一、简化前馈网络LeNet import torch as t class LeNet(t.nn.Module): def __init__(self): super(LeNet, self).__init__() self.features = t.nn.Sequential( t.nn.Conv2d(3, 6, 5), t.nn.ReLU(), t.nn.MaxPool2d(2, 2), t.nn.Conv2d(6, 16, 5), t.nn.ReLU(), t.nn.MaxPool2d(2, 2) ) # 由于调整shape并不是一

OptiML OptiML是支持向量机和深度神经网络的sklearn兼容实现，根据最新技术，它们都有一些最成功的功能。 这项工作的动机是，有可能通过广泛的优化算法研究对象解决这些模型的数学公式所产生的优化问题，并为“数值方法和优化”课程开发@@在教授的监督下。 内容 数值优化 无约束优化 线搜索方法 零阶方法 次梯度 一阶方法 最陡的梯度下降 共轭梯度 弗莱彻-里夫斯公式 Polak–Ribière公式 Hestenes-Stiefel公式 代formula公式 重球渐变 二阶方法 牛顿 拟牛顿 高炉 随机方法 随机梯度下降 势头 标准 涅斯捷罗夫 亚当 势头 标准 涅斯捷罗夫 毕业证书 势头 标准 涅斯捷罗夫 阿达克斯 势头 标准 涅斯捷罗夫 阿达格拉德 阿达达 RProp RMSProp 具有接口的近端捆绑包，用于 ，

灰狼优化（GWO）算法是一种新兴的算法，它基于灰狼的社会等级以及它们的狩猎和合作策略。 该算法于2014年推出，已被许多研究人员和设计人员使用，因此对原始论文的引用次数超过了许多其他算法。 在Niu等人的最新研究中，介绍了该算法用于优化现实世界问题的主要缺点之一。 总之，他们表明，随着问题的最佳解决方案从0偏离，GWO的性能下降。 在Greedy Non-Herarchical Gray Wolf Optimizer（G-NHGWO）中，通过对原始GWO算法进行直接修改，即忽略其社会层次结构，我们能够在很大程度上消除此缺陷，并为将来的使用开辟了新视野。此算法。 通过将其应用于基准和实际工程问题，验证了所提方法的效率。 参考文件： http : //dx.doi.org/10.1049/ell2.12176

自私畜群优化器 (SHO) 是一种元启发式算法，它基于对受到某种形式的捕食风险的动物群中的个体所表现出的广泛观察到的自私畜群行为的模拟。 在 SHO 中，个体通过两种类型的搜索代理模拟猎物和捕食者之间的掠夺性互动：自私群体（猎物）的成员和一群饥饿的捕食者。 根据它们被分类为猎物还是捕食者的不同，每个人都是由受这种猎物—捕食者关系启发的一组独特的进化算子来进行的。 这些独特的特性使 SHO 能够在不改变种群规模的情况下改善探索和开发之间的平衡。 更多详情可见： http://www.sciencedirect.com/science/article/pii/S030326471730103X MATLAB 软件该软件包含一个主函数 SHO_Example.m，它实现了 Ackley 函数的优化。

这篇文章将按照时间线详细讲解各类深度学习优化器，包括常用与不常用的（动量、NAG、adam、Adagrad、adadelta、RMSprop、adaMax、Nadam、AMSGrad）本文档将对每个优化器进行更加清晰的讲解，包括数学表达式推导和现实含义，所以可以更容易理解每一个优化器，对于深度学习小白来说也可以很容易看懂

彗星DNS优化器自动帮您设置最快的DNS地址，加速网页浏览。 从1919个备选DNS服务器地址中，自动测速最快的10个并设置到网络连接中。 自动设置功能中挑选DNS服务器地址的算法加入了失败率因素。自动设置功能中挑选DNS服务器地址的算法加入了失败率因素。

天鹰座优化器（AO）是2021年提出的新的群智能优化算法。代码包含20多个测试函数。官网下载的matlab源码，亲测可用。

nn束 多层感知器和三个优化器的实现：具有NAG的随机梯度下降，具有标准标准近邻束方法和 安装 首先，您需要克隆此存储库： $ git clone https://github.com/vdecaro/nn-bundle $ cd nn-bundle 使用此存储库需要安装conda 。 需要使用python3.7的新环境： $ conda create -n yourenvname python=3.7 $ conda activate yourenvname 下一步是包括将Gurobi安装到您的环境中的渠道： $ conda config --add channels http://conda.anaconda.org/gurobi 现在，您只需启动以下命令即可将所需的软件包安装到您的环境中： $ conda install --file requirements.txt

这项工作提出了一种新的仿生优化算法，称为 Rat Swarm Optimizer (RSO)，用于解决具有挑战性的优化问题。 这个优化器的主要灵感来自自然界中老鼠的追逐和攻击行为。 本文在一组 38 个测试问题上对这些行为和基准进行数学建模，以确保其适用于搜索空间的不同区域。 将RSO算法与八种著名的优化算法进行比较，以验证其性能。 然后将其用于六个现实生活中受约束的工程设计问题。 还研究了收敛性和计算分析，以测试所提出算法的探索，开发和局部最优避免。 实验结果表明，与其他著名的优化算法相比，所提出的 RSO 算法在解决现实世界的优化问题方面非常有效。 这是论文的源代码：Gaurav Dhiman 等。 “全局优化的新算法：Rat Swarm Optimizer”环境智能与人性化计算杂志，Springer https://link.springer.com/article/10.100

这是Gurobi的参考资料，包括计算原理，数值稳定分析，线性规划、二次规划和混合整数规划（MIPs）等。