基于灰狼算法(GWO)优化门控循环单元(GWO-GRU)的时间序列预测。 优化参数为学习率，隐藏层节点个数，正则化参数，要求2020及以上版本。 评价指标包括:R2、MAE、MSE、RMSE和MAPE等，代码质量极高，方便学习和替换数据。

基于粒子群算法优化长短期记忆网络(PSO-LSTM)的时间序列预测。 优化参数为学习率，隐藏层节点个数，正则化参数，要求2018b及以上版本，matlab代码。 评价指标包括:R2、MAE、MSE、RMSE和MAPE等，代码质量极高，方便学习和替换数据。

基于粒子群算法优化深度置信网络(PSO-DBN)的数据回归预测，优化参数为隐藏层节点数目，反向迭代次数，反向学习率，利用交叉验证抑制过拟合问题，matlab代码。 评价指标包括:R2、MAE、MSE、RMSE和MAPE等，代码质量极高，方便学习和替换数据。

基于麻雀算法优化深度置信网络(SSA-DBN)的数据回归预测，优化参数为隐藏层节点数目，反向迭代次数，反向学习率，利用交叉验证抑制过拟合问题，matlab代码。 评价指标包括:R2、MAE、MSE、RMSE和MAPE等，代码质量极高，方便学习和替换数据。

基于粒子群算法(PSO)优化门控循环单元(PSO-GRU)的时间序列预测。 优化参数为学习率，隐藏层节点个数，正则化参数，要求2020及以上版本。 评价指标包括:R2、MAE、MSE、RMSE和MAPE等，代码质量极高，方便学习和替换数据。

基于麻雀算法优化深度置信网络(SSA-DBN)的分类预测，优化参数为隐藏层节点数目，迭代次数，学习率。 多特征输入单输出的二分类及多分类模型。程序内注释详细，直接替换数据就可以用。 程序语言为matlab，程序可出分类效果图，迭代优化图，混淆矩阵图。

拉丹 自适应学习率的方差及超越 我们处于早期版本的Beta中。 期待一些冒险和艰难的边缘。 目录 介绍 如果热身是答案，那么问题是什么？ Adam的学习速度预热是在某些情况下（或eps调整）进行稳定训练的必备技巧。 但是基本机制尚不清楚。 在我们的研究中，我们提出一个根本原因是自适应学习率的巨大差异，并提供理论和经验支持证据。 除了解释为什么要使用预热之外，我们还提出RAdam ，这是Adam的理论上合理的变体。 动机 如图1所示，我们假定梯度遵循正态分布（均值：\ mu，方差：1）。 模拟了自适应学习率的方差，并将其绘制在图1中（蓝色曲线）。 我们观察到，在训练的早期阶段，自适应学习率具有很大的差异。 将变压器用于NMT时，通常需要进行预热阶段以避免收敛问题（例如，图2中的Adam-vanilla收敛于500 PPL左右，而Adam-warmup成功收敛于10 PPL以下）。 在进

具有单周期学习率时间表的AdamW的Tensorflow 2.3实现 基于S.Gugger和J.Howard在这里的帖子： : 用法 optimiser = OneCycleAdamW(learning_rate: float, weight_decay: float, cycle_length: int) 学习率：在周期峰值时使用的最大学习率。 学习率将逐渐上升，然后下降 重量衰减：要应用的重量衰减。 这将遵循与学习率相同的时间表 周期长度：完成“一个周期”策略的步骤数。 在“ cycle_length”之后，学习率将呈指数递减的趋近于零。 经过测试： Python 3.8 张量流2.3 张量流数据集4.2.0 tensorflow-addons 0.12.1

为了解决传统BP （Back Propagation）神经网络收敛较慢的问题，通过BP神经网络搭建火点预测模型，采用一种自适应学习率的方法改进BP神经网络，经比较该算法收敛较快，模型输出可达到预期效果.同时利用现场可编程逻辑门阵列（FPGA）的动态可重构技术实现了改进后的神经网络，通过仿真和结果测试，该设计在预测结果的基础上又大大减少了预测时间，为环保预测、检测轨迹规划提供了一定的理论基础.

自适应学习率调整法 在BP算法中，网络权值的调整取决于学习速率和梯度。在标准BP 算法中，学习速率是不变的。 而在自适应学习率调整法中，通常学习速率的调整准则是：检查权值的修正是否真正降低了误差函数，如果确实如此，则说明所选的学习率小了，可对其增加一个量；若不是则说明产生了过调，那么就应减小学习速率的值。