自适应学习率调整法 在BP算法中，网络权值的调整取决于学习速率和梯度。在标准BP 算法中，学习速率是不变的。 而在自适应学习率调整法中，通常学习速率的调整准则是：检查权值的修正是否真正降低了误差函数，如果确实如此，则说明所选的学习率小了，可对其增加一个量；若不是则说明产生了过调，那么就应减小学习速率的值。

深度学习：学习率规划-余弦退火CosineAnnealing和WarmRestart原理及实现 深度学习原理.pdf

随着网民的数量不断增加，用户上网产生的数据量也在成倍增多，随处可见各种各样的评论数据，所以构建一种高效的情感分类模型就非常有必要.本文结合Word2Vec与LSTM神经网络构建了一种三分类的情感分类模型：首先用Word2Vec词向量模型训练出情感词典，然后利用情感词典为当前训练集数据构建出词向量，之后用影响LSTM神经网络模型精度的主要参数来进行训练.实验发现：当数据不进行归一化，使用He初始化权重，学习率为0.001，损失函数选择均方误差，使用RMSProp优化器，同时用tanh函数作为激活函数时，测试集的总体准确率达到了92.28%.与传统的Word2Vec+SVM方法相比，准确率提高了大约10%，情感分类的效果有了明显的提升，为LSTM模型的情感分类问题提供了新的思路.

一种自适应学习率的卷积神经网络模型及应用

MNIST-Tensorflow 99.6599％ 我写了一个Tensorflow代码用于MNIST数据的分类。 您可以使用以下命令获取结果： python main.py 此代码具有以下功能 使用了数据扩充（训练数据：50,000-> 250,000） 使用具有He_initializer的3x3转换，交错转换，衰减速率为0.9的batch_norm，Max_Pooling 激活功能为tf.nn.leaky_relu 使用全球平均池代替MLP 使用L2正则化损失，学习率衰减，beta1 = 0.5的Adam优化 它包含Tensorboard，保存，恢复的代码 环保环境 操作系统：Ubuntu 16.04 的Python 3.5 Tensorflow-gpu版本：1.4.0rc2（要求版本1.4.0以上） 如果出现错误，例如： "Expected int32, g

现有深度残差网络作为一种卷积神经网络的变种，由于其良好的表现，被应用于各个领域，深度残差网络虽然通过增加神经网络深度获得了较高的准确率，但是在相同深度情况下，仍然有其他方式提升其准确率.本文针对深度残差网络使用了三种优化方法：（1）通过卷积网络进行映射实现维度填充；（2）构建基于SELU激活函数的残差模块（3）学习率随迭代次数进行衰减.在数据集Fashion-MNIST上测试改进后的网络，实验结果表明：所提出的网络模型在准确率上优于传统的深度残差网络.

最小二乘法是统计中估计各种数据之间相关性的最基本方法之一。 另一方面，深度学习是人工智能的心脏，它是一种基于最小二乘的学习方法。 在本文中，我们从深度学习的角度重新考虑了最小二乘法，并在非常简单的设置下彻底进行了梯度下降序列的计算。 根据学习率的值（深度学习的必要参数），统计学和深度学习的最小二乘法显示出一个有趣的差异。

1．学习率η和动量因子α BP算法本质上是优化计算中的梯度下降法，利用误差对于权、阀值的一阶导数信息来指导下一步的权值调整方向，以求最终得到误差最小。为了保证算法的收敛性，学习率η必须小于某一上限，一般取0<η<1而且越接近极小值，由于梯度变化值逐渐趋于零，算法的收敛就越来越慢。在网络参数中，学习率η和动量因子α是很重要的，它们的取值直接影响到网络的性能，主要是收敛速度。为提高学习速度，应采用大的η。但η太大却可能导致在稳定点附近振荡，乃至不收敛。针对具体的网络结构模型和学习样本，都存在一个最佳的学习率门和动量因子α，它们的取值范围一般0～1之间，视实际情况而定。在上述范围内通过对不同的η和α的取值进行了考察，确定本文神经网络模型的参数为：η＝0.7，α＝0.9。

权重衰减（weight decay）与学习率衰减（learning rate decay）

【ch09-过拟合】 学习率与动量.pdf