权重衰减（weight decay）与学习率衰减（learning rate decay）

使用CIFAR数据集进行残留网络实验。 更新（2018/06/15） 我们使用了一种称为HTD的新学习率调度程序。 您可以在或在我们的玩具演示代码。 原始存储库 该存储库是关于CIFAR-10和CIFAR-100的学习率的一些实验。 原始论文以0.1的学习率开始，在32k（ 81 epoch ）和48k（ 122 epoch ）迭代中将其除以10 ，并在64k迭代（总共200 epoch ）时终止训练。 我基于相同的架构进行了其他实验。 唯一的区别是学习率时间表。 所有张量板日志和预训练模型都可以在 怎么跑 您可以运行脚本run.sh来启动所有实验。 或仅运行以下命令： python3 ResNet_keras.py --epochs 200 --stack_n 3 --lr_scheduler 1 --dataset cifar100 实验的准确性 如有任何疑问，请随时与我联

pytorch.cyclic.learning.rate 这是我的解释自行车学习率的文章的随附回购。 参考： ，向参加者授课 Brad Kenstler的Keras （正在审核）

计算机视觉Github开源论文