随机并行梯度下降算法能不依赖波前传感器直接对系统性能进行优化。以32单元变形镜为校正器,采用随机并行梯度下降算法建立了自适应光学系统仿真模型。通过分析该系统对静态波前畸变的校正能力,验证了随机并行梯度下降算法的收敛性;讨论了算法增益系数、随机扰动幅度与收敛速度的关系,并指出通过算法增益系数的自适应调整可以改进算法的收敛速度。
2022-03-17 16:04:55
854KB
1
双下降火炬
利用PyTorch在MNIST，特别是其上的实现/复制双下降曲线。
要重现图9（a）和（c），请运行以下命令。 通过标志--reuse控制是否使用权重复用。 在一个1080ti gpu上创建一个图形大约需要15个小时。
python mnist_double_descent.py --reuse --verbose 1
重用体重
没有重量重用
2022-02-28 18:40:44
87KB
1
这是一篇NIPS 2017年的论文作者演讲的ppt，TernGrad是一种梯度量化方法，将浮点梯度随机量化到{-1,0,+1}，在保证识别率的情况下，大大降低梯度通信量.这篇文章降低了通讯量，可以应用在很多应用上。作者的视频讲解链接：https://www.youtube.com/watch?v=WWWQXTb_69c&feature=youtu.be&t=20s
2022-02-22 15:25:03
2.95MB
1