优化器
使用Python和数值库的各种优化算法的实现。
该存储库可作为本文中使用的可视化和评估的来源。
任务清单
动量的随机梯度下降( )
AdaGrad( )
AdaDelta( D.Zeiler )
RMSProp( )
亚当(亚当( )
NAdam(多扎特( ))
AMSGrad( )
实作
在查看每种算法的完整源代码。
1.具有动量的随机梯度下降
def step ( self , x , y ):
g_t = self . func . df ( x , y )
self . v = self . momentum * self . v + self . lr * g_t
return ( x - self . v [ 0 ], y - self . v [ 1 ])
2. AdaGrad
def step ( self , x , y ):
2021-03-19 14:08:06
164.68MB
TeX
1