SGD随机梯度下降Matlab代码

这是一篇NIPS 2017年的论文作者演讲的ppt，TernGrad是一种梯度量化方法，将浮点梯度随机量化到{-1,0,+1}，在保证识别率的情况下，大大降低梯度通信量.这篇文章降低了通讯量，可以应用在很多应用上。作者的视频讲解链接：https://www.youtube.com/watch?v=WWWQXTb_69c&feature=youtu.be&t=20s

梯度下降算法处理曲线拟合问题，线性 ，单极点，多极点数据均有良好的表现

通过构建损失函数，采用梯度下降的思想实现对数据点的拟合，可通过改变损失函数的次数将直线拟合推广到高次函数拟合 欢迎批评指正！

梯度下降法及NN的excel实现

线性回归梯度下降代码（ML_algorithm-master） 有Linear_regression、utils等

用最简单的、通俗的语言教会小白学会“梯度下降”算法的原理，并进行详细的公式推导，一步一步计算，代码一步一步讲解和操作，力求使小白“听得懂、学的会”

李宏毅教授关于神经网络中的梯度下降算法的讲解，利用梯度下降来求解最佳值。

BP神经网络梯度下降法，可预测输出，预测结果图形，预测误差图形

这个阶段一直在做和梯度一类算法相关的东西，索性在这儿做个汇总， 一、算法论述 梯度下降法(gradient  descent)别名最速下降法（曾经我以为这是两个不同的算法-.-）,是用来求解无约束最优化问题的一种常用算法。下面以求解线性回归为题来叙述： 设：一般的线性回归方程（拟合函数）为：（其中的值为1）    则这一组向量参数选择的好与坏就需要一个机制来评估，据此我们提出了其损失函数为(选择均方误差)： 我们现在的目的就是使得损失函数取得最小值，即目标函数为： 如果的值取到了0，意味着我们构造出了极好的拟合函数，也即选择出了最好的值，但这基本是达不到的，我们只能使得其无限的接近于0，当