通过构建损失函数，采用梯度下降的思想实现对数据点的拟合，可通过改变损失函数的次数将直线拟合推广到高次函数拟合 欢迎批评指正！

梯度下降法及NN的excel实现

线性回归梯度下降代码（ML_algorithm-master） 有Linear_regression、utils等

用最简单的、通俗的语言教会小白学会“梯度下降”算法的原理，并进行详细的公式推导，一步一步计算，代码一步一步讲解和操作，力求使小白“听得懂、学的会”

李宏毅教授关于神经网络中的梯度下降算法的讲解，利用梯度下降来求解最佳值。

BP神经网络梯度下降法，可预测输出，预测结果图形，预测误差图形

这个阶段一直在做和梯度一类算法相关的东西，索性在这儿做个汇总， 一、算法论述 梯度下降法(gradient  descent)别名最速下降法（曾经我以为这是两个不同的算法-.-）,是用来求解无约束最优化问题的一种常用算法。下面以求解线性回归为题来叙述： 设：一般的线性回归方程（拟合函数）为：（其中的值为1）    则这一组向量参数选择的好与坏就需要一个机制来评估，据此我们提出了其损失函数为(选择均方误差)： 我们现在的目的就是使得损失函数取得最小值，即目标函数为： 如果的值取到了0，意味着我们构造出了极好的拟合函数，也即选择出了最好的值，但这基本是达不到的，我们只能使得其无限的接近于0，当

pyLinearRegression 具有l2-norm（Ridge回归）的线性回归的Python实现 用法 专案追踪志上的一系列网志文章 每个算法都包含在其自己的文件夹中。 依存关系 Python 3+ 麻木 matplotlib仅用于演示 免责声明 仅用于教育目的。 使用风险自负。

线性回归及梯度下降.

使用随机梯度下降法解决无约束优化问题。