用最简单的、通俗的语言教会小白学会“梯度下降”算法的原理，并进行详细的公式推导，一步一步计算，代码一步一步讲解和操作，力求使小白“听得懂、学的会”

李宏毅教授关于神经网络中的梯度下降算法的讲解，利用梯度下降来求解最佳值。

BP神经网络梯度下降法，可预测输出，预测结果图形，预测误差图形

大规模MIMO系统中基于并行共轭梯度的低复杂度预编码算法。

渐变森林 使用梯度森林分析来定义多元生态系统阈值

基于图像梯度场的线检测霍夫变换。 1. 操作灰度图像，而不是黑白位图。 2. 霍夫变换的实现不涉及循环，运算速度快。 3. 能够检测线段的两端。

这个阶段一直在做和梯度一类算法相关的东西，索性在这儿做个汇总， 一、算法论述 梯度下降法(gradient  descent)别名最速下降法（曾经我以为这是两个不同的算法-.-）,是用来求解无约束最优化问题的一种常用算法。下面以求解线性回归为题来叙述： 设：一般的线性回归方程（拟合函数）为：（其中的值为1）    则这一组向量参数选择的好与坏就需要一个机制来评估，据此我们提出了其损失函数为(选择均方误差)： 我们现在的目的就是使得损失函数取得最小值，即目标函数为： 如果的值取到了0，意味着我们构造出了极好的拟合函数，也即选择出了最好的值，但这基本是达不到的，我们只能使得其无限的接近于0，当

共轭梯度法解稀疏矩阵，过程详细，算例参考数值分析

pyLinearRegression 具有l2-norm（Ridge回归）的线性回归的Python实现 用法 专案追踪志上的一系列网志文章 每个算法都包含在其自己的文件夹中。 依存关系 Python 3+ 麻木 matplotlib仅用于演示 免责声明 仅用于教育目的。 使用风险自负。

线性回归及梯度下降.