使用简单功能可视化梯度优化器 目的 梯度下降是我们用于机器学习的优化的基本原理之一。 但是，希望了解更多有关该领域的初学者会遇到通用图或仅与抽象意义相关的等高线图。 像这样的图形可以初步了解什么是梯度下降及其作用，但是比有趣的图片还缺乏深度。 大多数机器学习模型的高维性使得初学者很难形象化。 本笔记本的目的是提供一个更具体的示例，以使人们对梯度优化器的工作方式以及每个行为都具有更强的直觉。 希望用户可以从此笔记本中获得更多的见解。 使用笔记本 运行整个笔记本会生成上面GIF中显示的图，用户可以与之交互以更改迭代步骤的数量，可以使用优化程序进行切换并更改3D图形上的角度。 笔记本中包含从带有噪声的线性函数生成的数据。 优化的目标是最小化与从两个可训练参数（斜率和截距）绘制的回归线相关的均方误差。 已实施并测试了梯度下降，SGD，Minibatch GD，动量，RMSProp和Adam。 成

稀疏编码中涉及到的： LASSO，近端梯度优化（PGD），迭代软阈值算法（ISTA），L-Lipschitz条件，软阈值的公式推导

这里面是一些常见的优化算法的matlab实现，还不错，欢迎下载

稀疏信号处理理论、方法及应用研究进展概况 稀疏信号的表示与采样原理 稀疏信号重建算法之梯度优化方法 鲁班稀疏Bayesian优化方法 压缩感知滤波器等应用实例

应用该代码进行优化时，首先应将matlab的路径设置至该文件夹的子目录下，然后输入初值，输入函数，点击回车，即可求解