梯度下降法

内容概要：原始的梯度下降法，三种变体，以及多个优化算法的基础介绍和伪代码。内含latex文件，有大量公式和伪代码的编写。 适合人群：想了解梯度下降法和latex学习人群

使用简单功能可视化梯度优化器 目的 梯度下降是我们用于机器学习的优化的基本原理之一。 但是，希望了解更多有关该领域的初学者会遇到通用图或仅与抽象意义相关的等高线图。 像这样的图形可以初步了解什么是梯度下降及其作用，但是比有趣的图片还缺乏深度。 大多数机器学习模型的高维性使得初学者很难形象化。 本笔记本的目的是提供一个更具体的示例，以使人们对梯度优化器的工作方式以及每个行为都具有更强的直觉。 希望用户可以从此笔记本中获得更多的见解。 使用笔记本 运行整个笔记本会生成上面GIF中显示的图，用户可以与之交互以更改迭代步骤的数量，可以使用优化程序进行切换并更改3D图形上的角度。 笔记本中包含从带有噪声的线性函数生成的数据。 优化的目标是最小化与从两个可训练参数（斜率和截距）绘制的回归线相关的均方误差。 已实施并测试了梯度下降，SGD，Minibatch GD，动量，RMSProp和Adam。 成

一种基于梯度方向直方图的俯视行人的检测方法

Practical Mathematical Optimization Basic Optimization Theory and Gradient-Base 实用数学优化：基本优化理论与基于梯度的算法 本书为数学、工程、计算机科学和其他应用科学的高年级本科生和研究生提供了广泛的数学优化课程工具。介绍了优化的基本原理，重点介绍了基于梯度的数值优化策略和算法，可用于求解光滑和有噪声的不连续优化问题。还注意到函数求值的困难和存在多个最小值，这往往不必要地抑制了基于梯度的方法的使用。这第二版介绍了仅梯度优化策略的进一步改进，以处理目标函数中的不连续。新的章节讨论了代理模型的构造，以及新的仅限梯度解决方案策略和使用Python的数值优化。一个特殊的Python模块以电子方式提供(通过springerlink)，它使文本中的新算法易于访问并直接适用。数值例子和练习包括鼓励高级到研究生水平的学生计划，执行，并反映数值调查。通过对概念材料的深入理解，学生、科学家和工程师将能够发展系统和科学的数字调研技能。 https://link.springer.com/book/10.1007/978-3-3

在对多波束测深常用声线跟踪算法进行分析的基础上，提出了一种改进的声线跟踪算法，即沿声线传播的圆弧路径进行积分来求取层内的平均声速，进而推导了严密的多波束测深波束脚印位置的计算公式。理论推导表明，常用的声线跟踪算法的平均声速是将声线的圆弧传播路径当作对应弧段弦时的改进算法平均声速的近似解。实验表明，改进的声线跟踪算法比常用的声线跟踪算法更严密。

共轭梯度法 参考 共轭梯度法(ENG) OR기울기법 (KOR) 共轭梯度法（CG） 共轭梯度法是一种算法，用于求解线性方程组的特定系统，即矩阵且方程组的数值解。 共轭梯度法通常实现为，适用于太大而无法通过直接实现或其他直接方法（例如Cholesky分解）处理的稀疏系统。 成本函数 假设我们要求解 (P1) A * x = b : matrix ver. 或者， (P2) A( x ) = b : function ver. 对于向量x ，其中已知nxn矩阵A是对称的（即A ^ T = A），正定的（即x ^ TA x> 0对于R ^ n中所有非零向量x）和实数，并且b也被称为。 我们用x^*表示该系统的唯一解。 用于解决问题的基本迭代CG（矩阵版本） function [x] = conjgrad(A, b, x) r = b

通过学习斯坦福公开课的线性规划和梯度下降，参考他人代码自己做了测试，写了个类以后有时间再去扩展，代码注释以后再加，作业好多： import numpy as np import matplotlib.pyplot as plt import random class dataMinning: datasets = [] labelsets = [] addressD = '' #Data folder addressL = '' #Label folder npDatasets = np.zeros(1) npLabelsets = np.zeros(1) cos

一种求解矩阵方程Ax=b的算法，由于最速下降法，里面附有详细注释，便于新手阅读

Kirsch算子边缘检测代码，计算了八个方向的梯度值