梯度下降、牛顿法、共轭梯度法等matlab和python程序：求一个空间曲面(3维)的极值点。 “阻尼牛顿法”的matlab和python程序；文件名：Damped_Newton.m / python_Damped_Newton.py “蒙特卡洛全局最优”的matlab和python程序；文件名：Monte_Carlo.m / python_Monte_Carlo.py “蒙特卡洛全局最优”算法针对Schaffer函数和Rastrigin函数的matlab程序; 文件名：Monte_Carlo “模拟退火法全局最优”算法的matlab程序，以及其针对Schaffer函数和Rastrigin函数的matlab程序; 文件名：Simulated_Annealing “粒子群全局最优”算法的matlab程序，以及其针对Schaffer函数和Rastrigin函数的matlab程序; 文件名：PSO “蚁群全局最优”算法针对普通二元函数最大值、Schaffer函数和Rastrigin函数最小值的matlab程序; 文件名：AG

用梯度下降算法开发的rbf神经网络曲线拟和程序.rar

大数据-算法-非线性互补问题的Derivati省略Free下降方法与同伦方法研究.pdf

两篇论文合并《An efficient orientation filter for inertial and inertial/magnetic sensor arrays》《Estimation of IMU and MARG orientation using a gradient descent algorithm》

实现了线搜索算法中的最速下降法以及牛顿沃尔夫算法 The steepest descent method and Newton Wolff algorithm in line search algorithm are realized

针对机器学习中损失函数优化问题，引入梯度下降法及其变体算法，用迭代的方 式求解其近似最优解，采用梯度下降法最小化损失函数，在MATLAB等程序实现的基 础上进行研究。对线性回归模型、逻辑斯谛回归模型学习的梯度下降法及其变体算法 进行算例分析，通过比较算法的收敛速度与复杂度，得到了对不同的模型的应用实例， 需根据不同种类的数据集采用相对较好的优化算法。本文对梯度下降法在机器学习中 的应用进行研究，主要内容如下: 第一章:介绍了相关的机器学习算法的研究背景及研究进展，并且给出了本文的 主要结果。 第二章:主要介绍了本文研究使用到的理论基础知识。本章首先引入了最优化理 论、经典的优化算法梯度下降法及牛顿法，然后针对线性模型，做出原理解释和理论 阐述。最后讲述了逻辑斯谛回归模型的学习算法，包括推广的多项逻辑斯谛回归，为 下文的研究奠定了理论基础 第三章:本章首先利用最优化理论中经典的优化算法及线性模型，线性回归采用 均方误差形式的损失函数，采用最大化对数似然函数训练逻辑斯谛回归的损失函数。 通过对线性回归、逻辑斯谛回归模型学习的梯度下降算法进行算例分析，比较批量梯 度下降法与随机梯度下降法的收

人工神经网络 BP神经网络算法 梯度下降算法 感知器训练法则，权值，阈值

Andrew线性回归算法的原始数据集 ，有相应的ipynb训练代码

最优化算法实验课的代码，最速下降法的matlab实现，其中步长更新采用BB法

最速下降法的matlab程序,很好用的。