梯度下降法（Gradient Descent）是机器学习和深度学习中最基本、最重要的优化算法之一。它被用于训练神经网络、拟合模型参数和解决各种问题。本博客将深入探讨梯度下降法的原理、不同变种、超参数调优和实际应用，帮助您全面理解这一关键概念。
目录
介绍
什么是梯度下降法？
为什么需要梯度下降法？
梯度下降法的原理
目标函数与损失函数
梯度的定义
梯度下降的基本思想
梯度下降的变种
批量梯度下降（Batch Gradient Descent）
随机梯度下降（Stochastic Gradient Descent）
小批量梯度下降（Mini-batch Gradient Descent）
超参数调优
学习率的选择
收敛条件
动量与学习率衰减
梯度下降的实际应用
线性回归
逻辑回归
神经网络训练
梯度下降的优化技巧
自适应学习率
Adam优化器
梯度下降的局限性
局部最小值问题
鞍点问题
总结与展望
梯度下降的优点
未来发展方向
2024-01-19 14:28:16
15KB
1
AI,ML,gradient descent,paper,matlab AI,ML,gradient descent,paper,matlab
2023-03-19 16:40:53
1.16MB
1
利用最速梯度下降法求解：
函数接口：[xstar,fxstar,iter] = SteepDescent(f_name,x0,eps)
其中xstar为最优解，fxstar为最优函数值，iter为迭代次数。
f_name为目标函数文件，可以用feval调用计算函数值及梯度；
x0为初始值，可取[1,1]‘，eps=1e-3，利用0.618法搜索步长。
如：[xstar,fxstar,iter] = SteepDescent(@Myexam1,[1,1]',1e-3)
function [f,g]=Myexam1(x) %%%%调用[f,g] = feval(f_name,xk);
f=x(1)^2+2*x(2)^2; g=[2*x(1);4*x(2)];
end
可直接运行！！
2023-02-21 21:04:05
2KB
1
梯度下降法介绍梯度下降法介绍梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法
2023-01-14 23:09:24
289KB
1
看这篇文章前强烈建议你看看上一篇python实现梯度下降法：
一、为什么要提出随机梯度下降算法
注意看梯度下降法权值的更新方式（推导过程在上一篇文章中有）
也就是说每次更新权值都需要遍历整个数据集（注意那个求和符号），当数据量小的时候，我们还能够接受这种算法，一旦数据量过大，那么使用该方法会使得收敛过程极度缓慢，并且当存在多个局部极小值时，无法保证搜索到全局最优解。为了解决这样的问题，引入了梯度下降法的进阶形式：随机梯度下降法。
二、核心思想
对于权值的更新不再通过遍历全部的数据集，而是选择其中的一个样本即可（对于程序员来说你的第一反应一定是：在这里需要一个随机函数来选择一个样本，不是吗？
2022-12-04 22:30:51
69KB
1
内容概要：原始的梯度下降法，三种变体，以及多个优化算法的基础介绍和伪代码。内含latex文件，有大量公式和伪代码的编写。
适合人群：想了解梯度下降法和latex学习人群
2022-11-22 15:29:29
266KB
1