上传者: 38618094
|
上传时间: 2022-12-04 22:30:51
|
文件大小: 69KB
|
文件类型: PDF
看这篇文章前强烈建议你看看上一篇python实现梯度下降法:
一、为什么要提出随机梯度下降算法
注意看梯度下降法权值的更新方式(推导过程在上一篇文章中有)
也就是说每次更新权值都需要遍历整个数据集(注意那个求和符号),当数据量小的时候,我们还能够接受这种算法,一旦数据量过大,那么使用该方法会使得收敛过程极度缓慢,并且当存在多个局部极小值时,无法保证搜索到全局最优解。为了解决这样的问题,引入了梯度下降法的进阶形式:随机梯度下降法。
二、核心思想
对于权值的更新不再通过遍历全部的数据集,而是选择其中的一个样本即可(对于程序员来说你的第一反应一定是:在这里需要一个随机函数来选择一个样本,不是吗?