在介绍Adam之前首先介绍一下momentum和RMSprop优化算法。
一、momentum
1、指数加权平均数
指数加权平均数不仅考虑了当前数值也涵盖了以前的数据对现在的影响。
解释指数加权平均值名称的由来：
指数加权平均值的应用：
使用这种方法进行数据的估计可能不是最精确的，但是这种方法计算简单，节省内存。
指数加权平均数因为设置的第0个值为0，所以对于前几个数都会出现严重的偏差，所以引入了偏差修正。
2.指数加权平均数的偏差修正
3.momentum算法
此算法是梯度下降算法的一种改进，在神经网络的反向传播过程中，不再只依赖当前参数的下降梯度进行参数的更新，也依赖以前几轮的参数和参数
2021-12-09 16:26:35
454KB
1
吴恩达深度学习deeplearning第四课第一周课后测验及编程作业（含答案）
2021-11-20 15:45:10
21.42MB
1
本文档是针对吴恩达老师深度学习课程(deeplearning.ai)视频做的笔记，专为已有一定基础（基本的编程知识，熟悉 Python、对机器学习有基本了解），
想要尝试进入人工智能领域的计算机专业人士准备
2021-11-18 15:30:15
23.27MB
1
吴恩达在coursera上免费的斯坦福deep learning课程的同步资料，包含完整的matlab代码与PDF文档说明
2021-11-18 15:11:42
28.92MB
1
不能上传大于220M的文件，将吴恩达深度学习课程所有内容分成四部分，这是第四部分，第4课3，4周的PPT，以及作业文件，包含所需数据集。
2021-11-10 19:53:43
149.84MB
1
吴恩达老师第一门课第三周作业内容，包含数据集和已有的代码文件，另外还有自己写的构建任意层，每层任意神经元个数的神经网络程序，亲测可用
2021-11-01 18:16:24
2.71MB
1