在介绍Adam之前首先介绍一下momentum和RMSprop优化算法。 一、momentum 1、指数加权平均数 指数加权平均数不仅考虑了当前数值也涵盖了以前的数据对现在的影响。 解释指数加权平均值名称的由来： 指数加权平均值的应用： 使用这种方法进行数据的估计可能不是最精确的，但是这种方法计算简单，节省内存。 指数加权平均数因为设置的第0个值为0，所以对于前几个数都会出现严重的偏差，所以引入了偏差修正。 2.指数加权平均数的偏差修正 3.momentum算法 此算法是梯度下降算法的一种改进，在神经网络的反向传播过程中，不再只依赖当前参数的下降梯度进行参数的更新，也依赖以前几轮的参数和参数

吴恩达深度学习deeplearning第四课第一周课后测验及编程作业（含答案）

本文档是针对吴恩达老师深度学习课程(deeplearning.ai)视频做的笔记，专为已有一定基础（基本的编程知识，熟悉 Python、对机器学习有基本了解）， 想要尝试进入人工智能领域的计算机专业人士准备

吴恩达在coursera上免费的斯坦福deep learning课程的同步资料，包含完整的matlab代码与PDF文档说明

吴恩达深度学习第二周作业代码

不能上传大于220M的文件，将吴恩达深度学习课程所有内容分成四部分，这是第四部分，第4课3，4周的PPT，以及作业文件，包含所需数据集。

吴恩达深度学习课程的课后作业代码，python3.5实现

吴恩达老师第一门课第三周作业内容，包含数据集和已有的代码文件，另外还有自己写的构建任意层，每层任意神经元个数的神经网络程序，亲测可用

吴恩达深度学习的课后练习，从第一课到第四课，截止到目前，第五课视频网易上还没有，所以第五课作业还没出。每课每周的作业都有，包含答案，第三课只有习题测试没有编程，所以不要误会资源不全，前三课的练习和第四课第一周的练习在压缩包中，第四课后三周的编程练习由于数据集太大，超出上传限制，所以给出的是一个下载链接（百度云）（搜集他人的资源）。非常好的学习资源，虽然资源分有点多，但是这是全部四课的练习，性价比还是很高的。