《动手学——批量归一化和残差网络》笔记

上传者: 38627603 | 上传时间: 2021-03-20 22:42:31 | 文件大小: 208KB | 文件类型: PDF
批量归一化(BatchNormalization) ps 批量归一化本质上是对数据的标准化处理,输入标准化一般用于浅层模型,但是对于深层网络,输入的标准化不够,因为随着模型的迭代更新,依然容易造成靠近输出层,它的数据是剧烈变化的。所以批量归一化的出现是应对深度模型的。 对输入的标准化(浅层模型) 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近 批量归一化(深度模型) 利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个神经网络在各层的中间输出的数值更稳定。 1.对全连接层做批量归一化 (形状 m×d,对m个元素做批量归一化)

文件下载

评论信息

免责申明

【只为小站】的资源来自网友分享,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论 【只为小站】 经营者是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二条之规定,若资源存在侵权或相关问题请联系本站客服人员,zhiweidada#qq.com,请把#换成@,本站将给予最大的支持与配合,做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明