上传者: 38627603
|
上传时间: 2021-03-20 22:42:31
|
文件大小: 208KB
|
文件类型: PDF
批量归一化(BatchNormalization)
ps 批量归一化本质上是对数据的标准化处理,输入标准化一般用于浅层模型,但是对于深层网络,输入的标准化不够,因为随着模型的迭代更新,依然容易造成靠近输出层,它的数据是剧烈变化的。所以批量归一化的出现是应对深度模型的。
对输入的标准化(浅层模型)
处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。
标准化处理输入数据使各个特征的分布相近
批量归一化(深度模型)
利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个神经网络在各层的中间输出的数值更稳定。
1.对全连接层做批量归一化
(形状 m×d,对m个元素做批量归一化)