今天有朋友咨询我反向传播算法,我觉得不需要太复杂的推导,就可以解释清楚这个算法的原理。
序
假定神经网络采用下面的结构:
1. 最简单的神经网络模型
我们考虑最简单的情况:一个输入节点、一个输出节点、一个训练样本,网络结构如下图:
2. 损失函数
为了简化分析,我们假定只有一个训练样本 (x,y)(x,y)(x,y)。于是,损失函数简化为下面的形式:
E=12(y−a5)2(3)\tag3
E = \frac12(y – a_5)^2
E=21(y−a5)2(3)
其中,(x,y)(x,y)(x,y) 是训练样本、a1=xa_1=xa1=x,wiw_iwi 的初始值随机赋予,而 a
1