资源代码实现了bp全连接神经网络代码
不使用pytorch,tensorflow等神经网络学习框架
一、功能实现:
1.实现自动求导功能
2.实现adam学习率优化器代码,可以提升学习率,加快收敛
3.numpy实现矩阵运算
4.实现softmax交叉熵损失函数
5.实现递归运算每一层神经网络
6.实现训练过程中损失函数loss下降显示,使用matplot实现
二、作用:
1.方便刚入门的小伙伴入门学习神经网络,了解神经网络工作的几大部分
前向计算,激活函数,损失函数,求导
2.复现论文的adam优化器实现,实现一阶矩估计,二阶矩估计
三、能学到什么:
1.adam优化器实际代码实现
2.求导过程计算
3.matplot显示图表
4.numpy矩阵运算实现
5.递归实现层集计算
四、阅读须知:
1.参考本代码之前需要先了解bp神经网络的构成
2.此资源未使用框架,求导也是代码实现,主要是公式求导,后期会推出计算图求导的版本
3.不包含cnn卷积神经网络,不适用于特征提取,后续可能会增加cnn模块
4.本资源目前只实现relu激活函数,需要验证sigmod等激活函数可以自行添加
1