上传者: 42117116
|
上传时间: 2022-04-29 22:05:54
|
文件大小: 17KB
|
文件类型: ZIP
全连接神经网络
应用
手写数字识别0〜9
使用mnist训练集
训练集为50000张图片
测试集为10000张图片
达到的效果拟合度99.70%,测试集上准确率98.38% ,在训练了28个epoth获得
算法细节
使用反向传播算法计算梯度dw和db
采用L2正则化
采用随机梯度下降算法
min-batch大小为10
使用fmincg高级优化算法执行渐变下降的单次迭代
数据归一化
参数初始化
生成第l层的w和b,k为第l-1层的神经元个数
使用方差为1 / k的高斯分布生成w,方差为1的高斯分布生成b
这一定幅度加快了训练速度,详细联系作者
对输出层采用softmax层,得到每个类别概率分布的输出
更多测试细节
不同超参数得到的训练结果报告
详细数据报告联系作者
超参数
训练集上拟合度
测试集上准确率
训练的epoth数
未优化的bp神经网络
优化算法改变,将fminunc改成fmincg