减少过拟合方法：
交叉验证
normalization
学习率调整，
learning rate decay
momentum动量调整
k折交叉检验：
正则化：
更小的权值w，从某种意义上说，表示网络的复 杂度更低，对数据的拟合刚刚好（这个法则也叫做奥卡姆剃刀）
添加正则化相当于参数的解空间添加了约束，限制了模型的复杂度
L1正则化的形式是添加参数的绝对值之和作为结构风险项，L2正则化的形式添加参数的平方和作为结构风险项
L1正则化鼓励产生稀疏的权重，即使得一部分权重为0，用于特征选择；L2鼓励产生小而分散的权重，鼓励让模型做决策的时候考虑更多的特征，而不是仅仅依赖强依赖某几个特
2022-05-11 11:00:02
893KB
1
在看完了Andrew Ng教授的deeplearning.ai课程和李飞飞教授的cs231n课程后，总觉得应该写点笔记将学习过程记录下来，但内容不少，需要时间慢慢整理，故先将学习成果记录下来，是一段深度神经网络的程序，基于python科学计算库numpy的。还有一段代码是基于tensorflow的，在深度学习笔记（二）：基于tensorflow的深度神经网络程序总览中在记录吧（目前未发布）。虽然tensorflow很是方便，但是总觉得封装太好，只看代码根本学习不到什么，用numpy写一遍深度神经网络后，掌握知识的程度感觉好很多。废话不多说，先贴出代码来，代码中有注释，数据集用的是经典的数字手写体识别库mnist，后续笔记会对应具体公式和算法详细记录。
2022-05-09 17:44:35
12.55MB
1
本书主要配合吴恩达深度学习课程使用，这里贴上课程链接：https://mooc.study.163.com/smartSpec/detail/1001319001.htm 在课程中有不懂或需要大量记笔记的地方，可以直接翻看此文档即可。
2022-04-01 16:45:23
23.98MB
1
深度学习笔记。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
2022-03-02 10:09:43
24.16MB
1
吴恩达 deeplearning 深度学习 笔记 v5.1，包含1-4所有章节，笔记信息最全，版权所有：吴恩达、黄海广
2022-02-25 09:37:50
29.34MB
1