关于神经网络训练技巧的论文集，设计训练过程的各个方面

原来Pyrenn代码库（由Dennis Atabay和他的同事们创造） -可作为MATLAB脚本或Python，可以在这里下载- https://pyrenn.readthedocs.io/en/latest/ 。 我使用他们的代码（并与 Dennis 进行了交流）开发了一个简单的框架来比较他们的神经网络 Levenberg-Marquardt (LM) 学习算法与 Matlab 的前馈神经网络架构的 LM 学习算法的性能。 Pyrenn 算法运行速度快，性能非常非常好。 可以在这里阅读我关于比较的文章 - https://mikescodeprojects.com/2020/01/12/pyrenn-vs-matlab/ 。 您必须拥有 Matlab 深度学习工具箱才能运行 Matlab LM 算法来比较性能。 但是如果你不这样做，你仍然可以运行 Pyrenn 算法（代码库包含在

matlab开发-快速多层前馈神经网络训练。这是一个简单而快速的代码，可以训练任意层数的神经网络。

手写数字识别网络训练与测试

用于深度学习和神经网络训练的五连子（五子棋）棋局数据。 共1000个数据文件，每个数据文件对应着一局对弈。 每个数据文件按行记录着从第一步落子到最后一步落子的信息，第一行是第一步落子，第二行是第二步落子，依此类推。 每一行按顺序记录着落子的X位置、Y位置、落子者，落子者为-1表示黑棋，+1表示白棋。

用于深度学习和神经网络训练的六连子棋局数据。 共500个数据文件，每个数据文件对应着一局对弈。 每个数据文件按行记录着从第一步落子到最后一步落子的信息，第一行是第一步落子，第二行是第二步落子，依此类推。 每一行按顺序记录着落子的X位置、Y位置、落子者，落子者为-1表示黑棋，+1表示白棋。

无约束优化实践 训练一个神经网络 优化理论实践 用了一周的时间学习了一下最优化理论这门课，为了更深度地理解各种优化方法的理念和算法过程，自己把这些算法应用到实践中是很必要的。为此我设计了和优化算法相关的四个实验项目，在这里和大家分享一下。 无约束优化方法 前馈神经网络 根据链式法则，从输出层直接对误差函数求导得到的误差(这里我们简写为δ)，就可以通过和上面的这些局部导数不断做乘积、并把新的δ传播到上一层，就能计算得到所有参数的导数。通过一阶导数，就能实现基本的梯度优化方法。 训练方法 神经网络可以很好地处理函数拟合问题，因为模型带有大量可调节的参数，而且内置了非线性的激励函数，这

用于在MNIST数据集上训练和测试简单神经网络的完整代码，以识别0到9之间的单个数字（准确度约为98％）。 一切都从头开始实现，包括Adam优化器。 确保所有文件都在当前文件夹中，然后运行“ train.m”。 查阅http://neuralnetworksanddeeplearning.com/index.html来了解神经网络的理论，以及https://arxiv.org/abs/1412.6980来了解Adam优化器！

Keras网络训练源码

蛇游戏 使用神经网络训练蛇玩蛇游戏。 该项目使用Keras模块构建神经网络和PyGame，以创建用户界面。 Keras：TensorFlow和Theano的深度学习库 Keras是用Python编写的高级神经网络库，能够在或。 它的开发着重于实现快速实验。 能够以最小的延迟将想法付诸实践是进行良好研究的关键。 如果您需要一个深度学习库，请使用Keras： 允许轻松快速地进行原型制作（通过整体模块化，极简主义和可扩展性）。 支持卷积网络和循环网络，以及两者的组合。 支持任意连接方案（包括多输入和多输出训练）。 在CPU和GPU上无缝运行。 阅读的文档。 Keras兼容于： Python 2.7-3.5 。 安装 Keras使用以下依赖项： numpy，scipy pyyaml HDF5和h5py（可选，如果使用模型保存/加载功能，则为必需） 可选，但如果使用CNN，则建