deep-learning personal practice 深度学习个人练习，该项目实现了深度学习中一些常用的算法，内容包括： 四种初始化方法：zero initialize, random initialize, xavier initialize, he initialize。 深度神经网络 正则化 dropout 三种梯度下降方法：BGD, SGD, mini-batch 六种优化算法：momentum、nesterov momentum、Adagrad、Adadelta、RMSprop、Adam 梯度检验 batch normalization recurrent neural network (RNN) Note: 下列 1-10中网络架构主要为四大块： initialize parameters、forward propagation、backward propagati

将自适应梯度算法（Adagrad）作为反向传播算法应用于普通的三层神经网络（输入层、隐含层、输出层）的反向传播过程，之后建立数据预测模型进行数据预测，压缩包中train.py为训练过程源码，test.py为测试过程源码，train.csv文件为训练数据集，test.csv文件为测试数据集，.npy文件为模型训练后保存的参数。

https://www.bookstack.cn/read/bash-tutorial/docs-archives-async.md

利用Matlab构建深度前馈神经网络以及各类优化算法的应用（SGD、mSGD、AdaGrad、RMSProp、Adam）-附件资源

CADA大师 AISTATS2021论文的Python代码：陈天一，郭子业，孙跃娇，尹沃涛，“ CADA：通信自适应分布式亚当”。 [在线] 参考： 如果我们的代码可以帮助您进行研究，请引用我们的论文。 @misc{chen2020cada, title={CADA: Communication-Adaptive Distributed Adam}, author={Tianyi Chen and Ziye Guo and Yuejiao Sun and Wotao Yin}, year={2020}, eprint={2012.15469}, archivePrefix={arXiv}, primaryClass={cs.LG} } 致谢 该存储库中的代码是以下论文中代码的修改版本。 @misc{chen2020lasg, tit

tensorflow2 5种优化器 SGD,SGDM,ADAGRAD,RMSPROP,ADAM 在鸢尾花数据集中的对比，word 文档。

##AdaDelta 使用 AdaGrad 和 AdaDelta 的逻辑回归 依赖 sample.cpp 需要数据集 示例代码 g++ -I /path/to/eigin/ -std=c++11 -o sample Adagrad.cpp Adadelta.cpp LR.cpp sample.cpp ./sample ＃＃＃参考

利用Matlab构建深度前馈神经网络以及各类优化算法的应用（SGD、mSGD、AdaGrad、RMSProp、Adam）-附件资源