机器学习及其分支深度学习主要任务是模拟或者实现人类学习行为，这些学习方法近年来在目标分类、语音识别等各项任务中取得巨大突破。机器学的各种优化器极大了改善了学习模型的训练速度和泛化误差。优化方法和超参数作为观察训练模型的窗口，能够探索学习模型的结构和训练机制，是机器学习研究的重点之一。对机器学习的优化器与超参数理论研究进行了综述，回顾了超参数的一般搜索方法，对和优化器直接关联的批量大小、学习率超参数的设置方法进行了总结，对优化器和超参数需要进一步研究的问题进行了讨论。

优化方法的二次规划Matlab代码，有需要的可以来下载哦！

优化方法的拟牛顿法Matlab代码，有需要的可以来下载哦！

工程优化课后答案，陈开周老师的教材，可以用来巩固知识，加深理解

最优化方法及最优化方法及其Matlab程序设计(马昌凤).pdf

东北大学研究生课程最优化方法课件，讲师刘国义。是数学必修课三选一之一。

非常好的一本书，学习最优化的必备，数值最优化方法高立

中科院国科大算法中的最优化方法课件以及讲义，讲解了各类约束问题以及对应的方法。

最优化课后的习题解答，用于参考也未尝不是一种好方法！

西安电子科技大学 工程优化方法历年期末试题扫描版