最优化理论的复合形法原理

最优化理论惩罚函数法

共轭梯度法（Conjugate gradient method）、拟牛顿法、高斯牛顿法、Levenberg-Marquardt法

深度学习理论是当下研究的热点之一。最近来自UIUC计算机助理教授Sun Ruoyu撰写一篇深度学习最优化理论和算法的综述论文，共60页257篇文献，概述了神经网络的优化算法和训练理论《Optimization for deep learning: theory and algorithms》，并得到众多大佬的推荐，比如模仿学习带头人加州理工Yisong Yue，欢迎大家阅览，需要一番数学理论功底，方能扛过。

最优化理论与方法(袁亚湘，孙文瑜)，本书系统的介绍了无约束优化，约束最优化和非非光滑最优化理论。

上海交大，《最优化理论基础》大作业（一）实验报告及代码 问题2：运用两种不同的方法求解非线性最小二乘问题 附matlab实验m程序，提供借鉴。

Isight功能强大，内容丰富。本书力求通过循序渐进，图文并茂的方式使读者能以最快的速度理解和掌握基本概念和操作方法，同时提高工程应用的实践水平。 全书共分十五章，第1章至第7章为入门篇，介绍Isight的界面、集成、试验设计、数值和全局优化算法；第8章至第13章为提高篇，全面介绍近似建模、组合优化策略、多目标优化、蒙特卡洛模拟、田口稳健设计和6Sigma品质设计方法DFSS（Design For 6Sigma）的相关知识。

教材的扫描版，挺清晰，适合不愿意花钱买教材的童鞋学习

Logistic回归、最优化理论与算法blog对应的代码

by Johannes Jahn (Author) This book serves as an introductory text to optimization theory in normed spaces. The topics of this book are existence results, various differentiability notions together with optimality conditions, the contingent cone, a generalization of the Lagrange multiplier rule, duality theory, extended semidefinite optimization, and the investigation of linear quadratic and time minimal control problems. This textbook presents fundamentals with particular emphasis on the application to problems in the calculus of variations, approximation and optimal control theory. The reader is expected to have a basic knowledge of linear functional analysis.