数值优化，个人保存。Jorge Nocedal Stephen J.Wright 同时也是机器学习必修课程之一.

回溯方法matlab代码应用数值方法进行优化的 Matlab 代码集， 黄金分割搜索、BFGS 变化、回溯等应用于搜索给定函数的局部/全局极值。 包括情节世代。 最后更新于 2015 年

凸优化，或叫做凸最优化，凸最小化，是数学最优化的一个子领域，研究定义于凸集中的凸函数最小化的问题。凸优化在某种意义上说较一般情形的数学最优化问题要简单，譬如在凸优化中局部最优值必定是全局最优值。凸函数的凸性使得凸分析中的有力工具在最优化问题中得以应用，如次导数等。 凸优化应用于很多学科领域，诸如自动控制系统，信号处理，通讯和网络，电子电路设计，数据分析和建模，统计学（最优化设计），以及金融。在近来运算能力提高和最优化理论发展的背景下，一般的凸优化已经接近简单的线性规划一样直捷易行。许多最优化问题都可以转化成凸优化（凸最小化）问题，例如求凹函数f最大值的问题就等同于求凸函数 -f最小值的问题

连续优化——数值优化课本阅读总结

混沌蚂蚁群算法是受自然界真实蚂蚁的混沌行为和自组织行为启发而产生的一种基于群智能理论的优化算法。介绍
了该算法的基本原理,并在对其进行算法分析的基础之上,提出了一种改进的混沌蚂蚁群算法,该改进算法采用全面学习策略
和一种简单的精细搜索策略以提高算法的性能。数值实验表明,该改进算法的收敛精度和结果稳定性优于混沌蚂蚁群算法。
在此基础上,将其应用于对P ID 控制器参数的优化,仿真显示其结果优于混沌蚂蚁群算法。

Numerical Optimization 数值优化 Jorge Nocedal Stephen J. Wright

数值优化：最小相位谱分析， 适合信号图像处理，机器学习的初学者分析学习。 在控制理论和信号处理中，如果系统及其逆是因果且稳定的，则称线性时不变系统是最小相位的。 最一般的因果 LTI传递函数可以唯一地分解为一系列全通和最小相位系统。系统函数是两部分的乘积，在时域中，系统的响应是两部分响应的卷积。最小相位和一般传递函数之间的区别在于，最小相位系统的传递函数的所有极点和零点都位于 s 平面表示的左半部分（在离散时间内，分别在z 平面）。由于反转系统函数会导致极点变为零，反之亦然，并且右侧的极点（s平面 虚线）或复平面外（z平面 单位圆）导致系统不稳定，反演下只有最小相位系统类是闭合的。直观地说，一般因果系统的最小相位部分以最小的群延迟实现其幅度响应，而其全通部分仅校正其相位响应以与原始系统函数相对应。 极点和零点的分析仅在传递函数的情况下是准确的，传递函数可以表示为多项式的比率。在连续时间的情况下，这样的系统转化为传统的、理想化的LCR 网络的网络。在离散时间中，它们可以方便地转化为近似值，使用加法、乘法和单位延迟。可以证明，在这两种情况下，具有递增阶的有理形式的系统函数

1 非负矩阵分解（NMF或NNMF），也是非负矩阵逼近是多元分析和线性代数中的一组算法，其中矩阵V被分解为（通常）两个矩阵W和H ，具有所有三个矩阵都没有负元素的性质。这种非负性使生成的矩阵更容易检查。此外，在处理音频频谱图或肌肉活动等应用中，非负性是所考虑的数据所固有的。由于该问题通常不能完全解决，因此通常用数值近似。 2 适合机器学习，数值优化，图像处理，信号处理等专业的初学者进行分析和学习。 3 语音去噪一直是音频信号处理中长期存在的问题。如果噪声是静止的，则有许多去噪算法。例如，维纳滤波器适用于加性高斯噪声。然而，如果噪声是非平稳的，经典的去噪算法通常性能较差，因为非平稳噪声的统计信息难以估计。施密特等人。使用NMF在非平稳噪声下进行语音去噪，这与经典的统计方法完全不同。关键思想是干净的语音信号可以用语音字典稀疏地表示，但非平稳噪声不能。类似地，非平稳噪声也可以用噪声字典稀疏表示，但语音不能。NMF去噪算法如下。两个字典，一个用于语音，一个用于噪声，需要离线训练。

等式约束下的范数最小问题求解； 在数学中，范数是从实数或复数向量空间到非负实数的函数，其行为方式类似于到原点的距离：它与缩放对易，服从三角不等式的形式，并且为零只在原点。具体来说，向量到原点的欧几里得距离是一个范数，称为欧几里得范数或2-范数，也可以定义为向量与其自身 的内积的平方根。半范数满足范数的前两个属性，但对于除原点以外的向量可能为零。[1]具有指定范数的向量空间称为范数向量空间。以类似的方式，具有半范数的向量空间称为半范数向量空间。 在受约束的最小二乘法中，通过对解的附加约束来解决线性最小二乘问题。即无约束方程{\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mathbf {y} }\mathbf {X} {\boldsymbol {\beta }}=\mathbf {y}必须尽可能紧密地拟合（在最小二乘意义上），同时确保{\displaystyle {\boldsymbol {\beta }}}{\boldsymbol {\beta }}得到维护。

不等式约束下的线性规划； 线性规划（LP），也称为线性优化，是一种在其要求由线性关系表示的数学模型中实现最佳结果（例如最大利润或最低成本）的方法。线性规划是数学规划（也称为数学优化）的一种特殊情况。更正式地说，线性规划是一种优化线性 目标函数的技术，受线性等式和线性不等式 约束。它的可行域是一个凸多面体，它是一个集合，定义为有限多个半空间的交集，每个半空间都由一个线性不等式定义。它的目标函数是定义在这个多面体上的实值仿射（线性）函数。线性规划算法在多面体中找到一个点如果存在这样的点，则此函数具有最小（或最大值）值。 出于多种原因，线性规划是一个广泛使用的优化领域。运筹学中的许多实际问题可以表示为线性规划问题。线性规划的某些特殊情况，例如网络流问题和多商品流问题，被认为足够重要，可以对专门的算法进行大量研究。许多其他类型的优化问题的算法通过将线性规划问题作为子问题来解决。从历史上看，线性规划的思想启发了优化理论的许多核心概念，例如对偶性、 分解和凸性的重要性及其概括。