不等式约束下的线性规划； 线性规划（LP），也称为线性优化，是一种在其要求由线性关系表示的数学模型中实现最佳结果（例如最大利润或最低成本）的方法。线性规划是数学规划（也称为数学优化）的一种特殊情况。更正式地说，线性规划是一种优化线性 目标函数的技术，受线性等式和线性不等式 约束。它的可行域是一个凸多面体，它是一个集合，定义为有限多个半空间的交集，每个半空间都由一个线性不等式定义。它的目标函数是定义在这个多面体上的实值仿射（线性）函数。线性规划算法在多面体中找到一个点如果存在这样的点，则此函数具有最小（或最大值）值。 出于多种原因，线性规划是一个广泛使用的优化领域。运筹学中的许多实际问题可以表示为线性规划问题。线性规划的某些特殊情况，例如网络流问题和多商品流问题，被认为足够重要，可以对专门的算法进行大量研究。许多其他类型的优化问题的算法通过将线性规划问题作为子问题来解决。从历史上看，线性规划的思想启发了优化理论的许多核心概念，例如对偶性、 分解和凸性的重要性及其概括。

具有线性不等式约束的牛顿ADMM方法 笔记： 将惩罚指标用于不平等约束 斯普利特（规范的）损失和惩罚与平等约束 使用ADMM （乘数的交替方向方法）解决等式约束问题 原始子问题使用牛顿法求解（一步） 牛顿反演可以使用直接反演或CG（共轭梯度）完成 要求： （规范的）损失具有明显的梯度和粗麻布。 Logistic回归的示例

此代码有助于通过使用粒子群优化找出非线性等式和不等式约束的最小值

不等式约束优化问题及KKT条件理解 我们只考虑不等式约束下的优化问题，如: minf(x) minf(x) minf(x) s.t.g(x)≤0 s.t.g(x)\leq0 s.t.g(x)≤0 这里xxx是多维的向量，约束不等式g(x)≤0g(x)\leq0g(x)≤0表示的是多维空间上的一个区域，因此我们定义可行性域K=x∈Rn∣g(x)≤0K={x\in R^n|g(x)\leq0}K=x∈Rn∣g(x)≤0 。假设x∗x^*x∗为满足约束条件的最佳解，那么我们可以分成两种情况讨论，而这两种情况的最佳解具有不同的必要条件。 (1)(1)(1) g(x)≤0g(x)\leq0g(x)≤0

外罚函数法(不等式约束问题) 可以构造增广目标函数 其中 “惩罚项”的作用与等式约束时的情形类似.

Non linear equality and inequality constrained PSO（非线性等式与不等式约束PSO）利用粒子群算法求解非线性等式和不等式约束的最小值。包括matlab完整代码。

分别采用障碍法和原对偶内点法对含有等式和不等式约束的凸优化问题用matlab进行求解