之前硕士做了一丢改进，部分有注释，数据集是UCI数据集，可运行

数值最优化算法与理论(第2版)》较为系统地介绍最优化领域中比较成熟的基本理论与方法。基本理论包括最优化问题解的必要条件和充分条件以及各种算法的收敛性理论。介绍的算法有:无约束问题的最速下降法、Newton法、拟Newton法、共轭梯度法、信赖域算法和直接法;非线性方程组和最小二乘问题的Newton法和拟Newton法;约束问题的罚函数法、乘子法、可行方向法、序列二次规划算法和信赖域算法等。还介绍了线性规划的基本理论与单纯形算法以及求解二次规划的有效集法，并简单介绍了求解全局最优化问题的几种常用算法。

针对传统PID控制系统参数整定过程存在的在线整定困难和控制品质不理想等问题，结合BP神经网络自学习和自适应能力强等特点，提出采用BP神经网络优化PID控制器参数。其次，为了加快BP神经网络学习收敛速度，防止其陷入局部极小点，提出采用粒子群优化算法来优化BP神经网络的连接权值矩阵。最后，给出了PSO-BP算法整定优化PID控制器参数的详细步骤和流程图，并通过一个PID控制系统的仿真实例来验证本文所提算法的有效性。仿真结果证明了本文所提方法在控制品质方面优于其它三种常规整定方法。

完整代码，可直接运行

XinShe Yang教授提出的Cuckoo Search优化算法Matlab原代码，可用于全局优化，并附有算法原理的文章及测试函数，供大家参考学习。

完整最速下降法和修正牛顿法（阻尼牛顿法）matlab代码，打开即可运行

粒子群优化算法（Particle Swarm Optimization，PSO）是进化计算的一个分支，是一种模拟自然界的生物活动的随机搜索算法。 PSO模拟了自然界鸟群捕食和鱼群捕食的过程。通过群体中的协作寻找到问题的全局最优解。它是1995年由美国学者Eberhart和Kennedy提出的，现在已经广泛应用于各种工程领域的优化问题之中。 ———————————————— 介绍链接：https://blog.csdn.net/qq_44186838/article/details/109212631

详细介绍链接：https://blog.csdn.net/qq_44186838/article/details/109207781

Python复现遗传算法、蚁群优化算法、粒子群算法、禁忌搜索算法 详细算法介绍链接：https://blog.csdn.net/qq_44186838/article/details/109181453

【优化求解】基于粒子群的混沌混合蝴蝶优化算法求解高维优化问题matlab源码.md