无约束优化实践 训练一个神经网络 优化理论实践 用了一周的时间学习了一下最优化理论这门课，为了更深度地理解各种优化方法的理念和算法过程，自己把这些算法应用到实践中是很必要的。为此我设计了和优化算法相关的四个实验项目，在这里和大家分享一下。 无约束优化方法 前馈神经网络 根据链式法则，从输出层直接对误差函数求导得到的误差(这里我们简写为δ)，就可以通过和上面的这些局部导数不断做乘积、并把新的δ传播到上一层，就能计算得到所有参数的导数。通过一阶导数，就能实现基本的梯度优化方法。 训练方法 神经网络可以很好地处理函数拟合问题，因为模型带有大量可调节的参数，而且内置了非线性的激励函数，这

它将理查森外推法应用于泰勒级数，以使用“n”次迭代来逼近任何函数 f(x) 在 x_0 处的导数。 这是一个 O(n^2) 算法，可以在“数值数学和计算，Ward Cheney 和 David Kincaid，第 6 版”第 4.3 节中找到。

sofmtax前向传播及反向传播过程，后续只需通过外部优化算法进行迭代计算即可。

12个基本初等函数的导数公式.doc

[y, d] = sphPlm_deriv(lmax, x) 计算归一化的关联勒让德多项式\sqrt{(2l+1)/(4\pi)} \sqrt{(lm)!/(l+m)!} P_l^m(x) 及其导数，适用于球谐函数，对于 l=0,...,lmax 和 m=0,...,l。 在 x 中向量化，返回矩阵在 y(:, l+1,m+1) 处缩放 P_l^m(x) 并在 d(:, l+1,m+1) 处缩放 d/dx P_l^m(x) ）。 基于以下递归公式： WH 出版社，《数字食谱》第 3 版，p。 292 T. Limpanuparb, J. Milthorpe, arXiv:1410.1748v1 [physics.chem-ph] 使用在 Gnu Scientific Library 中找到的实现 gsl_sf_legendre_sphPlm_deriv_array 作为模板。

函数与导数核心考点.pdf

2020_2021学年高中数学第一章导数及其应用1.2第1课时几个常用函数的导数与基本初等函数的导数公式跟踪训练含解析新人教A版选修2_220210204272

高考数学函数与导数22种考法.pdf

建模基础算法，数值微分，用三次样条法求函数的导数。

运用MATLAB操作平台的命令函数和绘图语句解决微积分中抽象的、难以理解的一元函数极值问题。以具体函数为例,给出两种求极值的思路,同时借助MATLAB的作图功能,将函数极值问题可视化,并给出求任意二阶可导的一元函数极值的一种程序设计思路。