共轭梯度法中搜索步长是通过某种搜索策略得到，许多情况下的收敛速度较慢。为了加快其收敛速度，提出了通过引入具有“先验知识”的神经网络对共轭梯度算法中的搜索步长进行控制。实验结果表明，该模型实现的共轭梯度法对于加快收敛速度有效。

matlab的素描代码彩色GF-HoG 此存储库包含Matlab实现，如ICCV ws 2015论文中所述的定向渐变的颜色渐变场直方图（Color GF-HoG）。 GF-HoG实施 原来的 生长激素 如果仅处理黑白草图，请在BW文件夹下进行检查： des = ComputeGF('circle.png',0); 将为草图计算局部GF-HoG描述符。 如果输入图像，请将第二个参数更改为1。 此实现遵循Rui Hu和Stuart James的原始C代码（项目页面和），并进行了一些改进，在Flickr15K基准测试中达到了16.6％的mAP（带有反向索引的mAP达到了18.2％），如图5所示。 彩色GF-HoG实施 原来的 彩色GF-HoG可视化 如果您使用彩色草图，请检查以下颜色文件夹： [des_shape, des_color] = ComputeGF_colour('underground_sketch.png',0); 将为草图计算局部形状和颜色描述符。 对于图像，将第二个参数更改为1。 与纸张的不同之处在纸张中，亮度通道（L *）通过双S型函数传递，以将黑白图像与其余图像分开。

基于对话框的可视化程序，基本囊括球体正演各种运算，还有运算计时功能

该代码是对 [1] 的补充，并且是使用平均向量场 (AVF) 离散时间梯度和空间有限元的 Korteweg-de Vries 方程的移动网格能量保持求解器的实现。 [1] Eidnes，Sølve，Brynjulf Owren和​​TorbjørnRingholm。 “偏微分方程的自适应能量保持方法。” 计算数学进展（2017）：1-25。

4.3 二次和线性函数的梯度和海森矩阵 现在我们来尝试确定几个简单函数的梯度和 Hessian 矩阵。应该注意的是，这里提供的所 有梯度都是 CS229 讲义中给出的梯度的特殊情况。 对任意 x ∈ Rn，令 f(x) = bT x ，其中 b ∈ Rn 是某个已知向量。 那么 所以 . 从这里我们可以很容易地看到∇xbT x = b。这应该与单变量计算中的类似情况进行比较，其 中∂/(∂x) ax = a 。 现在考虑二次函数 f(x) = xT Ax for A ∈ Sn。回忆一下 . 要求偏导数，我们将分开考虑 xk 和 x2k 项：

大规模数据聚类的基于随机梯度下降的K-Means算法

针对利用次梯度算法处理拉格朗日松弛对偶问题时, 计算过程容易出现振荡, 求解效率较低的问题, 首先提 出了一种基于模糊理论的次梯度算法, 利用隶属度函数给出迭代过程中所有次梯度的合适权重, 并将它们线性加权 得到新的迭代方向; 其次证明了算法的收敛性; 最后通过仿真实验验证了该方法的有效性.

基于自适应Barzilai-Borwein步长的直接搜索共轭梯度法.pdf

PowerSGD 适用于分布式优化的实用低秩梯度压缩 摘要：我们研究了梯度压缩方法来缓解数据并行分布优化中的通信瓶颈。 尽管受到了很大的关注，但是当前的压缩方案不能很好地扩展或无法达到目标测试精度。 我们基于功率迭代提出了一种新的低秩梯度压缩器，它可以i）快速压缩梯度，ii）使用全归约有效地压缩压缩梯度，iii）达到与SGD相当的测试性能。 所提出的算法是唯一评估的方法，当以具有优化的通信后端的常规SGD为基准进行测试时，该方法可实现一致的挂钟加速。 我们证明了减少卷积网络以及通用数据集上的LSTM的训练时间。 该存储库包含用于实验的研究代码。 从1.8版开始，PyTorch将该算法的派生实现作为DistributedDataParallel模型的。 如果您打算在生产环境中使用PowerSGD， 分享他们在将PowerSGD扩展到大型系统上的实验。 代码组织 一些指针 是入口点。 实

本实验报告包括六个实验：正弦信号的相关积累检测；含噪谐波信号的周期图功率谱估计；相关正态分布离散随机过程的产生；确定性最小二乘滤波器的实现；基于AR模型的谐波信号预测与参数估计；线性信道均衡中的LMS梯度算法实现；