L2正则化原理： 过拟合的原理：在loss下降，进行拟合的过程中（斜线），不同的batch数据样本造成红色曲线的波动大，图中低点也就是过拟合，得到的红线点低于真实的黑线，也就是泛化更差。 可见，要想减小过拟合，减小这个波动，减少w的数值就能办到。 L2正则化训练的原理：在Loss中加入（乘以系数λ的）参数w的平方和，这样训练过程中就会抑制w的值，w的（绝对）值小，模型复杂度低，曲线平滑，过拟合程度低（奥卡姆剃刀），参考公式如下图： （正则化是不阻碍你去拟合曲线的，并不是所有参数都会被无脑抑制，实际上这是一个动态过程，是loss（cross_entropy）和L2 loss博弈的一个过程。训

半监督转移学习的自适应一致性正则化 该存储库用于以下论文中介绍的自适应知识一致性和自适应表示表示一致性： Abulikemu Abuduweili，Li Xingjian Li，Humphrey Shi，徐成中和Dou Dedou，“半监督转移学习的自适应一致性正则化”。 该代码是在具有Tesla V100 GPU的CentOS 6.3环境（Python 3.6，PyTorch 1.1，CUDA 9.0）上开发的。 内容 介绍 在这项工作中，我们考虑半监督学习和转移学习的结合，从而导致一种更实用和更具竞争力的范例，该范例可以利用源域中强大的预训练模型以及目标域中的带标签/未带标签的数据。 为了更好地利用预训练权重和未标记目标示例的价值，我们引入了自适应一致性正则化，它由两个互补组成部分：源模型和目标模型之间（（标记和未标记）示例上的自适应知识一致性（AKC）；以及目标模型上带标签和未

Rank-Deficient and Discrete Ill-Posed Problems: Numerical Aspects of Linear Inversion (Monographs on Mathematical Modeling and Computation)

原文链接： https://blog.csdn.net/moonoa/article/details/106228773

针对移动最小二乘算法在图像变形过程中,求解的线性方程组系数矩阵会出现不可逆、求解不稳定的问题,通过引入Tikhonov正则化,运用L-曲线法求解正则参数,对系数矩阵施加约束项从而得到精确解,避免病态方程组的形成;针对在实现图像变形过程中,定位特征点人工量大且特征点不足的问题,运用Dlib库自动提取68个覆盖人脸五官和轮廓的特征点。仿真实验结果表明,与原算法相比,提出的改进算法可以使图像产生清晰、准确的变形。

主要介绍了tensorflow使用L2 regularization正则化修正overfitting过拟合方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

包含目前常用的各自正则化函数， 并附带有相应的说明文档，非常全面， 可满足各种正则化的的应用

针对机器学习中训练样本和测试样本概率分布不一致的问题，提出了一种基于dropout正则化的半监督域自适应方法来实现将神经网络的特征表示从标签丰富的源域转移到无标签的目标域。此方法从半监督学习的角度出发，在源域数据中添加少量带标签的目标域数据，使得神经网络在学习到源域数据特征分布的同时也能学习到目标域数据的特征分布。由于有了先验知识的指导，即使没有丰富的标签信息，神经网络依然可以很好地拟合目标域数据。实验结果表明，此算法在几种典型的数字数据集SVHN、MNIST和USPS的域自适应任务上的性能优于现有的其他算法，并且在涵盖广泛自然类别的真实数据集CIFAR-10和STL-10的域自适应任务上有较好的鲁棒性。

正则化算法，可以用来对数据进行处理，降噪

matlab开发-正则化多帧超分辨率模型。该函数实现了规则化多帧超分辨率模型