今天小编就为大家分享一篇PyTorch的SoftMax交叉熵损失和梯度用法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

softmax_variants softmax变体的各种损失函数：中心损失，余面损失，高边距高斯混合，由pytorch 0.3.1实现的COCOLoss 训练数据集是MNIST 您可以直接运行代码train_mnist_xxx.py重现结果 参考文件如下： 中锋失利：温彦东，张凯鹏，李志峰和乔巧。 一种用于深度人脸识别的判别性特征学习方法。 ECCV 2016 Cosface损失：王浩，王一彤，周正，邢吉，狄宏恭，周静超，李志峰和刘伟。 CosFace：用于深脸识别的大余量余弦损失。 CVPR2018 大幅度高斯混合损失：万维涛，钟元仪，李天鹏，陈建生。 重新考虑图像分类中损失函数的特征分布。 CVPR 2018 COSO损失：刘宇，李洪阳，王小刚。 重新思考特征识别和聚合，以进行大规模识别。 NIPS研讨会2017 学到的二维嵌入功能包括： softmax损失 可可

火炬损失 我实现的标签平滑，amsoftmax，焦点损耗，双焦点损耗，三重态损耗，giou损耗，亲和力损耗，pc_softmax_cross_entropy，ohem损耗（基于行硬挖掘损失的softmax），大利润- softmax（bmvc2019），lovasz-softmax-loss和dice-loss（广义的软骰子损失和批处理软骰子损失）。 也许这对我的未来工作很有用。 还尝试实现swish，hard-swish（hswish）和mish激活功能。 此外，添加了基于cuda的一键式功能（支持标签平滑）。 新添加一个“指数移动平均线（EMA）”运算符。 添加卷积运算，例如coord-conv2d和dynamic-conv2d（dy-conv2d）。 一些运算符是使用pytorch cuda扩展实现的，因此您需要先对其进行编译： $ python setup.py

获取Fashion-MNIST训练集和读取数据 在介绍softmax回归的实现前我们先引入一个多类图像分类数据集。它将在后面的章节中被多次使用，以方便我们观察比较算法之间在模型精度和计算效率上的区别。图像分类数据集中最常用的是手写数字识别数据集MNIST[1]。但大部分模型在MNIST上的分类精度都超过了95%。为了更直观地观察算法之间的差异，我们将使用一个图像内容更加复杂的数据集Fashion-MNIST[2]。 我这里我们会使用torchvision包，它是服务于PyTorch深度学习框架的，主要用来构建计算机视觉模型。torchvision主要由以下几部分构成： torchvision.

在计算loss的时候，最常见的一句话就是tf.nn.softmax_cross_entropy_with_logits，那么它到底是怎么做的呢？ 首先明确一点，loss是代价值，也就是我们要最小化的值 tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None) 除去name参数用以指定该操作的name，与方法有关的一共两个参数： 第一个参数logits：就是神经网络最后一层的输出，如果有batch的话，它的大小就是[batchsize，num_classes]，单样本的话，大小就是num_classes 第二个参数lab

基于python3的softmax分类模型代码的jupyter notebook文件，供参考学习

softmax网络基于d2lzh_pytorch库的两种实现方法，一种是从零开始，一种是调用大量库

Softmax Regression, which will be useful in later exercise.

只使用了numpy，没有使用tensorflow或pytorch框架,使用的是单线程，具有详细的注释，如有不对请大家指正，非常感谢，多交流

本文为softmax 的交叉熵 求导公式，来源于斯坦福cs224n 其中一题