mish-cuda:PyTorch 的 Mish 激活函数-源码

Mish-Cuda：自正则化非单调激活函数 这是 Diganta Misra ( ) Mish 激活的 PyTorch CUDA 实现。 安装 它目前作为仅源代码的 PyTorch 扩展分发。 因此，您需要正确设置工具链和 CUDA 编译器才能安装。 工具链- 在cxx_linux-64包提供了适当的工具链。 但是，这取决于系统，仍然可能存在兼容性问题。 您也可以尝试使用系统工具。 CUDA 工具包- 除了驱动程序之外，还需要来提供所需的头文件和工具。 从 nVidia 获取适合您的 Linux 发行版的版本，或者检查发行版的特定说明。 重要的是您的 CUDA 工具包与 PyTorch 构建的版本相匹配，否则可能会发生错误。 目前 PyTorch 为 v10.0 和 v9.2 构建。 表现 CUDA 实现似乎反映了原始实现的学习性能，并且没有观察到稳定性问题。 在函数的速度方面，它