从ReLU到GELU，一文概览神经网络的激活函数（https://mp.weixin.qq.com/s/pA9JW75p9J5e5KHe3ifcBQ），除上述外，本文还提供了若干相应的支撑论文。

第一种：分开来画 import matplotlib.pyplot as plt import numpy as np plt.rcParams['axes.unicode_minus'] = False def sigmoid(x): return 1.0/(1.0+np.exp(-x)) def tanh(x): return (np.exp(x) - np.exp(-x))/(np.exp(x)+np.exp(-x)) x = np.linspace(-8,8) fig = plt.figure(figsize = (12,4)) ax1 = plt.subplot(12

Mish-Cuda：自正则化非单调激活函数 这是 Diganta Misra ( ) Mish 激活的 PyTorch CUDA 实现。 安装 它目前作为仅源代码的 PyTorch 扩展分发。 因此，您需要正确设置工具链和 CUDA 编译器才能安装。 工具链- 在cxx_linux-64包提供了适当的工具链。 但是，这取决于系统，仍然可能存在兼容性问题。 您也可以尝试使用系统工具。 CUDA 工具包- 除了驱动程序之外，还需要来提供所需的头文件和工具。 从 nVidia 获取适合您的 Linux 发行版的版本，或者检查发行版的特定说明。 重要的是您的 CUDA 工具包与 PyTorch 构建的版本相匹配，否则可能会发生错误。 目前 PyTorch 为 v10.0 和 v9.2 构建。 表现 CUDA 实现似乎反映了原始实现的学习性能，并且没有观察到稳定性问题。 在函数的速度方面，它

卷积神经网络中的激活函数分析.pdf

3.激活函数及其梯度.pdf

本资源通过作者查阅资料并进行相应的修改，得到此最终版本的学习资源，是深度学习里面一些常用的激活函数和损失函数对应的代码，供广大用户参考。

RBFNN是使用径向基函数作为激活函数的人工神经网络。 图显示了 RBFNN 的结构。 RBFNN 是三层前馈神经网络。 第一层是线性的，只分配输入信号，而下一层是非线性的，使用高斯函数。 第三层线性组合高斯输出。 在训练期间只修改隐藏层和输出层之间的抽头权重。 RBFNN 有 5 个优化参数： 1- 隐藏层和输出层之间的权重。 2- 激活函数。 3- 激活函数的中心。 4- 激活函数中心的分布。 5- 隐藏神经元的数量。 隐藏层和输出层之间的权重使用 Moore-Penrose 广义伪逆计算。 该算法克服了传统梯度算法中的许多问题，如停止标准、学习率、时期数和局部最小值。 由于其较短的训练时间和泛化能力，适合实时应用。 选择的径向基函数通常是用于模式识别应用的高斯核。 通常激活函数的中心和分布应该具有与数据相似的特征。 这里，使用 Kmeans 聚类算法选择高斯的中心和宽度。 基于通用逼

研究了不同激活函数选取对BP网络收敛速度的影响,得出了采用组合激活函数可改善BP网络的收敛性的结论.以电力变压器的人工神经网络故障诊断为例所选取的TT(S T表示为双曲正切函数,S表示为Sigmoid函数)的组合激活函数方式,具有快速收敛性和较高的故障诊断精度.

matlab bp神经网络激活函数的代码BP神经网络Matlab 描述 Matlab中的BP神经网络。 教程 该程序用于Matlab的主要应用程序来生成和训练BP神经网络。 我选择Sigmoid作为隐藏层的激活函数，并选择Linear函数作为输出层的激活函数。 在运行程序之前，应将所有文件添加到Matlab路径中。 除非要改进我的代码，否则最好在BPtrain.m中运行该程序。 您只需更改默认值即可在BPtrain.m中更改训练集，隐藏层中的神经元数量，学习率，重复次数和检查间隔。 如果输入大小和输出大小均为1，则可以运行film.m来生成显示训练过程的电影。 可以在和gif180906.gif中看到一个示例。 此外，您可以随时暂停BPtrain.m并使用下面的代码检查您的训练结果。 plot(x, y) 注意：如果上面的代码不起作用，请继续运行BPtrain.m一段时间，然后再次暂停。 可能是因为脚本在另一个工作空间处停止了。 享受BPNN和Matlab的乐趣！ 欢迎提出建议和调整（以及STAR）。 由Bill在北京创建7/9/2018

BP神经网络Matlab实现，带GUI界面，多种数据选择，多种激活函数选择。主要是熟悉各种参数对神经网络的影响。相关介绍http://blog.csdn.net/hoho1151191150/article/details/79570281