关于Relu文章的理解翻译，原文见paper：Deep Sparse Rectifier Neural Networks

动态ReLU 在Pytorch上实现 。 例子 import torch.nn as nn from dyrelu import DyReluB class Model(nn.Module): def __init__(self): super(Model, self).__init__() self.conv1 = nn.Conv2d(3, 10, 5) self.relu = DyReLUB(10, conv_type='2d') def forward(self, x): x = self.conv1(x) x = self.relu(x) return x

简介 CNN -> Convolutional Neural Network 卷积神经网络是由一个或多个卷积层和顶端的全连通层（也可以使用1×1的卷积层作为最终的输出）组成的一种前馈神经网络 基本概念 局部感受野(Local Receptive Fields) 一般的神经网络往往会把图像的每一个像素点连接到全连接的每一个神经元中，而卷积神经网络则是把每一个隐藏节点只连接到图像的某个局部区域，从而减少参数训练的数量。 例如，一张1024×720的图像，使用9×9的感受野，则只需要81个权值参数。对于一般的视觉也是如此，当观看一张图像时，更多的时候关注的是局部。 共享权值(Shared Weigh

SELUs - 以可视化和直方图在ReLU和Leaky ReLU之间进行比较

MNIST手写字识别 ReLU激活函数 规则化 识别率最高可达到97.5

本科毕设论文，CNN实现的手写数字集，改自Matlab的深度学习工具箱，有较详细的中文注释！代码等见论文

tenforflow_five_layers_relu_lrdecay_dropout

tenforflow_five_layers_relu_lrdecay

tenforflow_batchnorm_five_layers_relu