论文中加了很多中文批注，对于英文不是很好的同学也许有一点帮助

独立递归神经网络 简单TensorFlow实现 Shuai Li等人 。 作者在Theano和Lasagne中的原始实现可在找到。 概要 在IndRNN中，循环层中的神经元彼此独立。 基本的RNN用h = act(W * input + U * state + b)计算隐藏状态h 。 IndRNN使用逐元素向量乘法u * state这意味着每个神经元都具有与其最后一个隐藏状态相关的单个递归权重。 IndRNN 可以有效地与ReLU激活功能一起使用，从而更容易堆叠多个递归层而不会使梯度饱和 允许更好的解释性，因为同一层中的神经元彼此独立 通过调节每个神经元的周期性体重来防止梯度消失和爆炸 用

递归神经网络（RNNs）已广泛应用于处理序列数据。然而，由于众所周知的梯度消失和爆炸问题以及难以学习的长期模式，RNN通常很难训练。长短时记忆（LSTM）和门电流单元（GRU）是为了解决这些问题而发展起来的，但是双曲正切函数和S形函数的使用会导致梯度衰减。因此，构建一个高效可训练的深层网络是一个挑战。此外，RNN层中的所有神经元都纠缠在一起，它们的行为很难解释。为了解决这些问题，本文提出了一种新的神经网络，称为独立递归神经网络（IndRNN），其中同一层的神经元相互独立，跨层连接。我们已经证明，IndRNN可以很容易地调节，以防止梯度爆炸和消失问题，同时降低网络的长期依赖性。此外，DRNN可以处理非饱和激活函数，如relu（矩形线性单元），并且仍然能够进行稳健的训练。可以堆叠多个indrnn以构建比现有rnn更深的网络。实验结果表明，所提出的IndRNN能够处理很长的序列（超过5000个时间步），可以用于构建多个扩展网络（实验中使用的21层网络），并且仍然具有很强的训练能力。与传统的RNN和LSTM相比，RNN在各种任务上都取得了更好的性能。代码可在https://github.com/Sunnydreamrain/