独立的电流神经网络（IndRNN）：建立长和深的电流神经网络IndependentlyRecurrentNeuralNetwork(IndRNN):Bu.pdf

递归神经网络（RNNs）已广泛应用于处理序列数据。然而，由于众所周知的梯度消失和爆炸问题以及难以学习的长期模式，RNN通常很难训练。长短时记忆（LSTM）和门电流单元（GRU）是为了解决这些问题而发展起来的，但是双曲正切函数和S形函数的使用会导致梯度衰减。因此，构建一个高效可训练的深层网络是一个挑战。此外，RNN层中的所有神经元都纠缠在一起，它们的行为很难解释。为了解决这些问题，本文提出了一种新的神经网络，称为独立递归神经网络（IndRNN），其中同一层的神经元相互独立，跨层连接。我们已经证明，IndRNN可以很容易地调节，以防止梯度爆炸和消失问题，同时降低网络的长期依赖性。此外，DRNN可以处理非饱和激活函数，如relu（矩形线性单元），并且仍然能够进行稳健的训练。可以堆叠多个indrnn以构建比现有rnn更深的网络。实验结果表明，所提出的IndRNN能够处理很长的序列（超过5000个时间步），可以用于构建多个扩展网络（实验中使用的21层网络），并且仍然具有很强的训练能力。与传统的RNN和LSTM相比，RNN在各种任务上都取得了更好的性能。代码可在https://github.com/Sunnydreamrain/