MogrifierLSTM:在PyTorch中快速浏览LSTM的内幕和Mogrifier LSTM论文的简单实现-源码

迁移器LSTM 该存储库在PyTorch中从头实现LSTM（允许PyTorch处理反向传播步骤），然后尝试复制。 该代码可以在本地运行，也可以在Google Colaboratory中运行。 更新：迁移器LSTM的代码已发布。 由于他们对神经网络模型实验进行参数设置的方式有点难以理解，因此我将尝试更新自己的实现以确保正确性，但是如果您要使用源代码，请 Mogrifier LSTM结果 我使用Brown语料库数据集（在笔记本中有更多信息）在基本RNN文本预测问题上测试了Mogrifier LSTM，并将Mogrifier LSTM与普通LSTM进行比较时，看到了更早的收敛结果以及更好的验证和训练损失结果。 为了进一步验证这些结果，我们需要针对更多的数据集和更多的神经网络体系结构进行测试。 每个时期已为每种LSTM类型保存了检查点和度量标准（请参阅运行文件夹）； 我没有对tensorboa