上传者: 43569398
|
上传时间: 2021-06-29 09:09:26
|
文件大小: 551KB
|
文件类型: PDF
考虑到选通循环单元的成功,一个自然的问题是长短时记忆(LSTM)网络的所有门是否都是必需的。以往的研究表明,遗忘门是LSTM中最重要的门之一。在这里,我们展示了带有时间初始化偏差的仅忘记门版本的LSTM,不仅节省了计算量,而且优于标准LSTMONmultipleBenchMarkDatasets,并与一些最好的当代模型相竞争。我们提出的网络JANET在MNIST和pMNIST数据集上的准确率分别为99%和92.5%,优于标准LSTM,后者的准确率分别为98.5%和91%。