独立递归神经网络 简单TensorFlow实现 Shuai Li等人 。 作者在Theano和Lasagne中的原始实现可在找到。 概要 在IndRNN中,循环层中的神经元彼此独立。 基本的RNN用h = act(W * input + U * state + b)计算隐藏状态h 。 IndRNN使用逐元素向量乘法u * state这意味着每个神经元都具有与其最后一个隐藏状态相关的单个递归权重。 IndRNN 可以有效地与ReLU激活功能一起使用,从而更容易堆叠多个递归层而不会使梯度饱和 允许更好的解释性,因为同一层中的神经元彼此独立 通过调节每个神经元的周期性体重来防止梯度消失和爆炸 用
2021-11-23 16:49:59 319KB tensorflow rnn paper-implementations indrnn
1
本文主要是对在线问诊中产生的医疗文本进行命名实体识别的研究.使用在线医疗问答网站的数据,采用{B,I,O}标注体系构建数据集,抽取疾病、治疗、检查和症状四个医疗实体.以BiLSTM-CRF为基准模型,提出两种深度学习模型IndRNN-CRF和IDCNN-BiLSTM-CRF,并在自构建数据集上验证模型的有效性.将新提出的两种模型与基准模型通过实验对比得出:模型IDCNN-BiLSTM-CRF的F1值0.8116,超过了BiLSTM-CRF的F1值0.8009,IDCNN-BiLSTM-CRF整体性能好于BiLSTM-CRF模型;模型IndRNN-CRF的精确率0.8427,但该模型在召回率上低于基准模型BiLSTM-CRF.
1