BiLSTM CNN 在 Keras 中完成知识图谱 Keras 实现了题为“使用 CNN-BiLSTM 和注意力机制实现知识图完成的基于路径的推理方法”的论文。 给定一个候选关系和两个实体,它使用卷积运算和 BiLSTM 编码将实体连接到低维空间的路径。 还应用了一个注意力层来捕获候选关系与两个实体之间的每条路径之间的语义相关性,并从多条路径的表示中专注地提取推理证据以预测实体是否应该通过候选关系连接。 所需文件 data/processed_data.tar.gz - 包含具有关系和实体的接地路径的数据集文件(例如 e1、r1、e2、r2、e3)。 任务 - 可以从 [1] 下载。 为了生成诸如 (r1, r2, ..., rk) 之类的关系路径,我们使用了 [2]。 我们用于实验的原始知识图数据可以在 [1] 中找到,其中包括带有训练/测试三元组的任务数据集。 如果您使用我们的
2022-03-07 15:20:47 14KB Python
1
bilstmcrf.zip
2022-01-16 12:05:33 11KB bilstm-crf 命名实体识别
1
一个双向LSTM程序 Long Short Term 网络—— 一般就叫做 LSTM ——是一种 RNN 特殊的类型,可以学习长期依赖信息。LSTM 由Hochreiter & Schmidhuber (1997)提出,并在近期被Alex Graves进行了改良和推广。在很多问题,LSTM 都取得相当巨大的成功,并得到了广泛的使用。 LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为,而非需要付出很大代价才能获得的能力! 所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中,这个重复的模块只有一个非常简单的结构,例如一个 tanh 层。(A bidirectional LSTM program Long short term network, commonly known as LSTM, is a special type of RNN that can learn long-term dependent information. LSTM was proposed by Hochreiter & schmidhuber (1997) and recently improved and promoted by Alex graves. In many problems, LSTM has achieved great success and has been widely used. LSTM is designed to avoid long-term dependency. Remember that long-term information is the default behavior of LSTM in practice, not the ability to acquire it at a great cost! All RNNs have a chained form of repetitive neural network modules. In the standard RNN, this repetitive module has only a very simple structure, such as a tanh layer.)
2021-12-20 18:03:24 2KB LSTM
随着大数据和人工智能的发展, 将人工处理专利的方式转换为自动化处理成为可能. 本文结合卷积神经网络(CNN)提取局部特征和双向长短记忆神经网络(BiLSTM)序列化提取全局特征的优势, 在BiLSTM隐藏层引入注意力机制(Attention机制), 提出了针对中文专利文本数据的BiLSTM_ATT_CNN组合模型. 通过设计多组对比实验, 验证了BiLSTM_ATT_CNN组合模型提升了中文专利文本分类的准确率.
1
博客链接:https://blog.csdn.net/qq_44186838/article/details/117995029 主要功能:数据清洗、文本特征提取、建立模型(BiLSTM、TextCNN、CNN+BiLSTMBiLSTM+Attention)、文本摘要 模型简介 **Bi-LSTM** LSTM的全称是Long Short-Term Memory,它是RNN(Recurrent Neural Network)的一种。LSTM由于其设计的特点,非常适合用于对时序数据的建模,如文本数据,该模型可以学习长期依赖信息,它通过特殊的门结构来去除或增加信息到细胞状态的能力,门是一种让信息选择式通过的方法,一共有三个门。第一层是忘记门,决定我们会从细胞状态中丢弃什么信息,下一步是确定什么样的新信息会被存放在细胞状态,下一步是更新细胞状态,最后输出信息。 而Bi-LSTM模型由前向的LSTM和后向的LSTM组合而成,能够很好的处理双向数据的序列信息。一个LSTM层式从左往右处理,而另一个是从右往左处理。总体而言,更适合应用于长文本的分类任务。 **TextCNN** TextCNN模型是由 Yoon Kim提出的Convolutional Naural Networks for Sentence Classification一文中提出的使用卷积神经网络来处理NLP问题的模型。TextCnn在文本分类问题上有着更加卓越的表现。从直观上理解,TextCNN通过一维卷积来获取句子中n-gram的特征表示。TextCNN对文本浅层特征的抽取能力很强,在短文本领域如搜索、对话领域专注于意图分类时效果很好,应用广泛,且速度快,一般是首选;**对长文本领域,TextCNN主要靠filter窗口抽取特征,在长距离建模方面能力受限,且对语序不敏感。** **CNN+BiLSTM** 在一些任务当中,会选择在卷积层后加上一层LSTM或BiLSTM(反过来则不行),用于增强模型对语义的理解。CNN负责提取文本的特征,而BiLSTM负责理解句子的语义信息。当CNN融合了循环神经网络时,就是结合了这两者的功能,往往效果会有所提升。 PS:不要想着拿TextCNN去融合BiLSTM,不是说不能融合,是没有必要。TextCNN本身就是一个非常优秀的模型了,在TextCNN后面加上一层循环神经网络,往往只是带来了更多的计算时间,其本身对于语义的理解,并没有什么帮助,甚至有可能对结果进行干扰。 **BiLSTM+注意力机制** 当输入的文本非常长的时候,我们之前引以为傲的双向长短期记忆模型也难以成为学霸,对文本有一个很好的向量表达。所以,这个时候就可以考虑使用注意力机制,来尝试抓住文本的重点。具体来讲,Attention机制就是通过保留BiLSTM编码器对输入序列的中间输出结果,再训练一个模型来对这些输入进行选择性的学习并且在模型输出时将输出序列与之进行关联。
2021-12-11 18:18:14 23.51MB 情感分类 bilstm textcnn 注意力机制
NER的BERT-BILSTM-GCN-CRF 在原本BERT-BILSTM-CRF上融合GCN和词性标签等做NER任务 数据格式 高B-剧种B-名词腔I-剧种I-名词:OO马B-人名B-名词平I-人名I-名词所OO着O B动词扶O B动词贫O I动词小O B -名词I O-名词 运行
2021-12-06 16:00:54 182KB Python
1
BiLSTM + CRF用于顺序标记任务 :rocket: :rocket: :rocket: BiLSTM + CRF模型的TensorFlow实现,用于序列标记任务。 项目特色 基于Tensorflow API。 高度可扩展; 一切都是可配置的。 模块化,结构清晰。 对初学者非常友好。 容易DIY。 任务与模型 Sequential labeling是对NLP中的序列预测任务进行建模的一种典型方法。 常见的顺序标记任务包括例如 词性(POS)标记, 块, 命名实体识别(NER) 标点恢复 句子边界检测 范围检测 中文分词(CWG) , 语义角色标签(SRL) 口语理解能力 事件提取 等等... 以命名实体识别(NER)任务为例: Stanford University located at California . B-ORG I-ORG O O B-LOC O 在这里,将提取两个实体, Stanford University和California 。 特别是,文本中的每个token都用相应的label 。 例如
2021-12-01 11:51:53 73.89MB nlp tensorflow ner python35
1
Chinese NER Project 本项目为CLUENER2020任务baseline的代码实现,模型包括 BiLSTM-CRF BERT-base + X (softmax/CRF/BiLSTM+CRF) Roberta + X (softmax/CRF/BiLSTM+CRF) 本项目BERT-base-X部分的代码编写思路参考 。 项目说明参考知乎文章: Dataset 实验数据来自。这是一个中文细粒度命名实体识别数据集,是基于清华大学开源的文本分类数据集THUCNEWS,选出部分数据进行细粒度标注得到的。该数据集的训练集、验证集和测试集的大小分别为10748,1343,1345,平均句子长度37.4字,最长50字。由于测试集不直接提供,考虑到leaderboard上提交次数有限,本项目使用CLUENER2020的验证集作为模型表现评判的测试集。 CLUENER2020共有10个
2021-11-29 23:16:05 12.45MB pytorch named-entity-recognition ner bert
1
国科大自然语言处理第三次作业
2021-11-29 17:05:46 181.53MB TensorFlow nlp 命名实体识别
1