中文命名实体识别 数据集 本项目尝试使用了多种不同的模型(包括HMM,CRF,Bi-LSTM,Bi-LSTM + CRF)来解决中文命名实体识别问题,数据集用的是论文ACL 2018 中收集的简历数据,数据的格式如下,它的每个行由一个字及其对应的标注组成,标注集采用BIOES,句子之间用一个空行替换。 美 B-LOC 国 E-LOC 的 O 华 B-PER 莱 I-PER 士 E-PER 我 O 跟 O 他 O 谈 O 笑 O 风 O 生 O 该数据集就位于项目目录下的ResumeNER文件夹里。 运行结果 下面是多种不同的模型以及这Ensemble这四个模型预测结果的准确率(取最好): HMM 慢性肾功能衰竭 双线性STM BiLSTM + CRF 合奏 召回率 91.22% 95.43% 95.32% 95.72% 95.65% 准确率 91.49% 95.43% 95.37% 95.74% 95.69% F1分数 91.30% 95.42% 95.32% 95.70% 95.64% 最后一列Ensemble是将这四个模型的预测结果结合起来,使用“
2021-11-13 17:18:20 24.44MB nlp hmm crf named-entity-recognition
1
命名实体识别是自然语言处理的一项关键技术. 基于深度学习的方法已被广泛应用到中文实体识别研究中. 大多数深度学习模型的预处理主要注重词和字符的特征抽取, 却忽略词上下文的语义信息, 使其无法表征一词多义, 因而实体识别性能有待进一步提高. 为解决该问题, 本文提出了一种基于BERT-BiLSTM-CRF模型的研究方法. 首先通过BERT模型预处理生成基于上下文信息的词向量, 其次将训练出来的词向量输入BiLSTM-CRF模型做进一步训练处理. 实验结果表明, 该模型在MSRA语料和人民日报语料库上都达到相当不错的结果, F1值分别为94.65%和95.67%.
1
为解决旅游文本在特征表示时的一词多义问题, 针对旅游游记文本景点实体识别中景点别名的问题, 研究了一种融合语言模型的中文景点实体识别模型. 首先使用BERT语言模型进行文本特征提取获取字粒度向量矩阵, BiLSTM用于上下文信息的提取, 同时结合CRF模型提取全局最优序列, 最终得到景点命名实体. 实验表明, 提出的模型性能提升显著, 在实际旅游领域内景点识别的测试中, 与以往研究者方法比较下准确率, 召回率分别提升了8.33%, 1.71%.
1
NER-Sequence-labeling--Textcnn-bilstm-crf-pytorch pytorch用Textcnn-bilstm-crf模型实现命名实体识别 数据处理 数据处理文件是'data_preprocess.py' 模型和训练过程 模型和训练过程都在同一个文件中‘cnn-bilistm-crf.py’ 预测 预测文件为‘predict.py’   数据 数据存在data文件夹中
2021-11-05 14:04:29 16KB Python
1
双向LSTM进行命名实体识别NER
2021-11-04 23:00:21 39.47MB 双向LSTM BiLSTM
1
裁判文书中的命名实体识别是自动化审判的关键一步,如何能够有效的分辨出案件的关键命名实体是本文的研究重点.因此本文针对财产纠纷审判案件,提出了一种基于SVM-BiLSTM-CRF的神经网络模型.首先利用SVM筛选出包含关键命名实体的句子,然后将正确包含此类实体的句子转化为字符级向量作为输入,构建适合财产纠纷裁判文书命名实体识别的BiLSTM-CRF深层神经网络模型.通过构建训练数据进行验证和对比,该模型比其他相关模型表现出更高的召回率和准确率.
2021-10-31 16:58:52 1.1MB 命名实体识别 SVM BiLSTM CRF
1
CwsPosNerEntityRecognition 中英文Cws Pos Ner实体识别工具,使用CNN双向lstm和crf模型,并带有char嵌入。基于字向量的CNN池化双向BiLSTM与CRF模型的网络,可能一体化的完成中文和英文分词,词性标注,实体识别。主要包括原始文本数据,数据转换,训练脚本,预训练模型,可用于序列标注研究。注意:唯一需要实现的逻辑是将用户数据转化为序列模型。分词准确率约为93%,词性标注准确率约为90%,实体标注(在本样本上)约为85%。 提示 中文分词,词性标注,实体识别,在使用上述模型时,本质是就是标注问题!!!如果您第一次使用相关的模型,只需加上self.c
2021-10-18 22:10:58 52.4MB nlp tensorflow crf keras
1
BERT-BiLSTM-CRF-NER Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning 使用谷歌的BERT模型在BLSTM-CRF模型上进行预训练用于中文命名实体识别的Tensorflow代码' 中文文档请查看 如果对您有帮助,麻烦点个star,谢谢~~ Welcome to star this repository! The Chinese training data($PATH/NERdata/) come from: The CoNLL-2003 data($PATH/NERdata/ori/) come from: The evaluation codes come from: Try to implement NER work based on google'
2021-10-17 21:06:39 482KB crf named-entity-recognition ner bert
1
中国临床神经内科 CCKS2019中文命名实体识别任务。从医疗文本中识别疾病和诊断,解剖部位,影像检查,实验室检查,手术和药物6种命名实体。实现基于捷巴和AC自动机的基线构建,基于BiLSTM和CRF的序列标注模型构造。伯尔尼的部分代码源于感谢作者。模型最终测试集重叠0.81,还有更多改进空间。
2021-10-04 20:01:00 42.36MB 系统开源
1
知识蒸馏在文本方向上的应用 模型相关等内容在有具体介绍。 目录 更新日志 2020.08.28 整理代码结构,抛弃借鉴的Bert模型,增加xlnet模型,预训练xlnet模型效果较差,可以在模型基础上再进行预训练,因此添加了模型预训练代码。 2020.07.15 修复bug,添加textGCN模型(单独训练,模型效果较差)。 2020.07.06 移除模型介绍&部分模型实现,增加使用说明及运行环境。 2020.05.28 增加了直接使用学生模型训练代码,并使用公开测试集完成测试。 运行环境 python 3.7 pytorch 1.1 (BERT模型参考Bert-Chinese-Text-Classification-Pytorch,有较多改动) transformers 3.0.2 torch 1.5.0 使用说明 下载Wikipedia_zh 中文维基百科 预训练词向量放入Knowl
2021-10-03 16:16:24 1.11MB pytorch knowledge-distillation bert Python
1