中文命名实体识别 数据集 本项目尝试使用了多种不同的模型(包括HMM,CRF,Bi-LSTM,Bi-LSTM + CRF)来解决中文命名实体识别问题,数据集用的是论文ACL 2018 中收集的简历数据,数据的格式如下,它的每个行由一个字及其对应的标注组成,标注集采用BIOES,句子之间用一个空行替换。 美 B-LOC 国 E-LOC 的 O 华 B-PER 莱 I-PER 士 E-PER 我 O 跟 O 他 O 谈 O 笑 O 风 O 生 O 该数据集就位于项目目录下的ResumeNER文件夹里。 运行结果 下面是多种不同的模型以及这Ensemble这四个模型预测结果的准确率(取最好): HMM 慢性肾功能衰竭 双线性STM BiLSTM + CRF 合奏 召回率 91.22% 95.43% 95.32% 95.72% 95.65% 准确率 91.49% 95.43% 95.37% 95.74% 95.69% F1分数 91.30% 95.42% 95.32% 95.70% 95.64% 最后一列Ensemble是将这四个模型的预测结果结合起来,使用“
2021-11-13 17:18:20 24.44MB nlp hmm crf named-entity-recognition
1
nlp_ner 使用Bi-LSTM和crf来进行人名识别,数据集人民日报98年1月标注数据集,训练:验证:测试为3:1:1 数据说明 原数据文件是/data/rmrb199801.txt data_process.py对文件进行了大量的处理 结果 acc:0.99 f1:0.9
2021-11-13 10:03:59 43.54MB Python
1
命名实体识别是自然语言处理的一项关键技术. 基于深度学习的方法已被广泛应用到中文实体识别研究中. 大多数深度学习模型的预处理主要注重词和字符的特征抽取, 却忽略词上下文的语义信息, 使其无法表征一词多义, 因而实体识别性能有待进一步提高. 为解决该问题, 本文提出了一种基于BERT-BiLSTM-CRF模型的研究方法. 首先通过BERT模型预处理生成基于上下文信息的词向量, 其次将训练出来的词向量输入BiLSTM-CRF模型做进一步训练处理. 实验结果表明, 该模型在MSRA语料和人民日报语料库上都达到相当不错的结果, F1值分别为94.65%和95.67%.
1
日文分词系统mecab的中文讲解 mecab (http://mecab.sourceforge.net/) 是奈良先端科学技術大学院的工藤拓开发的日文分词系统, 该作者写过多个 machine learning 方面的软件包, 最有名的就是 CRF++, 目前该作者在 google@Japan 工作
2021-11-09 17:25:45 95KB 日文 分词 mecab CRF++
1
为解决旅游文本在特征表示时的一词多义问题, 针对旅游游记文本景点实体识别中景点别名的问题, 研究了一种融合语言模型的中文景点实体识别模型. 首先使用BERT语言模型进行文本特征提取获取字粒度向量矩阵, BiLSTM用于上下文信息的提取, 同时结合CRF模型提取全局最优序列, 最终得到景点命名实体. 实验表明, 提出的模型性能提升显著, 在实际旅游领域内景点识别的测试中, 与以往研究者方法比较下准确率, 召回率分别提升了8.33%, 1.71%.
1
NER-Sequence-labeling--Textcnn-bilstm-crf-pytorch pytorch用Textcnn-bilstm-crf模型实现命名实体识别 数据处理 数据处理文件是'data_preprocess.py' 模型和训练过程 模型和训练过程都在同一个文件中‘cnn-bilistm-crf.py’ 预测 预测文件为‘predict.py’   数据 数据存在data文件夹中
2021-11-05 14:04:29 16KB Python
1
使用CNN和CRF进行人脸分割 我们尝试不同的方法来完成人脸分割: 。 型号和更多详细信息,请访问Aaron Jackson的。 我们将CRF添加为后处理。 CRF由实现。 。 原始。 根据地标生成凸包。 在使用所有三种方法之前,我们先检测界标并裁剪图像。 代替在A CNN Cascade for Landmark Guided Semantic Part Segmentation标检测网络,我们使用来检测在大型姿态图像上效果很好的地标。 我们还尝试了其他方法来裁剪图像。 代号 face_segment_part.py:用于地标制导语义部分分割的CNN级联。 face_segment_yuval.py:关于面部分割,面部交换和面部感知。 face_segment_contour.py:检测到地标并获得凸包。 依存关系 请为face_segment_yuval.py下载 (最低版
2021-11-01 19:00:47 956KB crf face segmentation face-segmentation
1
裁判文书中的命名实体识别是自动化审判的关键一步,如何能够有效的分辨出案件的关键命名实体是本文的研究重点.因此本文针对财产纠纷审判案件,提出了一种基于SVM-BiLSTM-CRF的神经网络模型.首先利用SVM筛选出包含关键命名实体的句子,然后将正确包含此类实体的句子转化为字符级向量作为输入,构建适合财产纠纷裁判文书命名实体识别的BiLSTM-CRF深层神经网络模型.通过构建训练数据进行验证和对比,该模型比其他相关模型表现出更高的召回率和准确率.
2021-10-31 16:58:52 1.1MB 命名实体识别 SVM BiLSTM CRF
1
用于多标签视频分类的CRF 概述 该存储库包含用于多标签视频分类的CRF结构的PyTorch实现。 它使用I3D预训练模型作为基础分类器(Joao Carreira和Andrew Zisserman在论文“ ”中报告了I3D)。 该代码基于Deepmind的和AJ Piergiovanni的I3D管道的。 要求 该代码是使用Python 3.6和 0.4.0开发的。 它需要和 。 端到端培训I3D +半/全CRF 该管道使用Deepmind的预训练的I3D模型(在ImageNet和Kinetics上进行预,有关详细信息,请参见 )。 这些是在目录models /中找到的表示为rgb_imagenet.pt和flow_imagenet.pt的模型。 基本模型(I3D) 可以使用以下命令来训练基本模型: python train_i3d.py -dataset 'charades' -
2021-10-20 11:38:59 181.31MB JupyterNotebook
1
CwsPosNerEntityRecognition 中英文Cws Pos Ner实体识别工具,使用CNN双向lstm和crf模型,并带有char嵌入。基于字向量的CNN池化双向BiLSTM与CRF模型的网络,可能一体化的完成中文和英文分词,词性标注,实体识别。主要包括原始文本数据,数据转换,训练脚本,预训练模型,可用于序列标注研究。注意:唯一需要实现的逻辑是将用户数据转化为序列模型。分词准确率约为93%,词性标注准确率约为90%,实体标注(在本样本上)约为85%。 提示 中文分词,词性标注,实体识别,在使用上述模型时,本质是就是标注问题!!!如果您第一次使用相关的模型,只需加上self.c
2021-10-18 22:10:58 52.4MB nlp tensorflow crf keras
1