HanLP: Han Language Processing | | | | | 面向生产环境的多语种自然语言处理工具包，基于PyTorch和TensorFlow 2.x双引擎，目标是普及落地最前沿的NLP技术。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 借助世界上最大的多语种语料库，HanLP2.1支持包括简繁中英日俄法德在内的104种语言上的10种联合任务：分词（粗分、细分2个标准，强制、合并、校正3种）、词性标注（PKU、863、CTB、UD四套词性规范）、命名实体识别（PKU、MSRA、OntoNotes三套规范）、依存句法分析（SD、UD规范）、成分句法分析、语义依存分析（SemEval16、DM、PAS、PSD四套规范）、语义角色标注、词干提取、词法语法特征提取、抽象意义表示（AMR）。 量体裁衣，HanLP提供RESTful和nati

# 中文命名实体识别 基于条件随机场（Conditional Random Field, CRF)的NER模型 ## 数据集 数据集用的是论文ACL 2018[Chinese NER using Lattice LSTM](https://github.com/jiesutd/LatticeLSTM)中收集的简历数据，数据的格式如下，它的每一行由一个字及其对应的标注组成，标注集采用BIOES，句子之间用一个空行隔开。 ``` 美 B-LOC 国 E-LOC 的 O 华 B-PER 莱 I-PER 士 E-PER 我 O 跟 O 他 O 谈 O 笑 O 风 O 生 O ``` 该数据集就位于项目目录下的`data`文件夹里。 ## 运行结果 具体的输出可以查看`output.txt`文件。 ## 环境 首先安装依赖项： pip3 install -r requirement.txt 安装完毕之后，直接使用 python3 main.py > output.txt 即可训练、评估以及测试模型，评估模型将会打印出模型的精确率、召回率、F1分数值以及混淆矩阵。

主要实现使用了基于字向量的四层双向LSTM与CRF模型的网络.该项目提供了原始训练数据样本(一般醒目,出院情况,病史情况,病史特点,诊疗经过)与转换版本,训练脚本,预训练模型,可用于序列标注研究.把玩和PK使用

中文NER 本项目使用 python 2.7 张量流1.7.0 火炬0.4.0 对命名实体识别不了解的可以先看一下这篇。顺便求star〜 这是最简单的一个命名实体识别BiLSTM + CRF模型。 数据 数据文件夹中有三个开源数据集可以使用，玻森数据（ ），1998年人民日报标注数据，MSRA微软亚洲研究院开源数据。其中，boson数据集有6种实体类型，人民日报语料和MSRA一般只提取人名，地名，组织名三种实体类型。 先运行数据中的python文件处理数据，供模型使用。 张量流版 开始训练 使用python train.py开始训练，训练的模型会存到模型文件夹中。 使用预训练的词向量 使

包含传统的基于统计模型(CRF)和基于深度学习(Embedding-Bi-LSTM-CRF)下的医疗数据命名实体识别

中文命名实体识别ner数据_resume_bio格式 已经清理干净，放心下载，直接可以用各种ner模型训练

使用BiLSTM-CRF模型的NER任务的PyTorch解决方案。 此存储库包含BiLSTM-CRF模型的PyTorch实现，用于命名实体识别任务。 代码结构 在项目的根目录，您将看到： ├── pyner | └── callback | | └── lrscheduler.py　　 | | └── trainingmonitor.py　 | | └── ... | └── config | | └── basic_config.py #a configuration file for storing model parameters | └── dataset

自己做的 ppt 希望搞命名实体识别的同学们一起交流互相学习

NER（命名实体识别），数据集读取和解析工具，数据下载链接，数据详细解释文档

适合作为命名实体识别的补充预料，包括微软亚研院MSRA：46365条语料、人民日报：23061条语料和Boson:2000条语料。都是标注过的，非常实用，适合新手作为刚开始的模型练习。