政治网络 斯洛文尼亚政治数据的命名实体识别项目。 安装开发 # Python 2.7.6 mkvirtualenv --no-site-packages politiki workon politiki pip install --upgrade -r requirements.txt 使用的库和工具 准备和抓取数据 手动抓取每个门户或运行“./bin/small_crawl.sh”脚本 scrapy crawl delo -o data/urls/delo.csv -t csv -O --nolog 将 URL 列表合并为一个巨大的列表。 cat data/urls/*.csv | cut -d ',' -f1 | grep -v -e "url" | uniq -u > data/lists/big.txt 使用 Aria2 下载所有内容以供离线处理 aria2c --con

恶毒的 基于实体级别F1分数的命名实体识别（NER）系统的评估脚本。 定义 Nadeau和Sekine（2007）已描述了此处实施的度量标准，该度量标准已广泛用作“消息理解会议”的一部分（Grishman和Sundheim，1996）。 它根据两个轴评估NER系统：是否能够为实体分配正确的类型，以及是否找到确切的实体边界。 对于两个轴，都计算正确的预测数（COR），实际的预测数（ACT）和可能的预测数（POS）。 从这些统计数据中，可以得出准确性和召回率： precision = COR/ACT recall = COR/POS 最终得分是对类型和边界轴的精度和召回率进行微平均的F1度量。 安装 pip install nereval 用法 当分类结果已写入JSON文件时，可以从Python内部使用此脚本，也可以从命令行使用该脚本。 从命令行使用 假设我们在input.json具有以下

最大熵NER标记器 可在线获得。 概述 该项目的目标是实施和培训 。 大多数功能构建器功能都是使用实现的， 是用Python / Cython编写的具有工业实力的开源NLP库。 为了分类，使用最大熵（MaxEnt）分类器。 实施细节 此任务的数据集是语料库，该语料库主要由路透社新闻数据组成。 数据文件已经过预处理，并且每行已经包含一个令牌，其词性（POS）标签，BIO（开始，内部，外部缩写）组块标签以及相应的NER标签。 事实证明，SpaCy的内置对功能工程最为有用。 利用外部单词列表，例如作为一部分分发的Wikipedia地名词典，通常会导致标记准确性下降。 由于数据文件相对较大，因此最终提交中不包含地名词典的源代码和文件。 我还通过将先前的状态/标记作为功能进行了尝试，以提高模型的性能。 出乎意料的是，模型性能在很大程度上保持不变，这大概是由于每个标签都是从仍然在模型中编码的同一特征

简介-自然语言处理 汉良作者何晗老师的新书《自然语言处理入门》详细的笔记！业界良心之作，书中不是枯燥无味的公式罗列，甚至用白话分解的通俗易懂的算法模型。从基本概念出发，逐步介绍中文分词，词性标注，命名实体识别，信息删除，文本聚类，文本分类，句法分析这几个热门问题的算法原理与工程实现。 本项目初步帮助更多同路人能够快速的掌握NLP的专业知识，理清知识要点，在工作中发挥作用的作用。以书本为主，记录本人学习此书的心路历程，总结和笔记。 机器学习与深度学习请转至本人项目： HanLP项目： 思维导图，请关注AIArea公众号并回复：NLP思维导图，即能下载高清大图。 目录 章节

张华平老师的分词包 用于命名实体识别 稍作修改 nlpir-中文分词工具和代码

hmm的matlab代码HanLP: Han Language Processing 汉语言处理包 HanLP是一系列模型与算法组成的NLP工具包，由大快搜索主导并完全开源，目标是普及自然语言处理在生产环境中的应用。 HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 HanLP提供下列功能： 中文分词 HMM-Bigram（速度与精度最佳平衡；一百兆内存） 、 由字构词（侧重精度，全世界最大语料库，可识别新词；适合NLP任务） 、 词典分词（侧重速度，每秒数千万字符；省内存） 所有分词器都支持： 词性标注 （速度快） 、（精度高） 命名实体识别 基于HMM角色标注的命名实体识别（速度快） 、、、、 基于线性模型的命名实体识别（精度高） 、 关键词提取 自动摘要 短语提取 多音字、声母、韵母、声调 简繁分歧词（简体、繁体、台湾正体、香港繁体） 语义推荐、拼音推荐、字词推荐 依存句法分析 KMeans、Repeated Bisection、自动推断聚类数目k 词向量训练、加载、词语相似度计算、语义运算、查询、KMeans聚类 文档语义相似度计算 部分默认模型训练自小型

Chinese NER Project 本项目为CLUENER2020任务baseline的代码实现，模型包括 BiLSTM-CRF BERT-base + X (softmax/CRF/BiLSTM+CRF) Roberta + X (softmax/CRF/BiLSTM+CRF) 本项目BERT-base-X部分的代码编写思路参考 。 项目说明参考知乎文章： Dataset 实验数据来自。这是一个中文细粒度命名实体识别数据集，是基于清华大学开源的文本分类数据集THUCNEWS，选出部分数据进行细粒度标注得到的。该数据集的训练集、验证集和测试集的大小分别为10748，1343，1345，平均句子长度37.4字，最长50字。由于测试集不直接提供，考虑到leaderboard上提交次数有限，本项目使用CLUENER2020的验证集作为模型表现评判的测试集。 CLUENER2020共有10个

国科大自然语言处理第三次作业

本文是BERT实战的第二篇，使用BERT进行命名实体识别（序列标注类任务）。 1. 准备 1.1 环境 python 3.7； pytorch 1.3； transformers 2.3 （安装教程）； 1.2 数据 数据链接（链接：https://pan.baidu.com/s/1spwmV3_07U0HA9mlde2wMg 提取码：reic）； 2. 实战 2.1 训练代码 lr = 5e-5 max_length = 256 batch_size = 8 epoches = 20 cuda = True # cuda = False max_grad_norm = 1 warmup_s

CLUENER细粒度命名实体识别 更多细节请参考我们的： : 数据类别： 数据分为10个标签类别，分别为: 地址（address），书名（book），公司（company），游戏（game），政府（government），电影（movie），姓名（name），组织机构（organization），职位（position），景点（scene） 标签类别定义和注释规则： 地址（address）: **省**市**区**街**号，**路，**街道，**村等（如单独出现也标记）。地址是标记尽量完全的, 标记到最细。 书名（book）: 小说，杂志，习题集，教科书，教辅，地图册，食谱，书店里能买到的一类书籍，包含电子书。 公司（company）: **公司，**集团，**银行（央行，中国人民银行除外，二者属于政府机构）, 如：新东方，包含新华网/中国军网等。 游戏（game）: 常见的游戏，注意