maxent-ner-tagger:最大熵命名实体识别（NER）-源码

最大熵NER标记器 可在线获得。 概述 该项目的目标是实施和培训 。 大多数功能构建器功能都是使用实现的， 是用Python / Cython编写的具有工业实力的开源NLP库。 为了分类，使用最大熵（MaxEnt）分类器。 实施细节 此任务的数据集是语料库，该语料库主要由路透社新闻数据组成。 数据文件已经过预处理，并且每行已经包含一个令牌，其词性（POS）标签，BIO（开始，内部，外部缩写）组块标签以及相应的NER标签。 事实证明，SpaCy的内置对功能工程最为有用。 利用外部单词列表，例如作为一部分分发的Wikipedia地名词典，通常会导致标记准确性下降。 由于数据文件相对较大，因此最终提交中不包含地名词典的源代码和文件。 我还通过将先前的状态/标记作为功能进行了尝试，以提高模型的性能。 出乎意料的是，模型性能在很大程度上保持不变，这大概是由于每个标签都是从仍然在模型中编码的同一特征