conll-formatted-ontonotes-5.0 这是 OntoNotes 5.0 版本的 CoNLL 格式版本。

前段时间做的语义角色标注任务(SRL)时需要用到ontonotes-release-5.0的数据集，前前后后花了将近半个月的时间才把数据集处理好，一个个坑踩过来很有必要记录下，希望对其他人有所帮助。 第一步：注册LDC账号并加入组织获取数据 在寻找数据源的过程中很多链接最后都会指向LDC这个神秘的组织。这个组织掌握了各行各业很多种数据集，价格从几百美元到几千美元不等，好在我们需要的ontonotes-release-5.0，免费。在这里是LDC2013T19，如下图： 点右上角register注册账号没什么难度。 注册账号的过程中需要加入一个组织，这个组织可以是你的大学或者公司或者随便一个其

OntoNotes-5.0-NER-BIO 这是CoNLL-2003格式的版本，带有OntoNotes 5.0版本NER的BIO标记方案。 此格式化的版本基于的说明以及在此存储库中创建的新脚本。 简单地说，名为“（Yuchen Zhang，Zhi Zhong，CoNLL 2013），提出了针对OntoNotes 5.0数据的Train-dev-split，并提供了将其转换为CoNLL 2012格式的脚本。 但是，结果不在BIO标记方案中，不能直接用于许多序列标记体系结构中，例如BLSTM-CRF。 此回购协议通过直接生成BIO格式简化了预处理，您可以在实验中使用它们。 步骤1：获取官方的O

OntoNotes 5.0的中文部分包括250K字的新闻专线数据，270K字的广播新闻和170K的广播会话。 新闻专线的数据来自中国树库5.0。 250K包括100K的新华新闻数据（chtb_001.fid到chtb_325.fid）和来自Sinorama新闻杂志的150K数据（chtb_1001.fid到chtb_1078.fid）。 广播新闻数据是来自TDT4的274K字，并且是从LDC为自动内容提取（ACE）程序注释的数据中选择的。已将这些文件的编号chtb_2000.fid分配给chtb_3145.fid。 广播对话数据是170K字，取自LDC的GALE数据。 50K的原始中文数据也用英文注释，另外55K的中文数据代表原始英语广播对话翻译成中文。 Web数据包括215K令牌，其中15K来自P2.5评估，86K来自Dev09数据。此外，110K的Web数据由40K并行中文源数据和70K并行英文原始数据组成。 电话会话语料库包括大约100K的中文CallHome数据，用解析，命题，名称和共同参考信息注释。