icwb2-data 数据集是由北京大学、香港城市大学、台湾 CKIP, Academia Sinica 及中国微软研究所联合发布的数据集，用以进行中文分词模型的训练。其中 AS 和 CityU 为繁体中文数据集，PK 和 MSR 为简体中文数据集。 icwb2-data 中文分词数据集_datasets.txt icwb2-data 中文分词数据集_datasets.zip

需要的jar全在里面。代码绝对可以运行，我昨天才试了的。速度很快

icwb2-data 数据集是由北京大学、香港城市大学、台湾 CKIP, Academia Sinica 及中国微软研究所联合发布的数据集，用以进行中文分词模型的训练。其中 AS 和 CityU 为繁体中文数据集，PK 和 MSR 为简体中文数据集。

三国演义txt文本——三国分词数据源

icwb2-data 数据集是由北京大学、香港城市大学、台湾 CKIP, Academia Sinica 及中国微软研究所联合发布的数据集，用以进行中文分词模型的训练。其中 AS 和 CityU 为繁体中文数据集，PK 和 MSR 为简体中文数据集。

本方法是基于BIOES标注的，如果为其它，请自行修改代码 正常ONE-HOT标注数据是按字标注的：如 反 复 胸 痛 1 5 年 B-PL E-PL B-ZZ E-ZZ B-SJ I-SJ E-SJ 经过BERT分词器分词后为： 反 复 胸 痛 15 年 这时候label就要重新修复下偏移了，修复后结果如下： B-PL E-PL B-ZZ E-ZZ B-SJ E-SJ

2nd International Chinese Word Segmentation Bakeoff - Data Release Release 1, 2005-11-18 * Introduction This directory contains the training, test, and gold-standard data used in the 2nd International Chinese Word Segmentation Bakeoff. Also included is the script used to score the results submitted by the bakeoff participants and the simple segmenter used to generate the baseline and topline data.

此数据集用于NLP中分词训练使用，文档中的文字已经人工切分好词组，总共有65536个中国汉字组合而成

分词数据集，用于训练一个用来分词的模型。详细看压缩包里的内容。

基于CRF++的中文分词，包含了数据、CRF++工具、java源码，可以一键执行