hanlp，hankcs，支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词调、词性标注），命名实体识别（中国人民、音译人民、日本人民，地名，实体机构名识别），关键词提取，自动摘要，短语提取，拼音转换，简繁转换，文本推荐，依存句法分析（MaxEnt依存句法分析、神经网络依存句法分析）。提供Lucene查件，兼容Solr和ElasticSearch。

一、 任务 二、评分 三、截止日期

30W+中文分词词典，覆盖广，新增金融词典

基于elasticsearch8.2.3设置参数，对于中文全拼，中文分词等可用。

中文分词 综合词库 更新至2014-03-11

icwb2-data 数据集是由北京大学、香港城市大学、台湾 CKIP, Academia Sinica 及中国微软研究所联合发布的数据集，用以进行中文分词模型的训练。其中 AS 和 CityU 为繁体中文数据集，PK 和 MSR 为简体中文数据集。

jeasy.analysis.MMAnalyzer包,网上资源挺少的，要么就是要很多积分下载，技术嘛，应该免费分享，所以我就不设置积分了，大家可以随意下载。

sphider是一个开源的轻量级php+mysql全文搜索引擎，带蜘蛛功能，但是对中文支持不友好。 本版本对后台界面进行了汉化，并且对编码及数据库进行了utf8编码统一，完美解决中文乱码问题。 同时应用scws分词系统解决中文分词问题，并修正了中文搜索时不能正确返回信息的bug。 是搜索引擎开发入门的理想之选。

针对jieba分词作业做一个总结，方便以后查看。 中文分词 分词，即切词，在NLP文本预处理中经常使用一些方法来对文本进行分词，从而使文本从“字序列”升级到“词序列”。 为什么要进行分词？在中文中，一个个汉字有其自身的含义，但是组成词语时，其含义可能会发生很大的变化，使得之后进行文本处理任务时不能很好的理解句子的含义。（比如“和”，“平”，“和平”，三者的含义有很大的不同。）另外，从字序列升级成词序列，可以使模型能够得到更高级的特征。 分词算法有很多，比如正向最大匹配算法，逆向最大匹配算法，双向最大匹配算法，基于统计的分词方法，隐马尔可夫模型分词法，神经网络分词法等等。 jieba分词 ji

中文停用词表，共3185个停用词,该列表是本人搜集了网上目前比较热门的中文停用词表然后去重后又根据自己的实际业务人工添加了三四百个停用词得到的。