在使用jiba分词的情况下，使用这个词典有助于提高你的分词准确度，因为这个分词词典包含了众多领域词汇，这些词汇出自某dog的几十个细胞词库。已使用转换器转换成txt，欢迎下载。

中文信息计算机自动处理的研究已有几十年的 历史 , 但至今仍有许多技术难题没有得到很好解 决 , 中文姓名自动识别问题就是其中的一个。由于 它与中文文本的自动分词一样 , 属于中文信息处理 的基础研究领域 , 因而它的研究成果直接影响到中 文信息的深层次研究。汉语的自身特点使得中文信 息自动处理大多是先对要处理的文本进行自动分词 (加入显式分割符) , 然后再在分词的基础上进行词 法、语法、语义等方面的深入分析。而在分词阶 段 , 文本中的人名、地名以及其它专有名词和生词 大多被切分成单字词 , 在这种情形下如不能很好地 解决汉语文本中专有名词生词的识别问题 , 将给其 后的汉语文本的深入分析带来难以逾越的障碍。中 文姓名的自动识别问题就是在这种背景下提出来 的。对这一问题的研究目前采用的技术中主要利用 以下几方面的信息: 姓名用字的频率信息、上下文 信息[1 ,2 ] 、语料库统计信息[2 ] 、词性信息等[3 ] 。本 文的方法是 , 首先对中文人名的构成、姓名用字的 规律及上下文文本信息特征进行充分分析 , 在此基 础上建立起两组规则集 , 将其作用于测试文本 , 获 得初步识别结果 , 再利用大规模语料库的统计信息 对初步识别结果进行概率筛选 , 设定合适的阈值 , 输出最终识别结果。经对 50 多万字的开放语料测 试 , 系统自动识别出 1781 个中文人名 , 在不同的 筛选阈值下获得 90 %以上的识别准确率 , 而召回 率高于 91 %。

官网最新版Elasticsearch 7.6 logstash ik中文分词器下载

分词处理工具/中文分词/词性标注/实体识别

中文分词一直都是中文自然语言处理领域的基础研究。目前，网络上流行的很多中文分词软件都可以在付出较少的代价的同时，具备较高的正确率。而且不少中文分词软件支持Lucene扩展。但不管实现如何，目前而言的分词系统绝大多数都是基于中文词典的匹配算法。其中最为常见的是最大匹配算法 (Maximum Matching，以下简称MM算法) 。MM算法有三种：一种正向最大匹配，一种逆向最大匹配和双向匹配。本程序实现了正向最大匹配算法。

lucene源码包（这里包括了lucene所有能用到的jar包，一共44个jar包）3.6.2版本是lucene的3x中最大的版本，也是3x中最稳定的版本，因此建设使用该版本。如果还是使用3.6.0或3.6.1，更要升级到该版本，因为该版本修复了部分以前版本的BUG。下面列出几个常用到的包：lucene-core-3.6.2.jar、lucene-memory-3.6.2.jar、lucene-highlighter-3.6.2.jar、lucene-analyzers-3.6.2.jar、lucene-queries-3.6.2.jar、lucene-benchmark-3.6.2.jar

lucene全文检索,IKAnalyzer分词jar包，IKAnalyzer2012_u6.jar

elasticsearch-7.4.24 + elasticsearch-analysis-ik-7.4.2

基于内容的文本分类系统，使用libsvm 进行分类。

（完整版）来源：复旦大学计算机信息与技术系国际数据库中心自然语言处理小组；由复旦大学李荣陆提供；test_corpus.rar为测试语料，train_corpus.rar为训练语料。