jieba分词是目前最好的 python中文分词组件。在讲解jieba分词之前，我们先了解一下中文分词的一些概念： 最常用的TF-IDF 什么是TF-IDF呢？要分成2个部分来理解。 TF，词频——一个词在文章中出现的次数 IDF，在词频的基础上，赋予每个词一个权重，体现该词的重要性。 这是什么意思呢？我们来看个例子。 这是一条财经类新闻 上周 / 沉寂 / 一段 / 时间 / 的 / 白酒股 / 卷土重来 / ；/ 其中 / 古井贡酒 / 的 / 股价 / 创出 / 了 / 历史新高 / , / 这段 / 时间 / …… … 在这篇文章中 上周：出现 1 次 时间：出现 2 次 白酒股：出现

搜狗中文语料库搜狗中文语料库搜狗中文语料库搜狗中文语料库搜狗中文语料库

icwb2-data 数据集是由北京大学、香港城市大学、台湾 CKIP, Academia Sinica 及中国微软研究所联合发布的数据集，用以进行中文分词模型的训练。其中 AS 和 CityU 为繁体中文数据集，PK 和 MSR 为简体中文数据集。 icwb2-data 中文分词数据集_datasets.txt icwb2-data 中文分词数据集_datasets.zip

中文分词词库，中文词库20万（19万6千）,自己整理的，用于做中文分词，根据一段话，或者一篇文章进行拆词都可以使用的上。

中文分词 词频统计 罗列出要自动提取的关键词

CRF++ 训练中文分词,文件后缀有3标示3列的语料，文件后缀有2，表示2列的语料训练

中文人名语料库（Chinese-Names-Corpus） 业余项目“萌名NameMoe（一个基于语料库技术的取名工具）”的副产品。 萌名手机网页测试版： ，欢迎体验。 不定期更新。只删词，不加词。 可用于中文分词、人名识别。 请勿将本库打包上传其他网站挣积分，已上传的请配合删除，谢谢！ 中文常见人名（Chinese_Names_Corpus） 数据大小：120万。 语料来源：从亿级人名语料中提取。 数据清洗：已清洗，但仍存有少量badcase。 新增人名生成器。 中文古代人名（Ancient_Names_Corpus） 数据大小：25万。 语料来源：多个人名词典汇总。 数据清洗：已清洗。 中文姓氏（Chinese_Family_Name） 数据大小：1千。 语料来源：从亿级人名语料中提取。 数据清洗：已清洗。 中文称呼（Chinese_Relationship） 数据大小：5千，称呼词根

Python 58同城房价bs4 beautiful soup爬虫获取 room_name room_type room_area room_addr0 room_addr1 room_price房价名称类型面积地址价格等 jieba中文分词 tf-idf向量化 kmeans聚类 浏览器多页爬虫 jupyter notebook numpy pandas sklearn 数据分析 数据挖掘

Python Jieba中文分词工具实现分词功能

solr5.5.4对应的中文分词器下载，如果solr为tomcat方式部署，下载后解压该压缩文件，将下面的jar文件复制到solr项目的lib目录下，将里面的配置其他配置文件复制到classes目录下即可。