上传者: 42099814
|
上传时间: 2021-12-18 14:00:50
|
文件大小: 1.83MB
|
文件类型: -
多算法的文本分类系统
更多详见
关于分词
英文分词,采用nltk工具包进行分词
pip install nltk
中文分词,采用jieba工具包进行分词
pip install jieba
jieba分词
dict 主词典文件
user_dict 用户词典文件,即分词白名单
user_dict为分词白名单
如果添加的过滤词(包括黑名单和白名单)无法正确被jieba正确分词,则需要添加的单词和词频加入到主字典dict文件中或者用户词典user_dict,一行一个(词频也可省略)