上传者: 42098759
|
上传时间: 2021-10-04 14:35:20
|
文件大小: 3.29MB
|
文件类型: -
文本挖掘系统
系统说明
集成了文本过滤,去重及邮件实时通知的功能
集成了文本关键字提取的功能
集成了文本分类即打标签的功能
集成了文本推荐即景点评价的功能
支持中英文
系统架构图
关于分词
英文分词,采用nltk工具包进行分词
pip install nltk
中文分词,采用jieba工具包进行分词
pip install jieba
jieba分词
dict 主词典文件
user_dict 用户词典文件,即分词白名单
user_dict为分词白名单
如果添加的过滤词(包括黑名单和白名单)无法正确被jieba正确分词,则需要添加的单词和词频加入到主字典dict文件中或者用户词典user_dict,一行一个(词频也可省略)
关于停用词,黑名单,白名单
stopwords为停用词
可以随时添加重启的单词,一行一个
blackwords为过滤词黑名单
可以随时添加过滤的单词,一行一个
writ