文字挖掘 该文件夹包含我的各种AI和机器学习项目的文本分析和自然语言处理(NLP)模型。
2021-11-17 12:01:59 219KB JupyterNotebook
1
文本挖掘系统 系统说明 集成了文本过滤,去重及邮件实时通知的功能 集成了文本关键字提取的功能 集成了文本分类即打标签的功能 集成了文本推荐即景点评价的功能 支持中英文 系统架构图 关于分词 英文分词,采用nltk工具包进行分词 pip install nltk 中文分词,采用jieba工具包进行分词 pip install jieba jieba分词 dict 主词典文件 user_dict 用户词典文件,即分词白名单 user_dict为分词白名单 如果添加的过滤词(包括黑名单和白名单)无法正确被jieba正确分词,则需要添加的单词和词频加入到主字典dict文件中或者用户词典user_dict,一行一个(词频也可省略) 关于停用词,黑名单,白名单 stopwords为停用词 可以随时添加重启的单词,一行一个 blackwords为过滤词黑名单 可以随时添加过滤的单词,一行一个 writ
2021-10-04 14:35:20 3.29MB 系统开源
1
北京大学杨建武老师的有关文本挖掘技术的PPT课件,总共15章。
2019-12-21 21:57:54 14.94MB 文本挖掘 TextMining 北京大学 杨建武
1