数据挖掘项目
推文聚类
目标:
主Twitter API用于提取推文
掌握自然语言处理
数据清理
推文分类
要求:
Twitter开发人员帐户
Twitter API
1-数据提取:
导入库(tweepy +熊猫+ numpy)
连接到Twitter API
将推文提取到多个csv文件中,然后将它们组合到一个csv文件中
2-处理前的推文:
使用re库搜索不必要的信息。
删除标点符号,主题标签,个人资料名称,URL和表情符号。
创建一个新的干净的CSV文件
3-处理推文:自然语言处理
导入nltk(自然语言工具包),它由最常用的算法组成,例如标记化,词性标记,词干,情感分析,主题细分和命名实体识别。 NLTK帮助计算机分析,预处理和理解书面文本。
使用“停用词”摆脱英语单词,这些单词不会给句子增加太多含义。 在不牺牲含义的前提下,可以安全地忽略它们。
使用“ Porte
1