本次要实践的数据日志来源于国内某技术学习论坛,该论坛由某培训机构主办,汇聚了众多技术学习者,每天都有人发帖、回帖。至此,我们通过Python网络爬虫手段进行数据抓取,将我们网站数据(2013-05-30,2013-05-31)保存为两个日志文件,由于文件大小超出我们一般的分析工具处理的范围,故借助Hadoop来完成本次的实践。
使用python对原始数据进行清洗,以便后续进行统计分析;
使用Hive对清洗后的数据进行统计分析;
使用Sqoop把Hive产生的统计结果导出到mysql中;
两个日志文件,一共有200MB,符合大数据量级,可以作为推荐系统数据集和hadoop测试集。