大数据分析-网站日志数据文件（Hadoop部署分析资料）
本次要实践的数据日志来源于国内某技术学习论坛，该论坛由某培训机构主办，汇聚了众多技术学习者，每天都有人发帖、回帖。至此，我们通过Python网络爬虫手段进行数据抓取，将我们网站数据（2013-05-30,2013-05-31）保存为两个日志文件，由于文件大小超出我们一般的分析工具处理的范围，故借助Hadoop来完成本次的实践。
使用python对原始数据进行清洗，以便后续进行统计分析；
使用Hive对清洗后的数据进行统计分析；
使用Sqoop把Hive产生的统计结果导出到mysql中；
两个日志文件，一共有200MB，符合大数据量级，可以作为推荐系统数据集和hadoop测试集。
文件下载
资源详情
[{"title":"（ 2 个子文件 13.7MB ） 大数据分析-网站日志数据文件（Hadoop部署分析资料）","children":[{"title":"Hadoop部署实践日志资料","children":[{"title":"access_2013_05_30.log <span style='color:#111;'> 58.25MB </span>","children":null,"spread":false},{"title":"access_2013_05_31.log <span style='color:#111;'> 149.79MB </span>","children":null,"spread":false}],"spread":true}],"spread":true}]
评论信息
其他资源
- python简单通讯录程序
- C语言实现校园导航系统
- 模拟Digest认证的登录demo
- U3D一个小游戏项目
- Asp学生成绩查询系统（数据库+源代码）
- 基于C++实现的语法分析程序代码
- mosek的使用手册
- Cas单点登录介绍及视频教程-附件资源
- 中国电信运营行业深度分析报告.doc
- 水文基础设施建设及技术装备标准
- 联想小新芯片驱动安装程序
- OIF-CFP2-DCO-01.0.pdf
- 北邮信息检索实验
- 操作系统进程调度模拟
- 基于FPGA的灰度图中值滤波
- STM32控制步进电机
- VLAN构建与配置 实验报告
- 安卓重力感应的计步器源码
- mpeg音频编码
- Pedestrian_detection_in_infrared_images.pdf
- AutoIt工具及jar包
- 500个安卓应用程序开发实例分享 经典源码
免责申明
【只为小站】的资源来自网友分享，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论 【只为小站】 经营者是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，zhiweidada#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，zhiweidada#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明