大数据分析-网站日志数据文件（Hadoop部署分析资料）
本次要实践的数据日志来源于国内某技术学习论坛，该论坛由某培训机构主办，汇聚了众多技术学习者，每天都有人发帖、回帖。至此，我们通过Python网络爬虫手段进行数据抓取，将我们网站数据（2013-05-30,2013-05-31）保存为两个日志文件，由于文件大小超出我们一般的分析工具处理的范围，故借助Hadoop来完成本次的实践。
使用python对原始数据进行清洗，以便后续进行统计分析；
使用Hive对清洗后的数据进行统计分析；
使用Sqoop把Hive产生的统计结果导出到mysql中；
两个日志文件，一共有200MB，符合大数据量级，可以作为推荐系统数据集和hadoop测试集。
文件下载
资源详情
[{"title":"（ 2 个子文件 13.7MB ） 大数据分析-网站日志数据文件（Hadoop部署分析资料）","children":[{"title":"Hadoop部署实践日志资料","children":[{"title":"access_2013_05_30.log <span style='color:#111;'> 58.25MB </span>","children":null,"spread":false},{"title":"access_2013_05_31.log <span style='color:#111;'> 149.79MB </span>","children":null,"spread":false}],"spread":true}],"spread":true}]
评论信息
其他资源
- python爬取链家网租房数据
- 最大转矩电流比MTPA的simulink模型MTPA2.slx
- 汇编语言实现的大数阶乘算法
- 三维空间Delaunay三角剖分算法的研究及应用
- SIEMENS_828D_840D_OPC史上最完整资料包
- 基于C#开发的相册管理系统
- JavaEE+项目案例+（代码+数据库）
- PowerDesigner 12.5破解，亲测可用，免积分下载
- 一个聊天室，支持文件传输
- jsapi_vsdoc12_v38.js
- C++屏幕截图源代码
- C语言数据结构银行客户排队
- 教师课堂用语 激励语.pdf
- opencv.zip
- test_case.xlsx
- CS-3365-最终项目：医疗保健系统-源码
- 吃东西-源码
- F22表结构.xls
- 天文台出口商：Mozilla天文台的Prometheus出口商-源码
- 原创 CASS测绘自动打段线插件，兼容CAD2007,CAD2008，根据打点自动断线
- Presentation_REM_Mobileye_03.1.pdf
- antlr4 plsql的语法定义文件
- 百科词库基本词汇txt文件
- jquery做的网络书店
- SSH框架搭建源码
免责申明
【只为小站】的资源来自网友分享，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论 【只为小站】 经营者是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，zhiweidada#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，zhiweidada#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明