基于Hadoop部署实践对网站日志分析
1. 项目概述
本次要实践的数据日志来源于国内某技术学习论坛，该论坛由某培训机构主办，汇聚了众多技术学习者，每天都有人发帖、回帖。至此，我们通过Python网络爬虫手段进行数据抓取，将我们网站数据（2013-05-30,2013-05-31）保存为两个日志文件，由于文件大小超出我们一般的分析工具处理的范围，故借助Hadoop来完成本次的实践。
2. 总体设计
2.1 Hadoop插件安装及部署
第一步：Hadoop环境部署和源数据准备
安装好VMware（查看）
第二步：使用python开发的mapper reducer进行数据处理。
第三步：创建hive数据库，将处理的数据导入hive数据库
第四步：将分析数据导入mysql
3. 详细实现步骤操作纪要
3.1 hadoop环境准备
首先开启Hadoop集群：start-all.sh：开启所有的Hadoop所有进程，在主节点上进行
NameNode它是Hadoop 中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问。
Secondary NameNode.....
2022-05-09 19:13:59
1.89MB
本报告设计能够完成要求的基本功能，仅供参考！如有好的改进意见或者需要WORD版本的可以给我留言！欢迎下载！
2022-03-30 20:22:24
689KB
1
信盈达一周培训主要针对自动化专业的嵌入式应用。
培训使用的是STM32-F407VGT6
【文件内容说明】压缩包内容包含【智能温控风扇】项目和【语音播报酒精检测仪】项目的源程序、设计报告、参考程序、七次作业的程序（呼吸灯+按键+RGB彩灯+流水等+DHT11+串口显示+热释电+风扇）以及培训中的所有资料。
【课程设计说明】：
1-【智能温控风扇】项目设计要求：采用深圳信盈达电子有限公司自主设计的物联网开发套件为硬件开发平台，能够通过热释电传感器获取到风扇面前是否有人，进而风扇电机的转动，同时温湿度传感器检测室内的温度值，自动调节风扇的转速。
2-【语音播报酒精检测仪】项目设计要求：本项目采用深圳信盈达电子有限公司自主设计的物联网开发套件为硬件开发平台，能够通过酒精传感器获取到人口中酒精的含量值，通过语音播报出该酒精含量的高低，同时通过三色灯来指示浓度的高低，红代表浓度高，黄代表有，浓度低，绿代表无酒精。
2021-03-23 22:11:27
176.34MB
1