人工智能-机器学习-面向Agent的智能化分布式计算及其应用研究.pdf
2022-05-09 19:17:42
6.71MB
基于Hadoop部署实践对网站日志分析
1. 项目概述
本次要实践的数据日志来源于国内某技术学习论坛，该论坛由某培训机构主办，汇聚了众多技术学习者，每天都有人发帖、回帖。至此，我们通过Python网络爬虫手段进行数据抓取，将我们网站数据（2013-05-30,2013-05-31）保存为两个日志文件，由于文件大小超出我们一般的分析工具处理的范围，故借助Hadoop来完成本次的实践。
2. 总体设计
2.1 Hadoop插件安装及部署
第一步：Hadoop环境部署和源数据准备
安装好VMware（查看）
第二步：使用python开发的mapper reducer进行数据处理。
第三步：创建hive数据库，将处理的数据导入hive数据库
第四步：将分析数据导入mysql
3. 详细实现步骤操作纪要
3.1 hadoop环境准备
首先开启Hadoop集群：start-all.sh：开启所有的Hadoop所有进程，在主节点上进行
NameNode它是Hadoop 中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问。
Secondary NameNode.....
2022-05-09 19:13:59
1.89MB
Git是一个开源的分布式版本控制系统，可以有效、高速的处理从很小到非常大的项目版本管理，是目前使用范围最广的版本管理工具。
这里默认下载的是64位的软件
双击下载的安装文件来安装Git。
一直下一步直到安装完成即可
安装完成后在电脑桌面（也可以是其他目录）点击右键，如果能够看到如下两个菜单则说明Git安装成功。
Git GUI：Git提供的图形界面工具
Git Bash：Git提供的命令行工具
2022-05-09 19:13:50
46.19MB
1
ORACLE数据库常见问题诊断方法(分布式事务篇)-20021224-A2.doc
2022-05-09 11:03:15
34KB
使用Scrapy,Redis,MongoDB实现的一个分布式网络爬虫,底层存储MongoDB,分布式使用Redis实现
2022-05-08 18:23:07
2.94MB
1