在网站流量日志分析这种场景中，对数据采集部分的可靠性、容错能力要求通常不会非常严苛，需要注意的是结合语境明白是何种含义的数据采集。
2022-05-06 20:46:44
771KB
1
包括以下工具：
apache-ant-1.9.12-bin.tar.gz
apache-maven-3.5.4-bin.tar.gz
findbugs-3.0.1.tar.gz
hadoop-2.6.4-src.tar.gz
protobuf-2.5.0.tar.gz
还有一份hadoop编译文档，照着操作顺利编译，亲测可用。
2022-05-06 20:37:24
41.41MB
1
大数据集群规划 hadoop集群软件硬件规划，报告一个规模超上千个节点Hadoop集群的【硬件规划,软件规划,
网络规划,应用规划】设计,综合考虑了集群头节点的高可用设计,
元数据的备份恢复设计，读写流量分离,多租户,安全审计设计,集
群冗余设,结合应用场景，结构化(文本和数据表)和非结构化数据
(影像)的等不同并行处理方式,并探索深度学习和Hadoop分布式融
合等规划。
2022-05-06 18:12:36
853KB
A.3实验三:熟悉常用的HBase操作
本实验对应第5章的内容。
A.3.1 实验目的
(1)理解HBase在Hadoop体系结构中的角色。(2）熟练使用HBase操作常用的 Shell命令。(3）熟悉HBase操作常用的 Java API。
A.3.2 实验平台
（1）操作系统:Linux。
(2）Hadoop 版本:2.7.1或以上版本。（3）HBase版本:1.1.2或以上版本。(4） JDK 版本:1.7或以上版本。(5） Java IDE:Eclipse。
2022-05-06 18:12:36
3.29MB
hadoop3.0.0版本 winUtils 。如果本机操作系统是 Windows，在程序中使用了 Hadoop 相关的东西，比如写入文件到HDFS，则会遇到如下异常：could not locate executable null\bin\winutils.exe ，使用这个包，设置一个 HADOOP_HOME 环境变量，即可解决了。
2022-05-06 13:05:27
35.49MB
1
A.2实验二:熟悉常用的HDFS操作
本实验对应第4章的内容。
A.2.1 实验目的
(1)理解 HDFS在Hadoop体系结构中的角色。(2）熟练使用HDFS操作常用的 Shell命令。(3)熟悉HDFS操作常用的Java API。
A.2.2 实验平台
(1）操作系统:Linux(建议Ubuntu 16.04）。(2) Hadoop版本:2.7.1。
(3）JDK版本:1.7或以上版本。(4) Java IDE:Eclipse。
2022-05-06 09:07:08
3.4MB
windows10版本下运行的hadoop2.7.7
解决spark启动问题
包含可执行的winutils.exe文件，解决spark-shell命令的问题
2022-05-06 09:07:07
208.66MB
1
如何编写自己的Hadoop调度器
步骤1 编写JobInProgressListener
步骤2 编写调度器类，继承抽象类TaskScheduler
步骤3 配置并启用Hadoop调度器
//编写自己的 JobInProgressListener 抽象类
abstract class JobInProgressListener {
public abstract void jobAdded(JobInProgress job) throws IOException;
public abstract void jobRemoved(JobInProgress job);
public abstract void jobUpdated(JobChangeEvent event);
}
2022-05-05 23:33:55
1.1MB
1