MapReduce是目前广泛应用的并行计算框架，是Hadoop平台的重要组成部分。主要包括Map和Reduce函数，Map函数输出key-value键值对作为Reduce的输入。由于输入的动态性，不同主机上的Reduce处理的输入量存在不均衡性。如何解决Reduce的负载均衡是优化MapReduce的一个重要研究方向。对整体数据进行抽样，通过适量的样本分析数据，达到较小的代价获得可靠的key分布，提出贪心算法代替Hadoop平台默认的Hash算法来划分数据，实现Reduce负载均衡。提出的贪心算法主要思想
2022-04-07 14:57:43
1023KB
1
在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（HighAvailable高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN。然后根据提示，设置密码。接着我给hadoop用户设置面免密码权限，也可自行添加其他权限。将下载好的安装包解压到/usr/java/jdk1.7，然后设置环境变量，命令如下：然后编辑配置，内容如下：然后使环境变量立即生效，命令如下：然后验证JDK是否配置成功，命令如下：若显示对应版本号，即表示JDK配置成功。否则，配置无效！集群中所有机器的hosts配置要要相同（推荐）。可以避免不必要的麻烦，用域名取代IP，方便配置。配置信息如下：然后用scp命令
2022-03-11 16:51:10
813KB
1