编译好的hadoop-2.7.5

基于hadoop的好友推荐系统 使用 MapReduce 内含系统说明文件

基于Hadoop的商品推荐系统，以商品推荐为基础，采集分析和分析用户、商品行为数据，以推荐为最终目标。为用户提供智能的个性化推荐服务。本项目采用Hadoop上HDFS集群，通过MapReduce程序对数据进行处理和分析，最后得出相应数据反馈回来。

基于hadoop实现简单的字数统计 使用MapReduce 内含系统说明

基于hadoop的每个月气温最高的2天筛选系统 使用MapReduce 内含系统说明

大数据+springcloud技术架构图

MapReduce是目前广泛应用的并行计算框架，是Hadoop平台的重要组成部分。主要包括Map和Reduce函数，Map函数输出key-value键值对作为Reduce的输入。由于输入的动态性，不同主机上的Reduce处理的输入量存在不均衡性。如何解决Reduce的负载均衡是优化MapReduce的一个重要研究方向。对整体数据进行抽样，通过适量的样本分析数据，达到较小的代价获得可靠的key分布，提出贪心算法代替Hadoop平台默认的Hash算法来划分数据，实现Reduce负载均衡。提出的贪心算法主要思想

MapReduce 使用 Hadoop 实现随机过采样、随机欠采样和“合成少数过采样技术”（SMOTE）算法 大数据的随机过采样：MapReduce 的近似 随机过采样 (ROS) 算法已适应于遵循 MapReduce 设计来处理大数据，其中每个 Map 进程负责通过少数类实例的随机复制来调整映射器分区中的类分布，Reduce 进程负责收集每个映射器生成的输出以形成平衡数据集。 该过程如图 1 所示，包括四个步骤：初始、映射、缩减和最终。 图 1：ROS MapReduce 设计如何工作的流程图。 大数据的随机欠采样：按照MapReduce程序选择样本 适用于处理大数据的随机欠采样 (RUS) 版本遵循 MapReduce 设计，其中每个 Map 进程负责按类对其数据分区中的所有实例进行分组，Reduce 进程负责收集每个映射器的输出并平衡通过随机消除多数类实例来形成平衡数据集的类分布。

apache-atlas-2.2.0-sqoop-hook.tar.gz

数据架构师 第005节hadoop产品选型.mp4