教程包括：HDFS分布式文件系统的基本shell命令使用，还有配置MapReduce分布式计算系统的类库环境配置以及运行MapReduce程序

Sqoop是专门用来迁移数据的，它可以把数据库中的数据迁移到HDFS文件系统，当然也可以从HDFS文件系统导回到数据库

【实验一】Ubuntu/Centos通用的hadoop集群搭建实验（来自OUC） 具体内容和步骤： 1. 成功创建Linux的虚拟机操作系统(Ubuntu或Centos)作为namenode，并设置好虚拟网卡、使用net方式使虚拟机可以访问互联网。 2. 完成虚拟机vim、net等工具的安装(最小安装的需要)、Hadoop环境变量的配置和安装。 3. 完成对namenode的链接克隆生成两台datanode，并设置好datanode的IP地址，确保其可以访问互联网。 4. 实现三台虚拟机两两之间的ssh无密登录。 5. 成功启动集群，且可通过jps命令查看各个虚拟机上活跃的节点（与实验要求一致），并可以正常访问对应的web页面。 以上实验要求均完美实现，且对每一步操作做了详细的截图和文字记录，细致入微。

Hadoop学习笔记AAAAAAAAAAA

MapReduce MapReduce简介及优点 MapReduce是一个分布式运算程序的编程框架,是Hadoop数据分析的核心 MapReduce的核心思想是将用户编写的逻辑代码和架构中的各个组件整合成一个分布式运算程序,实现一定程序的并行处理海量数据,提高效率 海量数据难以在单机上处理,而一旦将单机版程序扩展到集群上进行分布式运行势必将大大增加程序的复杂程度，所以引入MapReduce架构,开发人员可以将精力集中于数据处理的核心业务逻辑上,而将分布式程序中的公共功能封装成框架,以降低开发的难度 一个完整的MapReduce 程序有三类实例进程 MRAppMaster:负责整个程序的协调过程

hadoop源代码code归档整理

hadoop-eclipse-plugin-2.6.0.jar hadoop-eclipse-plugin-2.7.3.jar hadoop-eclipse-plugin-2.9.1.jar

hadoop连接jar包

Windows依赖：hadoop-3.1.0，使用HDFS java api时需要配置的hadopp依赖，在windows环境中可以运行hadoop java api代码进行测试。

共包含四个云计算实验，分别是实验一基于Hadoop的云计算平台配置；实验二 Spark分布式内存计算框架配置及编程案例；实验三 基于Scala编程语言的Spark数据预处理实验； 实验四 面向行业背景的大数据分析与处理综合实验。过程十分详细！