Hadoop配套资源，hadoop3.2 jdk1.8

一、实验目的 上机实操，学会使用Hive开发。 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 1：创建内部表 （1）：start-all.sh，启动Hadoop所有进程 （2）：初始化元数据库生成metastore （3）：启动hive （4）：把linus上面的rg.txt放到hdfs下 （5）：show databases；显示所有数据库 （6）：新建数据库test （7）：创建数据库表rg （8）：给表导入数据 （9）：查看数据 （10）：查看hdfs下文件的变化 （11）：drop table rg；删除表 （12）：查看hdfs下文件的变化 2：创建外部表 （1）：在hdfs上建rg文件夹，并把数据放文件夹下 （2）：创建数据库表 （3）：查看hdfs下文件的变化 （4）：select * from rg_ext；查找数据 （5）：drop table rg_ext；删除表 三、创建分区表 四、创建分桶表 五、java连接数据库窗口版 六、java连接数据库代码版

hive监控巡检优化文档

一、实验目的 上机实操，熟悉指令操作Hbase和java代码操作Hbase 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 1：指令操作Hbase (1)：start-all.sh，启动所有进程 (2)：start-hbase.sh，启动hbase (3)：hbase shell，进入hbase (4)：list，显示所有表 (5)：解决显示所有表遇到的错误（由于集群处于安全模式，该模式下只能进行只读操作，要解除安全状态才能运行） (6)：create 'tempTable', 'f1', 'f2', 'f3'，创建tempTable表，'f1', 'f2', 'f3'是列族 (7)：put 'tempTable', 'r1', 'f1:c1', 'hello'，插入数据，r1是行名， f1:c1中f1是列族，c1是列，hello是数据 (8)：scan 'tempTable'，显示tempTable表的数据 (9)：get 'tempTable', 'r1', {COLUMN=>'f1:c1'}，

一、实验目的 熟悉hdfs命令行基本操作 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 1：hdfs常见命令： （1）查看帮助：hdfs dfs -help （2）查看当前目录信息：hdfs dfs -ls / （3）创建文件夹：hdfs dfs -mkdir /文件夹名 （4）上传文件：hdfs dfs -put /本地路径 /hdfs路径 （5）下载文件到本地：hdfs dfs -get /hdfs路径 /本地路径 （6）移动hdfs文件：hdfs dfs -mv /hdfs路径 /hdfs路径 （7）复制hdfs文件：hdfs dfs -cp /hdfs路径 /hdfs路径 （8）删除hdfs文件：hdfs dfs -rm /文件名 （9）删除hdfs文件夹：hdfs dfs -rm -r /文件夹名

一、实验目的 （1）熟悉Hadoop开发包 （2）编写MepReduce程序 （3）调试和运行MepReduce程序 （4）完成上课老师演示的内容 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 二、实验内容 1.单词计数实验(wordcount) （1）输入start-all.sh启动hadoop相应进程和相关的端口号 （2）打开网站localhost:8088和localhost:50070，查看MapReduce任务启动情况 （3）写wordcount代码并把代码生成jar包 （4）运行命令 （1）：把linus下的文件放到hdfs上 （2）：运行MapReduce （5）：查看运行结果 （6）网页上查看MapReduce任务 2.矩阵相乘实验(matrix) （1）写matrix代码并把代码生成jar包 （2）运行命令 （1）：把linus下的文件放到hdfs上 （2）：运行MapReduce （3）：查看运行结果 3.网页排名实验(pagerank) （1）：写pagerank代码并把代码生成jar包

CDH6针对hive on spark的调优文档，这个是生产的实战经验

sqoop常用命令文件

一、实验目的 （1）通过实验掌握 Spark SQL 的基本编程方法； （2）熟悉 RDD 到 DataFrame 的转化方法； （3）熟悉利用 Spark SQL 管理来自不同数据源的数据。 （4）java程序实现SparkSQL 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 （一）SparkSQL的基本知识 （1）输入start-all.sh启动hadoop相应进程和相关的端口号 （2）启动Spark分布式集群并查看信息 （3）网页端查看集群信息 （4）启动spark-shell控制台 （5）访问http://localhost:4040可以看到spark web界面 （6）进入/spark/examples/src/main/resources目录，查看该目录下的内容 （7）查看people.json和employees.json的内容 （8）读取people.json、employees.json，创建DataFrame

一、实验目的 1.理解Spark Streaming的工作流程。 2.理解Spark Streaming的工作原理。 3.学会使用Spark Streaming处理流式数据。 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 （一）Spark Streaming处理套接字流 1：编写处理套接字流的java程序代码 2：导入缺失的jar包 3：把java程序导出为jar包 4：start-all.sh，启动所有进程，并查看情况 5：启动Spark分布式集群并查看信息 6：启动9999端口 7：切换到jar包所在路径 8：提交程序到spark集群上运行 9：监测端口内容，每隔10秒钟输出一次，当有内容出现的时候，单词计数输出内容 10：退出监测，Ctrl+Z，但是这样并没有完全退出监测，到http://localhost:8080/里杀死该任务，也可以使用Ctrl+C完全退出 （二）Spark Streaming处理RDD队列流 （三）Spark Streaming处理文件流