hadoop3.1.4默认配置项文件 core-default.xml hdfs-default.xml mapred-default.xml yarn-default.xml

hive2.1.1 show create table 表名，hive中文乱码，替换hive-exec-2.1.1.jar

【实验要求】 1.在所有集群admin完成JDK 的安装与配置； 2.所有主机上JDK相关命令能够正常使用； 3.完全分布模式中JDK的安装和验证； 【实验环境】 1.五台独立虚拟机 2.主机之间有效的网络连接 3.所有虚拟机已安装Centos7.4操作系统 4.所有虚拟机已完成网络属性配置 5.软件版本： 选用JDK8的131版本，软件包名jdk-8u131-linux-x64.tar.gz 6.集群规划： 将五台主机中的主机1和主机2作为主节点，主机3，主机4，主机5作为其他节点；

大数据、Flume、Hadoop、Zookeeper、Kafka等大数据工具的安装，步骤非常详细，每一步具体步骤，以及启动、停止自动化脚本编写。 具体步骤加代码。 step by step。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 。 本篇pdf只是单节点，即本机部署。

是上一篇资源的补充

1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者转换时需要注意，再数据迁移json模板中，"nullFormat": "\\N", 该配置信息就是解决了数据迁移是存在的Null值。 2.如果hive中没有数值DataX迁移时会出现异常 执行语句：python /opt/module/datax/bin/datax.py /opt/module/datax/job/xxx.json

jmx prometheus grafana 监控开源hadoop各个组件模板。 Hadoop、Zookeeper、HBase等包含12个json模板 导入即可使用，不许做任何修改。

云计算分布式大数据Hadoop深入浅出案例驱动实战外训讲义

安装hadoop的时候或者使用的时候，会出现hadoop常见问题及解决方法