HIVE3 深度剖析 – 技术点解读与应用对接方式建议

hive3.1.2安装及配置，搭建了半个月，因本人能力有限，克服种种困难后安装成功，可以启动，但是功能不太行。

由于jar包的下载速度很慢，我想也有很多下载慢的同学，分享下

说明： 1. 安装软件版本： jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ：sudo mkdir -p /export/server 创建好目录后要改变该目录的属主和属组 ：sudo chown -R ljr:ljr /export 修改目录权限：sudo +771 -R /export -R 表示递归，即export目录下的所有文件及目录的属组和属组以及权限均跟随着改变 3.集群能正常运行的条件是集群可节点宕机数应保证有超过集群机器总数一半的机器在运行，因此从经济和实用性来说，集群的节点一般是奇数个，本文部署4台机器，其容灾能力与部署3台机器一致，即只能宕机1台

虽然 Hive 的官方给我们提供了连接 Hive 的客户端， 但是在实际的开发环境中我们一般 不使用它， 因为页面太丑， 智能化程度太低， 在这里介绍一款 Hive 的第三方可视化客户端 ——DataGrip。 DataGrip 页面美观大方， 操作简洁， SQL 编辑环境优雅， 可在 Windows 平台运行。 是一款通过 JDBC 连接 HiveServer2 的图形界面工具(JDBC 就是 Java 数据库连接,说白了就是用 Java 语言来操作数据库)。 简单介绍一下 DataGrip： 由 JetBrains 公司推出的数据库管理软件， 几乎支持所有主流 的关系数据库产品， 如 DB2、 Derby、 MySQL、 Oracle、 SQL Server 等， 也几乎支持所有主流的大数据生态 SQL 软件， 且界面简单易用。

使用hive3.1.2和spark3.0.0配置hive on spark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以，如果想要使用高版本的hive和hadoop，我们要重新编译hive，兼容spark3.0.0。除了兼容spark3.0.0外，还将hive3.1.2的guava的版本进行了提升，和hadoop3.x保持一致，以便兼容hadoop3.1.3。

hive 构建在基于静态批处理的Hadoop 之上，Hadoop 通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此，hive 并不能够在大规模数据集上实现低延迟快速的查询，例如，hive 在几百MB 的数据集上执行查询一般有分钟级的时间延迟 hive 底层封装了Hadoop ，使用类SQL 的hiveSQL 语言实现数据查询，所有hive 的数据都存储在Hadoop 兼容的文件系统（例如，Amazon S3、HDFS）中。hive 在加载数据过程中不会对数据进行任何的修改，只是将数据移动到HDFS 中hive 设定的目录下，因此，hive 不支持对数据的改写和添加，所有的数据都是在加载的时候确定的。hive 的设计特点如下

Ambari下Hive3.0升级到Hive4.0，验证自测；

大数据

将jar包复制到trion-367安装包的plugin/hive目录下。支持银河麒麟、aarch64、国产化涉密专用操作系统。修改了源码以支持国产化操作系统的安全限制。