hive on spark要求spark中不包含hive的jar包，必须重新编译，历尽艰辛终于搞好了，适配hive2.3、hadoop2.7.6环境。

主要介绍了大数据 java hive udf函数（手机号码脱敏）,的相关知识，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下

datax同步mysql数据到elasticsearch组件。DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

hive案例的素材，csv文件格式，基于原书籍代码，比较繁琐

hive和mariadb的安装与配置

学习hive上收集各方资源，稍加见解，包含hive基础知识，上传以分享并备忘。

集群硬件配置 在集群中，大部分的机器设备是作为Datanode和TaskTracker工作的Datanode/TaskTracker的硬件规格可以采用以下方案： 16-24GB内存 千兆以太网 NameNode提供整个HDFS文件系统的NameSpace(命名空间)管理、块管理等所有服务，因此需要更多的RAM，与集群中的数据块数量相对应，并且需要优化RAM的内存通道带宽，采用双通道或三通道以上内存。硬件规格可以采用以下方案： 16-72GB内存 千兆/万兆以太网 SecondaryNameNode在小型集群中可以和NameNode共用一台机器，较大的群集可以采用与NameNode相同的硬件

《hive编程指南》是一本apache hive的编程指南，旨在介绍如何使用hive的sql方法——hiveql来汇总、查询和分析存储在hadoop分布式文件系统上的大数据集合。全书通过大量的实例，首先介绍如何在用户环境下安装和配置hive，并对hadoop和mapreduce进行详尽阐述，最终演示hive如何在hadoop生态系统进行工作。 《hive编程指南》适合对大数据感兴趣的爱好者以及正在使用hadoop系统的数据库管理员阅读使用。 Edward Capdolo，Media6degrees公司系统管理员，他是Apache软件基金会成员，还是Hadoop-Hive项目成员。 Dean Wampler，Think Big Analytics公司总顾问，对大数据问题以及Hadoop和机器学习有专门的研究。 Jason Rutherglen，Think Big Analytics公司软件架构师，对大数据、Hadoop、搜索和安全有专门的研究。

从Hive官网下载的最新版apache-hive-3.1.0-bin.tar.gz安装包，需要的朋友拿走

apache-hive-3.1.2