Hive安装部署及运维使用

目前为止已经集成了hdfs、yarn、hive、hbase组件并通过ranger进行了一些权限测试（史上最全）欢迎大家探讨 qq群：543940225

这是我的一份课程作业，需要事先下载搜狗日志文件。有问题，可以问百度。里面也参考了其他博客主的文章，在最后有相关链接。

zk、hadoop、hbase、hive、kylin、集成kerberos

hive-1.1.0-cdh5.5.0-src.tar.gz

针对物流企业数据仓库扩展性不好、运行自动化程度不高、处理大规模数据效果较差等问题。本文通过对Hive技术的物流数据仓库进行分析，提出物流数据仓库的具体实现方案，该数据仓库结合云平台虚拟化技术，部署了 Hadoop和 Hive 环境，搭建了基于虚拟化技术的大数据处理平台。同时从数据 ETL 和数据查询分析处理两方面对数据仓库的可扩展性Hive 数据存储分析、Hive数据前置处理等进行研究设计。通过 Hive数据仓库运行效果进行分析，表明该系统能够很好地支持企业管理层决策。

基于Spark的大数据分析工具Hive的研究(毕业论文)

pyflink将mysql数据直接插入hive，由此可以延伸出pyflink实现hive关联mysql

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。 Hive 没有专门的数据格式。 Hive 可以很好的工作在 Thrift 之上，控制分隔符，也允许用户指定数据格式。

蜂巢 Hive 查询语言的语法高亮显示。 安装 使用： (cd ~/.vim/bundle && git clone https://github.com/vickenty/vim-hive)