Centos+Hadoop+Hive+HBase

HDFS+MapReduce+Hive+HBase十分钟快速入门，包括这几个部分的简单使用

1、内容概要：Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南（详细搭建步骤+实践过程问题总结）。 2、适合人群：大数据运维、大数据相关技术及组件初学者。 3、能学到啥：大数据集群及相关组件搭建的详细步骤，了解大数据各组件的用途，深入认识各大数据组件工作原理及优化方案。 4、阅读建议：使用过以上大数据组件进行简单开发、了解以上大数据组件的相关功能。 5、资源价值：大数据组件搭建的详细实践步骤、一次性提供较全面的常用大数据集群及组件安装部署内容、资源是博主结合官网文档+网上各类搭建文档+本人亲自实践后总结整合的文档（包括过程踩坑记录+对应解决方案）。

大数据框架（HADOOP、HIVE、HBASE）优化和简历项目编写（视频+讲义+笔记），内容包括但不限于： 01_回顾复习HADOOP阶段课程讲解【案例项目】 02_MapReduceShuffle回顾及性能优化详解 03_MapReduce 二次排序回顾及Reduce Join实现详解 04_MapReduce 中Map Join实现思路及伪代码详解 05_Hive重点知识回顾总结及小表与大表关联时MapJoin优化 06_Hive中大表与大表关联时SMB Join优化 07_Hive中高级优化及数据倾斜处理（一） 08_Hive中高级优化及数据倾斜处理（二 09_Hive中groupBy数据倾斜面试详解及HBase 性能优化详解 10_大数据项目简历编写指导及HADOOP 项目业务需求补充说明

hive常用的开发规范 hdfs hbase udf函数 hql shell脚本开发等常用规范，仅供参考

HDP3.1.5源码下载—hadoop hbase hive，是个非常好的资源，亲测好用，欢迎大家下载交流。HDP3.1.5源码下载—hadoop hbase hive，是个非常好的资源，亲测好用，欢迎大家下载交流。HDP3.1.5源码下载—hadoop hbase hive，是个非常好的资源，亲测好用，欢迎大家下载交流。HDP3.1.5源码下载—hadoop hbase hive，是个非常好的资源，亲测好用，欢迎大家下载交流。HDP3.1.5源码下载—hadoop hbase hive，是个非常好的资源，亲测好用，欢迎大家下载交流。HDP3.1.5源码下载—hadoop hbase hive，是个非常好的资源，亲测好用，欢迎大家下载交流。HDP3.1.5源码下载—hadoop hbase hive，是个非常好的资源，亲测好用，欢迎大家下载交流。HDP3.1.5源码下载—hadoop hbase hive，是个非常好的资源，亲测好用，欢迎大家下载交流。

由于大数据里面涉及到非关系型数据库如hive、kudu、hbase等的数据迁移，目前涉及到的迁移工具都没有支持hive数据库的事务表的迁移，如果hive库里面存在大量的事务表的时候，目前的工具都是不支持的，例如华为的CDM，阿里研发的datax，hadoop的distcp都是不支持大数据事务表的迁移。但是目前很多公司随着数据量的增涨和上云的趋势，出现了喝多公司迁移大数据平台上云的需求，如果进行上云就要涉及到数据的迁移和各个不同平台数据版本的适配等问题。 下面为从自建的数据中心迁移hadoop到华为云上适配大数据平台MRS的一次项目迁移，此项目涉及到hive、kudu、hbase 的数据迁移，数据总量达到了15T,此文档是耗时5月时间和时间的检验，通过脚本编辑批量迁移完成大数据迁移上云的最终目标，里面涉及具体的迁移方案、解决方案、迁移流程、迁移脚本

浪潮内部的大数据技术培训PPT,涵盖了hadoop和spark技术体系。

计算机大三 大数据期末考试必备复习资料，里面全是自己总结的整个课程重点 难点，吧里面的知识点看一下 对付考试so easy

目录 一、Kettle整合Hadoop 1、 整合步骤 2、Hadoop file input组件 3、Hadoop file output组件 二、Kettle整合Hive 1、初始化数据 2、 kettle与Hive 整合配置 3、从hive 中读取数据 4、把数据保存到hive数据库 5、Hadoop Copy Files组件 6、执行Hive的HiveSQL语句 三、Kettle整合HBase 1、HBase初始化 2. HBase input组件 3、HBase output组件 一、Kettle整合Hadoop 环境  kettle 8.2 版本： kettle国内镜像下载地址：h