hadoop、hive、spark

ds工作流调度安装,sqoop,datax.

Sqoop简单使用

通过指定目录进行多线程执行合并小文件程序，由于hdfs小文件过多，可用于自定义合并orc小文件。

大数据相关安装包（hadoop，hive，flume，mysql，kafka，spark，sqoop，azkaban等安装包）

包含hive集群学习过程中的所有数据库数据

删除了删除了删除了删除了删除了删除了删除了删除了删除了删除了

当前，所有应用到大数据的公司都需要建设企业数据仓库，以服务于数据分析和为企业决策、产品优化、产品运营等提供稳定可靠的数据支持，因此，数据仓库的建设在公司数据的E(抽取)、T(转化)、L(加载)流程中起到至关重要的地位。 本项目将数仓分为三层，分别是ODS层(贴源层)、DW层(数仓层)和APP层(应用层)，其中DW层中包含事实层、维度层、宽表层，为了达到拿空间换时间的目的，由事实层中的事实表和维度层的维度表关联形成宽表层。

基于Hadoop＋Hive的数据查询优化设计与实现

利用Hive进行复杂用户行为大数据分析及优化案例（全套视频+课件+代码+讲义+工具软件），具体内容包括： 01_自动批量加载数据到hive 02_Hive表批量加载数据的脚本实现（一） 03_Hive表批量加载数据的脚本实现（二） 04_HIve中的case when、cast及unix_timestamp的使用 05_复杂日志分析-需求分析 06_复杂日志分析-需求字段讲解及过滤 07_复杂日志分析-字段提取及临时表的创建 08_复杂日志分析-指标结果的分析实现 09_Hive中数据文件的存储格式介绍及对比 10_常见的压缩格式及MapReduce的压缩介绍 11_Hadoop中编译配置Snappy压缩 12_Hadoop及Hive配置支持snappy压缩 13_Hive中的常见调优 14_Hive中的数据倾斜及解决方案-三种join方式 15_Hive中的数据倾斜及解决方案-group by 16_Hive中使用正则加载数据 17_Hive中使用Python脚本进行预处理