主要介绍了hive开发过程中常见的性能问题及优化方法：
数据倾斜：
1)group by 数据倾斜
2)join 数据倾斜
3)reduce数过少
4)大小表关联
动态分区
并行
小文件过多
等等
2022-03-10 17:32:56
58KB
1
作为企业Hadoop应用的核心产品，Hive承载着FaceBook、淘宝等大佬 95%以上的离线统计，很多企业里的离线统计甚至全由Hive完成，如我所在的电商。
Hive在企业云计算平台发挥的作用和影响愈来愈大，如何优化提速已经显得至关重要。
Hive作业的规模决定着优化层级，一个Hive作业的优化和一万的Hive作业的优化截然不同。
拥有1万多个Hive作业的大电商如何进行Hive优化的？本系列课结合企业实战和场景从作业架构层面、Hql(Hive sql)语法层面、Hive参数层面依次讲述。
2022-03-07 16:13:16
20.89MB
1
文章目录一、Hive使用本地模式执行操作（Hive使用资源大于20M的时候还是会采用集群yarn的方式运行）具体设置方法1、设置临时的2、修改hive配置文件（hive-site.xml），永久有效二、
一、Hive使用本地模式执行操作（Hive使用资源大于20M的时候还是会采用集群yarn的方式运行）
将hive的job交给yarn执行太慢，hive支持本地模式
設置本地模式之前的，耗時 9.068
設置本地模式之后的，耗時 0.29
具体设置方法
1、设置临时的
在每次执行hql语句之前 都要先执行下面这句话
set hive.exec.mode.local.auto=true;
2021-09-24 00:25:38
84KB
1