在Hive与Spark整合的过程中，涉及的源码修改是一项关键任务。这主要是因为Hive默认使用的执行引擎是MapReduce，而Spark作为一种新的大数据处理框架，其运行机制与MapReduce有所不同。因此，为了让Hive能够更好地利用Spark的计算能力，需要对Hive的源码进行一系列的调整和修改。以下是对Hive源码文件修改过程中需要特别关注的知识点： 要理解Hive的架构设计，尤其是Hive的查询编译和执行流程。在这一流程中，Hive会将SQL语句转换为一系列的MapReduce任务。为了让Hive兼容Spark，核心修改点在于将这些MapReduce任务转换为Spark能够理解并执行的作业。这一过程涉及到多个Hive组件的调整，包括解析器、执行引擎接口、物理计划生成器、任务生成器等。 需要关注Hive与Spark之间的接口对接。这涉及到Hive的执行引擎接口的修改，使得Hive可以创建Spark的Job，并且能够处理Spark的执行结果。在接口对接的过程中，还要保证Hive的元数据管理、安全模型以及用户定义的函数（UDF）等可以与Spark兼容运行。 第三，必须对Hive的执行计划进行优化。Spark的执行效率通常高于MapReduce，因此需要对Hive生成的物理执行计划进行修改，以充分利用Spark的并行处理和内存计算的优势。这通常涉及到对Hive中的逻辑计划转换逻辑进行重写，以及对任务调度策略的调整。 第四，需要修改Hive的配置文件和环境设置，以确保Hive能够识别并使用Spark作为后端处理引擎。这包括修改配置文件以指定Spark驱动程序、初始化Spark上下文、配置Spark资源管理器的地址等。 测试工作也至关重要。在修改源码之后，需要进行充分的测试验证，以确保修改后的Hive在与Spark整合后，不仅能够正常运行，而且在性能上也能达到预期的提升。测试应该涵盖Hive的各个组件，包括查询处理、任务提交、结果返回等环节。 通过上述知识点的学习与掌握，开发者可以更加深入地理解Hive on Spark整合过程中的关键步骤，并能够更好地进行源码级别的修改工作，以实现Hive与Spark的有效整合。

hive自定义函数demo

数据包括运行代码和数据类型，启动hive导入表和数据就可以运行结果

hive安装资料手册.rar

Scala代码积累之spark streaming kafka 数据存入到hive源码实例，Scala代码积累之spark streaming kafka 数据存入到hive源码实例。

hive 源码分析

apache-hive-1.2.1源码包（已编译）（含Hive的使用全解）