Pentaho Kettle解决方案：使用PDI构建开源ETL解决方案 及 书中的代码 本书主要介绍如何使用开源ETL工具来完成数据整合工作。

1、下载即可使用 2、windows和linux分别运行不同的文件 3、其他版本的可参考https://sourceforge.net/projects/pentaho/files/Data%20Integration/

Pentaho数据集成 Pentaho数据集成（ETL）又名Kettle 项目结构 程序集：项目分发归档文件在此模块下生成 核心：核心实现 dbdialog：“数据库”对话框 ui：用户界面 引擎： PDI引擎 engine-ext： PDI引擎扩展 PDI核心插件 集成：集成测试 如何建造 Pentaho Data Integration使用maven框架。 构建项目的先决条件： Maven，版本3+ Java JDK 1.8 /.m2目录中的这个 建立它 这是一个maven项目，要使用以下命令进行构建 $ mvn clean install （可选）您可以指定-Drelease以触发混淆和/或丑化（根据需要） （可选）您可以指定-Dmaven.test.skip = true跳过测试（即使您不应该知道） 构建结果将是位于target的Pentaho软件包。 运行测试 单元

pentaho-protobuf-解码 Pentaho Kettle 的 Google Protocol Buffers 消息解码器。 此步骤允许从使用 Google Protocol Buffers 编码的对象访问独立字段。 截图 以下是通过 Apache Kafka 传输的 Protocol Buffers 消息的实时解码示例： 安装 从下载pentaho-protobuf-decode Zip 存档。 将下载的存档解压到 Pentaho Data Integration 发行版的plugins/steps目录中。 从源代码构建 mvn clean package

ETL工具Kettle用户手册 pentaho-data-integration使用手册 包含例子 数据整合工具kettle帮助文档

pentaho kettle PDI 9.2下载

解决maven引入hive的jar包时依赖报错Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde in xxx的问题，maven路径org/pentaho/pentaho-aggdesigner-algorithm/5.1.5-jhyde/pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar

Kettle是一款功能和性能都可以拓展的开源ETL和数据整合工具，使用Kettle可以从数据库、平面文件、XML文件、Web服务、ERP系统和OLAP立方体中抽取数据。

KETTLE中文版的详细使用文档，含数据清洗方法论，适合入门和进阶使用，含一定案例。

Kettle是一种开源的 ETL 解决方案，书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。 除了ODS/DW类比较大型的应用外，Kettle 实际还可以为中小企业提供灵活的数据抽取和数据处理的功能。Kettle除了支持各种关系型数据库、HBase、MongoDB这样的NoSQL数据源外，它还支持Excel、Access这类小型的数据源。并且通过插件扩展，Kettle 可以支持各类数据源。本书详细介绍了Kettle可以处理的数据源，而且详细介绍了如何使用Kettle抽取增量数据。 Kettle 的数据处理功能也很强大，除了选择、过滤、分组、连接、排序这些常用的功能外，Kettle 里的Java表达式、正则表达式、Java脚本、Java类等功能都非常灵活而强大，都非常适合于各种数据处理功能。本书也使用了一些篇幅介绍Kettle这些灵活的数据处理功能。 本书主要介绍如何使用开源ETL工具来完成数据整合工作。 本书介绍的PDI(Kettle)是一种开源的 ETL 解决方案，书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。 除了ODS/DW类比较大型的应用外，Kettle 实际还可以为中小企业提供灵活的数据抽取和数据处理的功能。Kettle除了支持各种关系型数据库、HBase、MongoDB这样的NoSQL数据源外，它还支持Excel、Access这类小型的数据源。并且通过插件扩展，Kettle 可以支持各类数据源。本书详细介绍了Kettle可以处理的数据源，而且详细介绍了如何使用Kettle 抽取增量数据。 Kettle 的数据处理功能也很强大，除了选择、过滤、分组、连接、排序这些常用的功能外，Kettle 里的Java表达式、正则表达式、Java脚本、Java类等功能都非常灵活而强大，都非常适合于各种数据处理功能。本书也使用了一些篇幅介绍Kettle这些灵活的数据处理功能。 本书后面章节介绍了如何在 Kettle 上开发插件，如何使用Kettle处理实时数据流，以及如何在Amazon AWS上运行Kettle 等一些高级主题。 除了介绍PDI(Kettle)工具的使用和功能，本书还结合Kimball博士的数据仓库和ETL子系统的理论，从实践的角度介绍数据仓库的模型设计、数据仓库的构建方法，以及如何使用 PDI实现Kimball博士提出的34种ETL子系统。