kettle8.2.0本地jar包，包含：kettle-core-8.2.0.7-719.jar、kettle-engine-8.2.0.7-719.jar、metastore-8.2.0.7-719.jar 三个本地jar包和kettle-neo4j-remix-8.2.0.7-719编辑工具。

梳理Informatic的元数据，理清ETL背后的数据加工流水线基础数据，基于SQL析可以获取目标表依赖的源表和映射，然后基于映射可以追溯到相应的会话、工作集、工作流，完成整个数据加工链的血缘

Kettle 无人售货机项目实战数据包

Kettle的最新版本9.4.0.0-343；解压后得到data-integration Kettle是一个颇受认可的开源ETL工具，2006年被Pentaho收购，2015年又被Hitachi Vantara收购，正式命名为PDI。 PDI EE（企业商用版）改进了PDI CE（开源社区版）在作业调度监控、系统安全机制、高可用性架构、对接SAP、对接Hadoop、对接AI/ML、 自助式DI/BI等方面之不足，尤其是凭借着原厂兜底的专业技术支持服务保障，近年来Pentaho EE作为日立数据Lumada战略的核心产品组件， 在复杂ETL场景、数据中台、数据湖、物联网及AI平台构建中获得企业客户广泛青睐。

2.3 数据仓库的任务 数据仓库的任务是发布企业的数据资产，用于支持更加有效的决策制定。该 任务描述中的关键词是发布。正如传统的杂志发行，其成功的起点和终点是读者， 数据仓库成功的起点和终点是其最终用户。由于数据仓库是一个决策支持系统， 因此主要的成功标准是数据仓库是否为企业的最重要的决策制定过程提供了帮 助。虽然必须仔细管理硬件、软件、劳动力、咨询服务和维护的成本，但是其隐 含的成本——支持企业重要决策方面的失败——可能会更大。数据仓库的由 IT 管理的可见成本是可能战术上的，但是更为重要的决策支持成本和收益却是战略 上的。 交易数据库在企业中应用已经超过 30 年。虽然十几年来我们一直把各种数 据输入到特定的交易应用系统中，但很清楚的是，从这些系统获取数据来进行分 析是非常困难的。在数据库应用系统上已经花费了数十亿美元的投资，但它们的 数据却像犯人一样被关在系统里面。为了从交易系统中把数据取出来已经花费了 不可估算的时间，但就像在迷宫中游走一样，大部分的努力都以死胡同结束。ETL 系统必须完成这个任务，那就是以可用的方式把数据交给最终用户应用系统。 建设一个无所不包的、可靠的数据仓库是一件很有意义的任务，必须有一系 列的标准组件来支撑。数据仓库最重要且基础的组件就是后台和前台。该书是关 于后台的。 数据仓库是什么 数据仓库是将数据从原有交易系统数据库中提取出来，经过转换后形成有组 织的信息的过程，它帮助进行数据分析，支持决策的制定。此过程包括从原始数

图表 1.2 数据仓库的四个集结步骤 本书中间部分的章节会重点介绍这四个步骤，这四个步骤是： 1. 抽取。源系统的原始数据在进行大的转换之前通常直接写入到磁盘。来自 于结构化源系统的数据（比如 IMS 数据库，或者 XML 数据集）在这一步中经常 写入到文本文件或者关系型数据库表中。这使得最初的抽取尽可能简单和快速，

图表 1.1 数据仓库的后台和前台 假设有一个餐厅。餐厅的客人是最终用户，提供的食物是数据。提供给餐厅 里客人的食物完全符合客人的要求：干净，组织良好，每一片都能轻易辨认与食 用。但是，在食物进入餐厅之前，是在厨房中由经验丰富的厨师仔细准备。食物 要进行挑选、清洗、切片、烹饪以及摆放。厨房只是工作间，不允许客人访问。 在好的餐厅，厨房是完全与客人隔离的——一旦暴露厨房，那里食物还处于半加 工状态，是会严重影响客人的胃口的。如果客人需要了解食品准备的信息，厨师 必须从厨房出来到餐厅中面对客人，在一个安全、干净、客人觉得比较舒服的环 境中解释食物的准备过程。 集结区就是数据仓库的厨房。它只对经验丰富的数据集成专家开放。这是一 个后台的处理工具，不允许最终用户访问。在这里，从源系统抽取来的数据进行

一本很好的学习数据仓库ETL的方面的书。

数据采集处理过程(ETL)概述 数据采集处理在数据采集和数据仓库平台上运行，由数据采集工具进行管理，同时实施数据质量修补工作。 数据采集过程也叫做ETL（Extract－Transform－Load），通常包括获取数据、抽取、检验、转换、合并和加载几个过程。

利用kettle运行transformation，完成数据库表到数据库表的ETL过程.mp4ETL工具Kettle研究-1-ETL认识与Kettle研读 ETL工具Kettle研究-2-Kettle安装部署 ETL工具Kettle研究-3-MySQL数据导入HIVE ETL工具Kettle研究-4-同步和更新备份表