ETL是数据仓库实施过程中一个非常重要的步骤，设计一个能够对大数据进行有效处理的ETL流程以提高运营平台的采集效率，具有重要的实际意义。首先简单介绍某运营商大数据平台采集的主要数据内容。随后，为提升海量数据采集效率，提出了Hadoop与Oracle混搭架构解决方案。继而，提出一种动态触发式ETL调度流程与算法，与定时启动的ETL流程调度方式相比，可有效缩短部分流程的超长等待时间；有效避免资源抢占拥堵现象。最后，根据Hadoop和Oracle的系统运行日志，比较分析了两个平台的采集效率与数据量之间的关系。实践表明，混搭架构的大数据平台优势互补，可有效提升数据采集时效性，获得比较好的应用效果。

该视频为演示kettle的操作流程，可供初学者参考！！！！

学完本课程，您将掌握： PDI/Kettle数仓技术PDI/Kettle开源免费的ETL推送工具PDI/Kettle数据清洗PDI/Kettle数据抽取PDI/Kettle数据挖掘PDI/Kettle案例实战PDI/Kettle技巧PDI/Kettle9.1版本PDI/Kettle通用PDI/Kettle水壶技术适合人群： 需要数据清洗和操作的IT信息化相关人员，IT相关从业人员，大数据工程师，数据库工程师及DBA，数据仓库ETL 学习计划： 利用碎片化的时间学习即可，每天学习一小时或3个课时即可达到效果；时间充足者，自由安排 课程目标： 促使教育公平，打破教育壁垒，让ETL更加的大众化使用 课程简介： 【可视化介绍】       Kettle 是 PDI 以前的名称，PDI 的全称是Pentaho Data Integeration，Kettle 本意是水壶的意思，表达了数据流的含义。Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。【软件版本】     企业用的最多的Kettle9.x/8.x/7

informatica9.6.1安装包+安装流程，文件都在百度云中。win10下搭建成功，自带授权证书无需破解。

OLAP and data warehousing in SQL are a part of this, but they are not the only tools. However, much of this kind of work has to be done with thirdparty tools, such as report generators, statistical packages, data transformation tools, and so forth.

使用java程序调用kettle的sap组件，由于从kettle7.0版本开始，sap组件作为插件形式加载，所以在项目工程中需要修改相应的配置文件及jar才可以被加载和调用。

给ODI初学者一个入门基础,同时提供进阶指南，通过基础部分，可根据情况自行深入研究

第1章 概述 1. BI介绍 2. Oracle介绍与安装 2.1 Oracle安装 2.2 Oracle 默认用户 2.3 服务器连接 3. PL/SQL Developer工具 4. Oracle用户和权限 4.1用户和权限 4.2角色 第2章 SQL数据操作和查询 1. SQL简介 2. 查询 2.1查询结构 2.2查询顺序 . 2.3聚合函数 . 3. 创建表和约束 3.1 Oracle常用数据类型 3.2创建表 3.3表的约束 4. 数据操作语言（DML） 4.1数据插入 4.2更新数据 4.3删除数据 4.4 TRUNCATE（DDL命令） 5. 操作符 5.1算术运算 5.2关系运算和逻辑运算 5.3字符串连接操作符（||） 6. 高级查询 6.1 DISTINCT操作 6.2 NULL操作 6.3 IN 操作 6.4 BETWEEN…AND… 6.5 LIKE模糊查询 6.6 集合运算 6.7 连接查询 第3章 子查询和常用函数 1. 子查询 2. Oracle中的伪列 2.1 ROWID 2.2 ROWNUM 3. Oracle单行函数 3.1字符函数 3.2数字函数 3.3日期函数 3.4转换函数 3.5其他常用函数 4. Oracle分析函数 4.1 分析函数介绍 4.2 分析函数种类和用法 4.3 行列转换 第4章 表空间、数据库对象 1.同义词 2.序列 3.视图 4.索引 4.1 索引介绍 4.2 索引种类 4.3 索引优缺点 4.4 索引失效 5.表空间 6.表分区 6.1表空间及分区表的概念 6.2表分区的具体作用 6.3.表分区的优缺点 6.4表分区的几种类型及操作方法 6.5有关表分区的一些维护性操作 第5章 PL/SQL程序设计 1. PL/SQL简介 2. PL/SQL基础 2.1声明 2.2条件控制 2.3循环控制 2.4游标 2.5动态SQL 3.创建存储过程 4.创建自定义函数 5.异常处理 6.同步数据 7.创建包 8.创建日志 第6章

通过kettle-redis-input-plugin 插件实现kettle 可以查询redis中的数据，详细的使用方法见博客https://blog.csdn.net/ispringmw/article/details/108371012

TASKCTL从2.0开始，就定位为企业级调度基础软件，能实现10万级任务调度控制，能满足各大企业的调度规模需求。