ppt介绍了 ETL的流程以及Spoon图形化界面的简单使用，以及carte,pan.kitchen的使用

内容概要：ETL之kettle包含26张PPT，kettle安装、使用、如何连接等，使用PDI9.2演示、什么是ETL、什么是Kettle、kettle安装、kettle目录结构、转换和作业、kettle操作、数据库连接、注意事项。 适合人群：具备一定编程基础，工作1-3年的研发人员。 能学到什么： ①了解和掌握kettle的基础； ②kettle结合项目如何实现； ➂kettle是如何安装的； ➃知道kettle不足点； ➄ketlle数据同步如何调优； ➅掌握kettle的核心概念。 阅读建议： 此资源要有数据库开发的基础，熟悉使用常见的MySQL、Oracle数据库，所以在学习的过程要结合这些内容一起来实践，并调试对应的代码。

Benthos是一种高性能且具有弹性的流处理器，能够以各种代理模式连接各种和并对有效负载执行。 它带有，易于部署和监视，并可以作为静态二进制文件，docker映像或放入您的管道中，从而使它像原生一样自然云化。 Benthos是完全声明性的，在单个配置文件中定义了流管道，可让您指定连接器和处理阶段列表： input : gcp_pubsub : project : foo subscription : bar pipeline : processors : - bloblang : | root.message = this

该示例内含有表结构sql脚本、测试数据以及kettle脚本，只需更改相关配置信息即可执行，方便大家的学习。

kettle（ETL工具）mysql 5.7 数据库的驱动包-附件资源

关于kettle的电子书，书中介绍了kettle的使用，对于初学者有帮助

datax-web-2.1.2，大数据、etl工具、数据抽取

ETL设计方案 1. ETL调度系统设计（ETL Schedule） 1. 调度系统的功能 1）可配置JOB任务的前后依赖关系,确保顺利调度. 2）可配置JOB任务优先级，指定调度模块的先后顺序。 3）可配置JOB任务调度频率,如日调度/月调度/年调度等。 4）通过高配置性和可视化界面,提高开发人员和维护人员工作效率. 2. 调度系统功能图示 3. 调度系统流程说明 1. 手工配置调度配置表：首先JOB任务上线后，由开发人员将新开发的JOB任务配置到 调度配置表。 2. 每天初始化调度状态表：每天调度系统在【调度配置表】中将当天需要调度的任务 列表新增到【调度状态表】中，新增任务的状态均为"未执行"。 3. 轮询调度调度状态表任务：调度系统从指定时间开始(如凌晨0:30），依照【调度状 态表】顺序，依次执行每一个JOB任务，其中判断任务的前提条件是否符合。 4. 反馈调度状态:根据日志表任务执行情况,向【调度状态表】/【调度日志流水表】写 JOB任务调度状态.如当任务执行成功，将该任务记录从【调度状态表】中删除， 并在【调度日志流水表】中新增完成记录。当任务执行失败，则将任务记录在【

数据载体 DataVec是Apache 2.0许可的库，用于机器学习ETL（提取，转换，加载）操作。 DataVec的目的是将原始数据转换为可用的矢量格式，然后将其提供给机器学习算法。 通过向该存储库贡献代码，您同意根据Apache 2.0许可提供您的贡献。 为什么要使用DataVec？ 数据处理有时会很混乱，我们认为它应该与高性能代数库（例如nd4j或Deeplearning4j）区分开。 DataVec使从业人员可以获取原始数据并快速生成符合开放标准的矢量化数据（svmLight等）。 开箱即用支持的当前输入数据类型： CSV数据 原始文本数据（推文，文本文档等） 图片资料 支持库 SVMLight MatLab（MAT）格式 JSON，XML，YAML，XML Datavec从许多Hadoop生态系统工具中汲取了灵感，尤其是通过Hadoop API访问磁盘上的数据（就像S

dbeaver7.3.1 大数据开发连接利器，本发布软件目前已集成支持HIVE、vertica及主流常用数据库驱动。其余需要用到的数据库驱动参见对应数据库官网驱动包。