网上看了很多的kettle通过将表名设置成变量，然后进行多表批量同步的帖子，发现多多少少都会有问题。而此类功能简单的问题对于新手而言需要花很多的时间去琢磨，本人作为新手也琢磨很久，最后经大神们指点验证，将较为正确的模板给放出来。希望可以帮助大家，具体的思路如下，要下载的同学们请先看下是否符合自己的需求： 多表批量同步思路： 第一步：通过TXT等文件批量写入表名，输入结果集 第二步：从结果集中获取结果，转换为变量值 第三步：抽取变量值，使表输入可以调用，完成表输出的整个数据同步 此同步容易造成问题的点在于文本文件中参数的设置和传输。而且容易忽略掉有个控件：设置变量 ，容易卡在变量无法取值上而不了了之。百度经验贴很多都省略了此步骤。导致困难重重。如果此同步模板下载有问题的可以留言，我会竭尽全力解答下。当然，也仅限于此功能，毕竟我也菜。

kettle-linux环境下部署kettle，执行kitchen.sh文件报错后安装 libwebkitgtk，提示没有可用软件包libwebkitgtk 详细流程：https://blog.csdn.net/m0_37618809/article/details/81015492#commentBox

java代码执行hive相关ktr时报错： database type with plugin id [HIVE2] couldn't be found! 解决：kettle-core-7.1.0.0-12.jar适配hive后的包。具体步骤请查看https://blog.csdn.net/m0_37618809/article/details/81632342

个人总结的kettle的脚本，包含身份证15位转18位，以及各种数据正则验证

ETL之kettle 增量更新并标识删除的记录 不删除原始数据

使用kettle同步数据库表。网上找教程找了一天。终于弄好了。将两个数据库连接改成你自己的。sql也要改，然后把后面步骤的字段重新获取一下。然后就可以同步数据了。数据来源表增删改都可以同步。参考一下吧

ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于 金融IT 来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种 etl工具的使用，必不可少。 Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高 效稳定。是学习kettle的好资料！

Kettle完整的开发手册，多个控件说明，有流程实例，在国内缺少kettle学习资料值得一看

kettle写的循环分页迁移数据的例子，迁移了36w数据，速度飞快，平均cpu使用只有19%。数据库表是运营商号段数据，网上有，比较大就不放上来了。

说明： 一个作业，两个转换，第一个使用【查询分析】的组件接收sql查询结果的字段数据， 第二个转换根据上一个转换的结果为条件执行循环的业务步骤。 提示：请留意第二个转换的属性设置，需要添加命名参数以及勾选复制上一步结果和执行每一行两个选项！附件是打包示例文件，执行时请配置一下测试数据库。 2018/10/17