ETL设计方案 1. ETL调度系统设计(ETL Schedule) 1. 调度系统的功能 1)可配置JOB任务的前后依赖关系,确保顺利调度. 2)可配置JOB任务优先级,指定调度模块的先后顺序。 3)可配置JOB任务调度频率,如日调度/月调度/年调度等。 4)通过高配置性和可视化界面,提高开发人员和维护人员工作效率. 2. 调度系统功能图示 3. 调度系统流程说明 1. 手工配置调度配置表:首先JOB任务上线后,由开发人员将新开发的JOB任务配置到 调度配置表。 2. 每天初始化调度状态表:每天调度系统在【调度配置表】中将当天需要调度的任务 列表新增到【调度状态表】中,新增任务的状态均为"未执行"。 3. 轮询调度调度状态表任务:调度系统从指定时间开始(如凌晨0:30),依照【调度状 态表】顺序,依次执行每一个JOB任务,其中判断任务的前提条件是否符合。 4. 反馈调度状态:根据日志表任务执行情况,向【调度状态表】/【调度日志流水表】写 JOB任务调度状态.如当任务执行成功,将该任务记录从【调度状态表】中删除, 并在【调度日志流水表】中新增完成记录。当任务执行失败,则将任务记录在【
2022-12-25 18:14:19 44KB 文档资料
1
1.1 调度系统的功能 1.2 调度系统功能图示 1.3 调度系统流程说明 1.4 调度平台功能设计
2022-08-08 15:19:00 105KB ETL设计方案
1