ETL设计方案.doc

ETL设计方案 1. ETL调度系统设计（ETL Schedule） 1. 调度系统的功能 1）可配置JOB任务的前后依赖关系,确保顺利调度. 2）可配置JOB任务优先级，指定调度模块的先后顺序。 3）可配置JOB任务调度频率,如日调度/月调度/年调度等。 4）通过高配置性和可视化界面,提高开发人员和维护人员工作效率. 2. 调度系统功能图示 3. 调度系统流程说明 1. 手工配置调度配置表：首先JOB任务上线后，由开发人员将新开发的JOB任务配置到 调度配置表。 2. 每天初始化调度状态表：每天调度系统在【调度配置表】中将当天需要调度的任务 列表新增到【调度状态表】中，新增任务的状态均为"未执行"。 3. 轮询调度调度状态表任务：调度系统从指定时间开始(如凌晨0:30），依照【调度状 态表】顺序，依次执行每一个JOB任务，其中判断任务的前提条件是否符合。 4. 反馈调度状态:根据日志表任务执行情况,向【调度状态表】/【调度日志流水表】写 JOB任务调度状态.如当任务执行成功，将该任务记录从【调度状态表】中删除， 并在【调度日志流水表】中新增完成记录。当任务执行失败，则将任务记录在【