近年来,有许多使用服务质量(QoS)参数执行工作流应用程序的调度算法。 在本文中,我们考虑到异构资源的时间和成本约束,改进了调度工作流算法,该算法称为使用子截止时间调度(BDSD)约束的BudgetDeadline。 有了用户所需的截止日期和预算约束,我们使用BDSD算法来找到满足这两个约束的调度。 我们使用规划成功率(PSR)来展示算法的有效性。 在模拟实验中,我们使用随机工作流应用程序和实际工作流应用程序进行实验。 仿真结果表明,与其他算法相比,我们的BDSD算法在任务和处理器上具有较高的PSR和较低的时间复杂度(2)。
2023-02-15 22:45:16 197KB DAG scheduling workflow planning
1
基于深度强化学习的云工作流调度 有向无环图,工作流,深度强化学习,图神经网络; 蒙特卡洛树搜索
python本科毕业设计《基于深度强化学习的云工作流调度》。关键词:有向无环图,工作流,深度强化学习,图神经网络; 蒙特卡洛树搜索python本科毕业设计《基于深度强化学习的云工作流调度》。关键词:有向无环图,工作流,深度强化学习,图神经网络; 蒙特卡洛树搜索python本科毕业设计《基于深度强化学习的云工作流调度》。关键词:有向无环图,工作流,深度强化学习,图神经网络; 蒙特卡洛树搜索python本科毕业设计《基于深度强化学习的云工作流调度》。关键词:有向无环图,工作流,深度强化学习,图神经网络; 蒙特卡洛树搜索python本科毕业设计《基于深度强化学习的云工作流调度》。关键词:有向无环图,工作流,深度强化学习,图神经网络; 蒙特卡洛树搜索python本科毕业设计《基于深度强化学习的云工作流调度》。关键词:有向无环图,工作流,深度强化学习,图神经网络; 蒙特卡洛树搜索python本科毕业设计《基于深度强化学习的云工作流调度》。关键词:有向无环图,工作流,深度强化学习,图神经网络; 蒙特卡洛树搜索python本科毕业设计《基于深度强化学习的云工作流调度》。关键词:有向无环图,工作流,深
ds工作流调度安装,sqoop,datax.
2022-04-19 18:09:56 765KB sqoop hadoop hive 数据库
1
基于强化学习的云工作流调度算法
2022-03-15 22:29:46 79KB 研究论文
1
apache oozie the workflow scheduler for hadoop-(apache处理工作流调度程序),介绍oozie的使用以及Hadoop的相关知识和配置
2021-12-24 18:05:10 5.85MB oozie hadoop
1
满足帕累托最优的多目标云工作流调度算法.pdf
2021-11-26 09:03:51 6.31MB 算法 调度算法 数据结构 参考文献
针对目前云计算服务中用户体验的要求不断提高,工作流业务繁多且复杂的现状,本文为了改善工作流中各子任务执行效率不平均以及计算资源利用率低的问题,通过云工作流仿真环境,结合群体智能优化算法理论,根据科学工作流模型,创建任务集合,提出一种改进粒子群优化算法(PSO)用以优化工作流中任务调度策略,并进行仿真。仿真结果表明,本文提出的改进粒子群优化算法,与模拟退火粒子群优化算法(SA-PSO)对比,特别在面对云工作流节点多而复杂的情况时,执行成本可以减少20%,调度效果更好。
1
手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零开始讲解大数据调度系统构成,集成大数据计算任务构建大数据工作流,基于Oozie构建实现企业级自动化任务开发 课程亮点 1,知识体系完备,从小白到大神各阶段读者均能学有所获。 2,生动形象,化繁为简,讲解通俗易懂。 3,结合工作实践及分析应用,培养解决实际问题的能力。 4,每一块知识点, 都有配套案例, 学习不再迷茫。 适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。 课程内容 第一章:工作流任务调度系统 1.大数据调度系统概论 2.企业级工作流 3.工作流依赖调度 4.工作流定时调度 第二章:企业级任务流调度系统Oozie 1.Oozie的应用场景 2.Oozie的功能及模块 3.Oozie的与MR的关系 4.Oozie的工作流实现原理 5.Oozie中的特殊概念Action 6.Hadoop的集成配置 7.Oozie的部署配置 第三章:Oozie调度开发实战 1.Shell脚本工作流调度开发实战 2.Hive Job工作流调度开发实战 3.MapReduce工作流调度开发实战 4.复杂工作流调度实战 5.分支与合并逻辑控制组件 第四章:Oozie定时依赖调度 1.基于时间的任务流调度 2.Coordinator时区配置 3.Coordinator任务实战开发 第五章:Oozie可视化开发 1.集成Hue配置 2.基于Hue构建Oozie工作流开发实战 第六章:Oozie监控任务管理 1.Oozie任务的查看 2.Oozie任务的提交 3.Oozie任务的关闭
手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零开始讲解大数据调度系统构成,集成大数据计算任务构建大数据工作流,基于Azkaban构建实现企业级自动化任务开发 课程亮点 1,知识体系完备,从小白到大神各阶段读者均能学有所获。 2,生动形象,化繁为简,讲解通俗易懂。 3,结合工作实践及分析应用,培养解决实际问题的能力。 4,每一块知识点, 都有配套案例, 学习不再迷茫。 适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。 课程内容 第一章:工作流任务调度 1.大数据调度系统概论 2.企业级工作流 3.工作流依赖调度 4.工作流定时调度 5.常用工作流调度工具 第二章:Azkaban工作流调度系统 1.Azkaban的起源及其发展 2.Azkaban分布式架构原理 3.Azkaban中的工作流概念详解 第三章:Azkaban企业级多模式部署 1.Azkaban版本及三种部署模式 2.Azkaban编译 3.solo本地模式 4.Two-Server单节点模式 5.Multiple-Executor分布式模式 第四章:Azkaban开发实战 1.Azkaban工作流开发规则 2.Azkaban调度Shell脚本实战 3.Azkaban调度HDFS实战 4.Azkaban调度MapReduce实战 5.Azkaban调度Hive实战 6.Azkaban子流的实战 7.Azkaban复杂调度实战 8.Azkaban定时调度实战
2021-10-29 15:05:18 2KB azkaban 大数据 工作流调度 hdfs