大数据流式计算平台Apache Storm默认采用轮询的方式进行任务调度，未考虑到拓扑中各任务计算开销的差异以及任务之间不同类型的通信模式，在负载均衡和通信开销方面存在较大的优化空间。针对这一问题，提出 一种Storm环境下基于权重的任务调度算法(TSAW-Storm)。该算法首先根据各任务的CPU资源占用情况以及任务间的数据流大小，分别确定拓扑的点权和边权; 并利用最大化边权增益的思想，逐步构建起各工作节点中承载的任务集合，在保证集群负载均衡的同时，尽可能将边权较大的节点间数据流转化为节点内数据流，从而降低网络传输开销。实验结果表明，在包含有8个工作节点的WordCount基准测试中，TSAW-Storm的系统延迟和节点间数据流大小相比Storm默认调度算法分别降低了30.0%和32.9%，且各工作节点的CPU负载标准差仅为Storm默认调度算法的25.8% ; 此外，在与在线调度算法的对比实验中，TSAW-Storm在系统延迟、节点间数据流大小和CPU负载标准差方面分别降低了7.76%、11.8%和5.93%，且算法的执行开销明显降低，有效提高了Storm系统的运行效率。
2021-03-07 21:04:37
1024KB
1
任务调度试系统，基本功能包括：用户的注册、用户的登录、发起项目、项目详细及搜索等。本系统结构如下：
（1）用户的注册登录：
注册模块：完成用户注册功能；
登录模块：完成用户登录功能；
（2）发起项目：
发起项目模块：完成了项目及项目下一个或者多个任务的添加；
项目详细:点击项目名称，可以看到项目及任务详细信息;
搜索项目:完成对项目名称的模糊搜索功能
2021-02-28 09:02:14
72.15MB
azkaban-executor-server-2.5.0.tar.gz、azkaban-sql-script-2.5.0.tar.gz、azkaban-web-server-2.5.0.tar.gz、mysql-libs.zip
2021-02-24 15:02:08
170.49MB
1
基于TMS320DM642嵌入式平台的H.324可视电话系统设计方案、电子技术,开发板制作交流
2021-02-03 14:05:55
187KB
1
随着云计算的蓬勃发展，针对云计算中虚拟机负载不均衡及任务集完成时间较长的问题，提出了一种基于蚁群优化的任务负载均衡调度算法（WLB-ACO）。首先基于当前虚拟机的资源利用情况判断虚拟机的负载状态，其次，根据虚拟机的负载因子定义信息素的挥发因子（w），改进信息素更新规则，并利用WLB-ACO合理的分配任务，使整个系统达到负载均衡状态的同时任务集的完成时间最短。最后，采用Cloudsim工具设计仿真实验，实验结果表明，提出的基于蚁群优化的任务调度算法在性能、最短完成时间及算法的稳定收敛性上有了一定的提高。
2021-01-29 11:13:28
927KB
1
Apache DolphinScheduler PPMC在meetup上分享的新一代大数据任务调度-DolphinScheduler功能的深度解析
2021-01-28 04:25:06
14.55MB
1