Java进阶部分,Stream流式计算,分支合并和异步回调
2021-05-12 13:01:59 8KB stream forkjoin 异步回调
1
超级干货--Flink思维导图,花了3周左右编写、校对。里面含有Flink核心技术,比如StateBackEnd,CheckPoint,消费语义、Window操作、两阶段提交等核心要点。前前后后校对过多次,欢迎交流
2021-03-15 11:14:41 3.73MB Flink 思维导图 流式计算
1
大数据流式计算平台Apache Storm默认采用轮询的方式进行任务调度,未考虑到拓扑中各任务计算开销的差异以及任务之间不同类型的通信模式,在负载均衡和通信开销方面存在较大的优化空间。针对这一问题,提出 一种Storm环境下基于权重的任务调度算法(TSAW-Storm)。该算法首先根据各任务的CPU资源占用情况以及任务间的数据流大小,分别确定拓扑的点权和边权; 并利用最大化边权增益的思想,逐步构建起各工作节点中承载的任务集合,在保证集群负载均衡的同时,尽可能将边权较大的节点间数据流转化为节点内数据流,从而降低网络传输开销。实验结果表明,在包含有8个工作节点的WordCount基准测试中,TSAW-Storm的系统延迟和节点间数据流大小相比Storm默认调度算法分别降低了30.0%和32.9%,且各工作节点的CPU负载标准差仅为Storm默认调度算法的25.8% ; 此外,在与在线调度算法的对比实验中,TSAW-Storm在系统延迟、节点间数据流大小和CPU负载标准差方面分别降低了7.76%、11.8%和5.93%,且算法的执行开销明显降低,有效提高了Storm系统的运行效率。
2021-03-07 21:04:37 1024KB 大数据; 流式计算; Storm; 权重;
1
storm流式计算的介绍,包括kafka、redis的介绍,包含日志系统、电商交易系统的文档。
2021-01-28 04:33:29 12.29MB storm kafka 日志系统 实时交易
1
Storm是一个分布式的、高容错的实时计算系统。Storm适用的场景:   1、Storm可以用来用来处理源源不断的消息,并将处理之后的结果保存到持久化介质中。   2、由于Storm的处理组件都是分布式的,而且处理延迟都极低,所以可以Storm可以做为一个通用的分布式RPC框架来使用。
2021-01-28 04:32:45 877KB 流式计算
1
02_流式计算基础_第1天 (Storm集群部署、单词计数、Stream Grouping).docx
2021-01-28 04:32:26 395KB 大数据
1
该文档描述了一些Flink常见的技术难点攻破经验,从demo演示开发再到生产环境问题排查和问题解决以及最后的实战应用,都有非常好的指导作用
2021-01-28 04:27:31 18.09MB 大数据 flink 实时计算 流式计算
1
该资料收集了国内外一线公司使用flink的一些实战经验,包括了为什么使用flink,以及在使用flink后遇到的一些技术难点是怎么去解决的。具有非常高的参考价值。
2021-01-28 04:27:28 28.67MB 实时计算 Flink 流式计算 大数据
1
网上很少能找到flink的生产项目,这个项目是关于系统运维方面的流式处理,生产上的注意点,代码里基本都有体现,对初学者应该有一些帮助,其他的,就去官方demo上学习吧。
2019-12-21 20:12:30 1.01MB flink
1