基于对flink的学习,和对flink源码的简单梳理,从flink on yarn的角度,介绍flink从启动,到提交yarn任务,以及完成整个过程涉及到的进程交互和内存管理等底层逻辑。该资源一共分为4个部分:1、yarn提交流程,2、组件通信,3、任务调度,4、内存管理
适合人群:具备一定编程基础和大数据基础知识,工作1-3年的大数据研发和运维人员
能学到什么:①flink on yarn模式之下的启动和运行原理,通过简单梳理底层逻辑加深对flink的掌握;②从底层机理的角度剖析flink是如何处理我们的需求的,从而帮助我们更好的解决运维问题。
阅读建议:此资源基于flink的源码追踪并简单分析,学习参考的时候建议下载相应版本的flink源码,并搭建虚拟机安装部署测试flink,在运行过程中结合源码和笔记学习效果更佳。有经验的开发人员可以编译并debug flink的源码,这样可以更加直观深入地研究flink的运行原理。有利于开发应用和解决问题