上传者: 38669618
|
上传时间: 2021-03-03 21:08:08
|
文件大小: 263KB
|
文件类型: PDF
这一章我们探索了Spark作业的运行过程,但是没把整个过程描绘出来,好,跟着我走吧,letyouknow!我们先回顾一下这个图,DriverProgram是我们写的那个程序,它的核心是SparkContext,回想一下,从api的使用角度,RDD都必须通过它来获得。下面讲一讲它所不为认知的一面,它和其它组件是如何交互的。SparkContext实例化之后,在内部实例化两个很重要的类,DAGScheduler和TaskScheduler。在standalone的模式下,TaskScheduler的实现类是TaskSchedulerImpl,在初始化它的时候SparkContext会传入一个Spa