spark官方版本的driver-class-path不支持hdfs路径,只支持本地路径。本资源解决了这个问题,driver-class-path在cluster模式时可以支持hdfs路径,解决了cluster模式driver有大量jar依赖的问题。
2022-04-23 09:05:55 20KB jar spark hdfs java
在分析源码的时候,普通的文件格式很难讲提交的源码分析清楚,因此我做了一个xmind文件,帮助我们去熟悉spark在yarn上的源码提交流程,希望能帮助到大家
2021-03-16 09:06:49 147KB spark-submit spark
1