上传者: 38557768
|
上传时间: 2022-04-25 14:15:09
|
文件大小: 204KB
|
文件类型: PDF
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。
1.Spark有几种部署模式,各个模式的特点
1.本地模式
Spark不一定非要跑在hadoop集群,可以在本地,起多个线程的方式来指定。方便调试,本地模式分三类
local:只启动一个executor
local[k]: 启动k个executor
local:启动跟cpu数目相同的 executor
2.standalone模式
分布式部署集群,自带完整的服务,资源管理和任务监控是Spark自己监控,这个模式也是其他模式的基础
3.Spark on yarn模式
分布式部署集群,资源和任务监控交给yarn管理
粗粒度