三伏磨- Cluster Manager(Master)：在standalone模式中即为Master主节点，控制整个集群，监控worker。在YARN模式中为资源管理器
- Worker节点：从节点，负责控制计算节点，启动Executor或者Driver。
- Driver： 运行Application 的main()函数
- Executor：执行器，是为某个Application运行在worker node上的一个进程
spark 的运行架构
特别声明：除特殊标注，本站文章均为原创，遵循CC BY-NC 3.0，转载请注明出处。三伏磨 » spark 的运行架构
相关推荐
- spark的几种部署方式
- spark executor的个数和并行任务的个数优化 spark优化
- Spark统一内存管理：UnifiedMemoryManager spark优化
- spark调优记录 Execution Memory 和spark.driver.memory优化
- spark 内存问题记录 GC overhead报错、kyro缓存溢出、driver端数据溢出、container内存不足
- 升级spark2.x版本问题记录
- spark集群节点异常导致Spark job失败，(已解决)
- spark报错：Java.net.socketTimeOutException:read time out(已解决)
