spark 的运行架构 类别 spark目录 Cluster Manager(Master):在standalone模式中即为Master主节点,控制整个集群,监控worker。在YARN模式中为资源管理器Worker节点:从节点,负责控制计算节点,启动Executor或者Driver。Driver: 运行Application 的main()函数Executor:执行器,是为某个Application运行在worker node上的一个进程相关推荐spark的几种部署方式spark executor的个数和并行任务的个数优化 spark优化Spark统一内存管理:UnifiedMemoryManager spark优化spark 内存问题记录spark报错: java.lang.IndexOutOfBoundsException(已解决)spark报错:FileSystem closed (已解决)随机文章如何使用Kubernetes实现资源隔离?您如何实现平台运营?如果大数据集群中的数据读写性能瓶颈如何处理?Jenkins 怎么实现持续集成?如何实现大数据集群中数据备份与恢复?请解释 Flink 和 Spark 的不同之处。hbase的写数据的流程业务监控