Cluster Manager(Master)：在standalone模式中即为Master主节点，控制整个集群，监控worker。在YARN模式中为资源管理器 Worker节点：从节点，负责控制计算节点，启动Executor或者Dri……

阅读全文

Spark除了本地模式外，有支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN Standalone模式即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。从一……

阅读全文

spark executor的个数和并行任务的个数 合理的core，mem比例以及并行度是能显著提升spark执行效率。也是spark优化的一个重点 spark executor 数量 指定spark executor 数量的公式 executor 数量 = spark.cores.max/spark.executor.cores spark.cores.max 是指你的spark程序需要的总核数 spark.executor.cores 是……

阅读全文

GC开销超过限制 报错： java.lang.OutOfMemoryError: GC overhead limit exceeded at scala.collection.immutable.HashMap.scala.collection.immutable.HashMap makeHashTrieMap(HashMap.scala:175) 处理：分为两个角度，一是是检查代码，减少不必要的冗余，重用的RDD要序列化缓存，减少shuffle数据，加大并行度；二从参数配置看，加大executor内存，增加shuffle buf……

阅读全文

现象 spark报错 ： java.lang.IndexOutOfBoundsException 或者 java.lang.NullPointerException 产生原因 分区或者表下存在空的orc文件。该BUG在Spark2.3.0之后才修复 解决方案 规避解决。修改ORC的默认分割策略为：hive.exec.orc.split.strategy=BI进行……

阅读全文

现象 在spark集群中执行insert 语句时报错，堆栈信息为：FileSystem closed。常常出现在ThriftServer里面。 产生原因 由于hadoop FileSystem.get 获得的FileSystem会从缓存加载，如果多线程一个线程……

阅读全文

现象 Sparksql使用过程中Executor端抛出：java.lang.OutOfMemoryError: GC overhead limit exceeded 产生原因 这是由于大部分事件都在GC，导致OOM。 解决方案 加大执行器内存，修改GC策略spark.exec……

阅读全文

现象 在Spark SQL中运行的SQL语句过于复杂的话，会出现 java.lang.StackOverflowError 异常 产生原因 这是因为程序运行的时候 Stack 大小大于 JVM 的设置大小 解决方案 通过在启动 Spark-sql 的时候加上 –driver-java-options “-Xss10m” 选项解决这个问题……

阅读全文

现象 Saprk-sql和ThriftServer使用时报错：Java.net.socketTimeOutException:read time out 产生原因 是由于hivemetastore过于繁忙或者gc导致连接超时 解决方案 spar……

阅读全文

现象 执行大数据量的join等操作时出现： 1.Missing an output location for shuffle； 2.Failed to connect to bigdata030015/100.103.131.13:38742; 3.FileNotFoundException……(not such file or directory)。 4.Container killed on request. Exit code is 143 产生原因 原因：shuffle分为shuff……

阅读全文