spark报错：java.lang.OutOfMemoryError: GC overhead limit exceeded (已解决)

spark 云大数据
什么是 UnifiedMemoryManager UnifiedMemoryManager是Spark统一内存管理。它主要由2部分内存：spark部分内存和系统部分。 spark部分：由 spark memory 和Execution memory Storage memory组成 系统部分：user memory Unified……

spark 云大数据
GC开销超过限制 报错： java.lang.OutOfMemoryError: GC overhead limit exceeded at scala.collection.immutable.HashMap.scala.collection.immutable.HashMap makeHashTrieMap(HashMap.scala:175) 处理：分为两个角度，一是是检查代码，减少不必要的冗余，重用的RDD要序列化缓存，减少shuffle数据，加大并行度；二从参数配置看，加大executor内存，增加shuffle buf……

spark 云大数据
现象 spark报错 ： java.lang.IndexOutOfBoundsException 或者 java.lang.NullPointerException 产生原因 分区或者表下存在空的orc文件。该BUG在Spark2.3.0之后才修复 解决方案 规避解决。修改ORC的默认分割策略为：hive.exec.orc.split.strategy=BI进行……

spark 云大数据
现象 在spark集群中执行insert 语句时报错，堆栈信息为：FileSystem closed。常常出现在ThriftServer里面。 产生原因 由于hadoop FileSystem.get 获得的FileSystem会从缓存加载，如果多线程一个线程……

spark 云大数据
现象 Saprk-sql和ThriftServer使用时报错：Java.net.socketTimeOutException:read time out 产生原因 是由于hivemetastore过于繁忙或者gc导致连接超时 解决方案 spar……

spark 云大数据
现象 执行大数据量的join等操作时出现： 1.Missing an output location for shuffle； 2.Failed to connect to bigdata030015/100.103.131.13:38742; 3.FileNotFoundException……(not such file or directory)。 4.Container killed on request. Exit code is 143 产生原因 原因：shuffle分为shuff……

spark 云大数据
现象 在Spark SQL中运行的SQL语句过于复杂的话，会出现 java.lang.StackOverflowError 异常 产生原因 这是因为程序运行的时候 Stack 大小大于 JVM 的设置大小 解决方案 通过在启动 Spark-sql 的时候加上 –driver-java-options “-Xss10m” 选项解决这个问题……

spark 云大数据
环境: Spark1.6.2 目标：提高CPU利用率，降低带宽IO，提高缓存命中率，减少数据落盘。 Spark作为Zeppelin的SQL底层执行引擎，通过Thriftserver处理jdbc连接，为提高硬件资源利用率、IO带宽和内存利用率，特……

spark 云大数据
现象 集群节点异常导致Spark job失败，如磁盘只读 产生原因 Spark 是一个高性能、容错的分布式计算框架，一旦它知道某个计算所在的机器出现问题会依据之前生成的 lineage 重新在这台机器上调度这个 Task，如果超过失败次数就会导致job失败……

spark 云大数据
在spark升级过程中，和开发中有可能因java版本、spark版本、 scala版本、相关jar包版本不一致或不匹配。导致出一些不应该发生的问题。记录下，以后面采坑。 版本不一致 java版本不一致 报错： java.lang.UnsupportedClassVersionError: com/immomo/recommend/RedisDao: Unsupported major.minor version 52.0 处理：该……