spark报错:java.lang.OutOfMemoryError: GC overhead limit exceeded (已解决)
现象
Sparksql使用过程中Executor端抛出:java.lang.OutOfMemoryError: GC overhead limit exceeded
产生原因
这是由于大部分事件都在GC,导致OOM。
解决方案
加大执行器内存,修改GC策略spark.executor.extraJavaOptions -XX:+UseG1GC
依内存配置调大到合适的值。