spark报错:java.lang.OutOfMemoryError: GC overhead limit exceeded (已解决)

现象

Sparksql使用过程中Executor端抛出:java.lang.OutOfMemoryError: GC overhead limit exceeded

产生原因

这是由于大部分事件都在GC,导致OOM。

解决方案

加大执行器内存,修改GC策略spark.executor.extraJavaOptions -XX:+UseG1GC
依内存配置调大到合适的值。

赞(0) 打赏
特别声明:除特殊标注,本站文章均为原创,遵循CC BY-NC 3.0,转载请注明出处。三伏磨 » spark报错:java.lang.OutOfMemoryError: GC overhead limit exceeded (已解决)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏