标签:大数据

Spark

升级spark2.x版本问题记录

一鸣阅读(88)评论(0)赞(2)

在spark升级过程中,和开发中有可能因java版本、spark版本、 scala版本、相关jar包版本不一致或不匹配。导致出一些不应该发生的问题。记录下,以后面采坑。 版本不一致 java版本不一致 报错: 处理:该问题一般是spark的...

Spark

spark集群节点异常导致Spark job失败,(已解决)

一鸣阅读(102)评论(0)赞(2)

现象 集群节点异常导致Spark job失败,如磁盘只读 产生原因 Spark 是一个高性能、容错的分布式计算框架,一旦它知道某个计算所在的机器出现问题会依据之前生成的 lineage 重新在这台机器上调度这个 Task,如果超过失败次数就...