标签：大数据

2019-12-18一鸣阅读(1026)评论(0)赞(2)

环境 操作系统：centos7.4 Java：java version 1.8.0 Hadoop：Hadoop 2.7.2 Zookeeper：zookeeper 3.4.12 本文是单节点hbase快速安装 不用hadoop和单独的zoo...

2019-12-12一鸣阅读(594)评论(0)赞(3)

spark executor的个数和并行任务的个数合理的core，mem比例以及并行度是能显著提升spark执行效率。也是spark优化的一个重点 spark executor 数量 指定spark executor 数量的公式 spark...

2019-12-11一鸣阅读(837)评论(0)赞(2)

GC开销超过限制 报错： 处理：分为两个角度，一是是检查代码，减少不必要的冗余，重用的RDD要序列化缓存，减少shuffle数据，加大并行度；二从参数配置看，加大executor内存，增加shuffle buffer缓存，但有时候也因为jo...

2019-12-11一鸣阅读(388)评论(0)赞(2)

在spark升级过程中，和开发中有可能因java版本、spark版本、 scala版本、相关jar包版本不一致或不匹配。导致出一些不应该发生的问题。记录下，以后面采坑。 版本不一致 java版本不一致 报错： 处理：该问题一般是spark的...

2019-12-11一鸣阅读(421)评论(0)赞(2)

现象 集群节点异常导致Spark job失败，如磁盘只读 产生原因 Spark 是一个高性能、容错的分布式计算框架，一旦它知道某个计算所在的机器出现问题会依据之前生成的 lineage 重新在这台机器上调度这个 Task，如果超过失败次数就...

2019-12-11一鸣阅读(883)评论(0)赞(0)

现象 Saprk-sql和ThriftServer使用时报错：Java.net.socketTimeOutException:read time out 产生原因 是由于hivemetastore过于繁忙或者gc导致连接超时 解决方案 sp...

2019-12-11一鸣阅读(1424)评论(0)赞(0)

现象 在Spark SQL中运行的SQL语句过于复杂的话，会出现 java.lang.StackOverflowError 异常 产生原因 这是因为程序运行的时候 Stack 大小大于 JVM 的设置大小 解决方案 通过在启动 Spark-...

2019-12-11一鸣阅读(1278)评论(0)赞(0)

现象 Sparksql使用过程中Executor端抛出：java.lang.OutOfMemoryError: GC overhead limit exceeded 产生原因 这是由于大部分事件都在GC，导致OOM。 解决方案 加大执行器内...