环境 操作系统：centos7.4 Java：java version 1.8.0 Hadoop：Hadoop 2.7.2 Zookeeper：zookeeper 3.4.12 本文是单节点hbase快速安装 不用hadoop和单独的zookeeper。后面有hbase集群模式……

阅读全文

spark executor的个数和并行任务的个数 合理的core，mem比例以及并行度是能显著提升spark执行效率。也是spark优化的一个重点 spark executor 数量 指定spark executor 数量的公式 executor 数量 = spark.cores.max/spark.executor.cores spark.cores.max 是指你的spark程序需要的总核数 spark.executor.cores 是……

阅读全文

现象 hadoop集群报错： Connection reset by peer java.io.IOException: Connection reset by peer datanode重置链接 The client is stuck in an RPC to NameNode. Currently RPCs can be wait for a long time if the server is busy. 产生原因 1 namenode用于处理RPC请求线程过小 2 网络不稳定 解决方案 dfs.namenode.hand……

阅读全文

现象 hadoop集群报错：java.net.SocketTimeoutException 产生原因 集群io负载过高写超时 网络不稳定 解决方案 ① dfs.datanode.socket.write.timeout （加大）向datanode写入数据超时设置 dfs.client.socket-timeout （加大） dfsclients与集群间……

阅读全文

备份namenode的元数据 namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。 1、将元数据复制到远程站点 （1）以下代码将secondary namenod……

阅读全文

硬件选择 hadoop运行环境 如何选择合适的硬件 主节点： NameNode的内存决定了集群保存文件数的总量。ResourceManager同时运行的作业会消耗一定的内存。 4-6块 1TB 硬盘（1块给操作系统，2块给FS image [RAID 1]，1……

阅读全文

GC开销超过限制 报错： java.lang.OutOfMemoryError: GC overhead limit exceeded at scala.collection.immutable.HashMap.scala.collection.immutable.HashMap makeHashTrieMap(HashMap.scala:175) 处理：分为两个角度，一是是检查代码，减少不必要的冗余，重用的RDD要序列化缓存，减少shuffle数据，加大并行度；二从参数配置看，加大executor内存，增加shuffle buf……

阅读全文

现象 spark报错 ： java.lang.IndexOutOfBoundsException 或者 java.lang.NullPointerException 产生原因 分区或者表下存在空的orc文件。该BUG在Spark2.3.0之后才修复 解决方案 规避解决。修改ORC的默认分割策略为：hive.exec.orc.split.strategy=BI进行……

阅读全文

现象 在spark集群中执行insert 语句时报错，堆栈信息为：FileSystem closed。常常出现在ThriftServer里面。 产生原因 由于hadoop FileSystem.get 获得的FileSystem会从缓存加载，如果多线程一个线程……

阅读全文

现象 Sparksql使用过程中Executor端抛出：java.lang.OutOfMemoryError: GC overhead limit exceeded 产生原因 这是由于大部分事件都在GC，导致OOM。 解决方案 加大执行器内存，修改GC策略spark.exec……

阅读全文