hadoop集群报错：java.net.SocketTimeoutException （已解决）

hadoop 云大数据
现象 hadoop集群报错： Connection reset by peer java.io.IOException: Connection reset by peer datanode重置链接 The client is stuck in an RPC to NameNode. Currently RPCs can be wait for a long time if the server is busy. 产生原因 1 namenode用于处理RPC请求线程过小 2 网络不稳定 解决方案 dfs.namenode.hand……

hadoop 云大数据
硬件选择 hadoop运行环境 如何选择合适的硬件 主节点： NameNode的内存决定了集群保存文件数的总量。ResourceManager同时运行的作业会消耗一定的内存。 4-6块 1TB 硬盘（1块给操作系统，2块给FS image [RAID 1]，1……

hadoop 云大数据
备份namenode的元数据 namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。 1、将元数据复制到远程站点 （1）以下代码将secondary namenod……

hadoop
Hadoop 3.0的alpha版预计今年夏天发布，GA版本11月或12月发布。【Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Had……

hadoop
HADOOP多节点安装过程 [注意：通过以root模式在默认用户（例如master，slave1，slave2…等）上创建和使用所有内容，以最简单的方式创建多节点。请不要创建任何hadoop用户（例如hadoop，hdus……

hadoop
hadoop对传统业务解决方案的应用……

hadoop 云大数据
hadoop生态圈……

hadoop spark 人工智能 深度学习
……

spark 云大数据
什么是 UnifiedMemoryManager UnifiedMemoryManager是Spark统一内存管理。它主要由2部分内存：spark部分内存和系统部分。 spark部分：由 spark memory 和Execution memory Storage memory组成 系统部分：user memory Unified……

spark 云大数据
GC开销超过限制 报错： java.lang.OutOfMemoryError: GC overhead limit exceeded at scala.collection.immutable.HashMap.scala.collection.immutable.HashMap makeHashTrieMap(HashMap.scala:175) 处理：分为两个角度，一是是检查代码，减少不必要的冗余，重用的RDD要序列化缓存，减少shuffle数据，加大并行度；二从参数配置看，加大executor内存，增加shuffle buf……