hadoop集群优化
硬件选择 hadoop运行环境 如何选择合适的硬件 主节点: NameNode的内存决定了集群保存文件数的总量。ResourceManager同时运行的作业会消耗一定的内存。 4-6块 1TB 硬盘(1块给操作系统,2块给FS image ...
硬件选择 hadoop运行环境 如何选择合适的硬件 主节点: NameNode的内存决定了集群保存文件数的总量。ResourceManager同时运行的作业会消耗一定的内存。 4-6块 1TB 硬盘(1块给操作系统,2块给FS image ...
备份namenode的元数据 namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用。因此应该经常对元数据进行备份,最好是异地备份。 1、将元数据复制到远程站点 (1)以下代码将secondary namenode中的元数据...
spark的优化其实说起来很多,那常用的部分主要由哪些呢。 下面是实际项目优化的记录:资源分配、重构RDD架构以及RDD持久化、gc OOM异常、Shuffle调优等 在实际项目中分配更多资源 分配更多资源是性能调优的王道,就是增加和分配更...
合并map端输出文件 开启map端文件合并机制参数设置 conf.set(“spark.shuffle.consolidateFiles”,” true”) 开启了合并机制后,运行流程: 第一个stage,同时可以运行cpu core个ta...
调节reduce端缓冲区大小避免OOM异常 问题描述: 对于map端不断产生的数据,reduce端会不断拉取一部分数据放入到缓冲区,进行聚合处理; 当map端数据特别大时,reduce端的task拉取数据是可能将全部的缓冲区都填满的,此时进...
Dockerfile入门,包括执行docker的流程、dockerfile的关键字,Dockerfile举例详细说名。 Dockerfile是什么 Dockerfile是用来构建Docker镜像的构建文件。 是在Docker中创建镜像最常...
k8s常用命令主要由查看类、操作类、高级进阶命令 查看类命令 1、获取节点相应服务的信息: 2、查看集群信息 3、查看各组件信息 4、查看pods所在的运行节点 5、查看pods定义的详细信息 6、查看运行的pod的环境变量 7、查看指定p...
k8s集群维护 master节点 1、更改配置文件,重新加载 2、启动master相关组件 3、停止master相关组件 4、重启master相关组件 5、查看master相关组件状态 worker节点 1、更改配置后,重启加载 2、启动w...
Docker组成 镜像 容器 仓库 下面记录下docker使用过程中在镜像、容器、仓库的常用命令。 Docker常用命令 帮助命令 镜像命令 容器命令 新建并启动 eg: docker run、docker exec、docker atta...
docker自动化部署构建流程