标签:云

Hadoop

hadoop集群优化

一鸣阅读(101)评论(0)赞(0)

硬件选择 hadoop运行环境 如何选择合适的硬件 主节点: NameNode的内存决定了集群保存文件数的总量。ResourceManager同时运行的作业会消耗一定的内存。 4-6块 1TB 硬盘(1块给操作系统,2块给FS image ...

Hadoop

hadoop集群维护记录

一鸣阅读(51)评论(0)赞(0)

备份namenode的元数据 namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用。因此应该经常对元数据进行备份,最好是异地备份。 1、将元数据复制到远程站点 (1)以下代码将secondary namenode中的元数据...

Spark

spark常用性能调优 spark性能优化实战

一鸣阅读(57)评论(0)赞(2)

spark的优化其实说起来很多,那常用的部分主要由哪些呢。 下面是实际项目优化的记录:资源分配、重构RDD架构以及RDD持久化、gc OOM异常、Shuffle调优等 在实际项目中分配更多资源 分配更多资源是性能调优的王道,就是增加和分配更...

Spark

spark Shuffle调优

一鸣阅读(75)评论(0)赞(3)

合并map端输出文件 开启map端文件合并机制参数设置 conf.set(“spark.shuffle.consolidateFiles”,” true”) 开启了合并机制后,运行流程: 第一个stage,同时可以运行cpu core个ta...

Spark

spark troubleshooting处理

一鸣阅读(43)评论(0)赞(1)

调节reduce端缓冲区大小避免OOM异常 问题描述: 对于map端不断产生的数据,reduce端会不断拉取一部分数据放入到缓冲区,进行聚合处理; 当map端数据特别大时,reduce端的task拉取数据是可能将全部的缓冲区都填满的,此时进...

Kubernetes

k8s常用命令

一鸣阅读(57)评论(0)赞(1)

k8s常用命令主要由查看类、操作类、高级进阶命令 查看类命令 1、获取节点相应服务的信息: 2、查看集群信息 3、查看各组件信息 4、查看pods所在的运行节点 5、查看pods定义的详细信息 6、查看运行的pod的环境变量 7、查看指定p...

Kubernetes

k8s集群维护

一鸣阅读(51)评论(0)赞(1)

k8s集群维护 master节点 1、更改配置文件,重新加载 2、启动master相关组件 3、停止master相关组件 4、重启master相关组件 5、查看master相关组件状态 worker节点 1、更改配置后,重启加载 2、启动w...

Docker

docker常用命令 docker快速上手

一鸣阅读(52)评论(0)赞(1)

Docker组成 镜像 容器 仓库 下面记录下docker使用过程中在镜像、容器、仓库的常用命令。 Docker常用命令 帮助命令 镜像命令 容器命令 新建并启动 eg: docker run、docker exec、docker atta...