标签：云

2019-12-11一鸣阅读(162)评论(0)赞(0)

硬件选择 hadoop运行环境 如何选择合适的硬件 主节点： NameNode的内存决定了集群保存文件数的总量。ResourceManager同时运行的作业会消耗一定的内存。 4-6块 1TB 硬盘（1块给操作系统，2块给FS image ...

2019-12-11一鸣阅读(114)评论(0)赞(0)

备份namenode的元数据 namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。 1、将元数据复制到远程站点 （1）以下代码将secondary namenode中的元数据...

2019-12-10一鸣阅读(118)评论(0)赞(2)

spark的优化其实说起来很多，那常用的部分主要由哪些呢。 下面是实际项目优化的记录：资源分配、重构RDD架构以及RDD持久化、gc OOM异常、Shuffle调优等 在实际项目中分配更多资源 分配更多资源是性能调优的王道，就是增加和分配更...

2019-12-10一鸣阅读(153)评论(0)赞(3)

合并map端输出文件 开启map端文件合并机制参数设置 conf.set(“spark.shuffle.consolidateFiles”,” true”) 开启了合并机制后，运行流程： 第一个stage，同时可以运行cpu core个ta...

2019-12-10一鸣阅读(96)评论(0)赞(1)

调节reduce端缓冲区大小避免OOM异常 问题描述： 对于map端不断产生的数据，reduce端会不断拉取一部分数据放入到缓冲区，进行聚合处理； 当map端数据特别大时，reduce端的task拉取数据是可能将全部的缓冲区都填满的，此时进...

2019-12-10一鸣阅读(127)评论(0)赞(1)

k8s常用命令主要由查看类、操作类、高级进阶命令 查看类命令 1、获取节点相应服务的信息： 2、查看集群信息 3、查看各组件信息 4、查看pods所在的运行节点 5、查看pods定义的详细信息 6、查看运行的pod的环境变量 7、查看指定p...

2019-12-10一鸣阅读(135)评论(0)赞(1)

k8s集群维护 master节点 1、更改配置文件，重新加载 2、启动master相关组件 3、停止master相关组件 4、重启master相关组件 5、查看master相关组件状态 worker节点 1、更改配置后，重启加载 2、启动w...

2019-12-10一鸣阅读(117)评论(0)赞(1)

Docker组成 镜像 容器 仓库 下面记录下docker使用过程中在镜像、容器、仓库的常用命令。 Docker常用命令 帮助命令 镜像命令 容器命令 新建并启动 eg： docker run、docker exec、docker atta...