云大数据 中的文章

kafka 的架构

Producer:消息生产者 Producer可以发送消息到Topic Topic的消息存放在不同Partition中,不同Partition存放在不同Broker中 Producer只需要指定Topic的名字、要连接到的Br……

阅读全文

flink的运行架构

当 Flink 集群启动后,首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager,JobManager 再调度任务到各个 TaskManager 去执行,然后 TaskManager 将心跳和统计信息汇报给 JobManager。TaskManag……

阅读全文

flink的作业执行流程

以yarn模式Per-job方式为例概述作业提交执行流程 当执行executor() 之后,会首先在本地client 中将代码转化为可以提交的 JobGraph如果提交为Per-Job模式,则首先需要启动AM, client会首先……

阅读全文

Flink作业和flink on yarn

Flink作业提交有两种类型: yarn session需要先启动集群,然后在提交作业,接着会向yarn申请一块空间后,资源永远保持不变。如果资源满了,下一个作业就无法提交,只能等到yarn中的其中一个作业执行完成后,释放了资源,……

阅读全文

Zookeeper leader 选举过程

这里选取3台机器组成的服务器集群为例。在集群初始化阶段,当有一台服务器Server1启动时,其单独无法进行和完成Leader选举,当第二台服务器Server2启动时,此时两台机器可以相互通信,每台机器都试图找到Leade……

阅读全文

zookeeper的通知机制

zk的watcher由客户端,客户端WatchManager,zk服务器组成。整个过程涉及了消息通信及数据存储。 zk客户端向zk服务器注册watcher的同时,会将watcher对象存储在客户端的watchManager……

阅读全文

zookeeper在kafka中的作用

zk的作用主要有如下几点: kafka的元数据都存放在zk上面,由zk来管理 0.8之前版本的kafka, consumer的消费状态,group的管理以及 offset的值都是由zk管理的,现在offset会保存在本地topi……

阅读全文

spark executor的个数和并行任务的个数优化 spark优化

spark executor的个数和并行任务的个数 合理的core,mem比例以及并行度是能显著提升spark执行效率。也是spark优化的一个重点 spark executor 数量 指定spark executor 数量的公式 executor 数量 = spark.cores.max/spark.executor.cores spark.cores.max 是指你的spark程序需要的总核数 spark.executor.cores 是……

阅读全文

分类

福利派送

标签

其它

休闲室