请描述Yarn是什么,以及它的作用是什么?

YARN(Yet Another Resource Negotiator的首字母简写 ,称为“多资源协调器”)是在Hadoop2.0中出现的一种资源管理机制,是Hadoop的一个子项目,首次发布于2013年10月, 专门用于集群资源管理,也即YARN可以回答以下问题:

在给定的集群环境中,如何完成资源的快速调度?

YARN 具有以下优点:

由于YARN比MapReduce(MapReduce是第一代Hadoop的资源管理系统)拥有更好的优点,因而有的Hadoop系统的使用它来进行资源管理。

YARN 是一种分布式计算平台,它可以用于实现分布式集群上的数据处理;广泛用于机器学习和数据挖掘等方向。

YARN可以将分布式集群中的资源整合,更加节约地使用资源,提高资源利用率,提高整个系统计算效率,从而提高数据处理速度。

YARN 能够帮助用户在分布式集群中实现很多功能, 如:

首先要定义一个ResourceManager,ResourceManager会负责集群的资源使用情况,它会收集集群节点上的资源使用情况,包括CPU,内存,磁盘等,并通过集群节点上的应用程序来最优地使用这些资源。这些信息会通过网络传输给ResourceManager,从而实现资源的管理。

定义一个ApplicationManager,它的主要作用是用来管理用户的应用程序,它会生成用户的应用程序实例。它由ResourceManager调度,并负责应用程序的安装,运行,停止,收集过程中产生的信息,以及收集应用程序运行过程中产生的日志等。

YARN 还提供了一个NodeManager,它比较重要,因为NodeManager是节点资源管理器,它确实执行有关系统节点和服务进程之间的管理和调度工作,因此可以让资源更好被利用,而且也可以提高整个系统的性能。

YARN 还可以为使用者提供集群规划和调度的控制,可以让用户可以更好的进行集群管理和数据处理,从而节省时间成本和资源消耗,提高整个系统的性能。

随机文章