如何设置Yarn集群中资源分配的策略？

1 YARN的资源分配策略概述

YARN是Hadoop中实施分布式应用程序的基础，它提供安全的用户分配资源的容器。YARN的资源分配策略是指将集群中的资源分配给不同的客户端应用程序，以满足不同任务的需求。YARN分布式应用程序容器和资源再次整合，以管理和分配集群资源。

2 YARN中资源分配的方式

YARN支持两种资源分配方式，cpu限制分配和内存限制分配。

2.1 CPU限制分配

当设置了cpu限制时，YARN会根据应用程序提供的cpu资源限制，以此来确定应用程序的运算能力，所以系统产生的实例的性能会有所不同。

在生产环境中，YARN资源分配是一个重要的技术，它可以帮助我们更好地管理我们的资源，提高系统的可用性和性能。

首先，我们需要确定YARN集群中的节点数量和资源大小，以确定每个节点的CPU、内存和磁盘空间大小。然后，我们可以使用YARN的资源管理器来配置节点的CPU、内存和磁盘空间，以便更好地控制资源的分配。

其次，我们可以使用YARN的资源限制功能来控制应用程序的CPU资源分配。在配置YARN资源限制时，我们可以指定每个应用程序的最大CPU使用率，以及每个节点可以分配给应用程序的最大CPU数量。这样，我们就可以控制应用程序的CPU资源分配，从而提高系统的可用性和性能。

最后，我们可以使用YARN的调度器来控制应用程序的资源分配。在配置YARN调度器时，我们可以指定每个应用程序的最大资源需求，以及每个节点可以分配给应用程序的最大资源数量。这样，我们就可以控制应用程序的资源分配，从而提高系统的可用性和性能。

2.2 内存限制分配

当设置了内存限制时，YARN可以根据应用程序提供的内存资源限制，以此来确定实例在内存空间上所能拥有的容量，因此可以根据应用程序拥有的对内存的需求，来生成更多的实例来满足需求。

在生产环境中，YARN可以用来实现资源分配。首先，需要在节点上配置YARN，并设置资源限制。例如，可以设置最大内存限制为2G，最大CPU限制为4个核心。

接下来，可以使用YARN命令行工具，创建一个应用程序，并设置资源限制。比如，可以使用命令：

yarn application -create -appname “myapp” -memory 2G -cpu 4

这条命令会创建一个名为“myapp”的应用程序，并设置最大内存限制为2G，最大CPU限制为4个核心。

最后，可以使用YARN命令行工具，向该应用程序提交任务，比如：

yarn application -submit -appname “myapp” -jobname “myjob” -jobfile “myjob.jar”

这条命令会提交一个名为“myjob”的任务，该任务使用“myjob.jar”作为运行文件，并在“myapp”应用程序中运行。

在提交任务时，YARN会根据应用程序设置的资源限制，将任务分配到合适的节点上，从而实现资源分配。

3 如何调整YARN的资源分配策略

3.1 使用YARN的集群管理来进行资源重新分配

YARN的集群管理可以调整YARN在系统中的资源分配策略，例如通过设置NodeManager，集群管理可以控制NodeManager的资源池大小，从而可以调整YARN资源的分配比例，进而解决集群中资源分配不平衡的问题。

在实际的生产环境中，YARN的集群管理可以调整YARN在系统中的资源分配策略，以解决集群中资源分配不平衡的问题。下面介绍具体的步骤：

1.登录YARN集群管理器，查看当前YARN集群的资源分配情况，并确定是否存在资源分配不平衡的问题。

2.调整NodeManager的资源池大小，即在YARN集群管理器中设置NodeManager的资源池大小，以调整YARN资源的分配比例。

3.重新部署YARN集群，以使调整后的资源分配比例生效。

4.再次查看YARN集群的资源分配情况，确认调整后的资源分配比例是否正确，并判断是否解决了集群中资源分配不平衡的问题。

下面给出一个示例代码，用于调整YARN集群中NodeManager的资源池大小：

// 设置NodeManager的资源池大小 Configuration conf = new Configuration(); conf.set(“yarn.nodemanager.resource.memory-mb”, “2048”); conf.set(“yarn.nodemanager.resource.cpu-vcores”, “4”); // 重新部署YARN集群 YarnClient yarnClient = YarnClient.createYarnClient(); yarnClient.init(conf); yarnClient.start(); yarnClient.reDeployYarnCluster(); yarnClient.close();

通过以上步骤，可以调整YARN的资源分配策略，从而解决集群中资源分配不平衡的问题。

3.2 修改YARN资源分配策略配置

在Hadoop集群中，节点配置文件例如/etc/hadoop/yarn-site.xml中包含了关于YARN资源分配策略的配置。若想要调整YARN的资源分配策略，可以修改hadoop-site.xml，将其中的ResourceScheduler分配调整优先级再次配置即可，如将Priority全部调整为一致，从而改善集群中资源分配情况。

实际例子：

假设我们有一个Hadoop集群，其中包含3个节点，分别是Node1，Node2和Node3，在该集群中，我们想要调整YARN的资源分配策略，使得每个节点都能够获得相同的资源分配。

首先，我们需要修改hadoop-site.xml中的ResourceScheduler配置，将其中的Priority调整为一致。例如，我们可以将Priority调整为10，即每个节点都获得10的优先级，表示每个节点都能够获得相同的资源分配。

接下来，我们需要在Node1，Node2和Node3上重新启动YARN服务，以使新的资源分配策略生效。在每个节点上，我们可以使用以下命令来重新启动YARN服务：

$ hadoop-daemon.sh start yarn

最后，我们可以使用以下命令检查当前资源分配策略：

$ yarn rmadmin -getSchedulerInfo

如果输出显示每个节点都获得了相同的优先级，说明资源分配策略修改成功。

4 结论

Yarn提供了安全、可靠的资源分配服务，通过YARN集群管理以及配置修改Hadoop集群中的配置文件可以调整YARN的资源分配策略，从而改善集群中资源分配情况，提高集群的效率性能。