2025年yarn logs -applicationid命令（yarn application -list）

大家好，我是讯享网，很高兴认识大家。

 <svg xmlns="http://www.w3.org/2000/svg" style="display: none;"> <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path> </svg> <p></p>

讯享网

讯享网

安装

见hadoop安装

yarn的web页面：

http://hadoop1:8088/cluster

启动yarn也可以用两种方式。

讯享网

命令运行帮助：

使用官方自带的示例：

讯享网

由以上的提示可知，可以，可以等等。

讯享网

上传到上

讯享网

统计该文件的wordcount

说明：上述使用（可以直接/whb/wordfile.txt）文件（也可以使用本地）,结果放在hdfs的文件夹下。

运行过程：

讯享网

上述分析：

MR是按行来计算的，可以看到输入4行，输出6行。

在yarn 页面可以看到job
在hdfs可以看到产出结果。

查看结果：

讯享网

上述是以空格分隔的做统计的。

是空文件，做标识。

yarn页面显示：Application application_80_0001 中间指的是时间戳。

再次提交相同的命令：

讯享网

会报产出路径已经存在的错误。

一般在logs/下找.log文件。

yarn在跑任务时，除了、进程，还会有yarn对应的进程，如。

主从架构

主：nameNode
从：dataNode
主：ResourceManager
从：NodeManager

RM：全局的资源管理器，整个集群只有一个。负责集群资源的统一调度分配。负责对各个nodeManager上的资源进行统一的管理和调度。
AM：用户提交的每个应用都包含一个AM
主要功能：与RM协商获取资源（用Container）;
与NM通信启动和停止任务；
监控所有任务运行状态，并在任务运行失败的时候重新申请资源用于重启任务。
NM：是每个节点上的资源和任务管理器。一方面它会定时向RM会报本节点上的资源使用情况和各个节点上的Container的运行状态；另一方面它会接收并处理来自AM的Container启动和停止请求。
是yarn中的抽象概念，它封装cpu、内存、多个节点上的多维度资源
当AM向RM申请资源，RM返回给AM的资源便是Container
yarn会每个任务分配一个Container，且该任务只能使用该Container中描述的资源。

用官方文档的解释：
YARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的守护进程。我们的想法是拥有一个全局和每个应用程序。应用程序可以是单个作业，也可以是作业的。

和构成了数据计算框架。 ResourceManager是在系统中的所有应用程序之间仲裁资源的最终权限。 NodeManager是每台机器框架代理，负责容器，监视其资源使用情况（CPU，内存，磁盘，网络）并将其报告给ResourceManager / Scheduler。

每个应用程序ApplicationMaster实际上是一个特定于框架的库，其任务是协调来自ResourceManager的资源，并与NodeManager一起执行和监视任务。

有两个主要组件：和。

调度程序负责根据熟悉的容量，队列等约束将资源分配给各种正在运行的应用程序。调度程序是纯调度程序，因为它不执行应用程序状态的监视或跟踪。此外，由于应用程序故障或硬件故障，它无法保证重新启动失败的任务。调度程序根据应用程序的资源需求执行其调度功能; 它是基于资源Container的抽象概念，它包含内存，CPU，磁盘，网络等元素。

调度程序具有可插入策略，该策略负责在各种队列，应用程序等之间对集群资源进行分区。当前的调度程序（如CapacityScheduler和FairScheduler）将是插件的一些示例。

ApplicationsManager负责接受作业提交，协商第一个容器以执行特定于应用程序的ApplicationMaster，并提供在失败时重新启动ApplicationMaster容器的服务。每个应用程序ApplicationMaster负责从调度程序协商适当的资源容器，跟踪其状态并监视进度。

2025年yarn logs -applicationid命令（yarn application -list）

安装

相关推荐