yarn命令查看队列配置（查看yarn状态的命令）

科技前沿 • 2025-06-10 20:49 • 阅读 20

大家好，我是讯享网，很高兴认识大家。

Yarn

1.Yarn基础架构

ResourceManager(RM)
NodeManager(NM)
ApplicationMaster(AM)
Container

2.Yarn工作流程

HDFSMRYarn的配合

3.Yarn资源调度器

理解调度器的功能
3.1 FIFO调度器
3.2 Capacity Scheduler
3.3 公平调度器
3.4 Yarn调度器多队列配置（☆）

4.Yarn常用命令

1.yarn application查看任务
2.yarn logs 查看日志
3.yarn applicationattempt 查看尝试运行的任务
4.yarn container 查看容器
5.yarn node 查看节点状态
6.yarn rmadmin 更新任务配置
7.yarn queue 查看队列状态

5.yarn生产环境核心配置参数

1.ResourceManager相关配置
2.NodeManager相关
3.Container相关
4. AppMaster进程相关

4.1 增加ApplicationMaster资源比例

多队列配置

核心组件：

ResourceManager
NodeManager
ApplicationMaster
Container

yarn查看队列资源使用情况 yarn队列参数_ci
讯享网

（10）RM会在有资源的NodeManager节点上创建容器来运行MapTask任务

yarn查看队列资源使用情况 yarn队列参数_hadoop_02

Hadoop作业调度器主要有三种：

FIFO
Capacity Scheduler
Fair Scheduler

具体设置详见：yarn-default.xml文件

yarn查看队列资源使用情况 yarn队列参数_ci_03

yarn查看队列资源使用情况 yarn队列参数_hadoop_04

yarn查看队列资源使用情况 yarn队列参数_ci_05

yarn查看队列资源使用情况 yarn队列参数_hadoop_06

容量调度器优先给小队列的job分配资源，FAIR优先给缺额大的job分配资源；

某一时刻应该获取的资源和实际获取的资源的差值；

yarn查看队列资源使用情况 yarn队列参数_hadoop_07

yarn查看队列资源使用情况 yarn队列参数_hadoop_08

yarn查看队列资源使用情况 yarn队列参数_应用程序_09

yarn查看队列资源使用情况 yarn队列参数_yarn查看队列资源使用情况_10

yarn查看队列资源使用情况 yarn队列参数_yarn查看队列资源使用情况_11

（1）查看所有在yarn集群上正在运行的任务

yarn查看队列资源使用情况 yarn队列参数_hadoop_12

yarn查看队列资源使用情况 yarn队列参数_ci_13

(1) 查看Application日志 [重要]

如果yarn ui页面或者没有配置历史服务器，就可以通过这个命令查看

(2) 查看一个container中任务的执行日志

yarn查看队列资源使用情况 yarn队列参数_应用程序_14

yarn查看队列资源使用情况 yarn队列参数_应用程序_15

yarn查看队列资源使用情况 yarn队列参数_hadoop_16

yarn查看队列资源使用情况 yarn队列参数_应用程序_17

yarn查看队列资源使用情况 yarn队列参数_hadoop_18

这个命令很重要，如果我们修改了yarn的队列配置，不需要重启yarn，直接执行这个命令，yarn就能重新读取配置文件；

yarn查看队列资源使用情况 yarn队列参数_hadoop_19

功能：配置调度器种类；
apache默认是fifo，cdh默认是fair

resourcemanager能够接受的客户端线程；
默认50个

是否让yarn自己检测硬件配置，默认false;
一般手动配置NM

是否将虚拟核数当作CPU核数，默认false;
如果NM之间的配置不同，有的配置高，有的配置低，纯按照物理核，性能好的浪费资源，所以此时开启这个配置

此配置项依赖上面一个
虚拟核能顶多少个核物理核，该参数应设置为2，默认1

NodeManager节点上缴给yarn可用的内存；默认8G

Nodemanager为系统保留多少内存；
这个参数和上面一个参数是相反的，因此二者只配置一个即可

Nodemanager上缴给yarn的cpu核数；默认8个

是否开启物理内存检查限制，默认打开；
检查NM内存使用情况，如果不加控制，可能会占用系统内存，导致机器崩溃；

是否开启虚拟内存检查限制，默认打开；

虚拟内存和物理内存比例；默认2：1

容器最小内存，默认1g

容器最大内存，默认8g；不能超过NM上缴的内存

容器最小cpu核数，默认1个

容器最大cpu核数，默认4个；不能超过NM上缴的CPU核数

4.1 增加ApplicationMaster资源比例

（1）在hadoop102的/opt/module/hadoop-3.1.3/etc/Hadoop/capacity-scheduler.xml文件中修改如下参数值

[atguigu@hadoop102 hadoop]\( vim capacity-scheduler.xml</p><div></div><p>（2）分发capacity-scheduler.xml配置文件<br> [atguigu@hadoop102 hadoop]\) xsync capacity-scheduler.xml
（3）关闭正在运行的任务，重新启动yarn集群
[atguigu@hadoop103 hadoop-3.1.3]\( sbin/stop-yarn.sh<br> [atguigu@hadoop103 hadoop-3.1.3]\) sbin/start-yarn.sh

yarn命令查看队列配置（查看yarn状态的命令）

Yarn

4.1 增加ApplicationMaster资源比例

相关推荐