Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。
讯享网
讯享网
Hadoop作业调度器主要有三种：FIFO、Capacity Scheduler和Fair Scheduler。Hadoop3.1.3默认的资源调度器是Capacity Scheduler。
具体设置详见：yarn-default.xml文件
FIFO
先进先出，同一时间队列中只有一个任务在执行
容量调度器
多队列；每个队列内部先进先出, 同一时间队列中只有一个任务在执行, 队列的并行度为队列的个数。
公平调度器
多队列；每个队列内部按照缺额大小分配资源启动任务，同一时间队列中有多个任务执行。队列的并行度大于等于队列的个数
需求
Yarn默认调度器为Capacity Scheduler（容量调度器），且默认只有一个队列——default。该调度器单个队列内的调度策略为FIFO，故单个队列的任务并行度为1，即一个队列，同一时刻，只能有一个任务运行。
在实际使用中会出现单个任务阻塞整个队列的情况。同时，随着业务的增长，公司需要分业务限制集群使用率。这就需要我们按照业务种类配置多条任务队列。
1.案例：配置default、hive多队列
默认Yarn的配置下，容量调度器只有一条Default队列。在$HADOOP_HOME/etc/hadoop/capacity-schdualer.xml中可以配置多条队列，并降低default队列资源占比：
①增加队列，添加队列的属性配置
讯享网
②分发配置文件到集群，重启Yarn
③测试，向default ，hive队列分别提交任务
提交到default队列：
提交到hive队列
讯享网
查看yarn任务ui界面:http://hadoop103:8088/cluster/scheduler
提交就可以查看了，不然任务跑完就看不到了….
2.配置Hive的默认提交队列
方式一
当前hive的shell窗口有效，关闭就不行了
方式二
修改配置文件，永久生效
讯享网
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/202238.html