前言
Apache Hadoop YARN 是开源 Hadoop 分布式处理框架中的资源管理和作业调度技术。作为 Apache Hadoop 的核心组件之一，YARN 负责将系统资源分配给在 Hadoop 集群中运行的各种应用程序，并调度要在不同集群节点上执行的任务。
简介
CapacityScheduler允许多租户安全地共享大型集群，以便在分配的容量限制下及时为其应用程序分配资源，同时最大化吞吐量和群集的利用率。
操作步骤
可到EMR控制台->左侧的【组件管理】找到yarn进行配置，在yarn的配置文件yarn-site.xml中开启Fair Scheduler。如下图1：
队列基本配置
CapacityScheduler的配置文件位于hadoop目录下的etc/hadoop/capacity-scheduler.xml。CapacityScheduler有一个名为root的预定义队列。系统中的所有队列都是root队列的子节点。
可以通过在yarn.scheduler.capacity.root.queues配置中，使用逗号分隔的子队列列表来设置更多队列。
下面是一个示例，其中包含三个顶级子队列a，b和c以及a和b的一些子队列：
我们通过EMR控制台，左侧的【组件管理】进入Yarn的Web UI界面：
Application Queues参数说明
背景
需要查看提交到yarn的应用作业情况
命令介绍
杀掉某个进程
说明：<ApplicationId> 可用 -list 查看到，或者登陆YARN快捷访问URL查看。
提交运行YARN应用
提交运行一个YARN的应用jar包。用户可以将写好的YARN代码打包成jar文件，用这个命令去运行它
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/146226.html