2025年yarn命令kill任务（yarn kill任务）

科技前沿 • 2025-04-21 15:29 • 阅读 48

大家好，我是讯享网，很高兴认识大家。

前言

我们的作业是使用yarn来调度的，那么肯定就需要使用相关的命令来进行管理，简单的有查询任务列表和killed某一个正在运行中的任务。

一、Yarn常用命令

以下是基于yarn客户端使用命令行的方式进行：

二、REST API

但是、遗憾的是报如下问题：

开始我以为是kerberos权限的相关问题，于是加入如下代码：

如想要开启请按照如下说明方式：CM -> HDFS service -> search for and enable “Enable Kerberos Authentication for HTTP Web-Consoles”, deploy client configuration, restart HDFS and YARN services 所以上述开关没有打开，无论如何都不可能使用http方式去终止任务的，所以只能在部署yarn的客户端进行yarn application -kill job了

讯享网

三、YarnClient API

当我在使用hadoop yarn 版本为2.7.1的时候总是可以krb认证成功但却会在连接yarn的时候被拒绝，百思不得解，如下报错：注意：本地调试是OK，但是打包后运行就会出错，其中krb5.conf 和keytab文件已经指定了绝对路径。

在经历了一个下午的折腾之后发现，升级jar版本为hadoop 3.0.0 后在再次尝试终于OK。在这里请和生产的hadoop版本保持一致。否则可能回出现一些问题导致认证失败。

于是、我们就可以使用yarn api 来进行各种操作了，简单的示例如下：

ConfigUtil配置管理类

参考：

https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html

https://docs.cloudera.com/cdp-private-cloud-base/7.1.5/security-kerberos-authentication/topics/cm-security-kerberos-enabling-step9-web-authentication.html

https://s905060.gitbooks.io/site-reliability-engineer-handbook/content/hadoop_how_to_kill_all_the_specified_user_job.html

https://stackoverflow.com/questions//how-to-kill-a-spark-application-using-yarn-resourcemanager-rest-api https://zhuanlan.zhihu.com/p/

2025年yarn命令kill任务（yarn kill任务）

前言

一、Yarn常用命令

二、REST API

三、YarnClient API

相关推荐