<svg xmlns="http://www.w3.org/2000/svg" style="display: none;"> <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path> </svg> 讯享网
Dolphinscheduler针对YARN任务，比如说MR、Spark、Flink，甚至是Shell任务，最初都是会判断如果有YARN任务，解析到applicationId。这样就会不单单以判断客户端进程为单一判断依据，还要根据YARN状态进行最终的Dolphinscheduler任务状态判断。后期，社区对此进行了重构(确实是好的向往，现在已经是半成品)，但是导致了一些问题，比如说针对Flink Stream Application模式，这种客户端分离模式会让客户端Shell直接退出，所以现在Dolphinscheduler里面的任务就直接成功了。YARN上的任务还在运行呢，但Dolphinscheduler已经不能追踪到YARN上任务的状态了。
那么，想要实现对于YARN上任务的状态跟踪，可以怎么做呢？
注：以3.2.1版本为例。
首先，让我们来看下DolphinScheduler中Worker Task的关系原理。
- AbstractTask: 主要定义了Task的基本生命周期接口，比如说init、handle和cancel
- AbstractRemoteTask: 主要对handle方法做了实现，体现了模版方法设计模式，提取了、以及三个核心接口方法
- AbstractYarnTask: 比如说YARN任务，就抽象了，其中、以及可以直接是对YARN API的访问
AbstractYarnTask可以实现YARN状态跟踪，参考，完整代码如下 :
讯享网
可以看到，这里的核心逻辑其实就是去掉之前直接把handle接口重写了，而现在针对YARN任务，只需要实现、两个核心接口，这个其实原则上应该代理才好(当前没有整合，不过不影响)。
页面效果如下 :
注意 : URL粘贴是需要自己写的，上面的代码不包含
这里其实是有问题，对于state状态来说，是有FINISHED、FAILED、KILLED三种状态，但是FINISHED状态里面还是有FinalStatus，完成不一定是成功，FINISHED下面其实也有SUCCEEDED、FAILED和KILLED。其实就是FINISHED不能作为DolphinScheduler的终态，需要继续判断而已。
讯享网
注意 ： 一定要指定，否则不一定能kill掉。
原文链接：https://segmentfault.com/a/58893
本文由 白鲸开源科技 提供发布支持！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/181568.html