<svg xmlns="http://www.w3.org/2000/svg" style="display: none;"> <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path> </svg> 讯享网
Flink 的提交流程随着部署模式、资源管理平台的不同，会有不同的变化。这里做进一步的抽象，形成一个大概高视角的任务执行流程图，如下：
讯享网
Flink按照集群和资源管理的划分运行模式有：Standalone、Flink On Yarn、K8S等。
Standalone为独立模式，独立运行，不依赖外部资源调度管理框架。如果资源不足或出现故障，没有自动扩展和重分配的机制，需要手动处理。一般适合开发测试和作业较少的场景。支持的部署模式有：会话部署模式、应用部署模式。不支持PerJob（单作业）部署模式。
会话模式
首先启动集群，然后Web访问JobManager的8081端口提交任务或命令提交，提交任务如下：
讯享网
再次提交第二个Job时，JobManager和TaskManager还是原来的进程，在JobManager内部会重新启动JobMaster线程，类似Spark的Driver。新的任务继续占用TaskManager的插槽，如果插槽不足任务提交失败。
应用模式
该模式不用启动集群。提交任务如下：
该模式在8081端口也可以看到集群和任务运行。此时如果通过UI取消作业运行集群也会销毁。
Flink集群安装在Hadoop集群上或者下载Flink依赖的Jar包，建议安装在Hadoop集群上，参照环境配置如下：
讯享网
YARN模式根据并行度除以每个TM插槽数向上取整动态申请TM，每个TM的slot参考Flink配置文件。该运行模式下支持的部署包括会话、单作业、应用模式。
会话模式
首先需要申请YARN会话，Yarn Session，然后启动Flink集群。启动会话应用如下：
此时在flink-conf.yaml的配置被覆盖即无效。启动后YARN会自动分配JM的机器和端口，在终端日志中会打印JM Web Interface地址，也可通过YARN的界面找到Tracking UI进入JM，这时使用YARN代理的方式进入。
未提交作业时，TM个数为0，因为Flink会根据运行在JM的作业所需slot动态分配TM。可提交多个作业。Job取消或结束后，占用的slot和tm会显示为可用，但过一会会被回收，显示总数和可用都为0。也可通过命令行提交任务到YARN会话，如下：
讯享网
单作业模式
每个作业占用一个YARN应用，即YARN集群，提交方式如下：
在Flink的UI界面CANCEL任务后，YARN的应用状态变为FINISHED，这种关闭和上面命令行是一样的。
应用模式
Flink-1.11之后加入应用模式，和上个YARN单作业提交区别是此时提交的客户端不做代码解析等操作，这也是推荐的模式。提交方式如下：
讯享网
YARN的工作原理是每次执行任务时，都需要将Flink和用户的Jar包上传到HDFS上，所以在YARN的单作业和应用部署模式下，可以将依赖JAR包先上传到HDFS，然后指定路径，此时每次提交任务不会再次上传jar包到HDFS。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/165866.html