Flink运行时架构&核心概念

本文介绍: Jo bMana g e r：协调，决定何时调度下一个 task，对失败任务做恢复。Ta skMa n g e r: 必须有一个。

Flink 运行时架构

JobMana g e r：协调，决定何时调度下一个 task，对失败任务做恢复。
- Re sourceMana g e r: 负责Flink 集群中的资源提供、回收、分配，它负责管理 task slot。standalone 模式下，不能自行启动新的taskmanager
- Dispatcher
  - 提供一个REST接口，用来提交Flink 应用程序执行
  - 为每个提交的作业启动一个新的jobMa ste r
    –运行Flink We b UI
- JobMa ste r: 负责管理单个JobGr ap h的执行，我们的代码Flink并不能直接执行，需要翻译为JobGr ap h才能执行。
Ta skMa n g e r: 必须有一个
- taskMana er和tas kMana ger之间有数据交流

在这里插入图片描述

核心 概念

并行度
- 并发：多个任务，资源只有一份，需要竞争执行
- 并行：多个任务，资源有多份，可以同时执行
- 并行度：一个作业并行执行的程序（数量）
- 设置并行度
  - 1.代码中设置全局并行度：env.setParall el i sm(1);
  - 2.在idea中执行，，如果没有明确设置并行，默认为CPU核数
  - 3.在代码中设置算子并行度，map().setParalleli sm()
  - 4.不建议在代码中设置并行度，一般在提交作业到集群时指定并行度 bin/flink –p 并行度
  - 5.提交作业到集群，如果没有设置和代码中都没有设置，使用集群配置的并行度，一般为1
- 优先级：算子并行 &g t; 全局并行度 &g t; shell 命令 > 配置文件
算子链
- 上下游算子数据分发规则（数据分区规则）：ChannelSelector
  - Rebalan cePart itioner: 轮循方式,上下游并行度不一致时，默认是rebalance
  - RescalePart i tioi iner: 相对负载均衡，按照轮循的方式将数据发送到下游组内Tas k的每个并行度中
  - Sh uf flePart itioner: 洗牌，按照随机的方式发送到下游Tas k的每个并行度中
  - Bro ad castPart ioner: 广播，根据下游并行度个数，每个发一份
  - GlobalPart i ti oner: 全局，所有的数据之后发送到下游tas k的第一个并行度中，强制并行度为1
  - KeyGroupStreamPart i oner: keyBy的效果，按照key的hash值决定发往下游的哪个并行度中
  - Forwar dPartiti oner: 直连，上下游并行度一致。上游的并行度对应下游的并行度进行发送，如果上下游并行度一致，默认就是 forward
- 算子链：将上下游的多个Tas k 合并成一个大的Task，形成的链条就是算子链
- 合并算子链：
  - 1.上下游并行度必须一样
  - 2.数据的分发规则是forward
- 合并算子链的作用：减少线程间的切换，缓冲的开销，并且减少延迟的同时增加整体吞吐量
- 能不能不合并？能
  - 1.全局禁用算子链合并 env.di sa bleOperatorChai n ing()
  - 2.针对算子设置，startNewChai n(): 开启新的算子链，从当前算子开始，与后面的进行合并 di sa bleNewChain():前面和后面不参与算子链合并

原文地址:https://blog.csdn.net/qq _44273739/art icle/de tails/134788278

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。

如若转载，请注明出处：http://www.7code.cn/show_41850.html

如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：su wngjj01@126.com进行投诉反馈，一经查实，立即删除！

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。

Flink运行时架构

相关文章

发表回复 取消回复

Flink 运行时架构

发表回复取消回复