Flink运行时架构&核心概念

本文介绍: Jo bMana g e r：协调，决定何时调度下一个 task，对失败任务做恢复。Ta skMa n g e r: 必须有一个。

Flink 运行时架构

Jo bMana g e r：协调，决定何时调度下一个task，对失败任务做恢复。
- Re sourceManage r: 负责Flink 集群中的资源提供、回收、分配，它负责管理 task slot。standalone 模式下，不能自行启动新的taskmanager
- Dispatcher
  - 提供一个REST接口，用来提交Flink 应用程序执行
  - 为每个提交的作业启动一个新的jobMa ste r
    -运行Flink We b UI
- JobMaste r: 负责管理单个JobGr ap h的执行，我们的代码Flink并不能直接执行，需要翻译为JobGrap h才能执行。
TaskManger: 必须有一个
- taskMana er和taskManager之间有数据交流

在这里插入图片描述

核心 概念

并行度
- 并发：多个任务，资源只有一份，需要竞争执行
- 并行：多个任务，资源有多份，可以同时执行
- 并行度：一个作业并行执行的程序（数量）
- 设置并行度
  - 1.代码中设置全局并行度：env.setParalleli sm(1);
  - 2.在idea中执行，，如果没有明确设置并行，默认为CPU核数
  - 3.在代码中设置算子并行度，map().setParalleli sm()
  - 4.不建议在代码中设置并行度，一般在提交作业到集群时指定并行度 bin/flink –p 并行度
  - 5.提交作业到集群，如果没有设置和代码中都没有设置，使用集群配置的并行度，一般为1
- 优先级：算子并行 > 全局并行度 > shell 命令 > 配置文件
算子链
- 上下游算子数据分发规则（数据分区规则）：ChannelSelector
  - Rebalan cePart i t ioner: 轮循方式,上下游并行度不一致时，默认是rebalance
  - RescalePart i t io iiner: 相对负载均衡，按照轮循的方式将数据发送到下游组内Task的每个并行度中
  - ShufflePart i t ioner: 洗牌，按照随机的方式发送到下游Task的每个并行度中
  - Broa d castPart ioner: 广播，根据下游并行度个数，每个发一份
  - GlobalPartit ioner: 全局，所有的数据之后发送到下游task的第一个并行度中，强制并行度为1
  - KeyGro upSt reamPart ioner: keyBy的效果，按照key的hash值决定发往下游的哪个并行度中
  - Forwar dPartitioner: 直连，上下游并行度一致。上游的并行度对应下游的并行度进行发送，如果上下游并行度一致，默认就是 forward
- 算子链：将上下游的多个Task 合并成一个大的Task，形成的链条就是算子链
- 合并算子链：
  - 1.上下游并行度必须一样
  - 2.数据的分发规则是forward
- 合并算子链的作用：减少线程间的切换，缓冲的开销，并且减少延迟的同时增加整体吞吐量
- 能不能不合并？能
  - 1.全局禁用算子链合并 env.di sa bleOperatorChaining()
  - 2.针对算子设置，startNewChain(): 开启新的算子链，从当前算子开始，与后面的进行合并di sa bleNewChain():前面和后面不参与算子链合并