Flink运行时架构
核心概念
- 并行度
- 算子链
- 上下游算子数据分发规则(数据分区规则):ChannelSelector
- RebalancePartitioner: 轮循方式,上下游并行度不一致时,默认是rebalance
- RescalePartitioiiner: 相对负载均衡,按照轮循的方式将数据发送到下游组内Task的每个并行度中
- ShufflePartitioner: 洗牌,按照随机的方式发送到下游Task的每个并行度中
- BroadcastPartioner: 广播,根据下游并行度个数,每个发一份
- GlobalPartitioner: 全局,所有的数据之后发送到下游task的第一个并行度中,强制并行度为1
- KeyGroupStreamPartioner: keyBy的效果,按照key的hash值决定发往下游的哪个并行度中
- ForwardPartitioner: 直连,上下游并行度一致。上游的并行度对应下游的并行度进行发送,如果上下游并行度一致,默认就是forward
- 算子链: 将上下游的多个Task合并成一个大的Task,形成的链条就是算子链
- 合并算子链:
- 合并算子链的作用:减少线程间的切换,缓冲的开销,并且减少延迟的同时增加整体吞吐量
- 能不能不合并?能
- 上下游算子数据分发规则(数据分区规则):ChannelSelector
原文地址:https://blog.csdn.net/qq_44273739/article/details/134788278
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.7code.cn/show_42048.html
如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱:suwngjj01@126.com进行投诉反馈,一经查实,立即删除!
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。