当前位置： 首页互联网正文 本文介绍: flink消费kafka限制消费速率 flink版本1.14 别的版本类似 需要速率限制的情况 1.任务异常在停止的时间内大量数据挤压 2.新任务上线需要铺底数据，消费几天前的数据 在不增加内存和并行度的情况下，如果任务启动可能会造成oom，这时需要进行速率限制。 前提 漏桶算法（Leaky Bucket Algorithm）： 原理： 漏桶算法的原理类似于一个物理上的漏桶。数据请求被看作水滴，这些水滴被放入一个固定容量的漏桶中。漏桶以固定的速率漏水，当水满时，多余的水滴会被溢出丢弃。因此，漏桶算法对流量进行了平滑处理。 工作方式： 请求被放入漏桶，以固定的速率从桶中漏出，如果请求过来的速率过快，桶就会溢出，溢出的请求将被丢弃或进行特殊处理。 优点： 简单、直观，可以平滑突发流量。 令牌桶算法（Token Bucket Algorithm）： 原理： 令牌桶算法使用一个令牌桶来控制请求的发送速率。桶中以固定速率产生令牌，每个令牌代表一个允许通过的请求。当请求到达时，如果有足够的令牌，请求被允许通过，并且一个令牌被消耗；否则，请求被缓存或拒绝。 </ 原文地址:https://blog.csdn.net/weixin_44628586/article/details/134649342 本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。 如若转载，请注明出处：http://www.7code.cn/show_39666.html 如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！ 主题授权提示：请在后台主题设置-主题授权-激活主题的正版授权，授权购买：RiTheme官网显示所有内容声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。flink漏桶速率 代码007普通 打赏 收藏 海报 链接
