flink版本1.14 别的本类

需要速率限制的情况

1.任务异常停止时间内大量数据挤压

2.新任务上线需要铺底数据,消费几天前的数据

在不增加内存并行度的情况下,如果任务启动可能会造成oom,这时需要进行速率限制

前提

漏桶算法(Leaky Bucket Algorithm):

  1. 原理 漏桶算法原理类似于一个物理上的漏桶数据请求被看作水滴,这些水滴被放入一个固定容量的漏桶中。漏桶固定速率漏水,当水满时,多余的水滴会被溢出丢弃。因此,漏桶算法流量进行了平滑处理

  2. 工作方式 请求放入漏桶,以固定速率从桶中漏出,如果请求过来的速率过快,桶就会溢出溢出的请求将被丢弃或进行特殊处理

  3. 优点: 简单、直观,可以平滑突发流量

令牌算法(Token Bucket Algorithm):

  1. 原理 令牌算法使用一个令牌桶来控制请求的发送速率。桶中以固定速率产生令牌每个令牌代表一个允许通过的请求。当请求到达时,如果有足够的令牌,请求被允许通过,并且一个令牌被消耗;否则,请求被缓存拒绝

    </

原文地址:https://blog.csdn.net/weixin_44628586/article/details/134649342

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

如若转载,请注明出处:http://www.7code.cn/show_39666.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注