本文介绍: flink一个针对实时进行处理框架。高可用,低延迟

一:为什么学习flink

比较sparkflink对于实时这块,使用过流的方式进行实现
spark通过批流的方式实现通过减少批的时间间隔实现流的功能

二:什么flink

flink是一个针对实时进行处理框架。高可用,低延迟

三:flink怎么使用

1. flink的俩种架构模式

  1. JobManager
    1.将程序转为物理执行图。
    2. 申请资源
    3. 监控taskmanager运行情况和checkpoint的协调。

  2. ResourceManager
    资源管理器主要负责管理任务管理器(TaskManager)的插槽slot)。

  3. TaskManager
    执行任务

  4. Dispatcher

在这里插入图片描述

2. TaskSlot与Parallelism

slot是指taskmanager并发执行能力
parallelism是指taskmanager实际使用并发能力

3. flink 窗口时间,水位线。

窗口
1. 滚动
2. 滑动
3. 累加
时间

  1. 事件时间
  2. 处理时间
  3. 摄入时间。

水位线

4. 状态

  1. source端保证。
    kafka的源头,我们偏移量,当重跑的时候,会找到上次的offest进行重新加载数据
  2. 中间进行保证。
    checkpoint
    savepoint
    jobmanager发送任务时候,会伴随发送一个barriers(栅栏),每一个操作都会进行一次拍照,最后sink。跑完会将数据存储起来。完成一次保存最后通知jobmanager
    存储方式
    1. 内存
    2. 磁盘
    3. 数据库
  3. sink端进行保证。
    阶段提交
    在这里插入图片描述

原文地址:https://blog.csdn.net/weixin_43446246/article/details/134685881

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

如若转载,请注明出处:http://www.7code.cn/show_34136.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注