一:为什么学习flink?
相比较spark,flink对于实时这块,使用过流的方式进行实现。
spark是通过批流的方式实现,通过减少批的时间间隔来实现流的功能。
二:什么是flink?
三:flink怎么使用?
1. flink的俩种架构模式。
2. TaskSlot与Parallelism。
slot是指taskmanager的并发执行能力。
parallelism是指taskmanager实际使用的并发能力
3. flink 窗口,时间,水位线。
水位线
4. 状态。
- source端保证。
在kafka的源头,我们有偏移量,当重跑的时候,会找到上次的offest进行重新加载数据。 - 中间进行保证。
checkpoint
savepoint
当jobmanager发送任务的时候,会伴随发送一个barriers(栅栏),每一个操作都会进行一次拍照,最后sink。跑完会将数据存储起来。完成一次保存。最后通知jobmanager。
存储的方式 - sink端进行保证。
俩阶段提交。
原文地址:https://blog.csdn.net/weixin_43446246/article/details/134685881
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.7code.cn/show_34136.html
如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱:suwngjj01@126.com进行投诉反馈,一经查实,立即删除!
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。