业务背景
最近公司在做物联网相关的项目,调试过程中发现好玩的bug。
首先一个数据采集场景,plc采集数据全链路:
kepServer(kepserver IOT gateway) -> emqx (查看日志)-> iot服务 -> 业务处理发送Kafka -> flink消费 -> websocket推送告警...
【整个链路还是比较长的】
整个过程是这样的,
kepServer
。kepServer上配置设备需要采集的plc数据点位,kepServer自带的IOT gateway
,可以针对任意配置点位推送至EMQX服务器topic以及点位推送速率,为了调试配置了几个点位有虚拟点位和真实点位EMQX
。启动EMQX:MQTT服务器(业内比较常用的MQTT服务器)IOT服务
。 kepServer IOT配置点位数据发生变化后,将数据推送给EMQX,IOT服务监听对应topic解析组装数据直接将消息推送至Kafka。kafka
。Kafka为所有类型数据的入口,所有类型数据统一推送至Kafka,如ModBus、MQTT、HttpApi…Flink服务
。Flink服务实时消费Kafka数据,根据IOT服务中配置与kepServer上对应的点位以及针对不同点位配置的告警模板,根据阈值或者状态等其他规则实时处理数据。WebSocket
。目前Flink集成WebSocket,根据阈值实时推送给前端,实时展示数据,如传感器温湿度、设备状态…
现象
调试真实点位
分析
查看现有日志,初步分析发现消息生产到推送到Kafka有10s延迟
初步分析:
后续,又将IOT监听MQTT消息初打日志,发送Kafka消息耗时时间打印。
- kepServer数据发生变化的时间和EMQX接收到kepServer推送的消息的时间对比:发现有个5-8s的延迟【
kepServer->EMQX
】 - Kafka发送消息到成功回调:有个固定2s左右的延迟【
Kafka
】
最终解决
-
kepServer
-
kafka
-
通过代码中各个关键节点打的日志,发现Kafka发消息到成功回调基本稳定在2s延迟左右,偶尔会有基本无延迟的情况(这种情况有点意思)
-
kafka: ... producer: batch-size: 16384 # kafka本地线程会去缓冲区中⼀次拉16k的数据,发送到broker buffer-memory: 33554432 # 消息缓冲区默认32m ... properties: linger: ms: 10 # 默认 10ms
原本这个时间参数刚好设置的就是2000ms,与上述刚好固定两秒延迟相符,偶尔有无延迟现象说明该消息刚发送就到了2s的频次直接就发生了无延迟
-
原文地址:https://blog.csdn.net/qq_43417581/article/details/134791169
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.7code.cn/show_42858.html
如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱:suwngjj01@126.com进行投诉反馈,一经查实,立即删除!
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。