本文介绍: RocksDB是Flink中用于持久化状态的默认后端，它提供了高性能和可靠的状态存储。然而，当处理大型状态并频繁读写时，可能会导致背压问题，因为RocksDB需要从磁盘读取和写入数据，而这可能成为瓶颈。
RocksDB是Flink中用于持久化状态的默认后端，它提供了高性能和可靠的状态存储。然而，当处理大型状态并频繁读写时，可能会导致背压问题，因为RocksDB需要从磁盘读取和写入数据，而这可能成为瓶颈。
遇到的问题
Flink开发中遇到读写state大对象的问题，Flink webUI 火焰图表现如下：
从图上看，瓶颈卡在序列化与反序列化，结合业务逻辑代码，业务涉及state大对象的读写，并且是ValueState。
问题分析
如上，作为初学者来说，如果要在键值状态中存储Map<K, V>数据结构的状态，可能会认为使用ValueState<HashMap<K, V>>或者使用MapState<K, V>都是可行的。
如果我们选择使用HashMap状态后端，那么两种方式的性能上不会有很大差异，但是如果我们选择使用RocksDB状态后端，则推荐使用MapState<K, V>，避免使用ValueState<HashMap<K, V>>。
所以每次访问和更新ValueState时，实际上都是对HashMap<K, V>这个集合类的大对象做序列化以及反序列化（如上图所示），而这是一个及其耗费资源的过程，很容易就会导致Flink作业产生性能瓶颈，所以极不推荐在ValueState中存储大对象。
问题调优
使用MapState代替ValueState，精简state数据量，问题解决。
除此之外还有一些其他调优策略：
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
