在Java中,可以使用消息队列来实现消息的异步处理,其中常用的消息队列有 RabbitMQ、ActiveMQ、Kafka 等。
什么是幂等性?
幂等性是指无论操作执行多少次,都是得到相同的结果,而不会产生其他副作用。
什么是消息重复消费?
出现重复消费的原因:
生产者发送一条消息到rabbitMQ,但rabbitMQ尚未收到消费者的确认,会认为消息消费未被消费而重新发送。
网络不稳定、消费者故障、网络分区、消息重复传递策略、消费者超时设置不当
为什么需要避免重复消费?
如何避免消息重复消费?
消息去重
通过记录已经消费过的消息,在消息到达时检查它是否已经在记录中存在,从而避免重复处理。
if (!processedMessages.contains(message)) {
processMessage(message);
processedMessages.add(message);
}
消息幂等性
分布式锁(消息幂等性)
AMQP.BasicProperties properties = new AMQP.BasicProperties().builder()
.messageId(UUID.randomUUID().toString()) // 唯一标识
.build();
if (!isMessageProcessed(messageId)) {
processMessage(message);
saveProcessedMessage(messageId);
}
消费者先查询该消息是否已经被处理过,如果没有被处理过,则调用processMessage()方法处理该消息,并使用 saveProcessedMessage()方法保存已经处理过的消息。
//手动ack
channel.basicAck(message.getMessageProperties().getDeliveryTag(),false
在处理完消息后,还需要调用channel.basicAck(envelope.getDeliveryTag(), false)方法确认消息已经被消费。这是因为RabbitMQ是一个消息的投递机制,只有在消费者确认了消息已经被处理后,才会从消息队列中删除该消息。
使用redis实现避免重复消费
AMQP.BasicProperties properties = new AMQP.BasicProperties().builder()
.deliveryMode(1) // 指定消息是否需要持久化 1-需要 2-不需要
.messageId(UUID.randomUUID().toString()) // 唯一标识
.build();
消费者
String result = jedis.set(messageId, "0", "NX", "EX", 10);
if (result != null && result.equalsIgnoreCase("OK")){
System.out.println("接收到消息:"+ new String(body,"UTF-8"));
//消费成功 set messageId - 1
jedis.set(messageId,"1");
channel.basicAck(envelope.getDeliveryTag(),false);
}else {
//如果1中的setnx失败,获取key对应的value,如果是1,设置ack 如果是0 return
String s = jedis.get(messageId);
if ("1".equalsIgnoreCase(s)){
//消费完了
channel.basicAck(envelope.getDeliveryTag(),false);
}
}
事务性消费
消费状态追踪
原文地址:https://blog.csdn.net/LUOZONGW/article/details/134779553
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.7code.cn/show_41534.html
如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱:suwngjj01@126.com进行投诉反馈,一经查实,立即删除!
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。