roketmq和kafka

程序你得看得懂 2024-10-30 07:30:37
RocketMQ和Kafka都是流行的分布式消息队列系统,它们各自具有独特的设计原理和特性。以下是对RocketMQ和Kafka的对比、原理以及代码: 一、原理对比架构设计RocketMQ:架构相对复杂,主要由NameServer、Broker、Producer和Consumer四个角色组成。NameServer负责服务注册和发现,Broker节点负责存储和传输消息,Producer和Consumer则分别负责消息的发送和接收。Kafka:架构相对简单,由Producer、Consumer和Kafka集群三个组件组成。Producer将消息发布到Kafka集群中的Broker节点,Consumer从Broker节点中获取消息进行消费。数据可靠性RocketMQ:提供了多种级别的数据可靠性保证,包括异步实时刷盘、同步刷盘、同步复制和异步复制。其中,同步刷盘功能可以在消息写入后立即将其持久化到磁盘,确保数据不丢失。Kafka:主要使用异步刷盘方式和异步/同步复制。异步复制可以提供较高的吞吐量,但在极端情况下可能会导致数据丢失。虽然Kafka也支持同步复制,但其默认配置更倾向于异步复制以提高性能。性能RocketMQ:单机写入TPS单实例约7万条/秒,单机部署3个Broker的情况下,可以高达12万条/秒。RocketMQ通过采用零拷贝技术和缓存池技术来降低延迟,提高性能。Kafka:单机写入TPS约在百万条/秒级别。Kafka使用顺序写磁盘的方式存储消息,这一特性使其达到非常高的吞吐量。但相应的,Kafka可能会增加一定的延迟。消息顺序性RocketMQ:支持严格的消息顺序,即使一台Broker宕机后,也能通过其他机制保证消息的有序性。Kafka:在某些配置下也支持消息顺序,但当一台Broker宕机后,可能会产生消息乱序的问题。实时性RocketMQ:使用长轮询方式,消息的投递延迟通常在2-5ms之内,实时性表现优异。Kafka:使用短轮询方式,实时性取决于轮询间隔时间。消费失败重试RocketMQ:消费失败支持定时重试,每次重试间隔时间顺延。Kafka:消费失败不支持重试。其他特性RocketMQ:支持定时消息、事务消息等高级特性,功能丰富。Kafka:与许多大数据处理框架(如Spark、Flink等)有良好的集成,方便进行实时数据分析和流式处理。二、代码RocketMQ Producer代码: import org.apache.rocketmq.client.producer.DefaultMQProducer; import org.apache.rocketmq.client.producer.SendResult; import org.apache.rocketmq.common.message.Message; public RocketMQProducer { public static void main(String[] args) throws Exception { // 创建生产者实例,并设置生产者组名 DefaultMQProducer producer = new DefaultMQProducer("ProducerGroup"); // 设置NameServer地址 producer.setNamesrvAddr("localhost:9876"); // 启动生产者实例 producer.start(); for (int i = 0; i < 10; i++) { // 创建消息实例,并指定Topic、Tag和消息体 Message msg = new Message("TopicTest", "TagA", ("Hello RocketMQ " + i).getBytes()); // 发送消息 SendResult sendResult = producer.send(msg); // 打印发送结果 System.out.printf("%s%n", sendResult); } // 关闭生产者实例 producer.shutdown(); } }Kafka Producer代码: import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clients.producer.RecordMetadata; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.common.serialization.StringSerializer; import java.util.Properties; public KafkaProducer { public static void main(String[] args) { // 配置Kafka生产者 Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092"); props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); // 创建Kafka生产者 KafkaProducer producer = new KafkaProducer<>(props); for (int i = 0; i < 10; i++) { // 创建消息实例,并指定Topic和消息体 ProducerRecord record = new ProducerRecord<>("TestTopic", Integer.toString(i), "Hello Kafka " + i); // 发送消息 try { RecordMetadata metadata = producer.send(record).get(); // 打印发送结果 System.out.printf("Sent record(key=%s value=%s) meta(partition=%d, offset=%d)%n", record.key(), record.value(), metadata.partition(), metadata.offset()); } catch (Exception e) { e.printStackTrace(); } } // 关闭Kafka生产者 producer.close(); } }
0 阅读:2

程序你得看得懂

简介:感谢大家的关注