溫馨提示×

kafka client如何配置消費者組

小樊
150
2024-12-21 03:45:45
欄目: 大數據

Kafka 消費者組是一種機制,用于將來自一個主題的消息分發給多個消費者。要配置 Kafka 消費者組,您需要在創建消費者時設置 group.id 屬性。這個屬性將消費者分配到一個特定的消費者組。以下是使用 Java 客戶端庫配置消費者組的示例:

  1. 首先,確保您已經添加了 Kafka 客戶端依賴項到您的項目中。如果您使用的是 Maven,可以在 pom.xml 文件中添加以下依賴項:
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.8.0</version>
</dependency>
  1. 然后,創建一個 Kafka 消費者實例,并設置 group.id 屬性。例如:
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerExample {
    public static void main(String[] args) {
        // 設置消費者屬性
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "my-consumer-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
        props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");

        // 創建 Kafka 消費者實例
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

        // 訂閱主題
        consumer.subscribe(Collections.singletonList("my-topic"));

        // 持續輪詢并處理消息
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }
        }
    }
}

在這個示例中,我們創建了一個 Kafka 消費者實例,并設置了 group.id 為 “my-consumer-group”。然后,我們將消費者訂閱到名為 “my-topic” 的主題。消費者組中的所有消費者將共同消費這個主題的消息。

請注意,您需要根據實際情況修改 BOOTSTRAP_SERVERS_CONFIG、GROUP_ID_CONFIG、KEY_DESERIALIZER_CLASS_CONFIG、VALUE_DESERIALIZER_CLASS_CONFIGENABLE_AUTO_COMMIT_CONFIG 等屬性值。

0
亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女