kafka消費者centos如何配置

在CentOS上配置Kafka消費者涉及幾個步驟，包括安裝Java（如果尚未安裝）、下載和配置Kafka、以及編寫和運行消費者代碼。以下是詳細的步驟指南：

1. 安裝Java

Kafka需要Java運行時環境（JRE）或Java開發工具包（JDK）。你可以使用以下命令安裝OpenJDK：

sudo yum install java-1.8.0-openjdk-devel

驗證安裝：

java -version

2. 下載和配置Kafka

1. 下載Kafka： 你可以從Apache Kafka的官方網站下載最新版本的Kafka。使用以下命令下載并解壓：

   wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz
   tar -xzf kafka_2.13-2.8.0.tgz
   cd kafka_2.13-2.8.0
   

2. 啟動Zookeeper和Kafka服務器： Kafka使用Zookeeper進行集群管理。首先啟動Zookeeper：

   bin/zookeeper-server-start.sh config/zookeeper.properties
   

   然后在另一個終端啟動Kafka服務器：

   bin/kafka-server-start.sh config/server.properties
   

3. 創建主題

在啟動消費者之前，你需要創建一個Kafka主題。使用以下命令創建一個名為test-topic的主題：

bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

4. 編寫消費者代碼

你可以使用Java編寫一個簡單的Kafka消費者。以下是一個示例代碼：

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class SimpleConsumer {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.setProperty("bootstrap.servers", "localhost:9092");
        props.setProperty("group.id", "test-group");
        props.setProperty("enable.auto.commit", "true");
        props.setProperty("auto.commit.interval.ms", "1000");
        props.setProperty("key.deserializer", StringDeserializer.class.getName());
        props.setProperty("value.deserializer", StringDeserializer.class.getName());

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("test-topic"));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                records.forEach(record -> {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                });
            }
        } finally {
            consumer.close();
        }
    }
}

5. 編譯和運行消費者代碼

將上述代碼保存為SimpleConsumer.java，然后使用以下命令編譯和運行：

javac -cp kafka-clients-2.8.0.jar SimpleConsumer.java
java -cp .:kafka-clients-2.8.0.jar SimpleConsumer

確保kafka-clients-2.8.0.jar在你的類路徑中。你可以從Kafka的libs目錄中找到這個JAR文件。

6. 驗證消費者

在另一個終端中，使用Kafka生產者發送一些消息到test-topic：

bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092

輸入一些消息并按回車鍵發送。你應該會在消費者終端中看到這些消息。

通過以上步驟，你就可以在CentOS上成功配置和運行一個Kafka消費者。