kafka在ubuntu上的部署步驟

在Ubuntu上部署Apache Kafka的步驟如下：

環境準備

• 系統：Ubuntu
• 用戶：建議使用具有sudo權限的用戶
• 安裝包：下載適合Ubuntu版本的Kafka安裝包，例如 kafka_2.11-2.4.1.tgz，下載地址：Apache Kafka官方下載頁面

安裝與配置Kafka

1. 解壓安裝包

   • 進入安裝包目錄，解壓到系統路徑 /usr/local：

     cd ~/soft
     sudo tar -zxf kafka_2.11-2.4.1.tgz -C /usr/local/
     

2. 創建符號鏈接

   • 簡化后續操作路徑，創建軟鏈接：

     cd /usr/local
     sudo ln -s kafka_2.11-2.4.1/ kafka
     

3. 修改目錄權限

   • 避免權限沖突，將Kafka目錄所有者設為當前用戶：

     sudo chown spark:spark -R kafka_2.11-2.4.1/
     

啟動Zookeeper服務

Kafka依賴Zookeeper管理集群元數據。啟動服務：

cd /usr/local/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties & jps

驗證Zookeeper是否啟動成功，使用 jps命令檢查進程，出現 QuorumPeerMain即表示成功。

啟動Kafka服務

在新終端中啟動Kafka，并驗證服務狀態：

cd /usr/local/kafka
bin/kafka-server-start.sh config/server.properties &
jps

輸出應包含 Kafka 和 QuorumPeerMain。

創建Topic與消息生產/消費

1. 創建Topic

   • 創建名為 mytopic的主題（單分區、單副本）：

     bin/kafka-topics.sh --create \
       --zookeeper localhost:2181 \
       --replication-factor 1 \
       --partitions 1 \
       --topic mytopic
     

2. 查看Topic列表

   • 列出所有Topic以確認新Topic已創建：

     bin/kafka-topics.sh --list --zookeeper localhost:2181
     

3. 啟動生產者發送消息

   • 向 mytopic發送消息（輸入內容后按Ctrl+C退出）：

     bin/kafka-console-producer.sh \
       --broker-list localhost:9092 \
       --topic mytopic
     

   • 輸入示例：

     > hello
     > spark
     > bye
     

4. 啟動消費者接收消息

   • 在新終端中啟動消費者，并指定從最早消息開始消費：

     cd /usr/local/kafka
     bin/kafka-console-consumer.sh \
       --bootstrap-server localhost:9092 \
       --topic mytopic \
       --from-beginning
     

   • 輸出示例（顯示歷史消息）：

     hello
     spark
     bye
     

結合Netcat模擬實時數據流（可選）

1. 啟動Netcat服務端

   • 監聽本地9999端口，輸入測試數據：

     nc -lk 9999
     

   • 輸入示例：

     hello
     hello world
     see you la la
     

2. 驗證Netcat連接（可選）

   • 新終端中連接Netcat服務端，確認數據可接收：

     nc localhost 9999
     

常見問題與解決

• 權限不足
  • 確保Kafka目錄所有權已修改（見步驟1.3）。
• 進程未啟動
  • 檢查命令末尾是否添加了 &以后臺運行服務。

以上步驟應該可以幫助你在Ubuntu上成功安裝并運行Apache Kafka。如果在安裝過程中遇到問題，請檢查日志文件以獲取更多信息。