怎么在linux中部署kafka集群

本篇文章給大家分享的是有關怎么在linux中部署kafka集群，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

1、官網下載，分別在每臺機器上解壓安裝

# 創建kafka的安裝目錄
mkdir -p /usr/local/software/kafka
# 解壓
tar -xvf kafka_2.12-1.1.0.tgz -C /usr/local/software/kafka/

2、修改每臺服務器的/etc/profile文件，設置kafka環境變量，添加如下內容

export KAFKA_HOME=/usr/local/software/kafka/kafka_2.12-1.1.0
export PATH=$PATH:$KAFKA_HOME/bin

添加完后重啟配置，命令如下：

source /etc/profile

3、修改每臺服務器的$KAFKA_HOME/config下的server.properties文件，修改代理id和日志存放目錄

#指定代理id，borker.id可以任意指定，前提是保證集群內每臺機器的broker.id唯一，第二臺機器設置為2...以此類推
broker.id=1
#設置日志目錄
log.dirs=/opt/data/kafka/kafka-logs
#設置zookeeper集群地址
zookeeper.connect=192.168.174.7:2181,192.168.174.8:2181,192.168.174.9:2181
#設置本機地址，設置為本服務器的ip地址。如果不設置會在創建主題和發送消息時，發生NOT LEADER FOR PARTITION異常。
host.name=192.168.174.10

4、配置完成后，分別啟動3臺服務器的kafka，啟動kafka前確保zookeeper集群已經成功啟動。

kafka-server-start.sh -daemon server.properties

5、驗證是否成功啟動

jps

如果看到kafka進程，說明啟動成功。

另外也可通過zookeeper客戶端查看zookeeper目錄結構，如下：

#登錄zookeeper
zkCli . sh -server 192.168.174.7:2181
#查看目錄結構
ls /
#查看已啟動的kafka代理
ls /brokers/ids

什么是Linux系統

Linux是一種免費使用和自由傳播的類UNIX操作系統，是一個基于POSIX的多用戶、多任務、支持多線程和多CPU的操作系統，使用Linux能運行主要的Unix工具軟件、應用程序和網絡協議。

以上就是怎么在linux中部署kafka集群，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。