Linux下安裝kafka

前置條件

必須安裝zookeeper。Linux安裝zookeeper

kafka官方源

kafka官網下載頁面

下載kafka安裝包

# 版本：kafka_2.11-2.3.0.tgz
wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.0/kafka_2.11-2.3.0.tgz

解壓安裝包

tar -zxvf kafka_2.11-2.3.0.tgz

cp kafka_2.11-2.3.0 /usr/local/kafka

啟動kafka服務

cd /usr/local/kafka/bin

# 啟動命令：守護進程進行啟動
./kafka-server-start.sh -daemon ../config/server.properties 

備注：這里有可能報錯，因為默認情況下，kafka默認的內存要1G,如果你這里沒有這么多內存可用，那么就會啟動失敗。報錯如下：

Java Hotspot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (malloc) failed to allocate 986513408 bytes for committing reserved memory.
# An error report file with more information is saved as:
# hs_err_pid5535.log

解決方案：

修改啟動腳本：kafka-server-start.sh

vim kafka-server-start.sh

設置內容根據自己情況進行設置。

創建一個topic

# 名為test的chart，只有一個副本，一個分區
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic chart

# 查看kafka的topic
kafka-topics.sh -list -zookeeper localhost:2181

生產、消費測試

# 啟動生產端
./kafka-console-producer.sh --broker-list localhost:9092 --topic chart

#啟動消費端
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic chart --from-beginning