Storm的安裝部署方法

這篇文章主要講解了“Storm的安裝部署方法”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Storm的安裝部署方法”吧！

一、storm 的安裝

在搭建Storm 集群時，具體分為這么幾步：

1、搭建zookeeper集群

2、安裝storm 的依賴庫

3、下載并解壓Storm

4、修改配置文件

5、啟動Storm

第一步：搭建zookeeper集群

zookeeper作為storm的管理協調者，zookeeper是必不可少的

拷貝安裝包，并解壓tar -xvf zookeeper-3.3.6.deploy.tar.gz

修改zookeeper目錄下conf中的zoo.cfg文件
dataDir=/home/shaka/zookeeper/zookeeper-3.3.6/data
# the port at which the clients will connect
clientPort=2181
# set logs
dataLogDir=/home/shaka/zookeeper/zookeeper-3.3.6/logs
# set server
server.1=[IP]:4887:5887  //[IP]為本機IP地址
 

修改紅色部分的配置文件，端口2181可以保持默認，沒有特殊需求不必修改

修改完成配置文件后，在bin/目錄下啟動  zkServer.sh start

查看zookeeper狀態，在bin/目錄下 zkServer.sh status

停止：zkServer.sh stop

重啟：zkServer.sh stop

啟動客戶端：zkCli.sh -server 127.0.0.1:2181

顯示根目錄下、文件： ls / 使用 ls 命令來查看當前 ZooKeeper 中所包含的內容
顯示根目錄下、文件： ls2 / 查看當前節點數據并能看到更新次數等數據
創建文件，并設置初始內容： create /zk "test" 創建一個新的 znode節點“ zk ”以及與它關聯的字符串

獲取文件內容： get /zk 確認 znode 是否包含我們所創建的字符串
 修改文件內容： set /zk "zkbak" 對 zk 所關聯的字符串進行設置
 刪除文件： delete /zk 將剛才創建的 znode 刪除
 退出客戶端： quit
 幫助命令： help

第二步：安裝Storm依賴庫

在/home/user/下創建dependences目錄，安裝依賴庫文件

拷貝zeromq,jzmq到該目錄

解壓兩個文件

tar -xvf zeromq-4.0.4.tar.gz
tar -xvf jzmq.deploy.tar.gz

安裝zeromq

cd zeromq-4.0.4

./configure
make   （使用ROOT用戶執行make命令）
make install  （使用ROOT用戶執行make命令）

安裝jzmq

cd jzmq
./configure
make （使用ROOT用戶執行make命令）

make install（使用ROOT用戶執行make命令）

第三步：安裝Storm

下載解壓文件：

tar -xvf apache-storm-0.9.2-incubating.deploy.tar.gz

配置環境變量

vim ~/.bash_profile

追加

export STORM_HOME=/home/user/storm/apache-storm-0.9.2-incubating

export PATH=$PATH:$STORM_HOME/bin

重載環境變量    . ~/.bash_profile

修改配置文件/home/user/storm/conf/storm.yaml

########### These MUST be filled in for a storm configuration
 storm.zookeeper.servers:
     - "10.2.73.11"
 nimbus.host: "10.2.73.11"   (地址與zookeeper中配置的保持一致)
 storm.local.dir: "/home/shaka/apache-storm-0.9.2-incubating/File_Storm"

1)如果Zookeeper集群使用的不是默認端口，那么還需要storm.zookeeper.port選項。
2) nimbus.host: Storm集群Nimbus機器地址，各個Supervisor工作節點需要知道哪個機器是Nimbus，以便下載Topologies的jars、confs等文件，如：
nimbus.host: "111.222.333.444"
3) storm.local.dir: Nimbus和Supervisor進程用于存儲少量狀態，如jars、confs等的本地磁盤目錄，需要提前創建該目錄并給以足夠的訪問權限。然后在storm.yaml中配置該目錄，如：
storm.local.dir: "./workdir"

啟動Storm
啟動Storm(在此之前要啟動Zookeeper)
storm nimbus &
storm supervisor &
storm ui &

啟動后可以通過http://{nimbus host}:8080   在windows的瀏覽器上。


到此storm的安裝完成。
一個單節點模式的storm搭建起來了！
啟動如果碰到錯誤：
normclasspath = cygpath if sys.platform == 'cygwin' else identity
原因分析：
python2.4
python2.6
版本問題，需要指定用2.6版本，方法：
rm /usr/bin/python
ln -s /usr/local/bin/python2.6 /usr/bin/python

擴展成一個Strom集群的方法
將shaka/storm下的軟件包完全一樣的拷貝到新的機器上。
配置文件不需要修改！
因為要共用zk和nimbus

配置環境變量
vim ~/.bash_profile
          追加export STORM_HOME=/home/shaka/storm/apache-storm-0.9.2-incubating
          export PATH=$PATH:$STORM_HOME/bin

啟動supervisro &的方法：
storm supervisor &


啟動后可以通過http://{nimbus host}:8080   在windows的劉籃球上。


到此集群版的storm的安裝完成。
一個集群模式的storm搭建起來了！

感謝各位的閱讀，以上就是“Storm的安裝部署方法”的內容了，經過本文的學習后，相信大家對Storm的安裝部署方法這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！