如何部署集群測試環境？

一、需求

  在本地上部署了兩套環境，一套用于開發環境，另一套用于測試環境。在這里，我抽其測試這套環境，做了個總結，具體安裝步聚，在這里不作詳細解釋，如果需要，我可以提供一份我總結文檔作參考。每套環境上用到了11臺機器，注意了，在這里用到全部是cdm5.5.0版本

http://archive.cloudera.com/cdh6/cdh/5/

二、集群規劃

1、測試集群

2、實時環境

三、依賴關系說明

 后臺系統包括以下組件：zookeeper、hdfs、yarn、jobhistoryserver、hive metastore、hiveserver2、hbase、kafka 和 jstorm，以上個組件存在先后依賴關系，如下圖所示

在上圖中，上層的組件依賴下層的組件，所以啟動的時候要由下往上啟動，停止的時候要由上往下停止。

四、后臺運維

1、測試環境部署及

zookeeper：testhadoop240、testhadoop241、testhadoop242

hadoop：testhadoop231、testhadoop232、testhadoop233、testhadoop234、testhadoop235、testhadoop236

hive：testhadoop233

hbase：testhadoop231、testhadoop232、testhadoop233

kafka：testhadoop240、testhadoop241、testhadoop242

jstorm：testhadoop240、testhadoop241、testhadoop242

mysql,nginx:testhadoop245

2，啟停命令說明

2.1 zookeeper

部署機器：testhadoop240、testhadoop241、testhadoop242

部署位置：/usr/local/zookeeper

啟動命令：/usr/local/zookeeper/bin/zkServer.sh start (分別在每臺機器執行)

停止命令：/usr/local/zookeeper/bin/zkServer.shstop (分別在每臺機器執行)

啟動驗證：/usr/local/zookeeper/bin/zkCli.sh-server testhadoop240:2181

2.2 hdfs

部署機器：testhadoop231、testhadoop232、testhadoop233、testhadoop234、testhadoop235、testhadoop236

部署位置：/usr/local/hadoop

啟動命令：/usr/local/hadoop/sbin/start-dfs.sh (在 testhadoop231 或 testhadoop232上執行)

停止命令：/usr/local/hadoop/sbin/stop-dfs.sh (在 testhadoop231或 testhadoop232 上執行)

啟動驗證：訪問 http://test.hdfs1.xxx.com 或 http://test.hdfs2.xxx.com

2.3 yarn

部署機器：跟 hdfs 相同

部署位置：跟hdfs 相同

啟動命令：/usr/local/hadoop/sbin/start-yarn.sh (在 testhadoop231 或 testhadoop232上執行)

停止命令：/usr/local/hadoop/sbin/stop-yarn.sh (在 testhadoop231或 testhadoop232 上執行)

啟動驗證：訪問 http://test.rm1.xxx.com 或 http://test.rm2.xxx.com

2.4 jobhistoryserver

部署機器：testhadoop231

部署位置：跟hdfs 相同

啟動命令：/usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

停止命令：/usr/local/hadoop/sbin/mr-jobhistory-daemon.shstop historyserver

啟動驗證：訪問 http://test.mapreduce.xxx.com

2.5 hive metastore

部署機器：testhadoop233

部署位置：/usr/local/hive

啟動命令：/usr/local/hive/bin/start-metastore.sh

停止命令：ps -ef |grep MetaStore  找到進程號，把它kill掉

啟動驗證：待補充

2.6 hiveserver2

部署機器：testhadoop233

部署位置：/usr/local/hive

啟動命令：/usr/local/hive/bin/start-hiveserver2.sh

停止命令：ps -ef |grep HiveServer2 找到進程號，把它kill掉

啟動驗證：待補充

2.7 hbase

部署機器：testhadoop231、testhadoop232、testhadoop233

部署位置：/usr/local/hbase

啟動命令：/usr/local/hbase/bin/start-hbase.sh （testhadoop231）

停止命令：/usr/local/hbase/bin/stop-hbase.sh （testhadoop231）

啟動驗證：http://test.hbase.xxx.com

2.8 kafka 

部署機器：testhadoop240、testhadoop241、testhadoop242

部署位置：/usr/local/kafka_2.9.2-0.8.2.2

啟動命令：/usr/local/kafka_2.9.2-0.8.2.2/starKafkaServer.sh

停止命令：ps -ef |grep kafka 找到進程號，把它kill掉

啟動驗證：

使用hadoop2用戶登錄dchadoop213、dchadoop214、dchadoop215中的任意一臺機器，執行以下命令：

a.創建topic

/usr/local/kafka_2.9.2-0.8.2.2/bin/kafka-topics.sh--zookeeper devhadoop237:2181,devhadoop238:2181,devhadoop239:2181/kafka--create  --topic mytest --replication-factor 1 --partitions 3

b.查看topic列表

/usr/local/kafka_2.9.2-0.8.2.2/bin/
kafka-topics.sh--zookeeper devhadoop237:2181,devhadoop238:2181,devhadoop239:2181/kafka --list

c.創建生產者

/usr/local/kafka_2.9.2-0.8.2.2/bin/
kafka-console-producer.sh--broker-list devhadoop237:9092,devhadoop238:9092,devhadoop239:9092 --topicmytest

d.創建消費者

/usr/local/kafka_2.9.2-0.8.2.2/bin/
kafka-console-consumer.sh--zookeeper devhadoop237:2181,devhadoop238:2181,devhadoop239:2181/kafka --topicmytest --from-beginning

其中 mytest 是用戶指定的topic，實際開發時需要根據業務自定義topic

2.9 jstorm

部署機器：testhadoop240、testhadoop241、testhadoop242

部署位置：/usr/local/jstorm-2.1.0/

啟動命令：

啟動nimbus：nohupjstorm nimbus & （在 testhadoop240上執行）

啟動 supervisor：nohupjstorm supervisor &（在 testhadoop240~242上執行）

啟動 web-ui：/usr/local/tomcat/bin/startup.sh

停止命令：

停止nimbus：ps -ef |grep nimbus 找到進程號，把它kill掉 （在 testhadoop240上執行）

停止 supervisor：ps -ef|grep supervisor 找到進程號，把它kill掉（在 testhadoop240~242上執行）

停止 web-ui：/usr/local/tomcat/bin/shutdown.sh