hadoop集群相關操作有哪些

這篇文章給大家分享的是有關hadoop集群相關操作有哪些的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

hadoop集群

首先關閉 selinux， 

vim /etc/selinux/config
SELINUX=disabled

防火墻

systemctl stop firewalld
systemctl disable firewalld

1.master和slave機都修改/etc/hostname

添加

192.168.1.129  hadoop1
192.168.1.130  hadoop2
192.168.1.132  hadoop3

2.免密碼登錄

master主機(hadoop1)

切換到/root/.ssh

ssh-keygen -t rsa

一直按回車

生成 id_rsa 和id_rsa.pub

cat id_rsa.pub >> master

將公鑰保存到master，發送到slave機器

scp master hadoop2:/root/.ssh/

登錄slave(hadoop2，hadoop3)

將master追加到authorized_keys

cat master>>authorized_keys

slave機同

3.配置

解壓hadoop-2.6.0.tar.gz到/usr/lib/目錄下

tar -zxvf hadoop-2.6.0.tar.gz -C /usr/lib/
cd /usr/lib/hadoop-2.6.0/etc/hadoop

配置文件

4.安裝zookeeper

配置環境變量

export JAVA_HOME=/usr/lib/jdk1.7.0_79
export MAVEN_HOME=/usr/lib/apache-maven-3.3.3
export LD_LIBRARY_PATH=/usr/lib/protobuf
export ANT_HOME=/usr/lib/apache-ant-1.9.4
export ZOOKEEPER_HOME=/usr/lib/zookeeper-3.4.6
export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$LD_LIBRARY_PATH/bin:$ANT_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$ZOOKERPER_HOME/lib

4.1配置zookeeper/conf/ 將zoo_sample.cfg復制為zoo.cfg

cp zoo_sample.cfg zoo.cfg

修改

dataDir=/usr/lib/zookeeper-3.4.6/datas

增加

server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

創建/usr/lib/zookeeper-3.4.6/datas并創建myid在myid中寫入對應的數字

將zookeeper-3.4.6 拷貝到hadoop2 和hadoop3以及/etc/profile

運行

hadoop1,hadoop2,hadoop3上執行

zkServer.sh start

查看狀態

zkServer.sh status

有Mode: leader，Mode: follower等說明運行正常

5.安裝hadoop

在master(hadoop1)上執行

將前面編譯的hadoop-2.6.0.tar.gz 解壓到/usr/lib/

配置環境變量

export JAVA_HOME=/usr/lib/jdk1.7.0_79
export MAVEN_HOME=/usr/lib/apache-maven-3.3.3
export LD_LIBRARY_PATH=/usr/lib/protobuf
export ANT_HOME=/usr/lib/apache-ant-1.9.4
export ZOOKEEPER_HOME=/usr/lib/zookeeper-3.4.6
export HADOOP_HOME=/usr/lib/hadoop-2.6.0
export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$LD_LIBRARY_PATH/bin:$ANT_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

（hadoop2，hadoop3中可以沒有maven等這些是編譯hadoop時候配置的）

5.1修改配置文件

cd hadoop-2.6.0/etc/hadoop

配置文件(hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、slaves)

5.1.1 hadoop-env.sh

export JAVA_HOME=/usr/lib/jdk1.7.0_79

5.1.2 core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/lib/hadoop-2.6.0/tmp</value>
</property>

<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>

5.1.3 hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.nameservices</name>
<value>cluster1</value>
</property>

<property>
<name>dfs.ha.namenodes.cluster1</name>
<value>hadoop101,hadoop102</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster1.hadoop101</name>
<value>hadoop1:9000</value>
</property>

<property>
<name>dfs.namenode.http-address.cluster1.hadoop101</name>
<value>hadoop1:50070</value>
</property>

<property>
<name>dfs.namenode.rpc-address.cluster1.hadoop102</name>
<value>hadoop2:9000</value>
</property>

<property>
<name>dfs.namenode.http-address.cluster1.hadoop102</name>
<value>hadoop2:50070</value>
</property>

<property>
<name>dfs.ha.automatic-failover.enabled.cluster1</name>
<value>true</value>
</property>

<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop2:8485;hadoop3:8485/cluster1</value>
</property>

<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/lib/hadoop-2.6.0/tmp/journal</value>
</property>

<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>

<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>

<property>
<name>dfs.client.failover.proxy.provider.cluster1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

5.1.4 yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

2.1.5 mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

2.1.6 slaves

hadoop2
hadoop3

6.集群啟動：

6.1格式化zookeeper集群

hadoop1中執行 

bin/hdfs zkfc -formatZK

6.2啟動journalnode集群，在hadoop2和hadoop3當中執行

sbin/hadoop-daemon.sh start journalnode

6.3格式化namenode，啟動namenode

在hadoop1當中執行 

bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode

在hadoop2上執行

bin/hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode

啟動datanode 直接在hadoop1中執行

sbin/hadoop-daemons.sh start datanode

啟動zkfc，哪里有namenode就在哪里啟動這個進程

在hadoop1和hadoop2中執行

sbin/hadoop-daemon.sh start zkfc

啟動yarn 和resourcemanager，在hadoop1中執行

sbin/start-yarn.sh start resourcemanager

在瀏覽器輸入

http://192.168.1.129:50070

Overview 'hadoop1:9000' (active)

http://192.168.1.130:50070/

Overview 'hadoop2:9000' (standby)

hadoop -fs ls /

查看hadoop目錄

感謝各位的閱讀！關于“hadoop集群相關操作有哪些”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！