hadoop2.2.0集群環境如何部署

這篇文章主要介紹了hadoop2.2.0集群環境如何部署，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

1.windows下安裝vmware workstation 9
2.vm虛擬網絡編輯器選擇添加網絡 VMnet0 NAT，子網IP 192.168.2.0
3.install debian6，最簡化安裝，不從鏡像下載安裝
4.安裝完成，以root身份登錄debian系統
5.apt-cache search openssh
6.apt-get install openssh-server
7.切換putty以root身份進入debian
8.apt-get install gcc
9.apt-get install g++
10.apt-get install sudo
11.groupadd hadoop
12.useradd -g hadoop hadoop
13.passwd hadoop
14.vi /etc/sudoers 添加 hadoop ALL=(ALL:ALL) ALL
15.mkdir /home/hadoop
16.chown hadoop:hadoop /home/hadoop
15.su – hadoop
16.ssh-keygen -t rsa -P ""
17.cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys
18.chown hadoop:hadoop /home/hadoop/.ssh/authorized_keys
19.chmod 600 /home/hadoop/.ssh/authorized_keys
20.ssh localhost
21.上傳jdk-7u45-linux-i586.tar.gz到root目錄
22.上傳hadoop-2.2.0.tar.gz到root目錄
23.tar -zxvf /root/jdk-7u45-linux-i586.tar.gz -C /usr/java/
24.tar -zxvf /root/hadoop-2.2.0.tar.gz -C /opt/
25.mv /opt/hadoop-2.2.0/ /opt/hadoop
26.vi .bashrc 去掉export LS_OPTIONS...-1A' 前面的# 然后重新 su - root使設置生效
27.vi /etc/profile 添加
 export JAVA_HOME=/usr/java/jdk1.7.0_45
 export JRE_HOME=${JAVA_HOME}/jre
 export HADOOP_HOME=/opt/hadoop
 export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
 export PATH=${JAVA_HOME}/bin:$HADOOP_HOME/bin:$PATH
 export HADOOP_COMMON_HOME=$HADOOP_HOME
 export HADOOP_HDFS_HOME=$HADOOP_HOME
 export HADOOP_CONF_DIR=$HADOOP_HOME/conf
 export YARN_CONF_DIR=$HADOOP_HOME/conf
 然后重新 su - root使設置生效 $java查看是否生效
28.chown hadoop:hadoop /opt/hadoop
29.mkdir /opt/hadoop/conf
30.cp /opt/hadoop/etc/hadoop/* /opt/hadoop/conf
31.vi /opt/hadoop/conf/mapred-env.sh
 增加export JAVA_HOME=/usr/java/jdk1.7.0_45
32.vi /opt/hadoop/conf/yarn-env.sh
 增加export JAVA_HOME=/usr/java/jdk1.7.0_45
33.vi /opt/hadoop/conf/hadoop-env.sh
 增加export JAVA_HOME=/usr/java/jdk1.7.0_45
34.vi /opt/hadoop/conf/slave 增加slave1
 slave2
 slave3 注意要換行
35.修改conf下的配置文件core-site、hdfs-site、mapred-site、yarn-env四個xml文件
36.vi /etc/hosts 增加
 192.168.2.128	master
 192.168.2.129	slave1
 192.168.2.130	slave2
 192.168.2.131	slave3
37./opt/hadoop/bin/hdfs namenode -format
38.到vmware中將master克隆成多個slave，這個例子里面是三個
39.啟動master/slave1-3四個虛擬機
40./opt/hadoop/sbin/start-dfs.sh (hadoop用戶操作)
41./opt/hadoop/sbin/start-yarn.sh (hadoop用戶操作)
42.http://192.168.2.128:50070 查看Live Nodes如果是3 啟動成功

感謝你能夠認真閱讀完這篇文章，希望小編分享的“hadoop2.2.0集群環境如何部署”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!