hadoop的基本搭建

Hadoop

Server1.example.com 172.25.23.1 master

Server2.example.com 172.25.23.2 slave

Server3.example.com 172.25.23.3 slave

Server4.example.com 172.25.23.4 slave

Selinux iptables disabled 加解析(節點間可以ping通) sshd enaled

Hadoop1.2.1

一Master上進行存儲計算等 單機

useradd -u 900 hadoop

echo westos | passwd --stdin hadoop

su - hadoop

1.安裝java (若原來的機子上有java先卸載)

(1)

sh jdk-6u32-linux-x64.bin

mv jdk1.6.0_32 /home/hadoop

ln -s jdk1.6.0_32 java

(2)添加路徑

vim .bash_profile

export JAVA_HOME=/home/hadoop/java

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$PATH:$JAVA_HOME/bin

source .bash_profile

2.設置hadoop

tar zxf hadoop-1.2.1.tar.gz

ln -s hadoop-1.2.1 hadoop

3.無密碼ssh設置

ssh-keygen

ssh-copy-id 172.25.23.1

ssh 172.25.23.1  測試確保無密碼

4.配置文件進行修改

(1)設置從節點

vim hadoop/conf/slave

172.25.23.1

(2)設置主節點

vim hadoop/conf/master

172.25.23.1

(3) 修改java的家路徑

vim hadoop/conf/hadoop-env.sh

(4) 修改Hadoop核心配置文件core-site.xml配置的是HDFS的地址和端口號指定 namenode

vim hadoop/conf/core-site.xml

(5) 指定文件保存的副本數

vim hadoop/conf/hdfs-site.xml

(6) 指定 jobtracker

vim hadoop/conf/mapred-site.xml

5.開啟服務

(1) 格式化一個新的分布式文件系統

bin/hadoop namenode -format   

(2) 啟動 Hadoop 守護進程

bin/start-all.sh = bin/start-dfs.sh + bin/start-mapred.sh

(3) 查看進程

a)jps

b)bin/hadoop dfsadmin -report

7.一些hadoop的常用命令 ( 類似于linux的命令只是在前面增加了hadoop特有的 )

bin/hadoop fs -ls

mkdir input

cp conf/*.xml input

bin/hadoop jar hadoop-examples-1.2.1.jar grep input output 'dfs[a-z.]+'

bin/hadoop fs -cat output/*

bin/hadoop fs -put conf/ input

bin/hadoop fs -get output output

8.瀏覽 NameNode 和 JobTracker 的網絡接口,它們的地址默認為:

NameNode – http://172.25.23.1:50070/

點擊Browse the filesystem 下的 /user/hadoop/ 可看到上傳的

JobTracker – http://172.25.23.1:50030/

二分布式部署

先停掉master上的相關服務bin/stop-all.sh再刪掉/tmp/*

slave

1.目錄設置

useradd -u 900 hadoop

2.確保master可以和slave無密碼連接

yum install -y rpcbind

/etc/init.d/rpcbind start (nfs的一個中介服務用來通知客戶端)

3.同步數據 (nfs)

(1) 在master端 (分享節點root下進行)

/etc/init.d/nfs start  

vim /etc/exports

exportfs -rv

(2) 在slave端掛載

yum install -y nfs-utils

showmount -e 172.25.23.1

mount 172.25.23.1:/home/hadoop /home/hadoop

Master

1.修改配置文件

(1) vim  hadoop/conf/slave

172.25.23.2

172.25.23.3

(2) vim hadoop/conf/hdfs-site.xml

datanade保存2份

2.查看master能否與slave進行無密碼連接

ssh 172.25.23.2

  若需要密碼則進行如下操作

(1)進入hadoop用戶查看權限顯示(正確的應顯示為hadoop)

(2)解析是否正確

(3)rpcbind是否開啟

(4)若上述都正確則可進行

chkconfig rpcbind on

chkconfig rpcgssd on

chkconfig rpcidmapd on

chkconfig rpcsvcgssd on

reboot

則可無密碼連接

3.啟動服務

(1) 格式化一個新的分布式文件系統

bin/hadoop namenode -format   

(2) 啟動 Hadoop 守護進程

bin/start-all.sh

(3) 查看進程

master

slave

(4) 上傳文件

bin/hadoop fs -put conf/ input

(5) 訪問 172.25.23.150030

可看到有2個節點

172.25.23.150070

有文件上傳

三新增一個從節點(172.25.23.4)且將文件轉移

1.新增節點和已經配置好的從節點做相同的設置

yum install -y nfs-utils rpcbind

useradd -u 900 hadoop

/etc/init.d/rpcbind start

vim /etc/hosts

showmount -e 172.25.23.1

mount 172.25.23.1:/home/hadoop /home/hadoop

2.在master端修改slaves

添加 172.25.23.4

3.在新增的從節點上啟動服務加入集群

bin/hadoop-daemon.sh start datanode

bin/hadoop-daemon.sh start tasktracker

4.在master上查看

bin/hadoop dfsadmin -report

......

......

可看到新增的節點

5.均衡數據:

bin/start-balancer.sh

1)如果不執行均衡,那么 cluster 會把新的數據都存放在新的 datanode 上,這樣會降低 mapred的工作效率

2)設置平衡閾值,默認是 10%,值越低各節點越平衡,但消耗時間也更長bin/start-balancer.sh -threshold 5

6.數據轉移刪除

(1) vim hadoop/conf/mapred-site.xml

添加如下內容

(2) 添加需要刪除的主機名

 vim /home/hadoop/hadoop/conf/hostexclude

172.25.23.3

(3) bin/hadoop dfsadmin -refreshNodes

此操作會在后臺遷移數據,等此節點的狀態顯示為 Decommissioned,就可以安全關閉了?？梢酝ㄟ^bin/hadoop dfsadmin -report查看 datanode 狀態

在做數據遷移時,此節點不要參與 tasktracker,否則會出現異常。

(4) 刪除tasktracker可在172.25.23.3上直接停止(上邊都沒有node節點了)

四恢復垃圾文件

1.編輯垃圾文件保留時間

vim hadoop/conf/core-site.xml

2.測試

刪除文件可以發現多出了一個 .Trash目錄逐層進入該目錄直到找到所刪除的文件再將該文件mv到原來所在的目錄里?？梢园l現 .Trash里面已經沒有文件了。

Hadoop2.6.4

分布式部署(所有主從節點全部切換到su - hadoop )

一在和1.2.1版本相同的環境目錄nfs等都不變

本次配置使用的是1.2.1的機子(里面的host rpcbind nfs 為做修改)在重新配置2.6.4時先停掉所有的1.2.1版的hadoop服務刪掉java等鏈接刪除 /tmp/下的文件等

二Java配置

2.6.4的版本要求6或7的java版本

1.下載java安裝包 (在hadoop的家目錄下)

jdk-7u79-linux-x64.tar.gz

tar zxf jdk-7u79-linux-x64.tar.gz

ln -s jdk1.7.0_79/ java

2.配置java路徑 (同1.2的配置相同)

3.查看 版本號java -version

三Hadoop的配置

cd hadoop/etc/hadoop

1. vim core-site.xml

2. vim hdfs-site.xml

3. cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

4. vim yarn-site.xml

5. vim yarn-env.sh

6. vim etc/hadoop/hadoop-env.sh

7. vim slaves

172.25.23.2

172.25.23.3

172.25.23.4

四啟動服務

1.格式化

tar xf hadoop-native-64-2.6.0.tar -C hadoop/lib/native lib中最好將原來的另外保存或刪除將庫文件改成64位的

bin/hdfs namenode -format

2.開啟服務

sbin/start-dfs.sh  sbin/start-yarn.sh

3.查看進程

master

slave

五、上傳文件

1.創建保存的目錄( V1版本是自動創建的 )

 bin/hdfs dfs -mkdir /user

 bin/hdfs dfs -mkdir /user/hadoop 

2.上傳文件

 mkdir input

cp etc/hadoop/*.xml input

bin/hdfs dfs -put input

bin/hadoop jar hadoop-examples-1.2.1.jar wordcount input output bin/hadoop jar hadoop-examples-1.2.1.jar wordcount input output

3.訪問

172.25.23.1:8088

172.25.23.1:50070

將后面的.jsp改成 .html即可訪問該頁面

 問題

1.datanade沒有啟動

在關閉節點時會發現 no datanade to stop 。

每次格式化后都會創建一個namenodeID而tmp下包含了上次的IDnamenode - format清除了namenode下的數據但是沒有清空datanade下的數據導致啟動失敗因此每次格式化后都要清除掉主從節點下的/tmp/*的所有數據。

2.namenode in safe mode

執行bin/hadoop dfsadmin -safemode leave 即可

3.Exceeded MAX_FAILED_UNIQUE_FETCHES

這是因為程序中打開的文件太多了一般系統默認普通用戶不得超過1024

可以切換到root修改 /etc/security/limits.conf

添加 hadoop  -  nproc  4096

  hadoop  -  nofile  65535

- 可代表的是軟鏈接和硬鏈接 再切換到 hadoop 查看

4. vim hadoop/conf/core-site.xml

(在2.6.4下配置hadoop.tmp.dir參數)

<configuration>

       <property>

               <name>fs.defaultFS</name>

               <value>hdfs://172.25.23.1:9000</value>

     </property>

  <property>

               <name>hadoop.tmp.dir</name>

               <value>/home/hadoop/tmp</value>

     </property>

<property>

           <name>dfs.namenode.name.dir</name>

           <value>/home/hadoop/tmp/namedir</value>

     </property>

<property>

           <name>dfs.datanade.data.dir</name>

           <value>/home/hadoop/tmp/datadir</value>

     </property>

</configuration>

若沒有配置這些參數則默認的臨時目錄是在/tmp/下而/tmp/目錄每次重啟都會清空必須重新format才可以