Hadoop 集群部署

1、修改所有主機的 機器名
[root@hadoop1 ~]# vi /etc/networks

hostname=hadoop1

2、做主機和IP映射

 [root@hadoop1 ~]# vi /etc/hosts

192.168.5.136 hadoop1
192.168.5.137 hadoop3
192.168.5.138 hadoop2

其中 一臺修改后可以 拷貝
scp -r /etc/hosts root@hadoop1\2:/etc

3、SSH免登陸

[root@hadoop1 ~]# ssh-keygen -t rsa -P '' 在每臺機器上執行一次；
將其他機器上的 /root/.ssh/下的所有文件刪掉
[root@hadoop1 tmp]# scp -r /root/.ssh/id_rsa.pub root@hadoop2:/root/.ssh/authorized_keys 將hadoop1 公鑰拷貝至所有服務器
[root@hadoop1 ~]# mv /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys 最后修改本地 公鑰文件即可。

最后驗證 [root@hadoop1 ~]# ssh hadoop2

           [root@hadoop1 ~]# ssh hadoop3

4、關閉防火墻-所有服務器全部執行
[root@hadoop1 ~]# systemctl stop firewalld.service
[root@hadoop1 ~]# systemctl disable firewalld.service

5、時間同步

二、Hadoop 環境搭建
1、 JAVA配置
[root@hadoop1 software]# tar -zxvf jdk-8u171-linux-x64.tar.gz 解壓
[root@hadoop1 software]# mv jdk1.8.0_171/ /usr/java 移至指定目錄

#配置環境變量 [root@hadoop1 sbin]# vi /etc/profile
export JAVA_HOME=/tmp/jdk1.8.0_171
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$PATH

最后將 java 拷貝至其他機器以及修改 環境變量
scp -r /usr/java/ root@hadoop2:/usr/
scp -r /usr/java/ root@hadoop3:/usr/
修改環境變量
[root@hadoop3 usr]# vi /etc/profile
[root@hadoop3 usr]# source /etc/profile 生效

2、hadoop 配置編譯安裝
在其中一臺服務器上面配置然后同步至其他機器即可

[root@hadoop1 software]# tar -zxvf hadoop-2.7.7.tar.gz 解壓 Hadoop
[root@hadoop1 software]# cd hadoop-2.7.7 登陸 hadoop 目錄

配置環境變量
[root@hadoop1 hadoop-2.7.7]# vi /etc/profile
export JAVA_HOME=/usr/java
export HADOOP_HOME=/opt/software/hadoop-2.7.7
export PATH=$HADOOP_HOME/bin:$FINDBUGS_HOME/bin:$PROTOC_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

 [root@hadoop1 hadoop-2.7.7]# source /etc/profile  生效

3、修改配置文件
[root@hadoop1 hadoop]# cd /opt/hadoop/etc/hadoop/ 切換此文件目錄 設置配置文件
其中 主要修改 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
修改 core-site 配置文件
vi core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/software/hadoop-2.7.7/data/tmp</value>
</property>
</configuration>

修改 hdfs-site.xml 配置文件
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop3:50090</value>
</property>
</configuration>

修改 mapred-site.xml 配置文件
[root@hadoop1 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@hadoop1 hadoop]# vi mapred-site.xml 編輯配置文件
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop1:19888</value>
</property>
</configuration>

修改 yarn-site.xml 配置文件
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop2</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>106800</value>
</property>

</configuration>

修改 slaves 文件
[root@hadoop1 hadoop]# vi slaves
hadoop1
hadoop2
hadoop3

在一臺機器上(最好是hadoop1)做完這些配置之后，我們使用scp命令將這些配置傳輸到其他機器上
輸入:

hadoop環境傳輸
[root@hadoop1 hadoop]# scp -r /opt/hadoop/ root@hadoop2:/opt/
[root@hadoop1 hadoop]# scp -r /opt/hadoop/ root@hadoop3:/opt/

配置其他節點 環境變量

[root@hadoop2 software]# vi /etc/profile
export JAVA_HOME=/usr/java
export HADOOP_HOME=/opt/software/hadoop-2.7.7

export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

[root@hadoop2 software]# source /etc/profile 刷新生效

-----傳輸之后，便在主節點啟動集群。 在啟動hadoop之前，需要初始化，這個只需要在hadoop1上初始化就可以了

4、啟動hadoop
--在NameNode機器上執行格式化：
[root@hadoop1 hadoop]# /opt/software/hadoop-2.7.7/bin/hdfs namenode -format 格式化命令
注意：
如果要重新格式化 需要將 hadoop1 namenode datanode 文件目錄下的 /opt/software/hadoop-2.7.7/data/tmp/dfs/name/current/ 目錄下的集群ID清理掉，不然重新
做格式化會生成一個新的 ID這樣 就與 datanode集群ID不一致；

5、啟動 HDFS
[root@hadoop1 hadoop]# /opt/software/hadoop-2.7.7/sbin/start-dfs.sh

6、啟動YARN
[root@hadoop1 hadoop]# /opt/software/hadoop-2.7.7/sbin/start-yarn.sh

7、在hadoop2 上啟動 ResourceManager
[root@hadoop2 software]# /opt/software/hadoop-2.7.7/sbin/yarn-daemon.sh start resourcemanager

8、在hadoop3 上啟動 日志服務器

[root@hadoop3 ~]# /opt/software/hadoop-2.7.7/sbin/mr-jobhistory-daemon.sh start historyserver

9、查看 YARN WEB 頁面
http://192.168.5.138:8088/cluster

10、打開 HDFS WEB 頁面

http://192.168.5.136:50070/

部署完畢，即可學習 hadoop