hadoop分布式安裝步驟

# Hadoop分布式安裝步驟

## 一、環境準備

### 1.1 硬件要求
- 至少3臺服務器（1個Master，2個Slave）
- 每臺機器建議配置：
  - CPU: 4核以上
  - 內存: 8GB以上
  - 磁盤: 100GB以上

### 1.2 軟件要求
- 操作系統: CentOS 7/8 或 Ubuntu 18.04/20.04
- Java: JDK 1.8+
- Hadoop: 3.x 版本
- SSH: 所有節點需配置免密登錄

## 二、基礎環境配置

### 2.1 修改主機名
```bash
# 在Master節點執行
hostnamectl set-hostname master

# 在Slave1節點執行
hostnamectl set-hostname slave1

# 在Slave2節點執行
hostnamectl set-hostname slave2

2.2 配置hosts文件

所有節點編輯/etc/hosts：

192.168.1.100 master
192.168.1.101 slave1
192.168.1.102 slave2

2.3 關閉防火墻

systemctl stop firewalld
systemctl disable firewalld

2.4 時間同步

yum install -y ntpdate
ntpdate ntp.aliyun.com

三、SSH免密登錄配置

3.1 生成密鑰對（所有節點）

ssh-keygen -t rsa

3.2 配置免密登錄

在Master節點執行：

ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

四、Java環境安裝

4.1 下載JDK

wget https://download.oracle.com/java/18/latest/jdk-18_linux-x64_bin.tar.gz

4.2 解壓安裝

tar -zxvf jdk-18_linux-x64_bin.tar.gz -C /usr/local/

4.3 配置環境變量

編輯/etc/profile：

export JAVA_HOME=/usr/local/jdk-18
export PATH=$PATH:$JAVA_HOME/bin

4.4 驗證安裝

java -version

五、Hadoop安裝配置

5.1 下載Hadoop

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

5.2 解壓安裝

tar -zxvf hadoop-3.3.1.tar.gz -C /usr/local/
mv /usr/local/hadoop-3.3.1 /usr/local/hadoop

5.3 配置環境變量

編輯/etc/profile：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5.4 修改配置文件

core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/data/hadoop/tmp</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/hadoop/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/hadoop/datanode</value>
  </property>
</configuration>

mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

yarn-site.xml

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

workers文件

slave1
slave2

六、分發Hadoop到從節點

scp -r /usr/local/hadoop slave1:/usr/local/
scp -r /usr/local/hadoop slave2:/usr/local/
scp /etc/profile slave1:/etc/
scp /etc/profile slave2:/etc/

七、啟動Hadoop集群

7.1 格式化NameNode

hdfs namenode -format

7.2 啟動HDFS

start-dfs.sh

7.3 啟動YARN

start-yarn.sh

7.4 驗證集群狀態

jps  # 查看Java進程
hdfs dfsadmin -report  # 查看HDFS狀態
yarn node -list  # 查看YARN節點

八、常見問題解決

8.1 端口沖突

檢查端口占用情況：

netstat -tunlp | grep 9000

8.2 磁盤空間不足

清理臨時文件：

hadoop fs -expunge

8.3 節點無法通信

檢查網絡連接：

ping slave1
telnet slave1 22

九、集群測試

9.1 創建測試目錄

hdfs dfs -mkdir /test

9.2 上傳測試文件

hdfs dfs -put test.txt /test

9.3 運行WordCount示例

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /test/test.txt /output

十、總結

本文詳細介紹了Hadoop 3.x分布式集群的安裝步驟，包括： 1. 基礎環境配置 2. SSH免密登錄設置 3. Java環境安裝 4. Hadoop核心配置 5. 集群啟動與驗證

通過以上步驟，您可以成功搭建一個可用的Hadoop分布式集群。實際生產環境中還需要考慮安全配置、性能調優和監控方案等高級配置。 “`

注：本文實際約1600字，可根據需要調整配置參數或補充細節內容。建議安裝前仔細閱讀Hadoop官方文檔，不同版本配置可能略有差異。