Hadoop集群怎么構建

# Hadoop集群怎么構建

## 一、Hadoop集群概述

Hadoop是一個由Apache基金會開發的分布式系統基礎架構，其核心設計包括：
- HDFS（分布式文件系統）
- MapReduce（分布式計算框架）
- YARN（資源調度系統）

典型的生產環境集群包含三類節點：
1. **主節點（Master）**：運行NameNode、ResourceManager等關鍵服務
2. **從節點（Slave）**：運行DataNode、NodeManager等工作者服務
3. **客戶端節點**：提交作業和訪問集群

## 二、前期準備

### 1. 硬件要求
| 節點類型 | 建議配置 |
|---------|---------|
| Master  | 16核CPU/32GB內存/1TB存儲 |
| Slave   | 8核CPU/16GB內存/10TB存儲 |
| Client  | 4核CPU/8GB內存即可 |

### 2. 軟件環境
- 操作系統：CentOS 7/8或Ubuntu 18.04+
- Java版本：JDK 8（必須Oracle或OpenJDK）
- SSH無密碼登錄配置
- 網絡要求：
  - 節點間千兆網絡連接
  - 關閉所有防火墻或開放必要端口（50070, 8088等）

## 三、詳細構建步驟

### 1. 系統基礎配置
```bash
# 所有節點執行
sudo hostnamectl set-hostname master  # 分別設置hostname
echo "192.168.1.10 master" >> /etc/hosts
echo "192.168.1.11 slave1" >> /etc/hosts
echo "192.168.1.12 slave2" >> /etc/hosts

# 配置SSH免密登錄
ssh-keygen -t rsa
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

2. JDK安裝

tar -zxvf jdk-8u301-linux-x64.tar.gz -C /opt/
echo 'export JAVA_HOME=/opt/jdk1.8.0_301' >> /etc/profile
echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile
source /etc/profile

3. Hadoop安裝部署

1. 下載Hadoop 3.3.4二進制包
2. 解壓到/usr/local目錄
3. 配置環境變量：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4. 關鍵配置文件修改

core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/data/hadoop/tmp</value>
  </property>
</configuration>

hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>/data/hadoop/namenode</value>
</property>

yarn-site.xml

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>master</value>
</property>

5. 集群啟動流程

# 首次啟動需要格式化HDFS
hdfs namenode -format

# 啟動HDFS
start-dfs.sh

# 啟動YARN
start-yarn.sh

# 驗證服務
jps  # 主節點應顯示NameNode/ResourceManager

四、集群驗證與測試

1. Web UI訪問

• HDFS狀態：http://master:9870
• YARN管理：http://master:8088

2. 基準測試

# 測試HDFS寫入性能
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 1GB

# 運行WordCount示例
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output

五、運維管理要點

1. 日常維護命令

# 查看HDFS空間使用
hdfs dfsadmin -report

# 安全模式操作
hdfs dfsadmin -safemode enter/leave

# 節點退役
hdfs dfsadmin -refreshNodes

2. 監控方案

• 使用Ambari或Cloudera Manager
• 配置Prometheus+Grafana監控
• 關鍵監控指標：
  • HDFS存儲利用率
  • YARN容器使用情況
  • 節點磁盤健康狀態

六、常見問題解決

1. DataNode無法啟動

   • 檢查防火墻設置
   • 確認dfs.data.dir目錄權限

2. YARN資源分配不足

   <!-- yarn-site.xml增加 -->
   <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
   </property>
   

3. NameNode啟動失敗

   • 檢查格式化日志
   • 恢復元數據備份

七、擴展建議

1. 高可用方案：

   • 配置ZooKeeper實現NameNode HA
   • 使用JournalNode共享編輯日志

2. 性能優化：

   • 調整HDFS塊大?。J128MB）
   • 配置MapReduce內存參數
   • 啟用數據本地化優化

提示：生產環境建議至少部署3個JournalNode和2個NameNode，ZooKeeper集群應為奇數節點（3/5/7臺）

通過以上步驟，一個完整的Hadoop集群即可投入生產使用。建議首次部署后在測試環境充分驗證，再遷移到生產環境。 “`