怎么啟動并驗證Hadoop分布式集群

# 怎么啟動并驗證Hadoop分布式集群

## 一、啟動Hadoop集群

### 1. 環境準備
確保所有節點已完成以下配置：
- JDK 1.8+ 安裝
- SSH免密登錄配置
- `hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`、`yarn-site.xml` 文件正確配置
- `workers` 文件包含所有DataNode主機名

### 2. 格式化HDFS
首次啟動需格式化NameNode：
```bash
hdfs namenode -format

3. 啟動HDFS服務

start-dfs.sh

成功啟動后進程應包含： - NameNode（主節點） - DataNode（工作節點） - SecondaryNameNode（備份節點）

4. 啟動YARN服務

start-yarn.sh

驗證ResourceManager和NodeManager進程是否運行。

二、集群驗證方法

1. Web UI檢查

• HDFS狀態：訪問 http://<namenode_ip>:9870
• YARN狀態：訪問 http://<resourcemanager_ip>:8088

2. 命令行驗證

HDFS基礎操作測試

# 創建測試目錄
hdfs dfs -mkdir /test

# 上傳本地文件
hdfs dfs -put localfile.txt /test/

# 查看文件列表
hdfs dfs -ls /test

# 刪除測試目錄
hdfs dfs -rm -r /test

YARN作業測試

運行示例MapReduce作業：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi 2 5

3. 日志檢查

查看關鍵日志確認無報錯：

tail -n 100 $HADOOP_HOME/logs/hadoop-*-namenode-*.log
tail -n 100 $HADOOP_HOME/logs/hadoop-*-datanode-*.log

三、常見問題處理

1. 端口沖突：檢查netstat -tunlp | grep java
2. 磁盤空間不足：df -h 查看磁盤使用
3. 權限問題：檢查/tmp目錄權限和SELinux狀態

提示：建議首次啟動時逐個組件手動啟動（hadoop-daemon.sh start namenode），便于問題定位。

通過以上步驟，即可完成Hadoop集群的啟動與基礎驗證。實際生產環境中還需進行性能基準測試（如TestDFSIO）和HA配置驗證。 “`

（全文約560字）