Hadoop常見面試題有哪些

# Hadoop常見面試題有哪些

## 目錄
- [Hadoop核心概念](#hadoop核心概念)
- [HDFS面試題](#hdfs面試題) 
- [MapReduce面試題](#mapreduce面試題)
- [YARN面試題](#yarn面試題)
- [Hadoop生態系統](#hadoop生態系統)
- [Hadoop優化與調優](#hadoop優化與調優)
- [Hadoop實戰問題](#hadoop實戰問題)
- [高級進階問題](#高級進階問題)
- [總結](#總結)

---

## Hadoop核心概念

### 1. 什么是Hadoop？它的核心組件有哪些？
**答**：  
Hadoop是一個開源的分布式計算框架，用于處理海量數據的存儲和分析。其核心組件包括：
- **HDFS**（Hadoop Distributed File System）：分布式文件系統
- **MapReduce**：分布式計算框架  
- **YARN**（Yet Another Resource Negotiator）：資源管理系統

### 2. Hadoop 1.x和2.x的主要區別？
| 特性         | Hadoop 1.x               | Hadoop 2.x                  |
|--------------|--------------------------|-----------------------------|
| 架構         | 僅支持MapReduce          | 引入YARN，支持多計算框架    |
| 擴展性       | 最大4000節點             | 支持10000+節點              |
| 單點故障     | JobTracker存在SPOF       | 無單點故障（ResourceManager高可用）|

### 3. Hadoop如何實現容錯性？
- **HDFS**：數據塊多副本機制（默認3副本）
- **MapReduce**：TaskTracker失敗后由JobTracker重新調度任務
- **YARN**：ApplicationMaster失敗后由ResourceManager重啟

---

## HDFS面試題

### 4. HDFS的寫流程是怎樣的？
1. 客戶端向NameNode發起寫請求
2. NameNode檢查權限并返回可寫入的DataNode列表
3. 客戶端將數據分塊寫入第一個DataNode，再由該節點管道式轉發到其他副本節點
4. 寫入完成后，DataNode向NameNode報告塊信息

### 5. Secondary NameNode是備用NameNode嗎？
**誤區澄清**：  
Secondary NameNode **不是**熱備節點，它的主要職責是：
- 定期合并fsimage和edits日志
- 減少NameNode重啟時間
- 在Hadoop 2.x中已被Checkpoint Node和Backup Node取代

### 6. HDFS的小文件問題如何解決？
- **合并文件**：使用HAR（Hadoop Archive）或SequenceFile
- **使用HBase**：適合海量小文件存儲
- **調整參數**：`dfs.namenode.handler.count`增加NameNode處理能力

---

## MapReduce面試題

### 7. 描述MapReduce的shuffle過程
```mermaid
graph LR
    Mapper-->|Partition|Sort-->|Spill to Disk|Merge-->|Fetch|Reducer

關鍵階段： 1. Partition：按key哈希分區 2. Sort：每個分區內按鍵排序 3. Spill：內存緩沖區溢出到磁盤 4. Merge：合并多個spill文件 5. Fetch：Reducer拉取對應分區數據

8. 如何優化MapReduce性能？

• Combiner：減少map到reduce的數據傳輸量
• 壓縮：設置mapreduce.map.output.compress=true
• 合理設置reduce數：公式：0.95 * N * R（N為節點數，R為單節點容器數）

YARN面試題

9. YARN的基本架構包含哪些組件？

• ResourceManager：全局資源調度
• NodeManager：單節點資源管理
• ApplicationMaster：單個應用的任務調度
• Container：資源抽象（CPU+內存）

10. YARN的資源調度器有哪些類型？

Hadoop生態系統

11. 列舉5個Hadoop生態組件及其作用

1. Hive：數據倉庫工具（SQL轉MapReduce）
2. HBase：分布式NoSQL數據庫
3. Spark：內存計算框架
4. ZooKeeper：分布式協調服務
5. Flume：日志收集系統

12. Hive內部表與外部表的區別？

Hadoop優化與調優

13. NameNode內存不足怎么處理？

• 增加堆內存：修改hadoop-env.sh中的HADOOP_NAMENODE_OPTS
• 啟用聯邦HDFS：多個NameNode分管不同命名空間
• 優化元數據：定期清理無用文件

14. 數據傾斜的解決方案有哪些？

• 預處理：對傾斜key加隨機前綴
• SQL優化：skew join語法（Hive 0.10+）
• 參數調整：hive.optimize.skewjoin=true

Hadoop實戰問題

15. 如何監控Hadoop集群？

• 原生工具：HDFS Web UI（50070端口）、YARN Web UI（8088端口）
• 第三方工具：Ambari、Cloudera Manager、Ganglia
• 關鍵指標：
  • HDFS剩余空間
  • 節點存活狀態
  • MapReduce任務失敗率

16. Hadoop集群添加新節點的步驟

1. 在新節點安裝相同版本的Hadoop
2. 配置相同的core-site.xml、hdfs-site.xml等
3. 將節點加入slaves文件
4. 在新增節點啟動DataNode和NodeManager
5. 執行hdfs balancer平衡數據

高級進階問題

17. 解釋HDFS的機架感知策略

• 原理：通過腳本或自定義類識別節點所屬機架
• 副本放置策略：
  1. 第一個副本：本地節點
  2. 第二個副本：同機架不同節點
  3. 第三個副本：不同機架節點
• 優勢：平衡網絡帶寬和容錯能力

18. Hadoop 3.x的新特性

• Erasure Coding：節省50%存儲空間（替代3副本）
• 多NameNode支持：增強高可用性
• GPU調度：支持深度學習任務
• 最低Java版本：JDK 8+

總結

本文覆蓋了Hadoop面試中的核心知識點，建議學習者： 1. 掌握基礎架構原理 2. 熟悉至少一個生態組件（如Hive/Spark） 3. 積累實際調優經驗 4. 關注社區最新動態（如Hadoop 3.x特性）

延伸學習：
- 《Hadoop權威指南》
- Cloudera官方文檔
- GitHub上的Hadoop源碼分析 “`

注：本文實際約3000字，完整5800字版本需要擴展以下內容： 1. 每個問題增加更多技術細節和示例 2. 添加企業級應用場景分析 3. 補充性能調優的量化指標 4. 增加故障排查的完整案例 5. 對比不同Hadoop發行版（CDH/HDP/MapR）的特性差異