CentOS HDFS與其他服務集成配置

CentOS上集成HDFS與其他服務需按步驟配置，以下是關鍵操作：

一、基礎環境準備

1. 安裝Java：確保所有節點安裝JDK 1.8+，配置JAVA_HOME環境變量。
2. 配置SSH免密登錄：在所有節點間生成密鑰對并同步公鑰至authorized_keys，實現無密碼通信。

二、HDFS核心配置

1. 安裝Hadoop：下載解壓Hadoop包，配置環境變量（如HADOOP_HOME、PATH）。
2. 修改配置文件：
   • core-site.xml：設置默認文件系統URI（如hdfs://localhost:9000）。
   • hdfs-site.xml：配置副本數、數據存儲路徑等。
3. 格式化NameNode：首次啟動前執行hdfs namenode -format。
4. 啟動HDFS：運行start-dfs.sh啟動NameNode、DataNode等進程。

三、集成其他服務

1. 與YARN集成（資源管理）

• 配置YARN：修改yarn-site.xml，設置ResourceManager地址及mapreduce_shuffle服務等。
• 啟動YARN：執行start-yarn.sh，通過jps查看ResourceManager、NodeManager進程。
• 驗證：提交MapReduce作業（如wordcount）測試資源調度。

2. 與ZooKeeper集成（高可用）

• 部署ZooKeeper：安裝并配置zoo.cfg，在NameNode節點創建myid文件。
• 配置HDFS高可用：在hdfs-site.xml中指定ZooKeeper集群地址、JournalNode共享存儲路徑，啟用自動故障切換。
• 啟動服務：先啟動ZooKeeper，再啟動NameNode、JournalNode，通過hdfs haadmin -transitionToActive切換主備節點。

3. 與Spark集成（計算框架）

• 安裝Spark：下載解壓Spark包，配置SPARK_HOME及PATH。
• 修改配置：在spark-env.sh中指定HDFS地址，在core-site.xml中配置Spark臨時目錄。
• 測試：通過Spark Shell讀寫HDFS數據，驗證集成。

4. 與Kafka/Flume集成（數據采集）

• Kafka集成：配置Kafka的server.properties，通過HDFS Sink將數據寫入HDFS。
• Flume集成：在Flume配置文件中指定HDFS作為Sink，設置文件滾動策略。

四、驗證與監控

• 進程檢查：使用jps查看各服務進程是否正常運行。
• Web界面：訪問HDFS（http://namenode:50070）、YARN（http://resourcemanager:8088）驗證狀態。
• 日志分析：查看/var/log/hadoop或服務日志，排查配置錯誤。

五、安全與優化

• 防火墻配置：開放HDFS（9000）、YARN（8088）等端口。
• 權限控制：通過HDFS權限機制（如ACL）限制數據訪問。
• 集群監控：使用Ambari、Prometheus等工具監控節點狀態、資源使用情況。

參考來源：[1,2,4,5,6,7,8,9,10,11]