CentOS HDFS配置全攻略

以下是在CentOS上配置HDFS的詳細步驟：

環境準備

• 安裝Java：Hadoop依賴Java，使用命令sudo yum install java-1.8.0-openjdk-devel安裝JDK 8或更高版本，并通過java -version驗證安裝。
• 配置網絡：設置靜態IP，編輯/etc/sysconfig/network-scripts/ifcfg-ens33等文件，確保節點間能通信。同時配置主機名，修改/etc/hostname和/etc/hosts文件。
• 安裝Hadoop：從Apache官網下載最新版Hadoop，解壓到指定目錄，如/usr/local/hadoop。

配置Hadoop環境變量

編輯/etc/profile.d/hadoop.sh文件，添加export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk、export HADOOP_HOME=/usr/local/hadoop和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin，然后執行source /etc/profile.d/hadoop.sh使配置生效。

配置HDFS核心文件

• core-site.xml：設置fs.defaultFS為hdfs://namenode:9000，還可配置hadoop.tmp.dir等。
• hdfs-site.xml：配置dfs.replication（副本數）、dfs.namenode.name.dir（NameNode數據目錄）、dfs.datanode.data.dir（DataNode數據目錄）等。

配置SSH免密登錄

在NameNode節點上執行ssh-keygen -t rsa生成密鑰對，然后使用ssh-copy-id將公鑰復制到所有DataNode節點，實現無密碼登錄。

格式化NameNode

在NameNode節點上執行hdfs namenode -format，僅在首次啟動前執行。

啟動HDFS

在NameNode節點上執行start-dfs.sh啟動HDFS集群。

驗證HDFS

使用jps命令檢查NameNode、DataNode等進程是否正常運行，也可通過訪問http://namenode:50070查看HDFS狀態。

配置防火墻

使用firewall-cmd命令開放Hadoop所需端口，如9000、50010、50070等，然后執行firewall-cmd --reload使配置生效。

以上步驟為基本配置，實際生產環境中可根據需求進行優化，如配置高可用性等。