以下是在CentOS上搭建HDFS集群的指南:
JAVA_HOME
環境變量。/etc/hosts
文件使主機名與IP正確映射。/etc/profile
或/etc/profile.d/hadoop.sh
文件,添加HADOOP_HOME
和PATH
。core-site.xml
:設置fs.defaultFS
為hdfs://namenode:9000
。hdfs-site.xml
:配置副本數、NameNode和DataNode的存儲目錄等。mapred-site.xml
和yarn-site.xml
:根據需要配置MapReduce和YARN參數。在所有節點上生成SSH密鑰對,將公鑰復制到其他節點的~/.ssh/authorized_keys
文件中。
在NameNode節點上執行hdfs namenode -format
命令。
在NameNode節點上執行start-dfs.sh
腳本啟動HDFS集群。
使用jps
命令檢查NameNode、DataNode等進程是否正常運行,也可訪問HDFS的Web界面或使用hdfs dfs
命令測試。
配置ZooKeeper集群,修改core-site.xml
和hdfs-site.xml
文件以啟用高可用性特性,配置JournalNode,實現NameNode的主備切換。