以下是在CentOS上部署HDFS的攻略:
準備至少三臺CentOS服務器,配置靜態IP,修改/etc/hosts
文件使主機名與IP正確映射,并設置SSH免密登錄。在所有節點上安裝JDK 1.8或更高版本。
從Apache官網下載Hadoop安裝包,解壓到指定目錄,如/usr/local/hadoop
。
編輯/etc/profile.d/hadoop.sh
文件,添加JAVA_HOME
和HADOOP_HOME
等環境變量并使生效。修改core-site.xml
配置HDFS默認URI,編輯hdfs-site.xml
設置存儲目錄、副本數等參數。
在NameNode節點上執行hdfs namenode -format
格式化NameNode。在NameNode節點上運行start-dfs.sh
啟動HDFS集群。
使用jps
命令檢查NameNode、DataNode等進程是否正常運行,也可通過HDFS Web界面或hdfs dfs
命令驗證。
安裝ZooKeeper并配置集群,修改Hadoop配置文件以啟用高可用,包括設置dfs.nameservices
、dfs.ha.namenodes
等參數,配置JournalNodes,格式化NameNode并啟動相關服務。