測試CentOS HDFS配置可按以下步驟進行:
core-site.xml
、hdfs-site.xml
等配置正確,如fs.defaultFS
、dfs.replication
、數據目錄路徑等。hdfs namenode -format
(會清除原有數據)。start-dfs.sh
啟動集群,使用jps
查看NameNode、DataNode進程是否正常。hdfs dfsadmin -report
查看節點狀態、存儲容量等信息。hdfs dfs -put <本地文件> <HDFS路徑>
、hdfs dfs -get <HDFS路徑> <本地路徑>
。hdfs dfs -mkdir <目錄>
、hdfs dfs -rm -r <目錄>
。hdfs fsck /
檢測文件塊是否損壞、副本數是否正確。/var/log/hadoop-hdfs/
下相關日志定位問題。注意:確保防火墻開放HDFS所需端口(如NameNode的50070、DataNode的50010等),并檢查節點間網絡連通性。