在CentOS上配置Hadoop分布式文件系統(HDFS)后,可以通過以下步驟進行測試:
在主節點上運行以下命令檢查Hadoop是否安裝成功:
hadoop version
在主節點上執行以下命令格式化NameNode:
hdfs namenode -format
使用以下命令啟動HDFS服務:
start-dfs.sh
使用以下命令檢查HDFS的狀態,確保NameNode和DataNode正在運行:
hdfs dfsadmin -report
在客戶端節點上,嘗試將一個小文件上傳到HDFS,然后讀取該文件,以驗證配置是否正確。例如:
hdfs dfs -put /path/to/local/file hdfs://namenode:port/path/in/hdfs
hdfs dfs -cat hdfs://namenode:port/path/in/hdfs
使用Hadoop自帶的TestDFSIO工具進行基準測試,以評估HDFS的讀寫性能。例如,寫入10個1GB的文件,并測量吞吐量:
yarn jar hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4-tests.jar TestDFSIO -write -nrFiles 10 -size 1GB
/var/log/hadoop目錄下,以查找任何錯誤或警告信息。