在CentOS上實現HDFS資源調度主要通過YARN完成,步驟如下:
HADOOP_HOME
和PATH
環境變量。fs.defaultFS=hdfs://namenode:9000
)。dfs.replication
)、數據存儲目錄等。hdfs namenode -format
。start-dfs.sh
。start-yarn.sh
。hdfs dfsadmin -report
查看集群狀態,yarn node -list
查看節點資源。yarn.resourcemanager.webapp.address
)監控資源分配。關鍵配置說明:
yarn-site.xml
中yarn.scheduler.class
指定,默認支持FIFO、Capacity Scheduler、Fair Scheduler。yarn.resourcemanager.ha.enabled
開啟。參考來源: