Ubuntu Hadoop資源管理主要通過YARN配置實現,以下是關鍵步驟(基于Hadoop 3.x版本):
JAVA_HOME
環境變量。~/.bashrc
中添加HADOOP_HOME
、PATH
等變量,使配置生效。core-site.xml
:設置HDFS地址(如fs.defaultFS=hdfs://localhost:9000
)。hdfs-site.xml
:配置NameNode和DataNode數據存儲路徑、副本數(偽分布式設為1)。mapred-site.xml
:指定資源管理框架為YARN(mapreduce.framework.name=yarn
)。yarn-site.xml
:
yarn.nodemanager.aux-services=mapreduce_shuffle
)。localhost
)。hdfs namenode -format
(首次啟動需執行)。start-yarn.sh
,通過jps
查看ResourceManager
和NodeManager
進程是否正常。http://localhost:8088
),查看集群資源使用情況。說明:偽分布式模式下,所有服務運行在同一節點,適合測試環境;分布式環境需配置多節點主機名、SSH免密登錄及對應配置文件。
參考資料: