Ubuntu Hadoop資源管理可從以下方面入手:
硬件與系統配置
Hadoop核心組件配置
dfs.replication設置副本數,dfs.block.size調整塊大小。yarn-site.xml中配置yarn.nodemanager.resource.memory-mb(節點可用內存)、yarn.scheduler.maximum-allocation-mb(單個容器最大內存)等參數。資源監控與調優
http://<resourcemanager-ip>:8088)監控資源使用情況。yarn.log-aggregation-enable=true)便于故障排查。yarn.scheduler.dynamic-resource-allocation.enabled啟用動態資源分配,提升資源利用率。集群維護
參考資料: