溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Hadoop優化與調整

發布時間:2020-05-30 07:52:01 來源:網絡 閱讀:682 作者:espanol 欄目:大數據

【io.file.buffer.size】(core-site.xml)

用來設置緩存的大小,較大的緩存提供更高效的數據傳輸,但也意味著更大的內存消耗和延遲

默認值為4KB,一般情況下設置為64KB(65536)

【dfs.balance.bandwidthPerSec】

HDFS平衡器檢測集群中使用過度或者使用不足的DataNode,并在這些DataNode之間轉移數據塊來保證負載均衡。該參數定義了每個DataNode平衡操作所允許的最大使用帶寬,單位是byte,網絡帶寬單位一般是bit

【dfs.block.size】

默認值為67108864,即64MB;參考值為134217728(128M)

【dfs.DataNode.du.reserved】

由于mapred.local.dir經常與DataNode共享可用的硬盤資源,因此我們需要為MapReduce任務保留一些硬盤資源。建議每個硬盤都為map任務保留最小10GB的資源,即10737418240.

【dfs.NameNode.handler.count】

NameNode有一個工作線程池用來處理客戶端的遠程過程調用及集群守護進程的調用。默認值為10,一般講該值設置為集群大小的自然對數乘以20,即20logN。

該值設置過小明顯的癥狀就是DataNode在連接NameNode的時候總是超時或者連接被拒

【dfs.DataNode.failed.volumes.tolerated】

當DataNode的任意一個本地磁盤故障時,默認認定整個DataNode失效。該參數默認值為0,意味著只要有一個磁盤出現故障就會導致整個DataNode 不可用。參考值為1

【dfs.hosts】

通過含有DataNode主機名列表的文件來確認允許連接并加入集群的DataNode

【dfs.host.exclude】

把相關節點排除在HDFS外,可卸載DataNode

【fs.trash.interval】(core-site.xml)

定義.Trash目錄下文件被永久刪除前保留的時間(分鐘數),默認為0,即垃圾回收站功能關閉,參考值為1440(24小時)

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女