溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

分析幾種Hadoop集群部署方式優劣

發布時間:2020-07-13 20:56:28 來源:網絡 閱讀:892 作者:cpaqyx 欄目:建站服務器

hadoop初學者來說,或者說正在使用hadoop的開發者來說,hadoop環境的搭建不是一件省心的事,甚至很多博客上都重要的事說三便“不要花精力在搭建環境之上”,可見很多人在搭建環境時會遇到很多問題,并且會花費很多時間,本文將把所有的“玩法”都過一下,相信看完之后,你心里就有數了,將會依據自己的需求來選擇合適的搭建方式。

 

部署方式  

優勢

不足

適合場合

Apache Hadoop

單機

        單臺機器即可

        簡單

        所需組件少

        一般不用于生產

        HA

        無法體現分布式

        初學

        開發測試

        小規模試用

Apache Hadoop

集群

        靈活的版本選擇

        自主可控性較好

        應用場景廣泛

        需專業人員管理

        組件間兼容性差

        配置、運維復雜

        學習

        開發測試

        生產環境

CDH

HDP

        Web管理和監控

        開源廠商支持

        兼容性和穩定高

        仍需大量配置

        受制于廠商

        更新版本稍慢

        開發測試

        生產環境

其它廠商類CDH

        有自己擴展特性

        廠商支持

        非免費

        嚴重受制于廠商

        生產環境

編寫shell部署運維腳本

        自控性好

        配置簡單

        靈活性好

        需編寫腳本

        測試費時

        需不斷完善

        學習

        開發測試

        生產環境

 

通過上面的對比,總結如下:

  • 初學hadoop,希望快速開始,采用第一種apache單機,無基礎的情況下1個小即可完成,有linux基礎除掉安裝虛擬機、linux的時間,10分鐘可完成;

  • 用于生產環境或測試環境,采用第三種cdh方式,管理集群都是圖形化,但是缺少了對內部深層次的了解;

  • 對于深入學習者,已經有一定經驗和積累了,可以選最后一種,不斷可以深入的了解內部各進程依賴關系,還可以提升shell腳本文件編程水平。

 

關于每一種環境的詳細搭建方式,將會分幾個章節在后面分別介紹,另外如果可能也會錄制一些免費視頻,詳細的講解一下操作步驟。


向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女