溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

hadoop快速入門之DKH安裝準備

發布時間:2020-06-18 12:43:41 來源:網絡 閱讀:371 作者:adnb34g 欄目:大數據

前幾天去參加了一個線下的聚會,參加聚會的基本都是從事互聯網工作的。會上有人提到了區塊鏈,從而引發了一場關于大數據方面的探討。我也是從去年才正式接觸大數據,一直在學習hadoop。相信接觸過hadoop的人都知道,。單獨搭建hadoop里每個組建都需要運行環境、修改配置文件、測試等過程,每個組件幾乎都有坑,尤其是讓新手甚是苦惱。此前有在微博上與一些博友了解過他們的配置過程,有的配置了好幾天愣是沒成功。
Hadoop運行環境配置的坑只有走過的人才懂,不過三月份的時候發現了一個比較有意思的國產hadoop發行版——大快開源的發行版DKHadoop。DKHadoop將開源社區里多種常用組建包括:HDFS,Hbase,Storm,Flume,Kafka,Mahout,ES等都集成到了這一個平臺里,所以整個運行環境的配置安裝就大大被簡化了。
hadoop快速入門之DKH安裝準備
我把此前安裝的過程整理了一下分享給感興趣的朋友,主要分為:準備階段、服務器操作系統配置、DKH系統安裝、常見問題解決方法四個部門。由于文章偏于較長,本篇重點為大家分享第一部分——準備階段。
第一部分:準備工作
1、大數據平臺所需配置:
(1) 系統:CentOS 6.5 64位(需默認安裝Desktop)
(2) CPU :intel E3及以上。
(3) 內存:建議最小8G,用圖計算建議32G,推薦128G。
(4) 硬盤:256G以上,推薦使用固態硬盤。
(5) 系統分區要求: 如無特殊需求,除swap分區外,可將剩余空間全部分配 到/ (根) 分區
(6) 網絡要求:如無特殊情況,盡量可以接入外網。
(7) 至少三臺服務器(三臺服務器名字任意起,密碼須一致)。
(8)安裝使用root用戶作為默認用戶
2、遠程上傳和遠程連接工具:
(1)若直接使用個人PC開啟的虛擬機作為服務器的基礎,直接拷貝到虛擬機下即可。
(2)若是使用機房服務器作平臺搭建的服務器,如若不能直接接觸到服務器,則需要使用遠程工具連接并發送安裝包。
第一部分的主要是安裝前的準備工作,除了做好上述這些,還需要去下載一下安裝版本。我是直接搜索找到了大快的官網下載的一個三節點的發行版。需要的朋友也可以搜索主要一下,如果沒有找到可以留言給我。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女