溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Hadoop單機模式安裝入門(Ubuntu系統)

發布時間:2020-05-13 17:53:16 來源:網絡 閱讀:500 作者:迷失的小熊 欄目:大數據

閑來無事,突然看到關于Hadoop集群。以前也了解過,網上找過一些關于百度,谷歌等底層hadoop集群的文檔,可是面對很多陌生的技術,看不太通透。所有想自己動手虛擬機試試。經常聽到這么高大上的名詞,Hadoop已經成為大數據的代名詞。短短幾年間,Hadoop從一種邊緣技術成為事實上的標準。而另一方面,MapReduce在谷歌已不再顯赫。當企業矚目MapReduce的時候,谷歌好像早已進入到了下一個時代。


Hadoop支持三種啟動集群模式,分別是單機模式,wei分布式模式,安全分布式模式。下面我做的測試是單機模式。

我用的是阿里云ECS主機免費試用版,,,,,,

uname  -a

Linux iZ25wbw8q4uZ 3.13.0-32-generic #57-Ubuntu SMP Tue Jul 15 03:51:08 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux

1,創建hadoop戶和群組

Hadoop單機模式安裝入門(Ubuntu系統)Hadoop單機模式安裝入門(Ubuntu系統)

回車后會提示輸入新的UNIX密碼,這是新建用戶hadoop的密碼,輸入回車即可。

    如果不輸入密碼,回車后會重新提示輸入密碼,即密碼不能為空。

    最后確認信息是否正確,如果沒問題,輸入 Y,回車即可。

修改hadoop為root權限

vim /etc/sudoers

修改添加hadoop  ALL=(ALL:ALL) ALL

Hadoop單機模式安裝入門(Ubuntu系統)Hadoop單機模式安裝入門(Ubuntu系統)

2,安裝ssh支持服務,實現免密登錄

查詢ssh包支持,并創建ssh免密登錄服務器

用到的命令:su hadoop   //切換用戶

dpkg -l | grep openssh-server    //查詢ssh支持包

service  ssh start  //啟動ssh遠程連接服務

ssh-keygen -t rsa  //生成ssh私/公鑰密碼文件

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  //拷貝公鑰認證文件

ssh localhost  //本機ssh登錄測試

Hadoop單機模式安裝入門(Ubuntu系統)

Hadoop單機模式安裝入門(Ubuntu系統)

3,安裝JAVA環境

http://www.oracle.com/technetwork/java/javase/downloads/index.html    下載jdk 

java -version命令出現如下是因為沒有正確設置環境變量

Hadoop單機模式安裝入門(Ubuntu系統)Hadoop單機模式安裝入門(Ubuntu系統)

tar zxvf jdk-8u51-linux-x64.tar.gz

mv jdk1.8.0_51/ /usr/local/src/jdk1.8

修改環境變量,

vim ~/.bashrc 

Hadoop單機模式安裝入門(Ubuntu系統)Hadoop單機模式安裝入門(Ubuntu系統)

4,安裝Hadoop2.7.1 

http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz 

tar zxvf hadoop-2.7.1.tar.gz

 mv hadoop-2.7.1 /usr/local/hadoop

chown -R hadoop.hadoop hadoop

chmod 774 /usr/local/hadoop/

hadoop@iZ25wbw8q4uZ:/usr/local/hadoop$ vim ~/.bashrc      //修改hadoop用戶環境變量,最下面添加

#HADOOP VARIABLES START

export JAVA_HOME=/usr/local/src/jdk1.8/

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

Hadoop單機模式安裝入門(Ubuntu系統)Hadoop單機模式安裝入門(Ubuntu系統)

hadoop@iZ25wbw8q4uZ:/usr/local/hadoop$ vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh  //修改handoop認證環境變量,最下面添加一行

Hadoop單機模式安裝入門(Ubuntu系統)Hadoop單機模式安裝入門(Ubuntu系統)

5,WordCount測試 

單機模式安裝完成,下面通過執行hadoop自帶實例WordCount驗證是否安裝成功

  /usr/local/hadoop路徑下創建input文件夾   

 mkdir input

 cp README.txt input   //拷貝README.txt到input   

 執行WordCount

hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount input output

Hadoop單機模式安裝入門(Ubuntu系統)

Hadoop單機模式安裝入門(Ubuntu系統)

執行 cat output/*,查看字符統計結果

Hadoop單機模式安裝入門(Ubuntu系統)Hadoop單機模式安裝入門(Ubuntu系統)

到此,hadoop單機模式已經完成。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女