溫馨提示×

Ubuntu Hadoop安裝步驟是什么

小樊
81
2025-04-24 02:30:10
欄目: 智能運維

在Ubuntu上安裝Hadoop的步驟如下:

1. 環境準備

  • 操作系統:建議使用Ubuntu 24.2或其他穩定版本。
  • JDK:安裝JDK 1.8.0_361(或其他兼容版本)。
  • Hadoop:下載Hadoop 3.3.5(或其他穩定版本)。

2. 環境初始化

  • 增加Hadoop用戶
    sudo useradd -m hadoop -s /bin/bash
    sudo passwd hadoop
    sudo adduser hadoop sudo
    
  • 修改主機實例名
    sudo vi /etc/hostname
    
    保存退出,并重啟服務器。
  • 更新APT包管理器
    sudo apt-get update
    
  • 重新登錄服務器
    su - hadoop
    

3. 安裝JDK

  • 使用APT管理工具安裝JDK
    sudo apt-get install openjdk-8-jdk
    
  • 驗證安裝
    java -version
    
  • 配置環境變量
    vi ~/.bashrc
    export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
    export PATH=$JAVA_HOME/bin:$PATH
    source ~/.bashrc
    

4. 配置免密登錄

  • 運行ssh
    ssh localhost
    
    如果需要輸入密碼,說明免密登錄需要配置。
  • 生成密鑰
    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    
  • 將公鑰添加到authorized_keys
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    
  • 再次運行測試
    ssh localhost
    

5. 安裝Hadoop

  • 下載并解壓Hadoop
    mkdir /opt/hadoop
    wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz
    sudo tar -zxvf hadoop-3.3.5.tar.gz -C /opt/hadoop
    
  • 配置環境變量
    vi ~/.bashrc
    export HADOOP_HOME=/opt/hadoop/hadoop-3.3.5
    export PATH=$HADOOP_HOME/bin:$PATH
    source ~/.bashrc
    
  • 格式化HDFS
    hdfs namenode -format
    
  • 啟動HDFS
    start-dfs.sh
    
  • 啟動YARN
    start-yarn.sh
    

6. 驗證安裝

  • 檢查HDFS狀態
    hdfs dfsadmin -report
    
  • 檢查YARN狀態
    yarn node -list
    

以上步驟是在Ubuntu上安裝Hadoop的基本流程,具體配置可能會因版本和環境的不同而有所差異。建議在安裝前詳細閱讀相關版本的官方文檔,并根據實際情況進行調整。

0
亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女