溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Linux環境下部署Hadoop 2.x的方式

發布時間:2021-09-16 18:24:18 來源:億速云 閱讀:113 作者:chen 欄目:云計算
# Linux環境下部署Hadoop 2.x的方式

## 環境準備
1. **系統要求**:推薦使用Ubuntu/CentOS等主流Linux發行版,確保已安裝JDK 1.7+。
2. **用戶配置**:創建專用用戶(如`hadoop`)并配置SSH免密登錄:
   ```bash
   ssh-keygen -t rsa
   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

部署步驟

  1. 下載解壓

    wget https://archive.apache.org/dist/hadoop/core/hadoop-2.10.1/hadoop-2.10.1.tar.gz
    tar -xzvf hadoop-2.10.1.tar.gz -C /opt/
    
  2. 配置環境變量: 編輯~/.bashrc,追加:

    export HADOOP_HOME=/opt/hadoop-2.10.1
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    
  3. 核心配置

    • core-site.xml:配置fs.defaultFS為HDFS地址(如hdfs://localhost:9000
    • hdfs-site.xml:設置副本數(dfs.replication)等參數
    • yarn-site.xml:啟用YARN資源管理器
  4. 格式化與啟動

    hdfs namenode -format  # 首次需格式化
    start-dfs.sh && start-yarn.sh
    

驗證

通過jps命令檢查進程,訪問http://<IP>:50070確認Web UI正常顯示。 “`

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女