Debian下HDFS安裝步驟是什么

Debian下HDFS安裝步驟（單機/偽分布式模式）

1. 系統初始化

• 更新系統：運行sudo apt update && sudo apt upgrade -y，確保系統軟件包為最新版本。
• 安裝必要工具：安裝網絡工具、SSH服務和vim編輯器，用于后續配置：
  sudo apt install net-tools vim openssh-server -y。
• 關閉防火墻（可選）：若無需嚴格安全隔離，可臨時關閉防火墻（生產環境建議配置規則）：
  sudo ufw disable。

2. 安裝Java環境

Hadoop依賴Java運行環境，推薦安裝OpenJDK 11（兼容性最佳）：

• 運行sudo apt install openjdk-11-jdk -y安裝JDK。
• 驗證安裝：java -version，輸出應包含Java版本信息（如openjdk version "11.0.xx"）。

3. 下載并解壓Hadoop

• 下載Hadoop：訪問Apache Hadoop官網（hadoop.apache.org），選擇穩定版本（如3.3.6），使用wget下載tar.gz包：
  wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz。
• 解壓并移動：將包解壓至/usr/local/目錄，并重命名為hadoop：
  sudo tar -xzvf hadoop-3.3.6.tar.gz -C /usr/local/ && sudo mv /usr/local/hadoop-3.3.6 /usr/local/hadoop。
• 創建專用用戶（可選但推薦）：避免使用root運行Hadoop，提升安全性：
  sudo adduser hadoop && sudo usermod -aG sudo hadoop。

4. 配置Hadoop環境變量

• 編輯全局環境變量文件/etc/profile，添加以下內容（替換路徑為實際安裝路徑）：

  export HADOOP_HOME=/usr/local/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64  # 根據實際Java路徑調整
  

• 使配置生效：source /etc/profile。
• 驗證環境變量：echo $HADOOP_HOME應輸出Hadoop安裝路徑。

5. 配置HDFS核心文件

Hadoop的主配置文件位于$HADOOP_HOME/etc/hadoop/目錄，需修改以下文件：

• core-site.xml（定義HDFS默認文件系統）：

  <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>  <!-- 單機模式下指向本地 -->
      </property>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>/tmp/hadoop-${user.name}</value>  <!-- 臨時目錄 -->
      </property>
  </configuration>
  

• hdfs-site.xml（定義HDFS副本數和數據目錄）：

  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>1</value>  <!-- 單機模式設為1，集群模式需≥3 -->
      </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>/opt/hadoop/hdfs/namenode</value>  <!-- NameNode元數據目錄 -->
      </property>
      <property>
          <name>dfs.datanode.data.dir</name>
          <value>/opt/hadoop/hdfs/datanode</value>  <!-- DataNode數據目錄 -->
      </property>
  </configuration>
  

• mapred-site.xml（定義MapReduce框架）：若文件不存在，可復制模板生成：
  cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml，然后編輯：

  <configuration>
      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>  <!-- 使用YARN作為資源管理器 -->
      </property>
  </configuration>
  

• yarn-site.xml（定義YARN配置）：

  <configuration>
      <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>  <!-- Shuffle服務 -->
      </property>
      <property>
          <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
          <value>org.apache.hadoop.mapred.ShuffleHandler</value>
      </property>
  </configuration>
  

6. 格式化NameNode

NameNode是HDFS的核心元數據節點，首次啟動前需格式化（注意：格式化會清除已有數據）：

• 在終端運行：hdfs namenode -format，等待格式化完成（輸出“Format successful”即為成功）。

7. 啟動HDFS服務

• 啟動HDFS：在終端運行start-dfs.sh，啟動NameNode和DataNode服務。
• 驗證進程：運行jps，應看到NameNode、DataNode進程（若未顯示，檢查日志文件$HADOOP_HOME/logs/）。
• 查看HDFS狀態：運行hdfs dfsadmin -report，查看DataNode是否注冊成功。

8. 驗證HDFS功能

• 創建測試目錄：hdfs dfs -mkdir -p /test。
• 上傳測試文件：將本地文件（如/usr/src/linux-source-2.6.27/Doc*/memory-barriers.txt）上傳至HDFS：
  hdfs dfs -put /usr/src/linux-source-2.6.27/Doc*/memory-barriers.txt /test。
• 列出目錄內容：hdfs dfs -ls /test，若能看到上傳的文件，則說明HDFS安裝成功。

注意事項

• 網絡配置：若為集群模式，需確保所有節點IP和主機名已添加至/etc/hosts文件，并配置靜態IP。
• SSH免密登錄：集群模式下，NameNode需能免密登錄所有DataNode（使用ssh-keygen和ssh-copy-id配置）。
• 端口沖突：若端口（如9000、50070）被占用，可在配置文件中修改為其他端口。
• 日志排查：若啟動失敗，可通過$HADOOP_HOME/logs/目錄下的日志文件（如namenode.log）定位問題。