Ubuntu HDFS集群搭建步驟

在Ubuntu上搭建HDFS集群是一個相對復雜的過程，涉及多個步驟。以下是一個詳細的步驟指南：

環境準備

1. 更新系統：

sudo apt update && sudo apt upgrade -y

2. 安裝基礎工具：

sudo apt install -y build-essential openssh-server

3. 安裝Java環境：

wget https://download.java.net/java/GA/jdk8/9/GPL/openjdk-8u221-b11-linux-x64.tar.gz
tar -zxvf openjdk-8u221-b11-linux-x64.tar.gz -C /usr/lib/jvm

配置環境變量：

sudo nano /etc/profile
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_221
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile

配置Hadoop環境

1. 下載Hadoop： 從Apache Hadoop官網下載所需版本的Hadoop安裝包。例如，下載Hadoop 3.3.4版本：

wget http://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz
mv hadoop-3.3.4 hadoop

2. 配置Hadoop環境變量： 編輯~/.bashrc文件，添加以下內容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

執行source ~/.bashrc使配置生效。

設置SSH無密碼登錄

1. 生成SSH密鑰：

ssh-keygen -t rsa

2. 復制公鑰到其他節點：

ssh-copy-id user@slave_node_ip

配置HDFS

1. 修改配置文件：

• core-site.xml：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://namenode:9000</value>
  </property>
</configuration>

• hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/path/to/namenode/data</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/path/to/datanode/data</value>
  </property>
</configuration>

啟動HDFS

1. 格式化NameNode：

hdfs namenode -format

2. 啟動HDFS服務：

start-dfs.sh

驗證HDFS服務

1. 檢查HDFS狀態：

hdfs dfsadmin -report

2. 上傳文件測試：

hdfs dfs -put local_file_path hdfs://namenode_ip:port/hdfs_directory

注意事項

• 確保所有節點在同一個網絡中，能夠互相訪問。
• 配置文件中的路徑和IP地址需要根據實際情況進行修改。
• 啟動HDFS服務后，可以通過Web界面（如http://namenode:50070）查看集群狀態。

以上步驟提供了一個基本的指南，實際搭建過程中可能會遇到更多細節問題。建議在開始前詳細閱讀Hadoop官方文檔，并根據實際情況進行調整。