Hadoop在Linux上如何配置

在Linux上配置Hadoop的步驟如下：

1. 配置Linux系統基礎環境

• 查看服務器IP地址：使用命令 ip address show 查看服務器IP地址。
• 設置主機名：使用命令 hostnamectl set-hostname master 設置主機名為master。
• 綁定主機名與IP地址：可以通過修改 /etc/hosts 文件來實現。

2. 安裝Java環境

• 安裝Java：根據Linux發行版，使用相應的包管理器安裝JDK。例如，在Ubuntu上使用 sudo apt install openjdk-8-jdk，在CentOS上使用 sudo yum install java-1.8.0-openjdk-devel。
• 配置Java環境變量：編輯 /etc/profile 文件，添加 export JAVA_HOME=/usr/local/java 和 export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin，然后使用 source /etc/profile 使其生效。

3. 下載并解壓Hadoop安裝包

• 從Apache官方網站下載Hadoop安裝包，例如Hadoop 2.7.6版本，使用命令 wget http://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/hadoop-2.7.6.tar.gz。
• 解壓安裝包到指定目錄，例如 /usr/local/hadoop-2.7.6。

4. 配置Hadoop環境變量

• 編輯 .bashrc 文件：添加以下內容：

  export HADOOP_HOME=/usr/local/hadoop-2.7.6
  export JAVA_HOME=/usr/local/java
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  

• 使修改生效：使用命令 source ~/.bashrc。

5. 配置Hadoop配置文件

• 配置 core-site.xml：

  <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://master:9000</value>
      </property>
  </configuration>
  

• 配置 hdfs-site.xml：

  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>/data/hadoop/hdfs/name</value>
      </property>
      <property>
          <name>dfs.datanode.data.dir</name>
          <value>/data/hadoop/hdfs/data</value>
      </property>
  </configuration>
  

• 配置 mapred-site.xml：

  <configuration>
      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
      </property>
  </configuration>
  

6. 格式化HDFS

• 在啟動Hadoop之前，需要格式化HDFS：

  hdfs namenode -format
  

7. 啟動Hadoop服務

• 啟動HDFS：

  start-dfs.sh
  

• 啟動YARN：

  start-yarn.sh
  

8. 驗證Hadoop是否成功安裝

• 使用命令 jps 查看Hadoop進程，如果顯示了NameNode和DataNode的進程，說明Hadoop已成功配置。

以上步驟是在Linux系統上配置Hadoop的基本流程，具體配置可能會因Hadoop版本和Linux發行版的不同而有所差異。建議參考官方文檔進行詳細配置。