Linux中Hadoop集群怎樣搭建

在Linux中搭建Hadoop集群是一個相對復雜的過程，需要多個步驟和配置。以下是一個基本的搭建指南，假設你使用的是CentOS 7作為操作系統。

1. 環境準備

• 硬件要求：確保所有節點（Master和Slave）滿足最低配置要求，例如雙核CPU、8GB內存、100GB硬盤。
• 網絡配置：所有節點應在同一網絡中，并能夠互相通信。

2. 安裝Java環境

Hadoop是基于Java開發的，因此需要在所有節點上安裝Java環境。

sudo yum install -y java-1.8.0-openjdk-devel

驗證Java安裝：

java -version

3. 下載并解壓Hadoop

從Hadoop官方網站下載最新版本的Hadoop安裝包，并解壓到所有節點中。

wget https://downloads.apache.org/hadoop/core/hadoop-3.2.12/hadoop-3.2.12.tar.gz
tar -xzf hadoop-3.2.12.tar.gz -C /usr/local/

4. 配置環境變量

編輯/etc/profile文件，添加以下內容：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

使配置生效：

source /etc/profile

5. 配置Hadoop

5.1 修改Hadoop配置文件

主要配置文件包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。以下是一個示例配置：

core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
</configuration>

hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/hdfs/namenode</value>
    </property>
</configuration>

mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>resourcemanager</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

5.2 配置SSH免密登錄

在所有節點上設置SSH免密碼登錄，以便Hadoop集群節點之間可以互相通信。

在Master節點上生成密鑰：

ssh-keygen -t rsa

將公鑰復制到Slave節點：

ssh-copy-id user@slave_node_ip

6. 格式化NameNode

在Master節點上格式化HDFS文件系統：

hdfs namenode -format

7. 啟動Hadoop集群

分別在Master節點和Slave節點上啟動Hadoop集群的各個組件：

start-dfs.sh
start-yarn.sh

8. 檢查集群狀態

使用Hadoop自帶的命令行工具檢查集群的狀態：

hdfs dfsadmin -report

訪問Hadoop Web界面，通常是http://namenode_ip:50070。

9. 配置監控和管理工具（可選）

可以使用Ambari等工具來監控和管理Hadoop集群。

安裝Ambari：

wget https://downloads.apache.org/ambari/ambari/2.7.3/packages/apache-ambari-2.7.3.0-bin.tar.gz
tar -xzf apache-ambari-2.7.3.0-bin.tar.gz
cd apache-ambari-2.7.3.0
./bin/ambari-server setup
./bin/ambari-server start

訪問Ambari Web界面，通常是http://namenode_ip:8080。

通過以上步驟，你可以成功在Linux上搭建一個基本的Hadoop集群。根據具體需求，你可能還需要進行更多的配置和優化。