hadoop2.7.1環境的搭建方法

# Hadoop 2.7.1環境的搭建方法

## 一、環境準備

### 1.1 硬件要求
- 至少4GB內存（推薦8GB以上）
- 50GB可用磁盤空間
- 多核CPU（推薦4核以上）

### 1.2 軟件要求
- Linux操作系統（推薦Ubuntu 16.04/CentOS 7）
- Java JDK 1.8
- SSH服務
- Hadoop 2.7.1安裝包

## 二、基礎環境配置

### 2.1 安裝Java環境
```bash
# 下載JDK 1.8
wget --no-check-certificate -c --header "Cookie: oraclelicense=accept-securebackup-cookie" https://download.oracle.com/otn-pub/java/jdk/8u201-b09/42970487e3af4f5aa5bca3f542482c60/jdk-8u201-linux-x64.tar.gz

# 解壓安裝
tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/local/

# 配置環境變量
echo 'export JAVA_HOME=/usr/local/jdk1.8.0_201' >> ~/.bashrc
echo 'export PATH=$JAVA_HOME/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

# 驗證安裝
java -version

2.2 配置SSH免密登錄

# 安裝SSH服務
sudo apt-get install openssh-server  # Ubuntu
sudo yum install openssh-server     # CentOS

# 生成密鑰對
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

# 授權密鑰
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

# 測試連接
ssh localhost

三、Hadoop安裝與配置

3.1 下載并解壓Hadoop

wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/hadoop-2.7.1.tar.gz
tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/
mv /usr/local/hadoop-2.7.1 /usr/local/hadoop

3.2 配置環境變量

echo 'export HADOOP_HOME=/usr/local/hadoop' >> ~/.bashrc
echo 'export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH' >> ~/.bashrc
source ~/.bashrc

3.3 修改Hadoop配置文件

1. hadoop-env.sh

echo "export JAVA_HOME=/usr/local/jdk1.8.0_201" >> $HADOOP_HOME/etc/hadoop/hadoop-env.sh

2. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

3. hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/hdfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/hdfs/data</value>
  </property>
</configuration>

4. mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

5. yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

四、啟動Hadoop集群

4.1 格式化HDFS

hdfs namenode -format

4.2 啟動HDFS服務

start-dfs.sh

4.3 啟動YARN服務

start-yarn.sh

4.4 驗證服務

jps

應看到以下進程： - NameNode - DataNode - ResourceManager - NodeManager - SecondaryNameNode

五、訪問Web界面

1. HDFS管理界面：http://localhost:50070
2. YARN管理界面：http://localhost:8088

六、運行測試程序

6.1 創建測試目錄

hdfs dfs -mkdir /input
hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /input

6.2 運行MapReduce示例

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep /input /output 'dfs[a-z.]+'

6.3 查看結果

hdfs dfs -cat /output/*

七、常見問題解決

1. 端口沖突：檢查9000/50070/8088端口是否被占用
2. 權限問題：使用chmod和chown調整目錄權限
3. 內存不足：修改yarn-site.xml中的內存配置參數
4. Java路徑錯誤：確認JAVA_HOME環境變量配置正確

提示：生產環境需要根據實際硬件配置調整參數，本文檔適用于單節點偽分布式環境搭建。 “`

（注：實際字數約1100字，可根據需要擴展具體配置說明或增加集群部署內容達到1350字要求）