怎樣配置centos的hdfs

配置CentOS上的Hadoop分布式文件系統（HDFS）涉及多個步驟，包括安裝Java環境、配置SSH免密登錄、下載和解壓Hadoop、配置Hadoop環境變量、修改配置文件以及啟動HDFS服務。以下是一個詳細的步驟指南：

1. 安裝Java環境

首先，確保你的CentOS系統上安裝了Java運行環境。你可以從Oracle官網下載并安裝JDK。

wget https://download.oracle.com/otn/java/jdk/8u212-b09/d7fc27d8d8f94d369ac70d8d89f8a2f29d/jdk-8u212-linux-x64.tar.gz
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /usr/local/
export JAVA_HOME=/usr/local/jdk1.8.0_212
export PATH=$JAVA_HOME/bin:$PATH

2. 配置SSH免密登錄

為了在節點之間進行無密碼登錄，需要配置SSH密鑰。

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

3. 下載和解壓Hadoop

下載所需版本的Hadoop安裝包，并解壓到指定目錄。

wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.2.tar.gz
tar -zxvf hadoop-2.6.0-cdh5.16.2.tar.gz -C /usr/local/
export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.16.2
export PATH=$HADOOP_HOME/bin:$PATH

4. 配置Hadoop環境變量

編輯/etc/profile文件，添加Hadoop環境變量。

vi /etc/profile
export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.16.2
export PATH=$HADOOP_HOME/bin:$PATH
source /etc/profile

5. 修改Hadoop配置文件

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/hdfs/datanode</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

6. 配置slaves文件

在/etc/hadoop目錄下創建或編輯slaves文件，添加所有DataNode的主機名。

node2
node3

7. 格式化NameNode

在NameNode節點上執行以下命令格式化文件系統。

hdfs namenode -format

8. 啟動HDFS

在NameNode節點上啟動HDFS服務。

start-dfs.sh

9. 驗證HDFS配置

可以通過Web界面驗證HDFS配置是否成功。

http://namenode:50070

請注意，以上步驟是一個基本的指南，具體配置可能會根據你的實際環境和需求有所不同。確保在進行任何配置更改后，都進行了適當的測試以驗證其正確性。