HDFS在CentOS如何部署配置

在CentOS上部署和配置Hadoop分布式文件系統（HDFS）是一個相對復雜的過程，但以下步驟將指導你完成整個過程。以下是基于CentOS 7的詳細步驟：

準備工作

1. 操作系統：確保你的操作系統是CentOS 7或更高版本。
2. Java環境：安裝JDK 8，因為Hadoop是基于Java的。
3. SSH配置：配置SSH以便在節點之間進行無密碼登錄。

安裝和配置環境

1. 安裝JDK：

   • 下載JDK 8安裝包并解壓到指定目錄，例如 /usr/lib/java-1.8.0。
   • 配置環境變量，編輯 /etc/profile 文件，添加以下內容：

     export JAVA_HOME=/usr/lib/java-1.8.0/jdk1.8.0_131
     export JRE_HOME=/usr/lib/java-1.8.0/jre1.8.0_131
     export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
     export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
     export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64:$JAVA_HOME/jre/lib/amd64/server
     

   • 使配置生效：

     source /etc/profile
     

2. 安裝SSH：

   • 安裝OpenSSH客戶端和服務器：

     sudo yum install -y openssh-server openssh-clients
     

   • 啟動并設置SSH服務開機自啟：

     sudo systemctl start sshd
     sudo systemctl enable sshd
     

   • 生成SSH密鑰對：

     ssh-keygen -t rsa -P ""
     

   • 將公鑰復制到授權的密鑰文件：

     cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
     

   • 測試SSH無密碼登錄：

     ssh localhost
     

3. 安裝Hadoop：

   • 從Apache Hadoop官方網站下載最新版本的Hadoop，或者使用wget命令直接下載。
   • 解壓Hadoop到指定目錄，例如 /usr/local/hadoop。
   • 配置環境變量，編輯 /etc/profile 文件，添加以下內容：

     export HADOOP_HOME=/usr/local/hadoop
     export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
     

   • 使配置生效：

     source /etc/profile
     

配置Hadoop

1. 配置 core-site.xml：

   • 配置Hadoop文件系統的默認URI：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
         </property>
     </configuration>
     

2. 配置 hdfs-site.xml：

   • 配置HDFS的存儲目錄和副本數：

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>1</value>
         </property>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/usr/local/hadoop/hdfs/namenode</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/usr/local/hadoop/hdfs/datanode</value>
         </property>
     </configuration>
     

啟動HDFS

1. 格式化NameNode：

   • 在啟動Hadoop集群前需要格式化NameNode：

     hdfs namenode -format
     

2. 啟動HDFS：

   • 啟動HDFS服務：

     sbin/start-dfs.sh
     

3. 驗證啟動：

   • 使用 jps 命令查看啟動的進程，確保NameNode和DataNode進程已啟動。
   • 在瀏覽器中訪問 http://localhost:50070，查看HDFS的Web界面。

常見問題

• HDFS中的block默認保存幾份？：默認保存三份。
• HDFS的blockSize多大？：Hadoop 2.7.2版本之前是64M，Hadoop 2.7.3版本之后默認是128M。
• HDFS的數據存儲是哪一部分？：DataNode負責數據存儲。
• Secondary NameNode的目的是什么？：幫助NameNode合并編輯日志，減少NameNode啟動時間。

通過以上步驟，你應該能夠在CentOS上成功部署和配置HDFS。如果在啟動過程中遇到問題，請檢查日志文件以獲取更多信息。