HDFS在CentOS上的安裝步驟是什么

在CentOS上安裝HDFS的步驟如下：

準備工作

1. 設置root賬戶密碼：

   passwd root
   

2. 安裝JDK：
   • 下載JDK 1.8（例如：jdk-8u161-linux-x64.tar.gz）。
   • 解壓并配置環境變量：

     tar zxvf jdk-8u161-linux-x64.tar.gz -C /usr/local/
     vi /etc/profile
     export JAVA_HOME=/usr/local/jdk1.8.0_161
     export PATH=$PATH:$JAVA_HOME/bin
     source /etc/profile
     

3. 配置網絡：
   • 編輯/etc/sysconfig/network-scripts/ifcfg-eth0文件，設置靜態IP地址、網關和DNS。
   • 例如：

     DEVICE=eth0
     ONBOOT=yes
     BOOTPROTO=static
     IPADDR=192.168.1.100
     NETMASK=255.255.255.0
     GATEWAY=192.168.1.1
     DNS1=8.8.8.8
     DNS2=8.8.4.4
     

4. 配置SSH免密登錄：
   • 生成SSH密鑰：

     ssh-keygen -t rsa
     cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
     chmod 600 ~/.ssh/authorized_keys
     ssh-copy-id root@192.168.1.100
     ssh-copy-id root@192.168.1.101
     ssh-copy-id root@192.168.1.102
     

安裝Hadoop

1. 下載Hadoop：
   • 使用國內鏡像下載Hadoop 2.7.3（例如）：

     wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
     

2. 解壓Hadoop：

   tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/hadoop --strip-components=15
   

3. 配置Hadoop環境變量：
   • 編輯/etc/profile文件，添加以下內容：

     export HADOOP_HOME=/usr/local/hadoop
     export HADOOP_COMMON_HOME=$HADOOP_HOME
     export HADOOP_HDFS_HOME=$HADOOP_HOME
     export HADOOP_MAPRED_HOME=$HADOOP_HOME
     export HADOOP_YARN_HOME=$HADOOP_HOME
     export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
     export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
     source /etc/profile
     

配置Hadoop配置文件

1. 配置core-site.xml：
   • 編輯/usr/local/hadoop/etc/hadoop/core-site.xml文件，添加以下內容：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://192.168.1.100:9000</value>
         </property>
     </configuration>
     

2. 配置hdfs-site.xml：
   • 編輯/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件，添加以下內容：

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>2</value>
         </property>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/usr/local/hadoop/hdfs/namenode</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/usr/local/hadoop/hdfs/datanode</value>
         </property>
     </configuration>
     

3. 配置mapred-site.xml（可選）：
   • 編輯/usr/local/hadoop/etc/hadoop/mapred-site.xml文件，添加以下內容：

     <configuration>
         <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
         </property>
     </configuration>
     

4. 配置yarn-site.xml（可選）：
   • 編輯/usr/local/hadoop/etc/hadoop/yarn-site.xml文件，添加以下內容：

     <configuration>
         <property>
             <name>yarn.resourcemanager.hostname</name>
             <value>192.168.1.100</value>
         </property>
         <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
         </property>
     </configuration>
     

格式化NameNode并啟動HDFS

1. 格式化NameNode：

   hdfs namenode -format
   

2. 啟動HDFS：

   sbin/start-dfs.sh
   

3. 驗證HDFS狀態：

   jps
   

   你應該能看到NameNode、DataNode和Secondary NameNode進程在運行。

驗證安裝

1. 訪問HDFS Web界面：
   • 打開瀏覽器，訪問http://192.168.1.100:50070，登錄后查看HDFS狀態。

以上步驟涵蓋了在CentOS上安裝和配置HDFS的基本流程。請根據具體需求和環境進行調整。