HDFS在CentOS上的安裝步驟

在CentOS上安裝HDFS的步驟如下：

1. 配置環境

修改時區（可選）

# 編輯配置文件 /etc/profile
vim /etc/profile
# 添加如下內容
tz='asia/shanghai'; export tz
# 保存退出后，執行 source 命令，讓修改立即生效
source /etc/profile

新建用戶

# 新建用戶 zhang
useradd zhang
# 修改密碼
passwd zhang

修改 /etc/sudoers 文件權限

# 切換到超級管理員
su root
# 修改文件權限，允許 root 可以修改文件
chmod u+w,g+w /etc/sudoers
# 編輯配置文件 /etc/sudoers
vim /etc/sudoers
# 在 /etc/sudoers 文件中，找到 root 所在的位置，在 sudoers 文件中添加如下內容
## allow root to run any commands anywhere
root all=(all) all
# 找到這一行
zhang all=(all) nopassword:all
# 添加完成后，在切換回普通用戶 su zhang
# 下面的所有操作都是在普通用戶 zhang 下完成的

修改靜態IP

# 在普通用戶下使用如下命令
sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 修改添加內容如下
ipaddr=192.168.184.11
dns1=8.8.8.8
dns2=114.114.114.114
netmask=255.255.255.0
gateway=192.168.184.2
# 修改后的內容如下
TYPE="ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
# 這里修改為靜態
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="1249af60-5e"

2. 安裝JDK

下載JDK

# 下載JDK 8
curl -LO "http://download.oracle.com/otn-pub/java/jdk/8u71-b15/jdk-8u71-linux-x64.rpm"
# 安裝JDK
rpm -Uvhjdk-8u71-linux-x64.rpm

配置環境變量

# 打開 /etc/profile
vim /etc/profile
# 在文件最后面添加如下內容
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
# 讓配置生效
source /etc/profile

3. 配置SSH免密登錄

生成SSH KEY并將其拷貝到各個節點主機上

# 生成SSH KEY
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# 添加公鑰到 authorized_keys 文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 拷貝公鑰到其他節點
ssh-copy-id root@node2
ssh-copy-id root@node3

4. 安裝Hadoop

下載Hadoop

# 下載Hadoop 3.1.3版本
curl -O http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz
# 解壓到 /usr/local 目錄
tar zxvf hadoop-3.1.3.tar.gz -C /usr/local --strip-components=15

配置環境變量

# 打開配置文件 /etc/profile
vim /etc/profile
# 添加如下內容
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bins
# 讓配置生效
source /etc/profile

配置HDFS相關文件

# 配置 core-site.xml
cd /usr/local/hadoop/etc/hadoop
vim core-site.xml
# 配置 hdfs-site.xml
vim hdfs-site.xml
# 配置 yarn-site.xml
vim yarn-site.xml
# 配置 mapred-site.xml
vim mapred-site.xml

5. 啟動HDFS

格式化NameNode

hdfs namenode -format

啟動HDFS

./sbin/start-dfs.sh

驗證HDFS是否啟動成功

jps

請注意，以上步驟是基于特定版本的Hadoop和CentOS進行編寫的，具體版本可能會有所不同，需要根據實際情況進行調整。