CentOS HDFS使用案例分享

在CentOS上部署和使用Hadoop分布式文件系統（HDFS）是一個常見的任務，尤其是在大數據處理和分析的場景中。以下是一個詳細的使用案例分享，涵蓋了從環境搭建到基本操作的各個方面。

環境搭建

1. 準備工作

• 操作系統：確保所有節點使用的是CentOS 7或更高版本。
• Java環境：安裝JDK 8，因為Hadoop是基于Java的。
• SSH配置：配置SSH以便在節點之間進行無密碼登錄。

2. 安裝Hadoop

• 從Apache Hadoop官網下載對應版本的Hadoop安裝包。
• 解壓安裝包到你指定的目錄，例如 /usr/local/hadoop。

3. 配置環境變量

• 編輯 /etc/profile 文件，添加Hadoop的路徑和庫路徑。
• 使用 source /etc/profile 命令使配置生效。

4. 配置Hadoop配置文件

• core-site.xml：配置HDFS的默認文件系統和臨時目錄。
• hdfs-site.xml：配置HDFS的數據節點目錄、副本數等。
• mapred-site.xml：配置MapReduce框架。
• yarn-site.xml：配置YARN資源管理器。

5. 格式化NameNode

• 在NameNode節點上執行 hdfs namenode -format 命令，初始化文件系統。

6. 啟動HDFS

• 使用以下命令啟動HDFS集群：

  /opt/hadoop/sbin/start-dfs.sh
  

7. 驗證配置

• 使用 jps 命令檢查進程，確保NameNode和DataNode正在運行。
• 通過Web界面（通常是 http://namenode-host:50070）訪問HDFS。

基本操作

1. 上傳文件到HDFS

hdfs dfs -put /usr/local/hadoop-2.8.5/NOTICE.txt /input/

2. 從HDFS下載文件

hdfs dfs -get /input/README.txt ./hdfs_backup.txt

3. 刪除文件或目錄

hdfs dfs -rm /input/README.txt
hdfs dfs -rm -r /output

4. 創建目錄

hdfs dfs -mkdir /output
hdfs dfs -mkdir -p /output/abc/123

5. 復制文件或目錄

hdfs dfs -cp /input/NOTICE.txt /input/NOTICE2.txt
hdfs dfs -mv /input/NOTICE.txt /input/NOTICE3.txt

6. 查看文件內容

hdfs dfs -cat /input/NOTICE3.txt

高級配置與優化

1. 高可用性（HA）配置

• 配置兩個NameNode（一個活動，一個被動）以及至少三個JournalNode。
• 編輯 hdfs-site.xml 文件，添加相關配置。

2. 性能優化

• 調整NameNode內存。
• 增加DataNode的心跳并發處理能力。
• 啟用HDFS回收站。

3. 安全性

• 實施基于角色的訪問控制（RBAC）和訪問控制列表（ACLs）。
• 啟用數據加密。
• 使用Kerberos等認證協議。

通過以上步驟，您可以在CentOS上成功搭建和配置HDFS，并進行基本操作和高級配置與優化。根據具體需求和環境，選擇最適合的配置策略。