CentOS HDFS權限設置指南

一、前置準備：配置Hadoop核心參數

在設置HDFS權限前，需先修改Hadoop核心配置文件，啟用權限管理及ACL功能。

1. 修改core-site.xml

添加或修改以下屬性，允許代理用戶訪問（<username>替換為實際需要代理的用戶，如hadoop）：

<property>
    <name>hadoop.proxyuser.<username>.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.<username>.groups</name>
    <value>*</value>
</property>

2. 修改hdfs-site.xml

啟用權限檢查和ACL功能，確保以下屬性設置為true：

<property>
    <name>dfs.permissions.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.namenode.acls.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.datanode.acls.enabled</name>
    <value>true</value>
</property>

修改完成后，重啟HDFS服務使配置生效：

systemctl restart hadoop-namenode
systemctl restart hadoop-datanode

二、創建Linux用戶與組

HDFS權限通常與Linux系統的用戶/組關聯，建議為Hadoop集群創建專用用戶和組。

1. 創建組

sudo groupadd hadoopgroup  # 創建Hadoop專用組

2. 創建用戶并加入組

sudo useradd -G hadoopgroup hadoopuser  # 創建用戶并加入hadoopgroup
sudo passwd hadoopuser  # 設置用戶密碼

三、基礎權限設置：chmod/chown/chgrp

使用Hadoop命令行工具設置HDFS文件/目錄的POSIX權限（類似Linux系統）。

1. 修改文件/目錄權限

• 文件權限（如644：所有者可讀寫，組和其他人可讀）：

  hdfs dfs -chmod 644 /path/to/file
  

• 目錄權限（如755：所有者可讀寫執行，組和其他人可讀執行）：

  hdfs dfs -chmod 755 /path/to/directory
  

• 遞歸修改權限（適用于目錄及其子項）：

  hdfs dfs -chmod -R 755 /path/to/directory
  

2. 修改所有者/所屬組

• 修改所有者（如將/path/to/file所有者設為hadoopuser）：

  hdfs dfs -chown hadoopuser:hadoopgroup /path/to/file
  

• 修改所屬組（如將/path/to/directory所屬組設為hadoopgroup）：

  hdfs dfs -chgrp hadoopgroup /path/to/directory
  

四、細粒度權限控制：ACL（訪問控制列表）

ACL允許為特定用戶或組設置額外權限，突破POSIX權限的限制。

1. 設置ACL權限

• 為用戶添加權限（如為用戶user1添加rwx權限）：

  hdfs dfs -setfacl -m user:user1:rwx /path/to/directory
  

• 為組添加權限（如為組hadoopgroup添加r-x權限）：

  hdfs dfs -setfacl -m group:hadoopgroup:r-x /path/to/directory
  

• 設置默認ACL（新創建的子項繼承父目錄權限）：

  hdfs dfs -setfacl -m d:user:user1:rwx /path/to/directory
  

2. 查看與刪除ACL

• 查看ACL規則：

  hdfs dfs -getfacl /path/to/directory
  

• 刪除用戶權限（如刪除user1的所有權限）：

  hdfs dfs -setfacl -x user:user1 /path/to/directory
  

• 刪除所有ACL規則（恢復為默認權限）：

  hdfs dfs -setfacl -b /path/to/directory
  

五、驗證權限設置

設置完成后，需通過以下命令驗證權限是否生效。

1. 列出目錄內容（查看權限）

hdfs dfs -ls /path/to/directory

輸出示例：

drwxr-xr-x   hadoopuser hadoopgroup  /path/to/directory

2. 嘗試訪問文件

• 讀取文件：

  hdfs dfs -cat /path/to/file
  

• 下載文件：

  hdfs dfs -copyToLocal /path/to/file ./local_file
  

若權限設置正確，具備相應權限的用戶可正常訪問；無權限用戶會提示Permission denied。

注意事項

1. 安全模式：修改權限前，確保HDFS已退出安全模式（可通過hdfs dfsadmin -safemode get查看狀態，若在安全模式需執行hdfs dfsadmin -safemode leave退出）。
2. 權限繼承：父目錄的權限會繼承給子目錄/文件，若需覆蓋，需顯式修改子項權限。
3. 日志監控：定期檢查HDFS審計日志（通常位于/var/log/hadoop/hdfs/），確保權限策略未被違規繞過。
4. Kerberos集成：若集群啟用了Kerberos認證，需先通過kinit獲取票據再進行權限操作（如sudo kinit hdfs）。