Linux上Hadoop怎樣進行權限管理

Linux上Hadoop權限管理指南
在Linux環境中，Hadoop的權限管理需結合Linux系統原生權限與Hadoop自身安全機制，通過用戶管理、HDFS權限配置、Kerberos認證等多層策略，實現對集群資源的安全管控。

一、基礎準備工作：用戶與組管理

Hadoop的權限體系基于Linux用戶和組，需先創建專用用戶及組，隔離集群操作權限。

1. 創建Hadoop用戶組：

   sudo groupadd hadoop  # 創建hadoop組
   

2. 創建Hadoop專用用戶并加入組：

   sudo useradd -r -g hadoop hadoop  # 創建系統用戶hadoop（-r表示系統用戶），并加入hadoop組
   sudo passwd hadoop  # 設置用戶密碼
   

3. 設置Hadoop目錄權限：
   將Hadoop安裝目錄（如/opt/hadoop）及數據目錄的所有權賦予hadoop用戶及組，確保進程有權訪問：

   sudo mkdir -p /opt/hadoop  # 創建安裝目錄
   sudo chown -R hadoop:hadoop /opt/hadoop  # 遞歸修改所有者
   sudo chmod -R 755 /opt/hadoop  # 設置目錄權限（所有者可讀寫執行，組及其他用戶可讀執行）
   

二、HDFS權限核心管理

HDFS作為Hadoop的核心存儲組件，其權限管理遵循“用戶-組-其他”三元模型，支持基本權限設置、ACL細粒度控制及權限繼承。

1. 基本權限命令：
   • 查看權限：hdfs dfs -ls /path/to/directory（顯示文件/目錄的所有者、組及權限，如drwxr-xr-x）；
   • 修改權限：hdfs dfs -chmod [權限值] /path/to/file_or_directory（權限值格式：755=所有者可讀寫執行，組及其他用戶可讀執行；700=僅所有者可完全訪問）；
   • 修改所有者/組：hdfs dfs -chown [用戶]:[組] /path/to/file_or_directory（如hdfs dfs -chown hadoop:hadoop /data）；
   • 遞歸修改權限：hdfs dfs -chmod -R 755 /path/to/directory（遞歸修改目錄及其子項權限）。
2. ACL細粒度控制：
   當需要為特定用戶或組授予額外權限時，使用ACL（訪問控制列表）。例如，允許用戶user1對/data/input有讀寫執行權限：

   hdfs dfs -setfacl -m user:user1:rwx /data/input  # 添加ACL規則
   hdfs dfs -getfacl /data/input  # 查看ACL規則
   

3. 權限繼承：
   創建目錄時，通過-R選項讓子目錄繼承父目錄的權限，避免重復設置：

   hdfs dfs -mkdir -p /data/project1  # 創建父目錄
   hdfs dfs -chmod 755 /data  # 設置父目錄權限
   hdfs dfs -setfacl -m default:user:hadoop:rwx /data  # 設置默認ACL（子目錄繼承）
   

三、Kerberos認證（增強安全性）

Kerberos是Hadoop支持的網絡身份驗證協議，可實現強身份認證，防止未授權用戶訪問。

1. 配置Kerberos參數：
   在core-site.xml中啟用Kerberos認證：

   <property>
     <name>hadoop.security.authentication</name>
     <value>kerberos</value>
   </property>
   <property>
     <name>hadoop.security.authorization</name>
     <value>true</value>
   </property>
   

   在hdfs-site.xml中啟用權限檢查：

   <property>
     <name>dfs.permissions.enabled</name>
     <value>true</value>
   </property>
   <property>
     <name>dfs.namenode.permissions.check-path-access</name>
     <value>true</value>
   </property>
   

2. 獲取與使用Kerberos票據：
   用戶需通過kinit命令獲取票據（Ticket），有效期默認10小時：

   kinit hadoopuser@EXAMPLE.COM  # 輸入密碼獲取票據
   klist  # 查看當前票據
   

   票據過期后需重新獲取，確保持續訪問權限。

四、YARN權限管理

YARN（資源管理系統）的權限主要涉及ResourceManager（資源分配）、NodeManager（節點管理）及ApplicationMaster（應用管理），可通過以下方式管控：

1. Web UI權限：
   YARN ResourceManager的Web界面默認監聽8088端口，可通過Linux防火墻（iptables/firewalld）限制訪問IP，或結合Kerberos認證增強安全性。
2. 命令行權限：
   使用yarn rmadmin命令管理集群狀態，如刷新節點列表：

   yarn rmadmin -refreshNodes  # 刷新節點信息
   

3. 資源隊列權限：
   通過YARN的隊列機制（如Capacity Scheduler）限制用戶/組的資源使用量，例如在yarn-site.xml中配置隊列權限：

   <property>
     <name>yarn.scheduler.capacity.root.default.allow-undeclared-pools</name>
     <value>false</value>
   </property>
   

五、高級權限策略

1. Ranger/Sentry集中管理：
   Apache Ranger（推薦）和Sentry是Hadoop生態的集中式權限管理框架，支持：
   • 細粒度權限（表/列級訪問控制）；
   • 審計日志（記錄用戶操作）；
   • 動態策略調整（無需重啟集群）。
     需單獨部署并集成到Hadoop集群，配置策略模板（如“允許hadoop用戶讀取/data/input目錄”）。
2. 審計日志啟用：
   在core-site.xml中配置審計日志參數，記錄用戶訪問行為：

   <property>
     <name>hadoop.security.audit.log.enabled</name>
     <value>true</value>
   </property>
   <property>
     <name>hadoop.security.audit.log.file</name>
     <value>/var/log/hadoop/audit.log</value>
   </property>
   <property>
     <name>hadoop.security.audit.log.maxage</name>
     <value>30</value>  <!-- 日志保留天數 -->
   </property>
   

   定期檢查審計日志（如tail -f /var/log/hadoop/audit.log），及時發現異常訪問。

六、日常維護建議

1. 定期審查權限：
   每周檢查HDFS目錄權限（如hdfs dfs -ls /user），確保無過度授權（如避免使用777權限）；
2. 最小權限原則：
   為用戶分配僅滿足需求的權限（如數據分析用戶僅需r-x權限，無需w權限）；
3. 備份關鍵配置：
   定期備份core-site.xml、hdfs-site.xml等配置文件，防止誤修改導致權限失效；
4. 監控權限變更：
   使用工具（如ELK Stack）監控權限配置文件的變更，及時預警非法修改。

通過以上步驟，可在Linux環境下構建多層防御的Hadoop權限管理體系，有效保護集群數據與資源的安全。