在Debian系統上管理Hadoop依賴涉及多個方面，包括安裝和配置、環境變量設置、啟動和停止服務、文件系統管理、作業管理、監控和管理以及使用APT管理軟件包等。以下是詳細的步驟：
安裝JDK：首先需要在Debian系統上安裝Java Development Kit (JDK)，因為Hadoop依賴于Java運行環境?？梢允褂?code>apt-get命令來安裝JDK。
sudo apt update
sudo apt install openjdk-8-jdk
解壓Hadoop安裝包：下載Hadoop安裝包并解壓到指定目錄，如/opt/hadoop。
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /opt/hadoop
配置環境變量：編輯/etc/profile.d/hadoop.sh文件，添加Hadoop的環境變量，如HADOOP_HOME和PATH。
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile.d/hadoop.sh
啟動Hadoop集群：使用start-all.sh腳本來啟動NameNode、DataNode、Secondary NameNode以及ResourceManager和NodeManager。
start-dfs.sh
start-yarn.sh
停止Hadoop集群：使用stop-all.sh腳本來停止所有Hadoop服務。
stop-dfs.sh
stop-yarn.sh
創建目錄：使用hdfs dfs -mkdir命令在HDFS中創建新目錄。
hdfs dfs -mkdir /example/directory
上傳和下載文件：使用hdfs dfs -put上傳文件到HDFS，使用hdfs dfs -get從HDFS下載文件。
hdfs dfs -put /local/file.txt /example/directory/
hdfs dfs -get /example/directory/file.txt /local/
顯示文件列表：使用hdfs dfs -ls命令列出指定目錄下的文件。
hdfs dfs -ls /example/directory/
提交作業：使用hadoop jar命令提交MapReduce作業。
hadoop jar /path/to/your-job.jar com.example.YourJobClass
顯示作業狀態：使用yarn application -status命令查看作業狀態。
yarn application -status <application-id>
殺死作業：使用yarn application -kill命令停止作業。
yarn application -kill <application-id>
節點狀態：使用hdfs dfsadmin -report命令查看集群中各個節點的狀態。
hdfs dfsadmin -report
集群統計信息：使用yarn cluster -status命令查看整個集群的統計信息。
yarn cluster -status
Debian系統推薦使用APT來管理軟件包，可以使用apt-get命令來安裝、更新或移除Hadoop相關的軟件包。
sudo apt update
sudo apt install hadoop
sudo apt upgrade
sudo apt full-upgrade
創建Hadoop用戶：使用useradd命令創建專門用于Hadoop的用戶。
sudo useradd hadoop
設置權限：通過編輯/etc/sudoers文件，給予Hadoop用戶管理Hadoop資源的權限。
sudo visudo
配置文件通常位于/etc/hadoop/目錄下，包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等，這些文件用于配置Hadoop集群的各種屬性。
以上步驟提供了在Debian系統上管理Hadoop資源的基本指南。在實際操作中，可能還需要根據具體的集群配置和環境進行調整。
