Linux中Hadoop作業如何提交

在Linux系統中，提交Hadoop作業通常涉及以下步驟：

1. 編寫MapReduce程序：

   • 使用Java或其他支持的編程語言編寫MapReduce程序。
   • 編譯程序并打包成JAR文件。

2. 上傳JAR文件到HDFS：

   • 使用hadoop fs -put命令將JAR文件上傳到HDFS的某個目錄中。

   hadoop fs -put /path/to/your-job.jar /user/hadoop/jobs/
   

3. 準備輸入數據：

   • 確保輸入數據已經存在于HDFS中，或者使用hadoop fs -put命令將本地數據上傳到HDFS。

4. 設置作業配置：

   • 可以通過編程方式設置作業配置，或者使用命令行參數傳遞配置。
   • 例如，設置輸入和輸出路徑：

   hadoop jar /user/hadoop/jobs/your-job.jar com.yourcompany.YourJobClass -D mapreduce.job.inputformat=org.apache.hadoop.mapreduce.lib.input.TextInputFormat -D mapreduce.job.outputformat=org.apache.hadoop.mapreduce.lib.output.TextOutputFormat -D mapreduce.job.input.key.class=org.apache.hadoop.io.LongWritable -D mapreduce.job.input.value.class=org.apache.hadoop.io.Text -D mapreduce.job.output.key.class=org.apache.hadoop.io.Text -D mapreduce.job.output.value.class=org.apache.hadoop.io.Text -D mapreduce.job.name="Your Job Name" /user/hadoop/input /user/hadoop/output
   

5. 提交作業：

   • 使用hadoop jar命令提交作業。

   hadoop jar /user/hadoop/jobs/your-job.jar com.yourcompany.YourJobClass /user/hadoop/input /user/hadoop/output
   

6. 監控作業進度：

   • 可以使用Hadoop的Web界面監控作業進度，通常是ResourceManager的Web界面（默認端口8088）。

7. 查看作業輸出：

   • 作業完成后，可以在HDFS中查看輸出結果。

   hadoop fs -cat /user/hadoop/output/part-r-00000
   

示例

假設你有一個名為WordCount的MapReduce程序，并且已經將其打包成wordcount.jar，輸入數據在/user/hadoop/input，輸出目錄為/user/hadoop/output。

1. 上傳JAR文件到HDFS：

   hadoop fs -put wordcount.jar /user/hadoop/jobs/
   

2. 提交作業：

   hadoop jar /user/hadoop/jobs/wordcount.jar org.apache.hadoop.examples.WordCount /user/hadoop/input /user/hadoop/output
   

注意事項

• 確保Hadoop集群已經正確配置并且所有節點都在運行。
• 確保你有足夠的權限訪問HDFS和YARN資源。
• 根據實際情況調整輸入輸出路徑和作業配置。

通過以上步驟，你可以在Linux系統中成功提交Hadoop作業。