Spark提交作業的示例分析

今天就跟大家聊聊有關Spark提交作業的示例分析，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。

初嘗試

cd software/spark-3.0.1-bin-hadoop2.7

1. 啟動 master

./sbin/start-master.sh

訪問 http://localhost:8080 得到 spark://MacBook-Pro-2.local:7077

2. 啟動 Worker

./bin/spark-class org.apache.spark.deploy.worker.Worker spark://MacBook-Pro-2.local:7077

訪問 http://localhost:8081 可查看提交的作業

3. 提交作業

./bin/spark-submit --master spark://MacBook-Pro-2.local:7077 --class morning.cat.SparkTest /Users/morningcat/Documents/java-project/spark-demo/out/artifacts/spark_demo_jar/spark-demo.jar

package morning.cat;

import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
import org.apache.spark.rdd.RDD;

public class SparkTest {

    public static void main(String[] args) {

        SparkConf sparkConf = new SparkConf().setAppName("SparkTest").setMaster("spark://MacBook-Pro-2.local:7077");
        SparkContext sparkContext = new SparkContext(sparkConf);
        RDD<String> rdd = sparkContext.textFile("/Users/morningcat/Documents/settings.xml", 1);
        long lineCount = rdd.count();
        System.out.println(lineCount);
    }
}

看完上述內容，你們對Spark提交作業的示例分析有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業資訊頻道，感謝大家的支持。