Spark提交作業(yè)的示例分析

今天就跟大家聊聊有關(guān)Spark提交作業(yè)的示例分析，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

成都創(chuàng)新互聯(lián)公司專注于羅江網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供羅江營銷型網(wǎng)站建設(shè)，羅江網(wǎng)站制作、羅江網(wǎng)頁設(shè)計(jì)、羅江網(wǎng)站官網(wǎng)定制、小程序設(shè)計(jì)服務(wù)，打造羅江網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供羅江網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

初嘗試

cd software/spark-3.0.1-bin-hadoop2.7

1. 啟動(dòng) master

./sbin/start-master.sh

訪問 http://localhost:8080 得到 spark://MacBook-Pro-2.local:7077

2. 啟動(dòng) Worker

./bin/spark-class org.apache.spark.deploy.worker.Worker spark://MacBook-Pro-2.local:7077

訪問 http://localhost:8081 可查看提交的作業(yè)

3. 提交作業(yè)

./bin/spark-submit --master spark://MacBook-Pro-2.local:7077 --class morning.cat.SparkTest /Users/morningcat/Documents/java-project/spark-demo/out/artifacts/spark_demo_jar/spark-demo.jar

package morning.cat;

import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
import org.apache.spark.rdd.RDD;

public class SparkTest {

    public static void main(String[] args) {

        SparkConf sparkConf = new SparkConf().setAppName("SparkTest").setMaster("spark://MacBook-Pro-2.local:7077");
        SparkContext sparkContext = new SparkContext(sparkConf);
        RDD<String> rdd = sparkContext.textFile("/Users/morningcat/Documents/settings.xml", 1);
        long lineCount = rdd.count();
        System.out.println(lineCount);
    }
}

看完上述內(nèi)容，你們對(duì)Spark提交作業(yè)的示例分析有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。

新聞標(biāo)題：Spark提交作業(yè)的示例分析
URL網(wǎng)址：http://www.jbt999.com/article18/jhdegp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供面包屑導(dǎo)航、網(wǎng)站導(dǎo)航、網(wǎng)站設(shè)計(jì)、商城網(wǎng)站、用戶體驗(yàn)、域名注冊(cè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)