Spark環(huán)境部署-創(chuàng)新互聯(lián)

==> Spark 集群體系結(jié)構(gòu)

云霄ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為成都創(chuàng)新互聯(lián)公司的ssl證書銷售渠道，可以享受市場價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：028-86922220（備注：SSL證書合作）期待與您的合作！

--->

==> Spark安裝與部署

Spark 的安裝部署有四種模式：Standalone, YARN, Mesos, Amazon EC2, 這里主要講解Standalone 方式

---> 環(huán)境部署準(zhǔn)備工作：（此處不作詳細(xì)講解）

---- 四臺(tái) Linux 主機(jī)（虛擬機(jī)）

---- 修改主機(jī)名

---- 免密碼登陸

---- 安裝 JDK 環(huán)境

---> Spark Standalone 偽分布的部署

wget  
tar zxf spark-2.2.1-bin-hadoop2.7.tgz -C /app
cd /app/spark-2.2.1-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh
cp slaves.template slaves
-----------------------------------------------------------------------------------
vim spark-env.sh
    export JAVA_HOME=/app/java/jdk1.8.0_102
    export SPARK_MASTER_HOST=bigdata0
    export SPARK_MASTER_PORT=7077
-----------------------------------------------------------------------------------
vim slaves
    bigdata0

   ---> Spark Standalone 全分布的部署
        ---- 環(huán)境架構(gòu)：
Master bigdata1

Worker bigdata2 bigdata3 bigdata4

        ---- 主節(jié)點(diǎn)部署：
wget http://mirrors.hust.edu.cn/apache/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz tar zxf spark-2.2.1-bin-hadoop2.7.tgz -C /app cd /app/spark-2.2.1-bin-hadoop2.7/conf cp spark-env.sh.template spark-env.sh cp slaves.template slaves ----------------------------------------------------------------------------------- vim spark-env.sh     export JAVA_HOME=/app/java/jdk1.8.0_102     export SPARK_MASTER_HOST=bigdata0     export SPARK_MASTER_PORT=7077 ----------------------------------------------------------------------------------- vim slaves     bigdata2     bigdata3     bigdata4

        ---- 將主節(jié)點(diǎn)的安裝目錄 cp 到其它從節(jié)點(diǎn)上即可
scp -r spark-2.2.1-bin-hadoop2.7/ bigdata2:/app & scp -r spark-2.2.1-bin-hadoop2.7/ bigdata3:/app & scp -r spark-2.2.1-bin-hadoop2.7/ bigdata4:/app &

        ---- 啟動(dòng)
start-all.sh

==> Spark HA 的實(shí)現(xiàn)

            Spark HA 有兩種實(shí)現(xiàn)方式：
    ---> 基于文件系統(tǒng)的單點(diǎn)故障恢復(fù)：只有一個(gè)主節(jié)點(diǎn)、只能用于開發(fā)測試
        ---- 特點(diǎn)：把 Spark 的運(yùn)行信息入到一個(gè)本地的恢復(fù)目錄，如果Master死掉，恢復(fù) master 的時(shí)候從恢復(fù)目錄上讀取之前的信息
    ---- 配置：在 standalone 的基礎(chǔ)上修改 spark-env.sh 文件，文件內(nèi)容為：
vim  spark-env.sh     export JAVA_HOME=/app/java/jdk1.8.0_102     export SPARK_MASTER_HOST=bigdata0     export SPARK_MASTER_PORT=7077     export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=FILESYSTEM -Dspark.deploy.recoveryDirectory=/data/spark_recovery"

    ---- 參數(shù)講解：
            ---spark.deploy.recoveryMode
              =>此參數(shù)默認(rèn)值為：None ，
                =>基于文件系統(tǒng)的單點(diǎn)故障修復(fù):FILESYSTEM
        => 基于 Zookeeper 實(shí)現(xiàn) Standby 的 Master: ZOOKEEPER
            ---spark.deploy.recoveryDirectory 指定恢復(fù)目錄
    ---- 測試：bin/spark-shell --master spark://bigdata1:7077
   --->基于 ZooKeeper 實(shí)現(xiàn) Standby 的 Master
    ---- 特點(diǎn)：
Zookeeper 提供了一個(gè) Leader Election 機(jī)制，利用這個(gè)機(jī)制可以保證雖然集群存在多個(gè) Master，但是只有一個(gè)是Active 的，其他的都是 Standby ，當(dāng) Active 的 Master 出現(xiàn)故障時(shí)，另外的一個(gè) Standby Master 會(huì)被選舉出來。由于集群的信息包括 Worker, Driver 和 Application 的信息都已經(jīng)持久化到 Zookeeper ，因此在切換的過程中只會(huì)影響新的 Job 的提交，對于正在進(jìn)行 Job 沒有任何的影響
    ---- 配置：在 standalone 的基礎(chǔ)上修改 spark-env.sh 文件，文件內(nèi)空為：
vim  spark-env.sh     export JAVA_HOME=/app/java/jdk1.8.0_102     export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=bigdata2:2181,bigdata3:2181,bigdata4:2181 -Dspark.deploy.zookeeper.dir=/spark"
    ---- 測試：
bigdata1: sbin/start-all.sh bigdata2: sbin/start-master.sh

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

當(dāng)前標(biāo)題：Spark環(huán)境部署-創(chuàng)新互聯(lián)
分享鏈接：http://www.jbt999.com/article40/ccpjho.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機(jī)、動(dòng)態(tài)網(wǎng)站、搜索引擎優(yōu)化、全網(wǎng)營銷推廣、ChatGPT、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

php日志怎么看-創(chuàng)新互聯(lián)
MySQL性能優(yōu)化InnoDBbufferpoolflush分析-創(chuàng)新互聯(lián)
swoole可以用來做什么事情-創(chuàng)新互聯(lián)
Ajax怎么用-創(chuàng)新互聯(lián)
虛擬主機(jī)能不能換源碼-創(chuàng)新互聯(lián)
怎么操作Thinkphp框架擴(kuò)展之?dāng)?shù)據(jù)庫驅(qū)動(dòng)-創(chuàng)新互聯(lián)
怎么在php中利用數(shù)組實(shí)現(xiàn)一個(gè)多條件查詢功能-創(chuàng)新互聯(lián)