Hadoop之Yarn-創(chuàng)新互聯(lián)

1 概述

Yarn 是一個資源調(diào)度平臺，負(fù)責(zé)為運(yùn)算程序提供服務(wù)器運(yùn)算資源，相當(dāng)于一個分布式的操作系統(tǒng)平臺，而 MapReduce 等運(yùn)算程序則相當(dāng)于運(yùn)行于操作系統(tǒng)之上的應(yīng)用程序。

在復(fù)興等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都做網(wǎng)站、成都網(wǎng)站建設(shè)、成都外貿(mào)網(wǎng)站建設(shè) 網(wǎng)站設(shè)計(jì)制作按需網(wǎng)站制作,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站制作,營銷型網(wǎng)站,外貿(mào)營銷網(wǎng)站建設(shè),復(fù)興網(wǎng)站建設(shè)費(fèi)用合理。

2 Yarn 基本架構(gòu)

3 Yarn 工作機(jī)制

工作機(jī)制詳解：

1）MR 程序提交到客戶端所在的節(jié)點(diǎn)。

2）YarnRunner 向 ResourceManager 申請一個 Application。

3）RM 將該應(yīng)用程序的資源路徑返回給 YarnRunner。

4）該程序?qū)⑦\(yùn)行所需資源提交到 HDFS 上。

5）程序資源提交完畢后，申請運(yùn)行 mrAppMaster。

6）RM 將用戶的請求初始化成一個 Task。

7）其中一個 NodeManager 領(lǐng)取到 Task 任務(wù)。

8）該 NodeManager 創(chuàng)建容器 Container，并產(chǎn)生 MRAppmaster。

9）Container 從 HDFS 上拷貝資源到本地。

10）MRAppmaster 向 RM 申請運(yùn)行 MapTask 資源。

11）RM 將運(yùn)行 MapTask 任務(wù)分配給另外兩個 NodeManager，另兩個 NodeManager 分別領(lǐng)取任務(wù)并創(chuàng)建容器。

12）MR 向兩個接收到任務(wù)的 NodeManager 發(fā)送程序啟動腳本，這兩個 NodeManager 分別啟動 MapTask，MapTask 對數(shù)據(jù)分區(qū)排序。

13）MrAppMaster 等待所有 MapTask 運(yùn)行完畢后，向 RM 申請容器，運(yùn)行 ReduceTask。

14）ReduceTask 向 MapTask 獲取相應(yīng)分區(qū)的數(shù)據(jù)。

15）程序運(yùn)行完畢后，MR 會向 RM 申請注銷自己。

4 作業(yè)提交全過程

4.1 作業(yè)提交過程之 YARN

作業(yè)提交全過程詳解：

1）作業(yè)提交

• Client調(diào)用 job.waitForCompletion() 方法，向整個集群提交 MapReduce 作業(yè)。
• Client 向 RM 申請一個作業(yè) id。
• RM 給 Client 返回該 job 資源的提交路徑和作業(yè) id。
• Client 提交 jar 包、切片信息和配置文件到指定的資源提交路徑。
• Client 提交完資源后，向 RM 申請運(yùn)行 MrAppMaster。

2）作業(yè)初始化

• 當(dāng) RM 收到 Client 的請求后，將該 job 添加到容量調(diào)度器中。
• 某一個空閑的 NM 領(lǐng)取到該 Job。
• 該 NM 創(chuàng)建 Container，并產(chǎn)生 MRAppmaster。
• 下載 Client 提交的資源到本地。

3）任務(wù)分配

• MrAppMaster 向 RM 申請運(yùn)行多個 MapTask 任務(wù)資源。
• RM 將運(yùn)行 MapTask 任務(wù)分配給另外兩個 NodeManager，另兩個 NodeManager 分別領(lǐng)取任務(wù)并創(chuàng)建容器。

4）任務(wù)運(yùn)行

• MR 向兩個接收到任務(wù)的 NodeManager 發(fā)送程序啟動腳本，這兩個 NodeManager 分別啟動 MapTask，MapTask 對數(shù)據(jù)分區(qū)排序。
• MrAppMaster 等待所有 MapTask 運(yùn)行完畢后，向 RM 申請容器，運(yùn)行 ReduceTask。
• ReduceTask 向 MapTask獲取相應(yīng)分區(qū)的數(shù)據(jù)。
• 程序運(yùn)行完畢后，MR 會向 RM 申請注銷自己。

5）進(jìn)度和狀態(tài)更新

• YARN 中的任務(wù)將其進(jìn)度和狀態(tài)(包括 counter )返回給應(yīng)用管理器, 客戶端每秒(通過mapreduce.client.progressmonitor.pollinterval 設(shè)置)向應(yīng)用管理器請求進(jìn)度更新, 展示給用戶。

6）作業(yè)完成

• 除了向應(yīng)用管理器請求作業(yè)進(jìn)度外, 客戶端每 5 秒都會通過調(diào)用 waitForCompletion() 來檢查作業(yè)是否完成，時間間隔可以通過 mapreduce.client.completion.pollinterval 來設(shè)置。作業(yè)完成之后, 應(yīng)用管理器和 Container 會清理工作狀態(tài)，作業(yè)的信息會被作業(yè)歷史服務(wù)器存儲以備之后用戶核查。

4.2 作業(yè)提交過程之 MapReduce

5 資源調(diào)度器

目前，Hadoop作業(yè)調(diào)度器主要有三種：FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默認(rèn)的資源調(diào)度器是Capacity Scheduler。

[yarn-default.xml]

<property>
    <description>The class to use as the resource scheduler.</description>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

先進(jìn)先出調(diào)度器

容量調(diào)度器

公平調(diào)度器

6 任務(wù)的推測執(zhí)行

作業(yè)完成時間取決于最慢的任務(wù)完成時間，一個作業(yè)由若干個 Map 任務(wù)和 Reduce 任務(wù)構(gòu)成，因硬件老化、軟件Bug等，某些任務(wù)可能運(yùn)行非常慢，系統(tǒng)中有 99% 的 Map 任務(wù)都完成了，只有少數(shù)幾個 Map 老是進(jìn)度很慢，完不成，怎么辦？

推測執(zhí)行機(jī)制

為拖后腿的任務(wù)啟動一個備份任務(wù)，同時運(yùn)行，誰先運(yùn)行完用誰的結(jié)果

執(zhí)行推測任務(wù)的前提條件

• 每個 Task 只能有一個備份任務(wù)
• 當(dāng)前 Job 已完成的 Task 必須不小于 0.05（5%）
• 開啟推測執(zhí)行參數(shù)設(shè)置，mapred-site.xml 文件中默認(rèn)是打開的。

不能啟用推測執(zhí)行機(jī)制情況

• 任務(wù)間存在嚴(yán)重的負(fù)載傾斜
• 特殊任務(wù)，比如任務(wù)向數(shù)據(jù)庫中寫數(shù)據(jù)。

原理圖：

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)站名稱：Hadoop之Yarn-創(chuàng)新互聯(lián)
URL標(biāo)題：http://www.jbt999.com/article12/dhcsgc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、全網(wǎng)營銷推廣、動態(tài)網(wǎng)站、靜態(tài)網(wǎng)站、網(wǎng)頁設(shè)計(jì)公司、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)