Spark程序中涉及到幾個概念，Application、Job、Stage、Task。每一個用戶寫的程序?qū)?yīng)于一個Application，每一個Action生成一個Job（默認包含一個Stage），每一個Shuffle算子生成一個新的Stage，每一個Stage中會有N個Task（N取決于數(shù)據(jù)量或用戶指定值）。

Spark的架構(gòu)設(shè)計

前面講述了Spark 核心邏輯概念，那么Spark的任務(wù)是如何運行在分布式計算環(huán)境的呢？接下來我們來看看開源框架Spark的架構(gòu)設(shè)計。

Spark是典型的主從（Master- Worker）架構(gòu)，Master 節(jié)點上常駐 Master守護進程，負責管理全部的 Worker 節(jié)點。Worker 節(jié)點上常駐 Worker 守護進程，負責與 Master 節(jié)點通信并管理 Executor。

Spark程序在客戶端提交時，會在Application的進程中啟動一個Driver?？匆幌鹿俜綄river的解釋“The process running the main() function of the application and creating the SparkContext”。

我們可以把Master和Worker看成是生產(chǎn)部總部老大（負責全局統(tǒng)一調(diào)度資源、協(xié)調(diào)生產(chǎn)任務(wù)）和生產(chǎn)部分部部長（負責分配、上報分部的資源，接收總部的命令，協(xié)調(diào)員工執(zhí)行任務(wù)），把Driver和Executor看成是項目經(jīng)理（負責分配任務(wù)和管理任務(wù)進度）和普通員工（負責執(zhí)行任務(wù)、向項目經(jīng)理匯報任務(wù)執(zhí)行進度）。

項目經(jīng)理D to 總部老大M：Hi，老大，我剛接了一個大項目，需要你通知下面的分部部長W安排一些員工組成聯(lián)合工作小組。

總部老大M to 分部部長W：最近項目經(jīng)理D接了一個大項目，你們幾個部長都安排幾個員工，跟項目經(jīng)理D一起組成一個聯(lián)合工作小組。

分部部長W to 員工E：今天把大家叫到一起，是有個大項目需要各位配合項目經(jīng)理D去一起完成，稍后會成立聯(lián)合工作小組，任務(wù)的分配和進度都直接匯報給項目經(jīng)理D。

項目經(jīng)理D to 員工E：從今天開始，我們會一起在這個聯(lián)合工作小組工作一段時間，希望我們好好配合，把項目做好。好，現(xiàn)在開始分配任務(wù)…

員工E to 項目經(jīng)理D：你分配的xxx任務(wù)已完成，請分配其它任務(wù)。

項目所有任務(wù)都完成后，項目經(jīng)理D to 總部老大M：Hi，老大，項目所有的任務(wù)都已經(jīng)完成了，聯(lián)合工作小組可以解散了，感謝老大的支持。

分享到

zhangnn

相關(guān)推薦