7月中上旬，阿里云企業(yè)級分布式應(yīng)用服務(wù)EDAS低調(diào)上線分布式任務(wù)調(diào)度服務(wù)，目前處于免費公測階段。SchedulerX——是該服務(wù)在阿里內(nèi)部的產(chǎn)品名字，顧名思義，比調(diào)度做的更多。隨著公測的開啟，阿里巴巴內(nèi)部又一款核心中間件產(chǎn)品浮出水面。

SchedulerX是阿里巴巴集團中間件團隊開發(fā)的一款高性能、分布式任務(wù)調(diào)度產(chǎn)品，在阿里內(nèi)部有著廣泛的使用，經(jīng)過集團內(nèi)上千個業(yè)務(wù)應(yīng)用歷經(jīng)多年打磨而成。截止2016年6月，每天平穩(wěn)運行集團內(nèi)幾十萬個任務(wù)，完成每天幾億次的任務(wù)調(diào)度。在未來SchedulerX將支持更多特性以滿足集團內(nèi)外不斷增長的用戶需求。

SchedulerX 1.0：讓任務(wù)分布式起來

在2011年之前，阿里中間件的TTM提供定時任務(wù)觸發(fā)服務(wù)，隨著淘寶業(yè)務(wù)不斷發(fā)展壯大TTM簡單的觸發(fā)功能越來越不滿足業(yè)務(wù)不斷增長的需求，在很多場景下TTM無法為用戶解決問題。比如用戶希望能將一個耗時很長的定時任務(wù)進行拆解，然后將拆解后的任務(wù)分片分發(fā)到多臺機器去并行處理，這樣就能大大減少任務(wù)執(zhí)行的時間。公司內(nèi)部的一些其他分布式任務(wù)調(diào)度解決方案，雖然能滿足需求但是易用性較差，文檔缺失嚴重，而且沒人維護，經(jīng)常由于重度依賴ZooKeeper導(dǎo)致些嚴重問題，想要做到大規(guī)模的推廣比較困難。于是阿里中間件開發(fā)了TTD，也就是SchedulerX的前身。

SchedulerX1.0 (TTD)提供了自主運維管理后臺，讓用戶能通過頁面來配置、修改和管理定時任務(wù)。SchedulerX1.0還能管理任務(wù)執(zhí)行的生命周期，從每次任務(wù)執(zhí)行開始一直到任務(wù)執(zhí)行結(jié)束都有記錄，用戶能看到每次任務(wù)執(zhí)行的開始和結(jié)束時間以及能看到執(zhí)行成功或者失敗，SchedulerX1.0還會為用戶保留過去的執(zhí)行記錄，用戶可以查看定時任務(wù)歷史執(zhí)行記錄。SchedulerX1.0解決了用戶很多痛點，比如以前使用TTM要修改時間表達式的話需要修改代碼配置然后再重新發(fā)布應(yīng)用，而SchedulerX1.0則提供了統(tǒng)一的運維管理后臺，用戶只需要在頁面上修改時間表達式即可，不需要重新發(fā)布跑定時任務(wù)的業(yè)務(wù)應(yīng)用。

此外，SchedulerX1.0能把一個執(zhí)行耗時很長的定時任務(wù)拆分成多個子任務(wù)分片然后分發(fā)到多臺機器去并行執(zhí)行這樣就大大減少了定時任務(wù)執(zhí)行的時間。比如集團內(nèi)很多歷史數(shù)據(jù)遷移的場景，這樣的場景往往是每天執(zhí)行一次，而由于每次遷移的數(shù)據(jù)量巨大如果單臺機器去遷移的話是沒辦法在一天之內(nèi)完成遷移任務(wù)的，所以必須將這樣一個遷移任務(wù)拆分成多個子任務(wù)分片，然后用多臺機器去執(zhí)行不同的子任務(wù)分片，這樣就能大大縮短任務(wù)執(zhí)行的時間滿足業(yè)務(wù)需求。更重要的是SchedulerX1.0的編程模型和用戶接口都非常簡單，用戶只需要實現(xiàn)相應(yīng)的接口即可。

SchedulerX 2.0：完善的任務(wù)調(diào)度體系

隨著集團業(yè)務(wù)繼續(xù)發(fā)展壯大以及SchedulerX1.0推廣運營的過程中收集到的用戶反饋和需求，我們決定擴展SchedulerX1.0并開發(fā)下一個版本SchedulerX2.0（開發(fā)代號為：DTS）。SchedulerX2.0（DTS）進一步提升用戶體驗，除了優(yōu)化編程模型，減少用戶配置和程序接口之外，同時還新增了多項功能特性，以滿足集團內(nèi)不斷增長的業(yè)務(wù)需求。

SchedulerX2.0（DTS）支持七種功能特性。

簡單job單機版是每次隨機選擇一臺機器只執(zhí)行任務(wù)，這種場景用的最多就是一般情況下任務(wù)只運行在一臺機器執(zhí)行，但是為了防止單點問題還的解決多機備份的問題，當一臺機器宕機的時候可以自動切換到其他正常機器去執(zhí)行。

簡單job廣播版則是每次選擇所有機器同時觸發(fā)執(zhí)行，比如需要定時更新本地內(nèi)存的場景，這樣就需要每臺機器同時刷新內(nèi)存。

并行計算job就是將一個耗時很長的大任務(wù)拆分成多個小的子任務(wù)然后分發(fā)到多臺機器去并行執(zhí)行。

圖示計算（任務(wù)依賴）,這種特性往往用于有業(yè)務(wù)數(shù)據(jù)依賴的多個任務(wù)之間按照嚴格先后順序執(zhí)行的場景。阿里內(nèi)部有很多這種場景，兩個或者多個任務(wù)之間按照某種業(yè)務(wù)邏輯順序去執(zhí)行，比如兩個任務(wù)A，B其中A執(zhí)行結(jié)束之后B才能開始執(zhí)行。

腳本Job就是只shell，php，python等定時執(zhí)行的腳本任務(wù)，比如集團技術(shù)保障部，蝦米音樂等部門有大量需要定時執(zhí)行的shell，php，python等腳本。用戶只需要在SchedulerX2.0（DTS）管理后臺配置上要定時執(zhí)行的shell，php，python等命令即可，用戶不需要額外寫一行代碼。

SchedulerX2.0（DTS）的管理運維控制臺提供任務(wù)配置管理，以及歷史執(zhí)行記錄查詢，還有完善的監(jiān)控報警功能。任務(wù)沒有準點執(zhí)行能給用戶發(fā)送報警，任務(wù)執(zhí)行超過預(yù)期的時間也能給用戶發(fā)送報警，甚至任務(wù)執(zhí)行失敗了都能給用戶發(fā)送短信報警。

SchedulerX2.0（DTS）還支持基于SchedulerX2.0的二次開發(fā)，用戶可以通過SDK里的api來創(chuàng)建，修改，刪除任務(wù)。在阿里內(nèi)部有很多業(yè)務(wù)方在SchedulerX2.0的基礎(chǔ)上構(gòu)建他們自己的任務(wù)調(diào)度平臺。

SchedulerX2.0（DTS）還支持超大規(guī)模定時觸發(fā)器，用戶可以通過api創(chuàng)建千億量級的一次性定時觸發(fā)器，比如每條交易訂單創(chuàng)建的時候就在SchedulerX2.0創(chuàng)建一個定時觸發(fā)器，用戶設(shè)置這個觸發(fā)器的觸發(fā)時間，到了每個觸發(fā)器觸發(fā)時間就會有一個事件通知交易系統(tǒng)去提醒用戶確認收貨超時。

SchedulerX 3.0：在路上

據(jù)悉，目前阿里中間件正在開發(fā)SchedulerX3.0，該版本的分布式任務(wù)調(diào)度將支持更多功能特性，用戶值得期待。

更多深度技術(shù)內(nèi)容，請關(guān)注云棲社區(qū)微信公眾號：yunqiinsight。