在全球氣候變暖的大背景下，極端天氣氣候事件的頻發(fā)，將給人民群眾的生命和財(cái)產(chǎn)安全帶來(lái)威脅。為了應(yīng)對(duì)氣候變化帶來(lái)的諸多挑戰(zhàn)，各國(guó)氣象部門(mén)紛紛加強(qiáng)了綜合探測(cè)系統(tǒng)的建設(shè)。作為綜合探測(cè)系統(tǒng)的一支重要力量，我國(guó)氣象衛(wèi)星風(fēng)云一號(hào)、二號(hào)、三號(hào)系列，猶如太空的"千里眼"，24小時(shí)監(jiān)測(cè)著地球上的"風(fēng)云變化"。

　　系統(tǒng)資源調(diào)動(dòng)自動(dòng)化是關(guān)鍵

　　從衛(wèi)星上接收各種氣象遙感數(shù)據(jù)到輸出各種大氣、海洋、陸地圖像和定量應(yīng)用產(chǎn)品，是一個(gè)非常復(fù)雜的過(guò)程，需要多臺(tái)服務(wù)器協(xié)同工作。要讓多臺(tái)服務(wù)器自動(dòng)、有條有理、像流水線一樣井然有序地處理和運(yùn)行，尤其是在多衛(wèi)星條件下，作業(yè)流程或作業(yè)序列的啟動(dòng)和運(yùn)行顯得更加復(fù)雜多變，單靠人工干預(yù)，基本上無(wú)法完成所需要的作業(yè)調(diào)度任務(wù)，必須依靠自動(dòng)化的負(fù)載調(diào)度系統(tǒng)，自動(dòng)分配計(jì)算資源，實(shí)現(xiàn)資源調(diào)度的自動(dòng)化。

　　根據(jù)風(fēng)云氣象衛(wèi)星數(shù)據(jù)處理的特點(diǎn)，國(guó)家衛(wèi)星氣象中心認(rèn)為負(fù)載調(diào)度子系統(tǒng)應(yīng)該具備以下特點(diǎn)：

　　實(shí)現(xiàn)衛(wèi)星數(shù)據(jù)處理總體流程調(diào)度、控制、管理。由于衛(wèi)星數(shù)據(jù)處理是以實(shí)時(shí)運(yùn)行的作業(yè)為序列，負(fù)載調(diào)度子系統(tǒng)首先需要跳出單個(gè)作業(yè)的處理和控制，確保衛(wèi)星數(shù)據(jù)處理流程具有正確的調(diào)度序列和運(yùn)行序列，同時(shí)也要確保流程運(yùn)行的可控性、可見(jiàn)性和可管理性。

　　實(shí)現(xiàn)單個(gè)作業(yè)在多處理器、多機(jī)環(huán)境的有效和有序調(diào)度。衛(wèi)星數(shù)據(jù)處理具有數(shù)據(jù)量大、運(yùn)算量大等高性能計(jì)算的顯著特點(diǎn)，需要相當(dāng)高的計(jì)算能力。負(fù)載調(diào)度子系統(tǒng)必須能根據(jù)當(dāng)前計(jì)算機(jī)系統(tǒng)的運(yùn)行情況以及需要運(yùn)行的作業(yè)的情況，根據(jù)事先定義好的調(diào)度策略，迅速高效地調(diào)度相應(yīng)作業(yè)的運(yùn)行。

　　通過(guò)對(duì)現(xiàn)有計(jì)算機(jī)系統(tǒng)使用效能和可擴(kuò)展性分析，為業(yè)務(wù)系統(tǒng)的擴(kuò)充以及現(xiàn)有系統(tǒng)的運(yùn)行狀況的改進(jìn)提供參考依據(jù)。

　　Platform解決方案來(lái)助力

　　為實(shí)現(xiàn)對(duì)風(fēng)云氣象衛(wèi)星數(shù)據(jù)處理的調(diào)度、監(jiān)控、運(yùn)行和管理，國(guó)家衛(wèi)星氣象中心與業(yè)界公認(rèn)的分布式資源管理領(lǐng)域的領(lǐng)袖公司Platform合作，構(gòu)建基于Platform公司作業(yè)調(diào)度解決方案的負(fù)載調(diào)度子系統(tǒng)，并將其作為了衛(wèi)星氣象中心運(yùn)作的基礎(chǔ)支撐工具。國(guó)家衛(wèi)星氣象中心認(rèn)為，Platform 公司是集群系統(tǒng)管理軟件領(lǐng)域的領(lǐng)導(dǎo)者，其LSF系列負(fù)載調(diào)度軟件在國(guó)內(nèi)外具有眾多多的用戶(hù)案例，在國(guó)防、教育、航空、航天、氣象、電子等領(lǐng)域得到了廣泛的應(yīng)用。的用戶(hù)案的用戶(hù)案例，在國(guó)防、教育、航空、航天、氣象、電子等領(lǐng)域得到了廣泛的應(yīng)用。

　　Platform作業(yè)調(diào)度解決方案包括Platform Process Manager、Platform LSF 兩個(gè)模塊。

　　Platform Process Manager是一套專(zhuān)業(yè)的工作流程管理系統(tǒng)，提供可視化的工作流程創(chuàng)建、編輯、運(yùn)行和監(jiān)控，極大地簡(jiǎn)化了大型復(fù)雜工作流程的定義、運(yùn)行和管理問(wèn)題。Platform Process Manager能提供衛(wèi)星數(shù)據(jù)處理流程的定義、執(zhí)行、實(shí)時(shí)監(jiān)視和控制。用戶(hù)通過(guò)Process Manager的客戶(hù)端工具或用戶(hù)定制的工具，創(chuàng)建、觸發(fā)和管理衛(wèi)星數(shù)據(jù)的處理流程。Process Manager后端的流程處理服務(wù)器響應(yīng)來(lái)自客戶(hù)端的請(qǐng)求，根據(jù)流程的觸發(fā)條件啟動(dòng)流程，根據(jù)用戶(hù)的指令控制流程運(yùn)行，同時(shí)維護(hù)流程中所有作業(yè)的相互依賴(lài)關(guān)系。當(dāng)流程中作業(yè)的運(yùn)行條件滿(mǎn)足時(shí)，Process Manager的服務(wù)將實(shí)際作業(yè)提交到LSF 管理的機(jī)群中。

　　Platform LSF 是一套專(zhuān)門(mén)針對(duì)氣象、工程等高性能計(jì)算領(lǐng)域推出的機(jī)群管理系統(tǒng)，支持異構(gòu)的、分布式Uinx/Linux，Windows計(jì)算環(huán)境，為用戶(hù)提供可靠的機(jī)群管理、負(fù)載共享、復(fù)雜的作業(yè)管理及調(diào)度功能和大規(guī)模并行計(jì)算的能力。LSF 既可單獨(dú)使用，也可以用作Platform Process Manager的資源管理和調(diào)度層，根據(jù)Process Manager的指令運(yùn)行用戶(hù)流程中的作業(yè)。利用Platform LSF 可以實(shí)現(xiàn)單個(gè)作業(yè)在多處理器、多機(jī)環(huán)境的有效和有序調(diào)度。此外，Platform LSF 還提供了可靠的機(jī)群管理、負(fù)載共享、復(fù)雜的作業(yè)管理及調(diào)度功能。

　　衛(wèi)星數(shù)據(jù)處理自動(dòng)化成現(xiàn)實(shí)

　　國(guó)家衛(wèi)星氣象中心利用Platform Process Manager實(shí)現(xiàn)了多衛(wèi)星數(shù)據(jù)處理的自動(dòng)化，以及復(fù)雜流程和子流程的實(shí)時(shí)控制和管理，同時(shí)還利用Platform LSF實(shí)現(xiàn)了計(jì)算資源的共享和負(fù)載平衡，確保了計(jì)算資源的高可靠和高可用，提升了作業(yè)調(diào)度的效率和計(jì)算資源利用的效率。

　　實(shí)現(xiàn)基于故障的容錯(cuò)與恢復(fù)。Platform LSF 支持外部資源的定義，從而可與關(guān)鍵業(yè)務(wù)的高可用系統(tǒng)無(wú)縫集成，支持關(guān)鍵業(yè)務(wù)的高可用。Platform LSF 及 Platform Process Manager支持主服務(wù)器的容錯(cuò)功能，在主服務(wù)器故障時(shí)，可自動(dòng)切換到備份服務(wù)器，并繼續(xù)調(diào)度作業(yè)的自動(dòng)運(yùn)行。在此其間，業(yè)務(wù)系統(tǒng)的運(yùn)行不受影響。Platform LSF 及Platform Process Manager支持衛(wèi)星處理流程的故障自動(dòng)處理與恢復(fù)。在流程中的某個(gè)作業(yè)運(yùn)行失敗后，可以手動(dòng)或自動(dòng)地重新運(yùn)行該作業(yè)，并讓該流程繼續(xù)運(yùn)行。當(dāng)某個(gè)計(jì)算節(jié)點(diǎn)故障或宕機(jī)時(shí)，其上運(yùn)行的作業(yè)能自動(dòng)恢復(fù)在其它節(jié)點(diǎn)上運(yùn)行，實(shí)現(xiàn)多機(jī)切換后流程接續(xù)、自動(dòng)恢復(fù)等功能。

　　實(shí)現(xiàn) "搶占式"的調(diào)度策略。Platform 支持"搶占式" 調(diào)度策略。在資源緊張時(shí)，高優(yōu)先級(jí)作業(yè)可以搶占正在運(yùn)行的低優(yōu)先級(jí)作業(yè)使用的資源并啟動(dòng)運(yùn)行。低優(yōu)先級(jí)作業(yè)將被掛起，直到有可用的資源時(shí)再繼續(xù)運(yùn)行。Platform LSF支持可定制的"搶占" 策略，管理人員可以根據(jù)任務(wù)的優(yōu)先級(jí)以及系統(tǒng)的運(yùn)行情況，定制相應(yīng)的調(diào)度策略，確保重要的作業(yè)優(yōu)先執(zhí)行，同時(shí)又不犧牲已經(jīng)運(yùn)行作業(yè)的當(dāng)前結(jié)果。Platform LSF根據(jù)系統(tǒng)負(fù)載情況和作業(yè)屬性動(dòng)態(tài)地調(diào)度資源，保證高時(shí)效和高精度作業(yè)的按時(shí)完成，并保證系統(tǒng)資源的充分使用。

　　實(shí)現(xiàn)基于流程的自動(dòng)調(diào)度和處理。衛(wèi)星數(shù)據(jù)處理不僅數(shù)據(jù)量大、處理流程復(fù)雜，需要根據(jù)時(shí)間、事件的不同觸發(fā)不同的流程完成不同的任務(wù)；同時(shí)還具有時(shí)效性，每一批數(shù)據(jù)都必須在規(guī)定時(shí)間內(nèi)完成，因此從某種意義上說(shuō)，它還是一個(gè)實(shí)時(shí)系統(tǒng)。Platform Process Manager提供了可視化的工作流程創(chuàng)建、編輯、運(yùn)行和監(jiān)控，極大地簡(jiǎn)化大型復(fù)雜工作流程的定義、運(yùn)行和管理問(wèn)題。同時(shí)Platform Process Manager還可以根據(jù)時(shí)間、事件以及作業(yè)的不同狀態(tài)對(duì)作業(yè)流程或子流程進(jìn)行觸發(fā)，從而可以根據(jù)衛(wèi)星數(shù)據(jù)處理的不同情況進(jìn)行不同的業(yè)務(wù)處理，實(shí)現(xiàn)生產(chǎn)流程處理的自動(dòng)化。另一方面，Platform Process Manager 和 Platform LSF的有機(jī)結(jié)合，可以充分利用Platform Process Manager提供的復(fù)雜流程定義、流程在線監(jiān)視和控制功能，同時(shí)利用Platform LSF 提供的靈活多樣的作業(yè)自動(dòng)調(diào)度和處理，根據(jù)系統(tǒng)資源情況和作業(yè)優(yōu)先級(jí)，動(dòng)態(tài)地調(diào)度作業(yè)運(yùn)行，確保衛(wèi)星數(shù)據(jù)處理流程的實(shí)時(shí)、高效。

　　實(shí)現(xiàn)基于時(shí)間窗的機(jī)器分組和多隊(duì)列管理。該衛(wèi)星數(shù)據(jù)處理平臺(tái)可用于監(jiān)測(cè)多個(gè)衛(wèi)星，要求能夠根據(jù)監(jiān)測(cè)衛(wèi)星的運(yùn)行情況，提供基于時(shí)間窗的機(jī)器分組和多隊(duì)列管理，從而可以根據(jù)系統(tǒng)運(yùn)行需要，合理地調(diào)配資源。Platform LSF提供了基于時(shí)間窗的機(jī)器分組和多隊(duì)列管理，可以根據(jù)系統(tǒng)運(yùn)行的需要，比如可以根據(jù)監(jiān)測(cè)衛(wèi)星的數(shù)量、衛(wèi)星數(shù)據(jù)處理的不同階段配置不同的隊(duì)列資源和機(jī)器分組，從而實(shí)現(xiàn)動(dòng)態(tài)地進(jìn)行系統(tǒng)配置，優(yōu)化系統(tǒng)資源的使用，確保衛(wèi)星數(shù)據(jù)處理的實(shí)時(shí)、高效。

　　實(shí)現(xiàn)基于數(shù)據(jù)分布的調(diào)度策略。衛(wèi)星數(shù)據(jù)處理的數(shù)據(jù)量非常大，因此需要將不同衛(wèi)星的數(shù)據(jù)分布在不同的機(jī)器上，在進(jìn)行作業(yè)調(diào)度時(shí)，就需要根據(jù)不同機(jī)器上的數(shù)據(jù)分布情況進(jìn)行相應(yīng)的調(diào)度。Platform LSF支持機(jī)器分組，可以根據(jù)數(shù)據(jù)的分布動(dòng)態(tài)地調(diào)度作業(yè)的運(yùn)行，確保運(yùn)行作業(yè)的分布與數(shù)據(jù)分布相一致。

　　實(shí)現(xiàn)全面的負(fù)載監(jiān)控。Platform LSF能收集每臺(tái)機(jī)器各種負(fù)載信息，并支持負(fù)載信息擴(kuò)展，可以根據(jù)系統(tǒng)總體情況和設(shè)計(jì)需要，動(dòng)態(tài)地設(shè)置系統(tǒng)資源情況，包括磁盤(pán)訪問(wèn)、主機(jī)情況、軟件的許可證，用戶(hù)數(shù)等。

　　中國(guó)氣象局國(guó)家衛(wèi)星氣象中心副總設(shè)計(jì)師施進(jìn)明表示，倘若離開(kāi)了Platform LSF基于網(wǎng)格技術(shù)的自動(dòng)化作業(yè)調(diào)度系統(tǒng)，是難以做到有條不紊地處理大量的衛(wèi)星氣象數(shù)據(jù)、讓計(jì)算中心的計(jì)算資源利用率達(dá)到85%以上的。Platform LSF幫助國(guó)家衛(wèi)星氣象中心實(shí)現(xiàn)了計(jì)算資源的共享和負(fù)載平衡，確保了計(jì)算資源的高可靠和高可用。