右鍵點擊查看大圖
圖4以CBERS-02和LANDSAT5為例, 對整個數(shù)據(jù)處理流程的數(shù)據(jù)吞吐率進行對比分析. 對地觀測數(shù)據(jù)處理全流程包括從數(shù)據(jù)接收(RC)、數(shù)據(jù)記錄(RD)、數(shù)據(jù)傳輸(TR), 數(shù)據(jù)預(yù)處理-零級處理(L0)、輻射校正(L1)、幾何校正(L2), 深加工處理-精校正(L3)、正射校正(L4)、鑲嵌(MO), 信息提取-以圖像分類(CL)、氣溶膠反演(AQ)為例, 專題應(yīng)用-以海上溢油(OS)為例等[7].
從圖4可以看出, 在整個對地觀測數(shù)據(jù)處理流程中, 衛(wèi)星數(shù)據(jù)在接收、記錄和傳輸階段基本具備實時處理能力, 因為其處理速度與衛(wèi)星下行碼速率基本一致. 但是, 在數(shù)據(jù)預(yù)處理、深加工處理、信息提取以及專題應(yīng)用等環(huán)節(jié)中, 其數(shù)據(jù)吞吐速率直線下降, 只有衛(wèi)星下行碼速率的1%~30%. 因此, 后續(xù)的數(shù)據(jù)處理環(huán)節(jié)無法滿足實時的數(shù)據(jù)處理需求. 而且, 越往后的數(shù)據(jù)處理環(huán)節(jié), 其數(shù)據(jù)吞吐速率也越低.
2.3 對地觀測數(shù)據(jù)增值服務(wù)需求日益旺盛
進入21世紀以來, 各種商業(yè)衛(wèi)星遙感數(shù)據(jù)不斷涌現(xiàn), 高分辨率衛(wèi)星影像的應(yīng)用日益廣泛, 衛(wèi)星遙感增值服務(wù)市場欣欣向榮. 特別是美國國家航空航天局(NASA)和歐洲空間局(ESA)實行的衛(wèi)星遙感數(shù)據(jù)共享以及低價商業(yè)分發(fā)政策, 進一步推動了世界衛(wèi)星遙感增值服務(wù)市場的快速發(fā)展.
由于原始數(shù)據(jù)銷售的利潤越來越低, 世界衛(wèi)星運營商已調(diào)整其發(fā)展戰(zhàn)略以適應(yīng)這種形勢, 即把增值服務(wù)作為獲取新的利潤增長點的一個最重要戰(zhàn)略加以重視和發(fā)展. 法國SPOTImage把“大力發(fā)展經(jīng)加工處理的‘增值產(chǎn)品’和歸檔的、可多次銷售的現(xiàn)成品”作為提高競爭力和獲取利潤的手段之一. Digital Global在不同的場合宣傳自己“不僅僅是衛(wèi)星數(shù)據(jù)提供商, 同時也是信息的服務(wù)商”. 增值服務(wù)已成為相關(guān)遙感機構(gòu)關(guān)注的焦點, 也將成為其獲取利潤的有效舉措. 實際上, 行業(yè)應(yīng)用也對遙感數(shù)據(jù)增值產(chǎn)品有廣泛的需求.
Forecast International在《2013~2022年全球民用&商業(yè)遙感衛(wèi)星市場》報告中預(yù)測, 2013~2022年全球?qū)l(fā)射113顆遙感衛(wèi)星, 市場規(guī)模將達到196億美元. 報告認為, 盡管軍隊和政府仍然是遙感衛(wèi)星數(shù)據(jù)的主要用戶, 但商業(yè)市場發(fā)揮著越來越重要的作用. 對于非專業(yè)用戶, 衛(wèi)星運營商將更多地提供經(jīng)過深加工處理后的信息, 而不是原始數(shù)據(jù), 以進一步擴大市場[8]
正如Frost & Sullivan公司2011年發(fā)布的“亞太地區(qū)衛(wèi)星對地觀測市場”研究報告中指出的那樣: 遙感市場的未來依賴于增值服務(wù), 該領(lǐng)域的競爭非常激烈. 到2020年, 衛(wèi)星圖像作為一種商品, 從衛(wèi)星圖像提取有用信息的增值服務(wù)將決定商品的價值. 對于相關(guān)企業(yè)來說, 未來發(fā)展的方向?qū)⑹菑男l(wèi)星圖像供應(yīng)商轉(zhuǎn)變?yōu)樾畔⒎?wù)商(http://www.researchandmarkets.com/reports/1803560/asia_pacific_satellitebased_earth_ observation).
旺盛的對地觀測數(shù)據(jù)增值服務(wù)需要“數(shù)據(jù)密集型計算”的技術(shù)支撐. 舉例來說, 利用Landsat數(shù)據(jù)生成一幅30 m分辨率的除我國南海、東海以外的陸地部分的衛(wèi)星影像, 需要537景數(shù)據(jù)(圖5(a)), 其處理過程包括數(shù)據(jù)的正射校正、投影轉(zhuǎn)換、色彩均衡、圖像鑲嵌以及圖像增強等步驟, 往往需要花費幾天甚至十幾天的時間來完成(圖5(b)). 從對地觀測數(shù)據(jù)處理全流程分析可知, 這些環(huán)節(jié)恰恰面臨對地觀測數(shù)據(jù)的“數(shù)據(jù)密集型計算”問題.
3 對地觀測大數(shù)據(jù)處理與服務(wù)的幾點思考
前面闡述了對地觀測大數(shù)據(jù)的特點, 系統(tǒng)分析了對地觀測大數(shù)據(jù)處理全流程, 指出了對地觀測數(shù)據(jù)增值服務(wù)的旺盛需求以及對地觀測大數(shù)據(jù)處理面臨著“數(shù)據(jù)密集型計算”的挑戰(zhàn)性問題. 針對這一問題, 對地觀測大數(shù)據(jù)處理應(yīng)該在系統(tǒng)平臺、處理算法和服務(wù)模式3個方面開展創(chuàng)新性的研究工作.
3.1 系統(tǒng)平臺
針對對地觀測數(shù)據(jù)體量大、算法復(fù)雜度高、實時處理需求的特點, 需要開展高性能對地觀測數(shù)據(jù)處理軟、硬件平臺的研究. 海量對地觀測數(shù)據(jù)處理通常在衛(wèi)星數(shù)據(jù)中心的高性能計算集群上開展. 高性能計算集群的計算硬件平臺一般包括通用刀片服務(wù)器、高性能互聯(lián)網(wǎng)絡(luò)以及海量存儲設(shè)施.