借助計算機技術(shù), 尤其是高性能計算學(xué)科的最新成果, 從高性能計算軟件方法角度提高對地觀測大數(shù)據(jù)的處理性能[9,10]. 需要重點開展高性能并行遙感文件系統(tǒng)的體系結(jié)構(gòu)、高性能IO中間件[11,12]、分布式內(nèi)存體系結(jié)構(gòu)的運行系統(tǒng)[13]、并行對地觀測數(shù)據(jù)處理的編程模型[14]、復(fù)雜數(shù)據(jù)處理流程的優(yōu)化調(diào)度算法[15,16]等方面的工作.
基于上文討論的高性能計算軟、硬件平臺, 還需進一步開展針對對地觀測數(shù)據(jù)的存儲、計算、共享和分發(fā)的算法軟件以及數(shù)據(jù)結(jié)構(gòu)的研究, 包括時空元數(shù)據(jù)組織、多分辨率影像存儲以及共享體系結(jié)構(gòu)等等.
3.2 處理算法
對地觀測大數(shù)據(jù)處理算法復(fù)雜、流程眾多. 同時必須注意到, 對地觀測大數(shù)據(jù)來源不僅僅是單一的空間傳感器, 地面觀測、互聯(lián)網(wǎng)和社交媒體等成為對地觀測數(shù)據(jù)的重要來源. 對于多源、高維、異質(zhì)和復(fù)雜關(guān)聯(lián)的對地觀測數(shù)據(jù), 需要開展新型智能處理算法與處理模式的研究:
(1) 借助智能信息處理技術(shù), 尤其是信號處理、圖像處理、模式識別和人工智能的最新前沿成果, 開發(fā)新型處理算法, 提高處理算法的智能化程度和效率, 降低處理算法的復(fù)雜度, 從根本上提高對地觀測大數(shù)據(jù)處理效率. 需要重點研究對地觀測大數(shù)據(jù)的表征、學(xué)習(xí)、挖掘和知識發(fā)現(xiàn)的理論與方法[17], 以及適應(yīng)對地觀測大數(shù)據(jù)的認知模型、智能解譯、目標(biāo)提取與識別和信息融合技術(shù)等[18];
(2) 新型計算模式, 如群智感知、眾包計算等, 為對地觀測大數(shù)據(jù)的協(xié)同處理與高效組織提供了全新的機遇. 同時, 借助這些新型對地觀測大數(shù)據(jù)的計算模式, 有望更好地促進對地觀測大數(shù)據(jù)處理中“數(shù)據(jù)密集型計算”問題的解決, 滿足人類社會生活對空間信息的需求.
3.3 服務(wù)模式
長期以來, 遙感數(shù)據(jù)的分發(fā)都是按照“接收-處理-存檔-分發(fā)”的流程來進行的. 通常, 數(shù)據(jù)提供商首先需要完成遙感數(shù)據(jù)的接收與處理, 并對數(shù)據(jù)進行歸檔入庫, 然后用戶才能通過檢索、下訂單的方式來訂購或下載數(shù)據(jù). 在這種分發(fā)模式下, 從數(shù)據(jù)提供商接收遙感數(shù)據(jù)到用戶拿到數(shù)據(jù)產(chǎn)品通常需要幾天甚至更長的時間. 隨著對地觀測領(lǐng)域傳感器技術(shù)的發(fā)展、海量多源遙感數(shù)據(jù)獲取能力的提高, 多源數(shù)據(jù)處理呈現(xiàn)出精細化分工與協(xié)同式綜合并存的發(fā)展局面; 同時, 各種遙感應(yīng)用又需要得到不同衛(wèi)星、不同區(qū)域或國家數(shù)據(jù)中心的數(shù)據(jù)支持, 對遙感數(shù)據(jù)處理提出了復(fù)雜多樣的需求. 應(yīng)重點研究遙感數(shù)據(jù)產(chǎn)品標(biāo)準(zhǔn)化、系列化的指標(biāo)體系與分類體系, 主動服務(wù)、智能服務(wù)、一站式服務(wù)的理論、方法與技術(shù), 有針對性地提高對地觀測大數(shù)據(jù)處理與產(chǎn)品生產(chǎn)的能力, 提高遙感數(shù)據(jù)產(chǎn)品服務(wù)的效率. 同時, 還應(yīng)重視對地觀測技術(shù)與其他地理信息技術(shù)、互聯(lián)網(wǎng)技術(shù)、物聯(lián)網(wǎng)以及云計算技術(shù)等高新技術(shù)的深度融合, 綜合利用衛(wèi)星、航空、地面乃至大眾觀測數(shù)據(jù), 形成新的信息服務(wù)模式和產(chǎn)業(yè)鏈. 面向未來發(fā)展和用戶需求, 依托中國遙感衛(wèi)星地面站基礎(chǔ)設(shè)施和數(shù)據(jù)資源, 中國科學(xué)院遙感與數(shù)字地球研究所開展了新一代遙感數(shù)據(jù)服務(wù)模式研究, 該服務(wù)模式集數(shù)據(jù)、計算及服務(wù)于一體, 一方面可提供陸地觀測衛(wèi)星下行數(shù)據(jù)的實時主動推送[19], 同時對下行數(shù)據(jù)中的異常變化信息進行快速分析與發(fā)布, 提高數(shù)據(jù)服務(wù)的響應(yīng)速度, 提升對自然災(zāi)害和突發(fā)事件的快速監(jiān)測與預(yù)警服務(wù)能力; 另一方面, 通過建立“RTU-Ready To Use”產(chǎn)品庫, 向用戶提供標(biāo)準(zhǔn)化、系列化和多樣化的數(shù)據(jù)產(chǎn)品服務(wù), 從而逐步從形式和內(nèi)容上改變中國遙感衛(wèi)星地面站傳統(tǒng)的衛(wèi)星數(shù)據(jù)服務(wù)模式, 適應(yīng)對地觀測大數(shù)據(jù)時代的應(yīng)用需求.
4 結(jié)束語
在闡述大數(shù)據(jù)時代遙感數(shù)據(jù)特點的基礎(chǔ)上, 對遙感數(shù)據(jù)處理流程進行了分析, 認為大數(shù)據(jù)時代的遙感數(shù)據(jù)處理與分析面臨的一個重大挑戰(zhàn)是“數(shù)據(jù)密集型計算”問題, 它是制約遙感數(shù)據(jù)規(guī)模應(yīng)用的關(guān)鍵因素之一. 如何快速、自動地進行遙感大數(shù)據(jù)的處理和分析, 進而完成空間數(shù)據(jù)產(chǎn)品的主動、智能的信息服務(wù), 是大數(shù)據(jù)時代對地觀測領(lǐng)域面臨的一個嚴峻課題. 本文認為, 解決這一問題應(yīng)該在系統(tǒng)平臺、處理算法和服務(wù)模式3個方面開展創(chuàng)新性的研究工作.
參考文獻
1 Lü X F, Cheng C Q, Gong J Y, et al. Review of data storage and management technologies for massive remote sensing data. Sci China Tech Sci, 2011, 54: 3220–3232 [呂雪鋒, 程承旗, 龔健雅, 等. 海量遙感數(shù)據(jù)存儲管理技術(shù)綜述. 中國科學(xué): 技術(shù)科學(xué), 2011, 41: 1561–1573]