中國IDC圈12月30日?qǐng)?bào)道：在日常的生活中,人們?cè)絹碓疥P(guān)注天氣的變化,并根據(jù)天氣預(yù)報(bào)來安排生活和工作。比如平常的雨天會(huì)給人們的出行帶來不便，霧霾天氣更是不利于戶外活動(dòng)，另外許多季節(jié)性的疾病也與天氣變化密切相關(guān)，關(guān)乎人們的身體健康。所以能夠預(yù)知近期的天氣情況,可以及早的做好各種準(zhǔn)備，能讓人更加從容的安排生活和工作。
隨著人們對(duì)生活質(zhì)量的要求不斷提高，對(duì)天氣預(yù)報(bào)要求也越來越高，要求天氣預(yù)報(bào)的精度高，預(yù)報(bào)刷新周期短，預(yù)測(cè)時(shí)間范圍廣。這對(duì)支撐觀測(cè)業(yè)務(wù)、預(yù)報(bào)業(yè)務(wù)的IT系統(tǒng)，尤其是對(duì)存儲(chǔ)的性能及容量提出了嚴(yán)峻的考驗(yàn)。因?yàn)闅庀笥^測(cè)，會(huì)產(chǎn)生大量的觀測(cè)數(shù)據(jù)，接著把這些觀測(cè)數(shù)據(jù)匯聚到地面應(yīng)用系統(tǒng)的存儲(chǔ)系統(tǒng)，再經(jīng)過復(fù)雜的計(jì)算，最后才能生成未來天氣的預(yù)測(cè)結(jié)果。因此，輸入的數(shù)據(jù)越全面，數(shù)值越準(zhǔn)確，數(shù)據(jù)的計(jì)算處理速度越快，生成的結(jié)果就越及時(shí)。
傳統(tǒng)的預(yù)測(cè)領(lǐng)域，存儲(chǔ)系統(tǒng)普遍采用IBM的GPFS和開源的Lustre技術(shù)，它們都興起于20世紀(jì)90年代，用于生產(chǎn)系統(tǒng)有著共同的特點(diǎn)：
1) 與SAN陣列技術(shù)發(fā)展同步，存儲(chǔ)的組網(wǎng)模式基本以SAN為主;SAN的組網(wǎng)比較復(fù)雜，購買、使用和運(yùn)維的門檻都比較高
2) 可靠性依賴傳統(tǒng)的存儲(chǔ)節(jié)點(diǎn)內(nèi)的RAID，節(jié)點(diǎn)間的可靠性弱
3) 隨著單盤容量越來越大，傳統(tǒng)RAID在出現(xiàn)磁盤故障，其數(shù)據(jù)重構(gòu)時(shí)間長(zhǎng)達(dá)數(shù)十小時(shí)，而且在重構(gòu)過程中，存儲(chǔ)系統(tǒng)變得非常脆弱，性能下降，數(shù)據(jù)丟失風(fēng)險(xiǎn)高;
4) 另外隨著數(shù)據(jù)爆炸性增長(zhǎng)，傳統(tǒng)SAN的容量和性能擴(kuò)展性越來越成為主要瓶頸。
相比于以上兩種傳統(tǒng)分布式存儲(chǔ)，以普通X86服務(wù)器為存儲(chǔ)介質(zhì)，通過對(duì)象存儲(chǔ)技術(shù)、并行訪問技術(shù)、Scale-out橫向擴(kuò)展技術(shù)和單一組網(wǎng)為特征的新型分布式存儲(chǔ)架構(gòu)得到迅猛發(fā)展。分布式存儲(chǔ)系統(tǒng)將大量節(jié)點(diǎn)組織成統(tǒng)一系統(tǒng)，提供增刪節(jié)點(diǎn)的能力，大大增加了系統(tǒng)可擴(kuò)展性。其次，將數(shù)據(jù)分片打散到系統(tǒng)內(nèi)多個(gè)節(jié)點(diǎn)的硬盤上，分布式存儲(chǔ)的可靠性大大提升。 再者，每個(gè)存儲(chǔ)節(jié)點(diǎn)上都提供服務(wù)的能力，提升了性能，減少了瓶頸點(diǎn)的發(fā)生。
分布式存儲(chǔ)，在業(yè)界有代表性的產(chǎn)品是華為的OceanStor 9000存儲(chǔ)。OceanStor 9000大數(shù)據(jù)存儲(chǔ)系統(tǒng)是華為推出的全對(duì)稱架構(gòu)的分布式存儲(chǔ)系統(tǒng)，在業(yè)界以領(lǐng)先的卓越性能、大規(guī)模橫向擴(kuò)展能力和超大單一文件系統(tǒng)著稱。
在容量和擴(kuò)展性方面，OceanStor 9000采用全對(duì)稱結(jié)構(gòu)，將所有節(jié)點(diǎn)的命名空間整合為統(tǒng)一命名空間，將整個(gè)系統(tǒng)的所有節(jié)點(diǎn)的存儲(chǔ)容量組成一個(gè)大的虛擬存儲(chǔ)池，元數(shù)據(jù)和數(shù)據(jù)保存在每個(gè)節(jié)點(diǎn)上，每個(gè)節(jié)點(diǎn)都是元數(shù)據(jù)服務(wù)器。同時(shí)也是數(shù)據(jù)服務(wù)器，保障了系統(tǒng)的擴(kuò)展性。
在性能方面，為實(shí)現(xiàn)數(shù)據(jù)保護(hù)和高性能讀寫，OceanStor 9000對(duì)數(shù)據(jù)進(jìn)行按節(jié)點(diǎn)條帶化處理，讀寫數(shù)據(jù)時(shí)文件系統(tǒng)將用戶的數(shù)據(jù)平均分布在各節(jié)點(diǎn)上，保障了系統(tǒng)的性能。OceanStor 9000支持全局緩存功能，在高性能計(jì)算應(yīng)用場(chǎng)景時(shí)，根據(jù)業(yè)務(wù)對(duì)數(shù)據(jù)的訪問模型進(jìn)行預(yù)測(cè)，提前將預(yù)計(jì)即將被訪問的文件或某些目錄中的所有文件提前預(yù)先存儲(chǔ)到系統(tǒng)的全局緩存中，從而提高應(yīng)用獲取數(shù)據(jù)的效率。
在可靠性方面，OceanStor 9000的數(shù)據(jù)保護(hù)技術(shù)，是建立在分布式、節(jié)點(diǎn)間冗余的基礎(chǔ)上的。數(shù)據(jù)進(jìn)入系統(tǒng)之后，首先被切分為N個(gè)數(shù)據(jù)條帶，然后計(jì)算出M個(gè)冗余條帶，并最終保存在N+M個(gè)不同的節(jié)點(diǎn)中。由于同一條帶的數(shù)據(jù)保存在不同節(jié)點(diǎn)中，所以O(shè)ceanStor 9000存儲(chǔ)系統(tǒng)中的數(shù)據(jù)不僅能支持硬盤級(jí)的故障，而且能夠支持節(jié)點(diǎn)級(jí)的故障，保證數(shù)據(jù)不丟失。只要系統(tǒng)中同時(shí)故障的節(jié)點(diǎn)數(shù)不超過M，系統(tǒng)就可以持續(xù)提供服務(wù)。通過數(shù)據(jù)重構(gòu)過程，系統(tǒng)可以恢復(fù)出損壞的數(shù)據(jù)，恢復(fù)整系統(tǒng)的數(shù)據(jù)可靠性。
除此之外，OceanStor 9000還支持靈活的負(fù)載均衡功能，可以根據(jù)當(dāng)前CPU利用率、當(dāng)前內(nèi)存利用率、當(dāng)前網(wǎng)絡(luò)吞吐量、當(dāng)前客戶端連接數(shù)等信息，平均的讓每個(gè)節(jié)點(diǎn)均對(duì)外承擔(dān)服務(wù)。
在真實(shí)的應(yīng)用中，以某氣象機(jī)構(gòu)為例，華為的OceanStor9000的3個(gè)節(jié)點(diǎn)，單節(jié)點(diǎn)寫性能可以達(dá)到1.3GB/s,而讀性能可以達(dá)到1.9GB/s，由于3節(jié)點(diǎn)是其最低配置，后續(xù)通過增加節(jié)點(diǎn)數(shù)量，性能容量均能線性提升。
經(jīng)過以上對(duì)OceanStor 9000產(chǎn)品的架構(gòu)分析以及實(shí)際的應(yīng)用性能分析，該存儲(chǔ)平臺(tái)能夠很好的滿足氣象應(yīng)用中非結(jié)構(gòu)化數(shù)據(jù)對(duì)存儲(chǔ)容量、性能的需求。它能夠根據(jù)業(yè)務(wù)增長(zhǎng)進(jìn)行平滑擴(kuò)容，系統(tǒng)每增加一個(gè)存儲(chǔ)節(jié)點(diǎn)，都能夠自動(dòng)識(shí)別，將該存儲(chǔ)空間加入到整系統(tǒng)中，并根據(jù)負(fù)載均衡的原則，優(yōu)先選擇新的節(jié)點(diǎn)存儲(chǔ)，從而簡(jiǎn)化了系統(tǒng)擴(kuò)容的管理，降低了操作成本。擴(kuò)容時(shí)容量和性能支持線性擴(kuò)展，真正實(shí)現(xiàn)"應(yīng)需而變"，為業(yè)務(wù)的長(zhǎng)期髙效可靠運(yùn)行提供保障。