“大數(shù)據(jù)”時代的應用,所謂BigData的特征主要有:海量、非結(jié)構(gòu)化、跨操作系統(tǒng)平臺、文件共享、高性能訪問(單客戶端&聚合帶寬),面向大數(shù)據(jù)的傳統(tǒng)數(shù)據(jù)保護模式與容災應急方案也有諸多缺陷。在2011年7月7日中國存儲聯(lián)盟年會中,中科藍鯨產(chǎn)品總監(jiān)庫依楠先生也就文件級盤陣實時容災這一話題進行了精彩的演講,引起了業(yè)內(nèi)廣泛的關(guān)注和討論。
本文就向大家介紹源自中科院計算所存儲中心的BWmirror技術(shù),該技術(shù)目前是全球領(lǐng)先唯一能實現(xiàn)“FC SAN光纖直聯(lián)客戶端+文件共享+盤陣實時容災”效果的技術(shù)。BWmirror及其實現(xiàn)文件級盤陣實時容災解決方案主要應用于具有海量非結(jié)構(gòu)化、跨操作系統(tǒng)平臺、文件共享、單客戶端與整體帶寬均要求很高性能、而且對系統(tǒng)可靠性和業(yè)務連續(xù)性需求最高的環(huán)境,主要有:大規(guī)模流媒體播出、廣電非線性編輯、媒體資產(chǎn)管理、高性能計算、大型網(wǎng)站系統(tǒng)、遙感信息處理、云計算、云存儲、大規(guī)模VOD、大型信息管理系統(tǒng)等應用場景。尤其是廣電領(lǐng)域的新聞網(wǎng)、播出網(wǎng)、綜合后期制作網(wǎng)等,對如何解決Raid組級別失效和盤陣級別失效,如何提高系統(tǒng)可靠性和業(yè)務連續(xù)性的需求最為迫切。
傳統(tǒng)的高性能文件共享高可靠方案
傳統(tǒng)的高性能高可靠性文件共享解決方案是FC SAN + SAN文件系統(tǒng)例如Stornext或者卷共享軟件SANergy,通過適當?shù)呐渲?,包括磁盤RAID、雙控制器、冗余交換機、雙FC HBA卡、多路徑軟件、SAN FS MDC HA,可以實現(xiàn)文件共享存儲系統(tǒng)沒有單點故障。但在該方案中,由于數(shù)據(jù)最終是保存在光纖盤陣的Raid組中,并且只有光纖盤陣是單體結(jié)構(gòu),當出現(xiàn)Raid組崩潰或者一臺光纖盤陣整體出現(xiàn)故障,將會導致所有相關(guān)的前端應用中斷,造成系統(tǒng)整體事故。盡管通常方案都會配置雙控光纖盤陣,兩個控制器同時出現(xiàn)故障的幾率較小,但這種風險是存在的。
BWmirror文件級盤陣實時容災方案配置
新版本的藍鯨集群存儲BWStor CSA中的采用BWmirror技術(shù)提供了盤陣冗余功能可選項,可以滿足零數(shù)據(jù)丟失,零恢復時間的應用需求。典型配置如下圖,存儲系統(tǒng)由多臺盤陣組成,并由BWStor CSA統(tǒng)一管理。用戶可以設(shè)定其中一部分盤陣為主盤陣,提供主要的數(shù)據(jù)服務;另外一部分盤陣設(shè)定為從盤陣,在主盤陣出現(xiàn)故障時代替主盤陣提供數(shù)據(jù)服務。開啟BWStor CSA的盤陣冗余功能后,所有客戶機寫入系統(tǒng)的數(shù)據(jù)都會被實時鏡像寫入到主、從盤陣上,所以當任意一個盤陣出現(xiàn)故障時,應用程序可以立即通過另外一臺盤陣訪問數(shù)據(jù)。盤陣冗余功能完全由內(nèi)置于BWStor CSA的藍鯨集群文件系統(tǒng)BWFS實現(xiàn),所以對客戶機及其上的應用完全透明,應用程序仍然以標準的文件系統(tǒng)訪問接口,訪問已經(jīng)具備盤陣冗余功能的文件系統(tǒng),不需要做任何改變。換言之,該功能對所有訪問文件系統(tǒng)的應用都兼容。
方案特點
1. 零業(yè)務中斷:數(shù)據(jù)并行讀寫冗余盤陣,Raid組故障、盤陣故障探測、切換完全由藍鯨集群文件系統(tǒng)BWFS的盤陣冗余模塊依靠BWmirror技術(shù)來控制和實現(xiàn),保證客戶端應用程序數(shù)據(jù)讀寫在盤陣整體故障的情況下仍能持續(xù)進行,從而保障用戶業(yè)務不因盤陣整體故障出現(xiàn)任何中斷,最大可能保證業(yè)務連續(xù)性。
2. 零數(shù)據(jù)丟失:有別于文件復制方案存儲存在數(shù)據(jù)同步周期,BWFS的盤陣冗余功能能夠保證寫入冗余盤陣的數(shù)據(jù)實時同步,在一個盤陣出現(xiàn)整體故障后,其冗余盤陣中仍然保存有完整的數(shù)據(jù)鏡像,所以數(shù)據(jù)沒有任何丟失,最大可能保證數(shù)據(jù)安全性。
3. 對應用程序完全透明:盤陣冗余功能在BWFS內(nèi)部實現(xiàn),所以可以做到對外接口仍然使用標準的文件系統(tǒng)接口,應用程序仍然像訪問普通的NFS、CIFS一樣來訪問配置成盤陣冗余的BWFS,不需要做任何修改,最大可能保證應用兼容性。
4. 兼容第三方存儲設(shè)備:BWFS盤陣冗余功能可以支持所有標準的FC SAN和IP SAN設(shè)備,功能的實現(xiàn)不依賴于具體的盤陣品牌和型號,最大可能節(jié)約方案成本。
應對盤陣整體故障現(xiàn)有方案的不足
目前應對盤陣整體故障的問題,主要采用的方案是主備系統(tǒng)進行文件復制,即采用備用的光纖盤陣搭建一套備份文件系統(tǒng),通過備份服務器將文件定期從主文件系統(tǒng)復制到備份文件系統(tǒng)中。當主盤陣出現(xiàn)故障主文件系統(tǒng)不能訪問時,客戶端掛載起備份文件系統(tǒng),應用程序切換到備份文件系統(tǒng)繼續(xù)工作。這種基于文件復制的方案,解決了盤陣整體故障后數(shù)據(jù)徹底丟失不能訪問的問題,但從應用容災的角度看主要存在以下幾方面的嚴重問題: