近期關(guān)于網(wǎng)盤市場整合的消息很多,業(yè)內(nèi)人士也注意到純粹出售網(wǎng)絡(luò)存儲空間的商業(yè)模式存在很大的問題,連Dropbox這樣的網(wǎng)絡(luò)存儲先鋒企業(yè)也在收購在線音樂網(wǎng)站,實(shí)現(xiàn)業(yè)務(wù)的轉(zhuǎn)型。百度云存儲從2012年7月底正式發(fā)布到12月底,用戶超過2600萬,并且這個數(shù)字還在快速推進(jìn),在其迅猛增長的背后我們看到了強(qiáng)大的基礎(chǔ)設(shè)施以及創(chuàng)新的商業(yè)模式,給網(wǎng)絡(luò)存儲行業(yè)提供了一些參考:
1. 構(gòu)建在久經(jīng)考驗(yàn)的基礎(chǔ)設(shè)施之上的可信存儲平臺
2. 一人一云,真正實(shí)現(xiàn)用戶數(shù)據(jù)唯一性、,不能被設(shè)備分割,也不能被應(yīng)用分割
3. 存儲平臺要enable很多新的應(yīng)用與體驗(yàn);用戶感興趣的是應(yīng)用,而不是硬盤
傳統(tǒng)的互聯(lián)網(wǎng)業(yè)務(wù)都是免費(fèi)+廣告模式,是Best-effort模式,而云存儲運(yùn)營服務(wù)則提出了非??量痰囊?,畢竟用戶要為此付費(fèi),自然會按照付費(fèi)服務(wù)標(biāo)準(zhǔn)來要求。最簡單的方法可以類比電信運(yùn)營商,電信系統(tǒng)的要求就是不間斷運(yùn)行、大容量、高穩(wěn)定性、高可靠性。之所以提出這么多要求,因?yàn)殡娦啪W(wǎng)絡(luò)支撐了整個信息社會的基礎(chǔ),一旦發(fā)生故障就會帶來巨大的損失。而云存儲面臨同樣的問題,用戶與企業(yè)將很多關(guān)鍵的數(shù)據(jù)放到供應(yīng)商的數(shù)據(jù)中心,這里面除了一些娛樂信息以外,還有很多個人隱私的數(shù)據(jù)、甚至是開發(fā)者一些關(guān)鍵的商業(yè)數(shù)據(jù),故障與安全問題帶來的影響和損失也是非常巨大的。
可信的存儲平臺
百度在云存儲后臺使用了經(jīng)過驗(yàn)證的Mola系統(tǒng),穩(wěn)定性達(dá)到4個9。Mola是一個分布式存儲引擎采用Key-Value存儲形式,適用于可擴(kuò)展性強(qiáng)、訪問并發(fā)性強(qiáng)的業(yè)務(wù)。Mola于2008年開始設(shè)計(jì),2009年投入使用已經(jīng)接近4年的時間,支撐了百度搜索、音樂、百度地圖等相關(guān)應(yīng)用。經(jīng)過幾年的演進(jìn)升級,目前已經(jīng)升級到第三代。
Mola是百度四大存儲系統(tǒng)之一。百度目前要處理數(shù)百PB的數(shù)據(jù),涉及到網(wǎng)頁、日志、廣告、UGC等相關(guān)內(nèi)容。每一類的數(shù)據(jù)都有自己的特點(diǎn),需要不同的存儲系統(tǒng)來支持,以達(dá)到效率最大化。比如日志數(shù)據(jù)對實(shí)時性要求就不是太高,但是信息海量;有些數(shù)據(jù)比如廣告,數(shù)據(jù)量不是很大,但是涉及到商業(yè)行為,對低延遲、高并發(fā)以及數(shù)據(jù)的可靠性等方面要求非常高。而Mola正是基于低延遲、高并發(fā)設(shè)計(jì)的存儲系統(tǒng)。在Mola第三代系統(tǒng)中,又增加了對強(qiáng)一致性查詢的支持。
云存儲的并發(fā)是非常大,比如百度個人云存儲上線第一天,文件提交量達(dá)到7000萬個。Mola是這樣實(shí)現(xiàn)對高并發(fā)的支持:在Mola系統(tǒng)中有三個核心組成部分(圖1):MetaServer,UpdateServer與ChunkServer。數(shù)據(jù)實(shí)際上式存儲在Chunk Server上,Meta Server存儲的是數(shù)據(jù)的組織和分布信息,記錄了每一個表格都存在哪個Chunk Server,Update Server有點(diǎn)類似交換機(jī),通過此Server將數(shù)據(jù)發(fā)送到具體的Chunk Server。, Mola系統(tǒng)中設(shè)置了多組Update Server以增加對高并發(fā)的支持,減少文件存儲時延。當(dāng)業(yè)務(wù)不斷增長時,存儲規(guī)模擴(kuò)展可以通過增加新的Chunk Server來完成,可擴(kuò)展性很強(qiáng)強(qiáng)。