大數(shù)據(jù)的浪潮有多迅猛?IDC在2006年估計全世界產(chǎn)生的數(shù)據(jù)量是0.18ZB(1ZB=100萬PB),而今年這個數(shù)字已經(jīng)提升了一個數(shù)量級,達到1.8ZB,差不多對應(yīng)全世界每個人一塊100多GB的硬盤。這種增長還在加速,預(yù)計2015年將達到近8ZB。就目前來看,大數(shù)據(jù)處理正面臨三大瓶頸——大容量、多格式和速度,而與之對應(yīng)的解決方案也被提出,那就是擴展性、開放性和下一代存儲技術(shù)。
容量——高擴展性
數(shù)據(jù)正從TB級擴展到PB級甚至EB級,人們和機器制造的越來越多的業(yè)務(wù)數(shù)據(jù)對IT系統(tǒng)帶來了更大的挑戰(zhàn),數(shù)據(jù)的存儲和安全以及在未來訪問和使用這些數(shù)據(jù)已成為難點。
那么,未來的系統(tǒng)架構(gòu)應(yīng)當是怎樣的呢?傳統(tǒng)系統(tǒng)架構(gòu),無論是較早的Monolithic還是現(xiàn)在的Modular架構(gòu),都基于Scale-up設(shè)計,這種傳統(tǒng)模式不可避免的讓存儲系統(tǒng)會遇到性能瓶頸問題,存儲系統(tǒng)必然會出現(xiàn)性能拐點。加上現(xiàn)在的信息環(huán)境決定了用戶數(shù)據(jù)量處于一個快速增加的狀態(tài),用戶對功能和擴展性方面的需求愈加強烈。傳統(tǒng)存儲架構(gòu)物理組件和邏輯約束等方面有其上限(比如磁盤數(shù)量、服務(wù)器數(shù)量、緩存大小、控制器數(shù)目等),決定了Scale-UP架構(gòu)有其巨大的局限性。
因此,面對大數(shù)據(jù),具備高擴展性的Scale out架構(gòu)已是必然的需求,越來越多的企業(yè)都開始采用開放架構(gòu),并用Scale—out儲存加VM>