大數(shù)據(jù)時代已經(jīng)到來

大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)的區(qū)別，首先是數(shù)據(jù)量的膨脹。根據(jù)EMC和IDC追蹤的全球的數(shù)據(jù)量，在最近十年中，數(shù)字世界將增長44倍，從 0.9 ZB 增加到 35.2 ZB。其次，數(shù)據(jù)的種類、復(fù)雜度都將大大增加，不再僅是處理企業(yè)內(nèi)部結(jié)構(gòu)化的數(shù)據(jù)，更多是非結(jié)構(gòu)化數(shù)據(jù)，以及外部數(shù)據(jù)。

非結(jié)構(gòu)化數(shù)據(jù)將占到90%，移動傳感器、社交網(wǎng)絡(luò)、電子支付、視頻監(jiān)視、視頻渲染、智能電網(wǎng)、地球物理勘探、醫(yī)學(xué)成像、基因測序等等行業(yè)和應(yīng)用都會產(chǎn)生大量非結(jié)構(gòu)化數(shù)據(jù)。 這些數(shù)據(jù)對實時性的要求非常高。比如，一兩天前的微博數(shù)據(jù)對人們來說，可能價值就少了很多或者已經(jīng)沒有價值。如此復(fù)雜、廣闊的數(shù)據(jù)，作為企業(yè)應(yīng)該如何來處理呢？如果不能把數(shù)據(jù)中的價值提取出來，那么對企業(yè)和個人來講數(shù)據(jù)就是成本，因為它需要存儲、管理。只有找出額外的價值，比存儲本身的成本更高的價值，大數(shù)據(jù)才能為企業(yè)創(chuàng)造價值。

大數(shù)據(jù)之旅

如同幾年前企業(yè)要踏上云計算之旅，EMC曾經(jīng)給出了云計算之旅的幾個步驟。同樣，大數(shù)據(jù)也是由幾步組成的：第一，對現(xiàn)有IT架構(gòu)進行改造，包括大數(shù)據(jù)基礎(chǔ)存儲架構(gòu)和數(shù)據(jù)分析的架構(gòu)，能滿足所有數(shù)據(jù)需求更快的響應(yīng)和靈活的可擴展性。

大數(shù)據(jù)環(huán)境和傳統(tǒng)模式對存儲和數(shù)據(jù)管理有非常大的不同。傳統(tǒng)模式的IT架構(gòu)和數(shù)據(jù)分析的弱點已經(jīng)顯現(xiàn)。第一，Scale-up模式，即縱向擴展的過程，當(dāng)原來的存儲容量超過時，必須引入新的存儲系統(tǒng)，所有新的調(diào)配全部是手動的。而在大數(shù)據(jù)情況下，無論是成本、數(shù)據(jù)需要的響應(yīng)程度，縱向擴展和手動的模式都是不適合的。需要Scale-out模式，自動地調(diào)配。第二，在傳統(tǒng)模式下，很容易形成存儲孤島、數(shù)據(jù)孤島，很多容量要么沒有在孤島中釋放出來，要么需要更多的管理員，讓管理架構(gòu)變得更加復(fù)雜。在大數(shù)據(jù)情況下，需要相當(dāng)大的存儲池，根據(jù)不同數(shù)據(jù)的情況，對池的存儲空間進行分配。

EMC Isilon

EMC Isilon是針對大數(shù)據(jù)提供的技術(shù)，有空前的可擴展性，空前的容量和超凡的易操作性，可以管理15PB。同樣可以保持很好的文件系統(tǒng) IO/s 性能，IO操作可能達到百萬級。更重要的是易操作性，每次需要擴容的時候，企業(yè)根據(jù)數(shù)據(jù)量增長的過程，只需要增加新的節(jié)點。

新的大數(shù)據(jù)分析平臺

在數(shù)據(jù)分析方面，大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)時代也有很大不同。傳統(tǒng)數(shù)據(jù)分析僅限結(jié)構(gòu)化數(shù)據(jù)，分析TB級陳舊數(shù)據(jù)。整個分析系統(tǒng)受限于縱向擴展體系結(jié)構(gòu)。隨著數(shù)據(jù)量增大，必須進行不同的分級和升級換代。

在大數(shù)據(jù)分析的情況下，首先必須是更新?lián)Q代，能夠很好處理結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。Hadoop是處理非結(jié)構(gòu)化數(shù)據(jù)很好的技術(shù)，一個好的大數(shù)據(jù)平臺必須要同時能夠處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。第二，要有很好的吞吐能力，能夠處理PB量級的數(shù)據(jù)，才能保證所分析的數(shù)據(jù)，掌握的結(jié)果是現(xiàn)在最實時的結(jié)果，幫助企業(yè)做出正確的選擇。Scale-out架構(gòu)是唯一的選擇。