根據(jù)國際數(shù)據(jù)公司IDC 2011年發(fā)布的Digital Universe Study,全球信息總量每過兩年,就會增長一倍。僅在2011年,全球被創(chuàng)建和被復(fù)制的數(shù)據(jù)總量為1.8ZB(1.8萬億GB)。相較2010年同期上漲超過1ZB,到2020年這一數(shù)值將增長到35ZB。
社交網(wǎng)絡(luò)僅僅是1.8澤塔數(shù)據(jù)中的一部分,電子商務(wù)、政企、互聯(lián)網(wǎng)和個人云端數(shù)據(jù)存儲也在增加。傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)向非結(jié)構(gòu)化發(fā)展,隨著互聯(lián)網(wǎng)參與人群與互聯(lián)網(wǎng)應(yīng)用的增長,數(shù)據(jù)也在呈現(xiàn)越來越多樣化的形態(tài)。視頻、語音、文本、圖片等傳統(tǒng)單一介質(zhì)的存儲方式已經(jīng)被打亂,取而代之的是更具交互性的數(shù)據(jù),個體用戶或者消費者在其中的貢獻不可忽視。同時,寬帶、無線通信、云計算的發(fā)展使我們的網(wǎng)速變得更快,獲取數(shù)據(jù)隨手可得,也推動了大數(shù)據(jù)的進一步繁榮。企業(yè)管理下的非結(jié)構(gòu)化數(shù)據(jù)數(shù)量呈幾何級增長,并且增速還在加快??紤]到如何合理保存和利用這些數(shù)據(jù),企業(yè)IT所面臨的壓力不言而喻。
對此,世紀(jì)互聯(lián)李志霄博士提出企業(yè)處理大數(shù)據(jù)可以從三個維度考慮,即大數(shù)據(jù)的挖掘、存儲、遷移。
1、數(shù)據(jù)挖掘
在云中,數(shù)據(jù)散落分布于不同的物理機上,Hadoop等大數(shù)據(jù)挖掘工具在其中起到指針的作用,根據(jù)對信息內(nèi)容的需求指向信息存儲的空間,形成數(shù)據(jù)倉庫。所有數(shù)據(jù)倉庫的集合都存在于云數(shù)據(jù)中心的資源池中。根據(jù)實際需求選擇數(shù)據(jù)挖掘工具,定義數(shù)據(jù)需求是CIO的首要任務(wù)。
2、數(shù)據(jù)存儲
當(dāng)企業(yè)數(shù)據(jù)存儲于云端或者物理服務(wù)中,就需要對數(shù)據(jù)進行物理位置、查詢、處理、刪改等數(shù)據(jù)存儲管理。每一次數(shù)據(jù)調(diào)用和存儲,都需要企業(yè)為之付出相應(yīng)的成本,包括電力、設(shè)備、帶寬、計算能力等等。以數(shù)據(jù)云化和IT服務(wù)外包的方式能夠降低單次訪問成本,通過數(shù)據(jù)中心能效提升等方式,幫助企業(yè)IT降低整體費用。而數(shù)據(jù)讀取過程提速、冗余數(shù)據(jù)處理等升級管理則將最大限度提升企業(yè)IT效率。
3、數(shù)據(jù)遷移
云遷移是個艱難的任務(wù),需要專門的工具或服務(wù)團隊。因為沒有接口標(biāo)準(zhǔn),用戶必須先選好目標(biāo)云。而今天云計算的一個大短板就是部署運維,客戶群不具備這個能力,而現(xiàn)有的SI也大多停留在傳統(tǒng)部署的層次。因此數(shù)據(jù)遷移對企業(yè)未來業(yè)務(wù)遷移所面臨的一大挑戰(zhàn)。選擇具備云遷移能力云數(shù)據(jù)中心服務(wù)商可以幫助企業(yè)實現(xiàn)從傳統(tǒng)數(shù)據(jù)中心向云平臺部署的轉(zhuǎn)換。