10月25日，2012云計算架構(gòu)師峰會在北京召開。近幾年，IT技術(shù)與互聯(lián)網(wǎng)的發(fā)展影響了整個產(chǎn)業(yè)的格局，帶來了全新、鮮活的業(yè)務(wù)模式。面對這些變革，本屆大會邀請了百余位行業(yè)內(nèi)精英針對IT技術(shù)發(fā)展和應(yīng)用的實踐經(jīng)驗等熱門話題進行深入探討。微軟亞太研發(fā)集團中國云計算創(chuàng)新中心總監(jiān)王楓先生帶來精彩演講，演講的主題是“大數(shù)據(jù)的新世界”，以下為演講實錄：
今天首先很高興有這樣一個機會跟各位領(lǐng)導(dǎo)，還有IT界的同仁們一塊共享一下云計算作為現(xiàn)在IT新一輪的潮流。剛才北航的孫院長講了一句話，現(xiàn)在是IT界的亂世，亂世出英雄。我想大家也很清楚，隨著下一代IT趨勢作為互聯(lián)網(wǎng)新的IT技術(shù)的發(fā)展，大家現(xiàn)在確實進入到IT的新階段，在這個階段里，我想最主要的就是三個主要領(lǐng)域，第一個就是云計算，第二是物聯(lián)網(wǎng)，第三就是大數(shù)據(jù)。
我想強調(diào)一下，其實從云計算來說，它最主要的帶給IT、帶給人類的三個主要的優(yōu)勢，一個是它的經(jīng)濟性，一個是它的快捷性，一個是它可以通過云計算來讓企業(yè)實現(xiàn)更多的創(chuàng)新。在這里，一個最主要的就是對資源的整合。大家聽到云計算里有一個最關(guān)鍵的詞，資源池，它等于把所有的資源數(shù)據(jù)通過云計算的技術(shù)、云計算的理念能夠整合起來，在這里面數(shù)據(jù)是非常非常主要的。云計算咱們剛才聽到了不管是IBM的同仁，孫博士講到了各種各樣的應(yīng)用，其實所有的應(yīng)用，數(shù)據(jù)是其中一個主要的核心，不管你是基礎(chǔ)設(shè)施、不管你的平臺、不管你的應(yīng)用，沒有數(shù)據(jù)，你就是一個空的架子。從物聯(lián)網(wǎng)角度來說，它實際上主要是對目標(biāo)的所有屬性進行采集，對這些屬性進行跟蹤、管理和分析，這些屬性是什么？就是數(shù)據(jù)。所以，在開場這一段我想說的，所有的這一切都是數(shù)據(jù)在云計算和物聯(lián)網(wǎng)里面最主要的，也是下一代IT趨勢的一個最主要的核心。我今天主要的重點是專注于大數(shù)據(jù)，大概從幾個方面，一個是大數(shù)據(jù)的概念，什么是大數(shù)據(jù)，為什么是大數(shù)據(jù)，現(xiàn)在大數(shù)據(jù)的重要性。接下來，從大數(shù)據(jù)的生命周期、主要的一些環(huán)節(jié)、主要有哪些技術(shù)去實現(xiàn)大數(shù)據(jù)給我們IT、給人類和企業(yè)所帶來的價值，微軟在這方面有哪些創(chuàng)新，我們在國內(nèi)外有哪些案例，大概從這幾個方面來介紹。
這個幻燈片剛才徐博士也播放過了，現(xiàn)在為什么在這個時間段大家進入了一個大數(shù)據(jù)的階段？我想主要的原因是很多的設(shè)備，不管是無線設(shè)備、公共互聯(lián)網(wǎng)，包括各種各樣社交網(wǎng)站、各種各樣互聯(lián)網(wǎng)的應(yīng)用帶來的數(shù)據(jù)膨脹，包括云計算、包括硬件各個方面。隨著這些技術(shù)，隨著這些互聯(lián)網(wǎng)平臺，隨著設(shè)備不斷的成熟、不斷的擴大，由此而產(chǎn)生的數(shù)據(jù)就生長到了一個非常大的程度。同時，為什么大家說大數(shù)據(jù)這個概念？實際上在10年前，20年前，也有很多數(shù)據(jù)的膨脹，為什么現(xiàn)在我們要提到大數(shù)據(jù)是IT趨勢里很重要的一個環(huán)節(jié)呢？因為我想要做到對于數(shù)據(jù)的處理能夠更有效，你還需要硬件，在計算、在存儲、在各個方面有足夠的就緒，同時它的成本能夠降低。就像剛才徐博士講的，如果說在10年前、20年前，1G硬盤需要花很多的錢，咱們也不需要去談大數(shù)據(jù)。云計算也好、大數(shù)據(jù)也好，其實最主要的給企業(yè)和政府帶來的利益就是它經(jīng)濟上的價值。從這點來說，我想現(xiàn)在IT進入到了這么一個領(lǐng)域，通過有這么樣的一個不管是在硬件、在軟件各個方面就緒的這么一個階段。
大家可能有一個很常見的問題，什么是大數(shù)據(jù)？從大和數(shù)據(jù)這兩個詞語里面大家可能有一個直觀體會，第一是數(shù)據(jù)，第二是大，這個大代表什么意思？從幾個方面，第一，所謂的大數(shù)據(jù)，主要的原因是隨著IT的發(fā)展，隨著互聯(lián)網(wǎng)的成熟，隨著剛才所講的各種各樣數(shù)據(jù)源的成熟，在這個世界上現(xiàn)在產(chǎn)生了各種各樣的數(shù)據(jù)，這些數(shù)據(jù)不光是它的數(shù)量的大小，同時是它的種類的繁多，不再像傳統(tǒng)那樣，很多結(jié)構(gòu)化的數(shù)據(jù)，現(xiàn)在有各種各樣非結(jié)構(gòu)化的數(shù)據(jù)，這些數(shù)據(jù)可以是視頻、可以是音樂、可以是文件、可以是各種版本的文件。這些東西隨著這些現(xiàn)有的技術(shù)，滋生出來各種各樣的數(shù)據(jù)，它就形成了一個大數(shù)據(jù)的“大”的概念，所以這個大不簡簡單單是尺寸的大小，表示了這個數(shù)據(jù)的復(fù)雜性。
大家可以看到，通過這張圖，實際上在互聯(lián)網(wǎng)之前，主要的數(shù)據(jù)來源是企業(yè)內(nèi)部的數(shù)據(jù)源，每一個企業(yè)有自己的IT中心，有面向企業(yè)的應(yīng)用，通過ERP等各種各樣的數(shù)據(jù)?；ヂ?lián)網(wǎng)是一個非常大的創(chuàng)新，通過互聯(lián)網(wǎng)實際上對應(yīng)用和數(shù)據(jù)提供了一個龐大的平臺，在互聯(lián)網(wǎng)上就滋生出各種各樣的數(shù)據(jù)，大家現(xiàn)在聽到過一個詞IT消費，我們每個人所接觸到的數(shù)據(jù)，或者你作為一個數(shù)據(jù)的發(fā)源體，所產(chǎn)生的數(shù)據(jù)是無窮無盡的。最近IDC有一個統(tǒng)計，到目前為止，整個世界的數(shù)據(jù)量是達到了一千個ZD，ZD是一個什么概念呢？ZD相當(dāng)于10個億的PD，這個數(shù)據(jù)量已經(jīng)膨脹到非常非常大的階段。在這個基礎(chǔ)上，同時，我想根據(jù)IDC的報告，在接下來的十年時間里面，這個數(shù)據(jù)還會繼續(xù)擴展，可能會擴展到一千個ZD的幾十倍，這就帶來了大數(shù)據(jù)它會給我們IT、會給我們企業(yè)帶來什么樣的價值，這一點實際上是大數(shù)據(jù)最關(guān)心的，也是大數(shù)據(jù)最主要的一個核心。如果我來定義大數(shù)據(jù)的話，我通過底下的這么一個圖表，其實大數(shù)據(jù)是一個產(chǎn)業(yè)鏈，也就是說數(shù)據(jù)現(xiàn)在在那里，很多可能是free的，有一千多個ZD的數(shù)據(jù)，你怎么利用這些數(shù)據(jù)去發(fā)掘它的潛能，必須要有產(chǎn)業(yè)鏈，從數(shù)據(jù)的產(chǎn)生到數(shù)據(jù)的采集，到數(shù)據(jù)的存儲，到數(shù)據(jù)的發(fā)送，到數(shù)據(jù)的處理，到數(shù)據(jù)的分析，到最后，通過你把這些數(shù)據(jù)產(chǎn)生出來的分析結(jié)果，如何用它去指導(dǎo)你的企業(yè)，并制定企業(yè)更好的方針和政策，所以它是一個產(chǎn)業(yè)鏈的概念，在每一個環(huán)節(jié)都是不可缺少的。