大數(shù)據(jù)是當(dāng)下非?；鸨囊粋€詞，人人都在談?wù)摯髷?shù)據(jù)。但大數(shù)據(jù)的定義是什么？它到底是如何出現(xiàn)的？它有什么特別之處？它最大的應(yīng)用領(lǐng)域在哪里？它的發(fā)展方向是什么？對于以上問題，其實(shí)大多數(shù)人是弄不清楚的。
1) 大數(shù)據(jù)時代出現(xiàn)的必然性
大數(shù)據(jù)和云計算這兩個詞經(jīng)常被同時提到，很多人誤以為大數(shù)據(jù)和云計算是同時誕生的、具有強(qiáng)綁定關(guān)系。其實(shí)這兩者之間既有關(guān)聯(lián)性，也有區(qū)別。云計算指的是一種以互聯(lián)網(wǎng)方式來提供服務(wù)的計算模式，而大數(shù)據(jù)指的是基于多源異構(gòu)、跨域關(guān)聯(lián)的海量數(shù)據(jù)分析所產(chǎn)生的決策流程、商業(yè)模式、科學(xué)范式、生活方式和關(guān)聯(lián)形態(tài)上的顛覆性變化的總和。大數(shù)據(jù)處理會利用到云計算領(lǐng)域的很多技術(shù)，但大數(shù)據(jù)并非完全依賴于云計算；反過來，云計算之上也并非只有大數(shù)據(jù)這一種應(yīng)用。
云計算的起源可以追溯到 2003 年末 Amazon 公司工程師 Chris Pinkham 提交給 CEO Jeff Bezos 的一篇論文中的一個設(shè)想：將 Amazon 內(nèi)部使用的計算基礎(chǔ)設(shè)施開放給全世界的開發(fā)者。次年 11 月，Amazon 發(fā)布了第一版云計算服務(wù)：Simple Queue Service。Simple Queue Service 再往后發(fā)展至 2006 年，演變成立今天著名的 AWS（Amazon Web Sercice）。同在 2006 年，Google 公司 CEO Eric Schmidt 首次公開提出了“云計算”（Cloud Computing）的這一概念，云計算也在這一年開始變得廣為人知。
大數(shù)據(jù)這個詞的流行卻晚了好幾年——直到 2009 年，大數(shù)據(jù)這個說法才逐漸開始在互聯(lián)網(wǎng)圈內(nèi)傳播。但僅僅在互聯(lián)網(wǎng)領(lǐng)域流行，仍然不足以引起普遍關(guān)注，因?yàn)榧兓ヂ?lián)網(wǎng)經(jīng)濟(jì)畢竟只占全球經(jīng)濟(jì)總量的很小一部分。而大數(shù)據(jù)概念真正變得火爆，卻是因?yàn)槊绹鴬W巴馬政府在 2012 年高調(diào)宣布了其“大數(shù)據(jù)研究和開發(fā)計劃”——美國政府希望利用大數(shù)據(jù)解決一些政府部門面臨的非常重要的問題，該計劃由橫跨 6 個政府部門的 84 個子課題組成。這標(biāo)志著大數(shù)據(jù)真正開始進(jìn)入主流的傳統(tǒng)線下經(jīng)濟(jì)。
大數(shù)據(jù)出現(xiàn)的時間點(diǎn)自有它深刻的原因。2009 年至 2012 年這段時間正是電子商務(wù)在包括中國在內(nèi)的全球全面開花的幾年。眾所周知，互聯(lián)網(wǎng)領(lǐng)域有 3 大類商業(yè)模式：廣告、游戲和電子商務(wù)。而電子商務(wù)又是第 1 個真正將純互聯(lián)網(wǎng)經(jīng)濟(jì)與傳統(tǒng)經(jīng)濟(jì)嫁接在一起誕生的混合模式。準(zhǔn)確地說，正是互聯(lián)網(wǎng)與傳統(tǒng)經(jīng)濟(jì)的碰撞，才真正催生出了今天幾乎全民關(guān)注的“大數(shù)據(jù)”。大數(shù)據(jù)橫跨了互聯(lián)網(wǎng)產(chǎn)業(yè)與傳統(tǒng)產(chǎn)業(yè)，而且大數(shù)據(jù)真正廣闊的應(yīng)用領(lǐng)域其實(shí)也正是比純互聯(lián)網(wǎng)經(jīng)濟(jì)大得多的傳統(tǒng)產(chǎn)業(yè)。
從數(shù)據(jù)量的角度來看，在電子商務(wù)模式出現(xiàn)以前，傳統(tǒng)企業(yè)的數(shù)量增長緩慢。傳統(tǒng)企業(yè)的數(shù)據(jù)倉庫中的數(shù)據(jù)大多數(shù)來自于交易型數(shù)據(jù)，而交易這種行為處于用戶消費(fèi)決策漏斗的最底部，這就決定了交易前的各種瀏覽、搜索、比較等用戶行為數(shù)據(jù)的都量遠(yuǎn)遠(yuǎn)超過交易數(shù)據(jù)。電子商務(wù)模式使得企業(yè)可以采集到用戶的瀏覽、搜索、比較等行為，這就導(dǎo)致企業(yè)的數(shù)據(jù)規(guī)至少提升了一個數(shù)量級?，F(xiàn)在日益流行的移動互聯(lián)網(wǎng)以及將來會流行的物聯(lián)網(wǎng)又必將使數(shù)據(jù)量提高兩三個數(shù)量級。從這個角度來講，大數(shù)據(jù)時代是必然會出現(xiàn)的。
從 IT 產(chǎn)業(yè)的發(fā)展來看，第一代 IT 巨頭大多是 2B 的，比如 IBM、Microsoft、Oracle、SAP 這類傳統(tǒng) IT 企業(yè)；第二代 IT 巨頭大多是 2C 的，比如 Yahoo、Google、Amazon、Facebook 這類互聯(lián)網(wǎng)企業(yè)。一個有意思的現(xiàn)象是：大數(shù)據(jù)時代前，這兩類公司彼此之間基本是井水不犯河水，我們很少看見這兩類公司的老板們在一起坐而論道；但在當(dāng)前這個大數(shù)據(jù)時代，這兩類公司已經(jīng)開始直接競爭。比如 Amazon 已經(jīng)開始提供云模式的數(shù)據(jù)倉庫服務(wù)，直接搶占 IBM、Oracle 的市場。這個現(xiàn)象出現(xiàn)的本質(zhì)原因是：在互聯(lián)網(wǎng)巨頭的帶動下，傳統(tǒng) IT 巨頭的客戶普遍開始從事電子商務(wù)業(yè)務(wù)，正是由于客戶進(jìn)入了互聯(lián)網(wǎng)，所以傳統(tǒng) IT 巨頭們不情愿地被拖入了互聯(lián)網(wǎng)領(lǐng)域。如果他們不進(jìn)入互聯(lián)網(wǎng)，他們業(yè)務(wù)必將萎縮。所以第三代 IT 巨頭可能會是 2B 與 2C 融合的 IT 公司。