一、大數(shù)據(jù)的初步理解
似乎一夜之間，大數(shù)據(jù)（Big Data）變成一個(gè)IT行業(yè)中最時(shí)髦的詞匯。
首先，大數(shù)據(jù)不是什么完完全全的新生事物，Google的搜索服務(wù)就是一個(gè)典型的大數(shù)據(jù)運(yùn)用，根據(jù)客戶的需求，Google實(shí)時(shí)從全球海量的數(shù)字資產(chǎn)（或數(shù)字垃圾）中快速找出最可能的答案，呈現(xiàn)給你，就是一個(gè)最典型的大數(shù)據(jù)服務(wù)。只不過過去這樣規(guī)模的數(shù)據(jù)量處理和有商業(yè)價(jià)值的應(yīng)用太少，在IT行業(yè)沒有形成成型的概念?，F(xiàn)在隨著全球數(shù)字化、網(wǎng)絡(luò)寬帶化、互聯(lián)網(wǎng)應(yīng)用于各行各業(yè)，累積的數(shù)據(jù)量越來越大，越來越多企業(yè)、行業(yè)和國家發(fā)現(xiàn)，可以利用類似的技術(shù)更好地服務(wù)客戶、發(fā)現(xiàn)新商業(yè)機(jī)會、擴(kuò)大新市場以及提升效率，才逐步形成大數(shù)據(jù)這個(gè)概念。
有一個(gè)有趣的故事是關(guān)于奢侈品營銷的。PRADA在紐約的旗艦店中每件衣服上都有RFID碼。每當(dāng)一個(gè)顧客拿起一件PRADA進(jìn)試衣間，RFID會被自動識別。同時(shí)，數(shù)據(jù)會傳至PRADA總部。每一件衣服在哪個(gè)城市哪個(gè)旗艦店什么時(shí)間被拿進(jìn)試衣間停留多長時(shí)間，數(shù)據(jù)都被存儲起來加以分析。如果有一件衣服銷量很低，以往的作法是直接干掉。但如果RFID傳回的數(shù)據(jù)顯示這件衣服雖然銷量低，但進(jìn)試衣間的次數(shù)多。那就能另外說明一些問題。也許這件衣服的下場就會截然不同，也許在某個(gè)細(xì)節(jié)的微小改變就會重新創(chuàng)造出一件非常流行的產(chǎn)品。
還有一個(gè)是關(guān)于中國糧食統(tǒng)計(jì)的故事。中國的糧食統(tǒng)計(jì)是一個(gè)老大難的問題。中國的統(tǒng)計(jì)，雖然有組織、有流程、有法律，但中央的統(tǒng)計(jì)人員依靠省統(tǒng)計(jì)人員，省靠市，市靠縣，縣靠鎮(zhèn)，鎮(zhèn)靠村，最后真正干活或上報(bào)的是基層兼職的調(diào)查人員，由于眾所周知的KPI考核導(dǎo)向的原因，層層加碼，幾乎沒有人相信這個(gè)調(diào)查數(shù)據(jù)，而其中國家統(tǒng)計(jì)局的人是最不信的。在前兩年北京的一個(gè)會議上，原國家統(tǒng)計(jì)局總經(jīng)濟(jì)師姚景源向我們講述了他們是如何做的。他們采用遙感衛(wèi)星，通過圖像識別，把中國所有的耕地標(biāo)識、計(jì)算出來，然后把中國的耕地網(wǎng)格化，對每個(gè)網(wǎng)格的耕地抽樣進(jìn)行跟蹤、調(diào)查和統(tǒng)計(jì)，然后按照統(tǒng)計(jì)學(xué)的原理，計(jì)算（或者說估算）出中國整體的整體糧食數(shù)據(jù)。這種做法是典型采用大數(shù)據(jù)建模的方法，打破傳統(tǒng)流程和組織，直接獲得最終的結(jié)果。
最后是一個(gè)炒股的故事。這個(gè)故事來自于2011年好萊塢的一部高智商電影《永無止境》，講述一位落魄的作家?guī)扃?，服用了一種可以迅速提升智力的神奇藍(lán)色藥物，然后他將這種高智商用于炒股。庫珀是怎么炒股的呢？就是他能在短時(shí)間掌握無數(shù)公司資料和背景，也就是將世界上已經(jīng)存在的海量數(shù)據(jù)（包括公司財(cái)報(bào)、電視、幾十年前的報(bào)紙、互聯(lián)網(wǎng)、小道消息等）挖掘出來，串聯(lián)起來，甚至將Face Book、Twitter的海量社交數(shù)據(jù)挖掘得到普通大眾對某種股票的感情傾向，通過海量信息的挖掘、分析，使一切內(nèi)幕都不是內(nèi)幕，使一切趨勢都在眼前，結(jié)果在10天內(nèi)他就贏得了200萬美元，神奇的表現(xiàn)讓身邊的職業(yè)投資者目瞪口呆。這部電影簡直是展現(xiàn)大數(shù)據(jù)魔力的教材性電影，推薦沒有看過的IT人士看一看。
從這些案例來看，大數(shù)據(jù)并不是很神奇的事情。就如同電影《永無止境》提出的問題：人類通常只使用了20％的大腦，如果剩余80％大腦潛能被激發(fā)出來，世界會變得怎樣？在企業(yè)、行業(yè)和國家的管理中，通常只有效使用了不到20%的數(shù)據(jù)（甚至更少），如果剩余80%數(shù)據(jù)的價(jià)值激發(fā)起來，世界會變得怎么樣呢？特別是隨著海量數(shù)據(jù)的新摩爾定律，數(shù)據(jù)爆發(fā)式增長，然后數(shù)據(jù)又得到更有效應(yīng)用，世界會怎么樣呢？
單個(gè)的數(shù)據(jù)并沒有價(jià)值，但越來越多的數(shù)據(jù)累加，量變就會引起質(zhì)變，就好像一個(gè)人的意見并不重要，但1千人、1萬人的意見就比較重要，上百萬人就足以掀起巨大的波瀾，上億人足以改變一切。
數(shù)據(jù)再多，但如果被屏蔽或者沒有被使用，也是沒有價(jià)值的。中國的航班晚點(diǎn)非常多，相比之下美國航班準(zhǔn)點(diǎn)情況好很多。這其中，美國航空管制機(jī)構(gòu)一個(gè)的好做法發(fā)揮了積極的作用，說起來也非常簡單，就是美國會公布每個(gè)航空公司、每一班航空過去一年的晚點(diǎn)率和平均晚點(diǎn)時(shí)間，這樣客戶在購買機(jī)票的時(shí)候就很自然會選擇準(zhǔn)點(diǎn)率高的航班，從而通過市場手段牽引各航空公司努力提升準(zhǔn)點(diǎn)率。這個(gè)簡單的方法比任何管理手段（如中國政府的宏觀調(diào)控手段）都直接和有效。這里多說一兩句，過去一個(gè)暴政國家對內(nèi)的控制主要是物理上的暴力，就是強(qiáng)力機(jī)構(gòu)權(quán)力無限大，搞國家恐怖主義；而現(xiàn)在一個(gè)暴政國家，主要是就靠壟斷信息、封鎖信息，讓民眾難以獲得廣泛而真實(shí)的信息，從而實(shí)現(xiàn)國家的控制。這個(gè)信息封鎖，就是對大數(shù)據(jù)的封鎖。