大數(shù)據(jù)已經(jīng)不再是計算、統(tǒng)計學科的專寵，商學院開始的廣泛應用，表明大數(shù)據(jù)正式進入各行業(yè)的廣泛應用。統(tǒng)計學家納特·西爾弗在著名的《信號和噪聲》一書中說：“大數(shù)據(jù)中大多數(shù)都是不相干的噪音。除非有很好的技術信息進行過濾和處理，否則將惹上麻煩?！?/p>

杜克大學富卡商學院今年秋季開始招收大數(shù)據(jù)商業(yè)分析方向的碩士生，西安交通大學管理學院也將錄取海外大數(shù)據(jù)分析的博士生作為新錄取教職人員的重點之一。大數(shù)據(jù)已經(jīng)不再是計算、統(tǒng)計學科的專寵，商學院開始的廣泛應用，表明大數(shù)據(jù)正式進入各行業(yè)的廣泛應用。

統(tǒng)計學家納特·西爾弗在著名的《信號和噪聲》(Nate Silver, The Signal and the Noise)一書中說：“大數(shù)據(jù)中大多數(shù)都是不相干的噪音。除非有很好的技術信息進行過濾和處理，否則將惹上麻煩?！币簿褪钦f，大數(shù)據(jù)為我們提供了觀察世界的新方式，但它往往還是類似原油粗糙的形式，沒有商學院的提煉與應用，它就無法變成汽油、膠粘劑、阿司匹林，唇膏等各種現(xiàn)代工業(yè)產(chǎn)品。對于大數(shù)據(jù)來說，我們今天的時代，就像是德州剛發(fā)現(xiàn)油田的時代，它在信息時代的廣泛應用與消費，需要各個學科的通力協(xié)作、更換思維，正如石油的發(fā)現(xiàn)催生工業(yè)時代的能源革命一樣。

從因果分析到相關性分析

在“前信息時代”，商學院分析消費者行為、市場結構、競爭動態(tài)、組織行為、供應鏈管理時，都局限于有限的樣本。因為收集消費者、員工、股票、工廠等的數(shù)據(jù)都非常耗時，需要承擔各種成本。即使像IBM這樣的巨型公司，有能力將《人民日報》歷年的文本輸入電腦，試圖破譯中文的語言結構，例如實現(xiàn)中文的語音輸入或者中英互譯，這項技術在上世紀90年代就取得突破，但進展緩慢，在應用中還是有很多問題。

谷歌采取了不同的方法進入這個市場，它不是依賴高品質的翻譯，而是利用更多的數(shù)據(jù)。這家搜索巨頭收集各種企業(yè)網(wǎng)站的翻譯、歐盟的每一種語言的文本、巨大的圖書掃描項目中的翻譯文件。超越IBM以百萬級的文本分析，谷歌的大數(shù)據(jù)是以十億萬級計的。其結果是，它的翻譯質量優(yōu)于IBM，能涵蓋65種語言，而且翻譯質量在云端不斷優(yōu)化。谷歌凌亂的大數(shù)據(jù)戰(zhàn)勝了IBM少量的干凈數(shù)據(jù)。

那怎樣將凌亂的大數(shù)據(jù)進行對石油一樣的提煉與應用呢?一項重要的思維轉換就是從傳統(tǒng)的因果分析向相關性分析轉換。在傳統(tǒng)的統(tǒng)計分析中，一個重要的因素是因果關系的可靠性，在有限的樣本下，科學家在假設檢驗中往往用各種專業(yè)統(tǒng)計軟件進行假設檢驗，根據(jù)概率P值(P-Value, Probability)進行檢驗決策。P值反映某一事件發(fā)生的可能性大小，一般以P < 0.05 為顯著，從而確認兩個變量間可能存在因果關系。

但大數(shù)據(jù)的出現(xiàn)改變了這種在科學界普遍追求的因果關系的檢驗。大數(shù)據(jù)主要從相關性著手，而不是因果關系，這從本質上改變了傳統(tǒng)數(shù)據(jù)的開采模式。例如2009年2月，谷歌的研究人員在《自然》發(fā)表了一篇論文，預測季節(jié)性流感的暴發(fā)，在醫(yī)療保健界引起了轟動。谷歌對2003年和2008年間的5000萬最常搜索的詞條進行大數(shù)據(jù)“訓練”， 試圖發(fā)現(xiàn)某些搜索詞條的地理位置是否與美國流感疾病預防和控制中心的數(shù)據(jù)相關。疾病預防控制中心往往跟蹤全國各地的醫(yī)院和診所病人，但它發(fā)布的信息往往會滯后1～2個星期，但谷歌的大數(shù)據(jù)卻是發(fā)現(xiàn)實時的趨勢。

谷歌并沒有直接推斷哪些查詢詞條是最好的指標。相反，為了測試這些檢索詞條，谷歌總共處理了4.5億個不同的數(shù)字模型，將得出的預測與2007年和2008年疾病預防控制中心記錄的實際流感病例進行對比后，谷歌公司發(fā)現(xiàn)，它們的大數(shù)據(jù)處理結果發(fā)現(xiàn)了45條檢索詞條的組合，一旦將它們用于一個數(shù)學模型，它們的預測與官方數(shù)據(jù)的相關性高達97%。

數(shù)據(jù)往往都是不完美的，拼寫錯誤和不完整短語很普遍。為什么谷歌可以實現(xiàn)這么精準的預測?如果從因果關系看，是因為人感到不舒服，或聽到別人打噴嚏，或者閱讀了相關的新聞后感到焦慮嗎?谷歌不是從這種因果關系去考慮，而是從相關性的角度，去預測一個持續(xù)發(fā)展的大方向，因為大眾的搜索詞條處于不斷變化之中，外界的一個蝴蝶翅膀的扇動，就會使搜索發(fā)生系統(tǒng)的、混沌的變化。

 1/3    1 2 3 下一頁 尾頁