大數(shù)據(jù)之熱
9月的浦東新區(qū)，天氣已經(jīng)略有涼意。張江高科技園區(qū)一個四周是玻璃的高檔辦公樓里，一大早，市場部門的資深員工李小姐正在自己的座位上開始一天工作之前的熱身：倒杯水，花上一刻鐘到半小時在各大網(wǎng)站上瀏覽當(dāng)天要聞。在她最經(jīng)常去的幾個論壇里，通常汽車、服裝，或者旅游促銷的廣告會不請自來;最近她發(fā)現(xiàn)這種多年不變的情形有了些不經(jīng)意的變化，比如剛剛跳出的這個窗口：大數(shù)據(jù)分析幫助你鎖定高價值客戶“大數(shù)據(jù)”和旅游論壇有啥關(guān)系？她百思不得其解。
她所不知道的是，她在瀏覽器搜索界面里曾經(jīng)輸入的“客戶”、 “促銷”、“通信錄”等關(guān)鍵詞，已被IE上面掛靠的抓取程序自動獲取，并且被關(guān)聯(lián)了相應(yīng)的廣告，由IE插件完成最終的廣告推送。在北京郊區(qū)某處的機房里，基于“關(guān)聯(lián)規(guī)則”和“聚類”等統(tǒng)計分析方法的分析軟件在時刻不停地處理成千上萬個李小姐產(chǎn)生的數(shù)據(jù)。
她或許還沒有注意到的是，大數(shù)據(jù)和分析正在成為全世界炙手可熱的概念。先是幾年前谷歌首席經(jīng)濟學(xué)家宣稱：數(shù)據(jù)分析員正成為21世紀(jì)最性感的職業(yè);又有2012年3月29日奧巴馬政府公布“大數(shù)據(jù)研發(fā)計劃” (Big Data Research and Development Initiative)，白宮科技政策委員會(OSTP)還成立了大數(shù)據(jù)高層指導(dǎo)小組以推動這一戰(zhàn)略規(guī)劃。再有就是今年的事情了，地球人都已經(jīng)知道，2013年是“國際統(tǒng)計年”。
幾個月前，JMP的老朋友Michael Rappa教授于美國眾院聆訊，主題正是“Next Generation Computing and Big Data Analytics”――下一代計算及大數(shù)據(jù)分析。Rappa教授作為IAA(Institute of Advanced Analytics, NCSU，北卡州立大學(xué)高等分析學(xué)院)創(chuàng)始人，去年被美國科學(xué)基金會新創(chuàng)立的大數(shù)據(jù)委員會任命為學(xué)術(shù)聯(lián)合主席。奧巴馬政府的大數(shù)據(jù)研發(fā)計劃資金正是來自于美國科學(xué)基金會。
國內(nèi)學(xué)術(shù)界，得益于前中國人民大學(xué)常務(wù)副校長袁衛(wèi)先生及其他統(tǒng)計學(xué)界知名教授學(xué)者的持續(xù)不懈的努力，2012年，教育部終于把統(tǒng)計從數(shù)學(xué)的范疇內(nèi)獨立出來，正式升級成為與數(shù)學(xué)、物理、化學(xué)、計算機等大學(xué)科平級的“一級學(xué)科”。
以統(tǒng)計學(xué)為核心的數(shù)據(jù)分析方法正在學(xué)術(shù)、工商和政府等領(lǐng)域顯現(xiàn)出越來越大的價值。李小姐電腦上的變化，則是這一趨勢的小小表征。
最近Gartner發(fā)布了2013年度商業(yè)智能和分析的魔力四象限圖，報告明確指出，大數(shù)據(jù)和分析正在成為企業(yè)IT規(guī)劃的核心。
一切的現(xiàn)象都在告訴人們，一個新的科技時代似乎正在來臨。有些IT職業(yè)追潮人士甚至激動地認(rèn)為“人類歷史上第三次科技革命”即將到來。
大數(shù)據(jù)之惑
問題在于，什么是大數(shù)據(jù)？為什么人人言必稱大數(shù)據(jù)？
“很大很大的數(shù)據(jù)”就是大數(shù)據(jù)。對“大”的定義在不斷刷新。10年前1GB數(shù)據(jù)已經(jīng)很大了，今天，1000GB并不算太大。
問題其實不在于大，而在價值?！按髷?shù)據(jù)”再大仍舊只是數(shù)據(jù)，沒有足夠有效的分析與應(yīng)用，一切數(shù)據(jù)都是垃圾。紐約時報專欄作家David Brooks認(rèn)為，缺乏足夠有效的分析是大數(shù)據(jù)的最大問題：越來越多的數(shù)據(jù)，帶來越來越多的相關(guān)性;其實很多相關(guān)性都是沒有意義的，這種欺騙性質(zhì)的數(shù)據(jù)關(guān)聯(lián)會把數(shù)據(jù)管理者和使用者引入歧途，浪費大量的人力物力去管理、分析這些數(shù)據(jù)。
除了傳統(tǒng)意義上人們認(rèn)為的那些有行有列有數(shù)值或者文字的數(shù)據(jù)表單之外，IT技術(shù)還幫助人們收集了越來越多的其他類型的資料，比如視頻，語音，圖片，文檔等。這些被稱為“非結(jié)構(gòu)化數(shù)據(jù)”。
結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)每天都在成倍的增加。以道路視頻監(jiān)控為例，全上海的攝像頭有10多萬個，每一刻都在記錄圖片與視頻。一旦發(fā)生案件或者事件，這些記錄在硬盤庫里的資料就成為偵察與審判環(huán)節(jié)的重要證據(jù)。盡管目前技術(shù)尚不支持，業(yè)界仍然期望未來能在TB乃至于PB級的視頻數(shù)據(jù)里搜到一張?zhí)囟ㄉ碛盎蛘吣樋?。這類搜索/分析技術(shù)未來將是啟動視頻類大數(shù)據(jù)應(yīng)用的引擎。
同樣，基于語音、照片或者文本的分析與數(shù)據(jù)挖掘同樣可以給人類對數(shù)據(jù)的理解帶來革命性的突破。問題在于，這類技術(shù)仍停留在實驗室階段。
盡管沒有足夠的應(yīng)用，大數(shù)據(jù)仍然不可阻擋地火熱了起來。不扯上大數(shù)據(jù)似乎就要落伍了一樣，大數(shù)據(jù)滿天飛的日子來到了。至于這股潮流到底會演變成象.com一樣的泡沫，還是第三次產(chǎn)業(yè)革命，在華威先生們眼里，已經(jīng)根本不重要了。業(yè)界，數(shù)據(jù)庫/存儲等領(lǐng)域供應(yīng)商當(dāng)然樂見其成，而企業(yè)的IT經(jīng)理們則又多了一個申請預(yù)算的借口。