中國(guó)IDC圈3月7日?qǐng)?bào)道：近兩年來(lái)，“大數(shù)據(jù)”被廣泛應(yīng)用到各行各業(yè)，而近階段又有著明顯的過(guò)熱跡象。從央視的春運(yùn)遷徙圖到姚晨看到微博數(shù)據(jù)的驚呼;從兩會(huì)期間的兩會(huì)大數(shù)據(jù)，到《星星》都叫獸的高低領(lǐng)毛衣，“大數(shù)據(jù)”被人們推到了一個(gè)前所未有的高度，同時(shí)也從一個(gè)高精尖的科研方向變成了一個(gè)世人皆知的營(yíng)銷(xiāo)詞匯。
我既沒(méi)有資格代表學(xué)術(shù)界，更沒(méi)有資格來(lái)判定誰(shuí)是誰(shuí)非。我只能就自己的工作經(jīng)歷，來(lái)談一下我眼中的大數(shù)據(jù)。
什么是大數(shù)據(jù)?
百度百科對(duì)大數(shù)據(jù)的定義是這樣的：大數(shù)據(jù)(big data)或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無(wú)法透過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。
Gartner給出了這樣的定義：“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。
個(gè)人認(rèn)為Gartner的定義更為貼切。“新處理模式”是一個(gè)很關(guān)鍵的詞匯，這也是我所理解的“大數(shù)據(jù)”區(qū)別于傳統(tǒng)統(tǒng)計(jì)分析等最關(guān)鍵的特征之一。這個(gè)所謂的“新處理模式”有兩層含義：
由于海量的數(shù)據(jù)，需要更高效的存儲(chǔ)和處理技術(shù)，Hadoop成為了大數(shù)據(jù)時(shí)代的標(biāo)志;
如果你認(rèn)為大數(shù)據(jù)就等于Hadoop，那就大錯(cuò)特錯(cuò)了。Hadoop只是大數(shù)據(jù)時(shí)代的一個(gè)必要條件，大數(shù)據(jù)還有一個(gè)明顯的標(biāo)志是數(shù)據(jù)挖掘和人工智能的緊密結(jié)合。這也是我理解的“大數(shù)據(jù)”與現(xiàn)在很多所謂“大數(shù)據(jù)”項(xiàng)目最明顯的區(qū)別之一。我會(huì)在后面的案例中給大家展開(kāi)。
除了上面的“新處理模式”上的區(qū)別，個(gè)人認(rèn)為還有一個(gè)最主要的區(qū)別是：數(shù)據(jù)統(tǒng)計(jì)分析是基于已有數(shù)據(jù)的縱向歸類(lèi)，而 大數(shù)據(jù)是基于對(duì)已有海量數(shù)據(jù)的處理，對(duì)還未產(chǎn)生的數(shù)據(jù)作出預(yù)測(cè)和推薦。數(shù)據(jù)統(tǒng)計(jì)是已經(jīng)發(fā)生的事情，而大數(shù)據(jù)往往被用于還沒(méi)有發(fā)生的事情預(yù)測(cè)或者推薦中 。
預(yù)測(cè)和推薦是如何實(shí)現(xiàn)的
目前主要的 推薦算法大致可以分為兩類(lèi)。一個(gè)是基于行為，一個(gè)是基于內(nèi)容 。當(dāng)然，針對(duì)不同的領(lǐng)域，不同的預(yù)測(cè)和推薦的對(duì)象，又會(huì)有十余種算法。這就不是本文展開(kāi)的內(nèi)容了。
基于行為的分析，顧名思義，即對(duì)用戶在互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)留下的“痕跡”，即瀏覽、點(diǎn)擊、收藏、購(gòu)買(mǎi)、二次購(gòu)買(mǎi)的分析，得出未來(lái)會(huì)選擇購(gòu)買(mǎi)的預(yù)測(cè)和推薦結(jié)果?；谛袨榈姆治?，屬于群體智慧，綜合利用群體用戶的行為偏好。用戶之間會(huì)相互影響，更加符合現(xiàn)實(shí)世界中的用戶行為。
圖1、電商基于行為的推薦漏斗算法
基于內(nèi)容的分析， 包括對(duì)文字、圖片、音頻、視頻等信息的分析，得出預(yù)測(cè)和推薦的結(jié)論。內(nèi)容的“基因”和用戶的偏好相匹配，最有代表的是潘多拉的音樂(lè)推薦項(xiàng)目，其將曲庫(kù)中所有歌曲都由400多位專家打上標(biāo)簽，然后建立個(gè)人與音樂(lè)的聯(lián)系，從而完成音樂(lè)的推薦。內(nèi)容的分析只針對(duì)個(gè)人，與用戶之間關(guān)系無(wú)關(guān)。
大數(shù)據(jù)到底能做什么
現(xiàn)在談這個(gè)問(wèn)題可能會(huì)讓大家笑話，似乎所有人都知道大數(shù)據(jù)能干這個(gè)，能干那個(gè)，最后連我們自己都覺(jué)得可笑。大數(shù)據(jù)已經(jīng)都不是被“妖魔化”了，是“娛樂(lè)化”。大數(shù)據(jù)似乎是個(gè)離我們忽遠(yuǎn)又忽近的事物了，變得不真實(shí)起來(lái)。
好吧，我還是結(jié)合從業(yè)經(jīng)歷來(lái)說(shuō)說(shuō)大數(shù)據(jù)“解決過(guò)什么問(wèn)題”吧：簡(jiǎn)單地來(lái)說(shuō)， 大數(shù)據(jù)可以幫我們解決決策和選擇的問(wèn)題 。
天氣預(yù)報(bào)就是一個(gè)最古老而且眾所周知的預(yù)測(cè)。你可以根據(jù)預(yù)報(bào)來(lái)決定明天穿什么衣服，是否要帶雨傘，等等;
近兩年來(lái)，大數(shù)據(jù)被應(yīng)用到影視制片行業(yè)，基于對(duì)觀眾偏好的分析，去預(yù)測(cè)、設(shè)計(jì)觀眾喜歡的劇情，找觀眾喜愛(ài)的演員出演相關(guān)的角色，甚至可以去預(yù)測(cè)票房。這些所有的預(yù)測(cè)都是基于數(shù)據(jù)的基礎(chǔ)上，經(jīng)過(guò)一定的模型處理，得到接近真實(shí)的結(jié)論。從某種程度上給決策者決策的依據(jù)，比如《紙牌屋》和《星星》。
大數(shù)據(jù)還有一個(gè)重要的作用，就是解決人們的“選擇”問(wèn)題。別笑，無(wú)論你的年齡、性別、教育背景，人們目前都面臨著前所未有的選擇問(wèn)題。講的學(xué)術(shù)一些，這是由于“長(zhǎng)尾效應(yīng)”導(dǎo)致的問(wèn)題;講得通俗一些，就是由于日益增多的可選擇的對(duì)象和我們自身的處理能力之間的矛盾。