大數(shù)據(jù)分析可以追溯到30年前， 那時在數(shù)據(jù)分析界， 人們認(rèn)為數(shù)據(jù)分析的工具和算法已經(jīng)可以深度分析出任何東西， 所欠缺的就是數(shù)據(jù)量。 數(shù)據(jù)分析師們的說法就是， 如果你能夠讓我測量一切數(shù)據(jù)， 追蹤一切數(shù)據(jù)， 從微觀的精確到分鐘的銷售， 精確到每個人的資源消耗，到宏觀的變量如利率的變化等， 我就能夠告訴你想知道的一切， 這些變量之間的相關(guān)性， 它們的變化趨勢等等一切的一切。
這種說法一直是主流數(shù)據(jù)分析界的看法。 到了今天， 數(shù)據(jù)量已經(jīng)不成問題了。 互聯(lián)網(wǎng)的幾乎能夠找到你需要的任何數(shù)據(jù)。 想要知道賓夕法尼亞州的工業(yè)清洗設(shè)備的銷售與該州的鋼鐵廠的設(shè)備使用的關(guān)系? 沒問題， 想要提高用戶滿意度? 可以把用戶投訴數(shù)據(jù)采用聚類算法進(jìn)行聚類。 你動動鼠標(biāo)， 很多數(shù)據(jù)就能夠找到了。
大數(shù)據(jù)的“羅生門”
好了， 現(xiàn)在的問題， 已經(jīng)不是數(shù)據(jù)不夠的問題了。 分析師不能再說“我的分析方法沒問題， 只要有足夠的數(shù)據(jù)。 ”如今， 數(shù)據(jù)的豐富程度已經(jīng)足以滿足任何分析方法的需要。 相反， 分析師需要考慮的是“什么樣的分析方法最合適”以及“這些數(shù)據(jù)到底能告訴我們什么”。
這很自然地帶來了另一個問題， 這個問題可能是大數(shù)據(jù)帶來的真正問題。 那就是：現(xiàn)有的數(shù)據(jù)， 多的可以讓你想要分析出什么結(jié)果， 就能分析出什么結(jié)果。
有一句話叫做：“這個世界上有兩種謊言， 第一種叫謊言， 第二種叫統(tǒng)計(jì)”。 我們的大腦有一種無與倫比的能力， 那就是發(fā)現(xiàn)規(guī)律的能力(即便是其實(shí)沒有規(guī)律)。
達(dá)頓商學(xué)院的教授曾經(jīng)在班上做過這樣一個實(shí)驗(yàn)：他找了兩個學(xué)生， 其中一個學(xué)生， 用隨機(jī)數(shù)生成器 生成一個數(shù)列， 數(shù)列里的每個數(shù)， 都是1 到10 之間的一個隨機(jī)整數(shù)。 另一個學(xué)生， 則寫同樣長度的一個數(shù)列， 數(shù)列中的每個數(shù)， 這個學(xué)生可以隨機(jī)地寫從1到10 之間的一個整數(shù)。 教授讓第三個學(xué)生， 把這兩個學(xué)生生成的數(shù)列給他看。 他幾乎每次都能正確地判斷出那個數(shù)列是真的隨機(jī)數(shù)列， 哪個數(shù)列是人工寫的。 那些看上去有規(guī)律， 或者常有連續(xù)重復(fù)數(shù)字的， 是隨機(jī)數(shù)列。 而人工寫成的數(shù)列， 則盡量避免出現(xiàn)規(guī)律性或者重復(fù)性。 為什么呢? 因?yàn)槲覀兛倽撘庾R里， 會認(rèn)為有規(guī)律性或者重復(fù)性的東西， 一定有它的原因， 就不可能是隨機(jī)的。 因此， 當(dāng)我們看到任何有點(diǎn)規(guī)律的模式時， 我們就會認(rèn)為一定有一些非隨機(jī)的因素。
這種潛意識其實(shí)來自于我們在自然界的生存本能。 當(dāng)你看到草叢晃動的時候， 你寧可認(rèn)為是有一只老虎在那邊， 也比認(rèn)為是“隨機(jī)的” 風(fēng)吹的， 而最后跳出一只老虎來強(qiáng)。
用“小實(shí)驗(yàn)”來驗(yàn)證“大數(shù)據(jù)”
如何才能避免掉入這樣的認(rèn)知陷阱呢? 可以采用達(dá)頓商學(xué)院教授Jeanne Liedtka所提倡的“小規(guī)模實(shí)驗(yàn)”的方式。 “小規(guī)模實(shí)驗(yàn)”與“大數(shù)據(jù)挖掘”的區(qū)別在于， “小規(guī)模實(shí)驗(yàn)”是特別設(shè)計(jì)來驗(yàn)證那些憑借分析工具(或者在分析工具幫助下的想象力)所“發(fā)現(xiàn)”的規(guī)律的正確性。 設(shè)計(jì)小規(guī)模試驗(yàn)的關(guān)鍵， 就是用實(shí)例去驗(yàn)證你發(fā)現(xiàn)的規(guī)律。 如果驗(yàn)證結(jié)果是正確的話， 那么規(guī)律或模式的可信度就提高了。
為什么要“小規(guī)模”呢?因?yàn)椋?在海量數(shù)據(jù)加上分析工具， 可以讓我們?nèi)グl(fā)現(xiàn)無數(shù)的規(guī)律和模式， 而對每個規(guī)律或模式去驗(yàn)證會投入資源(時間以及金錢)。 通過把實(shí)驗(yàn)數(shù)據(jù)量的規(guī)模減小， 我們就可以更快更有效地驗(yàn)證更多的可能性。 這樣也就能夠加快企業(yè)的創(chuàng)新過程。
如何進(jìn)行“小規(guī)模實(shí)驗(yàn)”， 要根據(jù)具體情況看。 一般來說， 實(shí)驗(yàn)會采用大數(shù)據(jù)分析所用的數(shù)據(jù)集。 從中取出一部分子集進(jìn)行分析， 發(fā)現(xiàn)的規(guī)律， 通過另一部分?jǐn)?shù)據(jù)子集進(jìn)行驗(yàn)證， 如果規(guī)律在驗(yàn)證數(shù)據(jù)子集中也存在的話， 再利用大數(shù)據(jù)數(shù)據(jù)集采集的方式采集新的數(shù)據(jù)， 進(jìn)一步進(jìn)行驗(yàn)證。
保險公司Progressive Insurance以及信用卡公司Capital> 海量數(shù)據(jù)加上分析工具， 使得數(shù)據(jù)分析現(xiàn)在是一個很熱的話題。 很多企業(yè)認(rèn)為數(shù)據(jù)分析師能夠“點(diǎn)石成金”。 但是，常言道: “人們看到的是他們想要看到的東西。” 今天， 我們有了海量數(shù)據(jù)和能“發(fā)現(xiàn)任何規(guī)律”的分析工具后， 還是不能忘記那個最古老的辦法——用小規(guī)模的實(shí)驗(yàn)去驗(yàn)證。 否則的話， 幾百萬上千萬美元的大數(shù)據(jù)投資， 可能發(fā)現(xiàn)的只是我們想象出來的“規(guī)律”。