那么我們實(shí)際上更精確的說是看 0 是否落在樣本差值的置信區(qū)間內(nèi)（置信區(qū)間的上限和下限和上面提到的第一統(tǒng)計(jì)錯(cuò)誤率是相一致的，有一個(gè) 5% 的概念在里面，這兒就不詳細(xì)介紹了。反正是否落在置信區(qū)間里否也可以用來判斷統(tǒng)計(jì)學(xué)上是有意義還是沒有意義）。落在里面我們就說是統(tǒng)計(jì)學(xué)上是沒有意義的也就是兩組數(shù)據(jù)的平均值是一樣。不落在里面我們就說是統(tǒng)計(jì)學(xué)上是有意義的也就是兩組數(shù)據(jù)的平均值不一樣。如圖十一所示：
圖十一
那為什么在樣本數(shù)據(jù)量為 1000 和 上萬上百萬的情況下結(jié)果會(huì)不一樣。這兒我們進(jìn)一步要講的就是樣本數(shù)量和置信區(qū)間之間的關(guān)系了。隨著樣本數(shù)量的增加，樣本差值會(huì)和真實(shí)的總體數(shù)據(jù)差值接近（不一定就是 0 哦），同時(shí)不確定性會(huì)減小，置信區(qū)間會(huì)縮短，其實(shí)就是估計(jì)的差值越來越精準(zhǔn)了。這種情況下，就算樣本差值是非常接近 0 的一個(gè)數(shù)（就是說我們都覺得兩組數(shù)據(jù)的平均值是一樣的了），但是由于置信區(qū)間的縮小，0 仍舊會(huì)落在置信區(qū)間的外面（如圖十一，下部分 2 所示）。
這樣一來，結(jié)果就會(huì)是統(tǒng)計(jì)學(xué)上是有意義的：兩組數(shù)據(jù)的平均值是不一樣的?，F(xiàn)有的統(tǒng)計(jì)方法運(yùn)用在大數(shù)據(jù)時(shí)會(huì)帶來這樣的一種錯(cuò)誤信息。這是因?yàn)楝F(xiàn)有的傳統(tǒng)統(tǒng)計(jì)方法是針對(duì)小數(shù)據(jù)的，在被提出的時(shí)候，還沒有面對(duì)過或想到數(shù)據(jù)量可以如此龐大。如何解決如何改進(jìn)由于這樣的數(shù)據(jù)特性帶來的問題，我們還在研究的路上。
羊群效應(yīng)（herding effect）
大數(shù)據(jù)時(shí)代，我們的社會(huì)已經(jīng)在越來越多的把個(gè)人的觀點(diǎn)數(shù)字化，匯總化，并依賴于此做出決策（比如根據(jù)收集到的評(píng)分來進(jìn)行產(chǎn)品或服務(wù)的推薦）。這一現(xiàn)象在醫(yī)療界也漸漸的變的普遍起來。好多輔助醫(yī)療應(yīng)用軟件在移動(dòng)平臺(tái)上都會(huì)有使用者的評(píng)分，人們會(huì)根據(jù)評(píng)分來選擇是否使用一下。某些醫(yī)療網(wǎng)絡(luò)平臺(tái)推出的服務(wù)，比如網(wǎng)絡(luò)問診，使用者也可以對(duì)提供服務(wù)的醫(yī)療人員進(jìn)行滿意度的評(píng)分，進(jìn)而影響他人決定是否選擇此醫(yī)療人員來進(jìn)行問診咨詢。
利用這種“眾人的智慧”的一個(gè)關(guān)鍵要求是個(gè)人意見的獨(dú)立性。然而，在現(xiàn)實(shí)的世界中，匯總收集的集體意見卻很少是由互不相干的獨(dú)立的個(gè)體意見所組成的。最近的實(shí)驗(yàn)研究證明先前已經(jīng)存在的收集到的意見會(huì)歪曲隨后個(gè)人的決策還有對(duì)質(zhì)量及價(jià)值的認(rèn)知。凸顯出了一個(gè)根本的差異既： 我們從集體意見感知到的價(jià)值和產(chǎn)品本身固有的價(jià)值之間的差異。
產(chǎn)生這種差異的原因在于“羊群效應(yīng)” 。羊群效應(yīng)簡單的描述就是個(gè)體的從眾跟風(fēng)心理和行為。羊群是一種很散亂的組織，平時(shí)在一起也是盲目地左沖右撞，但一旦有一只頭羊動(dòng)起來，其他的羊也會(huì)不假思索地一哄而上，全然不顧前 面可能有狼或者不遠(yuǎn)處有更好的草。因此，“羊群效應(yīng)”就是比喻一種從眾效應(yīng)，很容易導(dǎo)致盲從，而盲從往往會(huì)陷入認(rèn)知偏差，決策偏差。
IBM Watson 研究中心 (Wang & Wang, 2014) 使用大規(guī)?？v向的客戶評(píng)分?jǐn)?shù)據(jù)集（亞馬遜的）并建立統(tǒng)計(jì)模型演示了評(píng)分和意見的產(chǎn)生不是獨(dú)立，均勻的過程，而是創(chuàng)建了一個(gè)環(huán)境進(jìn)而影響以后評(píng)分或意見的產(chǎn)生。體現(xiàn)在這種社會(huì)化的客戶評(píng)分系統(tǒng)中的“羊群效應(yīng)”具體表現(xiàn)為：高評(píng)分傾向于產(chǎn)生新的高評(píng)分同時(shí)抑制低評(píng)分的產(chǎn)生。
接下來的問題就是：什么是真實(shí)的符合產(chǎn)品真正質(zhì)量的評(píng)分如果我們能把“羊群效應(yīng)”給剔除出去的話？ 應(yīng)用 IBM Watson 研究中心建立的統(tǒng)計(jì)模型能夠部分回答這個(gè)問題。他們對(duì)亞馬遜的四類產(chǎn)品數(shù)據(jù)（書籍，電子產(chǎn)品，電影電視，和音樂）進(jìn)行了內(nèi)在評(píng)分（剔出“羊群效應(yīng)”）和外在（沒有剔出“羊群效應(yīng)”）測(cè)試。所有四個(gè)類別，50％以上的產(chǎn)品評(píng)分的差異大于 0.5。這個(gè)差異，說明我們從集體評(píng)分中得來的感知和產(chǎn)品的真實(shí)價(jià)值之間存在著顯著的差異。
再深一步，鑒于產(chǎn)品現(xiàn)在的評(píng)分，如果我們施加一定的人為操縱，“羊群效應(yīng)”會(huì)如何影響今后的評(píng)分？這樣的預(yù)測(cè)分析對(duì)于很多領(lǐng)域都是相當(dāng)有價(jià)值的，包括市場(chǎng)盈利估計(jì)，預(yù)算廣告和欺詐操縱檢測(cè)等。例如，在決定是否對(duì)以產(chǎn)品進(jìn)行促銷活動(dòng)之前，市場(chǎng)分析師可能希望估計(jì)由于推廣而出現(xiàn)的短期高評(píng)分對(duì)產(chǎn)品的長期影響。
研究中心通過對(duì)兩類產(chǎn)品（電影電視，和音樂）插入 50 個(gè)人為 5 星級(jí)的評(píng)分，預(yù)測(cè)到雖然這兩種產(chǎn)品在受歡迎程度上遇到類似的短期高評(píng)分，從長遠(yuǎn)來看，推廣對(duì)于電影及電視類產(chǎn)品有著更持久的影響（高評(píng)分消減的更慢）。這對(duì)于市場(chǎng)分析的決策提供了很有價(jià)值的情報(bào)。