考慮實(shí)際意義
有大量數(shù)據(jù)的話，只關(guān)注統(tǒng)計(jì)學(xué)意義，或處理每一小組數(shù)據(jù)的細(xì)節(jié)，都是十分誘人的。但是您需要反問(wèn)您自己，“如果X的值確實(shí)比Y的值多0.1%，這有影響么?”這可能特別重要，如果您不能很好理解或是歸類(lèi)您的部分?jǐn)?shù)據(jù)。如果您不能理解我們的日志中的一些用戶代理字段，不管它是0.1%還是10%有很大的差異，取決于多大程度上您要研究這些案例。
另一方面,您有時(shí)會(huì)有一個(gè)較小的數(shù)據(jù)集。許多變化達(dá)不到統(tǒng)計(jì)學(xué)顯著意義，可是又不同于說(shuō)這是“中性”。您必須問(wèn)自己“實(shí)際上仍然具有顯著性變化的可能性有多大”?
檢查經(jīng)過(guò)時(shí)間后的一致性
您應(yīng)該總是使用的一種特定劃分方法，就是以時(shí)間為單位劃分(我們經(jīng)常使用的是日期，但其他單位可能也行)。這是因?yàn)樵S多基礎(chǔ)背后的干擾因素系統(tǒng)隨時(shí)間演進(jìn)而產(chǎn)生的。通常一個(gè)特征或初始數(shù)據(jù)集的初始版本將會(huì)受到仔細(xì)的檢查，但是依這種方法繼續(xù)，出現(xiàn)例外并不罕見(jiàn)。
僅僅因?yàn)槟骋惶旎蚰承┨斐霈F(xiàn)異常，并不意味著您應(yīng)該舍棄它。在您丟棄之前，使用這個(gè)異常數(shù)據(jù)作為一個(gè)鉤子，找到為什么這天出現(xiàn)異常的原因。
看這種“一天又一天”的數(shù)據(jù)的另一個(gè)好處是，它給您數(shù)據(jù)不斷變化的感覺(jué)，最終將形成一個(gè)置信區(qū)間或聲明其統(tǒng)計(jì)學(xué)顯著性。這通常不能取代嚴(yán)格的置信區(qū)間計(jì)算，但僅從“一天又一天”圖表中您往往可以看到統(tǒng)計(jì)顯著的大致變化。
過(guò)程
分開(kāi)驗(yàn)證、描述、評(píng)估
我認(rèn)為探索性數(shù)據(jù)分析有三個(gè)相互關(guān)聯(lián)的階段:
驗(yàn)證或初步數(shù)據(jù)分析：我是否相信數(shù)據(jù)是自我一致的(self-consistent)，是否采用正確的數(shù)據(jù)收集方法，我認(rèn)為這些數(shù)據(jù)代表什么?這通常叫做“健康檢查”。例如，如果完成了手動(dòng)測(cè)試某種特征，那么我可以看看手動(dòng)測(cè)試的日志嗎?移動(dòng)設(shè)備功能推出的特性，日志是否記錄了臺(tái)式機(jī)也存在這種特性?
描述：這個(gè)數(shù)據(jù)的客觀解釋是什么?例如，“用戶很少用7字查詢這些數(shù)據(jù)嗎?”，“點(diǎn)擊頁(yè)面加載的時(shí)間(這里經(jīng)過(guò)點(diǎn)擊后)超過(guò)1%”，還有“進(jìn)入下一個(gè)結(jié)果的頁(yè)面的用戶比例更小。”
評(píng)估：鑒于描述，數(shù)據(jù)告訴我們，對(duì)于用戶、對(duì)于谷歌、對(duì)于世界一些好事將會(huì)發(fā)生嗎?例如，“用戶可以更快找到結(jié)果”或“點(diǎn)擊質(zhì)量更高了”。
分成這些階段，您可以更容易地與他人達(dá)成共識(shí)。描述應(yīng)該是每個(gè)人都能從數(shù)據(jù)達(dá)成一致的事情。評(píng)估可能會(huì)存在更多的爭(zhēng)議，因?yàn)槟鷮?duì)數(shù)據(jù)灌輸了一些意義和價(jià)值。如果您不把描述和評(píng)價(jià)分開(kāi)，您更有可能只看到您希望看到的數(shù)據(jù)解釋。此外，因?yàn)橐⒁?guī)范的測(cè)度值，通常是通過(guò)與其他特征和測(cè)量進(jìn)行嚴(yán)格的比較，需要大量的投入，評(píng)估往往會(huì)更加困難。
這些階段不是按順序遞進(jìn)的。當(dāng)您要探索數(shù)據(jù)，您可能在這些階段之間反復(fù)，但在任何時(shí)候您應(yīng)該清楚您處于什么階段。
確認(rèn)實(shí)驗(yàn)及數(shù)據(jù)收集的建立
看任何數(shù)據(jù)之前，確保您了解實(shí)驗(yàn)和數(shù)據(jù)收集的設(shè)置。實(shí)驗(yàn)者和分析師之間交流融洽，是一個(gè)巨大的挑戰(zhàn)。如果您能直接看到實(shí)驗(yàn)協(xié)議或配置，那您就應(yīng)當(dāng)這樣做。否則，寫(xiě)下您自己理解的設(shè)置，確保負(fù)責(zé)采數(shù)據(jù)的人能明白它的正確性。
您可能會(huì)發(fā)現(xiàn)不正?；虿缓玫呐渲?，或樣本集的限制(如僅在一個(gè)特定的瀏覽器下能得到有效數(shù)據(jù))。這里提到的可能會(huì)幫助您構(gòu)建并驗(yàn)證理論。下面一些方面需要考慮：
如果它是一個(gè)產(chǎn)品的特征，那么就要試著找出它。如果不能，至少要看行為的截圖或是描述;
尋找任何實(shí)驗(yàn)運(yùn)行時(shí)間內(nèi)的不尋常事件(假期、大新聞的發(fā)布，等等)。
檢查關(guān)鍵標(biāo)記
在真正回答您感興趣的問(wèn)題之前(例如，“用戶使用我厲害的新功能了嗎?”)，您需要檢查大量的相關(guān)事宜，這些可能不是您感興趣的，但這可能對(duì)以后的分析或指出數(shù)據(jù)的問(wèn)題是很有用的。用戶數(shù)量變化了嗎?受影響查詢數(shù)量是否正確得顯示在我所有的子組當(dāng)中?出錯(cuò)率變了嗎?就像您的醫(yī)生每次總是檢查您的身高、體重、和血壓，檢查您的生命體征數(shù)據(jù)是否潛在大問(wèn)題。這是一個(gè)“驗(yàn)證”階段的重要組成部分。
標(biāo)準(zhǔn)化第一，個(gè)性化第二
這是一個(gè)不容改變的檢查規(guī)則。特別是當(dāng)看到新特性和新數(shù)據(jù)的時(shí)候，那么用新的或特別的測(cè)量這個(gè)新特征的方法往往很誘人。但是您應(yīng)該先看看標(biāo)準(zhǔn)測(cè)量方法，即使您希望改變他們。例如，當(dāng)添加一個(gè)全新的UI特征來(lái)搜索頁(yè)面，您應(yīng)該確保您先理解標(biāo)準(zhǔn)測(cè)量，比如結(jié)果的點(diǎn)擊數(shù)的影響，然后對(duì)這個(gè)新的UI功能采用特別的測(cè)量方法。您這樣做是因?yàn)闃?biāo)準(zhǔn)測(cè)量更加有效，更可能是正確的。如果您的新、自定義的測(cè)量與標(biāo)準(zhǔn)的測(cè)量不一致，那這個(gè)測(cè)量很可能是錯(cuò)的。