6. 使用了未來的信息（Accept Leaks from the Future）
IDMer：看似不可能，卻是實(shí)際中很容易犯的錯誤，特別是你面對成千上萬個變量的時候。認(rèn)真、仔細(xì)、有條理是數(shù)據(jù)挖掘人員的基本要求。
- 預(yù)報（Forecast）示例：預(yù)報芝加哥銀行在某天的利率，使用神經(jīng)網(wǎng)絡(luò)建模，模型的準(zhǔn)確率達(dá)到95%。但在模型中卻使用了該天的利率作為輸入變量。
- 金融業(yè)中的預(yù)報示例：使用3日的移動平均來預(yù)報，但卻把移動平均的中點(diǎn)設(shè)在今天。
解決方法：
要仔細(xì)查看那些讓結(jié)果表現(xiàn)得異常好的變量，這些變量有可能是不應(yīng)該使用，或者不應(yīng)該直接使用的。
給數(shù)據(jù)加上時間戳，避免被誤用。
___________________________________________________________________________________
7. 拋棄了不該忽略的案例（Discount Pesky Cases）
IDMer：到底是“寧為雞頭，不為鳳尾”，還是“大隱隱于市，小隱隱于野”？不同的人生態(tài)度可以有同樣精彩的人生，不同的數(shù)據(jù)也可能蘊(yùn)含同樣重要的價值。
異常值可能會導(dǎo)致錯誤的結(jié)果（比如價格中的小數(shù)點(diǎn)標(biāo)錯了），但也可能是問題的答案（比如臭氧洞）。所以需要仔細(xì)檢查這些異常。
研究中最讓激動的話語不是“啊哈！”，而是“這就有點(diǎn)奇怪了……”
數(shù)據(jù)中的不一致性有可能會是解決問題的線索，深挖下去也許可以解決一個大的業(yè)務(wù)問題。
例如：
在直郵營銷中，在對家庭地址的合并和清洗過程中發(fā)現(xiàn)的數(shù)據(jù)不一致，反而可能是新的營銷機(jī)會。
解決方法：
可視化可以幫助你分析大量的假設(shè)是否成立。
___________________________________________________________________________________
8. 輕信預(yù)測（Extrapolate）
IDMer：依然是辯證法中的觀點(diǎn)，事物都是不斷發(fā)展變化的。
人們常常在經(jīng)驗(yàn)不多的時候輕易得出一些結(jié)論。
即便發(fā)現(xiàn)了一些反例，人們也不太愿意放棄原先的想法。
維度咒語：在低維度上的直覺，放在高維度空間中，常常是毫無意義的。
解決方法：
進(jìn)化論。沒有正確的結(jié)論，只有越來越準(zhǔn)確的結(jié)論。
___________________________________________________________________________________
9. 試圖回答所有問題（Answer Every Inquiry）
IDMer：有點(diǎn)像我爬山時鼓勵自己的一句話“我不知道什么時候能登上山峰，但我知道爬一步就離終點(diǎn)近一步?！?/span>
“不知道”是一種有意義的模型結(jié)果。
模型也許無法100%準(zhǔn)確回答問題，但至少可以幫我們估計(jì)出現(xiàn)某種結(jié)果的可能性。
___________________________________________________________________________________
10. 隨便地進(jìn)行抽樣（Sample Casually）
- 降低抽樣水平。例如，MD直郵公司進(jìn)行響應(yīng)預(yù)測分析，但發(fā)現(xiàn)數(shù)據(jù)集中的不響應(yīng)客戶占比太高（總共一百萬直郵客戶，其中超過99%的人未對營銷做出響應(yīng)）。于是建模人員做了如下抽樣：把所有響應(yīng)者放入樣本集，然后在所有不響應(yīng)者中進(jìn)行系統(tǒng)抽樣，即每隔10人抽一個放入樣本集，直到樣本集達(dá)到10萬人。但模型居然得出如下規(guī)則：凡是居住在Ketchikan、Wrangell和Ward Cove Alaska的人都會響應(yīng)營銷。這顯然是有問題的結(jié)論。（問題就出在這種抽樣方法上，因?yàn)樵紨?shù)據(jù)集已經(jīng)按照郵政編碼排序，上面這三個地區(qū)中不響應(yīng)者未能被抽取到樣本集中，故此得出了這種結(jié)論）。
解決方法：“喝前搖一搖！”先打亂原始數(shù)據(jù)集中的順序，從而保證抽樣的隨機(jī)性。
- 提高抽樣水平。例如，在信用評分中，因?yàn)檫`約客戶的占比一般都非常低，所以在建模時常常會人為調(diào)高違約客戶的占比（比如把這些違約客戶的權(quán)重提高5倍）。建模中發(fā)現(xiàn)，隨著模型越來越復(fù)雜，判別違約客戶的準(zhǔn)確率也越來越高，但對正?？蛻舻恼`判率也隨之升高。（問題出在數(shù)據(jù)集的劃分上。在把原始數(shù)據(jù)集劃分為訓(xùn)練集和測試集時，原始數(shù)據(jù)集中違約客戶的權(quán)重已經(jīng)被提高過了）
更多詳細(xì)信息，請您微信關(guān)注“計(jì)算網(wǎng)”公眾號：
