1. 缺乏數(shù)據(jù)（Lack Data）
 
對于分類問題或預(yù)估問題來說，常常缺乏準(zhǔn)確標(biāo)注的案例。
例如：

• 欺詐偵測（Fraud Detection）：在上百萬的交易中，可能只有屈指可數(shù)的欺詐交易，還有很多的欺詐交易沒有被正確標(biāo)注出來，這就需要在建模前花費(fèi)大量人力來修正。
• 信用評分（Credit Scoring）：需要對潛在的高風(fēng)險客戶進(jìn)行長期跟蹤（比如兩年），從而積累足夠的評分樣本。

___________________________________________________________________________________

2. 太關(guān)注訓(xùn)練（Focus on Training）
 
IDMer：就象體育訓(xùn)練中越來越注重實戰(zhàn)訓(xùn)練，因為單純的封閉式訓(xùn)練常常會訓(xùn)練時狀態(tài)神勇，比賽時一塌糊涂。
 
實際上，只有樣本外數(shù)據(jù)上的模型評分結(jié)果才真正有用?。ǚ駝t的話，直接用參照表好了！）
例如：

• 癌癥檢測（Cancer detection）：MD Anderson的醫(yī)生和研究人員（1993）使用神經(jīng)網(wǎng)絡(luò)來進(jìn)行癌癥檢測，驚奇地發(fā)現(xiàn)，訓(xùn)練時間越長（從幾天延長至數(shù)周），對訓(xùn)練集的性能改善非常輕微，但在測試集上的性能卻明顯下降。
• 機(jī)器學(xué)習(xí)或計算機(jī)科學(xué)研究者常常試圖讓模型在已知數(shù)據(jù)上表現(xiàn)最優(yōu)，這樣做的結(jié)果通常會導(dǎo)致過度擬合（overfit）。

解決方法：
 
解決這個問題的典型方法是重抽樣（Re-Sampling）。重抽樣技術(shù)包括：bootstrap、cross-validation、jackknife、leave-one-out…等等。

___________________________________________________________________________________

3. 只依賴一項技術(shù)（Rely on One Technique）
 
IDMer：這個錯誤和第10種錯誤有相通之處，請同時參照其解決方法。沒有對比也就沒有所謂的好壞，辯證法的思想在此體現(xiàn)無遺。
 
“當(dāng)小孩子手拿一把錘子時，整個世界看起來就是一枚釘子?！币胱尮ぷ鞅M善盡美，就需要一套完整的工具箱。
 
不要簡單地信賴你用單個方法分析的結(jié)果，至少要和傳統(tǒng)方法（比如線性回歸或線性判別分析）做個比較。
 
研究結(jié)果：按照《神經(jīng)網(wǎng)絡(luò)》期刊的統(tǒng)計，在過去3年來，只有1/6的文章中做到了上述兩點。也就是說，在獨(dú)立于訓(xùn)練樣本之外的測試集上進(jìn)行了開集測試，并與其它廣泛采用的方法進(jìn)行了對比。
 
解決方法：
 
使用一系列好的工具和方法。（每種工具或方法可能最多帶來5%~10%的改進(jìn)）。

___________________________________________________________________________________

4. 提錯了問題（Ask the Wrong Question）
 
IDMer：一般在分類算法中都會給出分類精度作為衡量模型好壞的標(biāo)準(zhǔn)，但在實際項目中我們卻幾乎不看這個指標(biāo)。為什么？因為那不是我們關(guān)注的目標(biāo)。

• 項目的目標(biāo)：一定要鎖定正確的目標(biāo)

例如：
 
欺詐偵測（關(guān)注的是正例！）（Shannon實驗室在國際長途電話上的分析）：不要試圖在一般的通話中把欺詐和非欺詐行為分類出來，重點應(yīng)放在如何描述正常通話的特征，然后據(jù)此發(fā)現(xiàn)異常通話行為。

• 模型的目標(biāo)：讓計算機(jī)去做你希望它做的事

大多數(shù)研究人員會沉迷于模型的收斂性來盡量降低誤差，這樣讓他們可以獲得數(shù)學(xué)上的美感。但更應(yīng)該讓計算機(jī)做的事情應(yīng)該是如何改善業(yè)務(wù)，而不是僅僅側(cè)重模型計算上的精度。

___________________________________________________________________________________

5. 只靠數(shù)據(jù)來說話（Listen (only) to the Data）
 
IDMer：“讓數(shù)據(jù)說話”沒有錯，關(guān)鍵是還要記得另一句話：兼聽則明，偏聽則暗！如果數(shù)據(jù)＋工具就可以解決問題的話，還要人做什么呢？

• 投機(jī)取巧的數(shù)據(jù)：數(shù)據(jù)本身只能幫助分析人員找到什么是顯著的結(jié)果，但它并不能告訴你結(jié)果是對還是錯。
• 經(jīng)過設(shè)計的實驗：某些實驗設(shè)計中摻雜了人為的成分，這樣的實驗結(jié)果也常常不可信。

___________________________________________________________________________________

 1/3    1 2 3 下一頁 尾頁