調(diào)參數(shù)是最基礎(chǔ)的步驟，雖看似簡單卻也內(nèi)有乾坤。不同模型可以調(diào)節(jié)的參數(shù)數(shù)量不同，可以采取“抓大放小”的原則，調(diào)節(jié)少數(shù)幾個(gè)（數(shù)量最好控制在1到2個(gè)）影響最大的參數(shù)，否則參數(shù)的組合呈指數(shù)級(jí)增長會(huì)變得難以調(diào)節(jié)。
大多數(shù)模型都有一個(gè)控制過擬合的參數(shù)，據(jù)我們的經(jīng)驗(yàn)來看，一般情況下這個(gè)參數(shù)對(duì)預(yù)測(cè)效果的好壞影響最大。對(duì)于SVM模型，前文提到過的限制松弛變量部分的C參數(shù)就起到控制過擬合的作用，調(diào)節(jié)C參數(shù)一般也能看到預(yù)測(cè)效果出現(xiàn)較大變化。此外，如果使用了高斯核函數(shù)將原始特征空間映射到無限維，那高斯核參數(shù)往往需要調(diào)節(jié)。因?yàn)樘〉目梢园讶魏螖?shù)據(jù)都映射成線性可分，導(dǎo)致非常嚴(yán)重的過擬合問題。相反，太大會(huì)使得映射后的空間仍然是低維空間，起不到升維的效果。
交叉檢驗(yàn)和AB測(cè)試
調(diào)參數(shù)需要用預(yù)測(cè)效果來比較還壞，有人可能會(huì)問，那該如何測(cè)試才能比較客觀的檢驗(yàn)參數(shù)甚至模型的有效性？我們的測(cè)試方法主要有兩種：離線測(cè)試和在線測(cè)試。離線測(cè)試時(shí)我們只有訓(xùn)練數(shù)據(jù)，一般會(huì)采用學(xué)術(shù)界常用的交叉驗(yàn)證方法。如圖9所示，我們將訓(xùn)練數(shù)據(jù)平均分為n份，在這n份數(shù)據(jù)上進(jìn)行n次循環(huán)，每次取其中一份作為檢驗(yàn)集（Validation Set），其他n-1份作為訓(xùn)練集（Training Set）。最后對(duì)n次預(yù)測(cè)的結(jié)果求平均，以平均得分來對(duì)比不同的參數(shù)和模型。n一般取5、10或者20。
