我們往往很難理解為什么訓(xùn)練集和驗(yàn)證集被用來建立模型之后就會(huì)成為“污點(diǎn)”。這就好比你參加考試，你認(rèn)為這題你做的是正確的，老師讓你去預(yù)測考試成績，你顯然認(rèn)為分?jǐn)?shù)很高，因?yàn)槟阏J(rèn)為，如果沒有答案，第二天在參加同樣的考試，你的想法不會(huì)改變。這時(shí)候，你的系統(tǒng)中沒有一個(gè)新的標(biāo)準(zhǔn)，這時(shí)，你需要的是一個(gè)驗(yàn)證集。
現(xiàn)在，想象一下測試結(jié)果以后，估分之前老師讓你看看你同學(xué)的幾個(gè)試卷。如果他們都和你的結(jié)果不一樣，這時(shí)候，你可能會(huì)把你自己的答案標(biāo)記為一個(gè)錯(cuò)誤的答案。如果第二天老師給出了正確的結(jié)果，這個(gè)時(shí)候讓你再去做同樣的的試卷，你可能得出的就是不同的結(jié)果。這就是為什么驗(yàn)證集應(yīng)該不同于測試集的原因。
對于預(yù)測模型，一個(gè)好主意是測試集所在的時(shí)間段與訓(xùn)練集和驗(yàn)證集的時(shí)間段不同。一個(gè)模型的穩(wěn)定性證據(jù)在于它在連續(xù)的月份中都能夠良好的運(yùn)行。來自不同的時(shí)間段的測試集，也稱為不合時(shí)宜的測試集，雖然這樣的測試集并不總是可用，但是它是驗(yàn)證模型穩(wěn)定性的一個(gè)很好的方法。