(2)
其中表示第i個(gè)樣本的特征向量,是第i個(gè)樣本的類標(biāo)簽,SVM令。由約束條件可知,樣本點(diǎn)必然落在最優(yōu)間隔的邊緣(圖4中虛線)上或外面,通過推導(dǎo)分析最終可以知道,只有落在間隔邊緣上的少量數(shù)據(jù)點(diǎn)決定了分類面,這些樣本被稱為支持向量,而其他的點(diǎn)沒有任何作用。這一特性大大節(jié)省了求解SVM的計(jì)算量。
線性不可分情況的處理
按照達(dá)觀數(shù)據(jù)的經(jīng)驗(yàn),真實(shí)環(huán)境的問題往往是線性不可分的,數(shù)據(jù)采集的時(shí)候也不可避免的會引入噪聲。應(yīng)對這兩種情況只需對原始SVM模型做有限的一點(diǎn)改進(jìn)。針對數(shù)據(jù)線性不可分的情況,SVM通過引入核函數(shù)(Kernel Function)將數(shù)據(jù)映射到高維空間來解決,圖5直觀的表示了映射的過程。核函數(shù)實(shí)際上是兩個(gè)數(shù)據(jù)點(diǎn)在高維空間中的內(nèi)積。它先在原空間進(jìn)行計(jì)算再將結(jié)果映射到高維空間,避免了先把數(shù)據(jù)點(diǎn)映射到高維空間再計(jì)算所可能導(dǎo)致的維數(shù)災(zāi)難問題。核函數(shù)可以從容的處理包括無限維在內(nèi)的任何特征空間映射。