Haar特征反映了局部區(qū)域之間的相對明暗關(guān)系，能夠?yàn)槿四樅头侨四樀膮^(qū)分提供有效的信息，例如眼睛區(qū)域比周圍的皮膚區(qū)域要暗，通過Haar特征就可以將這一特點(diǎn)表示出來。但是由于提取Haar特征時(shí)每次都需要計(jì)算局部區(qū)域內(nèi)多個(gè)像素點(diǎn)灰度值之和，因此在速度上其并不快，為此VJ人臉檢測器引入了積分圖來加速Haar特征的提取。
積分圖是一張和輸入圖像一樣大的圖，但其每個(gè)點(diǎn)上不再是存放這個(gè)點(diǎn)的灰度值，而是存放從圖像左上角到該點(diǎn)所確定的矩形區(qū)域內(nèi)全部點(diǎn)的灰度值之和。
積分圖所帶來的好處是兩方面的，一方面它使得每次計(jì)算局部區(qū)域像素點(diǎn)的灰度值之和僅需要做4次加減法，與局部區(qū)域的大小無關(guān);另一方面它避免了在相同像素點(diǎn)上重復(fù)求和，只在最開始計(jì)算一次——相鄰的窗口有很大的重疊部分，對應(yīng)的Haar特征也會重疊，如果每次都重新計(jì)算像素點(diǎn)的灰度值之和，則重疊部分的計(jì)算是重復(fù)的。積分圖極大地加速了Haar特征的提取，向快速的檢測器邁出了第一步。
除了特征提取，分類過程的速度對于檢測的速度也至關(guān)重要。分類的速度取決于分類器的復(fù)雜程度，也即從特征向量變換到類別標(biāo)簽的計(jì)算過程的復(fù)雜程度。復(fù)雜的分類器往往具有更強(qiáng)的分類能力，能夠獲得更好的分類準(zhǔn)確度，但是分類時(shí)的計(jì)算代價(jià)比較高，而簡單的分類器雖然計(jì)算代價(jià)小，但是分類準(zhǔn)確度也較低。那么有沒有兼顧計(jì)算代價(jià)和分類準(zhǔn)確度兩方面的辦法呢?當(dāng)然有，這就是AdaBoost方法。希望計(jì)算代價(jià)小，所以只用簡單的分類器，但是又希望分類準(zhǔn)確度高，于是把多個(gè)簡單的分類器組合起來——聚弱為強(qiáng)，將多個(gè)弱分類器組合成一個(gè)強(qiáng)分類器，這就是AdaBoost方法的核心理念。通過AdaBoost方法來學(xué)習(xí)分類器，達(dá)到了以更小的計(jì)算代價(jià)換取同樣的分類準(zhǔn)確度的目的。
造成人臉檢測速度慢的根本原因還在于輸入規(guī)模過大，動輒需要處理幾十上百萬的窗口，如果這樣的輸入規(guī)模是不可避免的，那么有沒有可能在處理的過程中盡快降低輸入規(guī)模呢?如果能夠通過粗略地觀察快速排除掉大部分窗口，只剩下少部分窗口需要進(jìn)行仔細(xì)的判別，則總體的時(shí)間開銷也會極大地降低。從這樣的想法出發(fā)，VJ人臉檢測器采用了一種級聯(lián)結(jié)構(gòu)來達(dá)到逐步降低輸入規(guī)模的目的。
具體說來，VJ人臉檢測器將多個(gè)分類器級聯(lián)在一起，從前往后，分類器的復(fù)雜程度和計(jì)算代價(jià)逐漸增大，對于給定的一個(gè)窗口，先由排在最前面也最簡單的分類器對其進(jìn)行分類，如果這個(gè)窗口被分為非人臉窗口，那么就不再送到后面的分類器進(jìn)行分類，直接排除，否則就送到下一級分類器繼續(xù)進(jìn)行判別，直到其被排除，或者被所有的分類器都分為人臉窗口。這樣設(shè)計(jì)的好處是顯而易見的，每經(jīng)過一級分類器，下一級分類器所需要判別的窗口就會減少，使得只需要付出非常少的計(jì)算代價(jià)就能夠排除大部分非人臉窗口。從另一個(gè)角度來看，這實(shí)際上也是根據(jù)一個(gè)窗口分類的難度動態(tài)地調(diào)整了分類器的復(fù)雜程度，這顯然比所有的窗口都用一樣的分類器要更加高效。
VJ人臉檢測器通過積分圖、AdaBoost方法和級聯(lián)結(jié)構(gòu)取得的巨大成功對后續(xù)的人臉檢測技術(shù)研究產(chǎn)生了深遠(yuǎn)的影響，大量的科研工作者開始基于VJ人臉檢測器進(jìn)行改進(jìn)，這些改進(jìn)也分別覆蓋了VJ人臉檢測器的三個(gè)關(guān)鍵要素。
特征的改進(jìn)和變遷
雖然Haar特征已經(jīng)能夠刻畫人臉的一些特點(diǎn)，但是相比于人臉復(fù)雜的變化模式，VJ人臉檢測器所采用的5種Haar特征還是過于簡單。光考慮姿態(tài)上的變化，人臉可能是斜著的(平面內(nèi)旋轉(zhuǎn))，也可能是仰著的或者側(cè)著的(平面外旋轉(zhuǎn))，同一個(gè)Haar特征在不同姿態(tài)的人臉上差異可能非常大，而同時(shí)又可能和非人臉區(qū)域上的特征更相近，這就很容易在分類的時(shí)候引起誤判。于是人們開始對Haar特征進(jìn)行擴(kuò)展，使得其能夠刻畫更加豐富的變化模式：
1. 環(huán)形的黑白區(qū)域劃分模式，而不僅僅是上下或者左右型;
2. 旋轉(zhuǎn)的Haar的特征，即將原來提取Haar特征的局部小塊順時(shí)針或逆時(shí)針旋轉(zhuǎn)45度;