比較類似的，可以拓展到有2,3,4,5，…個(gè)隱含層。
神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法也同Logistic類似，不過(guò)由于其多層性，還需要利用鏈?zhǔn)角髮?dǎo)法則對(duì)隱含層的節(jié)點(diǎn)進(jìn)行求導(dǎo)，即梯度下降+鏈?zhǔn)角髮?dǎo)法則，專業(yè)名稱為反向傳播。關(guān)于訓(xùn)練算法，本文暫不涉及。
2 卷積神經(jīng)網(wǎng)絡(luò)
在圖像處理中，往往把圖像表示為像素的向量，比如一個(gè)1000×1000的圖像，可以表示為一個(gè)1000000的向量。在上一節(jié)中提到的神經(jīng)網(wǎng)絡(luò)中，如果隱含層數(shù)目與輸入層一樣，即也是1000000時(shí)，那么輸入層到隱含層的參數(shù)數(shù)據(jù)為1000000×1000000=10^12，這樣就太多了，基本沒法訓(xùn)練。所以圖像處理要想練成神經(jīng)網(wǎng)絡(luò)大法，必先減少參數(shù)加快速度。就跟辟邪劍譜似的，普通人練得很挫，一旦自宮后內(nèi)力變強(qiáng)劍法變快，就變的很牛了。
2.1 局部感知
卷積神經(jīng)網(wǎng)絡(luò)有兩種神器可以降低參數(shù)數(shù)目，第一種神器叫做局部感知野。一般認(rèn)為人對(duì)外界的認(rèn)知是從局部到全局的，而圖像的空間聯(lián)系也是局部的像素聯(lián)系較為緊密，而距離較遠(yuǎn)的像素相關(guān)性則較弱。因而，每個(gè)神經(jīng)元其實(shí)沒有必要對(duì)全局圖像進(jìn)行感知，只需要對(duì)局部進(jìn)行感知，然后在更高層將局部的信息綜合起來(lái)就得到了全局的信息。網(wǎng)絡(luò)部分連通的思想，也是受啟發(fā)于生物學(xué)里面的視覺系統(tǒng)結(jié)構(gòu)。視覺皮層的神經(jīng)元就是局部接受信息的(即這些神經(jīng)元只響應(yīng)某些特定區(qū)域的刺激)。如下圖所示：左圖為全連接，右圖為局部連接。
在上右圖中，假如每個(gè)神經(jīng)元只和10×10個(gè)像素值相連，那么權(quán)值數(shù)據(jù)為1000000×100個(gè)參數(shù)，減少為原來(lái)的千分之一。而那10×10個(gè)像素值對(duì)應(yīng)的10×10個(gè)參數(shù)，其實(shí)就相當(dāng)于卷積操作。
2.2 參數(shù)共享
但其實(shí)這樣的話參數(shù)仍然過(guò)多，那么就啟動(dòng)第二級(jí)神器，即權(quán)值共享。在上面的局部連接中，每個(gè)神經(jīng)元都對(duì)應(yīng)100個(gè)參數(shù)，一共1000000個(gè)神經(jīng)元，如果這1000000個(gè)神經(jīng)元的100個(gè)參數(shù)都是相等的，那么參數(shù)數(shù)目就變?yōu)?00了。
怎么理解權(quán)值共享呢?我們可以這100個(gè)參數(shù)(也就是卷積操作)看成是提取特征的方式，該方式與位置無(wú)關(guān)。這其中隱含的原理則是：圖像的一部分的統(tǒng)計(jì)特性與其他部分是一樣的。這也意味著我們?cè)谶@一部分學(xué)習(xí)的特征也能用在另一部分上，所以對(duì)于這個(gè)圖像上的所有位置，我們都能使用同樣的學(xué)習(xí)特征。
更直觀一些，當(dāng)從一個(gè)大尺寸圖像中隨機(jī)選取一小塊，比如說(shuō) 8×8 作為樣本，并且從這個(gè)小塊樣本中學(xué)習(xí)到了一些特征，這時(shí)我們可以把從這個(gè) 8×8 樣本中學(xué)習(xí)到的特征作為探測(cè)器，應(yīng)用到這個(gè)圖像的任意地方中去。特別是，我們可以用從 8×8 樣本中所學(xué)習(xí)到的特征跟原本的大尺寸圖像作卷積，從而對(duì)這個(gè)大尺寸圖像上的任一位置獲得一個(gè)不同特征的激活值。
如下圖所示，展示了一個(gè)33的卷積核在55的圖像上做卷積的過(guò)程。每個(gè)卷積都是一種特征提取方式，就像一個(gè)篩子，將圖像中符合條件(激活值越大越符合條件)的部分篩選出來(lái)。
2.3 多卷積核
上面所述只有100個(gè)參數(shù)時(shí)，表明只有1個(gè)100*100的卷積核，顯然，特征提取是不充分的，我們可以添加多個(gè)卷積核，比如32個(gè)卷積核，可以學(xué)習(xí)32種特征。在有多個(gè)卷積核時(shí)，如下圖所示：
上圖右，不同顏色表明不同的卷積核。每個(gè)卷積核都會(huì)將圖像生成為另一幅圖像。比如兩個(gè)卷積核就可以將生成兩幅圖像，這兩幅圖像可以看做是一張圖像的不同的通道。如下圖所示，下圖有個(gè)小錯(cuò)誤，即將w1改為w0，w2改為w1即可。下文中仍以w1和w2稱呼它們。
下圖展示了在四個(gè)通道上的卷積操作，有兩個(gè)卷積核，生成兩個(gè)通道。其中需要注意的是，四個(gè)通道上每個(gè)通道對(duì)應(yīng)一個(gè)卷積核，先將w2忽略，只看w1，那么在w1的某位置(i,j)處的值，是由四個(gè)通道上(i,j)處的卷積結(jié)果相加然后再取激活函數(shù)值得到的。
