Adam Harley 創(chuàng)建了一個卷積神經網絡的可視化結果，使用的是 MNIST 手寫數字的訓練集 13 。我強烈建議使用它來理解 CNN 的工作原理。
我們可以在下圖中看到網絡是如何識別輸入 “8” 的。注意下圖中的可視化并沒有單獨展示 ReLU 操作。
輸入圖像包含 1024 個像素(32 x 32 大小)，第一個卷積層(卷積層 1)由六個獨特的 5x5 (步長為 1)的濾波器組成。如圖可見，使用六個不同的濾波器得到一個深度為六的特征圖。
卷積層 1 后面是池化層 1，在卷積層 1 得到的六個特征圖上分別進行 2x2 的最大池化(步長為 2)的操作。你可以在池化層上把鼠標移動到任意的像素上，觀察在前面卷積層(如上圖所示)得到的 4x4 的小格。你會發(fā)現 4x4 小格中的最大值(最亮)的像素將會進入到池化層。
池化層 1 后面的是六個 5x5 (步長為 1)的卷積濾波器，進行卷積操作。后面就是池化層 2，進行 2x2 的最大池化(步長為 2)的操作。這兩層的概念和前面描述的一樣。
接下來我們就到了三個全連接層。它們是：
第一個全連接層有 120 個神經元
第二層全連接層有 100 個神經元
第三個全連接層有 10 個神經元，對應 10 個數字——也就做輸出層
注意在下圖中，輸出層中的 10 個節(jié)點的各個都與第二個全連接層的所有 100 個節(jié)點相連(因此叫做全連接)。
同時，注意在輸出層那個唯一的亮的節(jié)點是如何對應于數字 “8” 的——這表明網絡把我們的手寫數字正確分類(越亮的節(jié)點表明從它得到的輸出值越高，即，8 是所有數字中概率最高的)。
同樣的 3D 可視化可以在 這里 看到。
其他的 ConvNet 架構
卷積神經網絡從上世紀 90 年代初期開始出現。我們上面提到的 LeNet 是早期卷積神經網絡之一。其他有一定影響力的架構如下所示 3 ：
LeNet (1990s)： 本文已介紹。
1990s to 2012：在上世紀 90 年代后期至 2010 年初期，卷積神經網絡進入孵化期。隨著數據量和計算能力的逐漸發(fā)展，卷積神經網絡可以處理的問題變得越來越有趣。
AlexNet (2012) – 在 2012，Alex Krizhevsky (與其他人)發(fā)布了 AlexNet ，它是比 LeNet 更深更寬的版本，并在 2012 年的 ImageNet 大規(guī)模視覺識別大賽(ImageNet Large Scale Visual Recognition Challenge，ILSVRC)中以巨大優(yōu)勢獲勝。這對于以前的方法具有巨大的突破，當前 CNN 大范圍的應用也是基于這個工作。
ZF Net (2013) – ILSVRC 2013 的獲勝者是來自 Matthew Zeiler 和 Rob Fergus 的卷積神經網絡。它以 ZFNet (Zeiler & Fergus Net 的縮寫)出名。它是在 AlexNet 架構超參數上進行調整得到的效果提升。
GoogLeNet (2014) – ILSVRC 2014 的獲勝者是來自于 Google 的 Szegedy 等人的卷積神經網絡。它的主要貢獻在于使用了一個 Inception 模塊，可以大量減少網絡的參數個數(4M，AlexNet 有 60M 的參數)。
VGGNet (2014) – 在 ILSVRC 2014 的領先者中有一個 VGGNet 的網絡。它的主要貢獻是展示了網絡的深度(層數)對于性能具有很大的影響。
ResNets (2015) – 殘差網絡 是何凱明(和其他人)開發(fā)的，并贏得 ILSVRC 2015 的冠軍。ResNets 是當前卷積神經網絡中最好的模型，也是實踐中使用 ConvNet 的默認選擇(截至到 2016 年五月)。
DenseNet (2016 八月) – 近來由 Gao Huang (和其他人)發(fā)表的， the Densely Connected Convolutional Network 的各層都直接于其他層以前向的方式連接。DenseNet 在五種競爭積累的目標識別基準任務中，比以前最好的架構有顯著的提升?？梢栽?這里 看 Torch 實現。
總結
在本篇文章中，我嘗試使用簡單的方式來解釋卷積神經網絡背后的主要概念。我簡化/跳過了一些細節(jié)，但希望本篇文章可以讓你對它們有一定的了解。
本文最開始是受 Denny Britz 的 理解用于自然語言處理的卷積神經網絡 (我強烈建議閱讀)啟發(fā)，大量的解釋也是基于那篇文章。如果你想要對這些概念有更深的理解，我建議你瀏覽一下 Stanford 的 ConvNet 課程 中的 筆記 ，以及下面所列的參考文獻。如果你對上面的概念有什么疑問，或者有問題和建議，歡迎在下面留言。