圖11： NYU手勢數(shù)據(jù)庫的精細測試圖像示例。左圖為真實圖像實像，右圖上為合成圖像，右圖下為來自蘋果生成對抗網(wǎng)絡的相應精細化輸出圖像。 實際圖像中的主要噪聲源是非平滑的邊緣噪聲。 學習網(wǎng)絡能夠?qū)W習模擬真實圖像中存在的噪聲，重要的是不需要任何標記和注釋。
定量分析：
我們采用一種類似于Stacked Hourglass人體姿態(tài)算法的CNN仿真算法應用于真實圖像、合成圖像以及精細化合成圖像處理，與NYU手勢數(shù)據(jù)庫中的測試樣本進行對比。通過對其中14個手關(guān)節(jié)變換進行算法訓練。為了避免偏差，我們用單層神經(jīng)網(wǎng)絡來分析算法對合成圖像的改進效果。圖12和表4顯示了關(guān)于算法對手勢數(shù)據(jù)庫進行處理的定量結(jié)果。其中由SimGAN輸出的精細化合成圖像顯著優(yōu)于基于真實圖像進行訓練而產(chǎn)生的圖像，其更為逼真，比標準合成圖像高出了8.8%，其中仿真 模擬輸出的注釋成本為零。同時要注意的是，3X代表圖像訓練選取了所有角度。
圖12：手勢估計的定量結(jié)果，關(guān)于NYU手勢測試集的真實深度圖像。 圖表顯示圖像與背景之間函數(shù)的累積曲線。可見，SimGAN輸出的精細化合成圖像顯著優(yōu)于基于真實圖像進行訓練而產(chǎn)生的圖像，其更為逼真，比標準合成圖像高出了8.8%。 重要的是，我們的學習網(wǎng)絡不需要對真實圖像進行標記。
表4：通過訓練生成各種手勢圖像的相似度。Synthetic Data為一般網(wǎng)絡訓練產(chǎn)生的合成圖像，Real Data為真實圖像，Refined Synthetic Data為生成對抗網(wǎng)絡SimGAN輸出的精細化合成圖像。3X表示對真實圖像進行多角度模擬。
實現(xiàn)細節(jié)：關(guān)于手勢圖像判別的架構(gòu)與眼睛圖像相同，但輸入圖像分辨率為224*224，濾波器大小為7*7，殘差網(wǎng)絡值為10。判別網(wǎng)絡D如下：（1）Conv7x7,
stride=4, feature maps=96, (2) Conv5x5, stride=2, feature maps=64, (3) MaxPool3x3, stride=2, (4) Conv3x3,stride=2, feature maps=32, (5) Conv1x1, stride=1, feature maps=32, (6) Conv1x1, stride=1, feature maps=2,(7) Softmax。
首先，我們會對R網(wǎng)絡進行自我規(guī)則化訓練500次，隨后引入D網(wǎng)絡訓練200次；隨后，每更新一次D網(wǎng)絡，就相應將R網(wǎng)絡進行兩次更新。在手勢估計中，我們采用Stacked Hourglass Net人體姿態(tài)算法輸出大小為64*64的熱點圖。我們在網(wǎng)絡學習中引入[-20,20]的隨機數(shù)據(jù)集來對不同角度的圖像進行訓練。直至驗證誤差有效收斂時，網(wǎng)絡訓練結(jié)束。
3.3對抗訓練的修正分析
首先我們比較了本地化對抗訓練以及全局對抗訓練的圖像偏差。在全局對抗中，判別網(wǎng)絡使用了完全連接層，從而使整個圖像相對于更加精細。而本地化對抗訓練則使得生成的圖像更為真實，如圖8所示。
圖8：左為全局對抗訓練結(jié)果，右為本地化對抗訓練結(jié)果。顯示了全局對抗訓練與本地化對抗訓練的結(jié)果偏差。左圖生成的圖像更精細但不真實，右圖生成的圖像相對真實度更高。
接下來，在圖9中，顯示了使用反復訓練的歷史精細化圖像對判別網(wǎng)絡進行更新，并將其與標準對抗生成的合成圖像進行比較的結(jié)果。如圖所示，使用反復訓練的歷史精細化圖像刻產(chǎn)生更為真實的陰影，譬如在標準對抗訓練中，眼睛角落里沒有陰影。
圖9：使用歷史精細圖像對判別網(wǎng)絡進行更新的結(jié)果。左圖： 標準合成圖像；中圖：使用歷史數(shù)據(jù)對判別網(wǎng)絡進行更新后的圖像結(jié)果；右圖：使用近期歷史數(shù)據(jù)對判別網(wǎng)絡進行更新的圖像結(jié)果。如圖所示，使用反復訓練的歷史精細化圖像刻產(chǎn)生更為真實的陰影。
4結(jié)論以及下一步工作
在文中，我們提出了一種“模擬+無監(jiān)督”的機器學習方法，能夠有效提高模擬圖像的真實感。我們描述了一種新的生成對抗網(wǎng)絡SimGAN，并將其應用于未經(jīng)標注的真實圖像，獲得了最好的結(jié)果。下一步，我們將繼續(xù)探索為合成圖像建立更為逼真的精細圖像，同時研究如何對視頻進行處理。