我們?yōu)?ldquo;模擬+無監(jiān)督”學(xué)習(xí)開發(fā)出新的方法，我們稱之為SimGAN，它可以利用我們稱之為“精煉器網(wǎng)絡(luò)（refiner network）”的神經(jīng)網(wǎng)絡(luò)從模擬器中提煉合成圖像。圖二中展示了這種方法的概述：第一，黑盒子模擬器中生成合成圖像，然后利用“精煉器網(wǎng)絡(luò)”對(duì)其進(jìn)行提煉。為了增加真實(shí)性，也就是“模擬+無監(jiān)督”學(xué)習(xí)算法的首要需求，我們需要利用類似生成式對(duì)抗網(wǎng)絡(luò)(GAN)來訓(xùn)練“精煉器網(wǎng)絡(luò)”，進(jìn)而產(chǎn)生判別網(wǎng)絡(luò)無法區(qū)分真假的精煉圖像。
第二，為了保留合成圖像上的注釋信息，我們需要利用“自正則化損失”彌補(bǔ)對(duì)抗性損失，在合成圖像和精煉圖像之間進(jìn)行修改。此外，我們還利用完全卷積神經(jīng)網(wǎng)絡(luò)，在像素水平方面進(jìn)行操作，并保留全局結(jié)構(gòu)，而非整體修改圖像的內(nèi)容。
第三，GAN框架要求訓(xùn)練2個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)抗，它們的目標(biāo)往往不夠穩(wěn)定，傾向于產(chǎn)生偽影。為了避免漂移和產(chǎn)生更強(qiáng)的偽影，導(dǎo)致甄別更困難，我們需要限定鑒別器的接收區(qū)域?yàn)榫植拷邮?，而非整張圖片接收，這導(dǎo)致每張圖像都會(huì)產(chǎn)生多個(gè)局部對(duì)抗性損失。此外，我們還引入提高訓(xùn)練穩(wěn)定性的方法，即通過使用精煉圖像而非當(dāng)前“精煉器網(wǎng)絡(luò)”中的現(xiàn)有圖像升級(jí)鑒別器。
1.1相關(guān)工作
GAN框架需要2個(gè)神經(jīng)網(wǎng)絡(luò)競爭損失，即生成器與鑒別器。其中，生成器網(wǎng)絡(luò)的目標(biāo)是在真實(shí)圖像上繪制隨機(jī)向量，而鑒別器網(wǎng)絡(luò)的目標(biāo)則是區(qū)分生成圖像與真實(shí)圖像。GAN網(wǎng)絡(luò)是由古德弗羅（I. Goodfellow）等人首先引入的，它可以幫助生成逼真的視覺圖像。自從那以來，GAN已經(jīng)有了許多改進(jìn)，并被投入到有趣的應(yīng)用中。
（圖2：SimGAN概觀：我們利用“精煉器網(wǎng)絡(luò)”提煉模擬器產(chǎn)生的輸出圖像，并最大限度地減少局部對(duì)抗性損失，并進(jìn)行自正則化。對(duì)抗性損失可以欺騙鑒別器網(wǎng)絡(luò)，從而令其將合成圖像誤認(rèn)為真實(shí)圖像。而自正則化則會(huì)最大限度減少合成圖像與真實(shí)圖像的差異，包括保留注釋信息，并讓精煉圖像被用于訓(xùn)練機(jī)器學(xué)習(xí)模型。“精煉器網(wǎng)絡(luò)”與鑒別器網(wǎng)絡(luò)也會(huì)交替升級(jí)。）
王（X. Wang）與古普塔（A. Gupta）利用結(jié)構(gòu)化GAN學(xué)習(xí)表面法線，然后將其與Style GAN相結(jié)合，以生成天然的室內(nèi)場景。我們提議使用對(duì)抗性訓(xùn)練進(jìn)行遞歸生成模型（recurrent generative model）訓(xùn)練。此外，最近推出的iGAN能夠幫助用戶以交互模式改變圖像。劉（M.-Y. Liu）等人開發(fā)的CoGAN結(jié)合GAN可多模態(tài)聯(lián)合分布圖像，無需要求應(yīng)對(duì)圖像的元組，這有利于開發(fā)出聯(lián)合發(fā)布解決方案。而陳（X. Chen）等人開發(fā)的InfoGAN是GAN信息理論的擴(kuò)展，允許有意義的陳述學(xué)習(xí)。
恩杰爾圖澤爾（Oncel Tuzel）等人利用GAN解決人臉圖像超高分辨率問題。李（C. Li）和王（M. Wand）提議Markovian GAN進(jìn)行有效的紋理合成。洛特爾（W. Lotter）等人在LSTM網(wǎng)絡(luò)中利用對(duì)抗性損失進(jìn)行視覺序列預(yù)測。于（L. Yu）等人提議SeqGAN框架，利用GAN強(qiáng)化學(xué)習(xí)。許多近來的問題都顯示出與生成模型領(lǐng)域相關(guān)的問題，比如PixelRNN可利用RNN的softmax損失預(yù)測像素順序。生成網(wǎng)絡(luò)側(cè)重于使用隨機(jī)噪聲矢量生成圖像，與我們的模型相比，其生成的圖像沒有任何標(biāo)注信息，因此也無法用于訓(xùn)練機(jī)器學(xué)習(xí)模型。
許多努力都在探索使用合成數(shù)據(jù)進(jìn)行各種預(yù)測任務(wù)，包括視線評(píng)估、RGB圖像文本檢測與分類、字體識(shí)別、對(duì)象檢測、深度圖像中手部姿態(tài)評(píng)估、RGB-D場景識(shí)別、城市場景語義分割以及人體姿態(tài)評(píng)估等。蓋伊登（A. Gaidon）等人的研究表明，利用合成數(shù)據(jù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，可以提高其表現(xiàn)。我們的工作是對(duì)這些方法的補(bǔ)充，我們使用未標(biāo)記真實(shí)數(shù)據(jù)提高了模擬器的真實(shí)性。
嘉寧（Y. Ganin）與萊姆皮茨基（V. Lempitsky）在數(shù)據(jù)域適應(yīng)設(shè)置中利用合成數(shù)據(jù)，了解合成圖像與真實(shí)圖像域的變化過程中保持不變的特征。王（Z. Wang）等人利用合成和真實(shí)數(shù)據(jù)訓(xùn)練層疊卷積碼自動(dòng)編碼器，以便了解其字體檢測器ConvNet的低級(jí)表示形式。張（X. Zhang）等人學(xué)習(xí)多通道編碼，以便減少真實(shí)數(shù)據(jù)與合成數(shù)據(jù)的域的轉(zhuǎn)變。與經(jīng)典域適應(yīng)方法相反，它采用與特定的特征以便適應(yīng)具體的預(yù)測任務(wù)，而我們可通過對(duì)抗性訓(xùn)練，彌合圖像分布之間的差距。這種方法使我們能夠生成非常逼真的圖像，可以用于訓(xùn)練任何機(jī)器學(xué)習(xí)模型，并執(zhí)行潛在的更多任務(wù)。