日復(fù)一日的人像臨摹練習(xí)使得畫家能夠僅憑幾個(gè)關(guān)鍵特征畫出完整的人臉。同樣地，我們希望機(jī)器能夠通過(guò)低清圖像有限的圖像信息，推斷出圖像對(duì)應(yīng)的高清細(xì)節(jié)，這就需要算法能夠像畫家一樣“理解”圖像內(nèi)容。至此，傳統(tǒng)的規(guī)則算法不堪重負(fù)，新興的深度學(xué)習(xí)照耀著圖像超清化的星空。
圖1. 最新的Pixel遞歸網(wǎng)絡(luò)在圖像超清化上的應(yīng)用。左圖為低清圖像，右圖為其對(duì)應(yīng)的高清圖像，中間為算法生成結(jié)果。這是4倍超清問(wèn)題，即將邊長(zhǎng)擴(kuò)大為原來(lái)的4倍。
得益于硬件的迅猛發(fā)展，短短幾年間，手機(jī)已更新了數(shù)代，老手機(jī)拍下的照片在大分辨率的屏幕上變得模糊起來(lái)。同樣地，圖像分辨率的提升使得網(wǎng)絡(luò)帶寬的壓力驟增。如此，圖像超清化算法就有了用武之地。
對(duì)于存放多年的老照片，我們使用超清算法令其細(xì)節(jié)栩栩如生；面對(duì)網(wǎng)絡(luò)傳輸?shù)膸拤毫?，我們先將圖像壓縮傳輸，再用超清化算法復(fù)原，這樣可以大大減少傳輸數(shù)據(jù)量。
傳統(tǒng)的幾何手段如三次插值，傳統(tǒng)的匹配手段如碎片匹配，在應(yīng)對(duì)這樣的需求上皆有心無(wú)力。
深度學(xué)習(xí)的出現(xiàn)使得算法對(duì)圖像的語(yǔ)義級(jí)操作成為可能。本文即是介紹深度學(xué)習(xí)技術(shù)在圖像超清化問(wèn)題上的最新研究進(jìn)展。
深度學(xué)習(xí)最早興起于圖像，其主要處理圖像的技術(shù)是卷積神經(jīng)網(wǎng)絡(luò)，關(guān)于卷積神經(jīng)網(wǎng)絡(luò)的起源，業(yè)界公認(rèn)是Alex在2012年的ImageNet比賽中的煌煌表現(xiàn)。雖方五年，卻已是老生常談。因此卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)細(xì)節(jié)本文不再贅述。在下文中，使用CNN（Convolutional Neural Network）來(lái)指代卷積神經(jīng)網(wǎng)絡(luò)。
CNN出現(xiàn)以來(lái)，催生了很多研究熱點(diǎn)，其中最令人印象深刻的五個(gè)熱點(diǎn)是：
深廣探索：VGG網(wǎng)絡(luò)的出現(xiàn)標(biāo)志著CNN在搜索的深度和廣度上有了初步的突破。
結(jié)構(gòu)探索：Inception及其變種的出現(xiàn)進(jìn)一步增加了模型的深度。而ResNet的出現(xiàn)則使得深度學(xué)習(xí)的深度變得“名副其實(shí)”起來(lái)，可以達(dá)到上百層甚至上千層。
內(nèi)容損失：圖像風(fēng)格轉(zhuǎn)換是CNN在應(yīng)用層面的一個(gè)小高峰，涌現(xiàn)了一批以Prisma為首的小型創(chuàng)業(yè)公司。但圖像風(fēng)格轉(zhuǎn)換在技術(shù)上的真正貢獻(xiàn)卻是通過(guò)一個(gè)預(yù)訓(xùn)練好的模型上的特征圖，在語(yǔ)義層面生成圖像。
對(duì)抗神經(jīng)網(wǎng)絡(luò)（GAN）：雖然GAN是針對(duì)機(jī)器學(xué)習(xí)領(lǐng)域的架構(gòu)創(chuàng)新，但其最初的應(yīng)用卻是在CNN上。通過(guò)對(duì)抗訓(xùn)練，使得生成模型能夠借用監(jiān)督學(xué)習(xí)的東風(fēng)進(jìn)行提升，將生成模型的質(zhì)量提升了一個(gè)級(jí)別。
Pixel CNN：將依賴關(guān)系引入到像素之間，是CNN模型結(jié)構(gòu)方法的一次比較大的創(chuàng)新，用于生成圖像，效果最佳，但有失效率。
這五個(gè)熱點(diǎn)，在圖像超清這個(gè)問(wèn)題上都有所體現(xiàn)。下面會(huì)一一為大家道來(lái)。
CNN的第一次出手
圖2. 首個(gè)應(yīng)用于圖像超清問(wèn)題的CNN網(wǎng)絡(luò)結(jié)構(gòu).輸入為低清圖像，輸出為高清圖像.該結(jié)構(gòu)分為三個(gè)步驟：低清圖像的特征抽取、低清特征到高清特征的映射、高清圖像的重建。
圖像超清問(wèn)題的特點(diǎn)在于，低清圖像和高清圖像中很大部分的信息是共享的，基于這個(gè)前提，在CNN出現(xiàn)之前，業(yè)界的解決方案是使用一些特定的方法，如PCA、Sparse Coding等將低分辨率和高分辨率圖像變?yōu)樘卣鞅硎?，然后將特征表示做映射?/p>
基于傳統(tǒng)的方法結(jié)構(gòu)，CNN也將模型劃分為三個(gè)部分，即特征抽取、非線性映射和特征重建。由于CNN的特性，三個(gè)部分的操作均可使用卷積完成。因而，雖然針對(duì)模型結(jié)構(gòu)的解釋與傳統(tǒng)方法類似，但CNN卻是可以同時(shí)聯(lián)合訓(xùn)練的統(tǒng)一體，在數(shù)學(xué)上擁有更加簡(jiǎn)單的表達(dá)。
不僅在模型解釋上可以看到傳統(tǒng)方法的影子，在具體的操作上也可以看到。在上述模型中，需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，抽取出很多patch，這些patch可能互有重疊，將這些Patch取合集便是整張圖像。上述的CNN結(jié)構(gòu)是被應(yīng)用在這些Patch而不是整張圖像上，得到所有圖像的patch后，將這些patch組合起來(lái)得到最后的高清圖像，重疊部分取均值。