雷鋒網(wǎng)按：本文作者朱鵬飛，天津大學(xué)機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘?qū)嶒?yàn)室副教授，碩士生導(dǎo)師。分別于2009和2011年在哈爾濱工業(yè)大學(xué)能源科學(xué)與工程學(xué)院獲得學(xué)士和碩士學(xué)位，2015年于香港理工大學(xué)電子計(jì)算學(xué)系獲得博士學(xué)位。目前，在機(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺國際頂級(jí)會(huì)議和期刊上發(fā)表論文20余篇，包括AAAI、IJCAI、ICCV、ECCV以及IEEE Transactions>IJCAI16會(huì)議介紹：
國際人工智能聯(lián)合會(huì)議（ International Joint Conference>導(dǎo)讀：
本屆會(huì)議的舉辦地在繁華喧囂的紐約時(shí)代廣場(chǎng)附近，正映襯了人工智能領(lǐng)域幾年來的火熱氛圍。此次大會(huì)包括7場(chǎng)特邀演講、4場(chǎng)獲獎(jiǎng)演講、551篇同行評(píng)議論文的presentation，41場(chǎng)workshop、37堂tutorial、22個(gè)demo等。深度學(xué)習(xí)成為了IJCAI 2016的關(guān)鍵詞之一，以深度學(xué)習(xí)為主題的論文報(bào)告session共計(jì)有3個(gè)。本期我們從中選擇了兩篇深度學(xué)習(xí)領(lǐng)域的相關(guān)論文進(jìn)行選讀，組織了相關(guān)領(lǐng)域的博士研究生，介紹論文的主要思想，并對(duì)論文的貢獻(xiàn)進(jìn)行點(diǎn)評(píng)。
Makeup Like a Superstar Deep Localized Makeup Transfer Network
在人臉分割的應(yīng)用中，美妝是一個(gè)受眾較廣的問題。給出一張素顏正面照，如果能夠給出其最適合的化妝風(fēng)格并將其渲染到這張素顏臉上，可以讓女孩子們更方便地找到適合的風(fēng)格。中科院信工所劉偲博士等人的論文所解決的問題就是完成一個(gè)功能更完善的人臉自動(dòng)美妝應(yīng)用，不僅能夠給素顏的圖片上妝，而且可以為用戶推薦最適合的妝容，達(dá)到更高的用戶滿意度。
文章采用端到端的方法完成風(fēng)格推薦、五官提取、妝容遷移這三個(gè)步驟，同時(shí)在損失函數(shù)中還考慮平滑性與臉部對(duì)稱性的約束，最終達(dá)到了state-of-the-art效果，本文方法的整體框架如下：
核心方法：
首先風(fēng)格推薦，是從已上妝人臉數(shù)據(jù)庫中挑選與當(dāng)前素顏人臉最相近的圖片。具體方法是選取與當(dāng)前人臉特征的歐氏距離最小者作為推薦結(jié)果，該特征即網(wǎng)絡(luò)輸出的feature map。
然后是五官提取。五官提取是采用全卷積網(wǎng)絡(luò)做圖像分割實(shí)現(xiàn)face parsing，而已上妝數(shù)據(jù)庫還要多一個(gè)眼影的部分，對(duì)于素顏圖片則沒有眼影部分的問題，因此要根據(jù)眉眼特征點(diǎn)定位給出眼影區(qū)域。由于妝容分割的部分相對(duì)于背景更重要，網(wǎng)絡(luò)輸出loss選擇的是加權(quán)交叉熵，
權(quán)重為使驗(yàn)證集上F1 score最大的權(quán)重值。另一方面，數(shù)據(jù)庫中的臉都為正面，具有對(duì)稱性，因此加上了對(duì)稱性的先驗(yàn)約束，具體方法為在輸出每個(gè)像素點(diǎn)的類別概率預(yù)測(cè)值后，將這個(gè)值與它的對(duì)稱點(diǎn)再取均值作為最終輸出：
最后是妝容遷移。本文中的妝容包括粉底（對(duì)應(yīng)面部），唇彩（對(duì)應(yīng)雙唇），眼影（對(duì)應(yīng)雙眼）。眼影的遷移比較特殊，因?yàn)樗皇侵苯痈淖冸p眼的部分，文章針對(duì)此設(shè)計(jì)了一個(gè)loss：
意指給需要的人臉上妝后眼影部分與推薦的帶妝人臉眼影的特征的L2 Norm （該特征為從五官提取部分用到的FCN第一層卷積特征conv1-1）。類似的，對(duì)面部、上唇與下唇的loss：
不同的是它計(jì)算了conv1-1，conv2-1， conv3-1， conv4-1， conv5-1層特征的相似度。最后給出的使這個(gè)loss最小的A（即最終給出的妝后人臉）滿足以下條件：
