編者按:Ariel Fuxman是谷歌研究科學(xué)家,他于2006年從多倫多大學(xué)獲得計算機科學(xué)博士學(xué)位。他2015年加入谷歌,之前的8年時間在微軟擔(dān)任高級研究員。本文中他介紹了谷歌在I/O大會上新推出的智能聊天應(yīng)用Allo,到底有怎樣神奇的智能回復(fù)功能,以及這些功能是如何通過圖像識別技術(shù)實現(xiàn)。
谷歌今天發(fā)布了智能聊天應(yīng)用Allo。從開發(fā)Allo的第一天起,我們就想打造一個真正特殊的產(chǎn)品,通過機器智能的力量,讓聊天變得更加簡單、更加高效、更有表達力。Allo的一些特殊功能Photo Reply。我們利用了機器學(xué)習(xí)來理解分享的圖片到底有什么內(nèi)容,從而給用戶提出豐富的自然語言回復(fù)建議,用戶只要簡單點擊就能發(fā)送,省去了打字的麻煩。這讓用戶使用手機小鍵盤的時候,也可以非常方便地讓聊天對話比較有料。
舉個栗子,當(dāng)你的朋友升級成為父母,難免會非常激動地給你發(fā)來(你并不感興趣的)小娃照片。
圖片來自Google Research Blog。
此時Allo就給你提供了幾個快捷回復(fù)的建議:
選項一:哇啊啊啊!
選項二:好可愛!
選項三:可愛的寶寶!
(這完全是對曬娃無感的我,一向慣用的敷衍方式。)隨手一點,再也不擔(dān)心友誼的小船說翻就翻。
幕后功臣Photo Reply
今年冬天的時候,谷歌產(chǎn)品經(jīng)理Patrick McGregor和Ryan Cassidy給了我們一個挑戰(zhàn):敢不敢做一個簡化媒體分享的聊天軟件,并且同時讓用戶玩得開心、獲得很好的谷歌體驗。我與Vivek Ramavajjala、Sergey Nazarov和Sujith Ravi等幾位同事一起,接受挑戰(zhàn),開始打造Photo Reply。
我們利用了由機器感知團隊開發(fā)的谷歌圖像識別技術(shù),來將圖像和語義個體聯(lián)系起來——人、動物、汽車等等。然后,我們應(yīng)用了一個機器學(xué)習(xí)模型,將識別出來的語義個體與自然語言回復(fù)聯(lián)系起來。我們的系統(tǒng)為幾千個個體類型生成了回復(fù),這些類型是從谷歌知識圖表的一個分類學(xué)子集中取出,并且有可能在不同的粒度等級上。舉個例子,當(dāng)你收到一張小狗的照片時,系統(tǒng)可能會監(jiān)測出這條狗實際上是一條拉布拉多犬,并建議你回復(fù)“超愛拉布拉多!”或者當(dāng)有人給你發(fā)了一張意大利面的照片,系統(tǒng)會監(jiān)測出意面的類型,然后說:“意大利扁面超好吃!”甚至不一定是關(guān)注細(xì)類,可以上升到美食文化的層面,回復(fù)說:“我超愛意大利美食!”
面對上圖中的意大利面,系統(tǒng)建議回復(fù):“意大利扁面超好吃!”“我超愛意大利美食!”圖片來源Google Research Blog。
面對玫瑰的圖片,系統(tǒng)建議回復(fù):“好漂亮!”“好愛玫瑰!” 圖片來源Google Research Blog。
我們發(fā)現(xiàn)系統(tǒng)有一項功能特別有用,就是它不僅能針對具體的物體建議回復(fù),還能針對抽象的概念。它可以針對事件(生日聚會、婚禮等等)、自然風(fēng)景(日出、遠(yuǎn)山等等)、娛樂活動(登山、露營等等)以及更多的類別來建議回復(fù)。另外,系統(tǒng)還可以基于與圖片內(nèi)容有關(guān)的情緒,來進行回復(fù)建議,例如“開心”。下面的兩個例子,是針對抽象概念的回復(fù):
針對畢業(yè)典禮的圖片,系統(tǒng)建議回復(fù):“恭喜!”“你成功了!”圖片來源Google Research Blog。
針對跳傘活動的圖片,系統(tǒng)建議回復(fù):“太刺激了!”“膽子太大了!”圖片來源Google Research Blog。
學(xué)習(xí)個體-回復(fù)之間的聯(lián)系
Photo Reply在運行的時候可以識別分享照片中的語義個體,觸發(fā)針對性的回復(fù)。這項模型將語義個體與自然語言回復(fù)聯(lián)系起來,而模型是通過Expander離線學(xué)會的,Expander是谷歌一項基于圖片的大規(guī)模半監(jiān)督學(xué)習(xí)平臺。我們打造了一個很大的圖表,節(jié)點對應(yīng)圖片、語義個體以及文本回應(yīng)。圖像的邊界指明了圖片中的語義個體何時被識別、針對一張圖片的具體回復(fù)何時確定以及照片之間的視覺相似點。有一些節(jié)點被“標(biāo)記”了,我們通過在圖表中傳播標(biāo)記信息,來學(xué)會未標(biāo)記節(jié)點之間的關(guān)聯(lián)。