圖片來源：PCM
編者按：谷歌在今年的I/O大會推出了一個大驚喜：由機(jī)器學(xué)習(xí)支持的Allo智能聊天應(yīng)用。為何Allo能夠如此討用戶的歡心?谷歌研究的Pranav Khaitan在谷歌博客上為我們解讀了Allo背后的人工智能算法。Khaitan具有斯坦福大學(xué)計算機(jī)科學(xué)碩士學(xué)位，曾在斯坦福大學(xué)擔(dān)任研究助理工作，并在微軟、Facebook等公司實習(xí)。他2011年加入谷歌，目前帶領(lǐng)團(tuán)隊進(jìn)行機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和個人化科技的工作，并幫助打造谷歌搜索等產(chǎn)品所需的知識圖表，在谷歌搜索的幾乎每個領(lǐng)域——排名、指數(shù)和基礎(chǔ)建設(shè)——都能看到由他打造、發(fā)布的功能。
谷歌一直在打造由機(jī)器學(xué)習(xí)支持的產(chǎn)品，讓用戶的生活更加簡單、美好。今天，本文將介紹一個全新智能聊天應(yīng)用Allo背后的技術(shù)，該應(yīng)用使用神經(jīng)網(wǎng)絡(luò)和谷歌搜索，讓文字聊天更加簡單、高效。
正如Inbox的智能回復(fù)一樣，Allo能夠理解對話記錄，提供用戶會想采用的回復(fù)建議。除了理解對話的語境之外，Allo還能理解你的個人聊天風(fēng)格，因此可以實現(xiàn)個人定制的聊天回復(fù)。
圖片來源：Google Research Blog
如何做到的?
一年多以前，團(tuán)隊開始研究如何讓對話可以更加簡便、更加好玩。Allo智能回復(fù)的想法來源于團(tuán)隊中的Sushant Prakash和Ori Gershony，他們帶領(lǐng)團(tuán)隊打造了這項技術(shù)。我們最初使用了一個神經(jīng)網(wǎng)絡(luò)進(jìn)行試驗，其模型架構(gòu)之前已經(jīng)成功應(yīng)用在序列預(yù)測中，包括Inbox智能回復(fù)中使用的編碼-解碼模型。
我們面臨的挑戰(zhàn)之一，是在線聊天在回復(fù)時間上有很嚴(yán)格的要求。為了解決這個問題，Pavel Sountsov和Sushant想出了一個非常創(chuàng)新的兩階段模型。首先，一個遞歸神經(jīng)網(wǎng)絡(luò)一個字一個字地查看聊天語境，然后用長短時記憶(LSTM)的隱藏狀態(tài)將其編碼。下圖展示的就是一個例子，語境是“你在哪?”語境有三個標(biāo)記，每一個標(biāo)記都嵌入到一個連續(xù)空間中，然后輸入到LSTM里。然后，LSTM狀態(tài)將語境編碼為一個連續(xù)矢量。這個矢量用來生成作為離散語義類別的回復(fù)。
上圖的例子中，最下方是輸入的語境(“你在哪?“)，黃色層為”文字嵌入“，藍(lán)色層為”LSTM“，綠色層為”softmax函數(shù)“，最后輸出”地點(diǎn)短語“，作為預(yù)測的回復(fù)語義。圖片來源：Google Research Blog。
每一個語義類別都與它可能的回復(fù)庫關(guān)聯(lián)起來。我們使用了第二個遞歸神經(jīng)網(wǎng)絡(luò)來從這個回復(fù)庫中，生成一個具體的回復(fù)信息。這個神經(jīng)網(wǎng)絡(luò)還將語境轉(zhuǎn)換為一個隱藏的LSTM狀態(tài)，但是這一次，這個隱藏狀態(tài)是用來生成回復(fù)的完整信息，一次生成一個標(biāo)記。我們回到上面的例子，LSTM看到了“你在哪?”的語境后，生成了回復(fù)：“我在上班。”
上圖中，最下方是語境輸入("你在哪?")，最上層softmax函數(shù)生成"我在上班。"來源：Google Research Blog。
從LSTM生成的大量可能回復(fù)庫中，beam搜索能有效選擇出頂層得分最高的回復(fù)。下圖展示的是一個搜索空間的小片段，我們可以從中一窺beam搜索技術(shù)。
圖片來源：Google Research Blog
正如任何大規(guī)模產(chǎn)品一樣，我們面臨了多個工程方面的挑戰(zhàn)，高效生成高質(zhì)量的回復(fù)庫并非易事。舉一個例子，雖然我們使用了這個兩階段的架構(gòu)，我們最初的幾個神經(jīng)網(wǎng)絡(luò)運(yùn)行都非常慢，生成一個回復(fù)需要大約半秒鐘。半秒鐘聽起來很短，但是針對實時聊天應(yīng)用來說，這完全是沒法接受的。因此，我們必須讓我們的神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)一步進(jìn)化，將回復(fù)時間再減少至少200毫秒。我們改變了softmax層，轉(zhuǎn)而使用一個層級性的softmax層，可以遍歷一個詞匯樹，比之前遍歷一個詞匯列表更加高效。