AI(人工智能)+HI(人類(lèi)智能)仍然是現(xiàn)在的AI產(chǎn)品不可或缺的一環(huán)，即使分類(lèi)器表現(xiàn)良好達(dá)到85%，但在工業(yè)級(jí)的系統(tǒng)中，仍然會(huì)有15%出錯(cuò)，所以SmartReply系統(tǒng)是讓用戶(hù)選擇他生成的回復(fù)，而不是直接幫助用戶(hù)進(jìn)行郵件回復(fù)或者郵件書(shū)寫(xiě)。
回復(fù)生成、聚類(lèi)、以及多樣性選擇算法
模塊功能
此模塊為該應(yīng)用核心，功能如圖所示，當(dāng)用戶(hù)收到一封郵件，Inbox會(huì)自動(dòng)生成3個(gè)供挑選回復(fù)(三個(gè)回復(fù)在屏幕下側(cè))。例如，第一封郵件的三個(gè)回復(fù)分別為：
1. Count us in!
2. We will be there
3. Sorry we won't be able to make it
這樣可以加速用戶(hù)在手機(jī)端輸入不便，回復(fù)郵件較慢的體驗(yàn)。
模塊實(shí)現(xiàn)方法
此篇文章中，最核心的東西便是回復(fù)的生成以及聚類(lèi)了。和面向開(kāi)放領(lǐng)域的聊天機(jī)器人不同，郵件回復(fù)需要對(duì)回復(fù)進(jìn)行聚類(lèi)，之后從每個(gè)類(lèi)別中選一個(gè)代表句。
回復(fù)聚類(lèi)的算法如下：
構(gòu)建圖G={V，E}，V是圖中的點(diǎn)，E是圖的邊。V由來(lái)信，回信，以及回信的特征構(gòu)成。
首先抽樣N個(gè)郵件作為頂點(diǎn)，構(gòu)建頂點(diǎn)集合VR。為每個(gè)類(lèi)別人工選擇種子郵件(例如 Thank you , Thanks是感謝類(lèi)的郵件)，并將這些郵件VL也放到圖G中。此時(shí)由于人工的干預(yù)，我們知道在特定的類(lèi)別Ci有{r1,r2...rn}個(gè)回復(fù)屬于此類(lèi)。
通過(guò)詞匯特征的抽取，構(gòu)建G中代表特征的頂點(diǎn)集合VF，如果郵件有該特征則郵件和該頂點(diǎn)進(jìn)行連接。
之后使用了半監(jiān)督的聚類(lèi)方法將郵件進(jìn)行聚類(lèi)，并且每隔特定輪次，進(jìn)行新類(lèi)別發(fā)現(xiàn)，最終得到376類(lèi)。類(lèi)別例如(will do, Thanks, I got it 等)
回復(fù)選擇部分并沒(méi)有什么創(chuàng)新點(diǎn)，是一個(gè)基于LSTM模型的排序問(wèn)題，候選集合是由most frequent的回復(fù)郵件構(gòu)成，值得注意的是此篇所用的LSTM并不是利用一個(gè)Dual-LSTM講發(fā)來(lái)的郵件和回復(fù)郵件分別進(jìn)行encoding之后計(jì)算相似度。而是類(lèi)似LSTM的生成模型，計(jì)算給定所發(fā)來(lái)郵件O的時(shí)候，回復(fù)中每個(gè)詞被生成的概率P(wi|O)
在具體的實(shí)際應(yīng)用中，可以根據(jù)場(chǎng)景的不同選擇基于深度學(xué)習(xí)的回復(fù)算法。我們可以看到針對(duì)回復(fù)選擇這部分，由于候選回復(fù)均為高頻回復(fù)郵件，所以回復(fù)會(huì)十分的沒(méi)有營(yíng)養(yǎng)，大多基于簡(jiǎn)單的英文表達(dá)(Sure，No，Thanks)等，想必如何讓郵件回復(fù)和郵件內(nèi)容正確的呼應(yīng)起來(lái)也是非常值得研究的一個(gè)課題，這樣可以避免千篇一律的回復(fù)，讓被回復(fù)者有不受尊重的感覺(jué)。
在多樣性選擇方面，按照文章的敘述做了兩個(gè)后處理。
第一個(gè)后處理是重復(fù)回復(fù)刪除，操作具體方法十分簡(jiǎn)單，首先根據(jù)上面所說(shuō)的郵件排序系統(tǒng)對(duì)所有候選郵件進(jìn)行降序排列，之后從top1開(kāi)始加入系統(tǒng)要輸出的集合OUTPUT中。
之后每個(gè)候選回復(fù)郵件r在加入OUTPUT時(shí)，檢測(cè)r是否與OUTPUT中的任意郵件屬于上面聚類(lèi)算法所給出的同一個(gè)類(lèi)別，如果不是才可以加入OUTPUT之中。OUTPUT達(dá)到3個(gè)回復(fù)即停止迭代。
第二個(gè)后處理是強(qiáng)行生成拒絕傾向的回復(fù)。如果OUTPUT集合中的回復(fù)中沒(méi)有拒絕傾向的回復(fù)，且top2中有同意傾向的回復(fù)，則自動(dòng)將第三個(gè)回復(fù)替換為拒絕傾向。以此給出更加多樣的回復(fù)，讓使用者的選擇面更大。
結(jié)語(yǔ)
SmartReply是谷歌將回復(fù)選擇技術(shù)利用到移動(dòng)版郵件系統(tǒng)的一個(gè)嘗試，希望解決手機(jī)打字不便的問(wèn)題。論文敘述了一個(gè)系統(tǒng)，并為我們實(shí)現(xiàn)一個(gè)郵件回復(fù)系統(tǒng)指明了方向。