機器翻譯，被認為是人工智能和自然語言處理的“圣杯”。上個世紀九十年代，機器翻譯剛剛經(jīng)歷了一次變革，完成了從以規(guī)則為基礎(chǔ)的方法到統(tǒng)計方法的變遷。而許多人相信我們正在經(jīng)歷第二次變革，這一次則是深度學習為主的方法。
深度學習是否能夠取代傳統(tǒng)的統(tǒng)計方法，業(yè)界現(xiàn)在尚無定論。但是對于很多前沿的機器翻譯研究人員來說，他們其實更關(guān)心的是這次革命如何發(fā)生以及他們能否成為這次變革中的英雄。華為在香港和深圳的諾亞方舟實驗室(下文簡稱“諾亞”)的研究員們就是其中的一份子。
諾亞資深研究員呂正東向CSDN介紹 ，諾亞自建立以來一直致力于數(shù)據(jù)處理和自然語言理解，機器翻譯是其核心任務(wù)之一，深度學習已經(jīng)成為諾亞研究機器翻譯技術(shù)的主要工具。
諾亞采取了一種獨特的雙邊策略：既在傳統(tǒng)翻譯模型的架構(gòu)下加入深度學習的組件，也同時嘗試完全基于神經(jīng)網(wǎng)絡(luò)的深度架構(gòu)。諾亞以一種以卷積神經(jīng)網(wǎng)絡(luò)(CNN)為主的架構(gòu)作為其深度學習的主要工具。CNN也是FFNN的一種特定形式，其在計算機視覺特別是圖像識別方面已經(jīng)取得了令人矚目的成功，但是用于機器翻譯還是相對新鮮的嘗試。
呂正東介紹，諾亞最近的兩項工作分別把CNN用于對源端的表示和對目標端句子的生成過程。
在第一項工作中，CNN利用解碼端的信號來對源端的句子進行有針對性的向量形式的總結(jié)，而這個方法在另一個FFNN的幫助下可以被直接用于解碼過程。在傳統(tǒng)機器模型中應(yīng)用諾亞該CNN模型，BLEU值相對于傳統(tǒng)模型可帶來2個點的提升?！?】
與第一項工作不同，第二項工作更貼近深度神經(jīng)網(wǎng)絡(luò)，所使用的架構(gòu)是一種經(jīng)過巧妙設(shè)計的CNN。當這個CNN模型被用來生成目標端的自然語言句子時，在BLEU值上也取得了不亞于上一個工作的提升。不僅如此，這個CNN模型還可以被直接用來對別的翻譯模型生成的候選語句進行語言模型意義上的重排序，從而提升翻譯語句的質(zhì)量。【2】
在諾亞之前，機器翻譯已經(jīng)在短短兩年時間內(nèi)取得了驚人的進展，包含Google Brain、Raytheon BBN Technologies (BBN)、蒙特利爾大學和百度在內(nèi)的多個研究機構(gòu)都在不斷地推進這項研究，當然也包括這些機構(gòu)對深度學習的應(yīng)用。
Google Brain采取了一種最為極端的策略：以一個“編碼”遞歸神經(jīng)網(wǎng)絡(luò)(RNN)發(fā)現(xiàn)對待翻譯句子(源端)的表示，用另一個“解碼”RNN將這個表示展開成(目標端)的句子。Google的模型有三億多的參數(shù)，同時對訓練數(shù)據(jù)的數(shù)量和平臺都有較高要求?！?】
蒙特利爾大學的策略和Google的接近，但是巧妙地利用一種自動對齊的策略來避免對源端的純粹的向量表示，從而可以在較小規(guī)模的參數(shù)和數(shù)據(jù)集上也有較好的效果?！?】
BBN的策略與前兩者不同，他們更多的依賴傳統(tǒng)模型而非深度的神經(jīng)網(wǎng)絡(luò)，但是在傳統(tǒng)模型中增加了一個高效的前向神經(jīng)網(wǎng)絡(luò)(FFNN)的聯(lián)合語言模型，從而大大提高了解碼的效果。【5】
百度新發(fā)布的翻譯系統(tǒng)，應(yīng)用了長短時記憶(LSTM，Long Short-Term Memory)的RNN模型。該模型擅長對自然語言建模，把任意長度的句子轉(zhuǎn)化為特定維度的浮點數(shù)向量，同時“記住”句子中比較重要的單詞，讓“記憶”保存比較長的時間。該模型能夠很好地解決自然語言句子向量化的難題。
去年獲得ACL(自然語言處理領(lǐng)域的頂會)最佳論文獎的BBN模型，被廣泛認為代表了國際先進水平，該模型相比較傳統(tǒng)模型在BLEU值(用以衡量機器翻譯效果)取得了1個點的提升。
諾亞的雙邊策略與Google Brain、BBN、和蒙特利爾大學的單邊策略顯然有所不同。在傳統(tǒng)機器模型中應(yīng)用諾亞第一項工作中的CNN模型，相對于BBN的最新模型也提升了1個點。諾亞第二項工作的提升，在深度神經(jīng)網(wǎng)絡(luò)也是非常好的效果。
由此看來，隨著深度學習的普及應(yīng)用，機器翻譯的競賽才剛剛開始且漸趨白熱化。以深度學習為基礎(chǔ)的框架是否能夠取得優(yōu)于傳統(tǒng)模型的結(jié)果，其進展和速度如何，請您隨時關(guān)注CSDN人工智能社區(qū)。如果您有好的人工智能技術(shù)成果分享，也歡迎投稿([email protected]