1993年Lecun在貝爾實驗室，它旁邊的電腦能識別支票上的手寫數(shù)字
語言學(xué)習(xí)
Facebook 的新辦公地離Lecun教書的地方只有3分鐘車程，在這里他和研究人員一道，嘗試讓神經(jīng)網(wǎng)絡(luò)能更好地理解語言。具體做法就是，神經(jīng)網(wǎng)絡(luò)來回檢索文檔，當(dāng)遇到一個詞時，預(yù)言該詞前后的內(nèi)容，再和實際情況進行判別。通過這樣，軟件把每一個詞解構(gòu)成了一組和其他詞的關(guān)系向量。
例如，在神經(jīng)網(wǎng)絡(luò)看來，“國王”和“女王”這組詞的向量關(guān)系，就和“丈夫”和“妻子”一樣。對于一整句話來說，這種方法也可以奏效。一些研究成果表明，使用向量技術(shù)的機器在同義、反義詞等理解測試上，甚至超過了人類。
而 Lecun的團隊還走得更遠，他們認為，語言本身其實并不復(fù)雜，真正復(fù)雜的是對語言要有一個深入的理解，并對其擁有常識般的認知。舉個例子，“小明拿著瓶子走出了房間”，這句話隱含的意思就是，瓶子在小明身上。鑒于此，在他們開發(fā)的神經(jīng)網(wǎng)絡(luò)上搭載有一個記憶網(wǎng)絡(luò)，用來存儲一些它已經(jīng)學(xué)會的事實，每次有新的數(shù)據(jù)輸入時，它也不會被清除。
Facebook的AI研究人員開發(fā)出了一套可以回答簡單問題的系統(tǒng)，哪怕其中有些內(nèi)容是它之前沒有遇到過的。例如，研究人員給記憶網(wǎng)絡(luò)一篇魔戒的梗概，讓它回答一些簡單的問題，如“魔戒在哪?”，雖然它可能在之前并沒有遇到過“魔戒”這個詞，但還是能夠回答上來。如果它能夠理解一些更加復(fù)雜的句子的話，那么將會有很大的應(yīng)用。
然而，打造一套能夠完成有限對話的系統(tǒng)已經(jīng)耗費巨大的精力，更何況神經(jīng)網(wǎng)絡(luò)的推理能力很差，更不論制定計劃。盡管研究人員還沒有找到更高效的解決方法，但Lecun等研究人員對此仍充滿了信心。
不過并不是每個人都如此樂觀，西雅圖一家研究機構(gòu)的CEO Oren Etzioni就認為，深度學(xué)習(xí)軟件現(xiàn)在只是展現(xiàn)出了語言識別最簡單的那部分能力，他們?nèi)匀狈壿嬐评砟芰?，這和現(xiàn)在神經(jīng)網(wǎng)絡(luò)做的圖形分類以及聲波解析都有著天壤之別。此外，掌握語言也不是那么簡單的事，因為在文本中句子的意思可能會發(fā)生改變。要讓軟件擁有語言能力，則需要它們像嬰兒那樣，沒有明確的指示也能掌握句子的意思。
深度的信仰
在Facebook的CTO Mike Schroepfer 看來，未來他們希望能看到Facebook的系統(tǒng)與你進行交流，就像和一個人類管家一樣。這套系統(tǒng)能夠在更高的層面上理解語言和概念：比如你可以要求它展示一張朋友的照片，而不是他的動態(tài)。隨著Lecun的系統(tǒng)掌握更高的推理和規(guī)劃能力，這在短期內(nèi)還是很可能實現(xiàn)的。此外，F(xiàn)acebook可能還會提供一些他們覺得你會感興趣的東西，并且詢問你的看法，最終讓這個超級管家沉浸于信息的海洋之中。
不僅如此，這種交流算法的改進也可以提高Facebook過濾信息和廣告的能力，這對Facebook想要超越社交網(wǎng)絡(luò)的定位至關(guān)重要。隨著Faebook開始以媒體的身份發(fā)布信息，人們就需要更好的信息管理方式，這套虛擬助手可以幫助Facebook實現(xiàn)這一野心。
如果深度學(xué)習(xí)再重蹈以前人工智能的覆轍，那這些可能永遠都不會發(fā)生了。但是Lecun對此充滿了信心，他認為有足夠多的證據(jù)站在他這邊，表明深度學(xué)習(xí)終將會帶來巨大的匯報。讓機器處理語言需要新的想法，但是隨著越來越多的公司和大學(xué)加入到這個領(lǐng)域，原來小小的一片天開始擁有無限可能，這將大大加快整個進程。
究竟深度學(xué)習(xí)能不能實現(xiàn)Facebook預(yù)想的管家還不得而知，就算是真正能實現(xiàn)，人們能獲益多少現(xiàn)在也還難以想象。但可能我們并不需要等太久了，他堅信那些懷疑機器深度學(xué)習(xí)語言能力的人們終會后悔。這和2012年以前一樣，雖然事情出現(xiàn)了一些改變，但用老方法的人仍然頑固不化。也許再過個幾年，人們就不會這么看了。