Facebook AI “發(fā)展出人類無法理解的語言” 火了,但這實際上源自一些媒體的誤讀和炒作。研究計算機是否能(非監(jiān)督地)獨立產(chǎn)生自己的語言本身非常有意義,因為這是檢驗 AI 是否理解人類高級語義和抽象概念的好方法。但具體到這件事,F(xiàn)acebook 的 AI 并未發(fā)明自己的語言(Facebook 人工智能研究院也從未宣稱 AI 發(fā)明了語言),這只是程序的 Bug。本文將全面回顧和分析這個事件,看一段跑崩了的對話,如何引出了這場眾說紛紜的爭論。
最近 Facebook 的一個 AI 項目火了,而且火得不要太好——稍微上網(wǎng)一搜就能看到:
AI 機器人發(fā)展出自己的語言,F(xiàn)acebook 的工程師們慌了
Facebook AI 發(fā)明出人類不能理解的語言,擔心失控項目已被關(guān)閉
難道我們?nèi)祟愒斐隽艘粋€怪物?
還有一家英國小報引用一位機器人學(xué)教授的話,說這一事件表明,如果類似的技術(shù)被用于軍事機器人,將“非常危險,并且可能是致命的”。
更多的新聞延伸到未來的機器人革命、殺人機器人、惡意的人工智能,各種各樣的有關(guān)人類滅絕的想象。所有這些,無不引用 Facebook 兩個聊天機器人這樣一段對話:
Bob: I can i i everything else ..............
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i everything else .............
Alice:balls have a ball to me to me to me to me to me to me to me to me
有圖有“真相”:
看上去恐怖嗎?
一篇報道引發(fā)的慘案:AI 發(fā)明了自己的語言??
這一切的起因是,上月中,F(xiàn)astCo Design 網(wǎng)站針對 Facebook 利用“生成對抗網(wǎng)絡(luò)”開發(fā)對話談判軟件的努力做了一篇報道。這篇報道引用的兩個 bot,其設(shè)計的目的是證明:“具有不同目標(端到端訓(xùn)練神經(jīng)網(wǎng)絡(luò)實現(xiàn))的對話智能體,能夠從頭到尾地與其他 bot 或人類進行談判,并達成一個共同的決策或結(jié)果”。
兩個 bot 針對給定的話題(例如書籍,帽子,球,都是一些無害的物體),討論如何分割成雙方都同意的部分,除此以外并不做其他事情。
這樣做的目的,是開發(fā)一個可以從人類的互動中學(xué)會談判交易的聊天機器人,它能夠非常流暢地進行對話,終端用戶甚至不會意識到他們在與機器人對話。
就這么簡單。
然而,F(xiàn)ASTCO 的報道寫道,“FAIR 的談判智能體利用強化學(xué)習和對話推演(dialog rollouts),表現(xiàn)與人類談判相當……這證明 FAIR 的 bot 不僅能講英語,并且對要講什么也是有過思考的。”
更要命的是,文章引用了專業(yè)人士的評價——“智能體會脫離人類可以理解的語言,發(fā)明自己的代碼語言。”那篇文章引用 FAIR 訪問研究員 Dhruv Batra 的話說,“就好比我說 5 遍 ‘the’ 這個單詞,你會理解為我想要 5 個這個東西。這與人類發(fā)明簡略表達的方式并沒有太大不同。”
于是事情一發(fā)不可收拾。
Facebook 研究人員親自辟謠:我根本不是那個意思
在繼續(xù)討論前,我們先來看 FAIR 訪問研究員 Dhruv Batra 自己的澄清。
Dhruv Batra 是 FAIR 研究員,也是對話模型那篇論文作者之一,他在自己的 Facebook 主頁回應(yīng)道:
我剛從 CVPR 回來,就發(fā)現(xiàn)我的 FB/Twitter 的時間流充滿了這些說 Facebook 的研究員開發(fā)的 AI 智能體發(fā)展出自己的語言,描述各種世界末日景象的文章。
我不想針對某篇具體的報道,或者對某個斷章取義的引用提出具體的回應(yīng),但我認為這樣的報道只是為了賺眼球,非常不負責任。
AI 智能體發(fā)展出自己的語言這種說法可能令人震驚,或讓這個領(lǐng)域之外的人感到意外,但這是發(fā)展了很多年的 AI 的一個子領(lǐng)域,相關(guān)研究文獻可以追溯到幾十年前。
簡單地說,環(huán)境中的智能體試圖解決一個任務(wù)時,通常會找到一種方式來最大限度地提高回報(reward)。分析這個回報函數(shù)并改變實驗中的參數(shù),與“關(guān)閉 AI 項目”完全不是一回事!如果這能一樣的話,每個 AI 研究者在停止某個機器的工作時都在“關(guān)閉AI項目”。