海伊：所以說把邏輯推理的方式淘汰掉是因為你已經(jīng)從這個瘋狂幻想的邊緣走到了技術(shù)的核心，而且這項技術(shù)也在發(fā)展且越來越規(guī)范。
辛頓：是的，在此之前我們之中的很多人都相信，如果有足夠的計算能力以及數(shù)據(jù)，那么我們的設(shè)想就能實現(xiàn)，現(xiàn)在也確實實現(xiàn)了?，F(xiàn)在我們的技術(shù)越來越成熟，如果能夠獲得更強的算力、更大的數(shù)據(jù)集合，那么我們的模型也就能被不斷優(yōu)化。這在一切都需要編程的時代是做不到的，所以神經(jīng)網(wǎng)絡(luò)系統(tǒng)比之前所有的AI算法都更高級。
堅信人工智能源于對大腦工作機理的信念
海伊：我覺得很神奇，你從1970年代就開始研究人工智能了。你在1978年獲得了愛丁堡大學(xué)人工智能方面的博士學(xué)位，并且由于當(dāng)時計算機發(fā)展水平的限制，你的研究也受到了阻礙。這期間你也沒有對那些反對者多加解釋，哪怕他們可能會變成你的同事、投資人、或者可能會從其他方面幫助你。不知道現(xiàn)在這些研究人工智能的20多歲的年輕人是否意識到，自己是站在巨人的肩膀上，而正是這些巨人才是真正有遠見卓識的人、排除掉這條路上所有阻礙的人。能不能談一下是什么激勵著你，讓你拿到人工智能的博士學(xué)位之后依然將這項研究作為你未來的職業(yè)發(fā)展方向，畢竟在當(dāng)時，如果你從事人工智能行業(yè)的話，成功的可能性并沒有現(xiàn)在這么大。
辛頓: 我覺得原因是這樣的，大腦肯定有其工作的機理。大腦是怎么學(xué)習(xí)東西的？它是怎樣利用那些簡單的神經(jīng)元來運算極其復(fù)雜的事情的？我主要的動力來自于，我相信，大腦的運行機制和當(dāng)時數(shù)字計算機的運行機制肯定是不一樣的，因為沒有人在給你的腦子編程。
我記得在1973年，當(dāng)時有人跟我解釋，神經(jīng)網(wǎng)絡(luò)系統(tǒng)是永遠不會實現(xiàn)的。他們說：“神經(jīng)網(wǎng)絡(luò)沒法運行遞歸算法。”那個時候，遞歸算法被當(dāng)作是智能的本質(zhì)?？雌饋砦抑荒苎菔窘o他們看。所以我開始給他們展示，神經(jīng)網(wǎng)絡(luò)是如何進行真正的遞歸運算的。這里真正的遞歸我指如何利用節(jié)點之間的連接強度來做一些事情。比如我們想要對這句話進行理解：John did not like Bill because he was rude to Mary. 要理解這里面的從句部分“he was rude to Mary”，我們會用到將“He was rude to Mary. ”這句話作為獨立的句子理解時所用到的神經(jīng)節(jié)點及連接。所以說我需要做的就是存儲當(dāng)前進行到的位置，離開主句開始理解從句，然后再回來。我要對此進行展示，那么我就要有這個神經(jīng)網(wǎng)絡(luò)系統(tǒng)，沒有它就做不成。所以我開始搭建這個可以做真正的遞歸的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，通過在神經(jīng)節(jié)點之前設(shè)立臨時權(quán)重來記錄節(jié)點信息。我記得當(dāng)時我跟我所在的科研小組提及過這個想法，但是他們不理解我為什么要做這個事情。有趣的是，我當(dāng)時想要攻破的難題，現(xiàn)如今變成了非常流行的技術(shù)。幾年之前，因為我們要探尋到底人類為什么可以自主學(xué)習(xí)，這個問題就流行起來了。所以說人類花了四十年的時間才意識到，神經(jīng)網(wǎng)絡(luò)才是我們要攻克的難題。
多領(lǐng)域?qū)＜覍崿F(xiàn)深度神經(jīng)網(wǎng)絡(luò)成果
海伊: 你在2004年成立了神經(jīng)計算與自適應(yīng)感知（NCAP）項目，將計算機科學(xué)家、生物學(xué)家、電子工程師、神經(jīng)系統(tǒng)科學(xué)家、物理學(xué)家和心理學(xué)家聚集到一起，復(fù)制人腦的運行機制。這件事需要很多學(xué)科的知識作為支撐。您能講講找到這些學(xué)科的世界級大師并且成立這個組織的故事嗎？
辛頓: 沒有人有必要是所有這些領(lǐng)域的專家，那太難了。你需要的是找到某個領(lǐng)域的專家，然后告訴他這個項目是什么。這樣你就可以問他問題，省去了你翻閱資料的時間。例如你找到了一個神經(jīng)系統(tǒng)科學(xué)家，你就可以問他諸如：“從一個點到另一個點有一個前向投影及其逆投影，那么有多少個神經(jīng)元參與了這個回環(huán)？信息要從多少個神經(jīng)突觸間傳遞才能走完這個回路回到初始點？”要想自己搞明白類似這種問題，那你需要很多的時間來查文獻，而且你不知道你正在查閱的文獻是否可信。如果你有一個專家?guī)兔Φ脑挘苯訂査?，他就會給你答案。所以團隊中有各個領(lǐng)域的專家是很必要的，能節(jié)省時間而且能少走彎路。
海伊: NCAP項目是邀請制的，所以說可能只有您和少數(shù)各學(xué)科的骨干成員才知道，就像你剛才說的，你們都知道成立這個組織的好處，可以節(jié)省時間又可以和不同學(xué)科的人工作。您能談?wù)劷⑵疬@個組織的過程嗎，您是如何兼顧在多倫多大學(xué)的教授工作以及在NCAP的研究的？