辛頓: 首先，我在建立NCAP的時(shí)候沒有想那么多，我只是想到把我認(rèn)識(shí)的所有能夠交流協(xié)作的人聚集到一起來做這個(gè)事情。選人的標(biāo)準(zhǔn)有三個(gè)：聰明、懂得交流協(xié)作、對神經(jīng)系統(tǒng)是如何工作的這件事情感興趣。因?yàn)槲乙呀?jīng)從事這項(xiàng)研究很多年了，在這方面積累了不少人脈，當(dāng)我們聚集到一起然后我們發(fā)現(xiàn)，哎，合作還很不錯(cuò)。
海伊: 從2004年以來，計(jì)算機(jī)的的運(yùn)算能力不斷增加，這肯定對您的研究有很大的幫助。那么您覺得，當(dāng)前NCAP的研究成果是什么呢？
辛頓: NCAP目前已經(jīng)有很多科研成果，不僅僅是神經(jīng)網(wǎng)絡(luò)方面，我們在共有的知覺與肌動(dòng)控制領(lǐng)域也有研究。其中最具影響力的研究成果還屬深度神經(jīng)網(wǎng)絡(luò)。在2004年左右那個(gè)時(shí)候，業(yè)界普遍認(rèn)為要訓(xùn)練包含多層變量的神經(jīng)網(wǎng)絡(luò)是非常困難的，NCAP的大多數(shù)人也認(rèn)為通過純粹的監(jiān)督訓(xùn)練是沒有辦法構(gòu)建神經(jīng)網(wǎng)絡(luò)的。所以說接下來歷史的發(fā)展其實(shí)有一些偶然性，我們開始將著眼點(diǎn)放在非監(jiān)督訓(xùn)練上：如何在不知道整個(gè)網(wǎng)絡(luò)應(yīng)該輸出的正確結(jié)果的前提下，逐層進(jìn)行訓(xùn)練。每一層都在試圖為其下面一層的結(jié)構(gòu)和數(shù)據(jù)建模，我們稱之為pre-training。這是一個(gè)能讓深度學(xué)習(xí)繼續(xù)發(fā)展下去的重要突破，有了這種技術(shù)，接下來深度神經(jīng)網(wǎng)絡(luò)的研究就容易多了。
后來人們就發(fā)現(xiàn)，如果有足夠的算力和數(shù)據(jù)支撐的話，深度神經(jīng)網(wǎng)絡(luò)的研究可以擺脫上述方式。很多時(shí)候你有很多數(shù)據(jù)，例如大段講話或者視覺數(shù)據(jù)，你就不需要pre-training了。但是pre-training確實(shí)是促使深度神經(jīng)網(wǎng)絡(luò)技術(shù)繼續(xù)發(fā)展的原因。我們是首先知道了通過pre-training可以解決瓶頸，然后再去尋求擺脫pre-training的方式。我覺得，是因?yàn)橛蒒CAP最先提出來的pre-training引發(fā)了很多其他研究人員將其作為突破目標(biāo)。
人工智能火不是因?yàn)樗脑砗图夹g(shù)
海伊: 采訪了這么多期人工智能領(lǐng)域的領(lǐng)先人物，我發(fā)現(xiàn)讓我驚喜的是很多相對新的組織都將目光放得很長遠(yuǎn)，制定戰(zhàn)略也都是基于長期的考慮，他們更傾向于選擇不期待短期回報(bào)的投資者。有很多組織將自己定位成非盈利機(jī)構(gòu)，這樣能夠讓他們將技術(shù)的研發(fā)作為首要任務(wù)。這真的很少見，也很幸運(yùn)，這么多的頂尖人才紛紛將目標(biāo)定在歷史發(fā)展而非短期盈利上。對此您是怎么看的呢？
辛頓: 是的我有幾點(diǎn)想說。首先，不光有技術(shù)，還要有應(yīng)用?，F(xiàn)在神經(jīng)網(wǎng)絡(luò)這么火不是因?yàn)樗脑恚且驗(yàn)樗娴目梢宰鍪虑?。像語音識(shí)別、物體識(shí)別、機(jī)器翻譯等這些應(yīng)用都很震撼，人們也更樂意朝這方面投錢，來支持這方面的基礎(chǔ)研究。
我覺得，“以營利為目的”比“非營利”更加復(fù)雜，舉個(gè)例子，谷歌給大學(xué)投錢用來做基礎(chǔ)研究，這很好，對于大公司來說這非常重要。因?yàn)榇髮W(xué)培養(yǎng)出來的高質(zhì)量的畢業(yè)生可以為他們所用，所以大公司樂意投錢給大學(xué)做基礎(chǔ)研究，公司也能從其中受益，所以說其中的關(guān)系是很微妙的。
在大學(xué)里面，有很多政治方面的壓力，在英國、美國、加拿大都有，這些政治壓力讓研究更偏向于應(yīng)用。這樣政客花這筆錢有很好的理由：“我們投這筆錢是因?yàn)樵谖迥曛缶湍芑乇?，就能為社?huì)提供工作機(jī)會(huì)，或者說五年之后就能盈利。”這不是做基礎(chǔ)研究的正常的路線。真正有價(jià)值的研究一定是出自于對未知的好奇。所以說給大學(xué)投錢做應(yīng)用型研究在我看來是一個(gè)錯(cuò)誤。我覺得大學(xué)就應(yīng)該做基礎(chǔ)研究，應(yīng)用方面應(yīng)該由公司做。讓大學(xué)研究更傾向于應(yīng)用的，這在自然科學(xué)領(lǐng)域是說不通的，是不對的。這只是對政客或者一些科學(xué)界的管理者來說是有利的，因?yàn)橘u相好。
談谷歌的人工智能，AlphaGo有了直覺
海伊: 現(xiàn)在您在學(xué)術(shù)界和應(yīng)用界之間架起了橋梁，在您工作了多倫多大學(xué)任教的同時(shí)也加入了谷歌。我了解到你在多倫多大學(xué)的時(shí)間大概是從早上9:30到下午1:30，在谷歌辦公室的時(shí)間是2:00-6:00。兩邊都兼顧到了。能說說這兩份事業(yè)之間的聯(lián)系與不同嗎？
辛頓: 我在谷歌的位置很特殊，我不再從事我之前從事的研究工作了。我在神經(jīng)網(wǎng)絡(luò)領(lǐng)域工作了很多年，所以我經(jīng)歷了很多想法的產(chǎn)生與被否定。當(dāng)時(shí)有很多想法被否定是因?yàn)橛?jì)算機(jī)還不夠強(qiáng)大。我現(xiàn)在的工作是給谷歌神經(jīng)網(wǎng)絡(luò)團(tuán)隊(duì)提供有可能會(huì)給他們現(xiàn)在的工作帶來啟發(fā)的舊的想法，用我多年以來形成的對于正確解決方法的靈敏的嗅覺來幫助他們做事情。現(xiàn)在我在做的是，為谷歌提供對于基礎(chǔ)研究具體可行的應(yīng)用模式。這和大多數(shù)谷歌員工所從事的對于某一個(gè)應(yīng)用的具體開發(fā)工作是不一樣的。在DeepMind部門（就是做出AlphaGo的那個(gè)部門），有很多員工做的事情就是發(fā)現(xiàn)新方法。在神經(jīng)網(wǎng)絡(luò)團(tuán)隊(duì)，會(huì)有人專注于基礎(chǔ)科學(xué)的研究以及神經(jīng)網(wǎng)絡(luò)的新算法的研發(fā)工作。