算法解決方案
1986年，辛頓和他的兩名同事共同撰寫了一篇很有創(chuàng)意的論文，提出通過算法解決方案來解決糾正問題。“他的論文可以說是第二波神經網絡熱潮的基石。”樂昆說。它點燃了研究者對該領域的興趣。
樂昆曾在多倫多大學擔任辛頓的博士后研究助理，后來于1988年前往AT&T旗下的貝爾實驗室工作。在此后的10年里，他開發(fā)出了時至今日仍為許多圖像識別任務使用的基礎技術。1990年代，貝爾實驗室旗下子公司NCB商品化了一款由神經網絡驅動的設備。據樂昆稱，該設備被銀行廣泛采用，它能夠識別支票上的手寫數字。與此同時，兩位德國研究人員塞普·霍克賴特（Sepp Hochreiter）和約根·施米德胡貝（Jürgen
Schmidhuber）獨立開創(chuàng)了另一種算法，那種算法如今已經成為了自然語言處理應用的重要組成部分。
盡管出現了這些進展，但神經網絡在1990年代中期還是再一次失寵，風頭被更加高效的機器學習工具蓋過。這種情況維持了近十年，直至計算性能又增長了三四個數量級，研究人員發(fā)現GPU的加速發(fā)展。
大數據
不過，還缺少了一樣東西：數據。雖然互聯(lián)網上充斥著大量的數據，但大多數數據——尤其是圖像方面的——都沒有標簽，因此你需要訓練神經網絡。這個時候，斯坦福AI教授李菲菲站了出來。“我們的愿景是，大數據改變機器學習的運作方式。”她在受訪時解釋道，“數據驅動學習。”
2007年，她創(chuàng)辦ImageNet，建立了一個含有超過1400萬張帶標簽圖像的免費數據庫。該數據庫于2009年上線，次年她創(chuàng)辦一年一度的比賽來鼓勵和公布計算機視覺方面的突破性進展。
2012年10月，辛頓的兩位學生在比賽中獲勝，預示著深度學習時代降臨。
當時，公眾也有聽說深度學習，不過是通過另一個事件得知。2012年6月，谷歌大腦公布了一個名為“貓試驗”的古怪項目的研究結果。相關的視頻相當滑稽有趣，很快就在各家社交網絡上得到了病毒式的傳播。
未來的一大挑戰(zhàn)
該項目實際上探索了深度學習領域的一個很重要但未解決的問題，它就是“非監(jiān)督式學習”。目前，幾乎所有的商用深度學習產品都使用“監(jiān)督式學習”，即它們的神經網絡是用標記數據來訓練的，比如用ImageNet建立的圖像數據庫。相比之下，在“非監(jiān)督式學習”中，神經網絡會被展示未被標記的數據，被要求發(fā)現反復出現的模式。研究人員非常希望有朝一日能夠掌握非監(jiān)督式學習技術，因為那樣機器就能夠自行利用當下大量無法使用的數據來理解這個世界——像嬰兒那樣完全依靠自己來了解這個世界。
在貓試驗中，研究人員讓巨大的神經網絡（橫跨1000臺計算機）暴露在1000萬張取自YouTube視頻的無標簽照片面前，然后讓軟件自己運作。運作完畢后，他們查看最高層的神經元，不出意外地發(fā)現其中一個神經元強烈響應貓的照片。“我們還發(fā)現一個強烈響應人臉的神經元。”當時領導谷歌大腦項目的吳恩達表示。
不過，研究結果也令人非常困惑。“例如，我們并沒有發(fā)現一個強烈響應汽車的神經元，很很多其它的神經元也不能指派某個英語單詞。因此該項工作非常困難。”
該試驗引起了巨大轟動。但非監(jiān)督式學習問題仍未攻克——未來的一大挑戰(zhàn)。
不出意外，目前被商業(yè)部署的深度學習應用程序大多數都牽涉到像谷歌、微軟、Facebook、百度和亞馬遜這樣的擁有深度學習計算所需的海量數據的大公司。許多公司在嘗試開發(fā)更加實用的“聊天機器人”——自動化的客戶服務人員。
深耕深度學習的四家科技巨頭
·谷歌
谷歌在2011年推出了專注于深度學習的谷歌大腦項目，2012年年中將神經網絡引入旗下的語音識別產品，并在2013年3月留住了神經網絡先驅喬弗里·辛頓。據它透露，它目前擁有超過1000個深度學習項目，它們覆蓋了搜索、Android、Gmail、地圖、翻譯、YouTube和無人駕駛汽車。2014年，它將DeepMind收入囊中，后者的深度強化學習項目AlphaGo今年3月?lián)魯×耸澜鐕骞谲娎钍朗?，?chuàng)下人工智能的里程碑。