Jürgen Schmidhuber為機器之心“2017 全球機器智能峰會”的重要演講嘉賓。
演講時間：5月27日，9:10-9:40 AM
演講主題：True Artificial Intelligence Will Change Everything
Jürgen Schmidhuber 是瑞士人工智能實驗室 IDSIA 的科學(xué)事務(wù)主管，同時任教于盧加諾大學(xué)和瑞士南部應(yīng)用科學(xué)與藝術(shù)學(xué)院。他于 1987 年和 1991 年在慕尼黑工業(yè)大學(xué)先后獲得計算機科學(xué)的學(xué)士和博士學(xué)位。從 1991 年開始，他成為深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)領(lǐng)域的開拓者。隨后，他在 IDSIA 和慕尼黑工業(yè)大學(xué)的研究團隊開發(fā)了一種遞歸神經(jīng)網(wǎng)絡(luò)，并率先在正式的國際性比賽中獲勝。他獲得的其他獎項還包括2013年國際神經(jīng)網(wǎng)絡(luò)協(xié)會的亥姆霍茲獎，以及 2016 年電氣與電子工程師協(xié)會的神經(jīng)網(wǎng)絡(luò)先鋒獎等。
30 年前，Jürgen Schmidhuber 正在慕尼黑工業(yè)大學(xué)忙于完成計算機科學(xué)專業(yè)的畢業(yè)論文。在這篇論文的封面上，他設(shè)計了一個可以進(jìn)行自我操控的機器人，內(nèi)文詳述了這類機器人背后一種可以自動修改代碼的元程序（meta-program），它可以改善特定領(lǐng)域某些系統(tǒng)的性能，還可以自我改進(jìn)學(xué)習(xí)算法及其學(xué)習(xí)方式等。
這完整表露了Jürgen Schmidhuber建立自我優(yōu)化人工智能的目標(biāo)，也開啟了接下來一系列關(guān)于遞歸式自我改進(jìn)算法的研究。其實，Schmidhuber 早在1970年代就已經(jīng)萌生這一目標(biāo)，為此他在大學(xué)期間選擇學(xué)習(xí)數(shù)學(xué)及計算機科學(xué)。
“我最大的偶像是阿爾伯特·愛因斯坦。我在某個時候意識到，如果我打造出了比我自己乃至比愛因斯坦更聰明的東西，我會擁有更大的影響力。”Jürgen Schmidhuber 說，“從1987 年將這個問題作為學(xué)位論文選題以來，我一直在研究這個包羅萬象的內(nèi)容，但是現(xiàn)在我能看到這個主題正開始變成一個可能實現(xiàn)的現(xiàn)實。”
在實現(xiàn)自我優(yōu)化人工智能的道路上，一個里程碑式的關(guān)鍵性突破是——1997 年，Jürgen Schmidhuber 和他的學(xué)生 Sepp Hochreiter 共同撰寫論文提出長短時記憶 (Long Short-Term Memory，下簡稱“LSTM”），它是一種讓人工神經(jīng)網(wǎng)絡(luò)通過記憶功能來獲得提升的方式，即根據(jù)之前獲得的信息增加解讀字詞或者圖像的模式的閉環(huán)。
如今，最大的LSTM 網(wǎng)絡(luò)有約 10 億個連接。以一定的趨勢推斷，在 25 年內(nèi)，也就是 Zues（創(chuàng)建首個計算機）后的 100 年，以與當(dāng)時相同的價格，我們也許能買到一個與人腦差不多大小的、有 100 萬億個電子連接的 LSTM 網(wǎng)絡(luò)，它遠(yuǎn)遠(yuǎn)快于生物連接。
LSTM 一開始并沒有被行業(yè)重視，在近些年深度學(xué)習(xí)熱潮的推動下，LSTM 被越來越多科技公司采用，其研究價值和意義被重新認(rèn)識。據(jù) SemanticScholar 的數(shù)據(jù)顯示，在過去兩年時間，《Long Short-Term Memory》一文的引用量從 2014 年近百次激增到超過 2000 次。
然而，作為最初的技術(shù)開發(fā)者，54 歲的 Jürgen Schmidhuber 似乎并不如其他深度學(xué)習(xí)領(lǐng)域的技術(shù)明星那般享負(fù)盛名?！都~約時報》稱其“本應(yīng)該是人工智能之父”，在一篇約翰·馬爾科夫的采訪報道中，則歸因為他所開創(chuàng)的時代太早，即便是計算機硬件性能還不足以處理這些算法。
實現(xiàn)通用智能
自1987 年以來，Jürgen Schmidhuber 一直在開拓自我改進(jìn)的一般問題解算器，直到 1991 年，他成為外界口中的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)領(lǐng)域開拓者。那時候的他，還是慕尼黑工業(yè)大學(xué)的一名博士生，發(fā)布了首個超級深度學(xué)習(xí)系統(tǒng)（Very Deep Learners），其層數(shù)遠(yuǎn)超過 1960 年代深度學(xué)習(xí)之父、烏克蘭數(shù)學(xué)家 Ivakhnenko 的 8 層網(wǎng)絡(luò)。
這也是他自己的第一個深度學(xué)習(xí)系統(tǒng)。
“我們稱自己基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法是通用目的深度學(xué)習(xí)（general purpose deep learning）或通用深度學(xué)習(xí)（general deep learning），因為與 Ivakheneko（及其在 70、80 年代追隨者）所研究的深度正向傳播神經(jīng)網(wǎng)絡(luò)不同的是，我們的深度循環(huán)網(wǎng)絡(luò)具有并行的、通用目的計算架構(gòu)。在 90 年代初，我們的網(wǎng)絡(luò)能夠?qū)W習(xí)解決許多先前無法學(xué)習(xí)的問題。”