LSTM 還作為編劇的身份出現(xiàn)在大熒幕上——《Sunspring》這部微科幻小說電影的劇本完全由人工智能系統(tǒng)撰寫，作者是 LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)，該人工智能系統(tǒng)名叫 Benjamin。為了訓(xùn)練 Benjamin，Goodwin 為人工智能系統(tǒng)提供了一個(gè)他在網(wǎng)上找到的包含很多科幻小說劇本的語料庫——其中大部分來自于 1980 年到 90 年代的電影。Benjamin 實(shí)驗(yàn)最有趣的部分一直在于從科幻小說故事中學(xué)習(xí)模式（pattern）。Benjamin 的寫作內(nèi)容聽起來很原創(chuàng)，甚至古怪，但是這一切仍然是基于人類實(shí)際寫作內(nèi)容的。
如今，LSTM 的變體很多。所有提及 LSTM 的論文都有著小小的改動(dòng)，這些改進(jìn)雖然并不明顯。比如，最時(shí)尚的 LSTM 變體就是 Gers & Schmidhuber (2000) 提出的“貓眼連接”（peephole connections）的神經(jīng)網(wǎng)絡(luò)。另一個(gè)比較惹眼的變體為 GRU（Gated Recurrent），由 Cho, et al. (2014) 提出。
「在包括 Felix Gers 、Alex Graves、Santi Fernandez、Faustino Gomez、Daan Wierstra、Justin Bayer、Marijn Stollenga、Wonmin Byeon、Rupesh Srivastava、Klaus Greff 等人在內(nèi)的我出色的學(xué)生及博士后的幫助下，該算法被逐步發(fā)展。LSTM，特別是在處理序列數(shù)據(jù)方面，已經(jīng)變?yōu)榱舜蠖鄶?shù)如今被叫做深度學(xué)習(xí)算法的基矗」
在談到今天深度學(xué)習(xí)研究取得的進(jìn)展，他概括為「新瓶裝舊酒」。計(jì)算能力的飛速發(fā)展徹底革新了過去的模式識(shí)別和機(jī)器學(xué)習(xí)。
Jürgen Schmidhuber 還提醒道，實(shí)驗(yàn)室有一項(xiàng)影響不那么深遠(yuǎn)但非常實(shí)用的貢獻(xiàn)，那就是極大地加快了深度監(jiān)督前饋神經(jīng)網(wǎng)絡(luò)在圖像處理器上的速度，尤其是使用 Linnainmaa 的反向傳播技巧訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。
Nnaisense，通往 AGI 之路
在追求通用人工智能的道路上，最為著名的公司當(dāng)屬 DeepMind。但是，不少人仍然不知道這公司的頭四名成員中，有兩位來自 Jürgen Schmidhuber 所在的 IDSIA，他們的第一位人工智能領(lǐng)域的博士雇員也來自 IDSIA，其中一個(gè)是聯(lián)合創(chuàng)始人，另一個(gè)是公司的第一名員工；Jürgen Schmidhuber 的其他博士學(xué)生也稍后加入了 DeepMind，其中包括在 2010 年 Atari-Go 論文的聯(lián)合作者。
Jürgen Schmidhuber 對(duì)機(jī)器人和通用人工智能的興趣可以追溯到青少年時(shí)代。1963 年，Jürgen Schmidhuber 出生于慕尼黑。他在青年時(shí)代，從圖書館借閱了大量科普書籍和科幻小說——尤其喜歡奧拉夫·斯泰普爾頓（Olaf Stapleton）的《造星主》（Star Maker）、E·T·A·霍夫曼（ETA Hoffmann）的《沙人》（The Sandman），以及史坦尼斯勞·萊姆（Stanislaw Lem）的小說。
而現(xiàn)在，位于瑞士阿爾卑斯山盧加諾的實(shí)驗(yàn)室里，他的初創(chuàng)公司 Nnaisense 已經(jīng)開發(fā)出一套嬰兒般的系統(tǒng)，幾乎可以不通過實(shí)驗(yàn)的方式了解世界的運(yùn)轉(zhuǎn)原理。Schmidhuber 認(rèn)為，RNN 是打造通用人工智能的基礎(chǔ)，與其借鑒腦科學(xué)發(fā)展人工智能，還不如深入研究數(shù)學(xué)和算法，尤其是機(jī)器學(xué)習(xí)和推薦程序。事實(shí)上，2000 年年初，在數(shù)學(xué)上最優(yōu)的通用 AI 及問題解決器在 IDSIA 里 Schmidhuber 的實(shí)驗(yàn)室中已經(jīng)被研發(fā)出來，如 Marcus Hutter's AIXI(tl) Model 或 self-referential G?del Machine。
建立一個(gè)基于神經(jīng)網(wǎng)絡(luò)的人工智能，它可以逐步學(xué)習(xí)，至少變得和小動(dòng)物一樣聰明、好奇、有創(chuàng)造性，不斷學(xué)習(xí)去計(jì)劃和理性，將非常廣泛的問題分解成可快速解決（或者已經(jīng)解決）的子問題。
一旦動(dòng)物水平的人工智能被實(shí)現(xiàn)，下一步對(duì)于人類水平人工智能的實(shí)現(xiàn)會(huì)容易很多：發(fā)展演化出聰明的動(dòng)物花費(fèi)了幾十億年的時(shí)間，但是在這之上演化成人類只用了幾百萬年。技術(shù)進(jìn)化要比生物進(jìn)化快得多，因?yàn)樗缆废龅囊惨斓枚?。Jürgen Schmidhuber 認(rèn)為，一旦我們擁有了動(dòng)物水平的人工智能，在幾年或者幾十年之后，我們或許就會(huì)擁有人類水平的人工智能，屆時(shí)將擁有真正無限的應(yīng)用，每一個(gè)業(yè)務(wù)將被改變，所有的文明也會(huì)被改變，一切都將改變。
在 20 世紀(jì) 60 年代，人工智能的研究更多處于理論階段并不實(shí)用，隨著近些年計(jì)算機(jī)算力極大增長(zhǎng)，這一波技術(shù)浪潮會(huì)帶來更多垂直產(chǎn)業(yè)得到應(yīng)用的落地。Schmidhuber 也將目光瞄向了推動(dòng)技術(shù)成果向商業(yè)化應(yīng)用轉(zhuǎn)化，繼續(xù)投注他對(duì)通用人工智能目標(biāo)的遠(yuǎn)大設(shè)想。