心理學(xué)家Frank Rosenblatt 在1956年使用這一理論，結(jié)合軟件和硬件對神經(jīng)元進(jìn)行了模擬，他開發(fā)出的一套“感知器”可以對圖片進(jìn)行簡單的分類。雖然他是在笨拙的大型機(jī)上實(shí)現(xiàn)的這一想法，但他奠定了如今人工神經(jīng)網(wǎng)絡(luò)的基石。
他造的這臺(tái)計(jì)算機(jī)由大量的馬達(dá)和光學(xué)監(jiān)測器相連，一共擁有8個(gè)虛擬的神經(jīng)元。首先，監(jiān)測器會(huì)偵測圖片的光學(xué)信號(hào)，并將信號(hào)傳遞給神經(jīng)元。這些神經(jīng)元在獲取到監(jiān)測器傳遞的信號(hào)后，會(huì)對其進(jìn)行加工并返回出一個(gè)值。借由這些值，機(jī)器能 “描繪”出其“看到”的東西。一開始的測試結(jié)果很糟糕，但是Rosenblatt 使用了一種高級(jí)學(xué)習(xí)的方法，使得及其可以正確區(qū)分出不同的形狀。他在向機(jī)器展示圖片的同時(shí)，也會(huì)告訴其正確答案，之后機(jī)器會(huì)對輸入的信號(hào)進(jìn)行判別，計(jì)算出如果要得到正確答案，各個(gè)神經(jīng)元的信號(hào)權(quán)重是多少，并進(jìn)行再分配和糾正。在重復(fù)了大量例子之后，機(jī)器可以識(shí)別出從來沒有見過的圖片?，F(xiàn)今的深度學(xué)習(xí)網(wǎng)絡(luò)使用了更加高級(jí)的算法，并且擁有數(shù)百萬個(gè)模擬神經(jīng)元，但訓(xùn)練方式和之前是一樣的。
Rosenblatt 預(yù)言，他的感知器將有廣泛的應(yīng)用，比如可以讓機(jī)器用名字和人問候。如果人們能實(shí)現(xiàn)在神經(jīng)網(wǎng)絡(luò)的多個(gè)層間傳遞圖片和信號(hào)，則可以讓感知器解決更加復(fù)雜的問題。不幸的是，他的學(xué)習(xí)算法在多層領(lǐng)域并不奏效。1969年，AI領(lǐng)域的先驅(qū)Marvin Minsky更是出版了一本書，把人們對神經(jīng)網(wǎng)絡(luò)的興趣扼殺在了搖籃里。Minsky聲稱多層面并不會(huì)讓感知器更加有用。于是AI研究人員拋棄了這一想法，取而代之的是使用邏輯操作開發(fā)人工智能產(chǎn)品，而神經(jīng)網(wǎng)絡(luò)則被推到了計(jì)算機(jī)科學(xué)的邊緣地帶。
當(dāng)1980年Lecun在巴黎念書時(shí)，他發(fā)現(xiàn)了之前人們的這些工作，并驚訝于為什么會(huì)拋棄了這一想法。他在圖書館尋找相關(guān)的論文，最后發(fā)現(xiàn)在美國有一個(gè)小組在研究神經(jīng)網(wǎng)絡(luò)。他們研究的內(nèi)容是 Rosenblatt遇到的老問題，即如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)，讓其堅(jiān)決多層問題。這份研究有些“地下工作”的意味，為了不被審稿人拒稿，研究人員盡量避免使用 “神經(jīng)”、“學(xué)習(xí)”等字樣。
在讀到這些之后，Lecun加入了這個(gè)團(tuán)隊(duì)。在那里他認(rèn)識(shí)了現(xiàn)在任職于Google的Geoff Hinton，他們一致認(rèn)為，只有人工神經(jīng)網(wǎng)絡(luò)才是構(gòu)建人工智能的唯一途徑。此后，他們成功開發(fā)出了應(yīng)用于多層面的神經(jīng)網(wǎng)絡(luò)，但是其適用性非常有限。而貝爾實(shí)驗(yàn)室的研究人員則開發(fā)出了另一套更加實(shí)用的算法，并很快被Google和Amazon等公司應(yīng)用于反垃圾和商品推薦。
在Lecun離開貝爾實(shí)驗(yàn)室去了紐約大學(xué)以后，他和其他研究人員組成了一個(gè)研究小組。為了證明神經(jīng)網(wǎng)絡(luò)的作用，他們不動(dòng)聲色地讓性能強(qiáng)大的機(jī)器學(xué)習(xí)和處理更多的數(shù)據(jù)。此前 Lecun的手寫識(shí)別系統(tǒng)由5個(gè)神經(jīng)元層構(gòu)成，現(xiàn)在則加到了10多個(gè)。到了2010年后，神經(jīng)網(wǎng)絡(luò)在圖片分類等領(lǐng)域打敗了現(xiàn)有的技術(shù)，并且微軟等大公司開始將其應(yīng)用于語音識(shí)別。但對于科研人員來說，神經(jīng)網(wǎng)絡(luò)還是很邊緣化的一門技術(shù)。2012年的時(shí)候，Lecun還寫過一封匿名信對此痛斥一番，因?yàn)樗麄兊囊黄榻B神經(jīng)網(wǎng)絡(luò)新記錄的文章投稿被一場頂尖會(huì)議給拒絕了。
6個(gè)月以后的一件事情，讓一切都發(fā)生了變化。
Hinton帶著兩個(gè)學(xué)生，參加了一場機(jī)器圖像識(shí)別比賽，并在大賽中取得了傲人的成績。他們在比賽中所用的網(wǎng)絡(luò)就和之前Lecun開發(fā)的支票閱讀網(wǎng)絡(luò)類似，在這場比賽中，軟件要辨識(shí)超過1000種各種各樣的物品，而他們的這套系統(tǒng)辨識(shí)率高達(dá)85%，超過第二名10個(gè)百分點(diǎn)。深度學(xué)習(xí)軟件的第一層對神經(jīng)元進(jìn)行優(yōu)化，找到邊角等簡單的特點(diǎn)，而其他層則連續(xù)尋找形狀等特點(diǎn)。Lecun現(xiàn)在還能回想起當(dāng)時(shí)的情景，作為勝出者的他們拿出論文，仿佛對著屋子里那些曾經(jīng)無視他們研究的人臉上狠狠打了一巴掌，而他們只能說：“OK，我們承認(rèn)，你們贏了。”
經(jīng)此一役，計(jì)算機(jī)視覺領(lǐng)域的風(fēng)向很快就變了，人們迅速拋棄舊的方法，而深度學(xué)習(xí)很快變成了人工智能領(lǐng)域的主流。Google買下了Hinton成立的公司，開發(fā)Google Brain。微軟也開始立項(xiàng)研究這一技術(shù)，F(xiàn)acebook的CEO 扎克伯格甚至也出現(xiàn)在神經(jīng)網(wǎng)絡(luò)的研究會(huì)議上，宣布Lecun在紐約大學(xué)擔(dān)任教職的同時(shí)，加入到他們的FAIR團(tuán)隊(duì)中。
