鏈接：https://zhuanlan.zhihu.com/p/23782226
來源：知乎
著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請注明出處。
譯者：張嘉偉 Jeven / University Of Liverpool
開始之前看一張有趣的圖 - 大腦遺傳地圖：
Figure 0. The Genetic Geography of the Brain - Allen Brain Atlas
成年人大腦結(jié)構(gòu)上的基因使用模式是高度定型和可再現(xiàn)的。 Figure 0 中所示的動態(tài)熱圖表示跨個體的這種圖案化模式的共同結(jié)構(gòu)，特別是一些介于解剖區(qū)域?qū)Γ╬airs of anatomic regions）之間差異表達(dá)的基因數(shù)目，在我們的實驗測量中，有5/6的大腦中發(fā)現(xiàn)了類似共同的模式。 熱紅色陰影代表在其轉(zhuǎn)錄調(diào)節(jié)中非常不同的腦區(qū)域，而較冷的藍(lán)色陰影代表高相似性的區(qū)域。
先看這張圖的用意是在于讓讀者了解目前大腦、神經(jīng)科學(xué)的前沿，人類不僅具有了解全部大腦基本功能的能力，并且已經(jīng)具備將各功能區(qū)域映射到自身遺傳物質(zhì)編碼上的能力。不僅如此，更多先進(jìn)的探測技術(shù)已經(jīng)能讓人們記錄下更詳細(xì)的神經(jīng)元內(nèi)部的活動（dynamics），這使得對大腦內(nèi)部計算結(jié)構(gòu)的分析成為可能，上圖所示內(nèi)容凝結(jié)了眾多科學(xué)家的努力，相信一定是21世紀(jì)最偉大的科學(xué)突破之一。
說明：
1. 翻譯這篇文章出于學(xué)習(xí)目的，有翻譯或者理解有誤的地方還望大家多多指教；
2. 本文可以任意轉(zhuǎn)載，支持知識分享，但請注明出處或附上原文地址；
3. 文章中所有的引用都在本文內(nèi)嵌鏈接中可以找到，該論文有488篇引用！
4. 翻譯將進(jìn)行連載，這是系列的第一部分，對應(yīng)論文第一章；
Standing>2011）、細(xì)胞類型、分子、細(xì)胞狀態(tài)以及計算和信息存儲的機(jī)制。 相反，機(jī)器學(xué)習(xí)主要集中在單一原理的實例化：函數(shù)優(yōu)化。 它發(fā)現(xiàn)簡單的優(yōu)化目標(biāo)，如最小化分類誤差，可以導(dǎo)致在在多層和復(fù)現(xiàn)（Recurrent）網(wǎng)絡(luò)形成豐富的內(nèi)部表示和強(qiáng)大的算法能力（LeCun et al., 2015; Schmidhuber, 2015）。 這里我們試圖去連接這些觀點。如今在機(jī)器學(xué)習(xí)中突出的人工神經(jīng)網(wǎng)絡(luò)最初是受神經(jīng)科學(xué)的啟發(fā)（McCulloch and Pitts, 1943）。雖然此后神經(jīng)科學(xué)在機(jī)器學(xué)習(xí)繼續(xù)發(fā)揮作用（Cox and Dean, 2014），但許多主要的發(fā)展都是以有效優(yōu)化的數(shù)學(xué)為基礎(chǔ)，而不是神經(jīng)科學(xué)的發(fā)現(xiàn)（Sutskever and Martens, 2013）。該領(lǐng)域從簡單線性系統(tǒng)（Minsky and Papert, 1972）到非線性網(wǎng)絡(luò)（Haykin, 1994），再到深層和復(fù)現(xiàn)網(wǎng)絡(luò)（LeCun et al., 2015; Schmidhuber, 2015）。反向傳播誤差（Werbos, 1974, 1982; Rumelhart et al., 1986）通過提供一種有效的方法來計算相對于多層網(wǎng)絡(luò)的權(quán)重的梯度，使得神經(jīng)網(wǎng)絡(luò)能夠被有效地訓(xùn)練。訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法已經(jīng)改進(jìn)了很多，包括引入動量的學(xué)習(xí)率，更好的權(quán)重矩陣初始化，和共軛梯度等，發(fā)展到當(dāng)前使用分批隨機(jī)梯度下降（SGD）優(yōu)化的網(wǎng)絡(luò)。這些發(fā)展與神經(jīng)科學(xué)并沒有明顯的聯(lián)系。
然而，我們將在此論證，神經(jīng)科學(xué)和機(jī)器學(xué)習(xí)都已經(jīng)發(fā)展成熟到了可以再次“收斂”（交織）的局面。 機(jī)器學(xué)習(xí)的三個方面在本文所討論的上下文中都顯得特別重要。 首先，機(jī)器學(xué)習(xí)側(cè)重于成本函數(shù)的優(yōu)化（見Figure 1）。
Figure 1. 傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)和類腦神經(jīng)網(wǎng)絡(luò)設(shè)計之間的假設(shè)差異。 （A）在常規(guī)深度學(xué)習(xí)中，監(jiān)督訓(xùn)練基于外部提供的標(biāo)記數(shù)據(jù)。 （B）在大腦中，網(wǎng)絡(luò)的監(jiān)督訓(xùn)練仍然可以通過對誤差信號的梯度下降發(fā)生，但是該誤差信號必須來自內(nèi)部生成的成本函數(shù)。這些成本函數(shù)本身是由遺傳基因和后天學(xué)習(xí)所指定的神經(jīng)模塊計算而來。內(nèi)部生成的成本函數(shù)創(chuàng)建heuristics（這個實在不好翻譯，“啟發(fā)”有些抽象，類似于元信息，大家意會吧），用于引導(dǎo)更復(fù)雜的學(xué)習(xí)。例如，識別面部的區(qū)域可以首先使用簡單的heuristic來訓(xùn)練以來檢測面部，這種heuristic就比如是在直線之上存在兩個點，然后進(jìn)一步訓(xùn)練以使用來自無監(jiān)督學(xué)習(xí)的表示結(jié)合來自其他與社交獎勵處理相關(guān)的大腦區(qū)域的錯誤信號來區(qū)分顯著的面部表情。 （C）內(nèi)部生成的成本函數(shù)和錯誤驅(qū)動的神經(jīng)皮質(zhì)深層網(wǎng)絡(luò)經(jīng)過訓(xùn)練形成包含幾個專門系統(tǒng)的較大架構(gòu)的一部分。雖然可訓(xùn)練皮層區(qū)域在這里被示意為前饋神經(jīng)網(wǎng)絡(luò)，但是LSTM或其他類型的recurrent網(wǎng)絡(luò)可能才是更精確的比喻，并且許多神經(jīng)元和網(wǎng)絡(luò)性質(zhì)例如神經(jīng)脈沖、樹突計算、神經(jīng)調(diào)節(jié)、適應(yīng)和穩(wěn)態(tài)可塑性、定時依賴性可塑性、直接電連接、瞬時突觸動力、興奮/抑制平衡、自發(fā)振蕩活動、軸突傳導(dǎo)延遲（Izhikevich,