# 這里說(shuō)到的“來(lái)自無(wú)監(jiān)督學(xué)習(xí)的表示”可以用人工智能里的知識(shí)表示來(lái)理解，來(lái)自大腦其他區(qū)域的錯(cuò)誤信號(hào)也是一種表示，所以他們可以結(jié)合。深度學(xué)習(xí)中我們用實(shí)值張量來(lái)表示知識(shí)，個(gè)人認(rèn)為knowledge representation是智能形成最基礎(chǔ)的核心之一。C中描述的結(jié)構(gòu)與《On Intelligence》中作者提到的”柱狀體“神經(jīng)網(wǎng)絡(luò)非常類(lèi)似。結(jié)尾的一大串神經(jīng)動(dòng)力學(xué)名詞真是又一次讓我深深感受到自己的無(wú)知...
第二，近來(lái)在機(jī)器學(xué)習(xí)中的工作開(kāi)始引入復(fù)雜的成本函數(shù)：在層和時(shí)間上不一致的成本函數(shù)，以及由網(wǎng)絡(luò)的不同部分之間的交互產(chǎn)生的那些函數(shù)。 例如，引入低層的時(shí)間相干性（空間上非均勻成本函數(shù)）的目標(biāo)改進(jìn)了特征學(xué)習(xí)（Sermanet and Kavukcuoglu, 2013），成本函數(shù)計(jì)劃（時(shí)間上非均勻成本函數(shù)）改進(jìn)了泛化能力（Saxe et al., 2013; Goodfellow et al., 2014b; Gülçehre and Bengio, 2016）以及對(duì)抗網(wǎng)絡(luò) - 內(nèi)部交互作用產(chǎn)生的成本函數(shù)的一個(gè)例子 - 允許生成式模型基于梯度訓(xùn)練（Goodfellow et al., 2014a）。 更容易訓(xùn)練的網(wǎng)絡(luò)正被用于提供“提示”，以幫助引導(dǎo)更強(qiáng)大的網(wǎng)絡(luò)的訓(xùn)練（Romero et al., 2014）。
第三，機(jī)器學(xué)習(xí)也開(kāi)始多樣化進(jìn)行優(yōu)化的架構(gòu)。 它引入了具有多重持久狀態(tài)的簡(jiǎn)單記憶細(xì)胞（Hochreiter and Schmidhuber, 1997; Chung et al., 2014），更復(fù)雜的基本計(jì)算結(jié)構(gòu)單元如“膠囊”和其他結(jié)構(gòu)（Delalleau and Bengio, 2011; Hinton et al., 2011; Tang et al., 2012; Livni et al., 2013），內(nèi)容可尋址性（Graves et al., 2014; Weston et al., 2014）和位置可尋址存儲(chǔ)器（Graves et al., 2014），另外還有指針 （Kurach et al., 2015）和硬編碼算術(shù)運(yùn)算（Neelakantan et al., 2015）。
這三個(gè)想法到目前為止在神經(jīng)科學(xué)中沒(méi)有受到很多關(guān)注。 因此，我們將這些想法形成為關(guān)于大腦的三個(gè)假設(shè)，檢查它們的證據(jù)，并且描繪可以如何測(cè)試它們的實(shí)驗(yàn)。 但首先，我們需要更準(zhǔn)確地陳述假設(shè)。
1.1 假設(shè)1 – 大腦進(jìn)行成本函數(shù)優(yōu)化
連接兩個(gè)領(lǐng)域的中心假設(shè)是，像許多機(jī)器學(xué)習(xí)系統(tǒng)一樣，生物系統(tǒng)能夠優(yōu)化成本函數(shù)。成本函數(shù)的想法意味著大腦區(qū)域中的神經(jīng)元可以以某種方式改變它們的屬性，例如它們的突觸的屬性，使得它們?cè)谧鋈魏纬杀竞瘮?shù)定義為它們的角色時(shí)更好。人類(lèi)行為有時(shí)在一個(gè)領(lǐng)域中達(dá)到最優(yōu)，例如在運(yùn)動(dòng)期間（Körding, 2007），這表明大腦可能已經(jīng)學(xué)習(xí)了最佳策略。受試者將他們的運(yùn)動(dòng)系統(tǒng)的能量消耗最小化（Taylor and Faisal, 2011），并且使他們的身體的風(fēng)險(xiǎn)和損害最小化，同時(shí)最大化財(cái)務(wù)和運(yùn)動(dòng)獲益。在計(jì)算上，我們現(xiàn)在知道軌跡的優(yōu)化為非常復(fù)雜的運(yùn)動(dòng)任務(wù)提出了非常不錯(cuò)的解決方案（Harris and Wolpert, 1998; Todorov and Jordan, 2002; Mordatch et al., 2012）。我們認(rèn)為成本函數(shù)優(yōu)化更廣泛地發(fā)在大腦使用的內(nèi)部表示和其他處理過(guò)程之中。重要的是，我們還建議這需要大腦在多層和recurrent網(wǎng)絡(luò)中具備有效的信用分配（credit assignment，感覺(jué)翻譯成中文還是有些奇怪）機(jī)制。
1.2 假設(shè)2 – 不同的發(fā)展階段中不同大腦區(qū)域的成本函數(shù)不同
第二個(gè)假設(shè)的另一種表達(dá)是：成本函數(shù)不需要是全局的。 不同腦區(qū)域中的神經(jīng)元可以?xún)?yōu)化不同的事物，例如，運(yùn)動(dòng)的均方誤差、視覺(jué)刺激中的驚喜或注意分配。 重要的是，這樣的成本函數(shù)可以在局部大腦區(qū)域生成。 例如，神經(jīng)元可以局部評(píng)估其輸入的統(tǒng)計(jì)模型的質(zhì)量（Figure1B）。 或者，一個(gè)區(qū)域的成本函數(shù)可以由另一個(gè)區(qū)域生成。 此外，成本函數(shù)可以隨時(shí)間改變，例如，神經(jīng)網(wǎng)絡(luò)先指導(dǎo)小孩早期理解簡(jiǎn)單的視覺(jué)對(duì)比度，稍后再進(jìn)行面部識(shí)別。 這可以允許發(fā)展中的大腦根據(jù)更簡(jiǎn)單的知識(shí)來(lái)引導(dǎo)更復(fù)雜的知識(shí)。 大腦中的成本函數(shù)是非常復(fù)雜的，并且被安排成在不同地區(qū)和不同發(fā)展之間變化。