需要注意的是大腦中的表示是在中間緊密分布并且純局部：他們是稀疏的：1%的神經(jīng)元是同時(shí)活動(dòng)的。給定大量的神經(jīng)元，仍然有一個(gè)非常高效地(指數(shù)級(jí)高效)表示。
3.2 認(rèn)知過程逐層進(jìn)行，逐步抽象
人類層次化地組織思想和概念;
人類首先學(xué)習(xí)簡單的概念，然后用他們?nèi)ケ硎靖橄蟮?
工程師將任務(wù)分解成多個(gè)抽象層次去處理;
學(xué)習(xí)/發(fā)現(xiàn)這些概念(知識(shí)工程由于沒有反省而失敗?)是很美好的。對語言可表達(dá)的概念的反省也建議我們一個(gè)稀疏的表示：僅所有可能單詞/概念中的一個(gè)小的部分是可被應(yīng)用到一個(gè)特別的輸入(一個(gè)視覺場景)。
4、深度學(xué)習(xí)適用場景
深度學(xué)習(xí)已經(jīng)在語音識(shí)別、圖像處理等方面取得了巨大成功。從2013、2014年開始，也在自然語言處理領(lǐng)域出現(xiàn)深度學(xué)習(xí)的應(yīng)用浪潮。隨著研究的深入，其他領(lǐng)域還在探索中，如自動(dòng)駕駛等等。
5、深度學(xué)習(xí)等同人工智能嗎?
5.1 強(qiáng)人工智能和弱人工智能
人工智能的一個(gè)比較流行的定義，也是該領(lǐng)域較早的定義，是由約翰·麥卡錫(John McCarthy|)在1956年的達(dá)特矛斯會(huì)議(Dartmouth Conference)上提出的：人工智能就是要讓機(jī)器的行為看起來就象是人所表現(xiàn)出的智能行為一樣。但是這個(gè)定義似乎忽略了強(qiáng)人工智能的可能性(見下)。另一個(gè)定義指人工智能是人造機(jī)器所表現(xiàn)出來的智能性?？傮w來講，目前對人工智能的定義大多可劃分為四類，即機(jī)器“像人一樣思考”、“像人一樣行動(dòng)”、“理性地思考”和“理性地行動(dòng)”。這里“行動(dòng)”應(yīng)廣義地理解為采取行動(dòng)，或制定行動(dòng)的決策，而不是肢體動(dòng)作。
強(qiáng)人工智能: 強(qiáng)人工智能觀點(diǎn)認(rèn)為有可能制造出真正能推理(Reasoning)和解決問題(Problem_solving)的智能機(jī)器，并且，這樣的機(jī)器能將被認(rèn)為是有知覺的，有自我意識(shí)的。強(qiáng)人工智能可以有兩類： 類人的人工智能，即機(jī)器的思考和推理就像人的思維一樣。 非類人的人工智能，即機(jī)器產(chǎn)生了和人完全不一樣的知覺和意識(shí)，使用和人完全不一樣的推理方式。
弱人工智能:弱人工智能觀點(diǎn)認(rèn)為不可能制造出能真正地推理(Reasoning)和解決問題(Problem_solving)的智能機(jī)器，這些機(jī)器只不過看起來像是智能的，但是并不真正擁有智能，也不會(huì)有自主意識(shí)。 主流科研集中在弱人工智能上，并且一般認(rèn)為這一研究領(lǐng)域已經(jīng)取得可觀的成就。強(qiáng)人工智能的研究則處于停滯不前的狀態(tài)下。
當(dāng)前深度學(xué)習(xí)還是其他算法，更多的是弱人工智能，根本就沒有思考和推斷的能力，深度學(xué)習(xí)說low一點(diǎn)，本質(zhì)上做的還是分類。
6、深度學(xué)習(xí)研究方向
Hinton，Bengio及Lecun三位大神在Nature上發(fā)表的Deep Learning綜述最后總結(jié)了深度學(xué)習(xí)的三大發(fā)展方向：
1)無監(jiān)督學(xué)習(xí)。 無監(jiān)督學(xué)習(xí)在深度學(xué)習(xí)剛火的那幾年有很重要的作用，比如用無監(jiān)督方式訓(xùn)練深度信念網(wǎng)絡(luò)還有稀疏自編碼器等，使用無監(jiān)督學(xué)習(xí)主要是為了預(yù)訓(xùn)練，以得到一個(gè)較好的初始值，隨后再使用有監(jiān)督訓(xùn)練進(jìn)行微調(diào)。但是隨著計(jì)算能力的發(fā)展，人們發(fā)現(xiàn)只要在數(shù)據(jù)集足夠大的情況下使用純有監(jiān)督學(xué)習(xí)也能得到較好性能，所以近幾年無監(jiān)督學(xué)習(xí)發(fā)展不是很大，Hinton他們希望在未來無監(jiān)督學(xué)習(xí)能有更大發(fā)展，因?yàn)槿祟惡蛣?dòng)物的學(xué)習(xí)在很大程度上都是無監(jiān)督的：我們通過觀察這個(gè)世界來學(xué)習(xí)，而不是有個(gè)老師在教我們這個(gè)世界的原理。
2)深度強(qiáng)化學(xué)習(xí)。 深度強(qiáng)化學(xué)習(xí)的主要思想簡而言之就是將深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)相結(jié)合，是一種從感知到動(dòng)作的端到端學(xué)習(xí)。簡單的說，就是和人類一樣，輸入感知信息比如視覺，然后通過深度神經(jīng)網(wǎng)絡(luò)，直接輸出動(dòng)作，中間沒有人工特征的工作。深度增強(qiáng)學(xué)習(xí)具備使機(jī)器人實(shí)現(xiàn)真正完全自主的學(xué)習(xí)一種甚至多種技能的潛力。深度強(qiáng)化學(xué)習(xí)最突出的代表就是DeepMind公司了，該公司在NIPS 2013上發(fā)表的Playing Atari with Deep Reinforcement Learning一文，在該文中第一次提出深度強(qiáng)化學(xué)習(xí)這個(gè)名稱，之后在Nature上發(fā)表了改進(jìn)版的文章Human-level control through deep reinforcement learning，引起了廣泛的關(guān)注，深度強(qiáng)化學(xué)習(xí)從此成為深度學(xué)習(xí)領(lǐng)域的前沿研究方向。最近的李世石大戰(zhàn)阿法狗中，阿法狗背后的技術(shù)也是深度強(qiáng)化學(xué)習(xí)，DeepMind將阿法狗背后用到的技術(shù)發(fā)表在了2016年的Nature上Mastering the game of Go with deep neural networks and tree search。