關(guān)于神經(jīng)網(wǎng)絡(luò)，在50年代末，F(xiàn)·Rosenblatt提出了“感知機(jī)”，它是一種多層次的神經(jīng)網(wǎng)絡(luò)。該項提出首次把人工神經(jīng)網(wǎng)絡(luò)從理論付諸到實踐中。任何新生事物向前發(fā)展勢必會遭到當(dāng)前勢力的打壓，更何況，F(xiàn)·Rosenblatt時一個二流水的學(xué)者，并且不懂人情事故，到處張揚(yáng)。那么新事物的出現(xiàn)肯定會擠掉一部分舊的事物，搶到一部分人的飯碗。于是符號邏輯學(xué)派的領(lǐng)軍人物Minsky（據(jù)說是F·Rosenblatt的高中學(xué)長）就出來進(jìn)行打壓，在60年代中下發(fā)現(xiàn)感知機(jī)這玩意對邏輯學(xué)里面的一個基本問題XOR卻無能無力。于是開始寫文炮轟感知機(jī)。于是，60年代末開始，人工神經(jīng)網(wǎng)絡(luò)進(jìn)入低潮。
這之后，雖然有提出多層感知器結(jié)構(gòu)（MLP），但是帶來的網(wǎng)絡(luò)的復(fù)雜性，從而沒有有效的學(xué)習(xí)方法。80時代末，研究者提出了BP算法，給人工神經(jīng)網(wǎng)絡(luò)帶來了新的希望，并且該方法在淺層神經(jīng)網(wǎng)絡(luò)模型的非常有效。于是掀起了基于統(tǒng)計模型的機(jī)器學(xué)習(xí)熱潮，這個熱潮一直持續(xù)到今天。在90年代，基本上是SVM的天下，而淺層人工神經(jīng)網(wǎng)絡(luò)復(fù)雜，學(xué)習(xí)速度慢，容易出錯，理論不足的缺點導(dǎo)致其較為沉寂。
2000年以來，隨著互聯(lián)網(wǎng)的高速發(fā)展，對大數(shù)據(jù)的智能化提出了更高的要求。隨著大規(guī)模存儲與計算工具的發(fā)明，淺層學(xué)習(xí)模型在互聯(lián)網(wǎng)應(yīng)用中取得了巨大成功，如搜素廣告系統(tǒng)（Google的AdWords、百度的鳳巢系統(tǒng)）的廣告點擊率CTR預(yù)估、網(wǎng)頁搜素排序（如Yahoo、Google、B百度的搜索引擎）、垃圾郵件過濾系統(tǒng)、以及個性化推薦（Amazon等）。并且隨著要求的提高，開始由淺層網(wǎng)絡(luò)向深層網(wǎng)絡(luò)研究。
在2006年前，所嘗試的深度網(wǎng)絡(luò)架構(gòu)的學(xué)習(xí)都失敗了，從而導(dǎo)致ANN只有一層或兩層隱藏層。2006年，受Hinton的革命性的深度信念網(wǎng)（Deep Belief Networks，DBNs）的引導(dǎo)，Hinton[1]、Bengio[2]、Ranzato與LeCun[3]的三篇文章將深度學(xué)習(xí)帶入熱潮，將其從邊緣學(xué)科變?yōu)橹髁骺茖W(xué)與技術(shù)。目前深度學(xué)習(xí)在計算機(jī)視覺、語音識別、自然語言處理等領(lǐng)域取得了巨大的成功。
自2006年以來，深度學(xué)習(xí)在學(xué)術(shù)界持續(xù)升溫。斯坦福大學(xué)、紐約大學(xué)、加拿大蒙特利爾大學(xué)等成為研究深度學(xué)習(xí)的重鎮(zhèn)。2010年，美國國防部DARPA計劃首次資助深度學(xué)習(xí)項目，參與方有斯坦福大學(xué)、紐約大學(xué)和NEC美國研究院。支持深度學(xué)習(xí)的一個重要依據(jù)，就是腦神經(jīng)系統(tǒng)的確具有豐富的層次結(jié)構(gòu)。一個最著名的例子就是Hubel-Wiesel模型，由于揭示了視覺神經(jīng)的機(jī)理而曾獲得諾貝爾醫(yī)學(xué)與生理學(xué)獎。除了仿生學(xué)的角度，目前深度學(xué)習(xí)的理論研究還基本處于起步階段，但在應(yīng)用領(lǐng)域已顯現(xiàn)出巨大能量。2011年以來，微軟研究院和Google的語音識別研究人員先后采用DNN技術(shù)降低語音識別錯誤率20％~30％，是語音識別領(lǐng)域十多年來最大的突破性進(jìn)展。2012年，DNN技術(shù)在圖像識別領(lǐng)域取得驚人的效果，在ImageNet評測上將錯誤率從26％降低到15％。在這一年，DNN還被應(yīng)用于制藥公司的DrugeActivity預(yù)測問題，并獲得世界最好成績，這一重要成果被《紐約時報》報道。
今天Google、微軟、百度、Facebook、Twitter、Alibaba等知名的擁有大數(shù)據(jù)的高科技公司爭相投入資源，占領(lǐng)深度學(xué)習(xí)的技術(shù)制高點，正是因為他們都看到了在大數(shù)據(jù)時代，更加復(fù)雜且更加強(qiáng)大的深度模型能深刻揭示海量數(shù)據(jù)里所承載的復(fù)雜而豐富的信息，并對未來或未知事件做更精準(zhǔn)的預(yù)測。
如果你熱愛數(shù)據(jù)，你熱愛數(shù)據(jù)科學(xué)，那么follow這些大牛。站在巨人的肩膀上學(xué)習(xí)?。?！
最后貼一張圖，你們感受一下（圖片中部分人不在文章中，文章中的大部分人也不在圖中）：
參考文獻(xiàn)
[1] Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets.[J]. Neural Computation, 2006, 18(7):2006.
[2] Bengio Y, Lamblin P, Popovici D, et al. Greedy layer-wise training of deep networks[J]. Advances in Neural Information Processing Systems, 2007:153-160.
[3] Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra and Yann LeCun Efficient Learning of Sparse Representations with an Energy-Based Model, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems (NIPS 2006), MIT Press, 2007
[4] 原文：http://www.analyticsvidhya.com/blog/2015/09/ultimate-data-scientists-world-today/ 譯者博客：http://blog.csdn.net/heyongluoyao8/article/details/48598169
End.