盡管在最近的在線搜索中已經(jīng)占據(jù)高的搜索量，深度學(xué)習(xí)仍然是一個(gè)相對(duì)較新的概念。由于在各個(gè)不同的領(lǐng)域都獲得了巨大的成功，機(jī)器學(xué)習(xí)在研究和生產(chǎn)領(lǐng)域中大量涌現(xiàn)。機(jī)器學(xué)習(xí)是應(yīng)用深度神經(jīng)網(wǎng)絡(luò)技術(shù)的一個(gè)過程——也就是有著多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)構(gòu)架——去解決問題。像數(shù)據(jù)挖掘一樣，深度學(xué)習(xí)也是一個(gè)進(jìn)程，它采用了神經(jīng)網(wǎng)絡(luò)構(gòu)架——一種特定的機(jī)器學(xué)習(xí)算法。
近段時(shí)間來深度學(xué)習(xí)已經(jīng)積累了可觀的研究成果。據(jù)此，在我看來，將以下下幾點(diǎn)牢記在心對(duì)機(jī)器學(xué)習(xí)十分重要：
機(jī)器學(xué)習(xí)不是萬靈藥——它不能夠解決所有的問題。
它并不是一個(gè)傳說中的大師級(jí)的算法——深度學(xué)習(xí)不能夠替代其他機(jī)器學(xué)習(xí)的算法和數(shù)據(jù)科學(xué)的技術(shù)，或者說，至少它至今還未被證明可以
我們需要對(duì)它持以平和的期待——盡管最近各種分類問題，特別是計(jì)算機(jī)視覺和自然語言處理，強(qiáng)化學(xué)習(xí)以及其他領(lǐng)域都已取得顯著進(jìn)步，深度學(xué)習(xí)目前還沒有到達(dá)可以解決諸如 “實(shí)現(xiàn)世界和平”這種復(fù)雜問題的水平。
深度學(xué)習(xí)和人工智能并非同義詞。
深度學(xué)習(xí)可以通過向一大堆數(shù)據(jù)提供附加的操作和工具從而解決問題。由此，深度學(xué)習(xí)在數(shù)據(jù)科學(xué)領(lǐng)域是一個(gè)十分有用的輔助。
就像上圖所示，深度學(xué)習(xí)深度學(xué)習(xí)之于數(shù)據(jù)挖掘，就像(深度)神經(jīng)網(wǎng)絡(luò)之于機(jī)器學(xué)習(xí)(進(jìn)程VS構(gòu)架)。同時(shí)我們也可以看到深度神經(jīng)網(wǎng)絡(luò)絕大程度屬于當(dāng)前人工智能的情況。兩者概念相互交織幾乎已經(jīng)到了相同意思的程度(但實(shí)際上這兩者并非相同的事物，人工智能除了神經(jīng)網(wǎng)絡(luò)還含有大量其他的算法和技術(shù))同時(shí)，在深度學(xué)習(xí)過程和神經(jīng)網(wǎng)絡(luò)技術(shù)的帶領(lǐng)下，近幾年來在相關(guān)領(lǐng)域有了卓越的跨越。其中起重要作用的，深度學(xué)習(xí)/深度神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)視覺，自然語言處理，生成模型之間的聯(lián)系值得關(guān)注。由此，讓我們通過簡明扼要的定義，來了解深度學(xué)習(xí)和相關(guān)術(shù)語。
1.深度學(xué)習(xí)
就像上述定義的一樣，深度學(xué)習(xí)是應(yīng)用神經(jīng)網(wǎng)絡(luò)解決問題的過程。深度神經(jīng)網(wǎng)絡(luò)是有著至少一個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)(如下圖)。像數(shù)據(jù)挖掘一樣，深度學(xué)習(xí)所指的是一個(gè)特定的過程。其中采用了深度神經(jīng)網(wǎng)絡(luò)-一種特定的機(jī)器學(xué)習(xí)算法的框架。
2.人工神經(jīng)網(wǎng)絡(luò)(ANNs)
機(jī)器學(xué)習(xí)構(gòu)架最早的靈感來源于生物大腦(尤其是神經(jīng)元)深度學(xué)習(xí)就運(yùn)用到了神經(jīng)元的概念。事實(shí)上，單一的人工神經(jīng)網(wǎng)絡(luò)(并非深度神經(jīng)網(wǎng)絡(luò))在很早之前就被發(fā)現(xiàn)，在過去已經(jīng)能解決一些特定的問題。然而，相較于現(xiàn)在，目前的神經(jīng)網(wǎng)絡(luò)構(gòu)架都被設(shè)計(jì)為包含數(shù)個(gè)隱藏層(除了簡單的輸入和輸出層)。層數(shù)的增加提高了網(wǎng)絡(luò)的復(fù)雜度，使得網(wǎng)絡(luò)能夠進(jìn)行深度學(xué)習(xí)，成為一種更強(qiáng)大的問題解決工具。
實(shí)際上，人工神經(jīng)網(wǎng)絡(luò)ANN一族結(jié)構(gòu)差別很大，因此，目前沒有一個(gè)確切的神經(jīng)網(wǎng)絡(luò)定義。目前兩個(gè)主流的適用于所有ANN的特征，一個(gè)是擁有一個(gè)可調(diào)整的權(quán)重集合，另一個(gè)是具有模擬輸入信號(hào)到神經(jīng)元的非線性功能的能力。
3.生物神經(jīng)元
在生物和人工神經(jīng)網(wǎng)絡(luò)之間的關(guān)系已經(jīng)有了明確的定義。大量傳播開的出版物渲染出這樣一個(gè)概念：ANN是某種對(duì)發(fā)生在人(或其他生物)大腦的過程的完全復(fù)制。這種觀念顯然是不準(zhǔn)確的。充其量我們只能說早期的人工神經(jīng)網(wǎng)絡(luò)是受到生物學(xué)的啟發(fā)。兩者間抽象的關(guān)系不比原子的組成和功能與太陽系間的抽象關(guān)系明確。
也就是說，如果僅僅了解是什么啟發(fā)了ANN，這提供了一種高層次的解讀，可幫助我們?nèi)ダ斫馍锷窠?jīng)是如何工作的。
以下是我們對(duì)生物神經(jīng)元的最感興趣的部分，包括：
攜帶著遺傳信息的細(xì)胞核(如DNA)
處理輸入刺激并轉(zhuǎn)化為輸出刺激的細(xì)胞體。
從其他神經(jīng)元接受刺激的樹突。
信息傳給其他神經(jīng)的軸突。
軸突末端，和相鄰樹突之間形成的突觸結(jié)構(gòu)。