如今越來越多的人愿意和自己的虛擬私人助理交談，只需要動動嘴就可以讓Siri/Alexa/Rokid幫你完成發(fā)微信、訂車票、設(shè)鬧鐘這樣的閑事，還能提醒你吃藥、開會，這樣一個不需要付工資的貼心小棉襖怎么會不受喜愛呢?虛擬助理正在一步步接近現(xiàn)實中的私人助理，而背后支持它的正是深度學(xué)習(xí)的技術(shù)。除了虛擬助理之外，深度學(xué)習(xí)技術(shù)還將是未來計算機(jī)視覺、自動駕駛、語音識別等多個領(lǐng)域的核心技術(shù)。而 深度學(xué)習(xí)實踐的四個關(guān)鍵要素：計算能力、算法、數(shù)據(jù)和應(yīng)用場景 ，就像四大護(hù)法神獸一樣保證了深度學(xué)習(xí)的應(yīng)用和實踐，缺一不可。
深度學(xué)習(xí)是以不少于兩個隱含層的神經(jīng)網(wǎng)絡(luò)對輸入進(jìn)行非線性變換或表示學(xué)習(xí)的技術(shù)，通過構(gòu)建深層神經(jīng)網(wǎng)絡(luò)，進(jìn)行各項分析活動。 深層神經(jīng)網(wǎng)絡(luò)由一個輸入層，數(shù)個隱層，以及一個輸出層構(gòu)成。每層有若干個神經(jīng)元，神經(jīng)元之間有連接權(quán)重。每個神經(jīng)元模擬生物的神經(jīng)細(xì)胞，而結(jié)點之間的連接模擬神經(jīng)細(xì)胞之間的連接?？偨Y(jié)起來是這個樣子的：
這種流向圖的一個特別屬性是深度(depth)：從一個輸入到一個輸出的最長路徑的長度。深度學(xué)習(xí)并非一個新的概念，但在2006年由Hinton等人引領(lǐng)了一波爆發(fā)。然而近年來雖然許多人都在談?wù)撋疃葘W(xué)習(xí)，但這項技術(shù)在實際應(yīng)用時到底有哪些坑?創(chuàng)辦一家成熟的依賴深度學(xué)習(xí)的公司需要哪些要素?以下是我們的看法。
| 計算能力
首先，深度神經(jīng)網(wǎng)絡(luò)復(fù)雜，訓(xùn)練數(shù)據(jù)多，計算量大。深度神經(jīng)網(wǎng)絡(luò)中神經(jīng)元多，神經(jīng)元間連接數(shù)量也相當(dāng)驚人。從數(shù)學(xué)的角度看，每個神經(jīng)元都要包含數(shù)學(xué)計算(如Sigmoid、ReLU或者Softmax函數(shù))，需要估計的參數(shù)量也極大。語音識別和圖像識別應(yīng)用中，神經(jīng)元達(dá)數(shù)萬個，參數(shù)數(shù)千萬，模型復(fù)雜導(dǎo)致計算量大。所以 計算能力是深度學(xué)習(xí)應(yīng)用的基礎(chǔ) 。
不僅如此，計算能力還是推動深度學(xué)習(xí)的利器， 計算能力越強(qiáng)，同樣時間內(nèi)積累的經(jīng)驗就越多、迭代速度也越快 ，百度首席科學(xué)家吳恩達(dá)博士認(rèn)為 深度學(xué)習(xí)的前沿正轉(zhuǎn)移到高性能計算(HPC) ，這也是他目前在百度的工作重心之一，吳博士認(rèn)為深度學(xué)習(xí)上的很多成功得益于主動地追求可用的計算能力，2011年Jeff Dean(谷歌第二代人工智能學(xué)習(xí)系統(tǒng)Tensorflow的設(shè)計者之一)創(chuàng)立并領(lǐng)導(dǎo)了谷歌深度學(xué)習(xí)小組，使用谷歌云擴(kuò)展深度學(xué)習(xí);這使得深度學(xué)習(xí)得以推向工業(yè)界。在2013年，科茨博士等人建立了第一個HPC式的深度學(xué)習(xí)系統(tǒng)，可擴(kuò)展性提升了1-2個數(shù)量級，使深度學(xué)習(xí)有了革命性的進(jìn)步—— 計算能力這種對于深度學(xué)習(xí)的支撐與推動作用是不可替代的 。
目前這方面技術(shù)處于領(lǐng)先地位的還是像百度、谷歌這樣的大型互聯(lián)網(wǎng)公司，當(dāng)然也有一些像 地平線機(jī)器人 這樣的初創(chuàng)公司在該領(lǐng)域頗有成就，由百度深度學(xué)習(xí)研究院負(fù)責(zé)人余凱博士創(chuàng)立的 地平線機(jī)器人 公司設(shè)計的深度神經(jīng)網(wǎng)絡(luò)芯片相比傳統(tǒng)的CPU芯片能夠支持深度神經(jīng)網(wǎng)絡(luò)中圖像、語音、文字、控制等方面的任務(wù)而不是去做所有事情，這樣比在CPU上用軟件要高效， 會提高2-3個數(shù)量級 。
| 算法
在計算能力變得日益廉價的今天，深度學(xué)習(xí)試圖建立大得多也復(fù)雜得多的神經(jīng)網(wǎng)絡(luò)，我們可以把算法理解為深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)或是計算思維，這種神經(jīng)網(wǎng)絡(luò)越復(fù)雜，捕捉到的信號就越精確，目前比較常見的算法包括 深度信念網(wǎng)絡(luò)(Deep Belief Networks)、卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeural Networks)、受限玻爾茲曼機(jī)(Restricted BoltzmannMachine)和堆棧式自動編碼器(Stacked Auto-encoders) ，以深度卷積神經(jīng)網(wǎng)絡(luò)為代表的監(jiān)督學(xué)習(xí)方法目前來說是最有效也是使用最多的。
但目前問題在于大家把專注度放在了數(shù)據(jù)與運算，因為 神經(jīng)網(wǎng)絡(luò)本身差異不會很大，并且神經(jīng)網(wǎng)絡(luò)的核心算法提升起來太困難 ，仍然面臨著像局部最優(yōu)問題、代價函數(shù)與整個神經(jīng)網(wǎng)絡(luò)系統(tǒng)的設(shè)計等問題，但這也給眾多創(chuàng)業(yè)公司以新的思路，何不反其道而行之，避開那載著千軍萬馬的“獨木橋”，如果能將算法優(yōu)化，前途也是不可限量的。