深度學(xué)習(xí)其實(shí)它不是一個(gè)新事情，在30年前80年代末的時(shí)候，深度學(xué)習(xí)就已經(jīng)是得到了廣泛關(guān)注，而到了大數(shù)據(jù)時(shí)代的今天，它獲得了更多的成功和影響力。為什么呢？
第一方面，深度學(xué)習(xí)模擬了大腦的行為。一開(kāi)始做深度學(xué)習(xí)這幫人，他們的想法受到卷積神經(jīng)系統(tǒng)網(wǎng)絡(luò)的影響，在80年代受到了神經(jīng)科學(xué)家對(duì)于視覺(jué)神經(jīng)系統(tǒng)理解的影響；
第二，從統(tǒng)計(jì)和計(jì)算的角度來(lái)看，深度學(xué)習(xí)特別適合大數(shù)據(jù)；
第三，深度學(xué)習(xí)是End-to-end學(xué)習(xí)；
第四，深度學(xué)習(xí)提供一套建模語(yǔ)言。
大數(shù)據(jù)時(shí)代傳統(tǒng)深度學(xué)習(xí)的誤區(qū)
我具體給大家講講第二點(diǎn)，深度學(xué)習(xí)特別適合大數(shù)據(jù)下。在統(tǒng)計(jì)上面分析機(jī)器學(xué)習(xí)系統(tǒng)效果時(shí)，一個(gè)最根本的角度叫推廣誤差，推廣誤差可以幫助我們找到誤差來(lái)源，從而設(shè)計(jì)出更好的算法。一個(gè)經(jīng)典的分解方法，把推廣誤差分解成兩部分：
Approximation error：數(shù)學(xué)模型不完美導(dǎo)致的誤差；
Estimation error：數(shù)據(jù)不完美，比如數(shù)據(jù)有限或數(shù)據(jù)有偏，導(dǎo)致的誤差；
Optimization error：算法不完美導(dǎo)致的誤差。
隨著數(shù)據(jù)規(guī)模的擴(kuò)大，從推廣誤差的角度來(lái)說(shuō)，傳統(tǒng)的深度學(xué)習(xí)研究中存在著一些誤區(qū)：
從Approximation error的角度來(lái)說(shuō)，過(guò)去我們認(rèn)為簡(jiǎn)單的模型就是好的，但實(shí)際上簡(jiǎn)單的模型是不夠好的，隨著機(jī)器的增多，參數(shù)越來(lái)越多，模型越來(lái)越復(fù)雜，是大趨勢(shì)，過(guò)去認(rèn)為簡(jiǎn)單的模型是好的這是錯(cuò)誤的觀念；
從Estimation error的角度來(lái)說(shuō)，為了保證數(shù)據(jù)的精確，應(yīng)該收集充分的數(shù)據(jù)；
從Optimization error的角度來(lái)說(shuō)，通常是學(xué)術(shù)界的觀點(diǎn)是，開(kāi)發(fā)研究非常精致的優(yōu)化算法，但是這些算法存在一個(gè)大問(wèn)題：不能覆蓋大數(shù)據(jù)。比如，SVM的復(fù)雜度是在數(shù)據(jù)二次方到三次方之間的復(fù)雜度，今天處理一萬(wàn)個(gè)訓(xùn)練樣本沒(méi)問(wèn)題，但是如果變成十萬(wàn)個(gè)訓(xùn)練樣本，你需要一百倍到一千倍的計(jì)算資源，這是災(zāi)難性的問(wèn)題，所以在大數(shù)據(jù)的時(shí)代，工業(yè)界反而要倡導(dǎo)的是desgin “an OK algorithm”。
深入百度大腦
我給大家舉一些百度大腦的例子：
A deep model for image recognition
DLmodelfor query-docrelevance
Long-short term memory for time series
網(wǎng)上搶票驗(yàn)證碼識(shí)別
運(yùn)單手寫(xiě)電話號(hào)碼識(shí)別
述說(shuō)圖片的故事，字幕用深度學(xué)習(xí)程序?qū)懗?/p>
同時(shí)理解圖像和自然語(yǔ)言
深度學(xué)習(xí)已經(jīng)取得了關(guān)鍵性進(jìn)展，首先在廣告系統(tǒng)，這可能是世界上首次把深度學(xué)習(xí)成功應(yīng)用于廣告變現(xiàn)，并帶來(lái)收入提升，在用了深度學(xué)習(xí)之后，我們跟競(jìng)爭(zhēng)對(duì)手的差距是拉開(kāi)了兩倍還多。
在物體檢測(cè)模型上我們?nèi)〉昧耸澜缟献詈玫某煽?jī)，百度第一，谷歌第二。
未來(lái)的展望
人類(lèi)大腦的平均重量是1.5公斤，占2%的身體體重，消耗20%的能量。最近的一個(gè)報(bào)道顯示，谷歌的服務(wù)器消耗美國(guó)用電量的百分之幾，美國(guó)的所有互聯(lián)網(wǎng)公司占美國(guó)耗電量的9%。在中國(guó)，三大互聯(lián)網(wǎng)公司也占中國(guó)耗電量百分之幾，智能計(jì)算是非常耗能量的。而人類(lèi)大腦有一千億個(gè)神經(jīng)原有5000個(gè)的連接，每個(gè)連接觸發(fā)每秒鐘兩次，做一個(gè)簡(jiǎn)單計(jì)算，人類(lèi)大腦計(jì)算能力是10的17次方。在過(guò)去人工智能發(fā)展過(guò)程中，計(jì)算能力是非常強(qiáng)大的東西，我們今天的計(jì)算能力跟20年、30年前更是不可同日而語(yǔ)的，能構(gòu)造更好的計(jì)算方法。
未來(lái)計(jì)算決定著智能水平的發(fā)展，人工智能這個(gè)奇點(diǎn)臨近連接了，謝謝大家！