概率圖模型是圖論與概率方法的結(jié)合產(chǎn)物，2000年代中期它們都曾在機(jī)器學(xué)習(xí)研究人員中風(fēng)靡一時(shí)。當(dāng)年我在研究生院的時(shí)候(2005-2011)，變分法、Gibbs抽樣和置信傳播算法被深深植入在每位CMU研究生的大腦中，并為我們提供了思考機(jī)器學(xué)習(xí)問題的一個(gè)極好的心理框架。我所知道大部分關(guān)于圖模型的知識(shí)都是來自于Carlos Guestrin和Jonathan Huang。Carlos Guestrin現(xiàn)在是GraphLab公司(現(xiàn)改名為Dato)的CEO，這家公司生產(chǎn)大規(guī)模的產(chǎn)品用于圖像的機(jī)器學(xué)習(xí)。Jonathan Huang現(xiàn)在是Google的高級(jí)研究員。
下面的視頻盡管是GraphLab的概述，但它也完美地闡述了“圖形化思維”，以及現(xiàn)代數(shù)據(jù)科學(xué)家如何得心應(yīng)手地使用它。Carlos是一個(gè)優(yōu)秀的講師，他的演講不局限于公司的產(chǎn)品，更多的是提供下一代機(jī)器學(xué)習(xí)系統(tǒng)的思路。
概率圖模型的計(jì)算方法介紹(視頻和PPT下載)
Dato CEO，Carlos Guestrin教授
如果你覺得深度學(xué)習(xí)能夠解決所有機(jī)器學(xué)習(xí)問題，真得好好看看上面的視頻。如果你正在構(gòu)建一套推薦系統(tǒng)，一個(gè)健康數(shù)據(jù)分析平臺(tái)，設(shè)計(jì)一個(gè)新的交易算法，或者開發(fā)下一代搜索引擎，圖模型都是完美的起點(diǎn)。
延伸閱讀：
置信傳播算法維基百科
圖模型變分法導(dǎo)論
Michael Jordan的技術(shù)主頁(Michael Jordan系推理和圖模型的巨頭之一)
3. 深度學(xué)習(xí)和機(jī)器學(xué)習(xí)(數(shù)據(jù)驅(qū)動(dòng)機(jī))
機(jī)器學(xué)習(xí)是從樣本學(xué)習(xí)的過程，所以當(dāng)前最先進(jìn)的識(shí)別技術(shù)需要大量訓(xùn)練數(shù)據(jù)，還要用到深度神經(jīng)網(wǎng)絡(luò)和足夠耐心。深度學(xué)習(xí)強(qiáng)調(diào)了如今那些成功的機(jī)器學(xué)習(xí)算法中的網(wǎng)絡(luò)架構(gòu)。這些方法都是基于包含很多隱藏層的“深”多層神經(jīng)網(wǎng)絡(luò)。注：我想強(qiáng)調(diào)的是深層結(jié)構(gòu)如今(2015年)不再是什么新鮮事。只需看看下面這篇1998年的“深層”結(jié)構(gòu)文章。
LeNet-5，Yann LeCun開創(chuàng)性的論文《基于梯度學(xué)習(xí)的文檔識(shí)別方法》
你在閱讀LeNet模型導(dǎo)讀時(shí)，能看到以下條款聲明：
要在GPU上運(yùn)行這個(gè)示例，首先得有個(gè)性能良好的GPU。GPU內(nèi)存至少要1GB。如果顯示器連著GPU，可能需要更多內(nèi)存。
當(dāng)GPU和顯示器相連時(shí)，每次GPU函數(shù)調(diào)用都有幾秒鐘的時(shí)限。這么做是必不可少的，因?yàn)槟壳暗腉PU在進(jìn)行運(yùn)算時(shí)無法繼續(xù)為顯示器服務(wù)。如果沒有這個(gè)限制，顯示器將會(huì)凍結(jié)太久，計(jì)算機(jī)看上去像是死機(jī)了。若用中等質(zhì)量的GPU處理這個(gè)示例，就會(huì)遇到超過時(shí)限的問題。GPU不連接顯示器時(shí)就不存在這個(gè)時(shí)間限制。你可以降低批處理大小來解決超時(shí)問題。
我真的十分好奇Yann究竟是如何早在1998年就把他的深度模型折騰出一些東西。毫不奇怪，我們大伙兒還得再花十年來消化這些內(nèi)容。
更新：Yann說(通過Facebook的評(píng)論)ConvNet工作可以追溯到1989年。“它有大約400K連接，并且在一臺(tái)SUN4機(jī)器上花了大約3個(gè)星期訓(xùn)練USPS數(shù)據(jù)集(8000個(gè)訓(xùn)練樣本)。”——LeCun
注：大概同一時(shí)期(1998年左右)加州有兩個(gè)瘋狂的家伙在車庫里試圖把整個(gè)互聯(lián)網(wǎng)緩存到他們的電腦(他們創(chuàng)辦了一家G打頭的公司)。我不知道他們是如何做到的，但我想有時(shí)候需要超前做些并不大規(guī)模的事情才能取得大成就。世界最終將迎頭趕上的。
延伸閱讀：
Y.LeCun, L.Bottou, Y.Bengio, and P.Haffner.Gradient-based learning applied to document recognition.Proceedings of the IEEE, November 1998.
Y.LeCun, B.Boser, J.S.Denker, D.Henderson, R.E.Howard, W.Hubbard and L.D.Jackel: Backpropagation Applied to Handwritten Zip Code Recognition, Neural Computation, 1(4):541-551, Winter 1989
Deep Learning code: Modern LeNet implementation in Theano and docs.
結(jié)論
我沒有看到傳統(tǒng)的一階邏輯很快卷土重來。雖然在深度學(xué)習(xí)背后有很多炒作，分布式系統(tǒng)和“圖形思維”對數(shù)據(jù)科學(xué)的影響更可能比重度優(yōu)化的CNN來的更深遠(yuǎn)。深度學(xué)習(xí)沒有理由不和GraphLab-style架構(gòu)結(jié)合，未來幾十年機(jī)器學(xué)習(xí)領(lǐng)域的重大突破也很有可能來自這兩部分的結(jié)合。