事實上,確有專家已經(jīng)感受到來自深度學習的壓力,指出統(tǒng)計學習正在被深度學習所打壓,真如我們早就看到的符號學習被統(tǒng)計學習所打壓。不過我覺得這種打壓還遠沒有強大到像統(tǒng)計學習打壓符號學習的程度。這一是因為深度學習的“理論創(chuàng)新”還不明顯;二是因為目前的深度學習主要適合于神經(jīng)網(wǎng)絡,在各種機器學習的方法百花盛開的今天,它的應用范圍還有限,還不能直接說是連接主義方法的回歸;三是因為統(tǒng)計學習仍然在機器學習中被有效的普遍采用,“得到多助”,想拋棄它不容易。
◆ ◆ ◆
四問:只有統(tǒng)計方法適合于在機器學習方面應用嗎?
問題四:機器學習研究出現(xiàn)以來,我們看到的主要是從符號方法到統(tǒng)計方法的演變,用到數(shù)學主要是概率統(tǒng)計。但是,數(shù)學之大,就像大海,難道只有統(tǒng)計方法適合于在機器學習方面應用嗎?
當然,我們也看到看了一些其他數(shù)學分支在機器學習上的應用的好例子,例如微分幾何在流形學習上的應用,微分方程在歸納學習上的應用。但如果和統(tǒng)計方法相比,它們都只能算是配角。還有的數(shù)學分支如代數(shù)可能應用得更廣,但是在機器學習中代數(shù)一般是作為基礎工具來使用,例如矩陣理論和特征值理論。又如微分方程求解最終往往歸結(jié)為代數(shù)問題求解。它們可以算是幕后英雄:“出頭露面的是概率和統(tǒng)計,埋頭苦干的是代數(shù)和邏輯”。
是否可以想想以數(shù)學方法為主角,以統(tǒng)計方法為配角的機器學習理論呢?在這方面,流形學習已經(jīng)“有點意思”了,而彭實戈院士的倒排隨機微分方程理論之預測金融走勢,也許是用高深數(shù)學推動新的機器學習模式的更好例子。但是從宏觀角度看,數(shù)學理論的介入程度還遠遠不夠。這里指的主要是深刻的、現(xiàn)代的數(shù)學理論,我們期待著有更多數(shù)學家參與,開辟機器學習的新模式、新理論、新方向。
◆ ◆ ◆
五問:符號機器學習時代和統(tǒng)計機器學習時代的鴻溝在哪里?
問題五:上一個問題的延續(xù),符號機器學習時代主要以離散方法處理問題,統(tǒng)計學習時代主要以連續(xù)方法處理問題。這兩種方法之間應該沒有一條鴻溝。
流形學習中李群、李代數(shù)方法的引入給我們以很好的啟示。從微分流形到李群,再從李群到李代數(shù),就是一個溝通連續(xù)和離散的過程。然后,現(xiàn)有的方法在數(shù)學上并不完美。瀏覽流形學習的文獻可知,許多理論直接把任意數(shù)據(jù)集看成微分流形,從而就認定測地線的存在并討論起降維來了。這樣的例子也許不是個別的,足可說明數(shù)學家介入機器學習研究之必要。
◆ ◆ ◆
六問:大數(shù)據(jù)給機器學習帶來了本質(zhì)影響嗎?
問題六:大數(shù)據(jù)時代的出現(xiàn),有沒有給機器學習帶來本質(zhì)性的影響?
理論上講,似乎“大數(shù)據(jù)”給統(tǒng)計機器學習提供了更多的機遇,因為海量的數(shù)據(jù)更加需要統(tǒng)計、抽樣的方法。業(yè)界人士估計,大數(shù)據(jù)的出現(xiàn)將使人工智能的作用更加突出。有人把大數(shù)據(jù)處理分成三個階段:收集、分析和預測。收集和分析的工作相對來說已經(jīng)做得相當好了,現(xiàn)在關(guān)注的焦點是要有科學的預測,機器學習技術(shù)在這里不可或缺。這一點大概毋庸置疑。然而,同樣是使用統(tǒng)計、抽樣方法,同樣是收集、分析和預測,大數(shù)據(jù)時代使用這類方法和以前使用這類方法有什么本質(zhì)的不同嗎?量變到質(zhì)變是辯證法的一個普遍規(guī)律。
那么,從前大數(shù)據(jù)時代到大數(shù)據(jù)時代,數(shù)理統(tǒng)計方法有沒有發(fā)生本質(zhì)的變化?反映到它們在機器學習上的應用有無本質(zhì)變化?大數(shù)據(jù)時代正在呼喚什么樣的機器學習方法的產(chǎn)生?哪些機器學習方法又是由于大數(shù)據(jù)研究的驅(qū)動而產(chǎn)生的呢?
作者丨陸汝鈴,中國科學院數(shù)學與系統(tǒng)科學研究院數(shù)學研究所研究員、復旦大學教授。在知識工程和基于知識的軟件工程方面作了系統(tǒng)的、創(chuàng)造性的工作,是中國該領(lǐng)域研究的開拓者之一。1999年當選為中國科學院院士。