在人工智能界有一種說(shuō)法，認(rèn)為機(jī)器學(xué)習(xí)是人工智能領(lǐng)域中最能體現(xiàn)智能的一個(gè)分支。從歷史來(lái)看，機(jī)器學(xué)習(xí)似乎也是人工智能中發(fā)展最快的分支之一。
在二十世紀(jì)八十年代的時(shí)候，符號(hào)學(xué)習(xí)可能還是機(jī)器學(xué)習(xí)的主流，而自從二十世紀(jì)九十年代以來(lái)，就一直是統(tǒng)計(jì)機(jī)器學(xué)習(xí)的天下了。不知道是否可以這樣認(rèn)為：從主流為符號(hào)機(jī)器學(xué)習(xí)發(fā)展到主流為統(tǒng)計(jì)機(jī)器學(xué)習(xí)，反映了機(jī)器學(xué)習(xí)從純粹的理論研究和模型研究發(fā)展到以解決現(xiàn)實(shí)生活中實(shí)際問(wèn)題為目的的應(yīng)用研究，這是科學(xué)研究的一種進(jìn)步。
平時(shí)由于機(jī)器學(xué)習(xí)界的朋友接觸多了，經(jīng)常獲得一些道聽(tīng)途說(shuō)的信息以及專家們對(duì)機(jī)器學(xué)習(xí)的現(xiàn)狀及其發(fā)展前途的評(píng)論。在此過(guò)程中，難免會(huì)產(chǎn)生一些自己的疑問(wèn)。借此機(jī)會(huì)把它寫(xiě)下來(lái)放在這里，算是一種“外行求教機(jī)器學(xué)習(xí)”。
◆ ◆ ◆
一問(wèn)：符號(hào)學(xué)習(xí)該何去何從
問(wèn)題一：在人工智能發(fā)展早期，機(jī)器學(xué)習(xí)的技術(shù)內(nèi)涵幾乎全部是符號(hào)學(xué)習(xí)?？墒菑亩兰o(jì)九十年代開(kāi)始，統(tǒng)計(jì)機(jī)器學(xué)習(xí)猶如一匹黑馬橫空出世，迅速壓倒并取代了符號(hào)學(xué)習(xí)的地位。人們可能會(huì)問(wèn)：在滿目的統(tǒng)計(jì)學(xué)習(xí)期刊和會(huì)議文章面前，符號(hào)學(xué)習(xí)是否被徹底忽略？它還能成為機(jī)器學(xué)習(xí)的研究對(duì)象嗎？它是否將繼續(xù)在統(tǒng)計(jì)學(xué)習(xí)的陰影里生活并茍延殘喘？
對(duì)這個(gè)問(wèn)題有三種可能的回答：一是告訴符號(hào)學(xué)習(xí)：“你就是該退出歷史舞臺(tái)，認(rèn)命吧！”二是告訴統(tǒng)計(jì)學(xué)習(xí)：“你的一言堂應(yīng)該關(guān)門(mén)了！”單純的統(tǒng)計(jì)學(xué)習(xí)已經(jīng)走到了盡頭，再想往前走就要把統(tǒng)計(jì)學(xué)習(xí)和符號(hào)學(xué)習(xí)結(jié)合起來(lái)。三是事物發(fā)展總會(huì)有“三十年河?xùn)|，三十年河西”的現(xiàn)象，符號(hào)學(xué)習(xí)還有“翻身”的日子。
第一種觀念我沒(méi)有聽(tīng)人明說(shuō)過(guò)，但是我想恐怕有可能已經(jīng)被許多人默認(rèn)了。第二種觀點(diǎn)我曾聽(tīng)王玨教授多次說(shuō)過(guò)。他并不認(rèn)為統(tǒng)計(jì)學(xué)習(xí)會(huì)衰退，而只是認(rèn)為機(jī)器學(xué)習(xí)已經(jīng)到了一個(gè)轉(zhuǎn)折點(diǎn)，從今往后，統(tǒng)計(jì)學(xué)習(xí)應(yīng)該和知識(shí)的利用相結(jié)合，這是一種“螺旋式上升，進(jìn)入更高級(jí)的形式”，否則，統(tǒng)計(jì)學(xué)習(xí)可能會(huì)停留于現(xiàn)狀止步不前。王玨教授還認(rèn)為：進(jìn)入轉(zhuǎn)折點(diǎn)的表示是Koller等的《概率圖模型》一書(shū)的出版。至于第三種觀點(diǎn)，恰好我收到老朋友，美國(guó)人工智能資深學(xué)者、俄亥俄大學(xué)Chandrasekaran教授的來(lái)信，他正好談起符號(hào)智能被統(tǒng)計(jì)智能“打壓”的現(xiàn)象，并且正好表達(dá)了河?xùn)|河西的觀點(diǎn)。全文如下：“最近幾年，人工智能在很大程度上集中于統(tǒng)計(jì)學(xué)和大數(shù)據(jù)。我同意由于計(jì)算能力的大幅提高，這些技術(shù)曾經(jīng)取得過(guò)某些令人印象深刻的成果。但是我們完全有理由相信，雖然這些技術(shù)還會(huì)繼續(xù)改進(jìn)、提高，總有一天這個(gè)領(lǐng)域（指AI）會(huì)對(duì)它們說(shuō)再見(jiàn)，并轉(zhuǎn)向更加基本的認(rèn)知科學(xué)研究。盡管鐘擺的擺回還需要一段時(shí)間，我相信定有必要把統(tǒng)計(jì)技術(shù)和對(duì)認(rèn)知結(jié)構(gòu)的深刻理解結(jié)合起來(lái)。”
看來(lái)Chandrasekaran教授也并不認(rèn)為若干年后AI真會(huì)回到河西，他的意見(jiàn)和王玨教授的意見(jiàn)基本一致，但不僅限于機(jī)器學(xué)習(xí)，而是涉及整個(gè)人工智能領(lǐng)域。只是王玨教授強(qiáng)調(diào)知識(shí)，而Chandrasekaran教授強(qiáng)調(diào)更加基本的“認(rèn)知”。
◆ ◆ ◆
二問(wèn)：“獨(dú)立同分布”條件對(duì)于機(jī)器學(xué)習(xí)來(lái)講必需嗎
問(wèn)題二：王玨教授認(rèn)為統(tǒng)計(jì)學(xué)習(xí)不會(huì)“一帆風(fēng)順”的判斷依據(jù)是：統(tǒng)計(jì)機(jī)器學(xué)習(xí)算法都是基于樣本數(shù)據(jù)獨(dú)立同分布的假設(shè)。但是自然界現(xiàn)象千變?nèi)f化，王玨教授認(rèn)為“哪有那么多獨(dú)立同分布？”這就引來(lái)了下一個(gè)問(wèn)題：“獨(dú)立同分布”條件對(duì)于機(jī)器學(xué)習(xí)來(lái)講真的是必需的嗎？獨(dú)立同分布的不存在一定是一個(gè)不可逾越的障礙嗎？
無(wú)獨(dú)立同分布條件下的機(jī)器學(xué)習(xí)也許只是一個(gè)難題，而不是不可解決的問(wèn)題。我有一個(gè)“胡思亂想”。認(rèn)為前些時(shí)候出現(xiàn)的“遷移學(xué)習(xí)”也許會(huì)對(duì)這個(gè)問(wèn)題的解決帶來(lái)一線曙光。盡管現(xiàn)在的遷移學(xué)習(xí)還要求遷移雙方具備“獨(dú)立同分布”條件，但是不能分布之間的遷移學(xué)習(xí)，同分布和異分布之前的遷移學(xué)習(xí)也許遲早會(huì)出現(xiàn)？
◆ ◆ ◆
三問(wèn)：深度學(xué)習(xí)代表了機(jī)器學(xué)習(xí)的新方向嗎？
問(wèn)題三：近年來(lái)出現(xiàn)了一些新的動(dòng)向，例如“深度學(xué)習(xí)”、“無(wú)終止學(xué)習(xí)”等等，社會(huì)上給予了特別關(guān)注，尤其是深度學(xué)習(xí)。但它們真的代表了機(jī)器學(xué)習(xí)的新的方向嗎？包括周志華教授在內(nèi)的一些學(xué)者認(rèn)為：深度學(xué)習(xí)掀起的熱潮也許大過(guò)它本身真正的貢獻(xiàn)，在理論和技術(shù)上并沒(méi)有太多的創(chuàng)新，只不過(guò)是由于硬件技術(shù)的革命，計(jì)算機(jī)速度大大提高了，使得人們有可能采用原來(lái)復(fù)雜度很高的算法，從而得到比過(guò)去更精細(xì)的結(jié)果。當(dāng)然這對(duì)于推動(dòng)機(jī)器學(xué)習(xí)應(yīng)用于實(shí)踐有很大意義。但我們不禁要斗膽問(wèn)一句：深度學(xué)習(xí)是否又要取代統(tǒng)計(jì)學(xué)習(xí)了？