田淵棟:這個(gè)項(xiàng)目是去年5月開(kāi)始的,當(dāng)時(shí)我剛加入Facebook
AI,開(kāi)了七八個(gè)研究項(xiàng)目,這是其中不很起眼的一個(gè)。一開(kāi)始我也不是很看好,只是為了實(shí)驗(yàn)一個(gè)想法而收集了下數(shù)據(jù)。后來(lái)這個(gè)想法沒(méi)做出來(lái),但是既然有數(shù)據(jù)有平臺(tái)了,還不如繼續(xù)做下去。當(dāng)時(shí)第二作者朱巖在我們組實(shí)習(xí),他手上的另一個(gè)項(xiàng)目剛結(jié)束,我就問(wèn)他是不是有興趣,他覺(jué)得挺有意思的就開(kāi)始合作了。
到去年8月份左右,我們走子網(wǎng)絡(luò)的性能已經(jīng)超過(guò)了谷歌DeepMind在2014年底發(fā)表的文章的水平。于是我就把代碼重新寫(xiě)了一遍(之前是用各種開(kāi)源程序拼湊起來(lái)的),開(kāi)始搭建我們自己的系統(tǒng),同時(shí)把現(xiàn)有的走子網(wǎng)絡(luò)放在KGS(世界上最大的圍棋服務(wù)器之一,一般任何時(shí)刻同時(shí)有超過(guò)一千五百人在線)上開(kāi)始和別人對(duì)戰(zhàn),DarkForest這個(gè)名字就是那時(shí)候起的。
去年9月份,我嘗試了預(yù)測(cè)下3步而非下1步的方案,看到性能一直在提高,這時(shí)我覺(jué)得深度神經(jīng)網(wǎng)絡(luò)加上蒙特卡羅樹(shù)搜索,可能會(huì)得到很不錯(cuò)的圍棋程序。到10月份基本上蒙特卡羅樹(shù)搜索的框架有了,但是還有很多bug,因?yàn)榱硪粋€(gè)項(xiàng)目(基于圖片的問(wèn)答系統(tǒng))的時(shí)間吃緊,花在圍棋上的時(shí)間不多。到11月份問(wèn)答系統(tǒng)差不多了,我再回過(guò)頭來(lái)做圍棋,我們當(dāng)時(shí)的計(jì)劃是再慢慢做做準(zhǔn)備投稿2016年2月份的ICML(國(guó)際機(jī)器學(xué)習(xí)大會(huì)),后來(lái)討論了一下,決定還是試一試15年11月中旬的ICLR(國(guó)際機(jī)器人頂級(jí)會(huì)議)。這時(shí)候離ICLR的截稿日期還有三周。這三周加班加點(diǎn),如期得到了一個(gè)還不錯(cuò)的系統(tǒng),投了ICLR,文章放在arXiv(由美國(guó)國(guó)家科學(xué)基金會(huì)和美國(guó)能源部資助,在美國(guó)洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室建立的電子預(yù)印本文獻(xiàn)庫(kù),始建于1991年8月)上公開(kāi)了。
大家也知道了Facebook在做圍棋。國(guó)外的ComputerGo(計(jì)算機(jī)圍棋對(duì)戰(zhàn))論壇一開(kāi)始不相信我們的程序不經(jīng)盤(pán)面搜索到3段,后來(lái)因?yàn)槲覀冊(cè)诰W(wǎng)上放久了,打定段戰(zhàn)確實(shí)能到3段,才漸漸服眾,各種媒體報(bào)道也紛至沓來(lái)?,F(xiàn)在看起來(lái),我們做的工作吹響了這一波圍棋AI突破的號(hào)角。
之后就是繼續(xù)改進(jìn)蒙特卡羅樹(shù)搜索,另外,組里一位工程師Tudor Bosman花了一周把我們的程序改成了分布式,到12月底,我們?cè)贙GS上到了5段的水平,很多人找我們下棋,包括最強(qiáng)大腦鮑云和一位韓國(guó)的職業(yè)選手,我們也在繼續(xù)改進(jìn)。當(dāng)時(shí)已經(jīng)有傳言說(shuō)谷歌戰(zhàn)勝了職業(yè)選手,不過(guò)我們還是盡力而為。一月份KGS的比賽我們因?yàn)橛袀€(gè)bug超時(shí)拿了第三名,不然是可以勝Zen拿第一的。最后一月底谷歌的文章出來(lái),以20人一年半的團(tuán)隊(duì)和完美的公關(guān),讓全世界開(kāi)始關(guān)注圍棋,也確證了之前的傳言。而我們投稿ICLR的文章也中稿了。總的來(lái)說(shuō),這個(gè)項(xiàng)目還是比較成功的。這次我們能兩個(gè)人花半年時(shí)間,虎口拔牙抓到一些進(jìn)展,已是十分不易,任何一個(gè)地方動(dòng)作慢點(diǎn),都不會(huì)有現(xiàn)在的成果。被小扎點(diǎn)名我是始料未及,我感到非常榮幸。
澎湃新聞:對(duì)于外界來(lái)說(shuō),關(guān)于Facebook的人工智能實(shí)驗(yàn)室,一直有非常多的期待,除了darkforest項(xiàng)目,圖像識(shí)別項(xiàng)目也活躍在各個(gè)報(bào)紙的版面上,除此之外,F(xiàn)acebook人工智能實(shí)驗(yàn)室的研究方向還有哪些?
田淵棟:Facebook AI Research (簡(jiǎn)稱(chēng)FAIR) 目前在加州門(mén)洛帕克、紐約曼哈頓和法國(guó)巴黎有三個(gè)分部,巴黎分部剛剛公開(kāi)??偟膩?lái)說(shuō),學(xué)術(shù)氛圍是非常濃厚,大家坐在Facebook新建的20樓中央做深度學(xué)習(xí)的研究,目標(biāo)是發(fā)高質(zhì)量的文章,做有影響力的前沿工作。研究方向相對(duì)自由寬松,研究所需的計(jì)算資源(如GPU)相對(duì)豐富,同時(shí)也沒(méi)有近期的產(chǎn)品壓力,可以著眼長(zhǎng)遠(yuǎn)做困難和本質(zhì)的研究問(wèn)題。這樣的學(xué)術(shù)氛圍除了MSR之外,在各大公司是極其少見(jiàn)的。
扎克伯格之前提過(guò)Facebook將來(lái)的三大主要方向,其中之一就是人工智能,目前看來(lái)公司也確實(shí)非常看重我們這個(gè)組。我后面就是COO,斜后方是CEO,一開(kāi)始有點(diǎn)小慌,不過(guò)時(shí)間長(zhǎng)了也就習(xí)慣了。
FAIR正式成立是在前年12月至去年一月,然后陸續(xù)招人,時(shí)間還不長(zhǎng),重要的公開(kāi)工作有DeepFace,運(yùn)用深度學(xué)習(xí)將人臉識(shí)別(更準(zhǔn)確說(shuō)是人臉判定)提高到人類(lèi)級(jí)別。記憶網(wǎng)絡(luò),在深度學(xué)習(xí)中加入長(zhǎng)期記憶(Long-term memory)以構(gòu)建自然語(yǔ)言問(wèn)答系統(tǒng),開(kāi)源深度學(xué)習(xí)框架Torch的更新和推廣,運(yùn)用快速傅利葉變換加速卷積運(yùn)算的CuFFT等等。目前還有許多非常有影響力的工作正在進(jìn)行中,敬請(qǐng)期待。