山世光：其實之前俞凱老師講到自動駕駛的時候，就有一個collide case，比如說車禍，它其實不是經(jīng)常發(fā)生的，很難采集這樣的數(shù)據(jù)，但是這個我們也有討論，是不是可以合成這樣的數(shù)據(jù)。但是如果能合成出來大量的這類數(shù)據(jù)，而且是很接近真實的，那也許就不需要深度學(xué)習(xí)了，因為你本來就知道這個事情怎么產(chǎn)生的。
顏水成：其實說到長尾問題，讓我想起去年在上海紐約大學(xué)，Zhang Zheng老師組織了一個關(guān)于neural science vs. computer science的討論。人是怎么解決長尾的問題呢？當(dāng)時我們就覺得人腦里面有可能有兩個模型，一個叫參數(shù)模型，一個叫非參模型。其實長尾這個東西，可能就是由幾個instance存在那里。參數(shù)模型或者深度學(xué)習(xí)的模型有兩個能力，一個是能分類，能做prediction，同時還有一個能力，就是能判斷對這個樣本（能）不能prediction，（如果不能，）那么就把這個樣本拉出來，用非參方法一一比較一下。
人是怎么處理長尾問題的呢？我們當(dāng)時有一個假設(shè)，其實也沒有很多道理，就是聽起來比較reasonable。你的學(xué)習(xí)過程中非參樣本是逐漸增多的，比較多的時候就形成一個概念，參數(shù)模型就會增加一個節(jié)點。但是當(dāng)你長久不看，就遺忘了，有些概念就消失了，有些樣本就會退回到參數(shù)模型里面，這可能能夠解釋，為什么有些時候你會覺得有個東西可能認(rèn)識，但是死活都想不起來，這個時候就意味著參數(shù)模型不能識別樣本是么東西，但是可能在非參模型里有。在非參模型存的數(shù)據(jù)可能非常非常多，這樣的話就不停地去搜，不斷地想，想著想著就想出來了，有可能在非參數(shù)模型就把它匹配上了。
李航：其實我不太同意這個觀點。人是肯定是有這部分的能力，這是模式識別的思維方式。比如你第一次聽“他在微信里潛水”這句話，你可能要琢磨一下這是什么意思，你第一次聽，你可能會想潛水有什么特性，做一些聯(lián)想，然后大概猜出這個是什么意思，這是個長尾的事情，語言理解原理有部分是聯(lián)想，也有一些推理，當(dāng)然你得到的結(jié)論也不一定對，有可能誤解了。對這塊認(rèn)知科學(xué)也沒有說清楚，人的推理，或者自然的聯(lián)想，或者比喻的能力（理解比喻和造比喻的能力），到底有什么不同？我個人理解，有一部分能力已經(jīng)超脫了模式識別的能力。讓現(xiàn)在的計算機(jī)架構(gòu)做這樣的事情的話，相當(dāng)于需要做窮舉的全集的近似度計算，當(dāng)然也不完全是這么回事兒，但是人為什么能夠很快地做這樣的相似度計算，判斷說這個事情是這么個事。
俞凱：我覺得剛剛顏水成老師說的這個角度我是比較同意的，他說的兩種不同的方式去做，一個方式是計算的方式，另外一個方式是存儲和尋址的方式。這兩個方式的結(jié)合實際上是人腦的一個點，計算的方式需要存的東西比較少，但是需要在線去推理，尋址的話就相當(dāng)于比較簡單的映射。
山世光：我覺得李航老師說這個，它不僅僅是一個簡單的存儲，而是可以去聯(lián)想，可以舉一反三的。
俞凱：長尾的數(shù)據(jù)問題，其實還有另外的一件事情，目前學(xué)術(shù)界不是特別重視，但是工業(yè)界其實特別重視，未來很可能會推動大數(shù)據(jù)和深度學(xué)習(xí)的結(jié)合。由于傳統(tǒng)問題很多被解決了，所以它會推動新問題的產(chǎn)生，這個新問題是什么呢？我舉例子，就是剛才提到的performnce問題，這個指標(biāo)，不是真實的產(chǎn)業(yè)界定的，是學(xué)術(shù)界在最開始定義這個問題的時候提出的，比如說我舉這個例子——詞錯率（word error rate），但是這個指標(biāo)現(xiàn)在看起來好像已經(jīng)快達(dá)到飽和了，人們就會說，實際上99%和97%的識別率有差別嗎？那么什么東西有差別呢？我們就要想，語義理解可能有差別，那么你怎么定義有效的語義理解？你定義出來以后，你的輸入就不是文字的語義理解了，你現(xiàn)在說的是語音，現(xiàn)在識別的有錯誤，在這個錯誤的情況下，導(dǎo)致的理解是什么樣，你就把它連成一個新問題，這個問題可能就會變成對于語音終極的理解的誤差有多少，但是這個誤差怎么定義現(xiàn)在沒有一個共識。我覺得這會產(chǎn)生一系列新的問題，而這些問題會推動深度學(xué)習(xí)新的模式和新型態(tài)的大數(shù)據(jù)結(jié)構(gòu)的發(fā)展。
怎樣用一個具體的指標(biāo)評價AI的整體進(jìn)步？
山世光：我覺得這個非常好，我在計算所經(jīng)常跟一些做系統(tǒng)的人打交道，他們就特別不理解我們這個領(lǐng)域，他們認(rèn)為，“你們老是說今天有進(jìn)步，明天有進(jìn)步，到底這個AI領(lǐng)域的進(jìn)步是怎么評價的？”他們的評價標(biāo)準(zhǔn)很清楚，有個benchmark，新機(jī)器造出來，把這個benchmark一跑，我現(xiàn)在是多少，原來是多少，很清楚，但是整個AI界他們找不到能夠理解的，你去年是這個指標(biāo)，明年是這么一個指標(biāo)，怎么評價AI整個的發(fā)展？最后大家沒辦法，寄希望于圖靈測試，但是圖靈測試不能很好的度量進(jìn)步。這樣一個指標(biāo)是不是我們這個領(lǐng)域值得思考的問題？