研究人員最近對(duì)一個(gè)名叫ConceptNet的人工智能系統(tǒng)進(jìn)行了測(cè)評(píng)。在一項(xiàng)為檢測(cè)兒童智商而設(shè)計(jì)的測(cè)中，ConceptNet的得分超過(guò)了一名智商正常的四歲兒童。 該測(cè)試共包含五項(xiàng)與詞語(yǔ)推理和詞匯有關(guān)的測(cè)驗(yàn)，ConceptNet的總得分為69分，與之進(jìn)行對(duì)比的學(xué)齡前兒童得分則為50分。并且專家認(rèn)為，該系統(tǒng)的智能程度還會(huì)進(jìn)一步加強(qiáng)。
在測(cè)試過(guò)程中，試題會(huì)通過(guò)語(yǔ)言處理工具轉(zhuǎn)換成ConceptNet 4能夠理解的語(yǔ)言，如 我們?yōu)槭裁匆帐郑?、 我們?yōu)槭裁匆谙奶齑魈?yáng)鏡？ 和 為什么將刀子放入嘴中是不好的行為？ 等等。
如果你本來(lái)就擔(dān)心自己的工作有一天會(huì)被機(jī)器人取而代之，那么下面這則來(lái)自麻省理工學(xué)院的最新消息可能會(huì)讓你更加惶恐。
研究人員最近對(duì)一個(gè)名叫ConceptNet的人工智能系統(tǒng)進(jìn)行了測(cè)評(píng)。在一項(xiàng)為檢測(cè)兒童智商而設(shè)計(jì)的測(cè)試中，ConceptNet的得分超過(guò)了一名智商正常的四歲兒童。
該測(cè)試共包含五項(xiàng)與詞語(yǔ)推理和詞匯有關(guān)的測(cè)驗(yàn)，ConceptNet的總得分為69分，與之進(jìn)行對(duì)比的學(xué)齡前兒童得分則為50分。并且專家認(rèn)為，該系統(tǒng)的智能程度還會(huì)進(jìn)一步加強(qiáng)。
ConceptNet是一項(xiàng)由麻省理工學(xué)院常識(shí)計(jì)算計(jì)劃團(tuán)隊(duì)(MIT Common Sense Computing Initiative)管理的開(kāi)源項(xiàng)目。該團(tuán)隊(duì)研發(fā)的ConceptNet 4運(yùn)用了所謂的 關(guān)系 這一概念。例如，當(dāng)讓該系統(tǒng)解釋什么是 小鹿 時(shí)，它會(huì)明白 小鹿是一種鹿 ，而不是 鹿是一種小鹿 。也就是說(shuō)，它能夠理解這種動(dòng)物的概念，以及 小鹿 和 鹿 這兩個(gè)詞匯和概念之間的關(guān)系。同時(shí)，該系統(tǒng)還可以使用所謂的 對(duì)立標(biāo)記 表示負(fù)相關(guān)關(guān)系，比如 企鵝不會(huì)飛 等。
研究人員讓ConceptNet 4參與了 韋克斯勒學(xué)齡前兒童智力量表 測(cè)試(WPPSI-III)，并將研究結(jié)果發(fā)表在論文《Measuring an Artificial Intelligence System's Performance> 
在對(duì)單項(xiàng)測(cè)試計(jì)分時(shí)，研究人員先使用每道題目得分最高的答案計(jì)分，然后再使用每道題目得分最高的前五個(gè)答案中最好的答案計(jì)分。他們將前者稱為 嚴(yán)格計(jì)分 ，后者稱為 放松計(jì)分 。圖中左側(cè)為ConceptNet得分，右側(cè)為受測(cè)兒童得分。
操作智商測(cè)驗(yàn)通常會(huì)要求受測(cè)人完成繪畫、解謎、記憶等任務(wù)。言語(yǔ)智商測(cè)驗(yàn)則會(huì)考察兒童的詞語(yǔ)推理、詞匯及理解能力。每種智商得分的平均分都為100分。本次研究則主要針對(duì)言語(yǔ)智商進(jìn)行測(cè)試。
在測(cè)試過(guò)程中，試題會(huì)通過(guò)語(yǔ)言處理工具轉(zhuǎn)換成ConceptNet 4能夠理解的語(yǔ)言，如 我們?yōu)槭裁匆帐郑?、 我們?yōu)槭裁匆谙奶齑魈?yáng)鏡？ 和 為什么將刀子放入嘴中是不好的行為？ 等等。
該研究由芝加哥大學(xué)的斯特蘭?奧爾森(Stellan Ohlsson)帶領(lǐng)。在對(duì)單項(xiàng)測(cè)試計(jì)分時(shí)，研究人員先使用每道題目得分最高的答案計(jì)分，然后再使用每道題目得分最高的前五個(gè)答案中最好的答案計(jì)分。他們將前者稱為 嚴(yán)格計(jì)分 ，后者稱為 放松計(jì)分 。
在 信息 測(cè)試中，ConceptNet得到了20分，而同時(shí)參加測(cè)試的四歲兒童通過(guò)轉(zhuǎn)換后的得分為10分。這名兒童在詞語(yǔ)推理和理解上得分更高，均為7分，而ConceptNet在這兩項(xiàng)上的得分分別為2和3分。此外，ConceptNet表現(xiàn)出了更豐富的詞匯量，詞匯得分為20分，而兒童得分為13分。
ConceptNet系統(tǒng)的得分與四歲兒童相仿，但低于五至七歲兒童的平均得分， 研究人員解釋道， 該系統(tǒng)在每個(gè)單項(xiàng)中得分差異很大，說(shuō)明還有改進(jìn)的空間。在所有測(cè)試中， 理解 是最關(guān)乎人類常識(shí)的測(cè)試項(xiàng)目。得分差異大、常識(shí)方面表現(xiàn)一般，這說(shuō)明ConceptNet尚不具有四歲兒童的語(yǔ)言能力。但本次研究說(shuō)明，兒童智商測(cè)試可以為人工智能系統(tǒng)的評(píng)估和比較提供一種客觀的度量手段。
ConceptNet是一項(xiàng)由麻省理工學(xué)院常識(shí)計(jì)算計(jì)劃團(tuán)隊(duì)(MIT Common Sense Computing Initiative)管理的開(kāi)源項(xiàng)目。該團(tuán)隊(duì)研發(fā)的ConceptNet 4運(yùn)用了所謂的 關(guān)系 這一概念。例如，當(dāng)讓該系統(tǒng)解釋什么是 小鹿 時(shí)，它會(huì)明白 小鹿是一種鹿 ，而不是 鹿是一種小鹿 。也就是說(shuō)，它能夠理解這種動(dòng)物的概念，以及 小鹿 和 鹿 這兩個(gè)詞匯和概念之間的關(guān)系。