誤解四：“簡單的程序修補(bǔ)就能解決AI的控制難題。”
假設(shè)創(chuàng)造出比人類更偉大的AI，我們將面臨一個(gè)嚴(yán)重的問題，那就是：控制問題。如何在家里安置以及控制ASI？如何確保ASI對人類是友好的？在這些問題上，未來主義者和AI理論家們完全不知所措。最近，佐治亞理工學(xué)院的研究人員天真地認(rèn)為AI可以通過閱讀簡單的故事來學(xué)習(xí)人類的價(jià)值觀和社會(huì)習(xí)俗。這可能遠(yuǎn)不是讀幾個(gè)小故事能解決的。
“人們推薦了很多可能解決整個(gè)AI控制問題的簡單技巧，”阿姆斯特朗說。示例包括為ASI編寫取悅?cè)祟惖某绦?，或者僅僅使ASI作為人類的工具使用。再或者，我們可以將積極的概念，比如愛或尊敬整合進(jìn)他的源代碼。為了防止ASI對社會(huì)只有單一偏激的看法，我們可以給它編寫欣賞智力、文化和社會(huì)多樣性的程序。
但是這些方法要么太過簡單，這就好比試圖給復(fù)雜的人類喜惡確定一個(gè)簡單膚淺的定義，要么就是把復(fù)雜的人類價(jià)值觀生硬地壓縮成一個(gè)簡單的字詞或想法。比如，對“尊敬”這個(gè)詞，要確定內(nèi)涵一致又普遍接受的定義是極度困難的。
“并不是說這些簡單的技巧是沒用的。這些對策里面有很多給研究指明了道路，對解決這個(gè)終極難題有所幫助。但是這些只是想法，具體的操作還需要我們做更多的開發(fā)研究工作。”阿姆斯特朗說。
正如《機(jī)械姬》里所描述的一樣，要控制比人類還聰明的人工智能將會(huì)十分困難
誤解五：“人工超智能很聰明，不會(huì)犯錯(cuò)。”
電影《少年透明人》（1957）中的超級(jí)計(jì)算機(jī)
AI研究者兼Surfing Samurai機(jī)器人開發(fā)者Richard Loosemore認(rèn)為大多數(shù)假設(shè)的AI毀滅世界的情景都不符合邏輯。人們總假想在這種情景下，AI可能會(huì)說：“我知道毀滅人類文明只是我的設(shè)計(jì)故障，但我不得不這么做。”Loosemore指出如果AI像這樣打算毀滅人類時(shí)，那它一生會(huì)很多這樣的邏輯矛盾，也會(huì)因此摧毀自己的知識(shí)庫，導(dǎo)致自己變得愚蠢，而不足以對我們造成傷害。他還斷言，那些認(rèn)為“AI只會(huì)按照指定程序做事”的人，與當(dāng)初用這樣的話評(píng)價(jià)電腦不具備靈活性的人一樣，犯了同樣的錯(cuò)誤。
就職于牛津大學(xué)人類未來研究所（Future of Humanity Institute）的皮特麥金泰爾（Peter McIntyre）和斯圖爾特阿姆斯特朗（Stuart Armstrong）都對此有不同看法。他們認(rèn)為人工智能將很大程度上受到編程的限制。他們相信AI也會(huì)犯錯(cuò)誤，或者他們還沒有聰明到了解人類想從他們那里得到什么。
“從定義上講，超級(jí)人工智能（ASI）是一個(gè)擁有智力的載體，它在各個(gè)相關(guān)領(lǐng)域都要比最優(yōu)秀的人類大腦更聰明。”麥金泰爾如是告訴Gizmodo。 “它將十分清楚我們用他們來做什么。”麥金泰爾和阿姆斯特朗相信AI只會(huì)做程序編寫的任務(wù)，如果它能變得足夠聰明的話，它將能理解依照程序完成任務(wù)與領(lǐng)略規(guī)則精髓的不同，也將能理解人類的意圖。
麥金泰爾把人類未來的困境比作老鼠的困境。老鼠想要在人類居所尋求食物和棲息地，人類不愿居室內(nèi)有老鼠，兩者沖突。麥金泰爾說，“正如我們明白老鼠的目的，超級(jí)智能系統(tǒng)也能知道人類想要的，但仍對此漠不關(guān)心。”
誤解六：“我們將被超級(jí)人工智能毀滅。”
沒有任何證據(jù)表明我們會(huì)被AI毀滅或無法控制它們。正如AI研究者Eliezer Yudkowsky所說：“AI既不會(huì)恨，也不會(huì)愛，但人類由原子構(gòu)成的，除了智能以外，人類還有感情。”
牛津大學(xué)的哲學(xué)學(xué)者Nick Bostrom在他的書《超級(jí)智能：路徑、危險(xiǎn)與策略》中提到，真正的超級(jí)人工智能一旦完成，將比以往人類的任何發(fā)明都危險(xiǎn)。一些著名的學(xué)者如Elon Musk, Bill Gates, and Stephen Hawking（后者曾警告AI也許是人類史上最糟糕的錯(cuò)誤）也提出了警告。