一個高度智慧的系統(tǒng)也許能了解完成一個特定任務(wù)所需要的所有知識，例如解決一個讓人頭痛的財務(wù)問題，或者侵入一個敵人的系統(tǒng)。但除開這些它所專長的特定的領(lǐng)域外，它很可能非常無知和愚昧。Google的DeepMind系統(tǒng)精通于圍棋，然而除了圍棋，它對于其他領(lǐng)域卻沒有任何推理和邏輯能力。
許多類似的系統(tǒng)也可能缺乏深入的安全考慮。一個很好的例子就是由美國和以色列軍方共同開發(fā)的一份非常強大而復(fù)雜的武器級病毒系統(tǒng)Stuxnet Virus，其原本的作用是為了潛入和攻擊伊朗核武器動力裝置。此病毒系統(tǒng)卻不慎(至于是有人故意而為之還是純屬意外則不得而知)感染了俄羅斯核武器動力裝置。
攻擊網(wǎng)絡(luò)間諜的Flame病毒
類似的例子還有在中東用于攻擊網(wǎng)絡(luò)間諜的程序：Flame?？梢韵胂螅磥眍愃芐tuxnet或者Flame這樣的系統(tǒng)如若廣泛散布，可能對一些含有有敏感信息的基礎(chǔ)設(shè)施產(chǎn)生一系列不可估量的破壞。(作者注：在此澄清，這些病毒并非人工智能，但在將來他們可以輕易加入人工智能，因此也將會帶來以上的一些顧慮。)
誤解四：“人工智能由于其極高智能，將不會犯任何錯誤。”
電影《The Invisible Boy》中的超級計算機
事實：Surfing Samurai機器人人工智能研究者和開發(fā)者，Richard Loosemore認為大多數(shù)假設(shè)的人工智能將毀滅世界的情景都非常不符合邏輯。大多數(shù)類似的假設(shè)總是認為人工智能將會說：“我知道毀滅人類文明是由于設(shè)計引起的故障，但無論如何我還是很想去做。”Loosemore指出如果人工智能在打算毀滅人類時，其思路是如此自相矛盾的話，它將在其一生中面臨無數(shù)自相矛盾的邏輯推理，也因此會干擾了其認知從而變得非常愚蠢，而同時根本不足以對我們造成傷害。他同時也斷言，那些認為“人工智能只會做程序設(shè)定的任務(wù)”的人，將會像在電腦剛剛發(fā)明時那些說電腦將永遠不會具備應(yīng)變能力的謬論的人一樣。
牛津大學(xué)人類未來研究所(Future of Humanity Institute)的Peter Mcintyre和Stuart Armstrong對此有不同看法。他們認為人工智能將很大程度上依賴其程序鎖定。他們不相信人工智能不會犯錯誤，或者反過來他們沒有聰明到可以理解我們希望他們能做什么。
McIntyre告訴作者：“從定義上講，人工智能就是一個在方方面面都比最聰明的人腦要更為聰明的智慧載體”。“它將會完全知道我們設(shè)計他們來做什么”。McIntyre和Armstrong相信人工智能將只會做其程序編寫的任務(wù)，但如果它足夠聰明的話，它會最終理解法律的精髓和人文的意義。
McIntyre將人類將來可能面臨的困境和老鼠所面臨的困境做了比較。老鼠將會不停尋求食物和住所，但它們的目標跟人類不想與老鼠共棲一室的目標始終是相互沖突的。他說“正如我們完全能理解老鼠為什么要鉆進我們的屋子里、但仍然不能忍受與老鼠一起生活一樣，即使人工智能系統(tǒng)理解我們的目標和我們想要什么，他們?nèi)匀粫X得我們的目標無關(guān)緊要”。
誤解五：“一個簡單的修補程序?qū)⒔鉀Q人工智能的控制問題。”
正如電影《機械姬》所描述，比我們聰明的機器人并不是那么簡單就能控制的
現(xiàn)實：假設(shè)我們創(chuàng)造出強于人類的人工智能，我們將要面對一個嚴重的“控制問題”。未來主義者和人工智能理論家完全不知如何限制和制約一個ASI(超強人工智能)，一旦它被創(chuàng)造出來，也不知道如何保證它將對人類友好。最近，佐治亞理工的研究人員天真地認為人工智能可以通過閱讀簡單的故事和社會習(xí)俗來學(xué)習(xí)人類價值觀。而問題很可能會遠遠比這復(fù)雜。
“人們已經(jīng)提出很多簡單的技巧來解決整個人工智能的控制問題，”阿姆斯特朗說。具體例子包括將ASI程序編輯成讓它希望取悅?cè)祟?，或者僅僅作為人類的工具。換個角度說，我們可以集成一個概念，比如愛和尊重，把這些寫入它的源代碼。并且為了防止它采用超簡單的、單色的觀點來認識世界，它可以被編程來欣賞知識、文化和社會多樣性。