在這個(gè)（含義廣泛）術(shù)語的一個(gè)極端，有個(gè)關(guān)于主觀感覺的本質(zhì)，即「感覺質(zhì)（qualia）」的哲學(xué)問題，這與AGI難題緊密相連；不過，另一方面，「意識(shí)」不過是麻醉狀態(tài)時(shí)所失去的東西。許多動(dòng)物當(dāng)然也有這種東西。
未來，AGI確實(shí)會(huì)有自我覺知——但是，那是因?yàn)樗麄儠?huì)變得通用（General）：他們能覺知到各種深刻而微妙的事物，包括它們自己。那并不意味著通過鏡子測(cè)試的黑猩猩被暗示具有「通用智能（general intelligence）」特征，AGI是這種「通用智能（general intelligence）」的人工版本。確實(shí)，Richard Byrne對(duì)大猩猩模因（memes)的精彩研究已經(jīng)揭示出，黑猩猩如何能相互學(xué)習(xí)有用的行為，卻不理解這些行為的意義：對(duì)黑猩猩認(rèn)知原理的解釋實(shí)際上是行為主義的。
諷刺的是，合理化陣營(yíng)（AGI已經(jīng)完成了/不重要/在黑猩猩中也存在/是一個(gè)文化虛構(gòu)）的觀點(diǎn)正是那些源于「AGI不可能」陣營(yíng)觀點(diǎn)的鏡像。針對(duì)每個(gè)類似觀點(diǎn)「你做不出AGI，因?yàn)槟阌肋h(yuǎn)沒法為靈魂編程，因?yàn)樗浅匀坏摹?，「AGI容易實(shí)現(xiàn)」陣營(yíng)中的合理化觀點(diǎn)會(huì)認(rèn)為，「如果你認(rèn)為人類認(rèn)知與黑猩猩有本質(zhì)不同，你一定信仰超自然靈魂?！?/p>
「我們至今所不可實(shí)現(xiàn)的是…『人類智能』」，這是另外一種合理化（解釋）。這種解釋的代表性人物是哲學(xué)家John Searle（他屬于「不可能」陣營(yíng)），他認(rèn)為在計(jì)算機(jī)誕生之前，蒸汽發(fā)動(dòng)機(jī)和后來電報(bào)系統(tǒng)都曾被用來隱喻人類心智的工作方式。他認(rèn)為，AGI可能僅存在于類似脆弱的隱喻上，亦即心智「本質(zhì)上（essentially）」是計(jì)算機(jī)程序。但是，那并不是一個(gè)隱喻：計(jì)算的通用性(universality of computation)遵循已知的物理定律。
有些人認(rèn)為，大腦使用了量子計(jì)算，甚至使用了以量子理論無法解釋的物理現(xiàn)象為基礎(chǔ)的超量子計(jì)算（hyper-quantum computation），這就解釋了為什么在現(xiàn)有計(jì)算機(jī)上創(chuàng)造AGI會(huì)失敗。我和量子理論領(lǐng)域絕大多數(shù)研究人員都無法茍同那就是人類大腦擁有獨(dú)特功能的原因之一，不過詳加解釋已經(jīng)超出本文的討論范圍。
AGI是「人」，從一開始就是該概念的暗含之意。如果有一個(gè)程序，哪怕缺少一個(gè)人類特有的認(rèn)知能力，那么，從定義上說，它就就不是AGI；使用非認(rèn)知性特征（ non-cognitive attributes）（比如碳含量的百分比）來定義人格，是種族主義的做法，贊同有機(jī)大腦優(yōu)于硅大腦。但是，能夠做出新解釋是「人」（人類和AGI）的獨(dú)特功能具有道德和智力上的重要性，他們借由推測(cè)和批評(píng)做出新的解釋，這一事實(shí)改變了一切。
如今，人格（personhood）更具象征意義，而非真實(shí)意義——如同一種榮譽(yù)，作為某個(gè)實(shí)體（黑猩猩，胎兒，公司）是人，以實(shí)現(xiàn)某種哲學(xué)或?qū)嵺`目的承諾。這并不好。請(qǐng)不要在乎這些術(shù)語，如果樂意，你可以改變它，對(duì)不同的實(shí)體都尊敬有嘉，使他們免于傷害及其他。那個(gè)客觀標(biāo)準(zhǔn)定義下的真實(shí)人類與其他實(shí)體之間的區(qū)別具有重大的道德和實(shí)踐意義，對(duì)包括AGI在內(nèi)的文明功能也非常重要。
比如，不是計(jì)算機(jī)而是運(yùn)行的程序才是人——僅這一事實(shí)就會(huì)提出一個(gè)未解的哲學(xué)難題，一旦AGl存在，這個(gè)難題就會(huì)變成現(xiàn)實(shí)的政治爭(zhēng)議。因?yàn)橐坏〢GI在計(jì)算機(jī)上運(yùn)行起來，再從計(jì)算機(jī)上剝離它無異于謀殺（或者至少會(huì)是錯(cuò)誤的監(jiān)禁），就像從人體剝奪掉他的思想。但是，和人體不同的是，僅需按鈕，一個(gè)AGI程序就能復(fù)制到許多臺(tái)計(jì)算機(jī)上。
雖然他們的運(yùn)行步驟相同，但是，那些程序是同一個(gè)人還是多個(gè)不同的人？一個(gè)投票權(quán)還是多個(gè)投票權(quán)？刪除程序是謀殺，還是較輕的攻擊？如果一個(gè)流氓程序員在一臺(tái)或者多臺(tái)電腦上編制出成千上萬個(gè)不同的AGI人群，也許這是違法的，會(huì)發(fā)生什么？他們都是人，享有人權(quán)。他們都能擁有選舉權(quán)嗎？
而且，考慮AGI，如同思考其他有創(chuàng)造力的實(shí)體，我們必須忘掉單詞「程序」的全部既有含義。將AGI視為任何其他計(jì)算機(jī)程序會(huì)帶來類似洗腦，奴役，暴虐的效果。這對(duì)小孩也同樣殘酷，因?yàn)楹推渌幊绦袨椴煌?，「編程」一個(gè)已經(jīng)處在運(yùn)行中的AGI意味著教育。這會(huì)引發(fā)道德和事實(shí)層面的爭(zhēng)議。忽視AGI的權(quán)利與人格，不僅是邪惡的化身，還會(huì)制造災(zāi)難：有創(chuàng)造力的存在不能永遠(yuǎn)被奴役。