信用評分公司能夠從來計算信用風(fēng)險的模型還受到其它的一些限制。如果貸方拒絕信貸申請，貸方必須要提供申請者信用評分不高的原因。為了符合這一要求，F(xiàn)ICO盡可能地為消費者提供可行的解釋說明。例如，詹寧斯解釋道，信貸申請者可能會被告知，“你的信用評分低，是因為過去一年里你累計八次信用卡過期還款。”
不過，要是FICO手動創(chuàng)建的模型對于信用風(fēng)險的預(yù)測能力沒有神經(jīng)網(wǎng)絡(luò)那么強，會怎么樣呢？事實上，詹寧斯稱，在使用同樣的輸入變量的情況下，他們最近對比了通過機器學(xué)習(xí)技術(shù)得出的信用評分和手動創(chuàng)建模型得出的結(jié)果，他們發(fā)現(xiàn)二者之間差異并不大。但機器學(xué)習(xí)的好處在于，有些時候機器不可理解的模型的預(yù)測能力會比人類可理解的手動創(chuàng)建模型強大得多。在那些情況中，我們的知識——如果我們使用它的話——將依賴于我們無法理解的確證。
然而，盡管機器學(xué)習(xí)模型非常強大，但我們也要學(xué)會提出質(zhì)疑。出現(xiàn)例證失效的似乎是那些機器確證沒有充分逃脫人類根源的模型。
例如，被訓(xùn)練評估申請保釋的個人構(gòu)成的風(fēng)險的系統(tǒng)會放行那些白人慣犯，但不會放行那些犯罪記錄較少的非裔美國人。該系統(tǒng)學(xué)習(xí)到了人類的偏見，人類的決策屬于數(shù)據(jù)的一部分。中央情報局（CIA）用來辨認無人機襲擊目標(biāo)的系統(tǒng)一開始指向了半島電視臺的一位知名記者，因為該系統(tǒng)接受過有關(guān)知名恐怖分子的小數(shù)據(jù)集的訓(xùn)練。這種系統(tǒng)顯然還是需要人工監(jiān)督，尤其是涉及無人機襲擊，而非給黃瓜分類的時候。
數(shù)據(jù)分析公司Fast Forward Labs研究工程師邁克·威廉姆斯（Mike Williams）在接受電話采訪時表示，我們需要特別警惕往往影響重要數(shù)據(jù)集的歸類和重要數(shù)據(jù)收集方式的偏見。例如，最近有論文討論一個使用神經(jīng)網(wǎng)絡(luò)來預(yù)測肺炎患者的死亡概率的項目，該項目是為了鑒定可作為門診病人來治療的低風(fēng)險患者。神經(jīng)網(wǎng)絡(luò)預(yù)測的結(jié)果一般都比那些對數(shù)據(jù)實施已知規(guī)則的手動創(chuàng)建模型準(zhǔn)確。然而，神經(jīng)網(wǎng)絡(luò)明確指出，喘息性肺炎患者死亡風(fēng)險較低，因此應(yīng)當(dāng)作為門診病人來治療。這與護理人員所知道的以及常識相矛盾。最后研究人員發(fā)現(xiàn)，該發(fā)現(xiàn)是因一個事實所致：喘息性肺炎患者會立刻被送到重癥監(jiān)護室，因此存活率很高。但很顯然這并不意味著他們應(yīng)當(dāng)被送回家，相反他們應(yīng)該住院治療。要識別這種錯誤，需要人工的監(jiān)督。
新書《數(shù)學(xué)殺傷性武器》作者凱西·奧內(nèi)爾（Cathy O’Neill）指出了決定我們使用哪些數(shù)據(jù)集來訓(xùn)練計算機的價值觀的內(nèi)隱偏見。她談到了一個有人給一個崗位找最合適人選的例子，其列出的其中一個條件是：“能夠供職多年時間，爭取晉升機會”。如果使用機器學(xué)習(xí)算法來完成這項任務(wù)的話，你最終很可能會聘請到男性，因為女性在同一個工作崗位的停留時間通常相對較短。她說，使用機器智能來鑒定公立學(xué)校系統(tǒng)中的差教師也是同樣的道理。怎樣才算是壞教師呢？看其班級學(xué)生在標(biāo)準(zhǔn)化考試中的平均分？看最終有多少學(xué)生畢業(yè)?看有多少學(xué)生上大學(xué)？看學(xué)生畢業(yè)后的年收入水平？看學(xué)生畢業(yè)后過得是否幸福美滿？人類或許能夠作出定義，但機器學(xué)習(xí)算法很可能會重新建立起我們選來給配備的數(shù)據(jù)所隱含的偏見。
因此，我們可能會兩手一起抓。一方面，我們將延續(xù)我們禁止一些確證類型來避免不良的社會影響的傳統(tǒng)。與此同時，我們可能將會繼續(xù)越來越依靠我們無法理解的機器確證。
問題不僅僅在于，我們無法理解它們，就像外行無法理解弦理論一樣。還在于，基于計算機的確證本質(zhì)上完全不同于人類的確證。它是一種異類。
但“異類”并不意味著“錯誤”。說到理解萬千世界，機器可能比我們?nèi)祟惾魏螘r候都要接近于真相。
異類確證
在某處地方，有只蠕蟲比它的同類更有好奇心。它會慢慢穿過泥土，品嘗它經(jīng)過的每一片土地的味道，總是去尋找下一個新的泥土樣本，因為它認為蠕蟲的最高使命是認識它的世界，而品嘗就是它獲取知識的方式。憑借豐富的經(jīng)歷和出眾的分類和表達能力，這只蠕蟲在同類當(dāng)中備受尊崇，被視作能夠傳授有關(guān)地球嘗起來是什么味道的智者。