人工智能是近年來(lái)科技發(fā)展的重要方向，在大數(shù)據(jù)時(shí)代，對(duì)數(shù)據(jù)采集、挖掘、應(yīng)用的技術(shù)越來(lái)越受到矚目。在人工智能和大數(shù)據(jù)的開(kāi)發(fā)過(guò)程中，有哪些特別需要注意的要點(diǎn)？
人工智能領(lǐng)域的算法大師、華盛頓大學(xué)教授Pedro Domingos對(duì)此進(jìn)行了深入思考。
在我們新近翻譯的《智能Web算法》（第2版）中，對(duì)Pedro Domingos教授的觀點(diǎn)進(jìn)行了高度的概括，提煉出12個(gè)注意點(diǎn)，為行業(yè)開(kāi)發(fā)實(shí)踐提供了重要參考：
注意點(diǎn)1：你的數(shù)據(jù)未必可靠
在實(shí)際應(yīng)用中，有很多各種各樣的原因會(huì)導(dǎo)致你的數(shù)據(jù)是不可靠的。因此，當(dāng)你將數(shù)據(jù)用于解決問(wèn)題前，必須經(jīng)常留心來(lái)檢查數(shù)據(jù)是否值得信賴。如果基于糟糕的數(shù)據(jù)來(lái)挖掘，無(wú)論多么聰明的人也永遠(yuǎn)只會(huì)獲得糟糕的結(jié)果。下面列舉了一些常見(jiàn)的可導(dǎo)致數(shù)據(jù)可靠性問(wèn)題的因素：
用于開(kāi)發(fā)的數(shù)據(jù)，往往和實(shí)際情況下的數(shù)據(jù)分布不同。例如也許你想把用戶按照身高劃分為“高”、“中等”、“矮”三檔，但如果系統(tǒng)開(kāi)發(fā)時(shí)使用的數(shù)據(jù)集里最低用戶的身高是6英尺（184cm），那么很有可能你開(kāi)發(fā)出來(lái)的系統(tǒng)里會(huì)把一個(gè)“僅有6英尺”的用戶稱為“矮”用戶
你的數(shù)據(jù)集中存在很多缺失數(shù)據(jù)。事實(shí)上，除非是人為構(gòu)造的數(shù)據(jù)集合，否則很難避免缺失數(shù)據(jù)問(wèn)題的發(fā)生，如何處理數(shù)據(jù)缺失的問(wèn)題是很有技巧的事情。實(shí)踐中我們要么是干脆丟棄一部分殘缺的數(shù)據(jù)，要么就是想辦法計(jì)算一些數(shù)值去填補(bǔ)這些缺失值。無(wú)論哪種方法都可能導(dǎo)致應(yīng)用結(jié)果的不穩(wěn)定
你的數(shù)據(jù)可能隨時(shí)在變化。數(shù)據(jù)庫(kù)的表結(jié)構(gòu)可能會(huì)變，數(shù)據(jù)定義也可能會(huì)變
你的數(shù)據(jù)可能沒(méi)有被歸一化。假設(shè)你可能在觀察一組用戶的體重，為了能夠獲得有效的結(jié)論，首先需要對(duì)每個(gè)體重的衡量單位進(jìn)行歸一化，是英鎊還是公斤，不能混淆著用
你的數(shù)據(jù)可能并不適用于相應(yīng)的算法。數(shù)據(jù)存在著各種各樣的形式和規(guī)范，或者叫數(shù)據(jù)類型（data types），有些是數(shù)值化的數(shù)據(jù)，有些則不是。有些數(shù)據(jù)集合能被有序排列，有些則做不到。有些是離散化的數(shù)據(jù)（例如房間里的人數(shù)），另一些則是連續(xù)化的（例如氣溫或者氣壓等數(shù)據(jù)）
注意點(diǎn)2：計(jì)算難以瞬間完成
完成任何一個(gè)人工智能解決方案的計(jì)算，都需要一定的時(shí)間，方案的響應(yīng)速度，對(duì)商業(yè)應(yīng)用的成功與否起到十分關(guān)鍵的作用。不能總是盲目假設(shè)任何算法在所有數(shù)據(jù)集上都一定能在規(guī)定時(shí)間內(nèi)完成，你需要測(cè)試下算法的性能是否在可接受的應(yīng)用范圍內(nèi)。
以搜索引擎為例，用戶對(duì)結(jié)果返回的時(shí)長(zhǎng)是有忍耐的限度的。如果用戶等待的時(shí)間超過(guò)10秒，50%的用戶會(huì)流失，如果等待時(shí)間超過(guò)1分鐘，90%以上的用戶會(huì)流失。在開(kāi)發(fā)智能應(yīng)用系統(tǒng)時(shí)，不能為了達(dá)到更好的算法精度而忽略系統(tǒng)運(yùn)算和等待的時(shí)間，否則會(huì)導(dǎo)致整個(gè)產(chǎn)品的失敗。
注意點(diǎn)3： 數(shù)據(jù)的規(guī)模非常重要
當(dāng)我們考慮智能應(yīng)用時(shí)，數(shù)據(jù)規(guī)模是很重要的因素。數(shù)據(jù)規(guī)模的影響可以分為兩點(diǎn)來(lái)考察：第一點(diǎn)是規(guī)模會(huì)影響應(yīng)用系統(tǒng)的響應(yīng)速度，上一節(jié)我們剛提過(guò)；第二點(diǎn)是在很大的數(shù)據(jù)集上的挖掘出有價(jià)值結(jié)果的能力會(huì)受到考驗(yàn)。例如為100個(gè)用戶開(kāi)發(fā)的電影或音樂(lè)推薦系統(tǒng)可能效果很好，但是同樣的算法移植到有著100000個(gè)用戶的環(huán)境里，效果可能就不盡如人意了。
其次，使用更多的數(shù)據(jù)來(lái)訓(xùn)練的簡(jiǎn)單算法，比受制于維度詛咒（Dimension Curse）的復(fù)雜算法往往有好得多的效果。類似Google這樣擁有海量數(shù)據(jù)的大型企業(yè)，優(yōu)秀的應(yīng)用效果不僅來(lái)自于精妙復(fù)雜的算法，也來(lái)自于其對(duì)海量訓(xùn)練數(shù)據(jù)的大規(guī)模分析挖掘。（達(dá)觀數(shù)據(jù) 陳運(yùn)文）
注意點(diǎn)4： 不同的算法具有不同的擴(kuò)展能力
我們不能假設(shè)智能應(yīng)用系統(tǒng)都可以通過(guò)簡(jiǎn)單增加服務(wù)器的方法來(lái)擴(kuò)展性能。有些算法是有擴(kuò)展性的，而另一些則不行。
例如如果我們要從數(shù)億的文章標(biāo)題里，找出標(biāo)題相似的各個(gè)組的文章，注意并不是所有的聚類算法此時(shí)都能并行化運(yùn)行的，你應(yīng)該在設(shè)計(jì)系統(tǒng)的同時(shí)就考慮可擴(kuò)展性。有些情況下你需要將數(shù)據(jù)切分成較小的集合，并能夠讓智能算法在各個(gè)集合上并行運(yùn)行。設(shè)計(jì)系統(tǒng)時(shí)所選擇的算法，往往需要有并行化的版本，而在一開(kāi)始就需要將其納入考慮，因?yàn)橥ǔ@著算法還會(huì)有很多相關(guān)聯(lián)的商業(yè)邏輯和體系結(jié)構(gòu)需要一并考慮。