科夏瓦杰的另一個建議是,在電子病歷中設置更多標準化的域。這樣電腦就會知道到哪里去找特定的信息,從而減少出錯率。當然,實際操作起來并沒有這么簡單,因為很多病人同時身患好幾種疾病。因此,一個標準的表格必須擁有足夠的靈活性,把這些復雜情況全部考慮進去。
但是出于診療的需要,醫(yī)生有時需要在病歷上記下一些自由行文的東西,這些內(nèi)容肯定不是一個小格子能裝得下的。比如一個患者為什么會摔倒,如果不是受傷導致的,那么原因就非常重要。但是在沒有上下文的條件下,軟件對于自由行文的理解只能用撞大運來形容。篩選數(shù)據(jù)的時候,如果人們用關鍵詞搜索的話可能會做得更好些,但這樣也難免會漏掉很多有關的記錄。
當然,在有些案例中,有些看起來不干凈的數(shù)并不是真的不干凈。博思艾倫咨詢公司副總裁沙利文舉例說,有一次他的團隊為一家豪華連鎖酒店分析顧客的人口統(tǒng)計數(shù)據(jù),突然發(fā)現(xiàn),數(shù)據(jù)顯示一個富有的中東國家的青少年群體是這家酒店的常客。
沙利文回憶道:“有一大群17歲的青少年在世界各地都住這家酒店,我們以為:‘這肯定不是真的。’”
但做了一些挖掘工作后,他們發(fā)現(xiàn)這個信息其實是正確的。這家酒店有大量的青少年顧客,甚至連酒店自己也沒有意識到,而且酒店也沒有針對這部分顧客做過任何促銷和宣傳。所有22歲以下的顧客都被這家公司的電腦自動列入“低收入”群體,酒店的高管們也從來沒有考慮過這些孩子的腰包有多鼓。
沙利文說:“我認為如果沒有離群值的話,構建模型會更難。”
即便有時數(shù)據(jù)明顯不干凈,它有時依然能派上大用場。比如上文提到的谷歌(Google)的拼寫糾正技術。它可以自動識別拼寫錯誤的單詞,然后提供替代拼寫。這個工具之所以有這樣神奇的功用,是因為谷歌在過去幾年中已經(jīng)收集了幾億甚至幾十億個拼寫錯誤的詞條。因此不干凈的數(shù)據(jù)也可以變廢為寶。
最終,從大數(shù)據(jù)中獲得結論的是人而不是機器。電腦雖然可以整理幾百萬份文件,但它并不能真的解讀它。數(shù)據(jù)凈化就是為了方便人們從數(shù)據(jù)中獲取結論而反復試錯的過程。盡管大數(shù)據(jù)已被奉為能提高商業(yè)利潤、能造福全人類的神器,但它也是個很讓人頭痛的東西。
沙利文指出:“失敗的概念在數(shù)據(jù)科學中完全是另一回事。如果我們每天不失敗10次或12次來試錯,它們就不會給出正確的結果。”