隨著更多數(shù)據(jù)的產(chǎn)生，我們已經(jīng)可以更有效地管理數(shù)據(jù)所帶來的開銷，但是仍然掙扎于進(jìn)行有效的數(shù)據(jù)分析
受到全球因特網(wǎng)的普及，它所帶來的網(wǎng)絡(luò)連通性的驅(qū)動，物聯(lián)網(wǎng)之類的新領(lǐng)域產(chǎn)生的前所未見的海量數(shù)據(jù)，以及基于這些所創(chuàng)建的大量應(yīng)用，使得我們被數(shù)據(jù)所淹沒?？焖贁?shù)據(jù)和慢數(shù)據(jù)，簡單數(shù)據(jù)和復(fù)雜數(shù)據(jù)，所有這些數(shù)據(jù)都是前所未有的大量。數(shù)據(jù)的量變的多大了呢？我們已經(jīng)從在2014年產(chǎn)生大約5澤字節(jié)的非結(jié)構(gòu)化數(shù)據(jù)到2020年將增加到大約40澤字節(jié)的非結(jié)構(gòu)化（參見圖2）。
圖2 非結(jié)構(gòu)化數(shù)據(jù)在2005至2020年的實際和預(yù)期增長對比
特別是在上一個十年間，隨著數(shù)據(jù)量變得更大，企業(yè)的IT策略核心變?yōu)橛煤苌俚馁Y源做更多的事。公司的數(shù)據(jù)倉庫開始面臨兩大問題。第一，其中的一些系統(tǒng)不能有效地管理所獲取的海量數(shù)據(jù)，因而數(shù)據(jù)不能被應(yīng)用有效的利用。第二，開銷變得不能承受的高，成為數(shù)據(jù)管理方面另一大挑戰(zhàn)。
與此同時，當(dāng)新一代的數(shù)據(jù)管理軟件（例如Hadoop）被谷歌、雅虎等重量級科技公司開發(fā)出來，一些“部分”解決方案開始出現(xiàn)。一開始，這些軟件在商用硬件上運行，并且很快開源，從而使得企業(yè)可以以較低的開銷來解決它們的大數(shù)據(jù)問題。Cloudera, Hortonworks以及一些其他提供開源軟件服務(wù)的公司在大數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域扮演了重要角色。我將這些解決方案稱為“部分”是因為在管理數(shù)據(jù)的同時，這些系統(tǒng)并不包含企業(yè)所使用數(shù)據(jù)倉庫系統(tǒng)的那些復(fù)雜的、專用的功能。但是這些新系統(tǒng)擅于構(gòu)建數(shù)據(jù)湖泊，適用于多樣化的大數(shù)據(jù)環(huán)境，并旨在通過更低的開銷替代或增強(qiáng)某些類型的數(shù)據(jù)倉庫。
盡管我們有效管理大數(shù)據(jù)開銷的能力得到了改進(jìn)，但是我們分析數(shù)據(jù)的能力，不計開銷的情況下，仍然沒有提升。盡管大眾媒體宣稱從數(shù)據(jù)中得來的認(rèn)知結(jié)果將是新的石油（或金子，挑選你喜歡的隱喻），但市場研究公司IDC預(yù)測，到2020只有很少一部分采集的數(shù)據(jù)會被分析。我們需要分析更多抓取的數(shù)據(jù)，并從中提取更多的信息。
我們正在致力于改進(jìn)我們分析數(shù)據(jù)的能力，但是面臨著數(shù)據(jù)專業(yè)人員的短缺
為了收集和分析更多的數(shù)據(jù)，同時不放棄報告的生成，我們開始廣泛采用機(jī)器學(xué)習(xí)和其他基于人工智能數(shù)據(jù)分析技術(shù)的自動化的信息抽取方法。然而，這些方法要求使用一類新的專業(yè)人員——數(shù)據(jù)科學(xué)家。盡管我們看到數(shù)據(jù)科學(xué)家的數(shù)量潮涌般增加，但是我們需要更多，并且，與正在產(chǎn)生的數(shù)據(jù)相比我們永遠(yuǎn)不能提供足夠的數(shù)據(jù)科學(xué)家。麥肯錫曾估計，到2018年，美國將面臨（大約14萬至19萬缺口）人才缺口，這些人擁有可以從收集的數(shù)據(jù)中提取認(rèn)知結(jié)果的深度分析技能。我們還將缺少大約150萬擁有量化分析技能的、可以基于數(shù)據(jù)科學(xué)家生成的大數(shù)據(jù)分析來做出重要商業(yè)決策的經(jīng)理。
機(jī)器學(xué)習(xí)改進(jìn)了我們發(fā)現(xiàn)數(shù)據(jù)中關(guān)聯(lián)性的能力，但做出決策的要求的時間變短了，而數(shù)據(jù)產(chǎn)生的速度增加了
商業(yè)智能是一個出現(xiàn)了近40年的領(lǐng)域。統(tǒng)計分析和機(jī)器學(xué)習(xí)技術(shù)被使用的時間則更長。在這一時期，我們已經(jīng)提升了我們從數(shù)據(jù)集中識別關(guān)聯(lián)性的能力，但是做出決策的時間要求正在變短，而數(shù)據(jù)產(chǎn)生的速度不斷增加。舉例來說，公司的首席金融官們可能有一個月的時間來創(chuàng)建金融預(yù)報，然而一個自動的在線廣告平臺只有僅僅10毫秒的時間來決定把哪一個數(shù)字廣告展現(xiàn)給特定的用戶（參見圖3）。此外，一個首席金融官僅需要參考幾十億字節(jié)的數(shù)據(jù)就可以得出決策，而在線廣告系統(tǒng)不得不分析萬億兆字節(jié)的數(shù)據(jù)，大部分的數(shù)據(jù)還是近實時生成的。
圖3 各行業(yè)做出決策需要的平均時間示意
在一些應(yīng)用領(lǐng)域，簡單地識別出數(shù)據(jù)集中的關(guān)聯(lián)性對做出決策來說已經(jīng)足夠。在其中一些高價值高投資回報的領(lǐng)域，通過數(shù)據(jù)科學(xué)家和其他專業(yè)人員來從大量數(shù)據(jù)中抽取信息是合理且必要的。計算機(jī)安全威脅檢測以及信用卡欺詐檢測就是兩個這樣的領(lǐng)域。在這些領(lǐng)域里，作出決策的時間是非常短的，做出錯誤決定（過度保守）的代價，至少最初并不是非常高。將一個交易視作欺詐或者將一個行為視為安全入侵的代價也很低（例如持卡人的不便或是對于系統(tǒng)管理員的一些網(wǎng)絡(luò)取證）。但是，沒有檢測到在已建立的行為模式中的異常的代價將會更高。