時至今日，我們的數(shù)據(jù)管理能力日益提升，但數(shù)據(jù)分析能力則相對落后。盡管工具與流程皆已齊備，但仍然缺少充足的數(shù)據(jù)科學(xué)家人員。在今天的文章中，我們將專注于能夠交付實際分析結(jié)論的大數(shù)據(jù)應(yīng)用，同時追蹤其發(fā)展及當(dāng)前狀態(tài)，最終借此窺探大數(shù)據(jù)技術(shù)的未來發(fā)展方向。
早期大數(shù)據(jù)技術(shù)采納方指明令人感興趣的跨行業(yè)發(fā)展可能性
根據(jù)2012年《福布斯》雜志發(fā)表的文章，早期大數(shù)據(jù)技術(shù)采納方主要來自金融服務(wù)、電信、制造(特別是消費級產(chǎn)品)以及政府領(lǐng)域。
早期采納方在起步階段會使用其新近安裝的大數(shù)據(jù)基礎(chǔ)設(shè)施(例如HDFS、MapReduce以及NoSQL數(shù)據(jù)庫等等)以實驗各類新型應(yīng)用。根據(jù) Pacific Crest公司收集到的數(shù)據(jù)，各早期采納方往往希望利用這些方案處理數(shù)據(jù)中心日志信息(包括服務(wù)器、路由器以及各類物聯(lián)網(wǎng)傳感器等)，旨在實現(xiàn)網(wǎng)絡(luò)分析與 IT系統(tǒng)性能監(jiān)控。在此基礎(chǔ)之上，亦有相當(dāng)一部分企業(yè)嘗試?yán)么髷?shù)據(jù)技術(shù)進(jìn)行財務(wù)數(shù)據(jù)(欺詐檢測)與Web數(shù)據(jù)(情感分析以實現(xiàn)個性化體驗)分析。
用例
早期采納方比例 網(wǎng)絡(luò)分析 29% IT系統(tǒng)日志分析 28% 傳感器數(shù)據(jù)分析 19% Web行為數(shù)據(jù)分析 16%基因組數(shù)據(jù)分析
9% 社交媒體情感分析 6% 欺詐檢測 6%表1 大數(shù)據(jù)應(yīng)用早期實驗方向
早期采納方比例 網(wǎng)絡(luò)分析 29% IT系統(tǒng)日志分析 28% 傳感器數(shù)據(jù)分析 19% Web行為數(shù)據(jù)分析 16%
基因組數(shù)據(jù)分析
9% 社交媒體情感分析 6% 欺詐檢測 6%
初步實驗對于了解大數(shù)據(jù)基礎(chǔ)設(shè)施收益、潛力與不足之處非常重要。然而根據(jù)CapGemini于2014年發(fā)布的報告，試水性實驗的成功比例并不算 高。其失敗原因主要有三：1)將數(shù)據(jù)分散在多個不同團(tuán)隊中，因此訪問難度較原始設(shè)計更高。2)數(shù)據(jù)被安置于遺留系統(tǒng)當(dāng)中，導(dǎo)致將其導(dǎo)出至大數(shù)據(jù)基礎(chǔ)設(shè)施變 得非常困難。3)缺少統(tǒng)一而明確的全局性數(shù)據(jù)管理與數(shù)據(jù)分析方案，這使得工作人員難以從數(shù)據(jù)內(nèi)提取信息。而隨著此類問題的一一克服，近來我們發(fā)現(xiàn)成功案例 變得愈發(fā)普遍。事實上，目前全球各地對于大數(shù)據(jù)基礎(chǔ)設(shè)施及其附加方案的興趣都呈現(xiàn)出快速升溫之勢(見圖一)。
圖一 各行業(yè)與地區(qū)大數(shù)據(jù)投入數(shù)據(jù)。
企業(yè)客戶持續(xù)投資給初創(chuàng)公司帶來可觀的風(fēng)投支持積極性
企業(yè)向大數(shù)據(jù)技術(shù)投入的資金呈現(xiàn)增長之勢。根據(jù)NewVantage指出，受訪企業(yè)中有27%表示其將在2017年之前向大數(shù)據(jù)項目投入超過5000萬美元資金。而在2014年面向同樣企業(yè)對象的調(diào)查中，這一比例僅為5.4%。
目前，價值萬億美元的行業(yè)，包括醫(yī)療衛(wèi)生、保險、農(nóng)業(yè)、能源、醫(yī)藥、教育、汽車、運輸以及物流等等，都在積極探索如何利用大數(shù)據(jù)利器解決自己面臨的 現(xiàn)實難題。舉例來說，汽車制造商希望分析消費者的信息娛樂選擇以提供更理想的車載信息娛樂體驗，同時亦需要分析車輛性能數(shù)據(jù)以提供預(yù)防性維護(hù)建議。另外， 無線運營商也希望了解消費者如何使用其數(shù)據(jù)，從而更好地提供內(nèi)容并實現(xiàn)營收。
考慮到以上提到的企業(yè)投資與變革力度，風(fēng)險投資商們則更為積極地為大數(shù)據(jù)初創(chuàng)企業(yè)提供資金，如圖三所示。單在2015年年內(nèi)，風(fēng)投方為大數(shù)據(jù)初創(chuàng)企業(yè)提供的資金總額就高達(dá)67億美元，超過2014年的60億美元。
圖二 截至2016年2月大數(shù)據(jù)應(yīng)用總體態(tài)勢圖
出于同樣的理由，大數(shù)據(jù)初創(chuàng)企業(yè)也開始迎來一波收購浪潮。其中包括AOL收購Convertro，谷歌收購Adometry，蘋果收購 Topsy，Teradata收購Aster Data與Think Big Analytics，Salesforce收購Edgespring等等。最近，我們還見證了微軟收購Revolution Analytics，HDS收購Pentaho以及Advance收購1010Data。除此之外，小規(guī)模收購亦層出不窮，包括Amazon收購 Amiato等。
如圖二所示，目前風(fēng)投方的主要關(guān)注重點在于大數(shù)據(jù)基礎(chǔ)設(shè)施與工具。盡管基礎(chǔ)設(shè)施與工具部署同樣顯示出旺盛的生命力，但這里我們姑且將注意力集中在大數(shù)據(jù)應(yīng)用身上。
大數(shù)據(jù)應(yīng)用的崛起
信息技術(shù)中的每個新興領(lǐng)域(例如商務(wù)智能、客戶端/服務(wù)器計算、云計算以及移動計算等)通常都需要經(jīng)歷三個發(fā)展階段：