社交媒體、物聯(lián)網(wǎng)和電子商務的興起,正在促使企業(yè)審視數(shù)據(jù)戰(zhàn)略,希望從大數(shù)據(jù)分析中挖掘更多的商業(yè)價值。
3月11日日本大地震發(fā)生后僅9分鐘,美國國家海洋和大氣管理局(NOAA)就發(fā)布了詳細的海嘯預警。隨即,NOAA通過對海洋傳感器獲得的實時數(shù)據(jù)進行計算機模擬,制作的海嘯影響模型出現(xiàn)在YouTube等網(wǎng)站。
NOAA的快速反應得益于其全球范圍內(nèi)龐大的海洋傳感器網(wǎng)絡。通過這些置于海面和海底的傳感器,NOAA源源不斷地獲取全球范圍的海洋信息,并將這些信息存儲在位于美國新澤西州的數(shù)據(jù)中心。NOAA的數(shù)據(jù)中心存儲著超過20Pb(1024Tb)的數(shù)據(jù),是美國政府最大的數(shù)據(jù)庫之一。
NOAA海嘯研究中心首席科學家Vasily Titov事后向外界表示,“雖然預警系統(tǒng)發(fā)揮了很大價值,但是還沒有快到足以幫助到日本仙臺沿海的居民及時躲避海嘯”。為了在更短時間內(nèi)分析出準確的海嘯活動趨勢,NOAA一直在努力提升其對大數(shù)據(jù)進行處理的能力——這一機構每年的IT預算高達10億美元。
雖然花費巨大,NOAA卻對此樂此不疲,因為數(shù)據(jù)關乎生命。同樣專注于大數(shù)據(jù)投入的還有很多商業(yè)機構,比如eBay、沃爾瑪、中國移動等。他們大都希望從海量的大數(shù)據(jù)中,挖掘更多的商業(yè)價值,這關乎這些企業(yè)能否在大數(shù)據(jù)時代繼續(xù)保持基業(yè)常青。
對于任何企業(yè)來說,數(shù)據(jù)都是其商業(yè)皇冠上最為耀眼奪目的那顆寶石。伴隨著傳統(tǒng)的商業(yè)智能系統(tǒng)向縱深應用的拓展,商業(yè)決策已經(jīng)越來越依賴于數(shù)據(jù)。然而,傳統(tǒng)的商業(yè)智能系統(tǒng)中用以分析的數(shù)據(jù),大都是企業(yè)自身信息系統(tǒng)中產(chǎn)生的運營數(shù)據(jù),這些數(shù)據(jù)大都是標準化、結(jié)構化的。事實上,這些數(shù)據(jù)只占到了企業(yè)所能獲取的數(shù)據(jù)中很小的一部分——不到15%。
通常情況下,企業(yè)的數(shù)據(jù)可以分為3種類型:結(jié)構化數(shù)據(jù)、半結(jié)構化數(shù)據(jù)和非結(jié)構化數(shù)據(jù)。其中,85%的數(shù)據(jù)屬于廣泛存在于社交網(wǎng)絡、物聯(lián)網(wǎng)、電子商務等之中的非結(jié)構化數(shù)據(jù)。這些非結(jié)構化數(shù)據(jù)的產(chǎn)生往往伴隨著社交網(wǎng)絡、移動計算和傳感器等新的渠道和技術的不斷涌現(xiàn)和應用。企業(yè)用以分析的數(shù)據(jù)越全面,分析的結(jié)果就越接近于真實。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力,并將其與已知業(yè)務的各個細節(jié)相融合。
IDC 在其關于大數(shù)據(jù)的報告中,闡述了利用大數(shù)據(jù)的商業(yè)價值:領軍企業(yè)與其他企業(yè)之間最大的顯著差別在于新數(shù)據(jù)類型的引入。那些沒有引入新的分析技術和新的數(shù)據(jù)類型的企業(yè),不太可能成為其行業(yè)的領軍者。
美國奧巴馬總統(tǒng)委員會的科學技術(PAST)顧問、Teradata公司首席技術官Stephen Brobst告訴《商業(yè)價值》記者:“過去3年里產(chǎn)生的數(shù)據(jù)量比以往4萬年的數(shù)據(jù)量還要多,大數(shù)據(jù)時代的來臨已經(jīng)毋庸置疑。我們即將面臨一場變革,新興大數(shù)據(jù)將成為企業(yè)發(fā)展的當務之急,而常規(guī)技術已經(jīng)難以應對Pb級的大規(guī)模數(shù)據(jù)量。這一變化所帶來的挑戰(zhàn),是成功的企業(yè)在未來發(fā)展過程中必須要面對的。只有那些能夠運用這些新數(shù)據(jù)型態(tài)的企業(yè),方能打造可持續(xù)的重要競爭優(yōu)勢。”
“數(shù)”中黃金屋
沃爾瑪是最早通過利用大數(shù)據(jù)而受益的企業(yè)之一,一度擁有世界上最大的數(shù)據(jù)倉庫系統(tǒng)。通過對消費者的購物行為等非結(jié)構化數(shù)據(jù)進行分析,沃爾瑪成為最了解顧客購物習慣的零售商,并創(chuàng)造了“啤酒與尿布”的經(jīng)典商業(yè)案例。早在2007年,沃爾瑪就建立了一個超大的數(shù)據(jù)中心,其存儲能力高達4Pb以上?!督?jīng)濟學人》在2010年的一篇報道中指出,沃爾瑪?shù)臄?shù)據(jù)量已經(jīng)是美國國會圖書館的167倍。
中國移動集團山西有限公司通過大數(shù)據(jù)分析,對企業(yè)運營的全業(yè)務進行針對性的監(jiān)控、預警、跟蹤。系統(tǒng)在第一時間自動捕捉市場變化,再以最快捷的方式推送給指定負責人,使他在最短時間內(nèi)獲知市場行情。
“全面獲取業(yè)務信息非常重要,有時候甚至能顛覆常規(guī)分析思路下做出的結(jié)論。” 中國移動集團山西有限公司業(yè)務支撐系統(tǒng)部經(jīng)理王峰說。比如,一個客戶使用最新款的諾基亞手機,每月準時繳費、平均一年致電客服3次,使用WEP和彩信業(yè)務。如果按照傳統(tǒng)的數(shù)據(jù)分析,可能這是一位客戶滿意度非常高、流失概率非常低的客戶。事實上,當搜集了包括微博、社交網(wǎng)絡等新型來源的客戶數(shù)據(jù)之后,這位客戶的真實情況可能是這樣的:客戶在國外購買的這款手機,手機中的部分功能在國內(nèi)無法使用,在某個固定地點手機經(jīng)常斷線,彩信無法使用——他的使用體驗極差,正在面臨流失風險。
“我們正在打破傳統(tǒng)數(shù)據(jù)源的邊界,更加注重社交媒體等新型數(shù)據(jù)來源。通過各種渠道獲取盡可能多的客戶信息,并從這些數(shù)據(jù)中挖掘更多的價值。”王峰說。
通過大數(shù)據(jù)進行用戶行為的分析,互聯(lián)網(wǎng)企業(yè)的起步普遍更早一些。“5年前我們就建立了大數(shù)據(jù)分析平臺。在這個平臺上,可以將結(jié)構化數(shù)據(jù)和非結(jié)構化數(shù)據(jù)結(jié)合在一起,通過分析促進eBay的業(yè)務創(chuàng)新和利潤增長。” eBay分析平臺高級總監(jiān)Oliver Ratzesberger說。
現(xiàn)在,eBay的分析平臺每天處理的數(shù)據(jù)量高達100PB,超過了納斯達克交易所每天的數(shù)據(jù)處理量。為了準確分析用戶的購物行為,eBay定義了超過500種類型的數(shù)據(jù),對顧客的行為進行跟蹤分析。
在早期,eBay網(wǎng)頁上的每一個功能的更改,通常由對該功能非常了解的產(chǎn)品經(jīng)理決定,判斷的依據(jù)主要是產(chǎn)品經(jīng)理的個人經(jīng)驗。而通過對用戶行為數(shù)據(jù)的分析,網(wǎng)頁上任何功能的修改都交由用戶去決定。“每當有一個不錯的創(chuàng)意或者點子,我們都會在網(wǎng)站上選定一定范圍的用戶進行測試。通過對這些用戶的行為分析,來看這個創(chuàng)意是否帶來了預期的效果。” Oliver Ratzesberger說。
更顯著的變化反應在廣告費上。eBay對互聯(lián)網(wǎng)廣告的投入一直很大,通過購買一些網(wǎng)頁搜索的關鍵字,將潛在客戶引入eBay網(wǎng)站。為了對這些關鍵字廣告的投入產(chǎn)出進行衡量,eBay建立了一個完全封閉式的優(yōu)化系統(tǒng)。通過這個系統(tǒng),可以精確計算出每一個關鍵字為eBay帶來的投資回報。通過對廣告投放的優(yōu)化,自 2007 年以來,eBay 產(chǎn)品銷售的廣告費降低了99%,頂級賣家占總銷售額的百分比卻上升至32%。
掘金大數(shù)據(jù)
沃爾瑪、eBay等領先企業(yè)在大數(shù)據(jù)方面的獲益,毫無疑問起到了示范作用。IBM不久前發(fā)布的“全球CIO調(diào)查之CIO重要啟示”指出,已經(jīng)有83%的CIO擁有涵蓋商業(yè)智能和分析的遠期計劃,并且CIO們開始更多地關注數(shù)據(jù),而非應用。ITValue社區(qū)的調(diào)研結(jié)果也顯示,57%的中國CIO對數(shù)據(jù)的關注程度超過應用。
凡此種種對于大數(shù)據(jù)的普及,確實是利好。一方面,商業(yè)智能的普及,讓企業(yè)對數(shù)據(jù)的重要性已經(jīng)有了充分認識;另一方面,社交媒體、電子商務、物聯(lián)網(wǎng)等新應用的興起,打破了企業(yè)原有價值鏈的圍墻,僅對原有價值鏈各個環(huán)節(jié)的數(shù)據(jù)進行分析,已經(jīng)不能滿足需求。他們需要借助大數(shù)據(jù)戰(zhàn)略打破數(shù)據(jù)邊界,了解更為全面的運營及運營環(huán)境的全景圖。
既然大數(shù)據(jù)關乎企業(yè)智商,那么,駕馭大數(shù)據(jù)的能力也自然成為企業(yè)的核心能力。這種能力將幫助企業(yè)尋找最優(yōu)的模式支持商業(yè)決策,并確保做出接近于最優(yōu)的商業(yè)決策。
但是,駕馭大數(shù)據(jù)的能力并不那么容易獲得。雖然獲取社交媒體、電子商務、物聯(lián)網(wǎng)等新應用中的數(shù)據(jù)并不困難,但是傳統(tǒng)的商業(yè)智能系統(tǒng)與分析軟件,面對以視頻、圖片、文字等非結(jié)構化數(shù)據(jù)為主的大數(shù)據(jù)時,往往束手無策,缺少有效的分析工具和方法。這也為大數(shù)據(jù)的供應商們找到了更為廣闊的利潤增長點。
Teradata公司2011年第1季度的營收比2010年同期增長了18%。在該公司總裁兼首席執(zhí)行官Mike Koehler看來,大數(shù)據(jù)需求市場的強勁表現(xiàn),是營收增長的重要原來,“許多公司面臨著從持續(xù)呈幾何級數(shù)增長的數(shù)據(jù)中管理以及萃取數(shù)據(jù)價值的挑戰(zhàn)。此外,網(wǎng)絡互動、社交媒體、移動計算和傳感器等來源產(chǎn)生的新數(shù)據(jù)元素,提供了企業(yè)利用分析推動創(chuàng)新和贏得競爭的新機遇。這對數(shù)據(jù)倉庫的擴展性和管理復雜性提出了前所未見的極高要求,而這正是我們的擅長之處。”
為了增強在大數(shù)據(jù)分析領域的優(yōu)勢, Teradata還收購Aster Data公司,以增強其非傳統(tǒng)數(shù)據(jù)分析的能力,突破了SQL分析的限制,協(xié)助企業(yè)從全部數(shù)據(jù)中獲取更多價值。
EMC是另一家將大數(shù)據(jù)作為重要發(fā)展戰(zhàn)略的IT公司。2011年EMC World上,大數(shù)據(jù)和云計算成為EMC提及頻率最高的詞匯。EMC希望借助在大數(shù)據(jù)和云計算兩個方向的耕耘,重新定位這家傳統(tǒng)存儲廠商的未來戰(zhàn)略。
IBM在大數(shù)據(jù)領域的優(yōu)勢,相比于Teradata和EMC則更為全面。IBM在硬件與軟件方面的優(yōu)勢,在大數(shù)據(jù)解決方案上得到了延續(xù)——IBM希望提供端到端、整體的大數(shù)據(jù)解決方案。而機器人“沃森”在人機大戰(zhàn)中獲勝,更成為IBM為其大數(shù)據(jù)分析解決方案加分的例證。
此外,HP、Oracle等公司在大數(shù)據(jù)領域也有著明顯的優(yōu)勢。從目前的態(tài)勢來看,由于大數(shù)據(jù)的技術門檻較高,在大數(shù)據(jù)領域展開競爭的IT公司,大都仍然是在數(shù)據(jù)存儲、分析等領域有著傳統(tǒng)優(yōu)勢的廠商。
同時,隨著企業(yè)客戶越來越看中供應商的整體解決方案交付能力,大數(shù)據(jù)又是涉及數(shù)據(jù)的獲取、存儲、分析等眾多技術與應用的集合。隨著大數(shù)據(jù)需求的不斷爆發(fā),將加速各大IT公司在這一領域的收購步伐,一些提供單一技術方案的IT公司,很可能難逃被收購的命運。