大數(shù)據(jù)這個話題，從西到東，從IT業(yè)內(nèi)到政府官員，已經(jīng)火了兩年，但還沒有完全一致的定義。目前業(yè)界一般認(rèn)同Gartner的描述，即：凡是具有“3V”特性的數(shù)據(jù)集，就是大數(shù)據(jù)。其一為Volume，極大的數(shù)據(jù)量;其二為Variety，極復(fù)雜的數(shù)據(jù)類型與數(shù)據(jù)來源;其三為VelocITy，極高的數(shù)據(jù)產(chǎn)生、傳播，以及反應(yīng)速度。
在我看來，組織決策者要跨越大數(shù)據(jù)時代的“數(shù)據(jù)鴻溝”，就需要具備大數(shù)據(jù)戰(zhàn)略、大數(shù)據(jù)管理和大數(shù)據(jù)生態(tài)三大能力。
大數(shù)據(jù)戰(zhàn)略：視野，觀點，價值
大數(shù)據(jù)的價值已經(jīng)為電商、快消、廣告等多個行業(yè)的案例所證明，但挖掘出大數(shù)據(jù)的價值并不容易。我認(rèn)為，企業(yè)決策者在制定大數(shù)據(jù)戰(zhàn)略時，需要從Vision(視野)、View(觀點)、Value(價值)這“新3V”入手。
第一點從視野講，企業(yè)CEO一定要把大數(shù)據(jù)、云計算作為企業(yè)核心戰(zhàn)略，而不能僅僅把大數(shù)據(jù)當(dāng)成是企業(yè)IT管理的一個方面。要下決心投入，無論軟件方面還是硬件設(shè)施。
第二是要有企業(yè)自己的觀點，即收集和處理數(shù)據(jù)的策略。例如股市，大家很多時候面對同樣的數(shù)據(jù)，但是對數(shù)據(jù)的處理方式是不一樣的，有些人說股市下行時候投入，有些人說股市下行時候要撤出。對同樣的數(shù)據(jù)，甚至同樣的軟件，決策方式、觀點不一樣，處理結(jié)果就會大大不同，這個應(yīng)該成為公司決策體系的一個核心。
第三是價值，要在確定思路后，把對數(shù)據(jù)的分析，轉(zhuǎn)化為能解決實際問題的執(zhí)行，從而實現(xiàn)大數(shù)據(jù)的價值。正如馬云最近所舉的例子，在淘寶上比基尼賣得最好的省份是哪兒?是內(nèi)蒙古和新疆，而不是人們通常會認(rèn)為的海南、廣東等沿海地區(qū)。大數(shù)據(jù)能幫助人們發(fā)現(xiàn)事物間隱藏的內(nèi)在關(guān)聯(lián)，但并不意味著能直接帶來社會和商業(yè)價值。如果你是泳衣、防曬霜的生產(chǎn)商，又會制定怎樣的營銷策略呢?
大數(shù)據(jù)管理：簡易、開放、靈活
大數(shù)據(jù)戰(zhàn)略重要，但更重要的是如何執(zhí)行，也就是大數(shù)據(jù)管理問題。也可以通過三步走的方式來解決。首先是如何獲取、存儲和保護數(shù)據(jù);其二是數(shù)據(jù)豐富，即如何清洗、發(fā)現(xiàn)不同數(shù)據(jù)間的數(shù)據(jù)相關(guān)性;其三是數(shù)據(jù)洞察力，即通過分析、呈現(xiàn)與決策工具獲得洞察力，并最終通過付諸行動，產(chǎn)生價值。
微軟的大數(shù)據(jù)管理平臺，有著對大數(shù)據(jù)生命周期的全方位考慮，這也是為什么我們將Hadoop等開源架構(gòu)，整合到微軟的大數(shù)據(jù)平臺里，一方面是將Hadoop作為對非關(guān)系型數(shù)據(jù)處理的補充;另一方面是將Hadoop作為一個服務(wù)，整合到微軟的公有云與私有云平臺中。值得強調(diào)的是，微軟不是簡單地將Hadoop遷移到微軟的大數(shù)據(jù)平臺上，而是真正的融合，會系統(tǒng)地考慮其可用性、可靠性、安全性、部署的簡易性與靈活性，乃至對Hadoop上工具的集成與優(yōu)化。與此同時，微軟也會堅持開源的原則，將在Hadoop上做的一些研發(fā)工作回饋給社區(qū)，與社區(qū)形成良性互動。
大數(shù)據(jù)生態(tài)：平臺商、數(shù)據(jù)商、開發(fā)者、數(shù)據(jù)玩家
未來的大數(shù)據(jù)生態(tài)，同樣會遵循最樸素的市場規(guī)則，不同角色的組織和個人，通過逐漸成熟的交換機制，各取所需——平臺商提供數(shù)據(jù)交易、數(shù)據(jù)分析的場所和基本工具。
原始數(shù)據(jù)商提供自由交易的數(shù)據(jù)集;開發(fā)者提供基于數(shù)據(jù)集的應(yīng)用和服務(wù)，以及定制化的分析和呈現(xiàn)工具;數(shù)據(jù)玩家如同股民，在市場中尋找值得投資的數(shù)據(jù)集或者機構(gòu)進(jìn)行投資，獲得回報;現(xiàn)在人們炒房、炒股、炒黃金，將來或許人們會炒數(shù)據(jù)。
微軟已經(jīng)通過Windows Azure上的Marketplace在進(jìn)行這樣的嘗試，目前主要針對的是商業(yè)用戶，已經(jīng)能將第三方解決方案提供商、服務(wù)提供商、模塊提供商和最終的商業(yè)用戶通過這一虛擬市場聯(lián)結(jié)在一起，可以發(fā)起自由交易。在這個基礎(chǔ)上，我們又延伸出一個數(shù)據(jù)集市，讓數(shù)據(jù)集的擁有者可以把數(shù)據(jù)發(fā)布到集市上，提供很多很細(xì)致的數(shù)據(jù)集，小到電影院座位和路況，大到國家宏觀經(jīng)濟發(fā)展數(shù)據(jù)。這就能讓開發(fā)者可以通過微軟的一些簡單易用的API或者工具，把這些數(shù)據(jù)整合到自己的環(huán)境里，開發(fā)新的應(yīng)用。
這樣的大數(shù)據(jù)生態(tài)顯然是健康、可持續(xù)的。對微軟、亞馬遜、谷歌、VMware這樣的平臺商而言，專心做好底層云計算基礎(chǔ)架構(gòu)和大數(shù)據(jù)服務(wù)平臺;對淘寶、中國移動、政府各部委這樣的數(shù)據(jù)商來說，原本只能自己用的數(shù)據(jù)，在這個模式下可以產(chǎn)生更多的社會和商業(yè)價值;對Salesforce、SAP、用友、金蝶等應(yīng)用開發(fā)商來說，傳統(tǒng)的、非常困難的、非常繁瑣的數(shù)據(jù)整合，現(xiàn)在通過這樣一個集市，可以首次實現(xiàn)把不同應(yīng)用系統(tǒng)產(chǎn)生的數(shù)據(jù)整合起來，發(fā)現(xiàn)價值;對數(shù)據(jù)玩家來說，能夠有一個朝陽式的投資平臺可供選擇，且不那么容易被大機構(gòu)操縱。