除了“物聯(lián)網(wǎng)”和“云計算”，IT業(yè)又出現(xiàn)了一個新名詞——大數(shù)據(jù)。如今，大數(shù)據(jù)甚至引起了工商界和金融界的高度關(guān)注，人們認為大數(shù)據(jù)將為數(shù)據(jù)應(yīng)用和決策支持提供有效幫助，成為物聯(lián)網(wǎng)和云計算內(nèi)在的靈魂和必然的發(fā)展趨勢。大數(shù)據(jù)目前尚沒有統(tǒng)一的定義，通常被認為是一種數(shù)據(jù)量很大、數(shù)據(jù)形式多樣化的非結(jié)構(gòu)化數(shù)據(jù)。


這里我們先弄清楚幾個概念，結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)可以在關(guān)系數(shù)據(jù)庫中找到，多年來一直主導(dǎo)著IT應(yīng)用;半結(jié)構(gòu)化數(shù)據(jù)包括電子郵件、文字處理文件以及大量發(fā)布在網(wǎng)絡(luò)上的新聞等，以內(nèi)容為基礎(chǔ)，這也是谷歌和百度存在的理由;而非結(jié)構(gòu)化數(shù)據(jù)廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)之中。伴隨著社交網(wǎng)絡(luò)、移動計算和傳感器等新技術(shù)不斷產(chǎn)生，有報告稱，超過85%的數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)。


很多人相信這些龐大的異構(gòu)數(shù)據(jù)中蘊含著巨大財富——企業(yè)如果能在這些非結(jié)構(gòu)化數(shù)據(jù)中挖掘知識并與業(yè)務(wù)融合，決策的依據(jù)將會更加全面和準確;在科學(xué)、體育、廣告和公共衛(wèi)生等其他領(lǐng)域中，也有著向數(shù)據(jù)驅(qū)動型的發(fā)現(xiàn)和決策方式轉(zhuǎn)變的趨勢。

大數(shù)據(jù)的推動因素主要來自于一些大型IT公司，如谷歌、亞馬遜、中國移動、阿里巴巴等，他們需要以更加優(yōu)化的方式存儲和分析數(shù)據(jù)。此外，還有一些來自健康醫(yī)療、地理空間遙感和數(shù)字媒體等行業(yè)的大數(shù)據(jù)需求。據(jù)市場研究公司統(tǒng)計，未來10年里預(yù)計數(shù)字信息總量將在2009年到2020年增長44倍，全球數(shù)據(jù)使用量將達到大約35.2ZB(1ZB=10億TB)。

大數(shù)據(jù)呈現(xiàn)出“4V+1C”的特點：(1)Variety，大數(shù)據(jù)種類繁多，在編碼方式、數(shù)據(jù)格式、應(yīng)用特征等多個方面存在差異性，多信息源并發(fā)形成大量的異構(gòu)數(shù)據(jù);(2)Volume，通過各種設(shè)備產(chǎn)生的海量數(shù)據(jù)，其數(shù)據(jù)規(guī)模極為龐大，遠大于目前互聯(lián)網(wǎng)上的信息流量，PB級別將是常態(tài);(3)Velocity，涉及到感知、傳輸、決策、控制開放式循環(huán)的大數(shù)據(jù)，對數(shù)據(jù)實時處理有著極高的要求，通過傳統(tǒng)數(shù)據(jù)庫查詢方式得到的“當前結(jié)果”很可能已經(jīng)沒有價值;(4)Vitality，數(shù)據(jù)持續(xù)到達，并且只有在特定時間和空間中才有意義;(5)Complexity，通過數(shù)據(jù)庫處理持久存儲的數(shù)據(jù)不再適用于大數(shù)據(jù)處理，需要有新的方法來滿足異構(gòu)數(shù)據(jù)統(tǒng)一接入和實時數(shù)據(jù)處理的需求。


Apache的Hadoop已成為大數(shù)據(jù)行業(yè)發(fā)展背后的技術(shù)推動力，Hive和Pig等技術(shù)也經(jīng)常被提到。同時，旨在從非結(jié)構(gòu)化數(shù)據(jù)的龐大寶藏中獲得知識和洞察力的計算機工具也正在迅速發(fā)展中。這些工具的發(fā)展依賴于不斷進步的人工智能技術(shù)，比如自然語言處理、模式識別和機器學(xué)習(xí)等。


可以預(yù)見，未來一兩年內(nèi)，將會涌現(xiàn)大量能夠處理大型非結(jié)構(gòu)化數(shù)據(jù)的工具和平臺。除了Hadoop的批量化處理方式之外，基于流數(shù)據(jù)處理的方式也將在實時數(shù)據(jù)分析應(yīng)用中發(fā)揮作用。此外，大數(shù)據(jù)熱潮還將對可視化的理解和需求提出新的挑戰(zhàn)?？梢暬跀?shù)據(jù)工作流中將同時起到解釋和探索的作用，數(shù)據(jù)科學(xué)家會將可視化作為尋求問題以及探索數(shù)據(jù)集新特性的一種方式。


由于大數(shù)據(jù)的技術(shù)門檻較高，因此目前在該領(lǐng)域展開競爭的大都是在數(shù)據(jù)存儲、分析等領(lǐng)域有著傳統(tǒng)優(yōu)勢的廠商。2012年1月，Oracle正式發(fā)布Oracle大數(shù)據(jù)機。IBM在大數(shù)據(jù)領(lǐng)域的優(yōu)勢則在于全面，而機器人“沃森”在人機大戰(zhàn)中獲勝，更成為IBM為其大數(shù)據(jù)分析解決方案加分的例證。


中國市場在這個新興領(lǐng)域非常重要。中國有龐大的人口基數(shù)，IT基礎(chǔ)設(shè)施也比較成熟，數(shù)據(jù)量是不可想象的。樂觀的人已經(jīng)看到了其中的機會，不論是出于應(yīng)對海量數(shù)據(jù)的需要進行系統(tǒng)升級，還是試圖從數(shù)據(jù)中挖掘價值的沖動，都有可能迎來一個充滿智慧的“數(shù)據(jù)創(chuàng)新”時代。　(劉禹 作者單位：中科院自動化所)