大部分專家都相信可以從巨量的數(shù)據(jù)中找到寶石和金子。英國牛津大學(xué)曾對全球各行業(yè)工作者做過一份調(diào)查問卷,2/3受訪者認(rèn)為,使用數(shù)據(jù)和分析軟件可以使他們保持競爭優(yōu)勢。問題是,這些“金礦挖掘者”今天如何從如此巨大的數(shù)據(jù)山里挖到金子?
從3V到4V
等著要發(fā)掘的“金子”,指的是用于記錄、存儲(chǔ)和分析大量的數(shù)據(jù),以及以合適的形式顯示該結(jié)果的“大數(shù)據(jù)”新技術(shù)?,F(xiàn)在最被人們廣泛討論的話題是用戶購物、搜索或網(wǎng)購的數(shù)據(jù),或利用全球金融和通信網(wǎng)絡(luò)而產(chǎn)生的數(shù)據(jù)。還有銀行、電信和保險(xiǎn)業(yè)通過建立使用者信息與交易記錄的分析模型,來增加利潤和降低風(fēng)險(xiǎn)等等。大數(shù)據(jù)的時(shí)代,使我們能夠探索人類的行為,探索人類本身的奧秘,這在以前在很大程度上是不可能的。我們經(jīng)常使用的工具和終端,幫助我們獲得和體驗(yàn)這方面的感受。
由于都想成為“掘金者”,從大數(shù)據(jù)挖掘價(jià)值,目前具有深入的分析、數(shù)學(xué)、統(tǒng)計(jì)、規(guī)劃技能的數(shù)據(jù)分析師正炙手可熱,已沒有足夠多的人才可滿足需求。美國大型銀行和聯(lián)邦機(jī)構(gòu)正在越來越多地聘請“首席數(shù)據(jù)官”(CDO)和數(shù)據(jù)分析師,以促進(jìn)對于整個(gè)組織機(jī)構(gòu)中的所有功能數(shù)據(jù)的收集、分析、分發(fā)和應(yīng)用的戰(zhàn)略思考。
大數(shù)據(jù)有所謂的3V特征:即“大量化”(Volume)、“多樣化”(Variety)和“快速化”(Velocity)。然而,光是大量的數(shù)據(jù)采集是不夠的,這些數(shù)據(jù)本身還需要有較高價(jià)值,即增加第四個(gè)V:Value(價(jià)值),成為4V。而經(jīng)過“大數(shù)據(jù)”技術(shù)的處理(數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)處理、數(shù)據(jù)顯示等)之后更會(huì)產(chǎn)生較高的價(jià)值。
用智能數(shù)據(jù)建立智能系統(tǒng)
啤酒+尿布是值得挖掘的數(shù)據(jù);而從工業(yè)設(shè)施、建筑物、能源系統(tǒng)和醫(yī)院產(chǎn)生的比特和字節(jié),含金量更高,更值得挖掘,因?yàn)樗鼈兛梢杂糜诮⑵鹬悄芟到y(tǒng),這些比特和字節(jié)就是智能數(shù)據(jù)。我們來談?wù)勚悄軘?shù)據(jù)如何建立起一個(gè)智能系統(tǒng)。
終端通過連接、把它們管道化,對人們帶來了極大的便利,大大提高了生產(chǎn)率。但是這些還不夠,還需要體現(xiàn)“智能化”,實(shí)現(xiàn)智能系統(tǒng)?,F(xiàn)在我們經(jīng)常在提到智能手機(jī)、智能電表、智能電網(wǎng)、智能家居、智慧城市等等,都是希望人們使用的設(shè)備和終端能夠根據(jù)人們的需要自動(dòng)編程,實(shí)現(xiàn)自動(dòng)化,盡量避免人工介入。
這樣一種“智能化”,需要具備兩個(gè)條件:首先是“管道化”(互聯(lián)網(wǎng)思維的核心是“管道化思維”),就是把所有的終端或節(jié)點(diǎn)全部連接起來,互相之間能夠有“溝通”(即發(fā)生交互作用);另一個(gè)是各個(gè)終端本身具備一個(gè)“小電腦”,即帶有處理器芯片,可以通過軟件處理和產(chǎn)生“智能數(shù)據(jù)”。有了這兩個(gè)基本條件,就可以體現(xiàn)出一定程度的智能。
以抽水馬桶為例。抽水馬桶是已經(jīng)管道化的馬桶,再加上上述第二個(gè)條件,就可以變成一個(gè)“智能馬桶”。具體可以這樣來實(shí)施:在馬桶里裝有一片微處理器芯片和一片生化芯片(Lab-on-Chip,LOC),對人們的排泄物自動(dòng)提取和分析,然后把分析結(jié)果通過管道,如WiFi送到醫(yī)生那里,醫(yī)生把每天的分析數(shù)據(jù)與事先存儲(chǔ)的數(shù)據(jù)進(jìn)行對比,給這位坐過這個(gè)馬桶的人發(fā)出營養(yǎng)指標(biāo)提醒和生理指標(biāo)提醒,如果必要的話則寫處方,提醒他服用藥物或到醫(yī)院進(jìn)一步檢查。另一方面,根據(jù)這個(gè)馬桶的軟件分析結(jié)果,會(huì)得出缺少哪種營養(yǎng)的具體數(shù)據(jù),然后通過無線通信的管道傳送到超市,超市會(huì)根據(jù)這些數(shù)據(jù)選出合適的食品通過快遞服務(wù)送達(dá)家中。
抽水馬桶還可以包含其他各種傳感器進(jìn)行“管道連接”,如每次使用自動(dòng)記錄用水量;如有漏水,自動(dòng)通知維修人員或物業(yè)管理處派人來檢修;如有堵塞,就會(huì)自動(dòng)通知管道維修人員來疏通;如水漕不進(jìn)水,也會(huì)自動(dòng)通知相關(guān)人員來處理等等,這些都會(huì)產(chǎn)生一定的數(shù)據(jù)量。
我們必須了解這些智能數(shù)據(jù)的量,以便正確地評(píng)估它;我們必須知道各種器件和設(shè)施是如何工作的,了解我們需要哪些傳感器和測量技術(shù)來獲得真正重要的智能數(shù)據(jù)。決定性的因素不一定是數(shù)據(jù)量大,而是有價(jià)值的內(nèi)容。
這樣的智能數(shù)據(jù)可以體現(xiàn)在各個(gè)領(lǐng)域。如對于一個(gè)大型燃?xì)廨啓C(jī),有幾百個(gè)傳感器每秒鐘在測量溫度、壓力、流量、氣體組成。如果人們很了解設(shè)施的物理特性,因此知道如何正確地分析這些數(shù)據(jù),就可以給發(fā)電廠非常有用的建議,來提高電力的使用效率并減少污染。同樣的措施可以用于風(fēng)力發(fā)電、建筑物、鋼鐵廠和整個(gè)城市。所有這些領(lǐng)域里,必須不僅收集數(shù)據(jù),而且還理解數(shù)據(jù)。處理的數(shù)據(jù)是智能數(shù)據(jù),得出的結(jié)論用于將企業(yè)或城市變得更智能。