3V模型與擴(kuò)展
“大數(shù)據(jù)”現(xiàn)在是一個炙手可熱的詞語,這個詞雖然比較新,但收集與存儲大量信息的歷史卻不短了。
早在本世紀(jì)初,行業(yè)分析師Doug Laney就提出了“3V模型”來定義大數(shù)據(jù),如今已經(jīng)成為主流。所謂“3V模型”分別是指數(shù)據(jù)量(Volume)、速率(Velocity)、多樣性(Variety)。
數(shù)據(jù)量(Volume)是指一些組織從商業(yè)交易、社會媒體等來源收集數(shù)據(jù),從傳感器或者機(jī)器通信(M2M)數(shù)據(jù)中獲取信息。以前存儲這些數(shù)據(jù)或者信息是一個難題,但新興的技術(shù)(如Hadoop等)減輕了這項負(fù)擔(dān)。
速率(Velocity)是指數(shù)據(jù)以一種空前的速度流入,而且必須得到及時的處理。無線射頻識別(RFID)標(biāo)簽、傳感器以及智能儀表使得對于連續(xù)涌來的數(shù)據(jù)進(jìn)行“準(zhǔn)實時”處理的需求越發(fā)突出。
多樣性(Variety)獲得的數(shù)據(jù)具有各種各樣的格式(從傳統(tǒng)數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)值型數(shù)據(jù)到非結(jié)構(gòu)化的文本文檔、郵件、視頻、音頻、股票行情及經(jīng)濟(jì)交易等)。
不過SAS對大數(shù)據(jù)另有獨到看法。SAS是在中國的文化大革命時期建立和發(fā)展起來的一家數(shù)據(jù)處理公司,現(xiàn)在已經(jīng)是數(shù)據(jù)行業(yè)的領(lǐng)軍企業(yè)。SAS在3V模型的基礎(chǔ)上加入了另外兩個維度:可變性(Variability)和復(fù)雜性(Complexity)。
可變性(Variability)是指數(shù)據(jù)流不穩(wěn)定易變化的特征。除了數(shù)據(jù)速率提升及多樣性增加的問題,數(shù)據(jù)流還有著極不穩(wěn)定的周期峰值。是否有什么在社會媒體中起了導(dǎo)向作用?每日的、季度的以及事件觸發(fā)性的數(shù)據(jù)負(fù)載高峰會給數(shù)據(jù)管理造成極大的挑戰(zhàn),這在處理非結(jié)構(gòu)化數(shù)據(jù)時尤為明顯。
復(fù)雜性(Complexity)是指隨著數(shù)據(jù)來源多樣化、數(shù)據(jù)流可變性增加,數(shù)據(jù)處理日益復(fù)雜化。如今數(shù)據(jù)的來源各種各樣,這會給跨系統(tǒng)的數(shù)據(jù)關(guān)聯(lián)、匹配、清洗以及轉(zhuǎn)換造成困難。然而,對數(shù)據(jù)間的關(guān)系、層級以及多數(shù)據(jù)間的聯(lián)結(jié)點進(jìn)行關(guān)聯(lián)是十分重要的,否則你的數(shù)據(jù)很快就會失控。
來自VISA的啟示
全球已產(chǎn)生的和存儲的數(shù)據(jù)量是無法想象的,而且它還在持續(xù)增長。毫無疑問,大數(shù)據(jù)在商業(yè)分析方面有巨大的潛力。那么企業(yè)怎樣才能更好地應(yīng)用這些每天新增的原始數(shù)據(jù)呢?
大數(shù)據(jù)的重要性不在于你擁有多少數(shù)據(jù),而在于你如何使用這些數(shù)據(jù)。你能從任意來源渠道獲取數(shù)據(jù),并且通過對其進(jìn)行分析從而減少損耗、縮短用時、發(fā)展新產(chǎn)品和優(yōu)化供應(yīng)方案、最終使智能決策成為可能。
著名的信用卡服務(wù)公司VISA就利用大數(shù)據(jù),減少了欺騙性信用卡和借貸卡的辦理。和絕大多數(shù)信用卡公司一樣,Visa在為客戶提供看不見的服務(wù)的時候面臨著詐騙活動的挑戰(zhàn)——解決這個問題的難處在于提供服務(wù)和避免欺詐并不能總是一同解決。
比如說,當(dāng)信用卡公司首次運(yùn)用計算機(jī)系統(tǒng)自動分析判斷欺詐交易時,有更多的在外度假或公干的客戶反映支付被拒,因為這項技術(shù)的難點在于計算機(jī)很難評估用戶是在旅游,還是信用卡被盜刷了。
Visa中為北亞問題提供解決方案的負(fù)責(zé)人Nathan Falkenborg說:“如果我們得知你很可能在旅游,那么我們就會告訴你參與的金融機(jī)構(gòu),讓你在購物的時候不會被拒絕支付,我們也會協(xié)助銀行制定更優(yōu)的Visa工具和積分系統(tǒng)的使用策略。”
而利用大數(shù)據(jù)分析,Visa可以實時地分析超過500項獨立的變量,來判斷用戶到底是在異地度假或公干使用信用卡、還是用戶的信用卡在異地被盜刷了。這對于減少欺騙性交易、又不讓用戶被不必要的支付遭拒所困擾有很大的幫助,而且潛在地節(jié)省了每年二十億美元的欺騙性支付額。
各行業(yè)如何利用大數(shù)據(jù)
大數(shù)據(jù)對幾乎每個行業(yè)的組織都產(chǎn)生了影響,讓我們來看看每個產(chǎn)業(yè)怎樣才能從信息的大量涌入中獲益呢。
銀行
隨著大量的信息流,銀行正在尋找新的并且創(chuàng)新的方法來管理大數(shù)據(jù)。雖然去理解顧客和讓他們更滿意是很重要的,但是在遵從法規(guī)的同時減少風(fēng)險和欺詐也是同樣的重要。大數(shù)據(jù)帶來了偉大的見解,但是它也要求金融機(jī)構(gòu)要利用先進(jìn)的分析策略和技術(shù),在這場大數(shù)據(jù)游戲中領(lǐng)先一步。
教育
有著數(shù)據(jù)驅(qū)動思維的教育者將對教育系統(tǒng),學(xué)生和課程產(chǎn)生重要的影響。通過分析大數(shù)據(jù),他們可以識別有潛在困難的學(xué)生,從而確保學(xué)生在學(xué)業(yè)上有適當(dāng)?shù)倪M(jìn)展,還可以形成一個更好的系統(tǒng),以評估和支持教師和校長。