
三、大數(shù)據(jù)的類型和價(jià)值挖掘方法
1、大數(shù)據(jù)的類型大致可分為三類:
1)傳統(tǒng)企業(yè)數(shù)據(jù)(Traditionalenterprisedata):包括 CRM systems的消費(fèi)者數(shù)據(jù),傳統(tǒng)的ERP數(shù)據(jù),庫存數(shù)據(jù)以及賬目數(shù)據(jù)等。
2)機(jī)器和傳感器數(shù)據(jù)(Machine-generated/sensor data):包括呼叫記錄(CallDetail Records),智能儀表,工業(yè)設(shè)備傳感器,設(shè)備日志(通常是Digital exhaust),交易數(shù)據(jù)等。
3)社交數(shù)據(jù)(Socialdata):包括用戶行為記錄,反饋數(shù)據(jù)等。如Twitter,F(xiàn)acebook這樣的社交媒體平臺。
2、大數(shù)據(jù)挖掘商業(yè)價(jià)值的方法主要分為四種:
1)客戶群體細(xì)分,然后為每個(gè)群體量定制特別的服務(wù)。
2)模擬現(xiàn)實(shí)環(huán)境,發(fā)掘新的需求同時(shí)提高投資的回報(bào)率。
3)加強(qiáng)部門聯(lián)系,提高整條管理鏈條和產(chǎn)業(yè)鏈條的效率。
4)降低服務(wù)成本,發(fā)現(xiàn)隱藏線索進(jìn)行產(chǎn)品和服務(wù)的創(chuàng)新。
四、大數(shù)據(jù)的特點(diǎn)
業(yè)界通常用4個(gè)V(即Volume、Variety、Value、Velocity)來概括大數(shù)據(jù)的特征。具體來說,大數(shù)據(jù)具有4個(gè)基本特征:
1、是數(shù)據(jù)體量巨大
數(shù) 據(jù)體量(volumes)大,指代大型數(shù)據(jù)集,一般在10TB規(guī)模左右,但在實(shí)際應(yīng)用中,很多企業(yè)用戶把多個(gè)數(shù)據(jù)集放在一起,已經(jīng)形成了PB級的數(shù)據(jù)量; 百度資料表明,其新首頁導(dǎo)航每天需要提供的數(shù)據(jù)超過1.5PB(1PB=1024TB),這些數(shù)據(jù)如果打印出來將超過5千億張A4紙。有資料證實(shí),到目前 為止,人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量僅為200PB。
2、是數(shù)據(jù)類別大和類型多樣
數(shù)據(jù)類別(variety)大,數(shù)據(jù)來自多種數(shù)據(jù)源,數(shù)據(jù)種類和格式日漸豐富,已沖破了以前所限定的結(jié)構(gòu)化 數(shù)據(jù)范疇,囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)?,F(xiàn)在的數(shù)據(jù)類型不僅是文本形式,更多的是圖片、視頻、音頻、地理位置信息等多類型的數(shù)據(jù),個(gè)性化數(shù)據(jù)占絕對多數(shù)。
3、是處理速度快
在數(shù)據(jù)量非常龐大的情況下,也能夠做到數(shù)據(jù)的實(shí)時(shí)處理。數(shù)據(jù)處理遵循“1秒定律”,可從各種類型的數(shù)據(jù)中快速獲得高價(jià)值的信息。
4、是價(jià)值真實(shí)性高和密度低
數(shù)據(jù)真實(shí)性(Veracity)高,隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應(yīng)用數(shù)據(jù)等新數(shù)據(jù)源的興趣,傳統(tǒng)數(shù)據(jù)源的局限被打破,企業(yè)愈發(fā)需要有效的信息之力以確保其真實(shí)性及安全性。以視頻為例,一小時(shí)的視頻,在不間斷的監(jiān)控過程中,可能有用的數(shù)據(jù)僅僅只有一兩秒。
五、大數(shù)據(jù)的作用
1、對大數(shù)據(jù)的處理分析正成為新一代信息技術(shù)融合應(yīng)用的結(jié)點(diǎn)
移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、數(shù)字家庭、電子商務(wù)等是新一代信息技術(shù)的應(yīng)用形態(tài),這些應(yīng)用不斷產(chǎn)生大數(shù)據(jù)。云計(jì)算為這些海量、多樣化的大數(shù)據(jù)提供存儲和運(yùn)算平臺。通過對不同來源數(shù)據(jù)的管理、處理、分析與優(yōu)化,將結(jié)果反饋到上述應(yīng)用中,將創(chuàng)造出巨大的經(jīng)濟(jì)和社會(huì)價(jià)值。
大數(shù)據(jù)具有催生社會(huì)變革的能量。但釋放這種能量,需要嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)治理、富有洞見的數(shù)據(jù)分析和激發(fā)管理創(chuàng)新的環(huán)境(Ramayya Krishnan,卡內(nèi)基·梅隆大學(xué)海因茲學(xué)院院長)。
2、大數(shù)據(jù)是信息產(chǎn)業(yè)持續(xù)高速增長的新引擎
面向大數(shù)據(jù)市場的新技術(shù)、新產(chǎn)品、新服務(wù)、新業(yè)態(tài)會(huì)不斷涌現(xiàn)。在硬件與集成設(shè)備領(lǐng)域,大數(shù)據(jù)將對芯片、存儲產(chǎn)業(yè)產(chǎn)生重要影響,還將催生一體化數(shù)據(jù)存儲處理服務(wù)器、內(nèi)存計(jì)算等市場。在軟件與服務(wù)領(lǐng)域,大數(shù)據(jù)將引發(fā)數(shù)據(jù)快速處理分析、數(shù)據(jù)挖掘技術(shù)和軟件產(chǎn)品的發(fā)展。
3、大數(shù)據(jù)利用將成為提高核心競爭力的關(guān)鍵因素
各 行各業(yè)的決策正在從“業(yè)務(wù)驅(qū)動(dòng)” 轉(zhuǎn)變“數(shù)據(jù)驅(qū)動(dòng)”。對大數(shù)據(jù)的分析可以使零售商實(shí)時(shí)掌握市場動(dòng)態(tài)并迅速做出應(yīng)對;可以為商家制定更加精準(zhǔn)有效的營銷策略提供決策支持;可以幫助企業(yè)為消費(fèi) 者提供更加及時(shí)和個(gè)性化的服務(wù);在醫(yī)療領(lǐng)域,可提高診斷準(zhǔn)確性和藥物有效性;在公共事業(yè)領(lǐng)域,大數(shù)據(jù)也開始發(fā)揮促進(jìn)經(jīng)濟(jì)發(fā)展、維護(hù)社會(huì)穩(wěn)定等方面的重要作 用。