大數(shù)據(jù)是指無法在一定時間內(nèi)使用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集。大數(shù)據(jù)不僅僅是大,還有它的復(fù)雜性和沙里淘金的重要性。
數(shù)據(jù)大爆炸時代 如何正確看待云計算
隨著網(wǎng)絡(luò)和信息技術(shù)的不斷普及,人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長。大約每兩年翻一番,這意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當于之前產(chǎn)生的全部數(shù)據(jù)量。
戰(zhàn)國《風賦》:“夫風生于地,起于青蘋之末,侵淫溪谷,盛怒于土囊之口,……”
DT時代,未來已來——數(shù)據(jù)“大爆炸”
首先要明白大家為何從前幾年開始談大數(shù)據(jù)了?這是一個基本問題,包含著對當下數(shù)據(jù)現(xiàn)實的基本認識。一個不可忽視的事實是,隨著網(wǎng)絡(luò)和信息技術(shù)的不斷普及,人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長。大約每兩年翻一番,這意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當于之前產(chǎn)生的全部數(shù)據(jù)量。
數(shù)據(jù)“大爆炸”
對于如此巨量數(shù)據(jù)(而且單純的增量數(shù)據(jù)都是一個巨量),與之相關(guān)的存儲、分析、流轉(zhuǎn)、使用到交易等等環(huán)節(jié)產(chǎn)生了一系列關(guān)聯(lián)的問題,而在當下的時間節(jié)點,我們不得不明確面對,而不僅僅是先找個地方把數(shù)據(jù)存起來。
國家信息中心專家委員會主任寧家駿表示:大數(shù)據(jù)是指無法在一定時間內(nèi)使用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集。大數(shù)據(jù)不僅僅是大,還有它的復(fù)雜性和沙里淘金的重要性。
以上是寧家駿從技術(shù)分析角度對數(shù)據(jù)與大數(shù)據(jù)做的區(qū)分,傳統(tǒng)軟件處理的數(shù)量主要是結(jié)構(gòu)化數(shù)據(jù),而且數(shù)量上相對小。當規(guī)模大到需要新的技術(shù)方案的時候,那正是我們重新認識它的時候。
大數(shù)據(jù)有兩大特點,一是數(shù)據(jù)來源多源,包括各種結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),如網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等,同時數(shù)量相對巨大,大數(shù)據(jù)中的‘大’本身就是一個相對的概念;二是數(shù)據(jù)處于“on line”即在線的狀態(tài),能夠隨時被吸取和關(guān)聯(lián),并進行分析。
一般來講,更多智能硬件和這能設(shè)備的加入,更多數(shù)據(jù)實時產(chǎn)生,于是就需要大數(shù)據(jù)技術(shù)來實現(xiàn)對數(shù)據(jù)信息的價值挖掘。大數(shù)據(jù)技術(shù)包括了數(shù)據(jù)采集,數(shù)據(jù)存取,基礎(chǔ)架構(gòu),數(shù)據(jù)處理,統(tǒng)計分析,數(shù)據(jù)挖掘,模型預(yù)測,結(jié)果呈現(xiàn)等八個方面。
而以上幾個方面都離不開云平臺和云計算能力,比如說數(shù)據(jù)采集之后的數(shù)據(jù)存儲,現(xiàn)在很多非核心敏感數(shù)據(jù)都可以存儲在云端;數(shù)據(jù)挖掘也是需要通過云計算和機器學習才能實現(xiàn)。那什么才是云計算呢?
云計算——低成本部署、隨需使用的計算大腦
所謂云計算,非常教科書的說法是“能通過網(wǎng)絡(luò)訪問可擴展的、靈活的、可共享的物理或虛擬資源池,并按需自助獲取和管理這些資源的模式。其中資源實例包括服務(wù)器、操作系統(tǒng)、網(wǎng)絡(luò)、軟件、應(yīng)用和存儲設(shè)備等。 ”
從以上概念可以看出其包括軟件、硬件等資源,簡單說云計算有三層云平臺,第一個是Iaas(Infrastructure as a Service),基礎(chǔ)設(shè)施即服務(wù),以前這些資源都是企業(yè)固有資源,現(xiàn)在可以不再擁有,通過平臺服務(wù)商提供,減輕部署成本;
第二個是Paas(Platform as a service),平臺即服務(wù),開放式的API可以由合作方提供行業(yè)和內(nèi)容的服務(wù);
第三個是SaaS(Software as a service),軟件即服務(wù)。比如我們經(jīng)常使用的手機APP等;
云計算有一個很重要的特點和優(yōu)勢就是資源池化,就是把Iaas,Paas,Saas層的資源(CPU、存儲、網(wǎng)絡(luò)等)放入到資源池中(云服務(wù)器),由云服務(wù)器進行集中管理。云計算里所有的服務(wù)都是通過資源池里的資源而提供的。
我們已經(jīng)進入了新一輪技術(shù)驅(qū)動的時代
那如何理解大數(shù)據(jù)與云計算的關(guān)系?
在中國計算機學會大數(shù)據(jù)專家委員會副主任車品覺看來:人工智能、深度學習,這些都是二十年前就有的技術(shù),但是二十年前沒有大數(shù)據(jù),沒有可以關(guān)聯(lián)的數(shù)據(jù)。所以大數(shù)據(jù)的故事從有了關(guān)聯(lián)才真正開始。
那如何應(yīng)用大數(shù)據(jù)?車品覺表示:首先要了解數(shù)據(jù)的生命周期。“布點”、“收集”、“存儲”,這些是前端,之后需要對數(shù)據(jù)做“識別”、“關(guān)聯(lián)”、“分析”。還有一個能把整個過程包起來的,就是“實時刷新”。這就是數(shù)據(jù)的生命周期,它是一個閉環(huán)。不管你怎么使用大數(shù)據(jù),你首先要了解這個周期。