云計算和大數(shù)據(jù)之間的關(guān)系可以用下面的一張圖來說明,兩者之間結(jié)合后會產(chǎn)生如下效應(yīng):可以提供更多基于海量業(yè)務(wù)數(shù)據(jù)的創(chuàng)新型服務(wù);通過云計算技術(shù)的不斷發(fā)展降低大數(shù)據(jù)業(yè)務(wù)的創(chuàng)新成本。
如果將云計算與大數(shù)據(jù)進行一些比較,最明顯的區(qū)分在兩個方面:
第一,在概念上兩者有所不同,云計算改變了IT,而大數(shù)據(jù)則改變了業(yè)務(wù)。然而大數(shù)據(jù)必須有云作為基礎(chǔ)架構(gòu),才能得以順暢運營。
第二,大數(shù)據(jù)和云計算的目標受眾不同,云計算是CIO等關(guān)心的技術(shù)層,是一個進階的IT解決方案。而大數(shù)據(jù)是CEO關(guān)注的、是業(yè)務(wù)層的產(chǎn)品,而大數(shù)據(jù)的決策者是業(yè)務(wù)層。
分布式處理技術(shù)
分布式處理系統(tǒng)可以將不同地點的或具有不同功能的或擁有不同數(shù)據(jù)的多臺計算機用通信網(wǎng)絡(luò)連接起來,在控制系統(tǒng)的統(tǒng)一管理控制下,協(xié)調(diào)地完成信息處理任務(wù)—這就是分布式處理系統(tǒng)的定義。
以Hadoop(Yahoo)為例進行說明,Hadoop是一個實現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架,是以一種可靠、高效、可伸縮的方式進行處理的。
而MapReduce是Google提出的一種云計算的核心計算模式,是一種分布式運算技術(shù),也是簡化的分布式編程模式,MapReduce模式的主要思想是將自動分割要執(zhí)行的問題(例如程序)拆解成map(映射)和reduce(化簡)的方式, 在數(shù)據(jù)被分割后通過Map 函數(shù)的程序?qū)?shù)據(jù)映射成不同的區(qū)塊,分配給計算機機群處理達到分布式運算的效果,在通過Reduce 函數(shù)的程序?qū)⒔Y(jié)果匯整,從而輸出開發(fā)者需要的結(jié)果。
再來看看Hadoop的特性,第一,它是可靠的,因為它假設(shè)計算元素和存儲會失敗,因此它維護多個工作數(shù)據(jù)副本,確保能夠針對失敗的節(jié)點重新分布處理。其次,Hadoop 是高效的,因為它以并行的方式工作,通過并行處理加快處理速度。Hadoop 還是可伸縮的,能夠處理 PB 級數(shù)據(jù)。此外,Hadoop 依賴于社區(qū)服務(wù)器,因此它的成本比較低,任何人都可以使用。
你也可以這么理解Hadoop的構(gòu)成,Hadoop=HDFS(文件系統(tǒng),數(shù)據(jù)存儲技術(shù)相關(guān))+HBase(數(shù)據(jù)庫)+MapReduce(數(shù)據(jù)處理)+……Others
Hadoop用到的一些技術(shù)有:
HDFS: Hadoop分布式文件系統(tǒng)(Distributed File System) - HDFS (HadoopDistributed File System)
MapReduce:并行計算框架
HBase: 類似Google BigTable的分布式NoSQL列數(shù)據(jù)庫。
Hive:數(shù)據(jù)倉庫工具,由Facebook貢獻。
Zookeeper:分布式鎖設(shè)施,提供類似Google Chubby的功能,由Facebook貢獻。
Avro:新的數(shù)據(jù)序列化格式與傳輸工具,將逐步取代Hadoop原有的IPC機制。
Pig:大數(shù)據(jù)分析平臺,為用戶提供多種接口。
Ambari:Hadoop管理工具,可以快捷的監(jiān)控、部署、管理集群。
Sqoop:用于在Hadoop與傳統(tǒng)的數(shù)據(jù)庫間進行數(shù)據(jù)的傳遞。
說了這么多,舉個實際的例子,雖然這個例子有些陳舊,但是淘寶的海量數(shù)據(jù)技術(shù)架構(gòu)還是有助于我們理解對于大數(shù)據(jù)的運作處理機制:
淘寶大數(shù)據(jù)
如上圖所示,淘寶的海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)分為五個層次,從上至下來看它們分別是:數(shù)據(jù)源,計算層,存儲層,查詢層和產(chǎn)品層。
數(shù)據(jù)來源層。存放著淘寶各店的交易數(shù)據(jù)。在數(shù)據(jù)源層產(chǎn)生的數(shù)據(jù),通過DataX,DbSync和Timetunel準實時的傳輸?shù)较旅娴?點所述的“云梯”。
計算層。在這個計算層內(nèi),淘寶采用的是Hadoop集群,這個集群,我們暫且稱之為云梯,是計算層的主要組成部分。在云梯上,系統(tǒng)每天會對數(shù)據(jù)產(chǎn)品進行不同的MapReduce計算。
存儲層。在這一層,淘寶采用了兩個東西,一個使MyFox,一個是Prom。MyFox是基于MySQL的分布式關(guān)系型數(shù)據(jù)庫的集群,Prom是基于Hadoop Hbase技術(shù)的一個NoSQL的存儲集群。
查詢層。在這一層中,Glider是以HTTP協(xié)議對外提供restful方式的接口。數(shù)據(jù)產(chǎn)品通過一個唯一的URL來獲取到它想要的數(shù)據(jù)。同時,數(shù)據(jù)查詢即是通過MyFox來查詢的。
最后一層是產(chǎn)品層,這個就不用解釋了。
存儲技術(shù)
大數(shù)據(jù)可以抽象的分為大數(shù)據(jù)存儲和大數(shù)據(jù)分析,這兩者的關(guān)系是:大數(shù)據(jù)存儲的目的是支撐大數(shù)據(jù)分析。到目前為止,還是兩種截然不同的計算機技術(shù)領(lǐng)域:大數(shù)據(jù)存儲致力于研發(fā)可以擴展至PB甚至EB級別的數(shù)據(jù)存儲平臺;大數(shù)據(jù)分析關(guān)注在最短時間內(nèi)處理大量不同類型的數(shù)據(jù)集。
提到存儲,有一個著名的摩爾定律相信大家都聽過:18個月集成電路的復(fù)雜性就增加一倍。所以,存儲器的成本大約每18-24個月就下降一半。成本的不斷下降也造就了大數(shù)據(jù)的可存儲性。