MapReduce是Google開發(fā)的java、Python、C++編程模型,主要用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運算。 MapReduce模式的思想是將要執(zhí)行的問題分解成Map(映射)和Reduce(化簡)的方式,先通過Map程序將數(shù)據(jù)切割成不相關的區(qū)塊,分配(調度)給大量計算機處理,達到分布式運算的效果,再通過Reduce程序將結果匯整輸出。
4、大規(guī)模數(shù)據(jù)管理
處理海量數(shù)據(jù)是云計算的一大優(yōu)勢。那么如何處理則涉及到很多層面的東西,因此高效的數(shù)據(jù)處理技術也是云計算不可或缺的核心技術之一。對于云計算來說,數(shù)據(jù)管理面臨巨大的挑戰(zhàn)。云計算不僅要保證數(shù)據(jù)的存儲和訪問,還要能夠對海量數(shù)據(jù)進行特定的檢索和分析。由于云計算需要對海量的分布式數(shù)據(jù)進行處理、分析,因此,數(shù)據(jù)管理技術必需能夠高效的管理大量的數(shù)據(jù)。
Google的BT(BigTable)數(shù)據(jù)管理技術和Hadoop團隊開發(fā)的開源數(shù)據(jù)管理模塊HBase是業(yè)界比較典型的大規(guī)模數(shù)據(jù)管理技術。
BT(BigTable)數(shù)據(jù)管理技術:BigTable是非關系的數(shù)據(jù)庫,是一個分布式的、持久化存儲的多維度排序Map.BigTable建立在 GFS, Scheduler, Lock Service和MapReduce之上,與傳統(tǒng)的關系數(shù)據(jù)庫不同,它把所有數(shù)據(jù)都作為對象來處理,形成一個巨大的表格,用來分布存儲大規(guī)模結構化數(shù)據(jù)。 Bigtable的設計目的是可靠的處理PB級別的數(shù)據(jù),并且能夠部署到上千臺機器上。
開源數(shù)據(jù)管理模塊HBase:HBase是Apache的Hadoop項目的子項目,定位于分布式、面向列的開源數(shù)據(jù)庫。HBase不同于一般的關系數(shù)據(jù)庫,它是一個適合于非結構化數(shù)據(jù)存儲的數(shù)據(jù)庫。另一個不同的是HBase基于列的而不是基于行的模式。作為高可靠性分布式存儲系統(tǒng),HBase在性能和可伸縮方面都有比較好的表現(xiàn)。利用HBase技術可在廉價PC Server上搭建起大規(guī)模結構化存儲集群。
5、分布式資源管理
云計算采用了分布式存儲技術存儲數(shù)據(jù),那么自然要引入分布式資源管理技術。在多節(jié)點的并發(fā)執(zhí)行環(huán)境中,各個節(jié)點的狀態(tài)需要同步,并且在單個節(jié)點出現(xiàn)故障時,系統(tǒng)需要有效的機制保證其它節(jié)點不受影響。而分布式資源管理系統(tǒng)恰是這樣的技術,它是保證系統(tǒng)狀態(tài)的關鍵。
另外,云計算系統(tǒng)所處理的資源往往非常龐大,少則幾百臺服務器,多則上萬臺,同時可能跨躍多個地域。且云平臺中運行的應用也是數(shù)以千計,如何有效地管理這批資源,保證它們正常提供服務,需要強大的技術支撐。因此,分布式資源管理技術的重要性可想而知。
全球各大云計算方案/服務提供商們都在積極開展相關技術的研發(fā)工作。其中Google內部使用的Borg技術很受業(yè)內稱道。另外,微軟、IBM、Oracle/Sun等云計算巨頭都有相應解決方案提出。
6、信息安全
調查數(shù)據(jù)表明,安全已經(jīng)成為阻礙云計算發(fā)展的最主要原因之一。數(shù)據(jù)顯示,32%已經(jīng)使用云計算的組織和45%尚未使用云計算的組織的ICT管理將云安全作為進一步部署云的最大障礙。因此,要想保證云計算能夠長期穩(wěn)定、快速發(fā)展,安全是首要需要解決的問題。
事實上,云計算安全也不是新問題,傳統(tǒng)互聯(lián)網(wǎng)存在同樣的問題。只是云計算出現(xiàn)以后,安全問題變得更加突出。在云計算體系中,安全涉及到很多層面,包括網(wǎng)絡安全、服務器安全、軟件安全、系統(tǒng)安全等等。因此,有分析師認為,云安全產(chǎn)業(yè)的發(fā)展,將把傳統(tǒng)安全技術提到一個新的階段。
現(xiàn)在,不管是軟件安全廠商還是硬件安全廠商都在積極研發(fā)云計算安全產(chǎn)品和方案。包括傳統(tǒng)殺毒軟件廠商、軟硬防火墻廠商、IDS/IPS廠商在內的各個層面的安全供應商都已加入到云安全領域。相信在不久的將來,云安全問題將得到很好的解決。
7、云計算平臺管理
云計算資源規(guī)模龐大,服務器數(shù)量眾多并分布在不同的地點,同時運行著數(shù)百種應用,如何有效地管理這些服務器,保證整個系統(tǒng)提供不間斷的服務是巨大的挑戰(zhàn)。云計算系統(tǒng)的平臺管理技術,需要具有高效調配大量服務器資源,使其更好協(xié)同工作的能力。其中,方便地部署和開通新業(yè)務、快速發(fā)現(xiàn)并且恢復系統(tǒng)故障、通過自動化、智能化手段實現(xiàn)大規(guī)模系統(tǒng)可靠的運營是云計算平臺管理技術的關鍵。
對于提供者而言,云計算可以有三種部署模式,即公共云、私有云和混合云。三種模式對平臺管理的要求大不相同。對于用戶而言,由于企業(yè)對于ICT資源共享的控制、對系統(tǒng)效率的要求以及ICT成本投入預算不盡相同,企業(yè)所需要的云計算系統(tǒng)規(guī)模及可管理性能也大不相同。因此,云計算平臺管理方案要更多地考慮到定制化需求,能夠滿足不同場景的應用需求。