1、云計算與大數(shù)據是什么關系?
云計算的關鍵詞在于“整合”,無論你是通過現(xiàn)在已經很成熟的傳統(tǒng)的虛擬機切分型技術,還是通過google后來所使用的海量節(jié)點聚合型技術,他都是通過將海量的服務器資源通過網絡進行整合,調度分配給用戶,從而解決用戶因為存儲計算資源不足所帶來的問題。
大數(shù)據正是因為數(shù)據的爆發(fā)式增長帶來的一個新的課題內容,如何存儲如今互聯(lián)網時代所產生的海量數(shù)據,如何有效的利用分析這些數(shù)據等等。
他倆之間的關系你可以這樣來理解,云計算技術就是一個容器,大數(shù)據正是存放在這個容器中的水,大數(shù)據是要依靠云計算技術來進行存儲和計算的。
兩者關系:
首先,云計算是提取大數(shù)據的前提。
信息社會,數(shù)據量在不斷增長,技術在不斷進步,大部分企業(yè)都能通過大數(shù)據獲得額外利益。在海量數(shù)據的前提下,如果提取、處理和利用數(shù)據的成本超過了數(shù)據價值本身,那么有價值相當于沒價值。來自公有云、私有云以及混合云之上的強大的云計算能力,對于降低數(shù)據提取過程中的成本不可或缺。
其次,云計算是過濾無用信息的“神器”.
首次收集的數(shù)據中,一般而言,90%屬于無用數(shù)據,因此需要過濾出能為企業(yè)提供經濟利益的可用數(shù)據。在大量無用數(shù)據中,重點需過濾出兩大類,一是大量存儲著的臨時信息,幾乎不存在投入必要;二是從公司防火墻外部接入到內部的網絡數(shù)據,價值極低。云計算可以提供按需擴展的計算和存儲資源,可用來過濾掉無用數(shù)據,其中公有云是處理防火墻外部網絡數(shù)據的最佳選擇。
再次,云計算可高效分析數(shù)據。
數(shù)據分析階段,可引入公有云和混合云技術,此外,類似Hadoop的分布式處理軟件平臺可用于數(shù)據集中處理階段。當完成數(shù)據分析后,提供分析的原始數(shù)據不需要一直保留,可以使用私有云把分析處理結果,即可用信息導入公司內部。
最后,云計算助力企業(yè)管理虛擬化。
可用信息最終用來指導決策,通過將軟件即服務應用于云平臺中,可將可用信息轉化到企業(yè)現(xiàn)有系統(tǒng)中,幫助企業(yè)強化管理模式。
上升到我國互聯(lián)網整體發(fā)展層面,雖然我國在互聯(lián)網服務方面具有領先的優(yōu)勢,然而,越來越多的企業(yè)認識到,與云計算的結合將使大數(shù)據分析變得更簡單,未來幾年,如能在大數(shù)據與云計算結合領域進行深入探索,將使我們在全球市場更具競爭力,這是非常關鍵的問題。
2、大數(shù)據需要什么人才?
大數(shù)據需要以下六類人才:
(1)大數(shù)據系統(tǒng)研發(fā)工程師
這一專業(yè)人才負責大數(shù)據系統(tǒng)研發(fā),包括大規(guī)模非結構化數(shù)據業(yè)務模型構建、大數(shù)據存儲、數(shù)據庫構設、優(yōu)化數(shù)據庫構架、解決數(shù)據庫中心設計等,同時,還要負責數(shù)據集群的日常運作和系統(tǒng)的監(jiān)測等,這一類人才是任何構設大數(shù)據系統(tǒng)的機構都必須的。
(2)大數(shù)據應用開發(fā)工程師
此類人才負責搭建大數(shù)據應用平臺以及開發(fā)分析應用程序,他們必須熟悉工具或算法、編程、優(yōu)化以及部署不同的MapReduce,他們研發(fā)各種基于大數(shù)據技術的應用程序及行業(yè)解決方案。其中,ETL開發(fā)者是很搶手的人才,他們所做的是從不同的源頭抽取數(shù)據,轉換并導入數(shù)據倉庫以滿足企業(yè)的需要,將分散的、異構數(shù)據源中的數(shù)據如關系數(shù)據、平面數(shù)據文件等抽取到臨時中間層后進行清洗、轉換、集成,最后加載到數(shù)據倉庫,成為聯(lián)機分析處理、數(shù)據挖掘的基礎,為提取各類型的需要數(shù)據創(chuàng)造條件。
(3)大數(shù)據分析師
此類人才主要從事數(shù)據挖掘工作,運用算法來解決和分析問題,讓數(shù)據顯露出真相,同時,他們還推動數(shù)據解決方案的不斷更新。隨著數(shù)據集規(guī)模不斷增大,企業(yè)對Hadoop及相關的廉價數(shù)據處理技術如Hive、HBase、MapReduce、Pig等的需求將持續(xù)增長,具備Hadoop框架經驗的技術人員是最搶手的大數(shù)據人才,他們所從事的是熱門的分析師工作。
(4)數(shù)據可視化工程師
此類人才負責在收集到的高質量數(shù)據中,利用圖形化的工具及手段的應用,清楚地揭示數(shù)據中的復雜信息,幫助用戶更好地進行大數(shù)據應用開發(fā),如果能使用新型數(shù)據可視化工具如Spotifre,Qlikview和Tableau,那么,就成為很受歡迎的人才。
(5)數(shù)據安全研發(fā)人才
此類人才主要負責企業(yè)內部大型服務器、存儲、數(shù)據安全管理工作,并對網絡、信息安全項目進行規(guī)劃、設計和實施,而對于數(shù)據安全方面的具體技術的人才就更需要了,如果數(shù)據安全技術,同時又具有較強的管理經驗,能有效地保證大數(shù)據構設和應用單位的數(shù)據安全,那就是搶手的人才