大數(shù)據(jù)是高性能計算領(lǐng)域最熱門的趨勢。大數(shù)據(jù)往往是非結(jié)構(gòu)化的大規(guī)模數(shù)據(jù),這些龐大的數(shù)據(jù)集中蘊含著對企業(yè)極具價值的情報信息。而云計算在過去幾年一直是IT世界的寵兒,因為云計算開創(chuàng)了計算作為服務(wù)的新時代,盡管人們對于云計算的安全、可用性和成本仍然存在疑慮。
大數(shù)據(jù)的規(guī)模似乎能夠成為云計算有趣的合作伙伴。大規(guī)模數(shù)據(jù)的管理存在很高的復(fù)雜性,正因為如此,大數(shù)據(jù)分析通常在本地服務(wù)器集群中進行。而云計算的優(yōu)勢在于盡可能有效地優(yōu)化現(xiàn)有資源。如果部署得當,你沒有理由不結(jié)合大數(shù)據(jù)和云計算的優(yōu)勢。
通過業(yè)務(wù)分析在云環(huán)境挖掘大數(shù)據(jù)的價值并不會很麻煩,但是也有一些具體的策略來確保你的企業(yè)具有最佳效率。為了讓企業(yè)在訪問、分析和改善其業(yè)務(wù)操作方面處于領(lǐng)先位置,大數(shù)據(jù)和云環(huán)境都必須滿足一定條件。
首先,讓我們看看你的大數(shù)據(jù)業(yè)務(wù)分析工具必須具備的三個能力:
1. 使用能夠本地連接到所有主要大數(shù)據(jù)來源(例如Hadoop和NoSQL存儲)的業(yè)務(wù)分析工具。
2. 管理能力: 確保業(yè)務(wù)分析工具能夠有效地管理和協(xié)調(diào)大數(shù)據(jù)任務(wù)以及傳統(tǒng)IT任務(wù)
3. 整合能力: 用于分析的數(shù)據(jù)很少是來自單一來源。業(yè)務(wù)分析工具必須具備很好的數(shù)據(jù)整合能力,需要能夠有效地整合傳統(tǒng)關(guān)系型數(shù)據(jù)庫和非傳統(tǒng)大數(shù)據(jù)存儲間的數(shù)據(jù),例如Hadoop和NoSQL數(shù)據(jù)庫。
大數(shù)據(jù)業(yè)務(wù)分析對云環(huán)境的要求也同樣重要。云環(huán)境的主要優(yōu)勢在于具有彈性,根據(jù)需要付費,不需要管理企業(yè)內(nèi)部硬件。例如,一家媒體公司在正常情況下,使用其自有的50臺專用服務(wù)器集群就能夠滿足其數(shù)據(jù)處理需求。然而,在超級杯或世界杯期間,需要被處理的數(shù)據(jù)量可能會增加8到10倍,所以他們通過在公共云臨時增加另外200臺服務(wù)器來滿足其需求。以下是你的大數(shù)據(jù)分析工具成功地在云環(huán)境運行應(yīng)該具備的三個條件:
1. 與云供應(yīng)商無關(guān): 找到一種能夠在任何云服務(wù)(公共云或私有云)運行的分析工具
2. 彈性: 確保能夠在高峰負荷時期快速方便地添加任何計算資源,并在正常情況下減少資源以降低成本
3. 數(shù)據(jù)通信帶寬: 確保你部署了數(shù)據(jù)通信管道以有效地將原始大數(shù)據(jù)移動到云環(huán)境??赡苣愕拇髷?shù)據(jù)資源(例如web日志)已經(jīng)位于云環(huán)境中,在這種情況下,你只需要簡單地將大數(shù)據(jù)文件從一個云供應(yīng)商復(fù)制到另一個云供應(yīng)商即可。
總之,如果部署得當?shù)脑挘髷?shù)據(jù)和云環(huán)境的結(jié)合絕對是強強聯(lián)手。