隨著IT技術(shù)的發(fā)展，各行各業(yè)的產(chǎn)生的數(shù)據(jù)正在以爆炸性的速度增長(zhǎng)。為了從這些數(shù)據(jù)中挖掘出可用的信息并進(jìn)行持續(xù)應(yīng)用，數(shù)據(jù)分析變得越來(lái)越重要。數(shù)據(jù)分析使決策變得更加準(zhǔn)確和精細(xì)，近年來(lái)已經(jīng)逐漸發(fā)展成為一個(gè)重要的IT技術(shù)方向。
云計(jì)算技術(shù)的發(fā)展使得計(jì)算資源逐漸集中化、虛擬化。怎么高效、可靠的運(yùn)營(yíng)這些云計(jì)算平臺(tái)上的資源就變成了一個(gè)重要的課題。本文主要介紹應(yīng)用數(shù)據(jù)分析的方法來(lái)分析私有云平臺(tái)的系統(tǒng)容量和資源使用率，進(jìn)而在提高資源使用率、平衡系統(tǒng)負(fù)載和控制進(jìn)一步資金投入方面提供詳細(xì)的決策支持。
一、私有云平臺(tái)運(yùn)維中的痛點(diǎn)和挑戰(zhàn)
在各行各業(yè)都在進(jìn)行私有云建設(shè)的今天，在企事業(yè)單位中負(fù)責(zé)私有云平臺(tái)運(yùn)維的部門也在承受著來(lái)自各個(gè)方面的壓力。業(yè)務(wù)部門總是不斷地要求更多的資源，更快的部署節(jié)奏;財(cái)務(wù)部門則會(huì)要求不斷地降低成本，盡量使用已有資源;私有云的運(yùn)維部門則需要尋求適當(dāng)?shù)姆椒ㄒ栽趦烧咧g達(dá)成平衡。
與公有云按時(shí)間計(jì)費(fèi)的方式不同，一般作為企事業(yè)單位內(nèi)部建設(shè)和使用的私有云并沒(méi)有成熟的計(jì)費(fèi)體系，而作為資源使用者的一般員工對(duì)于成本更是不太關(guān)心。這就會(huì)導(dǎo)致一方面員工閑置了大量資源，而另一方面員工又在以各種業(yè)務(wù)需要為名義不停申請(qǐng)新的資源，進(jìn)而導(dǎo)致私有云的運(yùn)維部門總是感覺(jué)資源緊張而要求增加投資，財(cái)務(wù)部門則會(huì)感覺(jué)私有云是個(gè)需要不斷投入的無(wú)底洞。
二、以數(shù)據(jù)分析為基礎(chǔ)的私有云平臺(tái)優(yōu)化系統(tǒng)概況
為了切實(shí)解決上述問(wèn)題，我們需要一種有效的可度量的技術(shù)手段。而數(shù)據(jù)分析正好為我們提供了一種系統(tǒng)性的解決上述痛點(diǎn)和挑戰(zhàn)的方法。如圖1所示，基于硬件系統(tǒng)和虛擬化平臺(tái)之上的監(jiān)控系統(tǒng) (Universal Monitoring) 為整個(gè)優(yōu)化系統(tǒng)提供關(guān)于私有云平臺(tái)的各種資源利用率的數(shù)據(jù)來(lái)源，同時(shí)在這一層動(dòng)態(tài)生成虛擬機(jī)資源配置信息數(shù)據(jù)庫(kù)(Federated DB)。在此之上以數(shù)據(jù)分析的方法和相關(guān)軟件對(duì)監(jiān)控系統(tǒng)產(chǎn)生的數(shù)據(jù)進(jìn)行分析，并以分析結(jié)果生成關(guān)于資源利用率和系統(tǒng)容量的報(bào)表(Dashboard &Report)。最后根據(jù)報(bào)表進(jìn)行資源優(yōu)化調(diào)整和進(jìn)行進(jìn)一步投資的決策(Optimization)。這樣就形成了一個(gè)完整的私有云平臺(tái)建設(shè)和維護(hù)的循環(huán)：從投資到云平臺(tái)建設(shè)，再到監(jiān)控現(xiàn)有平臺(tái)資源并分析資源使用情況，最后生成報(bào)表并采取優(yōu)化措施和決定是否進(jìn)一步投資。
圖1：私有云平臺(tái)優(yōu)化系統(tǒng)系統(tǒng)架構(gòu)圖
三、以數(shù)據(jù)分析為基礎(chǔ)的私有云平臺(tái)優(yōu)化系統(tǒng)詳細(xì)介紹
3.1 系統(tǒng)監(jiān)控
系統(tǒng)監(jiān)控的目的是將所有系統(tǒng)資源配置和使用的情況置于集中統(tǒng)一的監(jiān)控之下， 而監(jiān)控系統(tǒng)會(huì)產(chǎn)生大量時(shí)序的監(jiān)控?cái)?shù)據(jù)，這是我們后續(xù)進(jìn)行數(shù)據(jù)分析的數(shù)據(jù)來(lái)源。系統(tǒng)監(jiān)控可以使用成熟的商業(yè)軟件如IBM Tivoli Monitoring(ITM)來(lái)達(dá)成這個(gè)目的。關(guān)于ITM在虛擬化環(huán)境中的部署可以參考文章(應(yīng)用IBM Tivoli實(shí)現(xiàn)虛擬化環(huán)境的監(jiān)控http://storage.it168.com/a2011/0106/1147 /000001147294.shtml)。現(xiàn)在也出現(xiàn)了一些開(kāi)源的軟件如Nagios, Cacti, Zabbix等，但開(kāi)源軟件在不同平臺(tái)的適用性方面還需要做大量的定制才能達(dá)成目的。
3.2 Federated DB
Federated DB的目的是根據(jù)監(jiān)控系統(tǒng)生成的配置數(shù)據(jù)生成云平臺(tái)中統(tǒng)一的配置信息數(shù)據(jù)庫(kù)，同時(shí)配置信息數(shù)據(jù)庫(kù)會(huì)與資源所有者等信息進(jìn)行關(guān)聯(lián)以達(dá)到人、資源、配置等信息同步可查。
3.3 數(shù)據(jù)分析
數(shù)據(jù)分析是指通過(guò)技術(shù)、技能和實(shí)踐來(lái)持續(xù)探索和研究既往的業(yè)務(wù)數(shù)據(jù)從而獲得洞察力以驅(qū)動(dòng)新的業(yè)務(wù)規(guī)劃。 可以運(yùn)用IBM SPSS Modular對(duì)監(jiān)控?cái)?shù)據(jù)進(jìn)行處理，根據(jù)不同的技術(shù)指標(biāo)(如物理機(jī)CPU, 物理機(jī)內(nèi)存，物理機(jī)Disk, 虛擬機(jī)CPU, 虛擬機(jī)內(nèi)存等)進(jìn)行分析及按照時(shí)間序列進(jìn)行預(yù)測(cè)。找出不同物理機(jī)、虛機(jī)的資源利用率曲線及未來(lái)趨勢(shì)。同時(shí)開(kāi)源的R語(yǔ)言也可以通過(guò)一定的編程達(dá)到上述目的。