“13億人口的各項(xiàng)復(fù)雜統(tǒng)計(jì)兩分鐘就出了結(jié)果,而在過去則至少需要一天。”在4月底剛剛結(jié)束的第六次全國人口普查中,由10臺(tái)IBM POWER服務(wù)器組建的幾組集群作為核心業(yè)務(wù)系統(tǒng)的硬件核心,給國家統(tǒng)計(jì)局?jǐn)?shù)據(jù)管理中心主任許劍毅留下了深刻的印象。不僅如此,隨著國家統(tǒng)計(jì)局核心業(yè)務(wù)系統(tǒng)二期的建設(shè),一個(gè)覆蓋全國、隨需擴(kuò)展、統(tǒng)一業(yè)務(wù)的“統(tǒng)計(jì)云”正初現(xiàn)規(guī)模。
在不少政府部門和企事業(yè)單位仍對云計(jì)算觀望的時(shí)候,國家統(tǒng)計(jì)局已經(jīng)實(shí)實(shí)在在地進(jìn)行了云部署,并計(jì)劃提供云服務(wù)。“總要有第一個(gè)吃螃蟹的人。”許劍毅對云計(jì)算充滿信心,“我們的核心系統(tǒng)方案經(jīng)過多名專家歷時(shí)一年半的論證和規(guī)劃,現(xiàn)在已經(jīng)初現(xiàn)成效。比如下一步我們即將開始推廣企業(yè)聯(lián)網(wǎng)直報(bào)系統(tǒng),一期目標(biāo)覆蓋百萬企業(yè),未來將覆蓋千萬企業(yè)。”那么,國家統(tǒng)計(jì)局如何成為第一批“吃螃蟹”的機(jī)構(gòu)?這套新的核心業(yè)務(wù)系統(tǒng)的云架構(gòu)什么樣,又如何為統(tǒng)計(jì)工作提供云服務(wù)呢?
近10年的困擾
國家數(shù)據(jù)統(tǒng)計(jì)層級共分為國家、省、地、縣、鄉(xiāng)、村六級系統(tǒng),采取統(tǒng)一領(lǐng)導(dǎo)、分級負(fù)責(zé)的體制,這也遺留下來一個(gè)歷史難題:各級統(tǒng)計(jì)在事實(shí)上形成了多套系統(tǒng)、應(yīng)用散亂的局面,不僅國家很難獲得全面的一手?jǐn)?shù)據(jù)資源,各地甚至各縣、鄉(xiāng)都要自建機(jī)房,這也造成了資源浪費(fèi)。盡管國家統(tǒng)計(jì)局信息化建設(shè)很早,從微機(jī)代替算盤開始起步,還在國內(nèi)建立了第一個(gè)廣域網(wǎng),進(jìn)而解決了數(shù)據(jù)直報(bào)的時(shí)效性難題,但此后,海關(guān)、稅務(wù)等部門通過“金字工程”紛紛搭建了網(wǎng)上報(bào)關(guān)、網(wǎng)上報(bào)稅等統(tǒng)一的業(yè)務(wù)平臺(tái),而國家統(tǒng)計(jì)局卻在相當(dāng)長的一段時(shí)間內(nèi)無法實(shí)現(xiàn)全國統(tǒng)一的統(tǒng)計(jì)平臺(tái)。
怎么做到數(shù)據(jù)大集中下的核心資源整合?以前國家統(tǒng)計(jì)局各項(xiàng)統(tǒng)計(jì)業(yè)務(wù)都建立在獨(dú)立系統(tǒng)之上,隨著業(yè)務(wù)的增長,需要不斷地投資,不斷購買新的系統(tǒng)。據(jù)國家統(tǒng)計(jì)局?jǐn)?shù)據(jù)管理中心處長王洪琛介紹,2002年開始的整合是將獨(dú)立系統(tǒng)的服務(wù)器資源從各個(gè)辦公室搬到統(tǒng)一的中心機(jī)房中來,但當(dāng)時(shí)虛擬化、云計(jì)算的技術(shù)還不夠普及和成熟,物理上的統(tǒng)一并不能保證業(yè)務(wù)的需求。為此,數(shù)據(jù)管理中心的技術(shù)人員為了能夠解決業(yè)務(wù)中的實(shí)際難題,推動(dòng)業(yè)務(wù)的發(fā)展,近十年來一直在跟蹤新的技術(shù)趨勢。2005年,國家統(tǒng)計(jì)局就捕捉到PC服務(wù)器上的虛擬化技術(shù)趨勢,率先在一臺(tái)PC服務(wù)器上支持多個(gè)應(yīng)用,解決了不少實(shí)際問題。但數(shù)據(jù)大集中下的核心資源整合,還需要滿足安全、可靠和高性能的高端服務(wù)器集群的技術(shù)支持。隨后掀起的云計(jì)算浪潮則深深吸引住了國家統(tǒng)計(jì)局?jǐn)?shù)據(jù)管理中心的每一個(gè)人:如果這樣一種如用水用電般簡單靈活的服務(wù)可以實(shí)現(xiàn),那么全國數(shù)據(jù)大集中下的核心資源整合難題將迎刃而解。
小型機(jī)擔(dān)重任
全國數(shù)據(jù)大集中下的核心資源整合到底有多難?許劍毅表示,國家統(tǒng)計(jì)局的應(yīng)用系統(tǒng)是一個(gè)龐大的系統(tǒng)。首先,處理信息量很大,可以說是海量數(shù)據(jù),除了常規(guī)收集社會(huì)經(jīng)濟(jì)發(fā)展信息以外,還有一些大型的國情國力調(diào)查;從數(shù)據(jù)本身來說,還包括圖像處理,比如人口普查,一張表就是一張圖像,信息處理量巨大。
其次,統(tǒng)計(jì)數(shù)據(jù)的時(shí)效性很強(qiáng),除了年報(bào)還有很多月報(bào)。這也造成了數(shù)據(jù)的高并發(fā)性特征,比如聯(lián)網(wǎng)直報(bào)中,可能有幾十萬家企業(yè)集中在每月的某一兩天報(bào)送數(shù)據(jù),這就需要高并發(fā)處理能力強(qiáng)的硬件系統(tǒng)。許劍毅說:“為此我們遇到了矛盾。從硬件的處理能力來看,大型主機(jī)當(dāng)然適用,但主機(jī)系統(tǒng)開銷太大,對于國家統(tǒng)計(jì)局這種并非直接產(chǎn)生效益的部門來講,一定要選擇性價(jià)比更為突出的硬件設(shè)備。”
為此,國家統(tǒng)計(jì)局?jǐn)?shù)據(jù)管理中心在核心業(yè)務(wù)系統(tǒng)的硬件核心中選擇了小型機(jī),并在二期工程中購入了包括4臺(tái)最新的IBM POWER780在內(nèi)的小型機(jī)。“我們的虛擬化與一般企業(yè)正好相反。”許劍毅解釋說,“一般企業(yè)的一臺(tái)小型機(jī)會(huì)通過虛擬化承載多個(gè)應(yīng)用,而我們的小型機(jī)恰恰相反,為了能夠替代大型主機(jī),這些小型機(jī)通過集群的方式組成系統(tǒng)資源池,來滿足海量數(shù)據(jù)、高并發(fā)處理的需求。”核心業(yè)務(wù)系統(tǒng)這一平臺(tái),有效解決了IT系統(tǒng)在技術(shù)設(shè)施建設(shè)層面自成體系、IT基礎(chǔ)設(shè)施資源無法共享和協(xié)同調(diào)度、資源利用率不高、管理和維護(hù)成本高的問題。新型小型機(jī)作為核心業(yè)務(wù)系統(tǒng)的硬件核心,也完善了應(yīng)用計(jì)算方面的處理能力。
資源池構(gòu)建云基礎(chǔ)
目前,國家統(tǒng)計(jì)局?jǐn)?shù)據(jù)管理中心在“統(tǒng)計(jì)云”核心業(yè)務(wù)系統(tǒng)形成了四大資源池:Web服務(wù)器資源池、應(yīng)用服務(wù)器資源池、數(shù)據(jù)庫服務(wù)器資源池和存儲(chǔ)資源池。存儲(chǔ)資源池采用了統(tǒng)一的存儲(chǔ),實(shí)現(xiàn)了對老舊設(shè)備的統(tǒng)一管理。數(shù)據(jù)庫資源池通過IBM基于POWER小型機(jī)的虛擬化技術(shù)實(shí)現(xiàn)了整個(gè)數(shù)據(jù)庫的資源靈活調(diào)用。應(yīng)用服務(wù)器根據(jù)應(yīng)用的不同選擇了異構(gòu)架構(gòu),包括IBM POWER小型機(jī),同時(shí)也選用了其他品牌的小型機(jī)和PC服務(wù)器,組成虛擬化的應(yīng)用服務(wù)器的資源池。異構(gòu)原理是通過負(fù)載平衡來實(shí)現(xiàn)的,每個(gè)資源池之間通過防火墻以及其他安全手段實(shí)現(xiàn)了隔離。
對于運(yùn)維人員,它帶來了切實(shí)的好處。首先通過IBM Tivoli的監(jiān)控平臺(tái)和自動(dòng)部署功能,技術(shù)人員日常的管理運(yùn)維更為簡單。比如原來為一臺(tái)獨(dú)立的小型機(jī)部署應(yīng)用,需要安裝系統(tǒng)、打補(bǔ)丁、裝數(shù)據(jù)庫等一整套的程序,至少需要半天時(shí)間,而現(xiàn)在通過自動(dòng)化的管理監(jiān)控軟件,不到半個(gè)小時(shí)就可以部署成功。第二,資源分配非常靈活,雖然還不能完全實(shí)現(xiàn)私有云的服務(wù)概念,但是真正能夠?qū)崿F(xiàn)資源在一個(gè)池子內(nèi)靈活調(diào)配,滿足不同業(yè)務(wù)的需要。王洪琛強(qiáng)調(diào):更重要的是,每個(gè)云服務(wù)的用戶都希望得到最高效的資源。以前業(yè)務(wù)部門都需要數(shù)據(jù)處理中心為自己的業(yè)務(wù)購買高配置的服務(wù)器,這就給運(yùn)維部門帶來了壓力。而現(xiàn)在,這個(gè)平臺(tái)按照邏輯分配的性能最優(yōu)原則為業(yè)務(wù)部門提供云服務(wù),而且增長量靈活分配,監(jiān)控報(bào)告還可以隨時(shí)告訴用戶資源的調(diào)配情況。
云服務(wù)漸行漸近
IBM POWER小型機(jī)集群很好地發(fā)揮了高性能和高并發(fā)處理能力。“可以說這個(gè)系統(tǒng)的性能得到了驚人的發(fā)揮。”許劍毅表示,“以企業(yè)聯(lián)網(wǎng)直報(bào)為例,以前我們以每個(gè)月為一個(gè)周期,處理量是百萬級別,按照目前測算,新系統(tǒng)一天的處理能力是千萬級別的,處理能力大大超出我們的想象,完全滿足了我們業(yè)務(wù)的需求。”
現(xiàn)在,國家統(tǒng)計(jì)局?jǐn)?shù)據(jù)處理中心正在開發(fā)全國的統(tǒng)一數(shù)據(jù)處理的應(yīng)用平臺(tái),建成后,中心將集中全國的統(tǒng)一業(yè)務(wù),使得核心業(yè)務(wù)系統(tǒng)可以為整個(gè)統(tǒng)計(jì)工作提供云服務(wù)。這樣,企業(yè)在全國任何一個(gè)地方登錄這個(gè)平臺(tái),都可以完成企業(yè)的報(bào)送任務(wù)。同樣,一個(gè)基層的統(tǒng)計(jì)人員登錄這個(gè)平臺(tái)后,可以看到他所管轄的這些企業(yè)的報(bào)送情況,并及時(shí)發(fā)起催報(bào)和數(shù)據(jù)審核工作。這意味著,每個(gè)人在這套系統(tǒng)中都有唯一的身份,從而確定了相對應(yīng)的管理權(quán)限。核心業(yè)務(wù)系統(tǒng)將徹底改變過去系統(tǒng)建設(shè)分散、系統(tǒng)不統(tǒng)一、機(jī)房建設(shè)浪費(fèi)等狀況,為整個(gè)統(tǒng)計(jì)局的業(yè)務(wù)處理提供一個(gè)云服務(wù)。未來,企業(yè)聯(lián)網(wǎng)直報(bào)將從現(xiàn)在的百萬級別提高到千萬級別,核心業(yè)務(wù)系統(tǒng)也將整合更多的數(shù)據(jù)和應(yīng)用,而開放的架構(gòu)讓許劍毅格外放心:系統(tǒng)不夠用可以橫向和縱向擴(kuò)展,新機(jī)器將兼容老的小型機(jī),做到真正資源靈活擴(kuò)展,靈活調(diào)配,靈活服務(wù)。“我們建設(shè)中的系統(tǒng)平臺(tái)距離我們云服務(wù)的目標(biāo)越來越近。”許劍毅充滿信心。