4 大數(shù)據(jù)尚未與云計(jì)算有機(jī)結(jié)合
早前在運(yùn)營商負(fù)責(zé)全網(wǎng)BI系統(tǒng)規(guī)劃時(shí)，會(huì)頻繁遇到一個(gè)問題，各個(gè)省公司、各個(gè)部門都希望自己搭建大數(shù)據(jù)平臺(tái)，到處都缺少人才，甚至都在爭搶集成商的支持。隨著大數(shù)據(jù)技術(shù)的蓬勃發(fā)展，這個(gè)問題變得非常嚴(yán)重，關(guān)鍵在于沒有規(guī)模效益。公司能培養(yǎng)一百名大數(shù)據(jù)專家已經(jīng)非常不容易了，但是如果分散在三十一個(gè)省，又分散在其中的3個(gè)IT部門（業(yè)務(wù)支撐、網(wǎng)管支撐和管理信息支撐系統(tǒng)），那么每個(gè)部門只能分到一個(gè)人。
所以當(dāng)時(shí)我們就開始規(guī)劃“能否實(shí)現(xiàn)平臺(tái)和應(yīng)用分離？”“可否統(tǒng)一搭建一個(gè)大數(shù)據(jù)平臺(tái)，然后各個(gè)省公司、專業(yè)公司在平臺(tái)上做分析模式、搭建自己的應(yīng)用？”這種集中化經(jīng)分的規(guī)劃，可能是業(yè)界第一次提出大數(shù)據(jù)能力開放平臺(tái)（PaaS)的概念。希望數(shù)據(jù)能夠集中，能力能夠集中，而應(yīng)用可以分散。這樣的話既能充分發(fā)揮大數(shù)據(jù)的價(jià)值、又能達(dá)到大數(shù)據(jù)平臺(tái)的規(guī)模效益。當(dāng)前這個(gè)系統(tǒng)還在建設(shè)的過程中。
后來我來到了亞信數(shù)據(jù)，因?yàn)槲艺J(rèn)為同樣的情況可能更廣泛的存在。如果能把大數(shù)據(jù)和云計(jì)算結(jié)合起來，將大數(shù)據(jù)能力通過云計(jì)算的模式來提供，是否可以避免各個(gè)企業(yè)、各個(gè)部門重復(fù)去搭建大數(shù)據(jù)基礎(chǔ)設(shè)施？如果可以按需享受到比擬BAT的頂級大數(shù)據(jù)平臺(tái)的服務(wù)，只用使用而不用維護(hù)，他們會(huì)不會(huì)Happy？這就是大數(shù)據(jù)PaaS平臺(tái)正在做的事情。這些雜七雜八專業(yè)的事情，通過分工的形式由專業(yè)的公司來進(jìn)行保障，使用者只需使用即可。
5 數(shù)據(jù)本身，其實(shí)也是一種服務(wù)
大數(shù)據(jù)PaaS最重要的就是數(shù)據(jù)資源的管理，把它與大數(shù)據(jù)能力一樣看待，通通抽象成服務(wù)，即一切皆服務(wù)。誰能用這些數(shù)據(jù)，誰不能用這些數(shù)據(jù)，反應(yīng)到PaaS中就是誰能訂購這些服務(wù)，而誰不能。這樣簡單的抽象簡化了系統(tǒng)的實(shí)現(xiàn)。
6 忙忙碌碌在干什么
如同開篇所說的一樣，我們認(rèn)為分工是推動(dòng)人類社會(huì)進(jìn)步的原動(dòng)力。而現(xiàn)在可以看到大數(shù)據(jù)平臺(tái)的領(lǐng)域中，分工并沒有達(dá)到最優(yōu)，還能看到很多簡單的重復(fù)勞動(dòng)。這些勞動(dòng)由于沒有達(dá)到規(guī)模效應(yīng)而效率很差，造成擁有成本很高。這種高的成本導(dǎo)致的現(xiàn)象，就使很多企業(yè)的大數(shù)據(jù)價(jià)值無法充分發(fā)揮出來，無論是對內(nèi)大數(shù)據(jù)變現(xiàn)還是對外大數(shù)據(jù)變現(xiàn)。由于無法達(dá)成交易，整個(gè)社會(huì)的福利也因此受到了影響。
我們希望改變這一切，根據(jù)多年的經(jīng)驗(yàn)，將大數(shù)據(jù)的PaaS平臺(tái)定位成框架、應(yīng)用和服務(wù)3個(gè)方面。
·重型的，帶有持久化的部分作為“服務(wù)”被集成到大數(shù)據(jù)PaaS平臺(tái)中，比如MPP數(shù)據(jù)庫、Hadoop之類的就屬于此，還包括更加流行的流處理、機(jī)器學(xué)習(xí)等能力。各項(xiàng)能力通過一個(gè)標(biāo)準(zhǔn)的能力管理接口接入框架之中，提供了對大數(shù)據(jù)能力的透明性。采用的標(biāo)準(zhǔn)是Cloud Foundry中的service broker協(xié)議，目前版本為2.8。
·輕型的，不帶持久化的部分作為“應(yīng)用”被集成到大數(shù)據(jù)PaaS平臺(tái)中，比如各種可視化、數(shù)據(jù)探索、推薦引擎、監(jiān)控告警等。采用的技術(shù)標(biāo)準(zhǔn)是Docker，并通過Kubernetes容器管理系統(tǒng)進(jìn)行封裝。也就是說任何能跑在Docker中的應(yīng)用，無論是單機(jī)的，還是集群的，均可以放心的托管到系統(tǒng)上，可擴(kuò)展性和高可用性都由平臺(tái)去搞定。
·管理上述兩塊就是框架。它將“服務(wù)”和“應(yīng)用”有機(jī)地結(jié)合在一起。并負(fù)責(zé)認(rèn)證、權(quán)限、計(jì)費(fèi)、審計(jì)、日志、監(jiān)控等管理。
毫無疑問我們采用的是一個(gè)開放的體系，因?yàn)槲覀冋J(rèn)為大數(shù)據(jù)的世界如此的豐富多彩，任何一個(gè)廠家都無法提供所有的服務(wù)，開發(fā)所有的應(yīng)用，開放合作可以實(shí)現(xiàn)共贏。
7 小結(jié)
知名調(diào)研公司Gartner預(yù)計(jì)，今年公共云服務(wù)方面的全球開支將增長16%，達(dá)到超過2040億美元，同時(shí)預(yù)測全球IT開支將比上一年略下降0.5%，達(dá)到3.49萬億美元。請注意這種開支的下降是在IT需求增加的背景下達(dá)成的，云計(jì)算提高社會(huì)效率可見一斑。