第三個層面是SaaS,從中國移動來說是做探索,我們原來提過BIStore,模仿蘋果做的APP開發(fā)的嘗試,這是在五年前做過的一些BI領(lǐng)域的,應(yīng)用開發(fā)的內(nèi)容,上面是對外的政府交通做的差不多,在做這方面的對外服務(wù),現(xiàn)在用的比較多的政府交通金融,我個人覺得將來大數(shù)據(jù)應(yīng)該成為基礎(chǔ)設(shè)施像現(xiàn)在的電信網(wǎng)絡(luò),中國移動將來可能會具備更多的,電信行業(yè)有更多這樣的機(jī)會。因?yàn)閷硭械臄?shù)據(jù)都在你手上。這是整個中國移動未來的大數(shù)據(jù)走向,一個IT架構(gòu)首先要結(jié)合企業(yè)的特征管理模式和企業(yè)文化各方面,中國移動目前是兩極架構(gòu),一個是兩極反應(yīng),管理文化,我個人覺得集中化和分布化各有利弊,這種方式可能給省里營銷的靈活度更高一些,營銷資源和響應(yīng)度更快一些,將來我們大概期望的目標(biāo)方向是一個云化的資源池,我們叫1+N,N的節(jié)點(diǎn)還存在,非N組合在總部,大概是這么一個架構(gòu),是我們目前能夠感受到的。
下面介紹一下我們在實(shí)踐過程中的技術(shù),包括業(yè)界比較流行的Hadoop,Sql,數(shù)據(jù)采集等等在中國移動兩三年前開始做了,有一些成果。這是Hadoop平臺,有做了劃單的處理,劃單查詢從秒級到十秒級,壓縮率比較高,這是Hadoop的一些優(yōu)勢。Sabk提高了速度,數(shù)據(jù)量是120,匯總減少3個小時,效果很顯著。在MPP上,從原來的小機(jī)到(Wortk)性能提高了6倍,流處理做到秒級的展示,能做到時時監(jiān)控,還有一些是Sql,主要是HBase,它的差距速度比較快,主要是用于查詢,用復(fù)雜操作的時候也有一些問題,再是時時流處理的情況,業(yè)界有一些框架,每秒鐘處理多少話單。很多在大數(shù)據(jù)處理過程中理論上可以O(shè)K的東西,真正實(shí)際系統(tǒng)壓上去以后,不一定跑的下來,所以中國移動不得不做一些改良,做一些技術(shù)的調(diào)整。下面是幾個關(guān)鍵點(diǎn),首先是目前的架構(gòu),我們用了一個混搭的架構(gòu),我個人覺得是業(yè)界的技術(shù)沒有一個好的能夠完全一統(tǒng)江湖。我不同數(shù)據(jù)的技術(shù)處理不同數(shù)據(jù)的內(nèi)容,站在一個用戶的角度是希望把所有的東西都統(tǒng)一起來。Hadoop從我們實(shí)踐的情況看,在有些計算上速度很快,但是Hadoop對我們國營企業(yè)面臨的問題,內(nèi)升外降,X86是便宜了,但是人工成本上來了,國企有些時候調(diào)人工有些問題,人工成本很難瞬間上來,不像互聯(lián)網(wǎng)公司。Hadoop后頭發(fā)展的走向也面臨很多的挑戰(zhàn),中國移動也在做自己的研究院和大營,我們也希望加強(qiáng)一些核心技術(shù)的研發(fā)工作。
包括NoSql和MPP的數(shù)據(jù)庫,我們現(xiàn)在的定位也在探索,什么樣的應(yīng)用業(yè)務(wù)什么樣的性質(zhì)業(yè)務(wù)特征壓在上面,他并不是萬能的,我們現(xiàn)在是取長補(bǔ)短,哪些系統(tǒng)放在上面都要做,這個過程很痛苦,還是希望將來能夠統(tǒng)一起來,因?yàn)檎驹谟脩艚嵌葋碚f不可能養(yǎng)三套班子,這個成本太高。而且現(xiàn)在Hadoop的問題是人才極其匱乏,現(xiàn)在國內(nèi)的本科教育里沒有Hadoop的課程,這導(dǎo)致了你基本都是靠大家工作以后自學(xué)成才,這個成本極高,一個本科生畢業(yè)就可以寫Sql,這個語言比較簡單,基本上都做過職業(yè)訓(xùn)練,但是Hadoop最要命的是這方面的人才比較少,培訓(xùn)缺乏一個體系化,這些對會用戶應(yīng)用帶來一些問題,互聯(lián)網(wǎng)的高新模式,中國大部分企業(yè)不具備這個能力,將來中國移動怎么把他弄的更好,這是一個課題。
這是大數(shù)據(jù)的安全,中國移動整個安全系統(tǒng)是十年左右建設(shè)的歷程,2005年開始做安全管控,原來我們的安全比較成熟的一套體系,比如在數(shù)據(jù)倉庫領(lǐng)域,很多安全管理產(chǎn)品化,都是可以拿來直接用,現(xiàn)在面臨的問題像Hadoop的開源性的安全怎么做,現(xiàn)在有很多瓶頸,內(nèi)部在做技術(shù)的探索。而且Hadoop的機(jī)制本身不是特別穩(wěn)定,不是特別產(chǎn)業(yè)化的東西,所以他的安全管控都是我們要面臨的問題。我說Hadoop像回去重新寫匯編,當(dāng)年寫Sql,JAVA,現(xiàn)在又重新回去了,要寫一些細(xì)節(jié)的東西自己去管理,這些細(xì)節(jié)處理包括安全開源系統(tǒng)怎么做,原來一些脫敏技術(shù)怎么在Hadoop平臺上形成,這是我們現(xiàn)在面臨的一些問題。
整個中國移動做了十年,基本上把安全上能考慮的技術(shù)細(xì)節(jié)都在做探索,尤其是Hadoop,我問遍了業(yè)界,Hadoop自身內(nèi)核怎么做架構(gòu)還沒有人研究,中國移動現(xiàn)在在做這方面的探索。第三個,對外服務(wù),很多專家都分享了怎么把數(shù)據(jù)對外服務(wù),這是我們一個實(shí)際的案例,是一個智慧洞察的開放,API的對外服務(wù)大家艘這個智慧洞察可以查到中國移動做的報告景區(qū)分析智慧城市的分析,這是三年前做的情況,效果很好。大數(shù)據(jù)對外經(jīng)營方面,電信運(yùn)營商目前還沒有進(jìn)入到主業(yè),我們在一個省里有半個人一年做數(shù)據(jù)運(yùn)營業(yè)能掙1500萬,我說的是在合法合規(guī)的情況下做一些合法合規(guī)的數(shù)據(jù)經(jīng)營對外服務(wù),而且是沒有正式做,如果真的做,大數(shù)據(jù)的運(yùn)營遠(yuǎn)超過網(wǎng)絡(luò)層面帶來大家的利益。