電信行業(yè)的應(yīng)用,電信運(yùn)營(yíng)商都有我們的成功案例。這個(gè)是山東移動(dòng)云經(jīng)分項(xiàng)目,2013年9月開(kāi)始測(cè)試,2014年1月20號(hào)試運(yùn)行,2014年10月11號(hào)正式上線,因?yàn)樵平?jīng)分對(duì)移動(dòng)來(lái)說(shuō)也是一個(gè)重要的比較核心的系統(tǒng),這個(gè)是替換的,以前這個(gè)系統(tǒng)是由兩臺(tái)小型機(jī)+DB2數(shù)據(jù)庫(kù)。這個(gè)系統(tǒng)因?yàn)閿?shù)據(jù)體量不斷增大,它不能擴(kuò)容,而且加載速度,DB2的加載比較慢,滿足不了它時(shí)間窗口的要求。所以,山東移動(dòng)考慮采用新型的數(shù)據(jù)庫(kù),主要數(shù)據(jù)分為兩塊,數(shù)據(jù)中心也是采用Hadoop,另外還有一些日志類的,它的數(shù)據(jù)都是非結(jié)構(gòu)化,半結(jié)構(gòu)化為主,而且數(shù)據(jù)體量比較大,他們也是專門用Hadoop的技術(shù)做的。它這個(gè)MPP數(shù)據(jù)庫(kù)的架構(gòu)用的是IBM的PC服務(wù)器,也是120G內(nèi)存,16塊硬盤,是26個(gè)節(jié)點(diǎn)做處理。我用26個(gè)節(jié)點(diǎn)的MPP數(shù)據(jù)庫(kù)性能就相當(dāng)于原來(lái)兩臺(tái)小型機(jī)的性能。
剛才那兩個(gè)案例從整體上的大數(shù)據(jù)平臺(tái)來(lái)說(shuō)是混搭架構(gòu),具有傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù),也有MPP數(shù)據(jù)庫(kù),另外還有Hadoop的處理。第三個(gè)案例是海關(guān)總署二期項(xiàng)目,2014年測(cè)試,2015年逐步分階段的上線了。這個(gè)數(shù)據(jù)量只有TB級(jí),相對(duì)比較小,所以處理的時(shí)候很簡(jiǎn)單,從Oracle數(shù)據(jù)庫(kù)直接通過(guò)ETR工具直接把Oracle每日的增量數(shù)據(jù)落地加載到MPP數(shù)據(jù)庫(kù)里頭,沒(méi)有Hadoop的這層處理。所以,Hadoop這層是根據(jù)數(shù)據(jù)量來(lái)處理的。
做一下最后的總結(jié),大數(shù)據(jù)時(shí)代推動(dòng)技術(shù)的變革首先是打破了一元化,多種技術(shù)混合。另外,對(duì)于用戶來(lái)說(shuō)一定要選擇最適合的產(chǎn)品和技術(shù)支撐大數(shù)據(jù)應(yīng)用,因?yàn)槟壳斑€沒(méi)有絕好的一種解決方案做總結(jié),一定要看數(shù)據(jù)量和應(yīng)用需求決定你采用哪種技術(shù)。我們對(duì)于TB到PB級(jí)別的分析類應(yīng)用,我們推薦使用MPP的新型數(shù)據(jù)庫(kù)產(chǎn)品。我的講解就到這里,謝謝大家!