創(chuàng)新點的應(yīng)用實踐。大家看左邊這幅圖是傳統(tǒng)的數(shù)據(jù)倉庫，可以看到是T+1的數(shù)據(jù)平臺，數(shù)據(jù)基本上來源于前端的業(yè)務(wù)系統(tǒng)，通過定制化的時間，通過ETL跑批的方式進(jìn)入數(shù)據(jù)倉庫，無法做到實時性。右邊這幅圖是中間我們增加了一個大數(shù)據(jù)實時的同步產(chǎn)品。我們通過海盒的同步產(chǎn)品，能夠?qū)崿F(xiàn)數(shù)據(jù)倉庫的計算，將一些關(guān)注的指標(biāo)和數(shù)據(jù)做到實時推送加工。
我們在金融行業(yè)基于SeaBox大數(shù)據(jù)技術(shù)數(shù)據(jù)倉庫的應(yīng)用。大家可以看到，這只是一個事例，我們在原系統(tǒng)，就是我們數(shù)據(jù)倉庫的多種多樣的數(shù)據(jù)源導(dǎo)入，從數(shù)據(jù)源可以進(jìn)入我們的數(shù)據(jù)交換層，數(shù)據(jù)交換層有一部分?jǐn)?shù)據(jù)可以進(jìn)入數(shù)據(jù)緩沖層，在數(shù)據(jù)緩沖層有一部分可以進(jìn)入數(shù)據(jù)整合層，然后再進(jìn)入展現(xiàn)應(yīng)用層。其他有些途徑會進(jìn)入歷史鏡像層，這是我們在數(shù)據(jù)倉庫層面對大數(shù)據(jù)平臺做了很多的改造。
海盒大數(shù)據(jù)平臺的一個數(shù)據(jù)集中管理與虛擬分發(fā)的應(yīng)用。我們針對不同的用戶群建立不同的數(shù)據(jù)池，數(shù)據(jù)池比如說使得總行的數(shù)據(jù)實現(xiàn)管理、分發(fā)以及用戶權(quán)限的管理，使得分行的機(jī)構(gòu)使用和數(shù)據(jù)能夠快速啟動，在我們的Docker鏡像里面能夠快速啟動每個應(yīng)用。
這是我們大數(shù)據(jù)平臺資源按需分配機(jī)制的一個應(yīng)用，這是我們Docker的一個應(yīng)用。這是傳統(tǒng)的大數(shù)據(jù)平臺會跑在固定的集群上面，當(dāng)然有些業(yè)務(wù)量是一個波動的過程，就是有些時候訪問量會特別大，有些時候訪問量會比較小，那就是你集群的數(shù)量設(shè)置是固定的，但是你如何去適應(yīng)這種波動性的訪問情況？比如這就是一個例子，當(dāng)你的訪問量上漲的時候，你的反應(yīng)時間會變長。這樣的話，我們的Docker會自動擴(kuò)展，甚至可以擴(kuò)展到其他的服務(wù)器群上面，這樣你的訪問時間就會馬上下降。當(dāng)你的訪問時間下降之后，你不需要這么多臺服務(wù)器的時候，可以自動實現(xiàn)收縮。
大數(shù)據(jù)行業(yè)趨勢。大數(shù)據(jù)系統(tǒng)整個平臺分為兩塊，主要是兩個趨勢，一塊是做存儲，一塊是做分析應(yīng)用。其實做存儲這一塊目前還是一個主要的趨勢，隨著我們的數(shù)據(jù)存儲量越來越大以及數(shù)據(jù)倉儲越來越完備，數(shù)據(jù)分析就會顯得越來越重要。在數(shù)據(jù)存儲這個層面來說，現(xiàn)在我們主要像銀行業(yè)務(wù)是支持?jǐn)?shù)據(jù)支持業(yè)務(wù)，比如ATM機(jī)取款是業(yè)務(wù)操作，會有一些實時數(shù)據(jù)或者是其他數(shù)據(jù)對接到我們大數(shù)據(jù)存儲。像柜面、電話銀行都是多種多樣的數(shù)據(jù)源，會做一個很重要的存儲平臺。
在另外一個層次來說就是大數(shù)據(jù)分析，因為我們的數(shù)據(jù)量越來越大的時候，我們就需要做很多很復(fù)雜的分析，這個就會影響到?jīng)Q策層。其實決策層需要的不僅僅是數(shù)據(jù)，更需要的是很多算法的加工。我這里是舉了一些銀行的案例，就是我們怎么做大數(shù)據(jù)分析的。
我可以重點談一下反洗錢這個案例，為什么要說這個案例？反洗錢的算法是非常復(fù)雜的，之前在美國銀行做反洗錢的時候我們是和美國的貨幣管理委員會有一些針對各個銀行數(shù)據(jù)搜集進(jìn)行算法的分析。其實在這種情況下，隨著我們反洗錢規(guī)則的制定，有很多的犯罪分子會不斷的修改自己的犯罪手段適應(yīng)你的規(guī)則，你的規(guī)則越來越復(fù)雜的情況下，怎么做到從不同的數(shù)據(jù)源，從海量的數(shù)據(jù)當(dāng)中把這些犯罪的行為抓出來。其實我們做了很多的修正，做到最后包括整個外匯交易一旦進(jìn)來之后，我們能做到最終像中國成語說的天網(wǎng)恢恢，疏而不漏，這就是大數(shù)據(jù)將來的一個趨勢。
我的分享就到這里，謝謝大家！