在“2013中關村大數(shù)據(jù)日”的大數(shù)據(jù)與互聯(lián)網(wǎng)金融論壇上,光大銀行的劉錦淼帶來“最佳實踐——銀行數(shù)據(jù)基礎設施的重構”主題演講,從架構到應用講述銀行在大數(shù)據(jù)時代是怎么搭建基礎設施以及采用大數(shù)據(jù)技術。
劉錦淼:各位尊敬的來賓大家下午好!剛才我也很欣喜的看到臺上在座的有我們的金融行業(yè)的,也有互聯(lián)網(wǎng)行業(yè),也有盡管行業(yè),包括還有互聯(lián)網(wǎng)相關數(shù)據(jù)服務公司的一些老總們在談互聯(lián)網(wǎng)金融、大數(shù)據(jù)。其實我個人認為,互聯(lián)網(wǎng)金融和大數(shù)據(jù),大數(shù)據(jù)以及互聯(lián)網(wǎng)跟金融目前為止一直在碰撞,一直在不斷的糾結。
其實我今天來之前也在糾結一個問題,就是我是打領帶還是不打領帶,我是應該舒適一些,顯得自由舒服一些,還是顯得更應該正裝一些。我后來決定我作為光大銀行的一名員工,代表光大銀行跟大家共同探討一些問題的時候,我是代表光大銀行的,那么金融行業(yè),尤其是銀行業(yè),我們還是相對傳統(tǒng)一些,所以,我還是打了這個領帶。
我現(xiàn)在認為大數(shù)據(jù)以及互聯(lián)網(wǎng)金融都是比較開放的,現(xiàn)在我們國家、我們國內(nèi)的金融行業(yè),尤其是銀行業(yè)相對來講還是比較傳統(tǒng)的,但是不代表我們的銀行沒有現(xiàn)在向我們的大數(shù)據(jù)、向我們的互聯(lián)網(wǎng)金融邁進。今天我講不了更多的技術細節(jié),只能跟大家分享一下我們光大銀行怎么樣作為一家銀行在大數(shù)據(jù)方面做了哪些的探索。另外,剛才雷總也講到了光大銀行事件,我也想澄清一下,我們是光大銀行,光大證券是我們光大集團的兄弟單位,當然光大銀行的風險控制是非常嚴格的,光大銀行的風險管理水平應該是首屈一指的。
現(xiàn)在進入正題,我們往下講相關大數(shù)據(jù)的情況。我拿了一頁關于“大數(shù)據(jù)來了改變了什么”,我更多想的是它會改變銀行,改變?nèi)藗兊纳钚袨?。上午大家都聽了很多關于大數(shù)據(jù)的案例和大數(shù)據(jù)的概念,其實大數(shù)據(jù)對銀行來講,對我們銀行客戶服務的水平將會有一個非常大的提升和促進,它是一種趨勢,它能讓你看到業(yè)務發(fā)展的趨勢,所以它應該是對你業(yè)務全體趨勢的描述,它是一種復雜的大數(shù)據(jù)。
還有一個是非常重要的一點,就是一切皆可預測,剛才大家也在講,就是我們做一些風險評分模型的時候,它的規(guī)則應該是人為的,還是真正把這種風險評分模型的規(guī)則交給大數(shù)據(jù),去讓大數(shù)據(jù)自動找出一些邏輯關系。那么我想我們未來最終的模型會走向讓數(shù)據(jù)自己去找到自己之間的關聯(lián)關系,但是,從目前為止,更多的是由銀行從業(yè)者的一種行為,他的這種人為的判斷。我想對于大數(shù)據(jù)的應用,到目前為止我個人認為在國內(nèi)如果你離開了行業(yè)的應用,離開了行業(yè)應用的經(jīng)驗,大數(shù)據(jù)現(xiàn)在應用的價值還是不能夠被得到展現(xiàn)的,所以我們還是要重視技術,怎么樣挖掘數(shù)據(jù)和數(shù)據(jù)之間的關系,用什么樣的技術去挖掘,這些挖掘出來的關系是不是可靠,所以最終我們有一個黃色的部分標出來,真正的大數(shù)據(jù)能夠煥發(fā)青春主要來自于互聯(lián)網(wǎng)。只要有了互聯(lián)網(wǎng),互聯(lián)網(wǎng)是發(fā)揮大數(shù)據(jù)價值最重要的載體,所以互聯(lián)網(wǎng)的思維最終到數(shù)據(jù)化的思維,通過數(shù)據(jù)化的思維來實現(xiàn)數(shù)據(jù)的變現(xiàn),最終數(shù)據(jù)的價值。
這是我行大數(shù)據(jù)的基礎,我想在銀行業(yè)來講,也應該是一個相關的基礎。從去年開始,咱們中國都在叫大數(shù)據(jù)來了,去年很多人稱2012年是大數(shù)據(jù)元年,我們光大銀行自己內(nèi)部在講2013年是光大銀行的大數(shù)據(jù)元年,慚愧一點說,我們光大銀行并沒有在大數(shù)據(jù)應用價值方面在2013年有更多的作為,但是我們還是把大數(shù)據(jù)元年定為2013年,因為我們做好了相關的準備。從行的數(shù)據(jù)治理、數(shù)據(jù)架構規(guī)劃、數(shù)據(jù)倉庫不斷的升級擴容、新技術的應用到數(shù)據(jù)分析、挖掘、相關的技術準備、相關的協(xié)助配合,基本上我們已經(jīng)做好了利用大數(shù)據(jù)發(fā)揮價值的準備,我們想2014年我們會有更多的探索在這方面。
下面,針對數(shù)據(jù)治理、數(shù)據(jù)分析、分析、挖掘、架構怎么樣的規(guī)劃跟大家作一個簡單的介紹。首先是數(shù)據(jù)治理,數(shù)據(jù)治理從光大銀行來講,簡單介紹一下我們從05年開始建設我們行的數(shù)據(jù)倉庫,到08年開始,我們作為銀行業(yè)比較靠前啟動做這種數(shù)據(jù)標準化的一家銀行,到了2012年我們啟動了全行數(shù)據(jù)治理。目前來講,銀行業(yè)都在做數(shù)據(jù)治理,國內(nèi)的銀行現(xiàn)在數(shù)據(jù)治理的水平基本上是從基礎水平到主動水平,主動的管理水平再到量化的管理水平到可持續(xù)轉(zhuǎn)變發(fā)展的管理水平是有很多臺階的。我們現(xiàn)在銀行業(yè)不到2016年基本都能夠邁向量化水平的能力,如果你要是想最終把大數(shù)據(jù)用好,首先你要把數(shù)據(jù)治理好,你要把現(xiàn)在銀行內(nèi)可用的數(shù)據(jù)治理好,后面會講到我們對大數(shù)據(jù)的定義,并不是來自于外部數(shù)據(jù),我們認為符合大數(shù)據(jù)性質(zhì)的數(shù)據(jù)都是大數(shù)據(jù),我們銀行內(nèi)部現(xiàn)在我們算是小銀行,像工行內(nèi)部,它大量數(shù)據(jù)都算是大數(shù)據(jù),怎么更好的治理好行內(nèi)數(shù)據(jù),包括我們需要有一些抓手,我們需要讓各個業(yè)務部門去認領自己的數(shù)據(jù),這樣你才能夠讓他們參與到數(shù)據(jù)質(zhì)量優(yōu)化過程當中來,另外,數(shù)據(jù)質(zhì)量怎么保證,怎么樣制定數(shù)據(jù)標準,怎么樣通過考核激勵的方法,然后讓數(shù)據(jù)質(zhì)量不斷的上升等等,這都是數(shù)據(jù)治理的一些內(nèi)涵。
從數(shù)據(jù)服務角度來講,去應用數(shù)據(jù),通過數(shù)據(jù)的調(diào)閱抽取,通過數(shù)據(jù)的報表、通過數(shù)據(jù)的挖掘分析,通過數(shù)據(jù)的隨機查詢等等手段,為銀行的業(yè)務部門提供監(jiān)管報送、營銷管理支持、經(jīng)營決策支持等等,這些方面的業(yè)務支持的數(shù)據(jù)提供數(shù)據(jù)服務的一種手段,我們把它定義為數(shù)據(jù)服務。
從我們光大銀行的總結上來看,數(shù)據(jù)服務有三個方面,一方面,我們是屬于全國性商業(yè)銀行,我們首先第一步就是要面向總行提供專業(yè)的數(shù)據(jù)服務,第二方面要面向分行提供數(shù)據(jù)服務,這種方法在國外很多銀行用數(shù)據(jù)用得比較好的銀行來講,總行的數(shù)據(jù)直接支持和指導分行、支行進行客戶營銷的能力是非常強的。最后,我們還會面向業(yè)務發(fā)展的熱點,不斷提供數(shù)據(jù)分析報告,這種分析報告不是簡單的業(yè)務分析報告,而是真正利用大數(shù)據(jù)來找到業(yè)務關聯(lián),發(fā)現(xiàn)業(yè)務機會的分析報告。
后面我會舉幾個例子,第一個例子,我沒拿國內(nèi)銀行的,也不是我們自己光大銀行的,剛才在座的大家講了很多的實例,這個實例很簡單,但是我想國內(nèi)銀行很少能實現(xiàn),這也是我們夢寐以求想做的事情。這是荷蘭銀行,在他們的網(wǎng)站有一個很簡單的圖片,也就是說客戶來了以后會看到一個廣告,比如說車貸,他們首頁上有一個車貸廣告,客戶看到這個廣告以后,這是所有的客戶登錄他們的網(wǎng)頁以后都能看到的。當這個客戶看到的車貸以后,發(fā)現(xiàn)我想看一看貸款的計算,但是它計算的時候,計算的是房貸不是車貸。而大家看到我們首頁上是一個車貸的廣告,當銀行實時看到它用房貸計算器做房貸計算的時候,當這個客戶再回到首頁的時候,他看到的這個頁面廣告已經(jīng)變成了房貸廣告。后來我問清楚了,他看到的這個房貸廣告只有這一個客戶能看到,其他的所有客戶看到的還是剛才的車貸廣告,這說明了什么呢?說明這家銀行在它的網(wǎng)銀門戶上內(nèi)置了一些相關的代碼,這叫實時的營銷。后面跟進的有相關的數(shù)據(jù)分析,他看到他的一些分析的客戶在他網(wǎng)上銀行的一些點擊記錄的相關交易數(shù)據(jù),對非金融性交易的數(shù)據(jù)進行實時分析以后做的針對式的營銷。這是荷蘭銀行做得很有意思的地方,現(xiàn)在國內(nèi)很少有銀行能做到實時營銷。
這是我們光大銀行近期做的數(shù)據(jù)分析的案例。眾所周知,社區(qū)銀行大家都在追捧,光大銀行也是追著民生銀行在做社區(qū)銀行,最近銀監(jiān)會剛剛提出了對社區(qū)銀行的規(guī)則性要求,我想為了服務咱們整個民眾,我想銀行業(yè)對于社區(qū)銀行這塊的戰(zhàn)略應該在未來符合監(jiān)管要求的情況下,能夠有風險可控的情況下,我想社區(qū)銀行會有大力的發(fā)展。我們光大銀行在發(fā)展社區(qū)銀行的時候,我們也運用到大數(shù)據(jù)分析的技術,來指導我們社區(qū)銀行的選型,包括盲點后評價,包括選型過程當中,對社區(qū)銀行經(jīng)營模式的定位,以及差異化對社區(qū)銀行資源配置等等,我們會拿到很多外部的數(shù)據(jù),包括像58同城數(shù)據(jù)、大眾點評數(shù)據(jù)、搜房網(wǎng)的數(shù)據(jù),還有一些社區(qū)規(guī)劃的數(shù)據(jù)。這次我們簡單拿出的例子是城市規(guī)劃的數(shù)據(jù),大家可以看到,這個城市有兩個主要的商業(yè)中心,兩扇是在發(fā)展旅游,兩翼是在發(fā)展商圈。對于社區(qū)銀行的部署,它的特點、它的經(jīng)營方向有一個初步的規(guī)劃。我們還會結合更多的一些外部數(shù)據(jù),對每一家要開設的社區(qū)銀行都有一個定位,這是社區(qū)銀行的大數(shù)據(jù)分析的支持。
下一個例子是新浪微博的輿情監(jiān)控分析。這一點我們開誠布公的說,之前也跟簽約公司有一些合作,對于互聯(lián)網(wǎng)這種數(shù)據(jù)的查取,包括用中文語義進行關聯(lián)性的分析,現(xiàn)在很多公司都在做,銀行有沒有真正用起來,我想光大銀行先做一些探索,我們真正的去分析了一下我們現(xiàn)在光大銀行銀行在輿情上來講,理財還是我們最重要的,這是光大的特點。另外,客戶的情感的變化情況,哪個月客戶向好的情感以及不利的情感我們都可以控制,去做一些營銷,做一些媒體上的消息發(fā)布等等。另外我們分析這塊情況還可以分地區(qū),不同的地區(qū)、不同的互聯(lián)網(wǎng)用戶的特點是不一樣的。
怎么用好大數(shù)據(jù)?我們通過這一年的準備,包括前面很多年做數(shù)據(jù)挖掘的經(jīng)驗有這么一個描述,從初步探索到大數(shù)據(jù)的嘗試使用,到最終我們要部署應用使用,這里面包括很多步驟,包括組織、包括大數(shù)據(jù)的獲取,包括我們怎么用大數(shù)據(jù),在哪些領域去分析,包括我們講的客戶營銷領域都會用到,最終我們會用成熟的大數(shù)據(jù)應用,包括我們大數(shù)據(jù)的一些相關的管理制度去規(guī)范大數(shù)據(jù)的使用。
從數(shù)據(jù)架構的角度來講,我就不說了,因為銀行傳統(tǒng)的架構包括數(shù)據(jù)方面的架構都是非常傳統(tǒng)的,我們光大銀行和其他銀行不一樣,像國內(nèi)銀行更多的是用數(shù)據(jù)倉庫技術處理現(xiàn)在的數(shù)據(jù),現(xiàn)在對于互聯(lián)網(wǎng)數(shù)據(jù),對更多的非結構化數(shù)據(jù)怎么樣去處理?我們可能需要突破原有的數(shù)據(jù)應用架構來做,包括現(xiàn)在的數(shù)據(jù)要求更快,剛才講到了要求到T+0了,現(xiàn)在我們做到的基本上都是T+1。這是一個架構的事例,這是我們現(xiàn)在數(shù)據(jù)倉庫架構的事例,這是一個非常傳統(tǒng)的數(shù)據(jù)架構的案例。
從架構的設計目標上來講,我們需要滿足多樣化的數(shù)據(jù)服務需求,從單一的平臺過渡到多元化的結構,最終我們要具備更廣泛多樣化的數(shù)據(jù)處理要求。后來我們基本上完成了一個面向于大數(shù)據(jù)、迎接大數(shù)據(jù)要求的這么一個數(shù)據(jù)應用架構,數(shù)據(jù)機構上來講,我們做好了儲備,但是最終的要求是怎么樣把這個架構落地,因為我們銀行是開放的心態(tài),我們希望跟更多的廠商去共同交流合作,怎么樣把我們這個架構真正的應用做出來。
最后是一個新技術的應用,也就是Hadoop。剛才很多人都在講Hadoop不代表大數(shù)據(jù),但是Hadoop是大數(shù)據(jù)的一個非常重要的應用架構?,F(xiàn)在銀行基本上是有對于大數(shù)據(jù)處理的架構,包括我們現(xiàn)在有的Oracle的一體機等等,橫向擴展性都是有局限的,但是對Hadoop來講,橫向擴展性非常強,成本非常低。所以,Hadoop未來是非常有競爭力的。Hadoop的概念我就不在這里多講了,在座的有很多的專家,我就不細說了。
我們光大銀行對于Hadoop來講做了一個什么樣的嘗試呢?因為銀行都有歷史數(shù)據(jù),我們從1999年系統(tǒng)大集中以后,我們行十幾年的數(shù)據(jù)一直是在非在線的狀態(tài),我們會有很多的歷史查證的要求,包括客戶,包括監(jiān)管機構,包括檢察機關,都會來我行進行歷史數(shù)據(jù)查證。這種查證的效率是非常低的,怎么樣解決查證的高效支持呢?就是Hadoop,如果我們用傳統(tǒng)的Oracle數(shù)據(jù)支持,把原來的歷史數(shù)據(jù)庫放在Oracle,一方面成本太高,一方面效率不如Hadoop。我們做了一個測算,如果我們用惠普一套整體架構比Hadoop要多用好幾百萬,Oracle也是一樣的。因為對銀行來講,我們風險管理的要求,IT操作風險管理的要求,銀行是要求安全性非常高的,我們需要有3D備份,所以我們要部署一套架構需要有大量的投入。剛才也在講,銀行每年投入到IT成本是非常高的,如果我們引用了Hadoop,這是我們一種非常有益的嘗試,未來可能會在更多領域去運用這個Hadoop技術。
這一頁講的其實是把歷史數(shù)據(jù)查詢功能架到Hadoop的基礎上,其實最重要的是我們真正用了這種開放Hadoop的架構技術做一個銀行非常傳統(tǒng)的業(yè)務,這當然是我們現(xiàn)在看到的銀行敢不敢把Hadoop用在業(yè)務上的創(chuàng)新嘗試,我們現(xiàn)在用得還蠻不錯,我想后面我們會有更多的領域去嘗試Hadoop的技術。最后這是盤活線下資產(chǎn)、盤活數(shù)據(jù)價值的方法。
短短20分鐘,我講的東西還是比較粗淺,從我們光大銀行來講,我們有這么幾句,數(shù)據(jù)上收、服務下沉、見微知著、洞察商機、切實收益,雷總也曾經(jīng)談到過,另外我們想應該落實數(shù)據(jù)服務模式,助力科技創(chuàng)新應用,驅(qū)動銀行業(yè)務的發(fā)展。光大銀行的業(yè)務戰(zhàn)略是要做最有創(chuàng)新力的銀行,我在這里也做一個廣告,右邊二維碼是我們光大銀行信息科技創(chuàng)新實驗室,如果大家感興趣的話,可以掃一下這個二維碼,來關注一下微信上的創(chuàng)新實驗室的相關內(nèi)容。
以上就是我今天的介紹,謝謝大家!