中云網(wǎng)消息 8月29日-30日，以“數(shù)據(jù)重構(gòu)未來”為主題的D-Future七牛數(shù)據(jù)時(shí)代峰會在上海舉行。七牛攜百名創(chuàng)業(yè)明星，技術(shù)大咖匯聚國際時(shí)尚中心，共話數(shù)據(jù)發(fā)展，探討行業(yè)未來!
以下是攜程網(wǎng)的架構(gòu)專家楊曉青的演講實(shí)錄，分享了攜程數(shù)據(jù)架構(gòu)建設(shè)和平臺服務(wù)化的實(shí)踐：
楊曉青：大家好，我是攜程的數(shù)據(jù)架構(gòu)專家我叫楊曉青。剛開始我先自我介紹一下，09-12年的時(shí)候，我是在騰訊，參與數(shù)據(jù)平臺TDW的平臺從無到有的建設(shè)，2014年是在阿里巴巴CDO數(shù)去平臺部，負(fù)責(zé)從無論道路有竇建GOlaxy流計(jì)算平臺。去年開始我加入到了攜程，負(fù)責(zé)攜程的基礎(chǔ)架構(gòu)的工作。
以前我在騰訊和阿里做的時(shí)候，從開始做的時(shí)候，也沒有太多的歷史的包袱，到了攜程以后，我遇到了很多新的問題，比如是在去年的時(shí)候，攜程的一個(gè)數(shù)據(jù)處理架構(gòu)，是有一個(gè)架構(gòu)的，從0開始做的話，可能難度還會小一點(diǎn)。以前是一個(gè)混合的數(shù)據(jù)處理體系。在大數(shù)據(jù)的架構(gòu)下，快速躍升的時(shí)候，我們要換名字，這是對我們的挑戰(zhàn)。以前在這個(gè)架構(gòu)下培養(yǎng)的工程師，我們要進(jìn)行一個(gè)基礎(chǔ)架構(gòu)，工程師要進(jìn)行一個(gè)變更，大家要去學(xué)習(xí)新的東西，可能大家已經(jīng)熟悉了一套老的東西，有200多個(gè)工程師做的是和數(shù)據(jù)相關(guān)的東西，這個(gè)是非常有挑戰(zhàn)的事情。
還有在以前的系統(tǒng)下，大家平時(shí)做的時(shí)候，經(jīng)常會出錯(cuò)，大家會去管理這些系統(tǒng)，然后查詢數(shù)據(jù)的質(zhì)量是不是OK,哪里錯(cuò)了，定位在哪里，這個(gè)是非常的麻煩的。還有我發(fā)現(xiàn)歷史的數(shù)據(jù)有了問題，我怎么樣去糾正對了，還有一些在計(jì)算方法上的問題，很多的計(jì)算平臺發(fā)現(xiàn)越跑越慢，這是我們當(dāng)時(shí)遇到的挑戰(zhàn)，在這個(gè)挑戰(zhàn)之下，我們開始考慮，怎么樣在不影響前提的情況下，還可以把這個(gè)名字換掉。
我們剛開始的進(jìn)行一個(gè)數(shù)據(jù)架構(gòu)，主要是進(jìn)行了三個(gè)產(chǎn)品，一個(gè)是數(shù)據(jù)采集和平臺，這是一個(gè)基于數(shù)據(jù)調(diào)度的一站式的處理平臺，下面是一個(gè)數(shù)據(jù)分析的平臺。這個(gè)架構(gòu)實(shí)際上沒有太大的新意，前面也有很多的人來說，大家基本都是這么干的，沒有什么特別的。
現(xiàn)在我們大概是分了一個(gè)基礎(chǔ)的。比如是做Hadoop,還有一個(gè)團(tuán)隊(duì)是做的實(shí)時(shí)計(jì)算的東西，主要是Spark的一些事情，另外一個(gè)我們要基于分布式計(jì)算集群，變程一套解決方案，讓工程師快速的解決這個(gè)事，減少大家的工作量。整個(gè)數(shù)據(jù)處理的流程就是這么一張圖，在所有的網(wǎng)站系統(tǒng)，或者是電子商務(wù)系統(tǒng)，大家的數(shù)據(jù)基本是可以分成三類，第一個(gè)是交易相關(guān)的數(shù)據(jù)，這些數(shù)據(jù)基本是落數(shù)據(jù)庫里面的，還有一個(gè)是用戶的行為數(shù)據(jù)，這些數(shù)據(jù)的題量都比較大，還有一些是會在系統(tǒng)里面發(fā)一些消息，比如是系統(tǒng)檢測的難點(diǎn)，會通過系統(tǒng)發(fā)出來。
然后我們在解決方案里面，業(yè)務(wù)日志和系統(tǒng)消息是走的消息隊(duì)列，對于交易類的系統(tǒng)，可能和大多數(shù)的公司是不大類似的，Muise流處理，對我們現(xiàn)在的要實(shí)時(shí)的采集它，給我們帶來了很大的挑戰(zhàn)，完成關(guān)于交易數(shù)據(jù)增量采集的一個(gè)方法。
整個(gè)的計(jì)算的引擎，離線的部分基本就是機(jī)遇Spark的體系去做的，還有做產(chǎn)品驗(yàn)證的系統(tǒng)，還有數(shù)字的API,供推薦交易用，還有一些其他的很多的小系統(tǒng)。前面也提出到了數(shù)據(jù)同步，因?yàn)镾erver給我們帶來了很多麻煩的事，這個(gè)是我們基于二次開發(fā)進(jìn)行的一個(gè)包裝，我們現(xiàn)在的MySQL和hive等攜程主流數(shù)據(jù)庫間任意同步，解決多種同步工具混用，效率難以保證，維護(hù)負(fù)責(zé)問題。在這個(gè)產(chǎn)品之上，我們數(shù)據(jù)采集的模式，之支持全量和增量數(shù)據(jù)同步模，通過可線性擴(kuò)展，這是我們產(chǎn)品的一個(gè)頁面，你的任何的數(shù)據(jù)要采集，打開我們的頁面，在上面進(jìn)行一些配置，那過一會，你的數(shù)據(jù)就會有了，后面就會啟動同步配置，而且和我們的調(diào)度平臺是可以無縫的結(jié)合的。我們來看一下關(guān)于增量計(jì)算和增量采集的問題。
日志數(shù)據(jù)有一個(gè)特點(diǎn)，永遠(yuǎn)不會改變，只要它產(chǎn)生了，沒有人會去改它，但是數(shù)據(jù)庫不大一樣，數(shù)據(jù)庫一直是有改動的。我們自己做的一些協(xié)議，比如是線上的線上的數(shù)據(jù)可以通過日志的方式同步到另外的數(shù)據(jù)庫里面去，可以啟動增量的模式，數(shù)據(jù)里面會加一些標(biāo)簽，可以每次采集一部分的數(shù)據(jù)，增量預(yù)算比如是今天結(jié)束以后，會啟動一個(gè)末點(diǎn)運(yùn)算，為什么要做增量的計(jì)算，第一個(gè)解決時(shí)時(shí)性的問題，以前是一天會做一次，比如是我要看到今天的銷售怎么樣，特別是做活動的時(shí)候，大家非常的關(guān)注今天的狀態(tài)是怎么樣，可以提高數(shù)據(jù)的實(shí)時(shí)性。
如果是大家每天都是第二天早上運(yùn)算，那大家會遇到過同樣的問題每天凌晨計(jì)算量非常的高，通過增量計(jì)算可以把這個(gè)階段拉平了，還有一個(gè)好處，很多的數(shù)據(jù)會涉及到跨機(jī)房采集，對網(wǎng)絡(luò)會造成比較大的沖擊。 我們到八月的數(shù)據(jù)，每天會同步八千多張紙的表，要同步5T左右的數(shù)據(jù)量，同步的行數(shù)是在20億條。
數(shù)據(jù)調(diào)度平臺這是我今天要重點(diǎn)說的平臺，這個(gè)調(diào)度平臺，我們把它做成了一個(gè)產(chǎn)品化的東西，定位成數(shù)據(jù)開發(fā)一站式服務(wù)的結(jié)合的地方，數(shù)據(jù)的采集，計(jì)算，管理，運(yùn)維，都在這個(gè)平臺上可以完成。
這個(gè)系統(tǒng)是整個(gè)數(shù)據(jù)處理系統(tǒng)，大家也都了解，現(xiàn)在的數(shù)據(jù)處理太多了，而且任何一個(gè)公司，都不可能用單獨(dú)的一個(gè)解決的方案，或者是某一種系統(tǒng)完成所有的問題，肯定是一個(gè)多平臺的，多系統(tǒng)的一個(gè)組合達(dá)到不同的特性。這個(gè)調(diào)度系統(tǒng)，每天基本上是驅(qū)動了這些，把數(shù)據(jù)同步到計(jì)算的平臺，還可以采集負(fù)載，采集日志是否到位這些信息，然后進(jìn)行計(jì)算，還會帶來一個(gè)好處，我可以看到整個(gè)系統(tǒng)的運(yùn)行趨勢是不是正常。比如是可以看到運(yùn)行的任務(wù)是怎么樣，可以自動的暴行，運(yùn)行的速度是不是越來越慢。
比如是通過了整個(gè)任務(wù)的分布，我們可以給出任務(wù)一些建議，它在運(yùn)行的時(shí)間應(yīng)該進(jìn)行一些調(diào)整，或者是攜程有多個(gè)業(yè)務(wù)線，你可以發(fā)現(xiàn)這個(gè)業(yè)務(wù)線和那個(gè)業(yè)務(wù)線，你們的計(jì)算邏輯是一致的，是可以進(jìn)行合并的，計(jì)算一份就可以了。
在沒有這個(gè)技術(shù)之前，我們整個(gè)數(shù)據(jù)系統(tǒng)有很大的運(yùn)維的成本，我要開發(fā)上線一個(gè)新的ETR的流程，我要在測試的環(huán)節(jié)調(diào)試是不是OK的，然后要去上線，走一條完整的上線的流程，然后觀察是不是OK的，整個(gè)的流程，除了你自己寫你的業(yè)務(wù)邏輯的時(shí)間，你完成這么一套流程上的時(shí)間，可能是幾個(gè)小時(shí)也會有的。
還有一個(gè)是運(yùn)維，我們現(xiàn)在有二萬多的ETR的流程，最典型的例子，如果是你的一個(gè)數(shù)據(jù)質(zhì)量有問題，特別是一張底層表出了問題，發(fā)現(xiàn)數(shù)據(jù)在報(bào)表的時(shí)候是錯(cuò)的，然后把錯(cuò)的地方恢復(fù)以后，依賴這個(gè)標(biāo)的任務(wù)有幾十甚至是一百，挨個(gè)的恢復(fù)它，可能一天也做不完。這是之前的一個(gè)狀況。
我們基本是把開發(fā)上線的時(shí)間降到了十幾分鐘，運(yùn)維都是一鍵的，甚至是系統(tǒng)可以有一些自己的規(guī)則，判定你的流程是不是屬于一個(gè)正常的狀態(tài)，如果是發(fā)現(xiàn)了錯(cuò)誤，系統(tǒng)可以自動的幫你重置，或者是某一個(gè)系統(tǒng)有問題，檢測到這個(gè)系統(tǒng)恢復(fù)了以后，可以自動的啟動。
這個(gè)系統(tǒng)大概是有四個(gè)模塊，一個(gè)是開發(fā)IDE,有一個(gè)圖形化的界面，專門可以去開發(fā)，調(diào)試，甚至是把廠家的數(shù)據(jù)都可以去進(jìn)行查詢，比如是我突然忘記了這個(gè)表的字段是怎么樣的，我可以同時(shí)察看關(guān)于任何表的元素的信息，包括這個(gè)表里面有一些什么數(shù)據(jù)，可以了解一下數(shù)據(jù)的內(nèi)容。另外一個(gè)是工作，主要是管理任務(wù)的啟動和停止。比如說我們配置的任務(wù)要早上三點(diǎn)行動，定時(shí)的啟動，還有數(shù)據(jù)采集完成，會發(fā)生一連串的計(jì)算，整個(gè)是一個(gè)完整的數(shù)據(jù)流程，要去依賴。
還有是事件的出發(fā)，比如是人工的觸發(fā)一個(gè)實(shí)踐，還有人工的觸發(fā)，有一個(gè)開放的接口，另外可以調(diào)調(diào)度系統(tǒng)的借口。另外一個(gè)是運(yùn)維管理，發(fā)現(xiàn)了錯(cuò)誤以后，可以以來了城堡，看一下任務(wù)的日志，如果是這個(gè)任務(wù)非常的失敗以后，晚上可以自動的給我打電話，告訴我出了什么問題了。
還有每天的業(yè)務(wù)報(bào)告，比如是很多的人會關(guān)心，我想看一下整體狀況的優(yōu)勢是怎么樣的，錯(cuò)誤的失敗率有多高，都可以看到，另外一個(gè)是智能的管理，現(xiàn)在攜程有300多臺電腦，有很多的開發(fā)的單子，這時(shí)候的資源肯定是不夠的，這時(shí)候該要根據(jù)優(yōu)先級來判斷，哪一些任務(wù)先跑，哪一些任務(wù)后跑。如果我們發(fā)現(xiàn)集群比較慢的時(shí)候，我們就會禁止提交集群。
另外一個(gè)是分組，在不同的環(huán)境下，可以根據(jù)不同的特性根據(jù)分組。這個(gè)是任務(wù)的觸發(fā)方式。這個(gè)是整個(gè)系統(tǒng)怎么樣運(yùn)作的，比如是數(shù)據(jù)平臺，會出發(fā)很多的工具，驅(qū)動整個(gè)的數(shù)據(jù)流程！是從生產(chǎn)慢慢的流動到通訊系統(tǒng)，最終是流動到報(bào)告和推薦系統(tǒng)里面去。這是我們和普通的系統(tǒng)不大一樣的地方，我們做了一個(gè)資源分組的功能，這個(gè)系統(tǒng)，大概是去年的10月份上線的，因?yàn)槲覀冇泻芏嗟臉I(yè)務(wù)要去做，這個(gè)周期的迭代系統(tǒng)大概是二周就要上線，我們上線的時(shí)候，因?yàn)樯厦嬗泻芏嗟娜蝿?wù)了，比如是上線以后有問題的話，我們會有很大的壓力，通過分組，我們可以先放到測試組里面，如果是OK的話，客觀恢復(fù)上線，還有一些任務(wù)的話，可能需要一些相關(guān)的環(huán)境，我們可以切換為獨(dú)立的集群，在R集群強(qiáng)化管理。
這個(gè)就是剛才說到的優(yōu)先級，沒有優(yōu)先級的話，比如是大家都有錢打水，那都接受不了，都會非常的憤怒。一些不重要的信息，大家也不是這么的在意了，還OK的。
現(xiàn)在我們每天集群的規(guī)模有33萬的樣子，這是我們做的功能的演示，可以看出計(jì)算的結(jié)果，這里應(yīng)該是我的左邊，這里有一個(gè)原數(shù)字的管理系統(tǒng)，你輸入任何的標(biāo)，會彈出含義，包括預(yù)覽的數(shù)據(jù)是什么。右邊這里是整個(gè)的任務(wù)數(shù)，大家可以看到很多的業(yè)務(wù)是發(fā)郵件的。我可以看多自己的業(yè)務(wù)類型，但是如果是你不想讓別人看到的話，可以是加秘的。也有一些自動存款的策略給大家配置。這個(gè)是每天寫的日志，大家都可以在頁面上進(jìn)行探討。
這個(gè)是大家只能看到自己的任務(wù)，這是每天的一些趨勢，比如是多少的成功，多少的失敗。這是我們的管理系統(tǒng)，每一個(gè)機(jī)器上有一些什么內(nèi)務(wù)都可以砍掉。整個(gè)集群的負(fù)債都比較高的時(shí)候，我們會負(fù)責(zé)到等一下，免得把機(jī)器拖死了，這是整個(gè)Maart的志，現(xiàn)在我們的數(shù)據(jù)進(jìn)行管理預(yù)算，最通用的是有一些是簡單的出一張報(bào)表，簡單的看一下運(yùn)營數(shù)據(jù)就可以了，如果是用的詳細(xì)時(shí)候，比如是我想象一下業(yè)務(wù)線是多少比如是左邊的交易額是多少，右邊這里定單是自動化的，甚至是很明細(xì)的一個(gè)指標(biāo)。
在相當(dāng)于展示和報(bào)表的平臺之上，我們主要是有二個(gè)產(chǎn)品，一個(gè)是展品寶寶，一個(gè)是多個(gè)分娩引擎。簡單報(bào)表引擎，因?yàn)樗浅５暮唵?，而且非常的好用，支持多種數(shù)據(jù)庫，支持發(fā)送郵件，支持附加Fdfipang,你只要任何的一搜索，就可以出來各種的線索和餅圖，你可以讓你看到的東西，可調(diào)這么一些圖形。而且是可以定時(shí)的，比是是每天早上通過這個(gè)系統(tǒng)。以確認(rèn)整個(gè)系統(tǒng)的人員是不是成功的。
這個(gè)產(chǎn)品是我們批評成功的產(chǎn)品，有700多個(gè)UV操作參加，這是我們的一個(gè)操作臺，你只要是把人添到這個(gè)框里面去，根據(jù)時(shí)間會有一個(gè)特殊的標(biāo)簽，你達(dá)到了這個(gè)標(biāo)簽，時(shí)間就會多，你只要點(diǎn)了，就會出來這么多，你沒有什么不需要看到的，只要是數(shù)據(jù)分析人，把你的數(shù)據(jù)輸進(jìn)去，就可以出來更多的了。
這個(gè)是相對來說專業(yè)的要求稍微的高一點(diǎn)，這是一個(gè)多維分析引擎，我們對它進(jìn)行二次開發(fā)。這個(gè)產(chǎn)品主要是大數(shù)據(jù)量的分析，另外一個(gè)小數(shù)據(jù)量的刻劃，可以通過搜搜網(wǎng)，你在做報(bào)表和模型的時(shí)候，不需要關(guān)心是在什么網(wǎng)站上，后面會自動的發(fā)到你的電腦里做支持。這個(gè)是分的更細(xì)的，這個(gè)是支持多種圖影，比如是各種組合，這個(gè)是我們分析的火車票定單的狀況。
我要說的就這么多，我們整體做的時(shí)候，我們分了三個(gè)層次，數(shù)據(jù)采集一個(gè)系統(tǒng)，整個(gè)一站式的數(shù)據(jù)管理系統(tǒng)，同時(shí)一個(gè)數(shù)據(jù)的展出，如果你是一個(gè)數(shù)據(jù)分析師，你進(jìn)來了以后，都是在頁面上，你只要經(jīng)過了一些技能，其他的東西都是數(shù)據(jù)點(diǎn)擊就可以了，就說這么多，謝謝大家。