存儲(chǔ)
批處理計(jì)算
加速計(jì)算
總覽
正如我之前提到的，我們構(gòu)建了Keen數(shù)據(jù)接口（API），以便任何開發(fā)人員都可以使用世界一流的數(shù)據(jù)架構(gòu)，而無需擁有一個(gè)龐大的團(tuán)隊(duì)構(gòu)建一大堆基礎(chǔ)架構(gòu)。成千上萬的工程團(tuán)隊(duì)使用Keen的API來捕獲、分析、流式傳輸和嵌入事件數(shù)據(jù)，包括實(shí)時(shí)和批處理應(yīng)用程序。雖然使用Keen的開發(fā)人員在發(fā)送事件或運(yùn)行查詢時(shí)不需要知道幕后發(fā)生的情況，但下面是處理其請(qǐng)求的體系結(jié)構(gòu)：
Keen IO信息處理結(jié)構(gòu)圖
在輸入方面，負(fù)載均衡器處理數(shù)十億個(gè)傳入的帖子請(qǐng)求。事件流來自于應(yīng)用程序，網(wǎng)站，連接設(shè)備，服務(wù)器，計(jì)費(fèi)系統(tǒng)等等。事件需要驗(yàn)證、排序和可選擇地豐富額外的元數(shù)據(jù)，如IP-地理查詢。這一切都發(fā)生在幾秒鐘內(nèi)。一旦安全地存儲(chǔ)在Apache Cassandra中，事件數(shù)據(jù)就可以通過RESTAPI進(jìn)行查詢。我們的架構(gòu)（通過Apache Storm，Dynamo DB，Redis和AWS lambda等技術(shù)）支持從原始傳入數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)探索，到應(yīng)用程序和面向客戶報(bào)告的緩存查詢的各種查詢需求。Keen每天查詢數(shù)萬個(gè)事件屬性，并為成千上萬的客戶構(gòu)建報(bào)告，自動(dòng)化和數(shù)據(jù)挖掘界面。