導(dǎo)讀:在QCon 2016 北京站上,Druid開源項目的負(fù)責(zé)人,同時也是一家位于舊金山的技術(shù)公司共同創(chuàng)始人的Fangjin Yang楊仿今老師分享了題為 《Evolution of Open Source Data Infrastructure》的主題演講,在演講里楊老師詳細(xì)的介紹了開源大數(shù)據(jù)的過去,現(xiàn)在的形態(tài)以及未來幾年發(fā)展的趨勢和方向。本文根據(jù)他的演講整理而成。
首先,介紹兩個使用案例。
第一個是OLTP流程,主要指的是整個商業(yè)應(yīng)用和流程。我們會收集交易數(shù)據(jù),在業(yè)務(wù)過程當(dāng)中收集數(shù)據(jù),比如要銷售一些網(wǎng)上產(chǎn)品,可能希望把每一單都能夠記錄下來。
第二個主要案例是OLAP,主要指的是分析數(shù)據(jù),我們讓所有收集的數(shù)據(jù)能夠有意義,可以幫助我們生成報告,根據(jù)數(shù)據(jù)分析,進(jìn)行業(yè)務(wù)決策。這個應(yīng)用場景下,我們會把一些數(shù)字,比如說收益,將整個數(shù)據(jù)維度Dimensions以及Measures和數(shù)據(jù)整合在一起。
Small Data Analytics
在一個小數(shù)據(jù)里可以做以上兩個應(yīng)用,單個系統(tǒng)都可以應(yīng)用,非常簡單。我們主要做什么呢?我們會像微軟表格當(dāng)中收集數(shù)據(jù),之后進(jìn)行一系列視覺化。