如何實現(xiàn)
為了滿足以上各項苛刻條件,我們需要將大量工具加以結(jié)合。其中Apache Kafka負(fù)責(zé)收集數(shù)據(jù)流,并通過Apache Storm或者Apache Spark(基于具體系統(tǒng)需求)將其路由至HIVE/HDFS,接下來由分析引擎提取結(jié)論并將其發(fā)送至儀表板。
如何簡化實現(xiàn)流程
來自任何來源的數(shù)據(jù)都會由Kafka集群負(fù)責(zé)收集與暫時存儲,而Zookeeper——>中繼——>主題分類機制則隨即跟上。而后其會通過Storm或者Spark被發(fā)送至HIVE/HDFS,并由后者再傳遞至分析引擎(例如SAS VA)——這一切都以實時方式完成,結(jié)論則被推送至儀表板供用戶理解及據(jù)此行動。
最后,為了充分發(fā)揮實時數(shù)據(jù)分析的潛能,企業(yè)之間還需要通力協(xié)作。大數(shù)據(jù)領(lǐng)域的經(jīng)驗證明,合作伙伴之間的配合是實現(xiàn)分析的前提條件。最后,各合作伙伴還需要廣泛接觸各垂直行業(yè),從而理解其中的具體業(yè)務(wù)及錯綜復(fù)雜的相關(guān)要素。
因此,選擇理想的合作伙伴亦左右著實時分析項目的最終命運。
總結(jié)
多數(shù)企業(yè)都擁有大量最終用戶接觸點,而當(dāng)下對此類組織以及政府機構(gòu)而言可謂決定性時刻。通過即時了解當(dāng)前狀況,各組織機構(gòu)將能夠讓自己的工作更加富有成效——而實時數(shù)據(jù)分析方案則給了它們一個將理想轉(zhuǎn)化為現(xiàn)實的選項!
原文標(biāo)題:Real-time Data Analytics: The Way Forward