基于Transwarp Inceptor構(gòu)建的大數(shù)據(jù)平臺,處理能力更強,并發(fā)性更高,更易于擴展,能夠極大的提速數(shù)據(jù)倉庫的批量處理能力。前端通過Sqoop,flume等ETL工具整合現(xiàn)有企業(yè)內(nèi)部數(shù)據(jù),并可以通過Kafka等工具實時接入外部數(shù)據(jù),存Inceptor并且完成對海量的數(shù)據(jù)進行存儲、清洗、加工、建模等,把先前無法利用的數(shù)據(jù)充分利用,提升對數(shù)據(jù)的認識。
此外,通過在大數(shù)據(jù)平臺中部署實時決策平臺(Stream)和數(shù)據(jù)探索平臺(Discover),輔以Inceptor的強大處理能力,企業(yè)可以構(gòu)建更多開創(chuàng)型應(yīng)用,如準實時系統(tǒng)日志分析應(yīng)用、客戶實時風(fēng)險監(jiān)測、實時的用戶體驗優(yōu)化與客戶行為分析、客戶標簽化畫像應(yīng)用,加快業(yè)務(wù)數(shù)據(jù)分析團隊自主的數(shù)據(jù)探索和業(yè)務(wù)建模過程。
數(shù)據(jù)集市建設(shè)方案
交互式分析和探索是數(shù)據(jù)集市市場的重點業(yè)務(wù),但是傳統(tǒng)關(guān)系型數(shù)據(jù)庫或者基于Map Reduce的計算框架對臨時的實時性要求高的交互式分析無法快速響應(yīng),查詢效率低,無法進行有效數(shù)據(jù)探索。
Inceptor提供基于內(nèi)存或者SSD的列式存儲Holodesk,并且提供基于內(nèi)存的超強統(tǒng)計分析能力,數(shù)據(jù)通過ETL工具導(dǎo)入Inceptor Holodesk中,在內(nèi)存或者SSD上建立分布式索引和OLAP-Cube。
報表工具通過JDBC/ODBC接口來訪問Cube,無需在BI工具中額外構(gòu)建Cube,極大的降低了交互式分析的延時。此外,通過集成R語言以及并行化大量的數(shù)據(jù)挖掘算法,用戶可以實時的從Holodesk中數(shù)據(jù)抽取數(shù)據(jù)進行數(shù)據(jù)挖掘和探索。