企業(yè)數(shù)據(jù)可能會(huì)分散在多個(gè)系統(tǒng)中,彼此不能共享數(shù)據(jù)或者進(jìn)行相關(guān)的分析,從而造成數(shù)據(jù)孤島的現(xiàn)象。通過構(gòu)建統(tǒng)一的大數(shù)據(jù)平臺(tái)可以有效的解決大部分場(chǎng)景下的數(shù)據(jù)孤島問題,然后仍然存在一些數(shù)據(jù)因?yàn)楦鞣N關(guān)系無法遷移統(tǒng)一平臺(tái)上的現(xiàn)象。為了解決此類問題,Inceptor推出了數(shù)據(jù)源連接器Stargate。
Stargate是連接執(zhí)行引擎和各種數(shù)據(jù)源的連接器,可以將多種不同數(shù)據(jù)源的數(shù)據(jù)接入引擎做實(shí)時(shí)的統(tǒng)計(jì)分析,而無需事先將數(shù)據(jù)導(dǎo)入HDFS,從而更加方便用戶的業(yè)務(wù)構(gòu)建多樣化需求。
在語法層面,Inceptor兼容Oracle DB-Link規(guī)范,通過創(chuàng)建database link來預(yù)先建立和其他數(shù)據(jù)源的連接池,然后就可以在SQL中通過 table_name@database link的方式在Inceptor中實(shí)時(shí)訪問該數(shù)據(jù)源的數(shù)據(jù),無需其他操作。在執(zhí)行計(jì)劃開始后,Stargate通過預(yù)先建立的連接從其他數(shù)據(jù)源中抽取需要的數(shù)據(jù),輸入進(jìn)入執(zhí)行引擎層參與SQL計(jì)算。在計(jì)算完成后,釋放相關(guān)的數(shù)據(jù)庫(kù)連接以及對(duì)應(yīng)的資源。
目前Stargate支持關(guān)系數(shù)據(jù)庫(kù)包括Oracle,DB2,Mysql,Teradata以及PostgreSQL。此外,Stargate目前可以接入Holodesk,HDFS,Hyperbase等平臺(tái)內(nèi)數(shù)據(jù)源,未來將支持Elastic Search和Redis作為數(shù)據(jù)源。
多租戶管理組件 Guardian
Guardian提供完整的多租戶管理功能,包括租戶資源管理,租戶權(quán)限管理以及安全控制等模塊,可以方便企業(yè)在統(tǒng)一的大數(shù)據(jù)平臺(tái)上的多租戶的管理和分配。
Guardian允許對(duì)多租戶進(jìn)行CPU和內(nèi)存資源的配置和管理,不同的租戶使用不同的CPU和內(nèi)存資源池,因而不會(huì)互相干擾。此外可以給不同的用戶設(shè)定不同的優(yōu)先級(jí)來實(shí)現(xiàn)服務(wù)質(zhì)量控制(QoS)。
Guardian支持通過SQL對(duì)用戶磁盤空間的配置和管理,包括對(duì)數(shù)據(jù)空間和臨時(shí)空間的配額,更改和管理,以方便平臺(tái)對(duì)存儲(chǔ)資源的合理分配,管控和計(jì)費(fèi)。