1.Kylin對Kerberos認證的支持
2.Kylin非Hadoop節(jié)點的部署支持
3.多數(shù)據(jù)源的支持
綜合分析現(xiàn)實的場景之后,我們選擇了公司內(nèi)最大的hadoop集群作為Kylin Olap的計算引擎集群,保證有充足的存儲以及計算資源。 HBase采用一個獨立的集群,避免Hbase查詢和Hadoop集群任務之間的互相干擾。數(shù)據(jù)源Hive允許用戶自定義,目前已支持同Hadoop集群下不同Hive 以及不同Hadoop集群下的不同Hive節(jié)點使用Kylin Olap服務。根據(jù)用戶數(shù)據(jù)倉庫的實際配置情況可能會出現(xiàn)跨集群的數(shù)據(jù)源抽取計算, 由于公司同城機房有專線網(wǎng)絡,數(shù)據(jù)倉庫Hive里的源數(shù)據(jù)量也遠小于Kylin實際的聚合后的數(shù)據(jù)存儲(存于Hbase,數(shù)據(jù)量大小一般為數(shù)據(jù)源Hive中的10倍以上), 因此可認為這樣的開銷可以認為帶來的影響不大,并且在我們的測試中得到了印證。
Kylin OLAP與猛犸以及有數(shù)的結合
為了讓Kylin更快更好的融入到大數(shù)據(jù)平臺中,OLAP小組已計劃在不久之后全面與猛犸大數(shù)據(jù)平臺進行打通和整合, Kylin Olap 將深度內(nèi)嵌于猛犸,用戶可以基于猛犸平臺完成Kylin Olap的簡化管理工作。猛犸平臺對接控制節(jié)點,作為數(shù)據(jù)模型師的操作入口
1.Kylin將利用猛犸的用戶管理功能
2.猛犸將接管用戶項目的創(chuàng)建以及Cube的管理
3.猛犸將原有的Hive數(shù)據(jù)源徹底與Kylin打通,便于Kylin管理用戶的數(shù)據(jù)源
網(wǎng)易有數(shù)會成為Kylin Olap的一個重要的分析師入口,有數(shù)將Kylin Olap作為一個單獨的數(shù)據(jù)源進行支持。已有的以及潛在的Hive查詢客戶可以輕松的將報表遷移到Kylin Olap,使得大數(shù)據(jù)量下的交互式報表分析稱為可能。
1.有數(shù)能基于在猛犸上創(chuàng)建的Cube創(chuàng)建報表
2.有數(shù)會主動識別Kylin Cube定義的維度和度量
3.用戶在Kylin Olap允許的范圍內(nèi)自由操作,完成報表的編輯和查詢。