大數(shù)據(jù)平臺(tái)計(jì)算中心的關(guān)鍵技術(shù)包括分布式運(yùn)行引擎和協(xié)同計(jì)算功能,搭建分布式運(yùn)行集群化環(huán)境,研發(fā)統(tǒng)一的資源管理功能,既能滿足流計(jì)算、內(nèi)存計(jì)算、批量計(jì)算和查詢計(jì)算的功能,還能滿足多租戶不同計(jì)算模式下的資源分配與隔離。
大數(shù)據(jù)平臺(tái)分析中心的關(guān)鍵技術(shù)包括研究數(shù)據(jù)模型映射轉(zhuǎn)換業(yè)務(wù)語(yǔ)義、數(shù)據(jù)挖掘等,研發(fā)業(yè)務(wù)語(yǔ)義設(shè)計(jì)器、自助式分析足跡、數(shù)據(jù)挖掘等,形成自助式分析工具集。大致可分為三部分:自助式分析組件,業(yè)務(wù)語(yǔ)義設(shè)計(jì)器和數(shù)據(jù)挖掘組件。
大數(shù)據(jù)平臺(tái)服務(wù)中心應(yīng)包括數(shù)據(jù)服務(wù)、計(jì)算服務(wù)和可視化管理服務(wù)等,其中數(shù)據(jù)服務(wù)主要包括數(shù)據(jù)融合訪問(wèn)模型建立,研發(fā)數(shù)據(jù)路由和數(shù)據(jù)網(wǎng)關(guān),形成數(shù)據(jù)服務(wù)組件,支持對(duì)各類數(shù)據(jù)的標(biāo)準(zhǔn)SQL操作、安全權(quán)限控制和數(shù)據(jù)緩存,支持各類應(yīng)用統(tǒng)一訪問(wèn)各類數(shù)據(jù)源。其中計(jì)算服務(wù)主要包括研制計(jì)算任務(wù)規(guī)范、研發(fā)多模式計(jì)算任務(wù)管理、計(jì)算流程配置等功能,提供各類計(jì)算任務(wù)的上傳、發(fā)布、調(diào)度和管理能力,支持用戶自定義計(jì)算任務(wù)和通過(guò)配置獲取結(jié)果的通用計(jì)算任務(wù)。
大數(shù)據(jù)平臺(tái)的服務(wù)中心還要制定標(biāo)準(zhǔn)化的組件調(diào)用和數(shù)據(jù)交互接口規(guī)范,融合各類展現(xiàn)控件,集成包括GIS以及各類圖像圖形展示軟件,形成大數(shù)據(jù)可視化組件庫(kù),支撐可視化應(yīng)用構(gòu)建。
各個(gè)領(lǐng)域在依托現(xiàn)有資源基礎(chǔ)上,構(gòu)建形成大數(shù)據(jù)應(yīng)用服務(wù)平臺(tái)應(yīng)遵循問(wèn)題和需求導(dǎo)向原則,從邏輯上構(gòu)建大平臺(tái)、微應(yīng)用入手、組件化的原則,采用面向?qū)ο蟮慕?模技術(shù),結(jié)合范式建模方法,完善公共信息模型,形成標(biāo)準(zhǔn),形成一體化業(yè)務(wù)數(shù)據(jù)模型,使之覆蓋所有業(yè)務(wù)鏈服務(wù)鏈的各個(gè)業(yè)務(wù)領(lǐng)域,實(shí)現(xiàn)橫向業(yè)務(wù)關(guān)聯(lián)與縱向業(yè)務(wù) 模型貫通,并可進(jìn)一步挖掘數(shù)據(jù)價(jià)值。
圍繞大數(shù)據(jù)應(yīng)用服務(wù)平臺(tái)建設(shè),當(dāng)前在大數(shù)據(jù)關(guān)鍵技術(shù)研究中,應(yīng)進(jìn)一步關(guān)注如下問(wèn)題:一是多源數(shù)據(jù)采集技術(shù),包括結(jié)構(gòu)化數(shù)據(jù)采集、實(shí)時(shí)數(shù)據(jù)采集、文件數(shù)據(jù)采集、消息隊(duì)列采集等。二是海量異構(gòu)數(shù)據(jù)存儲(chǔ)技術(shù),包括分布式文件系統(tǒng)、列式存儲(chǔ)數(shù)據(jù)庫(kù)、非關(guān)系型數(shù)據(jù) 庫(kù)、關(guān)系型數(shù)據(jù)庫(kù)等。三是多模式計(jì)算技術(shù),包括分布式批量計(jì)算、流計(jì)算、內(nèi)存計(jì)算等。數(shù)據(jù)挖掘分析技術(shù),包括數(shù)據(jù)挖掘算法、分析模型構(gòu)建、R語(yǔ)言等。四是大數(shù)據(jù)安全技術(shù),包括數(shù)據(jù)加密、訪問(wèn)控制、數(shù)據(jù)審計(jì)等。五是重點(diǎn)領(lǐng)域的全業(yè)務(wù)鏈的統(tǒng)一數(shù)據(jù)模型的研發(fā),包括標(biāo)準(zhǔn)、視圖等。
在大數(shù)據(jù)平臺(tái)研發(fā)中還要關(guān)注以下幾點(diǎn):數(shù)據(jù)整合組件,數(shù)據(jù)管理組件和作業(yè)調(diào)度組件,資源調(diào)度組件和集群管理組件、安全管理組件等。
大數(shù)據(jù)關(guān)鍵技術(shù)需要進(jìn)一步在以下幾點(diǎn)創(chuàng)新:集中式和分布式混合架構(gòu)的大數(shù)據(jù)平臺(tái),多源異構(gòu)數(shù)據(jù)融合模型及其統(tǒng)一數(shù)據(jù)網(wǎng)關(guān);進(jìn)一步研發(fā)各領(lǐng)域一體化業(yè)務(wù)數(shù)據(jù),實(shí)現(xiàn)橫向與縱向業(yè)務(wù)協(xié)同貫通;進(jìn)一步研發(fā)可兼容多種計(jì)算模式的資源動(dòng)態(tài)分配與隔離組件,實(shí)現(xiàn)計(jì)算任務(wù)合理化調(diào)度;進(jìn)一步研究顆粒度更加細(xì)化的業(yè)務(wù)行為特征分析模型;進(jìn)一步研制細(xì)分行業(yè)和地域部門(mén)的預(yù)測(cè)監(jiān)測(cè)模型。