大數(shù)據(jù)存儲(chǔ)中心的關(guān)鍵技術(shù)包括研發(fā)統(tǒng)一的存儲(chǔ)適配接口，利用分布式存儲(chǔ)技術(shù)研發(fā)海量文件存儲(chǔ)技術(shù)，研發(fā)同時(shí)支持事務(wù)性數(shù)據(jù)和分析型數(shù)據(jù)的新型關(guān)系型數(shù)據(jù)庫(kù)，實(shí)現(xiàn)統(tǒng)一的可視化數(shù)據(jù)管理等。
大數(shù)據(jù)平臺(tái)計(jì)算中心的關(guān)鍵技術(shù)包括分布式運(yùn)行引擎和協(xié)同計(jì)算功能，搭建分布式運(yùn)行集群化環(huán)境，研發(fā)統(tǒng)一的資源管理功能，既能滿足流計(jì)算、內(nèi)存計(jì)算、批量計(jì)算和查詢計(jì)算的功能，還能滿足多租戶不同計(jì)算模式下的資源分配與隔離。
大數(shù)據(jù)平臺(tái)分析中心的關(guān)鍵技術(shù)包括研究數(shù)據(jù)模型映射轉(zhuǎn)換業(yè)務(wù)語(yǔ)義、數(shù)據(jù)挖掘等，研發(fā)業(yè)務(wù)語(yǔ)義設(shè)計(jì)器、自助式分析足跡、數(shù)據(jù)挖掘等，形成自助式分析工具集。大致可分為三部分：自助式分析組件，業(yè)務(wù)語(yǔ)義設(shè)計(jì)器和數(shù)據(jù)挖掘組件。
大數(shù)據(jù)平臺(tái)服務(wù)中心應(yīng)包括數(shù)據(jù)服務(wù)、計(jì)算服務(wù)和可視化管理服務(wù)等，其中數(shù)據(jù)服務(wù)主要包括數(shù)據(jù)融合訪問模型建立，研發(fā)數(shù)據(jù)路由和數(shù)據(jù)網(wǎng)關(guān)，形成數(shù)據(jù)服務(wù)組件，支持對(duì)各類數(shù)據(jù)的標(biāo)準(zhǔn)SQL操作、安全權(quán)限控制和數(shù)據(jù)緩存，支持各類應(yīng)用統(tǒng)一訪問各類數(shù)據(jù)源。其中計(jì)算服務(wù)主要包括研制計(jì)算任務(wù)規(guī)范、研發(fā)多模式計(jì)算任務(wù)管理、計(jì)算流程配置等功能，提供各類計(jì)算任務(wù)的上傳、發(fā)布、調(diào)度和管理能力，支持用戶自定義計(jì)算任務(wù)和通過配置獲取結(jié)果的通用計(jì)算任務(wù)。
大數(shù)據(jù)平臺(tái)的服務(wù)中心還要制定標(biāo)準(zhǔn)化的組件調(diào)用和數(shù)據(jù)交互接口規(guī)范，融合各類展現(xiàn)控件，集成包括GIS以及各類圖像圖形展示軟件，形成大數(shù)據(jù)可視化組件庫(kù)，支撐可視化應(yīng)用構(gòu)建。
各個(gè)領(lǐng)域在依托現(xiàn)有資源基礎(chǔ)上，構(gòu)建形成大數(shù)據(jù)應(yīng)用服務(wù)平臺(tái)應(yīng)遵循問題和需求導(dǎo)向原則，從邏輯上構(gòu)建大平臺(tái)、微應(yīng)用入手、組件化的原則，采用面向?qū)ο蟮慕＜夹g(shù)，結(jié)合范式建模方法，完善公共信息模型，形成標(biāo)準(zhǔn)，形成一體化業(yè)務(wù)數(shù)據(jù)模型，使之覆蓋所有業(yè)務(wù)鏈服務(wù)鏈的各個(gè)業(yè)務(wù)領(lǐng)域，實(shí)現(xiàn)橫向業(yè)務(wù)關(guān)聯(lián)與縱向業(yè)務(wù)模型貫通，并可進(jìn)一步挖掘數(shù)據(jù)價(jià)值。
圍繞大數(shù)據(jù)應(yīng)用服務(wù)平臺(tái)建設(shè)，當(dāng)前在大數(shù)據(jù)關(guān)鍵技術(shù)研究中，應(yīng)進(jìn)一步關(guān)注如下問題：一是多源數(shù)據(jù)采集技術(shù)，包括結(jié)構(gòu)化數(shù)據(jù)采集、實(shí)時(shí)數(shù)據(jù)采集、文件數(shù)據(jù)采集、消息隊(duì)列采集等。二是海量異構(gòu)數(shù)據(jù)存儲(chǔ)技術(shù)，包括分布式文件系統(tǒng)、列式存儲(chǔ)數(shù)據(jù)庫(kù)、非關(guān)系型數(shù)據(jù)庫(kù)、關(guān)系型數(shù)據(jù)庫(kù)等。三是多模式計(jì)算技術(shù)，包括分布式批量計(jì)算、流計(jì)算、內(nèi)存計(jì)算等。數(shù)據(jù)挖掘分析技術(shù)，包括數(shù)據(jù)挖掘算法、分析模型構(gòu)建、R語(yǔ)言等。四是大數(shù)據(jù)安全技術(shù)，包括數(shù)據(jù)加密、訪問控制、數(shù)據(jù)審計(jì)等。五是重點(diǎn)領(lǐng)域的全業(yè)務(wù)鏈的統(tǒng)一數(shù)據(jù)模型的研發(fā)，包括標(biāo)準(zhǔn)、視圖等。
在大數(shù)據(jù)平臺(tái)研發(fā)中還要關(guān)注以下幾點(diǎn)：數(shù)據(jù)整合組件，數(shù)據(jù)管理組件和作業(yè)調(diào)度組件，資源調(diào)度組件和集群管理組件、安全管理組件等。
大數(shù)據(jù)關(guān)鍵技術(shù)需要進(jìn)一步在以下幾點(diǎn)創(chuàng)新：集中式和分布式混合架構(gòu)的大數(shù)據(jù)平臺(tái)，多源異構(gòu)數(shù)據(jù)融合模型及其統(tǒng)一數(shù)據(jù)網(wǎng)關(guān)；進(jìn)一步研發(fā)各領(lǐng)域一體化業(yè)務(wù)數(shù)據(jù)，實(shí)現(xiàn)橫向與縱向業(yè)務(wù)協(xié)同貫通；進(jìn)一步研發(fā)可兼容多種計(jì)算模式的資源動(dòng)態(tài)分配與隔離組件，實(shí)現(xiàn)計(jì)算任務(wù)合理化調(diào)度；進(jìn)一步研究顆粒度更加細(xì)化的業(yè)務(wù)行為特征分析模型；進(jìn)一步研制細(xì)分行業(yè)和地域部門的預(yù)測(cè)監(jiān)測(cè)模型。
小結(jié)
數(shù)據(jù)是基礎(chǔ)，也是信息化的基礎(chǔ)和支點(diǎn)，推動(dòng)大數(shù)據(jù)應(yīng)用是挖掘利用大數(shù)據(jù)資源的目的，也是助力社會(huì)經(jīng)濟(jì)發(fā)展轉(zhuǎn)型升級(jí)的重要手段，是實(shí)現(xiàn)治理能力現(xiàn)代化的有效路徑，更是發(fā)展大數(shù)據(jù)的根本目標(biāo)。大數(shù)據(jù)技術(shù)和應(yīng)用為分析處理復(fù)雜社會(huì)問題和潛在社會(huì)矛盾提供了新途徑，有助于更好地推動(dòng)解決國(guó)家發(fā)展中面臨的醫(yī)療、教育、住房、交通、城市管理、公共安全等社會(huì)難題。所以當(dāng)前在大數(shù)據(jù)熱潮席卷全國(guó)之時(shí)，更要把發(fā)展大數(shù)據(jù)的重點(diǎn)引導(dǎo)到推進(jìn)開展大數(shù)據(jù)應(yīng)用上。結(jié)合戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展和國(guó)家促進(jìn)信息消費(fèi)擴(kuò)大內(nèi)需的戰(zhàn)略部署，探索傳統(tǒng)產(chǎn)業(yè)與大數(shù)據(jù)等新一代信息技術(shù)協(xié)同發(fā)展的新業(yè)態(tài)、新模式，充分發(fā)掘數(shù)據(jù)資源的創(chuàng)新支撐潛力，在政務(wù)服務(wù)、金融服務(wù)、工業(yè)制造、現(xiàn)代農(nóng)業(yè)、商貿(mào)物流等領(lǐng)域，推動(dòng)跨領(lǐng)域、跨行業(yè)的協(xié)同創(chuàng)新，帶動(dòng)傳統(tǒng)產(chǎn)業(yè)技術(shù)研發(fā)體系創(chuàng)新、生產(chǎn)管理方式變革、商業(yè)模式創(chuàng)新和產(chǎn)業(yè)價(jià)值鏈體系重構(gòu)，促進(jìn)傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)，形成新的經(jīng)濟(jì)增長(zhǎng)點(diǎn)。