摘要:通過對數(shù)據(jù)處理階段性發(fā)展的解析,分析大數(shù)據(jù)、人工智能技術(shù)的發(fā)展趨勢。結(jié)合實(shí)際生產(chǎn)需求,驗(yàn)證了基于容器云架構(gòu)的新一代大數(shù)據(jù)與人工智能平臺在數(shù)據(jù)分析、處理、挖掘等方面的強(qiáng)大優(yōu)勢。
關(guān)鍵詞:大數(shù)據(jù) 人工智能 云計(jì)算 Docker 基礎(chǔ)能力 多租戶
Abstract:Through analyzing the staged development of data processing, this paper analyzes the development trend of big data and AI technology. According to the requirement of customers, the new generation of big data and AI platform based>
▲圖1 企業(yè)數(shù)據(jù)處理轉(zhuǎn)型的階段變化
在第一階段,大數(shù)據(jù)技術(shù)發(fā)展的早期,為了打破數(shù)據(jù)孤島,將各類數(shù)據(jù)向大數(shù)據(jù)平臺匯集,形成數(shù)據(jù)湖的概念,作為多源、異構(gòu)的數(shù)據(jù)的數(shù)據(jù)歸集,在此基礎(chǔ)上進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化,建立企業(yè)數(shù)據(jù)的匯聚中心。在這個階段,對非結(jié)構(gòu)化數(shù)據(jù)處理以存儲檢索為主,對結(jié)構(gòu)化數(shù)據(jù)處理提供各類API和少量SQL支持,使海量的以SQL實(shí)現(xiàn)為主的業(yè)務(wù)難以遷移到大數(shù)據(jù)平臺,新業(yè)務(wù)開發(fā)使用門檻高,大數(shù)據(jù)技術(shù)的推廣受到阻礙。
在第二階段,企業(yè)客戶的需求集中表現(xiàn)為,如何更好地處理結(jié)構(gòu)化數(shù)據(jù)以及將老的IT架構(gòu)遷移到分布式架構(gòu)中。各大數(shù)據(jù)平臺廠商開始在SQL>
▲圖2 遷移前后數(shù)據(jù)集市業(yè)務(wù)場景500并發(fā)測試性能對比
基于容器云的大數(shù)據(jù)與機(jī)器學(xué)習(xí)平臺的全面應(yīng)用
基于TOS實(shí)現(xiàn)的多租戶新模式,將大數(shù)據(jù)與機(jī)器學(xué)習(xí)平臺組件完全容器化實(shí)現(xiàn),并在TOS提供能力服務(wù)。集團(tuán)統(tǒng)一部署企業(yè)內(nèi)部云平臺,對郵政各個租戶(集團(tuán)、省分、市局等)動態(tài)分配存儲、計(jì)算、網(wǎng)絡(luò)等資源,并實(shí)現(xiàn)完整的資源隔離,使得各個租戶數(shù)據(jù)分析人員和業(yè)務(wù)人員獲得相對獨(dú)立的資源環(huán)境,賦能業(yè)務(wù)創(chuàng)新,同時可動態(tài)調(diào)配資源,實(shí)現(xiàn)資源的共享優(yōu)勢。
集團(tuán)、省分、市局各級人員通過多租戶平臺,實(shí)現(xiàn)資源發(fā)布、申請,使用及應(yīng)用開發(fā)、成果推廣。通過項(xiàng)目立項(xiàng)申請審批后,省分項(xiàng)目組人員在租戶空間內(nèi),接入訪問數(shù)據(jù)資源,使用平臺服務(wù)資源,大數(shù)據(jù)分析工具及機(jī)器學(xué)習(xí)挖掘工具展開數(shù)據(jù)分析挖掘工作,具體開展數(shù)據(jù)處理、模型開發(fā)、算法應(yīng)用、應(yīng)用發(fā)布等,在審批驗(yàn)收之后,將成果推廣到數(shù)據(jù)湖上部署對全集團(tuán)提供數(shù)據(jù)應(yīng)用服務(wù)。
通過TOS+TDH搭架厚平臺、薄應(yīng)用的微服務(wù)架構(gòu),實(shí)現(xiàn)租戶之間的異構(gòu)性、獨(dú)立測試與部署、資源按需伸縮、高性能計(jì)算能力、租戶間錯誤問題隔離、團(tuán)隊(duì)全功能化。實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化管理。面對集團(tuán)數(shù)據(jù)多樣、海量、跨板塊、跨專業(yè)的需求,集團(tuán)對數(shù)據(jù)進(jìn)行了全面梳理,創(chuàng)新集成各版塊、專業(yè)數(shù)據(jù),創(chuàng)建數(shù)據(jù)資產(chǎn)目錄便于快速檢索獲取資產(chǎn),管控治理資產(chǎn),讓數(shù)據(jù)即資產(chǎn)從理論階段上升到實(shí)現(xiàn)階段。
結(jié)語
隨著企業(yè)數(shù)據(jù)處理與服務(wù)需求的不斷發(fā)展,由大數(shù)據(jù)的匯聚,分布式技術(shù)釋放計(jì)算能力開始,技術(shù)不斷延伸發(fā)展,大數(shù)據(jù)、人工智能與云計(jì)算的邊界越來越模糊,三者技術(shù)的發(fā)展不斷互相影響與融合,這是發(fā)展與需求產(chǎn)生的自然趨勢。在“后大數(shù)據(jù)時代”,基礎(chǔ)大數(shù)據(jù)與人工智能云平臺的形成與落地會越來越多,真正實(shí)現(xiàn)科技賦能業(yè)務(wù),為企業(yè)提升效率與發(fā)展提供更強(qiáng)的心臟。同時,未來可以看到,企業(yè)可能會將其基于基礎(chǔ)能力平臺的應(yīng)用體系也上架到平臺的應(yīng)用市場中,充分利用云平臺的優(yōu)勢能力,資源共享,統(tǒng)一管理。