數(shù)據(jù)庫正在通過創(chuàng)新方法進(jìn)行解構(gòu)和重組。從架構(gòu)角度來看,人們以前熟悉的數(shù)據(jù)庫正在減少。人們正在采用流媒體、內(nèi)存和無服務(wù)器大數(shù)據(jù)分析基礎(chǔ)架構(gòu)。供應(yīng)商正在探索重新構(gòu)建核心數(shù)據(jù)庫功能以滿足新興需求的新方法,例如自動化機(jī)器學(xué)習(xí)管道和面向邊緣的認(rèn)知物聯(lián)網(wǎng)分析。在這一演變過程中,隨著更多高性能事務(wù)分析功能集成到各種數(shù)據(jù)平臺中,分析和應(yīng)用程序數(shù)據(jù)庫正在融合。此外,數(shù)據(jù)庫存儲引擎正在成為主要用于機(jī)器數(shù)據(jù)的存儲庫,可通過替代結(jié)構(gòu)(例如鍵值索引和對象模式)進(jìn)行尋址。
數(shù)據(jù)科學(xué)工具鏈的端到端的DevOps管道越來越自動化。大數(shù)據(jù)增強(qiáng)的編程將繼續(xù)增長。開發(fā)人員可以使用越來越多的DevOps工具來自動化機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和其他人工智能資產(chǎn)的開發(fā)、部署和管理中的各種任務(wù)。這些解決方案的范圍越來越廣泛,甚至利用專門的機(jī)器學(xué)習(xí)算法來推動超參數(shù)調(diào)整等機(jī)器學(xué)習(xí)開發(fā)功能的發(fā)展。
打包的大數(shù)據(jù)分析應(yīng)用程序正變得越來越普及。未來十年,更多用戶將以預(yù)構(gòu)建、預(yù)培訓(xùn)和模板化云服務(wù)的方式獲得大數(shù)據(jù)分析解決方案。更多的這些服務(wù)將自動調(diào)整其嵌入式機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能模型,以持續(xù)提供最佳業(yè)務(wù)成果。更多的這些服務(wù)將納入預(yù)先訓(xùn)練的模型,客戶可以調(diào)整和擴(kuò)展到自己的特定需求。
大數(shù)據(jù)分析的演變和部署障礙
盡管大數(shù)據(jù)分析采用的預(yù)測看起來很樂觀,但仍存在許多持續(xù)性的問題,使用戶試圖最大限度地利用這些技術(shù)的投資價值受到挫折。其中最主要的是:
過于復(fù)雜。大數(shù)據(jù)分析環(huán)境和應(yīng)用程序仍然過于復(fù)雜。供應(yīng)商需要繼續(xù)簡化這些環(huán)境的接口、體系結(jié)構(gòu)、功能和工具。這樣做會將復(fù)雜的大數(shù)據(jù)分析功能應(yīng)用于主流用戶和開發(fā)人員,其中許多人都是缺乏具備必要專業(yè)技能的內(nèi)部IT人員。
繁瑣的開銷。對于一些IT專業(yè)人員來說,大數(shù)據(jù)分析管理和治理流程仍然過于孤立,成本高昂且效率低下。供應(yīng)商需要構(gòu)建預(yù)先打包的工作流程,幫助大型專業(yè)人員團(tuán)隊更有效、快速和準(zhǔn)確地管理數(shù)據(jù)、元數(shù)據(jù)、分析和服務(wù)定義。
加強(qiáng)管道的自動化處理。大數(shù)據(jù)分析應(yīng)用程序開發(fā)和運(yùn)營管道仍然過于耗時,并耗費(fèi)人力。供應(yīng)商需要加強(qiáng)其工具的自動化功能,以確保提高用戶技術(shù)人員的生產(chǎn)力,同時確保即使是技能較低的人員也能處理復(fù)雜的任務(wù)。
自定義應(yīng)用程序。大數(shù)據(jù)分析專業(yè)服務(wù)對于開發(fā)、部署和管理許多自定義應(yīng)用程序仍然至關(guān)重要。這對于跨越混合云的數(shù)據(jù)驅(qū)動型應(yīng)用程序,涉及不同的平臺和工具,以及納入難以理解的復(fù)雜數(shù)據(jù)流程尤其如此。供應(yīng)商需要為常用的大數(shù)據(jù)分析應(yīng)用程序加強(qiáng)預(yù)先打包的應(yīng)用程序內(nèi)容,同時為用戶提供自助服務(wù)的可視化工具,用于指定復(fù)雜的業(yè)務(wù)邏輯,而無需外部幫助。
對于企業(yè)IT團(tuán)隊來說,Wikibon團(tuán)隊的主要建議是開始將更多的大數(shù)據(jù)分析開發(fā)工作遷移到公共云環(huán)境中。這將加速企業(yè)利用AWS、微軟、谷歌、IBM和其他公共云提供商提供的快速成熟、成本低廉產(chǎn)品的能力。企業(yè)應(yīng)該考慮構(gòu)建自己的混合云,以確保在未來幾年內(nèi)將其業(yè)務(wù)順利過渡到公共云。