隨著對(duì)不同類型、不同體量數(shù)據(jù)的結(jié)構(gòu)化存儲(chǔ)、批量處理以及價(jià)值挖掘需求的增多，2016年注定是大數(shù)據(jù)里程碑式的一年。
2017年，支持大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的系統(tǒng)將繼續(xù)增長(zhǎng)。市場(chǎng)需要數(shù)據(jù)平臺(tái)來(lái)幫助數(shù)據(jù)管理人員管理和保護(hù)大數(shù)據(jù)，同時(shí)允許最終用戶進(jìn)行數(shù)據(jù)分析。這些系統(tǒng)將逐步成熟，在企業(yè)內(nèi)部的IT系統(tǒng)中更好地運(yùn)行。
1、數(shù)據(jù)處理變得更加快速，數(shù)據(jù)也變得更加易于使用
選項(xiàng)擴(kuò)展將加速Hadoop
當(dāng)然，你可以在Hadoop上執(zhí)行機(jī)器學(xué)習(xí)和情緒分析，但人們常常會(huì)問(wèn)的第一個(gè)問(wèn)題是：交互式SQL(結(jié)構(gòu)化查詢語(yǔ)言，一種數(shù)據(jù)庫(kù)查詢和程序設(shè)計(jì)語(yǔ)言，用于存取數(shù)據(jù)以及查詢、更新和管理關(guān)系數(shù)據(jù)庫(kù)系統(tǒng))究竟有多快?畢竟，SQL相當(dāng)于企業(yè)用戶的“導(dǎo)管”——他們希望使用Hadoop數(shù)據(jù)來(lái)更快的獲得可復(fù)用的BI儀表盤(一種向企業(yè)展示度量信息和關(guān)鍵業(yè)務(wù)指標(biāo)即KPI現(xiàn)狀的數(shù)據(jù)虛擬化工具)，或者是進(jìn)行一些探索性分析。
這種對(duì)速度的需求促使用戶采用訪問(wèn)速度更快和執(zhí)行效率更高的數(shù)據(jù)庫(kù)，如Exasol、MemSQL，或者是類似于Kudu這種基于Hadoop的商店，當(dāng)然還需要能夠更快查詢數(shù)據(jù)的技術(shù)。諸如SQL-on-Hadoop引擎(Apache Impala，Hive LLAP，Presto，Phoenix和Drill)和OLAP-on-Hadoop技術(shù)(AtScale，Jethro Data和Kyvos Insights)這樣的數(shù)據(jù)查詢加速器將進(jìn)一步模糊傳統(tǒng)數(shù)據(jù)庫(kù)與大數(shù)據(jù)世界的邊界。
2、大數(shù)據(jù)不再只是Hadoop
專門基于Hadoop開(kāi)發(fā)的工具已過(guò)時(shí)
在過(guò)去的幾年中，隨著大數(shù)據(jù)浪潮來(lái)襲，數(shù)種為了滿足Hadoop分析需求的技術(shù)興起。但是，身處復(fù)雜，異構(gòu)環(huán)境中的企業(yè)不再希望僅為一個(gè)數(shù)據(jù)源(Hadoop)采用孤立的BI訪問(wèn)點(diǎn)。他們需要的答案被埋沒(méi)在一大堆數(shù)據(jù)源中，從記錄系統(tǒng)到云端，再到來(lái)自Hadoop和非Hadoop源的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。(順便說(shuō)一句，甚至連關(guān)系型數(shù)據(jù)庫(kù)也正在為大數(shù)據(jù)趨勢(shì)做準(zhǔn)備。例如，SQL Server2016于近日添加了JSON支持)。
在2017年，客戶將會(huì)需要對(duì)所有數(shù)據(jù)都進(jìn)行分析。不依賴于數(shù)據(jù)源的平臺(tái)將會(huì)茁壯成長(zhǎng)，而專為Hadoop而設(shè)計(jì)的平臺(tái)和未能跨應(yīng)用部署的平臺(tái)將被棄用。Platfora的退出便是這一趨勢(shì)的預(yù)示。
3、相關(guān)組織將利用數(shù)據(jù)湖(DataLake)來(lái)實(shí)現(xiàn)價(jià)值
數(shù)據(jù)湖就像一個(gè)人造水庫(kù)
數(shù)據(jù)湖就像一個(gè)人造水庫(kù)。首先你要建造一個(gè)水壩(構(gòu)建一個(gè)集群)，然后填滿水(數(shù)據(jù))。一旦建立了湖泊，你將開(kāi)始因?yàn)楦鞣N目的而使用這些水資源(數(shù)據(jù))，如發(fā)電，飲用以及各種消遣(預(yù)測(cè)分析，機(jī)器學(xué)習(xí)，網(wǎng)絡(luò)安全等)。
而今，保有數(shù)據(jù)湖里的數(shù)據(jù)已經(jīng)變成了一種為了保留而保留的行為。在2017年，這將隨著Hadoop業(yè)務(wù)的收緊而改變。各個(gè)組織要求可重復(fù)的并且敏捷地使用數(shù)據(jù)湖，以便更快地獲得響應(yīng)。在確定對(duì)人事、數(shù)據(jù)和基礎(chǔ)設(shè)施的相應(yīng)投資之前，企業(yè)會(huì)更加慎重的考慮業(yè)務(wù)成果。這將促進(jìn)業(yè)務(wù)和IT之間的強(qiáng)力耦合。而自助服務(wù)平臺(tái)作為分析大數(shù)據(jù)資產(chǎn)的工具將獲得更深入的認(rèn)可。
另外，公司還將關(guān)注業(yè)務(wù)驅(qū)動(dòng)型應(yīng)用，避免數(shù)據(jù)湖陷入困境。在2017年，企業(yè)機(jī)構(gòu)將從“構(gòu)建未來(lái)”的數(shù)據(jù)湖應(yīng)用轉(zhuǎn)向業(yè)務(wù)驅(qū)動(dòng)型數(shù)據(jù)應(yīng)用。當(dāng)今世界需要分析和操作能力去觸及客戶、處理索賠并且連接到個(gè)體的不同設(shè)備。
舉例而言，任何商業(yè)網(wǎng)站需要提供實(shí)時(shí)的個(gè)性化推薦和價(jià)格查詢。醫(yī)療健康型企業(yè)必須處理有效的索賠并且運(yùn)用分析運(yùn)營(yíng)系統(tǒng)來(lái)防止索賠欺詐。媒體公司需要通過(guò)機(jī)頂盒提供個(gè)性化的內(nèi)容。汽車制造商和汽車共享公司則要交互運(yùn)營(yíng)其車輛和司機(jī)。這些案例的實(shí)施交付均需要由一個(gè)敏捷平臺(tái)來(lái)實(shí)現(xiàn)，同時(shí)提供分析和運(yùn)營(yíng)的處理，跨越后臺(tái)分析和前臺(tái)運(yùn)營(yíng)進(jìn)行整合，提升了商業(yè)價(jià)值。
4、成熟的架構(gòu)拒絕通用型框架
Hadoop不再只是一個(gè)用于數(shù)據(jù)科學(xué)用例的批處理平臺(tái)
它已經(jīng)成為一種專為特殊分析而架設(shè)的多用途分析引擎，甚至被用于日常工作負(fù)載的操作報(bào)告——傳統(tǒng)上這項(xiàng)任務(wù)是由數(shù)據(jù)倉(cāng)庫(kù)(大量數(shù)據(jù)提取和分析的工具)來(lái)處理的。
在2017年，各個(gè)組織將通過(guò)特定的用例的架構(gòu)設(shè)計(jì)來(lái)滿足現(xiàn)存的混合需求。他們將研究一系列的因素，包括用戶角色模型、訪問(wèn)頻率、數(shù)據(jù)速度和聚合級(jí)別等，然后才能提交合適的數(shù)據(jù)策略。這些現(xiàn)代化的參考架構(gòu)由需求驅(qū)動(dòng)，他們將以某種方式將最好的自助服務(wù)數(shù)據(jù)準(zhǔn)備工具Hadoop核心和最終用戶分析平臺(tái)結(jié)合起來(lái)，以便可以根據(jù)這些需求進(jìn)行重新配置。這些架構(gòu)的靈活性將最終推動(dòng)技術(shù)選擇。