去年，大數(shù)據(jù)市場(chǎng)完全圍繞Hadoop生態(tài)系統(tǒng)周圍的技術(shù)。從那時(shí)起，重心一直是通過(guò)已證明增加收入、提高生產(chǎn)力和降低風(fēng)險(xiǎn)而帶來(lái)投資回報(bào)的使用場(chǎng)合，“將大數(shù)據(jù)切實(shí)利用起來(lái)”。現(xiàn)在，大數(shù)據(jù)繼續(xù)高奏凱歌。明年我們預(yù)計(jì)會(huì)看到更主流的公司采用大數(shù)據(jù)和物聯(lián)網(wǎng)，大中型企業(yè)保守和懷疑的企業(yè)組織會(huì)開(kāi)始一頭扎入其中。
與幾年前我們剛開(kāi)始接觸Hadoop時(shí)相比，數(shù)據(jù)融合會(huì)來(lái)得更重要。通過(guò)高級(jí)分析平臺(tái)，結(jié)合社交數(shù)據(jù)、移動(dòng)應(yīng)用程序、客戶關(guān)系管理(CRM)記錄和購(gòu)買歷史記錄，這讓營(yíng)銷人員得以通過(guò)發(fā)現(xiàn)當(dāng)前和未來(lái)購(gòu)買行為方面的隱藏模式和寶貴信息，從而洞察未來(lái)。
自助式數(shù)據(jù)分析的普及，加上云計(jì)算和Hadoop的廣泛采用，正在整個(gè)行業(yè)帶來(lái)變化，許多公司會(huì)抓住這一形勢(shì)，或者無(wú)視變化、因此面臨險(xiǎn)境。實(shí)際上，工具仍在出現(xiàn)，而Hadoop平臺(tái)承諾的還沒(méi)有達(dá)到公司缺少不了它的地步。
下面是明年將塑造大數(shù)據(jù)行業(yè)的五大趨勢(shì)：
物聯(lián)網(wǎng)(IoT)
公司日益期望從所有數(shù)據(jù)中獲得價(jià)值;制造、銷售和支持實(shí)物的大型工業(yè)公司將與其“物件”連接的傳感器接入到互聯(lián)網(wǎng)。企業(yè)組織將不得不改動(dòng)技術(shù)，以便與物聯(lián)網(wǎng)數(shù)據(jù)銜接起來(lái)。這在數(shù)據(jù)治理、標(biāo)準(zhǔn)、健康保障、安全和供應(yīng)鏈等方面帶來(lái)了無(wú)數(shù)新的挑戰(zhàn)和機(jī)遇。
物聯(lián)網(wǎng)和大數(shù)據(jù)是同一枚硬幣的兩面;數(shù)十億與互聯(lián)網(wǎng)連接的“物件”將生產(chǎn)大量數(shù)據(jù)。然而，這本身不會(huì)引發(fā)另一場(chǎng)工業(yè)革命，不會(huì)改變?nèi)粘５臄?shù)字化生活，也不會(huì)提供拯救地球的預(yù)警系統(tǒng)。來(lái)自設(shè)備外部的數(shù)據(jù)才是企業(yè)讓自己與眾不同的方面。結(jié)合上下文來(lái)捕獲和分析這種類型的數(shù)據(jù)為公司帶來(lái)了新的發(fā)展前途。
研究表明，相比計(jì)劃維修，預(yù)測(cè)性維護(hù)最多可省下12%的成本，因而使維護(hù)成本降低30%，將設(shè)備故障造成的停運(yùn)時(shí)間縮短70%。對(duì)于制造工廠或運(yùn)輸公司來(lái)說(shuō)，從數(shù)據(jù)驅(qū)動(dòng)的決策獲得這些結(jié)果，意味著在改進(jìn)運(yùn)營(yíng)和節(jié)省成本方面大有機(jī)會(huì)。
深度學(xué)習(xí)
深度學(xué)習(xí)是一套基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)技術(shù)，它仍在發(fā)展之中，不過(guò)在解決業(yè)務(wù)問(wèn)題方面顯示出大有潛力。它讓計(jì)算機(jī)能夠從大量非結(jié)構(gòu)化數(shù)據(jù)和二進(jìn)制數(shù)據(jù)中找出感興趣的內(nèi)容，并且推導(dǎo)出關(guān)系，而不需要特定的模型或編程指令。
這些算法的源動(dòng)力主要來(lái)自人工智能領(lǐng)域，人工智能的總體目標(biāo)是模擬人類大腦觀察、分析、學(xué)習(xí)和做決定的能力，尤其是處理極其復(fù)雜的問(wèn)題。深度學(xué)習(xí)方法的一個(gè)關(guān)鍵概念就是數(shù)據(jù)的分布式表示，因而可以對(duì)輸入數(shù)據(jù)的抽象特征實(shí)現(xiàn)大量的組合，從而可以緊湊表示每個(gè)樣本，最終獲得更豐富的泛化。
深度學(xué)習(xí)主要用于從大量未標(biāo)記/未監(jiān)督的數(shù)據(jù)當(dāng)中學(xué)習(xí)，因而對(duì)于從大數(shù)據(jù)中提取有意義的表示和模式頗具吸引力。比如說(shuō)，它可以用來(lái)識(shí)別許多不同類型的數(shù)據(jù)，比如視頻中的形狀、顏色和對(duì)象，或者甚至是圖像中的貓，就像谷歌研制的一個(gè)神經(jīng)網(wǎng)絡(luò)在2012年所做的那樣。
因此，企業(yè)可能會(huì)看到更多的注意力投向半監(jiān)督式或未監(jiān)督式訓(xùn)練算法來(lái)處理進(jìn)入的大量數(shù)據(jù)。
內(nèi)存中分析
不像常規(guī)的商業(yè)智能(BI)軟件對(duì)存儲(chǔ)在服務(wù)器硬盤上的數(shù)據(jù)運(yùn)行查詢，內(nèi)存中技術(shù)查詢的是載入到內(nèi)存中的信息，這可以通過(guò)減少或甚至消除磁盤輸入/輸出瓶頸來(lái)顯著提升分析性能。就大數(shù)據(jù)而言，正是由于TB級(jí)系統(tǒng)和大規(guī)模并行處理，讓內(nèi)存中分析技術(shù)更令人關(guān)注。
在現(xiàn)階段，大數(shù)據(jù)分析的核心其實(shí)是發(fā)現(xiàn)數(shù)據(jù)。要是沒(méi)有毫秒級(jí)延遲，面對(duì)數(shù)百萬(wàn)次/數(shù)十億次的迭代，運(yùn)行迭代以查找數(shù)據(jù)點(diǎn)之間的關(guān)聯(lián)就不會(huì)成為現(xiàn)實(shí)。在內(nèi)存中處理的速度比磁盤上處理要快三個(gè)數(shù)量級(jí)。
2014年，Gartner創(chuàng)造了HTAP(混合事務(wù)/分析處理)這個(gè)術(shù)語(yǔ)，描述這樣一種新技術(shù)：讓事務(wù)和分析可以在同一個(gè)內(nèi)存中數(shù)據(jù)庫(kù)中處理。它讓應(yīng)用程序領(lǐng)導(dǎo)人通過(guò)更強(qiáng)的情境意識(shí)和改進(jìn)的業(yè)務(wù)敏捷性來(lái)進(jìn)行創(chuàng)新，然而這需要徹底改變?cè)屑軜?gòu)，還需要相應(yīng)的技術(shù)和技能，才能使用內(nèi)存中計(jì)算技術(shù)作為賦能者(enabler)。