現(xiàn)在我要給大家介紹一下未來的發(fā)展趨勢,在未來幾年當中將會出現(xiàn)的一些技術(shù)。
我覺得開源大數(shù)據(jù)項目幾乎已經(jīng)達到了飽和點,可能是大數(shù)據(jù)當中一旦出現(xiàn)一個問題,大概就會同時出現(xiàn)五個解決這個問題的項目,索引很多問題都可以被快速的解決。
在最近幾年中很多人都特別地注重流計算,流計算已經(jīng)變得越來越流行了,在過去幾年當中我們也看到很多人注意到內(nèi)存計算,因為內(nèi)存變得越來越便宜,在很多的系統(tǒng)當中內(nèi)存計算可能會成為大數(shù)據(jù)處理方面的一個標配。
現(xiàn)在這些大數(shù)據(jù)的技術(shù)還是比較新的技術(shù),還需要一些時間才會出現(xiàn)共同的標準。但是我覺得在不久的將來,我們很快就會出現(xiàn)大數(shù)據(jù)方面通用的標準。
我不相信有單一的一種技術(shù)會解決所有的問題,我覺得有很多不同的數(shù)據(jù)就需要有很復雜的大數(shù)據(jù)庫來處理。但是我覺得未來的開源大數(shù)據(jù)的堆棧包括以下幾個部分,其中必須要有一個處理單元,要有一個儲存單元,當然肯定要有查詢單元,沒有查詢單元就沒有快速的目標的實現(xiàn)了。
在數(shù)據(jù)提交方面,Kafka已經(jīng)達到了這個標準,對于流處理方面Spark已經(jīng)成為了標準的工具,我覺得Druid查詢方面也做得很好。
所以基礎設施的架構(gòu)也會不斷成熟,不斷地改善。在我們的架構(gòu)不斷變得穩(wěn)定之后,會出現(xiàn)很多的應用,我們現(xiàn)在已經(jīng)看到一些可視化的工具,以及虛擬現(xiàn)實的工具已經(jīng)應用到了開源數(shù)據(jù)。