這是我總結(jié)的四個要素。忍者的意義也不用多說了,因為從我們開始做這件事的時候就不斷的有客戶,也不斷的有廠家來告訴我們,說這個是市場或者是業(yè)界非常缺的東西,首先它能促進整個技術(shù)的進步,就是通過標準的制定和升級,不斷的去促進整個技術(shù)進步。就相當于明年,我們可能不止于38個測試用例7個維度,我們可能衍生出更多的指標體系,更細化的,更變態(tài)的去考察整個大數(shù)據(jù)產(chǎn)品的能力。規(guī)范市場,我們通過認證把一些優(yōu)秀的產(chǎn)品篩選出來,為產(chǎn)業(yè)的發(fā)展設(shè)立一個基本的門檻,不是說隨便一個人想做大數(shù)據(jù),你隨便有一套東西出來就可以說我是具有這個能力的,還是要有一定的門檻的。方便用戶選型,我們促進了技術(shù),也規(guī)范了市場,這樣的話,就將大數(shù)據(jù)的細節(jié)梳理以后,以指標的方式暴露給用戶,方便用戶在這個過程中去衡量他的技術(shù)選型,包括去選定一些不錯的廠家。
我個人也有一些思考,包括我們在這個測試認證,包括整個標準制定的過程中,我們認為衡量一個大數(shù)據(jù)產(chǎn)品平臺至少有三個維度:一是功能完備性;二是性能;三是穩(wěn)定性。我們現(xiàn)在聯(lián)盟的標準集中在功能的完備性和性能這兩點上,因為穩(wěn)定性相對來說是一個比較難以去評量的,必須在長時間用戶的使用過程當中才能應(yīng)對到很多的問題,才能發(fā)現(xiàn)你軟件里面出現(xiàn)的各種情況,包括你集群的規(guī)模擴展,從10臺擴展到100臺,甚至是上千節(jié)點的時候,你的軟件的支持能力,這是在我們簡單的測試過程當中,10臺、20臺的機器里面有時候是無法體現(xiàn)出來的。所以我們功能的完備性和性能,這兩點我們聯(lián)盟著重在這一塊已經(jīng)努力在做了。功能的完備性方面我個人認為有運維和應(yīng)用性,這是非常重要的一塊。還有SQL的支持,因為我們傳統(tǒng)的企業(yè)IT人員最多用的是SQL的語句,還有權(quán)限和用戶管理,在一個大的企業(yè)有很多業(yè)務(wù)的時候,你的權(quán)限和用戶的管理是非常重要的,能優(yōu)化出你更多的一些效率。多租戶和日志的管理和審計也是相應(yīng)的比較重要的一些點,這些方面我們會進一步去加強。性能方面我們考察的是兩部分,一部分是產(chǎn)品本身的性能優(yōu)劣,另一方面就是整個技術(shù)團隊的調(diào)優(yōu)能力,這也是你的團隊能不能把整個調(diào)優(yōu)的參數(shù)和經(jīng)驗固化下來,以一種服務(wù)的形式提供給你的客戶,這也是非常關(guān)鍵的一種能力。這是我個人覺得衡量一款大數(shù)據(jù)產(chǎn)品的維度。
下一步我們有些計劃,在基礎(chǔ)能力認證的情況下,這次我們做的是串行測試,所以后續(xù)我們會更加并行。測試的流程我們會逐步的把一些通用的腳本和測試工具自動化,固定下來,統(tǒng)一發(fā)給大家。這個標準里面如果參加測評的話,企業(yè)會知道我們里面出現(xiàn)了好幾個關(guān)于權(quán)限的測試用例,我們未來會在權(quán)限方面進行統(tǒng)一的管理,包括我們怎么樣配套去做。性能方面的話,我們這次測的是整個基礎(chǔ)能力,性能的話,我們在6月份會給大家提供出來。也就是說,6月份我們基礎(chǔ)能力和性能這兩套是全部都給大家提供出來,3月份和4月份之間的測試主要做的是基礎(chǔ)能力的。性能的話我們會以運維為導(dǎo)向,考慮一些混合任務(wù)、高并發(fā)的場景。下半年開始我們還有另外一些建立MPP數(shù)據(jù)庫的評測標準,還有我們未來也越來越看到技術(shù)的融合,就是Hadoop系統(tǒng)、Spark系統(tǒng),很多的技術(shù)都在走向融合。用戶可能最后不關(guān)心你到底用了什么樣的技術(shù)和什么樣的產(chǎn)品,只是一個統(tǒng)一的大數(shù)據(jù)平臺,你把所有的技術(shù)和組件放到里面來,對我來說提供一個透明的,無感知的產(chǎn)品就可以了。
我們在評審過程當中也有很多評審專家給我們提出了意見,在數(shù)據(jù)治理方面,包括你有了平臺以后,你的數(shù)據(jù)進來以后你怎么去管控數(shù)據(jù)質(zhì)量,怎么管控原數(shù)據(jù),整個數(shù)據(jù)處理和整理的過程,也需要一些我們的標準去規(guī)范。這是我們未來要做的一些事情。大家可以看到,也是非常貼近企業(yè)和業(yè)界的需求,工作量也非常大,但是我們有志于去推動中國產(chǎn)業(yè)進行這樣一些活動。
未來的規(guī)劃,我們其實一直對整個大數(shù)據(jù)的產(chǎn)品體系有比較清晰的認識,我們有底層的平臺,我們的標準是停留在產(chǎn)品的底層平臺,Hadoop、Spark、MPP產(chǎn)品的基礎(chǔ)上,慢慢我們會做到數(shù)據(jù)管理層。再往上慢慢的規(guī)范可視化、BI數(shù)據(jù)和數(shù)據(jù)庫,包括整個軟件平臺向云平臺切換的時候產(chǎn)品特性,這些都是我們需要做的。也需要更多的廠商,更多的專家參與到我們這個事情里面。