我們再總結(jié)一下困難和特點(diǎn),首先是任務(wù)重,周期緊,我們看到七天的測試周期里,包括措施系統(tǒng)的安裝,平臺的安裝,數(shù)據(jù)的生成,包括我們審核其它的舉證,我們看到terasort中位執(zhí)行時間是3小時,HBase任務(wù)中位執(zhí)行時間是29,54,50,39分鐘,另外是覆蓋性,覆蓋了業(yè)務(wù)系統(tǒng)里面的典型的一些任務(wù)。
第二,我們從來沒在國內(nèi)或者是國外看到類似的32臺集群規(guī)模的配置,使用上BT的數(shù)據(jù)規(guī)模的公開的業(yè)界的測試。所以我們處于業(yè)界比較領(lǐng)先的認(rèn)證。我們審核的這些取證的這些圖,測試過程是非常的嚴(yán)格,我們寧可多減一些,寧可多省一些。另外,評審也是的嚴(yán)格,行業(yè)客戶和業(yè)界專家傾聽、質(zhì)疑、答辯。
我們做陳鶴的評測和任何的認(rèn)證都是存在不足的,我們也承認(rèn)還有一些局限性的地方,比如說我們現(xiàn)在做的是單向機(jī)制,卻說對混合負(fù)載的情況。因為你不可能單跑SQL的任務(wù),肯定是多種場景混跑,這些事情我們是缺少的。另外,我們承認(rèn)現(xiàn)場人員的前期準(zhǔn)備,平時的積累和現(xiàn)場的發(fā)揮對測試結(jié)果有一定的影響,就像高考一樣,肯定是有一些臨場發(fā)揮和機(jī)會在里面的。
另外也和企業(yè)的投入資源有關(guān)系,有的企業(yè)可能人不多,但是全部砸到這個項目上,有的且可能厲害的人很多,但是沒有派出來,這都是有可能的。
再一個,由于數(shù)據(jù)生成的限制,我們采用的工具大多數(shù)是開源的工具,我們一直以來都想做場景化的,行業(yè)化的嘗試,這塊我們未來會逐步跟廠商和客戶再去進(jìn)一步的推進(jìn)場景化的。
還有周期的限制,我們無法進(jìn)一步的對穩(wěn)定性作出考量,一個系統(tǒng)在一個月高負(fù)載下的情況。另外是機(jī)器學(xué)習(xí)的數(shù)據(jù)量略小。
下一步我們的計劃,我們會引入一些數(shù)據(jù)流可視化,統(tǒng)一考慮權(quán)限管理,還有數(shù)據(jù)管理功能,流計算。還有性能,支持跟SQL更緊密兼容性。我們一直以來是想以任務(wù)為導(dǎo)向,尋找行業(yè)的性能評測,我們現(xiàn)在已經(jīng)在做評測的標(biāo)準(zhǔn),第四批會加入MPP數(shù)據(jù)庫的評測。這是下一步的計劃。
認(rèn)證報名馬上要啟動第四批了,10月8日到12月31日會做第四批基礎(chǔ)能力和性能專項。包括Hadoop與MPP數(shù)據(jù)庫產(chǎn)品。總之,這是我們一直會堅持做下去的事情,我們也希望成為中國的比較權(quán)威,或者是比較領(lǐng)先的大數(shù)據(jù)技術(shù)產(chǎn)品的評測機(jī)構(gòu)。也會以此為我們的愿景,一直踐行這些事情,幫助大家選型也罷,評估不同的開源技術(shù),這是我們的愿景。
未來的規(guī)劃,Hadoop和Spark已經(jīng)做了,MPP下一批也有了,數(shù)據(jù)管理的功能,我們會慢慢的在這些平臺上見到。還有一些BI和算法。這是我們的愿景規(guī)劃圖。今天我的分享就到此結(jié)束。謝謝。