中國IDC圈4月27日報道，互聯(lián)網(wǎng)的發(fā)展使得大數(shù)據(jù)引起人們廣泛關(guān)注。現(xiàn)如今大數(shù)據(jù)技術(shù)早已滲透到金融、通訊等行業(yè)以及生物學、物理學等領域。大數(shù)據(jù)在容量、多樣性和高增速方面的爆炸式增長全面考驗著現(xiàn)代企業(yè)的數(shù)據(jù)處理和分析能力，與此同時也為各個行業(yè)帶來了準確洞察市場行為的機會。迄今為止大數(shù)據(jù)技術(shù)與產(chǎn)品有哪些創(chuàng)新，工業(yè)大數(shù)據(jù)應用面臨哪些挑戰(zhàn)，金融行業(yè)大數(shù)據(jù)應用現(xiàn)狀如何等。圍繞這一系列問題，4月27日至28日，由工業(yè)和信息化部指導、中國信息通信研究院主辦的"2016大數(shù)據(jù)產(chǎn)業(yè)峰會"在北京國際會議中心盛大召開。在27日下午的大數(shù)據(jù)技術(shù)與產(chǎn)品創(chuàng)新分論壇上，中國信息通信研究院、移動互聯(lián)網(wǎng)與大數(shù)據(jù)部的姜春宇為大家詳細匯報大數(shù)據(jù)產(chǎn)品能力認證2016年第一批測試結(jié)果的綜述。
中國信息通信研究院、移動互聯(lián)網(wǎng)與大數(shù)據(jù)部姜春宇
以下是姜春宇演講實錄：
姜春宇：感謝大家參與我們今天的論壇，我今天主要是就上午我們的頒獎和我們發(fā)出的認證來詳細的講述一下我們整個在認證過程中所做的一些事情和每個廠家的測試情況和認證情況的細節(jié)。熟悉我們的朋友知道，去年也是在同樣的時間，同樣的地點，我們講了2015年整個測試的情況，因為我們做這件事情已經(jīng)不是第一年了，這是我們第二年，2015年我們已經(jīng)對國內(nèi)的一些廠家進行過類似的評估了。但是今年我們在去年的基礎上又有了新的一些共享和新的升級，具體我通過PPT來告訴大家。
我是來自中國信息通信研究院移動互聯(lián)網(wǎng)大數(shù)據(jù)部的姜春宇，我們也在數(shù)據(jù)中心聯(lián)盟有一個大數(shù)據(jù)工作組，我在里面是副組長。我今天的演講題目是2016年第一批大數(shù)據(jù)產(chǎn)品能力認證測試結(jié)果綜述》。演講的整個內(nèi)容分為兩部分，第一部分是整個認證的情況，第二部分是我們的一些總結(jié)和下一步計劃。
第一部分大家可以看到我們今年的一個測試標準演變，去年我們測試的組件集中在Hadoop平臺上，主要是HBase、Hive、Mehcut等等，大家可以看到，我們主要是性能，加了容錯性、安全和運維，是兩個功能的混雜。我們今年通過去年一年的積累，我們整個思路更加清晰了一些，我們提出了整個Hadoop平臺的標準體系，就是把功能和性能分離了。技術(shù)能力我們從以下七個維度來衡量，就是功能、運維、可用性、安全、兼容性、多租戶和擴展性來衡量整個大數(shù)據(jù)產(chǎn)品的一些全面的能力。性能專項我們是專門只考察性能這一部分，這是我們?nèi)ツ甑浇衲暌粋€大的變化。
2016年我們做了這樣一套標準出來以后，很多企業(yè)踴躍的去報名，經(jīng)過我們的評審和認證，我們的測試企業(yè)主要針對的是商用Hadoop平臺，包括Hadoop和Spark生態(tài)的所有組件。本次大數(shù)據(jù)產(chǎn)品能力認證包括這七項，38項測試用例，有28個必測，選側(cè)10個，必測項全部通過才能通過我們的認證。測試環(huán)境這次是由企業(yè)來提供，規(guī)定是10臺左右的物理機。測試時間是從3月底到4月20日，有一個月的時間把各個廠家的產(chǎn)品測試了一遍，在25日的時候我們組織了專家評審會，把測試結(jié)果通過企業(yè)互評和專家評審這兩套方式最后給予確認。
大家可以看到我們整個用例的體系架構(gòu)，就是從用戶出發(fā)，全面客觀的一個評價指標體系。分為運維、可用性、功能、兼容性、安全、多租戶和擴展性。標黃的部分是選測項，其他的非黃區(qū)域是必測項，也就是說你這些能力都必須具備，才能通過我們的認證。我們整個的過程是自愿參加的，就是企業(yè)來自己通過報名參加，我們整個過程比較科學嚴謹、公開公正，是這樣一個流程。大家可以看到我們左邊是一個認證的流程，右邊是一個評審的流程。認證是從報名提交材料，準備測試環(huán)境，專家現(xiàn)場審核，給出一個測試的結(jié)論。我們再組織企業(yè)互評，再組織客戶專家和學術(shù)專家的評審，達到對于測試結(jié)論的認可，達到一個評審結(jié)論。對于我們通過評審的各家企業(yè)，頒發(fā)我們的證書。通過評審可以看出來，由測試專家來匯報整個測試的總體情況，每家企業(yè)就他的測試報告和測試情況進行答辯，每一項用例怎么描述。每家企業(yè)的競爭對手都在里面，去互評他們。再就是有一些學術(shù)專家和企業(yè)專家以及客戶專家，一起來給出一個評審結(jié)論。