參與本皮性能專項認證的產(chǎn)品是五間，新華三，騰訊，北京東方金信，星環(huán)和百分點。大家可以看到性能的部分測試結(jié)果，這是TPC-DS，執(zhí)行的時間量都在百秒內(nèi)，可以看到，上下兩個圖可以看出來，第二個SQL47最優(yōu)和中位的差別很大，說明這個是比較難的，有的測的特別好，有的測的特別不好。還有一個是SQL71，它的標準差也是比較高的，說明大家在這塊也是差距比較大的。SQL82，53和84的標準方差較小，說明大家在這三個水平是比較接近的，而且這三個任務(wù)是相對來說沒那么費時的。
性能測試的YCSB分別模擬了寫入，并發(fā)寫，模擬了更新任務(wù)比較重的場景，模擬了度曲2數(shù)據(jù)再更改，再寫回的場景?？梢钥匆幌?，這塊是誰的操作數(shù)越大，誰就越厲害，這不是時間維度來衡量的，剛才的是誰的時間越短越快，這塊美妙的操作數(shù)，最優(yōu)的是175萬美妙的操作數(shù)，獨占大比例的是148萬每秒的操作數(shù)，讀寫各半的是164萬，最后一個是7萬?？梢钥吹阶顑?yōu)的往往在百萬級別的。標準方差也可以看到，厲害的有非常厲害的，不厲害的有特別差的。這塊應(yīng)該是以后參測廠家應(yīng)該注意的。這塊可能大家有的不太熟悉，做的不太好。
這塊是YCSB執(zhí)行的單位，可以看到執(zhí)行的難以程度，總體來說，寫是最簡單的，因為它的任務(wù)是比較單一的，讀的話，還有95%是讀，還有5%的更新。5%的各半稍微難一點，這兩個是相當?shù)模盥氖莚ead wand wwrite，我對比了一下，它總歸寫了2億條數(shù)據(jù)，但是modify像寫了2億，下面還有1億，它的操作數(shù)比別的多，所以他操作的慢，所以這也解釋通。所以總體來看，寫是最簡單的，最容易的，中間這兩個都差不多，第二個和第三個是差不多50分鐘左右，最后一個是80分鐘。可以看到Y(jié)CSB的耗時也是非常厲害的，在小時級別以上。這是對廠商參加測評的時候負荷是非常大的。
看看機器學習，Kmeans是最優(yōu)是272，中位是913，標準方差是572，這塊大家的水平差距特別大，貝葉斯最優(yōu)是46，它的差別相對小一些，因為執(zhí)行時間是比較少的，標準方差也比較低。這塊我們未來會增加它的難度，因為數(shù)據(jù)量小的話，大家的差別看不出來。
terasort比較有意思，去年是13.6TB最后執(zhí)行時間是在8000多秒，2個小時多一點。這邊是32個節(jié)點，等于說節(jié)點數(shù)擴了一倍多一點點，數(shù)據(jù)規(guī)模也是差不多它的兩倍多一點點。發(fā)現(xiàn)去年的15臺結(jié)點算下來151703，畫到圖上簡單來看，并沒有呈現(xiàn)一個完全線性的擴展，或者是一個線性可比性。而有兩種解釋，一種是本身terasort或者是Hadoop數(shù)據(jù)擴展就不會出現(xiàn)線性的擴展。另外，最年的最優(yōu)的測試沒有去年測試好。
terasort最優(yōu)是10083左右，中位值是3小時，這說明這個測試對大家的考驗還是比較大的，因為準方差差不多是1434，一個周期是十個小時，一個測試是一次就3個小時，一天也沒有多少時間。整個測試的周期，我們七天的時間還是非常的緊張的。
總結(jié)和下一步的計劃。
性能方面有一些優(yōu)化的思路。硬件的調(diào)優(yōu)，操作系統(tǒng)的調(diào)優(yōu)，數(shù)據(jù)的分布均勻不均勻，代碼的應(yīng)用調(diào)優(yōu)，核心目標是用盡所有的物理資源，不能讓它閑著。關(guān)于Spark，這次SQL和機器學習大部分廠商都采用了Spark，關(guān)于Spark，我們調(diào)優(yōu)也有一些總結(jié)，就是壓縮和分布數(shù)據(jù)，包括資源參數(shù)，主要是包括CPU，內(nèi)存比例的關(guān)系，這塊需要大家常常去摸索，得出一些經(jīng)驗值。很重要的是要通過資源的監(jiān)控不停的反饋這次調(diào)優(yōu)的參數(shù)比例是不是合理，這跟算法的調(diào)優(yōu)都很像。
Hadoop也是主要是壓縮任務(wù)自數(shù)據(jù)，還有資源參數(shù)的調(diào)優(yōu)。HBase涉及到壓縮，讀寫的優(yōu)化的策略，還有按選擇合適的線程數(shù)。
還有性能的評測總結(jié)，跟去年一樣，我們在統(tǒng)一的平臺，統(tǒng)一的測試數(shù)據(jù)，統(tǒng)一的測試供給，統(tǒng)一的測試周期，統(tǒng)一的測試規(guī)則，很多東西你能調(diào)，別人也能調(diào)，你不能調(diào)，別人也不能調(diào)，大家的規(guī)則是一樣的。在我們這就是統(tǒng)一的規(guī)則，大家能調(diào)的就都調(diào)，不能調(diào)的就都不能調(diào)。大家看到我們評測的應(yīng)是統(tǒng)一的思路?？疾斓慕Y(jié)果一個是產(chǎn)品本身的性能，有穩(wěn)定性，包括它的易部署性，包括易運維性，還有組建本身的性能。還有是考察參測團隊綜合使用大數(shù)據(jù)平臺的能力，包括你環(huán)境部署與集群規(guī)劃，測試工具的使用，多任務(wù)調(diào)優(yōu)的能力，包括怎么安排你的測試的進度，先測哪些，后測哪些。最后是集群的故障處理和運行維護。在我們的測試中很多集群出現(xiàn)了宕機，因為你是在測性能的極限值?？梢钥闯隹疾斓氖钱a(chǎn)品和調(diào)優(yōu)團隊整個的能力。所以考察上是比較全面，綜合。