通過比較可見，騰訊云的單機(jī)性能比去年強(qiáng)大許多，但整體集群的配備和上屆冠軍的配備差異不大。騰訊云512臺機(jī)器的整體TCO成本比上屆冠軍3377臺機(jī)器的成本低；同時從比較直觀的指標(biāo)如內(nèi)存、網(wǎng)絡(luò)、順序讀寫IO等集群整體能力看與去年的差異不大?？梢哉f，今年我們排序比賽成績的提升是實(shí)實(shí)在在的，并非由硬件堆砌出來的。同時，我們在軟件算法優(yōu)化方面也做了很多努力。
3.那請介紹一下此次奪冠的分布式系統(tǒng)軟件架構(gòu)是如何搭建的？
蔣杰：在硬件和網(wǎng)絡(luò)方面，我們采取了IBM的PowerPC和邁絡(luò)思的100Gb網(wǎng)絡(luò)技術(shù)，機(jī)器配置選型如下：
網(wǎng)絡(luò)架構(gòu)采用了三層架構(gòu)，如下：
騰訊云大數(shù)據(jù)服務(wù)的實(shí)時計(jì)算平臺能提供單集群上千臺規(guī)模實(shí)時流式計(jì)算，在數(shù)據(jù)存儲方面，支持多重?cái)?shù)據(jù)備份，萬億數(shù)據(jù)的存儲能力。在任務(wù)調(diào)度方面，支持百萬級任務(wù)的毫秒級的調(diào)用。而且支持故障節(jié)點(diǎn)自動發(fā)現(xiàn)，自動剔除，業(yè)務(wù)的自動遷移，關(guān)鍵節(jié)點(diǎn)的主從熱備，故障的秒級切換。
本次排序分為Partition，Shuffle和Sort三個階段：
Partition階段，從本地磁盤中讀入分片的輸入數(shù)據(jù)，然后對輸入數(shù)據(jù)進(jìn)行Range Partition操作將數(shù)據(jù)進(jìn)行無重疊區(qū)間的分片，Range Partition結(jié)束后，輸出按照Range大小排序的Range File。