上周,騰訊云大數(shù)據(jù)聯(lián)合團(tuán)隊(duì)以98.8秒的成績(jī)完成100TB數(shù)據(jù)排序,摘得2016 Sort Benchmark全球排序競(jìng)賽冠軍。在這次競(jìng)賽中,騰訊云數(shù)智分布式計(jì)算平臺(tái)分別奪得Sort Benchmark大賽GraySort和Minutesort的冠軍,創(chuàng)造了四項(xiàng)世界紀(jì)錄。(了解詳情請(qǐng)點(diǎn)擊《全球計(jì)算奧運(yùn)冠軍花落騰訊,騰訊云數(shù)智打破4項(xiàng)世界紀(jì)錄》)
此次參賽的騰訊云大數(shù)據(jù)聯(lián)合團(tuán)隊(duì),是由騰訊云存儲(chǔ)產(chǎn)品中心、騰訊數(shù)據(jù)平臺(tái)部組成,團(tuán)隊(duì)成員在大數(shù)據(jù)技術(shù)和應(yīng)用管理上都有著非常豐富的實(shí)踐經(jīng)驗(yàn),尤其是騰訊數(shù)據(jù)平臺(tái)部一直在管理的騰訊大數(shù)據(jù)集群,是世界上最大的大數(shù)據(jù)集群之一。
這樣一支頗具實(shí)力的團(tuán)隊(duì)是如何應(yīng)對(duì)這場(chǎng)競(jìng)賽的呢?他們遇到了哪些挑戰(zhàn)?參賽過程中他們?nèi)绾未罱ǚ植际较到y(tǒng)軟件架構(gòu)?又進(jìn)行了哪些軟件算法優(yōu)化?騰訊云數(shù)智究竟是一款怎樣的產(chǎn)品?
帶著這些疑問,我們采訪了此次冠軍團(tuán)隊(duì)的總負(fù)責(zé)人-騰訊云副總裁、騰訊數(shù)據(jù)平臺(tái)部總經(jīng)理蔣杰,請(qǐng)他為大家講述冠軍背后的故事。
1.本次參賽的過程中,團(tuán)隊(duì)經(jīng)歷了哪些困難?是如何克服的?
蔣杰:此次參賽還是經(jīng)歷了不少困難的。我們?cè)谡{(diào)優(yōu)的過程中,發(fā)現(xiàn)網(wǎng)絡(luò)IO和磁盤IO跑不到我們理想的極限能力,其實(shí)在當(dāng)時(shí)我們跑出來的成績(jī)已經(jīng)很不錯(cuò),但是整個(gè)團(tuán)隊(duì)沒有放過任何一個(gè)可以提高性能的機(jī)會(huì),從架構(gòu)到代碼細(xì)節(jié),到硬件的驅(qū)動(dòng)層,大家加班加點(diǎn)不停的提出優(yōu)化方案和嘗試,最終達(dá)到了我們理想成績(jī)。精益求精、追求極致是我們每一個(gè)技術(shù)人員都應(yīng)有的態(tài)度。
另外,比賽要求的提交時(shí)間,突然宣布提前了一個(gè)月,這應(yīng)該是很多參賽團(tuán)隊(duì)沒預(yù)料到的。但這也恰恰突出了各團(tuán)隊(duì)在技術(shù)積累的重要性;我們團(tuán)隊(duì)有著多年的技術(shù)積累,平時(shí)不斷苦練內(nèi)功,為我們最終在全球計(jì)算奧運(yùn)會(huì)上奪冠打下了堅(jiān)實(shí)的基礎(chǔ)。
2.外界有質(zhì)疑說這次參賽是靠成本硬件堆砌,請(qǐng)問今年我們的參賽成本究竟是多少?
蔣杰:我們拿去年冠軍的硬件配備做了一個(gè)對(duì)比。在