2013年1月11日，隨著百度南京數(shù)據(jù)中心的“開放日”迎來首批嘉賓訪客，百度云計算硬件基礎(chǔ)設(shè)施的神秘面紗也逐步顯現(xiàn)。記者從嘉賓的口中以管窺豹，了解到五大核心看點，為您首度披露百度背后的數(shù)據(jù)中心硬件架構(gòu)。
業(yè)內(nèi)專家同時對記者表示，以前只是對百度的搜索引擎技術(shù)、軟件專利比較熟悉，但沒有想到，百度在硬件和軟硬結(jié)合的數(shù)據(jù)中心領(lǐng)域，也有驚人的表現(xiàn)。通過百度南京數(shù)據(jù)中心的“開放日”，專家們認(rèn)識到，以百度為代表的中國互聯(lián)網(wǎng)公司，已經(jīng)在互聯(lián)網(wǎng)技術(shù)領(lǐng)域積累了先進(jìn)技術(shù)經(jīng)驗，絲毫不落后于國外領(lǐng)跑者。可以相信，在百度等公司的推動下，中國互聯(lián)網(wǎng)與移動互聯(lián)網(wǎng)，必將迎來更加蓬勃發(fā)展的明天。
云數(shù)據(jù)中心：因何而生？
當(dāng)越來越多的網(wǎng)民開始“百度一下”的時候，百度公司面臨的數(shù)據(jù)處理的壓力也與日俱增。據(jù)統(tǒng)計，百度擁有的數(shù)據(jù)總量達(dá)到上百PB，日處理量達(dá)幾十PB。
PB是Petabyte的簡稱，它是較高級的存儲單位，1PB=1024Tb（Terabyte）=1024*1024GB（Gigabyte）。1PB相當(dāng)于4千億頁文本。
按照百度的日處理量幾十PB，我們假設(shè)按照60PB來計算，平均分?jǐn)偟?5億中國人頭上，相當(dāng)于每個中國人要處理16000頁文本，約等于700多頁厚的新華字典，要摞起來厚厚的20多本。
如此巨大的數(shù)據(jù)量，還并不是困難的全部。百度要處理的數(shù)據(jù)，往往是結(jié)構(gòu)化與非結(jié)構(gòu)化并存，系統(tǒng)數(shù)據(jù)對數(shù)據(jù)一致性要求強(qiáng)弱程度不同，用戶對數(shù)據(jù)的訪問行為存在不確定性，即在毫無征兆的情況下，對某些信息進(jìn)行突發(fā)式訪問等。
面對新時期的挑戰(zhàn)，傳統(tǒng)的數(shù)據(jù)中心的成本就顯得格外高昂。相比傳統(tǒng)數(shù)據(jù)中心功耗高、IT設(shè)備負(fù)載低的弱點，云數(shù)據(jù)中心具有天生的優(yōu)勢，IT負(fù)載可以靈活調(diào)配，資源可被近實時的按需調(diào)節(jié)，極大地避免了浪費。
數(shù)年前，百度技術(shù)高管已經(jīng)有了決斷：要加快數(shù)據(jù)中心節(jié)能降耗進(jìn)程，大幅降低成本。“以單體10萬臺服務(wù)器的數(shù)據(jù)中心為例，PUE（電能使用效率指標(biāo)）每降0.1，一年就可為百度節(jié)約上千萬元的成本；如果選擇能源豐富的地理位置以降低電價，百度每年還可節(jié)約千萬元成本。”數(shù)據(jù)中心節(jié)能的價值不言而喻。數(shù)據(jù)將爆發(fā)增長，數(shù)據(jù)中心規(guī)模也將隨之快速擴(kuò)張，因而，提前進(jìn)行數(shù)據(jù)中心節(jié)能設(shè)計，為百度未來數(shù)據(jù)中心降低能耗、節(jié)省成本打下了堅實的基礎(chǔ)。
百度云計算硬件基礎(chǔ)設(shè)施亮點之一：ARM服務(wù)器體系架構(gòu)全球首次正式商用
傳統(tǒng)以來，PC與服務(wù)器界，INTEL INSIDE的標(biāo)志幾乎是不可更改的習(xí)慣，但是，你知道iOS、Windows Phone、Android這3大平臺的手機(jī)共通點是什么嗎？那就是這些手機(jī)CPU全都是采用ARM芯片。i美股《移動處理器“小巨人”ARM》報告披露，2011年全球智能手機(jī)出貨4.7億部，ARM架構(gòu)芯片占90%，功能手機(jī)出貨6.6億部，ARM架構(gòu)芯片占95%，硬盤和固態(tài)驅(qū)動器出貨7億，ARM占90%，數(shù)碼相機(jī)1.5億臺，ARM占80%……
圖：百度云數(shù)據(jù)中心在全球首次實現(xiàn)了ARM體系架構(gòu)的正式商用
百度云計算硬件基礎(chǔ)設(shè)施的第一大亮的即是在全球首次實現(xiàn)了ARM體系架構(gòu)的正式商用，也是ARM體系首次服務(wù)于云數(shù)據(jù)中心的規(guī)?；瘧?yīng)用。ARM專為百度云服務(wù)設(shè)計，基于云平臺將軟件與CPU指令集解耦，實現(xiàn)了輕計算負(fù)載，高存儲密度，存儲密度提升了70%，TCO降低了25%。而為了達(dá)成低功耗，低成本，百度也實現(xiàn)了指令集變遷，即一套代碼，兩種平臺（X86&ARM）。
百度ARM服務(wù)器擁有10個以上的發(fā)明專利，是ARM全球首個Server端規(guī)模應(yīng)用，并且是服務(wù)于云數(shù)據(jù)中心的規(guī)模應(yīng)用，充分彰顯了百度在移動計算上的技術(shù)領(lǐng)先性。
百度云計算硬件基礎(chǔ)設(shè)施亮點之二：國內(nèi)首個大規(guī)模部署定制化整機(jī)柜服務(wù)器
國內(nèi)第一個大規(guī)模部署自主設(shè)計的定制化整機(jī)柜服務(wù)器，該項成果承載著百度自主研發(fā)與百度數(shù)據(jù)中心相匹配的、貼近業(yè)務(wù)需求的、具備最佳TCO的整機(jī)柜服務(wù)器解決方案的重任。
圖：百度定制化整機(jī)柜服務(wù)器
第一批百度自主開發(fā)的整機(jī)柜服務(wù)器（200個rack機(jī)柜）已經(jīng)在南京云數(shù)據(jù)中心上線。TCO（整體擁有成本）下降10%，峰值交付效率提升10倍。
百度云計算硬件基礎(chǔ)設(shè)施亮點之三：中國互聯(lián)網(wǎng)業(yè)內(nèi)最大萬兆接入服務(wù)器集群
據(jù)參觀了百度南京云數(shù)據(jù)中心的專家透露，目前，該數(shù)據(jù)中心建成了目前國內(nèi)互聯(lián)網(wǎng)行業(yè)最大的萬兆集群，集群規(guī)模超過5000個節(jié)點?；诎俣茸灾餮邪l(fā)的萬兆ToR交換機(jī)以及低成本低功耗接入介質(zhì)，該集群相對于傳統(tǒng)的千兆集群，服務(wù)器節(jié)點帶寬提升了3-10倍，同時硬件采購成本以及TCO僅分別上升8%和不超過5%。
另據(jù)了解，該機(jī)房使用了百度自主研發(fā)的，基于64核處理器的負(fù)載均衡系統(tǒng)，該系統(tǒng)可以為業(yè)務(wù)提供最大320G的負(fù)載均衡以及DDoS攻擊防御服務(wù)，而其成本不到商用設(shè)備的10%。
百度南京云數(shù)據(jù)中心實現(xiàn)了兩大革命性突破：不僅是國內(nèi)互聯(lián)網(wǎng)行業(yè)最大的萬兆集群，也是國內(nèi)首家大規(guī)模部署自研萬兆交換機(jī)的數(shù)據(jù)中心。
百度云計算硬件基礎(chǔ)設(shè)施亮點之四：SSD自主研發(fā)
如何處理海量數(shù)據(jù)的實時存儲？面對百度海量數(shù)據(jù)存儲需求的不斷提升、軟硬件架構(gòu)從傳統(tǒng)層次結(jié)構(gòu)向豎井結(jié)構(gòu)的變遷、On Demand定制軟硬件的業(yè)界趨勢，百度推動了SSD自主研發(fā)的進(jìn)程。
在系統(tǒng)上，百度實現(xiàn)了從傳統(tǒng)層次結(jié)構(gòu)向豎井結(jié)構(gòu)的變遷，同時，也實現(xiàn)了軟硬件的高度協(xié)同和融合，如硬件多通道對應(yīng)用可見，應(yīng)用控制數(shù)據(jù)并發(fā)應(yīng)用，顯式擦除無用數(shù)據(jù)，避免性能波動；在軟件上，實現(xiàn)了輕量級文件系統(tǒng)和IO系統(tǒng)，繞開Linux文件系統(tǒng)及IO協(xié)議棧，降低了訪問延時和系統(tǒng)開銷；而在硬件上，則根據(jù)百度數(shù)據(jù)訪問模式定制，寫放大系數(shù)恒為1，不需要預(yù)留冗余空間，同時，實現(xiàn)計算和存儲的融合，可以作為計算協(xié)處理器應(yīng)用。
SSD自主研發(fā)為百度云數(shù)據(jù)中心帶來的好處是顯而易見的，性能比主流PCIE flash卡好2倍，每GB成本降低40％；性能比主流SATA SSD好6倍，每GB成本降低10％,目前在百度網(wǎng)頁庫大規(guī)模使用，已經(jīng)獲得3個發(fā)明專利，完成和投出2篇學(xué)術(shù)論文。
百度云計算硬件基礎(chǔ)設(shè)施亮點之五：自建數(shù)據(jù)中心年均PUE1.37，國內(nèi)最佳
PUE（Power Usage Effectiveness）是國際上通用的數(shù)據(jù)中心能源使用效率衡量指標(biāo)。PUE=數(shù)據(jù)中心總設(shè)備能耗/IT設(shè)備能耗，是一個比值，PUE越接近1表明能效水平越高。國內(nèi)數(shù)據(jù)中心PUE目前平均值約為2.5，這意味著IT設(shè)備每消耗1度電，就有多達(dá)1.5度的電被IT配套基礎(chǔ)設(shè)施消耗掉了。若全國數(shù)據(jù)中心PUE均值從2.5降低到百度的1.37，則節(jié)能率達(dá)到45.2%，保守估計全年可節(jié)電超過35億度。
經(jīng)過多年探索與實踐，百度提出“節(jié)能從源頭開始，軟件、IT設(shè)備與基礎(chǔ)設(shè)施協(xié)同”節(jié)能理念；“關(guān)注基礎(chǔ)設(shè)施系統(tǒng)的每一個環(huán)節(jié)，把每一個方面做到極致”，最大限度地降低各個系統(tǒng)的能耗。百度結(jié)合國內(nèi)自然環(huán)境及產(chǎn)業(yè)條件，推動多種節(jié)能技術(shù)在自建數(shù)據(jù)中心最佳實踐。如：優(yōu)化供電結(jié)構(gòu)，減少轉(zhuǎn)換損耗；首次規(guī)模應(yīng)用市電主供、冗余電源備份方案；采用冷機(jī)變頻、空調(diào)末端Ecfan等技術(shù)提高設(shè)備能效；提高供回水溫度，延長免費冷卻時間；采用CFD優(yōu)化氣流組織設(shè)計…… 最終通過運維調(diào)優(yōu)，自建數(shù)據(jù)中心全年約50%時間實現(xiàn)完全免費冷卻，年均PUE 1.37，最佳PUE 1.18，成為國內(nèi)最節(jié)能、最環(huán)保的數(shù)據(jù)中心。