2013年1月11日,百度全國數(shù)十個(gè)數(shù)據(jù)中心之一的南京云計(jì)算數(shù)據(jù)中心首度對外曝光。百度云首席架構(gòu)師林仕鼎在與倪光南、侯自強(qiáng)等業(yè)界專家的參觀交流中指出,數(shù)據(jù)中心和企業(yè)市場是x86 PC的最后一個(gè)堡壘,隨著百度云帶領(lǐng)ARM進(jìn)入數(shù)據(jù)中心,30年P(guān)C時(shí)代宣告終結(jié)。
走向移動(dòng)物聯(lián)網(wǎng):變革的時(shí)代
從1990年開始普及的桌面互聯(lián)網(wǎng)(Internet),到2000年萌芽的移動(dòng)互聯(lián)網(wǎng)(Mobile Internet),再到2009年隨著美國“智慧地球”概念興起的物聯(lián)網(wǎng)(The Internet of Things),信息技術(shù)正在不斷推動(dòng)人類變革前行。
如果說幾年前人們還對“云”的概念云里霧里的話,那么,隨著電腦、筆記本、Pad、iPhone、安卓智能手機(jī)、智能電視的普及,人們迎來了“多終端”和高速網(wǎng)絡(luò)的新時(shí)代,每個(gè)終端都不必強(qiáng)調(diào)自身強(qiáng)大的計(jì)算力,而可以簡單地、普遍地依賴“云”計(jì)算。
終端數(shù)量爆炸式增長,“云”的依存度顯著提升,使大數(shù)據(jù)成為時(shí)代的標(biāo)志之一。以百度為例,其日處理量達(dá)100PB。截至2012年12月,開放注冊僅4個(gè)月的百度個(gè)人云,用戶便突破2600萬,每天有近20萬人改變了存儲(chǔ)習(xí)慣,把文件放到了百度“云”上。
數(shù)據(jù)中心:全面“云”化
當(dāng)大數(shù)據(jù)、云計(jì)算來臨之時(shí),傳統(tǒng)的數(shù)據(jù)中心也全面“云”化。首先,數(shù)據(jù)來源日趨異構(gòu)化,不僅有桌面互聯(lián)網(wǎng),還有移動(dòng)終端和智能設(shè)備,更有通過傳感器連上網(wǎng)絡(luò)的物聯(lián)網(wǎng)物件。其次,在前端OS層面,也需要一個(gè)非硬件依賴的云OS,完成應(yīng)用、連接和交互。再次,需要有軟件基礎(chǔ)架構(gòu)(可理解為后端OS),上可以對接數(shù)據(jù)智能(兩者可實(shí)現(xiàn)大數(shù)據(jù)技術(shù)),下可以協(xié)同數(shù)據(jù)中心、網(wǎng)絡(luò)、服務(wù)器(兩者可實(shí)現(xiàn)云計(jì)算)。
圖:變革背后的技術(shù)驅(qū)動(dòng)力
林仕鼎解釋,百度云數(shù)據(jù)中心計(jì)算的主要技術(shù)領(lǐng)域涵蓋了存儲(chǔ)、計(jì)算 、超大規(guī)模系統(tǒng)、數(shù)據(jù)中心體系結(jié)構(gòu)等。比如存儲(chǔ),不僅要考慮文件、對象以及表等數(shù)據(jù)組織結(jié)構(gòu),也要定義訪問模式,讀少寫多、讀多寫少等不同模式會(huì)在很大程度上影響存儲(chǔ)系統(tǒng)的設(shè)計(jì)。再如計(jì)算,也分為數(shù)據(jù)密集型、計(jì)算密集型和通訊密集型。相比傳統(tǒng)數(shù)據(jù)中心,技術(shù)的處理更加細(xì)致入微。
圖:數(shù)據(jù)中心計(jì)算的主要技術(shù)領(lǐng)域
三大變革:見證30年P(guān)C時(shí)代終結(jié)
林仕鼎談到: 隨著云時(shí)代的到來,對技術(shù)人員來說,也迎來了從Desktop(桌面)到Datacenter(數(shù)據(jù)中心)的三大變革。
首先是計(jì)算范式變革,其中不少為計(jì)算哲學(xué)的顛覆式革命。如桌面時(shí)代講究Architecture(架構(gòu)),到了數(shù)據(jù)中心時(shí)代就要講究Fabric(體系結(jié)構(gòu));傳統(tǒng)的BIOS就要變成Host OS(主宿操作系統(tǒng));傳統(tǒng)的Kernel(核心如linux)變成Infrastructure(大規(guī)模分布式基礎(chǔ)架構(gòu));傳統(tǒng)的Application(應(yīng)用)變成Services/Tasks(服務(wù)/任務(wù));傳統(tǒng)的質(zhì)量保障的標(biāo)準(zhǔn)由0 bug(0錯(cuò)誤)變成Fault-tolerance(容錯(cuò)系統(tǒng));傳統(tǒng)的數(shù)據(jù)目標(biāo)由Correctness(正確性)變?yōu)镻recision(精準(zhǔn))。想想百度搜索某個(gè)關(guān)鍵詞的例子就能明白。
第二大變革是環(huán)境與設(shè)計(jì)目標(biāo)的變革。環(huán)境由單用戶多任務(wù)變成了多用戶單任務(wù),對規(guī)模、成本、交付時(shí)間的要求也變得更加重要。
第三大變革是設(shè)計(jì)理念的變革。透明性不再成為美德,層次化開始向豎井式演進(jìn),軟硬件系統(tǒng)都打破原有的預(yù)設(shè)和行為方式,開始向Application-driven(應(yīng)用驅(qū)動(dòng))和Software-defined(軟件定義)的方式發(fā)展。
林仕鼎舉了百度自主研發(fā)SSD的例子。傳統(tǒng)的系統(tǒng)架構(gòu)中,是由一個(gè)總的SSD controller(SSD控制器)來控制下面的Flash存儲(chǔ)單元,這樣的好處是黑箱化、層次化。但不利之處是SSD往往讀取較快,寫入較慢,容易形成瓶頸。在百度自主研發(fā)的SSD架構(gòu)中,取消了寫緩沖、擦寫平衡等復(fù)雜邏輯,大幅簡化SSD控制器的設(shè)計(jì)。通過將一個(gè)大的SSD劃分為N個(gè)單元,每個(gè)單元都有獨(dú)立的控制器和存儲(chǔ)單元,這些信息和控制接口暴露給上層存儲(chǔ)系統(tǒng)后,形成了多個(gè)管道,并行讀取、存儲(chǔ)效率可以大幅提升。
再以服務(wù)器技術(shù)為例,百度實(shí)現(xiàn)了去RAID,全系統(tǒng)范圍實(shí)現(xiàn)冗余,引入機(jī)器學(xué)習(xí)預(yù)測硬盤故障,采取創(chuàng)新的共享架構(gòu),節(jié)點(diǎn)概念擴(kuò)展至機(jī)柜,引入ARM節(jié)約能耗,這些都是百度在設(shè)計(jì)理念上的變革所致。
驚艷! 百度云計(jì)算硬件基礎(chǔ)設(shè)施
當(dāng)林仕鼎介紹完百度云計(jì)算硬件基礎(chǔ)設(shè)施的一些亮點(diǎn)之后,我們只能用一個(gè)詞來形容百度的這次創(chuàng)新: 驚艷!
全球首個(gè)ARM架構(gòu)服務(wù)器在數(shù)據(jù)中心的規(guī)模應(yīng)用,存儲(chǔ)密度提升70%,TCO降低25%;
國內(nèi)首個(gè)大規(guī)模部署自主設(shè)計(jì)的定制化整機(jī)柜服務(wù)器,TCO下降10%,交付效率提升10倍;
在南京機(jī)房部署了5000余臺(tái)萬兆集群,為國內(nèi)互聯(lián)網(wǎng)行業(yè)內(nèi)最大規(guī)模。該萬兆TOR(Top of Rack柜頂式)交換機(jī)全部由百度自主研發(fā)設(shè)計(jì),接入成本對比同類商用方案下降83%;
PUE達(dá)國內(nèi)最佳水平。如百度M1自建機(jī)房最佳PUE達(dá)1.18,年均PUE達(dá)1.37,全年約50%的時(shí)間實(shí)現(xiàn)完全免費(fèi)冷卻;
自主研發(fā)SSD,系業(yè)內(nèi)首家自主研發(fā)及規(guī)模應(yīng)用,相對SATASSD性能提升6倍成本降低10%,相對PCIEFlash性能提升2倍成本降低40%。
云計(jì)算帶來了30年P(guān)C時(shí)代的終結(jié)。在云時(shí)代,不論是硬件還是軟件,都實(shí)現(xiàn)了徹底顛覆,云帶來的變革將無遠(yuǎn)弗屆。非常有意思的是,林仕鼎用毛主席《七律·人民解放軍占領(lǐng)南京》作為演講的結(jié)束語,“虎踞龍盤今勝昔,天翻地覆慨而慷……天若有情天亦老,人間正道是滄桑。”。
的確,從PC到Mobile, 從Intel Inside到ARM Inside,我們應(yīng)該興奮,因?yàn)槲覀冋谟H歷一個(gè)變革中的IT時(shí)代。