無(wú)論是在產(chǎn)業(yè)界還是在學(xué)術(shù)界,云計(jì)算無(wú)疑都是一大熱點(diǎn)。作為國(guó)內(nèi)的最高等學(xué)府,清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系高性能計(jì)算技術(shù)研究所在國(guó)內(nèi)云計(jì)算理論研究及應(yīng)用領(lǐng)域一直處于領(lǐng)先地位。清華大學(xué)已率先在高性能計(jì)算和云計(jì)算領(lǐng)域進(jìn)行了諸多的嘗試和實(shí)踐,并在校內(nèi)廣泛普及應(yīng)用。對(duì)此,IT168記者采訪了清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系高性能計(jì)算研究所教授武永衛(wèi),探尋清華大學(xué)在云存儲(chǔ)和高性能計(jì)算領(lǐng)域的建設(shè)與應(yīng)用實(shí)踐。
“我們每個(gè)人每天都在產(chǎn)生大量的數(shù)據(jù),但是卻沒(méi)有時(shí)間精力,或者沒(méi)有很好的平臺(tái)幫我們管理好數(shù)據(jù)。比如我會(huì)給家人拍DV照片,會(huì)將各種各樣的數(shù)據(jù)刻盤,可是如果光盤壞了,就一點(diǎn)辦法都沒(méi)有。隨著信息時(shí)代的發(fā)展,每個(gè)人產(chǎn)生的數(shù)據(jù)量越來(lái)越大,但是每個(gè)人對(duì)數(shù)據(jù)的管理卻是越來(lái)越無(wú)力,所以我認(rèn)為云存儲(chǔ)的首要目標(biāo)就是為每個(gè)人提供管理數(shù)據(jù),存儲(chǔ)和備份的條件,而且做到不丟失,因?yàn)楝F(xiàn)在數(shù)據(jù)已經(jīng)成為了一種遺產(chǎn)。” 相信武永衛(wèi)教授分享的觀點(diǎn)大多數(shù)人都感同身受,也正是基于這個(gè)出發(fā)點(diǎn),讓他看好云存儲(chǔ)的應(yīng)用與發(fā)展。
▲武永衛(wèi)教授在清華大學(xué)機(jī)房
武永衛(wèi)教授介紹,自身的研究工作主要涵蓋兩個(gè)方面,一方面是云存儲(chǔ),在這個(gè)方面也花費(fèi)了最多的精力,他十分強(qiáng)調(diào)云存儲(chǔ)的實(shí)用性:“我們傾向于把云存儲(chǔ)做的比較實(shí)際,有實(shí)驗(yàn)的環(huán)境來(lái)檢驗(yàn)我們技術(shù)的先進(jìn)性以及系統(tǒng)的可用性。”另一方面是虛擬計(jì)算,類似于亞馬遜的彈性計(jì)算云(EC2),清華大學(xué)計(jì)算機(jī)系搭建的虛擬集群可供給學(xué)校高性能計(jì)算課程上機(jī)實(shí)驗(yàn)來(lái)使用,通過(guò)瀏覽器或者網(wǎng)絡(luò)客戶端的形式提供虛擬計(jì)算環(huán)境和運(yùn)行環(huán)境,滿足院系在高性能計(jì)算方面的教學(xué)實(shí)驗(yàn)需求。
共享激活海量存儲(chǔ)
清華大學(xué)的Corsair云存儲(chǔ)服務(wù)是專為在清華大學(xué)教職工及在校大學(xué)生群體打造的海量存儲(chǔ)倉(cāng)庫(kù),用戶注冊(cè)之后獲得大容量私密存儲(chǔ)空間,通過(guò)Corsair客戶端方便地獲取各種學(xué)習(xí)、軟件、影音和游戲等資料,此外,清華大學(xué)將社區(qū)的設(shè)計(jì)理念引入到海量存儲(chǔ)中,“在云存儲(chǔ)中,產(chǎn)生的數(shù)據(jù)量會(huì)越來(lái)越大,對(duì)相同的數(shù)據(jù)產(chǎn)生共同興趣的人會(huì)聚合在一起成為一個(gè)集體,我們叫做社區(qū)。” 用戶可以根據(jù)自身的愛(ài)好創(chuàng)建社區(qū),并擔(dān)任社區(qū)的管理員,對(duì)社區(qū)進(jìn)行簡(jiǎn)單的描述然后共享出來(lái),所有的用戶都會(huì)看到這個(gè)社區(qū),感興趣的同學(xué)可以申請(qǐng)加入社區(qū),通過(guò)這樣的辦法來(lái)構(gòu)建社區(qū)網(wǎng)絡(luò)。因此在清華大學(xué)構(gòu)建的云存儲(chǔ)中,除了傳統(tǒng)的數(shù)據(jù)備份之外,還有社區(qū)的數(shù)據(jù)共享,比如將一些知名的教學(xué)視頻和課件在公共的存儲(chǔ)空間展示出來(lái),供學(xué)校各個(gè)學(xué)院學(xué)生使用。
▲Corsair云存儲(chǔ)服務(wù)
數(shù)據(jù)的共享使得的存儲(chǔ)的數(shù)據(jù)被更多的學(xué)生使用,發(fā)揮出數(shù)據(jù)的最大價(jià)值,同時(shí),數(shù)據(jù)共享還激發(fā)出了新的應(yīng)用。武永衛(wèi)教授介紹,基于如此海量的數(shù)據(jù),可以提供很多應(yīng)用服務(wù)。比如在清華大學(xué)校園內(nèi)有一款廣受歡迎的視頻節(jié)目“康熙來(lái)了”,清華大學(xué)校內(nèi)無(wú)線網(wǎng)絡(luò)覆蓋廣泛,因此,通過(guò)手機(jī)和wifi,學(xué)生就可以收看這個(gè)節(jié)目,節(jié)目視頻內(nèi)容就來(lái)自于校園的云存儲(chǔ)。
據(jù)了解,目前清華大學(xué)校園云存儲(chǔ)的規(guī)模已達(dá)到100TB,部署在位于不同地理位置的三個(gè)存儲(chǔ)節(jié)點(diǎn)上。
打造堅(jiān)實(shí)的平臺(tái) 迎向開(kāi)放
目前,清華大學(xué)云存儲(chǔ)只限于在學(xué)校內(nèi)部使用,同時(shí)在全國(guó)七八個(gè)大學(xué)和一些軟件園區(qū)中使用,并沒(méi)有向社會(huì)開(kāi)放。武永衛(wèi)教授談到,其主要原因是云存儲(chǔ)是以數(shù)據(jù)為核心的應(yīng)用,所以對(duì)網(wǎng)絡(luò)的要求比較高,校園網(wǎng)提供了一個(gè)很好平臺(tái)和網(wǎng)絡(luò)環(huán)境,為云存儲(chǔ)的使用提供了有利的條件,創(chuàng)造良好的用戶體驗(yàn)。另外,也是出于對(duì)數(shù)據(jù)安全性和敏感性的考慮。
談到對(duì)未來(lái)的發(fā)展規(guī)劃,武永衛(wèi)教授表示:“我們希望把不同區(qū)域的云存儲(chǔ)互相鏈接起來(lái),比如說(shuō)上海高校的學(xué)生,可能加入清華的某一個(gè)社區(qū),這樣大家可以產(chǎn)生更廣泛意義上的數(shù)據(jù)共享。”
武永衛(wèi)教授介紹會(huì)將云存儲(chǔ)打造成一個(gè)基礎(chǔ)平臺(tái),然后在這個(gè)基于數(shù)據(jù)的基礎(chǔ)平臺(tái)上開(kāi)發(fā)更多的應(yīng)用和服務(wù),像現(xiàn)在非常普遍的手機(jī)上小應(yīng)用一樣。但是前提是要將基礎(chǔ)平臺(tái)做好,否則應(yīng)用便無(wú)從談起。“而且平臺(tái)技術(shù)含量要比做應(yīng)用技術(shù)含量更高,從大學(xué)的角度來(lái)說(shuō),我們更關(guān)注做系統(tǒng)結(jié)構(gòu),把平臺(tái)做好。把平臺(tái)真正做好以后,我們鼓勵(lì)開(kāi)放,并提供平臺(tái)接口,每個(gè)人可以基于我們平臺(tái)開(kāi)發(fā)自己的應(yīng)用,就像蘋果或者國(guó)內(nèi)的百度一樣。我們以后肯定也要朝著這個(gè)方向努力,但目前要做的是把平臺(tái)做好。”他說(shuō)。
云存儲(chǔ)底層架構(gòu)
在云存儲(chǔ)的底層架構(gòu)方面,清華大學(xué)采用開(kāi)源的分布式文件系統(tǒng),并在此基礎(chǔ)上,針對(duì)個(gè)人存儲(chǔ)做了一些優(yōu)化和改進(jìn),他介紹道:“針對(duì)普通用戶的文件存儲(chǔ)系統(tǒng)的元數(shù)據(jù)量會(huì)比較大,因此我們?cè)O(shè)計(jì)了一個(gè)分布式元數(shù)據(jù)管理系統(tǒng);再比如說(shuō)個(gè)人的文檔文件在許多時(shí)候都需要隨即修改,因此如何改善用戶使用體驗(yàn)就顯得比較重要,我們?cè)谶@些方面花了比較多的時(shí)間和精力。”
此外,武永衛(wèi)教授透露,在清華大學(xué)的云存儲(chǔ)實(shí)驗(yàn)平臺(tái)中,已開(kāi)始使用自主研制的分布式文件系統(tǒng)。
對(duì)于分布式處理,面對(duì)的數(shù)據(jù)量通常比較大,也需要大量的硬盤,并通過(guò)軟件和硬件的協(xié)作來(lái)達(dá)到穩(wěn)定性、可靠性。作為非商業(yè)性的科研單位,清華大學(xué)的存儲(chǔ)平臺(tái)也是免費(fèi)向校園提供使用的,因此在性能和成本的平衡方面,清華大學(xué)也有自身的考慮。“我們?cè)拼鎯?chǔ)的應(yīng)用,用到了很多戴爾的存儲(chǔ)設(shè)備,我們也通過(guò)買很多的硬盤,來(lái)擴(kuò)容設(shè)備。” 武永衛(wèi)教授說(shuō)道。