對(duì)于利用Hadoop計(jì)算的商務(wù)應(yīng)用來(lái)說(shuō),采用功能和性能都很強(qiáng)大的CPU并不是一個(gè)好主意。很多采用SeaMicro的Atom-smasher微型服務(wù)器的用戶(hù)都支持這一觀(guān)點(diǎn)。
SeaMicro推出的SM10000-64微型服務(wù)器目前已經(jīng)開(kāi)始了銷(xiāo)售,這款服務(wù)器在一個(gè)10U架構(gòu)中安裝了256個(gè)英特爾雙核64bit N570 Atom處理器。
由于安裝了數(shù)量眾多的CPU,所以這款微型服務(wù)器在內(nèi)部集成了一個(gè)負(fù)載均衡器,而服務(wù)器中的內(nèi)部網(wǎng)絡(luò)交換機(jī)也將其中的節(jié)點(diǎn)打造成了一個(gè)3D環(huán)面(與超級(jí)計(jì)算機(jī)相同)網(wǎng)絡(luò),這款微型服務(wù)器與外部的信息傳輸則通過(guò)千兆或萬(wàn)兆上行鏈路來(lái)完成;另外,SeaMicro還為這款服務(wù)器的眾多節(jié)點(diǎn)配備了64個(gè)硬盤(pán)來(lái)存儲(chǔ)計(jì)算數(shù)據(jù)。與其說(shuō)這款SM10000-64是一臺(tái)微型服務(wù)器倒不如說(shuō)他是一個(gè)為松耦合并行計(jì)算而設(shè)計(jì)的低功耗數(shù)據(jù)中心。這種設(shè)計(jì)對(duì)于Hadoop(分布式計(jì)算的一種)、Memcached(分布式緩存)以及web服務(wù)器等應(yīng)用來(lái)說(shuō)非常適合。
對(duì)于美國(guó)在線(xiàn)交友網(wǎng)站eHarmony(類(lèi)似于中國(guó)的世紀(jì)佳緣)來(lái)說(shuō),采用SeaMicro微型服務(wù)器來(lái)構(gòu)建自己的數(shù)據(jù)中心是個(gè)非常不錯(cuò)的選擇。而之前,eHarmony的工作負(fù)載都是通過(guò)云服務(wù)來(lái)完成的。eHarmony并沒(méi)有透露公司之前采用的是哪個(gè)供應(yīng)商提供的云服務(wù),不過(guò)SeaMicro公司聯(lián)合創(chuàng)始人兼CEO Andrew Feldman表示,eHarmony擁有3300萬(wàn)注冊(cè)用戶(hù),而要把這些用戶(hù)相互匹配起來(lái)則需要通過(guò)29種不同的算法來(lái)進(jìn)行(eHarmony注冊(cè)用戶(hù)需要完成眾多由專(zhuān)家設(shè)計(jì)的心理測(cè)試題目,網(wǎng)站也由此得知用戶(hù)的性格和心理情況并建立對(duì)應(yīng)的各方面數(shù)據(jù))。對(duì)于這些仍然單身且渴求真愛(ài)的用戶(hù)來(lái)說(shuō),通過(guò)云計(jì)算來(lái)匹配的方法實(shí)在是太慢了。
如果將eHarmony的Hadoop計(jì)算放在云服務(wù)器上的話(huà),那么完成一個(gè)匹配通常需要3-5小時(shí),這取決于當(dāng)時(shí)云服務(wù)的繁忙情況。由于時(shí)間冗長(zhǎng)且充滿(mǎn)不確定性,eHarmony的其他應(yīng)用經(jīng)常出現(xiàn)反應(yīng)慢等情況,因?yàn)檫@些應(yīng)用通常都需要預(yù)先得到匹配計(jì)算的結(jié)果。Feldman雖然并沒(méi)有透露eHarmony在采用SM10000-64微型服務(wù)器之后能夠節(jié)省時(shí)間的具體數(shù)字,但他在描述這一問(wèn)題時(shí)確實(shí)用了“顯著減少”這個(gè)字眼。另外,與通過(guò)云計(jì)算來(lái)完成匹配計(jì)算相比,eHarmony在購(gòu)買(mǎi)了SeaMicro的微型服務(wù)器之后,運(yùn)營(yíng)成本減少了74%。
由于在eHarmony項(xiàng)目上的成功,F(xiàn)eldman笑談已經(jīng)有三個(gè)字母組成縮寫(xiě)的美國(guó)政府部門(mén)開(kāi)始與其進(jìn)行有關(guān)微型服務(wù)器采購(gòu)的接洽。
在另一個(gè)Hadoop項(xiàng)目中,SeaMicro同樣贏(yíng)得了訂單,不過(guò)受限于合同,SeaMicro并不能透露用戶(hù)的名稱(chēng),但SeaMicro可以透露其產(chǎn)品在用戶(hù)測(cè)試中的結(jié)果。
在客戶(hù)的網(wǎng)站項(xiàng)目上,SeaMicro Atom-smasher微型服務(wù)器用10分50秒或更短時(shí)間完成了測(cè)試項(xiàng)目,其對(duì)手是采用至強(qiáng)處理器的機(jī)架式產(chǎn)品。兩套產(chǎn)品都采用紅帽Enterprise Linux CentOS 5.4操作系統(tǒng)和Cloudera Hadoop計(jì)算(準(zhǔn)確的說(shuō)是CDH3計(jì)算)。
測(cè)試使用Hadoop算法并用實(shí)際客戶(hù)數(shù)據(jù)來(lái)進(jìn)行并且參與測(cè)試的服務(wù)器需要在規(guī)定的時(shí)間內(nèi)完成,時(shí)限為1分50秒。而功耗部分則采用美國(guó)國(guó)家儀器公司LabView 7.1圖形化工具來(lái)測(cè)量,測(cè)量標(biāo)準(zhǔn)為Xitron 2801。測(cè)試以采用服務(wù)器的多少、功耗以及體積等因素來(lái)判斷勝負(fù)。
為了在規(guī)定的1分50秒內(nèi)完成Hadoop運(yùn)算,SeaMicro采用了兩臺(tái)SM10000-64微型服務(wù)器,每臺(tái)包含了64塊SATA硬盤(pán)、256個(gè)頻率為1.66GHz的雙核Atom處理器。事實(shí)上,兩臺(tái)SM10000-64微型服務(wù)器還可以提前10秒完成任務(wù)。兩套系統(tǒng)占用了20U的空間,也就是不到半個(gè)機(jī)柜,功率為880W。每套系統(tǒng)的售價(jià)為14萬(wàn)美元,兩套系統(tǒng)共需28萬(wàn)美元。
而如果采用至強(qiáng)機(jī)架服務(wù)器來(lái)完成這套Hadoop運(yùn)算的話(huà),則需要76臺(tái)1U機(jī)架服務(wù)器。每臺(tái)服務(wù)器包括兩個(gè)四核心至強(qiáng)L5630低電壓處理器,運(yùn)行頻率為2.13GHz。每臺(tái)服務(wù)器擁有4個(gè)SATA硬盤(pán)。76臺(tái)服務(wù)器一共提供了304塊硬盤(pán),比兩臺(tái)SeaMicro SM10000-64所能提供的128塊硬盤(pán)多了不少。
客戶(hù)的要求是每臺(tái)Hadoop服務(wù)器需要有6塊硬盤(pán),以避免I/O沖突,而這一需求還有增長(zhǎng)的趨勢(shì)。除此之外,使用至強(qiáng)處理器的76臺(tái)服務(wù)器在規(guī)定的1分50秒完成了測(cè)試,不過(guò)這76臺(tái)服務(wù)器幾乎占用了兩個(gè)機(jī)柜的空間。如果以1分50秒完成任務(wù)來(lái)計(jì)算,76臺(tái)服務(wù)器的功率為3387W。