Hadoop并行處理可以成倍地提高性能?，F(xiàn)在的問題是如果將一部分計算工作從CPU遷移到GPU會怎么樣？能否更快理論上，這些處理如果經(jīng)過了并行計算的優(yōu)化，在GPU上執(zhí)行會比CPU快50-100倍。 作為大數(shù)據(jù)專家和PaaS的推動者，Altoros Systems研發(fā)團隊一直致力于探索Hadoop+GPU的可能性，以及在實際的大規(guī)模系統(tǒng)中的實現(xiàn)，這篇文章就是他們的部分研究成果。作者 Vladimir Starostenkov是Altoros Systems的資深研發(fā)工程師，他在實現(xiàn)復(fù)雜軟件架構(gòu)（ 包括數(shù)據(jù)密集型系統(tǒng)和Hadoop驅(qū)動的應(yīng)用程序）方面有五年經(jīng)驗，而且 對人工智能和機器學習算法也很感興趣。
 
技術(shù)現(xiàn)狀：
 
多年來，有很多將Hadoop或MapReduce應(yīng)用到GPU的科研項目。 Mars可能是第一個成功的GPU的MapReduce框架。采用Mars技術(shù)，分析WEB數(shù)據(jù)（搜索和日志）和處理WEB文檔的性能提高了1.5-1.6倍。 根據(jù)Mars的基本原理，很多科研機構(gòu)都開發(fā)了類似的工具，提高自己數(shù)據(jù)密集型系統(tǒng)的性能。相關(guān)案例包括 分子動力學、數(shù)學建模（如Monte Carlo）、基于塊的 矩陣乘法、財務(wù)分析、圖像處理等。
 
還有針對網(wǎng)格計算的 BOING系統(tǒng)，它是一個快速發(fā)展、志愿者驅(qū)動的中間件系統(tǒng)。盡管沒有使用Hadoop，BOINC已經(jīng)成為許多科研項目加速的基礎(chǔ)。例如， GPUGRID是一個基于BOINC的GPU和分布式計算的項目，它通過執(zhí)行分子模擬，幫助我們了解蛋白質(zhì)在健康和疾病情況下的不同作用。多數(shù)關(guān)于醫(yī)藥、物理、數(shù)學、生物等的 BOINC項目也可以使用Hadoop+GPU技術(shù)。
 
因此，使用GPU加速并行計算系統(tǒng)的需求是存在的。這些機構(gòu)會投資GPU的超級計算機或開發(fā)自己的解決方案。硬件廠商，如Cray，已經(jīng)發(fā)布了配置GPU和預(yù)裝了Hadoop的機器。Amazon也推出了 EMR（Amazon Elastic MapReduce），用戶可以在其配置了GPU的服務(wù)器上使用Hadoop。
 
超級計算機性能很高，但是成本達數(shù)百萬美元；Amazon EMR也僅適用于延續(xù)幾個月的項目。對于一些更大的科研項目（兩到三年），投資自己的硬件更劃算。即使在Hadoop集群內(nèi)使用GPU能提高計算速度，數(shù)據(jù)傳輸也會造成一定的性能瓶頸。以下會詳細介紹相關(guān)問題。
 
工作原理
 
數(shù)據(jù)處理過程中，HDD、DRAM、CPU和GPU必然會有數(shù)據(jù)交換。下圖顯示了CPU和GPU共同執(zhí)行計算時，數(shù)據(jù)的傳輸。
 

圖：數(shù)據(jù)處理時，各組件之間的數(shù)據(jù)交換

• 箭頭A ：數(shù)據(jù)從HDD傳輸?shù)紻RAM（CPU+GPU計算的初始步驟）
• 箭頭B ：CPU處理數(shù)據(jù)（數(shù)據(jù)流：DRAM->chipset->CPU）
• 箭頭C ：GPU處理數(shù)據(jù)（數(shù)據(jù)流：DRAM->chipset->CPU->chipset->GPU->GDRAM->GPU）

完成任何任務(wù)所需的時間總量包括：

• CPU或GPU進行計算所需的時間
• 數(shù)據(jù)在各個組件間傳輸所需的時間

根據(jù)Tom’s HARDWARE 2012年的CPU圖表，CPU的平均性能在15到130GFLOPS之間，而Nvidia GPU的性能范圍在100到3000+ GFLOPS。這些都是統(tǒng)計值，而且很大程度上取決于任務(wù)的類型和算法。無論如何，在某些情況下，一個GPU可以使節(jié)點速度加快5至25倍。一些開發(fā)者聲稱，如果你的集群包括多個節(jié)點，性能可以提高50到200倍。例如，MITHRA項目達到了254倍的性能提升。
 
性能瓶頸：
 
那么，GPU對數(shù)據(jù)傳輸會有什么影響？不同類型的硬件傳輸數(shù)據(jù)的速率不同，超級計算機已經(jīng)在GPU上做過相關(guān)優(yōu)化，一個普通的計算機或服務(wù)器在數(shù)據(jù)傳輸時可能會慢得多。 通常在一個CPU和芯片集數(shù)據(jù)傳輸速率在10到20GBps之間（圖中的Y點），GPU和DRAM間的數(shù)據(jù)交換速率在1到10GBps之間（圖中的X點）。雖然一些系統(tǒng)速率可達10GBps（PCI-E v3），大部分標準配置的GDRAM和DRAM間數(shù)據(jù)流速率是1GBps。（建議在真實的硬件環(huán)境中來測量實際值，因為CPU內(nèi)存帶寬[X和Y]以及對應(yīng)的數(shù)據(jù)傳輸速率[C和B]可能差不多也可能相差10倍）。
 
雖然GPU提供了更快的計算能力，GPU內(nèi)存和CPU內(nèi)存間的數(shù)據(jù)傳輸（X點）卻帶來了性能瓶頸。因此，對于每一個特定的項目，要實際測量消耗在GPU上的數(shù)據(jù)傳輸時間（箭頭C）以及GPU加速節(jié)省的時間。因此，最好的方法是根據(jù)一個小集群的實際性能估計更大規(guī)模系統(tǒng)的運行情況。

 1/2    1 2 下一頁 尾頁