進(jìn)一步查看EMC的文檔,我們注意到關(guān)于VMAX(20K)的虛擬矩陣帶寬似乎有兩種說(shuō)法?
上圖中針對(duì)VMAX(20K)的24GB/s和192GB/s這兩個(gè)數(shù)字,顯然與筆者剛剛列出的10GB/s和80GB/s不符,倒是和前面VMAX 40K對(duì)應(yīng)的文檔相比,新產(chǎn)品的帶寬大致提升了一倍。
盡管虛擬矩陣與RapidIO互聯(lián)帶寬“對(duì)不上號(hào)”,不過(guò)24GB/s似乎與VMAX(20K)引擎示意圖中2個(gè)節(jié)點(diǎn)的內(nèi)存帶寬之和恰好一致,這只是個(gè)巧合嗎?
Intel Xeon 5400/5600平臺(tái)內(nèi)存帶寬回顧
Intel Xeon 5400服務(wù)器/工作站平臺(tái)芯片組示意圖(紅圈部分就是我們接下來(lái)要討論的)
這里首先有點(diǎn)意外的收獲:Intel 5400 MCH北橋可以提供8個(gè)PCI-E x4 2.5Gbps連接,加上連接6321ESB ICH南橋的一個(gè)PCI-E x4,一共是36個(gè)PCIe lane。前者還可以組成4個(gè)PCI-E x8或者2個(gè)PCI-E x16,但應(yīng)該只有用于連接顯卡的x16插槽才支持PCI-E Gen2的5Gbps速率,否則就是PCIe 1.0的帶寬。
看來(lái)上文在EMC資料中列出的VMAX 20K是PCIe Gen1,應(yīng)該就是這個(gè)原因。聯(lián)想到當(dāng)年的硬件平臺(tái),Intel 5400只是在5000X/P基礎(chǔ)上的一款升級(jí)產(chǎn)品,并不像Xeon 5500那樣有大的架構(gòu)改動(dòng)。
為了進(jìn)一步印證自己的判斷,我們找出了當(dāng)年Xeon 5400平臺(tái)剛發(fā)布時(shí)撰文曾使用過(guò)的資料。首先是17-21GB/s(533-667)的內(nèi)存帶寬,這是在四通道全緩沖內(nèi)存(Fully Buffer DIMM)的情況下。其實(shí)5400B版本還能夠支持FBD DDR2 800MHz的內(nèi)存頻率(5400A不支持),對(duì)應(yīng)內(nèi)存帶寬可達(dá)25.6GB/s。那么上文中VMAX(20K)引擎示意圖中的12GB/s又指的是什么呢?
在討論內(nèi)存帶寬的同時(shí),我們還要考慮前端總線(FSB),這個(gè)在Xeon 5500及之后整合內(nèi)存控制器的CPU中已經(jīng)不存在的概念。Intel的Xeon 5000系列芯片組(包括用于服務(wù)器的5000P、V和用于工作站的5000X)以及增強(qiáng)的5400采用了兩條FSB的設(shè)計(jì),而之前的SMP多處理器平臺(tái)都是共享前端總線的。上圖中所示的1067/ 1333MT/s和內(nèi)存總線的位寬都是64bit,對(duì)應(yīng)的FSB帶寬為8.5GB/s和10.6GB/s。5400B最高可支持1600MHz的高端Xeon 5200/5400 CPU,F(xiàn)BD DDR2-800內(nèi)存就是為了搭配它,此時(shí)前端總線帶寬達(dá)到了12.8GB/s,也就是單個(gè)處理器訪問(wèn)內(nèi)存的最大帶寬。
最后一個(gè)數(shù)字就比較接近VMAX 20K中的每個(gè)Director 12GB/s了??赡苡腥擞X(jué)得2顆CPU同時(shí)訪問(wèn)內(nèi)存時(shí)的帶寬會(huì)超過(guò)這一水平?從理論上說(shuō)確實(shí)如此,但在實(shí)際應(yīng)用中,每一個(gè)CPU分別并發(fā)訪問(wèn)不同內(nèi)存頁(yè)面地址中數(shù)據(jù)的情況有多少?或許EMC認(rèn)為這個(gè)數(shù)值相對(duì)實(shí)際一些吧。
還有一點(diǎn)不得不指出,VMAX 20K引擎使用的四核Xeon CPU主頻為2.33GHz,如果對(duì)應(yīng)Intel產(chǎn)品線中的L5410——支持1333MHz而不是1600MHz FSB的話,12GB/s恐怕就只是一個(gè)理想(理論)中的數(shù)字了?
寫(xiě)到這里,可以說(shuō)從前一張圖片開(kāi)始的一段話進(jìn)入了技術(shù)細(xì)節(jié)的討論。當(dāng)然如果只是為了2009年發(fā)布的VMAX(20K)我們顯然不會(huì)下這么大功夫,因?yàn)榻酉聛?lái)要以此為基礎(chǔ)來(lái)看VMAX 40K。
Intel Xeon 5500/5600處理器+5520芯片組(IOH)服務(wù)器平臺(tái)示意簡(jiǎn)圖
需要說(shuō)明的是,上圖中的CPU是Xeon 5500而不是5600,筆者沒(méi)有花太多功夫去找后來(lái)的資料,而是使用了手頭早期的。因?yàn)閄eon 5600在5500基礎(chǔ)上的改動(dòng)相對(duì)不大,功能上主要是增加了6核,L3 Cache由8MB提升到12MB,其它方面如QPI連接速率以及芯片組主板平臺(tái)都是沿用上一代的。
Xeon 5500/5600處理器集成的三通道DDR3內(nèi)存控制器,支持1333、1066和800MHz內(nèi)存頻率,根據(jù)每通道安裝的內(nèi)存數(shù)量而定。那么根據(jù)VMAX 40K每個(gè)引擎最大256GB緩存內(nèi)存(單一Director控制器128GB),按今天的情況有可能是8條16GB或者16條8GB?如果按照1066MHz的頻率來(lái)計(jì)算,此時(shí)每個(gè)處理器的理論內(nèi)存帶寬正好是25GB/s。另外一個(gè)CPU還能夠通過(guò)QPI連接訪問(wèn)另一個(gè)CPU控制的內(nèi)存,這里