啟用數(shù)據(jù)緩存,使元數(shù)據(jù)可輕量分布并弱依賴于網(wǎng)絡。
數(shù)據(jù)集線器解決方案和應用案例
頻譜規(guī)模的特性是高性能、可伸縮和可擴展,它專為高性能并行計算優(yōu)化而研發(fā),在計算系統(tǒng)的所有并聯(lián)計算節(jié)點之間,頻譜規(guī)??煞沼诟邘挻髷?shù)據(jù)。鑒于基因組工作流可由數(shù)百個應用程序組成,同時這些應用參與著大量文件的并行數(shù)據(jù)處理,這種能力對計算基因工作流提供數(shù)據(jù)而言至關重要。
因為基因組工作流可產(chǎn)生大量元數(shù)據(jù)和數(shù)據(jù),以高IOPS固態(tài)硬盤和閃存構建系統(tǒng)池的文件系統(tǒng),可專注于把元數(shù)據(jù)存儲為文件和目錄,在某些情況下也可直接存儲為小文件。這大大提高了文件系統(tǒng)的性能和大負荷元數(shù)據(jù)操作的響應能力,如列出目錄中的所有文件。
對于可進行大數(shù)據(jù)并行計算的文件系統(tǒng),數(shù)據(jù)集線器可在同一計算節(jié)點服務于大數(shù)據(jù)并行計算和大數(shù)據(jù)作業(yè),從而省去了Hadoop分布式文件系統(tǒng)(HDFS)的復雜需求。
基于策略的數(shù)據(jù)生命周期管理能力允許數(shù)據(jù)集線器把數(shù)據(jù)從一個存儲池移動到另一個,最大化I/O性能和存儲效率,并有效減少運營成本。這些存儲池的范圍可涵蓋高I/O閃存盤、大容量存儲基礎設施,以及繼承了磁帶管理解決方案的低成本磁帶介質(zhì)。