基于工作流邏輯和應用需求(如架構、CPU、內存、I/O),通過映射和分配負載到有彈性的異構資源(如HPC、Hadoop、Spark、OpenStack/Docker、Cloud),編排器在不同的計算基礎設施和高速增長的基因組計算數(shù)組間定義出抽象層。
資源管理器
該功能以策略驅動的方式分配計算資源,以滿足基因組負載的計算需求。最常用的資源是高性能計算裸機集群(HPC)。該資源管理器提供一次性資源,或可動態(tài)轉換和分配的資源。如果說數(shù)據(jù)集線器I/O管理提供了存儲服務層,那么可以認為資源管理器提供了計算服務。此外,新型的基礎設施可被添加到資源池,包括大數(shù)據(jù)Hadoop集群、Spark集群、OpenStack虛擬機集群和Docker集群。
基于負載信息管理轉換資源是對資源管理器的基本需求。例如,對于被批量比對作業(yè)和Spark機器學習作業(yè)共用的基因組基礎設施,在運行時負載會產(chǎn)生波動,資源管理器能通過感知利用率轉移資源,以計算槽或容器的形式支持各作業(yè)的運行。