重復(fù)數(shù)據(jù)刪除技術(shù)能夠識別并消除冗余的數(shù)據(jù)段，從而使得備份消耗的存儲空間大幅減少。這使得企業(yè)可以存儲數(shù)月的備份數(shù)據(jù)以確?？焖俚鼗謴?fù)以及更頻繁地備份，創(chuàng)建更多恢復(fù)點企業(yè)同時還可以通過減少磁盤容量和優(yōu)化網(wǎng)絡(luò)帶寬節(jié)省更多經(jīng)費。
重復(fù)數(shù)據(jù)刪除技術(shù)首次被企業(yè)采用是應(yīng)用于縮短備份窗口并減少磁帶的使用。其中用戶最主要的顧慮在于是否可以和現(xiàn)有的備份技術(shù)和流程無縫銜接，并能夠簡易地進(jìn)行部署。
在下一波應(yīng)用中，關(guān)注點轉(zhuǎn)變?yōu)閿U(kuò)展容量并改善性能。供應(yīng)商在磁盤容量、性能、網(wǎng)絡(luò)連接和系統(tǒng)結(jié)構(gòu)方面進(jìn)行強(qiáng)化，并同時改善了重復(fù)數(shù)據(jù)刪除技術(shù)的流程?；謴?fù)方面則通過應(yīng)用優(yōu)化的復(fù)制技術(shù)進(jìn)行改善。
在數(shù)據(jù)持續(xù)增長以及高度分布式的環(huán)境中，企業(yè)和重復(fù)數(shù)據(jù)刪除供應(yīng)商通過其它途徑優(yōu)化數(shù)據(jù)的重復(fù)刪除，包括新體系架構(gòu)、分包技術(shù)以及重復(fù)數(shù)據(jù)刪除技術(shù)。
頗具吸引力的重復(fù)數(shù)據(jù)刪除技術(shù)
基于ESG的一項調(diào)查顯示，重復(fù)數(shù)據(jù)刪除技術(shù)的應(yīng)用正在不斷增加。2010年，38%的調(diào)查反饋表示已經(jīng)采用了重復(fù)數(shù)據(jù)刪除技術(shù)，而在2008年這個數(shù)字為13%。到2012年，另外40%的調(diào)查反饋計劃采用這一技術(shù)。(ESG 2008年1月和2010年4月發(fā)布的題為數(shù)據(jù)保護(hù)趨勢的調(diào)查報告)
此外，根據(jù)ESG 2011年IT開銷用途的調(diào)查報告，1/3的大型企業(yè)(超過1,000名員工)將降低數(shù)據(jù)量列為第一位的存儲技術(shù)關(guān)注點。
當(dāng)仍有諸多有關(guān)重復(fù)數(shù)據(jù)刪除技術(shù)細(xì)節(jié)上的爭論，比如在文件上還是虛擬磁帶庫接口上、從數(shù)據(jù)源還是在目標(biāo)，硬件方式還是軟件方式，聯(lián)機(jī)還是后處理，數(shù)據(jù)塊大小是固定的還是非固定的，重要的是確保所有的重復(fù)數(shù)據(jù)刪除技術(shù)都以降低整體數(shù)據(jù)量為目的。
目標(biāo)重復(fù)數(shù)據(jù)刪除系統(tǒng)
在備份數(shù)據(jù)路徑中最后端進(jìn)行重復(fù)數(shù)據(jù)刪除的產(chǎn)品稱之為目標(biāo)重復(fù)數(shù)據(jù)刪除系統(tǒng)。他們通常是存儲上的一項應(yīng)用或是可以和任何磁盤配對的網(wǎng)關(guān)。
目標(biāo)重復(fù)數(shù)據(jù)刪除技術(shù)的供應(yīng)商有EMC、ExaGrid、FalconStor、Fujitsu、GreenBytes、HP、IBM、NEC、Quantum、Sepaton和Symantec。通常通過其底層體系架構(gòu)來區(qū)別各自產(chǎn)品。撇開是應(yīng)用還是網(wǎng)關(guān)的方式(EMC，F(xiàn)alconStor和IBM提供網(wǎng)關(guān)方式)，其提供單節(jié)點還是多節(jié)點配置是另一項關(guān)鍵因素。
在單節(jié)點的體系，性能和容量的擴(kuò)展受限于配置的最大閾值。雖然其中的一些產(chǎn)品可以配置來處理大規(guī)模系統(tǒng)所需的擴(kuò)展性，但你在初期就必須采購過量的配置以滿足未來的需要。而當(dāng)系統(tǒng)達(dá)到最大擴(kuò)展性時，必須將原有系統(tǒng)全部“鏟”掉或增加額外的重復(fù)數(shù)據(jù)刪除單元，以升級至更高的性能或容量。而后一種方式會導(dǎo)致重復(fù)數(shù)據(jù)刪除之間的“孤島效應(yīng)”因為備份數(shù)據(jù)在系統(tǒng)冗余中無法交互。
采用單節(jié)點體系架構(gòu)的供應(yīng)商有EMC、Fujitsu、 GreenBytes和Quantum。EMC提供Data Domain Global Deduplication Array (GDA)，一個包含兩個DD880設(shè)備的復(fù)合系統(tǒng)，作為一個備份應(yīng)用的單節(jié)點系統(tǒng)。EMC可能會說GDA可以滿足多節(jié)點配置的條件并具備全局重復(fù)數(shù)據(jù)刪除功能，其包含2個控制器，2個重復(fù)數(shù)據(jù)刪除目錄以及2個存儲池。不過該設(shè)備并不具備高可用性配置，事實上，假設(shè)一臺DD880發(fā)生故障，另一臺也無法正常運(yùn)作。EMC同時將一部分重復(fù)數(shù)據(jù)刪除功能分布在備份媒介服務(wù)器，不過只能用于支持Symantec OST (OpenStorage Technology)的備份應(yīng)用程序。在媒介服務(wù)器，EMC進(jìn)行預(yù)先處理，創(chuàng)建1MB的數(shù)據(jù)塊用于和重復(fù)數(shù)據(jù)刪除目錄比較。當(dāng)數(shù)據(jù)塊中涵蓋的內(nèi)容有冗余時，數(shù)據(jù)會被分解為更通常的8KB的數(shù)據(jù)塊，壓縮后傳輸至DD880或其它控制器用于之后的處理，這取決于在哪里更容易消除冗余數(shù)據(jù)。
而在一個多節(jié)點的體系架構(gòu)中，這類產(chǎn)品可以統(tǒng)一管理多個重復(fù)數(shù)據(jù)刪除系統(tǒng)。這種方式同樣提供了吞吐量和容量線性的擴(kuò)展方式，高可用性和負(fù)載均衡。這可以降低管理成本，并且更重要的是其通常提供全局化的重復(fù)數(shù)據(jù)刪除。ExaGrid 的EX系列， FalconStor的File-interface Deduplication System (FDS)，HP的Virtual Library Systems (VLS)，IBM的ProtecTier，NEC 的Hydrastor，Sepaton的DeltaStor以及Symantec的NetBackup 5000系統(tǒng)都有多節(jié)點的配置并提供全局重復(fù)數(shù)據(jù)刪除。這些產(chǎn)品模塊化的體系架構(gòu)提供了很強(qiáng)的整體性能并使你的系統(tǒng)可以無縫升級。
Symantec通過和華為合作，創(chuàng)新地推出其在目標(biāo)端的重復(fù)數(shù)據(jù)刪除系統(tǒng)方案。Symantec在數(shù)據(jù)保護(hù)市場占據(jù)重要的地位，并且是唯一的在自有軟件和硬件備份產(chǎn)品中提供整合的重復(fù)數(shù)據(jù)刪除的供應(yīng)商，也是其通過OST接口在目錄級別整合了第三方供應(yīng)商的備份目標(biāo)設(shè)備。