有人說我們從來沒有真正解決任何IT問題，我們只是轉(zhuǎn)移了這些問題。重復(fù)數(shù)據(jù)刪除同樣也不例外。雖然重復(fù)數(shù)據(jù)刪除系統(tǒng)使得我們的備份和恢復(fù)變得更加簡單，但同樣也存在許多挑戰(zhàn)。精明的存儲或者備份管理員能夠通曉這些挑戰(zhàn)，并且盡一切可能來解決它們。
你的備份系統(tǒng)有三種不同的創(chuàng)建重復(fù)數(shù)據(jù)的方法：重復(fù)所有文件系統(tǒng)或應(yīng)用的備份;重復(fù)文件系統(tǒng)或應(yīng)用增加的備份;以及備份到多個地方(例如：位于同樣操作系統(tǒng)或應(yīng)用程序的多臺機(jī)器)的文件。基于Hash的重復(fù)數(shù)據(jù)刪除系統(tǒng)(例如：CommVault Systems公司， EMC 公司， FalconStor Software, Quantum公司， Symantec公司)能識別和刪除所有三種類型的重復(fù)數(shù)據(jù)，但是粒度級別受限于它們的塊大小，典型的塊大小是8K或者更大?；贒elta-differential的重復(fù)數(shù)據(jù)刪除系統(tǒng)(例如： IBM公司， ExaGrid Systems, Sepaton公司)則只能識別和刪除前兩種類型的重復(fù)數(shù)據(jù)，但是它們的粒度級別能夠小到byte級。這些差異在重復(fù)數(shù)據(jù)刪除率方面通常打成平局，但在某些特定的環(huán)境中能產(chǎn)生明顯的差異，這就是為什么大多數(shù)專家建議你測試多種產(chǎn)品的原因。
由于在絕大多數(shù)的備份數(shù)據(jù)中大約有一半的重復(fù)數(shù)據(jù)來自于多個完全備份。使用IBM的Tivoli存儲管理器(TSM)作為備份產(chǎn)品的用戶相比于使用其他備份產(chǎn)品的用戶，能獲得更低的重復(fù)數(shù)據(jù)刪除率。這是因?yàn)門SM的逐步增量功能，用戶無需在TSM備份的文件系統(tǒng)上再進(jìn)行全備份。然而，由于TSM用戶對他們的數(shù)據(jù)庫和應(yīng)用執(zhí)行了全備份，并且由于全備份的數(shù)據(jù)并不只在重復(fù)數(shù)據(jù)被發(fā)現(xiàn)的地方存在一份，TSM用戶依然能夠受益于重復(fù)數(shù)據(jù)刪除系統(tǒng)--他們的重復(fù)數(shù)據(jù)刪除率將會更小。
第二種類型的重復(fù)數(shù)據(jù)來自于增量備份，增量備份包含著自最近一次完全備份以來，文件或者應(yīng)用程序的多個版本。如果一個文件每天都被修改和備份，而且備份系統(tǒng)的備份保留期為90天，那么這個備份系統(tǒng)中將會存在該文件的90個版本。一個重復(fù)數(shù)據(jù)刪除系統(tǒng)將會識別這90個不同版本中的唯一數(shù)據(jù)片段和冗余數(shù)據(jù)段，并且只保存唯一的數(shù)據(jù)片段。然而，有些文件類型不存在不同的版本(例如視頻，音頻，照片或圖像，以及PDF文件)，每個文件其自身就是獨(dú)一無二的，并且不會和同一個文件的先前版本有重復(fù)。擁有這些類型文件的增量備份將完全包含這些唯一的數(shù)據(jù)，因此沒有任何重復(fù)數(shù)據(jù)可以刪除?？紤]到重復(fù)數(shù)據(jù)刪除存儲的相關(guān)成本，一些擁有此類文件占很大比重的用戶考慮不將這些數(shù)據(jù)存儲在重復(fù)數(shù)據(jù)刪除系統(tǒng)上，因?yàn)槌嗽黾映杀?，他們得不到任何好處?/P>
重復(fù)數(shù)據(jù)刪除系統(tǒng)和加密：你需要注意什么
重復(fù)數(shù)據(jù)刪除系統(tǒng)通過查找和消除的模式工作;加密系統(tǒng)通過消除模式工作。不要將你需要備份的數(shù)據(jù)在發(fā)送到重復(fù)數(shù)據(jù)刪除系統(tǒng)之前進(jìn)行加密---否則你的重復(fù)數(shù)據(jù)刪除率將是1:1.壓縮工作有點(diǎn)像加密，它同樣是查找和消除模式，只是采用了不同的方法。絕大多數(shù)壓縮系統(tǒng)的這種方法將導(dǎo)致數(shù)據(jù)的不規(guī)則性從而產(chǎn)生像加密一樣的效果;它同樣可以使你的重復(fù)數(shù)據(jù)刪除系統(tǒng)完全失去處理這些數(shù)據(jù)的能力。
壓縮的挑戰(zhàn)經(jīng)常會導(dǎo)致想要備份變得更快的數(shù)據(jù)庫管理員和希望進(jìn)行重復(fù)數(shù)據(jù)刪除的備份管理員之間的僵局。因?yàn)閿?shù)據(jù)庫經(jīng)常產(chǎn)生容量很大但實(shí)際數(shù)量很少的數(shù)據(jù)，因此它們非常需要進(jìn)行壓縮。這就是在打開了備份壓縮功能后通常會比沒有壓縮快2到4倍的原因。避開這個特殊挑戰(zhàn)的唯一辦法是使用一個備份軟件產(chǎn)品，這種產(chǎn)品集成了數(shù)據(jù)源重復(fù)數(shù)據(jù)刪除和客戶端壓縮的功能。例如CommVault的 Simpana, IBM的 TSM 或者 Symantec 的NetBackup。
復(fù)用和重復(fù)數(shù)據(jù)刪除系統(tǒng)
備份系統(tǒng)重復(fù)數(shù)據(jù)刪除的下一個挑戰(zhàn)是它只能應(yīng)用在那些使用了虛擬磁帶庫(VTLs)和支持復(fù)用的備份軟件的公司，復(fù)用多個不同的備份到同一個磁帶驅(qū)動器上會擾亂這些數(shù)據(jù)并且完全挫敗所有的重復(fù)數(shù)據(jù)刪除。即使有產(chǎn)品能夠破譯來自一個復(fù)用鏡像的不同備份流(例如FalconStor, Sepaton)，我要告訴你的是，不要對他們的設(shè)備進(jìn)行復(fù)用備份，因?yàn)槟侵皇抢速M(fèi)時間。
考慮去重開銷
備份重復(fù)數(shù)據(jù)刪除的最后一個挑戰(zhàn)是必須使用備份窗口，這種方法很可能使得一些重復(fù)數(shù)據(jù)刪除系統(tǒng)在執(zhí)行重復(fù)數(shù)據(jù)刪除任務(wù)時導(dǎo)致要進(jìn)行的備份變得很慢。很多人都沒有注意到這個現(xiàn)象，那是因?yàn)橛脩羰菍?shù)據(jù)從磁帶轉(zhuǎn)移到磁盤中，并且重復(fù)數(shù)據(jù)刪除系統(tǒng)仍然高速運(yùn)行。然而，已經(jīng)使用磁盤分段的用戶可能注意到備份性能的下降以及備份數(shù)據(jù)所消耗的時間的增長。不是所有的產(chǎn)品都有這個特殊的功能，而且所表現(xiàn)出來的程度也不同，你只有在你的環(huán)境中做一個測試，才能詳細(xì)了解情況。