根據日立數據系統(tǒng)(HDS)首席技術官Hu Yoshida表示，該公司已經將主存儲重復數據刪除加入到他們的網絡附加存儲(HNAS)和日立統(tǒng)一存儲(HUS)中端陣列。

　　HNAS是HDS從收購BlueArc獲得的硬件加速文件存儲，該系統(tǒng)依賴于可編程芯片(FPGA)來加速操作。HUS陣列的文件控制器使用了BlueArc硬件引擎和軟件。Hu Yoshida說這種重復數據刪除功能可以：

　　•實現(xiàn)自動化

　　•適時去重數據，而不是只在字節(jié)寫入時

　　•一旦文件工作負載達到閾值就會減慢(去重處理)速度

　　•使用密碼散列算法，確保數據完整性

　　•重復數據刪除一臺文件設備的整個可用空間，也就是256TB。

　　“一旦系統(tǒng)空閑，一個智能重復數據刪除進程得知新的數據寫入，并自動啟動重復數據刪除引擎?！边@位CTO在他公司的網站上寫道。如果系統(tǒng)反應文件讀寫請求繁忙，那么它會減慢去重的速度。重復數據刪除利用文件并使用一個哈希表(hash)數據庫來識別數據中重復的塊。然后它們會被刪除，騰出空間給其它數據使用。

　　重復數據刪除在其FPGA硬件中加速散列算法和分塊，而不是在通用CPU上單純的軟件。Hu Yoshida在本周的博客中提到：“一個基礎的散列/分塊引擎許可是免費的。三個額外的散列/分塊引擎可以(付費獲得)許可，重復數據刪除的性能提升將近四倍(利用四個引擎)?！?/P>

　　我們解釋下，這個的意思是指HUS文件和對象(嚴格說應該是基于對象的文件系統(tǒng)，譯者注)可以被重復數據刪除，而不是HUS塊(存儲)。

　　Hu Yoshida說，一位HDS的客戶在16分鐘內重復數據刪除了120萬個文件，但沒有透凈容量上的獲益。關于重復數據刪除效率的說法是，“可與其他重復數據刪除算法較量”和“去重效率取決于數據集和文件系統(tǒng)塊大小”。