deduplicate

Data Deduplication: Mantık olarak birebir aynı kopyası bulunan verilerin tek kopyasını tutup, tek kopyayı kullanarak gerçek verilere linkleme yapan bir mekanizmadır.

Özetle verilerin yazılırken aynı parçaların birer kez kullanılarak bütünü oluşturma algoritmasıdır. Ancak bazı üreticiler veriler yazılırken (Inline deduplication) değilde veriler yazıldıktan sonra dedup yaparlar (post-processing). Burada çok ciddi bir teknoloji farkı oluşur. Öncelikle veriler orjinal boyutlarda yazıldığı için daha çok yer kaplar (ilk kullanım alanı olarak), tekilleştirme uygun zamanlarda yapılacak şekilde planlanır ama storage sürekli yoğun ise tekilleştirme toplam performansı etkiler veya düşündüğünüz kadar iyi bir tekilleştirme olmaz. En büyük sorunda yukarıdaki gibi 600gb veriyi 100gb yazmak yerine 600gb yazıp sonra 100gb' a indirimek storage üzerinde IOPS' a neden olur yani gereksiz performans kaybı oluşturur. Bu nedenle inline dedup yapan ürünler daha pahalıdır.