De-dupe機能の処理には３つの特徴的な処理があります。

①対象データの分割

②同一性の判定

③インデックス情報の格納と管理

De-dupe機能は格納対象データを特定のルールに従って分割することが特徴的です。分割されたブロックは元データに復元するためのインデックスとあわせて管理されます。

また、データブロック毎に自分が保持しているデータと同一かどうかの判定を行います。新規のデータブロックは、インデックスとともに格納され、同一のブロックはインデックスのみの格納を行いうことで、容量の削減を実現します。

それぞれの処理において各社各様の方式を用い製品の特徴をうたっているため、甲乙つけがたい多くの製品が世の中に出回る現状となっています。

De-dupe機能の処理を大雑把に分類して見ましょう。

対象のデータを特定のブロックに分割し、ブロック単位に重複の判定を行なうことがDe-dupe機能の特徴ですが、ブロックの分割方法は大きく２つに区別されます。

①固定長型

②可変長型

固定長型は文字通り決まったサイズに分割していくため、負荷の軽い処理となります。しかし、対象データがデータの挿入により更新された場合は、それ以降のデータブロックの重複排除効果が下がってしまう可能性があります。

可変長型は特定の区切り方のルールに従って分割する方法です。ルールについて情報を公開している製品は今のところ見当たりません。バックアップイメージのような大きなデータを処理対象とする場合は非常に有効な手段となります。

分割した各ブロックを重複排除するための判定方法もいくつかの方式が採用されています。

①ハッシュベース方式

②バイナリ比較方式

③独自技術方式

④複数組み合わせ方式

ハッシュベース方式は汎用的なハッシュ算出ロジックを使用してブロックごとのハッシュキー（フィンガープリントなどとも呼ばれます）を作成し比較する方式です。

バイナリ比較方式は実データをバイナリレベルで比較する方式です。

独自技術方式は汎用的なハッシュ算出ロジックを利用しないで、何らかのダイジェストキーを作成する方式となります。

複数組み合わせ方式は上記の方式を組み合わせ、何段階かに分けて処理を行なう方式です。例えば、ハッシュキーで同一だったものに対してさらにバイナリ比較するといった処理になります。

De-dupe機能では、分割したブロックとそのハッシュキーと、実データのブロック構成のインデックスを管理する必要があります。管理方式やその検索エンジンは各社各様で、分類のしようがありませんが、インデックスの管理において、「グローバル・デデュープ」という言葉が使われることがあります。

De-dupeシステムを増強しようと考えた場合、容量増加はディスクエンクロージャの追加で済みますが、処理能力の増加はDe-dupeヘッド（コントローラと呼ぶのか？）を増設する必要が出てきます。この場合、インデックス管理が独立してしまうと、同じデータでも再度格納しなければならなくなります。De-dupeヘッド間で情報がやり取りできれば、同一ブロックの重複した保持が筐体間でも防ぐことが出来ます。

各社の製品で「グローバル」という言葉をいろいろな意味で使用するケースがありますが、JDSFでは「グローバル・デデュープ」を上記のように解釈しています。