ITアーキテクトのひとりごと
第65回「いまやこの技術抜きにはITシステムを考えられない：重複排除技術」

重複排除技術に関するセミナー等の周知活動をJDSFで始めたのは2007、8年頃からになるが、この用語、技術は今ではすっかりと定着したようだ。

JDSFの「De-dupe講座」
https://www.jdsf.gr.jp/de-dupe/

データ、ファイルが何重に重複していても気にならなかった。ディスク装置の容量も大きいし、ネットワークもどんどん速くなり、テープの容量も十分大きい。

しかし、状況が大きく変わってきた。

ストレージ装置をたくさん売りたいストレージベンダとしては、どうしようかなと思いながら．．．いやいや、JDSFでは大きなインパクトを与える技術になりそうだと重複排除を利用した製品の進化に注目していた。

そんな消極的な理由以外にも、3.11以来、BCP、BCPと叫ばれている中、ITシステムのBCPを実現する手段として、重複排除は"絶対"必要不可欠になっている。

重複排除製品を販売しているあるメーカによるとファイルレベルの重複排除でデータ量は減り、ブロックレベルの重複排除でさらにデータ量が減るという結果があるらしい。

やっぱりね。

あるお客様でも重複排除技術を使った製品を長年運用しているが、その装置のディスク容量と比較して驚くほどの大量データを遠隔地保管しているのに驚かされるので、某メーカの話には信ぴょう性を感じる。

メールに添付ファイルして大量の重複データを毎日作り出すことが日常化し、次々とファイルをダウンロードし、PCのディスク容量も事実上際限なく大きいので何も気にしていない。こうしてネットワーク帯域を浪費し、ディスクストレージを浪費し、バックアップシステムのストレージを浪費し、挙句の果て、ネットワーク帯域が足りない、ディスクストレージが足りない、バックアップが遅いと文句を言っているが、ちょっともう限界。

もうちょっと工夫してくれたら助かるのに、ということで、クラウドでファイル保管しましょうか、CMSをもうちょっと賢く使いましょう、シンクライアントで重複排除能力を持った大容量ディスクにクライアントPCのストレージを集約しましょう、とあの手この手の製品、応用が登場。

自らが生み出した災厄を逆手にビジネスをしているような印象もあるが、これが進歩だ。

重複排除を徹底させて、完璧な重複排除されたデータしか持っていないような会社、なんて存在しないと思うが、そんな会社にとってはバックアップシステムとその「バックアップ・データ」は超重要ITインフラになることは間違いない。

バックアップシステムの完全性とその運用に自信がなければ、何事もほどほどに。