JEITAテープストレージ専門委員会コラム
「アーカイブの定義について再考してみる」(その2)
ティアードストレージの誕生
ティアードストレージの概念は、増加し続けるデータの量に対して、コスト削減を行うために開発されたもので、ティアリング、即ち、どのデータをどの階層に置くかというのは、最初の段階で「アクセス頻度の高さ」、要求されるI/O性能(スループット、レイテンシー)をあらかじめ想定して、ポリシーを作成して運用するモデルであった。
当然これは設計者、またはポリシー設定者の主観によるところが多く、かなり大雑把になるが、細かいポリシー定義は非常に複雑になり、実運用には向かない。 結局データが生成されてからの時間とか、データの運用形態(業務系なのか、メールサーバーデータなのかといったような大まかなくくり)でポリシーが決められ、ポリシーが変更されるまでは粛々とデータのティアリングが行われ、各々のティアに設定されたストレージデバイスもしくはシステムに格納されていく。
と、従来の構造化データ主流の時代はこれでもなんとかなったが、これからはそうは行かない。非構造化データが無秩序に生み出されるビッグデータ時代には、従来型の単純なポリシーベースのティアードストレージでは、あっという間にストレージ容量が不足したり、逆にあるティアでは想定よりもかなり少ないデータしか格納しないなんてこともありえる。かといって、定期的にデータ分析をして頻繁にポリシーを書き換える作業をするのも現実的ではない。そこで出てくるのが自動ストレージ・ティアリングの概念である。
自動ストレージ・ティアリング(AST: automated storage tiering)の出現
前述のように、刻々とデータの量、データの種類が変化する時代に、人間が時間をかけてデータ分析からティアリングポリシーを行うのはあまり現実的ではない。そこでこれを自動化したいということになる。つまり機械がデータを分析して、自動的に最適なティアへの配分をやってくれ、各ティア間のバランスもとってくれる。これをダイナミックに、夜寝ることもなくやってくれるという、すばらしい概念である。
実際ASTはストレージの仮想化の普及に伴い必要とされてきた背景があるが、解決したい課題は同じなので、ここではASTを広義に理解する。
さてASTは一般的にアクセス頻度でティアリングし、よりその効果を高めるために、データのチャンクを小さくする技術が盛り込まれている。これらは半導体ストレージの普及、高速インラインデータ分析技術の出現などにより実現できているわけで、従来の技術では自動化は困難だったのかもしれない。
今後のティアードストレージとアーカイブの関係
このようにデータの家内制手工業の時代から、自動化大量生産時代に入り、次は何かということが興味の的ではあるのだが、現在このような自動ストレージティアリングの範囲は半導体ストレージとHDD間に限定されているが、今後さらにアーカイブのテープまで拡大すると予想されている。実際にティアリングを自動的に行うにはまずはデータの分析、(それが何のデータなのか、何に使われるのか、データパターンは?)を行い、それぞれを最適なデバイスに振り分ける。さて、このデバイスというのもそれぞれ特性があり、それを仮に「属性」と定義すると、データと属性のマッチングを行って始めて自動的にデータの格納ができるわけだが、この「属性」を元にティアリングの階層を判断するのであれば、デバイスが半導体であろうが、HDDであろうがテープであうろが、これから出現する全く異なるメモリーデバイスであろうが関係ないのである。
更にいうなら、前回のコラムで説明したように、アーカイブの定義も今後変わってきて、Staticなデータは全部アーカイブということになると、多くのオンラインデータがそれぞれが何のデータであるかは関係なく、要求されるI/O性能(スループット、レイテンシー)にあわせて最適なデバイスに格納されることになる。LTFSの出現によりテープのファイル化が実現したが、テープデバイスを、「ファイルベース、低レイテンシー、高スループット、物理パーティション可、圧縮可、暗号化可、WORM可、オフライン可」、とかいう属性にしておけば、映像データのような、大容量ではあるがストリーム再生型のデータ、またはセキュリティ度の高いデータはテープデバイスに格納、という風になり、従来のポリシーベースでもなく、またアクセス頻度というくくりでもなく、マシンとしての処理性能優先のデータの配分が行われるというのが、将来のティアリングの概念になるのではないだろうか。
一般社団法人 電子情報技術産業協会(JEITA) テープストレージ専門委員会 (※)
日本ヒューレットパッカード(株) 井上 陽治
※:旧名称:磁気記録媒体標準化専門委員会
JEITAテープストレージ専門委員会「ファイルベース・ワークフローにおけるLTO」 ~放送映像産業における課題とその対応~
JEITAテープストレージ専門委員会コラム 「テープはクラウド向きか?最新テープ技術から読み解く」
JEITAテープストレージ専門委員会コラム「アーカイブの定義について再考してみる」(その1)
JEITAテープストレージ専門委員会コラム「アーカイブの定義について再考してみる」(その2)
JEITAテープストレージ専門委員会コラム「今後のデジタルデータ・アーカイブマーケット予測」
JEITAテープストレージ専門委員会コラム「ジェームスキャメロンが深海到達記録達成!その3D映像を保存したストレージとは?」
JEITAテープストレージ専門委員会コラム「映像業界のデータ増殖」
JEITAテープストレージ専門委員会コラム