HammerspaceのGlobal Namespaceの特長~既存NASストレージ上のデータ統合の仕組み~【トゥモロー・ネット 技術ブログ】

はじめに

当社では、ソフトウェアデファインドストレージ製品(SDS)をいくつも取り扱っています。

SDS製品は巨大なストレージ空間を比較的安価に手にできる一方で、既存ストレージ機器にすでに大量のデータを保持している場合、新しく追加するSDSとの整合性が課題となる場合があります。そこで、今回のブログでは、Hammerspaceという製品(Hammerspaceの概要はこちら)が持つ、Global Namespaceの考え方や仕組み(Anvilノード、DSXノード、Assimilation機能)について、解説します。

既存ストレージに保持されたデータの活用および、段階的なデータ移行を実現するための参考にして下さい。

Hammerspace Anvilによる未使用NVMeの有効利用：https://www.tomorrow-net.co.jp/topic/topic-blog-20260206/

概要

Hammerspaceのデータ管理機能であるGlobal Namespaceに既存NASストレージやファイルシステムを取り込むには、「Add Volume」と「Assimilate Metadata」という処理が必要になります。
・Add Volume ＝　ストレージ領域をHammerspaceに登録すること
・Assimilate Metadata = 登録されたストレージ領域に既存で存在するファイルをHammerspaceのGlobal Namespaceに認識させること

既存データの統合管理

HammerspaceのGlobal Namespaceで、既存NASストレージ上のデータを統合管理する仕組みや機能を紹介します。

1)全体像

既存NASに次のデータがあるとします。

これをHammerspaceで利用する(取り込む)場合、大きく2段階に分かれます。

既存NAS　192. 168.10.130:/data
↓ ① Add Volume
HammerspaceにStorage Volumeとして登録
↓　② Assimilate Metadata
HammerspaceのGlobal Namespaceにメタ情報を取り込む
　　Global Namespace
　　projectA/data01.dat, data2.dat
　　projectB/report.pdf

Assimilationでは、既存NASストレージ上のデータ本体をHammerspaceへコピーするのではなく、メタデータのみを取り込みます。これによって、既存データをGlobal Namespaceから利用できるようになります。　

2)Add Volumeとは

Add Volumeは、Hammerspaceが利用するストレージ領域を登録する操作と考えると分かりやすいです。

重要なのは、Volumeを追加しただけでは、そのVolumeに以前から存在しているファイルが自動的にHammerspaceのGlobal Namespaceへ取り込まれないという点です。

この領域に既存データがある場合に重要になるのがAssimilate Metadataです。

3)Assimilate Metadataとは　（Assimilation Phases）

こちらがHammerspace特有の重要な機能です。
Assimilate Metadataは、既存ストレージ上のファイル/ディレクトリのメタデータをHammerspaceに取り込み、Global Namespaceから認識できる状態にする処理です。
Hammerspaceは、この仕組みを Data-in-Place Assimilation と呼んでいます。
Hammerspaceの説明では、取り込まれるものとして次のようなメタデータが挙げられています。

• ファイル名
• Permission
• Timestamp
• Directory Structure
• Ownership

一方、データ本体は既存ストレージに残ります。ここが「データマイグレーション」と大きく異なる点になります。

Hammerspace社では、「Move Metadata, Not Data」と説明しており、メタデータはデータ本体よりはるかに小さいため、従来型データマイグレーションより迅速に既存データを統合できることを利点としています。

4)Add VolumeとAssimilate　Metadata の違い

5)Assimiltation後に何ができるのか

Assimilation後は既存NASストレージのデータをHammerspaceのGlobal Namespaceの一部として扱えるようになります。

例えば、３つのストレージ領域に分散していたデータについて、Assimilationされた後では、Hammerspace側では統合されたGlobal Namespaceからアクセスできるようになります。

Hammerspaceは異なるストレージ、サイト、クラウドを単一のGlobal Namespaceに統合できることを特長としています。

さらにAssimilationしたデータは、Hammerspaceのデータオーケストレーションによって、ストレージ階層間の配置を管理できます。HammerspaceはObjective-based policyによるデータ配置・保護・移動の機能を提供しています。

また、実運用ではより重要な考慮点があります。Assimilateした既存NASストレージに対して、その後もHammerspaceを経由せずNAS領域へ直接NFSアクセスしてファイルを追加・変更した場合、Hammerspace側のメタデータとどう整合性を取るのかという問題です。次項の重要ポイントで解説します。

重要ポイント

Assimilate後の既存NASストレージへの直接アクセスは許されるのか？

結論から言うと、Assimilate後は、原則としてクライアントを既存NASの元のexport/shareへ直接アクセスさせ続ける構成ではなく、Hammerspaceが提供する新しいnamespace経由に切り替える対応が必要です。Assimilation Phases

理由を解説すると、Assimilation後はファイルのnamespace/metadataの管理がHammerspace(Anvil) 側に移るためです。

Hammerspaceは既存ファイルのmetadataを抽出してAnvil(metadata database)へ格納し、クライアントはそのデータベースによって提示される仮想的なファイルシステムを利用します。したがって、元のNAS(既存NASストレージ)へ直接アクセスし更新すると、Hammerspace管理外の変更が発生することになります。

本番運用を想定した場合、Assilimation後は、クライアントからのアクセスはDSXノードへ切り替えて、Hammerspace経由での利用することがマストとご認識ください。

(例) 既存NASストレージをHammerspaceへAssimilationした後の利用イメージ

1. クライアントのマウント先はすべて、DSXノードの export領域へ切り替える
2. 既存NASのexport領域は利用停止する
3. 既存NASはVolumeとして残す
4. 新しいデータはDSXノードに書きこむ
5. Objectiveを定義して、バックアップ先として既存NAS を再利用する　(オプション)

ご参考情報

既存NASストレージを利用継続する場合の注意点を3点にまとめて、説明します。

Q1. Assimilate後に既存NASへ直接アクセスしてよいか？

A1. クライアントI/O経路としては、基本的にHammerspaceへ切り替えることが必要です。

Assimilation Phaseでも、Assimilation直前に元share/exportからクライアントを切り離し、その後Hammerspaceがホストする新しいshare/exportへ接続するとされています。Assimilation Phases

Q2. NASを直接アクセスしてファイルを新規作成したら、どうなるか？

A2. この運用は避けてください。

Hammerspaceがmetadataの管理情報を持つ構成(Anvilノード)なので、Hammerspaceを迂回した新規ファイル作成等は、Hammerspace Global Namespaceとの不整合につながります。HammerspaceはAssimilation後、クライアントがAnvil metadata databaseによって提示される仮想ファイルシステムへ接続する設計です。Assimilation – Under the Hood

Q3. NASを直接アクセスしてファイルを削除したら、どうなるか？

A3. 特に避けるべき操作です。

Anvil metadata databaseにmetadataが残っている状況で対応する実体を元NAS(既存NAS)から直接消すという操作は、整合性問題を発生させます。Hammerspaceではfile metadataとfile instanceを分離して管理している点をご認識ください。 Assimilation – Under the Hood

まとめ

今回は、Hammerspaceの特長の1つであるGlobal Namespaceに、既存NASストレージを連携動作させる仕組みをAdd VolumeとAssimilationの機能を中心にご紹介しました。

次回はその実践編として、NASストレージからのメタデータ取り込み、さらに、オブジェクトストレージへ二次配置するデモ実装をご紹介する予定です。

最後に、トゥモロー・ネットではHammerspace以外にも、SDS製品(WEKA, Qumulo, OSNEXUSなど)を取り扱っております。ご用件に応じたソリューション提案が可能かと存じますので、ぜひお問い合わせください。

お問合せ先

関連記事はこちら

Hammerspace Data Platform
Hammerspace Anvilによる未使用NVMeの有効利用
ソフトウェアデファインドストレージ（SDS）とは？主要4製品を比較