• NVIDIA GPU
  • クラウドソリューション
  • テクノロジー
  • 技術解説
  • マーケティング

GDS (GPUDirect Storage) とは?GPUの真価を引き出すAIストレージ要件【トゥモロー・ネット テックブログ】

はじめに

LLMやRAGの広がりとともに、ビジネスでのAI実装が加速しています。こうした中、高性能GPUを導入したにもかかわらず、期待した処理速度が出ない、という課題に直面しています。

原因は、GPUの演算能力不足ではなく、データを送るストレージとシステムメモリ間のボトルネック(I/Oボトルネック)にあります。このボトルネックを解消し、GPUのポテンシャルを100%引き出すための技術が、NVIDIAの「GPUDirect Storage (以下、GDS)」です。

本記事では、GDSの仕組み、従来のデータ転送との違い、必須コンポーネント、インフラ要件、そしてGDSの効果を最大化する次世代高速ストレージの選定ポイントを解説します。

AI開発における「ストレージボトルネック」と従来方式の限界

AIモデルの学習やデータ準備のフェーズでは、毎秒GB~TB規模のデータをGPUメモリ(VRAM)へ展開し続ける必要があります。
しかし、従来のシステムアーキテクチャでは、データがストレージからGPUへ展開されるまでに、CPUとホストシステムメモリを経由する必要がありました。

取得指示: CPUがストレージに対してデータの取得を指示する。

一時展開: データは一度、ホストメモリ上のバッファ(Bounce Buffer)へ展開される。

転送: ホストメモリからPCIeバス経由でGPUメモリへとデータがコピー・転送される。

この方式は、ホストメモリに一時展開する物理的な遅延が発生するだけでなく、同じデータをメモリ間で繰り返しコピーする無駄が生じます。さらに、CPUがデータ転送処理の仲介役としてコピー処理をこなすため、CPU負荷が高くなりやすいです。

大容量データを連続ロードし続けるLLMの学習ワークロードなどでは、この遅延(レイテンシ)とCPUのオーバーヘッドが積み重なり、深刻なボトルネックを引き起こします。
(関連記事:CPUとGPUの違いを徹底比較!処理性能・構造・用途別の選び方をわかりやすく解説)

GDS(GPUDirect Storage)の仕組みと3つのメリット

上記の課題をクリアするのが、ホストシステムメモリの仲介を完全にバイパスし、データ転送経路を最適化する技術が「GDS」です。

GDSは、ホストシステムメモリ(Bounce Buffer)を経由せず、NVMeストレージとGPUメモリ(VRAM)の間で直接データ転送を行う技術です。CPUを介さず、PCIeを介して直接GPUメモリへデータを流し込みます。

GDS導入による3つのメリット
  1. データ転送スピードの最大化: コピー処理を排除し、NVMeドライブ本来の物理スループットに近い超高速データ転送を実現します。
  2. CPUリソースの解放: データ転送タスクから解放されたCPUの計算力を、データの前処理やシステム制御にフル活用できます。
  3. システム全体の低遅延化: I/O待ち時間が削減され、リアルタイム推論やシミュレーション、大規模分散学習のトータル処理時間を大幅に短縮されます。

(関連記事:GPU性能を限界まで引き出すAIインフラ設計|CPUボトルネック・NUMA最適化を解説)

GDSを構成する主要コンポーネントとライブラリ導入のメリット

GDSを本番環境へ適用するためには、NVIDIAが提供する専用のソフトウェアモジュールやAPIを実装する必要があります。

2つの必須コンポーネント
nvidia-fs: GPUとストレージを中継し、ホストシステムメモリをバイパスする処理を提供するGDSの根幹モジュールです。
cuFile API: アプリケーションが nvidia-fs と通信し、GPUとストレージ間で直接ファイルを開き、高速に読み書き(I/O)を行うためのAPI群です。

GDSの導入に必要なハードウェア・ネットワーク要件

GDSを十分に活かすには、サーバー、GPU、高速ネットワーク、対応ストレージが一体となって機能するインフラ全体の設計が必要です。

対応GPU・プラットフォーム要件

GDSを利用するには、最新のBlackwell世代(NVIDIA HGX B300、HGX B200、NVIDIA RTX PRO 6000 Blackwellなど)や、Hopper世代(H200、H100など)といった、データセンターおよびワークステーション向けの高性能GPU搭載環境が必須となります。

分散学習クラスターと「GPUDirect RDMA」の連携

複数台のサーバー間で同期しながら学習を進める分散学習においては、ネットワーク越しにCPUを介さず直接GPUメモリ間通信を行う「GPUDirect RDMA」が重要です。

これを実現するために高速かつ低遅延なネットワーク規格であるInfiniBand(インフィニバンド)や、Ethernet上でRDMAを実行するRoCE(RDMA over Converged Ethernet)が採用されます。
GDSによるストレージからの給送と、GPUDirect RDMAによるノード間通信を組み合わせることで、システム全体の通信オーバーヘッドを排除できます。

カーネルバイパス技術との連携

GDSのほか、パケット処理自体でOSカーネルの介在によるコンテキストスイッチを排除する「カーネルバイパス技術(DPDK、Rivermaxなど)」を併用可能です。例えば映像配信・メディア処理に特化した「Rivermax」とGPUDirectを組み合わせることで、リアルタイム処理を確立できます。

関連記事:

GDSのパフォーマンスを最大化する「次世代AIストレージ」の必須要件

GDSのメリットを最大限発揮するためには、ストレージ側にもそれに高いスペックと最新テクノロジーが求められます。一般的なエンタープライズストレージや単一のNVMe SSDでは、複数台の高性能GPUサーバーから押し寄せる同時アクセスを処理しきれず、結局ストレージが新たなボトルネックとなってしまいます。

そのためGDSのポテンシャルを最大化するために、推奨されるストレージ製品が備えるべき「3つの必須要件」は以下の通りです。

cuFile APIへの対応

ストレージのファイルシステム自体がNVIDIAのcuFile API(GDS)に対応しており、データをホストメモリ経由なしにGPUへ直送できるソフトウェアアーキテクチャである必要があります。

圧倒的な並列処理スループット

多数のGPUが並列で読み書きを行う環境において、共有ファイルシステムとして数万〜数百万のI/O要求(IOPS)および数十〜数百GB/sクラスの超広帯域幅を、レイテンシなく安定して提供できるスケーラビリティが必須です。

メタデータ処理の超高速化

AI学習ワークロードでは、無数の微細な画像ファイルや音声データ、テキストトークンなどをランダムにロードします。データそのものの転送速度だけでなく、ファイルの検索やオープン、マウントといった「メタデータ処理」も高速である必要があります。

── これらの要件を満たす推奨プラットフォーム「WEKA Data Platform」

上記のストレージ要件を満たし、GDS対応プラットフォームの一例として、次世代の分散ファイルシステム「WEKA Data Platform」があります。

WEKAは、NVMe SSDの物理的限界を引き出すためにゼロから設計されたソフトウェア・ファーストのストレージプラットフォームであり、NVIDIAのcuFile API(GDS)に対応しています。複数の高性能GPUサーバー(HGX B300など)から同時に押し寄せる膨大なI/O要求をオーバーヘッドなく並列処理でき、メタデータ処理スピードも従来のストレージに比べ圧倒的に優れています。

さらに、拠点間やマルチクラウド間でシームレスなデータ仮想共有を可能にする「Hammerspace Data Platform」などを組み合わせることで、データの物理的な所在を意識することなく、必要な最新GPU環境へ超高速にデータを受け渡す「隙のないAIデータパイプライン」を構築できます。

まとめ

マルチGPU環境(NVIDIA HGX B300/B200など)での大規模ディープラーニングモデルの学習や、ミリ秒単位の低遅延応答が要求されるエンタープライズRAGシステムにおいては、GPU単体の演算性能を高めるだけではシステムパフォーマンスは頭打ちになります。

演算性能の進化に追従するためには、データを直送できる「ストレージ(GPUDirect Storage)」および「ネットワーク(GPUDirect RDMA)」をトータルで設計し、システム全体のデータフローから無駄なオーバーヘッドを排除することが重要です。

トゥモロー・ネットは、NVIDIAの最上位認定である「Elite Partner」を保有しており、最新GPUやSupermicro社製をはじめとした、高性能GPUサーバーの選定から、高速InfiniBand/RoCEネットワークの設計、WEKA Data Platformなどの最先端GDS対応ストレージプラットフォームの導入まで、AIインフラのすべてを最適設計・サポートする体制が整っています。

GPU 性能を100%引き出すためのインフラ構築のご相談、またはWEKA Data Platform等の最先端ストレージをご検討中の方は、ぜひお気軽にお問い合わせください。

お問合せ先

関連ページ

AIワークロードとは?ITワークロードとの違いと、最適なAIインフラ設計
NVIDIA BlueField DPUが変える次世代インフラ設計
ソフトウェアデファインドストレージ(SDS)とは?主要4製品を比較

この記事を書いた人

株式会社トゥモロー・ネット

トゥモロー・ネットは「ITをもとに楽しい未来へつなごう」という経営理念のもと、感動や喜びのある、より良い社会へと導く企業を目指し、最先端のテクノロジーとサステナブルなインフラを提供しています。設立以来培ってきたハードウェア・ソフトウェア製造・販売、運用、保守などインフラに関わる豊富な実績と近年注力するAIサービスのコンサルティング、開発、運用、サポートにより、国内システムインテグレーション市場においてユニークなポジションを確立しています。
インフラからAIサービスまで包括的に提供することで、システム全体の柔軟性、ユーザビリティ、コストの最適化、パフォーマンス向上など、お客様の細かなニーズに沿った提案を行っています。

製品に関するお問い合わせはこちら