WEKA Data Platform

専用ドライバーとバリデーションが取れたNICにより、計算ノードへの高速なスループットを実現。CPUやメインメモリーなどのオーバーヘッドを迂回し、NVMeストレージ⇔GPU間で直接データのやり取りを行うことが可能です。

データセットやAIモデルの世代バックアップ、ログ、さらには開発者の古い作業ディレクトリーなど優先度の低いデータを判別。データに優先順位（ティアリング）を設定し、優先順位の低いデータは自動的に外部の低速ストレージへ退避します。退避にはS3のプロトコルを利用し、AWSをはじめとしたクラウドへの退避の他、S3に対応しているオンプレストレージも退避先に設定可能です。

さらに退避したデータを見失わないように、WEKAクラスターと退避先をまとめてグローバルネームスペースという単位で管理します。ユーザーがWEKAにアクセスする際は、このグローバルネームスペースがすべて参照可能なため、ユーザーは退避先を意識することなくデータを利用できます。
ユーザーが退避されたデータへのアクセスをリクエストしたときは、WEKAは退避先から自身のWEKAクラスター内のNVMeにデータを戻します。この間ユーザーへのレスポンスが低下しますが、データを戻した後は高速なアクセスが可能になります。

WEKA Data Platformのメタデータは、実データと同様にすべてのノードに分散配置されます。このためスケールアウトで大規模なクラスターを作成しても特定の管理ノードに負荷が集中することが無く、安定したスループットが保たれます。 同様に小さなファイルを大量に扱うことにも適しており、メタデータへの負荷が分散するためスループットがほとんど落ちません。

WEKA Data Platformは専用のハードウェアではなく、一般的なサーバーに構築可能なソフトウェアです。WEKAの認証が取れたサーバー筐体やパーツを選択する必要はありますが、求める性能や予算に応じて幅広い選択肢があります。