NVIDIA データセンター GPUとは?
NVIDIAデータセンターGPUとは、通常のコンピューターよりも大規模で高速なデータ処理を必要とする場所(=データセンター)で使われる、特別な「グラフィックス プロセッシング ユニット (GPU)」のことです。
GPUは本来、映像処理(グラフィックス)を高速に行うための装置ですが、いまではAI(人工知能)やディープラーニング(深層学習)などの高度な演算にも使われるようになりました。
データセンター向けGPUは、特に大規模で高度な解析や機械学習に対応できるよう、AIに特化したコアや大容量のVRAMが搭載されています。
NVIDIA データセンター GPU 製品でできること

AIや機械学習の高速化
AIを学習させたり、推論(結果を導く作業)するときの処理を大幅にスピードアップしてくれます。

ハイパフォーマンス コンピューティング(HPC)
AIを学習させたり、推論(結果を導く作業)するときの処理を大幅にスピードアップしてくれます。

大規模なデータ分析
ビッグデータを扱う企業や研究機関で、データを瞬時に分析し、結果をすばやく得ることができます。
主な特徴・技術
NVIDIA Tensorコア
- 動的に演算を調整することで正確さを維持しながらスループットを加速
- 多数のAIおよびハイパフォーマンスコンピューティング (HPC) タスクを高速化
- Blackwellアーキテクチャでは大規模AIモデルにおいて、前Hopper世代と比較して30倍の高速化を実現
- スパース性の活用により、消費電力当たりの推論処理量が改善。
Multi-Instance GPU (MIG)
- GPUを完全に分離された複数の小さなインスタンスに分割
- メモリ、キャッシュ、コンピューティングコアを完全に分離
- 最大7個のGPUインスタンスで仮想環境のマルチテナント/マルチユーザー構成をサポート
- MIGインスタンスごとに専用のビデオ デコーダーが与えられ、共有インフラストラクチャで安定したハイスループットのインテリジェント ビデオ解析 (IVA) が実現
Transformer Engine
- Transformer Engineは、近年のAI研究で主流になっている「トランスフォーマーモデル(文章や画像などの処理に強い仕組み)」をさらに高速化するための技術です。
- 数値の精度(FP4, FP6 など)を活用し、現在および次世代 MoE モデルにおいて高い精度を維持しながら、パフォーマンスと効率性を倍増させます。
NVLink と NVLink Switch システム
- スケールアップに相互接続が可能
- NVLink Switchと組み合わせると、NVLink SwitchシステムはPCIe Gen5の14倍以上の帯域幅でGPUあたり1.8テラバイト(TB/s)の双方向で複数サーバーにわたりマルチGPU IOを拡張可能
- 最大576基 接続したクラスターをサポート(単一8基のGPUシステムと比較して約9倍の性能向上)
NVIDIA データセンターGPU製品ご紹介動画
混合精度コンピューティングにより必要に応じて計算の「正確さ」と「速さ」を切り替え、AIやHPCの大規模処理を今まで以上に高速化し、トランスフォーマーネットワークのトレーニングでは従来比6倍の速度、あらゆるアプリケーションでは3倍の性能向上を実現するなど、幅広い分野でのスピードアップが期待できます。
NVIDIA データセンターGPU製品スペック一覧

HGX B300
次世代AIワークロード向けに設計された高密度GPUプラットフォームで、大規模言語モデル(LLM)の学習・推論や生成AI処理を高速化します。最新のNVIDIA GPUアーキテクチャと高速インターコネクトにより、大規模データ処理を効率化し、高い拡張性と省電力性能を両立したAIインフラを実現します。
| NVIDIA HGX B300 | |||
|---|---|---|---|
| FP64 / FP64 Tensor Core | 10 PFLOPS | FP4 Tensor コア | 144 PFLOPS | 72 PFLOPS |
| FP32 | 600 TFLOPS | GPU メモリ合計 | 2.3TB |
| TF32 Tensor Core | 18 PFLOPS* | NVLink | 第5世代対応 |
| FP16 Tensor Core | 36 PFLOPS* | NVIDIA NVSwitchの特長 | NVLink 5 スイッチ |
| FP8 / FP6 Tensor Core | 72 PFLOPs* | NVSwitch GPU から GPU への帯域幅 | 1.8TB/秒 |
| INT8 Tensor Core | 2 PFLOPs* | 合計 NVLink 帯域幅 | 14.4TB/秒 |
*疎性あり
**スパース性あり |スパース性なし

HGX B200
NVIDIA HGX B200は、Blackwell世代のB200 GPUを8基搭載可能な高密度GPUプラットフォームで、大規模言語モデル(LLM)の学習・推論やHPCワークロードを高速化します。第5世代NVLink/NVSwitchによる高速GPU間通信と最大1.4TBの大容量GPUメモリを備え、高い拡張性と省電力性能を両立しながら、次世代AIインフラを支えます。
| NVIDIA HGX B200 | |||
|---|---|---|---|
| FP64 / FP64 Tensor Core | 296 TFLOPS | FP4 Tensor コア | 144 PFLOPS | 72 PFLOPS |
| FP32 | 600 TFLOPS | GPU メモリ合計 | 1.4TB |
| TF32 Tensor Core | 18 PFLOPS* | NVLink | 第5世代対応 |
| FP16 Tensor Core | 36 PFLOPS* | NVIDIA NVSwitchの特長 | NVLink 5 スイッチ |
| FP8 / FP6 Tensor Core | 72 PFLOPs* | NVSwitch GPU から GPU への帯域幅 | 1.8TB/秒 |
| INT8 Tensor Core | 72 PFLOPs* | 合計 NVLink 帯域幅 | 14.4TB/秒 |
*疎性あり
**スパース性あり |スパース性なし

RTX PRO 6000 Blackwell Server Edition
NVIDIA Blackwellアーキテクチャを採用したデータセンター向けGPUで、AI処理とビジュアルコンピューティングを高次元で両立します。96GBの高速GDDR7メモリと第5世代Tensorコアを搭載し、生成AI、LLM推論、レンダリング、シミュレーションなど幅広いワークロードを高速化しながら、高密度サーバー環境に適した柔軟なGPUインフラを実現します。
| NVIDIA RTX PRO 6000 Blackwell Server Edition | |||
|---|---|---|---|
| GPUメモリ | 96GB GDDR7 | メモリーインタフェース | 512-bit |
| メモリー帯域幅 | 1597 GB/s | エラー訂正コード(ECC) | Yes |
| NVIDIA Blackwell アーキテクチャベースの CUDA コア数 | 24,064 | NVIDIA 第5世代 Tensorコア | 752 |
| NVIDIA 第4世代 RT コア | 188 | 単精度演算性能 | 117 TFLOPS |
| RT コア性能 | 354.5 TFLOPS | Tensor 性能 | 3,700 TFLOPS |
| システムインタフェース | PCIe 5.0 x16 | 消費電力 | 総ボードパワー: 600 W |
| サーマルソリューション | パッシブ | フォームファクター | 4.4” H x 10.5” L, デュアルスロット, フルハイト |
| ディスプレイコネクター | 4x DisplayPort 2.1a | マルチインスタンス GPU | 最大 4 個の MIG @ 24GB |
| 電源コネクター | 1x PCIe CEM5 16-pin | エンコード/デコードエンジン | 4x エンコード, 4x デコード (+AV1 エンコードとデコード) |
| NVIDIA NVLink | No | NVENC | NVDEC | JPEG | 4x | 4x | 4x |

H200
NVIDIA H200 Tensor コア GPUは、革新的なパフォーマンスとメモリ機能を備え、生成AIおよびHPCワークロードを強化します。HBM3eを搭載した初のGPUであるH200は、大容量かつ高速なメモリを提供し、科学コンピューティングによるHPCワークロードの推進と、生成AIや大規模言語モデル(LLM)の高速化を実現します。
| H200 SXM | H200 NVL | |
|---|---|---|
| FP64 | 34 TFLOPS | 30 TFLOPS |
| FP64 Tensor コア | 67 TFLOPS | 60 TFLOPS |
| FP32 | 67 TFLOPS | 60 TFLOPS |
| TF32 Tensor コア | 989 TFLOPS | 835 TFLOPS |
| BFLOAT16 Tensor コア2 | 1,979 TFLOPS | 1,671 TFLOPS |
| FP16 Tensor コア | 1,979 TFLOPS | 1,671 TFLOPS |
| FP8 Tensor コア | 3,958 TFLOPS | 3,341 TFLOPS |
| INT8 Tensor コア | 3,958 TFLOPS | 3,341 TFLOPS |
| GPU メモリ | 141GB | 141GB |
| GPU メモリ帯域幅 | 4.8TB/s | 4.8TB/s |
| デコーダー | 7 NVDEC 7 JPEG | 7 NVDEC 7 JPEG |
| コンフィデンシャル コンピューティング | Supported | Supported |
| 最大熱設計電力 (TDP) | Up to 700W (configurable) | Up to 600W (configurable) |
| マルチインスタンス GPUs | Up to 7 MIGs @18GB each | Up to 7 MIGs @16.5GB each |
| フォーム ファクター | SXM | PCIe Dual-slot air-cooled |
| 相互接続 | NVIDIA NVLink: 900GB/s PCIe Gen5: 128GB/s | 2- or 4-way NVIDIA NVLink bridge: 900GB/s per GPU PCIe Gen5: 128GB/s |
| サーバー オプション | NVIDIA HGX™ H200 partner and NVIDIA-Certified Systems™ with 4 or 8 GPUs | NVIDIA MGX™ H200 NVL partner and NVIDIA-Certified Systems with up to 8 GPUs |
| NVIDIA AI Enterprise | Add-on | Included |

HGX H100
高性能かつ効率的なコンピューティングリソースを提供するプラットフォームで、内蔵のNVIDIA BlueField-3 DPUによってクラウドネットワーキングやセキュリティ、GPUコンピューティングの柔軟性が高まり、さらにMIG(Multi-Instance GPU)機能を利用することで、一台のH100を最大7つに分割して複数ユーザーが独立したGPUインスタンスを同時に使うことができます。
| NVIDIA HGX H100 4-GPU | NVIDIA HGX H100 8-GPU | |
|---|---|---|
| FP64 | 134 TFLOPS | 268 TFLOPS |
| FP64 Tensor Core | 268 TFLOPS | 535 TFLOPS |
| FP32 | 268 TFLOPS | 535 TFLOPS |
| TF32 Tensor Core | 3,958 TFLOPS* | 7,915 TFLOPS* |
| FP16 Tensor Core | 7,915 TFLOPS* | 15,830 TFLOPs* |
| FP8 Tensor Core | 15,830 TFLOPs* | 31,662 TOPS* |
| INT8 Tensor Core | 15,830 TFLOPs* | 31,662 TOPS* |
| GPU メモリ | 320GB | 640GB |
| メモリバンド幅 | 13TB/s | 27TB/s |
| NVLink | 対応 | 対応 |

H100 NVL
最大 700 億パラメーターの LLM (Llama 2 70B) の場合、NVLink ブリッジを持つ PCIe ベースの NVIDIA H100 NVL が、Transformer Engine、NVLink、188GB HBM3 メモリを利用して、あらゆるデータ センターで最適なパフォーマンスと簡便な拡張性を提供し、LLM を主流へと導きます。H100 NVL GPU を搭載したサーバーであれば、電力に制限のあるデータ センター環境で低遅延性を維持しながら、Llama 2 70B のパフォーマンスを NVIDIA A100 システムの最大 5 倍にまで向上します。
| NVIDIA H100 NVL [PCIe] | |||
|---|---|---|---|
| FP64 | 30 TFLOPS | FP64 Tensor Core | 60 TFLOPS |
| FP32 | 6 TFLOPS | TF32 Tensor Core | 835 TFLOPS |
| BFLOAT16 Tensor Core | 1,671 TFLOPS | FP16 Tensor Core | 1,671 TFLOPS |
| FP8 Tensor Core | 3,341 TFLOPS | INT8 Tensor Core | 3,341 TFLOPS |
| GPU メモリ | 94GB | メモリバンド幅 | 3.9TB/s |
| NVLink | 対応 | ||

H100
これまでにない性能と拡張性、そしてセキュリティを備え、あらゆるワークロードに対応する高性能GPUです。NVIDIA® NVLink® Switch Systemを使えば最大256台のH100を接続してエクサスケール規模の処理を高速化でき、さらに専用のTransformer Engineによって、兆単位のパラメーターを持つ言語モデルを構築しながら前世代比30倍の高速化を実現します。
| NVIDIA H100 Tensor Core GPU[PCIe] | |||
|---|---|---|---|
| GPUアーキテクチャ | Hopper | GPUメモリ | 80 GB HBM2e |
| ECC機能 | 対応 | メモリバンド幅 | 2 TB/s |
| メモリバス | 5,120 bit | Compute Capability | 9 |
| CUDAコア | 14,592 | RTコア | 0 |
| Tensorコア | 456 | NVLink | 対応 |
| ベースクロック | 1,065 MHz | GPU Boost クロック | 1,620 MHz |
| 最大消費電力 | 350 W | 補助電源 | PCIe CEM5 16 pin |
| バスインターフェース | PCIe 5.0 × 16 | トランジスタ数 | 80 |
| マルチインスタンスGPU | 各10GBで最大7つのMIGS | 相互接続 | NVLink:600GB/sPCIe Gen5:128GB/s |

L40S
強力なAIコンピューティングと業界トップクラスのグラフィックス性能を兼ね備え、AIとグラフィックス両方の分野で突出したパフォーマンスを発揮し、さまざまなワークロードを効率的かつ持続的に高速化します。
| NVIDIA L40S | |||
|---|---|---|---|
| GPUアーキテクチャ | NVIDIA Ada Lovelace | GPUメモリ | 48 GB GDDR6 |
| メモリバンド幅 | 864 GB/s | CUDAコア | 8,176 |
| Tensorコア | Tensorコア | RTコア | 142 |
| NVLink | 非対応 | 冷却方式 | パッシブ |
| MIGサポート | なし | 補助電源コネクタ | PCI Express CEM5 16pin電源コネクタ×1 |
| 最大消費電力 | 350 W | サイズ | 高さ 111.15 mm 長さ 267.70 mm 2スロットサイズ(* ブラケット含まず) |
| 保証期間 | 3年間 センドバック方式 | ||

L40
Ada Lovelaceアーキテクチャを採用し、データセンター向けに他に類を見ないビジュアルコンピューティング性能を実現するだけでなく、Root of Trust によるセキュアブート機能を備え、データセンターのセキュリティを一段と強化します。
| NVIDIA L40 [PCIe] | |||
|---|---|---|---|
| GPUアーキテクチャ | Ada Lovelace | GPUメモリ | 48 GB GDDR6 |
| ECC機能 | 対応 | メモリバンド幅 | 864 GB/s |
| メモリバス | 384 bit | Compute Capability | 8.9 |
| CUDAコア | 18,176 | RTコア | 142 |
| Tensorコア | 568 | NVLink | 非対応 |
| ベースクロック | 735 MHz | GPU Boost クロック | 2,490 MHz |
| 最大消費電力 | 300 W | 補助電源 | PCIe CEM5 16 pin |
| バスインターフェース | PCIe 4.0 × 16 | トランジスタ数 | 76.3 |
| マルチインスタンスGPU | 非対応 | ||

L4
NVIDIA L4 Tensor Core GPUは、NVIDIA Ada Lovelaceアーキテクチャを採用しており、ビデオ、グラフィックス、AI、仮想化、ビジュアルコンピューティングなどの分野で、最高水準の性能、耐久性を実現します。
| NVIDIA L4 [PCIe] | |||
|---|---|---|---|
| GPUアーキテクチャ | NVIDIA Ada Lovelace | GPUメモリ | 24GB GDDR6 |
| ECC機能 | 対応 | メモリバンド幅 | 300 GB/s |
| メモリバス | 192 bit | CUDAコア | 7,424 |
| RTコア | 58(第3世代) | Tensorコア | 232(第4世代) |
| NVLink | 非対応 | 最大消費電力 | 72W |
| 補助電源 | 不要 | ||
グラフィックス向けGPU製品

RTX PRO 6000 Blackwell Workstation Edition
NVIDIA Blackwellアーキテクチャを採用したプロフェッショナル向けGPUで、3DCG制作や映像編集、CAD、シミュレーションなど高度なグラフィックスワークロードを高速化します。96GBの大容量GDDR7メモリと最新RTコア/Tensorコアを搭載し、リアルタイムレンダリングやAI支援クリエイティブを快適に実現する高性能ワークステーション環境を提供します。
| NVIDIA RTX PRO 6000 Blackwell Workstation Edition | |||
|---|---|---|---|
| GPUメモリ | 96GB GDDR7 | メモリーインタフェース | 512-bit |
| メモリー帯域幅 | 1797 GB/s | エラー訂正コード(ECC) | Yes |
| NVIDIA Blackwell アーキテクチャベースの CUDA コア数 | 24,064 | NVIDIA 第5世代 Tensorコア | 752 |
| NVIDIA 第4世代 RT コア | 188 | 単精度演算性能 | 125 TFLOPS |
| RT コア性能 | 380 TFLOPS | Tensor 性能 | 4,000 TFLOPS |
| システムインタフェース | PCIe 5.0 x16 | 消費電力 | 総ボードパワー: 600 W |
| サーマルソリューション | ダブルフロースルー | フォームファクター | 4.4” H x 10.5” L, デュアルスロット, フルハイト |
| ディスプレイコネクター | 4x DisplayPort 2.1a | マルチインスタンス GPU | Up to 4x 24GB Up to 2x 48GB Up to 2x 96GB |
| 電源コネクター | 1x PCIe CEM5 16-pin | エンコード/デコードエンジン | 4x エンコード, 4x デコード (+AV1 エンコードとデコード) |
| NVIDIA NVLink | No | NVENC | NVDEC | 4x | 4x |

RTX PRO 6000 Blackwell Max-Q Workstation Edition
省電力と高性能を両立したプロフェッショナル向けGPUで、3DCG制作や映像編集、CAD、デジタルコンテンツ制作など高度なグラフィックスワークロードに対応します。コンパクトかつ高密度なワークステーション環境に最適化されており、静音性や電力効率を維持しながら、リアルタイムレンダリングやAI支援クリエイティブを快適に実現します。
| NVIDIA RTX PRO 6000 Blackwell Workstation Edition | |||
|---|---|---|---|
| GPUメモリ | 96GB GDDR7 | メモリーインタフェース | 512-bit |
| メモリー帯域幅 | 1797 GB/s | エラー訂正コード(ECC) | Yes |
| NVIDIA Blackwell アーキテクチャベースの CUDA コア数 | 24,064 | NVIDIA 第5世代 Tensorコア | 752 |
| NVIDIA 第4世代 RT コア | 188 | 単精度演算性能 | 110 TFLOPS |
| RT コア性能 | 333 TFLOPS | Tensor 性能 | 4,000 TFLOPS |
| システムインタフェース | PCIe 5.0 x16 | 消費電力 | 総ボードパワー: 300 W |
| サーマルソリューション | ダブルフロースルー | フォームファクター | 4.4” H x 10.5” L, デュアルスロット, フルハイト |
| ディスプレイコネクター | 4x DisplayPort 2.1a | マルチインスタンス GPU | Up to 4x 24GB Up to 2x 48GB Up to 2x 96GB |
| 電源コネクター | 1x PCIe CEM5 16-pin | エンコード/デコードエンジン | 4x エンコード, 4x デコード (+AV1 エンコードとデコード) |
| NVIDIA NVLink | No | NVENC | NVDEC | 4x | 4x |

RTX A6000 Ada
NVIDIA RTX™ 6000 Ada 世代 は、今日の AI 活用ワークフローの課題に対応するための特徴、機能、パフォーマンスを提供します。NVIDIA Ada Lovelace GPU アーキテクチャを基盤に構築された RTX 6000 は、第 3 世代 RT コア、第 4 世代 Tensor コア、次世代 CUDA® コアと 48GB のグラフィックス メモリーを搭載しており、これまでにないレンダリング、AI、グラフィックス、およびコンピューティング パフォーマンスを実現します。NVIDIA RTX 6000 を搭載したワークステーションは、今日の極めて厳しいビジネス環境で成功するために必要なすべてを提供します。
| RTX A6000 Ada | |||
|---|---|---|---|
| GPU メモリ | 48 GB | ディスプレイ ポート | 4 基のDisplayPort |
| 最大消費電力 | 300 W | グラフィックス バス | PCIe Gen 4 x 16 |
| フォーム ファクター | デュアルスロット | サーマル | アクティブ |
| AI ソフトウェア サポート | NVIDIA AI Enterprise | vGPU ソフトウェア サポート | NVIDIA vPC/vApp、NVIDIA RTX 仮想ワークステーション |
NVIDIA製GPU搭載のAIインフラソリューションはこちら
NVIDIA データセンターGPUと NVIDIA RTX の違い
ファン・冷却機能の違い
NVIDIA RTXはファンを搭載しているのに対し、NVIDIA データセンターGPUはファンを搭載しておらず冷却システムが必要になります。NVIDIA データセンターGPUはファンを搭載しない設計によって故障のリスクを抑えられており、パーツ交換が難しいデータセンターをご利用する際におすすめです。メモリーサイズとメモリ帯域幅の違い
AIの学習段階では、大量のデータをGPUへ転送する必要があり、それに対応できる十分なメモリ容量と高速な帯域幅が求められます。NVIDIAのデータセンター向けGPUは、この点で優れており、大規模なAI処理やHPC用途に最適です。
製品のよくある質問
GPUサーバーはNVIDIA認定を受けていますか?
はい。NVIDIA認定済みのGPUサーバーを提供しています。
サーバーのサイジングに協力していただくことは可能ですか?
はい。用途や希望スペック、ご予算などをヒアリングさせていただき、最適なものを提案いたします。
スペックの細かなカスタマイズは可能ですか?
はい。ご希望があればCPU、メモリー、ストレージ、ネットワークなどを細かくカスタマイズ可能です。サーバー本体や搭載するGPUにより推奨構成があるため、まずはご希望をお伺いさせていただきながらご提案いたします。
価格について教えてください。
構成に応じてパーツが変わるため都度お見積りいたします。ご相談ください。
GPUDirect RDMAは利用できますか?
GPUDirect RDMAを利用可能なサーバーもございます。必要要件がありますのでまずはご希望などをお聞かせください。
データセンター向けGPUと一般的なGPUの違いは何ですか?
データセンターGPUは、AI学習・推論、HPC(高性能計算)、大規模データ分析などの高負荷処理に最適化されています。冷却設計や耐久性、複数GPU間の高速通信(NVLink対応など)に優れており、長時間稼働を前提とした設計になっています。
どのような用途でデータセンターGPUを導入すべきですか?
主にAIのディープラーニング学習、生成AIの推論処理、医療画像解析、金融リスクシミュレーション、研究機関での分子シミュレーション、映像制作・レンダリングなどで活用されています。
GPU導入時に必要なサーバー環境の条件はありますか?
消費電力・冷却能力・PCIeスロット数・ラックスペースなどが重要です。特に高性能GPUは発熱が大きいため、専用の冷却設計や十分な電源容量が必要です。導入前に施設側の環境要件を確認することを推奨します。
GPUを複数枚導入する場合のメリットは何ですか?
GPUを複数枚導入し、NVLinkなどで接続することで、メモリ帯域を拡張し、より大規模な学習モデルを効率的に処理できます。
これにより、1枚のGPUでは収まりきらない大規模データセットの処理や、高速な並列計算が可能となり、学習や推論のスピードを大幅に向上させることができます。
導入後のサポートはどうなりますか?
導入時の設置・設定サポートに加え、有償で運用中のトラブルシューティング、最適な活用方法のコンサルティングも個別に提供しています。詳細はお問い合わせください。
パートナー

