生成AIの推論からグラフィックス処理まで幅広く支える汎用GPUサーバー

TMN_KR-CX6L40S-100Gは、大規模言語モデル（LLM）の推論やファインチューニングから、RAG環境、画像・動画生成AI、3Dレンダリングやデジタルツインまでを支えるエンタープライズ向けAIサーバーです。

NVIDIA L40S GPUを8基搭載し、AIとグラフィックスの両ワークロードに対応。トゥモロー・ネットは、AIプラットフォームの構築からサーバー提供、導入支援、運用までワンストップで支援します。

TMNが提供するAIインフラ

AI活用はPoCの段階から本番運用へと進み、大規模な推論基盤や社内専用AI環境へのニーズが高まっています。

TMN_KR-CX7H200-400Gは、

  • 社内向けLLM推論基盤
  • RAG環境
  • ファインチューニング環境
  • 画像・動画生成AI環境
  • デジタルツイン・3Dビジュアライゼーション環境

など、高性能なAIインフラを必要とする企業向けに設計されています。

特長

01

NVIDIA L40S × 8基搭載

Ada Lovelaceアーキテクチャを採用したデータセンター向けGPUを8基搭載。
生成AIの推論やファインチューニングに加え、レンダリングや3Dグラフィックス処理まで1台で対応します。

02

384GBのGPUメモリ

1基あたり48GB、GPUメモリ総容量384GB。
LLMの推論や複数モデルの運用に対応します。

03

64コアCPU構成

Intel Xeon 6530をデュアルソケットで搭載。
GPU性能を引き出しながら高速なデータ処理を実現します。

04

1TB超のシステムメモリ

1,024GB DDR5-4800 ECCメモリを搭載。
大量データを扱うAIワークロードに最適です。

05

MLPerfで実証された推論性能

MLPerf性能試験において、代表的なLLMモデルであるllama2-70bでL40Sは3,181 tokens/secのスループットを記録。
*MLPerf Inference: Datacenterから参照した数値（Benchmark MLPerf Inference: Datacenter | MLCommons V5.0）

https://mlcommons.org/benchmarks/inference-datacenter/

主な活用シーン

LLM推論環境

社内生成AIサービスの運用

エンタープライズRAG

文書検索・ナレッジ活用基盤

ファインチューニング環境

独自モデルの学習・最適化

画像・動画生成AI

クリエイティブ制作・マルチモーダルAIの活用

3Dレンダリング・デジタルツイン

設計・映像制作・シミュレーションの高速化

仕様

項目仕様
製品名TMN_KR-CX6L40S-100G
シャーシKR4268-X2
フォームファクタ4U Rackmount
GPUNVIDIA L40S ×8
GPUメモリ384GB
CPUIntel Xeon 6530 ×2
CPUクロック2.1GHz
CPUコア数32 Core ×2（合計64 Core））
キャッシュ160MB ×2
システムメモリ32GB DDR5-4800 ECC RDIMM ×32
メモリ総容量1,024GB（1TB）
データストレージU.2 SSD 7.68TB ×2
システムストレージM.2 SSD 960GB ×2
EthernetNVIDIA ConnectX-6 100Gbps Dual Port ×1
管理ポートIPMI 1GbE RJ45 ×1
レールキットL-Type Rail
電源構成3000W Platinum PSU ×4
電源ケーブルC20-C19 1.5m ×4
販売開始日2024年10月1日

関連製品