生成AI開発に携わるお客様より、事例No.PC-10880をご覧のうえ、ローカル環境でLLMを活用するために、LLMの計算に必要なマシン購入を検討しているとご相談いただきました。
具体的には、DifyとMETAのLlama 3.3 (70B) を使用予定で、手持ちのRTX 4090 (24GB) ではVRAMが不足することを確認しています。
あわせて、必要な周辺機器、指定ソフトウェアのインストール可否についてもご相談いただきました。
ご連絡いただいた内容を踏まえ、弊社からは下記の構成をご提案しました。
| CPU | Intel Xeon W5-2565X 3.20GHz (TB3.0時 最大4.8GHz) 18C/36T |
| メモリ | 合計256GB DDR5 5600 REG ECC 32GB x 8 |
| ストレージ1 | 2TB SSD M.2 NVMe Gen4 |
| ビデオ | NVIDIA RTX 6000 Ada 48GB x 2基構成 NVIDIA RTX A400 4GB (MiniDisplayPort x 4) |
| ネットワーク | on board (2.5GbE x1 /10GbE x1) |
| 筐体+電源 | タワー型筐体 1500W 80PLUS PLATINUM |
| OS | Microsoft Windows 11 Professional 64bit |
| その他 |
ソフトウェアインストール |
事例No.PC-10880をベースに、現行世代のパーツで作成しました。
大規模言語モデル (LLM) の推論や学習をローカル環境で安定稼働させたい研究者・エンジニア向けの仕様です。
GPUとしてNVIDIA RTX 6000 Ada 48GBを2基搭載し、AI推論・学習処理を高速化します。
さらに、画面描画用としてRTX A400 4GBを別途採用しているため、計算処理と表示処理を分離し、安定運用が可能です。
また、ECC対応DDR5メモリを搭載しており、長時間の計算処理に対する高い信頼性があります。
PCI-E x16スロットを4基備えているため、GPUの追加にも柔軟に対応可能です。
電源には1500W PLATINUMを採用し、生成AIやLLM開発など安定運用が求められる環境でも安心して使用できます。
最新GPUを搭載し、ご相談いただいた各種ソフトウェアもインストール済みのため、購入後すぐに研究や開発業務に活用できます。
このような分野で活躍されている方へ
|
※本構成はソフトウェアのライセンス・セットアップ費用も含んだ価格です。
掲載されていない仕様や特殊要件についても柔軟に対応いたしますので、ぜひお気軽にご相談ください。
キーワード・Llamaとは Llamaは、Meta社が開発した大規模言語モデル群。 ・Difyとは Difyは、オープンソースの生成AIアプリケーション開発プラットフォーム。 |
|
■ このPC事例に関する詳細、お問い合わせはこちら
※事例の名称またはご希望の条件などをご記入ください。 |
