大規模言語モデル計算処理向けマシン

生成AI開発に携わるお客様より、事例No.PC-10880をご覧のうえ、ローカル環境でLLMを活用するために、LLMの計算に必要なマシン購入を検討しているとご相談いただきました。
具体的には、DifyとMETAのLlama 3.3 (70B) を使用予定で、手持ちのRTX 4090 (24GB) ではVRAMが不足することを確認しています。
あわせて、必要な周辺機器、指定ソフトウェアのインストール可否についてもご相談いただきました。

ご連絡いただいた内容を踏まえ、弊社からは下記の構成をご提案しました。

CPU	Intel Xeon W5-2565X 3.20GHz (TB3.0時 最大4.8GHz) 18C/36T
メモリ	合計256GB DDR5 5600 REG ECC 32GB x 8
ストレージ1	2TB SSD M.2 NVMe Gen4
ビデオ	NVIDIA RTX 6000 Ada 48GB x  2基構成 NVIDIA RTX A400 4GB (MiniDisplayPort x 4)
ネットワーク	on board (2.5GbE x1 /10GbE x1)
筐体+電源	タワー型筐体 1500W 80PLUS PLATINUM
OS	Microsoft Windows 11 Professional 64bit
その他	ソフトウェアインストール ・Dify (v0.15.2+) ・Ollama (v0.5.7+, Desktop 2.139.1733+) ・Llama 3.3 model ・Docker Desktop (企業利用はライセンス要確認) ・Power BI

事例No.PC-10880をベースに、現行世代のパーツで作成しました。
大規模言語モデル (LLM) の推論や学習をローカル環境で安定稼働させたい研究者・エンジニア向けの仕様です。

GPUとしてNVIDIA RTX 6000 Ada 48GBを2基搭載し、AI推論・学習処理を高速化します。
さらに、画面描画用としてRTX A400 4GBを別途採用しているため、計算処理と表示処理を分離し、安定運用が可能です。

また、ECC対応DDR5メモリを搭載しており、長時間の計算処理に対する高い信頼性があります。
PCI-E x16スロットを4基備えているため、GPUの追加にも柔軟に対応可能です。
電源には1500W PLATINUMを採用し、生成AIやLLM開発など安定運用が求められる環境でも安心して使用できます。

最新GPUを搭載し、ご相談いただいた各種ソフトウェアもインストール済みのため、購入後すぐに研究や開発業務に活用できます。

このような分野で活躍されている方へ 計算機科学 自然言語処理 AI工学 情報システム開発 応用統計学

※本構成はソフトウェアのライセンス・セットアップ費用も含んだ価格です。
掲載されていない仕様や特殊要件についても柔軟に対応いたしますので、ぜひお気軽にご相談ください。

キーワード ・Llamaとは Llamaは、Meta社が開発した大規模言語モデル群。 Llama 3.3 (70B) などパラメータ数が多いモデルは高性能GPUと大容量メモリを必要とし、ローカル運用時の計算負荷が大きい。 最新論文やモデル情報は研究開発でも注目されている。 参考：Meta Llama 公式サイト ※外部サイトに飛びます ・Difyとは Difyは、オープンソースの生成AIアプリケーション開発プラットフォーム。 LLMを活用したアプリ構築を迅速化でき、API連携やチャットボット作成も容易。 LLM推論環境と合わせて導入するケースが増えている。 参考：Dify 公式サイト ※外部サイトに飛びます

■ このPC事例に関する詳細、お問い合わせはこちら 大規模言語モデル計算処理向けマシン ※事例の名称またはご希望の条件などをご記入ください。