Llama-3対応自然言語処理用ワークステーション

事例No.PC-10873をご覧の上、elyza の Llama-3-ELYZA-JP-8B を用いて、自然言語処理による文章要約を実行するためのPCを検討しているとご相談をいただきました。

現在の環境では1件あたり5分以上を要するため、処理時間短縮を目的に、税込146万円以内の予算で新規導入をご希望です。
また、大学提出用の参考資料としてパーツ構成と見積額の詳細を求められています。

お客様のご要望を踏まえ、計算時間の短縮を目的として、GPUおよびメモリ性能を重視した構成をご提案いたしました。

LLMを高速に動かすために重要なGPU

LLMの推論処理では、GPUのVRAM容量と演算性能が処理時間に大きく影響します。
特に、十分なVRAM容量があることで、より大規模なモデルをGPU単体で処理できるようになり、効率的な推論が可能となります。
一方、VRAMが不足するとメモリスワップが発生し、GPUとCPU間のデータ転送がボトルネックとなって、処理速度が著しく低下します。

例えば、Llama-3-ELYZA-JP-8BをINT8量子化で運用する場合、約17GBのVRAMが必要です。
そのため、最低でも24GB以上のVRAMを搭載することが推奨されています。

RTX 5090は、最新のCUDAおよびTensorコアを搭載したモデルで、同じVRAM容量を持つRTX 5000 Adaと比較して、約2倍の推論速度を記録した検証結果が報告されています。
この性能差を踏まえ、今回の構成ではRTX 5090を採用しました。

詳細な検証結果は、下記の技術記事をご覧ください。
GeForce RTX 4090との比較検証結果も記載されております。

高負荷のLLM推論にも安定して対応できる計算性能を備えているため、実運用環境では処理時間の大幅な短縮が期待できます。

LLM推論におけるメインメモリの重要性

LLMの安定稼働には、GPUのVRAMに加えて、ホスト側メモリの確保が不可欠です。
モデルのロード時にはVRAMを超える一時メモリが必要となる場面があるほか、入力テキストや生成結果の保持にもメインメモリが消費されます。

こうした運用条件を踏まえ、本設計では128GB（64GB × 2）のDDR5メモリを標準搭載しました。
さらに空きスロット (4スロット中2スロット未使用) を活用することで、最大256GBまでのメモリ増設が可能です。
将来的なモデルの大規模化やバッチ処理の拡張にも、柔軟に対応できる構成です。

バッチサイズや量子化設定など、運用条件に応じた最適な構成をご提案いたします。具体的なご用途があれば、ぜひご相談ください。