事例No.PC-10873をご覧の上、elyza の Llama-3-ELYZA-JP-8B を用いて、自然言語処理による文章要約を実行するためのPCを検討しているとご相談をいただきました。
現在の環境では1件あたり5分以上を要するため、処理時間短縮を目的に、税込146万円以内の予算で新規導入をご希望です。
また、大学提出用の参考資料としてパーツ構成と見積額の詳細を求められています。
お客様のご要望を踏まえ、計算時間の短縮を目的として、GPUおよびメモリ性能を重視した構成をご提案いたしました。
| CPU | Intel Core Ultra 9 285K 3.70GHz(8C/8T)+3.20GHz(16C/16T) |
| メモリ | 合計128GB DDR5 6400 64GB x 2 |
| ストレージ1 | 2TB SSD M.2 NVMe Gen4 |
| ビデオ | NVIDIA GeForce RTX5090 32GB |
| ネットワーク | on board(2.5GBase-T x1) Wi-Fi，Bluetooth |
| 筐体+電源 | ミドルタワー型筐体 1600W 80PLUS TITANIUM |
| OS | Microsoft Windows 11 Professional 64bit |
LLMを高速に動かすために重要なGPU
LLMの推論処理では、GPUのVRAM容量と演算性能が処理時間に大きく影響します。
特に、十分なVRAM容量があることで、より大規模なモデルをGPU単体で処理できるようになり、効率的な推論が可能となります。
一方、VRAMが不足するとメモリスワップが発生し、GPUとCPU間のデータ転送がボトルネックとなって、処理速度が著しく低下します。
例えば、Llama-3-ELYZA-JP-8BをINT8量子化で運用する場合、約17GBのVRAMが必要です。
そのため、最低でも24GB以上のVRAMを搭載することが推奨されています。
RTX 5090は、最新のCUDAおよびTensorコアを搭載したモデルで、同じVRAM容量を持つRTX 5000 Adaと比較して、約2倍の推論速度を記録した検証結果が報告されています。
この性能差を踏まえ、今回の構成ではRTX 5090を採用しました。
詳細な検証結果は、下記の技術記事をご覧ください。
GeForce RTX 4090との比較検証結果も記載されております。
高負荷のLLM推論にも安定して対応できる計算性能を備えているため、実運用環境では処理時間の大幅な短縮が期待できます。
LLM推論におけるメインメモリの重要性
LLMの安定稼働には、GPUのVRAMに加えて、ホスト側メモリの確保が不可欠です。
モデルのロード時にはVRAMを超える一時メモリが必要となる場面があるほか、入力テキストや生成結果の保持にもメインメモリが消費されます。
こうした運用条件を踏まえ、本設計では128GB（64GB × 2）のDDR5メモリを標準搭載しました。
さらに空きスロット (4スロット中2スロット未使用) を活用することで、最大256GBまでのメモリ増設が可能です。
将来的なモデルの大規模化やバッチ処理の拡張にも、柔軟に対応できる構成です。
このような分野で活躍されている方へ
|
バッチサイズや量子化設定など、運用条件に応じた最適な構成をご提案いたします。具体的なご用途があれば、ぜひご相談ください。
キーワード・Llama-3-ELYZA-JP-8B とは Llama-3-ELYZA-JP-8Bは、株式会社ELYZAがMeta社の「Llama 3」を基に開発した、日本語に特化した大規模言語モデルです。 |
|
■ このPC事例に関する詳細、お問い合わせはこちら
※事例の名称またはご希望の条件などをご記入ください。 |
