AI開発用GPUサーバー

お客様から、社内で大規模言語モデルを活用するための、ローカル環境で運用可能な生成AI向けワークステーション構築についてご相談をいただきました。使用を想定されているソフトウェアは、Ollama、LM Studio、Dify、Python です。

具体的なご要望としては、CPU は十分なコア数を備えたモデルを選定し、メモリは最低 1TB、可能であれば 2〜4TB クラスまで拡張できる構成を希望されています。
GPU については、NVIDIA RTX Pro 6000 Blackwell を複数枚搭載できることを前提とし、搭載可能な最大枚数をご希望です。
OS は Ubuntu、電源は 100V 環境で動作することが条件となっています。
さらに、ストレージは可能な限り大容量の NVMe SSD を最大数まで搭載し、全体として高い処理性能と拡張性を備えた構成を求められています。
これらの要件を満たす構成を、予算2,000 万円程度で実現したいとのご要望です。

以上の内容を踏まえ、弊社からは以下の構成をご提案いたしました。

CPU	Intel Xeon 6515P 2.30GHz(TB 3.80GHz) 16C/32T
メモリ	合計4TB DDR5-6400 REG ECC 128GB x 32
ストレージ1	7.68TB U.2 NVMe SSD
ストレージ2	15.36TB U.2 NVMe SSD ×5（RAID5）
ビデオ	NVIDIA RTX PRO 6000 BW Server Edition x 4
ネットワーク	ネットワークカード 10GbE RJ45 2ポート
筐体+電源	4Uラックマウント筐体 3200W/200V リダンダント電源（3+1）
OS	Ubuntu 24.04
その他	RAIDカード Broadcom MegaRAID レールキット一式 3年センドバック保証 (標準保証1年＋延長保証2年)

LLM推論・生成AI処理に最適化したCPU / メモリ構成

本構成では、生成AIやローカルLLMの運用に必要となる CPU コア数とメモリ帯域を重視しています。大規模モデルを効率的に処理するためには、GPU性能だけではなく、CPUの多コア性能と大量メモリへのアクセス性能が重要です。

そのため、最新世代のサーバー向けCPUを採用し、多コア処理能力と大容量メモリの両立を図っています。当初は1TBメモリ構成を想定していましたが、将来的なモデル拡張やRAGワークロードへの対応を見据え、今回は搭載可能な最大容量である4TBの構成でご提案しています。

RTX Pro 6000 Blackwell を採用した高密度 GPU 構成

お客様が複数の NVIDIA RTX Pro 6000 Blackwell を搭載したいと希望されていたため、4Uラックマウント筐体を採用し、最大枚数のGPUを安定して運用できるマザーボード構成を選定しました。

PRO 6000クラスのGPUを複数枚搭載する場合には、PCIeレーン数、発熱対策、電源容量などが大きな制約となります。本構成ではこれらの要件をすべて満たし、高密度なGPUサーバーとして安定したAI計算処理を実現します。

NVMeストレージの大容量化とRAID構成

可能な限り大容量のNVMe SSDを最大数搭載したい、という要望に対し、システム用SSDとは別に複数枚のNVMe SSDを搭載し、読み書き速度と冗長性を両立する構成をご提案しています。

この構成により、研究データやEmbeddingキャッシュを高速に扱え、RAG環境やDify・Ollamaなどのローカル推論環境で高いパフォーマンスを発揮できます。

電源環境 (100V希望 → 200V対応への変更)

当初は「100V環境で運用したい」とご相談いただきましたが、GPU多数搭載構成では100Vでは電源容量が不足するため、200V環境を整備される方針に変更となりました。

これにより、サーバー向け電源ユニットを採用できるようになり、マシン全体の安定性と将来拡張性を確保しています。

キーワード ・Ollamaとは Ollamaは、ローカル環境で大規模言語モデル (LLM) を高速に実行できるオープンソースプラットフォーム。GPU最適化やモデルの軽量化が施されており、PythonやWebアプリケーションとの統合も容易。プライバシー保護が求められる企業環境や研究用途において、質量分析データ処理の自動化、ペプチド同定支援、解析スクリプト生成などにも応用可能。 参考：Ollama – Run LLMs locally ・LM Studioとは LM Studioは、PCローカルで大規模言語モデルを管理・実行するための統合型アプリケーション。GUIでモデルのダウンロード、推論、プロンプト操作を完結でき、研究用スクリプト生成や質量分析 (MS/MS) データ解析ワークフロー構築の補助にも役立つ。ローカル推論によるセキュアなAI環境を必要とする技術者に最適。 参考：LM Studio – Local AI Desktop Application ・Difyとは Difyは、ノーコード／ローコードでAIアプリを構築できる統合プラットフォーム。RAG (検索拡張生成) 、ワークフロー自動化、モデル切替などが容易で、研究現場のレポート生成、質量分析データ解釈支援ツールの試作、ペプチド同定ヘルパーAIの構築などにも利用可能。クラウドとローカルの両方に対応。 参考：Dify – AIアプリ開発プラットフォーム ・Pythonとは Pythonは、科学技術計算からAI・機械学習、質量分析データ解析、ペプチド同定アルゴリズム開発まで幅広く利用される汎用プログラミング言語。NumPy、SciPy、pandas、pyteomicsなど豊富なライブラリにより、グリコペプチド解析やMS/MSスペクトル処理の自動化が容易。研究者・エンジニアに必須の開発基盤。 参考：Python公式サイト

 

■ このPC事例に関する詳細、お問い合わせはこちら AI開発用GPUサーバー ※事例の名称またはご希望の条件などをご記入ください。