生物学向け大規模言語モデルの学習用マシン | 研究開発者向け情報発信メディア TEGAKARI

医療関連製品の研究開発に携わるお客様より、生物学向け大規模言語モデルの学習用マシンをご相談いただきました。
ProteinBERT、 ChemBERTa、 HyenaDNAといった生物学で用いられる大規模言語モデルを事前学習から実行する想定です。

お客様からは、ProteinBERTはNvidia Quadro RTX 5000、ChemBERTaはNVIDIA Tesla T4、HyenaDNAはNVIDIA A100をそれぞれ学習に使用したとの情報があるため、GPUの性能を重視したいとご要望いただきました。

また、ご予算は300万円以内で、最も高速化できる構成であることと、ミドルタワー程度の筐体サイズで100Vの電源環境で利用できることをご希望です。

ご連絡いただいた条件を踏まえて、弊社からは下記の構成をご提案しました。

CPU	Intel Xeon W5-2455X (3.20GHz 12コア)
メモリ	128GB REG ECC
ストレージ1	2TB SSD M.2
ストレージ2	4TB SSD S-ATA
ビデオ	NVIDIA RTX A6000 48GB x2
ネットワーク	on board (1GbE x1 /10GbE x1)
筐体+電源	ミドルタワー型筐体 + 1500W
OS	Microsoft Windows 11 Professional 64bit

ご予算や利用環境を踏まえたうえで、GPU性能を重視したマシン構成案です。

GPUはNVIDIA RTX A6000 x2枚を搭載しています。
ProteinBERT開発元の公式サイトによると、学習済みモデルの構築にはNVIDIA RTX5000を用いて1か月ほど要したと記載されています。
A6000はRTX5000より世代が新しく、ラインナップ上でも上位モデルにあたる製品のため、RTX5000よりも高い処理性能が期待できます。

例として挙げていただいたNVIDIA Tesla T4は、推論向けとして利用されることが多い製品です。そのため、本構成ではNVIDIA TeslaT4よりも単体性能が高いA6000を採用しています。

また、NVIDIA A100は、A6000とは異なり、GPGPU専用カードです。
高いfp64性能を持ち科学計算に適した製品ですが、今回のようなDeepLearning用途ではfp64性能が利用されることはほとんどありません。
あわせて、価格に関してもA6000と比較して非常に高額で、かつ専用の筐体でなければ利用できないことから、今回の利用条件や用途におけるマッチングが高くないと判断しました。

ストレージに関しては、ProteinBERTの開発元よりユーザー自らモデルの学習を行う場合は1TB以上のストレージ容量を確保することが推奨されているため、2TBのシステムディスク、4TBのデータディスクを搭載しています。
なお、学習中に頻繁なデータアクセスが発生することを想定して、ストレージはすべてSSDとしています。

OSはWindows 11を選択しています。
ご使用予定の言語モデルは基本的にはPythonパッケージで提供されているもののため、Pythonを使用可能なOSであれば、ご希望に応じて変更も可能です。

本事例の構成は、お客様から頂戴した条件を元に検討した内容です。
いただいた条件に合わせて柔軟にマシンをご提案いたしますので、掲載内容とは異なる条件でご検討の場合でも、お気軽にご相談ください。

■キーワード

・DeepLearningとは
DeepLearningは機械学習の一種であり、多層のニューラルネットワークを用いて高度なパターン認識や予測を行う手法。一般的に大量のデータを必要とするため、データが豊富な場合に効果的な手法とされている。また、DeepLeanigは画像認識や音声認識、自然言語処理などの分野で広く用いられている。複雑な特徴や関係性を学習することができるため、従来の機械学習手法よりも高い精度を発揮することができる。

参考：【特集記事】機械学習ってなんだろう ※弊社オウンドメディア「TEGAKARI」に飛びます

・Pythonとは
Pythonは、Python Software Foundation (PSF) が著作権を保持する、オブジェクト指向プログラミング言語。プログラミングの構文がシンプルなため可読性が高く、目的に応じたライブラリやフレームワークといったコンポーネントが豊富に揃っていることも特徴。プログラミングの初学者から上級者に至るまで人気の言語。

参考：Python ※外部サイトに飛びます

・BERTとは
BERT (Bidirectional Encoder Representations from Transformers) は、Googleが開発した自然言語処理 (NLP) モデル。与えられた文脈に基づいて単語を理解することができ、言語処理における幅広いタスクに適用される。
また、BERTは事前学習とファインチューニングの2つのフェーズで構成されている。事前学習では、大規模なコーパスから学習された汎用的な言語モデルが作成される。ファインチューニングでは、特定のタスクに適用するために、小規模なデータセットから学習されたモデルが調整される。
従来のNLPモデルに比べて高い精度を示し、複雑なタスクにも対応できることが特徴で、テキスト生成、質問応答、文書分類、言語翻訳などに応用されており、NLPの分野で最も有名なモデルの1つとして広く使われている。

・ProteinBERTとは
ProteinBERTは、BERTをベースにしたタンパク質言語モデル。 UniRef90データベース上の最大1億600万のタンパク質で事前学習されており、非常に長いタンパク質配列を含む、ほぼあらゆる長さのタンパク質配列を処理することが可能。

参考：GitHub – nadavbra/protein_bert ※外部サイトに飛びます

・ChemBERTaとは
ChemBERTaは、RoBERTa (BERTの亜種) を用いた、化学構造の表記方法であるSMILES記法の大規模言語モデル。医薬品設計、化学モデリング、特性予測などに用いられている。

参考：GitHub – seyonechithrananda/bert-loves-chemistry: bert-loves-chemistry: a repository of HuggingFace models applied on chemical SMILES data for drug design, chemical modelling, etc. ※外部サイトに飛びます

・HyenaDNAとは
HyenaDNAは、ヒトゲノムを100万トークンの塩基配列として事前学習した大規模言語モデル。単一ヌクレオチド単位 (ATGC) でのトークン化により、ヌクレオチド単位での解析が可能。