GPUの必要量を決める3つの要素
- モデルの大きさ（パラメータ数）と精度（量子化の程度）。モデルの重みを置くためのGPUメモリが決まる
- 同時利用数とコンテキスト長。回答を生成するときに一時的に使うメモリ（KVキャッシュ）が、同時に処理する質問の数と、読ませる文章の長さに比例して増える
- 求める応答速度。1秒あたりに生成する文字数の目標で、GPUの計算性能と枚数が決まる
製造業の社内RAGでは、2つ目の要素が見落とされがちです。手順書や品質記録を数千〜数万トークン読ませる設計にすると、モデル本体より一時メモリのほうが大きくなることがあります。
モデル本体のメモリの目安
モデルの重みに必要なメモリは、おおよそ「パラメータ数×1パラメータあたりのバイト数」で見積もれます。16ビット（FP16/BF16）なら1パラメータ2バイト、8ビット量子化なら約1バイト、4ビット量子化なら約0.5バイトです。
| モデル規模 | 16ビット | 8ビット量子化 | 4ビット量子化 |
|---|---|---|---|
| 7〜9B級 | 約14〜18GB | 約7〜9GB | 約4〜5GB |
| 30B級 | 約60GB | 約30GB | 約15〜17GB |
| 70B級 | 約140GB | 約70GB | 約35〜40GB |
この表はモデルの重みだけの計算値で、実際には一時メモリや推論ソフトウェアの作業領域が加わります。運用時には、重みの1.2〜2倍程度のGPUメモリを確保する前提で考えるのが安全です（推測。同時利用数とコンテキスト長で大きく変わります）。
量子化はメモリを減らせますが、精度が下がることがあります。特に数値や型番を正確に扱う業務では、量子化したモデルで自社の質問セットを使って評価してから採用してください。
規模別の構成3案
以下は、前提を明記したうえでの構成の目安です。価格はGPUの世代・調達時期・為替で大きく変わるため、金額ではなく構成の考え方として読んでください。
案A：部門での試行（7〜9B級、GPU 1枚）
1つの部門で、作業手順書や保全記録のRAGを試す規模です。7〜9B級のモデルを8ビットまたは4ビットで動かせば、メモリ24GB程度のGPU 1枚で、数人の同時利用に応えられる見込みです（推測）。目的は、精度より「社内データで何が答えられるか」を確かめることです。
案B：工場の標準（30B級、GPU 1〜2枚）
1工場で10〜20人程度が日常的に使う規模です。30B級のモデルを量子化して、データセンター向けの大容量メモリGPUを1〜2枚使う構成が目安になります（推測）。この規模から、障害時に止まらないための予備機や監視の仕組みが必要になります。
案C：全社基盤（70B級、複数枚・冗長化）
複数工場・全社で使う規模です。70B級のモデルは4ビット量子化でも重みだけで35GB以上が必要で、同時利用とコンテキストを考えると高性能GPUの複数枚構成が前提になります。冗長化を含めると、案Bの数倍の投資になります（推測）。
クラウドの時間課金と比べる方法
オンプレの投資額は、閉域クラウドの時間課金と比べて判断します。例えばPreferred Networksは2026年10月、PLaMo 3.0 PrimeをMicrosoft Foundryの企業専用閉域環境で、A100 1枚あたり3.99ドル/時、H100 6.99ドル/時にAzureのインフラ費を加えた料金で提供すると発表しました（同社発表）。
比較するときは、次の手順で考えます。
- 想定する利用時間（例：平日の業務時間だけか、24時間か）を決める
- クラウドの時間課金に利用時間を掛け、3〜5年分の費用を出す
- オンプレのサーバー費用、電源・設置工事、保守、運用人件費を同じ期間で合計する
- GPUの世代交代でオンプレの機器が陳腐化するリスクを加味する
業務時間だけ使う部門用途なら時間課金が有利になりやすく、24時間稼働で利用が多い全社基盤ならオンプレが有利になる場合があります。どの構成を選ぶかは、費用より先にデータの機密区分で決まる部分も大きいため、図面を社外に出さない4つの構成とあわせて検討してください。生成AI全体の費用区分は製造業の生成AIコストで整理しています。
よくある質問
普通のゲーミングPC用GPUでも動きますか
7B級の量子化モデルを試すだけなら動きます。ただし業務で複数人が使う場合は、メモリ容量、連続稼働の耐久性、保守サポートの点でデータセンター向けGPUを選ぶのが一般的です。
モデルはどのくらいの頻度で更新すべきですか
オープンモデルや国産モデルは数か月単位で新版が出ます。更新のたびに自社の質問セットで評価し、改善が確認できたときだけ入れ替える運用にすると、品質の後退を防げます。
GPUを持たずにCPUだけで動かせますか
小さなモデルならCPUでも動きますが、応答が遅く、複数人の同時利用には向きません。試行の段階でも、少なくとも1枚のGPUを用意することを勧めます。
この記事に出てくる用語
製造業の生成AI、どこまで任せられるか
文書検索、手順書の生成、品質報告のドラフト。人が承認する範囲と任せてよい範囲の線引き 全91本
- 製造業の生成AI活用の全体像：業務別12ユースケースと導入の順番
- 製造業の社内文書RAG入門：手順書・図面・品質記録を検索する5層構成
- Siemens Industrial Copilotの全体像：5系統の提供状況と狙い
- 生成AIの情報漏えい対策：製造業が決めるべき入力禁止情報とログ管理の7項目
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
