プロンプトの工夫だけでは数値の誤りは防げない
LLMは、文章の続きとして最もそれらしい単語を生成する仕組みです。数値も「それらしい数値」として生成されるため、文書に書かれた値を正しく読んでいても、出力の段階で桁や単位を誤ることがあります。プロンプトで注意を促しても確率が下がるだけで、ゼロにはなりません。
製造現場では、数値の誤りの影響が大きいことから、「LLMに数値を作らせない」構成が基本になります。以下の5つの設計は、重要度の高いものから並べています。
5つのガードレール設計
設計1：数値はMES・DBから引用し、LLMに書かせない
規格値、標準条件、実績値など、システムに正となる値がある数値は、LLMに文章として生成させず、システムから取得した値をそのまま表示します。
具体的には、LLMには「品番Aの締付トルクは{torque_spec}です」のように、数値の部分をプレースホルダーにした文章を作らせ、表示の段階でMESや品質管理システムから取得した値を差し込みます。または、回答の本文と別に、システムから取得した値を表形式で並べて表示します。
MESは作業指示・品番・工程・規格値を持つため、製造現場のAIにとって数値の「正」を供給する役割を果たします。MESのデータをAIから使う前提条件は生成AIを工場データにつなぐ前提条件で扱っています。
設計2：出典リンクを必須にする
文書から答える場合は、回答に根拠となった文書の名称、版、該当箇所へのリンクを必ず付けます。出典を示せない回答は表示しない、という設定にすることもできます。
出典があると、利用者は回答と原文を照合できます。ただし、出典が付いていても、その出典が回答を本当に支えているとは限りません。評価の段階で「出典と回答の一致」を確認しておく必要があります（ハルシネーションを業務で評価する参照）。
設計3：最新版だけを検索対象にする
製造現場の誤答で多いのは、旧版の手順書や改訂前の規格値を答えるケースです。文書管理システムやMESの改訂番号をメタデータとしてRAGに持たせ、有効な版だけを検索対象にします。改訂のたびに旧版を検索対象から外す処理を、文書管理の承認フローに組み込むと漏れがありません。具体的な方法は作業手順書RAGの作り方で扱っています。
設計4：回答の数値を機械的に検証する
設計1で数値を引用にしても、LLMが文章の中で別の数値を書き加えることがあります。回答に含まれる数値を抽出し、取得したデータや出典文書の数値と一致するかを、プログラムで照合します。一致しない数値が含まれていれば、回答を表示せずに人に回すか、警告を付けて表示します。
| 検証の種類 | 内容 | 不一致時の扱い |
|---|---|---|
| 値の一致 | 回答の数値が出典・DBの値と一致するか | 表示を止めて人に回す |
| 単位の一致 | N・mとkgf・cmなど単位の取り違えがないか | 表示を止めて人に回す |
| 範囲の確認 | 値が品番・工程の許容範囲内か | 警告を付けて表示 |
| 型番・品番の存在 | 回答中の品番がマスタに存在するか | 表示を止めて人に回す |
設計5：「わからない」と答えさせ、範囲外は人に回す
文書やデータに根拠がない質問には、「記載が見つかりません。担当者に確認してください」と答えるようにシステムプロンプトで指示し、評価でその挙動を確認します。加えて、次のような場合は自動的に人へ回す設計にします。
- 検索で関連度の高い文書が見つからなかった
- 安全・品質の判断を求める質問（「この不良品は出荷してよいか」など）
- 設備条件の変更を伴う質問
5つの設計の優先順位
すべてを一度に実装する必要はありません。次の順で入れると、効果の大きいものから整えられます。
- 設計3（最新版だけを検索対象）と設計2（出典必須）：RAGの基本として最初に入れる
- 設計1（数値の引用）：MESやDBと接続する段階で入れる
- 設計4（機械的な検証）と設計5（人に回す仕組み）：利用者を現場全体に広げる前に入れる
ガードレールの考え方は、フィジカルAIの分野でも重視されています。日立は2026年9月、ナレッジグラフで危険分析を行い制御指令をリアルタイムに補正するフィジカルAI向けのガードレール技術を発表しました。生成AIでもフィジカルAIでも、AIの出力をそのまま使わず、確定的なルールで外側から制約する考え方は共通です。
よくある質問
数値をすべてDBから引用するのは開発の負担が大きくないですか
すべての数値を対象にする必要はありません。締付トルク、温度、検査規格値など、誤ると品質・安全に影響する数値に絞って引用の仕組みを作ります。対象の項目は品質保証部門と決めてください。
LLMの性能が上がればガードレールは不要になりますか
誤りの頻度は下がっても、ゼロにはならないと考えるべきです。製造現場では、まれな誤りでも影響が大きいため、性能に関係なく確定的な検証を組み合わせる設計を続けます。
ガードレール製品を買えば済みますか
有害な出力や個人情報を検知する汎用のガードレール製品はありますが、自社の規格値や品番との照合は、自社のMESやマスタと接続しないと実現できません。汎用製品と、自社データとの照合の仕組みを組み合わせて使います。
この記事に出てくる用語
製造業の生成AI、どこまで任せられるか
文書検索、手順書の生成、品質報告のドラフト。人が承認する範囲と任せてよい範囲の線引き 全91本
- 製造業の生成AI活用の全体像：業務別12ユースケースと導入の順番
- 製造業の社内文書RAG入門：手順書・図面・品質記録を検索する5層構成
- Siemens Industrial Copilotの全体像：5系統の提供状況と狙い
- 生成AIの情報漏えい対策：製造業が決めるべき入力禁止情報とログ管理の7項目
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
