汎用ベンチマークでは業務の誤りはわからない
LLMの公開ベンチマークは、一般知識や推論の問題で性能を測ったものです。製造業の業務で問題になるのは、自社の手順書に書かれた規定値を間違える、旧版の手順を答える、文書にないことをもっともらしく補う、といった誤りで、これらは公開ベンチマークでは測れません。
研究でも、汎用モデルが専門文書で誤りやすいことは示されています。例えば2024年11月の論文では、2D図面からGD&T（幾何公差）情報を抽出するタスクで、専門家の注釈付き図面400枚で調整した小型の視覚言語モデル（Florence-2、0.23B）が、ゼロショットのGPT-4o・Claude-3.5-Sonnetのうち良い方と比べて、F1が相対値で52.40%高く、ハルシネーション率が相対値で43.15%低かったと報告されています。専門領域の誤りは、その領域のデータで測らないと見えないということです。
Gartnerは、生成AIプロジェクトの少なくとも30%が2025年末までにPoC後に放棄されると予測し、理由の1つにリスク管理の不備を挙げていました（2024年8月）。ハルシネーションを測る仕組みがないまま本番に進めないことが、その典型です。
手順1：現場から質問を集める
テストセットの質問は、開発者が考えたものではなく、実際の利用者から集めます。
- 想定利用者に、過去1か月で調べたこと・人に聞いたことを書き出してもらう
- 問い合わせ窓口やヘルプデスクの記録から、よくある質問を抜き出す
- 1つの用途につき50〜100問を目安にする
質問は、次の4つの種類を意図的に含めます。
| 種類 | 例 | 何を確かめるか |
|---|---|---|
| 事実の検索 | 「品番Aの締付トルクは？」 | 数値・規定値を正確に答えるか |
| 手順の説明 | 「設備Bの段取り替えの手順は？」 | 手順の抜けや順序違いがないか |
| 複数文書の統合 | 「工程Cで過去に起きた不良と対策は？」 | 複数の記録をまとめて正しく答えるか |
| 答えのない質問 | 文書に記載のない設備や品番についての質問 | 「わからない」と答えられるか |
4つ目の「答えのない質問」が最も重要です。全体の1〜2割を含めると、もっともらしい作り話をする傾向を測れます。
手順2：正解と根拠を人が作る
各質問について、正解と、その根拠になる文書の該当箇所（文書番号・版・ページ）を、その業務に詳しい担当者が作ります。答えのない質問には「文書に記載がない」を正解とします。
この作業は手間がかかりますが、テストセットの価値の大部分はここにあります。正解の作成で、文書間の矛盾や旧版の残存が見つかることも多く、それ自体が文書整備の成果になります。
手順3：採点基準を決める
回答は、次の3つの観点で採点します。
- 正確さ：正解・一部正解・誤りの3段階。数値・規格値・安全に関わる内容に誤りがあれば、他が正しくても「誤り」とする
- 根拠：回答に示された出典が、実際にその回答を支えているか。出典の版が最新か
- 不確実さの扱い：答えのない質問に「文書に記載がない」と答えたか、作り話をしたか
製造業で特に重く見るべきは、数値の誤りと、答えのない質問への作り話です。この2つは件数を別に数えて報告します。合格基準は、業務の重要度に応じて事前に決めます。例えば「数値の誤り0件、答えのない質問への作り話は1割以下」のように、用途ごとに設定します。
採点は、最初は人が行います。件数が増えたら、LLMを採点者として使う方法もありますが、その場合も一部を人が再採点して、採点のずれを確認してください。
手順4：本番後も定期的に再評価する
テストセットは、PoCの1回だけで使い捨てにしません。次のタイミングで同じテストセットを流し、結果を比べます。
本番運用で利用者から報告された誤答は、テストセットに追加します。テストセットが育つほど、変更による品質の後退を早く検知できます。RAG全体の評価の進め方は社内文書RAGの評価方法、誤りを減らす設計は数値・規格値を間違えさせない5つの設計で扱っています。
よくある質問
質問は何問あれば十分ですか
1つの用途で50〜100問が目安です。答えのない質問を1〜2割含めます。件数より、実際の利用者から集めた質問であることと、種類の偏りがないことが重要です。
ハルシネーション率はゼロにできますか
ゼロにはできません。そのため、評価では誤りの件数を減らすことと同時に、誤りが起きたときに利用者が気づける設計（根拠の表示、「わからない」と答える指示）ができているかを確認します。
評価はベンダーに任せてよいですか
評価の実施を支援してもらうことはできますが、質問と正解の作成は自社の業務担当者が行うべきです。ベンダーが作った質問では、自社の業務で起きる誤りを捉えきれません。
この記事に出てくる用語
製造業の生成AI、どこまで任せられるか
文書検索、手順書の生成、品質報告のドラフト。人が承認する範囲と任せてよい範囲の線引き 全91本
- 製造業の生成AI活用の全体像：業務別12ユースケースと導入の順番
- 製造業の社内文書RAG入門：手順書・図面・品質記録を検索する5層構成
- Siemens Industrial Copilotの全体像：5系統の提供状況と狙い
- 生成AIの情報漏えい対策：製造業が決めるべき入力禁止情報とログ管理の7項目
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
