導入前後の単純比較は効果を過大に見せる
「AI導入前の不良率2.0%が導入後1.2%になった」という報告は、それだけではAIの効果を示していません。同じ期間に材料ロットが変わった、品種構成が変わった、作業標準を改訂した、といった別の要因でも不良率は動くからです。導入前後の数字を並べるだけの効果測定は、横展開の判断を誤らせ、他のラインで同じ効果が出ない原因になります。
WEFのグローバル・ライトハウス・ネットワークは、2025年9月コホートで不良が平均41%減ったと報告しています。ただし、これは選ばれた先進工場の自己申告ベースの成果で、AI単独ではなくデジタル化と業務改革全体の効果です。公表された成果の数字にも、何と何を比べたかという前提があります。自社の効果測定でも、その前提を明示できる設計にする必要があります。
効果を見誤る4つの原因
注意点1：ベースラインの取り方
ベースラインを「問題が大きかった時期」から取ると、何もしなくても数字は平均に戻ります（平均への回帰）。AI導入のきっかけが「不良が急増したから」の場合は特に注意が必要です。ベースラインは、導入を決めた時期の直前だけでなく、少なくとも数か月から1年の推移で取り、季節変動を含めて見ます。
注意点2：季節・品種構成・材料ロットの変化
不良率は品種ごとに違うのが普通です。導入後に不良の出にくい品種の比率が上がれば、AIと無関係に全体の不良率は下がります。効果は品種別・材料ロット別に分けて比較し、全体の数字は構成比をそろえて再計算します。需要予測のように季節性のある用途では、最低でも季節の2周期分のデータで比較します。
注意点3：同時期の他施策
AI導入のプロジェクトでは、撮像条件の見直し、判定基準書の整備、作業標準の改訂を同時に行うことがよくあります。これらは単独でも効果があり、AIの効果と混ざります。PoCの準備段階で行った改善は、「AI導入に伴う業務改善」として別に記録しておき、効果を説明するときに分けて示します。分けて示すことは効果を小さく見せることではなく、他ラインに展開するときに何をそろえるべきかを明確にすることです。
注意点4：測定期間
導入直後の数週間は、作業者がAIの判定を慎重に確認するため、見逃しが一時的に減ることがあります。逆に、AIを信頼し始めた頃に確認が甘くなり、見逃しが増えることもあります。測定期間は最低でも3か月、できれば品種切替や季節変動を1周含む期間を取ります。
効果を切り分ける3つの測定設計
| 方式 | やり方 | 向いている用途 | 注意点 |
|---|---|---|---|
| 並行運用（シャドー運用） | 人の判定とAIの判定を同時に行い、差分を記録する | 外観検査・異常検知 | 人の負荷が一時的に増える |
| 対照ライン比較 | AIを入れたラインと入れないラインの変化を比べる | 予知保全・品質分析 | 対照ラインの条件が近いこと |
| 段階導入 | 品種・シフト・設備ごとに導入時期をずらして比べる | 生産計画・需要予測 | 導入順の偏りに注意 |
最も確かなのは並行運用です。外観検査AIの導入手順では、人の検査とAIを同時に回して差分を分析する段階を本稼働の前に置くのが一般的です。AIが不良とし人が良品とした件数、人が不良としAIが良品とした件数をロットごとに記録すれば、AIの見逃し率と過検出率を実際の生産条件で測れます。
予知保全のように「起きなかった故障」を数える用途では、効果の測定が難しくなります。アラームの後に点検し、実際に劣化が見つかった件数を保全記録と照合して数えるのが基本です。誤報による無駄な点検の工数も同じ記録から差し引きます。
効果を報告するときに書くこと
経営層や他工場に効果を報告するときは、数字と一緒に次の前提を書きます。
- 対象：ライン、品種、工程、期間
- 比較方法：並行運用、対照ライン、前後比較のどれか
- 除外した要因：同時期に行った他の改善、構成比の補正
- 第1層（AI）の数字と第2層（工場KPI）の数字の両方
この形式は、公開事例を読むときの物差しにもなります。ベンダーが公表する導入効果では、対象ラインや比較方法が書かれていないことがあり、その場合は自社に当てはめる前に条件を確認する必要があります。KPIの設計段階からの考え方は AI導入のKPI設定 を、公開事例の前提の読み方は 製造業のAI導入事例20選 を参照してください。
よくある質問
対照ラインがない工場ではどう測ればよいですか
並行運用を基本にし、AIの判定と人の判定の差分をロットごとに記録します。それも難しい場合は、品種別・材料ロット別に分けた前後比較を行い、全体の数字は構成比をそろえて補正します。
効果測定はどの部門が担当すべきですか
数字の集計は工場の管理部門や品質保証部門が担い、AI担当やベンダーには任せないのが原則です。導入した側が効果を測ると、条件の選び方が甘くなりがちです。
効果が出るまでどのくらいの期間を見ればよいですか
最低3か月、品種切替や季節変動を1周含む期間が目安です。予知保全は故障の発生頻度が低いため、半年から1年の評価期間を取ることもあります。
この記事に出てくる用語
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
