ラベルの揺れがAIの精度の上限を決める
アノテーションとは、画像や時系列データに「良品／不良」「傷／打痕／異物」「停止理由」などの正解を付ける作業です。AIはこの正解を手本に学ぶため、手本そのものが人によって違えば、AIはその揺れごと学習します。検査員Aが不良とした微小な傷を検査員Bが良品とした場合、どれだけ高性能な手法を使ってもAIの判定は両者の中間でぶれます。
外観検査AIの典型的な失敗として、「何を不良とするか」の限度見本が人によって違い、正解ラベルが揺れることが挙げられます。撮像条件の変化や良品のばらつきと並ぶ、現場で最も多い失敗の一つです。公開ベンチマークでも、MVTec ADには15カテゴリで73種類の欠陥タイプが定義されており、1カテゴリ平均で約5種類の不良を見分ける設計になっています。現場の不良はこれより種類も境界も曖昧で、ラベルの定義を先に固めないと評価すら成り立ちません。
データ準備に時間がかかることも数字で示されています。Anacondaの2022年の調査（133か国3,493人）では、データサイエンティストは時間の約38%をデータ準備とクレンジングに使い、モデルの選択・学習・デプロイに使う時間は約26%でした。製造業のAIプロジェクトでは、この準備時間の大半がラベル付けとその手戻りに消えます。
ラベル付けの品質を決める5つのルール
ルール1：限度見本を実物で揃える
「良品と不良の境目」にあるサンプルを実物で集め、合格側・不合格側に分けて保管します。文章だけの基準では、「目立つ傷」「軽微な汚れ」の解釈が人によって変わるためです。限度見本は1種類の不良につき最低でも合格側と不合格側の境界付近を数点ずつ用意し、写真も撮影条件を固定して残します。
ルール2：判定基準書を言葉と数値で書く
限度見本を補う形で、傷の長さ・面積・位置（意匠面か非意匠面か）・個数など、測れる条件を判定基準書に書きます。AIの学習用に新しく作るのではなく、既存の検査規格や顧客の受入基準と一致させることが重要です。AI専用の基準を作ると、品質保証部門の基準と二重管理になり、後で判定根拠を説明できなくなります。
ルール3：不良コードの体系と粒度を先に固定する
「傷」を「線傷・擦り傷・打痕」に分けるのか、1つにまとめるのかで、必要なサンプル数も精度も変わります。粒度が細かすぎるとクラスごとのサンプルが集まらず、粗すぎると後工程の対策に使えません。工程内で対策が変わる単位で分けるのが目安です。不良コードの設計は 不良コード体系の設計 で詳しく扱っています。
ルール4：二重ラベルで揺れを測る
全データの一部（例えば各不良種の数十枚）を2人以上が独立にラベル付けし、一致率を測ります。一致率の低い不良種は、AIに学習させる前に基準の見直しへ戻します。人同士で一致しない分類をAIに求めても、評価の数字が意味を持ちません。
ルール5：MESや品質実績と突合する
付けたラベルが後工程の実績と矛盾しないかを確認します。AIが良品とした製品で客先クレームが出ていないか、検査員が不良とした製品が後工程で再検査に回っていないかを、ロット番号で突合します。
判定基準書に書く項目
判定基準書は、次の項目を1不良種ごとに1枚で整理すると運用しやすくなります。
| 項目 | 書く内容 | 書かないと起きること |
|---|---|---|
| 不良コード・名称 | 社内の品質記録と同じコード | AIと品質記録の集計が合わない |
| 定義 | 発生原因でなく見た目の特徴で書く | 原因推定がラベルに混ざる |
| 数値条件 | 長さ・面積・深さ・個数の閾値 | 「目立つ」の解釈が人で変わる |
| 対象範囲 | 意匠面・機能面・検査対象外の領域 | 対象外の傷を不良として学習 |
| 限度見本 | 合格側・不合格側の写真と保管場所 | 境界のサンプルが説明できない |
| 迷ったときの扱い | 「保留」ラベルを作るか、厳しい側に倒すか | 個人判断でばらつく |
| 改訂履歴 | 改訂日と理由 | 古い基準のラベルが混在する |
「迷ったときの扱い」は特に重要です。境界のサンプルを無理にどちらかへ振り分けるより、「保留」として別に集め、品質保証部門の判断で後から確定させる方が、学習データ全体の質は上がります。
MESと品質記録からラベルを取るときの注意
予知保全や品質分析では、人が1件ずつラベルを付けるのではなく、MESの停止理由、検査実績、保全記録（CMMS）の故障履歴をラベルとして使うことが多くなります。このとき問題になるのは、記録の粒度と時刻です。
- 停止理由が「その他」に偏っている：入力のしやすさを優先した結果で、AIのラベルとしては使えません。停止理由の選択肢を見直すところから始めます
- 記録時刻が実際の発生時刻とずれている：作業者がシフト終わりにまとめて入力すると、センサーデータとの紐付けがずれます
- 保全記録が自由記述だけ：「異音のため交換」のような記述からは故障モードが特定できません。保全記録をラベルに変える方法 で扱うように、部位と現象のコード化が必要です
ラベル付けの対象とロット・工程・設備をつなぐキーはMESが持っています。画像だけを外部のアノテーション業者に送ると、後でどのロットのどの工程の画像だったかが分からなくなり、再学習や原因分析に使えません。ファイル名やメタデータにロット番号・工程・設備・撮影日時を必ず残してください。正解ラベルの管理全般は 正解データ（Ground Truth）の作り方 も参照してください。
外注・ツールを使うときの判断基準
アノテーションを外部業者に委託する、または専用ツールを導入する場合は、次の点を確認します。
- 製造業の判定基準を理解できる体制か：汎用のアノテーション業者は、自動運転や小売の画像には慣れていても、限度見本に基づく判定には不慣れなことがあります。最初の数百枚は社内の熟練者が付け、業者の結果と一致率を比較してから任せます
- データの持ち出し条件：製品画像には設計情報や顧客の機密が写ります。社外に出せる範囲を品質保証・法務と事前に決めます
- 版管理：判定基準書を改訂したとき、どのラベルが旧基準で付けられたかを追えるかどうか。ツール選定ではこの機能を重視します
ラベル付けの工数は見積もりに出にくく、後から膨らみやすい費用です。費用面の考え方は 見落とされやすいAIの隠れコスト で整理しています。
よくある質問
不良サンプルが少ない場合もラベル付けは必要ですか
必要です。良品学習（良品画像だけで学習する方式）でも、評価用には実際の不良サンプルに正解ラベルを付けて用意する必要があります。学習に使わない不良サンプルを数十枚以上確保し、見逃し率を測れる状態にしてください。
ラベル付けは誰が担当すべきですか
判定基準を決めるのは品質保証部門、実際のラベル付けは検査工程の熟練者が担うのが基本です。AIベンダーやデータサイエンティストに任せきりにすると、現場の判定基準と異なるラベルが付き、本番で過検出や見逃しが増えます。
二重ラベルの一致率はどのくらいあれば十分ですか
一律の基準はありません。大事なのは不良種ごとに一致率を出し、低いものを特定することです。人同士で判定が割れる不良種は、AIの精度目標もそれ以上には置けないと考えて計画を立てます。
この記事に出てくる用語
AIは「データ基盤」で決まる
PoCは成功したのに本番で止まる。原因の多くはモデルではなく、MESと設備データの側にある 全130本
- MESとAIの関係：ロット・作業指示・品質判定がAIの精度を決める理由
- 製造業AIが本番で止まる7つの理由：PoCは成功したのにラインに載らない構造
- 製造業のAI-OCR：紙の検査記録・点検表・ミルシートをデータ化する手順
- データ基盤の段階的導入ロードマップ：ユースケースから逆算する8ステップ
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
