2種類のドリフトを分けて考える
ドリフトとは、学習したときのデータと本番のデータの性質がずれていき、モデルの精度が落ちる現象です。対策を誤らないために、2種類に分けて考えます。
| 種類 | 何が変わるか | 工場での例 | 主な対策 |
|---|---|---|---|
| データドリフト | 入力データの分布 | 材料ロットで色味が変わる、夏場に設備温度が上がる、照明が経年で暗くなる | 変化を含めたデータで定期的に再学習。撮像・計測条件の管理 |
| コンセプトドリフト | 入力と正解の関係 | 設備改造で同じ振動値の意味が変わる、顧客要求で良否基準が厳しくなる | 変更の発生を検知してモデルを作り直す。古いデータの扱いを決める |
データドリフトは、入力が「見たことのない範囲」に動くもので、再学習でかなり吸収できます。コンセプトドリフトは、同じ入力に対する正解自体が変わるもので、古いデータで再学習しても直りません。むしろ古いデータを混ぜると悪化します。
Googleの研究者らによる「Hidden Technical Debt in Machine Learning Systems」（NeurIPS 2015）も、機械学習システムの技術的負債の1つとして外部環境の変化を挙げ、固定した閾値やデータの変化が問題になると指摘しています。
工場でドリフトを起こす要因
- 材料：材料メーカーやグレードの変更、ロット間の色味・粘度のばらつき。外観検査では表面の色や光沢、成形では流動性に効く
- 季節と環境：気温・湿度で設備の熱的な状態や材料の物性が変わる。学習データが冬だけなら、夏に外れる
- 設備・治具・撮像系：設備の改造、治具や金型の交換、照明の経年劣化、カメラのずれ。外観検査では撮像条件の変化が最も多い原因になる
- 品種と基準：新品種の追加、顧客要求による良否基準の改定。後者は典型的なコンセプトドリフト
MESの変更履歴と連携して検知する
ドリフトの検知というと、入力データの統計（平均・分散・分布の距離）を監視する方法がよく紹介されます。これは有効ですが、変化が起きてから一定のデータが溜まらないと検知できません。工場には、変化の原因そのものが記録されているという強みがあります。
| 監視の方法 | 何を見るか | 検知のタイミング |
|---|---|---|
| イベント連携 | MESの材料ロット切替、品種切替、保全システムの設備改造・部品交換、判定基準の改定 | 変化の発生と同時 |
| 入力の統計 | 画像の明るさ・コントラスト、センサ値の範囲と分布、欠損率 | 変化の数時間〜数日後 |
| 出力の統計 | 判定スコアの分布、不良判定率 | 変化の数時間〜数日後 |
| 正解との照合 | 人の再判定で覆った率、後工程・顧客での不良発見 | 変化の数日〜数週間後 |
おすすめは、イベント連携を主に、統計監視を補助にする構成です。材料ロットや設備改造のイベントを受けたら、その後の一定期間を「要注意期間」として判定スコアと再判定率を重点的に見ます。設備の改造や判定基準の改定のようにコンセプトドリフトを起こすイベントは、モデルの再検証を必須とするルールにします。
対策：再学習と作り直しの使い分け
- データドリフトには、変化した条件のデータを加えて再学習します。季節変動のように周期的なものは、1年分の変化を含むデータで学習しておけば頻繁な再学習は不要になります
- コンセプトドリフトには、変化の時点より前のデータを学習から外す、または重みを下げて作り直します。基準改定の場合は、新基準でラベルを付け直したデータが必要です
- 撮像系の変化は、AIの再学習より先に撮像条件を元に戻すのが正攻法です。照明の定期交換、カメラ位置の基準治具での確認を保全計画に入れます
再学習の承認と切り替えの手続きはAIモデルの再学習を誰がいつ回すかで扱います。
よくある質問
ドリフト監視の指標はどのくらいの頻度で見ればよいですか？
判定スコアと不良判定率はシフト単位か日次、入力データの統計は日次から週次が目安です。材料ロットの切替などのイベント発生後は、頻度を上げて確認します。自動でアラートを出す場合は、誤報が多すぎて無視されないよう閾値を調整します。
どのくらいの頻度で再学習すべきですか？
決まった頻度より、ドリフトの兆候とイベントで判断する方が効率的です。変化の少ない工程では年に数回、品種の入れ替わりが激しい工程では品種追加のたびに必要になることもあります。
ドリフト監視の専用ツールは必要ですか？
この記事に出てくる用語
AIは「データ基盤」で決まる
PoCは成功したのに本番で止まる。原因の多くはモデルではなく、MESと設備データの側にある 全130本
- MESとAIの関係：ロット・作業指示・品質判定がAIの精度を決める理由
- 製造業AIが本番で止まる7つの理由：PoCは成功したのにラインに載らない構造
- 製造業のAI-OCR：紙の検査記録・点検表・ミルシートをデータ化する手順
- データ基盤の段階的導入ロードマップ：ユースケースから逆算する8ステップ
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
