ナイーブ予測は「手強い比較対象」である
ナイーブ予測とは、前回の実績値をそのまま次の予測にするような最も単純な予測です。単純ですが、需要が安定した品目では驚くほど当たります。Hewamalageらが2022年にまとめた予測評価のベストプラクティス（arXiv 2203.10716）は、ナイーブ予測や季節ナイーブ予測をシンプルだが手強いベンチマークと位置づけ、これと比べない限り複雑なモデルを評価したことにならないと述べています。
M5コンペ（2020年）でも、優勝チームが最良のベンチマークをWRMSSEで22.4%上回った一方、20%以上の改善を達成したのは上位5チームだけでした（Makridakisらの報告）。世界中のデータサイエンティストが競っても、単純な手法との差はこの程度だという事実は、PoCの期待値を決める参考になります。
置くべきベンチマーク4種
| ベンチマーク | 作り方 | 強い品目 |
|---|---|---|
| ナイーブ（前回値） | 直近の実績をそのまま予測にする | 需要が安定・トレンドが緩い品目 |
| 季節ナイーブ | 前年同月（同週）の実績を予測にする | 季節性がはっきりした品目 |
| 移動平均 | 直近N期間の平均 | ばらつきが大きいが水準が安定した品目 |
| 現行の人手予測 | 計画担当者が実際に使った予測値 | 内示・営業情報が効く品目 |
4つ目の「現行の人手予測」が最も重要です。現場が今使っている数字に勝てなければ置き換える理由がありません。人手予測は記録が残っていないことが多いため、PoC開始前の数か月分を遡って集めるか、PoC期間中に記録を始めます。
比較を無意味にする3つの罠
罠1：データリーク。系列全体で正規化や平滑化をしてから学習期間と評価期間に分けると、評価期間の情報が学習側に漏れます（Hewamalageら）。製造業では、後から確定した受注キャンセルや、品番統合後のマスタで過去データを書き換えたケースもリークの原因になります。予測時点で本当に知り得た情報だけを使っているかを確認します。
罠2：評価期間の選び方。需要が安定した数か月だけで評価すると、どの手法も同じように当たります。季節を一巡する期間を対象に、上図のように予測起点をずらして複数回評価するローリング評価が基本です。
罠3：品目の選別。予測しやすい品目だけを対象にすると、AIもナイーブ予測も精度が高く出ます。逆にAIに不利な品目を外すと、AIが過大評価されます。対象品目の抽出条件は事前に決め、除外した品目と理由を記録してください。
予測スナップショットを保存する仕組み
公正な比較には、「その時点で出した予測」を後から書き換えられない形で残す必要があります。予測は毎週・毎月更新されるため、最新の予測だけを保存していると、評価のときに「何か月前の時点で何と予測していたか」が分かりません。
保存する項目は次のとおりです。
| 項目 | 内容 |
|---|---|
| 予測作成日 | 予測を出した日（予測起点） |
| 対象期間 | 予測した週・月 |
| 品番・拠点 | 予測の単位 |
| 手法 | ナイーブ、季節ナイーブ、人手、AI（モデルの版も） |
| 予測値・予測区間 | 点予測と分位点 |
| 入力データの版 | 使った受注・マスタの抽出日 |
この表を予測のたびに追記していけば、ホライズン（何か月先の予測か）ごとの精度を後から集計できます。調達リードタイムが3か月なら、3か月前時点の予測の精度が業務上の意味を持ちます。直近1か月先の精度だけを見ていると、AIの価値を見誤ります。保存先はデータ分析用のデータベースで十分で、ERPに戻す必要はありません。
比較結果を判断につなげる
比較表は品目群ごとに作ります。たとえば売上上位、季節品、間欠需要品、新製品の4群に分け、群ごとにどの手法が勝ったかを示します。すべての群でAIが勝つことは稀で、「季節品は季節ナイーブで十分、上位品目はAIが有利」といった結論のほうが実務で使えます。指標の選び方は需要予測の精度指標、間欠需要品の扱いは補修部品・少量多品種の需要予測を参照してください。
よくある質問
人手予測の記録がない場合はどうしますか？
PoC期間中に計画担当者が作った予測を毎回保存し、同じ評価期間でAIと比べます。過去分は計画書や発注データから復元できる範囲で使います。
AIがナイーブ予測に負けた場合、PoCは失敗ですか？
負けた品目群が分かったこと自体が成果です。勝った品目群だけで効果を試算し、投資に見合うかを判断してください。
この記事に出てくる用語
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
