M5は何を競ったのか
Mコンペは、予測研究者のSpyros Makridakisらが1982年から続ける予測手法の国際競技です。2020年のM5では、米Walmartの店舗・商品別の日次販売データ42,840系列を使い、28日先までを予測しました。参加は101か国の5,507チーム、7,092人です(Makridakis、Spiliotis、Assimakopoulosの報告、2020年10月プレプリント)。
評価指標は、累積売上金額で重み付けしたWRMSSEです。売上の大きい系列の誤差ほど重く数える設計で、事業へのインパクトを反映しています。
結果:機械学習が統計手法を初めて明確に上回った
報告によると、M5は純粋な機械学習手法がすべての統計ベンチマークを明確に上回った最初のMコンペとされます。主な結果は次のとおりです。
- 上位のほとんどがLightGBM(勾配ブースティングの実装)を使った
- 上位50手法はすべて、多数の系列を1つのモデルで学習するクロスラーニング(グローバルモデル)だった
- 優勝チームは最良のベンチマークをWRMSSEで22.4%上回ったが、20%以上改善したのは上位5チームだけだった
最後の点は見落とされがちです。世界中の参加者が競っても、上位5チーム以外の改善幅は20%未満でした。社内のPoCで「AIで精度が50%改善」という報告が出たら、比較対象や評価条件を疑うのが妥当です。
なぜクロスラーニングが強いのか
従来の統計手法は、品番ごとに別々のモデルを作ります。履歴が短い品番や、ゼロの多い品番は学ぶ材料が足りず、精度が出にくくなります。クロスラーニングは、全品番のデータを1つのモデルに入れ、品番の属性(カテゴリ、価格帯、店舗など)を特徴量として与えます。似た品番の季節パターンや販促への反応を共有できるため、個々の系列が短くても学習できます。
LightGBMがこの方式に向くのは、数百万行規模の表形式データを高速に学習でき、カテゴリ変数や欠損値を扱いやすいためです。モデルが1つなので、品番が数万あっても保守の手間は品番数に比例して増えません。
製造業に当てはめるときの3つの注意
M5は小売の販売データで、製造業の需要とは性質が違います。当てはめるときは次の点に注意します。
- 系列数:M5の4万系列に対し、部品メーカーでは数百〜数千品番のことも多い。系列が少ないとクロスラーニングの利点は小さくなる
- 需要の構造:小売は個人の購買の集積で比較的なめらかだが、製造業の受注は少数の顧客の発注に左右され、内示情報の価値が大きい
- 階層:M5は店舗・州・カテゴリの階層を持っていた。製造業でも品番・製品群・顧客・拠点の階層を特徴量に使うと効果が出やすい
M5の上位手法で使われた特徴量を製造業の言葉に置き換えると、次のようになります。
| M5で使われた情報 | 製造業での対応物 | 主な所在 |
|---|---|---|
| 過去の販売(ラグ・移動平均) | 過去の受注・出荷の実績 | ERP |
| 価格・価格変更 | 価格改定、値引き、為替 | ERP・営業 |
| 販促・イベント | 顧客の新モデル投入、展示会、キャンペーン | 営業 |
| カレンダー(曜日・祝日・SNAP支給日) | 稼働日数、顧客の長期休暇、決算月 | 生産管理 |
| 店舗・カテゴリの階層 | 品番・製品群・顧客・拠点の階層 | ERP・PLM |
M5にはない製造業特有の情報として、顧客からの内示(先行の発注予定)があります。内示は予測の精度を大きく左右することがあり、内示の版(いつ時点の内示か)を保存しておくことが重要です。
製造業で特に効くのは、品番マスタの属性(製品群、材質、顧客、ライフサイクル段階)を特徴量に入れることです。品番マスタが整っていないと、クロスラーニングの強みは発揮できません。手法全体の位置づけは製造業の需要予測AIとは、ツールの選び方は需要予測AIツールの比較を参照してください。
よくある質問
M5の結果は深層学習より勾配ブースティングが優れているという意味ですか?
M5の条件では、LightGBMが上位を占めたという事実です。深層学習が常に劣るという意味ではなく、データ量や系列の性質によって結果は変わります。
品番が数百しかない工場でもクロスラーニングは有効ですか?
有効な場合はありますが、利点は小さくなります。品番ごとの統計モデルと比べ、どちらがナイーブ予測を上回るかで判断してください。
