何が実証されたのか：発表内容の整理
横河電機は2022年3月22日、JSRとともに、強化学習AIで化学プラントを35日間連続で自律制御したと発表しました。発表に含まれる事実を整理すると次のとおりです。
使われたAIは、横河電機と奈良先端科学技術大学院大学が2018年に開発したFKDPP（Factorial Kernel Dynamic Policy Programming）という強化学習アルゴリズムです。MONOistの2022年3月の記事によると、2018年のシミュレータ検証では、4つのバルブと9つのセンサ値の制御を約30回の試行で最適化しています。
対象は蒸留塔で、廃熱を熱源として使う運転でした。廃熱は量や温度が外乱として変動するため、従来のPID制御や高度制御（APC）では対応しにくく、オペレーターが手動で調整していた部分です。報告されている成果は、この外乱下で製品品質を規格内に保ちながら自律制御を続けたことです。
従来の制御と何が違うのか
| 方式 | 仕組み | 得意なこと | 苦手なこと |
|---|---|---|---|
| PID制御 | 目標値との偏差をフィードバック | 単一ループの安定制御 | 複数変数の干渉、大きな外乱 |
| モデル予測制御（APC/MPC） | プロセスモデルで将来を予測し最適な操作量を計算 | 多変数の協調制御 | モデルの作成・保守に手間、モデル外の状況 |
| 強化学習制御 | 試行と報酬から操作方策を学習 | モデル化しにくい非線形・外乱の多い状況 | 学習に試行が必要、安全の保証、説明性 |
強化学習の難しさは、学習に試行錯誤が必要な点です。実機のプラントで試行錯誤はできないため、シミュレータで学習・検証してから実機に移す段取りが不可欠です。FKDPPが約30回という少ない試行で学習できたと報告されている点は、この制約に対する工夫として読めます。
自社で検討するときの適用条件
この事例から、強化学習制御を検討できる工程の条件を整理すると次のようになります（発表内容からの推測を含みます）。
- 外乱が大きく、既存のPIDやAPCでは対応しきれず、オペレーターの手動介入が頻繁に発生している
- 操作するバルブや操作量が数個から十数個程度に限られている
- プロセスの挙動を再現できるシミュレータ（ダイナミックシミュレータ）があるか、作れる
- 品質を判定するための計測値（オンライン分析計やソフトセンサー）がある
- 制御を手動や既存制御に戻す仕組みがDCS側にある
品質を報酬として与えるには、品質値をリアルタイムに近い頻度で知る必要があります。ラボ分析しかない場合は、ソフトセンサーで推定値を作るところから始めることになります。
ENEOS×PFNとの比較で見えること
国内のプラントAI制御では、ENEOSとPreferred Networks（PFN）の石油精製の事例もあります。2024年5月には、ENEOS川崎製油所の原油処理装置で930個の入力センサ・13バルブの同時操作による常時自動運転を始めたと報じられました（Impress Watch, 2024年5月）。
横河電機×JSRは比較的少ない操作量で外乱への適応を示した事例、ENEOS×PFNは大規模な装置で多数のセンサとバルブを扱う事例と、性格が異なります。詳しくはENEOS×PFNの製油所AI自動運転で扱っています。化学業界全体でのAIの使われ方は化学メーカーのAI活用を参照してください。
データ基盤の観点：制御AIを支える3つの要素
制御AIの議論は手法に集中しがちですが、運用の可否はデータ基盤で決まります。
- 高頻度で欠損の少ない時系列：DCSやヒストリアンから秒単位のデータが取れること。ヒストリアンの圧縮設定で変化が丸められていないかを確認する
- 運転モードと品質の記録：どの原料・どの負荷で運転していたか、その時の品質がどうだったかを紐付けて残す
- 介入の記録：オペレーターがAIを切り離した時刻と理由を記録し、学習と評価に戻す
特に3つ目は見落とされやすく、記録がないと「AIがうまく動いていた期間」を正しく評価できません。
よくある質問
強化学習制御はどの業種で使われていますか
公開されている実機事例は化学・石油などプロセス産業が中心です。連続プロセスで外乱が多く、オペレーターの調整負担が大きい工程が対象になりやすいためです。組立加工の工程では、制御よりもスケジューリングやロボットで研究が進んでいます。
既存のAPCを置き換えるものですか
置き換えより補完と考えるのが現実的です。APCが安定して効いている領域はそのまま使い、APCで対応しきれない外乱や非線形の領域に強化学習を適用する、という使い分けが考えられます。
シミュレータがない場合はどうしますか
過去の運転データからプロセスモデルを学習させる方法がありますが、過去に経験していない運転領域の挙動は再現できません。その場合は、制御ではなく、オペレーターへの操作の助言から始めるのが安全です。
この記事に出てくる用語
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
