知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024173121
(43)【公開日】2024-12-12
(54)【発明の名称】運転支援装置、および運転支援方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20241205BHJP
G05B 23/02 20060101ALI20241205BHJP
【ＦＩ】
G06N20/00
G05B23/02 T
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023091291
(22)【出願日】2023-06-02
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】関合 孝朗
(72)【発明者】
【氏名】徳田 勇也
(72)【発明者】
【氏名】堀 嘉成
【テーマコード（参考）】
3C223
【Ｆターム（参考）】
3C223AA01
3C223BA02
3C223CC02
3C223DD03
3C223EB01
3C223EB05
3C223FF03
3C223FF17
3C223FF22
3C223FF26
3C223FF43
3C223GG03
3C223HH02
3C223HH29
(57)【要約】 （修正有）
【課題】詳細な判定条件を設定することなく学習データの充足度を判定し、学習データが不足している範囲を特定する運転支援装置及び方法を提供する。
【解決手段】方法は、制御対象となるプラントから取得した計測信号に基づいて得られる２以上の学習データ群のうち、第１の学習データ群と該データ群を含む第２の学習データ群の各学習データを用いて学習して夫々の学習結果を生成し、学習データ群間で学習データ量が異なる第１の範囲と、第１の学習データ群における第１の範囲以外の範囲である第２の範囲を特定し、２つの学習結果との差分を分析し、計測信号に基づいて得られる２以上の学習データ群の学習データの充足性を評価する際、第１の範囲に対応する範囲の学習結果と第２の範囲に対応する範囲の学習結果とを特定し、第２の範囲に対応する範囲のうち、２つの学習結果の差分が所定の条件を満たす第３の範囲を、学習データが不足している範囲と評価する。
【選択図】図２
【解決手段】方法は、制御対象となるプラントから取得した計測信号に基づいて得られる２以上の学習データ群のうち、第１の学習データ群と該データ群を含む第２の学習データ群の各学習データを用いて学習して夫々の学習結果を生成し、学習データ群間で学習データ量が異なる第１の範囲と、第１の学習データ群における第１の範囲以外の範囲である第２の範囲を特定し、２つの学習結果との差分を分析し、計測信号に基づいて得られる２以上の学習データ群の学習データの充足性を評価する際、第１の範囲に対応する範囲の学習結果と第２の範囲に対応する範囲の学習結果とを特定し、第２の範囲に対応する範囲のうち、２つの学習結果の差分が所定の条件を満たす第３の範囲を、学習データが不足している範囲と評価する。
【選択図】図２
【特許請求の範囲】
【請求項1】
プロセッサとメモリとを有したコンピュータにより、制御対象となるプラントから取得した計測信号に基づいて、前記プラントの操作方法を学習する運転支援装置であって、
前記プロセッサは、
前記計測信号に基づいて得られる２以上の学習データ群のうち、第１の学習データ群と当該第１の学習データ群を含む第２の学習データ群の各学習データを用いて学習して、前記第１の学習データ群を用いて学習した第１の学習結果と前記第２の学習データ群を用いて学習した第２の学習結果とを生成し、
前記第１の学習データ群と前記第２の学習データ群とで学習データ量が異なる範囲を分析し、前記第１の学習データ群と前記第２の学習データ群とで学習データ量が異なる第１の範囲と、前記第１の学習データ群における前記第１の範囲以外の範囲である第２の範囲を特定する第１の分析を実行し、
前記第１の学習結果と前記第２の学習結果との差分を分析する第２の分析を実行し、
前記第１の分析の結果と前記第２の分析の結果とに基づき、前記計測信号に基づいて得られる２以上の学習データ群の学習データの充足性を評価し、
前記学習データの充足性を評価する際、
前記第１の学習結果及び前記第２の学習結果のうち、前記第１の範囲に対応する範囲の学習結果と前記第２の範囲に対応する範囲の学習結果とを特定し、
前記第２の範囲に対応する範囲のうち、前記第１の学習結果と前記第２の学習結果との差分が所定の条件を満たす第３の範囲を特定し、特定された当該第３の範囲を学習データが不足している範囲と評価する、
ことを特徴とした運転支援装置。
前記プロセッサは、
前記計測信号に基づいて得られる２以上の学習データ群のうち、第１の学習データ群と当該第１の学習データ群を含む第２の学習データ群の各学習データを用いて学習して、前記第１の学習データ群を用いて学習した第１の学習結果と前記第２の学習データ群を用いて学習した第２の学習結果とを生成し、
前記第１の学習データ群と前記第２の学習データ群とで学習データ量が異なる範囲を分析し、前記第１の学習データ群と前記第２の学習データ群とで学習データ量が異なる第１の範囲と、前記第１の学習データ群における前記第１の範囲以外の範囲である第２の範囲を特定する第１の分析を実行し、
前記第１の学習結果と前記第２の学習結果との差分を分析する第２の分析を実行し、
前記第１の分析の結果と前記第２の分析の結果とに基づき、前記計測信号に基づいて得られる２以上の学習データ群の学習データの充足性を評価し、
前記学習データの充足性を評価する際、
前記第１の学習結果及び前記第２の学習結果のうち、前記第１の範囲に対応する範囲の学習結果と前記第２の範囲に対応する範囲の学習結果とを特定し、
前記第２の範囲に対応する範囲のうち、前記第１の学習結果と前記第２の学習結果との差分が所定の条件を満たす第３の範囲を特定し、特定された当該第３の範囲を学習データが不足している範囲と評価する、
ことを特徴とした運転支援装置。
【請求項2】
請求項１に記載の運転支援装置であって、
前記プロセッサは、
前記計測信号と前記計測信号から導かれるデータとが配置されたテーブル形式で、前記プラントの状態を定義し、または前記計測信号と前記計測信号から導かれるデータとを所定の手法でクラスタリングすることにより、前記プラントの状態を定義し、
前記定義した状態から得られるモデルに基づいて、前記プラントの特性を状態遷移行列として計算することにより、前記プラントの操作方法を学習する、
ことを特徴とした運転支援装置。
前記プロセッサは、
前記計測信号と前記計測信号から導かれるデータとが配置されたテーブル形式で、前記プラントの状態を定義し、または前記計測信号と前記計測信号から導かれるデータとを所定の手法でクラスタリングすることにより、前記プラントの状態を定義し、
前記定義した状態から得られるモデルに基づいて、前記プラントの特性を状態遷移行列として計算することにより、前記プラントの操作方法を学習する、
ことを特徴とした運転支援装置。
【請求項3】
請求項２に記載の運転支援装置であって、
前記プロセッサは、
前記状態遷移行列と所定の報酬とから得られる、前記プラントの状態の価値、操作量の予測値、目標状態までの操作回数、所定回数の操作で到達できる前記状態の範囲、の少なくとも１つについて、前記差分を計算する、
ことを特徴とした運転支援装置。
前記プロセッサは、
前記状態遷移行列と所定の報酬とから得られる、前記プラントの状態の価値、操作量の予測値、目標状態までの操作回数、所定回数の操作で到達できる前記状態の範囲、の少なくとも１つについて、前記差分を計算する、
ことを特徴とした運転支援装置。
【請求項4】
請求項１に記載の運転支援装置であって、
前記プロセッサは、
前記充足性の評価において、学習データが異なる状態の範囲からの距離が長くなるほど、学習結果への影響を許容する閾値の値を低く設定し、
前記差分が前記閾値の値を超える状態の範囲を、前記学習データが不足している範囲と評価する、
ことを特徴とした運転支援装置。
前記プロセッサは、
前記充足性の評価において、学習データが異なる状態の範囲からの距離が長くなるほど、学習結果への影響を許容する閾値の値を低く設定し、
前記差分が前記閾値の値を超える状態の範囲を、前記学習データが不足している範囲と評価する、
ことを特徴とした運転支援装置。
【請求項5】
請求項４に記載の運転支援装置であって、
前記プロセッサは、
学習結果の変化幅と前記閾値との差に応じて、前記状態の範囲を、カラーマップ、等高線で表示し、または学習結果の変化幅と前記閾値の差が一定以上大きい前記状態の範囲を強調して表示することにより、前記学習データが不足している範囲を提示する、
ことを特徴とした運転支援装置。
前記プロセッサは、
学習結果の変化幅と前記閾値との差に応じて、前記状態の範囲を、カラーマップ、等高線で表示し、または学習結果の変化幅と前記閾値の差が一定以上大きい前記状態の範囲を強調して表示することにより、前記学習データが不足している範囲を提示する、
ことを特徴とした運転支援装置。
【請求項6】
コンピュータにより、制御対象となるプラントから取得した計測信号に基づいて、前記プラントの操作方法を学習する運転支援方法であって、
前記計測信号に基づいて得られる２以上の学習データ群のうち、第１の学習データ群と当該第１の学習データ群を含む第２の学習データ群の各学習データを用いて学習して、
前記第１の学習データ群を用いて学習した第１の学習結果と前記第２の学習データ群を用いて学習した第２の学習結果とを生成し、
前記第１の学習データ群と前記第２の学習データ群とで学習データ量が異なる範囲を分析し、前記第１の学習データ群と前記第２の学習データ群とで学習データ量が異なる第１の範囲と、前記第１の学習データ群における前記第１の範囲以外の範囲である第２の範囲を特定する第１の分析を実行し、
前記第１の学習結果と前記第２の学習結果との差分を分析する第２の分析を実行し、
前記第１の分析の結果と前記第２の分析の結果とに基づき、前記計測信号に基づいて得られる２以上の学習データ群の学習データの充足性を評価し、
前記学習データの充足性を評価する際、
前記第１の学習結果及び前記第２の学習結果のうち、前記第１の範囲に対応する範囲の学習結果と前記第２の範囲に対応する範囲の学習結果とを特定し、
前記第２の範囲に対応する範囲のうち、前記第１の学習結果と前記第２の学習結果との差分が所定の条件を満たす第３の範囲を特定し、特定された当該第３の範囲を学習データが不足している範囲と評価する、
ことを特徴とした運転支援方法。
前記計測信号に基づいて得られる２以上の学習データ群のうち、第１の学習データ群と当該第１の学習データ群を含む第２の学習データ群の各学習データを用いて学習して、
前記第１の学習データ群を用いて学習した第１の学習結果と前記第２の学習データ群を用いて学習した第２の学習結果とを生成し、
前記第１の学習データ群と前記第２の学習データ群とで学習データ量が異なる範囲を分析し、前記第１の学習データ群と前記第２の学習データ群とで学習データ量が異なる第１の範囲と、前記第１の学習データ群における前記第１の範囲以外の範囲である第２の範囲を特定する第１の分析を実行し、
前記第１の学習結果と前記第２の学習結果との差分を分析する第２の分析を実行し、
前記第１の分析の結果と前記第２の分析の結果とに基づき、前記計測信号に基づいて得られる２以上の学習データ群の学習データの充足性を評価し、
前記学習データの充足性を評価する際、
前記第１の学習結果及び前記第２の学習結果のうち、前記第１の範囲に対応する範囲の学習結果と前記第２の範囲に対応する範囲の学習結果とを特定し、
前記第２の範囲に対応する範囲のうち、前記第１の学習結果と前記第２の学習結果との差分が所定の条件を満たす第３の範囲を特定し、特定された当該第３の範囲を学習データが不足している範囲と評価する、
ことを特徴とした運転支援方法。
【請求項7】
請求項６に記載の運転支援方法であって、
前記計測信号と前記計測信号から導かれるデータとが配置されたテーブル形式で、前記プラントの状態を定義し、または前記計測信号と前記計測信号から導かれるデータとを所定の手法でクラスタリングすることにより、前記プラントの状態を定義し、
前記定義した状態から得られるモデルに基づいて、前記プラントの特性を状態遷移行列として計算することにより、前記プラントの操作方法を学習する、
ことを特徴とした運転支援方法。
前記計測信号と前記計測信号から導かれるデータとが配置されたテーブル形式で、前記プラントの状態を定義し、または前記計測信号と前記計測信号から導かれるデータとを所定の手法でクラスタリングすることにより、前記プラントの状態を定義し、
前記定義した状態から得られるモデルに基づいて、前記プラントの特性を状態遷移行列として計算することにより、前記プラントの操作方法を学習する、
ことを特徴とした運転支援方法。
【請求項8】
請求項７に記載の運転支援方法であって、
前記状態遷移行列と所定の報酬とから得られる、前記プラントの状態の価値、操作量の予測値、目標状態までの操作回数、所定回数の操作で到達できる前記状態の範囲、の少なくとも１つについて、前記差分を計算する、
ことを特徴とした運転支援方法。
前記状態遷移行列と所定の報酬とから得られる、前記プラントの状態の価値、操作量の予測値、目標状態までの操作回数、所定回数の操作で到達できる前記状態の範囲、の少なくとも１つについて、前記差分を計算する、
ことを特徴とした運転支援方法。
【請求項9】
請求項６に記載の運転支援方法であって、
前記充足性の評価において、学習データが異なる状態の範囲からの距離が長くなるほど、学習結果への影響を許容する閾値の値を低く設定し、
前記差分が前記閾値の値を超える状態の範囲を、前記学習データが不足している範囲と評価する、
ことを特徴とした運転支援方法。
前記充足性の評価において、学習データが異なる状態の範囲からの距離が長くなるほど、学習結果への影響を許容する閾値の値を低く設定し、
前記差分が前記閾値の値を超える状態の範囲を、前記学習データが不足している範囲と評価する、
ことを特徴とした運転支援方法。
【請求項10】
請求項９に記載の運転支援方法であって、
学習結果の変化幅と前記閾値との差に応じて、前記状態の範囲を、カラーマップ、等高線で表示し、または学習結果の変化幅と前記閾値の差が一定以上大きい前記状態の範囲を強調して表示することにより、前記学習データが不足している範囲を提示する、
ことを特徴とした運転支援方法。
学習結果の変化幅と前記閾値との差に応じて、前記状態の範囲を、カラーマップ、等高線で表示し、または学習結果の変化幅と前記閾値の差が一定以上大きい前記状態の範囲を強調して表示することにより、前記学習データが不足している範囲を提示する、
ことを特徴とした運転支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転支援装置、および運転支援方法に関する。
【背景技術】
【0002】
近年、産業分野への機械学習技術の適用のニーズが高まり、プロセス制御の分野においても機械学習を適用した制御技術の適用事例が増加している。機械学習を実適用する際には、収集したデータを用いて学習を実施するが、この学習データが不足している場合には最適な制御方法を学習できないという課題がある。そのため、適用分野を問わず、学習データを適切に収集するための技術開発が検討されている。
【0003】
例えば、特許文献１に開示されている学習データ収集装置は、農作物を撮像した画像データにメタデータを付加した学習データを複数含む学習データセットと、検索情報とを対応付けて記憶する学習データ記憶部と、複数の撮像デバイスから収集した画像データと、当該画像データに対応するメタデータとを収集するデータ収集部と、収集した画像データに対応するメタデータと、学習データの充足度の判定条件とに基づいて、学習データが充足されているか否かを判定し、充足されていない場合に、不足している学習データを補完するように、データ収集部に画像データ及びメタデータの収集を要求し、充足されている場合に、学習データセットを対応付けて学習データ記憶部に記憶させる充足処理部とを備える。
【0004】
また、特許文献２に開示されている学習装置は、複数件の学習データで構成され、所定の能力を学習器に機械学習させるための第１の学習データ群を取得する学習データ取得部と、前記第１の学習データ群を利用して、前記学習器の機械学習を実施することで、前記所定の能力を学習した第１の学習器を構築する学習処理部と、前記第１の学習器がサンプルデータに対して前記所定の能力を発揮した結果に基づいて、前記第１の学習器の機械学習に利用した学習データの不足件数の程度を評価する不足件数評価部と、を備える。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２１－１４４３８０号公報
【特許文献2】特開２０１８－１９０１４０号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記特許文献１によれば、学習データの充足度を判定条件に基づいて評価し、不足している学習データを特定している。また、特許文献２では、正答率などの指標で学習結果の能力を評価し、学習データの不足件数の程度を求めている。
【0007】
プロセス制御の分野においては、計測しているプロセス値の数が多いこと、機器の運用条件が多岐に渡ることなどから、学習データの充足度を判定する詳細な条件を決定することは難しい。また、学習データを適切に収集するには、学習データの不足件数だけではなく、学習データが不足している範囲に関する情報も取得できることが望ましい。
【0008】
そこで、本発明の目的は、詳細な判定条件を設定することなく学習データの充足度を判定でき、かつ学習データが不足している範囲を特定できる運転支援装置、および運転支援方法を提供することにある。
【課題を解決するための手段】
【0009】
本発明にかかる運転支援装置は、プロセッサとメモリとを有したコンピュータにより、制御対象となるプラントから取得した計測信号に基づいて、前記プラントの操作方法を学習する運転支援装置であって、前記プロセッサは、前記計測信号に基づいて得られる２以上の学習データ群のうち、第１の学習データ群と当該第１の学習データ群を含む第２の学習データ群の各学習データを用いて学習して、前記第１の学習データ群を用いて学習した第１の学習結果と前記第２の学習データ群を用いて学習した第２の学習結果とを生成し、前記第１の学習データ群と前記第２の学習データ群とで学習データ量が異なる範囲を分析し、前記第１の学習データ群と前記第２の学習データ群とで学習データ量が異なる第１の範囲と、前記第１の学習データ群における前記第１の範囲以外の範囲である第２の範囲を特定する第１の分析を実行し、前記第１の学習結果と前記第２の学習結果との差分を分析する第２の分析を実行し、前記第１の分析の結果と前記第２の分析の結果とに基づき、前記計測信号に基づいて得られる２以上の学習データ群の学習データの充足性を評価し、前記学習データの充足性を評価する際、前記第１の学習結果及び前記第２の学習結果のうち、前記第１の範囲に対応する範囲の学習結果と前記第２の範囲に対応する範囲の学習結果とを特定し、前記第２の範囲に対応する範囲のうち、前記第１の学習結果と前記第２の学習結果との差分が所定の条件を満たす第３の範囲を特定し、特定された当該第３の範囲を学習データが不足している範囲と評価する、ことを特徴とした運転支援装置として構成される。
【発明の効果】
【0010】
本発明によれば、詳細な判定条件を設定することなく学習データの充足度を判定でき、かつ学習データが不足している範囲を特定できる。
【図面の簡単な説明】
【0011】
【図1A】運転支援装置およびこれに関連する装置の構成例を説明するブロック図である。
【図1B】コンピュータの概略を示す図である。
【図2】運転支援装置の動作を説明するフローチャート図である。
【図3A】本実施例の適用対象となるプラントの概要の一例を表した図である。
【図3B】目標情報の一例を示す図である。
【図4】本実施例で用いられる測定信号データベースに保存されるデータの一態様を説明する図である。
【図5A】学習部の一例を説明するための図である。
【図5B】学習部の他の一例を説明するための図である。
【図6A】学習部の動作において扱われるデータや数式を説明するための図である。
【図6B】学習部の動作において扱われるデータや数式を説明するための図である。
【図6C】学習部の動作において扱われるデータや数式を説明するための図である。
【図6D】学習部の動作において扱われるデータや数式を説明するための図である。
【図6E】学習部の動作の手順を示すフローチャートである。
【図7A】学習データ分割部、学習データ比較部の動作を説明する図である。
【図7B】学習データ分割部、学習データ比較部の動作を説明する図である。
【図8A】学習結果の例を説明する図である（最適操作量の予測値）。
【図8B】学習結果の例を説明する図である（目標状態までの最小操作回数）。
【図8C】学習結果の例を説明する図である（状態価値関数の形状）。
【図9A】目標状態が可変である場合の学習結果の例を説明する図である。
【図9B】目標状態が可変である場合の学習結果の例を説明する図である（目標状態に追従できる場合）。
【図9C】目標状態が可変である場合の学習結果の例を説明する図である（目標状態に追従できない場合）。
【図10A】学習結果比較部の動作を説明する図である。
【図10B】学習結果比較部の動作を説明する図である。
【図10C】学習結果比較部の動作を説明する図である。
【図11A】充足性評価部の動作を説明する図である。
【図11B】充足性評価部の動作を説明する図である。
【発明を実施するための形態】
【0012】
以下、図面を参照して本発明の実施形態を説明する。実施例は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
【0013】
各種情報の例として、「テーブル」、「リスト」、「キュー」等の表現にて説明することがあるが、各種情報はこれら以外のデータ構造で表現されてもよい。例えば、「ＸＸテーブル」、「ＸＸリスト」、「ＸＸキュー」等の各種情報は、「ＸＸ情報」としてもよい。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。
【0014】
同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
【0015】
実施例において、プログラムを実行して行う処理について説明する場合がある。ここで、計算機は、プロセッサ（例えばＣＰＵ、ＧＰＵ）によりプログラムを実行し、記憶資源（例えばメモリ）やインターフェースデバイス（例えば通信ポート）等を用いながら、プログラムで定められた処理を行う。そのため、プログラムを実行して行う処理の主体を、プロセッサとしてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路を含んでいてもよい。ここで、専用回路とは、例えばＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）等である。
【0016】
プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、実施例において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【0017】
本実施例で示す各装置は、例えば、図１Ｂ（コンピュータ概略図）に示すような、ＣＰＵ１６０１と、メモリ１６０２と、ＨＤＤ(Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ)等の外部記憶装置１６０３と、ＣＤ(Ｃｏｍｐａｃｔ Ｄｉｓｋ)やＵＳＢメモリ等の可搬性を有する記憶媒体１６０８に対して情報を読み書きする読書装置１６０７と、マイク、キーボード、マウスといった音声を含む各種情報の入力を受け付ける入力装置１６０６と、入力され、処理に用いられる各種情報を出力するディスプレイ等の出力装置１６０５と、通信ネットワークに接続するためのＮＩＣ(Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ)等の通信装置１６０４と、これらを連結するシステムバス等の内部通信線(システムバスという)１６０９と、を備えた一般的なコンピュータ１６００により実現できる。図１Ｂでは、コンピュータ１６００が上述した出力装置１６０５を有する前提で記載したが、本実施例のように、出力装置が外部に設けられ、両者が互いに通信することにより、同様の機能を実現してよい。
【0018】
また、各装置に記憶され、あるいは処理に用いられる様々なデータは、ＣＰＵ１６０１がメモリ１６０２または外部記憶装置１６０３（例えば、後述する計測信号データベース（図ではＤＢと記載。以下本文についても同様。）３００、学習ＤＢ６１０、学習結果ＤＢ６２０）から読み出して利用することにより実現可能である。また、これらの装置が有する各機能部（例えば、後述する学習データ充足性評価部４００、学習データ分割部５００、学習部５１０、学習データ比較部５２０、学習結果比較部５３０、充足性評価部５４０、充足性可視化部７００、運転支援装置動作制御部８００）は、ＣＰＵ１６０１が外部記憶装置１６０３に記憶されている所定のプログラムをメモリ１６０２にロードして実行することにより実現可能である。
【0019】
上述した所定のプログラムは、読書装置１６０７を介して記憶媒体１６０８から、あるいは、通信装置１６０４を介してネットワークから、外部記憶装置１６０３に記憶(ダウンロード)され、それから、メモリ１６０２上にロードされて、ＣＰＵ１６０１により実行されるようにしてもよい。また、読書装置１６０７を介して、記憶媒体１６０８から、あるいは通信装置１６０４を介してネットワークから、メモリ１６０２上に直接ロードされ、ＣＰＵ１６０１により実行されるようにしてもよい。
【0020】
以下では、後述する運転支援装置が、ある１つのコンピュータにより構成される場合を例示するが、これらの機能の全部または一部が、クラウドのような１または複数のコンピュータに分散して設けられ、ネットワークを介して互いに通信することにより同様の機能を実現してもよい。
【0021】
図１Ａは、本実施例に係る運転支援装置２００、およびこれに関連する装置の構成例を説明するブロック図である。本実施例では、運転支援装置２００は、制御装置１２０や、制御対象である機器１１０を含むプラント１００、及び外部装置９００と接続されている。
【0022】
図１Ａの運転支援装置２００は、一般には、上述したような計算機装置（コンピュータ）により構成されている。つまり、ＣＰＵの如き演算装置がプログラムに従って各種処理機能を実行する。
【0023】
その演算装置における処理機能を模式的に示すならば、学習用のデータの充足性を評価する学習データ充足性評価部４００、学習データ充足性評価部４００での評価結果を可視化する学習データ充足性可視化部７００、運転支援装置２００全体の動作を制御する運転支援装置動作制御部８００を備えたものということができる。また、学習データ充足性評価部４００には、学習データ分割部５００、学習部５１０、学習データ比較部５２０、学習結果比較部５３０、充足性評価部５４０を備えている。
【0024】
運転支援装置２００における各部の動作である処理機能の詳細については、図２以降で説明する。なお、上述した各部は、上記のとおりハードウェアとしても実現できる。ここで、本実施例では、各構成要素を「～部」と表現しているが、「～ユニット」などとその表現は問わない。
【0025】
運転支援装置２００は、データベースとして計測信号ＤＢ３００、学習ＤＢ６１０、学習結果ＤＢ６２０を備える。
【0026】
各データベースには、電子化された情報が保存されており、通常電子ファイル（電子データ）と呼ばれる形態で情報が保存される。尚、これらＤＢについては、運転支援装置２００の外部に設け、ネットワークを介して接続可能な構成でもよい。
【0027】
また、運転支援装置２００は、外部とのインターフェイスとして、外部入力インターフェイス２１０及び外部出力インターフェイス２２０を備える。そして、運転支援装置２００は、これらを介して、適用対象であるプラント１００、及び外部装置９００に接続している。
【0028】
プラント１００は、制御装置１２０と機器１１０を有して構成される。ここで、機器１１０が制御装置１２０にセンサ信号１３０を送信し、制御装置１２０が機器１１０に操作信号１４０を送信する。
【0029】
外部装置９００には、キーボード９２０やマウス９３０で実現される外部入力装置９１０と、画像表示装置９４０が備えられている。外部装置９００は、計算機装置（コンピュータ）に接続されている。また、外部装置９００は、端末装置として実現でき、タブレット、スマートフォン、ノートＰＣなどが含まれる。
【0030】
センサ信号１３０と操作信号１４０を含む計測信号１、および外部入力装置９１０で生成された外部入力信号２は、運転支援装置２００に送信される。運転支援装置２００では計測信号１、外部入力信号２を処理して外部出力信号１４を生成し、画像表示装置９４０に送信する。
【0031】
運転支援装置２００のユーザは、キーボード９２０、マウス９３０を操作することで外部入力信号２を生成し、運転支援装置２００に保存されているデータを画像表示装置９４０に表示することができる。画像表示装置９４０には、例えば、図４－図１１を用いて、後述するデータベースの態様、演算部の動作結果などを表示可能である。
【0032】
尚、本実施例の運転支援装置２００においては、計算機装置を構成する演算装置、およびデータベースＤＢが運転支援装置２００の内部に備えられている例を示している。但し、上述したように、これらの一部の装置を運転支援装置２００の外部に配置し、データのみを装置間で通信するようにしてもよい。
【0033】
また、本実施例には、運転支援装置２００を用いた方法も含まれることは言うまでもない。また、本実施例では運転支援装置２００の適用対象であるプラント１００を制御装置１２０と機器１１０で構成しているが、この構成以外の設備としても実施可能であることは言うまでもない。
【0034】
また、本実施例では図示していないが、学習部５１０で学習した結果を制御装置１２０に送信し、学習結果に従って機器１１０を制御することも可能である。
【0035】
図２は、運転支援装置２００の動作を説明するフローチャート図である。尚、運転支援装置動作制御部８００は、運転支援装置２００に備えられている演算装置を本フローチャートに従って動作させる役割を持つ。
【0036】
図２における処理ステップ１０００では、運転支援装置２００は、外部入力インターフェイス２１０を介して、プラント１００から計測信号１を取得し、計測信号３を計測信号データベース３００に保存する。計測信号３には、プラント１００で測定したセンサ信号１３０、操作信号１４０が含まれる。計測信号データベース３００に保存されるデータの態様は、図４を用いて後述する。
【0037】
処理ステップ１０１０からステップ１０６０は、運転支援装置２００は、学習データ充足性評価部４００を動作させて実行する。
【0038】
処理ステップ１０１０では、運転支援装置２００は、学習データ分割部５００を動作させて、計測信号データベース３００に保存されている計測信号４を複数の学習データ５に分割し、それぞれ学習データデータベース６１０に保存する。本実施例では、学習データ分割部５００が、計測信号４を学習データＡと学習データＢの２つに分割した場合、すなわち、学習データＡを格納する学習データＤＢ６１０ａと、学習データＢを格納する学習データＤＢ６１０ｂの２つに分割した場合について述べるが、データ分割数は２つに限らず任意の数に分割することもできる。
【0039】
処理ステップ１０２０では、学習データ充足性評価部４００は、学習部５１０を動作させて、学習データ６の入力に対して学習結果７を出力し、学習結果データベース６２０に保存する。学習部５１０の動作内容は、図５を用いて後述する。
【0040】
処理ステップ１０３０では、学習データ充足性評価部４００は、全学習部が動作、すなわち全ての学習データの組み合わせについて学習部を動作させたかどうかを判定する。判定がＹｅｓの場合はステップ１０４０に進み、判定がＮｏの場合はステップ１０２０に戻る。
【0041】
図１Ａでは、２種類の学習データについて、学習データ充足性評価部４００が学習部５１０を動作させることを想定している。すなわち、学習部５１０は、学習データ６ａ（学習データＡ）で学習した結果を、学習結果Ａとして格納する学習結果ＤＢ６２０ａに保存する。また、学習部５１０は、学習データ６ａ（学習データＡ）と学習データ６ｂ（学習データＢ）とで学習した結果を、学習結果Ａ＋Ｂとして学習結果ＤＢ６２０ｂに保存する。この場合、図２のステップ１０３０では、２種類の学習データの全てに対して学習部５１０が動作した場合に、判定がＹｅｓとなる。
【0042】
また、処理ステップ１０１０において、データ分割数が２つを超える場合には、学習部では分割したデータを任意に組み合わせた第１の学習データ群と、当該第１の学習データ群に異なるデータ群を追加した第２の学習データ群の各学習データを用いて学習することとなる。
【0043】
次に、処理ステップ１０４０では、学習データ充足性評価部４００は、学習データ比較部５２０を動作させて、学習データ８の入力に対して学習データ比較結果９を生成して、生成した学習データ比較結果９を充足性評価部５４０に送信する。学習データ比較部５２０の詳細は図６を用いて後述するが、学習データ比較部５２０は、学習データＡと学習データＡ＋Ｂの分布や学習データ数などを比較する。
【0044】
処理ステップ１０５０では、学習データ充足性評価部４００は、学習結果比較部５３０を動作させて、学習結果１０の入力に対して学習結果比較結果１１を生成して、生成した学習結果比較結果１１を充足性評価部５４０に送信する。学習結果比較部５３０の詳細は図７Ａ－図９Ｃを用いて後述するが、学習結果比較部５３０は、学習結果Ａと学習結果Ａ＋Ｂの違いを分析する。
【0045】
処理ステップ１０６０では、学習データ充足性評価部４００は、充足性評価部５４０を動作させて、学習データ比較結果９と学習結果比較結果１１の入力に対して学習データ充足性評価結果１２を生成し、生成した学習データ充足性評価結果１２を充足性可視化部７００に送信する。充足性評価部５４０の詳細は、図１０を用いて後述する。
【0046】
処理ステップ１０７０では、運転支援装置２００は、充足性可視化部７００を動作させて、学習データ充足性評価結果１２の入力に対して学習データ充足性可視化データ１３を生成する。そして、充足性可視化部７００は、生成した学習データ充足性可視化データ１３を、外部出力インターフェイス２２０を介して、外部出力信号１４として画像表示装置９４０に送信する。画像表示装置９４０に表示する学習データ充足性可視化データ１３の内容は、図１１を用いて後述する。
【0047】
図３Ａは、本実施例で適用対象となるプラント１００の概要の一例を表した図である。プラント１００は、重合反応によりポリマーを製造するバッチプラントである。主要な構成要素は、反応槽１１１、ジャケット１１２、攪拌翼１１３、ポンプ１１４、バルブ１１５である。反応槽１１１には、原料であるモノマーが溶媒と一緒に投入され、開始剤によりモノマーの重合反応が開始される。運転時には、投入されたモノマーなどができるだけ均一になるように攪拌翼１１３により攪拌される。また、反応槽１１１に取り付けられた温度調節用のジャケット１１２には、温度が調節された水がポンプ１１４で送られ、反応槽内で計測された温度Ｔｒが目標となる温度に制御される。
【0048】
次に、反応槽の温度Ｔｒの調節方法について詳細に説明する。本実施例では、反応槽内の温度Ｔｒをコントロールするために、ジャケット１１２の入口温度Ｔｃを変更する方式とした。具体的には、計測された温度Ｔｒがコントローラ１１６aに入力され、コントローラ１１６aは、上記温度Ｔｒと上記温度Ｔｒの目標値ＳＶ１とを比較し、ジャケット入口温度Ｔｃの設定値（ＳＶ２）をコントローラ１１６ｂに与える。例えば、コントローラ１１６aは、上記温度Ｔｒが上記目標値ＳＶ１よりも高ければ、ジャケット入口温度Ｔｃの設定値ＳＶ２を下げる方向に調節し、上記温度Ｔｒが上記目標値ＳＶ１よりも低ければ、ジャケット入口温度Ｔｃの設定値を上げる方向に調節する。コントローラ１１６ｂは、ジャケット入口温度Ｔｃの設定値ＳＶ２と、温度センサにより計測されたジャケット入口温度Ｔｃの実測値とを比較し、ジャケット入口温度Ｔｃの実測値がジャケット入口温度Ｔｃの設定値ＳＶ２に近づくような操作量ＭＶにより、バルブ１１５a、１１５ｂの開度を調節する。
【0049】
【0050】
図３Ｂは、目標情報１１７の一例を示す図である。本実施例では、反応槽の温度Ｔｒ１を時刻ｔ１から時刻ｔ２の間に温度Ｔｒ２まで上昇させ、その後、温度Ｔｒ２を一定で制御することを目標としている。そのため、反応槽内で計測された温度Ｔｒの目標値の時間的な推移が目標情報１１７として記憶されている。
【0051】
図４は、本実施例で用いられる計測信号データベース３００に保存されるデータの一態様を説明する図である。計測信号データベース３００には、データ項目毎の時系列データがサンプリング周期毎に保存される。本実施例におけるデータ項目の例としては、センサ信号１３０である反応槽の温度Ｔｒ、ジャケット入口温度Ｔｃや、操作信号１４０である操作量ＭＶなどが挙げられる。図４では、例えば、データ項目Ｘ１として、反応槽の温度Ｔｒが、時刻「０：００」から１分間隔で記憶されていることを示している。ジャケット入口温度Ｔｃや操作量ＭＶなどについても同様に記憶される。
【0052】
【0053】
学習部５１０は、状態遷移モデルを有する。状態遷移モデルは、ある状態からある行動をとった際に遷移する状態を確率付きで定義したモデルである。したがって、状態遷移モデルを作成するためには、まず、状態、行動、遷移時間の３つを定義する必要がある。
【0054】
状態とは、例えば、制御対象が今どうなっているかを表すものである。つまり、状態とは、現時点における制御対象の様子や挙動を表すものであり、例えば、ある時点における反応槽の温度Ｔｒが上記状態として挙げられる。また、目標状態とは、目標情報により制御される制御対象の状態を表すものであり、例えば、プラント１００の反応槽の温度Ｔｒが目標値ＳＶ１やＳＶ１’になる状態が挙げられる。本実施例では、一例として、状態を、反応槽の温度Ｔｒとその変化量ｄＴｒを組合せたテーブル形式で表現した。具体的には、図５Ａに示すように、反応槽の温度Ｔｒの最小値Ｔｒ＿ｍｉｎと最大値Ｔｒ＿ｍａｘ、及び反応槽の温度Ｔｒの変化量ｄＴｒの最小値ｄＴｒ＿ｍｉｎと最大値ｄＴｒ＿ｍａｘを境界として、それぞれ２０分割した４００個の状態を定義した。すなわち、図５Ａでは、状態を、計測信号から得られる制御対象の状態を示すデータ（例えば、反応槽の温度Ｔｒ）や、当該状態から導かれるデータ（例えば、反応槽の温度Ｔｒの変化量ｄＴｒ）をマトリックス状に配置したテーブル形式で定義している。
【0055】
また、行動は、一例として、反応槽の温度Ｔｒを、１℃単位で離散化した設定値への遷移とし、遷移時間は、１０秒とした。
【0056】
また、図５Ｂに示すように、データクラスタリング技術を用いて状態を表現することも可能である。本実施例では、データクラスタリング技術の一例として、適応共鳴理論を用いた。図５Ｂに、適応共鳴理論を用いた場合の状態定義の方法を示す。図５Ａと同様に、横軸を反応槽の温度Ｔｒ、縦軸を反応槽の温度Ｔｒの変化量ｄＴｒとし、過去の運転データを黒丸としてプロットしたものである。図５Ｂに示すように、反応槽の温度Ｔｒの最小値Ｔｒ＿ｍｉｎ付近から、反応槽の温度Ｔｒの最大値Ｔｒ＿ｍａｘ付近まで昇温するプロセスでは、上記温度Ｔｒの変化量ｄＴｒが小さな値をとるときは上記温度Ｔｒの最小値Ｔｒ＿ｍｉｎ付近または、上記温度Ｔｒの最小値Ｔｒ＿ｍａｘ付近の運転データのみである。そのため、その間の範囲では、上記温度Ｔｒの変化量ｄＴｒは比較的大きな値となるため、運転データが存在しない範囲ＲＮがある。適応共鳴理論を用いて、破線の円ＣＣで示したように、運転データを一定の塊り毎に分類したカテゴリーを生成する。そのため、運転データがない範囲にカテゴリーは生成されない。したがって、カテゴリーを状態として定義することで、必要な数だけ状態を定義することができる。尚、本実施例ではデータクラスタリング技術として適用共鳴理論を用いた場合について説明したが、ベクトル量子化など、別のデータクラスタリング手法を用いてデータを離散化しても良い。
【0057】
さらに、学習部５１０は、図５Ａ、５Ｂに示した手法を、計測信号から得られる制御対象の状態を示すデータの種類に応じて切り替えてもよい。例えば、学習部５１０は、反応槽の温度Ｔｒの状態を定義する場合には図５Ａに示した手法を用い、反応槽の温度Ｔｒの変化量ｄＴｒの状態を定義する場合には図５Ｂに示した手法を用いてもよい。これにより、上記制御対象の状態を示すデータの種類に応じた相応しい状態の定義が可能となる。
【0058】
あるいは、ある１つの種類の状態を定義する場合でも、定義する時間帯に応じて、これらの手法を切り替えて用いてもよい。これにより、上記制御対象の状態が時間的に異なる特性を有する場合でも、適切な状態の定義が可能となる。
【0059】
次に、図６Ａ－Ｅを用いて学習部５１０の動作を説明する。図６Ａ－６Ｄは、学習部５１０の動作において扱われるデータや数式を説明するための図である。また、図６Ｅは、学習部５１０の動作の手順を示すフローチャートである。学習部５１０では、状態遷移モデルを用いて無限時間ステップ先のあらゆる将来状態を予測し、最適な制御則を計算する。尚、学習部５１０は下記で述べる方法に限らず、強化学習、遺伝的アルゴリズムなどの最適操作を学習する方法であれば良い。
【0060】
学習部５１０では、まず状態遷移モデルを用いて、減衰型状態遷移行列を計算する（ステップ２０００）。減衰型状態遷移行列Ｄを計算する方法の一例を、以下の（１）式に示す。なお、（１）式の例では、モデルの保存形式を状態遷移確率行列Ｔと仮定した。
Ｄ ＝ Ｔ ＋ γＴ２ ＋ γ２Ｔ３ ＋ … ＋ γ∞－１Ｔ∞ （１）
ここで、γは減衰率とよぶ０以上で１未満の定数である。また、ＴｋはΔｔ×ｋの時間が経過した際の、すべての状態間の遷移確率を保存する関数（または行列）である。このように、減衰型状態遷移行列Ｄは、Δｔ時間経過後の状態遷移確率行列ＴからΔｔ×∞時間経過後の状態遷移確率行列Ｔ∞までの和であり、すべての状態間の統計的な近さを保存する行列でもある。また、遠い将来に遷移する状態ほど重みを下げるため、経過時間に応じて減衰率γを掛けている。
Ｄ ＝ Ｔ ＋ γＴ２ ＋ γ２Ｔ３ ＋ … ＋ γ∞－１Ｔ∞ （１）
ここで、γは減衰率とよぶ０以上で１未満の定数である。また、ＴｋはΔｔ×ｋの時間が経過した際の、すべての状態間の遷移確率を保存する関数（または行列）である。このように、減衰型状態遷移行列Ｄは、Δｔ時間経過後の状態遷移確率行列ＴからΔｔ×∞時間経過後の状態遷移確率行列Ｔ∞までの和であり、すべての状態間の統計的な近さを保存する行列でもある。また、遠い将来に遷移する状態ほど重みを下げるため、経過時間に応じて減衰率γを掛けている。
【0061】
状態遷移確率行列Ｔから状態遷移確率行列Ｔ∞までの計算を必要とする（１）式は、実時間以内の計算が困難である。そこで（１）式を以下の（２）式に変換する。
Ｄ ＝ Ｔ （Ｅ － γＴ）－１ （２）
ここで、Ｅは単位行列である。（２）式は（１）式と等価の計算式である。（１）式の状態遷移確率行列Ｔから状態遷移確率行列Ｔ∞までの和の計算を、（２）式では（Ｅ－γＴ）の逆行列に変換することによって、有限時間以内に（１）式と同じ計算結果が得られる。ここで、状態遷移確率行列Ｔが線形独立でない場合は、擬似逆行列を用いても良い。また、減衰型状態遷移行列Ｄの代わりに、減衰型状態遷移行列を各行で正規化した行列を用いても良い。
Ｄ ＝ Ｔ （Ｅ － γＴ）－１ （２）
ここで、Ｅは単位行列である。（２）式は（１）式と等価の計算式である。（１）式の状態遷移確率行列Ｔから状態遷移確率行列Ｔ∞までの和の計算を、（２）式では（Ｅ－γＴ）の逆行列に変換することによって、有限時間以内に（１）式と同じ計算結果が得られる。ここで、状態遷移確率行列Ｔが線形独立でない場合は、擬似逆行列を用いても良い。また、減衰型状態遷移行列Ｄの代わりに、減衰型状態遷移行列を各行で正規化した行列を用いても良い。
【0062】
このように、学習部５１０は、模擬対象の挙動（例えば、反応槽内の温度Ｔｒの変化）を模擬するモデルを状態遷移モデルとすることで、Ｔｋの計算でΔｔ×ｋ時間後の状態遷移確率を計算する。また、学習部５１０は、Δｔ時間経過後の状態遷移確率行列ＴからΔｔ×∞時間経過後の状態遷移確率行列Ｔ∞までの和をとり、経過時間によって減衰率γによる重み付けによって、Δｔ×∞時間経過後を考慮した状態遷移確率を、有限時間以内に計算する。ステップ２０００において、減衰型状態遷移行列が計算されることにより、任意の時刻において、プラントの特性を表すすべての状態間の遷移確率が求められる。
【0063】
次に、学習部５１０では、報酬関数信号に基づいて最適な制御則を計算する（ステップ２０１０）。ここで、報酬関数信号は、目標温度や目標温度変化率などの制御目標を、関数、表、ベクトル、行列などの形式で表現される関数である。本実施例では、このベクトルの要素値や、報酬関数の値を報酬と呼ぶ。
【0064】
報酬関数がベクトル形式の場合の一例を、図６Ａに示す。図６Ａでは、状態ｓは全体を範囲に区切ってｎ分割した離散空間として扱っており、初期の状態から状態ｓ３へ遷移することを目標とした。ベクトルの要素値は、状態ｓ３を１、その他の状態を０とした。本実施例では、報酬関数をベクトル形式で定義したが、状態が望ましい値に近づくほど報酬の値が高くなるような関数として定義しても良い。
【0065】
そして、学習部５１０は、減衰型状態遷移行列Ｄと、報酬関数Ｒから、最適な制御則を計算する。制御則の一例を、図６Ｂに示す。図６Ｂでも、状態ｓは全体を範囲に区切ってｎ分割した離散空間として扱っており、各状態の範囲に対して最適な操作量ａｃ（ｃ＝１，２，…ｍ））が保存されている。最適な操作量ａｃの計算方法については後述する。
【0066】
最適な制御則を計算する方法の一例を、以下に示す。本例では、最適な制御則を求めるために以下の３段階で計算する。
【0067】
段階１：まず、学習部５１０は、各状態ｓと報酬関数Ｒで目標とする状態ｓｇｏａｌとの近さ（または遷移しやすさを示す統計的な指標）を保存する関数を計算する。この関数を、本実施例では状態価値関数Ｖと呼ぶこととする。また、状態価値関数Ｖは、関数以外にも表、ベクトル、行列など形式で保存してもよく、本実施例において保存形式は限定しない。状態価値関数Ｖの計算方法の一例を以下の（３）式に示す。
Ｖ ＝ ＤＲｔｒ （３）
上記（３）式に示すように、状態価値関数Ｖは、減衰型状態遷移行列Ｄと報酬関数Ｒの転置行列であるＲｔｒとの積である。例えば、状態価値関数Ｖは、図６Ｃ示すようなｎ次元のベクトルとなる。状態価値関数Ｖの要素値は、目標とする状態ｓｇｏａｌへ遷移しやすい状態ほど高い。本実施例では、この要素値を価値と呼ぶこととする。また、本実施例の状態価値関数Ｖは、強化学習法での状態価値関数の定義と値が等価となる。
Ｖ ＝ ＤＲｔｒ （３）
上記（３）式に示すように、状態価値関数Ｖは、減衰型状態遷移行列Ｄと報酬関数Ｒの転置行列であるＲｔｒとの積である。例えば、状態価値関数Ｖは、図６Ｃ示すようなｎ次元のベクトルとなる。状態価値関数Ｖの要素値は、目標とする状態ｓｇｏａｌへ遷移しやすい状態ほど高い。本実施例では、この要素値を価値と呼ぶこととする。また、本実施例の状態価値関数Ｖは、強化学習法での状態価値関数の定義と値が等価となる。
【0068】
段階２：次に、学習部５１０は、状態価値関数Ｖを用いて、遷移元の状態ｓｉから遷移できる遷移先の状態ｓｊの中で、最も目標とする状態ｓｇｏａｌへ遷移しやすい状態ｓｊ＊を、遷移元の各状態ｓｉについて計算する。状態ｓｊ＊の計算方法の一例を、以下の（４）式に示す。
ｓｊ＊ ＝ ａｒｇｍａｘ（Ｖ（ｓｊ）Ｔ（ｓｉ，ｓｊ） （４）
ここで、Ｖ（ｓｊ）は、状態ｓｊにおける価値である。また、Ｔ（ｓｉ，ｓｊ）とは、状態遷移確率行列Ｔにおけるｓｉ行、ｓｊ列の要素値であり、状態ｓｉから状態ｓｊに遷移する確率である。これらを乗算した（４）式の計算結果の一例を、図６Ｄに示す。
ｓｊ＊ ＝ ａｒｇｍａｘ（Ｖ（ｓｊ）Ｔ（ｓｉ，ｓｊ） （４）
ここで、Ｖ（ｓｊ）は、状態ｓｊにおける価値である。また、Ｔ（ｓｉ，ｓｊ）とは、状態遷移確率行列Ｔにおけるｓｉ行、ｓｊ列の要素値であり、状態ｓｉから状態ｓｊに遷移する確率である。これらを乗算した（４）式の計算結果の一例を、図６Ｄに示す。
【0069】
段階３：最後の段階では、学習部５１０は、遷移元の各状態ｓｉから、段階２で得られた状態ｓｊ＊へ遷移するために必要な操作量ａを計算する。操作量ａの計算は、逆モデル（遷移元の状態ｓｉと状態ｓｊ＊とを入力として、対応する操作量ａを出力するモデル）を求めることで計算できる。段階３の計算結果は、例えば、図６Ｄに示したような制御則が得られる。
【0070】
このように、学習部５１０は、上記（３）式で価値を計算することによって、各状態におけるｓｇｏａｌへの遷移のし易さについて評価することができる。学習部５１０は、上記（４）式によって、Δｔ時間経過によって遷移できる状態のうち、最もｓｇｏａｌへ遷移し易い状態ｓｊ＊を特定し、上述した逆モデルによって、状態ｓｊ＊へ遷移するための操作量ａを特定している。
【0071】
図７Ａ、７Ｂは、学習データ分割部５００、学習データ比較部５２０の動作を説明する図である。尚、図７Ａ、７Ｂにおける縦軸、横軸は状態であり、図５Ａ、５Ｂと同様に、反応槽の温度Ｔｒとその変化量ｄＴｒである。
【0072】
図７Ａは、学習データ分割部５００で分割したデータが存在している範囲を説明する図である。ステップ１０１０において説明したように、学習データ分割部５００では、計測信号を、「データＡ」と「データＢ」の２つに分割する。学習データ分割部５００は、「データＡ」である第１の学習データ、「データＡ＋データＢ」である第２の学習データを学習部５１０に入力して、それぞれ学習させる。
【0073】
尚、図７Ａでは、データを２つに分割した場合について説明したが、分割数や学習データの組み合わせは任意に設定できる。例えば、学習データ分割部５００が、「データＡ」「データＢ」「データＣ」に分割する。そして、学習部５１０が、第１の学習データを「データＡ」、第２の学習データを「データＡ＋Ｂ」として学習し、その後、第１の学習データを「データＡ」、第２の学習データを「データＡ＋Ｂ＋Ｃ」として学習し、それぞれの結果で後の処理を実施するなど、分割数や学習データの組み合わせは任意に設定できる。
【0074】
図７Ｂは、学習データ比較部５２０の動作を説明する図であり、状態空間における学習データ数に差のある範囲を示している。第１の学習データと第２の学習データの違いは、「データＢ」の有無であるので、図７Ｂは、「データＢ」の存在する範囲７０１が示されることになる。尚、図７Ｂでは、学習データ数に差のある範囲を可視化しているが、升目の中に学習データ数の差を表示することや、学習データ数の差をカラーマップで表示するようにしても良い。
【0075】
また、状態定義にデータクラスタリングを用いた場合は、学習データ比較部５２０では、各カテゴリーに属する学習データ数の差、学習データが存在するカテゴリー番号の違いなどを求め、その結果を図７Ｂと同様な方法で表示することもできる。
【0076】
【0077】
図８Ａは、最適操作量の予測値を説明する図である。本図は、図７Ａ、７Ｂで示した状態空間の一部を抜粋して拡大した図である。本図は、図６Ｂで示した状態と操作量の関係について、縦軸と横軸を状態として数値化して図示したものであり、各状態空間の最適操作の傾向を可視化した結果である。本結果を確認することで、状態と最適操作の関係を把握できる。図８Ａでは、例えば、目標とする状態ｓｇｏａｌとなる状態ｓ３（数値「０」）となるためには、状態ｓ１（数値「－２」）において操作量「２」が必要であり、状態ｓ２（数値「－３」）において操作量「３」が必要であり、状態ｓ３（数値「－５」）において操作量「５」が必要であることを示している。このような可視化により、ユーザは、目標とする状態ｓｇｏａｌまでに、どのような操作量が、あとどの程度必要であるのかを、容易かつ直観的に把握することができるようになる。
【0078】
図８Ｂは、目標状態までの最小操作回数を説明する図であり、各状態空間からスタートして、目標状態にたどり着くまでに必要な操作回数を可視化した画面である。数字が０の場合は、その状態から直接目標状態に遷移できることを示す。また、数字の無い状態空間は目標状態へのルートは存在しないことを示している。図８Ｂでは、例えば、目標とする状態ｓｇｏａｌとなる状態ｓ３（数値「０」）となるためには、状態ｓ１（数値「８」）において８回の操作が必要であり、状態ｓ２（数値「１」）において１回の操作が必要であり、状態ｓ３（数値「１０」）において１０回の操作が必要であることを示している。
【0079】
このような可視化により、ユーザは、目標とする状態ｓｇｏａｌまでに、あとどの程度の回数の操作が必要であるのかを、容易かつ直観的に把握することができるようになる。また、直接目標状態に遷移できる状態の範囲を、一見して把握することができるようになる。尚、図８Ａ、８Ｂでは、数字で学習結果６２０を表現しているが、等高線図、カラーマップ等で学習結果６２０を表現し、これらの学習結果６２０を画像表示装置９４０に表示することもできる。
【0080】
また、図８Ｃは、状態価値関数の形状を説明する図であり、状態を離散化した場合の状態とその状態における価値の関係を示した図である。図８Ｃに示した関係は、例えば、図６Ｃを用いて説明したように、学習部５１０により算出された状態価値関数Ｖに基づいて図示することができる。図８Ｃでは、例えば、範囲８０１で示す状態ｓ３が、状態価値観数の値が最も高いことを示している。このような可視化により、ユーザは、状態価値観数の値が最も高い状態や、状態間における価値の関係を、容易かつ直観的に把握することができるようになる。
【0081】
図９Ａ～９Ｃは、目標状態が可変である場合の学習結果６２０の例である。図９Ａに示すように、目標状態がＳ５００からＳ５０１に変化する時間の間に、所定の回数（Ｎ回）の操作が可能である場合の例で説明する。図９Ｂ、９Ｃは、異なる学習データで学習した学習結果の例であり、Ｓ５００からスタートしてＮ回の操作で到達できる範囲９０１、９０２を示している。図９Ｂに示すように、状態Ｓ５００からＮ回の操作で到達可能な範囲９０１に状態Ｓ５０１が含まれている場合は、目標状態の変化に追従できる。
【0082】
一方、図９Ｃに示すように、Ｎ回の操作で到達可能な範囲９０２に状態Ｓ５０１が含まれない場合は、目標状態に追従できないことを意味する。このように、ある目標状態から異なる目標状態に目標状態が変化する場合において、変化前後の目標状態と、所定の操作量で到達可能な状態の範囲とを表示することで、ユーザは、どの程度の操作量で操作すれば、変化する目標状態に追従できるのかを、容易かつ直観的に把握することができるようになる。図９Ａ、９Ｂでは、変化前後の目標状態と、所定の操作量で到達可能な状態の範囲とを重畳表示しているが、これらを対応付けて別個の表示画面や表示領域に表示させる等、他の態様でユーザに提示してもよい。
【0083】
【0084】
図１０Ａ～１０Ｃは、学習結果比較部５３０の動作を説明する図であり、状態価値関数の形状を比較した場合の例である。学習結果比較部５３０では、「データＡ」での学習結果と「データＡ＋Ｂ」での学習結果を比較し、その違いを分析する。
【0085】
図１０Ａは、「データＡ」で学習した時の状態価値関数の形状であり、図１０Ｂ、１０Ｃは、「データＡ＋Ｂ」で学習した時の結果例である。学習データが十分である場合は、図１０Ｂに示すように、データが同じ状態の範囲における学習結果の信頼性が高く、関数形状はあまり変化しない。上記データが同じ範囲とは、図１０Ｂにおいて、データＢが追加された範囲１０１０以外の範囲１０２０である。当該範囲では、データＡでの学習結果（点線）と、データＡ＋Ｂでの学習結果（実線）との間ではほとんど差がない。そのため、追加されたデータＢのベースとなるデータＡの全ての範囲で学習データが十分であることがわかる。このことは、「データＡ」により学習したときの学習結果と、「データＡ＋Ｂ」で再学習したときの学習結果とを比べた場合、データＢの追加に伴って上記範囲１０２０における学習結果に与える影響がほとんどなく、学習結果に対する信頼性が高いことを示している。
【0086】
一方、学習データが不十分である場合は、図１０Ｃに示すように、データが同じ状態の範囲における学習結果の信頼性が低く、関数形状は大きく変化する。図１１でも説明するが、本実施例の充足性評価部５４０では、図１０Ｃの右側の範囲のように、学習データが同じ状態の範囲において、学習結果が一定程度異なる範囲を、学習データ不足範囲と判断する。すなわち、図１０Ｃにおいて、データＢが追加された範囲１０３０以外の範囲１０４０ａ、１０４０ｂのうち、当該範囲１０４０ａでは、データＡでの学習結果（点線）と、データＡ＋Ｂでの学習結果（実線）との間ではほとんど差がなく、追加されたデータＢのベースとなるデータＡの当該範囲で学習データが十分であることがわかる。
【0087】
一方、上記範囲１０４０ｂでは、データＡでの学習結果（点線）と、データＡ＋Ｂでの学習結果（実線）との間で一定程度以上の差が生じており、当該範囲１０４０ｂでは学習データが不十分であることがわかる。このことは、「データＡ」により学習したときの学習結果と、「データＡ＋Ｂ」で再学習したときの学習結果とを比べた場合、「データＢ」の追加に伴って、上記範囲１０４０ｂにおける学習結果に与える影響が一定以上あり、当該範囲における学習結果に対する信頼性が低いことを示している。学習結果比較部５３０は、このような範囲を、ユーザが視認可能な態様で提示することにより、ユーザは、どの状態の範囲に対する学習データが不足しているのかを、容易かつ直観的に把握することができるようになる。
【0088】
図１１Ａ、１１Ｂは、充足性評価部５４０の動作を説明する図である。充足性評価部５４０では、図１０Ａ～１０Ｃを用いて説明したような学習データが同じ範囲において、学習結果の変化幅が、学習結果への影響を許容する閾値よりも高い範囲を学習データ不足範囲とする。閾値の設定方法は種々考えられるが、図１１Ａ、１１Ｂでは、学習データが異なる状態の範囲からの距離が長くなるほど、閾値の値を低く設定した場合について説明する。
【0089】
【0090】
学習データが十分な場合は、図１１Ａに示すように、学習データを追加した状態の範囲（図１１Ａに示す２点鎖線の左側の範囲）から右側に離れる程、学習結果に与える影響が小さくなる。充足性評価部５４０は、上記学習データを追加した状態の範囲から離れる範囲の状態ほど、学習結果に影響を与えていると判断するための閾値ＴＨを、小さく設定する。
【0091】
一方、学習データが不十分な場合は、図１１Ｂに示すように、学習データを追加した状態の範囲（図１１Ｂに示す２点鎖線の左側の範囲）から右側に離れても、学習結果に与える影響が大きくなる範囲が存在する。図１１Ｂでは、学習データを追加した状態の範囲に近接する範囲１１００ａのほか、学習データを追加した状態の範囲から一定程度離れた範囲１１００ｂにおいて、学習データの追加によって、一定程度以上の影響を受けている範囲があることを示している。
【0092】
充足性評価部５４０は、学習結果の変化幅が閾値ＴＨよりも高い範囲を、学習データ不足範囲（図１１Ｂでは、範囲Ｒ１、Ｒ２）と判断する。充足性可視化部７００は、上記判断された範囲を可視化して画像表示装置９４０に表示する。図１１Ｂでは、上記範囲１１００ａ、１１００ｂを、他の範囲とは識別可能な態様で画像表示装置９４０に表示する。
【0093】
この際、充足性可視化部７００は、学習結果の変化幅と閾値ＴＨとの差に応じて範囲をカラーマップ、等高線等で表示することや、学習結果の変化幅と閾値ＴＨとの差が一定以上大きい範囲を強調して表示しても良い。これにより、プラントの運転員であるユーザは、データの不足範囲を容易かつ直観的に把握でき、本実施例の運転支援装置を用いることで不足データの収集を促すことが可能となる。
【0094】
以上、図面を用いて本実施例について説明したが、本実施例における運転支援装置は、図１、２、１０Ａ～１０Ｃ、１１Ａ、１１Ｂ等を用いて説明したように、プロセッサとメモリとを有したコンピュータにより、制御対象となるプラントから取得した計測信号に基づいて、上記プラントの操作方法を学習する運転支援装置２００であって、上記プロセッサは、上記計測信号に基づいて得られる２以上の学習データ群のうち、第１の学習データ群（例えば、学習データＤＢ６１０ａ）と当該第１の学習データ群を含む第２の学習データ群（例えば、学習データＤＢ６１０ｂ）の各学習データを用いて学習して、上記第１の学習データ群を用いて学習した第１の学習結果と上記第２の学習データ群を用いて学習した第２の学習結果とを生成し、上記第１の学習データ群と上記第２の学習データ群とで学習データ量が異なる範囲を分析し、上記第１の学習データ群と上記第２の学習データ群とで学習データ量が異なる第１の範囲（例えば、図１０Ｃに示した範囲１０３０）と、上記第１の学習データ群における上記第１の範囲以外の範囲である第２の範囲（例えば、図１０Ｃに示した範囲１０４０ａ、１０４０ｂ）を特定する第１の分析（例えば、図２に示したステップ１０１０～１０３０）を実行し、上記第１の学習結果（例えば、学習結果ＤＢ６２０ａ）と、上記第２の学習結果（例えば、学習結果ＤＢ６２０ｂ）との差分を分析する第２の分析（例えば、図２に示したステップ１０４０、１０５０）を実行し、上記第１の分析の結果と上記第２の分析の結果とに基づき、上記計測信号に基づいて得られる２以上の学習データ群の学習データの充足性を評価し、上記学習データの充足性を評価する際、上記第１の学習結果及び上記第２の学習結果のうち、上記第１の範囲に対応する範囲の学習結果と上記第２の範囲に対応する範囲の学習結果とを特定し、上記第２の範囲に対応する範囲のうち、上記第１の学習結果と上記第２の学習結果との差分が所定の条件を満たす第３の範囲（例えば、図１１Ｂに示した範囲１１００ａ、１１００ｂ）を特定し、特定された当該第３の範囲を学習データが不足している範囲と評価する。
【0095】
したがって、従来技術のように、ユーザは、詳細な判定条件の設定を必要とすることなく学習データの充足度を判定でき、かつ学習データが不足している範囲を特定できる。
【0096】
これまで、バッチプロセスの制御において、事前に取得した運転データを用いた学習により、ベテラン運転員の手動操作を模倣するプラントの操作方法を自動的に獲得する技術が望まれていたが、学習用のデータが足りない場合、最適な操作方法を学習できない問題があった。本実施例では、データ不足範囲では学習結果の信頼性が低くなることや、別の範囲にデータを追加して再学習すると学習結果が変化することに着目し、学習データが不足している範囲を可視化している。これにより、学習データを取得すべき範囲をユーザに提示し、その範囲の学習データの取得を促すことができる。
【0097】
また、図５Ａ、５Ｂ等を用いて説明したように、上記プロセッサは、上記計測信号（例えば、反応槽の温度Ｔｒ）と上記計測信号から導かれるデータ（例えば、反応槽の温度Ｔｒの変化量ｄＴｒ）とが配置されたテーブル形式で、上記プラントの状態を定義し、または上記計測信号と上記計測信号から導かれるデータとを所定の手法（例えば、適応共鳴理論）でクラスタリングすることにより、上記プラントの状態を定義し、上記定義した状態から得られるモデル（状態遷移モデル）に基づいて、上記プラントの特性を状態遷移行列として計算することにより、上記プラントの操作方法を学習する。これにより、計測信号の種類に応じて適切に状態を定義することができる。
【0098】
また、図８Ｃ、８Ａ、８Ｂ、図９Ａ～９Ｃ等を用いて説明したように、上記プロセッサは、上記状態遷移行列と所定の報酬（例えば、報酬関数信号）とから得られる、上記プラントの状態の価値、操作量の予測値、目標状態までの操作回数、所定回数の操作で到達できる上記状態の範囲、の少なくとも１つについて、上記差分を計算する。これにより、これらのデータについての学習結果の差分をユーザに提示できるようになる。
【0099】
また、図１１Ａ、１１Ｂ等を用いて説明したように、上記プロセッサは、上記充足性の評価において、学習データが異なる状態の範囲からの距離が長くなるほど、学習結果への影響を許容する閾値（例えば、図１１Ａ、１１Ｂに示した閾値ＴＨ）の値を低く設定し、上記差分が上記閾値の値を超える状態の範囲を、上記学習データが不足している範囲（例えば、図１１Ｂに示した範囲１１００ａ、１１００ｂ）と評価する。これにより、閾値との関係を考慮した上で、学習データを取得すべき範囲をユーザに提示し、その範囲の学習データの取得を促すことができる。
【0100】
また、図１１Ａ、１１Ｂ等を用いて説明したように、上記プロセッサは、学習結果の変化幅と上記閾値との差に応じて、上記状態の範囲を、カラーマップ、等高線で表示し、または学習結果の変化幅と上記閾値の差が一定以上大きい上記状態の範囲を強調して表示することにより、上記学習データが不足している範囲を提示してもよい。これにより、ユーザは、学習データを取得すべき範囲を、より一層、容易かつ直観的に把握することができる。
【0101】
本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化したり、上記実施の形態に開示されている複数の構成要素を適宜組み合わせて実施することができる。
【符号の説明】
【0102】
１・・・計測信号、２・・・外部入力信号、３・・・計測信号、４・・・計測信号、５・・・学習データ、６・・・学習データ、７・・・学習結果、８・・・学習データ、９・・・学習データ比較結果、１０・・・学習結果、１１・・・学習結果比較結果、１２・・・学習データ充足性評価結果、１３・・・学習データ充足性可視化データ、１４・・・外部出力信号、１００・・・プラント、１１０・・・機器、１２０・・・制御装置、１３０・・・センサ信号、１４０・・・操作信号、２００・・・運転支援装置、２１０・・・外部入力インターフェイス、２２０・・・外部出力インターフェイス、３００・・・計測信号データベース、４００・・・学習データ充足性評価部、５００・・・学習データ分割部、５１０・・・学習部、５２０・・・学習データ比較部、５３０・・・学習結果比較部、５４０・・・充足性評価部、６１０・・・学習データデータベース、６２０・・・学習結果データベース、７００・・・充足性可視化部、８００・・・運転支援装置動作制御部、９００・・・外部装置、９１０・・・外部入力装置、９２０・・・キーボード、９３０・・・マウス、９４０・・・画像表示装置
【図1A】
【図1B】
【図2】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図7A】
【図7B】
【図8A】
【図8B】
【図8C】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図10C】
【図11A】
【図11B】