特許 7575008 制御方法、制御装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-21

(45)【発行日】2024-10-29

(54)【発明の名称】制御方法、制御装置、及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241022BHJP

   G05B 13/02 20060101ALI20241022BHJP

【ＦＩ】

G06N20/00

G05B13/02 L

【請求項の数】 8

(21)【出願番号】P 2021104658

(22)【出願日】2021-06-24

(65)【公開番号】P2023003532

(43)【公開日】2023-01-17

【審査請求日】2023-10-03

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】504145342

【氏名又は名称】国立大学法人九州大学

(74)【代理人】

【識別番号】110004381

【氏名又は名称】弁理士法人ＩＴＯＨ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】岩田 具治

(72)【発明者】

【氏名】河原 吉伸

【審査官】渡辺 順哉

(56)【参考文献】

【文献】特開２０１９－０５３５８９（ＪＰ，Ａ）

【文献】武田敏季 ほか，潜在空間におけるモデル予測制御，ロボティクス・メカトロニクス講演会２０２０予稿集，一般社団法人日本機械学会，2020年05月27日，No.20-2

【文献】XIAO, Yongqian ほか，CKNet: A Convolutional Neural Network Based on Koopman Operator for Modeling Latent Dynamics from Pixels，arXiv[online]，2021年07月27日，[retrieved on 2024.07.23], Retrieved from the Internet: <URL: https://arxiv.org/pdf/2102.10205v2>

【文献】AMOS, Brandon，Differentiable MPC for End-to-end Planning and Control，arXiv[online]，2019年10月14日，[retrieved on 2024.07.23], Retrieved from the Internet: <URL: https://arxiv.org/pdf/1810.13400>

【文献】梅本 匠 ほか，高次元連続観測空間における安全な強化学習，電子情報通信学会技術研究報告 ，日本，一般社団法人電子情報通信学会，2021年02月23日，Vol.120, No.395，pp.55-62

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０５Ｂ １３／０２

(57)【特許請求の範囲】

【請求項1】

非線形な動的システムを制御する制御方法であって、
前記動的システムの観測データと前記観測データが得られたときの前記動的システムの制御データとで構成される事前学習データを用いて、前記観測データを特徴空間上の特徴データに変換するための第１の関数と、前記動的システムの非線形なダイナミクスを前記特徴空間上でクープマン作用素に基づいて線形な表現とした線形なダイナミクスとを学習する事前学習手順と、
前記第１の関数と前記線形なダイナミクスと前記特徴空間上で二次形式により表現された前記動的システムの制御コストとを用いて、線形二次制御法により、前記動的システムの制御則として前記観測データを入力として制御データを出力する関数で表現される制御則を学習する制御学習手順と、
前記制御則を用いて、前記動的システムを制御する制御手順と、
をコンピュータが実行する制御方法。

【請求項2】

前記事前学習手順は、
特徴データを観測データに変換するための第２の関数を用いて、前記事前学習データに含まれる第１の観測データを前記第１の関数により第１の特徴データに変換した後、前記第１の特徴データを前記第２の関数により第２の観測データに変換した場合に前記第１の観測データと前記第２の観測データとの差が小さくなるように、かつ、前記第１の特徴データと前記事前学習データに含まれる第１の制御データとを用いて前記線形なダイナミクスにより予測される次の時刻の第２の特徴データを前記第２の関数により第３の観測データに変換した場合に前記第３の観測データの予測精度が高くなるように、前記第１の関数と、前記第２の関数と、前記線形なダイナミクスとを学習する、請求項１に記載の制御方法。

【請求項3】

前記第１の関数及び前記第２の関数は、ニューラルネットワークである、請求項２に記載の制御方法。

【請求項4】

前記線形なダイナミクスは、クープマン作用素の有限次元近似を表す行列と、次の時刻の特徴データに与える制御データの影響を表す行列とをパラメータに持つ線形和で表される、請求項１乃至３の何れか一項に記載の制御方法。

【請求項5】

前記制御学習手順は、
前記第１の関数を用いて、前記観測データが属する観測空間における制御コストを特徴空間における制御コストに近似し、前記近似された制御コストを二次関数で表現することで、前記特徴空間上で二次形式により表現し、前記線形二次制御法により、リッカチ方程式を解くことにより得られる最適なゲイン行列を用いて前記制御則を学習する、請求項１乃至４の何れか一項に記載の制御方法。

【請求項6】

前記制御則は、前記第１の関数のパラメータと前記ダイナミクスのパラメータとを持ち、かつ、前記観測データから前記制御データを出力する関数であり、
前記制御学習手順は、
前記観測空間におけるコストを負の報酬、前記制御則を方策として、強化学習の手法により、前記制御則を学習する、請求項５に記載の制御方法。

【請求項7】

非線形な動的システムを制御する制御装置であって、
前記動的システムの観測データと前記観測データが得られたときの前記動的システムの制御データとで構成される事前学習データを用いて、前記観測データを特徴空間上の特徴データに変換するための第１の関数と、前記動的システムの非線形なダイナミクスを前記特徴空間上でクープマン作用素に基づいて線形な表現とした線形なダイナミクスとを学習する事前学習部と、
前記第１の関数と前記線形なダイナミクスと前記特徴空間上で二次形式により表現された前記動的システムの制御コストとを用いて、線形二次制御法により、前記動的システムの制御則として前記観測データを入力として制御データを出力する関数で表現される制御則を学習する制御学習部と、
前記制御則を用いて、前記動的システムを制御する制御部と、
を有する制御装置。

【請求項8】

コンピュータに、請求項１乃至６の何れか一項に記載の制御方法を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御方法、制御装置、及びプログラムに関する。

【背景技術】

【0002】

動的システムの制御は、社会学、感染学、神経科学、物理学、工学、金融等の様々な分野で重要である。動的システムを制御する方法として、線形二次制御法（例えば、非特許文献１参照）がある。

【先行技術文献】

【非特許文献】

【0003】

【文献】Bemporad, A., Morari, M., Dua, V., & Pistikopoulos, E. N. (2002). The explicit linear quadratic regulator for constrained systems. Automatica, 38(1), 3-20.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、線形二次制御法は動的システムが線形であることを仮定しており、非線形な動的システムの場合には適切に制御することができない。

【0005】

本発明の一実施形態は、上記の点に鑑みてなされたもので、動的システムを適切に制御することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、一実施形態に係る制御方法は、動的システムを制御する制御方法であって、前記動的システムの観測データと前記観測データが得られたときの前記動的システムの制御データとで構成される事前学習データを用いて、前記観測データを特徴空間上の特徴データに変換するための第１の関数と、前記特徴空間上での前記動的システムのダイナミクスとを学習する事前学習手順と、前記第１の関数と前記ダイナミクスとを用いて、前記動的システムの制御則を学習する制御学習手順と、前記制御則を用いて、前記動的システムを制御する制御手順と、をコンピュータが実行する。

【発明の効果】

【0007】

動的システムを適切に制御することができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る制御装置のハードウェア構成の一例を示す図である。

【図2】本実施形態に係る制御装置の機能構成の一例を示す図である。

【図3】本実施形態に係る学習処理の一例を説明するための図である。

【発明を実施するための形態】

【0009】

以下、本発明の一実施形態について説明する。本実施形態では、動的システムが非線形であっても（当然、線形であっても）、適切に制御することができる制御装置１０について説明する。ここで、動的システムの適切な制御とは、動的システムの観測状態が所望の状態となるような制御を低コストで実現することである。

【0010】

すなわち、ｙ_ｔ∈Ｒ^Ｄを時刻ｔの観測ベクトル、ｕ_ｔ∈Ｒ^Ｊを時刻ｔの制御ベクトルとする。動的システムに制御ベクトルｕ_ｔを入力すると、次の時刻の観測ベクトルｙ_ｔ＋１が出力されるものとする。このとき、以下の式（１）に示すコストＥを最小化する制御ベクトルの系列｛ｕ_ｔ｜ｔ＝１，・・・，Ｔ｝を求めることが目的である。

【0011】

【数1】

ここで、ｙ^＊は望まれる観測ベクトル、Ｒ∈Ｒ^Ｊ×Ｊは制御のコストを表す行列である。なお、式（１）は一例であって、コストＥとしては、二次関数で表現できる任意のコストを用いることが可能である。なお、Ｄは観測ベクトルの次元数、Ｊは制御ベクトルの次元数であり、Ｔは制御ベクトルの系列数である。

【0012】

＜ハードウェア構成＞
本実施形態に係る制御装置１０のハードウェア構成を図１に示す。図１に示すように、本実施形態に係る制御装置１０は一般的なコンピュータ又はコンピュータシステムのハードウェア構成で実現され、入力装置１０１と、表示装置１０２と、外部Ｉ／Ｆ１０３と、通信Ｉ／Ｆ１０４と、プロセッサ１０５と、メモリ装置１０６とを有する。これらの各ハードウェアは、それぞれがバス１０７により通信可能に接続される。

【0013】

入力装置１０１は、例えば、キーボードやマウス、タッチパネル、各種物理ボタン等である。表示装置１０２は、例えば、ディスプレイ等である。なお、制御装置１０は、例えば、入力装置１０１及び表示装置１０２のうちの少なくとも一方を有していなくてもよい。

【0014】

外部Ｉ／Ｆ１０３は、記録媒体１０３ａ等の外部装置とのインタフェースである。制御装置１０は、外部Ｉ／Ｆ１０３を介して、記録媒体１０３ａの読み取りや書き込み等を行うことができる。なお、記録媒体１０３ａとしては、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。

【0015】

通信Ｉ／Ｆ１０４は、制御装置１０を通信ネットワークに接続するためのインタフェースである。プロセッサ１０５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の各種演算装置である。メモリ装置１０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、フラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の各種記憶装置である。

【0016】

本実施形態に係る制御装置１０は、図１に示すハードウェア構成を有することにより、後述する各種処理を実現することができる。なお、図１に示すハードウェア構成は一例であって、制御装置１０は、例えば、複数のプロセッサ１０５を有していてもよいし、複数のメモリ装置１０６を有していてもよい。また、制御装置１０は、図示したハードウェア以外にも様々なハードウェアを有していてもよい。

【0017】

＜機能構成＞
本実施形態に係る制御装置１０の機能構成を図２に示す。図２に示すように、本実施形態に係る制御装置１０は、事前学習部２０１と、制御学習部２０２と、制御部２０３と、記憶部２０４とを有する。事前学習部２０１、制御学習部２０２、及び制御部２０３は、例えば、制御装置１０にインストールされた１以上のプログラムがプロセッサ１０５に実行させる処理により実現される。また、記憶部２０４は、例えば、メモリ装置１０６により実現される。

【0018】

なお、例えば、制御装置１０が複数のコンピュータ（各コンピュータが通信ネットワークを介して通信可能に接続されている場合も含む）で構成されており、事前学習部２０１、制御学習部２０２、制御部２０３、及び記憶部２０４が複数のコンピュータ上に分散配置されていてもよい。

【0019】

≪事前学習部２０１≫
事前学習部２０１は、クープマン作用素理論に基づいて、観測ベクトルを特徴空間における特徴ベクトルに変換する関数と特徴空間における動的システムのダイナミクス（動的な振る舞い）とを学習する。なお、特徴空間とは特徴ベクトルが属する空間のことである。一方で、観測ベクトルが属する空間のことは観測空間ともいう。

【0020】

事前学習データとして、Ｎ個の長さＴの系列

【0021】

【数2】

が与えられる。なお、上記の数２では、簡単のため、各系列を区別せずに｛（ｙ_ｔ，ｕ_ｔ）｜ｔ＝１，・・・，Ｔ｝としているが、正確には、ｎ（ｎ＝１，・・・，Ｎ）番目の系列は｛（ｙ_ｎｔ，ｕ_ｎｔ）｜ｔ＝１，・・・，Ｔ｝と表されることに留意されたい。また、ｙ_ｔ及びｕ_ｔはいずれもベクトルであるものとするが、これは一例であって、例えば、テンソル、グラフ、系列等といった任意のデータ構造であってもよい。この場合、後述する関数φ及びψとして、そのデータ構造に対応するニューラルネットワークが用いられる。更に、各系列｛（ｙ_ｔ，ｕ_ｔ）｝の時刻ｔが連続した時刻でない場合（つまり、時刻に抜け又は欠損がある場合）であっても、既知の動的モード分解の技術を応用することにより、本実施形態を同様に適用することが可能である。

【0022】

特徴空間上での動的システムを考える。例えば、以下の式（２）を仮定する。

【0023】

ｇ_ｔ＋１＝Ａｇ_ｔ＋Ｂｕ_ｔ （２）
ここで、ｇ_ｔ∈Ｒ^Ｋは時刻ｔの特徴ベクトル、Ａ∈Ｒ^Ｋ×Ｋはクープマン作用素の有限次元近似、Ｂ∈Ｒ^Ｋ×Ｊは次の時刻の特徴ベクトルに与える制御ベクトルの影響を表す。なお、Ｋは特徴ベクトルの次元数である。

【0024】

観測ベクトルを特徴ベクトルに変換する関数をニューラルネットワークでモデル化する。すなわち、以下の式（３）でモデル化する。

【0025】

ｇ_ｔ＝φ（ｙ_ｔ） （３）
ここで、φはニューラルネットワークである。

【0026】

また、特徴ベクトルを観測ベクトルに変換する関数をニューラルネットワークでモデル化する。すなわち、以下の式（４）でモデル化する。

【0027】

【数3】

ここで、ψはニューラルネットワークである。

【0028】

ニューラルネットワークφ及びψのパラメータとＡ及びＢは、観測ベクトルを特徴ベクトルに変換し、その特徴ベクトルを再度観測ベクトルに変換したときに、元の観測ベクトルと似るように学習される。また、特徴空間での動的システムを通して、将来の予測精度が高まるように学習される。これは、例えば、以下の式（５）に示す目的関数Ｈを最小化することで学習できる。

【0029】

【数4】

ここで、η＞０はハイパーパラメータである。

【0030】

≪制御学習部２０２≫
制御学習部２０２は、動的システムの制御則を学習する。

【0031】

元の観測空間でのコスト（式（１）に示すコストＥ）を、特徴空間でのコストで近似する。例えば、以下の式（６）で近似できる。

【0032】

【数5】

ここで、ｇ^＊＝φ（ｙ^＊）は望まれる観測ベクトルを特徴ベクトルに変換したものである。

【0033】

式（６）に示すコストは、以下の式（７）のように二次形式に書き換えることができる。

【0034】

【数6】

ここで、

【0035】

【数7】

【0036】

【数8】

である。また、式（２）を用いて、ｇ_ｔ'のダイナミクスは以下の式（１０）のようになる。

【0037】

ｇ_ｔ＋１'＝Ａ'ｇ_ｔ'＋Ｂ'ｕ_ｔ （１０）
ここで、

【0038】

【数9】

【0039】

【数10】

である。

【0040】

特徴空間ではダイナミクスが線形でかつコストが二次関数であるため、特徴空間において線形二次制御法（例えば、非特許文献１参照）が適用できる。線形二次制御法では、最適な制御ベクトルは以下の式（１３）に示すものとなる。

【0041】

ｕ_ｔ＝－Ｆｇ_ｔ' （１３）
ここで、Ｆ∈Ｒ^{Ｊ×（Ｋ＋１）}は、以下の式（１４）で計算される最適ゲイン行列である。

【0042】

【数11】

また、Ｐ∈Ｒ^{（Ｋ＋１）×（Ｋ＋１）}は、以下の式（１５）に示すリッカチ方程式の解である。

【0043】

【数12】

このリッカチ方程式は、Ｐ＝Ｑを初期値として式（１５）を繰り返すことにより解くことができる。

【0044】

最適制御ベクトルは、観測ベクトルの関数として以下の式（１６）となる。

【0045】

【数13】

ここで、Ｆ（Ａ，Ｂ）は式（１４）及び式（１５）で与えられる最適ゲイン行列であり、ＡとＢの関数となる。また、Ψは、ニューラルネットワークφのパラメータとＡ及びＢをまとめたものである。

【0046】

この式（１６）を用いて動的システムを制御した場合に、元のコスト（つまり、式（１）に示すコストＥ）が最小になるように、ニューラルネットワークφのパラメータとＡ及びＢを強化学習により推定する。これは、例えば、元のコストを報酬（負の報酬）、式（１６）を方策として、方策勾配法を用いることによって推定できる。ただし、方策勾配法以外の強化学習法を用いることも可能である。なお、方策勾配法を用いた場合の学習処理については後述する。

【0047】

≪制御部２０３≫
制御部２０３は、学習されたパラメータを設定した式（１６）（つまり、最適な制御則）を用いて、動的システムから得られた観測ベクトルに応じて制御ベクトルを計算する。そして、制御部２０３は、この制御ベクトルにより動的システムを制御する。

【0048】

≪記憶部２０４≫
記憶部２０４は、各種データ（例えば、事前学習データ、ニューラルネットワークφ及びψのパラメータ、特徴空間上での動的システムのダイナミクスを表すパラメータＡ及びＢ、制御コストＲ等）を記憶する。

【0049】

＜学習処理＞
以下では、一例として、制御学習部２０２で方策勾配法によりニューラルネットワークφのパラメータとＡ及びＢとを推定する場合の学習処理について説明する。この学習処理の流れを図３に示す。図３に示すように、学習処理の入力は動的システムを表すデータ、望まれる観測ベクトルｙ^＊、制御コストＲ、制御分散σ^２、割引率γであり、出力は学習されたパラメータΨである。なお、図示していないが、これらの他にも、ニューラルネットワークψや事前学習データ等も学習処理の入力となる。

【0050】

まず、事前学習部２０１は、事前学習データを用いて、式（５）に示す目的関数Ｈを最小化するようにパラメータΨを学習する（１行目）。なお、このとき、ニューラルネットワークψのパラメータも学習される。

【0051】

次に、制御学習部２０２は、所定の終了条件を満たすまで３行目～１５行目を繰り返す（２行目）。ここで、この終了条件としては、例えば、繰り返し回数が或る回数以上となったこと、式（１）に示すコストが或る値以下となったこと、式（１）に示すコストの繰り返し前後における変化量が或る値以下となったこと、学習対象のパラメータの繰り返し前後における変化量が或る値以下となったこと、等が挙げられる。

【0052】

３行目では、制御学習部２０２は、リッカチ方程式の解をＰ＝Ｑに初期化する。４行目では、制御学習部２０２は、所定の終了条件を満たすまで５行目を繰り返す。ここで、この終了条件としては、例えば、繰り返し回数が或る回数以上となったこと、リッカチ方程式の解が収束したこと、等が挙げられる。なお、微分可能な手順であれば、これ以外の方法でリッカチ方程式を解いてもよい。

【0053】

７行目では、制御学習部２０２は、式（１４）により最適ゲイン行列Ｆを計算する。８行目では、制御学習部２０２は、初期の観測ベクトルｙ_１をランダムにサンプリングする。９行目では、制御学習部２０２は、各時刻ｔ＝１，・・・，Ｔに対して１０行目～１３行目を繰り返す。１０行目では、制御学習部２０２は、式（１６）により制御ベクトルの平均π（ｙ_ｔ；Ψ）を計算する。１１行目では、制御学習部２０２は、平均π（ｙ_ｔ；Ψ）、分散σ^２（制御分散σ^２）の正規分布から制御ベクトルｕ_ｔをサンプリングする。１２行目では、制御学習部２０２は、負の報酬Ｅ（ｙ_ｔ，ｕ_ｔ）を計算する。ここで、各時刻の負の報酬は以下の式（１７）で計算できる。

【0054】

【数14】

１３行目では、制御学習部２０２は、制御ベクトルｕ_ｔを動的システムに入力し、次の時刻の観測ベクトルｙ_ｔ＋１を得る。

【0055】

そして、１５行目では、制御学習部２０２は、累積割引報酬が最大化されるようにパラメータΨを更新する。

【0056】

＜制御処理＞
制御部２０３は、学習処理で学習されたパラメータΨを設定した式（１６）を用いて、動的システムから得られた観測ベクトルｙ_ｔに応じて制御ベクトルｕ_ｔを計算する。そして、制御部２０３は、この制御ベクトルｕ_ｔにより動的システムを制御する。なお、制御部２０３の制御対象は、動的システム（特に、非線形な動的システム）で表現される任意の対象とすることが可能である。具体的には、動的システムで表現される機器、装置、設備、機械、プロセス、又はこれらをシミュレータ上で表したモデル等を制御対象とすることが可能である。

【0057】

＜評価＞
以下では、本実施形態に係る制御装置１０の評価について説明する。動的システムとしてはＦｉｔｚＨｕｇｈ－ＮａｇｍｏとＬｏｒｅｎｚの２つを対象とし、比較する既存手法としては動的モード分解（ＤＭＤ）、ニューラル動的モード分解（ＮＤＭＤ）、特徴空間を仮定しない強化学習（ＲＬ）の３つとした。また、評価指標としてはコスト（式（１７）で計算されるコスト）を採用した。以下の表１にコストの平均と標準誤差を示す。

【0058】

【表1】

表１に示すように、本実施形態に係る制御装置１０は、既存手法と比較して低いコストで最適な制御を実現できていることがわかる。

【0059】

＜変形例＞
本実施形態では、望まれる観測ベクトルが与えられるものとしたが、望まれる観測ベクトルではなく、望まれる極が与えられてもよい。この場合、特徴空間において線形二次制御法の代わりに極配置法を用いれば、本実施形態を同様に適用することが可能である。

【0060】

また、その他の線形システムのための制御法も同様に、本実施形態を適用することが可能である。すなわち、クープマン作用素理論に基づいて線形ダイナミクスを特徴空間上に仮定した上で、強化学習によりコストを最小化するように、観測ベクトルを特徴ベクトルに変換する関数と特徴空間での線形ダイナミクスとを学習することで、本実施形態を同様に適用することが可能である。

【0061】

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。

【符号の説明】

【0062】

１０ 制御装置
１０１ 入力装置
１０２ 表示装置
１０３ 外部Ｉ／Ｆ
１０３ａ 記録媒体
１０４ 通信Ｉ／Ｆ
１０５ プロセッサ
１０６ メモリ装置
１０７ バス
２０１ 事前学習部
２０２ 制御学習部
２０３ 制御部
２０４ 記憶部

【図1】

【図2】

【図3】