特許 7227940 モデル学習装置、モデル学習方法、制御装置、制御方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-14

(45)【発行日】2023-02-22

(54)【発明の名称】モデル学習装置、モデル学習方法、制御装置、制御方法、及びコンピュータプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230215BHJP

   G05B 13/02 20060101ALI20230215BHJP

【ＦＩ】

G06N20/00

G05B13/02 L

【請求項の数】 8

(21)【出願番号】P 2020096728

(22)【出願日】2020-06-03

(65)【公開番号】P2021189934

(43)【公開日】2021-12-13

【審査請求日】2021-10-15

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(73)【特許権者】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】100160691

【弁理士】

【氏名又は名称】田邊 淳也

(74)【代理人】

【識別番号】100157277

【弁理士】

【氏名又は名称】板倉 幸恵

(72)【発明者】

【氏名】森安 竜大

(72)【発明者】

【氏名】野尻 紗也香

(72)【発明者】

【氏名】中村 俊洋

(72)【発明者】

【氏名】竹内 幹人

【審査官】杉浦 孝光

(56)【参考文献】

【文献】特開平０６－２６６４１２（ＪＰ，Ａ）

【文献】木村駿介ほか，"状態制約を有する非線形システムに対する状態方程式を保持する変換"，計測自動制御学会論文集，第53巻、第6号，日本，公益社団法人計測自動制御学会，2017年06月30日，pp.337-345

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０５Ｂ １３／０２

(57)【特許請求の範囲】

【請求項1】

モデル学習装置であって、
状態変数ｘを予測するための非線形の状態方程式の学習に用いられるモデル構造を記憶するモデル記憶部と、
前記モデル構造と、前記モデル構造に対する入力データと出力データの組を複数含んだ入出力データセットと、を用いて前記状態方程式を学習する学習部と、
を備え、
前記モデル構造は、状態変数ｘを入力とする全単射な写像ｆ（ｘ）を含む状態方程式であり、
前記モデル構造は、次式により定義され、

上記式において、
等号の左辺は、前記状態方程式によって予測しようとする状態変数ｘを表すｎ（ｎは整数）次元ベクトルの時間微分であり、
等号の右辺のうち、ｕは状態変数ｘの変化に影響する入力変数を表すｍ（ｍは整数）次元のベクトルであり、ｆ（ｘ）は状態変数ｘを入力としてｎ次元のベクトルを出力する全単射な写像であり、関数ψはｎ次元のベクトルを出力する任意の非線形関数であり、
前記学習部は、前記モデル構造における前記関数ψを、次式により表される構造とし、

上記式において、
等号の左辺は、前記関数ψであり、
等号の右辺のうち、Ａはｎ行ｎ列の正方行列であり、ｇはｎ次元のベクトルを出力する任意の非線形関数であり、ｃは正の値をとる任意のスカラー関数である、モデル学習装置。

【請求項2】

請求項１に記載のモデル学習装置であって、
前記学習部は、
前記モデル構造に対して、前記入出力データセットのうちの前記入力データのセットを与えて出力を推定し、
推定された出力と、前記入出力データセットのうちの前記出力データのセットと、の一致度を評価し、
評価の結果に応じて前記モデル構造についての学習パラメータを更新することで、前記状態方程式を学習する、モデル学習装置。

【請求項3】

モデル学習方法であって、情報処理装置が、
状態変数ｘを予測するための非線形の状態方程式の学習に用いられるモデル構造を取得する工程と、
前記モデル構造と、前記モデル構造に対する入力データと出力データの組を複数含んだ入出力データセットと、を用いて前記状態方程式を学習する工程と、
を備え、
前記モデル構造は、状態変数ｘを入力としてｎ（ｎは整数）次元のベクトルを出力する全単射な写像ｆ（ｘ）を含む状態方程式であり、
前記モデル構造は、次式により定義され、

上記式において、
等号の左辺は、前記状態方程式によって予測しようとする状態変数ｘを表すｎ（ｎは整数）次元ベクトルの時間微分であり、
等号の右辺のうち、ｕは状態変数ｘの変化に影響する入力変数を表すｍ（ｍは整数）次元のベクトルであり、ｆ（ｘ）は状態変数ｘを入力としてｎ次元のベクトルを出力する全単射な写像であり、関数ψはｎ次元のベクトルを出力する任意の非線形関数であり、
前記学習する工程では、前記モデル構造における前記関数ψを、次式により表される構造とし、

上記式において、
等号の左辺は、前記関数ψであり、
等号の右辺のうち、Ａはｎ行ｎ列の正方行列であり、ｇはｎ次元のベクトルを出力する任意の非線形関数であり、ｃは正の値をとる任意のスカラー関数である、モデル学習方法。

【請求項4】

コンピュータプログラムであって、
状態変数ｘを予測するための非線形の状態方程式の学習に用いられるモデル構造を取得するステップと、
前記モデル構造と、前記モデル構造に対する入力データと出力データの組を複数含んだ入出力データセットと、を用いて前記状態方程式を学習するステップと、
を情報処理装置に実行させ、
前記モデル構造は、状態変数ｘを入力としてｎ（ｎは整数）次元のベクトルを出力する
全単射な写像ｆ（ｘ）を含む状態方程式であり、
前記モデル構造は、次式により定義され、

上記式において、
等号の左辺は、前記状態方程式によって予測しようとする状態変数ｘを表すｎ（ｎは整数）次元ベクトルの時間微分であり、
等号の右辺のうち、ｕは状態変数ｘの変化に影響する入力変数を表すｍ（ｍは整数）次元のベクトルであり、ｆ（ｘ）は状態変数ｘを入力としてｎ次元のベクトルを出力する全単射な写像であり、関数ψはｎ次元のベクトルを出力する任意の非線形関数であり、
前記学習するステップでは、前記モデル構造における前記関数ψを、次式により表される構造とし、

上記式において、
等号の左辺は、前記関数ψであり、
等号の右辺のうち、Ａはｎ行ｎ列の正方行列であり、ｇはｎ次元のベクトルを出力する任意の非線形関数であり、ｃは正の値をとる任意のスカラー関数である、コンピュータプログラム。

【請求項5】

制御装置であって、
請求項１または請求項２に記載のモデル学習装置によって学習された非線形の状態方程式を記憶する状態方程式記憶部と、
前記状態方程式に関する種々のパラメータを取得する取得部と、
取得された前記パラメータを用いて、前記状態方程式から、将来の状態変数ｘを予測する予測部と、
を備える、制御装置。

【請求項6】

請求項５に記載の制御装置であって、さらに、
前記予測部により予測された状態変数ｘを用いて、任意の制御対象物を制御するための操作量を決定する決定部を備える、制御装置。

【請求項7】

制御方法であって、情報処理装置が、
請求項１または請求項２に記載のモデル学習装置によって学習された非線形の状態方程式を取得する工程と、
前記状態方程式に関する種々のパラメータを取得する工程と、
取得された前記パラメータを用いて、前記状態方程式から、将来の状態変数ｘを予測する工程と、
を備える、制御方法。

【請求項8】

コンピュータプログラムであって、
請求項１または請求項２に記載のモデル学習装置によって学習された非線形の状態方程式を取得するステップと、
前記状態方程式に関する種々のパラメータを取得するステップと、
取得された前記パラメータを用いて、前記状態方程式から、将来の状態変数ｘを予測するステップと、
を情報処理装置に実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、非線形システムのモデルを学習し、利用する技術に関する。

【背景技術】

【0002】

システムの先験的知識を用いてシステムのモデル学習（システム同定）を行うことが知られている。例えば、特許文献１には、システム同定方法において、先験的知識に基づいた制約の組を決定した後に、初期パラメトリックモデルと、決定された制約の組とに基づいてシステムの制約付きパラメトリック最適化を実行し、システムの改善されたパラメトリックモデルを生成することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００４－２７２９１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、特許文献１に記載の技術は、線形システムが少数のパラメータ（行列）でモデルを表現可能な点と、当該モデルの安定性が行列の固有値だけで判定可能な点とに依拠して成立している。すなわち、特許文献１に記載の技術は、モデリング対象（同定対象）のシステムが線形システムとして表現できることを前提としており、非線形システムに対して適用できないという課題があった。

【0005】

非線形システムに対する安定性の判別手法として一般的に、リアプノフ関数の存在を確認することが知られている。すなわち、ある特定の条件を満たす「リアプノフ関数」と呼ばれる関数が存在すれば、そのシステムは安定であると判別できる。しかし、リアプノフ関数は一定の手順によって必ず発見できるというものではなく、リアプノフ関数の発見のためには、対象の物理構造や数式構造を考慮しながら個別に対応する必要がある。このため、非線形システムのモデル学習（システム同定）において、安定性を保証することは容易でないという課題があった。

【0006】

また、非線形システムにおいては、動的な変化が収束する点（平衡点）がただ一つであるとは限らず、複数の平衡点を有する可能性がある。仮に、学習対象となる非線形システムが複数の平衡点を持たず、唯一の平衡点を持つことが既知であったとしても、そのことを保証するようなモデルを学習する技術は知られていない。このため、非線形システムのモデル学習（システム同定）において、収束性を保証すること（換言すれば、平衡点の唯一性を保証すること）は容易でないという課題があった。

【0007】

本発明は、上述した課題の少なくとも一部を解決するためになされたものであり、非線形システムのモデル学習において、安定性及び収束性の保証を可能とする技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。モデル学習装置であって、状態変数ｘを予測するための非線形の状態方程式の学習に用いられるモデル構造を記憶するモデル記憶部と、前記モデル構造と、前記モデル構造に対する入力データと出力データの組を複数含んだ入出力データセットと、を用いて前記状態方程式を学習する学習部と、を備え、前記モデル構造は、状態変数ｘを入力とする全単射な写像ｆ（ｘ）を含む状態方程式であり、前記モデル構造は、次式により定義され、

上記式において、等号の左辺は、前記状態方程式によって予測しようとする状態変数ｘを表すｎ（ｎは整数）次元ベクトルの時間微分であり、等号の右辺のうち、ｕは状態変数ｘの変化に影響する入力変数を表すｍ（ｍは整数）次元のベクトルであり、ｆ（ｘ）は状態変数ｘを入力としてｎ次元のベクトルを出力する全単射な写像であり、関数ψはｎ次元のベクトルを出力する任意の非線形関数であり、前記学習部は、前記モデル構造における前記関数ψを、次式により表される構造とし、

上記式において、等号の左辺は、前記関数ψであり、等号の右辺のうち、Ａはｎ行ｎ列の正方行列であり、ｇはｎ次元のベクトルを出力する任意の非線形関数であり、ｃは正の値をとる任意のスカラー関数である、モデル学習装置。そのほか、本発明は、以下の形態としても実現可能である。

【0009】

（１）本発明の一形態によれば、モデル学習装置が提供される。このモデル学習装置は、状態変数ｘを予測するための非線形の状態方程式の学習に用いられるモデル構造を記憶するモデル記憶部と、前記モデル構造と、前記モデル構造に対する入力データと出力データの組を複数含んだ入出力データセットと、を用いて前記状態方程式を学習する学習部と、を備え、前記モデル構造は、状態変数ｘを入力とする全単射な写像ｆ（ｘ）を含む状態方程式である。

【0010】

この構成によれば、学習部において用いられるモデル構造は、状態変数ｘを入力とする全単射な写像ｆ（ｘ）を含む状態方程式である。このような状態方程式は、状態変数ｘを変換した内部変数ξの時間変化を表す平易な形式の状態方程式に式変形できる。そして、内部変数ξに関する状態方程式について、安定性や収束性などの特性を解析することで、従来であれば解析困難であった、状態変数ｘの安定性や収束性などの特性を知ることができる。この結果、本構成のモデル学習装置によれば、非線形システムのモデル学習において、安定性及び収束性の保証を可能とできる。

【0011】

（２）上記形態のモデル学習装置において、前記モデル構造は、次式により定義されてもよい。

上記式において、等号の左辺は、前記状態方程式によって予測しようとする状態変数ｘを表すｎ（ｎは整数）次元ベクトルの時間微分であり、等号の右辺のうち、ｕは状態変数ｘの変化に影響する入力変数を表すｍ（ｍは整数）次元のベクトルであり、ｆ（ｘ）は状態変数ｘを入力としてｎ次元のベクトルを出力する全単射な写像であり、関数ψはｎ次元のベクトルを出力する任意の非線形関数であってもよい。
この構成によれば、学習部において用いられるモデル構造は、上記式により定義される。このとき、関数ξ＝ｆ（ｘ）を定義し、関数ξ＝ｆ（ｘ）の時間微分を取ることにより、学習部において用いられるモデル構造を、状態変数ｘを変換した内部変数ξの時間変化を表す平易な形式の状態方程式に式変形できる。ここで、関数ｆ（ｘ）は全単射であるため一意の逆関数が存在し、ｘ＝ｆ^-1（ξ）として、ｘはξを静的な関数で変換した形で表される。したがって、内部変数ξに関する状態方程式について、安定性や収束性などの特性を解析することで、従来であれば解析困難であった、状態変数ｘの安定性や収束性などの特性を知ることができる。この結果、本構成のモデル学習装置によれば、非線形システムのモデル学習において、安定性及び収束性の保証を可能とできる。

【0012】

（３）上記形態のモデル学習装置において、前記学習部は、前記モデル構造における前記関数ψを、次式により表される構造としてもよい。

上記式において、等号の左辺は、前記関数ψであり、等号の右辺のうち、Ａはｎ行ｎ列の正方行列であり、ｇはｎ次元のベクトルを出力する任意の非線形関数であり、ｃは正の値をとる任意のスカラー関数であってもよい。
この構成によれば、モデル構造における関数ψは、上記式により定義される。ここで、ｃは正の値をとるスカラー関数であるため、上記の通りｘ＝ｆ^-1（ξ）とし、一旦関数ｃを無視して考えると、ξに関する線形状態方程式を得ることができる。この線形状態方程式においては、行列Ａの固有値の実部が全て負であれば、ξは安定であり、かつ、唯一の平衡点を持つことが一般的に知られている。このため、ξに関する線形状態方程式を解析することによって、状態変数ｘの安定性や収束性などの特性をより容易に判定できる。また、関数ｃを考慮したとき、ｃは正の値をとるスカラー関数であるため、関数ψの出力であるベクトルの向きは変化しない。すなわち、関数ｃの存在は、上記式の安定性に影響を与えない。

【0013】

（４）上記形態のモデル学習装置において、前記学習部は、前記モデル構造に対して、前記入出力データセットのうちの前記入力データのセットを与えて出力を推定し、推定された出力と、前記入出力データセットのうちの前記出力データのセットと、の一致度を評価し、評価の結果に応じて前記モデル構造についての学習パラメータを更新することで、前記状態方程式を学習してもよい。
この構成によれば、学習部は、入出力データセットのうちの入力データセットを用いた出力の推定と、出力データセットを用いた一致度の評価と、モデル構造についての学習パラメータの更新と、によって状態方程式を学習する。このため、学習部は、予め準備された入出力データセットを教師データとした学習手法に沿って、非線形の状態方程式を学習できる。

【0014】

（５）本発明の一形態によれば、制御装置が提供される。この制御装置は、任意の制御対象物に関する状態変数ｘを予測するための非線形の状態方程式を記憶する状態方程式記憶部と、前記状態方程式に関する種々のパラメータを取得する取得部と、取得された前記パラメータを用いて、前記状態方程式から、将来の状態変数ｘを予測する予測部と、を備える。
この構成によれば、予測部は、状態方程式に関する種々のパラメータと、状態方程式とを用いて、将来の状態変数ｘを予測する。このため、予測された状態変数ｘを分析や、任意の制御対象物（例えば、内燃機関、ハイブリッド機関、パワートレイン等）の制御に使用することができる。

【0015】

（６）上記形態の制御装置では、さらに、前記予測部により予測された状態変数ｘを用いて、前記制御対象物を制御するための操作量を決定する決定部を備えてもよい。
この構成によれば、予測された状態変数ｘを用いて、制御対象物を制御するための操作量を決定する決定部を備えるため、予測された状態変数ｘを任意の制御対象物の制御に使用することができる。

【0016】

なお、本発明は、種々の態様で実現することが可能であり、例えば、非線形システムのモデルを学習する装置及び方法、学習により得られたモデルを用いて状態を推定する装置及び方法、これらの装置が含まれるシステム、これらの装置及びシステムにおいて実行されるコンピュータプログラム、そのコンピュータプログラムを配布するためのサーバ装置、そのコンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。

【図面の簡単な説明】

【0017】

【図1】モデル学習装置の構成を例示した説明図である。

【図2】学習処理の手順を例示したフローチャートである。

【図3】学習処理の効果例について説明する図である。

【図4】制御装置の構成を例示した説明図である。

【図5】予測処理の手順を例示したフローチャートである。

【図6】第２実施形態のモデル学習装置の構成を例示した説明図である。

【図7】第３実施形態の制御装置の構成を例示した説明図である。

【発明を実施するための形態】

【0018】

＜第１実施形態＞
図１は、本発明の一実施形態としてのモデル学習装置１００の構成を例示した説明図である。モデル学習装置１００は、非線形システムのモデルを学習する装置である。ここで、「非線形システム」とは、任意の制御対象物（システム）に対する入出力パラメータの関係性が一次式では表せない、または近似できない性質を持つ制御対象物を意味する。また、本実施形態では「モデル」として、非線形の状態方程式を例示する。すなわち、本実施形態において、「非線形システムのモデル」とは、非線形な任意の制御対象物に関する状態変数ｘを予測するための、非線形の状態方程式である。なお、「状態方程式」とは、「ｘ・（ｔ）＝ｆ（ｘ（ｔ），・・・）」のように、現時刻の状態ｘ（ｔ）によって、それ自身の状態ｘ・（ｔ）を決定する方程式を意味する。以降、下記記号１に表すｘの時間微分を「ｘ・」と記載し、下記記号２に表すξの時間微分を「ξ・」と記載する。

【0019】

【数1】

【数2】

【0020】

制御対象物は任意に定めることができ、例えば、内燃機関、ハイブリッド機関、パワートレイン等を例示できる。内燃機関、ハイブリッド機関、パワートレイン等の駆動機関を制御対象物とした場合、モデル学習装置１００により学習されるモデルは、制御対象物の駆動に関する種々のパラメータ（例えば、制御対象部のアクチュエータの操作量、制御対象部に対する外乱、制御対象部の状態、制御対象部の出力、制御対象部の出力目標値等）の関係を表す非線形の状態方程式となる。

【0021】

モデル学習装置１００は、例えばパーソナルコンピュータ（ＰＣ：Personal Computer）であり、ＣＰＵ１１０と、記憶部１２０と、ＲＯＭ／ＲＡＭ１３０と、通信部１４０と、入出力部１５０とを備えている。モデル学習装置１００の各部はバスにより相互に接続されている。

【0022】

ＣＰＵ１１０は、制御部１１１と、学習部１１２とを備えている。制御部１１１は、ＲＯＭ１３０に格納されているコンピュータプログラムをＲＡＭ１３０に展開して実行することにより、モデル学習装置１００の各部を制御する。学習部１１２は、後述の学習処理を実行する。学習処理は、任意の制御対象物（非線形システム）に関する状態変数ｘを予測するための非線形の状態方程式を学習する処理である。

【0023】

記憶部１２０は、ハードディスク、フラッシュメモリ、メモリカードなどで構成される記憶媒体である。記憶部１２０には、モデル記憶部１２１と、入出力データセット１２２とが予め記憶されている。モデル記憶部１２１は、学習部１１２による状態方程式の学習のために用いられるモデル構造である。本実施形態では、モデル記憶部１２１に記憶されたモデル構造は、下記式３により定義される。

【0024】

【数3】

式３において、等号の左辺は、状態方程式によって予測しようとする状態変数ｘを表すｎ（ｎは整数）次元ベクトルの時間微分である。また、等号の右辺のうち、ｕは状態変数ｘの変化に影響する入力変数を表すｍ（ｍは整数）次元のベクトルであり、ｆ（ｘ）は状態変数ｘを入力としてｎ次元のベクトルを出力する全単射な写像であり、関数ψはｎ次元のベクトルを出力する任意の非線形関数である。ここで、「全単射」とは、集合Ａの写像の結果が集合Ｂであるとした場合に、ＡとＢの各要素が必ず一対一の対応関係を持つことを意味する。関数ｆが全単射である場合、一意の逆関数ｆ^-1が存在する。

【0025】

入出力データセット１２２は、式３で表されるモデル構造に対する入力データと出力データの組を複数含んでいる。この入力データと出力データの組は、制御対象物に対する実験や計算により予め求められている。入出力データセット１２２は、学習部１１２による状態方程式の学習のために用いられる教師データとして用いられる。以降、入出力データセット１２２のうち、複数の入力データをまとめて「入力データセット」とも呼び、複数の出力データをまとめて「出力データセット」とも呼ぶ。

【0026】

通信部１４０は、モデル学習装置１００と他の装置との間における、通信インターフェースを介した通信を制御する。他の装置としては、例えば、後述する制御装置２００や、他の情報処理装置、及び入出力データセット１２２を取得するための計測器等が挙げられる。入出力部１５０は、モデル学習装置１００と、利用者との間の情報の入出力に使用される種々のインターフェースである。入出力部１５０としては、例えば、入力部としてのタッチパネル、キーボード、マウス、操作ボタン、マイクや、出力部としてのタッチパネル、モニタ、スピーカー、ＬＥＤ（Light Emitting Diode）インジケータ等を採用できる。

【0027】

図２は、学習処理の手順を例示したフローチャートである。学習処理は、例えば、利用者からの要求（所定のアプリケーションの起動等）を契機として実行され得る。以降の例では、下記式４に示す状態方程式において、ｘ，ｕ，ｘ・の各データを既知の入出力データセット１２２として予め準備し、この入出力データセット１２２を用いて関数Ｆの関数形を学習する（推定する）場合について説明する。上述の通り、ｘはｎ次元ベクトルであり、ｕはｍ次元ベクトルである。

【0028】

【数4】

【0029】

まず、ステップＳ１０において学習部１１２は、モデル記憶部１２１に記憶されているモデル構造（式３）を取得する。学習部１１２は、関数Ｆを学習するためのモデル構造を下記式５に示す構造と想定する。式５は、学習処理において学習しようとする状態方程式を、モデル記憶部１２１に記憶されているモデル構造で表したものである（式３，４）。学習部１１２は、式５の構造において、各変数の値をゼロまたはランダムな値とすることで、各変数を初期化する。

【0030】

【数5】

【0031】

ここで、式５の構造において、関数ｆとψにも何らかの構造を想定する必要がある。本実施形態では、関数ｆについては、例えば、ニューラルネットワークを用いて下記式６の構造を定義する。式６において、Ｗ_fは重み、ｂ_fはバイアス、φ_fは活性化関数である。関数ｆについて、式３で説明した「全単射であること」の条件を満たすために、Ｗ_fはｎ×ｎの正方行列、ｂ_fはｎ次元ベクトル。φ_fは何らかの全単射な写像（例えば、双曲線正弦関数など）として設定する。関数ｆの形式が定まれば、偏微分演算、及び、逆行列演算によって、（∂ｆ／∂ｘ）^-1が定まる。

【0032】

【数6】

【0033】

また、関数ψについては、例えば、下記式７の構造を定義することで、安定性及び収束性をより簡単に評価することができる（詳細は後述）。式７において、Ａはｎ×ｎの正方行列、ｃは正の値をとる任意のスカラー関数、ｇはｎ次元のベクトルを出力する任意の非線形関数である。なお、式７の関数ｃ，ｇについても何らかの構造を想定する必要があるが、これらもニューラルネットワークを用いて構造を定義できる。

【0034】

【数7】

【0035】

ステップＳ１２において学習部１１２は、入出力データセット１２２から、ｘ，ｕ，ｘ・についての入出力データセットを取得する。本実施形態の例では、入出力データセット１２２において、ｘ，ｕ，ｘ・の各データはｊ組（ｊは自然数、ｊ＝１～Ｎ）含まれている。入出力データセット１２２のうち、ｘ_j，ｕ_jは入力データセットに相当し、ｘ・_jは出力データセットに相当する。

【0036】

ステップＳ１４において学習部１１２は、モデル構造に入力データセットを与えて出力を推定する。具体的には、学習部１１２は、ステップＳ１０で定義及び初期化した式５（及び式６，式７）の構造に対して、ステップＳ１２で取得した入力データセット（ｘ_j，ｕ_j）を与える。そうすると、下記式８に示すように、出力ｘ・_jの推定値を得ることができる。なお、（∂ｆ／∂ｘ）^-1もｘの関数であるため、ｘ_jを代入することで評価可能である。

【0037】

【数8】

【0038】

ステップＳ１６において学習部１１２は、推定された出力と出力データセットとの一致度を評価する。具体的には、学習部１１２は、ステップＳ１４で得られた出力ｘ・_jの推定値と、ステップＳ１２で取得した出力データセット（ｘ・_j）との一致度を評価する。学習部１１２は、例えば、下記式９に示す二乗平均誤差（ＭＳＥ：Mean Square Error）を一致度の指標として用いることができる。ＭＳＥの場合、等号の左辺Ｊの値が小さければ小さいほど、一致度が高い。なお、学習部１１２は、例えば、絶対平均誤差率や、交差エントロピーなど、ＭＳＥ以外の指標を用いて一致度を評価してもよい。

【0039】

【数9】

【0040】

ステップＳ１８において学習部１１２は、一致度が十分であるか否かを判定する。例えば、ＭＳＥ（式９）を用いる場合、学習部１１２は、Ｊの値が所定値以下である場合に、一致度が十分であると判定できる。なお、学習部１１２は、Ｊの値の変化率が所定の値以下である場合に、一致度が十分であると判定してもよい。所定値は任意に決定できる。

【0041】

一致度が十分でない場合（ステップＳ１８：ＮＯ）、学習部１１２は、処理をステップＳ２０に遷移させる。ステップＳ２０において学習部１１２は、ステップＳ１０で定義した式５（及び式６，式７）の構造における、学習パラメータ（例えば、Ｗ_f，ｂ_f，Ａなど）を更新する。学習部１１２は、例えば、バックプロパゲーションにより各学習パラメータに対するＪの勾配を評価し、各種の勾配法に基づいて、各学習パラメータを更新できる。その後、学習部１１２は処理をステップＳ１４に遷移させ、出力の推定及び評価を繰り返す。

【0042】

一致度が十分である場合（ステップＳ１８：ＹＥＳ）、学習部１１２は、処理を終了する。この際、学習部１１２は、学習した関数Ｆについて、入出力部１５０に出力してもよく、記憶部１２０に記憶してもよく、通信部１４０を介して他の装置に送信してもよい。

【0043】

次に、図２で説明した学習処理で学習されたモデル（状態方程式）において、安定性と収束性を保証できる理由について説明する。一般に、過渡的な現象を再現できる動的なモデルをニューラルネットワーク（機械学習）で構築する際、当該モデルが安定である（換言すれば、発散しない）保証はない。しかし、上述した式３（式５）に示したモデル構造は、式変形によって、状態変数ｘを変換した内部的な変数（以降、「内部変数ξ」とも呼ぶ）の時間変化を表す、より平易な形式の状態方程式に変換できる。この内部変数ξに関する状態方程式について、安定性や収束性などの特性が既知であれば、状態変数ｘもその特性を保存しているため、安定性や収束性などの特性を知ることができる。すなわち、状態変数ｘの特性を、平易な形式の状態方程式に対する解析により判断できる。

【0044】

学習処理の式３（式５）に示したモデル構造は、そのままでは解析困難である。このとき、関数ξ＝ｆ（ｘ）を定義し、関数ξ＝ｆ（ｘ）の時間微分を取る。すると、下記式１０に示すように、関数ξに関する状態方程式が得られる。

【0045】

【数10】

【0046】

ここで、関数ｆ（ｘ）は全単射であるため一意の逆関数が存在し、ｘ＝ｆ^-1（ξ）として、ｘはξを静的な関数で変換した形で表される。したがって、式１０を解析することで、関数ξの安定性や収束性が判断できれば、状態変数ｘも当該性質を保存していることから、状態変数ｘの安定性や収束性を判断できる。具体的には、関数ξが発散しないならば、状態変数ｘも発散せず、関数ξが必ずある１つの平衡点に収束するならば、状態変数ｘも必ずある１つの平衡点に収束する、と言える。

【0047】

このように、第１実施形態のモデル学習装置１００によれば、学習部１１２において用いられるモデル構造（式３，式５）は、状態変数ｘを入力とする全単射な写像ｆ（ｘ）を含む状態方程式である。このような状態方程式（式３，式５）は、内部変数ξの時間変化を表す平易な形式の状態方程式に式変形できる（式１０）。そして、内部変数ξに関する状態方程式（式１０）について、安定性や収束性などの特性を解析することで、従来であれば解析困難であった、状態変数ｘの安定性や収束性などの特性を知ることができる。この結果、本実施形態のモデル学習装置１００によれば、非線形システムのモデル学習において、安定性及び収束性の保証を可能とできる。

【0048】

また、第１実施形態のモデル学習装置１００によれば、モデル構造（式３，式５）における関数ψの構造を、式７により表される構造とすることにより、解析をより容易とできる。具体的には、ｃは正の値をとるスカラー関数であるため、上記の通りｘ＝ｆ^-1（ξ）としたとき、式７は下記式１１のように表される。式１１において、一旦関数ｃを無視して考えると、下記式１２が得られる。

【0049】

【数11】

【数12】

【0050】

ここで、式１２はξに関する線形状態方程式であり、行列Ａの固有値の実部が全て負であれば、ξは安定であり、かつ、唯一の平衡点を持つことが一般的に知られている。式１２において無視した関数ｃは、式１１において右辺に乗じられている。関数ｃは正のスカラー関数であるため、式１１，式１２によって定まるベクトルξ・は、長さが異なるものの、常に同じ向きを持つ。ξの時間変化は、ξ・を時間積分することにより求められるが、ベクトルの向きが常に同じであれば、収束の速度は異なっていても、通過する軌道は一致する。このため、式１２に対する解析によって判定できる安定性、及び平衡点の数（収束性）は、式１１においても保存される。したがって、式１２を解析することによって、式１０の性質（状態変数ｘの安定性や収束性などの特性）をより容易に判定できる。なお、関数ｃを考慮したとき、ｃは正の値をとるスカラー関数であるため、関数ψの出力であるベクトルの向きは変化しない。すなわち、関数ｃの存在は、式１１の安定性に影響を与えない。

【0051】

なお、式１１，式１２では、関数ψをξに関する線形式へと変換したが、解析により式１０の性質（状態変数ｘの安定性や収束性などの特性）が判定できる限りにおいて、任意の形式を用いることができる。例えば、非線形モデルに関しては、リアプノフ関数と呼ばれる関数を発見できれば、安定性が保証される。このため、リアプノフ関数を発見可能な形式を採用してもよい。

【0052】

さらに、第１実施形態のモデル学習装置１００によれば、学習部１１２は、入出力データセット１２２のうちの入力データセットを用いた出力の推定（図２：ステップＳ１４）と、出力データセットを用いた一致度の評価（ステップＳ１６）と、モデル構造（式３，式５）についての学習パラメータの更新（ステップＳ２０）と、によって状態方程式を学習する。このため、学習部１１２は、予め準備された入出力データセット１２２を教師データとした学習手法に沿って、非線形の状態方程式を学習できる。

【0053】

図３は、学習処理の効果例について説明する図である。図３では、効果の確認のために準備した簡易モデルＭＳについて、従来の方法で得られたモデルＭ０と、本実施形態の学習処理により得られたモデルＭ１とを比較する。モデルＭＳ，Ｍ０，Ｍ１を模擬的に図示した各図には、ｘ１，ｘ２の平面上における、ｘ・ベクトルの向きを表す矢印と、ｘ・ベクトルを積分した曲線とを示している。つまり、ある曲線上の１点を初期状態とすれば、状態ｘは、曲線状の矢印（ｘ・ベクトルの向き）に従って経時的に変化する。

【0054】

図３の左側には、効果の確認のために準備した簡易モデルＭＳ（すなわち、学習対象となるモデルＭＳ）を表す。簡易モデルＭＳは、ｎ＝２次元とし、かつ、入力なしｇ（ｕ）＝０とした。簡易モデルＭＳは、論理的に安定が保証されており、必ず原点ＣＰに収束するものの、学習誤差によっては容易に発散が生じるようなモデルとした。なお、図において破線で示すのは、学習範囲ＲＡである。

【0055】

図３の右側上段には、簡易モデルＭＳを、従来の方法により学習することで得られたモデルＭ０を表す。具体的には、上述した非線形の状態方程式（式４）について、関数Ｆの関数形の学習にあたって、標準的なニューラルネットワークを用いた。図示のように、従来の方法により得られたモデルＭ０では、学習範囲ＲＡの端部や、学習範囲ＲＡの外部において、状態変数ｘが発散する領域ＲＥ（一点鎖線）が存在する。したがって、従来の方法により得られたモデルＭ０では、安定性及び収束性の保証ができないことがわかる。

【0056】

図３の右側下段には、簡易モデルＭＳを、本実施形態の学習処理により学習することで得られたモデルＭ１を表す。図示のように、本実施形態の学習処理により得られたモデルＭ１では、学習範囲ＲＡの端部はもちろん学習範囲ＲＡの外部からでも、状態変数ｘは必ず原点ＣＰに収束する。したがって、本実施形態の学習処理により得られたモデルＭ１では、安定性及び収束性の保証を可能とできることがわかる。

【0057】

図４は、制御装置２００の構成を例示した説明図である。制御装置２００は、モデル学習装置１００によって学習された非線形の状態方程式を利用して、将来の状態変数ｘを予測する装置である。

【0058】

制御装置２００は、例えばパーソナルコンピュータや、車載ＥＣＵ（Electronic Control Unit）として実現され得る。例えば、前者の場合は、制御装置２００を制御対象物の分析のために用いることができ、後者の場合は、制御装置２００を制御対象物の制御のために用いることができる。制御対象物とは、上記の通り任意に定めることができ、例えば、内燃機関、ハイブリッド機関、パワートレイン等を例示できる。

【0059】

制御装置２００は、ＣＰＵ２１０と、記憶部２２０と、ＲＯＭ／ＲＡＭ２３０と、通信部２４０と、入出力部２５０とを備えている。制御装置２００の各部はバスにより相互に接続されている。なお、制御装置２００の機能部のうちの少なくとも一部は、ＡＳＩＣ（Application Specific Integrated Circuit）により実現されてもよい。

【0060】

ＣＰＵ２１０は、制御部２１１と、取得部２１２と、予測部２１３とを備えている。制御部２１１は、ＲＯＭ２３０に格納されているコンピュータプログラムをＲＡＭ２３０に展開して実行することにより、制御装置２００の各部を制御する。取得部２１２と予測部２１３とは、協働して後述の予測処理を実行する。予測処理は、非線形の状態方程式を用いて、将来の状態変数ｘを予測する処理である。

【0061】

記憶部２２０は、ハードディスク、フラッシュメモリ、メモリカードなどで構成される記憶媒体である。記憶部２２０には、状態方程式記憶部２２１が予め記憶されている。状態方程式記憶部２２１には、モデル学習装置１００により学習（図２：学習処理）された非線形の状態方程式が記憶されている。

【0062】

通信部２４０は、制御装置２００と他の装置との間における、通信インターフェースを介した通信を制御する。他の装置としては、例えば、モデル学習装置１００や、他のＥＣＵ、他の情報処理装置、及び推定処理において使用する各種パラメータを取得するための計測器等が挙げられる。入出力部２５０は、制御装置２００と、利用者との間の情報の入出力に用いられる種々のインターフェースである。入出力部２５０としては、例えば、モデル学習装置１００の入出力部１５０と同様の構成を例示できる。

【0063】

図５は、予測処理の手順を例示したフローチャートである。予測処理は、例えば、利用者からの要求（所定のアプリケーションの起動）や、他のＥＣＵからの要求等を契機として実行され得る。

【0064】

まず、ステップＳ５０において予測部２１３は、状態方程式記憶部２２１に記憶されている状態方程式を取得する。ステップＳ５２において取得部２１２は、状態方程式に関する種々のパラメータを取得する。ここで、種々のパラメータには、状態方程式に対する入力ｕ、現在の時刻ｔ、現在の状態ｘ、計算サイクルΔｔ、及び予測終了時刻Ｔが含まれる。予測終了時刻Ｔは、どれだけ先の状態変数ｘを予測するかを表す時刻である。取得部２１２は、入力ｕと、現在の状態ｘとを、他のＥＣＵや計測器等から取得できる。また、他のパラメータについては、他のＥＣＵからの指示値を取得してもよく、記憶部２２０に予め記憶されている設定値を取得してもよい。

【0065】

ステップＳ５４において予測部２１３は、状態変化率ｘ・（ｔ）を計算する。具体的には、予測部２１３は、ステップＳ５２で取得した入力ｕと、現在の状態ｘとを、ステップＳ５０で取得した状態方程式に入力することで、状態変化率ｘ・（ｔ）を計算できる。ステップＳ５６において予測部２１３は、次の時刻における状態の推定値ｘ（ｔ＋Δｔ）を、下記式１３により予測する。

【0066】

【数13】

【0067】

ステップＳ５８において予測部２１３は、時刻を更新する（ｔ←ｔ＋Δｔ）。ステップＳ６０において予測部２１３は、更新後の時刻ｔが、予測終了時間Ｔに到達したか否かを判定する。予測終了時刻Ｔに到達していない場合（ステップＳ６０：ＮＯ）、予測部２１３は、処理をステップＳ５４に遷移させ、状態変化率の計算と時刻の更新を繰り返す。

【0068】

予測時刻Ｔに到達した場合（ステップＳ６０：ＹＥＳ）、予測部２１３は、処理をステップＳ６２に遷移させる。ステップＳ６２において予測部２１３は、予測した状態変数ｘを出力し、処理を終了する。出力は、入出力部２５０に対して行ってもよく、記憶部２２０に記憶させてもよく、通信部２４０を介して他の装置（呼び出し元のＥＣＵ等）に送信してもよい。

【0069】

このように、第１実施形態の制御装置２００によれば、予測部２１３は、状態方程式に関する種々のパラメータｕ，ｔ，ｘ，Δｔ，Ｔと、モデル学習装置１００により学習された状態方程式と、を用いて、将来の状態変数ｘを予測する。このため、予測された状態変数ｘを分析や、任意の制御対象物（例えば、内燃機関、ハイブリッド機関、パワートレイン等）の制御に使用することができる。

【0070】

＜第２実施形態＞
図６は、第２実施形態のモデル学習装置１００ａの構成を例示した説明図である。モデル学習装置１００ａは、第１実施形態で説明したモデル学習装置１００としての機能と、制御装置２００としての機能の両方を備える装置である。モデル学習装置１００ａのＣＰＵ１１０ａは、図１で説明した制御部１１１及び学習部１１２と、図４で説明した取得部２１２及び予測部２１３を備える。モデル学習装置１００ａの記憶部１２０ａには、図１で説明したモデル記憶部１２１及び入出力データセット１２２と、図４で説明した状態方程式記憶部２２１を備える。このようなモデル学習装置１００ａによれば、状態変数ｘを予測するための非線形の状態方程式（モデル）を学習しつつ、学習した状態方程式を用いた将来の状態変数ｘの予測ができる。なお、モデル学習装置１００ａでは、将来の状態変数ｘの予測結果を、状態方程式記憶部２２１のモデルに対してフィードバックしてもよい。このような第２実施形態の構成においても、第１実施形態と同様の効果を奏することができる。

【0071】

＜第３実施形態＞
図７は、第３実施形態の制御装置２００ｂの構成を例示した説明図である。制御装置２００ｂは、モデル学習装置１００によって学習された非線形の状態方程式を利用して、将来の状態変数ｘを予測すると共に、予測された状態変数ｘを用いて、任意の制御対象物の操作量を決定する。制御装置２００ｂは、例えば車載ＥＣＵとして実現される。

【0072】

制御装置２００ｂは、第１実施形態の構成において、ＣＰＵ２１０に代えてＣＰＵ２１０ｂを備える。ＣＰＵ２１０ｂは、さらに決定部２１４を備えると共に、制御対象物３００に接続されている。接続手段は、有線接続、無線接続を問わない。制御対象物３００は、第１実施形態と同様に、例えば、内燃機関、ハイブリッド機関、パワートレイン等の駆動機関である。決定部２１４は、予測処理（図５）の実行後に、予測処理（図５）で求めた将来の状態変数ｘを用いて、制御対象物３００を制御するためのアクチュエータの操作量を決定する。操作量の決定は、例えば、将来の状態変数ｘを入力とし、操作量を出力とする関係式、マップ、ニューラルネットワーク等を用いることにより実現できる。

【0073】

このように、制御装置２００ｂは、将来の状態変数ｘの予測に加えてさらに、予測した状態変数ｘを用いた制御対象物の操作量の決定を行ってもよい。このような第３実施形態の構成においても、第１実施形態と同様の効果を奏することができる。また、第３実施形態の制御装置２００ｂによれば、予測された状態変数ｘを用いて、制御対象物３００を制御するための操作量を決定する決定部２１４を備えるため、予測された状態変数ｘを任意の制御対象物３００の制御に使用することができる。

【0074】

＜本実施形態の変形例＞
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。また、上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。

【0075】

［変形例１］
上記実施形態では、モデル学習装置及び制御装置の構成の一例を示した。しかし、モデル学習装置及び制御装置の構成は種々の変形が可能である。例えば、モデル学習装置及び制御装置の少なくとも一方は、ネットワーク上に配置された複数の情報処理装置（サーバ装置や、車載ＥＣＵ等を含む）が協働することによって構成されてもよい。

【0076】

［変形例２］
上記実施形態では、学習処理（図２）及び予測処理（図５）の手順の一例を示した。しかし、これらの処理は種々の変形が可能であり、一部のステップを省略してもよく、説明しない他のステップを追加してもよく、一部のステップの実行順序を変更してもよい。

【0077】

例えば、学習処理（図２）において、式６に示した関数ｆの定義、及び、式７に示した関数ψの定義はあくまで一例であり、関数ｆ，ψは、任意の形に定義してよい。

【0078】

例えば、学習処理（図２）のステップＳ１８において、学習部１１２は、一致度に加えてさらに、制約条件を満たしているか否かを判断してもよい。制約条件とは任意に定めることができ、例えば、学習パラメータＷ_f，ｂ_f，Ａがそれぞれ満たすべき範囲であってもよく、出力ｘ・が満たすべき範囲であってもよい。

【0079】

以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。

【符号の説明】

【0080】

１００，１００ａ…モデル学習装置
１１０，１１０ａ…ＣＰＵ
１１１…制御部
１１２…学習部
１２０…記憶部
１２１…モデル記憶部
１２２…入出力データセット
１３０…ＲＯＭ／ＲＡＭ
１４０…通信部
１５０…入出力部
２００，２００ｂ…制御装置
２１０…ＣＰＵ
２１１…制御部
２１２…取得部
２１３…予測部
２１４…決定部
２２０…記憶部
２２１…状態方程式記憶部
２３０…ＲＯＭ／ＲＡＭ
２４０…通信部
２５０…入出力部
３００…制御対象物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】