ホーム > 特許ランキング > 株式会社豊田中央研究所
▶ 株式会社豊田中央研究所の特許一覧 ▶ 株式会社豊田自動織機の特許一覧
特開2023-184384学習装置、制御装置、学習方法、及び、コンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023184384
(43)【公開日】2023-12-28
(54)【発明の名称】学習装置、制御装置、学習方法、及び、コンピュータプログラム
(51)【国際特許分類】
G06N 99/00 20190101AFI20231221BHJP
【ＦＩ】
G06N99/00 180
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022147445
(22)【出願日】2022-09-15
(31)【優先権主張番号】P 2022098217
(32)【優先日】2022-06-17
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000003609
【氏名又は名称】株式会社豊田中央研究所
(71)【出願人】
【識別番号】000003218
【氏名又は名称】株式会社豊田自動織機
(74)【代理人】
【識別番号】100160691
【弁理士】
【氏名又は名称】田邊 淳也
(74)【代理人】
【識別番号】100182718
【弁理士】
【氏名又は名称】木崎 誠司
(72)【発明者】
【氏名】島 遼太朗
(72)【発明者】
【氏名】森安 竜大
(72)【発明者】
【氏名】川口 翔
(57)【要約】
【課題】システムの開発リードタイムの短縮に資する技術を提供する。
【解決手段】学習装置は、入力時系列から出力時系列を近似的に表現した非線形モデルを用いたスパース最適化問題であって、所定のパラメータにより決定付けられるスパース最適化問題を決定する決定部と、決定されたスパース最適化問題を解くことによって、パラメータに対応した最適制御であって、ある評価関数の下で最適だと評価される入力時系列である最適制御を算出する算出部と、最適制御に対するパラメータによる微分値を用いて、パラメータを更新する更新部と、を備える。学習装置は、決定部によるスパース最適化問題の決定と、算出部による最適制御の算出と、更新部によるパラメータの更新と、を繰り返すことにより、教師データとの誤差が小さい最適制御が得られるスパース最適化問題を決定付けるためのパラメータを学習する。
【選択図】図１
【解決手段】学習装置は、入力時系列から出力時系列を近似的に表現した非線形モデルを用いたスパース最適化問題であって、所定のパラメータにより決定付けられるスパース最適化問題を決定する決定部と、決定されたスパース最適化問題を解くことによって、パラメータに対応した最適制御であって、ある評価関数の下で最適だと評価される入力時系列である最適制御を算出する算出部と、最適制御に対するパラメータによる微分値を用いて、パラメータを更新する更新部と、を備える。学習装置は、決定部によるスパース最適化問題の決定と、算出部による最適制御の算出と、更新部によるパラメータの更新と、を繰り返すことにより、教師データとの誤差が小さい最適制御が得られるスパース最適化問題を決定付けるためのパラメータを学習する。
【選択図】図１
【特許請求の範囲】
【請求項1】
学習装置であって、
入力時系列から出力時系列を近似的に表現した非線形モデルを用いたスパース最適化問題であって、所定のパラメータにより決定付けられるスパース最適化問題を決定する決定部と、
決定された前記スパース最適化問題を解くことによって、前記パラメータに対応した最適制御であって、ある評価関数の下で最適だと評価される前記入力時系列である最適制御を算出する算出部と、
前記最適制御に対する前記パラメータによる微分値を用いて、前記パラメータを更新する更新部と、
を備え、
前記決定部による前記スパース最適化問題の決定と、前記算出部による前記最適制御の算出と、前記更新部による前記パラメータの更新と、を繰り返すことにより、教師データとの誤差が小さい前記最適制御が得られる前記スパース最適化問題を決定付けるための前記パラメータを学習する、学習装置。
入力時系列から出力時系列を近似的に表現した非線形モデルを用いたスパース最適化問題であって、所定のパラメータにより決定付けられるスパース最適化問題を決定する決定部と、
決定された前記スパース最適化問題を解くことによって、前記パラメータに対応した最適制御であって、ある評価関数の下で最適だと評価される前記入力時系列である最適制御を算出する算出部と、
前記最適制御に対する前記パラメータによる微分値を用いて、前記パラメータを更新する更新部と、
を備え、
前記決定部による前記スパース最適化問題の決定と、前記算出部による前記最適制御の算出と、前記更新部による前記パラメータの更新と、を繰り返すことにより、教師データとの誤差が小さい前記最適制御が得られる前記スパース最適化問題を決定付けるための前記パラメータを学習する、学習装置。
【請求項2】
請求項１に記載の学習装置であって、
前記非線形モデルは、返り値の各成分が、引数について凸かつ単調非減少に設計される微分可能な関数として表される、学習装置。
前記非線形モデルは、返り値の各成分が、引数について凸かつ単調非減少に設計される微分可能な関数として表される、学習装置。
【請求項3】
請求項２に記載の学習装置であって、
前記スパース最適化問題は、
前記非線形モデルの入力時系列Ｕと、前記非線形モデルを用いて前記入力時系列Ｕにより決定された出力時系列Ｙと、前記パラメータθと、を引数とする微分可能なスカラー値関数Ｖと、
前記入力時系列ＵのＬ１正則化項と、
の和として表される、学習装置。
前記スパース最適化問題は、
前記非線形モデルの入力時系列Ｕと、前記非線形モデルを用いて前記入力時系列Ｕにより決定された出力時系列Ｙと、前記パラメータθと、を引数とする微分可能なスカラー値関数Ｖと、
前記入力時系列ＵのＬ１正則化項と、
の和として表される、学習装置。
【請求項4】
請求項３に記載の学習装置であって、
前記スパース最適化問題は、さらに、
前記入力時系列Ｕに対する、上限値と下限値との少なくとも一方を制限する制約を有する、学習装置。
前記スパース最適化問題は、さらに、
前記入力時系列Ｕに対する、上限値と下限値との少なくとも一方を制限する制約を有する、学習装置。
【請求項5】
請求項４に記載の学習装置であって、
前記更新部は、前記パラメータの更新のために、次式により定義される前記微分値Ｊを算出するものであり、
上記式において、
Ｉは単位行列であり、
γは正の定数であり、
Ｄは、関数ｌ（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，－Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ－γ∇Uｌ（Ｕ，θ）に対して、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角行列であり、
ｑは、前記関数ｌの前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択して生成
したＮｒ次元ベクトルであり、
Ｈは、前記関数ｌのＵに対するヘッセ行列であり、
Ｕは前記入力時系列Ｕであり、θは前記パラメータθであり、Ｖは前記スカラー値関
数Ｖである、学習装置。
前記更新部は、前記パラメータの更新のために、次式により定義される前記微分値Ｊを算出するものであり、
Ｉは単位行列であり、
γは正の定数であり、
Ｄは、関数ｌ（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，－Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ－γ∇Uｌ（Ｕ，θ）に対して、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角行列であり、
ｑは、前記関数ｌの前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択して生成
したＮｒ次元ベクトルであり、
Ｈは、前記関数ｌのＵに対するヘッセ行列であり、
Ｕは前記入力時系列Ｕであり、θは前記パラメータθであり、Ｖは前記スカラー値関
数Ｖである、学習装置。
【請求項6】
請求項１に記載の学習装置であって、
前記スパース最適化問題は、さらに、
前記入力時系列に対する等式制約と、前記入力時系列と前記出力時系列とを引数に含む関数に対する不等式制約と、の少なくとも一方を有し、
前記評価関数は、
前記入力時系列と、前記出力時系列とに対して凸になるように設計され、
かつ、前記出力時系列に対して単調非減少であるように設計され、
かつ、前記入力時系列に対して強凸になるように設計される関数である、学習装置。
前記スパース最適化問題は、さらに、
前記入力時系列に対する等式制約と、前記入力時系列と前記出力時系列とを引数に含む関数に対する不等式制約と、の少なくとも一方を有し、
前記評価関数は、
前記入力時系列と、前記出力時系列とに対して凸になるように設計され、
かつ、前記出力時系列に対して単調非減少であるように設計され、
かつ、前記入力時系列に対して強凸になるように設計される関数である、学習装置。
【請求項7】
請求項６に記載の学習装置であって、
前記算出部は、前記評価関数が微分不可能な関数を含む場合に、最適化アルゴリズムとして交互方向乗数法を用いて前記スパース最適化問題を解く、学習装置。
前記算出部は、前記評価関数が微分不可能な関数を含む場合に、最適化アルゴリズムとして交互方向乗数法を用いて前記スパース最適化問題を解く、学習装置。
【請求項8】
請求項７に記載の学習装置であって、
前記更新部は、前記パラメータの更新のために、次式により定義される前記微分値Ｊを算出するものであり、
上記式において、
Ｉは単位行列であり、
γ，ρは正の定数であり、
Ｕ*は、入力時系列Ｕに対する前記非線形モデルの解であり、
関数Ｖおよび関数ｇが入力時系列Ｕと、出力時系列Ｙと、前記パラメータθとを引数とする微分可能なスカラー値関数であり、かつ、関数Ｆが非線形モデルによって定まった入力時系列Ｕと、パラメータθとを引数として出力時系列Ｙを返す関数である場合に、
Ｄは、関数Ｖ～（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ*－γ∇UＶ～（Ｕ*，θ）に対し、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角行列であり、
ｑは、前記関数Ｖ～の前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択して
生成したＮｒ次元ベクトルであり、
Ａは、スパース最適化問題がｎe個の一次独立な前記等式制約を有し、かつ、前記
等式制約が入力時系列Ｕに対してＡＵ＋ｂ＝０の関係で表される場合に、ｎe×Ｎｒ次元
行列であり、
Ｈは、前記関数Ｖ～のＵに対するヘッセ行列であり、
Ｐｉは、関数ｇ～（Ｕ，θ）＝Ｖ（Ｕ，ｇ（Ｕ，θ），θ）とおき、関数ｇ～の第ｉ成分ｇi～のＵについてのヘッセ行列であり、
Ｅは、前記不等式制約がｇ～（Ｕ，θ）≦０で表され、かつ、ｇ～（Ｕ，θ）≦０に対応する双対変数をη*とした場合に、η*を対角成分とする対角行列であり、
ηｉは、ｇ～（Ｕ，θ）≦０に対応する双対変数の第ｉ成分であり、
Ｇは、ｇ～（Ｕ*，θ）を対角成分とする対角行列であり、
行列Ｒの逆行列である行列Ｒ-1におけるＲ11 inv，Ｒ13 inv，Ｒ14 invは、行列Ｒ-1
の各成分を行列Ｒと同じようにブロック分割した場合に、各行各列で対応する部分行列である、学習装置。
前記更新部は、前記パラメータの更新のために、次式により定義される前記微分値Ｊを算出するものであり、
Ｉは単位行列であり、
γ，ρは正の定数であり、
Ｕ*は、入力時系列Ｕに対する前記非線形モデルの解であり、
関数Ｖおよび関数ｇが入力時系列Ｕと、出力時系列Ｙと、前記パラメータθとを引数とする微分可能なスカラー値関数であり、かつ、関数Ｆが非線形モデルによって定まった入力時系列Ｕと、パラメータθとを引数として出力時系列Ｙを返す関数である場合に、
Ｄは、関数Ｖ～（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ*－γ∇UＶ～（Ｕ*，θ）に対し、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角行列であり、
ｑは、前記関数Ｖ～の前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択して
生成したＮｒ次元ベクトルであり、
Ａは、スパース最適化問題がｎe個の一次独立な前記等式制約を有し、かつ、前記
等式制約が入力時系列Ｕに対してＡＵ＋ｂ＝０の関係で表される場合に、ｎe×Ｎｒ次元
行列であり、
Ｈは、前記関数Ｖ～のＵに対するヘッセ行列であり、
Ｐｉは、関数ｇ～（Ｕ，θ）＝Ｖ（Ｕ，ｇ（Ｕ，θ），θ）とおき、関数ｇ～の第ｉ成分ｇi～のＵについてのヘッセ行列であり、
Ｅは、前記不等式制約がｇ～（Ｕ，θ）≦０で表され、かつ、ｇ～（Ｕ，θ）≦０に対応する双対変数をη*とした場合に、η*を対角成分とする対角行列であり、
ηｉは、ｇ～（Ｕ，θ）≦０に対応する双対変数の第ｉ成分であり、
Ｇは、ｇ～（Ｕ*，θ）を対角成分とする対角行列であり、
行列Ｒの逆行列である行列Ｒ-1におけるＲ11 inv，Ｒ13 inv，Ｒ14 invは、行列Ｒ-1
の各成分を行列Ｒと同じようにブロック分割した場合に、各行各列で対応する部分行列である、学習装置。
【請求項9】
請求項１に記載の学習装置であって、
前記非線形モデルは、前記出力時系列の各成分が前記入力時系列について線形な関数として表される、学習装置。
前記非線形モデルは、前記出力時系列の各成分が前記入力時系列について線形な関数として表される、学習装置。
【請求項10】
請求項９に記載の学習装置であって、
前記スパース最適化問題は、さらに、
前記入力時系列に対する等式制約と、前記入力時系列と前記出力時系列とを引数に含む関数に対する不等式制約と、の少なくとも一方を有し、
前記評価関数は、
前記入力時系列と前記出力時系列とに対して凸になるように設計され、
かつ、前記入力時系列に対して強凸になるように設計される関数である、学習装置。
前記スパース最適化問題は、さらに、
前記入力時系列に対する等式制約と、前記入力時系列と前記出力時系列とを引数に含む関数に対する不等式制約と、の少なくとも一方を有し、
前記評価関数は、
前記入力時系列と前記出力時系列とに対して凸になるように設計され、
かつ、前記入力時系列に対して強凸になるように設計される関数である、学習装置。
【請求項11】
請求項１０に記載の学習装置であって、
前記算出部は、前記評価関数が微分不可能な関数を含む場合に、最適化アルゴリズムとして交互方向乗数法を用いて前記スパース最適化問題を解く、学習装置。
前記算出部は、前記評価関数が微分不可能な関数を含む場合に、最適化アルゴリズムとして交互方向乗数法を用いて前記スパース最適化問題を解く、学習装置。
【請求項12】
請求項１１に記載の学習装置であって、
前記更新部は、前記パラメータの更新のために、次式により定義される前記微分値Ｊを算出するものであり、
上記式において、
Ｉは単位行列であり、
γ，ρは正の定数であり、
Ｕ*は、入力時系列Ｕに対する前記非線形モデルの解であり、
関数Ｖおよび関数ｇが入力時系列Ｕと、出力時系列Ｙと、前記パラメータθとを引数とする微分可能なスカラー値関数であり、かつ、関数Ｆが非線形モデルによって定まった入力時系列Ｕと、パラメータθとを引数として出力時系列Ｙを返す関数である場合に、
Ｄは、関数Ｖ～（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ*－γ∇UＶ～（Ｕ*，θ）に対し、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角行列であり、
ｑは、前記関数Ｖ～の前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択して
生成したＮｒ次元ベクトルであり、
Ａは、スパース最適化問題がｎe個の一次独立な前記等式制約を有し、かつ、前記
等式制約が入力時系列Ｕに対してＡＵ＋ｂ＝０の関係で表される場合に、ｎe×Ｎｒ次元
行列であり、
Ｈは、前記関数Ｖ～のＵに対するヘッセ行列であり、
Ｐｉは、関数ｇ～（Ｕ，θ）＝Ｖ（Ｕ，ｇ（Ｕ，θ），θ）とおき、関数ｇ～の第ｉ成分ｇi～のＵについてのヘッセ行列であり、
Ｅは、前記不等式制約がｇ～（Ｕ，θ）≦０で表され、かつ、ｇ～（Ｕ，θ）≦０に対応する双対変数をη*とした場合に、η*を対角成分とする対角行列であり、
ηｉは、ｇ～（Ｕ，θ）≦０に対応する双対変数の第ｉ成分であり、
Ｇは、ｇ～（Ｕ*，θ）を対角成分とする対角行列であり、
行列Ｒの逆行列である行列Ｒ-1におけるＲ11 inv，Ｒ13 inv，Ｒ14 invは、行列Ｒ-1
の各成分を行列Ｒと同じようにブロック分割した場合に、各行各列で対応する部分行列である、学習装置。
前記更新部は、前記パラメータの更新のために、次式により定義される前記微分値Ｊを算出するものであり、
Ｉは単位行列であり、
γ，ρは正の定数であり、
Ｕ*は、入力時系列Ｕに対する前記非線形モデルの解であり、
関数Ｖおよび関数ｇが入力時系列Ｕと、出力時系列Ｙと、前記パラメータθとを引数とする微分可能なスカラー値関数であり、かつ、関数Ｆが非線形モデルによって定まった入力時系列Ｕと、パラメータθとを引数として出力時系列Ｙを返す関数である場合に、
Ｄは、関数Ｖ～（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ*－γ∇UＶ～（Ｕ*，θ）に対し、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角行列であり、
ｑは、前記関数Ｖ～の前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択して
生成したＮｒ次元ベクトルであり、
Ａは、スパース最適化問題がｎe個の一次独立な前記等式制約を有し、かつ、前記
等式制約が入力時系列Ｕに対してＡＵ＋ｂ＝０の関係で表される場合に、ｎe×Ｎｒ次元
行列であり、
Ｈは、前記関数Ｖ～のＵに対するヘッセ行列であり、
Ｐｉは、関数ｇ～（Ｕ，θ）＝Ｖ（Ｕ，ｇ（Ｕ，θ），θ）とおき、関数ｇ～の第ｉ成分ｇi～のＵについてのヘッセ行列であり、
Ｅは、前記不等式制約がｇ～（Ｕ，θ）≦０で表され、かつ、ｇ～（Ｕ，θ）≦０に対応する双対変数をη*とした場合に、η*を対角成分とする対角行列であり、
ηｉは、ｇ～（Ｕ，θ）≦０に対応する双対変数の第ｉ成分であり、
Ｇは、ｇ～（Ｕ*，θ）を対角成分とする対角行列であり、
行列Ｒの逆行列である行列Ｒ-1におけるＲ11 inv，Ｒ13 inv，Ｒ14 invは、行列Ｒ-1
の各成分を行列Ｒと同じようにブロック分割した場合に、各行各列で対応する部分行列である、学習装置。
【請求項13】
制御装置であって、
請求項１から請求項１２のいずれか一項に記載の学習装置により学習された前記パラメータを取得する取得部と、
取得された前記パラメータによって決定付けられた前記スパース最適化問題を解くことによって、前記最適制御を算出する制御部と、を備える、制御装置。
請求項１から請求項１２のいずれか一項に記載の学習装置により学習された前記パラメータを取得する取得部と、
取得された前記パラメータによって決定付けられた前記スパース最適化問題を解くことによって、前記最適制御を算出する制御部と、を備える、制御装置。
【請求項14】
学習方法であって、情報処理装置が、
入力時系列から出力時系列を近似的に表現した非線形モデルを用いたスパース最適化問題であって、所定のパラメータにより決定付けられるスパース最適化問題を決定する決定工程と、
決定された前記スパース最適化問題を解くことによって、前記パラメータに対応した最適制御であって、ある評価関数の下で最適だと評価される前記入力時系列である最適制御を算出する算出工程と、
前記最適制御に対する前記パラメータによる微分値を用いて、前記パラメータを更新する更新工程と、
を実行し、
前記スパース最適化問題の決定と、前記最適制御の算出と、前記パラメータの更新と、を繰り返すことにより、教師データとの誤差が小さい前記最適制御が得られる前記スパース最適化問題を決定付けるための前記パラメータを学習する、学習方法。
入力時系列から出力時系列を近似的に表現した非線形モデルを用いたスパース最適化問題であって、所定のパラメータにより決定付けられるスパース最適化問題を決定する決定工程と、
決定された前記スパース最適化問題を解くことによって、前記パラメータに対応した最適制御であって、ある評価関数の下で最適だと評価される前記入力時系列である最適制御を算出する算出工程と、
前記最適制御に対する前記パラメータによる微分値を用いて、前記パラメータを更新する更新工程と、
を実行し、
前記スパース最適化問題の決定と、前記最適制御の算出と、前記パラメータの更新と、を繰り返すことにより、教師データとの誤差が小さい前記最適制御が得られる前記スパース最適化問題を決定付けるための前記パラメータを学習する、学習方法。
【請求項15】
コンピュータプログラムであって、情報処理装置に、
入力時系列から出力時系列を近似的に表現した非線形モデルを用いたスパース最適化問題であって、所定のパラメータにより決定付けられるスパース最適化問題を決定する決定機能と、
決定された前記スパース最適化問題を解くことによって、前記パラメータに対応した最適制御であって、ある評価関数の下で最適だと評価される前記入力時系列である最適制御を算出する算出機能と、
前記最適制御に対する前記パラメータによる微分値を用いて、前記パラメータを更新す
る更新機能と、
を実行させ、
前記スパース最適化問題の決定と、前記最適制御の算出と、前記パラメータの更新と、を繰り返すことにより、教師データとの誤差が小さい前記最適制御が得られる前記スパース最適化問題を決定付けるための前記パラメータを学習する、コンピュータプログラム。
入力時系列から出力時系列を近似的に表現した非線形モデルを用いたスパース最適化問題であって、所定のパラメータにより決定付けられるスパース最適化問題を決定する決定機能と、
決定された前記スパース最適化問題を解くことによって、前記パラメータに対応した最適制御であって、ある評価関数の下で最適だと評価される前記入力時系列である最適制御を算出する算出機能と、
前記最適制御に対する前記パラメータによる微分値を用いて、前記パラメータを更新す
る更新機能と、
を実行させ、
前記スパース最適化問題の決定と、前記最適制御の算出と、前記パラメータの更新と、を繰り返すことにより、教師データとの誤差が小さい前記最適制御が得られる前記スパース最適化問題を決定付けるための前記パラメータを学習する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、スパース最適化問題を決定付けるパラメータを学習する技術に関する。
【背景技術】
【0002】
制御対象の状態を制御する制御装置（コントローラ）が知られている。例えば、特許文献１には、事前に目標となる数値を定めることが困難な制御システムにおいても、最適な適合値を自動的に推定することが可能な、制御パラメータの適合化システムについて記載されている。特許文献１に記載のシステムでは、排気ガス分析計と酸素センサの出力に基づいて空燃比の制御状態を評価し、評価結果に基づいて目標空燃比の指示値を調整することで、目標空燃比の指示値が最適な値となるように適合させた適合マップを生成する。適合マップ生成後は、適合マップに従って目標空燃比の指示値が決定される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１０－０８６４０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献１に記載の技術では、適合の都度、シミュレータを動作させて適合マップを生成する必要があるため、適合マップの生成に長時間を要し、システムの開発リードタイムが長くなるという課題があった。なお、このような課題は、内燃機関を制御対象とする場合に限らず、シミュレータにより表現可能なシステムを制御対象とする場合の全般に共通する。
【0005】
本発明は、上述した課題の少なくとも一部を解決するためになされたものであり、システムの開発リードタイムの短縮に資する技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、上述した課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
【0007】
（１）本発明の一形態によれば、学習装置が提供される。この学習装置は、入力時系列から出力時系列を近似的に表現した非線形モデルを用いたスパース最適化問題であって、所定のパラメータにより決定付けられるスパース最適化問題を決定する決定部と、決定された前記スパース最適化問題を解くことによって、前記パラメータに対応した最適制御であって、ある評価関数の下で最適だと評価される前記入力時系列である最適制御を算出する算出部と、前記最適制御に対する前記パラメータによる微分値を用いて、前記パラメータを更新する更新部と、を備え、前記決定部による前記スパース最適化問題の決定と、前記算出部による前記最適制御の算出と、前記更新部による前記パラメータの更新と、を繰り返すことにより、教師データとの誤差が小さい前記最適制御が得られる前記スパース最適化問題を決定付けるための前記パラメータを学習する。
【0008】
この構成によれば、更新部は、最適制御に対するパラメータによる微分値を用いてパラメータを更新するため、周知の勾配法などによって最適制御の模倣が可能なパラメータを学習することができる。このようにして学習されたパラメータを、制御対象を含むシステムの開発に利用することで、適合の都度シミュレータを動作させて適合マップを生成する従来の構成と比較して、システムの開発リードタイムを大幅に短縮することができると共
に、システム開発コストを低減できる。
に、システム開発コストを低減できる。
【0009】
（２）上記形態の学習装置において、前記非線形モデルは、返り値の各成分が、引数について凸かつ単調非減少に設計される微分可能な関数として表されてもよい。
一般に、周知の勾配法などによって最適制御の模倣を行うためには、最適制御問題の最適入力（すなわち最適制御）を、当該最適制御を得るために用いられたパラメータによって微分する必要がある。ここで、評価関数が微分可能な場合には、最適制御のパラメータによる微分値を取得できるものの、スパース最適化問題においては評価関数が微分可能でないため、通常の方法では、この微分値を取得することができなかった。この点、本構成によれば、プラントを表現する非線形モデルを、返り値の各成分が、引数について凸かつ単調非減少に設計される微分可能な関数としているため、最適制御に対するパラメータによる微分値を取得可能とできる。
一般に、周知の勾配法などによって最適制御の模倣を行うためには、最適制御問題の最適入力（すなわち最適制御）を、当該最適制御を得るために用いられたパラメータによって微分する必要がある。ここで、評価関数が微分可能な場合には、最適制御のパラメータによる微分値を取得できるものの、スパース最適化問題においては評価関数が微分可能でないため、通常の方法では、この微分値を取得することができなかった。この点、本構成によれば、プラントを表現する非線形モデルを、返り値の各成分が、引数について凸かつ単調非減少に設計される微分可能な関数としているため、最適制御に対するパラメータによる微分値を取得可能とできる。
【0010】
（３）上記形態の学習装置において、前記スパース最適化問題は、前記非線形モデルの入力時系列Ｕと、前記非線形モデルを用いて前記入力時系列Ｕにより決定された出力時系列Ｙと、前記パラメータθと、を引数とする微分可能なスカラー値関数Ｖと、前記入力時系列ＵのＬ１正則化項と、の和として表されてもよい。
この構成によれば、スパース最適化問題を、非線形モデルの入力時系列Ｕと非線形モデルを用いて入力時系列により決定された出力時系列Ｙとパラメータθとを引数とする微分可能なスカラー値関数Ｖと、入力時系列ＵのＬ１正則化項と、の和として表している。このため、スパース最適化問題から決定される行列を必ず正則にし、陰関数微分の定理（ａｒＸｉｖ：２１０６．０４３５０、方程式から決定されるある行列が常に正則であれば陰関数微分が可能であることを述べる定理）を用いて、最適制御に対するパラメータによる微分値を取得可能とできる。
この構成によれば、スパース最適化問題を、非線形モデルの入力時系列Ｕと非線形モデルを用いて入力時系列により決定された出力時系列Ｙとパラメータθとを引数とする微分可能なスカラー値関数Ｖと、入力時系列ＵのＬ１正則化項と、の和として表している。このため、スパース最適化問題から決定される行列を必ず正則にし、陰関数微分の定理（ａｒＸｉｖ：２１０６．０４３５０、方程式から決定されるある行列が常に正則であれば陰関数微分が可能であることを述べる定理）を用いて、最適制御に対するパラメータによる微分値を取得可能とできる。
【0011】
（４）上記形態の学習装置において、前記スパース最適化問題は、さらに、前記入力時系列Ｕに対する、上限値と下限値との少なくとも一方を制限する制約を有していてもよい。
例えば内燃機関における燃料噴射量のように、制御対象には、制御対象の運用上、入力時系列Ｕに対する上限値や下限値といった制約が設けられている場合がある。本構成によれば、スパース最適化問題は、さらに、入力時系列Ｕに対する上限値と下限値との少なくとも一方を制限する制約を有するため、このような制約を持つ制御対象に対しても、最適制御の模倣が可能なパラメータを学習することができる。
例えば内燃機関における燃料噴射量のように、制御対象には、制御対象の運用上、入力時系列Ｕに対する上限値や下限値といった制約が設けられている場合がある。本構成によれば、スパース最適化問題は、さらに、入力時系列Ｕに対する上限値と下限値との少なくとも一方を制限する制約を有するため、このような制約を持つ制御対象に対しても、最適制御の模倣が可能なパラメータを学習することができる。
【0012】
（５）上記形態の学習装置において、前記更新部は、前記パラメータの更新のために、次式により定義される前記微分値Ｊを算出するものであり、
上記式において、Ｉは単位行列であり、γは正の定数であり、Ｄは、関数ｌ（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，－Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ－γ∇Uｌ（Ｕ，θ
）に対して、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角
行列であり、ｑは、前記関数ｌの前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択
して生成したＮｒ次元ベクトルであり、Ｈは、前記関数ｌのＵに対するヘッセ行列であり、Ｕは前記入力時系列Ｕであり、θは前記パラメータθであり、Ｖは前記スカラー値関数Ｖであってもよい。
この構成によれば、更新部は、パラメータ更新のための微分値Ｊを算出できる。
）に対して、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角
行列であり、ｑは、前記関数ｌの前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択
して生成したＮｒ次元ベクトルであり、Ｈは、前記関数ｌのＵに対するヘッセ行列であり、Ｕは前記入力時系列Ｕであり、θは前記パラメータθであり、Ｖは前記スカラー値関数Ｖであってもよい。
この構成によれば、更新部は、パラメータ更新のための微分値Ｊを算出できる。
【0013】
（６）上記形態の学習装置において、前記スパース最適化問題は、さらに、前記入力時系列に対する等式制約と、前記入力時系列と前記出力時系列とを引数に含む関数に対する不等式制約と、の少なくとも一方を有し、前記評価関数は、前記入力時系列と、前記出力時
系列とに対して凸になるように設計され、かつ、前記出力時系列に対して単調非減少であるように設計され、かつ、前記入力時系列に対して強凸になるように設計される関数であってもよい。
例えば内燃機関における燃料噴射量を所定量に設定したり、騒音（ｄＢ）を所定値以下に抑えたい場合に、制御対象には、制御対象の運用上、入力時系列や出力時系列に対して等式または不等式で表される制約が設けられている場合がある。本構成によれば、スパース最適化問題は、さらに、等式制約と不等式制約との少なくとも一方を有するため、このような制約を持つ制御対象に対しても、最適制御の模倣が可能なパラメータを学習することができる。
系列とに対して凸になるように設計され、かつ、前記出力時系列に対して単調非減少であるように設計され、かつ、前記入力時系列に対して強凸になるように設計される関数であってもよい。
例えば内燃機関における燃料噴射量を所定量に設定したり、騒音（ｄＢ）を所定値以下に抑えたい場合に、制御対象には、制御対象の運用上、入力時系列や出力時系列に対して等式または不等式で表される制約が設けられている場合がある。本構成によれば、スパース最適化問題は、さらに、等式制約と不等式制約との少なくとも一方を有するため、このような制約を持つ制御対象に対しても、最適制御の模倣が可能なパラメータを学習することができる。
【0014】
（７）上記形態の学習装置において、前記算出部は、前記評価関数が微分不可能な関数を含む場合に、最適化アルゴリズムとして交互方向乗数法を用いて前記スパース最適化問題を解いてもよい。
この構成によれば、変数である入力時系列の更新則が無制約のスパース最適化問題の求解を含んでおり、周知のスパース最適化アルゴリズム（例えば近接勾配アルゴリズム）を用いて評価関数の解を求めることができる。
この構成によれば、変数である入力時系列の更新則が無制約のスパース最適化問題の求解を含んでおり、周知のスパース最適化アルゴリズム（例えば近接勾配アルゴリズム）を用いて評価関数の解を求めることができる。
【0015】
（８）上記形態の学習装置において、前記更新部は、前記パラメータの更新のために、次式により定義される前記微分値Ｊを算出するものであり、
上記式において、Ｉは単位行列であり、γ，ρは正の定数であり、Ｕ*は、入力時系列
Ｕに対する前記非線形モデルの解であり、関数Ｖおよび関数ｇが入力時系列Ｕと、出力時系列Ｙと、前記パラメータθとを引数とする微分可能なスカラー値関数であり、かつ、関数Ｆが非線形モデルによって定まった入力時系列Ｕと、パラメータθとを引数として出力時系列Ｙを返す関数である場合に、Ｄは、関数Ｖ～（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ*－γ∇UＶ～（Ｕ*，θ）に対し、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角行列であり、ｑは、前記関数Ｖ～の前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択して生成したＮｒ次元ベクト
ルであり、Ａは、スパース最適化問題がｎe個の一次独立な前記等式制約を有し、かつ、
前記等式制約が入力時系列Ｕに対してＡＵ＋ｂ＝０の関係で表される場合に、ｎe×Ｎｒ
次元行列であり、Ｈは、前記関数Ｖ～のＵに対するヘッセ行列であり、Ｐｉは、関数ｇ～（Ｕ，θ）＝Ｖ（Ｕ，ｇ（Ｕ，θ），θ）とおき、関数ｇ～の第ｉ成分ｇi～のＵについ
てのヘッセ行列であり、Ｅは、前記不等式制約がｇ～（Ｕ，θ）≦０で表され、かつ、ｇ～（Ｕ，θ）≦０に対応する双対変数をη*とした場合に、η*を対角成分とする対角行列であり、ηｉは、ｇ～（Ｕ，θ）≦０に対応する双対変数の第ｉ成分であり、Ｇは、ｇ～
（Ｕ*，θ）を対角成分とする対角行列であり、行列Ｒの逆行列である行列Ｒ-1における
Ｒ11 inv，Ｒ13 inv，Ｒ14 invは、行列Ｒ-1の各成分を行列Ｒと同じようにブロック分割し
た場合に、各行各列で対応する部分行列であってもよい。
この構成によれば、更新部は、パラメータ更新のための微分値Ｊを算出できる。
Ｕに対する前記非線形モデルの解であり、関数Ｖおよび関数ｇが入力時系列Ｕと、出力時系列Ｙと、前記パラメータθとを引数とする微分可能なスカラー値関数であり、かつ、関数Ｆが非線形モデルによって定まった入力時系列Ｕと、パラメータθとを引数として出力時系列Ｙを返す関数である場合に、Ｄは、関数Ｖ～（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ*－γ∇UＶ～（Ｕ*，θ）に対し、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角行列であり、ｑは、前記関数Ｖ～の前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択して生成したＮｒ次元ベクト
ルであり、Ａは、スパース最適化問題がｎe個の一次独立な前記等式制約を有し、かつ、
前記等式制約が入力時系列Ｕに対してＡＵ＋ｂ＝０の関係で表される場合に、ｎe×Ｎｒ
次元行列であり、Ｈは、前記関数Ｖ～のＵに対するヘッセ行列であり、Ｐｉは、関数ｇ～（Ｕ，θ）＝Ｖ（Ｕ，ｇ（Ｕ，θ），θ）とおき、関数ｇ～の第ｉ成分ｇi～のＵについ
てのヘッセ行列であり、Ｅは、前記不等式制約がｇ～（Ｕ，θ）≦０で表され、かつ、ｇ～（Ｕ，θ）≦０に対応する双対変数をη*とした場合に、η*を対角成分とする対角行列であり、ηｉは、ｇ～（Ｕ，θ）≦０に対応する双対変数の第ｉ成分であり、Ｇは、ｇ～
（Ｕ*，θ）を対角成分とする対角行列であり、行列Ｒの逆行列である行列Ｒ-1における
Ｒ11 inv，Ｒ13 inv，Ｒ14 invは、行列Ｒ-1の各成分を行列Ｒと同じようにブロック分割し
た場合に、各行各列で対応する部分行列であってもよい。
この構成によれば、更新部は、パラメータ更新のための微分値Ｊを算出できる。
【0016】
（９）上記形態の学習装置において、前記非線形モデルは、前記出力時系列の各成分が前記入力時系列について線形な関数として表されてもよい。
この構成によれば、出力時系列の各成分が入力時系列について線形な関数として表される。すなわち、非線形モデルが線形な関数として表現されるため、取り扱える最適化問題の幅が広がる。
この構成によれば、出力時系列の各成分が入力時系列について線形な関数として表される。すなわち、非線形モデルが線形な関数として表現されるため、取り扱える最適化問題の幅が広がる。
【0017】
（１０）上記形態の学習装置において、前記スパース最適化問題は、さらに、前記入力時系列に対する等式制約と、前記入力時系列と前記出力時系列とを引数に含む関数に対する不等式制約と、の少なくとも一方を有し、前記評価関数は、前記入力時系列と前記出力時系列とに対して凸になるように設計され、かつ、前記入力時系列に対して強凸になるように設計される関数であってもよい。
例えば内燃機関における燃料噴射量を所定量に設定したり、騒音（ｄＢ）を所定値以下に抑えたい場合に、制御対象には、制御対象の運用上、入力時系列や出力時系列に対して等式または不等式で表される制約が設けられている場合がある。本構成によれば、スパース最適化問題は、さらに、等式制約と不等式制約との少なくとも一方を有するため、このような制約を持つ制御対象に対しても、最適制御の模倣が可能なパラメータを学習することができる。
例えば内燃機関における燃料噴射量を所定量に設定したり、騒音（ｄＢ）を所定値以下に抑えたい場合に、制御対象には、制御対象の運用上、入力時系列や出力時系列に対して等式または不等式で表される制約が設けられている場合がある。本構成によれば、スパース最適化問題は、さらに、等式制約と不等式制約との少なくとも一方を有するため、このような制約を持つ制御対象に対しても、最適制御の模倣が可能なパラメータを学習することができる。
【0018】
（１１）上記形態の学習装置において、前記算出部は、前記評価関数が微分不可能な関数を含む場合に、最適化アルゴリズムとして交互方向乗数法を用いて前記スパース最適化問題を解いてもよい。
この構成によれば、変数である入力時系列の更新則が無制約のスパース最適化問題の求解を含んでおり、周知のスパース最適化アルゴリズム（例えば近接勾配アルゴリズム）を用いて評価関数の解を求めることができる。
この構成によれば、変数である入力時系列の更新則が無制約のスパース最適化問題の求解を含んでおり、周知のスパース最適化アルゴリズム（例えば近接勾配アルゴリズム）を用いて評価関数の解を求めることができる。
【0019】
（１２）上記形態の学習装置において、前記更新部は、前記パラメータの更新のために、次式により定義される前記微分値Ｊを算出するものであり、
上記式において、Ｉは単位行列であり、γ，ρは正の定数であり、Ｕ*は、入力時系列
Ｕに対する前記非線形モデルの解であり、関数Ｖおよび関数ｇが入力時系列Ｕと、出力時
系列Ｙと、前記パラメータθとを引数とする微分可能なスカラー値関数であり、かつ、関数Ｆが非線形モデルによって定まった入力時系列Ｕと、パラメータθとを引数として出力時系列Ｙを返す関数である場合に、Ｄは、関数Ｖ～（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ*－γ∇UＶ～（Ｕ*，θ）に対し、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角行列であり、ｑは、前記関数Ｖ～の前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択して生成したＮｒ次元ベクト
ルであり、Ａは、スパース最適化問題がｎe個の一次独立な前記等式制約を有し、かつ、
前記等式制約が入力時系列Ｕに対してＡＵ＋ｂ＝０の関係で表される場合に、ｎe×Ｎｒ
次元行列であり、Ｈは、前記関数Ｖ～のＵに対するヘッセ行列であり、Ｐｉは、関数ｇ～（Ｕ，θ）＝Ｖ（Ｕ，ｇ（Ｕ，θ），θ）とおき、関数ｇ～の第ｉ成分ｇi～のＵについ
てのヘッセ行列であり、Ｅは、前記不等式制約がｇ～（Ｕ，θ）≦０で表され、かつ、ｇ～（Ｕ，θ）≦０に対応する双対変数をη*とした場合に、η*を対角成分とする対角行列であり、ηｉは、ｇ～（Ｕ，θ）≦０に対応する双対変数の第ｉ成分であり、Ｇは、ｇ～（Ｕ*，θ）を対角成分とする対角行列であり、行列Ｒの逆行列である行列Ｒ-1における
Ｒ11 inv，Ｒ13 inv，Ｒ14 invは、行列Ｒ-1の各成分を行列Ｒと同じようにブロック分割し
た場合に、各行各列で対応する部分行列であってもよい。
この構成によれば、更新部は、パラメータ更新のための微分値Ｊを算出できる。
Ｕに対する前記非線形モデルの解であり、関数Ｖおよび関数ｇが入力時系列Ｕと、出力時
系列Ｙと、前記パラメータθとを引数とする微分可能なスカラー値関数であり、かつ、関数Ｆが非線形モデルによって定まった入力時系列Ｕと、パラメータθとを引数として出力時系列Ｙを返す関数である場合に、Ｄは、関数Ｖ～（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ*－γ∇UＶ～（Ｕ*，θ）に対し、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角行列であり、ｑは、前記関数Ｖ～の前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択して生成したＮｒ次元ベクト
ルであり、Ａは、スパース最適化問題がｎe個の一次独立な前記等式制約を有し、かつ、
前記等式制約が入力時系列Ｕに対してＡＵ＋ｂ＝０の関係で表される場合に、ｎe×Ｎｒ
次元行列であり、Ｈは、前記関数Ｖ～のＵに対するヘッセ行列であり、Ｐｉは、関数ｇ～（Ｕ，θ）＝Ｖ（Ｕ，ｇ（Ｕ，θ），θ）とおき、関数ｇ～の第ｉ成分ｇi～のＵについ
てのヘッセ行列であり、Ｅは、前記不等式制約がｇ～（Ｕ，θ）≦０で表され、かつ、ｇ～（Ｕ，θ）≦０に対応する双対変数をη*とした場合に、η*を対角成分とする対角行列であり、ηｉは、ｇ～（Ｕ，θ）≦０に対応する双対変数の第ｉ成分であり、Ｇは、ｇ～（Ｕ*，θ）を対角成分とする対角行列であり、行列Ｒの逆行列である行列Ｒ-1における
Ｒ11 inv，Ｒ13 inv，Ｒ14 invは、行列Ｒ-1の各成分を行列Ｒと同じようにブロック分割し
た場合に、各行各列で対応する部分行列であってもよい。
この構成によれば、更新部は、パラメータ更新のための微分値Ｊを算出できる。
【0020】
（１３）本発明の一形態によれば、制御装置が提供される。この制御装置は、上記形態の学習装置により学習された前記パラメータを取得する取得部と、取得された前記パラメータによって決定付けられた前記スパース最適化問題を解くことによって、前記最適制御を算出する制御部と、を備える。
この構成によれば、制御装置は、学習装置によって学習されたパラメータを利用することで、迅速かつ簡単に最適制御を算出できる。このため、適合の都度シミュレータを動作させて適合マップを生成する従来の構成と比較して、制御対象を含むシステムの開発リードタイムを大幅に短縮することができると共に、システム開発コストを低減できる。
この構成によれば、制御装置は、学習装置によって学習されたパラメータを利用することで、迅速かつ簡単に最適制御を算出できる。このため、適合の都度シミュレータを動作させて適合マップを生成する従来の構成と比較して、制御対象を含むシステムの開発リードタイムを大幅に短縮することができると共に、システム開発コストを低減できる。
【0021】
なお、本発明は、種々の態様で実現することが可能であり、例えば、スパース最適化問題を決定付けるパラメータを学習する学習装置のほか、入力時系列から出力時系列を近似的に表現した非線形モデルにより表現可能なシステムを制御する制御装置やＥＣＵ（Engine Control Unit）、制御装置と制御対象とを含むシステム、制御装置が内蔵された制御
対象、これら装置及びシステムの制御方法、これら装置及びシステムにおいて実行されるコンピュータプログラム、そのコンピュータプログラムを配布するためのサーバ装置、そのコンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。
対象、これら装置及びシステムの制御方法、これら装置及びシステムにおいて実行されるコンピュータプログラム、そのコンピュータプログラムを配布するためのサーバ装置、そのコンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。
【図面の簡単な説明】
【0022】
【図1】制御システムの構成を例示した説明図である。
【図2】学習処理の概要について説明する図である。
【図3】学習処理の一例を示すフローチャートである。
【図4】実験の結果として得られた模倣誤差の遷移を表すグラフである。
【図5】実験の結果として得られたパラメータの遷移を表すグラフである。
【図6】第２実施形態の制御システムの構成を例示した説明図である。
【図7】第２実施形態の学習処理の一例を示すフローチャートである。
【図8】第３実施形態の制御システムの構成を例示した説明図である。
【図9】第３実施形態の学習処理の一例を示すフローチャートである。
【図10】実験の結果として得られた模倣誤差の遷移を表すグラフである。
【図11】第４実施形態の制御システムの構成を例示した説明図である。
【図12】第４実施形態の学習処理の一例を示すフローチャートである。
【図13】実験の結果として得られた模倣誤差の遷移を表すグラフである。
【発明を実施するための形態】
【0023】
＜第１実施形態＞
図１は、制御システム１の構成を例示した説明図である。制御システム１は、入力時系列から出力時系列を近似的に表現した非線形モデルにより表される制御対象に対して、教師データとの誤差が小さい最適制御を算出するためのシステムである。ここで、「最適制御」とは、ある評価関数の下で最適だと評価される入力時系列を意味する。入力時系列とは、制御対象に対する入力の時系列パターンを意味する。詳細は後述する。本発明の一実施形態としての制御システム１は、学習装置１００と、制御装置２００とを備えている。
図１は、制御システム１の構成を例示した説明図である。制御システム１は、入力時系列から出力時系列を近似的に表現した非線形モデルにより表される制御対象に対して、教師データとの誤差が小さい最適制御を算出するためのシステムである。ここで、「最適制御」とは、ある評価関数の下で最適だと評価される入力時系列を意味する。入力時系列とは、制御対象に対する入力の時系列パターンを意味する。詳細は後述する。本発明の一実施形態としての制御システム１は、学習装置１００と、制御装置２００とを備えている。
【0024】
学習装置１００は、最適制御を得るためのスパース最適化問題を決定付けるパラメータθを学習する装置である。ここで、スパース最適化問題とは、ベクトルや行列を決定変数に持つ最適化問題において、最適解ベクトルの０（ゼロ）である要素の数を多くしたり、行列において階数を小さくしたりというように、一部の情報だけを用いた解表現を志向する数理最適化を意味する。
【0025】
学習装置１００は、例えば、パーソナルコンピュータ（ＰＣ：Personal Computer）や
、車載ＥＣＵ（Electronic Control Unit）として実現され得る。学習装置１００は、Ｃ
ＰＵ１１０と、記憶部１２０と、ＲＯＭ／ＲＡＭ１３０と、通信部１４０と、入出力部１５０とを有している。学習装置１００の各部はバスにより相互に接続されている。ＣＰＵ１１０は、決定部１１１と、算出部１１２と、更新部１１３とを備えている。これら機能部は、ＲＯＭ１３０に格納されているコンピュータプログラムをＲＡＭ１３０に展開して実行することにより、後述する学習処理を実行する。
、車載ＥＣＵ（Electronic Control Unit）として実現され得る。学習装置１００は、Ｃ
ＰＵ１１０と、記憶部１２０と、ＲＯＭ／ＲＡＭ１３０と、通信部１４０と、入出力部１５０とを有している。学習装置１００の各部はバスにより相互に接続されている。ＣＰＵ１１０は、決定部１１１と、算出部１１２と、更新部１１３とを備えている。これら機能部は、ＲＯＭ１３０に格納されているコンピュータプログラムをＲＡＭ１３０に展開して実行することにより、後述する学習処理を実行する。
【0026】
図２は、学習処理の概要について説明する図である。決定部１１１は、学習処理において、非線形モデル１０を用いたスパース最適化問題２０を決定する。非線形モデル１０は、制御対象をモデル化したものであり、制御対象の入出力関係を予め学習することで構築されている。非線形モデル１０は、制御対象に対する入力時系列Ｕから出力時系列Ｙを近似的に表現した再帰型のニューラルネットモデルであり、次の式（１）により表現される。式（１）から明らかなように、非線形モデル１０によれば、あるパラメータθの下での、入力Ｕに対する出力Ｙが算出される。非線形モデル１０は、シミュレータの一種としても捉えられる一方、非線形モデル１０からは、入力Ｕの変化に対する出力Ｙの変化情報（微分値）を得ることもできる。非線形モデル１０は、機械学習モデルとしてよく知られたモデルであり、任意の精度で制御対象システムの入出力関係を表現できる。なお、非線形モデル１０は、例えば、内燃機関のモデルとして実現できる。非線形モデル１０を内燃機関のモデルとした場合、入力時系列Ｕとして燃料噴射量が例示でき、出力時系列Ｙとして内燃機関のトルクが例示できる。
【0027】
【数1】
【0028】
式（１）の各変数は、以下に示すａ１～ａ５の通りである。なお、ｒ，ｍ，ｎ，ｐは、それぞれ任意の自然数であり、ｋ＝１，・・・，Ｎは、時刻を表すインデックスである。（ａ１）Ｕ：非線形モデル１０に対する入力時系列であり、Ｕ＝［ｕ1，・・・，ｕN］である。各入力ｕは、ｒ次元ベクトルにより表される。このため入力時系列Ｕは、Ｎｒ次元ベクトルである。
（ａ２）Ｙ：非線形モデル１０からの出力時系列であり、Ｙ＝［ｙ1，・・・，ｙN］である。各出力ｙは、ｍ次元ベクトルにより表される。このため出力時系列Ｙは、Ｎｍ次元ベ
クトルである。
（ａ３）ｘ：非線形モデル１０が持つ内部状態時系列であり、ｘ＝［ｘ1，・・・，ｘN+1］である。各内部状態ｘは、ｎ次元ベクトルにより表される。このため内部状態時系列ｘは、Ｎｎ＋Ｎ次元ベクトルである。
（ａ４）符号を反転した入力時系列（以降、「反転入力時系列」とも呼ぶ）であり、Ｕ～＝［ｕ～1，・・・，ｕ～N］＝［－ｕ1，・・・，－ｕN］である。
（ａ５）θ：式（１）を決定付けるパラメータ、より具体的には式（１）の関数ｆと関数ｈとを決定付けるパラメータであり、ｐ次元ベクトルにより表される。
（ａ２）Ｙ：非線形モデル１０からの出力時系列であり、Ｙ＝［ｙ1，・・・，ｙN］である。各出力ｙは、ｍ次元ベクトルにより表される。このため出力時系列Ｙは、Ｎｍ次元ベ
クトルである。
（ａ３）ｘ：非線形モデル１０が持つ内部状態時系列であり、ｘ＝［ｘ1，・・・，ｘN+1］である。各内部状態ｘは、ｎ次元ベクトルにより表される。このため内部状態時系列ｘは、Ｎｎ＋Ｎ次元ベクトルである。
（ａ４）符号を反転した入力時系列（以降、「反転入力時系列」とも呼ぶ）であり、Ｕ～＝［ｕ～1，・・・，ｕ～N］＝［－ｕ1，・・・，－ｕN］である。
（ａ５）θ：式（１）を決定付けるパラメータ、より具体的には式（１）の関数ｆと関数ｈとを決定付けるパラメータであり、ｐ次元ベクトルにより表される。
【0029】
ここで、関数ｆと、関数ｈとは、返り値の各成分が、引数ｘ，ｕ，ｕ～について凸かつ単調非減少に設計された微分可能な関数である。換言すれば、関数ｆと、関数ｈとは、引数ｘ，ｕ，ｕ～，θのうちの一部である引数ｘ，ｕ，ｕ～について、ｚ＝（ｘ，ｕ，ｕ～）のようにひとまとめとし、ｚについて凸かつ単調非減少であるように設計されている。この非線形モデル１０によって、入力時系列Ｕ、反転入力時系列Ｕ～、パラメータθをそれぞれ引数とする関数Ｙ＝Ｆ（Ｕ，Ｕ～，θ）であって、出力時系列の各成分が、入力時系列Ｕと反転入力時系列Ｕ～とについて凸かつ単調非減少な関数が定まる。
【0030】
算出部１１２は、学習処理において、決定部１１１によって決定されたスパース最適化問題２０を解くことによって、パラメータθに対応した最適制御Ｕ*（θ）を算出する。
なお、最適制御Ｕ*（θ）は、スパース最適化問題２０の解である。更新部１１３は、学
習処理において、得られた最適制御Ｕ*（θ）と、教師データＵexpertとの模倣誤差３０
が小さくなるように、パラメータθを更新する。このとき更新部１１３は、最適制御Ｕ*
（θ）に対するパラメータθによる微分値４０を用いて、パラメータθを更新する。学習処理では、決定部１１１によるスパース最適化問題２０の決定と、算出部１１２による最適制御Ｕ*（θ）の算出と、更新部１１３によるパラメータθの更新と、を繰り返すこと
により、模倣誤差３０を最小化する（図２：模倣誤差Ｖim）。これにより学習処理では、教師データＵexpertとの誤差が小さい最適制御Ｕ*（θ）が得られるスパース最適化問題
２０を決定付けるためのパラメータθを学習できる。詳細は後述する。
なお、最適制御Ｕ*（θ）は、スパース最適化問題２０の解である。更新部１１３は、学
習処理において、得られた最適制御Ｕ*（θ）と、教師データＵexpertとの模倣誤差３０
が小さくなるように、パラメータθを更新する。このとき更新部１１３は、最適制御Ｕ*
（θ）に対するパラメータθによる微分値４０を用いて、パラメータθを更新する。学習処理では、決定部１１１によるスパース最適化問題２０の決定と、算出部１１２による最適制御Ｕ*（θ）の算出と、更新部１１３によるパラメータθの更新と、を繰り返すこと
により、模倣誤差３０を最小化する（図２：模倣誤差Ｖim）。これにより学習処理では、教師データＵexpertとの誤差が小さい最適制御Ｕ*（θ）が得られるスパース最適化問題
２０を決定付けるためのパラメータθを学習できる。詳細は後述する。
【0031】
記憶部１２０は、ハードディスク、フラッシュメモリ、メモリカードなどで構成される記憶媒体である。記憶部１２０には、学習処理によって算出及び更新されたパラメータθ１２１が記憶される。また、記憶部１２０には、上述した非線形モデル１０や、学習処理において使用される定数γが、予め記憶されている（図示省略）。
【0032】
通信部１４０は、学習装置１００と、他の装置との間における通信インターフェースを介した通信を制御する。他の装置としては、例えば、後述する制御装置２００や、他の情報処理装置が挙げられる。入出力部１５０は、学習装置１００と、利用者との間の情報の入出力に使用される種々のインターフェースである。入出力部１５０としては、例えば、入力部としてのタッチパネル、キーボード、マウス、操作ボタン、マイクや、出力部としてのタッチパネル、モニタ、スピーカー、ＬＥＤ（Light Emitting Diode）インジケータ等を採用できる。
【0033】
制御装置２００は、学習装置１００によって学習されたパラメータθを取得し、パラメータθによって決定付けられたスパース最適化問題を解くことによって、教師データとの誤差が小さい最適制御（すなわち、ある評価関数の下で最適だと評価される入力時系列Ｕ）を算出する装置である。なお、制御装置２００により算出される入力時系列Ｕは、スパースな入力時系列である。ここで、スパースな入力時系列とは、高いスパース性を有する（換言すれば、ゼロ要素が多い）入力時系列を意味する。
【0034】
制御装置２００は、例えば、パーソナルコンピュータや、車載ＥＣＵとして実現され得
る。制御装置２００は、ＣＰＵ２１０と、記憶部２２０と、ＲＯＭ／ＲＡＭ２３０と、通信部２４０と、入出力部２５０とを有している。制御装置２００の各部はバスにより相互に接続されている。ＣＰＵ２１０は、取得部２１１と、制御部２１２とを備えている。これら機能部は、ＲＯＭ２３０に格納されているコンピュータプログラムをＲＡＭ２３０に展開して実行することにより実現される。
る。制御装置２００は、ＣＰＵ２１０と、記憶部２２０と、ＲＯＭ／ＲＡＭ２３０と、通信部２４０と、入出力部２５０とを有している。制御装置２００の各部はバスにより相互に接続されている。ＣＰＵ２１０は、取得部２１１と、制御部２１２とを備えている。これら機能部は、ＲＯＭ２３０に格納されているコンピュータプログラムをＲＡＭ２３０に展開して実行することにより実現される。
【0035】
取得部２１１は、学習装置１００から、学習処理によって学習されたパラメータθを取得し、パラメータθ２２１として、記憶部２２０に記憶させる。制御部２１２は、パラメータθ２２１によって決定付けられたスパース最適化問題を解くことによって、教師データとの誤差が小さい最適制御Ｕ*（θ）、換言すれば、ある評価関数の下で最適だと評価
される入力時系列Ｕを算出する。制御部２１２は、算出した入力時系列Ｕを、入力時系列Ｕ２２２として、記憶部２２０に記憶させる。この入力時系列Ｕ２２２は、制御対象を制御するために使用される。
される入力時系列Ｕを算出する。制御部２１２は、算出した入力時系列Ｕを、入力時系列Ｕ２２２として、記憶部２２０に記憶させる。この入力時系列Ｕ２２２は、制御対象を制御するために使用される。
【0036】
図３は、学習処理の一例を示すフローチャートである。学習処理は、最適制御を得るためのスパース最適化問題を決定付けるパラメータθを学習する処理である。学習処理は、任意の契機で開始され得る。学習処理は、例えば、学習装置１００への電源投入と同時に開始されてもよく、入出力部１５０から与えられた指示を契機として開始されてもよい。以降の説明では、次の式（２）で表される模倣誤差３０を最小化するパラメータθを決定する問題を考える。すなわち、式（２）で表される模倣誤差３０は、最適制御Ｕ*（θ）
と、スパースな教師入力Ｕexpertとの二乗誤差である。また、以降の説明では、微分値を用いたパラメータθの決定手法の例として、勾配降下法を例示する。
と、スパースな教師入力Ｕexpertとの二乗誤差である。また、以降の説明では、微分値を用いたパラメータθの決定手法の例として、勾配降下法を例示する。
【0037】
【数2】
【0038】
ステップＳ１において、学習装置１００の決定部１１１は、記憶部１２０から、非線形モデル１０（図２）と、正の定数γとを取得する。非線形モデル１０は、式（１）で説明した通りの、入力時系列Ｕから出力時系列Ｙを近似的に表現したモデルである。正の定数γは、可能な限り小さな値を有する定数であり、任意に決定してよい。
【0039】
ステップＳ２において、学習装置１００の決定部１１１は、パラメータθを初期化する。パラメータθの初期値は、任意に決定してよい。また、決定部１１１は、時刻を表すインデックスｋに０を代入することで、インデックスｋを初期化する。
【0040】
ステップＳ３において、学習装置１００の決定部１１１は、現在のパラメータθから、次の式（３）により表されるスパース最適化問題２０を決定する。スパース最適化問題２０は「最適制御問題」とも呼ばれる。なお、ステップＳ３は「決定工程」に相当し、ステップＳ３では決定部１１１により「決定機能」が実行されている。
【0041】
【数3】
【0042】
式（３）の各変数は、以下に示すｂ１～ｂ４の通りである。
（ｂ１）Ｖ：入力時系列Ｕ、出力時系列Ｙ、パラメータθをそれぞれ引数とする微分可能なスカラー値関数である。関数Ｖは、入力時系列Ｕ及び出力時系列Ｙについては凸である関数であって、入力時系列Ｕについては強凸な関数であって、出力時系列Ｙについては単
調非減少な関数である。
（ｂ２）｜Ｕ｜1：入力時系列ＵのＬ１正則化項（Ｌ１ノルム）である。なおｂ２項では
、双柱を１本の縦線で表している。
（ｂ３）Ｆ：式（１）によって定まった入力時系列Ｕ、反転入力時系列Ｕ～、パラメータθを引数とする関数である。
（ｂ４）λ：パラメータθを引数とする正スカラー値関数である。
なお、ｂ１項に関し、領域Ｘにおいて定義される微分可能なスカラー値関数ｆ（ｘ）が変数ｘについて強凸であるとは、ある正の定数ε＞０が存在して、全てのｘ∈Ｘにおいて、ｆの変数ｘについてのヘッセ行列ＨについてＨ－εＩが半正定行列であることをいう。あるいは等価に、ある正の定数ε＞０が存在して、全てのｘ∈Ｘにおいて、ｆの変数ｘについてのヘッセ行列Ｈの固有値が全てε以上であることをいう。
（ｂ１）Ｖ：入力時系列Ｕ、出力時系列Ｙ、パラメータθをそれぞれ引数とする微分可能なスカラー値関数である。関数Ｖは、入力時系列Ｕ及び出力時系列Ｙについては凸である関数であって、入力時系列Ｕについては強凸な関数であって、出力時系列Ｙについては単
調非減少な関数である。
（ｂ２）｜Ｕ｜1：入力時系列ＵのＬ１正則化項（Ｌ１ノルム）である。なおｂ２項では
、双柱を１本の縦線で表している。
（ｂ３）Ｆ：式（１）によって定まった入力時系列Ｕ、反転入力時系列Ｕ～、パラメータθを引数とする関数である。
（ｂ４）λ：パラメータθを引数とする正スカラー値関数である。
なお、ｂ１項に関し、領域Ｘにおいて定義される微分可能なスカラー値関数ｆ（ｘ）が変数ｘについて強凸であるとは、ある正の定数ε＞０が存在して、全てのｘ∈Ｘにおいて、ｆの変数ｘについてのヘッセ行列ＨについてＨ－εＩが半正定行列であることをいう。あるいは等価に、ある正の定数ε＞０が存在して、全てのｘ∈Ｘにおいて、ｆの変数ｘについてのヘッセ行列Ｈの固有値が全てε以上であることをいう。
【0043】
ステップＳ４において、学習装置１００の算出部１１２は、ステップＳ３で決定されたスパース最適化問題２０を解くことによって、最適制御Ｕ*（θ）を算出する。ここで算
出部１１２は、近接勾配アルゴリズムや、ＡＤＭＭアルゴリズムを利用して、スパース最適化問題２０を解くことができる。スパース最適化問題２０は、狭義凸問題であるため、パラメータθの初期値に依らず、解が一意に定まる。なお、ステップＳ４は「算出工程」に相当し、ステップＳ４では算出部１１２により「算出機能」が実行されている。
出部１１２は、近接勾配アルゴリズムや、ＡＤＭＭアルゴリズムを利用して、スパース最適化問題２０を解くことができる。スパース最適化問題２０は、狭義凸問題であるため、パラメータθの初期値に依らず、解が一意に定まる。なお、ステップＳ４は「算出工程」に相当し、ステップＳ４では算出部１１２により「算出機能」が実行されている。
【0044】
ステップＳ５において、学習装置１００の更新部１１３は、ステップＳ４で算出された最適制御Ｕ*（θ）の、パラメータθによる微分値Ｊを取得する。具体的にはまず、更新
部１１３は、ステップＳ１で取得された正の定数γをとる。そして、スカラーξを入力としてスカラー値集合を返す関数α，βを次の式（４）のように定義する。なお、式（４）では、表記の簡素化のために関数値λ（θ）を「λ」と記載する。
部１１３は、ステップＳ１で取得された正の定数γをとる。そして、スカラーξを入力としてスカラー値集合を返す関数α，βを次の式（４）のように定義する。なお、式（４）では、表記の簡素化のために関数値λ（θ）を「λ」と記載する。
【0045】
【数4】
【0046】
その後、更新部１１３は、関数ｌ（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，－Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ－γ∇Uｌ（Ｕ，θ）に対して、次の式（５）のように第ｉ
成分ｄi，ｑiを選択し、Ｎｒ次元ベクトルｄ，ｑを生成する。ここで、ベクトルｄを対角に並べた対角行列をＤとかく。式（３）に示したスパース最適化問題２０の解は、パラメータθに依存するため、スパース最適化問題２０の解はＵ*（θ）と記載できる。なお、
スパース最適化問題２０の解Ｕ*（θ）は、最適制御Ｕ*（θ）と同義である。
成分ｄi，ｑiを選択し、Ｎｒ次元ベクトルｄ，ｑを生成する。ここで、ベクトルｄを対角に並べた対角行列をＤとかく。式（３）に示したスパース最適化問題２０の解は、パラメータθに依存するため、スパース最適化問題２０の解はＵ*（θ）と記載できる。なお、
スパース最適化問題２０の解Ｕ*（θ）は、最適制御Ｕ*（θ）と同義である。
【0047】
【数5】
【0048】
その後、更新部１１３は、次の式（６）を用いて、スパース最適化問題２０の解（すなわち最適制御）であるＵ*（θ）の、パラメータθによる微分値Ｊを算出する。なお、式
（６）において、Ｉは単位行列であり、Ｄはベクトルｄを対角に並べた対角行列であり、Ｈは関数ｌの入力時系列Ｕに関するヘッセ行列である。
（６）において、Ｉは単位行列であり、Ｄはベクトルｄを対角に並べた対角行列であり、Ｈは関数ｌの入力時系列Ｕに関するヘッセ行列である。
【0049】
【数6】
【0050】
その後、更新部１１３は、算出した微分値Ｊを用いて、次の式（７）によって、微分値ｇを算出する。式（７）から明らかな通り、微分値ｇは、式（２）で説明した模倣誤差３０（すなわち、模倣誤差Ｖim）の微分値である。微分値ｇは「勾配情報」とも呼ばれる。なお、式（７）において、Ｕexpertは、教師データであり、事前の実験などで制御対象から実際に取得された入力時系列Ｕである。式（７）では、表記の簡素化のために、Ｕ*（
θ）を「Ｕ*」と記載し、Ｖim（θ）を「Ｖim」と記載する。
θ）を「Ｕ*」と記載し、Ｖim（θ）を「Ｖim」と記載する。
【0051】
【数7】
【0052】
ステップＳ６において、学習装置１００の更新部１１３は、パラメータθの更新処理を終了するか否かを判定する。具体的には、更新部１１３は、所定の収束判定条件を満たす場合に処理を終了すると判定し、収束判定条件を満たさない場合に処理を終了しない（継続する）と判定する。収束判定条件には、模倣誤差Ｖim（θ）の値や、微分値ｇのノルム値、インデックスｋの値を利用した条件を設定できる。処理を終了しない場合（ステップＳ６：ＮＯ）、更新部１１３は、インデックスｋをインクリメントさせた後、処理をステップＳ７に遷移させる。一方、処理を終了する場合（ステップＳ６：ＹＥＳ）、更新部１１３は、最新のパラメータθの値を記憶部１２０に記憶させて、処理を終了する。
【0053】
ステップＳ７において、学習装置１００の更新部１１３は、ステップＳ５で算出した微分値ｇを用いて、次の式（８）によって、パラメータθを更新する。なお、式（８）において、αは正の定数であり「学習率」とも呼ばれる。その後、更新部１１３は、処理をステップＳ３へと遷移させ、上述した処理を繰り返す。なお、ステップＳ５～Ｓ７は「更新工程」に相当し、ステップＳ５～Ｓ７では更新部１１３により「更新機能」が実行されている。
【0054】
【数8】
【0055】
以上のように、第１実施形態の学習装置１００によれば、更新部１１３は、最適制御Ｕ*（θ）に対するパラメータθによる微分値Ｊを用いてパラメータθを更新する（図３：
ステップＳ５～Ｓ７）。このため、学習装置１００は、周知の勾配法などによって最適制御の模倣が可能なパラメータθを学習することができる。このようにして学習されたパラメータθを、制御対象を含むシステムの開発に利用することで、適合の都度シミュレータを動作させて適合マップを生成する従来の構成と比較して、システムの開発リードタイムを大幅に短縮することができると共に、システム開発コストを低減できる。また、第１実施形態の学習装置１００によれば、性能がよいとされる教師入力を用いて、微分不可能な最適化問題の評価関数を、周知の勾配法によって自動でチューニングできる。これを可能
にしているのは、最適化問題の勾配情報が構成可能になるような、非線形モデル１０の各関数ｆ，ｈ、及び、最適化問題の評価関数の性質（凸、強凸、単調非減少）である。
ステップＳ５～Ｓ７）。このため、学習装置１００は、周知の勾配法などによって最適制御の模倣が可能なパラメータθを学習することができる。このようにして学習されたパラメータθを、制御対象を含むシステムの開発に利用することで、適合の都度シミュレータを動作させて適合マップを生成する従来の構成と比較して、システムの開発リードタイムを大幅に短縮することができると共に、システム開発コストを低減できる。また、第１実施形態の学習装置１００によれば、性能がよいとされる教師入力を用いて、微分不可能な最適化問題の評価関数を、周知の勾配法によって自動でチューニングできる。これを可能
にしているのは、最適化問題の勾配情報が構成可能になるような、非線形モデル１０の各関数ｆ，ｈ、及び、最適化問題の評価関数の性質（凸、強凸、単調非減少）である。
【0056】
一般に、周知の勾配法などによって最適制御の模倣を行うためには、最適制御問題の最適入力Ｕ*（θ）（すなわち最適制御Ｕ*（θ））を、当該最適制御Ｕ*（θ）を得るため
に用いられたパラメータθによって微分する必要がある。ここで、評価関数が微分可能な場合には、最適制御のパラメータによる微分値を取得できるものの、スパース最適化問題２０においては評価関数が微分可能でないため、通常の方法では、この微分値を取得することができなかった。この点、第１実施形態の学習装置１００によれば、式（１）に示すように、プラントを表現する非線形モデル１０を、返り値の各成分が、引数について凸かつ単調非減少に設計される微分可能な関数としているため、最適制御Ｕ*（θ）に対する
パラメータθによる微分値Ｊを取得可能とできる。
に用いられたパラメータθによって微分する必要がある。ここで、評価関数が微分可能な場合には、最適制御のパラメータによる微分値を取得できるものの、スパース最適化問題２０においては評価関数が微分可能でないため、通常の方法では、この微分値を取得することができなかった。この点、第１実施形態の学習装置１００によれば、式（１）に示すように、プラントを表現する非線形モデル１０を、返り値の各成分が、引数について凸かつ単調非減少に設計される微分可能な関数としているため、最適制御Ｕ*（θ）に対する
パラメータθによる微分値Ｊを取得可能とできる。
【0057】
さらに、本実施形態の学習装置１００では、式（３）に示すように、スパース最適化問題２０を、非線形モデル１０の入力時系列Ｕと非線形モデル１０を用いて入力時系列Ｕにより決定された出力時系列Ｙとパラメータθとを引数とする微分可能なスカラー値関数Ｖと、入力時系列ＵのＬ１正則化項と、の和として表している。このため、スパース最適化問題２０から決定される行列を必ず正則にし、陰関数微分の定理（ａｒＸｉｖ：２１０６．０４３５０、方程式から決定されるある行列が常に正則であれば陰関数微分が可能であることを述べる定理）を用いて、最適制御Ｕ*（θ）に対するパラメータθによる微分値
Ｊを取得可能とできる。なお、論文ａｒＸｉｖ：１８１０．１３４００では、制御問題における模倣学習の方法が述べられているものの、最適制御問題の評価関数が微分可能であることが暗に仮定されており、本実施形態のスパース最適化問題のように、評価関数が微分可能でない場合については考慮されていない。換言すれば、論文ａｒＸｉｖ：２１０５．０１６３７では、微分不可能な点における微分値の構成法については明らかにされておらず、不完全である。また、論文ａｒＸｉｖ：２１０５．０１６３７では、スパース最適化問題のように、微分不可能な評価関数を持つ最適化問題について、最適化問題の最適解を、当該最適解を得るために用いられたパラメータによって微分することが述べられているものの、微分不可能な点における微分値の生成方法については何ら考慮されていない。
Ｊを取得可能とできる。なお、論文ａｒＸｉｖ：１８１０．１３４００では、制御問題における模倣学習の方法が述べられているものの、最適制御問題の評価関数が微分可能であることが暗に仮定されており、本実施形態のスパース最適化問題のように、評価関数が微分可能でない場合については考慮されていない。換言すれば、論文ａｒＸｉｖ：２１０５．０１６３７では、微分不可能な点における微分値の構成法については明らかにされておらず、不完全である。また、論文ａｒＸｉｖ：２１０５．０１６３７では、スパース最適化問題のように、微分不可能な評価関数を持つ最適化問題について、最適化問題の最適解を、当該最適解を得るために用いられたパラメータによって微分することが述べられているものの、微分不可能な点における微分値の生成方法については何ら考慮されていない。
【0058】
さらに、本実施形態の制御装置２００によれば、学習装置１００によって学習されたパラメータを利用することで、迅速かつ簡単に最適制御Ｕ*（θ）を算出できる。このため
、適合の都度シミュレータを動作させて適合マップを生成する従来の構成と比較して、制御対象を含むシステムの開発リードタイムを大幅に短縮することができると共に、システム開発コストを低減できる。
、適合の都度シミュレータを動作させて適合マップを生成する従来の構成と比較して、制御対象を含むシステムの開発リードタイムを大幅に短縮することができると共に、システム開発コストを低減できる。
【0059】
上記実施形態の有効性を確認するために数値実験を行った。本実験では、パラメータθとして、スパース最適化問題２０の評価関数に含まれる２つのパラメータＱｕ，Ｑｙを、上述の方法に沿って同定した。スパースな教師入力は、スパース最適化問題２０の評価関数に含まれる２つのパラメータＱｕ，ＱｙをそれぞれＱｕ_expert，Ｑｙ_expertとした最適化問題の最適解として得られる入力を与えた。評価関数に含まれる他のパラメータは、教師入力を生成する際に用いたものと同じとした。本実験では、上述した方法に基づいて微分値Ｊを取得し、勾配法によって模倣誤差３０の降下方向にパラメータθ（すなわち、パラメータＱｕ，Ｑｙ）を更新した。
【0060】
図４は、実験の結果として得られた模倣誤差３０の遷移を表すグラフである。図４では、縦軸に模倣誤差３０（すなわち、模倣誤差Ｖim）の対数値をプロットし、横軸にステップサイズ（すなわち、インデックスｋ）をプロットしている。図４から明らかなように、本実施形態の学習装置１００によれば、ステップサイズが大きいほど、換言すれば、インデックスｋの値が大きいほど、模倣誤差３０が小さくなる、換言すれば最適制御Ｕ*（θ
）と教師データＵexpertとの差が小さくなる。図４の例では最終的に、模倣誤差３０の対数値は、１０-7程度となっている。
）と教師データＵexpertとの差が小さくなる。図４の例では最終的に、模倣誤差３０の対数値は、１０-7程度となっている。
【0061】
図５は、実験の結果として得られたパラメータＱｕ，Ｑｙの遷移を表すグラフである。図５（Ａ）は、パラメータＱｕの変化を示すグラフである。図５（Ｂ）は、パラメータＱｙの変化を示すグラフである。図５（Ａ），（Ｂ）では、縦軸にパラメータ値をプロットし、横軸にステップサイズ（すなわち、インデックスｋ）をプロットしている。図５（Ａ），（Ｂ）から明らかなように、本実施形態の学習装置１００によれば、ステップサイズが大きいほど、換言すれば、インデックスｋの値が大きいほど、更新されていくパラメータＱｕ_learner（実線）は、教師入力が用いているパラメータＱｕ_expert（破線）に近
づき、更新されていくパラメータＱｙ_learner（実線）は、教師入力が用いているパラメータＱｙ_expert（破線）に近づいている。どちらのグラフにおいても、ステップサイズ
が７００ほどの箇所で実線と破線が重なることから、パラメータＱｕ及びＱｙの推定が完了していることがわかる。
づき、更新されていくパラメータＱｙ_learner（実線）は、教師入力が用いているパラメータＱｙ_expert（破線）に近づいている。どちらのグラフにおいても、ステップサイズ
が７００ほどの箇所で実線と破線が重なることから、パラメータＱｕ及びＱｙの推定が完了していることがわかる。
【0062】
このように、図４及び図５の結果からも、本実施形態の学習装置１００によれば、教師データとの誤差が小さい最適制御Ｕ*（θ）が得られるスパース最適化問題２０を決定付
けるためのパラメータθを学習できることがわかる。
けるためのパラメータθを学習できることがわかる。
【0063】
＜第２実施形態＞
図６は、第２実施形態の制御システム１Ａの構成を例示した説明図である。第２実施形態の制御システム１Ａでは、所定の制約を有する制御対象に対して、第１実施形態と同様のパラメータθの学習ができる。第２実施形態の制御システム１Ａは、第１実施形態の構成において、学習装置１００に代えて学習装置１００Ａを備える。
図６は、第２実施形態の制御システム１Ａの構成を例示した説明図である。第２実施形態の制御システム１Ａでは、所定の制約を有する制御対象に対して、第１実施形態と同様のパラメータθの学習ができる。第２実施形態の制御システム１Ａは、第１実施形態の構成において、学習装置１００に代えて学習装置１００Ａを備える。
【0064】
学習装置１００Ａは、決定部１１１に代えて決定部１１１Ａを備え、更新部１１３に代えて更新部１１３Ａを備える。決定部１１１Ａと更新部１１３Ａとは、学習処理における処理内容が第１実施形態とは相違する。詳細は後述する。学習装置１００Ａの記憶部１２０には、さらに、制約１２２が予め記憶されている。制約１２２は、非線形モデル１０への入力時系列Ｕに対する、上限値と、下限値と、の少なくとも一方を制限するための条件である。本実施形態では、入力時系列Ｕの上限値と下限値との両方が、制約１２２によって制限される場合を例示する。
【0065】
図７は、第２実施形態の学習処理の一例を示すフローチャートである。図３で説明した第１実施形態との違いは、ステップＳ１に代えてステップＳ１Ａが実行され、ステップＳ３に代えてステップＳ３Ａが実行され、ステップＳ５に代えてステップＳ５Ａが実行される点である。
【0066】
ステップＳ１Ａにおいて、学習装置１００Ａの決定部１１１Ａは、記憶部１２０から、非線形モデル１０（図２）と、正の定数γとに加えてさらに、制約１２２を取得する。
【0067】
ステップＳ３Ａにおいて、学習装置１００Ａの決定部１１１Ａは、現在のパラメータθから、次の式（９）により表されるスパース最適化問題２０を決定する。式（９）は、入力時系列Ｕの制約１２２（すなわち、Ｕ∈Ｕbox）を有する点を除いて、第１実施形態で説明した式（３）と同じである。なお、制約１２２は、次の式（１０）により定義されている。式（１０）は、換言すれば、スパース最適化問題２０の許容集合Ｕboxが、ｉ番目の要素に対する上限値ｕi￣、及び、下限値ｕi＿を持つことを意味している。
【0068】
【数9】
【数10】
【0069】
ステップＳ５Ａにおいて、学習装置１００Ａの更新部１１３Ａは、ステップＳ４で算出された最適制御Ｕ*（θ）の、パラメータθによる微分値Ｊを取得する。具体的にはまず
、更新部１１３Ａは、ステップＳ１Ａで取得された正の定数γをとる。そして、スカラーξを入力としてスカラー値集合を返す関数αi，βiを次の式（１１）のように定義する。なお、式（１１）では、表記の簡素化のために関数値λ（θ）を「λ」と記載する。
、更新部１１３Ａは、ステップＳ１Ａで取得された正の定数γをとる。そして、スカラーξを入力としてスカラー値集合を返す関数αi，βiを次の式（１１）のように定義する。なお、式（１１）では、表記の簡素化のために関数値λ（θ）を「λ」と記載する。
【0070】
【数11】
【0071】
その後、更新部１１３Ａは、関数ｌ（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，－Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ－γ∇Uｌ（Ｕ，θ）に対して、次の式（１２）のように
第ｉ成分ｄi，ｑiを選択し、Ｎｒ次元ベクトルｄ，ｑを生成する。ここで、ベクトルｄを対角に並べた対角行列をＤとかく。式（９）に示したスパース最適化問題２０の解は、パラメータθに依存するため、スパース最適化問題２０の解はＵ*（θ）と記載できる。そ
の後、更新部１１３Ａは、第１実施形態で説明した式（６）を用いて、スパース最適化問題２０の解（すなわち最適制御）であるＵ*（θ）の、パラメータθによる微分値Ｊを算
出する。
第ｉ成分ｄi，ｑiを選択し、Ｎｒ次元ベクトルｄ，ｑを生成する。ここで、ベクトルｄを対角に並べた対角行列をＤとかく。式（９）に示したスパース最適化問題２０の解は、パラメータθに依存するため、スパース最適化問題２０の解はＵ*（θ）と記載できる。そ
の後、更新部１１３Ａは、第１実施形態で説明した式（６）を用いて、スパース最適化問題２０の解（すなわち最適制御）であるＵ*（θ）の、パラメータθによる微分値Ｊを算
出する。
【0072】
【数12】
【0073】
このように、スパース最適化問題２０は、入力時系列Ｕの制約１２２（すなわち、Ｕ∈Ｕbox）を有していてもよい。以上のような第２実施形態の学習装置１００Ａによっても、上述した第１実施形態と同様の効果を奏することができる。例えば内燃機関における燃料噴射量のように、制御対象には、制御対象の運用上、入力時系列Ｕに対する上限値や下限値といった制約１２２が設けられている場合がある。この点、第２実施形態の学習装置１００Ａによれば、式（９）に示すスパース最適化問題２０は、さらに、入力時系列Ｕに対する上限値ｕi￣と下限値ｕi＿との少なくとも一方を制限する制約Ｕboxを有するため、このような制約１２２を持つ制御対象に対しても、最適制御の模倣が可能なパラメータθを学習することができる。
【0074】
＜第３実施形態＞
図８は、第３実施形態の制御システム１Ｂの構成を例示した説明図である。第３実施形態の制御システム１Ｂでは、第２実施形態とは異なる所定の制約を有する制御対象に対して、第２実施形態と同様のパラメータθの学習ができる。第３実施形態の制御システム１Ｂは、第２実施形態の構成において、学習装置１００Ａに代えて学習装置１００Ｂを備える。
図８は、第３実施形態の制御システム１Ｂの構成を例示した説明図である。第３実施形態の制御システム１Ｂでは、第２実施形態とは異なる所定の制約を有する制御対象に対して、第２実施形態と同様のパラメータθの学習ができる。第３実施形態の制御システム１Ｂは、第２実施形態の構成において、学習装置１００Ａに代えて学習装置１００Ｂを備える。
【0075】
学習装置１００Ｂは、決定部１１１Ａに代えて決定部１１１Ｂを備え、算出部１１２に代えて算出１１２Ｂを備え、更新部１１３Ａに代えて更新部１１３Ｂを備える。決定部１１１Ｂと、算出部１１２Ｂと、更新部１１３Ｂとは、学習処理における処理内容が第２実施形態とは相違する。詳細は後述する。学習装置１００Ｂの記憶部１２０には、さらに、制約１２２Ｂが予め記憶されている。制約１２２Ｂは、入力時系列Ｕに対する等式制約と、非線形モデル１０への入力時系列Ｕと出力時系列Ｙとを引数とする関数に対する不等式制約と、の少なくとも一方を有する。本実施形態では、等式制約と不等式制約との両方がある（同伴している）場合を例示する。
【0076】
図９は、第３実施形態の学習処理の一例を示すフローチャートである。図７で説明した第２実施形態との違いは、ステップＳ１Ａに代えてステップＳ１Ｂが実行され、ステップＳ３Ａに代えてステップＳ３Ｂが実行され、ステップＳ４に代えてステップＳ４Ｂが実行され、ステップＳ５Ａに代えてステップＳ５Ｂが実行される点である。第３実施形態では、第１実施形態および第２実施形態と異なる処理について説明する。
【0077】
ステップＳ１Ｂにおいて、学習装置１００Ｂの決定部１１１Ｂは、記憶部１２０から、非線形モデル１０（図２）と、正の定数γと、制約１２２Ｂとに加えてさらに、正の定数ρを取得する。
【0078】
ステップＳ３Ｂにおいて、学習装置１００Ｂの決定部１１１Ｂは、現在のパラメータθから、次の式（１３）により表されるスパース最適化問題２０（図２）を決定する。式（１３）で表されるスパース最適化問題２０は、第２実施形態の式（９）で表されるスパース最適化問題２０と比較して、等式制約を表すＡＵ＋ｂ＝０と、不等式制約を表すｇ（Ｕ，Ｙ，θ）≦０との制約を同伴し、Ｕ∈Ｕboxの制約を同伴しない点が異なる。等式制約と、不等式制約とは、制約１２２Ｂとして記憶されている。
【0079】
【数13】
【0080】
式（１３）で表される最適化問題は、ｎe個の一次独立な等式制約を同伴可能である。
等式制約は、ｎe×Ｎｒ次元行列Ａと、ｎe次元ベクトルｂとによって定められる。等式制約の具体的な例としては、エンジンの１サイクルで噴射する合計の燃料を一定量とする条件などである。
等式制約は、ｎe×Ｎｒ次元行列Ａと、ｎe次元ベクトルｂとによって定められる。等式制約の具体的な例としては、エンジンの１サイクルで噴射する合計の燃料を一定量とする条件などである。
【0081】
さらに、式（１３）で表される最適化問題は、ｎi個の不等式制約を同伴可能である。
不等式制約は、ｎi次元ベクトル値関数ｇによって定められる。すなわち、式（１３）で
表される第３実施形態の最適化問題は、等式制約と不等式制約との両方を有している。
不等式制約は、ｎi次元ベクトル値関数ｇによって定められる。すなわち、式（１３）で
表される第３実施形態の最適化問題は、等式制約と不等式制約との両方を有している。
【0082】
式（１３）における関数Ｖは、入力時系列Ｕ，出力時系列Ｙ，およびパラメータθを引数とする微分可能なスカラー値関数である。関数Ｖは、入力時系列Ｕおよび出力時系列Ｙについては凸な関数である。また、関数Ｖは、入力時系列Ｕについては強凸な関数である。また、関数Ｖは、出力時系列Ｙについては単調非減少な関数である。
【0083】
関数Ｆは、式（１３）に示されるように、非線形モデルによって定められた入力時系列Ｕと、パラメータθとを引数として、出力時系列Ｙを返す関数である。関数λは、正スカラー値関数であり、微分可能な関数である。なお、第３実施形態の関数Ｆは、第１実施形態の式（３）に示される関数Ｆと実質的に同じである。第１実施形態では非線形モデルの返り値の成分が、入力時系列Ｕと、反転入力時系列Ｕ～とについて単調非減少かつ凸に設計されているが、この関数Ｆから反転入力時系列Ｕ～に－Ｕを代入した関数Ｆ～（Ｕ，θ）＝Ｆ（Ｕ，－Ｕ，θ）は第３実施形態の関数Ｆとしての設計条件を満たす。逆に、第３実施形態の関数Ｆから、関数Ｆ～として、第１実施形態の関数Ｆの設計条件を満たしかつ関数Ｆ～の引数Ｕ～に－Ｕを代入したときに等式Ｆ（Ｕ，θ）＝Ｆ～（Ｕ，－Ｕ，θ）を満たすものが設計できる。
【0084】
関数ｇは、入力時系列Ｕと、出力時系列Ｙと、パラメータθとを引数とする微分可能なスカラー値関数である。関数ｇは、入力時系列Ｕおよび出力時系列Ｙについては凸な関数である。このような関数ｇの設計方法は、関数ｇ、Ｆから構成されるｎi次元ベクトル値
ｇ～（Ｕ，θ）＝ｇ（Ｕ，Ｆ（Ｕ，θ），θ）が入力時系列Ｕについて凸な関数となる効果を奏する。なお、第３実施形態と、後述する第４実施形態とにおける関数ｇは、第１実施形態の式（７）で示される微分値ｇとは異なる。不等式制約の具体的な例としては、エンジンの騒音（ｄＢ）がある閾値以下になるような制御が不等式制約である。
ｇ～（Ｕ，θ）＝ｇ（Ｕ，Ｆ（Ｕ，θ），θ）が入力時系列Ｕについて凸な関数となる効果を奏する。なお、第３実施形態と、後述する第４実施形態とにおける関数ｇは、第１実施形態の式（７）で示される微分値ｇとは異なる。不等式制約の具体的な例としては、エンジンの騒音（ｄＢ）がある閾値以下になるような制御が不等式制約である。
【0085】
ステップＳ４Ｂにおいて、学習装置１００Ｂの算出部１１２Ｂは、ステップＳ３Ｂで決定されたスパース最適化問題２０を解くことによって、最適制御Ｕ*（θ）を算出する。
式（１３）で表される最適化問題を解くための最適化アルゴリズムとして、式（１４）で表されるＡＤＭＭ（Alternating Direction Method of Multiplier：交互方向乗数法）が知られている。式（１３）で表されるように、評価関数が微分不可能な関数を含む場合に、第３実施形態では、算出部１１２Ｂが、最適化アルゴリズムとして交互方向乗数法を用いて前記スパース最適化問題２０を解く。
式（１３）で表される最適化問題を解くための最適化アルゴリズムとして、式（１４）で表されるＡＤＭＭ（Alternating Direction Method of Multiplier：交互方向乗数法）が知られている。式（１３）で表されるように、評価関数が微分不可能な関数を含む場合に、第３実施形態では、算出部１１２Ｂが、最適化アルゴリズムとして交互方向乗数法を用いて前記スパース最適化問題２０を解く。
【数14】
【0086】
式（１４）におけるＶ～（Ｕ）は、式（１３）で定義された評価関数Ｖに非線形モデルの関数Ｙ＝Ｆ（Ｕ，θ）を代入してできる関数Ｖ～（Ｕ）＝Ｖ（Ｕ，Ｆ（Ｕ，θ），θ）である。ここで、Ｖ～とλはθにも依存するが、依存性が明らかであるため、表記の煩雑性を回避する目的で引数からθを省略して表記している。
【0087】
ＡＤＭＭでは、ステップＳ１Ｂで取得された正の定数ρと、初期値Ｕ0，Ｖ0，μ0を適
当にとって、変数であるＵ，Ｖ，μについての更新則を解く。初期値Ｕ0は、入力時系列
Ｕの初期値である。初期値Ｖ0は、式（１３）で表される関数Ｖとは異なり、入力時系列
Ｕと同じ次元の変数であるＮｒ次元ベクトルの初期値である。なお、式（１４）に示される変数Ｖのみが、第３実施形態において他の式で表される関数Ｖと異なる。初期値μ0は
、式（１４）に表されるように、Ｎｒ次元ベクトルである入力時系列Ｕと、変数Ｖとで定義されるＮｒ次元ベクトルである変数μの初期値である。
当にとって、変数であるＵ，Ｖ，μについての更新則を解く。初期値Ｕ0は、入力時系列
Ｕの初期値である。初期値Ｖ0は、式（１３）で表される関数Ｖとは異なり、入力時系列
Ｕと同じ次元の変数であるＮｒ次元ベクトルの初期値である。なお、式（１４）に示される変数Ｖのみが、第３実施形態において他の式で表される関数Ｖと異なる。初期値μ0は
、式（１４）に表されるように、Ｎｒ次元ベクトルである入力時系列Ｕと、変数Ｖとで定義されるＮｒ次元ベクトルである変数μの初期値である。
【0088】
変数であるＵの更新則は、無制約のスパース最適化問題２０の求解を含んでおり、近接勾配アルゴリズムなどの周知のスパース最適化アルゴリズムを用いて解を求めることができる。変数Ｖの更新則において、集合であるＵは、等式制約および不等式制約を満たす入力時系列全体を表す集合であり、式（１３）の設計方法の下では凸集合である。つまり、変数Ｖの更新則が含まれる最適化問題は、制約付き凸最適化問題であり、ＳＱＰ（逐次二次計画法）などの最適化アルゴリズムで解を求めることができ、汎用ソルバーでも解を求めることができる。なお、更新則は、学習則ともいう。式（１４）における｜｜Ｕ－Ｖk
＋μk｜｜2は、Ｕ－Ｖk＋μkのＬ２ノルムである。
＋μk｜｜2は、Ｕ－Ｖk＋μkのＬ２ノルムである。
【0089】
ここで、式（１３）で定義された関数Ｖ，Ｆから、関数Ｖ～（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，θ），θ）を定め、関数ｇ，Ｆから関数ｇ～（Ｕ，θ）＝ｇ（Ｕ，Ｆ（Ｕ，θ），θ）を定める。これにより、変数Ｕ～を用いて、式（１３）は、式（１５）のように書き換えることができる。
【0090】
【数15】
【0091】
式（１５）で表される最適化問題の解をＵ*として、等式制約Ｕ－Ｕ～＝０に対応する
双対変数の値をｙ*とする。この場合に、ステップＳ１Ｂで取得された正の定数ρを用い
て、μ*＝ｙ*／ρとする。ここで、Ｕ*とμ*とに対して、式（１６）で表される凸最適化問題を考える。なお、第３実施形態で定義される変数Ｕ～は、第１実施形態の式（３）で定義された入力時系列Ｕの反転入力時系列とは異なる。
双対変数の値をｙ*とする。この場合に、ステップＳ１Ｂで取得された正の定数ρを用い
て、μ*＝ｙ*／ρとする。ここで、Ｕ*とμ*とに対して、式（１６）で表される凸最適化問題を考える。なお、第３実施形態で定義される変数Ｕ～は、第１実施形態の式（３）で定義された入力時系列Ｕの反転入力時系列とは異なる。
【0092】
【数16】
【0093】
ステップＳ５Ｂにおいて、学習装置１００Ｂの更新部１１３Ｂは、ステップＳ４Ｂで算出された最適制御Ｕ*の、パラメータθによる微分値Ｊを取得する。具体的にはまず、更
新部１１３Ｂは、式（１５），（１６）における不等式制約ｇ～（Ｕ，θ）≦０に対応する双対変数をη*とする。便宜上、η*を対角成分とする対角行列をＥとし、ｇ～（Ｕ，θ）を対角成分とする対角行列をＧとする。さらに、ステップＳ１Ｂで取得された正の定数γを用いると、スカラーξを入力としてスカラー値集合を返す関数α，βは、第１実施形態の式（４）のように定義される。
新部１１３Ｂは、式（１５），（１６）における不等式制約ｇ～（Ｕ，θ）≦０に対応する双対変数をη*とする。便宜上、η*を対角成分とする対角行列をＥとし、ｇ～（Ｕ，θ）を対角成分とする対角行列をＧとする。さらに、ステップＳ１Ｂで取得された正の定数γを用いると、スカラーξを入力としてスカラー値集合を返す関数α，βは、第１実施形態の式（４）のように定義される。
【0094】
その後、更新部１１３Ｂは、Ｎｒ次元ベクトルｖ＝ｙ*/ρＵ*－γ∇Ｖ～（Ｕ*，θ）に対し、第ｉ成分ｄi，ｑiをｄi∈α（ｖi），ｑi∈β（ｖi）のように選択してＮｒ次元ベクトルｄ、ｑを生成する。更新部１１３Ｂは、ベクトルｄを対角に並べた対角行列をＤとする。式（１３）に示された最適化問題の解は、パラメータθに依存し、Ｕ*（θ）と表
現される。更新部１１３Ｂは、Ｕ*（θ）の微分値Ｊを、式（１７）を用いて求める。な
お、式（１７）において、行列Ｈは関数Ｖ～のＵに関するヘッセ行列である。行列Ｐｉは関数ｇ～の第ｉ成分ｇ～iのＵについてのヘッセ行列である。
現される。更新部１１３Ｂは、Ｕ*（θ）の微分値Ｊを、式（１７）を用いて求める。な
お、式（１７）において、行列Ｈは関数Ｖ～のＵに関するヘッセ行列である。行列Ｐｉは関数ｇ～の第ｉ成分ｇ～iのＵについてのヘッセ行列である。
【0095】
【数17】
【0096】
式（１７）における行列Ｒは、ブロック分割されて表されている。行列Ｒの逆行列である行列Ｒ-1におけるＲ11
inv，Ｒ13
inv，Ｒ14
invは、行列Ｒ-1の各成分を行列Ｒと同じよ
うにブロック分割した場合に、各行各列で対応する部分行列である。例えば、行列Ｒの左上の行列はＮｒ×Ｎｒ次元行列であるから、Ｒ11 invは、行列Ｒ-1の左上Ｎｒ×Ｎｒ次元
行列を表す。ステップＳ５Ｂにおいて、勾配情報としての微分値Ｊが取得されると、第１実施形態と同じように、ステップＳ６以降の処理が行われる。
うにブロック分割した場合に、各行各列で対応する部分行列である。例えば、行列Ｒの左上の行列はＮｒ×Ｎｒ次元行列であるから、Ｒ11 invは、行列Ｒ-1の左上Ｎｒ×Ｎｒ次元
行列を表す。ステップＳ５Ｂにおいて、勾配情報としての微分値Ｊが取得されると、第１実施形態と同じように、ステップＳ６以降の処理が行われる。
【0097】
このように、スパース最適化問題２０は、式（１３）に示されるように、入力時系列Ｕの制約１２２Ｂのような等式制約と不等式制約との少なくとも一方を有していてもよい。
さらに、スパース最適化問題２０の評価関数では、制約１２２Ｂとして、入力時系列Ｕに対する等式制約と、非線形モデル１０への入力時系列Ｕと出力時系列Ｙとを引数とする関数に対する不等式制約と、の少なくとも一方が設定されている。また、評価関数で定義されている入力時系列Ｕ，出力時系列Ｙ，およびパラメータθを引数とする微分可能なスカラー値関数である関数Ｖは、入力時系列Ｕおよび出力時系列Ｙについては凸な関数である。さらに、関数Ｖは、入力時系列Ｕについては強凸な関数であり、出力時系列Ｙについては単調非減少な関数である。以上のような第３実施形態の学習装置１００Ｂによっても、上述した第１実施形態および第２実施形態と同様の効果を奏することができる。例えば内燃機関における燃料噴射量のように、制御対象には、制御対象の運用上、１サイクルでの入力時系列Ｕが一定になるように等式制約が設けられている場合がある。また、内燃機関における騒音のように、制御対象には、制御対象の運用上、入力時系列Ｕと、出力時系列Ｙと、パラメータθとの関数ｇが所定値以下となるような不等式制約が設けられている場合がある。この点、第３実施形態の学習装置１００Ｂによれば、式（１３）に示すスパース最適化問題２０は、スパース最適化問題２０は、さらに、等式制約と不等式制約との少なくとも一方を有するため、このような制約を持つ制御対象に対しても、最適制御の模倣が可能なパラメータを学習することができる。この結果、一般的な最適化問題をスパース最適化問題２０として扱うことができる。
さらに、スパース最適化問題２０の評価関数では、制約１２２Ｂとして、入力時系列Ｕに対する等式制約と、非線形モデル１０への入力時系列Ｕと出力時系列Ｙとを引数とする関数に対する不等式制約と、の少なくとも一方が設定されている。また、評価関数で定義されている入力時系列Ｕ，出力時系列Ｙ，およびパラメータθを引数とする微分可能なスカラー値関数である関数Ｖは、入力時系列Ｕおよび出力時系列Ｙについては凸な関数である。さらに、関数Ｖは、入力時系列Ｕについては強凸な関数であり、出力時系列Ｙについては単調非減少な関数である。以上のような第３実施形態の学習装置１００Ｂによっても、上述した第１実施形態および第２実施形態と同様の効果を奏することができる。例えば内燃機関における燃料噴射量のように、制御対象には、制御対象の運用上、１サイクルでの入力時系列Ｕが一定になるように等式制約が設けられている場合がある。また、内燃機関における騒音のように、制御対象には、制御対象の運用上、入力時系列Ｕと、出力時系列Ｙと、パラメータθとの関数ｇが所定値以下となるような不等式制約が設けられている場合がある。この点、第３実施形態の学習装置１００Ｂによれば、式（１３）に示すスパース最適化問題２０は、スパース最適化問題２０は、さらに、等式制約と不等式制約との少なくとも一方を有するため、このような制約を持つ制御対象に対しても、最適制御の模倣が可能なパラメータを学習することができる。この結果、一般的な最適化問題をスパース最適化問題２０として扱うことができる。
【0098】
さらに、第３実施形態の学習装置１００Ｂでは、式（１３）で表されるように、評価関数が微分不可能な関数を含む場合に、算出部１１２Ｂは、最適化アルゴリズムとして交互方向乗数法を用いて前記スパース最適化問題２０を解いてもよい。そのため、変数である入力時系列Ｕの更新則が無制約のスパース最適化問題２０の求解を含んでおり、周知のスパース最適化アルゴリズム（例えば近接勾配アルゴリズム）を用いて評価関数の解を求めることができる。
【0099】
さらに、第３実施形態の学習装置１００Ｂでは、学習装置１００Ｂの更新部１１３Ｂは、ステップＳ４Ｂで算出された最適制御Ｕ*の、パラメータθによる微分値Ｊを取得する
。すなわち、更新部１１３Ｂは、パラメータ更新のための微分値Ｊを算出できる。ここで、微分不可能な関数で方程式が構成される陰関数微分の定理を用いて、スパース最適化問題２０の最適解をパラメータで微分した値を取得する。この定理によれば、方程式から決定される、ある行列が常に正則であれば陰関数微分が可能であることが述べられている。式（１７）中の行列Ｒは、常に正則であるため、陰関数微分が可能である。第３実施形態では、プラントを表現する非線形モデルとして、出力時系列Ｙの各成分が入力時系列Ｕについて凸となるモデルを用いる工夫と、スパース最適化問題２０を凸問題として立式する工夫とによって、適当な仮定の下で行列Ｒを必ず正則にし、陰関数微分を用いて最適解のパラメータに対する微分値を取得可能にしている。
。すなわち、更新部１１３Ｂは、パラメータ更新のための微分値Ｊを算出できる。ここで、微分不可能な関数で方程式が構成される陰関数微分の定理を用いて、スパース最適化問題２０の最適解をパラメータで微分した値を取得する。この定理によれば、方程式から決定される、ある行列が常に正則であれば陰関数微分が可能であることが述べられている。式（１７）中の行列Ｒは、常に正則であるため、陰関数微分が可能である。第３実施形態では、プラントを表現する非線形モデルとして、出力時系列Ｙの各成分が入力時系列Ｕについて凸となるモデルを用いる工夫と、スパース最適化問題２０を凸問題として立式する工夫とによって、適当な仮定の下で行列Ｒを必ず正則にし、陰関数微分を用いて最適解のパラメータに対する微分値を取得可能にしている。
【0100】
上記第３実施形態の有効性を確認するために数値実験を行った。実験では、プラントモデルとして２入力２出力のＩＣＲＮＮモデルを扱った。各時刻の入力の二乗和と、各時刻の出力にソフトプラス関数を作用させた値との和と、を評価関数として用いて、Ｌ１正規化項を付加した最適化問題をモデルとした。プラントモデルの初期状態をランダムに１００個生成し、生成されたそれぞれの初期状態に対するスパース最適化問題２０の解を教師入力として用意した。スパース最適化問題２０の評価関数に含まれる４つの重みパラメータをパラメータθとして、第３実施形態の方法に基づいて、式（１７）で表される微分値Ｊを取得した。ミニバッチ学習による確率勾配降下法によって模倣誤差３０（図２）の降下方向にパラメータθを更新した。
【0101】
図１０は、実験の結果として得られた模倣誤差３０の遷移ＬＮ１を表すグラフである。図１０では、図４と同じように、縦軸に模倣誤差３０の常用対数値をプロットし、横軸にステップサイズをプロットしている。図１０から明らかなように、ステップサイズが大き
いほど模倣誤差３０が小さくなる。具体的には、１０1ほどあった模倣誤差３０は、最終
的に１０-3まで減少している。
いほど模倣誤差３０が小さくなる。具体的には、１０1ほどあった模倣誤差３０は、最終
的に１０-3まで減少している。
【0102】
＜第４実施形態＞
図１１は、第４実施形態の制御システム１Ｃの構成を例示した説明図である。第４実施形態の制御システム１Ｃでは、第３実施形態とは同じ制約１２２Ｂを有する制御対象に対して、第３実施形態と同様のパラメータθの学習ができる。第４実施形態の制御システム１Ｃは、第３実施形態の構成において、学習装置１００Ｂに代えて学習装置１００Ｃを備える。
図１１は、第４実施形態の制御システム１Ｃの構成を例示した説明図である。第４実施形態の制御システム１Ｃでは、第３実施形態とは同じ制約１２２Ｂを有する制御対象に対して、第３実施形態と同様のパラメータθの学習ができる。第４実施形態の制御システム１Ｃは、第３実施形態の構成において、学習装置１００Ｂに代えて学習装置１００Ｃを備える。
【0103】
学習装置１００Ｃは、決定部１１１Ｂに代えて決定部１１１Ｃを備え、更新部１１３Ｂに代えて更新部１１３Ｃを備える。決定部１１１Ｃと更新部１１３Ｃとは、学習処理における処理内容が第３実施形態とは相違する。詳細は後述する。
【0104】
【0105】
【0106】
式（１８）で表されるスパース最適化問題２０は、第３実施形態の式（１３）で表されるスパース最適化問題２０と比較して、入力時系列Ｕとパラメータθとの返り値である出力時系列Ｙの設定が異なる。具体的には、第４実施形態では、式（１８）に示されるようにＹ＝Ｌ（θ）Ｕ＋ｑ（θ）で表される。第３実施形態と同様に、関数Ｖは、入力時系列Ｕおよび出力時系列Ｙに対して凸な関数であり、入力時系列Ｕに対しては強凸な関数である。関数Ｌ，ｑは、それぞれパラメータθを引数とする行列値関数とベクトル値関数であり、入力時系列Ｕを元に出力時系列Ｙを返す線形モデルとして定められている。換言すると、第４実施形態のスパース最適化問題２０では、第３実施形態のスパース最適化問題２０で定められていた関数Ｖが出力時系列Ｙに対して単調非減少であるという条件がなく、出力時系列Ｙの各成分が入力時系列Ｕについて線形な関数として表されている。
【0107】
第４実施形態では、式（１８）で表されるスパース最適化問題２０について、ステップＳ４以降では第３実施形態と同様の処理が行われるため、ステップＳ４以降の説明を省略する。
【0108】
このように、非線形モデルを用いたスパース最適化問題２０において、出力時系列Ｙの各成分が入力時系列Ｕについて線形な関数として表されている。すなわち、第４実施形態では、非線形モデルが線形な関数として表現されるため、取り扱える最適化問題の幅が広がる。
【0109】
さらに、第４実施形態のスパース最適化問題２０の評価関数では、第３実施形態と同様に、制約１２２Ｂとして、入力時系列Ｕに対する等式制約と、非線形モデル１０への入力時系列Ｕと出力時系列Ｙとを引数とする関数に対する不等式制約と、の少なくとも一方が設定されている。また、式（１８）に示されるように、関数Ｖは、入力時系列Ｕおよび出
力時系列Ｙに対して凸な関数であり、入力時系列Ｕに対しては強凸な関数である。すなわち、第４実施形態の学習装置１００Ｃによれば、式（１８）に示すスパース最適化問題２０は、等式制約および不等式制約を同伴しているため、このような制約１２２Ｂを持つ制御対象に対しても、最適制御の模倣が可能なパラメータθを学習することができる。この結果、一般的な最適化問題をスパース最適化問題２０として扱うことができる。
力時系列Ｙに対して凸な関数であり、入力時系列Ｕに対しては強凸な関数である。すなわち、第４実施形態の学習装置１００Ｃによれば、式（１８）に示すスパース最適化問題２０は、等式制約および不等式制約を同伴しているため、このような制約１２２Ｂを持つ制御対象に対しても、最適制御の模倣が可能なパラメータθを学習することができる。この結果、一般的な最適化問題をスパース最適化問題２０として扱うことができる。
【0110】
上記第４実施形態の有効性を確認するために数値実験を行った。プラントモデルとして２入力２出力の線形時不変システムを扱った。各時刻の入力の二乗和と、最終時刻の出力の二乗和と、の重み付き和を評価関数として用いて、Ｌ１正規化項を付加した最適化問題をモデルとした。プラントモデルの初期状態をランダムに１００個生成し、生成されたそれぞれの初期状態に対するスパース最適化問題２０の解を教師入力として用意した。スパース最適化問題２０の評価関数に含まれる４つの重みパラメータをパラメータθとして、第４実施形態の方法に基づいて、式（１７）で表される微分値Ｊを取得した。ミニバッチ学習による確率勾配降下法によって模倣誤差３０（図２）の降下方向にパラメータθを更新した。
【0111】
図１３は、実験の結果として得られた模倣誤差３０の遷移ＬＮ２を表すグラフである。図１３では、図１０と同じように、縦軸に模倣誤差３０の常用対数値をプロットし、横軸にステップサイズをプロットしている。図１３から明らかなように、ステップサイズが大きいほど模倣誤差３０が小さくなる。具体的には、模倣誤差３０は、最終的に１０-3程度まで減少している。
【0112】
＜本実施形態の変形例＞
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。そのほか、例えば次のような変形も可能である。
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。そのほか、例えば次のような変形も可能である。
【0113】
［変形例１］
上記実施形態では、制御システム１，１Ａ，１Ｂ，１Ｃの構成の一例を示した。しかし、制御システム１，１Ａ，１Ｂ，１Ｃの構成は種々の変形が可能である。例えば、制御システム１のうち、学習装置１００と、制御装置２００と、制御対象とは、それぞれネットワークを介して通信可能に接続され、物理的に離れた位置に存在していてもよい。例えば、制御システム１は、例示した学習装置１００及び制御装置２００とは異なる構成を有していてもよい。例えば、非線形モデル１０と、正の定数γ，ρと、制約１２２とのうちの少なくとも一部は、記憶部１２０にあらかじめ記憶されておらず、入出力部１５０や通信部１４０を介して外部から与えられてもよい。例えば、学習装置１００と制御装置２００とは、１つの装置として構成されてもよい。例えば、制御システム１は、学習装置１００のみにより構成されてもよく、制御装置２００のみにより構成されてもよい。
上記実施形態では、制御システム１，１Ａ，１Ｂ，１Ｃの構成の一例を示した。しかし、制御システム１，１Ａ，１Ｂ，１Ｃの構成は種々の変形が可能である。例えば、制御システム１のうち、学習装置１００と、制御装置２００と、制御対象とは、それぞれネットワークを介して通信可能に接続され、物理的に離れた位置に存在していてもよい。例えば、制御システム１は、例示した学習装置１００及び制御装置２００とは異なる構成を有していてもよい。例えば、非線形モデル１０と、正の定数γ，ρと、制約１２２とのうちの少なくとも一部は、記憶部１２０にあらかじめ記憶されておらず、入出力部１５０や通信部１４０を介して外部から与えられてもよい。例えば、学習装置１００と制御装置２００とは、１つの装置として構成されてもよい。例えば、制御システム１は、学習装置１００のみにより構成されてもよく、制御装置２００のみにより構成されてもよい。
【0114】
［変形例２］
上記実施形態では、学習処理の一例を示した。しかし、学習処理の手順は種々の変更が可能であり、各ステップにおける処理内容の追加、省略、変更をしてもよく、各ステップの実行順序を変更してもよい。
上記実施形態では、学習処理の一例を示した。しかし、学習処理の手順は種々の変更が可能であり、各ステップにおける処理内容の追加、省略、変更をしてもよく、各ステップの実行順序を変更してもよい。
【0115】
例えば、式（６）で説明した対角行列Ｄは、ほとんどの要素が０であるスパース行列であるため、当該性質を利用して逆行列演算の計算量を低減してもよい。具体的には、対角行列Ｄの対角成分がゼロである添え字と、非ゼロである添え字とに分けて対角行列Ｄを表記すると、次の式（１９）のようになる。式（１９）において、Ｄ～は、全ての対角成分
が正の対角行列である。この添え字の分け方で行列Ｈをブロックに分割し、次の式（２０）のように表記する。このとき、行列Ｐの逆行列は、次の式（２１）のように記載できる。この式（２１）によって、逆行列を取る行列のサイズを低減させて、演算量の低減を図ることができる。
が正の対角行列である。この添え字の分け方で行列Ｈをブロックに分割し、次の式（２０）のように表記する。このとき、行列Ｐの逆行列は、次の式（２１）のように記載できる。この式（２１）によって、逆行列を取る行列のサイズを低減させて、演算量の低減を図ることができる。
【0116】
【数19】
【数20】
【数21】
【0117】
例えば、式（３）及び式（９）で説明した正則化項λ（θ）｜Ｕ｜1において、計数λ
を成分ｉごとに変えてΣi∈[1,・・・,Nr]λi（θ）｜Ｕi｜としてもよい。このようにしても、近接作用素が陽に書き下ろせるため、微分値Ｊを取得可能である。
を成分ｉごとに変えてΣi∈[1,・・・,Nr]λi（θ）｜Ｕi｜としてもよい。このようにしても、近接作用素が陽に書き下ろせるため、微分値Ｊを取得可能である。
【0118】
上記第３実施形態では、非線形モデルとしてＩＣＲＮＮを一例に挙げたが、非線形モデルは、出力時系列Ｙの各成分が入力時系列Ｕについて凸である微分可能な関数であれば、ＩＣＲＮＮ以外のモデルが用いられてもよい。
【0119】
上記第３実施形態および第４実施形態では、制約１２２Ｂが等式制約と不等式制約との両方を同伴する場合について説明したが、他の実施形態のスパース最適化問題２０では、等式制約と不等式制約との一方のみを同伴していてもよい。この場合に、等式制約を同伴しない場合には、式（１７）における行列Ｒの第５行目及び第５列目を取り除いて、微分値Ｊが算出されればよい。また、不等式制約を同伴しない場合には、式（１７）における行列Ｒの第４行目および第４列目を取り除いて、微分値Ｊが算出されればよい。
【0120】
上記実施形態では、スパース性を決める正規化項をλ（θ）｜Ｕ｜1の形式で導入して
いる。ただし、正規化項は、正規化項の近接作用素が陽に書き表せることができれば、第３実施形態の式（１７）においてＮｒ次元ベクトルｄ，ｑの第ｉ成分ｄi，ｑiを定義する集合関数α，βを近接作用素の劣勾配で置き換えて、第３実施形態および第４実施形態を実施することもできる。例えば、係数λを成分ｉごとに変えてΣi∈[1,・・・,Nr]λi（
θ）｜Ｕi｜とした場合に、集合値関数α，βの定義に含まれるλを添え字ｉごとに変え
ればよい。
いる。ただし、正規化項は、正規化項の近接作用素が陽に書き表せることができれば、第３実施形態の式（１７）においてＮｒ次元ベクトルｄ，ｑの第ｉ成分ｄi，ｑiを定義する集合関数α，βを近接作用素の劣勾配で置き換えて、第３実施形態および第４実施形態を実施することもできる。例えば、係数λを成分ｉごとに変えてΣi∈[1,・・・,Nr]λi（
θ）｜Ｕi｜とした場合に、集合値関数α，βの定義に含まれるλを添え字ｉごとに変え
ればよい。
【0121】
上記第３実施形態の式（１７）中の行列Ｒの第４行目かつ第３，４列目ブロックは、式（２２）のようになっている。
【数22】
【0122】
式（２２）で表される部分は、不等式制約の相補性条件に含まれる式（２３）の等式を（Ｕ*，η*）で微分して得られる。
【数23】
【0123】
相補性条件は、相補性関数Ψを用いて定義される関数φによって、式（２４）で表される等式条件に置き換えられる。
【数24】
【0124】
そのため、式（１７）で表される行列Ｒのうちの式（２２）で示されるブロックは、相補性関数を用いて、式（２５）のように置き換えてもよい。
【数25】
【0125】
以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。
【0126】
本発明は、以下の形態としても実現することが可能である。
［適用例１］
学習装置であって、
入力時系列から出力時系列を近似的に表現した非線形モデルを用いたスパース最適化問題であって、所定のパラメータにより決定付けられるスパース最適化問題を決定する決定部と、
決定された前記スパース最適化問題を解くことによって、前記パラメータに対応した最適制御であって、ある評価関数の下で最適だと評価される前記入力時系列である最適制御を算出する算出部と、
前記最適制御に対する前記パラメータによる微分値を用いて、前記パラメータを更新する更新部と、
を備え、
前記決定部による前記スパース最適化問題の決定と、前記算出部による前記最適制御の算出と、前記更新部による前記パラメータの更新と、を繰り返すことにより、教師データとの誤差が小さい前記最適制御が得られる前記スパース最適化問題を決定付けるための前記パラメータを学習する、学習装置。
［適用例２］
適用例１に記載の学習装置であって、
前記非線形モデルは、返り値の各成分が、引数について凸かつ単調非減少に設計される微分可能な関数として表される、学習装置。
［適用例３］
適用例１または適用例２に記載の学習装置であって、
前記スパース最適化問題は、
前記非線形モデルの入力時系列Ｕと、前記非線形モデルを用いて前記入力時系列Ｕにより決定された出力時系列Ｙと、前記パラメータθと、を引数とする微分可能なスカラー値関数Ｖと、
前記入力時系列ＵのＬ１正則化項と、
の和として表される、学習装置。
［適用例４］
適用例１から適用例３のいずれか一項に記載の学習装置であって、
前記スパース最適化問題は、さらに、
前記入力時系列Ｕに対する、上限値と下限値との少なくとも一方を制限する制約を有する、学習装置。
［適用例５］
適用例１から適用例４のいずれか一項に記載の学習装置であって、
前記更新部は、前記パラメータの更新のために、次式により定義される前記微分値Ｊを算出するものであり、
上記式において、
Ｉは単位行列であり、
γは正の定数であり、
Ｄは、関数ｌ（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，－Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ－γ∇Uｌ（Ｕ，θ）に対して、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角行列であり、
ｑは、前記関数ｌの前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択して生成
したＮｒ次元ベクトルであり、
Ｈは、前記関数ｌのＵに対するヘッセ行列であり、
Ｕは前記入力時系列Ｕであり、θは前記パラメータθであり、Ｖは前記スカラー値関数Ｖである、学習装置。
［適用例６］
適用例１から適用例５のいずれか一項に記載の学習装置であって、
前記スパース最適化問題は、さらに、
前記入力時系列に対する等式制約と、前記入力時系列と前記出力時系列とを引数に含む関数に対する不等式制約と、の少なくとも一方を有し、
前記評価関数は、
前記入力時系列と、前記出力時系列とに対して凸になるように設計され、
かつ、前記出力時系列に対して単調非減少であるように設計され、
かつ、前記入力時系列に対して強凸になるように設計される関数である、学習装置。［適用例７］
適用例１から適用例６のいずれか一項に記載の学習装置であって、
前記算出部は、前記評価関数が微分不可能な関数を含む場合に、最適化アルゴリズムとして交互方向乗数法を用いて前記スパース最適化問題を解く、学習装置。
［適用例８］
適用例１から適用例７のいずれか一項に記載の学習装置であって、
前記更新部は、前記パラメータの更新のために、次式により定義される前記微分値Ｊを算出するものであり、
上記式において、
Ｉは単位行列であり、
γ，ρは正の定数であり、
Ｕ*は、入力時系列Ｕに対する前記非線形モデルの解であり、
関数Ｖおよび関数ｇが入力時系列Ｕと、出力時系列Ｙと、前記パラメータθとを引数とする微分可能なスカラー値関数であり、かつ、関数Ｆが非線形モデルによって定まった入力時系列Ｕと、パラメータθとを引数として出力時系列Ｙを返す関数である場合に、
Ｄは、関数Ｖ～（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ*－γ∇UＶ～（Ｕ*，θ）に対し、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角行列であり、
ｑは、前記関数Ｖ～の前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択して
生成したＮｒ次元ベクトルであり、
Ａは、スパース最適化問題がｎe個の一次独立な前記等式制約を有し、かつ、前記
等式制約が入力時系列Ｕに対してＡＵ＋ｂ＝０の関係で表される場合に、ｎe×Ｎｒ次元
行列であり、
Ｈは、前記関数Ｖ～のＵに対するヘッセ行列であり、
Ｐｉは、関数ｇ～（Ｕ，θ）＝Ｖ（Ｕ，ｇ（Ｕ，θ），θ）とおき、関数ｇ～の第ｉ成分ｇi～のＵについてのヘッセ行列であり、
Ｅは、前記不等式制約がｇ～（Ｕ，θ）≦０で表され、かつ、ｇ～（Ｕ，θ）≦０に対応する双対変数をη*とした場合に、η*を対角成分とする対角行列であり、
ηｉは、ｇ～（Ｕ，θ）≦０に対応する双対変数の第ｉ成分であり、
Ｇは、ｇ～（Ｕ*，θ）を対角成分とする対角行列であり、
行列Ｒの逆行列である行列Ｒ-1におけるＲ11 inv，Ｒ13 inv，Ｒ14 invは、行列Ｒ-1
の各成分を行列Ｒと同じようにブロック分割した場合に、各行各列で対応する部分行列である、学習装置。
［適用例９］
適用例１から適用例８のいずれか一項に記載の学習装置であって、
前記非線形モデルは、前記出力時系列の各成分が前記入力時系列について線形な関数として表される、学習装置。
［適用例１０］
適用例１から適用例９のいずれか一項に記載の学習装置であって、
前記スパース最適化問題は、さらに、
前記入力時系列に対する等式制約と、前記入力時系列と前記出力時系列とを引数に含む関数に対する不等式制約と、の少なくとも一方を有し、
前記評価関数は、
前記入力時系列と前記出力時系列とに対して凸になるように設計され、
かつ、前記入力時系列に対して強凸になるように設計される関数である、学習装置。［適用例１１］
適用例１から適用例１０のいずれか一項に記載の学習装置であって、
前記算出部は、前記評価関数が微分不可能な関数を含む場合に、最適化アルゴリズムとして交互方向乗数法を用いて前記スパース最適化問題を解く、学習装置。
［適用例１２］
適用例１から適用例１１のいずれか一項に記載の学習装置であって、
前記更新部は、前記パラメータの更新のために、次式により定義される前記微分値Ｊを算出するものであり、
上記式において、
Ｉは単位行列であり、
γ，ρは正の定数であり、
Ｕ*は、入力時系列Ｕに対する前記非線形モデルの解であり、
関数Ｖおよび関数ｇが入力時系列Ｕと、出力時系列Ｙと、前記パラメータθとを引数とする微分可能なスカラー値関数であり、かつ、関数Ｆが非線形モデルによって定まった入力時系列Ｕと、パラメータθとを引数として出力時系列Ｙを返す関数である場合に、
Ｄは、関数Ｖ～（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ*－γ∇UＶ～（Ｕ*，θ）に対し、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角行列であり、
ｑは、前記関数Ｖ～の前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択して
生成したＮｒ次元ベクトルであり、
Ａは、スパース最適化問題がｎe個の一次独立な前記等式制約を有し、かつ、前記
等式制約が入力時系列Ｕに対してＡＵ＋ｂ＝０の関係で表される場合に、ｎe×Ｎｒ次元
行列であり、
Ｈは、前記関数Ｖ～のＵに対するヘッセ行列であり、
Ｐｉは、関数ｇ～（Ｕ，θ）＝Ｖ（Ｕ，ｇ（Ｕ，θ），θ）とおき、関数ｇ～の第ｉ成分ｇi～のＵについてのヘッセ行列であり、
Ｅは、前記不等式制約がｇ～（Ｕ，θ）≦０で表され、かつ、ｇ～（Ｕ，θ）≦０に対応する双対変数をη*とした場合に、η*を対角成分とする対角行列であり、
ηｉは、ｇ～（Ｕ，θ）≦０に対応する双対変数の第ｉ成分であり、
Ｇは、ｇ～（Ｕ*，θ）を対角成分とする対角行列であり、
行列Ｒの逆行列である行列Ｒ-1におけるＲ11 inv，Ｒ13 inv，Ｒ14 invは、行列Ｒ-1
の各成分を行列Ｒと同じようにブロック分割した場合に、各行各列で対応する部分行列である、学習装置。
［適用例１３］
制御装置であって、
適用例１から適用例１２のいずれか一項に記載の学習装置により学習された前記パラメータを取得する取得部と、
取得された前記パラメータによって決定付けられた前記スパース最適化問題を解くことによって、前記最適制御を算出する制御部と、を備える、制御装置。
［適用例１４］
学習方法であって、情報処理装置が、
入力時系列から出力時系列を近似的に表現した非線形モデルを用いたスパース最適化問題であって、所定のパラメータにより決定付けられるスパース最適化問題を決定する決定工程と、
決定された前記スパース最適化問題を解くことによって、前記パラメータに対応した最適制御であって、ある評価関数の下で最適だと評価される前記入力時系列である最適制御を算出する算出工程と、
前記最適制御に対する前記パラメータによる微分値を用いて、前記パラメータを更新する更新工程と、
を実行し、
前記スパース最適化問題の決定と、前記最適制御の算出と、前記パラメータの更新と、を繰り返すことにより、教師データとの誤差が小さい前記最適制御が得られる前記スパース最適化問題を決定付けるための前記パラメータを学習する、学習方法。
［適用例１５］
コンピュータプログラムであって、情報処理装置に、
入力時系列から出力時系列を近似的に表現した非線形モデルを用いたスパース最適化問題であって、所定のパラメータにより決定付けられるスパース最適化問題を決定する決定機能と、
決定された前記スパース最適化問題を解くことによって、前記パラメータに対応した最適制御であって、ある評価関数の下で最適だと評価される前記入力時系列である最適制御を算出する算出機能と、
前記最適制御に対する前記パラメータによる微分値を用いて、前記パラメータを更新する更新機能と、
を実行させ、
前記スパース最適化問題の決定と、前記最適制御の算出と、前記パラメータの更新と、を繰り返すことにより、教師データとの誤差が小さい前記最適制御が得られる前記スパース最適化問題を決定付けるための前記パラメータを学習する、コンピュータプログラム。
［適用例１］
学習装置であって、
入力時系列から出力時系列を近似的に表現した非線形モデルを用いたスパース最適化問題であって、所定のパラメータにより決定付けられるスパース最適化問題を決定する決定部と、
決定された前記スパース最適化問題を解くことによって、前記パラメータに対応した最適制御であって、ある評価関数の下で最適だと評価される前記入力時系列である最適制御を算出する算出部と、
前記最適制御に対する前記パラメータによる微分値を用いて、前記パラメータを更新する更新部と、
を備え、
前記決定部による前記スパース最適化問題の決定と、前記算出部による前記最適制御の算出と、前記更新部による前記パラメータの更新と、を繰り返すことにより、教師データとの誤差が小さい前記最適制御が得られる前記スパース最適化問題を決定付けるための前記パラメータを学習する、学習装置。
［適用例２］
適用例１に記載の学習装置であって、
前記非線形モデルは、返り値の各成分が、引数について凸かつ単調非減少に設計される微分可能な関数として表される、学習装置。
［適用例３］
適用例１または適用例２に記載の学習装置であって、
前記スパース最適化問題は、
前記非線形モデルの入力時系列Ｕと、前記非線形モデルを用いて前記入力時系列Ｕにより決定された出力時系列Ｙと、前記パラメータθと、を引数とする微分可能なスカラー値関数Ｖと、
前記入力時系列ＵのＬ１正則化項と、
の和として表される、学習装置。
［適用例４］
適用例１から適用例３のいずれか一項に記載の学習装置であって、
前記スパース最適化問題は、さらに、
前記入力時系列Ｕに対する、上限値と下限値との少なくとも一方を制限する制約を有する、学習装置。
［適用例５］
適用例１から適用例４のいずれか一項に記載の学習装置であって、
前記更新部は、前記パラメータの更新のために、次式により定義される前記微分値Ｊを算出するものであり、
Ｉは単位行列であり、
γは正の定数であり、
Ｄは、関数ｌ（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，－Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ－γ∇Uｌ（Ｕ，θ）に対して、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角行列であり、
ｑは、前記関数ｌの前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択して生成
したＮｒ次元ベクトルであり、
Ｈは、前記関数ｌのＵに対するヘッセ行列であり、
Ｕは前記入力時系列Ｕであり、θは前記パラメータθであり、Ｖは前記スカラー値関数Ｖである、学習装置。
［適用例６］
適用例１から適用例５のいずれか一項に記載の学習装置であって、
前記スパース最適化問題は、さらに、
前記入力時系列に対する等式制約と、前記入力時系列と前記出力時系列とを引数に含む関数に対する不等式制約と、の少なくとも一方を有し、
前記評価関数は、
前記入力時系列と、前記出力時系列とに対して凸になるように設計され、
かつ、前記出力時系列に対して単調非減少であるように設計され、
かつ、前記入力時系列に対して強凸になるように設計される関数である、学習装置。［適用例７］
適用例１から適用例６のいずれか一項に記載の学習装置であって、
前記算出部は、前記評価関数が微分不可能な関数を含む場合に、最適化アルゴリズムとして交互方向乗数法を用いて前記スパース最適化問題を解く、学習装置。
［適用例８］
適用例１から適用例７のいずれか一項に記載の学習装置であって、
前記更新部は、前記パラメータの更新のために、次式により定義される前記微分値Ｊを算出するものであり、
Ｉは単位行列であり、
γ，ρは正の定数であり、
Ｕ*は、入力時系列Ｕに対する前記非線形モデルの解であり、
関数Ｖおよび関数ｇが入力時系列Ｕと、出力時系列Ｙと、前記パラメータθとを引数とする微分可能なスカラー値関数であり、かつ、関数Ｆが非線形モデルによって定まった入力時系列Ｕと、パラメータθとを引数として出力時系列Ｙを返す関数である場合に、
Ｄは、関数Ｖ～（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ*－γ∇UＶ～（Ｕ*，θ）に対し、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角行列であり、
ｑは、前記関数Ｖ～の前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択して
生成したＮｒ次元ベクトルであり、
Ａは、スパース最適化問題がｎe個の一次独立な前記等式制約を有し、かつ、前記
等式制約が入力時系列Ｕに対してＡＵ＋ｂ＝０の関係で表される場合に、ｎe×Ｎｒ次元
行列であり、
Ｈは、前記関数Ｖ～のＵに対するヘッセ行列であり、
Ｐｉは、関数ｇ～（Ｕ，θ）＝Ｖ（Ｕ，ｇ（Ｕ，θ），θ）とおき、関数ｇ～の第ｉ成分ｇi～のＵについてのヘッセ行列であり、
Ｅは、前記不等式制約がｇ～（Ｕ，θ）≦０で表され、かつ、ｇ～（Ｕ，θ）≦０に対応する双対変数をη*とした場合に、η*を対角成分とする対角行列であり、
ηｉは、ｇ～（Ｕ，θ）≦０に対応する双対変数の第ｉ成分であり、
Ｇは、ｇ～（Ｕ*，θ）を対角成分とする対角行列であり、
行列Ｒの逆行列である行列Ｒ-1におけるＲ11 inv，Ｒ13 inv，Ｒ14 invは、行列Ｒ-1
の各成分を行列Ｒと同じようにブロック分割した場合に、各行各列で対応する部分行列である、学習装置。
［適用例９］
適用例１から適用例８のいずれか一項に記載の学習装置であって、
前記非線形モデルは、前記出力時系列の各成分が前記入力時系列について線形な関数として表される、学習装置。
［適用例１０］
適用例１から適用例９のいずれか一項に記載の学習装置であって、
前記スパース最適化問題は、さらに、
前記入力時系列に対する等式制約と、前記入力時系列と前記出力時系列とを引数に含む関数に対する不等式制約と、の少なくとも一方を有し、
前記評価関数は、
前記入力時系列と前記出力時系列とに対して凸になるように設計され、
かつ、前記入力時系列に対して強凸になるように設計される関数である、学習装置。［適用例１１］
適用例１から適用例１０のいずれか一項に記載の学習装置であって、
前記算出部は、前記評価関数が微分不可能な関数を含む場合に、最適化アルゴリズムとして交互方向乗数法を用いて前記スパース最適化問題を解く、学習装置。
［適用例１２］
適用例１から適用例１１のいずれか一項に記載の学習装置であって、
前記更新部は、前記パラメータの更新のために、次式により定義される前記微分値Ｊを算出するものであり、
Ｉは単位行列であり、
γ，ρは正の定数であり、
Ｕ*は、入力時系列Ｕに対する前記非線形モデルの解であり、
関数Ｖおよび関数ｇが入力時系列Ｕと、出力時系列Ｙと、前記パラメータθとを引数とする微分可能なスカラー値関数であり、かつ、関数Ｆが非線形モデルによって定まった入力時系列Ｕと、パラメータθとを引数として出力時系列Ｙを返す関数である場合に、
Ｄは、関数Ｖ～（Ｕ，θ）＝Ｖ（Ｕ，Ｆ（Ｕ，θ），θ）とおき、Ｎｒ次元ベクトルｖ＝Ｕ*－γ∇UＶ～（Ｕ*，θ）に対し、第ｉ成分ｄiを選択して生成したＮｒ次元ベクトルｄを、対角に並べた対角行列であり、
ｑは、前記関数Ｖ～の前記Ｎｒ次元ベクトルｖに対して、第ｉ成分ｑiを選択して
生成したＮｒ次元ベクトルであり、
Ａは、スパース最適化問題がｎe個の一次独立な前記等式制約を有し、かつ、前記
等式制約が入力時系列Ｕに対してＡＵ＋ｂ＝０の関係で表される場合に、ｎe×Ｎｒ次元
行列であり、
Ｈは、前記関数Ｖ～のＵに対するヘッセ行列であり、
Ｐｉは、関数ｇ～（Ｕ，θ）＝Ｖ（Ｕ，ｇ（Ｕ，θ），θ）とおき、関数ｇ～の第ｉ成分ｇi～のＵについてのヘッセ行列であり、
Ｅは、前記不等式制約がｇ～（Ｕ，θ）≦０で表され、かつ、ｇ～（Ｕ，θ）≦０に対応する双対変数をη*とした場合に、η*を対角成分とする対角行列であり、
ηｉは、ｇ～（Ｕ，θ）≦０に対応する双対変数の第ｉ成分であり、
Ｇは、ｇ～（Ｕ*，θ）を対角成分とする対角行列であり、
行列Ｒの逆行列である行列Ｒ-1におけるＲ11 inv，Ｒ13 inv，Ｒ14 invは、行列Ｒ-1
の各成分を行列Ｒと同じようにブロック分割した場合に、各行各列で対応する部分行列である、学習装置。
［適用例１３］
制御装置であって、
適用例１から適用例１２のいずれか一項に記載の学習装置により学習された前記パラメータを取得する取得部と、
取得された前記パラメータによって決定付けられた前記スパース最適化問題を解くことによって、前記最適制御を算出する制御部と、を備える、制御装置。
［適用例１４］
学習方法であって、情報処理装置が、
入力時系列から出力時系列を近似的に表現した非線形モデルを用いたスパース最適化問題であって、所定のパラメータにより決定付けられるスパース最適化問題を決定する決定工程と、
決定された前記スパース最適化問題を解くことによって、前記パラメータに対応した最適制御であって、ある評価関数の下で最適だと評価される前記入力時系列である最適制御を算出する算出工程と、
前記最適制御に対する前記パラメータによる微分値を用いて、前記パラメータを更新する更新工程と、
を実行し、
前記スパース最適化問題の決定と、前記最適制御の算出と、前記パラメータの更新と、を繰り返すことにより、教師データとの誤差が小さい前記最適制御が得られる前記スパース最適化問題を決定付けるための前記パラメータを学習する、学習方法。
［適用例１５］
コンピュータプログラムであって、情報処理装置に、
入力時系列から出力時系列を近似的に表現した非線形モデルを用いたスパース最適化問題であって、所定のパラメータにより決定付けられるスパース最適化問題を決定する決定機能と、
決定された前記スパース最適化問題を解くことによって、前記パラメータに対応した最適制御であって、ある評価関数の下で最適だと評価される前記入力時系列である最適制御を算出する算出機能と、
前記最適制御に対する前記パラメータによる微分値を用いて、前記パラメータを更新する更新機能と、
を実行させ、
前記スパース最適化問題の決定と、前記最適制御の算出と、前記パラメータの更新と、を繰り返すことにより、教師データとの誤差が小さい前記最適制御が得られる前記スパース最適化問題を決定付けるための前記パラメータを学習する、コンピュータプログラム。
【符号の説明】
【0127】
１，１Ａ，１Ｂ，１Ｃ…制御システム
１０…非線形モデル
２０…スパース最適化問題
３０…模倣誤差
４０…微分値
１００，１００Ａ，１００Ｂ，１００Ｃ…学習装置
１１０…ＣＰＵ
１１１，１１１Ａ，１１１Ｂ，１１１Ｃ…決定部
１１２，１１２Ｂ…算出部
１１３，１１３Ａ，１１３Ｂ，１１３Ｃ…更新部
１２０…記憶部
１２１…パラメータθ
１２２，１２２Ｂ…制約
１３０…ＲＯＭ／ＲＡＭ
１４０…通信部
１５０…入出力部
２００…制御装置
２１０…ＣＰＵ
２１１…取得部
２１２…制御部
２２０…記憶部
２２１…パラメータθ
２３０…ＲＯＭ／ＲＡＭ
２４０…通信部
２５０…入出力部
ＬＮ１，ＬＮ２…模倣誤差の遷移
１０…非線形モデル
２０…スパース最適化問題
３０…模倣誤差
４０…微分値
１００，１００Ａ，１００Ｂ，１００Ｃ…学習装置
１１０…ＣＰＵ
１１１，１１１Ａ，１１１Ｂ，１１１Ｃ…決定部
１１２，１１２Ｂ…算出部
１１３，１１３Ａ，１１３Ｂ，１１３Ｃ…更新部
１２０…記憶部
１２１…パラメータθ
１２２，１２２Ｂ…制約
１３０…ＲＯＭ／ＲＡＭ
１４０…通信部
１５０…入出力部
２００…制御装置
２１０…ＣＰＵ
２１１…取得部
２１２…制御部
２２０…記憶部
２２１…パラメータθ
２３０…ＲＯＭ／ＲＡＭ
２４０…通信部
２５０…入出力部
ＬＮ１，ＬＮ２…模倣誤差の遷移
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】