特許 7576496 学習モデル生成装置、状態量推定装置、学習モデル生成方法、およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-23

(45)【発行日】2024-10-31

(54)【発明の名称】学習モデル生成装置、状態量推定装置、学習モデル生成方法、およびコンピュータプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241024BHJP

【ＦＩ】

G06N20/00 130

【請求項の数】 7

(21)【出願番号】P 2021045710

(22)【出願日】2021-03-19

(65)【公開番号】P2022144626

(43)【公開日】2022-10-03

【審査請求日】2023-06-21

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(73)【特許権者】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】100160691

【弁理士】

【氏名又は名称】田邊 淳也

(74)【代理人】

【識別番号】100157277

【弁理士】

【氏名又は名称】板倉 幸恵

(74)【代理人】

【識別番号】100182718

【弁理士】

【氏名又は名称】木崎 誠司

(72)【発明者】

【氏名】田中 紗也香

(72)【発明者】

【氏名】池戸 隆人

(72)【発明者】

【氏名】稲垣 英人

(72)【発明者】

【氏名】近藤 和也

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１９－１６７９４８（ＪＰ，Ａ）

【文献】国際公開第２０２０／１７８９３６（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１８／０００５４６３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

学習モデル生成装置であって、
１以上のパラメータを含む入力値と、前記入力値に対応した出力値と、を含む第１データセットを取得するデータ取得部と、
取得された前記入力値に含まれる１以上の前記パラメータのうち、少なくとも１つの前記パラメータに対して誤差を付与した誤差付入力値を生成し、前記誤差付入力値と、誤差を付与される前の前記入力値に対応した出力値と、を含む第２データセットを生成するデータ生成部と、
前記第１データセットと前記第２データセットとを教師データとした機械学習によって学習モデルを生成するモデル生成部と、
を備え、
前記データ生成部は、前記パラメータを取得するためのセンサの諸元値に応じて、前記センサから出力されたセンサ値の誤差の範囲で、前記パラメータに付与する誤差の大きさを設定する、学習モデル生成装置。

【請求項2】

請求項１に記載の学習モデル生成装置であって、
前記データ生成部は、前記パラメータに付与する誤差として、前記センサ値の最大誤差または最小誤差を設定する、学習モデル生成装置。

【請求項3】

請求項１または請求項２に記載の学習モデル生成装置であって、
前記モデル生成部は、前記学習モデルとして、内燃機関を有するシステムの状態量を推定するモデルを生成し、
前記データ取得部は、前記パラメータとして、前記システムの物理量を取得するセンサのセンサ値を含む、学習モデル生成装置。

【請求項4】

請求項３に記載の学習モデル生成装置であって、
前記モデル生成部は、前記学習モデルとして、排出ガスの浄化用触媒を有する前記システムにおける前記浄化用触媒の状態量を推定するモデルを生成し、
前記データ取得部は、前記入力値の前記パラメータとして、
前記内燃機関から前記浄化用触媒へと流入する前記排出ガスの流量と、
前記浄化用触媒の入口における前記排出ガスの温度と、
前記浄化用触媒の出口における前記排出ガスの温度と、
前記浄化用触媒の入口におけるＮＯｘ濃度と、
の少なくとも１つを含む、学習モデル生成装置。

【請求項5】

請求項４に記載の学習モデル生成装置を有する状態量推定装置であって、
前記モデル生成部により生成された前記学習モデルと、物理モデルと、を含む触媒状態推定モデルを記憶する記憶部と、
前記データ取得部により取得された前記第１データセットに含まれる前記入力値と、前記データ生成部により生成された前記第２データセットに含まれる前記誤差付入力値とのそれぞれを入力として、前記記憶部の前記触媒状態推定モデルに適用することで、前記浄化用触媒の状態量を推定する推定値算出部と、
を備える、状態量推定装置。

【請求項6】

学習モデル生成方法であって、
１以上のパラメータを含む入力値と、前記入力値に対応した出力値と、を含む第１データセットを取得するデータ取得工程と、
取得された前記入力値に含まれる１以上の前記パラメータのうち、少なくとも１つの前記パラメータに対して誤差を付与した誤差付入力値を生成し、前記誤差付入力値と、誤差を付与される前の前記入力値に対応した出力値と、を含む第２データセットを生成するデータ生成工程と、
前記第１データセットと前記第２データセットとを教師データとした機械学習によって学習モデルを生成するモデル生成工程と、
を備え、
前記データ生成工程は、前記パラメータを取得するためのセンサの諸元値に応じて、前記センサから出力されたセンサ値の誤差の範囲で、前記パラメータに付与する誤差の大きさを設定する、学習モデル生成方法。

【請求項7】

コンピュータに学習モデルを生成させるコンピュータプログラムであって、
１以上のパラメータを含む入力値と、前記入力値に対応した出力値と、を含む第１データセットを取得するデータ取得機能と、
取得された前記入力値に含まれる１以上の前記パラメータのうち、少なくとも１つの前記パラメータに対して誤差を付与した誤差付入力値を生成し、前記誤差付入力値と、誤差を付与される前の前記入力値に対応した出力値と、を含む第２データセットを生成するデータ生成機能と、
前記第１データセットと前記第２データセットとを教師データとした機械学習によって学習モデルを生成するモデル生成機能と、
を実現させ、
前記データ生成機能は、前記パラメータを取得するためのセンサの諸元値に応じて、前記センサから出力されたセンサ値の誤差の範囲で、前記パラメータに付与する誤差の大きさを設定する、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習モデル生成装置、状態量推定装置、学習モデル生成方法、およびコンピュータプログラムに関する。

【背景技術】

【0002】

機械学習により生成された学習モデルを用いて、種々の状態量を推定する装置が知られている（例えば、特許文献１，２参照）。特許文献１に記載された技術では、雰囲気温度推定装置内の雰囲気温度を推定するための学習モデルが生成され、この学習モデルを用いて雰囲気温度が推定される。特許文献１に記載の装置では、入力変数取得部が取得した種々の入力変数をニューラルネットワークに入力する。ニューラルネットワーク計算部は、計算を繰り返すことにより、ニューラルネットワークの重みを決定することで学習モデルを生成する。

【0003】

特許文献２には、ＮＯｘ還元処理を行う内燃機関の排気浄化装置が記載されている。この排気浄化装置では、内燃機関の運転状態を示す機関運転パラメータを入力とし、ＮＯｘ触媒に関わる制御パラメータを出力とする学習モデルを用いて、ＮＯｘ触媒に吸蔵されたＮＯｘ量が推定されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－６０６４２号公報

【文献】特開２００９－１８００８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１及び特許文献２に記載された技術では、学習モデルを用いた状態量の推定精度が低下する可能性があった。具体的には、特許文献１において、センサにより取得された実環境の温度などを入力変数とした場合、センサの個体差などによる誤差が入力値に含まれることにより、学習モデルによる推定精度が低下する場合がある。同様に、特許文献２において、機関運転パラメータを車上のセンサなどから取得する場合、ノイズやセンサ特性に基づいた誤差が入力値に含まれることにより、学習モデルによる推定精度が低下する場合がある。

【0006】

本発明は、上述した課題を解決するためになされたものであり、誤差を含む入力が与えられた場合であっても、状態量の推定精度を維持することが可能な学習モデルを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、上述の課題の少なくとも１つを解決するためになされたものであり、以下の形態として実現できる。学習モデル生成装置であって、１以上のパラメータを含む入力値と、前記入力値に対応した出力値と、を含む第１データセットを取得するデータ取得部と、取得された前記入力値に含まれる１以上の前記パラメータのうち、少なくとも１つの前記パラメータに対して誤差を付与した誤差付入力値を生成し、前記誤差付入力値と、誤差を付与される前の前記入力値に対応した出力値と、を含む第２データセットを生成するデータ生成部と、前記第１データセットと前記第２データセットとを教師データとした機械学習によって学習モデルを生成するモデル生成部と、を備え、前記データ生成部は、前記パラメータを取得するためのセンサの諸元値に応じて、前記センサから出力されたセンサ値の誤差の範囲で、前記パラメータに付与する誤差の大きさを設定する、学習モデル生成装置。そのほか、本発明は、以下の形態としても実現可能である。

【0008】

（１）本発明の一形態によれば、学習モデル生成装置が提供される。この学習モデル生成装置は、１以上のパラメータを含む入力値と、前記入力値に対応した出力値と、を含む第１データセットを取得するデータ取得部と、取得された前記入力値に含まれる１以上の前記パラメータのうち、少なくとも１つの前記パラメータに対して誤差を付与した誤差付入力値を生成し、前記誤差付入力値と、誤差を付与される前の前記入力値に対応した出力値と、を含む第２データセットを生成するデータ生成部と、前記第１データセットと前記第２データセットとを教師データとした機械学習によって学習モデルを生成するモデル生成部と、を備える。

【0009】

学習モデルは、学習時に使用した入力値のデータ密度が低い外挿領域を近似できない性質を有する。そのため、入力値に誤差が含まれる場合には入力値が外挿領域となり、外挿領域での推定精度が低下してしまう。すなわち、入力値に誤差が含まれる場合には、学習モデルにより算出された状態量の推定値の推定精度が低下する。本構成によれば、従来、学習モデルを生成する際の教師データとして用いられていた入力値と出力値とのセット（第１データセット）に加えてさらに、誤差付入力値と出力値とのセット（第２データセット）を教師データとして、機械学習を行うことで学習モデルを生成する。このため、誤差を含む入力値が外挿領域ではなく内挿領域となる。これにより、本構成の学習モデル生成装置では、誤差を含む入力が与えられた場合であっても、状態量の推定精度を維持することが可能な学習モデルを提供できる。この結果、センサ値等のパラメータに誤差を含む入力値に対してロバスト性を高め、学習モデルを用いて算出される状態量の推定精度の低下を抑制できる。

【0010】

（２）上記態様の学習モデル生成装置において、前記データ生成部は、前記パラメータを取得するためのセンサの諸元値に応じて、前記センサから出力されたセンサ値の誤差の範囲で、前記パラメータに付与する誤差の大きさを設定してもよい。
この構成によれば、第２データセットの誤差付入力値が含む誤差が、正解値のセンサ値において想定される誤差の範囲に設定される。これにより、本構成によれば、学習モデルを用いて算出される状態量の推定精度をより高い状態に維持できる。

【0011】

（３）上記態様の学習モデル生成装置において、前記データ生成部は、前記パラメータに付与する誤差として、前記センサ値の最大誤差または最小誤差を設定してもよい。
この構成によれば、最大誤差または最小誤差が入力値に付与されることにより、モデル生成部は、正解値のセンサ値が取り得る最大の誤差を含む教師データにより学習モデルを生成できる。これにより、状態量の推定値の内挿領域が大きくなり、実際のセンサ値が取り得る誤差の範囲において、状態量の推定精度を高い状態に維持できる。

【0012】

（４）上記態様の学習モデル生成装置において、前記モデル生成部は、前記学習モデルとして、内燃機関を有するシステムの状態量を推定するモデルを生成し、前記データ取得部は、前記パラメータとして、前記システムの物理量を取得するセンサのセンサ値を含んでもよい。
この構成によれば、学習モデル生成装置により生成された学習モデルを用いて、内燃機関を有するシステムの状態量を推定できる。内燃機関を有するシステムは一般に、状態量を推定するために多種多様なパラメータを含む入力値が必要となる。学習モデルを用いることにより、このような内燃機関を有するシステムの状態量を、簡単かつ高精度に推定できる。

【0013】

（５）上記態様の学習モデル生成装置において、前記モデル生成部は、前記学習モデルとして、排出ガスの浄化用触媒を有する前記システムにおける前記浄化用触媒の状態量を推定するモデルを生成し、前記データ取得部は、前記パラメータとして、前記内燃機関から前記浄化用触媒へと流入する前記排出ガスの流量と、前記浄化用触媒の入口における前記排出ガスの温度と、前記浄化用触媒の出口における前記排出ガスの温度と、前記浄化用触媒の入口におけるＮＯｘ濃度と、の少なくとも１つを含んでもよい。
この構成によれば、排出ガスの流量と、排出ガスの入口温度および出口温度と、排出ガス中のＮＯｘ濃度と、を入力変数として、浄化用触媒の状態量を推定する学習モデルを生成できる。

【0014】

（６）本発明の他の一形態によれば、上記態様の学習モデル生成装置を有する状態量推定装置が提供される。この状態量推定装置によれば、前期モデル生成部により生成された前記学習モデルと、物理モデルと、を含む触媒状態推定モデルを記憶する記憶部と、前記データ取得部により取得された前記第１データセットに含まれる前記入力値と、前記データ生成部により生成された第２データセットに含まれる前記誤差付入力値とのそれぞれを入力として、前記記憶部の前記触媒状態推定モデルに適用することで、前記浄化用触媒の状態量を推定する推定値算出部と、を備える。
この構成によれば、状態量推定装置は、機械学習により生成された学習モデルと、物理モデルとを組み合わせて構成された触媒状態推定モデルを用いて、浄化用触媒の状態量を推定する。このため、学習モデル、または物理モデルの一方のみを用いる場合と比較して、浄化用触媒の状態量の推定精度を向上できる。

【0015】

なお、本発明は、種々の態様で実現することが可能であり、例えば、学習モデル生成装置、学習装置、状態量推定装置、およびこれらの装置を備えるシステム、学習モデル生成システム、これら装置や方法を実行するためのコンピュータプログラム、このコンピュータプログラムを配布するためのサーバ装置、コンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施形態としての状態量推定装置の説明図である。

【図2】データが取得されてから学習モデルが生成されるまでの説明図である。

【図3】データが取得されてから学習モデルが生成されるまでの説明図である。

【図4】推定値算出部による推定値算出の説明図である。

【図5】第２データセットにより拡大する内挿領域の説明図である。

【図6】状態量推定方法のフローチャートである。

【図7】本実施形態の学習モデルの推定精度についての説明図である。

【図8】比較例の学習モデルの推定精度についての説明図である。

【図9】本実施形態と比較例とにおいて推定された状態量の比較についての説明図である。

【図10】変形例の学習モデル生成方法のフローチャートである。

【発明を実施するための形態】

【0017】

＜実施形態＞
図１は、本発明の実施形態としての状態量推定装置１００の説明図である。図１には、内燃機関２１０を備える内燃機関システム２００と、状態量推定装置１００との概略ブロック図が示されている。本実施形態の状態量推定装置１００は、入力値と出力値とを含む第１データセットＤＳ１と、誤差が付与された誤差付入力値と出力値との第２データセットＤＳ２とを教師データとした機械学習により学習モデルを生成する。生成された学習モデルは、第１データセットＤＳ１に加えて、誤差付入力値を含む第２データセットＤＳ２を教師データとしているため、学習モデルを用いた状態量の推定精度が高く維持される。

【0018】

図１に示されるように、内燃機関システム２００は、内燃機関２１０から排出される排出ガス中のＮＯｘ（窒素酸化物）を浄化するＮＳＲ触媒（吸蔵還元触媒：NOx Storage Reduction catalyst）２２０と、排出ガスが通る排気管２３０と、内燃機関２１０から排出される排出ガスの流量を取得する流量取得部２３１と、排出ガス中のＮＯｘ濃度を取得するＮＯｘ濃度取得部２３２と、ＮＳＲ触媒２２０に流入する前の排出ガスの入口ガス温度を取得する前端温度取得部２３３と、ＮＳＲ触媒２２０から流出した排出ガスの出口ガス温度を取得する後端温度取得部２３４と、を備えている。

【0019】

内燃機関２１０は、例えば、ディーゼルエンジンや、リーンバーン運転方式のガソリンエンジンである。図１に示されるように、排気管２３０は、内燃機関２１０からの排出ガスが流通する主流路を形成する。本実施形態の流量取得部２３１は、排気管２３０に設けられたピトー管式流量計によって測定された測定信号を取得することにより、排出ガスの流量を取得する。ＮＯｘ濃度取得部２３２は、ＮＳＲ触媒２２０へ流入する排気中のＮＯｘ濃度を測定するセンサである。前端温度取得部２３３および後端温度取得部２３４は、温度センサである。

【0020】

図１に示される本実施形態の状態量推定装置１００は、排出ガスの各種パラメータ（例えば、ガス流量、ＮＯｘ濃度、入口ガス温度、および出口ガス温度、１時刻前のＮＯｘ吸蔵量）を入力値とし、ＮＳＲ触媒２２０における実際のＮＯｘ吸蔵率を出力値とした場合に、入力値から出力値を推定する学習モデルを生成する。このとき、状態量推定装置１００は「学習モデル生成装置」として機能する。学習モデルの生成後、状態量推定装置１００は、生成した学習モデルを用いて、ＮＳＲ触媒２２０のＮＯｘ吸蔵率（浄化用触媒の状態量）を推定し、状態量の推定精度が要求性能を満たしているか否かを判定する。

【0021】

状態量推定装置１００は、ＣＰＵ（Central Process Unit）１０と、状態量の推定に用いられる学習モデルおよび物理モデルを記憶する記憶部２０と、各種画像を表示する表示部３０と、を備えている。図１に示されるように、記憶部２０は、学習モデルを記憶する学習モデルデータベース（学習モデルＤＢ）２１と、物理モデルを予め記憶している物理モデルデータベース（物理モデルＤＢ）２２と、を備えている。物理モデルの詳細については後述する。

【0022】

ＣＰＵ１０は、ＲＯＭ（Reae Only Memory）に格納されているコンピュータプログラムをＲＡＭ（Ramdam Access Memory）に展開して実行することにより、各種機能を実行する。本実施形態のＣＰＵ１０は、内燃機関システム２００から取得された複数のセンサ値を取得するデータ取得部１１と、データ取得部１１から送信される第１データセットＤＳ１から第２データセットＤＴ２を生成するデータ生成部１２と、第１データセットＤＳ１と第２データセットＤＳ２とを教師データとした機械学習によって学習モデルを生成するモデル生成部１３と、生成した学習モデルを取得するモデル取得部１４と、記憶部２０に記憶された学習モデルおよび物理モデルを用いて状態量の推定値を算出する推定値算出部１５と、算出された推定値の精度が要求性能を満たしているか否かを判定する判定部１６として機能する。

【0023】

図２および図３は、データが取得されてから学習モデルが生成されるまでの説明図である。図２には、モデル生成部１３が生成するモデルの詳細と、データ取得部１１とデータ生成部１２とモデル生成部１３との間でやり取りされるデータセットとを示す概略ブロック図が示されている。図２に示されるように、データ取得部１１は、１以上のパラメータを含む入力値と、この入力値に対応した出力値とを含む第１データセットＤＳ１を取得する。本実施形態では、入力値として、各取得部２３１～２３４により取得された４つのセンサ値および１時刻前のＮＯｘ吸蔵量で構成される５つのパラメータ（流量、入口ガス温度、出口ガス温度、ＮＯｘ濃度、および１時刻前のＮＯｘ吸蔵量）を採用する。また、出力値として、ＮＳＲ触媒２２０における正解値のＮＯｘ吸蔵量を採用する。データ取得部１１は、取得した第１データセットＤＳ１をモデル生成部１３へと送信する。

【0024】

本実施形態のデータ生成部１２は、データ取得部１１により取得された入力値に含まれる４つのセンサ値のうち、１以上のパラメータに対して誤差を付与した誤差付入力値を生成する。以降、データ生成部１２は入力値に含まれるパラメータの１つである「入口ガス温度」に対して誤差を付与する場合を例示して説明する。具体的には、データ生成部１２は、入口ガス温度に付与する誤差として、前端温度取得部２３３の最大誤差（例えば＋ｘ２）と、最小誤差（例えば－ｘ２）と、のそれぞれを設定した２つの誤差付入力値を生成する。なお、本実施形態のデータ生成部１２は、入口ガス温度に付与する誤差として、前端温度取得部２３３の諸元値に応じた大きさの誤差を付与する。換言すれば、上述した±ｘ２は、前端温度取得部２３３の諸元値において規定されたセンサ値の誤差範囲である。

【0025】

データ生成部１２は、上述のようにして生成した誤差付入力値を用いて、第２データセットＤＳ２を生成する。具体的には、データ生成部１２は、誤差付入力値と、誤差が付与される前の入力値に対応した出力値と、を含む第２データセットＤＳ２を生成する。データ生成部１２は、生成した第２データセットＤＳ２をモデル生成部１３へと送信する。

【0026】

また、データ生成部１２は、生成された学習モデルの推定精度を確認するために用いられるテストデータを生成する。具体的には、データ生成部１２は、第１データセットＤＳ１と、最大誤差である誤差付入力値を含む第２データセットＤＳ２と、最小誤差である誤差付入力値を含む第２データセットＤＳ２とのそれぞれのデータに含まれる入力値を、テストデータして生成する。データ生成部１２は、テストデータを推定値算出部１５へと送信する。

【0027】

モデル生成部１３は、データ取得部１１から送信された第１データセットＤＳ１と、データ生成部１２から送信された第２データセットＤＳ２とを教師データとした機械学習によって、学習モデルを生成する。本実施形態のモデル生成部１３は、ニューラルネットワーク（ＮＮ：Neural Network）を用いた機械学習により、第１ＮＮモデルＭＤ１と、第２ＮＮモデルＭＤ２と、第３ＮＮモデルＭＤ３と、を生成する。モデル生成部１３は、生成した学習モデル（第１～第３ＮＮモデルＭＤ１～ＭＤ３）を、記憶部２０の学習モデルＤＢ２１に記憶させる。

【0028】

第１ＮＮモデルＭＤ１は、ＮＳＲ触媒２２０における「ＮＯｘ浄化率」を推定するためのモデルである。第１ＮＮモデルＭＤ１と、第２ＮＮモデルＭＤ２と、第３ＮＮモデルＭＤ３と、後述する物理モデルとのそれぞれの入力変数には、第１データセットＤＳ１の入力値または第２データセットＤＳ２の誤差付入力値に含まれる５つのパラメータのうちの少なくとも１つを採用できる。第１ＮＮモデルＭＤ１の出力変数は、入力変数が表す諸条件下における、ＮＳＲ触媒２２０のＮＯｘ吸蔵率の推定値である。なお、データ取得部１１が取得するパラメータのうちの「１時刻前のＮＯｘ吸蔵量」は、１時刻前において第１ＮＮモデルＭＤ１により推定されたＮＯｘ浄化率を用いて算出される値である。

【0029】

第２ＮＮモデルＭＤ２は、ＮＳＲ触媒２２０における「気相反応で浄化されるＮＯｘ量」を推定するためのモデルである。第２ＮＮモデルＭＤ２の出力変数は、入力変数が表わす諸条件下において、ＮＳＲ触媒２２０の気相反応で浄化されるＮＯｘの量の推定値である。

【0030】

第３ＮＮモデルＭＤ３は、ＮＳＲ触媒２２０における「ＮＯｘ還元量」を推定するためのモデルである。第３ＮＮモデルＭＤ３の入力変数には、第１データセットＤＳ１の入力値または第２データセットＤＳ２の誤差付入力値に含まれる５つのパラメータのうちの少なくとも１つと、後述する物理モデルにより推定される還元反応に寄与しない添加剤の量とを採用できる。第３ＮＮモデルＭＤ３の出力変数は、入力変数が表す諸条件下における、還元反応またはリッチスパイク制御で還元されるＮＯｘ還元量の推定値である。なお、リッチスパイク制御とは、内燃機関２１０内の空燃比を短時間リッチ状態とすることで、ＣＯ、Ｈ₂、およびＨＣ等のその他の未燃ガス（以降「ＣＯ，Ｈ₂，ＨＣ等」とも呼ぶ）を内燃機関２１０から排出させる制御である。

【0031】

記憶部２０の物理モデルＤＢ２２に記憶されている物理モデルは、リッチスパイク制御において、「還元反応に寄与しない添加剤量（ＣＯ，Ｈ₂，ＨＣ等の量）」を推定するためのモデルである。内燃機関２１０からの排出ガスの温度やＮＳＲ触媒２２０の温度によっては、ＮＳＲ触媒２２０に吸蔵されているＮＯｘと添加剤との還元反応が十分に進行しない場合がある。物理モデルでは、このような還元反応に寄与しない添加剤の量を推定する。物理モデルの一例としては、還元反応に寄与しないＣＯの量を推定するアレニウスの式を採用できる。

【0032】

学習モデルＤＢ２１に記憶された学習モデル（第１～第３ＮＮモデルＭＤ１～ＭＤ３）と、物理モデルＤＢ２２に記憶された物理モデルとは「触媒状態推定モデル」として機能する。本実施形態の触媒状態推定モデルは、第１ＮＮモデルＭＤ１により推定されたＮＯｘ浄化率と、第２ＮＮモデルＭＤ２により推定された気相反応で浄化されるＮＯｘ量と、第３ＮＮモデルＭＤ３により推定されたＮＯｘ還元量と、物理モデルにより推定された還元反応に寄与しない添加剤量とを用いて、ＮＳＲ触媒２２０の状態量（例えば、ＮＯｘ吸蔵量）を推定するためのモデルである。

【0033】

図３には、学習モデル生成のフローのイメージ図が示されている。図３に示されるように、モデル生成部１３は、５つのパラメータを含む入力値（誤差付入力値を含む）と出力値とを含む第１データセットＤＳ１および第２データセットＤＳ２から構成される教師データを用いて機械学習を行う。

【0034】

モデル取得部１４は、記憶部２０から取得した触媒状態推定モデルを推定値算出部１５に送信する。推定値算出部１５は、触媒状態推定モデルに対して、第１データセットＤＳ１に含まれる入力値と、第２データセットＤＳ２に含まれる入力値（誤差付入力値を含む）とのそれぞれをテストデータとして入力することにより、ＮＳＲ触媒２２０の状態量（例えば、ＮＯｘ吸蔵量）の推定値を算出する。具体的には、推定値算出部１５は、テストデータから第１ＮＮモデルＭＤ１により推定されたＮＯｘ浄化率と、テストデータから第２ＮＮモデルＭＤ２により推定された気相反応で浄化されるＮＯｘ量と、テストデータから第３ＮＮモデルＭＤ３により推定されたＮＯｘ還元量と、テストデータから物理モデルにより推定された還元反応に寄与しない添加剤量と、をそれぞれ触媒状態推定モデルに入力することによって、出力変数としてのＮＯｘ吸蔵量を算出する。

【0035】

図４は、推定値算出部１５による推定値算出の説明図である。図４に示されるように、推定値算出部１５は、学習モデルを用いて、第１データセットＤＳ１に含まれる入力値と、入口ガス温度が最大誤差である第２データセットＤＳ２の誤差付入力値と、入口ガス温度が最小誤差である第２データセットＤＳ２の誤差付入力値と、のそれぞれに対応するＮＯｘ吸蔵率を算出する。推定値算出部１５は、算出されたそれぞれのＮＯｘ吸蔵率に対応する、状態量の推定値としてのＮＯｘ吸蔵量を算出する。なお、図４に示される２つの第２データセットＤＳ２の入口ガス温度のグラフには、比較のための第１データセットＤＳ１に含まれる誤差を含まない入口ガス温度が破線で示されている。同じように、２つの第２データセットＤＳ２を用いて算出された状態量としてのＮＯｘ吸蔵量のグラフには、誤差付入力値を含まない第１データセットＤＳ１を用いて算出されたＮＯｘ吸蔵量のグラフが破線で示されている。

【0036】

図５は、第２データセットＤＳ２により拡大する内挿領域ＲＧ１の説明図である。図５には、推定値算出部１５が算出したＮＯｘ吸蔵量を表すプロットと、当該プロットから算出された近似曲線ｙ₁，ｙ₂，ｙ₃とが示されている。近似曲線ｙ₁は、第１データセットＤＳ１の入力値から算出されたＮＯｘ吸蔵量（小さい黒丸のプロット）に近似する曲線である。近似曲線ｙ₂は、最大誤差である第２データセットＤＳ２の誤差付入力値から算出されたＮＯｘ吸蔵量（大きい白丸のプロット）に近似する曲線である。近似曲線ｙ₃は、最小誤差である第２データセットＤＳ２の誤差付入力値から算出されたＮＯｘ吸蔵量（大きい丸のハッチングが施されたプロット）に近似する曲線である。図５に示されるように、最大誤差と最小誤差とのそれぞれに対応する誤差付入力値がテストデータとして用いられることにより、近似曲線ｙ₂と近似曲線ｙ₃との間に囲まれる内挿領域ＲＧ１が形成される。

【0037】

判定部１６は、推定値算出部１５により算出された状態量の推定値が、要求仕様としての許容誤差範囲内に含まれているか否かを判定する。判定部１６は、状態量の推定値が要求仕様を満たすと判定した場合には、要求仕様を満たす学習モデルとして学習モデルＤＢ２１に記憶する。状態量の推定値が要求仕様を満たさないと判定された場合には、モデル生成部１３は、学習アルゴリズムと、中間層のノード数を含むハイパーパラメータとを決定し直して、新たな学習モデルを生成する。

【0038】

図６は、状態量推定方法のフローチャートである。図６に示される状態量推定フローでは、初めに、データ生成部１２が教師データを生成する（ステップＳ１）。教師データは、データ取得部１１により取得された第１データセットＤＳ１と、データ生成部１２により生成された第２データセットＤＳ２とを含む。データ生成部１２は、第１データセットＤＳ１と第２データセットＤＳ２とのそれぞれをテストデータとして生成する（ステップＳ２）。

【0039】

モデル生成部１３は、学習アルゴリズムとハイパーパラメータとを決定する（ステップＳ３）。モデル生成部１３は、決定した学習アルゴリズムおよびハイパーパラメータと、教師データとを用いて学習モデルを生成する（ステップＳ４）。判定部１６は、推定値算出部１５が学習モデルおよび物理モデルと、テストデータとを用いて算出した状態量の推定精度を確認する（ステップＳ５）。判定部１６は、推定値算出部１５により全てのテストデータに対応する推定値が算出されたか否かを判定する（ステップＳ６）。全てのテストデータに対応する推定値が算出されていない場合には（ステップＳ６：ＮＯ）、ステップＳ５の処理が行われる。

【0040】

ステップＳ６の処理において、判定部１６は、全てのテストデータに対応する推定値が算出されたと判定した場合には（ステップＳ６：ＹＥＳ）、算出された推定精度が要求仕様を満たすか否かを判定する（ステップＳ７）。算出された推定精度が要求仕様を満たさないと判定された場合には（ステップＳ７：ＮＯ）、ステップＳ３以降の処理が行われる。算出された推定精度が要求仕様を満たすと判定された場合には（ステップＳ７：ＹＥＳ）、要求仕様を満たす学習モデルが学習モデルＤＢ２１に保存されて、状態量推定フローが終了する。

【0041】

図７は、本実施形態の学習モデルの推定精度についての説明図である。図７には、本実施形態の学習モデルにより算出されたＮＯｘ吸蔵量の推定値の時間変化が示されている。図７には、正解値として出力値が細い実線で表され、＋ｘ２の誤差が付与されたテストデータを用いて算出された推定値が太い破線で示され、＋ｘ１（＜ｘ２）の誤差が付与されたテストデータを用いて算出された推定値が太い二点鎖線で示され、誤差が付与されていないテストデータを用いて算出された推定値が細い一点鎖線で示され、－ｘ１の誤差が付与されたテストデータを用いて算出された推定値が細い破線で示され、－ｘ２の誤差が付与されたテストデータを用いて算出された推定値が太い実線で示されている。なお、「ｘ１」および「ｘ２」は、任意の正の数である。

【0042】

図８は、比較例の学習モデルの推定精度についての説明図である。図８には、比較例の学習モデルにより算出されたＮＯｘ吸蔵量の推定値の時間変化が示されている。比較例の学習モデルは、本実施形態の入力値に誤差を含まない第１データセットＤＳ１のみが教師データとして機械学習されたモデルである。図８に示されるグラフのスケールは、図７のスケールと同じである。図８に示される各種推定値の線種は、図７に示される線種に対応している。

【0043】

図９は、本実施形態と比較例とにおいて推定された状態量の比較についての説明図である。図９には、図７および図８から導かれた、テストデータに付与された誤差に対して、推定された状態量であるＮＯｘ吸蔵量と正解値との差の最大値の割合である最大絶対誤差が示されている。本実施形態の推定値は、折れ線Ｌ１（実線）により示され、比較例の推定値は、折れ線Ｌ２（破線）により示されている。最大絶対誤差は、推定値と正解値との差の絶対値を正解値で除した値のうちの最大値である。すなわち、本実施形態では、入力値に誤差が含まれる場合であっても、状態量の推定精度の低下を抑制できる。

【0044】

以上説明したように、本実施形態の状態量推定装置１００では、データ取得部１１が５つのパラメータ（流量、入口ガス温度、出口ガス温度、ＮＯｘ濃度、および１時刻前のＮＯｘ吸蔵量）と、出力値としてのＮＳＲ触媒２２０における正解値のＮＯｘ吸蔵量とを含む第１データセットＤＳ１を取得する。データ生成部１２は、データ取得部１１により取得された入力値に含まれる４つのセンサ値のうち、入口ガス温度に対して誤差を付与した誤差付入力値を生成する。データ生成部１２は、第２データセットＤＳ２として、誤差付入力値と、誤差を付与される前の入力値に対応した第１データセットＤＳ１に含まれる出力値とを含むデータセットを生成する。モデル生成部１３は、第１データセットＤＳ１と第２データセットＤＳ２とを教師データとした機械学習によって学習モデルを生成する。学習モデルは、学習時に使用した入力値のデータ密度が低い外挿領域を近似できない性質を有する。そのため、入力値に誤差が含まれる場合には入力値が外挿領域となり、図８，９に示されるように、外挿領域での推定精度が低下してしまう。すなわち、入力値に誤差が含まれる場合には、学習モデルにより算出された状態量の推定値の推定精度が低下する。本実施形態の状態量推定装置１００によれば、従来、学習モデルを生成する際の教師データとして用いられていた入力値と出力値とのセット（第１データセットＤＳ１）に加えてさらに、誤差付入力値と出力値とのセット（第２データセットＤＳ２）を教師データとして、機械学習を行うことで学習モデルを生成する。このため、誤差を含む入力値が外挿領域ではなく内挿領域ＲＧ１となる。これにより、本実施形態の状態量推定装置１００では、誤差を含む入力が与えられた場合であっても、状態量の推定精度を維持することが可能な学習モデルを提供できる。この結果、図７，９に示されるように、センサ値等の誤差を含む入力値に対してロバスト性を高め、算出される状態量の推定精度の低下を抑制できる。

【0045】

また、本実施形態のデータ生成部１２は、入口ガス温度に付与する誤差として前端温度取得部２３３により取得される誤差の範囲で設定する。すなわち、第２データセットＤＳ２の誤差付入力値が含む誤差が、正解値の前端温度取得部２３３の入口ガス温度において想定される誤差の範囲に設定される。これにより、本実施形態では、学習モデルにより算出される状態量の推定精度をより高い状態に維持できる。

【0046】

また、本実施形態のデータ生成部１２は、入口ガス温度に付与する誤差として、前端温度取得部２３３の最大誤差（例えば＋ｘ２）と最小誤差（例えば－ｘ２）とのそれぞれを設定した誤差付入力値を生成する。最大誤差または最小誤差が入力値に付与されることにより、モデル生成部１３は、実際の前端温度取得部２３３が取り得る最大の誤差を含む教師データにより学習モデルを生成できる。これにより、状態量の推定値の内挿領域ＲＧ１が大きくなり、実際の前端温度取得部２３３が取り得る誤差の範囲において、状態量の推定精度を高い状態に維持できる。

【0047】

また、本実施形態のデータ取得部１１は、各取得部２３１～２３４により取得された４つのセンサ値、又はセンサ値から導出した値および１時刻前のＮＯｘ吸蔵量で構成される５つのパラメータを取得する。モデル生成部１３は、ＮＳＲ触媒２２０における状態量としてＮＯｘ吸蔵率を推定する学習モデルを生成する。本実施形態によれば、状態量推定装置１００により生成された学習モデルを用いて、内燃機関２１０を有する内燃機関システム２００の状態量を推定できる。内燃機関２１０を有する内燃機関システム２００は一般に、状態量を推定するために多種多様なパラメータを含む入力値が必要となる。学習モデルを用いることにより、このような内燃機関２１０を有する内燃機関システム２００の状態量を、簡単かつ高精度に推定できる。

【0048】

また、本実施形態のモデル生成部１３は、内燃機関システム２００におけるＮＳＲ触媒２２０の状態量を推定する学習モデルを生成する。データ取得部１１は、取得するパラメータとして、排出ガスの流量と、ＮＳＲ触媒２２０に流入する排出ガスの入口ガス温度と、ＮＳＲ触媒２２０から排出される排出ガスの出口ガス温度と、排出ガス中のＮＯｘ濃度とを含んでいる。本実施形態の状態量推定装置１００は、排出ガスの流量と、排出ガスの入口温度および出口温度と、排出ガス中のＮＯｘ濃度と、を入力変数として、ＮＳＲ触媒２２０の状態量を推定する学習モデルを生成できる。

【0049】

また、本実施形態の状態量推定装置１００は、学習モデルを記憶する学習モデルＤＢ２１と、物理モデルを記憶する物理モデルＤＢ２２とを備える記憶部２０を備えている。推定値算出部１５は、データ取得部１１により取得された第１データセットＤＳ１の入力値と、データ生成部１２により生成された第２データセットＤＳ２の誤差付入力値とのそれぞれをテストデータとして、ＮＳＲ触媒２２０のＮＯｘ吸蔵量を推定する。本実施形態の状態量推定装置１００は、機械学習により生成された学習モデルと、物理モデルとを組み合わせて構成された触媒状態推定モデルを用いて、ＮＳＲ触媒２２０のＮＯｘ吸蔵量を算出する。このため、学習モデル、または物理モデルの一方のみを用いる場合と比較して、ＮＳＲ触媒２２０のＮＯｘ吸蔵量の推定精度を向上できる。

【0050】

＜上記実施形態の変形例＞
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

【0051】

上記実施形態では、学習モデルを生成する学習モデル生成装置の一例としての状態量推定装置１００について説明したが、状態量推定装置１００が備える構成および実行する制御については変形可能である。学習モデル生成装置は、第１データセットＤＳ１を用いて誤差付入力値を含む第２データセットＤＳ２を生成するデータ生成部１２と、第１データセットＤＳ１と第２データセットＤＳ２とを教師データとして機械学習により学習モデルを生成するモデル生成部１３と、を備える範囲で変形可能である。例えば、状態量推定装置１００は、表示部３０および記憶部２０を備えておらず、モデル取得部１４と推定値算出部１５と判定部１６として機能しなくてもよい。すなわち、学習モデルを生成して状態量の推定精度を判定しない学習モデル生成装置であってもよい。状態量推定装置１００が推定する状態量は、内燃機関システム２００の排出ガスからＮＳＲ触媒２２０が吸蔵するＮＯｘ吸蔵量に限られず、データ取得部１１により取得された１以上のパラメータを含む入力値と出力値とのデータセットに応じて変形可能である。

【0052】

上記実施形態のデータ生成部１２は、前端温度取得部２３３のパラメータに対してのみ誤差を付与したが、誤差を付与するパラメータの数は２つ以上であってもよいし、前端温度取得部２３３以外のパラメータであってもよい。データ生成部１２は、誤差付入力値として付与する誤差として、最大誤差と最小誤差とのそれぞれを含む２つの第２データセットＤＳ２を生成したが、パラメータに付与される誤差は変形可能である。パラメータに付与される誤差は、センサの諸元値に応じてセンサ値の誤差の範囲が好ましい。本明細書における「センサ値」とは、センサにより直接取得された値に加え、当該値を用いて導出した間接的な値も含んでいる。そのため、「センサ値の誤差」とは、センサにより直接取得される値に対する誤差に起因して、センサ値を用いて導出される間接的な値に発生する誤差も含んでいる。生成される第２データセットＤＳ２は、最大誤差と最小誤差とのそれぞれに対応するデータセットに加えて、最大誤差とゼロとの中間値の誤差に対応するデータセットを含んでいてもよく、変形可能である。

【0053】

上記実施形態のモデル生成部１３は、図２に示されるように、ニューラルネットワークを用いた機械学習モデル（第１ＮＮモデルＭＤ１，第２ＮＮモデルＭＤ２，および第３ＮＮモデルＭＤ３）と、物理モデルとの両方を用いて、状態量としてのＮＯｘ吸蔵量を算出したが、物理モデルを用いないで状態量を算出してもよい。また、生成される学習モデルに含まれるニューラルネットワークを用いたモデルは、２つ以下であってもよいし、４つ以上であってもよい。モデル生成部１３は、ニューラルネットワーク以外のモデルを用いた機械学習を行ってもよい。モデル生成部１３は、ＮＳＲ触媒２２０のＮＯｘ吸蔵量を算出するために、各取得部２３１～２３４により取得された４つのセンサ値および１時刻前のＮＯｘ吸蔵量で構成される５つのパラメータ（流量、入口ガス温度、出口ガス温度、ＮＯｘ濃度、および１時刻前のＮＯｘ吸蔵量）を用いたが、５つのパラメータの全てを用いなくてもよい。データ取得部１１が５つのパラメータとは異なるパラメータを取得し、モデル生成部１３は、取得された当該異なるパラメータを用いて学習モデルを生成してもよい。

【0054】

図１０は、変形例の学習モデル生成方法のフローチャートである。図１０に示される学習モデル生成フローでは、初めに、データ取得部１１が第１データセットＤＳ１を取得する（ステップＳ１１）。データ生成部１２は、第１データセットＤＳ１を用いて第２データセットＤＳ２を生成する（ステップＳ１２）。モデル生成部１３は、第１データセットＤＳ１と第２データセットＤＳ２とを教師データとした機械学習によって学習モデルを生成する（ステップＳ３）。

【0055】

以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。

【符号の説明】

【0056】

１０…ＣＰＵ
１１…データ取得部
１２…データ生成部
１３…モデル生成部
１４…モデル取得部
１５…推定値算出部
１６…判定部
２０…記憶部
２１…学習モデルＤＢ
２２…物理モデルＤＢ
３０…表示部
１００…状態量推定装置（学習モデル生成装置）
２００…内燃機関システム
２１０…内燃機関
２２０…ＮＳＲ触媒
２３０…排気管
２３１…流量取得部
２３２…ＮＯｘ濃度取得部
２３３…前端温度取得部
２３４…後端温度取得部
ＤＳ１…第１データセット
ＤＳ２…第２データセット
ＭＤ１…第１ＮＮモデル
ＭＤ２…第２ＮＮモデル
ＭＤ３…第３ＮＮモデル
ＲＧ１…内挿領域
ｘ１，ｘ２…誤差

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】