特開 2023-170227 電子制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023170227

(43)【公開日】2023-12-01

(54)【発明の名称】電子制御装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20231124BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022081801

(22)【出願日】2022-05-18

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100106149

【弁理士】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】山本 耕輔

(57)【要約】

【課題】最適な特徴量を自動的に選択することができる電子装置を提供すること。
【解決手段】第２ＥＣＵは、複数の特徴量の少なくとも一部である複数の特徴量候補と各特徴量候補における出力データとを含む候補特徴量集合を生成し、候補特徴量集合における特徴量候補の変更と、特徴量候補を変更した候補特徴量集合を用いた予測と、を繰り返し行い、予測の精度向上にかかわっている特徴量候補を選択する（Ｓ１０～Ｓ１２）。第２ＥＣＵは、目的変数と、選択された特徴量候補と各特徴量候補における複数の出力データを含む更新特徴量集合とをもとに、目的変数の予測に用いる基礎モデルを改良した改良モデルを生成する（Ｓ１３）。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数の特徴量と各特徴量における複数の出力データを含む特徴量集合と、各出力データに対応する目的変数とによって機械学習された基礎モデルを用いて前記目的変数の予測を行う電子制御装置であって、
複数の前記特徴量の少なくとも一部である複数の特徴量候補と各特徴量候補における前記出力データとを含む候補特徴量集合を生成し、前記候補特徴量集合における前記特徴量候補の変更と、前記特徴量候補を変更した前記候補特徴量集合を用いた前記予測と、を繰り返し行い、前記予測の精度向上にかかわっている前記特徴量候補を選択する選択部（Ｓ１０～Ｓ１２）と、
前記目的変数と、前記選択部で選択された前記特徴量候補と各特徴量候補における複数の前記出力データを含む更新特徴量集合とをもとに、前記目的変数の前記予測に用いる前記基礎モデルを改良した改良モデルを生成するモデル生成部（Ｓ１３）と、を備えている電子制御装置。

【請求項2】

前記選択部は、前記特徴量候補を変更した前記候補特徴量集合を用いた前記予測の結果であるコスト値を算出し、前記特徴量候補を変更する際に、前記コスト値が適切な値に近くなる前記特徴量候補を選択する請求項１に記載の電子制御装置。

【請求項3】

前記選択部は、前記コスト値が適切な値に近くなる前記特徴量候補を選択する際に、連続値を予め決められた関数に代入して得られる値と閾値との比較によって、前記連続値を離散値に変換して、前記離散値に対応する前記特徴量候補を選択する請求項２に記載の電子制御装置。

【請求項4】

前記選択部は、前記コスト値が適切な値に近くなる前記特徴量候補を選択する際に、連続値を予め決められた関数に代入して得られる値と閾値との比較によって、前記連続値を離散値に変換して、前記離散値に対応する前記特徴量候補を選択するものであり、
前記関数は、前記値が０から１に収まる性質を有しており、
前記閾値は、０から１の間にある請求項２に記載の電子制御装置。

【請求項5】

前記選択部では、複数の前記特徴量と、複数の前記特徴量を組み合わせて得られる新規特徴量とを含む複数の前記特徴量候補を用いる請求項１に記載の電子制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、電子制御装置に関する。

【背景技術】

【0002】

従来、特許文献１に記載されているように、教師ラベルとセンサ情報とに加えて、教師ラベルの判定に影響する要因を表す要因情報を用いて判定モデルの学習を行う学習方法がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－３６３７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、機械学習のモデルの予測精度を向上するためには、既存の特徴量を用いて新たな特徴量を生成することが考えられる。しかしながら、モデルは、新たな特徴量を既存の特徴量に加えたとしても、必ずしも予測精度が向上するとは限らない。つまり、モデルは、目的変数への予測に寄与しない特徴量を加えることで、予測精度が低下する可能性がある。

【0005】

既存の特徴量を用いた新たな特徴量の生成は、人の経験などによる試行錯誤で行われていた。しかしながら、今後は、電子制御装置の制御などに、機械学習を用いたデータ活用を行う可能性がある。この場合、扱うデータの種類と数が膨大なものになることが予測される。よって、モデル生成方法では、予測精度を向上できる新たな特徴量を、人の経験などによって生成することが困難である。

【0006】

開示される一つの目的は、最適な特徴量を自動的に選択することができる電子装置を提供することである。

【課題を解決するための手段】

【0007】

ここに開示された電子制御装置は、
複数の特徴量と各特徴量における複数の出力データを含む特徴量集合と、各出力データに対応する目的変数とによって機械学習された基礎モデルを用いて目的変数の予測を行う電子制御装置であって、
複数の特徴量の少なくとも一部である複数の特徴量候補と各特徴量候補における出力データとを含む候補特徴量集合を生成し、候補特徴量集合における特徴量候補の変更と、特徴量候補を変更した候補特徴量集合を用いた予測と、を繰り返し行い、予測の精度向上にかかわっている特徴量候補を選択する選択部（Ｓ１０～Ｓ１２）と、
目的変数と、選択部で選択された特徴量候補と各特徴量候補における複数の出力データを含む更新特徴量集合とをもとに、目的変数の予測に用いる基礎モデルを改良した改良モデルを生成するモデル生成部（Ｓ１３）と、を備えていることを特徴とする。

【0008】

ここに開示された電子制御装置によると、選択した特徴量候補を含む更新特徴量集合をもとに、目的変数の予測に用いる基礎モデルを改良した改良モデルを生成する。また、電子制御装置は、特徴量候補を選択する際に、候補特徴量集合における特徴量候補の変更と、特徴量候補を変更した候補特徴量集合を用いた予測と、を繰り返し行い、予測の精度向上にかかわっている特徴量候補を選択する。このため、電子制御装置は、予測の精度向上にかかわっている最適な特徴量を自動的に選択することができる。

【0009】

この明細書において開示された複数の態様は、それぞれの目的を達成するために、互いに異なる技術的手段を採用する。請求の範囲およびこの項に記載した括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。この明細書に開示される目的、特徴、および効果は、後続の詳細な説明、および添付の図面を参照することによってより明確になる。

【図面の簡単な説明】

【0010】

【図1】車載システムの概略構成を示すブロック図である。

【図2】第２ＥＣＵのアルゴリズムの概要を示すフローチャートである。

【図3】第２ＥＣＵのモデルフリー最適化手法を示すフローチャートである。

【図4】第２ＥＣＵのコスト関数計算を示すフローチャートである。

【図5】記号の明細書中の記載の対応関係を示す図である。

【図6】数式１～数式４を示す図である。

【発明を実施するための形態】

【0011】

以下において、図１～図４を参照しながら、本開示を実施するための形態を説明する。

【0012】

本実施形態では、一例として、電子制御装置を、車両に搭載された車載システム１００に適用する。車載システム１００は、三つのＥＣＵ１１～１３と、三つのセンサ２１～２３を備えている。しかしながら、本開示は、ＥＣＵ１１～１３の機能を一つのＥＣＵが備えていてもよい。第２ＥＣＵ１２、第３ＥＣＵ１３は、電子制御装置に相当する。また、本開示は、四つ以上のセンサを備えていてもよい。ＥＣＵは、Electronic Control Unitの略称である。

【0013】

各ＥＣＵ１１～１３は、プロセッサと、メモリ装置と、周辺Ｉ／Ｏなどを備えている。プロセッサは、ＣＰＵなどの演算処理装置である。メモリ装置は、揮発性メモリと不揮発性メモリを備えている。周辺Ｉ／Ｏは、通信インタフェースやＡＤコンバータなどを備えている。プロセッサは、メモリ装置に記憶されているプログラムを実行する。プロセッサは、プログラムを実行することでして演算処理を行う。このとき、プロセッサは、メモリ装置に記憶されたデータや周辺Ｉ／Ｏから得られたデータなどを用いつつ演算処理を行う。そして、プロセッサは、演算結果を周辺Ｉ／Ｏから出力する。

【0014】

第１ＥＣＵ１１は、第１センサ２１、第２センサ２２、第３センサ２３が電気的に接続されている。第１ＥＣＵ１１は、各センサ２１～２３からセンサデータ（センサ値）が入力される。第１ＥＣＵ１１は、車両の各センサ２１～２３から出力されたセンサデータを統括する。

【0015】

第１センサ２１は、エンジン回転数に応じた電気信号であるセンサデータを出力する回転数センサである。第２センサ２２は、エンジン温度に応じた電気信号であるセンサデータを出力する温度センサである。第３センサ２３は、排ガス中の酸素濃度に応じた電気信号であるセンサデータを出力する酸素濃度センサである。

【0016】

しかしながら、本開示は、これに限定されず、他の物理量に応じた電気信号を出力するセンサであっても採用できる。なお、エンジン回転数、エンジン温度、酸素濃度は、特徴量（ラベル）に相当する。各センサ２１～２３が出力するセンサデータは、出力データに相当する。

【0017】

第２ＥＣＵ１２は、プロセッサがモデルを構築する。このモデルは、教師あり学習によって得られるものである。詳述すると、モデルは、複数の特徴量と各特徴量における複数の出力データを含む特徴量集合と、各出力データに対応する目的変数とによって機械学習されたものである。また、第２ＥＣＵ１２は、第３ＥＣＵ１３が予測に用いるモデルを構築するともいえる。さらに、第２ＥＣＵ１２は、第３ＥＣＵ１３が予測に用いるモデルである基礎モデルを改良して、改良モデルを生成する。特徴量集合と目的変数とは、例えば第２ＥＣＵ１２のメモリ装置に記憶されている。

【0018】

第２ＥＣＵ１２のプロセッサは、図２、図３、図４に示すフローチャートを実行することで、改良モデルを生成する。また、第２ＥＣＵ１２のプロセッサは、図６に示す数式１、数式２、数式３、数式４を計算する。第２ＥＣＵ１２の処理動作に関しては、後ほど詳しく説明する。

【0019】

第３ＥＣＵ１３は、モデルがメモリ装置に記憶されている。第３ＥＣＵ１３は、プロセッサが入力されたセンサデータからモデルを用いて目的変数を予測（出力）する。この予測は、識別もしくは回帰である。本実施形態では、エンジン回転数、エンジン温度、酸素濃度のセンサデータから、エンジンの故障予測を行うモデルを採用する。

【0020】

なお、本実施形態では、三つのＥＣＵ１１～１３に機能を分散させた例を採用している。しかしながら、本開示は、各ＥＣＵ１１～１３の機能を備えた一つのＥＣＵであっても採用できる。

【0021】

ここで、図２～図６を用いて、第２ＥＣＵ１２（プロセッサ）による処理動作に関して説明する。まず、以下で用いる記号に関して説明する。Ｘは、既存の特徴量集合であり、ｎ行ｍ列の行列である。ｎはデータ数、ｍは特徴量数である。つまり、Ｘの列要素は、特徴量である。一方、Ｘの行要素は、各特徴量のデータ（出力データ）である。既存の特徴量集合Ｘの特徴量は、既存の特徴量ともいえる。Ｙは、既知の目的変数集合であり、ｎ行１列の列ベクトルである。１は目的変数の数である。ｎは、目的変数の各データであり、特徴量の各出力データと同数である。

【0022】

ｘ_{ｔｒａｉｎ}，ｘ_ｔｅｓｔは、既存の特徴量集合Ｘを訓練用集合とテスト用集合に分割したものである。訓練用集合ｘ_{ｔｒａｉｎ}は、t行m列の行列である。ｔは訓練データのデータ数、ｍは特徴量の数である。テスト用集合ｘ_ｔｅｓｔは、（ｎ－ｔ）行ｍ列の行列である。

【0023】

ｘ_ａｌｌは、候補特徴量集合である。候補特徴量集合ｘ_ａｌｌは、既存の特徴量集合ｘ_{ｔｒａｉｎ}の列要素を組み合わせることで得られる新規特徴量集合を、既存の特徴量集合ｘ_{ｔｒａｉｎ}に追加した特徴量集合である。ここでは、候補特徴量集合ｘ_ａｌｌは、ｔ行（ｍ＋ｌ）列の行列であり、ｌ（エル）は、既存の特徴量を用いて作成した新規特徴量の数である。ここでは、一例として、既存の特徴量集合として、訓練用集合ｘ_{ｔｒａｉｎ}を採用している。

【0024】

ｘｏｔｒは、図５の１段目に記載の記号で表現される。ｘｏｔｒは、候補特徴量集合ｘ_ａｌｌの行列の中から目的変数の予測の精度向上に関わっている特徴量の列ベクトルのみを抽出した特徴量集合である。ｘｏｔｒは、訓練用集合の抽出特徴量集合である。ｘｏｔｒは、ｔ行ｑ列の行列である。ｑは、目的変数の予測の精度向上に関わっている特徴量の数（１＜ｑ＜（ｍ＋ｌ））である。

【0025】

ｘｏｔｅは、図５の２段目に記載の記号で表現される。ｘｏｔｅは、テスト用集合ｘ_ｔｅｓｔを用いて候補特徴量集合ｘ_ａｌｌのように、新規特徴量を追加した特徴量集合を作成し、その特徴量からｘｏｔｒと同じ特徴量の列要素を抽出した特徴量集合である。ｘｏｔｅは、テスト用集合の抽出特徴量集合である。

【0026】

ｙ_{ｔｒａｉｎ}，ｙ_ｔｅｓｔは、既存の目的変数集合Ｙを訓練用集合とテスト用集合に分割したものである。ｙ_{ｔｒａｉｎ}は、t行1列のベクトルである。ｙ_ｔｅｓｔは、（ｎ－ｔ）行1列のベクトルである。

【0027】

方策パラメータθは、ステップＳ１１に示すモデルフリーの最適化手法への入力ベクトルである。第２ＥＣＵ１２は、方策パラメータθをもとに、コスト関数（Ｓ２３）で用いられる途中特徴量集合ｘ_ｔｅｍｐに採用する列要素を決定する。途中特徴量集合ｘ_ｔｅｍｐは、モデルフリーの最適化手法において、ロールアウトの途中の方策パラメータθの値に対するコスト値ｒ_ｉの計算に使用される特徴量集合である。

【0028】

最適化パラメータθ_ｏｐｔは、コスト関数（コスト値ｒ_ｉ）を最小化するように最適化された方策パラメータθである。言い換えると、θ_ｏｐｔは、候補特徴量集合ｘ_ａｌｌの中からどの列要素を抽出するかをつかさどるパラメータである。θ_ｏｐｔは、１行（ｍ＋ｌ）列の行ベクトルである。第２ＥＣＵ１２は、θ_ｏｐｔとｘ_ａｌｌをもとにｘｏｔｒを求める。

【0029】

なお、図５の３段面に示すように、数式２などにおけるθ_ｉの上付き（１）～（ｍ＋ｌ）は、θｉ（ｋ）と記載する。図５の４段面に示すように、数式３におけるΘ_ｉの上付き（１）～（ｍ＋ｌ）は、Θｉ（ｋ）と記載する。ｋは、１以上でｍ＋ｌまでの自然数の連続値である。ｉは、ｉは、１以上でロールアウトするまでの自然数の連続値である。ロールアウトする値は、例えば、コスト値ｒ_ｉが収束したとみなせる値など、任意に決めることができる。さらに、図５の５段面に示すように、数式４におけるθ_ｏｐｔの上付き（ｊ）は、θｏ（ｊ）と記載する。ｊは、１≦ｊ＜ｍ＋ｌである。

【0030】

図２のフローチャートは、第２ＥＣＵ１２による特徴量を自動的に選択するための処理動作ともいえる。また、図２のフローチャートは、第２ＥＣＵ１２による改良モデルの生成方法ともいえる。さらに、図２のフローチャートは、改良モデルを生成するためのアルゴリズムの概要ともいえる。第２ＥＣＵ１２は、ユーザなどからの指示に応じて図２のフローチャートを開始する。

【0031】

なお、以下においては、基礎モデルおよび改良モデルとして、からエンジンの故障予測を行う予測モデルを構築する例を採用する。まず、各センサ２１～２３の出力データと、各出力データが出力された際のエンジンの状態（正常、異常）について、それぞれデータを１００００個用意する。この場合、出力データ数ｎは１００００である。特徴量は、エンジン回転数、エンジン温度、酸素濃度である。特徴量数ｍは３である。正常を示すデータと異常を示すデータは、目的変数のデータである。

【0032】

よって、既存の特徴量集合Ｘは、センサ１～３のセンサ値を列要素に持つ１００００行３列の行列となる。既知の目的変数集合Ｙは、エンジンの状態を列要素に持つ１００００行１列の列ベクトルとなる。

【0033】

次に、第２ＥＣＵ１２は、特徴量集合Ｘを訓練用集合ｘ_{ｔｒａｉｎ}とテスト用集合ｘ_ｔｅｓｔに９対１の割合で分割する。同様に、第２ＥＣＵ１２は、目的変数集合Ｙを訓電用集合ｙ_{ｔｒａｉｎ}，とテスト用集合ｙ_ｔｅｓｔに９対１の割合で分割する。訓練用集合ｘ_{ｔｒａｉｎ}は、９０００行３列の行列となる。訓電用集合ｙ_{ｔｒａｉｎ}は、９０００行１列の行列となる。テスト用集合ｘ_ｔｅｓｔは、１０００行３列の行列となる。テスト用集合ｙ_ｔｅｓｔは、１０００行１列の行列となる。なお、ここで採用している訓練用集合のテスト用集合の割合（９対１）は、一例に過ぎない。本開示は、その他の割合であっても採用できる。

【0034】

次に、第２ＥＣＵ１２は、訓練用集合ｘ_{ｔｒａｉｎ}から候補特徴量集合ｘ_ａｌｌを生成する（選択部）。本実施形態では、各センサ２１～２３における出力データをかけ合わせて新規特徴量を生成する。つまり、新規特徴量は、第１センサ２１、第２センサ２２、第３センサ２３の列要素を組み合わせたものである。ここでの新規特徴量は、センサｂ×センサｃ（１≦ｂ≦３，１≦ｃ≦３）となる。新規特徴量の出力データは、各センサ２１～２３の組み合わせに対応して、出力データをかけ合わせたデータとなる。

【0035】

そして、第２ＥＣＵ１２は、訓練用集合ｘ_{ｔｒａｉｎ}の列要素に加えることで、候補特徴量集合ｘ_ａｌｌを生成する。この場合、候補特徴量集合ｘ_ａｌｌは、９０００行１２列の行列となる。このように、第２ＥＣＵ１２は、候補特徴量集合ｘ_ａｌｌの列要素として、複数の特徴量と、複数の特徴量を組み合わせて得られる新規特徴量とを含む複数の特徴量候補を用いる。

【0036】

なお、候補特徴量集合ｘ_ａｌｌを生成する方法は、これに限定されない。さらに、候補特徴量集合ｘ_ａｌｌは、既存の特徴量集合Ｘにおける少なくとも一部である複数の特徴量候補と、各特徴量候補における出力データとを含む候補特徴量集合であれば採用できる。よって、候補特徴量集合ｘ_ａｌｌは、既存の特徴量集合Ｘであっても採用できる。また、候補特徴量集合ｘ_ａｌｌは、既存の特徴量におけるセンサデータの平均値や分散などを用いてもよい。

【0037】

そして、第２ＥＣＵ１２は、ステップＳ１０でθ＝θ_intとする（選択部）。つまり、第２ＥＣＵ１２は、方策パラメータθに初期値θ_intを代入する。初期値θ_intは、最初の特徴量選択の際に、既存の特徴量のみを選択するように値が設定される。これは、改良モデルが、既存の特徴量集合Ｘに基づく基礎モデルよりも予測精度が低下しないようにするためである。例えば、初期値θ_int＝［０．１，０．１，０．１，－０．２，－０．２，…，－０．２］とする。初期値θ_intは、１行１２の行ベクトルである。ここでは、－０．２などの負の値とすることで、最初の特徴量選択の際に、既存の特徴量のみが選択されるようにしている。なお、負の値とする場合は、できるだけ正の値に近い値が好ましい。

【0038】

第２ＥＣＵ１２は、ステップＳ１１でモデルフリーの最適化手法を実行する（選択部）。ステップＳ１１に関しては、図３を用いて説明する。なお、以下におけるθ_ｉとΘ_ｉは、数式２、数式３の関係を有している。

【0039】

まず、図３のステップＳ２１では、第２ＥＣＵ１２は、入力の初期値θ_１＝θ_intを代入する。そして、第２ＥＣＵ１２は、ステップＳ２２で第１ループ処理を行う。第２ＥＣＵ１２は、ｉの値が１からロールアウトする値までループ処理を行う。つまり、第２ＥＣＵ１２は、図４で定義されたコスト関数を最小化するような方策パラメータθである最適化パラメータθ_ｏｐｔを繰り返し計算により求める。言い換えると、第２ＥＣＵ１２は、コスト関数の計算を行うことでコスト値ｒ_ｉを求める。第２ＥＣＵ１２は、コスト値ｒ_ｉが適切な値に近くなるように繰り返し計算を行うことで、最適化パラメータθ_ｏｐｔを求める。また、第２ＥＣＵ１２は、最適化パラメータθ_ｏｐｔを求めることで、コスト値ｒ_ｉが適切な値に近くなる特徴量候補を選択するともいえる。ｘｏｔｒは、コスト値ｒ_ｉが適切な値に近くなる特徴量候補を含んでいる。

【0040】

ここで、ステップＳ２２の第１ループ処理に関して詳しく説明する。第２ＥＣＵ１２は、ステップＳ２３でコスト関数を計算する。ステップＳ２３に関しては、図４を用いて説明する。

【0041】

第２ＥＣＵ１２は、ステップＳ３１で数式１を計算する。第２ＥＣＵ１２は、途中特徴量集合ｘ_ｔｅｍｐを計算するために、θ_ｉを数式１のロジスティックシグモイド関数に代入して計算を行う。言い換えると、第２ＥＣＵ１２は、ステップＳ３２の第２ループ処理で、候補特徴量集合ｘ_ａｌｌから途中特徴量集合ｘ_ｔｅｍｐを選択するためにステップＳ３１を行っている。後ほどステップＳ２４で説明するが、ステップＳ３１で代入される方策パラメータθ_ｉは、コスト値ｒ_ｉが小さくなるように計算された値である。方策パラメータθ_ｉは、連続値である。

【0042】

なお、ロジスティックシグモイド関数は、予め決められた関数に相当する。ロジスティックシグモイド関数は、Θ_ｉの値が０から１に収まる性質をもっている。そして、Θ_ｉの値と比較する第１閾値は、０から１の間にある値を採用する。このように、ロジスティックシグモイド関数は、値の範囲が限定されている。このため、途中特徴量集合ｘ_ｔｅｍｐを選択するための第１閾値の設定を容易にできる。しかしながら、本開示は、予め決められた関数として、ガウス関数であっても採用できる。

【0043】

第２ＥＣＵ１２は、ステップＳ３２では、第２ループ処理を行う。第２ＥＣＵ１２は、ステップＳ３３でΘｉ（ｋ）＞０．５（第１閾値）であるか否かを判定する。第２ＥＣＵ１２は、Θｉ（ｋ）＞０．５であると判定するとステップＳ３４へ進み、でΘｉ（ｋ）＞０．５であると判定しないとステップＳ３４をスキップする。第１閾値は、閾値に相当する。

【0044】

第２ＥＣＵ１２は、ステップＳ３４で、候補特徴量集合ｘ_ａｌｌのｋ列の列要素を途中特徴量集合ｘ_ｔｅｍｐに追加する。ｋ列の列要素とは、候補特徴量集合ｘ_ａｌｌの特徴量のうち、０．５より大きな値のΘｉ（ｋ）に対応する特徴量である。

【0045】

このように、第２ＥＣＵ１２は、ロジスティックシグモイド関数から得られる値Θｉ（ｋ）と第１閾値とを比較して、第１閾値より大きな値の値Θｉ（ｋ）を選択する。よって、第２ＥＣＵ１２は、コスト値ｒ_ｉが適切な値に近くなる特徴量候補を選択する際に、ロジスティックシグモイド関数から得られる値Θｉ（ｋ）と第１閾値との比較によって、連続値を離散値に変換するといえる。

【0046】

そして、第２ＥＣＵ１２は、Θｉ（ｋ）に対応する特徴量候補を選択する。また、第２ＥＣＵ１２は、Θｉ（ｋ）と第１閾値との比較により、候補特徴量集合ｘ_ａｌｌから選択する特徴量の種類を決定し、選択された特徴量の種類のみを抜き出すともいえる。また、第２ＥＣＵ１２は、候補特徴量集合ｘ_ａｌｌにおける特徴量候補を変更するともいえる。また、第２ＥＣＵ１２は、特徴量候補を変更した候補特徴量集合である途中特徴量集合ｘ_ｔｅｍｐを用いた予測の結果であるコスト値ｒ_ｉを算出し、特徴量候補を変更する際に、コスト値ｒ_ｉが適切な値に近くなる特徴量候補を選択するといえる。

【0047】

モデルフリーの最適化手法は、本来、連続値の最適化に用いられるものである。しかしながら、本開示は、第２ＥＣＵ１２が第２ループ処理Ｓ３２を行うことで、モデルフリーの最適化手法を特徴量選択の有無という離散値の最適化に適用可能となる。

【0048】

第２ＥＣＵ１２は、ステップＳ３５で、識別手法を用いてコスト値ｒ_ｉを計算する。詳述すると、第２ＥＣＵ１２は、訓練用集合ｙ_{ｔｒａｉｎ}，途中特徴量集合ｘ_ｔｅｍｐを目的変数とそれに対応する特徴量とし、使用する識別手法を用いてコスト値ｒ_ｉを計算する。コスト値ｒ_ｉは、損失関数の値に相当する。損失関数の計算は、交差検証を用いる。なお、コスト値ｒ_ｉは、回帰や識別などの予測結果の正確さ、精度と言い換えることもできる。本実施形態では、識別手法を用いる例を採用している。しかしながら、本開示は、これに限定されず回帰手法を用いてもよい。

【0049】

第２ＥＣＵ１２は、ステップＳ３６で、コスト値ｒ_ｉを戻り値として返す。つまり、第２ＥＣＵ１２は、モデルフリー最適化手法の戻り値とする。よって、コスト値ｒ_ｉは、ステップＳ２４で用いられる。

【0050】

ここで、図３の説明に戻る。第２ＥＣＵ１２は、ステップＳ２４で、コスト値ｒ_ｉが小さくなるような方策パラメータθ_ｉ＋１を計算する。第２ＥＣＵ１２は、戻り値であるコスト値ｒ_ｉと、前回の方策パラメータθ_ｉとから、方策パラメータθ_ｉ＋１を計算する。

【0051】

第２ＥＣＵ１２は、ステップＳ２５で、最適化された最適化パラメータθ_ｏｐｔを戻り値として返す。最適化パラメータθ_ｏｐｔは、ステップＳ１２で用いられる。

【0052】

ここで、図２の説明に戻る。第２ＥＣＵ１２は、ステップＳ１２で最適化パラメータθ_ｏｐｔと候補特徴量集合ｘ_ａｌｌをもとに、ｘｏｔｒを計算する（選択部）。このとき、第２ＥＣＵ１２は、候補特徴量集合ｘ_ａｌｌのｊ列の特徴量を抽出するかどうかを判断するために数式４を計算する。そして、第２ＥＣＵ１２は、数式４の値と、第２閾値（０．５）とを比較する。

【0053】

第２ＥＣＵ１２は、数式４の値が０．５よりも大きい場合、その時のｊの値が示す、候補特徴量集合ｘ_ａｌｌにおける列要素を抽出する。一方、第２ＥＣＵ１２は、数式４の値が０．５よりも大きくない場合、その時のｊの値が示す、候補特徴量集合ｘ_ａｌｌにおける列要素を抽出しない。

【0054】

抽出した列要素は、目的変数の予測精度の向上にかかわっている特徴量とみなす。一方、抽出していない列要素は、目的変数の予測精度の向上にかかわっていない特徴量とみなす。よって、第２ＥＣＵ１２は、抽出した列要素と、その出力データとの行列をｘｏｔｒとする。このように、第２ＥＣＵ１２は、数式４の計算と比較を、ｊの値を１からｍ＋ｌまで切り替えながら繰り返し行いｘｏｔｒを求める。ここで抽出された列要素は、選択された特徴量候補に相当する。また、ｘｏｔｒは、更新特徴量集合に相当する。

【0055】

以上のように、第２ＥＣＵ１２は、候補特徴量集合ｘ_ａｌｌにおける特徴量候補の変更と、特徴量候補を変更した候補特徴量集合である途中特徴量集合ｘ_ｔｅｍｐを用いた予測と、を繰り返し行い、予測の精度向上にかかわっている特徴量候補を選択する。そして、第２ＥＣＵ１２は、選択した特徴量候補を含むｘｏｔｒを求める。

【0056】

第２ＥＣＵ１２は、ステップＳ１３で、ｙ_{ｔｒａｉｎ}，ｘｏｔｒで学習を行い、訓練済みモデルを求める（モデル生成部）。つまり、第２ＥＣＵ１２は、ｙ_{ｔｒａｉｎ}，ｘｏｔｒを目的変数と、それに対応する特徴量として学習を行い、訓練済みモデルを求める。言い換えると、第２ＥＣＵ１２は、ステップＳ１２で算出したｘｏｔｒと、ｙ_{ｔｒａｉｎ}における目的変数とをもとに、目的変数の予測に用いる基礎モデルを改良した改良モデルを生成する。

【0057】

なお、第２ＥＣＵ１２は、最適化パラメータθ_ｏｐｔとテストデータｘ_ｔｅｓｔをもとに、ｘｏｔｅを求めてもよい。これは、改良モデルを評価するためである。ｘｏｔｅは、ｘｏｔｒと同様の方法で求めることができる。つまり、第２ＥＣＵ１２は、訓練用データｘ_{ｔｒａｉｎ}ではなく、テスト用データｘ_ｔｅｓｔを用いて候補特徴量集合をつくり、ステップＳ１２と同様の処理を行う。そして、第２ＥＣＵ１２は、評価用集合にｙ_ｔｅｓｔ，ｘｏｔｅを用いる。

【0058】

そして、第２ＥＣＵ１２は、ｙ_ｔｅｓｔ，ｘｏｔｅを用いて、改良モデルの評価を行う。つまり、第２ＥＣＵ１２は、新規特徴量を追加した改良モデルが有効かどうかの判断を行う。言い換えると、第２ＥＣＵ１２は、基礎モデルよりも改良モデルの方が予測精度が向上しているか否かを判断する。第２ＥＣＵ１２は、有効と判断した改良モデルを正式に採用してもよい。この場合は、第３ＥＣＵ１３は、改良モデルを用いて、エンジンの故障予測を行う。

【0059】

＜効果＞
ここに開示された第２ＥＣＵ１２によると、選択した特徴量候補を含む更新特徴量集合ｘｏｔｒをもとに、基礎モデルを改良した改良モデルを生成する。また、第２ＥＣＵ１２は、特徴量候補を選択する際に、途中特徴量集合ｘ_ｔｅｍｐにおける特徴量候補の変更と、特徴量候補を変更した途中特徴量集合ｘ_ｔｅｍｐを用いた予測と、を繰り返し行い、予測の精度向上にかかわっている特徴量候補を選択する。そして、第２ＥＣＵ１２は、選択した特徴量候補を含むｘｏｔｒを求める。このため、第２ＥＣＵ１２は、予測の精度向上にかかわっている最適な特徴量を自動的に選択することができる。

【0060】

なお、第２ＥＣＵ１２は、モデルフリー最適化手法を用いて、識別や回帰などの予測に用いる特徴量の選択を自動化する機能を有しているといえる。第２ＥＣＵ１２は、モデルフリーの自作コスト関数を最小化する手法を実行するものである。この自作コスト関数は、選択する特徴量の種類を入力し、選択した特徴量を用いて識別や回帰などの予測を行った際のコスト関数の値を、自作コスト関数のリターン値として、特徴量を自動で選択するともいえる。

【0061】

以上、本開示の好ましい実施形態について説明した。しかしながら、本開示は、上記実施形態に何ら制限されることはなく、本開示の趣旨を逸脱しない範囲において、種々の変形が可能である。

【0062】

この明細書には、以下に列挙する複数の技術的思想と、それらの複数の組み合わせが開示されている。

【0063】

（技術的思想１）
複数の特徴量と各特徴量における複数の出力データを含む特徴量集合と、各出力データに対応する目的変数とによって機械学習された基礎モデルを用いて目的変数の予測を行う電子制御装置であって、
複数の特徴量の少なくとも一部である複数の特徴量候補と各特徴量候補における出力データとを含む候補特徴量集合を生成し、候補特徴量集合における特徴量候補の変更と、特徴量候補を変更した候補特徴量集合を用いた予測と、を繰り返し行い、予測の精度向上にかかわっている特徴量候補を選択する選択部（Ｓ１０～Ｓ１２）と、
目的変数と、選択部で選択された特徴量候補と各特徴量候補における複数の出力データを含む更新特徴量集合とをもとに、目的変数の予測に用いる基礎モデルを改良した改良モデルを生成するモデル生成部（Ｓ１３）と、を備えている電子制御装置。

【0064】

（技術的思想２）
選択部は、特徴量候補を変更した候補特徴量集合を用いた予測の結果であるコスト値を算出し、特徴量候補を変更する際に、コスト値が適切な値に近くなる特徴量候補を選択する技術的思想１に記載の電子制御装置。

【0065】

（技術的思想３）
選択部は、コスト値が適切な値に近くなる特徴量候補を選択する際に、連続値を予め決められた関数に代入して得られる値と閾値との比較によって、連続値を離散値に変換して、離散値に対応する特徴量候補を選択する技術的思想２に記載の電子制御装置。

【0066】

（技術的思想４）
選択部は、コスト値が適切な値に近くなる特徴量候補を選択する際に、連続値を予め決められた関数に代入して得られる値と閾値との比較によって、連続値を離散値に変換して、離散値に対応する特徴量候補を選択するものであり、
関数は、値が０から１に収まる性質を有しており、
閾値は、０から１の間にある技術的思想２に記載の電子制御装置。

【0067】

（技術的思想５）
選択部では、複数の特徴量と、複数の特徴量を組み合わせて得られる新規特徴量とを含む複数の特徴量候補を用いる技術的思想１～４のいずれか１項に記載の電子制御装置。

【0068】

本開示は、実施形態に準拠して記述されたが、本開示は当該実施形態や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態が本開示に示されているが、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範畴や思想範囲に入るものである。

【符号の説明】

【0069】

１１…第１ＥＣＵ、１２…第２ＥＣＵ、１３…第３ＥＣＵ、２１…第１センサ、２２…第２センサ、２３…第３センサ、１００…車載システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】