特開 2023-141004 補正装置および補正方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023141004

(43)【公開日】2023-10-05

(54)【発明の名称】補正装置および補正方法

(51)【国際特許分類】

   F02D 45/00 20060101AFI20230928BHJP

【ＦＩ】

F02D45/00 370

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022047116

(22)【出願日】2022-03-23

(71)【出願人】

【識別番号】000000170

【氏名又は名称】いすゞ自動車株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】塩谷 健二

【テーマコード（参考）】

3G384

【Ｆターム（参考）】

3G384AA01

3G384AA03

3G384BA01

3G384DA07

3G384EA27

3G384EE02

(57)【要約】

【課題】車両の将来の状態に適した補正を行うことが可能な補正装置および補正方法を提供する。
【解決手段】補正装置は、車両の動力源の動作に関する強化学習に基づいて、車両の走行制御で決定された入力指示値の、車両の現在の状態に応じた予測値を算出する算出部と、予測値に基づいて、入力指示値を補正する補正部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両の動力源の動作に関する強化学習に基づいて、前記車両の走行制御で決定された入力指示値の、前記車両の現在の状態に応じた予測値を算出する算出部と、
前記予測値に基づいて、前記入力指示値を補正する補正部と、
を備える補正装置。

【請求項2】

前記算出部は、予め前記強化学習を行った学習器を有し、前記学習器に基づいて前記予測値を算出する、
請求項１に記載の補正装置。

【請求項3】

前記学習器は、前記入力指示値と、前記動力源または前記動力源に関するシミュレータから出力される出力値とのデータ群に基づいて作成された統計モデルを有する、
請求項２に記載の補正装置。

【請求項4】

車両の動力源の動作に関する強化学習に基づいて、前記車両の走行制御で決定された入力指示値の、前記車両の現在の状態に応じた予測値を算出し、
前記予測値に基づいて、前記入力指示値を補正する補正方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、補正装置および補正方法に関する。

【背景技術】

【0002】

車両の走行制御においては、例えばマップ制御によって入力指示値が決定される。マップにおける値は、一定の条件の下で得られた値であるので、車両が走行する中で変化する条件の下では適切な値ではなく、車両の走行制御を精度良く行うことができない可能性がある。そのため、車両の現在の状態に応じて、入力指示値に何らかの補正をかけることが好ましい。

【0003】

例えば、特許文献１には、通常運転と減筒運転との間での切換の直後に生じる機関出力トルクの変動を抑えるための補正を行う構成が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５－１４００３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、車両が走行し続ける中で、車両の現在の状態も変化し続ける。例えば、車両の走行中における一時点での状態に係る所定出力の値をフィードバックして補正をかけても、その次の状態に応じた補正になるとは限らない。そのため、車両の将来の状態に適した補正を行う構成が望まれる。

【0006】

本開示の目的は、車両の将来の状態に適した補正を行うことが可能な補正装置および補正方法を提供することである。

【課題を解決するための手段】

【0007】

本開示に係る補正装置は、
車両の動力源の動作に関する強化学習に基づいて、前記車両の走行制御で決定された入力指示値の、前記車両の現在の状態に応じた予測値を算出する算出部と、
前記予測値に基づいて、前記入力指示値を補正する補正部と、
を備える。

【0008】

本開示に係る補正方法は、
車両の動力源の動作に関する強化学習に基づいて、前記車両の走行制御で決定された入力指示値の、前記車両の現在の状態に応じた予測値を算出し、
前記予測値に基づいて、前記入力指示値を補正する。

【発明の効果】

【0009】

本開示によれば、車両の将来の状態に適した補正を行うことができる。

【図面の簡単な説明】

【0010】

【図1】本開示の実施の形態に係る車両制御ユニットを備えた車両の構成を示す図である。

【図2】車両制御ユニットの構成を示すブロック図である。

【図3】強化学習のモデルを示す図である。

【図4】車両制御ユニットにおける入力指示値の補正制御の動作例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本実施の形態を図面に基づいて詳細に説明する。図１は、本開示の実施の形態に係る車両制御ユニット１００を備えた車両の構成を示す図である。

【0012】

図１に示すように、車両１は、プロペラシャフト２と、ディファレンシャルギア３と、駆動輪４と、エンジン５と、トランスミッション６と、車両制御ユニット１００とを有する。

【0013】

エンジン５は、例えばディーゼルエンジン等の内燃機関である。エンジン５の動力は、図示しないクラッチを経由してトランスミッション６に伝達され、トランスミッション６に伝達された動力は、プロペラシャフト２およびディファレンシャルギア３を介して駆動輪４に伝達される。エンジン５は、本開示の「動力源」に対応する。

【0014】

トランスミッション６は、例えばマニュアルトランスミッションやオートマチックトランスミッション（例えばＡＭＴ（Automated Manual Transmission））等の変速機である。

【0015】

車両制御ユニット１００は、例えばＥＣＵ（Electronic Control Unit）であり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）および入出力回路を備えている。車両制御ユニット１００は、予め設定されたプログラムに基づいて、車両１の走行制御を行う。車両１の走行制御は、車両１を走行させるために動力源（エンジン５）を動作させる制御（燃料噴射等）、車両１の走行中における排気系の制御（吸気バルブ、ＥＧＲバルブの制御や、尿素水噴射等）等、である。

【0016】

具体的には、車両制御ユニット１００は、車両１の走行制御で決定された入力指示値を、車両１の現在の状態に応じて予測し、その予測に基づいて入力指示値を補正するように制御する。

【0017】

動力源がエンジン５である場合、入力指示値は、例えば、エンジン回転速度、燃料のメイン噴射量、燃料のパイロット噴射量、燃料のプレ噴射量、燃料の噴射圧力値、ＥＧＲバルブ開度、インテークマニホールドのガス温度、燃料のメイン噴射時期、パイロット着火時期、メイン噴射時期とプレ噴射時期、吸入空気量等である。

【0018】

走行制御で制御対象となるものは、例えば燃料の噴射時期、噴射量、噴射圧、エンジン５の排気系におけるＥＧＲバルブ、吸気バルブ等、走行制御において制御可能なものである限り、どのようなものであっても良い。

【0019】

入力指示値は、例えばマップ制御により決定される。例えば、入力指示値が燃料噴射量であり、燃料噴射量とエンジン回転速度との関係性から噴射圧を決定可能なマップがあったとする。走行制御において目標値となる噴射圧が設定された場合、上記のマップから現在のエンジン回転速度に基づいて、入力指示値となる燃料噴射量が決定され得る。また、燃料噴射量と噴射圧との関係性から噴射時期（噴射期間）を決定可能なマップがあったとする。走行制御において目標値となる噴射期間が設定された場合、上記のマップから現在の噴射圧に基づいて、入力指示値となる燃料噴射量が決定され得る。なお、マップは、入力指示値の種類、制御対象の種類等に応じて、適宜設定可能である。

【0020】

また、入力指示値に基づく走行制御の結果、得られる出力値は、例えば、トルク値、テールアウトＮＯｘ排出量、燃料消費量、尿素水消費量、触媒温度等である。

【0021】

図２に示すように、車両制御ユニット１００は、算出部１１０と、補正部１２０と、を有する。

【0022】

算出部１１０は、車両１の動力源に基づく動作に関する強化学習に基づいて、車両１の走行制御で決定された入力指示値の、車両１の現在の状態に応じた予測値を算出する。

【0023】

図３に示すように、強化学習とは、所定の環境下に置かれたエージェントが、環境に対して行動をし、得られる報酬が最大化されるような方策を求める機械学習アルゴリズムの一つである。強化学習においては、行動の主体であるエージェントが、動作する環境と経験（状態、報酬）から最適な行動を考える。具体的には、エージェントが、環境の状態と、次の行動後の状態と、その状態の価値（報酬）とに基づいて、最適な行動を計算する。

【0024】

本実施の形態では、車両１に搭載される前の、エンジン５が適用される排気系による強化学習を行った学習器を用いて、上記の予測値を算出する。エージェントが動作する環境にエンジン５が適用される排気系、行動に入力指示値、状態に入力指示値における目標出力値と実際のエンジン５の出力値との差分、報酬に入力指示値に対応する目標出力値と実際の出力値との差分値がそれぞれ設定される。

【0025】

例えば、所定の入力指示値でエンジン５を動作させたとすると、エンジン５が適用された排気系から、実際の出力値が得られる。ここで、例えば、エンジン５から実際の出力値が得られることにより、走行制御で設定された目標出力値と実際の出力値との差分が得られる。この差分をエージェントが取得して学習を行うことで、入力指示値の補正量（予測値）が算出される。

【0026】

エージェントは、入力指示値と、目標出力値と実際の出力値との差分とに重み係数を用いて、車両１（エンジン５）の現在の状態の最適な補正量を算出する。重み係数は、例えば、ニューラルネットワークの各径路に設定された重みである。

【0027】

エージェントは、所定状態の正解となる価値関数と、現在の状態から予測する価値関数とを計算する。二つの価値関数から計算される価値に差がなくなると、学習が完了した状態となる。二つの価値関数の差は損失関数であり、重み係数は、損失関数の偏微分係数と学習率から更新される。重み係数の更新には、例えば最急降下法、確率的勾配降下法、モーメンタム、ＲＭＳＰｒｏｐ、Ａｄａｍ等のアルゴリズムを用いることができる。

【0028】

上記の価値は、例えば、同じトルク出力に対し、燃料消費量が低下する場合を価値がある状態に設定される。

【0029】

このような強化学習を、様々な条件下で繰り返し行い、その結果を統計モデル化した学習器１１１が車両制御ユニット１００に搭載される。つまり、算出部１１０は、予め強化学習を行った学習器１１１を有する。様々な条件は、通常走行の条件、加速中の条件、減速中の条件、外部の温湿度状態を変動させた条件、車両１の走行時に起こり得る条件である。

【0030】

算出部１１０は、この学習器１１１に基づいて、車両１の走行制御で決定された入力指示値の、車両１の現在の状態に応じた予測値を算出する。

【0031】

車両１の現在の状態は、例えば、加速中の状態、減速中の状態、車両１の外部の温湿度状態等である。加速中の状態および減速中の状態の各情報は、例えば、アクセル開度の情報等によって取得可能である。外部の温湿度情報は、例えば、車両１に設けられた温湿度センサや、外部の通信装置等から取得可能である。

【0032】

算出部１１０は、上記のような車両１の現在の状態の情報を取得し、学習器１１１に基づいて、入力指示値と車両１の現在の状態との関係性に応じた予測値を算出することが可能となる。

【0033】

そして、補正部１２０が、算出部１１０が算出した予測値に基づいて、入力指示値を補正する。例えば、補正部１２０は、走行制御で決定された入力指示値と、予測値との差分を補正量として、入力指示値に補正量を加算するように補正する。

【0034】

これにより、強化学習の内容を反映した入力指示値とすることができる。

【0035】

また、強化学習における学習項目には、上記の様々な条件の他、車外の情報、例えば前方車両との距離、車高が高い前方車両との距離、ＧＰＳ情報、信号情報等が含まれていても良い。

【0036】

例えば、前方車両との距離および斜行が高い前方車両との距離については、学習器１１１は、当該距離を変動させた条件にて、繰り返し学習を行い、各距離における最適な速度の条件を学習する。

【0037】

このようにすることで、前方車両が存在する状況（車両群の中）での走行中や、合流経路において合流する際において、自車両以外の車両との相対位置、相対速度に合わせた最適な予測値（補正量）を算出することが可能となる。

【0038】

また、ＧＰＳ情報については、学習器１１１は、ＧＰＳ情報に基づく道路の状況について繰り返し学習を行い、車両１が走行する所定の道路における各位置の速度と、所定時間（例えば、数秒）経過後の位置の高低差の条件を学習する。これにより、例えば、坂道の終端等での余分な加速やブレーキをかけることを抑制可能な、最適な予測値を算出することが可能となる。

【0039】

また、信号情報については、学習器１１１は、車両１が走行する道路に存在する信号機の信号が変化するタイミングの条件について繰り返し学習を行う。このようにすることで、信号機が赤信号に変化する将来の状態に対して、車両１の加速走行を抑制するような、最適な予測値を算出することが可能となる。

【0040】

以上のように構成された車両制御ユニット１００における入力指示値の補正制御の動作例について説明する。図４は、車両制御ユニット１００における入力指示値の補正制御の動作例を示すフローチャートである。図４における処理は、例えば、車両制御ユニット１００が車両１の走行制御の実行指示を受け付けた際や、走行制御中に適宜実行される。

【0041】

図４に示すように、車両制御ユニット１００は、車両１の現在の状態の情報を取得する（ステップＳ１０１）。次に、車両制御ユニット１００は、強化学習を行った学習器を用いて、車両１の現在の状態に応じた予測値を算出する（ステップＳ１０２）。

【0042】

そして、車両制御ユニット１００は、ステップＳ１０２で算出した予測値に基づいて、走行制御で決定された入力指示値を補正する（ステップＳ１０３）。その後、本制御は終了する。

【0043】

以上のように構成された本実施の形態によれば、強化学習に基づいて、走行制御で決定された入力指示値を、車両１の現在の状態に応じた予測値を算出して、入力指示値を補正する。その結果、強化学習の内容を反映した入力指示値とすることができる。

【0044】

例えば、車両１が走行し続ける中で、車両１の現在の状態も変化し続けるので、車両１の走行中における一時点での状態に係る値をフィードバックして補正をかけても、その次の状態に応じた補正になるとは限らない。

【0045】

例えば、加速中の状態の一時点と、減速中の状態の一時点とでは、そのときの状態に係る値が同じであっても、その次の状態の値は、加速中と減速中とで異なることになる。

【0046】

また、外気温が低い場合、空気の密度が大きくなるため、トルク等の値が増大しやすくなるので、通常温度の場合とは、次の状態の値が異なることになる。

【0047】

強化学習は、将来的に価値が高くなるように行動を最適化する手法であるので、本実施の形態では、車両１のその次の状態、つまり、車両１の将来の状態に応じた入力指示値の補正を行うことができる。すなわち、本実施の形態では、車両１の将来の状態に適した入力指示値の補正を行うことができる。

【0048】

なお、上記実施の形態では、車両１の動力源としてエンジン５が例示されていたが、本開示はこれに限定されず、電気自動車におけるモーター、ハイブリッド車両におけるエンジンおよびモーターであっても良い。また、動力源にモーターが含まれる場合、入力指示値には、モーターの回転数等、モーターに関連するパラメーターが含まれることになる。また、エンジンは、ディーゼルエンジンが例示されていたが、ガソリンエンジンであっても良い。

【0049】

また、上記実施の形態では、燃料消費量が低下する場合を価値がある状態に設定していたが、本開示はこれに限定されず、例えば、ＮＯｘ排出量を低減する場合、電力消費量を低減する場合等、燃料消費量の低下以外のことを価値がある状態に設定しても良い。

【0050】

また、上記実施の形態では、学習器が、入力指示値と動力源から出力される出力値とのデータ群に基づいて作成された統計モデルであったが、本開示はこれに限定されない。例えば、学習器が、入力指示値と、動力源に関するシミュレータから出力される出力値とのデータ群に基づいて作成された統計モデルであっても良い。

【0051】

また、上記実施の形態では、算出部１１０が補正後の入力指示値（補正量）を予測値として算出していたが、本開示はこれに限定されず、走行制御の目標出力値や新たな出力値等を算出しても良い。この場合、算出部１１０は、目標出力値や新たな出力値から、補正後の入力指示値を予測値として算出するようにしても良い。

【0052】

また、上記実施の形態では、予め強化学習を行った学習器が搭載されていたが、本開示はこれに限定されず、車両１の走行中に強化学習を行う学習器が搭載されていても良い。

【0053】

また、上記実施の形態では、補正装置が車両制御ユニットであったが、本開示はこれに限定されず、例えば、車両制御ユニットとは別に設けられた装置であっても良いし、車両の外部から遠隔制御を行うことが可能な装置であっても良い。

【0054】

その他、上記実施の形態は、何れも本開示を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されてはならないものである。すなわち、本開示はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【産業上の利用可能性】

【0055】

本開示の補正装置は、車両の将来の状態に適した補正を行うことが可能な補正装置および補正方法として有用である。

【符号の説明】

【0056】

１ 車両
２ プロペラシャフト
３ ディファレンシャルギア
４ 駆動輪
５ エンジン
６ トランスミッション
１００ 車両制御ユニット
１１０ 算出部
１２０ 補正部

【図1】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2023-06-12

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

車両の動力源の動作に関して、予め強化学習を行った結果に基づいて、前記車両の走行制御で決定された入力指示値の予測値を算出する算出部と、
前記予測値に基づいて、前記入力指示値を補正する補正部と、
を備え、
前記予測値は、前記車両の現在の加減速および前記車両の外部の温湿度の少なくとも一方の状態の情報に基づいて前記強化学習の結果から決定される、前記少なくとも一方の、前記現在の一時点の次の状態に対応した予測値である、
補正装置。

【請求項2】

前記算出部は、予め前記強化学習を行った学習器を有し、前記学習器に基づいて前記予測値を算出する、
請求項１に記載の補正装置。

【請求項3】

前記学習器は、前記入力指示値と、前記動力源または前記動力源に関するシミュレータから出力される出力値とのデータ群に基づいて作成された統計モデルを有する、
請求項２に記載の補正装置。

【請求項4】

車両の動力源の動作に関して、予め強化学習を行った結果に基づいて、前記車両の走行制御で決定された入力指示値の予測値を算出するステップと、
前記予測値に基づいて、前記入力指示値を補正するステップと、
を有し、
前記予測値は、前記車両の現在の加減速および前記車両の外部の温湿度の少なくとも一方の状態の情報に基づいて前記強化学習の結果から決定される、前記少なくとも一方の、前記現在の一時点の次の状態に対応した予測値である、
補正方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

本開示に係る補正装置は、
車両の動力源の動作に関して、予め強化学習を行った結果に基づいて、前記車両の走行制御で決定された入力指示値の予測値を算出する算出部と、
前記予測値に基づいて、前記入力指示値を補正する補正部と、
を備え、
前記予測値は、前記車両の現在の加減速および前記車両の外部の温湿度の少なくとも一方の状態の情報に基づいて前記強化学習の結果から決定される、前記少なくとも一方の、前記現在の一時点の次の状態に対応した予測値である。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

本開示に係る補正方法は、
車両の動力源の動作に関して、予め強化学習を行った結果に基づいて、前記車両の走行制御で決定された入力指示値の予測値を算出するステップと、
前記予測値に基づいて、前記入力指示値を補正するステップと、
を有し、
前記予測値は、前記車両の現在の加減速および前記車両の外部の温湿度の少なくとも一方の状態の情報に基づいて前記強化学習の結果から決定される、前記少なくとも一方の、前記現在の一時点の次の状態に対応した予測値である。