特開 2024-117962 走行制御装置、走行制御方法、および走行制御用コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024117962

(43)【公開日】2024-08-30

(54)【発明の名称】走行制御装置、走行制御方法、および走行制御用コンピュータプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240823BHJP

   G06T 7/00 20170101ALI20240823BHJP

【ＦＩ】

G08G1/16 C

G06T7/00 650A

G06T7/00 350C

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023024080

(22)【出願日】2023-02-20

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100122116

【弁理士】

【氏名又は名称】井上 浩二

(72)【発明者】

【氏名】川島 渉

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC04

5H181FF27

5H181FF33

5H181LL01

5H181LL04

5H181LL08

5H181LL09

5L096BA04

5L096GA51

5L096HA11

(57)【要約】

【課題】周辺画像に基づいて適切に車両の走行の制御を行うことができる走行制御装置を提供する。
【解決手段】走行制御装置は、現在時刻までの車両の周辺状況を表す一連の周辺画像を第１のニューラルネットワークに入力することで、現在時刻から所定時間経過した将来時刻に予測される車両の周辺状況を表す将来画像を生成し、一連の周辺画像のうち現在時刻に出力された周辺画像と、将来画像と、所定時間とを第１のニューラルネットワークとは異なる第２のニューラルネットワークに入力することで車両の走行を制御するための制御信号を生成する。
【選択図】図５

【特許請求の範囲】

【請求項1】

現在時刻までの車両の周辺状況を表す一連の周辺画像を第１のニューラルネットワークに入力することで、前記現在時刻から所定時間経過した将来時刻に予測される前記車両の周辺状況を表す将来画像を生成する画像生成部と、
前記一連の周辺画像のうち前記現在時刻に出力された周辺画像と、前記将来画像と、前記所定時間とを前記第１のニューラルネットワークとは異なる第２のニューラルネットワークに入力することで前記車両の走行を制御するための制御信号を生成する信号生成部と、を備える走行制御装置。

【請求項2】

前記画像生成部は、前記車両の速度が速度閾値よりも遅い場合に前記現在時刻から第１の所定時間経過した第１の将来時刻に対応する前記将来画像を生成し、前記車両の速度が前記速度閾値よりも速い場合に前記現在時刻から前記第１の所定時間よりも短い第２の所定時間経過した第２の将来時刻に対応する前記将来画像を生成する、請求項１に記載の走行制御装置。

【請求項3】

前記将来画像を前記車両に搭載されたディスプレイに表示させる画像表示部をさらに備える、請求項１に記載の走行制御装置。

【請求項4】

車両の走行を制御するための制御信号を生成する走行制御装置が、
現在時刻までの前記車両の周辺状況を表す一連の周辺画像を第１のニューラルネットワークに入力することで、前記現在時刻から所定時間経過した将来時刻に予測される前記車両の周辺状況を表す将来画像を生成し、
前記一連の周辺画像のうち前記現在時刻に出力された周辺画像と、前記将来画像と、前記所定時間とを前記第１のニューラルネットワークとは異なる第２のニューラルネットワークに入力することで前記制御信号を生成する、
ことを含む走行制御方法。

【請求項5】

現在時刻までの車両の周辺状況を表す一連の周辺画像を第１のニューラルネットワークに入力することで、前記現在時刻から所定時間経過した将来時刻に予測される前記車両の周辺状況を表す将来画像を生成することと、
前記一連の周辺画像のうち前記現在時刻に出力された周辺画像と、前記将来画像と、前記所定時間とを前記第１のニューラルネットワークとは異なる第２のニューラルネットワークに入力することで前記車両の走行を制御するための制御信号を生成することと、
を前記車両に搭載されたコンピュータに実行させる走行制御用コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両の走行を制御するための制御信号を生成する走行制御装置に関する。

【背景技術】

【0002】

走行制御装置は、車両の周辺状況を表す周辺画像に基づいて制御信号を生成し、生成された制御信号を車両の走行機構に送信することで、車両の自動運転を実行する。

【0003】

特許文献１には、自車の周辺で所定の時間間隔で検出される物体の位置情報に基づいて物体の将来位置を予測し、物体と自車との接触可能性がある場合は警報や自動ブレーキなどの接触回避支援を実行する走行制御装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５３４１７０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

周辺画像に基づいて予測された将来の周辺状況に応じて生成された制御信号を用いて走行の制御を行う走行制御装置では、制御信号による走行の制御が適切でなかった場合に、その原因が将来の周辺状況の予測にあったのか周辺状況に応じた制御信号の生成にあったのかを把握し適切に対処することが容易ではない。

【0006】

本開示は、周辺画像に基づいて適切に車両の走行の制御を行うことができる走行制御装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の要旨は以下のとおりである。

【0008】

（１）現在時刻までの車両の周辺状況を表す一連の周辺画像を第１のニューラルネットワークに入力することで、前記現在時刻から所定時間経過した将来時刻に予測される前記車両の周辺状況を表す将来画像を生成する画像生成部と、
前記一連の周辺画像のうち前記現在時刻に出力された周辺画像と、前記将来画像と、前記所定時間とを前記第１のニューラルネットワークとは異なる第２のニューラルネットワークに入力することで前記車両の走行を制御するための制御信号を生成する信号生成部と、を備える走行制御装置。

【0009】

（２）前記画像生成部は、前記車両の速度が速度閾値よりも遅い場合に前記現在時刻から第１の所定時間経過した第１の将来時刻に対応する前記将来画像を生成し、前記車両の速度が前記速度閾値よりも速い場合に前記現在時刻から前記第１の所定時間よりも短い第２の所定時間経過した第２の将来時刻に対応する前記将来画像を生成する、上記（１）に記載の走行制御装置。

【0010】

（３）前記将来画像を前記車両に搭載されたディスプレイに表示させる画像表示部をさらに備える、上記（１）または（２）に記載の走行制御装置。

【0011】

（４）車両の走行を制御するための制御信号を生成する走行制御装置が、
現在時刻までの前記車両の周辺状況を表す一連の周辺画像を第１のニューラルネットワークに入力することで、前記現在時刻から所定時間経過した将来時刻に予測される前記車両の周辺状況を表す将来画像を生成し、
前記一連の周辺画像のうち前記現在時刻に出力された周辺画像と、前記将来画像と、前記所定時間とを前記第１のニューラルネットワークとは異なる第２のニューラルネットワークに入力することで前記制御信号を生成する、
ことを含む走行制御方法。

【0012】

（５）現在時刻までの車両の周辺状況を表す一連の周辺画像を第１のニューラルネットワークに入力することで、前記現在時刻から所定時間経過した将来時刻に予測される前記車両の周辺状況を表す将来画像を生成することと、
前記一連の周辺画像のうち前記現在時刻に出力された周辺画像と、前記将来画像と、前記所定時間とを前記第１のニューラルネットワークとは異なる第２のニューラルネットワークに入力することで前記車両の走行を制御するための制御信号を生成することと、
を前記車両に搭載されたコンピュータに実行させる走行制御用コンピュータプログラム。

【0013】

本開示にかかる走行制御装置によれば、周辺画像に基づいて適切に車両の走行の制御を行うことができる。

【図面の簡単な説明】

【0014】

【図1】走行制御装置が実装される車両の概略構成図である。

【図2】走行制御装置のハードウェア模式図である。

【図3】走行制御装置が有するプロセッサの機能ブロック図である。

【図4】走行制御装置の動作概要を表す模式図である。

【図5】走行制御処理のフローチャートである。

【発明を実施するための形態】

【0015】

以下、図面を参照して、周辺画像に基づいて適切に車両の走行の制御を行うことができる走行制御装置について詳細に説明する。本開示の走行制御装置は、現在時刻までの車両の周辺状況を表す一連の周辺画像を第１のニューラルネットワークに入力することで、現在時刻から所定時間経過した将来時刻に予測される車両の周辺状況を表す将来画像を生成する。そして、走行制御装置は、一連の周辺画像のうち現在時刻に出力された周辺画像と、将来画像と、所定時間とを第２のニューラルネットワークに入力することで、車両の走行を制御するための制御信号を生成する。第２のニューラルネットワークは、第１のニューラルネットワークとは異なるニューラルネットワークである。

【0016】

図１は、走行制御装置が実装される車両の概略構成図である。

【0017】

車両１は、周辺カメラ２と、メーターディスプレイ３と、走行制御装置４とを有する。走行制御装置４は、走行制御装置の一例である。周辺カメラ２およびメーターディスプレイ３と走行制御装置４とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。

【0018】

周辺カメラ２は、車両の周辺状況を表す周辺画像を出力する撮像部の一例である。周辺カメラ２は、ＣＣＤあるいはＣ－ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上の撮影対象となる領域に像を結像する結像光学系とを有する。周辺カメラ２は、例えば車室内の前方上部に、前方を向けて配置され、所定の撮影周期（例えば1/30秒～1/10秒）ごとにフロントガラスを介して車両１の周辺の状況を撮影し、周辺の状況を表す周辺画像を時系列に出力する。周辺画像は、撮像部の出力データの一例である。車両１は、撮像部として、車両１の周辺状況に基づいて、各画素が当該画素に表わされた物体までの距離に応じた値を持つ距離画像を周辺データとして生成するＬｉＤＡＲ(Light Detection And Ranging)センサを有していてもよい。

【0019】

メーターディスプレイ３は、表示部の一例であり、例えば液晶ディスプレイを有する。メーターディスプレイ３は、車内ネットワークを介して走行制御装置４から受け取った信号に従って、情報を運転者に通知する画面を表示する。

【0020】

走行制御装置４は、通信インタフェースと、メモリと、プロセッサとを有するＥＣＵ（Electronic Control Unit）である。走行制御装置４は、通信インタフェースを介して周辺カメラ２から受信する周辺画像に基づいて、車両１の走行を制御する制御信号を生成し、車両１の走行機構（不図示）に制御信号を出力する。走行機構には、例えば車両１に動力を供給するエンジンまたはモータ、車両１の走行速度を減少させるブレーキ、および車両１を操舵するステアリング機構が含まれる。

【0021】

図２は、走行制御装置４のハードウェア模式図である。走行制御装置４は、通信インタフェース４１と、メモリ４２と、プロセッサ４３とを備える。

【0022】

通信インタフェース４１は、通信部の一例であり、走行制御装置４を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース４１は、受信したデータをプロセッサ４３に供給する。また、通信インタフェース４１は、プロセッサ４３から供給されたデータを外部に出力する。

【0023】

メモリ４２は、記憶部の一例であり、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ４２は、プロセッサ４３による処理に用いられる各種データ、例えば第１のニューラルネットワークおよび第２のニューラルネットワークをそれぞれ規定するためのパラメータ群（層数、層構成、カーネル、重み係数等）を保存する。また、メモリ４２は、各種アプリケーションプログラム、例えば走行制御処理を実行する走行制御用プログラム等を保存する。

【0024】

プロセッサ４３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ４３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。

【0025】

図３は走行制御装置４が有するプロセッサ４３の機能ブロック図である。

【0026】

走行制御装置４のプロセッサ４３は、機能ブロックとして、画像生成部４３１と、信号生成部４３２と、画像表示部４３３とを有する。プロセッサ４３が有するこれらの各部は、プロセッサ４３上で実行されるプログラムによって実装される機能モジュールである。プロセッサ４３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。あるいは、プロセッサ４３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとして走行制御装置４に実装されてもよい。

【0027】

画像生成部４３１は、現在時刻までの車両１の周辺状況を表す一連の周辺画像を第１のニューラルネットワークに入力することで、現在時刻から所定時間経過した将来時刻に予測される車両１の周辺状況を表す将来画像を生成する。

【0028】

図４は、走行制御装置４の動作概要を表す模式図である。

【0029】

周辺カメラ２は、車両１の周辺状況を表す周辺画像を時系列に出力する。周辺画像ＳＰ_i-2は時刻ｔ_i-2に出力された周辺画像であり、周辺画像ＳＰ_i-1は時刻ｔ_i-2よりも後の時刻ｔ_i-1に出力された周辺画像であり、周辺画像ＳＰ_iは時刻ｔ_i-1よりも後の現在時刻ｔ_iに出力された周辺画像である。

【0030】

画像生成部４３１は、周辺カメラ２から通信インタフェース４１を介して取得した一連の周辺画像ＳＰ_i-2、周辺画像ＳＰ_i-1、および周辺画像ＳＰ_iを、第１のニューラルネットワークＮＮ１に入力する。

【0031】

第１のニューラルネットワークＮＮ１は、例えばSDC-Netのような、入力側から出力側に向けて直列に接続された複数の畳み込み層を有するＣＮＮ（Convolutional Neural Network）により構成される。また、第１のニューラルネットワークＮＮ１は、PredNetのようなＣＮＮとＲＮＮ（Recurrent Neural Network）とを組合せたネットワークにより構成されてもよい。

【0032】

第１のニューラルネットワークＮＮ１は、車両の走行中に取得した車両の周辺状況を表す動画データから選択された多数の一連の画像を教師データとして用いて、それぞれの一連の画像のうち古い時刻の画像から新しい時刻の画像を生成するように予め学習される。第１のニューラルネットワークＮＮ１の学習では、誤差逆伝播法といった所定の学習手法が用いられてよい。

【0033】

画像生成部４３１は、一連の周辺画像が入力された第１のニューラルネットワークＮＮ１から将来画像ＦＰ_i+1を得ることにより、現在時刻t_iから所定時間経過した将来時刻ｔ_i+1に予測される車両１の周辺状況を表す将来画像を生成する。

【0034】

現在時刻t_iと将来時刻ｔ_i+1との間の所定時間は、周辺カメラ２が周辺画像を出力する時間間隔に対応し、例えば1/10秒である。なお、画像生成部４３１は、第１のニューラルネットワークＮＮ１から出力された将来画像ＦＰ_i+1を現在時刻の画像とする一連の周辺画像を第１のニューラルネットワークＮＮ１に再帰的に入力することで得られる、将来時刻ｔ_i+2に対応する将来画像ＦＰ_i+2を、将来画像として生成してもよい。この場合、現在時刻t_iと将来時刻ｔ_i+2との間の所定時間は、周辺カメラ２が周辺画像を出力する時間間隔の二つ分に対応する。画像生成部４３１は、このように第１のニューラルネットワークＮＮ１から出力された将来画像を含む一連の画像を第１のニューラルネットワークＮＮ１に再帰的に入力することで、現在時刻から経過する所定時間のより長い将来時刻に対応する将来画像を生成することができる。

【0035】

図３に戻り、信号生成部４３２は、時系列の周辺画像のうち現在時刻に出力された周辺画像と、将来画像と、所定時間とを第２のニューラルネットワークに入力することで、車両の走行を制御するための制御信号を生成する。

【0036】

図４の例では、信号生成部４３２は、現在時刻t_iに出力された周辺画像ＳＰ_iと、将来画像ＦＰ_i+1と、現在時刻t_iと将来時刻ｔ_i+1との間隔に対応する所定時間とを第２のニューラルネットワークＮＮ２に入力する。

【0037】

第２のニューラルネットワークＮＮ２は、例えば、画像から特徴量を算出するVGG16といったＣＮＮと、ある層に属するノードが前の層のすべてのノードに接続される全結合層を有する全結合ネットワークとを含んで構成される。このような構成の第２のニューラルネットワークＮＮ２では、ＣＮＮが有する複数のチャネルに周辺画像および将来画像がそれぞれ入力されることで、それぞれの特徴量が算出される。全結合ネットワークは、ＣＮＮにより算出された周辺画像および将来画像のそれぞれの特徴量と、所定時間との入力に基づいて、制御信号を出力する。

【0038】

第２のニューラルネットワークＮＮ２は、車両の走行中に取得した車両の周辺状況を表す動画データから選択された多数の一対の画像、一対の画像のそれぞれが出力された時刻の間隔（所定時間）、および一対の画像のそれぞれが出力された時刻のうち先の時刻において走行機構に出力すべき制御信号を教師データとして用いて、入力された一対の画像から先の時刻において走行機構に出力すべき制御信号を生成するように予め学習される。第２のニューラルネットワークＮＮ２の学習では、誤差逆伝播法といった所定の学習手法が用いられてよい。

【0039】

信号生成部４３２は、現在時刻t_iに出力された周辺画像ＳＰ_iと、将来画像ＦＰ_i+1と、現在時刻t_iと将来時刻ｔ_i+1との間隔に対応する所定時間とが入力された第２のニューラルネットワークＮＮ２から制御信号を得ることにより、車両１を制御するための制御信号を生成する。

【0040】

例えば、現在時刻に対応する周辺画像に、所定の車間距離閾値よりも長い距離だけ車両１の前方を走行する先行車両が表され、現在時刻から所定時間経過した将来時刻に対応する将来画像に、車間距離閾値よりも短い距離だけ車両１の前方を走行する当該先行車両が表されるとする。この場合、信号生成部４３２は、学習済の第２のニューラルネットワークＮＮ２の出力に応じて、例えば車両１の速度を原則させるようブレーキを作動させる制御信号を生成してよい。

【0041】

図３に戻り、画像表示部４３３は、将来画像をメーターディスプレイ３に表示させる。画像表示部４３３が将来画像をメーターディスプレイ３に表示させることで、車両１の運転者は、走行制御装置４による走行制御に用いられる将来画像を視認することで、走行制御の妥当性を把握することができる。

【0042】

上述したように、本開示の走行制御装置４は、周辺画像に基づいて制御信号を生成するにあたり、第１のニューラルネットワークＮＮ１および第２のニューラルネットワークＮＮ２を用いる。このような構成によると、将来画像の生成と制御信号の生成とを、それぞれのニューラルネットワークにおいて並列に学習することができる。また、周辺画像から適切な制御信号が生成されない場合に、生成される将来画像を確認することで、より適切に不具合の原因を追求することができる。

【0043】

図５は走行制御処理のフローチャートである。走行制御装置４は、自動運転制御を実行中、所定の実行時間（例えば1/10秒）間隔で、以下に説明する走行制御処理を繰り返し実行する。

【0044】

走行制御装置４のプロセッサ４３の画像生成部４３１は、現在時刻までの一連の周辺画像を第１のニューラルネットワークＮＮ１に入力することで、将来時刻に予測される車両１の周辺状況を表す将来画像を生成する（ステップＳ１）。

【0045】

次に、プロセッサ４３の信号生成部４３２は、一連の周辺画像のうち現在時刻に出力された周辺画像と、将来画像と、所定時間とを第２のニューラルネットワークＮＮ２に入力することで、車両１の走行を制御するための制御信号を生成する（ステップＳ２）。

【0046】

続いて、信号生成部４３２は、生成された制御信号を車両１の走行機構に送信し（ステップＳ３）、走行制御処理を終了する。

【0047】

このように走行制御処理を実行することにより、走行制御装置４は、周辺画像に基づいて適切に車両の走行の制御を行うことができる。

【0048】

変形例によれば、画像生成部４３１は、車両１の速度に応じて、現在時刻からの所定時間が異なる将来時刻に対応する将来画像を生成してもよい。例えば、画像生成部４３１は、車両１の速度がメモリ４２に保存された速度閾値よりも遅い場合に、現在時刻から第１の所定時間経過した将来時刻における将来画像を生成する。また、画像生成部４３１は、車両１の速度が速度閾値よりも速い場合に、現在時刻から第１の所定時間よりも短い第２の所定時間経過した将来時刻における将来画像を生成する。

【0049】

上述したように、画像生成部４３１は、第１のニューラルネットワークＮＮ１から出力された将来画像を含む一連の画像を第１のニューラルネットワークＮＮ１に再帰的に入力することで、現在時刻から経過する所定時間のより長い将来時刻に対応する将来画像を生成することができる。そのため、画像生成部４３１は、車両１の速度が速度閾値よりも速い場合に、例えば、第１のニューラルネットワークＮＮ１から出力された将来時刻ｔ_i+1に対応する将来画像ＦＰ_i+1を将来画像として生成してよい。将来時刻ｔ_i+1は第１の将来時刻の一例であり、現在時刻t_iと将来時刻ｔ_i+1との間の時間は第１の所定時間の一例である。また、画像生成部４３１は、車両１の速度が速度閾値よりも遅い場合に、例えば、第１のニューラルネットワークＮＮ１から出力された将来画像ＦＰ_i+1を現在時刻の画像とする一連の周辺画像を第１のニューラルネットワークＮＮ１に再帰的に入力することで得られる、将来時刻ｔ_i+2に対応する将来画像ＦＰ_i+2を、将来画像として生成してよい。将来時刻ｔ_i+2は第２の将来時刻の一例であり、現在時刻t_iと将来時刻ｔ_i+2との間の時間は第２の所定時間の一例である。

【0050】

画像生成部４３１がこのように将来画像を生成することで、走行制御装置４は、車両１の速度に応じてより適切な制御信号を生成することができる。

【0051】

当業者は、本開示の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。

【符号の説明】

【0052】

１ 車両
４ 走行制御装置
４３１ 画像生成部
４３２ 信号生成部
４３３ 画像表示部

【図1】

【図2】

【図3】

【図4】

【図5】