特許 7556365 走行経路作成装置、走行経路作成方法、および走行経路作成用コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-17

(45)【発行日】2024-09-26

(54)【発明の名称】走行経路作成装置、走行経路作成方法、および走行経路作成用コンピュータプログラム

(51)【国際特許分類】

   B60W 30/10 20060101AFI20240918BHJP

   B60W 40/02 20060101ALI20240918BHJP

   G08G 1/16 20060101ALI20240918BHJP

   G01C 21/36 20060101ALI20240918BHJP

【ＦＩ】

B60W30/10

B60W40/02

G08G1/16 C

G01C21/36

【請求項の数】 8

(21)【出願番号】P 2022005158

(22)【出願日】2022-01-17

(65)【公開番号】P2023104274

(43)【公開日】2023-07-28

【審査請求日】2023-08-21

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100122116

【弁理士】

【氏名又は名称】井上 浩二

(72)【発明者】

【氏名】白石 真一

(72)【発明者】

【氏名】布施 英孝

【審査官】平井 功

(56)【参考文献】

【文献】国際公開第２０１８／０７３８８３（ＷＯ，Ａ１）

【文献】特開２０２１－６８１４２（ＪＰ，Ａ）

【文献】特開２０１７－１６５２８９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ １０／００－１０／３０

Ｂ６０Ｗ ３０／００－６０／００

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

車両に搭載された第１センサにより時系列に生成される、前記車両の周辺状況を表す第１データのそれぞれから、当該第１データの生成時刻における前記車両の周辺物体の位置を検出して当該位置を表す第１物体情報を出力するとともに、当該第１データの生成時刻よりも所定時間後の時刻における前記車両の周辺物体の予測位置を検出して当該予測位置を表す第１物体予測情報を出力する第１検出部と、
前記車両に搭載された前記第１センサと異なる第２センサにより時系列に生成される、前記車両の周辺状況を表す第２データのそれぞれから、前記車両の周辺物体の位置を検出して当該位置を表す第２物体情報を出力する第２検出部と、
前記車両の走行を制御する自動運転レベルが、前記車両の運転者が第１監視義務を有する第１自動運転レベルから前記運転者が前記第１監視義務と異なる第２監視義務を有する第２自動運転レベルに変更されるか否かを予測し、変更されると予測された場合、変更されると予測される変更時刻を特定する予測部と、
前記変更時刻よりも前記所定時間前の時刻まで、前記第１物体情報を用いて前記車両の走行する走行経路を作成し、前記変更時刻よりも前記所定時間前の時刻から前記変更時刻まで、前記第１物体予測情報を用いて前記走行経路を作成し、前記変更時刻以降は、前記第２物体情報を用いて前記走行経路を作成する作成部と、
を備える走行経路作成装置。

【請求項2】

前記第１検出部は、前記第１物体予測情報の確からしさを算出して当該確からしさを示す確信度情報を出力し、
前記作成部は、前記変更時刻よりも前記所定時間前の時刻から前記変更時刻まで、前記第１物体予測情報と前記確信度情報とを用いて前記走行経路を作成する、
請求項１に記載の走行経路作成装置。

【請求項3】

前記作成部は、前記確信度情報に示される確からしさが確信度閾値を超える場合、当該確信度情報に対応する第１物体予測情報を用いて前記走行経路を作成し、前記確信度情報に示される確からしさが前記確信度閾値を超えない場合、当該確信度情報に対応する第１物体予測情報を用いずに前記走行経路を作成する、請求項２に記載の走行経路作成装置。

【請求項4】

前記変更時刻よりも前記所定時間前の時刻に、前記第１検出部の動作状態がオンからオフに変更され、前記第２検出部の動作状態がオフからオンに変更される、請求項１－３のいずれか一項に記載の走行経路作成装置。

【請求項5】

前記第１検出部は、前記第１データの生成時刻が前記変更時刻よりも所定時間以上前である場合、当該第１データを用いて前記第１物体情報および前記第１物体予測情報を出力し、かつ、前記第１データの生成時刻が前記変更時刻よりも所定時間以上前でない場合、当該第１データを用いて前記第１物体情報および前記第１物体予測情報を出力せず、
前記第２検出部は、前記第２データの生成時刻が前記変更時刻よりも所定時間以上前である場合、当該第２データを用いて前記第２物体情報を出力せず、かつ、前記第２データの生成時刻が前記変更時刻よりも所定時間以上前でない場合、当該第２データを用いて前記第２物体情報を出力する、
請求項４に記載の走行経路作成装置。

【請求項6】

前記第１検出部は、第１の焦点距離を有する光学系により結像された光に応じて前記第１センサにより時系列に生成される周辺画像を前記第１データとして用いて前記第１物体情報および前記第１物体予測情報を出力し、
前記第２検出部は、前記第１の焦点距離よりも短い第２の焦点距離を有する光学系により結像された光に応じて前記第２センサにより時系列に生成される周辺画像を前記第２データとして用いて前記第２物体情報を出力する、
請求項１－５のいずれか一項に記載の走行経路作成装置。

【請求項7】

走行経路作成装置が、
車両に搭載された第１センサにより時系列に生成される、前記車両の周辺状況を表す第１データのそれぞれから、当該第１データの生成時刻における前記車両の周辺物体の位置を検出して当該位置を表す第１物体情報を出力するとともに、当該第１データの生成時刻よりも所定時間後の時刻における前記車両の周辺物体の予測位置を検出して当該予測位置を表す第１物体予測情報を出力し、
前記車両に搭載された前記第１センサと異なる第２センサにより時系列に生成される、前記車両の周辺状況を表す第２データのそれぞれから、前記車両の周辺物体の位置を検出して当該位置を表す第２物体情報を出力し、
前記車両の走行を制御する自動運転レベルが、前記車両の運転者が第１監視義務を有する第１自動運転レベルから前記運転者が前記第１監視義務と異なる第２監視義務を有する第２自動運転レベルに変更されるか否かを予測し、変更されると予測された場合、変更されると予測される変更時刻を特定し、
前記変更時刻よりも前記所定時間前の時刻まで、前記第１物体情報を用いて前記車両の走行する走行経路を作成し、前記変更時刻よりも前記所定時間前の時刻から前記変更時刻まで、前記第１物体予測情報を用いて前記走行経路を作成し、前記変更時刻以降は、前記第２物体情報を用いて前記走行経路を作成する、
ことを含む走行経路作成方法。

【請求項8】

車両に搭載されたプロセッサで実行される走行経路作成用コンピュータプログラムであって、
前記車両に搭載された第１センサにより時系列に生成される、前記車両の周辺状況を表す第１データのそれぞれから、当該第１データの生成時刻における前記車両の周辺物体の位置を検出して当該位置を表す第１物体情報を出力するとともに、当該第１データの生成時刻よりも所定時間後の時刻における前記車両の周辺物体の予測位置を検出して当該予測位置を表す第１物体予測情報を出力し、
前記車両に搭載された前記第１センサと異なる第２センサにより時系列に生成される、前記車両の周辺状況を表す第２データのそれぞれから、前記車両の周辺物体の位置を検出して当該位置を表す第２物体情報を出力し、
前記車両の走行を制御する自動運転レベルが、前記車両の運転者が第１監視義務を有する第１自動運転レベルから前記運転者が前記第１監視義務と異なる第２監視義務を有する第２自動運転レベルに変更されるか否かを予測し、変更されると予測された場合、変更されると予測される変更時刻を特定し、
前記変更時刻よりも前記所定時間前の時刻まで、前記第１物体情報を用いて前記車両の走行する走行経路を作成し、前記変更時刻よりも前記所定時間前の時刻から前記変更時刻まで、前記第１物体予測情報を用いて前記走行経路を作成し、前記変更時刻以降は、前記第２物体情報を用いて前記走行経路を作成する、
ことを前記プロセッサに実行させる走行経路作成用コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両の走行経路を作成する走行経路作成装置、走行経路作成方法、および走行経路作成用コンピュータプログラムに関する。

【背景技術】

【0002】

走行経路作成装置は、車両に搭載された複数のセンサによりそれぞれ出力される車両の周辺状況に応じた複数のデータから適宜選択されたデータを用いて、車両が走行すべき走行経路を作成する。

【0003】

特許文献１には、自動運転と手動運転との切り替えにかかわらず、自動運転における走行経路となる目標軌道を連続的に生成する走行制御装置が記載されている。特許文献１に記載の走行制御装置は、手動運転から自動運転に切り替えられたときに、生成済みの目標軌道を用いて自動運転を行う。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１８／０７３８８３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の走行制御装置により、ある自動運転レベルから他の自動運転レベルへの切り替えを円滑に行うためには、切り替え前後のそれぞれの自動運転レベルにおける走行制御に用いられるデータを常時生成する必要がある。そのため、特許文献１に記載される走行制御装置により、ある自動運転レベルから他の自動運転レベルへの円滑な切り替えを行う場合、必要なハードウェアリソースが増大する。

【0006】

本開示は、ハードウェアリソースを過度に増大させることなく、自動運転レベルの切り替えに応じた走行経路を作成することができる走行経路作成装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示にかかる走行経路作成装置は、車両に搭載された第１センサにより時系列に生成される、車両の周辺状況を表す第１データのそれぞれから、当該第１データの生成時刻における車両の周辺物体の位置を検出して当該位置を表す第１物体情報を出力するとともに、当該第１データの生成時刻よりも所定時間後の時刻における車両の周辺物体の予測位置を検出して当該予測位置を表す第１物体予測情報を出力する第１検出部と、車両に搭載された第１センサと異なる第２センサにより時系列に生成される、車両の周辺状況を表す第２データのそれぞれから、車両の周辺物体の位置を検出して当該位置を表す第２物体情報を出力する第２検出部と、車両の走行を制御する自動運転レベルが、車両の運転者が第１監視義務を有する第１自動運転レベルから運転者が前記第１監視義務と異なる第２監視義務を有する第２自動運転レベルに変更されるか否かを予測し、変更されると予測された場合、変更されると予測される変更時刻を特定する予測部と、変更時刻よりも所定時間前の時刻まで、第１物体情報を用いて車両の走行する走行経路を作成し、変更時刻よりも所定時間前の時刻から変更時刻まで、第１物体予測情報を用いて走行経路を作成し、変更時刻以降は、第２物体情報を用いて走行経路を作成する作成部と、を備える。

【0008】

本開示にかかる走行経路作成装置おいて、第１検出部は、第１物体予測情報の確からしさを算出して当該確からしさを示す確信度情報を出力し、作成部は、変更時刻よりも所定時間前の時刻から変更時刻まで、第１物体予測情報と確信度情報とを用いて走行経路を作成することが好ましい。

【0009】

本開示にかかる走行経路作成装置において、作成部は、確信度情報に示される確からしさが確信度閾値を超える場合、当該確信度情報に対応する第１物体予測情報を用いて走行経路を作成し、確信度情報に示される確からしさが確信度閾値を超えない場合、当該確信度情報に対応する第１物体予測情報を用いずに走行経路を作成することが好ましい。

【0010】

本開示にかかる走行経路作成装置において、変更時刻よりも所定時間前の時刻に、第１検出部の動作状態がオンからオフに変更され、第２検出部の動作状態がオフからオンに変更されることが好ましい。

【0011】

本開示にかかる走行経路作成装置において、第１検出部は、第１データの生成時刻が変更時刻よりも所定時間以上前である場合、当該第１データを用いて第１物体情報および第１物体予測情報を出力し、かつ、第１データの生成時刻が変更時刻よりも所定時間以上前でない場合、当該第１データを用いて第１物体情報および第１物体予測情報を出力せず、第２検出部は、第２データの生成時刻が変更時刻よりも所定時間以上前である場合、当該第２データを用いて第２物体情報を出力せず、かつ、第２データの生成時刻が変更時刻よりも所定時間以上前でない場合、当該第２データを用いて第２物体情報を出力することが好ましい。

【0012】

本開示にかかる走行経路作成装置において、第１検出部は、第１の焦点距離を有する光学系により結像された光に応じて第１センサにより時系列に生成される周辺画像を第１データとして用いて第１物体情報および第１物体予測情報を出力し、第２検出部は、第１の焦点距離よりも短い第２の焦点距離を有する光学系により結像された光に応じて第２センサにより時系列に生成される周辺画像を第２データとして用いて第２物体情報を出力することが好ましい。

【0013】

本開示にかかる走行経路作成方法は、車両に搭載された第１センサにより時系列に生成される、車両の周辺状況を表す第１データのそれぞれから、当該第１データの生成時刻における車両の周辺物体の位置を検出して当該位置を表す第１物体情報を出力するとともに、当該第１データの生成時刻よりも所定時間後の時刻における車両の周辺物体の予測位置を検出して当該位置を表す第１物体予測情報を出力し、車両に搭載された前記第１センサと異なる第２センサにより時系列に生成される、車両の周辺状況を表す第２データのそれぞれから、車両の周辺物体の位置を検出して当該位置を表す第２物体情報を出力し、車両の走行を制御する自動運転レベルが、車両の運転者が第１監視義務を有する第１自動運転レベルから運転者が第１監視義務と異なる第２監視義務を有する第２自動運転レベルに変更されるか否かを予測し、変更されると予測された場合、変更されると予測される変更時刻を特定し、変更時刻よりも所定時間前の時刻まで、第１物体情報を用いて車両の走行する走行経路を作成し、変更時刻よりも所定時間前の時刻から変更時刻まで、第１物体予測情報を用いて走行経路を作成し、変更時刻以降は、第２物体情報を用いて走行経路を作成する、ことを含む。

【0014】

本開示にかかる走行経路作成用コンピュータプログラムは、車両に搭載されたプロセッサで実行される走行経路作成用コンピュータプログラムであって、車両に搭載された第１センサにより時系列に生成される、車両の周辺状況を表す第１データのそれぞれから、当該第１データの生成時刻における車両の周辺物体の位置を検出して当該位置を表す第１物体情報を出力するとともに、当該第１データの生成時刻よりも所定時間後の時刻における車両の周辺物体の予測位置を検出して当該位置を表す第１物体予測情報を出力し、車両に搭載された前記第１センサと異なる第２センサにより時系列に生成される、車両の周辺状況を表す第２データのそれぞれから、車両の周辺物体の位置を検出して当該位置を表す第２物体情報を出力し、車両の走行を制御する自動運転レベルが、車両の運転者が第１監視義務を有する第１自動運転レベルから運転者が第１監視義務と異なる第２監視義務を有する第２自動運転レベルに変更されるか否かを予測し、変更されると予測された場合、変更されると予測される変更時刻を特定し、変更時刻よりも所定時間前の時刻まで、第１物体情報を用いて車両の走行する走行経路を作成し、変更時刻よりも所定時間前の時刻から変更時刻まで、第１物体予測情報を用いて走行経路を作成し、変更時刻以降は、第２物体情報を用いて走行経路を作成する、ことをプロセッサに実行させる。

【0015】

本開示にかかる走行経路作成装置は、ハードウェアリソースを過度に増大させることなく、自動運転レベルの切り替えに応じた走行経路を作成することができる。

【図面の簡単な説明】

【0016】

【図1】走行制御装置が実装される車両の概略構成図である。

【図2】ＥＣＵのハードウェア構成図である。

【図3】ＥＣＵが有するプロセッサの機能ブロック図である。

【図4】第１データおよび第２データを用いた走行経路の作成の例を示す図である。

【図5】走行経路作成処理のフローチャートである。

【発明を実施するための形態】

【0017】

以下、図面を参照して、ハードウェアリソースを過度に増大させることなく、自動運転レベルの切り替えに応じた走行経路を作成することができる走行経路作成装置について詳細に説明する。走行経路作成装置は、車両の走行を制御する自動運転レベルが、車両の運転者が第１監視義務を有する第１自動運転レベルから運転者が第１監視義務と異なる第２監視義務を有する第２自動運転レベルに変更されるか否かを予測し、変更されると予測された場合、変更されると予測される変更時刻を特定する。そして、走行経路作成装置は、変更時刻よりも所定時間前の時刻まで、第１物体情報を用いて車両の走行する走行経路を作成し、変更時刻よりも所定時間前の時刻から変更時刻まで、第１物体予測情報を用いて走行経路を作成し、変更時刻以降は、第２物体情報を用いて走行経路を作成する。第１物体情報は、車両に搭載された第１センサにより時系列に生成される車両の周辺状況を表す第１データのそれぞれから検出された、当該第１データの生成時刻における車両の周辺物体の位置を表す情報である。第１物体予測情報は、第１データのそれぞれから検出された、当該第１データの生成時刻よりも所定時間後の時刻における車両の周辺物体の予測位置を表す情報である。また、第２物体情報は、車両に搭載された第１センサと異なる第２センサにより時系列に生成される車両の周辺状況を表す第２データのそれぞれから検出された、車両の周辺物体の位置を表す情報である。

【0018】

図１は、走行制御装置が実装される車両の概略構成図である。

【0019】

車両１は、周辺カメラ２と、ＧＮＳＳ受信機３と、ストレージ装置４と、ＥＣＵ５（Electronic Control Unit）とを有する。ＥＣＵ５は、走行経路作成装置の一例である。周辺カメラ２、ＧＮＳＳ受信機３およびストレージ装置４とＥＣＵ５とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。

【0020】

周辺カメラ２は、ＣＣＤあるいはＣ－ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。周辺カメラ２は、例えば車室内の前方上部に、前方を向けて配置され、所定の撮影周期（例えば1/30秒～1/10秒）ごとにフロントガラスを介して車両１の周辺の状況を撮影し、周辺の状況を表す周辺画像を第１データまたは第２データとして出力する。周辺カメラ２は、望遠周辺カメラ２－１および広角周辺カメラ２－２を有する。

【0021】

望遠周辺カメラ２－１及び広角周辺カメラ２－２は、それぞれ、車両１の周辺の状況を検出するための第１センサおよび第２センサの一例である。望遠周辺カメラ２－１の結像光学系は、広角周辺カメラ２－２の結像光学系の焦点距離よりも長い焦点距離を有する。周辺カメラ２の有するカメラの数は３以上であってもよい。

【0022】

車両は、第１センサまたは第２センサとして、ＬｉＤＡＲ（Light Detection And Ranging）センサ、または、ＲＡＤＡＲ（Radio Detection and Ranging）センサを有していてもよい。ＬｉＤＡＲセンサまたはＲＡＤＡＲセンサは、車両１の周辺状況に基づいて、各画素が当該画素に表わされた物体までの距離に応じた値を持つ距離画像を、第１データまたは第２データとして出力する。

【0023】

ＧＮＳＳ受信機３は、所定の周期ごとにＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信し、受信したＧＮＳＳ信号に基づいて車両１の自己位置を測位する。ＧＮＳＳ受信機３は、所定の周期ごとに、ＧＮＳＳ信号に基づく車両１の自己位置の測位結果を表す測位信号を、車内ネットワークを介してＥＣＵ５へ出力する。

【0024】

ストレージ装置４は、記憶部の一例であり、例えば、ハードディスク装置、または不揮発性の半導体メモリを有する。ストレージ装置４は、位置に対応づけて車線区画線などの地物に関する情報を含む地図データを記憶する。

【0025】

ＥＣＵ５は、ＧＮＳＳ受信機３が出力する測位信号に対応する位置の周辺の地図データを用いて自動運転レベルが変更される変更時刻を特定し、変更時刻までの時間間隔に応じて周辺カメラ２が出力するデータを選択し、車両１が走行する走行経路を作成する。ＥＣＵ５は、また、車両１が作成された走行経路に沿って走行するように、エンジンまたはモータ、ブレーキ、ステアリングといった走行機構に制御信号を送信する走行制御処理を実行する。なお、車両１は、ＥＣＵ５とは別のＥＣＵをさらに有し、そのＥＣＵによって走行制御処理を実行してもよい。

【0026】

図２は、ＥＣＵ５のハードウェア模式図である。ＥＣＵ５は、通信インタフェース５１と、メモリ５２と、プロセッサ５３とを備える。

【0027】

通信インタフェース５１は、通信部の一例であり、ＥＣＵ５を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース５１は、受信したデータをプロセッサ５３に供給する。また、通信インタフェース５１は、プロセッサ５３から供給されたデータを外部に出力する。

【0028】

メモリ５２は、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ５２は、プロセッサ５３による処理に用いられる各種データ、例えば自動運転レベルが変更される時刻までの時間間隔に基づいて走行経路の作成に用いる情報を変更するための所定時間を表す情報を記憶する。また、メモリ５２は、 周辺画像から検出された周辺画像の生成時刻における周辺物体の位置を一時保存する。また、メモリ５２は、各種アプリケーションプログラム、例えば走行経路作成処理を実行する走行経路作成プログラム等を保存する。

【0029】

プロセッサ５３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ５３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。

【0030】

図３は、ＥＣＵ５が有するプロセッサ５３の機能ブロック図である。図４は、第１データおよび第２データを用いた走行経路の作成の例を示す図である。

【0031】

ＥＣＵ５のプロセッサ５３は、機能ブロックとして、第１検出部５３１と、第２検出部５３２と、予測部５３３と、作成部５３４と、走行制御部５３５とを有する。プロセッサ５３が有するこれらの各部は、メモリ５２に記憶されプロセッサ５３上で実行されるプコンピュータログラムによって実装される機能モジュールである。プロセッサ５３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。あるいは、プロセッサ５３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとしてＥＣＵ５に実装されてもよい。

【0032】

第１検出部５３１は、望遠周辺カメラ２－１により時系列に生成される周辺画像のそれぞれから、当該周辺画像の生成時刻における車両１の周辺物体の位置を検出して当該位置を表す第１物体情報を出力する。

【0033】

第１検出部５３１は、望遠周辺カメラ２－１により出力された周辺画像を、周辺画像に表された所定の物体を検出するように予め学習された識別器に入力することにより、車両１の周辺における他車両といった物体を検出する。

【0034】

識別器は、例えば、入力側から出力側に向けて直列に接続された複数の畳み込み層を有する畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。検出対象となる所定の物体を表す複数の画像を教師データとして用いてＣＮＮに入力して予め学習を行うことにより、ＣＮＮは物体を検出する識別器として動作する。

【0035】

第１検出部５３１は、車両１の現在位置および姿勢と、車両１から周辺物体に向かう方向と、車両１から周辺物体までの推定距離とを用いて、検出された周辺物体の実空間上の位置を推定し、第１物体情報として出力する。

【0036】

第１検出部５３１は、ＧＮＳＳ受信機３から取得した測位信号に基づいて、車両１の現在位置を特定する。また、第１検出部５３１は、周辺画像から車線区画線などの地物を検出し、検出された地物とストレージ装置４に記憶された地図データに表された対応する地物とマッチングすることにより、車両１の姿勢を特定してもよい。

【0037】

第１検出部５３１は、周辺物体の周辺画像上の位置と、望遠周辺カメラ２－１の結像光学系の焦点距離と、望遠周辺カメラ２－１の結像光学系の光軸の車両１の進行方向に対する傾きとを用いて、車両１から周辺物体に向かう方向を推定する。

【0038】

第１検出部５３１は、メモリ５２に記憶された周辺物体の基準サイズ、周辺画像に表された周辺物体のサイズ、および望遠周辺カメラ２－１の結像光学系の焦点距離、周辺画像のピクセルサイズといった内部パラメータに基づいて、車両１から周辺物体までの距離を推定する。

【0039】

第１検出部５３１は、望遠周辺カメラ２－１により時系列に生成される周辺画像のそれぞれから、当該周辺画像の生成時刻よりも所定時間後の時刻における車両１の周辺物体の予測位置を検出し、当該予測位置を表す第１物体予測情報を出力する。

【0040】

第１検出部５３１は、望遠周辺カメラ２－１により時系列で出力された一連の周辺画像から検出された周辺物体を追跡し、その追跡結果により得られた軌跡から周辺物体の予測位置を検出する。第１検出部５３１は、一連の周辺画像からそれぞれ検出された周辺画像の生成時刻における周辺物体の位置に対して、カルマンフィルタまたはパーティクルフィルタなどを用いてトラッキング処理を実行することで、周辺物体を追跡することができる。トラッキング処理には、車両１の車輪の回転角に基づいて推定された車両１の現在位置を表すオドメトリ情報が用いられてもよい。

【0041】

第１検出部５３１は、第１物体予測情報に表される予測位置の確からしさを算出し、当該確からしさを示す確信度情報を出力してもよい。例えば、第１検出部５３１は、トラッキング処理における予測位置の推定誤差分散が小さいほど予測位置の確からしさが大きくなるように、確信度情報を出力する。

【0042】

第１検出部５３１は、ニューラルネットワークを用いた識別器に、一連の周辺画像からそれぞれ検出された周辺画像の生成時刻における周辺物体の位置を入力することにより、周辺物体の予測位置を検出してもよい。識別器は、周辺物体の位置と、所定時間後の物体の実空間上の位置と、各画像が生成されたときのカメラの位置および光軸方向と、カメラから所定の物体までの距離とを教師データとして予め学習される。また、識別器は、周辺物体の予測位置を出力するときに、予測位置の確からしさをあわせて出力してもよい。

【0043】

第１検出部５３１は、時系列に出力された第１物体情報に表される周辺物体の位置の移動量に基づいて、周辺物体の予測位置を検出してもよい。

【0044】

図４において、望遠周辺カメラ２－１は、単位時間間隔で離散する時刻ｔ₁－ｔ₅のそれぞれにおいて、周辺画像Ｄ１－１～Ｄ１－５を時系列に生成する。第１検出部５３１は、時刻ｔ₁に生成された周辺画像Ｄ１－１から、物体の位置を表す第１物体情報Ｏ１－１を出力する。また、第１検出部５３１は、周辺画像Ｄ１－１が生成された時刻ｔ₁よりも１単位時間後の時刻ｔ₂における物体の予測位置を表す第１物体予測情報ＯＰ１－１を出力する。すなわち、図４の例において、所定時間は１単位時間である。

【0045】

図４において網掛けを施した箇所は、データが生成されない、または、データを用いた処理が行われていない（オフ状態である）ことを表す。図４の例では、後述する予測部５３３により、時刻ｔ₄が変更時刻として特定されている。第１検出部５３１は、変更時刻ｔ₄よりも所定時間前の時刻ｔ₃に動作状態がオンからオフに変更され、それ以降の第１物体情報および第１物体予測情報は出力されなくなる。第１検出部５３１での検出処理に用いられる周辺画像を生成する望遠周辺カメラ２－１は、第１検出部５３１とともに時刻ｔ₃に動作状態がオンからオフに変更されてもよい。

【0046】

第２検出部５３２は、広角周辺カメラ２－２により時系列に生成される周辺画像のそれぞれから、当該周辺画像の生成時刻における車両１の周辺物体の位置を検出して当該位置を表す第２物体情報を出力する。

【0047】

第２検出部５３２は、広角周辺カメラ２－２により出力された周辺画像を、周辺画像に表わされた所定の物体を検出するように予め学習された識別器に入力することにより、車両１の周辺における他車両といった物体の位置を検出する。

【0048】

識別器は、例えば、ＣＮＮとすることができる。検出対象となる所定の物体を表す複数の画像を教師データとして用いてＣＮＮに入力して予め学習を行うことにより、ＣＮＮは物体を検出する識別器として動作する。

【0049】

図４において、広角周辺カメラ２－２は、時刻ｔ₁－ｔ₅のそれぞれにおいて、周辺画像Ｄ２－１～Ｄ２－５を時系列に生成する。第２検出部５３２は、時刻ｔ₃に生成された周辺画像Ｄ２－３から、物体の位置を表す第２物体情報Ｏ２－３を出力する。

【0050】

第２検出部５３２は、変更時刻ｔ₄よりも所定時間前の時刻ｔ₃に動作状態がオフからオンに変更され、第２物体情報の出力を開始する。第２検出部５３２での検出処理に用いられる周辺画像を生成する広角周辺カメラ２－２は、時刻ｔ₃までは動作状態がオフとされ、第２検出部５３２とともに時刻ｔ₃にオフからオンに変更されてもよい。

【0051】

予測部５３３は、車両１の走行を制御する自動運転レベルが変更されるか否かを予測し、変更されると予測された場合、変更されると予測される変更時刻を特定する。

【0052】

予測部５３３は、後述する走行制御部５３５から、現在の自動運転レベルを取得する。自動運転レベルには、運転者が周辺監視義務を有する第１自動運転レベルと、運転者が前方監視義務を有しない第２自動運転レベルとが含まれる。

【0053】

例えば、運転者が周辺監視義務を有する第１自動運転レベルにより時速80kmで走行しており、渋滞等により車速が時速30kmに低下する場合に、第１自動運転レベルから運転者が前方監視義務を有しない第２自動運転レベルに変更することができるとする。この場合、予測部５３３は、車内ネットワークに接続されたデータ通信モジュール（不図示）、無線基地局（不図示）、通信ネットワーク（不図示）を介して、走行ルートにおける渋滞、交通規制といった交通状況を表す交通情報を取得する。

【0054】

予測部５３３は、取得した交通情報に基づいて、現在の自動運転レベルでの制御が終了する地点を推定する。そして、予測部５３３は、現在位置から現在の自動運転レベルによる制御が終了する地点までの距離を当該自動運転レベルによる制御における標準速度で除して得られた時間を現在時刻に加えることにより、変更時刻を特定する。図４の例では、予測部５３３は、変更時刻をｔ₄と特定する。

【0055】

また、予測部５３３は、ストレージ装置４から、ＧＮＳＳ受信機３が出力する測位信号に対応する位置の周辺の地図データを取得してもよい。予測部５３３は、現在の自動運転レベルでの走行可能な車線の終了する地点を特定し、現在地点から当該地点までの距離を自動運転レベルによる制御における標準速度で除して得られた時間を現在時刻に加えることにより、変更時刻を特定する。

【0056】

作成部５３４は、周辺カメラ２により生成された周辺データから検出された物体の位置を表す情報を用いて、車両１の走行する走行経路を作成する。

【0057】

作成部５３４は、メモリ５２に一時記憶された前の時刻における周辺物体の位置と、第１検出部５３１により出力される第１物体情報または第１物体予測情報、もしくは第２検出部５３２により出力される第２物体情報とを用いて将来における物体の予測位置を推定する。

【0058】

作成部５３４は、推定された将来における物体の予測位置から所定の間隔を保つように、車両１の走行経路を作成する。

【0059】

作成部５３４は、変更時刻よりも所定時間前まで、第１物体情報を用いて走行経路を作成する。作成部５３４は、変更時間よりも所定時間前の時刻から変更時刻まで、第１物体予測情報を用いて走行経路を作成する。作成部５３４は、変更時刻以降は、第２物体情報を用いて走行経路を作成する。

【0060】

図４の例では、変更時刻ｔ₄よりも１単位時間前まで、すなわち時刻ｔ₃となるまで、作成部５３４は第１物体情報を用いて走行経路を作成する。例えば、作成部５３４は、時刻ｔ₂における走行経路ＤＰ－２を、望遠周辺カメラ２－１により生成された周辺画像Ｄ１－２に対応する第１物体情報Ｏ１－２を用いて作成する。

【0061】

変更時刻ｔ₄よりも１単位時間前の時刻、すなわち時刻ｔ₃から変更時刻ｔ₄までにおいて、作成部５３４は、走行経路ＤＰ－３を、望遠周辺カメラ２－１により生成された周辺画像Ｄ１－２に対応する第１物体予測情報ＯＰ１－２を用いて作成する。

【0062】

作成部５３４は、第１物体予測情報ＯＰ１－２と、第１物体予測情報ＯＰ１－２の確からしさを表す確信度情報とを用いて、走行経路ＤＰ－３を作成してもよい。例えば、確信度情報により表される確からしさが所定の確信度閾値を超える場合、作成部５３４は、周辺物体が第１物体予測情報ＯＰ１－２に表される位置に存在するものとして走行経路ＤＰ－３を作成する。また、確信度情報により表される確からしさが所定の確信度閾値を超えない場合、作成部５３４は、周辺物体が第１物体予測情報ＯＰ１－２に表される位置に存在しないものとして、第１物体予測情報ＯＰ１－２を用いずに走行経路ＤＰ－３を作成する。

【0063】

変更時刻ｔ₄以降は、作成部５３４は第２物体情報を用いて走行経路を作成する。例えば、作成部５３４は、時刻ｔ₄における走行経路ＤＰ－４を、広角周辺カメラ２－２により生成された周辺画像Ｄ２－４に対応する第２物体情報Ｏ２－４を用いて作成する。

【0064】

図５は、走行経路作成処理のフローチャートである。ＥＣＵ５は、車両１が自動運転制御による走行を行う間、走行経路作成処理を所定時間間隔で繰り返し実行する。

【0065】

まず、ＥＣＵ５の第１検出部５３１は、望遠周辺カメラ２－１により時系列に生成される周囲画像のそれぞれから、当該周辺画像の生成時刻における周辺物体の位置を検出して当該位置を表す第１物体情報を出力する。また、第１検出部５３１は、当該周辺画像の生成時刻よりも所定時間後の時刻における周辺物体の予測位置を検出して当該予測位置を表す第１物体予測情報を出力する（ステップＳ１）。

【0066】

ＥＣＵ５の予測部５３３は、車両１の自動運転レベルが第１自動運転レベルから第２自動運転レベルに変更されるか否かを予測する（ステップＳ２）。自動運転レベルの変更が予測されない場合（ステップＳ２：Ｎ）、ＥＣＵ５の処理は後述するステップＳ５に進む。自動運転レベルの変更が予測される場合（ステップＳ２：Ｙ）、予測部５３３は、自動運転レベルが変更される変更時刻を特定する（ステップＳ３）。

【0067】

ＥＣＵ５の作成部５３４は、現在時刻から変更時刻までの間隔が所定時間以内であるか否か、すなわち、現在時刻が変更時刻よりも所定時間前の時刻であるか否かを判定する（ステップＳ４）。現在時刻から変更時刻までの間隔が所定時間以内でないと判定された場合（ステップＳ４：Ｎ）、作成部５３４は、第１物体情報を用いて走行経路を作成し（ステップＳ５）、ＥＣＵ５の処理はステップＳ１に戻る。

【0068】

現在時刻から変更時刻までの間隔が所定時間以内であると判定された場合（ステップＳ４：Ｙ）、作成部５３４は、第１物体予測情報を用いて走行経路を作成する（ステップＳ６）。

【0069】

ＥＣＵの第２検出部５３２は、広角周辺カメラ２－２により時系列に生成される周囲画像のそれぞれから、周辺物体の位置を検出して当該位置を表す第２物体情報を出力する（ステップＳ７）。

【0070】

作成部５３４は、現在時刻が変更時刻を経過しているか否か、すなわち、現在時刻が変更時刻以降であるか否かを判定する（ステップＳ８）。現在時刻が変更時刻を経過していないと判定された場合（ステップＳ８：Ｎ）、ＥＣＵ５の処理はステップＳ６に戻る。

【0071】

現在時刻が変更時刻を経過していると判定された場合（ステップＳ８：Ｙ）、作成部５３４は、第２物体情報を用いて走行経路を作成し（ステップＳ９）、走行経路作成処理を終了する。

【0072】

走行経路作成処理を終了した後に再び走行経路作成処理を実行する場合、後に実行される走行経路作成処理では、先に実行された走行経路作成処理における第２検出部が、第１検出部として動作してもよい。このように動作することで、ＥＣＵ５は、自動運転レベルが第１のレベルから第２のレベルに変更された後、さらに他のレベルに変更される場合においても、走行経路の作成を適切に行うことができる。

【0073】

このように走行経路作成処理を実行することにより、ＥＣＵ５は、ハードウェアリソースを過度に増大させることなく、自動運転レベルの切り替えに応じた走行経路を作成することができる。

【0074】

当業者は、本発明の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。

【符号の説明】

【0075】

１ 車両
５ ＥＣＵ
５３１ 第１検出部
５３２ 第２検出部
５３３ 予測部
５３４ 作成部
５３５ 走行制御部

【図1】

【図2】

【図3】

【図4】

【図5】