IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日産自動車株式会社の特許一覧 ▶ ルノー エス.ア.エス.の特許一覧

<>
  • 特許-情報提供方法及び情報提供システム 図1
  • 特許-情報提供方法及び情報提供システム 図2
  • 特許-情報提供方法及び情報提供システム 図3
  • 特許-情報提供方法及び情報提供システム 図4
  • 特許-情報提供方法及び情報提供システム 図5
  • 特許-情報提供方法及び情報提供システム 図6
  • 特許-情報提供方法及び情報提供システム 図7
  • 特許-情報提供方法及び情報提供システム 図8
  • 特許-情報提供方法及び情報提供システム 図9
  • 特許-情報提供方法及び情報提供システム 図10
  • 特許-情報提供方法及び情報提供システム 図11
  • 特許-情報提供方法及び情報提供システム 図12
  • 特許-情報提供方法及び情報提供システム 図13
  • 特許-情報提供方法及び情報提供システム 図14
  • 特許-情報提供方法及び情報提供システム 図15
  • 特許-情報提供方法及び情報提供システム 図16
  • 特許-情報提供方法及び情報提供システム 図17
  • 特許-情報提供方法及び情報提供システム 図18
  • 特許-情報提供方法及び情報提供システム 図19
  • 特許-情報提供方法及び情報提供システム 図20
  • 特許-情報提供方法及び情報提供システム 図21
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-04
(45)【発行日】2024-09-12
(54)【発明の名称】情報提供方法及び情報提供システム
(51)【国際特許分類】
   G08G 1/16 20060101AFI20240905BHJP
   G08G 1/04 20060101ALI20240905BHJP
   G08G 1/09 20060101ALI20240905BHJP
   B60W 40/04 20060101ALI20240905BHJP
   B60W 50/14 20200101ALI20240905BHJP
【FI】
G08G1/16 A
G08G1/04 C
G08G1/09 H
B60W40/04
B60W50/14
【請求項の数】 11
(21)【出願番号】P 2021012966
(22)【出願日】2021-01-29
(65)【公開番号】P2022116668
(43)【公開日】2022-08-10
【審査請求日】2023-11-07
(73)【特許権者】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(73)【特許権者】
【識別番号】507308902
【氏名又は名称】ルノー エス.ア.エス.
【氏名又は名称原語表記】RENAULT S.A.S.
【住所又は居所原語表記】122-122 bis, avenue du General Leclerc, 92100 Boulogne-Billancourt, France
(74)【代理人】
【識別番号】110002468
【氏名又は名称】弁理士法人後藤特許事務所
(72)【発明者】
【氏名】麻生川 克憲
(72)【発明者】
【氏名】犬飼 隆哉
(72)【発明者】
【氏名】大谷 友希
(72)【発明者】
【氏名】中野 勇蔵
【審査官】▲高▼木 真顕
(56)【参考文献】
【文献】特開2003-319383(JP,A)
【文献】特開2014-229102(JP,A)
【文献】特開2017-010586(JP,A)
【文献】特開2020-086866(JP,A)
【文献】特開2008-280026(JP,A)
【文献】国際公開第2017/002209(WO,A1)
【文献】特開2014-157489(JP,A)
【文献】特開2018-148284(JP,A)
【文献】特開2019-202589(JP,A)
【文献】国際公開第2020/004593(WO,A1)
【文献】特開2016-051920(JP,A)
【文献】米国特許出願公開第2020/0209889(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 - 99/00
B60W 30/00 - 60/00
G06T 1/00 - 1/40
G06T 7/00 - 7/90
G06V 10/00 - 20/90
(57)【特許請求の範囲】
【請求項1】
自車両以外の車両と隊列を形成して走行する隊列走行をするときに、前記自車両とともに前記隊列を形成する前記車両である隊列車両と通信することによって前記隊列車両から取得する情報を、前記自車両の乗員に提供する情報提供方法であって、
前記自車両の視野を撮影した自車視野画像を取得し、
前記自車視野画像を画像処理することによって、前記自車視野画像において、前記隊列車両によって形成される死角の範囲を判別し、
前記隊列車両から取得する情報から、前記死角の範囲に含まれる情報である死角情報を抽出し、
抽出された前記死角情報を前記自車両と前記隊列車両の位置に応じて加工し、
加工された前記死角情報を前記自車視野画像に重畳して表示し、
前記隊列車両から取得する情報は、前記隊列車両の視野を撮影した画像である隊列車両視野画像であり、
前記死角情報として、前記隊列車両視野画像から、前記死角の範囲に含まれる車両、道路標識、または、路面標示を抽出し、
現在の前記自車視野画像及び前記隊列車両視野画像に写っていない併走車両があるときに、過去に取得した前記自車視野画像及び/または前記隊列車両視野画像を用いて前記併走車両の位置を推定することにより、前記死角情報を補完する、
情報提供方法。
【請求項2】
請求項に記載の情報提供方法であって、
前記加工は、抽出された前記死角の範囲に含まれる前記車両、前記道路標識、または、前記路面標示を、前記死角が形成されずに前記自車両から視認し得るときの形状及び大きさに変形することによって行う、
情報提供方法。
【請求項3】
請求項1または2に記載の情報提供方法であって、
加工された前記死角情報を、前記死角が形成されずに前記自車両から視認し得るときに前記自車視野画像に写る位置に重畳する、
情報提供方法。
【請求項4】
請求項1~3のいずれか1項に記載の情報提供方法であって、
複数の前記隊列車両と前記隊列走行をし、前記死角の範囲に複数の前記隊列車両が存在し、かつ、前記隊列車両視野画像から前記死角の範囲に含まれる複数の前記隊列車両を抽出するときに、
前記死角の範囲に含まれる複数の前記隊列車両のうち、一部の前記隊列車両を選択して、前記自車視野画像に表示する、
情報提供方法。
【請求項5】
請求項に記載の情報提供方法であって、
前記死角の範囲に含まれる複数の前記隊列車両のうち、前記隊列の先頭または最後尾にいる前記隊列車両を選択して前記自車視野画像に表示する、
情報提供方法。
【請求項6】
請求項1~5のいずれか1項に記載の情報提供方法であって、
前記自車両とは異なる車線を走行する他車線車両と通信可能であるときに、
前記他車線車両から、前記他車線車両の視野を撮影した画像である他車線車両視野画像、または、前記他車線車両が検知した車両の位置情報を取得し、
前記他車線車両視野画像または前記位置情報を用いて前記死角情報を補完する、
情報提供方法。
【請求項7】
請求項1~のいずれか1項に記載の情報提供方法であって、
前記隊列車両から取得する情報として、前記隊列車両のサイズまたは設備に関する情報を取得し、
前記自車両及び前記隊列車両のサイズまたは設備に基づいて推奨隊列順序を決定し、
決定した推奨隊列順序を、前記自車両及び/または前記隊列車両の乗員に案内する、
情報提供方法。
【請求項8】
請求項に記載の情報提供方法であって、
前記推奨隊列順序は、前記隊列の最後尾車両を、前記自車両または前記隊列車両のうち、車両後方の視野を撮影する後方カメラを有する車両にする隊列順序である、
情報提供方法。
【請求項9】
請求項7または8に記載の情報提供方法であって、
前記推奨隊列順序は、前記自車両または前記隊列車両のうち、視野を撮影するカメラを有しない車両を、前記隊列の先頭及び最後尾を除いた前記隊列の中間に配置する隊列順序である、
情報提供方法。
【請求項10】
請求項7~9のいずれか1項に記載の情報提供方法であって、
前記隊列を形成する前記自車両及び前記隊列車両に大型車両が含まれており、かつ、前記大型車両が前方の視野を撮影する前方カメラと後方の視野を撮影する後方カメラとを有するときに、前記推奨隊列順序は、先頭から車両のサイズが小さい順に前記自車両及び前記隊列車両を配列する隊列順序である、
情報提供方法。
【請求項11】
自車両以外の車両と隊列を形成して走行する隊列走行をするときに、前記自車両とともに前記隊列を形成する前記車両である隊列車両と通信することによって前記隊列車両から取得する情報を、前記自車両の乗員に提供するための制御をするコントローラと、前記隊列車両から取得する情報を表示する表示装置と、を備える情報提供システムであって、
前記コントローラは、
前記自車両の視野を撮影した自車視野画像を取得し、
前記自車視野画像を画像処理することによって、前記自車視野画像において、前記隊列車両によって形成される死角の範囲を判別し、
前記隊列車両から取得する情報から、前記死角の範囲に含まれる情報である死角情報を抽出し、
抽出された前記死角情報を、前記自車両と前記隊列車両の位置に応じて加工し、
加工された前記死角に含まれる情報を、前記自車視野画像に重畳して前記表示装置に表示させ
前記隊列車両から取得する情報は、前記隊列車両の視野を撮影した画像である隊列車両視野画像であり、
前記コントローラは、
前記死角情報として、前記隊列車両視野画像から、前記死角の範囲に含まれる車両、道路標識、または、路面標示を抽出し、
現在の前記自車視野画像及び前記隊列車両視野画像に写っていない併走車両があるときに、過去に取得した前記自車視野画像及び/または前記隊列車両視野画像を用いて前記併走車両の位置を推定することにより、前記死角情報を補完する、
情報提供システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両において運転者等に対して情報を提供する情報提供方法及び情報提供システムに関する。
【背景技術】
【0002】
近年、他の車両または道路設備等の公共設備と通信することによって、自車が直接には取得することが難しい情報を取得して、運転支援等に利用する車両等が開発されている。例えば、特許文献1には、交差点においてある車両が撮影することにより検出した移動体(自転車等)の情報を、その移動体を検出できない別の車両が取得する通信システムが記載されている。この特許文献1の通信システムでは、ある車両が検出した移動体を、反転等して、別の車両が撮影した画像に重畳して表示している。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第4585355号
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年の車両は、例えば車間距離を一定に保つ運転支援機能等を利用し、他の車両と隊列を形成した走行(いわゆる隊列走行)をすることがある。そして、隊列を形成する車両間で通信し、情報のやり取りできるときには、隊列走行をしていない通常走行時に比べて車間距離が短く設定される場合がある。
【0005】
このように、隊列走行をすることによって車間距離が短くなると、乗員(運転者または同乗者)の視界は隊列走行をする他の車両によって占められ、死角が多くなる。このため、隊列走行時に、乗員は、周囲の状況を十分に知得できない場合がある。例えば、自車の前後を短い車間距離で大型車両に挟まれて隊列走行をさせるときには、それらの大型車両に前後の視界を占められ、乗員は前方及び後方の状況を十分に知得できない。
【0006】
そこで、本発明は、隊列走行をするときに、自然には知得し得ない死角に関する十分な情報を提供する情報提供方法及び情報提供システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明のある態様は、自車両以外の車両と隊列を形成して走行する隊列走行をするときに、自車両とともに隊列を形成する車両である隊列車両と通信することによって隊列車両から取得する情報を、自車両の乗員に提供する車両における情報提供方法である。そして、この情報提供方法では、自車両の視野を撮影した自車視野画像を取得し、その自車視野画像を画像処理することによって、自車視野画像において、隊列車両によって形成される死角の範囲を判別する。また、隊列車両から取得する情報から、死角の範囲に含まれる情報である死角情報を抽出する。そして、抽出された死角情報を自車両と隊列車両の位置に応じて加工し、加工された死角情報を自車視野画像に重畳して表示する。隊列車両から取得する情報は、隊列車両の視野を撮影した画像である隊列車両視野画像であり、死角情報として、隊列車両視野画像から、死角の範囲に含まれる車両、道路標識、または、路面標示を抽出する。そして、現在の自車視野画像及び隊列車両視野画像に写っていない併走車両があるときに、過去に取得した自車視野画像及び/または隊列車両視野画像を用いて併走車両の位置を推定することにより、死角情報を補完する。
【発明の効果】
【0008】
本発明の情報提供方法及び情報提供システムによれば、隊列走行をするときに、自然には知得し得ない死角に関する情報を提供することができる。
【図面の簡単な説明】
【0009】
図1図1は、車両の構成を示すブロック図である。
図2図2は、コントローラの構成の一部を示すブロック図である。
図3図3は、車両が隊列走行をするときの作用を示すフローチャートである。
図4図4は、隊列走行をするときの上下方向における死角の範囲を示す説明図である。
図5図5は、隊列走行をするときの左右方向における死角の範囲を示す説明図である。
図6図6は、隊列走行をする大型車両の前方視野画像の例である。
図7図7は、自車両の前方視野画像の例である。
図8図8は、死角情報を加工せずに自車両の前方視野画像に重畳した場合の表示例である。
図9図9は、死角情報を加工して自車両の前方視野画像に重畳した場合の表示例である。
図10図10は、自車両と大型車両が構成する隊列と、その他の車両の位置関係を示す説明図である。
図11図11は、死角情報の変形量及び表示位置等を決定する方法を示す説明図である。
図12図12は、第2実施形態における隊列走行の状況を示す説明図である。
図13図13は、第2実施形態の状況下で隊列走行をするときの作用を示すフローチャートである。
図14図14は、第2実施形態において死角情報を重畳された自車両の前方視野画像の例である。
図15図15は、第2変形例において隊列走行をするときの作用を示すフローチャートである。
図16図16は、第3変形例において隊列走行をするときの作用を示すフローチャートである。
図17図17は、第3実施形態におけるコントローラ21の構成を示すブロック図である。
図18図18は、推奨隊列順序の一例を示す説明図である。
図19図19は、隊列を推奨隊列順序にしたときの前方視野画像の例である。
図20図20は、非推奨の隊列順序の一例を示す説明図である。
図21図21は、隊列を非推奨の隊列順序にしたときの前方視野画像の例である。
【発明を実施するための形態】
【0010】
以下、図面を参照しながら本発明の実施形態について説明する。
【0011】
[第1実施形態]
図1は、車両100の構成を示すブロック図である。この車両100は、他の車両と隊列を形成して走行することができる車両である。隊列とは、車間距離等の走行状態の調節について自車両または他の車両の機能による支援を受けることにより、複数の車両が全体として統制された走行状態となっている車両群をいう。隊列は、例えば、同一の車線を走行する複数の車両によって形成される。但し、異なる車線を走行する車両が隊列を形成する場合がある。本実施形態においては、隊列は、同一の車線を走行する複数の車両によって形成される。以下では、複数の車両が隊列を形成した走行状態を隊列走行という。また、本実施形態においては、車両100が「自車両」である。そして、車両100は、車間距離等の走行状態の調整について自らの機能による支援によって、他の車両と隊列を形成することができる。以下では、車両100と隊列を形成する他の車両を「隊列車両」という。隊列車両には、既に隊列を形成している車両の他、隊列を形成するために通信等をする車両を含む。
【0012】
図1に示すように、車両100は、車両駆動系10、撮影装置11、検出器14、車車間通信機17、情報提供装置18、及び、コントローラ21を備える。これらのうち撮影装置11、検出器14、車車間通信機17、情報提供装置18、及び、コントローラ21は、車両100の情報提供システムを構成する。
【0013】
車両駆動系10は、車両100が走行するための基礎的な構成である。車両駆動系10は、例えば、エンジン及び/または電動モータ、バッテリ、パワートレイン、及び、車輪等から構成される。また、車両駆動系10には、車両100の運転者が車両100の走行その他の制御状態について指示を与えるための構成を含む。例えば、車両駆動系10には、ステアリングホイール、アクセルペダル、及び、ブレーキペダル等が含まれる。
【0014】
撮影装置11は、車両100の視野を撮影する。車両100の視野とは、撮影装置11が撮影し得る範囲をいう。本実施形態においては、撮影装置11は、前方カメラ12及び後方カメラ13を有する。前方カメラ12は、車両100の前方の視野を撮影する。車両100の前方とは、車両100の真正面の方向を含む所定の範囲をいい、前方カメラ12の取り付け位置及び画角性能等によって定まる。後方カメラ13は、車両100の後方を撮影する。車両100の後方とは、車両100の真後ろの方向を含む所定の範囲をいい、後方カメラ13の画角性能によって定まる。
【0015】
車両100は、これらの各カメラによって、前方の視野を撮影した自車前方視野画像と、後方の視野を撮影した自車後方視野画像と、を適宜得ることができる。自車前方視野画像と自車後方視野画像は、自車両である車両100の視野を撮影した自車視野画像である。これらの自車視野画像は、所定のフレームレートで連続して撮影された動画として得ることができる。
【0016】
なお、撮影装置11には、車両100の側方(右側方または左側方)を撮影する側方カメラ(図示しない)を含むことができる。車両100の側方とは、車両100の側方の一部または全部を含む所定の範囲であり、側方カメラの取り付け位置、向き、及び、画角性能によって定まる。この場合、車両100は、車両100の側方を撮影した側方自車視野画像を得ることができる。側方自車視野画像も自車視野画像である。
【0017】
検出器14は、車両100の状態、車両100を構成する各部の状態、及び/または、車両100の周辺にある物体(以下、周辺物という)を検出する1または複数の検出器によって構成される。車両100の状態とは、例えば、車両100の速度、加速度、または姿勢等である。車両100を構成する各部の状態とは、例えば、エンジンやモータの動作状態等である。周辺物とは、車両100の周辺にある物または人等である。例えば、車両、自転車、もしくは歩行者等、路面もしくはその端部、道路標識、路面標示、及び/または、その他建造物等が車両100の周辺物である。車両100の周辺とは、例えば、検出器14が検出することによって、または、隊列車両等の車両もしくは道路設備等と通信することによって、車両100がその存在(位置、速度、もしくは形状等)を取得し得る範囲をいう。
【0018】
本実施形態では、検出器14は、具体的に、周辺物検出器15と、自車位置検出器16と、を含む。周辺物検出器15は、車両100の周辺にある物体の相対位置を検出するセンサである。周辺物検出器15は、例えば、ソナー、レーダ、またはレーザレーダ(LiDAR)等である。自車位置検出器16は、自車両である車両100の位置を検出するセンサである。自車位置検出器16は、例えば、GPS(Global Positioning System)センサ、または、オドメータ等である。また、検出器14は、例えば、前方を走行する車両との車間距離を計測する車間距離計測器(図示しない)を含む。
【0019】
車車間通信機17は、他の車両と通信するための通信設備である。車両100は、車車間通信機17を用いた他の車両との通信(以下、車車間通信という)により、通信相手の車両から情報を取得し、または、通信相手の車両に情報を提供する(以下、取得と提供に区別が必要な場合を除き、単に「共有」という)。本実施形態では、車両100は、車車間通信機17によって隊列車両と情報を共有する。例えば、車両100は、隊列を形成し、または、隊列を維持するための情報を隊列車両と適宜に共有する。これにより、車両100は隊列走行をする。但し、車両100は、隊列車両以外の車両とも車車間通信を行うことができる。
【0020】
情報提供装置18は、車両100の運転者または同乗者(以下、乗員という)に対して、各種の情報を提供するための設備である。情報について提供とは、表示または発報等することにより、その内容の一部または全部を明示的または黙示的に知得し得る状態にすることをいう。情報提供装置18は、例えば、画像もしくは映像の表示、ランプその他のインジケータによる表示、音もしくは音声の発報、または、振動の発生等によって、各種の情報を提供する。
【0021】
本実施形態では、情報提供装置18は、各種情報を提供するために、ディスプレイ19と、スピーカ20と、を含む。
【0022】
ディスプレイ19は、文字、図形、記号、画像、または映像等によって情報を表示する表示装置である。ディスプレイ19は、例えば、ナビゲーションシステム(図示しない)、各種メータ等を表示する計器盤(あるいはいわゆるダッシュボード)、または、ヘッドアップディスプレイ(HUD)等の表示器である。また、ルームミラーまたはサイドミラーが画像等の表示機能を有するときには、これらがディスプレイ19を構成できる。また、スマートフォン、タブレット、またはウェアラブルデバイス等、乗員が保有するデバイスと車両100が連携し得るときには、これらの表示画面等がディスプレイ19を構成できる。ディスプレイ19には、例えば、自車視野画像が表示される。
【0023】
スピーカ20は、音もしくは音声を発報することによって情報を報知する情報報知器である。本実施形態では、スピーカ20は車両100の設備であるが、乗員が保有するデバイスが発報機能を有し、車両100がこれを利用可能であるときには、乗員が保有するデバイスがスピーカ20を構成できる。
【0024】
情報提供装置18が提供する各種の情報とは、車両100が乗員に対して提示する情報であって、例えば、車両100の車速、エンジンやモータ等の回転数、バッテリの充電量、地図、または、経路等である。本実施形態においては、情報提供装置18は、特に、隊列走行をするときに隊列車両によって形成される死角によって知得を妨げられる情報を乗員に提供する。
【0025】
コントローラ21は、車両100の動作を統合的に制御する。コントローラ21は、例えば、中央演算装置(CPU)、ランダムアクセスメモリ(RAM)、及び、入出力インタフェース(I/Oインタフェース)等から構成されるコンピュータである。また、コントローラ21は、車両100を構成する各部の制御を、予め定められた所定の制御周期で定期的に実行するようにプログラムされている。
【0026】
図2は、コントローラ21の構成の一部を示すブロック図である。図2に示すように、コントローラ21は、情報取得部31、運転支援制御部34、画像処理部35、及び、報知処理部41を備える。
【0027】
情報取得部31は、車車間通信機17または検出器14等を用いて、自車両及び他の車両に関する情報を取得する。このため、情報取得部31は、自車両情報取得部32と他車両情報取得部33とを有する。
【0028】
自車両情報取得部32は、自車両である車両100に関する情報を取得する。自車両に関する情報とは、車両100の制御状態を表すパラメータ等、車両100の制御もしくは表示に用いる情報、または、車車間通信等により他の車両からの要求に応じて提供すべき車両100の情報である。自車両情報取得部32は、例えば、撮影装置11や検出器14等の設備の有無、自車視野画像、自車両の車種やサイズ等の車両データ(カメラの取り付け位置等の情報を含む)、自車両の位置もしくは速度等、または、周辺物の位置、車両データ、もしくは速度等を、自車両に関する情報として取得する。
【0029】
他車両情報取得部33は、車両100以外の車両である他の車両に関する情報を取得する。他の車両に関する情報とは、他の車両によって取得され、車両100と共有される情報である。他車両情報取得部33は、例えば、他の車両に係る車両データ、他の車両が有する設備、他の車両の位置もしくは速度等、他の車両で撮影された画像、他の車両が検出等した周辺物(他の車両の周辺物)の位置、車両データ、もしくは速度等を、他の車両に関する情報として取得する。なお、他車両情報取得部33は、隊列車両もしくは隊列車両の周辺物に関する情報を取得し得る他、隊列走行をしない車両から、その車両もしくはその車両の周辺物に関する情報を取得し得る。また、他車両情報取得部33は、隊列走行をしない車両との直接的な車車間通信または隊列車両を介した間接的な車車間通信によって、隊列走行をしない車両から情報を取得できる。
【0030】
運転支援制御部34は、情報取得部31によって取得された自車両及び/または他の車両に関する情報を用いて車両駆動系10の動作を制御または制限することにより、車両100の運転を支援する。例えば、運転支援制御部34は、隊列走行の開始、維持、及び終了等を制御する。隊列走行をするときには、例えば、運転支援制御部34によって車両駆動系10の駆動状態の一部または全部が制御等されることで、車両100の速度を調整される。その結果、車両100と車両100の直前にいる隊列車両との車間距離は、予め定められた所定の車間距離に維持される。なお、隊列走行の開始時期及び終了時期は、例えば、運転モードの設定操作またはその解除操作等によって指定される。このため、運転支援制御部34は、車両100の運転者による隊列走行の開始指示及び終了指示にしたがって隊列走行に係る運転支援を開始及び終了する。
【0031】
画像処理部35は、自車視野画像を画像処理する。例えば、隊列走行をするときには、画像処理部35は、画像処理によって、隊列車両によって形成される車両100の死角の範囲に含まれる情報を、自車視野画像に重畳する。この画像処理後の自車視野画像がディスプレイ19に表示することにより、車両100は、乗員に対して死角の範囲に含まれる情報を提供する。より具体的には、画像処理部35は、死角範囲判別部36、死角情報抽出部37、加工部38、及び、合成部39を備える。
【0032】
死角範囲判別部36は、自車視野画像において、隊列車両によって形成される死角の範囲を判別する。隊列車両によって形成される死角の範囲(以下、単に死角の範囲という)とは、隊列車両が映り込むことによって、隊列車両が無ければ写っていたであろう物や情報等が自車視野画像に写っていない範囲である。すなわち、自車視野画像において隊列車両が写っている部分が、隊列車両によって形成される死角の範囲である。したがって、死角範囲判別部36は、自車視野画像に写る隊列車両を特定することにより、死角の範囲を判別する。死角範囲判別部36は、例えば、自車前方視野画像において自車両である車両100の直前を走行する車両を認識することにより、自車前方視野画像における死角の範囲を判別する。同様に、死角範囲判別部36は、例えば、自車後方視野画像において自車両である車両100の直後を走行する車両を認識することにより、自車後方視野画像における死角の範囲を判別する。
【0033】
死角情報抽出部37は、隊列車両またはその他の車両(以下、隊列車両等という)から取得する情報から、死角範囲判別部36によって判別された死角の範囲に含まれる情報(以下、死角情報という)を抽出する。本実施形態では、車車間通信によって隊列車両から取得する情報から死角情報を抽出する。
【0034】
車車間通信によって隊列車両の前方視野画像(以下、隊列車両前方視野画像という)が取得されており、自車前方の死角情報を抽出するときには、死角情報抽出部37は、隊列車両前方視野画像において車両、道路標識、及び、路面標示等(以下、車両等という)を認識する。例えば、死角情報抽出部37は、車両100の直前を走行する隊列車両の前方視野画像から車両等を認識する。また、死角情報抽出部37は、自車前方視野画像において車両等を認識する。そして、死角情報抽出部37は、隊列車両の前方視野画像(隊列車両前方視野画像)で認識した車両等と、自車視野画像で認識した車両等と、を比較する。この比較の結果、死角情報抽出部37は、少なくとも死角の範囲に属する車両等の全体または部分を、隊列車両の前方視野画像(隊列車両前方視野画像)から抽出する。車車間通信によって隊列車両の後方視野画像(以下、隊列車両後方視野画像という)が取得されており、かつ、自車後方の死角情報を抽出するときも、隊列車両前方視野画像の代わりに隊列車両後方視野画像を用いることを除き、同様である。
【0035】
また、隊列車両等から、その周辺物である車両等の位置情報が取得されているときには、死角情報抽出部37は、位置情報が表す車両等の一部または全部が自車視野画像において死角の範囲に属するか否かを判別する。この判別の結果によって、死角情報抽出部37は、隊列車両等から取得する情報の中から死角情報を抽出する。このような死角情報の抽出は、例えば、死角情報の抽出において、隊列車両前方視野画像または隊列車両後方視野画像(以下、隊列車両視野画像という)が不足するときも実行される。例えば、隊列車両等の他の車両がカメラを有しない等の理由で車車間通信によって隊列車両視野画像が取得されないとき、または、雨、霧、故障、または汚れ等によって隊列車両視野画像が不鮮明等であるときに、死角情報の抽出において隊列車両視野画像が不足することがある。本実施形態では、簡単のため、車車間通信をする隊列車両等は前方カメラ及び後方カメラを有しており、車両100は必要に応じて隊列車両視野画像を取得可能であるとする。
【0036】
加工部38は、抽出された死角情報を、自車両と隊列車両等の位置に応じて加工する。例えば、隊列車両視野画像から死角の範囲に含まれる車両等が抽出されたときには、加工部38は、その抽出された車両等の画像を、死角が形成されずに自車両である車両100から視認し得るときの形状及び大きさに変形する。
【0037】
このために、加工部38は、適切な死角の範囲に含まれる車両等の変形の形態(拡縮、台形補正、またはこれらの組み合わせ等)を決定し、また、変形の度合い、及び、死角が形成されずに自車両である車両100から視認し得るときに自車視野画像に写る位置等を算出する。これらは、自車両である車両100の車両データ、隊列車両等の車両データ、及び、これらの位置関係の情報を用いて決定及び算出される。加工部38は、こうした変形形態の決定及び変形度合いの算出等を、死角の範囲の判別や死角除法の抽出の前に行うことができる。そして、死角情報が抽出されたときには、加工部38は、決定した形態及び度合いで、加工部38は、抽出された死角情報を変形する。
【0038】
なお、加工部38は、変形形態の決定及び変形の度合いを算出するときに、必要に応じて、隊列車両等のカメラと自車両の撮影装置11の位置関係を考慮することができる。すなわち、加工部38は、隊列車両等のカメラの位置と自車両の撮影装置11の位置関係によって、変形の形態及び変形の度合いを調整(修正)することができる。このように、隊列車両等のカメラの位置と自車両の撮影装置11の位置関係を考慮することにより、乗員の認識に対して特に齟齬が少ない自然な変形が実行される。また、加工部38は、自車両の撮影装置11の位置と乗員のアイポイントの位置関係を考慮することができる。すなわち、加工部38は、自車両の撮影装置11の位置と乗員のアイポイントの位置関係によって変形の形態及び変形の度合いを調整することができる。このように、自車両の撮影装置11の位置と乗員のアイポイントの位置関係を考慮すると、乗員の認識とさらに齟齬が少ない自然な変形が実行される。
【0039】
また、加工部38は、代替用として、一般的な車両の形状等を表す画像、いわゆるコンピュータグラフィックス等のイラスト、または、枠線等(以下、代替画像等という)を予め保有している。そして、死角情報として車両等の画像が抽出されないときには、加工部38は、これらの画像等を、死角が形成されずに自車両である車両100から視認し得るときの形状及び大きさに変形する。このため、死角情報として車両等の画像が抽出されないときには、自車両と隊列車両等の位置に応じて変形された代替画像等が、加工された死角情報として扱われる。
【0040】
合成部39は、加工部38で加工された死角情報を、自車視野画像に重畳する合成処理(重畳処理)を行う。合成部39は、加工された死角情報を、死角が形成されずに自車両である車両100から視認し得るときに自車視野画像に写る位置に重畳する。こうして死角情報が重畳された自車視野画像は、情報提供装置18のディスプレイ19に入力される。その結果、自車視野画像がディスプレイ19に表示されるときには、加工された死角情報が自車視野画像に重畳して表示される。
【0041】
報知処理部41は、死角情報抽出部37によって抽出された死角情報を、ランプその他のインジケータによる表示、音もしくは音声の発報、または、振動の発生等によって乗員に報知するための処理を実行する。例えば、報知処理部41は、死角情報として道路標識が抽出されているときに、設定等に応じて、その道路標識の案内内容を表す音声を選択または合成等し、情報提供装置18のスピーカ20に入力する。これにより、音声により、死角に含まれる情報が、乗員に報知される。
【0042】
なお、車両100の撮影装置11及び/または隊列車両等が搭載するカメラは、いわゆる広角カメラである場合がある。そして、広角カメラで撮影した画像は、広範囲が撮影される代わりに、乗員の視界とは異なる像となっている場合がある。このため、画像処理部35は、自車視野画像及び隊列車両視野画像を使用するときに、必要に応じて歪曲収差等を補正することにより、乗員が認識するのと同様の平面的な自然な像に変換した自車視野画像及び隊列車両視野画像を用いる。
【0043】
以下、上記のように構成される車両100の作用を説明する。
【0044】
図3は、車両100が隊列走行をするときの作用を示すフローチャートである。ここでは、車両100が隊列走行をするときに、前方の死角に関する情報を乗員に提供する例を説明する。
【0045】
図3に示すように、ステップS101において、車車間通信により、隊列車両の設備が確認される。確認の内容は、例えば前方カメラ及び後方カメラ等の有無である。ここでは、例えば、車両100の直前を走行する隊列車両(以下、前車という)と車車間通信をすることにより、前車が、その前方の視野を撮影する前方カメラを有しているか否かが確認される。
【0046】
ステップS102において、前車に前方カメラがあるときには、ステップS103においてさらに前車の車両データが取得される。ここで取得される車両データは、例えば、前車の車種、サイズ(長さ、幅、及び高さ等)、及び、前方カメラの取り付け位置等である。また、ステップS104において、前車の前方視野画像が取得される。
【0047】
その後、ステップS105において、前車の前方カメラに対する位置関係(自車両の前方カメラ12に対する前車の前方カメラの相対位置等)が算出される。また、前車から取得された前方視野画像が広角の撮影画像であるときには、ステップS106において歪曲収差等が補正される。
【0048】
こうして前車の車両データや前方視野画像が取得される一方で、ステップS107では、自車視野画像が取得される。本例では、自車前方視野画像が取得される。そして、ステップS108において、自車前方視野画像において、車両100とともに隊列走行をする前車によって形成される死角の範囲が判別される。
【0049】
その後、ステップS109において、判別された死角の範囲に含まれる死角情報が抽出される。具体的には、前車の前方視野画像から、自車両の死角の範囲にある車両、道路標識、及び、道路標示等が、死角情報として抽出される。抽出された死角情報、すなわち自車両の死角にある車両等の画像は、ステップS110において自車両と前車の位置に応じて、拡大、縮小、または変形等される。そして、変形後の死角情報は、ステップS111において、自車前方視野画像に重畳され、ディスプレイ19に表示される。変形後の死角情報が重畳される位置は、死角が形成されずに自車両である車両100から視認し得るときに自車視野画像に写る位置である。これにより、車両100の乗員には、隊列走行をすることで、隊列車両である前車によって形成される死角の範囲にある情報が提供される。
【0050】
一方、ステップS102において、前車が前方カメラを有しないときには、ステップS112及びステップS113が順に実行される。ステップS112では、ステップS103と同様に、前車の車両データが取得される。ステップS112で取得される車両データは、例えば、前車の車種及びサイズ等である。また、ステップS113では、前車の前方視野画像を取得する代わりに、前車が保有する他の情報が取得される。ここで取得される前車が保有する情報とは、例えば、前車の周辺物(車両等)の位置やサイズの情報である。これらの情報は、例えば、前車がレーザレーダ等の検出器で検出したものである。
【0051】
こうして前車の車両データ等が取得される一方で、ステップS114においては、自車視野画像が取得される。本例では、ステップS107と同様に自車前方視野画像が取得される。また、次のステップS115では、ステップS108と同様に、自車前方視野画像において前車によって形成される死角の範囲が判別される。その後、ステップS116では、ステップS113で取得された前車の周辺物の位置情報等から、死角情報すなわち死角の範囲に含まれる車両の位置情報等が抽出される。
【0052】
その後、ステップS117においては、死角情報として抽出された車両等の位置やサイズの情報に応じて代替画像等が選択される。また、選択された代替画像は、自車両である車両100とその車両等との位置関係に応じて、拡大、縮小、または変形等される。
【0053】
上記のように変形された代替画像等は、次いで実行されるステップS111において、自車前方視野画像に重畳され、ディスプレイ19に表示される。変形後の代替画像等が重畳される位置は、死角が形成されずに自車両である車両100から視認し得るときに自車視野画像に写る位置である。これにより、車両100と車車間通信を行う前車が前方カメラを有しないとき場合でも、車両100の乗員には、隊列車両である前車によって形成される死角の範囲にある車両等の情報が提供される。
【0054】
なお、隊列走行をするときに、車両100の直後を走行する隊列車両(以下、後車という)によって形成される死角の範囲についても、車両100は上記と同様に死角の範囲にある情報を乗員に提供する。このように、後方の死角について情報を乗員に提供するときには、後車の後方カメラで撮影された隊列車両後方視野画像(隊列車両視野画像)と、自車後方視野画像が用いられる。
【0055】
以上のようにして、車両100は、隊列走行を行うときに、隊列車両によって形成される死角に含まれる情報を乗員に提供する。その結果、車両100の乗員は、隊列走行によって死角が形成されることにより、通常であれば知得し得ない情報を得ることができる。
【0056】
以下、より具体的な状況について車両100が隊列走行をするときの作用を説明する。まず、図4は、隊列走行をするときの上下方向(鉛直方向)における死角の範囲を示す説明図である。図4に示すように、所定の車線L2において、自車両である車両100と、車両100の直前を走行する大型車両F1が隊列走行をしているものとする。したがって、大型車両F1が車両100の前車である。さらに、図4においては、この大型車両F1の前方に隊列を構成しない他の車両(以下、前前車という)F2が走行しているものとする。このとき、車両100の視野(前方カメラ12の画角)Voのうちの多くは、大型車両F1によって死角BS1となる。そして、前前車F2は、大型車両F1に遮られ、車両100からは視認及び撮影できない。このため、例えば、車両100の乗員は前前車F2が走行していることすら知ることができない場合がある。また、図4においては、大型車両F1の前方には道路標識RSがあるが、これも大型車両F1によって形成される死角BS1の範囲に含まれるので、車両100からは道路標識RSを視認及び撮影できず、車両100の乗員はその内容を知得し得ない。一方、大型車両F1の視野VF1には前前車F2も道路標識RSも入っているので、大型車両F1からはこれらを視認及び撮影し得る。
【0057】
また、図5は、隊列走行をするときの左右方向(水平方向)における死角の範囲を示す説明図である。図5に示すように、車両100の視野Voは左右方向においても前車である大型車両F1によって遮られ、死角BS1の範囲は左右方向にも形成される。このため、例えば、大型車両F1の左斜め前方に車両F2Lが走行しているとしても、この車両F2Lは死角BS1の範囲にいるため、車両100からは視認できない。このため、車両100の乗員は車両F2Lが走行していることすら知ることができない場合がある。同様に、例えば、大型車両F1の右斜め前方に車両F2Rが走行しているとしても、この車両F2Rが死角BS1の範囲にいれば、車両100からは視認できない。このため、車両100の乗員は車両F2Rが走行していることすら知ることができない場合がある。一方、大型車両F1の視野VF1には、前前車F2の他、上記の車両F2L及び車両F2Rも入っているので、大型車両F1からはこれらを視認及び撮影し得る。
【0058】
なお、図5において、車線L1は、車両100及び大型車両F1の隊列が走行する車線L2の左隣りの車線である。同様に、車線L3は、車線L2右隣りの車線である。また、B1,B2,B3,及びB4は、これらの車線L1,L2,L3を区切る路面標示である。
【0059】
図6は、隊列走行をする大型車両F1の前方視野画像IF1の例である。図6に示すように、上記のような状況において、大型車両F1の前方視野画像IF1には、車両100に対する前前車F2、隣接する車線L1,L3を走行する車両F2L及び車両F2R、並びに道路標識RSが写る。また、図7は、自車両の前方視野画像IFoの例である。図7に示すように、上記のような状況においては、車両100の前方視野画像IFoは、その大部分を大型車両F1に占められ、前前車F2、車両F2L、車両F2R、及び道路標識RSは写らない。
【0060】
そこで、車両100のコントローラ21は、自車両の前方視野画像IFo(自車前方視野画像)から前車である大型車両F1の範囲を死角BS1の範囲であると判別し、大型車両F1の前方視野画像IF1(隊列車両前方視野画像)からこの死角BS1の範囲にある前前車F2、車両F2L、車両F2R、及び道路標識RSを死角情報として抽出する。そして、コントローラ21は、抽出した前前車F2、車両F2L、車両F2R、及び道路標識RSを自車両の前方視野画像IFoに重畳表示する。
【0061】
図8は、死角情報を加工せずに自車両の前方視野画像IFoに重畳した場合の表示例である。図8に示すように、抽出された前前車F2、車両F2L、車両F2R、及び道路標識RSをそのまま自車両の前方視野画像IFoに重畳すると、これらの位置やサイズ等が非現実的なものとなる。このため、コントローラ21は、抽出した前前車F2、車両F2L、車両F2R、及び道路標識RSを、これらとの相対的な位置関係に基づいて変形等する。そして、死角BS1が形成されずに車両100から視認し得るときに自車両の前方視野画像IFoに写る位置に適切に重畳して表示する。図9は、死角情報を加工して自車両の前方視野画像IFoに重畳した場合の表示例である。図9に示すように、抽出した前前車F2、車両F2L、車両F2R、及び道路標識RSとの位置関係に基づいて変形等し、これらを適切な位置に重畳することにより、これらは死角BS1が形成されずに車両100から視認し得るような状態で表示される。このため、車両100の乗員は、違和感なく、死角BS1の範囲にあるために知得し得ないはずの前前車F2、車両F2L、車両F2R、及び道路標識RSに係る情報を知得できる。
【0062】
死角情報の変形量や、死角BS1が形成されずに車両100から視認し得るときに自車両の前方視野画像IFoに写る位置は、例えば次のように決定(算出)される。
【0063】
図10は、自車両(車両100)と大型車両F1が構成する隊列と、その他の車両(前前車F2)の位置関係を示す説明図である。図10に示すように、車両100と大型車両F1の車間距離を「Xf1」、大型車両F1の全長を「Xf1w」、大型車両F1と前前車F2の車間距離を「Xf12」とする。このとき、車両100と前前車F2の車間距離Xf2は、これらの合計(Xf2=Xf1+Xf1w+Xf12)で算出される。なお、車両100と大型車両F1の車間距離Xf1は、大型車両F1から取得される大型車両F1の位置情報、または、検出器14が含む車間距離計測器の計測値によって既知である。大型車両F1と前前車F2の車間距離Xf2は、大型車両F1から取得される位置情報によって既知である。また、大型車両F1の全長Xf1wは、大型車両F1の車両データを取得することによって既知である。
【0064】
図11は、死角情報の変形量及び表示位置等を決定する方法を示す説明図である。なお、図11では、説明の便宜のために、大型車両F1を省略している。図11に示すように、自車両の前方視野画像IFoには、車線L1,L2,L3を区切る道路標示B1~B4が写っている。このため、コントローラ21は、自車両の前方視野画像IFoにおける道路標示B1~B4に基づいて算出する。具体的には、コントローラ21は、大型車両F1の最後部の位置における車線L2の幅W1を算出する。幅W1は、自車両の前方視野画像IFo上で、大型車両F1の下端(例えば後輪の下端)がある水平ラインに沿って、道路標示B2と道路標示B3の間隔を計測することにより算出される。この幅W1が定まると、前前車F2の最後部の位置における車線L2の幅W2は、W2=W1/Xf2 2で表される。また、幅W2は、実質的に、自車両の前方視野画像IFoにおける前前車F2のサイズを表す。さらに、幅W2が決定されると、自車両の前方視野画像IFoにおいて車線L2が幅W2となる位置が定まる。したがって、この幅W2が算出されることで、自車両の前方視野画像IFoにおいて表示すべき前前車F2のサイズ(すなわち加工部38における変形量等)と、自車両の前方視野画像IFoにおいて表示すべき前前車F2の位置が決定される。
【0065】
隊列が走行する車線L2とは異なる車線L1,L3を走行する車両F2L及び車両F2Rについても上記と同様である。すなわち、車両F2L,F2Rとの距離や車線L1,L3の幅等に基づいて、自車両の前方視野画像IFoにおいて表示すべき車両F2L及び車両F2Rのサイズ及び位置が決定される。
【0066】
以上のように、第1実施形態に係る情報提供方法は、自車両(車両100)以外の車両と隊列を形成して走行する隊列走行をするときに、自車両とともに隊列を形成する車両である隊列車両と通信することによって隊列車両から取得する情報を、自車両の乗員に提供する情報提供方法である。この情報提供方法では、自車両の視野Voを撮影した自車視野画像(例えば自車両の前方視野画像IFo)を取得し、自車視野画像を画像処理することによって、自車視野画像において、隊列車両(例えば大型車両F1)によって形成される死角BS1の範囲を判別し、隊列車両から取得する情報(例えば大型車両F1の前方視野画像IF1、車両データ、及び、周辺物の位置情報等)から、死角BS1の範囲に含まれる情報である死角情報(前前車F2等)を抽出し、抽出された死角情報を自車両と隊列車両の位置に応じて加工し、加工された死角情報を自車視野画像に重畳して表示する。
【0067】
この情報提供方法によれば、車両100が隊列走行をするときに、自然には知得し得ない死角に関する情報を乗員に対して提供することができる。また、隊列走行をするときには、隊列車両との車間距離が短くなるように設定(制御)され、隊列走行をしない通常の走行時よりも死角BS1が大きくなる場合がある。また、隊列走行をするときには、隊列における自車両と隊列車両の配置順序によって、隊列走行をしない通常の走行時よりも死角BS1が大きくなる場合がある。例えば、上記第1実施形態のように、大型車両F1の直後の配置順序で隊列走行をするときには、車間距離が短くなると、死角BS1は特に大きくなる。このため、隊列走行をするときには、車両100の乗員は、前方及び後方の状況を十分に知得できず、心理的圧迫感(不安感等)を覚える場合がある。しかし、上記第1実施形態のように、死角BS1に関して、通常では知得し得ない情報(死角情報)が提供されることで、車両100の乗員の心理的圧迫感を低減または払拭される。
【0068】
また、上記第1実施形態に係る情報提供方法では、隊列車両(例えば大型車両F1)から取得する情報は、隊列車両の視野を撮影した画像である隊列車両視野画像(例えば大型車両F1の前方視野画像IF1)である。このように、隊列車両がその視野を撮影するカメラを有しているときに、隊列車両の視野を撮影した隊列車両視野画像を使用すると、前前車F2等の死角情報隊列車両視野画像から直接的に抽出することができる。このため、死角情報を重畳した自車視野画像によって、乗員に提供される死角情報が現実に即した特に正確な形態となる。このため、時間の経過とともに隊列または前前車F2等の位置関係等が変化し、例えば、車両100の乗員が前前車F2を視認し得る状態になったとしても、死角情報が重畳された自車視野画像によって事前に知得した前前車F2の情報と、乗員の認識に齟齬が生じ難い。
【0069】
また、上記第1実施形態に係る情報提供方法では、死角情報として、隊列車両視野画像から、死角の範囲に含まれる車両、道路標識、または、路面標示を抽出する。これにより、死角に含まれる情報として、車両100の乗員が特に知得すべき情報が的確に提供される。
【0070】
また、上記第1実施形態に係る情報提供方法では、死角情報の加工は、抽出された死角の範囲に含まれる車両、道路標識、または、路面標示を、死角が形成されずに自車両から視認し得るときの形状及び大きさに変形することによって行う。これにより、車両100の乗員は、死角情報を重畳した自車視野画像を参照することで、特に正確な死角情報を知得できる。例えば、車両100の乗員は、前前車F2との相対距離を正しく把握することができる。
【0071】
また、上記第1実施形態に係る情報提供方法では、加工された死角情報を、死角が形成されずに自車両から視認し得るときに自車視野画像に写る位置に重畳する。これにより、これにより、車両100の乗員は、死角情報を重畳した自車視野画像を参照することで、特に正確な死角情報を知得できる。例えば、車両100の乗員は、前前車F2の相対位置を正しく把握することができる。
【0072】
[第1変形例]
なお、上記第1実施形態では、簡単のため、大型車両F1と自車両である車両100が隊列走行をしており、自車両以外の隊列車両が1台である例を挙げたが、実際的には、自車両以外に複数の車両を含め、全体として3台以上の隊列を形成する場合がある。例えば、上記第1実施形態における前前車F2が、自車両である車両100と大型車両F1とともに1つの隊列を形成する場合がある(例えば図4参照)。このように、自車両以外に複数の隊列車両があるときには、それら複数の隊列車両からそれぞれ隊列視野画像等の情報を得て、上記第1実施形態と同様に死角情報を抽出し、自車視野画像に重畳して表示することができる。
【0073】
但し、この場合、自車両である車両100にとって、複数の隊列車両が死角情報として抽出される場合がある。この場合、死角情報として抽出された各隊列車両は変形等によって大きさ等が異なるものの、これらの複数の隊列車両はほぼ自車視野画像の同じ位置に多重に重畳表示される結果となる。すなわち、自車両以外に複数の隊列車両があるときには、死角情報の重畳表示が煩雑になり、死角情報の適切な把握を妨げる場合がある。このため、死角情報抽出部37は、自車視野画像に重畳したときに多重に重畳する複数の死角情報があるときには、それらの一部を選択して、自車視野画像に重畳することが好ましい。
【0074】
例えば、上記のように複数の隊列車両が死角情報として抽出されるときには、死角情報抽出部37は、死角の範囲に含まれる複数の隊列車両のうち、隊列の先頭または最後尾にいる隊列車両を選択して自車視野画像に表示することが好ましい。隊列の先頭や最後尾にいる隊列車両の位置や距離が把握できれば、乗員は隊列の全貌を把握し得るので、これらを選択的に表示することで、煩雑さを回避した適切な情報量の死角情報が提供される。
【0075】
ここでは、複数の隊列車両が死角情報として抽出されるときに、隊列の先頭または最後尾にいる隊列車両を選択して自車視野画像に表示する例を挙げたが、その他の隊列車両を自車視野画像に表示してもよい。例えば、死角情報として複数の隊列車両が抽出されるときには、これらのうち任意台数おきに選択した所定の隊列車両を自車視野画像に表示してもよい。この場合も、死角情報として抽出された複数の隊列車両を全て自車視野画像に表示する場合と比較して、煩雑さを回避した適切な情報量の死角情報が提供される。
【0076】
また、複数の隊列車両が死角情報として抽出されるときに、これらのうち自車両から遠い一部の隊列車両を選択的に自車視野画像に表示し、自車両に近い一部の隊列車両を自車視野画像に表示しないようにしてもよい。この場合も、死角情報として抽出された複数の隊列車両を全て自車視野画像に表示する場合と比較して、煩雑さを回避した適切な情報量の死角情報が提供される。
【0077】
[第2実施形態]
なお、第1実施形態では、死角情報が隊列車両視野画像から抽出できる例を挙げているが、隊列車両視野画像から抽出できない死角情報もある。以下、本実施形態においては、隊列車両視野画像から抽出し得ない死角情報を補完する例を説明する。
【0078】
図12は、第2実施形態における隊列走行の状況を示す説明図である。図12に示すように、本実施形態においても、自車両である車両100と大型車両F1が隊列走行をしている状況は同じである。しかし、第1実施形態の隊列走行の状況(図5参照)と比較して、車線L1を走行する車両F2Lが異なる。すなわち、本実施形態では、車両F2Lが、大型車両F1とほぼ併走している。そして、車両F2Lは、自車両の前方カメラ12の死角BS1の範囲内、かつ、前車である大型車両F1の前方カメラの視野VF1の範囲外に位置する。このため、車両F2Lは、自車両の前方視野画像IFo及び大型車両F1の前方視野画像IF1のどちらにも写らない。
【0079】
そこで、自車両及び隊列車両の死角の範囲にある死角情報を提供するために、コントローラ21は、例えば次のように動作する。
【0080】
図13は、第2実施形態の状況下で隊列走行をするときの作用を示すフローチャートである。図13に示すように、ステップS201において、車車間通信により、隊列車両の設備が確認される。確認の内容は、例えば、側方カメラの有無等である。ここでは、前車である大型車両F1が左側方を撮影する側方カメラを有しているか否かが確認される。
【0081】
ステップS202において隊列車両が側方カメラを有しているときには、ステップS203において前車である大型車両F1から車両データが取得され、ステップS204において前車である大型車両F1から側方視野画像が取得される。大型車両F1の側方視野画像は、大型車両F1の側方の視野を撮影した画像である。また、大型車両F1の側方視野画像は、隊列走行視野画像である。ここでは少なくとも車線L1側の側方を撮影した側方視野画像が取得される。
【0082】
その後、ステップS205において、前車である大型車両F1の側方カメラに対する位置関係が算出される。また、前車である大型車両F1から取得された前方視野画像が広角の撮影画像であるときには、ステップS206において歪曲収差等が補正される。
【0083】
こうして前車である大型車両F1の車両データや側方視野画像が取得される一方で、ステップS207では、自車視野画像が取得される。ここでは、第1実施形態と同様に、自車前方視野画像が取得される。そして、ステップS208において、自車前方視野画像において、車両100とともに隊列走行をする前車(大型車両F1)によって形成される死角の範囲が判別される。
【0084】
その後、ステップS209において、判別された死角の範囲に含まれる死角情報が抽出される。ここでは、大型車両F1の側方視野画像に写る車両F2Lの位置やサイズ等が特定されることにより、車両F2Lの位置情報等が死角情報として抽出される。第1実施形態におけるステップS109ように、側方視野画像から車両F2L等の画像を抽出しないのは、単純な変形等では、自車前方視野画像に重畳するのに適した画像とはなり得ないからである。このため、次のステップS210では、死角情報として抽出された車両F2L等の位置やサイズの情報に応じて代替画像等が選択される。また、選択された代替画像は、自車両である車両100とその車両F2L等との位置関係に応じて、拡大、縮小、または変形等される。
【0085】
最後に、ステップS211において、変形された代替画像等は、自車前方視野画像に重畳され、ディスプレイ19に表示される。これにより、自車両(車両100)及び隊列車両(大型車両F1)の死角の範囲にある死角情報(図12における車両F2Lの位置及び大きさ等の情報)が乗員に提供される。
【0086】
一方、ステップS202において、前車である大型車両F1が側方カメラを有しないときには、ステップS212及びステップS213が順に実行される。ステップS212では、ステップS203と同様に、前車である大型車両F1の車両データが取得される。また、ステップS213では、前車である大型車両F1の側方視野画像を取得する代わりに、前車である大型車両F1が保有する他の情報が取得される。具体的には、車両F2Lの位置やサイズ等の情報であり、例えば、大型車両F1がレーザレーダ等の検出器で検出したものである。
【0087】
その後は、前車である大型車両F1が側方カメラを有する場合と同様である。但し、ステップS209では、側方視野画像の代わりに、大型車両F1から取得した車両F2Lの位置等の情報が利用される。これにより、大型車両F1が側方カメラを有しないときにも、自車前方視野画像に車両F2Lが重畳表示され、車両F2Lに係る情報が乗員に提供される。
【0088】
以上のように、第2実施形態に係る情報提供方法によれば、自車両の前方カメラ12の死角BS1の範囲内、かつ、前車である大型車両F1の前方カメラの視野VF1の範囲外の死角情報が乗員に提供される。図14は、第2実施形態において死角情報を重畳された自車両の前方視野画像IFoの例である。図14に示すように、第1実施形態に係る情報提供方法に加えて、第2実施形態に係る情報提供方法を実施すると、大型車両F1の視野VF1に含まれる前前車F2及び車両F2Rのみならず、大型車両F1の死角にある車両F2Lも自車両の前方視野画像IFoに表示される。
【0089】
[第2変形例]
上記第2実施形態では、前車である大型車両F1が側方カメラを有している場合、及び、前車である大型車両F1が側方カメラを有していない場合でもその他の方法によって自車両及び大型車両F1の死角の範囲にある死角情報(車両F2Lの位置等)が得られる。しかし、前車である大型車両F1が側方カメラを有しない上に、その他の方法によっても自車両及び大型車両F1の死角の範囲にある死角情報を検出等できない場合がある。このような場合でも、自車両とは異なる車線を走行する車両であって隊列を構成しない車両(図示しない。以下、他車線車両という)と車車間通信を行うことができるときには、車両100及び隊列車両の死角の範囲にある死角情報を乗員に提示できる。
【0090】
具体的には、他車線車両と通信可能であるときに、コントローラ21は、その他車線車両から、他車線車両の視野を撮影した画像である他車線車両視野画像(図示しない)、または、他車線車両が検知した車両等の位置情報を取得する。そして、コントローラ21は、他車線車両視野画像、または、他車線車両が検知した車両等の位置情報を用いて死角情報を補完する。
【0091】
図15は、第2変形例において隊列走行をするときの作用を示すフローチャートである。図15に示すように、他車線車両と車車間通信をすることにより、死角情報を補完するときには、まず、ステップS301において、他車線車両の設備が確認される。確認の内容は、例えば前方カメラ及び後方カメラ等の有無である。ここでは、例えば、他車線車両が、その前方の視野を撮影する前方カメラを有しているか否かが確認される。
【0092】
ステップS302において、他車線車両に前方カメラがあるときには、ステップS303においてさらに他車線車両の車両データが取得される。ここで取得される車両データは、例えば、他車線車両の車種、サイズ(長さ、幅、及び高さ等)、及び、前方カメラの取り付け位置等である。また、ステップS304において、他車線車両の前方視野画像(他車線車両視野画像)が取得される。
【0093】
そして、ステップS305において、他車線車両の前方カメラに対する位置関係(自車両の前方カメラ12に対する他車線車両の前方カメラの相対位置等)が算出される。また、他車線車両から取得された前方視野画像が広角の撮影画像であるときには、ステップS306において歪曲収差等が補正される。
【0094】
その後のステップS306からステップS311は、それぞれ第1実施形態のステップS106からステップS111と同様である。但し、これらの各ステップでは、前車の前方視野画像等の代わりに、上記のように取得された他車線車両の前方視野画像等が用いられる。
【0095】
一方、ステップS302において、他車線車両が前方カメラを有しないときには、ステップS312及びステップS313が順に実行される。ステップS312では、ステップS303と同様に、他車線車両の車両データが取得される。ステップS312で取得される車両データは、例えば、他車線車両の車種及びサイズ等である。また、ステップS313では、他車線車両の前方視野画像を取得する代わりに、他車線車両が保有する他の情報が取得される。ここで取得される他車線車両が保有する情報とは、例えば、他車線車両の周辺物(車両等)の位置やサイズの情報である。これらの情報は、例えば、他車線車両がレーザレーダ等の検出器で検出したものである。
【0096】
その後のステップS314からステップS317は、それぞれ第1実施形態のステップS114からステップS117と同様である。但し、これらの各ステップでは、前車が保有する情報を使用する代わりに、上記のように取得された他車線車両が保有する情報が用いられる。
【0097】
上記のように、第2変形例の情報提供方法によれば、車両100及び隊列車両の死角の範囲にある死角情報が補完され、自車視野画像に重畳表示される。これにより、車両100及び隊列車両の死角の範囲にある死角情報が乗員に提示される。上記第2変形例の情報提供方法は、隊列車両が前方カメラ等の他、周辺物の位置を検知するレーザレーダ等も有しないときにも、死角情報が補われ、乗員に提供される点において特に有用である。
【0098】
なお、上記第2変形例においては、自車両である車両100が他車線車両と直接に車車間通信を行っているが、他車線車両との車車間通信は、例えば大型車両F1等の隊列車両を中継して間接的に行ってもよい。
【0099】
[第3変形例]
上記第2変形例においては、自車両である車両100が直接的にまたは間接的に他車線車両と車車間通信が可能である場合を説明したが、隊列の周辺に車車間通信を行うことができる他車線車両がない場合がある。この場合には、以下の方法で、車両100及び隊列車両の死角の範囲にある死角情報を乗員に提示できる。なお、ここでは、図12における車両F2Lのように、隊列とは異なる車線を走行しており、車両100及び隊列車両(大型車両F1)の死角にある車両(以下、併走車両という)に係る死角情報を補完し、乗員に提供する。
【0100】
図16は、第3変形例において隊列走行をするときの作用を示すフローチャートである。図16に示すように、まず、ステップS401では、コントローラ21によって、併走車両の速度が算出される。併走車両の速度は、例えば、過去に取得した自車視野画像及び/または隊列車両視野画像を用いて算出される。併走車両は、現在の自車視野画像及び隊列車両視野画像に写っていないが、過去に隊列を追い越し、または、隊列に追い越されることで自車両及び隊列車両の死角に入る。したがって、過去に取得した自車視野画像及び/または隊列車両視野画像には併走車両が写る。このため、過去に取得した自車視野画像及び/または隊列車両視野画像における併走車両の移動速度を算出することにより、併走車両の速度が算出される。
【0101】
次のステップS402では、コントローラ21によって、併走車両の位置が推定される。併走車両の位置は、過去に取得した自車視野画像及び/または隊列車両視野画像に併走車両が写っていた時刻等と、ステップS401で算出された併走車両の速度と、から推定される。
【0102】
その後、ステップS403において、隊列車両の設備が確認される。ここで確認される設備は、例えば、側方レーダ等である。ステップS404において、隊列車両が側方レーダ等を有しているときには、ステップS405において、併走車両の推定位置が補正される。なお、ステップS404において、隊列車両がいずれも側方レーダ等を有しておらず、併走車両の推定位置の修正が実施できないときにはステップS405は省略される。
【0103】
ステップS406では、上記のように推定された併走車両の位置に応じて、代替画像等が選択される。また、選択された代替画像は、車両100と併走車両との位置関係に応じて、拡大、縮小、または変形等される。そして、ステップS407では、変形された代替画像等が自車視野画像に重畳され、ディスプレイ19に表示される。代替画像の変形量や自車視野画像における表示位置の決定方法は、第1実施形態等と同様である。
【0104】
以上のように、第3変形例に係る情報表示方法は、現在の自車視野画像及び隊列車両視野画像に写っていない併走車両があるときに、過去に取得した前記自車視野画像及び/または隊列車両視野画像を用いて併走車両の位置を推定することにより、死角情報を補完するものである。これにより、車両100及び隊列車両の死角の範囲にある併走車両に係る死角情報が乗員に提供される。
【0105】
[第3実施形態]
第1実施形態、第2実施形態、及びこれらの変形例では、自車両である車両100を含め、隊列を構成する車両の順序は任意である。このため、隊列内での車両の配置順序(以下、隊列順序という)によっては、隊列内の複数の車両で第1実施形態等による情報提供が必要になる。そして、第1実施形態等の情報提供をするとしても、自車視野画像における死角情報の重畳表示が煩雑になってしまう場合がある。そこで、第3実施形態では、車両100に、隊列を構成する各車両の死角を総合的に低減するための適切な隊列順序を決定し、これを自車両または隊列車両の乗員に提案する機能を付加する。
【0106】
図17は、第3実施形態におけるコントローラ21の構成を示すブロック図である。図17に示すように、第3実施形態のコントローラ21は、運転支援制御部34に推奨隊列決定部501を備える。それ以外の構成は、第1実施形態と同様である。
【0107】
推奨隊列決定部501は、自車両及び隊列車両のサイズまたは設備に基づいて推奨隊列順序を決定する。隊列車両から取得する情報として、他の車両のサイズまたは設備に関する情報は、第1実施形態等と同様に情報取得部31によって取得されるものである。また、推奨隊列順序は、第1実施形態等の情報提供方法によって死角情報を提供するにあたって、推奨する隊列順序である。推奨隊列順序は、隊列を構成する各車両の死角を総合的に低減する観点で決定される。例えば、自車両及び隊列車両における各視認性が最も確保できる隊列順序が、推奨隊列順序とされる。
【0108】
また、推奨隊列決定部501は、決定した推奨隊列順序を、報知処理部41に入力し、情報提供装置18に出力させる。これにより、推奨隊列順序を、自車両である車両100の乗員に案内する。また、推奨隊列決定部501は、決定した推奨隊列順序を、車車間通信によって隊列車両に提供することにより、隊列車両の乗員にこれを案内する。すなわち、推奨隊列決定部501は、必要に応じて、推奨隊列順序を自車両及び/または隊列車両の乗員に案内することができる。
【0109】
推奨隊列順序の案内に応じて、自車両及び/または隊列車両の乗員が隊列順序を変更すれば、第1実施形態等による死角情報の提供において自車視野画像の表示が簡素かつ明確になる。その結果、第1実施形態等によって提供される死角情報は、より適切に乗員に知得される。
【0110】
自車両または隊列車両の誘導等により、自動的または半自動的に隊列順序が制御され得るときには、推奨隊列決定部501は、その隊列順序を制御するシステムに推奨隊列順序を案内してもよい。また、隊列車両の合流または離脱があったときには、推奨隊列決定部501は、これを考慮して推奨隊列順序を再度決定し、案内することができる。隊列車両または隊列車両の設備に故障が発生したとき(故障が予見されるときを含む)には、推奨隊列決定部501は、これを考慮して推奨隊列順序を再度決定し、案内することができる。また、隊列走行をするときには、隊列を構成する隊列車両の具体的構成等に応じて複数種類の推奨隊列順序を決定し得る。このため、複数の推奨隊列順序があり、それらの優劣を決定し難いときには、推奨隊列決定部501は、隊列車両のその他の性能(第1実施形態等の情報提供方法に直接的には関連しない性能)に基づいて、1つの推奨隊列順序を案内することができる。
【0111】
推奨隊列決定部501は、例えば、以下のように推奨隊列順序を決定する。図18は、推奨隊列順序の一例を示す説明図である。図18に示すように、ここでは車両PV1、車両PV2、及び、車両PV3の3台の車両が隊列P1を形成しているとする。車両PV1は隊列車両の中で最も小型の車両であり、車両PV3は隊列車両の中で最も大型の車両である。そして、車両PV2は、隊列車両の中で車両PV1と車両PV2の中間のサイズを有する車両である。また、隊列P1の隊列順序は、先頭が最も小型の車両PV1とし、先頭から車両のサイズ順に各車両PV1,PV2,PV3を配置する隊列順序である。また、隊列P1の前方には隊列を構成しない車両GV1があり、隊列P1の後方には隊列を構成しない車両GV2があるものとする。
【0112】
このように、車両のサイズが小さい順に自車両及び隊列車両を配置する隊列順序は、推奨隊列順序の1つである。図19は、隊列を推奨隊列順序(隊列P1)にしたときの前方視野画像の例である。図19に示すように、隊列P1の隊列順序とすると、例えば、車両PV3の視点の高さ(前方カメラの取り付け位置の高さ)によって、車両PV3の前方視野画像I3では車両PV2及び車両GV1が写る。このため、第1実施形態等の情報提供方法によって前方視野画像I3に重畳すべき死角情報は、車両PV1に係る死角情報である。
【0113】
一方、車両のサイズが大きい順に自車両及び隊列車両を配置する隊列順序は、非推奨の隊列順序の1つである。図20は、非推奨の隊列順序の一例を示す説明図である。図20に示すように、隊列P2の隊列順序は、先頭を車両PV3とし、先頭からサイズが大きい順に各車両を配置する隊列順序である。その他の状況は図19の状況と同様である。図21は、隊列を非推奨の隊列順序にしたときの前方視野画像の例である。図21に示すように、隊列P2の隊列順序とすると、例えば、最後尾の車両PV1の前方視野画像I1には、直前を走行する車両PV2しか写らない。このため、第1実施形態等の情報提供方法によって、前方視野画像I1に重畳すべき死角情報は、車両PV3及び車両GV1の2つとなる。そして、車両PV3及び車両GV1の死角情報は、前方視野画像I1内において重複する。このため、前方視野画像I1は、車両PV3及び車両GV1の死角情報の重畳表示によって煩雑である。
【0114】
図19の前方視野画像I3と図21の前方視野画像I1の比較から分かる通り、隊列P1のように、車両のサイズが小さい順に隊列車両を配置する隊列順序は推奨隊列順序の1つである。したがって、推奨隊列決定部501は、隊列車両の車両データに基づいて、車両のサイズが小さい順に自車両及び隊列車両を配置する隊列順序を、推奨隊列順序として案内することができる。
【0115】
上記の他、推奨隊列順序は、隊列の最後尾車両を、自車両または隊列車両のうち、車両後方の視野を撮影する後方カメラを有する車両にする隊列順序であることが好ましい。このように推奨隊列順序を決定すると、自車両及び隊列車両の中に後方カメラを有する車両が1台でもあれば、第1実施形態等による情報提供方法によって、隊列の後方を走行する車両GV2等に係る死角情報が乗員に提供される。さらに、この推奨隊列順序によれば、第1実施形態等による情報提供方法によって隊列の後方を走行する車両GV2等の自車後方視野画像における表示位置等が、特に正確に決定される。
【0116】
また、推奨隊列順序は、自車両または隊列車両のうち、視野を撮影するカメラを有しない車両を、隊列の先頭及び最後尾を除いた隊列の中間に配置する隊列順序であることが好ましい。このように推奨隊列順序を決定すれば、隊列の前方または後方の死角に係る情報を、先頭及び最後尾の車両の視野画像から直接的に得られる。その結果、第1実施形態等による情報提供方法によって、より現実に即した形態で死角情報が乗員に提供される。さらに、この推奨隊列順序によれば、第1実施形態等による情報提供方法によって隊列の前後を走行する車両GV1,GV2等の自車視野画像における表示位置等が、特に正確に決定される。
【0117】
また、隊列を形成する自車両及び隊列車両に大型車両が含まれているとする。この場合、推奨隊列順序は、自車両または隊列車両のうち、大型車両によって形成される死角に位置する車両を検知し得る車両を大型車両の前及び/または後ろに配置する隊列順序であることが好ましい。大型車両は大型であることから、前後を走行する車両の視界に大きな死角を形成しやすい。このため、大型車両が形成する死角にある車両等を検知し得る車両を大型車両の前後に配置すると、大型車両によって死角が形成されたとしても、第1実施形態等による情報提供方法によって、自車両及び隊列車両は大型車両が形成する死角に係る死角情報が正確に乗員に提供されやすい。さらに、この推奨隊列順序によれば、第1実施形態等による情報提供方法によって、自車視野画像における死角情報の表示位置等が、特に正確に決定される。
【0118】
また、隊列を形成する自車両及び隊列車両に大型車両が含まれており、かつ、この大型車両が前方の視野を撮影する前方カメラと後方の視野を撮影する後方カメラとを有するとする。この場合、推奨隊列順序は、先頭から車両のサイズが小さい順に自車両及び隊列車両を配列する隊列順序であることが好ましい。こうして前方カメラと後方カメラを有する大型車両を後方(特に最後尾)に配置すると、この大型車両によって隊列の前方及び後方を広範囲に撮影できる。例えば、小型の車両PV1を最後尾に配置すると(例えば図20参照)、この小型の車両PV1の後方カメラでは、後方カメラが取り付けられた高さが低いため、隊列の後方を走行する車両GV2を撮影できない。しかし、大型の車両PV3を最後尾に配置すると(例えば図18参照)、大型の車両PV3における後方カメラの取り付け位置が高いため、隊列の後方を走行する車両GV2を撮影できる。このため、第1実施形態等による情報提供方法によって、自車両及び隊列車両は大型車両が形成する死角に係る死角情報が正確に乗員に提供されやすい。さらに、この推奨隊列順序によれば、第1実施形態等による情報提供方法によって、自車視野画像における死角情報の表示位置等が、特に正確に決定される。
【0119】
また、隊列を形成する自車両及び隊列車両に2台以上の大型車両が含まれており、少なくとも1台の大型車両が前方の視野を撮影する前方カメラを有し、かつ、少なくとも別の1台の大型車両が後方の視野を撮影する後方カメラを有するとする。この場合、推奨隊列順序は、先頭に前方カメラを有する大型車両を配置し、最後尾に後方カメラを有する大型車両を配置し、かつ、隊列の先頭及び最後尾を除いた隊列の中間に配置する車両を先頭及び最後尾から車両のサイズが小さい順に配列する隊列順序であることが好ましい。この推奨隊列順序は、先頭及び最後尾に配置する大型車両のカメラの取り付け位置が他の隊列車両よりも高い位置になるので、隊列の前方及び後方の視野を広く撮影しやすい。また、隊列の中間の部分的な隊列(中間隊列)においても、先頭及び最後尾から車両のサイズが小さい順に隊列車両を配列するので、前方及び後方の視野が広く撮影される。その結果、第1実施形態等に係る情報提供方法によって、自車両及び隊列車両は隊列走行をすることによって形成される死角に係る死角情報が正確に乗員に提供されやすい。さらに、この推奨隊列順序によれば、第1実施形態等による情報提供方法によって、自車視野画像における死角情報の表示位置等が、特に正確に決定される。
【0120】
以上、本発明の実施形態について説明したが、上記実施形態及び各変形例で説明した構成は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を限定する趣旨ではない。例えば、上記各実施形態及び変形例は、その一部または全部を組み合わせて実施することができる。
【符号の説明】
【0121】
10 :車両駆動系
11 :撮影装置
12 :前方カメラ
13 :後方カメラ
14 :検出器
15 :周辺物検出器
16 :自車位置検出器
17 :車車間通信機
18 :情報提供装置
19 :ディスプレイ
20 :スピーカ
21 :コントローラ
31 :情報取得部
32 :自車両情報取得部
33 :他車両情報取得部
34 :運転支援制御部
35 :画像処理部
36 :死角範囲判別部
37 :死角情報抽出部
38 :加工部
39 :合成部
41 :報知処理部
100 :車両
501 :推奨隊列決定部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21