特開 2023-84933 運転支援装置及び運転支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023084933

(43)【公開日】2023-06-20

(54)【発明の名称】運転支援装置及び運転支援方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230613BHJP

   B60R 1/20 20220101ALI20230613BHJP

【ＦＩ】

G08G1/16 C

B60R1/20 100

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021199336

(22)【出願日】2021-12-08

(71)【出願人】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】塩口 拓真

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181CC04

5H181CC14

5H181FF22

5H181FF25

5H181FF27

5H181FF33

5H181FF40

5H181LL01

5H181LL02

5H181LL04

5H181LL07

5H181LL08

(57)【要約】

【課題】車両の周囲に所在する他車両について詳細な情報の収集を実現し、もって車両走行の安全性向上に寄与すること。
【解決手段】車体の下側に設置されたカメラにより撮影された、自車両の前方及び／又は後方の映像を取得する映像取得部と、前記映像取得部により取得された映像を画像処理し、映像内に所在する複数の画像要素の挙動から前記自車両に最も近い車両である近接車両と、近接車両の向こう側に所在する車両である非近接車両とを認識する画像認識部と、を備える。画像認識部は、前記映像内において最も大きく映っている予め定められた所定形状の画像要素を前記近接車両の車輪として認識し、前記近接車両の車輪よりも小さく映っている前記所定形状の画像要素であって、かつ、前記近接車両の車輪とは異なった動きをする画像要素を前記非近接車両の車輪として認識する。
【選択図】図１

【特許請求の範囲】

【請求項1】

車体の下側に設置されたカメラにより撮影された、自車両の前方及び／又は後方の映像を取得する映像取得部と、
前記映像取得部により取得された映像を画像処理し、映像内に所在する複数の画像要素の挙動から前記自車両に最も近い車両である近接車両と、近接車両の向こう側に所在する車両である非近接車両とを認識する画像認識部と、
を備えたことを特徴とする運転支援装置。

【請求項2】

請求項１記載の運転支援装置であって、
前記画像認識部により前記非近接車両が認識された場合に、当該非近接車両の存在および位置を前記自車両の運転者に報知する報知画像を生成する非近接車両画像生成部と、
前記報知画像を前記自車両の車室内のディスプレイに表示する表示制御部と、をさらに備え、
前記画像認識部は、
前記映像内において最も大きく映っている予め定められた所定形状の画像要素を前記近接車両の車輪として認識し、
前記近接車両の車輪よりも小さく映っている前記所定形状の画像要素であって、かつ、前記近接車両の車輪とは異なった動きをする画像要素を前記非近接車両の車輪として認識することを特徴とする運転支援装置。

【請求項3】

請求項２記載の運転支援装置であって、前記報知画像は、前記自車両、前記近接車両及び前記非近接車両の隊列を表示する広域鳥瞰画像であることを特徴とする運転支援装置。

【請求項4】

請求項３記載の運転支援装置であって、
前記カメラはステレオカメラであり、
前記画像認識部は、前記ステレオカメラの出力を用いて前記自車両と前記近接車両及び／又は前記非近接車両の車輪との距離を認識し、
前記非近接車両画像生成部は、前記画像認識部によって認識された距離を反映した位置に各車両の像を配置して前記広域鳥瞰画像を生成することを特徴とする運転支援装置。

【請求項5】

請求項４記載の運転支援装置であって、
前記画像認識部が認識した前記非近接車両の車輪の大きさと前記自車両と前記非近接車両との距離から当該非近接車両の大きさを推定する車両推定部をさらに備え、
前記報知画像は、前記車両推定部が推定した前記非近接車両の大きさを反映した前記広域鳥瞰画像であることを特徴とする運転支援装置。

【請求項6】

請求項３記載の運転支援装置であって、
自車両周辺の物体を測距するレーダ装置をさらに備え、
前記画像認識部が認識した前記非近接車両の車輪の大きさと前記レーダ装置により測距された当該非近接車両との距離から当該非近接車両の大きさを推定する車両推定部をさらに備え、
前記報知画像は、前記車両推定部が推定した前記非近接車両の大きさを反映した前記広域鳥瞰画像であることを特徴とする運転支援装置。

【請求項7】

請求項３記載の運転支援装置であって、
前記自車両の周辺を現に撮影して得られた複数の映像を合成して、前記自車両の上方から撮影を行った場合に得られると想定される俯瞰画像を生成する俯瞰画像生成部をさらに備え、
前記表示制御部は、前記俯瞰画像を前記ディスプレイに表示中に、広域表示を求める操作を一定以上受け付けたときに、前記広域鳥瞰画像を前記ディスプレイに表示することを特徴とする運転支援装置。

【請求項8】

運転支援装置が、
車体の下側に設置されたカメラにより撮影された、自車両の前方及び／又は後方の映像を取得する映像取得ステップと、
前記映像取得ステップにより取得された映像を画像処理し、映像内に所在する複数の画像要素の挙動から前記自車両に最も近い車両である近接車両と、近接車両の向こう側に所在する車両である非近接車両とを認識する画像認識ステップと、
を含むことを特徴とする運転支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の運転を支援する運転支援装置及び運転支援方法に関する。

【背景技術】

【0002】

従来、車両にレーダやカメラ等を搭載し、自車両の周囲に存在する障害物や他車両を検知することが行われている。しかし、トラックなどの大きな障害物が自車両の前後に位置する場合、レーダやカメラによる検知が阻害され、障害物の延長線上に位置する他車両の動向が把握できない場合がある。例えば、自車両が追い越しをするために車線変更しようとしたタイミングと時を同じくして前の前の車両が車線変更を行うと、追い越しができない事態が生じうる。特に、高速道路の乗降のケースでは、これらの影響は深刻となる。

【0003】

他車両によって生じる死角の物体を検知する技術として、特許文献１がある。この特許文献には、「送受信手段が、電波からなるレーダ波を送受信し、この送受信手段からの出力に基づいて、物体検出手段が、レーダ波を反射した物体を検出する。すると、対象車両抽出手段が、物体検出手段にて検出された物体から、監視対象となる対象車両を抽出すると共に、死角物体抽出手段が、物体検出手段にて検出された物体から、対象車両抽出手段にて抽出された対象車両によって死角となる位置に存在する死角物体を抽出する。」と記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６－３４９４５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１では、レーダの反射を利用し、死角に物体が存在することを検知可能である。しかしながら、その物体の種類や挙動などに関する情報を十分に得ることはできない。例えば、自車両の前を走行する前方車両のさらに前に、前々方車両が存在する場合に、前々方車両が大型車両か小型車両か、前々方車両がどのような挙動をしているか、などは運転者にとって重要な情報である。

【0006】

そこで、本発明では、車両の周囲に所在する他車両について詳細な情報の収集を実現し、もって車両走行の安全性向上に寄与することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、代表的な本発明の運転支援装置の一つは、車体の下側に設置されたカメラにより撮影された、自車両の前方及び／又は後方の映像を取得する映像取得部と、前記映像取得部により取得された映像を画像処理し、映像内に所在する複数の画像要素の挙動から前記自車両に最も近い車両である近接車両と、近接車両の向こう側に所在する車両である非近接車両とを認識する画像認識部と、を備えたことを特徴とする。

【発明の効果】

【0008】

本発明によれば、車両の周囲に所在する他車両について詳細な情報の収集を実現し、もって車両走行の安全性向上に寄与することができる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】実施例１の運転支援の概要を説明する説明図。

【図2】実施例１の運転支援装置の構成図。

【図3】車体下部カメラの取付位置についての説明図。

【図4】報知画像の説明図。

【図5】運転支援装置による車両検知の処理手順を示すフローチャート。

【図6】報知画像の出力の処理手順を示すフローチャート。

【図7】表示出力と操作の具体例（その１）。

【図8】表示出力と操作の具体例（その２）。

【図9】非近接車両の報知の変形例。

【発明を実施するための形態】

【0010】

以下、実施例について図面を用いて説明する。

【実施例0011】

図１は、実施例１の運転支援の概要を説明する説明図である。車両Ｃ１０の車体の下側には、車体下部カメラ１１ｆが設置されている。車体下部カメラ１１ｆは、自車両である車両Ｃ１０の前方の映像を撮影する。車両Ｃ１０に搭載された運転支援装置は、車体下部カメラ１１ｆにより撮影された映像を取得し、自車両Ｃ１０の前方に所在する他車両を検知する。

【0012】

図１では、車両Ｃ１０の前方を車両Ｃ１１が走行している。さらに、車両Ｃ１１の前方を車両Ｃ１２が走行している。取付位置の低い車体下部カメラ１１ｆは、車両Ｃ１１及び車両Ｃ１２の車体の下側を撮影するので、車両Ｃ１１の車輪Ｗ１と車両Ｃ１２の車輪Ｗ２を含む映像が得られる。

【0013】

車両Ｃ１０に搭載した運転支援装置は、車体下部カメラ１１ｆから取得した映像を画像処理し、映像内に所在する複数の画像要素の挙動から自車両Ｃ１０に最も近い車両Ｃ１１と、車両Ｃ１１の向こう側に所在する車両Ｃ１２とを認識する。

【0014】

ここで、自車両Ｃ１０に最も近い車両を、便宜上、近接車両という。また、近接車両の向こう側に存在する車両を、便宜上、非近接車両という。また、映像内に所在する画像要素として、車輪（すなわちタイヤ）の像を用いる。

【0015】

運転支援装置は、例えば次のような画像処理を実行する。
まず、運転支援装置は、車輪の形状を映像内から抽出する。抽出した車輪のうち、映像内のサイズが最も大きい車輪を近接車両の車輪とする。そして、近接車両の車輪の動きとは異なる動きをする車輪を検出することによって、近接車両の車体の下から覗き見える、非近接車両の車輪を認識する。

【0016】

このように、運転支援装置は、車輪を検知し、車輪の動きを識別することで、前方車両である近接車両Ｃ１１と、前々方車両である非近接車両Ｃ１２を検知することができる。
さらに、運転支援装置は、画像認識を用いることで、近接車両や非近接車両について各種推定を行うことができる。一例として、車輪の数や車輪の幅などから、近接車両や非近接車両の種別（大型車両であるか小型車両であるか等）を推定可能である。また、非近接車両の車輪の挙動から、非近接車両の車線変更を予測可能である。

【0017】

図１を参照して説明したように、運転支援装置は、車体下部カメラ１１ｆにより足元からセンシングすることで、運転者からは視認できない領域の車両の動向を取得することが可能になる。この結果、視認不可車両の動向を運転者に効果的に提示することができる。

【0018】

図２は、実施例１の運転支援装置の構成図である。図２に示すように、運転支援装置２０は、車体下部カメラ１１、周辺監視カメラ１２、ウィンカーレバー１３、ステアリングセンサ１４、ディスプレイ３０などと接続される。

【0019】

車体下部カメラ１１は、車両Ｃ１０の車体の下側に設けられたカメラである。車体下部カメラ１１は、１台であってもよいが、複数設置してもよい。本実施例では、車体下部カメラ１１を複数設ける構成を例に説明を行う。複数の車体下部カメラ１１のうち、前方を撮影するカメラが車体下部カメラ１１ｆ、後方を撮影するカメラが車体下部カメラ１１ｒである。また、車体下部カメラ１１ｆや車体下部カメラ１１ｒはステレオカメラであってもよい。

【0020】

周辺監視カメラ１２は、車両Ｃ１０の周辺を撮影するカメラであり、前後のボンネット、左右のドアミラーなど、複数個所に設けられる。周辺監視カメラ１２に加えて車両周辺の物体を検知する任意のセンサを搭載してもよい。
ウィンカーレバー１３は、ウィンカーランプ（方向指示灯）を操作するための操作手段である。ステアリングセンサ１４は、車両１０の操舵角を取得するセンサである。この他、車両Ｃ１０の走行に関する任意のセンサを搭載してもよい。

【0021】

ディスプレイ３０は、車両Ｃ１０の室内に設置される表示部である。また、ディスプレイ３０は、任意の入力インタフェースを操作手段として備える。入力インタフェースは、ディスプレイ３０と一体化したタッチパネルであってもよいし、物理的なボタンであってもよい。本実施例では、ディスプレイ３０に一体化したタッチパネルを備えるものとして説明を行う。

【0022】

運転支援装置２０は、映像取得部２１、画像認識部２２、車両推定部２３、非近接車両画像生成部２４、俯瞰画像生成部２５、車両状態取得部２６及び表示制御部２７を有する。運転支援装置２０をコンピュータで実現する場合には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がプログラムを実行することで、映像取得部２１、画像認識部２２、車両推定部２３、非近接車両画像生成部２４、俯瞰画像生成部２５、車両状態取得部２６及び表示制御部２７に対応する機能を実現すればよい。

【0023】

映像取得部２１は、車体下部カメラ１１により撮影された、自車両の前方や後方の映像を取得する処理部である。
画像認識部２２は、映像取得部２１により取得された映像を画像処理し、映像内に所在する複数の画像要素の挙動から自車両に最も近い車両である近接車両と、近接車両の向こう側に所在する車両である非近接車両とを認識する。

【0024】

画像認識部２２の処理の一例を説明する。
画像認識部２２は、映像内において最も大きく映っている予め定められた所定形状の画像要素を近接車両の車輪として認識し、近接車両の車輪よりも小さく映っている所定形状の画像要素であって、かつ、近接車両の車輪とは異なった動きをする画像要素を非近接車両の車輪として認識する。
また、画像認識部２２は、近接車両や非近接車両までの距離を求めることも可能である。例えば、車体下部カメラ１１がステレオカメラであれば、視差に相当する映像の差分から自車両と近接車両や非近接車両の車輪との距離を認識することができる。また、車体幅、車輪幅などから距離を推定してもよい。また、レーダなどを併用して、距離を特定してもよい。

【0025】

車両推定部２３は、画像認識を用いることで、近接車両や非近接車両について各種推定を行う。具体的には、車輪の数や車輪の幅などから、近接車両や非近接車両の種別（大型車両であるか小型車両であるか等）を推定可能である。また、非近接車両の車輪の挙動から、非近接車両の車線変更を予測可能である。また、例えば非近接車両までの距離を求めている場合には、車輪の大きさと非近接車両までの距離から非近接車両の大きさを推定することができる。

【0026】

非近接車両画像生成部２４は、画像認識部２２により非近接車両が認識された場合に、当該非近接車両の存在および位置を自車両の運転者に報知する報知画像を生成する処理部である。
この報知画像は、一例として、自車両、近接車両及び非近接車両の隊列を表示する広域鳥瞰画像である。ここで、本実施例において鳥瞰画像とは、自車両の上方であって、自車両から水平方向に所定の距離を有する仮想の視点から、自車両及びその周囲の物体を描画した画像をいうものとする。また、広域鳥瞰画像とは、鳥瞰画像であって、近接車両と非近接車両を描画範囲に含む画像をいうものとする。

【0027】

非近接車両画像生成部２４は、近接車両や非近接車両を示すイメージを、自車両のイメージの前後に配置することで、近接車両や非近接車両の存在と位置を示す広域鳥瞰画像を生成する。近接車両や非近接車両について、車両の種別（大型車両であるか小型車両であるか等）を識別できていれば、車両の種別を示すイメージを配置する。車両の種別を識別できていなければ、車両が存在することを示すイメージを配置する。このときには、車両の種別が不明であることを示すイメージを用いてもよい。

【0028】

また、非近接車両画像生成部２４は、画像認識部２２によって距離が認識されている場合には、認識された距離を反映した位置に各車両の像を配置して、広域鳥瞰画像を生成する。
さらに、非近接車両画像生成部２４は、車両推定部２３が非近接車両の大きさを推定したならば、推定された大きさを反映した広域鳥瞰画像を生成する。

【0029】

俯瞰画像生成部２５は、俯瞰画像を生成する処理部である。ここで、本実施例において俯瞰画像とは、自車両の上方から撮影を行った場合に得られると想定される画像であり、鳥瞰画像は俯瞰画像に含まれるものとする。
俯瞰画像生成部２５は、周辺監視カメラ１２により撮影された映像を合成して、俯瞰画像を生成する。すなわち、俯瞰画像生成部２５が生成する俯瞰画像は、自車両の周辺を現に撮影して得られた複数の映像から生成されるものである。

【0030】

俯瞰画像生成部２５と非近接車両画像生成部２４とは、ともに鳥瞰画像を生成することができるが、俯瞰画像生成部２５が現に撮影された映像を合成して鳥瞰画像を生成するのに対し、非近接車両画像生成部２４は、近接車両と非近接車両のイメージを配置して仮想の画像を生成する点が異なる。

【0031】

車両状態取得部２６は、ウィンカーレバー１３やステアリングセンサ１４などから、車両の状態を取得する。これらの状態は、一例として、車線変更の予測に用いることができる。この他、車両１０の速度や変速機の状態など、任意の情報を取得し、車両の挙動の予測に用いることができる。

【0032】

表示制御部２７は、ディスプレイ３０の表示内容を制御する。表示内容としては、車両１０の走行経路に関するナビゲーション画面、ラジオ操作画面、音楽コンテンツ操作画面、車両情報表示画面、テレビ画面など任意であるが、本実施例で重要な表示出力は、非近接車両画像生成部２４により生成された非近接車両の報知画像である。

【0033】

非近接車両画像生成部２４の報知画像は、任意の形式でよい。報知画像の表示出力のタイミングの１つは、自車両の乗員（例えば運転者）による明示の操作である。この他、車両の操作状態に応じ、乗員の操作によらず非近接車両の報知画像を表示してもよい。

【0034】

報知画像の出力の明示の操作として、例えば、「俯瞰画像生成部２５が生成した俯瞰画像をディスプレイ３０に表示中に、広域表示を求める操作を一定以上受け付けた」ことを用い、報知画像の一種である広域鳥瞰画像を表示してもよい。俯瞰画像生成部２５の俯瞰画像は、現に撮影された範囲で生成されるため、撮影範囲の外側は表示できない。俯瞰画像生成部２５の俯瞰画像を表示中に、その限界を超えて広域表示が求められたならば、俯瞰画像生成部２５の俯瞰画像の外側について情報を求める操作、すなわち、非近接車両画像生成部２４が生成した報知画像を求める操作として扱うのである。かかる動作を採用すれば、俯瞰画像生成部２５の俯瞰画像から非近接車両画像生成部２４の仮想画像に、円滑に表示を推移させることができる。

【0035】

図３は、車体下部カメラの取付位置についての説明図である。図３に示したように、車体下部カメラ１１ｆは、フロント側の車体の下側に取り付けられ、自車両である車両Ｃ１０の前方の映像を撮影する。車体下部カメラ１１ｒは、リア側の車体の下側に取り付けられ、自車両である車両Ｃ１０の後方の映像を撮影する。車体下部カメラ１１ｆが撮影した映像は、車両Ｃ１０の前方の近接車両及び非近接車両の検知に用いられ、車体下部カメラ１１ｒが撮影した映像は、車両Ｃ１０の後方の近接車両及び非近接車両の検知に用いられる。

【0036】

図４は、報知画像の説明図である。図４に示した報知画像は、自車両Ｃ１０を囲む環状の表示要素Ｇ１０を表示しており、表示要素Ｇ１０の外側が、非近接車両画像生成部２４によって生成された広域鳥瞰画像である。すなわち、図４の広域鳥瞰画像において、前方の近接車両Ｃ１１、前方の非近接車両Ｃ１２、後方の近接車両Ｃ２１、後方の非近接車両Ｃ２２は、非近接車両画像生成部２４によって配置されたイメージである。配置の位置関係は、画像認識部２２による認識結果に応じて決定され、距離の情報がある場合には距離を反映して配置される。また、近接車両Ｃ１１及び近接車両Ｃ２１は、車両推定部２３により大型車両であると識別されているため、大型車両であることを示すイメージが用いられている。一方、非近接車両Ｃ１２及び非近接車両Ｃ２２は、車両種別が識別されていないため、種別不明の車両に対応するイメージとして直方体が用いられている。

【0037】

図４では、表示要素Ｇ１０の内側には、俯瞰画像生成部２５により生成された鳥瞰画像を用いている。このため、表示要素Ｇ１０の内側については、現に撮影された映像に基づく詳細な情報が含まれる。なお、図４に示すように、俯瞰画像生成部２５の鳥瞰画像と非近接車両画像生成部２４の鳥瞰画像を連続させて報知画像を生成する場合には、双方の鳥瞰画像の仮想の視点を一致させることが好適である。

【0038】

図５は、運転支援装置による車両検知の処理手順を示すフローチャートである。この処理は、例えば車載機器に電源が供給されている場合に繰り返し実行される。また、この処理は、前方と後方について個別に実行する。まず、映像取得部２１は、車体下部カメラ１１の映像を取得する（ステップＳ１０１）。画像認識部２２は、取得された映像から最も自車両側の車輪を検出し（ステップＳ１０２）、検出した車輪と同一挙動の車輪を検出する（ステップＳ１０３）。

【0039】

画像認識部２２は、同一挙動の車輪を近接車両と判定し（ステップＳ１０４）、近接車両の車輪と挙動の異なる車輪を検出する（ステップＳ１０５）。該当する車輪が存在しなければ（ステップＳ１０６；Ｎｏ）、画像認識部２２は、そのまま処理を終了する。該当する車輪が存在するならば（ステップＳ１０６；Ｙｅｓ）、画像認識部２２は、近接車両の向こう側に非近接車両が存在すると判定し（ステップＳ１０７）、車両情報を判定して（ステップＳ１０８）、処理を終了する。なお、車両情報としては、距離、種別、挙動が含まれる。本実施例では、距離と挙動は、画像認識部２２により認識され、種別は車両推定部２３により推定される。

【0040】

図６は、報知画像の出力の処理手順を示すフローチャートである。この処理は、自動で、又は乗員操作に基づいて、俯瞰画像の表示が必要となった場合に開始される。まず、俯瞰画像生成部２５は、周辺監視カメラ１２から映像を取得し（ステップＳ２０１）、取得した映像を合成して俯瞰画像を生成する（ステップＳ２０２）。

【0041】

表示制御部２７は、生成された俯瞰画像のうち、自車両近傍がディスプレイ３０に表示されるように表示制御を行う（ステップＳ２０３）。自車両近傍の俯瞰画像を表示した状態で、より広域の表示を求める広域表示操作を受け付けたならば（ステップＳ２０４；Ｙｅｓ）、表示制御部２７は、俯瞰画像の全体がディスプレイ３０に表示されるように表示制御を行う（ステップＳ２０５）。なお、自車両近傍の俯瞰画像を表示した状態で、広域表示操作を受け付けていなければ（ステップＳ２０４；Ｎｏ）、自車両近傍の俯瞰画像を継続して表示する（ステップＳ２０３）。

【0042】

俯瞰画像を全体表示した状態（ステップＳ２０５）で、所定時間以上の広域表示操作を受け付けたならば（ステップＳ２０６；Ｙｅｓ）、非近接車両画像生成部２４が自車両、近接車両および非近接車両の隊列を表示する広域鳥瞰画像を生成し（ステップＳ２０７）、表示制御部２７が広域鳥瞰画像をディスプレイ３０に表示させて（ステップＳ２０８）、処理を終了する。なお、俯瞰画像を全体表示した状態で、所定時間以上の広域表示操作を受け付けていなければ（ステップＳ２０６；Ｎｏ）、俯瞰画像の全体表示を継続する（ステップＳ２０５）。

【0043】

次に、図７及び図８を参照し、表示出力と操作の具体例について説明する。図７に示した表示画面Ｄ１１は、自車両近傍の俯瞰画像である。具体的には、表示画面Ｄ１１の表示内容は、俯瞰画像生成部２５が現に撮影された映像を合成して生成した鳥瞰画像のうち、自車両近傍を切り出したものである。
また、表示画面Ｄ１１では、タッチパネルに対するピンチイン操作を広域表示操作として受け付けている。

【0044】

図７に示した表示画面Ｄ１２は、表示画面Ｄ１１におけるピンチイン操作に応答して表示される。表示画面Ｄ１２の表示内容は、俯瞰画像生成部２５が生成した鳥瞰画像全体を表示するものであり、表示画面Ｄ１１に比して広域を表示している。
表示画面Ｄ１２は、俯瞰画像生成部２５により生成された画像を最も広域に表示した状態であり、これ以上の広域表示はできないが、ピンチイン操作を受け付けることは可能である。

【0045】

図８に示した表示画面Ｄ１３は、表示画面Ｄ１２におけるピンチイン操作に応答して表示される。表示画面Ｄ１３は、Ｄ１２の表示内容に表示要素Ｇ１０の描画を追加したものである。表示要素Ｇ１０は、車両Ｃ１０を囲む環状の画像であり、表示画面Ｄ１２におけるピンチイン操作を受け付けてから弧状の描画が開始され、ピンチイン操作が所定時間継続したときに表示要素Ｇ１０の環が完成する。
ピンチイン操作が所定時間継続前に中断された場合には、表示要素Ｇ１０の環を消去し、表示画面Ｄ１２に戻る。
ピンチイン操作が所定時間継続して表示要素Ｇ１０の環が完成すると、表示画面Ｄ１４に推移する。

【0046】

表示画面Ｄ１４は、図４と同様の報知画像である。表示画面Ｄ１４は、自車両Ｃ１０を囲む環状の表示要素Ｇ１０を表示し、表示要素の外側が非近接車両画像生成部２４によって生成された広域鳥瞰画像であり、表示要素Ｇ１０の内側が俯瞰画像生成部２５により生成された鳥瞰画像である。この表示画面Ｄ１４は、表示画面Ｄ１３に比して広域を表示している。

【0047】

このように、運転支援装置２０は、ピンチイン操作を広域表示操作として受け付ける。そして、俯瞰画像生成部２５の鳥瞰画像の範囲内で更に広域の表示が可能であれば表示範囲の拡大により広域表示操作に応答し、俯瞰画像生成部２５の鳥瞰画像の範囲内での広域表示が限界であれば非近接車両画像生成部２４の広域鳥瞰画像の表示に切り替えることで広域表示操作に応答する。このため、広域表示操作に対する応答の一貫性を保ちつつ、俯瞰画像生成部２５の鳥瞰画像から非近接車両画像生成部２４の広域鳥瞰画像に切り替えることができる。
また、俯瞰画像生成部２５の鳥瞰画像から非近接車両画像生成部２４の広域鳥瞰画像に切り替える際には所定時間の継続操作を条件としているので、操作ミスを防止し、それまでの広域表示とは異なる画像が表示される旨を操作者に認識させることができる。

【0048】

これまでの説明では、鳥瞰画像による表示を例に説明を行ったが、非近接車両に関する運転者への報知は、任意の方法で行うことができる。図９は、非近接車両の報知の変形例である。

【0049】

図９に示した表示画面Ｄ２１は、自車両、近接車両及び非近接車両を上方からの視点で描画している。また、非近接車両の挙動を、矢印により模式的に示している。
図９に示した表示画面Ｄ２２は、近接車両を運転者の視点で描画し、近接車両に遮蔽される非近接車両を破線で表示している。また、非近接車両の挙動を、矢印により模式的に示している。
これらの表示によっても、非近接車両の存在、位置、挙動を運転者に報知することができる。これらの表示は、例えば、ウィンカーレバー１３やステアリングセンサ１４などの状態から自車両の車線変更を予測し、かつ非近接車両の右折や車線変更と干渉する可能性がある場合に、自動的に表示出力してもよい。この際、表示に加え警告を音声等により出力してもよい。

【0050】

上述してきたように、開示の装置は、車体の下側に設置されたカメラ（例えば車体下部カメラ１１）により撮影された、自車両の前方及び／又は後方の映像を取得する映像取得部２１と、前記映像取得部２１により取得された映像を画像処理し、映像内に所在する複数の画像要素の挙動から前記自車両に最も近い車両である近接車両と、近接車両の向こう側に所在する車両である非近接車両とを認識する画像認識部２２と、を備える。
かかる構成及び動作により、運転支援装置は、車両の周囲に所在する他車両について詳細な情報の収集を実現し、もって車両走行の安全性向上に寄与することができる。

【0051】

また、前記画像認識部２２により前記非近接車両が認識された場合に、当該非近接車両の存在および位置を前記自車両の運転者に報知する報知画像を生成する非近接車両画像生成部２４と、前記報知画像を前記自車両の車室内のディスプレイに表示する表示制御部２７と、をさらに備え、前記画像認識部２２は、前記映像内において最も大きく映っている予め定められた所定形状の画像要素を前記近接車両の車輪として認識し、前記近接車両の車輪よりも小さく映っている前記所定形状の画像要素であって、かつ、前記近接車両の車輪とは異なった動きをする画像要素を前記非近接車両の車輪として認識する。
かかる構成及び動作により、運転支援装置は、車輪の像から非近接車両を認識し、運転者に対して表示出力を行うことができる。

【0052】

また、一例として、前記報知画像は、前記自車両、前記近接車両及び前記非近接車両の隊列を表示する広域鳥瞰画像である。
また、一例として、前記カメラはステレオカメラであり、前記画像認識部２２は、前記ステレオカメラの出力を用いて前記自車両と前記近接車両及び／又は前記非近接車両の車輪との距離を認識し、前記非近接車両画像生成部２４は、前記画像認識部２２によって認識された距離を反映した位置に各車両の像を配置して前記広域鳥瞰画像を生成する。
かかる動作により、非近接車両の位置を運転者に効果的に認識させることができる。

【0053】

また、前記画像認識部２２が認識した前記非近接車両の車輪の大きさと前記自車両と前記非近接車両との距離から当該非近接車両の大きさを推定する車両推定部２３をさらに備え、前記報知画像は、前記車両推定部が推定した前記非近接車両の大きさを反映した前記広域鳥瞰画像としてもよい。
なお、前記自車両と前記非近接車両との距離の認識は、前述のステレオカメラを用いる代わりに、特許文献１に記載されたような車両周辺の物体を測距するレーダ装置を併設し、このレーダ装置によって測距された距離を用いてもよい。
かかる動作により、車両の大きさを運転者に認識させることができる。

【0054】

また、前記自車両の周辺を現に撮影して得られた複数の映像を合成して、前記自車両の上方から撮影を行った場合に得られると想定される俯瞰画像を生成する俯瞰画像生成部２５をさらに備え、前記表示制御部２７は、前記俯瞰画像を前記ディスプレイに表示中に、広域表示を求める操作を一定以上受け付けたときに、前記広域鳥瞰画像を前記ディスプレイに表示する。
かかる構成及び動作により、運転者に自車両の周辺の状況と非近接車両の存在を統合的に認識させることができる。

【0055】

なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。

【0056】

例えば、上記の実施例では、車両の種類について大型車両であるか小型車両であるかを例示したが、トラック、バスなどを識別するよう構成してもよい。
また、上記の実施例では、車輪をパターン認識して近接車両と非近接車両を検知する場合を例示したが、オプティカルフロー法など任意の画像処理を適用することができる。
また、上記の実施例では、運転者の運転操作を支援する構成を例示したが、自動運転車両の運転支援に適用することも可能である。

【符号の説明】

【0057】

１１：車体下部カメラ、１２：周辺監視カメラ、１３：ウィンカーレバー、１４：ステアリングセンサ、２０：運転支援装置、２１：映像取得部、２２：画像認識部、２３：車両推定部、２４：非近接車両画像生成部、２５：俯瞰画像生成部、２６：車両状態取得部、２７：表示制御部２７、３０：ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】