特許 6686988 映像出力装置及び映像生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6686988

(24)【登録日】2020年4月6日

(45)【発行日】2020年4月22日

(54)【発明の名称】映像出力装置及び映像生成プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20200413BHJP

   B60R 1/00 20060101ALI20200413BHJP

   G06T 1/00 20060101ALI20200413BHJP

   G08G 1/16 20060101ALI20200413BHJP

【ＦＩ】

   H04N7/18 J

   B60R1/00 A

   G06T1/00 330B

   G08G1/16 C

【請求項の数】16

【全頁数】19

(21)【出願番号】特願2017-163622(P2017-163622)

(22)【出願日】2017年8月28日

(65)【公開番号】特開2019-41334(P2019-41334A)

(43)【公開日】2019年3月14日

【審査請求日】2019年6月21日

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100106149

【弁理士】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】近藤 勝彦

(72)【発明者】

【氏名】赤峰 悠介

(72)【発明者】

【氏名】三宅 康之

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２００９−２３１９３７（ＪＰ，Ａ）

【文献】 特開２００９−２３１９３８（ＪＰ，Ａ）

【文献】 特開２０１４−２２９１００（ＪＰ，Ａ）

【文献】 特開２００９−２２６９７８（ＪＰ，Ａ）

【文献】 特開２００９−１９３１３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車両（Ａ）の周辺を撮影する撮像部（２１）及び前記撮像部よりも前記車両の進行方向に設置され前記周辺の物体を検出する検出部（２２）を搭載した前記車両にて、前記周辺の映像（７０）を表示装置（３０）に出力する映像出力装置であって、
前記撮像部にて撮影された前記周辺の撮像画像（７１）を取得する画像取得部（５１）と、
前記検出部にて検出された物体の検出情報を取得する検出情報取得部（５３）と、
前記検出情報に基づき、物体の検出の確信度を判定する確信度判定部（６１）と、
前記検出情報に基づき前記撮像画像での物体の位置を算出する位置算出部（６２）と、
前記位置算出部の算出結果に基づき、前記撮像画像における物体同士の重なりの有無を判定する重なり判定部（６３）と、
前記撮像画像にて重なっていると判定された複数の物体のうちで、手前側に存在する第一物体（Ｓ１）を写す領域の少なくとも一部に画像透過領域（７３）を設定し、前記第一物体の奥側に存在する第二物体（Ｖ１）を確認可能な前記映像を生成し、前記第二物体の検出の前記確信度が高くなるに従って前記画像透過領域に規定する透過率を高く変化させる画像処理部（４０）と、を備える映像出力装置。

【請求項2】

前記検出情報取得部は、レーダ（２３）、ライダ（２４）及びソナー（２５）の少なくとも一つを含む前記検出部にて計測された前記第二物体の位置情報を、前記検出情報として取得し、
前記位置算出部は、前記位置情報に基づき、前記撮像画像での前記物体の位置を算出する請求項１に記載の映像出力装置。

【請求項3】

前記確信度判定部は、前記検出部にて検出される前記第二物体の検出回数が増えるに従って、前記確信度を高く判定する請求項２に記載の映像出力装置。

【請求項4】

前記画像処理部は、前記検出回数の増加に対する透過率の上昇割合を、前記検出部にて検出される前記第二物体までの距離の減少に伴って、大きな値に変更する請求項３に記載の映像出力装置。

【請求項5】

前記確信度判定部は、前記検出部にて検出される前記第二物体までの距離が近いほど、前記確信度を高く判定する請求項２に記載の映像出力装置。

【請求項6】

前記検出情報に基づいて前記第二物体を追跡し、前記第二物体の移動方向を算出する物体追跡部（６４）、をさらに備え、
前記画像処理部は、前記第二物体の移動方向を示すベクトル画像（７５）を前記映像に表示させる請求項１〜５のいずれか一項に記載の映像出力装置。

【請求項7】

前記物体追跡部の追跡結果に基づき、前記第二物体が前記車両に接近しているか否かを判定する接近判定部（６６）、をさらに備え、
前記画像処理部は、前記第二物体が前記車両に接近している場合に限り、前記第二物体と重なる前記第一物体の前記画像透過領域を透過させる請求項６に記載の映像出力装置。

【請求項8】

前記車両の移動状態を示す状態情報に基づき、前記車両の将来の移動経路を推定する移動推定部（６８）、をさらに備え、
前記物体追跡部は、前記第二物体の追跡結果に基づき、前記第二物体の将来の移動経路を推定し、
前記画像処理部は、前記車両の移動経路と前記第二物体の移動経路とが交差する場合に限り、前記第二物体と重なる前記第一物体の前記画像透過領域を透過させる請求項７に記載の映像出力装置。

【請求項9】

前記画像処理部は、前記物体追跡部にて算出される前記第二物体の移動状態に応じて、前記ベクトル画像の態様を変化させる請求項６〜８のいずれか一項に記載の映像出力装置。

【請求項10】

前記物体追跡部は、前記車両と追跡物体（Ｖ２）との間の遮蔽物体（Ｓ２）により、追跡していた前記追跡物体を示す前記検出情報が消失した場合に、追跡の履歴から推定される前記追跡物体の現在位置を推定し、
前記画像処理部は、前記物体追跡部にて推定された前記追跡物体の前記現在位置に、透過率を規定する前記画像透過領域を設け、前記遮蔽物体の奥側に存在する前記追跡物体を確認可能な前記映像を生成する請求項６〜９のいずれか一項に記載の映像出力装置。

【請求項11】

前記画像処理部は、前記追跡物体を示す前記検出情報が消失した後の経過時間が長くなるに従って前記画像透過領域の透過率を下げる請求項１０に記載の映像出力装置。

【請求項12】

前記検出情報に基づき、前記第二物体の種類を判別する物体判別部（６５）、をさらに備え、
前記画像処理部は、前記物体判別部の判別結果に対応した物体画像（７４）を前記画像透過領域に重畳する請求項１〜１１のいずれか一項に記載の映像出力装置。

【請求項13】

前記画像処理部は、前記物体判別部にて前記第二物体の種類が判別できない場合に、抽象化された前記物体画像を前記画像透過領域に重畳する請求項１２に記載の映像出力装置。

【請求項14】

前記画像処理部は、前記撮像画像及び前記検出情報の少なくとも一方から、前記第二物体の背景となる背景画像（７６）を生成し、当該背景画像を前記画像透過領域に重畳する請求項１〜１３のいずれか一項に記載の映像出力装置。

【請求項15】

前記撮像画像に写る領域の地図データを取得する地図情報取得部（５７）、をさらに備え、
前記画像処理部は、前記第二物体の背景となる背景画像（７６）を、前記地図データを用いて生成し、当該背景画像を前記画像透過領域に重畳する請求項１〜１４のいずれか一項に記載の映像出力装置。

【請求項16】

車両（Ａ）の周辺を撮影する撮像部（２１）及び前記撮像部よりも前記車両の進行方向に設置され前記周辺の物体を検出する検出部（２２）を搭載した前記車両にて、表示装置（３０）に出力される前記周辺の映像（７０）を生成する映像生成プログラムであって、
少なくとも一つの演算部（４１）を、
前記撮像部にて撮影された前記周辺の撮像画像（７１）を取得する画像取得部（５１）と、
前記検出部にて検出された物体の検出情報を取得する検出情報取得部（５３）と、
前記検出情報に基づき、物体の検出の確信度を判定する確信度判定部（６１）と、
前記検出情報に基づき前記撮像画像での物体の位置を算出する位置算出部（６２）と、
前記位置算出部の算出結果に基づき、前記撮像画像における物体同士の重なりの有無を判定する重なり判定部（６３）と、
前記撮像画像にて重なっていると判定された複数の物体のうちで、手前側に存在する第一物体（Ｓ１）を写す領域の少なくとも一部に画像透過領域（７３）を設定し、前記第一物体の奥側に存在する第二物体（Ｖ１）を確認可能な前記映像を生成し、前記第二物体の検出の前記確信度が高くなるに従って前記画像透過領域に規定する透過率を高く変化させる画像処理部（４０）、として機能させる映像生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両の周辺の映像を表示装置に出力する映像出力装置等に関する。

【背景技術】

【0002】

従来、例えば特許文献１には、車両の前方を撮影する監視カメラの映像を画像表示モニタに表示する車両用周辺監視装置が開示されている。この周辺監視装置は、例えば遮蔽物の奥側に他車両が存在する場合、遮蔽物の一部分を半透明にした仮想画像を生成する。手前側の遮蔽物が半透明とされることで、仮想画像では、奥側の他車両が確認可能となる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−２３１９３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

さて、一般的に、他車両等の物体の検出は、その確信度が所定の閾値を超えた段階で確定される。故に、特許文献１のような周辺監視装置では、他車両の検出確定を待ったうえで、遮蔽物を半透明化した仮想画像が表示される。そのため、他車両の報知を早期に開始することが難しかった。もし仮に、他車両の検出確定前のタイミングで報知を開始してしまうと、検出情報が誤りであった場合に、他車両を誤報知する仮想画像は、視認者にとって煩わしい提示となり得た。

【0005】

本開示は、映像の煩わしさを抑えつつ、奥側に位置する物体を早期に報知可能な映像出力装置等の提供を目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、開示された一つの態様は、車両（Ａ）の周辺を撮影する撮像部（２１）及び撮像部よりも車両の進行方向に設置され周辺の物体を検出する検出部（２２）を搭載した車両にて、周辺の映像（７０）を表示装置（３０）に出力する映像出力装置であって、撮像部にて撮影された周辺の撮像画像（７１）を取得する画像取得部（５１）と、検出部にて検出された物体の検出情報を取得する検出情報取得部（５３）と、検出情報に基づき、物体の検出の確信度を判定する確信度判定部（６１）と、検出情報に基づき撮像画像での物体の位置を算出する位置算出部（６２）と、位置算出部の算出結果に基づき、撮像画像における物体同士の重なりの有無を判定する重なり判定部（６３）と、撮像画像にて重なっていると判定された複数の物体のうちで、手前側に存在する第一物体（Ｓ１）を写す領域の少なくとも一部に画像透過領域（７３）を設定し、第一物体の奥側に存在する第二物体（Ｖ１）を確認可能な映像を生成し、第二物体の検出の確信度が高くなるに従って画像透過領域に規定する透過率を高く変化させる画像処理部（４０）と、を備える映像出力装置とされる。

【0007】

また開示された一つの態様は、車両（Ａ）の周辺を撮影する撮像部（２１）及び撮像部よりも車両の進行方向に設置され周辺の物体を検出する検出部（２２）を搭載した車両にて、表示装置（３０）に出力される周辺の映像（７０）を生成する映像生成プログラムであって、少なくとも一つの演算部（４１）を、撮像部にて撮影された周辺の撮像画像（７１）を取得する画像取得部（５１）と、検出部にて検出された物体の検出情報を取得する検出情報取得部（５３）と、検出情報に基づき、物体の検出の確信度を判定する確信度判定部（６１）と、検出情報に基づき撮像画像での物体の位置を算出する位置算出部（６２）と、位置算出部の算出結果に基づき、撮像画像における物体同士の重なりの有無を判定する重なり判定部（６３）と、撮像画像にて重なっていると判定された複数の物体のうちで、手前側に存在する第一物体（Ｓ１）を写す領域の少なくとも一部に画像透過領域（７３）を設定し、第一物体の奥側に存在する第二物体（Ｖ１）を確認可能な映像を生成し、第二物体の検出の確信度が高くなるに従って画像透過領域に規定する透過率を高く変化させる画像処理部（４０）として機能させる映像生成プログラムとされる。

【0008】

これらの態様によれば、第二物体の検出の確信度が低い場合でも、表示装置の映像では、手前側に存在する第一物体を写す領域の少なくとも一部に、透過率を規定される画像透過領域が設定され得る。故に、表示装置の映像は、第一物体の奥側に存在する第二物体を確認可能な状態となる。このように確信度の低い段階にて、画像透過領域に規定される透過率が低く規定されれば、第二物体を示す画像部分は、目立ち難い態様で表示される。加えて、第二物体の検出の確信度は、画像透過領域に規定された透過率で視認者に直感的に示される。以上によれば、確信度の低い早期の段階にて第二物体が誤表示されても、視認者は、この誤表示に煩わしさを感じ難くなる。したがって、映像の煩わしさを抑えつつ、奥側に存在する第二物体の早期の報知が可能となる。

【0009】

尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。

【図面の簡単な説明】

【0010】

【図1】車両に搭載された電気的な構成の全体像を示すブロック図である。

【図2】車両に搭載された外界センサ等の配置を示す自車両の平面図である。

【図3】画像透過領域が周辺確認映像に設定されるシーンの一例を示す図である。

【図4】図３に示すシーンでの撮像画像を示す図である。

【図5】図３に示すシーンにて表示画面に表示される周辺確認映像を示す図である。

【図6】死角物体の種類が判別困難な段階での周辺確認映像を示す図である。

【図7】映像生成処理の詳細を示すフローチャートである。

【図8】透過率制御処理の詳細を示すフローチャートである。

【図9】追跡物体が遮蔽物の死角に入るシーンの一例を示す図である。

【図10】図９に示すシーンにて実施される追跡表示処理の詳細を示すフローチャートである。

【図11】第二実施形態による映像生成処理の詳細を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。

【0012】

（第一実施形態）
図１に示す本開示の第一実施形態による映像出力装置１００は、ディスプレイ３０と共に車両Ａに搭載された電子制御ユニットである。映像出力装置１００は、車両Ａの周辺の映像をディスプレイ３０に表示させる。車両Ａの運転者等の乗員（以下「視認者」）は、ディスプレイ３０の映像の視認により、車両Ａの周辺の状態を確認可能である。映像出力装置１００は、ディスプレイ３０に加えて、図１及び図２に示す前方カメラ２１及び検出部２２等の外界センサ、車速センサ２６及び加速度センサ２７、並びにＧＮＳＳ受信器２８及び地図データベース２９等と直接的又は間接的に電気接続されている。

【0013】

ディスプレイ３０は、例えば液晶ディスプレイ、有機ＥＬディスプレイ及びプラズマディスプレイ等である。ディスプレイ３０は、表示画面３１を有している。ディスプレイ３０は、運転席に着座した視認者から表示画面３１が視認可能となるよう、表示画面３１を運転席に向けた姿勢でインスツルメントパネル等に収容されている。ディスプレイ３０は、映像出力装置１００から入力される映像信号に基づいて、種々の画像を表示画面３１にフルカラー表示可能である。尚、表示画面３１を有するディスプレイ３０に替えて、ウインドシールドへの光の投影によって虚像を表示するヘッドアップディスプレイが設けられていてもよい。

【0014】

前方カメラ２１は、例えば車両Ａの室内にて、バックミラー近傍に設置されている。前方カメラ２１は、単眼式又は複眼式の撮像装置であって、車両の進行方向（前方）に向けられている。前方カメラ２１の映像取得領域ＩＡは、車両Ａの周辺のうちで特に前方領域に設定されている。前方カメラ２１は、映像取得領域ＩＡを連続的に撮影し、映像取得領域ＩＡに存在する移動物体及び静止物体を写した一連の撮像画像７１（図４参照）を生成する。前方カメラ２１は、映像データである一連の撮像画像７１を、映像出力装置１００に逐次出力する。

【0015】

検出部２２は、車両Ａの周辺に存在する移動物体及び静止物体を検出し、これら検出物体の相対位置を計測する。検出部２２は、各物体検知領域ＳＡｆ，ＳＡｒ，ＳＡｓの探索を所定の周期で繰り返し、検出物体の位置及び方向を示す検出情報を、映像出力装置１００へ向けて逐次出力する。各物体検知領域ＳＡｆ，ＳＡｒ，ＳＡＬは、車両Ａの全周を概ね包含している。検出部２２には、例えばレーダ２３、ライダ２４及びソナー２５等が含まれている。

【0016】

レーダ２３は、車両Ａに複数搭載されている。レーダ２３は、一例として、車両Ａの前後縁の各中央部及び各左右の端部にそれぞれ一つずつ設置されている。車両Ａの前縁に設置された三つのレーダ２３は、前方カメラ２１よりも車両Ａの進行方向に位置している。前縁の中央部に位置するレーダ２３は、車両Ａの進行方向に規定された物体検知領域ＳＡｆへ向けて、ミリ波を送信アンテナから放出する。レーダ２３は、物体検知領域ＳＡｆに存在する移動物体及び静止物体等で反射されたミリ波を受信アンテナによって受信する。同様に、前縁の左右端に位置する各レーダ２３は、右前方及び左前方に規定された各物体検知領域ＳＡｓへ向けてミリ波を放出し、各物体検知領域ＳＡｓの物体にて反射されたミリ波を受信する。各レーダ２３は、各物体検知領域ＳＡｆ，ＳＡｒ，ＳＡＬの探索を例えば５０〜１００ミリ秒の周期で繰り返し、受信信号に基づく走査結果を検出情報として映像出力装置１００に逐次出力する。

【0017】

ライダ２４は、例えば車両Ａの四隅のレーダ２３に替えて、車両Ａの前後縁の各左右の端部にそれぞれ一つずつ設置可能である。ライダ２４は、車両Ａの周辺へ向けてレーザ光を照射し、照射方向に存在する移動物体及び静止物体等で反射されたレーザ光を受光する。ライダ２４は、受光したレーザ光に基づく走査結果を検出情報として映像出力装置１００に逐次出力する。

【0018】

ソナー２５は、例えば車両Ａの前後のバンパーにおいて、各中央部及び各左右端にそれぞれ一つずつ設けられている。ソナー２５は、車両Ａの周辺へ向けて超音波を射出し、射出方向に存在する移動物体及び静止物体等で反射された反射波を受信する。ソナー２５は、受信した反射波に基づく計測結果を検出情報として映像出力装置１００に逐次出力する。

【0019】

ここで、検出部２２の構成は、適宜変更可能である。例えば、ソナー２５は、省略されてもよい。さらに、レーダ２３等のセンサの搭載位置及び合計数は、適宜変更されてよい。レーダ２３のミリ波変調方式には、ＦＣＭ（Fast Chirp Modulation），２Ｆ（2 Freq.）ＣＷ，ＦＭＣＷ（Frequency Modulated Continuous Wave）及びこれらの組み合わせ等が採用可能である。ミリ波の方位を展開するアルゴリズムには、ＤＢＦ（Digital Beam Forming）法，Ｃａｐｏｎ法及びＭＵＳＩＣ（Multiple Signal Classification）法等が採用可能である。

【0020】

車速センサ２６は、車両Ａの現在の走行速度を計測する。加速度センサ２７は、車両Ａの前後方向及び左右方向について、現在の加速度を計測する。車速センサ２６及び加速度センサ２７による計測結果は、車両Ａの移動状態を示す状態情報として、映像出力装置１００等に逐次出力される。

【0021】

ＧＮＳＳ（Global Navigation Satellite System）受信器２８は、複数の測位衛星からの測位信号を受信する。ＧＮＳＳ受信器２８は、受信した測位信号に基づいて車両Ａの現在位置を測位し、車両Ａの位置情報を取得する。ＧＮＳＳ受信器２８は、取得した位置情報を映像出力装置１００へ向けて逐次出力する。尚、ＧＮＳＳ受信器２８は、ＧＰＳ、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、ＩＲＮＳＳ、ＱＺＳＳ、Ｂｅｉｄｏｕ等の衛星測位システムのうちで、少なくとも一つの衛星測位システムの各測位衛星から、測位信号を受信可能である。

【0022】

地図データベース（以下、「地図ＤＢ」）２９は、多数の地図データを格納した大容量の記憶媒体を主体とした構成である。地図データには、道路及び構造物についての形状情報等が含まれている。地図データベース２９は、映像出力装置１００からの要求に応じて、車両Ａの周辺及び進行方向の地図データを映像出力装置１００に提供する。

【0023】

映像出力装置１００は、車両Ａの前方領域の映像（以下、「周辺確認映像」）７０を生成し、ディスプレイ３０に出力する。映像出力装置１００は、前方カメラ２１にて撮影された撮像画像７１（図４参照）を加工し、周辺確認映像７０（図５参照）を生成する。例えば図３に示すシーンでは、車両Ａと他車両との間には、遮蔽物Ｓ１が存在している。そのため、車両Ａから見て遮蔽物Ｓ１の奥側に位置する他車両は、手前側に位置する遮蔽物Ｓ１の死角となる範囲（図３のドット範囲）に存在する死角物体Ｖ１となる。こうした死角物体Ｖ１が存在している場合、物体画像７４、ベクトル画像７５及び背景画像７６を撮像画像７１に重畳させる画像処理により、周辺確認映像７０が生成される。

【0024】

詳記すると、図５に示すように、撮像画像７１に写る遮蔽物Ｓ１の画像（以下、「遮蔽物画像」）７２の一部には、半透明とされる画像透過領域７３が設定される。一方、物体画像７４は、死角物体Ｖ１（図３参照）である他車両を示す画像である。ベクトル画像７５は、移動する検出物体の移動方向等を示す矢印状の画像である。背景画像７６は、死角物体Ｖ１の背景を再現した画像である。これらの各画像７４〜７６を撮像画像７１に合成してなる周辺確認映像７０は、遮蔽物Ｓ１によって遮蔽され、車両Ａの運転者からは見えないはずの死角物体Ｖ１を、遮蔽物Ｓ１の奥側に確認可能な映像となる。尚、以下の説明では、図１に示す映像出力装置１００を搭載した車両Ａを、死角物体Ｖ１である他車両との区別のために、「自車両Ａ」と記載する。

【0025】

図１に示す映像出力装置１００の制御回路は、演算部４１、記憶部４２及びＲＡＭ４３等を有するコンピュータを主体に構成されている。演算部４１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）及びＦＰＧＡ（Field-Programmable Gate Array）等の少なくとも一つを含む構成である。演算部４１は、種々の演算処理を実行する。記憶部４２は、不揮発性の記憶媒体を含む構成である。記憶部４２には、映像生成プログラムを含む種々のプログラムが演算部４１によって読み取り可能に格納されている。ＲＡＭ（Random Access Memory）４３は、揮発性の半導体メモリである。ＲＡＭ４３は、演算部４１による演算処理の作業領域として機能する。

【0026】

映像出力装置１００は、記憶部４２に格納された映像生成プログラムを演算部４１によって実行することで、複数の機能ブロックを構築する。具体的に、映像出力装置１００には、周辺確認映像７０（図５参照）の生成に必要な情報を取得する機能ブロックとして、画像取得部５１、検出情報取得部５３、自車情報取得部５５及び地図情報取得部５７等が構築される。加えて映像出力装置１００には、取得した情報を処理する機能ブロックとして、確信度判定部６１、位置算出部６２、重なり判定部６３、物体追跡部６４、物体判別部６５、接近判定部６６及び移動推定部６８等が構築される。さらに、映像出力装置１００には、周辺確認映像７０を生成する機能ブロックとして画像処理部４０等が構築される。

【0027】

画像取得部５１は、前方カメラ２１にて撮影された映像取得領域ＩＡ（図２参照）の撮像画像７１を取得する。検出情報取得部５３は、レーダ２３等の検出部２２にて検出された各物体検知領域ＳＡｆ，ＳＡｒ，ＳＡＬに存在する物体の検出情報を取得する。尚、検出部２２にて検出される検出物体のうちで、遮蔽物Ｓ１（図３参照）の死角に存在して撮像画像７１に写らない物体が死角物体Ｖ１（図３参照）である。

【0028】

自車情報取得部５５は、自車両Ａの移動状態を示す状態情報として、速度及び加速度等の情報を、車速センサ２６及び加速度センサ２７から取得する。地図情報取得部５７は、ＧＮＳＳ受信器２８から自車両Ａの現在の位置情報を取得する。加えて地図情報取得部５７は、位置情報の推移から、自車両Ａの移動方向を推定する。地図情報取得部５７は、位置情報等に基づき、映像取得領域ＩＡ及び物体検知領域ＳＡｆ，ＳＡｓ（図２参照）等を含む自車両Ａの前方領域の地図データを取得する。

【0029】

確信度判定部６１は、検出情報取得部５３にて取得される検出情報に基づき、検出物体の検出の確信度を判定する。確信度判定部６１は、物体検知領域ＳＡｆ，ＳＡｓ等に存在する物体について、レーダ２３の探索による所定時間での検出回数ｎが所定の閾値を超えた場合に、当該物体が存在しているという存在確定判定を行う。確信度判定部６１は、こうした存在確定判定の場合と同様に、所定時間における物体の検出回数ｎに基づき、レーダ２３から提供される検出情報の確信度を判定する。確信度判定部６１は、同一物体についての所定時間での検出回数ｎが増えるに従って、この物体の検出の確信度を高く判定する（図８ Ｓ１２２参照）。

【0030】

位置算出部６２は、検出情報取得部５３にて取得される検出情報、特に検出物体についての位置情報に基づき、撮像画像７１（図４参照）での個々の検出物体の位置を算出する。例えば、検出部２２にて死角物体Ｖ１（図３参照）が検出されている場合、位置算出部６２は、死角物体Ｖ１の位置情報に基づき、撮像画像７１には撮影されていない死角物体Ｖ１の画像中での仮想位置及び仮想画像サイズを算出する。

【0031】

詳記すると、前方カメラ２１及び各レーダ２３は、設計時に規定された自車両Ａの所定位置に搭載されている。故に、検出物体の位置情報とその位置情報を検出したレーダ２３を示す情報に基づき、検出物体が撮像画像７１に写り込む位置は、一義的に決定される。さらに、検出物体の大きさを示す情報と位置情報とに基づき、検出物体が撮像画像７１に写り込んだ場合の画像サイズも、一義的に決定される。故に、位置算出部６２は、検出物体の検出情報を用いて、画像中にて検出物体の写る位置及び大きさを、幾何演算によって算出できる。

【0032】

重なり判定部６３は、位置算出部６２の算出結果に基づき、撮像画像７１における物体同士の重なりの有無を判定する。図３に示すシーンにて、自車両Ａの前縁且つ右端部のレーダ２３は、遮蔽物Ｓ１の検出情報だけでなく、他車両（死角物体Ｖ１）の検出情報も取得可能である。一方で、このシーンでの撮像画像７１（図４参照）には、遮蔽物Ｓ１が撮影されるのみで、他車両は、撮影されない。以上のシーンにおける遮蔽物Ｓ１及び他車両のように、図１に示す重なり判定部６３は、位置算出部６２の算出結果を用いて、撮像画像７１において検出物体同士の重なりが生じているか否かを判定する。

【0033】

物体追跡部６４は、検出情報取得部５３にて逐次取得される検出情報に基づき、移動する検出物体を追跡する。物体追跡部６４は、追跡している検出物体（以下、「追跡物体Ｖ２」，図９参照）について、移動方向及び移動速度を算出する。物体追跡部６４は、追跡物体の追跡結果に基づき、追跡物体の将来の移動経路を推定する。一例として、現在の移動方向及び移動速度が維持されたと仮定した場合に追跡物体Ｖ２が辿る軌跡を、物体追跡部６４は、追跡物体Ｖ２の将来の移動経路とする。

【0034】

物体判別部６５は、検出情報取得部５３にて取得される検出情報に基づき、検出物体の種類を判別する。物体判別部６５は、検出情報から推定される検出物体の大まかな形状、移動速度及びミリ波の反射強度等報の計測結果に基づき、予め設定された複数種類の中から、妥当性の高い一つを検出物体の種類として推定する。物体判別部６５には、検出物体の種類として、例えば大型車、乗用車、二輪車、サイクリスト及び歩行者等が予め設定されている。尚、検出の確定度が低い場合等では、検出情報から検出物体の種類を推定することが困難となる。この場合、物体判別部６５は、検出物体の種類を「不明」と判別する。

【0035】

接近判定部６６は、物体追跡部６４の追跡結果に基づき、追跡物体Ｖ２（図９参照）が自車両Ａに接近しているか否かを判定する。さらに接近判定部６６は、物体追跡部６４にて推定された追跡物体Ｖ２の移動経路、及び移動推定部６８にて推定された自車両Ａの移動経路を取得する。接近判定部６６は、追跡物体Ｖ２と自車両Ａの各移動経路を比較し、これら移動経路が交差するか否かの判定に基づき、追跡物体Ｖ２のリスクレベルを設定する。自車両Ａに過度に接近する可能性が高いほど、接近判定部６６は、追跡物体Ｖ２に対して高いリスクレベルを設定する。

【0036】

移動推定部６８は、自車情報取得部５５にて取得された自車両Ａの移動状態を示す状態情報に基づき、自車両Ａの将来の移動経路を推定する。接近判定部６６にて推定された移動経路は、上述したように接近判定部６６に提供される。移動推定部６８は、現在の移動方向及び移動速度が維持されたと仮定した場合に自車両Ａが辿る軌跡を、移動推定部６８は、自車両Ａの将来の移動経路とする。

【0037】

画像処理部４０は、周辺確認映像７０を構成する各フレームの画像を生成し、周辺確認映像７０の映像信号をディスプレイ３０へ向けてリアルタイムに出力する。画像処理部４０は、重なり判定部６３にて検出物体同士が撮像画像７１内で重なっていると判定された場合（図３参照）に、死角物体Ｖ１の仮想位置及び仮想画像サイズを位置算出部６２から取得する。画像処理部４０は、死角物体Ｖ１の仮想画像サイズよりも一回り程度大きくなるよう、画像透過領域７３の大きさを設定する。そして画像処理部４０は、死角物体Ｖ１の仮想位置を基準として、遮蔽物画像７２（図４参照）の少なくとも一部の範囲に画像透過領域７３を設定する。さらに画像処理部４０は、確信度判定部６１にて判定された確信度に基づき、画像透過領域７３の透過率を規定する。

【0038】

画像処理部４０は、検出物体同士が重なっている場合、上述した物体画像７４、ベクトル画像７５及び背景画像７６等を描画する。これらの画像７４〜７６の基となる画像データは、画像データベース（以下「画像ＤＢ」）６９に予め格納されている。画像処理部４０は、死角物体Ｖ１に関連した上記の情報に基づき、必要な画像データを画像ＤＢ６９から読み出し、変形及び着色等の処理を行うことで各画像７４〜７６を描画する。

【0039】

具体的に、画像処理部４０は、物体判別部６５の判別結果に対応した物体画像７４を生成する。例えば、判別結果が乗用車を示す場合、画像処理部４０は、乗用車の画像データを画像ＤＢ６９から読み出す。同様に、判定結果が歩行者を示す場合、画像処理部４０は、歩行者の画像データを画像ＤＢ６９から読み出す。画像処理部４０は、読み出した画像データを仮想画像サイズまで拡大又は縮小し、仮想位置を基準として、画像透過領域７３に重畳する。尚、物体判別部６５にて検出物体の種類が「不明」と判別されている場合、画像処理部４０は、検出物体の外観形状を示す物体画像７４に替えて、抽象化された形状の物体画像７４（図６参照）を画像透過領域７３に重畳する。

【0040】

画像処理部４０は、物体追跡部６４にて算出される追跡物体Ｖ２（図９参照）の移動状態に応じて、ベクトル画像７５の態様を変化させる。ベクトル画像７５の向きは、追跡物体Ｖ２の移動方向に基づき設定され、追跡物体Ｖ２が撮像画像７１に写った場合の撮像画像７１内での移動方向を示すように設定される。ベクトル画像７５の長さは、追跡物体Ｖ２の移動速度に基づき設定され、移動速度が速くなるに従って長くされる。一例として、ベクトル画像７５の長さは、移動速度に比例した長さで表示される。ベクトル画像７５の太さ及び表示色は、接近判定部６６にて判定されるリスクレベルに応じて変更される。リスクレベルが高い検出物体ほど、ベクトル画像７５は太くされる。リスクレベルが高い検出物体ほど、ベクトル画像７５の表示色は、例えば黄色等の報知色から赤色等の誘目性の高い警告色に変更される。尚、ベクトル画像７５は、物体画像７４の近傍だけでなく、撮像画像７１に写る他車両の画像７８（図５参照）等の近傍にも重畳表示されてよい。

【0041】

画像処理部４０は、撮像画像７１、検出情報、及び地図データ等を用いて、遮蔽物Ｓ１に遮蔽された領域であって、死角物体Ｖ１の背景となる領域の様子を推定する。例えば画像処理部４０は、撮像画像７１に写る車道の境界線を画像透過領域７３内まで延長し、背景画像７６としての道路の境界線を描画する。さらに、検出部２２によって死角範囲にガードレールが検出されている場合、画像処理部４０は、撮像画像７１に写るガードレールの画像パターンを画像透過領域７３内まで延長する画像処理により、ガードレールを含む背景画像７６を生成する。また、検出部２２によって死角範囲に駐車車両が検出されている場合、画像処理部４０は、画像ＤＢ６９から読み出した車両の画像データを加工して、駐車車両を含む背景画像７６を生成する。さらに画像処理部４０は、死角範囲の道路形状や構造物の形状が地図データから取得される場合、これらの情報を用いて、正しい道路及び構造物を含む背景画像７６を生成できる。以上のように生成した背景画像７６を、画像処理部４０は、画像透過領域７３及び物体画像７４の奥側に重畳する。

【0042】

以上の画像処理部４０は、接近判定部６６の接近判定又は交差判定に基づき、報知する検出物体を選別可能である。一例として、画像処理部４０は、死角物体Ｖ１が自車両Ａに接近している場合に限り、遮蔽物画像７２に画像透過領域７３を設定し、物体画像７４による死角物体Ｖ１の注意喚起を実施する。或いは画像処理部４０は、死角物体Ｖ１の移動経路が自車両Ａの移動経路と交差している場合に限り、遮蔽物画像７２に画像透過領域７３を設定し、物体画像７４による死角物体Ｖ１の注意喚起を実施する。

【0043】

ここまで説明した画像処理部４０は、死角物体Ｖ１の検出の確信度が高くなるに従って、画像透過領域７３に規定する透過率を高く変化させる。以下、画像透過領域７３を含んだ周辺確認映像７０を生成する映像生成処理と、画像透過領域７３の透過率を制御する透過率制御処理とを、図７及び図８に基づき、図１及び図５を参照しつつ説明する。映像生成処理及び透過率制御処理は、周辺確認映像７０の表示機能が自動的に又は視認者によってオン状態とされたことに基づき、周辺確認映像７０によって繰り返し実施される。

【0044】

図７に示す映像生成処理のＳ１０１では、前方カメラ２１にて撮影された撮像画像７１を取得し、Ｓ１０２に進む。Ｓ１０２では、検出部２２にて検出された検出物体の検出情報を取得し、Ｓ１０３に進む。Ｓ１０３では、車速センサ２６及びＧＮＳＳ受信器２８から、自車両Ａの移動状態を示す移動情報を取得する。加えてＳ１０３では、自車両Ａの位置情報等に基づき、移動情報を参照しつつ、撮像画像７１に写る映像取得領域ＩＡを少なくとも含む範囲の地図データを地図ＤＢ２９から取得し、Ｓ１０４に進む。Ｓ１０４では、Ｓ１０２にて取得した検出情報の信号処理とＳ１０１にて習得した撮像画像７１の認識処理とを実施し、Ｓ１０５に進む。

【0045】

Ｓ１０５では、Ｓ１０２にて取得した検出情報に基づいて、検出物体（例えば、他車両等）の種類を判別する。加えてＳ１０５では、継続的に取得される検出情報に基づき、個々の検出物体の追跡処理を行う。そして、検出物体の追跡結果に基づき、各検出物体の移動方向及び移動速度等の移動状態を算出し、これら検出物体の将来の移動経路をさらに推定して、Ｓ１０６に進む。

【0046】

Ｓ１０６では、Ｓ１０３にて取得した自車両Ａの状態情報に基づき、自車両Ａの将来の移動経路を推定し、Ｓ１０７に進む。Ｓ１０７では、Ｓ１０５にて推定した追跡結果に基づく各検出物体の移動経路と、Ｓ１０６にて推定した自車両Ａの移動経路との比較に基づき、各検出物体が自車両Ａに接近しているか否かを判定する。Ｓ１０６にて、全ての検出物体が自車両Ａに接近していないと判定した場合、映像生成処理を一旦終了する。一方で、Ｓ１０７にて、自車両Ａに接近している検出物体があると判定した場合、Ｓ１０８に進む。この場合、撮像画像７１がそのまま周辺確認映像７０として、表示画面３１に表示される。

【0047】

ここで、Ｓ１０７では、自車両Ａの将来の移動経路と検出物体の将来の移動経路とが交差しているか否かを判定する処理が、上記の接近判定に替えて実施可能である。こうした交差判定では、全ての検出物体の移動経路と自車両Ａの移動経路とが交差していないと判定した場合に、映像生成処理を一旦終了する。一方で、自車両Ａの将来の移動経路と交差する検出物体があると判定した場合、Ｓ１０８に進む。

【0048】

Ｓ１０８では、Ｓ１０２にて取得した検出情報に基づき、自車両Ａに接近する検出物体又は自車両Ａと移動経路の交差可能性がある検出物体について、撮像画像７１での仮想画像サイズ及び仮想位置を算出し、Ｓ１０９に進む。Ｓ１０９では、Ｓ１０８の算出結果に基づき、撮像画像７１における検出物体同士の重なりの有無を判定する。Ｓ１０９にて、検出物体同士が重なっていないと判定した場合、映像生成処理を一旦終了する。この場合も、撮像画像７１がそのまま周辺確認映像７０として、表示画面３１に表示される。一方、Ｓ１０９にて、検出物体同士が重なっていると判定した場合、Ｓ１１０に進む。

【0049】

Ｓ１１０では、手前側に存在する検出物体（例えば遮蔽物Ｓ１）を写す遮蔽物画像７２の少なくとも一部に画像透過領域７３を設定する。さらに、後述する透過率制御処理にて規定された透過率で画像透過領域７３を透過させ、Ｓ１１１に進む。Ｓ１１１では、Ｓ１０５での種類の判別結果等に基づいて物体画像７４を生成し、撮像画像７１に重畳してＳ１１２に進む。

【0050】

Ｓ１１２では、Ｓ１０５にて算出した検出物体の移動状態に基づいてベクトル画像７５を生成し、撮像画像７１に重畳してＳ１１３に進む。Ｓ１１３では、Ｓ１０３にて取得した地図データ、Ｓ１１４での信号処理及び認識処理の結果等に基づいて背景画像７６を生成し、撮像画像７１に重畳して映像生成処理を一旦終了する。以上のＳ１１０〜Ｓ１１３の処理により、撮像画像７１を加工した周辺確認映像７０が生成され、表示画面３１に表示される。

【0051】

図８に示す透過率制御処理では、検出物体の検出回数ｎに基づく確信度を用いて、画像透過領域７３の透過率を設定する。透過率制御処理のＳ１２１では、映像生成処理のＳ１０２（図７参照）にて取得する検出情報に基づく物体検出処理を実施し、Ｓ１２２に進む。Ｓ１２１では、映像生成処理のＳ１０４（図７参照）の信号処理の結果をそのまま引用する処理を実施してもよい。

【0052】

Ｓ１２２では、Ｓ１２１での検出処理にて個々の検出物体が検出された検出回数ｎを算出し、さらに確信度を判定して、Ｓ１２３に進む。Ｓ１２３では、Ｓ１２２にて算出した検出回数ｎが、所定の回数閾値Ｎを超えているか否かを判定する。Ｓ１２３にて、検出回数ｎが回数閾値Ｎを超えていると判定した場合、Ｓ１２４に進む。

【0053】

Ｓ１２４では、映像生成処理のＳ１１０（図８参照）にて規定される画像透過領域７３の透過率を、所定の最大値ｐ（例えば９０％程度）に設定し、透過率制御処理を一旦終了する。一方、Ｓ１２３にて、検出回数ｎが回数閾値Ｎ以下であると判定した場合、Ｓ１２５に進む。

【0054】

Ｓ１２５では、画像透過領域７３の透過率を所定の算出式｛ｎ／（Ｎ＋１）｝×ｐに基づき設定し、透過率制御処理を一旦終了する。Ｓ１２５による設定によれば、透過率は、検出回数ｎの増加、即ち確信度の上昇に伴って最大値ｐとなるまで漸増する。

【0055】

以上の説明では、前方カメラ２１及び検出部２２のうちで検出部２２のみが検出物体を検出していた場合に、周辺確認映像７０に画像透過領域７３を設定するシーンを説明した。こうしたシーンだけでなく、画像処理部４０は、前方カメラ２１及び検出部２２の両方が検出物体を検出できていないシーンでも、検出部２２の過去の検出履歴を利用して、画像透過領域７３を含む周辺確認映像７０を生成する。以下、このようなシーンの詳細を、図９及び図１０に基づき説明する。

【0056】

図９に示す交差点のシーンでは、時刻ｔ１（破線参照）にて、自車両Ａの検出部２２は、他車両（以下、「追跡物体Ｖ２」）を検出可能である。故に、自車両Ａの物体追跡部６４（図１参照）は、追跡物体Ｖ２を追跡した状態となる。しかし、自車両Ａが交差点に接近する時刻ｔ１から時刻ｔ２の期間にて、自車両Ａと追跡物体Ｖ２である他車両との間の遮蔽物Ｓ２により遮られて、自車両Ａの検出部２２は、追跡物体Ｖ２の検出を継続できなくなる。その結果、追跡物体Ｖ２を示す検出情報が消失する。

【0057】

こうしたシーンでは、物体追跡部６４により、追跡の履歴から推定される追跡物体Ｖ２の現在位置が推定される。そして、推定された追跡物体Ｖ２の現在位置に、透過率を規定する画像透過領域７３が設けられ、遮蔽物Ｓ２の奥側に存在する追跡物体Ｖ２を確認可能な周辺確認映像７０が生成される。

【0058】

以下、追跡物体Ｖ２の検出情報が消失した場合にて、画像透過領域７３を含む周辺確認映像７０を生成する追跡表示処理の詳細を、図１０に基づき、図１，図５及び図９を参照しつつ説明する。図１０に示す追跡表示処理は、映像生成処理（図８参照）と同様に、周辺確認映像７０の表示機能がオン状態とされたことに基づき、映像出力装置１００によって繰り返し実施される。

【0059】

Ｓ１４１では、映像生成処理のＳ１０２（図７参照）にて取得する検出情報に基づく物体検出処理を実施し、Ｓ１４２に進む。Ｓ１４１では、映像生成処理のＳ１０４（図７参照）の信号処理の結果をそのまま引用する処理を実施してもよい。

【0060】

Ｓ１４２では、Ｓ１４１にて繰り返す検出処理にて、過去のＮ周期のうちに追跡物体Ｖ２が存在したか否かを判定する。Ｓ１４２にて、過去のＮ周期に追跡物体Ｖ２が存在していないと判定した場合、追跡表示処理を一旦終了する。この場合、撮像画像７１がそのまま周辺確認映像７０として表示画面３１に表示される。

【0061】

一方、Ｓ１４２にて、過去のＮ周期に追跡物体Ｖ２が存在していたと判定した場合、Ｓ１４３に進む。Ｓ１４３では、過去のＳ１４１にて検出した物体位置の過去情報に基づき、現在の物体位置を推定する。そして、追跡物体Ｖ２の撮像画像７１での仮想位置及び仮想画像サイズを算出し、Ｓ１４４に進む。

【0062】

Ｓ１４４では、画像透過領域７３の透過率を規定し、物体画像７４及び背景画像７６を画像透過領域７３に重畳表示する。透過率は、所定の算出式（１−ｋ／（Ｎ＋１））×ｐによって算出される。この算出式におけるｋは、一回の追跡表示処理毎に一つずつ増加するカウンタの値である。またこの数式におけるＮは、Ｓ１４２の判定に用いられる周期の閾値であって、予め設定された数値である。以上により、画像透過領域７３の透過率は、追跡物体Ｖ２の検出情報の消失後における経過時間が長くなるに従って徐々に低下する。その結果、追跡物体Ｖ２を報知する物体画像７４は、追跡物体Ｖ２が遮蔽物Ｓ２の死角に入った後、周辺確認映像７０から徐々に消えていく。

【0063】

ここまで説明した第一実施形態では、死角物体Ｖ１の検出の確信度が低い場合でも、周辺確認映像７０では、手前側に存在する遮蔽物Ｓ１を写した遮蔽物画像７２に、透過率を規定される画像透過領域７３が設定される。故に、周辺確認映像７０は、遮蔽物Ｓ１よりも奥側に存在する死角物体Ｖ１を確認可能な状態となる。このように確信度の低い段階では、画像透過領域７３の透過率が低く規定され、死角物体Ｖ１を示す物体画像７４は、目立ち難い態様で表示される。加えて、死角物体Ｖ１の検出の確信度は、画像透過領域７３に規定された透過率で視認者に直感的に示される。以上によれば、確信度の低い早期の段階にて死角物体Ｖ１を示す物体画像７４が誤表示されても、視認者は、この誤表示に煩わしさを感じ難くなる。したがって、周辺確認映像７０の煩わしさを抑えつつ、遮蔽物Ｓ１の奥側に存在する死角物体Ｖ１の早期の報知が可能となる。

【0064】

加えて第一実施形態のように、レーダ２３等を検出部２２として用いれば、遮蔽物Ｓ１の死角範囲に存在する死角物体Ｖ１についても、正確性の高い位置情報が取得可能となる。その結果、撮像画像７１にて死角物体Ｖ１を示す物体画像７４の重畳位置が正確に算出され得る。以上によれば、映像出力装置１００は、撮像画像７１の適切な範囲に画像透過領域７３及び物体画像７４を配置して、死角物体Ｖ１の位置を正確に視認者に提示できる。

【0065】

また第一実施形態における確信度は、検出物体の検出回数ｎが増えるに従って高く判定される。こうした確信度の判定手法によれば、金属製の看板やガードレール等の物体（以下、「ノイズ源」）が死角物体Ｖ１の近傍に存在していても、ノイズ源による確信度への影響が低く抑制され得る。以上によれば、死角物体Ｖ１である他車両の自車両Ａへの接近に伴い、周辺確認映像７０は、画像透過領域７３の透過率を円滑に漸増させ、他車両の接近を視認者に分かり易く報知できる。

【0066】

さらに第一実施形態では、検出物体（追跡物体Ｖ２）の移動方向を示すベクトル画像７５が周辺確認映像７０に表示される。このように個々の検出物体の移動方向がベクトル画像７５によって提示されれば、視認者は、周辺確認映像７０を視認してすぐに、これらの動きを把握し得る。その結果、視認者は、自車両Ａの周辺の物体を避けるための運転行動を早急に選択し易くなる。

【0067】

また第一実施形態では、各検出物体の移動状態に応じてベクトル画像７５の態様が変更される。こうして各検出物体の移動状態が視認者に明示されれば、視認者は、周辺確認映像７０から他車両等の動きを素早く把握でき、他車両を回避する行動を予め想定できるようになる。

【0068】

さらに第一実施形態では、追跡物体Ｖ２の追跡が遮蔽物Ｓ２によって継続困難になった場合でも、遮蔽物Ｓ２の遮蔽物画像７２に画像透過領域７３を設定し、遮蔽物Ｓ２の奥側に存在する追跡物体Ｖ２を確認可能な周辺確認映像７０が表示される。以上によれば、周辺確認映像７０によって遮蔽物Ｓ２に隠れたリスク対象を報知可能なシーンをさらに増やすことができる。

【0069】

加えて第一実施形態では、追跡物体Ｖ２の検出情報が消失した後、周辺確認映像７０における画像透過領域７３の透過率は、漸減していく。このように、追跡物体Ｖ２を報知する物体画像７４を徐々に消失させる映像表示によれば、遮蔽物Ｓ２の死角範囲にて、追跡物体Ｖ２が居なくなった場合にも、視認者の違和感を低減させることができる。

【0070】

また第一実施形態では、接近判定の実施により、死角物体Ｖ１が自車両Ａに接近している場合に限り、周辺確認映像７０による死角物体Ｖ１の注意喚起が実施され得る。故に、遮蔽物Ｓ１に遮られて直接的に視認できないものの、自車両Ａに対しリスクとはなり難い死角物体Ｖ１は、視認者への注意喚起の対象から除外され得る。以上のように、報知対象とする死角物体Ｖ１が選別される処理によれば、周辺確認映像７０の煩わしさは、いっそう低減可能となる。

【0071】

さらに第一実施形態では、交差判定の実施により、自車両Ａの将来の移動経路と死角物体Ｖ１の将来の移動経路とが交差する場合に限り、周辺確認映像７０による死角物体Ｖ１の注意喚起が実施され得る。こうした死角物体Ｖ１の選別処理によっても、自車両Ａに対しリスクとはなり難い死角物体Ｖ１が、注意喚起の対象から除外され得る。その結果、周辺確認映像７０の煩わしさは、いっそう低減可能となる。

【0072】

加えて第一実施形態では、死角物体Ｖ１の種類を判別した判別結果に基づき、死角物体Ｖ１を示す物体画像７４が選択される。こうした描画処理によれば、死角物体が前方カメラ２１によって捕えられていなくても、周辺確認映像７０は、リアリティを確保された擬似的な透過映像により、死角物体Ｖ１の存在を視認者に提示できる。

【0073】

また第一実施形態では、死角物体Ｖ１の検出の確信度が低く、死角物体Ｖ１の種類が判別できない状態では、映像出力装置１００は、形状を抽象化した物体画像７４（図６参照）を表示させる。こうした描画処理によれば、死角物体Ｖ１を示す物体画像７４は、低く維持された透過率と相俟って、誘目性の低い曖昧な状態で表示される。そのため、確信度の低い段階で死角物体Ｖ１の種類が誤って判別され、周辺確認映像７０を見た視認者が違和感を覚える事態は、防止され得る。

【0074】

さらに第一実施形態では、前方カメラ２１及び検出部２２によってリアルタイムに取得される情報を用いて、画像透過領域７３に嵌め込まれる背景画像７６が生成される。このように、随時取得される現在の情報から背景画像７６を生成すれば、死角物体Ｖ１と同様にその背景が前方カメラ２１によって撮影できなくても、画像透過領域７３に映し出される擬似的な透過映像のリアリティは、高く維持される。

【0075】

また第一実施形態の画像処理部４０は、背景画像７６の生成に地図データを用いることが可能である。故に、画像処理部４０は、遮蔽物Ｓ１の死角となっている範囲について、正確性の確保された道路形状や構造物等の情報を盛り込み、背景画像７６を生成し得る。以上によれば、画像透過領域７３に映し出される擬似的な透過映像のリアリティは、さらに高く維持される。

【0076】

尚、第一実施形態では、前方カメラ２１が「撮像部」に相当し、ディスプレイ３０が「表示装置」に相当し、周辺確認映像７０が「映像」に相当する。また、遮蔽物Ｓ１，Ｓ２が「第一物体」及び「遮蔽物体」に相当し、死角物体Ｖ１が「第二物体」に相当する。

【0077】

（第二実施形態）
図１１に示す第二実施形態では、第一実施形態の変形例である。図１１に示す映像生成処理では、地図情報及び自車両Ａの状態情報を取得する処理（図７ Ｓ１０４参照）と、検出物体を選別する処理（図７ Ｓ１０６，Ｓ１０７参照）とが、省略されている。即ち、第二実施形態にてＳ２０１及びＳ２０２とＳ２０３及びＳ２０４は、それぞれ第一実施形態のＳ１０１及びＳ１０２とＳ１０４及びＳ１０５に相当し、Ｓ２０５〜Ｓ２１１は、Ｓ１０８〜Ｓ１１３に相当する。加えて、Ｓ２１１では、地図データを用いずに、背景画像７６が生成される。以上のような第二実施形態でも、図５に示すような周辺確認映像７０が表示可能であり、周辺確認映像７０の煩わしさを抑えつつ、遮蔽物Ｓ１の奥側に存在する死角物体Ｖ１の早期の報知が可能となる。

【0078】

（他の実施形態）
以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

【0079】

上記実施形態の変形例１の確信度判定部６１は、検出部２２にて検出される検出物体の検出回数ｎに替えて、検出部２２にて検出される検出物体（死角物体Ｖ１）までの距離に基づき、確信度を判定する。具体的に、確信度判定部６１は、自車両Ａから死角物体Ｖ１までの距離が近いほど、確信度を高く判定する。こうした判定手法によれば、遮蔽物Ｓ１の死角範囲に存在する死角物体Ｖ１が自車両Ａに接近するに従って、周辺確認映像７０における画像透過領域７３の透過率が次第に高くなる。こうした周辺確認映像７０によれば、死角物体Ｖ１の報知の確実性を高めることが可能になる。

【0080】

上記実施形態の変形例２の確信度判定部６１は、第一実施形態と同様に、検出物体の検出回数ｎの増加に対して、確信度（透過率）を上昇させる。加えて変形例２では、検出回数ｎの増加に対する確信度（透過率）の上昇割合が、死角物体Ｖ１までの距離に応じて変更され、具体的には、検出部２２にて検出される死角物体Ｖ１までの距離の減少に伴って、大きな値に変更される。詳記すると、確信度判定部６１は、自車両Ａから死角物体Ｖ１までの物体間距離が接近閾値未満となった状態で、検出回数ｎの増加に対する確信度（透過率）の上昇割合を、物体間距離が接近閾値以上である場合と比較して、大きな値に切り替える。

【0081】

以上によれば、死角物体Ｖ１が遠方にあって検出の確実性を担保できない段階では、画像透過領域７３の透過率は、透過映像が視認者に煩わしく感じられ難いように徐々に高められる。一方で、死角物体Ｖ１の接近によって検出の確実性が確保された段階では、画像透過領域７３の透過率は、急速に上昇する。以上によれば、周辺確認映像７０による死角物体Ｖ１の報知の確実性が、高く確保され得る。

【0082】

上記実施形態では、検出部として、レーダ、ライダ及びソナー等を例示した。しかし、検出部は、例えば前方カメラ以外の車載カメラであってもよい。さらに、検出部は、自車両の外部で検出された情報を、無線通信等によって取得する通信部等であってもよい。

【0083】

上記実施形態では、前進中の車両にて前方領域の周辺確認映像７０を表示する例が示されていた。しかし、周辺確認映像は、後退中の車両にて、バックモニタの映像中の遮蔽物画像に画像透過領域を設定した周辺確認映像を、ディスプレイに表示させてもよい。

【0084】

上記実施形態の周辺確認映像では、画像透過領域に背景画像がさらに重畳されていた。加えて、画像透過領域の近傍には、ベクトル画像が重畳されていた。こうした背景画像及びベクトル画像は、省略されていてもよい。又は、背景画像及びベクトル画像の表示及び非表示は、視認者によって切り替え可能であってもよい。

【0085】

上記実施形態において、映像出力装置によって提供されていた機能は、上述のものとは異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによっても提供可能である。さらに、映像生成プログラムを格納する記憶部には、種々の非遷移的実体的記憶媒体（non-transitory tangible storage medium）が採用可能である。こうした非遷移的実体的記憶媒体は、フラッシュメモリ、ハードディスク及び光学ディスク等の種々の不揮発性の記憶媒体であってもよく、又はＲＡＭ等の揮発性の記憶媒体であってもよい。また上記の記憶媒体は、ＨＣＵ等の制御装置に設けられた記憶部に限定されず、当該記憶部へのコピー元となる光学ディスク及び汎用コンピュータのハードディスクドライブ等であってもよい。

【符号の説明】

【0086】

Ａ 自車両（車両）、２１ 前方カメラ（撮像部）、２２ 検出部、２３ レーダ、２４ ライダ、２５ ソナー、３０ ディスプレイ（表示装置）、４０ 画像処理部、４１ 演算部、５１ 画像取得部、５３ 検出情報取得部、５７ 地図情報取得部、６１ 確信度判定部、６２ 位置算出部、６３ 重なり判定部、６４ 物体追跡部、６５ 物体判別部、６６ 接近判定部、６８ 移動推定部、７０ 周辺確認映像（映像）、７１ 撮像画像、７３ 画像透過領域、７４ 物体画像、７５ ベクトル画像、７６ 背景画像、１００ 映像出力装置、Ｓ１，Ｓ２ 遮蔽物（第一物体，遮蔽物体）、Ｖ１ 死角物体（第二物体）、Ｖ２ 追跡物体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】