特許 6861599 周辺監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6861599

(24)【登録日】2021年4月1日

(45)【発行日】2021年4月21日

(54)【発明の名称】周辺監視装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20210412BHJP

   G06T 1/00 20060101ALI20210412BHJP

   G06T 7/00 20170101ALI20210412BHJP

   B60R 1/00 20060101ALI20210412BHJP

【ＦＩ】

   H04N7/18 J

   G06T1/00 330A

   G06T7/00 C

   G06T7/00 650A

   B60R1/00 A

【請求項の数】5

【全頁数】21

(21)【出願番号】特願2017-166766(P2017-166766)

(22)【出願日】2017年8月31日

(65)【公開番号】特開2019-47244(P2019-47244A)

(43)【公開日】2019年3月22日

【審査請求日】2019年11月26日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】大泉 雄太

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２０１３−１７３４２７（ＪＰ，Ａ）

【文献】 特開２０１５−１９２１９８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

路面上を走行する車両に取り付けられた、前記路面に接地していない浮遊物を含む前記車両の周辺を撮像する撮像部と、
前記撮像部により前記周辺が撮像されることで得られ、前記車両の動きに応じて変化し得る２つの画像を視点変換して、第１俯瞰画像及び第２俯瞰画像を生成する俯瞰画像生成部と、
前記第１俯瞰画像を前記撮像部から放射方向に延びる第１放射線で前記撮像部の位置を中心として所定の角度おきに分割した複数の立体物領域の中から、前記浮遊物の前記路面に対する鉛直性を評価して、前記浮遊物を含む第１立体物領域を抽出する第１立体物領域抽出部と、
前記第２俯瞰画像を前記撮像部から放射方向に延びる第２放射線で前記撮像部の位置を中心として所定の角度おきに分割した複数の立体物領域の中から、前記浮遊物の前記路面に対する鉛直性を評価して、前記浮遊物を含む第２立体物領域を抽出する第２立体物領域抽出部と、
前記第１俯瞰画像と前記第２俯瞰画像を重畳した重畳俯瞰画像上で、前記第１立体物領域に含まれる前記浮遊物の重心から前記第１放射線に沿って延びる第１直線と、前記第２立体物領域に含まれる前記浮遊物の重心から前記第２放射線に沿って延びる第２直線とが交差する点を、前記浮遊物の真下にある前記路面に前記浮遊物を投影した投影座標点として特定する投影座標点特定部と、を有することを特徴とする周辺監視装置。

【請求項2】

請求項１に記載の周辺監視装置において、
前記車両に搭載された表示部と、
前記投影座標点特定部で特定された前記投影座標点を含む前記重畳俯瞰画像を、前記表示部に表示する表示制御部を備えることを特徴とする周辺監視装置。

【請求項3】

請求項２に記載の周辺監視装置において、
前記表示制御部は、
前記投影座標点特定部による前記投影座標点の特定が完了すると、前記第１立体物領域に含まれる前記浮遊物の重心の位置を示す座標点と、前記第２立体物領域に含まれる前記浮遊物の重心の位置を示す座標点とを前記表示部から消去することを特徴とする周辺監視装置。

【請求項4】

請求項２又は請求項３に記載の周辺監視装置において、
前記撮像部は、前記路面に立設された支柱に対して前記路面よりも高い位置で交差する線状体を前記浮遊物として撮像し、
前記表示制御部は、
前記第１立体物領域又は前記第２立体物領域に含まれる前記支柱の長手方向のベクトルと、前記第１立体物領域又は前記第２立体物領域に含まれる前記線状体の長手方向のベクトルとの合成ベクトルと、前記撮像部から放射方向に延びる放射ベクトルとのなす角度が、予め定められた基準角度以内である場合に、前記投影座標点を含む前記重畳俯瞰画像を前記表示部に表示することを特徴とする周辺監視装置。

【請求項5】

請求項１乃至請求項４のいずれか一項に記載の周辺監視装置において、
前記撮像部は、前記路面に立設された支柱に対して前記路面よりも高い位置で交差する線状体を前記浮遊物として撮像し、
前記第１立体物領域抽出部は、前記第１俯瞰画像を分割した複数の立体物領域のうち、特定の立体物領域に含まれる前記線状体の長手方向のベクトルと、前記撮像部の放射方向のベクトルとのなす角度が、予め定められた基準角度を超えるか否かを判断することによって、前記線状体の前記路面に対する鉛直性を評価し、
前記第２立体物領域抽出部は、前記第２俯瞰画像を分割した複数の立体物領域のうち、特定の立体物領域に含まれる前記線状体の長手方向のベクトルと、前記撮像部の放射方向のベクトルとのなす角度が、予め定められた基準角度を超えるか否かを判断することによって、前記線状体の前記路面に対する鉛直性を評価することを特徴とする周辺監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の周辺を監視する周辺監視装置に関する。

【背景技術】

【0002】

従来、車両の周辺に設けた撮像部によって車両の周辺を撮像し、撮像された画像を視点変換した俯瞰画像を運転者に表示することで、より安全な運転を実現するための技術が知られている。しかし、俯瞰画像からは立体物を判断することができない。そこで、異なる時刻に生成された少なくとも２枚の俯瞰画像から差分画像を求め、この差分画像に基づいて、車両の周辺に存在する立体物を認識する技術が知られている（特許文献１参照）。

【0003】

しかし、俯瞰画像を運転者に表示したときには、立体物は路面に倒れ込むようにして表示されてしまう。そのため、車両周辺に存在する立体物のうち、路面に接地していない浮遊物は、俯瞰画像の特性上、実際の位置よりも遠くにあるように見えてしまうという課題がある。

【0004】

この課題を解決するための方策として、一つには、立体物が撮像されて路面に視点変換された俯瞰画像と、立体物が撮像されて撮像部の設置位置よりも高い水平面に視点変換された俯瞰画像とを用いて、浮遊物の位置を認識する技術がある（特許文献２参照）。もう一つには、設置位置の高さが異なる複数の撮像部で撮像され視点変換された複数の俯瞰画像を比較して、浮遊物の位置を認識する技術がある（特許文献３参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開2006-253872号公報

【特許文献2】特開2009-93332号公報

【特許文献3】特開2009-188635号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、特許文献２、３に開示されている技術では、浮遊物の真下にある路面に浮遊物を投影した位置を俯瞰画像上で特定できない。このため、俯瞰画像を頼りにして、車両をその浮遊物の近傍まで接近させると、車両が浮遊物に接触してしまう虞があった。

【0007】

本発明は、上記課題に鑑みてなされたもので、車両の周辺に存在する浮遊物に車両が接触してしまうことを抑制することのできる周辺監視装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る周辺監視装置は、路面上を走行する車両に取り付けられた、前記路面に接地していない浮遊物を含む前記車両の周辺を撮像する撮像部と、前記撮像部により前記周辺が撮像されることで得られ、前記車両の動きに応じて変化し得る２つの画像を視点変換して、第１俯瞰画像及び第２俯瞰画像を生成する俯瞰画像生成部と、前記第１俯瞰画像を前記撮像部から放射方向に延びる第１放射線で前記撮像部の位置を中心として所定の角度おきに分割した複数の立体物領域の中から、前記浮遊物の前記路面に対する鉛直性を評価して、前記浮遊物を含む第１立体物領域を抽出する第１立体物領域抽出部と、前記第２俯瞰画像を前記撮像部から放射方向に延びる第２放射線で前記撮像部の位置を中心として所定の角度おきに分割した複数の立体物領域の中から、前記浮遊物の前記路面に対する鉛直性を評価して、前記浮遊物を含む第２立体物領域を抽出する第２立体物領域抽出部と、前記第１俯瞰画像と前記第２俯瞰画像を重畳した重畳俯瞰画像上で、前記第１立体物領域に含まれる前記浮遊物の重心から前記第１放射線に沿って延びる第１直線と、前記第２立体物領域に含まれる前記浮遊物の重心から前記第２放射線に沿って延びる第２直線とが交差する点を、前記浮遊物の真下にある前記路面に前記浮遊物を投影した投影座標点として特定する投影座標点特定部と、を有することを特徴とする。

【発明の効果】

【0009】

このように構成された本発明に係る周辺監視装置によれば、車両の周辺に存在する浮遊物に車両が接触してしまうことを抑制することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係る周辺監視装置の概略構成を示すブロック図である。

【図2】本発明の一実施形態に係る周辺監視装置のハードウェア構成を示すハードウェアブロック図である。

【図3】本発明の一実施形態に係る投影座標点取得部の概略構成を示すブロック図である。

【図4】第１立体物領域抽出部で行われる処理の説明図である（その１）。

【図5】第１立体物領域抽出部で行われる処理の説明図である（その２）。

【図6】第２立体物領域抽出部で行われる処理の説明図である（その１）。

【図7】第２立体物領域抽出部で行われる処理の説明図である（その２）。

【図8】投影座標点特定部で行われる処理の説明図である。

【図9】投影座標点出力部で行われる処理の説明図である（その１）。

【図10】投影座標点出力部で行われる処理の説明図である（その２）。

【図11】投影座標点出力部で行われる処理の説明図である（その３）。

【図12】投影座標点出力部で行われる処理の説明図である（その４）。

【図13】投影座標点出力部で行われる処理の説明図である（その５）。

【図14】投影座標点出力部で行われる処理の説明図である（その６）。

【図15】投影座標点出力部で行われる処理の説明図である（その７）。

【図16】投影座標点出力部で行われる処理の説明図である（その８）。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態に係る周辺監視装置を、図面を参照して説明する。

【0012】

＜周辺監視装置の概略構成＞
図１は、本発明の一実施形態に係る周辺監視装置の概略構成を示す。周辺監視装置１００は、路面上を走行する車両１０に搭載されている。周辺監視装置１００は、主に、撮像部１２と、画像入力部２０と、俯瞰画像生成部３０と、立体物検出部４０と、投影座標点取得部５０と、投影座標点出力部６０とを備えている。

【0013】

撮像部１２は、車両１０の左方に取り付けられている。撮像部１２は、車両１０の直近の路面を含む左方観測範囲を１８０°の視野範囲（画角）に亘って撮像する。

【0014】

画像入力部２０は、撮像部１２により左方観測範囲が異なる２つの時刻（ｔ−Δｔ），（ｔ）に撮像されることで得られた２つの画像を、計算機で取り扱えるデジタル画像形式の原画像７０（ｔ−Δｔ）及び原画像７０（ｔ）に変換する。画像入力部２０は、原画像７０（ｔ−Δｔ）及び原画像７０（ｔ）を俯瞰画像生成部３０に入力する。

【0015】

俯瞰画像生成部３０は、原画像７０（ｔ−Δｔ）及び原画像７０（ｔ）を視点変換して、所定の視点位置から見た第１俯瞰画像７２（ｔ−Δｔ）及び第２俯瞰画像７２（ｔ）を生成する。

【0016】

なお、立体物検出部４０、投影座標点取得部５０及び投影座標点出力部６０の詳細は後述する。

【0017】

＜ハードウェア構成＞
図２は、本発明の一実施形態に係る周辺監視装置のハードウェア構成を示すハードウェアブロック図である。以下、図２を用いてハードウェア構成を説明する。

【0018】

周辺監視装置１００は、車両１０に搭載された、ＥＣＵ（Electronic Control Unit）１１０と、左方カメラ１２ａと、車両状態センサ１４０と、モニタ１５０（表示部）とを備えている。

【0019】

左方カメラ１２ａは、撮像部１２（図１）を構成する。

【0020】

車両状態センサ１４０は、操舵角センサや距離センサで構成される。車両状態センサ１４０は、車両１０の挙動を検出することによって、車両１０の移動量と移動方向を算出する。

【0021】

モニタ１５０は、投影座標点出力部６０（図１）の出力結果を表示する。

【0022】

ＥＣＵ１１０は、ＣＰＵ（Central Processing Unit）１１２と、カメラインタフェース１１４と、センサ入力インタフェース１１６と、画像処理モジュール１１８と、メモリ１２０と、表示制御部１２２とを備えている。

【0023】

ＣＰＵ１１２は、必要なデータの送受信やプログラムの実行を行う。

【0024】

カメラインタフェース１１４は、バス１２４を介してＣＰＵ１１２に接続される。カメラインタフェース１１４は、左方カメラ１２ａの制御を行う。

【0025】

センサ入力インタフェース１１６は、バス１２４を介してＣＰＵ１１２に接続される。センサ入力インタフェース１１６は、車両状態センサ１４０の測定結果を取得する。

【0026】

画像処理モジュール１１８は、バス１２４を介してＣＰＵ１１２に接続される。画像処理モジュール１１８は、内部に内蔵された所定のプログラムによって画像処理を実行する。

【0027】

メモリ１２０は、バス１２４を介してＣＰＵ１１２に接続される。メモリ１２０は、画像処理の中間結果や、必要な定数、プログラム等を記憶する。

【0028】

表示制御部１２２は、投影座標点出力部６０（図１）を構成する。表示制御部１２２は、バス１２４を介してＣＰＵ１１２に接続される。表示制御部１２２は、モニタ１５０の制御を行う。

【0029】

なお、図１で説明した画像入力部２０、俯瞰画像生成部３０、立体物検出部４０、投影座標点取得部５０及び投影座標点出力部６０は、後述する作用を実現するソフトウェアによって制御されている。このソフトウェアは、上記メモリ１２０（図２）の内部に記憶されて、必要に応じて適宜実行される。

【0030】

＜投影座標点取得部の概略構成＞
図３は、本発明の一実施形態に係る投影座標点取得部の概略構成を示す。以下、図３を用いて投影座標点取得部の概略構成を説明する。

【0031】

投影座標点取得部５０は、第１立体物領域抽出部５１と、第２立体物領域抽出部５２と、投影座標点特定部５３とを備えている。

【0032】

第１立体物領域抽出部５１は、領域分割部５１Ａと、鉛直性評価部５１Ｂとを備えている。

【0033】

領域分割部５１Ａは、図４に示す第１俯瞰画像７２（ｔ−Δｔ）を左方カメラ１２ａ（図４）から放射方向に延びる第１放射線で左方カメラ１２ａの位置を中心として所定の角度おきに分割する。

【0034】

鉛直性評価部５１Ｂは、領域分割部５１Ａが分割した複数の立体物領域のうち、特定の立体物領域に含まれるバー８５，８６（図４）の路面８０（図４）に対する鉛直性を評価する。勿論、沿直性の評価は、バー８５，８６に限らず、支柱８１，８２，８３，８４（図４）に対して行われてもよい。

【0035】

第２立体物領域抽出部５２は、領域分割部５２Ａと、鉛直性評価部５２Ｂとを備えている。

【0036】

領域分割部５２Ａは、図６に示す第２俯瞰画像７２（ｔ）を左方カメラ１２ａ（図６）から放射方向に延びる第２放射線で左方カメラ１２ａの位置を中心として所定の角度おきに分割する。

【0037】

鉛直性評価部５２Ｂは、領域分割部５２Ａが分割した複数の立体物領域のうち、特定の立体物領域に含まれるバー８５，８６（図６）の路面８０（図６）に対する鉛直性を評価する。

【0038】

なお、投影座標点特定部５３の詳細は後述する。

【0039】

＜周辺監視装置で行われる各処理の説明＞
以下、周辺監視装置１００で行われる各処理の内容について順を追って説明する。

【0040】

＜立体物検出部４０で行われる処理の説明＞
まず、図４及び図６を用いて、立体物検出部４０で行われる処理について説明する。

【0041】

図４に示す第１俯瞰画像７２（ｔ−Δｔ）は、左方カメラ１２ａにより時刻（ｔ−Δｔ）において車両１０の直近の路面８０を含む左方観測範囲が撮像されて視点変換された俯瞰画像である。第１俯瞰画像７２（ｔ−Δｔ）の下部に映り込んだ車両１０は、例えばＣＧ（Computer Graphics）で作成された車両である。

【0042】

図６に示す第２俯瞰画像７２（ｔ）は、左方カメラ１２ａにより時刻（ｔ）において車両１０の直近の路面８０を含む左方観測範囲が撮像されて視点変換された俯瞰画像である。第２俯瞰画像７２（ｔ）の下部に映り込んだ車両１０は、例えばＣＧで作成された車両である。

【0043】

路面８０には、図４及び図６に示すように、４本の支柱８１，８２，８３，８４が立設されている。支柱８１，８２の各先端部の間には、線状体（浮遊物）としてのバー８５が架設されている。支柱８３，８４の各先端部の間には、線状体（浮遊物）としてのバー８６が架設されている。

【0044】

支柱８３，８４の各足元部分８３ａ，８４ａには、図４及び図６に示すように、路面８０に溜まった水によって水溜りＰが連なっている。路面８０に形成された水溜りＰには、図４及び図６に示すように、支柱８３，８４からの光が水溜りＰの表面で鏡面反射している。

【0045】

そのため、支柱８３，８４が撮像されて視点変換された俯瞰画像と、水溜りＰの表面に映りこんだ支柱８７，８８が撮像されて視点変換された俯瞰画像とが一体化している。これにより、路面８０に立設された２本の支柱８３，８４は、図４及び図６に示すように、実際の位置よりも車両１０の近くにあるように映り込んでいる。

【0046】

立体物検出部４０は、図４に示す第１俯瞰画像７２（ｔ−Δｔ）を、短い時間間隔Δｔの間における車両１０の移動量と移動方向に対応するように平行移動又は回転移動して、時刻（ｔ）における仮想的な第２予測俯瞰画像７２’（ｔ）を生成する。図１２に、第２予測俯瞰画像７２’（ｔ）の一例を示す。

【0047】

具体的に、立体物検出部４０は、図６に示す第２俯瞰画像７２（ｔ）に映り込んだ路面８０に描かれている支柱８１〜８４やバー８５，８６と、図１２に示す第２予測俯瞰画像７２’（ｔ）に映り込んだ路面８０に描かれている支柱８１〜８４やバー８５，８６とに基づいて、支柱８１〜８４やバー８５，８６が車両１０の動きに応じて移動した移動量や回転した回転量を算出する。この移動量や回転量に基づいて、立体物検出部４０は、第２俯瞰画像７２（ｔ）に映り込んだ支柱８１〜８４やバー８５，８６と、第２予測俯瞰画像７２’（ｔ）に映り込んだ支柱８１〜８４やバー８５，８６との位置合わせを行う。

【0048】

その位置合わせの後、立体物検出部４０は、図１２に示す第２予測俯瞰画像７２’（ｔ）から、図６に示す第２俯瞰画像７２（ｔ）を減算する減算処理を施して差分画像を求める。

【0049】

車両１０が移動しても、支柱８３の足元部分８３ａや、支柱８４の足元部分８４ａは、第２予測俯瞰画像７２’（ｔ）と第２俯瞰画像７２（ｔ）の略同じ位置に発生する。そのため、第２予測俯瞰画像７２’（ｔ）と第２俯瞰画像７２（ｔ）との差分画像において除去された部分は、支柱８３の足元部分８３ａや、支柱８４の足元部分８４ａであると推測することができる。従って、俯瞰画像上で水溜りＰの表面に映りこんだ支柱８７と一体化した支柱８３の足元部分８３ａや、俯瞰画像上で水溜りＰの表面に映りこんだ支柱８８と一体化した支柱８４の足元部分８４ａの位置を抽出することができる。

【0050】

なお、支柱８３の足元部分８３ａや、支柱８４の足元部分８４ａの位置を抽出するにあたり、立体物検出部４０は、時刻（ｔ−Δｔ）における仮想的な第１予測俯瞰画像７２’（ｔ−Δｔ）を生成しても構わない。図１０に、第１予測俯瞰画像７２’（ｔ−Δｔ）の一例を示す。

【0051】

具体的に、立体物検出部４０は、図４に示す第１俯瞰画像７２（ｔ−Δｔ）に映り込んだ路面８０に描かれている支柱８１〜８４やバー８５，８６と、図１０に示す第１予測俯瞰画像７２’（ｔ−Δｔ）に映り込んだ路面８０に描かれている支柱８１〜８４やバー８５，８６とに基づいて、支柱８１〜８４やバー８５，８６が車両１０の動きに応じて移動した移動量や回転した回転量を算出する。この移動量や回転量に基づいて、立体物検出部４０は、第１俯瞰画像７２（ｔ−Δｔ）に映り込んだ支柱８１〜８４やバー８５，８６と、第１予測俯瞰画像７２’（ｔ−Δｔ）に映り込んだ支柱８１〜８４やバー８５，８６との位置合わせを行う。

【0052】

その位置合わせの後、立体物検出部４０は、図１０に示す第１予測俯瞰画像７２’（ｔ−Δｔ）から、図４に示す第１俯瞰画像７２（ｔ−Δｔ）を減算する減算処理を施して差分画像を求める。その差分画像において除去された部分も、図１０に示す第２予測俯瞰画像７２’（ｔ）と、図６に示す第２俯瞰画像７２（ｔ）との差分画像において除去された部分と同様に、支柱８３の足元部分８３ａや、支柱８４の足元部分８４ａであると推測することができる。

【0053】

上述したような、予測俯瞰画像と、実際に得られた俯瞰画像との間で行われる減算処理の結果として得られる差分画像の輝度は、路面８０が存在する領域において閾値よりも小さくなり、支柱８１〜８４やバー８５，８６等の立体物が存在する領域において閾値よりも大きくなる傾向にある。この傾向を利用して、立体物検出部４０は、差分画像の輝度が閾値よりも大きくなる領域を立体物存在領域として検出する。

【0054】

＜第１立体物領域抽出部５１で行われる処理の説明＞
次に、図４及び図５を用いて、第１立体物領域抽出部５１で行われる処理について説明する。

【0055】

（領域分割部５１Ａで行われる処理の説明）
まず、領域分割部５１Ａは、図４に示すように、第１俯瞰画像７２（ｔ−Δｔ）を左方カメラ１２ａから放射方向に延びる７本の第１放射線ＲＬ１０，ＲＬ１１，ＲＬ１２，ＲＬ１３，ＲＬ１４，ＲＬ１５，ＲＬ１６，ＲＬ１７で左方カメラ１２ａの位置を中心として等角度（＝３０°）おきに分割する。

【0056】

第１放射線ＲＬ１０〜ＲＬ１７によって、第１俯瞰画像７２（ｔ−Δｔ）は、図４に示すように、６つの立体物領域７２（ｔ−Δｔ）＿１，７２（ｔ−Δｔ）＿２，７２（ｔ−Δｔ）＿３，７２（ｔ−Δｔ）＿４，７２（ｔ−Δｔ）＿５，７２（ｔ−Δｔ）＿６に分割される。

【0057】

第１放射線ＲＬ１０〜ＲＬ１７は、支柱８１〜８４やバー８５，８６の路面８０に対する鉛直性を示す指標となる。支柱は路面８０に対して鉛直に立設されているので、支柱の長手方向と、第１放射線の延存方向とは一致する。

【0058】

（鉛直性評価部５１Ｂで行われる処理の説明）
鉛直性評価部５１Ｂは、図５に示すように、支柱８１〜８４やバー８５，８６の路面８０に対する鉛直性を評価する。鉛直性評価部５１Ｂは、支柱８１，８２及びバー８５からなる一塊の領域から、支柱８１，８２と、バー８５とを区別する。同様に、鉛直性評価部５１Ｂは、支柱８３，８４，バー８６及び水溜りＰの表面に映りこんだ支柱８７，８８からなる一塊の領域から、支柱８３及び支柱８７の塊と、支柱８４及び支柱８８の塊と、バー８６とを区別する。

【0059】

支柱やバーを区別する手法には、例えば、一塊の領域を複数のブロックに分割して、ブロック毎に上下方向又は左右方向にエッジ検出を行い、エッジ検出の結果として得られたエッジ方向の類似性等を用いた手法がある。なお以下では、バー８５，８６の路面８０に対する鉛直性評価と、支柱８１〜８４の路面８０に対する鉛直性評価に分けて説明する。

【0060】

（バー８５，８６の路面８０に対する鉛直性評価）
鉛直性評価部５１Ｂは、図５に示すように、バー８５の長手方向のベクトルＶ１と、左方カメラ１２ａの放射方向のベクトルとのなす角度が、予め定められた基準角度を超えるか否かを判断する。鉛直性評価部５１Ｂは、両ベクトルのなす角度が基準角度を超える場合、バー８５は路面８０に対して鉛直に立設されていないと判断する。この判断のもとで、第１立体物領域抽出部５１（図３）は、バー８５を含む立体物領域７２（ｔ−Δｔ）＿１，７２（ｔ−Δｔ）＿２を抽出する。バー８５は、後述する投影座標点特定部５３（図３）において重心Ｇ１（図８）を求める際の対象となる。

【0061】

鉛直性評価部５１Ｂは、図５に示すように、バー８６の長手方向のベクトルＶ２と、左方カメラ１２ａの放射方向のベクトルとのなす角度が、予め定められた基準角度を超えるか否かを判断する。鉛直性評価部５１Ｂは、両ベクトルのなす角度が基準角度を超える場合、バー８６は路面８０に対して鉛直に立設されていないと判断する。この判断のもとで、第１立体物領域抽出部５１（図３）は、バー８６を含む立体物領域７２（ｔ−Δｔ）＿５，７２（ｔ−Δｔ）＿６を抽出する。バー８６は、後述する投影座標点特定部５３（図３）において重心Ｇ２１（図８）を求める際の対象となる。

【0062】

（支柱８１〜８４の路面８０に対する鉛直性評価）
鉛直性評価部５１Ｂは、図５に示すように、バー８５，８６と同様に、支柱８１〜８４についても路面８０に対する鉛直性を評価する。本実施形態の支柱８１〜８４は、路面８０に対して鉛直に立設されている。そのため、支柱８１の長手方向のベクトルＶ３の向きと、左方カメラ１２ａの放射方向とは一致している。

【0063】

支柱８２の長手方向のベクトルＶ４の向きと、左方カメラ１２ａの放射方向も同様に一致している。支柱８３及び水溜りＰの表面に映りこんだ支柱８７の長手方向のベクトルＶ５の向きと、左方カメラ１２ａの放射方向も同様に一致している。支柱８４及び水溜りＰの表面に映りこんだ支柱８８の長手方向のベクトルＶ６の向きと、左方カメラ１２ａの放射方向も同様に一致している。

【0064】

図５では、支柱の長手方向のベクトルと、第１放射線の延存方向のベクトルのなす鋭角は基準角度以内にあるものと判断される。そのため、支柱８１〜８４は、後述する投影座標点特定部５３（図３）において重心を求める対象からは除外される。

【0065】

＜第２立体物領域抽出部５２で行われる処理の説明＞
次に、図６及び図７を用いて、第２立体物領域抽出部５２で行われる処理について説明する。なお、第１立体物領域抽出部５１の領域分割部５１Ａ及び鉛直性評価部５１Ｂと、第２立体物領域抽出部５２の領域分割部５２Ａ及び鉛直性評価部５２Ｂとは、順に同様のものであるので、説明を省略することがある。

【0066】

（領域分割部５２Ａで行われる処理の説明）
まず、領域分割部５２Ａは、図６に示すように、第２俯瞰画像７２（ｔ）を左方カメラ１２ａから放射方向に延びる７本の第２放射線ＲＬ２０，ＲＬ２１，ＲＬ２２，ＲＬ２３，ＲＬ２４，ＲＬ２５，ＲＬ２６，ＲＬ２７で左方カメラ１２ａの位置を中心として等角度θ２（＝３０°）おきに分割する。これにより、第２俯瞰画像７２（ｔ）は、６つの立体物領域７２（ｔ）＿１，７２（ｔ）＿２，７２（ｔ）＿３，７２（ｔ）＿４，７２（ｔ）＿５，７２（ｔ）＿６に分割される。

【0067】

（鉛直性評価部５２Ｂで行われる処理の説明）
次に、鉛直性評価部５２Ｂは、支柱８１〜８４やバー８５，８６の路面８０に対する鉛直性を評価する。なお以下では、バー８５，８６の路面８０に対する鉛直性評価と、支柱８１〜８４の路面８０に対する鉛直性評価に分けて説明する。

【0068】

（バー８５、８６の路面８０に対する鉛直性評価）
鉛直性評価部５２Ｂは、図７に示すように、バー８５の長手方向のベクトルＶ２１と、左方カメラ１２ａの放射方向のベクトルとのなす角度が、予め定められた基準角度を超えるか否かを判断する。図７では、両ベクトルのなす角度が基準角度を超えるものとして、第２立体物領域抽出部５２は、バー８５を含む立体物領域７２（ｔ）＿１、７２（ｔ）＿２を抽出する。バー８５は、後述する投影座標点特定部５３（図３）において重心Ｇ２（図８）を求める対象となる。

【0069】

鉛直性評価部５２Ｂは、図７に示すように、バー８６の長手方向のベクトルＶ２２と、左方カメラ１２ａの放射方向のベクトルとのなす角度が、予め定められた基準角度を超えるか否かを判断する。図７では、両ベクトルのなす角度が基準角度を超えるものとして、第２立体物領域抽出部５２（図３）は、バー８６を含む立体物領域７２（ｔ）＿４〜７２（ｔ）＿６を抽出する。バー８６は、後述する投影座標点特定部５３（図３）において重心Ｇ２２（図８）を求める際の対象となる。

【0070】

（支柱８１〜８４の路面８０に対する鉛直性評価）
鉛直性評価部５２Ｂは、図７に示すように、バー８５，８６と同様に、支柱８１〜８４についても路面８０に対する鉛直性を評価する。上述したように、支柱８１〜８４は、路面８０に対して鉛直に立設されている。そのため、支柱８１の長手方向のベクトルＶ２３の向きと、左方カメラ１２ａの放射方向とは一致している。

【0071】

支柱８２の長手方向のベクトルＶ２４の向きと、左方カメラ１２ａの放射方向も同様に一致している。支柱８３及び水溜りＰの表面に映りこんだ支柱８７の長手方向のベクトルＶ２５の向きと、左方カメラ１２ａの放射方向も同様に一致している。支柱８４及び水溜りＰの表面に映りこんだ支柱８８の長手方向のベクトルＶ２６の向きと、左方カメラ１２ａの放射方向も同様に一致している。

【0072】

図７では、支柱の長手方向のベクトルと、第１放射線の延存方向のベクトルのなす鋭角は基準角度以内にあるものと判断される。そのため、支柱８１〜８４は、後述する投影座標点特定部５３（図３）において重心を求める対象からは除外される。

【0073】

＜投影座標点特定部５３で行われる処理の説明＞
続いて、図８を用いて、投影座標点特定部５３で行われる処理について説明する。

【0074】

図８に示す重畳俯瞰画像ＳＶＩは、図４に示す第１俯瞰画像７２（ｔ−Δｔ）と、図６に示す第２俯瞰画像７２（ｔ）とを移動及び回転させて、両俯瞰画像の位置を合わせた後に重畳した重畳俯瞰画像である。重畳俯瞰画像ＳＶＩの下部に鎖線で示す車両１０は、図４に示した第１俯瞰画像７２（ｔ−Δｔ）の下部と同じ位置に映り込んでいる。重畳俯瞰画像ＳＶＩの下部に実線で示す車両１０は、図６に示した第２俯瞰画像７２（ｔ）の下部と同じ位置に映り込んでいる。

【0075】

図８では、図をわかりやすくするために、第１俯瞰画像７２（ｔ−Δｔ）に含まれる支柱８１〜８４，バー８５，８６を斜線で示し、第２俯瞰画像７２（ｔ）に含まれる支柱８１〜８４，バー８５，８６を網掛けで示している。また、図８では、図をわかりやすくするために、第１俯瞰画像７２（ｔ−Δｔ）に含まれる水溜りＰの表面に映りこんだ支柱８７，８８と、第２俯瞰画像７２（ｔ）に含まれる水溜りＰの表面に映りこんだ支柱８７，８８とでハッチングの種類を変えてある。

【0076】

投影座標点特定部５３は、図８に示すように、重畳俯瞰画像ＳＶＩ上で、第１直線Ｌ１と第１直線Ｌ２１とが交差する点を、バー８５の真下にある路面８０にバー８５を投影した投影座標点ＳＰ１として特定する。第１直線Ｌ１は、斜線で示すバー８５の重心Ｇ１から、鎖線で示す車両１０に設置した左方カメラ１２ａの放射方向に延びる直線である。第１直線Ｌ２１は、網掛けで示すバー８５の重心Ｇ２から、実線で示す車両１０に設置した左方カメラ１２ａの放射方向に延びる直線である。

【0077】

投影座標点特定部５３は、図８に示すように、重畳俯瞰画像ＳＶＩ上で、第２直線Ｌ２と第２直線Ｌ２２とが交差する点を、バー８６の真下にある路面８０にバー８６を投影した投影座標点ＳＰ２として特定する。第２直線Ｌ２は、斜線で示すバー８６の重心Ｇ２１から、鎖線で示す車両１０に設置した左方カメラ１２ａの放射方向に延びる直線である。第２直線Ｌ２２は、網掛けで示すバー８６の重心Ｇ２２から、実線で示す車両１０に設置した左方カメラ１２ａの放射方向に延びる直線である。

【0078】

＜投影座標点出力部６０で行われる処理の説明＞
続いて、図９〜図１６を用いて、投影座標点出力部６０で行われる処理について説明する。

【0079】

（俯瞰画像と第１予測俯瞰画像とを用いた鉛直性判定処理）
まず、投影座標点出力部６０は、図９及び図１０に示すように、第２俯瞰画像７２（ｔ）と、この第２俯瞰画像７２（ｔ）を平行移動又は回転移動して生成した第１予測俯瞰画像７２’（ｔ−Δｔ）とを用いて、投影座標点を含む立体物領域に含まれる立体物の路面８０に対する鉛直性を判定する。

【0080】

なお以下では、投影座標点ＳＰ１を含む立体物領域に対する鉛直性判定処理と、投影座標点ＳＰ２を含む立体物領域に対する鉛直性判定処理とに分けて説明する。

【0081】

（投影座標点ＳＰ１を含む立体物領域に対する鉛直性判定処理）
まず、図９及び図１０を参照しつつ、投影座標点ＳＰ１を含む立体物領域に対する鉛直性判定処理について説明する。

【0082】

投影座標点出力部６０は、図９に示すように、第２俯瞰画像７２（ｔ）から、投影座標点特定部５３で特定された投影座標点ＳＰ１を含む立体物領域７２（ｔ）＿１を抽出する。投影座標点出力部６０は、図９に示すように、その立体物領域７２（ｔ）＿１に含まれる、バー８５の長手方向のベクトルＶ３１と、支柱８１の長手方向のベクトルＶ３２との合成ベクトルＳＶ１を演算する。

【0083】

投影座標点出力部６０は、図１０に示すように、第１予測俯瞰画像７２’（ｔ−Δｔ）から、投影座標点特定部５３で特定された投影座標点ＳＰ１に対応する投影座標点ＳＰ１’を含む立体物領域７２’（ｔ−Δｔ）＿２を抽出する。図１０に示すように、その立体物領域７２’（ｔ−Δｔ）＿２には、バー８５の長手方向のベクトルＶ３１’のみが含まれる。そのため、投影座標点出力部６０は、合成ベクトルの演算を行わない。

【0084】

（第１判定処理）
次に、投影座標点出力部６０は、図９に示すように、合成ベクトルＳＶ１と、左方カメラ１２ａの放射方向のベクトルとのなす角度が、予め定められた基準角度以内である否かを判定する第１判定処理を実施する。

【0085】

（第２判定処理）
続いて、投影座標点出力部６０は、図９及び図１０に示すように、合成ベクトルＳＶ１と、ベクトルＶ３１’とのなす角度が、予め定められた基準角度以内である否かを判定する第２判定処理を実施する。

【0086】

投影座標点出力部６０は、第１判定処理及び第２判定処理の双方の判定条件を満たす場合のみ、モニタ１５０に表示する対象として第２俯瞰画像７２（ｔ）から投影座標点ＳＰ１を抽出する。

【0087】

（投影座標点ＳＰ２を含む立体物領域に対する鉛直性判定処理）
次に、図９及び図１０を参照しつつ、投影座標点ＳＰ２を含む立体物領域に対する鉛直性判定処理について説明する。

【0088】

投影座標点出力部６０は、図９に示すように、第２俯瞰画像７２（ｔ）から、投影座標点特定部５３で特定された投影座標点ＳＰ２を含む立体物領域７２（ｔ）＿５を抽出する。図９に示すように、その立体物領域７２（ｔ）＿５には、バー８６の長手方向のベクトルＶ３３のみが含まれる。そのため、投影座標点出力部６０は、合成ベクトルの演算を行わない。

【0089】

投影座標点出力部６０は、図１０に示すように、第１予測俯瞰画像７２’（ｔ−Δｔ）から、投影座標点特定部５３で特定された投影座標点ＳＰ２に対応する投影座標点ＳＰ２’を含む立体物領域７２’（ｔ−Δｔ）＿６を抽出する。投影座標点出力部６０は、その立体物領域７２’（ｔ−Δｔ）＿６に含まれる、バー８６の長手方向のベクトルＶ３３’と、その立体物領域７２’（ｔ−Δｔ）＿６に含まれる、支柱８４及び水溜りＰの表面に映りこんだ支柱８８の塊の長手方向のベクトルＶ３４’との合成ベクトルＳＶ２’を演算する。

【0090】

（第３判定処理）
次に、投影座標点出力部６０は、図９に示すように、ベクトルＶ３３と、左方カメラ１２ａの放射方向のベクトルとのなす角度が、予め定められた基準角度以内である否かを判定する第３判定処理を実施する。

【0091】

（第４判定処理）
続いて、投影座標点出力部６０は、図９及び図１０に示すように、ベクトルＶ３３と、合成ベクトルＳＶ２’とのなす角度が、予め定められた基準角度以内である否かを判定する第４判定処理を実施する。

【0092】

投影座標点出力部６０は、第３判定処理及び第４判定処理の双方の判定条件を満たす場合のみ、モニタ１５０に表示する対象として第２俯瞰画像７２（ｔ）から投影座標点ＳＰ２を抽出する。

【0093】

（俯瞰画像と予測俯瞰画像とを用いた鉛直性判定処理）
次に、投影座標点出力部６０は、図１１及び図１２に示すように、第１俯瞰画像７２（ｔ−Δｔ）と、この第１俯瞰画像７２（ｔ−Δｔ）を平行移動又は回転移動して生成した第２予測俯瞰画像７２’（ｔ）とを用いて、投影座標点を含む立体物領域に含まれる立体物の路面８０に対する鉛直性を判定する。なお以下では、投影座標点ＳＰ１を含む立体物領域に対する鉛直性判定処理と、投影座標点ＳＰ２を含む立体物領域に対する鉛直性判定処理とに分けて説明する。

【0094】

（投影座標点ＳＰ１を含む立体物領域に対する鉛直性判定処理）
まず、図１１及び図１２を参照しつつ、投影座標点ＳＰ１を含む立体物領域に対する鉛直性判定処理について説明する。

【0095】

投影座標点出力部６０は、図１１に示すように、第１俯瞰画像７２（ｔ−Δｔ）から、投影座標点特定部５３で特定された投影座標点ＳＰ１を含む立体物領域７２（ｔ−Δｔ）＿２を抽出する。図１１に示すように、立体物領域７２（ｔ−Δｔ）＿２には、バー８５の長手方向のベクトルＶ３５のみが含まれる。そのため、投影座標点出力部６０は、合成ベクトルの演算を行わない。

【0096】

投影座標点出力部６０は、図１２に示すように、第２予測俯瞰画像７２’（ｔ）から、投影座標点特定部５３で特定された投影座標点ＳＰ１に対応する投影座標点ＳＰ１’を含む立体物領域７２’（ｔ）＿１を抽出する。投影座標点出力部６０は、図１２に示すように、その立体物領域７２’（ｔ）＿１に含まれる、バー８５の長手方向のベクトルＶ３５’と、その立体物領域７２’（ｔ）＿１に含まれる、支柱８１の長手方向のベクトルＶ３６’との合成ベクトルＳＶ３’を演算する。

【0097】

（第５判定処理）
次に、投影座標点出力部６０は、図１１に示すように、ベクトルＶ３５と、左方カメラ１２ａの放射方向のベクトルとのなす角度が、予め定められた基準角度以内である否かを判定する第５判定処理を実施する。

【0098】

（第６判定処理）
続いて、投影座標点出力部６０は、図１１及び図１２に示すように、ベクトルＶ３５と、合成ベクトルＳＶ３’とのなす角度が、予め定められた基準角度以内である否かを判定する第６判定処理を実施する。

【0099】

投影座標点出力部６０は、第５判定処理及び第６判定処理の双方の判定条件を満たす場合のみ、モニタ１５０に表示する対象として第１俯瞰画像７２（ｔ−Δｔ）から投影座標点ＳＰ１を抽出する。

【0100】

（投影座標点ＳＰ２を含む立体物領域に対する鉛直性判定処理）
次に、図１１及び図１２を参照しつつ、投影座標点ＳＰ２を含む立体物領域に対する鉛直性判定処理について説明する。

【0101】

投影座標点出力部６０は、図１１に示すように、第２俯瞰画像７２（ｔ）から、投影座標点特定部５３で特定された投影座標点ＳＰ２を含む立体物領域７２（ｔ）＿６を抽出する。投影座標点出力部６０は、図１１に示すように、その立体物領域７２（ｔ）＿６に含まれる、バー８６の長手方向のベクトルＶ３７と、その立体物領域７２（ｔ）＿４に含まれる、支柱８３と水溜りＰの表面に映りこんだ支柱８７の塊の長手方向のベクトルＶ３８との合成ベクトルＳＶ４を演算する。

【0102】

投影座標点出力部６０は、図１２に示すように、第１予測俯瞰画像７２’（ｔ−Δｔ）から、投影座標点特定部５３で特定された投影座標点ＳＰ２に対応する投影座標点ＳＰ２’を含む立体物領域７２’（ｔ−Δｔ）＿５を抽出する。その立体物領域７２’（ｔ−Δｔ）＿５には、バー８６の長手方向のベクトルＶ３７’のみが含まれる。そのため、投影座標点出力部６０は、合成ベクトルの演算を行わない。

【0103】

（第７判定処理）
次に、投影座標点出力部６０は、図１１に示すように、合成ベクトルＳＶ４と、左方カメラ１２ａの放射方向のベクトルとのなす角度が、予め定められた基準角度以内である否かを判定する第７判定処理を実施する。

【0104】

（第８判定処理）
続いて、投影座標点出力部６０は、図１１及び図１２に示すように、合成ベクトルＳＶ４と、ベクトルＶ３７’とのなす角度が、予め定められた基準角度以内である否かを判定する第８判定処理を実施する。

【0105】

投影座標点出力部６０は、第７判定処理及び第８判定処理の双方の判定条件を満たす場合のみ、モニタ１５０に表示する対象として第１俯瞰画像７２（ｔ−Δｔ）から投影座標点ＳＰ２を抽出する。

【0106】

（俯瞰画像と予測俯瞰画像とを用いた表示制御処理）
続いて、図１３〜図１６を参照しつつ、投影座標点出力部６０で行われる表示制御処理について説明する。

【0107】

まず、投影座標点出力部６０は、図１３及び図１４に示すように、第１俯瞰画像７２（ｔ−Δｔ）と、この第１俯瞰画像７２（ｔ−Δｔ）を平行移動又は回転移動して生成した第２予測俯瞰画像７２’（ｔ）とを用いて、モニタ１５０への表示制御処理を行う。

【0108】

図１３に示す第１俯瞰画像７２（ｔ−Δｔ）は、モニタ１５０に表示されている。第１俯瞰画像７２（ｔ−Δｔ）中の座標点ＳＰ１，ＳＰ２は、上記第１〜第７判定処理の結果、モニタ１５０に表示する対象とされた、バー８５，８６の真下にある路面８０にバー８５，８６を投影した投影座標点である。座標点ＳＰ３は、支柱８１の足元部分の位置を示す座標点である。座標点ＳＰ４は、支柱８２の足元部分の位置を示す座標点である。

【0109】

座標点ＳＰ５は、バー８５の重心の位置を示す座標点である。座標点ＳＰ６は、支柱８３の足元部分の位置を示す座標点である。座標点ＳＰ７は、支柱８４の足元部分の位置を示す座標点である。座標点ＳＰ８は、バー８６の重心の位置を示す座標点である。座標点ＳＰ９は、水溜りＰの表面に映りこんだ支柱８７の先端の位置を示す座標点である。座標点ＳＰ１０は、水溜りＰの表面に映りこんだ支柱８８の先端の位置を示す座標点である。例えば、座標点ＳＰ６や座標点ＳＰ７は、上述した第２予測俯瞰画像７２’（ｔ）と第２俯瞰画像７２（ｔ）との差分画像において除去された部分の位置における座標点として得られる。なお、図１３では、座標点ＳＰ１〜座標点ＳＰ１０を白抜きの星で示している。

【0110】

図１４に示す第２予測俯瞰画像７２’（ｔ）に映り込んだ座標点ＳＰ１’，ＳＰ２’は、第１俯瞰画像７２（ｔ−Δｔ）に映り込んだ座標点ＳＰ１，ＳＰ２に対応する座標点である。同様に、座標点ＳＰ３’，ＳＰ４’，ＳＰ５’，ＳＰ６’，ＳＰ７’，ＳＰ８’，ＳＰ９’，ＳＰ１０’も、それぞれが、座標点ＳＰ３，ＳＰ４，ＳＰ５，ＳＰ６，ＳＰ７，ＳＰ８，ＳＰ９，ＳＰ１０に対応している。なお、図１４では、座標点ＳＰ１’〜座標点ＳＰ１０’を黒塗りの星で示している。

【0111】

次に、投影座標点出力部６０は、図１５に示すように、座標点同士の間隔と閾値との比較判定を行う。図１５は、第１俯瞰画像７２（ｔ−Δｔ）と第２予測俯瞰画像７２’（ｔ）とを移動及び回転させて、両俯瞰画像の位置を合わせた後に重畳した重畳俯瞰画像上に、座標点ＳＰ１〜ＳＰ１０と、座標点ＳＰ１’〜ＳＰ１０’のみを映し出した状態を示す。投影座標点出力部６０は、図１５に示すように、間隔Ｄ１，間隔Ｄ２，間隔Ｄ３，間隔Ｄ４，間隔Ｄ５，間隔Ｄ６，間隔Ｄ７，間隔Ｄ８，間隔Ｄ９，間隔Ｄ１０の夫々と、予め定められた閾値とを比較する。

【0112】

間隔Ｄ１は、座標点ＳＰ１，ＳＰ１’同士の車両１０の進行方向の間隔である。間隔Ｄ２は、座標点ＳＰ２，ＳＰ２’同士の車両１０の進行方向の間隔である。間隔Ｄ３は、座標点ＳＰ３，ＳＰ３’同士の車両１０の進行方向の間隔である。間隔Ｄ４は、座標点ＳＰ４，ＳＰ４’同士の車両１０の進行方向の間隔である。間隔Ｄ５は、座標点ＳＰ５，ＳＰ５’同士の車両１０の進行方向の間隔である。間隔Ｄ６は、座標点ＳＰ６，ＳＰ６’同士の車両１０の進行方向の間隔である。間隔Ｄ７は、座標点ＳＰ７，ＳＰ７’同士の車両１０の進行方向の間隔である。間隔Ｄ８は、座標点ＳＰ８，ＳＰ８’同士の車両１０の進行方向の間隔である。間隔Ｄ９は、座標点ＳＰ９，ＳＰ９’同士の車両１０の進行方向の間隔である。間隔Ｄ１０は、座標点ＳＰ１０，ＳＰ１０’同士の車両１０の進行方向の間隔である。

【0113】

図１５では、間隔Ｄ１が略ゼロであるため、座標点ＳＰ１及びこれに対応する座標点ＳＰ１’を同じ星印で示し、間隔Ｄ１の図示を省略している。間隔Ｄ２も略ゼロであるため、座標点ＳＰ２及びこれに対応する座標点ＳＰ２’を同じ星印で示し、間隔Ｄ２の図示を省略している。同様に、間隔Ｄ３，間隔Ｄ４，間隔Ｄ６，間隔Ｄ７のそれぞれも略ゼロであるため、これら間隔の図示を省略している。投影座標点出力部６０は、図１５に示すように、間隔Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ６，Ｄ７の夫々を閾値以下と判定する。この判定のもと、重畳俯瞰画像上には、図１６に示すように、座標点ＳＰ１’，ＳＰ２’，ＳＰ３’，ＳＰ４’，ＳＰ６’，ＳＰ７’が表示された状態で残される。

【0114】

投影座標点出力部６０は、間隔Ｄ５，Ｄ８，Ｄ９，Ｄ１０の夫々については閾値を超えるものと判定する。この判定のもと、重畳俯瞰画像上からは、図１６に示すように、座標点ＳＰ５’，ＳＰ８’，ＳＰ９’，ＳＰ１０’が消去される。

【0115】

以上説明したように、本実施形態の周辺監視装置１００では、投影座標点特定部５３は、重畳俯瞰画像ＳＶＩ上で、第１直線Ｌ１と第１直線Ｌ２１とが交差する点を、バー８５の真下にある路面８０にバー８５を投影した投影座標点ＳＰ１として特定する。投影座標点特定部５３は、重畳俯瞰画像ＳＶＩ上で、第２直線Ｌ２と第２直線Ｌ２２とが交差する点を、バー８６の真下にある路面８０にバー８６を投影した投影座標点ＳＰ２として特定する。特定された投影座標点ＳＰ１，ＳＰ２は、投影座標点出力部６０において重畳俯瞰画像上でモニタ１５０に表示される。従って、車両１０の運転手は、モニタ１５０に映し出された重畳俯瞰画像を通じて、バー８５，８６の位置を明確に把握できる。そのため、車両１０の周辺に存在するバー８５，８６に車両１０が接触してしまうことを抑制することができる。

【0116】

また、本実施形態の周辺監視装置１００によれば、投影座標点出力部６０は、間隔Ｄ５，Ｄ８の夫々については閾値を超えるものと判定し、重畳俯瞰画像上から座標点ＳＰ５’，ＳＰ８’を消去する。座標点ＳＰ５’は、バー８５の重心の位置を示す座標点ＳＰ５に対応している。座標点ＳＰ８’は、バー８６の重心の位置を示す座標点ＳＰ８に対応している。バー８５，８６の重心の位置を示す座標点ＳＰ５，ＳＰ８は、俯瞰画像の特性上、実際の重心の位置よりも遠くにあるように見えてしまう。従って、このような実際の位置と異なる座標点を重畳俯瞰画像上から消去することで、使い勝手が向上する。

【0117】

なお、上記実施形態では、撮像部１２の視野範囲（画角）を１８０°に設定する例を示した。しかし、これに限られない。撮像部１２の視野範囲（画角）を１８０°以外の角度に設定してもよい。例えば、撮像部１２の視野範囲（画角）を１２０°に設定し、図４に示す立体物領域７２（ｔ−Δｔ）＿１，７２（ｔ−Δｔ）＿６を撮像部１２の視野外となる不可視領域としてもよい。

【0118】

なお、上記実施形態では、投影座標点出力部６０は、バーの真下にある路面８０にバーを投影した投影座標点をモニタ１５０に表示する例を示した。しかし、これに限られない。投影座標点出力部６０は、投影座標点を音声出力してもよい。

【0119】

なお、上記実施形態では、車両１０の左方に取り付けた左方カメラ１２ａで撮像部１２を構成する例を示した。しかし、これに限られない。例えば、車両１０の前方に取り付けた前方カメラや、車両１０の後方に取り付けた後方カメラや、車両１０の右方に取り付けた右方カメラで撮像部１２を構成してもよい。

【0120】

なお、上記実施形態では、立体物検出部４０は、俯瞰画像同士の輝度の差を利用して、立体物領域を検出する例を示した。しかし、これに限られない。例えば、立体物検出部４０は、俯瞰画像同士で、エッジ検出を行った結果の類似性（エッジ強度、エッジ方向の類似性）や、俯瞰画像を複数の小ブロックに分割して、各小ブロックから得た、濃淡ヒストグラムやエッジ検出結果のヒストグラムの類似性等を用いて、立体物領域を検出してもよい。

【0121】

なお、上記実施形態では、立体物領域抽出部を、第１立体物領域抽出部５１と第２立体物領域抽出部５２とで構成する例を示した。しかし、これに限られない。例えば、立体物領域抽出部は、単一の立体物領域抽出部で構成されてもよい。

【0122】

以上、本発明の実施形態を図面により詳述したが、実施形態は本発明の例示にしか過ぎないものであるため、本発明は実施形態の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

【符号の説明】

【0123】

１０・・・車両
１２・・・撮像部
１２ａ・・・左方カメラ
３０・・・俯瞰画像生成部
５０・・・投影座標点取得部
５１・・・第１立体物領域抽出部
５１Ａ・・・領域分割部
５１Ｂ・・・鉛直性評価部
５２・・・第２立体物領域抽出部
５２Ａ・・・領域分割部
５２Ｂ・・・鉛直性評価部
５３・・・投影座標点特定部
７２（ｔ−Δｔ），７２（ｔ）・・・俯瞰画像
７２’（ｔ−Δｔ），７２’（ｔ）・・・予測俯瞰画像
７２（ｔ−Δｔ）＿１，７２（ｔ−Δｔ）＿２，７２（ｔ−Δｔ）＿３，７２（ｔ−Δｔ）＿４，７２（ｔ−Δｔ）＿５，７２（ｔ−Δｔ）＿６，７２（ｔ）＿１，７２（ｔ）＿２，７２（ｔ）＿３，７２（ｔ）＿４，７２（ｔ）＿５，７２（ｔ）＿６・・・立体物領域
８０・・・路面
８１，８２，８３，８４・・・支柱
８５，８６・・・バー（浮遊物）
８７，８８・・・水溜りの表面に映りこんだ支柱
１００・・・周辺監視装置
１２２・・・表示制御部
１５０・・・モニタ（表示部）
Ｇ１，Ｇ２，Ｇ２１，Ｇ２２・・・重心
Ｌ１，Ｌ２１・・・第１直線
Ｌ２，Ｌ２２・・・第２直線
ＲＬ１０，ＲＬ１１，ＲＬ１２，ＲＬ１３，ＲＬ１４，ＲＬ１５，ＲＬ１６，ＲＬ１７・・・第１放射線
ＲＬ２０，ＲＬ２１，ＲＬ２２，ＲＬ２３，ＲＬ２４，ＲＬ２５，ＲＬ２６，ＲＬ２７・・・第２放射線
ＳＰ１，ＳＰ１’，ＳＰ２，ＳＰ２’・・・投影座標点
ＳＶ１，ＳＶ２’，ＳＶ３’，ＳＶ４・・・合成ベクトル
ＳＶＩ・・・重畳俯瞰画像
Ｖ１，Ｖ２，Ｖ３，Ｖ４，Ｖ５，Ｖ６，Ｖ２１，Ｖ２２，Ｖ２３，Ｖ２４，Ｖ２５，Ｖ２６，Ｖ３１，Ｖ３１’，Ｖ３２，Ｖ３３，Ｖ３３’，Ｖ３４’・・・ベクトル
θ１，θ２・・・等角度（所定の角度）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】