特許 6770903 距離算出装置及び距離算出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6770903

(24)【登録日】2020年9月30日

(45)【発行日】2020年10月21日

(54)【発明の名称】距離算出装置及び距離算出方法

(51)【国際特許分類】

   G01C 3/06 20060101AFI20201012BHJP

【ＦＩ】

   G01C3/06 130

【請求項の数】9

【全頁数】16

(21)【出願番号】特願2017-7901(P2017-7901)

(22)【出願日】2017年1月19日

(65)【公開番号】特開2018-115996(P2018-115996A)

(43)【公開日】2018年7月26日

【審査請求日】2019年11月29日

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110001933

【氏名又は名称】特許業務法人 佐野特許事務所

(72)【発明者】

【氏名】塩田 大輔

(72)【発明者】

【氏名】山本 修

(72)【発明者】

【氏名】遠部 俊光

【審査官】 櫻井 仁

(56)【参考文献】

【文献】 特開２０１５−１０５０７０（ＪＰ，Ａ）

【文献】 特開２０１０−１２３０１２（ＪＰ，Ａ）

【文献】 特開平１１−１０５６８６（ＪＰ，Ａ）

【文献】 特開２００７−１１６３７７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０２４３８８９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ １／００−１５／１４

Ｇ０１Ｂ １１／００−１１／３０

Ｂ６０Ｒ ９９／００

(57)【特許請求の範囲】

【請求項1】

車両の周辺を撮影するカメラで得られた撮影画像について特定の静止物を検出する検出部と、
前記検出部によって前記特定の静止物が検出された時点で前記車両の先端部から前記特定の静止物までの水平距離を前記撮影画像に基づいて測定する測定部と、
異なる位置で撮像された２つの前記撮影画像を用いて移動ステレオ方式により前記車両の所定方向における移動量を推定する推定部と、
前記車両の先端部から前記車両が備えるタイヤの所定位置までの水平距離を予め記憶する記憶部と、
前記測定部の測定結果、前記推定部の推定結果、及び前記記憶部の記憶内容を用いて、前記タイヤの前記所定位置から前記特定の静止物までの前記所定方向における距離を算出する算出部と、を備え、
前記所定方向は、前記検出部によって前記特定の静止物が検出された時点での前記車両の先端部から前記特定の静止物に向かう水平方向であることを特徴とする距離算出装置。

【請求項2】

前記推定部は、前記特定の静止物よりも前記車両から離れている前記撮影画像中の特徴点を用いて、移動ステレオ方式により前記車両の前記所定方向における移動量を推定することを特徴とする請求項１に記載の距離算出装置。

【請求項3】

前記推定部は、前記特定の静止物よりも、前記車両の先端部から前記タイヤの前記所定位置までの水平距離以上、前記車両から離れている前記撮影画像中の特徴点を用いて、移動ステレオ方式により前記車両の前記所定方向における移動量を推定することを特徴とする請求項２に記載の距離算出装置。

【請求項4】

前記算出部によって算出された前記タイヤの前記所定位置から前記特定の静止物までの距離を通知する通知信号を生成する通知信号生成部を備えることを特徴とする請求項１〜３のいずれか一項に記載の距離算出装置。

【請求項5】

前記通知信号は、前記タイヤ及び前記特定の静止物を含む画像を表示させる表示信号であることを特徴とする請求項４に記載の距離算出装置。

【請求項6】

前記検出部が前記特定の静止物を複数検出した場合、前記測定部は、前記検出部によって前記特定の静止物が検出された時点で前記車両の先端部から前記車両の先端部に最も近い前記特定の静止物までの水平距離を前記撮影画像に基づいて測定することを特徴とする請求項１〜５のいずれか一項に記載の距離算出装置。

【請求項7】

前記タイヤの予想進路線が前記特定の静止物に当たるか否かを判定する判定部と、
前記タイヤと前記特定の静止物とが接触しないおそれ又は前記タイヤと前記特定の静止物とが接触するおそれのいずれか一方を知らせる警告信号を前記判定部の判定結果に基づいて生成する警告信号生成部と、を備えることを特徴とする請求項１〜６のいずれか一項に記載の距離算出装置。

【請求項8】

前記車両の最低地上高の低下を前記撮影画像中の駐車枠の形状に基づいて検出する低下検出部と、
前記車両の底部と前記特定の静止物とが接触するおそれを知らせる接触警告信号を前記低下検出部の検出結果に基づいて生成する接触警告信号生成部と、を備えることを特徴とする請求項１〜７のいずれか一項に記載の距離算出装置。

【請求項9】

車両の周辺を撮影するカメラで得られた撮影画像について特定の静止物を検出する検出工程と、
前記検出工程によって前記特定の静止物が検出された時点で前記車両の先端部から前記特定の静止物までの水平距離を前記撮影画像に基づいて測定する測定工程と、
異なる位置で撮像された２つの前記撮影画像を用いて移動ステレオ方式により前記車両の所定方向における移動量を推定する推定工程と、
前記車両の先端部から前記車両が備えるタイヤの所定位置までの水平距離を読み出す読み出し工程と、
前記測定工程の測定結果、前記推定工程の推定結果、及び前記読み出し工程の読み出し内容を用いて、前記タイヤの前記所定位置から前記特定の静止物までの前記所定方向における距離を算出する算出工程と、を備え、
前記所定方向は、前記検出部によって前記特定の静止物が検出された時点での前記車両の先端部から前記特定の静止物に向かう水平方向であることを特徴とする距離算出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特定の静止物に関する距離を算出する距離算出技術に関する。

【背景技術】

【0002】

静止物を検出する手法として、１つのカメラで異なる位置で撮影された２つの撮影画像を用いて、画像中の静止物を検出する移動ステレオ方式が知られている（例えば特許文献１参照）。車両に搭載されたカメラを用いた移動ステレオ方式は、車両の移動に伴ってカメラが移動すると、路面上に展開された高さのある静止物の移動量（動きベクトルの大きさ）が路面の移動量よりも大きくなるという特徴を用いて静止物を検出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−１８０５３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

移動ステレオ方式は、１つのカメラで異なる位置で撮影された２つの撮影画像を用いて静止物を検出するため、カメラを搭載している車両の停止時には静止物を検出することができないという問題点を有している。

【0005】

また、移動ステレオ方式は、カメラを搭載している車両が移動しているときでも、高さの低い静止物は路面上に展開された静止物の移動量と路面の移動量との差分が小さいために検出が困難であるという問題点も有している。

【0006】

さらに、車両の最低地上高よりも高さの低い静止物（例えばタイヤ止め、縁石等）に車両が衝突する場合、静止物がカメラで撮影できない領域に入ってから車両のタイヤが静止物に衝突することになるので、衝突直前での静止物と車両のタイヤとの距離を撮影画像で認識することができない。このため、車両のドライバーが回避したい衝突が発生するおそれがあった。なお、車両のドライバーが回避したい衝突としては、例えば、車両のタイヤとタイヤ止めとの勢いのよい衝突、車両のタイヤと縁石との衝突等を挙げることができる。

【0007】

本発明は、上記の課題に鑑み、特定の静止物が撮影できない領域に入ってもタイヤから特定の静止物までの距離を算出することができる距離算出技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る距離算出装置は、車両の周辺を撮影するカメラで得られた撮影画像について特定の静止物を検出する検出部と、前記検出部によって前記特定の静止物が検出された時点で前記車両の先端部から前記特定の静止物までの水平距離を前記撮影画像に基づいて測定する測定部と、異なる位置で撮像された２つの前記撮影画像を用いて移動ステレオ方式により前記車両の所定方向における移動量を推定する推定部と、前記車両の先端部から前記車両が備えるタイヤの所定位置までの水平距離を予め記憶する記憶部と、前記測定部の測定結果、前記推定部の推定結果、及び前記記憶部の記憶内容を用いて、前記タイヤの前記所定位置から前記特定の静止物までの前記所定方向における距離を算出する算出部と、を備え、前記所定方向は、前記検出部によって前記特定の静止物が検出された時点での前記車両の先端部から前記特定の静止物に向かう水平方向である構成（第１の構成）である。

【0009】

また、上記第１の構成の距離算出装置において、前記推定部は、前記特定の静止物よりも前記車両から離れている前記撮影画像中の特徴点を用いて、移動ステレオ方式により前記車両の前記所定方向における移動量を推定する構成（第２の構成）であってもよい。

【0010】

また、上記第２の構成の距離算出装置において、前記推定部は、前記特定の静止物よりも、前記車両の先端部から前記タイヤの前記所定位置までの水平距離以上、前記車両から離れている前記撮影画像中の特徴点を用いて、移動ステレオ方式により前記車両の前記所定方向における移動量を推定する構成（第３の構成）であってもよい。

【0011】

また、上記第１〜第３いずれかの構成の距離算出装置において、前記算出部によって算出された前記タイヤの前記所定位置から前記特定の静止物までの距離を通知する通知信号を生成する通知信号生成部を備える構成（第４の構成）であってもよい。

【0012】

また、上記第４の構成の距離算出装置において、前記通知信号は、前記タイヤ及び前記特定の静止物を含む画像を表示させる表示信号である構成（第５の構成）であってもよい。

【0013】

また、上記第１〜第５いずれかの構成の距離算出装置において、前記検出部が前記特定の静止物を複数検出した場合、前記測定部は、前記検出部によって前記特定の静止物が検出された時点で前記車両の先端部から前記車両の先端部に最も近い前記特定の静止物までの水平距離を前記撮影画像に基づいて測定する構成（第６の構成）であってもよい。

【0014】

また、上記第１〜第６いずれかの構成の距離算出装置において、前記タイヤの予想進路線が前記特定の静止物に当たるか否かを判定する判定部と、前記タイヤと前記特定の静止物とが接触しないおそれ又は前記タイヤと前記特定の静止物とが接触するおそれのいずれか一方を知らせる警告信号を前記判定部の判定結果に基づいて生成する警告信号生成部と、を備える構成（第７の構成）であってもよい。

【0015】

また、上記第１〜第７いずれかの構成の距離算出装置において、前記車両の最低地上高の低下を前記撮影画像中の駐車枠の形状に基づいて検出する低下検出部と、前記車両の底部と前記特定の静止物とが接触するおそれを知らせる接触警告信号を前記低下検出部の検出結果に基づいて生成する接触警告信号生成部と、を備える構成（第８の構成）であってもよい。

【0016】

本発明に係る距離算出方法は、車両の周辺を撮影するカメラで得られた撮影画像について特定の静止物を検出する検出工程と、前記検出工程によって前記特定の静止物が検出された時点で前記車両の先端部から前記特定の静止物までの水平距離を前記撮影画像に基づいて測定する測定工程と、異なる位置で撮像された２つの前記撮影画像を用いて移動ステレオ方式により前記車両の所定方向における移動量を推定する推定工程と、前記車両の先端部から前記車両が備えるタイヤの所定位置までの水平距離を読み出す読み出し工程と、前記測定工程の測定結果、前記推定工程の推定結果、及び前記読み出し工程の読み出し内容を用いて、前記タイヤの前記所定位置から前記特定の静止物までの前記所定方向における距離を算出する算出工程と、を備え、前記所定方向は、前記検出部によって前記特定の静止物が検出された時点での前記車両の先端部から前記特定の静止物に向かう水平方向である構成（第９の構成）である。

【発明の効果】

【0017】

本発明の距離算出技術によれば、特定の静止物が撮影できない領域に入ってもタイヤから特定の静止物までの距離を算出することができる。この算出された距離は、例えば車両のドライバーが回避したい衝突の発生を防止するために役立てることができる。

【図面の簡単な説明】

【0018】

【図1】第１実施形態に係る距離算出装置の構成を示す図

【図2】移動物及び静止物の検出可否を示す図

【図3】特定の静止物が検出された時点での車両と特定の静止物との位置関係を示す模式図

【図4】後輪タイヤ及び特定の静止物を含むアニメーション画像を示す図

【図5】第１実施形態に係る距離算出装置の動作例を示すフローチャート

【図6】複数の特定の静止物が検出された時点での車両と特定の静止物との位置関係を示す模式図

【図7】仮想視点画像の生成手法について説明するための図

【図8】車両の車体を透過させた画像を示す図

【図9】第２実施形態に係る距離算出装置の構成を示す図

【図10】タイヤの進路予想線を含む画像を示す図

【図11】第３実施形態に係る距離算出装置の構成を示す図

【図12】駐車枠を含む画像を示す図

【発明を実施するための形態】

【0019】

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、車両の直進進行方向であって、運転席からステアリングに向かう方向を「前方向」と呼ぶ。また、車両の直進進行方向であって、ステアリングから運転席に向かう方向を「後方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の右側から左側に向かう方向を「左方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の左側から右側に向かう方向を「右方向」と呼ぶ。

【0020】

＜＜１．第１実施形態＞＞
＜１−１．画像処理装置及び距離算出装置の構成＞
図１は、第１実施形態に係る距離算出装置の構成を示す図である。図１に示すバックカメラ１００、画像処理装置２００、及び表示装置３００は車両に搭載される。画像処理装置２００の一部が距離算出装置２１２（第１実施形態に係る距離算出装置）を構成している。

【0021】

バックカメラ１００は、車両の後端部に設けられ、車両の後方向を撮影する。バックカメラ１００の取付位置は、車両の左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。バックカメラ１００は、撮影画像を画像処理装置２００に出力する。

【0022】

表示装置３００は、車両のドライバーが表示装置３００の表示画面を視認できる位置に設けられ、画像処理装置２００から出力される画像を表示する。

【0023】

画像処理装置２００は、バックカメラ１００から出力される撮影画像を処理し、処理後の画像を表示装置３００に出力する。

【0024】

画像処理装置２００は、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて画像処理装置２００を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、当該プログラムをプログラム実行装置上で実行することによって、その機能を実現するようにしてもよい。プログラム実行装置としては、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を備えるコンピュータを挙げることができる。

【0025】

画像処理装置２００は、画像取得部２０１と、背景差分方式処理回路２０２と、移動ステレオ方式処理回路２０３と、パターンマッチング処理回路２０４と、特定パターン記憶用メモリ２０５と、画像出力部２０６と、を備える。

【0026】

画像取得部２０１は、バックカメラ１００からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。そして、取得した撮影画像がアナログの場合には、画像取得部２０１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。画像取得部２０１は、取得した撮影画像、或いは、取得及び変換した撮影画像を、背景差分方式処理回路２０２、移動ステレオ方式処理回路２０３、パターンマッチング処理回路２０４、及び画像出力部２０６に出力する。画像取得部２０１から出力される１つの撮影画像が１つのフレーム画像となる。

【0027】

背景差分方式処理回路２０２は、２つのフレーム画像間の差分を画素毎に算出し、差分が大きい領域を移動物として検出する。

【0028】

移動ステレオ方式処理回路２０３は、車両の移動に伴ってバックカメラ１００が移動すると、路面上に展開された高さのある静止物の移動量（動きベクトルの大きさ）が路面の移動量よりも大きくなるという特徴を用いて静止物を検出する。

【0029】

パターンマッチング処理回路２０４は、特定の静止物に関する特定パターンを用いて、パターンマッチング処理によって特定の静止物を検出する。特定の静止物は、移動ステレオ方式処理回路２０３では検出が困難又は不可能な高さの低い静止物であって、例えばタイヤ止めや縁石等を挙げることができる。特定の静止物に関する特定パターンは、特定パターン記憶用メモリ２０５に予め記憶されている。例えばタイヤ止めをパターンマッチング処理回路２０４が検出できるようにする場合、タイヤ止めそれぞれに関する特定パターンを１つのみ特定パターン記憶用メモリ２０５に予め記憶させてもよいが、タイヤ止めには種々の形状のものが存在するので、代表的な複数種類の形状のタイヤ止めそれぞれに関する特定パターンを特定パターン記憶用メモリ２０５に予め記憶させることが望ましい。

【0030】

画像出力部２０６は、画像取得部２０１の出力、背景差分方式処理回路２０２の出力、移動ステレオ方式処理回路２０３の出力、パターンマッチング処理回路２０４の出力、及び後述する通知信号生成部２１１の出力の少なくとも１つに基づくフレーム画像を表示装置３００に出力する。例えば、画像取得部２０１の出力、背景差分方式処理回路２０２の出力、移動ステレオ方式処理回路２０３の出力、及びパターンマッチング処理回路２０４の出力に基づくフレーム画像としては、画像取得部２０１から出力されたフレーム画像に、背景差分方式処理回路２０２によって検出された移動物を囲む検出枠、移動ステレオ方式処理回路２０３によって検出された静止物を囲む検出枠、及びパターンマッチング処理回路２０４によって検出された静止物を囲む検出枠を重畳した画像を挙げることができる。

【0031】

本実施形態のようにパターンマッチング処理回路２０４を設けることで、車両移動時及び車両停止時のいずれにおいても、高さの低い静止物の検出が可能となる（図２参照）。これに対して、パターンマッチング処理回路２０４を設けなければ、車両移動時及び車両停止時のいずれにおいても、高さの低い静止物の検出が困難又は不可能となる（図２参照）。なお、高さの高い静止物に関する特定パターンを特定パターン記憶用メモリ２０５に予め記憶させれば、車両停止時であっても高さの高い静止物をパターンマッチング処理回路２０４によって検出することが可能となる。

【0032】

画像処理装置２００は、推定部２０７と、測定部２０８と、距離記憶用メモリ２０９と、算出部２１０と、通知信号生成部２１１と、をさらに備える。推定部２０７、測定部２０８、距離記憶用メモリ２０９、算出部２１０、及び通知信号生成部２１１は、上述した移動ステレオ方式処理回路２０３、パターンマッチング処理回路２０４、及び特定パターン記憶用メモリ２０５とともに、距離算出装置２１２を構成する。

【0033】

推定部２０７は、異なる位置で撮像された２つの撮像画像を用いて移動ステレオ方式により車両の所定方向における移動量を推定する。なお、所定方向は、図３に示すように、パターンマッチング処理回路２０４によって特定の静止物が検出された時点での車両の後端部Ｅ１から特定の静止物Ｏ１に向かう水平方向ＤＩＲ１である。具体的には、推定部２０７は、移動ステレオ方式処理回路２０３によって検出される２つのフレーム画像内の路面上に位置する特徴点（例えば、路面に描かれた白線のエッジ、路面上のヒビ、路面上のシミ、路面上の砂利等）の移動量（動きベクトルの大きさ）を車両の移動量として、車両の所定方向における移動量を推定する。

【0034】

なお、推定部２０７が、特定の静止物よりも車両から離れている特徴点を用いて、車両の所定方向における移動量を推定することが望ましい。特定の静止物と車両と特徴点との位置関係にもよるが、特徴点が特定の静止物よりも車両から離れていると、特定の静止物がバックカメラ１００で撮影できない領域に入っても特徴点はバックカメラ１００で撮影できる領域に残っている可能性が高くなるからである。

【0035】

また、推定部２０７が、特定の静止物よりも、車両の後端部から後輪タイヤの所定位置までの水平距離以上、車両から離れている特徴点を用いて、車両の所定方向における移動量を推定することがより望ましい。特定の静止物と車両と特徴点との位置関係にもよるが、特徴点が特定の静止物よりも、車両の後端部から後輪タイヤの所定位置までの水平距離以上、車両から離れていると、特定の静止物と後輪タイヤの所定位置が接触した状態においても特徴点はバックカメラ１００で撮影できる領域に残っている可能性が高くなるからである。

【0036】

上述したように、推定部２０７が特定の静止物よりも車両から離れている特徴点を用いる場合、特定の静止物よりも車両から離れている特徴点のみを用いて車両の所定方向における移動量を推定してもよく、特定の静止物より車両から離れていない特徴点も合わせて用いて車両の所定方向における移動量を推定してもよい。

【0037】

測定部２０８は、パターンマッチング処理回路２０４によって特定の静止物が検出された時点で車両の後端部から特定の静止物までの水平距離を、画像取得部２０１からパターンマッチング処理回路２０４に出力されたフレーム画像に基づいて測定する。具体的には、測定部２０８は、当該フレーム画像における特定の静止物の位置に基づいて、図３に示す車両の後端部Ｅ１から特定の静止物Ｏ１までの水平距離Ｌ１を測定する。

【0038】

距離記憶用メモリ２０９は、図３に示す車両の後端部Ｅ１から後輪タイヤの所定位置Ｐ１までの水平距離Ｌ２を予め記憶する。なお、図３に示す所定位置Ｐ１は、車両が特定の静止物Ｏ１に向かって後進した場合に特定の静止物Ｏ１に最初に接触することが想定される後輪タイヤの部分位置である。特定の静止物の高さは１つに定まらないので、例えば想定される全ての種類における平均高さを求めて、その平均高さに基づいて所定位置を定めてもよく、また例えば最も出現頻度が高いと考えられる特定の静止物の高さに基づいて所定位置を定めてもよい。

【0039】

算出部２１０は、推定部２０７の推定結果、測定部２０８の測定結果、及び距離記憶用メモリ２０９の記憶内容を用いて、後輪タイヤの所定位置から特定の静止物までの所定方向における距離を算出する。具体的には、算出部２１０によって算出される距離は、図３に示す水平距離Ｌ１と水平距離Ｌ２とを加算した距離から推定部２０７によって推定された移動量を引いた値となる。上記の算出手法によると、推定部２０７の推定結果、測定部２０８の測定結果、及び距離記憶用メモリ２０９の記憶内容を用いているため、特定の静止物がバックカメラ１００で撮影できない領域に入っても後輪タイヤの所定位置から特定の静止物までの距離を算出することができる。また、上記の算出手法によると、車両の移動量を把握するために距離算出装置２１２が車速情報やステアリングの舵角情報等を取得する必要がなく、画像処理のみで後輪タイヤの所定位置から特定の静止物までの距離を算出することができる。

【0040】

通知信号生成部２１１は、算出部２１０によって算出された距離を通知する通知信号を生成する。これにより、車両のドライバーが後輪タイヤと特定の静止物との距離を把握できるようになる。これにより、後輪タイヤとタイヤ止め（特定の静止物の一例）との勢いのよい衝突や後輪タイヤと縁石（特定の静止物の一例）との衝突等を回避する運転が車両のドライバーにとって可能となる。なお、距離の通知は、定性的な通知でもよく、定量的な通知でもよく、両者を合わせた通知であってもよい。

【0041】

本実施形態では、通知信号生成部２１１によって生成される通知信号は、後輪タイヤ及び特定の静止物を含む画像を表示させる表示信号である。後輪タイヤ及び特定の静止物を含む画像（例えば図４に示すようなアニメーション画像）を表示装置３００に表示させることで、車両のドライバーが後輪タイヤと特定の静止物との距離を直感的に把握できるようになる。これにより、後輪タイヤとタイヤ止め（特定の静止物の一例）との勢いのよい衝突や後輪タイヤと縁石（特定の静止物の一例）との衝突等を回避する運転が車両のドライバーにとって容易になる。

【0042】

なお、後輪タイヤ及び特定の静止物を含む画像の表示に代えて又は加えて、算出部２１０によって算出された距離の値を表示するようにしてもよく、また、表示に代えて又は加えて音声によって算出部２１０によって算出された距離に関する情報を通知してもよい。例えば、算出部２１０によって算出された距離に応じて音声のリズムや音量を変えることによって、算出部２１０によって算出された距離に関する情報を音声通知することができる。

【0043】

＜１−２．距離算出装置の動作＞
図５は、距離算出装置２１２の動作例を示すフローチャートである。距離算出装置２１２の動作開始イベントが発生すると、距離算出装置２１２は図５に示すフローチャートの動作を開始する。距離算出装置２１２の動作開始イベントとしては、例えば、車両のシフトレバーの位置がリバースレンジに切り替わったこと等を挙げることができる。

【0044】

まず、パターンマッチング処理回路２０４が特定の静止物の検出を試みる（ステップＳ１）。パターンマッチング処理回路２０４によって特定の静止物が検出された時点で測定部２０８が車両の後端部から特定の静止物までの水平距離を測定する（ステップＳ２）。

【0045】

なお、パターンマッチング処理回路２０４が特定の静止物を複数検出した場合、測定部２０８は、パターンマッチング処理回路２０４によって特定の静止物が検出された時点で車両の後端部から車両の後端部に最も近い特定の静止物までの水平距離を測定する。これにより、例えば図６に示す状態のように駐車枠Ｆ１に対して車両Ｖ１が斜めに進入している場合でも、車両Ｖ１の後輪タイヤが特定の静止物であるタイヤ止めに勢いよく衝突することを防止することができる。図６に示す状態においてパターンマッチング処理回路２０４が特定の静止物Ｏ１及びＯ１’を検出した場合、測定部２０８は、車両Ｖ１の後端部Ｅ１から車両Ｖ１の後端部Ｅ１に最も近い特定の静止物Ｏ１までの水平距離Ｌ１を測定する。車両Ｖ１の後端部Ｅ１から車両Ｖ１の後端部Ｅ１に最も近い特定の静止物Ｏ１までの水平距離Ｌ１は、例えば図６に示すように車両Ｖ１の後端部Ｅ１から特定の静止物Ｏ１の幅方向の略中央までの水平距離とすることができる。これ以外に、例えば車両Ｖ１の後端部Ｅ１から特定の静止物Ｏ１の幅方向の最も車両中央寄りの位置Ｐ２（図６参照）までの水平距離を水平距離Ｌ１としてもよく、また例えば車両Ｖ１の後端部Ｅ１から特定の静止物Ｏ１の幅方向の最も車両中央から離れた位置Ｐ３（図６参照）までの水平距離を水平距離Ｌ１としてもよい。

【0046】

次に、算出部２１０が車両の後端部から後輪タイヤの所定位置までの水平距離を距離記憶用メモリ２０９から読み出す（ステップＳ３）。

【0047】

次に、推定部２０７が車両の所定方向における移動量を推定する（ステップＳ４）。それから、算出部２１０が後輪タイヤの所定位置から特定の静止物までの所定方向における距離を算出する（ステップＳ５）。そして、距離算出装置２１２は、距離算出装置２１２の動作終了イベントが発生しているか否かを確認する（ステップＳ６）。距離算出装置２１２の動作終了イベントとしては、例えば、車両のシフトレバーの位置がリバースレンジから他のレンジに切り替わったこと等を挙げることができる。

【0048】

距離算出装置２１２の動作終了イベントが発生していなければ、ステップＳ４に戻る。これにより、推定部２０７によって推定される移動量及び算出部２１０によって算出される距離が車両の移動に伴って更新される。一方、距離算出装置２１２の動作終了イベントが発生していれば、距離算出装置２１２は図５に示すフローチャートの動作を終了する。

【0049】

なお、ステップＳ６を実施する代わりに、距離算出装置２１２の動作終了イベントが発生しているか否かを距離算出装置２１２がフローチャートの動作中常時監視し、距離算出装置２１２の動作終了イベントが発生すれば直ちにフローチャートの動作を終了するようにしてもよい。この場合、ステップＳ５の処理が終わるとステップＳ４に戻るようにすればよい。

【0050】

＜１−３．変形例＞
上述した実施形態とは異なり、算出部２１０によって算出された距離の通知を行わないようにし、算出部２１０によって算出された距離に基づく車両の自動介入制御（例えば自動ブレーキ等）を行って、後輪タイヤとタイヤ止め（特定の静止物の一例）との勢いのよい衝突や後輪タイヤと縁石（特定の静止物の一例）との衝突等を車両の自動介入制御によって回避してもよい。

【0051】

上述した実施形態では、距離算出装置２１２は、バックカメラ１００から出力される撮影画像を用いて後輪タイヤの所定位置から特定の静止物までの所定方向における距離を算出したが、その算出に代えて又は加えて、車両の前端部に設けられるフロントカメラから出力される撮影画像を用いて前輪タイヤの所定位置から特定の静止物までの所定方向における距離を算出してもよい。

【0052】

また、俯瞰画像を生成する仮想視点画像生成部を画像処理装置２００に追加して、通知信号生成部２１１が俯瞰画像に基づく通知信号を生成するようにしてもよい。

【0053】

ここで、俯瞰画像を含む仮想視点画像の生成手法について説明する。図７は、仮想視点画像の生成手法について説明するための図である。なお、以下の説明では４つのカメラから取得される４つの撮影画像に基づいて仮想視点画像を生成する手法について説明するが、カメラと撮影画像の数は４つに限られることはない。一例として、各カメラの水平方向の画角が比較的広い場合は、４つよりも少ない３つのカメラから取得される３つの撮影画像に基づき、仮想視点画像を生成してもよい。さらに、別の例として、各カメラの水平方向の画角が比較的狭い場合は、４つよりも多い５つのカメラから得られる５つの撮影画像に基づき、仮想視点画像を生成してもよい。

【0054】

上記の仮想視点画像生成部は、仮想的な三次元空間における仮想投影面１の第１領域Ｒ１に撮影画像ＰＴ１を投影して、撮影画像ＰＴ１を第１の投影画像に変換する。同様に、上記の仮想視点画像生成部は、仮想投影面１の第２〜第４領域Ｒ２〜Ｒ４それぞれに撮影画像ＰＴ２〜ＰＴ４を投影して、撮影画像ＰＴ２〜ＰＴ４それぞれを第２〜第４の投影画像に変換する。なお、撮影画像ＰＴ１は、フロントカメラの撮影画像であり、撮影画像ＰＴ４は、バックカメラの撮影画像である。また、撮影画像ＰＴ２は車両の左サイドミラーに設けられ車両の左サイドを撮影する左サイドカメラの撮影画像であり、撮影画像ＰＴ３は車両の右サイドミラーに設けられ車両の右サイドを撮影する右サイドカメラの撮影画像である。

【0055】

仮想投影面１は、例えば略半球状（お椀形状）をしている。仮想投影面１の中心部分（お椀の底部分）は、車両２が存在する位置として定められている。このように仮想投影面１が曲面を含むようにすることで、車両２から離れた位置に存在する物体の像の歪みを少なくすることができる。また、第１〜第４領域Ｒ１〜Ｒ４それぞれは、隣接する他の領域と重複する部分を有している。このような重複部分を設けることで、領域の境界部分に投影される物体の像が投影画像から消失することを防止することができる。

【0056】

上記の仮想視点画像生成部は、第１〜第４の投影画像を仮想投影面１の第１〜第４領域Ｒ１〜Ｒ４に仮想的に貼り付ける。

【0057】

また、上記の仮想視点画像生成部は、車両２の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両２のモデルは、仮想投影面１が設定される仮想的な三次元空間において、車両２が存在する位置として定められた位置（仮想投影面１の中心部分）に配置される。

【0058】

さらに、上記の仮想視点画像生成部は、仮想投影面１が設定される仮想的な三次元空間において、仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置及び視野方向によって規定される。仮想投影面１の少なくとも一部が視野に入る限り、仮想視点ＶＰの視点位置及び視野方向は、任意の視点位置及び任意の視野方向に設定することができる。

【0059】

上記の仮想視点画像生成部は、設定した仮想視点ＶＰに応じて、仮想投影面１における必要な領域（仮想視点ＶＰからみえる領域）の画像を仮想的に切り出す。また、上記の仮想視点画像生成部は、設定した仮想視点ＶＰに応じて、ポリゴンのモデルに関してレンダリングを行い、車両２のレンダリング像を生成する。そして、上記の仮想視点画像生成部は、切り出した画像に対して車両２のレンダリング像を重畳して仮想視点ＶＰからみた仮想視点画像ＣＰを生成する。

【0060】

例えば、視点位置が車両２の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、上記の仮想視点画像生成部は、車両２の略直上から車両２を見下ろすように車両２及び車両２の周辺の領域を示す仮想視点画像ＣＰａを生成する。この仮想視点画像ＣＰａが俯瞰画像である。また例えば、視点位置が車両２の位置の左後方で、視野方向が車両２における略前方向とした仮想視点ＶＰｂを設定した場合は、上記の仮想視点画像生成部は、車両２の左後方からその周辺全体を見渡すように車両２及び車両２の周辺の領域を示す仮想視点画像ＣＰｂを生成する。

【0061】

通知信号生成部２１１は、上述した車両２のレンダリング像の代わりに、図８に示す車両２の車体を透過させた画像を用いる。この場合も図４に示すようなアニメーション画像と同様に、車両のドライバーが車両２のタイヤと特定の静止物との距離を直感的に把握できるようになる。特定の静止物がカメラで撮影できない領域に入っていない場合は図８（ａ）に示すような車両２の車体内にタイヤＴ１〜Ｔ４を含む画像になり、特定の静止物がカメラで撮影できる領域に残っていない場合は図８（ｂ）に示すような車両２の車体内にタイヤＴ１〜Ｔ４並びに特定の静止物Ｏ１及びＯ１’を含む画像になる。

【0062】

＜＜２．第２実施形態＞＞
図９は、第２実施形態に係る距離算出装置の構成を示す図である。画像処理装置２００’の一部が距離算出装置２１２’（第２実施形態に係る距離算出装置）を構成している。画像処理装置２００’及び距離算出装置２１２’は、判定部２１３及び警告信号生成部２１４を距離算出装置内に設けている点で、第１実施形態において説明した画像処理装置２００及び距離算出装置２１２と異なっており、それ以外の点では画像処理装置２００及び距離算出装置２１２と同一である。以下、第１実施形態との相違点について説明する。

【0063】

判定部２１３は、タイヤの予想進路線が特定の静止物に当たるか否かを判定する。タイヤの予想進路線は、移動ステレオ方式処理回路２０３によって検出される２つのフレーム画像内の路面上に位置する特徴点（例えば、路面に描かれた白線のエッジ、路面上のヒビ、路面上のシミ、路面上の砂利等）の移動方向（動きベクトルの方向）を車両の移動方向を求め、その移動方向に基づいて生成されることが望ましい。これにより、車両の移動方向を把握するために距離算出装置２１２’が車速情報やステアリングの舵角情報等を取得する必要がなく、画像処理のみでタイヤの予想進路線を生成することができる。なお、車速情報やステアリングの舵角情報等を取得してタイヤの予想進路線を生成する構成であってもよい。

【0064】

警告信号生成部２１４は、判定部２１３の判定結果に基づいて警告信号を生成する。例えば特定の静止物がタイヤ止めである場合には、警告信号生成部２１４は、タイヤと特定の静止物とが接触しないおそれがあるときにその旨を知らせる警告信号を生成する。例えば図１０（ａ）及び図１０（ｂ）に示すようにタイヤの予想進路線ＬＮ１及びＬＮ１’が特定の静止物Ｏ１及びＯ１’が接触しない場合に、タイヤと特定の静止物とが接触しないおそれがあると判断すればよい。また例えば特定の静止物が縁石である場合には、警告信号生成部２１４は、タイヤと特定の静止物とが接触するおそれがあるときにその旨を知らせる警告信号を生成する。

【0065】

警告信号生成部２１４が生成する警告信号によって、タイヤと特定の静止物（例えばタイヤ止め）とが接触しないことやタイヤと特定の静止物（例えば縁石）とが接触することを回避しやすくなる。なお、警告信号は、例えば画像によって警告する信号であってもよく、また例えば音声によって警告する信号であってもよい。

【0066】

上述した第１実施形態において説明した変形例は本実施形態についても適用可能である。

【0067】

＜＜３．第３実施形態＞＞
図１１は、第３実施形態に係る距離算出装置の構成を示す図である。画像処理装置２００”の一部が距離算出装置２１２”（第３実施形態に係る距離算出装置）を構成している。画像処理装置２００”及び距離算出装置２１２”は、低下検出部２１５及び接触警告信号生成部２１６を距離算出装置内に設けている点で、第１実施形態において説明した画像処理装置２００及び距離算出装置２１２と異なっており、それ以外の点では画像処理装置２００及び距離算出装置２１２と同一である。以下、第１実施形態との相違点について説明する。

【0068】

低下検出部２１５は、車両の最低地上高の低下を前記撮影画像中の駐車枠の形状に基づいて検出する。車両の搭乗人数や積載荷物が多い場合、車両の最低地上高が低くなり、車両に搭載しているバックカメラ１００の高さが低くなる。車両の最低地上高及びバックカメラ１００の高さが高い場合、バックカメラ１００によって撮影される駐車枠Ｆ１は撮影画像の水平方向において狭くなる（図１２（ａ）参照）。すなわち、撮影画像の上部における駐車枠Ｆ１の長辺と短辺とが成す角度θが狭くなる。一方、車両の最低地上高及びバックカメラ１００の高さが低い場合、バックカメラ１００によって撮影される駐車枠Ｆ１は撮影画像の水平方向において広くなる（図１２（ｂ）参照）。すなわち、撮影画像の上部における駐車枠Ｆ１の長辺と短辺とが成す角度θが広くなる。したがって、低下検出部２１５は、例えば撮影画像の上部における駐車枠Ｆ１の長辺と短辺とが成す角度θが所定値より大きくなった場合に、車両の最低地上高の低下を検出するようにすればよい。

【0069】

接触警告信号生成部２１６は、低下検出部２１５の検出結果に基づいて接触警告信号を生成する。具体的には、接触警告信号生成部２１６は、車両の底部と特定の静止物とが接触するおそれがあるときにその旨を知らせる接触警告信号を生成する。

【0070】

接触警告信号生成部２１６が生成する接触警告信号によって、車両の底部と特定の静止物とが接触することを回避しやすくなる。なお、接触警告信号は、例えば画像によって警告する信号であってもよく、また例えば音声によって警告する信号であってもよい。

【0071】

上述した第１実施形態において説明した変形例は本実施形態についても適用可能である。また、本実施形態は上述した第２実施形態と組み合わせて実施することも可能である。

【0072】

＜＜４．留意事項＞＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。

【符号の説明】

【0073】

２０３ 移動ステレオ方式処理回路
２０４ パターンマッチング処理回路
２０５ 特定パターン記憶用メモリ
２０７ 推定部
２０８ 測定部
２０９ 距離記憶用メモリ
２１０ 算出部
２１１ 通知信号生成部
２１２、２１２’、２１２” 距離算出装置
２１３ 判定部
２１４ 警告信号生成部
２１５ 低下検出部
２１６ 接触警告信号生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】