特許 6392693 車両周辺監視装置、車両周辺監視方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6392693

(24)【登録日】2018年8月31日

(45)【発行日】2018年9月19日

(54)【発明の名称】車両周辺監視装置、車両周辺監視方法、及びプログラム

(51)【国際特許分類】

   B60R 1/00 20060101AFI20180910BHJP

   G08G 1/16 20060101ALI20180910BHJP

   B60R 21/00 20060101ALI20180910BHJP

   H04N 7/18 20060101ALI20180910BHJP

   G06T 1/00 20060101ALI20180910BHJP

【ＦＩ】

   B60R1/00 A

   G08G1/16 C

   B60R21/00 310G

   H04N7/18 J

   G06T1/00 330B

【請求項の数】9

【全頁数】20

(21)【出願番号】特願2015-58475(P2015-58475)

(22)【出願日】2015年3月20日

(65)【公開番号】特開2016-175586(P2016-175586A)

(43)【公開日】2016年10月6日

【審査請求日】2017年8月2日

(73)【特許権者】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(72)【発明者】

【氏名】白井 英樹

(72)【発明者】

【氏名】アリ ウィドド

【審査官】 青木 良憲

(56)【参考文献】

【文献】 特開２００９−２０６７４７（ＪＰ，Ａ）

【文献】 特開２００６−０３３５７０（ＪＰ，Ａ）

【文献】 特開２０１３−０２５５２８（ＪＰ，Ａ）

【文献】 特開２００９−１１８４１５（ＪＰ，Ａ）

【文献】 特開平１０−２５７４８２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ２１／００

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両の側部に設けられ、後方を撮影するサイドカメラと、
車両の後部に設けられ、広角で後方を撮影するリアカメラと、
前記サイドカメラで撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とに基づいて後方車両の前面までの距離及び角度を測定する測距部と、
前記後方車両の前面及び側面を路面に垂直な平面であるとして、前記前面までの距離及び角度に基づいて、前記サイドカメラ画像及び前記リアカメラ画像の視点が一致するように、前記サイドカメラ画像及び／又は前記リアカメラ画像を画像変換する視点変換部と、
前記画像変換により視点が一致した前記サイドカメラ画像と前記リアカメラ画像とを合成する画像合成部と、
合成された画像を表示する表示部と、
を備える車両周辺監視装置。

【請求項2】

車両の側部に設けられ、後方を撮影するサイドカメラと、
車両の後部に設けられ、広角で後方を撮影するリアカメラと、
車両の外部形状情報を記憶した車両形状記憶部と、
前記サイドカメラで撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とに基づいて後方車両までの距離及び角度を測定する測距部と、
前記リアカメラ画像または前記サイドカメラ画像に映る後方車両に対応する車両の外部形状情報を前記車両形状記憶部から検索する車両形状特定部と、
前記車両の外部形状情報から得られる後方車両の各位置までの距離及び角度の情報を用いて、前記サイドカメラ画像及び前記リアカメラ画像の視点が一致するように、前記サイドカメラ画像及び／又は前記リアカメラ画像を画像変換する視点変換部と、
前記画像変換により視点が一致した前記サイドカメラ画像と前記リアカメラ画像とを合成する画像合成部と、
合成された画像を表示する表示部と、
を備える車両周辺監視装置。

【請求項3】

前記視点変換部は、前記リアカメラ画像を前記サイドカメラの視点から見た画像に変換し、
前記画像合成部は、車体によって前記後方車両が隠れている前記サイドカメラ画像の領域に、前記画像変換された前記リアカメラ画像を合成し、さらに、前記合成された画像に前記サイドカメラ画像に映る車体の画像を重畳する請求項１または２に記載の車両周辺監視装置。

【請求項4】

前記視点変換部は、前記リアカメラ画像及び前記サイドカメラ画像を車両の進行方向に沿った車両の中心軸上の所定位置の視点から見た画像に変換する請求項１または２に記載の車両周辺監視装置。

【請求項5】

前記測距部は、
前記リアカメラ画像の一部を切り出して歪みを補正する歪み補正部と、
前記サイドカメラ画像または前記リアカメラ画像のいずれか一方から前記後方車両の特徴点を検出し、当該特徴点に対応する点を、前記サイドカメラ画像または前記リアカメラ画像の他方のエピポーラ線上から探索する特徴点探索部と、
前記サイドカメラ画像中の特徴点と、それに対応する前記リアカメラ画像中の特徴点との位置関係に基づいて、前記後方車両までの距離及び角度を求めるステレオ測距部と、
を備える請求項１乃至４のいずれかに記載の車両周辺監視装置。

【請求項6】

車両後方の画像を表示する車両周辺監視方法であって、
車両周辺監視装置が、車両の側部に設けられ、後方を撮影するサイドカメラからサイドカメラ画像を取得するステップと、
前記車両周辺監視装置が、車両の後部に設けられ、広角で後方を撮影するリアカメラからリアカメラ画像を取得するステップと、
前記車両周辺監視装置が、前記サイドカメラで撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とに基づいて後方車両の前面までの距離及び角度を測定するステップと、
前記車両周辺監視装置が、前記後方車両の前面及び側面を路面に垂直な平面であるとして、前記前面までの距離及び角度に基づいて、前記サイドカメラ画像及び前記リアカメラ画像の視点が一致するように、前記サイドカメラ画像及び／又は前記リアカメラ画像を画像変換するステップと、
前記車両周辺監視装置が、前記画像変換により視点が一致した前記サイドカメラ画像と前記リアカメラ画像とを合成するステップと、
前記車両周辺監視装置が、合成された画像を表示するステップと、
を備える車両周辺監視方法。

【請求項7】

車両後方の画像を表示する車両周辺監視方法であって、
車両周辺監視装置が、車両の側部に設けられ、後方を撮影するサイドカメラからサイドカメラ画像を取得するステップと、
前記車両周辺監視装置が、車両の後部に設けられ、広角で後方を撮影するリアカメラからリアカメラ画像を取得するステップと、
前記車両周辺監視装置が、前記サイドカメラで撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とに基づいて後方車両までの距離及び角度を測定するステップと、
前記車両周辺監視装置が、前記リアカメラ画像または前記サイドカメラ画像に映る後方車両に対応する車両の外部形状情報を、車両の外部形状情報を記憶した車両形状記憶部から検索するステップと、
前記車両周辺監視装置が、前記車両の外部形状情報から得られる後方車両の各位置までの距離及び角度の情報を用いて、前記サイドカメラ画像及び前記リアカメラ画像の視点が一致するように、前記サイドカメラ画像及び／又は前記リアカメラ画像を画像変換するステップと、
前記車両周辺監視装置が、前記画像変換により視点が一致した前記サイドカメラ画像と前記リアカメラ画像とを合成するステップと、
前記車両周辺監視装置が、合成された画像を表示するステップと、
を備える車両周辺監視方法。

【請求項8】

車両後方の画像を表示するためのプログラムであって、コンピュータに、
車両の側部に設けられ、後方を撮影するサイドカメラからサイドカメラ画像を取得するステップと、
車両の後部に設けられ、広角で後方を撮影するリアカメラからリアカメラ画像を取得するステップと、
前記サイドカメラで撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とに基づいて後方車両の前面までの距離及び角度を測定するステップと、
前記後方車両の前面及び側面を路面に垂直な平面であるとして、前記前面までの距離及び角度に基づいて、前記サイドカメラ画像及び前記リアカメラ画像の視点が一致するように、前記サイドカメラ画像及び／又は前記リアカメラ画像を画像変換するステップと、
前記画像変換により視点が一致した前記サイドカメラ画像と前記リアカメラ画像とを合成するステップと、
合成された画像を表示するステップと、
を実行させるプログラム。

【請求項9】

車両後方の画像を表示するためのプログラムであって、コンピュータに、
車両の側部に設けられ、後方を撮影するサイドカメラからサイドカメラ画像を取得するステップと、
車両の後部に設けられ、広角で後方を撮影するリアカメラからリアカメラ画像を取得するステップと、
前記サイドカメラで撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とに基づいて後方車両までの距離及び角度を測定するステップと、
前記リアカメラ画像または前記サイドカメラ画像に映る後方車両に対応する車両の外部形状情報を、車両の外部形状情報を記憶した車両形状記憶部から検索するステップと、
前記車両の外部形状情報から得られる後方車両の各位置までの距離及び角度の情報を用いて、前記サイドカメラ画像及び前記リアカメラ画像の視点が一致するように、前記サイドカメラ画像及び／又は前記リアカメラ画像を画像変換するステップと、
前記画像変換により視点が一致した前記サイドカメラ画像と前記リアカメラ画像とを合成するステップと、
合成された画像を表示するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両に搭載されたカメラにて車両周辺を監視する技術に関する。

【背景技術】

【0002】

従来から、サイドミラーの代わりにカメラで撮影した画像をドライバへ提示するシステム（特許文献１）や、車両の前後左右に広角のカメラを搭載し、それらの画像を合成し、ドライバへ提示するシステム（特許文献２）があった。また、側方カメラで撮影した画像と後方カメラで撮影した画像を合成し、車両後方の状況をドライバへ提示するシステムもあった（特許文献３）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平７−２２３４８７号公報

【特許文献2】特開２００７−１８３８７７号公報

【特許文献3】特開２０１３−１４１１２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１には、撮像手段で撮像した画像を表示すると共に、移動体の存在する領域を強調表示する発明が記載されている。この文献には、複数のテレビカメラを備えることが開示されているが、各テレビカメラで撮影した画像は、左右のフロントピラー及びインストルメントパネルのディスプレイに表示され、各画像は合成されない。

【0005】

特許文献２には、複数の車載カメラで撮影された映像を車両上方の仮想視点から見下ろした映像に視点変換して繋ぎ合わせる発明が記載されている。この文献に記載された発明では、車載カメラと地面の位置関係（車載カメラに対する地面の角度や距離）が既知なので、各車載カメラで撮影した画像を繋ぎ合わせることができるが、この発明では、走行時に後方を撮影した画像中に車両が存在する場合は、カメラと車両の位置関係が未知であるために、きれいに繋ぎ合わせることはできない。

【0006】

文献３に記載された発明は、左右の側方カメラで撮影した画像と後方カメラで撮影した画像を合成する発明である。この発明では、ある距離（目安線）より遠方の自車線および左右１車線（計３車線）分の画像を後方カメラ画像より切り出して合成することにより、目安線より遠方でかつ自車線および左右１車線（計３車線）上に存在する車両を確実に表示させることができる。しかし、この文献３に記載された発明では、目安線（例えば１５ｍとある）より、車両が近づいていきた場合には、車両がリア画像とサイドミラー画像の境界部をまたぐために、画像が不連続になり見づらくなる。

【0007】

本発明は、上記背景に鑑み、複数のカメラにて撮影した後方の画像を合成して表示するシステムにおいて、違和感の少ない合成画像をドライバへ提示できるシステムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の車両周辺監視装置は、車両の側部に設けられ、後方を撮影するサイドカメラと、車両の後部に設けられ、広角で後方を撮影するリアカメラと、前記サイドカメラで撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とに基づいて後方車両までの距離を測定する測距部と、前記後方車両までの距離の情報を用いて、前記サイドカメラ画像及び前記リアカメラ画像の視点が一致するように視点変換を行う視点変換部と、前記視点変換により視点が一致した前記サイドカメラ画像と前記リアカメラ画像とを合成する画像合成部と、合成された画像を表示する表示部とを備える。

【0009】

このように後方車両までの距離の情報を用いて、サイドカメラ画像とリアカメラ画像の視点が一致するように視点変換を行うので、後方車両の画像を違和感なく合成することができる。

【0010】

本発明の車両周辺監視装置において、前記視点変換部は、前記リアカメラ画像を前記サイドカメラの視点から見た画像に変換し、前記画像合成部は、車体によって前記後方車両が隠れている前記サイドカメラ画像の領域に、前記視点変換された前記リアカメラ画像を合成し、前記表示部は、前記合成された画像に前記サイドカメラ画像に映る車体の画像を重畳して表示してもよい。

【0011】

この構成により、サイドカメラ画像において後方車両が自車の車体で隠れている場合に、画像合成を行うことにより、あたかもサイドミラーから見た後方車両の画像を生成することができる。また、後方車両の画像を表示する際に、自車の車体を重畳して表示することにより、自車両と後方車両との位置関係をドライバに把握させることができる。なお、後方車両と自車の車体との重畳表示の仕方としては、例えば、自車両を半透明で表示することにより、自車両を透過して後方車両が見えるようにしてもよい。

【0012】

本発明の車両周辺監視装置において、前記視点変換部は、前記リアカメラ画像及び前記サイドカメラ画像を車両の進行方向に沿った車両の中心軸上の所定位置の視点から見た画像に変換してもよい。

【0013】

この構成により、リアカメラ画像とサイドカメラ画像からパノラマ画像を生成することができる。

【0014】

本発明の車両周辺監視装置において、前記測距部は、前記後方車両の正面及び側面までの距離を求め、前記視点変換部は、前記後方車両の前面及び側面を路面に垂直な平面であるとして視点変換を行ってもよい。

【0015】

このように後方車両の前面と側面を異なる平面として扱い、それぞれの平面までの距離を用いて視点変換をすることにより、精度の良い視点変換を行うことができる。

【0016】

本発明の車両周辺監視装置は、車両の外部形状情報を記憶した車両形状記憶部を備え、前記リアカメラ画像または前記サイドカメラ画像に映る後方車両に対応する車両の外部形状情報を前記車両形状記憶部から検索する車両形状特定部と、前記視点変換部は、前記車両の外部形状情報を用いて視点変換を行ってもよい。

【0017】

この構成により、車両の外部の形状に基づいて、より精度の良い視点変換を行うことができる。なお、車両形状記憶部に、全車種の外部形状情報を記憶しておくのではなく、代表的な車両の外部形状の情報を記憶しておいてもよい。

【0018】

本発明の車両周辺監視装置において、前記測距部は、後方車両の車体上の複数の箇所までの距離を求め（このとき距離が求まってない部分については、求まった点を用いて補間するなどする）、前記視点変換部は、前記複数の箇所までの距離の情報を用いて、前記サイドカメラ画像及び前記リアカメラ画像の視点が一致するように前記視点変換を行ってもよい。

【0019】

この構成により、車体上の複数箇所までの距離を用いることにより、視点変換の精度を高めることができる。距離を求める箇所を増やせば増やすほど、車両の外部形状を正確に把握でき、視点変換の精度を向上できる。

【0020】

本発明に車両周辺監視装置において、前記測距部は、前記リアカメラ画像の一部を切り出して歪みを補正する歪み補正部と、前記サイドカメラ画像または前記リアカメラ画像のいずれか一方から前記後方車両の特徴点を検出し、当該特徴点に対応する点を、前記サイドカメラ画像または前記リアカメラ画像の他方のエピポーラ線上から探索する特徴点探索部と、前記サイドカメラ画像中の特徴点と、それに対応する前記リアカメラ画像中の特徴点との位置関係に基づいて、前記後方車両までの距離を求めるステレオ測距部と、を備えてもよい。

【0021】

この構成により、本来は異なる目的で搭載されたサイドカメラとリアカメラで撮影した画像を生かし、視野の重なっている領域でステレオ視による測距を行うことができる。

【0022】

本発明の車両周辺監視方法は、車両後方の画像を表示する方法であって、車両周辺監視装置が、車両の側部に設けられ、後方を撮影するサイドカメラからサイドカメラ画像を取得するステップと、前記車両周辺監視装置が、車両の後部に設けられ、広角で後方を撮影するリアカメラからリアカメラ画像を取得するステップと、前記車両周辺監視装置が、前記サイドカメラで撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とに基づいて後方車両までの距離を測定するステップと、前記車両周辺監視装置が、前記後方車両までの距離の情報を用いて、前記サイドカメラ画像及び前記リアカメラ画像の視点が一致するように視点変換を行うステップと、前記車両周辺監視装置が、前記視点変換により視点が一致した前記サイドカメラ画像と前記リアカメラ画像とを合成するステップと、前記車両周辺監視装置が、合成された画像を表示するステップとを備える。

【0023】

本発明のプログラムは、車両後方の画像を表示するためのプログラムであって、コンピュータに、車両の側部に設けられ、後方を撮影するサイドカメラからサイドカメラ画像を取得するステップと、車両の後部に設けられ、広角で後方を撮影するリアカメラからリアカメラ画像を取得するステップと、前記サイドカメラで撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とに基づいて後方車両までの距離を測定するステップと、前記後方車両までの距離の情報を用いて、前記サイドカメラ画像及び前記リアカメラ画像の視点が一致するように視点変換を行うステップと、前記視点変換により視点が一致した前記サイドカメラ画像と前記リアカメラ画像とを合成するステップと、合成された画像を表示するステップとを実行させる。

【発明の効果】

【0024】

本発明によれば、後方車両までの距離の情報を用いて、サイドカメラ画像とリアカメラ画像の視点が一致するように視点変換を行うので、後方車両の画像を違和感なく合成することができるという効果を有する。

【図面の簡単な説明】

【0025】

【図1】第１の実施の形態の車両周辺監視装置の構成を示す図である。

【図2】サイドカメラ及びリアカメラの取り付け位置を示す図である。

【図3】視点変換の際に想定する平面を示す図である。

【図4】サイドカメラ画像とリアカメラ画像の合成の仕方を示す図である。

【図5】合成画像に自車両の車体の画像を重畳した画像の例を示す図である。

【図6】車両周辺監視装置のハードウェア構成を示す図である。

【図7】第１の実施の形態の車両周辺監視装置の動作を示すフローチャートである。

【図8】第２の実施の形態の背景を説明する図である。

【図9】第２の実施の形態の車両周辺監視装置の構成を示す図である。

【図10】車両形状ＤＢに記憶されたデータの例を示す図である。

【図11】第３の実施の形態の車両周辺監視装置における視点変換について説明するための図である。

【図12】第３の実施の形態の車両周辺監視装置の動作を示すフローチャートである。

【図13】測距部の構成を示す図である。

【図14】（ａ）はリアカメラ画像の例を示す図である。（ｂ）はリアカメラ画像の左半分を切り出して歪み補正した画像を示す図である。（ｃ）は後方車両が正面向きになるように射影変換した画像を示す図である。

【図15】後方車両が後方５ｍに接近した例を示す図である。

【図16】（ａ）はサイドカメラ画像の例を示す図、（ｂ）は歪み補正を行ったリアカメラ画像を示す図である。

【図17】測距部の動作を示す図である。

【図18】測距部の他の例を示す図である。

【図19】測距部の他の例の動作を示す図である。

【発明を実施するための形態】

【0026】

以下、本発明の実施の形態の車両周辺監視装置について図面を参照しながら説明する。
（第１の実施の形態）
図１は、第１の実施の形態の車両周辺監視装置１の構成を示す図である。車両周辺監視装置１は、車両に取り付けられたサイドカメラ１０及びリアカメラ１１と、サイドカメラ１０で撮影した画像（これを「サイドカメラ画像」という）及びリアカメラ１１で撮影した画像（これを「リアカメラ画像」という）に基づいて、後方車両までの距離を求める測距部１２と、サイドカメラ画像及びリアカメラ画像の視点を一致させるように画像変換を行う視点変換部１３と、視点変換されたサイドカメラ画像及びリアカメラ画像を合成する画像合成部１４と、合成画像を表示するモニタ１５とを有している。

【0027】

図２は、サイドカメラ１０及びリアカメラ１１の車両への取り付け位置を示す図である。車両側部のサイドミラーのある位置にサイドカメラ１０が取り付けられている。サイドカメラ１０は、斜め後方に向けて取り付けられ、車両の側方から後方を撮影する。サイドカメラ１０にて撮影した画像を車内のモニタ１５に表示することにより、あたかもサイドミラーに映る景色をドライバに見せることができる。サイドカメラ１０の画角は一般に９０度以下である。リアカメラ１１は、車両の後部に取り付けられている。リアカメラ１１の画角は一般にサイドカメラより広角で最大で約１８０度である。なお、サイドカメラ１０及びリアカメラ１１の設置位置及び姿勢についてはキャリブレーションが行われ、リアカメラ１０とサイドカメラ１１の相対的な位置及び姿勢は既知である。

【0028】

図１に戻って、車両周辺監視装置１の構成について説明する。測距部１２は、サイドカメラ画像及びリアカメラ画像を用いて一番近い後方車両の例えばナンバープレートまでの距離をステレオ測距する。車両側面が見えている場合は、側面までの距離も測定できればする。測距部１２の構成については、後に詳述する。

【0029】

視点変換部１３は、サイドカメラ画像及びリアカメラ画像を視点が同じ位置になるように変換する。本実施の形態では、リアカメラ画像をサイドカメラの視点から見た画像に変換する。後方車両が自車両の右側にある場合には、リアカメラ画像を右側のサイドカメラの視点Ｅ１からの画像に変換し、後方車両の自車両の左側にある場合には、リアカメラ画像を左側のサイドカメラの視点Ｅ１からの画像に変換する。

【0030】

視点変換部１３は、リアカメラ画像の視点変換を行う際に、後方車両の正面及び側面が測距部１２で得られた正面および側面までの距離の位置に路面から垂直に立つ平面であると仮定して、視点変換を行う。ここでは、後方車両と自車両は同じ方向を向いていると仮定する。つまり自車両の正面および後方車両の正面は平行（側面も同様）としている。図３は、視点変換の際に想定する平面を示す図である。後方車両の前面が平面Ａ、側面が平面Ｂであると仮定する。車両上の１点（例えば、ナンバープレート）までの距離や側面までの距離が分かれば、平面Ａ及び平面Ｂを仮定することができる。もし正面までの距離しかわからない場合は、適当な車幅（例えば1.8m）を仮定して、側面の平面の位置を決定する。

【0031】

視点変換部１３は、リアカメラ画像をサイドカメラ１０の視点Ｅ１から見た画像に変換する。視点変換部１３は、サイドカメラ１０と平面Ａとの位置関係（距離および角度）平面Ｂとの位置関係（距離および角度）、リアカメラ１１と平面Ａとの位置関係（距離および角度）、平面Ｂとの位置関係（距離および角度）の情報を用いて視点変換を行うことにより、変換後のリアカメラ画像における後方車両とサイドカメラ画像における後方車両との一致度をなるべく高くする。

【0032】

画像合成部１４は、サイドカメラ画像と、サイドカメラ１０の視点Ｅ１に変換されたリアカメラ画像を合成する。図４は、サイドカメラ画像とリアカメラ画像の合成の仕方を説明するための図である。範囲Ａについては、サイドカメラ画像を用いる。範囲Ｂは、サイドカメラ画像の視野の範囲外か、あるいは視野の範囲内であっても自車両が邪魔になって後方が適切に映らない範囲である。画像合成部１４は、範囲Ｂについては、視点変換を行ったリアカメラ画像を合成する。リアカメラ画像の視点変換を後方車両の前面及び側面までの距離に基づいて行っているので、サイドカメラ画像内の後方車両とリアカメラ画像内の後方車両の一致度が高く、サイドカメラ画像内の後方車両とリアカメラ画像内の後方車両とがきれいにつながった合成画像が得られる。

【0033】

画像合成部１４は、サイドカメラ画像とリアカメラ画像とを合成した合成画像に、サイドカメラ画像に映り込んでいる自車両の車体の画像を重畳する。図５は、合成画像に自車両の車体の画像を重畳した画像の例を示す図である。従来のサイドミラーには自車両の車体が映り込むことがあったので、それと同様に自車両の車体を表示することにより、ドライバは、従来のサイドミラーと同じ感覚で、後方車両との距離感をつかむことができる。さらに、自車両に隠れて見えなかった部分まで見ることができるので、サイドカメラ画像により、従来のサイドミラーよりも多くの情報を得ることができる。

【0034】

図６は、車両周辺監視装置１のハードウェア構成を示す図である。車両周辺監視装置１は、ＣＰＵ２０と、ＲＡＭ２１と、ＲＯＭ２２と、モニタ１５と、ハードディスク２４と、サイドカメラ１０と、リアカメラ１１とを備えている。ＲＯＭ２２には、車両周辺監視のためのプログラム２３が記憶されている。ＣＰＵ２０がこのプログラム２３を読み出して実行することにより、上述した車両周辺監視装置１を実現することができる。このようなプログラム２３も本発明の範囲に含まれる。

【0035】

図７は、第１の実施の形態の車両周辺監視装置１の動作を示すフローチャートである。車両周辺監視装置１は、まず、サイドカメラ１０にて自車両の後方を撮影してサイドカメラ画像を取得すると共に、リアカメラ１１にて自車両の後方を撮影してリアカメラ画像を取得する（Ｓ１０）。続いて、車両周辺監視装置１は、サイドカメラ画像及びリアカメラ画像に映る後方車両までの距離を測定する（Ｓ１１）。後方車両までの距離を測定する方法については、後述する。

【0036】

次に、車両周辺監視装置１は、リアカメラ画像をサイドカメラ１０の視点Ｅ１から見た画像に変換する（Ｓ１２）。ここで、左右いずれのサイドカメラ１０の視点Ｅ１に変換するかについては、後方車両が大きく映っている方のサイドカメラ１０の視点Ｅ１に変換する。続いて、車両周辺監視装置１は、サイドカメラ画像と視点変換を行ったリアカメラ画像を合成する（Ｓ１３）。この際、車両周辺監視装置１は、サイドカメラ画像の視野ではカバーできない部分にリアカメラ画像を合成する。

【0037】

次に、車両周辺監視装置１は、合成された画像に対して、サイドカメラ画像に映っている自車両の車体の画像を重畳する（Ｓ１４）。例えば、自車両の車体を半透明にし、後方車両を含む後方の景色が見えるように重畳する。そして、車両周辺監視装置１は、重畳された画像をモニタ１５に表示する（Ｓ１５）。

【0038】

以上、第１の実施の形態の車両周辺監視装置１の構成及び動作について説明した。第１の実施の形態の車両周辺監視装置１は、後方車両までの距離の情報を用いて、リアカメラ画像をサイドカメラ１０の視点Ｅ１から見た画像に変換するので、サイドカメラ画像に映る後方車両の画像と変換後のリアカメラ画像内の後方車両の画像の一致度が高くなり、両画像を合成したときに、後方車両の画像を違和感なく合成することができる。

【0039】

また、第１の実施の形態の車両周辺監視装置１は、後方車両の前面を平面Ａ、側面を平面Ｂと仮定して、平面Ａ及び平面Ｂとの位置関係（距離および角度）の情報を用いることにより、簡単な構成で、後方車両の前面及び側面のいずれも違和感なく合成できる。

【0040】

（第２の実施の形態）
次に、本発明の第２の実施の形態の車両周辺監視装置２について説明する。第２の実施の形態の車両周辺監視装置２の基本的な構成は第１の実施の形態と同じであるが、第１の実施の形態の車両周辺監視装置１では、後方車両の前面及び側面を平面と仮定して視点変換を行ったのに対し、第２の実施の形態の車両周辺監視装置２は、後方車両の外部形状の情報を用いて視点変換を行う点が異なる。

【0041】

図８は、第２の実施の形態の背景を説明する図である。車両の前面や側面は実際には平面ではなく、例えば、図８に示すようにリアカメラ１１から後方車両のフロントガラスまでの距離Ｌ５とバンパーまでの距離Ｌ６とは異なる。もちろん、サイドカメラ１０についても同じことが言える。後方車両の前面及び側面を完全な平面と仮定すると、視点変換に若干影響を与える可能性があるので、第２の実施の形態では、車両のタイプごとに車両の外部形状を把握し、外部形状の情報から得られる距離の情報を用いて、視点変換を行う。

【0042】

図９は、第２の実施の形態の車両周辺監視装置２の構成を示す図である。車両周辺監視装置２は、第１の実施の形態の車両周辺監視装置１の構成に加えて、車両形状データベース（以下、「車両形状ＤＢ」という）１６を備えている。また、視点変換部１３は、後方車両の車両形状を特定する車両形状特定部１７を備えている。

【0043】

図１０は、車両形状ＤＢ１６に記憶されたデータの例を示す図である。車両形状ＤＢ１６には、車両のタイプと外部形状情報が記憶されている。視点変換部１３の車両形状特定部１７は、車両形状ＤＢ１６から後方車両の画像に最も類似する車両タイプを検索することにより車両形状を特定する。なお、車両形状特定部１７は、車車間通信により後方車両から車両のタイプの情報を受信し、当該車両タイプに対応する車両形状を特定してもよい。

【0044】

視点変換部１３は、後方車両の外部形状情報に基づいて、サイドカメラ１０及びリアカメラ１１から後方車両の各位置（例えば、バンパー、ボンネット、フロントガラス等）までの距離を求め、各位置までの距離の情報に基づいて視点変換を行う。サイドカメラ画像と視点変換をした後のリアカメラ画像とを合成し、合成した画像に自車両の車体の画像を重畳する処理は、第１の実施の形態と同じである。

【0045】

第２の実施の形態の車両周辺監視装置２は、後方車両の外部形状情報を用いて視点を変換する画像処理を行うので、後方車両の車体の外部形状に起因する距離の違いをも考慮して、サイドカメラ画像に映る後方車両の画像とリアカメラ画像に映る後方車両の画像の一致度をさらに高め、サイドカメラ画像とリアカメラ画像とを合成したときに、違和感のない後方車両の画像を生成することができる。

【0046】

（第３の実施の形態）
次に、本発明の第３の実施の形態の車両周辺監視装置について説明する。第３の実施の形態の車両周辺監視装置の基本的な構成は第１の実施の形態の車両周辺監視装置１の構成と同じであるが（図１参照）、第３の実施の形態の車両周辺監視装置は、左右のサイドカメラ画像とリアカメラ画像とを合成して、後方のパノラマ画像を合成する点が異なる。

【0047】

図１１は、第３の実施の形態の車両周辺監視装置における視点変換について説明するための図である。図１１に示すように、第３の実施の形態においては、左右のサイドカメラ画像及びリアカメラ画像を、車両の進行方向の中心軸１８上の所定点Ｅ３を視点とした画像に変換する。この際に、最も近い後方車両までの距離を考慮して視点変換することは第１の実施の形態と同じである。

【0048】

図１２は、第３の実施の形態の車両周辺監視装置の動作を示すフローチャートである。第３の実施の形態の車両周辺監視装置は、まず、サイドカメラ１０にて自車両の後方を撮影してサイドカメラ画像を取得すると共に、リアカメラ１１にて自車両の後方を撮影してリアカメラ画像を取得する（Ｓ２０）。続いて、車両周辺監視装置は、サイドカメラ画像及びリアカメラ画像に映る後方車両までの距離を測定する（Ｓ２１）。後方車両までの距離を測定する方法については、後述する。

【0049】

次に、車両周辺監視装置は、リアカメラ画像及び左右のサイドカメラ画像を所定点Ｅ３の視点から見た画像に変換する（Ｓ２２）。続いて、車両周辺監視装置は、視点変換を行った左右のサイドカメラ画像とリアカメラ画像を合成して、車両後方のパノラマ画像を生成する（Ｓ２３）。ここで、パノラマ画像を合成する場合の方法は、例えば車両が映っていない場合や映っていない範囲については、文献３の方法が考えられる（目安線より遠い部分の３車線についてはリアカメラ画像を利用する）。車両が映っている範囲に関しては、リアカメラ画像を優先し、リアカメラで映ってない部分をサイドカメラ画像から補間するなどの方法が考えられる。そして、車両周辺監視装置は、重畳された画像をモニタ１５に表示する（Ｓ２４）。

【0050】

以上、第３の実施の形態の車両周辺監視装置の構成及び動作について説明した。第３の実施の形態の車両周辺監視装置は、左右のサイドカメラ画像及びリアカメラ画像を合成してパノラマ画像を生成して表示することにより、後方の様子をドライバに容易に把握させることができる。また、画像を合成する際に、後方車両までの距離の情報を用いているので、違和感のない後方車両の画像を含むパノラマ画像を提供できる。

【0051】

［測距部］
図１３は、測距部１２の構成を示す図である。測距部１２は、リアカメラ１１にて取得したリアカメラ画像の歪みを補正する歪み補正部３１と、画像に映る後方車両が正面向きになるようにリアカメラ画像を射影変換する射影変換部３３とを有している。歪み補正部３１及び射影変換部３３は、広角のリアカメラ画像を用いて適切に測距を行うための前処理を行うものである。

【0052】

図１４（ａ）〜図１４（ｃ）は、歪み補正部３１及び射影変換部３３により、リアカメラ画像の補正について説明するための図である。図１４（ａ）は、リアカメラ画像に映る後方車両の例を示す図である。前述のとおり、リアカメラ１１は約１８０度の広角で撮影を行うので、画像の周縁部において大きな歪みが発生する。

【0053】

歪み補正部３１は、図１４（ａ）に太線で囲って示すように、リアカメラ画像の半分を切り出して、歪みの補正を行う。図１４（ｂ）は歪み補正を行ったリアカメラ画像を示す図である。図１４（ａ）の画像は画角が約１８０度の画像であるが、歪み補正後の図１４（ｂ）の画像は画角が４０度の画像に相当する。なお、歪み補正部３１が、リアカメラ画像の左右いずれを切り出すかについては、右側のサイドカメラ１０と連携して測距を行う場合には、リアカメラ画像の右半分を切り出し、左側のサイドカメラ１０と連携して測距を行う場合には、リアカメラ画像の左半分を切り出す。

【0054】

測距部１２は、後方車両までのおよその距離（概算距離）を計算する距離概算部３２を有している。距離概算部３２は、公知技術にしたがって、後方車両までの概算距離を求める。例えば、サイドカメラ画像から、レーン内に存在する横方向のエッジを用いる、あるいは、車両前面の画像をあらかじめ学習しておいた識別器を用いて車両前面を検出し、その下端を利用するなどの方法によって、後方車両の下端を検出する。そして、測距部１２は、検出した下端の位置に基づいて後方車両までの概算距離を求める。サイドカメラ１０の設置位置、及び姿勢は事前にキャリブレーションされており、路面の位置を計算できるので、サイドカメラ画像中の下端の位置からサイドカメラ１０までの距離を算出することができる。

【0055】

後方車両が隣のレーンを走行している場合や追い越しをしようとしている場合のように、自車両の真後ろではない場所にいる場合には、リアカメラ画像で撮影した画像に映る後方車両は、自車両に近くなるにしたがって正面から回転した向きに映り、車両の側面が見える割合が大きくなる。例えば、図１４（ｂ）に示す画像においては、後方車両は、左側面が見える方向に回転して映っている。この場合、画像中に映る特徴点を適切にマッチングすることが困難になるので、射影変換部３３は、後方車両が正面向きになるように画像を射影変換する。

【0056】

射影変換部３３は、図１４（ｂ）に太線を囲って示すように、リアカメラ画像中から、例えば、エンブレムやナンバープレート等の特徴点を含む車両の前面の画像を切り出す。ここで、車両の前面は平面であると仮定する。図１５は、後方車両が後方５ｍに接近した例を示す図である。図１５において、直線Ａは、後方車両の前面を含む平面を示す線である。リアカメラ１１が撮影した画像中で、当該平面は正面から角度αだけ傾いて映っている。射影変換部３３は、後方車両が正面向きの画像になるように、つまりリアカメラ１１の撮影方向に対して後方車両の前面を含む平面が垂直になるように、切り出した画像を射影変換する。図１５の例では、角度αだけ回転して直線Ｂに示すような平面に変換する。なお、測距部１２によって後方車両までの距離を概算する際に、後方車両の下端、あるいは車両の正面領域が求まっている場合には、それを利用してもよい。これにより、車両前面の広い領域を用いて、以後の対応点探索を行ってもよい。

【0057】

射影変換部３３は、リアカメラ画像に映る後方車両の前面が正面から傾いている量を求めるため、後方車両までの概算距離のデータを用いる。上述したとおり、後方車両が自車両の真後ろにいない場合には、後方車両は、隣りのレーンを走行しているか、あるいは、自車両を追い越そうとしている場合であり、自車両の走行方向の軸に垂直な方向に数ｍ程度離れている。したがって、後方車両までの概算距離が分かれば、後方車両のおよその方向が分かり、後方車両がどの程度回転して映っているかを把握できるからである。

【0058】

測距部１２は、サイドカメラ画像及びリアカメラ画像に含まれる対応する特徴点を探索する特徴点探索部３４と、探索された特徴点の位置に基づいて後方車両までの距離をステレオ測距するステレオ測距部３５とを有している。

【0059】

特徴点探索部３４は、サイドカメラ画像中から、後方車両の特徴点を検出する。特徴点としては、例えば、エンブレムやナンバープレート、ランプ等を用いることができる。夜間の場合には、ランプが有効である。続いて、特徴点探索部３４は、検出された特徴点に対応する特徴点をリアカメラ画像中から探索する。この際、特徴点探索部３４は、検出された特徴点がリアカメラ画像中で存在する可能性のある直線であるエピポーラ線を求め、エピポーラ線上において、対応する特徴点を探索する。また、特徴点探索部３４は、距離概算部３２から後方車両までの概算距離のデータを受け取り、概算距離に基づいて特徴点がどの範囲に存在するかを求め、当該範囲においてエピポーラ線上を探索する。これにより、対応する特徴点の探索の処理を著しく軽減することができる。

【0060】

特徴点探索部３４によって対応する特徴点を探索する方法は、サイドカメラ画像において特徴点を含む所定の単位領域の画像と、リアカメラ画像の所定の単位領域の画像とを比較することにより、両画像の類似度が所定の閾値よりも高い場合に、対応する特徴点（を含む単位領域）であると判断する。この際、リアカメラ画像の単位領域は、サイドカメラ画像の単位領域よりも大きくし、リアカメラ画像から切り出した単位領域の画像をサイドカメラ画像と同じ大きさに縮小してから比較することが望ましい。なぜなら、サイドカメラよりも後方に設置されたリアカメラの方が後方車両に近く、リアカメラ画像の方がサイドカメラ画像よりも後方車両が大きく映るからである。このとき、各単位領域の大きさは、後方車両までの概算距離に基づいて決定することができる。

【0061】

なお、ここでの説明では、先にサイドカメラ画像の中から車両の特徴点を検出し、検出した特徴点に対応する特徴点をリアカメラ画像から探索する手順を例として説明したが、先に、リアカメラ画像から車両の特徴点を検出し、検出した特徴点に対応する特徴点をサイドカメラ画像から探索することとしてもよい。

【0062】

ステレオ測距部３５は、対応する特徴点の位置関係に基づいて、後方車両までの距離をステレオ測距する。図１６（ａ）はサイドカメラ画像の例を示す図であり、図１６（ｂ）は歪み補正部３１によって画角４０度相当の画像に補正されたリアカメラ画像を示す図である。図１６（ａ）及び図１６（ｂ）に示すように、サイドカメラ画像及びリアカメラ画像から、エンブレムが特徴点として検出された。前述したとおり、サイドカメラ１０とリアカメラ１１の設置位置及び姿勢の相対的な関係は既知である。ステレオ測距部３５は、画像中におけるエンブレムの位置と、サイドカメラ１０及びリアカメラ１１の取り付け位置及び取り付け方向とに基づいて、三角測量の原理によって、後方車両までの距離を計算する。

【0063】

図１７は、測距部１２の動作を示すフローチャートである。測距部１２は、まず、サイドカメラ１０及びリアカメラ１１にて車両周辺を撮影し、撮影したサイドカメラ画像及びリアカメラ画像を測距部１２に入力する（Ｓ３０）。このステップは、上述した車両周辺監視装置１におけるサイドカメラ画像及びリアカメラ画像を取得するステップ（Ｓ１０、図７）と同じである。

【0064】

測距部１２は、リアカメラ画像の入力を受けると、歪み補正部３１にて、リアカメラ画像の半分を切り出して、切り出した画像の歪み補正を行う（Ｓ３１）。これにより、リアカメラ画像は、実質的に画角４０度の画像に補正される。続いて、測距部１２は、サイドカメラ画像に映る後方車両までの概算距離を計算する（Ｓ３２）。

【0065】

次に、射影変換部３３は、ステップＳ１２で求めた概算距離のデータを用いて、後方車両が正面向きからどの程度傾いて映っているかを計算し、求めた傾き量を用いて、後方車両が正面向きになるようにリアカメラ画像を射影変換する（Ｓ３３）。

【0066】

続いて、特徴点探索部３４は、サイドカメラ画像から後方車両の特徴点を検索し（Ｓ３４）、検索された特徴点に対応する特徴点をリアカメラ画像から探索する（Ｓ３５）。そして、対応する特徴点が探索されたら、サイドカメラ画像及びリアカメラ画像に映る特徴点の位置関係に基づいて、後方車両までの距離を計算する（Ｓ３６）。測距部１２は、求めた距離データに基づいて後方車両が所定の閾値より接近しているか否かを判定し、後方車両が所定の閾値より接近している場合に、ドライバに警告を発するなどの処理を行ってもよい。

【0067】

測距部１２は、歪み補正部３１にて、広角のリアカメラ１１で撮影した画像の歪みを補正することにより、サイドカメラ１０で撮影した画像との間で対応する特徴点を適切に探索することができる。また、測距部１２は、リアカメラ画像に映る後方車両が正面を向くように射影変換を行うので、特徴点の探索の精度を高めることができる。これにより、サイドカメラ１０とリアカメラ１１という既存のハードウェアを用いて、後方車両までの距離をステレオ測距することができる。

【0068】

［測距部の他の例］
図１８は、測距部１２の他の例を示す図である。測距部１２の基本的な構成は上記した構成と同じであるが、本例では、測距部１２は、距離概算部３２、射影変換部３３に代えて、平行化補正部３６を有している。

【0069】

平行化補正部３６は、サイドカメラ１０及びリアカメラ１１が取り付けられた位置や撮影方向に基づいて、サイドカメラ画像とリアカメラ画像のエピポーラ線が平行になるように、サイドカメラ画像およびリアカメラ画像を補正する機能を有する。このように平行化補正部３６によってエピポーラ線が平行な画像を求めておくことにより、一方の画像で検出された特徴点に対応する特徴点を探索する際には、他方の画像を水平方向に探索すればよいので、特徴点探索部３４による特徴点の探索の処理を軽減することができる。

【0070】

図１９は、測距部１２の他の例の動作を示すフローチャートである。測距部１２は、まず、サイドカメラ１０及びリアカメラ１１にて車両周辺を撮影し、撮影したサイドカメラ画像及びリアカメラ画像を測距部１２に入力する（Ｓ４０）。このステップは、上述した車両周辺監視装置１におけるサイドカメラ画像及びリアカメラ画像を取得するステップ（Ｓ１０、図７）と同じである。

【0071】

測距部１２は、リアカメラ画像の入力を受けると、歪み補正部３１にて、リアカメラ画像の半分を切り出して、切り出した画像の歪み補正を行う（Ｓ４１）。これにより、リアカメラ画像は、実質的に画角４０度の画像に補正される。

【0072】

次に、平行化補正部３６は、サイドカメラ画像と歪みが補正されたリアカメラ画像のエピポーラ線が平行になるように画像の変換する処理を行う（Ｓ４２）。

【0073】

続いて、特徴点探索部３４は、サイドカメラ画像から後方車両の特徴点を検索し（Ｓ４３）、検索された特徴点に対応する特徴点をリアカメラ画像から探索する（Ｓ４４）。そして、対応する特徴点が探索されたら、サイドカメラ画像及びリアカメラ画像に映る特徴点の位置関係から、後方車両までの距離を計算する（Ｓ４５）。

【0074】

以上、測距部１２の構成について説明した。上記の説明ではリアカメラ画像を射影変換する例を説明したが、サイドカメラ画像についてもリアカメラ画像と同様に射影変換を行ってもよい。

【0075】

また、射影変換部３３は、後方車両の正面からの傾き量に基づいて、射影変換を行うか否かを判断してもよい。すなわち、傾き量が所定の閾値よりも小さい場合には、射影変換を行わないこととしてもよい。なお、射影変換部３３は、必須の構成ではないので、場合によっては省略してもよい。

【0076】

本例では、特徴点探索部３４によってサイドカメラ画像１０とリアカメラ画像１１で対応する特徴点を探索する際に、比較単位となる単位領域の大きさを調整する例について説明したが、この調整は射影変換のときに同時に行ってもよい。また、特徴点探索部３４にてブロックマッチングを行うときに、スケールパラメータを含め、スケールを変えながら類似度を計算して、一番類似度が高い結果を採用することとしてもよい。

【0077】

以上、本発明の実施の形態に係る車両周辺監視装置の構成について説明したが、本発明は上記した実施の形態に限定されるものではない。上記した実施の形態では、視点変換部は、後方車両の外部形状情報に基づいて視線変換を行う例を挙げて説明したが、後方車両の車体上の複数の箇所までの距離を求め、複数の箇所までの距離の情報を用いて、サイドカメラ画像及びリアカメラ画像の視点が一致するように視点変換を行うこととしてもよい。これにより、車両の外部形状情報を有していなくても、後方車両の車体の外部形状の違いに起因する距離の違いをも考慮して、サイドカメラ画像に映る後方車両の画像とリアカメラ画像に映る後方車両の画像の一致度をさらに高めることができる。

【産業上の利用可能性】

【0078】

本発明は、カメラによって撮影した映像により車両の周辺を監視する装置として有用である。

【符号の説明】

【0079】

１，２ 車両周辺監視装置
１０ サイドカメラ
１１ リアカメラ
１２ 測距部
１５ モニタ
１６ 車両形状データベース
１７ 車両形状特定部
１８ 車両の中心軸
２０ ＣＰＵ
２１ ＲＡＭ
２２ ＲＯＭ
２３ プログラム
２４ ハードディスク
３１ 歪み補正部
３２ 距離概算部
３３ 射影変換部
３４ 特徴点探索部
３５ ステレオ測距部
３６ 平行化補正部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】