特許 5799631 車両用画像生成装置及び車両用画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5799631

(24)【登録日】2015年9月4日

(45)【発行日】2015年10月28日

(54)【発明の名称】車両用画像生成装置及び車両用画像生成方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20151008BHJP

   G08G 1/16 20060101ALI20151008BHJP

   H04N 7/18 20060101ALI20151008BHJP

   B60R 1/00 20060101ALI20151008BHJP

   G01B 11/00 20060101ALI20151008BHJP

【ＦＩ】

   G06T1/00 330A

   G08G1/16 D

   G06T1/00 315

   H04N7/18 J

   B60R1/00 A

   G01B11/00 H

【請求項の数】13

【全頁数】30

(21)【出願番号】特願2011-158970(P2011-158970)

(22)【出願日】2011年7月20日

(65)【公開番号】特開2013-25528(P2013-25528A)

(43)【公開日】2013年2月4日

【審査請求日】2014年7月14日

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】100066980

【弁理士】

【氏名又は名称】森 哲也

(74)【代理人】

【識別番号】100109380

【弁理士】

【氏名又は名称】小西 恵

(74)【代理人】

【識別番号】100103850

【弁理士】

【氏名又は名称】田中 秀▲てつ▼

(74)【代理人】

【識別番号】100116012

【弁理士】

【氏名又は名称】宮坂 徹

(72)【発明者】

【氏名】柳 拓良

【審査官】 山内 裕史

(56)【参考文献】

【文献】 特開２００５−２６８８４７（ＪＰ，Ａ）

【文献】 特開２００２−３１４９９０（ＪＰ，Ａ）

【文献】 特開平０７−０４４７８８（ＪＰ，Ａ）

【文献】 特開２００７−３１８４６０（ＪＰ，Ａ）

【文献】 特開２００８−１５１５０７（ＪＰ，Ａ）

【文献】 特開２０１１−００４２０１（ＪＰ，Ａ）

【文献】 特開２０００−２１０４７４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／００４９３９３（ＵＳ，Ａ１）

【文献】 特開２００８−９２４５９（ＪＰ，Ａ）

【文献】 特開２００３−１８９２９３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｂ６０Ｒ １／００

Ｇ０１Ｂ １１／００

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両に搭載された複数のカメラにより車両周囲の領域を撮影して得られる複数の画像を入力する画像入力手段と、
前記画像入力手段によって入力された前記複数の画像に含まれる各物体の３次元座標情報を検出する座標情報検出手段と、
前記座標情報検出手段で検出した前記各物体の３次元座標情報に基づき構成される各物体の投影面に、前記複数の画像に含まれる前記各物体に対応する画像を投影して複数の投影画像を生成する投影画像生成手段と、
前記投影画像生成手段によって生成された前記複数の投影画像を合成して、３次元構造を有する車両周囲画像を生成する車両周囲画像生成手段と、
前記車両周囲画像に含まれる、前記複数のカメラにより撮影された画像に基づき構成される他車両の可視画像部分を検出する車両画像検出手段と、
前記車両画像検出手段の検出結果に基づき、前記車両周囲画像に前記他車両の可視画像部分が含まれると判定すると、前記可視画像部分の画像情報に基づき、前記複数のカメラの撮影範囲外となる前記他車両の死角部位の情報を推測する死角情報推測手段と、
前記死角情報推測手段で推測した情報に基づき、前記可視画像部分の画像情報を用いて、前記車両周囲画像に含まれる前記他車両の死角部位の画像を補完する画像補完手段と、
仮想視点情報を設定する仮想視点情報設定手段と、
前記画像補完手段で補完された車両周囲画像を、前記仮想視点情報設定手段で設定された仮想視点情報の示す仮想視点から見た画像に再構成する画像再構成手段と、を備えることを特徴とする車両用画像生成装置。

【請求項2】

前記死角情報推測手段は、前記可視画像部分の画像情報に基づき前記他車両の死角部位の形状を推測し、
前記画像補完手段は、前記死角情報推測手段で推測した死角部位の形状に基づき、前記可視画像部分から補完画像を生成し、生成した補完画像を用いて前記他車両の死角部位の画像を補完することを特徴とする請求項１に記載の車両用画像生成装置。

【請求項3】

前記死角情報推測手段は、前記可視画像部分が、前記他車両の側面を撮影した画像から構成される可視側面画像を含む場合に、前記他車両の形状を左右対称と推測し、
前記画像補完手段は、前記死角情報推測手段の推測結果に基づき、前記可視側面画像を左右反転した補完画像を生成し、生成した補完画像を用いて前記他車両の死角部位の一部である反対側の側面の画像を補完することを特徴とする請求項２に記載の車両用画像生成装置。

【請求項4】

前記画像補完手段は、前記可視側面画像を左右反転した補完画像を生成するに際して、前記左右反転した補完画像における前輪部分の画像を、当該前輪部分の舵角を反転した画像に修正することを特徴とする請求項３に記載の車両用画像生成装置。

【請求項5】

前記画像補完手段は、前記死角部位の画像の一部を補完した場合に、前記死角情報推測手段で推測した死角部位の形状に基づき、前記補完画像部分と前記可視画像部分との間の死角部位の画像部分の形状を補間計算によって描画補完することを特徴とする請求項２乃至請求項４のいずれか１項に記載の車両用画像生成装置。

【請求項6】

前記死角情報推測手段は、前記可視画像部分の色情報に基づき、前記描画補完によって補完された補完画像部分の色を推測し、
前記画像補完手段は、前記補完画像部分の少なくとも一部を前記死角情報推測手段で推測した色に着色することを特徴とする請求項５に記載の車両用画像生成装置。

【請求項7】

前記死角情報推測手段は、前記可視画像部分から前記死角部位の少なくとも一部の情報が推測不可能であると判定すると、該当部位に対して推測が不可能であることを示す推測不可情報を前記画像補完手段に出力し、
前記画像補完手段は、前記死角情報推測手段からの前記推測不可情報に基づき、前記他車両の死角部位のうち推測不可能な部分があったと判定すると、推測不可能な部分について、予め設定された描画内容で描画を行うことを特徴とする請求項１乃至請求項６のいずれか１項に記載の車両用画像生成装置。

【請求項8】

前記他車両の走行状態を判定する走行状態判定手段を備え、
前記死角情報推測手段は、前記走行状態判定手段の判定結果に基づき、前記他車両が停止していると判定すると、前記他車両の死角部位に含まれるドア部分を推測不可能な部分と判定することを特徴とする請求項７に記載の車両用画像生成装置。

【請求項9】

前記死角情報推測手段は、前記他車両の死角部位のうち少なくともウィンカーランプ部を含む照明系の部位を推測不可能な部分と判定することを特徴とする請求項７又は請求項８に記載の車両用画像生成装置。

【請求項10】

複数種類の車両の３次元ＣＧモデルを記憶した車両画像データベースを備え、
前記画像補完手段は、前記車両周囲画像に含まれる前記他車両の可視画像部分を検索情報として、前記車両画像データベースから前記他車両に対応する３次元ＣＧモデルを検索し、該検索によって索出された前記３次元ＣＧモデルに基づき、前記他車両の死角部位の補完画像を生成し、生成した補完画像を用いて前記他車両の死角部位の画像を補完することを特徴とする請求項１乃至請求項９のいずれか１項に記載の車両用画像生成装置。

【請求項11】

前記画像補完手段は、前記死角情報推測手段の推測結果に基づき、前記死角部位の情報が推測できなかったと判定すると、前記車両周囲画像に含まれる前記他車両の可視画像部分を検索情報として、前記車両画像データベースから前記他車両に対応する３次元ＣＧモデルを検索し、該検索によって索出された前記３次元ＣＧモデルに基づき、前記他車両の死角部位の補完画像を生成し、生成した補完画像を用いて前記他車両の死角部位の画像を補完することを特徴とする請求項１０に記載の車両用画像生成装置。

【請求項12】

車両に搭載された複数のカメラにより車両周囲の領域を撮影して得られる複数の画像を入力する画像入力手段と、
前記画像入力手段によって入力された前記複数の画像に含まれる各物体の３次元座標情報を検出する座標情報検出手段と、
前記座標情報検出手段で検出した前記各物体の３次元座標情報に基づき構成される各物体の投影面に、前記複数の画像に含まれる前記各物体に対応する画像を投影して複数の投影画像を生成する投影画像生成手段と、
前記投影画像生成手段によって生成された前記複数の投影画像を合成して、３次元構造を有する車両周囲画像を生成する車両周囲画像生成手段と、
前記車両周囲画像に含まれる、前記複数のカメラにより撮影された画像に基づき構成される他車両の可視画像部分を検出する車両画像検出手段と、
複数種類の車両の３次元ＣＧモデルを記憶した車両画像データベースと、
前記車両画像検出手段で検出された前記他車両の可視画像部分を検索情報として、前記車両画像データベースから前記他車両に対応する３次元ＣＧ（Computer Graphics）モデルを検索し、該検索によって索出された３次元ＣＧモデルに基づき、前記他車両の死角部位の補完画像を生成し、生成した補完画像を用いて前記他車両の死角部位の画像を補完する画像補完手段と、
仮想視点情報を設定する仮想視点情報設定手段と、
前記画像補完手段で補完された車両周囲画像を、前記仮想視点情報設定手段で設定された仮想視点情報の示す仮想視点から見た画像に再構成する画像再構成手段と、を備えることを特徴とする車両用画像生成装置。

【請求項13】

車両に搭載された複数のカメラにより車両周囲を撮影して得られる複数の画像に基づき、３次元構造を有する車両周囲画像を生成する車両周囲画像生成ステップと、
前記車両周囲画像に含まれる、前記複数のカメラにより撮影された画像に基づき構成される他車両の可視画像部分を検出する車両画像検出ステップと、
前記車両画像検出ステップにおける検出結果に基づき、前記車両周囲画像に前記他車両の可視画像部分が含まれると判定すると、前記可視画像部分の画像情報に基づき、前記複数のカメラの撮影範囲外となる前記他車両の死角部位の情報を推測する画像情報推測ステップと、
前記画像情報推測ステップにおいて推測した画像情報に基づき、前記可視画像部分の画像情報を用いて、前記車両周囲画像に含まれる前記他車両の死角部位の画像を補完する画像補完ステップと、
仮想視点情報を設定する仮想視点情報設定ステップと、
前記画像補完ステップにおいて補完された車両周囲画像を、前記仮想視点情報設定ステップで設定された仮想視点情報の示す仮想視点から見た画像に再構成する画像再構成ステップと、を含むことを特徴とする車両用画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の車載カメラで車両周囲を撮影して得られる複数の画像に基づき、任意の視点から見た３次元構造を有する車両周囲画像を生成する技術に関する。

【背景技術】

【0002】

車両に搭載された複数のカメラからの画像を合成して、任意の視点から見た車両周囲の画像を生成する技術として、例えば、特許文献１に記載の技術がある。この特許文献１の従来技術では、カメラからの入力画像を、３次元空間の予め決められた空間モデルにマッピングし、マッピングされた空間データを参照して、３次元空間の任意の視点から見た画像を作成する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１０−３１７３９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来技術では、車両周囲に他車両が存在する場合に、入力画像に含まれない他車両の死角部位については任意の視点に対応する画像を作成することができない。
本発明は、上記のような点に着目したもので、車両周囲画像に含まれる他車両の任意視点から見た画像を、より正確に生成することを目的としている。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本発明は、車両に搭載された複数のカメラにより車両周囲を撮影して得られる複数の画像に基づき、３次元構造を有する車両周囲画像を生成する。この車両周囲画像から、複数のカメラにより撮影された画像に基づき構成される他車両の可視画像部分を検出する。この検出結果に基づき、車両周囲画像に他車両の可視画像部分が含まれると判定すると、可視画像部分の画像情報に基づき、複数のカメラの撮影範囲外となる他車両の死角部位の情報を推測する。この推測した情報に基づき、可視画像部分の画像情報を用いて、車両周囲画像に含まれる他車両の死角部位の画像を補完する。そして、この補完された車両周囲画像を、任意の仮想視点から見た画像に再構成するようにした。

【発明の効果】

【0006】

本発明によれば、３次元構造を有する車両周囲画像に含まれる他車両の可視画像部分の画像情報に基づき、他車両の死角部位の情報を推測し、該推測した画像情報に基づき、他車両の死角部位の画像を補完する。これにより、任意の仮想視点から視た場合の車両周囲画像に含まれる他車両の画像をより正確に表示することが可能となる。

【図面の簡単な説明】

【0007】

【図1】本発明の実施形態に係る車両用画像生成装置の概要構成図である。

【図2】撮像装置１１Ａ〜１１Ｄの配置例を示す図である。

【図3】（ａ）〜（ｃ）は、撮像装置１１Ａの構成例を示す図である。

【図4】（ａ）〜（ｃ）は、図３（ａ）〜（ｃ）の各構成に対応した撮影範囲及び測距範囲の例を示す図である。

【図5】車両用画像生成装置１００の機能構成の一例を示すブロック図である。

【図6】車両周囲画像生成処理の処理手順の一例を示すフローチャートである。

【図7】死角情報推測処理の処理手順の一例を示すフローチャートである。

【図8】画像補完処理の処理手順の一例を示すフローチャートである。

【図9】車両周囲の領域を撮影時における自車両と他車両との位置関係の一例を示す図である。

【図10】図９の仮想視点とは反対側の視点から見た場合の他車両の撮影範囲の一例を示す図である。

【図11】図９の仮想視点から見た場合の、他車両の死角部位を含む非撮影範囲の一例を示す図である。

【図12】（ａ）〜（ｄ）は、他車両が走行状態時の画像補完処理の流れの一例を示す図である。

【図13】（ａ）は、他車両が走行状態時の画像補完後の図９の仮想視点から見た画像を示す図であり、（ｂ）は、他車両が停車状態時の画像補完後の図９の仮想視点から見た画像を示す図である。

【図14】他車両が停車状態時の画像補完処理の流れの一例を示す図である。

【図15】撮像装置の他の配置例を示す図である。

【図16】自車両と他車両との位置関係に応じた撮影範囲の変化を説明する図である。

【発明を実施するための形態】

【0008】

以下、本発明の実施形態を図面に基づき説明する。図１〜図１４は、本発明の実施形態に係る車両用画像生成装置及び車両用画像生成方法の実施形態を示す図である。
（構成）
まず、車両用画像生成装置の構成について説明する。
図１は本発明の実施形態に係る車両用画像生成装置の概要構成図である。

【0009】

本実施形態において、車両用画像生成装置１００は、車両１に搭載されている。車両用画像生成装置１００は、ＣＰＵ１０と、車両周囲撮影部１１と、ＲＡＭ１２と、ＲＯＭ１３と、操作部１４と、ディスプレイ１５と、ＨＤＤ１６と、車速センサ１７とを備える。
車両周囲撮影部１１は、撮像装置１１Ａと、撮像装置１１Ｂと、撮像装置１１Ｃと、撮像装置１１Ｄと、を備える。

【0010】

図２は、撮像装置１１Ａ〜１１Ｄの配置例を示す図である。
撮像装置１１Ａは、自車両１の前端部中央に設けられ、撮像装置１１Ｂは、自車両１の左端部中央に設けられる。撮像装置１１Ｃは、自車両１の右端部中央のルーフ側部に設けられ、撮像装置１１Ｄは、自車両１の後端部中央に設けられる。このようにして設置された撮像装置１１Ａ〜１１Ｄは、それぞれの撮影範囲内に含まれる領域を撮影し、撮影した画像データをＣＰＵ１０に送信する。

【0011】

ここで、本実施形態の車両用画像生成装置１００は、撮像装置１１Ａ〜１１Ｄによって車両周囲の領域を撮影して得られた画像データを用いて、３次元構造を有する車両周囲の画像を生成するものである。
ここで、カメラの撮影画像は２次元構造（Ｘ、Ｙ）となる。３次元構造を有する車両周囲画像を生成するためには、カメラの撮影画像に加えて、撮影領域内に存在する被写体（物体）の３次元座標情報（Ｘ、Ｙ、Ｚ）を検出する必要がある。なお、本実施形態では、図２に示すように、車両の幅方向をＸ軸とし、高さ方向をＹ軸とし、車両の前後方向をＺ軸とする。３次元座標情報を得るためには、例えば、基準位置から物体までの距離情報を得る必要がある。この距離情報を得るためには、例えば、モーションステレオ法を用いた距離測定方法、ステレオ画像法を用いた距離測定方法、レンジファインダによる距離測定方法等を用いることが可能である。これらの距離測定方法は、いずれも公知技術である。

【0012】

図３（ａ）〜（ｃ）は、撮像装置１１Ａの構成例を示す図である。
図３（ａ）は、モーションステレオ法を用いる場合の撮像装置１１Ａの構成例を示す図である。モーションステレオ法は、時系列に撮影された連続画像における、被写体の「画面上の動き」と「撮影位置の変位量」とに基づき、被写体までの距離を測定する技術である。モーションステレオ法を用いる場合、撮像装置１１Ａは、図３（ａ）に示すように、１台のＣＣＤカメラ（ＣＭＯＳカメラ等の他のカメラでも可能）から構成される。なお、ＣＣＤカメラは、広角（例えば画角１００°）レンズを備え、比較的広範囲の領域を撮影することが可能となっている。また、ＣＣＤカメラは、カラーフィルタを備え、カラー画像の撮影が可能となっている。

【0013】

図３（ｂ）は、ステレオ画像法を用いる場合の撮像装置１１Ａの構成例を示す図である。ステレオ画像法は、ステレオカメラで撮影された同一被写体を含む複数の画像に基づき、三角測量の原理を用いて被写体までの距離を測定する技術である。かかる技術を用いる場合、撮像装置１１Ａは、図３（ｂ）に示すように、１台のステレオカメラから構成される。本実施形態のステレオカメラは、一定間隔に並列して配設された複数のレンズ（本実施形態では２つ）と、各レンズに対応する撮像素子とを含んで構成される複数の撮像ユニットを有する。ステレオカメラは、これら複数の撮像ユニットによって、複数の方向から同一被写体を含む領域を撮影することが可能である。各撮像ユニットは、図３（ａ）のＣＣＤカメラと同様に、広角レンズ及びカラーフィルタを備え、比較的広範囲の領域の撮影及びカラー画像の撮影が可能となっている。

【0014】

図３（ｃ）は、レンジファインダによる距離測定技術を用いる場合の撮像装置１１Ａの構成例を示す図である。レンジファインダによる距離測定技術は、光レーダ法、アクティブステレオ法、照度差ステレオ法など、様々な公知手法がある。本実施形態では、光レーダ法を用いることとする。光レーダ法には、例えば、パルス光投影（時間計測）法と、変調光投影（位相差計測）法とがある。パルス光投影法は、光パルスを投影して、この光パルスが反射して返ってくるまでの時間を計測することで被写体までの距離を計測する方法である。変調光投影法は、正弦波又は矩形波で強度を時間変調した光ビームを投影し、この光ビームとその反射ビームとの位相差から距離を測定する方法である。前者は処理負荷は低いが、Ｓ／Ｎやクロック周波数の制限などから距離の分解能を高くするのが難しく、後者は距離の分解能は高いが、処理負荷が大きい。

【0015】

光レーダ法による距離測定技術を用いる場合、撮像装置１１Ａは、図３（ｃ）に示すように、１台のＣＣＤカメラ（ＣＭＯＳカメラ等の他のカメラでも可能）と、１台のレーザレンジファインダとから構成される。なお、ＣＣＤカメラは、図３（ａ）と同様のものを用いる。レーザレンジファインダは、上記パルス光投影法を用いる場合、ＣＣＤカメラと同様又は略同様の撮影範囲に対して光パルスを投影する。そして、投影した光パルスの反射光を受けて時間差を計測し、計測した時間差を距離に換算する機能を有する。一方、上記変調光投影法を用いる場合は、ＣＣＤカメラと同様又は略同様の撮影範囲に対して上記光ビームを投影する。そして、投影した光ビームの反射ビームを受けて、光ビームと反射ビームとの位相差を測定し、測定した位相差を距離に換算する機能を有する。

【0016】

なお、撮像装置１１Ｂ〜１１Ｄは、上記いずれの距離測定方法においても、撮像装置１１Ａと同様の構成となる。
図４（ａ）〜（ｃ）は、図３（ａ）〜（ｃ）の各構成に対応した撮影範囲及び測距範囲の例を示す図である。なお、図４（ａ）〜（ｃ）中の自車両１に付された矢印は、自車両１の向きを示す。

【0017】

ステレオモーション技術を用いた場合、ＣＣＤカメラ１１Ａ〜１１Ｄの撮影範囲は、図４（ａ）に示すように、各ＣＣＤカメラの広角レンズの特性（レンズ性能、焦点距離等）によって決まる画角の範囲となる。なお、図４（ａ）では、撮影範囲として、Ｘ軸方向の撮影幅の一部しか示していないが、実際はＣＣＤカメラのレンズ中央を頂点とした円錐状の撮影範囲となる。このことは、図４（ｂ）の撮影範囲についても同様となる。

【0018】

また、ステレオ画像法を用いた場合、ステレオカメラ１１Ａ〜１１Ｄの撮影範囲は、図４（ｂ）に示すように、一定間隔を空けてＸ軸方向に並列する２つの広角レンズによって、２つの撮影範囲がＸ軸方向に一定間隔分のずれをもってオーバーラップした状態となる。なお、ステレオカメラを構成する２つのレンズ及び２つの撮像素子は、同様の部品（型番等が同じ部品）を用いて構成された同様のレンズ及び素子となっている。そのため、各撮影ユニットの撮影範囲は、略同等の撮影範囲となる。また、ステレオカメラ１１Ａ〜１１Ｄの各撮影ユニットの撮影範囲は、各撮影ユニットの有する広角レンズの特性によって決まる画角の範囲となる。

【0019】

また、光レーダ法を用いた場合、ＣＣＤカメラ１１０Ａ〜１１０Ｄの撮影範囲は、図４（ｃ）に示す実線の範囲となる。また、レーザレンジファインダ１１１Ａ〜１１１Ｄの測距範囲は、図４（ｃ）に示す一点鎖線の範囲となる。ＣＣＤカメラ１１Ａ〜１１Ｄの撮影範囲は、ステレオモーション技術を用いた場合と同様となる。一方、レーザレンジファインダ１１１Ａ〜１１１Ｄの測距範囲は、レーザレンジファインダの走査範囲によって決まる。この走査範囲は、レーザレンジファインダの有する、レーザ照射ユニットの走査範囲によって決まる。ＣＣＤカメラ１１０Ａ〜１１０Ｄの撮影範囲と、それぞれ対応するレーザレンジファインダ１１１Ａ〜１１１Ｄの測距範囲とは、図４（ｃ）に示すように、オーバーラップさせる。つまり、ＣＣＤカメラ１１０Ａ〜１１０Ｄで撮影する被写体と、それぞれ対応するレーザレンジファインダ１１１Ａ〜１１１Ｄで測距する被写体とが対応するように範囲を設定する。

【0020】

また、被写体の存在する物体座標系とカメラ座標系とについて、事前に、各ＣＣＤカメラ及び各撮影ユニットの外部パラメータと内部パラメータとを決定するカメラキャリブレーションを行う必要がある。カメラキャリブレーションは、物体座標系からカメラ座標系への変換を行うための外部パラメータと、カメラ座標系から画像面への投影を行うための内部パラメータとを決定する処理となる。このカメラキャリブレーションは公知の技術であり、予め座標値のわかっているいくつかの点を用い、その投影点座標値から各パラメータを推定することで行う。

【0021】

以上説明したように、撮像装置１１Ａ〜１１Ｄは、上記例示した構成を採用することができる。本実施形態では、ステレオ画像法に対応する構成を採用することとし、以下、ステレオ画像法を用いた構成を主として説明する。
図１に戻って、ＲＯＭ１２は、後述する車両周囲画像生成機能を実現するための専用プログラムや、プログラムの実行に必要な各種データが格納されている。ＲＯＭ１２は、ＣＰＵ１０からの要求に応じて格納された各種データを読み出してＣＰＵ１０に入力する。

【0022】

ＲＡＭ１３は、専用のプログラムを実行する際のワークメモリとして活用される。ＲＡＭ１３は、専用のプログラムの実行に必要な各種データ（撮影画像データ、測距データ、車両周囲画像データ等）を一時記憶する。
操作部１４は、ユーザによって操作され、後述する仮想視点情報の入力等を行う際に使用される。

【0023】

ディスプレイ１５は、ＣＰＵ１０が車両周囲画像を表示する際に活用する。なお、メータディスプレイやナビゲーションシステムのディスプレイと併用でも構わない。
ＨＤＤ（Hard disk drive）１６は、複数種類の車両の３次元構造を有する全体画像（３Ｄモデル）が記憶された車両画像データベース３００を記憶する。
車速センサ１７は、自車両１の車速を検出するセンサである。車速センサ１７は、検出した自車速をＣＰＵ１０に送信する。

【0024】

ＣＰＵ（Centoral Processing Unit）１０は、ＲＯＭ１２に記憶された専用のプログラムを実行して、撮像装置１１Ａ〜１１Ｄから送信された画像情報に基づき、３次元構造を有する車両周囲画像を生成する。ＣＰＵ１０は、車両周囲画像の生成に際して、車両周囲画像に含まれる他車両の可視画像部分を検出する。そして、検出した可視画像部分の画像情報に基づき、他車両の死角部位の画像を補完する。また、ＣＰＵ１０は、操作部１４を介して入力された仮想視点に基づき、補完後の車両周囲画像を仮想視点から視た画像に再構成する。また、ＣＰＵ１０は、仮想視点から視た車両周囲画像を、ディスプレイ１５に表示する。

【0025】

次に、ＣＰＵ１０において専用のプログラムを実行することによって実現される車両用画像生成機能の機能構成を説明する。
図５は、車両用画像生成装置１００の機能構成の一例を示すブロック図である。
図５に示すように、車両用画像生成機能構成部１２０は、画像情報入力部２０と、座標情報検出部２１と、投影画像生成部２２と、車両周囲画像生成部２３と、車両画像検出部２４と、死角情報推測部２５と、画像補完部２６とを備える。

【0026】

車両用画像生成機能構成部１２０は、更に、仮想視点設定部２７と、画像再構成部２８と、画像表示部２９と、走行状態判定部３０とを備える。
画像情報入力部２０は、撮像装置１１Ａ〜１１Ｄの各２つの撮像ユニットによって車両周囲の領域を撮影して得られる４組（８枚）の撮影画像データを予め設定されたサンプリング周期で順次取得する。画像情報入力部２０は、取得した４組の撮影画像データを座標情報検出部２１及び投影画像生成部２２にそれぞれ入力する。

【0027】

なお、上記ステレオモーション法を用いる場合は、画像情報入力部２０は、ＣＣＤカメラ１１Ａ〜１１Ｄによって車両周囲の領域を撮影して得られる４枚の撮影画像データを予め設定されたサンプリング周期で順次取得する。画像情報入力部２０は、取得した４枚の画像データを、座標情報検出部２１及び投影画像生成部２２にそれぞれ入力する。
また、上記光レーダ法を用いる場合は、画像情報入力部２０は、ＣＣＤカメラ１１０Ａ〜１１０Ｄによって車両周囲の領域を撮影して得られる４枚の撮影画像データを予め設定されたサンプリング周期で順次取得する。加えて、画像情報入力部２０は、レーザレンジファインダ１１１Ａ〜１１１Ｄによって車両周囲の領域に存在する被写体までの距離を測定して得られる測距データを、予め設定されたサンプリング周期で順次取得する。画像情報入力部２０は、取得した４枚の撮影画像データと、この４枚の撮影画像データに対応する測距データとを投影画像生成部２２に入力する。

【0028】

また、画像情報入力部２０は、撮像装置１１Ａ〜１１Ｄから取得した撮影画像データを、車速センサ１７から送信される自車速と撮影時間情報とに対応付けてＲＡＭ１３に記憶する。本実施形態において、画像情報入力部２０は、バッファメモリを介して、各撮像装置から送信される撮影画像データを同期をとって取得する。このことは、光レーダ法を用いた場合の測距データについても同様となる。

【0029】

座標情報検出部２１は、画像情報入力部２０から入力された４組の撮影画像データにおける各組の撮影画像データに対して、一方の画像の対象点の座標について、他方の画像における該対象点に対応する対応点の座標を探索する。そして、対象点の座標（ＸＬ，ＹＬ）と、探索した対応点の座標（ＸＲ，ＹＲ）と、焦点距離ｆ（予め設定）と、基線長（左右のレンズ間の距離）ｂ（予め設定）とを用いて、下式（１），（２）から、３次元座標値（Ｘ，Ｙ，Ｚ）を得る。なお、下式（１），（２）は、投影画像の生成に透視変換を用いた場合の式となる。
ＸＬ＝ｆ・（Ｘ＋ｂ）／Ｚ，ＹＬ＝ｆ・Ｙ／Ｚ ・・・（１）
ＸＲ＝ｆ・（Ｘ−ｂ）／Ｚ，ＹＲ＝ｆ・Ｙ／Ｚ ・・・（２）
座標情報検出部２１は、各組の撮影画像データの全画素に対して上記探索及び３次元座標値の算出を行う。座標情報検出部２１は、このようにして得られた３次元座標情報を、投影画像生成部２２に入力する。

【0030】

なお、上記ステレオモーション法を用いる場合、座標情報検出部２１は、画像情報入力部２０から入力された２周期分以上の画像データを用いて、ＣＣＤカメラ毎に、時系列で連続する各画像間における被写体の「画面上の動き」と「撮影位置の変位量」とを検出する。そして、検出結果に基づき、各被写体までの距離（Ｘ，Ｙ，Ｚ）を検出する。座標情報検出部２１は、検出した距離の情報（３次元座標情報）を、投影画像生成部２２に入力する。

【0031】

また、上記光レーダ法を用いる場合は、座標情報の検出処理が不要となる。つまり、レーザレンジファインダ１１１Ａ〜１１１Ｄ自体に測距機能（座標情報検出部２１の機能）がある。従って、光レーダ法を用いる場合、画像情報入力部２０は、レーザレンジファインダ１１１Ａ〜１１１Ｄからの測距データを投影画像生成部２２に直接入力する。
なお、レーザレンジファインダ１１１Ａ〜１１１Ｄが、レーザ照射ユニットとその反射光を受光する受光ユニットのみを備える構成としてもよい。この場合は、レーザレンジファインダ１１１Ａ〜１１１Ｄの測定結果を座標情報検出部２１に入力する。そして、座標情報検出部２１において、測定結果を用いた測距処理を行って、３次元座標情報を検出する。

【0032】

投影画像生成部２２は、ＲＡＭ１３に記憶された撮像装置１１１Ａ〜１１１Ｄの撮影画像データと、座標情報検出部２１から入力された各撮影画像データに対応する３次元座標情報とに基づき、各撮影画像データに対応する投影画像データを生成する。
具体的に、投影画像生成部２２は、各撮影画像データに対応する３次元座標情報から、各撮影画像データに含まれる物体の形状を認識する。更に、投影画像生成部２２は、認識した形状に対応する投影面を設定する。そして、設定した投影面に、各撮影画像データの対応する物体の画像を投影する。このようにして、各撮影画像データに対応する投影画像（３次元構造を有する画像）データを生成する。本実施形態では、投影画像データの生成に、公知の透視変換（透視投影変換とも呼ばれる）を用いる。投影画像生成部２２は、生成した各物体の投影画像データを、車両周囲画像生成部２３に入力する。また、投影画像生成部２２は、認識した各物体の撮影画像データにおける座標情報を、各撮影画像データに対応付けてＲＡＭ１３に記憶する。

【0033】

車両周囲画像生成部２３は、投影画像生成部２２から入力された、撮像装置１１Ａ〜１１Ｄの各撮影範囲に対応する投影画像データを合成して、３次元構造を有する車両周囲画像データを生成する。その際、車両周囲画像生成部２３は、自車両１を基準位置とした車両周囲画像データを生成する。具体的に、自車両１に対応する３次元ＣＧモデルを予め用意しておき、この自車両モデルを基準として、各撮影範囲に対応する投影画像を合成して車両周囲画像データを生成する。車両周囲画像生成部２３は、生成した車両周囲画像データを、生成に用いられた撮影画像データの撮影時間情報と対応付けてＲＡＭ１３に記憶すると共に、車両画像検出部２４に入力する。

【0034】

車両画像検出部２４は、テンプレートマッチング処理によって、車両周囲画像生成部２３から入力された車両周囲画像データの画像中に含まれる他車両の画像を検出する。ここで、テンプレートデータは、予めＲＯＭ１２に記憶されている。このテンプレートマッチング処理は、撮影画像データに対して行ってもよいし、車両周囲画像データに対して行ってもよい。本実施形態では、車両周囲画像データに対して行うこととする。車両画像検出部２４は、車両周囲画像から他車両の画像を検出すると、車両周囲画像データに含まれる検出した他車両の画像部分（可視画像部分）を切り出して、切り出した可視画像部分データとその車両周囲画像データにおける座標情報とを死角情報推測部２５に入力する。なお、実際にオリジナル画像から可視画像部分を切り出すのではなく複製画像データを生成する。一方、車両画像検出部２４は、車両周囲画像から他車両の画像が検出されなかった場合は、そのことを死角情報推測部２５及び走行状態判定部３０に通知する。また、車両画像検出部２４は、他車両の可視画像部分を検出した場合は、そのことを走行状態判定部３０に通知する。加えて、車両画像検出部２４は、検出した他車両の情報を、ＲＡＭ１３に記憶された認識物体の座標情報に対応付けてＲＡＭ１３に記憶する。

【0035】

走行状態判定部３０は、車両画像検出部２４から他車両の可視画像部分が検出された通知を受けると、ＲＡＭ１３に記憶された、該当する他車両の画像を含む時系列に連続する２枚の撮影画像データを読み出す。更に、走行状態判定部３０は、読み出した撮影画像データと該撮影画像データに対応する自車速とに基づき、自車速に対する自車両１と他車両との位置変位等から他車両が走行状態か否かを判定する。そして、走行状態であると判定すると、走行状態の判定結果を死角情報推測部２５に入力し、走行状態では無いと判定すると、停止状態の判定結果を死角情報推測部２５に入力する。例えば、ＲＯＭ１２に、予め実験等を行って得た、車速と画像の位置変位との対応関係を示す情報を記憶しておく。走行状態判定部３０は、この情報に基づいて、走行状態か否かを判定する。

【0036】

死角情報推測部２５は、車両画像検出部２４から可視画像部分データが入力されると、この可視画像部分データの画像情報に基づき、他車両の死角部位の情報を推測する。
ここで、可視画像部分は、撮像装置１１Ａ〜１１Ｄの撮影画像によって構成される他車両の画像部分である。また、他車両の死角部位は、撮像装置１１Ａ〜１１Ｄの撮影範囲外となる他車両の部位である。また、死角部位の情報は、可視画像部分データから推測される、死角部位の形状や色などの情報である。

【0037】

死角情報推測部２５は、画像情報の推測に際して、まず、得られた可視画像部分データによって、死角部位の情報（形状や色など）の推測が可能か否かの判断を行う。死角情報推測部２５は、可視画像部分が、例えば、他車両の後側や前側の画像部分、側面の一部だけ等の場合は、その可視画像部分だけで死角部位の情報の推測は困難であると判断する。死角情報推測部２５は、このような場合に推測不可能と判断する。

【0038】

一方、死角情報推測部２５は、可視画像部分が、例えば、他車両の一方の側面全体又は略全体（例えば、８０％以上）の画像（以下、可視側面画像と称す）を含むとする。この場合は、該可視側面画像から他車両の死角部位の形状（例えば、反対側の側面等）を推測することができるため、死角情報推測部２５は、このような場合に推測可能と判断する。
また、死角情報推測部２５は、走行状態判定部３０の判定結果に基づき、他車両が走行状態であると判定すると、反対側の側面のドア部の形状を推測可能と判断する。一方、停車状態であると判定すると、反対側の側面のドア部の形状を推測不可能と判断する。

【0039】

また、死角情報推測部２５は、死角部位にウインカーランプ、ヘッドランプ、ブレーキランプ等の照明部位が含まれるか否かを判定し、照明部位を含むと判定すると、該当する照明部位を推測不可能と判断する。
死角情報推測部２５は、可視画像部分データ及び座標情報と、推測した死角部位の情報と、推測可能と判断した情報（以下、推測可能情報と称す）と、推測不可能と判断した情報（以下、推測不可情報と称す）とを含む死角情報を、画像補完部２６に入力する。

【0040】

画像補完部２６は、死角情報推測部２５から入力された死角情報に基づき、可視画像部分データを用いて、ＲＡＭ１３に記憶された対象の車両周囲画像に含まれる他車両の死角部位の画像を補完する。
例えば、可視画像部分に可視側面画像が含まれる場合に、死角情報に含まれる死角部位の形状情報に基づき、死角部位が、可視側面画像の形状と左右対称であると判定したとする。この場合、画像補完部２６は、まず、可視側面画像を左右反転させる。加えて、画像補完部２６は、反転させた可視側面画像における前輪の舵角を反転（前輪の画像を左右反転）させて補完画像データを生成する。そして、画像補完部２６は、生成した補完画像データによって、死角部位の画像を補完する。

【0041】

更に、画像補完部２６は、死角情報に含まれる形状情報に基づき、他車両が箱形の形状になると判定したとする。この場合、画像補完部２６は、可視側面画像と補完画像（反対側の側面）との間の死角部位を、補間演算によって補間描画する。例えば、他車両のルーフ部分、バンパー部分、トランク部分等の外形形状を補間描画する。以下、補間描画による死角部位の補完を描画補完と称す。

【0042】

更に、画像補完部２６は、死角情報に含まれる推測不可能情報に基づき、補完画像データに含まれる推測不可能と判定された部位を、予め設定された描画内容に修正する（例えば、他の部分との見分けが付く色に着色する）。
なお、画像補完部２６は、死角情報推測部２５において死角部位の推測が不可能であったと判定すると、可視画像部分データを検索情報として、ＨＤＤ１６に記憶された車両画像データベース３００から、他車両と同車種の３次元ＣＧモデルを検索する。そして、この検索によって、同車種の３次元ＣＧモデルが索出されると、そのデータを用いて補完画像データを生成する。画像補完部２６は、生成した補完画像データを用いて、他車両の死角部位の画像を補完する。なお、本実施形態では、車両画像データベース３００を利用した死角部位の補完よりも、可視画像部分を利用した補完を優先して実行する。

【0043】

画像補完部２６は、補完後の車両周囲画像をＲＡＭ１３に記憶すると共に、補完後の車両周囲画像を、画像再構成部２８に入力する。
仮想視点設定部２７は、ユーザの操作部１４の操作に応じて入力される仮想視点情報を受け付ける。仮想視点設定部２７は、受け付けた仮想視点情報を、画像再構成部２８に入力する。本実施形態において、仮想視点情報は、予め設定可能な複数の仮想視点を決めておき、ユーザが、操作部１４を介して、複数の仮想視点のなかから任意の仮想視点を選択して入力する構成となっている。また、操作部１４を介して、視点を固定したまま画像を回転・拡大等することも可能である。

【0044】

画像再構成部２８は、仮想視点設定部２７から入力された仮想視点情報に基づき、画像補完部２６から入力された車両周囲画像を、仮想視点情報の示す視点から見た画像へと再構成する。また、画像再構成部２８は、操作部１４を介した回転・拡大等の指示に応じて画像を回転・拡大等して画像を再構成する。そして、再構成した車両周囲画像を画像表示部２９に入力する。
画像表示部２９は、画像再構成部２８から入力される車両周囲画像を、ディスプレイ１５に表示する。

【0045】

（車両周囲画像生成処理）
次に、車両用画像生成機能構成部１２０で行われる車両周囲画像生成処理の処理手順について説明する。
図６は、車両周囲画像生成処理の処理手順の一例を示すフローチャートである。
電源がＯＮ（イグニッションＯＮ）され、ＣＰＵ１０において専用のプログラムが実行されると、図６に示すように、まずステップＳ１００に移行する。
ステップＳ１００では、ＣＰＵ１０において、以降の処理の実行に使用するタイマーやカウンタ、フラグを初期設定する初期化の処理を実行して、ステップＳ１０２に移行する。

【0046】

ステップＳ１０２では、ＣＰＵ１０において、操作部１４を介したユーザからの開始指示があったか否かを判定し、開始指示があったと判定した場合(Yes)は、ステップＳ１０４に移行し、そうでないと判定した場合(No)は、指示があるまで判定処理を繰り返す。
ステップＳ１０４に移行した場合は、画像情報入力部２０において、撮像装置１１Ａ〜１１Ｄから送信される測定データ（撮影画像データ、又は撮影画像データ及び測距データの組）を取得する。更に、車速センサ１７から、自車両１の車速情報を取得する。そして、取得した測定データ及び車速情報を撮影時間情報と対応付けてＲＡＭ１３に記憶すると共に、測定データを座標情報検出部２１及び投影画像生成部２２にそれぞれ入力して、ステップＳ１０６に移行する。なお、光レーダ法を用いた場合は、撮影画像データ及び測距データ共に、投影画像生成部２２に入力する。

【0047】

ステップＳ１０６では、座標情報検出部２１において、画像情報入力部２０から入力された撮影画像データに基づき、撮影画像データに含まれる物体の３次元座標情報を検出して、ステップＳ１０８に移行する。なお、光レーダ法を用いた場合は、この処理が不要となる。
ステップＳ１０８では、投影画像生成部２２において、画像情報入力部２０から入力された撮影画像データと、座標情報検出部２１から入力された３次元座標情報とに基づき、各撮影画像データに対応する投影画像データを生成する。そして、生成した投影画像データを、車両周囲画像生成部２３に入力して、ステップＳ１１０に移行する。

【0048】

ステップＳ１１０では、車両周囲画像生成部２３において、投影画像生成部２２から入力された各撮像装置に対応する複数の投影画像データ及び自車両モデルとを合成して、３次元構造を有する車両周囲画像データを生成する。そして、生成した車両周囲画像データを撮影時間と対応付けてＲＡＭ１３に記憶すると共に、車両画像検出部２４に入力して、ステップＳ１１２に移行する。

【0049】

ステップＳ１１２では、車両画像検出部２４において、ＲＯＭ１２から車両画像検出用のテンプレートを読み出す。そして、読み出したテンプレートを用いて、車両周囲画像生成部２３で生成された車両周囲画像データ（又は撮影画像データ）に対してテンプレートマッチング処理を実行する。車両周囲画像から他車両の可視画像が検出された場合は、その可視画像部分を切り出し、切り出した可視画像部分データと座標情報とを死角情報推測部２５に入力して、ステップＳ１１４に移行する。なお、他車両の画像が検出されなかった場合は、検出されなかったことを示す情報を死角情報推測部２５に入力して、ステップＳ１１４に移行する。

【0050】

ステップＳ１１４では、死角情報推測部２５において、車両情報検出部２３から入力された他車両の可視画像部分データの画像情報に基づき、死角部位の情報を推測する死角情報推測処理を実行して、ステップＳ１１６に移行する。
ステップＳ１１６では、画像補完部２６において、死角情報推測部２５からの死角情報に基づき、他車両の死角部位の画像を補完する画像補完処理を実行する。そして、画像補完処理によって補完された車両周囲画像データを、撮影時間情報と対応付けてＲＡＭ１３に記憶すると共に、画像再構成部２８に入力して、ステップＳ１１８に移行する。

【0051】

ステップＳ１１８では、仮想視点設定部２７において、ユーザの操作部１４を介した仮想視点情報の入力があったか否かを判定し、入力があったと判定した場合(Yes)は、入力された仮想視点情報を画像再構成部２８に入力して、ステップＳ１２０に移行する。一方、仮想視点情報の入力がなかったと判定した場合(No)は、前回入力された仮想視点情報を画像再構成部２８に入力して、ステップＳ１２６に移行する。つまり、仮想視点設定部２７は、最新の仮想視点情報を保持し、新たな仮想視点が設定されるまでは保持した仮想視点情報を画像再構成部２８に入力する。

【0052】

ステップＳ１２０に移行した場合は、画像再構成部２８において、仮想視点設定部２７から入力された仮想視点情報に基づき、画像補完部２６から入力された車両周囲画像データを、仮想視点から見た画像データへと再構成する。そして、再構成した車両周囲画像データを画像表示部２９に入力して、ステップＳ１２２に移行する。なお、現在の仮想視点と入力された車両周囲画像データの視点とが一致する場合は、再構成処理が不要となる。この場合は、再構成せずに入力された車両周囲画像データを画像表示部２９に入力する。

【0053】

ステップＳ１２２では、画像表示部２９において、画像再構成部２８から入力された再構成後の車両周囲画像データの画像をディスプレイ１５に表示して、ステップＳ１２４に移行する。
ステップＳ１２４では、ＣＰＵ１０において、操作部１４を介したユーザからの終了指示があったか否かを判定し、終了指示があったと判定した場合(Yes)は、一連の処理を終了する。一方、終了指示が無いと判定した場合(Yes)は、ステップＳ１０４に移行する。

【0054】

また、ステップＳ１１８において、仮想視点情報の入力が無く、ステップＳ１２６に移行した場合は、画像再構成部２８において、画像補完部２６から入力された車両周囲画像データを、前回の仮想視点から見た画像データへと再構成する。そして、再構成した車両周囲画像データを画像表示部２９に入力して、ステップＳ１２８に移行する。
ステップＳ１２８では、画像表示部２９において、画像再構成部２８から入力された再構成後の車両周囲画像データの画像をディスプレイ１５に表示して、ステップＳ１２４に移行する。

【0055】

（死角情報推測処理）
次に、死角情報推測処理の処理手順について説明する。
図７は、ステップＳ１１４において、死角情報推測部２５によって行われる死角情報推測処理の処理手順の一例を示すフローチャートである。
ステップＳ１１４において、死角情報推測処理が実行されると、図７に示すように、まず、ステップＳ２００に移行する。
ステップＳ２００では、死角情報推測部２５において、車両画像検出部２４からの情報に基づき、車両周囲画像から他車両の可視画像部分が検出されたか否かを判定する。そして、他車両の可視画像部分が検出されたと判定した場合(Yes)は、ステップＳ２０２に移行し、そうでないと判定した場合(No)は、一連の処理を終了して元の処理に復帰させる。

【0056】

ステップＳ２０２に移行した場合は、死角情報推測部２５において、他車両の可視画像部分が可視側面画像を含むか否かを判定し、可視側面画像を含むと判定した場合(Yes)は、ステップＳ２０４に移行し、そうでないと判定した場合(No)は、ステップＳ２１４に移行する。
ステップＳ２０４に移行した場合は、死角情報推測部２５において、可視側面画像から死角部位の形状を推測して、ステップＳ２０６に移行する。例えば、死角部位の形状が左右対称であり、かつ可視画像部分と共に箱形を形成すると推測する。

【0057】

ステップＳ２０６では、死角情報推測部２５において、可視画像部分の色から死角部位の色を推測して、ステップＳ２０８に移行する。例えば、ルーフ部分が死角部位である場合に、ルーフ部分について、可視側面画像のドア部の色と同じ色であると推測する。
ステップＳ２０８では、死角情報推測部２５において、可視画像部分にウィンカーランプ部等の照明部位が含まれるか否かを判定し、照明部位が含まれると判定した場合(Yes)は、ステップＳ２１０に移行し、そうでないと判定した場合(No)は、ステップＳ２１２に移行する。

【0058】

ステップＳ２１０に移行した場合は、死角情報推測部２５において、死角部位の照明部位は推測不可能と判断して、照明部位に対する推測不可能情報を生成して、ステップＳ２１２に移行する。
ステップＳ２１２では、死角情報推測部２５において、走行状態判定部３０からの判定結果に基づき、該当の他車両は、走行状態か否かを判定する。そして、走行状態であると判定した場合(Yes)は、ステップＳ２１４に移行し、そうでないと判定した場合(No)は、ステップＳ２１６に移行する。

【0059】

ステップＳ２１４に移行した場合は、死角情報推測部２５において、死角部位である可視側面と反対側のドア部は推測可能であると判断し、ドア部に対する推測可能情報を生成して、ステップＳ２２０に移行する。つまり、他車両が走行状態であれば、反対側のドアは閉まっていると判断できるので、推測可能と判断する。
一方、ステップＳ２１６に移行した場合は、死角情報推測部２５において、反対側のドア部は推測不可能であると判断し、ドア部に対する推測不可能情報を生成して、ステップＳ２２０に移行する。つまり、他車両が停車している場合、反対側のドアは開いている場合があるので、推測不可能と判断する。

【0060】

また、ステップＳ２０２において、可視画像部分が可視側面画像を含まず、ステップＳ２１８に移行した場合は、死角情報推測部２５において、死角部位は推測不可能と判断し、推測不可能情報を生成して、ステップＳ２２０に移行する。
ステップＳ２２０では、死角情報推測部２５において、可視画像部分データ及び座標情報と、死角部位の情報とを画像補完部２６に入力して、一連の処理を終了し元の処理に復帰させる。ここで、可視画像部分が可視側面画像を含む場合は、死角部位の形状、色の情報、照明部位を含む場合の推測不可能情報、走行状態時のドア部の推測可能情報、停車時のドア部の推測不可能情報等の死角部位の情報が画像補完部２６に入力される。また、可視画像部分が可視側面画像を含む場合は、死角部位に対する推測不可能情報が画像補完部２６に入力される。

【0061】

（画像補完処理）
次に、画像補完処理の処理手順について説明する。
図８は、ステップＳ１１６において、画像補完部２６によって行われる画像補完処理の処理手順の一例を示すフローチャートである。
ステップＳ１１６において、画像補完処理が実行されると、図８に示すように、まず、ステップＳ３００に移行する。
ステップＳ３００では、画像補完部２６において、死角情報推測部２５からの情報に基づき、車両周囲画像から他車両の可視画像部分が検出されたか否かを判定する。そして、他車両の可視画像部分が検出されたと判定した場合(Yes)は、ＲＡＭ１３から、対象の車両周囲画像データを読み出して、ステップＳ３０２に移行する。一方、そうでないと判定した場合(No)は、一連の処理を終了して元の処理に復帰させる。

【0062】

ステップＳ３０２に移行した場合は、画像補完部２６において、死角情報に基づき、死角部位の情報が推測可能であるか否かを判定し、推測可能であると判定した場合(Yes)は、ステップＳ３０４に移行し、そうでないと判定した場合(No)は、ステップＳ３２２に移行する。
ステップＳ３０４に移行した場合は、画像補完部２６において、可視側面画像を反転した反転画像を生成して、ステップＳ３０６に移行する。
ステップＳ３０６では、画像補完部２６において、反転画像における前輪部分を反転し、他車両の反対側の側面の補完画像データを生成して、ステップＳ３０８に移行する。
ステップＳ３０８では、画像補完部２６において、ステップＳ３０６で生成した補完画像データによって、他車両の反対側の側面の画像を補完して、ステップＳ３１０に移行する。

【0063】

ステップＳ３１０では、画像補完部２６において、可視画像部分と補完画像部分との間の死角部位の形状を補間演算によって補間描画して、ステップＳ３１２に移行する。
ステップＳ３１２では、画像補完部２６において、描画補完した死角部位を推測した色に着色して、ステップＳ３１４に移行する。
ステップＳ３１４では、画像補完部２６において、死角情報推測部２５からの情報に基づき、照明部位は推測不可能か否かを判定し、推測不可能であると判定した場合(Yes)は、ステップＳ３１６に移行し、そうでないと判定した場合(No)は、ステップＳ３１８に移行する。

【0064】

ステップＳ３１６に移行した場合は、画像補完部２６において、反対側の側面の補完画像における照明部位の色を灰色に着色（変更）して、ステップＳ３１８に移行する。
ステップＳ３１８では、画像補完部２６において、死角情報推測部２５からの情報に基づき、ドア部は推測不可能か否かを判定し、推測不可能であると判定した場合(Yes)は、ステップＳ３２０に移行し、そうでないと判定した場合(No)は、一連の処理を終了して元の処理に復帰させる。
ステップＳ３２０に移行した場合は、画像補完部２６において、反対側の側面の補完画像におけるドア部の色を灰色に着色（変更）して、一連の処理を終了して元の処理に復帰させる。

【0065】

一方、ステップＳ３０２において、死角部位の情報が推測不可能であると判定して、ステップＳ３２２に移行した場合は、画像補完部２６において、可視画像部分を検索情報として、ＨＤＤ１６に記憶された車両画像データベース３００を検索して、ステップＳ３２４に移行する。
ステップＳ３２４では、画像補完部２６において、ステップＳ３２２の検索処理によって、他車両と同種の車両が索出されたか否かを判定する。そして、同種の車両が索出されたと判定した場合(Yes)は、ステップＳ３２６に移行し、そうでないと判定した場合(No)は、一連の処理を終了して元の処理に復帰させる。
ステップＳ３２６に移行した場合は、画像補完部２６において、索出した車両の３次元ＣＧデータを用いて、他車両の死角部位の補完画像データを生成して、ステップＳ３２８に移行する。

【0066】

ステップＳ３２８では、画像補完部２６において、ステップＳ３２６で生成した補完画像データを用いて、他車両の死角部位を補完して、ステップＳ３３０に移行する。
ステップＳ３３０では、画像補完部２６において、死角情報推測部２５からの情報に基づき、別の他車両があるか否かを判定し、あると判定した場合(Yes)は、ステップＳ３０２に移行し、そうでないと判定した場合(No)は、一連の処理を終了して元の処理に復帰させる。

【0067】

（動作）
次に、本実施形態の車両用画像生成装置１００の動作を説明する。
図９は、車両周囲の領域を撮影時における自車両と他車両との位置関係の一例を示す図である。図１０は、図９の仮想視点とは反対側の視点から見た場合の他車両の撮影範囲の一例を示す図である。図１１は、図９の仮想視点から見た場合の、他車両の死角部位を含む非撮影範囲の一例を示す図である。図１２（ａ）〜（ｄ）は、他車両が走行状態時の画像補完処理の流れの一例を示す図である。図１３（ａ）は、他車両が走行状態時の画像補完後の図９の仮想視点から見た画像を示す図であり、（ｂ）は、他車両が停車状態時の画像補完後の図９の仮想視点から見た画像を示す図である。図１４は、他車両が停車状態時の画像補完処理の流れの一例を示す図である。

【0068】

イグニッションスイッチがＯＮされ、電源がＯＮされると、ＣＰＵ１０において専用のプログラムが実行される。プログラムが実行されると、まず、タイマーやカウンタの初期化に加えて、プログラムで用いる各種変数等が初期化される（Ｓ１００）。初期化処理においては、不図示のカメラキャリブレーション部において、撮像装置１１Ａ〜１１Ｄの各ステレオカメラに対するカメラキャリブレーションが実行される。そして、カメラキャリブレーション処理が終了し、操作部１４を介したユーザからの開始指示が入力されると（Ｓ１０２のYes）、車両用画像生成機能構成部１２０は、まず、画像情報入力部２０において、ステレオカメラ１１Ａ〜１１Ｄから送信される車両周囲の領域を撮影した撮影画像データを取得する。更に、画像情報入力部２０は、車速センサ１７から自車両１の車速情報を取得する。そして、取得した撮影画像データを、車速情報及び撮影時間情報と対応付けてＲＡＭ１３に記憶する。加えて、画像情報入力部２０は、取得した撮影画像データを、座標情報検出部２１と投影画像生成部２２とにそれぞれ入力する（Ｓ１０４）。
なお、本実施形態において、ステレオカメラ１１Ａ〜１１Ｄは、デジタルビデオカメラであり、各ステレオカメラにおいて、３０[ｆｐｓ]のフレームレートで撮影が行われる。画像情報入力部２０は、この撮影画像データのうち、予め設定されたサンプリング周期に対応するタイミングで撮影された撮影画像データを取得する。

【0069】

座標情報検出部２１は、画像情報入力部２０から撮影画像データが入力されると、ステレオカメラ１１Ａ〜１１Ｄにおける各ステレオカメラに対応する同じ撮影時間の２枚の撮影画像データＩＬ，ＩＲについて、撮影画像データＩＬの各対象点の座標（ＸＬ，ＹＬ）に対する撮影画像データＩＲの対応点の座標（ＸＲ，ＹＲ）の探索処理を実行する。その後、座標（ＸＬ，ＹＬ）と、座標（ＸＲ，ＹＲ）と、焦点距離ｆと、基線長ｂとを用いて、上式（１）及び（２）から、各撮影画像データに含まれる物体の３次元座標値を算出（検出）する。座標情報検出部２１は、このようにして検出した３次元座標値の情報を、投影画像生成部２２に入力する（Ｓ１０６）。

【0070】

投影画像生成部２２は、ステレオカメラ１１Ａ〜１１Ｄに対応する各撮影画像データの３次元座標値に基づき、各撮影画像データに含まれる各物体の形状を認識する。更に、形状の認識された各物体について、投影面を設定する。投影画像生成部２２は、予め設定された基準視点（ＸＶｒ，ＹＶｒ，ＺＶｒ）に基づき、各物体に対して設定した投影面に、撮影画像データに含まれる各物体に対応する画像を、透視変換によって投影する。これにより、ステレオカメラ１１Ａ〜１１Ｄの各撮影範囲に対応する投影画像データを生成する。投影画像生成部２２は、生成した投影画像データを、車両周囲画像生成部２３に入力する（Ｓ１０８）。

【0071】

車両周囲画像生成部２３は、各撮影範囲に対応する投影画像データと、自車両１の３次元ＣＧモデルとを合成して、基準視点から見た、３次元構造を有する車両周囲画像データを生成する。車両周囲画像生成部２３は、生成した車両周囲画像データを、撮影時間情報と対応付けてＲＡＭ１３に記憶すると共に、車両画像検出部２４に入力する（Ｓ１１０）。

【0072】

車両画像検出部２４は、車両周囲画像生成部２３から車両周囲画像データが入力されると、ＲＯＭ１２から、テンプレートデータを読み出す。そして、読み出したテンプレートを用いたテンプレートマッチング処理によって、入力された車両周囲画像データから、他車両の可視画像部分を検出する。車両画像検出部２４は、他車両の可視画像部分を検出すると、検出した他車両の可視画像部分データと座標情報とを死角情報推測部２５に入力する。加えて、走行状態判定部３０に、他車両の可視画像部分が検出されたことを通知する（Ｓ１１２）。ここでは、他車両の可視画像部分が検出されたこととして、以下の動作を説明する。

【0073】

走行状態判定部３０は、車両画像検出部２４から他車両が検出された通知を受けると、ＲＡＭ１３から、時系列に連続する各２つの撮影画像データと、各撮影画像データに対応する自車速と、他車両の座標情報とを読み出す。更に、ＲＯＭ１２から、車速と画像（物体）の位置変位との対応関係を示す情報を読み出す。そして、走行状態判定部３０は、これら読み出したデータに基づき、２枚の撮影画像データに含まれる他車両の画像の位置変位量が、自車両１の車速に対して、走行状態時の位置変位量か停車状態時の位置変位量かを判定する。これにより、撮影画像データに含まれる各他車両が、走行状態か否かを判定する。走行状態判定部３０は、各他車両に対する判定結果を、死角情報推測部２５に入力する（Ｓ１１４）。

【0074】

死角情報推測部２５は、車両画像検出部２４の検出結果に基づき他車両が検出されたと判定し（Ｓ２００のYes）、可視画像部分データの画像情報に基づき、他車両の死角部位の情報を推測する。
以下、図９に示す位置関係で、自車両１に搭載されたステレオカメラ１１Ａ〜１１Ｄによって、他車両２を撮影した場合を例に挙げて説明する。

【0075】

図９に例示する位置関係の場合、他車両２は、ステレオカメラ１１Ａ及び１１Ｂの撮影範囲Ａ及びＢに含まれる。一方、図９の配置関係を、自車両１及び他車両２の右側方に仮想視点（ＸＶＲ，ＹＶＲ，ＺＶＲ）を設定して見た場合、図１０に示すように、他車両の右側面及び後面は撮影範囲内となり、他車両の前面、上面及び左側面は撮影範囲外となる。従って、図９に示すように、自車両１及び他車両２の左側方に仮想視点（ＸＶＬ，ＹＶＬ，ＺＶＬ）を設定して見た場合、図１１に示すように、他車両２の前面、上面、左側面及び他車両２によって遮られる反対側の景色は、撮影範囲外となる。つまり、図９に示す位置関係の場合、他車両２の前面、上面及び左側面が死角部位（撮影範囲外）となる。

【0076】

図１２（ａ）の右図に示すように、他車両２を上面から見ると、太線部分が他車両２の可視画像部分２００となる。一方、図１２（ａ）の左図に示すように、可視画像部分２００は、可視側面画像２２０を含む。死角情報推測部２５は、可視側面画像２２０の画像データに基づき、他車両２の死角部位の形状を推測する。ここでは、他車両２の側面全体の画像データが得られているので、死角情報推測部２５は、左右対称として、他車両２の死角部位である左側面の形状が、可視側面画像２２０と同形状であると推測する。加えて、可視画像部分２００の形状から、他車両２は、箱形の車両であると推測する（Ｓ２０４）。

【0077】

例えば、車両側面の形状と車両全体の形状との対応関係を示す情報をＲＯＭ１２に記憶しておき、他車両２の可視側面画像の形状と照らし合わせることで、形状を推測する。
これにより、側面画像から、オープンカーや荷台のあるトラック等のような特殊な形状や、セダンやワンボックスカーのような一般によく見られる箱形の形状等を推測する。
更に、死角情報推測部２５は、可視側面画像データに基づき、左側面部の色を解析する。例えば、各色の画素数を計数する。図１２（ａ）の例では、他車両２のボディカラーが白色であるため、白色の画素数が最も多くなる。従って、死角情報推測部２５は、死角部位の色が白色であると推測する（Ｓ２０６）。

【0078】

次に、死角情報推測部２５は、可視側面画像データに基づき、可視側面画像２２０が照明部位を含むか否かを判定する（Ｓ２０８）。図１２（ａ）の例では、可視側面画像２２０は、ヘッドランプの一部とウィンカーランプ（前後）の一部とを含んでいる。死角情報推測部２５は、例えば、パターンマッチング処理や色の濃淡の変化（輝度変化）等により、これらの照明部位を検出する。そして、この検出結果に基づき、ここでは、照明部位を含むと判定する（Ｓ２０８のYes）。死角情報推測部２５は、可視側面画像２２０が照明部位を含むことから、他車両２の死角部位である左側面部の照明部位は推測不可能であると判断する。そして、照明部位についての推測不可能情報を生成する（Ｓ２１０）。

【0079】

なお、ヘッドランプについては、ウィンカーランプのように一方だけを点灯するといった状態にはならないので推測可能と判定してもよい。しかし、ヘッドランプと前方のウィンカーランプとは近接して配置されることが多い。そのため、ヘッドランプとウィンカーランプとの境界を判定することが困難となる恐れがある。従って、本実施形態では、照明系は一緒くたにして、推測不可能と判定している。

【0080】

次に、死角情報推測部２５は、走行状態判定部３０からの判定結果に基づき、他車両２が走行状態か否かを判定する（Ｓ２１２）。ここでは、他車両２が走行状態である判定結果を取得したとする。死角情報推測部２５は、他車両２が走行状態であると判定し（Ｓ２１２のYes）、他車両２の死角部位である左側面部のドア部は推測可能であると判断する。そして、ドア部についての推測可能情報を生成する（Ｓ２１４）。

【0081】

死角情報推測部２５は、可視画像部分データ及び座標情報と、推測した形状情報、色情報、照明部位の推測不可情報、及びドア部の推測可能情報を含む死角情報とを、画像補完部２６に入力する（Ｓ２２０）。引き続き、別の他車両が検出されている場合は、上記同様の処理を繰り返し行う。ここでは、説明の便宜上、他車両２の１台だけであるとする。
画像補完部２６は、死角情報推測部２５から上記死角情報を取得すると、死角情報の内容から、他車両が検出されたと判定し、ＲＡＭ１３から対象の車両周囲画像データを読み出す（Ｓ３００のYes）。更に、画像補完部２６は、死角情報の内容に基づき、死角部位の情報が推測可能であると判定する（Ｓ３０２のYes）。

【0082】

画像補完部２６は、死角情報に含まれる形状情報から、他車両２の死角部位である左側面が、可視側である右側面と左右対称であると判定する。これにより、画像補完部２６は、図１２（ｂ）に示すように、車両画像検出部２４から取得した、オリジナル画像から複製（コピー）した可視側面画像データに基づき、可視側面画像２２０を左右反転した反転側面画像２２０Ｔを生成する（Ｓ３０４）。このとき、前輪の舵角によっては、前輪の向きが反対向きとなってしまうので、画像補完部２６は、前輪の画像部分を左右反転した反転側面画像２２０Ｔ＋を生成する（Ｓ３０６）。つまり、可視側面画像２２０を左右反転（turn）させた画像が２２０Ｔであり、これに加えて、２２０Ｔにおける前輪の画像部分を左右反転させた画像が２２０Ｔ＋となる。

【0083】

画像補完部２６は、図１２（ｃ）に示すように、生成した反転側面画像２２０Ｔ＋によって、他車両２の反対側の側面（左側面）の画像を補完する（Ｓ３０８）。これが、図１２（ｃ）に示す、補完（１）の複製補完処理となる。
引き続き、画像補完部２６は、形状情報から、他車両２が箱形であること判定する。これにより、画像補完部２６は、図１２（ｃ）の点線部に示すように、可視画像部分２００と、補完画像部分である反転側面画像２２０Ｔ＋との間の死角部位を、補間計算による補間描画によって補完する（Ｓ３１０）。これが、図１２（ｃ）に示す、補完（２）の描画補完処理となる。なお、図１２（ｃ）における斜線部は、描画補完によって補完された部分（面が形成された部分）であり、色が不明となっている。

【0084】

次に、画像補完部２６は、死角情報に含まれる色情報から、他車両２の死角部位の色が白色であると判定する。これにより、画像補完部２６は、図１２（ｄ）に示すように、色が不明となっていた図１２（ｃ）の斜線部を白色に着色する（Ｓ３１２）。加えて、画像補完部２６は、死角情報に含まれる照明部位に対する推測不可能情報から、反転側面画像２２０Ｔ＋における照明部位が推測不可能であると判定する（Ｓ３１４のYes）。これにより、画像補完部２６は、補完部分である反転側面画像２２０Ｔ＋における照明部位の画像部分を、予め設定された推測不可能部位を示す色（ここでは灰色）に着色する（Ｓ３１６）。これが図１２（ｄ）に示す、補完（３）の着色補完処理となる。

【0085】

次に、画像補完部２６は、死角情報に含まれるドア部の推測可能情報から、反転側面画像２２０Ｔ＋におけるドア部が推測可能であると判定する（Ｓ３１８のNo）。画像補完部２６は、推測可能な場合、ドア部はそのままとする。
そして、画像補完部２６は、死角部位を補完後の車両周囲画像データを、対応する撮影画像データの撮影時間情報に対応付けてＲＡＭ１３に記憶する。更に、画像補完部２６は、補完後の車両周囲画像データを、画像再構成部２８に入力する。

【0086】

画像再構成部２８は、基準視点から見た補完後の車両周囲画像を、図９に示す仮想視点（ＸＶＬ，ＹＶＬ，ＺＶＬ）から見た画像へと再構成する。そして、画像再構成部２８は、再構成後の車両周囲画像データを、画像表示部２９に入力する（Ｓ１２０）。
なお、透視変換によって構成される画像を、仮想視点から見た画像に再構成する技術は公知であるので説明を省略する。

【0087】

画像表示部２９は、入力された再構成後の車両周囲画像データに基づき、車両周囲画像を、ディスプレイ１５に表示するための画像信号を生成する。そして、画像表示部２９は、生成した画像信号をディスプレイ１５に入力する。これにより、ディスプレイ１５に、再構成後の車両周囲画像が表示される。
このようにして表示された、車両周囲画像における図９の仮想視点に対応する画像は、図１３（ａ）に示すように、他車両２の死角部位が、反転側面画像２２０Ｔ＋によって補完され、かつ推測不可能と判断された照明部位が灰色に着色されたものとなる。

【0088】

次に、死角情報推測部２５において、他車両２が停車状態であると判定され（Ｓ２１２のNo）、ドア部が推測不可能であると判断された場合の画像補完処理について説明する。
死角情報推測部２５は、他車両２が停車状態であると判断すると、ドア部についての推測不可能情報を生成する（Ｓ２１６）。
なお、その他の死角情報は、上記他車両２が走行状態であった場合と同じとする。

【0089】

死角情報推測部２５は、可視画像部分データ及び座標情報と、推測した形状情報、色情報、照明部位の推測不可情報、及びドア部の推測不可情報を含む死角情報とを、画像補完部２６に入力する（Ｓ２２０）。
画像補完部２６は、死角情報推測部２５から上記死角情報を取得すると、死角情報の内容から、他車両が検出されたと判定し、ＲＡＭ１３から対象の車両周囲画像データを読み出す（Ｓ３００のYes）。更に、画像補完部２６は、死角情報の内容に基づき、死角部位の情報が推測可能であると判定する（Ｓ３０２のYes）。

【0090】

なお、補完（２）の描画補完までは、上記図１２に示す他車両２が走行状態のときと同様の処理となるので説明を省略する。
画像補完部２６は、死角情報に含まれる色情報から、他車両２の死角部位の色が白色であると判定する。これにより、画像補完部２６は、図１４（ｄ）に示すように、色が不明となっていた図１４（ｃ）の斜線部を白色に着色する（Ｓ３１２）。加えて、画像補完部２６は、死角情報に含まれる照明部位の推測不可能情報から、反転側面画像２２０Ｔ＋における照明部位が推測不可能であると判定する（Ｓ３１４のYes）。これにより、画像補完部２６は、補完部分である反転側面画像２２０Ｔ＋における照明部位の画像部分を灰色に着色する（Ｓ３１６）。加えて、画像補完部２６は、死角情報に含まれるドア部の推測不可情報から、反転側面画像２２０Ｔ＋におけるドア部が推測不可能であると判定する（Ｓ３１８のYes）。つまり、他車両２は停車状態であるため、死角側のドア部が開いている状態の場合もあるため、ドア部の形状について推測ができない。この場合に、画像補完部２６は、反転側面画像２２０Ｔ＋におけるドア部を灰色に着色する（Ｓ３２０）。これが図１４（ｄ）に示す、補完（３）の着色補完処理となる。

【0091】

そして、画像補完部２６は、死角部位を補完後の車両周囲画像データを、対応する撮影画像データの撮影時間情報に対応付けてＲＡＭ１３に記憶する。更に、画像補完部２６は、補完後の車両周囲画像データを、画像再構成部２８に入力する。
画像再構成部２８は、基準視点から見た補完後の車両周囲画像を、図９に示す仮想視点（ＸＶＬ，ＹＶＬ，ＺＶＬ）から見た画像へと再構成する。そして、画像再構成部２８は、再構成後の車両周囲画像データを、画像表示部２９に入力する（Ｓ１２０）。

【0092】

画像表示部２９は、入力された再構成後の車両周囲画像データに基づき、画像信号を生成する。そして、画像表示部２９は、生成した画像信号をディスプレイ１５に入力する。これにより、ディスプレイ１５に、再構成後の車両周囲画像が表示される。
このようにして表示された、車両周囲画像における図９に対応する画像は、図１３（ｂ）に示すように、他車両２の死角部位が、反転側面画像２２０Ｔ＋によって補完され、かつ推測不可能と判断された照明部位及びドア部が灰色に着色されたものとなる。

【0093】

次に、死角情報推測部２５において、死角部位の情報が推測できないと判定された場合の動作について説明する。つまり、可視画像部分に可視側面画像（側面の８０％以上）が無い場合の動作となる。
死角情報推測部２５は、可視画像部分に可視側面画像が無いと判定すると（Ｓ２０２のNo）、死角部位の情報が推測不可能であると判断する。死角情報推測部２５は、死角部位の情報が推測不可能であると判断すると、死角部位の情報についての推測不可能情報を生成する（Ｓ２１８）。そして、死角情報推測部２５は、可視画像部分データ及び座標情報と、死角部位についての推測不可能情報を含む死角情報とを、画像補完部２６に入力する（Ｓ２２０）。

【0094】

画像補完部２６は、死角情報推測部２５からの死角情報に基づき、他車両の死角部位の推測が不可能であると判定する（Ｓ３０２のNo）。これにより、画像補完部２６は、可視画像部分データを検索情報として、ＨＤＤ１６に記憶された車両画像データベース３００から、他車両と同車種の３次元ＣＧモデルを検索する（Ｓ３２２）。この検索によって、同車種の３次元ＣＧモデルが索出されると（Ｓ３２４）、そのデータを用いて他車両の死角部位の補完画像データを生成する（Ｓ３２６）。画像補完部２６は、生成した補完画像データを用いて、他車両の死角部位の画像を補完する（Ｓ３２８）。なお、この場合も、死角部位となるドア部を他車両が停車時に灰色に着色したり、死角部位の照明部位を灰色に着色したりしてもよい。

【0095】

画像補完部２６は、補完後の車両周囲画像データをＲＡＭ１３に記憶すると共に、補完後の車両周囲画像データを、画像再構成部２８に入力する。
画像再構成部２８は、基準視点から見た補完後の車両周囲画像を、仮想視点から見た画像へと再構成する。そして、画像再構成部２８は、再構成後の車両周囲画像データを、画像表示部２９に入力する（Ｓ１２０）。

【0096】

画像表示部２９は、入力された再構成後の車両周囲画像データに基づき、画像信号を生成する。そして、画像表示部２９は、生成した画像信号をディスプレイ１５に入力する。これにより、ディスプレイ１５に、再構成後の車両周囲画像が表示される。
ここで、上記説明において、画像情報入力部２０は、画像入力手段を構成する。座標情報検出部２１は、座標情報検出手段を構成する。投影画像生成部２２は、投影画像生成手段を構成する。車両周囲画像生成部２３は、車両周囲画像生成手段を構成する。車両画像検出部２４は、車両画像検出手段を構成する。死角情報推測部２５は、死角情報推測手段を構成する。画像補完部２６は、画像補完手段を構成する。仮想視点設定部２７は、仮想視点情報設定手段を構成する。画像再構成部２８は、画像再構成手段を構成する。走行状態判定部３０は、走行状態判定手段を構成する。

【0097】

（本実施形態の効果）
本実施形態は、次のような効果を奏する。
（１）画像情報入力部２０が、車両に搭載された複数のカメラにより車両周囲の領域を撮影して得られる複数の画像を入力する。座標情報検出部２１が、画像入力手段によって入力された複数の画像に含まれる各物体の３次元座標情報を検出する。投影画像生成部２２が、座標情報検出手段で検出した各物体の３次元座標情報に基づき構成される各物体の投影面に、複数の画像に含まれる各物体に対応する画像を投影して複数の投影画像を生成する。車両周囲画像生成部２３が、投影画像生成部２２によって生成された複数の投影画像を合成して、３次元構造を有する車両周囲画像を生成する。車両画像検出部２４が、車両周囲画像に含まれる、複数のカメラにより撮影された画像に基づき構成される他車両の可視画像部分を検出する。死角情報推測部２５が、車両画像検出手段の検出結果に基づき、車両周囲画像に他車両の可視画像部分が含まれると判定すると、可視画像部分の画像情報に基づき、複数のカメラの撮影範囲外となる前記他車両の死角部位の情報を推測する。画像補完部２６が、死角情報推測部２５で推測した情報に基づき、可視画像部分の画像情報を用いて、車両周囲画像に含まれる他車両の死角部位の画像を補完する。仮想視点設定部２７が、仮想視点情報を設定する。画像再構成部２８が、画像補完部２６で補完された車両周囲画像を、仮想視点設定部２７で設定された仮想視点情報の示す仮想視点から見た画像に再構成する。

【0098】

他車両の可視画像部分から死角部位の情報を推測し、この推測した情報に基づき可視画像部分の画像情報を用いて死角部位の画像を補完するようにした。これによって、車両周囲画像を仮想視点から見た画像に再構成した場合でも、他車両の死角部位の画像の少なくとも一部を補完して表示することができる。従って、他車両の死角部位の画像が何も表示されないような車両周囲画像と比較して、見やすい車両周囲画像を表示することが可能となる。また、車両周囲画像の信頼性を向上することが可能となる。

【0099】

（２）死角情報推測部２５が、可視画像部分の画像情報に基づき他車両の死角部位の形状を推測する。画像補完部２６が、死角情報推測部２５で推測した死角部位の形状に基づき、可視画像部分から補完画像を生成し、生成した補完画像を用いて他車両の死角部位の画像を補完する。
車両の形状は、例えば、車両前後方向の中心線等に対して対称形状であることが多く、かつ１台の車両に同じ形状のパーツが複数存在する。従って、可視画像部分の内容によっては、例えば、可視部分と対となる死角部位の形状を推測することが可能である。このようにして推測した形状に基づき、可視画像部分から生成した補完画像を用いて死角部位の画像を補完するようにしたので、死角部位の画像を適切に補完することが可能となる。

【0100】

（３）死角情報推測部２５が、可視画像部分が、他車両の側面を撮影した画像から構成される可視側面画像を含む場合に、他車両の画像形状を左右対称と推測する。画像補完部２６は、死角情報推測部２５の推測結果に基づき、可視側面画像を左右反転した補完画像を生成し、生成した補完画像を用いて他車両の死角部位の一部である反対側の側面の画像を補完する。
可視画像部分に他車両の側面の画像が含まれる場合に、車両形状の対称性から左右対称と推測し、可視側面画像を左右反転した補完画像によって、他車両の死角部位の一部である反対側の側面の画像を補完するようにした。これにより、死角部位の画像を適切に補完することが可能となる。

【0101】

（４）画像補完部２６が、可視側面画像を左右反転した補完画像を生成するに際して、前記左右反転した補完画像における前輪部分の画像を、当該前輪部分の舵角を反転した画像に修正する。
可視側面画像を反転させて補完画像を生成した場合に、前輪の舵角によっては、前輪の向きが逆向きになった画像が生成される。上記（４）の構成であれば、前輪の画像部分を舵角を反転した画像に修正することができるので、より正確な補完画像を生成することが可能となる。

【0102】

（５）画像補完部２６が、死角部位の画像の一部を補完した場合に、死角情報推測部２５で推測した死角部位の形状に基づき、補完画像部分と可視画像部分との間の死角部位の画像部分の形状を補間計算によって描画補完する。
車両は、例えば、オープンカー等の特殊な形状の車両を除いて、多くが対称形状かつ箱形となる。従って、例えば、補完画像を含めて他車両の両側面の画像を形成できれば、両側面間を補間計算による補間描画によって補完することが可能となる。このような描画補完を行うようにしたので、より信頼性の置ける補完画像を生成することが可能となる。

【0103】

（６）死角情報推測部２５が、可視画像部分の色情報に基づき、描画補完によって補完された補完画像部分の色を推測する。画像補完部２６が、補完画像部分の少なくとも一部を死角情報推測部２５で推測した色に着色する。
車両のボディカラーは、単色であることが多いので、例えば、車両側面のパーツに使用されている色が可視側面画像から解れば、ルーフ部分等の死角部位の色も同じ色であると推測することが可能である。このようにして、死角部位の色を補完することで、より信頼性の置ける補完画像を生成することが可能となる。

【0104】

（７）死角情報推測部２５が、可視画像部分から死角部位の少なくとも一部の情報が推測不可能であると判定すると、該当部位に対して推測が不可能であることを示す推測不可情報を画像補完部２６に出力する。画像補完部２６が、死角情報推測部２５からの推測不可情報に基づき、他車両の死角部位のうち推測不可能な部分があったと判定すると、推測不可能な部分について、予め設定された描画内容で描画を行う。
例えば、他車両の可視画像部分が少なくて、形状や色などを推測するには情報が不足している場合は、死角部位の情報を推測することが不可能となる。また、他車両の走行状態によって形状や状態が変わる可能性のある死角部位などは、情報の推測が不可能となる。このような場合に、推測不可能であることを画像補完部２６に通知するようにした。加えて、画像補完部２６は、推測不可能と判定された死角部分を、予め設定された内容で描画するようにした。例えば、推測不可能な部位を推測不可能であることを明示できる色で着色する等することで、推測不可能な部位をユーザに対して明示することが可能となる。これによって、不明確な情報の表示を防ぐことができ、ユーザが補完画像を見て誤った判断をすること等を防ぐことが可能となる。

【0105】

（８）走行状態判定部３０が、他車両の走行状態を判定する。死角情報推測部２５が、走行状態判定部３０の判定結果に基づき、他車両が停止していると判定すると、他車両の死角部位に含まれるドア部分を推測不可能な部分と判定する。
他車両が走行している状態であれば、当該他車両のドアが全て閉まっている状態であると推測することができる。一方、他車両が停止している状態であると、死角部位となるドアが閉まっている状態であるとは限らない。このような状況を考慮して、他車両が停止している状態のときは、死角部位のドア部を推測不可能な部分と判定するようにした。これによって、不明確な情報の表示を防ぐことができ、ユーザが補完画像を見て誤った判断をすること等を防ぐことが可能となる。

【0106】

（９）死角情報推測部２５が、他車両の死角部位のうち少なくともウィンカーランプ部を含む照明系の部位を推測不可能な部分と判定する。
例えば、ウィンカーランプは、左右の一方が点灯していない状態において、他方が点灯している状態と、点灯していない状態との２状態があり得る。また、左右双方が点灯する状態もあり得る。このような状況を考慮して、少なくとも死角部位のウィンカーランプ部を推測不可能な部分と判定するようにした。これによって、不明確な情報の表示を防ぐことができ、ユーザが補完画像を見て誤った判断をすること等を防ぐことが可能となる。

【0107】

（１０）画像補完部２６が、車両周囲画像に含まれる他車両の可視画像部分を検索情報として、車両画像データベース３００から他車両に対応する３次元ＣＧモデルを検索する。画像補完部２６が、該検索によって索出された３次元ＣＧモデルに基づき、他車両の死角部位の補完画像を生成し、生成した補完画像を用いて他車両の死角部位の画像を補完する。
車両画像データベース３００に記憶された複数車種の３次元ＣＧモデルのなかに、可視画像部分に合致する画像部分を有する車種の３次元ＣＧモデルがある場合に、その画像データを用いて生成した補完画像を用いて他車両の死角部位の画像を補完するようにした。これによって、可視画像部分から死角部位の推測ができないような場合や、大部分を推測できなかった場合などに、適切に死角部位の画像を補完することが可能となる。

【0108】

（１１）画像補完部２６が、死角情報推測部２５の推測結果に基づき、死角部位の情報が推測できなかったと判定すると、車両周囲画像に含まれる他車両の可視画像部分を検索情報として、車両画像データベース３００から他車両に対応する３次元ＣＧモデルを検索し、該検索によって索出された前記３次元ＣＧモデルに基づき、他車両の死角部位の補完画像を生成し、生成した補完画像を用いて他車両の死角部位の画像を補完する。
可視画像部分から死角部位の情報が推測ができなかった場合に、車両画像データベース３００の可視画像部分から検出される３次元ＣＧモデルの画像データを用いて、他車両の死角部位の画像を補完するようにした。これによって、他車両の死角部位の画像が何も表示されないような車両周囲画像と比較して、見やすい車両周囲画像を表示することが可能となる。また、車両周囲画像の信頼性を向上することが可能となる。

【0109】

（１２）画像情報入力部２０が、車両に搭載された複数のカメラにより車両周囲の領域を撮影して得られる複数の画像を入力する。座標検情報出部２１が、画像情報入力部２０によって入力された複数の画像に含まれる各物体の３次元座標情報を検出する。投影画像生成部２２が、座標情報検出部２１で検出した各物体の３次元座標情報に基づき構成される各物体の投影面に、複数の画像に含まれる各物体に対応する画像を投影して複数の投影画像を生成する。車両周囲画像生成部２３が、投影画像生成部２２によって生成された複数の投影画像を合成して、３次元構造を有する車両周囲画像を生成する。車両画像検出部２４が、車両周囲画像に含まれる、複数のカメラにより撮影された画像に基づき構成される他車両の可視画像部分を検出する。画像補完部２６が、車両画像検出部２４で検出された他車両の可視画像部分を検索情報として、車両画像データベース３００から前記他車両に対応する３次元ＣＧ（Computer Graphics）モデルを検索し、該検索によって索出された３次元ＣＧモデルに基づき、他車両の死角部位の補完画像を生成し、生成した補完画像を用いて他車両の死角部位の画像を補完する。仮想視点設定部２７が、仮想視点情報を設定する。画像再構成部２８が、画像補完部２６で補完された車両周囲画像を、仮想視点設定部２７で設定された仮想視点情報の示す仮想視点から見た画像に再構成する。

【0110】

車両画像データベース３００に記憶された複数車種の３次元ＣＧモデルのなかに、可視画像部分に合致する画像部分を有する車種の３次元ＣＧモデルがある場合に、その画像データを用いて生成した補完画像を用いて他車両の死角部位の画像を補完するようにした。これによって、他車両の死角部位の画像が何も表示されないような車両周囲画像と比較して、見やすい車両周囲画像を表示することが可能となる。また、車両周囲画像の信頼性を向上することが可能となる。

【0111】

（変形例）
（１）上記実施形態において、自車両１の周囲の領域を撮影する撮像装置（撮像装置１１Ａ〜１１Ｄ）を、自車両１の前後左右に各１台ずつ配置する構成としたが、この構成に限らない。

【0112】

例えば、図１５に示すように、自車両１の前後左右に各２台ずつの撮像装置を配置するなど他の構成としてもよい。図１５において、各黒点が上記実施形態の撮像装置に対応する。また、各黒点から伸びる２本の線の内側が撮影範囲となる。なお、図１５中の撮影範囲は、一部を示したものであり、かつ２本の線で２次元的に示しているが、実際は円錐形状となる。
一般に、カメラのレンズが広角になるほど、画像に歪みが生じる。図１５の例のように、カメラの数を増やすことで、画角を狭めることができ、歪みの少ない撮影画像を用いて車両周囲画像を生成することが可能となる。また、他の撮像装置の撮影範囲とのオーバーラップも容易となる。これにより、隙間無く車両周囲の領域を撮影することが可能となり、より正確な車両周囲画像を生成することが可能となる。

【0113】

（２）上記実施形態において、今回生成した車両周囲画像に含まれる可視画像部分のみを用いて、他車両の死角部位の画像を補完する構成を例に挙げて説明したが、この構成に限らない。
例えば、図１６に示すように、自車両１の隣の車線を走行する他車両２が自車両１を追い抜いていった場合を想定する。この場合、他車両２が図１６中の（１）の位置にいるときは、自車両１の撮影範囲Ｄによって、他車両２の前側の大部分を撮影することができる。また、他車両２が図１６中の（２）の位置にいるときは、自車両１の撮影範囲Ｂによって、他車両２の右側面の全体を撮影することができる。そして、他車両２が図１６中の（３）の位置にいるときは、自車両１の撮影範囲Ａによって、他車両２の後側の大部分を撮影することができる。これは、自車両１が後方から他車両２を追い越す場合なども同様となる。また、他車両２が対向車線を走行している場合も、撮影対象の向きが変わるのみで同様となる。このように、自車両１と他車両２との位置関係が変化する場合に、同一の他車両に対して得られる画像の内容が変化する。このことを踏まえて、既に得られている最大範囲の撮影画像データと、新たに得られる撮影画像データとを併用して、車両周囲画像に含まれる他車両の死角部位の画像を補完する構成としてもよい。これにより、より正確に他車両の死角部位の画像を補完することが可能となる。

【0114】

（３）上記実施形態において、他車両の可視画像部分に可視側面画像が含まれない場合に、死角部位の情報を推測できないと判定する構成としたが、この構成に限らない。可視側面画像を含まない場合や、一部しか含まない場合でも、例えば、他車両の前側の大部分や後側の大部分の可視画像部分などがあるような場合、側面画像が無くても推測が可能な場合は死角部位の情報を推測する構成としてもよい。
（４）上記実施形態において、他車両の可視画像部分から死角部位の情報を推測できないと判定した場合に、車両画像データベース３００を利用して、死角部位の画像を補完する構成としたが、この構成に限らない。例えば、死角部位の情報を推測せずに、初めから車両画像データべースを利用して、死角部位の画像を補完する構成としてもよい。

【0115】

また、上記実施形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の範囲は、上記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。また、上記の説明で用いる図面は、図示の便宜上、部材ないし部分の縦横の縮尺は実際のものとは異なる模式図である。
また、本発明は上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良、均等物等は本発明に含まれるものである。

【符号の説明】

【0116】

１００ 車両用画像生成装置
１２０ 車両用画像生成機能構成部
１ 自車両
２ 他車両
１０ ＣＰＵ
１１ 車両周囲撮像部
１１Ａ〜１１Ｄ 撮像装置，ＣＣＤカメラ，ステレオカメラ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 操作部
１５ ディスプレイ
１６ ＨＤＤ
１７ 車速センサ
２０ 画像情報入力部
２１ 座標情報検出部
２２ 投影画像生成部
２３ 車両周囲画像生成部
２４ 車両画像検出部
２５ 死角情報推測部
２６ 画像補完部
２７ 操作部
２８ 画像再構成部
２９ 画像表示部
３０ 走行状態判定部
１１０Ａ ＣＣＤカメラ
１１１Ａ レーザレンジファインダ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】