特開 2019-211944 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-211944(P2019-211944A)

(43)【公開日】2019年12月12日

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20191115BHJP

   B60R 1/00 20060101ALI20191115BHJP

   G06T 7/00 20170101ALI20191115BHJP

   H04N 7/18 20060101ALI20191115BHJP

   G08G 1/16 20060101ALI20191115BHJP

【ＦＩ】

   G06T1/00 330Z

   B60R1/00 A

   G06T7/00 650Z

   H04N7/18 J

   G08G1/16 C

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

【全頁数】21

(21)【出願番号】特願2018-106706(P2018-106706)

(22)【出願日】2018年6月4日

(71)【出願人】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(72)【発明者】

【氏名】須田 亮平

(72)【発明者】

【氏名】山本 耕太

【テーマコード（参考）】

5B057

5C054

5H181

5L096

【Ｆターム（参考）】

5B057AA16

5B057CA12

5B057CA16

5B057CB12

5B057CB16

5B057CC03

5B057CE08

5C054CA04

5C054CC02

5C054FD07

5C054FE18

5C054HA30

5H181AA01

5H181CC04

5H181FF27

5H181FF33

5H181LL02

5L096BA04

5L096CA05

5L096DA01

5L096EA14

5L096EA33

5L096FA34

5L096FA66

(57)【要約】

【課題】第１カメラの死角範囲に対応する死角領域を、第２カメラの第２撮影画像を画像変換した画像によって補った合成画像について、合成画像の境界において画像の連続性をできるだけ保つようにした「画像処理装置および画像処理方法」を提供する。
【解決手段】画像処理装置１は、合成画像を生成する画像処理部１１と合成画像を表示する表示制御部１２とを備え、画像処理部１１は、単一の距離の投影面を用いて画像変換を行って死角領域を補完する画像を生成するのではなく、画像ライン毎に、連続範囲についてサイドカメラ撮影画像とリアカメラ撮影画像を画像変換して生成した画像との一致度を反映して投影面の距離を決定し、これを用いてリアカメラ撮影画像に対して画像変換を行ってドットライン毎に補完用の画像を生成するようにしている。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両に搭載され、撮影範囲に前記車両の車体の一部が含まれた状態で撮影を行う第１カメラの第１撮影画像と、前記第１カメラの撮影範囲のうち前記車体により死角となる死角範囲および前記死角範囲に連続する連続範囲を含む範囲を撮影可能な第２カメラの第２撮影画像とを取得する撮影画像取得部と、
前記撮影画像取得部により取得された前記第２撮影画像を画像変換し、変換後の画像によって前記撮影画像取得部により取得された前記第１撮影画像における前記死角範囲に対応する死角領域を補った合成画像を生成する画像処理部と、
前記画像処理部により生成された前記合成画像を表示装置に表示する表示制御部とを備え、
前記画像処理部は、
前記第１撮影画像のドットラインである画像ライン毎に、前記連続範囲について前記第１撮影画像と前記第２撮影画像を画像変換して生成した画像との一致度を反映して、画像変換に用いる投影面の距離を決定し、前記画像ライン毎に決定した距離の投影面を用いた画像変換を前記第２撮影画像に対して行って、前記死角領域を構成するドットラインである死角領域ライン毎にドットライン補完画像を生成し、生成した前記ドットライン補完画像のそれぞれによって前記死角領域ラインのそれぞれを補完して前記合成画像を生成する
ことを特徴とする画像処理装置。

【請求項2】

前記画像処理部は、
前記画像ラインのうち、上下方向に間隔をあけて設定された複数の比較ライン毎に投影面の距離を決定し、２つの異なる前記比較ラインに囲まれた範囲に属する前記画像ラインについては、当該２つの異なる前記比較ラインについて決定された投影面の距離に基づいて線形補間を行って投影面の距離を決定する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画像処理部は、
前記第２撮影画像を、前記連続範囲を撮影する前記第１カメラの視点に複数の距離の投影面を用いて視点変換することによって、投影面の距離毎に比較対象画像を生成し、
前記比較対象画像のそれぞれと、前記第１撮影画像の前記連続範囲に対応する連続領域に属する連続領域画像とについて、前記比較ラインに位置するドットライン毎に一致度を算出し、前記比較ラインに位置するドットラインのそれぞれについて最も一致度が高い前記比較対象画像を生成するときに用いた投影面の距離を、前記比較ラインの投影面の距離として決定する
ことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記画像処理部は、
異なる複数の距離の投影面毎の前記比較対象画像を生成する際、投影面の距離が大きくなるほど、前記比較対象画像の生成に用いる投影面の距離の間隔を大きくする
ことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記画像処理部は、
ルックアップテーブル記憶部に記憶された異なる複数の距離の投影面に応じたルックアップテーブルを用いて、前記第２撮影画像を、異なる複数の距離の投影面毎の前記比較対象画像に変換する
ことを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記画像処理部は、
前記第２撮影画像を、前記連続範囲を撮影する前記第１カメラの視点に複数の距離の投影面を用いて視点変換することによって、投影面の距離毎に比較対象画像を生成し、
前記比較対象画像のそれぞれと、前記第１撮影画像の前記連続範囲に対応する連続領域に属する連続領域画像とについて、全てのドットラインの一致度を算出し、ドットラインのそれぞれについて最も一致度が高い前記比較対象画像を生成するときに用いた投影面の距離を、前記画像ラインのそれぞれについての投影面の距離として決定する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項7】

前記画像処理部は、
異なる複数の距離の投影面毎の前記比較対象画像を生成する際、投影面の距離が大きくなるほど、前記比較対象画像の生成に用いる投影面の距離の間隔を大きくする
ことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記画像処理部は、
ルックアップテーブル記憶部に記憶された異なる複数の距離の投影面に応じたルックアップテーブルを用いて、前記第２撮影画像を、異なる複数の距離の投影面毎の前記比較対象画像に変換する
ことを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記第１カメラは、前記車両の側面部から前記車両の後方に向かう成分を含む方向を撮影するサイドカメラであり、
前記第２カメラは、前記車両の後部から前記車両の後方を撮影するリアカメラである
ことを特徴とする請求項１に記載の画像処理装置。

【請求項10】

画像処理装置の撮影画像取得部が、車両に搭載され、撮影範囲に前記車両の車体の一部が含まれた状態で撮影を行う第１カメラの第１撮影画像と、前記第１カメラの撮影範囲のうち前記車体により死角となる死角範囲および前記死角範囲に連続する連続範囲を含む範囲を撮影可能な第２カメラの第２撮影画像とを取得する第１のステップと、
前記画像処理装置の画像処理部が、前記撮影画像取得部により取得された前記第２撮影画像を画像変換し、変換後の画像によって前記撮影画像取得部により取得された前記第１撮影画像における前記死角範囲に対応する死角領域を補った合成画像を生成する第２のステップと、
前記画像処理装置の表示制御部が、前記画像処理部により生成された前記合成画像を表示装置に表示する第３のステップとを含み、
第２のステップにおいて、前記画像処理部は、前記第１撮影画像のドットラインである画像ライン毎に、前記連続範囲について前記第１撮影画像と前記第２撮影画像を画像変換して生成した画像との一致度を反映して、画像変換に用いる投影面の距離を決定し、前記画像ライン毎に決定した距離の投影面を用いた画像変換を前記第２撮影画像に対して行って、前記死角領域を構成するドットラインである死角領域ライン毎にドットライン補完画像を生成し、生成した前記ドットライン補完画像のそれぞれによって前記死角領域ラインのそれぞれを補完して前記合成画像を生成する
ことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関し、特に、撮影範囲に車体の一部が含まれた状態で撮影を行う第１カメラおよび第１カメラの撮影範囲のうち車体により死角となる死角範囲を少なくとも撮影可能な第２カメラの撮影画像を処理する画像処理装置、および、当該画像処理装置による画像処理方法に用いて好適なものである。

【背景技術】

【0002】

従来、車両の側方を撮影する第１カメラ（右カメラ３Ｒ、左カメラ３Ｌ）と、第１カメラの撮影範囲のうち車体により死角となる範囲を少なくとも撮影可能な第２カメラ（後方カメラ３Ｂ）との各カメラの撮影結果を処理する画像処理装置（車載装置２）が知られている（特許文献１参照）。特許文献１の画像処理装置は、第１カメラに基づく画像と第２カメラに基づく画像とを所定の態様で合成して表示することによって、車両のサイドミラーから後方に向かって撮影を行う仮想的なカメラの撮影画像を、第１カメラの死角が第２カメラの撮影結果によって補われた状態で表示装置に表示する。

【0003】

特許文献１によれば、ユーザーは、表示装置に表示された画像を視認することによって、サイドミラーを視認したときに確認できる風景と同等の風景を確認することができ、さらに、サイドミラーを視認した場合には車体が死角となって視認できない部分も確認することができる。

【0004】

また、特許文献１には、第２カメラの撮影結果に基づく画像を表示装置に表示する際の技術として以下の技術が記載されている。すなわち、第２カメラの撮影画像を、仮想カメラの視野に変換する処理（第２視野変換処理）を行う際に、路面に対して垂直に設定する投影面について、投影面までの距離を「車両から車両後方の対象物までの実距離」とする技術が記載されている（特に、段落００５２〜００５３、図１０、１３参照）。

【0005】

なお、特許文献２には、車両の側面部に設けられ、車両の後方に向かって撮影を行う第１カメラ（右側方カメラ１２０、左側方カメラ１３０）の死角に移動体が存在する場合には、そのことを検出した上で、第２カメラ（後方カメラ１１０）の撮影結果に基づいて、表示装置にその移動体の画像を表示する画像処理装置（車両表表示制御装置１０）が記載されている。この特許文献２によれば、ユーザーは、表示装置に表示された画像を視認することにより、第１カメラの死角に存在する移動体を認識しつつ、適切に車両の周辺の状況を確認できる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１５−０７４４３６号公報

【特許文献2】特開２０１７−１６２１９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述したように、特許文献１には、第２カメラの撮影画像の視野変換処理に用いる投影面の距離を、車両から車両後方の対象物までの実距離とする技術が記載されている。しかしながら、この技術により投影面の距離を設定して第２カメラの撮影画像に対して画像変換を行った場合、以下の問題がある。すなわち、通常、第１カメラおよび第２カメラは、車両の後続車、遠方にある建物や山等、車両からの距離が異なる複数の対象物を撮影する。

【0008】

一方で、特許文献１に記載された技術では、第２カメラの撮影画像を視野変換処理する際、車両から車両後方の対象物までの実距離だけ離れた１つの投影面を利用するため、基本的には、その車両後方の対象物以外の対象物は、投影面から外れた状態となる。また、１つの対象物についても、カメラの光軸方向における距離が異なる複数の部位が画像に現れている場合、投影面に位置する部位と、投影面から外れた部位とが現出することになる。

【0009】

そして、表示装置に表示される合成画像について、投影面から外れている物体（または物体の部位）の画像が、第１カメラの撮影結果に基づく画像と第２カメラの撮影結果に基づく画像との境界に位置すると、当該境界において画像との連続性が保たれず、合成画像を視認するユーザーに違和感を与えてしまうという問題がある。

【0010】

本発明は、このような問題を解決するために成されたものであり、撮影範囲に車体の一部が含まれた状態で撮影を行う第１カメラの第１撮影画像のうち第１カメラの死角範囲に対応する死角領域を、死角範囲を撮影可能な第２カメラの第２撮影画像を画像変換した画像によって補った合成画像を生成する画像処理装置について、合成画像の境界の全域にわたって画像の連続性をできるだけ保つことができるようにすることを目的とする。

【課題を解決するための手段】

【0011】

上記した課題を解決するために、本発明は、第２カメラの第２撮影画像を画像変換し、変換後の画像によって第１撮影画像における死角範囲に対応する死角領域を補った合成画像を生成し、生成した合成画像を表示する。そして、本発明は、合成画像の生成に際し、第１撮影画像のドットラインである画像ライン毎に、死角範囲に連続する連続範囲について第１撮影画像と第２撮影画像を画像変換して生成した画像との一致度を反映して、画像変換に用いる投影面の距離を決定し、画像ライン毎に決定した距離の投影面を用いた画像変換を第２撮影画像に対して行って、死角領域を構成するドットラインである死角領域ライン毎にドットライン補完画像を生成し、生成したドットライン補完画像のそれぞれによって死角領域ラインのそれぞれを補完して合成画像を生成するようにしている。

【発明の効果】

【0012】

上記のように構成した本発明によれば、画像ライン毎に、連続範囲について第１撮影画像と第２撮影画像を画像変換して生成した画像の一致度が反映されて投影面の距離が決定された上で、画像ライン毎に、決定された距離の投影面を用いて第２撮影画像に対して画像変換が行われて画像が生成され、生成された画像が死角領域ラインに補完されることによって合成画像が生成される。このため、最終的に死角領域に合成される画像について、上下方向の全域にわたって各死角領域ラインの画像が、上記一致度を反映した投影面が用いられて生成された画像となり、単一の投影面を用いることにより、一部の対象物（または対象物の部分）までの距離と投影面の距離とを一致させて合成画像が生成された場合と比較して、合成画像の境界の全域にわたって画像の連続性をできるだけ保つことができる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態に係る画像処理装置の機能構成例を示すブロック図である。

【図2】リアカメラおよび右サイドカメラの設置位置および撮影範囲を示す図である。

【図3】リアカメラ撮影画像およびサイドカメラ撮影画像を示す図である。

【図4】連続領域および比較ラインを示す図である。

【図5】自車両と共に垂直投影面を示す図である。

【図6】第１〜第１０比較対象画像生成用ルックアップテーブルおよび第１〜第１０右側特定ルックアップテーブルのそれぞれについて、視点変換に用いられる投影面の距離を示す表である。

【図7】一致度算出処理の説明のため、連続領域画像と比較対象画像とを示す図である。

【図8】一致度算出処理で算出された一致度の例を示す表である。

【図9】投影面距離決定処理の説明のため、画像ライン毎に、死角領域における位置と投影面の距離とを示す図である。

【図10】右側仮想カメラの撮影画像、および、リアカメラ撮影画像を示す図である。

【図11】本実施形態の技術で生成される合成画像、および、従来の技術で生成される合成画像を示す図である。

【図12】本発明の一実施形態に係る画像処理装置の動作例を示すフローチャートである。

【図13】本発明の一実施形態に係る画像処理装置の動作例を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態に係る画像処理装置１の機能構成例を示すブロック図である。画像処理装置１は、運転手が車両の右サイドミラーＭＲまたは左サイドミラーＭＬを視認したときに確認できる風景と同等の風景を、これらミラーを視認したときには車体により遮蔽されて確認できない部分も含めて表示することが可能な装置である。

【0015】

図１に示すように、画像処理装置１には、右モニター２Ｒ、左モニター２Ｌ、リアカメラ３、右サイドカメラ４Ｒおよび左サイドカメラ４Ｌが接続されている。以下、画像処理装置１が搭載された車両を「自車両」という。

【0016】

右モニター２Ｒは、自車両のダッシュボードの右端部（車内において右サイドミラーＭＲに近い位置）に設けられた表示パネル（例えば、液晶表示パネルや、有機ＥＬ表示パネル等）である。左モニター２Ｌは、自車両のダッシュボードの左端部（車内において左サイドミラーＭＬに近い位置）に設けられた表示パネルである。右モニター２Ｒおよび左モニター２Ｌは、特許請求の範囲の「表示装置」に相当する。

【0017】

リアカメラ３は、自車両の後部に設けられた撮影装置である。右サイドカメラ４Ｒは、自車両の前部座席の右サイドドアの右サイドミラーＭＲに設けられた撮影装置である。左サイドカメラ４Ｌは、自車両の前部座席の左サイドドアの左サイドミラーＭＬに設けられた撮影装置である。

【0018】

図２は、リアカメラ３および右サイドカメラ４Ｒの設置位置および撮影範囲を説明するための図である。以下の説明では、右サイドカメラ４Ｒと左サイドカメラ４Ｌとを区別しない場合は「サイドカメラ４Ｒ，４Ｌ」と表現する。また、右サイドカメラ４Ｒの撮影画像と左サイドカメラ４Ｌの撮影画像とを区別しない場合は「サイドカメラ撮影画像」という。

【0019】

図２に示すように、リアカメラ３は、自車両の後端において、自車両の幅方向の中央に設けられており、自車両の後方に向かう方向を撮影方向（光軸の方向）として撮影を実行する。図２において、符号ＨＢは、リアカメラ３の撮影範囲を模式的に示している。以下、リアカメラ３の撮影範囲を「リアカメラ撮影範囲ＨＢ」という。リアカメラ３は、魚眼レンズを有する魚眼カメラにより構成されている。リアカメラ３は、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、リアカメラ３が生成し、出力する撮影画像を「リアカメラ撮影画像」という。リアカメラ３は、特許請求の範囲の「第２カメラ」に相当し、リアカメラ撮影画像は、特許請求の範囲の「第２撮影画像」に相当する。

【0020】

図３（Ａ）は、リアカメラ撮影画像の一例を示している。図３（Ａ）のリアカメラ撮影画像には、１台分の車両が通行可能な道路上で後続する後続車両の画像ＫＺｂが記録されている。また、図３（Ａ）のリアカメラ撮影画像には、建物の画像ＴＭｂが記録されている。リアカメラ撮影画像が生成されたタイミングにおいて、建物は、自車両から相当に離れた場所に位置しており、建物までの距離は、いわゆる無限遠である。また、リアカメラ撮影画像には、地平線を表す画像ＳＨｂが記録されている。

【0021】

図２に示すように、右サイドカメラ４Ｒは、車両の後方に対して、後方に向かうに従って右側に向かうように少しだけ傾いた方向を撮影方向（光軸の方向）として撮影を実行する。図２において、符号ＨＲは、右サイドカメラ４Ｒの撮影範囲を模式的に示している。右サイドカメラ４Ｒは、標準レンズにより撮影を実行する撮影装置であり、その撮影範囲の水平画角は、リアカメラ撮影範囲ＨＢの水平画角よりも小さい。以下、右サイドカメラ４Ｒの撮影範囲を「右サイドカメラ撮影範囲ＨＲ」という。

【0022】

図２に示すように、右サイドカメラ４Ｒの撮影範囲には、車両の車体に遮蔽された死角範囲ＤＨが形成される。死角範囲ＤＨについては、車体が遮蔽物となり、風景が撮影されない。リアカメラ３のリアカメラ撮影範囲ＨＢには、死角範囲ＤＨ、および、死角範囲ＤＨに連続する連続範囲ＱＨが含まれている。つまり、リアカメラ３は、死角範囲ＤＨおよび連続範囲ＱＨの風景を撮影可能である。右サイドカメラ４Ｒは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、右サイドカメラ４Ｒが生成し、出力する撮影画像を「右サイドカメラ撮影画像」という。

【0023】

図３（Ｂ）は、図３（Ａ）のリアカメラ撮影画像が生成されたときの環境と同じ環境で右サイドカメラ４Ｒが生成する右サイドカメラ撮影画像の一例を示す図である。図３（Ｂ）に示すように、右サイドカメラ撮影画像の左端部には、自車両の車体の画像ＪＳｒが記録された死角領域ＤＲが形成されている。死角領域ＤＲは、右サイドカメラ４Ｒの右サイドカメラ撮影範囲ＨＲの死角範囲ＤＨ（図２参照）に対応する領域である。右サイドカメラ４Ｒは、車両の特定の位置に固定的に設けられるため、右サイドカメラ撮影画像の全領域における死角領域ＤＲの態様（位置、形状）は一定である。

【0024】

図３（Ｂ）で例示する右サイドカメラ撮影画像には、後続車両の画像ＫＺｒが記録されている。後続車両の画像ＫＺｒは、その一部が自車両の車体の画像ＪＳｒに覆われた状態である。また、右サイドカメラ撮影画像には、建物の画像ＴＭｒが記録されている。建物の画像ＴＭｒは、その一部が自車両の車体の画像ＪＳｒおよび後続車両の画像ＫＺｒに覆われた状態である。また、右サイドカメラ撮影画像には、地平線を表す画像ＳＨｒが記録されている。

【0025】

左サイドカメラ４Ｌは、右サイドカメラ４Ｒと同一の性能の撮影装置であり、前部座席の左サイドドアに取り付けられた左サイドミラーＭＬに、右サイドカメラ４Ｒと同様の態様で設置されている。左サイドカメラ４Ｌは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、左サイドカメラ４Ｌが生成し、出力する撮影画像を「左サイドカメラ撮影画像」という。

【0026】

右サイドカメラ４Ｒおよび左サイドカメラ４Ｌは、特許請求の範囲の「第１カメラ」に相当し、右サイドカメラ撮影画像および左サイドカメラ撮影画像は、特許請求の範囲の「第１撮影画像」に相当する。

【0027】

図１に示すように、画像処理装置１は、機能構成として、撮影画像取得部１０、画像処理部１１および表示制御部１２を備えている。上記各機能ブロック１０〜１２は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０〜１２は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭ等を備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。また、図１に示すように、画像処理装置１は、記憶手段として、ルックアップテーブル記憶部１３を備えている。ルックアップテーブル記憶部１３は、後述する各種ルックアップテーブルを記憶する。

【0028】

撮影画像取得部１０は、リアカメラ３からリアカメラ撮影画像を所定の周期で入力し取得する。また、撮影画像取得部１０は、右サイドカメラ４Ｒから右サイドカメラ撮影画像を所定の周期で入力し取得する。また、撮影画像取得部１０は、左サイドカメラ４Ｌから左サイドカメラ撮影画像を所定の周期で入力し取得する。撮影画像取得部１０は、所定の周期で取得するリアカメラ撮影画像、右サイドカメラ撮影画像および左サイドカメラ撮影画像を、画像処理部１１に出力する。

【0029】

画像処理部１１は、撮影画像取得部１０により取得されたリアカメラ撮影画像を画像変換し、変換後の画像によって撮影画像取得部１０により取得されたサイドカメラ撮影画像における死角領域ＤＲを補った合成画像を生成する。

【0030】

そして、画像処理部１１は、合成画像の生成に際し、サイドカメラ撮影画像のドットラインである画像ライン毎に、連続範囲ＱＨについてサイドカメラ画像とリアカメラ画像を画像変換して生成した画像との一致度を反映して、画像変換に用いる投影面の距離を決定する。また、画像処理部１１は、画像ライン毎に決定した距離の投影面を用いた画像変換をリアカメラ撮影画像に対して行って、死角領域ＤＲを構成するドットラインである死角領域ラインＤＬ毎にドットライン補完画像を生成し、生成したドットライン補完画像のそれぞれによって死角領域ラインＤＬのそれぞれを補完して合成画像を生成する。

【0031】

以下、画像処理部１１の処理について、右サイドカメラ４Ｒの右サイドカメラ撮影画像、および、リアカメラ３のリアカメラ撮影画像に基づいて、右側合成画像（合成画像）を生成する場合を例にして詳述する。なお、画像処理部１１は、右側合成画像の生成と並行して、左サイドカメラ４Ｌの左サイドカメラ撮影画像に基づいて左側合成画像（合成画像）を生成する。

【0032】

画像処理部１１は、撮影画像取得部１０からリアカメラ撮影画像および右サイドカメラ撮影画像を所定の周期で入力し、入力したこれらの撮影画像に基づいて合成画像生成処理を実行する。合成画像生成処理は、合成画像（本例の場合は、右側合成画像）を生成する処理である。画像処理部１１は、所定の周期で合成画像生成処理を実行して右側合成画像を生成し、生成した右側合成画像を表示制御部１２に出力する。以下、合成画像生成処理について詳述する。なお、以下では、右側合成画像を生成する合成画像生成処理について説明するが、実際には、この処理と同期して左側合成画像を生成する合成画像生成処理が実行される。

【0033】

図４は、合成画像生成処理の説明に利用するため、図３（Ｂ）の右サイドカメラ撮影画像を拡大して示す図である。図４に示すように、右サイドカメラ撮影画像には、死角領域ＤＲに連続して、連続領域ＱＲが形成される。連続領域ＱＲは、死角範囲ＤＨに連続する連続範囲ＱＨ（図２参照）に対応する領域であり、連続領域ＱＲには、右サイドカメラ４Ｒによる連続範囲ＱＨの撮影結果に基づく画像が記録される。連続領域ＱＲの位置および幅は、連続領域ＱＲに対応する連続範囲ＱＨに対象物が存在している状況で合成画像を生成したときに、生成された合成画像において、その対象物の画像が、合成画像における右サイドカメラ撮影画像と補完画像との境界に位置するように設定される。

【0034】

また、ルックアップテーブル記憶部１３には、リアカメラ撮影画像を第１〜第１０比較対象画像に変換するための第１〜第１０比較対象画像生成用ルックアップテーブルが記憶されている。第Ｎ比較対象画像生成用ルックアップテーブル（ただし、Ｎ＝１、２・・・１０）はそれぞれ、リアカメラ撮影画像を、「右側仮想カメラが、連続範囲ＱＨを仮想的に撮影することによって生成される撮影画像（＝第Ｎ比較対象画像）」に変換するために用いられるマッピングテーブルである。右側仮想カメラとは、右サイドカメラ４Ｒと同一の撮影方向で同一の撮影範囲を撮影する仮想的な撮影装置のことであり、所定の撮影画像を、右サイドカメラ４Ｒの視点に視点変換する際に概念的に用いられる。

【0035】

第Ｎ比較対象画像生成用ルックアップテーブルは、右側仮想カメラの仮想的な撮影画像の連続領域ＱＲを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する。この対応関係情報は、リアカメラ３の視点を右側仮想カメラの視点に変換するという観点の下、車両座標系における右側仮想カメラおよびリアカメラ３の配置位置および配置角度、リアカメラ３の仕様（投影方法や、画角、ディストーション（レンズの歪み）、解像度等）、右側仮想カメラの仕様、その他の要素を反映して事前に適切に設定されている。

【0036】

特に、本実施形態では、第１〜第１０比較対象画像生成用ルックアップテーブルは、それぞれ、リアカメラ３の視点から右側仮想カメラの視点への視点変換に用いられる垂直投影面の距離が異なっている。図５は、垂直投影面を説明するため、自車両と共に垂直投影面を示す図である。図５に示すように、垂直投影面は、路面に対応する路面投影面に対して垂直に立ち上がった投影面のことを意味する。また、垂直投影面の距離は、リアカメラ３の光学原点から垂直投影面までの距離を意味する。第１〜第１０比較対象画像生成用ルックアップテーブルによる視点変換に用いられる投影面は、路面投影面と垂直投影面とにより構成される。

【0037】

図６は、第１〜第１０比較対象画像生成用ルックアップテーブルおよび後述する第１〜第１０右側特定ルックアップテーブルのそれぞれについて、視点変換に用いられる垂直投影面の距離を示す表である。図６の表に示すように、第１〜第１０比較対象画像生成用ルックアップテーブルの投影面の距離は、それぞれ「０．５メートル」、「１メートル」、「２メートル」、「３メートル」、「４メートル」、「５メートル」、「７メートル」、「１０メートル」、「２０メートル」、「３０メートル」である。

【0038】

さて、合成画像生成処理において、まず、画像処理部１１は、第１〜第１０比較対象画像生成用ルックアップテーブルのそれぞれを用いて、リアカメラ撮影画像を、第１〜第１０比較対象画像のそれぞれに変換する。この処理が行われる結果、リアカメラ撮影画像に対する第１比較対象画像生成用ルックアップテーブル（投影面の距離＝「０．５メートル」）を用いた視点変換により、第１比較対象画像が生成される。この第１比較対象画像は、右側仮想カメラの仮想的な撮影画像の連続領域ＱＲを構成するドットの画素値が、第１比較対象画像生成用ルックアップテーブルに基づいて、リアカメラ撮影画像の対応するドットの画素値によって置き換えられた画像である。同様に、上記処理が行われる結果、リアカメラ撮影画像に対する第２〜第１０比較対象画像生成用ルックアップテーブル（投影面の距離＝「１、２、３、４、５、７、１０、２０、３０メートル」）を用いた視点変換により、第２〜第１０比較対象画像が生成される。

【0039】

第１〜第１０比較対象画像を生成した後、画像処理部１１は、右サイドカメラ撮影画像から、連続領域ＱＲに属する画像（以下、「連続領域画像」という）を抽出する。次いで、画像処理部１１は、抽出した連続領域画像と、第１〜第１０比較対象画像のそれぞれを対象として一致度算出処理を実行する。以下、一致度算出処理について詳述する。

【0040】

ここで、本実施形態では、図４に示すように、右サイドカメラ撮影画像の領域を対象として４つの第１〜第４比較ラインＨＬ１〜ＨＬ４が設定されている。第〜第４比較ラインＨＬ１〜ＨＬ４は、右サイドカメラ撮影画像を構成するドットライン（以下、「画像ライン」という）のうち、右サイドカメ撮影画像の領域を上下方向に均等に５等分した場合の４つの区切りに位置する画像ラインとされている。

【0041】

図７は、一致度算出処理の説明に利用するための図である。図７（Ａ）は、図４の右サイドカメラ撮影画像から抽出される連続領域画像を示している。図７（Ｂ１）は、図３（Ａ）のリアカメラ撮影画像を、第１比較対象画像生成用ルックアップテーブル（投影面の距離＝「０．５メートル」）を用いて画像変換することによって生成される第１比較対象画像を示している。また、図７（Ｂ２）は第５比較対象画像を示し、図７（Ｂ３）は第１０比較対象画像を示している。

【0042】

一致度算出処理において、まず、画像処理部１１は、第１比較対象画像および連続領域画像を処理対象として以下の処理を実行する。すなわち、画像処理部１１は、「第１比較対象画像を構成するドットラインのうち、第１比較ラインＨＬ１に属するドットライン（以下、「比較対象ドットラインＴＬ１１」とする。図７（Ｂ１）参照）」と、「連続領域画像を構成するドットラインのうち、第１比較ラインＨＬ１に属するドットライン（以下、「基準ドットラインＲＬ１」とする。図４および図７（Ａ）参照）」とを比較して、これらドットラインについての一致度を算出する。

【0043】

一致度を算出する方法はどのような方法でもよい。例えば、画像処理部１１は、各ドットラインの対応するドット毎に、画素値の差（絶対値）を算出する。そして、画像処理部１１は、全てのドットの画素値の差の平均値を算出し、平均値が小さいほど算出値を高くする（または低くする）計算式によって一致度を算出する。また、画像処理部１１は、ドット毎に画素値の差（絶対値）を算出し、画素値の差を累計した累計値を算出し、累計値が小さいほど算出値を高くする（または低くする）計算式によって一致度を算出する。この他、標準偏差等の統計学的手法を用いて一致度を算出する構成でもよい。本実施形態では、一致度は「０」〜「１００」の数値によって表されるものであり、数値が高いほど一致の度合いが高いものとする。

【0044】

比較対象ドットラインＴＬ１１と基準ドットラインＲＬ１との一致度を算出した後、画像処理部１１は、同様の方法で、比較対象ドットラインＴＬ１２（図４、図７（Ｂ）参照）と基準ドットラインＲＬ２との一致度、比較対象ドットラインＴＬ１３（図４、図７（Ｂ）参照）と基準ドットラインＲＬ３との一致度、および、比較対象ドットラインＴＬ１４（図４、図７（Ｂ）参照）と基準ドットラインＲＬ４との一致度を算出する。以上の処理の結果、第１比較対象画像について、第１〜第４比較ラインＨＬ１〜ＨＬ４に位置するドットライン（比較対象ドットラインＴＬ１１〜ＴＬ１４）毎に、連続領域画像の対応するドットライン（基準ドットラインＲＬ１〜ＲＬ４）との一致度が算出される。

【0045】

第１比較対象画像および連続領域画像を処理対象として以上の処理を実行した後、画像処理部１１は、第２〜第１０比較対象画像のそれぞれと連続領域画像とを処理対象として同様の処理を実行する。この結果、第２〜第１０比較対象画像のそれぞれについて、第１〜第４比較ラインＨＬ１〜ＨＬ４に位置するドットライン毎に、連続領域画像の対応するドットライン（基準ドットラインＲＬ１〜ＲＬ４）との一致度が算出される。例えば、図７に示すように、第５比較対象画像については、比較対象ドットラインＴＬ５１〜ＴＬ５４毎に基準ドットラインＲＬ１〜ＲＬ４との一致度が算出され、また、第１０比較対象画像については、比較対象ドットラインＴＬ１０１〜ＴＬ１０４毎に基準ドットラインＲＬ１〜ＲＬ４との一致度が算出される。

【0046】

以上の処理が一致度算出処理である。一致度算出処理を実行した後、画像処理部１１は、第１〜第４比較ラインＨＬ１〜ＨＬ４毎に、第１〜第１０比較対象画像のうち、最も一致度が高かった比較対象画像を特定する。図８は、一致度算出処理で算出された一致度の例を一覧表示する表である。一致度算出処理の処理結果が、図８の表で例示するものである場合、画像処理部１１は、第１比較ラインＨＬ１については第９比較対象画像（投影面の距離＝「２０メートル」）を、第２比較ラインＨＬ２については第８比較対象画像（投影面の距離＝「１０メートル」）を、第３比較ラインＨＬ３については第６比較対象画像（投影面の距離＝「５メートル」）を、第４比較ラインＨＬ４については第４比較対象画像（投影面の距離＝「３メートル」）をそれぞれ、最も一致度が高かった比較対象画像として特定する。

【0047】

次いで、画像処理部１１は、投影面距離決定処理を実行する。投影面距離決定処理は、画像ライン毎に、画像変換に用いる投影面の距離を決定する処理である。以下、投影面距離決定処理について詳述する。以下では、画像ライン毎に決定される投影面の距離を適宜「ドットライン投影面の距離」と表現する。

【0048】

図９は、投影面距離決定処理の説明に利用する図である。図９（Ａ）は、右サイドカメラ撮影画像の死角領域ＤＲを拡大した図である。図９（Ｂ）は、図９（Ａ）の死角領域の上下方向と対応させた縦軸と、「０メートル」〜「３０メートル」の範囲で投影面の距離を表す横軸とを有する座標に、画像ライン毎に決定される投影面の距離をプロットしたグラフである。特に、図９（Ｂ）は、一致度算出処理の処理結果が図８の表に示すものであった場合のグラフを示している。以下の説明では、一致度算出処理の処理結果が図８に示すものである場合のことを適宜「本ケースの場合」と表現する。

【0049】

投影面距離決定処理において、まず、画像処理部１１は、第１〜第４比較ラインＨＬ１〜ＨＬ４については、一致度算出処理において最も一致度が高いと特定した比較対象画像の投影面の距離を、ドットライン投影面の距離とする。本ケースの場合、画像処理部１１は、第１〜第４比較ラインＨＬ１〜ＨＬ４のドットライン投影面の距離をそれぞれ、「２０メートル」、「１０メートル」、「５メートル」、「３メートル」とする（図９（Ｂ）参照）。

【0050】

更に、画像処理部１１は、第１〜第４比較ラインＨＬ１〜ＨＬ４のうち、最も上方に位置する第１比較ラインＨＬ１よりも上方の範囲Ｈ１に属する画像ラインのそれぞれについては、第１比較ラインＨＬ１のドットライン投影面の距離を、ドットライン投影面の距離とする。本ケースの場合、画像処理部１１は、範囲Ｈ１に属する画像ラインのそれぞれのドットライン投影面の距離を「２０メートル」とする（図９（Ｂ）参照）。同様に、画像処理部１１は、第１〜第４比較ラインＨＬ１〜ＨＬ４のうち、最も下方に位置する第４比較ラインＨＬ４よりも下方の範囲Ｈ５に属する画像ラインのそれぞれについては、第４比較ラインＨＬ４のドットライン投影面の距離を、ドットライン投影面の距離とする。本ケースの場合、画像処理部１１は、範囲Ｈ５に属する画像ラインのそれぞれのドットライン投影面の距離を「３メートル」とする（図９（Ｂ）参照）。

【0051】

画像処理部１１は、第１比較ラインＨＬ１と第２比較ラインＨＬ２とで囲まれた範囲Ｈ２に属する画像ラインのそれぞれについては、以下の方法でドットライン投影面の距離を決定する。すなわち、画像処理部１１は、第１比較ラインＨＬ１のドットライン投影面の距離と、第２比較ラインＨＬ２のドットライン投影面の距離に基づいて線形補間を行ってドットライン投影面の距離を決定する。具体的には、画像処理部１１は、図９（Ｂ）の座標において、第１比較ラインＨＬ１の投影面の距離に対応する点Ｐ１と、第２比較ラインＨＬ２の投影面の距離に対応する点Ｐ２とを結んだ直線ＴＴ１を対象として、画像ライン毎に投影面の距離を線形補間によって算出し、算出した投影面の距離を、各画像ラインについてのドットライン投影面の距離として決定する。

【0052】

画像処理部１１は、第２比較ラインＨＬ２と第３比較ラインＨＬ３とで囲まれた範囲Ｈ３に属する画像ラインのそれぞれ、および、第３比較ラインＨＬ３と第４比較ラインＨＬ４とで囲まれた範囲Ｈ４に属する画像ラインのそれぞれについても同様の方法でドットライン投影面の距離を決定する。画像処理部１１は、以上のようにして全ての画像ラインについて、ドットライン投影面の距離を算出する。以上の処理が投影面距離決定処理である。

【0053】

投影面距離決定処理を実行した後、画像処理部１１は、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成するドットラインである仮想ドットライン毎にドットライン対応関係情報を生成する。図１０（Ａ）は、右側仮想カメラの仮想的な撮影画像、および、当該画像における死角領域ＤＲを示す図である。図１０（Ｂ）は、所定の座標系に展開したリアカメラ撮影画像の領域を模式的に示している。以下、図１０を用いて、仮想ドットラインＬＸ（図１０（Ａ）参照）についてドットライン対応関係情報を生成するときに画像処理部１１が実行する処理を説明する。

【0054】

まず、画像処理部１１は、仮想ドットラインＬＸに対応する画像ライン（＝仮想ドットラインＬＸが位置する画像ライン）について投影面距離決定処理にて決定したドットライン投影面の距離を認識する。本例では、仮想ドットラインＬＸに対応する画像ラインは画像ラインＧＬＸ（図９（Ａ）参照）であり、投影面距離決定処理にて決定したドットライン投影面の距離は、「４．２５メートル」であるものとする。以下、仮想ドットラインＬＸに対応する画像ラインＧＬＸについて投影面距離決定処理で決定したドットライン投影面の距離を単に「仮想ドットラインＬＸのドットライン投影面の距離」という。

【0055】

ここで、ルックアップテーブル記憶部１３には、異なる複数の垂直投影面の距離に対応する複数の第１〜第１０右側特定ルックアップテーブルが記憶されている。第Ｎ右側特定ルックアップテーブルは、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲ＤＨを仮想的に撮影することによって生成される撮影画像」に変換するために用いられるマッピングテーブルであり、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する。本実施形態では、第１〜第１０右側特定ルックアップテーブルはそれぞれ、視点変換に用いられる垂直投影面の距離が異なっている。第１〜第１０右側特定ルックアップテーブルの垂直投影面の距離はそれぞれ、「０．５、１、２、３、４、５、７、１０、２０、３０メートル」である（図６参照）。

【0056】

さて、画像処理部１１は、仮想ドットラインＬＸを構成する全てのドットについて、リアカメラ撮影画像の対応するドットのドット位置を以下の方法で特定する。すなわち、画像処理部１１は、第Ｎ右側特定ルックアップテーブルのうち、垂直投影面の距離が、「仮想ドットラインＬＸのドットライン投影面の距離」よりも小さく、当該距離に最も近い距離であるルックアップテーブルを特定する。本例では、当該距離は「４．２５メートル」であるため、画像処理部１１は、垂直投影面の距離が「４メートル」の第５右側特定ルックアップテーブルを特定する。以下、ここで特定された第Ｎ右側特定ルックアップテーブルを「小側ルックアップテーブル」という。同様に、次いで、画像処理部１１は、第Ｎ右側特定ルックアップテーブルのうち、垂直投影面の距離が、「仮想ドットラインＬＸのドットライン投影面の距離」よりも大きく、当該距離に最も近い距離であるルックアップテーブルを特定する。本例では、当該距離は「４．２５メートル」であるため、画像処理部１１は、垂直投影面の距離が「５メートル」の第６右側特定ルックアップテーブルを特定する。以下、ここで特定された第Ｎ右側特定ルックアップテーブルを「大側ルックアップテーブル」という。

【0057】

更に、画像処理部１１は、小側ルックアップテーブルに係る垂直投影面の距離および仮想ドットラインＬＸのドットライン投影面の距離の差Ｓ１（絶対値）と、大側ルックアップテーブルに係る垂直投影面の距離および仮想ドットラインＬＸのドットライン投影面の距離の差Ｓ２（絶対値）との比を算出する。本例では、「差Ｓ１：差Ｓ２」＝「１：３」（｜４メートル−４．２５メートル｜：｜５メートル−４．２５メートル｜）である。

【0058】

「差Ｓ１：差Ｓ２」を算出した後、画像処理部１１は、小側ルックアップテーブルのドットライン対応関係情報に対する反映度と、大側ルックアップテーブルのドットライン対応関係情報に対する反映度との比が、「差Ｓ２：差Ｓ１」となるように、各テーブルを加工してドットライン対応関係情報を生成する。ドットライン対応関係情報は、仮想ドットラインＬＸに含まれる全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた情報である。

【0059】

ドットライン対応関係情報を生成する際に、仮想ドットラインＬＸのある特定のドット（「特定ドットＤＸ」とする）について、リアカメラ撮影画像の対応するドット（「対応ドットＤＱ」とする）を特定する処理を、図１０（Ａ）および図１０（Ｂ）を用いて詳述する。図１０（Ｂ）において、符号ＤＹのドット（「小側ドットＤＹ」とする）は、小側ルックアップテーブルにおいて、特定ドットＤＸと対応付けられているドットである。また、図１０（Ｂ）において、符号ＤＺのドット（「大側ドットＤＺ」とする）は、大側ルックアップテーブルにおいて、特定ドットＤＸと対応付けられているドットである。以上の状況の下、画像処理部１１は、リアカメラ撮影画像において、小側ドットＤＹと大側ドットＤＺを結ぶ線分において、以下の式ＳＫ１を満たすドットを対応ドットＤＱとする。
［式ＳＫ１］ 小側ドットＤＹからの距離：大側ドットＤＺからの距離＝差Ｓ１：差Ｓ２

【0060】

このようにして特定される対応ドットＤＱは、「小側ルックアップテーブルの反映度：大側ルックアップテーブルの反映度」＝「差Ｓ２：差Ｓ１」となる。なお、ドットライン対応関係情報を生成する方法は、本実施形態で例示する方法に限られない。仮想ドットラインに対応するドットライン投影面の距離が適切に反映されて生成されればよい。

【0061】

画像処理部１１は、以上のようにして仮想ドットラインＬＸを構成する全てのドットについて、リアカメラ撮影画像における対応するドットを特定し、仮想ドットラインＬＸに含まれる全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられたドットライン対応関係情報を生成する。

【0062】

以上の処理が仮想ドットラインＬＸについてのドットライン対応関係情報を生成するときの画像処理部１１の処理である。画像処理部１１は、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する仮想ドットラインの全てについて、仮想ドットライン毎にドットライン対応関係情報を生成する。

【0063】

全ての仮想ドットラインのドットライン対応関係情報を生成した後、画像処理部１１は、仮想ドットライン毎に、対応するドットライン対応関係情報を用いてリアカメラ撮影画像を変換し、ドットライン補完画像を生成する。そして、画像処理部１１は、生成したドットライン補完画像のそれぞれを、死角領域ラインＤＬ（図９参照）のそれぞれに重畳（補完）し、右側合成画像を生成する。上述したように、死角領域ラインＤＬは、死角領域ＤＲを構成するドットラインである。

【0064】

図１１（Ａ）は、図３（Ａ）のリアカメラ撮影画像および図３（Ｂ）の右サイドカメラ撮影画像に基づく合成画像生成処理により生成される右側合成画像を示している。ただし、図１１（Ａ）は説明の便宜を考慮して、後述する図１１（Ｂ）との相違点が明らかとなるように、理想的な画像を模式的に示している。図１１（Ａ）では、右サイドカメラ撮影画像に基づく画像と、リアカメラ撮影画像に基づく画像との境界に破線を引いているが、実際の合成画像には破線の画像は表示されない。図１１（Ａ）に示すように、右側合成画像では、右サイドカメラ撮影画像の死角領域ＤＲが、リアカメラ撮影画像に基づく画像によって補われた状態となる。リアカメラ撮影画像に基づく画像は、ドットライン補完画像の集合により成る画像である。

【0065】

以上が右側合成画像の生成に際して所定の周期で実行される合成画像生成処理である。画像処理部１１は、所定の周期で合成画像生成処理を実行して右側合成画像を生成し、表示制御部１２に出力する。詳細は省略するが、画像処理部１２は、所定の周期で左側合成画像を生成する合成画像生成処理を実行し、生成した左側合成画像を表示制御部１２に出力する。

【0066】

表示制御部１２は、所定の周期で画像処理部１１から合成画像（右側合成画像および左側合成画像）を入力し、右側合成画像を右モニター２Ｒに表示し、左側合成画像を左モニター２Ｌに表示する。この結果、右モニター２Ｒには、リアカメラ３および右サイドカメラ４Ｒの撮影結果がリアルタイムに反映された動画として、車両の右サイドミラーＭＲを視認したときに確認できる風景と同等の風景が、右サイドミラーＭＲを視認したときには車体により遮蔽されて確認できない部分も含めて表示される。左モニター２Ｌについても同様である。

【0067】

次に、上述した方法で合成画像生成処理が行われることの意義、効果について説明する。図１１（Ｂ）は、図３（Ａ）のリアカメラ撮影画像に対して１つの距離（後続車両の前端部までの距離とする）の投影面を用いた視点変換を行って補完画像を生成した場合に生成される合成画像を示す図である。

【0068】

リアカメラ撮影画像に対して特定の距離の投影面を用いた視点変換を行って補完画像を生成した場合、リアカメラ３から当該特定の距離だけ離間している対象物については、補完画像とサイドカメラ撮影画像との境界において画像の連続性が保たれる。連続性が保たれるとは、ある対象物の画像について、境界で区切られた一方の領域と他方の領域とで対象物の大きさが大きく異なったり、対象物の同じ部分が両方の領域に重複して記録されたり、対象物の一部がどちらの領域にも記録されなかったりすることなく、一方の領域に表示された画像と、他方の領域に記録された画像とが整合をもって連続することを意味する。ただし、境界において対象物の連続性が保たれている状態には、境界を跨いで画像が一貫性をもって完璧に接続されている状態ではなく、ユーザーが視認したときに強い違和感を覚えない程度に対象物の画像が境界を跨いである程度整合的に連続している状態を含む。

【0069】

一方、リアカメラ撮影画像に対して特定の距離の投影面を用いた視点変換を行って補完画像を生成した場合において、当該特定の距離の投影面から外れた対象物については、境界において画像の連続性が保たれない。図１１（Ｂ）において、後続車両の前端部の面は、投影面の距離と等しい距離だけ離間した位置に位置している。従って、図１１（Ｂ）に示すように、後続車両の前端部の面の画像は、境界において連続性が保たれている。一方で、建物は、投影面の距離から外れた位置に位置している。このため、図１１（Ｂ）の範囲ＨＮ１に示すように、建物の画像は、境界において連続性が保たれない。そして、建物の画像が境界において連続性が保たれないことに起因して、図１１（Ｂ）の右側合成画像が右モニター２Ｒに画面として表示された場合、その画面を視認するユーザーが、違和感を覚えてしまう可能性がある。

【0070】

一方、本実施形態では、合成画像の境界の全域にわたって画像の連続性をできるだけ保つことができる。すなわち、本実施形態では、画像ライン毎に、連続範囲ＱＨについてサイドカメラ撮影画像と、リアカメラ撮影画像を画像変換して生成した画像の一致度が反映されて投影面（ドットライン投影面）の距離が決定された上で、画像ライン毎に、決定された距離の投影面を用いてリアカメラ撮影画像に対して画像変換が行われて生成された画像（ドットライン補完画像）が補完されることによって合成画像が生成される。

【0071】

このため、死角領域ＤＲに合成される画像について、上下方向の全域にわたって各ドットラインの画像が、上記一致度を反映した投影面が用いられて生成された画像となり、上述した従来のように単一の投影面を用いることにより部分的に障害物までの実距離と投影面との距離を一致させて合成画像が生成された場合と比較して、合成画像の境界の全域にわたって画像の連続性をできるだけ保つことができる。

【0072】

また、本実施形態では、画像処理部１１は、比較対象画像として、「０．５、１、２、３、４、５、７、１０、２０、３０メートル」の垂直投影面を用いた１０個の比較対象画像を生成する。このように、画像処理部１１は、投影面の距離が大きくなるほど、比較対象画像の生成に用いる投影面の距離の間隔を大きくする。つまり、比較対象画像の生成に用いられる投影面の距離の間隔は、「０．５メートル」→「１メートル」→「２メートル」→「３メートル」→「１０メートル」と、投影面の距離が大きいほど大きくなっている。これは以下の理由による。

【0073】

すなわち、投影面の距離が小さければ小さいほど、投影面の距離を一単位だけ大きくしたときに生成される比較対象画像の内容の変化が大きい。例えば、「０．５メートル」の投影面を用いて生成される比較対象画像の内容と、「１メートル」の投影面を用いて生成される比較対象画像の内容との変化の度合いは、「２０メートル」の投影面を用いて生成される比較対象画像の内容と、「２０．５メートル」の投影面を用いて生成される比較対象画像の内容との変化の度合いと比較して大きい。

【0074】

これを踏まえ、投影面の距離が大きくなるほど、比較対象画像の生成に用いる投影面の距離の間隔を大きくすることにより、換言すれば、投影面の距離が小さくなるほど、比較対象画像の生成に用いる投影面の距離の間隔を小さくすることにより、投影面の距離の変化に対する比較対象画像の変化の度合いが大きいほど、細かい間隔で一致度を検証することができ、本来最も一致度を最大化させる投影面の距離と、最終的に決定される投影面の距離との乖離が大きくなってしまうリスクをできるだけ低減でき、投影面の距離を適切に決定することができる。また、投影面の距離が大きくなるほど、比較対象画像の生成に用いる投影面の距離の間隔を大きくすることにより、投影面の距離の変化に対する比較対象画像の変化の度合いが小さいのにもかかわらず、不必要に細かい間隔でルックアップテーブルがルックアップテーブル記憶部１３に記憶されることを防止でき、記憶すべきデータのデータ量の削減、および、記憶領域の効率的活用を実現できる。

【0075】

次に、本実施形態に係る画像処理装置１の動作例についてフローチャートを用いて説明する。図１２のフローチャートＦＡは、画像処理装置１がリアカメラ３およびサイドカメラ４Ｒ，４Ｌによる撮影画像の出力に応じて、所定の周期で実行する処理の一例を示すフローチャートである。

【0076】

図１２に示すように、画像処理装置１の撮影画像取得部１０は、リアカメラ３およびサイドカメラ４Ｒ，４Ｌのそれぞれから撮影画像を入力し、取得する（ステップＳＡ１）。画像処理部１１は、撮影画像取得部１０により取得された各カメラの撮影画像に基づいて合成画像生成処理を実行し、合成画像（右側合成画像および左側合成画像）を生成する（ステップＳＡ２）。合成画像生成処理については後にフローチャートを用いて詳述する。表示制御部１２は、画像処理部１１が生成した右側合成画像を右モニター２Ｒに表示すると共に、左側合成画像を左モニター２Ｌに表示する（ステップＳＡ３）。

【0077】

図１３のフローチャートＦＢは、画像処理部１１が実行する合成画像生成処理の詳細を示すフローチャートである。特に、図１３では、リアカメラ撮影画像および右サイドカメラ撮影画像に基づいて右側合成画像を生成するときの合成画像生成処理の詳細を示している。

【0078】

図１３に示すように、画像処理部１１は、第１〜第１０比較対象画像生成用ルックアップテーブルのそれぞれを用いて、リアカメラ撮影画像を、第１〜第１０比較対象画像のそれぞれに変換する（ステップＳＢ１）。次いで、画像処理部１１は、右サイドカメラ撮影画像から連続領域画像を抽出する（ステップＳＢ２）。次いで、画像処理部１１は、第１〜第１０比較対象画像のそれぞれについて、比較対象ドットライン毎に、連続領域画像の基準ドットラインとの一致度を算出する（ステップＳＢ３）。ステップＳＢ３の処理は、一致度算出処理に相当する。

【0079】

次いで、画像処理部１１は、第１〜第４比較ラインＨＬ１〜ＨＬ４毎に、第１〜第１０比較対象画像のうち、最も一致度が高かった比較対象画像を特定する（ステップＳＢ４）。次いで、画像処理部１１は、第１〜第４比較ラインＨＬ１〜ＨＬ４についは、一致度算出処理において最も一致度が高いと特定した比較対象画像の投影面の距離を、ドットライン投影面の距離とする（ステップＳＢ５）。更に、画像処理部１１は、第１〜第４比較ラインＨＬ１〜ＨＬ４のドットライン投影面の距離に基づいて、他の画像ラインについてのドットライン投影面の距離を家手治する（ステップＳＢ６）。ステップＳＢ６において、上述した通り、画像処理部１１は、２つの異なる比較ラインに囲まれた範囲に属する画像ラインについては、当該２つの異なる比較ラインについて決定された投影面の距離に基づいて線形補間を行って投影面の距離を決定する。ステップＳＢ５およびステップＳＢ６の処理は投影面距離決定処理に相当する。

【0080】

次いで、画像処理部１１は、仮想ドットライン毎にドットライン対応関係情報を生成する（ステップＳＢ７）。次いで、画像処理部１１は、仮想ドットライン毎にドットライン対応関係情報を用いてドットライン補完画像を生成する（ステップＳＢ８）。次いで、画像処理部１１は、ドットライン補完画像のそれぞれを死角領域ＤＲの対応する死角領域ラインＤＬに重畳（補完）することによって右側合成画像を生成する（ステップＳＢ９）。

【0081】

＜本実施形態の変形例＞
次に、本実施形態の変形例について説明する。上述した本実施形態では、画像処理部１１は、画像ライン毎のドットライン投影面の距離の決定に際し、以下の処理を行った。すなわち、画像処理部１１は、比較対象ドットラインと基準ドットラインと一致度に基づいて、第１〜第４比較ラインＨＬ１〜ＨＬ４毎にドットライン投影面の距離を決定し、比較ライン以外の画像ラインについては、比較ラインのドットライン投影面の距離に基づいて、ドットライン投影面の距離を決定した。この点に関し、画像処理部１１が以下の処理を実行する構成でもよい。

【0082】

すなわち、画像処理部１１は、第１〜第１０比較対象画像を生成した後、比較ラインだけではなく、全ての画像ラインについて、各比較対象画像の連続領域ＱＲにおけるドットラインと、連続領域画像の連続領域ＱＲにおけるドットラインとの一致度を算出する。更に、画像処理部１１は、画像ラインのそれぞれについて、最も一致度が高い比較対象画像を生成するときに用いた投影面の距離を特定する。そして、画像処理部１１は、画像ラインのそれぞれについて、特定した投影面の距離を、ドットライン投影面の距離として特定する。以上のように、本変形例に係る画像処理部１１は、比較対象画像のそれぞれと、連続領域画像とについて、全てのドットラインの一致度を算出し、ドットラインのそれぞれについて最も一致度が高い比較対象画像を生成するときに用いた投影面の距離を、画像ラインのそれぞれについての投影面の距離として決定する。

【0083】

本変形例によれば、比較ライン以外の画像ラインのドットライン投影面の距離が、線形補間によって決定されるのではなく、実際に一致度が算出された上で、算出された一致度に基づいて決定されるため、画像ラインのそれぞれのドットライン投影面の距離を、実際に算出される一致度を反映した値とすることができる。なお、本実施形態では、比較対象画像を生成するためのルックアップテーブルとして、投影面の距離が異なる１０個の第１〜第１０比較対象画像生成用ルックアップテーブルが用意されていたが、本変形例では、比較対象画像を生成するためのルックアップテーブルの投影面の距離をより細かくするほど、各画像ラインについてのドットライン投影面の距離を精度の高いものとすることができる。

【0084】

以上、本発明の実施形態を変形例を含め説明したが、上記実施形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、または、その主要な特徴から逸脱することなく、様々な形で実施することができる。

【0085】

例えば、サイドカメラ撮影画像における連続領域ＱＲの形状は上記実施形態で例示した形状に限られない。一例として、連続領域ＱＲは、死角領域ＤＲ側の辺が、死角領域ＤＲに接した状態で延在する帯状の領域であってもよい。

【0086】

また、上記実施形態では、リアカメラ３が魚眼カメラにより構成され、サイドカメラ４Ｒ，４Ｌが標準カメラにより構成されていたが、リアカメラ３やサイドカメラ４Ｒ，４Ｌをどのようなカメラにより構成するかは、上記実施形態の例に限定されない。

【0087】

また、上記実施形態では、合成画像を表示する表示装置は、右モニター２Ｒおよび左モニター２Ｌであった。しかしながら、合成画像を表示する表示装置は、右モニター２Ｒおよび左モニター２Ｌに限らず、自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルや、右サイドミラーＭＲおよび左サイドミラーＭＬに設けられた表示パネル、バックミラーに設けられた表示パネル等であってもよい。自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルへの表示に際しては、ユーザーの指示に応じて、右側合成画像と左側合成画像との何れか一方を表示する構成でもよく、表示領域を分割し各画像を同時に表示する構成でもよい。表示装置は、携帯端末であってもよい。

【0088】

また、サイドカメラ４Ｒ，４Ｌの自車両における設置位置は、上記各実施形態で例示した位置に限られない。例えば、サイドカメラ４Ｒ，４Ｌは、車両の側面であって、車両の前端に近い位置に設けられてもよい。

【符号の説明】

【0089】

１ 画像処理装置
２Ｒ 右モニター（表示装置）
２Ｌ 左モニター（表示装置）
３ リアカメラ（第２カメラ）
４Ｒ 右サイドカメラ（第１カメラ）
４Ｌ 左サイドカメラ（第１カメラ）
１０ 撮影画像取得部
１１ 画像処理部
１２ 表示制御部
１３ ルックアップテーブル記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】