特開 2019-204393 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-204393(P2019-204393A)

(43)【公開日】2019年11月28日

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20191101BHJP

   B60R 1/00 20060101ALI20191101BHJP

   G08G 1/16 20060101ALI20191101BHJP

   H04N 7/18 20060101ALI20191101BHJP

【ＦＩ】

   G06T1/00 330B

   B60R1/00 A

   G08G1/16 D

   H04N7/18 J

   H04N7/18 V

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

【全頁数】26

(21)【出願番号】特願2018-100283(P2018-100283)

(22)【出願日】2018年5月25日

(71)【出願人】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(72)【発明者】

【氏名】須田 亮平

(72)【発明者】

【氏名】本田 圭助

(72)【発明者】

【氏名】山本 耕太

(72)【発明者】

【氏名】若松 浩太郎

【テーマコード（参考）】

5B057

5C054

5H181

【Ｆターム（参考）】

5B057AA16

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CD20

5B057CE08

5B057CH07

5B057DA07

5B057DB02

5B057DB09

5B057DC09

5C054FC11

5C054FD03

5C054FE11

5C054HA30

5H181AA01

5H181BB04

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181FF05

5H181FF32

5H181LL01

5H181LL02

5H181LL15

(57)【要約】

【課題】第１カメラの死角が第２カメラの撮影結果によって補われるように、各カメラの撮影結果に基づく合成画像における各画像の境界の連続性の保持に関する新たな方法を提案する「画像処理装置および画像処理方法」を提供する。
【解決手段】画像処理装置１は、リアカメラ３のリアカメラ撮影画像を画像変換して補完画像を生成し、サイドカメラ４Ｒ，４Ｌの撮影画像における死角領域に補完画像を合成して合成画像を生成する画像処理部１２と、合成画像を表示する表示制御部１３とを備えており、画像処理部１２は、視点変換に用いる起立投影面の距離が、注目対象物までの距離を反映した距離となる加工ルックアップテーブルを生成し、このテーブルを用いて補完画像を生成することにより、取り得る値ごとにルックアップテーブルを記憶しておく場合と比較してデータ量を低減できるようにする。
【選択図】図１

【特許請求の範囲】

【請求項1】

自車両に搭載され、撮影範囲に前記自車両の車体の一部が含まれた状態で撮影を行う第１カメラの第１撮影画像と、前記第１カメラの撮影範囲のうち前記車体により死角となる死角範囲を少なくとも撮影可能な第２カメラの第２撮影画像とを取得する撮影画像取得部と、
前記撮影画像取得部により取得された前記第２撮影画像を画像変換することによって、前記撮影画像取得部により取得された前記第１撮影画像における前記死角範囲に対応する死角領域を補完する補完画像を生成し、前記第１撮影画像の前記死角領域に前記補完画像を合成して合成画像を生成する画像処理部と、
前記合成画像において前記補完画像と前記第１撮影画像との境界に画像が位置する注目対象物までの距離である対象物距離を検出する距離検出部と、
前記画像処理部により生成された前記合成画像を表示装置に表示する表示制御部とを備え、
前記画像処理部は、
路面に沿った路面投影面に対して起立する起立投影面について特定の距離の前記起立投影面を用いた視点変換を行うための特定ルックアップテーブルを加工して、視点変換に用いる前記起立投影面の距離が、前記距離検出部により検出された前記注目対象物までの距離を反映した距離となる加工ルックアップテーブルを生成し、前記加工ルックアップテーブルを用いて前記第２撮影画像を前記補完画像に変換する
ことを特徴とする画像処理装置。

【請求項2】

前記画像処理部は、
異なる複数の前記起立投影面の距離に対応する複数の前記特定ルックアップテーブルのうち、前記距離検出部により検出された前記対象物距離よりも小さく、前記対象物距離に最も近い距離の前記起立投影面に対応する小さい側の特定ルックアップテーブル、および、前記対象物距離よりも大きく、前記対象物距離に最も近い距離の前記起立投影面に対応する大きい側の特定ルックアップテーブルを、前記起立投影面の距離と前記対象物距離とが近ければ近いほど、前記加工ルックアップテーブルに対する反映度が大きくなるように加工して前記加工ルックアップテーブルを生成する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画像処理部は、
前記小さい側の特定ルックアップテーブルに係る前記起立投影面の距離および前記対象物距離の差と、前記大きい側の特定ルックアップテーブルに係る前記起立投影面の距離および前記対象物距離の差との比が、
前記大きい側の特定ルックアップテーブルの前記加工ルックアップテーブルに対する反映度と、前記小さい側の特定ルックアップテーブルの前記加工ルックアップテーブルに対する反映度との比となるように各テーブルを加工して前記加工ルックアップテーブルを生成する
ことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記ルックアップテーブル記憶部に記憶された複数の前記特定ルックアップテーブルの前記起立投影面の距離の間隔は、前記起立投影面の距離が大きいほど大きくなっていることを特徴とする請求項２または３に記載の画像処理装置。

【請求項5】

前記注目対象物の前記第２カメラに対向する面の形状を検出する面形状検出部を更に備え、
前記画像処理部は、
視点変換に用いる前記起立投影面の距離が、前記距離検出部により検出された前記注目対象物までの距離を反映した距離となり、かつ、前記起立投影面の形状が、前記面形状検出部により検出された前記注目対象物の前記第２カメラに対向する面の形状に対応する形状となるように前記特定ルックアップテーブルを加工して前記加工ルックアップテーブルを生成する
ことを特徴とする請求項１から４の何れか１項に記載の画像処理装置。

【請求項6】

前記面形状検出部は、
前記注目対象物が前記車両に後続する後続車両の場合、前記第２撮影画像を分析し、前記後続車両について車両の進行方向側の面の形状によって分類された車両タイプを特定し、
車両タイプと、前記進行方向側の面の形状を示す面形状情報とを対応付けて記憶する車両関連情報記憶部から、特定した車両タイプと対応付けられている前記面形状情報を取得することにより、前記後続車両の前記第２カメラに対向する面の形状を検出する
ことを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記面形状検出部は、
前記第２撮影画像を画像認識し、前記注目対象物の前記第２カメラに対向する面の形状を検出する
ことを特徴とする請求項５に記載の画像処理装置。

【請求項8】

前記自車両から前記注目対象物に至る路面の形状を検出する路面形状検出部を更に備え、
前記画像処理部は、
前記路面投影面の形状が、前記路面形状検出部により検出された路面の形状に対応する形状となるように前記特定ルックアップテーブルを加工して前記加工ルックアップテーブルを生成する
ことを特徴とする請求項１から７の何れか１項に記載の画像処理装置。

【請求項9】

前記第１カメラは、前記車両の側面部から前記車両の後方に向かう成分を含む方向を撮影するサイドカメラであり、
前記第２カメラは、前記車両の後部から前記車両の後方を撮影するリアカメラである
ことを特徴とする請求項１から８の何れか１項に記載の画像処理装置。

【請求項10】

自車両に搭載され、撮影範囲に前記自車両の車体の一部が含まれた状態で撮影を行う第１カメラの第１撮影画像と、前記第１カメラの撮影範囲のうち前記車体により死角となる死角範囲を少なくとも撮影可能な第２カメラの第２撮影画像とを取得する撮影画像取得部と、
前記撮影画像取得部により取得された前記第２撮影画像を画像変換することによって、前記撮影画像取得部により取得された前記第１撮影画像における前記死角範囲に対応する死角領域を補完する補完画像を生成し、前記第１撮影画像の前記死角領域に前記補完画像を合成して合成画像を生成する画像処理部と、
前記画像処理部により生成された前記合成画像を表示装置に表示する表示制御部と、
前記合成画像において前記補完画像と前記第１撮影画像との境界に画像が位置する注目対象物までの距離である対象物距離を検出する距離検出部と、
前記注目対象物の前記第２カメラに対向する面の形状を検出する面形状検出部とを備え、
前記画像処理部は、
前記距離検出部により検出された前記注目対象物までの距離を反映した距離の投影面であって、前記面形状検出部により検出された前記注目対象物の前記第２カメラに対向する面の形状に対応する形状の前記投影面を用いて、前記第２撮影画像を前記補完画像に変換する
ことを特徴とする画像処理装置。

【請求項11】

画像処理装置の撮影画像取得部が、自車両に搭載され、撮影範囲に前記自車両の車体の一部が含まれた状態で撮影を行う第１カメラの第１撮影画像と、前記第１カメラの撮影範囲のうち前記車体により死角となる死角範囲を少なくとも撮影可能な第２カメラの第２撮影画像とを取得する第１のステップと、
前記画像処理装置の画像処理部が、前記撮影画像取得部により取得された前記第２撮影画像を画像変換することによって、前記撮影画像取得部により取得された前記第１撮影画像における前記死角範囲に対応する死角領域を補完する補完画像を生成し、前記第１撮影画像の前記死角領域に前記補完画像を合成して合成画像を生成する第２のステップと、
前記画像処理装置の表示制御部が、前記画像処理部により生成された前記合成画像を表示装置に表示する第３のステップとを含み、
前記第２のステップにおいて、前記画像処理部は、路面に沿った路面投影面に対して起立する起立投影面について特定の距離の前記起立投影面を用いた視点変換を行うための特定ルックアップテーブルを加工して、視点変換に用いる前記起立投影面の距離が、前記画像処理装置の距離検出部により検出された前記注目対象物までの距離を反映した距離となる加工ルックアップテーブルを生成し、前記加工ルックアップテーブルを用いて前記第２撮影画像を前記補完画像に変換する
ことを特徴とする画像処理方法。

【請求項12】

画像処理装置の撮影画像取得部が、自車両に搭載され、撮影範囲に前記自車両の車体の一部が含まれた状態で撮影を行う第１カメラの第１撮影画像と、前記第１カメラの撮影範囲のうち前記車体により死角となる死角範囲を少なくとも撮影可能な第２カメラの第２撮影画像とを取得する第１のステップと、
前記画像処理装置の画像処理部が、前記撮影画像取得部により取得された前記第２撮影画像を画像変換することによって、前記撮影画像取得部により取得された前記第１撮影画像における前記死角範囲に対応する死角領域を補完する補完画像を生成し、前記第１撮影画像の前記死角領域に前記補完画像を合成して合成画像を生成する第２のステップと、
前記画像処理装置の表示制御部が、前記画像処理部により生成された前記合成画像を表示装置に表示する第３のステップとを含み、
前記画像処理部は、
前記画像処理装置の距離検出部により検出された前記注目対象物までの距離を反映した距離の投影面であって、前記画像処理装置の面形状検出部により検出された前記注目対象物の前記第２カメラに対向する面の形状に対応する形状の前記投影面を用いて、前記第２撮影画像を前記補完画像に変換する
ことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関し、特に、撮影範囲に車体の一部が含まれた状態で撮影を行う第１カメラの撮影画像と、第１カメラの撮影範囲のうち車体により死角となる範囲を少なくとも撮影可能な第２カメラの撮影画像とを処理する画像処理装置、および、当該画像処理装置による画像処理方法に用いて好適なものである。

【背景技術】

【0002】

従来、車両の側方を撮影する第１カメラ（右カメラ３Ｒ、左カメラ３Ｌ）と、第１カメラの撮影範囲のうち車体により死角となる範囲を少なくとも撮影可能な第２カメラ（後方カメラ３Ｂ）との各カメラの撮影結果を処理する画像処理装置（車載装置２）が知られている（特許文献１参照）。特許文献１の画像処理装置は、第１カメラの撮影画像と第２カメラの撮影画像とに基づいて、第１カメラの死角が第２カメラの撮影結果によって補われた合成画像を生成し、表示装置に表示する。特許文献１によれば、ユーザーは、表示装置に表示された合成画像を視認することによって、サイドミラーを視認したときに確認できる風景と同等の風景を確認することができ、さらに、サイドミラーを視認した場合には車体が死角となって視認できない部分も確認することができる。

【0003】

なお、特許文献２には、車両の側面部に設けられ、車両の後方に向かって撮影を行う第１カメラ（右側方カメラ１２０、左側方カメラ１３０）の死角に移動体が存在する場合には、そのことを検出した上で、第２カメラ（後方カメラ１１０）の撮影結果に基づいて、表示装置にその移動体の画像を表示する画像処理装置（車両表表示制御装置１０）が記載されている。この特許文献２によれば、ユーザーは、表示装置に表示された画像を視認することにより、第１カメラの死角に存在する移動体を認識しつつ、適切に車両の周辺の状況を確認できる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５−０７４４３６号公報

【特許文献2】特開２０１７−１６２１９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の画像処理装置のように、第１カメラの死角が第２カメラの撮影結果によって補われるように、第１カメラの撮影結果に基づく画像と第２カメラの撮影結果に基づく画像とを合成するものでは、既存にない効果的な方法で、合成画像における各画像の境界の連続性を保てるようにすることが求められている。

【0006】

本発明は、このような問題を解決するために成されたものであり、第１カメラの死角が第２カメラの撮影結果によって補われるように、第１カメラの撮影結果に基づく画像と第２カメラの撮影結果に基づく画像とを合成する画像処理装置について、合成画像における各画像の境界の連続性の保持に関する新たな方法を提案することを目的とする。

【課題を解決するための手段】

【0007】

上記した課題を解決するために、本発明の第１の態様では、第１カメラの撮影範囲のうち、車体により死角となる死角範囲を少なくとも撮影可能な第２カメラの第２撮影画像を画像変換することによって、第１撮影画像における死角範囲に対応する死角領域を補完する補完画像を生成し、第１撮影画像の死角領域に補完画像を合成して合成画像を生成し、合成画像を表示装置に表示する。そして、補完画像の生成に際し、特定の距離の起立投影面を用いた視点変換を行うための特定ルックアップテーブルを加工して、視点変換に用いる起立投影面の距離が、注目対象物までの距離を反映した距離となる加工ルックアップテーブルを生成し、加工ルックアップテーブルを用いて第２撮影画像を補完画像に変換する。

【0008】

また、本発明の第２の態様では、補完画像の生成に際し、注目対象物の第２カメラに対向する面の形状を検出し、注目対象物までの距離を反映した距離の投影面であって、注目対象物の第２カメラに対向する面の形状に対応する形状の投影面を用いて、第２撮影画像を補完画像に変換する。

【発明の効果】

【0009】

上記のように構成した第１の態様に係る本発明によれば、補完画像が生成される際、検出された注目対象物までの距離に基づいて特定ルックアップテーブルが加工されて加工ルックアップテーブルが生成され、この加工ルックアップテーブルを利用して補完画像が生成される。このため、注目対象物までの距離が取り得る範囲内で、取り得る値ごとに特定ルックアップテーブルを記憶しておく必要がなく、このようにする場合と比較して、記憶すべきデータのデータ量を低減することができる。

【0010】

また、上記のように構成した第２の態様に係る本発明によれば、単一の距離の平坦な投影面を用いた画像変換が行われて補完画像が生成されるのではなく、他の車両の第２カメラに対向する面の形状に対応する形状の投影面を用いた画像変換が行われて補完画像が生成されるため、単一の距離の平坦な投影面を用いた場合と比較して、最終的に生成される合成画像において、第１撮影画像に基づく画像と第２撮影画像に基づく画像との境界における他の車両の画像の連続性をより効果的に保つことができる。

【0011】

すなわち、上記のように構成した本発明によれば、合成画像における各画像の境界の連続性の保持に関する新たな方法を提案することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の第１実施形態に係る画像処理装置の機能構成例を示すブロック図である。

【図2】リアカメラおよび右サイドカメラの設置位置および撮影範囲を示す図である。

【図3】リアカメラ撮影画像およびサイドカメラ撮影画像を示す図である。

【図4】自車両と後続車両との位置関係において設定される投影面を示す図である。

【図5】右側特定ルックアップテーブルのそれぞれについて、視点変換に用いられる起立投影面の距離を示す表である。

【図6】仮想画像座標系にリアカメラ撮影画像と右側仮想カメラの仮想的な撮影画像とを展開した様子を模式的に示す図である。

【図7】第１実施形態で得られる右側合成画像を示す図である。

【図8】本発明の第１実施形態に係る画像処理部の動作例を示すフローチャートである。

【図9】本発明の第２実施形態に係る画像処理装置の機能構成例を示すブロック図である。

【図10】異なるタイプの後続車両に対して設定される投影面を示す図である。

【図11】面形状情報に基づいて設定される起立投影面を右側仮想カメラの撮影画像と共に示す図である。

【図12】第２実施形態で得られる右側合成画像を示す図である。

【図13】本発明の第２実施形態に係る画像処理部の動作例を示すフローチャートである。

【図14】自車両および後続車両を投影面と共に示す図である。

【図15】本発明の第３実施形態に係る画像処理装置の機能構成例を示すブロック図である。

【図16】自車両と後続車両との位置関係において設定される投影面を示す図である。

【発明を実施するための形態】

【0013】

＜第１実施形態＞
以下、本発明の第１実施形態を図面に基づいて説明する。図１は、本実施形態に係る画像処理装置１の機能構成例を示すブロック図である。画像処理装置１は、運転手が車両の右サイドミラーＭＲまたは左サイドミラーＭＬを視認したときに確認できる風景と同等の風景を、これらミラーを視認したときには車体により遮蔽されて確認できない部分も含めて表示することが可能な装置である。

【0014】

図１に示すように、画像処理装置１には、右モニター２Ｒ、左モニター２Ｌ、リアカメラ３、右サイドカメラ４Ｒおよび左サイドカメラ４Ｌが接続されている。以下、画像処理装置１が搭載された車両を「自車両」という。

【0015】

右モニター２Ｒは、自車両のダッシュボードの右端部（車内において右サイドミラーＭＲに近い位置）に設けられた表示パネル（例えば、液晶表示パネルや、有機ＥＬ表示パネル等）である。左モニター２Ｌは、自車両のダッシュボードの左端部（車内において左サイドミラーＭＬに近い位置）に設けられた表示パネルである。右モニター２Ｒおよび左モニター２Ｌは、特許請求の範囲の「表示装置」に相当する。

【0016】

リアカメラ３は、自車両の後部に設けられた撮影装置である。右サイドカメラ４Ｒは、自車両の前部座席の右サイドドアの右サイドミラーＭＲに設けられた撮影装置である。左サイドカメラ４Ｌは、自車両の前部座席の左サイドドアの左サイドミラーＭＬに設けられた撮影装置である。

【0017】

図２は、リアカメラ３および右サイドカメラ４Ｒの設置位置および撮影範囲を説明するための図である。以下の説明では、右サイドカメラ４Ｒと左サイドカメラ４Ｌとを区別しない場合は「サイドカメラ４Ｒ，４Ｌ」と表現し、右サイドカメラ４Ｒの撮影画像と左サイドカメラ４Ｌの撮影画像とを区別しない場合は「サイドカメラ撮影画像」と表現する。

【0018】

図２に示すように、リアカメラ３は、自車両の後端において、自車両の幅方向の中央に設けられており、自車両の後方に向かう方向を撮影方向（光軸の方向）として撮影を実行する。図２において、符号ＨＢは、リアカメラ３の撮影範囲を模式的に示している。以下、リアカメラ３の撮影範囲を「リアカメラ撮影範囲ＨＢ」という。リアカメラ３は、魚眼レンズを有する魚眼カメラにより構成されている。リアカメラ３は、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、リアカメラ３が生成し、出力する撮影画像を「リアカメラ撮影画像」という。リアカメラ３は、特許請求の範囲の「第２カメラ」に相当し、リアカメラ撮影画像は、特許請求の範囲の「第２撮影画像」に相当する。

【0019】

図３（Ａ）は、リアカメラ撮影画像の一例を示している。なお、図３（Ａ）は、後述する第２実施形態の説明にも利用する。図３（Ａ）のリアカメラ撮影画像には、１台分の車両が通行可能な道路上で後続する後続車両の画像ＫＺｂが記録されている。また、リアカメラ撮影画像には、水平線を表す画像ＳＨｂが記録されている。

【0020】

図２に示すように、右サイドカメラ４Ｒは、車両の後方に対して、後方に向かうに従って右側に向かうように少しだけ傾いた方向を撮影方向（光軸の方向）として撮影を実行する。図２において、符号ＨＲは、右サイドカメラ４Ｒの撮影範囲を模式的に示している。右サイドカメラ４Ｒは、標準レンズにより撮影を実行する撮影装置であり、その撮影範囲の水平画角は、リアカメラ撮影範囲ＨＢの水平画角よりも小さい。以下、右サイドカメラ４Ｒの撮影範囲を「右サイドカメラ撮影範囲ＨＲ」という。

【0021】

図２に示すように、右サイドカメラ４Ｒの撮影範囲には、車両の車体に遮蔽された死角範囲ＤＨが形成される。死角範囲ＤＨについては、車体が遮蔽物となり、風景が撮影されない。リアカメラ３のリアカメラ撮影範囲ＨＢには、死角範囲ＤＨが含まれている。つまり、リアカメラ３は、死角範囲ＤＨの風景を撮影可能である。右サイドカメラ４Ｒは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、右サイドカメラ４Ｒが生成し、出力する撮影画像を「右サイドカメラ撮影画像」という。

【0022】

図３（Ｂ）は、図３（Ａ）のリアカメラ撮影画像が生成されたときの環境と同じ環境で右サイドカメラ４Ｒが生成する右サイドカメラ撮影画像の一例を示す図である。図３（Ｂ）に示すように、右サイドカメラ撮影画像の左端部には、自車両の車体の画像ＪＳｒが記録された死角領域ＤＲが形成されている。死角領域ＤＲは、右サイドカメラ４Ｒの右サイドカメラ撮影範囲ＨＲの死角範囲ＤＨ（図２参照）に対応する領域である。右サイドカメラ４Ｒは、車両の特定の位置に固定的に設けられるため、右サイドカメラ撮影画像の全領域における死角領域ＤＲの態様（位置、形状）は一定である。

【0023】

図３（Ｂ）で例示する右サイドカメラ撮影画像には、後続車両の画像ＫＺｒが記録されている。後続車両の画像ＫＺｒは、その一部が自車両の車体の画像ＪＳｒに覆われた状態である。また、右サイドカメラ撮影画像には、水平線を表す画像ＳＨｒが記録されている。

【0024】

左サイドカメラ４Ｌは、右サイドカメラ４Ｒと同一の性能の撮影装置であり、前部座席の左サイドドアに取り付けられた左サイドミラーＭＬに、右サイドカメラ４Ｒと同様の態様で設置されている。左サイドカメラ４Ｌは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、左サイドカメラ４Ｌが生成し、出力する撮影画像を「左サイドカメラ撮影画像」という。

【0025】

右サイドカメラ４Ｒおよび左サイドカメラ４Ｌは、特許請求の範囲の「第１カメラ」に相当し、右サイドカメラ撮影画像および左サイドカメラ撮影画像は、特許請求の範囲の「第１撮影画像」に相当する。

【0026】

図１に示すように、画像処理装置１は、機能構成として、撮影画像取得部１０、距離検出部１１、画像処理部１２および表示制御部１３を備えている。上記各機能ブロック１０〜１３は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０〜１３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭ等を備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。また、図１に示すように、画像処理装置１は、記憶手段として、ルックアップテーブル記憶部１４を備えている。ルックアップテーブル記憶部１４は、後述するように、各種ルックアップテーブルを記憶している。

【0027】

撮影画像取得部１０は、リアカメラ３からリアカメラ撮影画像を所定の周期で入力し、取得する。また、撮影画像取得部１０は、右サイドカメラ４Ｒから右サイドカメラ撮影画像を所定の周期で入力し、取得する。また、撮影画像取得部１０は、左サイドカメラ４Ｌから左サイドカメラ撮影画像を所定の周期で入力し、取得する。撮影画像取得部１０は、所定の周期で取得するリアカメラ撮影画像を距離検出部１１に出力する。また、撮影画像取得部１０は、所定の周期で取得するリアカメラ撮影画像、右サイドカメラ撮影画像および左サイドカメラ撮影画像を画像処理部１２に出力する。

【0028】

距離検出部１１は、撮影画像取得部１０から所定の周期でリアカメラ撮影画像を入力する。距離検出部１１は、リアカメラ撮影画像を入力する度に、合成画像において補完画像とサイドカメラ撮影画像との境界に画像が位置する注目対象物までの距離（以下、「対象物距離」という）を検出する。以下、距離検出部１１が対象物距離を検出するときの処理について詳述する。

【0029】

後述するように、合成画像は、サイドカメラ撮影画像の一部に対してリアカメラ撮影画像の一部に基づき生成される補完画像が重畳されることによって生成される。そして、リアカメラ撮影画像の特定領域ＭＭ（図３参照）に一の対象物の画像が記録されている場合、そのリアカメラ撮影画像の一部に基づく補完画像を利用して生成される合成画像の境界に、当該一の対象物の画像が位置することになる。特定領域ＭＭの態様は、事前のシミュレーションや、テストに基づいて適切に設定される。図３の例の場合、後続車両の画像ＫＺｂは、特定領域ＭＭ内に位置しているため、合成画像が生成されたときに、その合成画像における補完画像とサイドカメラ撮影画像との境界に、後続車両の画像が位置することになる。特定領域ＭＭに画像が位置している対象物は注目対象物の候補となる。

【0030】

距離検出部１１は、リアカメラ撮影画像の特定領域ＭＭに画像が含まれる注目対象物について、対象物距離を検出する。本実施形態では、距離検出部１１は、「注目対象物のリアカメラ３に向かう最前部（最もリアカメラ３側）」のリアカメラ３の光学原点からの距離を対象物距離として検出する。従って、注目対象物が自車両に後続する後続車両の場合、距離検出部１１は、後に使用する図４に示すように、基本的にはリアカメラ３の光学原点から後続車両のバンパーを含む最前部の面までの距離を対象物距離として検出する。

【0031】

距離検出部１１は、特定領域ＭＭに複数の対象物の画像が含まれる場合、距離を検出する対象とする１つの注目対象物を所定の方法で特定し、特定した注目対象物までの距離を対象物距離として検出する。所定の方法は、例えば、自車両に最も近い対象物を対象とする方法であり、また、特定領域ＭＭにおいて最も大きな面積を占める画像の対象物を対象とする方法である。また、静止している対象物よりも、移動している対象物を優先して注目対象物としてもよい。特定領域ＭＭに複数の対象物の画像が含まれる場合、距離検出部１１により距離が検出される対象となる対象物が「注目対象物」に相当する。

【0032】

距離検出部１１は、所定の周期で入力するリアカメラ撮影画像に基づいて、単眼カメラの撮影画像を利用した既存の測距技術を利用して、注目対象物についての対象物距離を検出する。なお、距離検出部１１は、距離の検出に必要な情報（例えば、自車両の移動に関する情報を用いて距離を検出する場合には、その情報）を不足なく適切に取得する。なお、距離検出部１１が注目対象物までの距離を測距する方法は、本実施形態で例示する方法に限らず、どのような方法であってもよい。例えば、リアカメラ撮影画像と共にサイドカメラ撮影画像を分析して距離を検出してもよく、自車両に設けられたステレオカメラの撮影結果を利用して距離を検出してもよく、測距用のレーダー（レーザーレーダーや、ミリ波レーダー等）等を用いて距離を検出してもよい。

【0033】

なお、注目対象物が存在しない場合もある。この場合、画像処理部１２により後述する加工ルックアップテーブルの生成は行われず、補完画像の生成は、このような場合に使用することが予め定められているルックアップテーブル（後述する起立投影面までの距離が所定値のルックアップテーブル）を用いて行われる。以下では、注目対象物が存在し、距離検出部１１により注目対象物までの対象物距離が検出されたものとして、画像処理装置１の処理を説明する。

【0034】

ルックアップテーブル記憶部１４は、異なる複数の起立投影面の距離に対応する複数の特定ルックアップテーブルを記憶する。より詳細には、ルックアップテーブル記憶部１４は、右側合成画像（後述）の生成に用いられる複数の右側特定ルックアップテーブル（特定ルックアップテーブル）と、左側合成画像（後述）の生成に用いられる複数の左側特定ルックアップテーブル（特定ルックアップテーブル）とを記憶する。

【0035】

右側特定ルックアップテーブルとは、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲ＤＨを仮想的に撮影することによって生成される撮影画像（＝補完画像）」に変換するために用いられるマッピングテーブルである。右側仮想カメラとは、右サイドカメラ４と同じ撮影方向、撮影範囲の仮想的な撮影装置のことであり、所定の撮影画像を、右サイドカメラ４の視点に視点変換する際に概念的に用いられる。

【0036】

右側特定ルックアップテーブルは、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する。なお、上述したように、右サイドカメラ撮影画像の全領域における死角領域ＤＲの態様（位置、形状）は一定であり、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置は事前に特定されている。

【0037】

右側特定ルックアップテーブルの対応関係情報は、リアカメラ３の視点を右側仮想カメラの視点に変換するという観点の下、車両座標系におけるリアカメラ３および右側仮想カメラの配置位置および配置角度、リアカメラ３の仕様（投影方法や、画角、ディストーション（レンズの歪み）、解像度等）、右側仮想カメラの仕様、その他の要素を反映して事前に適切に設定されている。

【0038】

特に、本実施形態では、右側特定ルックアップテーブルのそれぞれは、リアカメラ３の視点から右側仮想カメラの視点への視点変換に用いられる起立投影面の距離が異なっている。図４は、起立投影面を説明するため、自車両と、注目対象物としての後続車両とを横から見た様子を模式的に示す図である。図４に示すように、本実施形態では、起立投影面は、路面に対応して水平に拡がる路面投影面に対して垂直に立ち上がった垂直面のことを意味する。視点変換に際しては、起立投影面と路面投影面とにより投影面が構成され、この投影面が視点変換に用いられる。図４に示すように、本実施形態では、起立投影面の距離は、リアカメラ３の光学原点から起立投影面までの距離を意味する。

【0039】

図５は、右側特定ルックアップテーブルのそれぞれについて、視点変換に用いられる起立投影面の距離を示す表である。図５の表に示すように、右側特定ルックアップテーブルの起立投影面の距離は、「０．５メートル」、「１メートル」、「２メートル」、「３メートル」、「４メートル」、「５メートル」、「７メートル」、「１０メートル」、「２０メートル」、「３０メートル」である。

【0040】

なお、左側特定ルックアップテーブルのそれぞれの内容は、右側特定ルックアップテーブルのそれぞれの内容と同様である。

【0041】

画像処理部１２は、撮影画像取得部１０により取得されたリアカメラ撮影画像の一部を画像変換することによって、撮影画像取得部１０により取得されたサイドカメラ撮影画像における死角範囲ＤＨに対応する死角領域ＤＲを補完する補完画像を生成し、死角領域ＤＲに補完画像を合成して合成画像を生成する。そして、補完画像の生成に際し、画像処理部１２は、上述した特定ルックアップテーブルを加工して、その起立投影面の距離が、距離検出部１１により検出された注目対象物までの距離を反映した距離となる加工して加工ルックアップテーブルを生成し、生成した加工ルックアップテーブルを用いてリアカメラ撮影画像の一部を補完画像に変換する。

【0042】

以下、画像処理部１２の処理について、右サイドカメラ４Ｒの右サイドカメラ撮影画像、および、リアカメラ３のリアカメラ撮影画像に基づいて、右側合成画像（合成画像）を生成する場合を例にして詳述する。なお、画像処理部１４は、右側合成画像の生成と並行して、左サイドカメラ撮影画像およびリアカメラ撮影画像に基づいて左側合成画像（合成画像）を生成する。

【0043】

画像処理部１２は、撮影画像取得部１０からリアカメラ撮影画像および右サイドカメラ撮影画像を所定の周期で入力し、入力したこれらの撮影画像に基づいて合成画像生成処理を実行する。合成画像生成処理とは、合成画像（本例の場合は、右側合成画像）を生成する処理である。画像処理部１２は、所定の周期で合成画像生成処理を実行して右側合成画像を生成し、生成した右側合成画像を表示制御部１３に出力する。以下、合成画像生成処理について詳述する。なお、以下では、右側合成画像を生成する合成画像生成処理について説明するが、実際には、この処理と同期して左側合成画像を生成する合成画像生成処理が実行される。

【0044】

合成画像生成処理において、まず、画像処理部１２は、合成画像生成処理を実行するタイミングにおいて距離検出部１１により検出された対象物距離を認識する。次いで、画像処理部１２は、右側特定ルックアップテーブルのうち、起立投影面の距離が、対象物距離よりも小さく、対象物距離に最も近い距離である右側特定ルックアップテーブルを特定する。例えば、対象物距離が「２．１メートル」の場合、画像処理部１２は、起立投影面の距離が「２メートル」の右側特定ルックアップテーブルを特定する。以下、ここで特定された右側特定ルックアップテーブルを「小側ルックアップテーブル」（特許請求の範囲の「小さい側の特定ルックアップテーブル」に相当）という。

【0045】

次いで、画像処理部１２は、右側特定ルックアップテーブルのうち、起立投影面の距離が、対象物距離よりも大きく、対象物距離に最も近い距離である右側ルックアップテーブルを特定する。例えば、対象物距離が「２．１メートル」の場合、画像処理部１２は、起立投影面の距離が「３メートル」の右側ルックアップテーブルを特定する。以下、ここで特定された右側特定ルックアップテーブルを「大側ルックアップテーブル」（特許請求の範囲の「大きい側の特定ルックアップテーブル」に相当）という。

【0046】

次いで、画像処理部１２は、小側ルックアップテーブルおよび大側ルックアップテーブルを、起立投影面の距離と対象物距離とが近ければ近いほど、最終的に生成される加工ルックアップテーブルに対する反映度が大きくなるように加工して、加工ルックアップテーブルを生成する。より具体的には、画像処理部１２は、小側ルックアップテーブルに係る起立投影面の距離および対象物距離の差と、大側ルックアップテーブルに係る起立投影面の距離および対象物距離の差との比が、大側ルックアップテーブルの加工ルックアップテーブルに対する反映度と、小側ルックアップテーブルの加工ルックアップテーブルに対する反映度との比となるように各テーブルを加工して加工ルックアップテーブルを生成する。以下、加工ルックアップテーブルの生成について詳述する。

【0047】

加工ルックアップテーブルの生成に際し、まず、画像処理部１２は、小側ルックアップテーブルに係る起立投影面の距離および対象物距離の差Ｓ１（絶対値）と、大側ルックアップテーブルに係る起立投影面の距離および対象物距離の差Ｓ２（絶対値）との比を算出する。対象物距離が「２．１メートル」の場合、「差Ｓ１：差Ｓ２」は、［「２．１メートル」−「２メートル」］：［「３メートル」−「２．１メートル」］であり、「１：９」となる。

【0048】

「差Ｓ１：差Ｓ２」を算出した後、画像処理部１２は、「差Ｓ１：差Ｓ２」を利用して、右側仮想カメラの死角領域ＤＲを構成する全てのドットについて、リアカメラ撮影画像の対応するドットを特定する。以下、右側仮想カメラのある特定のドット（「特定ドットＤＸ」とする）について、リアカメラ撮影画像の対応するドット（「対応ドットＤＱ」とする）を特定する処理について図６を用いて詳述する。図６（Ａ）は、第１画像座標系に展開したリアカメラ撮影画像を模式的に示している。図６（Ｂ）は、第２仮想座標系に展開した右側仮想カメラの仮想的な撮影画像を模式的に示している。

【0049】

図６（Ａ）において、符号ＤＹのドット（「小側ドットＤＹ」とする）は、小側ルックアップテーブルにおいて、特定ドットＤＸと対応付けられているドットである。また、図６（Ａ）において、符号ＤＺのドット（「大側ドットＤＺ」とする）は、大側ルックアップテーブルにおいて、特定ドットＤＸと対応付けられているドットである。以上の状況の下、画像処理部１２は、第１画像座標系において、小側ドットＤＹと大側ドットＤＺを結ぶ線分において、以下の式ＳＫ１を満たすドットを対応ドットＤＱとする。
［式ＳＫ１］ 小側ドットＤＹからの距離：大側ドットＤＺからの距離＝差Ｓ１：差Ｓ２
このようにして特定される対応ドットＤＱは、「小側ルックアップテーブルの反映度：大側ルックアップテーブルの反映度」＝「差Ｓ２：差Ｓ１」となる。

【0050】

画像処理部１２は、以上の方法で、右側仮想カメラの死角領域ＤＲを構成する全てのドットについてリアカメラ撮影画像の対応するドットを特定した後、右側仮想カメラの死角領域ＤＲを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する加工ルックアップテーブルを生成する。以上のようにして生成された加工ルックアップテーブルは、視点変換に使用する起立投影面の距離が、対象物距離に相当する距離となったルックアップテーブルである。

【0051】

以上、加工ルックアップテーブルを生成する方法について説明したが、加工ルックアップテーブルを生成する方法は例示した方法に限らず、起立投影面の距離が、対象物距離を反映した距離となるような方法で生成されればよい。例えば、図４に示すように、対象物距離が「γメートル」であり、小側ルックアップテーブルの起立投影面の距離が「αメートル」、大側ルックアップテーブルの起立投影面の距離が「βメートル」であるとすると、概念的に下記の式ＳＫ２が満たされるような方法で加工ルックアップテーブルが生成されればよい。
［式ＳＫ２］ 加工ルックアップテーブル＝小側ルックアップテーブル×（β−γ）／（β−α）＋大側ルックアップテーブル×（γ−α）／（β−α）

【0052】

なお、対象物距離が０．５メートル以下の場合は、起立投影面の距離が「０．５メートル」の右側特定ルックアップテーブルが「加工ルックアップテーブル」となり、対象物距離が「３０メートル」以上の場合は、起立投影面の距離が「３０メートル」の右側特定ルックアップテーブルが「加工ルックアップテーブル」となる。

【0053】

さて、加工ルックアップテーブルを生成した後、画像処理部１２は、生成した加工ルックアップテーブルを用いてリアカメラ撮影画像の一部を補完画像に変換する。この補完画像は、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する各ドットの画素値が、加工ルックアップテーブルに基づいて、リアカメラ撮影画像の対応する各ドットの画素値によって置き換えられた画像である。画像処理部１２は、右サイドカメラ撮影画像の死角領域ＤＲに、生成した補完画像を合成（重畳）することによって右側合成画像を生成する。

【0054】

図７は、図３（Ａ）のリアカメラ撮影画像および図３（Ｂ）の右サイドカメラ撮影画像に基づく合成画像生成処理により生成される右側合成画像を示している。図７では、右サイドカメラ撮影画像と、補完画像との境界に破線を引いているが、実際にはこの破線は記録されない。図７に示すように、右側合成画像では、右サイドカメラ撮影画像の死角領域ＤＲが、リアカメラ撮影画像に基づく補完画像によって補われた状態となる。

【0055】

以上の処理が右側合成画像を生成する合成画像処理である。画像処理部１２は、合成画像生成処理で生成した右側合成画像を表示制御部１３に出力する。この結果、所定の周期で合成画像生成処理が実行され、所定の周期で右側合成画像が表示制御部１３に出力される。詳細は省略するが、画像処理部１２は、左側合成画像に係る合成画像生成処理を所定の周期で行い、左側合成画像を所定の周期で表示制御部１３に出力する。

【0056】

表示制御部１３は、所定の周期で画像処理部１２から合成画像（右側合成画像および左側合成画像）を入力し、右側合成画像を右モニター２Ｒに表示し、左側合成画像を左モニター２Ｌに表示する。この結果、右モニター２Ｒには、リアカメラ３および右サイドカメラ４Ｒの撮影結果がリアルタイムに反映された動画として、車両の右サイドミラーＭＲを視認したときに確認できる風景と同等の風景が、右サイドミラーＭＲを視認したときには車体により遮蔽されて確認できない部分も含めて表示される。左モニター２Ｌについても同様である。

【0057】

次に、上述した方法で合成画像生成処理が行われることの意義、効果について説明する。以下の説明では、合成画像における右サイドカメラ撮影画像と補完画像との境界を単に「境界」という。

【0058】

ここで、リアカメラ撮影画像に対して特定の距離の起立投影面を用いた視点変換を行って補完画像を生成した場合において、起立投影面のまでの距離と注目対象物までの距離とが一致している場合、合成画像の境界において注目対象物の画像の連続性が保たれる。連続性が保たれるとは、注目対象物の画像について、境界で区切られた一方の領域と他方の領域とで対象物の大きさが大きく異なったり、対象物の同じ部分の画像が両方の領域に重複して記録されたり、対象物の一部の画像がどちらの領域にも記録されなかったりすることなく、一方の領域に表示された画像と、他方の領域に記録された画像とが整合をもって連続することを意味する。ただし、境界において注目対象物の画像の連続性が保たれている状態には、境界を跨いで画像が一貫性をもって完璧に接続されている状態だけではなく、ユーザーが視認したときに強い違和感を覚えない程度に注目対象物の画像が境界を跨いである程度整合的に連続している状態を含む。

【0059】

一方、リアカメラ撮影画像に対して特定の距離の起立投影面を用いた視点変換を行って補完画像を生成した場合において、注目対象物が当該特定の距離の起立投影面から外れている場合（＝対象物距離と、起立投影面との距離が異なる場合）については、境界において注目対象物の画像の連続性が保たれない。

【0060】

そして、本実施形態によれば、合成画像に合成される補完画像は、対象物距離に相当する距離の起立投影面を用いて視点変換を行う加工ルックアップテーブルに基づいて生成されるため、合成画像の境界において、注目対象物の画像の連続性をできるだけ保つことができる（図７参照）。

【0061】

ただし、注目対象物についての対象物距離は、その注目対象物のリアカメラ３に対向する側の面の最前部までの距離である。そのため、注目対象物のリアカメラ３に対向する面のうち、最前部までの距離（＝対象物距離）は起立投影面の距離と一致する一方、最前部以外の部分までの距離は起立投影面の距離と一致しない。従って、最前部以外の部分については、最前部と比較して、境界における画像の連続性が劣ることになる。例えば、図７に示すように、注目対象物が後続車両である場合において、後続車両のバンパー部分の画像は連続性が保たれる一方、バンパー部分よりも後方に位置するフロントガラス部分の画像については、連続性が劣化した状態となる。

【0062】

更に、本実施形態では、ルックアップテーブル記憶部１４には、視点変換に使用する起立投影面までの距離が異なる１０個の特定ルックアップテーブルが記憶されている。そして、補完画像を生成する際に、都度、小側ルックアップテーブルおよび大側ルックアップテーブルに基づいて加工ルックアップテーブルが生成され、加工ルックアップテーブルにより補完画像が生成される。この構成のため、起立投影面の距離が取り得る値ごとにルックアップテーブルを記憶しておく必要がなく、このようにする場合と比較して、記憶すべきデータのデータ量を低減することができる。

【0063】

更に、本実施形態では、ルックアップテーブル記憶部１４には、「０．５、１、２、３、４、５、７、１０、２０、３０メートル」の起立投影面に係る１０個の特定ルックアップテーブルが記憶されている。このように、ルックアップテーブル記憶部１４に記憶された複数の特定ルックアップテーブルの起立投影面の距離の間隔は、「０．５→１→２→３→１０メートル」と、起立投影面の距離が大きいほど大きくなっている。これにより以下の効果を奏する。

【0064】

すなわち、起立投影面の距離が小さければ小さいほど、起立投影面の距離を一単位だけ大きくしたときに生成される補完画像における注目対象物の画像の内容の変化が大きい。補完画像における注目対象物の画像の内容の変化とは、補完画像における注目対象物の画像の大きさの変化や、位置の変化を総合的に勘案した変化の度合いを概念的に示すものである。例えば、「０．５メートル」の起立投影面を用いて生成される補完画像における注目対象物の画像の内容と、「１メートル」の起立投影面を用いて生成される補完画像における注目対象物の画像の内容との変化の度合いは、起立投影面の距離を「２０メートル」から「２０．５メートル」へと変化させたときの補完画像における注目対象物の画像の内容の変化の度合いと比較して大きい。

【0065】

これを踏まえ、起立投影面の距離が大きくなるほど起立投影面の距離の間隔を大きくすることにより、換言すれば、起立投影面の距離が小さくなるほど起立投影面の距離の間隔を小さくすることにより、起立投影面の距離の変化に対する注目対象物の画像の変化の度合いが大きい状態のときほど、対象物距離により近い距離の起立投影面の特定ルックアップテーブルを用いて加工ルックアップテーブルを生成することができ、高い精度の加工ルックアップテーブルを効果的に生成することができる。

【0066】

次に、本実施形態に係る画像処理装置１の動作例についてフローチャートを用いて説明する。図８のフローチャートＦＡは、画像処理部１２が、リアカメラ撮影画像および右サイドカメラ撮影画像に基づいて合成画像生成処理を生成し、右側合成画像を生成するときの処理の詳細を示すフローチャートである。上述したように、画像処理装置１の画像処理部１２は、所定の周期で合成画像生成処理を実行する。

【0067】

図８に示すように、合成画像生成処理において、画像処理部１２は、距離検出部１１により検出された対象物距離を認識する（ステップＳＡ１）。次いで、画像処理部１２は、小側ルックアップテーブルを特定する（ステップＳＡ２）。次いで、画像処理部１２は、大側ルックアップテーブルを特定する（ステップＳＡ３）。次いで、画像処理部１２は、小側ルックアップテーブルおよび大側ルックアップテーブルに基づいて加工ルックアップテーブルを生成する（ステップＳＡ４）。次いで、画像処理部１２は、生成した加工ルックアップテーブルを用いてリアカメラ撮影画像を補完画像に変換する（ステップＳＡ５）。次いで、画像処理部１２は、右サイドカメラ撮影画像の死角領域ＤＲに、生成した補完画像を合成することによって右側合成画像を生成する（ステップＳＡ６）。

【0068】

＜第２実施形態＞
次に、第２実施形態について説明する。図９は、第２実施形態に係る画像処理装置１Ａの機能構成例を示すブロック図である。以下の第２実施形態の説明では、第１実施形態と同じ構成要素については同一の符号を付し、その説明を省略する。

【0069】

図９に示すように、本実施形態に係る画像処理装置１Ａは、撮影画像取得部１０に代えて撮影画像取得部１０Ａを備え、画像処理部１２に代えて画像処理部１２Ａを備えている。また、画像処理装置１Ａは、機能構成として面形状検出部１５を更に備え、記憶手段として車両関連情報記憶部１６を更に備えている。車両関連情報記憶部１６は、後述するように車両タイプと面形状情報とを対応付けて記憶している。

【0070】

撮影画像取得部１０Ａは、第１実施形態に係る撮影画像取得部１０と同様の処理を実行し、更に、所定の周期でリアカメラ撮影画像を面形状検出部１５に出力する。

【0071】

面形状検出部１５は、注目対象物が自車両に後続する後続車両である場合に、その後続車両のリアカメラ３に対向する面の形状を検出する。詳述すると、面形状検出部１５は、リアカメラ撮影画像を入力する度に、リアカメラ撮影画像に記録されている注目対象物の画像が後続車両の画像であるか否かを判定する。第１実施形態で説明したように、注目対象物は、リアカメラ撮影画像の特定領域ＭＭに画像が存在する対象物であって、所定のルールによって選択されるものである。注目対象物の画像が後続車両の画像である場合、基本的には、後続車両の画像は、後続車両のリアカメラ３に対向する面（進行方向側の面）の画像である。当該判定は、パターンマッチング等の既存の画像認識処理により適切に行われる。

【0072】

注目対象物の画像が後続車両の画像である場合、面形状検出部１５は、後続車両の車両タイプを特定する。本実施形態において、車両タイプとは、車両の進行方向の面の形状により分類されたタイプを意味し、タイプＡ、タイプＢおよびタイプＣがある。

【0073】

図１０（Ａ）は、自車両、および、自車両に後続するタイプＡの後続車両を横から見た様子を模式的に示す図である。図１０（Ａ）に示すように、タイプＡの車両は、フロントガラスの基端部よりも前方に延在するボンネットの長さが、タイプＢと比較して長いタイプの車両である。一般に、セダンやスポーツカーはタイプＡに属する。図１０（Ｂ）は、自車両、および、自車両に後続するタイプＢの後続車両を横から見た様子を模式的に示す図である。図１０（Ｂ）に示すように、タイプＢの車両は、フロントガラスの基端部よりも前方に延在するボンネットの長さが、タイプＡと比較した短いタイプの車両である。一般に、ミニバンやバンはタイプＢに属する。図１０（Ｃ）は、自車両、および、自車両に後続するタイプＣの後続車両を横から見た様子を模式的に示す図である。図１０（Ｃ）に示すように、タイプＣの車両は、車両の先端部にボンネットがないタイプの車両である。一般に、トラックはタイプＣに属する。

【0074】

なお、車両タイプは、図１０を用いて例示したもの以外のタイプが含まれていてもよく、個数も３つに限らない。

【0075】

面形状検出部１５は、パターンマッチング等の既存の画像認識処理により注目対象物としての後続車両の車両タイプを適切に特定する。車両タイプを特定した後、面形状検出部１５は、車両関連情報記憶部１６を参照し、特定した車両タイプに対応する面形状情報を取得する。車両関連情報記憶部１６には、車両タイプごとに、車両タイプと面形状情報とが対応付けて記憶されている。

【0076】

ここで、面形状情報は、図１０の各図に示すように、起立投影面を想定した仮想的な平らな面の地面に対する角度ＫＤ、その平らな面と地面との接点の車両の前端部からの調整量ＴＲ、および、その平らな面の高さＴＳ（＝平らな面の頂上部の地面からの高さ）を車両タイプごとに定めた情報である。この場合の平らな面は、車両の進行方向側の面にできるだけ沿うように地面に設置した面である。

【0077】

図１０（Ａ）に示すように、タイプＡの場合、ボンネットが比較的長く突出していることに起因して、タイプＢ、Ｃと比較して、角度ＫＤは小さく、調整量ＴＲは大きい。一方、タイプＣの場合、ボンネットがないことに起因して、タイプＡ、Ｂと比較して、角度ＫＤは小さく、調整量ＴＲは小さい。タイプＢに係る角度ＫＤおよび調整量ＴＲの値は、タイプＡ，Ｃに係る角度ＫＤおよび調整量ＴＲの間の値である。

【0078】

面形状検出部１５は、取得した面形状情報を画像処理部１２Ａに出力する。なお、注目対象物が自車両に後続する後続車両ではない場合は、以上の面形状検出部１５の処理は実行されず、画像処理部１２Ａは、第１実施形態と同じ方法で合成画像を生成する。

【0079】

画像処理部１２Ａは、合成画像生成処理において以下の処理を実行する。以下、右サイドカメラ撮影画像およびリアカメラ撮影画像に基づいて右側合成画像を生成する合成画像生成処理を実行するときの画像処理部１２Ａの処理について説明する。

【0080】

合成画像生成処理において、まず、画像処理部１２Ａは、面形状検出部１５から入力する面形状情報に含まれる角度ＫＤ、調整量ＴＲおよび高さＴＳを認識する。次いで、画像処理部１２Ａは、特定ルックアップテーブルを加工して、以下の起立投影面を用いて視点変換を行う加工ルックアップテーブルを生成する。すなわち、起立投影面は、地面からの高さＴＳの範囲において、対象物距離から調整量ＴＲを差し引いた位置を起点として角度ＫＤだけ傾いた第１投影面ＴＭ１を有し、高さＴＳを超えた範囲において、「３０メートル」の位置で垂直に起立する第２投影面ＴＭ２を有する。以下、対象物距離から調整量ＴＲを引いた距離を「調整距離」という。

【0081】

図１１は、面形状情報に基づく起立投影面を右側仮想カメラの仮想的な撮影画像と共に模式的に示す図である。以下、図１１を用いて加工ルックアップテーブルを生成するときの画像処理部１２Ａの処理について詳述する。まず、画像処理部１２Ａは、右側仮想カメラの仮想的な撮影画像において、死角領域ＤＲのうち、第１投影面ＴＭ１に対応する領域（画像の投影に第１投影面ＴＭ１が利用される領域）である第１投影面対応領域ＡＲ１（図１１（ｂ）参照）を特定する。第１投影面対応領域ＡＲの態様は、調整距離、角度ＫＤおよび高さＴＳにより一意に定まる。これを踏まえ、画像処理部１２Ａは、調整距離、角度ＫＤおよび高さＴＳをパラメーターとして利用する所定のアルゴリズムを用いて、第１投影面対応領域ＡＲ１を特定する。

【0082】

第１投影面対応領域ＡＲ１を特定した後、画像処理部１２Ａは、第１投影面対応領域ＡＲ１を構成するドットラインごとに以下の処理を行う。ドットラインとは、左右方向に延びる１行分のドットのラインを意味する。以下、第１投影面対応領域ＡＲ１を構成するドットラインのうち、ある１つのドットラインＬ１（図１１（ｂ）参照）について画像処理部１２Ａが実行する処理を説明する。

【0083】

まず、画像処理部１２Ａは、第１投影面ＴＭ１において、ドットラインＬ１に対応するポイントＰ１（図１１（ａ）参照）を特定する。次いで、画像処理部１２Ａは、ポイントＰ１における投影面の距離（＝リアカメラ３からポイントＰ１までの距離）を算出する。画像処理部１２Ａは、面形状情報に基づいて、ポイントＰ１における投影面の距離を算出する。図１１の例では、ポイントＰ１における投影面の距離は、「４．２５メートル」であるものとする。

【0084】

次いで、画像処理部１２Ａは、ドットラインＬ１に含まれる全てのドットについて、各ドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置との対応関係が定義されたドットライン対応関係情報を生成する。

【0085】

ドットラインＬ１についてのドットライン対応関係情報を算出する処理について詳述する。上述の通り、ドットラインＬ１に対応するポイントＰ１の投影面の距離は「４．２５メートル」である。この場合において、まず、画像処理部１２Ａは、第１実施形態と同様の方法で、ルックアップテーブル記憶部１４に記憶された右側特定ルックアップテーブルのうち、小側ルックアップテーブル（本例の場合、起立投影面の距離が「４メートル」の右側特定ルックアップテーブル）、および、大側ルックアップテーブル（本例の場合、起立投影面の距離が「５メートル」の右側特定ルックアップテーブル）を特定する。

【0086】

更に、画像処理部１２Ａは、小側ルックアップテーブルに係る起立投影面の距離およびドットラインＬ１に対応するポイントＰ１の投影面の距離の差Ｓ１（絶対値）と、大側ルックアップテーブルに係る起立投影面の距離およびドットラインＬ１に対応するポイントＰ１の投影面の距離の差Ｓ２（絶対値）との比を算出する。本例では、「差Ｓ１：差Ｓ２」＝「１：３」である。

【0087】

「差Ｓ１：差Ｓ２」を算出した後、画像処理部１２は、ドットラインＬ１に含まれる全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられたドットライン対応関係情報を生成する。画像処理部１２は、第１実施形態において小側ルックアップテーブルと大側ルックアップテーブルとを加工して加工ルックアップテーブルを生成するときと同様の方法で、小側ルックアップテーブルのドットライン対応関係情報に対する反映度と、大側ルックアップテーブルのドットライン対応関係情報に対する反映度との比が、「差Ｓ２：差Ｓ１」となるように、各テーブルを加工してドットライン対応関係情報を生成する。

【0088】

以上の処理が、ドットラインＬ１について画像処理部１２Ａが実行する処理である。画像処理部１２Ａは、第１投影面対応領域ＡＲ１を構成するドットラインごとに以上の処理を行って、ドットラインごとにドットライン対応関係情報を生成する。ドットラインごとにドットライン対応関係情報を生成した後、画像処理部１２Ａは、ドットラインごとのドットライン対応関係情報に基づいて、加工ルックアップテーブルを生成する。

【0089】

より詳細には、画像処理部１２Ａは、第１投影面対応領域ＡＲ１を構成するドットについては、ドットラインごとのドットライン対応関係情報に基づいてドット位置が定義され、第２投影面ＴＭ２に対応する第２投影面対応領域ＡＲ２（図１１（ｂ）参照）を構成するドットについては、起立投影面の距離が「３０メートル」の右側特定ルックアップテーブルに基づいてドット位置が定義され、路面投影面に対応する路面投影面対応領域ＡＲ３（図１１（ｂ）参照）を構成するドットについては、路面投影面を用いてリアカメラ３の視点を右側仮想カメラ視点変換するための所定のアルゴリズムを利用してドット位置が定義された加工ルックアップテーブルを生成する。

【0090】

加工ルックアップテーブルを生成した後、画像処理部１２は、生成した加工ルックアップテーブルを用いてリアカメラ撮影画像を補完画像に変換し、補完画像を右サイドカメラ撮影画像に合成して右側合成画像を生成する。

【0091】

なお、上記例では、１行のドットラインごとにドットライン対応関係情報を生成した。この点に関し、複数行のまとまったドットラインごとにドットライン対応関係情報を生成する構成でもよい。ただし、１つのドットライン対応関係情報を生成する対象とするドットラインの行数が小さければ小さいほど、第１投影面対応領域ＡＲ１において、上下方向により細かく投影面が用いられることになるため、最終的に生成される補完画像の第１投影面対応領域ＡＲ１において、画像が上下方向に滑らかに接続されることになる。しかしながら、１つのドットライン対応関係情報を生成する対象とするドットラインの行数が小さければ小さいほど、より細かくドットライン対応関係情報を算出する必要が生じ、処理負荷が増大する。

【0092】

次に、本実施形態に係る方法で合成画像生成処理が行われることの意義、効果について説明する。図１２は、本実施形態に係る方法で合成画像生成処理が行われることによって生成された右側合成画像を示している。第１実施形態では、起立投影面として路面投影面に対して垂直に起立する投影面を用いて画像変換が行われることに起因して、後続車両が注目対象物の最前部の面以外の面の画像については、最前部の面の画像と比較して、合成画像の境界における連続性が劣ってしまう（図７参照）という課題があった。一方で、本実施形態では、注目対象物が後続車両の場合には、その後続車両の進行方向の面の形状に即した投影面が用いられて画像変換が行われるため、第１実施形態の場合と比較し、後続車両の画像の上下方向の全域において、境界における連続性をより良好に保つことができる（図１２）。

【0093】

次に、本実施形態に係る画像処理装置１の動作例についてフローチャートを用いて説明する。図１３のフローチャートＦＢは、画像処理部１２Ａが、リアカメラ撮影画像および右サイドカメラ撮影画像に基づいて合成画像生成処理を生成し、右側合成画像を生成するときの処理の詳細を示すフローチャートである。

【0094】

図１３に示すように、画像処理部１２Ａは、面形状検出部１５から入力する面形状情報に含まれる角度ＫＤ、調整量ＴＲおよび高さＴＳを認識する（ステップＳＢ１）。次いで、画像処理部１２Ａは、右側仮想カメラの仮想的な撮影画像における第１投影面対応領域ＡＲ１を特定する（ステップＳＢ２）。次いで、画像処理部１２Ａは、第１投影面対応領域ＡＲ１を構成するドットラインごとに、ドットラインに含まれる各ドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置との対応関係が定義されたドットライン対応関係情報を生成する（ステップＳＢ３）。

【0095】

次いで、画像処理部１２Ａは、ステップＳＢ３で生成したドットライン対応関係情報を用いて、加工ルックアップテーブルを生成する（ステップＳＢ４）。次いで、画像処理部１２は、ステップＳＢ４で生成した加工ルックアップテーブルを用いてリアカメラ撮影画像を補完画像に変換する（ステップＳＢ５）。次いで、画像処理部１２Ａは、ステップＳＢ５で生成した補完画像を右サイドカメラ撮影画像に合成して右側合成画像を生成する（ステップＳＢ６）。

【0096】

＜第２実施形態の変形例＞
次に、第２実施形態の変形例について説明する。

【0097】

＜第１の変形例＞
第２実施形態では、後続車両の前面に沿った第１投影面ＴＭ１は、地面投影面に対して所定角度だけ傾いた平らな面であった。この点に関し、図１４（Ａ）〜（Ｃ）に示すように、第１投影面ＴＭ１は、後続車両の前面に沿って適切に屈折する面であってもよい。この場合、車両関連情報記憶部１６に記憶される面形状情報は、第１投影面ＴＭ１の形状を適切に表す情報（例えば、屈曲部分ごとの位置および角度に関する情報を含む情報）とされる。

【0098】

＜第２の変形例＞
また、第２実施形態では、面形状検出部１５は、リアカメラ撮影画像を分析して後続車両の車両タイプを特定し、車両タイプに対応する面形状情報に基づいて、後続車両のリアカメラ３に対向する面の形状を検出した。この点に関し、面形状検出部１５がリアカメラ撮影画像を分析し、注目対象物の面の形状を検出する構成でもよい。

【0099】

この場合において、面形状検出部１５は、第２実施形態のように地面から延在する平らな面として注目対象物の面の形状を検出してもよく、第１の変形例のように、後続車両の前面に沿って適切に屈折する面として注目対象物の面の形状を検出してもよい。前者の方法の場合、例えば、距離検出部１１は、リアカメラ撮影画像（歪み補正後の画像であってもよい）における注目対象物（＝後続車両）の画像上における上下方向の２点の距離を検出する。次いで、面形状検出部１５は、検出した２点の距離に位置する仮想点を通る平面を第１投影面ＴＭ１として検出する。

【0100】

＜第３の変形例＞
第２実施形態では、注目対象物が後続車両である場合に、その後続車両の面の形状に対応する起立投影面を用いた画像変換により補完画像を生成した。この点に関し、注目対象物が後続車両以外の物体の場合にも、その物体の面の形状に対応する起立投影面を用いて画像変換を行う構成でもよい。この場合、面形状検出部１５は、例えば、第２の変形例で例示した方法により、注目対象物に係る物体の面の形状を検出する。

【0101】

＜第４の変形例＞
第２実施形態では、ルックアップテーブル記憶部１４に記憶された特定ルックアップテーブルを用いて加工ルックアップテーブルを生成し、加工ルックアップテーブルを用いて補完画像を生成する構成であった。一方で、第２実施形態において、補完画像の生成に使用するルックアップテーブルは、上記方法で生成された加工ルックアップテーブルではなくてもよい。例えば、所定の範囲内で対象物距離が取り得る値ごとに、車両タイプごとのルックアップテーブルを記憶しておき、適切なルックアップテーブルを用いて補完画像を生成する構成でもよい。また、画像処理部１２Ａが、対象物距離や、面形状情報等をパラメーターとして使用する所定のアルゴリズムで都度、補完画像を生成するためのルックアップテーブルを生成する構成でもよい。

【0102】

＜第３実施形態＞
次に、第３実施形態について説明する。図１５は、第３実施形態に係る画像処理装置１Ｂの機能構成例を示すブロック図である。以下の第３実施形態の説明では、第１実施形態と同じ構成要素については同一の符号を付し、その説明を省略する。

【0103】

図１５に示すように、本実施形態に係る画像処理装置１Ｂは、画像処理部１２に代えて画像処理部１２Ｂを備えている。また、画像処理装置１Ｂは、機能構成として路面形状検出部２０を更に備えている。

【0104】

路面形状検出部２０は、自車両から前記注目対象物に至る路面の形状を検出する。例えば、路面形状検出部２０は、ＧＰＳユニット等で検出された自車両の位置と、自車両に搭載された装置（画像処理装置１、１Ａであってもよく、他の装置でもよい）や、ネットワークを介して接続されたサーバー等が記憶する道路情報とに基づいて、自車両の後方の路面の形状を検出する。リアカメラ撮影画像や、サイドカメラ撮影画像、「リアカメラ３およびサイドカメラ４Ｒ，４Ｌ以外のカメラの撮影画像」、レーダー装置等を用いて自車両の後方の路面の形状を検出する構成でもよい。また、自車両の走行の軌跡を記録し、これを利用して路面の形状を検出する構成でもよい。

【0105】

画像処理部１２Ｂは、以下の処理を実行する。すなわち、上記各実施形態において、路面投影面は、自車両が走行する路面に対応する水平面であった。一方で、画像処理部１２Ｂは、路面投影面について、その形状が、路面形状検出部２０により検出された路面の形状に対応する形状となるように、特定ルックアップテーブルを加工して加工ルックアップテーブルを生成する。図１６（Ａ）は、この場合に、起立投影面と路面投影面とにより構成される投影面の一例を示している。

【0106】

なお、本実施形態において、起立投影面については、図１６（Ｂ）に示すように、第２実施形態の技術に基づいて、注目対象物の前面に沿って傾く平らな面としてもよく、図１６（Ｃ）に示すように、第２実施形態の第１変形例の技術に基づいて、注目対象物の前面に沿って適宜屈折した面としてもよい。

【0107】

以上、本発明の実施形態（変形例を含む）を説明したが、上記各実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、または、その主要な特徴から逸脱することなく、様々な形で実施することができる。

【0108】

例えば、第１実施形態では、画像処理部１２は、特定ルックアップテーブルから小側ルックアップテーブルおよび大側ルックアップテーブルを特定し、各テーブルに基づいて加工ルックアップテーブルを生成した。しかしながら、加工ルックアップテーブルを生成する方法は、各実施形態で例示した方法に限らない。例えば、画像処理部１２は、小側ルックアップテーブル（大側ルックアップテーブルであってもよい）を、小側ルックアップテーブルに係る投影面の距離と、対象物距離との差に応じて、その投影面の距離が対象物距離となるように加工して、加工ルックアップテーブルを生成する構成でもよい。第２、第３実施形態についても同様である。

【0109】

また、上記各実施形態では、リアカメラ３が魚眼カメラにより構成され、サイドカメラ４Ｒ，ＲＬが標準カメラにより構成されていたが、リアカメラ３やサイドカメラ４Ｒ，４Ｌをどのようなカメラにより構成するかは、各実施形態の例に限定されない。

【0110】

また、上記各実施形態では、合成画像を表示する表示装置は、右モニター２Ｒおよび左モニター２Ｌであった。しかしながら、合成画像を表示する表示装置は、右モニター２Ｒおよび左モニター２Ｌに限らず、自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルや、右サイドミラーＭＲおよび左サイドミラーＭＬに設けられた表示パネル、バックミラーに設けられた表示パネル等であってもよい。自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルへの表示に際しては、ユーザーの指示に応じて、右側合成画像と左側合成画像との何れか一方を表示する構成でもよく、表示領域を分割し各画像を同時に表示する構成でもよい。表示装置は、携帯端末であってもよい。

【0111】

また、サイドカメラ４Ｒ，４Ｌの自車両における設置位置は、上記各実施形態で例示した位置に限られない。例えば、サイドカメラ４Ｒ，４Ｌは、車両の側面であって、車両の前端に近い位置に設けられてもよい。

【0112】

また、第１実施形態では、各種ルックアップテーブルを画像処理装置１が記憶する構成であったが、ルックアップテーブルの一部または全部を外部装置が記憶し、画像処理部１２が適宜外部装置と通信して各種ルックアップテーブルを取得する構成でもよい。他の情報についても、画像処理装置１ではなく、外部装置が記憶する構成とすることができる。第２、第３実施形態についても同様である。

【符号の説明】

【0113】

１、１Ａ、１Ｂ 画像処理装置
２Ｒ 右モニター（表示装置）
２Ｌ 左モニター（表示装置）
３ リアカメラ（第２カメラ）
４Ｒ 右サイドカメラ（第１カメラ）
４Ｌ 左サイドカメラ（第１カメラ）
１０、１０Ａ 撮影画像取得部
１１ 距離検出部
１２、１２Ａ、１２Ｂ 画像処理部
１３ 表示制御部
１４ ルックアップテーブル記憶部
１５ 面形状検出部
１６ 車両関連情報記憶部
２０ 路面形状検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】