ホーム > 特許ランキング > アルプスアルパイン株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024126164
(43)【公開日】2024-09-20
(54)【発明の名称】合成画像生成システム及び後方画像表示システム
(51)【国際特許分類】
H04N 23/60 20230101AFI20240912BHJP
G06T 5/00 20240101ALI20240912BHJP
【ＦＩ】
H04N23/60 500
G06T5/00
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023034380
(22)【出願日】2023-03-07
(71)【出願人】
【識別番号】000010098
【氏名又は名称】アルプスアルパイン株式会社
(74)【代理人】
【識別番号】100099748
【弁理士】
【氏名又は名称】佐藤 克志
(74)【代理人】
【識別番号】100103171
【弁理士】
【氏名又は名称】雨貝 正彦
(74)【代理人】
【識別番号】100105784
【弁理士】
【氏名又は名称】橘 和之
(74)【代理人】
【識別番号】100098497
【弁理士】
【氏名又は名称】片寄 恭三
(72)【発明者】
【氏名】三廼 浩太
【テーマコード（参考）】
5B057
5C122
【Ｆターム（参考）】
5B057AA16
5B057CC03
5B057CE08
5B057CE11
5B057DA08
5B057DC32
5C122DA14
5C122EA47
5C122FA18
5C122FF15
5C122FH06
5C122FH09
5C122FH18
5C122HA88
(57)【要約】
【課題】近傍の領域を含む自動車後方の画像を距離感の把握が容易な形態で表示する「後方画像表示システム及び後方画像表示システム」を提供する。
【解決手段】左サイドカメラ１が撮影した第１画像の、左サイドカメラ１の撮影領域とバックカメラ２の撮影領域とが重複する部分に対応する第１比較領域C1から第１比較画像を抽出し、バックカメラ２が撮影した第２画像の、第１比較領域C1に対応する第２比較領域C2から第２比較画像を抽出する。第１比較画像と第２比較画像の類似度を算出すると共に、第１比較画像の平均値の第２比較画像の平均値に対する比を仮補正ゲインとして算出する。そして、類似度が大きいほど補正ゲインが仮補正ゲインにより近い値となり、類似度が小さいほど補正ゲインが、予め設定した参照補正ゲインにより近い値となるように設定した補正ゲインで第２画像を補正し、第１画像に合成する。
【選択図】図４
【解決手段】左サイドカメラ１が撮影した第１画像の、左サイドカメラ１の撮影領域とバックカメラ２の撮影領域とが重複する部分に対応する第１比較領域C1から第１比較画像を抽出し、バックカメラ２が撮影した第２画像の、第１比較領域C1に対応する第２比較領域C2から第２比較画像を抽出する。第１比較画像と第２比較画像の類似度を算出すると共に、第１比較画像の平均値の第２比較画像の平均値に対する比を仮補正ゲインとして算出する。そして、類似度が大きいほど補正ゲインが仮補正ゲインにより近い値となり、類似度が小さいほど補正ゲインが、予め設定した参照補正ゲインにより近い値となるように設定した補正ゲインで第２画像を補正し、第１画像に合成する。
【選択図】図４
【特許請求の範囲】
【請求項1】
第１のカメラで撮影した第１の画像と、第１のカメラと撮影領域が一部重複する第２のカメラで撮影した第２の画像とを合成し、第１の画像の少なくとも一部と第２の画像の少なくとも一部とを繋ぎ合わせた画像である合成画像を生成する合成画像生成システムであって、
設定された補正特性で、前記第１の画像の前記合成画像に含める部分と、前記第２の画像の前記合成画像に含める部分とのうちの少なくも一方を補正する補正手段と、
前記補正手段が補正を行った後の、前記第１の画像の前記合成画像に含める部分と、前記第２の画像の前記合成画像に含める部分とを合成する合成手段と、
前記補正手段に前記補正特性を設定する補正特性設定部とを有し、
前記補正特性設定部は、
前記撮影領域が一部重複する範囲が写り込む前記第１の画像の部分もしくは当該部分の一部を第１比較画像、前記第２の画像の前記第１比較画像と写り込む範囲が同じ部分を第２比較画像として抽出する比較画像抽出手段と、
前記比較画像抽出手段が抽出した第１比較画像と第２比較画像との類似度を算出する類似度算出手段と、
前記比較画像抽出手段が抽出した第１比較画像と第２比較画像とに基づいて、仮の補正特性を算出する仮補正特性算出手段と、
前記補正手段に設定する前記補正特性として、前記類似度算出手段が算出した類似度が大きいほど前記仮補正特性により近い補正特性を、当該類似度が小さいほど事前に設定されている参照補正特性により近い補正特性を算出する補正特性算出手段とを有し、
前記仮補正特性算出手段は、前記仮の補正特性として、当該仮の仮補正特性で前記補正手段が補正を行った場合に、当該補正後の前記第１の画像の前記合成画像に含める部分と、前記第２の画像の前記合成画像に含める部分との被写体の表し方の特性の相違が軽減されると、第１比較画像と第２比較画像から推定される補正特性を算出することを特徴とする合成画像生成システム。
設定された補正特性で、前記第１の画像の前記合成画像に含める部分と、前記第２の画像の前記合成画像に含める部分とのうちの少なくも一方を補正する補正手段と、
前記補正手段が補正を行った後の、前記第１の画像の前記合成画像に含める部分と、前記第２の画像の前記合成画像に含める部分とを合成する合成手段と、
前記補正手段に前記補正特性を設定する補正特性設定部とを有し、
前記補正特性設定部は、
前記撮影領域が一部重複する範囲が写り込む前記第１の画像の部分もしくは当該部分の一部を第１比較画像、前記第２の画像の前記第１比較画像と写り込む範囲が同じ部分を第２比較画像として抽出する比較画像抽出手段と、
前記比較画像抽出手段が抽出した第１比較画像と第２比較画像との類似度を算出する類似度算出手段と、
前記比較画像抽出手段が抽出した第１比較画像と第２比較画像とに基づいて、仮の補正特性を算出する仮補正特性算出手段と、
前記補正手段に設定する前記補正特性として、前記類似度算出手段が算出した類似度が大きいほど前記仮補正特性により近い補正特性を、当該類似度が小さいほど事前に設定されている参照補正特性により近い補正特性を算出する補正特性算出手段とを有し、
前記仮補正特性算出手段は、前記仮の補正特性として、当該仮の仮補正特性で前記補正手段が補正を行った場合に、当該補正後の前記第１の画像の前記合成画像に含める部分と、前記第２の画像の前記合成画像に含める部分との被写体の表し方の特性の相違が軽減されると、第１比較画像と第２比較画像から推定される補正特性を算出することを特徴とする合成画像生成システム。
【請求項2】
第１のカメラで撮影した第１の画像と、第１のカメラと撮影領域が一部重複する第２のカメラで撮影した第２の画像とを合成し、第１の画像の少なくとも一部と第２の画像の少なくとも一部とを繋ぎ合わせた画像である合成画像を生成する合成画像生成システムであって、
設定された補正特性で、前記第２の画像の前記合成画像に含める部分を補正する補正手段と、
前記第１の画像の前記合成画像に含める部分と、前記補正手段が補正した前記第２の画像の前記合成画像に含める部分とを合成する合成手段と、
前記補正手段に前記補正特性を設定する補正特性設定部とを有し、
前記補正特性設定部は、
前記撮影領域が一部重複する範囲が写り込む前記第１の画像の部分もしくは当該部分の一部を第１比較画像、前記第２の画像の前記第１比較画像と写り込む範囲が同じ部分を第２比較画像として抽出する比較画像抽出手段と、
前記比較画像抽出手段が抽出した第１比較画像と第２比較画像との類似度を算出する類似度算出手段と、
前記比較画像抽出手段が抽出した第１比較画像と第２比較画像とに基づいて、仮の補正特性を算出する仮補正特性算出手段と、
前記補正手段に設定する前記補正特性として、前記類似度算出手段が算出した類似度が大きいほど前記仮補正特性により近い補正特性を、当該類似度が小さいほど事前に設定されている参照補正特性により近い補正特性を算出する補正特性算出手段とを有し、
前記仮補正特性算出手段は、前記仮の補正特性として、前記第２比較画像の前記第１比較画像に対する被写体の表し方の特性の相違を軽減する補正の補正特性を算出することを特徴とする合成画像生成システム。
設定された補正特性で、前記第２の画像の前記合成画像に含める部分を補正する補正手段と、
前記第１の画像の前記合成画像に含める部分と、前記補正手段が補正した前記第２の画像の前記合成画像に含める部分とを合成する合成手段と、
前記補正手段に前記補正特性を設定する補正特性設定部とを有し、
前記補正特性設定部は、
前記撮影領域が一部重複する範囲が写り込む前記第１の画像の部分もしくは当該部分の一部を第１比較画像、前記第２の画像の前記第１比較画像と写り込む範囲が同じ部分を第２比較画像として抽出する比較画像抽出手段と、
前記比較画像抽出手段が抽出した第１比較画像と第２比較画像との類似度を算出する類似度算出手段と、
前記比較画像抽出手段が抽出した第１比較画像と第２比較画像とに基づいて、仮の補正特性を算出する仮補正特性算出手段と、
前記補正手段に設定する前記補正特性として、前記類似度算出手段が算出した類似度が大きいほど前記仮補正特性により近い補正特性を、当該類似度が小さいほど事前に設定されている参照補正特性により近い補正特性を算出する補正特性算出手段とを有し、
前記仮補正特性算出手段は、前記仮の補正特性として、前記第２比較画像の前記第１比較画像に対する被写体の表し方の特性の相違を軽減する補正の補正特性を算出することを特徴とする合成画像生成システム。
【請求項3】
請求項１または２記載の合成画像生成システムであって、
前記補正特性設定部は、前記類似度算出手段が所定のレベル以上の類似度を算出したときに、前記参照補正特性を、前記仮補正特性算出手段が算出した前記仮補正特性に更新する参照補正特性更新手段を有することを特徴とする合成画像生成システム。
前記補正特性設定部は、前記類似度算出手段が所定のレベル以上の類似度を算出したときに、前記参照補正特性を、前記仮補正特性算出手段が算出した前記仮補正特性に更新する参照補正特性更新手段を有することを特徴とする合成画像生成システム。
【請求項4】
請求項１または２記載の合成画像生成システムであって、
前記補正特性設定部は、前記類似度算出手段が所定のレベル以上の類似度を算出したときに、前記参照補正特性を、前記補正特性算出手段が算出した前記補正特性に更新する参照補正特性更新手段を有することを特徴とする合成画像生成システム。
前記補正特性設定部は、前記類似度算出手段が所定のレベル以上の類似度を算出したときに、前記参照補正特性を、前記補正特性算出手段が算出した前記補正特性に更新する参照補正特性更新手段を有することを特徴とする合成画像生成システム。
【請求項5】
請求項２記載の合成画像生成システムであって、
前記補正特性は画素値の補正ゲインであり、
仮補正特性算出手段は、画像の各色成分について、前記仮の補正特性として、前記第１比較画像の画素の値の平均の、前記第２比較画像の画素の値の平均に対する比を、前記補正特性として算出し、
前記補正手段は、画像の各色成分について、設定された補正特性で、前記第２の画像の各画素の値のゲインを調整することを特徴とする合成画像生成システム。
前記補正特性は画素値の補正ゲインであり、
仮補正特性算出手段は、画像の各色成分について、前記仮の補正特性として、前記第１比較画像の画素の値の平均の、前記第２比較画像の画素の値の平均に対する比を、前記補正特性として算出し、
前記補正手段は、画像の各色成分について、設定された補正特性で、前記第２の画像の各画素の値のゲインを調整することを特徴とする合成画像生成システム。
【請求項6】
請求項２記載の合成画像生成システムであって、
前記補正特性は輝度値の補正ゲインであり、
仮補正特性算出手段は、前記仮の補正特性として、前記第１比較画像の画素の輝度値の平均の、前記第２比較画像の画素の輝度値の平均に対する比を、前記補正特性として算出し、
前記補正手段は、設定された補正特性で、前記第２の画像の各画素の輝度値のゲインを調整することを特徴とする合成画像生成システム。
前記補正特性は輝度値の補正ゲインであり、
仮補正特性算出手段は、前記仮の補正特性として、前記第１比較画像の画素の輝度値の平均の、前記第２比較画像の画素の輝度値の平均に対する比を、前記補正特性として算出し、
前記補正手段は、設定された補正特性で、前記第２の画像の各画素の輝度値のゲインを調整することを特徴とする合成画像生成システム。
【請求項7】
請求項２記載の合成画像生成システムであって、
前記補正手段は、前記第２の画像を補正し、
前記合成手段は、前記第１の画像の前記合成画像に含める部分と、前記補正手段が補正した前記第２の画像中の前記合成画像に含める部分とを合成することを特徴とする合成画像生成システム。
前記補正手段は、前記第２の画像を補正し、
前記合成手段は、前記第１の画像の前記合成画像に含める部分と、前記補正手段が補正した前記第２の画像中の前記合成画像に含める部分とを合成することを特徴とする合成画像生成システム。
【請求項8】
請求項２記載の合成画像生成システムであって、
前記第１の画像と前記第２の画像を合成した事前合成画像を生成する事前合成手段を有し、
前記補正手段は、前記事前合成画像から当該事前合成画像に含まれる前記第２の画像の前記合成画像に含める部分を抽出して補正し、
前記合成手段は、前記事前合成合成画像に含まれる前記第１の画像の前記合成画像に含める部分と、前記補正手段が補正した前記第２の画像の前記合成画像に含める部分とを合成することを特徴とする合成画像生成システム。
前記第１の画像と前記第２の画像を合成した事前合成画像を生成する事前合成手段を有し、
前記補正手段は、前記事前合成画像から当該事前合成画像に含まれる前記第２の画像の前記合成画像に含める部分を抽出して補正し、
前記合成手段は、前記事前合成合成画像に含まれる前記第１の画像の前記合成画像に含める部分と、前記補正手段が補正した前記第２の画像の前記合成画像に含める部分とを合成することを特徴とする合成画像生成システム。
【請求項9】
請求項１または２記載の合成画像生成システムであって、
第１の前記補正特性設定部と第２の前記補正特性設定部との２つの前記補正特性設定部と、
補正特性切替手段を備え、
当該２つの前記補正特性設定部において、前記第１画像から前記第１比較画像を抽出する上下方向の位置と、前記第２画像から抽出する前記第２比較画像の上下方向の位置は相互に離れており、
前記補正特性切替手段は、前記第１の前記補正特性設定部の前記第１比較画像と前記第２比較画像に対応する上下方向の範囲である第１範囲については、前記補正手段が、前記第１の前記補正特性設定部が設定した補正特性で補正を行い、前記第２の前記補正特性設定部の前記第１比較画像と前記第２比較画像に対応する上下方向の範囲である第２範囲については、前記補正手段が、前記第２の前記補正特性設定部が設定した補正特性で補正を行い、前記第１範囲と前記第２範囲の間の上下方向の範囲である第３範囲については、前記補正手段が、前記第１の前記補正特性設定部が設定した補正特性と前記第２の前記補正特性設定部が設定した補正特性との補間によって求まる補正特性で補正を行うように、前記補正手段に設定する前記補正特性を切り替えることを特徴とする合成画像生成システム。
第１の前記補正特性設定部と第２の前記補正特性設定部との２つの前記補正特性設定部と、
補正特性切替手段を備え、
当該２つの前記補正特性設定部において、前記第１画像から前記第１比較画像を抽出する上下方向の位置と、前記第２画像から抽出する前記第２比較画像の上下方向の位置は相互に離れており、
前記補正特性切替手段は、前記第１の前記補正特性設定部の前記第１比較画像と前記第２比較画像に対応する上下方向の範囲である第１範囲については、前記補正手段が、前記第１の前記補正特性設定部が設定した補正特性で補正を行い、前記第２の前記補正特性設定部の前記第１比較画像と前記第２比較画像に対応する上下方向の範囲である第２範囲については、前記補正手段が、前記第２の前記補正特性設定部が設定した補正特性で補正を行い、前記第１範囲と前記第２範囲の間の上下方向の範囲である第３範囲については、前記補正手段が、前記第１の前記補正特性設定部が設定した補正特性と前記第２の前記補正特性設定部が設定した補正特性との補間によって求まる補正特性で補正を行うように、前記補正手段に設定する前記補正特性を切り替えることを特徴とする合成画像生成システム。
【請求項10】
請求項１または２記載の合成画像生成システムを備えた、自動車に搭載される後方画像表示システムであって、
当該合成画像生成システムが生成した前記合成画像を表示するモニタを備えると共に、
前記第１のカメラとして、自動車の側部より当該自動車後方のようすを撮影するカメラを備え、
前記第２のカメラとして、自動車の後部より当該自動車後方のようすを撮影するカメラを備えたことを特徴とする後方画像表示システム。
当該合成画像生成システムが生成した前記合成画像を表示するモニタを備えると共に、
前記第１のカメラとして、自動車の側部より当該自動車後方のようすを撮影するカメラを備え、
前記第２のカメラとして、自動車の後部より当該自動車後方のようすを撮影するカメラを備えたことを特徴とする後方画像表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影領域が一部重複する複数のカメラで撮影した画像を合成する技術に関するものである。
【背景技術】
【0002】
撮影領域が一部重複する複数のカメラで撮影した画像を合成する技術としては、車両の周辺を撮影する複数のカメラを撮影領域が一部重複するように配置し、各カメラで撮影した各画像の撮影領域が重複する部分の輝度差が許容範囲内となるように、各画像を補正した上で合成して表示することにより、合成した画像中における各画像の境界の顕在化や、合成した画像中における各画像の画質差による違和感の発生を抑制する技術が知られている（たとえば、特許文献１）。
【0003】
また、本発明に関する技術としては、自動車後部に配置したカメラで後方を撮影した画像に、自動車の左右の側部に配置した左右のカメラで後方を撮影した画像を視点変換して合成し、車内に備えたモニタに表示する技術も知られている（たとえば、特許文献２）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第４９８２１２７号公報
【特許文献2】特開２００９-２０６７４７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
自動車後部に配置したカメラで後方を撮影した画像に、自動車の側部に配置したカメラで後方を撮影した画像を合成して表示する場合などの、各カメラの位置が比較的に大きく離れている場合には、撮影領域が重複する部分に写り込む被写体の位置や遠近によっては、撮影領域が重複する部分の画像がカメラ毎に大きく異なってしまうことがある。
【0006】
そして、このようなときに、各カメラで撮影した各画像の撮影領域が重複する部分の輝度差が許容範囲内となるように各画像を補正すると却って不適切な補正が行われ、合成した画像が単一の画像として不自然な画像となってしまうことがある。
そこで、本発明は、撮影領域が一部重複する複数のカメラで撮影した画像を合成する合成画像生成システムにおいて、合成した画像として不自然な画像を生成してしまうことを抑制することを課題とする。
そこで、本発明は、撮影領域が一部重複する複数のカメラで撮影した画像を合成する合成画像生成システムにおいて、合成した画像として不自然な画像を生成してしまうことを抑制することを課題とする。
【課題を解決するための手段】
【0007】
前記課題達成のために、本発明は、第１のカメラで撮影した第１の画像と、第１のカメラと撮影領域が一部重複する第２のカメラで撮影した第２の画像とを合成し、第１の画像の少なくとも一部と第２の画像の少なくとも一部とを繋ぎ合わせた画像である合成画像を生成する合成画像生成システムに、設定された補正特性で、前記第１の画像の前記合成画像に含める部分と、前記第２の画像の前記合成画像に含める部分とのうちの少なくも一方を補正する補正手段と、前記補正手段が補正を行った後の、前記第１の画像の前記合成画像に含める部分と、前記第２の画像の前記合成画像に含める部分とを合成する合成手段と、前記補正手段に前記補正特性を設定する補正特性設定部とを備えたものである。ここで、前記補正特性設定部は、前記撮影領域が一部重複する範囲が写り込む前記第１の画像の部分もしくは当該部分の一部を第１比較画像、前記第２の画像の前記第１比較画像と写り込む範囲が同じ部分を第２比較画像として抽出する比較画像抽出手段と、前記比較画像抽出手段が抽出した第１比較画像と第２比較画像との類似度を算出する類似度算出手段と、前記比較画像抽出手段が抽出した第１比較画像と第２比較画像とに基づいて、仮の補正特性を算出する仮補正特性算出手段と、前記補正手段に設定する前記補正特性として、前記類似度算出手段が算出した類似度が大きいほど前記仮補正特性により近い補正特性を、当該類似度が小さいほど事前に設定されている参照補正特性により近い補正特性を算出する補正特性算出手段とを備えている。そして、前記仮補正特性算出手段は、前記仮の補正特性として、当該仮の仮補正特性で前記補正手段が補正を行った場合に、当該補正後の前記第１の画像の前記合成画像に含める部分と、前記第２の画像の前記合成画像に含める部分との被写体の表し方の特性の相違が軽減されると、第１比較画像と第２比較画像から推定される補正特性を算出する。
【0008】
また、前記課題達成のために、本発明は、第１のカメラで撮影した第１の画像と、第１のカメラと撮影領域が一部重複する第２のカメラで撮影した第２の画像とを合成し、第１の画像の少なくとも一部と第２の画像の少なくとも一部とを繋ぎ合わせた画像である合成画像を生成する合成画像生成システムに、設定された補正特性で、前記第２の画像の前記合成画像に含める部分を補正する補正手段と、前記第１の画像の前記合成画像に含める部分と、前記補正手段が補正した前記第２の画像の前記合成画像に含める部分とを合成する合成手段と、前記補正手段に前記補正特性を設定する補正特性設定部とを備えたものである。ここで、前記補正特性設定部は、前記撮影領域が一部重複する範囲が写り込む前記第１の画像の部分もしくは当該部分の一部を第１比較画像、前記第２の画像の前記第１比較画像と写り込む範囲が同じ部分を第２比較画像として抽出する比較画像抽出手段と、前記比較画像抽出手段が抽出した第１比較画像と第２比較画像との類似度を算出する類似度算出手段と、前記比較画像抽出手段が抽出した第１比較画像と第２比較画像とに基づいて、仮の補正特性を算出する仮補正特性算出手段と、前記補正手段に設定する前記補正特性として、前記類似度算出手段が算出した類似度が大きいほど前記仮補正特性により近い補正特性を、当該類似度が小さいほど事前に設定されている参照補正特性により近い補正特性を算出する補正特性算出手段とを備えている。そして、前記仮補正特性算出手段は、前記仮の補正特性として、前記第２比較画像の前記第１比較画像に対する被写体の表し方の特性の相違を軽減する補正の補正特性を算出する。
【0009】
ここで、以上の合成画像生成システムは、前記補正特性設定部に、前記類似度算出手段が所定のレベル以上の類似度を算出したときに、前記参照補正特性を、前記仮補正特性算出手段が算出した前記仮補正特性に更新する参照補正特性更新手段を備えてもよい。
または、前記補正特性設定部に、前記類似度算出手段が所定のレベル以上の類似度を算出したときに、前記参照補正特性を、前記補正特性算出手段が算出した前記補正特性に更新する参照補正特性更新手段を備えてもよい。
また、前記第２の画像の前記合成画像に含める部分を補正する補正手段を備えた合成画像生成システムにおいては、前記補正特性を画素値の補正ゲインとし、仮補正特性算出手段において、画像の各色成分について、前記仮の補正特性として、前記第１比較画像の画素の値の平均の、前記第２比較画像の画素の値の平均に対する比を、前記補正特性として算出し、前記補正手段において、画像の各色成分について、設定された補正特性で、前記第２の画像の各画素の値のゲインを調整してもよい。
または、前記補正特性設定部に、前記類似度算出手段が所定のレベル以上の類似度を算出したときに、前記参照補正特性を、前記補正特性算出手段が算出した前記補正特性に更新する参照補正特性更新手段を備えてもよい。
また、前記第２の画像の前記合成画像に含める部分を補正する補正手段を備えた合成画像生成システムにおいては、前記補正特性を画素値の補正ゲインとし、仮補正特性算出手段において、画像の各色成分について、前記仮の補正特性として、前記第１比較画像の画素の値の平均の、前記第２比較画像の画素の値の平均に対する比を、前記補正特性として算出し、前記補正手段において、画像の各色成分について、設定された補正特性で、前記第２の画像の各画素の値のゲインを調整してもよい。
【0010】
または、前記補正特性は輝度値の補正ゲインとし、仮補正特性算出手段において、前記仮の補正特性として、前記第１比較画像の画素の輝度値の平均の、前記第２比較画像の画素の輝度値の平均に対する比を、前記補正特性として算出し、前記補正手段において、設定された補正特性で、前記第２の画像の各画素の輝度値のゲインを調整してもよい。
【0011】
また、前記第２の画像の前記合成画像に含める部分を補正する補正手段を備えた合成画像生成システムにおいては、前記補正手段において、前記第２の画像を補正し、前記合成手段において、前記第１の画像の前記合成画像に含める部分と、前記補正手段が補正した前記第２の画像中の前記合成画像に含める部分とを合成してもよい。
【0012】
または、合成画像生成システムに、前記第１の画像と前記第２の画像を合成した事前合成画像を生成する事前合成手段を設け、前記補正手段において、前記事前合成画像から当該事前合成画像に含まれる前記第２の画像の前記合成画像に含める部分を抽出して補正し、前記合成手段において、前記事前合成合成画像に含まれる前記第１の画像の前記合成画像に含める部分と、前記補正手段が補正した前記第２の画像の前記合成画像に含める部分とを合成してもよい。
【0013】
また、以上の合成画像生成システムに、第１の前記補正特性設定部と第２の前記補正特性設定部との２つの前記補正特性設定部と、補正特性切替手段を設け、当該２つの前記補正特性設定部において、前記第１画像から前記第１比較画像を抽出する上下方向の位置と、前記第２画像から抽出する前記第２比較画像の上下方向の位置は相互に離れたものとし、前記補正特性切替手段において、前記第１の前記補正特性設定部の前記第１比較画像と前記第２比較画像に対応する上下方向の範囲である第１範囲については、前記補正手段が、前記第１の前記補正特性設定部が設定した補正特性で補正を行い、前記第２の前記補正特性設定部の前記第１比較画像と前記第２比較画像に対応する上下方向の範囲である第２範囲については、前記補正手段が、前記第２の前記補正特性設定部が設定した補正特性で補正を行い、前記第１範囲と前記第２範囲の間の上下方向の範囲である第３範囲については、前記補正手段が、前記第１の前記補正特性設定部が設定した補正特性と前記第２の前記補正特性設定部が設定した補正特性との補間によって求まる補正特性で補正を行うように、前記補正手段に設定する前記補正特性を切り替えてもよい。
【0014】
ここで、本発明は、併せて、以上合成画像生成システムを備えた、自動車に搭載される後方画像表示システムを提供する。後方画像表示システムは、当該合成画像生成システムが生成した前記合成画像を表示するモニタを備える。また、後方画像表示システムにおいて、前記第１のカメラは、自動車の側部より当該自動車後方のようすを撮影するカメラとし、前記第２のカメラは、自動車の後部より当該自動車後方のようすを撮影するカメラとする。
【0015】
以上のような後方画像表示システムによれば、第１のカメラで撮影した第１の画像と第２のカメラで撮影した第２の画像の撮影領域が重複する部分の類似度に応じて、当該重複する部分が類似しているほど、当該重複する部分から求めた補正特性に近くなり、当該重複する部分が異なっているほど、事前に設定されている参照補正特性補正に近くなる補正特性で合成画像に含める部分の補正が行われる。
【0016】
したがって、当該重複する部分が類似している場合には、実際に撮影した当該部分に基づく補正特性で適正に補正を行うことができると共に、当該重複する部分が大きく異なっている場合に、当該部分に基づいた不適切な補正特性で補正が行われてしまうことを抑制することができる。
【発明の効果】
【0017】
以上のように、本発明によれば、撮影領域が一部重複する複数のカメラで撮影した画像を合成する合成画像生成システムにおいて、合成した画像として不自然な画像を生成してしまうことを抑制できる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施形態に係る画像表示システムの構成を示すブロック図である。
【図2】本発明の実施形態に係る各種カメラとモニタの配置を示す図である。
【図3】本発明の実施形態に係る左画像生成処理部の構成を示すブロック図である。
【図4】本発明の実施形態に係る左画像生成処理部の動作例を示す図である。
【図5】本発明の実施形態に係る左画像生成処理部の動作例を示す図である。
【図6】本発明の実施形態に係る左画像生成処理部の他の構成例を示すブロック図である。
【図7】本発明の実施形態に係る左画像生成処理部の他の構成例を示すブロック図である。
【図8】本発明の実施形態に係る左画像生成処理部の他の構成例を示すブロック図である。
【図9】本発明の実施形態に係る左画像生成処理部の他の構成例を示すブロック図である。
【図10】本発明の実施形態に係る左画像生成処理部の他の構成例による動作例を示す図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施形態について説明する。
図１に、本実施形態に係る画像表示システムの構成を示す。
画像表示システムは自動車に搭載されるシステムであり、図示するように、左サイドカメラ１、バックカメラ２、右サイドカメラ３、画像処理装置４、左サイドモニタ５、右サイドモニタ６を備えている。
このような画像表示システムの構成において、図２ａ１、ａ２に示すように、バックカメラ２は、自動車の後部に配置されており、当該位置から自動車の後ろ方向を撮影する。また、左サイドカメラ１は自動車の左側部に配置されており、当該位置から自動車の後ろ方向を撮影し、右サイドカメラ３は自動車の右側部に配置されており、当該位置から自動車の後ろ方向を撮影する。
図１に、本実施形態に係る画像表示システムの構成を示す。
画像表示システムは自動車に搭載されるシステムであり、図示するように、左サイドカメラ１、バックカメラ２、右サイドカメラ３、画像処理装置４、左サイドモニタ５、右サイドモニタ６を備えている。
このような画像表示システムの構成において、図２ａ１、ａ２に示すように、バックカメラ２は、自動車の後部に配置されており、当該位置から自動車の後ろ方向を撮影する。また、左サイドカメラ１は自動車の左側部に配置されており、当該位置から自動車の後ろ方向を撮影し、右サイドカメラ３は自動車の右側部に配置されており、当該位置から自動車の後ろ方向を撮影する。
【0020】
また、バックカメラ２と左サイドカメラ１の撮影領域は自動車の後方において一部重複しており、バックカメラ２と右サイドカメラ３の撮影領域は自動車の後方において一部重複している。
また、左サイドモニタ５、右サイドモニタ６とは画像を表示するディスプレイであり、たとえば、図２ｂに示すように、左サイドモニタ５は運転席の左右方向中心より左側に位置するように配置され、右サイドモニタ６は運転席の左右方向中心より右側に位置するように配置される。
また、左サイドモニタ５、右サイドモニタ６とは画像を表示するディスプレイであり、たとえば、図２ｂに示すように、左サイドモニタ５は運転席の左右方向中心より左側に位置するように配置され、右サイドモニタ６は運転席の左右方向中心より右側に位置するように配置される。
【0021】
図１に戻り、画像処理部は、左画像処理部４１と右画像処理部４２を備えており、左画像処理部４１は、左サイドカメラ１の撮影した画像とバックカメラ２が撮影した画像を合成し、左サイドモニタ５に表示し、右画像処理部４２は、右サイドカメラ３の撮影した画像とバックカメラ２が撮影した画像を合成し、左サイドモニタ５に表示する。
【0022】
以下、左画像処理部４１と右画像処理部４２について説明する。
左画像処理部４１と右画像処理部４２は、同様の構成を備え、同様の動作を行う。そこで、左画像処理部４１を代表にとり説明を行う。なお、右画像処理部４２の説明は、以下の左画像処理部４１の説明において、「左」と「右」を入れ替えたものとなる。
図３に、左画像処理部４１の構成を示す。
図示するように、左画像処理部４１は、補正部４１１、合成部４１２、補正ゲイン算出処理部４１３を備えている。
また、補正ゲイン算出処理部４１３は、第１比較画像抽出部４１３１、第２比較画像抽出部４１３２、仮補正ゲイン算出部４１３３、類似度算出部４１３４、補正ゲイン設定部４１３５を備えている。また、補正ゲイン算出処理部４１３には、参照補正ゲイン４１３６が予め設定されている。
左画像処理部４１と右画像処理部４２は、同様の構成を備え、同様の動作を行う。そこで、左画像処理部４１を代表にとり説明を行う。なお、右画像処理部４２の説明は、以下の左画像処理部４１の説明において、「左」と「右」を入れ替えたものとなる。
図３に、左画像処理部４１の構成を示す。
図示するように、左画像処理部４１は、補正部４１１、合成部４１２、補正ゲイン算出処理部４１３を備えている。
また、補正ゲイン算出処理部４１３は、第１比較画像抽出部４１３１、第２比較画像抽出部４１３２、仮補正ゲイン算出部４１３３、類似度算出部４１３４、補正ゲイン設定部４１３５を備えている。また、補正ゲイン算出処理部４１３には、参照補正ゲイン４１３６が予め設定されている。
【0023】
そして、左画像処理部４１には、左サイドカメラ１の撮影した画像が第１画像として入力し、バックカメラ２が撮影した画像が第２画像として入力する。
第１比較画像抽出部４１３１には、左サイドカメラ１の撮影領域とバックカメラ２の撮影領域とが重複する部分の一部に対応する第１画像中の領域が第１比較領域として予め設定されており、第１比較画像抽出部４１３１は、第１画像の第１比較領域内の画像を第１比較画像として抽出する。
第１比較画像抽出部４１３１には、左サイドカメラ１の撮影領域とバックカメラ２の撮影領域とが重複する部分の一部に対応する第１画像中の領域が第１比較領域として予め設定されており、第１比較画像抽出部４１３１は、第１画像の第１比較領域内の画像を第１比較画像として抽出する。
【0024】
また、第２比較画像抽出部４１３２には、第１画像の第１比較領域に対応する第２画像中の領域、したがって、第１画像の第１比較領域と同じ被写体が写り込む第２画像中の領域が第２比較領域として予め設定されており、第２比較画像抽出部４１３２は、第２画像の第２比較領域内の画像を第２比較画像として抽出する。
【0025】
仮補正ゲイン算出部４１３３は、Ｒ、Ｇ、Ｂの各色成分について、第１比較画像の平均値の、第２比較画像の平均値に対する比を仮補正ゲインとして算出する。
類似度算出部４１３４は、第１比較画像と第２比較画像の類似度を算出する。
類似度としては、SAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)、NCC（Normalized Cross Correlation）、ZNCC（Zero means Normalized Cross Correlation）等に基づいた値を用いることができる。
ここで、SADは、第１比較画像と第２比較画像の対応する画素間の画素値の差の絶対値の和であり、SSDは、第１比較画像と第２比較画像の対応する画素間の画素値の差の二乗の和であり、SSDは、第１比較画像と第２比較画像を、それぞれその各画素値を成分としてもつベクトルと見なして求めた両ベクトルの内積を、最大で１/最小で０になるよう正規化した値であり、ZNCCは、NCCにおいて画素値に代えて画素値から画素値の平均を引いた値を用いるものである。
類似度算出部４１３４は、第１比較画像と第２比較画像の類似度を算出する。
類似度としては、SAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)、NCC（Normalized Cross Correlation）、ZNCC（Zero means Normalized Cross Correlation）等に基づいた値を用いることができる。
ここで、SADは、第１比較画像と第２比較画像の対応する画素間の画素値の差の絶対値の和であり、SSDは、第１比較画像と第２比較画像の対応する画素間の画素値の差の二乗の和であり、SSDは、第１比較画像と第２比較画像を、それぞれその各画素値を成分としてもつベクトルと見なして求めた両ベクトルの内積を、最大で１/最小で０になるよう正規化した値であり、ZNCCは、NCCにおいて画素値に代えて画素値から画素値の平均を引いた値を用いるものである。
【0026】
なお、類似度の算出においては、画素値として画素の輝度値を用いてもよい。
次に、補正ゲイン設定部４１３５は、類似度算出部４１３４で算出された類似度に基づいて、Ｒ、Ｇ、Ｂの各色成分について、仮補正ゲイン算出部４１３３において算出された仮補正ゲインと参照補正ゲイン４１３６から補正ゲインを設定する。
ここで、参照補正ゲイン４１３６としては、試験等により求めた、当該参照補正ゲイン４１３６によって、第２比較画像の各色成分のゲインを調整すると、各色成分について、第２比較画像の平均値が第１比較画像の平均値に近似することが期待できるゲインが予め設定されている。
次に、補正ゲイン設定部４１３５は、類似度算出部４１３４で算出された類似度に基づいて、Ｒ、Ｇ、Ｂの各色成分について、仮補正ゲイン算出部４１３３において算出された仮補正ゲインと参照補正ゲイン４１３６から補正ゲインを設定する。
ここで、参照補正ゲイン４１３６としては、試験等により求めた、当該参照補正ゲイン４１３６によって、第２比較画像の各色成分のゲインを調整すると、各色成分について、第２比較画像の平均値が第１比較画像の平均値に近似することが期待できるゲインが予め設定されている。
【0027】
さて、この補正ゲイン設定部４１３５の補正ゲインの設定は、類似度が大きいほど補正ゲインが仮補正ゲインにより近い値となり、類似度が小さいほど補正ゲインが参照補正ゲイン４１３６により近い値となるように行う。
具体的には、たとえば、仮補正ゲインをTG、参照補正ゲイン４１３６をRG、補正ゲインをGとし、最も類似していることを表す最大値が１、最も類似していないことを表す最小値が０になるように正規化した類似度をNSとして、
G=(NS×TG)+{(1-NS)×RG｝
によって補正ゲインを設定する。
具体的には、たとえば、仮補正ゲインをTG、参照補正ゲイン４１３６をRG、補正ゲインをGとし、最も類似していることを表す最大値が１、最も類似していないことを表す最小値が０になるように正規化した類似度をNSとして、
G=(NS×TG)+{(1-NS)×RG｝
によって補正ゲインを設定する。
【0028】
次に、補正部４１１は、Ｒ、Ｇ、Ｂの各色成分について補正ゲイン設定部４１３５で設定された補正ゲインで、第２画像の各色成分のゲインを調整することにより補正し、合成部４１２に出力する。
そして、合成部４１２は、補正された第２画像を、左サイドカメラ１の視点から後方を観察したようすを表す画像に視点変換し、視点変換した第２画像中の第１画像との合成に用いる部分である組込画像を、第１画像に、自動車の後方のようすを表した連続した一枚の画像を形成するように合成し、左サイドモニタ５に出力し表示する。
そして、合成部４１２は、補正された第２画像を、左サイドカメラ１の視点から後方を観察したようすを表す画像に視点変換し、視点変換した第２画像中の第１画像との合成に用いる部分である組込画像を、第１画像に、自動車の後方のようすを表した連続した一枚の画像を形成するように合成し、左サイドモニタ５に出力し表示する。
【0029】
ここで、このような左画像処理部４１の処理例を以下に示す。
いま、図４ａ１のように第１画像が左サイドカメラ１によって撮影され、図４ｂ１のように第２画像がバックカメラ２によって撮影されたものとする。
この場合、図４ａ１の第１画像から、左サイドカメラ１の撮影領域とバックカメラ２の撮影領域とが重複する部分の一部に対応する領域として設定されている第１比較領域C1の画像部分が、図４ａ２のように第１比較画像として抽出され、図４ｂ１の第２画像から、第１比較領域C1に対応する領域として設定されている第２比較領域C2の画像部分が、図４ｂ２のように第２比較画像として抽出される。
いま、図４ａ１のように第１画像が左サイドカメラ１によって撮影され、図４ｂ１のように第２画像がバックカメラ２によって撮影されたものとする。
この場合、図４ａ１の第１画像から、左サイドカメラ１の撮影領域とバックカメラ２の撮影領域とが重複する部分の一部に対応する領域として設定されている第１比較領域C1の画像部分が、図４ａ２のように第１比較画像として抽出され、図４ｂ１の第２画像から、第１比較領域C1に対応する領域として設定されている第２比較領域C2の画像部分が、図４ｂ２のように第２比較画像として抽出される。
【0030】
そして、図４ａ２の第１比較画像と図４ｂ２の第２比較画像から、両画像の類似度が算出されると共に、第１比較画像の平均値の第２比較画像の平均値に対する比が仮補正ゲインとして算出される。
また、類似度が大きいほど補正ゲインが仮補正ゲインにより近い値となり、類似度が小さいほど補正ゲインが参照補正ゲイン４１３６により近い値となるように補正ゲインが設定される。
そして、設定された補正ゲインにより、図５ａ１に示す第２画像のゲインが調整され、図５ａ２に示す補正後の第２画像が生成される。
補正された図５ａ２の第２画像は視点変換され、図５ｃに示すように、自動車の後方のようすを表した連続した一枚の画像を形成するように図５ｂの第１画像に合成され、左サイドモニタ５に表示される。
ここで、この合成は、たとえば、バックカメラ２で撮影された第２画像中の、自車によって左サイドカメラ１に対して遮られている自車後方の領域である遮蔽領域のようすが表れている部分を組込画像として抽出し、第１画像中の、自車が透明であれば当該遮蔽領域のようすが表れることとなる領域を上書き等によって置換することにより行う。
また、類似度が大きいほど補正ゲインが仮補正ゲインにより近い値となり、類似度が小さいほど補正ゲインが参照補正ゲイン４１３６により近い値となるように補正ゲインが設定される。
そして、設定された補正ゲインにより、図５ａ１に示す第２画像のゲインが調整され、図５ａ２に示す補正後の第２画像が生成される。
補正された図５ａ２の第２画像は視点変換され、図５ｃに示すように、自動車の後方のようすを表した連続した一枚の画像を形成するように図５ｂの第１画像に合成され、左サイドモニタ５に表示される。
ここで、この合成は、たとえば、バックカメラ２で撮影された第２画像中の、自車によって左サイドカメラ１に対して遮られている自車後方の領域である遮蔽領域のようすが表れている部分を組込画像として抽出し、第１画像中の、自車が透明であれば当該遮蔽領域のようすが表れることとなる領域を上書き等によって置換することにより行う。
【0031】
また、左サイドカメラ１で撮影した画像中の自車が表れる部分を合成した画像に含めると、第２画像から抽出し第１画像に合成した組込画像と不連続となってしまうため、この自車が表れる部分を黒色でマスクした形態で合成した画像を生成する。
以上、本発明の実施形態について説明した。
以上のように本実施形態によれば、左サイドカメラ１や右サイドカメラ３で撮影した第１画像とバックカメラ撮影した第２画像の撮影領域が重複する部分の類似度に応じて、当該重複する部分が類似しているほど、当該重複する部分から求めた補正ゲインに近くなり、当該重複する部分が異なっているほど、事前に設定されている参照補正ゲイン４１３６に近くなる補正ゲインで合成画像に含める第２画像の部分の補正が行われる。
以上、本発明の実施形態について説明した。
以上のように本実施形態によれば、左サイドカメラ１や右サイドカメラ３で撮影した第１画像とバックカメラ撮影した第２画像の撮影領域が重複する部分の類似度に応じて、当該重複する部分が類似しているほど、当該重複する部分から求めた補正ゲインに近くなり、当該重複する部分が異なっているほど、事前に設定されている参照補正ゲイン４１３６に近くなる補正ゲインで合成画像に含める第２画像の部分の補正が行われる。
【0032】
したがって、当該重複する部分が類似している場合には、実際に撮影した当該部分に基づく補正ゲインで適正に補正を行うことができると共に、当該重複する部分が大きく異なっている場合に、当該部分に基づいて不適切な補正ゲインで補正が行われてしまうことを抑制することができる。
【0033】
ところで、以上の実施形態では、第２画像を補正ゲインで補正した上で、第１画像と合成したが、これは、第１画像に第２画像から抽出した組込画像を合成した画像中の組込画像の部分に対して補正ゲインによる補正を行うようにしてもよい。
すなわち、この場合には、たとえば、図６に示すように、左画像処理部４１を第１合成部６０１、補正対象画像抽出部６０２、補正部４１１、第２合成部６０３、補正ゲイン算出処理部４１３から構成する。
そして、第１合成部６０１において、第１画像に第２画像から抽出した組込画像を合成した第１合成画像を生成し、補正領域抽出部において第１合成画像から組込画像の部分を補正対象画像として抽出し、補正部４１１において抽出された補正対象画像を補正ゲイン算出処理部４１３によって設定された補正ゲインで補正する。
すなわち、この場合には、たとえば、図６に示すように、左画像処理部４１を第１合成部６０１、補正対象画像抽出部６０２、補正部４１１、第２合成部６０３、補正ゲイン算出処理部４１３から構成する。
そして、第１合成部６０１において、第１画像に第２画像から抽出した組込画像を合成した第１合成画像を生成し、補正領域抽出部において第１合成画像から組込画像の部分を補正対象画像として抽出し、補正部４１１において抽出された補正対象画像を補正ゲイン算出処理部４１３によって設定された補正ゲインで補正する。
【0034】
第２合成部６０３において、第１合成画像の組込画像の部分を、補正部４１１において補正された組込画像に置換し左サイドモニタ５に出力する。
また、以上の実施形態は、補正ゲイン算出処理部４１３において、所定のしきい値よりも大きな類似度が算出されたときに、当該類似度と共に算出された仮補正ゲインに、参照補正ゲイン４１３６を更新するように構成してもよい。
すなわち、この場合には、図７に示すように、補正ゲイン算出処理部４１３に参照補正ゲイン更新部７０１を設け、類似度算出部４１３４で所定のしきい値よりも大きな類似度が算出されたときに、当該類似度が算出された第１比較画像と第２比較画像に対して仮補正ゲイン算出部４１３３で算出された仮補正ゲインに参照補正ゲイン４１３６を更新する。
また、以上の実施形態は、補正ゲイン算出処理部４１３において、所定のしきい値よりも大きな類似度が算出されたときに、当該類似度と共に算出された仮補正ゲインに、参照補正ゲイン４１３６を更新するように構成してもよい。
すなわち、この場合には、図７に示すように、補正ゲイン算出処理部４１３に参照補正ゲイン更新部７０１を設け、類似度算出部４１３４で所定のしきい値よりも大きな類似度が算出されたときに、当該類似度が算出された第１比較画像と第２比較画像に対して仮補正ゲイン算出部４１３３で算出された仮補正ゲインに参照補正ゲイン４１３６を更新する。
【0035】
所定のしきい値は、たとえば、最大で１、最小で０になるように正規化した類似度に対して０.８程度とする。
または、以上の実施形態は、補正ゲイン算出処理部４１３において、所定のしきい値よりも大きな類似度が算出されたときに、当該類似度を用いて設定された補正ゲインに参照補正ゲイン４１３６を更新するように構成してもよい。
すなわち、この場合には、図８に示すように参照補正ゲイン更新部７０１を設け、類似度算出部４１３４で所定のしきい値よりも大きな類似度が算出されたときに、当該類似度を用いて補正ゲイン設定部４１３５が設定した補正ゲインに参照補正ゲイン４１３６を更新する。
または、以上の実施形態は、補正ゲイン算出処理部４１３において、所定のしきい値よりも大きな類似度が算出されたときに、当該類似度を用いて設定された補正ゲインに参照補正ゲイン４１３６を更新するように構成してもよい。
すなわち、この場合には、図８に示すように参照補正ゲイン更新部７０１を設け、類似度算出部４１３４で所定のしきい値よりも大きな類似度が算出されたときに、当該類似度を用いて補正ゲイン設定部４１３５が設定した補正ゲインに参照補正ゲイン４１３６を更新する。
【0036】
以上のように仮補正ゲインや補正ゲインに参照補正ゲイン４１３６を更新することにより、各色成分について第２比較画像の平均値を第１比較画像の平均値に近似できるゲインにとして信頼度の高いゲインを自動的に参照補正ゲイン４１３６に設定することができる。
【0037】
また、以上の実施形態では、補正ゲイン設定部４１３５で設定した補正ゲインを組込画像の全体に適用して補正部４１１における補正を行ったが、これは、補正ゲインを切り替えながら適用して組込画像の補正を行うようにしてもよい。
すなわち、この場合には、たとえば、図９に示すように、左画像処理部４１を、補正部４１１、合成部４１２、第１補正ゲイン算出処理部９０１、第２補正ゲイン算出処理部９０２、補正ゲイン切替部９０３から構成する。
第１補正ゲイン算出処理部９０１と第２補正ゲイン算出処理部９０２は、以上で示した補正ゲイン算出処理部４１３と同じ構成を備えている。
ただし、第１補正ゲイン算出処理部９０１と第２補正ゲイン算出処理部９０２とでは、第１比較領域と第２比較領域のセットとして、異なるセットが設定されている。
すなわち、図１０に示すように、第１補正ゲイン算出処理部９０１には、第１画像や第２画像中の位置が組込画像の上端の位置に対応する位置となる第１比較領域C1_Aと第２比較領域C2_Aのセットが設定され、第２補正ゲイン算出処理部９０２には、第１画像や第２画像中の位置が組込画像の下端の位置に対応する位置となる第１比較領域C1_Bと第２比較領域C2_Bのセットが設定されている。
すなわち、この場合には、たとえば、図９に示すように、左画像処理部４１を、補正部４１１、合成部４１２、第１補正ゲイン算出処理部９０１、第２補正ゲイン算出処理部９０２、補正ゲイン切替部９０３から構成する。
第１補正ゲイン算出処理部９０１と第２補正ゲイン算出処理部９０２は、以上で示した補正ゲイン算出処理部４１３と同じ構成を備えている。
ただし、第１補正ゲイン算出処理部９０１と第２補正ゲイン算出処理部９０２とでは、第１比較領域と第２比較領域のセットとして、異なるセットが設定されている。
すなわち、図１０に示すように、第１補正ゲイン算出処理部９０１には、第１画像や第２画像中の位置が組込画像の上端の位置に対応する位置となる第１比較領域C1_Aと第２比較領域C2_Aのセットが設定され、第２補正ゲイン算出処理部９０２には、第１画像や第２画像中の位置が組込画像の下端の位置に対応する位置となる第１比較領域C1_Bと第２比較領域C2_Bのセットが設定されている。
【0038】
そして、補正ゲイン切替部９０３は、第１補正ゲイン算出処理部９０１に設定された第１比較領域C1_Aと第２比較領域C2_Aの上下方向範囲に上下方向範囲が対応する組込画像の領域QA中のラインについては、第１補正ゲイン算出処理部９０１で設定された補正ゲインGAで補正部４１１が補正を行うように補正部４１１の補正ゲインを設定する。
【0039】
また、第２補正ゲイン算出処理部９０２に設定された第１比較領域C1_Bと第２比較領域C2_Bの上下方向範囲に上下方向範囲が対応する組込画像の領域QB中のラインについては、第２補正ゲイン算出処理部９０２で設定された補正ゲインGBで補正部４１１が補正を行うように補正部４１１の補正ゲインを設定する。
【0040】
また、組込画像の領域QAと領域QBの間の領域QC中のラインについては、補正ゲインGAと補正ゲインGBの補間によって求まる補正ゲインを適用する。
すなわち、領域QAに近いラインほど補正ゲインGAにより近い値となり、領域QBに近いラインほど補正ゲインGBにより近い値となる補正ゲインGCで補正部４１１が補正を行うように補正部４１１の補正ゲインを設定する。
このライン毎の補正ゲインGCは、たとえば、領域QAと領域QBの間の上下方向距離をD、ラインと領域QB間の上下方向距離をdとして、
k=d/D
GC=k(GA-GB)+GB
として設定することができる。
すなわち、領域QAに近いラインほど補正ゲインGAにより近い値となり、領域QBに近いラインほど補正ゲインGBにより近い値となる補正ゲインGCで補正部４１１が補正を行うように補正部４１１の補正ゲインを設定する。
このライン毎の補正ゲインGCは、たとえば、領域QAと領域QBの間の上下方向距離をD、ラインと領域QB間の上下方向距離をdとして、
k=d/D
GC=k(GA-GB)+GB
として設定することができる。
【0041】
このように補正ゲインを設定することにより、各ライン毎に、当該ラインにおいて適正な補正ゲインを設定することができる。
ここで、以上の実施形態では第２画像を補正して第１画像に合成したが、これは、第１画像を補正して第２画像に合成してもよいし、第１画像と第２画像の双方を異なる補正ゲインで補正して合成するようにしてもよい。
第１画像を補正して第２画像に合成する場合には、補正は、第１画像と同じ補正ゲインで補正した第１比較画像の平均値と、第２比較画像の平均値とが等しくなる補正ゲインを用いて行い、第１画像と第２画像の双方を補正して合成する場合には、補正は、第１画像と同じ補正ゲインで補正した第１比較画像の平均値と、第２画像と同じ補正ゲインで補正した第２比較画像の平均値とが等しくなる補正ゲインを用いて行う。
ここで、以上の実施形態では第２画像を補正して第１画像に合成したが、これは、第１画像を補正して第２画像に合成してもよいし、第１画像と第２画像の双方を異なる補正ゲインで補正して合成するようにしてもよい。
第１画像を補正して第２画像に合成する場合には、補正は、第１画像と同じ補正ゲインで補正した第１比較画像の平均値と、第２比較画像の平均値とが等しくなる補正ゲインを用いて行い、第１画像と第２画像の双方を補正して合成する場合には、補正は、第１画像と同じ補正ゲインで補正した第１比較画像の平均値と、第２画像と同じ補正ゲインで補正した第２比較画像の平均値とが等しくなる補正ゲインを用いて行う。
【0042】
また、以上の実施形態は、左サイドカメラ１が撮影した画像と、バックカメラ２が撮影した画像と、右サイドカメラ３が撮影した画像との３つの画像を当該順序で左右に合成して表示するように修正して適用してもよい。ただし、この場合には、左サイドカメラ１や右サイドカメラ３が撮影した画像を、バックカメラ２が撮影した画像と同質の画像となるように補正する補正ゲインを求めて補正し３つの画像を合成するようにする。また、各画像は、左サイドカメラ１と右サイドカメラ３との中央の位置を視点とする画像に視点変換して用いる。
【0043】
また、以上の実施形態では、Ｒ、Ｇ、Ｂの各色成分を補正の対象としたが、画像の輝度や彩度やシャープネスなどの画質要素を対象とし、補正ゲインに代えて当該合成する画像の画質特性を同質とする補正特性を求めて、求めた補正特性で合成する画像の当該対象の補正を行ってもよい。
【0044】
また、以上では、自動車の側部に設けた左サイドカメラ１や右サイドカメラ３が撮影した画像と、自動車の後部に設けたバックカメラ２が撮影した画像を合成して後方のようすを表す画像を生成する場合について示したが、本実施形態は、撮影領域を一部重複させた複数のカメラで撮影した画像を合成するものであれば、カメラが自動車に設けられたものでない場合を含め、任意の合成に同様に適用することができる。たとえば、本実施形態は、自動車の周囲を撮影する、撮影領域を一部重複させた複数のカメラで撮影した画像を視点変換して、自動車の周囲のようすを上方より観察したようすを表すように合成して、俯瞰（鳥瞰）画像を生成する場合等に同様に適用することができる。
【符号の説明】
【0045】
１…左サイドカメラ、２…バックカメラ、３…右サイドカメラ、４…画像処理装置、５…左サイドモニタ、６…右サイドモニタ、４１…左画像処理部、４２…右画像処理部、４１１…補正部、４１２…合成部、４１３…補正ゲイン算出処理部、６０１…第１合成部、６０２…補正対象画像抽出部、６０３…第２合成部、７０１…参照補正ゲイン更新部、９０１…第１補正ゲイン算出処理部、９０２…第２補正ゲイン算出処理部、９０３…補正ゲイン切替部、４１３１…第１比較画像抽出部、４１３２…第２比較画像抽出部、４１３３…仮補正ゲイン算出部、４１３４…類似度算出部、４１３５…補正ゲイン設定部、４１３６…参照補正ゲイン。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
