特許 7442029 画像処理装置、画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-22

(45)【発行日】2024-03-04

(54)【発明の名称】画像処理装置、画像処理プログラム

(51)【国際特許分類】

   G06T 7/593 20170101AFI20240226BHJP

   G06T 3/00 20240101ALI20240226BHJP

   H04N 23/60 20230101ALI20240226BHJP

   H04N 23/695 20230101ALI20240226BHJP

   H04N 23/698 20230101ALI20240226BHJP

【ＦＩ】

G06T7/593

G06T3/00 780

H04N23/60 500

H04N23/698

【請求項の数】 8

(21)【出願番号】P 2019190453

(22)【出願日】2019-10-17

(65)【公開番号】P2021067977

(43)【公開日】2021-04-30

【審査請求日】2022-08-03

(73)【特許権者】

【識別番号】000003551

【氏名又は名称】株式会社東海理化電機製作所

(73)【特許権者】

【識別番号】714003531

【氏名又は名称】カムイ・イノベーション株式会社

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(74)【代理人】

【識別番号】100099025

【弁理士】

【氏名又は名称】福田 浩志

(72)【発明者】

【氏名】石塚 博基

(72)【発明者】

【氏名】林 政樹

(72)【発明者】

【氏名】海野 和也

(72)【発明者】

【氏名】葛谷 麻未

(72)【発明者】

【氏名】沢田 保宏

(72)【発明者】

【氏名】カントラ ラッセ

【審査官】合田 幸裕

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０２８９２２３（ＵＳ，Ａ１）

【文献】国際公開第２０１３／０８１２８７（ＷＯ，Ａ１）

【文献】国際公開第２０１３／０４７０１２（ＷＯ，Ａ１）

【文献】特開２０１３－０６６０５８（ＪＰ，Ａ）

【文献】国際公開第２００８／０６８４５６（ＷＯ，Ａ２）

【文献】国際公開第２００８／１３４８２９（ＷＯ，Ａ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５９３

Ｇ０６Ｔ ３／００

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６９５

ＩＥＥＥ Ｘｐｌｏｒｅ

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

複数の撮像装置により撮影するときに、相互の撮影領域が重なるオーバラップ部が形成されるように撮影した複数の画像を合成して、広視野画像を生成する画像処理装置であって、
複数の撮像装置で撮影した画像を取得する取得部と、
前記オーバラップ部に対して、前記複数の撮像装置間に複数の仮想視点を設定する仮想視点設定部と、
前記仮想視点設定部で設定された前記複数の仮想視点に対する画像を、前記複数の撮像装置で撮影した画像から補間して生成する補間画像生成部と、
前記補間画像生成部で生成した補間画像と前記複数の撮像装置で撮影したオーバラップ部以外の画像とを連結する連結部と、
を有する画像処理装置。

【請求項2】

車両における運転者の視野の補助となり得る画像を、相互の撮影領域が重なるオーバラップ部が形成されるように分割して、複数の撮像装置で撮影した画像を取得する取得部と、
前記オーバラップ部に対して、前記複数の撮像装置間に複数の仮想視点を設定する仮想視点設定部と、
前記仮想視点設定部で設定された前記複数の仮想視点に対する画像を、前記複数の撮像装置で撮影した画像から補間して生成する補間画像生成部と、
前記補間画像生成部で生成した補間画像と前記複数の撮像装置で撮影したオーバラップ部以外の画像とを連結する連結部と、
前記連結部で連結した画像を、出力デバイスに出力する出力部と、
を有する画像処理装置。

【請求項3】

前記補間画像において、一方の撮像装置で撮影した画像に連結した側に近いほど、当該一方の撮像装置に近い仮想視点となり、他方の撮像装置で撮影した画像に連結した側に近いほど、当該他方の撮像装置に近い仮想視点となる請求項１又は請求項２記載の画像処理装置。

【請求項4】

前記補間画像の幅寸法に依存する画素数と同数の仮想視点を設定する請求項１～請求項３の何れか１項記載の画像処理装置。

【請求項5】

前記仮想視点は、前記オーバラップ部を撮影した複数の撮像装置の視点位置の内分点上である請求項１～請求項４の何れか１項記載の画像処理装置。

【請求項6】

前記補間画像生成部が、画像間の視差を検出し、当該視差を検出した対象となる画像を変形して仮想視点に対する視差調整を実行する請求項１～請求項５の何れか１項記載の画像処理装置。

【請求項7】

前記オーバラップ部の被写体の距離を検出する距離画像検出部をさらに有する請求項１～請求項６の何れか１項記載の画像処理装置。

【請求項8】

コンピュータを、
請求項１～請求項６の何れか１項記載の画像処理装置として動作させる、
画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、分割して撮像した車両周囲画像を合成する画像処理装置、画像処理プログラムに関する。

【背景技術】

【0002】

間隔を置いて設置された２台以上のカメラで撮影した画像に重複領域(オーバーラップ部)を設け、合成する技術では、基本的に予め定めた仮想スクリーン(投影位置)を基準として画像のずれを補正する。

【0003】

このとき、仮想スクリーンよりも手前側には、表示されない死角が存在し、かつ、仮想スクリーンよりも奥側には、被写体が二重像となる領域が存在する場合がある。

【0004】

この重複画像の撮影元である２台のカメラの間隔が広くなれば死角が増え、及び二重像のずれ量が拡大する。

【0005】

特許文献１には、低コストで、より広範囲の多数の視点から見た画像を提供することが記載されている。

【0006】

より詳細には、複数のカメラにより被写体の画像を撮影する撮影部と、前記撮影された画像に基づいて、前記複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補完する画像補完部と、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意視点画像生成部とを備えることが記載されている。

【0007】

また、特許文献２には、合成画像の境界線上の物体の周縁のずれ量を少なくすることが記載されている。

【0008】

より詳細には、画像投影スクリーン設定部は、仮想視点と消失点とを結ぶ仮想視線に垂直な投影スクリーンを仮想視点との距離を変えて複数設定する。画像合成部は、各投影スクリーンについて、仮想視線と平行で所定距離を隔てた境界面と投影スクリーンとの交線を境界とし、後方画像、左後側方画像及び右後側方画像を投影スクリーンに投影し、合成画像の候補を複数形成する。画像評価部は、各合成画像について合成画像中で境界上の物体の周縁のずれ量を評価し、画像選択部は、各合成画像中でずれ量が最も少ない合成画像を選択する。これにより、合成画像の境界上の物体の周縁のずれ量を少なくできる。

【先行技術文献】

【特許文献】

【0009】

【文献】特開２０１２－２４４５２７号公報

【文献】特開２０１３－１１８５０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、例えば、特許文献１の技術では、複数のカメラの全部または一部の位置を結んだ複数の線分により構成される面内の任意の位置において撮影された画像を補間（引用文献１では補完とあるが、ここでは、同義とする。）することは記載されているが、複数のカメラが単一の視点を囲むように円弧状に配置され、３Ｄ動画における、カメラ間の画像の補間を行うものであり、死角や二重像の解消については明確な記載はない。また、二次元画像（静止画及び動画を含む）について、複数台のカメラを用いて視野を拡大する画像の補間については記載されておらず、示唆もされていない。

【0011】

一方、例えば、特許文献２の技術では、２台のカメラで撮影した画像のつなぎ目についてのずれ量を軽減することが記載されているが、重複画像領域の死角や二重像の解消については明確な記載はない。

【0012】

本発明は、複数台のカメラで撮像した重複部分を含む画像を合成して視野を広げる場合に、重複撮影部分での死角及び二重像を軽減することができる画像処理装置、画像処理プログラムを得ることが目的である。

【課題を解決するための手段】

【0013】

本発明は、複数の撮像装置により撮影するときに、相互の撮影領域が重なるオーバラップ部が形成されるように撮影した複数の画像を合成して、広視野画像を生成する画像処理装置であって、複数の撮像装置で撮影した画像を取得する取得部と、前記オーバラップ部に対して、少なくとも１つの仮想視点を設定する仮想視点設定部と、前記仮想視点設定部で設定された仮想視点に対する画像を、前記複数の撮像装置で撮影した画像から補間して生成する補間画像生成部と、前記補間画像生成部で生成した補間画像と前記複数の撮像装置で撮影したオーバラップ部以外の画像とを連結する連結部と、を有している。

【0014】

本発明によれば、取得部で複数の撮像装置で撮影した画像を取得し、仮想視点設定部において、オーバラップ部に対して、少なくとも１つの仮想視点を設定する。

【0015】

補間画像生成部では、仮想視点設定部で設定された仮想視点に対する画像を、複数の撮像装置で撮影した画像から補間して生成する。

【0016】

連結部では、補間画像生成部で生成した前記補間画像と、前記複数の撮像装置で撮影したオーバラップ部以外の画像とを連結する。

【0017】

仮想視点を設けることで、被写体の二重像が発生したり、被写体が消失するといった不具合のない広視野画像を得ることができる。

【0018】

本発明は、車両における運転者の視野の補助となり得る画像を、相互の撮影領域が重なるオーバラップ部が形成されるように分割して、複数の撮像装置で撮影した画像を取得する取得部と、前記オーバラップ部に対して、少なくとも１つの仮想視点を設定する仮想視点設定部と、前記仮想視点設定部で設定された仮想視点に対する画像を、前記複数の撮像装置で撮影した画像から補間して生成する補間画像生成部と、前記補間画像生成部で生成した補間画像と前記複数の撮像装置で撮影したオーバラップ部以外の画像とを連結する連結部と、前記連結部で連結した画像を、出力デバイスに出力する出力部と、を有している。

【0019】

本発明によれば、車両における運転者の視野の補助となり得る画像として、後方視界を挙げることができる。車両の運転中の後方は死角がある場合がある。そこで、本発明の画像処理装置を用いることで、被写体の二重像が発生したり、被写体が消失することのない後方確認用支援画像を提供することができる。

【0020】

本発明において、前記補間画像において、一方の撮像装置で撮影した画像に連結した側に近いほど、当該一方の撮像装置に近い仮想視点となり、他方の撮像装置で撮影した画像に連結した側に近いほど、当該他方の撮像装置に近い仮想視点となることを特徴としている。

【0021】

本発明において、前記補間画像の幅寸法に依存する画素数と同一の仮想視点を設定することを特徴としている。

【0022】

本発明において、前記仮想視点は、前記オーバラップ部を撮影した複数の撮像装置の視点位置の内分点上であることを特徴としている。

【0023】

本発明において、前記補間画像生成部が、画像間の視差を検出し、当該視差を検出した対象となる画像を変形して仮想視点に対する視差調整を実行することを特徴としている。

【0024】

視差を調整するように画像変形することで、二重画像は完全に解消される。

【0025】

本発明において、前記オーバラップ部の被写体の距離を検出する距離画像検出部をさらに有する。

【0026】

距離画像検出部を用いることで、画像処理における視差検出の演算処理負担を軽減することができ、かつ、より高品質な補間画像を生成することができる。

【0027】

本発明に係る画像処理プログラムは、コンピュータを、上記の何れかの画像処理装置として動作させる。

【0028】

なお、補間画像生成部によける各仮想視点の画像の生成処理には、例えば、視点補間（viewpoint interpolation）技術が適用可能である。

【発明の効果】

【0029】

以上説明した如く本発明では、複数台のカメラで撮像した重複部分を含む画像を合成して視野を広げる場合に、重複撮影部分での死角及び二重像を軽減することができるという効果を奏する。また、上記効果に加え、十分な数の仮想視点を設定すれば段差の見られない連結画像を提供できる。

【図面の簡単な説明】

【0030】

【図1】第１の実施の形態に係る画像処理装置の構成を示す概略構成図である。

【図2】第１の実施の形態に係る画像処理装置に適用された２台のカメラを光軸に交差する方向から見たときの、仮想カメラの配列状態を示す正面図である。

【図3】図１に示す画像処理装置における視点補間画像生成部の詳細を示す概略構成図である。

【図4】第１の実施の形態に係る画像処理装置の処理の流れを示す制御フローチャートである。

【図5】（Ａ）は第１の実施の形態に係る仮想カメラアレイ方式の合成処理及びオーバラップ部の視点生成処理の結果を示す概念図、（Ｂ）はその比較例であり、２台のカメラの撮影画像の合成処理の結果を示す概念図である。

【図6】本発明の仮想カメラアレイ方式の画像合成の原理を説明するカメラを光軸に交差する方向から見たときの正面図であり、（Ａ）２台の実カメラの撮影画像の合成時の二重像のずれ幅Ｗ０を示し、（Ｂ）は２台の実カメラの間に１台の仮想カメラを設定した場合の二重像のずれ幅Ｗ１を示し、（Ｃ）は２台の実カメラの間に３台の仮想カメラを設定した場合の二重像のずれ幅Ｗ２を示す。

【図7】第１の実施の形態における、死角解消の原理を示すためのカメラを光軸に交差する方向から見たときの正面図である。

【図8】第１の実施の形態の変形例に係る画像処理装置の概略構成図である。

【図9】第２の実施の形態に係る車両が示されており、（Ａ）は車両の平面図、（Ｂ）は車両の側面図である。

【図10】第２の実施の形態に係る車両の室内を、後席中央から前席を見たときの概略図である。

【図11】（Ａ）は第２の実施の形態に係る車両に適用された３台のカメラを光軸に交差する方向から見たときの、仮想カメラの配列状態を示す正面図、（Ｂ）は第２の実施の形態に係る仮想カメラアレイ方式の合成処理及びオーバラップ部の視点生成処理の結果を示す概念図である。

【発明を実施するための形態】

【0031】

「第１の実施の形態」

【0032】

図１は、本発明の第１の実施の形態に係る仮想カメラアレイを利用した画像処理装置１００が示されている。

【0033】

画像処理装置１００には、実装カメラとしてＬカメラ１０２とＲカメラ１０４を備えている。画像処理装置１００では、Ｌカメラ１０２とＲカメラ１０４で撮影した画像を合成して、モニタ部１０６へ出力する。

【0034】

モニタ部１０６は、表示ドライバ１０８及び表示画面１１０を備えており、画像処理装置１００から受け付けた画像情報に基づいて、表示画面１１０に合成画像を表示する。

【0035】

図２に示される如く、Ｌカメラ１０２とＲカメラ１０４とは、図２の正面からみて左右方向に並ぶように配置されている。なお、第１の実施の形態では、Ｌカメラ１０２とＲカメラ１０４とは、相対的な位置関係で左（Ｌ）及び右（Ｒ）に区別しているが、図２の奥行き方向（縦方向）に並ぶように配置してもよい。Ｌカメラ１０２及びＲカメラ１０４はそれぞれ、図２の一点鎖線で示される視野範囲ＷＬ、ＷＲを持っている。その内、後述する仮想スクリーン１１４に反映される画像を斜線で示している（図５においても同様）。表示画像として利用される。

【0036】

なお、図２に示される如く、Ｌカメラ１０２及びＲカメラ１０４は、それぞれの光軸が平行ではなく、互いに外向きとなっており、Ｌカメラ１０２及びＲカメラ１０４の視界を異ならせることが好ましい。なお、Ｌカメラ１０２及びＲカメラ１０４のそれぞれの光軸を互いに外向きとしたが、平行であってもよい。

【0037】

Ｌカメラ１０２及びＲカメラ１０４による撮影画像には、オーバラップ部１１２（図２参照）が存在する。

【0038】

オーバラップ部１１２では、Ｌカメラ１０２の画像情報とＲカメラ１０４の画像情報とを単純に合成すると、相互の視差に起因して、仮想スクリーン１１４の奥側の被写体が二重にみえる（二重像）現象が発生する。二重像は、Ｌカメラ１０２とＲカメラ１０４との間隔（距離）に依存する（詳細は、図６にて後述）。

【0039】

また、Ｌカメラ１０２の画像情報とＲカメラ１０４の画像情報とを単純に合成すると、仮想スクリーン１１４よりも手前側に死角領域１１６（図２参照）が存在する。

【0040】

第１の実施の形態では、Ｌカメラ１０２の撮影画像とＲカメラとの撮影画像（図２の視野範囲ＷＬ、ＷＲを含む）とから、視差を調整した仮想的な視点での画像を生成し、二重像の発生、及び死角領域１１６を軽減するようにした。なお、視点の生成は等間隔でもよいが、視点間隔を狭くすることで、つなぎ目を目立たなくすることができる。さらに、生成画像のＬカメラ１０２の撮影画像のオーバラップ部以外と連結される側では、仮想視点をＬカメラ１０２の位置近傍、生成画像のＲカメラ１０４の撮影画像のオーバラップ部以外と連結される側では、仮想視点をＲカメラ１０４の位置近傍とすることで、画像連結部で結合される部分での繋ぎ目を目立たなくすることができる。

【0041】

図１に示される如く、Ｌカメラ１０２及びＲカメラ１０４は、それぞれ画像処理装置１００の視点補間画像生成部１１８に接続されている。視点補間画像生成部１１８では、Ｌカメラ１０２とＲカメラ１０４との間に仮想的な視点を生成し、当該仮想的な視点からみた画像を補間画像として生成する。

【0042】

すなわち、図２に示される如く、Ｌカメラ１０２とＲカメラ１０４との間には、各視点での補間画像を撮影する仮想カメラ１２０が設置されているということができる。仮想カメラ１２０の数は、視点位置指示部１２２によって指示される。仮想カメラ１２０の数は、１以上であり、実用的な最大数は生成されるオーバラップ部の画像幅に依存する。この場合、生成画像の１画素幅毎に異なる仮想視点が設定される。仮想カメラ１２０の数の設定は、Ｌカメラ１０２及びＲカメラ１０４で撮影する被写体や精度条件（例えば、二重像のずれ幅の制限）等によって定めればよい。

【0043】

視点位置指示部１２２は、視点補間画像生成部１１８に接続されており、Ｌカメラ１０２及びＲカメラ１０４で撮影した画像に基づいて、仮想カメラ１２０の数及び位置を決定する。視点位置はＬカメラ１０２の位置とＲカメラ１０４の位置の内分比をｔ：１－ｔとする値ｔで示され、オーバラップ部の各画素（ｘ，ｙ）毎に対応するtを示すマップｔ（ｘ，ｙ）として視点位置情報を視差検出部１２８及び画像混合部１３６に搬出される。

【0044】

このｔは０～１の数値（小数）であり、例えば、ｔ＝０はＬカメラ１０２の位置となり、ｔ＝１はＲカメラ１０４の位置となる。従って、画像連結部１２４でＬカメラ１０２単独で撮影された領域画像に連結される側では０に近い値をとり、反対に、Ｒカメラ１０４単独で撮影された領域画像に連結される側では１に近い値を取り、その間は連続的に変化する。例えば中間位置ではｔ＝０．５となる。

【0045】

視点補間画像生成部１１８では、設定された仮想カメラ１２０の数に応じて生成された補間画像（図２における仮想カメラ光軸（視点）群参照）を画像連結部１２４へ送出する。

【0046】

画像連結部１２４には、Ｌカメラ１０２及びＲカメラ１０４の撮影画像も入力されている。画像連結部１２４では、Ｌカメラ１０２の撮影画像、Ｒカメラ１０４の撮影画像、及び複数の補間画像を連結する。

【0047】

画像連結部１２４で連結することで生成された合成画像は、出力部１２６へ出力され、前述したようにモニタ部１０６の表示画面１１０に表示される。

【0048】

（視点補間画像生成部１１８の詳細）

【0049】

図３は、図２の視点補間画像生成部１１８における、視点位置指示部１２２からの視点指示に応じた補間画像の生成に関する演算処理の詳細を示した概略構成図である。

【0050】

図３に示される如く、Ｌカメラ１０２及びＲカメラ１０４の撮影画像は、それぞれ視差検出部１２８に入力される。この視差検出部１２８には、視点位置指示部１２２からの視点指示情報が入力される。

【0051】

視差検出部１２８では、以下の（１）式及び（２）式に基づいて、Ｌカメラ１０２とＲカメラ１０４との撮影画像の視差マップｄを演算する。なお、ｘ、ｙは、二次元の画像の座標である。Ｌカメラ１０２を基準とした視差マップｄ（ｘ，ｙ）を次のように求める。

【0052】

【数1】

【0053】

この視差マップｄ（ｘ，ｙ）はＬ画像の各画素Ｌ（ｘ，ｙ）を－ｄ（ｘ，ｙ）画素幅横に移動した際にＲ画像と一致するような値のマップである。実際には数学的に完全に一致するわけではなく、ステレオマッチングとして知られる手法によって算出される。ステレオマッチングにはブロックマッチングやセミグローバルブロックマッチング等各種手法が存在するが、本発明はステレオマッチングの手法を限定するものではない。

【0054】

同様に、Ｒカメラ１０４を基準とした視差マップｄ（ｘ，ｙ）を次のように求める。

【0055】

【数2】

【0056】

（１）式はＬカメラ１０２を基準とした視差であり、（２）式はＲカメラ１０４を基準とした視差であり、双方共、ほぼ計算結果は一致するが、Ｌカメラ１０２でしか撮影されない領域、Ｒカメラ１０４でしか撮影されない領域等の存在により、（１）式及び（２）式を併用することが好ましい。

【0057】

視差検出部１２８での演算結果において、（１）式の演算結果は、Ｌカメラ１０２用の視差調整部１３０に送出され、（２）式の演算結果は、Ｒカメラ１０４用の視差調整部１３２に送出される。

【0058】

視差調整部１３０、１３２には、それぞれ視点位置指示部１２２からの視点位置情報が入力されている。

【0059】

（Ｌカメラ１０２の視差調整）

【0060】

Ｌカメラ１０２用の視差調整部１３０では、（１）式の演算結果と視点位置情報とに基づき、視差調整のための変形量ｄＬの演算を（３）式により実行する。

【0061】

【数3】

【0062】

視差調整部１３０での演算結果は、Ｌカメラ１０２用の画像変形部１３４に送出される。画像変形部１３４には、Ｌカメラ１０２で撮影された画像情報が入力されている。

【0063】

画像変形部１３４では、視差調整部１３０での（３）式の演算結果と、Ｌカメラ１０２の画像情報とに基づき、Ｌカメラ１０２で撮影した画像の視差を補正するための変形処理を、（４）式により実行する。

【0064】

【数4】

【0065】

画像変形部１３４で実行された変形処理後のＬカメラ１０２の画像情報は、画像混合部１３６へ送出される。

【0066】

（Ｒカメラ１０４の視差調整）

【0067】

Ｒカメラ１０４用の視差調整部１３２では、（１）式の演算結果と視点位置情報とに基づき、視差調整のための変形量ｄＲの演算を（５）式により実行する。

【0068】

【数5】

【0069】

視差調整部１３２での演算結果は、Ｒカメラ１０４用の画像変形部１３８に送出される。画像変形部１３８には、Ｒカメラ１０４で撮影された画像情報が入力されている。

【0070】

画像変形部１３８では、視差調整部１３２での（５）式の演算結果と、Ｒカメラ１０４の画像情報とに基づき、Ｒカメラ１０４で撮影した画像の視差を補正するための変形処理を、（６）式により実行する。

【0071】

【数6】

【0072】

画像変形部１３８で実行された変形処理後のＲカメラ１０４の画像情報は、画像混合部１３６へ送出される。

【0073】

画像混合部１３６には、視点位置指示部１２２からの視点指示情報が入力されている。

【0074】

画像混合部１３６では、（７）式に基づき、視点毎の画像（仮想カメラの各視点の画像）を重畳する。

【0075】

【数7】

【0076】

この合成は、α－ｂｌｅｎｄｉｎｇ処理として知られる。採用比率（１－ｔ）：ｔをＬカメラ１０２の位置とＲカメラ１０４の位置の内分比の逆とすることで、徐々に変化しカメラ間の画質の差異による段差を解消する。また、画像連結される部分では、ほぼ１００％連結されるカメラ画像が採用されるため、連結される画像間の段差も解消される。

【0077】

画像混合部１３６で重畳されたオーバラップ部の補間画像Ｉ（ｘ，ｙ）は、補間画像格納部１４０へ一時的に格納され、所定のタイミング（Ｌカメラ１０２の画像とＲカメラ１０４の画像との間での同期をとった状態）で、前述した画像連結部１２４へ送出される。なお、カメラ間の同期は、視差検出部１２８よりも前で実行しておく必要がある。

【0078】

以下に、第１の実施の形態の作用を図４のフローチャートに従い説明する。

【0079】

図４は、画像処理装置の処理の流れを示す制御フローチャートである。なお、画像処理は、シングルプロセッサにおいて、所定の制御プログラムに基づき制御してもよいし、（図２及び図３のブロック単位において、１又は複数の処理を、マルチプロセッサで並行処理してもよいし、或いは、ＡＳＩＣ（Application Specific Integrated Circuit）のような特定用途向けの集積回路を組み合わせた処理基板を作成して並行処理してもよい。

【0080】

図４に示される如く、ステップ１５０では、Ｌカメラ１０２及びＲカメラ１０４で撮影した画像を取り込み、次いで、ステップ１５２へ移行して、視点位置指示情報を取り込み、ステップ１５４へ移行する。

【0081】

ステップ１５４では、Ｌカメラ１０２基準の視差検出処理と、Ｒカメラ１０４基準の視差検出処理と、が実行される。

【0082】

次のステップ１５６では、Ｌカメラ１０２基準の視差に基づく視差調整処理と、Ｒカメラ１０４基準の視差に基づく視差調整処理と、が実行される。

【0083】

次のステップ１５８では、Ｌカメラ１０２基準の画像変形処理と、Ｒカメラ１０４基準の画像変形処理と、が実行される。

【0084】

なお、ステップ１５４の視差検出処理、ステップ１５６の視差調整処理、及びステップ１５８の画像変形処理において、処理時間短縮のために、Ｌカメラ１０２基準及びＲカメラ基準での各処理を並行処理することが好ましい。

【0085】

次のステップ１６０では、ステップ１５８で変形処理された、Ｌカメラ１０２基準の及びＲカメラ１０４基準のオーバラップ部の画像を混合して補間画像を生成し、ステップ１６２へ移行して、当該補間画像を補間画像格納部１４０（図３参照）へ一時的に格納する。

【0086】

次のステップ１６４では、Ｌカメラ１０２の撮影画像及びＲカメラ１０４で撮影した画像の非オーバラップ部分を取り込み、次いで、ステップ１６６で補間画像格納部１４０（図３参照）に格納した補間画像を読み出して、ステップ１６８へ移行する。

【0087】

ステップ１６８では、Ｌカメラ１０２の撮影画像、Ｒカメラ１０４の撮影画像、及び補間画像を連結し、ステップ１７０へ移行する。

【0088】

ステップ１７０では、画像表示処理が実行される。画像表示処理は、画像連結部１２４（図１参照）で連結した連結画像を、出力部１２６を介してモニタ部１０６へ出力し、表示ドライバ１０８の駆動により、表示画面１１０に連結画像を表示する。

【0089】

次のステップ１７２では、画像処理装置１００の電源がオフされたか否かを判断し、否定判定された場合は、ステップ１５０へ戻り、上記工程を繰り返すことで、動画が表示される。また、ステップ１７２で肯定判定された場合は、このルーチンは終了する。

【0090】

図５は、Ｌカメラ１０２及びＲカメラ１０４の合成処理においてオーバラップ部１１２に仮想カメラ設定した場合（第１の実施の形態、図５（Ａ）参照）と、２台のＬカメラ１０２とＲカメラ１０４を単純に合成した場合（比較例、図５（Ｂ）参照）と、を比較したものである。なお、比較例は、例えば、第１の実施の形態における画像混合部１３６で用いた、α－ｂｌｅｎｄｉｎｇ処理による画像合成処理が適用可能である。

【0091】

図５（Ｂ）の比較例では、仮想スクリーン１１４の奥側にあるオーバラップ部１１２の被写体１４２がＬカメラ１０２及びＲカメラ１０４でも撮影され、仮想スクリーン１１４上の表示されることになり、視差が発生して二重像となる。

【0092】

一方、図５（Ａ）の第１の実施の形態では、被写体１４２は、複数設定した仮想カメラ１２０の一部で撮影されるため、二重像が解消されている。

【0093】

なお、被写体が、単一の仮想カメラ１２０で撮影されることが好ましいが、実際は２つの仮想カメラ１２０となることが多い。しかし、その視差は極めて小さいため、多少の歪みは発生する場合もあるが、二重像にはならない。

【0094】

（仮想カメラ１２０の設定による二重像解消の原理）

【0095】

図６において、Ｌカメラ１０２とＲカメラ１０４との実装のカメラの間に、仮想カメラ１２０を設定した場合に、特に二重像が解消される原理を説明する。

【0096】

図６（Ａ）は、２台の実装カメラ（Ｌカメラ１０２及びＲカメラ１０４）の撮影画像を例えば、図５（Ｂ）の比較例で適用したα－ｂｌｅｎｄｉｎｇ処理により合成した場合をしめしており、二重像のずれ幅がＷ０となっている。

【0097】

図６（Ｂ）は、図６（Ａ）の構成において、Ｌカメラ１０２及びＲカメラ１０４の間に１台の仮想カメラ１２０を設定した場合であり、この図６（Ｂ）においても二重像は発生している。

【0098】

しかしながら、１個の仮想カメラ１２０を設定したことで、仮想カメラ１２０を設定しない構成（図６（Ａ）参照）に対して、図６（Ｂ）における二重像のずれ幅Ｗ１は、図６（Ａ）の二重像のずれ幅Ｗ０の１／２となっている（Ｗ１＝０．５×Ｗ１）。

【0099】

続いて、図６（Ｃ）は、図６（Ｂ）の構成において、Ｌカメラ１０２、Ｒカメラ１０４、及び仮想カメラ１２０の間に、さらに、仮想カメラ１２０を設定した場合であり、都合、Ｌカメラ１０２及びＲカメラ１０４の間に３台の仮想カメラ１２０が設定されたことになる。この図６（Ｃ）においても二重像は発生している。

【0100】

しかしながら、３個の仮想カメラ１２０を設定したことで、仮想カメラ１２０を設定しない構成（図６（Ａ）参照）に対して、図６（Ｃ）における二重像のずれ幅Ｗ２は、図６（Ｂ）の二重像のずれ幅Ｗ１の１／４となっている（Ｗ２＝０．５×（０．５×Ｗ０）＝０．２５×Ｗ０）。

【0101】

すなわち、Ｌカメラ１０２とＲカメラ１０４との間隔（距離）が短くなるにつれて（比例して）、二重像のずれ幅は小さくなる。そこで、必要数の仮想カメラ１２０を設定することで、当該設定数分に応じて視差が減少し、二重像を解消することができる。

【0102】

なお、仮想カメラ１２０は、１個を設定する時点で効果があり（二重像のずれ幅が半減）、最大、オーバラップ画像の幅に依存して設定可能である。仮想カメラ１２０の設定数は、撮影した画像の用途の精度条件等によって設定すればよい。

【0103】

なお、第１の実施の形態において、仮想カメラ１２０の視点の画像を生成するとき、Ｌカメラ１０２の撮影画像と、Ｒカメラ１０４の撮影画像とを併用したが、この併用によって、図７に示される如く、Ｌカメラ１０２の死角と、Ｒカメラ１０４の死角と、を一方が他方を互いに補うことになるため、仮想カメラ１２０での死角を解消することができる。

【0104】

（変形例）

【0105】

図８は、第１の実施の形態の変形例に係る画像処理装置１００の概略構成図である。第１の実施の形態の画像処理装置１００（図３参照）と同一構成部分は、同一の符号を付して、その構成の説明を省略する。

【0106】

第１の実施の形態では、視点位置指示部１２２からの視点位置指示情報に基づいて、視差を検出した。

【0107】

一方、変形例では、視差検出の情報提供のデバイスとして、距離画像生成部１４４を設けた点にある。

【0108】

距離画像生成部１４４は、可視光レーダー、赤外線レーダー、Ｌｉｄａｒ（Light Detection And Ranging）、プロジェクタを利用した三角法、及び、Time of Fight法等が適用可能である。

【0109】

距離画像生成部１４４では、「Depth map」を生成し（ｚ（ｘ，ｙ））、視点補間画像生成部１１８の視差検出部１２８へ送出する。

【0110】

視差検出部１２８では、複雑な演算（（１）式及び（２）式を行うことなく、視差マップｄを検出することができる。

【0111】

「第２の実施の形態」

【0112】

以下に、本発明の第２の実施の形態について説明する。

【0113】

図９には、本実施の形態に係る車両１０が示されており、（Ａ）は車両１０の平面図、（Ｂ）は車両１０の側面図である。

【0114】

図９（Ａ）に示される如く、車両１０の前進方向右側面には、右カメラアダプタ１２が取り付けられている。右カメラアダプタ１２には、光軸が車両１０の右後方に向けられたＲＨカメラヘッド１４が取り付けられている。ＲＨカメラヘッド１４では、図９（Ａ）の一点鎖線Ｒで囲まれた領域ＡＲを撮像する。

【0115】

また、図９（Ａ）に示される如く、車両１０の前進方向左側面には、左カメラアダプタ１６が突出されている。左カメラアダプタ１６には、光軸が車両１０の左後方に向けられたＬＨカメラヘッド１８が取り付けられている。ＬＨカメラヘッド１８では、図９（Ａ）の一点鎖線Ｌで囲まれた領域ＡＬを撮像する。

【0116】

さらに、図９（Ａ）に示される如く、車両１０の後部における、車両幅方向中央部には、光軸が車両１０の後方（光軸が路面に略水平）に向けられたＲＲカメラヘッド２０が取り付けられている。ＲＲカメラヘッド２０では、図９（Ａ）の一点鎖線Ｃで囲まれた領域ＡＣを撮像する。

【0117】

ここで、領域ＡＲと領域ＡＣとは、それぞれ一部が重なっており、撮像される画像の一部が重複している。また、領域ＡＬと領域ＡＣとは、それぞれ一部が重なっており、撮像される画像の一部が重複している。

【0118】

図９（Ｂ）に示される如く、車両１０の後部には、ＲＲカメラヘッド２０とは別に、後進専用カメラ２２が取り付けられている。後進専用カメラ２２は、一点鎖線Ｂで囲まれた領域ＡＢを撮像するようになっており、撮像画像は、車両１０が後進する際に、車室内の情報表示用モニタ２４（図１０参照）に表示されるようになっている。領域ＡＢは、車両１０の後方端部（例えば、後部バンパ）を含むように光軸が設定され、ＲＲカメラヘッド２０の光軸よりも下向きとされる。

【0119】

すなわち、前述したＲＨカメラヘッド１４、ＬＨカメラヘッド１８、及びＲＲカメラヘッド２０には、車両１０の通常走行（前進及び後進、停車を問わず）の運転者の支援として用いられるのに対し、後進専用カメラ２２は、車両１０の後進時に特化して運転者の支援として用いられるものであり、用途が互いに異なるものである。

【0120】

図１０は、車両１０の室内を、後席中央から前席を見たときの概略図である。

【0121】

車両１０の右サイドウィンドウ部２６の前方には、前述した右カメラアダプタ１２が位置しており、ＲＨカメラヘッド１４が取り付けられている。

【0122】

右サイドウィンドウ部２６とフロントウィンドウ部２８との間に位置する右サイドＡピラー３０の下部には、ＲＨモニタ３２が取り付けられている。ＲＨモニタ３２には、ＲＨカメラヘッド１４で撮像された車両右後方の領域ＡＲ（図９（Ａ）参照）の画像が鏡面反転処理された状態で表示されるようになっている。すなわち、ＲＨカメラヘッド１４とＲＨモニタ３２は、光学式の右サイドドアミラーと同等の役目を有する。

【0123】

車両１０の左サイドウィンドウ部３４の前方には、前述した左カメラアダプタ１６が位置しており、ＬＨカメラヘッド１８が取り付けられている。

【0124】

左サイドウィンドウ部３４とフロントウィンドウ部２８との間に位置する左サイドＡピラー３６の下部には、ＬＨモニタ３８が取り付けられている。ＬＨモニタ３８には、ＬＨカメラヘッド１８で撮像された車両右後方の領域ＡＬ（図９（Ａ）参照）の画像が鏡面反転処理された状態で表示されるようになっている。すなわち、ＬＨカメラヘッド１８とＬＨモニタ３８は、光学式の左サイドドアミラーと同等の役目を有する。

【0125】

また、車室内における、センターコンソール部４０の上部には、情報表示用モニタ２４が取り付けられている。情報表示用モニタ２４は、車両１０のトランスミッション（図示省略）のシフトレバー４２が後進レンジ（Ｒレンジ）に入っているときに、後進専用カメラ２２で撮像した画像を表示する。

【0126】

情報表示用モニタ２４は多機能モニタとして利用されるものであり、上記車両後方画像の表示以外に、例えば、図示しないナビゲーションシステムやオーディオシステムと連携し、切り替え操作によって、ナビゲーション画面（ナビゲーション情報画面等）やオーディオ画面（音楽に関する情報画面等）を表示する。例えば、ナビゲーション画面では、車両１０に搭載したＧＰＳ機能で取得した位置情報に基づき、地図画像と共に自車の走行位置を地図画像上に表示する。なお、情報表示用モニタ２４がタッチパネルの場合は、入力デバイスとしての機能を併せ持つ。

【0127】

ここで、本実施の形態の車両１０のフロントウィンドウ部２８の中央上部（又は、天井部）には、ルームミラー部４４が取り付けられている。

【0128】

ルームミラー部４４は、光学式の鏡面となる鏡面機能と、画像を表示するモニタ機能（第１の実施の形態で示したモニタ部１０６（図１参照）に相当）を併せ持っている。

【0129】

鏡面機能では、運転中の運転者等の視野の範囲（目線の移動）で車両後方の状況を確認することができる。

【0130】

一方、モニタ機能では、前記ＲＨカメラヘッド１４、ＬＨカメラヘッド１８、及びＲＲカメラヘッド２０で撮像した画像の合成画像を表示することができる。

【0131】

上記車両１０に搭載されたＲＨカメラヘッド１４、ＬＨカメラヘッド１８、及びＲＲカメラヘッド２０は、図９に示される如く、領域ＡＲと領域ＡＣとの重複部分（第１オーバラップ部５０Ａ）と、領域ＡＬと領域ＡＣとの重複部分（第２オーバラップ部５０Ｂ）と、が存在している。言い換えれば、本発明の仮想カメラ１２０を設定し得るオーバラップ部が、２箇所存在することになる。

【0132】

これを、第１の実施の形態のＬカメラ１０２とＲカメラ１０４（図２参照）との構成に置き換えると、第１オーバラップ部５０Ａは、ＬＨカメラヘッド１８がＬカメラ１０２であり、ＲＲカメラヘッド２０がＲカメラ１０４となる。

【0133】

一方、第２オーバラップ部５０Ｂは、Ｒカメラヘッド２０がＬカメラ１０２であり、ＲＨカメラヘッド１４がＲカメラ１０４となる。

【0134】

第２の実施の形態では、図１１（Ａ）この２箇所のオーバラップ部（第１オーバラップ部５０Ａ及び第２オーバラップ部５０Ｂ）のそれぞれで、仮想カメラ１２０を設定した。

【0135】

第２の実施の形態においても、第１オーバラップ部５０Ａと第２オーバラップ部５０Ｂとのそれぞれにおいて、第１の実施の形態で説明した画像処理装置１００（図３参照）を適用して、視差を検出し、検出した視差を調整し、実装したカメラの画像を変形し、それぞれのオーバラップ部（第１オーバラップ部５０Ａ及び第２オーバラップ部５０Ｂ）で画像を重畳し、補間画像を生成することで、図１１（Ｂ）に示される如く、被写体１４２の仮想スクリーン１１４上での二重像の発生を解消（軽減）することができる。

【0136】

なお、参考として、表１に、第１の実施の形態のオーバラップ部１１２において、仮想カメラ１２０による補間画像生成するための実装のカメラ（Ｌカメラ１０２、Ｒカメラ１０４）と、第２の実施の形態のオーバラップ部（第１オーバラップ部５０Ａ及び第２オーバラップ部５０Ｂ）のそれぞれにおいて、仮想カメラ１２０による補間画像生成するための実装のカメラ（ＲＨカメラヘッド１４、ＬＨカメラヘッド１８、ＲＲカメラヘッド２０）と、の対照関係を示す。

【0137】

【表1】

【0138】

なお、第２の実施の形態において、実装するカメラを、ＲＨカメラヘッド１４、ＬＨカメラヘッド１８、ＲＲカメラヘッド２０としたが、実装するカメラ数や設置場所は限定されるものではない。例えば、ＲＲカメラ２０を車両１０の中央ではなく、左右に分散しての一対のＲＲカメラを設けてもよい（合計４個の実装カメラと３箇所のオーバラップ部）。

【0139】

また、第２の実施の形態では、車両１０の後方の画像を撮影し、運転の支援をするためにルームミラー部４４に表示するようにしたが、本発明の画像処理装置は、監視カメラ等にも適用可能である。

【0140】

例えば、ある領域を複数の監視カメラで分割して撮影して監視する場合、モニタ上には、各監視カメラの映像がマルチに表示されており（或いは、定期的に切り替わって表示されており）、監視者は、それぞれの画像に順次視線を向ける必要があった。そこで、複数の監視カメラの撮影領域にオーバラップ部を設け、本発明の画像処理装置により合成することで、二重像が発生したり、被写体が消失することのない単一の広視野の画像を生成することができ、監視者の視点の移動を最小限に押さえることができる。

【符号の説明】

【0141】

「第１の実施の形態」
１００ 画像処理装置
１０２ Ｌカメラ（撮像装置）
１０４ Ｒカメラ（撮像装置）
１０６ モニタ部
１０８ 表示ドライバ
１１０ 表示画面
１１２ オーバラップ部
１１４ 仮想スクリーン
１１６ 死角領域
１１８ 視点補間画像生成部
１２０ 仮想カメラ
１２２ 視点位置指示部
１２４ 画像連結部（連結部）
１２６ 出力部
１２８ 視差検出部（取得部、仮想視点設定部）
１３０、１３２ 視差調整部
１３４、１３８ 画像変形部
１３６ 画像混合部（補間画像生成部）
１４０ 補間画像格納部
１４２ 被写体
１４４ 距離画像生成部
「第２の実施の形態」
１０ 車両
１２ 右カメラアダプタ（撮像装置）
１４ ＲＨカメラヘッド（撮像装置）
１６ 左カメラアダプタ（撮像装置）
１８ ＬＨカメラヘッド
２０ ＲＲカメラヘッド
２２ 後進専用カメラ
２４ 情報表示用モニタ
２６ 右サイドウィンドウ部
２８ フロントウィンドウ部
３０ 右サイドＡピラー
３２ ＲＨモニタ
３４ 左サイドウィンドウ部
３６ 左サイドＡピラー
３８ ＬＨモニタ
４０ センターコンソール部
４２ シフトレバー
４４ ルームミラー部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】