特許 7559015 画像処理装置、撮像装置、画像処理方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-20

(45)【発行日】2024-10-01

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法、及びコンピュータプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240924BHJP

【ＦＩ】

G06T7/00 300F

【請求項の数】 23

(21)【出願番号】P 2022124723

(22)【出願日】2022-08-04

(65)【公開番号】P2024021700

(43)【公開日】2024-02-16

【審査請求日】2023-06-23

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】塚原 梓

【審査官】鈴木 圭一郎

(56)【参考文献】

【文献】特開２０１１－１８２０８４（ＪＰ，Ａ）

【文献】特開２００８－００３６７４（ＪＰ，Ａ）

【文献】特開平０４－２７１４８５（ＪＰ，Ａ）

【文献】特開２００７－０４１７５２（ＪＰ，Ａ）

【文献】特開平０２－２５５９９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

第１の画像と第２の画像との間のマッチングの信頼度を生成する画像処理装置であって、
前記第１の画像又は前記第２の画像に注目画素を含む基準画像を設定して前記基準画像の局所領域ごとに少なくとも第１の方向に沿った第１の画素値変化と第２の方向に沿った第２の画素値変化とを生成する画素値変化生成手段と、
前記第１の画素値変化と前記第２の画素値変化に基づき前記局所領域の勾配方向を生成する勾配方向生成手段と、
前記局所領域が点対称移動した際に前記局所領域の勾配が、前記局所領域とは異なる局所領域の勾配と、同じ値となるよう前記勾配方向の補正を行う勾配方向補正手段と、
前記勾配方向補正手段により補正された前記勾配方向に基づき前記信頼度を生成する信頼度生成手段と、を有することを特徴とする画像処理装置。

【請求項2】

前記画素値変化生成手段は、
前記局所領域に対し画素配列に沿った前記第１の方向と前記第１の方向に直交する前記第２の方向の少なくとも２方向を設定し、
前記第１の方向に微分処理を行った第１の微分値及び前記第２の方向に微分処理を行った第２の微分値を算出し、
前記第１の微分値に基づいて前記第１の画素値変化を生成し、前記第２の微分値に基づいて前記第２の画素値変化を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画素値変化生成手段は、
前記局所領域にＳｏｂｅｌフィルタ又はＰｒｅｗｉｔｔフィルタのいずれかをかけて微分値を算出することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記画素値変化生成手段は、
前記局所領域の中心差分勾配又は中間差分勾配を用いて前記第１の微分値および第２の微分値を算出することを特徴とする請求項２に記載の画像処理装置。

【請求項5】

前記勾配方向生成手段は、
前記第１の画素値変化と前記第２の画素値変化に基づき前記勾配方向を算出することを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記勾配方向生成手段は、
前記第１の画素値変化と前記第２の画素値変化から算出する第１成分及び第２成分を持ったベクトルで前記勾配方向を算出することを特徴とする請求項１に記載の画像処理装置。

【請求項7】

前記信頼度生成手段は、
前記第１の画素値変化と前記第２の画素値変化の和、最大値、平均値、二乗和、又は前記二乗和の平方根の少なくとも１つを重みとして算出し、
前記勾配方向の重み付き分散値、又は重み付き標準偏差値が大きいほど、前記信頼度が高くなるように算出することを特徴とする請求項１に記載の画像処理装置。

【請求項8】

前記信頼度生成手段は、
前記第１の画素値変化と前記第２の画素値変化の和、最大値、平均値、二乗和、又は前記二乗和の平方根のいずれかを重みとして算出し、
前記勾配方向の重み付き平均合成ベクトル長の値、又は前記重み付き平均合成ベクトル長の２乗値が小さいほど、前記信頼度が高くなるように算出することを特徴とする請求項１に記載の画像処理装置。

【請求項9】

前記勾配方向補正手段は、前記勾配方向が所定の利用範囲外の場合に前記利用範囲内になるよう前記勾配方向を＋１８０°又は－１８０°して補正することを特徴とする請求項１に記載の画像処理装置。

【請求項10】

前記勾配方向補正手段は、
前記第１の画素値変化と前記第２の画素値変化の比から前記勾配方向が所定の利用範囲内になるよう範囲を絞って前記勾配方向を算出することを特徴とする請求項１に記載の画像処理装置。

【請求項11】

前記勾配方向補正手段は、
前記第１の画素値変化及び前記第２の画素値変化の値の正負に基づき前記勾配方向を補正することを特徴とする請求項１に記載の画像処理装置。

【請求項12】

前記勾配方向補正手段は、
前記勾配方向の角度が２倍になるよう補正することを特徴とする請求項１に記載の画像処理装置。

【請求項13】

前記信頼度生成手段は、
前記勾配方向の分散、又は標準偏差が大きいほど前記信頼度が高くなるように算出することを特徴とする請求項１に記載の画像処理装置。

【請求項14】

前記信頼度生成手段は、
前記勾配方向の平均合成ベクトル長の値、又は前記平均合成ベクトル長の２乗値が小さいほど、前記信頼度が高くなるように算出することを特徴とする請求項１に記載の画像処理装置。

【請求項15】

前記信頼度生成手段は、前記信頼度を補正する信頼度補正部を含むことを特徴とする請求項１に記載の画像処理装置。

【請求項16】

前記信頼度補正部は、
基準画像全体の前記勾配方向と誤差許容方向が近い場合に前記信頼度を高めるように補正することを特徴とする請求項１５に記載の画像処理装置。

【請求項17】

前記信頼度生成手段は、前記局所領域の勾配強度に基づき前記信頼度を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項18】

前記マッチングは、異なる時刻に撮影された画像の間のオプティカルフローを算出することを特徴とする請求項１に記載の画像処理装置。

【請求項19】

請求項１～１８のいずれか１項に記載の画像処理装置と、
光学系により形成された被写体像を撮像する撮像手段と、
前記第１の画像と前記第２の画像の前記マッチングの前記信頼度に基づき被写体までの距離を測定する測定手段と、
前記距離に基づき前記光学系の焦点調整をする焦点調整手段と、を有することを特徴とする撮像装置。

【請求項20】

前記撮像手段は、前記第１の画像を生成するための複数の第１の光電変換部と、前記第２の画像を生成するための複数の第２の光電変換部とを備えることを特徴とする請求項１９に記載の撮像装置。

【請求項21】

前記撮像手段は、
第１の撮像素子と、
前記被写体像を前記第１の撮像素子上に形成する第１の光学系と
第２の撮像素子と、
前記被写体像を前記第２の撮像素子上に形成する第２の光学系と
を備え、
前記第１の撮像素子にて前記第１の画像を取得し、前記第２の撮像素子にて前記第２の画像を取得することを特徴とする請求項１９に記載の撮像装置。

【請求項22】

第１の画像と第２の画像との間のマッチングの信頼度を生成する画像処理方法であって、
前記第１の画像又は前記第２の画像に注目画素を含む基準画像を設定して前記基準画像の局所領域ごとに少なくとも第１の方向に沿った第１の画素値変化と第２の方向に沿った第２の画素値変化とを生成する画素値変化生成ステップと、
前記第１の画素値変化と前記第２の画素値変化に基づき前記局所領域の勾配方向を生成する勾配方向生成ステップと、
前記局所領域が点対称移動した際に前記局所領域の勾配が、前記局所領域とは異なる局所領域の勾配と、同じ値となるよう前記勾配方向の補正を行う勾配方向補正ステップと、
前記勾配方向補正ステップにおいて補正された前記勾配方向に基づき前記信頼度を生成する信頼度生成ステップと、を有することを特徴とする画像処理方法。

【請求項23】

請求項１～１８のいずれか１項に記載の画像処理装置の各手段をコンピュータにより制御するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像のマッチングを行う画像処理装置、撮像装置、画像処理方法、及びコンピュータプログラム等に関する。

【背景技術】

【0002】

複数の画像を取得して３次元情報を算出する手法として、ブロックマッチング手法がある。この手法では、先ず、異なる視点から撮影された２つの画像（以下、夫々Ａ画像、Ｂ画像と呼ぶ）に対して、Ａ画像に任意の領域１を基準画像として設定する。そして、Ｂ画像に領域２を参照画像として設定し、領域２の位置をずらしつつ最も領域１と相関の高い領域２を探索する。

【0003】

そして、相関が最もあるときの領域１と領域２の位置のズレに基づき距離を算出する。尚、探索では異なる画像の領域間の相違度（又は類似度）を表す相互相関が利用され、似た領域の判定が行われる。この位置のズレを視差と呼び、三角測量等の公知の手法を利用することで距離情報を取得できる。

【0004】

視差はＡ画像とＢ画像の視点のズレ方向に生じるため、一般的には領域２の探索は１方向のみに行われることが多い。しかし、実際には装置を組み立てる時の誤差や光学系による歪み等が原因で想定していた視差発生方向とは異なる方向にもズレが生じることがある。このズレは視差量を算出する際に、被写体に応じた誤差を生じさせる。そのため領域２の探索を二次元的な範囲で行う（２次元探索）ことでこの誤差を低減させることができる。

【0005】

しかし、２次元探索では特定の領域において、視差の算出結果に誤差を生じる場合がある。誤差の発生する領域として例えば開口問題が挙げられる。これは基準画像が一方向の特徴（１次元特徴）しか持たない場合に発生する誤差である。

【0006】

基準画像が１次元特徴の場合、ブロックマッチングの際に基準画像に対して同じテクスチャとなる参照画像の位置が複数存在する。すると、本来の視差位置とは異なる位置の参照画像が最も基準画像と似た画像としてマッチングしてしまう可能性があり、その場合、算出される視差値に誤差を含む。

【0007】

これに対し、特許文献１には基準画像に対し、開口問題の発生する領域（開口問題領域）か否かを判定し、信頼度を算出する手法が開示されている。即ち、基準画像内の局所領域ごとに画素値変化の発生する方向を算出し、基準画像全体で画素値変化の発生する方向の分散が小さい場合に開口問題領域と判定を行う方法が開示されている。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２０１１－１８２０８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかし特許文献１に開示された方法では、基準画像が線状のテクスチャを持つ場合、正しい判定を行うことができない恐れがある。又、コントラストの強いテクスチャとコントラストの弱いテクスチャを含む場合、正しい判定を行うことができない恐れがある。

【0010】

そこで本発明は、高精度で開口問題領域を判定することが可能な画像処理装置を提供することを目的とする

【課題を解決するための手段】

【0011】

本発明の一側面としての画像処理装置は、
第１の画像と第２の画像との間のマッチングの信頼度を生成する画像処理装置であって、
前記第１の画像又は前記第２の画像に注目画素を含む基準画像を設定して前記基準画像の局所領域ごとに少なくとも第１の方向に沿った第１の画素値変化と第２の方向に沿った第２の画素値変化とを生成する画素値変化生成手段と、
前記第１の画素値変化と前記第２の画素値変化に基づき前記局所領域の勾配方向を生成する勾配方向生成手段と、
前記局所領域が点対称移動した際に前記局所領域の勾配が、前記局所領域とは異なる局所領域の勾配と、同じ値となるよう前記勾配方向の補正を行う勾配方向補正手段と、
前記勾配方向補正手段により補正された前記勾配方向に基づき前記信頼度を生成する信頼度生成手段と、を有することを特徴とする。

【発明の効果】

【0012】

本発明によれば、高精度で開口問題領域を判定することが可能な画像処理装置を提供することができる。

【図面の簡単な説明】

【0013】

【図1】（Ａ）～（Ｃ）は本発明の実施形態１に係る信頼度算出装置を備えた撮像装置を説明するための図である。

【図2】光軸１３０と撮像素子１２１の交点（中心像高）から見た、光学系１２２の射出瞳１２３を示す図である。

【図3】実施形態１の非開口問題領域での画素値変化の説明図である。

【図4】実施形態１の開口問題領域での画素値変化の説明図である。

【図5】実施形態１の線状のテクスチャでの画素値変化の説明図である。

【図6】実施形態１のコントラストの強いテクスチャとコントラストの弱いテクスチャを含む場合の画素値変化の説明図である。

【図7】（Ａ）、（Ｂ）は実施形態１の信頼度算出装置の説明図であり、（Ａ）は、実施形態１に係る信頼度算出装置１１０の構成を概略的に示す機能ブロック図である。（Ｂ）は実施形態１の信頼度算出装置１１０の動作を表すフローチャートである。

【図8】ステップＳ７１１にて設定する基準画像及び局所領域の位置関係を説明するための図である。

【図9】実施形態１の勾配方向算出部の説明図である。

【図10】実施形態１の勾配方向補正部によるステップＳ７１４の処理の説明図である。

【図11】実施形態１の信頼度算出部における処理の効果を説明するための図である。

【図12】（Ａ）、（Ｂ）は、基準画像及び参照画像の位置関係を説明するための図である。

【図13】実施形態２に係る信頼度算出装置を備えた撮像装置の説明図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

【0015】

＜実施形態１＞
図１（Ａ）～（Ｃ）は本発明の実施形態１に係る信頼度算出装置を備えた撮像装置を説明するための図である。図１（Ａ）は実施形態１に係る撮像装置の概略図であり、図において撮像装置１００は、信頼度算出装置１１０と撮像部１２０と画像マッチング部１４０を備える。尚、撮像装置１００には不図示のコンピュータとしてのＣＰＵと、コンピュータプログラムを記憶した不図示のメモリが設けられている。

【0016】

ここで、撮像装置１００は第１の画像と第２の画像との間のマッチングの信頼度を生成する画像処理装置として機能している。尚、画像マッチング部１４０は、第１の画像と第２の画像のマッチングの信頼度に基づき被写体までの距離を測定する測定手段を含んでいる。

【0017】

信頼度算出装置１１０と画像マッチング部１４０は、論理回路を用いて構成することができる。尚、信頼度算出装置１１０と画像マッチング部１４０は、撮像装置１００内に設けたＣＰＵに、メモリに記憶されたコンピュータプログラムを実行させることによって実現しても良い。

【0018】

撮像部１２０は、撮像手段として機能しており、撮像素子１２１、光学系１２２を備える。光学系１２２は、撮像装置１００の撮影レンズであり、被写体の像を撮像素子１２１上に形成する機能を有する。光学系１２２は複数のレンズ群（不図示）及び絞り（不図示）等から構成され、撮像素子１２１から所定距離離れた位置に射出瞳１２３を有する。

【0019】

尚、本実施形態では、ｚ軸を、光学系１２２の光軸１３０と平行とし、ｘ軸とｙ軸は互いに垂直であり、且つｚ軸と垂直な軸とする。尚、光学系１２２には、画像マッチング部１４０から出力される、被写体までの距離の情報に基づき光学系の焦点調整をする不図示の焦点調整回路（焦点調整手段）が設けられている。

【0020】

撮像素子１２１はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）のイメージセンサから構成される。光学系１２２を介して撮像素子１２１上に結像した被写体像は、撮像素子１２１により光電変換され、被写体像に基づく画像信号を生成する。

【0021】

図１（Ｂ）は、撮像素子１２１のｘｙ断面の例を示す図である。撮像素子１２１は、２行×２列の画素群１５０を２次元状に複数配列することで構成される。画素群１５０は、対角方向に緑画素１５０Ｇ１及び１５０Ｇ２が配列され、他の２画素に赤画素１５０Ｒ及び青画素１５０Ｂが配置されている。

【0022】

図１（Ｃ）は、画素群１５０のＩ－Ｉ’断面を模式的に示した図である。各画素は受光層１８２と導光層１８１から構成される。受光層１８２には、受光した光を光電変換するための１対の光電変換部（第１の光電変換部としての光電変換部１６１、第２の光電変換部としての光電変換部１６２）が配置される。

【0023】

導光層１８１には、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ１８３、所定の波長帯域の光を通過させるカラーフィルタ（不図示）、画像読み出し用の配線（不図示）や画素駆動用の配線（不図示）などが配置される。

【0024】

又、各画素の光電変換信号は配線を介して読出され、ＡＤ変換されて画像信号となり、信頼度算出装置１１０に入力される。図１（Ｂ）及び（Ｃ）は、１つの瞳分割方向（ｘ軸方向）に２分割された１対の光電変換部の例を示している。しかし、仕様に応じて、２つの瞳分割方向（ｘ軸方向及びｙ軸方向）に分割された例えば４つの光電変換部を備えても良く、瞳分割方向及び分割数については任意である。

【0025】

図２は、光軸１３０と撮像素子１２１の交点（中心像高）から見た、光学系１２２の射出瞳１２３を示す図である。光電変換部１６１、光電変換部１６２には、夫々射出瞳１２３の異なる領域である第１の瞳領域２１０を通過した第１の光束、第２の瞳領域２２０を通過した第２の光束が入射する。

【0026】

各画素における光電変換部１６１及び光電変換部１６２は入射した光束を光電変換することで、夫々Ａ画像（第１の画像）及びＢ画像（第２の画像）に対応する光電変換信号を生成することができる。即ち、第１の光電変換部としての複数の光電変換部１６１は第１の画像を生成し、第２の光電変換部としての複数の光電変換部１６２は第２の画像を生成する。生成された光電変換信号はＡＤ変換されて画像信号となり信頼度算出装置１１０に入力される。

【0027】

図２には第１の瞳領域２１０の重心位置（第１の重心位置２１１）、及び第２の瞳領域２２０の重心位置（第２の重心位置２２１）が示されている。本実施形態においては、第１の重心位置２１１は、射出瞳１２３の中心から第１の軸２００に沿って偏心（移動）している。

【0028】

一方、第２の重心位置２２１は、第１の軸２００に沿って、第１の重心位置２１１とは逆の方向に偏心（移動）している。第１の重心位置２１１と第２の重心位置２２１とを結ぶ第１の軸２００の方向を瞳分割方向と呼ぶ。又、第１の重心位置２１１と第２の重心位置２２１との重心間距離が基線長２３０となる。

【0029】

次に、本実施形態の信頼度算出装置１１０について説明する。信頼度算出装置１１０は画像情報を取得し、その画像と別の画像間でのマッチング結果の確からしさを表す信頼度を算出する。

【0030】

先ず、開口問題領域と非開口問題領域の勾配方向の特徴について図３及び図４を用いて説明する。図３は、実施形態１の非開口問題領域での画素値変化の説明図であり、図４は、実施形態１の開口問題領域での画素値変化の説明図である。撮像装置１００を用いて取得した画像中に設定した２種類の基準画像を図３の基準画像３１０及び図４の基準画像４１０に示す。

【0031】

図３の３２０Ａ、３２０Ｂ、３２０Ｃは基準画像３１０内の局所領域を示している。又、図中の３３０Ａ、３３０Ｂ、３３０Ｃは勾配方向を示す。尚、勾配方向については図９を用いて後述する。又、図４の４２０Ａ、４２０Ｂ、４２０Ｃは基準画像４１０内の局所領域を示している。又、図中の４３０Ａ、４３０Ｂ、４３０Ｃは基準画像４１０内の勾配方向を示す。

【0032】

ここで、非開口問題領域の場合について、図３の基準画像３１０を用いて説明する。図３の勾配方向３３０Ａ、勾配方向３３０Ｂ、勾配方向３３０Ｃは夫々別の方向を示している。従って、基準画像３１０では勾配方向の統一性は低い。このように勾配方向の統一性が低い場合は非開口問題領域と判断できる。

【0033】

一方、開口問題領域の場合について、図４の基準画像４１０を用いて説明する。勾配方向４３０Ａ、勾配方向４３０Ｂ、勾配方向４３０Ｃは同じの方向を示している。従って、基準画像４１０では勾配方向の統一性は高くなる。このように勾配方向の統一性を評価することで、開口問題領域であるか否かを判断できる。即ち、勾配方向の統一性が高い場合は開口問題領域と判断できる。

【0034】

次に、本件で解決する課題について説明する。図５は、実施形態１の線状のテクスチャでの画素値変化の説明図であり、図６は、実施形態１のコントラストの強いテクスチャとコントラストの弱いテクスチャを含む場合の画素値変化の説明図である。撮像装置１００を用いて取得した画像中に設定した２種類の基準画像を図５の基準画像５１０と図６の基準画像６１０に示す。

【0035】

課題となる開口問題領域の場合について、基準画像５１０を用いて説明する。基準画像５１０の中央部には画素値の小さな領域が帯状に存在している。基準画像５１０内に局所領域５２０Ａ、局所領域５２０Ｂ、局所領域５２０Ｃ、局所領域５２０Ｄを設定する。又、夫々の局所領域の勾配方向を、局所領域５３０Ａ、局所領域５３０Ｂ、局所領域５３０Ｃ、局所領域５３０Ｄで示す。

【0036】

局所領域５２０Ａ、局所領域５２０Ｂではその勾配方向は左向きになる。一方、局所領域５２０Ｃ、局所領域５２０Ｄではその勾配方向は右向きになる。このように基準画像５１０内に勾配方向の異なる局所領域が存在することになり、勾配方向の統一性は低くなる。従って、基準画像５１０を非開口問題領域であると誤判断する可能性が高い。

【0037】

別の開口問題領域の場合について、基準画像６１０を用いて説明する。基準画像６１０は強いテクスチャと弱いテクスチャの混在する画像である。基準画像６１０の左下に画素値の低い領域が存在する。基準画像６１０の右上は左下に比べ画素値は高く、ランダムに弱い画素値の変動がある。このような画像でマッチングを行うと、コントラストの強い基準画像６１０の左下と右上の境界部分が結果に対し支配的になり、図４の基準画像４１０と同様に開口問題領域となる。

【0038】

ここで、基準画像６１０内に局所領域６２０Ａ、局所領域６２０Ｂ、局所領域６２０Ｃ、局所領域６２０Ｄを設定する。夫々の局所領域の勾配方向を、局所領域６３０Ａ、局所領域６３０Ｂ、局所領域６３０Ｃ、局所領域６３０Ｄで示す。基準画像６１０の左下と右上の境界部分に領域が存在している局所領域６２０Ａ、局所領域６２０Ｂではその勾配方向は右上向きになる。

【0039】

一方、基準画像６１０の右上に存在している局所領域６２０Ｃ、局所領域６２０Ｄではその勾配方向はランダムな方向になる。このように勾配方向の異なる局所領域が存在することになり、基準画像６１０で勾配方向の統一性は低くなる。従って、基準画像６１０を非開口問題領域であると誤判断する可能性が高い。

【0040】

図７（Ａ）、（Ｂ）は実施形態１の信頼度算出装置の説明図であり、図７（Ａ）は、実施形態１に係る信頼度算出装置１１０の構成を概略的に示す機能ブロック図である。図７（Ａ）において、信頼度算出装置１１０は、第１画素値変化量算出部１１１、第２画素値変化量算出部１１２、勾配方向算出部１１３、勾配方向補正部１１４、勾配強度算出部１１５、信頼度算出部１１６、信頼度補正部１１７を備える。

【0041】

尚、図７（Ａ）に示される機能ブロックの一部は、撮像装置に含まれる前述のＣＰＵに、記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。

【0042】

ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。又、図７（Ａ）に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。

【0043】

図７（Ｂ）は、実施形態１の信頼度算出装置１１０の動作を表すフローチャートである。尚、撮像装置１００内のコンピュータとしてのＣＰＵがメモリに記憶されたコンピュータプログラムを実行することによって図７（Ｂ）のフローチャートの各ステップの動作が行われる。

【0044】

実施形態１に係る画像処理が開始されると、処理はステップＳ７１０に移行する。ステップＳ７１０では、ＣＰＵは、撮像装置１００を用いて撮影を行い、画像生成・取得し、取得した画像を本体メモリ（不図示）に記憶させる。尚、取得するのはＡ画像とＢ画像のどちらでも良い。

【0045】

ステップＳ７１０にて取得した画像に対し、主として光学系１２２のヴィネッティングに起因して生じる光量バランスの崩れを補正する処理を行っても構わない。具体的には、予め撮像装置１００において、輝度が均一な面光源を撮影した結果に基づき、画像の輝度値が画角に依らず略一定値になるような補正値をメモリに記憶しておく。そしてステップＳ７１０で取得した画像に対して上記メモリに記憶されていた補正値に基づく補正をすることで、光量バランスのムラを補正することができる。

【0046】

又、例えば撮像素子１２１にて生じる光ショットノイズ等の影響を低減するために、取得した画像にバンドパスフィルタやロ－パスフィルタなどのフィルタ処理を施しても良い。又、計算コストを軽減するために画像を縮小しても良い。或いは、より高解像度で信頼度の算出を行うために既知の方法で画像を高解像度化しても良い。

【0047】

ステップＳ７１１において、ＣＰＵは、第１画素値変化量算出部１１１により第１画素値変化量の算出を行う。具体的には、ステップＳ７１１で、画像上において、マッチングの信頼度算出を行う画素（注目画素）を含む部分領域の画像を基準画像として設定する。そして、基準画像内の部分領域を局所領域として複数設定し、各局所領域の任意の方向に沿った画素値変化量（第１画素値変化量）を算出する。

【0048】

図８はステップＳ７１１にて設定する基準画像及び局所領域の位置関係を説明するための図であり、８１０はステップＳ７１０にて取得した画像を示す。ステップＳ７１１において第１画素値変化量算出部１１１は、基準画像の複数の局所領域夫々で画素値変化量を算出する。

【0049】

具体的には、第１画素値変化量算出部１１１は、先ず、画像８１０上において、注目画素８２０とその近傍を含む部分領域を抜き出して、基準画像８１１として設定する。次に、基準画像８１１上において、複数の部分領域８１２を抜き出して、局所領域８１２Ａ、８１２Ｂ・・・として設定する。以下では部分領域として、部分領域８１２を設定した方法を説明する。

【0050】

次に、画素値変化を算出する方向である第１の方向８３０を設定する。このとき、画素値変化を算出する方向はどの方向でも良い。画素配列に沿った方向に設定することにより、後述の画素値変化量の算出を簡易に行うことができるため、下記では第１の方向８３０をｘ軸方向として説明を行う。

【0051】

次に、第１の方向８３０に沿った画素値変化量を算出する。画素値変化量は、局所領域の第１の方向８３０に沿った画素値の変化量を評価できればよく、公知のどのような手法を利用して算出しても良い。例えば、Ｓｏｂｅｌフィルタ又はＰｒｅｗｉｔｔフィルタをかけて画素値の変化量を算出しても良い。又は、局所領域の中心差分勾配又は中間差分勾配を用いて算出しても良い。中心差分勾配では、ピクセルの勾配は、近傍ピクセルの重み付き差である。中間差分勾配では、ピクセルの勾配は、隣接するピクセルと現在のピクセルの間の差である。

【0052】

続いて、図７のステップＳ７１２において、ＣＰＵは、第２画素値変化量算出部１１２により局所領域８１２Ａ及び局所領域８１２Ｂの第２の方向８４０に沿った画素値の画素値変化量（第２画素値変化量）を算出する。具体的には、第２画素値変化量算出部１１２は、先ず、画素値変化を算出する方向である第２の方向８４０を設定する。この際、第２の方向８４０は第１の方向８３０と異なるいかなる方向でも良い。

【0053】

画素配列に沿った方向に設定することにより、後述の画素値変化量の算出を簡易に行うことができる。又、第１の方向８３０と直交する第２の方向を設定することにより、後述の勾配方向算出部１１３及び勾配強度算出部１１５の算出を簡易に行うことができる。尚、下記では第２の方向８４０をｙ軸方向として説明を行う。

【0054】

次に、第２の方向８４０に沿った画素値変化量を算出する。画素値変化量は、局所領域の第２の方向８４０に沿った画素値の変化量を評価できればよく、公知のどのような手法を利用して算出しても良い。例えば、Ｓｏｂｅｌフィルタ又はＰｒｅｗｉｔｔフィルタのいずれかをかけて微分値を算出することで画素値の変化量を算出しても良い。

【0055】

又は、局所領域の中心差分勾配又は中間差分勾配を用いて第１の微分値および第２の微分値を算出しても良い。このように、第１の方向と第２の方向の少なくとも２方向を設定し、第１の方向に微分処理を行った第１の微分値と第２の方向に微分処理を行った第２の微分値を算出すれば良い。又、第１の微分値に基づいて前記第１の画素値変化を生成し、前記第２の微分値に基づいて前記第２の画素値変化を生成すれば良い。

【0056】

尚、ステップＳ７１１、Ｓ７１２は、第１の画像又は第２の画像に注目画素を含む基準画像を設定して基準画像の局所領域ごとに少なくとも２つの方向に沿った第１の画素値変化と第２の画素値変化を生成する画素値変化生成ステップとして機能している。この２つの方向を夫々第１の方向、第２の方向と呼ぶ。又、このとき第１画素値変化量算出部１１１と第２画素値変化量算出部１１２は、画素値変化生成手段として機能している。

【0057】

続いて、図７（Ｂ）のステップＳ７１３において、ＣＰＵは、勾配方向算出部１１３により、既知の任意の手法により、局所領域の画素値の変化する方向を算出する。

【0058】

先ず、図９を用いて画素値の変化する方向について説明する。図９は、実施形態１の勾配方向算出部の説明図であり、局所領域９１０とその画素値を示す。局所領域９１０の左下領域は画素値が小さく、局所領域９１０の右上領域は画素値が大きいことを示している。画素値の境界と直交する方向が局所領域９１０の勾配方向９２０である。

【0059】

勾配方向算出部１１３は、第１の画素値変化と第２の画素値変化に基づき勾配方向を算出する。即ち、第１の画素値変化と第２の画素値変化から算出する第１成分及び第２成分を持ったベクトルで前記勾配方向を算出する。具体的には、第１の方向８３０と第１画素値変化量から画素値配列に沿ったｘ軸方向の画素値変化ｄｘを算出する。

【0060】

又、第２の方向８４０と第２画素値変化量からｘ軸方向に直交するｙ軸方向の画素値変化ｄｙを算出する。ｘ軸方向の画素値変化ｄｘとｙ軸方向の画素値変化ｄｙから、以下の数式１を用いて勾配方向をベクトルとして算出する。

【0061】

【数1】

【0062】

又は、数式１を勾配の大きさで正規化した以下の数式２を勾配ベクトルｖ’として算出しても良い。

【数2】

【0063】

尚ここで、ステップＳ７１３は、第１の画素値変化と第２の画素値変化に基づき局所領域の勾配方向を生成する勾配方向生成ステップとして機能している。又、このとき勾配方向算出部１１３は、勾配方向生成手段として機能している。

【0064】

続いて、図７のステップＳ７１４において、ＣＰＵは、ステップＳ７１３で算出した勾配方向を補正する。ステップＳ７１４の処理の効果について説明する。図１０は、実施形態１の勾配方向補正部によるステップＳ７１４の処理の説明図である。ステップＳ７１４では局所領域が点対称移動した際にも勾配が同じ値になるように勾配を補正し、補正勾配方向を算出する。

【0065】

図１０において、局所領域５２０Ａ及び局所領域５２０Ｂを点対称移動した際には夫々局所領域５２０Ｄ及び局所領域５２０Ｃと同じテクスチャになる。従って、ステップＳ７１４ではこれらの局所領域の補正勾配方向はすべて同一となるように補正を加える。例えば、補正勾配方向１０３０Ａを１０３０Ｄのように補正する。

【0066】

このように補正された補正勾配方向を用いて後述するステップＳ７１６の処理を行うと、低い信頼度が算出される。従って、基準画像５１０を開口問題領域であると正しく判断することになる。これはステップＳ７１６では勾配方向の統一性を分散などの値を評価して信頼度としており、点対称の補正勾配方向１０３０Ａから１０３０Ｄのように方向のばらつきが低い場合に低い信頼度となるよう算出されるためである。

【0067】

このように、ステップＳ７１４では、図１０のような基準画像に対し、局所領域の勾配方向に基づき（例えば第１の画素値変化及び前記第２の画素値変化の値の正負に基づき）画素値勾配方向を補正する。それにより、後のステップＳ７１６において正しい信頼度が算出でき、開口問題領域であると判断できるようする。

【0068】

具体的には、先ず、基準方向を設定する。基準方向はいかなる方向でも良い。画素値配列に沿った方向に設定することにより後述の補正を簡易に行うことができるため、下記では基準方向を＋ｘ軸の方向として説明を行う。基準方向を０°として－９０°から＋９０°の範囲を利用範囲と設定する。即ち、第１の画素値変化と第２の画素値変化の比から画素値勾配方向を算出し、１８０°分の利用範囲を定める。

【0069】

次に、ステップＳ７１３で算出した勾配方向が利用範囲内か否かの判断を行う。例えば勾配ベクトルｖ又は勾配ベクトルｖ’の第１成分と第２成分の比からｘ軸の正の向きとなす角である勾配角度θを算出する。例えば図５の場合では局所領域５２０Ａ及び局所領域５２０Ｂの勾配角度θは１８０°であり、局所領域５２０Ｃ及び局所領域５２０Ｄの勾配角度θは０°である。

【0070】

次に、勾配角度θが利用範囲である－９０°から＋９０°の範囲に入っているか否かを判定する。そして勾配角度θが利用範囲内でない場合、即ち、画素値勾配方向が所定の利用範囲外の場合に、利用範囲内に入るように画素値勾配方向を＋１８０°又は－１８０°して補正することで勾配角度θの補正を行う。

【0071】

例えば図５の場合では局所領域５２０Ａ及び局所領域５２０Ｂの勾配角度θは利用範囲内でないため１８０°を引いて図１０の補正勾配方向１０３０Ａ及び補正勾配方向１０３０Ｂのように点対称補正勾配角度θｐが０°になるようにする。

【0072】

一方、局所領域５２０Ｃ及び局所領域５２０Ｄの勾配角度θは利用範囲内であるため角度を変えずに、図１０の補正勾配方向１０３０Ｃ及び補正勾配方向１０３０Ｄのように点対称補正勾配角度θｐがもとの勾配角度θと同じ０°になるようにする。尚、第１の画素値変化と第２の画素値変化の比から利用範囲内になるよう範囲を絞って画素値勾配方向を算出しても良い。

【0073】

点対称補正勾配角度θｐは以下の数式３と数式４を利用して、勾配ベクトルｖ又は勾配ベクトルｖ’に補正を行った点対称補正勾配ベクトルｖｐ又はそれを正規化した点対称補正勾配ベクトルｖｐ’を算出できる。

【0074】

【数3】

【0075】

【数4】

【0076】

又は第１成分ａが負の場合に、利用領域であると判断し、第１成分ａ及び第２成分ｂの符号を反転させ、範囲補正第１成分ａｆと範囲補正第２成分ｂｆを算出しても良い。

【0077】

更に、利用範囲を定めたことによって勾配方向の連続性が失われたことに対する補正を行う。具体的には、数式３と数式４の計算を行う際にθを２倍にしてから計算を行う。即ち、画素値勾配方向の角度が２倍になるよう補正する。そして、倍角補正勾配ベクトルｖｄ又はそれを正規化した倍角補正勾配ベクトルｖｄ’を算出しても良い。

【0078】

点対称補正勾配ベクトルｖｐの第１成分ａｐ及び第２成分ｂｐは以下の数式５及び数式６の式が成り立つ。又、２倍角の公式を利用して以下の数式７と数式８のように表現できることを利用して、以下の数式９又は数式１０から倍角補正勾配ベクトルｖｄを算出しても良い。同様の考え方で点対称補正勾配ベクトルｖｐ’の第１成分ａｐ’及び第２成分ｂｐ’から倍角補正勾配ベクトルｖｄ’を算出しても良い。

【0079】

【数5】

【0080】

【数6】

【0081】

【数7】

【0082】

【数8】

【0083】

【数9】

【0084】

【数10】

【0085】

尚ここで、ステップＳ７１４は、勾配方向に応じて前記勾配方向の補正を行う勾配方向補正ステップとして機能している。又、このとき勾配方向補正部１１４は、勾配方向補正手段として機能している。

【0086】

続いて、図７のステップＳ７１５において、ＣＰＵは、勾配強度算出部１１５により既知の任意の手法により、局所領域８１２Ａ及び局所領域８１２Ｂの画素値の変化する強さを算出する。具体的には、第１画素値変化量と第２画素値変化量の和、最大値、平均値、二乗和、又は二乗和の平方根の少なくとも１つを勾配強度として算出しても良い。尚、後述するように、この勾配強度を重みとして用いても良い。

【0087】

又は、勾配ベクトルｖｐ、又は倍角補正勾配ベクトルｖｄの第１成分と第２成分の和、最大値、平均値、二乗和、又は二乗和の平方根を勾配強度として算出しても良い。尚、これは第１画素値変化量と第２画素値変化量を利用した際と同じ値になる。

【0088】

続いて、図７のステップＳ７１６において、ＣＰＵは、信頼度算出部１１６により既知の任意の手法により、基準画像内の各局所領域の勾配方向の統一性を信頼度として算出する。具体的には先ず、基準画像内で設定した夫々の局所領域から勾配方向を取得する。この勾配方向はステップＳ７１４において補正を加えたものでも良い。又、更にステップＳ７１５において算出した勾配強度も取得しても良い。

【0089】

次に取得した複数の勾配方向について、その分散値、又は重み付き分散値、又は標準偏差値、又は重み付き標準偏差値の少なくとも１つを統一性とし、これらの値が大きいほど信頼度を高くするように算出する。又は、勾配方向の平均合成ベクトル長の値若しくは重み付き平均合成ベクトル長、又は平均合成ベクトル長の２乗値、若しくは重み付き平均合成ベクトル長の２乗値の少なくとも１つを統一性とし、これらの値が小さいほど信頼度を高くするように算出しても良い。

【0090】

ここで、勾配方向の分散及び標準偏差について説明する。ここで、勾配方向とは角度で表現できるデータであり、角度は周期性を持つ。そのため、一般的な統計処理で分散や標準偏差を求めることはできない。

【0091】

ここでは勾配の大きさで正規化した勾配ベクトルｖ’が勾配方向として取得されたことを想定し、説明を行う。勾配ベクトルのデータとしてｖ’１からｖ’ｎまでｎ個のデータを想定し、その分散及び標準偏差を求める。尚、各データでの第１成分ａ’及び第２成分ｂ’はａ１’～ａｎ’、ｂ１’～ｂｎ’とする。

【0092】

ｖ’１からｖ’ｎの合成ベクトルＲ’は以下の数式１１を利用して求めることができる。

【0093】

【数11】

【0094】

又、合成ベクトルＲ’は、データ数ｎで割ることで平均合成ベクトルＲｍ’を算出できる。これは平均合成ベクトルＲｍ’の長さ（平均合成ベクトル長）Ｒｍｌｅｎ’、角度（平均合成ベクトル角度）φを利用して以下の数式１２のように変換できる。

【0095】

【数12】

【0096】

平均合成ベクトル長Ｒｍｌｅｎ’を用いて分散Ｖ’は以下の数式１３、標準偏差Ｓ’は以下の数式１４で定義される。尚、分散Ｖ’と標準偏差Ｓ’は０から１までの値をとり、１に近いほどデータの散らばり具合が大きいことを示す。

【0097】

【数13】

【0098】

【数14】

【0099】

ここで、平均合成ベクトル長Ｒｍｌｅｎ’は以下の数式１５～数式１７を用いて計算される。

【数15】

【0100】

【数16】

【0101】

【数17】

【0102】

又、重み付きでの分散と標準偏差の計算方法を説明する。各データでの重みをｗ１からｗｎとおく。重み付き平均合成ベクトル長Ｒｗｌｅｎ’は以下の数式１８～数式２０を用いて計算される。

【0103】

【数18】

【0104】

【数19】

【0105】

【数20】

【0106】

平均合成ベクトル長Ｒｍｌｅｎ’のかわりに重み付き平均合成ベクトル長Ｒｗｌｅｎ’を用いて数式１３又は数式１４と同様の方法で計算を行うことで重み付き分散Ｖｗ’又は重み付き標準偏差Ｓｗ’を算出できる。

【0107】

尚、勾配ベクトルｖが勾配方向として取得された場合について説明する。各データでの第１成分ａ及び第２成分ｂはａ１～ａｎ、ｂ１～ｂｎとする。平均合成ベクトル長Ｒｌｅｎは以下の数式２１～数式２３のように表される。

【0108】

【数21】

【0109】

【数22】

【0110】

【数23】

【0111】

平均合成ベクトル長Ｒｍｌｅｎ’のかわりに平均合成ベクトル長Ｒｌｅｎを用いて数式１３又は数式１４と同様の方法で計算を行うことで分散Ｖ又は標準偏差Ｓを算出できる。

【0112】

ここで、平均合成ベクトル長Ｒ’ｌｅｎ、重み付き平均合成ベクトル長Ｒｗ’ｌｅｎ、平均合成ベクトル長Ｒ’ｌｅｎの２乗、又は重み付き平均合成ベクトル長Ｒｗ’ｌｅｎの２乗でも各データの散らばり具合を示す数値となっている。これらは０から１までの値をとり、０に近いほどデータの散らばり具合が大きいことを示す。この場合、より軽い処理で計算を行うことができる。

【0113】

このとき、重みとしては勾配強度を利用しても良い。例えば勾配強度が大きいほど大きい重みを与えても良い。或いは一定以上の勾配強度にのみ重みを１とし、一定未満の勾配強度には重みを０としても良い。或いは基準領域内で比較し勾配強度の大きい場合にのみ重みを１とし、一定未満の勾配強度には重みを０としても良い。

【0114】

次に、ステップＳ７１６で勾配方向の重み付き分散、重み付き標準偏差、重み付き平均合成ベクトル長、又は重み付き平均合成ベクトル長の２乗を統一性とし、重みとして勾配強度を利用した時の効果を説明する。図１１は、実施形態１の信頼度算出部における処理の効果を説明するための図である。

【0115】

図１１において、局所領域６２０Ａ及び局所領域６２０Ｂは局所領域６２０Ｃ及び局所領域６２０Ｄよりもより大きい重みをもつ。ここで、勾配方向１１３０Ａ及び勾配方向１１３０Ｂは同じ方向である。よって、重みを考慮して勾配方向の統一性を評価すると統一性は高いと算出される。つまり、基準画像６１０を開口問題領域であると正しく判断することができる。

【0116】

尚、ステップＳ７１３で算出される勾配方向を利用した場合、もしくは、ステップＳ７１４で補正した勾配方向を利用する場合のいずれも上記の効果を得られる。上記のいずれの方法を用いて信頼度を算出しても良いが、ステップＳ７１６において適切な重みを利用することで計算処理を軽くすることができる。

【0117】

例えば、ステップＳ７１４において数式９で示される補正を行った倍角補正勾配ベクトルｖｄを勾配方向として算出し、ステップＳ７１５において倍角補正勾配ベクトルｖｄの第１成分と第２成分の二乗和を勾配強度として算出する。

【0118】

そして、ステップＳ７１６において勾配強度を重みとして重み付き平均合成ベクトル長の２乗を算出した場合、途中の式であらわれる倍角補正勾配ベクトルｖｄの第１成分と第２成分の二乗和の部分を打ち消すことができる。具体的には数式２２及び数式２３を以下の数式２４～数式２７のように表すことができる。

【0119】

【数24】

【0120】

【数25】

【0121】

【数26】

【0122】

【数27】

【0123】

ここでは、ステップＳ７１４での補正を行った結果の倍角補正勾配ベクトルｖｄを利用している。従って、第１成分と第２成分の二乗和を重みとして選択することが計算コストの削減に寄与しており、勾配方向の内容によって重みを選択することで計算処理を軽くすることができる。

【0124】

尚ここで、ステップＳ７１６は、勾配補正ステップにおいて補正された勾配方向と局所領域の勾配強度の少なくとも一方に基づき前記信頼度を生成する信頼度生成ステップとして機能している。又、このとき信頼度算出部１１６は、信頼度生成手段として機能している。

【0125】

続いて、図７のステップＳ７１７において、ＣＰＵは、信頼度補正手段としての信頼度補正部１１７により、ステップＳ７１６で算出した信頼度の補正を行う。具体的には、先ず、マッチングに誤差が生じても問題のない方向（誤差許容方向）を取得する。例えば、基準画像を視差算出に利用する場合であれば、マッチング結果が、瞳分割方向であるｘ軸方向に直交する方向（ｙ軸方向）に誤差を生じていても、視差には影響がない。つまり、ｙ軸方向が誤差許容方向である。

【0126】

次に、基準画像全体の勾配方向を算出する。具体的には、各局所領域の勾配方向の平均値、重み付き平均値、最頻値、又は中央値を基準画像全体の勾配方向としても良い。ここで、平均値は数式１２の平均合成ベクトル角度φで定義される。

【0127】

次に、信頼度の補正を行う。誤差許容方向と基準画像全体の勾配方向が近い場合には信頼度を高めるように補正を行う。ｙ軸方向が誤差許容方向の場合には勾配方向が９０°もしくはー９０°に近い場合に信頼度を高く補正する。例えば、各局所領域の勾配方向の平均値を利用する場合にはＣｖａｌが０に近い場合に信頼度を高く補正する。

【0128】

尚、ステップＳ７１４で角度を倍角にする補正を行っている場合には、勾配方向が１８０°に近い場合に信頼度を高く補正する。例えば、各局所領域の勾配方向の平均値を利用する場合にはＣｖａｌが－１に近い場合に信頼度を高く補正する。尚。この判断には実験的に決定した閾値を利用して、その閾値に近ければ信頼度を高くしても良い。又、実験的に決定した閾値を利用して十分に大きい信頼度があると判断された場合には、注目画素は信頼し、そうでない場合には信頼しないという判断を行っても良い。

【0129】

次に、本実施形態の画像マッチング部１４０について説明する。画像マッチング部１４０は撮像装置１００を用いて取得されたＡ画像とＢ画像を含む画像組から視差を算出する。具体的には、先ず、撮像装置１００を用いて取得されたＡ画像とＢ画像を含む画像組を生成・取得し、取得した画像組を本体メモリ（不図示）に記憶させる。取得した画像組に対し、主として光学系１２２のヴィネッティングに起因して生じる光量バランスの崩れを補正する処理を行っても構わない。

【0130】

具体的には、予め撮像装置１００が輝度一定の面光源を撮影した結果に基づき、Ａ画像とＢ画像の輝度値が、画角に依らず略一定値になるように補正することで、光量バランスを補正することができる。又、例えば撮像素子１２１にて生じる光ショットノイズ等の影響を低減するために、取得したＡ画像とＢ画像にバンドパスフィルタやロ－パスフィルタを施しても構わない。

【0131】

次に、Ａ画像上において、視差算出を行う画素（注目画素）を含む部分領域の画像を基準画像として設定し、Ｂ画像に参照画像を設定する。そして、参照画像の位置を所定の方向に移動させながら基準画像と参照画像との相互相関値を算出する。

【0132】

ここで図１２（Ａ）、（Ｂ）は、基準画像及び参照画像の位置関係を説明するための図である。図１２（Ａ）にはＡ画像８１０Ａが示され、図１２（Ｂ）にはＢ画像１２１０Ｂが示されている。画像マッチング部１４０は、Ａ画像１２１０ＡとＢ画像１２１０Ｂの相互相関値を算出する。

【0133】

具体的には、先ず、Ａ画像１２１０Ａ上において、注目画素１２２０とその近傍画素を含む部分領域を抜き出して、基準画像１２１１として設定する。次に、Ｂ画像１２１０Ｂ上において、基準画像１２１１と同じ面積（画像サイズ）の領域を抜き出して参照画像１２１２として設定する。

【0134】

その後、Ｂ画像１２１０Ｂ上で参照画像１２１２を抜き出す位置を移動させて、各移動量（各位置）における参照画像１２１２と基準画像１２１１との相互相関値を算出する。これにより、各移動量に対応する相関値デ－タ列からなる相互相関値を算出する。この際に、参照画像１２１２の移動方向はいかなる方向でも良い。参照画像１２１２を移動させて相互相関演算を行う方向を視差探索方向と呼ぶ。視差探索方向と瞳分割方向を同じ方向に設定することにより、後述の計算を簡易に行える。

【0135】

相互相関値は、基準画像１２１１と参照画像１２１２の相関度を評価できればよく、公知のどのような方法を利用して計算されても良い。例えば、差の二乗和（ＳＳＤ）や差の絶対値和（ＳＡＤ）、正規化相互相関（ＮＣＣ）を用いることもできる。

【0136】

次に、既知の任意の手法により、視差値を算出する。例えば、相互相関値が最小になる位置を視差値としても良い。更にサブピクセル推定を行って小数画素単位の視差を求めても良い。例えば、相互相関値がＳＳＤの場合には、二次関数で内挿を行うことで最小値を求めることができる。又、相互相関値がＳＡＤの場合には、等角直線で内挿を行うことで最小値を求めることができる。

【0137】

又は、画像マッチング部１４０は異なる時刻ニ撮影された複数のＡ画像もしくはＢ画像の間のオプティカルフローを算出しても良い。任意の時刻の画像を画像１、別の時刻の画像を画像２として設定する。画像１上において、視差算出を行う画素（注目画素）を含む部分領域の画像を基準画像として設定し、画像２に参照画像を設定する。基準画像と参照画像を利用して前述した視差の算出方法を同様の考え方でオプティカルフローを算出することができる。

【0138】

更に、画像マッチング部１４０は、信頼度算出装置１１０を用いて取得された信頼度を利用してマッチング結果の補正を行っても良い。例えば、注目画素の視差の信頼度が閾値より低かった場合、注目画素近傍の結果から補間を行っても良い。

【0139】

この際に、注目画素近傍の結果の中でも信頼度が閾値より高い結果のみを利用し、その平均値もしくは中央値で補間をする処理を行っても良い。もしくは、画像が撮影された時刻に近い時刻の画像から算出された結果を利用して補間を行っても良い。又は、信頼度の高い結果のみを抽出する処理を行っても良い。

【0140】

本実施形態の信頼度算出装置では、勾配方向の統一性を評価することで開口問題領域の判定を行っている。当該処理によれば、基準画像のテクスチャに寄らず開口問題領域の判定を行える。その結果、基準画像が線状のテクスチャを持つ場合やコントラストの強いテクスチャとコントラストの弱いテクスチャを含む場合でも正しく開口問題領域の判定を行うことができる。信頼度算出装置で算出された信頼度を利用することにより、精度の良い画像マッチングの結果を取得することができる。

【0141】

＜実施形態２＞
以下、図を参照しながら本発明をステレオカメラに適用した実施形態２について詳細に説明する。図１３は、実施形態２に係る信頼度算出装置の構成を概略的に示す図である。尚、図１３では、図１で説明した構成と同一の部分については、図１の番号と同じ番号を付して説明を省略する。

【0142】

図１３において、ステレオカメラとしての撮像装置１３００は、信頼度算出装置１１０と撮像部１３２０と画像マッチング部１４０を備える。撮像部１３２０は、第１の撮像素子としての撮像素子１３２１と、第２の撮像素子としての撮像素子１３２２を有する。

【0143】

又、被写体像を第１の撮像素子上に形成する第１の光学系としての光学系１３２３と、被写体像を第２の撮像素子上に形成する第２の光学系としての光学系１３２４とを備える。そして第１の撮像素子にて第１の画像（Ａ画像）を取得し、第２の撮像素子にて第２の画像（Ｂ画像）を取得する。

【0144】

光学系１３２３及び１３２４は複数のレンズ群（不図示）及び絞り（不図示）等から構成され、撮像素子１３２１又は１３２２から所定距離離れた位置に射出瞳１３２５又は１３２６を有する。この時、光学系１３２３と１３２４の光軸は夫々１３３１と１３３２である。

【0145】

光学系の位置関係などのパラメータを事前に校正しておくことで正確に画像間の視差を算出することができる。また夫々の光学系でレンズ歪みの補正を行うことでも正確に画像間の視差を算出することができる。尚、実施形態２では距離に応じた視差を有するＡ画像とＢ画像を取得する光学系が２つであるが、３つ以上の光学系とそれに対応する撮像素子から構成されたステレオカメラで構成されても良い。

【0146】

実施形態２においては、基線長の設計自由度が向上し、測距分解能を向上することができる。その結果、精度の良い画像マッチングの結果を取得することができる。

【0147】

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。又、上記の複数の実施形態を適宜組み合わせても良い。又、本発明は以下のような組み合わせを含む。

【0148】

（構成１）第１の画像と第２の画像との間のマッチングの信頼度を生成する画像処理装置であって、前記第１の画像又は前記第２の画像に注目画素を含む基準画像を設定して前記基準画像の局所領域ごとに少なくとも第１の方向に沿った第１の画素値変化と第２の方向に沿った第２の画素値変化とを生成する画素値変化生成手段と、前記第１の画素値変化と前記第２の画素値変化に基づき前記局所領域の勾配方向を生成する勾配方向生成手段と、前記勾配方向に応じて前記勾配方向の補正を行う勾配方向補正手段と、前記勾配方向補正手段により補正された前記勾配方向に基づき前記信頼度を生成する信頼度生成手段と、を有することを特徴とする画像処理装置。

【0149】

（構成２）第１の画像と第２の画像との間のマッチングの信頼度を生成する画像処理装置であって、前記第１の画像又は前記第２の画像に注目画素を含む基準画像を設定して前記基準画像の局所領域ごとに少なくとも第１の方向に沿った第１の画素値変化と第２の方向に沿った第２の画素値変化とを生成する画素値変化生成手段と、前記第１の画素値変化と前記第２の画素値変化に基づき前記局所領域の勾配方向を生成する勾配方向生成手段と、前記勾配方向と前記局所領域の勾配強度に基づき前記信頼度を生成する信頼度生成手段と、を有することを特徴とする画像処理装置。

【0150】

（構成３）前記画素値変化生成手段は、前記局所領域に対し画素配列に沿った前記第１の方向と前記第１の方向に直交する前記第２の方向の少なくとも２方向を設定し、前記第１の方向に微分処理を行った第１の微分値及び前記第２の方向に微分処理を行った第２の微分値を算出し、前記第１の微分値に基づいて前記第１の画素値変化を生成し、前記第２の微分値に基づいて前記第２の画素値変化を生成することを特徴とする構成１又は２に記載の画像処理装置。

【0151】

（構成４）前記画素値変化生成手段は、前記局所領域にＳｏｂｅｌフィルタ又はＰｒｅｗｉｔｔフィルタのいずれかをかけて微分値を算出することを特徴とする構成１～３のいずれか１つに記載の画像処理装置。

【0152】

（構成５）前記画素値変化生成手段は、前記局所領域の中心差分勾配又は中間差分勾配を用いて前記第１の微分値および第２の微分値を算出することを特徴とする構成１～４のいずれか１つに記載の画像処理装置。

【0153】

（構成６）前記勾配方向生成手段は、前記第１の画素値変化と前記第２の画素値変化に基づき前記勾配方向を算出することを特徴とする構成１～５のいずれか１つに記載の画像処理装置。

【0154】

（構成７）前記勾配方向生成手段は、前記第１の画素値変化と前記第２の画素値変化から算出する第１成分及び第２成分を持ったベクトルで前記勾配方向を算出することを特徴とする構成１～６のいずれか１つに記載の画像処理装置。

【0155】

（構成８）前記信頼度生成手段は、前記第１の画素値変化と前記第２の画素値変化の和、最大値、平均値、二乗和、又は前記二乗和の平方根の少なくとも１つを重みとして算出し、前記勾配方向の重み付き分散値、又は重み付き標準偏差値が大きいほど、前記信頼度が高くなるように算出することを特徴とする構成１～７のいずれか１つに記載の画像処理装置。

【0156】

（構成９）前記信頼度生成手段は、
前記第１の画素値変化と前記第２の画素値変化の和、最大値、平均値、二乗和、又は前記二乗和の平方根のいずれかを重みとして算出し、前記勾配方向の重み付き平均合成ベクトル長の値、又は前記重み付き平均合成ベクトル長の２乗値が小さいほど、前記信頼度が高くなるように算出することを特徴とする構成１～８のいずれか１つに記載の画像処理装置。

【0157】

（構成１０）前記勾配方向補正手段は、前記局所領域が点対称移動した際に前記局所領域の勾配が同じ値となるよう補正することを特徴とする構成１～９のいずれか１つに記載の画像処理装置。

【0158】

（構成１１）前記勾配方向補正手段は、前記勾配方向が所定の利用範囲外の場合に前記利用範囲内になるよう前記勾配方向を＋１８０°又は－１８０°して補正することを特徴とする構成１～１０のいずれか１つに記載の画像処理装置。

【0159】

（構成１２）前記勾配方向補正手段は、
前記第１の画素値変化と前記第２の画素値変化の比から前記勾配方向が所定の利用範囲内になるよう範囲を絞って前記勾配方向を算出することを特徴とする構成１～１１のいずれか１つに記載の画像処理装置。

【0160】

（構成１３）前記勾配方向補正手段は、前記第１の画素値変化及び前記第２の画素値変化の値の正負に基づき前記勾配方向を補正することを特徴とする構成１～１２のいずれか１つに記載の画像処理装置。

【0161】

（構成１４）前記勾配方向補正手段は、前記勾配方向の角度が２倍になるよう補正することを特徴とする構成１～１３のいずれか１つに記載の画像処理装置。

【0162】

（構成１５）前記信頼度生成手段は、前記勾配方向の分散、又は標準偏差が大きいほど前記信頼度が高くなるように算出することを特徴とする構成１～１４のいずれか１つに記載の画像処理装置。

【0163】

（構成１６）前記信頼度生成手段は、前記勾配方向の平均合成ベクトル長の値、又は前記平均合成ベクトル長の２乗値が小さいほど、前記信頼度が高くなるように算出することを特徴とする構成１～１５のいずれか１つに記載の画像処理装置。

【0164】

（構成１７）前記信頼度生成手段は、前記信頼度を補正する信頼度補正部を含むことを特徴とする構成１～１６のいずれか１つに記載の画像処理装置。

【0165】

（構成１８）前記信頼度補正部は、基準画像全体の前記勾配方向と誤差許容方向が近い場合に前記信頼度を高めるように補正することを特徴とする構成１～１７のいずれか１つに記載の画像処理装置。

【0166】

（構成１９）前記信頼度生成手段は、前記局所領域の勾配強度に基づき前記信頼度を生成することを特徴とする構成１～１８のいずれか１つに記載の画像処理装置。

【0167】

（構成２０）前記マッチングは、異なる時刻に撮影された画像の間のオプティカルフローを算出することを特徴とする構成１～１９のいずれか１つに記載の画像処理装置。

【0168】

（構成２１）
構成１～２０のいずれか１つに記載の画像処理装置と、光学系により形成された被写体像を撮像する撮像手段と、前記第１の画像と前記第２の画像の前記マッチングの前記信頼度に基づき被写体までの距離を測定する測定手段と、前記距離に基づき前記光学系の焦点調整をする焦点調整手段と、を有することを特徴とする撮像装置。

【0169】

（構成２２）前記撮像手段は、前記第１の画像を生成するための複数の第１の光電変換部と、前記第２の画像を生成するための複数の第２の光電変換部とを備えることを特徴とする構成２１に記載の撮像装置。

【0170】

（構成２３）前記撮像手段は、第１の撮像素子と、前記被写体像を前記第１の撮像素子上に形成する第１の光学系と第２の撮像素子と、前記被写体像を前記第２の撮像素子上に形成する第２の光学系とを備え、前記第１の撮像素子にて前記第１の画像を取得し、前記第２の撮像素子にて前記第２の画像を取得することを特徴とする構成２１に記載の画像処理装置。

【0171】

（方法１）第１の画像と第２の画像との間のマッチングの信頼度を生成する画像処理方法であって、前記第１の画像又は前記第２の画像に注目画素を含む基準画像を設定して前記基準画像の局所領域ごとに少なくとも第１の方向に沿った第１の画素値変化と第２の方向に沿った第２の画素値変化とを生成する画素値変化生成ステップと、前記第１の画素値変化と前記第２の画素値変化に基づき前記局所領域の勾配方向を生成する勾配方向生成ステップと、前記勾配方向に応じて前記勾配方向の補正を行う勾配方向補正ステップと、前記勾配方向補正ステップにおいて補正された前記勾配方向に基づき前記信頼度を生成する信頼度生成ステップと、を有することを特徴とする画像処理方法。

【0172】

（方法２）第１の画像と第２の画像との間のマッチングの信頼度を生成する画像処理方法であって、前記第１の画像又は前記第２の画像に注目画素を含む基準画像を設定して前記基準画像の局所領域ごとに少なくとも第１の方向に沿った第１の画素値変化と第２の方向に沿った第２の画素値変化とを生成する画素値変化生成ステップと、前記第１の画素値変化と前記第２の画素値変化に基づき前記局所領域の勾配方向を生成する勾配方向生成ステップと、前記勾配方向と前記局所領域の勾配強度に基づき前記信頼度を生成する信頼度生成ステップと、を有することを特徴とする画像処理方法。

【0173】

（プログラム）構成１～２０のいずれか１つに記載の画像処理装置又は構成２１～２３のいずれか１つの撮像装置の各手段をコンピュータにより制御するためのコンピュータプログラム。

【0174】

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコード（制御プログラム）を記録した記憶媒体を、システムあるいは装置に供給することによって実現してもよい。そして、そのシステムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたコンピュータ読取可能なプログラムコードを読み出し実行することによっても達成される。

【0175】

その場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態（実施例）の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

【符号の説明】

【0176】

１００：撮像装置
１１０：信頼度算出装置
１２０：撮像部
１２１：撮像素子
１２２：光学系
１２３：射出瞳
１３０：光軸
１４０：視差算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】