特許 7408337 画像処理方法、および画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-22

(45)【発行日】2024-01-05

(54)【発明の名称】画像処理方法、および画像処理装置

(51)【国際特許分類】

   G06T 7/593 20170101AFI20231225BHJP

   G01C 3/06 20060101ALI20231225BHJP

【ＦＩ】

G06T7/593

G01C3/06 110V

G01C3/06 140

【請求項の数】 5

(21)【出願番号】P 2019187167

(22)【出願日】2019-10-10

(65)【公開番号】P2021064066

(43)【公開日】2021-04-22

【審査請求日】2022-10-07

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003133

【氏名又は名称】弁理士法人近島国際特許事務所

(72)【発明者】

【氏名】溝花 弘登

(72)【発明者】

【氏名】檀 慶太

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１５－１７９４９９（ＪＰ，Ａ）

【文献】特開２０１９－１２０５９０（ＪＰ，Ａ）

【文献】特開２０１９－１５９７０８（ＪＰ，Ａ）

【文献】縦断勾配を持つ路面領域の抽出，ＳＳＩＩ２０１１ 第１７回 画像センシングシンポジウム講演論文集，2011年06月08日

【文献】Accurate and efficient stereo processing by semi-global matching and mutual information，2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05)，2005年06月20日，https://ieeexplore.ieee.org/document/1467526

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５９３

Ｇ０１Ｃ ３／０６

(57)【特許請求の範囲】

【請求項1】

コンピュータが、対象物が撮影された第１画像に基づく基準領域の画像と、前記対象物が撮像された第２画像に基づく複数の比較領域の画像と、を用いて、各比較領域の画像について、視差方向及び画素方向におけるマッチングコストの関係を示すコストマップをピクセル単位で算出する第１マッチングコスト算出工程と、
前記コンピュータが、前記ピクセル単位のコストマップの視差方向の単位をサブピクセル単位に細分化して、サブピクセル単位のコストマップを算出する第２マッチングコスト算出工程と、
前記コンピュータが、前記サブピクセル単位のコストマップにおけるマッチングコストの値の比較結果に基づいて、前記サブピクセル単位のコストマップのマッチングコストにペナルティコストを付与して、前記基準領域に関する合成コストを算出する合成コスト算出工程と、を備えた、
ことを特徴とする画像処理方法。

【請求項2】

請求項１に記載の画像処理方法の各工程を前記コンピュータに実行させるための制御プログラム。

【請求項3】

請求項２に記載の制御プログラムを格納したコンピュータ読み取り可能な記録媒体。

【請求項4】

画像処理装置であって、
対象物が撮像された第１画像および第２画像を取得する画像取得部と、
前記第１画像に基づく基準領域の画像と、前記第２画像に基づく複数の比較領域の画像と、を用いて、各比較領域の画像について、視差方向及び画素方向におけるマッチングコストの関係を示すコストマップをピクセル単位で算出し、前記ピクセル単位のコストマップの視差方向の単位をサブピクセル単位に細分化して、サブピクセル単位のコストマップを算出するコストマップ生成部と、
前記サブピクセル単位のコストマップにおけるマッチングコストの値の比較結果に基づいて、前記サブピクセル単位のコストマップのマッチングコストにペナルティコストを付与して、前記基準領域に関する合成コストを算出する合成コスト生成部と、を備えた、
ことを特徴とする画像処理装置。

【請求項5】

請求項４に記載の画像処理装置であって、前記サブピクセル単位のコストマップの視差の単位に関するユーザ指定を受け付けるユーザインターフェースを備えた画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、所定の基線長だけ離間した位置からそれぞれ撮像された第１画像、および第２画像に撮像されている被写体の視差量を算出する画像処理方法、および画像処理装置に関する。

【背景技術】

【0002】

被写体を所定の基線長だけ離間した位置からステレオ撮像することにより得た、複数、例えば２枚の視差画像から視差を算出する方法が種々提案されている。例えば、画像間においてブロックマッチング法などの画像探索処理によって互いに対応する対応点を検出し、各画像における対応点の位置（座標）の相違量から視差を算出する方法がある。

【0003】

画像探索処理では、一方のカメラによって撮影された画像内の基準領域と、他方のカメラによって撮影された画像内の比較領域を比較し、領域間のマッチングコストを求める。ここで言うマッチングコストとは、２つの同じ大きさの画像がどれほど異なっているかを表す指標である。例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法による比較では、マッチングコストには各画像内の同一座標における画素値の差の絶対値を全画素について足し合わせた値が用いられる。ＳＡＤ法のマッチングコストは、２つの画像が全く同じ時０となり、画像が異なったものであるほど大きくなる。ＳＡＤ法では、複数の比較領域について比較を行い、最もマッチングコストが小さくなる比較領域を基準領域に対する対応点とすることで視差を算出することができる。

【0004】

領域間の比較手法には、ＳＡＤ法の他、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）法、ＺＮＣＣ（Ｚｅｒｏ ｍｅａｎｓ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）法などがある。ＳＡＤ法やＳＳＤ法の場合には算出された結果値をマッチングコストとして利用できる。なお、ＺＮＣＣ法の場合には比較された結果値（マッチングコスト）は領域間の類似度が高いほど高くなる。この場合、結果値の逆数が最も高い領域を対応点とする、マッチングコストとしての結果値が最も高い領域を対応点とするなどの視差算出方法の修正を行う。

【0005】

画像探索処理によって算出される視差はピクセル単位であるため、画像の分解能によっては必要な視差分解能を得られない場合がある。そのような場合には、マッチングコストの分布を適当なマッチングコスト分布関数にフィッティングすることで、視差をより細かい精度、すなわちサブピクセル精度で算出できる（例えば下記の非特許文献１）。

【0006】

また、算出した視差量に三角測量の原理を適用することにより、カメラから物体までの距離の計測などを行うことができる。ところが、物体表面のテクスチャが弱く輝度変化に乏しい場合や、撮影された画像にノイズが生じた場合には、画像探索処理ではマッチングコストの算出に誤差が生じやすくなり、視差算出の精度が低下する。

【0007】

このような問題を考慮し、注目する基準領域のマッチングコスト情報だけでなく、画像全体のマッチングコストを集約したコストマップを生成し、注目領域の周辺の基準領域のマッチングコストを用い準大域的最適化を行う技術が知られている。例えば、この手法としてＳＧＭ（Ｓｅｍｉ－Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ）法が知られており（例えば下記の非特許文献２）、この手法によると、精度の高い視差演算が可能となる。この種の手法で用いられるコストマップは、例えば全ての基準領域と比較領域の組合せについて算出したマッチングコストを３次元の配列に格納したものである。ＳＧＭ法は精度と処理速度を両立可能な視差算出法として利用されており、ＳＧＭ法を利用した視差演算方法として種々の提案が知られている（例えば下記の特許文献１）。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２０１５-１４３６７７号公報

【非特許文献】

【0009】

【文献】画像のマッチングにおけるサブピクセル推定の意味と性質（電子情報通信学会論文誌 D Vol.J85-D2 No.12 pp.1791-1800）

【文献】Stereo Processing by Semiglobal Matching and Mutual Information(IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 30, no. 2, pp. 328-341, Feb. 2008)

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明の課題を説明すべく、以下では、まず、公知のＳＧＭ法による視差演算の概要について説明する。サブピクセル推定に関しては非特許文献１、ＳＧＭ法に関しては非特許文献２に開示されている。このため、以下では本発明の課題に関わるＳＧＭ法の概要について説明する。また、説明の便宜のため、入力となる画像は平行ステレオカメラによって撮影され、予めレンズの歪などを除去した平行化画像であるものとする。

【0011】

ＳＧＭ法を利用した視差演算は、大別して、コストマップ生成処理および合成コストマップ生成処理、サブピクセル視差生成処理の３ステップからなる。

【0012】

コストマップ生成処理では、二つのカメラから得られた第１画像および第２画像から、ＳＡＤ法など公知の方法によってコストマップを生成する。例えば、図１（ａ）は第１のカメラで撮像した第１画像中のある矩形領域（基準領域）を、また、図１（ｂ）は第２のカメラで撮像した第２画像中のある基準領域と同じ大きさの矩形領域（比較領域）を示す。このコストマップは、第１画像中の矩形領域（基準領域）に対する第２画像中の基準領域と同じ大きさの矩形領域（比較領域）とのマッチングコストを基準領域のｘ座標およびｙ座標、視差ごとに算出した各マッチングコストを３次元配列に格納したものである。

【0013】

例えば、図１（ａ）に示すｘ座標＝ｘ、ｙ座標＝ｙを左上位置とする基準領域に対し、視差候補ｄ＝０～Ｄピクセルの範囲に対しピクセル単位でマッチングコストを算出する場合を考える。この場合、図１（ｂ）に示すｘ座標＝ｘ～ｘ－ｄ、ｙ座標＝ｙを左上とする比較領域のそれぞれについてマッチングコストを算出し、図１（ｃ）のように３次元配列のコストマップに格納する。図１（ｄ）は３次元配列のコストマップの一部をｙ＝０の平面、すなわち、ｘ座標＝０～４、ｙ座標＝０、視差候補ｄ＝０～４の５ピクセル（図１（ｃ）の斜線部）について切り出した一例を示している。図１（ｄ）では、第１画像中の５つの画素にそれぞれについて、視差候補ｄ＝０～４に対応して算出されたマッチングコストが格納されている。

【0014】

マッチングコストの算出法にＳＡＤ法を用いた場合、マッチングコストは基準領域と比較領域の各画素の輝度値の差の絶対値の和となる。すなわち、ｘ座標＝ｘ、ｙ座標＝ｙ、視差＝ｄのマッチングコストＣ（ｘ、ｙ、ｄ）は下記の（式１）のように表すことができる。ただし、（式１）において、Ｓ_{（Ｘ，Ｙ）}はｘ座標＝ｘ、ｙ座標＝ｙにおける第１画像の輝度値、Ｒ_{（Ｘ-ｄ，Y）}はｘ座標＝ｘ、ｙ座標＝ｙにおける第２画像の輝度値を表す。また、Ｂ_ｘは基準領域のｘ方向の大きさ、Ｂ_ｙは基準領域のｙ方向の大きさを表す。

【0015】

【数1】

【0016】

なお、以上の（式１）では、便宜上、視差候補を０～Ｄピクセルとしたが、カメラの設置方法や事前の画像処理によって視差候補は負の値で表現されるものであってもよい。また、（式１）は第１画像が平行ステレオカメラの左カメラ、第２画像が右カメラによって撮影された場合の一例であって、第１画像および第２画像を撮像する撮像装置の構成によっては、各比較領域の座標等は異なるものとなる。なお、第１画像および第２画像において、ｘ座標＝ｘと画像端の間にＢ_ｘピクセル分の画素が存在しない場合など、（式１）を適用できない画素も存在する。そのような画素に対しては、マッチングコストを算出しない、第１画像および第２画像の周辺に適当な画素値を持った画素を追加する、など計算を実施するために例外的な処理を行うようにしてよい。また、以下、文中でチルダ、ハット、ダッシュなどの記号を含む合字（リガチャ）を用いた文字式を引用する場合、これらの記号は文字に後置して表記するものとする。

【0017】

合成コストマップ生成処理では、コストマップ生成処理によって生成されたコストマップに、視差量の変化に対するペナルティコストＰ１、Ｐ２を合成することで合成コストマップを生成する。合成コストの算出では、まず、あるコスト集約方向ｒについて、画像端から順にｒ方向合成コストＬ_ｒを算出する。ここで、ｒはある注目画素座標ｐ＝（ｘ、ｙ）について、その次に注目する、ｐに隣接した画素座標ｐ’が、ｐ’－ｐ＝ｒで表されるようなベクトルである。例えば、ｘ正方向にコストを集約していく場合、ｒはｒ＝（１、０）となり、また、ｘ、ｙ座標について負方向に斜め４５度にコストを集約していく場合、ｒはｒ＝（－１、－１）となる。ＳＧＭ法では、複数のコスト集約方向ｒそれぞれについて算出したｒ方向合成コストＬ_ｒを用いて、合成コストＬ_ｓを算出する。

【0018】

ここで、図２は８方向からコストを集約する場合のコスト集約方向の例を示している。同図では、区別のため各コスト集約方向ｒに添え字を付し、ｉ番目のコスト集約方向をコスト集約方向ｒ_ｉと示している。なお、コスト集約方向ｒは、例えば４方向に取る、１６方向に取る、などいくつ設定してもよい。

【0019】

具体的には、Ｌ_ｒは、下記の（式２）を用いて計算することができる。ただし、（式２）において、Ｃ（ｐ、ｄ）＝Ｃ（ｘ、ｙ、ｄ）である。

【0020】

【数2】

【0021】

（式２）において、注目画素におけるｒ方向合成コストＬ_ｒは、一つ前に注目した画素のｒ方向合成コストＬ_ｒが最も小さくなる視差と同じ視差でマッチングコストと等しくなる。そして、注目画素におけるｒ方向合成コストＬ_ｒは、１ピクセル変化した視差の場合はＰ１、また、２ピクセル以上変化した視差の場合はＰ２のペナルティコストをマッチングコストに加えた値になる。また、ＳＧＭ法により適切な結果を得るためには、Ｐ１およびＰ２はＰ１＜Ｐ２の関係を満たす必要がある。このＰ１，Ｐ２は、カメラの構成、制御条件、設置環境、被写体などの特徴に応じて、ユーザがユーザインターフェースを介して設定するようにしておく。あるいは、カメラの構成、制御条件、設置環境、被写体などの特徴に応じて、制御装置が自動的に設定する構成であってもよい。

【0022】

Ｐ１，Ｐ２は、例えば、視差量算出単位である第１画像の基準領域のｘ方向、ｙ方向の大きさに応じて決定することができる。例えば、後述の実施形態においては、各画像の輝度値を０～２５５の整数値で表現し、Ｐ１＝８×Ｂ_ｘ×Ｂ_ｙ、Ｐ２＝２４×Ｂ_ｘ×Ｂ_ｙのような値を用いている。

【0023】

即ち、ペナルティコストＰ１，Ｐ２は、マッチングコストの視差量算出単位に比例した値に取ることができ、このペナルティコストＰ１，Ｐ２をマッチングコストに作用させることにより、基準領域に関する合成コストを算出することができる。

【0024】

図３に、ｒ方向の合成コストの算出過程の具体的な一例を示す。図３（ａ）は、ｙ＝０平面で切り出したコストマップの一部の理想値の一例を、また、図３（ｃ）は実際に得られた値の一例を示す。なお、図３（ａ）、（ｃ）中の太字部分は同一の画素について最も小さいマッチングコストを示す。この例では、ｘ＝２の画素において、画像のノイズなどに起因するマッチングコスト算出誤差の影響があって、ｄ＝４で最小となっているが、他の画素はマッチングコストが正しく算出されていると仮定している。実際の画像においては、あるノイズに対してマッチングコスト算出誤差は複数の画素に生じるが、ここでは、説明の便宜のためｘ＝２の画素でのみ発生したと仮定する。図３（ｅ）はこのコストマップを、ｒ＝（１、０）に従って、Ｐ１＝２０，Ｐ２＝４０で画像左端からコストを集約した例を示している。また、図中の矢印は（式２）の第２項のｍｉｎ関数において、どの候補値が集約されたかを示している。まず、ｘ＝０の画素は画像端のため、マッチングコストがそのままｒ方向合成コストとなる。

【0025】

次に、ｘ＝１の画素について、図３（ｆ）によりコスト集約の方法の詳細を説明する。図３（ｆ）はｘ＝１における視差候補ｄ（１）を列、ｘ＝０における視差候補ｄ（０）を行に取って、（式２）の第２項のｍｉｎ関数内の候補値を並べたものである。

【0026】

すなわち、一つの列が、ある視差候補値ｄ（１）に対するｍｉｎ関数内の全候補値を表している。例えば、ｄ（１）＝０の列について、ｄ（０）＝０のセルは視差変化がないためＣ（（０、０）、０）＝２０がそのまま候補値となっている。ｄ（０）＝１のセルは視差変化が１ピクセル発生するためＣ（（０、０）、１）にペナルティコストＰ１＝２０を加えた値３０となっている。また、ｄ（０）＝２～５のセルは視差変化が２ピクセル以上発生するため、Ｃ（（０、０）、ｄ（０））にペナルティコストＰ２＝４０を加えた値が候補値となる。以上の候補値のうち、最も値が小さいｄ（０）＝０の候補値が集約される。また、ｄ（０）のマッチングコストが最小となるのはｄ（０）＝１の時であるため、Ｌ_ｒ（（１、０）、０）＝Ｃ（（１、０）、０）＋Ｃ（（０、０）、０）－Ｃ（（０、０）、１） と算出される。同様の計算をｄ（１）＝１～５についても行い、これにより、ｄ（１）＝１，２についてｄ（０）＝１、ｄ（１）＝３，４についてｄ（０）＝４、ｄ（１）＝５についてｄ（０）＝５の候補値がそれぞれ集約されることになる。

【0027】

続いて、ｘ＝２の画素に注目すると、全ての視差候補に対してｄ（１）＝１の候補値が選択され、ｄ（２）＝１以外のコストにペナルティコストが合成される。これによって、Ｌ_ｒ（（２、０）、１）＝３０、Ｌ_ｒ（（２、０）、４）＝６０となり、ｄ（２）＝１のｒ方向合成コストが正しく最小となる。また、ｘ＝３、ｘ＝４の画素に注目すると、最小マッチングコストは、正しく算出されているため、他の視差に対するマッチングコストよりも大幅に小さくなっている。ｘ＝２においてｒ方向合成コストが最小となるｄ＝１と、ｘ＝３、ｘ＝４でマッチングコストが最小となる視差はそれぞれ異なっている。このため、これらの画素ではペナルティコストが合成されるが、コストが最小となる視差は変化せず、正しい視差が保持される。同様の過程を繰り返すことによって、画像右端までｒ方向合成コストを算出することができる。

【0028】

さらに、（式２）を用いてｒ方向について算出されたｒ方向合成コストＬ_ｒそれぞれを用いて、合成コストＬ_ｓを下記の（式３）によって算出することができる。

【0029】

【数3】

【0030】

サブピクセル視差生成処理では、合成コストマップ生成処理によって生成された合成コストマップから、第１画像の各画素について、最も類似度の高くなる視差を推定する。カメラによって撮影された画像は通常、輝度値がなめらかに変化する。そのため、合成コストも何らかの相関関数に従ってなめらかに変化しているとみなすことができ、その相関関数が最も小さくなる視差がサブピクセル精度の視差となる。

【0031】

サブピクセル視差推定では、第１画像のある画素について、合成コストが最も小さくなる視差およびその前後の視差に対する３つの合成コストを、二次関数にフィッティングすることで相関関数を推定できる。ここで、相関関数は二次関数だけでなく、一次対称関数や非対称な関数を用いても良い。また、フィッティングする合成コストは３つだけでなく、より多くの値を使ってもよい。

【0032】

以下では、図４を参照して、相関関数を二次関数として、３つの視差に対する合成コストを用いてサブピクセル視差を推定する方法をより具体的に説明する。ある第１画像の画素座標ｐにおいて、合成コストマップ中で最も合成コストが小さくなる視差をｄ_ｍ、サブピクセル精度の視差をｄ_ｓとし、ｄ’＝ｄ－ｄ_ｍとする。図４は合成コストＬ_ｓ（ｐ、ｄ’＋ｄ_ｍ）をｄ’の二次関数としてグラフ化したものである。ここで、合成コストＬ_ｓ（ｐ、ｄ’＋ｄ_ｍ）＝ａ（（ｄ’－ｂ））^２＋ｃとみなしてよく、下記の（式４）の関係が成り立つ。ただし、Ａ^Ｔは行列Ａの転置を表す。

【0033】

【数4】

【0034】

（式４）をｂについて解くと、ｂは下記の（式５）のように求めることができる。

【数5】

この（式５）の結果を用いて、サブピクセル精度の視差をｄ_ｓ＝ｄ_ｍ＋ｂと算出することができる。第１画像の各画素についてサブピクセル視差推定を行うことにより、画像全体に対するサブピクセル視差を生成できる。以上のようにして、ＳＧＭ法による視差演算を行うことができる。

【0035】

最後に、図３を参照して、視差演算におけるＳＧＭ法の効果の例を説明する。図３（ｂ）はサブピクセル精度の視差理想値ｄ_ｇｔを表形式によって示している。図３（ｄ）、（ｇ）はそれぞれ図３（ｃ）コストマップ、および図３（ｅ）の合成コストマップからサブピクセル視差を推定した結果と、理想値ｄ_ｇｔとの差を表形式によって示している。ただし、この例では、合成コストマップ生成処理において、ｒ＝（１、０）方向にのみコストを集約している。図３（ｄ）ではｘ＝２の画素について３ピクセル以上の誤差が発生していたが、図３（ｇ）ではその誤差が０．０４ピクセルまで修正されている。また、同時に、ｘ＝３，４の画素については、視差変化を平滑化する効果によって、視差が小さく推定されている。

【0036】

以上にＳＧＭ法の概略を示したが、一般に、基線長が短いステレオカメラにおいては、物体とカメラの距離が変わっても視差変化量が小さく、１ピクセル（画素）以下になる場合が多々ある。一方で、従来のＳＧＭ法はピクセル単位で算出されたマッチングコストを集約したコストマップを生成し、隣接画素と視差値が１ピクセル以上異なる場合にはペナルティコストを与えることで最適化を行う。従って、隣接画素との視差変化量が１ピクセル以下になる場合には、最適化の効果を得ることができず、マッチングコストの誤差が修正されないため、視差算出の精度が低下するという課題が生じる。

【0037】

本発明の課題は、上記事情に鑑み、基線長が短いステレオカメラにおいても、例えばＳＧＭ法を用いて、精度よく視差量を算出でき、算出した視差量に基づき、高精度な３次元計測を行えるようにすることにある。

【課題を解決するための手段】

【0038】

本発明の一態様は、コンピュータが、対象物が撮影された第１画像に基づく基準領域の画像と、前記対象物が撮像された第２画像に基づく複数の比較領域の画像と、を用いて、各比較領域の画像について、視差方向及び画素方向におけるマッチングコストの関係を示すコストマップをピクセル単位で算出する第１マッチングコスト算出工程と、前記コンピュータが、前記ピクセル単位のコストマップの視差方向の単位をサブピクセル単位に細分化して、サブピクセル単位のコストマップを算出する第２マッチングコスト算出工程と、前記コンピュータが、前記サブピクセル単位のコストマップにおけるマッチングコストの値の比較結果に基づいて、前記サブピクセル単位のコストマップのマッチングコストにペナルティコストを付与して、前記基準領域に関する合成コストを算出する合成コスト算出工程と、を備えた、ことを特徴とする画像処理方法である。
本発明の一態様は、画像処理装置であって、対象物が撮像された第１画像および第２画像を取得する画像取得部と、前記第１画像に基づく基準領域の画像と、前記第２画像に基づく複数の比較領域の画像と、を用いて、各比較領域の画像について、視差方向及び画素方向におけるマッチングコストの関係を示すコストマップをピクセル単位で算出し、前記ピクセル単位のコストマップの視差方向の単位をサブピクセル単位に細分化して、サブピクセル単位のコストマップを算出するコストマップ生成部と、前記サブピクセル単位のコストマップにおけるマッチングコストの値の比較結果に基づいて、前記サブピクセル単位のコストマップのマッチングコストにペナルティコストを付与して、前記基準領域に関する合成コストを算出する合成コスト生成部と、を備えた、ことを特徴とする画像処理装置である。

【発明の効果】

【0039】

上記構成によれば、最適化を行う前にコストマップをサブピクセル化することで、１ピクセル以下の分解能で最適化を行うことができ、１ピクセル以下の視差変化に対してもペナルティコストを与えることが可能になる。したがって、最適化の効果を十分に得ることができ、視差変化量が小さい場合でもマッチングコストの誤差を修正することができる。即ち、上記構成によって、基線長が短いステレオカメラにおいても、例えばＳＧＭ法を用いて、精度よく視差量を算出でき、算出した視差量に基づき、高精度な３次元計測を行うことができる。

【図面の簡単な説明】

【0040】

【図1】コストマップ生成処理に関し、（ａ）は基準領域、（ｂ）は比較領域、（ｃ）はコストマップ、（ｄ）はコストマップの一部をある平面で切り出した例をそれぞれ示す説明図である。

【図2】合成コスト生成処理におけるコスト集約の説明図である。

【図3】ＳＧＭ法による視差演算の例を示したもので、（ａ）はコストマップの理想値、（ｂ）はサブピクセル視差の理想値、（ｃ）は実際に得られたコストマップをそれぞれ示す説明図である。また、（ｄ）は（ｃ）から推定されたサブピクセル視差、（ｅ）は合成コストマップ、（ｆ）は合成コスト生成方法の説明図、（ｇ）は（ｅ）から推定されたサブピクセル視差をそれぞれ示す説明図である。

【図4】サブピクセル視差生成処理における相関関数を示した説明図である。

【図5】本発明の実施形態１に係る視差演算装置の概略構成を示した説明図である。

【図6】本発明の実施形態１に係る視差演算処理の全体の流れを示すフローチャート図である。

【図7】本発明の実施形態１に係る視差演算処理の詳細な流れを示し、（ａ）はコストマップ生成処理のフローチャート図、（ｂ）はサブピクセル視差生成処理のフローチャート図である。

【図8】従来のＳＧＭ法における課題を示したもので、（ａ）はコストマップの理想値、（ｂ）はサブピクセル視差の理想値、（ｃ）は実際に得られたコストマップをそれぞれ示す説明図である。また、（ｄ）は（ｃ）から推定されたサブピクセル視差、（ｅ）は合成コストマップ、（ｆ）は（ｅ）から推定されたサブピクセル視差をそれぞれ示す説明図である。

【図9】実施形態１によって課題が解決される例を示したもので、（ａ）はサブピクセル単位コストマップ、（ｂ）は合成コストマップ、（ｃ）は（ｂ）から推定されるサブピクセル視差をそれぞれ示す説明図である。

【図10】本発明の実施形態２に係るコストマップ生成処理の詳細な流れを示すフローチャート図である。

【図11】本発明の実施形態２に係るコストマップサブピクセル化の説明図である。

【図12】本発明の実施形態２によって課題が解決される例で、（ａ）はサブピクセル単位コストマップ、（ｂ）は合成コストマップ、（ｃ）は（ｂ）から推定されるサブピクセル視差をそれぞれ示した説明図である。

【図13】本発明を実施可能な画像処理装置の制御系の具体的な構成の一例を示したブロック図である。

【発明を実施するための形態】

【0041】

以下、添付図面を参照して本発明を実施するための形態につき説明する。なお、以下に示す構成はあくまでも一例であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更することができる。また、本実施形態で取り上げる数値は、参考数値であって、本発明を限定するものではない。

【0042】

以下に述べる実施形態は、２つの撮像装置により得られる画像から視差を算出する装置に関するものである。本実施形態の構成は、その演算結果を用いて被写体と装置の距離計測、被写体の形状計測などに利用できる。特に、本実施形態の構成は、基線長の小さなステレオカメラなどを利用した小規模なシステムで視差を算出する場合に好適に適用することができる。

【0043】

なお、以下では、便宜上、第１撮像装置および第２撮像装置はモノクロ平行ステレオカメラ、すなわち、光軸が平行かつカメラ位置に上下（ｙ）方向のずれがなく、撮影される画像はレンズの歪などを除去したモノクロの平行化画像であるものとする。また、コストマップ生成にはＳＡＤ法を用いるものとする。ただし、これらの条件は、本発明を限定するものではなく、異なるカメラ設定、例えば光軸が交わっていたり、ねじれの位置にあったり、カラーカメラであったりしても本発明は実施できる。また、ＳＡＤ法以外の方法、例えばＳＳＤ法やＺＮＣＣ法を用いる場合でも本発明は実施可能である。

【0044】

＜実施形態１＞
図５は本実施形態において、本発明の画像処理方法として視差演算を実施する画像処理装置１００の概略構成を示している。

【0045】

図５の画像処理装置１００は、装置本体１０１、第１撮像装置１０２、第２撮像装置１０３、入力装置１０９、出力装置１１０、記憶装置１１１などのハードウェアから構成される。第１撮像装置１０２および第２撮像装置１０３はカラーまたはモノクロの静止画あるいは動画像を同時に、同じ設定条件で撮影し装置本体１０１に取り込むためのデバイスである。これらの撮像装置は、例えば、撮像光学系が互いに平行に配置された２台のデジタルカメラや、ステレオカメラなどにより構成できる。

【0046】

また、第１撮像装置１０２および第２撮像装置１０３は、像面位相差方式を用いたカメラなど、一つの装置で複数の画像を撮影できるデバイスが第１撮像装置１０２および第２撮像装置１０３両方の機能を備えていても良い。本実施形態では、第１撮像装置１０２および第２撮像装置１０３は、別体構成であるものとするが、必ずしも２台の撮像装置を用いてステレオ撮影を行わなくても構わない。例えば、１台の撮像装置を用いて、被写体と撮像装置を相対移動させ、第１撮像装置１０２、第２撮像装置１０３の基線長に相当する距離、離間した異なる撮像位置で複数回撮影を行うことにより、２台の撮像装置を用いる場合と同様の撮像を行うことができる。

【0047】

第１撮像装置１０２、第２撮像装置１０３により撮像する被写体１０４は、例えば物品を製造する生産ラインで取り扱われ、あるいは検査されるワークや、生産ラインに配置されたロボット装置や搬送装置の特定部位である。第１撮像装置１０２、第２撮像装置１０３によるステレオ撮影により、例えば、これらワークやロボット装置、搬送装置の３次元空間における位置や姿勢を測定することができ、その測定結果に基づき、物品の製造処理を制御することができる。

【0048】

入力装置１０９は、ユーザが装置本体１０１に対し指示を入力するために操作するデバイスであり、例えば、マウス、キーボード、タッチパネル、専用コンソールなどを利用できる。出力装置１１０は算出した視差をユーザや外部装置に表示、出力するデバイスであり、例えば、液晶ディスプレイによる表示や、ネットワークケーブルによるデータ送信などを利用可能である。入力装置１０９および出力装置１１０によって、ユーザインターフェース装置４００（図１３）を構成することができる。このユーザインターフェース装置４００は、例えば、後述のサブピクセル単位のマッチングコストの視差量算出単位に関するユーザ指定を受け付けるために用いることができる。

【0049】

記憶装置１１１は画像処理装置１００が視差演算処理において参照する各種の設定情報（撮像装置の設定、視差演算処理の設定値、視差演算プログラムなど）や撮像結果、視差演算結果などを格納するデバイスである。記憶装置１１１には、例えばＲＯＭ、ＲＡＭなどのメモリデバイス、ＨＤＤやＳＳＤなどの外部記憶装置の他、フラッシュメモリ、ネットワークストレージなどの着脱可能な記録媒体を用いることができる（図１３参照）。

【0050】

装置本体１０１は、後述の図１３に詳細な一例を示すが、ＣＰＵ（中央演算処理装置）、主記憶装置（ＲＡＭ）、補助記憶装置（ＲＯＭ，ＨＤＤ，ＳＳＤなど）などのハードウェアを備えたコンピュータで構成することができる。また、後述の演算は、ＧＰＵ（画像演算処理装置）およびＧＰＵメモリ（ＶＲＡＭ）を用いて行うことができ、これによりシステム高速化することができる。

【0051】

装置本体１０１は、画像取得部１０５、コストマップ生成部１０６、合成コスト生成部１０７、サブピクセル視差生成部１０８などの機能ブロックを有する。

【0052】

画像取得部１０５は第１撮像装置１０２および第２撮像装置１０３から画像を取得するための機能、コストマップ生成部１０６は画像取得部１０５で取得した画像からマッチングコストを生成する機能である。また、合成コスト生成部１０７は第1画像に含まれる基準領域と複数の異なる比較領域とについて、それぞれ算出された第1のマッチングコストと、第2のマッチングコストと、の比較結果に基づき、合成コストを生成する機能ブロックに相当する。サブピクセル視差生成部１０８は前記合成コストからサブピクセル単位の視差算出結果を生成する機能に相当する（視差量生成部）。例えば、これらの機能は、補助記憶装置または記憶装置１１１に格納されたコンピュータ・プログラムが主記憶装置に読み込まれ、ＣＰＵまたはＧＰＵによって実行されることにより実現される（図１３参照）。

【0053】

なお、図５は装置構成の一例を示すものに過ぎず、第１撮像装置１０２、第２撮像装置１０３、入力装置１０９、出力装置１１０、記憶装置１１１の全部または一部を装置本体１０１に一体化してもよい。なお装置本体１０１はパーソナルコンピュータやスレート型端末のようなコンピュータで構成しても良いし、あるいは、専用チップやオンボードコンピュータなどで構成してもよい。

【0054】

ここで、図１３に図１の画像処理装置１００を構成する制御系の具体的なハードウェア構成の一例を示しておく。同図のような制御系は、例えばいわゆるＰＣフォームの実装形態で実現できる。

【0055】

図１３の制御系は、主制御手段としてのＣＰＵ１６０１、記憶装置としてのＲＯＭ１６０２、およびＲＡＭ１６０３を備えたＰＣハードウェアなどによって構成することができる。ＲＯＭ１６０２には、本実施形態の画像処理手順を実現するためのＣＰＵ１６０１の制御プログラムや定数情報などを格納しておくことができる。また、ＲＡＭ１６０３は、その制御手順を実行する時にＣＰＵ１６０１のワークエリアなどとして使用される。また、図１３の制御系には、外部記憶装置１６０６が接続されている。外部記憶装置１６０６は、本発明の実施には必ずしも必要ではないが、ＨＤＤやＳＳＤ、ネットワークマウントされた他のシステムの外部記憶装置などから構成することができる。

【0056】

本実施形態の画像処理、例えば検査領域特定部１１２と検査処理部１１３の処理を実現するためのＣＰＵ１６０１の制御プログラムは、上記の外部記憶装置１６０６やＲＯＭ１６０２（例えばそのＥＥＰＲＯＭ領域）のような記憶部に格納しておく。その場合、本実施形態の制御手順を実現するためのＣＰＵ１６０１の制御プログラムは、ネットワークインターフェース１６０７を介して、上記の各記憶部に供給し、また新しい（別の）プログラムに更新することができる。あるいは、後述の制御手順を実現するためのＣＰＵ１６０１の制御プログラムは、各種の磁気ディスクや光ディスク、フラッシュメモリなどの記憶手段と、そのためのドライブ装置を経由して、上記の各記憶部に供給し、またその内容を更新することができる。本実施形態の制御手順を実現するためのＣＰＵ１６０１の制御プログラムを格納した状態における各種の記憶手段、記憶部、ないし記憶デバイスは、本発明の制御手順を格納したコンピュータ読み取り可能な記録媒体を構成することになる。

【0057】

ネットワーク１６０８を介して通信するためのネットワークインターフェース１６０７は、例えばＩＥＥＥ ８０２．３のような有線通信、ＩＥＥＥ ８０２．１１、８０２．１５のような無線通信による通信規格を用いて構成することができる。ＣＰＵ１６０１は、ネットワークインターフェース１６０７、ネットワークインターフェース１６０８を介して、他の外部装置１１０４と通信することができる。画像処理装置１００が配置されたシステムの統轄制御装置やサーバ装置に相当する。インターフェース１６０５はＣＰＵ１６０１が外部装置、周辺回路などと通信するためのインターフェースであり、たとえば、第１撮像装置１０２、第２撮像装置１０３はこのインターフェース１６０５を介して接続することができる。あるいは、第１撮像装置１０２、第２撮像装置１０３はネットワークインターフェース１６０７、ネットワークインターフェース１６０８を介して接続する形態であってもよい。

【0058】

また、図１３の制御装置は、ユーザインターフェース装置４００（ＵＩ装置）を備える。ユーザインターフェース装置４００としては、ＬＣＤディスプレイ、キーボード、ポインティングデバイス（マウス、ジョイスティックなど）などから成るＧＵＩ装置を配置してもよい。このようなユーザインターフェース装置４００を介して、画像処理の進行状況をユーザに報知することができる。あるいは、ユーザインターフェース装置４００を介して画像処理を制御する各種パラメータのユーザ設定などを行わせることができる。

【0059】

（視差演算処理）
以下では、図６、図７を参照して、本実施形態の画像処理装置１００の視差演算処理につき説明する。図６は視差演算処理の全体の流れを、また、図７は実施形態１における視差演算処理の詳細な流れを示す。図６、図７のフローチャートに図示した制御手順は、ＣＰＵ１６０１（図１３）が実行可能な画像処理プログラムとして記述され、例えば記憶装置１１１の任意の記憶デバイスに格納しておく（後述の他のフローチャートにおいても同様）。

【0060】

図６の画像撮影ステップ（Ｓ２０）では、画像取得部１０５の制御によって、第１撮像装置１０２および第２撮像装置１０３を用いて被写体１０４が同時に撮影され、第１画像および第２画像が装置本体１０１に取り込まれる。なお、被写体と装置がともに固定されているなどの条件が満たされている場合など、被写体の撮影画像が時刻によって変化しない場合には、撮像は上記のように同時に行わなくても構わない。また、事前に撮影された画像が装置本体の補助記憶装置や記憶装置１１１の中に存在する場合には、撮影の代わりに補助記憶装置や記憶装置１１１からデータを読み込んでもよい。ここで撮影された第１画像および第２画像は、必要に応じて出力装置１１０に表示させることができる。あるいは、画像の一部分の視差のみを算出するために注視領域をユーザ入力させるために用いるなど、視差演算以外の他の処理にも利用されるものであってもよい。

【0061】

コストマップ生成ステップ（Ｓ２１）では、コストマップ生成部１０６が、画像撮影ステップ（Ｓ２０）で取り込まれた第１画像および第２画像から、サブピクセル単位のマッチングコストを算出し、サブピクセル単位のコストマップを生成する。コストマップ生成ステップ（Ｓ２１）は、画像高解像度化ステップ（Ｓ３０）、およびサブピクセル単位コストマップ生成ステップ（Ｓ３１）からなる。

【0062】

画像高解像度化ステップ（Ｓ３０）では、画像撮影ステップ（Ｓ２０）で取り込まれた第１画像および第２画像を高解像度化し、第１高解像度画像および第２高解像度画像を生成する。この高解像化処理としては、ニアレストネイバー法やバイキュービック法など、例えば画像を拡大・高解像度化する任意の手法を適用できる。この時、第１画像および第２画像を何倍に高解像度化するかによって、ＳＧＭ法によって修正される視差の大きさが変化する。

【0063】

例えば、第１画像および第２画像において０．５ピクセルの視差推定誤差をなめらかに修正したい場合、２倍に高解像度化することで高解像度画像における視差変化が１ピクセルとなり、ＳＧＭ法による誤差修正が可能となる。また、画像の高解像度化はｘ、ｙ両方向に行っても良いし、第１画像および第２画像が構成するステレオ画像のエピポーラ線方向にのみ高解像度化しても良い。また、この高解像度化は、エピポーラ線方向における視差変化を増大するためのもので、エピポーラ線に直交する方向への高解像度化は視差量誤差低減の効果がない。そのため、例えば平行ステレオカメラであれば、ｘ方向にのみ高解像度化すれば後述同様の効果を得ることができ、計算負荷を低減できる。

【0064】

サブピクセル単位コストマップ生成ステップ（Ｓ３１）では、画像高解像度化ステップ（Ｓ３０）で生成した第１高解像度画像および第２高解像度画像に対して、ＳＡＤ法などの画像探索処理を用いて、ピクセル単位のマッチングコストを算出する。これにより、コストマップを生成する。この時、第１画像および第２画像に対して当業者が経験的に定めた基準領域の大きさを、画像の高解像度化倍率と同じだけ拡大しても良く、それによって、当業者が意図したのと同じ画像領域を基準領域に設定できる。なお、生成されたコストマップは、第１高解像度画像に対してはピクセル単位である。しかし、当然ながら、例えば第１高解像度画像における１ピクセルの視差が第１画像に対しては０．５ピクセルに該当するのであれば、第１画像に対してはサブピクセル単位でマッチングコストを算出し、コストマップを生成したことになる。

【0065】

合成コスト生成ステップ（Ｓ２２）では、合成コスト生成部１０７が、コストマップ生成ステップ（Ｓ２１）で生成されたサブピクセル単位コストマップに対して、ＳＧＭ法を用いて合成コストマップを生成する。この時、合成コストマップ生成に用いる上述のペナルティコストＰ１およびＰ２の値には、ユーザインターフェース装置からユーザが入力した値を用いるよう、システムを構成しておくことができる。また、ペナルティコストＰ１、Ｐ２は、事前に予め行ったユーザ入力に対応するデフォルト値が記憶装置１１１に設定される、あるいは、もしくは視差演算実行時に、入力装置１０９などからその都度、入力、設定されるものであってよい。

【0066】

サブピクセル視差生成ステップ（Ｓ２３）では、サブピクセル視差生成部１０８が、合成コスト生成ステップ（Ｓ２２）で生成された合成コストマップから各基準領域に対するサブピクセル単位の視差を推定し、視差分布を算出する。サブピクセル視差生成ステップ（Ｓ２３）は、高解像度サブピクセル視差生成ステップ（Ｓ３２），サブピクセル視差低解像度化ステップ（Ｓ３３）からなる。

【0067】

高解像度サブピクセル視差生成ステップ（Ｓ３２）では、合成コスト生成ステップ（Ｓ２２）で生成された合成コストマップから、第１高解像度画像の各画素についてサブピクセル視差を生成する。この時、サブピクセル視差推定は二次関数に合成コストをフィッティングすることで推定しても良いし、非対称関数にフィッティングするなどその他の公知の方法を用いても良い。

【0068】

サブピクセル視差低解像度化ステップ（Ｓ３３）では、高解像度サブピクセル視差生成ステップ（Ｓ３２）で推定した第１高解像度画像に対するサブピクセル視差の低解像度化を行う。高解像度サブピクセル視差生成ステップ（Ｓ３２）で推定したサブピクセル視差は高解像度化画像に対するものであるため、第１画像に対するサブピクセル視差を生成する必要がある。そのため、例えば、高解像度サブピクセル視差生成ステップ（Ｓ３２）で推定したサブピクセル視差の分布を画像とみなし、第１画像に対する第１高解像度画像の倍率分縮小することで第１画像に対するサブピクセル視差を生成する処理を行う。この時の縮小処理は、バイキュービック法や画像のリサンプリングなど、公知の画像縮小方法であればいずれの方法も適用可能である。

【0069】

以上の処理のようにして、本実施形態の一組の第１画像および第２画像に対する視差算出を行うことができる。なお、動画像や連続撮影した静止画を用いる場合には、上述の処理を各々の第１画像および第２画像について繰り返し実行すればよい。

【0070】

本実施形態によれば、以下のような作用効果を期待できる。例えば、従来のピクセル単位のコストマップに対してＳＧＭ法を適用しても、基線長が短く、視差変化が１ピクセル以下になる場合には、（式４）でペナルティコストＰ１，Ｐ２の合成が行われない。このために、ｒ方向合成コストＬ_ｒがマッチングコストＣと等しくなってしまう。一方、本実施形態においてサブピクセル単位のコストマップにＳＧＭ法を適用すると、マッチングコストが最小となる視差に変化が生じる。従って、ペナルティコストを合成することにより、なめらかな視差変化となるような合成コストマップを生成することができる。

【0071】

ここで、図８、図９を参照し、本実施形態の作用効果を説明する。図８は従来のＳＧＭ法による視差演算の例、図９は同じ画像に対して本実施形態における視差演算方法を適用した場合の例を示している。

【0072】

図８（ａ）は第１撮像装置１０２および第２撮像装置１０３の基線長が短い場合に得られるコストマップの理想値の表である。また、図８（ｃ）は従来のコストマップ生成処理によって実際に得られたコストマップ、図８（ｅ）はコストマップからｒ＝（１、０）方向にのみコストを集約した合成コストマップを示す。また、図８（ｂ）はサブピクセル精度の視差理想値ｄ_ｇｔを表形式で示し、図８（ｄ）、（ｆ）はそれぞれ図８（ｃ）のコストマップ、図８（ｅ）の合成コストマップからサブピクセル視差を推定した結果および理想値ｄ_ｇｔとの差を表形式で示している。

【0073】

そして、この例では、図８（ｃ）コストマップにおいて、ｘ＝２、ｄ＝０～２のマッチングコストに誤差が発生したと仮定している。このコストマップから推定される図８（ｄ）ｘ＝２のサブピクセル視差には０．３ピクセルの誤差が発生しているが、コストマップ上でｘ＝０～３の画素で最小マッチングコストとなる視差はすべてｄ＝１である。コストマップ上で誤差が顕在化しないため、図８（ｅ）合成コストマップから推定した図８（ｆ）ｘ＝２のサブピクセル視差は誤差がほとんど修正されない。

【0074】

一方、図９（ａ）は本実施形態のコストマップ生成ステップ（Ｓ２１）で生成されたサブピクセル単位コストマップの例である。ただし、この例では、画像高解像度化ステップ（Ｓ３０）で第１画像および第２画像をｘ方向に２倍に高解像度化し、サブピクセル単位コストマップ生成ステップ（Ｓ３１）で基準領域の大きさをｘ方向に２倍に拡大している。そして、図８（ｃ）コストマップにおいてマッチングコストが最小となった視差の周辺のマッチングコストは二次相関関数に従うものと仮定している。また、高解像度化によって補間された画素におけるマッチングコストは隣接画素のマッチングコストから線形補間された値になると仮定している。図９（ａ）サブピクセル単位コストマップでは、ｘ＝２（高解像度画像ではｘ＝４）のマッチングコストが最小となる視差が、隣接画素と異なっている。コストマップ上で誤差が顕在化したため、図９（ｂ）合成コスト生成ステップ（Ｓ２２）によって合成コストマップの誤差が修正され、図９（ｃ）サブピクセル視差の誤差が約１／２に修正されている。

【0075】

＜実施形態２＞
上記実施形態では、第１、第２画像の高解像度画像を生成してから、その高解像度画像を用いてサブピクセル単位のコストマップを生成している。本実施形態では、第２画像に含まれる複数の比較領域と比較して算出したピクセル単位のマッチングコストに基づき、サブピクセル単位のマッチングコストを算出する例を示す。なお、本実施形態の視差演算装置のハードウェア構成は、実施形態１の視差演算装置のハードウェア構成と同じであるため、その説明を省略する。

【0076】

(視差演算処理)
ここで、図１０、図１１により、本実施形態における画像処理装置１００の視差演算処理に関わる動作を説明する。図１０は本実施形態のコストマップ生成ステップ（Ｓ２１）の詳細な流れを、また、図１１は、ピクセル単位コストマップ生成ステップS４０におけるコストマップサブピクセル化の処理を示している。なお、処理の全体の流れおよび画像撮影ステップ（Ｓ２０）における処理内容は実施形態１と同じである。そこで、以下では、コストマップ生成ステップ（Ｓ２１）、合成コスト生成ステップ（Ｓ２２）、サブピクセル視差生成ステップ（Ｓ２３）の処理内容についてのみ説明する。

【0077】

コストマップ生成ステップ（Ｓ２１）では、コストマップ生成部１０６が、画像撮影ステップ（Ｓ２０）で取り込まれた第１画像および第２画像から、サブピクセル単位のマッチングコストを算出し、サブピクセル単位のコストマップを生成する。コストマップ生成ステップＳ２１は、ピクセル単位コストマップ生成ステップＳ４０およびコストマップサブピクセル化ステップＳ４１からなる。

【0078】

ピクセル単位コストマップ生成ステップ（Ｓ４０）では、第１画像および第２画像から、ＳＡＤ法などの画像探索処理を用いてマッチングコストを算出し、ピクセル単位のコストマップを生成する。

【0079】

コストマップサブピクセル化ステップ（Ｓ４１）では、ピクセル単位コストマップ生成ステップ（Ｓ４０）で生成した、ピクセル単位のコストマップからサブピクセル単位のマッチングコストを算出し、サブピクセル単位コストマップを生成する。

【0080】

以下で、サブピクセル単位のマッチングコスト算出手順を説明する。まず、コストマップのうち、第１画像のある座標p=(x,y)の画素に注目する。この画素における、視差［ｄ～－１、ｄ～＋１］の範囲に対するマッチングコストをサブピクセル単位のマッチングコストに変換する。範囲［ｄ～－１、ｄ～＋１］におけるマッチングコストが相関関数Ｃ（ｐ、ｄ）＝ａ_ｄ～（ｄ－ｂ_ｄ～）^２＋ｃ_ｄ～に従うものと仮定すれば、この相関関数を推定することで任意のサブピクセル視差ｄに対してマッチングコストを算出することができる。図１１は視差範囲［０、２］に対して相関関数をグラフ化したものである。ここで、ｄ’＝ｄ－ｄ～とおけば、ｄ’＝－１、０、１における相関関数から、以下に示す（式６）が成り立ち、（式６）を解くと、以下に示す（式７)が得られる。

【0081】

【数6】

【0082】

【数7】

【0083】

以上の計算によって、範囲［ｄ～－１、ｄ～＋１］におけるマッチングコストの相関関数を推定することができる。この計算を各視差範囲に順次実行することで、全視差候補範囲［０、Ｄ］について相関関数を求めることができる。そして、この相関関数を用いて、目標とする視差分解能sに応じて、相関関数の値をサブピクセル単位のコストマップに登録していき、上記を第１画像の各画素について行うことでコストマップのサブピクセル化が完了する。例えば、視差分解能sを０．２ピクセルにしたい場合、視差０．２ピクセルごとの相関関数の値を登録すれば良い。この時、視差分解能sは事前もしくは視差演算実行時に入力装置１０９から入力された値、または、装置本体の補助記憶装置や記憶装置１１１に記録された値を用いる。順次相関関数推定を行う際は、例えば、ｄ～＝１、３、５、…と範囲の重複なく実行しても良い。また、ｄ～＝１、２、３、…と重なり合う範囲について計算し、一つの視差に対して二つ推定された相関関数の平均値をとるなどしてもよい。このようにサブピクセル化する視差範囲全体に対して相関関数を推定できればどのように範囲を設定しても良い。

【0084】

なお、以上では、３つの視差に対するマッチングコストを二次関数にフィッティングする例を示した。しかしながら、これはあくまでも便宜上のものであって、相関関数は一次対称関数や非対称な関数であっても良く、フィッティングするマッチングコストは３つだけでなく、より多くの値を使ってもよい。また、視差候補のうち一部の範囲しかＳＧＭ法による合成コスト生成が必要でない場合などでは、サブピクセル化するのはコストマップのうち一部の視差候補に対する部分のみであっても良い。

【0085】

合成コスト生成ステップ（Ｓ２２）では、合成コスト生成部１０７が、コストマップサブピクセル化ステップＳ４１で生成されたサブピクセル単位コストマップに対して、ＳＧＭ法を用いて合成コストマップを生成する。この時、ペナルティコストＰ１およびＰ２の値は、事前もしくは視差演算実行時に入力装置１０９から入力された値、または、装置本体の補助記憶装置や記憶装置１１１に記録された値を用いる。ただし、コストマップがサブピクセル化されているため、ある視差候補と、その次の視差候補に対するマッチングコストの変化がピクセル単位のコストマップより小さくなる。そのため、実施形態１と同様の誤差修正効果を得るためには、実施形態１よりもペナルティコストＰ１，Ｐ２を小さくする必要がある。サブピクセル単位コストマップにおけるｄ＾番目の視差候補は、視差分解能ｓを用いて、ｓｄ＾＝ｄと表せ、（式８）が成り立つため、ある視差候補と、その次の視差候補のマッチングコストの変化はｓ倍になる。そのため、ペナルティコストＰ１，Ｐ２をそれぞれｓ倍して用いれば良い。

【0086】

【数8】

【0087】

サブピクセル視差生成ステップ（Ｓ２３）では、サブピクセル視差生成部１０８が、合成コスト生成ステップ（Ｓ２２）で生成されたサブピクセル単位の合成コストマップから、各基準領域に対するさらにサブピクセル化された視差分布を算出する。この時、相関関数にフィッティングする合成コストは、最も合成コストが小さくなる視差ｄ_ｍと、その前後の視差、すなわちｄ_ｍからコストマップの視差分解能ｓ分ずれた視差、に対する合成コストの３つを用いる。これにより、視差分解能ｓよりもさらに小さい単位で視差を算出できる。

【0088】

本実施形態によれば、以上の処理を行うことにより、第１画像、第２画像に撮像されている被写体の視差量を算出することができる。なお、本実施形態においても、上述同様に、動画像や連続撮影した静止画を用いる場合には、上記の処理を各第１画像および第２画像について繰り返し実行する。

【0089】

ここで、図１２を参照して、本実施形態の利点を詳細に説明する。図１２（ａ）は、本実施形態において、コストマップサブピクセル化ステップ（Ｓ４１）で生成されるサブピクセル単位コストマップの例である。また、図１２（ｂ）は、合成コスト生成ステップ（Ｓ２２）で生成されるサブピクセル単位合成コストマップの例である。また、図１２（ｃ）は、サブピクセル視差生成ステップ（Ｓ２３）で生成されるサブピクセル視差の例である。本実施形態によれば、実施形態１と同様に、基線長が短く、視差変化が１ピクセル以下になってしまう場合でも、なめらかな視差変化となるような合成コストマップ生成およびサブピクセル視差を生成することができる。

【0090】

上述の実施形態１では、高解像度画像に対して画像探索処理によってコストマップを生成している。そのため、コストマップの画素方向（ｘ方向およびｙ方向、またはエピポーラ線方向）と視差方向に高解像度が行われる。また、サブピクセル視差生成においても、高解像度画像に対して生成したサブプクセル単位の視差分布を、第１画像と同じ画素数になるよう縮小する処理が必要である。これに対して、本実施形態では、コストマップを視差方向にのみサブピクセル化する処理だけで済み、図１２（ａ）コストマップの次元数および図１２（ｂ）合成コストマップの次元数が小さくなり、視差量分布などの縮小処理も不要である。これにより、本実施形態は、計算量の面で、時間計算量、空間計算量ともに実施形態１よりも優れており、同等の計算機ハードウェアによってより高速、ないし効率的な視差量の演算が可能である。あるいは、実施形態１と同等の視差量演算性能を、低速な、あるいは限定された計算資源を用いて実現できる可能性がある。

【0091】

本発明は上述の実施例の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0092】

１００…画像処理装置、１０１…装置本体、１０２…第１撮像装置、１０３…第２撮像装置、１０４…被写体、１０５…画像取得部、１０６…コストマップ生成部、１０７…合成コスト生成部、１０８…サブピクセル視差生成部、１０９…入力装置、１１０…出力装置、１１１…記憶装置、４００…ユーザインターフェース装置、１１０４…外部装置、１６０１…ＣＰＵ、１６０２…ＲＯＭ、１６０３…ＲＡＭ、１６０５…インターフェース、１６０６…外部記憶装置、１６０７…ネットワークインターフェース、１６０８…ネットワーク。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】