知財求人 - 知財ポータルサイト「IP Force」
▶ レコグニションフォーカス ゲゼルシャフト ミット ベシュレンクテル ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-16
(54)【発明の名称】画像のコレスポンデンス分析装置およびその分析方法
(51)【国際特許分類】
G06T 7/80 20170101AFI20240208BHJP
G06T 7/32 20170101ALI20240208BHJP
G06T 7/593 20170101ALI20240208BHJP
G06T 7/60 20170101ALI20240208BHJP
G01C 3/06 20060101ALI20240208BHJP
【ＦＩ】
G06T7/80
G06T7/32
G06T7/593
G06T7/60 180B
G01C3/06 110V
G01C3/06 140
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023546474
(86)(22)【出願日】2022-01-31
(85)【翻訳文提出日】2023-09-26
(86)【国際出願番号】 EP2022052201
(87)【国際公開番号】W WO2022162216
(87)【国際公開日】2022-08-04
(31)【優先権主張番号】102021102233.9
(32)【優先日】2021-02-01
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
(71)【出願人】
【識別番号】523289924
【氏名又は名称】レコグニションフォーカス ゲゼルシャフト ミット ベシュレンクテル ハフツング
【氏名又は名称原語表記】ｒｅｃｏｇｎｉｔｉｏｎｆｏｃｕｓ ＧｍｂＨ
【住所又は居所原語表記】Ｋｏｅｎｎｅｒｉｔｚｓｔｒ． １５， ０１０６７ Ｄｒｅｓｄｅｎ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】110002664
【氏名又は名称】弁理士法人相原国際知財事務所
(72)【発明者】
【氏名】シュルツ， マルク
(72)【発明者】
【氏名】イーレフェルト， ヨアヒム
(72)【発明者】
【氏名】リーゲル，トルヴァルト
【テーマコード（参考）】
2F112
5L096
【Ｆターム（参考）】
2F112AC03
2F112AC06
2F112BA07
2F112CA06
2F112CA08
2F112CA12
2F112FA03
2F112FA21
2F112FA32
2F112FA36
2F112FA38
2F112FA39
2F112FA41
2F112FA45
2F112GA01
5L096DA02
5L096FA66
5L096GA08
5L096GA19
5L096GA55
5L096GA59
(57)【要約】
【課題】 本発明は、特に低雑音かつ効率的な方法で画像データにおいてコレスポンデンス分析を実行するために使用可能な装置および方法を提供する。
【解決手段】 この方法は、個別画像から画像パッチを選択するステップと、それぞれの場合において、空間ウィンドウ内の偶数畳み込みカーネルおよび奇数畳み込みカーネルを使用して複数の一次元信号を生成するステップと、畳み込み結果の差分を非線形に処理するステップと、これらの差を積算してコレスポンデンス関数を形成するステップと、当該関数を評価するステップと、を含む。
【選択図】図１０
【解決手段】 この方法は、個別画像から画像パッチを選択するステップと、それぞれの場合において、空間ウィンドウ内の偶数畳み込みカーネルおよび奇数畳み込みカーネルを使用して複数の一次元信号を生成するステップと、畳み込み結果の差分を非線形に処理するステップと、これらの差を積算してコレスポンデンス関数を形成するステップと、当該関数を評価するステップと、を含む。
【選択図】図１０
【特許請求の範囲】
【請求項1】
２つのデジタル個別画像（２５、２６）において、対応する画素間のシフトである視差δを決定するコレスポンデンス分析装置（１）であって、－ 演算装置（３）を備え、前記演算装置（３）は、
－ 前記２つの個別画像（２５、２６）から画像パッチを選択することであって、基準画像パッチとして選択された前記２つの個別画像のうちの一方の前記画像パッチと、前記２つの個別画像の他方から選択された一連の検索画像パッチと、をそれぞれ選択すること、および
－ 前記基準画像パッチから複数の信号ＹＬsignal,vを生成して、前記検索画像パッチから複数の信号ＹＲsignal,vを生成すること、および
－ メモリ（６）に格納されている、異なる空間周波数の複数の偶数調和関数の加重和を有する偶数畳み込みカーネルと、異なる空間周波数の複数の奇数調和関数の加重和を有する奇数畳み込みカーネルとで、前記基準画像パッチの前記複数の信号ＹＬsignal,vの畳み込みを、空間ウィンドウにおいて実行すること、および
－ 前記メモリ（６）に格納されている複数の畳み込みカーネルを使用して、前記検索画像パッチのそれぞれについて、前記複数の信号ＹＲsignal,vの畳み込みを、前記空間ウィンドウにおいて実行すること、および
－ 各々の信号ペアＹＬsignal,vおよびＹＲsignal,vについて、それぞれの畳み込み結果の差分を計算すること、および
－ 前記畳み込み結果の差分を前記検索画像パッチごとに非線形に処理して、それら積算することで、検索画像から基準画像までの距離を示している点δpにおけるコレスポンデンス関数ＳＳＤ（δp）の関数値を取得すること、または、前記畳み込み結果の差分から、前記点δpにおけるδpについての前記コレスポンデンス関数ＳＳＤ（δp）の一次導関数ＳＳＤ´（δp）を計算することであり、このようにして、前記点δpにおける前記コレスポンデンス関数ＳＳＤ（δp）の関数値、または、その前記一次導関数ＳＳＤ´（δp）の関数値を取得すること、および
－ 前記コレスポンデンス関数ＳＳＤ（δp）の極値または前記コレスポンデンス関数ＳＳＤ（δp）の前記一次導関数ＳＳＤ´（δp）のゼロ交差を決定すること、および
－ 前記極値のうちの１つの前記点δpまたは前記ゼロ交差のうちの１つの前記点δpを、視差δとして出力すること、または
－ 前記点δpにおける前記視差のサブピクセル精度の値を計算して出力すること、
をするように構成される、コレスポンデンス分析装置（１）。
【請求項2】
－ 前記空間周波数の範囲内の各信号Ｖの信号モデルにおいて、ｋmax偶数関数の畳み込み演算およびｌmax奇数関数との畳み込み演算のそれぞれが、振幅Ａmを有する一群の前記空間周波数の重み付けされた信号成分で和を伝達することで、前記コレスポンデンス関数ＳＳＤ（δ）における前記各信号Ｖとインデックスｍとの前記空間周波数の各々について２つの部分和が得られ、前記２つの部分和は、前記偶数関数を使用した畳み込み演算の結果からの二乗振幅Ａm
2で特徴づけられる第１項および前記奇数関数を使用した畳み込み演算の結果からの二乗振幅Ａm
2によって特徴づけられる第２項を有しており、第１部分和と第２部分和は、前記２つの部分和の和ＳＳＤinv（δ）が被写体位相Δmに依存しないように三角関数ピタゴラスにしたがって組み合わせ可能である、ように前記畳み込みカーネルが選択されること、－ 前記視差の決定において、特に前記空間周波数の範囲内の空間周波数を含むエピポーラ線の方向に沿った強度変調を有する平面被写体または対応するテクスチャを有する平面被写体のシフト、およびカメラから一定の距離Ｚでエピポーラ線に沿って生じる被写体のシフトが０．１画素であっても、０．２画素未満の視差測定値の局所的標準偏差が達成される、ように前記畳み込みカーネルが選択されること、
のうち少なくとも１つが適用される、請求項１に記載のコレスポンデンス分析装置（１）。
【請求項3】
－以下の特徴の少なくとも１つを備える請求項１または２に記載のコレスポンデンス分析装置（１）。前記空間周波数の範囲の各信号Ｖの信号モデルにおいて、ｋmax偶数関数の畳み込み演算およびｌmax奇数関数の畳み込み演算のそれぞれが、振幅Ａmを有する一群の前記空間周波数の重み付けされた信号成分で和を伝達することで、前記コレスポンデンス関数ＳＳＤ（δ）における前記信号Ｖの各々およびインデックスｍを有する前記空間周波数のそれぞれについて、２つの項が得られるように、前記畳み込みカーネルが選択されるという特徴であって、第１項が振幅の二乗Ａm 2、第１定数、および正弦関数の二乗の積であり、第２項が振幅の二乗Ａm 2、第２定数、および余弦関数の二乗の積であり、前記第１定数および前記第２定数の値は等しいかまたは±２０％の許容範囲内で等しいという特徴。
－ 少なくとも１つ、好ましくは全ての前記畳み込みカーネルが、前記画像パッチの異なる部分からの情報を、コレスポンデンス分析、特に前記視差の決定において異なるような程度にまで含めるのに適した重み付け関数を備えるという特徴。
－ 少なくとも１つのフィルタカーネルが、画像パッチの部分を重み付けする重み付け関数であって、前記画像パッチの重心に近接する画像パッチの部分は、当該重み付け関数を用いて前記重心から離れた部分よりも強く重み付けられている重み付け関数を備えるという特徴。
－ 前記演算装置が、画像特性に基づいて、特に、信号対雑音比、または、前記パッチの近傍または前記パッチ内の深度情報におけるジャンプに基づいて、重み関数を選択するように構成されるという特徴であって、前記ジャンプは、以前の測定または妥当であると思われる値によって決定されるという特徴。
【請求項4】
前記演算装置（３）は、エピポーラ線に概ね垂直な前記基準画像パッチのデータの畳み込み演算により前記基準画像パッチから複数の信号ＹＬsignal,vの複数のｖmaxを生成して、前記エピポーラ線に概ね垂直なそれぞれの前記検索画像パッチのデータの畳み込み演算により前記検索画像パッチのそれぞれから複数の信号ＹＲsignal,vの複数のｖmaxの信号を生成するよう構成されており、
前記信号を生成する畳み込み演算、ｋmax偶数関数の畳み込み演算、およびｌmax奇数関数の畳み込み演算が、
信号モデルにおいて、後者の複数の前記畳み込み演算がインデックスｍの異なる複数の値で示される複数の空間周波数の重み付けされた信号成分でそれらの和を各々伝達するように選択されるとともに、
それぞれの信号について、その複数の項が被写体位相Δmに依存しない第１部分和が前記コレスポンデンス関数ＳＳＤ（δ）において得られ、その複数の項が被写体位相Δmに依存する第２部分和が得られるように選択され、
前記ｖmax信号のそれぞれの前記第１部分和を積算するときに、個々の項が互いに相殺しない建設的な総和が得られ、
前記ｖmax信号のそれぞれの第２部分和を積算するときに、これらの雑音成分が少なくとも部分的に統計的に互いに相殺する統計的な総和が得られる、
ように構成される請求項１から３までのいずれか１項に記載のコレスポンデンス分析装置（１）。
【請求項5】
－前記ｋmax偶数畳み込みカーネルの信号形式はフーリエ係数ｃk,nを有するフーリエ級数によって近似され、前記ｌmax奇数畳み込みカーネルの信号形式はフーリエ係数ｓl,nを有するフーリエ級数によって近似され、ここで、ｎは、それぞれの前記フーリエ級数のそれぞれの前記空間周波数のインデックスであり、－このように変換されたそれぞれの空間周波数ｍおよび対応するプロファイルベクトル重みｇmについてのフーリエ係数ｃk,nおよびｓl,nは、以下の非線形方程式の解であり、
【請求項6】
前記対応関係関数ＳＳＤ´（δp）の一次導関数は、以下の関係を用いて決定され、【請求項7】
前記演算装置（３）は、次の関係式のいずれか１つを使用して、極値近傍において群視差のサブピクセル精度の値δsub、または、前記視差δpを有する前記検索画像パッチの位置における前記コレスポンデンス関数の前記一次導関数のゼロ交差、を決定するように構成されており、【請求項8】
前記２つの個別画像（２５，２６）の各々から画像パッチを選択し、この際、前記個別画像のうちの一方の少なくとも１つの画像パッチが前記基準画像パッチとして選択され、前記検索画像パッチが他方の前記個別画像において選択され、前記画像パッチから視差値の複数の候補を計算するように構成された演算装置（３）を備え、前記演算装置（３）は、前記基準画像パッチおよび前記検索画像パッチから情報を選択し、前記情報に基づいて、可能な視差値についての信頼度ベクトルであって、それぞれの結果が前記基準画像パッチとそれぞれの前記検索画像パッチとの実際の対応関係を示すかどうかの推定に適する信頼度ベクトルを選択するようにさらに構成される、請求項１から７までのいずれか一項に記載のコレスポンデンス分析装置（１）。
【請求項9】
前記演算装置（３）が、特定の基準画像パッチの視差値の候補のリストを生成し、好ましくは、それぞれの候補の信頼度ベクトルを選択し、前記信頼度ベクトルおよび／または他の選択基準に基づいて、前記候補のすべてまたは一部を有効なものとして選択する、または前記候補のいずれも前記特定の基準画像パッチに対して有効ではないものとみなすことを選択するように構成される、請求項１から８までのいずれか一項に記載のコレスポンデンス分析装置（１）。
【請求項10】
前記演算装置（３）は、少なくともいくつかに分類される基準画像パッチおよび検索画像パッチについて、前記コレスポンデンス関数を単独で使用するときの可能性よりも高い確率で候補を有効または無効として分類する関数を使用して、前記信頼度ベクトルの少なくとも１つの要素の値を選択するように構成される、請求項９に記載のコレスポンデンス分析装置（１）。
【請求項11】
前記演算装置（３）は、－ 前記基準画像パッチのすべての候補のコレスポンデンス関数の極値から導出されるしきい値に関連する、点δpにおける前記候補のＳＳＤ（δp）との関係または差分、
－ 前記基準画像パッチの一部とそれぞれの前記検索画像パッチの一部との間のグレイ値の差分などのグレイ値関係、または前記グレイ値の差分から導出される特徴、
－ 前記基準画像パッチの一部とそれぞれの前記検索画像パッチの一部との間の色差などの色関係、または前記色差から導出される特徴、
－ それぞれの前記検索画像パッチの信号強度と前記基準画像パッチの信号強度とを比較した関係、
－ それぞれの場合において前記エピポーラ線に概ね垂直な、前記基準画像パッチの一部のデータとそれぞれの前記検索画像パッチの一部のデータとの間の正規化相互相関係数、
のうちの１つ以上を特徴として使用して前記信頼度ベクトルの複数の要素の値を選択するように構成されており、
これらの特徴は、前記エピポーラ線に概ね沿って軽微なローパスフィルタ処理を行って雑音を回避することが好適である、請求項９または１０のいずれかに記載のコレスポンデンス分析装置（１）。
【請求項12】
前記演算装置（３）は、前記コレスポンデンス分析装置のユーザに、前記候補のリストを、好ましくは前記有効な候補のみを、より好ましくはそれぞれの前記信頼度ベクトルとともに、利用可能にするように構成される、請求項１０または１１のいずれかに記載のコレスポンデンス分析装置（１）。
【請求項13】
異なるパラメータ化をされた複数の前記コレスポンデンス関数およびそれらの前記畳み込みカーネル、並びに、好ましくはその各々に対応する前記プロファイルベクトルｇmが、前記コレスポンデンス分析装置（１）に格納されるか、または実行時に決定され、前記コレスポンデンス分析装置（１）は、前記個別画像または前記画像パッチの利用可能な分類に基づいて、またはさらなる処理に有利な前記画像または前記画像パッチの分類に基づいて、前記複数のコレスポンデンス関数およびそれらの畳み込みカーネルの一部を選択するようにさらに構成される、請求項１から１２までのいずれか一項に記載のコレスポンデンス分析装置（１）。
【請求項14】
少なくとも１つの前記コレスポンデンス関数のパラメータおよびその畳み込みカーネルが、それぞれの前記プロファイルベクトルｇmの、最も高い空間周波数に対する重み係数が、当該プロファイルベクトルの他の重み係数のうちの少なくとも１つよりも小さくなるように選択される、請求項１３に記載のコレスポンデンス分析装置（１）。
【請求項15】
複数のコレスポンデンス関数およびそれらの畳み込みカーネルが選択される際の基となる分類またはプロファイルベクトルは、前記個別画像または前記画像パッチのデータの前記パワースペクトルに基づいて、好ましくは前記光学伝達関数を考慮して選択される、請求項１から１４までのいずれか一項に記載のコレスポンデンス分析装置（１）。
【請求項16】
前記コレスポンデンス分析は、異なるパラメータ化をされた２つ以上のコレスポンデンス関数および畳み込みカーネルを使用して実行され、前記演算装置は、２つ以上の取得された結果を組み合わせるか、または、これらの結果から、好ましくは前記決定された信頼度ベクトルに基づいて、部分的結果を選択する、請求項１から１５までのいずれか一項に記載のコレスポンデンス分析装置（１）。
【請求項17】
前記演算装置は、第２コレスポンデンス関数を使用して、前記結果を予測するまたはコレスポンデンス分析を制御するために、第１コレスポンデンス関数を使用するコレスポンデンス分析により決定または推定された視差値を使用するように構成され、適切に選択されたパラメータまたは畳み込み関数で、前記第２コレスポンデンス関数は、前記第１コレスポンデンス関数よりも高い周波数の信号成分を前記画像パッチから伝達する、請求項１から１６までのいずれか一項に記載のコレスポンデンス分析装置（１）。
【請求項18】
前記演算装置（３）が、ローパスフィルタを使用して、－ 前記計算された視差値、
－ 信頼値、
－ 信頼値によって重み付けされた視差値、
のうちの少なくとも１つをフィルタ処理するように構成される、請求項１から１６までのいずれか一項に記載のコレスポンデンス分析装置（１）。
【請求項19】
ｋmaxは２に等しく、前記偶数畳み込みカーネルは下式で与えられるｆeven,1およびｆeven,2を含み、ｌmaxは２に等しく、前記奇数畳み込みカーネルは下式で与えられるｆodd,1およびｆodd,2を含み、ｏｆｆeven,1およびｏｆｆeven,2は、前記偶数畳み込みカーネルが概ね平均自由であるように選択され、係数３.４９５４、０.７８１８、４.９６５２、１.８４１６、４.０４７６、０.２５５９、６.０２２８、または０.０３３２のうちの少なくとも１つは、最大で１０％まで、より大きくまたはより小さくすることが可能である、請求項１から１８までのいずれか一項に記載のコレスポンデンス分析装置（１）。【請求項20】
前記演算装置（３）は、基準画像パッチの平均化を実行するように、特に、前記基準画像パッチのコレスポンデンス関数ＳＳＤ（δp）の値と、複数の他の基準画像パッチ、特に、隣接する基準画像パッチのコレスポンデンス関数ＳＳＤ（δp）の値と、の算術平均または加重平均を計算するように構成されており、さらに、この平均化されたコレスポンデンス関数を、請求項１から１９までに記載と同様にさらに処理するように、特に、点δにおける前記視差のサブピクセル精度の値を計算して出力するように構成されている、請求項１から１９までのいずれか一項に記載のコレスポンデンス分析装置（１）。
【請求項21】
前記演算装置（３）は、１つ、好ましくはすべての画像パッチの信号の少なくとも１つ、好ましくはすべての畳み込み結果を、それぞれの画像パッチの信号強度、特に、コレスポンデンス分析で使用される当該画像パッチの信号の信号強度で補正された値で正規化するように構成される、請求項１から２０までのいずれか一項に記載のコレスポンデンス分析装置（１）。
【請求項22】
２つのカメラ（２１，２２）を備えるステレオカメラ（２）であって、前記２つのカメラ（２１，２２）のそれぞれはカメラセンサ（５）およびレンズ（８、９）を有し、前記カメラセンサ（５）における前記レンズ（８、９）の光学中心は基部Ｂの幅だけ互いに離間している、請求項１から２１までのいずれか一項に記載のコレスポンデンス分析装置（１）を備えるステレオカメラ（２）。
【請求項23】
前記レンズ（８、９）のうちの１つは、調整可能な偏心器に保持されており、テスト画像の正面において、前記レンズ（８、９）を偏心器内で回転させることにより、共平面性誤差を修正可能であるとともに、前記レンズ（８、９）の光軸の共平面性を調整可能である、請求項２２に記載のステレオカメラ（２）。
【請求項24】
前記ステレオカメラは、実行中に共平面性位置合わせ誤差を修正するために、前記エピポーラ線に概ね垂直な方向で、対応する画像パッチの前記視差を追加的に評価するように構成され、当該視差のゼロからの前記平均偏差、すなわち、理想的なエピポーラジオメトリからの偏差を、整流パラメータの修正によって前記エピポーラ線に概ね垂直な画像のうちの１つを逆に移行することにより修正する、ことを特徴とする請求項２２または２３に記載のステレオカメラ（２）。
【請求項25】
前記コレスポンデンス分析装置（１）の前記演算装置（３）は、前記左カメラおよび前記右カメラの前記画像データから計算された前記特徴のうちの少なくとも１つ、好ましくはすべてを、前記カメラのそれぞれの信号強度で正規化するように構成される、請求項２２から２４までのいずれか一項に記載のステレオカメラ（２）
【請求項26】
２つのデジタル個別画像（２５、２６）であって、好ましくは請求項１から１９までのいずれか一項に記載のコレスポンデンス分析装置（１）を使用してステレオ正規状態に整流されたデジタル個別画像（２５、２６）において、対応する画素の前記視差を決定するため方法であって、２つのデジタル個別画像（２５、２６）における対応する画素のシフトである前記視差δを決定するために、演算装置（３）が、
－ 前記２つの個別画像（２５、２６）から画像パッチを選択することであって、基準画像パッチとして選択された前記２つの個別画像のうちの一方の前記画像パッチと、前記２つの個別画像の他方から選択された一連の検索画像パッチと、のそれぞれを選択するステップ、および、
－ 前記基準画像パッチから複数の信号ＹＬsignal,vの複数のｖmaxを生成して、前記検索画像パッチから複数の信号ＹＲsignal,vの複数のｖmax生成するステップ、および、
－ メモリ（６）に格納されている、異なる空間周波数の複数の偶数調和関数の加重和を有する偶数畳み込みカーネルと、異なる空間周波数の複数の奇数調和関数の加重和を有する奇数畳み込みカーネルとで、前記基準画像パッチの前記複数の信号ＹＬsignal,vの畳み込みを、空間ウィンドウにおいて実行するステップ、および、
－ 前記メモリ（６）に格納されている複数の畳み込みカーネルを使用して、前記検索画像パッチのそれぞれについて、前記複数の信号ＹＲsignal,vの畳み込みを、前記空間ウィンドウにおいて実行するステップ、および、
－ 各々の信号ペアＹＬsignal,vおよびＹＲsignal,vについて、それぞれの畳み込み結果の差分を計算するステップ、および、
－ 前記畳み込み結果の差分を前記検索画像パッチごとに非線形に処理してそれら積算することで、検索画像から基準画像までの距離を示している点δpにおけるコレスポンデンス関数ＳＳＤ（δp）の関数値を取得するステップ、または、前記畳み込み結果の差分から前記点δpにおけるδpについての前記コレスポンデンス関数ＳＳＤ（δp）の一次導関数ＳＳＤ´（δp）を計算するステップであって、このようにして、前記点δpにおける前記コレスポンデンス関数ＳＳＤ（δp）の関数値またはその前記一次導関数ＳＳＤ´（δp）の関数値を計算するステップ、および、
－ 前記コレスポンデンス関数ＳＳＤ（δp）の極値または前記コレスポンデンス関数ＳＳＤ（δp）の前記一次導関数ＳＳＤ´（δp）のゼロ交差を決定するステップ、および、
－ 前記極値のうちの１つの前記点δpまたは前記ゼロ交差のうちの１つの前記点δpを視差δとして出力するステップ、または
－ 前記点δpにおける前記視差のサブピクセル精度の値を計算して出力するステップ、で使用される方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般に、画像データの分析に関する。より詳細には、本発明は、複数の画像において対応する画素を識別し位置を特定するために使用可能な装置に関する。特に、これはまた、一致する画素の位置に基づいて空間内の画素の位置を決定する立体写真測量法の基礎である。
【背景技術】
【0002】
ステレオ写真撮影の最初の試みは、１８３８年に行われており、チャールズホイートストン卿が鏡を用いて、１枚の写真ではなく、わずかに異なる２枚の画像を作成した。撮影されたシーンの空間的な印象は、左目で左画像を、右目で右画像を別々に見ることにより作成された。第一次世界大戦中には、空中偵察からの広域画像ブロックを使用して、初めて立体的に評価された。
【0003】
【数1】
【0004】
基部および焦点距離は、ステレオカメラの事前の校正により既知である。例えば、撮影された被写体空間の（３Ｄデータの）深度座標のマップを取得する１つの方法は、入力画像内で均一に分布した多数の対応点を見出し、これらの対応点についての視差を計算することである。３Ｄデータの空間解像度は、対応する点のグリッドピッチにより決定される。手動による評価は、長い時間を要するので精度要件を満たさない。
【0005】
機械空間ビジョンの目的は、最小の測定誤差で点の対応を自動で一義的に識別する自動コレスポンデンス分析、すなわち、視差を正確に決定することである。３Ｄデータは、視差から計算可能である。現在のアプリケーションでは、計算された３Ｄデータの高解像度および精度、ならびにリアルタイムでの効率的で低消費電力の計算を必要とする。現在、コレスポンデンス分析用に使用されている方法および装置は、これらの要件を満たすことができないか、または部分的にしか満たすことができない。多くの方法においての問題は、例えば、対応点を確実に識別するための大きな画像パッチの処理により、メモリおよび計算量を大量に消費することである。このことは、高速で特殊なハードウェアの実装を妨げ、３Ｄデータの作成を遅くする。
【0006】
多くの技術的応用は、人間の視覚の研究を通じて得られた経験に基づいている。人間の空間視覚は、実行時に可変であるパラメータを備えた未校正の２つの個別のレンズに基づいている。人間は、両目の焦点距離を微妙に変化させることが可能であり、逆光、霧、および降水などのさまざまな条件下においても空間的に視認可能である。しかし、人間の空間視覚がどのような方法で機能しているかは解明されていない。少なくとも生物学的研究および医学的研究は、人間の立体視が、複数の空間周波数スケールで人間の目が受け取った光信号を空間周波数処理することに基づいていることを少なくとも示唆している。例えば、Mayhew, JE and Frisby, JP, 1976, "Rivalrous texture stereograms", Nature, 264(5581）:53-56、およびMarr, D. and Poggio, T., 1979, "A computational theory of human stereo vision", Proceedings of the Royal Society of London B: Biological Sciences, 204(1156）:301-328を参照されたい。
【0007】
いずれの文献にも、複数の空間周波数の範囲および１つのウィンドウにおける位相情報の独立した計算について記述されている。正確な信号処理に関して、このアプローチの欠点は、高い空間解像度と高い空間周波数解像度との間の原理的な矛盾が最適に解決されないところにある。個々の空間周波数の範囲の位相信号から合成された視差信号には雑音が多く含まれる。雑音は、入力画像における上流のローパスフィルタ処理により低減されるが、その処理は、信号情報も除去する。
【0008】
別の文献（Marcelja, S., 1980, "Mathematical description of the responses of simple cortical cells", J. Opt. Soc. Am., 70(11）:1297-1300）では、視覚皮質におけるニューロンの感度特性の詳細をガボア関数の形式で記述することで、コレスポンデンス分析の感度のウィンドウ特性を記述している。
【0009】
立体写真測量法以外でも、複数の画像から深度情報を抽出する方法がある。米国特許出願公開第２０１３／０２６６２１０号明細書は、シーンの少なくとも２つの画像を異なるカメラパラメータで撮影すること、および各シーンにおいて画像フィールドを選択すること、を含むシーンの深度情報を決定する方法を開示している。最初のアプローチでは、複数の異なる直交フィルタを使用して、振幅と位相を有する複数の複素応答を画像ごとに計算して、各直交フィルタに対応する画像の複素応答に対する重み付けを割り当てる。重み付けは、複素応答の位相の関係によって決定され、シーンの深度測定値は、重み付けされた複素応答の組合せから決定される。一実施形態では、信頼度が、深度スコアの信頼性の推定値として、さまざまなフレームの深度推定値に割り当てられる。例えば、スペクトルマスキングを適応することにより重み付け１が割り当てられた画像パッチ内のピクセルの数を、信頼度として使用し得る。
【0010】
一般に、フィルタ処理は、画像評価方法において幅広く使用し得、この方法で得られたデータをさらに処理するために、画像または画像パッチが畳み込みカーネルを用いて畳み込まれる。米国特許出願公開第２０１５／０１４６９１５（Ａ１）号明細書に記載されている被写体検出の方法では、まず、画像データと畳み込みカーネルとの畳み込みが行われ、次に畳み込み画像がしきい値フィルタを使用して処理される。これにより、しきい値フィルタは、さらなる処理を高速化するために、被写体検出に関連する情報を含まないと推定される複数のピクセルをマスクする。
【0011】
コンピュータビジョン
自動コレスポンデンス分析は、通常、例えば、左右のデジタルカメラ（以下、ステレオカメラと称する）によって撮影される２つ以上のデジタル画像を用いて行われる。理想的な状態では、撮像誤差、デジタル化誤差、および量子化誤差を無視したとき（および、両方のカメラが同じ被写体を撮像しており、被写体の同じ部分が両方のカメラから視認可能であるとき）、このステレオ画像ペアは、水平オフセットを除いて同一であると想定される。２つのカメラの相対的な向き、すなわち、互いの位置（例えば、基部Ｂ）が、事前の校正により既知であるとき、エピポーラジオメトリおよびエピポーラ線を使用することで、コレスポンデンス分析は、デジタル画像内のエピポーラ線の画像に沿った１次元探索に縮小される。しかしながら、一般に、未校正の場合は、エピポーラ線は、画像空間を横切って収束するように延伸する。これを回避するためには、ｙ視差のないステレオ画像ペアを、整流により生成することが必須である。その結果、実際のステレオカメラは、ステレオ正規状態と同様に動作し、すべてのエピポーラ線は平行に延伸する。効率上の理由から、探索を走査方向に垂直なサブピクセル領域において実行すべきではないので、許容範囲が０．５ｐｘ未満の高い整流品質が必要である。
自動コレスポンデンス分析は、通常、例えば、左右のデジタルカメラ（以下、ステレオカメラと称する）によって撮影される２つ以上のデジタル画像を用いて行われる。理想的な状態では、撮像誤差、デジタル化誤差、および量子化誤差を無視したとき（および、両方のカメラが同じ被写体を撮像しており、被写体の同じ部分が両方のカメラから視認可能であるとき）、このステレオ画像ペアは、水平オフセットを除いて同一であると想定される。２つのカメラの相対的な向き、すなわち、互いの位置（例えば、基部Ｂ）が、事前の校正により既知であるとき、エピポーラジオメトリおよびエピポーラ線を使用することで、コレスポンデンス分析は、デジタル画像内のエピポーラ線の画像に沿った１次元探索に縮小される。しかしながら、一般に、未校正の場合は、エピポーラ線は、画像空間を横切って収束するように延伸する。これを回避するためには、ｙ視差のないステレオ画像ペアを、整流により生成することが必須である。その結果、実際のステレオカメラは、ステレオ正規状態と同様に動作し、すべてのエピポーラ線は平行に延伸する。効率上の理由から、探索を走査方向に垂直なサブピクセル領域において実行すべきではないので、許容範囲が０．５ｐｘ未満の高い整流品質が必要である。
【0012】
文献では、コレスポンデンス分析は、面積に基づく方法、特徴に基づく方法、または位相に基づく方法の３つのグループに分類される。
【0013】
面積に基づく方法は、これまでで最大のグループである。ステレオカメラの左デジタル画像の強度値を有するサイズｍ×ｎのウィンドウが、ステレオカメラの右デジタル画像における同じサイズのウィンドウの値と、コスト関数（例えば、差分の絶対差の和（ＳＡＤ）、差分の二乗和（ＳＳＤ）、または相互情報（ＭＩ））を使用して比較される。そして、領域の差分のそれらの評価に基づいて、コレスポンデンス分析が行われる。この分野における従来のアルゴリズムとして、相互相関（例えば、Marsha J. Hannah, "Computer Matching of Areas in Stereo Images", PhD Thesis, Stanford University, 1974、およびNishihara, HK, 1984, "PRISM: A Practical Real-Time Imaging Stereo Matcher", Massachusetts Institute of Technology）や、セミグローバルマッチング（Hirschmueller, H., 2005, “Accurate and efficient stereo processing by semi-global matching and mutual information”, Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition）がある。相互相関には、検出される視差情報がエピポーラ線に沿って整列されるものの、空間ウィンドウ内の点がエピポーラ線の方向とは無関係に均等に重み付けされて分析されるという欠点がある。これは、最適な信号対雑音比（Ｓ／Ｎ）が達成されないことを意味する。
【0014】
特徴に基づく方法は、現状では高密度の３Ｄデータの生成には使用されていない。これは、この方法に必要とされる特徴的な点が、不均一に分布して散発的にしか（例えば、ステレオカメラが撮像する被写体の隅および端部にしか）発生しないためである。それらは、デジタル画像内のウィンドウｍ×ｎの１つ以上の特性（例えば、勾配、向き）を記述子に結合して、これらの特徴を、通常は画像全体において包括的に他の特徴点と比較する。これら近隣の特徴は、通常、非常に多くの計算量を要するが、強度、スケーリング、および回転の観点から、概ね不変であるから、それらは包括的に概ね一意である。この包括的な一意性および長い計算時間により、特徴に基づく手法は、例えば、主に画像の位置合わせや方向付けに使用され、例えば、ステレオ画像ペアの相対的方向（ホモグラフィ）を構築するために使用される。
【0015】
位相に基づく方法はあまり知られていない存在であるが、人間の視覚はそのような方法に基づいていると考えられている。この方法では、左右の画像の信号の位相情報を使用して、位相差から可能な限り正確に視差を算出する。ランダムドットステレオグラムを用いた研究は、人間の視覚が、強度の比較に基づくことができないことを示している（Julesz, B., 1960, "Binocular depth perception of computer-generated patterns", Bell System Technical Journal）。さらなる研究により、人間の精神物理学に基づいたコレスポンデンス分析の理論が開発されている（Marr, D. and Poggio, T., 1979, "A computational theory of human stereo vision", Proceedings of the Royal Society of London B: Biological Sciences, 204(1156）:301-328）。この手法は、さまざまな局所的解像度に対するＬｏＧ（「ガウスのラプラシアン」）のゼロ交差に基づいており、粗いものから細かいものへの戦略で外れ値を低減しようとするものである。MayhewとFrisbyによる実験（Mayhew, JE and Frisby, JP, 1981, " Psychophysical and computational study for a theory of human stereopsis", Artificial Intelligence, 17(1）:349-385）は、ゼロ交差だけでは人間の視覚の認識を説明できないことを示している。この著者らは、フィルタによる畳み込み後の信号ピークもまた、立体視に必要であると想定している。Wengは（Weng, JJ, 1993, "Image matching using the windowed fourier phase", International Journal of Computer Vision, 11(3）:211-236、以下、"Weng (1993）"と称する）において、ゼロ交差の結果は、チャネルが少ないために非常に不安定であるため、「マッチングプリミティブ」としてウィンドウフーリエ位相（ＷＦＰ）を推奨することを記述している。ＷＦＰは、複数の補正されたウィンドウフーリエ変換（ＷＦＴ）の組み合わせであり、個々のＷＦＴにより決定される位相が平均化される。ただし、個々の空間周波数および位相を、スペクトル的に純粋は手法で撮影できないことから、信号対雑音比は最適ではない。ＬｏＧゼロ交差に基づく別の手法（T. Mouats and N. Aouf, "Multimodal stereo correspondence based on phase congruency and edge histogram descriptor," International Conference on Information Fusion, 2013）はまた、視差分析の前にローパスフィルタ処理を行っているため、より詳細に後述するように、最適な信号対雑音比も達成されない。
【0016】
位相に基づくコレスポンデンス分析方法の概要
左右の（カラー）カメラの画像信号は、それぞれグレイ値または輝度信号とも称されるＹ信号（ＹImage）と、カラー信号ＵおよびＶと、で表し得る。画像解像度およびコントラストは、コレスポンデンス分析とその測定精度の重要な基準である。このため、ＵおよびＶよりも解像度が高いＹ信号（ＹImage）が主に用いられる。このようにして、２つの高解像度ＹImageチャネルが１ラインずつ比較される。ＹImageに関する検討事項は、ＵチャネルおよびＶチャネルにも同様に適用される。
左右の（カラー）カメラの画像信号は、それぞれグレイ値または輝度信号とも称されるＹ信号（ＹImage）と、カラー信号ＵおよびＶと、で表し得る。画像解像度およびコントラストは、コレスポンデンス分析とその測定精度の重要な基準である。このため、ＵおよびＶよりも解像度が高いＹ信号（ＹImage）が主に用いられる。このようにして、２つの高解像度ＹImageチャネルが１ラインずつ比較される。ＹImageに関する検討事項は、ＵチャネルおよびＶチャネルにも同様に適用される。
【0017】
両方のカメラが同一の被写体を撮像する。画像空間内において、カメラが被写体空間の理想的なマッピングを行うと想定すると、両方のカメラの対応する部分画像は同一になる（ＹＲImage－ＹＬImage＝０）。しかしながら、実際の条件下では、許容誤差および差異が生じる。
・被写体に対するカメラの異なる画角による、異なる遠近感（投影歪み）、オクルージョン（ケラレ）、および異なる反射挙動（ランバート反射）。
・カメラ雑音（例えば、デジタルカメラのセンサの雑音など）、ならびにＰＲＮＵ（感度不均一性）およびＤＳＮＵ（暗信号不均一性）。
・デジタル化誤差および量子化誤差。
・異なるレンズに起因するＯＴＦ（光学伝達関数）の差異、ならびに画像の隅の整流（特に、広角レンズの樽型歪み）により生じるコントラストの損失。
・被写体に対するカメラの異なる画角による、異なる遠近感（投影歪み）、オクルージョン（ケラレ）、および異なる反射挙動（ランバート反射）。
・カメラ雑音（例えば、デジタルカメラのセンサの雑音など）、ならびにＰＲＮＵ（感度不均一性）およびＤＳＮＵ（暗信号不均一性）。
・デジタル化誤差および量子化誤差。
・異なるレンズに起因するＯＴＦ（光学伝達関数）の差異、ならびに画像の隅の整流（特に、広角レンズの樽型歪み）により生じるコントラストの損失。
【0018】
周波数ωの信号をフーリエ級数分解すると、実数部および虚数部が得られる。コサイン信号の実数部（「偶数」）はフーリエ級数の偶数部分を表し、サイン信号の虚数部（「奇数」）は奇数部分を表す。バンドパスフィルタで処理された一次元信号ペアＹＬSignalおよびＹＲSignalの位相シフトまたは視差δは、従来技術では、数式２に示すように計算される（Jepson, AD and Jenkin, MRM, 1989, "The fast computation of disparity from phase disphase difference", IEEE Computer Society Conference on Computer）。
ＹＬcos、ＹＬsin、ＹＲcos、およびＹＲsinは、ＹＬSignalを余弦関数および正弦関数で畳み込み、ＹＲSignalを余弦関数および正弦関数で畳み込んだ結果である。視差δは数式３から得られ、それにより振幅の積ＹＬ0・ＹＲ0が相殺される。
しかしながら、数式３による計算にはいくつかの欠点がある。
・信号ペアＹＬSignalおよびＹＲSignalのそれぞれについての２つの畳み込み積分（サイン、コサイン）。定義された空間周波数ωについて視差値δごとに４つの畳み込み演算が必要である。数式３の分子と分母との両方で、長い語長の２回の乗算と１回の加算が必要である。この差異は積と比較して非常に小さくいので高いダイナミクスが必要とされ、丸め誤差が雑音を発生させる。その結果、リアルタイム対応での実装では処理が非常に複雑になる。
・高い空間解像度（小さな空間ウィンドウ）と高い空間周波数解像度（１つの空間周波数のみ）との間の原理的な矛盾により、信号品質が低下する。従来技術では、異なる空間周波数での複数の測定値を平均化して使用することで改善されるものの、最適ではない。
【数2】
【数3】
・信号ペアＹＬSignalおよびＹＲSignalのそれぞれについての２つの畳み込み積分（サイン、コサイン）。定義された空間周波数ωについて視差値δごとに４つの畳み込み演算が必要である。数式３の分子と分母との両方で、長い語長の２回の乗算と１回の加算が必要である。この差異は積と比較して非常に小さくいので高いダイナミクスが必要とされ、丸め誤差が雑音を発生させる。その結果、リアルタイム対応での実装では処理が非常に複雑になる。
・高い空間解像度（小さな空間ウィンドウ）と高い空間周波数解像度（１つの空間周波数のみ）との間の原理的な矛盾により、信号品質が低下する。従来技術では、異なる空間周波数での複数の測定値を平均化して使用することで改善されるものの、最適ではない。
【0019】
複雑な処理を軽減し、信号品質、特にＳＮ比を大幅に改善することが求められている。これにより、次の目的が達成される。
・従来技術において、ウィンドウフーリエ変換（ＷＦＴ）を使用して空間周波数ごとに個別に計算された位相信号誤差を回避して、均一な信号が得られるように、空間領域の十分に小さい測定ウィンドウの制限内と空間周波数領域における十分に小さい測定ウィンドウの範囲内とで視差情報を組み合わせて、最適なコレスポンデンス関数を定義する。このδに対する最適なコレスポンデンス関数（ＳＳＤ（δ））の解は、群視差関数（ＳＳＤ´（δ）／ＳＳＤ″（δ））と称される。
・カメラの基部Ｂベクトルの方向の視差情報を含む最適なコレスポンデンス関数と、カメラの基部Ｂベクトルの方向の視差に依存しない付加情報を有する別途計算された信頼度関数と、を別々に取得する。その信頼度関数を使用して、群視差関数に影響を及ぼして視差測定の雑音を増加させることなく、複数の候補がある場合でも正しい視差を選択する。
・畳み込み演算数を最小化して低雑音で群視差関数を計算する目的で、最適な畳み込みカーネルの曲線を決定するためのモデル計算を実行する。
・実効雑音の帯域幅が、画像信号のフーリエ系列内の最大振幅に依存するように、ウィンドウ内の現在の画像のコンテンツに基づいて、空間周波数の範囲での実効伝達関数を制御することを目的とした、群視差関数の適応的な動作を実装する。これにより、Wiener, N., 1949, "Extrapolation, Interpolation, and Smoothing of Stationary Time Series: With Engineering Applications", The MIT Press （以下、「Wiener (1949）」と称する）による概ね最適なフィルタ動作が得られる。
・事前にローパスフィルタ処理を行わずに、高解像度のカメラデータと公正な視差情報を使用したコレスポンデンス分析を実装する。３Ｄデータ、またはコレスポンデンス分析後のこれらの３Ｄデータの基になる一連の視差測定結果のローパスフィルタ処理を通じて雑音を改善する。
・画像のパワースペクトルを調整するプロファイルにより、群視差関数の最適な伝達関数を制御する。
・光軸の共平面性条件を調整し、実行時にステレオ画像ペアの相対的なシフト（光運動性眼振）を監視および修正することにより、エピポーラジオメトリ（ｙ視差）の外乱による雑音を最小限に抑制する。
・従来技術において、ウィンドウフーリエ変換（ＷＦＴ）を使用して空間周波数ごとに個別に計算された位相信号誤差を回避して、均一な信号が得られるように、空間領域の十分に小さい測定ウィンドウの制限内と空間周波数領域における十分に小さい測定ウィンドウの範囲内とで視差情報を組み合わせて、最適なコレスポンデンス関数を定義する。このδに対する最適なコレスポンデンス関数（ＳＳＤ（δ））の解は、群視差関数（ＳＳＤ´（δ）／ＳＳＤ″（δ））と称される。
・カメラの基部Ｂベクトルの方向の視差情報を含む最適なコレスポンデンス関数と、カメラの基部Ｂベクトルの方向の視差に依存しない付加情報を有する別途計算された信頼度関数と、を別々に取得する。その信頼度関数を使用して、群視差関数に影響を及ぼして視差測定の雑音を増加させることなく、複数の候補がある場合でも正しい視差を選択する。
・畳み込み演算数を最小化して低雑音で群視差関数を計算する目的で、最適な畳み込みカーネルの曲線を決定するためのモデル計算を実行する。
・実効雑音の帯域幅が、画像信号のフーリエ系列内の最大振幅に依存するように、ウィンドウ内の現在の画像のコンテンツに基づいて、空間周波数の範囲での実効伝達関数を制御することを目的とした、群視差関数の適応的な動作を実装する。これにより、Wiener, N., 1949, "Extrapolation, Interpolation, and Smoothing of Stationary Time Series: With Engineering Applications", The MIT Press （以下、「Wiener (1949）」と称する）による概ね最適なフィルタ動作が得られる。
・事前にローパスフィルタ処理を行わずに、高解像度のカメラデータと公正な視差情報を使用したコレスポンデンス分析を実装する。３Ｄデータ、またはコレスポンデンス分析後のこれらの３Ｄデータの基になる一連の視差測定結果のローパスフィルタ処理を通じて雑音を改善する。
・画像のパワースペクトルを調整するプロファイルにより、群視差関数の最適な伝達関数を制御する。
・光軸の共平面性条件を調整し、実行時にステレオ画像ペアの相対的なシフト（光運動性眼振）を監視および修正することにより、エピポーラジオメトリ（ｙ視差）の外乱による雑音を最小限に抑制する。
【発明の概要】
【発明が解決しようとする課題】
【0020】
本発明の目的は、前述の問題点を改善しながら、特に低雑音で効率的な方法で画像データのコレスポンデンス分析を実行するために使用可能な装置および方法を提供するところにある。この目的は、独立請求項の主題によって達成される。より有利な実施形態が、それぞれの従属請求項に記載されている。
【課題を解決するための手段】
【0021】
前述の目的を達成するために、当該技術分野ではフレームとも称される２つのデジタル個別画像で、対応する画素間の視差を決定するためのコレスポンデンス分析装置が提供される。２つのデジタル個別画像で、対応する画素間のシフトである視差δを決定するこのコレスポンデンス分析装置は、それぞれの場合において２つの個別画像から画像パッチを選択するように構成された演算装置を備える。この演算装置は、個別画像のうちの一方の画像パッチを基準画像パッチとして選択し、複数の検索画像パッチ一式を他の個別画像から選択する。基準画像パッチおよび検索画像パッチは、好ましくは概ねエピポーラ線上にあるので、検索画像パッチの視差は、この検索画像パッチから基準画像パッチまでのエピポーラ線上における距離である。検索画像パッチ一式およびそれらの視差は、コレスポンデンス分析装置が、対応していること（すなわち、一致していること）を見出す必要がある視差の範囲を表す。
【0022】
他の技術とは対照的に、視差の決定に関連する画像パッチからの情報は、好ましくは長方形の空間ウィンドウ、すなわち画像パッチからの情報と、複数の空間周波数を含む好ましくは長方形の空間周波数ウィンドウからの情報と、を評価する統一コレスポンデンス関数に結合される。その利点は、他の技術のように、最初に個々の空間周波数を抽出して雑音を導入し、これらの空間周波数の各々について視差を測定し、次いでこれらの測定値を補間して雑音を再び導入することを回避することである。空間ウィンドウのサイズ、空間周波数ウィンドウのサイズ、および個別画像によって提供されるカメラの光学伝達関数の間の関係は、以下でさらに詳細に説明する。
【0023】
コレスポンデンス関数ＳＳＤ（δp）は、画像パッチからのデータから取得され、その画像パッチは、さらに特別に定義された畳み込みカーネルで順々に畳み込まれる信号に処理される。両方について、以下でさらに詳細に説明される。それぞれの場合で、基準画像パッチが視差δpを有する検索画像パッチに組み合わされて、点δpにおけるＳＳＤ（δp）を決定する。したがって、その演算装置は、
－ 基準画像パッチから複数の信号ＹＬsignal,vを生成して、検索画像パッチから複数の信号ＹＲsignal,vを生成して、
－ 空間ウィンドウにおいて、メモリに格納されている実質的に偶数の畳み込みカーネルと実質的に奇数の畳み込みカーネルとで、つまり、異なる空間周波数の複数の偶数調和関数の加重和を有する偶数畳み込みカーネルと異なる空間周波数の複数の奇数調和関数の加重和を有する奇数畳み込みカーネルとで、基準画像パッチの複数の信号ＹＬsignal,vの畳み込みを実行して、
－ 空間ウィンドウにおいて、メモリに格納されている複数の畳み込みカーネルを使用して、検索画像パッチのそれぞれについて、複数の信号ＹＲsignal,vの畳み込みを実行して、
－ 各々の信号ペアＹＬsignal,vおよびＹＲsignal,vのそれぞれの畳み込み結果の差分を計算する、ようにさらに構成される。
－ 基準画像パッチから複数の信号ＹＬsignal,vを生成して、検索画像パッチから複数の信号ＹＲsignal,vを生成して、
－ 空間ウィンドウにおいて、メモリに格納されている実質的に偶数の畳み込みカーネルと実質的に奇数の畳み込みカーネルとで、つまり、異なる空間周波数の複数の偶数調和関数の加重和を有する偶数畳み込みカーネルと異なる空間周波数の複数の奇数調和関数の加重和を有する奇数畳み込みカーネルとで、基準画像パッチの複数の信号ＹＬsignal,vの畳み込みを実行して、
－ 空間ウィンドウにおいて、メモリに格納されている複数の畳み込みカーネルを使用して、検索画像パッチのそれぞれについて、複数の信号ＹＲsignal,vの畳み込みを実行して、
－ 各々の信号ペアＹＬsignal,vおよびＹＲsignal,vのそれぞれの畳み込み結果の差分を計算する、ようにさらに構成される。
【0024】
点δｐにおける対応関数の極値が、この点における対応関係を示すように対応関数が形成されて、畳み込みカーネルが選択される。また、対応関数の一次導関数を直接決定し、そのゼロ交差が対応関係を示すことも可能である。したがって、その演算装置は、
－ 畳み込み結果の差分を検索画像パッチごとに非線形に処理して、それら積算することにより検索画像から基準画像までの距離を示している、点δpにおけるコレスポンデンス関数ＳＳＤ（δp）の関数値を取得するか、または、畳み込み結果の差分から点δpにおけるδpについてのコレスポンデンス関数ＳＳＤ（δp）の一次導関数ＳＳＤ´（δp）を計算することにより、点δpにおける前記コレスポンデンス関数ＳＳＤ（δp）の関数値、またはその一次導関数ＳＳＤ´（δp）の関数値を取得して、
－ コレスポンデンス関数ＳＳＤ（δp）の極値、またはコレスポンデンス関数ＳＳＤ（δp）の一次導関数ＳＳＤ´（δp）のゼロ交差を決定して、
－ 極値のうちの１つの点δpまたはゼロ交差のうちの１つの点δpを視差δとして出力する、ようにさらに構成される。
－ 畳み込み結果の差分を検索画像パッチごとに非線形に処理して、それら積算することにより検索画像から基準画像までの距離を示している、点δpにおけるコレスポンデンス関数ＳＳＤ（δp）の関数値を取得するか、または、畳み込み結果の差分から点δpにおけるδpについてのコレスポンデンス関数ＳＳＤ（δp）の一次導関数ＳＳＤ´（δp）を計算することにより、点δpにおける前記コレスポンデンス関数ＳＳＤ（δp）の関数値、またはその一次導関数ＳＳＤ´（δp）の関数値を取得して、
－ コレスポンデンス関数ＳＳＤ（δp）の極値、またはコレスポンデンス関数ＳＳＤ（δp）の一次導関数ＳＳＤ´（δp）のゼロ交差を決定して、
－ 極値のうちの１つの点δpまたはゼロ交差のうちの１つの点δpを視差δとして出力する、ようにさらに構成される。
【0025】
視差もまた、好ましくは検索画像パッチの有限集合より微細な解像度で、すなわち、サブピクセル精度の視差値と称される（隣接する検索画像パッチからの）情報が得られる点であるδpにおいて決定され、出力する必要がある。この目的のための好ましい選択肢として、δpの近傍における群視差ＳＳＤ´（δp）およびＳＳＤ″（δp）を計算して、視差値のサブピクセル精度の部分を決定する。
【0026】
出力は、視差マップ内のエントリの形態で実行され得、例えば、決定された視差が対応する基準画像パッチの位置に割り当てられる。出力とは、通常、さらなる処理または表示のための値を提供することを指す。さらなる処理は、例えば、被写体までの距離を決定することを含み得る。さらなる処理はまた、データに対するさまざまなフィルタ処理動作を含み得、それにつて以下でさらに説明する。
【0027】
デジタル個別画像またはフレームのコレスポンデンス分析は、通常、雑音および許容誤差の影響を受ける演算であり、これは、例えば、有限の解像度（例えば、画素当たり８ビット、カラーチャネルなど）で有限数のピクセルとして表現するときの離散化および量子化の影響である。この状況は、離散畳み込みカーネルを使用した空間ウィンドウにおける畳み込みについても同様である。この場合では、畳み込み結果が低雑音であり、コレスポンデンス分析に有用であるように、これらの畳み込みカーネルの係数をどのように選択するかというさらなる問題がある。
【0028】
とりわけ、これらの理由により、本発明は、連続関数を有する連続信号モデルの枠組内で畳み込みカーネルを選択し得る方法や、離散畳み込みカーネルを使用した離散処理に直接伝達され得るコレスポンデンス関数を取得し得ると同時に視差を低雑音で決定することを可能にし得る方法を開示する。コレスポンデンス関数および畳み込みカーネルは、特に、既存の視差信号、すなわち、視差の決定に関連する画像パッチからの情報が、コレスポンデンス分析のために確実に使用されることで、既存の雑音、すなわち、関連しない他の情報のほとんどが無視される方法で選択される。このようにしなければ、雑音により視差が不正確に決定される可能性があるので、重要である。さらに、最適フィルタがコレスポンデンス関数と共に作成されるように、入力画像または画像パッチの特定のプロファイルに対する畳み込みカーネルが選択される方法が開示される。
【0029】
逆に、これは本発明が信号モデルに基づいて離散畳み込みカーネルを複数組開示して、その各々について、追加の同様な離散畳み込みカーネルが存在し、それらが追加の雑音を少ししか含まないか、または単に異なる種類の雑音を同程度含むという点のみが異なっており、したがって、これらも実際に開示されている。そのような複数組の畳み込みカーネルは、簡単に言えば、可能な畳み込みカーネルが多数存在するため、偶然に、またはモデルで導出されない検索で見つけられる可能性は低い（以下に説明する４つの畳み込みカーネルを有する例示的な実施形態では、全部で３２個の係数を決定する必要があり、例えば、８ビット解像度の場合、係数ごとに２５６32通りの組合せに相当する）。
【0030】
本発明の重要な構成要素は、異なる空間周波数の複数の偶数調和関数の加重和からなる畳み込みカーネルと、異なる空間周波数の複数の奇数調和関数の和からなる畳み込みカーネルと、の両方を使用するところにある。その結果、必要とされる畳み込み演算の数は、空間周波数ウィンドウ内の検討される空間周波数の数以下であり得ることから、必要とされる計算量が他の技術よりも少なくなり、同時に信号対雑音比が向上する。離散畳み込みカーネルは、特に、畳み込みカーネルが、畳み込みカーネルの個々の位置におけるそれぞれの和の離散化を正確に構成するときには、これらの複数の関数の和を含む。ただし、畳み込みカーネルの離散係数と理想的な偶数関数の和または奇数関数の和との間に偏差があるときは、離散値と基礎となる関数との間に高い相関があることが特に好ましい。特に好ましい実施形態では、フィルタカーネルの係数は、調和偶数関数または調和奇数関数の加重和の関数値に対応するか、または少なくとも０．８の絶対値、好ましくは少なくとも０．９の絶対値を有する関数値に対する相関係数を有することが考えられる。さらなる実施形態では、それらの係数は、関数値に対して高い決定係数Ｒ2を有する。決定係数は、好ましくは少なくとも８０％、特に少なくとも９０％、最も好ましくは少なくとも９５％である。相関係数および／または決定係数が前述の値に達した場合であっても、偶数畳み込みカーネルの係数および奇数畳み込みカーネルの係数は、依然として、異なる空間周波数の複数の偶数調和関数の加重和、または異なる空間周波数の複数の奇数調和関数の加重和をそれぞれ十分な精度で表している。
【0031】
個別画像で測定される位置が、それぞれの画像パッチまたは畳み込みカーネルの中心にあることは、必須ではないものの有利ではある。畳み込みカーネルは、画像パッチまたは畳み込みカーネルの中心に隣接する位置の関数がそれぞれ偶数または奇数であるように離散化され得る。さらに、和は、厳密な意味で偶数関数または奇数関数を表す必要はない。畳み込みカーネル内のエントリは、基準画像パッチおよび検索画像パッチの中心に隣接する位置について、わずかに非対称な関数プロファイルを反映し得、および／またはそれぞれが偶数または奇数であり得る。例えば、畳み込みカーネルの他の係数と比較して小さい値を有する端部の追加係数による畳み込みカーネルの展開は、実際には、わずかな雑音を追加するだけである。さらに、畳み込みカーネルは、前の処理ステップからの畳み込みと組み合わせて存在し得るが、本発明が意味するところの範囲内の畳み込み演算を構成する。したがって、前述の変形例は、複数の偶数調和関数の和または奇数調和関数の和を依然として含む。
【0032】
コレスポンデンス関数ＳＳＤ（δp）は、特徴の差分または畳み込み演算を二乗するなどの非線形処理を形成することが、より好適である。二乗の非線形処理およびその導関数の計算はいずれも、特に簡単な演算であるため、適切に適合されたハードウェアへの実装が容易である。この計算以外にも、差分の４乗以上の偶数乗の項を含む特性曲線や、しきい値を超える差分を制限する非線形処理も可能である。
【0033】
偶数調和関数の加重和および奇数調和関数の加重和のそれぞれを含むように畳み込みカーネルが選択されること、および畳み込み結果の差分の非線形処理、特にその二乗により本発明のさらなる態様が可能となる。このことは、視差測定の結果に対する信号モデル内の被写体位相の影響を大幅に低減する。例えば、空間内で、被写体を移動させずに分析対象の被写体上のテクスチャを移動すると、信号モデルにおける被写体位相は変化し得る。簡単に言えば、このことは、選択された空間周波数の範囲内に視差測定に使用可能な信号が存在するとき、統一コレスポンデンス関数が、被写体のテクスチャまたはパターンにはほとんど依存しない低雑音測定結果を得ることを意味する。この目的ために、畳み込みカーネルは、空間周波数の範囲内の各信号Ｖの信号モデルにおいて、ｋmax偶数関数とｌmax奇数関数との畳み込み演算がそれぞれ、振幅Ａmの一群の空間周波数の重み付けされた信号成分を和で伝達することで、コレスポンデンス関数ＳＳＤ（δ）における各信号Ｖとインデックスｍとの空間周波数の各々の２つの部分和を得る。第１項は偶数関数を使用した畳み込み演算の結果からの二乗振幅Ａm2で特徴づけられる項を有し、第２項は奇数関数を使用した畳み込み演算の結果からの二乗振幅Ａm
2で特徴づけられる項を有するように選択される。第１部分和と第２部分和は、両方の部分和の和ＳＳＤinv（δ）が被写体位相Δmに依存しないように、特に、正確にまたは近似的に三角関数ピタゴラスにしたがって組み合わせ可能である。具体的には、畳み込みカーネルは、空間周波数の範囲内の各信号Ｖの信号モデルにおいて、ｋmax偶数関数の畳み込み演算およびｌmax奇数関数の畳み込み演算のそれぞれが振幅Ａmの一群の空間周波数の重み付けされた信号成分を和で伝達することで、コレスポンデンス関数ＳＳＤ（δ）における信号Ｖの各々およびインデックスｍを有する空間周波数の各々について、２つの項が得られるように選択される。第１項は、振幅の二乗Ａm
2、第１定数、および正弦関数の二乗の積であり、第２項は、振幅の二乗Ａm
2、第２定数、および余弦関数の二乗の積であり、第１定数および第２定数の値は等しいかまたは±２０％の許容範囲内で等しい。
【0034】
簡単に言えば、これは、コレスポンデンス関数の値の最大の成分が被写体位相に依存しないので、信号が提供されると、低雑音で視差を決定するために利用可能であることを意味する。
【0035】
さまざまな雑音プロセスにより生じる実際の値からの視差の偏差は、その標準偏差σδによる特徴付けが可能である。従来技術で周知のシステムでは、通常、０.２５ｐｘ以上の標準偏差が達成されており、十分に調整されたシステムでは、標準偏差は０.２５から０.５までの間にある。それに対して、本開示のコレスポンデンス分析装置は、より低い標準偏差の達成が可能である。一般に、視差を決定する際に、０．２画素未満の視差の測定値の標準偏差を達成可能なように畳み込みカーネルを選択し得、特に、空間周波数の範囲内の空間周波数を含むエピポーラ線の方向に沿った強度変調を有するか、または対応するテクスチャを有する平面被写体のシフトの場合には、０．１画素でさえも達成可能であり、その被写体のシフトは、カメラから一定の距離Ｚで、エピポーラ線に沿って発生する。この場合、標準偏差は、特に、従来技術から周知の方法で生じる系統誤差の影響をほとんど受けない。このようなテストは、前述の被写体位相の干渉を決定するために使用可能である。そのテストは、撮影されたカメラ画像を用いて実行可能であり、また、合成または計算された、例えばレンダリングされた画像を用いての実行も選択し得る。
【0036】
信号ＹＬsignal,vおよびＹＲsignal,vは、それぞれの画像パッチの画素の輝度から計算される。それらの信号は、特に、適切な畳み込み関数を用いて画像強度の畳み込みを実行することで取得し得、その関数は、例えば、平均化を含む、または平均化を含み得る。特に好適な調和関数は、偶数関数としての余弦関数および奇数関数としての正弦関数である。信号はエピポーラ線にほぼ沿って畳み込まれるので、エピポーラ線に概ね垂直な畳み込みが好ましい。垂直方向およびエピポーラ線に沿った畳み込みの順序は任意であり、畳み込みは、特に、適切な畳み込みカーネルと同時に実行することも可能である。信号を決定する畳み込みカーネルの選択は、特殊なコレスポンデンス関数と組み合わせて、雑音の影響を低減しながら、視差計算に有用な情報を保存することを目的とする。この目的のために、さらなる実施形態では、演算装置が下記のように構成されることが特に考慮される。
－エピポーラ線に垂直または概ね垂直な基準画像パッチのデータの畳み込み演算により、基準画像パッチから複数の信号ＹＬsignal,vの複数のｖmaxを生成して、前記エピポーラ線に垂直または概ね垂直なそれぞれの検索画像パッチのデータの畳み込み演算により、検索画像パッチのそれぞれから複数の信号ＹＲsignal,vの複数のｖmaxの信号を生成するように構成されており、信号を生成する畳み込み演算、ｋmax偶数関数の畳み込み演算、およびｌmax奇数関数の畳み込み演算が、信号モデルにおいて、後者の複数の畳み込み演算がインデックスｍの異なる複数の値で示される複数の空間周波数の重み付けされた信号成分を和で伝達する、ように選択される。そして、
－それぞれの信号について、被写体位相Δmに依存しない第１部分和がコレスポンデンス関数ＳＳＤ（δ）において得られ、被写体位相Δmに依存する第２部分和が得られるように選択され、ここで、
－前記ｖmax信号のそれぞれの第１部分和を積算するときに、個々の項が互いに相殺しない建設的な総和が得られ、
－前記ｖmax信号のそれぞれの第２部分和を積算するときに、これらの雑音成分が少なくとも部分的に統計的に互いに相殺する統計的な総和が得られる。第１部分和および第２部分和の積算は、コレスポンデンス関数の値を計算するときに行われる。本開示で使用される「統計的積算」という用語は、その結果が、画像信号のランダムな、すなわち統計的に分布した雑音成分の合計により得られることを意味する。この統計的積算は、雑音によって生じる誤差が少なくとも部分的に互いに相殺可能であるという有利な特性を有する。
－エピポーラ線に垂直または概ね垂直な基準画像パッチのデータの畳み込み演算により、基準画像パッチから複数の信号ＹＬsignal,vの複数のｖmaxを生成して、前記エピポーラ線に垂直または概ね垂直なそれぞれの検索画像パッチのデータの畳み込み演算により、検索画像パッチのそれぞれから複数の信号ＹＲsignal,vの複数のｖmaxの信号を生成するように構成されており、信号を生成する畳み込み演算、ｋmax偶数関数の畳み込み演算、およびｌmax奇数関数の畳み込み演算が、信号モデルにおいて、後者の複数の畳み込み演算がインデックスｍの異なる複数の値で示される複数の空間周波数の重み付けされた信号成分を和で伝達する、ように選択される。そして、
－それぞれの信号について、被写体位相Δmに依存しない第１部分和がコレスポンデンス関数ＳＳＤ（δ）において得られ、被写体位相Δmに依存する第２部分和が得られるように選択され、ここで、
－前記ｖmax信号のそれぞれの第１部分和を積算するときに、個々の項が互いに相殺しない建設的な総和が得られ、
－前記ｖmax信号のそれぞれの第２部分和を積算するときに、これらの雑音成分が少なくとも部分的に統計的に互いに相殺する統計的な総和が得られる。第１部分和および第２部分和の積算は、コレスポンデンス関数の値を計算するときに行われる。本開示で使用される「統計的積算」という用語は、その結果が、画像信号のランダムな、すなわち統計的に分布した雑音成分の合計により得られることを意味する。この統計的積算は、雑音によって生じる誤差が少なくとも部分的に互いに相殺可能であるという有利な特性を有する。
【0037】
これまでに説明した本発明の構成要素は、特にサブピクセル精度で、視差を特に正確に決定し得るように設計されている。しかしながら、これは、実際の対応が特定の視差の範囲内にある可能性の高さを決定すること、つまり、対応可能性の信頼性を決定することと同じ目標ではない。コレスポンデンス関数では、視差値を決定に有用ではない情報は極力無視されるが、同じ情報が信頼度の決定には関連する可能性がある。単純な例は、すべてのピクセルの強度が、基準画像パッチ内の対応するピクセルよりも３０％大きい検索画像パッチである。この一定した輝度の差異は、正確な視差決定に有用な情報を提供せず、例えば、視差の正確な決定に有用な非常に低いコントラストのテクスチャをマスクするような雑音を生成するだけであるので、コレスポンデンス関数内の信号の畳み込みを行う（好ましくは平均値ではない）畳み込みカーネルによってマスクされる。同時に、この例では、一定の輝度の差がわずか５％である第２検索画像パッチが存在し、この小さな偏差はカメラの制御の差異により生成される。したがって、コレスポンデンス関数は、可能な対応の候補として２つ以上の検索画像パッチを使用して、非常に正確であるものの潜在的に曖昧な結果を決定する。信頼度を個別に決定すると、差がわずか５％である第２検索画像パッチの領域において、より高い確率で対応する可能性を示す。
【0038】
このため、コレスポンデンス関数は、好ましくは独立した信頼度関数により補足される。これらの２つの目的を区別せず、例えば、１つの関数のみを使用して視差および信頼度を決定する他の方法とは対照的に、本明細書に開示される手法は、単に２つの間のトレードオフの考察ではなく、低雑音であることが正確な視差決定および良好な信頼度決定の両立を可能にするという利点を有する。したがって、さらなる態様によれば、本明細書に記載の対応関係の決定とは独立して、特に先行する請求項から独立して、本明細書に記載の画像信号の特定の畳み込みを含んでいる演算装置（３）を備えるコレスポンデンス分析装置が提供される。このコレスポンデンス分析装置は、
－ ２つの個別画像（２５，２６）の各々からそれぞれの画像パッチを選択するときに、個別画像のうちの一方の少なくとも１つの画像パッチが基準画像パッチとして選択され、検索画像パッチが他方の個別画像において選択され、画像パッチから視差値の複数の候補を計算するように構成された演算装置（３）を備え、この演算装置（３）は、基準画像パッチおよび検索画像パッチから情報を選択し、この情報に基づいて、可能な視差値についての信頼度ベクトルであって、それぞれの結果が前記基準画像パッチとそれぞれの前記検索画像パッチとの実際の対応関係を示すかどうかの推定に適する信頼度ベクトルを選択するようにさらに構成される。これは、コレスポンデンス関数によりまだ提供されていない情報、または同じ品質で提供されていない情報を信頼度ベクトルが提供すときに特に有用である。したがって、演算装置は、少なくともいくつかに分類される基準画像パッチおよび検索画像パッチについて、コレスポンデンス関数を単独で使用するときの可能性よりも高い確率で候補を有効または無効として分類できる関数を使用して、信頼度ベクトルの少なくとも１つの要素の値を選択する。前述の輝度の一定の差異はその一例である。
－ ２つの個別画像（２５，２６）の各々からそれぞれの画像パッチを選択するときに、個別画像のうちの一方の少なくとも１つの画像パッチが基準画像パッチとして選択され、検索画像パッチが他方の個別画像において選択され、画像パッチから視差値の複数の候補を計算するように構成された演算装置（３）を備え、この演算装置（３）は、基準画像パッチおよび検索画像パッチから情報を選択し、この情報に基づいて、可能な視差値についての信頼度ベクトルであって、それぞれの結果が前記基準画像パッチとそれぞれの前記検索画像パッチとの実際の対応関係を示すかどうかの推定に適する信頼度ベクトルを選択するようにさらに構成される。これは、コレスポンデンス関数によりまだ提供されていない情報、または同じ品質で提供されていない情報を信頼度ベクトルが提供すときに特に有用である。したがって、演算装置は、少なくともいくつかに分類される基準画像パッチおよび検索画像パッチについて、コレスポンデンス関数を単独で使用するときの可能性よりも高い確率で候補を有効または無効として分類できる関数を使用して、信頼度ベクトルの少なくとも１つの要素の値を選択する。前述の輝度の一定の差異はその一例である。
【0039】
視差を低雑音で決定したにもかかわらず、残留雑音が残り、これは、コレスポンデンス関数および信頼値の両方に関連し得る。残留雑音は、複数の基準画像パッチについて計算された視差値または信頼度ベクトルをローパスフィルタで処理することで、さらに低減可能である。従来技術と比べて、特に視差を決定するために信号が使用される前にローパスフィルタ処理を行う他の方法と比べて、全信号帯域幅を処理してコレスポンデンス分析の下流でローパスフィルタ処理を行うことで、個別画像における視差測定値と同等なコントラストおよび同等な解像度で、より効果的な雑音低減が達成される。さらに、ローパスフィルタにより、信頼度がより低い測定結果が、少ししか含まれないようにし得る。したがって、一実施形態では、演算装置は、ローパスフィルタを用いて、計算された視差値、信頼値、または信頼値によって重み付けされた視差値ののうちの少なくとも１つをフィルタ処理する構成が考慮される。
【0040】
検索画像パッチは、少なくともエピポーラ線にほぼ沿って、またはエピポーラ線上に位置するように選択される。したがって、検索画像パッチの信号は、エピポーラ線にほぼ沿って一次元関数を形成する。さらに、視差は、エピポーラ線に沿った対応する画素間の曲線の長さによって与えられる。「エピポーラ線にほぼ沿って」または「エピポーラ線に概ね垂直」という表現は、実際のエピポーラ線が、例えば、調整の不正確さ、または光学的歪みのために、整流された画像の画像方向に厳密に沿って延在する必要がないことを表すために使用される。したがって、所定の不正確さの範囲内で、「概ねエピポーラ線に沿って」という用語は、「エピポーラ線に沿って」と同義であるべきであり、「エピポーラ線に概ね垂直」という用語は、「エピポーラ線に垂直」と同義であるべきである。
【0041】
一般に、エピポーラ線が検索画像パッチを通過するように、または検索画像パッチがエピポーラ線を含むように、検索画像パッチの順序を選択することが有用である。エピポーラ線が検索画像パッチを通過している限り、検索画像パッチは概ねエピポーラ線上にある。
【0042】
期待される視差範囲は、基準画像パッチに対応する探索画像パッチが位置し得るｘ方向、またはエピポーラ線に沿った方向での所定の最大範囲である。期待される視差範囲は、例えば、視差が決定されるデジタル画像の画素の周囲のｘ方向に±５０ｐｘであり得る。
【0043】
本発明はまた、特に、本明細書に記載のコレスポンデンス分析装置を使用して実行される視差を決定する方法に関する。したがって、好ましくは、ステレオ正規状態に整流された２つのデジタル個別画像において、対応する画素の視差を決定する方法が提供され、視差δを決定するために、演算装置が、以下を行うように使用される。
－ ２つの個別画像からそれぞれの画像パッチを選択するときに、基準画像パッチとして選択される個別画像のうちの一方の画像パッチと、個別画像の他方から選択される一連の検索画像パッチと、を選択すること、および
－ 基準画像パッチから複数の信号ＹＬsignal,vの複数のｖmaxを生成して、検索画像パッチから複数の信号ＹＲsignal,vの複数のｖmax生成すること、および
－ 空間ウィンドウにおいて、メモリに格納されている異なる空間周波数の複数の偶数調和関数の加重和を有する偶数畳み込みカーネルと、異なる空間周波数の複数の奇数調和関数の加重和を有する奇数畳み込みカーネルと、を使用して、基準画像パッチの複数の信号ＹＬsignal,vの畳み込みを実行すること、および
－ 空間ウィンドウにおいて、メモリに格納されている複数の畳み込みカーネルを使用して、検索画像パッチのそれぞれについて、複数の信号ＹＲsignal,vの畳み込みを実行すること、および
－ 各々の信号ペアＹＬsignal,vおよびＹＲsignal,vのそれぞれの畳み込み結果の差分を計算すること、および
－ 畳み込み結果の差分を検索画像パッチごとに非線形に処理してそれら積算することで検索画像から基準画像までの距離を示している点δpにおけるコレスポンデンス関数ＳＳＤ（δp）の関数値を取得すること、または、畳み込み結果の差分から点δpにおけるδpについてのコレスポンデンス関数ＳＳＤ（δp）の一次導関数ＳＳＤ´（δp）を計算することであって、このようにして、点δpにおけるコレスポンデンス関数ＳＳＤ（δp）の関数値またはその一次導関数ＳＳＤ´（δp）の関数値を計算すること、および
－ コレスポンデンス関数ＳＳＤ（δp）の極値、またはコレスポンデンス関数ＳＳＤ（δp）の一次導関数ＳＳＤ´（δp）のゼロ交差を決定すること、および、極値のうちの１つの点δp、またはゼロ交差のうちの１つの点δpを視差δとして出力すること、または
－ 点δpにおける視差のサブピクセル精度の値を計算して出力すること。
－ ２つの個別画像からそれぞれの画像パッチを選択するときに、基準画像パッチとして選択される個別画像のうちの一方の画像パッチと、個別画像の他方から選択される一連の検索画像パッチと、を選択すること、および
－ 基準画像パッチから複数の信号ＹＬsignal,vの複数のｖmaxを生成して、検索画像パッチから複数の信号ＹＲsignal,vの複数のｖmax生成すること、および
－ 空間ウィンドウにおいて、メモリに格納されている異なる空間周波数の複数の偶数調和関数の加重和を有する偶数畳み込みカーネルと、異なる空間周波数の複数の奇数調和関数の加重和を有する奇数畳み込みカーネルと、を使用して、基準画像パッチの複数の信号ＹＬsignal,vの畳み込みを実行すること、および
－ 空間ウィンドウにおいて、メモリに格納されている複数の畳み込みカーネルを使用して、検索画像パッチのそれぞれについて、複数の信号ＹＲsignal,vの畳み込みを実行すること、および
－ 各々の信号ペアＹＬsignal,vおよびＹＲsignal,vのそれぞれの畳み込み結果の差分を計算すること、および
－ 畳み込み結果の差分を検索画像パッチごとに非線形に処理してそれら積算することで検索画像から基準画像までの距離を示している点δpにおけるコレスポンデンス関数ＳＳＤ（δp）の関数値を取得すること、または、畳み込み結果の差分から点δpにおけるδpについてのコレスポンデンス関数ＳＳＤ（δp）の一次導関数ＳＳＤ´（δp）を計算することであって、このようにして、点δpにおけるコレスポンデンス関数ＳＳＤ（δp）の関数値またはその一次導関数ＳＳＤ´（δp）の関数値を計算すること、および
－ コレスポンデンス関数ＳＳＤ（δp）の極値、またはコレスポンデンス関数ＳＳＤ（δp）の一次導関数ＳＳＤ´（δp）のゼロ交差を決定すること、および、極値のうちの１つの点δp、またはゼロ交差のうちの１つの点δpを視差δとして出力すること、または
－ 点δpにおける視差のサブピクセル精度の値を計算して出力すること。
【0044】
本発明はまた、２つのカメラを備え、それぞれがカメラセンサおよびレンズを有しており、それらのレンズの光学中心が基部幅だけ互いに離間されているステレオカメラに関する。そして、そのステレオカメラは、前述のようなコレスポンデンス分析装置を備えるか、または前述のような方法を実行するように構成されている。しかしながら、２つのカメラを含む構成は必須ではない。原理的に、３Ｄデータは、異なる位置で連続して撮影されたデジタル画像から取得することも可能である。
【0045】
コレスポンデンス分析装置の主な用途は、ステレオ画像における視差の決定である。したがって、本発明はまた、コレスポンデンス分析装置と、等間隔の視線方向から重複する撮像領域でデジタル画像ペアを撮影する撮像デバイスと、を備えるステレオカメラに関する。コレスポンデンス分析装置の演算装置は、対応する画素の視差から画素の距離座標を計算する。視野方向（光学中心）間の距離は、基部Ｂである。そして、距離座標Ｚは、前述の数式１にしたがって、演算装置によりＺ＝Ｂ・ｆ／δ（ここでδの単位は［ｍｍ］）として計算可能である。
【0046】
本発明、その背景および利点は、添付の図面を参照して、以下でより詳細に説明される。
【図面の簡単な説明】
【0047】
【発明を実施するための形態】
【0048】
整流
整流の目的は、ステレオ正規状態のモデルに基づいてエピポーラジオメトリを構築するところにある。非線形の幾何学的変換は、距離と無関係に２つの画像（左画像および右画像）の歪み、投影歪み、および相対的向きを修正することで、被写体のそれらの点は、サブピクセル精度で左カメラ画像および右カメラ画像の同じライン上に結像される。これにより、コレスポンデンス分析は、１次元問題に縮小される。
整流の目的は、ステレオ正規状態のモデルに基づいてエピポーラジオメトリを構築するところにある。非線形の幾何学的変換は、距離と無関係に２つの画像（左画像および右画像）の歪み、投影歪み、および相対的向きを修正することで、被写体のそれらの点は、サブピクセル精度で左カメラ画像および右カメラ画像の同じライン上に結像される。これにより、コレスポンデンス分析は、１次元問題に縮小される。
【0049】
可能な限り最も正確な整流のために、次の３つのサブステップの実行が可能である。
【0050】
カメラ内部方向の修正
これは、レンズの非線形の幾何学的歪み、焦点距離ｆ、およびカメラのセンサの凹凸の修正のことである。
これは、レンズの非線形の幾何学的歪み、焦点距離ｆ、およびカメラのセンサの凹凸の修正のことである。
【0051】
共平面性条件の調整
ステレオシステムの光軸の傾きは、校正距離の外では主な誤差の原因となる。両方の軸についての限定的な共平面性条件により、この誤差は最小限に低減される。実際には、この条件は、カメラレンズを保持する、例えばマイクロレンズの形態の、偏心スリーブにより実現可能である。光軸の相対位置は、例えば、２つ以上の距離でテスト画像を測定することにより決定可能であり、次に、両方の軸が同一平面になるように偏心器を回転させることで光軸のうちの１つの位置を調整できる。
ステレオシステムの光軸の傾きは、校正距離の外では主な誤差の原因となる。両方の軸についての限定的な共平面性条件により、この誤差は最小限に低減される。実際には、この条件は、カメラレンズを保持する、例えばマイクロレンズの形態の、偏心スリーブにより実現可能である。光軸の相対位置は、例えば、２つ以上の距離でテスト画像を測定することにより決定可能であり、次に、両方の軸が同一平面になるように偏心器を回転させることで光軸のうちの１つの位置を調整できる。
【0052】
図１は、レンズ８を有するレンズマウント１０の例示的な実施形態を示す。レンズマウント１０は、互いに回動可能な２つの偏心素子１１、１２を備える。レンズ８は、偏心素子１１にねじ込まれている。偏心素子１１、１２を相対的に回転させることで、レンズと画像センサとの間の距離を変化させずに、つまり、像面の位置を維持せずに、レンズ８の光軸の位置を変化させることが可能である。調整した後、偏心素子１１、１２は、ねじ１３により互いに締め付けられて固定され得る。一実施形態では、２つの偏心素子１１、１２を備える調整可能な偏心器内に、レンズのうちの１つを保持するよう考慮されており、テスト画像の正面で偏心器内のレンズを回転させることで、レンズの光軸の共平面性が調整できる。ステレオカメラのこの実施形態は、特に、本開示によるコレスポンデンス分析装置および本明細書で説明する画像データの特別な処理とは独立して使用可能である。共平面軸を調整する偏心器を備えるステレオカメラも可能であり、他の画像処理技術と組み合わせて有用であることは、当業者には明らかであろう。したがって、より一般的には、本明細書に記載されるコレスポンデンス分析装置に限定されるものではないが、２つのカメラ２１、２２を備えたステレオカメラ２が提供され、それぞれがカメラセンサ５およびレンズ８、９を含み、複数のカメラセンサ５を含んでいるレンズ８、９の光学中心が基部Ｂの幅だけ互いに離間するように配置され、少なくとも１つの調整可能な偏心器が設置され、レンズ８、９のうちの１つの光軸の向きおよび位置を変更する調整が可能なので、レンズの光軸の共平面性誤差の修正が可能となる。偏心器は、前述のように構成され得るが、その変形例も考えられる。例えば、レンズを互いに固定して取り付けて、偏心器を使用してカメラの１つを対応するレンズに対して調整することが考えられる。
【0053】
カメラの外部方向の修正
カメラの内部方向の修正が完了すると、達成すべき外部方向の補正である、回転および平行移動を伴うアフィン変換が残る。
カメラの内部方向の修正が完了すると、達成すべき外部方向の補正である、回転および平行移動を伴うアフィン変換が残る。
【0054】
整流は、仮想カメラ（ＶＩＲＣＡＭ）の原理に基づく。カメラは、エピポーラグリッド内の各目標座標（ｉ，ｊ）についての画像Ｉの実（ｘ，ｙ）座標の位置情報を含む表形式で、整流データを格納する。座標（ｘ，ｙ）は有理数であるので、画素の周りの２×２ｐｘ領域での補間することは、雑音の最小化に有利である。ＶＩＲＣＡＭは仮想グリッド内でスキャンする。各仮想グリッド点について、画像Ｉの周囲の２×２ｐｘ領域において、目標グリッド（ｉ，ｊ）までの補間が行われる。この幾何学的な修正は非線形である。
【0055】
図２の画像（ａ）に、カメラ画像における規則的なグリッドの歪みの例を示して説明する。レンズ歪みにより、被写体空間の規則的なグリッドは、例えば、図示されるような樽形状に歪む。この歪みおよび投影歪みは、ＶＩＲＣＡＭにおける整流により修正される。これには、ＶＩＲＣＡＭの座標系（ｉ，ｊ）への画像座標（ｘ，ｙ）の仮想変換が含まれる。この整流により、ＶＩＲＣＡＭのステレオ画像ペアは、通常のステレオ画像の場合と同様に振る舞う。画像（ｂ）では、目標グリッドのセクションが、点として示された実際の（ｘ，ｙ）座標上に重ね合わされて示される。
【0056】
図３は、画像１０４、１０５、エピポール９８、９９、およびエピポーラ平面１０２を含むステレオ画像ペアのエピポーラジオメトリを示す。図面（ａ）は、一般的なステレオ状態を示す。図面（ｂ）は、ステレオ正規状態を表す。エピポーラジオメトリは、カメラの向きと、画像１０４のピクセル１０３と、他の画像１０５のピクセル１０６における点対応との間の線形関係を記述する。対応する画素１０３、１０６は、エピポーラ線１０７上に位置する。点対応が見つかると、関連する３Ｄ点１０１は、ステレオカメラのパラメータ（焦点距離および基部）と、ピクセル対応、すなわち３Ｄ点に対応するピクセル１０３、１０６から生じる。
【0057】
数学的導出
ステレオ正規状態（ＹＬimageまたはＹＲimage）におけるステレオカメラの整流画像のそれぞれから、ｖmax行信号ＹＬsignal,vまたはＹＲsignal,v（ｖ＝１...ｖmaxのとき）が選択される。これらの行信号は、整流画像から直接取得可能であり（例えば、ＹＬimageおよびＹＲimageのそれぞれの行の強度値）、また、整流画像の行方向に垂直なｋ個のｙおよびl個の奇数畳み込みカーネルを用いた事前の畳み込みの後に所得可能である。さらに、ｙ方向の畳み込みをｘ方向の畳み込みの後に実行して、行信号を取得することも可能である。すなわち、畳み込み演算の順序は交換可能である。特に、演算装置は、－Ｔ／４…＋Ｔ／４の空間ウィンドウで定義される多数のｖmax信号ペアＹＬsignal,vおよびＹＲsignal,vを生成して、ｙ方向の複数のｖmax＝ｋy＋ly畳み込みカーネルのセットを使用して画像パッチの畳み込みを実行するように構成し得る。ｙ方向は、エピポーラ線に概ね垂直な画像方向である。視差を最適に計算するためには、実際に存在する信号のスペクトルへの帯域の制限が有利である。空間ウィンドウおよびＴについての推奨サイズは、ｘ方向における畳み込みウィンドウサイズについて、以下でさらに説明する検討事項と同様に見出し得る。ｙ方向のいかなる畳み込みも、以下でさらに説明するｘ方向の畳み込みから分離可能である。ｙ方向の畳み込みを最初に実行することは必須ではないが、有利である。
ステレオ正規状態（ＹＬimageまたはＹＲimage）におけるステレオカメラの整流画像のそれぞれから、ｖmax行信号ＹＬsignal,vまたはＹＲsignal,v（ｖ＝１...ｖmaxのとき）が選択される。これらの行信号は、整流画像から直接取得可能であり（例えば、ＹＬimageおよびＹＲimageのそれぞれの行の強度値）、また、整流画像の行方向に垂直なｋ個のｙおよびl個の奇数畳み込みカーネルを用いた事前の畳み込みの後に所得可能である。さらに、ｙ方向の畳み込みをｘ方向の畳み込みの後に実行して、行信号を取得することも可能である。すなわち、畳み込み演算の順序は交換可能である。特に、演算装置は、－Ｔ／４…＋Ｔ／４の空間ウィンドウで定義される多数のｖmax信号ペアＹＬsignal,vおよびＹＲsignal,vを生成して、ｙ方向の複数のｖmax＝ｋy＋ly畳み込みカーネルのセットを使用して画像パッチの畳み込みを実行するように構成し得る。ｙ方向は、エピポーラ線に概ね垂直な画像方向である。視差を最適に計算するためには、実際に存在する信号のスペクトルへの帯域の制限が有利である。空間ウィンドウおよびＴについての推奨サイズは、ｘ方向における畳み込みウィンドウサイズについて、以下でさらに説明する検討事項と同様に見出し得る。ｙ方向のいかなる畳み込みも、以下でさらに説明するｘ方向の畳み込みから分離可能である。ｙ方向の畳み込みを最初に実行することは必須ではないが、有利である。
【0058】
ｖmax＝５およびＴ＝１６ｐｘについての例示的な畳み込みカーネルｆy,vを、表１に示す（列は、畳み込みカーネル内の各位置を表す）。図５に、表１のｙ方向における畳み込みカーネルの関数値を示す。正確に整流されたステレオ画像については、同じ効果を有する類似した畳み込みカーネルが多数存在し、ｖmaxは５以外の値をとることもある。実際の用途では、整流には許容誤差があり、結果として生じる雑音は、以下でさらに考察される。また、後述するように、異なる形式の畳み込みカーネルを使用することで、雑音はさらに低減可能となる。
【表1】
【0059】
さらなる実施形態では、前述の畳み込みカーネルの一部のみを使用し得る。例えば、表に挙げた５つの畳み込みカーネルのうちの１つは省略可能、つまり、４つの畳み込みカーネル一組を選択可能である。一実施形態では、畳み込みカーネルｆy,2、ｆy,3、ｆy,4、およびｆy,5が使用され、つまり、畳み込みカーネルｆy,1が省略される。この実施形態は、雑音がわずかに増加するものの依然として良好な結果であり、計算量は減少する。
【0060】
したがって、（エピポーラ線に沿った）行ｙの各々について、左右のカメラのそれぞれでＹＬsignal,v（ｘ）およびＹＲsignal,v（ｘ）と称される離散的一次元関数が所得される。一般に、これらの畳み込みカーネルは、「偶数畳み込みカーネル」と称される複数の偶数調和関数の加重和、または「奇数畳み込みカーネル」と称される複数の奇数調和関数の加重和を含む関数値から構成され得る。調和関数は、それぞれ異なる空間周波数をサンプリングする。
【0061】
続いて、特定の行ｙ、特にＹＬsignal,vのｘおよびＹＲsignal,vの（ｘ＋δ）の位置におけるウィンドウ内の部分信号がそこから抽出される。ここで左カメラは基準カメラである。右側のカメラもまた、基準カメラ（すなわち、ＹＲsignal,vではｘ、ＹＬsignal,vでは（ｘ＋δ））として選択し得る。そして、２つのウィンドウの類似度を位置ｘの視差範囲内のシフトδの関数として計算することでコレスポンデンス関数ＳＳＤ（δ）を得る。最後に、コレスポンデンス関数ＳＳＤ（δ）の極値が見出され、必要に応じてさらなる基準を使用してフィルタ処理され、コレスポンデンス関数ＳＳＤ（δ）をδについて解くことで、画像平面において、この手順で決定された視差δを、基準カメラの画像内の位置（ｘ，ｙ）に割り当て可能となる。そして、視差δを被写体座標系に逆投影して３Ｄデータを計算する。これを説明するために、図４に、画素ごとに互いに異なるようにシフトされた位置における例示的な信号ＹＬおよびＹＲを示す。中央のグラフでは、相対的なシフトは視差δに対応し、上のグラフではシフトはδ－１であり、下のグラフではシフトはδ＋１である。信号ＹＬ、ＹＲ間の一致は、中央のグラフにおいて最大であり、これは、視差δが、局所的に撮像された被写体の実際の視差に近くなる理由である。しかしながら、ピクセル単位のシフトのため、実際の視差は完全には一致しない。
【0062】
高いデータ品質の３Ｄデータを生成するために、離散信号関数ＹＬsignal,v（ｘ）およびＹＲsignal,v（ｘ）のグリッド位置間で視差δの低雑音保管が必要となる。この処理は、サブピクセル補間と称され、さらに詳細に後述するように、コレスポンデンス分析装置の演算装置により実行される。サブピクセル補間を成功させるには、可能な限り完全かつ正確な方法で空間周波数スペクトルに分布する非常に小さな雑音信号成分を積算すること、および極値付近のコレスポンデンス関数ＳＳＤ（δ）の既知の関数プロファイルであってウィンドウ信号の具体的な信号形式からほとんど独立しているプロファイルを生成すること、の２つの前提条件が有利である。
【0063】
時間領域における通信工学において定式化されたキュプフミュラー（Kupfmuller）の不確実性関係（１９２４年のハイゼンベルク（Heisenberg）とはさらに類似している）との類似性により、高い空間解像度と高い空間周波数解像度との間に矛盾がある。したがって、空間周波数領域において十分に小さな帯域幅得られるように、高い空間解像度のために望ましい、例えば８ｐｘの幅の小さなウィンドウで、信号ＹＬsignal,vおよびＹＲsignal,vの畳み込みを実行することは不可能である。畳み込みの後、さらなる補間で使用される空間周波数の信号は、他の空間周波数の成分により重畳される。したがって、実信号の畳み込みの結果は、調和信号の畳み込みの結果のように誤差がないと見なし得ない。よって、従来技術による１つの空間周波数だけによる位相の決定は、雑音の影響を受ける。
【0064】
本発明の目的は、（特に小さな畳み込みカーネルの信号形式の特別な選択に起因する）理論的に不可避な誤差が互いに大幅に相殺されるように、ＹＬsignal,vおよびＹＲsignal,vのウィンドウ内の全域にわたって効果を発揮するように最適化された複数の畳み込みを実行して、畳み込み結果をコレスポンデンス関数ＳＳＤ（δ）に結合するところにある。従来技術とは対照的に、ウィンドウフーリエ変換（ＷＦＴ）の基本的な測定誤差を、事前に画像信号のローパスフィルタ処理を行うことで低減する必要はない。補正後に残る残留誤差は、３Ｄデータへの処理の後、またはそれらの３Ｄデータに基づいた視差測定結果一式への処理の後にだけ、ローパスフィルタ処理（以下、出力ローパスフィルタと称する）により除去される。詳細には、複数の空間周波数を有する信号成分からなる、コレスポンデンス関数ＳＳＤ（δ）に含まれる積算共通視差信号を一般に検出することが目標である。δに対するコレスポンデンス関数ＳＳＤ（δ）を解くことを以下では群視差と称する。
【0065】
実際の状態に議論を拡張する前に、まず、理想化されたステレオカメラと連続信号モデルとを想定して説明を簡略化する。理想化されたステレオカメラは、単純化すると数式４に示すように、区間Ｔにおいて、ｍmax要素を有するフーリエ系列としてモデル化され得る２つの理想的な行タイプ信号ＹＬidealおよびＹＲidealを（ＹＬsignal,vおよびＹＲsignal,vの代わりに）提供する。
【数4】
【0066】
理想化されたステレオカメラでは、両方のカメラの伝達関数は同一であり、特定の信号誤差（例えば、反射）は存在しないので、振幅Ａmおよび位相Δmは、両方のカメラで同一であると仮定できる。したがって、ＹＬidealとＹＲidealとは、視差δによるシフトだけが異なる。インデックス（または係数）ｍは、理想信号におけるそれぞれの空間周波数を決定する。ここで、ωは２＊π／Ｔと定義される。
【0067】
次の段階で、ＹＬidealとＹＲidealの処理に使用される偶数畳み込みカーネルｆeven,kと奇数畳み込みカーネルｆodd,lを定義する。これらの畳み込みカーネルは、数式５に示すように、位相形式のフーリエ級数としてモデル化できる。数式５の畳み込みカーネル内の係数ベクトルｃk,nおよびｓl,nは、畳み込みカーネルの空間周波数ｎにおけるそれぞれの調和関数の重み付けを決定する。ｎmaxは、数式４のｍmaxに等しい。ｋmaxおよびｌmaxは、それぞれ偶数および奇数畳み込みカーネルの個数である。
【数5】
【0068】
理想化された信号ＹＬidealおよびidealと畳み込みカーネルｆeven,kおよびｆodd,lは、連続関数である。デジタル化については別途検討する。空間ウィンドウは、間隔Ｔのサイズの半分、特に－Ｔ／４～＋Ｔ／４であることが好ましい。その結果、いくつかの畳み込みカーネルは、不完全な期間、つまりフラグメントを含む。フラグメントを含むことは、より多くの空間周波数を小さな畳み込みカーネルに詰め込むことができるという利点を有する。一実施形態では、一般に、間隔Ｔよりも小さくなるウィンドウを選択することが意図され、－Ｔ／４～＋Ｔ／４以外のウィンドウサイズも使用可能である。
【0069】
図示した例示的な実施形態は、ウィンドウサイズＴ／２＝８ｐｘで、間隔Ｔ＝１６ｐｘを使用する。好ましくは、４つの空間周波数を、空間周波数の範囲内のそのようなウィンドウに配置し得る（すなわち、数式４におけるｍmax＝４）。ウィンドウのサイズ、つまり空間周波数の数は、所望の用途より異なるが、通常は４つで十分である。コレスポンデンス関数に対する個々の空間周波数の影響は、以下に説明するプロファイルおよび畳み込みカーネルを適切に選択することで強めたり弱めたりすることができる。最適なウィンドウサイズは、３Ｄ解像度と信号対雑音比との相反関係から決定可能である。この相反関係は、画像コンテンツおよび所望の用途によって異なる。空間周波数の実用的な上限は、画像内の４ｐｘの周期に相当する。空間周波数をより高くすると、望ましくない位相特性の非線形挙動が生成される（図８）。ピクセルピッチが２μｍから４μｍまでの最新のＣＭＯＳカメラセンサでは、レンズのＯＴＦおよびＢＡＹＥＲフォーマットをＹＵＶに変換するカラーカメラで使用されるフィルタのローパス効果があり、そのため、ラインペアがｍｍ当たり約１００に制限されるので、この信号成分は低くなる。
【0070】
ここで、区間Ｔにおけるフーリエ解析を使用して、群視差について最適な畳み込みカーネルを決定する。数学的関係を簡略化して示すために、畳み込みカーネルのスペクトル純度が高い（すなわち、ｎ＝ｋまたはｎ＝ｌのときｃk,n＝ｓl,n＝１であり、それ以外では０である）と最初に仮定する。
【0071】
これにより、ＹＬideal信号およびＹＲideal信号の成分と、偶数畳み込みカーネルおよび奇数畳み込みカーネルの成分との組合せごとに、畳み込み積分を個別、かつ解析的に計算可能となる。そのことで、畳み込み結果ＣYL、ＣYRのｎmax×ｍmax成分が得られる（数式６に偶数畳み込みカーネルおよび奇数畳み込みカーネルを示す）。
【数6】
【0072】
畳み込み結果の差分である（ΔＲＬeven）n,m＝（ＣYR,even）n,m－（ＣYL,even）n,m、および（ΔＲＬodd）n,m＝（ＣYR,odd）n,m－（ＣYL,odd）n,mが、畳み込み結果の成分から、各ｎおよび各ｍについて、計算される。
【0073】
三角関数の差分を積に代入することで、畳み込み結果を行列形式でまとめることが可能である。
【0074】
例示的な実施形態では、ｍmax＝４かつｎmax＝４である。数式７は係数行列ＡＥＶ、ＡＯＤを示す。数式８は、係数行列ＡＥＶおよび信号ベクトルＳevenに基づく偶数信号の差分ΔＲＬevenの行列表記を示す。数式９は、係数行列ＡＯＤおよび信号ベクトルＳoddに基づく奇数信号の差分ΔＲＬoddを示す。例示的な実施形態とは異なる空間周波数の範囲を選択すると、係数行列ＡＥＶ、ＡＯＤはそれに応じて変化する。係数行列ＡＥＶ、ＡＯＤは、Ｔから独立するように正規化されて単純化される。追加の状態であるＫeven
2＝Ｋodd
2と定数であるＫeven、Ｋoddとは、数式８および数式９で相殺される。Ｋeven
2およびＫodd
2は、数式１１で相殺されるので、さらなる考察は不要である。
【数7】
【数8】
【数9】
【0075】
信号差分ΔＲＬevenおよびΔＲＬoddについて、係数ベクトルｃkおよびｓlで、それぞれをスカラー乗算して、ここまでのスペクトル純度の高い畳み込みカーネルから、一般的な畳み込みカーネルに戻す。それぞれｃkおよびｓlで重み付けされたベクトルΔＲＬevenおよびΔＲＬoddの成分の合計は、特徴の差分を表す。
【0076】
したがって、数式５で与えられた一般的な偶数畳み込みカーネルまたは奇数畳み込みカーネルの特徴の差分は、数式４の一般的な振幅Ａmと、これらの畳み込みカーネルの重みｃk,nおよびｓl,nのそれぞれと、を用いた信号ＹＲidealおよびＹＬidealの畳み込み結果の差分である。
【0077】
ここで、コレスポンデンス関数ＳＳＤ（δ）は、非線形処理、特にべき乗された特徴の差分または畳み込み結果の差分の合計として定義され、すべての畳み込みカーネルの特徴の差分が二乗されることが好ましい。次に、ＳＳＤ（δ）の構造を解析する。この目的ために、まず、数式１０にＳＳＤone（δ）として示すように、１つの信号ペアＹＬidealおよびＹＲideal、ならびにｋmax偶数畳み込みカーネルおよびｌmax奇数畳み込みカーネルの状態のみを考慮することが好適である。
【数10】
【0078】
数式８、数式９にしたがって、積の形式で要素ΔＲＬevenおよびΔＲＬoddを挿入し、二乗和を展開した後、二乗振幅（例えば、Ａ１2）を含む部分和ＳＳＤinvと混合要素ＳＳＤvarからなる部分和とに分離可能な項が得られる。ＳＳＤinvは、振幅Ａmの符号から独立しており、畳み込みカーネルの形式、つまり、重みｃk,nおよびｓl,nを適切に選択することで、さらに最適化可能であり、三角関数のピタゴラスでは、対応する余弦成分および正弦成分を含む項が合計され、Δmへの依存性が完全に消滅する。
【0079】
この場合、ＳＳＤinvは位相Δmから独立しており、測定する被写体の横方向のシフト（ステレオカメラの基部と並行方向）に対して不変である。ＳＳＤinvは群視差の関数であり、そこから求められる群視差、すなわち、求められる信号Ｓを特定の条件下で計算することが可能である。
【0080】
さらなる実施形態では、畳み込みカーネルは、ｋmax偶数畳み込みカーネルおよびｌmax奇数畳み込みカーネルの畳み込み演算が、指数ｍのさまざまな値で示される振幅Ａmおよび被写体位相Δmのそれぞれで、空間周波数群の重み付けされた信号成分でそれぞれの和を伝達するように選択される。それにより、コレスポンデンス関数ＳＳＤ（δ）の計算において、各信号ｖおよびインデックスｍの各空間周波数指数についての２つの部分和が得られ、偶数関数を有する畳み込み演算の結果からの二乗振幅Ａm
2によって特徴付けられる第１項と、奇数関数を有する畳み込み演算の結果からの二乗振幅Ａm
2によって特徴付けられる第２項と、が得られる。第１部分和および第２部分和は、両方の部分和の和ＳＳＤinv（δ）が被写体位相Δmに依存しないように三角関数ピタゴラスにしたがって組み合わせ可能に選択されるよう考慮される。
【0081】
ＳＳＤinvのこの特性の条件は、ＳＳＤinvについて同じ空間周波数のｓｉｎ2部分およびｃｏｓ2部分の前の係数が等しいことである。これを、任意の所望の数の畳み込みカーネルおよび空間周波数に対して一般化すると、最適な理想的な視差信号のこの条件は、数式１１に示すように、各ｍの非線形方程式系として表すことが可能である。数式１１は、和ｋmax＋ｌmaxを用いてＳＳＤinvの部分和を取得しており、信号ペアＹＬidealおよびＹＲidealから得られる完全な信号を表す。ｇmは、重み付けベクトルであり、以下でさらに詳しく説明する。
【数11】
【0082】
十分に低い雑音を有する視差を決定するには、行列ＡＥＶ、ＡＯＤの係数が、数式７に与えられる値に厳密に一致する必要はなく、それぞれの場合に０.８から１.２までの係数を乗算した範囲でばらつくことが可能である。同様に、数式１１における方程式の近似解として十分である（例えば、数式１１において、奇数畳み込みカーネルに対する和は、偶数畳み込みカーネルに対する和に０．８～１．２の係数を乗算した範囲で異なり得る）。
【0083】
数式１１の規則により最適化された畳み込みカーネルを使用することで、数式１２に示すコレスポンデンス関数ＳＳＤ（δ）の定義および数式１３に示すＳＳＤinv（δ）の定義を得る。
【数12】
【数13】
【0084】
より好ましい実施形態では、コレスポンデンス関数が位相独立関数ＳＳＤinv（δ）と被写体位相Δに依存する関数ＳＳＤvar（δ，Δ）との和として、数式１２による信号モデルで表すことが可能なように、畳み込みカーネルが選択される。まず、ＳＳＤinvのみがここで検討される。ＳＳＤvarは、以下でさらに説明するように、その影響を最小限に抑制可能な雑音源を表す。
【0085】
それぞれδについての一次導関数ＳＳＤ´inv（δ）（数式１４）と二次導関数ＳＳＤ″inv（δ）（数式１５）との比率は、数式１６の仮定に基づいて、求めた位置情報をコンパクトな形式で含む群視差関数（数式１７）を形成する。
【数14】
【数15】
【数16】
【数17】
【0086】
数式１７に示す群視差関数の単純なテイラー展開によりδの線形関数が与えられるが、それは、小さなδについてのサブピクセル領域における一次導関数ＳＳＤ´inv（δ）のゼロ交差近傍（またはＳＳＤ´inv（δ）の極小値の近傍）、つまり、ｓｉｎ（ｍ・ω・δ）が十分な品質で線形補間され得るときにのみ有効である。さらなる算出に必要である群視差δsubのサブピクセル精度の関数値は、後述の数式３２にも示されるように、一次導関数ＳＳＤ´inv（δ）のゼロ交差位置の整数視差と群視差関数の分数有理サブピクセル値との和として得られる。
【0087】
実高解像度ステレオカメラの群視差関数については、典型的な特性曲線が得られる（図８）。具体的には、図８のグラフにおいて、実際の視差の関数として決定された視差を、数式１７を使用してプロットする。理想的な場合、数式１７により決定された群視差の値と実際の視差は同じ（線形関係）である。図８のグラフ（ｂ）から、より大きなサブピクセル位置、つまり、２つのピクセル間の視差の位置では、理想的な線形ラインからのわずかな偏差が、定義域［－０．５ｐｘ、０．５ｐｘ］となることが分かる。図８のグラフ（ａ）に示すように、偏差は、ＡmおよびΔmの異なるランダム値に対する曲線がプロットされる画像の内容にも依存する。図８のグラフ（ｂ）は、図８のグラフ（ａ）に示される曲線の平均のプロットを示す。特性曲線のこれらの線形性誤差により、乗算雑音が生じる。
【0088】
前述したモデルが、１つの信号ペアＹＬidealおよびＹＲidealからｖmax信号ペアＹＬideal,vおよびＹＲideal,v（ここでｖ＝１...ｖmax）に展開されると、数式１４および数式１５は、それぞれ数式１８および数式１９に展開される。
【数18】
【数19】
【0089】
全信号の合計を使用して簡略化するので、数式１７は、複数の信号ペアへ展開した後でも、依然として有効であることが分かる。この展開は、数式１１には影響しない。
【0090】
群視差関数に使用される信号を説明したので、次に雑音について考察する。目標は、信号Ｓと比較して雑音Ｎを最小化することである。雑音は主に、センサ雑音、ＳＳＤvarの影響により生じる雑音、分析した理想的カメラモデルと実際のステレオカメラとの間の差異により生じる雑音、および群視差関数の特性曲線の線形性誤差で構成される。
【0091】
高周波ホワイトセンサ雑音は、量子雑音（ルート雑音としても知られる）、熱雑音、ならびに、ＤＳＮＵおよびＰＲＮＵなどのいくつかの付加的な雑音源を含む。センサ雑音とＳＳＤvarにより生じる雑音とは、良好な近似値を得ることと相関関係がないので、別々に考察可能である。数式１５、数式１６、および数式１７は、空間周波数領域における群視差信号をｇmで重み付けして積算した結果を表す。群視差信号のそれぞれの信号成分は、空間周波数ｍωにおけるｍ2ω2Ａm
2によって表されるので、最大の大きさを持つ項（または振幅）は伝達関数に対して支配的である。これらの用語を使用すると、群視差関数は、Wiener(1949）による（現在の信号形式に応じた）適応フィルタとして理解可能である。信号ペアＹＬidealとＹＲidealが狭い帯域幅の空間周波数の範囲で理想的な（長い）適応フィルタで処理され、測定された振幅を含む結果を重み付けする方法で結合して位置信号を得るときにも、同じ項が得られる。これは、最適なフィルタの信号処理に相当する。したがって、群視差雑音とセンサ雑音との信号対雑音比は、ｇmによる特定の重み付けについて最適値を与える。この重み付けは、以下でさらに説明するように、信号ＹＬsignal,vおよびＹＲsignal,vのスペクトルに合わせて調整可能である。
【0092】
出力ローパスフィルタと称されるローパスフィルタは、３Ｄデータまたはこの３Ｄデータに基づく視差測定結果一式に適用される。つまり、視差の空間的変化において高い空間周波数をフィルタ処理する。したがって、これは群視差の計算後に行われるものの雑音の特定の部分を低減することから、さらなる雑音の最適化に影響を及ぼす。より一般的には、示された例に限定されるものではないが、さらなる実施形態では、演算装置を、計算された視差値をローパスフィルタでフィルタ処理する構成が画策される。
【0093】
一実施形態では、出力ローパスフィルタは、群視差の信号成分も低い範囲にある、２ωを上回る、好ましくは３ωを上回る空間周波数の雑音成分を低減する次元とされる。群視差を計算した後のフィルタ処理は、群視差信号を形成する振幅Ａ3およびＡ4の高周波数入力信号に影響しない。したがって、特定の例示的な実施形態に限定されることなく、一実施形態によるコレスポンデンス分析装置は、視差値を計算する（信号）帯域幅を制限せずに入力情報を検討するように構成される。したがって、これは信号対雑音比の向上に寄与する。一方、例示的な実施形態における分析ウィンドウのサイズ（８×８ｐｘ2）は、周期Ｔ／２、すなわち２ωの区間において始まる視差の伝達関数を減少させる。したがって、２次元出力ローパスフィルタのカットオフ周波数は、２ωの範囲に設定される。
【0094】
図６は、１ｍｍ2（ｘ，ｙ）の被写体側の解像度および１８５０ｍｍの距離で、１００×１００ｐｘ2サイズの画像領域における本質的に平坦で白くテクスチャ化された壁紙の３Ｄデータを示す。図６の画像（ａ）は、出力ローパスフィルタ処理前の３Ｄデータを示し、パネル（ｂ）は、出力ローパスフィルタ処理後の３Ｄデータを示す。距離解像度が０.２ｍｍに増加することで、視認性は向上した。
【0095】
次に、センサ雑音最適化に影響を与えずにＳＳＤvarを最適化する。ＳＳＤvar（δ，Δ）は、位相および振幅の符号に依存する、つまり測定する被写体の横方向のシフトに依存しており、（例示的な実施形態では）空間周波数帯域ω～４ωにおける付加的な低周波数雑音として理解され得る擬似ランダム干渉変数を示す。ＳＳＤvarの雑音成分を最小化する第１ステップは、複数の信号ペアＹＬsignal,vおよびＹＲsignal,vの複数のｖmaxを使用することにより統計的に達成され、その結果、信号ＳＳＤinvおよび信号誤差ＳＳＤvarが平均化される。最適な解決策を得るには、信号ペアの相関関係をほぼ無くす必要があり、それはｙ方向の好適な畳み込みにより達成され、この条件下で雑音は１／（ｖmax）1/2に低減される。
【0096】
第２ステップでは、数式１７のＳＳＤinvに限定した検討事項をＳＳＤinvとＳＳＤvarの和に展開する。このように雑音は、ＳＳＤ´invと同様にテイラー級数に展開されたＳＳＤ´varである。例示的な実施形態では、３ωの空間周波数から始まるＳＳＤvarで表される雑音を低減するため、ωから２ωまでの範囲だけのさらなる検討が必要である。例示的な実施形態では、広範な三角関数の演算を行うことで数式２０のＳＳＤ´varの最低空間周波数についての部分和ＳＳＤ´var,1が得られ、２ωの部分和も同様に計算可能である。
【数20】
【0097】
数式２０の振幅および位相は、画像統計に依存しており、ほぼ相関関係がないので、数式２０の定数ｃｏｎｓｔ1、ｃｏｎｓｔ2、およびｃｏｎｓｔ3が最小のとき、ＳＳＤvarの雑音成分は最小になる。式２１に示す条件が満たされるとき、これに該当する。
【数21】
【0098】
しかし、これらの方程式を一般的に解くことはできないので、数式２１の差分の二乗和を最小化すれば十分である。数式２０では、Ａ1,vＡ2,vの振幅はＡ2,vＡ3,vの振幅よりも大きく、Ａ2,vＡ3,vの振幅はＡ3,vＡ4,v,の振幅よりも大きいと仮定できるので、主に数式２１の第１状態にアプローチし、次に第２状態に、そして第３の状態にアプローチすることが有利である。係数ｃ1,3、ｃ1,4、ｃ2,1、ｃ2,2、ｓ1,3、ｓ1,4、ｓ2,1、およびｓ2,2がゼロのとき（例示的な実施形態については数式２３も参照）には、良好な近似がすでに得られており、続いて、数式１１の連立方程式が解かれて、ＳＳＤinvの最適化が実行される。
【0099】
特に、信号ペアが少数しかないとき、すなわちｖmaxが小さいとき、畳み込みカーネルの係数を最適化することで雑音の挙動が改善される。このため、数式１１の連立方程式は、所定の係数ｃ1,3、ｃ1,4、ｃ2,1、ｃ2,2、ｓ1,3、ｓ1,4、ｓ2,1、およびｓ2,2を用いて解かれ、次に定数ｃｏｎｓｔ1、ｃｏｎｓｔ2、およびｃｏｎｓｔ3が計算される。そしてｃｏｎｓｔ1、ｃｏｎｓｔ2、およびｃｏｎｓｔ3が最小となる解を選択する。以下でさらに説明するように、テスト画像を用いて統計的に決定することがより簡単である。
【0100】
これらの方法のすべてについて、数式１１は常に満たされ、数式１１で残っている自由度のみを使用して、さらに雑音が最適化される。このように、センサ雑音に関する信号対雑音比の最適化が常に達成される。
【0101】
実際のステレオカメラのもう１つの雑音の原因は、これまで考察した理想的なシステムのように動作すると限らないことである。左右のカメラのカメラ特性の偏差および利得、ならびに反射により生じるアーチファクトには許容誤差があり、それぞれの画像パッチにおける被写体の同一の点に対する２つのカメラの振幅が同一であることは保証されない。加えて、整流にも許容誤差が生じ得る。
【0102】
例えば、温度変動により生じ得るカメラの偏差の許容値は、この方法で完全に相殺される。いわゆるカメラの偏差はわずかに正の値に設定されていることから、例えば、センサ雑音の負の値は値ゼロにおいてカットオフされずに、信号が改ざんされてしまうことに留意されたい。偏差は、断片化された偶数畳み込みカーネルにより伝達され得、視差の測定誤差に繋がり得る。したがって、空間周波数ゼロが視差測定のために伝達されないように、偶数畳み込みカーネルの平均化することが有利である。
【0103】
カメラの利得の許容誤差が小さければ、数式１７の除算で自動的に修正されて雑音は発生しない。ここでは、振幅Ａmが等しいことが信号生成に寄与することを考慮する必要がある。例えば、左側カメラ（ＡＬm）のＡmが、右側カメラ（ＡＲm）の対応するＡmよりも大きいとき、群視差信号はＡＲm
2から取得され、この差分ＡＬm－ＡＲmにより雑音が発生する。特にＯＴＦまたは歪み修正の勾配が異なるとき、カメラ間で生じる画像コーナー部のより大きなコントラスト差は修正されない。この場合、高コントラストカメラの追加の振幅成分は、群視差信号に含まれず、代わりに干渉信号Ｎに加算される。
【0104】
最後に、信号対雑音比をさらに改善可能な重み付け係数ｇの最適化処理がある。重み付け係数は、信号対雑音比のシミュレーションにより計算可能である。複数のランダムな重み付けベクトルｇ一式について、数式１１および必要に応じて数式２１で畳み込みカーネルのそれぞれの係数が計算され、別の乱数発生器を使用して、振幅Ａ、位相Δ、および目標視差δtargetをそれぞれ含むベクトルのサンプルを生成する。この場合、Ａm／Ａ1比は、被写界深度範囲におけるレンズのＯＴＦと、センサ電子機器における解像度損失と、から構成される空間周波数伝達関数の対応する数値に制限される。そして、数式１０と同様にＳＳＤ（δ）が計算され、数式１７によりＳＳＤ（δ）の１つ以上の最小値に対する視差δが決定される。δtargetとδとの目標または実際の比較に基づいて、特定の重み付けベクトルのランダムサンプルにわたる平均測定誤差が計算可能である。次に重み付けベクトル一式にうち平均誤差が最も小さいものが選択される。このようにして、典型的な伝達関数についての最適な重み付けベクトルｇが得られる。
【0105】
また、ｇは、図６のようにテスト測定により決定可能である。このように、決定された３Ｄデータσzの局所的な距離雑音は、３Ｄデータ内の決定された点から撮像された被写体の空間内の（例えば、図６のテクスチャ処理された壁紙を概ね表す平面についての）公称位置までの距離の標準偏差から決定可能である。具体的な撮影状況について、距離雑音σzの最小値は、重み付けベクトルｇと、それから導出される畳み込みカーネルの係数との関数として決定され得る。次に任意に選択された重み付けベクトル一式から、距離雑音σzが最も低い重み付けベクトルが選択可能である。重み付けベクトルｇは、定数の精度で決定される。数式１７の除算によりそれは相殺され、ｇのｍ－１の関連成分が残る。
【0106】
これは、例えば、テクスチャ化された壁紙の選択された被写体について、最適なプロファイルベクトルまたは重み付けベクトルｇが定義される方法である。テクスチャ化された壁紙のスペクトルは、被写界深度の範囲内の自然被写体がある一般的なシーンの適切な近似として使用可能である。
【0107】
重み付け係数を有するさまざまなプロファイルをステレオカメラ上に格納し、必要に応じて、それらを撮影状況に合わせて調整すると便利である。これを説明するために、図７に、２つの異なる撮影状況および異なる空間周波数ωに対する重み付け係数ｇの２つの例を示す。これは、例えば、高コントラスト画像や霧中の画像について、最適条件に合わせたパラメータ調整を可能にする。
【0108】
したがって、一実施形態では、空間周波数領域におけるコレスポンデンス関数ＳＳＤ（δ）の最適感度を記述するために、重み係数ｇの少なくとも１つのプロファイルベクトルが演算装置に提供されて、そのプロファイルベクトルが、数式１１にしたがって畳み込みカーネルのフーリエ級数の重み係数ｃk,nおよびｓl,nを決定する。一実施形態では、個別画像または画像パッチのデータのパワースペクトルに基づいて、好ましくは光学伝達関数を検討して、分類またはプロファイルベクトルを選択可能である。この分類またはプロファイルベクトルに基づいて、複数のコレスポンデンス関数およびそれらの畳み込みカーネルが、演算装置により選択または取得または計算される。
【0109】
図７の例のように、複数の重み付けベクトルまたはプロファイルベクトルが提供可能であり、これらは、画像コンテンツまたは撮影状況に応じて演算装置により選択される。したがって、より一般的には、複数のプロファイルベクトルｇは、同一のまたはさまざまにパラメータ化されたコレスポンデンス関数についてコレスポンデンス分析装置１に格納可能であり、および／またはコレスポンデンス分析装置１は、実行時に重み付けｇを有する１つ以上のプロファイルベクトルを計算するように構成され得、およびコレスポンデンス分析装置１は、さらに、画像データの局所的または全体的なパワースペクトルを決定し、画像内の局所的または全体的なパワースペクトルに応じて重み付けｇを使用する。つまり、画像信号の畳み込みおよびコレスポンデンス関数の計算に使用するように構成される。特に、コレスポンデンス分析装置はまた、複数の異なるパラメータ化がなされたコレスポンデンス関数、それらの畳み込みカーネル、および好ましくはそれぞれの対応するプロファイルベクトルｇmを格納し得、または、それらは実行時に決定され得る。さらに、コレスポンデンス分析装置は、個別画像または画像パッチの現在の分類に基づいて、または、さらなる処理に有利な個別画像または画像パッチの分類に基づいて、この複数のコレスポンデンス関数およびそれらの畳み込みカーネルの一部を選択するように構成される。好ましくは、少なくとも１つのコレスポンデンス関数およびその畳み込みカーネルのパラメータは、それぞれの対応するプロファイルベクトルｇmの、最も高い空間周波数に対する重み付け係数が、このプロファイルベクトルの他の重み付け係数の少なくとも１つよりも小さくなるように選択される。
【0110】
４ピクセル周期の例示的な実施形態では、δの絶対値が０.５ｐｘまたは１／４πにおいて特性曲線が延在するので、最も高い空間周波数の重み付け係数はトレードオフに影響される。このため、信号対雑音比を測定してｇを実験的に求めると、最も高い空間周波数の重み付けが減少する。ただし、δのより小さい値も正確に測定されるので、重み付けはゼロにはならない。
【0111】
ｘ方向と同様に、ｙ方向の畳み込みカーネルは、数式４のフーリエ級数および最適な畳み込みカーネルを取得する規則（数式１１）と同様の原理で取得可能であり、第２プロファイルベクトルｇｙmにより定義可能である。さらに、ｙ方向における二乗畳み込みの合計は、数式４によるフーリエ級数のｇy加重二乗振幅を含む不変の部分和を形成する。さらに、ｙ方向における被写体位相に依存する部分和が得られる。信号対雑音比の改善は、例えば、温度勾配、機械的負荷の結果として、または画像コーナーにおいて生じ得るものなど、特に、実際のステレオカメラの整流誤差である場合に達成される。さらに、空間周波数の所定の重み付けを使用して、この方法でｙ方向に最適化された畳み込みカーネルにより、周期的構造を処理するときに発生し得る誤差を低減する。視差の測定がｙ方向では実行されないので、最も高い空間周波数についての重み付けは低減されない。
【0112】
ここまでの考察は連続関数を有する信号モデルについてである。ここから、実際の離散システムにおける実装について例示的な実施形態で説明する。まず、分析間隔Ｔと畳み込みカーネルのウィンドウサイズを指定する。ここでは、ステレオ情報が、ウィンドウに広がるＯＴＦで伝達されるテクスチャまたは破断端により生成され、高周波処理により取り込まれる場合、およびステレオ情報が、本質的に均質な物体上の拡散反射の角度依存性または被写体に与えられ得る任意の低周波テクスチャにより生成され、低周波処理により取り込まれる場合、の２つについての識別が必要である。
【0113】
前者では、コントラストは、高い空間周波数の範囲のレンズ特性により決定される。後者では、照明シナリオ、ならびに低い空間周波数の範囲の被写体の曲率半径および傾斜角により決定される。図９の画像（ａ）に示すカメラ画像および画像（ｂ）に示す対応する３Ｄデータを参照して、それらを説明する。画像（ａ）は、画像（ｂ）の３Ｄデータを計算したステレオ画像ペアのうちの左側画像である。画像（ｂ）では、３Ｄデータがグレイスケールで表示される（カメラまでの距離について、明るいピクセルが遠いことを示し、暗いグレイピクセルが近いことを示し、黒いピクセルが距離情報を保持しないことを示す）。撮影距離１８５０ｍｍで解像度（ｘ，ｙ）１ｍｍ2の均一な光沢面を有するセラミックマグカップの例は、高周波数のステレオ情報を有する領域が高いサブピクセル補間品質で検出され得ることを示している。コントラストのない光沢領域も取り込み可能であるが、低周波数範囲では品質が低下する。まず、低コントラストの高周波テクスチャ表面について高感度が達成されるように、前者についてシステムを最適化することで、例えば、背景の白色テクスチャの壁紙を、高い測定精度で隙間なく取り込むことが可能となる。
【0114】
前者では、信号スペクトルが完全に取り込まれており、一方で、被写界深度の範囲内で焦点が外れている（ぼやけている）ときは端部の空間周波数を有する信号成分が２π／Ｔの下限で取り込まれて、最適に合焦したテクスチャからの信号が３～４ｐｘの周期の上限を大幅に超えないとき、分析間隔Ｔの寸法は最適である。ＢＡＹＥＲフィルタ付きの一般的なカラーカメラでは、約１６～７０ＬＰ／ｍｍの範囲が使用可能である。画素ピッチが３.７５μｍのセンサを使用する場合、Ｔ＝１６ｐｘおよび４つの空間周波数が必要である。次のステップでは、ウィンドウ幅が、３Ｄ解像度と雑音とのトレードオフとして決定される。８ｐｘのウィンドウ幅が選択されるが、別の整数ウィンドウ幅でも可能である。ウィンドウ幅が増加すると３Ｄ解像度は低下して信号対雑音比が増加する。分析間隔とウィンドウ幅との比が２にならないとき、行列ＡＥＶ、ＡＯＤを調整する必要がある。
【0115】
次の段階では、畳み込みカーネルの数ｋ、ｌを選択可能である。許容可能な計算量での最高の精度は、２つの偶数畳み込みカーネルおよび２つの奇数畳み込みカーネルを使用して達成され得る。代替策として、１つの偶数畳み込みカーネルおよび２つの奇数畳み込みカーネルでも可能であり、精度は低下するが計算量は減少する。１つの偶数畳み込みカーネルおよび１つの奇数畳み込みカーネルのみでは、雑音が著しく増加する。この例示的な実施形態では、ｋ＝２、ｌ＝２である。より多数の畳み込みカーネルでも可能である。
【0116】
次に、畳み込みカーネルが計算される。典型的なＯＴＦプロファイルを相殺し、最高空間周波数とトレードオフである重み付けベクトルをｇ＝［０.９１７；１.２２；２.２５；１.３］とすると、畳み込みカーネルの最適な形態を決定する連立方程式は、畳み込みカーネルの係数ｃk,nおよびｓl,nを用いて構築される（数式２２）。連立方程式が不十分であるので、不要な高周波成分は、最初にゼロに設定される（数式２３）。
【数22】
【数23】
【0117】
各々の非線形連立方程式において１６個の解が得られる。それらから最初に実数の解が選択され、次に符号だけが異なる解が削除される。実数解がないときは重み付けベクトルを調整できる。係数ベクトルｃ、ｓについては２つの異なる解が得られる（数式２４）。これらの解から、最小の分散を有する係数が選択される（数式２４、１行目および３行目）。これらがＤＳＮＵおよびＰＲＮＵを含む最も低い熱雑音を伝達するためである。
【数24】
【0118】
この第１近似は、ＳＳＤ´var（δ）の雑音成分をさらに最適化しなくても、すでに信号対雑音比を著しく改善している。実装に関連する例示的な実施形態では、ＳＳＤのvar（δ）雑音の完全な相殺に十分な係数が利用できないので、統計的な最適化が検討可能である。この連立方程式は、前述のように、熱雑音およびより高い空間周波数のコレスポンデンス関数の雑音を確実に抑制する弱出力ローパスフィルタを提供する。したがって、目標は、フィルタで処理されない低空間周波数ωおよび２ωの振幅を低減することである。数式２４の各解について、符号の異なる組み合わせを持つ３つのさらなる解が存在する。これらから、より低い空間周波数の範囲でＳＳＤ´var（δ）の外乱を最小化する符号の組み合わせを持つ解が選択される。さらに、数式２３でゼロ化された係数は、小さな非ゼロ定数で置き換え可能である。これにより、ＳＳＤinv（δ）に影響を与えることなく、ＳＳＤvar（δ）の割合が変化する。次に、数式２２を数値的に解くことができ、より低い空間周波数ついて解をテストし得、最良の解を選択できる。
【0119】
前述の例では、ｘ方向における畳み込みカーネルの可能な関数ｆeven,kおよびｆodd,lが得られる（数式２５）。それらの関数値を図１０に示し、離散畳み込みカーネルを表２に示す。好ましい実施形態では、結果として得られる畳み込み関数に平均値がないことが必須なので、数式２６を満たすｏｆｆeven,1およびｏｆｆven,2が選択される。これは、実際のカメラの利得の許容誤差および偏差の許容誤差により生じる雑音を回避するのに役立つ。
【数25】
【数26】
【表2】
【0120】
数式２５から分かるように、４つの畳み込みカーネルはそれぞれ、異なる空間周波数の複数の調和関数の加重和を含む。ここで、偶数畳み込みカーネルは、ｆ個のeven,1,2を含み、余弦関数の加重和、つまり加重係数はそれぞれ３.４９５４と０.７８１８（ｆeven,1）および４.９６５２と１.８４１６（ｆeven,2）である偶数関数を含む。奇数畳み込みカーネル（ｆodd,1,2）は、奇数の正弦関数の加重和を表す。この例では、これらの重み係数はそれぞれ４.０４７６と－０.２５５９、および６.０２２８と－０.０３３２である。したがって、一実施形態では、演算装置は、１からｖmaxまでのｖについての信号ペアＹＬsignal,vおよびＹＲsignal,vの畳み込みについて、数式２５および数式２６により与えられる２つの偶数の第２畳み込みカーネルおよび２つの奇数の第２畳み込みカーネルを用いて実行するような構成を考慮する。より一般的に述べると、１からｖmaxまでのｖの信号ペアＹＬsignal,vおよびＹＲsignal,vは、数式２５に挙げられてている関数を含む２つの偶数の第２畳み込みカーネルおよび２つの奇数の第２畳み込みカーネルで畳み込まれる。正弦関数および余弦関数の前の係数（３.４９５４、０.７８１８、...）も指定された値からからわずかに上下に、つまり１０％ずれることもある。したがって、係数３.４９５４、０.７８１８、４.９６５２、１.８４１６、４.０４７６、０.２５５９、６.０２２８、０.０３３２のうちの少なくとも１つも、最大で１０％大きくまたは小さくすることが可能である。畳み込みカーネルも平均値を概ねまたは完全に含まないように選択されることが好ましい。
【0121】
必須ではないが、畳み込みカーネルに含まれる偶数関数および奇数関数の座標原点を、それぞれの画像パッチの重心の近くに配置することが有利である。ここで、重心は、それぞれの画像パッチの幾何学的な中心を指す。
【0122】
フィルタカーネルの係数のわずかな偏差は、完全に偶数関数または奇数関数の離散化された値からわずかに偏差し得る。この偏差は、例えば、理想的には偶数関数または奇数関数の値から最大１５％、好ましくは最大１０％であり得る。明確にするために、理想的な偶数関数または奇数関数の係数からの離散化された係数の考え得る偏差を以下に示す。離散化された理想的な奇数関数の係数の奇数フィルタカーネルが値－２;－１;１;２で与えられる場合、雑音の増加が無視できる程度であるフィルタカーネルは、－２;－１;１.１；２で与えられ得る。ここで、カーネルの中心に隣接する正の係数は、１０％増加する。さらに、理想的には偶数のフィルタカーネルまたは奇数のフィルタカーネルの対称性は、低い重み係数が追加されたときにわずかに乱れるだけである。例えば、そのようなわずかな差異のカーネルは、－２;－１;１;２;０.１とし得る。ここで、フィルタカーネルは、係数１と－１との間のカーネルの中心に対する理想的な対称性を乱す追加の係数０.１を含むものの、その重み付けが低いため、畳み込み結果はほとんど変化しない。
【0123】
一変形例では、正弦関数および余弦関数の前の係数は、数式２４および数式２５の係数に厳密に一致する必要はなく、それらは、０．８～１．２倍の範囲、好ましくは０．９～１．１倍までの範囲で偏差が許容され、その場合でも良好な雑音抑制が得られる
【0124】
２つの偶数畳み込みカーネルの代わりに、雑音がわずかに大きい１つの偶数畳み込みカーネルの使用が可能である。このような偶数畳み込みカーネルの関数を図１１に示し、表３に離散畳み込みカーネルとして示す。図１１および表３の例において実装されるこの実施形態の改良例では、この畳み込みカーネルは、ωから４ωまでのすべての空間周波数の重み付けされた周波数を含む。つまり、この畳み込みカーネルは、これらのωから４ωまでの空間周波数の調和関数の加重和を表す。これは計算量の２５％を削減する。対照的に、ｋ＝１およびｌ＝１の解は、かなりの離散化誤差、つまり離散化には必ず高い雑音を伴うので、有用ではない。偶数カーネルが１つだけまたは奇数カーネルが１つだけの場合も、雑音の相殺ができなくなり、これらの選択肢も有用ではない。２つまたは３つの空間周波数のみの計算も同様に可能ではあるが、通常は測定精度が低くなる。
【表3】
【0125】
例示的な実施形態では、空間周波数がゼロおよびωから４ωまでの畳み込みカーネルｆy,vを用いて、ｙ方向にＹＬimageとＹＲimageとの畳み込みを行うことで算出されるｖmax＝５個の信号ペアを使用する。５つの信号ペアについて最適に相関関係が解除されて振幅が類似しているとき、最適な雑音低減が達成される。このとき、ＳＳＤinv（δ）の信号は増加するが、同時に、ランダム位相ΔによりＳＳＤvar（δ）の割合が減少して、信号対雑音比は増加する。非相関信号は、直交関数、例えばＷＦＴを用いた畳み込みの後に取得される。ＯＴＦにより正規化することで信号ペアの振幅が調整されるので、より高次の空間周波数を有する信号ペアの影響が大きくなる。ｘ方向の畳み込みの場合と同様に、すでに低雑音向けに最適化された同じ畳み込みカーネルを使用することが有利である（すなわち、ｋ＝２およびｌ＝２の場合、例えば、ｆy,2からｆy,5について数式２５および数式２６の畳み込みカーネルを取得し、ｆy,1＝１に設定する）。この場合、特に低雑音の信号が生成され、信頼性信号を計算に使用可能である（下記参照）。さらに、既に説明したように、ｘ方向の畳み込みカーネルと同じアプローチを使用して畳み込みカーネルを決定するが、最も高い空間周波数についての重み付けを下げないことが有利である。
【0126】
以下では、コレスポンデンス分析装置を使用して視差を決定する方法の実行について説明する。この目的ために、図１２に、コレスポンデンス分析装置１を備えるステレオカメラ２の構成を概略的に示す。ステレオカメラ２は、複数のカメラセンサ５を含む２つのカメラ２０、２１と、被写体４を撮像する２つのレンズ８、９とからなる撮像デバイス２２を備える。レンズ８、９の光学中心は、基部Ｂの幅だけ互いに離間している。視差δを決定するために、デジタル画像２５、２６は、コレスポンデンス分析装置１に転送され、その演算装置３によって分析される。そして、数式１により、コレスポンデンス分析装置１が求めた視差および焦点距離ｆに基づいて、被写体距離Ｚの決定が可能である。この目的のために、コレスポンデンス分析装置のメモリ６に格納されたプロファイルベクトル（またはこれらのプロファイルベクトルに対応する畳み込みカーネル）は、整流画像信号と畳み込み処理される。この目的のために、さまざまな相対間隔を有する２つのデジタル画像２５、２６から選択された画像パッチの畳み込み結果が、演算装置３によって互いに減算され、非線形処理、好ましくは二乗処理される。これらの非線形処理された差分の合計から、選択された相対距離δに対するコレスポンデンス関数ＳＳＤ（δ）の値を得る。
【0127】
２つのカメラ２０、２１の画像データは、図２を参照して前述したように、サブピクセル精度で整流することが好ましい。必要な信号対雑音比が高いときは、カメラの光軸の共平面性を調整すると有利である。この目的のために、まず、平面のテスト画像を使用して、少なくとも２つの距離から被写体空間内の２つのカメラの光軸の交点位置を決定し、これらの交点を接続することで空間内の光軸の方向を決定する。位置合わせが適正であれば、光軸は同一平面上にあり、エピポーラ平面内にある。したがって、すべての測定距離の交点を結ぶ直線も同一平面上にある。２つのカメラのうちの１つには偏心調整手段を装備されている（図１）。接続線が互いに傾いていると共平面性誤差が生じるので、レンズを回転させることで修正する。偏心することで機械軸に対する光軸の方向が微妙に変化する。光軸の共平面性を満たすまでこの回転が行われる。また、ステレオカメラの耐用年数中であっても、例えば、温度変動または機械的衝撃荷重により共平面性の調整誤差が生じ得る。ある程度の相反関係はあるものの、この誤差は、エピポーラ線に概ね垂直な方向であるｙ方向の視差δyを計算するための（以下でさらに説明する）手法を使用して、所定の距離Ｚに対して修正可能である。最後に、サブピクセル精度で測定された平均視差誤差δyが、２つのカメラのうちの１つの整流に含まれることで、視差誤差δyに対応する偏差が修正される。この方法は、限られた視差範囲で機能するが、被写体の位置に依存する精度が要求される多くの用途、例えば、ロボット工学における位置決めタスク用途で有用である。一実施形態では、共平面性の位置合わせ誤差を修正するようにステレオカメラが構成されるように特に考慮されており、それは、コレスポンデンス分析装置の実行中に、エピポーラ線に概ね垂直な方向に対応する画像パッチの視差δyを追加評価して、この視差のゼロからの平均偏差、すなわち、理想的なエピポーラジオメトリからの偏差を、特に整流パラメータを修正することで、エピポーラ線に概ね垂直に画像の１つを逆方向にシフトさせることにより、行われる。この手法は、被写体距離Ｚが大きいときに信号対雑音比を改善する点で有利である。被写体距離が小さいときは、通常、信号対雑音比は十分である。
【0128】
前述の方法は、適切な畳み込みカーネルを決定するために使用される。特に、数式１１および数式２１により重み付けｇを計算し得る。畳み込みカーネルは、コレスポンデンス分析装置１のメモリに格納される。一実施形態では、コレスポンデンス分析装置は、まず、例えば、コントラスト評価またはパワースペクトル評価により、用途に応じて画像統計を評価するように構成される。そして、コレスポンデンス分析装置１は、画像統計に対応するプロファイル、例えば、自動運転の際に、正常な条件下における良好なコントラストついてのプロファイルや、霧の中で低下したコントラストについてのプロファイルを選択する。選択されたプロファイルは、少なくとも一組の畳み込みカーネルを定義する。より一般的には、コレスポンデンス分析装置１は、同一のまたは異なるパラメータ化がなされたコレスポンデンス関数および畳み込み関数についての複数のプロファイルベクトルｇを格納可能であり、および／またはコレスポンデンス分析装置１は、実行時に１つ以上のプロファイルベクトルｇを計算するように構成され得、およびコレスポンデンス分析装置１は、さらに、画像データの局所的または包括的パワースペクトルを決定し、画像内の局所的または包括的パワースペクトルに基づいて有利なプロファイルベクトルｇを使用するように構成される。異なるパラメータ化がなされたプロファイルベクトルの複数組を用いて計算を実行して、結果を比較することも可能である。したがって、コレスポンデンス分析は、２つ以上の異なるパラメータ化がなされたコレスポンデンス関数および畳み込みカーネルを用いて実行可能であり、演算装置は、決定された信頼度ベクトルに基づいて２つ以上の結果を組み合わせるか、または、これらの結果から部分的な結果を選択することが好ましい。特に、それぞれのプロファイルベクトルに関係なく一組の畳み込みカーネルに適用することは、畳み込みカーネルが、正弦波状に変調された強度分布を有する被写体についての視差を決定するときに、この視差が、個別画像の画像面における被写体の横方向のシフトとはほとんど無関係であるように選択することである。これは、検索画像パッチのサイズにより決定されるような、サンプリングされた空間周波数の範囲内の空間周波数による変調に特に当てはまる。
【0129】
説明のために、図１６に、ステレオカメラ２のカメラ２０、２１によって撮影された被写体４を、その表面が正弦波状に輝度変調された平坦な被写体の形態で示す。変調は、デジタル個別画像２５、２６における相対的な画像シフトの方向に沿って延在しているので、決定される視差δの方向にも延在する。図１６の図面では、変調は、単純なストライプパターンで記号化されている。したがって、図示の変調は、正弦波の代わりに単に矩形であるが、正弦波状の変調と同じ向きを有する。視差は、ステレオカメラ２から被写体４への距離に依存する。ここで、被写体４が正弦波変調の方向ｖに、すなわち視差の方向にシフトしているが、ステレオカメラ２からの距離が一定であれば、パターンが曖昧さを持ち込まない限り、本質的に視差に対する影響はない。シフトＶに対する不変性は、雑音が追加されることなく理想化された画像データへの影響が検証可能なように、計算されたデジタル画像を用いて検査可能である。
【0130】
ここで説明するコレスポンデンス分析装置で計算される視差の変動が、被写体上の強度変調などと比較して小さいこと実証するために使用され得るテストについて説明する。すでに考察したように、標準偏差（ＳＴＤ）として表されるそのような変動は、典型的には０．２ｐｘ未満、好ましくは０．１ｐｘ以下の距離の範囲内にあるが、従来技術のシステムでは、０．２を超える変動範囲であり、通常０．２から０．５ｐｘまでの変動範囲を示す。より一般的には、本明細書で説明される例に限定されるものではないが、畳み込みカーネルは、カメラから一定の距離Ｚでエピポーラ線に沿ってシフトした平面被写体の視差を決定する際に、被写体がエピポーラ線の方向に沿った強度変調、特に空間周波数の範囲内の空間周波数を含むとき、または対応するテクスチャを含むときに、平面被写体のシフトについて、０．２ｐｘ未満、さらには０．１ｐｘ未満の視差測定値の局所的標準偏差が達成されるように選択されることが好ましい。
【0131】
ここで、２つの測定が平面物理測定の被写体を使用して行われる。この被写体は、空間ウィンドウ内にある画像平面における空間周波数を含むテクスチャを保持する（空間周波数ω＝２π／９から２π／５まで、８×８環境において）。テクスチャは、エピポーラ平面、例えばｃｏｓωｘに垂直であり、被写体は、画像内の約８０％の振幅で正確に合焦される。測定する被写体は平面である。
【0132】
測定する被写体の第１の点で静止する被写体について、複数（例えば１００回）の測定が、行われる。そのセンサは雑音を発生させる。測定結果から、標準偏差σδおよび平均値δmean,1を計算可能である。同じ測定被写体の異なる点での繰り返し測定が可能である。
【0133】
被写体は、ここで、測定フィールド内のステレオカメラ２までの距離は変化しないように、撮像面に平行にかつエピポーラ線に沿って少しずつ繰り返し移動される。続いて、測定する被写体の２番目の位置およびそれ以降の位置で、例えば１００回の測定が行われ、σδならびに平均値δmean,nn＝２...１０が計算される。これは、さらなる点で繰り返されて、δmean,nn＝２...１０についてのＳＴＤσを計算する。現在説明されているコレスポンデンス分析装置、またはこのコレスポンデンス分析装置を装備したステレオカメラの典型的な特性は、良好な条件下での標準偏差σの値が０．２ｐｘ未満、または０．１ｐｘ未満である。
【0134】
コレスポンデンス分析装置は、前述したように、離散的な乗算や加算により畳み込みを実行する。例示的な実施形態では、ｘ方向にｕmax＝４の畳み込みカーネル（表４）、ｙ方向にｖmax＝５の畳み込みカーネル（表５）を有する８×８ｐｘ2の環境における畳み込みを説明する。ｕmaxは、ｋmaxおよびｌmaxの合計に等しく、例示的な実施形態では、それぞれが値２を有する。表４の畳み込みカーネルは、表２の畳み込みカーネルに対応する。表５の畳み込みカーネルは、表４のｕmax畳み込みカーネルおよび空間周波数ゼロの畳み込みカーネルｆy,1から構成される。
【表4】
【表5】
【0135】
デジタルカメラ画像では、位置ｘおよび位置ｙのピクセルは、ｘ＋０.５およびｙ＋０.５のピクセル近傍の値を反映するので、畳み込みカーネルのインデックスが－３.５～３.５から－４～３に調整される。例示的な実施形態と同様に、畳み込みカーネルが偶数のとき、有効な測定点がシフトするので、数式１を使用した３Ｄデータの計算においてはｘ´およびｙ´が測定位置と比較して０．５ｐｘだけシフトする。ＹＬimageから３Ｄデータにカラー値またはグレイ値を割り当てるとき、同様な修正を考慮することが必須である。
【0136】
演算装置は、数式２７に示されるように、畳み込みカーネルを使用して、左右の整流されたカメラ画像（それぞれ、ＹＬimageおよびＹＲimage）におけるそれぞれの画像座標ｘ、ｙについて、ｕmax×ｖmaxの特徴一式（それぞれ、ＦＬu,vおよびＦＲu,v）を計算する。
【数27】
【0137】
画像座標ごとのこの特徴一式は、以下、特徴ベクトルと称される。空間周波数の範囲において、特徴ベクトルはサブピクセル精度の視差測定に必要な信号を含む。エピポーラ線の方向のその後の微分ＳＳＤ´（δ）により情報が欠落すると、正しい測定値に加えて、いくつかの偽陽性測定値（候補）が生成され得る。このため、その処理は、「視差の雑音最適計算」および「雑音が最適化された正しい測定値の候補の選択」の２つのステップで行われる。
【0138】
一実施形態では、数式２８に示すように、追加または同時に計算された信頼度ベクトルＫＬvおよびＫＲvを使用して、雑音の低減が達成されるように選択される。
【数28】
【0139】
これらの信頼度ベクトルには視差情報は含まれていないが、視差測定の品質を推定するために使用される。例えば、畳み込みカーネルｆkonfは、信頼度ベクトルに隣り合う信号を含ませるために、ガウス関数に基づいて取得可能である。一例として、数式２８に示すように、ｖmax信号を使用した信頼度ベクトルの計算の代わりに、またはそれに加えて、基準画像パッチと検索画像パッチからのさらなる情報、例えば、基準画像パッチとそれぞれの検索画像パッチとの輝度データの間の正規化された相互相関係数の使用が可能である。
【0140】
信頼度ベクトルに基づく視差候補の選択は、コレスポンデンス関数を決定する方法とは無関係に使用可能である。本質的に、視差の複数の候補が基準画像パッチおよび検索画像パッチから決定され、次に、これらが信頼度ベクトルを使用して、それらの妥当性を評価する。したがって、視差が計算される特定の方法に関係なく、２つのデジタル個別画像２５、２６の中で対応する画素の視差を決定するために、演算装置３を備えるコレスポンデンス分析装置１が提供される。その演算装置３は、２つの個別画像２５、２６からそれぞれの画像パッチを選択して、それら個別画像のうちの少なくとも１つの画像パッチを基準画像パッチとして選択して、他の個別画像から検索画像パッチを選択して、それらの画像パッチから視差値の複数の候補を計算するように構成されている。さらに、演算装置３は、特に、コレスポンデンス関数またはその一次導関数で伝達されない情報を基準画像パッチおよび検索画像パッチから選択して、この情報を使用して、コレスポンデンス関数の結果の信頼度ベクトルを選択するか、またはそれぞれの結果が基準画像パッチとのそれぞれの検索画像パッチの実際の対応を示すかどうかを推定するのに適した可能な視差値を選択するように構成される。次に、候補視差値の選択は、信頼値の値に基づいて実施可能である。したがって、改良例では、演算装置３は、特定の基準画像パッチの視差値の候補のリストを生成し、好ましくは各候補について信頼度ベクトルを選択し、その信頼度ベクトルおよび／または他の選択基準に基づいて、これらの候補のすべてまたは一部を有効と見なす選択をするか、またはいずれの候補も特定の基準パッチに対して無効であると見なす選択をする、ように構成されることが意図される。他の方法で決定された信頼度ベクトルをさらに使用または拡張することも可能である。
【0141】
この実施形態の改良例では、演算装置３は、基準画像パッチおよび検索画像パッチの少なくともいくつかの分類について、コレスポンデンス関数を単独で使用する場合よりも、より高い確率で候補を有効または無効として分類できる関数を使用して、信頼度ベクトルの少なくとも１つの要素の値を選択するように構成される。コレスポンデンス関数を単独で使用するときは、特にコレスポンデンス関数の最小値の値を比較し、最も明確な最小値を選択することによって、候補の正しい決定が可能となる。コレスポンデンス関数は、潜在的な雑音源を回避するために、視差の計算に不必要な情報を再検討するように設計されることが好ましい。信頼度関数を用いると、例えば、視差の計算を妨げることなく、候補の選択の際にそのように抑制された情報の再検討が可能である。具体的には、演算装置は、以下の特徴のうちの１つ以上を使用して、信頼度ベクトルの要素の値を選択し得る。
－点δpにおける候補のコレスポンデンス関数ＳＳＤ（δp）と、基準画像パッチのすべての候補のコレスポンデンス関数の極値から導出されるしきい値と、の関係または差分の特徴。
－グレイ値関係、好ましくは、基準画像パッチの一部とそれぞれの検索画像パッチの一部との間のグレイ値の差分、またはそれらのグレイ値差から導出される特徴。
－色関係、好ましくは基準画像パッチの一部とそれぞれの検索画像パッチの一部との間の色差、またはこれらの色差から導出される特徴。
－基準画像パッチの信号強度を、それそれの検索画像パッチの信号強度と比較した関係の特徴。
－それぞれの場合において、エピポーラ線に概ね垂直な基準画像パッチの一部のデータとそれぞれの検索画像パッチの一部のデータとの間の正規化した相互相関係数であり、好ましくは、エピポーラ線に概ね沿って軽微なローパスフィルタ処理で雑音を回避する特徴。
－点δpにおける候補のコレスポンデンス関数ＳＳＤ（δp）と、基準画像パッチのすべての候補のコレスポンデンス関数の極値から導出されるしきい値と、の関係または差分の特徴。
－グレイ値関係、好ましくは、基準画像パッチの一部とそれぞれの検索画像パッチの一部との間のグレイ値の差分、またはそれらのグレイ値差から導出される特徴。
－色関係、好ましくは基準画像パッチの一部とそれぞれの検索画像パッチの一部との間の色差、またはこれらの色差から導出される特徴。
－基準画像パッチの信号強度を、それそれの検索画像パッチの信号強度と比較した関係の特徴。
－それぞれの場合において、エピポーラ線に概ね垂直な基準画像パッチの一部のデータとそれぞれの検索画像パッチの一部のデータとの間の正規化した相互相関係数であり、好ましくは、エピポーラ線に概ね沿って軽微なローパスフィルタ処理で雑音を回避する特徴。
【0142】
また、その関係は非線形であり得る。したがって、色またはグレイ値などの各変数は、非線形処理が可能である。例えば、グレイ値の線形の差分の代わりに、二乗グレイ値の差分も計算可能である。さらに、入力データは、あらかじめ非線形処理され得る、および／または信頼度ベクトルの値を決定する際に非線形処理が実行され得る。
【0143】
演算装置３はまた、コレスポンデンス分析装置または演算装置のユーザに、候補のリストを、好ましくは有効な候補のみを、好ましくはそれぞれの信頼度ベクトルとともに、利用可能にするように有利に構成され得る。これは、例えば、データ出力または画面などの適切なインターフェースを介して達成可能である。このようにして、さまざまな信頼基準を、特に３Ｄ座標の決定の品質に適合させて調整することが可能である。一実施形態では、出力ローパスフィルタを使用して、ＳＳＤ値にしたがって、信頼値のさらに有利なフィルタ処理が可能である。特に、出力ローパスフィルタは、一実施形態による対応機能ＳＳＤ（δp）の数値にも使用されるものと同じフィルタであり得る。これにより、両方のローパスフィルタ処理について同じハードウェア構成での使用が可能になる。さらに、コレスポンデンス関数の値に対する出力ローパスフィルタは、このフィルタ処理手順の重み付けとして、それぞれの対応する信頼値を含み得る。視差値は、ローパスフィルタ処理の前に信頼値で重み付けしておくことも可能である。したがって、ローパスフィルタを使用して信頼値で重み付けされた視差値をフィルタ処理することも可能である。このように、ローパスフィルタを使用して、計算された視差値および／または信頼値をフィルタ処理する構成の演算装置が考案される。
【0144】
特徴ベクトルおよび信頼度ベクトルは、整数ピクセル座標における離散画像位置について計算される。また、演算装置３は、例示的な実施形態の数式２９に示すように、ＳＳＤ（ｘ，ｙ，δp）を整数視差値δpで積算し、特徴の差分の二乗和を算出する。
【数29】
【0145】
コレスポンデンス関数ＳＳＤ（ｘ，ｙ，δp）のこの計算は、演算装置により、特に、期待される視差範囲における視差δpの考え得るすべての整数値に対して実行され、コレスポンデンス関数ＳＳＤ（ｘ，ｙ，δp）の極値が決定される。図１３に、ＳＳＤ（ｘ，ｙ，δp）の典型的な例示的プロファイルを示す。離散関数ＳＳＤ（ｘ，ｙ，δp）の一次導関数ＳＳＤ´（ｘ，ｙ，δp）および二次導関数ＳＳＤ″（ｘ，ｙ，δp）は、数式３０に示すように定義される。一実施形態では、数式３１の条件を満たすとき、δpは極小値として識別される。
【数30】
【数31】
【0146】
さらに、コレスポンデンス分析装置１またはその演算装置は、その差分ＳＳＤ´（ｘ，ｙ，δp）およびこれらの符号変化として示される極小値を決定する。好ましい実施形態において、演算装置は、数式３２の式に示すとおり、視差δpにおける極値、特に、対応関係関数ＳＳＤ（ｘ，ｙ，δp）の極小値に基づいて群視差δsubのサブピクセル精度の値を計算可能である。
【数32】
【0147】
数式３２で使用される放物線補間は、すでに前述した群視差関数の最適化により可能である。例えば、数式３２と同様に、点δsubにおける対応関係関数のサブピクセル精度の値を計算することが有利である。
【数33】
【0148】
δsubは、ＳＳＤ´（ｘ，ｙ，δp）の値から決定可能であり、これは、数式３３に示すように、それらの特徴から直接的に計算可能である。浮動小数点数を使用するときは、この計算には、数式２９による計算と比較して、より小さい語長またはより低い精度で十分であるので、有利であり得る。したがって、本実施形態では、演算装置３は、数式３の関係を用いて、極値の近傍における群視差のサブピクセル精度の値δsubを計算するように構成される。ここで、δpは、コレスポンデンス関数のピクセル精度の極値であり、ＳＳＤ´（ｘ，ｙ，δp）は、コレスポンデンス関数ＳＳＤ（ｘ，ｙ，δp）の導関数である。
【0149】
一実施形態では、コレスポンデンス分析装置は、位置δpにおける最小値について演算装置が決定した実際の視差候補δsubのリストを格納する。これらの候補は、位置δK,において最小であり、ＳＳＤ″（ｘ，ｙ，δK）、数式３４に示す信頼度関数ＫＳＳＤ（ｘ，ｙ，δK）の値、および左右のカメラ画像のそれぞれの近傍間の平均輝度差または色差により、表現可能な視差信号の信号強度などの属性で補足されることが好ましい。ＫＳＳＤ（ｘ，ｙ，δK））は、表４のｘ方向の畳み込みカーネルによる畳み込みにより決定された信号ｖのみを使用する。ここで、ｆKonfは、ｘ方向の偏差による影響が軽微な畳み込みカーネル、例えば、ガウスフィルタである。
【数34】
【0150】
より一般的には、一実施形態では、視差候補に信頼度を割り当ててその信頼度を比較することが考えられ、そして、高い信頼値を有する１つ以上の候補が有効とみなされ、さらに処理される。逆に、１つ以上の他の候補と比較して信頼度が低い少なくとも１つの視差候補が選別され、それ以上の処理はなされない。例えば、演算装置３は、それぞれの基準点のパワースペクトルと比較されるＳＳＤ（δ）、ＳＳＤ（δ）の二次導関数、基準点の近傍と比較した候補近傍における平均化グレイ値または色値、および選択肢として他の測定値、などの評価基準に基づいて候補の信頼度を決定する。次に、これらの信頼値を、矛盾する測定結果を表す他の候補の信頼値と比較し、これらの比較において信頼値が大幅に高い候補のみが有効であると見なされるように構成され得る。したがって、計算された信頼値は互いに比較され、視差の少なくとも１つの候補が、その比較に基づいて有効であると決定される。この決定は、この視差値のさらなる処理により、または視差値の１つ以上の他の候補を選別することで達成可能である。
【0151】
一実施形態では、コレスポンデンス分析装置の演算装置３は、少なくとも１つのＦＰＧＡおよび／または少なくとも１つのＧＰＵを備え、そのようなユニットを複数備える選択肢もある。再構成可能なＦＰＧＡに代えて、１回だけ再構成可能な演算装置（ｅＡＳＩＣ）または再構成できない演算装置（ＡＳＩＣ）を使用することも可能である。
【0152】
図１４および図１５に、演算装置３の一部としてのＦＰＧＡ上のコレスポンデンス分析装置１の例示的な実装の原理を示す。整流画像ＹＬimageおよびＹＲimageでは、それぞれのウィンドウが同じ行ｙ0上で行方向に同期してシフトされる。これにより、図１４に示すように、２つの同期したデータストリームＦＬ、ＦＲが生成される。これらのデータストリームは、それぞれＦＬ０からＦＬ１９までおよびＦＲ０からＦＲ１９までで示される位置ｘの特徴ｕmax×ｖmax（数式２７）からなる。δstartは想定される視差範囲の下限に等しい。ＹＲimageが、ＹＬimageの位置ｘ0の画素についての視差範囲全体を網羅しない場合の処理は軽微であり、さらなる検討はされない。
【0153】
図１５のΔＦＲにおいて、２つの加算器３０および遅延ユニットτ（符号３２）により、データストリームＦＲから、ＦＲu,v（ｘ0＋δp，ｙ0）＋ＦＲu,v（ｘ0＋δp-1，ｙ0）の項およびＦＲu,v（ｘ0＋δp，ｙ0）－ＦＲu,v（ｘ0＋δp-1，ｙ0）の項が得られる。次に、コレスポンデンス分析装置１またはその演算装置３のブロックについて説明する。例えば、２０個の特徴を有するベクトルが、開始時に、データストリームＦＬのアドレスｘ0からデュアルポートＲＡＭ３４（ＢＵＦ）にコピーされ、繰り返し読み出される。まず、データストリームＦＲは、アドレスｘ0から特徴を届ける。開始時から始めて、ＤＳＰ３６（例えば、ＸＩＬＩＮＸ、ＤＳＰ４８Ｅ１）は、予想される視差範囲内のそれぞれの整数δpについて、数式３３と同様に関数値ＳＳＤ´（ｘ0，ｙ0，δp）を計算する。隣接するアドレスｘ0＋１および追加のアドレスごとに、ＹＬimageの行の他の座標について、デュアルポートＲＡＭ３５が使用され、最初のＤＳＰ３６と同様に動作するさらなるＤＳＰ３７が使用される。視差範囲全体で動作したＤＳＰは再利用可能である。
【0154】
次に、第１のフィルタプロセッサが関数値ＳＳＤ´（ｘ0，ｙ0，δp）を評価する。数式３１（ｘ＝ｘ0およびｙ＝ｙ0のとき）の論理積が真である場合、ＳＳＤ（ｘ0，ｙ0，δp）は、位置δpにおいて極小値となる。そのような最小値についてサブピクセル精度の群視差値δsubが決定される。これらの最小値は、群視差値の候補である。
【0155】
このように、一実施形態では、演算装置が、視差値の候補のリストを生成する構成が考察される。その後、それに対応して構成された演算装置は、少なくとも１つの選択基準に基づいて、有効なものとして視差値を選択し得る。
【0156】
これを改良した実施形態では、第２の可能なフィルタプロセッサは、この目的のために視差信号の信号強度、すなわち、コレスポンデンス関数の二次導関数ＳＳＤ″（ｘ0，ｙ0，δp）を使用する。想定される信号強度は、ＹＬimageおよびＹＲimage（数式３５）のＡＣＦＬ（ｘ0，ｙ0）およびＡＣＦＲ（ｘ0，ｙ0，δp）として個別に決定可能であるので、想定される信号強度は、コレスポンデンス関数の計算の前に適切な近似値が得られることが知られている。信号強度は、すべてのｖmax信号ペアにわたって積算される。次に、ＡＣＦＬ、ＡＣＦＲ、ＳＳＤ″（ｘ0，ｙ0，δp）（数式３６）と、しきい値ｔｈｒL1、ｔｈｒL2、ｔｈｒR1、ｔｈｒR2、ｔｈｒA1、およびｔｈｒA2との関係を検査する。
【数35】
【数36】
【0157】
簡単に言えば、これらの検査は、群視差の積算信号強度のテストとして、または両方のカメラ画像における積算信号強度のテストとして理解可能である。したがって、この実施形態では、演算装置が視差信号の信号強度と画像パッチとの間の関係を計算し、それらを選択基準としてしきい値と比較するように構成される。
【0158】
カメラの実際の許容誤差を考慮することで、テストにおいて、例えば、すべてのしきい値を値２に設定すると、正しい値の大部分に影響なく位置δpにおける誤候補の大部分が除去される。第３の可能なフィルタプロセッサは、信号強度と比較して正規化され、しきい値と比較可能な値ＳＳＤnorm（ｘ0，ｙ0，δp）（数式３７）を決定する。
【数37】
【0159】
しきい値は、雑音の限界と考え得る。例えば、２０個の特徴と、特徴ごとに１０％の平均偏差があると仮定すると、しきい値は０.２になる。しきい値を超える位置δpの候補は削除される。数式３７のＦＬu,v（ｘ，ｙ）の代わりに、同様な方法でＦＲu,v（ｘ，ｙ，δp）の使用も可能である。また、同様に正規化されたＫＳＳＤ（ｘ0，ｙ0，δp）を用いたテストをフィルタ処理に使用することも可能である。したがって、ここで使用する選択基準は、視差の候補に対応する画像位置の各位置における局所的な信号強度について、正規化されたコレスポンデンス関数としきい値との比較である。したがって、より一般的には、この実施形態は、演算装置が、それぞれの画像位置における個別画像のうちの少なくとも１つの信号強度に正規化されたコレスポンデンス関数を計算するか、またはコレスポンデンス関数を信号強度で正規化して、候補視差のコレスポンデンス関数の正規化した値をしきい値と比較するように構成されるとの事実に基づく。しきい値を超えると候補が選別される。
【0160】
第４の可能なフィルタプロセッサは、数式３４の信頼度関数ＫＳＳＤ（ｘ0，ｙ0，δp）を使用する。前述のｆkonfの適切な選択により、δp、つまりｘ方向の変化に対する依存性は軽微である。ＫＳＳＤ（ｘ0，ｙ0，δp）のｙ方向の畳み込みについて、ｘ方向の群視差について雑音を最適化した畳み込みカーネルを使用することにより、ＫＳＳＤ（ｘ0，ｙ0，δp）は、ｙ方向において雑音を最適化された視差を測定する。ＹＬimageおよびＹＲimageは整流されるので、ｘ方向の視差が正しく決定されると、ｙ方向の視差は、理想的な系ではゼロになるはずである。実際のステレオカメラおよび例示的な実施形態に適用すると、これは、位置δKにおける正しい候補のＫＳＳＤ（ｘ0，ｙ0，δK）が、位置δAにおける他の候補のＫＳＳＤ（ｘ0，ｙ0，δA）と比較して最小でなければならないことを意味する。これは、候補をフィルタ処理して正しい候補を選択することに使用可能である。したがって、このフィルタプロセッサは、演算装置が視差値の候補のリストを生成し、少なくとも１つの選択基準に基づいて、視差値を有効なものとして選択するように構成される実施形態に基づいており、この選択基準は、候補についての信頼度関数の値の計算をすることと、信頼度関数の最低値を有する候補を有効なものとして選択することと、を含む。したがって、選択基準は、ｙ方向の視差、すなわちエピポーラ線の方向に垂直な視差に依存する信頼度関数の値である。
【0161】
別の可能な選択基準は、色差または色差から導出される特徴である。より一般的には、実際の視差の決定の確実性を高くするために、複数の選択基準の累積による決定が可能である。
【0162】
コレスポンデンス関数ＳＳＤ（ｘ0，ｙ0，δp）とは別に信頼度関数ＫＳＳＤ（ｘ0，ｙ0，δp）を処理することは、群視差の雑音の最適化に関連する。カメラベースのベクトルに対して垂直に計算された信頼度関数は、群視差の測定にそれ自体の信号を提供せず、相互相関と同様に等方的に一緒に処理されると、追加の雑音の発生に寄与する。
【0163】
第５の可能なフィルタプロセッサは、位置δKにある候補の前述の属性のうちのいくつかをさらに取得して、しきい値と比較する。例えば、両方のカメラ画像における画像パッチ間の想定される最大輝度差または色差が、この手法におけるフィルタとして使用可能でする。
【0164】
第６の可能なフィルタプロセッサは、基準画像パッチのすべての検索画像パッチについてのコレスポンデンス関数の全域の最小値、すなわち、位置δKにおけるすべての候補についてのＳＳＤ（δK）の最小値を決定する。そこからしきい値を導出して、そのＳＳＤ（δK）が、そのしきい値を超える候補を選別する。図１３に示す例では、しきい値を破線で示している。
【0165】
前述のフィルタプロセッサは、任意の順序で接続や、並列の実行が可能であり、十分に少ない数まで候補数が削減されているので、視差値、好ましくはサブピクセル精度の値δsubを、行全体についてメモリに格納して結合することが可能である。コレスポンデンス関数の計算から独立したフィルタプロセッサは、コレスポンデンス関数の計算の前に適用し得、コレスポンデンス関数またはその一次導関数の値が決定される前に検索画像パッチを除外し得る。
【0166】
ＳＳＤnorm（ｘ0，ｙ0，δp）などの前述のフィルタプロセッサが使用する値は、ＫＳＳＤ（ｘ0，ｙ0，δp）と重み付けする方法で組み合わせ可能であり、候補ごとに信頼値または信頼度ベクトルＫを取得する。複数の候補が、画像内の同じ座標あるいは異なる座標について矛盾する測定結果を有するとき、そのような信頼度ベクトルＫを使用して、正しいと推定される候補を発見して、より信頼度が低い候補を除外することが可能である。例えば、ＫがＳＳＤnorm（ｘ0，ｙ0，δp）およびＫＳＳＤ（ｘ0，ｙ0，δp）から取得されるとき、Ｋの大きさが最も小さい候補が最良の候補である可能性が高いので、他の競合する候補の除去が可能である。
【0167】
演算装置３は、以下の関係のうちの１つを使用して、視差δpを有する探索画像パッチの位置におけるコレスポンデンス関数の極値、または一次導関数のゼロ交差の近傍における群視差のサブピクセル精度の値δsubの決定が可能である。
このサブピクセル精度の値は、その後、更なる処理または表示のために、コレスポンデンス分析装置からの出力が可能である。ここで、δp-1は、δpの検索画像パッチの先行画像の視差である。δp+1は、検索画像パッチの順序において、δpの検索画像パッチの後続の視差である。特に、δp-1は、δpから先行している、つまり、エピポーラ線上の視差δpを有する検索画像パッチの前に位置する検索画像パッチの視差を示し、δp+1は、δpに後続している、つまり、エピポーラ線上の視差δpを有する検索画像パッチの後に位置する検索画像パッチの視差を示す。
【数38】
【0168】
対応関係関数ＳＳＤ（δp）の計算に代えて、またはそれに加えて、すでに前述したように、その導関数ＳＳＤ´（δp）も計算可能であり、この導関数から視差δの決定が可能である。したがって、本発明のさらなる態様では、以下の関係にしたがってコレスポンデンス関数ＳＳＤ´（δp）の一次導関数を計算するように構成されたコレスポンデンス分析装置が提供される。
ここで、δp-1は、検索画像パッチの順序において、δpの検索画像パッチから先行する視差であり、特に、エピポーラ線上で視差δpの検索画像パッチの前に位置する検索画像パッチの視差である。ＦＬu,vは、信号の畳み込みに使用されるｕmax畳み込みカーネル一式の中のインデックスｕを有する畳み込みカーネルによる信号ＹＬsignal,vの畳み込みの結果であり、ＦＲu,v（δ）は、インデックスｕを有する畳み込みカーネルによる視差δの検索画像パッチの信号ＹＲsignal,vの畳み込みの結果である。これは、特にＦＰＧＡプロセッサを使用するとき、およびＧＰＵ実装のときに計算量を大幅に削減する。語幅も大幅に減少する（特に９ビットのＭＡＣの場合）。
【数39】
【0169】
ここで、テクスチャに基づいて表面の詳細を正確に検出する高周波処理と、テクスチャがないときの拡散反射の評価に基づいて表面を近似的に取り込む低周波処理と、を備える２つのコレスポンデンス分析装置からなるシステムを使用する処理について説明する。
【0170】
低周波処理
コレスポンデンス分析装置１のさらなる発展形態である第１並列処理では、演算装置３は、事前のローパスフィルタ処理で解像度が低減した画像ペアを処理する。例示的な実施形態では４分の１の解像度なので、ピクセル数は１６分の１に低減される。この処理は、反射を拡散する低周波（ＬＦ）空間周波数を本質的に取り込むように最適化された１つ以上の重み付けベクトルgLFを利用して、ｘ方向およびｙ方向の畳み込みのために少なくとも１組の畳み込みカーネルを格納する。前述のように、両方の画像に畳み込みが適用されて、低周波処理の特徴ベクトルまたはデータストリームＦＬ、ＦＲを生成する。データストリームは、図１５によるコレスポンデンス分析装置により処理される。座標ｘ、ｙにおける視差δの有効な候補は、前述のフィルタプロセッサおよび他の選択肢として追加の近傍フィルタを使用して決定されるので、例えば１／４ｐｘに低減された解像度および低減された測定精度のＬＦ視差マップが得られる。次に、ＬＦ視差マップは、後続の高解像度分析の視差範囲を予測するために使用される。
コレスポンデンス分析装置１のさらなる発展形態である第１並列処理では、演算装置３は、事前のローパスフィルタ処理で解像度が低減した画像ペアを処理する。例示的な実施形態では４分の１の解像度なので、ピクセル数は１６分の１に低減される。この処理は、反射を拡散する低周波（ＬＦ）空間周波数を本質的に取り込むように最適化された１つ以上の重み付けベクトルgLFを利用して、ｘ方向およびｙ方向の畳み込みのために少なくとも１組の畳み込みカーネルを格納する。前述のように、両方の画像に畳み込みが適用されて、低周波処理の特徴ベクトルまたはデータストリームＦＬ、ＦＲを生成する。データストリームは、図１５によるコレスポンデンス分析装置により処理される。座標ｘ、ｙにおける視差δの有効な候補は、前述のフィルタプロセッサおよび他の選択肢として追加の近傍フィルタを使用して決定されるので、例えば１／４ｐｘに低減された解像度および低減された測定精度のＬＦ視差マップが得られる。次に、ＬＦ視差マップは、後続の高解像度分析の視差範囲を予測するために使用される。
【0171】
高周波処理
コレスポンデンス分析装置のさらなる発展形態である第２並列処理では、高解像度の画像ペアが、演算装置３の同じ構成の第２部分により直接処理される。第２処理は、ＬＦ視差マップの形態での第１処理の計算結果を視差範囲の予測に使用可能なように、第１処理に対して時間的に遅延することが好ましい。この目的のために演算装置は、結果を予測するため、または第２コレスポンデンス関数とのコレスポンデンス分析を制御するために、第１コレスポンデンス関数によるコレスポンデンス分析により決定または推定された視差値を使用するように構成され得る。ここで、適切に選択されたパラメータまたは畳み込み関数を使用して、第２コレスポンデンス関数は、第１コレスポンデンス関数よりも高い周波数の信号成分を画像パッチから伝達する。
コレスポンデンス分析装置のさらなる発展形態である第２並列処理では、高解像度の画像ペアが、演算装置３の同じ構成の第２部分により直接処理される。第２処理は、ＬＦ視差マップの形態での第１処理の計算結果を視差範囲の予測に使用可能なように、第１処理に対して時間的に遅延することが好ましい。この目的のために演算装置は、結果を予測するため、または第２コレスポンデンス関数とのコレスポンデンス分析を制御するために、第１コレスポンデンス関数によるコレスポンデンス分析により決定または推定された視差値を使用するように構成され得る。ここで、適切に選択されたパラメータまたは畳み込み関数を使用して、第２コレスポンデンス関数は、第１コレスポンデンス関数よりも高い周波数の信号成分を画像パッチから伝達する。
【0172】
一般的なカメラの許容誤差では、高周波数処理は、ＬＦ視差マップの視差値に対して±４ｐｘの視差範囲内での予測を使用して実行される。ＬＦ視差マップが有効な候補を含まないとき、または座標の信頼度が低い候補しか含まないときでも、高周波処理は、この座標について想定される最大視差範囲を分析可能である。第２処理では、カメラのＯＴＦを考慮してテクスチャを取り込むように最適化された１つ以上の重みベクトルｇHFを使用して、ｘ方向およびｙ方向の畳み込みのための畳み込みカーネルの少なくとも１組を記憶する。このように両画像に対して畳み込みを行われ、高周波第２処理のデータストリームＦＬ、ＦＲが得られる。以降の処理は、第１処理と同様である。
【0173】
最後に、第１処理および第２処理の結果は、それぞれの場合に得られる信頼度を考慮して結合視差マップが作成される。適切な信頼性の尺度は、前述の信頼度ベクトルＫであり、特に、積算された信号強度（例えば、ＡＣＦＲ（ｘ0，ｙ0，δp）、数式３５）も含めることが有益である。そのため、信号強度が低い座標の計測結果は信頼性も低くなる。第１低周波処理および第２高周波処理の両方において座標の測定結果の信頼性が高い場合、測定精度が高い可能性が高い第２処理の結果が使用される。第１処理のみが高い信頼性の座標位置を提供する場合、その結果が使用される。第１処理が低い信頼度の座標しか提供しない場合、第２処理は、前述ように、予想される視差範囲全体を分析でき、信頼度が高い場合はその結果を使用できる。前述のように、矛盾する測定結果は、信頼度に基づいてフィルタ除去可能である。
【0174】
最後のステップでは、出力ローパスフィルタ処理が実行される。この目的ため、δsubからなる結合された視差マップをまず数式１にしたがってデカルト座標に変換して、次にガウスフィルタで補間することが有利である。このようにして、ｘ，ｙ平面において等距離であるグリッドが得られる。図６（ａ）はフィルタ適用前であり、図６の（ｂ）はフィルタ適用後である。この処理は、リサンプリングとして公知である。
【0175】
上記の例示的な実施形態では、単純化のために、視差決定に使用される画像パッチからの情報は、それが各画像パッチ内のどこに位置するかに関係なく、等しく重み付けされると仮定された。しかしながら、重み関数Ｗ（ｘ）を使用した不均一な重み付けも可能であり、数式６の拡張として、数式４０に示すように信号モデルに統合が可能である。
【数40】
【0176】
重み付け関数は、任意の形式または値をとることができ、例えば、ガウスフィルタに類似した数式４１に示す関数を使用することが可能である。それは、画像パッチの中心の信号を画像パッチの縁部の信号よりも重く重み付けし、これは、前者の方が後者よりも視差決定に相対的に大きな影響を与えることを意味する。例えば、重み付けが均一な場合は、Ｗ（ｘ）は１という一定値を有する。
【数41】
【0177】
重み関数を適切に選択すると、必要に応じて積分の数値計算を使用して、既に説明した手順にしたがって畳み込みカーネルを決定できる。例えば、数式４１が使用されるとき、行列ＡＥＶ、ＡＯＤは、パラメータρの選択に応じて変化するが、その後のステップは同様である。この点において、畳み込みカーネルは、依然として複数の偶数の調和関数および奇数の調和関数の重み付けされた加重和を含むが、重み付け関数を使用することで、それらがさらに選択された重み付け関数も同時に含むように決定されることに留意されたい。数式４１の特別な重み付け等の特定の例示的な実施形態に限定されることなく、一実施形態では、少なくとも１つ（好ましくは、すべて）の畳み込みカーネルが、重み付け関数である。特に、画像パッチのさまざまな部分からの情報を、コレスポンデンス分析、特に視差の決定に、多様な水準で含め得ることに適した重み付け関数を、さらに含むことが考慮される。
【0178】
重み付けは、画像パッチのデータから信号を決定するときにも実行可能である。図１７は、画像パッチの情報の結果として得られる重み付けを示す。グラフ（ａ）は、より理解が容易になるように、８×８画像パッチにトリミングされた均一な重み付けを示し、グラフ（ｂ）は、信号の決定および信号のさらなる処理の両方において、半値の全幅ρが３.５ｐｘのときの数式４１による重み付けを示す。
【0179】
ガウス重み付け関数は、３Ｄコントラストを高めるために、つまり、簡単に言えば、画像パッチの一部（例えば、中心位置）に測定の焦点を合わせるために実用面で重要である。例えば、図１７のグラフ（ｂ）からの重み付け関数による重み付けの結果として、視差を決定するために多かれ少なかれ強力情報が利用可能であるが、この例では、使用される情報は所望の測定位置に近いものになる。これは、信号対雑音比が良好であるとき、例えば、被写体に十分に投光され、テクスチャを有し、カメラ画像が十分に合焦されているときに使用可能である。これにより、凹凸のある被写体表面や被写体端部の近傍についても、より精度の良い視差測定が可能である。したがって、重み付け関数は、例えば、半値の全幅またはパラメータρを適切に選択することで、被写体特性または撮像特性に関する知見に基づいて適切に選択可能である。ρが小さいほど、測定は部分領域に集中する。一方、均一な重み付け関数やパラメータρの大きな値は、例えば霧中のような、信号対雑音比あまり良くない画像パッチにおいて有利である。
【0180】
前述のガウス重み付けは、重み付けされた画像パッチの重心近傍のピクセルが、画像の端部よりも高い重み付けを持つことが可能な一実施形態を表す。より一般的には、さらに別の実施形態では、フィルタカーネルのうちの少なくとも１つは、その重み付け関数を用いて、この画像パッチの重心近傍の部分の画像パッチを、この重心からさらに離れている部分よりも、より強く重み付けする重み付け関数を備えることが考慮される。ここで、重心とは、特に画像パッチの幾何学的中心で有り得る。また、前述のように、重み付けは画像特性に基づいて変更または選択可能である。この目的のために、一実施形態では、演算装置が、特に信号対雑音比、または画像パッチの近傍もしくは内部の深度情報の飛躍のような画像特性に応じて、重み関数を選択するように構成されることが一般的に意図されており、この飛躍は、以前の測定で確定しているか、または妥当であるものである。例えば、視差の経過に基づいて、最小数の隣接する画像パッチまたはピクセルについて、そのような飛躍がすでに確定している場合、深度情報における飛躍は、画像パッチについて妥当であり得、定義可能である。例えば、重み付けは、少なくとも２つの隣接するピクセルが深度情報においてそのような飛躍を示すときに変更され得る。
【0181】
画像パッチにおける重み付け関数の重心が、画像パッチの重心と異なるように重み付け関数が選択されると、コレスポンデンス関数ＳＳＤ（δp）を決定するときに、基準画像パッチと検索画像パッチとの間の距離δpを、これらの画像パッチにおける重み付け関数の重心に基づいて決定することが有利である。重み関数の重心を計算するとき、重み関数の関数値は、質量または局所的密度に応じた質量中心の計算に含まれる。言い換えると、重み関数の重心は、重み付けされた画像パッチの重み重心に対応する。
【0182】
ガウス分布を用いた重み付けの場合、８×８ｐｘの大きさの画像パッチでは、ρ＝３付近の範囲が特に重要である。したがって、図示の例に限定されるものではないが、さらなる実施形態では、畳み込みカーネルの少なくとも１つは、関数値が半値の全幅を有し、その半値の全幅が画像パッチの幅の２／３未満、好ましくは画像パッチの幅の半分未満である重み関数を備えることが一般に意図される。ここで、関連する幅は、重み関数が変化する方向の幅である。図１７の例では、ｘ方向およびｙ方向の両方向であり得る。
【0183】
すでに説明したように、３Ｄデータまたはデータから有効であると判断された視差を、ローパスフィルタ処理することが有利である。本発明の代替的または追加的な実施形態では、視差δを決定する前に平均化されたコレスポンデンス関数を計算すること、すなわち、それぞれの基準画像パッチのコレスポンデンス関数ＳＳＤ（δp）の計算された関数値と、同じ点δの近傍における基準画像パッチのコレスポンデンス関数との、任意の加重平均またはローパスのフィルタ処理を行うことにより、計算することが有利であることが証明されている。したがって、コレスポンデンス分析装置の一実施形態では、一般的に演算装置３は、この基準画像パッチのコレスポンデンス関数ＳＳＤ（δp）の値と、複数の他の、特に隣接する基準画像パッチのコレスポンデンス関数ＳＳＤ（δp）の値と、の算術平均または加重平均を計算することで、基準画像パッチの平均化を実行する。さらに、この平均化されたコレスポンデンス関数を本発明にしたがって処理する、特に、点δにおける視差のサブピクセル精度の値を計算して出力する構成が考慮される。
【0184】
数式４２は、例示的な一実施形態として、基準画像パッチの３×３環境を使用して、それらを均一な重み付けを含む平均化したコレスポンデンス関数ＳＳＤAvgを示す。その後、ＳＳＤ関数に代えて、ＳＳＤAvg関数が使用される。
【数42】
【0185】
複数の基準画像パッチのコレスポンデンス関数のそのような組み合わせは、曲面または非平面上で達成可能な３Ｄコントラストをわずかに低下させ得るが、コレスポンデンス関数はまた、量子雑音またはピクセルアーチファクトなどの少なくとも部分的に相関のない外乱を含んでおり、これらは、信号処理の線形部分におけるこの平均化やローパスフィルタ処理によって有利に減衰される。とりわけ、ガボール法のようなＳＳＤの計算前のローパスフィルタ処理から、このフィルタ処理を識別するものは、群視差についての畳み込みカーネルの適用後のフィルタ処理の適用およびコレスポンデンス関数の計算にある。このフィルタ処理は、特に、視差の正確な位置が決定されるサブピクセル補間の前にも実行されるので、出力ローパスフィルタ処理とは異なる。
【0186】
また、コレスポンデンス関数の可変部であるＳＳＤvarには外乱がある。これらは、信号処理のこの時点ではまだ部分的に相関しているので、複数のコレスポンデンス関数を平均化することで特に効果的に低減可能である。これにより、ローパスフィルタ処理がより効果的になる。サブピクセル補間が通常非線形であるため、この特性は視差の計算後には存在せず、コレスポンデンス関数の計算前にはこの形式では存在しないので、このフィルタ処理の特別な特性を表している。改良点として、ローパスフィルタは、空間周波数４ωがわずかに減少するだけで、４ωを超える空間周波数成分が大幅に減少するように、最適に構成される。
【0187】
開示された有利な実施形態から逸脱すると、通常は雑音が増加するか、または視差測定品質が低下する結果となる。その例として、前述した、畳み込みカーネルの係数の偏差、基準画像パッチの信号と複数の検索画像パッチの信号との異なる畳み込みカーネルでの畳み込み、画像パッチ内の所望の測定点に対応しない幾何学的重心を有する重み関数の使用、または、座標原点が画像パッチ内の重み関数の幾何学的重心の位置にない、もしくは均一な重み付けでは画像パッチの重みの重心の位置にない、偶数関数または奇数関数を含む畳み込みカーネルの使用、が含まれる。そのような偏差は、通常、視差測定の改ざんにつながる。しかしながら、コレスポンデンス関数の平均化またはローパスフィルタ処理と組み合わせて、この種類のまたは同様な形式の偏差は、特定の状況下で積極的に使用可能である。例えば、異なる畳み込みカーネル、重み付け関数の異なる重心、または異なる座標原点を有する畳み込みカーネルが、異なる基準画像パッチに対して使用される。より一般的には、畳み込みカーネルの関数が偶数および奇数である座標原点は、それぞれの画像パッチの中心に位置する必要はないが、前述の実施形態のように、一般的には画像パッチの中心から外れ得る。これらの偏差を選択することは、結果として想定される視差の個々の測定誤差が統計的に合計してゼロになるように、またはコレスポンデンス関数の合計がゼロとなるように平均化される任意の重み付けにしたがって合計および重み付けされるときに、有利である。コレスポンデンス関数、特にＳＳＤvarの雑音は、とりわけ、それぞれの視差に依存し、これらの視差は、適切に選択することで部分的に非相関化され得る。ここに開示される構成および信号モデルは、ＳＳＤvarが通常、コレスポンデンス関数の極値付近の奇数関数に実質的に似ているように構成される。したがって、コレスポンデンス関数の平均化は、誤差の統計的な積算による雑音の低減に特に適している。
【0188】
前述のように、カメラの利得の許容誤差が小さいと、雑音は一般的に発生しないが、特に異なるＯＴＦを有するカメラ間の大きなコントラスト差は相殺されない。実際のステレオカメラでは、一般に、カメラの伝達関数の許容誤差があるので、基準画像パッチの信号の畳み込み結果の振幅は、対応する検索画像パッチの信号の畳み込み結果の振幅とは必ずしも一致するとは限らない。この時点でのコレスポンデンス関数ＳＳＤの値はゼロではないので、決定された視差に追加の雑音が生じ得る。画像パッチの信号の畳み込み結果の振幅のベクトルは、画像パッチの信号強度により推定可能である。したがって、信号強度を使用したこれらの畳み込み結果の正規化、すなわち、例えば信号強度による畳み込み結果を除算することは、振幅間の差異を低減させるので有利である。
【0189】
したがって、コレスポンデンス分析装置の一実施形態では、演算装置は、それぞれの画像パッチの信号強度、特にコレスポンデンス分析で使用するこの画像パッチの信号の信号強度と相関する値を使用して、１つの画像パッチ、好ましくはすべての画像パッチの信号の少なくとも１つの畳み込み結果、好ましくはすべての畳み込み結果を正規化する構成、が一般に考慮される。
【0190】
デジタル画像を用いた例示的な実施形態では、コレスポンデンス関数を用いた画像とそれ自体との比較した二次導関数を使用して、信号強度の推定が可能である。したがって、数式３０および数式２９により、信号強度は、数式３５からＡＣＦＬまたはＡＣＦＲの平方根として決定可能である。
【0191】
本発明のさらなる実施形態では、演算装置は、左右のカメラの画像データから計算された特徴のうちの少なくとも１つ、好ましくはすべてを、このカメラの画像内の対応する点におけるそれぞれの信号強度で正規化するとともに、特に、そのように正規化された特徴を用いてさらなる計算を実行するように構成される。さらなる計算は、特に、コレスポンデンス関数の１つ以上の最小値の決定も含む。これにより、信号の類似性が高まり、信号対雑音比が向上して、ＳＳＤの相対的な最小値が目標値のゼロに近づく。平方根の代わりに近似解の使用も可能である。さらに、前述のように特徴が正規化されており、他の外乱がないとき、ＳＳＤ″は１に収束する。この特性は、その後の信頼度分析でも使用可能である。
【符号の説明】
【0192】
１ コレスポンデンス分析装置
２ ステレオカメラ
３ 演算装置
４ 被写体
５ カメラセンサ
６ メモリ
８、９ レンズ
１０ レンズマウント
１１、１２ 偏心素子
１３ ねじ
２０、２１ カメラ
２２ 撮像デバイス
２５、２６ デジタル画像
３０ 加算器
３２ 遅延ユニット
３４、３５ デュアルポートＲＡＭ
３６、３７ ＤＳＰ
９８、９９ エピポール
１０１ ３Ｄ点
１０２ エピポーラ平面
１０３、１０６ ピクセル
１０４、１０５ 画像
１０７ エピポーラ線
２ ステレオカメラ
３ 演算装置
４ 被写体
５ カメラセンサ
６ メモリ
８、９ レンズ
１０ レンズマウント
１１、１２ 偏心素子
１３ ねじ
２０、２１ カメラ
２２ 撮像デバイス
２５、２６ デジタル画像
３０ 加算器
３２ 遅延ユニット
３４、３５ デュアルポートＲＡＭ
３６、３７ ＤＳＰ
９８、９９ エピポール
１０１ ３Ｄ点
１０２ エピポーラ平面
１０３、１０６ ピクセル
１０４、１０５ 画像
１０７ エピポーラ線
【図1】
【図2】
【図3(a)】
【図3(b)】
【図4】
【図5】
【図6(a)】
【図6(b)】
【図7】
【図8(a)】
【図8(b)】
【図9(a)】
【図9(b)】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17(a)】
【図17(b)】
【国際調査報告】