特許 6876094 画像内の極値点のサブピクセル位置を推定する方法、デバイス、およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6876094

(24)【登録日】2021年4月27日

(45)【発行日】2021年5月26日

(54)【発明の名称】画像内の極値点のサブピクセル位置を推定する方法、デバイス、およびシステム

(51)【国際特許分類】

   G06T 7/593 20170101AFI20210517BHJP

【ＦＩ】

   G06T7/593

【請求項の数】15

【外国語出願】

【全頁数】26

(21)【出願番号】特願2019-99155(P2019-99155)

(22)【出願日】2019年5月28日

(65)【公開番号】特開2020-24673(P2020-24673A)

(43)【公開日】2020年2月13日

【審査請求日】2020年9月17日

(31)【優先権主張番号】18177169.2

(32)【優先日】2018年6月12日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林特許業務法人

(72)【発明者】

【氏名】ニルソン， ミーケル

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１７−８４９７５（ＪＰ，Ａ）

【文献】 特開２０１５−１７９４９９（ＪＰ，Ａ）

【文献】 特開２００９−２８２６３５（ＪＰ，Ａ）

【文献】 特開２００７−３２３４４０（ＪＰ，Ａ）

【文献】 上瀧剛, 外１名，“サーベイ論文：サブピクセル物体検出”，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，２０１３年１２月 ５日，第１１３巻, 第３４６号，p.33-42

【文献】 Stefan K. Gehring, 外１名，"Improving Stereo Sub-Pixel Accuracy for Long Range Stereo"，2007 IEEE 11th International Conference on Computer Vision，米国，２００７年１０月１４日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／５９３

(57)【特許請求の範囲】

【請求項1】

デバイス（１００）において実行される、パラメトリック関数（４０４）を用いてノイズが存在する画像（４００）内の極値点のサブピクセル位置を推定する方法であって、前記画像（４００）内の前記極値点が、極大点または極小点のいずれかのタイプであり、前記方法が、
ａ）前記画像（４００）内の近傍ピクセルのグループ（４０２）を選択すること（Ｓ０２）であって、前記近傍ピクセルのグループ（４０２）内のピクセル数が、前記パラメトリック関数（４０４）を定義するパラメータ数よりも大きい、近傍ピクセルのグループ（４０２）を選択すること（Ｓ０２）と、
ｂ）前記近傍ピクセルのグループ（４０２）のピクセル値（４０３）に前記パラメトリック関数（４０４）を適合すること（Ｓ０４）であって、前記パラメトリック関数（４０４）が、前記近傍ピクセルのグループ（４０２）の前記ピクセル値（４０３）を空間位置の関数として近似する、前記パラメトリック関数（４０４）を適合すること（Ｓ０４）と、
ｃ）前記パラメトリック関数（４０４）の極値点（４０６）の空間位置（４０５ｂ、４０５ｄ）を識別すること（Ｓ０６）であって、前記パラメトリック関数（４０４）の前記極値点（４０６）が、極大点、極小点、または鞍点であるタイプである、極値点（４０６）の空間位置（４０５ｂ、４０５ｄ）を識別すること（Ｓ０６）と、
ｄ）前記パラメトリック関数（４０４）の前記極値点（４０６）が、前記画像（４００）内の前記極値点と同一タイプであるか、あるいは異なるタイプであるか、および前記パラメトリック関数（４０４）の前記極値点の前記位置（４０５ｂ、４０５ｄ）が、前記画像（４００）内の前記近傍ピクセルのグループ（４０２）のピクセル位置によって定義される領域（４０７）内に位置するか、あるいは領域（４０７）外に位置するかをチェックすること（Ｓ０８ａ、Ｓ０８ｂ）、ならびに、
前記パラメトリック関数（４０４）の前記極値点（４０６）が前記画像（４００）内の前記極値点とは異なるタイプであるか、または前記パラメトリック関数（４０４）の前記極値点（４０６）の前記位置（４０５ｂ、４０５ｄ）が前記領域（４０７）外に位置する場合に、
前記近傍ピクセルのグループ（４０２）から、外れ値を有するピクセルを除去すること（Ｓ０８ｃ）、ならびに、
前記近傍ピクセルのグループ（４０２）内の前記ピクセル数が、前記パラメトリック関数（４０４）を定義する前記パラメータ数よりも依然として大きいか、または等しい場合、ステップｂ）、ｃ）、およびｄ）を繰り返すことと、
ｅ）前記画像（４００）内の前記極値点の前記サブピクセル位置を、前記パラメトリック関数（４０４）の前記極値点（４０６）の前記空間位置（４０５ｄ）として推定すること（Ｓ１０）と、
ｆ）前記推定されたサブピクセル位置を、ステップｂ）、ｃ）、およびｄ）の反復数に対応する不確実性レベルに関連付けること（Ｓ１２）と、
を含む、方法。

【請求項2】

前記画像（４００）内の前記極値点が極大点である場合に、前記近傍ピクセルのグループ（４０２）が、前記画像（４００）内の各近傍ピクセルのピクセル値よりも大きいピクセル値（４０３ａ）を有する前記画像（４００）内のピクセル（４０２ａ）を含むように選択され、
前記画像（４００）内の前記極値点が極小点である場合に、前記近傍ピクセルのグループ（４０２）が、前記画像内の各近傍ピクセルのピクセル値よりも小さいピクセル値を有する前記画像（４００）内のピクセルを含むように選択される、請求項１に記載の方法。

【請求項3】

ステップｂ）が、前記パラメトリック関数（４０４）を定義するパラメータを見つけるために方程式系を解くことを伴い、前記方程式系を解くことが、前記パラメトリック関数（４０４）を定義する前記パラメータを見つけるために、前記近傍ピクセルのグループ（４０２）のピクセル値（４０３）の線形結合を形成することを含み、前記線形結合の係数が前記デバイス（１００）に予め記憶される、請求項１または２に記載の方法。

【請求項4】

前記推定されたサブピクセル位置を処理することをさらに含み、前記推定されたサブピクセル位置に関連付けられた前記不確実性レベルが、前記処理の間、前記推定されたサブピクセル位置に加重するために使用され、より高い不確実性レベルは、より低い不確実性レベルよりも低い重みに対応する、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記画像内の前記極値点の前記推定されたサブピクセル位置が、第１の画像（２０３）内の前記ピクセル（５０２ａ、５０２ｂ、５０２ｃ、５０２ｄ）に最も合致する、第２の画像（２０５）内のサブピクセル位置（５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ）に対応するように、前記画像（４００）が、画像のステレオペアの前記第１の画像（２０３）内のピクセルの近傍のピクセル値を、前記画像のステレオペアの前記第２の画像（２０５）内のピクセル値とマッチングすることによって生成される相関マップ（２０７）に対応する、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記画像のステレオペアの前記第１の画像（２０３）内の複数のピクセル（５０２ａ、５０２ｂ、５０２ｃ、５０２ｄ）のそれぞれについて、
前記ピクセルの近傍のピクセル値を、前記第２の画像（２０５）内のピクセル値とマッチングすることによって、前記ピクセル（５０２ａ、５０２ｂ、５０２ｃ、５０２ｄ）に対応する相関マップ（２０７）を生成することと、
前記ピクセル（５０２ａ、５０２ｂ、５０２ｃ、５０２ｄ）に最も合致する前記第２の画像（２０５）内のサブピクセル位置（５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ）を推定するように、前記ピクセル（５０２ａ、５０２ｂ、５０２ｃ、５０２ｄ）に対応する前記相関マップ（２０７）についてステップａ）〜ｆ）を実行することであって、前記第２の画像（２０５）内の前記サブピクセル位置（５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ）が、不確実性レベルに関連付けられている、ステップａ）〜ｆ）を実行することと
をさらに含む、請求項５に記載の方法。

【請求項7】

前記画像のステレオペアの前記第１の画像（２０３）内の前記複数のピクセル（５０２ａ、５０２ｂ、５０２ｃ、５０２ｄ）に対応する前記推定されたサブピクセル位置（５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ）を処理することをさらに含み、前記推定されたサブピクセル位置（５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ）に関連付けられた前記不確実性レベルが、前記処理の間に重みとして使用され、より高い不確実性レベルに関連付けられたサブピクセル位置から計算される数量は、より低い不確実性レベルに関連付けられたサブピクセル位置から計算される数量よりも低い重みを与えられる、請求項６に記載の方法。

【請求項8】

サブピクセル位置（５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ）から計算される前記数量が、前記サブピクセル位置（５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ）と前記第１の画像内の対応するピクセル（５０２ａ、５０２ｂ、５０２ｃ、５０２ｄ）の位置との間の差として計算される、不均衡値を含む、請求項７に記載の方法。

【請求項9】

サブピクセル位置（５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ）から計算される前記数量が、前記サブピクセル位置（５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ）および前記第１の画像内の対応するピクセル（５０２ａ、５０２ｂ、５０２ｃ、５０２ｄ）の位置に基づいて計算される、深度値を含み、前記深度値が、前記第１の画像内の前記ピクセルによって描かれる場面内の物体までの距離に対応する、請求項７または８に記載の方法。

【請求項10】

前記処理することが、前記画像のステレオペアの前記第１の画像内の前記複数のピクセル（５０２ａ、５０２ｂ、５０２ｃ、５０２ｄ）に対応する深度値の加重平均を計算することをさらに含み、より高い不確実性レベルを有するサブピクセル位置（５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ）から計算される深度値に、より低い不確実性レベルを有するサブピクセル位置（５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ）から計算される深度値よりも低い重みが与えられる、請求項９に記載の方法。

【請求項11】

サブピクセル位置（５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ）から計算される前記数量が、３次元空間内の点（５０６ａ、５０６ｂ、５０６ｃ、５０６ｄ）を含み、３次元空間内の前記点（５０６ａ、５０６ｂ、５０６ｃ、５０６ｄ）が、前記サブピクセル位置（５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ）および前記第１の画像内の対応するピクセル（５０２ａ、５０２ｂ、５０２ｃ、５０２ｄ）の位置に基づいて計算される、請求項８から１０のいずれか一項に記載の方法。

【請求項12】

前記画像のステレオペアの前記第１の画像内の前記複数のピクセル（５０２ａ、５０２ｂ、５０２ｃ、５０２ｄ）が、場面内の同一の物体（５００）を描き、前記処理することが、
前記画像のステレオペアの前記第１の画像内の前記複数のピクセル（５０２ａ、５０２ｂ、５０２ｃ、５０２ｄ）に対応する３次元空間内の複数の点（５０６ａ、５０６ｂ、５０６ｃ、５０６ｄ）を計算することであって、３次元空間内の各点（５０６ａ、５０６ｂ、５０６ｃ、５０６ｄ）が、前記第１の画像内の前記対応するピクセル（５０２ａ、５０２ｂ、５０２ｃ、５０２ｄ）の前記位置、および前記第１の画像内の前記ピクセルに最も合致する前記第２の画像内の前記サブピクセル位置（５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ）を用いて計算される、３次元空間内の複数の点（５０６ａ、５０６ｂ、５０６ｃ、５０６ｄ）を計算することと、
３次元空間内の前記複数の点（５０６ａ、５０６ｂ、５０６ｃ、５０６ｄ）に３次元物体テンプレート（５０８）を適合することであって、前記３次元物体テンプレートが、前記場面内の前記物体と同一タイプである物体の外形を定義する、３次元物体テンプレート（５０８）を適合することと、をさらに含み、
前記３次元物体テンプレート（５０８）を前記適合するステップにおいて、より高い不確実性レベルを有するサブピクセル位置（５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ）から計算される３次元空間内の点（５０６ａ、５０６ｂ、５０６ｃ、５０６ｄ）は、より低い不確実性レベルを有するサブピクセル位置（５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ）から計算される３次元空間内の点（５０６ａ、５０６ｂ、５０６ｃ、５０６ｄ）よりも低い重みを与えられる、請求項１１に記載の方法。

【請求項13】

パラメトリック関数（４０４）を用いてノイズが存在する画像（４００）内の極値点のサブピクセル位置を推定するデバイス（１００）であって、前記画像（４００）内の前記極値点が、極大点または極小点のいずれかのタイプであり、前記デバイス（１００）が、
ａ）前記画像（４００）内の近傍ピクセルのグループ（４０２）を選択し、前記近傍ピクセルのグループ（４０２）内のピクセル数が、前記パラメトリック関数（４０４）を定義するパラメータ数よりも大きく、
ｂ）前記近傍ピクセルのグループ（４０２）のピクセル値（４０３）に前記パラメトリック関数（４０４）を適合し、
ｃ）前記パラメトリック関数（４０４）の極値点（４０６）の位置（４０５ｂ、４０５ｄ）を識別し、前記パラメトリック関数（４０４）の前記極値点が、極大点、極小点、または鞍点であるタイプであり、
ｄ）前記パラメトリック関数（４０４）の前記極値点（４０６）が、前記画像（４００）内の前記極値点と同一タイプであるか、あるいは異なるタイプであるか、および前記パラメトリック関数（４０４）の前記極値点の前記位置（４０５ｂ、４０５ｄ）が、前記画像（４００）内の前記近傍ピクセルのグループ（４０２）のピクセル位置によって定義される領域（４０７）内に位置するか、あるいは領域（４０７）外に位置するかをチェックし、ならびに、
前記パラメトリック関数の前記極値点（４０６）が、前記画像（４００）内の前記極値点とは異なるタイプであるか、または前記パラメトリック関数（４０４）の前記極値点（４０６）の前記位置（４０５ｂ、４０５ｄ）が、前記領域（４０７）外に位置する場合に、
前記近傍ピクセルのグループ（４０２）から、外れ値を有するピクセルを除去し、
前記近傍ピクセルのグループ（４０２）内の前記ピクセル数が、前記パラメトリック関数（４０４）を定義する前記パラメータ数よりも依然として大きいか、または等しい場合、ステップｂ）、ｃ）、およびｄ）を繰り返し、
ｅ）前記画像（４００）内の前記極値点の前記サブピクセル位置を、前記パラメトリック関数（４０４）の前記極値点（４０６）の前記位置（４０５ｄ）として推定し、
ｆ）前記推定されたサブピクセル位置を、ステップｂ）、ｃ）、およびｄ）の反復数に対応する不確実性レベルに関連付けるように構成される、プロセッサ（１０２）を備える、デバイス（１００）。

【請求項14】

画像のステレオペアの第１の画像（２０３）をキャプチャするように構成される、第１の画像センサ（２０２）と、
前記画像のステレオペアの第２の画像（２０５）をキャプチャするように構成される、第２の画像センサ（２０４）と、
請求項１３に記載のデバイス（１００）と、
前記第１の画像（２０３）内のピクセルの近傍のピクセル値を、前記画像のステレオペアの前記第２の画像（２０５）内のピクセル値とマッチングすることによって、前記画像のステレオペアから相関マップ（２０７）を生成し、
パラメトリック関数を用いてノイズが存在する前記相関マップ（２０７）内の極値点のサブピクセル位置を、前記デバイス（１００）に推定させるように、前記デバイス（１００）への入力として、前記相関マップ（２０７）を提供するように構成される、プロセッサと、
を備える、ステレオカメラシステム（２００）。

【請求項15】

デバイス（１００）に含まれるプロセッサ（１２０）によって実行されるときに、請求項１から１２のいずれか一項に記載の方法を実行するように前記デバイス（１００）を動作させるコンピュータコード命令を含む、非一時的コンピュータ可読媒体（１０４）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像内の極値点のサブピクセル位置を推定する分野に関する。特に、本発明は、パラメトリック関数を用いて画像内の極値点のサブピクセル位置を推定する方法、ならびに関連デバイスおよびシステムに関する。

【背景技術】

【0002】

デジタル画像は、ピクセルと呼ばれるデジタル値の有限集合で構築されている。これらは、画像内の最小個別要素である。デジタル画像内の空間位置は、ピクセルの精度で測定され得る。しかしながら、いくつかの適用例ではピクセル精度での測定では十分ではなく、サブピクセル精度で画像内の空間位置を測定したいという要望がある。例えば、多くの適用例では、サブピクセル精度で画像内の強度極大点または極小点の位置を推定することに大いに関心がある。これは、オプティカルフロー、例えば衛星または顕微鏡画像からの物体定位、および場面内の深度推定のためのステレオカメラセットアップ、における適用例を含む。

【0003】

画像内の極大点または極小点の位置を推定する１つの方法は、画像のピクセル値に局所的にパラメトリック関数を適合することを含む。適合されるパラメトリック関数の極大点または極小点は、このときに識別されてもよく、識別されたパラメトリック関数の極大点または極小点の空間位置は、画像内の極大点または極小点のサブピクセル位置として用いられてもよい。この方法の欠点は、この方法が画像内のノイズに影響を受けやすいということである。また、この方法は、推定がどのくらい信頼できるかの尺度を提供しない。したがって、改善の余地がある。

【発明の概要】

【0004】

上記の点から、本発明の目的は、画像内の極大点または極小点のサブピクセル位置の改善された推定を提供することである。

【0005】

第１の態様によれば、上記目的は、デバイスにおいて実行される、パラメトリック関数を用いてノイズが存在する画像内の極値点のサブピクセル位置を推定する方法であって、画像内の極値点が、極大点または極小点のいずれかのタイプであり、方法が、
ａ）画像内の近傍ピクセルのグループを選択することであって、近傍ピクセルのグループ内のピクセル数が、パラメトリック関数を定義するパラメータ数よりも大きい、近傍ピクセルのグループを選択することと、
ｂ）近傍ピクセルのグループのピクセル値にパラメトリック関数を適合することであって、パラメトリック関数が、近傍ピクセルのグループのピクセル値を空間位置の関数として近似する、パラメトリック関数を適合することと、
ｃ）パラメトリック関数の極値点の空間位置を識別することであって、パラメトリック関数の極値点が、極大点、極小点、または鞍点であるタイプである、極値点の空間位置を識別することと、
ｄ）パラメトリック関数の極値点が、画像内の極値点と同一タイプであるか、あるいは異なるタイプであるか、およびパラメトリック関数の極値点の位置が、画像内の近傍ピクセルのグループのピクセル位置によって定義される領域内に位置するか、あるいは領域外に位置するかをチェックすること、ならびに、
パラメトリック関数の極値点が画像内の極値点とは異なるタイプであるか、またはパラメトリック関数の極値点の位置が前記領域外に位置する場合に、
近傍ピクセルのグループからピクセルを除去すること、ならびに、
近傍ピクセルのグループ内のピクセル数が、パラメトリック関数を定義するパラメータ数よりも依然として大きいか、または等しい場合、ステップｂ）、ｃ）、およびｄ）を繰り返すことと、
ｅ）画像内の極値点のサブピクセル位置を、パラメトリック関数の極値点の空間位置として推定することと、
ｆ）推定されたサブピクセル位置を、ステップｂ）、ｃ）、およびｄ）の反復数に対応する不確実性レベルに関連付けることと、を含む、方法によって達成される。

【0006】

この方法によれば、パラメトリック関数は、したがって、画像の近傍ピクセルのグループのピクセル値に局所的に適合され、パラメトリック関数の極値点が識別される。しかしながら、識別されたパラメトリック関数の極値点の空間位置を、画像内の極値点のサブピクセル位置の推定として受け入れる前に、２つのチェックが行われる。

【0007】

第１のチェックにおいて、識別されたパラメトリック関数の極値点が、我々が求めている画像内の極値点と同一タイプであるか、あるいは異なるタイプであるかがチェックされる。例えば、我々が画像内の極大点のサブピクセル位置を求めている場合、識別されたパラメトリック関数の極値点が極大点であるか否かがチェックされる。同様に、我々が画像内の極小点のサブピクセル位置を求めている場合、識別されたパラメトリック関数の極値点が極小点であるか否かがチェックされる。この第１のチェックを行う理由は、画像内のノイズが外れピクセル値を引き起こし得るということである。外れピクセル値は結果として、パラメトリック関数の不十分な適合をもたらし得る。その結果、方法が極大点を探しているにも関わらず、結果はパラメトリック関数が極小点を有するということである場合があり、その逆もまた同様である。

【0008】

第２のチェックにおいて、識別されたパラメトリック関数の極値点が、画像内の近傍ピクセルのグループのピクセル位置によって定義される領域内に位置するか、あるいは領域外に位置するかがチェックされる。この場合も、外れピクセル値がパラメトリック関数の不十分な適合をもたらすことがあり、識別される極値点は、方法が極大点または極小点を探す局所的近傍の外側となる。

【0009】

識別されるパラメトリック関数の極値点が、画像内の極値点とは異なるタイプである場合、または識別されるパラメトリック関数の極値点が、近傍ピクセルのグループによって定義される領域外に位置する場合、第１の、および第２のチェックのうちのいずれかが失敗となる。そうなる場合、方法は、続けて近傍ピクセルのグループからピクセルを除去し、パラメトリック関数を近傍ピクセルのグループのピクセル値に適合することで再開する。これは、両方のチェックを通過するまで、または近傍ピクセルのグループ内に残されたピクセル値が、パラメトリック関数が適合されるのを可能にするには十分でなくなるまで、繰り返される。したがって、方法は、許容できる適合が得られるまで、潜在的な外れピクセル値を反復して除去することを可能にする。このようにして、方法は、画像内のノイズに対してより堅牢となる。

【0010】

必要な反復数は、典型的には、画像内のノイズレベルに関連し、画像にノイズが多ければ多いほど、典型的には、許容できる適合を達成するためにより多くの反復が必要とされる。さらに、パラメトリック関数の適合は、反復毎により少ないピクセル値に基づくこととなる。その結果、推定されるサブピクセル位置の不確実性レベルが、反復数とともに増加する傾向にある。したがって、方法は、推定されたサブピクセル位置の不確実性レベルの尺度として、すなわち、推定がどのくらい信頼できるかの尺度として、反復数を使用するように提案している。

【0011】

画像とは、概して、任意の種類の空間的に編成された信号値を意味する。画像は、可視光画像、赤外線画像、または熱画像などの、センサによってキャプチャされた画像であってもよい。しかしながら、画像は、より一般的には、２次元グリッド上に提供される任意の測定された、または計算された信号値であってもよい。これらの信号値は、空間的に相関するなど、空間的に関連してもよい。

【0012】

画像は、ピクセルを含む。各ピクセルは、２次元グリッド上のピクセル位置に対応して、ある位置に関連付けられる。各ピクセルは、ピクセルの信号値に対応して、あるピクセル値にさらに関連付けられる。

【0013】

したがって、ピクセル位置は、２次元グリッドに配置される個別の位置を定義する。これらの個別の位置に制限されない２次元空間内の空間位置は、本明細書ではサブピクセル位置と呼ばれる。

【0014】

画像内の極値点とは、典型的には、画像内の極大点または極小点を意味する。極大点は、極大値であり得る。極小点は、極小値であり得る。

【0015】

パラメトリック関数の極値点とは、典型的には、パラメトリック関数の停留点、すなわち、パラメトリック関数の全ての偏導関数（または、等価的には勾配）がゼロである点を意味する。パラメトリック関数の極値点は、極大点、極小点、または鞍点であってもよい。

【0016】

推定の不確実性レベルとは、概して、推定がどのくらい信頼できるかの尺度を意味する。低い不確実性レベルは、高い不確実性レベルよりも信頼できる推定を示す。不確実性レベルは、推定の分散も示している。高い不確実性レベルは、低い不確実性レベルよりも高い分散を示している。

【0017】

近傍ピクセルのグループは、画像のピクセル値に基づいて選択されてもよい。例えば、ピクセル値が極大値（極値点のタイプが極大点の場合）または極小値（極値点のタイプが極小点の場合）の存在を示す、画像内の領域が識別され得る。近傍ピクセルのグループは、そのような領域を含むように選択されてもよい。このやり方では、極値点の位置の大まかな推定が、まず画像のピクセル値を用いて行われる。上述の方法は、次いで、推定された極値点の位置をサブピクセル精度まで微調整するために使用され得る。その近傍ピクセルのそれぞれのピクセル値よりも大きいピクセル値を有する画像内のピクセルは、極大値の存在を示している。同様に、その近傍ピクセルのそれぞれのピクセル値よりも小さいピクセル値を有する画像内のピクセルは、極小値の存在を示している。したがって、画像内の極値点が極大点である場合、近傍ピクセルのグループは、画像内の各近傍ピクセルのピクセル値よりも大きいピクセル値を有する画像内のピクセルを含むように選択され得る。また、画像内の極値点が、極小点である場合、近傍ピクセルのグループは、画像内の各近傍ピクセルのピクセル値よりも小さいピクセル値を有する画像内のピクセルを含むように選択される。近傍ピクセルのグループは、最大ピクセル値（極大点が求められる場合）を有するピクセル、または最小ピクセル値（極小点が求められる場合）を有するピクセルが中心となるように選択されてもよい。例えば、近傍ピクセルのグループは、最大ピクセル値（極大点が求められる場合）を有するピクセル、または最小ピクセル値（極小点が求められる場合）を有するピクセルを中心とする近傍の３×３のピクセルを含み得る。

【0018】

パラメトリック関数は、２次元２次関数であってもよい。そのような関数は、以下のパラメトリック形式で書かれ得る。
ｆ（ｘ，ｙ）＝Ａｘ^２＋Ｂｙ^２＋Ｃｘｙ＋Ｄｘ＋Ｅｙ＋Ｆ
２次元２次関数は、６個のパラメータによって記述される。したがって、パラメトリック関数は、近傍ピクセルのグループ内に少なくとも６個のピクセルが存在する限り、近傍ピクセルのグループのピクセル値に適合され得る。このパラメトリック関数は、閉形式の式を用いて近傍ピクセルのグループのピクセル値に適合され得るということにおいて有利である。したがって、それは計算上効率的な選択である。しかしながら、他のパラメトリック関数が、その利点をなおも達成しつつ使用されてもよいと理解されるべきである。

【0019】

パラメトリック関数は、最小二乗法を用いて近傍ピクセルのグループのピクセル値に適合されてもよい。これは、近傍ピクセルのグループのピクセル値と近傍ピクセルのグループのピクセルの位置において評価されたパラメトリック関数との間の二乗された差の合計を最小化することを含む。近傍ピクセルのグループ内のピクセル数が、パラメトリック関数内のパラメータ数を超えるときであっても、これは、近傍ピクセルのグループのピクセル値にパラメトリック関数を適合するのに計算上効率的な手法である。

【0020】

近傍ピクセルのグループのピクセル値に対するパラメトリック関数の適合は、方程式系を解いてパラメトリック関数を定義するパラメータを見つけることを伴い得る。方程式系は、グループ内のピクセル毎に、ピクセルの値をピクセルの位置において評価されたパラメトリック関数の値と等しくすることによって定義され得る。系の解は、例えば、前述した最小二乗法を用いることによって見つけられ得る。方程式系を解くことは、近傍ピクセルのグループのピクセル値の線形結合を形成して、パラメトリック関数を定義するパラメータを見つけることを含み得る。方法を計算上効率的にするために、線形結合の係数が、デバイスに予め記憶されていてもよい。このやり方では、係数は、事前に評価され、方法が実行される度に評価される必要はない。

【0021】

上記で説明したように、方法は、許容できるパラメトリック関数の適合が達成されるまで、近傍ピクセルのグループからピクセルを反復的に除去する。特に、外れ値と考えられ得るピクセルが除去され得る。このやり方では、適合に対するノイズの影響が、低減され得る。これは、異なる方法で行われてもよい。例えば、ステップｄ）において、近傍ピクセルのグループのピクセル値から形成される平均から最も逸脱するピクセル値を有するピクセルが、除去されてもよい。平均は、いくつかの場合において、近傍ピクセルのグループの中心ピクセルのピクセル値を省くことによって計算されてもよい。これは、中心ピクセルが、典型的には、最大（極大点の場合）、または最小（極小点の場合）ピクセル値を有するピクセルとして選ばれているという事実に基づいている。このやり方では、平均は、中心ピクセルを囲むピクセルの平均を反映する。

【0022】

提案される方法は、サブピクセル位置の推定だけでなく、推定の不確実性レベルも提供する。不確実性レベルは、ステップｄ）において定義される２つのチェックを通過するために必要な反復数に関して与えられる。不確実性レベルは、推定がどのくらい信頼できるかを反映し、信頼性は、不確実性レベルが低下するとともに上昇する。したがって、不確実性レベルは、サブピクセル位置の推定がどのくらい信頼できるかの尺度である。不確実性レベルの知識は、推定されたサブピクセル位置のさらなる処理において用いられ得る。より具体的には、方法は、推定されたサブピクセル位置を処理することをさらに含み、推定されたサブピクセル位置に関連付けられた不確実性レベルが、処理の間、推定されたサブピクセル位置、または推定されたサブピクセル位置から計算される数量に加重するために使用され、高い不確実性レベルが、低い不確実性レベルよりも低い重みに対応する。このやり方では、推定されたサブピクセル位置、または推定されたサブピクセル位置から計算される数量が、その信頼性に従って加重され得る。このようにして、ノイズの影響が、処理の間低減され得る。

【0023】

提案される方法は、例えば、衛星または顕微鏡画像からの物体定位を含む様々な適用例に使用され得る。そのような適用例では、方法に入力される画像が、センサによってキャプチャされてもよい。例えば、画像は、可視光画像、赤外線画像、または熱画像であってもよい。しかしながら、別のグループの適用例では、画像は、その代わりに２次元グリッド上に提供される計算された信号値に対応する。

【0024】

そのような適用例は、物体検出に関する。そのような適用例では、画像信号値が、物体検出器からの出力であるスコアに対応してもよい。スコアは、画像内のピクセル位置において物体が存在する可能性を反映し得る。提案される方法を物体検出器からのスコアを有する画像に適用することによって、画像内の物体の位置が、サブピクセル精度で判定され得る。判定されたサブピクセル位置の処理は、不確実性レベルを重みとして用いる、位置の平滑化に対応してもよい。

【0025】

そのような別の適用例は、ステレオカメラに関する。ステレオカメラでは、第１のセンサおよび第２のセンサがそれぞれ、わずかに異なるビュー角度から、場面の画像をキャプチャする。２つの画像内の合致する特徴を見つけることによって、例えば、場面における深度、すなわち、場面内の物体までの距離を計算してもよい。提案される方法は、画像のステレオペアのうちの第１の画像と第２の画像との間の特徴をマッチングするプロセスにおいて使用されてもよい。特に、提案される方法は、サブピクセル精度および関連する不確実性レベルで、合致する特徴の位置を見つけるために使用され得る。

【0026】

ステレオにおいて、提案される方法に入力される画像は、相関マップに対応してもよい。相関マップは、画像のステレオペアの第１の画像内のピクセル近傍のピクセル値を、画像のステレオペアの第２の画像内のピクセル値とマッチングする（例えば、相関させる）ことによって生成され得る。したがって、相関マップは、第２の画像内のピクセル位置に対応する２次元グリッド上に定義される。さらに、相関マップの信号値は、第１の画像内の特定のピクセルの値が、第２の画像のピクセル値とどのくらいうまく合致しているかを示す。提案される方法が、入力として相関マップとともに使用されるとき、画像内の極値点のサブピクセル位置が、したがって、第１の画像内のピクセルに最も合致する第２の画像内のサブピクセル位置に対応する。

【0027】

この手法は、よって、ステレオペアの第１の画像内の特定のピクセルに最も合致する、第２の画像内のサブピクセル位置、および関連する不確実性レベルを推定する。この手続は、ステレオペアの第１の画像内の複数のピクセルについて繰り返され得る。より具体的には、方法は、画像のステレオペアの第１の画像内の複数のピクセルのそれぞれについて、ピクセルの近傍のピクセル値を第２の画像内のピクセル値とマッチングすることによって、ピクセルに対応する相関マップを生成することと、ピクセルに最も合致する第２の画像内のサブピクセル位置を推定するように、ピクセルに対応する相関マップについて、ステップａ）〜ｆ）を実行することとをさらに含んでもよく、第２の画像内のサブピクセル位置は、不確実性レベルに関連付けられている。このようにして、第２の画像内のサブピクセル位置、および関連する不確実性レベルが、第１の画像内の複数のピクセルのそれぞれについて推定される。

【0028】

複数のピクセルは、第１の画像内の全てのピクセルに対応してもよい。複数のピクセルは、第１の画像内の特定領域に対応してもよい。代替的に、または追加的に、画像のステレオペアの第１の画像内の複数のピクセルが、場面内の同一物体を描いてもよい。

【0029】

方法は、画像のステレオペアの第１の画像内の複数のピクセルに対応する、推定されたサブピクセル位置を処理することをさらに含み得る。推定されたサブピクセル位置に関連付けられた不確実性レベルは、処理中に重みとして使用されてもよく、高い不確実性レベルに関連付けられたサブピクセル位置から計算される数量は、低い不確実性レベルに関連付けられたサブピクセル位置から計算される数量よりも低い重みを与えられる。このやり方では、第１の画像と第２の画像との間の信頼性の低い合致は、信頼性のより高い合致よりも低い重みを与えられ得る。このようにして、ノイズの影響が、低減され得る。

【0030】

サブピクセル位置から計算される数量は、サブピクセル位置と第１の画像内の対応するピクセルの位置との間の差として計算される、不均衡値を含み得る。その結果、異なる不均衡値が、これらの値の信頼性に従って異なる重みを与えられ得る。これは、結果的にノイズの影響を低減させることとなる。例えば、処理することは、推定されたサブピクセル位置から計算される不均衡値の加重平均を計算することを含んでもよく、高い不確実性レベルに関連付けられたサブピクセル位置から計算された不均衡値は、低い不確実性レベルに関連付けられたサブピクセル位置から計算された不均衡値よりも低い重みを与えられる。これは、例えば、不均衡マップを平滑化することに関連して有用であり得る。

【0031】

サブピクセル位置から計算される数量は、サブピクセル位置と、第１の画像内の対応するピクセルの位置とに基づいて計算される深度値を含んでもよく、深度値は、第１の画像内のピクセルによって描かれる、場面内の物体への距離に対応する。したがって、異なる深度値は、これらの値の信頼性に従って異なる重みを与えられてもよい。これは、結果的にノイズの影響を低減させることとなる。

【0032】

例えば、画像のステレオペアの第１の画像内の複数のピクセルに対応する、推定されたサブピクセル位置を処理することは、画像のステレオペアの第１の画像内の複数のピクセル毎に、第１の画像内のピクセルの位置、およびピクセルに最も合致する第２の画像内のサブピクセル位置に基づいてピクセルの深度値を計算することと、第２の画像内のサブピクセル位置に関連付けられた不確実性レベルに深度値を関連付けることと、を含んでもよい。このやり方では、計算された深度値は、不確実性レベルに関連付けられてもよく、それによって深度値がどのくらい信頼性があるかの尺度を提供する。深度値に関連付けられた不確実性レベルは、深度値を処理するときに使用されてもよい。例えば、より高い重みは、より高い不確実性レベルを有する深度値と比較してより低い不確実性レベルを有する深度値に与えられてもよい。

【0033】

処理することは、画像のステレオペアの第１の画像内の複数のピクセルに対応する深度値の加重平均を計算することをさらに含んでもよく、高い不確実性レベルを有するサブピクセル位置から計算される深度値が、低い不確実性レベルを有するサブピクセル位置から計算される深度値よりも低い重みが与えられる。このやり方では、深度値は、それらの信頼性に従って加重される。このやり方では、深度値におけるノイズの影響が、低減され得る。これは、例えば、画像の特定領域に対する深度を計算するときに使用されてもよい。これは、深度マップを平滑化する目的にも有用であり得る。そのとき、より信頼性の高い深度値は、より信頼性の低い深度値よりも、最終結果に対して高い影響を有することとなる。

【0034】

深度値の加重平均は、画像のステレオペアの第１の画像内の複数のピクセルに対応する深度値に空間フィルタを適用することによって計算されてもよい。空間フィルタは、深度値を平滑化する平滑化フィルタであってもよい。空間フィルタのパラメータは、不確実性レベルに依存して設定されてもよい。

【0035】

サブピクセル位置から計算される数量は、３次元空間内の点を含んでもよく、３次元空間内の点は、サブピクセル位置および第１の画像内の対応するピクセルの位置に基づいて計算される。その結果、３次元空間内の異なる点が、これらの点の信頼性に従って異なる重みを与えられ得る。これは、結果的にノイズの影響を低減させることとなる。

【0036】

いくつかの適用例では、場面を描くステレオ画像のペアに基づいて、場面内の３次元物体の形状を推定することに関心がある。これは、ステレオ画像の第１における物体を描く複数のピクセルを識別すること、ステレオ画像の第２とのステレオマッチングの結果に基づいて、複数のピクセルに対応する３次元空間内の点を計算すること、および３次元空間内の計算された点に物体テンプレートを適合することによって、達成され得る。提案される方法を使用することによって、推定の不確実性レベルが、物体テンプレートを適合するプロセスにおいて重みとして使用されてもよく、それによって、適合がノイズにあまり影響を受けないようにする。より詳細には、画像のステレオペアの第１の画像内の複数のピクセルが、場面内の同一物体を描いてもよく、処理することが、
画像のステレオペアの第１の画像内の複数のピクセルに対応する３次元空間内の複数の点を計算することであって、３次元空間内の各点が、第１の画像内の対応するピクセルの位置、および第１の画像内のピクセルに最も合致する第２の画像内のサブピクセル位置を用いて計算される、３次元空間内の複数の点を計算することと、
３次元空間内の複数の点に３次元物体テンプレートを適合することであって、３次元物体テンプレートが、場面内の物体と同一タイプである物体の外形を定義する、３次元物体テンプレートを適合することと、をさらに含んでもよく、
３次元物体テンプレートを適合するステップにおいて、高い不確実性レベルを有するサブピクセル位置から計算される３次元空間内の点が、低い不確実性レベルを有するサブピクセル位置から計算される３次元空間内の点よりも低い重みを与えられる。

【0037】

第２の態様によれば、上記目的は、パラメトリック関数を用いてノイズが存在する画像内の極値点のサブピクセル位置を推定するデバイスであって、画像内の極値点が、極大点または極小点のいずれかのタイプであり、デバイスは、
ａ）画像内の近傍ピクセルのグループを選択し、近傍ピクセルのグループ内のピクセル数が、パラメトリック関数を定義するパラメータ数よりも大きく、
ｂ）近傍ピクセルのグループのピクセル値にパラメトリック関数を適合し、
ｃ）パラメトリック関数の極値点の位置を識別し、パラメトリック関数の極値点が、極大点、極小点、または鞍点であるタイプであり、
ｄ）パラメトリック関数の極値点が、画像内の極値点と同一タイプであるか、あるいは異なるタイプであるか、およびパラメトリック関数の極値点の位置が、画像内の近傍ピクセルのグループのピクセル位置によって定義される領域内に位置するか、あるいは領域外に位置するかをチェックし、ならびに、
パラメトリック関数の極値点が、画像内の極値点とは異なるタイプであるか、またはパラメトリック関数の極値点の位置が、前記領域外に位置する場合に、
近傍ピクセルのグループからピクセルを除去し、ならびに、
近傍ピクセルのグループ内のピクセル数が、パラメトリック関数を定義するパラメータ数よりも依然として大きいか、または等しい場合、ステップｂ）、ｃ）、およびｄ）を繰り返し、
ｅ）画像内の極値点のサブピクセル位置を、パラメトリック関数の極値点の位置として推定し、
ｆ）推定されたサブピクセル位置を、ステップｂ）、ｃ）、およびｄ）の反復数に対応する不確実性レベルに関連付けるように構成される、プロセッサを備えるデバイスによって達成される。

【0038】

第３の態様によれば、
画像のステレオペアの第１の画像をキャプチャするように構成される、第１の画像センサと、
画像のステレオペアの第２の画像をキャプチャするように構成される、第２の画像センサと、
第２の態様によるデバイスと、
第１の画像内のピクセルの近傍のピクセル値を、画像のステレオペアの第２の画像内のピクセル値とマッチングすることによって、画像のステレオペアから相関マップを生成し、
パラメトリック関数を用いてノイズが存在する相関マップ内の極値点のサブピクセル位置を、デバイスに推定させるように、デバイスへの入力として、相関マップを提供するように構成されるプロセッサと、
を含むステレオカメラシステムが提供される。

【0039】

第４の態様によれば、処理能力を有するデバイスによって実行されるときに、第１の態様の方法を実行するように適合されるコンピュータコード命令を含む、非一時的コンピュータ可読媒体が提供される。

【0040】

第２、第３、および第４の態様は、概して、第１の態様と同一の特徴および利点を有し得る。本発明は、別段の記述が明確にない限り、特徴の全ての可能な組み合わせに関連することに、さらに留意されたい。本明細書で開示される任意の方法のステップは、明示されない限り、開示された正確な順序で実行されなくともよい。

【0041】

上記、ならびに本発明の追加的な目的、特徴、および利点は、添付図面を参照して、以下の例示的かつ非限定的な発明の実施形態の詳細な説明を通してさらに理解される。添付図面において、同一の参照番号が、類似要素に対して使用される。

【図面の簡単な説明】

【0042】

【図1】実施形態による、画像内の極値点のサブピクセル位置を推定するデバイスを示す。

【図2】実施形態による、ステレオカメラシステムを示す。

【図3】実施形態による、画像内の極値点のサブピクセル位置を推定する方法のフローチャートである。

【図4a】実施形態による、画像内の近傍ピクセルのグループを示す。

【図4b】実施形態による、図４ａに示される近傍ピクセルのグループのピクセル値に対するパラメトリック関数の適合を示す。

【図4c】実施形態による、図４ａに示される近傍ピクセルのグループのピクセル値に対するパラメトリック関数の適合を示す。

【図4d】実施形態による、図４ａに示される近傍ピクセルのグループのピクセル値に対するパラメトリック関数の適合を示す。

【図5】実施形態による、場面内の物体を描くステレオ画像のペアを概略的に示す。

【発明を実施するための形態】

【0043】

本発明は、ここで、添付図面を参照して以下でより完全に説明される。添付図面において、本発明の実施形態が示されている。本発明は、しかしながら、多くの異なる形態で具現化されてもよく、本明細書で述べる実施形態に限定されると解釈されるべきではない。むしろ、これらの実施形態は、当業者に対して発明の範囲を完全に伝達するために、徹底的かつ完全に提供される。本明細書で開示されるシステムおよびデバイスは、動作中に説明される。

【0044】

図１は、画像内の極値点のサブピクセル位置を推定するデバイス１００を示す。デバイス１００は、プロセッサ１０２を含む。プロセッサは、中央処理装置、マイクロプロセッサ、デジタル信号プロセッサなどの、任意の既知のタイプのものであってもよい。デバイス１００は、メモリ１０４をさらに含む。メモリ１０４は、不揮発性メモリなどの非一時的コンピュータ可読媒体であってもよい。コンピュータコード命令は、メモリ１０４に記憶されてもよい。コンピュータコード命令は、プロセッサ１０２によって実行されるときに、本明細書に開示される任意の方法をプロセッサ１０２に実行させる。特に、デバイス１００に入力される、画像内の極値点のサブピクセル位置を推定する方法をプロセッサ１０２に実行させる。

【0045】

図２は、デバイス１００が使用され得るシステム２００を示す。システム２００は、ステレオカメラシステム２００である。システム２００は、第１の画像センサ２０２、第２の画像センサ２０４、マッチングコンポーネント２０６、および画像内の極値点のサブピクセル位置を推定する図１のデバイス１００を含む。

【0046】

第１の画像センサ２０２および第２の画像センサ２０４は、異なるビュー角度から場面の画像を同時にキャプチャするように配置される。第１の画像センサ２０２によってキャプチャされる第１の画像２０３、および第２のセンサ２０４によってキャプチャされる第２の画像２０５は、画像のステレオペアを形成する。第１の画像センサ２０２および第２の画像センサ２０４は、任意の既知のステレオカメラの画像センサであってもよい。例えば、画像センサは、ＡＸＩＳ Ｐ８８０４ステレオセンサキットの一部であってもよい。

【0047】

第１の画像センサ２０２および第２の画像センサ２０４は、マッチングコンポーネント２０６に動作可能に接続される。特に、第１のセンサ２０２および第２のセンサ２０４によってキャプチャされる第１の画像２０３および第２の画像２０５は、マッチングコンポーネント２０６に入力として提供される。マッチングコンポーネント２０６は、プロセッサを含む。プロセッサは、中央処理装置、マイクロプロセッサ、デジタル信号プロセッサなどの、任意の既知のタイプのものであってもよい。マッチングコンポーネント２０６は、不揮発性メモリなどの非一時的コンピュータ可読媒体であり得るメモリをさらに含んでもよい。マッチングコンポーネント２０６のメモリは、コンピュータコード命令を記憶し得る。これらのコンピュータコード命令が、マッチングコンポーネント２０６のプロセッサによって実行されるとき、相関マップ２０７を生成および出力するように、プロセッサに、第１の画像２０３内のピクセル値を第２の画像２０５内のピクセル値とマッチングさせる。

【0048】

マッチングコンポーネント２０６は、デバイス１００に動作可能に接続されている。特に、マッチングコンポーネント２０６によって生成される相関マップ２０７は、デバイス１００に入力される。その結果、デバイス１００は、相関マップ内の極値点のサブピクセル位置を推定するように構成される。

【0049】

マッチングコンポーネント２０６は、デバイス１００内に統合されてもよい。特に、プロセッサ１０２およびメモリ１０４は、第１の画像２０３および第２の画像２０５内のピクセル値を両方マッチングして相関マップを生成し、その後、相関マップ内の極値点のサブピクセル位置を推定するように構成され得る。

【0050】

デバイス１００の動作は、図１、図４、および図３のフローチャートを参照して、以下でより詳細に説明される。

【0051】

画像は、デバイス１００に入力される。説明されるように、デバイス１００は、画像を処理して、画像内の極値点のサブピクセル位置の推定、および推定の不確実性レベルを提供する。以下では、画像内の極値点が極大点であると仮定する。しかしながら、画像内の極値点は、同様に極小点であってもよいと理解される。

【0052】

ステップＳ０２において、プロセッサ１０２は、画像内の近傍ピクセルのグループを選択する。これは、図４ａにおいてさらに示され、図４ａは、画像４００および選択された近傍ピクセルのグループ４０２を示す。示される近傍ピクセルのグループ４０２は、３×３ピクセルを含むが、５×５ピクセルまたは７×７ピクセルなどの、より大きな近傍ピクセルのグループが選択されてもよいと理解される。近傍ピクセルのグループ４０２を選択するために、プロセッサ１０２は、画像４００内の１つまたは複数の極大値を識別してもよい。極大値は、各近傍ピクセルのピクセル値よりも大きいピクセル値を有する画像４００内のピクセルとして識別され得る。そのような極大値は、図４ａの右部分において示され、その８つの近傍のピクセル値を超えるピクセル値４０３ａを有するピクセル４０２ａを示している。近傍ピクセルのグループ４０２は、極大値として識別されるピクセルを含むように選択されてもよい。例えば、近傍ピクセルのグループ４０２は、グループの中心ピクセルが極大値として識別されるピクセル４０２ａに対応するように、選択されてもよい。図示される例では、３×３ピクセル近傍４０２の中心ピクセルは、極大値として識別されるピクセル４０２ａに対応し、他の８個のピクセルは、極大値として識別されるピクセル４０２ａの８個の近傍に対応する。この例では、近傍ピクセルのグループ４０２の中心の値は、最も大きい。近傍ピクセルのグループ４０２内のピクセル値４０３は、画像内のピークから測定されるということ、および本当のピーク座標は、例えば、近傍ピクセルのグループ４０２内のサブピクセル位置において、これらの測定値の間に空間的に位置するということが仮定される。以下の説明について、一般性を失うことなく、グループ４０２の中心ピクセルは、（０，０）に位置するということ、および他の位置は、１の範囲内にあるということが仮定される。しかしながら、他の仮定も同様に可能であると理解される。したがって、近傍ピクセルのグループ４０２内のピクセル位置は、以下のように仮定される。

近傍ピクセルのグループ４０２内のピクセル位置は、領域４０７を定義する。領域４０７は、グループ内のピクセルのピクセル位置にかかっている。言い換えると、領域４０７は、近傍ピクセルのグループ４０２のピクセル位置の間にある全ての空間的位置を含む。この場合、領域４０７は、したがって、全ての空間的位置（ｘ，ｙ）を含み、その場合に、｜ｘ｜＜１、かつ｜ｙ｜＜１である。

【0053】

さらに、以下の説明において、グループ４０２内のピクセル位置に対応するピクセル値４０３が、以下によって記述される。

【0054】

１つよりも多くの極大値が識別される場合、近傍ピクセルのグループ４０２は、最大値として識別される（すなわち、画像内の最大ピクセル値を有する）ピクセルを含むように選択されてもよい。代替的に、または追加的に、近傍ピクセルの複数のグループが選択されてもよく、各グループは、１つの識別された極大値に対応する。以下で説明されるステップは、その際、近傍ピクセルの選択されたグループ毎に個々に繰り返されてもよい。

【0055】

画像内の極値点が、その代わりに極小点であった場合、プロセッサ１０２は、その代わりに画像４００内の１つまたは複数の極小値を識別し、極小値として識別されるピクセルを含むように近傍ピクセルのグループを選択してもよい。極小値は、各近傍ピクセルのピクセル値よりも小さいピクセル値を有する画像内のピクセルとして識別されてもよい。

【0056】

ステップＳ０４において、プロセッサ１０２は、近傍ピクセルのグループ４０２のピクセル値４０３にパラメトリック関数を適合する。適合は、結果となるパラメトリック関数が、近傍ピクセルのグループ４０２のピクセル値４０３を（例えば、最小二乗の意味で）空間位置の関数として可能な限り良く近似するように、パラメトリック関数のパラメータを推定することを含む。図４ｂは、近傍ピクセルのグループ４０２のピクセル値４０３に適合されているパラメトリック関数４０４を示す。パラメトリック関数は、２次元２次関数であってもよいが、他のパラメトリック関数が同様に使用されてもよい。そのような関数は、６個のパラメータ、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆを用いて、下記のパラメトリック形式で書かれ得る。
ｆ（ｘ，ｙ）＝Ａｘ^２＋Ｂｙ^２＋Ｃｘｙ＋Ｄｘ＋Ｅｙ＋Ｆ
２次元２次関数は、６個のパラメータによって記述されるため、近傍ピクセルのグループ４０２内に少なくとも６個のピクセルが存在する限り、パラメトリック関数は、近傍ピクセルのグループ４０２のピクセル値４０３に適合され得る。

【0057】

プロセッサ１０２は、未知のパラメータおよび近傍ピクセルのグループ４０２のピクセル値４０３に関して表される方程式系を解くことによって、パラメトリック関数のパラメータを推定してもよい。例えば、３×３の近傍ピクセルのグループ４０２の９個の利用可能なサンプル（ｚ_１，ｚ_２，ｚ_３，ｚ_４，ｚ_５，ｚ_６，ｚ_７，ｚ_８，ｚ_９）全てを用いて、かつ２次元２次関数の上式に代入して、以下の９個の方程式系が公式化され得る。
Ａ＋Ｂ＋Ｃ−Ｄ−Ｅ＋Ｆ＝ｚ_１
Ｂ−Ｅ＋Ｆ＝ｚ_２
Ａ＋Ｂ−Ｃ＋Ｄ−Ｅ＋Ｆ＝ｚ_３
Ａ−Ｄ＋Ｆ＝ｚ_４
Ｆ＝ｚ_５
Ａ＋Ｄ＋Ｆ＝ｚ_６
Ａ＋Ｂ−Ｃ−Ｄ＋Ｅ＋Ｆ＝ｚ_７
Ｂ＋Ｅ＋Ｆ＝ｚ_８
Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ＝ｚ_９
未知数よりも多くの方程式が存在するため、この方程式系は優決定系である。解を見つけるために、最小二乗法が使用されてもよい。これは、近傍ピクセルのグループ４０２のピクセル値４０３と、近傍ピクセルのグループ４０２のピクセルの位置において評価されたパラメトリック関数４０４との間の二乗された差の合計を最小化することを含む。言い換えると、解は、最小二乗の意味において、以下の最小二乗対象を最小化することによって見つけられ得る。
Θ（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ）＝（Ａ＋Ｂ＋Ｃ−Ｄ−Ｅ＋Ｆ−ｚ_１）^２
＋（Ｂ−Ｅ＋Ｆ−ｚ_２）^２
＋（Ａ＋Ｂ−Ｃ＋Ｄ−Ｅ＋Ｆ−ｚ_３）^２
＋（Ａ−Ｄ＋Ｆ−ｚ_４）^２
＋（Ｆ−ｚ_５）^２
＋（Ａ＋Ｄ＋Ｆ−ｚ_６）^２
＋（Ａ＋Ｂ−Ｃ−Ｄ＋Ｅ＋Ｆ−ｚ_７）^２
＋（Ｂ＋Ｅ＋Ｆ−ｚ_８）^２
＋（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ−ｚ_９）^２
偏導関数

、

、

、

、

を見つけること、およびそれぞれをゼロに設定することによって、明示的に解かれ得る方程式系につながる。この場合、解は、

である。その結果、方程式系を解いてパラメータを見つけることは、近傍ピクセルのグループ４０２のピクセル値（ｚ_１，ｚ_２，ｚ_３，ｚ_４，ｚ_５，ｚ_６，ｚ_７，ｚ_８，ｚ_９）の線形結合を形成することを含む。線形結合の係数は、予め計算され、デバイス１００内、例えば、メモリ１０４内に記憶されることが好ましい。

【0058】

パラメトリック関数４０４を適合させると、プロセッサ１０２は、続けてパラメトリック関数４０４の極値点４０６の空間位置４０５ｂ（図４ｂにおいて「Ｘ」によって示される）を識別する。パラメトリック関数４０４の極値点とは、偏導関数

および

がゼロに等しい点を意味する。言い換えると、極値点とは、パラメトリック関数４０４の停留点を意味する。パラメトリック関数４０４が上述の２次元２次方程式である場合、その極値点の空間位置（ｘ^＊，ｙ^＊）は、以下に等しい。

【0059】

周知のように、２つの変数の関数の停留点は、極大点、極小点、または鞍点であり得る。方法が、極大点のサブピクセル位置を推定することを目的とする場合、適合されるパラメトリック関数の極値点もまた、極大点であることが望ましい。同様に、方法が、代わりに極小点のサブピクセル位置を推定することを目的とする場合、適合されるパラメトリック関数の極値点は、極小点であることが望ましい。したがって、ステップＳ０８ａにおいて、プロセッサ１０２は、パラメトリック関数４０４の極値点４０６が画像４００内の極値点と同一タイプであるかどうかをチェックする。言い換えると、プロセッサ１０２が、画像４００内の極大点のサブピクセル位置を推定することを目的としている場合、プロセッサ１０２は、ステップＳ０８ａにおいて、パラメトリック関数４０４の極値点４０６の空間位置４０５が、極大点か否かをチェックする。このチェックは、本明細書において極大チェックと呼ばれる。

【0060】

関数の極大点を見つけることは、導関数がゼロである場所、ならびに、

、ｆ_ｘｘ＜０、およびｆ_ｙｙ＜０であるときである。ここで、

、

、

である。２次元２次関数については、ｆ_ｘｘ＝２Ａ、ｆ_ｙｙ＝２Ｂ、およびｆ_ｘｙ＝Ｃである。よって、２次元２次関数について、プロセッサ１０２は、極値点４０６が、極大点であるかどうかを以下の条件をチェックすることによってチェックし得る。
４ＡＢ−Ｃ^２＞０
２Ａ＜０
２Ｂ＜０
極小についての対応する条件は、

、ｆ_ｘｘ＞０、およびｆ_ｙｙ＞０であり、２次元２次関数については、以下のようになる。
４ＡＢ−Ｃ^２＜０
２Ａ＞０
２Ｂ＞０
図４ｂの例において、プロセッサ１０２は、極値点４０６が極大点であり、したがって画像４００内の極値点と同一タイプであると分かる。パラメトリック関数４０４が、複数のローカル極値点を有し得る場合、プロセッサは、極値点４０６が、画像内の極値点と同一タイプである、パラメトリック関数の単一グローバル極値点であるかどうかもチェックしてもよい。

【0061】

プロセッサ１０２は、また、ステップＳ０８ｂにおいて、パラメトリック関数４０４の極値点４０６の空間位置４０５ｂが、画像４００内の近傍ピクセルのグループ４０２のピクセル位置によって定義される領域４０７内に位置するか、あるいは領域４０７外に位置するかをチェックする。このチェックは、本明細書において定位チェックと呼ばれる。ステップＳ０８ａおよびＳ０８ｂは、任意の順序で行われ得ると理解される。上記で導入された近傍ピクセルのグループ４０２についての範囲［−１，１］における座標系を使用すると、プロセッサ１０２は、したがって、条件｜ｘ^＊｜＜１、｜ｙ^＊｜＜１が満たされるかどうかをチェックし得る。

【0062】

ステップＳ０８ａの極大チェックと、ステップＳ０８ｂの定位チェックの両方を通過する場合（すなわち、パラメトリック関数４０４の極値点４０６が画像４００内の極値点と同一タイプであり、パラメトリック関数４０４の極値点４０６の空間位置４０５ｂが領域４０７内に位置する場合）、プロセッサ１０２は、ステップＳ１０に進む。

【0063】

一方、ステップＳ０８ａの極大チェック、およびステップＳ０８ｂの定位チェックのいずれかが失敗である場合（すなわち、パラメトリック関数４０４の極値点４０６が画像４００内の極値点とは異なるタイプであり、および／またはパラメトリック関数４０４の極値点４０６の空間位置４０５ｂが領域４０７外に位置する場合）、プロセッサ１０２は、代わりにステップＳ０８ｃに進む。極値点４０６の空間位置４０５ｂが、領域４０７外に位置し、したがって定位チェックに落ちるため、図４ｂの例はこのケースである。パラメトリック関数４０４の極値点４０６が、単一の最大値（または最小値）ではないと分かる場合、プロセッサ１０２は、また、ステップＳ０８ｃに進み得る。

【0064】

ステップＳ０８ｃにおいて、プロセッサ１０２は、近傍ピクセルのグループからピクセルを除去する。除去の背後にある意図は、外れ値を除去すること、および新たな試行を行ってパラメトリック関数を適合することである。外れ値を有するピクセルを識別する多くの方法が存在する。例えば、プロセッサ１０２は、近傍ピクセルのグループのピクセル値から形成される平均から最も逸脱するピクセル値を有するピクセルを除去してもよい。平均を形成するとき、近傍ピクセルのグループ４０２の中心にあるピクセル値ｚ_５が省かれてもよい。より具体的には、長さＫ＝８の配列ｋ＝［１，２，３，４，６，７，８，９］を、外れ値を除去するためのピクセル値ｚの可能なインデックスであると考える。このとき、

から分かるｋ^＊（ｉ）は、近傍ピクセルのグループ４０２から除去されるべきピクセルである。これが、図４ｂの例に適用される場合、プロセッサは、ｋ^＊（ｉ）＝４に到達し、よって、続けて図４ｂにおける数４０３ｂを有するピクセル値に対応するピクセル値ｚ_４を除去する。プロセッサ１０２は、配列からインデックスｋ^＊（ｉ）を除去することによって、次の反復のために配列をさらに更新してもよい。したがって、ｋ^＊（ｉ）＝４の場合、新たな配列は、長さＫ＝７のｋ＝［１，２，３，６，７，８，９］となる。

【0065】

ステップＳ０８ｃにおいて、プロセッサ１０２は、次いで、近傍ピクセルのグループ４０２内の残りのピクセル数が、パラメトリック関数４０４を定義するパラメータ数よりも依然として大きいか、または等しいかをチェックする。

【0066】

この条件が満たされない場合、パラメトリック関数を適合することは不可能であるため、方法は終了する。その場合、方法は、近傍ピクセルのグループ４０２の中心ピクセルの座標を極値点のサブピクセル位置の推定として、すなわち、例における座標（０，０）を出力してもよい。推定されたサブピクセル位置の関連する不確実性レベルは、そのとき、ステップＳ０４、Ｓ０６、Ｓ０８ａ〜ｄの反復数＋１に対応して設定されてもよい。

【0067】

一方、条件が満たされる場合、プロセッサ１０２は、続けて上述のようにステップＳ０４、Ｓ０６、およびＳ０８ａ〜ｄを繰り返す。

【0068】

図４ｂの例では、ピクセル４０３ｃの除去後の残りのピクセル数は、８に等しい。したがって、６個のパラメータを有する２次元２次関数を適合することが可能である。したがって、プロセッサ１０２は、続いてステップＳ０８ａ〜ｄを２回目に繰り返すが、今回は、ピクセル値４０３ｂが除去される。これは、方程式系の１つの方程式が除去されることを意味し、方程式は、

を含む。例えば、ｋ^＊（ｉ）＝４の場合、最小化するための最小二乗対象は、ここで、
Θ（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ）＝（Ａ＋Ｂ＋Ｃ−Ｄ−Ｅ＋Ｆ−ｚ_１）^２
＋（Ｂ−Ｅ＋Ｆ−ｚ_２）^２
＋（Ａ＋Ｂ−Ｃ＋Ｄ−Ｅ＋Ｆ−ｚ_３）^２
＋（Ｆ−ｚ_５）^２
＋（Ａ＋Ｄ＋Ｆ−ｚ_６）^２
＋（Ａ＋Ｂ−Ｃ−Ｄ＋Ｅ＋Ｆ−ｚ_７）^２
＋（Ｂ＋Ｅ＋Ｆ−ｚ_８）^２
＋（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ−ｚ_９）^２
となる。ここでも、方程式系は、前述したのと同一の方法論で明示的に解かれ得る。この段階において、１つのピクセルが除去されると、近傍ピクセルのグループ４０２には８個のピクセルが残っている。よって、どのピクセルが除去されたかによって、解くための

個の可能な方程式系が存在する。これらの８個の可能な方程式系のそれぞれの解が、デバイス１００内に予め記憶されていることが好ましい。

【0069】

パラメトリック関数４０４の第２の適合の結果が、図４ｃに示されている。図面から明白であるように、パラメトリック関数４０４は、極小点である極値点を有する。したがって、ステップＳ０８ａの極大チェックは失敗し、プロセッサ１０２は、もう一度ステップＳ０８ｃに進んで、上述のように近傍ピクセルのグループ４０２からピクセルを除去することとなる。今回は、図４ｃにおける参照番号４０３ｃに対応するピクセル値ｚ_６を有するピクセルが、グループから除去される。除去後、近傍ピクセルのグループ内には７個のピクセルが残っている。グループ内に残されたピクセル数が、依然としてパラメトリック関数のパラメータ数よりも大きいため、ステップＳ０８ｄの条件に従う。プロセッサ１０２は、したがって、再びステップＳ０４に進み、方程式系を解くことによって、３回目につき、近傍ピクセルのグループ４０２のピクセル値にパラメトリック関数を適合する。この段階において、２つのピクセルが除去され、どのピクセルが除去されたかによって、解くための

個の可能な方程式系が存在する。ここでも、これらの２８個の方程式系に対する解が、デバイス１００内に予め記憶されていることが好ましい。方法がさらなるピクセルを除去する場合、適合の次の段階において、

個の可能な方程式系が存在し、この方程式系に対する解が、デバイス１００内に予め記憶されていることが好ましい。したがって、この例において、デバイス１００は、１＋８＋２８＋５６＝９３個の方程式系に対する解を予め記憶することが好ましい。

【0070】

パラメトリック関数４０４の第３の適合の結果が、図４ｄに示されている。今回は、極値点４０６は、極大点であり、すなわち、画像４００内の極値点と同一タイプである。さらに、パラメトリック関数４０４の極値点４０６の空間位置４０５ｄは、領域４０７内に位置する。したがって、ステップＳ０８ａの極大チェック、およびステップＳ０８ｂの定位チェックの両方を通過する。その結果、プロセッサ１０２は、ステップＳ１０に進む。

【0071】

ステップＳ１０において、プロセッサ１０２は、最後の反復から、画像４００内の極値点のサブピクセル位置をパラメトリック関数４０４の空間位置４０５ｄとして推定する。さらに、ステップＳ１２において、プロセッサ１０２は、推定されたサブピクセル位置を、ステップＳ０４、Ｓ０６、およびＳ０８ａ〜ｂの反復数に対応する不確実性レベルに関連付ける。図４ａ〜ｄの例において、推定されたサブピクセル位置が見つかる前に３回の反復が必要とされたため、推定されたサブピクセル位置に関連付けられる不確実性レベルは、したがって３に等しくなる。

【0072】

推定されたサブピクセル位置および関連する不確実性レベル、または推定されたサブピクセル位置は、デバイス１００の出力であってもよい。典型的には、しかしながら、推定されたサブピクセル位置および関連する不確実性レベルは、さらなる処理のためにデバイスのメモリ内に記憶されてもよい。推定されたサブピクセル位置の処理は、目下の適用例に依存して変化してもよい。しかしながら、適用例についての共通点は、プロセッサ１０２が、処理の間、推定に関連付けられる不確実性レベルを重みとして使用し得るということである。特に、高い不確実性レベルは、低い不確実性レベルよりも低い重みに対応し得る。

【0073】

上記方法の特定の適用例は、ステレオ画像に対するものである。特に、図２と併せて上述したように、デバイス１００は、ステレオカメラシステム２００において、相関マップ内の極値点のサブピクセル位置を推定するために使用されてもよい。システム２００の動作は、ここで、図２および図５を参照してより詳細に説明される。

【0074】

第１の画像センサ２０２は、第１の画像２０３をキャプチャし、第２の画像センサ２０４は、第２の画像２０５をキャプチャする。第１の画像２０３および第２の画像２０５は、画像のステレオペアを形成する。画像２０３、２０５のステレオペアは、マッチングコンポーネント２０６に入力される。マッチングコンポーネント２０６は、第１の画像２０３内のピクセル値を第２の画像２０５内のピクセル値とマッチングする。差の二乗和、絶対差の和、または正規化相互相関を用いるアルゴリズムなどの、任意の既知のローカルステレオマッチングアルゴリズムが、マッチングに使用されてもよい。これらのアルゴリズムの共通点は、第１の画像２０３の一部を第２の画像２０５の異なる部分と比較し、第１の画像２０３の一部が第２の画像２０５の異なる部分にどのくらい類似しているかを判定するということである。第１の画像２０３の一部は、第１の画像２０３内のピクセルの近傍であってもよい。第２の画像２０５の一部は、第２の画像２０５内の異なるピクセルの近傍であってもよい。第２の画像２０５内の異なるピクセルは、第２の画像２０５内の全てのピクセル、または第２の画像２０５内のピクセルのサブセットを含んでもよい。ピクセルの近傍とは、ここでは、ピクセルそれ自体、および画像内のピクセルを囲む１つまたは複数のピクセルを意味する。マッチングコンポーネント２０６は、マッチングの結果を相関マップ２０７に記憶し得る。相関マップ２０７は、したがって、第２の画像２０５の各部分が、第１の画像２０３の特定部分にどのくらい合致しているかを指定する相関値を含む。特に、相関マップ２０７は、第２の画像２０５内の各ピクセルまたはピクセルのサブセットについての相関値を含んでもよい。各相関値は、第２の画像２０５内のピクセルの近傍が、第１の画像２０３内の特定ピクセルの近傍にどのくらい合致しているかを示す。

【0075】

マッチングコンポーネント２０６は、第１の画像２０３内の１つまたは複数のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄについて、そのような相関マップ２０７を生成し得る。第１の画像２０３内の１つまたは複数のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄは、第１の画像２０３内の特定領域に対応し得る。例えば、第１の画像２０３内の１つまたは複数のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄは、第１の画像２０３内の近傍ピクセルのグループであってもよい。いくつかの適用例では、第１の画像２０３内の１つまたは複数のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄは、場面内の同一物体を描いていてもよい。これは、図５の例における場合である。図５において、第１の画像２０３および第２の画像２０５は、ここでは車の形状で、場面内の物体５００を描いている。ここで、第１の画像２０３内の１つまたは複数のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄは、それぞれが車を描いている。マッチングコンポーネント２０６は、上述のように物体５００を描く１つまたは複数のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄのそれぞれについて相関マップ２０７を生成し得る。その結果、１つまたは複数のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄのそれぞれが、それぞれの相関マップ２０７に関連付けられる。

【0076】

第１の画像２０３内の１つまたは複数のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄのそれぞれに対応する相関マップ２０７は、デバイス１００に対する入力として提供され得る。その結果、図４ａと併せて説明される画像４００は、この場合、相関マップ２０７となる。デバイス１００は、図３に関して説明される方法に従って、各相関マップ２０７を処理する。その結果、デバイス１００は、各相関マップ２０７内の極大点のサブピクセル位置を推定するだけでなく、推定されたサブピクセル位置の不確実性レベルを推定する。言い換えると、デバイス１００は、第１の画像２０３内の１つまたは複数のピクセルのそれぞれについて、ピクセルに最も合致する第２の画像２０５内のサブピクセル位置を推定する。図５の例を参照すると、サブピクセル位置５０４ａ、５０４ｂ、５０４ｃ、５０４ｄが、１つまたは複数のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄのそれぞれについて推定される。サブピクセル位置５０４ａ、５０４ｂ、５０４ｃ、５０４ｄの関連する不確実性レベルは、この例では、それぞれ１、３、２、１であると仮定される。

【0077】

次いで、デバイス１００のプロセッサ１０２は、続けて１つまたは複数のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄに対応する推定されたサブピクセル位置５０４ａ、５０４ｂ、５０４ｃ、５０４ｄを処理し得る。処理の間、プロセッサ１０２は、サブピクセル位置５０４ａ、５０４ｂ、５０４ｃ、５０４ｄに関連付けられた不確実性レベルを使用して、サブピクセル位置またはサブピクセル位置から計算される任意の数量に加重してもよい。プロセッサ１０２は、あまり確実でない推定よりも、より確実な推定により高い重みを与える。図５の例では、サブピクセル位置５０４ａおよび５０４ｄ（不確実性レベル＝１を有する）、またはサブピクセル位置５０４ａおよび５０４ｄから導出される任意の数量は、サブピクセル位置５０４ｃ（不確実性レベル＝２を有する）、またはサブピクセル位置５０４ｃから導出される任意の数量よりも高い重みを与えられる。サブピクセル位置５０４ｃ、またはサブピクセル位置５０４ｃから導出される任意の数量は、同様に、サブピクセル位置５０４ｂ（不確実性レベル＝３を有する）、またはサブピクセル位置５０４ｂから導出される任意の数量よりも高い重みを与えられる。

【0078】

例によれば、推定されたサブピクセル位置５０４ａ、５０４ｂ、５０４ｃ、５０４ｄから導出される数量は、不均衡値である。より具体的には、プロセッサ１０２は、１つまたは複数のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄのうちのそれぞれについて不均衡値を計算してもよい。不均衡値は、第１の画像２０３内のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄのうちの１つの位置と、第２の画像２０５内の対応するサブピクセル位置５０４ａ、５０４ｂ、５０４ｃ、５０４ｄとの間の差として計算される。各不均衡値は、不均衡値を計算するときに使用されるサブピクセル位置の不確実性レベルに関連付けられてもよい。プロセッサ１０２は、次いで、計算された不均衡値を平滑化してもよい。これは、不均衡値の加重平均を計算することを含み得る。加重平均を計算するときに、高い不確実性レベルに関連付けられている不均衡値は、低い不確実性レベルに関連付けられている不均衡値よりも低い重みが与えられる。

【0079】

例によれば、推定されたサブピクセル位置５０４ａ、５０４ｂ、５０４ｃ、５０４ｄから導出される数量は、深度値である。より詳細には、プロセッサ１０２は、１つまたは複数のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄのうちのそれぞれについて深度値を計算してもよい。当技術分野において既知のように、画像センサと焦点距離との間の距離が既知であるときに、深度値は、２つのステレオ画像の間の点対応から計算され得る。より詳細には、深度は、焦点距離と、不均衡値によって割られるセンサ間の距離との積として計算され得る。プロセッサ１０２は、深度値を計算するときに使用されるサブピクセル位置の不確実性レベルに各深度値に関連付けてもよい。プロセッサ１０２は、計算された深度値を平滑化してもよい。これは、深度値の加重平均を計算することを含み得る。加重平均を計算するとき、高い不確実性レベルに関連付けられている深度値は、低い不確実性レベルに関連付けられている深度値よりも低い重みが与えられる。

【0080】

１つまたは複数のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄが、第１の画像２０３の全てのピクセルに対応するとき、計算された深度値は、深度マップを形成すると言ってもよい。この深度マップは、空間フィルタを用いて平滑化されてもよい。空間フィルタの係数は、上記重みに対応してもよく、深度値に関連付けられた不確実性レベルを用いて設定されてもよい。

【0081】

１つまたは複数のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄが第１の画像２０３の特定領域に対応するとき、その特定領域についての深度の加重された領域が計算されてもよい。

【0082】

例によれば、推定されたサブピクセル位置５０４ａ、５０４ｂ、５０４ｃ、５０４ｄから導出される数量は、３次元空間内の点である。より具体的には、プロセッサ１０２は、第１の画像２０３内の１つまたは複数のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄ、および第２の画像２０５内の対応するサブピクセル位置５０４ａ、５０４ｂ、５０４ｃ、５０４ｄを使用して、１つまたは複数のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄに対応する３次元空間内の点５０６ａ、５０６ｂ、５０６ｃ、５０６ｄを計算してもよい。当技術分野において既知のように、第１の画像２０３内のピクセルに対応する３次元空間内の点の座標は、ピクセルの位置および深度値から計算され得る。プロセッサ１０２は、計算された点５０６ａ、５０６ｂ、５０６ｃ、５０６ｄのそれぞれを、点の座標を計算するときに使用されたサブピクセル位置の不確実性レベルに、さらに関連付けてもよい。１つまたは複数のピクセル５０２ａ、５０２ｂ、５０２ｃ、５０２ｄが、同一の物体５００を描く場合、計算された点５０６ａ、５０６ｂ、５０６ｃ、５０６ｄが、場面内の物体５００上の点の推定となる。

【0083】

プロセッサ１０２は、点５０６ａ、５０６ｂ、５０６ｃ、５０６ｄを処理してもよい。処理の間、プロセッサ１０２は、点５０６ａ、５０６ｂ、５０６ｃ、５０６ｄの関連する不確実性レベルを使用して、点に加重してもよい。高い不確実性レベルを有する点は、低い不確実性レベルを有する点よりも低い重みが与えられる。図５に示されるように、点５０６ａ、５０６ｂ、５０６ｃ、５０６ｄを処理することは、点５０６ａ、５０６ｂ、５０６ｃ、５０６ｄに物体テンプレート５０８を適合することを含んでもよい。物体テンプレート５０８は、場面内の本物の物体５００と同一タイプの物体の外形を定義する。この場合、物体テンプレート５０８は、車の外形を定義する。しかしながら、他の適用例では、物体テンプレート５０８は、幾何学平面、人、または任意の他の種類の物体であってもよい。物体テンプレート５０８を適合するとき、プロセッサ１０２は、点５０６ａ、５０６ｂ、５０６ｃ、５０６ｄに異なる重みを与えてもよい。不確実性レベルが高いほど重みが低くなり、その逆もまた同様となるように、重みは、点５０６ａ、５０６ｂ、５０６ｃ、５０６ｄに関連付けられた不確実性レベルに依存して設定されてもよい。例えば、物体テンプレート５０８は、加重した最小二乗手法を用いて点５０６ａ、５０６ｂ、５０６ｃ、５０６ｄに適合されてもよく、その場合に、点５０６ａ、５０６ｂ、５０６ｃ、５０６ｄと物体テンプレート５０８との間の平方距離の加重した合計が最小化される。合計における項は、高い不確実性レベルを有する点に対応する項が、低い不確実性レベルを有する点に対応する項よりも低い重みを与えられるように加重されてもよい。

【0084】

当業者は、上述の実施形態を多くのやり方で修正し、上記実施形態に示されるような本発明の利点をなおも使用し得ると理解されるものとする。よって、本発明は、示される実施形態に限定されるべきではなく、添付の特許請求の範囲によってのみ定義されるべきである。追加的に、当業者が理解するように、示される実施形態は、結合されてもよい。

【符号の説明】

【0085】

１００ デバイス
１０２ プロセッサ
１０４ メモリ
２００ ステレオカメラシステム
２０２ 第１の画像センサ
２０３ 第１の画像
２０４ 第２の画像センサ
２０５ 第２の画像
２０６ マッチングコンポーネント
２０７ 相関マップ
４００ 画像
４０２ 近傍ピクセルのグループ
４０３ ピクセル値
４０４ パラメトリック関数
４０５ｂ 空間位置
４０５ｄ 空間位置
４０６ 極値点
４０７ 領域
５００ 物体
５０２ａ ピクセル
５０２ｂ ピクセル
５０２ｃ ピクセル
５０２ｄ ピクセル
５０４ａ サブピクセル位置
５０４ｂ サブピクセル位置
５０４ｃ サブピクセル位置
５０４ｄ サブピクセル位置
５０６ａ 点
５０６ｂ 点
５０６ｃ 点
５０６ｄ 点
５０８ 物体テンプレート

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図4c】

【図4d】

【図5】