特表 2024-509841 リアルタイムのアクティブステレオマッチング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-05

(54)【発明の名称】リアルタイムのアクティブステレオマッチング

(51)【国際特許分類】

   H04N 13/128 20180101AFI20240227BHJP

   H04N 13/239 20180101ALI20240227BHJP

   G06T 7/593 20170101ALI20240227BHJP

【ＦＩ】

H04N13/128

H04N13/239

G06T7/593

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023553402

(86)(22)【出願日】2021-03-03

(85)【翻訳文提出日】2023-09-01

(86)【国際出願番号】 US2021070220

(87)【国際公開番号】W WO2022186890

(87)【国際公開日】2022-09-09

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ノーバー，ハリス

(72)【発明者】

【氏名】アチャール，スプリート

(72)【発明者】

【氏名】プラブ，キラ

(72)【発明者】

【氏名】バタワデカー，ビニート

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096CA05

5L096DA02

5L096EA39

5L096FA66

5L096GA08

5L096GA10

5L096GA24

5L096GA51

5L096GA55

5L096HA01

(57)【要約】

一態様によれば、リアルタイムのアクティブステレオシステムは、基準画像および副画像を含むステレオ画像データを取り込むように構成された取込みシステムと、奥行きマップを生成するように構成された奥行き感知コンピューティングシステムであって、基準画像および副画像を基に記述子を計算することと、画素変化情報および視差変化情報を基に安定性ペナルティを計算することと、記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、それぞれの平面仮説に関連する記述子の間のマッチングコストを計算し、安定性ペナルティを用いてマッチングコストを更新して、更新されたマッチングコストに基づき、画素のグループに関する複数の平面仮説から平面仮説を選択することを含む、複数の平面仮説を評価することとを行うように構成された奥行き感知コンピューティングシステムとを含む。

【特許請求の範囲】

【請求項1】

リアルタイムのアクティブステレオシステムであって、
基準画像および副画像を含むステレオ画像データを取り込むように構成された取込みシステムと、
奥行きマップを生成するように構成された奥行き感知コンピューティングシステムであって、
前記基準画像および前記副画像を基に記述子を計算することと、
画素変化情報および視差変化情報を基に安定性ペナルティを計算することと、
前記記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、
それぞれの平面仮説に関連する前記記述子の間のマッチングコストを計算し、
前記安定性ペナルティを用いて前記マッチングコストを更新して、
前記更新されたマッチングコストに基づき、前記画素のグループに関する前記複数の平面仮説から平面仮説を選択することを含む、複数の平面仮説を評価することと
を行うように構成された奥行き感知コンピューティングシステムと
を備える、リアルタイムのアクティブステレオシステム。

【請求項2】

前記画素変化情報が画素変化値を含み、前記視差変化情報が視差変化値を含み、前記奥行き感知コンピューティングシステムが、
前記画素変化値を使用して強度乗数を計算し、
前記視差変化値を使用して視差乗数を計算し、
前記強度乗数および前記視差乗数を使用して前記安定性ペナルティを計算するように構成される、
請求項１に記載のリアルタイムのアクティブステレオシステム。

【請求項3】

前記奥行き感知コンピューティングシステムが、
前記画素変化値にエッジアウェアフィルタを適用して、フィルタリングされた画素変化値を導出するように構成され、前記フィルタリングされた画素変化値が前記強度乗数を計算するように使用される、
請求項２または３に記載のリアルタイムのアクティブステレオシステム。

【請求項4】

前記画素変化値が、現在の奥行きマップの基準画像または副画像における画素の画素値と、以前の奥行きマップの基準画像または副画像における画素の画素値との間の差を表し、前記視差変化値が、前記現在の奥行きマップの画素の提出された視差と、前記以前の奥行きマップの画素の視差との間の差を表す、請求項２に記載のリアルタイムのアクティブステレオシステム。

【請求項5】

前記奥行き感知コンピューティングシステムが、
平面仮説評価中に生成され得る最高のマッチングコストを計算し、
前記最高のマッチングコストと、前記強度乗数と、前記視差乗数との積を基に前記安定性ペナルティを計算するように構成される、
請求項２から４のいずれかに記載のリアルタイムのアクティブステレオシステム。

【請求項6】

前記奥行き感知コンピューティングシステムが、前記画素変化値を入力した強度関数を使用して前記強度乗数を計算するように構成される、請求項２から５のいずれかに記載のリアルタイムのアクティブステレオシステム。

【請求項7】

前記奥行き感知コンピューティングシステムが、前記画素変化値を入力した視差関数を使用して前記視差乗数を計算するように構成される、請求項２から６のいずれかに記載のリアルタイムのアクティブステレオシステム。

【請求項8】

前記奥行き感知コンピューティングシステムが、エッジアウェアフィルタを使用して前記マッチングコストをフィルタリングするように構成され、前記安定性ペナルティが、前記フィルタリングされたマッチングコストを更新するように使用される、請求項１から７のいずれかに記載のリアルタイムのアクティブステレオシステム。

【請求項9】

リアルタイムのアクティブステレオに関する方法であって、
基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを受け取るステップと、
前記基準画像および前記副画像を基に記述子を計算するステップと、
画素変化情報および視差変化情報を基に安定性ペナルティを計算するステップと、
前記記述子を使用して、画素のグループに関する複数の平面仮説を評価するステップであって、
それぞれの平面仮説に関連する前記記述子の間のマッチングコストを計算するステップ、
前記安定性ペナルティを用いてマッチングコストを更新するステップ、および
前記画素のグループに関す前記複数の平面仮説から、更新された最低のマッチングコストを有する平面仮説を選択するステップを含む、
複数の平面仮説を評価するステップと
を含む方法。

【請求項10】

前記画素変化情報が画素変化値を含み、前記視差変化情報が視差変化値を含む、方法であって、
前記画素変化値を使用して強度乗数を計算するステップと、
前記視差変化値を使用して視差乗数を計算するステップと、
前記強度乗数および前記視差乗数を使用して前記安定性ペナルティを計算するステップと
をさらに含む、請求項９に記載の方法。

【請求項11】

前記画素変化値にエッジアウェアフィルタを適用して、フィルタリングされた画素変化値を導出するステップであって、前記フィルタリングされた画素変化値が前記強度乗数を計算するように使用される、画素変化値を導出するステップをさらに含む、請求項１０に記載の方法。

【請求項12】

前記画素変化値が、現在の奥行きマップの基準画像における画素の画素値と、以前の奥行きマップの基準画像における画素の画素値との間の差を表し、前記視差変化値が、前記現在の奥行きマップの画素の提出された視差と、前記以前の奥行きマップの画素の視差との間の差を表す、請求項１０または１１に記載の方法。

【請求項13】

平面仮説評価中に生成され得る最高のマッチングコストを計算するステップと、
前記最高のマッチングコストと、前記強度乗数と、前記視差乗数との積を基に前記安定性ペナルティを計算するステップと
をさらに含む、請求項１０から１２のいずれかに記載の方法。

【請求項14】

前記画素変化値を入力した強度関数を使用して前記強度乗数を計算するステップと、
前記強度関数とは異なる視差関数に前記画素変化値を入力したものを使用して前記視差乗数を計算するステップと
をさらに含む、請求項１０から１３のいずれかに記載の方法。

【請求項15】

前記記述子の間のハミング距離を基に前記マッチングコストを計算するステップと、
エッジアウェアフィルタを使用して前記マッチングコストをフィルタリングするステップであって、前記フィルタリングされたマッチングコストが前記安定性ペナルティを用いて更新されるステップと
をさらに含む、請求項９から１４のいずれかに記載の方法。

【請求項16】

実行可能命令を記憶している非一時的コンピュータ可読媒体であって、少なくとも１つのプロセッサが、前記実行可能命令を実行することによって、
基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを受け取ることと、
前記基準画像および前記副画像を基に記述子を計算することと、
画素変化情報および視差変化情報を基に安定性ペナルティを計算することと、
前記記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、
それぞれの平面仮説に関する前記記述子の間のマッチングコストを計算し、
前記安定性ペナルティを用いてマッチングコストを更新して、
前記更新されたマッチングコストに基づき、前記画素のグループに関する前記複数の平面仮説から平面仮説を選択することを含む、複数の平面仮説を評価することと
を行うように構成される、非一時的コンピュータ可読媒体。

【請求項17】

前記画素変化情報が画素変化値を含み、前記視差変化情報が視差変化値を含み、前記少なくとも１つのプロセッサが、前記実行可能命令に含まれる命令を実行することによって、
前記画素変化値にエッジアウェアフィルタを適用して、フィルタリングされた画素変化値を導出し、
前記フィルタリングされた画素変化値を使用して強度乗数を計算し、
前記視差変化値を使用して視差乗数を計算し、
前記強度乗数および前記視差乗数を使用して前記安定性ペナルティを計算する、
請求項１６に記載の非一時的コンピュータ可読媒体。

【請求項18】

前記画素変化値が、現在の奥行きマップの基準画像における画素の画素値と、以前の奥行きマップの基準画像における画素の画素値との間の差を表し、前記視差変化値が、前記現在の奥行きマップの画素の提出された視差と、前記以前の奥行きマップの画素の視差との間の差を表す、請求項１７に記載の非一時的コンピュータ可読媒体。

【請求項19】

前記少なくとも１つのプロセッサが、前記実行可能命令に含まれる命令を実行することによって、
平面仮説評価中に生成され得る最高のマッチングコストを計算し、
前記最高のマッチングコストと、前記強度乗数と、前記視差乗数との積を基に前記安定性ペナルティを計算する、
請求項１７または１８に記載の非一時的コンピュータ可読媒体。

【請求項20】

前記少なくとも１つのプロセッサが、前記実行可能命令に含まれる命令を実行することによって、
前記画素変化値を入力した強度関数を使用して前記強度乗数を計算し、
前記強度関数とは異なる視差関数に前記画素変化値を入力したものを使用して前記視差乗数を計算する、
請求項１７から１９のいずれかに記載の非一時的コンピュータ可読媒体。

【請求項21】

リアルタイムのアクティブステレオシステムであって、
基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを取り込むように構成された取込みシステムと、
奥行き感知コンピューティングシステムであって、
前記基準画像および前記副画像を基に記述子を計算することと、
画素値の間の強度差に基づき、前記記述子に関連する信頼性データを計算することと、
前記記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、それぞれの平面仮説に関する前記記述子の間のマッチングコストを計算し、前記信頼性データを使用して前記マッチングコストを調節し、前記調節されたマッチングコストに基づき、前記画素のグループに関する前記複数の平面仮説から平面仮説を選択することを含む、複数の平面仮説を評価することと
を行うように構成された奥行き感知コンピューティングシステムと
を備える、リアルタイムのアクティブステレオシステム。

【請求項22】

前記記述子に含まれる、時空ウィンドウにおける画素の近隣を記述する記述子が、前記時空ウィンドウにおける２つの画素の間の比較の結果をそれぞれ表す複数の比較値を含む、請求項２１に記載のリアルタイムのアクティブステレオシステム。

【請求項23】

前記信頼性データが、前記複数の比較値に対応する複数の信頼ビットを有する信頼マスクを含み、それぞれの信頼ビットが、対応する比較値が信頼できるか否かを指示する、請求項２１または２２に記載のリアルタイムのアクティブステレオシステム。

【請求項24】

前記奥行き感知コンピューティングシステムが、２つの画素の間の強度差が第１の閾値よりも大きいことに基づき、信頼ビットの第１の値を計算するように構成される、請求項２３に記載のリアルタイムのアクティブステレオシステム。

【請求項25】

前記信頼性データが、前記複数の比較値に対応する複数の不信頼ビットを有する不信頼マスクを含み、それぞれの不信頼ビットが、対応する比較値が信頼できないかどうかを指示する、請求項２４に記載のリアルタイムのアクティブステレオシステム。

【請求項26】

前記奥行き感知コンピューティングシステムが、２つの画素の間の強度差が第２の閾値よりも小さいことに基づき、不信頼ビットの第１の値を計算するように構成される、請求項２５に記載のリアルタイムのアクティブステレオシステム。

【請求項27】

前記信頼性データが信頼マスクおよび不信頼マスクを含み、前記奥行き感知コンピューティングシステムが、前記記述子の間のハミング距離を基に前記記述子の間の前記マッチングコストを計算し、前記信頼マスクおよび前記不信頼マスクを使用して前記マッチングコストを調節するように構成される、請求項２１から２６のいずれかに記載のリアルタイムのアクティブステレオシステム。

【請求項28】

前記記述子が基準記述子および副記述子を含み、前記奥行き感知コンピューティングシステムが、
前記基準記述子および前記副記述子を使用して第１のビット演算を実行し、
前記第１のビット演算の結果ならびに前記信頼マスクおよび前記不信頼マスクを使用して第２のビット演算を実行するように構成される、
請求項２７に記載のリアルタイムのアクティブステレオシステム。

【請求項29】

リアルタイムのアクティブステレオに関する方法であって、
基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを受け取るステップと、
前記基準画像および前記副画像を基に記述子を計算するステップと、
画素値の間の強度差に基づき、前記記述子に関連する信頼性データを計算するステップと、
前記記述子を使用して、画素のグループに関する複数の平面仮説を評価するステップであって、
それぞれの平面仮説に関する前記記述子の間のマッチングコストを計算するステップ、
前記信頼性データを使用してマッチングコストを調節するステップ、および
前記調節されたマッチングコストに基づき、前記画素のグループに関する前記複数の平面仮説から平面仮説を選択するステップを含む、
複数の平面仮説を評価するステップと
を含む方法。

【請求項30】

前記記述子に含まれる、時空ウィンドウにおける画素の近隣を記述する記述子が、複数の比較値を含み、それぞれの比較値が前記時空ウィンドウにおける２つの画素の間の比較の結果を表す、請求項２９に記載の方法。

【請求項31】

前記信頼性データが、前記複数の比較値に対応する複数の信頼ビットを有する信頼マスクを含み、それぞれの信頼ビットが、対応する比較値が信頼できるか否かを指示する、請求項２９または３０に記載の方法。

【請求項32】

２つの画素の間の強度差が第１の閾値よりも大きいことに基づき、信頼ビットの第１の値を計算するステップをさらに含む、請求項３１に記載の方法。

【請求項33】

前記信頼性データが、前記複数の比較値に対応する複数の不信頼ビットを有する不信頼マスクを含み、それぞれの不信頼ビットが、対応する比較値が信頼できないかどうかを指示する、請求項３２に記載の方法。

【請求項34】

２つの画素の間の強度差が第２の閾値よりも小さいことに基づき、不信頼ビットの第１の値を計算するステップをさらに含む、請求項３３に記載の方法。

【請求項35】

前記信頼性データが信頼マスクおよび不信頼マスクを含む、方法であって、
前記記述子の間のハミング距離を基に前記記述子の間のマッチングコストを計算するステップと、
前記信頼マスクおよび前記不信頼マスクを使用して前記マッチングコストを調節するステップと
を含む、請求項２９から３４のいずれかに記載の方法。

【請求項36】

実行可能命令を記憶している非一時的コンピュータ可読媒体であって、少なくとも１つのプロセッサが、前記実行可能命令を実行することによって、
基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを受け取ることと、
前記基準画像および前記副画像を基に記述子を計算することと、
画素値の間の強度差に基づき、前記記述子に関連する信頼性データを計算することと、
前記記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、
それぞれの平面仮説に関する前記記述子の間のマッチングコストを計算し、
前記信頼性データを使用して前記マッチングコストを調節して、
前記調節されたマッチングコストに基づき、前記画素のグループに関する前記複数の平面仮説から平面仮説を選択することを含む、複数の平面仮説を評価することとを行う、
非一時的コンピュータ可読媒体。

【請求項37】

前記記述子に含まれる、時空ウィンドウにおける画素の近隣を記述する記述子が、複数の比較値を含み、それぞれの比較値が前記時空ウィンドウにおける２つの画素の間の比較の結果を表す、請求項３６に記載の非一時的コンピュータ可読媒体。

【請求項38】

前記信頼性データが、前記複数の比較値に対応する複数の信頼ビットを有する信頼マスクを含み、それぞれの信頼ビットが、対応する比較値が信頼できるか否かを指示する、請求項３６または３７に記載の非一時的コンピュータ可読媒体。

【請求項39】

前記信頼性データが、前記複数の比較値に対応する複数の不信頼ビットを有する不信頼マスクを含み、それぞれの不信頼ビットが、対応する比較値が信頼できないかどうかを指示する、請求項３６から３８のいずれかに記載の非一時的コンピュータ可読媒体。

【請求項40】

前記信頼性データが信頼マスクおよび不信頼マスクを含み、前記少なくとも１つのプロセッサが、前記実行可能命令に含まれる命令を実行することによって、
前記記述子の間のハミング距離を基に前記記述子の間のマッチングコストを計算し、
前記信頼マスクおよび前記不信頼マスクを使用して前記マッチングコストを調節する、
請求項３６から３９のいずれかに記載の非一時的コンピュータ可読媒体。

【請求項41】

リアルタイムのアクティブステレオシステムであって、
基準画像および副画像を含むステレオ画像データを取り込むように構成された取込みシステムと、
奥行きマップを生成するように構成された奥行き感知コンピューティングシステムであって、
前記基準画像および前記副画像を基に記述子を計算することと、
前記記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、それぞれの平面仮説に関する前記記述子の間のマッチングコストを計算して、前記マッチングコストに基づき、前記画素のグループに関する前記複数の平面仮説から平面仮説を選択することを含む、複数の平面仮説を評価することと、
前記マッチングコストに基づき、前記画素のグループに関して選択された前記平面仮説に関連する信頼度重みを生成することと
を行うように構成された奥行き感知コンピューティングシステムと
を備えるリアルタイムのアクティブステレオシステム。

【請求項42】

前記奥行き感知コンピューティングシステムが、前記画素のグループの画素強度変化の量を指示する画素変動値と、前記マッチングコストとを基に、前記信頼度重みを生成するように構成される、請求項４１に記載のリアルタイムのアクティブステレオシステム。

【請求項43】

前記画素変動値が、前記記述子に関連した時空ウィンドウにわたって、前記画素のグループにおける前記画素強度変化の量を指示する、請求項４２に記載のリアルタイムのアクティブステレオシステム。

【請求項44】

前記時空ウィンドウが所定のサイズの空間的範囲および所定のサイズの時間的範囲を有する、請求項４３に記載のリアルタイムのアクティブステレオシステム。

【請求項45】

前記奥行き感知コンピューティングシステムが、前記画素変動値および前記マッチングコストを入力したルックアップ表を使用して前記信頼度重みを生成するように構成され、前記ルックアップ表が、画素変動値とマッチングコストとの組合せに対して信頼度重みをマッピングする、請求項４２から４４のいずれかに記載のリアルタイムのアクティブステレオシステム。

【請求項46】

前記マッチングコストが前記記述子の間のハミング距離を基に計算される、請求項４１から４５のいずれかに記載のリアルタイムのアクティブステレオシステム。

【請求項47】

前記奥行き感知コンピューティングシステムが、エッジアウェアフィルタを使用して前記マッチングコストをフィルタリングし、前記フィルタリングされたマッチングコストが、前記平面仮説を選択するように使用され、前記選択された平面仮説に関するフィルタリングされていないマッチングコストが、信頼度重みを計算するように使用される、請求項４１から４６のいずれかに記載のリアルタイムのアクティブステレオシステム。

【請求項48】

前記記述子の各々が時空ウィンドウにおける複数のペアワイズ強度比較を含む、請求項４１から４７のいずれかに記載のリアルタイムのアクティブステレオシステム。

【請求項49】

前記複数の平面仮説の各々が、前記ステレオデータで表された対象物の局所的表面ジオメトリを表す別の平面に対応する奥行き推定を含む、請求項４１から４８のいずれかに記載のリアルタイムのアクティブステレオシステム。

【請求項50】

前記奥行き感知コンピューティングシステムが、前記ステレオ画像データを所定のサイズの領域に分割し、別個の画素のグループを表すそれぞれの領域について、前記複数の平面仮説をたどって、前記記述子を繰り返しサンプリングするように構成される、請求項４１から４９のいずれかに記載のリアルタイムのアクティブステレオシステム。

【請求項51】

リアルタイムのアクティブステレオに関する方法であって、
基準画像および副画像を含むステレオ画像データを受け取るステップと、
前記基準画像および前記副画像を基に記述子を計算するステップと、
前記記述子を使用して、画素のグループに関する複数の平面仮説を評価するステップであって、
それぞれの平面仮説に関する前記記述子の間のマッチングコストを計算するステップ、
前記マッチングコストに基づき、前記画素のグループに関する前記複数の平面仮説から平面仮説を選択するステップ、および
前記マッチングコストに基づき、前記画素のグループに関して選択された前記平面仮説に関連する信頼度重みを生成するステップ
を含む、複数の平面仮説を評価するステップと
を含む方法。

【請求項52】

前記画素のグループの画素強度変化の量を指示する画素変動値と、前記マッチングコストとを基に、前記信頼度重みを生成するステップをさらに含む、請求項５１に記載の方法。

【請求項53】

前記画素変動値が、前記記述子に関連した時空ウィンドウにわたって、前記画素のグループにおける前記画素強度変化の量を指示する、請求項５２に記載の方法。

【請求項54】

前記時空ウィンドウが所定のサイズの空間的範囲および所定のサイズの時間的範囲を有する、請求項５３に記載の方法。

【請求項55】

前記画素変動値および前記マッチングコストを入力したルックアップ表を使用して信頼度重みを生成するステップであって、前記ルックアップ表が、画素変動値とマッチングコストとの組合せに対して信頼度重みをマッピングする、信頼度重みを生成するステップをさらに含む、請求項５２から５４のいずれかに記載の方法。

【請求項56】

前記記述子の間のハミング距離を基に前記マッチングコストを計算するステップと、
エッジアウェアフィルタを使用して前記マッチングコストをフィルタリングするステップと、
前記フィルタリングされたマッチングコストを基に前記平面仮説を選択するステップと、
前記選択された平面仮説に関するフィルタリングされていないマッチングコストを使用して前記信頼度重みを計算するステップと
をさらに含む、請求項５１から５５のいずれかに記載の方法。

【請求項57】

実行可能命令を記憶している非一時的コンピュータ可読媒体であって、少なくとも１つのプロセッサが、前記実行可能命令を実行することによって、
基準画像および副画像を含むステレオ画像データを受け取ることと、
前記基準画像および前記副画像を基に記述子を計算することと、
前記記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、
それぞれの平面仮説に関する前記記述子の間のマッチングコストを計算し、
前記マッチングコストに基づき、前記画素のグループに関する前記複数の平面仮説から平面仮説を選択して、
前記マッチングコストおよび画素変動値に基づき、前記画素のグループに関して選択された前記平面仮説に関連する信頼度重みを生成することを含む、複数の平面仮説を評価することとを行う、
非一時的コンピュータ可読媒体。

【請求項58】

前記画素変動値が、前記記述子に関連した時空ウィンドウにわたって、前記画素のグループにおける前記画素強度変化の量を指示し、前記時空ウィンドウが所定のサイズの空間的範囲および所定のサイズの時間的範囲を有する、請求項５７に記載の非一時的コンピュータ可読媒体。

【請求項59】

前記少なくとも１つのプロセッサが、前記実行可能命令に含まれる命令を実行することによって、前記画素変動値と前記マッチングコストとを入力したルックアップ表を使用して信頼度重みを生成し、前記ルックアップ表が、画素変動値とマッチングコストとの組合せに対して信頼度重みをマッピングする、請求項５７または５８に記載の非一時的コンピュータ可読媒体。

【請求項60】

前記少なくとも１つのプロセッサが、前記実行可能命令に含まれる命令を実行することによって、
前記記述子の間のハミング距離を基に前記マッチングコストを計算し、
エッジアウェアフィルタを使用して前記マッチングコストをフィルタリングし、
前記フィルタリングされたマッチングコストを基に前記平面仮説を選択し、
前記選択された平面仮説に関するフィルタリングされていないマッチングコストを使用して前記信頼度重みを計算する、
請求項５７から５９のいずれかに記載の非一時的コンピュータ可読媒体。

【請求項61】

リアルタイムのアクティブステレオシステムであって、
基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを取り込むように構成された取込みシステムであって、前記基準画像または前記副画像が、第１の時間窓に属する第１の画像および第２の時間窓に属する第２の画像を含む、取込みシステムと、
奥行き感知コンピューティングシステムであって、
二者択一的に、ｉ）比較のために、前記第１の画像または前記第２の画像のうち１つからの各画素を選択し、ｉｉ）比較のために、前記第１の画像からの１つの画素および前記第２の画像からの１つの画素を選択する、ことよって記述子を計算することを含めて、前記基準画像および前記副画像を基に記述子を計算して、
前記記述子を使用して奥行きマップを生成する
ように構成された奥行き感知コンピューティングシステムと
を備えるリアルタイムのアクティブステレオシステム。

【請求項62】

前記奥行き感知コンピューティングシステムが、所定のサイズの空間的範囲および所定のサイズの時間的範囲を有する時空ウィンドウにわたって記述子を計算するように構成される、請求項６１に記載のリアルタイムのアクティブステレオシステム。

【請求項63】

前記奥行き感知コンピューティングシステムが、前記時空ウィンドウにおけるすべての画素が選択されるまで、比較において既に使用された画素は再サンプリングしないように構成される、請求項６２に記載のリアルタイムのアクティブステレオシステム。

【請求項64】

前記奥行き感知コンピューティングシステムが、前記時空ウィンドウのすべての画素が前記時空ウィンドウにおいてサンプリングされたと判定されることに応答して、前記時空ウィンドウにおける、閾値レベルよりも大きいサイクル長さを有する画素を再選択するように構成される、請求項６３に記載のリアルタイムのアクティブステレオシステム。

【請求項65】

前記記述子が複数の比較値を含み、前記複数の比較値の数が所定の数である、請求項６１から６４のいずれかに記載のリアルタイムのアクティブステレオシステム。

【請求項66】

前記記述子が第１の値および第２の値を含む複数の比較値を含み、前記第１の値が前記第１の画像の画素の間の比較の結果を表し、前記第２の値が、前記第１の画像の画素と前記第２の画像の画素との間の比較の結果を表す、請求項６１から６５のいずれかに記載のリアルタイムのアクティブステレオシステム。

【請求項67】

前記複数の比較値が第３の値および第４の値を含み、前記第３の値が前記第２の画像の画素の間の比較の結果を表し、前記第４の値が、前記第２の画像の画素と前記第１の画像の画素との間の比較の結果を表す、請求項６６に記載のリアルタイムのアクティブステレオシステム。

【請求項68】

前記奥行き感知コンピューティングシステムが、記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、
それぞれの平面仮説に関する前記記述子の間のマッチングコストを計算することと、
前記画素のグループに関する前記複数の平面仮説から、最低の更新されたマッチングコストを有する平面仮説を選択することと
を含む、複数の平面仮説を評価することを行うように構成される、
請求項６１から６７のいずれかに記載のリアルタイムのアクティブステレオシステム。

【請求項69】

リアルタイムのアクティブステレオに関する方法であって、
基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを受け取るステップであって、前記基準画像または前記副画像が、第１の時間窓に属する第１の画像および第２の時間窓に属する第２の画像を含む、ステレオ画像データを受け取るステップと、
二者択一的に、ｉ）比較のために、前記第１の画像または前記第２の画像のうち１つからの各画素を選択し、ｉｉ）比較のために、前記第１の画像からの１つの画素および前記第２の画像からの１つの画素を選択する、ことよって記述子を計算するステップを含む、前記基準画像および前記副画像を基に記述子を計算するステップと、
前記記述子を使用して奥行きマップを生成するステップと
を含む方法。

【請求項70】

前記記述子が、所定のサイズの空間的範囲および所定のサイズの時間的範囲を有する時空ウィンドウにわたって計算される、請求項６９に記載の方法。

【請求項71】

比較において既に使用された画素は、前記時空ウィンドウにおけるすべての画素が選択されるまで再サンプリングされない、請求項７０に記載の方法。

【請求項72】

前記時空ウィンドウにおいてすべての画素がサンプリングされたと判定されることに応答して、前記時空ウィンドウにおける、閾値レベルよりも大きいサイクル長さを有する画素を再選択するステップをさらに含む、請求項７１に記載の方法。

【請求項73】

前記記述子が複数の比較値を含み、前記複数の比較値の数が所定の数である、請求項６９から７２のいずれかに記載の方法。

【請求項74】

前記記述子が第１の値および第２の値を含む複数の比較値を含み、前記第１の値が前記第１の画像の画素の間の比較の結果を表し、前記第２の値が、前記第１の画像の画素と前記第２の画像の画素との間の比較の結果を表す、請求項６９から７３のいずれかに記載の方法。

【請求項75】

前記複数の比較値が第３の値および第４の値を含み、前記第３の値が前記第２の画像の画素の間の比較の結果を表し、前記第４の値が、前記第２の画像の画素と前記第１の画像の画素との間の比較の結果を表す、請求項７４に記載の方法。

【請求項76】

前記記述子を使用して、画素のグループに関する複数の平面仮説を評価するステップであって、
それぞれの平面仮説に関する前記記述子の間のマッチングコストを計算するステップ、および
前記画素のグループに関する前記複数の平面仮説から、更新された最低のマッチングコストを有する平面仮説を選択するステップ
を含む、複数の平面仮説を評価するステップ
をさらに含む、請求項６９から７５のいずれかに記載の方法。

【請求項77】

実行可能命令を記憶している非一時的コンピュータ可読媒体であって、少なくとも１つのプロセッサが、前記実行可能命令を実行することによって、
基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを受け取ることであって、前記基準画像または前記副画像が、第１の時間窓に属する第１の画像および第２の時間窓に属する第２の画像を含む、ステレオ画像データを受け取ることと、
二者択一的に、ｉ）比較のために、前記第１の画像または前記第２の画像のうち１つからの各画素を選択し、ｉｉ）比較のために、前記第１の画像からの１つの画素および前記第２の画像からの１つの画素を選択する、ことよって記述子を計算することを含む、前記基準画像および前記副画像を基に記述子を計算することと、
前記記述子を使用して奥行きマップを生成することと
を行う、非一時的コンピュータ可読媒体。

【請求項78】

前記記述子が、所定のサイズの空間的範囲および所定のサイズの時間的範囲を有する時空ウィンドウにわたって計算される、請求項７７に記載の非一時的コンピュータ可読媒体。

【請求項79】

前記少なくとも１つのプロセッサが、前記実行可能命令に含まれる命令を実行することによって、
前記時空ウィンドウにおけるすべての画素がサンプリングされたと判定して、
閾値レベルよりも大きいサイクル長さを有する、前記時空ウィンドウにおける画素を再選択する、
請求項７８に記載の非一時的コンピュータ可読媒体。

【請求項80】

前記記述子が、第１の値、第２の値、第３の値、および第４の値を含む複数の比較値を含み、前記第１の値が前記第１の画像の画素の間の比較の結果を表し、前記第２の値が、前記第１の画像の画素と前記第２の画像の画素との間の比較の結果を表し、前記第３の値が前記第２の画像の画素の間の比較の結果を表し、前記第４の値が、前記第２の画像の画素と前記第１の画像の画素との間の比較の結果を表す、請求項７７から７９のいずれかに記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

発明の分野
実施形態は、奥行きマップの解像度および／または精度を向上するためのリアルタイムのアクティブステレオシステムに関する。

【背景技術】

【0002】

発明の背景
ステレオマッチングは、ステレオビジョンまたは視差マッピングとしても知られている、シーンの奥行きを検出するための処理であり、別々の視点から２つの画像を取り込むステップと、それらの画像を照合して、シーンの中の各要素の視差（たとえば位置の差）を突きとめるステップとを包含する処理である。アクティブステレオマッチングは、構造光を使用してステレオマッチング問題を簡素化する処理である。しかしながら、従来のアクティブステレオマッチング技術は、計算コストが割高であり、これら従来のシステムの解像度および精度は、リアルタイム処理を必要とする用途および／またはより高いレベルの詳細および精度を必要とする用途の必要性を満たさない可能性がある。

【発明の概要】

【課題を解決するための手段】

【0003】

概要
一態様によれば、リアルタイムのアクティブステレオシステムは、基準画像および副画像を含むステレオ画像データを取り込むように構成された取込みシステムと、奥行きマップを生成するように構成された奥行き感知コンピューティングシステムであって、基準画像および副画像を基に記述子を計算することと、画素変化情報および視差変化情報を基に安定性ペナルティを計算することと、記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、それぞれの平面仮説に関連する記述子の間のマッチングコストを計算し、安定性ペナルティを用いてマッチングコストを更新して、更新されたマッチングコストに基づき、画素のグループに関する複数の平面仮説から平面仮説を選択することを含む、複数の平面仮説を評価することとを行うように構成された、奥行き感知コンピューティングシステムとを含む。いくつかの態様によれば、リアルタイムのアクティブステレオシステムの機能を含む方法および／またはコンピュータ可読媒体が提供される。

【0004】

一態様によれば、リアルタイムのアクティブステレオシステムは、基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを取り込むように構成された取込みシステムと、奥行き感知コンピューティングシステムであって、基準画像および副画像を基に記述子を計算することと、画素値の間の強度差に基づき、記述子に関連する信頼性データを計算することと、記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、それぞれの平面仮説に関する記述子の間のマッチングコストを計算し、信頼性データを使用してマッチングコストを調節して、調節されたマッチングコストに基づき、画素のグループに関する複数の平面仮説から平面仮説を選択することを含む、複数の平面仮説を評価することとを行うように構成された、奥行き感知コンピューティングシステムとを含む。いくつかの態様によれば、リアルタイムのアクティブステレオシステムの機能を含む方法および／またはコンピュータ可読媒体が提供される。

【0005】

一態様によれば、リアルタイムのアクティブステレオシステムは、基準画像および副画像を含むステレオ画像データを取り込むように構成された取込みシステムと、奥行きマップを生成するように構成された奥行き感知コンピューティングシステムであって、基準画像および副画像を基に記述子を計算することと、記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、それぞれの平面仮説に関する記述子の間のマッチングコストを計算し、マッチングコストに基づき、画素のグループに関する複数の平面仮説から平面仮説を選択して、マッチングコストに基づき、画素のグループに関して選択された平面仮説に関連する信頼度重みを生成することを含む、複数の平面仮説を評価することとを行うように構成された、奥行き感知コンピューティングシステムとを含む。いくつかの態様によれば、リアルタイムのアクティブステレオシステムの機能を含む方法および／またはコンピュータ可読媒体が提供される。

【0006】

一態様によれば、リアルタイムのアクティブステレオシステムは、基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを取り込むように構成された取込みシステムであって、基準画像または副画像が、第１の時間窓に関連した第１の画像および第２の時間窓に関連した第２の画像を含む、取込みシステムと、奥行き感知コンピューティングシステムであって、比較のために、二者択一的に、ｉ）第１の画像または第２の画像のうち１つからの各画素、およびｉｉ）第１の画像からの１つの画素および第２の画像からの１つの画素を選択することによって、記述子を計算することを含めて、基準画像および副画像を基に記述子を計算し、記述子を使用して奥行きマップを生成するように構成された奥行き感知コンピューティングシステムとを含む。いくつかの態様によれば、リアルタイムのアクティブステレオシステムの機能を含む方法および／またはコンピュータ可読媒体が提供される。

【図面の簡単な説明】

【0007】

【図1A】一態様によるリアルタイムのアクティブステレオシステムを示す図である。

【図1B】一態様による、リアルタイムのアクティブステレオシステムの奥行き感知コンピューティングシステムが受け取るステレオ画像データの一例を示す図である。

【図1C】一態様によるマッチングコストの一例を示す図である。

【図1D】一態様による、記述子の計算の図的表現である。

【図1E】一態様による、画素のグループの平面仮説の評価の図的表現である。

【図1F】一態様による、リアルタイムのアクティブステレオシステムの局所的ステレオ再構成アルゴリズムによって実行可能な平面評価ループのサブステップを示す図である。

【図1G】一態様による、繰り返すパターン化－パターン化－ガイドシーケンスにおけるステレオ画像のタイミング図である。

【図2A】一態様による、画素を比較するための比較グラフである。

【図2B】一態様による、記述子の中の冗長情報の量を減少させるための記述子生成器を示す図である。

【図3】一態様による、記述子生成器によって生成された記述子を使用して奥行きマップを生成する例示の動作を表す流れ図である。

【図4】一態様による、信頼性データを生成するための記述子生成器を示す図である。

【図5】一態様による、信頼性データを用いてマッチングコストが更新される奥行きマップを生成する、例示の動作を表す流れ図である。

【図6A】一態様による、奥行きマップの安定性を向上するための安定性モジュールを示す図である。

【図6B】一態様による、安定性ペナルティを生成するための安定性モジュールの一例を示す図である。

【図6C】一態様による安定性モジュールの強度関数を示す図である。

【図6D】一態様による安定性モジュールの視差関数を示す図である。

【図7】一態様による、安定性ペナルティを用いてマッチングコストが更新される奥行きマップを生成する、例示の動作を表す流れ図である。

【図8】一態様による、ステレオ内部データを使用して信頼度重みを生成するための信頼度重み生成器を示す図である。

【図9】一態様による、各画素のステレオ奥行き推定値の信頼度重みを生成する例示の動作を表す流れ図である。

【図10】一態様による、コンピューティングデバイスおよびモバイルコンピューティングデバイスの一例を示す図である。

【図11】一態様による３次元テレプレゼンスシステムを示す図である。

【図12】一態様による、２人のユーザの間の３次元テレビ会議を行うための３次元テレプレゼンスシステムを示すブロック図である。

【発明を実施するための形態】

【0008】

詳細な説明
本開示は、一対のステレオカメラ（たとえば基準ステレオカメラおよび副ステレオカメラ）を使用して、ステレオ画像データ（たとえば複数の一時的な露光にわたるステレオ画像）を取り込むように構成されたリアルタイムのアクティブステレオシステムと、各画素における値（たとえば視差値）が、最も近い表面までの、関連する光線に沿った距離である、ステレオ画像データを基に、奥行きマップ（たとえば視差マップまたは奥行き画像）を生成することとに関する。リアルタイムのアクティブステレオシステムは、基準ステレオカメラの画素が副ステレオカメラの画素と照合され得たら、関連する光線を三角測量して、その画素における表面の奥行きを回収することができる。

【0009】

２つの画素が一致するかどうか判定するために、画素値が直接比較され得る。しかしながら、リアルタイムのアクティブステレオシステムは、２つの画素が一致するかどうかを判定するために記述子を使用する。たとえば、リアルタイムのアクティブステレオシステムは、（たとえば基準ステレオカメラから取り込まれた基準画像からの）基準記述子および（たとえば副ステレオカメラから取り込まれた副画像からの）副記述子を計算し得る。記述子（たとえばバイナリ記述子）は、特定の画素の近隣を記述してよく、こうすれば、画像同士を照合するとき（画素値を直接比較するのと比較して）より頑健であり得る。

【0010】

記述子は、画素の近隣を記述し得る。いくつかの例では、記述子は画素比較情報を含み得る。画素比較情報は複数の比較値を含み得る。比較値（たとえば０または１）は、画像データにおいて１つの画素を別の画素と比較した結果を反映した情報を含み得る。いくつかの例では、記述子は、時空ウィンドウにわたる画素比較情報を含み得る。いくつかの例では、時空ウィンドウは、所定のサイズの空間的範囲および所定のサイズの時間的範囲を有する。いくつかの例では、空間的範囲は２×２の画素～８×８の画素であり、時間的範囲は２つ～６つの時間ウィンドウ（たとえば、２つ～６つの時間間隔をおいて配置された画像）である。記述子は２進値のセットを含み得、それぞれの値が画素比較の結果を表す。画素比較は、同一の画像部分（たとえば第１の画素と第２の画素とが同一の画像の中にある）、または別々の時間に取り込まれた別々の画像部分（たとえば、第１の画素が時間Ａにおいて取り込まれた第１の画像部分にあり、第２の画素が時間Ｂにおいて取り込まれた第２の画像部分ある）にわたる、第１の画素の強度と第２の画素の強度との比較の結果でよい。所与の比較において、第１の画素の画素値が第２の画素の画素値よりも大きければ、それぞれのビット位置に第１の値（たとえば１）が記録され、そうでなければ第２の値（たとえば０）が記録され得る。記述子が３２ビットの記述子であるなら、３２対の画素が選択され、それぞれの比較がビット値をもたらす。

【0011】

リアルタイムのアクティブステレオシステムは、ステレオ画像データを画素のグループ（たとえば所定のサイズの領域またはタイル）に分割し、グループの各々について、記述子を使用して複数の平面仮説（たとえば傾けた平面仮説）を評価して、評価の結果を基に、奥行きマップに関する視差値を更新し得る。いくつかの例では、評価は、記述子の間のマッチングコスト（たとえば不一致のコスト（コストと称されることもある））を計算するステップを含む。いくつかの例では、画素のグループの中の画素のサブセットに対して、画素のそのサブセットに対するフィルタリングされたマッチングコストが最低になる（またはフィルタリングされたマッチングコストが閾値レベル以下になる）平面（たとえば平面仮説）が選択されるように、フィルタリングされたマッチングコストを取得するために、マッチングコスト（たとえば未処理のコスト）が、エッジアウェアフィルタを使用してフィルタリングされる。言い換えれば、リアルタイムのアクティブステレオシステムは、各画素に、最低のフィルタリングされたマッチングコストをもたらした平面仮説に由来する奥行きを割り当ててよい。いくつかの例では、マッチングコストは、２つの記述子の内部で異なるビット数（たとえばハミング距離）を基に計算される。

【0012】

リアルタイムのアクティブステレオシステムは、比較グラフにサイクルが存在することによって発生し得る特定の記述子の内部に含まれる冗長情報の量を減少することができる記述子生成器を含み得る。たとえば、記述子生成器は、比較グラフにおけるサイクルを最小限にするか回避する比較を生成するように、画素を、目的にかなうように方策を立ててサンプリングすることにより、記述子の情報量を増加させる記述子を生成することがある。いくつかの例では、記述子生成器は、比較のために、画素を、ランダムに（または準ランダムに）選択するのではなく、二者択一的に、１）同一のタイムスライスからの画素、および２）別々のタイムスライスからの画素を選択することによって記述子を計算し得る。記述子生成器は、時空ウィンドウにおける画素がすべて選択されるまで、または記述子がその最大ビット数に達するまで、この処理を繰り返し得る。また、記述子生成器は、時空ウィンドウにおける画素がすべて選択されるまでは、比較において使用済の画素の再選択を回避し得る。いくつかの例では、時空ウィンドウにおけるすべての画素が選択されてしまったら（しかも引き続き比較する必要がある場合には）、記述子生成器は、画素のグラフ構造のサイクル長が、閾値レベルおよび／または別の可能な機構のサイクル長よりも長くなるように、画素を選択してよい。

【0013】

上記で指示されたように、時空ウィンドウにおける画素強度を比較することによって記述子が生成され得るが、いくつかの比較が他の比較よりも普通であって、より信頼できることがある。たとえば、第１の画素と第２の画素との間の比較の大きさが比較的大きければ、比較は、より確かなものと見なされ得る。差（たとえば絶対差）が比較的小さければ、比較は、あまり信頼できないと見なされる可能性がある。

【0014】

リアルタイムのアクティブステレオシステムは、画素値の間の強度差に基づいて記述子に関連する信頼性データを生成することができる記述子生成器を含み得る。そこで、リアルタイムのアクティブステレオシステムは、平面評価ループの間に、信頼性データを用いてマッチングコスト（たとえば未処理のマッチングコスト）を調節することができる。いくつかの例では、信頼性データは信頼マスクおよび不信頼マスクを含む。コンピュータサイエンスでは、マスクまたはビットマスクはビット演算のために使用されるデータである。信頼マスクは、記述子の比較値の信頼性を指示する情報を含み得る。不信頼マスクは、記述子の比較値の不信頼性を指示する情報を含み得る。信頼マスクと不信頼マスクとは記述子と同一のサイズを有し得、記述子における各ビット位置は、信頼マスクおよび不信頼マスクにおける対応するビットを有する。記述子を計算するとき、比較の大きさが信頼閾値を上回れば、記述子生成器は、信頼マスクにおけるそれぞれのビット位置において第１の信頼値（たとえば１）を生成してよい。比較の大きさが不信頼閾値を下回れば、記述子生成器は、不信頼マスクにおけるそれぞれのビット位置において第１の信頼値（たとえば１）を生成してよい。信頼マスクおよび不信頼マスクは、コスト計算中に、比較に重み付けするように使用される。

【0015】

リアルタイムのアクティブステレオシステムは、基準記述子と副記述子とが異なる位置（たとえばハミング距離）をカウントするのではなく、信頼マスクおよび不信頼マスクを使用して、ビット位置が、信頼または不信頼であると記録されているかどうかを判定する。いくつかの例では、リアルタイムのアクティブステレオシステムは、基準記述子および副記述子に対して排他的ＯＲ（ＸＯＲ）演算を計算し、次いで、信頼マスクおよび不信頼マスクに対してビットＡＮＤ演算を実行する（ポピュレーションカウントが続き得る）。いくつかの例では、リアルタイムのアクティブステレオシステムは、信頼比較を２回カウントして不信頼比較を棄却し、信頼でも不信頼でもない比較を１回カウントする。

【0016】

リアルタイムのアクティブステレオシステムは、一時的なフリッカを低減することによって奥行きマップ生成の安定性を向上することができる安定性モジュールを含み得る。安定性ペナルティは、マッチングコストをオフセットする（たとえば調節する）ように使用される情報を含み得る。安定性ペナルティは、一時的なフリッカに対処するためにマッチングコストをオフセットする（たとえば調節する）ように使用される情報を含み得る。いくつかの例では、マッチングコストに安定性ペナルティが加算される。

【0017】

安定性モジュールは、画素変化情報および視差変化情報を基に安定性ペナルティを計算し得る。画素変化情報は、最後の奥行きマップ（たとえば奥行きフレーム）を計算するために使用された画像データ（たとえば基準画像）と、現在の奥行きマップ（たとえば現在のフレーム）を計算するために使用される画像データ（たとえば基準画像）との間の画素変化の量（たとえば画素がどれだけ変化したか）を表し得る。たとえば、安定性モジュールは、現在の奥行きマップに対する入力（たとえば基準画像）と以前の奥行きマップに対する入力（たとえば基準画像）との間の画素強度変化の量を判定して、画素変化情報を計算し得る。視差変化情報は、視差変化の量ならびに以前の奥行きマップおよび現在の奥行きマップを表し得る。たとえば、安定性モジュールは、以前の奥行きマップの視差と現在の奥行きマップの提出された視差との間の視差変化の量を判定することによって、視差変化情報を計算し得る。安定性モジュールは、画素強度情報および視差変化情報を使用して安定性ペナルティを計算し得る。たとえば、安定性モジュールは、画素強度情報および視差変化情報を入力された１つまたは複数の関数を使用して安定性ペナルティを導出し得る。リアルタイムのアクティブステレオシステムは、平面評価ループ中に、安定性ペナルティを用いてマッチングコストを更新し得る。

【0018】

画素変化情報は画素変化値を含み得る。画素変化値は、現在の奥行きマップの基準画像または副画像における画素の画素値と、以前の奥行きマップの基準画像または副画像における画素の画素値との間の差を表す。視差変化情報は視差変化値を含む。視差変化値は、現在の奥行きマップの画素の提出された視差と、以前の奥行きマップの画素の視差との間の差を表し得る。安定性モジュールは、画素変化値を使用して強度乗数を計算し得る。いくつかの例では、安定性モジュールは、エッジアウェアフィルタを使用して画素変化値をフィルタリングし、フィルタリングされた画素変化値を使用して強度乗数を計算する。安定性モジュールは、視差変化値を使用して視差乗数を計算する。安定性モジュールは、強度乗数と、視差乗数と、平面仮説評価中に生成され得る最高のマッチングコストとを使用して安定性ペナルティ（たとえば、強度乗数と、視差乗数と、最高のマッチングコストとの積）を計算する。

【0019】

リアルタイムのアクティブステレオシステムは、ステレオ内部データを使用して各画素のステレオ奥行き推定値の信頼度重みを生成するように構成された信頼度重み生成器を含み得る。信頼度重みは、画素の奥行き推定に関連する信頼度のレベルを表す値でよい。信頼度重み生成器は、マッチングコスト（たとえば未処理のコスト）および画素変動値を基に、画素のグループに関して選択された平面仮説に関連する信頼度重みを生成し得る。たとえば、信頼度重み生成器は、選択された平面仮説および画素変動値に関連するマッチングコスト（たとえば未処理のマッチングコスト）を受け取り、マッチングコストと画素変動値とを入力したルックアップ表を使用して、信頼度重みを計算し得る。画素変動値は、記述子に関連した時空ウィンドウにわたって、画素のグループにおける画素強度変化の量を指示し得る。いくつかの例では、ルックアップ表は、既知のジオメトリを有するシーンの画像データから生成された画素変動値とマッチングコストとの組合せに、信頼度重みをマッピングし得る。

【0020】

図１Ａ～図１Ｇは、一態様によるリアルタイムのアクティブステレオシステム１００を示す。リアルタイムのアクティブステレオシステム１００は、リアルタイム（または準リアルタイム）で取り込まれたステレオ画像データ１１４を基に奥行きマップ１２２を生成して、表示装置に示される３Ｄステレオ画像フレームを生成するように構成される。奥行きマップ１２２は、ステレオ画像のそれぞれの画像要素について、視差値を含む。視差値は、カメラの視点からシーンにおける対象物の表面までの距離に対して逆に関係する。たとえば、奥行きマップ１２２は、カメラの視点からシーンにおける対象物の表面までの距離に関する情報を含有している画像を記述するために使用され得る。いくつかの例では、奥行きマップ１２２は、各画素における値が、関連する光線に沿った、最も近い表面までの距離になる画像である。

【0021】

奥行きマップ１２２は、拡張現実、ロボット工学、実物そっくりのユーザインターフェース技術、ゲーム、または他の用途を制御するために使用され得る。リアルタイムのアクティブステレオシステム１００は、高解像度の正確な３Ｄモデルを、リアルタイムかつ比較的高いフレームレートで構成し得る。いくつかの例では、リアルタイムのアクティブステレオシステム１００は、動いているシーンを処理して、密な、高品質の奥行きマップ１２２を生成することができる奥行き感知システムである。いくつかの例では、リアルタイムのアクティブステレオシステム１００は、１メガピクセル（または１メガピクセル以上）の密な高品質奥行きマップ１２２を、６０Ｈｚ以上のフレームレートで生成する。

【0022】

リアルタイムのアクティブステレオシステム１００は、ステレオ画像データ１１４を取り込むように構成された取込みシステム１０２と、ステレオ画像データ１１４を基に奥行きマップ１２２を生成するように構成された奥行き感知コンピューティングシステム１０４とを含む。奥行き感知コンピューティングシステム１０４は、少なくとも１つのプロセッサ１１６と、少なくとも１つのプロセッサ１１６によって実行されたとき、局所的ステレオ再構成アルゴリズム１２０および／または本明細書で論じた機能のうち任意のものを実行するように構成された実行可能命令を記憶している非一時的コンピュータ可読媒体１１８とを含む。いくつかの例では、取り込まれたステレオ画像データ１１４は、取込みシステム１０２によって取り込まれた画像のシーケンスを含み、局所的ステレオ再構成アルゴリズム１２０は、画像のシーケンスを処理して奥行きマップ１２２を生成するように構成されており、奥行きマップ１２２は、新規の視点によって再投影された画像データを出力するように使用され得る。また、局所的ステレオ再構成アルゴリズム１２０は、マスクと、画素ごとの表面配向推定とを出力するように構成される。

【0023】

取込みシステム１０２は、１つまたは複数の基準画像および１つまたは複数の副画像を生成するように構成された一対のステレオカメラを含み得る。いくつかの例では、取込みシステム１０２は、カラーカメラ１０６、基準ステレオカメラ１０８、副ステレオカメラ１１０、１つまたは複数の構造光プロジェタ１１１、マイクロコントローラ１１２、および非構造光を投射するように構成された光源１１３を含む。いくつかの例では、光源１１３は近赤外（ＮＩＲ）照明灯である。いくつかの例では、基準ステレオカメラ１０８は右カメラと見なされ、副ステレオカメラ１１０は左カメラと見なされる。プロジェタ１１１は、ステレオ露光（たとえば基準ステレオカメラ１０８および副ステレオカメラ１１０によって取り込まれるステレオ画像）中は構造光を生成するように構成される。いくつかの例では、プロジェタ１１１は、赤外線（ＩＲ）ドットパターンを投射するように構成されたＩＲプロジェタである。マイクロコントローラ１１２は、カラーカメラ１０６、基準ステレオカメラ１０８、副ステレオカメラ１１０、および構造光プロジェタ１１１を起動するように構成される。いくつかの例では、マイクロコントローラ１１２は、起動マイクロコントローラである。

【0024】

いくつかの例では、プロジェタ１１１は、時間的に変化するアクティブ照明パターンを投射する近赤外線（ＮＩＲ）回折光学要素（ＤＯＥ）の１つまたは複数のバンクを含む。いくつかの例では、プロジェタ１１１は、ＤＯＥの２つのバンクを含む。いくつかの例では、各バンクがＤＯＥのセットを含む。いくつかの例では、ＤＯＥのセットは４つのＤＯＥ含み、１つのＤＯＥによって、それぞれのバンクからそれぞれのパターン画像が照光される。２つのＤＯＥを同時に起動すると、投射されるドットパターンの密度が増加し得、奥行き精度およびカバレッジを改善することができる。いくつかの例では、ガイド画像の露光中はＤＯＥがオフにされ、画像は光源１１３によって供給される環境ＮＩＲ照明を用いて取り込まれる。

【0025】

図１Ｂは、奥行き感知コンピューティングシステム１０４によって受け取られたステレオ画像データ１１４の一例を示す。たとえば、局所的ステレオ再構成アルゴリズム１２０は、所定数の画像をグループで処理するように構成される。いくつかの例では、局所的ステレオ再構成アルゴリズム１２０は、１０の画像のセットを処理するように構成される。いくつかの例では、局所的ステレオ再構成アルゴリズム１２０は、１０未満の画像のセットを処理するように構成される。いくつかの例では、局所的ステレオ再構成アルゴリズム１２０は、１０よりも多くの画像のセットを処理するように構成される。いくつかの例では、信号セットは、５つの同期した対を含む。たとえば、一対の同期した画像が、基準ステレオカメラ１０８によって取り込まれた基準画像と副ステレオカメラ１１０によって取り込まれた副画像とを含む。

【0026】

図１Ｂに示されるように、ステレオ画像データ１１４は、第１の対１１５－１、第２の対１１５－２、第３の対１１５－３、第４の対１１５－４、および第５の対１１５－５を含み、対の各々が別々の時間ウィンドウ（または時間枠もしくは露光）に対応する。それぞれの対が、個別のタイムスライスに関係する基準画像１３０および副画像１３２を含む。

【0027】

最初の２回と最後の２回の露光中、シーンは（プロジェタ１１１によって供給される）高周波の投影パターンを使用して照光され、中間の露光（たとえば第３の対１１５－３）中、シーンはパターンのない照明（たとえば光源１１３によって供給される投光照明）によって照光される。いくつかの例では、最初の２回の露光中に生成されるドットパターンと最後の２回の露光中に生成されるドットパターンとは、互いに異なる。いくつかの例では、最初の２回の露光中に生成されるドットパターンと最後の２回の露光中に生成されるドットパターンとのうち、１つまたは複数は同一である。第１の露光中に、マイクロコントローラ１１２は、プロジェタ１１１のうち少なくとも１つを起動して、シーンを照光するためのドットパターン照明を生成するように構成され、また、基準ステレオカメラ１０８および副ステレオカメラ１１０を起動して、第１の対１１５－１のうち基準画像１３０－１および副画像１３２－１をそれぞれ取り込むように構成される。

【0028】

第２の露光中に、マイクロコントローラ１１２は、プロジェタ１１１のうち少なくとも１つを起動して、シーンを照光するためのドットパターン照明を生成するように構成され、また、基準ステレオカメラ１０８および副ステレオカメラ１１０を起動して、第２の対１１５－２のうち基準画像１３０－２および副画像１３２－２をそれぞれ取り込むように構成される。第３の露光中に、光源１１３によってシーンが照光され、マイクロコントローラ１１２は、基準ステレオカメラ１０８および副ステレオカメラ１１０を起動して、第３の対１１５－３のうち基準画像１３０－３および副画像１３２－３をそれぞれ取り込むように構成される。いくつかの例では、第３の露光中に、マイクロコントローラ１１２は、カラーカメラ１０６を起動してカラー画像を取得するように構成される。いくつかの例では、第３の対１１５－３の基準画像１３０－３および副画像１３２－３は、シーンが光源１１３によって照光されたものではないので、パターン化されていない画像である。いくつかの例では、第３の対１１５－３は、エッジアウェアフィルタ１９６を使用して、（図１Ｃに示される）マッチングコスト１９４（たとえば未処理のコスト１９４ａ）をフィルタリングするために使用されるガイド画像を含有している中間の対と見なされる。いくつかの例では、ガイド画像は基準画像１３０－３である。

【0029】

第４の露光中に、マイクロコントローラ１１２は、プロジェタ１１１のうち少なくとも１つを起動して、シーンを照光するためのドットパターン照明を生成するように構成され、また、マイクロコントローラ１１２は、基準ステレオカメラ１０８および副ステレオカメラ１１０を起動して、第４の対１１５－４のうち基準画像１３０－４および副画像１３２－４をそれぞれ取り込むように構成される。第５の露光中に、マイクロコントローラ１１２は、プロジェタ１１１のうち少なくとも１つを起動して、シーンを照光するためのドットパターン照明を生成するように構成され、また、マイクロコントローラ１１２は、基準ステレオカメラ１０８および副ステレオカメラ１１０を起動して、第５の対１１５－５のうち基準画像１３０－５および副画像１３２－５をそれぞれ取り込むように構成される。

【0030】

ステレオ画像データ１１４は、基準画像１３０－１、基準画像１３０－２、基準画像１３０－３、基準画像１３０－４、および／または基準画像１３０－５などの、基準画像１３０のシーケンス（またはスタック）を含む。いくつかの例では、基準画像１３０のシーケンス（またはスタック）は、パターン化された基準画像のシーケンス（またはスタック）と称され、パターン化された基準画像は、基準画像１３０－１、基準画像１３０－２、基準画像１３０－４、および基準画像の１３０－５を含む（基準画像１３０－３はパターン化されていないので含まれない）。ステレオ画像データ１１４は、副画像１３２－１、副画像１３２－２、副画像１３２－３、副画像１３２－４、および／または副画像１３２－５などの、副画像１３２のシーケンス（またはスタック）を含む。いくつかの例では、副画像１３２のシーケンス（またはスタック）は、パターン化された副画像のシーケンス（またはスタック）と称され、パターン化された副画像は、副画像１３２－１、副画像１３０－２、副画像１３２－４、および副画像１３２－５を含む（副画像１３２－３はパターン化されていないので含まれない）。

【0031】

局所的ステレオ再構成アルゴリズム１２０は、基準画像１３０および副画像１３２を処理して奥行きマップ１２２を生成するように構成される。たとえば、局所的ステレオ再構成アルゴリズム１２０は、動作１０３において、ステレオ画像データ１１４を基に記述子１２１（たとえばバイナリ時空記述子）を計算するように構成される。いくつかの例では、記述子１２１（たとえば第１の対１１５－１、第２の対１１５－２、第４の対１１５－４、および第５の対１１５－５）を計算するために使用されるのはパターン化された画像のみである。いくつかの例では、第３の対１１５－３の基準画像１３０－３および副画像１３２－３は、記述子１２１の計算には使用されないが、基準画像１３０－３または副画像１３２－３は（たとえばエッジアウェアフィルタ１９６による）コストフィルタリングにおいて使用される。いくつかの例では、副画像１３２－３はコストボリュームに対して画素整列しないので、コストフィルタリングに使用されるのは基準画像１３０－３のみである。基準画像１３０（たとえば基準記述子１２１ａと称される）と副画像１３２（たとえば副記述子１２１ｂと称される）とに関して、記述子１２１が計算される。いくつかの例では、精度を改善するために、局所的ステレオ再構成アルゴリズム１２０は、副画像１３２をサブ画素オフセットだけシフトして、シフトされた副画像１３２に関する副記述子１２１ｂも計算するように構成される。

【0032】

図１Ｄは、一態様による、記述子１２１の計算の図的表現を示す。たとえば、時空ウィンドウ１５０の範囲内の画像部分のスタックは、図１Ｄに示されるように、画像部分１５１、画像部分１５２、画像部分１５３、および画像部分１５４を含み、画像部分の各々が、別々の時間窓から取り込まれたものである。画像部分１５１、画像部分１５２、画像部分１５３、および画像部分１５４は、総体として、時空ウィンドウ１５０の範囲内の画像データを指し得る。画像部分の各々が複数の画素を含み、それぞれが画素強度値を有する。同一の画像部分における画素は同一のタイムスライス（または同一の時間窓）にあると見なされ、別々の画像部分は別々のタイムスライス（または別々の時間窓）からのものである。

【0033】

これら４つの画像部分は、パターン化された基準画像のスタックまたはパターン化された副画像のスタックのいずれかに対応し得る。画像部分が、パターン化された基準画像のスタックである場合には、画像部分１５１は基準画像１３０－１の一部であり得、画像部分１５２は基準画像１３０－２の一部であり得、画像部分１５３は基準画像１３０－４の一部であり得、画像部分１５４は基準画像１３０－５の一部であり得る。画像部分がパターン化された副画像のスタックである場合には、画像部分１５１は副画像１３２－１の一部であり得、画像部分１５２は副画像１３２－２の一部であり得、画像部分１５３は副画像１３２－４の一部であり得、画像部分１５４は副画像１３２－５の一部であり得る。

【0034】

記述子１２１は、比較的小さい時空ウィンドウ１５０にわたって計算される。たとえば、記述子１２１は、所定のサイズの空間的範囲および所定のサイズの時間的範囲を有する時空ウィンドウ１５０にわたって計算される。いくつかの例では、図１Ｄに示されるように、空間的範囲は３×３画素であり、時間的範囲は４つの時間ウィンドウである。いくつかの例では、空間的範囲は８×８画素未満であり、時間的範囲は４つの時間ウィンドウ未満である。いくつかの例では、空間的範囲は８×８画素以上であり、時間的範囲は４つの時間ウィンドウよりも長い。いくつかの例では、空間的範囲は２×２画素～８×８画素であり、時間的範囲は２つ～６つの時間ウィンドウである。また、上記で指示されたように、露光の各々を通じて別々のランダムドット照明パターンが投射され、投光照明を用いるガイド画像は、記述子１２１の計算には使用されず、フィルタリングのために使用されることになる。記述子１２１が空間的にコンパクトであれば、傾斜したジオメトリおよび奥行きの不連続性に対する頑健性が向上し得る。

【0035】

記述子１２１は、画像部分のスタックの時空内の画素の比較を表すバイナリコンピュータデータを含む。いくつかの例では、記述子１２１の各々が、時空ウィンドウ１５０内の複数のペアワイズ強度比較の連結を含む。いくつかの例では、それぞれの記述子１２１が、時空ウィンドウ１５０における３２のペアワイズ強度比較を表す３２ビットのバイナリ記述子を含む。しかしながら、記述子１２１のビット数は任意であり、３２よりも多くてよく、３２未満でもよい。

【0036】

図１Ｄに示されるように、ライン１６０は、画像部分１５３の画素１７１と画像部分１５２の画素１７３との間の比較（たとえば別々のタイムスライスにおける画素の間の比較）を表す。画素１７１の強度値が画素１７３の強度値よりも大きければ、比較値（たとえば１）が、記述子１２１の対応するビット位置に記録され得る。画素１７１の強度値が画素１７３の強度値よりも小さければ、比較値（たとえば０）が、記述子１２１の対応するビット位置に記録され得る。

【0037】

ライン１６１は、画像部分１５４の画素１７２と画像部分１５４の画素１７４との間の比較（たとえば同一のタイムスライスにおける画素の間の比較）を表す。ライン１６２は、画像部分１５４の画素１７５と画像部分１５１の画素１７７との間の比較（たとえば別々のタイムスライスにおける画素の間の比較）を表す。いくつかの例では、バイナリ時空記述子は、時空ウィンドウ１５０にわたって、［０，１，１，０．．．．Ｎ］などの複数のペアワイズ強度比較（たとえば複数の比較値）の連結を含み、整数Ｎは記述子１２１の長さ（すなわち内部のビット数）を定義する。次いで、別の時空ウィンドウ１５０にわたって別の記述子１２１が計算される。各時空ウィンドウ１５０が、時間と空間の両方においてオーバーラップしているため、同一の画素が多くの時空ウィンドウ１５０に含有されている可能性があるので、各時空ウィンドウ１５０は異なるが、必ずしも別個ではないことが注目される。

【0038】

図１Ａおよび図１Ｅを参照して、記述子１２１が計算された後に、動作１０５において、局所的ステレオ再構成アルゴリズム１２０は、ステレオ画像データ１１４の画像のセットを所定のサイズの領域１３４に分割するように構成される。領域１３４はタイルと称され得ることが注目される。いくつかの例では、領域１３４は画素のグループである。いくつかの例では、領域１３４は同一サイズの長方形のタイルから成る。いくつかの例では、画像は、所定のサイズ（たとえば３６×３２）のオーバーラップ領域１３４を伴って所定のサイズ（たとえば３２×２８）の独立した領域１３４に分割される。次いで、局所的ステレオ再構成アルゴリズム１２０は、記述子１２１を使用して領域１３４を処理して奥行きマップ１２２を生成するように構成される。いくつかの例では、局所的ステレオ再構成アルゴリズム１２０は、領域１３４を並行して処理するように構成される。

【0039】

局所的ステレオ再構成アルゴリズム１２０は、ｉ）すべてのタイルについて視差平面を仮定するステップ（動作１０７）と、ｉｉ）各領域１３４にわたってマッチングコスト１９４を並行して計算して集約するステップ（動作１０９）との間を繰り返すように構成される。視差平面は平面仮説１３６と称され得る。いくつかの例では、平面仮説１３６は、傾けた（すなわち傾斜させた）平面仮説を含む。動作１０７および動作１０９は、時空ウィンドウ１５０の各領域１３４において傾けた（すなわち傾斜させた）平面推測を使用して、記述子１２１の間のハミング距離を基にマッチングコスト１９４（たとえばの未処理のコスト１９４ａ）を計算し、図１Ｃに示されるように、エッジアウェアフィルタ１９６を使用して未処理のコスト１９４ａを集約し（フィルタリングし）、フィルタリングされたコスト１９４ｂを取得する、リアルタイム時空ステレオマッチングを実施する平面評価ループと見なされ得る。いくつかの例では、エッジアウェアフィルタ１９６は透過性フィルタである。

【0040】

図１Ｃに示されるように、マッチングコスト１９４は、エッジアウェアフィルタ１９６を適用される前は未処理のコスト１９４ａと称され得る。マッチングコスト１９４は、エッジアウェアフィルタ１９６を適用された後はフィルタリングされたコスト１９４ｂと称され得る。マッチングコスト１９４は、２つの記述子の間の（したがって２つの画素の間の）類似度（または非類似度）の（数的に表現された）レベルを指し得、または表し得る。言い換えれば、マッチングコスト１９４は、１つの画像における画素または画素のグループと別の画像における画素または画素のグループとの間の類似度（または非類似度）の量を指し得、または表し得る。いくつかの例では、マッチングコスト１９４（たとえばマッチングコスト）はコストボリュームと称される。いくつかの例では、マッチングコスト１９４は、１つの画像における画素または画素のグループと、別の画像における画素または画素のグループとの間の、情報における差の指標である。いくつかの例では、マッチングコスト１９４（たとえば未処理のコスト１９４ａ）は、２つの記述子１２１における異なるビットの数（たとえばハミング距離とも称される）を基に計算される。いくつかの例では、記述子の間のコスト１９４は、２つの記述子の間のハミング距離であり得る。ハミング距離は、２つの記述子が異なるビット位置の数でよい。ハミング距離（たとえばマッチングコスト）は、ｐｏｐｕｌａｔｉｏｎ ｃｏｕｎｔ（たとえばｐｏｐｃｏｕｎｔとも称される）が続く２つの記述子１２１において排他的ＯＲ演算を実行することによって計算され得る。

【0041】

所与の繰返しにおいて、領域１３４に関する、最低の集約された（フィルタリングされた）コスト１９４ｂ（または閾値レベル未満のフィルタリングされたコスト１９４ｂ）を有する平面仮説１３６が、領域１３４におけるいくつかの画素に関する可能な一致として選択され得る。平面仮説１３６は領域１３４にわたって共有されるが、特定の領域１３４におけるそれぞれの画素には、最良適合の傾けた平面仮説１３６が選択されることが注目される。２つの記述子１２１の間のハミング距離は、基準記述子１２１ａの各ビットと副記述子１２１ｂの各ビットとの間の相違の数である。言い換えれば、それぞれの領域１３４について、複数の平面仮説１３６が、事前に計算された記述子１２１の間のハミング距離を集約してフィルタリングすることよって試験され、最低のフィルタリングされたコスト１９４ｂ（または閾値レベル未満のフィルタリングされたコスト１９４ｂ）を有する平面仮説１３６が、特定の画素に関する可能な一致として選択される。

【0042】

次いで、局所的ステレオ再構成アルゴリズム１２０は、動作１０７に戻って、動作１０９の結果を基に新規の平面仮説１３６を生成することにより、これを繰り返し得る。たとえば、局所的ステレオ再構成アルゴリズム１２０は、動作１０９の結果からの可能な一致を変更するか、または近隣領域１３４の画素から平面仮説１３６をコピーし、次いで、記述子１２１の間のハミング距離を集約してフィルタリングすることにより、新規の平面仮説１３６を試験することによって、新規の平面仮説１３６を生成し得る。

【0043】

より詳細には、局所的ステレオ再構成アルゴリズム１２０は、領域１３４の各々について、複数の平面仮説１３６をたどって、記述子１２１を繰り返しサンプリングするように構成される。図１Ｅは、ステレオ画像データ１１４の対の画像のうち１つの基準画像１３０および副画像１３２を示す。図１Ｅに示されるように、基準画像１３０は各領域１３４に分割される。局所的ステレオ再構成アルゴリズム１２０は、基準画像１３０における所与の領域１３４に対する副画像１３２における一致を、副画像１３２における対応する領域１３４に対して複数の平面仮説１３６を評価することによって検出するように構成される。言い換えれば、局所的ステレオ再構成アルゴリズム１２０は、それぞれの領域１３４について、推測するべき複数の平面仮説１３６を判定し、次いで、領域１３４に対して、それらの平面仮説１３６を評価する。いくつかの例では、局所的ステレオ再構成アルゴリズム１２０は、いくつかの領域１３４にわたって、複数の平面仮説１３６を並行して評価する（たとえば領域１３４を並行して処理する）ように構成される。いくつかの例では、単一の領域１３４に関する複数の平面仮説１３６が並行して処理される。

【0044】

いくつかの例では、局所的ステレオ再構成アルゴリズム１２０は、それぞれのポイント（画素）における奥行きばかりでなく接平面も仮定することによって、ポイントの近隣を調査するときの比較をより正確にする。領域１３４に関して、局所的ステレオ再構成アルゴリズム１２０は、そのような平面の、領域１３４におけるすべてのポイントに対する均一性を試験して、計算を償却する。

【0045】

いくつかの例では、平面仮説１３６は、ステレオデータ１１４で表されるフィーチャ（たとえば対象物）の局所的表面ジオメトリを、平面（たとえば傾けた平面）を使用して表す奥行き推定である。いくつかの例では、それぞれの領域１３４について、奥行き感知コンピューティングシステム１０４は複数の平面（たとえば傾けた平面）を評価し、それぞれの平面評価が個別の平面仮説１３６（または特定の平面における奥行き推定）を生成する。たとえば、複数の平面仮説１３６が、局所的表面ジオメトリを表すための第１の平面（たとえば第１の傾けた平面）を使用する奥行き推定、局所的表面ジオメトリを表すための第２の平面（たとえば第２の傾けた平面）を使用する奥行き推定（など）を含み得、第２の平面は第１の平面とは異なる配向（たとえば異なる傾き）を有する。次いで、その領域１３４について、最低のマッチングコスト１９４を有する奥行き推定（たとえば平面仮説１３６）が選択される。

【0046】

詳細には、特定の平面仮説１３６について、局所的ステレオ再構成アルゴリズム１２０は、平面仮説１３６をたどって、領域１３４について副記述子１２１ｂを再サンプリングするように構成される。たとえば、平面仮説１３６は、最近傍の副記述子１２１ｂを再サンプリングするために使用される画素ごとの視差を与える。局所的ステレオ再構成アルゴリズム１２０は、副画像１３２の領域１３４における再サンプリングされた副記述子１２１ｂと基準画像１３０の対応する領域１３４における基準記述子１２１ａとの間の未処理のコスト１９４ａを、その領域１３４において再サンプリングされた副記述子１２１ｂと基準記述子１２１ａとの間のハミング距離を計算することによって、計算するように構成される。

【0047】

次いで、局所的ステレオ再構成アルゴリズム１２０は、エッジアウェアフィルタ１９６およびガイド画像（たとえば基準画像１３０－３）を使用して未処理のコスト１９４ａを（フィルタリングするために）集約し、フィルタリングされたコスト１９４ｂを取得するように構成され、こうすると、信号レベルが低い領域１３４を補償することができ、このことは、後に本開示で説明される。いくつかの例では、エッジアウェアフィルタ１９６は透過性フィルタである。いくつかの例では、エッジアウェアフィルタ１９６は双方向フィルタである。いくつかの例では、エッジアウェアフィルタ１９６はガイドフィルタである。エッジアウェアフィルタ１９６は、シーンの奥行きエッジに対応し得る、ガイド画像の高コントラスト画像領域における高周波詳細を保ったまま、ガイド画像の低コントラスト領域におけるノイズのあるコスト値を調整するように使用される。より一般的には、時空パターンでも、何らかの所与の画素において、唯一の一致があり得ず、近くの画素が、他の画像における近くのポイントに一致する可能性が高くなることがある。エッジアウェアフィルタ１９６は、ガイド画像を使用して、エッジから離れた場所のデータを組み合わせる。

【0048】

記述子１２１は、前処理動作（たとえば動作１０３）において一旦計算され、平面評価ループ（たとえば動作１０７および動作１０９）中に再計算されることはない。たとえば、記述子１２１は時空ウィンドウ１５０の中で比較的小さいので、局所的ステレオ再構成アルゴリズム１２０は、処理ステップにおいて記述子１２１を事前に計算することができ、それによって、コンピュータリソースの量を減少し得、奥行きマップ１２２を生成するための速度を増加し得る。また、記述子１２１がコンパクトであるため、局所的ステレオ再構成アルゴリズム１２０は、記述子１２１の最近傍のサンプルに働くように構成され、計算が高速になる。

【0049】

いくつかの例では、平面評価ループは４つのサブステップを含む。図１Ｆは、一態様による、局所的ステレオ再構成アルゴリズム１２０によって実行可能な平面評価ループのサブステップを表す流れ図を示す。動作１９１は、画素ごとの視差を与える平面仮説１３６に関する最近傍の副記述子１２１ｂを再サンプリングするステップを含む。動作１９３は、記述子１２１の間のハミング距離を使用して、未処理のコスト１９４ａを計算するステップを含む。動作１９５は、エッジアウェアフィルタ１９６を使用して未処理のコスト１９４ａをフィルタリングすることにより、フィルタリングされたコスト１９６ｂを取得するステップを含み、信号レベルが低い領域を補償することができる。動作１９７は、現在の平面仮説１３６について、以前のフィルタリングされたコスト１９４よりも低いフィルタリングされたコスト１９４ｂを用いて、任意の画素の奥行きを更新するステップを含む。

【0050】

図１Ｇは、一態様による、繰り返すパターン化－パターン化－ガイドシーケンスにおけるステレオ画像のタイミング図を示す。いくつかの例では、ステレオ画像は、繰り返すパターン化－パターン化－ガイドシーケンスにおいて１８０Ｈｚで取り込まれる。それぞれのステレオ奥行きマップ１２２が、ガイド画像に中心にある５つのフレーム（４つのパターン化されたフレームと１つのガイドフレーム）のローリングウィンドウにわたって計算される。カラーテクスチャリングのために、ガイド画像と同期して起動されるＲＧＢカメラが使用される。これは、奥行きエッジの、関連するテクスチャマップとの優れた位置合わせを保証し得る。

【0051】

図１Ａに戻って、奥行き感知コンピューティングシステム１０４が含み得る記述子生成器１２４は、比較グラフ１２５におけるサイクルの存在によって発生し得る特定の記述子１２１の中に含まれる冗長情報の量を減少させることができる。たとえば、記述子生成器１２４は、比較グラフ１２５におけるサイクルを最小限にするか回避する比較を生成するように、方策を立てて画素をサンプリングすることにより、記述子１２１の情報量を増加させる記述子１２１を生成することがある。記述子１２１の情報量が増加することにより、記述子１２１による画像の間の一致の判定がより正確になり得る。

【0052】

図２Ａは、記述子１２１に冗長性を導入することができるやり方で画素を比較するための比較グラフ１２５ａを示す。図２Ｂは、一態様による、記述子１２１の中の冗長情報の量を減少させるための記述子生成器１２４を示す。

【0053】

図２Ａを参照して、一例では、記述子１２１を形成するように比較され得る３つの画素［ａ，ｂ，ｃ］があり得、３つのペアの強度が比較され得る。３つのペアの比較をすべて実行すると、図２Ａに示されるように比較グラフ１２５ａがもたらされる。ビットの可能な組合せは８つあるが、可能な順序関係は６つしかなく、たとえば、ビットの組合せ［ａ＞ｂ，ｂ＞ｃ，ａ＞ｃ］＝［１，１，０］は、ａ＞ｂかつｂ＞ｃによってａ＞ｃとなり、ａ＞ｂかつｂ＞ｃに照らしてａ＞ｃ＝０は矛盾するので無効である。同様に、［ａ＞ｂ，ｂ＞ｃ，ａ＞ｃ］＝［１，１，１］は、ａ＞ｃ＝１が最初の２つのビットに既に包含されているので、冗長である。したがって、記述子１２１の冗長ビットを最小限にするために、比較グラフ１２５におけるサイクルを回避するのが望ましいであろう。

【0054】

図２Ｂを参照して、記述子生成器１２４は、比較のために、画素を、ランダムに（または準ランダムに）選択するのではなく、二者択一的に、１）同一のタイムスライスからの画素、および２）別々のタイムスライスからの画素を選択することによって記述子１２１を計算し得、それによって比較グラフ１２５を形成する。たとえば、記述子生成器１２４は、基準画像１３０および副画像１３２を受け取って、比較グラフ１２５ｂに示されるようなやり方で、基準画像１３０を使用して基準記述子１２１ａを計算し得、副画像１３２を使用して副記述子１２１ｂを計算し得る。左の列の画素（たとえばａ０、ａ１、ａ２、ａ３、ａ４、ａ５、ａ６、ａ７、ａ８）は、図１Ｄの画像部分１５１を表し得る。右の列の画素（たとえばｂ０、ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６、ｂ７、ｂ８）は、図１Ｄの画像部分１５３を表し得る。２つの画素の間の強度比較が、記述子に記録される比較値（たとえば１または０）をもたらす。

【0055】

記述子生成器１２４は、二者択一的に、１つの空間的エッジ（たとえば同一のタイムスライスの範囲内の２つの画素の間の比較）および１つの時間的エッジ（たとえば異なるタイムスライスからの画素の間の組合せ）を選択し得る。たとえば、記述子生成器１２４は、最初の比較において、同一のタイムスライス（たとえば画像部分１５１）から画素ａ０および画素ａ１を選択し得る（それによって空間的エッジａ０－ａ１を生成する）。次の比較のために、記述子生成器１２４は、画素ａ１および画素ｂ０を別々のタイムスライスから（たとえば画素ａ１は画像部分１５１から、画素ｂ０は画像部分１５３から）選択し得る（それによって時間的エッジａ１－ｂ０を生成する）。次いで、この処理が繰り返されてよく、たとえば、同一のタイムスライスにおける２つの画素の選択に、別々のタイムスライスにおける２つの画素の選択が続く。たとえば、次の比較のために、記述子生成器１２４は、同一のタイムスライス（たとえば画像部分１５３）から画素ｂ１および画素ｂ２を選択し得る（それによって空間的エッジｂ１－ｂ２を生成する）。次の比較のために、記述子生成器１２４は、別々のタイムスライスから画素ｂ２および画素ａ２を選択し得る（それによって時間的エッジｂ２－ａ２を生成する）。次いで、時空ウィンドウ１５０におけるすべての画像部分について、この処理が繰り返される。このサンプリング方策は、空間的エッジおよび時間的エッジが均一に分散される（または実質的に均一に分散される）ことを保証し得る。

【0056】

記述子生成器１２４は、時空ウィンドウ１５０における画素がすべて選択されるまで、または記述子１２１がその最大ビット数に達するまで、この処理を繰り返し得る。また、記述子生成器１２４は、時空ウィンドウ１５０における画素がすべて選択されるまでに比較において使用済の画素の再選択を回避し得る。いくつかの例では、時空ウィンドウ１５０におけるすべての画素が選択されてしまったら（しかも引き続き比較する必要がある場合には）、記述子生成器１２４は、画素のグラフ構造のサイクル長が、閾値レベルおよび／または別の可能な機構のサイクル長よりも長くなるように、画素を選択してよい（たとえば、記述子生成器１２４は、短いサイクルよりも長いサイクルが好ましいやり方で画素を選択してよい）。

【0057】

図３は、一態様による、記述子生成器１２４によって生成された記述子１２１を使用して奥行きマップ１２２を生成する例示の動作を表す流れ図を示す。図３の流れ図３００は、シーケンシャルな順序の動作を示すが、これは単なる例示であり、追加または代替の動作が含まれ得ることが理解されよう。さらに、図３の動作および関連する動作は、示されたものとは異なる順序で実行されてよく、または並行して、もしくはオーバーラップして実行されてもよい。

【0058】

動作３０２は、基準ステレオカメラ１０８から取り込まれた基準画像１３０、および副ステレオカメラ１１０から取り込まれた副画像１３２を含むステレオ画像データ１１４を受け取るステップを含み、基準画像１３０または副画像１３２は、第１の時間窓に関連した第１の画像および第２の時間窓に関連した第２の画像を含む。

【0059】

動作３０４は、基準画像１３０および副画像１３２を基に記述子１２１（たとえば基準記述子１２１ａ、副記述子１２１ｂ）を計算するステップを含み、二者択一的に、ｉ）比較のために第１の画像（たとえば画像部分１５１）または第２の画像（たとえば画像部分１５３）のうち１つから画素を選択し、ｉｉ）比較のために、第１の画像から画素を選択し、第２の画像から画素を選択することによって、記述子１２１を計算するステップを含む。動作３０６は、記述子１２１を使用して奥行きマップ１２２を生成するステップを含む。

【0060】

図１Ａに戻って、奥行き感知コンピューティングシステム１０４は、記述子１２１に関連する信頼性データ１２６を生成する（または計算する）記述子生成器１２４を含み得る。信頼性データ１２６は、比較値１２９が信頼できるか、信頼できないか、またはどちらでもないか、ということを指示する情報を含み得る。図１Ａに示されるように、信頼性データ１２６は、平面仮説評価中にマッチングコスト１９４（たとえば未処理のコスト１９４ａ）を更新する（または調節する）ことによってより正確な一致をもたらすように、使用され得る。

【0061】

時空ウィンドウ１５０における画素強度を比較することによって記述子１２１が生成され得るが、いくつかの比較が他の比較よりも普通であってより信頼できることがある。たとえば、第１の画素と第２の画素との間の比較の大きさが比較的大きければ、比較は、より確かなものと見なされ得る。差（たとえば絶対差）が比較的小さければ、比較は、あまり信頼できないと見なされ得る。記述子生成器１２４は、画素値の間の強度差を基に、記述子１２１に関連する信頼性データ１２６を生成し得る。次いで、奥行き感知コンピューティングシステム１０４は、平面評価ループ中に、信頼性データ１２６を用いて未処理のコスト１９４ａを調節することができる。

【0062】

奥行き感知コンピューティングシステム１０４は、それぞれの平面仮説１３６について、記述子１２１の間のマッチングコスト１９４（たとえば未処理のコスト１９４ａ）を計算することを含めて、記述子１２１を使用して、画素のグループ（たとえば領域１３４）に関する複数の平面仮説１３６を評価し得る。図１Ａおよび図１Ｃに示されるように、奥行き感知コンピューティングシステム１０４は、信頼性データ１２６を用いて未処理のコスト１９４ａを調節し得る。いくつかの例では、エッジアウェアフィルタ１９６を使用して未処理のコスト１９４ａをフィルタリングすることにより、フィルタリングされたコスト１９４ｂが取得される。次いで、奥行き感知コンピューティングシステム１０４は、画素のグループについて、フィルタリングされた（調節された）コスト１９４ｂが最低になる平面仮説１３６を選択し得る。

【0063】

図４は、一態様による、信頼性データ１２６を生成するための記述子生成器１２４を示す。図４に示されるように、記述子１２１は、比較値１２９－１、比較値１２９－２、比較値１２９－３、比較値１２９－４～比較値１２９－Ｎなどの比較値１２９を含み、Ｎは記述子１２１におけるビットの総数を定義する整数である。記述子生成器１２４は、信頼マスク１３８および不信頼マスク１４８を生成し得る。信頼マスク１３８は、記述子１２１におけるそれぞれの比較値１２９が信頼できるかどうかを指示する情報を含み得る。不信頼マスク１４８は、記述子１２１におけるそれぞれの比較値１２９が信頼できないかどうかを指示する情報を含み得る。

【0064】

信頼マスク１３８と不信頼マスク１４８マスクとは記述子１２１と同一のサイズを有し得、記述子１２１における各ビット位置は、信頼マスク１３８および不信頼マスク１４８において対応するビットを有する。たとえば、信頼マスク１３８は、信頼ビット１３９－１、信頼ビット１３９－２、信頼ビット１３９－３、信頼ビット１３９－４～信頼ビット１３９－Ｎなどの複数の信頼ビット１３９を含み得る。信頼ビット１３９－１は比較値１２９－１に対応し得、信頼ビット１３９－２は比較値１２９－２に対応し得る、などである。不信頼マスク１４８は、不信頼ビット１４９－１、不信頼ビット１４９－２、不信頼ビット１４９－３、不信頼ビット１４９－４～不信頼ビット１４９－Ｎなどの複数の不信頼ビット１４９を含み得る。不信頼ビット１４９－１は比較値１２９－１に対応し得、不信頼ビット１４９－２は比較値１２９－２に対応し得る、などである。

【0065】

記述子生成器１２４は、記述子１２１を計算するとき、第１の画素の強度値と第２の画素の強度値との間の差を計算し得る。比較の大きさ（たとえば強度値の間の差）が信頼閾値よりも大きければ、記述子生成器１２４は、信頼マスク１３８におけるそれぞれのビット位置に第１の値（たとえば１）を生成し得る。たとえば、比較値１２９－１に関して、２つの画素の間の強度差が信頼閾値よりも大きければ、記述子生成器１２４は、信頼ビット１３９－１に第１の値（たとえば１）を記録し得る。比較値１２９－２に関して、２つの画素の間の強度差が信頼閾値未満であれば、記述子生成器１２４は、信頼ビット１３９－２に第１の値（たとえば１）を記録しなくてよい（たとえば何も記録しなくてよい）。いくつかの例では、２つの画素の間の強度差が信頼閾値よりも小さければ、記述子生成器１２４は、信頼ビット１３９－２に第２の値（たとえば０）を記録し得る。この処理は、信頼マスク１３８におけるすべてのビットにわたって継続する。

【0066】

比較の大きさ（たとえば画素強度の差）が不信頼閾値よりも小さければ、記述子生成器１２４は、不信頼マスク１４８におけるそれぞれのビット位置に第１の信頼値（たとえば１）を生成し得る。いくつかの例では、不信頼閾値は信頼閾値未満である。比較値１２９－１に関して、２つの画素の間の強度差が不信頼閾値よりも小さければ、記述子生成器１２４は、不信頼ビット１４９－１に第１の値（たとえば１）を記録し得る。比較値１２９－２に関して、２つの画素の間の強度差が不信頼閾値よりも大きければ、記述子生成器１２４は、不信頼ビット１４９－２に第１の値（たとえば１）を記録しなくてよい（たとえば何も記録しなくてよい）。いくつかの例では、２つの画素の間の強度差が不信頼閾値よりも大きければ、記述子生成器１２４は、不信頼ビット１４９－２に第２の値（たとえば０）を記録し得る。この処理は、不信頼マスク１４８におけるすべてのビットにわたって継続する。

【0067】

信頼マスク１３８および不信頼マスク１４８は、コスト計算中に、比較に重み付けする（たとえば未処理のコスト１９４ａに重み付けする）ように使用される。たとえば、奥行き感知コンピューティングシステム１０４は、基準記述子１２１ａと副記述子１２１ｂとの位置（たとえばハミング距離）をカウントするのではなく、信頼マスク１３８および不信頼マスク１４８を使用して、ビット位置が、信頼または不信頼であると記録されているかどうかを判定する。いくつかの例では、奥行き感知コンピューティングシステム１０４は、基準記述子１２１ａと副記述子１２１ｂとのＸＯＲ演算を計算し、次いで、信頼マスク１３８と不信頼マスク１４８とのビットＡＮＤ演算を実行し、これにｐｏｐｕｌａｔｉｏｎ ｃｏｕｎｔが後続し得る。いくつかの例では、奥行き感知コンピューティングシステム１０４は、信頼比較を２回カウントして不信頼比較を棄却し、信頼でも不信頼でもない比較を１回カウントする。

【0068】

図５は、一態様による、マッチングコスト１９４（たとえば未処理のコスト１９４ａ）が信頼性データ１２６を用いて更新される奥行きマップ１２２を生成する例示の動作を表す流れ図５００を示す。図５の流れ図５００は、シーケンシャルな順序の動作を示すが、これは単なる例示であり、追加または代替の動作が含まれ得ることが理解されよう。さらに、図５の動作および関連する動作は、示されたものとは異なる順序で実行されてよく、または並行して、もしくはオーバーラップして実行されてもよい。

【0069】

動作５０２は、基準ステレオカメラ１０８から取り込まれた基準画像１３０、および副ステレオカメラ１１０から取り込まれた副画像１３２を含むステレオ画像データ１１４を受け取るステップを含む。動作５０４は、基準画像１３０および副画像１３２を基に記述子１２１を計算するステップを含む。動作５０６は、画素値の間の強度差を基に、記述子１２１に関連する信頼性データ１２６を計算するステップを含む。

【0070】

動作５０８は、記述子１２１を使用して、画素のグループに関する複数の平面仮説１３６を評価するステップであって、それぞれの平面仮説１３６について、記述子１２１の間のマッチングコスト１９４（たとえば未処理のコスト１９４ａ）を計算するステップと、信頼性データ１２６を使用してマッチングコスト１９４を調節するステップと、調節されたマッチングコスト１９４に基づき、複数の平面仮説１３６から、画素のグループに関する平面仮説１３６を選択するステップとを含む。いくつかの例では、マッチングコスト１９４（たとえば未処理のコスト１９４ａ）は、信頼性データ１２６を用いて更新され、フィルタリングされたコスト１９４ｂを取得するためにフィルタリングされ、また、フィルタリングされたコスト１９４ｂは、平面仮説１３６を選択するように使用される。

【0071】

図１Ａに戻って、奥行き感知コンピューティングシステム１０４は、時間フリッカの量を減少させることによって奥行きマップ１２２の生成の安定性を向上することができる安定性モジュール１２７を含み得る。いくつかの従来システムでは、信号レベルが低い領域において、たとえばダークヘアなどの高周波の時間フリッカが生じることがある。フリッカを回避する（または低減する）ために、フレームにおける画素の奥行き推定値は、その推定値を生成した入力が変化していなければ、最近のフレームにおける推定値に近づけるべきである。

【0072】

リアルタイムのアクティブステレオシステム１００において記述子１２１が使用され、ここで、入力における小さな変化（たとえばカメラノイズ）によって記述子１２１の比較値１２９が（たとえば１から０へ、または逆方向へ）変化する可能性がある。また、信号レベルが低い領域では、類似のコストを有する２つの奥行きが存在することもある。小さな入力変化によるコスト１９４の変化は小さくても、これら２つのコスト最小値が遠く離れて、それらの間で推定が転換する（たとえば、一方が、あるポイントにおいてより低いコストを有し、他方が別のポイントにおいてより低いコストを有する）可能性がある。

【0073】

図６Ａ～図６Ｄは、フリッカを低減する（または解消する）ための安定性モジュール１２７を示す。時間フリッカを低減する（それによってリアルタイムのアクティブステレオシステム１００の安定性を向上する）ために、図６Ａに示されるように、安定性モジュール１２７は、画素変化情報１９２および視差変化情報１９９を基に安定性ペナルティ１２８を計算し得る。たとえば、安定性モジュール１２７は、各画素において、現在の奥行きマップ１２２ａに対する入力（たとえば基準画像１３０）と以前の奥行きマップ１２２ｂに対する入力（たとえば基準画像１３０）との間の画素強度変化の量を判定して、画素変化情報１９２を計算し得る。安定性モジュール１２７は、それぞれの画素について、以前の奥行きマップ１２２ｂからの視差１３５と、現在の奥行きマップ１２２ａにおいて提出された視差１３７との間の視差変化の量を判定することにより、視差変化情報１９９を計算し得る。安定性モジュール１２７は、画素変化情報１９２および視差変化情報１９９を使用して安定性ペナルティ１２８を計算し得る。奥行き感知コンピューティングシステム１０４は、平面評価ループ中に、フィルタリングされたコスト１９４ｂを、安定性ペナルティ１２８を用いて更新し得る。

【0074】

奥行き感知コンピューティングシステム１０４は、記述子１２１を使用して、画素のグループに関する複数の平面仮説１３６を評価し得、これは、それぞれの平面仮説１３６について、記述子１２１の間のマッチングコスト１９４（たとえば未処理のコスト１９４ａ）を計算するステップを含む。いくつかの例では、エッジアウェアフィルタ１９６を使用して未処理のコスト１９４ａをフィルタリングすることにより、フィルタリングされたコスト１９４ｂが取得される。奥行き感知コンピューティングシステム１０４は、安定性ペナルティ１２８を用いて（たとえば、フィルタリングされたコスト１９４ｂに安定性ペナルティ１２８を加算して）、フィルタリングされたコスト１９４ｂを調節し得る。次いで、奥行き感知コンピューティングシステム１０４は、画素のグループについて、フィルタリングされた（調節された）コスト１９４ｂが最低になる平面仮説１３６を選択し得る。

【0075】

図６Ｂに示されるように、安定性モジュール１２７は、画素変化情報１９２を基に強度乗数１４６を計算するように構成された画素変化計算エンジン１４０を含む。画素変化計算エンジン１４０は、現在の奥行きマップ１２２ａ（たとえば図１Ｇの奥行きフレーム１）に対する入力である基準画像１３０、および以前の奥行きマップ１２２ｂ（たとえば図１Ｇの奥行きフレーム０）に対する入力である基準画像１３０を受け取り得る。奥行きマップ１２２を生成するために入力として使用される画像である基準画像１３０は、パターン化された画像（たとえば基準画像１３０－１、１３０－２、１３０－４、１３０－５）を含み得る。現在の奥行きマップ１２２ａに対する入力であるパターン化された画像の各々について、画素変化計算エンジン１４０は、動作１４１において、（それぞれの画素において）この画素値と、以前の奥行きマップ１２２ｂに関連した対応する基準画像１３０における画素値との間の差を計算して、画素変化値１４２を生成し得る。いくつかの例では、画素変化値１４２は画素強度における絶対差である。しかしながら、安定性モジュール１２７は、画素強度変化を導出するために（絶対差に加えて）別の技術を採用することもある。

【0076】

動作１４３において、画素変化計算エンジン１４０は、画素変化値１４２に、（たとえばコスト計算に使用される）エッジアウェアフィルタ１９６を適用して、フィルタリングされた画素変化値１４４を計算し得る。動作１４５において、画素変化計算エンジン１４０は、フィルタリングされた画素変化値１４４に強度関数１６８を適用して、強度乗数１４６を計算し得る。いくつかの例では、強度乗数１４６は０～１の値である。

【0077】

図６Ｃは強度関数１６８の一例を示す。図６Ｃに示されるように、フィルタリングされた画素変化値１４４が比較的小さければ、強度乗数１４６は第１の値（たとえば１）を有し得る。いくつかの例では、フィルタリングされた画素変化値１４４が０から第１の閾値１６９までの範囲内にあれば、強度乗数１４６は第１の値（たとえば１）を有し得る。しかしながら、フィルタリングされた画素変化値１４４が第１の閾値１６９を超えて第２の閾値１７０に向かう場合には、強度乗数１４６は、第１の値（たとえば１）と第２の値（たとえば０）との間の値に減少し得る。フィルタリングされた画素変化値１４４が比較的大きければ、強度乗数１４６は第２の値（たとえば０）を有し得る。たとえば、フィルタリングされた画素変化値１４４が第２の閾値１７０を超えると、強度乗数１４６は第２の値（たとえば０）を有し得る。

【0078】

安定性モジュール１２７が含む視差変化計算エンジン１５５は、（それぞれの画素について）現在の奥行きマップ１２２ａに関する評価中の仮説１３６について提出された視差１３７と、以前の奥行きマップ１２２ｂに関する視差１３５とを受け取る。動作１５７において、視差変化計算エンジン１５５は、現在の奥行きマップ１２２ａの提出された視差１３７と以前の奥行きマップ１２２ｂの視差１３５との差を計算して、視差変化値１５８を取得する。いくつかの例では、視差変化値１５８は視差値における絶対差である。しかしながら、安定性モジュール１２７は、視差変化値を導出するために（絶対差に加えて）別の技術を採用することもある。

【0079】

動作１５９において、視差変化計算エンジン１５５は、視差変化値１５８に視差関数１７８を適用して視差乗数１６４を計算する。いくつかの例では、視差乗数１６４は０～１の値である。視差関数１７８は強度関数１６８とは異なり得る。

【0080】

図６Ｄは視差関数１７８の一例を示す。いくつかの例では、視差関数１７８は強度関数１６８の反対である。図６Ｄに示されるように、視差変化値１５８が比較的小さければ、視差乗数１６４は第２の値（たとえば０）を有し得る。いくつかの例では、視差変化値１５８が０から閾値１７９までの範囲内にあれば、視差乗数１６４は第２の値（たとえば０）を有し得る。しかしながら、視差変化値１５８が閾値１７９を超えて閾値１８０に向かう場合には、視差乗数１６４は、第２の値（たとえば０）と第１の値（たとえば１）との間の値に増加し得る。視差変化値１５８が比較的大きければ、視差乗数１６４は第１の値（たとえば１）を有し得る。たとえば、視差変化値１５８が閾値１８０を超えると、視差乗数１６４は第１の値（たとえば１）を有し得る。いくつかの例では、以前の奥行きマップ１２２ｂにおいて画素が無効であると記録されていたら、視差変化計算エンジン１５５は、視差乗数１６４を第２の値（たとえば０）に設定する。

【0081】

安定性モジュール１２７は、強度乗数１４６と、視差乗数１６４と、最高の可能なコスト１６５を基に安定性ペナルティ１２８を計算するペナルティ計算器１６６とを含む。たとえば、ペナルティ計算器１６６は、平面マッチング段階中に生成され得る、それぞれの画素における最高の可能なコスト１６５を計算してよい。いくつかの例では、最高の可能なコスト１６５は、最高の可能な事前安定性トータルコストであり、最高の可能な事前安定性トータルコストは、すべてのマッチングコストが可能な限り高い場合のコストである。いくつかの例では、最高の可能なコスト１６５は、最高の可能な事前安定性トータルコストに追加の乗数を掛けたもの（たとえば最高の可能な事前安定性トータルコストの、ある特定の割合）であり、追加の乗数は、適用される安定性のレベルに影響し得る。いくつかの例では、追加の乗数は、強度関数１６８および／または視差関数１７８に組み込まれる（たとえば０～１の値ではなく０～１未満の値である）。ペナルティ計算器１６６は、最高の可能なコスト１６５に強度乗数１４６を掛けてから視差乗数１６４を掛けて、安定性ペナルティ１２８（たとえば、最高の可能なコスト１６５と、強度乗数１４６と、視差乗数１６４との積）を計算し得る。安定性ペナルティ１２８は、平面評価段階中に、フィルタリングされたコスト１９４ｂに加算される。

【0082】

安定性モジュール１２７は、時間フリッカを低減し得、いくつかの例では、より完全な再構成をもたらすこともできる。たとえば、複数の近似の最小値が存在するとき、真の最小値は、連続したフレームにわたって存在することがあり、しかし、他の最小値の場所はノイズによって動かされ、したがって動き回る可能性がある。誤った最小値は、後処理で無効に記録されることが多く、結果として誤った最小値を有する画素に安定性ペナルティ１２８が適用されない（たとえば視差乗数が０になる）。しかしながら、真の最小値は、一旦選択されると、画素が無効に記録されることはないので、リアルタイムのアクティブステレオシステム１００の、将来のフレームにおけるその選択が助長される。

【0083】

図７は、一態様による、安定性ペナルティ１２８を用いてフィルタリングされたコスト１９４ｂが更新される、奥行きマップ１２２を生成する例示の動作を表す流れ図７００を示す。図７の流れ図７００は、シーケンシャルな順序の動作を示すが、これは単なる例示であり、追加または代替の動作が含まれ得ることが理解されよう。さらに、図７の動作および関連する動作は、示されたものとは異なる順序で実行されてよく、または並行して、もしくはオーバーラップして実行されてもよい。

【0084】

動作７０２は、基準ステレオカメラ１０８から取り込まれた基準画像１３０、および副ステレオカメラ１１０から取り込まれた副画像１３２を含むステレオ画像データ１１４を受け取るステップを含む。動作７０４は、基準画像１３０および副画像１３２を基に記述子１２１を計算するステップを含む。動作７０６は、画素変化情報１９２および視差変化情報１９９を基に安定性ペナルティ１２８を計算するステップを含む。

【0085】

動作７０８は、記述子１２１を使用して、画素のグループに関する複数の平面仮説１３６を評価するステップであって、それぞれの平面仮説１３６に関する記述子１２１の間のマッチングコスト１９４を計算するステップと、安定性ペナルティ１２８を用いてマッチングコスト１９４を更新するステップと、複数の平面仮説１３６から、更新された最低のコスト１９４を有する画素のグループに関する平面仮説１３６を選択するステップとを含む、平面仮説１３６を評価するステップを含む。いくつかの例では、マッチングコスト１９４は、フィルタリングされたコスト１９４ｂを取得するためにフィルタリングされ、フィルタリングされたコスト１９４ｂは、安定性ペナルティ１２８を用いて調節される。

【0086】

図１Ａに戻って、奥行き感知コンピューティングシステム１０４が含み得る信頼度重み生成器１８５は、画素変動値１８４および未処理のコスト１９４ａ（たとえばフィルタリングされていないコスト）を使用して、それぞれの奥行き推定値に関連する信頼度重み１８２を計算するように構成される。いくつかの例では、画素変動値１８４は、画像領域における画素値と画像領域における平均画素値との間の絶対差の平均として計算される。ステレオ装置は、閉塞（たとえば両方のカメラからポイントが可視でないことがある）、大きな斜角で観察した表面におけるフォアショートニング、および／または低レベルの信号（たとえば低い反射率）を含む複数の理由のために、画像におけるあらゆる画素において視差を正確に計算し得るとは限らない。しかしながら、信頼度重み生成器１８５は、奥行きマップ１２２を１つまたは複数の他の奥行きマップと組み合わせるときに使用され得る信頼度重み１８２を計算し得る。たとえば、システム（たとえば、マルチビュー融合システム）は、信頼度重み１８２を使用して、比較的低い信頼度重み１８２を有する画素の奥行き推定値の重みを減らし得、または除去し得る。

【0087】

図８は、一態様による、ステレオ内部データ１８３を使用して信頼度重み１８２を生成するための信頼度重み生成器１８５を示す。ステレオ内部データ１８３は画素変動値１８４およびコスト１９４を含み得る。たとえば、信頼度重み生成器１８５は、未処理のコスト１９４ａおよび画素変動値１８４を基に、画素のグループに関して選択された平面仮説１３６に関連する信頼度重み１８２を生成し得る。言い換えれば、信頼度重み生成器１８５は、未処理のコスト１９４ａや画素変動値１８４などのステレオの内部データ１８３を使用して奥行き推定値に関連する精度のレベルを判定し得る。

【0088】

信頼度重み生成器１８５は、選択された平面仮説１３６および画素変動値１８４に関連する未処理のコスト１９４ａ（たとえばフィルタリングされていないコスト）を受け取り、未処理のコスト１９４ａと画素変動値１８４とを入力したルックアップ表１８７を使用して、信頼度重み１８２を計算し得る。画素変動値１８４は、記述子１２１に関連した時空ウィンドウ１５０にわたって、画素のグループにおける画素強度変化の量を指示する。いくつかの例では、ルックアップ表１８７は、既知のジオメトリを有するシーンの画像データから生成された画素変動値１８４と未処理のコスト１９４ａとの組合せに、信頼度重み値をマッピングし得る。

【0089】

図９は、一態様による、各画素のステレオ奥行き推定値の信頼度重み１８２を生成する例示の動作を表す流れ図を示す。図９の流れ図９００は、シーケンシャルな順序の動作を示すが、これは単なる例示であり、追加または代替の動作が含まれ得ることが理解されよう。さらに、図９の動作および関連する動作は、示されたものとは異なる順序で実行されてよく、または並行して、もしくはオーバーラップして実行されてもよい。

【0090】

動作９０２は、基準画像１３０および副画像１３２を含むステレオ画像データ１１４を受け取るステップを含む。動作９０４は、基準画像１３０および副画像１３２を基に記述子１２１を計算するステップを含む。

【0091】

動作９０６は、記述子１２１を使用して、画素のグループに関する複数の平面仮説１３６を評価するステップであって、それぞれの平面仮説１３６に関する記述子１２１の間のマッチングコスト１９４を計算するステップと、マッチングコスト１９４に基づき、画素のグループに関する複数の平面仮説１３６から平面仮説１３６を選択するステップとを含む、複数の平面仮説１３６を評価するステップを含む。動作９０８は、マッチングコスト１９４に基づき、画素のグループに関する選択された平面仮説１３６に関連した信頼度重み１８２を生成するステップを含む。

【0092】

図１０は、ここで説明された技術とともに使用され得るコンピューティングデバイス１０００およびモバイルコンピューティングデバイス１０５０の一例を示す。コンピューティングデバイス１０００は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、個人用デジタル情報処理端末、サーバ、ブレードサーバ、汎用コンピュータ、および他の適切なコンピュータなど、デジタルコンピュータの様々な形態を表すように意図されている。コンピューティングデバイス１０５０は、個人用デジタル情報処理端末、携帯電話、スマートフォン、および他の類似のコンピューティングデバイスなどのモバイルデバイスの様々な形態を表すように意図されている。ここで示された構成要素、それらの接続および関係、ならびにそれらの機能は、例を意味するのみであり、この文献で説明され、かつ／または特許請求される本発明の実装形態を制限する意味はない。

【0093】

コンピューティングデバイス１０００は、プロセッサ１００２と、メモリ１００４と、記憶装置１００６と、メモリ１００４および高速拡張ポート１０１０に接続する高速インターフェース１００８と、低速バス１０１４および記憶装置１００６に接続する低速インターフェース１０１２とを含む。構成要素１００２、１００４、１００６、１００８、１０１０、および１０１２の各々が、様々なバスを使用して相互接続され、共通のマザーボードに実装され得、または必要に応じて他のやり方で実装され得る。プロセッサ１００２は、コンピューティングデバイス１０００の内部で実行するように、メモリ１００４または記憶装置１００６に記憶された命令を含む命令を処理して、高速インターフェース１００８に結合されたディスプレイ１０１６などの外部入出力デバイスに、ＧＵＩ用のグラフィカル情報を表示することができる。他の実装形態では、必要に応じて、複数のプロセッサおよび／または複数のバスが、複数のメモリおよびメモリのタイプとともに使用され得る。また、複数のコンピューティングデバイス１０００が接続されてよく、それぞれが、（たとえばサーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）必要な動作の部分をもたらす。

【0094】

メモリ１００４は、コンピューティングデバイス１０００の内部の情報を記憶する。一実装形態では、メモリ１００４は１つまたは複数の揮発性メモリユニットである。別の実装形態では、メモリ１００４は１つまたは複数の不揮発性メモリユニットである。メモリ１００４は、磁気ディスクまたは光ディスクなど、コンピュータ可読媒体の別の形態でもよい。

【0095】

記憶装置１００６は、コンピューティングデバイス１０００用の大容量記憶装置を用意することができる。一実装形態では、記憶装置１００６は、フロッピーディスク装置などのコンピュータ可読媒体、ハードディスク装置、光学ディスク装置、テープ装置、フラッシュメモリもしくは他の類似の固体メモリデバイス、またはストレージエリアネットワークもしくは他の構成における装置の配列を含む装置でよく、あるいはこれらを含有し得る。コンピュータプログラム製品は、情報媒体の中に実体的に具現され得る。コンピュータプログラム製品には、実行されたとき、上記で説明されたものなどの１つまたは複数の方法を実行する命令も含有され得る。情報媒体は、メモリ１００４、記憶装置１００６、またはプロセッサ１００２上のメモリなどのコンピュータ可読または機械可読の媒体である。

【0096】

高速コントローラ１００８は、コンピューティングデバイス１０００の、大きな帯域幅を必要とする動作を管理し、低速コントローラ１０１２は、あまり大きい帯域幅は必要としない動作を管理する。そのような機能配分は例示でしかない。一実装形態では、高速コントローラ１００８は、メモリ１００４と、（たとえばグラフィックスプロセッサまたはアクセラレータによって）ディスプレイ１０１６と、様々な拡張カード（図示せず）を受ける高速拡張ポート１０１０とに結合される。実装形態において、低速コントローラ１０１２は、記憶装置１００６および低速拡張ポート１０１４に結合される。低速拡張ポートは、様々な通信ポート（たとえばＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット、無線イーサネット）を含み得て、キーボード、ポインティングデバイス、スキャナなどの１つまたは複数の入出力装置に結合され得、またはたとえばネットワークアダプタを介してスイッチもしくはルータなどのネットワーク装置に結合され得る。

【0097】

コンピューティングデバイス１０００は、図に示されるように、複数の別々の形態で実施され得る。たとえば、コンピューティングデバイス１０００は、標準的なサーバ１０２０として、またはそのようなサーバのグループとして、しばしば実施され得る。また、コンピューティングデバイス１０００はラックサーバシステム１０２４の一部として実施され得る。加えて、コンピューティングデバイス１０００はラップトップコンピュータ１０２２などのパーソナルコンピュータで実施され得る。代わりに、コンピューティングデバイス１０００の構成要素は、デバイス１０５０などのモバイルデバイス（図示せず）の他の構成要素と組み合わされ得る。そのような装置の各々が、コンピューティングデバイス１０００、１０５０のうち１つまたは複数を含有し得、全体のシステムは、互いに通信する複数のコンピューティングデバイス１０００、１０５０から構成され得る。

【0098】

コンピューティングデバイス１０５０は、構成要素のうち特に、プロセッサ１０５２、メモリ１０６４、ディスプレイ１０５４などの入出力装置、通信インターフェース１０６６、およびトランシーバ１０６８を含む。装置１０５０には、追加記憶機構をもたらすためのマイクロドライブまたは他の装置などの記憶装置も備わっていてよい。構成要素１０５０、１０５２、１０６４、１０５４、１０６６、および１０６８の各々が、様々なバスを使用して相互接続され、これらのうちいくつかが、共通のマザーボードに実装され得、または必要に応じて他のやり方で実装され得る。

【0099】

プロセッサ１０５２は、コンピューティングデバイス１０５０の内部で、メモリ１０６４に記憶された命令を含めて命令を実行することができる。プロセッサは、複数の個別のアナログプロセッサやデジタルプロセッサを含むチップのチップセットとして実施され得る。プロセッサは、たとえばユーザインターフェースの制御、装置１０５０が実行するアプリケーションの制御、装置１０５０による無線通信の制御など、装置１０５０の他の構成要素を調整し得る。

【0100】

プロセッサ１０５２は、ディスプレイ１０５４に結合されたインターフェース１０５８とディスプレイインターフェース１０５６とを制御することによって、ユーザと通信し得る。ディスプレイ１０５４は、たとえばＴＦＴ ＬＣＤ（薄膜トランジスタ駆動カラー液晶ディスプレイ）もしくはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術でよい。ディスプレイインターフェース１０５６は、ディスプレイ１０５４を駆動してユーザにグラフィック情報や他の情報を提示するための適切な回路を備え得る。制御インターフェース１０５８は、ユーザから受け取った指令を、プロセッサ１０５２に提示するように変換し得る。加えて、装置１０５０の他の装置との近傍通信を可能にするために、プロセッサ１０５２と通信する外部インターフェース１０６２が設けられ得る。外部インターフェース１０６２は、たとえば、いくつかの例では有線通信をもたらし得、または他の実装形態では無線通信用をもたらし得、複数のインターフェースが使用されることもある。

【0101】

メモリ１０６４は、コンピューティングデバイス１０５０の内部の情報を記憶する。メモリ１０６４は、コンピュータ可読媒体（複数可）、揮発性メモリユニット（複数可）、または不揮発性メモリユニット（複数可）のうち１つまたは複数として実施され得る。増設メモリ１０７４も与えられてよく、たとえばＳＩＭＭ（シングルインラインメモリモジュール）カードインターフェースを含み得る拡張インターフェース１０７２を介して、装置１０５０に接続され得る。そのような増設メモリ１０７４は、装置１０５０に追加の記憶空間をもたらし得、または装置１０５０用のアプリケーションもしくは他の情報も記憶し得る。具体的には、増設メモリ１０７４は、上記で説明された処理を実行するかまたは補足するための命令を含み得、安全情報も含み得る。したがって、増設メモリ１０７４は、たとえば装置１０５０用のセキュリティモジュールとして与えられてよく、装置１０５０の安全な使用を可能にする命令を用いてプログラムされ得る。加えて、ＳＩＭＭカードによって、セキュアアプリケーションが、ハッキング不可能なやり方でＳＩＭＭカードに識別情報をセットするなど、付加情報とともに与えられ得る。

【0102】

メモリは、たとえば以下で論じられるようなフラッシュメモリおよび／またはＮＶＲＡＭメモリを含み得る。一実装形態では、コンピュータプログラム製品は、情報媒体の中に実体的に具現される。コンピュータプログラム製品には、実行されたとき、上記で説明されたものなどの１つまたは複数の方法を実行する命令が含有される。情報媒体は、たとえばトランシーバ１０６８または外部インターフェース１０６２を通じて受け取られ得る命令を格納する、メモリ１０６４、増設メモリ１０７４、またはプロセッサ１０５２上のメモリなどのコンピュータ可読媒体もしくは機械可読媒体である。

【0103】

装置１０５０は、必要な場合にはデジタル信号処理回路を含み得る通信インターフェース１０６６を介して無線で通信し得る。通信インターフェース１０６６は、とりわけ、ＧＳＭ音声通話、ＳＭＳ、ＥＭＳ、もしくはＭＭＳのメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳなど、様々なモードまたはプロトコルの下で通信をもたらし得る。そのような通信は、たとえば無線周波数トランシーバ１０６８を介して生じ得る。加えて、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、または他のそのようなトランシーバ（図示せず）などを使用して短距離通信が生じ得る。加えて、ＧＰＳ（全地球測位システム）受信モジュール１０７０は、装置１０５０上で作動するアプリケーションによって必要に応じて使用され得る、ナビゲーションおよび位置に関連する追加の無線データを、装置１０５０に供給し得る。

【0104】

装置１０５０は、ユーザが話した情報を受け取って使用可能なデジタル情報に変換し得る音声コーデック１０６０を音声認識可能に使用して、通信してもよい。音声コーデック１０６０は、同様に、たとえば装置１０５０のハンドセットの中のスピーカなどによって、ユーザ向けに可聴音を生成し得る。そのような音響には、音声通話からの音響、記録された音響（たとえば音声メール、音楽ファイルなど）、装置１０５０上で動作するアプリケーションによって生成される音響も含まれ得る。コンピューティングデバイス１０５０は、図に示されるように、複数の別々の形態で実施され得る。たとえば、コンピューティングデバイス１０５０は携帯電話１０８０として実施され得る。コンピューティングデバイス１０５０は、スマートフォン１０８２、個人用デジタル情報処理端末、または別の類似のモバイルデバイスの一部として実施されてもよい。

【0105】

いくつかの例では、リアルタイムのアクティブステレオシステム１００は３次元テレプレゼンスシステムの内部に含まれる。３次元テレプレゼンスシステムは、頭部装着型ディスプレイや３Ｄ眼鏡を使用しない従来のテレビ会議システムよりも、現実的な、面と向かっての体験を提供し得る。テレビ会議システムや画像会議システムは、テレプレゼンスシステムのいくつかの例である。

【0106】

図１１は、一態様による３次元テレプレゼンスシステム１１００を示す。３次元テレプレゼンスシステム１１００は、本明細書で説明した技術によって奥行き感知コンピューティングシステム１０４を実行するように構成され得る。

【0107】

２人のユーザ１１０５ａおよび１１０５ｂは、３次元テレプレゼンスシステム１１００を使用して、遠隔であっても面と向かって通信することができる。第１のユーザ１１０５ａは、第２のユーザ１１０５ｂから遠く離れた場所にいる。第２のユーザ１１０５ｂには、ディスプレイ１１２５上に、第１のユーザ１１０５ａの３次元グラフィックイメージが見える。いくつかの例では、第１のユーザ１１０５ａおよび第２のユーザ１１０５ｂの共同存在をシミュレートするために、ディスプレイ１１２５は、適切なサイズであって第２のユーザ１１０５ｂから少し離される。たとえば、ディスプレイ１１２５は、第２のユーザ１１０５ｂからテーブルの向う側の１ｍのところに配置され、ディスプレイ１１２５は１ｍのディスプレイでよい。カメラアセンブリ１１８０は、３次元テレプレゼンスシステム１１００によって（たとえば第２のユーザ１１０５ｂが使用する端末によって）、第１のユーザ１１０５ａ（図１１には示されていない）が見るディスプレイに第２のユーザ１１０５ｂの３次元立体鏡の画像を表示するように使用され得る可視光および赤外線（たとえばステレオ画像データ１１４）を取り込むように構成され得る。いくつかの例では、カメラアセンブリ１１８０は取込みシステム１０２を含む。いくつかの例では、システム１１００には、１つまたは複数のマイクロフォンおよび／またはスピーカ（たとえばスピーカ配列）が含まれ得る。そのようなシステム１１００では、マイクロフォンおよび／またはスピーカは、空間的音声（たとえば、空間的に、原点の位置に依拠して生成される音響）をシミュレートするように使用され得る。

【0108】

図１２は、一態様による、２人のユーザの間の３次元テレビ会議を行うための３次元テレプレゼンスシステム１２００を示すブロック図である。いくつかの例では、それぞれのユーザ（たとえば第１の参加者および第２の参加者）に対応する各端末１２２０は、ネットワーク１２９０を使用して通信することができる。

【0109】

３次元テレプレゼンスシステム１２００はコンピュータ化され得、示された構成要素の各々が、ネットワーク１２９０を通じて他のコンピューティングデバイスと通信するように構成されたコンピューティングデバイスまたはコンピューティングデバイスの一部を含む。たとえば、それぞれの端末１２２０が、ネットワーク１２９０を介して他のコンピューティングデバイスとデータを送受信するように構成されたデスクトップコンピュータ、ノート型コンピュータ、または手持ち式コンピューティングデバイスなどの１つまたは複数のコンピューティングデバイスを含み得る。いくつかの例では、それぞれの端末１２２０が専用のテレビ会議装置であり得、端末１２２０のそれぞれの構成要素が同一の筐体内に配設される。いくつかの例では、それぞれの端末１２２０の間の通信が会議のセットアップ、ティアダウンおよび／またはスケジューリングを管理する１つまたは複数のサーバまたはコンピュータクラスタ（図示せず）によって助長され得る。いくつかの例では、端末１２２０は２地点間通信プロトコルを使用して通信し得る。

【0110】

端末１２２０は、テレビ会議の参加者によって使用され得る。いくつかの例では、参加者は同一の端末を使用する。たとえば、それぞれの参加者が、同一の構成もしくは仕様で同一モデル番号の端末１２２０、またはテレビ会議中の通信を容易にするために同様に構成された端末１２２０を使用し得る。いくつかの例では、参加者によって使用される端末は、異なり得るが、それぞれが、画像および奥行きデータ（たとえば奥行きマップ１２２）を送受し、頭部装着型ディスプレイまたは３次元眼鏡を使用することなく３次元立体画像を生成するように構成される。議論を容易にするために、図１２の例は、３次元テレプレゼンスシステム１２００の両端に同一の端末１２２０を示す。

【0111】

端末１２２０は、ディスプレイ１２２５、カメラアセンブリ１２８０、および処理装置１２３０を含む。いくつかの例では、ディスプレイ１２２５は眼鏡なしのレンズ形３次元ディスプレイを含み得る。カメラアセンブリ１２８０は取込みシステム１０２を含み得る。処理装置１２３０は奥行き感知コンピューティングシステム１０４を含み得る。

【0112】

処理装置１２３０は、ディスプレイ１２２５に画像を表示するように命令する（たとえば起動する）ための機能および動作を実行し得る。いくつかの例では、処理装置１２３０は、カメラアセンブリ１２８０と通信してステレオ画像データ１１４を受け取り得、また、本明細書で論じた技術によって奥行きマップ１２２を生成するために、ステレオ画像データ１１４を基に局所的ステレオ再構成アルゴリズム１２０を実行するように構成される。処理装置１２３０はまた、ネットワークアダプタ１２６０と通信して、テレビ会議に参加している他の端末１２２０から画像データおよび奥行きデータ（たとえば奥行きマップ１２２）を受け取り得る。処理装置１２３０は、カメラアセンブリ１２８０から受け取った位置データと、ネットワークアダプタ１２６０からの画像データおよび奥行きデータとを使用して、ディスプレイ１２２５上に３次元立体画像を表現し得る。いくつかの例では、処理装置１２３０は、ネットワーク１２９０を通じて画像データまたは奥行きデータを通信する前に、必要なメモリまたは帯域幅をより小さくするように、画像データおよび／または奥行きデータを圧縮または符号化し得る。同様に、処理装置１２３０は、受け取った画像データまたは奥行きデータを解凍または復号してから３次元立体画像を表現すればよい。

【0113】

いくつかの例によれば、端末１２２０はスピーカアセンブリ１２４０およびマイクロフォンアセンブリ１２５０を含み得る。スピーカアセンブリ１２４０は、テレビ会議において他の端末１２２０から受け取った音声データに対応する音声を放出し得る。スピーカアセンブリ１２４０は、たとえば指向性の音声を放出するように複数の位置に配置され得る１つまたは複数のスピーカを含み得る。マイクロフォンアセンブリ１２５０は、端末１２２０のユーザに対応する音声を取り込み得る。スピーカアセンブリ１２５０は、たとえば指向性の音声を放出するように複数の位置に配置され得る１つまたは複数のスピーカを含み得る。いくつかの例では、マイクロフォンアセンブリ１２５０によって取り込まれた音声を、処理ユニット（たとえば処理装置１２３０）が圧縮するかまたは符号化して、ネットワークアダプタ１２６０およびネットワーク１２９０を通じてテレビ会議に参加している他の端末１２２０に通信し得る。

【0114】

端末１２２０は入出力装置１２７０も含むことができる。入出力装置１２７０は、端末１２２０が関与しているテレビ会議を制御するための入力装置および／または出力装置を含み得る。たとえば、入出力装置１２７０は、ディスプレイ１２２５のコントラスト、明るさ、またはズームを調節するように使用され得るボタンまたはタッチ画面を含むことができる。入出力装置１２７０は、キーボードインターフェースも含み得、これは、ディスプレイ１２２５に表現された画像の注釈や、テレビ会議に関与している他の端末１２２０と通信するための注釈に使用され得る。

【0115】

端末１２２０は記憶装置１２８５を含み得る。記憶装置１２８５は、実装形態に依拠して、１つまたは複数の揮発性メモリユニットまたは不揮発メモリユニットでよい。記憶装置１２８５は、磁気ディスクもしくは光ディスク、またはソリッドステートメモリなど、コンピュータ可読媒体の任意の形態でよい。記憶装置１２８５は、処理装置１２３０に、開示された例と一致する機能および動作を実行させる命令を記憶し得る。

【0116】

３次元テレプレゼンスシステム１２００の各端末１２２０は、互いに様々な形式のデータを通信してテレビ会議を促進する。いくつかの例では、各端末１２２０が、画像データ、奥行きデータ（たとえば奥行きマップ１２２）、音声データ、および／または各端末１２２０のそれぞれのユーザに対応する位置データを通信し得る。それぞれの端末１２２０の処理装置１２３０が、受け取った画像データ、奥行きデータ、および／または位置データを使用して、ディスプレイ１２２５上に３次元立体画像を表現し得る。処理装置１２３０は、音声データを解釈して、スピーカアセンブリ１２４０に、音声データに対応する音声を放出するように命令することができる。いくつかの例では、画像データ、奥行きデータ、音声データ、および／または位置データは、圧縮または符号化され得て、処理装置１２３０が、これらのデータを解凍または復号するための機能および動作を実行し得る。

【0117】

ネットワーク１２９０は、実装形態に依拠して、１つまたは複数のローカルエリアネットワーク、広域ネットワーク、パーソナルエリアネットワーク、電話ネットワーク、および／またはインターネットなどの任意のタイプのネットワークのうち１つまたは複数を含み得、これらは、任意の利用可能な有線および／または無線の通信プロトコルを通じてアクセスされ得る。たとえば、ネットワーク１２９０はインターネット接続を含み得、これを通じて各端末１２２０が通信する。安全なネットワーク通信リンクや不安全なネットワーク通信リンクを含むネットワークの他の組合せも、本明細書で説明したシステムにおいて使用するように企図される。

【0118】

例１は、リアルタイムのアクティブステレオシステムであって、基準画像および副画像を含むステレオ画像データを取り込むように構成された取込みシステムと、奥行きマップを生成するように構成された奥行き感知コンピューティングシステムであって、基準画像および副画像を基に記述子を計算することと、画素変化情報および視差変化情報を基に安定性ペナルティを計算することと、記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、それぞれの平面仮説に関連する記述子の間のマッチングコストを計算し、安定性ペナルティを用いてマッチングコストを更新して、更新されたマッチングコストに基づき、画素のグループに関する複数の平面仮説から平面仮説を選択することを含む、複数の平面仮説を評価することとを行うように構成された奥行き感知コンピューティングシステムとを備える、リアルタイムのアクティブステレオシステムである。

【0119】

例２は、例１に記載のリアルタイムのアクティブステレオシステムであって、画素変化情報が画素変化値を含み、視差変化情報が視差変化値を含み、奥行き感知コンピューティングシステムが、画素変化値を使用して強度乗数を計算し、視差変化値を使用して視差乗数を計算し、かつ／または強度乗数および視差乗数を使用して安定性ペナルティを計算する、ように構成される、リアルタイムのアクティブステレオシステムである。

【0120】

例３は、例１または例２に記載のリアルタイムのアクティブステレオシステムであって、奥行き感知コンピューティングシステムが、画素変化値にエッジアウェアフィルタを適用して、フィルタリングされた画素変化値を導出するように構成され、フィルタリングされた画素変化値は強度乗数を計算するように使用される、リアルタイムのアクティブステレオシステムである。

【0121】

例４は、例１から例３のいずれかに記載のリアルタイムのアクティブステレオシステムであって、画素変化値が、現在の奥行きマップの基準画像または副画像における画素の画素値と、以前の奥行きマップの基準画像または副画像における画素の画素値との間の差を表し、視差変化値が、現在の奥行きマップの画素の提出された視差と、以前の奥行きマップの画素の視差との間の差を表す、リアルタイムのアクティブステレオシステムである。

【0122】

例５は、例１から例４のいずれかに記載のリアルタイムのアクティブステレオシステムであって、奥行き感知コンピューティングシステムが、平面仮説評価中に生成され得る最高のマッチングコストを計算し、かつ／または最高のマッチングコストと、強度乗数と、視差乗数との積を基に安定性ペナルティを計算するように構成される、リアルタイムのアクティブステレオシステムである。

【0123】

例６は、例１から例５のいずれかに記載のリアルタイムのアクティブステレオシステムであって、奥行き感知コンピューティングシステムが、画素変化値を入力した強度関数を使用して強度乗数を計算するように構成される、リアルタイムのアクティブステレオシステムである。

【0124】

例７は、例１から例６のいずれかに記載のリアルタイムのアクティブステレオシステムであって、奥行き感知コンピューティングシステムが、画素変化値を入力した視差関数を使用して視差乗数を計算するように構成される、リアルタイムのアクティブステレオシステムである。

【0125】

例８は、例１から例７のいずれかに記載のリアルタイムのアクティブステレオシステムであって、奥行き感知コンピューティングシステムが、エッジアウェアフィルタを使用してマッチングコストをフィルタリングするように構成され、安定性ペナルティは、フィルタリングされたマッチングコストを更新するように使用される、リアルタイムのアクティブステレオシステムである。

【0126】

例９は、リアルタイムのアクティブステレオに関する方法であって、基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを受け取るステップと、基準画像および副画像を基に記述子を計算するステップと、画素変化情報および視差変化情報を基に安定性ペナルティを計算するステップと、記述子を使用して、画素のグループに関する複数の平面仮説を評価するステップであって、それぞれの平面仮説に関連する記述子の間のマッチングコストを計算するステップ、安定性ペナルティを用いてマッチングコストを更新するステップ、および／または画素のグループに関する複数の平面仮説から、更新された最低のマッチングコストを有する平面仮説を選択するステップを含む、複数の平面仮説を評価するステップとを含む、方法である。

【0127】

例１０は、例９に記載の方法であって、画素変化情報が画素変化値を含み、視差変化情報が視差変化値を含む、方法において、画素変化値を使用して強度乗数を計算するステップ、視差変化値を使用して視差乗数を計算するステップ、および／または強度乗数および視差乗数を使用して安定性ペナルティを計算するステップをさらに含む方法である。

【0128】

例１１は、例９または例１０に記載の方法であって、画素変化値にエッジアウェアフィルタを適用して、フィルタリングされた画素変化値を導出するステップをさらに含む方法において、フィルタリングされた画素変化値が強度乗数を計算するように使用される、方法である。

【0129】

例１２は、例９から例１１のいずれかに記載の方法であって、画素変化値が、現在の奥行きマップの基準画像における画素の画素値と、以前の奥行きマップの基準画像における画素の画素値との間の差を表し、視差変化値が、現在の奥行きマップの画素の提出された視差と、以前の奥行きマップの画素の視差との間の差を表す、方法である。

【0130】

例１３は、例９から例１２のいずれかに記載の方法であって、平面仮説評価中に生成され得る最高のマッチングコストを計算するステップと、最高のマッチングコストと、強度乗数と、視差乗数との積を基に安定性ペナルティを計算するステップとをさらに含む方法である。

【0131】

例１４は、例９から例１３のいずれかに記載の方法であって、画素変化値を入力した強度関数を使用して強度乗数を計算するステップと、強度関数とは異なる視差関数に画素変化値を入力したものを使用して視差乗数を計算するステップとをさらに含む方法である。

【0132】

例１５は、例９から例１４のいずれかに記載の方法であって、記述子の間のハミング距離を基にマッチングコストを計算するステップと、エッジアウェアフィルタを使用してマッチングコストをフィルタリングするステップであって、フィルタリングされたマッチングコストが安定性ペナルティを用いて更新されるステップとをさらに含む方法である。

【0133】

例１６は、実行可能命令を記憶している非一時的コンピュータ可読媒体であって、少なくとも１つのプロセッサが、これらの実行可能命令を実行することによって、基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを受け取ることと、基準画像および副画像を基に記述子を計算することと、画素変化情報および視差変化情報を基に安定性ペナルティを計算することと、記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、それぞれの平面仮説に関する記述子の間のマッチングコストを計算し、安定性ペナルティを用いてマッチングコストを更新して、更新されたマッチングコストに基づき、画素のグループに関する複数の平面仮説から平面仮説を選択することを含む、複数の平面仮説を評価することとを行う非一時的コンピュータ可読媒体である。

【0134】

例１７は、例１６に記載の非一時的コンピュータ可読媒体であって、画素変化情報が画素変化値を含み、視差変化情報が視差変化値を含み、少なくとも１つのプロセッサが、実行可能命令に含まれる命令を実行することによって、画素変化値にエッジアウェアフィルタを適用して、フィルタリングされた画素変化値を導出し、フィルタリングされた画素変化値を使用して強度乗数を計算し、視差変動値を使用して視差乗数を計算し、強度乗数および視差乗数を使用して安定性ペナルティを計算する、非一時的コンピュータ可読媒体である。

【0135】

例１８は、例１６または例１７に記載の非一時的コンピュータ可読媒体であって、画素変化値が、現在の奥行きマップの基準画像における画素の画素値と、以前の奥行きマップの基準画像における画素の画素値との間の差を表し、視差変化値が、現在の奥行きマップの画素の提出された視差と、以前の奥行きマップの画素の視差との間の差を表す、非一時的コンピュータ可読媒体である。

【0136】

例１９は、例１６から例１８のいずれかに記載の非一時的コンピュータ可読媒体であって、少なくとも１つのプロセッサが、実行可能命令に含まれる命令を実行することによって、平面仮説評価中に生成され得る最高のマッチングコストを計算し、かつ／または最高のマッチングコストと、強度乗数と、視差乗数との積を基に安定性ペナルティを計算する、非一時的コンピュータ可読媒体である。

【0137】

例２０は、例１６から例１９のいずれかに記載の非一時的コンピュータ可読媒体であって、少なくとも１つのプロセッサが、実行可能命令に含まれる命令を実行することによって、画素変化値を入力した強度関数を使用して強度乗数を計算し、強度関数とは異なる視差関数に画素変化値を入力したものを使用して視差乗数を計算する、非一時的コンピュータ可読媒体である。

【0138】

例２１は、リアルタイムのアクティブステレオシステムであって、基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを取り込むように構成された取込みシステムと、奥行き感知コンピューティングシステムであって、基準画像および副画像を基に記述子を計算することと、画素値の間の強度差に基づき、記述子に関連する信頼性データを計算することと、記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、それぞれの平面仮説に関する記述子の間のマッチングコストを計算し、信頼性データを使用してマッチングコストを調節して、調節されたマッチングコストに基づき、画素のグループに関する複数の平面仮説から平面仮説を選択することを含む、複数の平面仮説を評価することとを行うように構成された奥行き感知コンピューティングシステムとを備える、リアルタイムのアクティブステレオシステムである。

【0139】

例２２は、例２１に記載のリアルタイムのアクティブステレオシステムであって、記述子に含まれる、時空ウィンドウにおける画素の近隣を記述する記述子が、時空ウィンドウにおける２つの画素の間の比較の結果をそれぞれ表す複数の比較値を含む、リアルタイムのアクティブステレオシステムである。

【0140】

例２３は、例２１または例２２に記載のリアルタイムのアクティブステレオシステムであって、信頼性データが、複数の比較値に対応する複数の信頼ビットを有する信頼マスクを含み、それぞれの信頼ビットが、対応する比較値が信頼できるか否かを指示する、リアルタイムのアクティブステレオシステムである。

【0141】

例２４は、例２１から例２３のいずれかに記載のリアルタイムのアクティブステレオシステムであって、奥行き感知コンピューティングシステムが、２つの画素の間の強度差が第１の閾値よりも大きいことに基づき、信頼ビットの第１の値を計算するように構成される、リアルタイムのアクティブステレオシステムである。

【0142】

例２５は、例２１から例２４のいずれかに記載のリアルタイムのアクティブステレオシステムであって、信頼性データが、複数の比較値に対応する複数の不信頼ビットを有する不信頼マスクを含み、それぞれの不信頼ビットが、対応する比較値が信頼できないかどうかを指示する、リアルタイムのアクティブステレオシステムである。

【0143】

例２６は、例２１から例２５のいずれかに記載のリアルタイムのアクティブステレオシステムであって、奥行き感知コンピューティングシステムが、２つの画素の間の強度差が第２の閾値よりも小さいことに基づき、不信頼ビットの第１の値を計算するように構成される、リアルタイムのアクティブステレオシステムである。

【0144】

例２７は、例２１から例２６のいずれかに記載のリアルタイムのアクティブステレオシステムであって、信頼性データが信頼マスクおよび不信頼マスクを含み、奥行き感知コンピューティングシステムが、記述子の間のハミング距離を基に記述子の間のマッチングコストを計算し、信頼マスクおよび不信頼マスクを使用してマッチングコストを調節するように構成される、リアルタイムのアクティブステレオシステムである。

【0145】

例２８は、例２１から例２７のいずれかに記載のリアルタイムのアクティブステレオシステムであって、記述子が基準記述子および副記述子を含み、奥行き感知コンピューティングシステムが、基準記述子および副記述子を使用して第１のビット演算を実行し、第１のビット演算の結果ならびに信頼マスクおよび不信頼マスクを使用して第２のビット演算を実行するように構成される、リアルタイムのアクティブステレオシステムである。

【0146】

例２９は、リアルタイムのアクティブステレオに関する方法であって、基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを受け取るステップと、基準画像および副画像を基に記述子を計算するステップと、画素値の間の強度差に基づき、記述子に関連する信頼性データを計算するステップと、記述子を使用して、画素のグループに関する複数の平面仮説を評価するステップであって、それぞれの平面仮説に関する記述子の間のマッチングコストを計算するステップ、信頼性データを使用してマッチングコストを調節するステップ、および調節されたマッチングコストに基づき、画素のグループに関する複数の平面仮説から平面仮説を選択するステップを含む、複数の平面仮説を評価するステップとを含む、リアルタイムのアクティブステレオに関する方法である。

【0147】

例３０は、例２９に記載の方法であって、記述子に含まれる、時空ウィンドウにおける画素の近隣を記述する記述子が、時空ウィンドウにおける２つの画素の間の比較の結果をそれぞれ表す複数の比較値を含む、方法である。

【0148】

例３１は、例２９または例３０に記載の方法であって、信頼性データが、複数の比較値に対応する複数の信頼ビットを有する信頼マスクを含み、それぞれの信頼ビットが、対応する比較値が信頼できるか否かを指示する、方法である。

【0149】

例３２は、例２９から例３１のいずれかに記載の方法であって、２つの画素の間の強度差が第１の閾値よりも大きいことに基づき、信頼ビットの第１の値を計算するステップをさらに含む、方法である。

【0150】

例３３は、例２９から例３２のいずれかに記載の方法であって、信頼性データが、複数の比較値に対応する複数の不信頼ビットを有する不信頼マスクを含み、それぞれの不信頼ビットが、対応する比較値が信頼できないかどうかを指示する、方法である。

【0151】

例３４は、例２９から例３３のいずれかに記載の方法であって、２つの画素の間の強度差が第２の閾値よりも小さいことに基づき、不信頼ビットの第１の値を計算するステップをさらに含む、方法である。

【0152】

例３５は、例２９から例３４のいずれかに記載の方法であって、信頼性データが信頼マスクおよび不信頼マスクを含む方法において、記述子の間のハミング距離を基に記述子の間のマッチングコストを計算するステップと、信頼マスクおよび不信頼マスクを使用してマッチングコストを調節するステップとを含む、方法である。

【0153】

例３６は、実行可能命令を記憶している非一時的コンピュータ可読媒体であって、少なくとも１つのプロセッサが、実行可能命令を実行することによって、基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを受け取ることと、基準画像および副画像を基に記述子を計算することと、画素値の間の強度差に基づき、記述子に関連する信頼性データを計算することと、記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、それぞれの平面仮説に関する記述子の間のマッチングコストを計算し、信頼性データを使用してマッチングコストを調節して、調節されたマッチングコストに基づき、画素のグループに関する複数の平面仮説から平面仮説を選択することを含む、複数の平面仮説を評価することとを行う、非一時的コンピュータ可読媒体である。

【0154】

例３７は、例３６に記載の非一時的コンピュータ可読媒体であって、記述子に含まれる、時空ウィンドウにおける画素の近隣を記述する記述子が、時空ウィンドウにおける２つの画素の間の比較の結果をそれぞれ表す複数の比較値を含む、非一時的コンピュータ可読媒体である。

【0155】

例３８は、例３６または例３７に記載の非一時的コンピュータ可読媒体であって、信頼性データが、複数の比較値に対応する複数の信頼ビットを有する信頼マスクを含み、それぞれの信頼ビットが、対応する比較値が信頼できるか否かを指示する、非一時的コンピュータ可読媒体である。

【0156】

例３９は、例３６から例３８のいずれかに記載の非一時的コンピュータ可読媒体であって、信頼性データが、複数の比較値に対応する複数の不信頼ビットを有する不信頼マスクを含み、それぞれの不信頼ビットが、対応する比較値が信頼できないかどうかを指示する、非一時的コンピュータ可読媒体である。

【0157】

例４０は、例３６から例３９のいずれかに記載の非一時的コンピュータ可読媒体であって、信頼性データが信頼マスクおよび不信頼マスクを含み、少なくとも１つのプロセッサが、実行可能命令に含まれる命令を実行することによって、記述子の間のハミング距離を基に記述子の間のマッチングコストを計算し、信頼マスクおよび不信頼マスクを使用してマッチングコストを調節する、非一時的コンピュータ可読媒体である。

【0158】

例４１は、リアルタイムのアクティブステレオシステムであって、基準画像および副画像を含むステレオ画像データを取り込むように構成された取込みシステムと、奥行きマップを生成するように構成された奥行き感知コンピューティングシステムであって、基準画像および副画像を基に記述子を計算することと、記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、それぞれの平面仮説に関する記述子の間のマッチングコストを計算し、マッチングコストに基づき、画素のグループに関する複数の平面仮説から平面仮説を選択して、マッチングコストに基づき、画素のグループに関して選択された平面仮説に関連する信頼度重みを生成することを含む、複数の平面仮説を評価することとを行うように構成された奥行き感知コンピューティングシステムとを備える、リアルタイムのアクティブステレオシステムである。

【0159】

例４２は、例４１に記載のリアルタイムのアクティブステレオシステムであって、奥行き感知コンピューティングシステムが、画素変動値およびマッチングコストを基に信頼度重みを生成するように構成され、画素変動値が画素のグループの画素強度変化の量を指示する、リアルタイムのアクティブステレオシステムである。

【0160】

例４３は、例４１または例４２に記載のリアルタイムのアクティブステレオシステムであって、画素変動値が、記述子に関連した時空ウィンドウにわたって、画素のグループにおける画素強度変化の量を指示する、リアルタイムのアクティブステレオシステムである。

【0161】

例４４は、例４１から例４３のいずれかに記載のリアルタイムのアクティブステレオシステムであって、時空ウィンドウが所定のサイズの空間的範囲および所定のサイズの時間的範囲を有する、リアルタイムのアクティブステレオシステムである。

【0162】

例４５は、例４１から例４４のいずれかに記載のリアルタイムのアクティブステレオシステムであって、奥行き感知コンピューティングシステムが、画素変動値とマッチングコストとを入力したルックアップ表を使用して信頼度重みを生成するように構成され、ルックアップ表が、画素変動値とマッチングコストとの組合せに対して信頼度重みをマッピングする、リアルタイムのアクティブステレオシステムである。

【0163】

例４６は、例４１から例４５のいずれかに記載のリアルタイムのアクティブステレオシステムであって、マッチングコストが記述子の間のハミング距離を基に計算される、リアルタイムのアクティブステレオシステムである。

【0164】

例４７は、例４１から例４６のいずれかに記載のリアルタイムのアクティブステレオシステムであって、奥行き感知コンピューティングシステムが、エッジアウェアフィルタを使用してマッチングコストをフィルタリングし、フィルタリングされたマッチングコストが平面仮説を選択するように使用され、選択された平面仮説に関するフィルタリングされていないマッチングコストが、信頼度重みを計算するように使用される、リアルタイムのアクティブステレオシステムである。

【0165】

例４８は、例４１から例４７のいずれかに記載のリアルタイムのアクティブステレオシステムであって、記述子の各々が時空ウィンドウにおける複数のペアワイズ強度比較を含む、リアルタイムのアクティブステレオシステムである。

【0166】

例４９は、例４１から例４８のいずれかに記載のリアルタイムのアクティブステレオシステムであって、複数の平面仮説が、傾けた平面を含む、リアルタイムのアクティブステレオシステムである。

【0167】

例５０は、例４１から例４９のいずれかに記載のリアルタイムのアクティブステレオシステムであって、奥行き感知コンピューティングシステムが、ステレオ画像データを所定のサイズの領域に分割し、別個の画素のグループを表すそれぞれの領域について、複数の平面仮説をたどって、記述子を繰り返しサンプリングするように構成される、リアルタイムのアクティブステレオシステムである。

【0168】

例５１は、リアルタイムのアクティブステレオに関する方法であって、基準画像および副画像を含むステレオ画像データを受け取るステップと、基準画像および副画像を基に記述子を計算するステップと、記述子を使用して、画素のグループに関する複数の平面仮説を評価するステップであって、それぞれの平面仮説に関する記述子の間のマッチングコストを計算するステップ、およびマッチングコストに基づき、画素のグループに関する複数の平面仮説から平面仮説を選択するステップを含む、複数の平面仮説を評価するステップと、マッチングコストに基づき、画素のグループに関して選択された平面仮説に関連する信頼度重みを生成するステップとを含む方法である。

【0169】

例５２は、例５１に記載の方法であって、画素のグループの画素強度変化の量を指示する画素変動値と、マッチングコストとを基に、信頼度重みを生成するステップをさらに含む、方法である。

【0170】

例５３は、例５１または例５２に記載の方法であって、画素変動値が、記述子に関連した時空ウィンドウにわたって、画素のグループにおける画素強度変化の量を指示する、方法である。

【0171】

例５４は、例５１から例５３のいずれかに記載の方法であって、時空ウィンドウが所定のサイズの空間的範囲および所定のサイズの時間的範囲を有する、方法である。

【0172】

例５５は、例５１から例５４のいずれかに記載の方法であって、画素変動値とマッチングコストとを入力したルックアップ表を使用して信頼度重みを生成するステップであって、ルックアップ表が、画素変動値とマッチングコストとの組合せに対して信頼度重みをマッピングする、ステップをさらに含む、方法である。

【0173】

例５６は、例５１から例５５のいずれかに記載の方法であって、記述子の間のハミング距離を基にマッチングコストを計算するステップと、エッジアウェアフィルタを使用してマッチングコストをフィルタリングするステップと、フィルタリングされたマッチングコストを基に平面仮説を選択するステップと、選択された平面仮説に関するフィルタリングされていないマッチングコストを使用して信頼度重みを計算するステップとをさらに含む、方法である。

【0174】

例５７は、実行可能命令を記憶している非一時的コンピュータ可読媒体であって、少なくとも１つのプロセッサが、実行可能命令を実行することによって、基準画像および副画像を含むステレオ画像データを受け取ることと、基準画像および副画像を基に記述子を計算することと、記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、それぞれの平面仮説に関する記述子の間のマッチングコストを計算して、マッチングコストに基づき、画素のグループに関する複数の平面仮説から平面仮説を選択することを含む、複数の平面仮説を評価することと、マッチングコストおよび画素変動値に基づき、画素のグループに関して選択された平面仮説に関連する信頼度重みを生成することとを行う、非一時的コンピュータ可読媒体である。

【0175】

例５８は、例５７に記載の非一時的コンピュータ可読媒体であって、画素変動値が、記述子に関連した時空ウィンドウにわたって、画素のグループにおける画素強度変化の量を指示し、時空ウィンドウが、所定のサイズの空間的範囲および所定のサイズの時間的範囲を有する、非一時的コンピュータ可読媒体である。

【0176】

例５９は、例５７または例５８に記載の非一時的コンピュータ可読媒体であって、少なくとも１つのプロセッサが、実行可能命令に含まれる命令を実行することによって、画素変動値とマッチングコストとを入力したルックアップ表を使用して信頼度重みを生成し、ルックアップ表が、画素変動値とマッチングコストとの組合せに対して信頼度重みをマッピングする、ステップをさらに含む、非一時的コンピュータ可読媒体である。

【0177】

例６０は、例５７から例５９のいずれかに記載の非一時的コンピュータ可読媒体であって、少なくとも１つのプロセッサが、実行可能命令に含まれる命令を実行することによって、記述子の間のハミング距離を基にマッチングコストを計算することと、エッジアウェアフィルタを使用してマッチングコストをフィルタリングすることと、フィルタリングされたマッチングコストを基に平面仮説を選択することと、選択された平面仮説に関するフィルタリングされていないマッチングコストを使用して信頼度重みを計算することとを行う、非一時的コンピュータ可読媒体である。

【0178】

例６１は、リアルタイムのアクティブステレオシステムであって、基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを取り込むように構成された取込みシステムであって、基準画像または副画像が、第１の時間窓に関連した第１の画像および第２の時間窓に関連した第２の画像を含む、取込みシステムと、奥行き感知コンピューティングシステムであって、二者択一的に、ｉ）比較のために第１の画像または第２の画像のうち１つから各画素を選択し、ｉｉ）比較のために第１の画像からの１つの画素および第２の画像からの１つの画素を選択することによって記述子を計算することを含めて、基準画像および副画像を基に記述子を計算して、記述子を使用して奥行きマップを生成するように構成された奥行き感知コンピューティングシステムとを備える、リアルタイムのアクティブステレオシステムである。

【0179】

例６２は、例６１に記載のリアルタイムのアクティブステレオシステムであって、奥行き感知コンピューティングシステムが、所定のサイズの空間的範囲および所定のサイズの時間的範囲を有する時空ウィンドウにわたって記述子を計算するように構成される、リアルタイムのアクティブステレオシステムである。

【0180】

例６３は、例６１または例６２に記載のリアルタイムのアクティブステレオシステムであって、奥行き感知コンピューティングシステムが、時空ウィンドウにおけるすべての画素が選択されるまで、比較において既に使用された画素は再サンプリングしないように構成される、リアルタイムのアクティブステレオシステムである。

【0181】

例６４は、例６１から例６３のいずれかに記載のリアルタイムのアクティブステレオシステムであって、奥行き感知コンピューティングシステムが、時空ウィンドウにおいてすべての画素がサンプリングされたと判定されることに応答して、時空ウィンドウにおける、閾値レベルよりも大きいサイクル長さを有する画素を再選択するように構成される、リアルタイムのアクティブステレオシステムである。

【0182】

例６５は、例６１から例６４のいずれかに記載のリアルタイムのアクティブステレオシステムであって、記述子が複数の比較値を含み、複数の比較値の数が所定の数である、リアルタイムのアクティブステレオシステムである。

【0183】

例６６は、例６１から例６５のいずれかに記載のリアルタイムのアクティブステレオシステムであって、記述子が、第１の値および第２の値を含む複数の比較値を含み、第１の値が第１の画像の画素の間の比較の結果を表し、第２の値が、第１の画像の画素と第２の画像の画素との間の比較の結果を表す、リアルタイムのアクティブステレオシステムである。

【0184】

例６７は、例６１から例６６のいずれかに記載のリアルタイムのアクティブステレオシステムであって、複数の比較値が第３の値および第４の値を含み、第３の値が第２の画像の画素の間の比較の結果を表し、第４の値が、第２の画像の画素と第１の画像の画素との間の比較の結果を表す、リアルタイムのアクティブステレオシステムである。

【0185】

例６８は、例６１から例６７のいずれかに記載のリアルタイムのアクティブステレオシステムであって、奥行き感知コンピューティングシステムが、記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、それぞれの平面仮説に関する記述子の間のマッチングコストを計算すること、および画素のグループに関する複数の平面仮説から、最低の更新されたマッチングコストを有する平面仮説を選択することを含む、複数の平面仮説を評価することを行うように構成される、リアルタイムのアクティブステレオシステムである。

【0186】

例６９は、リアルタイムのアクティブステレオに関する方法であって、基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを受け取るステップであって、基準画像または副画像が、第１の時間窓に関連した第１の画像および第２の時間窓に関連した第２の画像を含む、ステレオ画像データを受け取るステップと、基準画像および副画像を基に記述子を計算するステップであって、二者択一的に、ｉ）比較のために、第１の画像または第２の画像のうち１つからの各画素を選択し、ｉｉ）比較のために、第１の画像からの１つの画素および第２の画像からの１つの画素を選択することよって、記述子を計算するステップを含む、記述子を計算するステップと、記述子を使用して奥行きマップを生成するステップとを含む、方法である。

【0187】

例７０は、例６９に記載の方法であって、記述子が、所定のサイズの空間的範囲および所定のサイズの時間的範囲を有する時空ウィンドウにわたって計算される、方法である。

【0188】

例７１は、例６９または例７０に記載の方法であって、比較において既に使用された画素は、時空ウィンドウにおけるすべての画素が選択されるまで再サンプリングされない、方法である。

【0189】

例７２は、例６９から例７１のいずれかに記載の方法であって、時空ウィンドウにおいてすべての画素がサンプリングされたと判定されることに応答して、時空ウィンドウにおける、閾値レベルよりも大きいサイクル長さを有する画素を再選択するステップをさらに含む、方法である。

【0190】

例７３は、例６９から例７２のいずれかに記載の方法であって、記述子が複数の比較値を含み、複数の比較値の数が所定の数である、方法である。

【0191】

例７４は、例６９から例７３のいずれかに記載の方法であって、記述子が、第１の値および第２の値を含む複数の比較値を含み、第１の値が第１の画像の画素の間の比較の結果を表し、第２の値が、第１の画像の画素と第２の画像の画素との間の比較の結果を表す、方法である。

【0192】

例７５は、例６９から例７４のいずれかに記載の方法であって、複数の比較値が第３の値および第４の値を含み、第３の値が第２の画像の画素の間の比較の結果を表し、第４の値が、第２の画像の画素と第１の画像の画素との間の比較の結果を表す、方法である。

【0193】

例７６は、例６９から例７５のいずれかに記載の方法であって、記述子を使用して、画素のグループに関する複数の平面仮説を評価するステップであって、それぞれの平面仮説に関する記述子の間のマッチングコストを計算するステップと、画素のグループに関する複数の平面仮説から、更新された最低のマッチングコストを有する平面仮説を選択するステップとを含む、複数の平面仮説を評価するステップをさらに含む、方法である。

【0194】

例７７は、実行可能命令を記憶している非一時的コンピュータ可読媒体であって、少なくとも１つのプロセッサが、実行可能命令を実行することによって、基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを受け取ることであって、基準画像または副画像が、第１の時間窓に関連した第１の画像および第２の時間窓に関連した第２の画像を含む、ステレオ画像データを受け取ることと、二者択一的に、ｉ）比較のために、第１の画像または第２の画像のうち１つからの各画素を選択し、ｉｉ）比較のために、第１の画像からの１つの画素および第２の画像からの１つの画素を選択する、ことよって記述子を計算することを含む、基準画像および副画像を基に記述子を計算することと、記述子を使用して奥行きマップを生成することとを行う、非一時的コンピュータ可読媒体である。

【0195】

例７８は、例７７に記載の非一時的コンピュータ可読媒体であって、記述子が、所定のサイズの空間的範囲および所定のサイズの時間的範囲を有する時空ウィンドウにわたって計算される、非一時的コンピュータ可読媒体である。

【0196】

例７９は、例７７または例７８に記載の非一時的コンピュータ可読媒体であって、少なくとも１つのプロセッサが、実行可能命令に含まれる命令を実行することによって、時空ウィンドウにおけるすべての画素がサンプリングされたと判定して、閾値レベルよりも大きいサイクル長さを有する、時空ウィンドウにおける画素を再選択する、非一時的コンピュータ可読媒体である。

【0197】

例８０は、例７７から例７９のいずれかに記載の非一時的コンピュータ可読媒体であって、記述子が、第１の値、第２の値、第３の値、および第４の値を含む複数の比較値を含み、第１の値が第１の画像の画素の間の比較の結果を表し、第２の値が、第１の画像の画素と第２の画像の画素との間の比較の結果を表し、第３の値が第２の画像の画素の間の比較の結果を表し、第４の値が、第２の画像の画素と第１の画像の画素との間の比較の結果を表す、非一時的コンピュータ可読媒体である。

【0198】

例示の実施形態は、様々な修正形態および代替形態の形式を含み得るが、それらの実施形態は例として図に示され、本明細書で詳細に説明される。しかしながら、例示の実施形態を、開示された特定の形態に限定する意図はなく、それどころか、例示の実施形態は、特許請求の範囲を含まれるすべての修正形態、等価物、および代替形態を対象として含むことを理解されたい。図の説明を通じて、類似の番号は類似の要素を指す。

【0199】

ここで説明されたシステムおよび技術の様々な実装形態は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組合せで実現され得る。これらの様々な実装形態は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行可能かつ／または機械言語に翻訳処理可能な、１つまたは複数のコンピュータプログラムの実装形態を含み得、プログラマブルプロセッサは、専用または汎用のものであり得、記憶システム、少なくとも１つの入力装置、および少なくとも１つの出力装置に結合されてデータや命令をやり取りし得る。ここで説明されたシステムや技術の様々な実装形態は、本明細書において、ソフトウェアの態様とハードウェアの態様とを組み合わされ得る、回路、モジュール、ブロック、またはシステムとして実現され得、かつ／または一般にこれらと称され得る。たとえば、モジュールは、プロセッサ（たとえばシリコン基板、ＧａＡｓ基板上に形成されたプロセッサなど）または他のいくつかのプログラム可能なデータ処理装置において実行する機能／行為／コンピュータプログラム命令を含み得る。

【0200】

上記の例示の実施形態のうちいくつかは、流れ図として表された処理または方法として説明される。流れ図では、動作はシーケンシャルな処理として説明されるが、動作の多くは、並行して、共に、すなわち同時に実行され得る。加えて、動作の順序は再編成されてよい。処理は、動作が完了したら終了してよいが、図に含まれない追加のステップもあり得る。処理は、方法、機能、プロシージャ、サブルーチン、サブプログラムなどに相当し得る。

【0201】

上記で論じられた方法は、いくつかが流れ図に示されており、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実施され得る。必要なタスクを実行するプログラムコードまたはコードセグメントは、ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードで実施されたとき、記憶媒体などの機械可読媒体またはコンピュータ可読媒体に記憶され得る。プロセッサ（複数可）は必要なタスクを実行し得る。

【0202】

本明細書で開示された特定の構造および機能の詳細は、例示の実施形態を説明するための単なる表現である。しかしながら、例示の実施形態は、多くの代替形態で具現されるので、本明細書で説明された実施形態のみに限定されるものと解釈されるべきではない。

【0203】

本明細書では、様々な要素を説明するために、「第１の」、「第２の」などの用語を使用することがあるが、これらの要素は、これらの用語によって制限されるべきではないことを理解されたい。これらの用語は、１つの要素を別の要素と区別するためにのみ使用される。たとえば、例示の実施形態の範囲から逸脱することなく、第１の要素が第２の要素と称されてよく、同様に、第２の要素が第１の要素と称されてもよい。本明細書で使用される「および／または」という用語は、関連して列挙された品目のうち１つまたは複数の、任意の組合せも、すべての組合せも含む。

【0204】

ある要素が、別の要素に接続または結合されると称されるとき、他の要素に直接接続もしくは結合されてよく、または介在要素があってもよいことが理解されよう。対照的に、ある要素が、別の要素に直接接続または結合されると称されたら、介在要素は存在しない。要素の間の関係を説明するために他の用語（たとえば「の間を」対「の間を直接」、「近接」対「隣接」など）が使用されたら、同じように解釈されるべきである。

【0205】

本明細書で使用される用語法は、特定の実施形態を説明することのみを目的としており、例示の実施形態を限定する意図はない。本明細書で使用される、「ある（ａ）」、「ある（ａｎ）」、「その（ｔｈｅ）」といった単数形は、文脈がそうでないことを明白に示さない限り、複数形も含むように意図されている。本明細書で使用される「備える（ｃｏｍｐｒｉｓｅｓ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」および／または「含む（ｉｎｃｌｕｄｉｎｇ）」といった用語は、明示された特徴、完全体、ステップ、動作、要素および／または構成要素の存在を指定するが、１つまたは複数の他の特徴、完全体、ステップ、動作、要素、構成要素および／またはそれらのグループの存在や追加を排除しないことがさらに理解されよう。

【0206】

いくつかの代替の実装形態では、示された機能／行為が、図に示されたものと違う順序で生じ得ることにも留意されたい。たとえば、連続して示された２つの図が、実際には、包含される機能性／行為に依拠して、同時に実行されてよく、時には逆順に実行されてもよい。

【0207】

本明細書で使用されるすべての用語（技術用語および科学用語を含む）は、別様に定義されなければ、例示の実施形態が属する技術の当業者によって一般的に理解されるもの同一の意味を有する。たとえば、一般に使用される辞書において定義された用語は、関連技術の状況におけるその意味に矛盾しない意味を有するものと解釈されるべきであり、したがって、本明細書においてそのように明確に定義されない限り、理想化または過度に形式化された意味には解釈されないことがさらに理解されよう。

【0208】

上記の例示の実施形態および対応する発明を実施するための形態の一部は、ソフトウェア、またはコンピューターメモリの内部のデータビット上の動作のアルゴリズムおよび記号表現に関して提示される。これらの記述および表現は、当業者が、自分の著作物の実体を他の当業者に効果的に伝えるものである。ここで一般に使用されるアルゴリズムという用語は、所望の結果につながる、自己矛盾がないステップのシーケンスであると理解される。ステップは、物理量の物理的操作を必要とするものである。必須ではないが、これらの量は、通常は、記憶、転送、組合せ、比較、または操作が可能な、光信号、電気信号、または磁気信号の形をとる。これらの信号を、主に共通の使用法の理由で、時にはビット、値、要素、シンボル、特性、用語、番号などと称すると便利であることが判明している。

【0209】

上記の実例となる実施形態において、プログラムモジュールまたは機能プロセスとして実施され得る行為に対する参照および（たとえば流れ図の形式の）動作の記号表現は、特定のタスクを実行するか、または特定の抽象データ型を実施する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含み、既存の構造要素における既存のハードウェアを使用して、記述され、かつ／または実施され得る。そのような既存のハードウェアは、１つまたは複数の中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）コンピュータなどを含み得る。

【0210】

しかしながら、すべてのこれら用語および類似の用語は、適切な物理量に関連付けられるべきであり、これらの量に適用された都合のよいラベルでしかないことも念頭に置くべきである。特に別記しない限り、すなわち議論から明らかなように、処理、演算、計算、判定、または表示などの用語は、コンピュータシステムのレジスタおよび記憶装置の内部の物理的、電子的な量として表されたデータを、コンピュータシステムの記憶装置もしくはレジスタ、または他のそのような情報の記憶装置、伝送装置もしくは表示装置の内部の、物理量として同様に表される他のデータへと処理したり変換したりする、コンピュータシステムまたは類似の電子コンピューティングデバイスのアクションおよび処理を指す。

【0211】

例示の実施形態のソフトウェアで実施される態様は、一般的には何らかの形態の非一時的プログラム記憶媒体上に符号化されるか、またはいくつかのタイプの伝送媒体を通じて実施されることにも留意されたい。プログラム記憶媒体は、磁気媒体（たとえばフロッピーディスクまたはハードディスク）または光媒体（たとえばコンパクトディスクを使った読出し専用メモリすなわちＣＤ ＲＯＭ）でよく、読出し専用媒体またはランダムアクセス媒体でよい。同様に、伝送媒体は、ツイストペア線、同軸ケーブル、光ファイバ、または当技術で既知の他の適切な伝送媒体でよい。例示の実施形態は、いかなる所与の実装形態のこれらの態様によっても制限されない。

【0212】

最後に、添付の特許請求の範囲は、本明細書で説明された特徴の特定の組合せを提示するが、本開示の範囲は、以下で特許請求される特定の組合せに限定されることなく、その特定の組合せが、現時点で添付の特許請求の範囲の中に具体的に列挙されているかどうかということに関係なく、本明細書で開示された特徴または実施形態のあらゆる組合せを包含するように広がることにも留意されたい。

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図1F】

【図1G】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2023-10-18

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

リアルタイムのアクティブステレオシステムであって、
基準画像および副画像を含むステレオ画像データを取り込むように構成された取込みシステムと、
奥行きマップを生成するように構成された奥行き感知コンピューティングシステムであって、
前記基準画像および前記副画像を基に記述子を計算することと、
画素変化情報および視差変化情報を基に安定性ペナルティを計算することと、
前記記述子を使用して、画素のグループに関する複数の平面仮説を評価することであって、
それぞれの平面仮説に関連する前記記述子の間のマッチングコストを計算し、
前記安定性ペナルティを用いて前記マッチングコストを更新して、
前記更新されたマッチングコストに基づき、前記画素のグループに関する前記複数の平面仮説から平面仮説を選択することを含む、複数の平面仮説を評価することと
を行うように構成された奥行き感知コンピューティングシステムと
を備える、リアルタイムのアクティブステレオシステム。

【請求項2】

前記画素変化情報が画素変化値を含み、前記視差変化情報が視差変化値を含み、前記奥行き感知コンピューティングシステムが、
前記画素変化値を使用して強度乗数を計算し、
前記視差変化値を使用して視差乗数を計算し、
前記強度乗数および前記視差乗数を使用して前記安定性ペナルティを計算するように構成される、
請求項１に記載のリアルタイムのアクティブステレオシステム。

【請求項3】

前記奥行き感知コンピューティングシステムが、
前記画素変化値にエッジアウェアフィルタを適用して、フィルタリングされた画素変化値を導出するように構成され、前記フィルタリングされた画素変化値が前記強度乗数を計算するように使用される、
請求項２に記載のリアルタイムのアクティブステレオシステム。

【請求項4】

前記画素変化値が、現在の奥行きマップの基準画像または副画像における画素の画素値と、以前の奥行きマップの基準画像または副画像における画素の画素値との間の差を表し、前記視差変化値が、前記現在の奥行きマップの画素の提出された視差と、前記以前の奥行きマップの画素の視差との間の差を表す、請求項２に記載のリアルタイムのアクティブステレオシステム。

【請求項5】

前記奥行き感知コンピューティングシステムが、
平面仮説評価中に生成され得る最高のマッチングコストを計算し、
前記最高のマッチングコストと、前記強度乗数と、前記視差乗数との積を基に前記安定性ペナルティを計算するように構成される、
請求項２から４のいずれか１項に記載のリアルタイムのアクティブステレオシステム。

【請求項6】

前記奥行き感知コンピューティングシステムが、前記画素変化値を入力した強度関数を使用して前記強度乗数を計算するように構成される、請求項２から５のいずれか１項に記載のリアルタイムのアクティブステレオシステム。

【請求項7】

前記奥行き感知コンピューティングシステムが、前記画素変化値を入力した視差関数を使用して前記視差乗数を計算するように構成される、請求項２から６のいずれか１項に記載のリアルタイムのアクティブステレオシステム。

【請求項8】

前記奥行き感知コンピューティングシステムが、エッジアウェアフィルタを使用して前記マッチングコストをフィルタリングするように構成され、前記安定性ペナルティが、前記フィルタリングされたマッチングコストを更新するように使用される、請求項１から７のいずれか１項に記載のリアルタイムのアクティブステレオシステム。

【請求項9】

リアルタイムのアクティブステレオに関する方法であって、
基準カメラから取り込まれた基準画像および副カメラから取り込まれた副画像を含むステレオ画像データを受け取るステップと、
前記基準画像および前記副画像を基に記述子を計算するステップと、
画素変化情報および視差変化情報を基に安定性ペナルティを計算するステップと、
前記記述子を使用して、画素のグループに関する複数の平面仮説を評価するステップであって、
それぞれの平面仮説に関連する前記記述子の間のマッチングコストを計算するステップ、
前記安定性ペナルティを用いてマッチングコストを更新するステップ、および
前記画素のグループに関す前記複数の平面仮説から、更新された最低のマッチングコストを有する平面仮説を選択するステップを含む、
複数の平面仮説を評価するステップと
を含む方法。

【請求項10】

前記画素変化情報が画素変化値を含み、前記視差変化情報が視差変化値を含む、方法であって、
前記画素変化値を使用して強度乗数を計算するステップと、
前記視差変化値を使用して視差乗数を計算するステップと、
前記強度乗数および前記視差乗数を使用して前記安定性ペナルティを計算するステップと
をさらに含む、請求項９に記載の方法。

【請求項11】

前記画素変化値にエッジアウェアフィルタを適用して、フィルタリングされた画素変化値を導出するステップであって、前記フィルタリングされた画素変化値が前記強度乗数を計算するように使用される、画素変化値を導出するステップをさらに含む、請求項１０に記載の方法。

【請求項12】

前記画素変化値が、現在の奥行きマップの基準画像における画素の画素値と、以前の奥行きマップの基準画像における画素の画素値との間の差を表し、前記視差変化値が、前記現在の奥行きマップの画素の提出された視差と、前記以前の奥行きマップの画素の視差との間の差を表す、請求項１０または１１に記載の方法。

【請求項13】

平面仮説評価中に生成され得る最高のマッチングコストを計算するステップと、
前記最高のマッチングコストと、前記強度乗数と、前記視差乗数との積を基に前記安定性ペナルティを計算するステップと
をさらに含む、請求項１０から１２のいずれか１項に記載の方法。

【請求項14】

前記画素変化値を入力した強度関数を使用して前記強度乗数を計算するステップと、
前記強度関数とは異なる視差関数に前記画素変化値を入力したものを使用して前記視差乗数を計算するステップと
をさらに含む、請求項１０から１３のいずれか１項に記載の方法。

【請求項15】

前記記述子の間のハミング距離を基に前記マッチングコストを計算するステップと、
エッジアウェアフィルタを使用して前記マッチングコストをフィルタリングするステップであって、前記フィルタリングされたマッチングコストが前記安定性ペナルティを用いて更新されるステップと
をさらに含む、請求項９から１４のいずれか１項に記載の方法。

【請求項16】

実行可能命令を含むプログラムであって、前記実行可能命令は、少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサに請求項９から１５のいずれか１項に記載の方法を実施させる、プログラム。

【国際調査報告】