特許 6998388 画像特性マップを処理するための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-22

(45)【発行日】2022-01-18

(54)【発明の名称】画像特性マップを処理するための方法及び装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20220111BHJP

【ＦＩ】

G06T1/00 500B

【請求項の数】 13

(21)【出願番号】P 2019542199

(86)(22)【出願日】2018-01-31

(65)【公表番号】

(43)【公表日】2020-02-27

(86)【国際出願番号】 EP2018052318

(87)【国際公開番号】W WO2018145961

(87)【国際公開日】2018-08-16

【審査請求日】2021-01-29

(31)【優先権主張番号】17155076.7

(32)【優先日】2017-02-07

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】110001690

【氏名又は名称】特許業務法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ヴァーエカンプ クリスティアン

(72)【発明者】

【氏名】バンドワール パトリック ルク エルス

【審査官】片岡 利延

(56)【参考文献】

【文献】特開２０１３－１４０４３７（ＪＰ，Ａ）

【文献】特開２０００－１２１３１９（ＪＰ，Ａ）

【文献】特開２０１１－２１６０８７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／００９３１５９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１１／０２７３５２９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／００７９３３６（ＵＳ，Ａ１）

【文献】国際公開第２０１６／０６７５４１（ＷＯ，Ａ１）

【文献】Ruth Bergman et al.，Comprehensive solutions for automatic removal of dust and scratches from images，[online]，2008年，https://www.spiedigitallibrary.org/journals/journal-of-electronic-imaging/volume-17/issue-1/013010/Comprehensive-solutions-for-automatic-removal-of-dust-and-scratches-from/10.1117/1.2899845.full?SSO=1

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

画像特性マップを処理するための装置であって、当該装置は、
光強度画像、信頼度マップ、及び画像特性マップを受信するための受信機であって、前記光強度画像は、当該光強度画像のピクセルに関する光強度値を備え、前記画像特性マップは、前記光強度画像の前記ピクセルに関する画像特性値を備え、かつ前記信頼度マップは、前記画像特性値に関する信頼度値を備える、受信機と、
前記光強度画像及び前記信頼度マップに応じて、前記画像特性マップをフィルタリングして、フィルタリングされた画像特性マップを生成するフィルタ・ユニットとを備え、
前記フィルタリングされた画像特性マップにおける第１の位置に関して、
前記フィルタ・ユニットは、近傍画像特性値の重み付けされた組合せが、前記第１の位置の周囲の近傍における画像特性値であることに応答して、組み合わされた近傍画像特性値を決定し、第２の位置における第１の近傍画像特性値に関する重みは、当該第１の近傍画像特性値に関する信頼度値、及び前記第１の位置に関する光強度値と前記第２の位置に関する光強度値との間の差に依存し、
前記フィルタ・ユニットは、前記第１の位置に関する第１のフィルタリングされた画像特性値を、前記画像特性マップにおける前記第１の位置における第１の画像特性値と、前記組み合わされた近傍画像特性値との組合せとして決定し、
前記フィルタ・ユニットは、前記第１の近傍画像特性値に関する前記信頼度値と前記第１の画像特性値に関する信頼度値とに関する差測度に応答して、前記第１の近傍画像特性値に関する前記重みを決定し、前記重みの決定は、前記第１の近傍画像特性値に関する前記信頼度値と前記第１の画像特性値に関する前記信頼度値とに関して非対称であり、前記重みは前記差測度の符号に依存している、
装置。

【請求項2】

前記フィルタ・ユニットは、前記第１の画像特性値に関する信頼度値に応答して、前記組み合わされた近傍画像特性値に関する重みに対して前記第１の画像特性値に関する重みを決定する、請求項１に記載の装置。

【請求項3】

前記フィルタ・ユニットは、前記組み合わされた近傍画像特性値を、実質的に

【数13】

として決定し、ここで、ｆ_ｊは、前記第２の位置に関する光強度値と前記第２の位置における近傍画像特性値に関する光強度値とに関する差測度を表し、ｇ_ｊは、第１の深度値に関する信頼度値と前記第２の位置における前記近傍画像特性値に関する信頼度値とに関する信頼度差測度を表し、Ｄ_ｊは、前記第２の位置における前記近傍画像特性値を表し、α_ｊは、設計パラメータを表し、かつ合計は、前記近傍に属する全ての位置ｊにわたる、請求項１又は２に記載の装置。

【請求項4】

前記差測度は、前記第１の近傍画像特性値に関する前記信頼度値が、前記第１の画像特性値に関する前記信頼度値を閾値まで超えない場合、最小値に限定され、前記差測度は、前記第１の近傍画像特性値に関する前記信頼度値が、前記第１の画像特性値に関する前記信頼度値を閾値より超えた場合、前記最小値を超える、請求項１から３の何れか一項に記載の装置。

【請求項5】

前記光強度画像、前記信頼度マップ、及び前記画像特性マップは、時系列の光強度画像、信頼度マップ、及び画像特性マップの一部であり、かつ前記近傍は、時間的拡張を有する、請求項１から４の何れか一項に記載の装置。

【請求項6】

前記フィルタ・ユニットは、画像特性値に対して、この値がフィルタリングされた画像特性値である場合、信頼度値を増加させる、請求項１から５の何れか一項に記載の装置。

【請求項7】

前記近傍は、前記第１の位置に関して空間的に非対称である、請求項１から６の何れか一項に記載の装置。

【請求項8】

前記画像特性マップは、第１の視点を表す第１の画像と第２の視点を表す第２の画像とにおける視差推定から決定された深度値を備え、かつ前記第１の視点を前記視差推定に関する基礎として有する深度表示マップであり、前記近傍は、前記第１の視点から前記第２の視点に向かう方向と比べて、前記第２の視点から前記第１の視点に向かう方向において大きく延びる、請求項７に記載の装置。

【請求項9】

前記重みは、前記第１の位置と前記第２の位置との間の距離に更に依存する、請求項１から８の何れか一項に記載の装置。

【請求項10】

前記受信機は、第２の画像特性マップ及び第２の信頼度マップを受信し、前記第２の信頼度マップは、前記第２の画像特性マップの第２の画像特性値に関する第２の信頼度値を備え、かつ前記フィルタ・ユニットは、前記第２の位置に関する第２の画像特性値、及び前記第２の位置に関する第２の信頼度値に応答して、前記第１の近傍画像特性値に関する前記重みを決定する、請求項１から９の何れか一項に記載の装置。

【請求項11】

前記画像特性マップは、
深度マップ、
視差マップ、
モーション推定マップ、及び
透明度マップ
のうちの１つである、請求項１から１０の何れか一項に記載の装置。

【請求項12】

画像特性マップを処理する方法であって、当該方法は、
光強度画像、信頼度マップ、及び画像特性マップを受信するステップであって、前記光強度画像は、当該光強度画像のピクセルに関する光強度値を備え、前記画像特性マップは、前記光強度画像の前記ピクセルに関する画像特性値を備え、かつ前記信頼度マップは、前記画像特性値に関する信頼度値を備える、ステップと、
前記光強度画像及び前記信頼度マップに応じて、前記画像特性マップをフィルタリングして、フィルタリングされた画像特性マップを生成するステップと
を含み、前記フィルタリングするステップは、前記フィルタリングされた画像特性マップにおける第１の位置に関して、
近傍画像特性値の重み付けされた組合せが、前記第１の位置の周囲の近傍における画像特性値であることに応答して、組み合わされた近傍画像特性値を決定するステップであって、第２の位置における第１の近傍画像特性値に関する重みは、当該第１の近傍画像特性値に関する信頼度値、及び前記第１の位置に関する光強度値と前記第２の位置に関する光強度値との間の差に依存する、ステップと、
前記第１の位置に関する第１のフィルタリングされた画像特性値を、前記画像特性マップにおける前記第１の位置における第１の画像特性値と、前記組み合わされた近傍画像特性値との組合せとして決定するステップとを含み、
組み合わされた近傍画像特性値を決定するステップは、前記第１の近傍画像特性値に関する前記信頼度値と前記第１の画像特性値に関する信頼度値とに関する差測度に応答して、前記第１の近傍画像特性値に関する前記重みを決定するステップを含み、前記重みの決定は、前記第１の近傍画像特性値に関する前記信頼度値と前記第１の画像特性値に関する前記信頼度値とに関して非対称であり、前記重みは前記差測度の符号に依存している、
方法。

【請求項13】

コンピュータ上で動作するときに、請求項１２に記載の方法の全てのステップを実行するコンピュータプログラムコード手段を有する、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像特性マップを処理するための方法及び装置に関し、排他的ではないが、より詳細には、深度マップ又は視差マップの処理に関する。

【背景技術】

【0002】

従来、デジタル画像及びビデオ・フレームは、単に、シーンの光特性を反映する光強度情報（色を含む）を提供する単一の画像から構成されていた。しかし、近年、画像の表現は、しばしば、異なるいくつかの特性を表す更なる情報を有してますます複雑になっている。例えば、単に、単一の光強度画像である画像ではなく、シーンの多くの表現は、今や、更なる光強度画像、深度マップ、透明度マップ、信頼度マップ、その他を備える。

【0003】

そのような更なる情報は、受取り／レンダリング端が、レンダリングされている画像に対してより大きい柔軟性及び制御を有することを可能にするために提供される。一例が、例えば、光強度画像のための深度マップ（又は、均等なこととして、視差マップ）の備えなどの、更なる深度情報の備えである。このことは、受け取る側／レンダリングする側が、視点移動を実行すること、又は、例えば、３Ｄビューイングのための立体画像を生成することを可能にすることができる。

【0004】

しかし、多くの実際的なシナリオにおいて、画像特性は、不完全であり、かつノイズ又は誤差による影響を受ける。例えば、深度情報が、所望されるほど正確ではないことがある。実際、多くのシナリオにおいて、深度情報は、異なる視認方向に対するビュー画像同士を比較することによって深度値を推定すること、及び抽出することによって生成される。しかし、そのような推定は、ノイズ及び誤差を比較的被りやすい傾向にある。

【0005】

特に、多くの適用形態において、３次元シーンは、わずかに異なる位置において２つのカメラを使用して立体画像としてキャプチャされる。次に、特定の深度値が、２つの画像における対応する画像オブジェクトの間の視差を推定することによって生成される。しかし、そのような深度抽出及び深度推定は、問題があり、理想的でない深度値をもたらす傾向にある。このことが、アーチファクト、及び劣化した３次元画像品質を更にまたもたらすことがある。

【0006】

３次元画像劣化及びアーチファクトは、異なる画像オブジェクトの間の遷移に関して特に大きい傾向にある。更に、関連する画像に関する視差推定に基づく深度情報の決定もまた、通常、画像オブジェクトの特性に配慮することと関係する。通常、視差推定アルゴリズムは、左画像におけるポイントと右画像におけるそのポイントに対応するポイントの間の色差を局所的に比較することによって、左画像と右画像の間の対応関係を探索する。しかし、画像特性及びプロセスは、比較的ノイズが多く、生成される深度マップも比較的ノイズが多いことをもたらす。

【0007】

そのような深度マップを改良するために、深度マップのポストフィルタリングが提案されている。特定のポストフィルタリング・アプローチは、フィルタリング・カーネルが画像の視覚特性を反映するように適応させられる、バイラテラル色及び／又は輝度適応フィルタである。そのようなバイラテラル・フィルタは、深度マップが、画像の特徴により密接に従うように適応させられることをもたらし、かつ推定される視差の向上した一貫性及び経時安定性をもたらす、又は、例えば、異なる画像オブジェクトの間のより鮮明な深度遷移をもたらす。

【0008】

合同バイラテラル・フィルタリングは、アップサンプリングを含み、関連する光強度画像が「誘導」信号として与えられて、例えば、深度マップをフィルタリングするのに、又はアップサンプリングするのに使用される技法である。全体的な考え方は、「誘導」信号は、ノイズがより少なく、又はより高い分解能のものであること、及び、そのため、「誘導」信号は、フィルタリングすべきピクセルの典型的には時空間的な近傍の重み付けされた平均において、いずれのサンプルにより低い重み、又はより高い重みが与えられるべきかと関係する情報を提供することができる。

【0009】

しかし、そのようなフィルタリング、及び特にバイラテラル・フィルタリングは、フィルタリングされている画像特性マップを改良するものの、最適なパフォーマンスをもたらさない傾向にあり、もたらされる画像特性マップは、アーチファクト、誤差、不正確さ、及び／又はノイズを依然として含むことがある。

【0010】

したがって、画像特性マップを処理するための改良されたアプローチが、有利であり、特に、より高い柔軟性、より円滑な実装、より低い複雑度、より小さいアーチファクト／誤差／不正確さ及び／若しくは雑音、並びに／又は向上した品質及び／若しくはパフォーマンスを可能にするアプローチが、有利である。

【発明の概要】

【発明が解決しようとする課題】

【0011】

したがって、本発明は、好ましくは、前述した欠点のうちの１つ又は複数を単独で、又は任意の組合せで緩和すること、軽減すること、又は解消することを追求する。

【課題を解決するための手段】

【0012】

本発明の態様によれば、画像特性マップを処理するための装置が提供され、装置は、光強度画像、信頼度マップ、及び画像特性マップを受信するための受信機であって、光強度画像は、光強度画像のピクセルに関する光強度値を備え、画像特性マップは、光強度画像のピクセルに関する画像特性値を備え、かつ信頼度マップは、画像特性値に関する信頼度値を備える、受信機と、光強度画像及び信頼度マップに応じて、画像特性マップをフィルタリングして、フィルタリングされた画像特性マップを生成するように構成されたフィルタ・ユニットとを備え、フィルタリングされた画像特性マップにおける第１の位置に関して、フィルタ・ユニットは、近傍画像特性値の重み付けされた組合せが、第１の位置の周囲の近傍における画像特性値であることに応答して、組み合わされた近傍画像特性値を決定し、第２の位置における第１の近傍画像特性値に関する重みは、第１の近傍画像特性値に関する信頼度値、及び第１の位置に関する光強度値と第２の位置に関する光強度値との間の差に依存し、フィルタ・ユニットは、第１の位置に関する第１のフィルタリングされた画像特性値を、画像特性マップにおける第１の位置における第１の画像特性値と、組み合わされた近傍画像特性値との組合せとして決定し、フィルタ・ユニットは、第１の近傍画像特性値に関する信頼度値と第１の画像特性値に関する信頼度値とに関する差測度に応答して、第１の近傍画像特性値に関する重みを決定するように構成される。

【0013】

本発明は、改良された画像特性マップが生成されることを可能にする。フィルタリングされた画像特性マップは、異なる特性及びモダリティに応答して決定され、多くのシナリオ及び実施形態において正しい画像特性値のより正確な反映をもたらす。例えば、多くの実施形態において、深度マップの改良されたフィルタリングが実現されることが可能であり、例えば、もたらされるより高い画像品質を伴って視点移動を実行するのに使用され得る、出力されたフィルタリングされた深度マップをもたらす。このため、改良されたユーザ体験は、しばしば、もたらされるフィルタリングされた画像特性マップに基づいて実現され得る。

【0014】

このアプローチは、信頼度値及び光強度値の両方が、深度マップなどの画像特性マップのフィルタリングを制御し、かつ誘導するのに同時に使用されることが可能な、改良されたフィルタリングを提供する。異なる特性に配慮することは、組み合わされた同時の統合された操作に組み込まれる。このことは、品質を低減するが、向上したパフォーマンスをもたらす。例えば、この特定のアプローチは、信頼度値及び光強度値の両方に合同で配慮することを可能にし、これらが互いに望ましくなく干渉することも、誤差若しくはアーチファクトをもたらすこともない。

【0015】

第１の位置に関する光強度値と第２の位置に関する光強度値との間の差は、任意の適切な差測度により決定される。例えば、この差は、光強度値の間の差に関するノルムとして決定される。

【0016】

近傍画像特性値の重み付けされた組合せは、特に、近傍画像特性値の重み付けされた合計である。一部の実施形態において、近傍画像特性値の重み付けされた組合せは、近傍の範囲内の全ての近傍画像特性値を含む。他の実施形態において、この組合せは、それらの値のサブセットだけを含み、例えば、サブサンプリングが、近傍における近傍画像特性値に適用される。

【0017】

画像特性マップにおける第１の位置における第１の画像特性値と組み合わされた近傍画像特性値の組合せは、重み付けされた合計である。

【0018】

近傍は、第１の位置を含む近傍／領域である。そのような近傍／領域は、カーネルとも呼ばれる。

【0019】

第１の近傍画像特性値に関する重みは、第１の近傍画像特性値に関する信頼度値の単調増加関数である（ここで、信頼度値は、増加する信頼度に対して増加する値を有する）。

【0020】

第１の近傍画像特性値に関する重みは、第１の位置に関する光強度値と第２の位置に関する光強度値との間の差の単調減少関数である。

【0021】

第１の近傍画像特性値に関する信頼度値は、信頼度マップにおける第２の位置における信頼度値である。

【0022】

信頼度値に関する差測度は、任意の適切な差測度である。

【0023】

本発明のオプションの特徴によれば、フィルタ・ユニットは、
第１の画像特性値に関する信頼度値に応答して、組み合わされた近傍画像特性値に関する重みを基準として第１の画像特性値に関する重みを決定するように構成される。

【0024】

このことは、多くのシナリオ及び実施形態において改良されたフィルタリングされた画像特性マップが生成されることをもたらす。

【0025】

画像特性マップにおける第１の位置における第１の画像特性値と組み合わされた近傍画像特性値の組合せに関する重みは、第１の画像特性値に関する／信頼度マップにおける第１の位置における信頼度値に依存する。

【0026】

組み合わされた近傍画像特性値に関する重みを基準とした第１の画像特性値に関する重みは、第１の画像特性値に関する信頼度値の単調増加関数である。

【0027】

本発明のオプションの特徴によれば、フィルタ・ユニットは、組み合わされた近傍画像特性値を、実質的に

【数1】

として決定するように構成され、ここで、ｆ_ｊは、第２の位置に関する光強度値と第２の位置における近傍画像特性値に関する光強度値とに関する差測度を表し、ｇ_ｊは、第１の深度値Ｄ_ｉに関する信頼度値Ｃ_ｉと第２の位置における近傍画像特性値に関する信頼度値とに関する信頼度差測度を表し、Ｄ_ｊは、第２の位置における近傍画像特性値を表し、α_ｊは、設計パラメータを表し、かつ合計は、近傍に属する全ての位置ｊにわたる。

【0028】

このことは、多くの実施形態において特に有利な操作を提供し、かつ多くのシナリオ及び実施形態において改良されたフィルタリングされた画像特性マップが生成されることを特にもたらす。

【0029】

設計パラメータα_ｊは、例えば、第１の位置と第２の位置の間の距離などの、他のパラメータに依存する。

【0030】

本発明のオプションの特徴によれば、重みの決定は、第１の近傍画像特性値に関する信頼度値と第１の画像特性値とに関する信頼度値に関して非対称である。

【0031】

このことは、多くの実施形態において特に有利な操作を提供し、かつ多くのシナリオ及び実施形態において改良されたフィルタリングされた画像特性マップが生成されることを特にもたらす。

【0032】

本発明のオプションの特徴によれば、差測度は、最小値に限定され、第１の近傍画像特性値に関する信頼度値が、第１の画像特性値に関する信頼度値を閾値より超えた場合に限って超えられる。

【0033】

このことは、多くの実施形態において特に有利な操作を提供し、かつ多くのシナリオ及び実施形態において改良されたフィルタリングされた画像特性マップが生成されることを特にもたらす。

【0034】

最小値は、０であり、及び／又は閾値は、０である。

【0035】

本発明のオプションの特徴によれば、光強度画像、信頼度マップ、及び画像特性マップは、時系列の光強度画像、信頼度マップ、及び画像特性マップの一部であり、かつ近傍は、時間的拡張を有する。

【0036】

このことは、多くの実施形態において向上したパフォーマンスをもたらし、かつ、特に、向上した経時安定性及び一貫性をもたらす。

【0037】

本発明のオプションの特徴によれば、フィルタ・ユニットは、画像特性値に対して、この値がフィルタリングされた画像特性値である場合、信頼度値を増加させるように構成される。

【0038】

このことは、多くの実施形態において特に有利な操作を提供し、かつ多くのシナリオ及び実施形態において改良されたフィルタリングされた画像特性マップが生成されることを特にもたらす。

【0039】

画像特性値は、多くの実施形態において、その値が、一連の画像特性マップのうちの画像特性マップの前のフィルタリングによって生成された、フィルタリングされた画像特性マップの一部である場合、フィルタリングされた画像特性マップと見なされる。

【0040】

本発明のオプションの特徴によれば、近傍は、第１の位置に関して空間的に非対称である。

【0041】

このことは、多くの実施形態において向上したパフォーマンスをもたらす。

【0042】

本発明のオプションの特徴によれば、画像特性マップは、第１の視点を表す第１の画像と第２の視点を表す第２の画像とにおける視差推定から決定された深度値を備え、かつ第１の視点を視差推定に関する基礎として有する深度表示マップであり、近傍は、第１の視点から第２の視点に向かう方向と比べて、第２の視点から第１の視点に向かう方向においてより大きく延びる。

【0043】

このことは、視差推定が使用される、多くのシナリオ及び実施形態において改良されたフィルタリングされた画像特性マップをもたらす。このことは、異なる視点に対応する画像の間の基礎をなす視差推定における非対称を反映する。

【0044】

本発明のオプションの特徴によれば、重みは、第１の位置と第２の位置との間の距離に更に依存する。

【0045】

このことは、多くのシナリオ及び実施形態において改良されたフィルタリングされた画像特性マップをもたらす。

【0046】

本発明のオプションの特徴によれば、受信機は、第２の画像特性マップ及び第２の信頼度マップを受信するように更に構成され、第２の信頼度マップは、第２の画像特性マップの第２の画像特性値に関する第２の信頼度値を備え、かつフィルタ・ユニットは、第２の位置に関する第２の画像特性値、及び第２の位置に関する第２の信頼度値に応答して、第１の近傍画像特性値に関する重みを決定するように更に構成される。

【0047】

このことは、多くの実施形態において特に有利な操作を提供し、かつ多くのシナリオ及び実施形態において改良されたフィルタリングされた画像特性マップが生成されることを特にもたらす。

【0048】

本発明のオプションの特徴によれば、画像特性マップは、深度マップ、視差マップ、モーション推定マップ、及び透明度マップのうちの１つである。

【0049】

本発明は、多くの実施形態において、改良された深度マップ、視差マップ、モーション推定マップ、又は透明度マップが生成されることを可能にする。このことは、例えば、光強度画像の向上した後続の画像処理を可能にし、そのため、画像品質を向上させ、かつ向上したユーザ体験をもたらす。

【0050】

本発明の態様によれば、画像特性マップを処理する方法が提供され、方法は、光強度画像、信頼度マップ、及び画像特性マップを受信するステップであって、光強度画像は、光強度画像のピクセルに関する光強度値を備え、画像特性マップは、光強度画像のピクセルに関する画像特性値を備え、かつ信頼度マップは、画像特性値に関する信頼度値を備える、ステップと、光強度画像及び信頼度マップに応じて、フィルタリングされた画像特性マップを生成すべく画像特性マップをフィルタリングするステップとを含み、フィルタリングするステップは、フィルタリングされた画像特性マップにおける第１の位置に関して、近傍画像特性値の重み付けされた組合せが、第１の位置の周囲の近傍における画像特性値であることに応答して、組み合わされた近傍画像特性値を決定するステップであって、第２の位置における第１の近傍画像特性値に関する重みは、第１の近傍画像特性値に関する信頼度値、及び第１の位置に関する光強度値と第２の位置に関する光強度値との間の差に依存する、ステップと、第１の位置に関する第１のフィルタリングされた画像特性値を、画像特性マップにおける第１の位置における第１の画像特性値と、組み合わされた近傍画像特性値との組合せとして決定するステップとを含み、組み合わされた近傍画像特性値を決定するステップは、第１の近傍画像特性値に関する信頼度値と第１の画像特性値に関する信頼度値とに関する差測度に応答して、第１の近傍画像特性値に関する重みを決定するステップを含む。

【0051】

本発明のこれら、及びその他の態様、特徴、及び利点は、後段に説明される実施形態から明白となり、それらの実施形態を用いて説明される。

【0052】

本発明の実施形態が、単に例として、図面を参照して説明される。

【図面の簡単な説明】

【0053】

【図1】本発明の一部の実施形態による、深度マップなどの画像特性マップを処理するための装置の要素の例を示す図である。

【図2】図１の装置によって使用されるカーネルの例を示す図である。

【発明を実施するための形態】

【0054】

以下の説明は、深度マップの形態の画像特性マップの処理に適用可能な本発明の実施形態に焦点を合わせる。しかし、本発明は、この適用形態に限定されず、他の多くのタイプの画像特性マップに適用されることが認識されよう。

【0055】

図１は、特定の例において深度マップである、画像特性マップを処理するための装置の例を示す。

【0056】

装置は、光強度画像と、関連付けられた信頼度マップと、特に深度マップである画像特性マップとを備える画像データを受信するように構成された受信機１０１を備える。

【0057】

光強度画像は、ディスプレイによってレンダリング／表示されるべき画像の個々のピクセルに関する光強度値を反映する値を備える。

【0058】

光強度値は、光強度を示す任意の値であること、及び特に、例えば、１つの色チャネルに関する光強度であることが認識されよう。例えば、光強度値は、ＲＧＢ表現のＲ値、Ｇ値、若しくはＢ値であり、又は、例えば、Ｙｕｖ表現のＹ値であり、又は、実際、そのようなＹｕｖ表現のｕ値若しくはｖ値である。ｕ値及びｖ値は、クロマ値であること、及びこれらは、レンダリングするとき、個々の色チャネルの光強度と関係する情報も提供することに留意されたい。このため、光強度値は、色表現の輝度、クロミナンス、又は、実際、クロマ値である。典型的には、光強度画像は、対応するピクセルに関するクロミナンス特性を示す光強度ピクセル値を備える。ピクセルに関するクロミナンス特性は、ピクセルの輝度特性、クロマ特性、又はクロマ特性と輝度特性の両方を示す。

【0059】

画像特性マップは、光強度画像のピクセル／位置に関する画像特性値を備える。特定の例において、画像特性マップは、光強度画像におけるピクセルの深度についての情報を備える深度マップである。深度マップは、ｚ座標などの、光強度画像の光強度値に関する深度を直接に示す深度値を特に備える。

【0060】

視差情報は、一種の深度情報であること、及び深度マップは、均等なこととして、視差マップであることが認識されよう。一部の実施形態において、深度マップは、光強度画像の光強度値に関する視差値を備える。以下の説明において深度について述べることは、直接深度／ｚ値を使用する実施形態と視差値を使用する実施形態に等しく当てはまることが認識されよう。

【0061】

以下の説明は、画像特性が深度特性である実施形態に焦点を合わせるものの、このアプローチは、他の画像特性に適用されることが可能であり、このため、他の実施形態において、画像特性マップは、異なる画像特性を示すマップである。特に、画像特性マップは、光強度画像のピクセルの透明度を示すデータ値を備える透明度マップである。そのような透明度マップは、典型的には、当技術分野においてαマップとしても知られる。

【0062】

信頼度マップは、画像特性値に関する、すなわち、画像特性マップの深度値又は透明度値に関する信頼度値を備える。パラメータの信頼性又は精度を反映する信頼度値の概念は、画像処理の技術分野においてよく知られていることが認識されよう。画像特性値に関する信頼度値は、画像特性値が正しい値を有する（推定される）尤度を示す。信頼度値は、パラメータ値を推定しよう、又は決定しようと努める多くの推定プロセスの結果として生成される。例えば、深度推定は、典型的には、推定される深度を表す深度推定を生成するだけでなく、推定されている画像オブジェクトの実際の深度を反映する深度推定の信頼度を示す信頼度値も生成する。

【0063】

多くの実施形態において、画像特性マップは、光強度画像の各光強度値に関する個別の画像特性値を備える。しかし、多くの実施形態において、画像特性値は、例えば、複数の光強度値に共通である。例えば、多くの実施形態において、画像特性マップは、光強度画像と比べて、より低い分解能のものであり、かつ、実際、以下に説明されるプロセスは、画像特性マップをアップサンプリングするのに使用される。

【0064】

同様に、信頼度マップは、光強度画像とは異なる分解能を有し、実際、一部の実施形態において、画像特性マップとも異なる分解能を有する。一部の実施形態において、信頼度マップの値は、画像特性マップの複数の画像特性値に共通であり、このため、より低い分解能を有する。しかし、ほとんどの実施形態において、信頼度マップは、画像特性値と同一の分解能を有し、各画像特性値に関する信頼度値を備える。

【0065】

一部の実施形態において、受信機１０１は、（少なくとも）光強度画像、並びに関連付けられた画像特性マップ及び信頼度マップの単一の独立したセットを受信する。光強度画像と、画像特性マップ及び信頼度マップ（並びに、場合により、例えば、他の視点に関する、他の関連付けられた画像特性マップ若しくは光強度画像）を含む関連付けられたデータとのセットは、合成画像と呼ばれる。合成画像は、このため、特定の瞬間と関係する全ての画像データのセットと見なされる。

【0066】

一部の実施形態において、合成画像は、時系列の合成画像の一部分である。このため、光強度画像は、時系列の光強度画像の一部であり、かつ各光強度画像は、関連する１つ又は複数の画像特性マップ及び信頼度マップを有する。したがって、現在の光強度画像に関する画像特性マップ及び信頼度マップは、時系列の画像特性マップ及び信頼度マップの一部でもある。

【0067】

特に、合成画像は、典型的には、各画像が、関連付けられた画像特性マップと、信頼度マップとを有している画像のビデオ・シーケンスの一部である。

【0068】

受信機１０１は、光強度画像及び信頼度マップの両方に依存して画像特性マップをフィルタリングするように構成されたフィルタ・ユニット１０３に結合される。後段で詳細に説明されるとおり、フィルタ・ユニット１０３は、画像特性マップに関する光強度値と信頼度値との両方を考慮に入れる画像特性マップのフィルタリングを実行する。したがって、フィルタリングは、画像特性値自体に加えて、異なる２つのモダリティを同時に考慮に入れる。

【0069】

フィルタ・ユニット１０３は、図１の特定の例において、フィルタリングされた光強度画像から適切な出力信号を生成し、かつその信号を適切なソースに送信するように構成された送信機１０５に結合される。例えば、送信機１０５は、配信のための適切な信号を生成すべく光強度画像に適切な画像符号化プロセス又はビデオ符号化プロセスを適用するように構成される。例えば、送信機は、フィルタリングされた光強度画像にＭＰＥＧ符号化を適用して、もたらされるビットストリームが配信されることを可能にする。画像特性値、及び、場合により、信頼度マップが、多くの実施形態において出力ビットストリームに含められる。他の例において、送信機１０５は、フィルタリングされた画像特性マップに基づいて光強度画像をレンダリングし、かつ提示するようにディスプレイを駆動すべく、ディスプレイに直接に供給されることが可能である適切なディスプレイ駆動信号を生成するように構成される。

【0070】

光強度特性又は信頼度特性などの、別の特性に基づく画像特性マップの改良は、画像特性マップの品質を向上させる。しかし、従来のアプローチは、通常、１つだけのパラメータを考慮するように設計され、異なるモダリティ及び特性を組み合わせることは、複雑で困難な問題である。これを行うことは、リソース要求及びリソース複雑度の大幅な増加を要求するだけでなく、予測できず、かつ望ましくない効果（例えば、異なるモダリティに関する異なるプロセスは、場合により、予測できない様態で、典型的には、互いに干渉する可能性もある）も有する。

【0071】

図１のシステムにおいて、フィルタ・ユニット１０３は、光強度値及び信頼度値の両方に基づく画像特性マップの組み合わされ、統合された、同時の処理を実行するように構成される。特に、本発明者らは、異なる特性に基づいて画像特性マップを処理することが可能であるだけでなく、望ましいことにも気づいただけでなく、必要である、若しくは適切であると考えられるとおりに順次のプロセスを実行するのではなく、異なる特性及びモダリティによってもたらされる情報を同時に組み合わせることができる、統合され、かつ組み合わされたフィルタリングを実行することが可能であることにも気づいた。

【0072】

この操作が、フィルタリングされる深度マップを特に考慮して以下に説明される。

【0073】

フィルタ・ユニット１０３は、画像特性マップのフィルタリングされた出力値を決定するように構成された結合器１０７を特に備える。特定の例において、入力される画像特性マップともたらされる出力されるフィルタリングされた画像特性マップの分解能は、同一の分解能である。したがって、フィルタリングされた画像特性値の位置は、入力される画像特性マップの画像特性値と直接の対応関係を有する、又は、言い換えると、入力される画像特性マップと出力されるフィルタリングされた画像特性マップは、直接に対応するピクセルを有する。現在の値が決定される出力されるフィルタリングされた画像特性マップにおける位置は、以降、第１の位置として、インデックスｉを使用して参照される。そのような参照及びインデックスは、入力される画像特性マップにおける対応する位置にも、又は、実際、信頼度マップ若しくは光強度画像における対応する位置にも同一の様態で関係することが認識されよう。同様に、第１の位置ｉの近傍における位置は、第２の位置ｊとして参照される。出力されるフィルタリングされた画像特性マップにおける位置は、入力される画像特性マップ、信頼度マップ、及び光強度画像において対応する位置を有することが認識されよう。実際、合成／組み合わされた画像の異なる画像及びマップは、全てのマップ／画像において（これらが異なる分解能である場合でさえ）対応する位置を有することが、当技術分野において標準的な慣行であることに留意されたい。

【0074】

第１の位置における入力される第１の画像特性値と出力される第１のフィルタリングされた画像特性値とは、インデックスｉによって参照される。このため、深度マップである画像特性マップに関して、インデックスｉは、入力される第１の深度値Ｄ_ｉ、及び出力される第１のフィルタリングされた深度値Ｄ_{ｉ，ｏｕｔ}を表す。

【0075】

また、位置は、一般に、ピクセルと互いに関係し、このため、位置という用語とピクセルという用語とは、適宜、互換的に使用されることも認識されよう。特に、インデックスｉを有するピクセル又は値は、第１の位置における対応する値を表し、インデックスｊを有するピクセル又は値は、第２の位置における対応する値を表す。

【0076】

この第１のフィルタリングされた深度値Ｄ_{ｉ，ｏｕｔ}の場合（したがって、第１の位置の場合）、結合器１０７は、入力値Ｄ_ｉ、及び位置／ピクセルｉの周囲、すなわち、Ｄ_{ｉ，ｏｕｔ}の出力値及び第１の深度値Ｄ_ｉの位置の周囲の近傍における深度／画像特性値に基づいて決定される深度／画像特性値に依存する出力値Ｄ_{ｉ，ｏｕｔ}、を生成する。位置ｉの周囲の領域において決定されるこの値は、組み合わされた近傍画像特性／深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}として参照される。

【0077】

したがって、フィルタ・ユニット１０３は、値／ピクセル／位置／インデックスｉに関するフィルタリングされた第１の画像特性値を、入力される第１の深度値Ｄ_ｉと組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}の組合せとして決定するように構成される。したがって、結合器１０７は、フィルタリングされた出力値を、
Ｄ_{ｉ，ｏｕｔ}＝ｆ（Ｄ_ｉ，ｉｎ，Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}）
として決定し、ここで、ｆ（）は、重み付けされた組合せである。

【0078】

一部の実施形態において、例えば、
Ｄ_{ｉ，ｏｕｔ}＝αＤ_ｉ＋（１－α）Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}
のような単純な所定の組合せが使用され、ここで、αは、０から１までの間の所定の定数である。

【0079】

組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}は、フィルタ・ユニット１０３の一部であり、かつ結合器１０７に結合される近傍プロセッサ１０９によって決定される。

【0080】

近傍プロセッサ１０９は、出力される深度マップにおける各深度値ｉに関して、組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}を、所与の近傍における深度値の重み付けされた組合せとして決定するように構成される。そのような重み付けされた組合せは、フィルタリングに対応するものと見なされ、フィルタリングは、特に、空間的近傍だけが考慮される場合、空間フィルタリングであり、時間的近傍だけが考慮される場合、時間フィルタリングであり、空間的近傍と時間的近傍の両方が考慮される場合、空間フィルタリングと時間フィルタリングの両方である。また、カーネルという用語が、フィルタリングの基礎を形成するそのような近傍に関して、しばしば、当技術分野において使用され、したがって、近傍という用語とカーネルという用語はともに、このコンテキストにおいて適宜、近傍を指すのに使用されることも認識されよう。

【0081】

このため、カーネル又は近傍が定義されるシステムにおいて、近傍プロセッサ１０９が、フィルタリングされた深度値が決定される深度値の位置の周囲のカーネル／近傍に属する深度値を組み合わせることによって、組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}を生成することができる。したがって、組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}は、カーネル／近傍における深度値の重み付けされた平均と見なされ得る。

【0082】

したがって、組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}は、
Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}＝Ｃ_ｊ∈Ｋｉ（ｗ_ｊ，Ｄｊ）
として決定されることが可能であり、ここで、Ｋ_ｉは、深度マップにおけるピクセル／位置ｉ（すなわち、第１の位置）に対応する信頼度マップ及び光強度画像における位置に関するカーネル／近傍を表し、かつｊは、近傍ピクセル位置（すなわち、第２の位置）に対して使用されるインデックスである。Ｃｊ∈Ｋ_ｉは、ｗ_ｊによって与えられる所与の近傍深度値Ｄ_ｊに関する重みを有するピクセル／位置ｉに関するカーネル／近傍Ｋ内にある（典型的には、全ての）インデックスｊにわたる重み付けされた組合せを表す。

【0083】

特に、多くの実施形態において、組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}は、以下のとおり近傍深度値Ｄ_ｊの重み付けされた合計によって与えられる。

【数2】

【0084】

このため、組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}は、第１の深度値Ｄ_ｉの位置の周囲の近傍における近傍深度値Ｄ_ｊの重み付けされた平均によって決定される。

【0085】

このアプローチにおいて、この組合せに関する重みは、光強度画像と信頼度マップの両方に基づいて決定される。特に、第１の近傍深度値Ｄ_ｊの場合、組合せにおける重みｗ_ｊは、位置ｊに関する信頼度値Ｃ_ｊと、位置ｊに関する光強度値Ｉ_ｊと位置ｉに関する光強度値Ｉ_ｉの間の差の両方に依存し、すなわち、重みｗ_ｊは、第１の近傍深度値Ｄ_ｊに関する信頼度値、及び第１の近傍深度値Ｄ_ｊに関する光強度値Ｉ_ｊと第１深度値Ｄ_ｉに関する光強度値Ｉ_ｉの間の差に依存する。特に、組合せにおける重みｗ_ｊは、組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}が決定されるピクセル／位置ｉに関する信頼度値を基準とした位置ｊに関する信頼度値Ｃ_ｊに依存し、すなわち、重みｗ_ｊは、信頼度値Ｃ_ｉを基準とした信頼度値Ｃ_ｊの値に基づいて決定される。重みｗ_ｊは、近傍画像特性値Ｃ_ｊに関する信頼度値と「アンカ」位置若しくは「アンカ」値に関する信頼度値の間の差測度に基づいて決定される。この重みは、特に、
ｗ_ｊ＝ｆ（ｄ_Ｃ（Ｃ_ｊ；Ｃ_ｉ）；ｄ_Ｉ（Ｉ_ｊ；Ｉ_ｉ））
として決定されることが可能であり、ここで、ｆは、特定の実施形態に依存する適切な関数であり、ｄ_Ｃ（Ｃ_ｊ；Ｃ_ｉ）は、それぞれ位置ｉ及び位置ｊにおける信頼度値の適切な差測度を表し、かつｄ_Ｉ（Ｉ_ｊ；Ｉ_ｉ）は、それぞれ位置ｉ及び位置ｊにおける光強度値に関する適切な差測度を表す。強度値に関する適切な差測度は、例えば、光強度に基づくに基づく適切なノルム||Ｉ_i；Ｉ_ｊ||であり、特に光強度差ベクトルＩ_ｉ－Ｉ_ｊに基づくノルム、すなわち、||Ｉ_i－Ｉ_ｊ||である。同様に、強度値に関する適切な差測度もまた、例えば、適切なノルムである。多くの実施形態において、単純な引き算によって得られる直接の差の値、例えば、ｄ_Ｃ（Ｃ_ｊ；Ｃ_ｉ）＝Ｃ_ｊ－Ｃ_ｉが使用される。

【0086】

所与の近傍深度値Ｄ_ｊに関する重みは、典型的には、参照信頼度値Ｃ_ｉを基準とした増加する信頼度値Ｃ_ｊに対して増加し、すなわち、現在、フィルタリングされているピクセルに関する元の深度の信頼性を基準とした近傍深度値Ｄ_ｊの信頼性がより高いと考えられるほど、組合せにおいて近傍深度値Ｄ_ｊにより大きい重みが付けられる。特に、近傍深度値Ｄ_ｊに関する重みは、典型的には、近傍深度値Ｄ_ｊに関する信頼度値Ｃ_ｊの単調増加関数であり、かつ、典型的には、位置ｉの深度値に関する信頼度値Ｃ_ｉの単調減少関数である。多くの実施形態において、重みは、それぞれ位置ｉ及び位置ｊにおける信頼強度値に関する差測度の単調増加関数である。

【0087】

所与の近傍深度値Ｄ_ｊに関する重みは、典型的には、増加する差の値に対して減少し、すなわち、位置ｊに関する光強度値Ｉ_ｊと位置ｉに関する光強度値Ｉ_ｉとの間の差が大きいほど、組合せにおいて近傍深度値Ｄ_ｊにより小さい重みが付けられる。特に、近傍深度値Ｄ_ｊに関する重みｗ_ｊは、典型的には、位置ｊに関する光強度値Ｉ_ｊと位置ｉに関する光強度値Ｉ_ｉとの間の差を示す差測度／値の単調減少関数である。特に、関数ｆは、ノルム||Ｉ_i；Ｉ_ｊ||、特に、||Ｉ_i－Ｉ_ｊ||の単調減少関数である。

【0088】

このため、このアプローチは、信頼度値が、現在の位置に関する元の深度値に関する信頼度値を基準として高く、かつ現在のピクセルの信号強度に対する光強度の差が小さい近傍深度値Ｄ_ｊからより大きい寄与を有する組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}を決定する。このため、アプローチは、個々の値によって行われる寄与の効率的で、同時の合同の調整及び変化を可能にし、この変化は、異なる特性及びモダリティに依存する。

【0089】

フィルタ・ユニット１０３は、フィルタリングされた深度マップを生成すべく、深度マップの全ての位置／ピクセルに対してこのフィルタリング操作を実行するように進むよう構成される。

【0090】

このアプローチは、多くの実施形態において改良された深度マップをもたらす。特に、このアプローチは、複数の特性及びモダリティに基づくクロスフィルタリングをもたらす。更に、このアプローチは、実施において、優れた結果をもたらすことが判明しており、計算効率のよいプロセスを可能にするだけでなく、異なるモダリティに基づくフィルタリング操作の間の干渉及び相互依存を緩和し、小さくすることもする。このアプローチは、カスケードされた順次の処理及びバイラテラル・フィルタリングを実行するより単純明快で、より直観的なアプローチと比べて、実質的に向上したパフォーマンスをもたらすことが判明している。

【0091】

多くの実際的なシナリオに関して、より正確、かつより信頼できる画像特性マップ、特にそのような深度マップが、生成されて、例えば、光強度画像の後続の画像処理のための向上したサポートをもたらすことが判明している。例えば、向上した画像品質及び向上したユーザ体験につながる向上した画像視点切換えが、多くの実際的なシナリオにおいて見られる。

【0092】

前述したとおり、結合器１０７は、第１の深度値Ｄ_ｉと組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}を組み合わせることによって出力されるフィルタリングされた深度値Ｄ_{ｉ，ｏｕｔ}を生成するように構成される。一部の実施形態において、この組合せは、例えば、出力されるフィルタリングされた深度値Ｄ_{ｉ，ｏｕｔ}を、第１の深度値Ｄ_ｉと組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}の平均として決定するなどの、所定の重みを有する重み付けされた組合せである。

【0093】

しかし、多くの実施形態において、組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}を基準とした第１の深度値Ｄ_ｉに関する重みは、第１の信頼度値Ｃ_ｉとして参照される第１の深度値Ｄ_ｉに関する信頼度値に応じて決定される。組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}を基準とした第１の深度値Ｄ_ｉに関する重みは、典型的には、第１の信頼度値Ｃ_ｉの単調増加関数である。このため、既存の深度値に対する信頼度が高いほど、近傍における深度値に基づく潜在的な変更は小さくなる。

【0094】

第１の深度値Ｄ_ｉと組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}との間の相対的重み付けは、第１の深度値Ｄ_ｉの重み、組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}の重み、又は、実際、第１の深度値Ｄ_ｉと組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}との両方の重みを変更することによって変更されることが認識されよう。

【0095】

多くの実施形態において、出力されるフィルタリングされた深度値Ｄ_{ｉ，ｏｕｔ}は、特に、
Ｄ_{ｉ，ｏｕｔ}＝Ｃ_ｉＤ_ｉ＋（１－Ｃ_ｉ）Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}
として決定される。このため、そのような例において、例えば、第１の深度値Ｄ_ｉを生成するのに使用される視差推定が信頼度（Ｃ_ｉ＝１）であると考えられる事例において、近傍ピクセルは、出力されるフィルタリングされた深度値Ｄ_{ｉ，ｏｕｔ}に寄与しない。現在の値にまったく信頼度がない（Ｃ_ｉ＝０）他方の極端において、出力されるフィルタリングされた深度値Ｄ_{ｉ，ｏｕｔ}は、近傍ピクセルだけに基づく。

【0096】

一部の実施形態において、近傍プロセッサ１０９は、組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}に関する近傍信頼度値を決定するように更に構成される。この近傍信頼度値は、近傍深度値Ｄ_ｊに関する信頼度値（すなわち、近傍ピクセルの信頼度値Ｃ_ｊ）に基づいて決定される。例えば、近傍信頼度値の平均が、決定される、又は、例えば、重みｗ_ｊが考慮に入れられる重み付けされた平均が、決定される。

【0097】

そのような事例において、組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}を基準とした第１の深度値Ｄ_ｉの重み付けは、近傍信頼度値を基準とした第１の深度値Ｄ_ｉに関する信頼度レベルに基づいて決定される。例えば、出力されるフィルタリングされた深度値Ｄ_{ｉ，ｏｕｔ}は、

【数3】

として決定され、ここで、Ｃ_{ｉ，ｎｅｉｇｈｂｏｒ}は、近傍信頼度値を表す。

【0098】

異なる実施形態において異なるアプローチ及び機能が、組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}を決定すべく組合せを実行するために使用されることが認識されよう。

【0099】

一部の実施形態において、近傍深度値Ｄ_ｊに関する重みｗ_ｊは、近傍深度値Ｄ_ｊに関する信頼度値には依存するが、光強度値には依存しない値ｇ_ｊに比例するように決定される。更に、重みｗ_ｊは、光強度値に関する差測度には依存するが、信頼度値には依存しない値ｆ_ｊに比例するように決定される。このため、一部の実施形態において、信頼度マップと光強度画像に基づいて別々の測度が決定され、これらの測度が、重みｗ_ｊを決定するときに乗算によって組み合わされる。

【0100】

一部の実施形態において、所与の第１の深度値Ｄ_ｉに関する組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}は、

【数4】

として決定され、ここで、ｆ_ｊは、第１の深度値Ｄ_ｉに関する光強度値Ｉ_ｉと近傍深度値Ｄ_ｊに関する光強度値Ｉ_ｊとに関する差測度を表し、ｇ_ｊは、第１の深度値Ｄ_ｉに関する信頼度値Ｃ_ｉと近傍深度値Ｄ_ｊに関する信頼度値Ｃ_ｊとに関する差測度を表し、かつα_ｊは、設計パラメータを表す。合計は、近傍のピクセル／値にわたり、すなわち、ｊ∈Ｋ_ｉであり、ここで、Ｋ_ｉは、位置ｉに関する近傍／カーネルである。

【0101】

このため、一部の実施形態において、組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}は、
Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}＝Σｗ_ｊ．Ｄ_ｊ
として決定され、ここで、

【数5】

である。一部の実施形態において、α_ｊは、単に１に設定され、すなわち、

【数6】

であり、ここで、ｇ_ｊは、Ｃ_ｊとＣ_ｉとの間の差に依存し、かつｆ_ｊは、典型的には、色差ベクトル、Ｉ_ｉ－Ｉ_ｊに関するノルムに依存する。

【0102】

測度ｆ_ｊ及びｇ_ｊを求めるための異なるアプローチが、異なる実施形態において使用されることが認識されよう。

【0103】

例えば、値ｆ_ｊを決定するための特に有利なアプローチが、多くの実施形態において、

【数7】

によって与えられ、ここで、｜｜Ｉ_ｉ－Ｉ_ｊ｜｜は、色差ベクトル、Ｉ_ｉ－Ｉ_ｊに関する適切なノルムであり、γは、信頼度値を基準とした光強度差の相対的重要度を制御するのに使用される設計パラメータである。

【0104】

値ｇ_ｊを決定するための特に有利なアプローチが、多くの実施形態において、

【数8】

であり、ここで、βは、光強度差を基準とした信頼度値の相対的重要度を制御するのに使用される設計パラメータである。

【0105】

したがって、重みｗ_ｊは、信頼度値Ｃ_ｊに依存するだけでなく、第１の深度値Ｄ_ｉに関する信頼度値Ｃ_ｉにも依存する。特に、重みｗ_ｊは、多くの実施形態において、信頼度値Ｃ_ｊと信頼度値Ｃ_ｉの間の差測度に有利に依存する。このことは、例えば、値ｇ_ｊを信頼度値Ｃ_ｊ及び信頼度値Ｃ_ｉの両方に、特に、これらの間の差、例えば、
ｇ_ｊ＝ｆ（Ｃ_ｊ－Ｃ_ｉ）
に依存させることによって実現される。

【0106】

関数ｆ（Ｃ_ｊ－Ｃ_ｉ）は、特に、信頼度値Ｃ_ｊが信頼度値Ｃ_ｉを超えて大きくなるのに比例して近傍深度値Ｄ_ｊに大きい重みを与える非線形関数である。このため、このアプローチは、第１の深度値Ｄ_ｉと比べてより高い信頼度を有する近傍深度値Ｄ_ｊにより焦点が合わせられるようにする。このため、多くの実施形態において、重みｗ_ｊは、信頼度値Ｃ_ｊと信頼度値Ｃ_ｉとに関して非対称である非対称的な重みとして決定される。重みｗ_ｊは、特に、これらの間の絶対差に過ぎないのではなく、符号も重要であり、生成される重みｗ_ｊに影響を与える。

【0107】

多くの実施形態において、重みｗ_ｊは、信頼度値Ｃ_ｊと信頼度値Ｃ_ｉとの間の差を示す差測度に依存し、差測度は、最小値に限定され、信頼度値Ｃ_ｊが信頼度値Ｃ_ｉを閾値より超えた場合に限って超えられる。最小値及び閾値は、特に０であり、かつ差測度は、例えば、
ｍａｘ（Ｃ_ｊ－Ｃ_ｉ，０）
として決定される。

【0108】

そのような実施形態において、重みｗ_ｊは、
ｇ_ｊ＝ｆ（ｍａｘ（Ｃ_ｊ－Ｃ_ｉ，０））
によって与えられる近傍深度値Ｄ_ｊに関する信頼度値Ｃ_ｊからの寄与に基づき、ここで、ｆ（）は、例えば、

【数9】

などの適切な関数である。

【0109】

一部の実施形態において、重みｗ_ｊは、第１のフィルタリングされた深度値Ｄ_{ｉ，ｏｕｔ}の位置ｉと近傍深度値Ｄ_ｊの位置の間の距離にも依存する。

【0110】

例えば、値α_ｊが、インデックスｉに対応する位置とインデックスｊに対応する位置の間の距離に依存させられる。特に、適切なノルムに基づく距離測度などの、任意の適切な距離測度が使用されることが認識されよう。特定の例として、α_ｊは、

【数10】

などの距離関数を反映し、ここで、ψは、設計パラメータであり、かつｘ、ｙは、インデックスｉ及びインデックスｊに対応するユークリッド位置を反映する。

【0111】

前述したとおり、光強度画像、信頼度マップ、及び画像特性マップは、時系列の光強度画像、信頼度マップ、及び画像特性マップの一部であり、すなわち、受信機１０１は、一連の組み合わされた画像を受信する。特に、受信機１０１は、一連の組み合わされた画像を備えるビデオ信号を受信し、かつ、特に、各光強度画像は、ビデオ・シーケンスのフレームである。

【0112】

そのような例において、近傍、すなわち、カーネルは、時間的拡張を有し、すなわち、近傍は、典型的には、現在のフレーム／瞬間に先立つフレーム／瞬間に関する深度マップからの深度値を含む（近傍が、後続のフレーム／瞬間に属する深度値を含むことも可能であるものの）。

【0113】

そのような実施形態において、近傍の空間的延長は、異なるフレーム／瞬間に関して異なる。典型的には、近傍の空間的延長は、画像特性マップがフィルタリングされているのと同一の瞬間に関してもたらされる光強度画像及び信頼度マップに関して、他の瞬間と比べて、より大きい。

【0114】

時間的拡張は、向上したパフォーマンスをもたらし、かつ、特に、向上した空間的一貫性、及びより小さい知覚される時間的ノイズをもたらす。

【0115】

一部の実施形態において、別の瞬間に関する画像特性マップは、既にフィルタリングされているものである。例えば、装置は、前のフレーム／瞬間に関する画像特性マップも含む近傍／カーネルに基づいて現在の画像特性マップをフィルタリングするように構成される。しかし、前のフレーム／瞬間に関する画像特性マップは、フィルタ・ユニット１０３によって既に処理されているので、したがって、フィルタリングされた画像特性マップである。このアプローチは、フィルタリングされた画像特性マップの画像特性値の方が、フィルタリングに起因してより信頼できるので、向上したパフォーマンスをもたらす。

【0116】

フィルタ・ユニット１０３は、そのような向上した信頼性を反映するように信頼度値を変更するように更に構成される。特に、フィルタ・ユニット１０３は、画像特性値に関する信頼度値を、この画像特性値がフィルタリングされた画像特性値である場合、増加するように構成される。この増加は、一部の実施形態において、特定のオフセットを加えること（例えば、信頼度値を０．５だけ増加させること（結果が、１．０の最大値に制限されて））などの、相対的増加であり、又は値を１．０に設定することなどの絶対的設定である。

【0117】

そのようなアプローチは、前のフィルタリングに起因してより信頼できると見なされる画像特性値のより高い重み付けをもたらし、したがって、現在の画像特性マップの向上したフィルタリングをもたらす。

【0118】

多くの実施形態に適切である近傍／カーネル２０１の例が、図２に示される。

【0119】

特定の例において、所与の第１の深度値Ｄ_ｉに関するカーネル２０１が、第１の深度値Ｄ_ｉの位置２０３に最も近い２０のピクセル位置のグループ２０５を備える。ピクセル位置のこのグループ２０５は、現在の深度マップ、及び前の深度マップに関してカーネル２０１に備えられる空間的ピクセル位置を反映し、すなわち、このグループ２０５は、カーネル２０１が時間的拡張も有するピクセルの空間的グループを反映する。

【0120】

カーネルの残りの部分は、現在の瞬間／フレームに関してカーネル２０１にだけ含まれる４９のピクセル位置を定義する。このため、これら４９のピクセル位置に関して、カーネル２０１は、時間的拡張を有さない。

【0121】

この例において、深度値は、サブサンプリングされる、すなわち、カーネル２０１は、カーネルの領域内に全ての深度値を含むのではなく、深度値のサブセットだけを定義することにも留意されたい。特定の例において、サブサンプリングは、３分の１で行われ、このため、３番目ごとの深度値だけが、フィルタリング／カーネル２０１に関して考慮される。

【0122】

したがって、カーネル２０１は、６９の空間的位置から成るものの、カーネル２０１は、深度マップにおける４０×１３ピクセルに対応する領域又は区域を範囲に含む。そのようなサブサンプリングは、より低い複雑度及び処理リソース要件を可能にしながら、より大きい区域がフィルタリングによって考慮されることを可能にし、言い換えると、サブサンプリングは、より大きいフィルタ・カーネルを保ちながら、計算を低減する。

【0123】

例において、近傍／カーネル２０１は、第１のフィルタリングされた深度値Ｄ_{ｉ，ｏｕｔ}の位置に関して更に非対称であり、このため、第１の深度値Ｄ_ｉに関して非対称である（すなわち、近傍／カーネル２０１は、現在のピクセルの位置２０３に関して、すなわち、位置ｉに関して非対称である）。

【0124】

この非対称は、例えば、深度マップが少なくとも２つの画像における視差推定に基づいて生成されるシナリオに特に適している。特に、深度マップ（深度が視差によって表現される視差マップを含む）は、異なる視点を有する２つの画像の間の視差推定によって生成されている深度値を備える。例えば、視差推定は、左目画像と右目画像との間で実行される。

【0125】

そのような例において、光強度画像は、左目視点に関して与えられ、かつフィルタリングされた深度マップは、左目光強度画像を基礎として使用して、この左目視点に関して生成される。しかし、そのような事例において、光強度画像、及び、実際、入力される深度マップは、左目視点が、右目視点に関してふさがれる前景オブジェクトの左側に見られることを可能にするので、前景オブジェクトの左側と比べて、前景オブジェクトの右側にふさがれた領域を有する可能性がより高い。

【0126】

その逆が、右目視点に関して当てはまり、すなわち、この事例において、ふさがれる区域は、前景オブジェクトの左側に、右側と比べてより大きく広がる傾向にある。

【0127】

このため、そのようなシナリオにおいて、視差推定は、左目画像においてふさがれていない背景に対応する画像区域を、右目画像において見出すことが、右目画像においてその区域がふさがれているので、できないことがある。その結果、視差推定は、前景画像の左側に高い不確かさの区域を生成する傾向にある。更に、これらの領域に関する正しい深度値は、その区域の左側が、前景オブジェクトよりも背景を反映する可能性がより高いので、その区域の右側と比べて、左側にある可能性が高い。

【0128】

このことが、空間的に非対称のカーネルを有することによって考慮に入れられる。

【0129】

特に、左目画像を参照として使用して、カーネルは、多くの実施形態において、図２の例に実際、反映されるとおり、右方向と比べて、左方向で有利により大きく広がる。明らかに、対称的な状況は、右目画像が視差推定のための基礎として使用される場合に生じ、したがって、そのような例におけるカーネルは、左側と比べて、右側により大きく広がる。

【0130】

このため、深度マップが、第１の視点を表す第１の画像と第２の視点を表す第２の画像における視差推定から決定された深度値を備え、かつ第１の視点を視差推定に関する基礎とするシナリオにおいて、近傍／カーネルは、第１の視点から第２の視点に向かう方向と比べて、第２の視点から第１の視点に向かう方向において、より大きく広がるように設計される。

【0131】

（赤外線）構造化光源と（赤外線）画像センサが、深度キャプチャのためのベースラインを形成すべくセンサ筐体において異なる空間的位置を有する構造化光ベースの深度センサにおいて、類似した状況が生じる。このシナリオにおいて、センサによる画像となるシーンのいくつかの部分が、光源によって照明されない（センサと光源の間のベースラインに起因して）。この場合も、構造化光源とセンサの間の３Ｄ方向ベクトルの知識が、フィルタ・カーネルを非対称に成形するのに使用されることが可能である。

【0132】

前段の説明は、全ての画像及びマップが同一の分解能を有すると見なされるシナリオに焦点を合わせている。しかし、説明される原理は、分解能が異なるシナリオにも同様に適用可能であり、特に、例えば、より高い分解能の光強度画像に基づく画像特性マップのアップサンプリングに適していることが認識されよう。

【0133】

例において、深度／視差マップは、深度値の信頼度を示す関連付けられた信頼度マップによって実現される。例えば、深度マップは、視差推定を表し、信頼度マップは、もたらされる推定がどれだけ信頼できるかを数量化する。別の例が、典型的には測定精度を数量化する信頼度マップをも出力する赤外線ベースの深度センサである。

【0134】

典型的には、光強度画像は、そのような画像は、通常、直接にキャプチャされ、若しくは生成され、かつどこでも完全に信頼性のあるものと想定されるので、関連付けられた信頼度マップも、信頼度指標も有さない。しかし、一部の実施形態において、フィルタリングは、深度マップのための光強度値及び信頼度値に加えて、第３の特性に応答する。そのような例において、第３の特性は、関連付けられた信頼度値も有する。例えば、第３の特性は、モーション推定特性であり、例えば、各ピクセルに関して、モーション・ベクトル、及び関連付けられたモーション信頼度が与えられる。近傍深度値Ｄ_ｊに関する重みの決定は、これらの値に基づいて更に行われる。

【0135】

特に、一部の実施形態において、したがって、受信機は、第２の画像特性マップ、及び第２の信頼度マップも受信し、ここで、第２の信頼度マップは、第２の画像特性マップの第２の画像特性値に関する第２の信頼度値を備える。例えば、合成画像は、モーション・ベクトル・マップと、モーション信頼度マップも備える。

【0136】

そのような実施形態において、近傍深度値Ｄ_ｊの重みｗ_ｊの決定は、第２の画像特性値、特にモーション・ベクトルと、第２の信頼度値、特に位置ｊに関して（及び一部の実施形態において、位置ｉに関しても）モーション信頼度値の両方にも応じる。

【0137】

例えば、赤外線ベースの深度センサ（構造化光又は飛行時間）が深度マップをキャプチャするのに使用されるシナリオが考慮される。センサが、色画像センサも包含する場合、この色画像センサは、典型的には、はるかに高い空間分解能を有する。更に、ここで、センサを移動させること（スキャン）によって一連の、例えば、静的シーンをキャプチャするようにセンサ（深度微及び画像）を経時的に使用する場合、画像センサは、フレームｋとフレームｋ＋１の間のピクセル精密モーション・フィールドν_{ｋ，ｋ＋１}を推定するのに使用されることが可能である。このモーション・フィールドにおける遷移は、典型的には、深度不連続性（センサが並進させられた）とともに変化するので、モーション・フィールドは、例えば、赤外線センサの深度マップをアップスケールする／フィルタリングするのに使用されることが可能である。しかし、モーション・フィールドは、画像Ｉ_ｋとＩ_ｋ＋１の間の対応関係推定プロセスの結果であり、したがって、空間的に変化する信頼度値を有する。

【0138】

このモーション・フィールドは、モーション・ベクトル・マップによって表され、モーション信頼度値は、モーション信頼度マップによって表される。すると、所与の近傍深度値Ｄ_ｊに関する重みは、位置ｊにおけるこれらのマップの値に依存し、場合により、位置ｉにおけるこれらのマップの値にも依存する。

【0139】

特に、組み合わされた近傍深度値Ｄ_{ｉ，ｎｅｉｇｈｂｏｒｓ}は、

【数11】

として決定されることが可能であり、ここで、ｈ_ｊは、位置ｊにおけるモーション値と位置ｊにおける信頼度レベルの両方に依存する値を表す。典型的には、ｈ_ｊは、位置ｊにおけるモーション値と位置ｉにおけるモーション値の間の差に依存する。例えば、ｈ_ｊは、

【数12】

として与えられ、ここで、ρは、全体的なフィルタリングにおいてモーション・データの重みを変化されるように設定されることが可能な設計パラメータであり、｜｜ｖ_ｉ－ｖ_ｊ｜｜は、位置ｉにおけるモーション値と位置ｊにおけるモーション値の間の差を反映し、かつＣ_ｖｉ及びＣ_ｖｊは、それぞれ、位置ｉにおけるモーション信頼度値、及び位置ｊにおけるモーション信頼度値を表す。

【0140】

この項に重み付けするのに（Ｃ_ｖｉ，Ｃ_ｖｊ）を使用することは、モーションが中心位置ｉと近傍位置ｊの両方において信頼できる場合、差｜｜ｖ_ｉ－ｖ_ｊ｜｜が信頼できる可能性が高いので、１つの論理的なソリューションである。ｉ又はｊが低い信頼度を有する場合、差｜｜ｖ_ｉ－ｖ_ｊ｜｜は、それほど信頼できない可能性が高い。しかし、他のアプローチが他の実施形態において使用されることが可能であることが認識されよう。

【0141】

例えば、そのようなシナリオにおいて、説明されるフィルタリングは、出力される画像特性マップにおける各位置に関して、すなわち、高分解能深度マップにおける各位置に関して実行される。近傍は、この高分解能で決定され、この高分解能近傍における各ピクセルに関して、組み合わされた近傍画像特性値に対する寄与が、決定される。そのような事例において、同一の低分解能ピクセル内の全ての高分解能位置に関して、同一の入力画像特性値及び信頼度値が使用される。しかし、光強度値は、光強度値がより高い分解能で与えられるので、異なり、このため、高分解能光強度画像に基づいて、受信される低分解能画像特性マップの効果的なアップサンプリングが実現されることが可能である。

【0142】

前述の説明は、明瞭にするため、様々な機能回路、ユニット、及びプロセッサを参照して本発明の実施形態を説明してきたことが認識されよう。しかし、本発明を逸脱することなく、様々な機能回路、ユニット、又はプロセッサの間で機能の任意の適切な配分が使用されてよいことが明白であろう。例えば、別々のプロセッサ又はコントローラによって実行されるように例示される機能は、同一のプロセッサ又はコントローラによって実行されてよい。したがって、特定の機能ユニット又は回路に対する参照は、厳密な論理的又は物理的な構造又は編成を示すものではなく、説明される機能を提供するための適切な手段に対する参照とのみ見なされるべきである。

【0143】

本発明は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組合せを含む任意の適切な形態で実施されることが可能である。本発明は、オプションとして、少なくとも部分的に、１つ若しくは複数のプロセッサ及び／又はデジタル・シグナル・プロセッサ上で実行されるコンピュータ・ソフトウェアとして実施されてよい。本発明の実施形態の要素及び構成要素は、任意の適切な様態で物理的、機能的、及び論理的に実装される。実際、機能は、単一のユニットとして実装されても、複数のユニットとして実装されても、又は他の機能ユニットの一部として実装されてもよい。このため、本発明は、単一のユニットとして実装されても、又は異なるユニット、回路、及びプロセッサの間で物理的、及び機能的に分散されてもよい。

【0144】

本発明は、一部の実施形態に関連して説明されてきたものの、本発明は、本明細書に記載される特定の形態に限定されることは意図されない。むしろ、本発明の範囲は、添付の特許請求の範囲だけによって限定される。更に、特徴は、特定の実施形態に関連して説明されるように見えるものの、説明される実施形態の様々な特徴が本発明により組み合わされてよいことが、当業者には認識されよう。特許請求の範囲において、「備える」という用語は、他の要素又はステップの存在を排除しない。

【0145】

ピクセルは、一般的な従来技術においてサブピクセルと呼ばれるもの、すなわち、例えば、赤のピクセルのような単一色のピクセルと見なされることが可能である。しかし、前述の発明において、ピクセルという用語は、グループのサブピクセルを備えると見なされてもよく、このため、例えば、ピクセルは、ＲＧＢピクセル、ＲＧＢＹピクセル、その他であってよい。

【0146】

更に、個々にリストアップされるものの、複数の手段、要素、回路、又は方法のステップは、例えば、単一の回路、ユニット、又はプロセッサによって実施されてよい。更に、個々の特徴が異なるクレームに含まれるものの、これらの特徴は、場合により、有利に組み合わされてよく、異なるクレームに含まれることは、特徴の組合せが実現可能でないこと、及び／又は有利でないことを暗示するわけではない。また、クレームの１つのカテゴリに或る特徴が含まれることも、このカテゴリへの限定を暗示するわけではなく、むしろ、適宜、その特徴が他のクレームのカテゴリに同様に当てはまることを示す。更に、クレームにおける特徴の順序は、それらの特徴が働かされなければならない、いずれの特定の順序を暗示するわけでもなく、特に、方法クレームにおける個々のステップの順序は、それらのステップがこの順序で実行されなければならないことを暗示するわけではない。むしろ、ステップは、任意の適切な順序で実行されてよい。更に、単数形の参照は、複数形を排除しない。このため、「或る」、「第１の」、「第２の」などの参照は、複数形を除外するわけではない。クレームにおける参照符号は、明確にする例として与えられるに過ぎず、いずれの様態においてであれ、特許請求の範囲を限定するものと解釈されるべきではない。

【図1】

【図2】