特許 6559899 画像のための奥行きマップの処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6559899

(24)【登録日】2019年7月26日

(45)【発行日】2019年8月14日

(54)【発明の名称】画像のための奥行きマップの処理

(51)【国際特許分類】

   H04N 13/268 20180101AFI20190805BHJP

【ＦＩ】

   H04N13/268

【請求項の数】15

【全頁数】22

(21)【出願番号】特願2018-532361(P2018-532361)

(86)(22)【出願日】2016年12月8日

(65)【公表番号】特表2019-506041(P2019-506041A)

(43)【公表日】2019年2月28日

(86)【国際出願番号】EP2016080164

(87)【国際公開番号】WO2017108413

(87)【国際公開日】20170629

【審査請求日】2018年6月20日

(31)【優先権主張番号】15201620.0

(32)【優先日】2015年12月21日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】110001690

【氏名又は名称】特許業務法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ヴァーエカンプ クリスティアン

(72)【発明者】

【氏名】バンドワール パトリック ルク エルス

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 米国特許第０６７５１３３８（ＵＳ，Ｂ１）

【文献】 特開２００１−１１６５１３（ＪＰ，Ａ）

【文献】 特開平１０−２８９３１６（ＪＰ，Ａ）

【文献】 特開２０１３−２０１６８８（ＪＰ，Ａ）

【文献】 特開２０１２−１３８７８７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００

Ｇ０６Ｔ １／００−７／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

奥行きマップを処理するための装置であって、前記装置は、
画像のための奥行きマップを提供するための奥行きマップソースであって、前記奥行きマップは、前記奥行きマップのピクセルための奥行き値を含む、奥行きマップソースと、
前記奥行きマップの前記ピクセルのための信頼度値を含む信頼度マップを提供するための信頼度マップソースであって、前記ピクセルのための前記信頼度値は、前記ピクセルを信頼できるピクセル又は信頼できないピクセルとして指定し、前記信頼できるピクセルは、信頼性基準を満たす奥行き値を有し、前記信頼できないピクセルは、前記信頼性基準を満たさない奥行き値を有する、信頼度マップソースと、
前記奥行きマップの前記ピクセルの前記奥行き値を変更することを含む奥行き変更操作を実行する奥行き変更部とを備え、
前記奥行き変更部は、第１のピクセルが前記信頼できるピクセルとして指定されている場合、又は前記第１のピクセルの近傍ピクセル集合内に前記信頼できるピクセルが存在しない場合、前記第１のピクセルの変更後奥行き値を前記第１のピクセルの現在の奥行き値として設定し、そうでない場合、変更後の値を、前記現在の奥行き値、及び前記近傍ピクセル集合内の前記信頼できるピクセルとして指定されているピクセルの奥行き値の関数として決定される奥行き値のうちの最も高い奥行き値として設定する、
装置。

【請求項2】

前記奥行き変更部は、前記奥行き変更操作を反復し、各奥行き変更操作は、前の反復からの変更後奥行きマップに対して実行される、請求項１に記載の装置。

【請求項3】

前記奥行き変更部は、前記各奥行き変更操作ごとに、前記信頼度マップの前記信頼度値を変更し、前記各奥行き変更操作は、前記前の反復からの前記変更後奥行きマップに基づく、請求項２に記載の装置。

【請求項4】

前記奥行き変更部は、前記第１のピクセルが前記信頼できないピクセルとして指定されている場合、前記近傍ピクセル集合が少なくとも１つの前記信頼できるピクセルを含むことが検出されると、前記信頼できないピクセルとしての指定から前記信頼できるピクセルとしての指定に前記第１のピクセルを変更する、請求項３に記載の装置。

【請求項5】

前記奥行き変更部は、前記反復を所定回数実行する、請求項３に記載の装置。

【請求項6】

前記反復の前記所定回数は８回以下である、請求項５に記載の装置。

【請求項7】

前記奥行き変更部は、前記奥行きマップの前記奥行き値から決定された奥行き特性に応じて、反復回数を動的に適合させる、請求項２に記載の装置。

【請求項8】

前記関数は、前記信頼できるピクセルとして指定されている前記近傍ピクセル集合内のピクセルの奥行き値の平均化を含む、請求項１に記載の装置。

【請求項9】

前記関数は、前記信頼できるピクセルとして指定されている前記近傍ピクセル集合内のピクセルの奥行き値の最大値を選択することを含む、請求項１に記載の装置。

【請求項10】

前記近傍ピクセル集合は、前記第１のピクセルまでの距離が閾値未満であるピクセルのみを含み、前記閾値は５ピクセル以下である、請求項１に記載の装置。

【請求項11】

前記奥行き変更部は、前記奥行きマップの前記奥行き値から決定された奥行き特性に応じて、前記近傍ピクセル集合のサイズを決定する、請求項１に記載の装置。

【請求項12】

前記奥行きマップはビデオ信号のフレームのためのものであり、前記奥行きマップソースは、前記ビデオ信号の他のフレームからの時間的予測を使用して、前記奥行きマップの前記信頼できないピクセルのための初期奥行き値を決定する、請求項１に記載の装置。

【請求項13】

前記奥行きマップソースは、前記奥行きマップの前記信頼できないピクセルに空間フィルタを選択的に適用する、請求項１に記載の装置。

【請求項14】

奥行きマップを処理する方法であって、前記方法は、
画像のための奥行きマップを提供するステップであって、前記奥行きマップは、前記奥行きマップのピクセルのための奥行き値を含む、ステップと、
前記奥行きマップのピクセルのための信頼度値を含む信頼度マップを提供するステップであって、前記ピクセルのための前記信頼度値は、前記ピクセルを信頼できるピクセル又は信頼できないピクセルとして指定し、前記信頼できるピクセルは、信頼性基準を満たす奥行き値を有し、前記信頼できないピクセルは、前記信頼性基準を満たさない奥行き値を有する、ステップと、
前記奥行きマップの前記ピクセルの前記奥行き値を変更することを含む奥行き変更操作を実行するステップとを含み、
前記奥行き変更は、第１のピクセルが前記信頼できるピクセルとして指定されている場合、又は前記第１のピクセルの近傍ピクセル集合内に前記信頼できるピクセルが存在しない場合、前記第１のピクセルの変更後奥行き値を前記第１のピクセルの現在の奥行き値として設定し、そうでない場合、変更後の値を、前記現在の奥行き値、及び前記近傍ピクセル集合内の前記信頼できるピクセルとして指定されているピクセルの奥行き値の関数として決定される奥行き値のうちの最も高い奥行き値として設定することを含む、
方法。

【請求項15】

コンピュータプログラムがコンピュータ上で実行されるとき、請求項１４に記載の方法のすべてのステップを実行するコンピュータプログラムコード手段を含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像のための奥行きマップを処理するための方法及び装置に関し、特に、限定はされないが、推定視差値に基づく奥行きマップの決定に関する。

【背景技術】

【0002】

３次元（３Ｄ）ディスプレイは、視聴者の両眼に、映されるシーンの異なるビューを提供することによって、視聴体験に第３の次元を加える。これは、表示される２つのビューを分離するために眼鏡をユーザにかけさせることによって達成され得る。しかし、これはユーザにとって不便であると考えられるので、多くの場合において、ビューを分離して、個別にユーザの目に届くよう異なる方向に分離されたビューを送る手段（レンチキュラレンズ又はバリアなど）をディスプレイ側に備える裸眼立体ディスプレイを使用することが好ましい。ステレオディスプレイの場合、２つのビューが必要であるのに対して裸眼立体ディスプレイは、通常、より多くのビュー（例えば、９つのビューなど）を必要とする。

【0003】

しかしながら、提示される３次元画像の品質は受信される画像データの品質に依存し、具体的には、３次元的知覚は受信される奥行き情報の品質に依存する。

【0004】

３次元画像情報は、あるシーンについて、異なるビュー方向に対応する複数の画像によって提供されることが多い。具体的には、映画やテレビ番組などの動画コンテンツはますます、３Ｄ情報を含むよう生成されている。このような情報は、わずかにオフセットされたカメラ位置から２つの同時画像を取り込む専用３Ｄカメラを使用して取り込まれ得る。

【0005】

しかし、多くのアプリケーションにおいて、提供される画像が所望の方向に直接対応していないか、又はより多くの画像が必要とされることがある。例えば、裸眼立体ディスプレイの場合、３つ以上の画像が必要であり、実際には９〜２６のビュー画像が使用されることが多い。

【0006】

異なるビュー方向に対応する画像を生成するために、視点シフト処理が用いられてもよい。これは、典型的には、単一のビュー方向の画像を関連する深度情報と共に使用するビューシフトアルゴリズムによって実行される。しかしながら、重大なアーチファクトのない新たなビュー画像を生成するには、提供される深度情報は十分に正確でなければならない。特に、裸眼立体ディスプレイのためのマルチビュー画像をレンダリングする場合には、高密度で正確な奥行きマップが必要である。

【0007】

残念ながら、ソース側で生成される奥行き情報は準最適であることが多く、多くのアプリケーションにおいて望まれる正確さを有さない。

【0008】

シーンの取り込み時に奥行き情報を取り込む１つのやり方は、異なるビュー範囲を表す異なる空間的位置に配置された複数のカメラを使用することである。このような例では、異なるビュー方向の複数のビュー画像を比較することによって深度値を推定及び抽出することによって、奥行き情報が生成される。

【0009】

多くのアプリケーションにおいて、３次元シーンは、わずかに異なる位置に配置された２台のカメラを使用して立体画像として取り込まれる。その後、２つの画像内の対応する画像オブジェクト間の視差を推定することによって、具体的な深度値が生成され得る。しかし、このような深度抽出及び推定には問題があり、理想的でない深度値をもたらす傾向がある。これは、やはりアーチファクトや低い３次元画像品質をもたらす可能性がある。

【0010】

奥行き情報を取り込むための別のアプローチは、深度カメラ又はレンジイメージングカメラを直接使用することである。このようなカメラは、放たれた信号（典型的には赤外線）の飛行時間測定に基づき、シーン内の物体の奥行きを直接推定することができる。しかしながら、そのようなカメラも完全ではなく、通常、準最適な奥行き情報を提供する。

【0011】

実際には、ステレオカメラ構成からの視差推定及び赤外線ベースの深度カメラの両方について、一部の領域は本質的に推定が難しい。例えば、視差推定に関して、１つのカメラビューでは見えるが、他方のカメラビューでは見えないオクルージョンエリアが存在し、これは、かかるエリアでの正確な奥行き決定を妨げる。また、異なる入力画像における同じ又は非常に類似した視覚的特性を有する均質なエリアは、視差推定のための適切な基礎を提供しない。このような領域では、マッチングに基づく視差推定は非常に不確かである。赤外線深度カメラの場合、遠方の物体では赤外線反射率が低くなり、よって、奥行き推定のＳ／Ｎ比が低くなる。また、毛髪のような特定のタイプの物体は、特定の赤外線散乱挙動を有し、結果として後方散乱が小さくなり、深度カメラからの深度推定が劣化する。

【発明の概要】

【発明が解決しようとする課題】

【0012】

ステレオカメラシステム及び深度センサの両方について、どの視差又は深度推定が信頼でき、どの視差又は深度推定が信頼できないかを検出する方法がある。信頼できる深度推定が生成できない領域は、通常、周囲の深度値の加重平均を用いて充填され、補間／拡散のガイダンスとしてカラー画像が使用される。しかしながら、そのようなアプローチは、多くのシナリオにおいて、準最適な深度推定をもたらし、さらに、該深度情報を使用して生成された３次元画像の画質及び奥行き感を低下させ得る。

【0013】

したがって、奥行き情報を処理するための改良されたアプローチは有益であると考えられ、特に、柔軟性の増大、容易な実施、複雑さの低減、奥行き情報の改善、改善された３次元体験及び／又は改善された知覚画質を可能にするアプローチは有益であると考えられる。

【0014】

したがって、本発明は、上記欠点の１つ以上を単独で、又は任意の組み合わせで好適に緩和、低減、又は排除することを目的とする。

【課題を解決するための手段】

【0015】

本発明の一側面によれば、奥行きマップを処理するための装置が提供され、装置は、画像のための奥行きマップを提供するための奥行きマップソースであって、奥行きマップは、奥行きマップのピクセルための奥行き値を含む、奥行きマップソースと、奥行きマップのピクセルのための信頼度値を含む信頼度マップを提供するための信頼度マップソースであって、ピクセルのための信頼度値は、ピクセルを信頼できるピクセル又は信頼できないピクセルとして指定し、信頼できるピクセルは、信頼性基準を満たす奥行き値を有し、信頼できないピクセルは、信頼性基準を満たさない奥行き値を有する、信頼度マップソースと、奥行きマップのピクセルの奥行き値を変更することを含む奥行き変更操作を実行する奥行き変更部とを備え、奥行き変更部は、第１のピクセルが信頼できるピクセルとして指定されている場合、又は第１のピクセルの近傍ピクセル集合内に信頼できるピクセルが存在しない場合、第１のピクセルの変更後奥行き値を第１のピクセルの現在の奥行き値として設定し、そうでない場合、変更後の値を、現在の奥行き値、及び近傍ピクセル集合内の信頼できるピクセルとして指定されているピクセルの奥行き値の関数として決定される奥行き値のうちの最も高い奥行き値として設定する。

【0016】

本発明は、多くのシナリオにおいて改善された奥行きマップが生成されることを可能にし得る。特に、多くのアプリケーションにおいて、ある物体が、本来はより前景に存在すべき他の物体よりも前方に現れる奥行き逆転のリスクを軽減し得る。特に、このアプローチは、元の奥行き値があまり正確でなく信頼性が低い可能性がある領域内の奥行き値を改善／生成するための有利なアプローチを適用し得る。このような新しい奥行き値を生成するために適用される具体的アプローチは、多くの実施形態において、信頼できない又は不確実な領域内の奥行き値を、他のより信頼できる奥行き値から決定し、また、知覚される奥行きの逆転又は順序の乱れを防ぐためにかかる決定に制約を課す。

【0017】

アプローチは、さらに効率的な実施を可能にし、また、奥行き画像を処理するのに適した改善された奥行き値を決定するためのプロセスを提供し得る。

【0018】

奥行きマップ及び信頼度マップは画像と関連付けられてもよく、したがって、画像の内容に関する奥行き情報を提供してもよい。一部の実施形態では、奥行きマップは画像よりも低い解像度を有し、したがって、一部の実施形態では、複数の画像ピクセルからなるグループに対して奥行き値が提供され得る。例えば、多くの実施形態では、各奥行きピクセル（すなわち、奥行きマップのピクセル）は、画像内の４×４又は８×８ピクセルのピクセルブロックに対応し得る。

【0019】

信頼できるピクセルは確実なピクセルとも呼ばれ、信頼できないピクセルは不確実なピクセルとも呼ばれ得る。信頼性基準は、個々の実施形態の具体的な優先事項及び要件に依存し、使用される基準は本質的ではない。むしろ、プロセスの出力は、使用される具体的信頼性基準に依存し、したがって、所望の結果を達成するために基準が変更され得る。一部の実施形態では、信頼度値が信頼度マップに格納される前に信頼性基準が適用され、具体的には、信頼度マップが最初に生成される際に適用され得る。このような実施形態では、信頼度値は、対応するピクセルを信頼できる又は信頼できないピクセルとして示すバイナリ値であってもよい。他の実施形態では、信頼性基準は、例えば所与のピクセルの処理中に評価され得る。例えば、非バイナリ信頼度値が信頼度マップから取り出され、その後、この値が信頼性基準に供され、信頼度値が信頼できる値又は信頼できない値のいずれを指すかが決定され得る。

【0020】

一部の実施形態では、信頼度値は、対応する奥行き値の推定信頼性を示す非バイナリ値であってもよい。このような信頼性推定値は、例えば、初期奥行き値を生成するために使用される奥行き決定アルゴリズムの一部として生成されてもよい。信頼性基準は、一部の実施形態では、信頼度値が閾値を上回る場合にはピクセルを信頼できると指定し、そうでない場合には信頼できないピクセルとして指定するものであり得る。一部の実施形態では、閾値は、固定であってもよく、又は例えば（場合によっては他の信頼度値に依存して）可変であってもよい。

【0021】

したがって、奥行き変更操作は、奥行きオーダー制約を含む特定の基準に応じて新しい奥行き値を生成し得る。奥行き変更操作は、奥行きマップのすべてのピクセルを処理し、各ピクセルについて変更された奥行き値を決定し得る。奥行き変更操作は、具体的には、奥行きマップの全ピクセルを含む奥行きマップをスキャンすることを含み得る。スキャンの順序は、実施形態ごとに異なり得る。変更後奥行き値は、奥行き変更操作の実行後の奥行きマップの値である。所与のピクセルについて、この値は、該ピクセルの評価に依存して、奥行き変更操作前の奥行き値と異なり又は同じ値であり得ることが理解されよう。変更後奥行き値は、処理の出力奥行き値であり得る。信頼できるピクセルとして指定されている近傍ピクセル集合内のピクセルの奥行き値の関数として決定される奥行き値は、変えられた奥行き値又は置換値として考えられ得る。変更後奥行き値／出力奥行き値は、変えられた若しくは置換奥行き値、又は元の奥行き値に設定され得る（すなわち、奥行き値は不変であってもよい）。この選択は、ピクセルが信頼できるピクセルであるか信頼できないピクセルであるかの検討に基づく決定の結果に依存する。

【0022】

近傍集合は、現在のピクセルの近傍内の複数のピクセルを含み得る。近傍集合は、第１のピクセルに適用されるカーネル内のピクセルに対応し得る。近傍は、第１ピクセルを含む隣接ピクセル部分集合であってもよい。

【0023】

本発明の任意の特徴によれば、奥行き変更部は、奥行き変更操作を反復するように構成され、各奥行き変更操作は、前の反復からの変更後奥行きマップに対して実行される。

【0024】

アプローチは、反復使用される場合に特に効率的な操作を提供し得る。実際、個々の具体的奥行き変更操作は、反復に非常に適しており、各反復（サイクル）は、例えば、信頼できるピクセルと信頼できないとの間の境界領域内の奥行き値を改善する。各奥行き変更操作は、信頼できるピクセルの領域を、信頼できないピクセルの領域に効果的に「成長」させ得る。奥行き変更操作を反復することにより、この「成長」又は拡張が信頼できない領域内にさらに広がることが可能となり、前回の反復の結果を使用してさらなる奥行き値が生成される。例えば、現在の反復において改善された奥行き値が生成されたピクセルの奥行き値は、次の反復において、信頼できるピクセルとして使用され、したがって、他の奥行き値を変更するために使用され得る。

【0025】

アプローチは、多くの実施形態において、低い複雑さ及び効率的な処理を維持しつつ、実践的に非常に有利なパフォーマンスを提供し得る。

【0026】

本発明の任意の特徴によれば、奥行き変更部（１１３）は、各奥行き変更操作ごとに、信頼度マップの信頼度値を変更するよう構成され、各奥行き変更操作は、前の反復からの変更後奥行きマップに基づく。

【0027】

これは有利なパフォーマンスを提供し、また、改良された奥行き値の生成を可能にし得る。例えば、信頼できる領域を信頼できない領域内に拡張するための効率的なアプローチを提供し得る。

【0028】

本発明の任意の特徴によれば、奥行き変更部は、近傍集合が少なくとも１つの信頼できるピクセルを含むことが検出されると、信頼できないピクセルとしての指定から信頼できるピクセルとしての指定にピクセルを変更するよう構成される。

【0029】

これは、反復間で信頼できる奥行き値／ピクセルを伝播させるための特に有利なアプローチを提供し、ほとんどの実践的なシナリオに関して有利なパフォーマンスをもたらし得る。

【0030】

本発明の任意の特徴によれば、奥行き変更部は、反復を所定回数実行するように構成される。

【0031】

これは、低い複雑さを維持しつつ、効率的な操作及び高いパフォーマンスを提供し得る。

【0032】

本発明の任意の特徴によれば、反復の所定回数は８回以下である。

【0033】

比較的少ない反復回数を使用することは、複雑さを低減し、計算資源を削減し、信頼できる領域が信頼できない領域内に過度に拡張すること（これは、例えば、他の信頼できる領域に属する奥行き値との相反をもたらす）を防ぎ得る。特に、８回以下の反復を使用することは、多くの実践的なアプリケーションについて非常に有利なプロセスを提供する。

【0034】

本発明の任意の特徴によれば、奥行き変更部は、奥行きマップの奥行き値から決定された奥行き特性に応じて、反復回数を動的に適合させるように構成される。

【0035】

これは、多くのシナリオにおいて改善されたパフォーマンスを提供し、また、現在の状況に対する適合及び最適化を改善し得る。

【0036】

本発明の任意の特徴によれば、関数は、信頼できるピクセルとして指定されている近傍ピクセル集合内のピクセルの奥行き値の平均化を含む。

【0037】

これは、多くの実施形態において奥行きマップを改善し、実際に、多くの典型的な画像に対して特に有利で自然な３次元観察体験を提供するべく実現されている。

【0038】

本発明の任意の特徴によれば、関数は、信頼できるピクセルとして指定されている近傍ピクセル集合内のピクセルの奥行き値の最大値を選択することを含む。

【0039】

これは、多くの実施形態において奥行きマップを改善し、実際に、多くの典型的な画像に対して特に有利で自然な３次元観察体験を提供するべく実現されている。

【0040】

本発明の任意の特徴によれば、近傍集合は、第１のピクセルまでの距離が閾値未満であるピクセルのみを含み、閾値は５ピクセル以下である。

【0041】

これは、多くの実践的なアプリケーション及びシナリオにおいて、知覚される奥行きの品質と、複雑さ及びリソース使用との間の特に有利なトレードオフを提供する。特に、比較的小さな近傍集合が、例えば、奥行き変更操作の反復に特に適していることがわかった。

【0042】

本発明の任意の特徴によれば、奥行き変更部は、奥行きマップの奥行き値から決定された奥行き特性に応じて、近傍集合のサイズを決定するように構成される。

【0043】

これは、多くのシナリオにおいて改善されたパフォーマンスを提供し、また、現在の状況に対する適合及び最適化を改善し得る。

【0044】

本発明の任意の特徴によれば、奥行きマップはビデオ信号のフレームのためのものであり、奥行きマップソースは、ビデオ信号の他のフレームからの時間的予測を使用して、奥行きマップの信頼できないピクセルのための初期奥行き値を決定するように構成される。

【0045】

これは、多くのシナリオにおいて、初期奥行き値の具体的生成方法と、これらを改善するためのプロセスとの間に特に高い相乗効果を見出すことが可能なシステムを提供し得る。このコンビネーションは、実際に、多くの典型的画像に対して正確な奥行きマップを提供することがわかった。

【0046】

本発明の任意の特徴によれば、奥行きマップソースは、奥行きマップの信頼できないピクセルに空間フィルタを選択的に適用するように構成される。

【0047】

選択的空間フィルタリングは、１つ又は複数の奥行き変更操作の適用による後続処理のために特に適切な奥行きマップを提供し得る。

【0048】

本発明の一側面によれば、奥行きマップを処理する方法が提供され、方法は、画像のための奥行きマップを提供するステップであって、奥行きマップは、奥行きマップのピクセルための奥行き値を含む、ステップと、奥行きマップのピクセルのための信頼度値を含む信頼度マップを提供するステップであって、ピクセルのための信頼度値は、ピクセルを信頼できるピクセル又は信頼できないピクセルとして指定し、信頼できるピクセルは、信頼性基準を満たす奥行き値を有し、信頼できないピクセルは、信頼性基準を満たさない奥行き値を有する、ステップと、奥行きマップのピクセルの奥行き値を変更することを含む奥行き変更操作を実行するステップとを含み、奥行き変更は、第１のピクセルが信頼できるピクセルとして指定されている場合、又は第１のピクセルの近傍ピクセル集合内に信頼できるピクセルが存在しない場合、第１のピクセルの変更後奥行き値を第１のピクセルの現在の奥行き値として設定し、そうでない場合、変更後の値を、現在の奥行き値、及び近傍ピクセル集合内の信頼できるピクセルとして指定されているピクセルの奥行き値の関数として決定される奥行き値のうちの最も高い奥行き値として設定することを含む。

【0049】

本発明の上記及び他の側面、特徴、及び利点は、以下に記載される実施形態を参照しながら説明され、明らかになるであろう。

【図面の簡単な説明】

【0050】

以下、本発明の単なる例に過ぎない実施形態について、以下の図面を参照しながら説明する。

【図1】図１は、本発明の一部の実施形態に係る装置を含む表示システムの一例を示す。

【図2】図２は、裸眼立体ディスプレイから投影されるビュー画像の一例を示す。

【発明を実施するための形態】

【0051】

以下の説明は、３次元動画シーケンスのフレームである３次元画像のための奥行きマップに適用可能な本発明の実施形態に焦点を当てている。しかしながら、本発明はこの用途に限定されるものではなく、例えば、画像及び関連する奥行きマップからなる個々の３次元画像に適用されてもよいことが理解されよう。同様に、以下の説明は、裸眼立体ディスプレイのためのビュー画像を生成するシステムへの適用に焦点を当てるが、これは単なる具体例であり、奥行き処理は多くの他のアプリケーション及び用途に等しく適用可能であることが理解されよう。

【0052】

図１は、本発明の一部の実施形態に係るシステムの一例を示す。この具体例では、裸眼立体ディスプレイ１０１の異なる複数のビューに対応する複数の画像が、入力３次元画像から生成される。入力３次元画像は、例えば、関連する奥行きマップを有する単一の画像によって表現されてもよく、あるいは例えば、関連する奥行きマップを抽出することができるステレオ画像によって表現されてもよい。

【0053】

典型的には、裸眼立体ディスプレイは複数のビューの「円錐」を生成し、各円錐が、シーンの異なる視野角に対応する複数のビューを含む。隣接する（又は場合によってはさらに変位された）ビュー間の視野角差は、ユーザの右目と左目との間の視野角差に対応するように生成される。したがって、左右の眼が２つの適切な視界を有する観察者は３次元効果を知覚する。図２は、各視錐内に９つの異なるビューを生成する裸眼立体ディスプレイの例を示す。

【0054】

裸眼立体ディスプレイは、レンチキュラーレンズ又は視差バリア／バリアマスクなどの手段を使用して、ビューを分離し、それらが個々にユーザの目に届くように異なる方向に送る傾向がある。ステレオディスプレイでは２つのビューが要求されるが、ほとんどの裸眼立体ディスプレイは、通常、より多くのビューを使用する。実際には、一部のディスプレイでは、画像の異なる部分が異なるビュー方向に投影されるように、画像にわたるビュー方向の漸進的な遷移が実行される。したがって、一部の最近の裸眼立体ディスプレイでは、一定数の完全なビューをレンダリングする裸眼立体ディスプレイとは異なり、複数の画像領域の複数のビュー方向にわたるより漸進的かつ連続的な分配が適用され得る。このような裸眼立体ディスプレイは多くの場合、完全なビューではなく、部分的（ｆｒａｃｔｉｏｎａｌ）ビューを提供すると言われる。部分的ビューに関するさらなる情報は、例えばＷＯ２００６／１１７７０７において見つけることができる。

【0055】

しかし、ほとんどの裸眼立体ディスプレイに共通するのは、比較的多数の異なるビュー方向のための画像情報を生成することを必要とすることである。しかしながら、典型的には、３次元画像データは、ステレオ画像として、又は奥行きマップを有する画像として提供される。要求されるビュー方向を生成するために、通常、画像ビューシフトアルゴリズムを使用して、レンダリングのための適切な画素値が生成される。このようなビューシフトは奥行き情報に基づき行われ、具体的には、異なるビュー間で画素が水平方向にシフトされる傾向があり、シフトの大きさは画素の奥行き（深度）に依存する。シフトは、ディスプレイ又はスクリーン深度（シフト無し）までの距離とともに増加し、スクリーンの深度の前及び後ろのオブジェクトについて反対方向である。

【0056】

図１の表示システムは、裸眼立体ディスプレイ１０１によってレンダリングされるシーンの３次元画像を提供するように構成された画像ユニット１０３を備える。画像ユニット１０３は、裸眼立体ディスプレイ１０１のためのビュー画像を生成するように構成された画像生成部１０５に供給される。画像生成部１０５は、画像から受け取られる少なくとも１つの２次元画像と、画像のための奥行き情報を提供する奥行きマップとに基づくビューシフトによってビュー画像を生成する。

【0057】

画像ユニット１０３は、一部の実施形態では単純に、任意の適切な内部又は外部ソースから、関連づけられた奥行きマップを有する入力２次元画像として、３次元画像を受け取るように構成されてもよい。例えば、画像によって表される３次元画像及び関連づけられた奥行きマップを含むビデオ信号が、ネットワーク（インターネットなど）、ブロードキャスト信号、メディアキャリアなどから受信され得る。このような画像及び奥行きマップ表現は、例えば、赤外線に基づくレンジング深度カメラによって生成され得る。

【0058】

他の実施形態では、画像ユニット１０３は、例えば、異なる視野角に対応する複数の画像として、具体的には、観察者の左右の目にそれぞれ対応する画像を有する立体画像として、３次元画像を受信し得る。このような画像は、例えば、ステレオカメラによって生成することができる。そのような実施形態では、システムは、これらの画像に対して実行される視差推定に基づき奥行きマップを生成するように構成され得る。一部の実施形態では、受け取られる３次元画像は、例えば、立体画像からの視差推定によって外部ソースによって生成された、関連づけられた奥行きマップを有する２次元画像によって表現されてもよい。

【0059】

画像生成部１０５は、２次元画像のための奥行きマップに基づく視点シフトによって、裸眼立体ディスプレイ１０１のためのビュー画像を生成するように構成される（簡略化のため、以下の説明では、（中央）２次元画像及び奥行きマップからのシフトによってビュー画像を生成する画像生成部１０５に焦点を当てる。しかし、他の実施形態では、当業者に知られているように、ビュー画像生成は、２つ以上の２次元画像に基づき得ることが理解されよう）。

【0060】

図１のシステムでは、画像ユニット１０３によって受信される奥行き情報は、画像生成部１０５に供給される前に変更される。したがって、画像ユニット１０３は、画像ユニット１０３に結合され、奥行きマップを処理して変更された奥行きマップを生成するように構成された奥行きユニット１０７の形態の装置に供給される。変更された奥行きマップは、その後、画像生成部１０５に供給され、裸眼立体ディスプレイ１０１のためのビュー画像を生成するために使用される。

【0061】

したがって、画像生成部１０５は、変更された奥行きマップを奥行きユニット１０７から受け取り、入力画像を画像ユニット１０３から受け取る。画像生成部１０５は、裸眼立体ディスプレイ１０１によって生成される異なるビューに関連づけられた複数の特定のビュー方向のビュー画像を生成するためのビューシフトを実行することによって、裸眼立体ディスプレイ１０１のためのビュー画像を生成するように構成される。画像生成部１０５は、入力画像及び変更された奥行きマップに基づくビューシフトアルゴリズムによってこれらの画像を生成するように構成される。

【0062】

当業者は、多数の異なるビューシフトアルゴリズムを認識し、また、本発明を損なうことなく、任意の適切なアルゴリズムを使用することができることを理解しよう。

【0063】

知覚される画質及び奥行きの知覚は、生成されるビュー画像の品質及び精度に大きく依存する。画像シフトによるこれらのビュー画像の生成は、シフト操作の実行対象の奥行き情報の品質および精度にさらに大きく依存する。実際には、多くの３次元画像操作が、奥行き情報の品質に大きく依存する。例えば、提示される画像が例えばユーザの頭の動きに追従することができるように（例えば、眼鏡ベースの３次元画像の観察者が頭を動かすことによって前景画像を見回すことを可能にする）、奥行き情報に基づき立体ビューが生成され得る。

【0064】

しかし、ほとんどの実際のアプリケーションでは、提供される奥行き情報は不完全である。特に、異なる視野角で取り込まれた画像からの視差推定によって生成された奥行きマップは、奥行き情報が提供され得ないか、又は非常に不確実である領域を生成する傾向がある。このような領域は、例えば、両方の（全ての）画像において不可視の物体（部分）、又は他の領域に類似している領域、又はテクスチャ若しくは繰り返しパターンがほとんど若しくは全くない領域について生じ得る。同様に、深度カメラによって生成された奥行きマップについては、典型的には、奥行き情報が欠落している又は信頼できない領域が生じ得る。そのような領域は、例えば、遠くにあるか、又は不適切な赤外線反射特性（例えば、毛髪）を有する物体に対応し得る。

【0065】

図１の画像レンダリングシステムでは、奥行きユニット１０７は、奥行きマップを改善するように構成され、具体的には、元の奥行きマップ値が信頼できないと考えられる領域について、改善された奥行き情報を提供するように構成される。このアプローチは、具体的には、周辺領域の奥行き値に基づき、信頼できないと考えられる領域の奥行き値を割り当てる又は決定し得る。さらに、このアプローチは、信頼できない領域の新しい奥行き値が、所与の近傍内の信頼できると考えられる奥行き値よりもさらに後ろに制限されるように、奥行き変更を特に制御し得る奥行きオーダー制約を受けることに基づく。奥行きユニット１０７は、以下の例示的な実施形態により詳細に説明される具体的アプローチを使用する。

【0066】

奥行きユニット１０７は、入力画像のための奥行きマップを提供する奥行きマップソース１０９を備える。一部の実施形態では、奥行きマップソース１０９は単純に、画像ユニット１０３から奥行きマップを受け取り得る。例えば、一部の実施形態では、画像ユニット１０３は、各フレーム毎の２次元画像及び関連づけられた奥行きマップを含む３次元ビデオストリームを受け取り得る。奥行きマップは、奥行きマップソース１０９によって抽出されてもよい。他の実施形態では、奥行きマップソース１０９自体が奥行きマップを生成するように構成されてもよい。例えば、奥行きマップソース１０９は、画像ユニット１０３からステレオ画像を受け取り、ステレオ画像に基づく視差推定によって奥行きマップを生成し得る。

【0067】

奥行きマップに含まれる奥行き値は、任意の適切な奥行き表現であり、例えば具体的には、奥行き座標（ｚ）値又は異なるビュー方向の画像間のシフトを表す視差値であり得る。奥行き値が高いほど、奥行きが高くなり、すなわち観察者から遠ざかる。したがって、奥行き値の増加は、３次元ディスプレイの前方における（公称）ビュー位置からの距離の増加を示す。

【0068】

さらに、奥行きユニット１０７は、奥行きマップのピクセルの信頼度値を備える信頼度マップを提供するための信頼度マップソース１１１を備える。ピクセルの信頼度値は、奥行き値ピクセルの信頼性を示し、ピクセルが信頼できる奥行き値を有すると考えられるか、有さないと考えられるかを示す。したがって、信頼度値は、ピクセルの奥行き値の信頼度を反映する。実際には、現実のシーンの画像の奥行き値の生成には本質的に推定の要素が含まれるため、生成される奥行き値は本質的に奥行き値の推定値であり、いくらかの不確実性を含み得る。不確実性の程度は、ピクセルの具体的特性に依存して（例えば、視差ベースの推定の場合は視覚的特性、レンジング深度カメラの場合は赤外線反射特性に依存して）、ピクセルごとに異なる。所与のピクセルの信頼度値は、そのピクセルの奥行き値の不確実性を反映する。

【0069】

信頼度マップソース１１１によって提供される信頼度マップは、バイナリ値を含み、基本的に、ピクセルを信頼できる（確実な）ピクセル又は信頼できない（不確実な）ピクセルとして指定する。したがって、一部のピクセルは、信頼できる／確実でるあるとみなされ、変更すべきではない奥行き値を有する。しかしながら、他のピクセルは、信頼できない／不確実であるとみなされ、あまりに不確実であり、変更することが望ましい可能性がある奥行き値を有する。

【0070】

一部の実施形態では、信頼度マップはバイナリ値以外のもので表現されてもよいことを理解されたい。例えば、各ピクセルごとに、軟判定信頼度推定値が保存されてもよい。しかし、そのような非バイナリ信頼度値は、依然として、ピクセルが信頼できるピクセル又は信頼できないピクセルであると考えられるかを反映する。実際には、プロセスは、非バイナリ信頼度値が閾値を上回るすべてのピクセルを信頼できるピクセルとして考え、非バイナリ信頼度値が閾値を下回る（又は等しい）ピクセルを信頼できないピクセルとして考えてもよい。実際には、一部の実施形態では、信頼できるピクセル又は信頼できないピクセルとしてのピクセルの指定は、相対的決定であってもよく、すなわち、他のピクセルの信頼度に依存してもよい。例えば、ピクセルが比較対象の隣接するピクセルより高い信頼度値を有する場合、該ピクセルは信頼できると考えられてもよい。

【0071】

したがって、一部の実施形態では、信頼度マップは、信頼度値を示し得る信頼度値を含み、この信頼度値が信頼できるピクセルに対応するか又は信頼できないピクセルに対応するかは（場合によっては、他のピクセル信頼度と比較して）、処理中に最初に決定されてもよい。したがって、一部の実施形態では、ピクセルが信頼できるか否かを決定する信頼度基準は、信頼度マップに値を格納する前ではなく、後段の処理中に適用されてもよい（場合によっては複数回）。

【0072】

しかしながら、明瞭さ及び簡潔さのために、以下の説明は、奥行きマップが、個々のピクセルが信頼できるピクセル又は信頼できないピクセルとして指定されているかを直接的に反映するバイナリ値を含む実施形態に焦点を当てる。したがって、これらの実施形態では、信頼度／確実性基準が非バイナリ信頼度値に適用され、その結果がバイナリ値として信頼度マップに保存され得る。

【0073】

したがって、この具体例では、奥行きマップは、奥行きマップのためのバイナリ信頼度値を含み、奥行きマップピクセルを信頼できる／確実なピクセルとして又は信頼できない／不確実なピクセルとして指定する。

【0074】

ピクセルを信頼できる／確実である又は信頼できない／不確実であるとして指定するための異なるアプローチが使用され得ることが理解されよう。具体的には、信頼できるピクセルは、信頼度／確実性基準を満たす奥行き値を有するものであり、信頼できないピクセルは、信頼度／確実性基準を満たさない奥行き値を有するピクセルである。この場合、基準は信頼度マップへのデータ入力の前に適用される。他の実施形態では、非バイナリ信頼度値が奥行きマップに保存され、これらの信頼度値が信頼できるピクセル又は信頼できないピクセルのどちらを指すかの判定は、処理中に信頼度基準を適用するまで判定されなくてもよい。

【0075】

信頼度基準は、実施形態ごとに異なり、個々の実施形態の具体的要件及び優先事項に基づいて選択されることが理解されよう。

【0076】

例えば、テクスチャ又は繰り返しパターンがほとんど又は全くない領域、又は他方の画像において一致する画像領域が特定できない領域に属するピクセルを除いて、ピクセルが信頼できるピクセルとして指定され得る。

【0077】

多くの実施形態では、信頼度値は、奥行き推定の副産物として生成され得る。前述したように、テクスチャの少ない領域は信頼できない可能性があるが、ノイズの多い又は極端な奥行き値を有する領域も信頼できないと考えられてもよい。したがって、多くの実施形態では、奥行きマップ生成プロセス（奥行きマップソース１０９による処理の一部であってもよい）は、信頼度マップソース１１１によって実行される信頼度計算のための情報を提供し得る。

【0078】

具体例としては、視差推定は、右眼画像内のある領域を選択し、左眼画像内の対応する領域を見つけることに基づき得る。対応する視差は、第１の奥行きマップを生成するために使用され得る。その後、該処理が繰り返され得るが、左眼画像内のある領域を選択し、右眼画像内の対応する領域を見つけることによって開始され得る。２つのアプローチが十分に近い視差推定をもたらす場合、そのピクセルは、信頼できる／確実なピクセルであると指定される。さもなければ、信頼できない／不確実なピクセルとして指定される。

【0079】

深度レンジングカメラの場合、信頼できる／信頼できないとしてのピクセルの指定は、例えば、受光信号の明るさに閾値を適用することによって達成されてもよい。（赤外線）光源によって発射された光又はパターンがあまりに遠い物体、又は入射光をセンサから離れる方向に散乱させる物体上で反射されると、センサにはほとんど（又は全く）光が戻らず、距離を確実に推定することができない。

【0080】

異なるアプローチ及び基準が異なる実施形態で使用されてもよく、どのアプローチが使用されるかは本質的ではないことが理解されよう。実際には、アプローチは利用可能な信頼度マップに基づいているが、マップがどのように生成されるか（又はマップがどの程度正確であるか）には基づいていない。

【0081】

一部の実施形態では、信頼度マップソース１１１は、自ら信頼度値を決定する処理を実行するように構成され得る。他の実施形態では、アルゴリズムは外部で実行されてもよく、データが入力信号とともに提供されてもよい。例えば、レンジング深度カメラは、画像、関連づけられた奥行きマップ、及び生成された奥行き値の信頼度を示す関連づけられた信頼度マップを含む出力を直接生成し得る。このようなデータストリームは、画像ユニット１０３に直接提供されてもよい。信頼度マップソース１１１は、一部の実施形態では、そのような利用可能なマップを単純に抽出し得る。一部の実施形態では、信頼度マップソース１１１は、非バイナリ信頼度推定値を有する提供された信頼度マップをハード量子化することによって、バイナリ信頼度マップを生成し得る。

【0082】

信頼度マップソース１１１及び奥行きマップソース１０９は奥行き変更部１１３に結合され、奥行き変更部１１３は、信頼度マップに基づき奥行きマップを処理し、変更された奥行きマップを生成するように構成され、変更された奥行きマップは画像生成部１０５に供給され、画像シフト操作のために使用される。

【0083】

奥行き変更部１１３は、奥行きマップのピクセルについて奥行き値を変更する奥行き変更操作を実行する。典型的には、信頼できるピクセルの奥行き値は変更されないが、信頼できないピクセルの奥行き値は、近隣における信頼できるピクセルの存在及び値に依存して変更され又は変更されない可能性がある。

【0084】

したがって、奥行き変更操作は、奥行きマップ／信頼度マップの各ピクセルを順次処理し、それによって奥行きマップを変更することを含む。便宜上、操作が行われる奥行きマップの状態（すなわち、奥行き変更操作の前の奥行きマップ）を入力奥行きマップと呼び、奥行き変更操作の結果としての奥行きマップの状態（すなわち、奥行き変更操作後の奥行きマップ）を出力奥行きマップと呼ぶ。

【0085】

現在のピクセルが信頼できるピクセルである場合、奥行き変更部１１３は奥行き値を変更せず、現在の奥行き値を維持する。したがって、この場合、出力奥行きマップの奥行き値は、入力奥行きマップの奥行き値と同じである。

【0086】

しかし、信頼できないピクセルの場合、処理は近傍の他のピクセルに依存する。近傍は典型的には比較的小さく、以下の説明は近傍が３×３ピクセルブロックである具体例に焦点を当て、すなわち、近傍は現在のピクセルに隣接するすべてのピクセルを含む。しかしながら、他の実施形態では他のサイズが使用され、実際には、説明される原理は、個々の実施形態の優先事項及び要件に依存して具体的に選択される任意の近傍領域のサイズ又は形状に適用され得る。典型的には、近傍のサイズ及び形状は、例えば処理効率及びローパスフィルタリング効果を含むパラメータ間のトレードオフである。

【0087】

したがって、信頼できないピクセルの場合、奥行き変更部１１３は、この具体例では現在のピクセルに隣接するすべてのピクセルを含む、近傍ピクセルセットを考慮する。

【0088】

奥行き変更部１１３が、近傍セット内に他の信頼できるピクセルが存在しないと判定した場合、現在の奥行き値が維持される。すなわち、近傍セットに信頼できるピクセルがない場合、出力奥行きマップ内の奥行き値は、入力奥行きマップ内の奥行き値と同じに設定される。

【0089】

しかし、近傍セット内に信頼できるピクセルが存在する場合、奥行き変更部１１３は、近傍セット内のピクセルの奥行き値に応じて奥行き値を生成する（ただし、信頼できるピクセルとして指定されたピクセルのみを含む）。この奥行き値は、以下、推定奥行き値と呼ばれる。推定奥行き値は、信頼できないピクセルを無視して、近傍セット内のすべての信頼できるピクセルの奥行き値に応じて生成されてもよく、すなわち、推定奥行き値は、信頼できない値の奥行き値に依存しない。

【0090】

推定奥行き値を生成するための関数は、実施形態ごとに異なり、又は場合によっては、特定の実施形態内で動的に変化してもよい。具体例として、推定奥行き値は、信頼できるピクセルの奥行き値の平均値として生成されてもよい。近傍セットが十分に小さく選択されることを前提に、推定奥行き値は、信頼できないピクセルに対する正しい奥行き値の良好な推定値となり得る。

【0091】

しかし、奥行き変更部１１３は、単に信頼できないピクセルに推定奥行き値を割り当てるだけでなく、推定奥行き値を現在の又は元の奥行き値（すなわち、入力奥行きマップの奥行き値）と比較する。その後、最も高い奥行き値（すなわち、観察者から最も遠い奥行き値）を選択し、これを変更された奥行き値として使用する。すなわち、出力奥行きマップの奥行き値は、入力画像の奥行き値及び推定奥行き値の最も高い奥行き値に設定される。

【0092】

したがって、このアプローチでは、奥行き変更部１１３は、適切な近傍内の信頼できるピクセルの奥行き値に基づいて、信頼できないピクセルの奥行き値を決定する。しかし、それに加えて、新しい奥行き値が現在の奥行き値よりも後ろである場合にのみ新しい奥行き値がピクセルに割り当てられることを保証する奥行きオーダー制約が使用される。

【0093】

このような奥行きオーダー制約が発明者によって、他の奥行き値に基づいて奥行き値を決定するための従来のアプローチで発生し得るアーチファクトを防止するために実現された。具体的には、このアプローチは、不確実な領域に対応する物体が前景物体の前に位置するものとして誤って提示されることのリスクを低減し、又は場合によっては防ぎ得る。したがって、改良された３次元レンダリングを達成することができる。

【0094】

開示されるアプローチは、奥行きマップが信頼度マップに基づいて変更されるシステムを対象とする。このアプローチでは、ピクセルは、信頼できるピクセル又は信頼できないピクセルとして分類される。所与のピクセルについて、変更された奥行き値は、以下のように設定され得る。
「もし
ピクセルが信頼できるピクセルとして指定される
又は
近傍に信頼できるピクセルが存在しない
又は
変更された奥行き値が元の奥行き値の前にある
場合
元の奥行き値が維持され（すなわち、変更された／出力奥行き値は元の奥行き値に設定され、すなわち奥行き値に変化が生じない）、
さもなければ
変更された奥行き値は、置換（近傍決定された）奥行き値に設定され、
ここで
置換（近傍決定された）奥行き値は、近傍内の信頼できるピクセルの奥行き値に依存する。」

【0095】

このアプローチは、現在のピクセルの近傍内の奥行き値から決定される値に奥行き値を変更することが適切である場合、及び元の奥行き値を変更しないで維持すべき場合を決定するための特定の決定木を使用する。この決定木は、信頼できるピクセル及び信頼できないピクセルへのピクセルの分類に基づく。さらに、決定木の結果が奥行き値の変更という決定である場合、信頼できるピクセルのみが考慮され、すなわち、置換奥行き値の決定も分類に依存する。

【0096】

該アプローチは、元の奥行き値を維持すべき場合、及びバイナリ指定に基づき元の奥行き値を変更すべき場合のための基準を定め、特に、ピクセルそのものが信頼できるかどうか、及び近傍に信頼できるピクセルがあるかどうかの両方を考慮する。奥行きは、４つの可能なオプションのうちの１つでのみ変更される。

【0097】

指定／分類はさらに、置換奥行き値を決定する際に近傍内の一部のピクセルを（潜在的に）破棄するために使用される。また、奥行きオーダーに関する具体的制約は、決定木の他のテスト／評価と密接に関連していることにも留意されたい。実際には、置換奥行き値が元の奥行き値の前にあるかどうかのテストは、第１のピクセルが信頼できるピクセルではなく、近傍内に１つ以上の信頼できるピクセルが存在する特定の状況にのみ関連する。したがって、特に、元の奥行き値が信頼できないと考えられる一方、置換奥行き値は信頼できるピクセルにのみ基づいているので信頼できると考えられるシナリオに関連する。しかし、テストはこの場合でも、元の値が置換奥行き値よりも後ろである場合には元の値が選択されるべきであると定義する。したがって、テストは、信頼できる値ではなく信頼できない値が選択される特定のシナリオを定義する。これは直観に反するものであるが、発明者は驚くべきことに、例えば、より信頼できる値が常に使用される場合よりも、レンダリング時により高い品質であると知覚される奥行きマップをもたらすことに気が付いた。

【0098】

したがって、決定ツリーの他のテストは、最も信頼性の高い奥行き値を特定して、出力変更後奥行き値がこれらに基づき決定され得ることを試みると考えられるが、一方、奥行き制約要件は反対のアプローチをとって、最も信頼できないオプションを選択し、すなわち、より信頼できる代替値が利用可能であっても、出力奥行き値は信頼できない値に設定される。

【0099】

奥行き変更部１１３は、奥行き変更操作中に信頼度マップをさらに変更し得る。具体的には、信頼できるピクセルについては、信頼度値は信頼できるものとして維持される。したがって、一度ピクセルが信頼できると指定されると、それはそのまま維持される。

【0100】

第２に、ピクセルは信頼できないが、近傍内の信頼できるピクセルの数がゼロより大きい場合（すなわち、近傍セット内に少なくとも１つの信頼できるピクセルがある場合）、そのピクセルは、信頼できるピクセルとして指定されるように変更される。したがって、信頼できないピクセルについて推定奥行き値が計算されると、ピクセルに元の奥行き値又は推定奥行き値（最も高い奥行きを表すもの）が割り当てられ、ピクセルは信頼できるピクセルとして指定される（したがって、その後は変更されない）。

【0101】

しかし、近傍に信頼できるピクセルが存在しない信頼できないピクセルについては、ピクセルは依然として信頼できないピクセルとみなされる。

【0102】

変更後奥行きマップ値及び変更後信頼度マップ値は、奥行き変更操作の過程で他のピクセルを処理する場合には使用されない。すなわち、奥行き変更操作は、入力奥行きマップ及び入力信頼度マップに基づいて実行される。

【0103】

したがって、奥行きマップのピクセルを順次処理する場合、奥行き変更部１１３は、信頼できるピクセルの領域を、信頼できないピクセルの領域に拡大又は拡張する。この拡大又は拡張の程度は、考慮される近傍のサイズによって決定される。近傍が大きいほど、信頼できる領域が大きく信頼できない領域に侵入することができる（本質的には、信頼できるピクセルが有し得る効果又は影響は、近傍のサイズによって制限される）。したがって、奥行き変更操作を実行する効果は、信頼できるピクセル領域が信頼できないピクセル領域内に、近傍サイズによって与えられる量だけ拡大することによって、信頼できないピクセルの領域が減少するということである。奥行き変更操作の結果、境界領域内の多数の信頼できないピクセルに、奥行きオーダー制約の下で新しい値が割り当てられ、信頼できるピクセルとして見なされるよう変更される。

【0104】

一部の実施形態では、奥行き変更部１１３は、奥行き変更操作を反復するように構成され、各奥行き変更操作は、前回の反復で生成された変更後奥行きマップに対して実行される（ただし、奥行きマップソース１０９及び信頼度マップソース１１１からそれぞれ受け取られた元の奥行きマップ及び信頼度マップに基づく最初のサイクルを除く）。

【0105】

したがって、このアプローチでは、奥行き変更部１１３は、上記のように、入力奥行きマップ及び入力信頼度マップから出力奥行きマップ及び出力信頼度マップを生成するために奥行き変更操作を適用する。次に、前回生成された出力奥行きマップ及び信頼度マップを入力奥行きマップ及び信頼度マップとして使用して、奥行き変更操作を再度実行する。

【0106】

このようにして、信頼できる領域が信頼できない領域内に反復的に成長し、ここで、一度の操作における拡張は、前回の拡張によって生成された値を利用する。したがって、信頼できる領域は反復的に成長し、信頼できない領域は対応して反復的に縮小する。

【0107】

したがって、この具体例では、奥行き変更部１１３は奥行き変更操作を繰り返し実行し、各操作は奥行きマップ及び信頼度マップに基づく。次回の奥行き変更操作は、前回のサイクルの変更後奥行きマップ及び信頼度マップに基づく。具体的には、奥行き変更部１１３は、近傍セットが少なくとも１つの信頼できるピクセルを含むことが検出されると、ピクセルを信頼できないピクセルから信頼できるピクセルに変更するように構成される。その場合、推定奥行き値が決定され、場合によっては、ピクセルに割り当てられ得る（それが元の値よりも後ろである場合）。したがって、新しい値は信頼できるとみなされ、よって、後続の操作では信頼できるピクセルとして有用であると表示される。

【0108】

以下では、上記説明に係る操作の具体例が提供される。この例は、奥行きマップソース１０９及び信頼度マップソース１１１によってそれぞれ提供される視差マップＤ（ｘ，ｙ）の形態の奥行きマップ及び信頼度マップＣ（ｘ，ｙ）に基づく。

【0109】

この例では、奥行きオーダー制約は、多数回の反復について実行される再帰型フィルタ操作として実装される。各反復は、前の反復からの視差マップ及び信頼度マップから開始し、更新された視差マップ及び更新された信頼度マップをもたらす。Ｄ^（ｋ）（ｘ，ｙ）は、現在の反復ｋにおける視差マップを示す。

【0110】

次に、各反復は視差マップを次のように更新し、

【数1】

信頼度マップを次のように更新する（ここで、Ｃ^（ｋ）（ｘ，ｙ）は反復ｋでの信頼度マップを示す）。

【数2】

ここで

【数3】

【0111】

近傍内の信頼できるピクセルの集合は、｛（ｘ_{ｃｏｎｆｉｄｅｎｔ}，ｙ_{ｃｏｎｆｉｄｅｎｔ}）｝によって示され、Ｎ_{ｃｏｎｆｉｄｅｎｔ}は、近傍内の信頼できるピクセルの数を示す。

【0112】

反復の回数は、個々の実施形態の具体的な優先事項及び要件に依存し得る。しかし、多くの実施形態では、奥行き変更部１１３は、所定回数の反復を実行するように構成され得る。したがって、奥行き変更部１１３は、奥行き変更部１１３を所定回数繰り返すように構成され、（潜在的に）各反復は信頼できる領域をさらに信頼できない領域内に広げ得る。

【0113】

所定回数の操作の利用は、多くの実施形態において非常に有利な操作を提供することがわかった。特に、低い複雑性及びロバストな操作を提供しつつ、依然として、ほとんどの画像及びディスプレイのために高品質の三次元知覚をもたらすことがわかった。特に、比較的少ない回数の操作で十分であることがわかった。これは、入力視差値が有界であり、既知の範囲内に入るという事実から理解することができる。単一のピクセルの拡がりしか持たない近傍を使用する場合、最大で、最大可能視差の差に等しい反復回数だけ成長すればよい。これは依然として大きい可能性があるので、多くのシナリオにおいて有利なアプローチは、実際に物体間に見られる視差ステップに対応する距離を成長させることである。フルＨＤ動画の場合、典型的な奥行きステップは３２ピクセルであり得る。このような距離を選択することにより、ほとんどのアーチファクトが補償される。

【0114】

一部の実施形態では、奥行き変更部１１３は、奥行きマップの奥行き値から決定された奥行き特性に応じて、反復回数を動的に適合させるように構成され得る。例えば、奥行き値が大きいほど、反復回数が増加され得る。例えば、一部の実施形態では、奥行き変更部１１３は、平均又は最大奥行き値を決定するよう構成され、反復回数は、この値に応じて決定されてもよい。平均又は最大奥行きが高いほど、反復回数が多くなる。

【0115】

他の例として、奥行き値の分散が求められ、反復回数が分散に基づいて決定されてもよい。したがって、具体的には、奥行き分散が大きいほど、反復回数が増加され得る。

【0116】

一部の実施形態では、反復回数は、画像の領域ごとに異なり得る。例えば、画像は複数の領域に分割されてもよく、各領域内の反復回数は、その領域内の奥行き値に依存してもよい（例えば、反復回数は、領域内の平均又は最大奥行き値に応じて決定されてもよい）。

【0117】

このような適合型アプローチは、多くのシナリオ及び実施形態において改善されたパフォーマンスを提供し得る。

【0118】

上記したように、個々のピクセルについて考慮される近傍のサイズは、具体的な優先事項及び要件に応じて実施形態ごとに異なり得る。しかしながら、多くの実施形態では、近傍は比較的小さくてもよく、その場合、各反復における信頼できる領域の成長量が比較的小さい量に制限される。

【0119】

実際、多くの実施形態では、近傍集合は、第１のピクセルまでの距離が所与の閾値よりも小さいピクセルのみを含み、閾値は５ピクセル以下である。実際、多くの実施形態では、近傍集合は、２５、１６、又は９ピクセル以下を含み得る。近傍集合のピクセルは、具体的には、現在のピクセルについて対称的に配置されてもよい。

【0120】

したがって、近傍集合は、奥行きオーダー制約を含み、上記のように信頼できるピクセルのみを考慮するフィルタのカーネルに対応すると考えることができる。多くの実施形態では、カーネルは、５、４、又は例えば３ピクセル幅以下の直径を有し得る。

【0121】

一部の実施形態では、奥行き変更部１１３は、奥行きマップの奥行き値に応じて、近傍集合のサイズを決定するように構成され得る。例えば、信頼できないピクセルのエリアを含む領域内の奥行き値の分散が求められ、この値に応じて、近傍集合のサイズが決定されてもよい。例えば、分散が大きい場合、近傍集合のサイズが大きくなってもよい。

【0122】

先の例では、推定奥行き値は、近傍集合内の信頼できるピクセルの奥行き値の平均化を含む関数によって決定される。しかし、他の実施形態では、他の関数が使用され得ることを理解されたい。

【0123】

例えば、一部の実施形態では、関数は、近傍内の信頼できるピクセルの奥行き値の最大値を選択することを含む又はそれからなり得る。したがって、このような実施形態では、現在のピクセルの奥行き値は、ピクセル自身及び近傍内の信頼できるピクセルのうちの最高奥行きに設定される。これは、多くの実施形態において非常に効率的な操作を提供し、特に、より強い奥行きオーダー制約を提供し得る。

【0124】

上記説明では、奥行きマップが、信頼できるピクセルを含む領域、及び信頼できないピクセルを含む他の領域を含むと仮定している。この具体例では、画像は３次元ビデオシーケンスの一部であってもよく、具体的には、ステレオ画像ビデオシーケンスの１フレームであってもよい。このような例では、初期奥行き値は、視差推定に基づいて生成され得る。しかし、視差推定は、画像のうちの１つにしか映っていない領域／物体に対しては実現不可能である。

【0125】

（例えば）このようなシステムでは、奥行きマップソース１０９は、シーケンス内の他のフレームからの予測を実行することによって、すなわち時間的予測を実行することによって、信頼できないピクセルの初期奥行き値を生成するように構成され得る。

【0126】

単純な例として、初期奥行き値は、視差推定（すなわち、閉塞前に最後に決定された奥行き値）に基づいて決定することができた最後の奥行き値として設定され得る。他の実施形態では、より複雑な補間及び推定が実行され、例えば、先行フレーム及び後続フレームの両方を使用する動き推定又は補間が含まれる（すなわち、具体的には双方向予測が使用され得る）。

【0127】

このようなアプローチは、その後、奥行き変更部１１３の後続の処理によって変更可能な適切な初期奥行きマップを提供し得る。

【0128】

多くの実施形態では、奥行きマップソース１０９は、奥行きマップの信頼できないピクセルに空間フィルタを選択的に適用するように構成され得る。空間フィルタは、典型的には、例えば近傍のサイズに近くてもよい比較的小さなカーネルを有し得る。実際、多くの実施形態では、空間フィルタのためのカーネルは、近傍集合と同じであってもよい（すなわち、選択的空間フィルタのためのカーネルは、奥行きオーダーフィルタのカーネルと同じであってもよい）。

【0129】

空間フィルタは、信頼できないピクセルに選択的に適用され、信頼できるピクセルには適用されない。したがって、信頼できると考えられる奥行き値は変更されないが、信頼できないと考えられる奥行き値は空間的にフィルタリングされ、ノイズが低減される。このような選択的フィルタは、多くの実施形態において改善された結果を提供することがわかっており、特に、他の領域の画質を劣化させることなく、遷移領域に対してより良い知覚を提供することがわかっている。

【0130】

そして、奥行き変更操作が、選択的にフィルタリングされた奥行きマップに適用され得る。

【0131】

奥行き変更操作の（反復）実行に続いて、奥行き変更部１１３は、多くの実施形態において、ピクセルが信頼できると考えられるか否かにかかわらず、すなわち、ピクセルが信頼できるか否かにかかわらず全てのピクセルに適用され得る空間フィルタリングを実行し得る。

【0132】

これにより、奥行きマップの全体的なノイズが低減され、典型的には、知覚される３次元体験の質が改善され得る。

【0133】

上記説明では、奥行きマップピクセル及び信頼度マップピクセルの処理は、各ピクセルが画像ピクセルに直接対応すると暗に仮定し、すなわち、奥行きマップ及び信頼度マップの解像度が画像の解像度と同じであると暗に仮定して説明された。

【0134】

しかし、これは必ずしもそうであるとは限らず、多くの実施形態において、実際にはこれらの解像度が異なり得ることが理解されよう。実際、典型的には、奥行きマップ及び信頼度マップの解像度は、画像の解像度よりも低い。例えば、画像が、例えば３×３又は８×８ピクセルの画像ピクセルブロックに分割され、各ブロックごとに１つの奥行き値及び信頼度値が生成されてもよい。したがって、奥行きマップ及び信頼度マップの解像度は、画像解像度に対して大きく低減され得る。しかしながら、上記の奥行きマップの処理は、そのような低減された解像度の奥行きマップに等しく適用されることが理解されよう。

【0135】

明瞭さのために、上記の説明は、異なる機能的回路、ユニット、及びプロセッサに関連して、本発明の実施形態を説明している。しかしながら、本発明を損なうことなく、異なる機能的回路、ユニット、又はプロセッサ間で、機能が任意に適切に分配され得ることが理解されよう。例えば、複数の別々のプロセッサ又はコントローラによって実行されるように示された機能が、同じプロセッサ又はコントローラによって実行されてもよい。したがって、特定の機能ユニット又は回路への言及は、厳密な論理的又は物理的な構造又は構成を示すものではなく、説明される機能を提供するための適切な手段への言及であると考えられたい。

【0136】

本発明は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせを含む任意の適切な形態で実施することができる。本発明は、１つ又は複数のデータプロセッサ及び／又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして少なくとも部分的に実装されてもよい。本発明の実施形態の要素及び構成要素は、任意の適切な態様で物理的、機能的、及び論理的に実装され得る。実際には、機能は、単一のユニット、複数のユニット、又は他の機能ユニットの一部として実装されてもよい。したがって、本発明は、単一のユニット内に実装されてもよく、又は異なる複数のユニット、回路、及びプロセッサの間で物理的及び機能的に分配されてもよい。

【0137】

いくつかの実施形態に関連して本発明を説明したが、本発明は、明細書に記載される具体的形態に限定されない。そうではなく、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。さらに、ある特徴が、特定の実施形態に関連して記載されているように見えたとしても、当業者は、上記実施形態の様々な特徴が本発明に従って組み合わせられ得ることを認識するであろう。請求項において、備える等の用語は、他の要素又はステップの存在を排除するものではない。

【0138】

さらに、個別にリストされていたとしても、複数の手段、要素、回路、又は方法ステップは、例えば、単一の回路、ユニット、又はプロセッサによって実施され得る。さらに、個々の特徴が異なる請求項に含まれていたとしても、これらは好適に組み合わされ、異なる請求項に含まれていることは、特徴の組み合わせが実現不可能である及び／又は有利でないことを意味するものではない。また、１つのクレームカテゴリー内にある特徴が含まれているからといって、特徴がこのカテゴリーに限定されるとは限らず、特徴は適宜、他のクレームカテゴリーに等しく適用され得る。さらに、請求項における特徴の順序は、特徴が作用すべき特定の順序を指すものではなく、特に、方法クレームにおける個々のステップの順序は、ステップをその順序で実行しなければならないことを意味しない。むしろ、ステップは、任意の適切な順序で実行され得る。また、単数形の表現は複数形を排除するものではない。したがって、「ａ」、「ａｎ」、「第１の」、「第２の」などの表現は、複数を排除するものではない。特許請求の範囲内の参照符号は、明瞭さのための例に過ぎず、請求項の範囲を如何ようにも限定するものではない。

【図1】

【図2】