特許 7184748 場面の積層深度データを生成するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-28

(45)【発行日】2022-12-06

(54)【発明の名称】場面の積層深度データを生成するための方法

(51)【国際特許分類】

   G06T 7/557 20170101AFI20221129BHJP

   H04N 13/271 20180101ALI20221129BHJP

   H04N 13/232 20180101ALI20221129BHJP

   H04N 13/178 20180101ALI20221129BHJP

【ＦＩ】

G06T7/557

H04N13/271

H04N13/232

H04N13/178

【請求項の数】 3

(21)【出願番号】P 2019501966

(86)(22)【出願日】2017-07-21

(65)【公表番号】

(43)【公表日】2019-09-26

(86)【国際出願番号】 EP2017068525

(87)【国際公開番号】W WO2018015555

(87)【国際公開日】2018-01-25

【審査請求日】2020-07-20

(31)【優先権主張番号】16305933.0

(32)【優先日】2016-07-21

(33)【優先権主張国・地域又は機関】EP

【前置審査】

(73)【特許権者】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ドワイヤン，ディディエ

(72)【発明者】

【氏名】ボワソン，ギヨーム

(72)【発明者】

【氏名】シーバウド，シルヴァイン

【審査官】岡本 俊威

(56)【参考文献】

【文献】国際公開第２０１５／１７８２１７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５０－ ７／５９３

Ｈ０４Ｎ １３／００－１３／２９６

(57)【特許請求の範囲】

【請求項1】

場面の積層深度データを生成するためのコンピュータ実装方法であって、
光照射野コンテンツから場面の画像を取得することと、
－ 視差推定を実行して前記場面の第１及び第２深度マップを取得することであって、前記画像が、所定のビュー方向に従って見られる、実行することと、
－ 前記光照射野コンテンツからの前記画像の前記ビュー方向とは異なる第１の方向において、前記第１深度マップを用いて前記光照射野コンテンツからの前記画像と関連付けられた第１のオクルージョン情報セットを演算することと、
－ 前記光照射野コンテンツからの前記画像の前記ビュー方向及び前記第１の方向とは異なる少なくとも第２の方向において、前記第２深度マップを用いて前記光照射野コンテンツからの前記画像と関連付けられた少なくとも第２のオクルージョン情報セットを演算することであって、前記画像のエリアにおいて一致しない前記第１及び第２深度マップを分析することによって前記第１のオクルージョン情報セット及び前記第２のオクルージョン情報セットが、第３のオクルージョン情報セットを生成するために共にマージされる、演算することと、
－ 前記光照射野コンテンツからの前記画像、前記第１及び第２深度マップ、及び前記第３のオクルージョン情報セットの集約に基づいて前記場面の前記積層深度データを生成することとを含み、
前記第１及び前記第２のオクルージョン情報セットを演算することが、前記第１の方向及び前記第２の方向のそれぞれにおいて、前記光照射野コンテンツからの前記画像を前記光照射野コンテンツからの別の隣接画像と比較することを含む、
方法。

【請求項2】

場面の積層深度データを生成するための装置であって、
光照射野コンテンツから場面の画像を取得することと、
－ 視差推定を実行して前記場面の第１及び第２深度マップを取得することであって、前記画像が、所定のビュー方向に従って見られる、実行することと、
－ 前記光照射野コンテンツからの前記画像の前記ビュー方向とは異なる第１の方向において、前記第１深度マップを用いて前記光照射野コンテンツからの前記画像と関連付けられた第１のオクルージョン情報セットを演算することと、
－ 前記光照射野コンテンツからの前記画像の前記ビュー方向及び前記第１の方向とは異なる少なくとも第２の方向において、前記第２深度マップを用いて前記光照射野コンテンツからの前記画像と関連付けられた少なくとも第２のオクルージョン情報セットを演算することであって、前記画像のエリアにおいて一致しない前記第１及び第２深度マップを分析することによって前記第１のオクルージョン情報セット及び前記第２のオクルージョン情報セットが、第３のオクルージョン情報セットを生成するために共にマージされる、演算することと、
－ 前記光照射野コンテンツからの前記画像、前記第１及び第２深度マップ、及び前記第３のオクルージョン情報セットの集約に基づいて前記場面の前記積層深度データを生成することと
を行うように構成されたプロセッサを含み、
前記第１及び前記第２のオクルージョン情報セットを演算することが、前記第１の方向及び前記第２の方向のそれぞれにおいて、前記光照射野コンテンツからの前記画像を前記光照射野コンテンツからの別の隣接画像と比較することを含む、
装置。

【請求項3】

場面を表す光照射野コンテンツを処理するための方法であって、
前記光照射野コンテンツと関連付けられた前記場面の積層深度データに基づいて前記光照射野コンテンツを処理することを含み、前記積層深度データが、前記光照射野コンテンツからの前記場面の画像と、前記場面の第１及び第２深度マップと、第１のオクルージョン情報セットとを含み、
前記第１及び第２深度マップは視差推定に基づいて決定され、
前記第１のオクルージョン情報セットは、前記画像のエリアにおいて一致しない前記第１及び第２深度マップの分析に基づき第２のオクルージョン情報セット及び少なくとも第３のオクルージョン情報セットをマージすることから生成され、
前記第２のオクルージョン情報セットは、前記画像と関連付けられるとともに、前記画像のビュー方向とは異なる第１の方向において、前記第１深度マップを用い、前記光照射野コンテンツからの前記第１の方向における前記画像と隣接画像との比較に基づいて演算され、
前記少なくとも第３のオクルージョン情報セットは、前記画像と関連付けられるとともに、前記ビュー方向及び前記第１の方向とは異なる少なくとも第２の方向において、前記第２深度マップを用い、前記第２の方向における前記画像と前記隣接画像との比較に基づいて演算される、
方法。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
本発明は、積層深度データに関し、より正確には、光照射野コンテンツのプロパティを利用する積層フォーマットに関し、それらの光照射野コンテンツは、映像かピクチャかを問わない。

【背景技術】

【0002】

背景
ステレオ又はマルチビューシステムでは、データをフォーマットする際、場面の水平寸法のみが考慮される。例えば、カメラが水平に位置合わせされるカメラリグから構成される取得システムの事例では、３Ｄビュー間の水平視差しか抽出することができない。深度画像ベースのレンダリング技法は、捕捉されたものの間の中間ビューを補間することでよく知られているが、それは常に水平方向におけるものである。

【0003】

マルチビュー画像では、画像間には大量の冗長性がある。積層深度映像フォーマット又はＬＤＶは、マルチビュー画像をフォーマットするための周知のフォーマッティングソリューションであり、画像間の冗長情報の量を低減する。ＬＤＶでは、参照中央画像が選択され、中央画像の領域が主にオクルードされたマルチビュー画像の他の画像によってもたらされた情報が提供される。次いで、ＬＤＶフォーマットは、マルチビュー画像を処理するために必要な情報を表す４つの層から構成される。
－ 選択された中央画像
－ 選択された中央画像と関連付けられた深度マップ
－ オクルージョン画像
－ 深度オクルージョンマップ

【0004】

従って、冗長ではない情報のみがレンダリングデバイスに送信される。これらの情報は、深度オクルージョンマップから生成されるオクルージョンマスクに含まれる。

【0005】

マルチビューコンテキストにおいて使用される他のフォーマットに当てはまるように、ＬＤＶフォーマットは、単一の水平オクルージョン層を含み、従って、広い軸間距離で見られる複雑な場面で起こり得る複数層ディスオクルージョンをあらわにする視点のレンダリングに失敗する。

【0006】

本発明は、前述事項を念頭において考案された。

【発明の概要】

【0007】

発明の概要
本発明の第１の態様によれば、場面の積層深度データを生成するためのコンピュータ実装方法であって、
－ 場面を表す光照射野コンテンツからの画像の深度マップを演算することであって、前記画像が、所定のビュー方向に従って見られる、演算することと、
－ 光照射野コンテンツからの画像のビュー方向とは異なる第１の方向において、光照射野コンテンツからの画像と関連付けられた第１のオクルージョン情報セットを演算することと、
－ 光照射野コンテンツからの画像のビュー方向及び第１の方向とは異なる少なくとも第２の方向において、光照射野コンテンツからの画像と関連付けられた少なくとも第２のオクルージョン情報セットを演算することと、
－ 場面の積層深度データを生成するために、光照射野コンテンツからの画像、深度マップ、第１のオクルージョン情報セット及び第２のオクルージョン情報セットを集約することと
を含む、方法が提供される。

【0008】

本発明の実施形態による方法は、光学デバイスによって直接取得される光照射野コンテンツに限定されない。これらのコンテンツは、所定の場面記述に対してコンピュータによって完全に又は部分的にシミュレーションされたコンピュータグラフィックス画像（ＣＧＩ）であり得る。光照射野コンテンツの別の供給源は、光学デバイス又はＣＧＩから得られた修正済みの（例えば、カラーグレーディング済みの）光照射野コンテンツである撮影後のデータであり得る。また、現在では、映画産業において、光学取得デバイスを使用して取得されたデータとＣＧＩデータとの両方が混ざったデータを有することは一般的である。

【0009】

本発明の実施形態による方法は、あらゆる方向における視差を提供し、考慮される画像のビュー方向とは異なる多数の方向における視点の変更を可能にする、光照射野コンテンツの使用に依存する。

【0010】

光照射野コンテンツの使用に依存するそのような方法は、広い軸間距離で見られる複雑な場面で起こり得る複数層ディスオクルージョンをあらわにする視点のレンダリングを可能にする。

【0011】

上記で言及される方法に従って生成される積層深度データは、光照射野コンテンツからの画像、前記画像と関連付けられた深度マップ、前記画像と関連付けられた第１のオクルージョン情報セット及び第２のオクルージョン情報セットを少なくとも含む。

【0012】

本発明の実施形態では、光出願されたコンテンツは、映像コンテンツであり得る。

【0013】

積層深度データを生成するための方法の実施形態によれば、第１のオクルージョン情報セット及び第２のオクルージョン情報セットは、第３のオクルージョン情報セットを生成するために共にマージされ、前記第３の情報セットは、場面の積層深度データを生成するために、光照射野コンテンツからの画像及び深度マップと集約される。

【0014】

第１及び第２のオクルージョン情報セットをマージすることにより、送信データの量及び受信機側における処理データの量を低減することができる。第１及び第２のオクルージョン情報セットをマージすることにより、第３のオクルージョン情報セットが生成され、第３のオクルージョン情報セットは、独特のオクルージョン情報の形態を取り得、２つの考慮される方向におけるオクルージョン情報を表す。

【0015】

積層深度データを生成するための方法の実施形態によれば、第１及び第２のオクルージョン情報セットを演算することは、第１及び第２のそれぞれの方向において、コンテンツ光照射野の画像を光照射野コンテンツからの別の隣接画像と比較することにある。

【0016】

例えば、第１の方向が光照射野コンテンツからの画像のビュー方向に対して水平方向であると考慮すると、第１のオクルージョン情報セットは、水平方向において、光出願されたコンテンツの画像を光照射野コンテンツからの隣接画像と比較することによって得られる。

【0017】

例えば、第２の方向が光照射野コンテンツからの画像のビュー方向に対して垂直方向であると考慮すると、第２のオクルージョン情報セットは、垂直方向において、光出願されたコンテンツの画像を光照射野コンテンツからの隣接画像と比較することによって得られる。

【0018】

本発明の別の目的は、場面の積層深度データを生成するための装置であって、
－ 場面を表す光照射野コンテンツからの画像の深度マップを演算することであって、前記画像が、所定のビュー方向に従って見られる、演算することと、
－ 光照射野コンテンツからの画像のビュー方向とは異なる第１の方向において、光照射野コンテンツからの画像と関連付けられた第１のオクルージョン情報セットを演算することと、
－ 光照射野コンテンツからの画像のビュー方向及び第１の方向とは異なる少なくとも第２の方向において、光照射野コンテンツからの画像と関連付けられた少なくとも第２のオクルージョン情報セットを演算することと、
－ 場面の積層深度データを生成するために、光照射野コンテンツからの画像、深度マップ、第１のオクルージョン情報セット及び第２のオクルージョン情報セットを集約することと
を行うように構成されたプロセッサを含む、装置に関係する。

【0019】

場面の積層深度データを生成するための装置の実施形態によれば、第１のオクルージョン情報セット及び第２のオクルージョン情報セットは、第３のオクルージョン情報セットを生成するために共にマージされ、前記第３の情報セットは、場面の積層深度データを生成するために、光照射野コンテンツからの画像及び深度マップと集約される。

【0020】

場面の積層深度データを生成するための装置の実施形態によれば、第１及び第２のオクルージョン情報セットを演算することは、第１及び第２のそれぞれの方向において、コンテンツ光照射野の画像を光照射野コンテンツからの別の隣接画像と比較することにある。

【0021】

本発明の別の目的は、場面を表す光照射野コンテンツを処理するための方法であって、場面の光照射野コンテンツと関連付けられた場面の積層深度データに基づいて前記光照射野コンテンツを処理することを含む、方法であり、積層深度データが、光照射野コンテンツからの画像の深度マップと、光照射野コンテンツからの画像と関連付けられた第１のオクルージョン情報セットであって、光照射野コンテンツからの画像のビュー方向とは異なる第１の方向において演算された第１のオクルージョン情報セットと、光照射野コンテンツからの画像と関連付けられた第２のオクルージョン情報セットであって、光照射野コンテンツからの画像のビュー方向とは異なる第２の方向において演算された少なくとも第２のオクルージョン情報セットとを含む、方法に関係する。

【0022】

本発明の別の目的は、場面の積層深度データの生成が可能な第１の装置によって、場面の前記積層深度データの処理が可能な第２の装置に送信される信号であって、場面の積層深度データを含むメッセージを伝える信号であり、前記積層深度データが、場面の光照射野コンテンツからの画像の深度マップと、光照射野コンテンツからの画像と関連付けられた第１のオクルージョン情報セットであって、光照射野コンテンツからの画像のビュー方向とは異なる第１の方向において演算された第１のオクルージョン情報セットと、光照射野コンテンツからの画像と関連付けられた第２のオクルージョン情報セットであって、光照射野コンテンツからの画像のビュー方向とは異なる第２の方向において演算された少なくとも第２のオクルージョン情報セットとを含み、第２の装置による捕捉画像の処理が、前記積層深度データに基づく、信号に関係する。

【0023】

本発明の要素によって実装されるいくつかのプロセスは、コンピュータ実装することができる。それに従って、そのような要素は、完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）又は本明細書ではすべてを「回路」、「モジュール」若しくは「システム」と一般的に呼ぶことができるソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態を取ることができる。その上、そのような要素は、コンピュータ使用可能プログラムコードがその媒体で具体化される任意の有形表現媒体で具体化されるコンピュータプログラム製品の形態を取ることができる。

【0024】

本発明の要素はソフトウェアにおいて実装できるため、本発明は、任意の適切なキャリア媒体上のプログラム可能装置に提供するためのコンピュータ可読コードとして具体化することができる。有形キャリア媒体は、フロッピーディスク、ＣＤ－ＲＯＭ、ハードディスクドライブ、磁気テープデバイス又はソリッドステートメモリデバイス及び同様のものなどの記憶媒体を含み得る。一時的なキャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号又は電磁信号（例えば、マイクロ波若しくはＲＦ信号）などの信号を含み得る。

【0025】

図面の簡単な説明
ここでは、単なる例示として、以下の図面を参照して、本発明の実施形態を説明する。

【図面の簡単な説明】

【0026】

【図1A】プレノプティックカメラを概略的に表す。

【図1B】カメラリグの概略図を表す。

【図2A】少なくとも５つのカメラを含むカメラのアレイの水平方向に位置合わせされた３つのカメラＣ１、Ｃ２、Ｃ３及びこれらのカメラによって取得された空間の部分を表す。

【図2B】少なくとも５つのカメラを含むカメラのアレイの垂直方向に位置合わせされた３つのカメラＣ４、Ｃ２、Ｃ５及びこれらのカメラによって取得された空間の部分を示す。

【図3】本開示の実施形態による、場面の積層深度データを得るための装置の例を示す概略ブロック図である。

【図4】本発明の実施形態による、場面の積層深度データを生成するためのプロセスを説明するためのフローチャートである。

【図5A】本発明の第１の実施形態に従って生成された場面の積層深度データを表す。

【図5B】本発明の第２の実施形態に従って生成された場面の積層深度データを表す。

【発明を実施するための形態】

【0027】

詳細な説明
当業者によって理解されるように、本原理の態様は、システム、方法又はコンピュータ可読媒体として具体化することができる。それに従って、本原理の態様は、完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）又は本明細書ではすべてを「回路」、「モジュール」若しくは「システム」と一般的に呼ぶことができるソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態を取ることができる。その上、本原理の態様は、コンピュータ可読記憶媒体の形態を取ることができる。１つ又は複数のコンピュータ可読記憶媒体のいかなる組合せも利用することができる。

【0028】

プレノプティックカメラは、メインレンズとセンサとの間にマイクロレンズアレイを配置することによって、センサと交差する各光線束に沿って進む光の量を測定することができる。そのようなカメラによって取得されたデータは、光照射野データ又は光照射野コンテンツと呼ばれる。これらの光照射野データは、異なる視点から場面の画像を再構築するために後処理することができる。光照射野データは、各々が異なるリフォーカス深度を有する画像の集合体を含むフォーカルスタックを生成するために使用することができる。その結果、ユーザは、画像の焦点を変更することができる。従来のカメラと比べて、プレノプティックカメラは、後処理によって異なる視点及びリフォーカス深度からの場面の画像の再構築を達成するための追加の情報を得ることができる。

【0029】

従って、積層深度映像のコンテキストにおける光照射野データのこれらの特異性の使用が可能である。

【0030】

図１Ａは、プレノプティックカメラ１００を概略的に表す図である。光照射野カメラは、四次元（又は４Ｄ）光照射野データの記録が可能である。プレノプティックカメラ１００は、メインレンズ１０１、マイクロレンズアレイ１０２及び画像センサ１０４を含む。

【0031】

図１Ｂは、カメラリグ１１０の概略図を表す。カメラリグ１１０は、多数のセンサ１１４を含み、その各々は、レンズ１１２と関連付けられる。

【0032】

図１Ａに示されるようなプレノプティックカメラ１００の例では、メインレンズ１０１は、メインレンズ１０１の物体フィールドの物体（図示せず）から光を受信し、メインレンズ１０１の画像フィールドに光を通す。マイクロレンズアレイ１０２は、二次元アレイ状に配置された多数のマイクロレンズ１０３を含む。

【0033】

光照射野カメラによって捕捉されたデータは、異なる視点から場面の画像を再構築するために後処理することができる。光照射野カメラは、わずかに変更した視点から同じ場面の部分ビューの集合体の捕捉が可能であるため、それらの異なる部分ビューを組み合わせることによって、焦点面がカスタマイズされた画像を作成することができる。

【0034】

図２Ａ及び図２Ｂは、水平方向に位置合わせされた３つのカメラＣ１、Ｃ２、Ｃ３及び垂直方向に位置合わせされた３つのカメラＣ４、Ｃ２、Ｃ５を含むカメラのアレイ並びにこれらのカメラによって取得された空間の部分を表す。当然ながら、カメラの数は５つに限定されず、カメラのアレイに埋め込まれた５つ未満のカメラ又は５つを超えるカメラが存在し得る。

【0035】

図２Ａでは、カメラＣ１、Ｃ２、Ｃ３は、水平軸に沿って位置合わせされる。画面２０の第１のエリア２００は、カメラＣ１からは見えるが、カメラＣ２、Ｃ３からは見えず、画面２０の第２のエリア２０１は、カメラＣ３からは見えるが、カメラＣ２、Ｃ１からは見えない。

【0036】

図２Ａの参照２０２は、カメラＣ１から見えた場面の画像である。画像２０２の第１の部分２０２０は、カメラＣ１とカメラＣ２の両方から見えたものである。画像２０２の第２の部分２０２１は、カメラＣ１からは見え、カメラＣ２からはオクルードされたものである。

【0037】

図２Ａの参照２０３は、カメラＣ２から見えた場面の画像である。

【0038】

図２Ａの参照２０４は、カメラＣ３から見えた場面の画像である。画像２０４の第１の部分２０４０は、カメラＣ３とカメラＣ２の両方から見えたものである。画像２０４の第２の部分２０４１は、カメラＣ３からは見え、カメラＣ２からはオクルードされたものである。

【0039】

図２Ｂでは、カメラＣ４、Ｃ２、Ｃ５は、水平軸に沿って位置合わせされる。画面２０の第１のエリア２１０は、カメラＣ４からは見えるが、カメラＣ２からは見えず、画面２０の第２のエリア２１１は、カメラＣ５からは見えるが、カメラＣ２からは見えない。

【0040】

図２Ｂの参照２１２は、カメラＣ４から見えた場面の画像である。画像２１２の第１の部分２１２０は、カメラＣ４とカメラＣ２の両方から見えたものである。画像２１２の第２の部分２１２１は、カメラＣ４からは見え、カメラＣ２からはオクルードされたものである。

【0041】

図２Ｂの参照２０３は、カメラＣ２から見えた場面の画像である。

【0042】

図２Ｂの参照２１４は、カメラＣ５から見えた場面の画像である。画像２１４の第１の部分２１４０は、カメラＣ５とカメラＣ２の両方から見えたものである。画像２１４の第２の部分２１４１は、カメラＣ５からは見え、カメラＣ２からはオクルードされたものである。

【0043】

図３は、本開示の実施形態による、場面の積層深度データを生成するための装置の例を示す概略ブロック図である。

【0044】

装置３００は、プロセッサ３０１、格納ユニット３０２、入力デバイス３０３、表示デバイス３０４及びインタフェースユニット３０５を含み、それらは、バス３０６によって接続される。当然ながら、コンピュータ装置３００の構成要素は、バス接続以外の接続によって接続することができる。

【0045】

プロセッサ３０１は、装置３００の動作を制御する。格納ユニット３０２は、プロセッサ３０１によって実行される少なくとも１つのプログラムや、光照射野カメラによって捕捉され提供された４Ｄ光照射野画像のデータ、プロセッサ３０１によって実行される演算によって使用されたパラメータ、プロセッサ３０１によって実行される演算の中間データなどを含む様々なデータを格納する。プロセッサ３０１は、いかなる公知の適切なハードウェア若しくはソフトウェア、又は、ハードウェアとソフトウェアの組合せによっても形成することができる。例えば、プロセッサ３０１は、処理回路などの専用ハードウェアによって又はそのメモリに格納されたプログラムを実行するＣＰＵ（中央処理装置）などのプログラム可能処理ユニットによって形成することができる。

【0046】

格納ユニット３０２は、いかなる適切な記憶装置又はコンピュータ可読方式でプログラム、データ若しくは同様のものの格納が可能な手段によっても形成することができる。格納ユニット３０２の例は、半導体メモリデバイス、並びに、読取及び書込ユニットにロードされた磁気、光又は光磁気記録媒体などの非一時的なコンピュータ可読記憶媒体を含む。プログラムは、図５を参照して以下で説明されるように、本開示の実施形態による、画像のぼやけ度を表す登録エラーマップを得るためのプロセスをプロセッサ３０１に実行させる。

【0047】

入力デバイス３０３は、コマンドを入力して、リフォーカス表面を定義するために使用される対象物体の三次元（又は３Ｄ）モデルに対するユーザの選択を行うためにユーザが使用するためのキーボード、マウスなどのポインティングデバイス又は同様のものによって形成することができる。出力デバイス３０４は、例えば、グラフィカルユーザインタフェース（ＧＵＩ）など、本開示の実施形態に従って生成される画像を表示するための表示デバイスによって形成することができる。入力デバイス３０３及び出力デバイス３０４は、例えば、タッチスクリーンパネルによって一体化して形成することができる。

【0048】

インタフェースユニット３０５は、装置３００と外部の装置との間のインタフェースを提供する。インタフェースユニット３０５は、ケーブル又は無線通信を介して外部の装置と通信可能であり得る。実施形態では、外部の装置は、光照射野カメラであり得る。この事例では、光照射野カメラによって捕捉される４Ｄ光照射野画像のデータは、光照射野カメラからインタフェースユニット３０５を通じて装置３００に入力し、次いで、格納ユニット３０２に格納することができる。

【0049】

この実施形態では、装置３００は、光照射野カメラから分離され、ケーブル又は無線通信を介して互いに通信可能なものとして例示的に論じられているが、装置３００は、そのような光照射野カメラと統合できることに留意すべきである。この後者の事例では、装置３００は、例えば、光照射野カメラを埋め込むタブレット又はスマートフォンなどのポータブルデバイスであり得る。

【0050】

図４は、本開示の実施形態による、場面の積層深度データを生成するためのプロセスを説明するためのフローチャートである。

【0051】

ステップ４０１では、装置３００のプロセッサ３０１は、光照射野カメラによって捕捉され提供されるか又は装置３００の格納ユニット３０２に格納された場面の光照射野コンテンツを回収する。この後者の事例では、光照射野コンテンツは、例えば、所定の場面記述に対してコンピュータによって完全に又は部分的にシミュレーションされたコンピュータグラフィックス画像（ＣＧＩ）である。

【0052】

ステップ４０２では、装置３００のプロセッサ３０１は、回収された光照射野コンテンツの少なくとも１つの視点に対する深度マップを演算する。光照射野コンテンツからの考慮される視点は、場面の所定のビュー方向に相当する。所定の画像に対し、深度についての情報は、ビュー間視差に関連する。ビュー間視差は、光照射野コンテンツを取得するために使用された実際の又は仮想の光照射野カメラの光学系の焦点距離及び軸間距離に応じた倍率に対する深度の逆関数である。ビュー間視差は、例えば、“A precise real-time stereo algorithm”, V. Drazic, N. Sabater, Proceedings of the 27th Conference on Image and Vision Computing New Zealandで説明されるような対応分析を実行することによって、ピクセル数に基づいて階層的に推定される。演算済みの深度マップにおいてスムーズな深度変動と共に鮮明な縁を提示するため、適切な正則化コストを使用して深度マップの演算の間に、又は、例えば、バイラテラルフィルタリングを用いて後処理として、正則化を実行することができる。

【0053】

深度マップは、利用可能なあらゆるビュー方向に対して演算される。例えば、図２Ａ及び２Ｂで表されるように、光照射野コンテンツがカメラのアレイによって取得される際は、考慮される画像は、カメラＣ２によって取得された画像２０２である。左から右への視差推定は、カメラＣ２の左側に位置するカメラＣ１によって取得された画像２０２に対応する深度マップを得るために実行される。右から左への視差推定は、カメラＣ２の右側に位置するカメラＣ３によって取得された画像２０４に対応する深度マップを得るために実行される。

【0054】

次いで、上から下への視差推定は、カメラＣ２の上側に位置するカメラＣ４によって取得された画像２１２に対応する深度マップを得るために実行される。下から上への視差推定は、カメラＣ２の下側に位置するカメラＣ５によって取得された画像２１４に対応する深度マップを得るために実行される。

【0055】

ステップ４０３では、プロセッサ３０１は、画像２０３のビュー方向とは異なる第１の方向において、画像２０３と関連付けられた第１のオクルージョン情報セットを演算する。

【0056】

オクルージョンは、例えば、画像２０２及び２０３などの２つの隣接画像と関連付けられた深度マップを比較することによって検出される。オクルージョンは、２つの隣接画像２０３及び２０２と関連付けられた深度マップが一致しないエリアで起こる。これらは、カメラＣ１からは見え、カメラＣ２からはオクルードされた画像２０２の第２の部分２０２１に相当する。画像２０２の部分２０２１に相当する深度マップのそのような部分は、対応分析によって推定された深度は信頼できないため、空としてラベル付けされ、次いで、例えば、深度勾配及び湾曲を保存する背景伝播に基づく従来の方法で埋められる。

【0057】

ステップ４０３の間、画像２０３及び２０４などの２つの隣接画像と関連付けられた深度マップを比較することによって、別のオクルージョン情報セットを演算することができる。

【0058】

ステップ４０４では、プロセッサ３０１は、画像２０３のビュー方向及び第１の方向とは異なる第２の方向において、画像２０３と関連付けられた第２のオクルージョン情報セットを演算する。

【0059】

例えば、画像２１２及び２０３などの２つの隣接画像と関連付けられた深度マップが演算される。オクルージョンは、２つの隣接画像２０３及び２１２と関連付けられた深度マップが一致しないエリアで起こる。これらは、カメラＣ４からは見え、カメラＣ２からはオクルードされた画像２１２の第２の部分２１２１に相当する。

【0060】

ステップ４０４の間、画像２１３及び２１４などの２つの隣接画像と関連付けられた深度マップを比較することによって、別のオクルージョン情報セットを演算することができる。

【0061】

プロセッサ３０１は、画像２０３のビュー方向及び第１の方向とは異なる他の方向において、画像２０３と関連付けられた２つを超えるオクルージョン情報セットを演算することができる。ステップ４０５では、プロセッサ３０１は、場面の積層深度データを生成する。上記で言及される方法に従って生成される積層深度データは、光照射野コンテンツからの画像、前記画像と関連付けられた深度マップ、前記画像と関連付けられた第１のオクルージョン情報セット及び第２のオクルージョン情報セットを少なくとも含む。

【0062】

本発明の実施形態では、光出願されたコンテンツは、映像コンテンツであり得る。

【0063】

図５Ａで表される第１の実施形態では、場面の積層深度データは、画像２０３、画像２０３と関連付けられた深度マップ５０、オクルージョンマスク５１の形態の第１のオクルージョン情報セット及びオクルージョンマスク５２の形態の第２のオクルージョン情報セットを集約することによって生成される。図５Ｂで表される第２の実施形態では、場面の積層深度データは、画像２０３、画像２０３と関連付けられた深度マップ５０及びオクルージョンマスク５３の形態の第３のオクルージョン情報セットを集約することによって生成される。

【0064】

この第３のオクルージョン情報セットは、第１のオクルージョン情報及び第２のオクルージョン情報セットをマージすることによって演算される。

【0065】

例えば、第３のオクルージョン情報セットは、第１及び第２のオクルージョン情報の平均値を含み得る。２つを超えるオクルージョン情報セットが利用可能な事例では、プロセッサ３０１は、例えば、関連信頼基準に基づいて、積層深度データを生成するために使用されるオクルージョン情報セットとして、それらのうちの１つを選択することができる。

【0066】

次いで、ステップ４０６では、レンダリングデバイス又は処理デバイスに向けて積層深度データが送信される。

【0067】

本発明は、上記では、特定の実施形態に関して説明されているが、本発明は、特定の実施形態に限定されず、変更形態は、当業者には明らかであり、本発明の範囲内にある。

【0068】

多くのさらなる変更形態及び変形形態は、前述の例示的な実施形態を参照する際にそれら自体を当業者に示唆し、前述の例示的な実施形態は、単なる例示として提供され、本発明の範囲を制限することを意図せず、本発明の範囲は、添付の請求項によってのみ決定される。特に、異なる実施形態からの異なる特徴は、適切な場合に、交換可能であり得る。
［付記１］
場面の積層深度データを生成するためのコンピュータ実装方法であって、
－ 前記場面を表す光照射野コンテンツからの画像の深度マップを演算することであって、前記画像が、所定のビュー方向に従って見られる、演算することと、
－ 前記光照射野コンテンツからの前記画像の前記ビュー方向とは異なる第１の方向において、前記光照射野コンテンツからの前記画像と関連付けられた第１のオクルージョン情報セットを演算することと、
－ 前記光照射野コンテンツからの前記画像の前記ビュー方向及び前記第１の方向とは異なる少なくとも第２の方向において、前記光照射野コンテンツからの前記画像と関連付けられた少なくとも第２のオクルージョン情報セットを演算することと、
－ 前記場面の前記積層深度データを生成するために、前記されたコンテンツからの前記画像、前記深度マップ、前記第１のオクルージョン情報セット及び前記第２のオクルージョン情報セットを集約することと
を含む、方法。
［付記２］
前記第１のオクルージョン情報セット及び前記第２のオクルージョン情報セットが、第３のオクルージョン情報セットを生成するために共にマージされ、前記第３の情報セットが、前記場面の前記積層深度データを生成するために、前記光照射野コンテンツからの前記画像及び前記深度マップと集約される、付記１に記載の方法。
［付記３］
前記第１及び前記第２のオクルージョン情報セットを演算することが、前記第１及び前記第２のそれぞれの方向において、前記光照射野コンテンツからの前記画像を前記光照射野コンテンツからの別の隣接画像と比較することにある、付記１又は２に記載の方法。
［付記４］
場面の積層深度データを生成するための装置であって、
－ 前記場面を表す光照射野コンテンツからの画像の深度マップを演算することであって、前記画像が、所定のビュー方向に従って見られる、演算することと、
－ 前記光照射野コンテンツからの前記画像の前記ビュー方向とは異なる第１の方向において、前記光照射野コンテンツからの前記画像と関連付けられた第１のオクルージョン情報セットを演算することと、
－ 前記光照射野コンテンツからの前記画像の前記ビュー方向及び前記第１の方向とは異なる少なくとも第２の方向において、前記光照射野コンテンツからの前記画像と関連付けられた少なくとも第２のオクルージョン情報セットを演算することと、
－ 前記場面の前記積層深度データを生成するために、前記光照射野コンテンツからの前記画像、前記深度マップ、前記第１のオクルージョン情報セット及び前記第２のオクルージョン情報セットを集約することと
を行うように構成されたプロセッサを含む、装置。
［付記５］
前記第１のオクルージョン情報セット及び前記第２のオクルージョン情報セットが、第３のオクルージョン情報セットを生成するために共にマージされ、前記第３の情報セットが、前記場面の前記積層深度データを生成するために、前記光照射野コンテンツからの前記画像及び前記深度マップと集約される、付記４に記載の装置。
［付記６］
前記第１及び前記第２のオクルージョン情報セットを演算することが、前記第１及び前記第２のそれぞれの方向において、前記コンテンツ光照射野の前記画像を前記光照射野コンテンツからの別の隣接画像と比較することにある、付記４又は５に記載の装置。
［付記７］
場面を表す光照射野コンテンツを処理するための方法であって、前記場面の前記光照射野コンテンツと関連付けられた前記場面の積層深度データに基づいて前記光照射野コンテンツを処理することを含む、方法であり、前記積層深度データが、前記光照射野コンテンツからの画像の深度マップと、前記光照射野コンテンツからの前記画像と関連付けられた第１のオクルージョン情報セットであって、前記光照射野コンテンツからの前記画像のビュー方向とは異なる第１の方向において演算された第１のオクルージョン情報セットと、前記光照射野コンテンツからの前記画像と関連付けられた第２のオクルージョン情報セットであって、少なくとも前記光照射野コンテンツからの前記画像のビュー方向とは異なる第２の方向において演算された少なくとも第２のオクルージョン情報セットとを含む、方法。
［付記８］
場面の積層深度データの生成が可能な第１の装置によって、前記場面の前記積層深度データの処理が可能な第２の装置に送信される信号であって、前記場面の前記積層深度データを含むメッセージを伝える信号であり、前記積層深度データが、前記場面の光照射野コンテンツからの画像の深度マップと、前記光照射野コンテンツからの前記画像と関連付けられた第１のオクルージョン情報セットであって、前記光照射野コンテンツからの前記画像のビュー方向とは異なる第１の方向において演算された第１のオクルージョン情報セットと、前記光照射野コンテンツからの前記画像と関連付けられた第２のオクルージョン情報セットであって、前記光照射野コンテンツからの前記画像のビュー方向とは異なる第２の方向において演算された少なくとも第２のオクルージョン情報セットとを含み、前記第２の装置による前記捕捉画像の前記処理が、前記積層深度データに基づく、信号。
［付記９］
プログラムがプロセッサによって実行されると、付記１から３のいずれか一項に記載の場面の積層深度データを生成するための方法を実装するためのプログラムコード命令を含むことを特徴とするコンピュータプログラム。

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4】

【図5A】

【図5B】