特許 7744334 ボリュメトリックビデオを符号化、送信、及び復号する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-09-16

(45)【発行日】2025-09-25

(54)【発明の名称】ボリュメトリックビデオを符号化、送信、及び復号する方法及び装置

(51)【国際特許分類】

   H04N 19/597 20140101AFI20250917BHJP

   H04N 19/182 20140101ALI20250917BHJP

   H04N 19/70 20140101ALI20250917BHJP

【ＦＩ】

H04N19/597

H04N19/182

H04N19/70

【請求項の数】 12

(21)【出願番号】P 2022518235

(86)(22)【出願日】2020-09-22

(65)【公表番号】

(43)【公表日】2022-11-25

(86)【国際出願番号】 EP2020076355

(87)【国際公開番号】W WO2021063732

(87)【国際公開日】2021-04-08

【審査請求日】2023-09-22

(31)【優先権主張番号】19306222.1

(32)【優先日】2019-09-30

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】20305005.9

(32)【優先日】2020-01-07

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518341334

【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】フルーロー、ジュリアン

(72)【発明者】

【氏名】トゥドール、フランク

(72)【発明者】

【氏名】ドーレ、ルノー

【審査官】田中 純一

(56)【参考文献】

【文献】特表２０１２－５０５５６９（ＪＰ，Ａ）

【文献】国際公開第２０１０／０４１９９８（ＷＯ，Ａ１）

【文献】特表２０１４－５２０４０９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０１１１６１１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

Ｈ０４Ｎ １３／００ － １７／０６

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

データストリームにマルチビューフレームのビューを符号化する方法であって、
前記マルチビューフレームのビューを連結する非周期グラフを取得することであって、前記非周期グラフのリンクは、枝刈り優先順位関係を表し、前記マルチビューフレームの少なくとも１つの基本ビューは、枝刈り優先順位リンクを有しない、ことと、
所与のビューが、前記枝刈り優先順位リンクによって、前記所与のビューに連結されたビューの後に枝刈りされるように、前記マルチビューフレームのビューのピクセルを決定された順序で枝刈りすることであって、前記ピクセルが基本ビューのピクセル内又は枝刈りされたビュー内で符号化された情報に対応するときに、前記所与のビューのピクセルが枝刈りされる、ことと、
前記非周期グラフ、前記少なくとも１つの基本ビュー及び前記枝刈りされたビューを前記データストリームに符号化することと、
を含む方法。

【請求項2】

ビューのピクセルを枝刈りすることは、前記ピクセルの値を決定された値で置き換えることを含む、請求項１に記載の方法。

【請求項3】

前記非周期グラフは、前記マルチビューフレームのビューごとに、前記ビューに連結されたビューのリストを含むリストとして、前記データストリーム内でシグナリングされる、請求項１に記載の方法。

【請求項4】

データストリームにマルチビューフレームのビューを符号化するデバイスであって、
前記マルチビューフレームのビューを連結する非周期グラフを取得することであって、前記非周期グラフのリンクは、枝刈り優先順位関係を表し、前記マルチビューフレームの少なくとも１つの基本ビューは、枝刈り優先順位リンクを有しない、ことと、
所与のビューが、前記枝刈り優先順位リンクによって、前記所与のビューに連結されたビューの後に枝刈りされるように、前記マルチビューフレームのビューのピクセルを決定された順序で枝刈りすることであって、前記ピクセルが基本ビューのピクセル内又は枝刈りされたビュー内で符号化された情報に対応するときに、前記所与のビューのピクセルが枝刈りされる、ことと、
前記非周期グラフ、前記少なくとも１つの基本ビュー及び前記枝刈りされたビューを前記データストリームに符号化することと、
を行うように構成されたプロセッサを備えたデバイス。

【請求項5】

ビューのピクセルを枝刈りすることは、前記ピクセルの値を決定された値で置き換えることを含む、請求項４に記載のデバイス。

【請求項6】

前記非周期グラフは、前記マルチビューフレームのビューごとに、前記ビューに連結されたビューのリストを含むリストとして、前記データストリーム内でシグナリングされる、請求項４に記載のデバイス。

【請求項7】

データストリームからマルチビューフレームのビューを復号する方法であって、
前記データストリームから前記マルチビューフレームの前記ビューを取得することであって、少なくとも１つの基本ビューは、枝刈りされておらず、他のビューは、枝刈りされている、ことと、
前記データストリームから非周期グラフを取得することであって、前記非周期グラフは、前記マルチビューフレームのビューを連結し、前記非周期グラフのリンクは、枝刈り優先順位関係を表し、前記マルチビューフレームの前記少なくとも１つの基本ビューは、枝刈り優先順位リンクを有しない、ことと、
前記非周期グラフの前記枝刈り優先順位関係の関数として、前記マルチビューフレームの各ビューの寄与を決定することによって、視認姿勢に従って、ビューポートフレームを生成することと、
を含む方法。

【請求項8】

枝刈りされたビューの枝刈りされたピクセルは、決定された値を有する、請求項７に記載の方法。

【請求項9】

前記非周期グラフは、前記マルチビューフレームのビューごとに、前記ビューに連結されたビューのリストを含むリストとして、前記データストリーム内でシグナリングされる、請求項７に記載の方法。

【請求項10】

データストリームからマルチビューフレームのビューを復号するデバイスであって、
前記データストリームから前記マルチビューフレームの前記ビューを取得することであって、少なくとも１つの基本ビューは、枝刈りされておらず、他のビューは、枝刈りされている、ことと、
前記データストリームから非周期グラフを取得することであって、前記非周期グラフは、前記マルチビューフレームのビューを連結し、前記非周期グラフのリンクは、ビュー枝刈り優先順位関係を表し、前記マルチビューフレームの前記少なくとも１つの基本ビューは、枝刈り優先順位リンクを有しない、ことと、
前記非周期グラフの前記枝刈り優先順位関係の関数として、前記マルチビューフレームの各ビューの寄与を決定することによって、視認姿勢に従って、ビューポートフレームを生成することと、
を行うように構成されたプロセッサを含むデバイス。

【請求項11】

枝刈りされたビューの枝刈りされたピクセルは、決定された値を有する、請求項１０に記載のデバイス。

【請求項12】

前記非周期グラフは、前記マルチビューフレームのビューごとに、前記ビューに連結されたビューのリストを含むリストとして、前記データストリーム内でシグナリングされる、請求項１０に記載のデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本原理は、概して、三次元（３Ｄ）シーン及びボリュメトリックビデオコンテンツのドメインに関する。本文書はまた、モバイルデバイス又はヘッドマウントディスプレイ（ＨＭＤ）などのエンドユーザデバイス上のボリュメトリックコンテンツのレンダリングのための、３Ｄシーンのテクスチャ及び幾何学的形状を表すデータの符号化、フォーマット化及び復号の文脈において理解される。他のテーマの中でも、本原理は、最適なビットストリーム及びレンダリング品質を保証するためのマルチビュー画像のピクセルを枝刈りすることに関する。

【背景技術】

【0002】

本節は、以下に説明及び／又は特許請求される本原理の様々な態様に関連し得る様々な技術の態様を読者に紹介することを意図している。この考察は、本原理の様々な態様のより良好な理解を容易にするための背景情報を読者に提供するのに役立つと考えられる。したがって、これらの記述は、この観点から読まれるべきであり、先行技術の承認として読まれるべきではないことを理解されたい。

【0003】

近年、利用可能な大きな視野コンテンツ（最大３６０°）の成長があった。そのようなコンテンツは、ヘッドマウントディスプレイ、スマートグラス、ＰＣスクリーン、タブレット、スマートフォンなどの没入型表示デバイス上のコンテンツを視聴するユーザによって完全には見えない可能性がある。これは、所与の瞬間に、ユーザがコンテンツの一部のみを視認することができることを意味する。しかしながら、ユーザは、典型的には、頭部の動き、マウスの動き、タッチスクリーン、音声などの様々な手段によって、コンテンツ内をナビゲートすることができる。典型的には、このコンテンツを符号化及び復号化することが望ましい。

【0004】

３６０°フラットビデオとも呼ばれる没入型ビデオにより、ユーザは、静止点の周りの頭部の回転を通じて自身の周りの全てを視聴することができる。回転は、３自由度（３ＤｏＦ）体験のみを可能にする。例えば、３ＤｏＦビデオが、ヘッドマウントディスプレイデバイス（ＨＭＤ）を使用した第１の全方向性ビデオ体験に十分である場合であっても、例えば視差を体験することによって、より多くの自由度を期待する視聴者にとって、３ＤｏＦビデオは即座に苛立たしいものになる可能性がある。更に、３ＤｏＦはまた、ユーザが頭部を回転させるだけでなく、頭部を３方向に並進させるために、３ＤｏＦビデオ体験で再現されない並進のために、めまいを誘発し得る。

【0005】

大きな視野コンテンツは、とりわけ、三次元コンピュータグラフィック画像シーン（３Ｄ ＣＧＩシーン）、点群又は没入型ビデオであり得る。そのような没入型ビデオを設計するために多くの用語が使用され得る。例えば、仮想現実（ＶＲ）、３６０、パノラマ、４πステラジアン、没入型、全方向性又は大きな視野。

【0006】

ボリュメトリックビデオ（６自由度（６ＤｏＦ）ビデオとしても知られている）は、３ＤｏＦビデオの代替物である。６ＤｏＦビデオを視聴するとき、回転に加えて、ユーザはまた、視聴されたコンテンツ内で頭部を、更には自身の身体を並進させ、視差及び更には容積を体験することができる。そのようなビデオは、没入の感覚及びシーン奥行きの知覚を大幅に増加させ、頭部並進中に一貫した視覚的フィードバックを提供することによって、めまいを防止する。コンテンツは、目的のシーンの色及び奥行きの同時記録を可能にする専用センサの手段によって作成される。写真測量技術と組み合わせたカラーカメラのリグの使用は、技術的な困難が残っている場合でも、そのような記録を実行する方法である。

【0007】

３ＤｏＦビデオは、テクスチャ画像（例えば、緯度／経度投影マッピング又は正距円筒図法マッピングに従って符号化された球形画像）のアンマッピングから生じる一連の画像を含むが、６ＤｏＦビデオフレームは、いくつかの視点から情報を埋め込む。それらは、三次元捕捉から生じる時間的一連の点群として視認することができる。視聴条件に応じて、２種類のボリュメトリックビデオを考慮することができる。第１のもの（すなわち、完全な６ＤｏＦ）は、ビデオコンテンツ内の完全な自由ナビゲーションを可能にするが、第２のもの（別名３ＤｏＦ＋）は、ユーザ視認空間を視認境界ボックスと呼ばれる限られた容積に制限し、頭部及び視差体験の制限された容積を可能にする。この第２の文脈は、着座したオーディエンスメンバーの自由ナビゲーションと受動的視聴条件との間の貴重なトレードオフである。

【0008】

３ＤｏＦ＋コンテンツは、Ｍｕｌｔｉ－Ｖｉｅｗ＋Ｄｅｐｔｈ（ＭＶＤ）フレームのセットとして提供され得る。そのようなコンテンツは、専用のカメラによって捕捉された場合があるか、又は専用の（潜在的に写実的な）レンダリングによって、既存のコンピュータグラフィック（ＣＧ）コンテンツから生成され得る。ボリュメトリック情報は、対応する色及び奥行きアトラスに記憶された色及び奥行きパッチの組み合わせとして伝達され、それらは、コーデック（例えば、ＨＥＶＣ）を使用してビデオ符号化される。色及び奥行きパッチの各組み合わせは、ＭＶＤ入力ビューの部分を表し、全てのパッチのセットは、可能な限り冗長性を少なくしながら、シーン全体をカバーするように、符号化段階で設計される。復号段階では、アトラスは最初にビデオ復号され、パッチはビュー合成プロセスでレンダリングされて、所望の視認位置に関連付けられたビューポートを回復する。そのような解決策の問題は、パッチが、十分に非冗長かつ相補的であるように作成される方法に関する。

【発明の概要】

【0009】

以下は、本原理のいくつかの態様の基本的な理解を提供するための本原理の簡略化された概要を提示する。この概要は、本原理の広範な概要ではない。本原理の重要な又は重大な要素を特定することは意図されていない。以下の概要は、以下に提供されるより詳細な説明の前置きとして簡略化された形態で、本原理のいくつかの態様を単に提示するに過ぎない。

【0010】

本原理は、データストリーム内の枝刈りされたマルチビューフレームを符号化するための方法に関する。この方法は、
－非枝刈りマルチビューフレームのビューを連結する非周期グラフを取得することであって、グラフのリンクが、ビュー枝刈り優先順位を表す、取得することと、
－第１のビューが、枝刈り優先順位リンクによって、第１のビューに連結されたビューの後に枝刈りされるように、マルチビュー画像のビューのピクセルを決定された順序で枝刈りすることと、
－データストリーム内のグラフ及びプルーンビューを符号化することと、を含む。

【0011】

本原理はまた、この方法を実施するように構成されたプロセッサを備えるデバイスに関する。

【0012】

本原理はまた、データストリームから枝刈りされたマルチビューフレームを復号化する方法に関する。この方法は、
－データストリームから枝刈りされたマルチビューフレームを取得することと、
－データストリームから非周期グラフを取得することであって、グラフが、マルチビュー画像のビューを連結し、グラフのリンクが、ビュー枝刈り優先順位を表す、取得することと、
－グラフの枝刈り優先順位の関数として、枝刈りされたマルチビューフレームの各ビューの寄与を決定することによって、視認姿勢に従ってビューポートフレームを生成することと、を含む。

【0013】

本原理はまた、この方法を実施するように構成されたプロセッサを備えるデバイスに関する。

【0014】

本原理はまた、データストリームであって、
－枝刈りされたマルチビューフレームを表すデータと、
－非周期グラフを表すデータであって、グラフが、マルチビュー画像のビューを連結し、グラフのリンクが、ビュー枝刈り優先順位を表す、データと、を含む、データストリームに関する。

【図面の簡単な説明】

【0015】

本開示は、より良好に理解され、以下の説明を読むと、他の特定の特徴及び利点が明らかになり、本明細書は、添付の図面を参照する。

【図1】本原理の非限定的な実施形態による、３Ｄモデルに対応するオブジェクト及び点群の点の三次元（３Ｄ）モデルを示す。

【図2】本原理の非限定的な実施形態による、３Ｄシーンのシーケンスを表すデータの符号化、送信及び復号化の非限定的な例を示す。

【図3】本原理の非限定的な実施形態による、図１１及び図１２に関連して説明される方法を実施するように構成され得るデバイスの例示的なアーキテクチャを示す。

【図4】本原理の非限定的な実施形態による、データがパケットベースの送信プロトコルを介して送信されるときのストリームの構文の一実施形態の一例を示す。

【図5】本原理の非限定的な実施形態による、４つの投影中心の例を有するパッチアトラスアプローチを示す。

【図6】本原理の非限定的な実施形態による、３Ｄシーンの点のテクスチャ情報を含むアトラスの例を示す。

【図7】本原理の非限定的な実施形態による、図６の３Ｄシーンの点の奥行き情報を含むアトラスの例を示す。

【図8】本原理の非限定的な実施形態による、非枝刈りＭＶＤフレームから所与のビューポートのための画像を生成するときに、ビュー合成装置によって使用されるプロセスを示す。

【図9】本原理の非限定的な実施形態による、枝刈りされたＭＶＤフレームからの図８と同じビュー合成と示す。

【図10】本原理の非限定的な実施形態による、４×４マルチビューフレーム及びそのようなＭＶＤフレームのための例示的な枝刈りグラフを示す。

【図11】本原理の非限定的な実施形態による、データストリーム内のマルチビューフレームを符号化するための方法を示す。

【図12】本原理の非限定的な実施形態による、データストリームから枝刈りされたマルチビューフレームを復号化するための方法を示す。 ５．発明を実施するための形態

【0016】

本原理は、添付の図面を参照して以下により完全に説明され、本原理の例が示されている。しかしながら、本原理は、多くの代替形態で具体化され得、本明細書に記載の実施例に限定されるものとして解釈されるべきではない。したがって、本原理は、様々な修正及び代替的な形態の余地があるが、その具体的な例は、図面の例として示され、本明細書において詳細に説明される。しかしながら、本原理を開示された特定の形態に限定する意図はないが、反対に、本開示は、特許請求の範囲によって定義される本原理の趣旨及び範囲内にある全ての修正、均等物及び代替物を網羅することであることを理解されたい。

【0017】

本明細書で使用される用語は、特定の実施例のみを説明する目的のためであり、本原理を限定することを意図するものではない。本明細書で使用される場合、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、文脈が別途明確に示されない限り、複数形も含むことが意図される。本明細書で使用される場合、「含む（comprises）」、「含む（comprising）」、「含む（includes）」及び／又は「含む（including）」という用語は、記載された特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素及び／又はそれらのグループの存在又は追加を排除しないことが更に理解されるであろう。更に、要素が別の要素に「応答する」又は「接続される」と称される場合、それは、他の要素に直接応答するか、又は他の要素に接続され得るか、又は介在要素が存在し得る。対照的に、要素が他の要素に「直接応答する」又は「直接接続される」と称される場合、介在要素は存在しない。本明細書で使用される場合、「及び／又は」という用語は、関連付けられた列挙された項目のうちの１つ以上の任意の及び全ての組み合わせを含み、「／」と略され得る。

【0018】

本明細書では、第１、第２などの用語が様々な要素を説明するために使用され得るが、これらの要素はこれらの用語によって限定されるべきではないことが理解されよう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、第１の要素は、第２の要素と呼ぶことができ、同様に、第２の要素は、本原理の教示から逸脱することなく、第１の要素と呼ぶことができる。

【0019】

図の一部は、通信の主要な方向を示すために通信経路上に矢印を含むが、通信は、描かれた矢印と反対方向に発生し得ることを理解されたい。

【0020】

いくつかの例は、各ブロックが、指定された論理機能を実装するための１つ以上の実行可能命令を含む、回路要素、モジュール又はコードの部分を表すブロック図及び動作フローチャートに関して説明される。他の実装では、ブロックに記載された機能は、記載された順序から発生し得ることにも留意されたい。例えば、連続して示されている２つのブロックは、実際には実質的に同時に実行され得るか、又は関与する機能に応じて、ブロックが逆の順序で実行され得る。

【0021】

本明細書における「一例による」又は「一例における」は、本実施例に関連して説明される特定の特徴、構造又は特性が、本原理の少なくとも１つの実装形態に含まれ得ることを意味する。本明細書の様々な場所における「一例による」又は「一例における」の句の出現は、必ずしも全てが同じ例を指しているわけではなく、別個の又は代替的な実施例では、必ずしも他の実施例と相互に排他的ではない。

【0022】

特許請求の範囲に現れる参照番号は、単に例示としてのものであり、特許請求の範囲に限定的な影響を及ぼさないものとする。明示的に記載されていないが、本実施例及び変形例は、任意の組み合わせ又は部分的な組み合わせで用いられ得る。

【0023】

図１は、オブジェクト及び３Ｄモデル１０に対応する点群１１の点の三次元（３Ｄ）モデル１０を示す。３Ｄモデル１０及び点群１１は、例えば、他のオブジェクトを含む３Ｄシーンのオブジェクトの潜在的な３Ｄ表現に対応し得る。モデル１０は、３Ｄメッシュ表現であり得、点群１１の点は、メッシュの頂点であり得る。点群１１の点はまた、メッシュの面の表面上に広がった点であり得る。モデル１０はまた、点群１１のスプラッティングされたバージョンとして表すこともでき、モデル１０の表面は、点群１１の点をスプラッティングすることによって作成される。モデル１０は、ボクセル又はスプラインなどの多くの異なる表現によって表され得る。図１は、点群が３Ｄオブジェクトの表面表現と定義され得、３Ｄオブジェクトの表面表現がクラウドの点から生成され得るという事実を示す。本明細書で使用される場合、画像上の（３Ｄシーンの伸長点による）３Ｄオブジェクトの投影点は、この３Ｄオブジェクト、例えば、点群、メッシュ、スプラインモデル又はボクセルモデルの任意の表現を投影することと同等である。

【0024】

点群は、例えば、ベクトルベースの構造としてメモリで表すことができ、各点は、視点の参照フレーム内の独自の座標（例えば、三次元座標ＸＹＺ、又は視点からの／視点への立体角及び距離（奥行きとも呼ばれる））及び成分とも呼ばれる１つ以上の属性を有する。成分の例は、様々な色空間、例えば、ＲＧＢ（赤、緑及び青）又はＹＵＶ（Ｙが輝度成分及びＵＶ２つの色差成分である）で発現され得る色成分である。点群は、オブジェクトを含む３Ｄシーンの表現である。３Ｄシーンは、所与の視点又は視点の範囲から見ることができる。点群は、多くの方法によって、例えば、
・任意選択的に奥行きアクティブセンシングデバイスによって補完された、カメラのリグによって撮影された実オブジェクトの捕捉から、
・モデリングツールにおける仮想カメラのリグによって撮影された仮想／合成オブジェクトの捕捉から、
・実オブジェクトと仮想オブジェクトの両方の混合物から、取得され得る。

【0025】

特に３ＤｏＦレンダリングのために準備されたときの３Ｄシーンは、Ｍｕｌｔｉ－Ｖｉｅｗ＋Ｄｅｐｔｈ（ＭＶＤ）フレームによって表され得る。次いで、ボリュメトリックビデオは、ＭＶＤフレームのシーケンスである。このアプローチでは、ボリュメトリック情報は、対応する色及び奥行きアトラスに記憶された色及び奥行きパッチの組み合わせとして伝達され、それらは次いで、コーデック（典型的には、ＨＥＶＣ）を使用してビデオ符号化される。色及び奥行きパッチの各組み合わせは、典型的には、ＭＶＤ入力ビューの部分を表し、全てのパッチのセットは、可能な限り冗長性を少なくしながら、シーン全体をカバーするように、符号化段階で設計される。復号段階では、アトラスは最初にビデオ復号され、パッチはビュー合成プロセスでレンダリングされて、所望の視認位置に関連付けられたビューポートを回復する。

【0026】

図２は、３Ｄシーンのシーケンスを表すデータの符号化、送信及び復号化の非限定的な例を示す。例えば、同時に、３ＤｏＦ、３ＤｏＦ＋及び６ＤｏＦ復号化に適合することができる符号化形式。

【0027】

３Ｄシーン２０のシーケンスが取得される。ピクチャのシーケンスが２Ｄビデオであるとき、３Ｄシーンのシーケンスは３Ｄ（ボリュメトリックとも呼ばれる）ビデオである。３Ｄシーンのシーケンスは、３ＤｏＦ、３Ｄｏｆ＋又は６ＤｏＦレンダリング及び表示のためのボリュメトリックビデオレンダリングデバイスに提供され得る。

【0028】

３Ｄシーン２０のシーケンスは、エンコーダ２１に提供される。エンコーダ２１は、入力として１つの３Ｄシーン又は３Ｄシーンのシーケンスを取り、入力を表すビットストリームを提供する。ビットストリームは、メモリ２２内に、かつ／又は電子データ媒体上に記憶され得、ネットワーク２２を介して送信され得る。３Ｄシーンのシーケンスを表すビットストリームは、メモリ２２から読み取られ、かつ／又はデコーダ２３によってネットワーク２２から受信され得る。デコーダ２３は、ビットストリームによって入力され、例えば、点群形式で３Ｄシーンのシーケンスを提供する。

【0029】

エンコーダ２１は、いくつかのステップを実装するいくつかの回路を備え得る。第１のステップでは、エンコーダ２１は、各３Ｄシーンを少なくとも１つの２Ｄピクチャに投影する。３Ｄ投影は、三次元点を二次元平面にマッピングする任意の方法である。グラフィックデータを表示するための最新の方法は、平面（いくつかのビット平面からのピクセル情報）二次元媒体に基づいているため、このタイプの投影の使用は、特にコンピュータグラフィック、操作及びドラフト化において広範囲に及ぶ。投影回路２１１は、シーケンス２０の３Ｄシーンのための少なくとも１つの二次元フレーム２１１１を提供する。フレーム２１１１は、フレーム２１１１上に投影された３Ｄシーンを表す色情報及び奥行き情報を含む。変形例では、色情報及び奥行き情報は、２つの別個のフレーム２１１１及び２１１２において符号化される。

【0030】

メタデータ２１２は、投影回路２１１によって使用され、更新される。メタデータ２１２は、図５～７に関連して説明したように、投影動作（例えば、投影パラメータ）並びに色及び奥行き情報がフレーム２１１１及び２１１２内で編成される方法に関する情報を含む。

【0031】

ビデオ符号化回路２１３は、フレーム２１１１及び２１１２のシーケンスをビデオとして符号化する。３Ｄシーン２１１１及び２１１２のピクチャ（又は３Ｄシーンのピクチャのシーケンス）は、ビデオエンコーダ２１３によってストリーム内で符号化される。次いで、ビデオデータ及びメタデータ２１２は、データカプセル化回路２１４によってデータストリーム内でカプセル化される。

【0032】

エンコーダ２１３は、例えば、
－ＪＰＥＧ、仕様ＩＳＯ／ＣＥＩ１０９１８－１ＵＩＴ－Ｔ推奨Ｔ．８１、ｈｔｔｐｓ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｔ．８１／ｅｎ；
－ＭＰＥＧ－４ＡＶＣ又はｈ２６４とも呼ばれるＡＶＣなどのエンコーダに準拠する。ＵＩＴ－ＴＨ．２６４及びＩＳＯ／ＣＥＩ ＭＰＥＧ－４－Ｐａｒｔ １０（ＩＳＯ／ＣＥＩ１４４９６－１０）、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６４／ｅｎ，ＨＥＶＣ（その仕様は、ＩＴＵウェブサイト、Ｔ推奨、Ｈ系列、ｈ２６５、ｈｔｔｐ：／／ｗｗｗ．ｔｉｇｈ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６５－２０１６１２－Ｉ／ｅｎで見出される）、
－３Ｄ－ＨＥＶＣ（仕様がＩＴＵウェブサイト、Ｔ推奨、Ｈ系列、ｈ２６５、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６５－２０１６１２－Ｉ／ｅｎ ａｎｎｅｘＧ及びＩで見出されるＨＥＶＣの拡張子）、
－Ｇｏｏｇｌｅによって開発されたＶＰ９、
－Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａによって開発されたＡＶ１（ＡＯ媒体ビデオ１）又は
－Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｅｒ又はＭＰＥＧ－Ｉ又はＭＰＥＧ－Ｖ の将来のバージョンのような将来の標準などのエンコーダに適合する。

【0033】

データストリームは、デコーダ２３によって、例えばネットワーク２２を介してアクセス可能なメモリに記憶される。デコーダ２３は、復号の異なるステップを実装する異なる回路を備える。デコーダ２３は、エンコーダ２１によって生成されたデータストリームを入力として取り、ヘッドマウントデバイス（ＨＭＤ）のようなボリュメトリックビデオ表示デバイスによってレンダリングされ、かつ表示される３Ｄシーン２４のシーケンスを提供する。デコーダ２３は、ソース２２からストリームを取得する。例えば、ソース２２は、
－例えば、ビデオメモリ又はＲＡＭ（又はランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（又は読み取り専用メモリ）、ハードディスクなどのローカルメモリと、
－例えば、マスストレージ、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光学ディスク又は磁気サポートとのインターフェースなどのストレージインターフェースと、
－例えば、有線インターフェース（例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）又は無線インターフェース（ＩＥＥＥ８０２．１１インターフェース又はＢｌｕｅｔｏｏｔｈ（登録商標）インターフェースなど）などの通信インターフェースと、
－ユーザがデータを入力することを可能にするグラフィカルユーザインターフェースなどのユーザインターフェースと、
を含むセットに属する。

【0034】

デコーダ２３は、データストリーム内で符号化されたデータを抽出するための回路２３４を備える。回路２３４は、データストリームを入力として取り、ストリーム及び二次元ビデオにおいて符号化されたメタデータ２１２に対応するメタデータ２３２を提供する。ビデオは、フレームのシーケンスを提供するビデオデコーダ２３３によって復号化される。復号化されたフレームは、色及び奥行き情報を含む。変形例では、ビデオデコーダ２３３は、一方が色情報を含み、他方が奥行き情報を含む２つのフレームのシーケンスを提供する。回路２３１は、メタデータ２３２を使用して、復号化されたフレームからの色及び奥行き情報を投影せず、３Ｄシーン２４のシーケンスを提供する。３Ｄシーン２４のシーケンスは、２Ｄビデオとしての符号化に関連する精度が潜在的に低下３Ｄシーン２０のシーケンス及びビデオ圧縮に対応する。

【0035】

図３は、図１１及び図１２に関連して説明される方法を実施するように構成され得るデバイス３０の例示的なアーキテクチャを示す。図２のエンコーダ２１及び／又はデコーダ２３は、このアーキテクチャを実装することができる。代替的に、エンコーダ２１及び／又はデコーダ２３の各回路は、例えば、それらのバス３１を介して、かつ／又はＩ／Ｏインターフェース３６を介して一緒に連結された、図３のアーキテクチャによるデバイスであり得る。

【0036】

デバイス３０は、データ及びアドレスバス３１によって一緒に連結された以下の要素：
－例えば、ＤＳＰ（又はデジタル信号プロセッサ）であるマイクロプロセッサ３２（又はＣＰＵ）と、
－ＲＯＭ（又は読み取り専用メモリ）３３と、
－ＲＡＭ（又はランダムアクセスメモリ）３４と、
－ストレージインターフェース３５と、
－アプリケーションから、送信するデータを受信するためのＩ／Ｏインターフェース３６と、
－電源、例えば、バッテリと、を備える。

【0037】

一例によれば、電源はデバイスの外部にある。言及されたメモリの各々において、本明細書で使用される「レジスタ」という単語は、小さな容量の領域（いくつかのビット）又は非常に大きな領域（例えば、全体のプログラム又は大量の受信された、又は復号化されたデータ）に対応し得る。ＲＯＭ３３は、少なくともプログラム及びパラメータを含む。ＲＯＭ３３は、本原理に従って技術を実行するためのアルゴリズム及び命令を記憶することができる。オンに切り替えられると、ＣＰＵ３２は、ＲＡＭ内のプログラムをアップロードし、対応する命令を実行する。

【0038】

ＲＡＭ３４は、レジスタ内で、ＣＰＵ３２によって実行され、デバイス３０のスイッチオン後にアップロードされるプログラムと、レジスタ内の入力データと、レジスタ内の方法の異なる状態の中間データと、レジスタ内の方法の実行のために使用される他の変数と、を含む。

【0039】

本明細書に記載の実装形態は、例えば、方法又はプロセス、装置、コンピュータプログラム製品、データストリーム又は信号において実装され得る。実装形態の単一の形態の文脈でのみ考察された場合（例えば、方法又はデバイスとしてのみ考察される）であっても、考察される特徴の実装形態はまた、他の形態（例えば、プログラム）においても実装され得る。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装され得る。この方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路又はプログラマブル論理デバイスを含む、一般に処理デバイスを指すプロセッサなどの装置において実装され得る。プロセッサはまた、例えば、コンピュータ、携帯電話、携帯型／パーソナルデジタルアシスタント（「ＰＤＡ」）及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。

【0040】

実施例によれば、デバイス３０は、図１１及び図１２に関連して説明された方法を実装するように構成され、
－モバイルデバイスと、
－通信デバイスと、
－ゲームデバイスと、
－タブレット（又はタブレットコンピュータ）と、
－ラップトップと、
－静止画カメラと、
－ビデオカメラと、
－符号化チップと、
－サーバ（例えば、ブロードキャストサーバ、ビデオオンデマンドサーバ又はウェブサーバ）と、を含むセットに属する。

【0041】

図４は、データがパケットベースの送信プロトコルを介して送信されるときのストリームの構文の実施形態の例を示す。図４は、ボリュメトリックビデオストリームの例示的な構造４を示す。構造は、構文の独立した要素においてストリームを編成するコンテナからなる。構造は、ストリームの全ての構文要素に共通のデータのセットであるヘッダ部分４１を含み得る。例えば、ヘッダ部分は、構文要素に関するメタデータのいくつかを含み、それらの各々の性質及び役割を説明する。ヘッダ部分はまた、図２のメタデータ２１２の一部、例えば、３Ｄシーンの点をフレーム２１１１及び２１１２上に投影するために使用される中心視点の座標を含み得る。構造は、構文４２の要素と、構文４３の少なくとも１つの要素を含むペイロードを含む。構文要素４２は、色及び奥行きフレームを表すデータを含む。画像は、ビデオ圧縮方法に従って圧縮されている場合がある。

【0042】

構文４３の要素は、データストリームのペイロードの一部であり、構文４２の要素のフレームがどのように符号化されるかについてのメタデータ、例えば、３Ｄシーンの点をフレーム上に投影するか、パッキングするために使用されるパラメータを含み得る。そのようなメタデータは、ビデオの各フレーム又は（ビデオ圧縮標準においてＧｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ（ＧｏＰ）としても知られる）フレームのグループと関連付けられ得る。

【0043】

図５は、４つの投影中心の例を有するパッチアトラスアプローチを示す。３Ｄシーン５０は、特徴を含む。例えば、投影中心５１は、遠近投影カメラであり、カメラ５３は、正投影カメラである。カメラはまた、例えば、球形マッピング（例えば、正距円筒図法マッピング）又は立方体マッピングを有する全方向カメラであり得る。３Ｄシーンの３Ｄ点は、メタデータの投影データに記載された投影動作に従って、投影中心に位置する仮想カメラに関連付けられた２Ｄ平面上に投影される。図５の例では、カメラ５１によって捕捉された点の投影は、遠近法マッピングに従ってパッチ５２上にマッピングされ、カメラ５３によって捕捉された点の投影は、直交マッピングに従ってパッチ５４上にマッピングされる。

【0044】

投影ピクセルのクラスター化により、多数の２Ｄパッチが得られ、これは長方形のアトラス５５にパッキングされる。アトラス内のパッチの組織は、アトラスレイアウトを定義する。一実施形態では、同一のレイアウトを有する２つのアトラス：１つはテクスチャ（すなわち、色）情報のためのものであり、１つは奥行き情報のためのもの。同じカメラ又は２つの別個のカメラによって捕捉された２つのパッチは、例えば、パッチ５４及び５６のような３Ｄシーンの同じ部分を表す情報を含み得る。

【0045】

パッキング動作は、生成されたパッチごとにパッチデータを生成する。パッチデータは、投影データの参照（例えば、投影データのテーブル内のインデックス又は投影データへのポインタ（メモリ又はデータストリーム内のアドレス））及びアトラス内のパッチの場所及びサイズを説明する情報（例えば、ピクセルの上部左角座標、サイズ、及び幅）を説明する情報を含む。パッチデータ項目は、１つ又は２つのアトラスの圧縮データと関連付けられてデータストリーム内でカプセル化されるメタデータに追加される。

【0046】

図６は、本原理の非限定的な実施形態による、３Ｄシーンの点のテクスチャ情報（例えば、ＲＧＢデータ又はＹＵＶデータ）を含むアトラス６０の例を示す。図５に関連して説明したように、アトラスは、画像パッキングパッチであり、パッチは、３Ｄシーンの点の一部を投影することによって取得されるピクチャである。

【0047】

図６の例では、アトラス６０は、視点から見える３Ｄシーンの点のテクスチャ情報及び１つ以上の第２の部分６２を含む第１の部分６１を含む。第１の部分６１のテクスチャ情報は、例えば、正距円筒投影マッピングに従って取得され得、正距円筒図法マッピングは、球形投影マッピングの一例である。図６の例では、第２の部分６２は、第１の部分６１の左右の境界に配置されるが、第２の部分は、異なって配置され得る。第２の部分６２は、視点から見える部分に相補的である３Ｄシーンの部分のテクスチャ情報を含む。第２の部分は、第１の視点から見える点（第１の部分に記憶されているテクスチャ）３Ｄシーンから除去することによって、及び同じ視点に従って残りの点を投影することによって、取得することができる。後者のプロセスは、３Ｄシーンの隠れた部分が各々の時点で取得されるように反復的に繰り返され得る。変形例によれば、第２の部分は、視点、例えば、中心視点（第１の部分に記憶されているテクスチャ）から見える点を３Ｄシーンから除去することによって、及び、第１の視点とは異なる視点に従って、例えば、中心視点上に中心を置いたビューの空間（例えば、３ＤｏＦレンダリングの視認空間）の１つ以上の第２の視点から、残りの点を投影することによって、取得され得る。

【0048】

第１の部分６１は、（３Ｄシーンの第１の部分に対応する）第１の大きなテクスチャパッチとして見ることができ、第２の部分６２は、（第１の部分に相補的である３Ｄシーンの第２の部分に対応する）より小さなテクスチャパッチを含む。そのようなアトラスは、（第１の部分６１のみをレンダリングするとき）３ＤｏＦレンダリング及び３ＤｏＦ＋／６ＤｏＦレンダリングと同時に互換性があるという利点を有する。

【0049】

図７は、本原理の非限定的な実施形態による、図６の３Ｄシーンの点の奥行き情報を含むアトラス７０の例を示す。アトラス７０は、図６のテクスチャ画像６０に対応する奥行き画像として見ることができる。

【0050】

アトラス７０は、中心視点から見える３Ｄシーンの点の奥行き情報を含む第１の部分７１及び１つ以上の第２の部分７２を含む。アトラス７０は、アトラス６０と同じ方法で取得され得るが、テクスチャ情報の代わりに３Ｄシーンの点に関連付けられた奥行き情報を含む。

【0051】

３Ｄシーンの３ＤｏＦレンダリングの場合、１つの視点のみ、典型的には中心視点が考慮される。ユーザは、第１の視点の周りで３自由度で頭部を回転させて、３Ｄシーンの様々な部分を視聴することができるが、ユーザはこの固有の視点を移動させることができない。符号化されるシーンの点は、この固有のビューから見える点であり、３ＤｏＦレンダリングのために符号化／復号化されるためにテクスチャ情報のみが必要である。ユーザがそれらにアクセスできないときに、３ＤｏＦレンダリングのためのこの固有の視点から見えないシーンの点を符号化する必要はない。

【0052】

６ＤｏＦレンダリングに関して、ユーザは、シーン内の視点を全て移動させることができる。この場合、全ての点が自身の視点を移動させることができるユーザによって潜在的にアクセス可能であるため、ビットストリーム内のシーンの全ての点（奥行き及びテクスチャ）を符号化する必要がある。符号化段階では、どの視点からからユーザが３Ｄシーンを観察するかを先験的に知る手段はない。

【0053】

３ＤｏＦ＋レンダリングに関して、ユーザは、中心視点の周りの限られた空間内で視点を移動させることができる。これにより、視差を体験することが可能になる。ビューの空間の任意の点から見えるシーンの一部を表すデータは、中心視点（すなわち、第１の部分６１及び７１）に従って見える３Ｄシーンを表すデータを含むストリームに符号化されるべきである。ビューの空間のサイズ及び形状は、例えば、符号化ステップで決められ、かつ決定され、ビットストリーム内で符号化され得る。デコーダは、ビットストリームからこの情報を取得することができ、レンダラは、ビューの空間を取得された情報によって決定された空間に制限する。別の例によれば、レンダラは、例えば、ユーザの動きを検出するセンサの能力に関連して、ハードウェア制約に従ってビューの空間を決定する。そのような場合、符号化段階で、レンダラのビューの空間内の点から見える点がビットストリーム内で符号化されていない場合、この点はレンダリングされない。更なる例によれば、３Ｄシーンの全ての点を表すデータ（例えば、テクスチャ及び／又は幾何学的形状）は、ビューのレンダリング空間を考慮せずにストリーム内で符号化される。ストリームのサイズを最適化するために、シーンの点のサブセットのみ、例えば、ビューのレンダリング空間に従って見ることができる点のサブセットを符号化することができる。

【0054】

パッチは、十分に非冗長かつ相補的であるように作成される。３ＤシーンのＭｕｌｔｉ－Ｖｉｅｗ＋Ｄｅｐｔｈ（ＭＶＤ）表現からパッチを生成するプロセスは、入力ソースビューを「枝刈り」して、任意の冗長情報を除去することからなる。そうするために、各入力ビュー（色＋奥行き）は、互いに反復的に枝刈りされる。基本ビューと呼ばれる枝刈りされていないビューのセットは、最初にソースビューの中で選択され、完全に送信される。次いで、追加のビューと呼ばれる残りのビューのセットを反復的に処理して、基本ビュー及びすでに枝刈りされた追加のビューに対して冗長な（色及び奥行き類似性に関して）情報を除去する。枝刈りされたピクセルの色又は奥行き値は、所定の値、例えば、０又は２５５で置き換えられる。

【0055】

図８は、非枝刈りＭＶＤフレームから所与のビューポートのための画像を生成するときに、図２のビュー合成装置２３１によって使用されるプロセスを示す。ボリュメトリックビデオを伝達するために、重要なステップは、基本ビューと追加のビューとの間の冗長な情報を除去することで構成される。しかしながら、送信する情報の量を大幅に減少させる場合でも、他のシグナリングなしに冗長情報を除去するだけで、復号段階でのビュー合成プロセスを大幅に変更し、エンドユーザ体験を強く減少させる可能性がある。合成するためにビューポート８０のためのピクセル８１を合成しようとするときに、合成装置（例えば、図２の回路２３１）は、この所与のピクセルを通過する光線（例えば、光線８２及び８３）を投影せず、この光線に沿って各ソースカメラ８４～８７の寄与をチェックする。図８に示すように、シーン内のいくつかのオブジェクトが、あるカメラから別のカメラへの閉塞を作成するときに、又はカメラ設定のために可視性を確保することができないときに、合成に対するピクセルの特性に関する全てのソースカメラ８４～８７間のコンセンサスが見つからない場合がある。図８の例では、３つのカメラ８４～８６インチの第１のグループは、前景オブジェクト８８の色を使用して、合成するためにそれら全てが全て光線に沿ってこのオブジェクトを「見る」ときに、ピクセル８１を合成するように「投票」する。１つの単一のカメラ８７の第２のグループは、そのビューポートの外側にあるため、このオブジェクトを見ることができない。したがって、カメラ８７は、ピクセル８１を合成するように、後景オブジェクト８９に「投票」する。そのような状況の曖昧さを解消するための戦略は、合成するためのビューポートまでの距離に応じて、各カメラの寄与を重量によってブレンドし、かつ／又はマージすることである。図８の例では、カメラ８４～８６の第１のグループは、それらがより多くのものであるときに、及び合成するためにビューポートからより近いときに、最大の寄与をもたらす。最後に、ピクセル８１は、予想通り、前景オブジェクト８８の特性を使用することによって合成される。

【0056】

図９は、枝刈りＭＶＤフレームからの図８と同じビュー合成を示す。枝刈りされたＭＶＤフレームでは、同じ情報を共有するカメラのピクセルがクリアされ、それ以上、送信又は考慮されない。図９の例では、３つのカメラの以前のグループは、ここで、前景オブジェクト８８の情報を担持する１つの単一のカメラ９６に低減される。カメラ８４及び８５からのビューにおける対応するピクセル情報９２は、枝刈りされている。後景オブジェクト８９に関連するカメラの第２のグループは、変更されず、カメラ８７のビューのみを含む。その場合、ピクセル９１を合成するための後景の寄与は、「対向」が１対１になるときに、前景の寄与に関してもはや無視できない。オブジェクト８８の重量が後景８９の重量よりもわずかに高い場合であっても、２つの寄与のブレンドは、ユーザが期待しているものに対応しておらず、視覚的なアーチファクトにつながる、後景から来る有意な量を含む。したがって、枝刈り段階後にいくつかのカメラの寄与情報を喪失したことが、アトラスから新しいビューを合成しようとするときに、復号化段階で重大になり得る。

【0057】

本原理によれば、これらの欠点を克服するための方法が開示される。符号化段階では、枝刈りグラフが取得される。枝刈りグラフは、各カメラの枝刈りを、他のカメラの所与のサブグループに対して行うことを制約する。枝刈りグラフを表すデータは、データストリーム内で符号化され、コンパクトな方法でデコーダに提供される。復号化段階では、枝刈りグラフは、これらのメタデータを使用することによって、回復され得、全ての枝刈りされたカメラの寄与情報を復元するために使用される。

【0058】

図１０は、４×４のマルチビューフレーム及びそのようなＭＶＤフレームのための例示的な枝刈りグラフを示す。本原理によれば、カメラ（すなわち、ビュー１１１～１４４）ごとに、他のカメラのセットが決定される。各カメラは、枝刈り優先順位関係によって、非周期的に、ゼロ、１つ、又はいくつかの他のカメラに関連付けられる（すなわち、枝刈り優先順位関係から取得された枝刈りグラフは、いかなるサイクルも含まない）。効率的な枝刈り関係を有するために、２つの接続されたビューが高い電位量の冗長性を有するように、優先順位関係が選択される。この電位は、例えば、２つの関心カメラの光学中心間の距離、それらの重複比、又はそれらの光軸間の角度／距離に基づいて決定され得る。非周期グラフを取得するために、非周期特徴を保証する接続の最小の量を保持するために、第１に、優先順位のために選択された基準に応じて、全てのカメラを密状に接続し、第２に、取得されたグラフを貪欲に枝刈りすることによって、２ステップの戦略を想定することができる。基本ビュー（図１０の例の図１３３）は、基本ビューが枝刈りされていないため、他のカメラに向かってはない。いくつかのビュー（図１０の実施例における１１１、１１４、１４１及び１４４）は、グラフにおいて先行するものがない。

【0059】

枝刈り手順中に、枝刈り優先順位の意味で、全ての親の後にカメラが常に枝狩りされるように、枝刈り順序が決定される。図１０の例では、枝刈り順序は、（１３３、１２３、１３２、１３４、１４３、１１３、１２２、１２４、１３１、１４２、１４４、１１２、１１４、１２１、１４１）であり得る。全てのカメラの枝刈り手順は、以下のこの順序で行われる。枝刈りするカメラのピクセルは、それが参照するセットの全てのカメラに対して枝刈りされ得る（すなわち、同じ情報が全ての参照カメラによって担持される）場合かつその場合に限り、それが関連するカメラに対して枝刈りされる。親カメラセットの１つの部分がプロセス中にすでに枝刈りされている場合、いかなるドリフト効果も回避するために、枝刈りは、非枝刈り領域が見つかるまで、その固有又は複数の親に対して再帰的に試みられる。コンセンサスが見つからない場合、枝刈りするために考慮されたピクセルは枝刈りされず、その値は変化しない。そうでなければ、ピクセル（及びその値）は、破棄される。枝刈りツリーの経路で発生する各２つずつの比較によって、奥行きに小さな位置合わせ誤差が存在する。誤差は、２つの近いカメラ（すなわち、トポロジ的に隣接するビュー）間の比較のための閾値よりも低いが、枝刈りツリーの経路を通して間接的に比較される２つのリモートカメラの場合ではない。ドリフト効果は、枝刈りツリーの経路に沿ったカメラ間の奥行きの小さな位置合わせ誤差の蓄積である。

【0060】

復号化段階で使用されるために、枝刈りグラフは、本原理の非限定的な実施形態に従って、データストリーム内で符号化される。

【0061】

第１の実施形態では、枝刈りグラフの全ての優先順位関係を表すデータは、カメラごとに、表２に示されるような構文形式に従って、それが関連するカメラのリストを含むリストとして符号化され、各カメラは、表１において提案されるような構文形式に従って、カメラパラメータリスト内のその位置によって識別される。カメラの数が小さい（例えば、６４よりも低い）場合、マスク／ビットアレイは、枝刈り優先順位を説明するために代替的に使用され得、各ｉ番目のビットが、ｉ番目のカメラで行われる場合、例えば、表３に記載の構文形式に従って、１に設定される。

【表1】

【表2】

【表3】

【0062】

別の実施形態では、枝刈り関係は、例えば表４及び表５に提案されるような構文形式に従って、各カメラの新しいパラメータとして（アレイとして又はマスクとして）カメラパラメータリスト内に統合される。

【表4】

【表5】

【0063】

復号化段階では、枝刈りグラフがメタデータから回復され、レンダラの重み付け戦略を正しく処理するために使用される。一実施形態では、合成するピクセルごとに、全てのカメラの寄与は反復的に考慮される。有効な寄与を提供するカメラごとに、このカメラに対して枝刈りされている全てのカメラは、枝刈り順序（親からその子に向かって）で枝刈りグラフをブラウズすることによって反復的に考慮される。ブラウズされたカメラが、考慮されるピクセルのための関心のカメラに対して枝刈りされている場合、その重量は、現在のカメラの重量に組み合わされ（例えば追加され）、次いでその子が同様に処理される。ブラウズされたカメラが、異なる有効な情報を保持しているため、このカメラに対して枝刈りされていない場合、ブラウジングは、グラフの関連付けられた分岐に沿って停止され、関心のカメラの重量は、変化しないままである。

【0064】

本原理によれば、枝刈りされたカメラの寄与は、枝刈り後にデコーダ段階で正しく回復され、図９に関連して説明されるような視覚的アーチファクトを防止する。

【0065】

図１１は、本原理の非限定的な実施形態による、データストリーム内のマルチビューフレームを符号化するための方法１１０を示す。ステップ１１１において、ＭＶＤフレームがソースから取得される。このステップにおいて、ＭＶＤフレームは、符号化される大量のデータを必要とする。ステップ１１２において、グラフは、優先順位関係に従ってＭＶＤの連結ビューを決定する。グラフは非周期であるように構築されており、それ自体に先行するビューによって枝刈りプロセスにおいて先行することができない。いくつかのビューは、先行するものを有さず、枝刈りされることを意味するものではないビュー（基本ビューとも呼ばれる）は、グラフ内の後続のものを有しない。ステップ１１３では、図１０に関連して説明されるように、グラフの優先順位関係に従って、ビューが枝刈りされる。この段階において、ステップ１１１で取得された初期ＭＶＤの冗長情報（色及び奥行き）が除去され、その結果、必要な符号化されるデータが少なくなる。残りの有用な情報は、図５～７に関連して説明されるように、アトラスと呼ばれる一意のフレーム内で編成され得る。ステップ１１４では、枝刈りされたＭＶＤ又は対応するアトラスは、専用メタデータに関連付けられてストリーム内で符号化される。本原理によれば、枝刈りグラフの枝刈り優先順位関係も、例えば、提案された構文形式のうちの１つに続いて、ストリーム内で符号化される。更なるステップでは、データストリームは、メモリ又は非一時的な記憶媒体に記憶されるか、又はネットワーク若しくはデータバスを介してリモート若しくはローカルデバイスに送信され得る。

【0066】

図１２は、本原理の非限定的な実施形態による、データストリームからの枝刈りされたマルチビューフレームを復号化するための方法１２０を示す。ステップ１２１では、データストリームが取得され、例えば、アトラスのフォーマットにおいて、枝刈りされたＭＶＤを表すデータは、データストリームから取得される。例えば、枝刈りされたＭＶＤは、ビデオコーデックを使用することによって、データから復号化される。ステップ１２２において、ＭＶＤのビューを連結する枝刈りグラフが、データストリームから取得される。ステップ１２１及び１２２は、任意の順序で、又は並列に実行され得る。枝刈りグラフは、本出願において詳細に説明されるように、ＭＶＤのビュー間の枝刈り優先順位関係の非周期構造である。ステップ１２３において、ビューポートフレームが、視認姿勢（すなわち、レンダラの３Ｄ空間内の場所及び配向）のために生成される。ビューポートフレームのピクセルについて、各ビュー（本出願における「カメラ」とも呼ばれる）の寄与の重量は、取得された枝刈りグラフのビュー間の枝刈り優先順位関係に従って決定される。有効な寄与を提供するカメラごとに、このカメラに対して枝刈りされている全てのカメラは、枝刈り順序（親からその子に向かって）で枝刈りグラフをブラウズすることによって反復的に考慮される。ブラウズされたカメラが、考慮されるピクセルのための関心のカメラに対して枝刈りされている場合、その重量は、現在のカメラの重量に組み合わされ（例えば追加され）、次いでその子が同様に処理される。ブラウズされたカメラが、異なる有効な情報を保持しているため、このカメラに対して枝刈りされていない場合、ブラウジングは、グラフの関連付けられた分岐に沿って停止され、関心のカメラの重量は、変化しないままである。

【0067】

一実施形態では、復号化段階では、枝刈りグラフを使用して、枝刈りされた入力ビューを非プレーニングすることができる。本原理によれば、受信された枝刈りされたＭＶＤの全てのソースビューは、枝刈りプロセスによって抑制された欠落した冗長部分を回復することによって再構成される。そうするために、逆方向手順が適用される。ルートノードからリーフに開始すると、ノードＮに関連付けられたビューの有効な（非枝刈り）ピクセルｐが考慮される。次いで、
１）ピクセルｐは、そのビューの子に関連付けられた（まだ「枝狩りされていない」）ビュー上に投影解除され、それがそれらのビューポートに寄与する場合、次いで、関連付けられた投影解除ピクセルステータスは、取り込まれる。
２）投影解除されたピクセルが枝刈りされた（かつ有効な値がないままである）と識別される場合、その色及び奥行き値はピクセルｐ（色及び／又は奥行き）の値に設定され、プロセスは、後者のビューの子に対して反復的に繰り返される。
３）投影解除されたピクセルが非枝刈りされた（かつ有効な値を有する）として識別される場合、その色及び奥行き値は変化しないままであり、それ以上のグラフの検査はこの後者のビューの子に向かって行われない。
４）ピクセルｐがその子のうちの１つのビューポート内に入っていない場合、プロセスは、孫に対して再帰的に繰り返される。

【0068】

そうすることにより、マルチビューディスプレイを供給することが可能になり、これは、低減されたビットレートで枝刈りされたコンテンツを送信しながら、ＭＶＤコンテンツの全てのビューを全ての時刻で（ＨＭＤにおける合成された仮想ビューだけでなく、ＨＭＤにおける合成された仮想ビューだけでなく）表示することを必要とする。

【0069】

本明細書に記載の実装形態は、例えば、方法又はプロセス、装置、コンピュータプログラム製品、データストリーム、又は信号において実装され得る。実装形態の単一の形態の文脈でのみ考察された場合（例えば、方法又はデバイスとしてのみ考察される）であっても、考察される特徴の実装形態は、他の形態（例えば、プログラム）においても実装され得る。装置は、例えば、適切なハードウェア、ソフトウェア及びファームウェアにおいて実装され得る。この方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路又はプログラマブル論理デバイスを含む、一般に処理デバイスを指すプロセッサなどの装置において実装され得る。プロセッサはまた、例えば、スマートフォン、タブレット、コンピュータ、携帯電話、携帯型／パーソナルデジタルアシスタント（「ＰＤＡ」）及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。

【0070】

本明細書に記載の様々なプロセス及び特徴の実装は、様々な異なる機器又は用途、特に、例えば、データ符号化、データ復号化、ビュー生成、テクスチャ処理並びに画像及び関連するテクスチャ情報及び／又は奥行き情報の他の処理に関連付けられた機器又は用途において、具体化され得る。そのような機器の例としては、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ及び他の通信デバイスが挙げられる。明確であるはずであるように、機器は、モバイルであり得、モバイル車両に設置され得る。

【0071】

更に、方法は、プロセッサによって実行される命令によって実装され得、そのような命令（及び／又は実装形態によって生成されたデータ値）は、例えば、集積回路、ソフトウェアキャリア又は他の記憶デバイス、例えば、ハードディスク、コンパクトディスケット（「ＣＤ」）、光学ディスク（例えば、デジタル多用途ディスク又はデジタルビデオディスクと称されることが多いＤＶＤなど）、ランダムアクセスメモリ（「ＲＡＭ」）又は読み取り専用メモリ（「ＲＯＭ」）などのプロセッサ可読媒体上に記憶され得る。命令は、プロセッサ可読媒体上で明白に具体化されたアプリケーションプログラムを形成し得る。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせであり得る。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又は２つの組み合わせに見出すことができる。したがって、プロセッサは、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有するプロセッサ可読媒体（記憶デバイスなど）を含むデバイスと、の両方として特徴付けられ得る。更に、プロセッサ可読媒体は、命令に加えて、又は命令の代わりに、実装形態によって生成されたデータ値を記憶することができる。

【0072】

当業者には明らかであるように、実装形態は、例えば、記憶又は送信され得る情報を担持するようにフォーマット化された様々な信号を生成し得る。情報は、例えば、方法を実行するための命令又は記載された実装形態のうちの１つによって生成されたデータを含み得る。例えば、信号は、記載された実施形態の構文を書き込むか、若しくは読み取るためのルールをデータとして担持するか、又は記載された実施形態によって書き込まれた実際の構文値をデータとして担持するようにフォーマット化され得る。そのような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）、又はベースバンド信号としてフォーマット化され得る。フォーマット化は、例えば、データストリームを符号化し、符号化されたデータストリームでキャリアを変調することを含み得る。信号が担持する情報は、例えば、アナログ情報又はデジタル情報であり得る。信号は、既知のように、様々な異なる有線又は無線リンクを介して送信され得る。信号は、プロセッサ可読媒体上に記憶され得る。

【0073】

多くの実装形態が説明されている。それにもかかわらず、様々な修正が行われ得ることが理解されるであろう。例えば、異なる実装形態の要素は、他の実装形態を生成するために組み合わせ、補足、修正、又は削除することができる。更に、当業者は、開示されたものに対して他の構造及びプロセスを置換することができ、結果として生じる実装形態は、少なくとも実質的に同じ機能を少なくとも実質的に同じ方法で実行して、開示された実装形態と少なくとも実質的に同じ結果を達成することを理解するであろう。したがって、これら及び他の実装形態は、本出願によって企図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】