特表 2022-541908 ボリュメトリックビデオコンテンツを配信するための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-28

(54)【発明の名称】ボリュメトリックビデオコンテンツを配信するための方法および装置

(51)【国際特許分類】

   H04N 21/84 20110101AFI20220920BHJP

   G06T 19/00 20110101ALI20220920BHJP

【ＦＩ】

H04N21/84

G06T19/00 300B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022503839

(86)(22)【出願日】2020-07-14

(85)【翻訳文提出日】2022-03-16

(86)【国際出願番号】 US2020041878

(87)【国際公開番号】W WO2021015982

(87)【国際公開日】2021-01-28

(31)【優先権主張番号】19305968.0

(32)【優先日】2019-07-22

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】19306721.2

(32)【優先日】2019-12-20

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】シャポー，ベルトラン

(72)【発明者】

【氏名】ブリアン，ジェラール

(72)【発明者】

【氏名】ドレ，ルノー

【テーマコード（参考）】

5B050

5C164

【Ｆターム（参考）】

5B050BA08

5B050BA11

5B050DA07

5B050EA19

5B050FA05

5C164MB13P

5C164SB06S

5C164UB10S

(57)【要約】

ボリュメトリックビデにおける誘導の制限を表す情報をシグナリングおよび復号する方法、デバイス、およびデータストリームが提供される。データストリームは、ボリュメトリックビデオを表すビデオデータに関連付けられたメタデータを含む。メタデータは、ビューイングバウンディングボックスを表すデータと、上記ボリュメトリックビデオの３Ｄ空間における曲線経路を表すデータと、曲線経路上の点に関連付けられた少なくとも１つのビューイング方向範囲を表すデータと、を含む。
【選択図】図５

【特許請求の範囲】

【請求項1】

ボリュメトリックビデオにおける誘導の制限を表す情報をシグナリングする方法であって、前記方法が、前記ボリュメトリックビデオを表すビデオデータを含むデータストリーム内のメタデータを符号化することを含み、前記メタデータが、
－ビューイングバウンディングボックスを表すデータと、
－前記ボリュメトリックビデオの３Ｄ空間における曲線経路を表すデータと、
－前記曲線経路上の点に関連付けられた少なくとも１つのビューイング方向範囲を表すデータと、を含む、方法。

【請求項2】

曲線経路を表す前記データが、３Ｄ点のリストを含み、前記リストの点が、少なくとも１つのビューイング方向範囲に関連付けられる、請求項１に記載の方法。

【請求項3】

曲線経路を表す前記データが、パラメトリック３Ｄ曲線を表すパラメータを含み、少なくとも１つのビューイング方向範囲を表すデータが、前記曲線経路の１つの原点に関連付けられる、請求項１に記載の方法。

【請求項4】

前記メタデータが、前記ボリュメトリックビデオの前記３Ｄ空間内の少なくとも２つの曲線経路を表すデータを含む、請求項１～３のいずれか一項に記載の方法。

【請求項5】

曲線経路を表す前記データが、少なくとも１つのビューイング方向範囲に関連付けられたカメラパラメータへの参照のリストを含む、請求項１に記載の方法。

【請求項6】

ボリュメトリックビデオにおける誘導の制限を表す情報をシグナリングするデバイスであって、前記デバイスが、前記ボリュメトリックビデオを表すビデオデータを含むデータストリーム内のメタデータを符号化するように構成されたプロセッサを備え、前記メタデータが、
－ビューイングバウンディングボックスを表すデータと、
－前記ボリュメトリックビデオの３Ｄ空間における曲線経路を表すデータと、
－前記曲線経路上の点に関連付けられた少なくとも１つのビューイング方向範囲を表すデータと、を含む、デバイス。

【請求項7】

曲線経路を表す前記データが、３Ｄ点のリストを含み、前記リストの点が、少なくとも１つのビューイング方向範囲に関連付けられる、請求項６に記載のデバイス。

【請求項8】

曲線経路を表す前記データが、パラメトリック３Ｄ曲線を表すパラメータを含み、少なくとも１つのビューイング方向範囲を表すデータが、前記曲線経路の１つの原点に関連付けられる、請求項６に記載のデバイス。

【請求項9】

前記メタデータが、前記ボリュメトリックビデオの前記３Ｄ空間内の少なくとも２つの曲線経路を表すデータを含む、請求項６～８のいずれか一項に記載のデバイス。

【請求項10】

曲線経路を表す前記データが、少なくとも１つのビューイング方向範囲に関連付けられたカメラパラメータへの参照のリストを含む、請求項６に記載の方法。

【請求項11】

ボリュメトリックビデオにおける誘導の制限を表す情報を復号する方法であって、前記方法が、前記ボリュメトリックビデオを表すビデオデータを含むデータストリームからメタデータを復号することを含み、前記メタデータが、
－ビューイングバウンディングボックスを表すデータと、
－前記ボリュメトリックビデオの３Ｄ空間における曲線経路を表すデータと、
－前記曲線経路上の点に関連付けられた少なくとも１つのビューイング方向範囲を表すデータと、を含む、方法。

【請求項12】

曲線経路を表す前記データが、３Ｄ点のリストを含み、前記リストの点が、少なくとも１つのビューイング方向範囲に関連付けられる、請求項１１に記載の方法。

【請求項13】

曲線経路を表す前記データが、パラメトリック３Ｄ曲線を表すパラメータを含み、少なくとも１つのビューイング方向範囲を表すデータが、前記曲線経路の１つの原点に関連付けられる、請求項１１に記載の方法。

【請求項14】

前記メタデータが、前記ボリュメトリックビデオの前記３Ｄ空間内の少なくとも２つの曲線経路を表すデータを含む、請求項１１～１３のいずれか一項に記載の方法。

【請求項15】

曲線経路を表す前記データが、少なくとも１つのビューイング方向範囲に関連付けられたカメラパラメータへの参照のリストを含む、請求項１１に記載の方法。

【請求項16】

ボリュメトリックビデオにおける誘導の制限を表す情報を復号するデバイスであって、前記デバイスが、前記ボリュメトリックビデオを表すビデオデータを含むデータストリーム内のメタデータを復号するように構成されたプロセッサを備え、前記メタデータが、
－ビューイングバウンディングボックスを表すデータと、
－前記ボリュメトリックビデオの３Ｄ空間における曲線経路を表すデータと、
－前記曲線経路上の点に関連付けられた少なくとも１つのビューイング方向範囲を表すデータと、を含む、デバイス。

【請求項17】

曲線経路を表す前記データが、３Ｄ点のリストを含み、前記リストの点が、少なくとも１つのビューイング方向範囲に関連付けられる、請求項１６に記載のデバイス。

【請求項18】

曲線経路を表す前記データが、パラメトリック３Ｄ曲線を表すパラメータを含み、少なくとも１つのビューイング方向範囲を表すデータが、前記曲線経路の１つの原点に関連付けられる、請求項１６に記載のデバイス。

【請求項19】

前記メタデータが、前記ボリュメトリックビデオの前記３Ｄ空間内の少なくとも２つの曲線経路を表すデータを含む、請求項１６～１８のいずれか一項に記載のデバイス。

【請求項20】

曲線経路を表す前記データが、少なくとも１つのビューイング方向範囲に関連付けられたカメラパラメータへの参照のリストを含む、請求項１６に記載のデバイス。

【請求項21】

前記ボリュメトリックビデオを表すビデオデータと、前記ボリュメトリックビデオにおける誘導の制限を表すメタデータとを含むデータストリームであって、前記メタデータが、
－ビューイングバウンディングボックスを表すデータと、
－前記ボリュメトリックビデオの３Ｄ空間における曲線経路を表すデータと、
－前記曲線経路上の点に関連付けられた少なくとも１つのビューイング方向範囲を表すデータと、を含む、データストリーム。

【請求項22】

曲線経路を表す前記データが、３Ｄ点のリストを含み、前記リストの点が、少なくとも１つのビューイング方向範囲に関連付けられる、請求項２１に記載のデータストリーム。

【請求項23】

曲線経路を表す前記データが、パラメトリック３Ｄ曲線を表すパラメータを含み、少なくとも１つのビューイング方向範囲を表すデータが、前記曲線経路の１つの原点に関連付けられる、請求項２１に記載のデータストリーム。

【請求項24】

前記メタデータが、前記ボリュメトリックビデオの前記３Ｄ空間内の少なくとも２つの曲線経路を表すデータを含む、請求項２１～２３のいずれか一項に記載のデータストリーム。

【請求項25】

曲線経路を表す前記データが、少なくとも１つのビューイング方向範囲に関連付けられたカメラパラメータへの参照のリストを含む、請求項２１に記載の方法。

【請求項26】

プロセッサを使用した再生のために、請求項１～５のいずれか一項に記載の方法に従って、または請求項６～１１のいずれか一項に記載の装置によって生成されたデータコンテンツを含む、非一時的なコンピュータ可読媒体。

【請求項27】

プログラムがコンピュータによって実行されたときに、前記コンピュータに、請求項１～５のいずれか一項に記載の方法を実行させる命令を含む、コンピュータプログラム製品。

【請求項28】

プログラムがコンピュータによって実行されたときに、前記コンピュータに、請求項１１～１５のいずれか一項に記載の方法を実行させる命令を含む、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本原理は、概して、３次元（３Ｄ）シーンおよびボリュメトリックビデオコンテンツの領域に関する。本文書はまた、モバイルデバイスまたはヘッドマウントディスプレイ（ＨＭＤ）などのエンドユーザデバイスにボリュメトリックコンテンツをレンダリングするための、３Ｄシーンのテクスチャおよびジオメトリを表すデータの符号化、フォーマッティング、および復号の文脈においても理解される。特に、本原理は、ボリュメトリックビデオにおける誘導の制限を表す情報のシグナリングおよび復号に関する。

【背景技術】

【0002】

本節では、読者に当技術分野の様々な態様を紹介することを意図しており、これらの態様は、以下に説明および／または特許請求される本開示の様々な態様に関連し得る。この考察は、読者に背景情報を提供して、本原理の様々な態様のより良好な理解を容易にするのに役立つと考えられる。したがって、これらの記述は、この観点から読み取られるべきであり、先行技術を容認したものとして読み取られるべきではないということを理解されたい。

【0003】

近年、利用可能な広視野コンテンツ（最大３６０°）が増えてきている。このようなコンテンツは、コンテンツを、ヘッドマウントディスプレイ、スマートグラス、ＰＣスクリーン、タブレット、スマートフォンなどのような没入型表示デバイスで見ているユーザによって、潜在的に、完全には視認可能ではない。これは、所定の瞬間に、ユーザがコンテンツのパーツのみをビューイングしている可能性があることを意味している。しかしながら、ユーザは通常、頭部の移動、マウスの移動、タッチスクリーン、音声などのような様々な手段によりコンテンツ内を誘導され得る。通常、このコンテンツを符号化および復号することが望ましい。

【0004】

３６０°フラットビデオとも呼ばれる没入型ビデオによりユーザは、ユーザ自身の周りのあらゆるものを、ユーザの頭部を注視点の周りに回転させることにより見ることを可能にする。回転により、３自由度（３ＤｏＦ）の体験のみが可能になる。３ＤｏＦビデオが、最初の全方向ビデオ体験のために、例えばヘッドマウントディスプレイデバイス（ＨＭＤ）を使用して十分である場合でも、３ＤｏＦビデオは、例えば視差を体験することにより、より多くの自由度を期待するビューアをすぐにイライラさせてしまう可能性がある。さらに、３ＤｏＦはまた、ユーザがユーザの頭部を回転させるだけでなく、３つの方向にユーザの頭部を並進移動させることができるが、並進移動は３ＤｏＦビデオ体験では再現されることがないので、めまいを引き起こす可能性もある。

【0005】

広視野コンテンツは、とりわけ、３次元コンピュータグラフィックイメージシーン（３Ｄ ＣＧＩシーン）、ポイントクラウド、または没入型ビデオであり得る。多くの条件を使用して、このような没入型ビデオ：例えば、仮想現実（ＶＲ）ビデオ、３６０ビデオ、パノラマビデオ、４π立体視ビデオ、没入型ビデオ、全方向性ビデオ、または広視野ビデオを設計し得る。

【0006】

ボリュメトリックビデオ（６自由度（６ＤｏＦ）ビデオとしても知られている）は、３ＤｏＦビデオの代替である。６ＤｏＦビデオを見る場合、回転の他に、ユーザはまた、ユーザの頭部を、およびユーザの身体さえも、見ているコンテンツ内で並進移動させて、視差を体験し、ボリュームさえも体験することができる。このようなビデオは、没入感およびシーンの奥行き感をかなり深め、一貫した視覚的フィードバックを頭部の並進移動中に与えることによりめまいを防止する。コンテンツは、専用センサによって作成され、対象シーンの色および深度を同時に記録することを可能にする。写真測量技術と組み合わせたカラーカメラ装置の使用は、技術的困難が残るとしても、このような記録を実行する方法である。

【0007】

３ＤｏＦビデオは、テクスチャ画像（例えば、緯度／経度投影マッピングまたは正距円筒投影マッピングに従って符号化される球面画像）のマッピング解除から得られる画像列を含むが、６ＤｏＦビデオフレームには、幾つかの視点からの情報が埋め込まれる。これらのビデオフレームは、３次元キャプチャから得られる一時的な一連のポイントクラウドであると考えられ得る。２種類のボリュメトリックビデオは、ビューイング状態に依存すると考えられ得る。第１の種類（すなわち、全６ＤｏＦ）が、ビデオコンテンツ内の完全に自由な誘導を可能にするのに対し、第２の種類（別名、３ＤｏＦ＋）は、ユーザビューイング空間を、ビューイングバウンディングボックスと呼ばれる限定されたボリュームに制限して、頭部の限定された並進移動、および視差体験を可能にする。この第２の文脈は、自由誘導状態と着座した視聴者の受動ビューイング状態との間の貴重なトレードオフである。３ＤｏＦ＋体験と６ＤｏＦ体験との間で、４ＤｏＦ＋のケースを３ＤｏＦ＋と６ＤｏＦとの中間として定義することが可能であり、この場合、ユーザの変位は、３Ｄシーン内の曲線（１Ｄ）経路に沿って制約され、各経路サンプルの周囲の水平、垂直、および深度の並進移動は限定される。ユーザは、良好な視覚的品質が保証された経路に沿って一種のトンネル内を移動することができる。ユーザが仮想カメラをトンネルの外に移動すると、良質の３Ｄシーンを再構築するためのデータが失われる可能性がある。

【0008】

所与のボリュメトリックビデオコンテンツの誘導中にユーザの仮想カメラおよびビューイング配向に許容される位置の範囲を制限する必要がある場合がある。そうでない場合、利用可能な視覚的データがないために完全にレンダリングすることができないビューポートを要求するときに、ユーザが３Ｄシーンを「離れる」可能性がある。したがって、所与のボリュメトリックビデオコンテンツを消費するときに、好適な、好ましい、および／または許容された視聴者（仮想）位置およびビューイング配向をエンドユーザデバイスに通知するための解決策が必要である。

【発明の概要】

【0009】

以下に、本原理のいくつかの態様の基本的な理解を提供するために、本原理の簡略化された概要を提示する。この概要は、本原理の網羅的な要約ではない。本原理の主要なまたは重要な要素を特定することを意図していない。以下の概要は、以下に提供されるより詳細な説明への前置きとして、本原理のいくつかの態様を単純化した形で提示しているにすぎない。

【0010】

本原理は、ボリュメトリックビデオにおける誘導の制限を表す情報をシグナリングするための方法およびデバイスに関する。この方法は、上記ボリュメトリックビデオを表すビデオデータを含むデータストリーム内にメタデータを符号化することを含む。メタデータは、
－ビューイングバウンディングボックスを表すデータと、
－上記ボリュメトリックビデオの３Ｄ空間における曲線経路を表すデータと、
－上記曲線経路上の点に関連付けられた少なくとも１つのビューイング方向範囲を表すデータと、を含む。

【0011】

別の態様によれば、ボリュメトリックビデオにおける誘導の制限を表す情報を復号するための第２の方法および第２のデバイスが提供される。第２の方法は、ボリュメトリックビデオを表すビデオデータを含むデータストリームからメタデータを復号することを含む。メタデータは、
－ビューイングバウンディングボックスを表すデータと、
－上記ボリュメトリックビデオの３Ｄ空間における曲線経路を表すデータと、
－上記曲線経路上の点に関連付けられた少なくとも１つのビューイング方向範囲を表すデータと、を含む。
少なくとも１つの実施形態の別の一般的な態様によれば、説明された符号化の実施形態または変形のいずれかに従って生成されたビデオデータおよび関連するメタデータを含むデータストリームが提供される。

【0012】

少なくとも１つの実施形態の別の一般的な態様によれば、説明された符号化の実施形態または変形のいずれかに従って生成されたデータコンテンツを含む非一時的なコンピュータ可読媒体が提供される。

【0013】

少なくとも１つの実施形態の別の一般的な態様によれば、命令を含むコンピュータプログラム製品が提供され、命令は、プログラムがコンピュータによって実行されると、コンピュータに、説明された復号の実施形態または変形のいずれかを実行させる。

【図面の簡単な説明】

【0014】

以下の説明を読むと、本開示が、より良好に理解され、他の特定の特徴および利点が明らかになり、この説明は、添付の図面を参照している。

【0015】

【図1】本原理の非限定的な実施形態による、オブジェクトの３次元（３Ｄ）モデル、および３Ｄモデルに対応するポイントクラウドの点を示す。

【図2】本原理の非限定的な実施形態による、一連の３Ｄシーンを表すデータの符号化、送信、および復号の非限定的な例を示す。

【図3】本原理の非限定的な実施形態による、図７および図８に関連して説明される方法を実装するように構成され得るデバイスの例示的なアーキテクチャを示す。

【図4】本原理の非限定的な実施形態による、データがパケットベース送信プロトコルを介して送信されるときのストリームのシンタックスの一実施形態の例を示す。

【図5】本原理の非限定的な実施形態による、１つの曲線経路、ならびにこの経路に沿った所与の位置における球形バウンディングボックスおよびビューイング配向範囲を描写することによって、仮想３Ｄシーン内の制限された誘導の概念を概略的に示す。

【図5b】本原理の非限定的な実施形態による、収集カメラの位置および方向から推測される管状のビューイング空間を備えた、円弧上に配置された５つの収束カメラを備えた収集カメラ装置の例を示す。

【図6】本原理の非限定的な実施形態による、中心位置に対象オブジェクトを有する３Ｄシーンの周りを誘導するための円形経路の特定の事例を示す。

【図7】本原理の非限定的な実施形態による、ボリュメトリックビデオにおける誘導の制限を表す情報をシグナリングするための方法７０を図式的に示す。

【図8】本原理の非限定的な実施形態による、ボリュメトリックビデオにおける誘導の制限を表す情報を復号するための方法８０を図式的に示す。

【発明を実施するための形態】

【0016】

本原理は、本原理の例が示される添付の図面を参照して以下でより完全に説明される。しかしながら、本原理は、多くの代替形態で具体化されてもよく、本明細書に明示される例に限定されるものとして解釈されるべきではない。したがって、本原理は様々な修正形態および代替形態を受け入れる余地があるが、その特定の例は、図面に例として示され、本明細書で詳細に説明される。しかしながら、本原理を開示された特定の形態に限定する意図はないが、むしろ、本開示は、特許請求の範囲で定義されているように本原理の精神および範囲に含まれるすべての修正物、等価物、および代替物を網羅すると理解されたい。

【0017】

本明細書で使用される専門用語は、特定の例を説明することのみを目的とし、本原理を限定することを意図していない。本明細書で使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明らかに他を示さない限り、複数形も含むことが意図される。本明細書で使用される場合、「備える」、「備えている」、「含む」、および／または「含んでいる」という用語は、述べられた特徴、整数、ステップ、動作、要素、および／または構成要素の存在を特定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を排除しないことがさらに理解されよう。さらに、要素が別の要素に「応答する」または「接続される」と言及される場合、それは他の要素に直接応答するか、もしくは接続され得るか、または介在する要素が存在し得る。対照的に、要素が他の要素に「直接応答する」または「直接接続される」と言及される場合、介在する要素は存在しない。本明細書で使用される場合、「および／または」という用語は、関連する列挙された項目のうちの１つ以上のありとあらゆる組み合わせを含み、「／」と略記され得る。

【0018】

本明細書では、第１、第２などの用語を使用して様々な要素を説明する場合があるが、これらの要素はこれらの用語によって限定されるべきではないことが理解されよう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、本原理の教示から逸脱することなく、第１の要素は、第２の要素と呼ばれ得、同様に、第２の要素は、第１の要素と呼ばれ得る。

【0019】

一部の図は、通信の主要な方向を示すために通信経路上に矢印を含んでいるが、通信は、描かれた矢印と反対の方向で発生することがあることを理解されたい。

【0020】

一部の例は、ブロック図および動作フローチャートに関して説明されており、各ブロックは、指定された論理機能を実装するための１つ以上の実行可能な命令を含む回路要素、モジュール、またはコードの一部を表す。他の実装態様では、ブロックに記載されている機能が記載されている順序とは異なる順序で発生し得ることにも留意されたい。例えば、連続して示されている２つのブロックは、実際、実質的に同時に実行されることがあるか、またはブロックは、伴う機能に応じて、時には逆の順序で実行されることがある。

【0021】

本明細書における「一例による」または「一例における」への言及は、例に関して説明される特定の特徴、構造、または特性が、本原理の少なくとも１つの実装態様に含まれ得ることを意味する。本明細書の様々な場所での一例による」または「一例における」という語句の出現は、必ずしもすべて同じ例を指しているわけではなく、別個のまたは代替的な例が他の例を必ずしも相互に排除しているわけでもない。

【0022】

請求項に現れる参照番号は、例示としてのみであり、請求項の範囲に限定的な影響を与えないものとする。明示的には説明されていないが、本例および変形例は、任意の組み合わせまたは部分的な組み合わせで用いられてもよい。

【0023】

図１は、オブジェクトの３次元（３Ｄ）モデル１０、および３Ｄモデル１０に対応するポイントクラウド１１の点を示す。３Ｄモデル１０およびポイントクラウド１１は、例えば、他のオブジェクトを含む３Ｄシーンのオブジェクトの可能な３Ｄ表現に対応し得る。モデル１０は３Ｄメッシュ表現であり得、ポイントクラウド１１の点はメッシュの頂点であり得る。ポイントクラウド１１の点はまた、メッシュの面の表面上に分散する点でもあり得る。モデル１０は、ポイントクラウド１１のスプラッティングバージョンとしても表され得、モデル１０の表面は、ポイントクラウド１１の点をスプラッティングすることによって作成される。モデル１０は、ボクセルまたはスプラインなど、多数の様々な表現によって表され得る。図１は、ポイントクラウドが３Ｄオブジェクトの表面表現で定義され得、３Ｄオブジェクトの表面表現がクラウドの点から生成され得ることを示している。本明細書で使用される場合、（３Ｄシーンの拡張点により）３Ｄオブジェクトの点を画像に投影することは、この３Ｄオブジェクトの任意の表現、例えば、ポイントクラウド、メッシュ、スプラインモデルまたはボクセルモデルを投影することと同等である。

【0024】

ポイントクラウドは、例えば、ベクトルベースの構造としてメモリ内で表され得、各点は、視点の基準フレーム内のそれ自体の座標（例えば、３次元座標ＸＹＺ、または視点から／への立体角および距離（深度と呼ばれる））と、成分とも呼ばれる１つ以上の属性とを有する。成分の例は、様々な色空間内で、例えばＲＧＢ（赤、緑、および青）またはＹＵＶ（Ｙはルマ成分であり、ＵＶは２つのクロミナンス成分である）で表され得る色成分である。ポイントクラウドは、オブジェクトを含む３Ｄシーンの表現である。３Ｄシーンは、所与の視点または様々な視点から見ることができる。ポイントクラウドは、多くの方法によって取得され得、例えば、
・任意選択的に深度能動感知デバイスで補完されたカメラ装置で撮影される、実際のオブジェクトのキャプチャから、
・モデル化ツールで仮想カメラ装置によって撮影される、仮想／合成オブジェクトのキャプチャから、
・実際のオブジェクトおよび仮想オブジェクトの両方の混合から。

【0025】

図２は、一連の３Ｄシーンを表すデータの符号化、送信、および復号の非限定的な例を示す。符号化フォーマットは、例えば、同時に、３ＤｏＦ、３ＤｏＦ＋、および６ＤｏＦ復号と互換性があり得る。

【0026】

一連の３Ｄシーン２０が取得される。一連のピクチャは２Ｄビデオであるため、一連の３Ｄシーンは、３Ｄ（ボリュメトリックとも呼ばれる）ビデオである。一連の３Ｄシーンは、３ＤｏＦ、３ＤｏＦ＋、または６ＤｏＦのレンダリングおよび表示のために、ボリュメトリックビデオレンダリングデバイスに提供され得る。

【0027】

一連の３Ｄシーン２０は、エンコーダ２１に提供される。エンコーダ２１は、１つの３Ｄシーンまたは一連の３Ｄシーンを入力として受け取り、入力を表すビットストリームを提供する。ビットストリームは、メモリ２２および／または電子データ媒体に記憶され得、ネットワーク２２を介して送信され得る。一連の３Ｄシーンを表すビットストリームは、メモリ２２から読み取られ、および／またはデコーダ２３によってネットワーク２２から受信され得る。デコーダ２３には、上記ビットストリームが入力され、例えば、ポイントクラウドフォーマットで、一連の３Ｄシーンを提供する。

【0028】

エンコーダ２１は、いくつかのステップを実装するいくつかの回路を備え得る。第１のステップでは、エンコーダ２１は、各３Ｄシーンを少なくとも１つの２Ｄピクチャに投影する。３Ｄ投影は、３次元の点を２次元の平面にマッピングする任意の方法である。グラフィカルデータを表示するための現在のほとんどの方法は、平面（複数のビットプレーンからのピクセル情報）の２次元媒体に基づいているため、このタイプの投影の使用は、特にコンピュータグラフィックス、エンジニアリング、および製図において広く使用されている。投影回路２１１は、一連の３Ｄシーン２０のために少なくとも１つの２次元フレーム２１１１を提供する。フレーム２１１１は、フレーム２１１１に投影された３Ｄシーンを表す色情報および深度情報を含む。変形例では、色情報および深度の情報は、２つの別個のフレーム２１１１および２１１２内に符号化される。

【0029】

メタデータ２１２は、投影回路２１１によって使用および更新される。メタデータ２１２は、図５～図７に関連して説明されるように、投影演算に関する情報（例えば、投影パラメータ）、ならびに色および深度情報がフレーム２１１１および２１１２内で編成される方法に関する情報を含む。

【0030】

ビデオ符号化回路２１３は、一連のフレーム２１１１および２１１２をビデオとして符号化する。３Ｄシーン２１１１および２１１２のピクチャ（または３Ｄシーンの一連のピクチャ）は、ビデオエンコーダ２１３によってストリーム内に符号化される。次に、ビデオデータおよびメタデータ２１２は、データカプセル化回路２１４によってデータストリーム内にカプセル化される。

【0031】

エンコーダ２１３は、例えば、以下のようなエンコーダに準拠している。
－ＪＰＥＧ、仕様ＩＳＯ／ＣＥＩ １０９１８－１ ＵＩＴ－Ｔ勧告Ｔ．８１、ｈｔｔｐｓ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｔ．８１／ｅｎ、
－ＡＶＣ、別名ＭＰＥＧ－４ ＡＶＣまたはｈ２６４。ＵＩＴ－Ｔ Ｈ．２６４とＩＳＯ／ＣＥＩ ＭＰＥＧ－４ Ｐａｒｔ １０（ＩＳＯ／ＣＥＩ １４４９６－１０）の両方において指定、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６４／ｅｎ、ＨＥＶＣ（その仕様は、ＩＴＵ ウェブサイト、Ｔ勧告、Ｈシリーズ、ｈ２６５、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６５－２０１６１２－Ｉ／ｅｎに見出される）、
－３Ｄ－ＨＥＶＣ（ＨＥＶＣの拡張であり、この仕様は、ＩＴＵウェブサイト、Ｔ勧告、Ｈシリーズ、ｈ２６５、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６５－２０１６１２－Ｉ／ｅｎ 附属書ＧおよびＩに見出される）、
－Ｇｏｏｇｌｅによって開発されたＶＰ９、または
－Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａによって開発されたＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）。

【0032】

データストリームは、デコーダ２３によって、例えば、ネットワーク２２を介してアクセス可能なメモリに記憶される。デコーダ２３は、復号の様々なステップを実装する様々な回路を備える。デコーダ２３は、エンコーダ２１によって生成されたデータストリームを入力として受け取り、ヘッドマウントデバイス（ＨＭＤ）のようなボリュメトリックビデオ表示デバイスによってレンダリングおよび表示される一連の３Ｄシーン２４を提供する。デコーダ２３は、ソース２２からストリームを取得する。例えば、ソース２２は、以下を含むセットに属する。
－ローカルメモリ、例えば、ビデオメモリまたはＲＡＭ（もしくは、ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（または、読み取り専用メモリ）、ハードディスク、
－ストレージインターフェース、例えば、大容量ストレージ、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、または磁気サポートとのインターフェース、
－通信インターフェース、例えば、有線インターフェース（例えば、バスインターフェース、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース）または無線インターフェース（ＩＥＥＥ８０２．１１インターフェースもしくはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェースなど）、および
－ユーザがデータを入力することを可能にするグラフィカルユーザインターフェースなどのユーザインターフェース。

【0033】

デコーダ２３は、データストリーム内に符号化されたデータを抽出するための回路２３４を備える。回路２３４は、データストリームを入力として受け取り、ストリーム内に符号化されたメタデータ２１２に対応するメタデータ２３２および２次元ビデオを提供する。ビデオは、ビデオデコーダ２３３によって復号され、ビデオデコーダ２３３は一連のフレームを提供する。復号されたフレームは、色情報および深度情報を含む。変形例では、ビデオデコーダ２３３は、フレームの２つのシーケンスを提供し、１つは色情報を含み、もう１つは深度情報を含む。回路２３１は、メタデータ２３２を使用して、復号されたフレームから色情報および深度情報を逆投影して、一連の３Ｄシーン２４を提供する。一連の３Ｄシーン２４は、一連の３Ｄシーン２０に対応し、２Ｄビデオとしての符号化およびビデオ圧縮に関連して精度が失われる可能性がある。

【0034】

図３は、図７および図８に関連して説明される方法を実装するように構成され得るデバイス３０の例示的なアーキテクチャを示す。図２のエンコーダ２１および／またはデコーダ２３は、このアーキテクチャを実装し得る。代替的に、エンコーダ２１および／またはデコーダ２３の各回路は、例えば、それらのバス３１を介しておよび／またはＩ／Ｏインターフェース３６を介して互いにリンクされた、図３のアーキテクチャによるデバイスであり得る。

【0035】

デバイス３０は、データおよびアドレスバス３１によって互いにリンクされた以下の要素を備える。
－例えば、ＤＳＰ（またはデジタル信号プロセッサ）である、マイクロプロセッサ３２（またはＣＰＵ）、
－ＲＯＭ（または読み取り専用メモリ）３３、
－ＲＡＭ（またはランダムアクセスメモリ）３４、
－ストレージインターフェース３５、
－アプリケーションから送信されるデータを受信するＩ／Ｏインターフェース３６、および
－電源、例えば、バッテリ。

【0036】

一例によれば、電源はデバイスの外部にある。上記メモリの各メモリでは、本明細書において使用される単語「ｒｅｇｉｓｔｅｒ（レジスタ）」は、小容量のエリア（いくつかのビット）または非常に大きいエリア（例えば、プログラム全体または大量の受信データもしくは復号データ）に対応し得る。ＲＯＭ３３は、少なくともプログラムおよびパラメータを含む。ＲＯＭ３３は、本原理による技術を実行するためのアルゴリズムおよび命令を記憶し得る。オンに切り替わると、ＣＰＵ３２は、ＲＡＭ内にプログラムをアップロードして、対応する命令を実行する。

【0037】

ＲＡＭ３４は、レジスタに、ＣＰＵ３２により実行され、デバイス３０がオンに切り替わった後にアップロードされるプログラムを含み、入力データをレジスタに含み、方法の異なる状態の中間データをレジスタに含み、方法を実行するために使用される他の変数をレジスタに含む。

【0038】

本明細書において説明される実装態様は、例えば、方法もしくはプロセス、装置、コンピュータプログラム製品、データストリーム、または信号において実装され得る。単一の形態の実装態様の状況でのみ考察される（例えば、方法またはデバイスとしてのみ考察される）場合でも、考察される特徴の実装態様は、他の形態（例えば、プログラム）においても実装され得る。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアにおいて実装され得る。これらの方法は、例えば、装置において実装され得、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む、一般に、処理デバイスを指す、例えば、プロセッサなどにおいて実装され得る。プロセッサは、通信デバイス、例えば、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタンス（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を容易にする他のデバイスなども含む。

【0039】

例によれば、デバイス３０は、図７および図８に関連して説明される方法を実装するように構成され、以下を含むセットに属する：
－モバイルデバイス、
－通信デバイス、
－ゲームデバイス、
－タブレット（または、タブレットコンピュータ）、
－ラップトップ、
－静止画カメラ、
－ビデオカメラ、
－符号化チップ、
－サーバ（例えば、ブロードキャストサーバ、ビデオオンデマンドサーバ、またはウェブサーバ）。

【0040】

図４は、データがパケットベース送信プロトコルを介して送信されるときのストリームのシンタックスの一実施形態の例を示す。図４は、ボリュメトリックビデオストリームの例示的な構造４を示している。構造は、ストリームを個別のシンタックス要素に編成するコンテナ内に存在する。この構造は、ストリームのあらゆるシンタックス要素に共通するデータのセットであるヘッダ部４１を含み得る。例えば、ヘッダ部は、シンタックス要素に関するメタデータの一部を含み、それらの各々の性質および役割を記述している。ヘッダ部分はまた、図２のメタデータ２１２の一部、例えば、３Ｄシーンの点をフレーム２１１１および２１１２に投影するために使用される中心視点の座標を含み得る。構造は、シンタックス４２の要素とシンタックス４３の少なくとも１つの要素とを含むペイロードを含む。シンタックス要素４２は、色および深度フレームを表すデータを含む。画像は、ビデオ圧縮方法に従って圧縮されていることがある。

【0041】

シンタックス４３の要素は、データストリームのペイロードの一部であり、シンタックス４２の要素のフレームがどのように符号化されるかに関するメタデータ、例えば、３Ｄシーンの点をフレームに投影およびパッキングするために使用されるパラメータを含み得る。このようなメタデータは、ビデオの各フレームに、またはフレームのグループ（ビデオ圧縮規格ではピクチャのグループ（ＧｏＰ）としても知られている）に関連付けられ得る。

【0042】

図５は、１つの曲線経路、ならびにこの経路に沿った所与の位置における球形バウンディングボックスおよびビューイング配向範囲を描写することによって、仮想３Ｄシーン内の制限された誘導の概念を概略的に示す。誘導の制限は、コンテンツの作成段階においてコンテンツごとに決定され、３Ｄジオメトリの客観的制約に主観的（例えば、芸術的）制約を追加する可能性があるという追加の利点がある。

【0043】

本原理によれば、３Ｄシーン５０を表す所与のボリュメトリックビデオコンテンツに関連するビューイング位置および配向のサブセットを明示的に記述する高レベルのシンタックス要素の配置。シグナリングされる情報は、以下の要素を含む。
－３Ｄ空間内の曲線経路５１（または曲線経路のセット）、
－基本バウンディングボックスボリューム５２、
－曲線経路に沿った位置によってインデックス付けされた、ビューイング配向範囲のセット５３
これらの要素の組み合わせは、良質の３Ｄシーン再構築に好適な、好ましい、および／または許容される経路に沿った仮想変位を記述する。経路に沿った各位置において、バウンディングボックス内の小さい並進移動が可能であり、ビューイング配向は所与の角度範囲内に制限される。これは、４ＤｏＦ＋仮想誘導「トンネル」として記述することができる。

【0044】

第１の実施形態によれば、曲線誘導経路のセットは、以下のシンタックスおよびセマンティクスを備えた３Ｄ点のセットによって定義される。
ａｌｉｇｎｅｄ（８）ｃｌａｓｓ ＮａｖｉｇａｔｉｏｎＰａｔｈＳｅｔ（）
｛
ＶｉｅｗｉｎｇＢｏｕｎｄｉｎｇＢｏｘ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８）ｎｕｍ＿ｐａｔｈｓ；
ｆｏｒ（ｎ＝０；ｎ＜ｎｕｍ＿ｐａｔｈｓ；ｎ＋＋）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｎｕｍ＿ｐｏｉｎｔｓ［ｎ］；
ｆｏｒ（ｉ＝０；ｉ＜ｎｕｍ＿ｐｏｉｎｔｓ［ｎ］；ｉ＋＋）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）Ｘ［ｎ］［ｉ］；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）Ｙ［ｎ］［ｉ］；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）Ｚ［ｎ］［ｉ］；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｐｈｉ＿ｍｉｎ［ｎ］［ｉ］；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｐｈｉ＿ｍａｘ［ｎ］［ｉ］；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｔｈｅｔａ＿ｍｉｎ［ｎ］［ｉ］；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｔｈｅｔａ＿ｍａｘ［ｎ］［ｉ］；
｝
｝
｝

ａｌｉｇｎｅｄ（８）ｃｌａｓｓ ＶｉｅｗｉｎｇＢｏｕｎｄｉｎｇＢｏｘ（）
｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（８）ｓｈａｐｅ＿ｔｙｐｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｆｉｒｓｔ＿ｄｉｍｅｎｓｉｏｎ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｓｅｃｏｎｄ＿ｄｉｍｅｎｓｉｏｎ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｔｈｉｒｄ＿ｄｉｍｅｎｓｉｏｎ；
｝

【0045】

ｎｕｍ＿ｐａｔｈｓは、コンテンツを誘導するために定義された曲線誘導経路の数を指定する。値０は、３Ｄ空間全体を誘導することができることを示す。

【0046】

ｎｕｍ＿ｐｏｉｎｔｓは、曲線誘導経路に沿ってサンプリングされた３Ｄ点の数を指定する。

【0047】

Ｘ［ｎ］［ｉ］、Ｙ［ｎ］［ｉ］、Ｚ［ｎ］［ｉ］は、３Ｄシーンのグローバル座標系内のｎ番目の経路に沿ったｉ番目のサンプルの３Ｄ座標を定義する固定小数点値（例えば、１６．１６の値）である。点は、経路に沿った曲線の横座標に従って順序付けられる。したがって、ｎ番目の経路は、２つの３Ｄエンドポイント（Ｘ［ｎ］［０］、Ｙ［ｎ］［０］、Ｚ［ｎ］［０］）および（Ｘ［ｎ］［ｎｕｍ＿ｐｏｉｎｔｓ［ｎ］－１］、Ｙ［ｎ］［ｎｕｍ＿ｐｏｉｎｔｓ［ｎ］－１］、Ｚ［ｎ］［ｎｕｍ＿ｐｏｉｎｔｓ［ｎ］－１］）間に定義される。例えば、曲線経路は、リスト内の２つの連続する点間の、およびリストの最後の点から最初の点までの直線経路の区分的経路である場合がある。変形例では、曲線経路は、３つまたは４つの連続する点を使用することにより、２次または３次ベジエ曲線を使用することによって決定され得る。

【0048】

ｐｈｉ＿ｍｉｎ［ｎ］［ｉ］、ｐｈｉ＿ｍａｘ［ｎ］［ｉ］およびｔｈｅｔａ＿ｍｉｎ［ｎ］［ｉ］、ｔｈｅｔａ＿ｍａｘ［ｎ］［ｉ］は、２^１６度の単位でｎ番目の経路に沿ったｉ番目の点におけるビューイング配向を定める、方位角および仰角の最小値および最大値である。方位角の値は、例えば、両端値を含めて、－１８０＊２^１６～１８０＊２^１６－１の範囲内にある。仰角の値は、例えば、両端値を含めて、－９０＊２^１６～９０＊２^１６の範囲内にある。方位角および仰角の値は、異なる測定単位、例えば、ラジアンで表され得る。

【0049】

ｓｈａｐｅ＿ｔｙｐｅは、ユーザが誘導経路に沿った所与の位置においてわずかに移動することを許容されるビューイングバウンディングボックスの形状を指定する。ｓｈａｐｅ＿ｔｙｐｅが０である場合は球を示し、球の半径は、ｆｉｒｓｔ＿ｄｉｍｅｎｓｉｏｎによって指定される。このシンタックスでは、より複雑な楕円体または直方体の３Ｄボリューム形状を定義することを可能にする。

【0050】

別の実施形態によれば、軽量のビューイング空間５４の仕様は、ボリュメトリックコンテンツに関連付けられた収集カメラのパラメータから誘導経路５１を推測することによって取得される。誘導経路をサンプリングする３Ｄ点は、収集カメラの３Ｄ位置である。各サンプル位置におけるビューイング方向（中心方位角および仰角）は、その位置における収集カメラのビューイング方向である。収集外部カメラパラメータは、すでにボリュメトリックビデオコンテンツに関連付けられたメタデータの一部であるため、ビューイング空間を指定するために送信する追加のメタデータは、各サンプル位置におけるビューイングボックスの形状およびサイズ、ならびにビューイング方向の周囲の方位角および仰角の範囲に低減する。シンタックスおよび関連するセマンティクスの例は次のとおりである。
ａｌｉｇｎｅｄ（８）ｃｌａｓｓ ＮａｖｉｇａｔｉｏｎＰａｔｈＦｒｏｍＣａｍｅｒａＲｉｇ（）
｛
ＶｉｅｗｉｎｇＢｏｕｎｄｉｎｇＢｏｘ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８）ｎｕｍ＿ｐａｔｈｓ；
ｆｏｒ（ｎ＝０；ｎ＜ｎｕｍ＿ｐａｔｈｓ；ｎ＋＋）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｎｕｍ＿ｃａｍｓ［ｎ］；
ｆｏｒ（ｉ＝０；ｉ＜ｎｕｍ＿ｃａｍｓ［ｎ］；ｉ＋＋）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｃａｍ＿ｉｄｘ［ｎ］［ｉ］；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｐｈｉ＿ｒａｎｇｅ［ｎ］［ｉ］；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｔｈｅｔａ＿ｒａｎｇｅ［ｎ］［ｉ］；
｝
｝
｝

【0051】

ｎｕｍ＿ｃａｍｓ［ｎ］は、ｎ番目の誘導経路をサンプリングするために使用される収集カメラのサブセットのサイズである。ｃａｍ＿ｉｄｘ［ｎ］［ｉ］は、（すべての収集カメラのリストの中で）ｎ番目の誘導経路に沿ったｉ番目のカメラのインデックスである。ｐｈｉ＿ｒａｎｇｅ［ｎ］［ｉ］およびｔｈｅｔａ＿ｒａｎｇｅ［ｎ］［ｉ］は、ｃａｍ＿ｉｄｘ［ｎ］［ｉ］番目の収集カメラの方位角および仰角の周囲の、ｎ番目の経路に沿ったｉ番目の位置における方位角および仰角の偏差の範囲である。

【0052】

このようなビューイング空間の仕様は、円の弧に沿って位置決めされたカメラ装置でキャプチャされたボリュメトリックコンテンツに特に適している。図５ｂは、そのような装置からキャプチャされた３Ｄコンテンツに関連するビューイング空間５４の例を示しており、１０個のカメラは、５対の収束カメラ５５に構成されて３Ｄシーンをキャプチャし、管状のビューイング空間５４は、他のすべてのカメラの場所において５つの回転楕円体をサンプリングすることによって指定される。

【0053】

図６は、中心位置に対象オブジェクトを有する３Ｄシーンの周りを誘導するための円形経路の特定の事例を示す。この使用事例では、ユーザは、内向きの視野６３を用いて、グローバル座標系内の所与の高さ値において水平面内の円形経路６１上で３Ｄシーン５０を歩き回ることが可能になる。バウンディングボックス５２内の変位は、第１の実施形態におけるように許容される。

【0054】

シンタックスおよびセマンティクスの例は次のとおりであり得る。
ａｌｉｇｎｅｄ（８）ｃｌａｓｓ ＣｉｒｃｕｌａｒＮａｖｉｇａｔｉｏｎＰａｔｈ（）
｛
ＶｉｅｗｉｎｇＢｏｕｎｄｉｎｇＢｏｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｃｅｎｔｅｒ＿ｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｃｅｎｔｅｒ＿ｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｃｅｎｔｅｒ＿ｚ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｒａｄｉｕｓ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｄｅｌｔａ＿ｐｈｉ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｔｈｅｔａ＿ｍｉｎ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｔｈｅｔａ＿ｍａｘ；
｝

【0055】

ｃｅｎｔｅｒ＿ｘ、ｃｅｎｔｅｒ＿ｙ、ｃｅｎｔｅｒ＿ｚは、円形経路の中心の３Ｄ座標を定義する固定小数点値（例えば、１６．１６の値）である。

【0056】

ｒａｄｉｕｓは、円形経路の半径を定義する固定小数点値である。

【0057】

ｐｈｉ＿ｒａｎｇｅは、２^１６度の単位で、（半径方向に対して）円形経路上の任意の点において方位角ビューイング配向を定める角度範囲である。ｄｅｌｔａ＿ｐｈｉの値は、両端値を含めて、０～３６０＊２^１６－１の範囲とする。

【0058】

ｔｈｅｔａ＿ｍｉｎ、ｔｈｅｔａ＿ｍａｘは、２^１６度の単位での、円形経路上の任意の点におけるビューイング仰角の最小値および最大値である。仰角の値は、両端値を含めて、－９０＊２^１６～９０＊２^１６の範囲とする。

【0059】

より一般的には、曲線誘導経路は、パラメトリック３Ｄ曲線によって、Ｘ＝ｆ（ｓ）、Ｙ＝ｇ（ｓ）、Ｚ＝ｈ（ｓ）と定義され得、ｓは、スカラー値である。このような関数的パラメータ化の多様性は、本原理によれば好適である。この一般的なアプローチは、スポーツイベントまたはコンサートイベントのボリュメトリックビデオのレンダリングのような、典型的な４ＤｏＦ＋体験に特に適合されている。このような４ＤｏＦ＋ビデオの場合、好適な、好ましい、および／または許容された経路は、例えば、スタジアムのスタンドの楕円形、またはスタジアムのステージもしくはフィールドの周りの長方形のような、少数のパラメータを使用してパラメータ化することができる単純な形状を有する。

【0060】

図７は、ボリュメトリックビデオにおける誘導の制限を表す情報をシグナリングするための方法７０を図式的に示す。ステップ７１において、ボリュメトリックビデオデータが取得される。曲線経路と曲線経路の点のビューイング方向範囲とを表すデータが同時に取得される。ビューイングバウンディングボックスに関連付けられた曲線経路は、ボリュメトリックビデオの３Ｄシーンを含む３Ｄ空間における誘導の制限を表す。本原理の実施形態によれば、これらのデータは、図５および図６に関連して説明されたように、異なるデータ構造を介して表され得る。ステップ７２において、ボリュメトリックビデオデータは、ステップ７１において取得された誘導の制限を含むメタデータに関連してデータストリーム内に符号化される。ステップ７３において、ステップ７２において符号化されたデータストリームは、非一時的な媒体に記憶されるか、またはクライアントデバイスに送信され得る。

【0061】

一実施形態によれば、提案される制限付き誘導経路メッセージは、ビデオストリーム内で専用のＳＥＩメッセージ（補足強化情報）に符号化される。別の実施形態によれば、提案される制限付き誘導経路メッセージは、ＩＳＯベースメディアファイルフォーマットを使用してコンテナレベルで符号化される。ボリュメトリックビデオストリームのメタデータにこのような誘導経路メッセージを追加すると、レンダラ側で、仮想誘導を、符号化された３Ｄシーンコンテンツと一致するビューイング位置および配向に制限することができるため、没入型体験の品質が保証される。

【0062】

図８は、ボリュメトリックビデオにおける誘導の制限を表す情報を復号するための方法８０を図式的に示す。ステップ８１において、ボリュメトリックビデオのビデオデータを含むデータストリームがソースから取得される。データストリームはまた、ボリュメトリックビデオに関連付けられたメタデータと、ボリュメトリックビデオの３Ｄシーンを含む３Ｄ空間における誘導の制限の表現とを含む。ステップ８２において、ビデオデータおよびメタデータが復号される。メタデータは、ビューイングバウンディングボックスを表すデータと、ボリュメトリックビデオの３Ｄ空間における曲線経路を表すデータと、曲線経路上の点に関連付けられた少なくとも１つのビューイング方向範囲を表すデータと、を含む。これらのデータは、図５および図６に関連して示されるように、本原理の実施形態による異なるデータ構造によって表され得る。ステップ８３において、３Ｄシーンの３Ｄ空間における誘導の制限を表す情報が、復号されたメタデータを使用することによって検索され、この情報は、レンダラによって使用される。例えば、レンダラは、ユーザが、良質のレンダリングが保証されているトンネルを離れようとしたとき、ユーザに警告し得る。レンダラはまた、ユーザが好適な経路の外に移動しているときに、仮想カメラが記述ボリュームの外に移動すること、または（例えば、画像をフェードすることによって）レンダリングを変更することを防止し得る。

【0063】

本明細書において説明される実装態様は、例えば、方法もしくはプロセス、装置、コンピュータプログラム製品、データストリーム、または信号において実装され得る。単一の形態の実装態様の状況でのみ考察される（例えば、方法またはデバイスとしてのみ考察される）場合でも、考察される特徴の実装態様は、他の形態（例えば、プログラム）においても実装され得る。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアにおいて実装され得る。例えば、これらの方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む処理デバイスを広く指す、例えば、プロセッサのような装置において実装され得る。プロセッサは、例えば、スマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡ」）、およびエンドユーザ間の情報の伝達を容易にする他のデバイスのような通信デバイスも含む。

【0064】

本明細書において説明される様々なプロセスおよび特徴の実装態様は、様々な異なる機器または用途において具体化され得、具体的には、例えば、データ符号化、データ復号、ビュー生成、テクスチャ処理、および他の画像処理、ならびに関連するテクスチャ情報および／または深度情報に関連付けられる機器または用途において具体化され得る。このような機器の例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、入力をエンコーダに供給するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、および他の通信デバイスを含む。明らかであるはずであるように、機器は、可搬式であり得、移動車両にさえ搭載され得る。

【0065】

また、方法は、プロセッサにより実行される命令によって実装され得、このような命令（および／または、実装態様により生成されるデータ値）は、例えば、集積回路、ソフトウェア担体のようなプロセッサ可読媒体に格納する、または例えば、ハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えば、デジタル多用途ディスクまたはデジタルビデオディスクと称される場合が多いＤＶＤのような）、ランダムアクセスメモリ（「ＲＡＭ」）、もしくは読み取り専用メモリ（「ＲＯＭ」）のような他のストレージデバイスに格納され得る。命令は、プロセッサ可読媒体に有形に具体化されるアプリケーションプログラムを形成し得る。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、または組み合わせ内にあり得る。命令は、例えば、オペレーティングシステム、個別アプリケーション、または２つの組み合わせにおいて見出され得る。したがって、プロセッサは、例えば、処理を実行するように構成されたデバイス、および処理を実行する命令を有するプロセッサ可読媒体（ストレージデバイスなど）を含むデバイスの両方として特徴付けられ得る。さらに、プロセッサ可読媒体は、命令に加えて、または命令の代わりに、実装態様により生成されるデータ値を記憶し得。

【0066】

当業者には明らかであるように、実装態様は、情報を搬送するようにフォーマット化される様々な信号を生成し得、この情報は、例えば、記憶または送信され得る。情報は、例えば、方法を実行する命令、または説明される実装態様のうちの１つにより生成されたデータを含み得る。例えば、信号は、データとして、説明される実施形態のシンタックスを書き込む、または読み出すルールを伝達するようにフォーマットされ得るか、またはデータとして、説明される実施形態より記述された実際のシンタックス値を伝達するようにフォーマットされ得る。このような信号は、例えば、電磁波としてフォーマット（例えば、スペクトルの無線周波数部分を使用して）され得るか、またはベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えば、データストリームを符号化することと、搬送波を符号化データストリームで変調することと、を含み得る。信号が搬送する情報は、例えば、アナログ情報またはデジタル情報であり得る。信号は、既知のように、多種多様な異なる有線リンクまたは無線リンクを介して送信され得る。信号は、プロセッサ可読媒体に記憶され得る。

【0067】

いくつかの実装態様が説明されてきた。それにもかかわらず、様々な変更が行われ得ることが理解されよう。例えば、異なる実装態様の要素は、他の実装態様を生成するために組み合わされ得るか、補足され得るか、変更され得るか、または削除され得る。また、当業者であれば、他の構造および処理が、開示される構造および処理に代用され得、結果として得られる実装態様が、少なくとも実質的に同じ機能（複数可）を、少なくとも実質的に同じ方法（複数可）で実行して、開示される実装態様と少なくとも実質的に同じ結果（複数可）を達成することを理解するであろう。したがって、これらの実装態様および他の実装態様は、本出願により想到される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図5b】

【図6】

【図7】

【図8】

【国際調査報告】