(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-24
(54)【発明の名称】マルチトラックベースの没入型メディアプレイアウト
(51)【国際特許分類】
H04N 21/44 20110101AFI20240117BHJP
G06T 9/00 20060101ALI20240117BHJP
【ＦＩ】
H04N21/44
G06T9/00 100
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023542697
(86)(22)【出願日】2021-01-15
(85)【翻訳文提出日】2023-07-28
(86)【国際出願番号】 CN2021072214
(87)【国際公開番号】W WO2022151370
(87)【国際公開日】2022-07-21
(81)【指定国・地域】
(71)【出願人】
【識別番号】511151662
【氏名又は名称】中興通訊股▲ふん▼有限公司
【氏名又は名称原語表記】ＺＴＥ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】ＺＴＥ Ｐｌａｚａ，Ｋｅｊｉ Ｒｏａｄ Ｓｏｕｔｈ，Ｈｉ－Ｔｅｃｈ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】リー， チウティン
【テーマコード（参考）】
5C164
【Ｆターム（参考）】
5C164MB13S
5C164MB43S
5C164SB11S
5C164UB01P
5C164UB11S
(57)【要約】
種々のシナリオにおけるプレイアウト群を動的に示す方法、装置、およびシステムが、開示される。一例示的側面において、方法は、プレイアウト群情報に基づいて、３次元空間におけるボリュメトリックビデオに対応するプレイアウト群を決定することであって、プレイアウト群は、複数のコンポーネントを含み、あるタイプの各コンポーネントは、１つ以上のバージョンを有する、ことと、プレイアウト群に対応するメディアトラックから、２次元ボリュメトリックビデオコンテンツを取得することと、異なるバージョンを伴う複数のコンポーネントに基づいて、ボリュメトリックビデオを３次元空間の中に再構築することとを含む。
【特許請求の範囲】
【請求項1】
メディアコンテンツを処理する方法であって、前記方法は、プレイアウト群情報に基づいて、３次元空間におけるボリュメトリックビデオに対応するプレイアウト群を決定することであって、前記プレイアウト群は、複数のコンポーネントを含み、あるタイプの各コンポーネントは、１つ以上のバージョンを有する、ことと、
前記プレイアウト群に対応するメディアトラックから、２次元ボリュメトリックビデオコンテンツを取得することと、
異なるバージョンを伴う前記複数のコンポーネントに基づいて、前記ボリュメトリックビデオを３次元空間の中に再構築することと
を含む、方法。
【請求項2】
前記コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング（Ｖ３Ｃ）コンポーネントを含む、請求項１に記載の方法。
【請求項3】
前記Ｖ３Ｃコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも１つを含む、請求項２に記載の方法。
【請求項4】
各アトラスまたはアトラスタイルは、複数のバージョンを伴う属性コンポーネント、占有コンポーネント、および／または幾何学形状コンポーネントに対応する、請求項３に記載の方法。
【請求項5】
前記占有コンポーネントの異なるバージョン、前記幾何学形状コンポーネントの異なるバージョン、および前記属性コンポーネントの異なるバージョンは、それぞれ、互いの間に依存関係を有する、請求項３に記載の方法。
【請求項6】
前記プレイアウト群は、複数の代替トラック群からのＶ３Ｃコンポーネントを含む、請求項１に記載の方法。
【請求項7】
前記異なるバージョンは、異なるエンコーディング方法、異なるビット率、または異なる分解能のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項8】
前記プレイアウト群における前記コンポーネントは、１つ以上のアトラスまたはアトラスタイルに対応する、請求項１に記載の方法。
【請求項9】
前記プレイアウト群は、サンプルエントリおよび／または前記サンプルエントリに属する１つ以上のサンプルにおける動的プレイアウト群化情報を構成するための時間指定メタデータトラックに基づいて構成されている、請求項１に記載の方法。
【請求項10】
前記時間指定メタデータトラックは、各サンプル時間における前記プレイアウト群を構成するために使用される、請求項９に記載の方法。
【請求項11】
前記サンプルエントリは、初期プレイアウト群を構成するための構成情報を含む、請求項９に記載の方法。
【請求項12】
前記プレイアウト群における変化を示すためのフラグを生成することをさらに含む、請求項１１に記載の方法。
【請求項13】
１つ以上の新しいプレイアウト群を示すためのフラグを生成することをさらに含む、請求項１１に記載の方法。
【請求項14】
前記プレイアウト群は、トラックに含まれたビデオエンコードコンポーネントデータ、またはトラックに含まれたアトラスまたはアトラスタイルにおけるサンプルを含むサンプル群に基づいて構成される、請求項１に記載の方法。
【請求項15】
前記サンプル群は、サンプリング期間中に使用され、前記サンプリング期間に基づいて、更新されるように構成されている、請求項１４に記載の方法。
【請求項16】
前記プレイアウト群の情報は、プレイアウト群の構造の構文によって記述される、請求項１－１５のいずれかに記載の方法。
【請求項17】
メディアコンテンツを処理する方法であって、前記方法は、サーバによって、１つ以上のタイプのコンポーネントを含むプレイアウト群を構成することであって、あるタイプの各コンポーネントは、１つ以上のバージョンを有する、ことと、
前記サーバによって、前記プレイアウト群に対応するプレイアウト群情報を構成することと、
前記サーバによって、ユーザデバイスに、メディアプレゼンテーション記述において前記プレイアウト群情報を伝送することと
を含む、方法。
【請求項18】
前記コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング（Ｖ３Ｃ）コンポーネントを含む、請求項１７に記載の方法。
【請求項19】
前記Ｖ３Ｃコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも１つを含む、請求項１８に記載の方法。
【請求項20】
前記Ｖ３Ｃコンポーネントの各々は、前記メディアプレゼンテーション記述において別個の適合組として表される、請求項１９に記載の方法。
【請求項21】
前記プレイアウト群情報を示すために、前記プレイアウト群に対応するプレイアウト群識別子または代替群識別子のうちの少なくとも１つを前記メディアプレゼンテーション記述に追加することをさらに含む、請求項１７に記載の方法。
【請求項22】
前記プレイアウト群識別子は、プレゼンテーション組におけるＶ３Ｃコンポーネントまたは適合組におけるＶ３Ｃコンポーネントに関連付けられた１つ以上のプレイアウト群に対応する、請求項２１に記載の方法。
【請求項23】
前記代替群識別子は、適合組におけるＶ３Ｃコンポーネントに関連付けられた１つ以上の代替群に対応する、請求項２１に記載の方法。
【請求項24】
前記メディアプレゼンテーション記述にプレイアウト群情報を含むために、プレイアウト群記述子を構成することをさらに含む、請求項１７に記載の方法。
【請求項25】
前記プレイアウト群記述子は、１つ以上のプレイアウト群に関連付けられた表現組におけるＶ３Ｃコンポーネントに対応する、請求項２４に記載の方法。
【請求項26】
前記プレイアウト群記述子は、プレイアウト群の１つ以上の識別子、プレイアウト群の１つ以上の品質レベル、または適合組におけるＶ３Ｃコンポーネントの１つ以上の識別子のうちの少なくとも１つを含む、請求項２４－２５のいずれかに記載の方法。
【請求項27】
無線通信のための装置であって、前記装置は、メモリとプロセッサとを備え、前記プロセッサは、前記メモリからコードを読み取り、請求項１－２６のいずれかに規定されている方法を実装する、装置。
【請求項28】
コードを記憶しているコンピュータ読み取り可能なプログラム記憶媒体であって、前記コードは、プロセッサによって実行されると、請求項１－２６のいずれかに規定されている方法を前記プロセッサに実装させる、コンピュータ読み取り可能なプログラム記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本特許文書は、概して、没入型技術に関する。
【背景技術】
【0002】
人間とコンピュータとの相互作用および人工知能技術の近年の発展に伴って、没入型技術は、働き方および生き方に革命をもたらしている。没入型技術は、マーケティングおよび広告、健康管理、教育、およびゲームを含むいくつか分野において適用される。新しい没入型技術の急速な発展は、ビデオおよび画像データを効果的に処理することを要求する。
【発明の概要】
【課題を解決するための手段】
【0003】
本特許文書は、とりわけ、種々のシナリオにおいて、プレイアウト群を動的に示すための技法を説明する。
【0004】
一側面において、メディアコンテンツを処理する方法が、開示される。方法は、プレイアウト群情報に基づいて、３次元空間におけるボリュメトリックビデオに対応するプレイアウト群を決定することであって、プレイアウト群は、複数のコンポーネントを含み、あるタイプの各コンポーネントは、１つ以上のバージョンを有する、ことと、プレイアウト群に対応するメディアトラックから、２次元ボリュメトリックビデオコンテンツを取得することと、異なるバージョンを伴う複数のコンポーネントに基づいて、ボリュメトリックビデオを３次元空間の中に再構築することとを含む。
【0005】
別の側面において、メディアコンテンツを処理する方法が、開示される。方法は、サーバによって、１つ以上のタイプのコンポーネントを含むプレイアウト群を構成することであって、あるタイプの各コンポーネントは、１つ以上のバージョンを有する、ことと、サーバによって、プレイアウト群に対応するプレイアウト群情報を構成することと、サーバによって、ユーザデバイスに、メディアプレゼンテーション記述においてプレイアウト群情報を伝送することとを含む。
【0006】
別の例示的側面において、上記に説明される方法を実装するように構成されたプロセッサを備えている、無線通信装置が、開示される。
【0007】
別の例示的側面において、上記に説明される方法を実装するためのコードを記憶しているコンピュータ記憶媒体が、開示される。
【0008】
これらの側面および他の側面が、本書に説明される。
【図面の簡単な説明】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【発明を実施するための形態】
【0016】
節の見出しは、理解の容易性のためにのみ、本書において使用され、実施形態の範囲をそれらが説明される節に限定しない。
【0017】
開示される技術は、伝送効率およびレンダリング処理を改良し得るマルチトラックカプセル化ボリュメトリックビデオに基づいてプレイアウト表現および処理方法を提供するために、いくつかの実施形態において実装されることができる。開示される技術のいくつかの実施形態は、異なるネットワーク条件のもとで、ボリュメトリックビデオコンテンツを効果的に伝送し、適切な品質を伴って、ボリュメトリックビデオを再構築するために使用されることができる。
【0018】
没入型メディアは、ユーザがオーディオおよびビデオ技術を通して現実的な仮想空間内で、高度な没入感を体験することを可能にする。現在のところ、没入型メディアシステムは、３次元場面／オブジェクトを表現するために、ボリュメトリックビデオを使用する。すなわち、場面内の任意のオブジェクトは、６自由度の移動を通して視認されることができる。
【0019】
没入型メディアシステムでは、ボリュメトリックビデオ処理プロセスに関して、システムプラットフォームは、ボリュメトリックビデオを作り出し、３次元ボリュメトリックビデオを２次元平面の上に投影することと、アトラスデータ（３次元空間と２次元空間との間の投影関係）および２次元コンポーネント（幾何学形状、属性、および占有マップデータ）によって、ボリュメトリックビデオを表現することと、アトラスデータおよびコンポーネントデータを圧縮することと、メディアファイルの中にカプセル化することとを含む。ボリュメトリックビデオは、プラットフォーム側に記憶され、視認要件に基づいて、ユーザ側に転送される。
【0020】
２次元平面上のボリュメトリックビデオの表現による現在の技術のもとで、ボリュメトリックビデオメディアファイルは、複数のトラックを含むことができ、各トラックは、別個に、ボリュメトリックビデオパラメータ、アトラスパラメータ、アトラスデータ、および／またはＶ３Ｃコンポーネントを含む。Ｖ３Ｃ（視覚的ボリュメトリックビデオベースのコーディング）コンポーネントデータは、ビデオエンコーディング方法を使用して圧縮され、ＡＶＣ（高度ビデオコーディング）、ＨＥＶＣ（高効率ビデオコーディング）エンコーディング方法、異なるビット率、分解能等の異なるバージョンにおいて、生成され得る。
【0021】
占有、幾何学形状、および属性コンポーネントの異なるバージョンは、互いの間に関係または依存関係を有し得る。幾何学形状コンポーネントデータは、アトラスデータと占有コンポーネントとに基づいて生成される。さらに、属性コンポーネントデータも、占有コンポーネントデータ、幾何学形状コンポーネントデータ、および他の情報に基づいて生成される。依存関係が保たれないとき、可視レンダリングアーチファクトが、生じ得る。例えば、幾何学形状と属性との間で、厳密に合致しない境界が、「フライングピクセル」を引き起こし得る。さらにより多くの可視誤差が、正確な占有トラックが合致している幾何学形状トラックと対ではないとき、生じ得る。異なる品質の占有マップと幾何学形状との組み合わせは、最終的に、パッチ境界の周囲に歪んだエッジを容易に生成し得る。この場合、代替群からのＶ３Ｃコンポーネントのある組み合わせのみが、一緒にプレイアウトされることができる。
【0022】
Ｖ３Ｃコンポーネントの異なるバージョンとタイプとの間の依存関係に従って、代替群または改変群を形成する多くのプレイアウトの組み合わせが、存在し、それらは、異なるバージョンを伴う同じタイプのＶ３Ｃコンポーネントを含む。本明細書は、トラック群またはエンティティ群によって代替プレイアウト群を示すための機構を定義する。各プレイアウト群の組み合わせは、プレイアウトプロセスにおいて一定であり、可能な限り多くの全てのプレイアウトの組み合わせをリストアップすることが必要とされ、それによって、最適なプレイアウトスキームが、ユーザ端末によって選択され得る。複数のアトラスまたはアトラスタイルが存在する場合、そのような群の数は、多いであろう。
【0023】
６自由度をサポートする、ボリュメトリックビデオに関して、ディレクタは、ボリュメトリックビデオの製作中、ユーザが最適な視覚的コンテンツを鑑賞するように誘導するために、ユーザの視認状態を制御および変更することを検討し得る。ボリュメトリックビデオコンテンツは、部分的な伝送であることができ、例えば、視野（ＦＯＶ）に対応するコンポーネントデータの高品質バージョン、およびＦＯＶ外のコンポーネントデータの低品質バージョンが、伝送される、またはビューポート内のコンテンツが、伝送される。ボリュメトリックビデオ内の場面／オブジェクトが動的に変更されるので、プレイアウト群は、それに応じて変化すべきである。プレイアウト群を動的に示すための機構が、より多くのシナリオに適合さするために必要とされる。
【0024】
開示される技術のいくつかの実施形態では、実装様式が、ＩＳＯ（国際標準化機構、国際標準化機構）基本メディアファイル形式に基づいてファイルにボリュメトリックビデオデータを記憶するためのものであることに留意されたい。とりわけ、ＩＳＯ基本メディアファイル形式（制限付きスキーム情報ボックス、トラック参照ボックス、およびトラック群ボックス等）は、動作させるために、ＭＰＥＧ－４（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９動画専門家集団（略して、ＭＰＥＧ）パート１２ ＩＳＯベースメディアファイル形式（ＩＳＯ／ＩＥＣ１４４９６－１２）によって策定された）を参照し得る。ボリュームビデオの投影、パッケージ化ステップ、および基本フォーマットは、ＭＰＥＧ－Ｉパート１０（ＩＳＯ／ＩＥＣ２３０９０－１０）（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９動画専門家集団（ＭＰＥＧ）によって策定された）を参照して動作させられることができる。カプセル化されたボリュームビデオの伝送およびその基本フォーマットは、ＭＰＥＧ－ＤＡＳＨ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／動画専門家集団（ＭＰＥＧ）によって策定された）を参照し得る。
【0025】
図１は、プレイアウト群に基づくボリュメトリックビデオデータ処理の例を示すフローチャートである。
【0026】
開示される技術のいくつかの実施形態は、マルチトラックベースのボリュメトリックビデオのためのプレイアウト方法を提供するために使用されることができる。図１に示されるように、プレイアウト群に基づくボリュメトリックビデオ処理は、以下の動作を含み得る。
－ Ｓ２０１は、プレイアウト群の情報に従って、３次元空間の中に再構築されたボリュメトリックビデオに対応するプレイアウト群を決定する。
－ Ｓ２０２は、プレイアウト群に対応するメディアトラックにおける２次元ボリュメトリックビデオコンテンツを獲得する。
－ Ｓ２０３は、ボリュメトリックビデオを３次元空間の中に再構築する。
－ Ｓ２０１は、プレイアウト群の情報に従って、３次元空間の中に再構築されたボリュメトリックビデオに対応するプレイアウト群を決定する。
－ Ｓ２０２は、プレイアウト群に対応するメディアトラックにおける２次元ボリュメトリックビデオコンテンツを獲得する。
－ Ｓ２０３は、ボリュメトリックビデオを３次元空間の中に再構築する。
【0027】
図２は、開示される技術のいくつかの実施形態に基づく代替Ｖ３Ｃコンポーネントのメディアトラック構造の例を示す図である。
【0028】
メディアトラックは、３次元空間から２次元平面に投影されるボリュメトリックビデオデータを記憶し、アトラスデータと、その対応する幾何学形状コンポーネント、属性コンポーネント、および／または占有コンポーネントとを含み、各コンポーネントは、代替バージョンを有し得る。異なるバージョンを伴うＶ３Ｃコンポーネントは、図２に示されるように、異なるトラックに記憶され、メディアトラック構造は、メディアファイルに記憶される。
【0029】
Ｖ３Ｃコンポーネントトラックのための代替スキームが存在する場合、代替コンポーネントが位置するＶ３Ｃコンポーネントトラックは、代替群、すなわち、プレイアウト群を形成することができる。伝送、デコーディング、および／または再構築中に選択され得る複数のプレイアウト群が、存在する。
【0030】
ある実装では、同じアトラスまたはアトラスタイルに対応する異なるバージョンを伴う同じタイプのＶ３Ｃコンポーネントが位置するメディアトラックは、ＩＳＯ／ＩＥＣ１４４９６－１２において定義される機構を通して示される代替トラックである。代替トラックのＴｒａｃｋＨｅａｄｅｒＢｏｘ内に、ａｌｔｅｒｎａｔｅ＿ｇｒｏｕｐフィールドが、存在する。同じａｌｔｅｒｎａｔｅ＿ｇｒｏｕｐ値を伴うＶ３Ｃコンポーネントトラックが代替バージョンのＶ３Ｃコンポーネントを含む場合、それらは、代替トラック群である。
【0031】
別の実装では、代替トラック群は、ＩＳＯ／ＩＥＣ１４４９６－１２によって定義される’ａｌｔｒ’のタイプを伴うＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘによって記述されることもできる。代替Ｖ３Ｃコンポーネントが位置するメディアトラックは、エンティティ群を形成する。複数のそのような群が、存在し得、各エンティティ群は、ｇｒｏｕｐ＿ｉｄを有する。
【0032】
図３は、開示される技術のいくつかの実施形態に基づくＶ３Ｃコンポーネントトラックのプレイアウト群の例示的構造を示す図である。
【0033】
いくつかの実装では、プレイアウト群は、複数の代替トラック群からのＶ３Ｃコンポーネントを含み、プレイ群における各Ｖ３Ｃコンポーネントのコンテンツは、異なる、すなわち、同じアトラスまたはアトラスタイルに対応する同じタイプのＶ３Ｃコンポーネントの２つの異なるバージョンが、同じプレイアウト群内に存在することができない。プレイアウト群構造の例が、図３に示される。
【0034】
再構築およびレンダリングによって生成される３次元ボリュメトリックビデオの品質を保証するために、アトラスまたはアトラスタイルに対応するＶ３Ｃコンポーネントの異なるタイプおよびバージョンは、恣意的に、あるプレイアウト群に対して選択されない。ユーザの視認状態およびディレクタの配置が、考慮されるべきである。
【0035】
プレイアウト群は、部分的な３次元空間領域内のボリュメトリックビデオに対応するアトラスまたはアトラスタイルの一部に対応する代替Ｖ３Ｃコンポーネントの一部を含む。すなわち、いくつかのアトラスまたはアトラスタイルに対応するＶ３Ｃコンポーネントは、この瞬間において、プレイアウト群に含まれないこともある。
【0036】
プレイアウト群の構造は、プレイアウト群の識別子と、Ｖ３Ｃコンポーネントの数と、Ｖ３Ｃコンポーネントのタイプ（幾何学形状コンポーネント、属性コンポーネント、または占有コンポーネント等）と、対応するＶ３Ｃコンポーネントトラックの識別子とを含むＰｌａｙｏｕｔＧｒｏｕｐＳｔｒｕｃｔによって記述される。
【0037】
【表1】
【0038】
ここで、「ｇｒｏｕｐ＿ｉｄ」は、プレイアウト群の識別子を示し、「ｎｕｍ＿ｐｌａｙｏｕｔ＿ｍｅｍｂｅｒ」は、プレイアウト群におけるＶ３Ｃコンポーネントの数を示し、「ａｔｌａｓ＿ｉｄ」は、Ｖ３Ｃコンポーネントに対応するアトラスのＩＤを示し、「ａｔｌａｓ＿ｔｉｌｅ＿ｆｌａｇ」は、コンポーネントトラックが、アトラスタイルを含むかどうかを示し、その値が、０である場合、コンポーネントトラックが、アトラスタイルを含まないことを示し、その値が、１である場合、コンポーネントトラックが、１つ以上のアトラスタイルを含むことを示し、「ｔｉｌｅ＿ｉｄ」は、アトラスタイルのＩＤを示し、「ｃｏｍｐｏｎｅｎｔ＿ｔｒａｃｋ＿ｉｄ」は、Ｖ３Ｃコンポーネントトラックの識別子を示し、「Ｖ３Ｃ＿ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅ」は、Ｖ３Ｃコンポーネントトラックに記憶される、Ｖ３Ｃコンポーネントのタイプを示す。
【0039】
（解決策１）
【0040】
いくつかの実施形態では、ユーザのビューポートに対応するプレイアウト群は、場面変化、ディレクタの意図等の種々の因子に起因して、異なる頻度の変化を有し得る。伝送されることが必要とされるＶ３Ｃコンポーネントは、３次元空間領域全体の全てまたは３次元空間領域の一部に対応し得、したがって、プレイアウト群は、実際の視認場面に従って、動的に変更されることができる。
【0041】
この解決策は、メディアファイルにおいて、プレイアウト群が頻繁かつ動的に変化することを記述する方法を提供する。
【0042】
プレイアウト群の構成情報は、’ｄｐｏｇ’というボックスタイプによって識別されるＤｙｎａｍｉｃＰｌａｙｏｕｔＧｒｏｕｐＣｏｎｆｉｇＢｏｘによって記述される。
【0043】
ボックスタイプ： ’ｄｐｏｇ’
コンテナ： サンプル記述ボックス（’ｓｔｓｄ’）
必須： いいえ
数量： ０または１
コンテナ： サンプル記述ボックス（’ｓｔｓｄ’）
必須： いいえ
数量： ０または１
【0044】
【表2】
【0045】
ここで、「ｎｕｍ＿ｐｌａｙｏｕｔ＿ｇｒｏｕｐ」は、プレイアウト群の数を示し、「ｖｉｅｗｐｏｒｔ＿ｍａｔｃｈ＿ｆｌａｇ」は、プレイアウト群が、ビューポートに対応するかどうかを示し、「ｖｉｅｗｐｏｒｔ＿ｉｄ」は、プレイアウト群が対応するビューポートのＩＤを示し、「ｅｆｆｅｃｔ＿ｌｅｖｅｌ」は、プレイアウト群におけるＶ３Ｃコンポーネントの品質レベルを示す。加えて、ｐｌａｙｏｕｔ＿ｇｒｏｕｐ＿ｄｅｓｃｒｉｐｔｉｏｎは、プレイアウト群のテキスト記述を提供する、ヌル終端されたＵＴＦ－８文字列である。
【0046】
ボリュメトリックビデオメディアファイルは、’ｐｌｇｓ’というタイプのサンプルエントリによって識別される時間指定メタデータメディアトラックを含む。サンプルエントリは、タイプ’ｄｐｏｇ’のデータボックスを含み、それは、動的プレイアウト群の構成情報を記述する。
【0047】
Ｖ３Ｃプレイアウト群の時間指定メタデータメディアトラックのサンプルエントリに関する、構文の例は、以下の通りである：
【0048】
【表3】
【0049】
Ｖ３Ｃプレイアウト群の動的時間指定メタデータトラックの構文サンプル形式は、以下の通りである：
【0050】
【表4】
【0051】
ここで、「ｖｉｅｗｐｏｒｔ＿ｐｏｓ＿ｕｐｄａｔｅ」は、プレイアウト群が対応するビューポートが、変更されているかどうかを示し、「ｎｕｍ＿ａｄｄｉｔｉｏｎ＿ｐｌａｙｏｕｔ」は、新しく追加されたプレイアウト群の数を示し、「ｖｉｅｗｐｏｒｔ＿ｉｎｄｅｘ」は、ビューポートのインデックスを示す。
【0052】
さらに、時間指定メタデータトラックは、特定のサンプルに関連付けられた時間指定メタデータを確立するためのＩＳＯ基本メディアファイル形式（ＩＳＯＢＭＦＦ）の機構である。タイミングメタデータは、メディアデータと殆ど結合されず、通常、「記述的」である。
【0053】
（解決策２）
【0054】
いくつかの実施形態では、ボリュメトリックビデオのコンテンツは、動的であるが、そのような変更は、あまり頻繁ではない。１つ以上のプレイアウト群が、あるサンプリング期間中に使用され、次の期間において変更され得る。この解決策は、１つ以上のプレイアウト群が、時折、変更されることを記述する方法を提供する。
【0055】
アトラスデータおよび／またはＶ３Ｃパラメータ組が位置するメディアトラックにおけるサンプルは、サンプル群方法を通して群化される。アトラストラックによって参照される、Ｖ３Ｃコンポーネントトラックに対応するプレイアウト群情報は、メディアトラックのサンプル群ボックスにおいて記述される。
【0056】
プレイアウト群に基づいたサンプル群の情報は、ＰｌａｙｏｕｔＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙを通して記述され、それは、ＩＳＯ／ＩＥＣ１４４９６－１２およびＩＳＯ／ＩＥＣ２３０９０－１０において定義されるＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘに含まれる。
【0057】
【表5】
【0058】
（解決策３）
【0059】
図４は、開示される技術のいくつかの実施形態に基づくメディアプレゼンテーション記述（ＭＰＤ）におけるＶ３Ｃコンポーネントのプレイアウト群情報の例を示す図である。
【0060】
いくつかの実施形態では、あるプレイアウト群におけるＶ３Ｃコンポーネントは、プレイアウト群情報に従って、ユーザ側に伝送され、端末は、プレイアウト群におけるＶ３Ｃコンポーネントを処理することのみを必要とする。サーバに記憶される、伝送されたメディアファイルの情報は、ＤＡＳＨ（ＨＴＴＰを介する動的適合型ストリーミング）マニフェスト（ＭＰＤ）において記述され、ユーザ側は、情報を参照することによって、対応するＶ３Ｃコンポーネントデータをサーバから取得することができる。
【0061】
各Ｖ３Ｃコンポーネントは、ＭＰＤにおいて別個の適合組として表現される。アトラス情報の適合組は、主適合組として使用される。幾何学形状または属性コンポーネントが、アトラスタイルに対応する複数のマップを有する場合、別個のＡｄａｐｔａｔｉｏｎＳｅｔ要素またはｐｒｅｓｅｎｔａｔｉｏｎＳｅｔ要素が、各Ｖ３Ｃコンポーネントに信号伝達するために使用される。
【0062】
いくつかの実装では、ｐｌａｙｏｕｔ＿ｇｒｏｕｐ＿ｉｄｓまたは／およびａｌｔｅｒｎａｔｉｖｅ＿ｇｒｏｕｐ＿ｉｄが、ＭＰＤにおけるプレイアウト群情報を表すために、ＡｄａｐｔａｔｉｏｎＳｅｔまたはｐｒｅｓｅｎｔａｔｉｏｎＳｅｔレベルに追加されることができる。
【0063】
ここで、「ｐｌａｙｏｕｔ＿ｇｒｏｕｐ＿ｉｄｓ」は、プレゼンテーション組におけるＶ３Ｃコンポーネントまたは適合組における代替Ｖ３Ｃコンポーネントが属する全てのプレイアウト群の識別子を示す。Ｖ３Ｃコンポーネントは、同時に、１つ以上のプレイアウト群に属することができ、「ａｌｔｅｒｎａｔｉｖｅ＿ｇｒｏｕｐ＿ｉｄ」は、適合組におけるＶ３Ｃコンポーネントが属する代替群の識別子を示す。
【0064】
実装では、Ｖ３ＣＣｏｍｐｏｎｅｎｔ記述子は、ＡｄａｐｔａｔｉｏｎＳｅｔに存在する各Ｖ３Ｃコンポーネントに関して、ＩＳＯ／ＩＥＣ２３０９０－１０において定義され、ｐｌａｙｏｕｔ＿ｇｒｏｕｐ＿ｉｄｓまたは／およびａｌｔｅｒｎａｔｉｖｅ＿ｇｒｏｕｐ＿ｉｄは、Ｖ３ＣＣｏｍｐｏｎｅｎｔ記述子に追加されることができる。
【0065】
別の実装では、ＰｌａｙｏｕｔＧｒｏｕｐ記述子は、ＭＰＤにおけるプレイアウト群情報を記述するためのＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ要素として定義される。ＰｌａｙｏｕｔＧｒｏｕｐ記述子は、表現組における対応するＶ３Ｃコンポーネントが、１つ以上のプレイアウト群に属することを示す。
【0066】
ＭＰＤの表現組レベルに、１つ以上のＰｌａｙｏｕｔＧｒｏｕｐ記述子が、存在する。ＰｌａｙｏｕｔＧｒｏｕｐ記述子は、ＭＰＤレベルまたはＡｄａｐｔａｔｉｏｎＳｅｔレベルに存在し得る。ＰｌａｙｏｕｔＧｒｏｕｐ記述子が、ＭＰＤまたはＡｄａｐｔａｔｉｏｎＳｅｔレベルに現れる場合、より高いレベルの記述子が、使用されるべきである。
【0067】
いくつかの実装では、ＭＰＤまたはＡｄａｐｔａｔｉｏｎＳｅｔレベル内に現れるＰｌａｙｏｕｔＧｒｏｕｐ記述子は、以下の表に定義される要素および属性を含む。
【0068】
【表10】
【0069】
いくつかの他の実装では、ＲｅｐｒｅｓｅｎｔａｔｉｏｎＳｅｔレベル内に現れる、ＰｌａｙｏｕｔＧｒｏｕｐ記述子は、以下の表に定義される、要素および属性を含む。
【0070】
【表20】
【0071】
図５は、開示される技術のいくつかの実施形態に基づくボリュメトリックビデオデータ表現および処理デバイスの例示的ブロック図である。
【0072】
開示される技術のいくつかの実施形態では、没入型メディアシステムは、没入型メディアシステムプラットフォーム１０と、プレーヤ端末２０とを含む。
【0073】
いくつかの実装では、没入型メディアシステムプラットフォーム１０は、コンテンツ製作モジュール１０１と、記憶モジュール１０２と、伝送モジュール１０３とを含む。コンテンツ製作モジュール１０１は、捕捉されたボリュメトリックビデオのエンコーディングおよびカプセル化処理のために使用され得る。記憶モジュール１０２は、カプセル化されたメディアファイルを記憶し、それをＭＰＤによって記述するために使用される。加えて、伝送モジュール１０３は、クライアント端末からの要求メッセージを受信するために、または、１０２に記憶されるデータ（メディアファイル、ＭＰＤ等）を送信するために使用される。上で述べられる受信または送信は、通信プロバイダによって提供される無線ネットワーク、ローカル無線エリアネットワーク、または有線方法を通して実現されることができる。ディスプレイ２０は、少なくとも伝送モジュール２０１と、メディア処理モジュール２０２と、メディアプレゼンテーションモジュール２０３とを含む。伝送モジュール２０１は、伝送モジュール１０３によって送信されるデータ（メディアファイル等）を受信するために、またはメディアファイルの要求、ユーザの状態の報告等のメッセージを１０３に送信するために使用される。メディア処理モジュール２０２は、受信されたメディアファイルをデコーディングし、カプセル化解除し、ユーザの現在の視認状態（視認位置、視認方向等）に従って、ボリュメトリックビデオを再構築し、レンダリング処理を実施するために使用される。加えて、メディアプレゼンテーションモジュール２０３は、再構築されたボリュメトリックビデオをユーザのビューポート内に提示するために使用される。
【0074】
図６は、開示される技術のいくつかの例示的実施形態に基づくメディアコンテンツを処理する方法６００の例を示す。６１０において、方法は、プレイアウト群情報に基づいて、３次元空間におけるボリュメトリックビデオに対応するプレイアウト群を決定することを含み、プレイアウト群は、複数のコンポーネントを含み、あるタイプの各コンポーネントは、そのタイプの別コンポーネントと異なるバージョンを有する。６２０において、方法は、プレイアウト群に対応するメディアトラックから、２次元ボリュメトリックビデオコンテンツを取得することを含む。６３０において、方法は、異なるバージョンを伴う複数のコンポーネントに基づいて、ボリュメトリックビデオを３次元空間の中に再構築することを含む。
【0075】
図７は、開示される技術のいくつかの例示的実施形態に基づくメディアコンテンツを処理する方法の別の例７００を示す。７１０において、方法は、サーバによって、１つ以上のタイプのコンポーネントを含むプレイアウト群を構成することを含み、あるタイプの各コンポーネントは、そのタイプの別のコンポーネントと異なるバージョンを有する。７２０において、方法は、サーバによって、プレイアウト群に対応するプレイアウト群情報を構成することを含む。７３０において、方法は、サーバによって、ユーザデバイスに、メディアプレゼンテーション記述におけるプレイアウト群情報を伝送することを含む。
【0076】
本書が、種々の実施形態において具現化され、種々のシナリオにおいてマルチキャストセッションを確立および管理し得る技法を開示することを理解されたい。本書において説明される、開示される実施形態および他の実施形態、モジュール、および機能動作は、本書において開示される構造、およびそれらの構造的均等物を含むデジタル電子回路網内、またはコンピュータソフトウェア、ファームウェア、またはハードウェア内、またはそれらのうちの１つ以上のものの組み合わせにおいて実装されることができる。開示される実施形態および他の実施形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のために、またはその動作を制御するために、コンピュータ読み取り可能な媒体上にエンコードされるコンピュータプログラム命令の１つ以上のモジュールとして、実装されることができる。コンピュータ読み取り可能な媒体は、機械読み取り可能な記憶デバイス、機械読み取り可能な記憶基板、メモリデバイス、機械読み取り可能な伝搬信号を生じさせる組成物、またはそれらのうちの１つ以上のものの組み合わせであり得る。用語「データ処理装置」は、例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサまたはコンピュータを含むデータを処理するための全ての装置、デバイス、および機械を包含する。装置は、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの１つ以上のものの組み合わせを成すコードを含むことができる。伝搬信号は、人工的に発生される信号、例えば、好適な受信機装置への伝送のための情報をエンコードするように発生される、機械発生型電気、光学、または電磁信号である。
【0077】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても公知である）は、コンパイラ型またはインタプリタ型言語を含むプログラミング言語の任意の形態で書かれることができ、それは、独立型プログラムとして、またはコンピュータ環境内での使用のために好適なモジュール、コンポーネント、サブルーチン、または他のユニットとしてのものを含む任意の形態で展開されることができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するわけではない。プログラムが、他のプログラムまたはデータ（例えば、マークアップ言語文書に記憶された１つ以上のスクリプト）を保持するファイルの一部内に、当該プログラム専用の単一のファイル内に、または複数の協調的ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を記憶するファイル）に記憶されることができる。コンピュータプログラムが、１つのコンピュータ上で、または１つの敷地に位置する、または複数の敷地にわたって分散され、通信ネットワークによって相互接続される複数のコンピュータ上で実行されるように展開されることができる。
【0078】
本書に説明されるプロセスおよび論理フローは、入力データに作用し、出力を生成することによって機能を実施するように、１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実施されることができる。プロセスおよび論理フローはまた、特殊目的論理回路網、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって実施されることもでき、装置もまた、それらとして実装されることもできる。
【0079】
コンピュータプログラムの実行のために好適なプロセッサは、例として、汎用目的マイクロプロセッサおよび特殊目的マイクロプロセッサの両方と、任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサとを含む。概して、プロセッサは、読取専用メモリまたはランダムアクセスメモリ、または両方から、命令およびデータを受信するであろう。コンピュータの不可欠な要素は、命令を実施するためのプロセッサおよび命令およびデータを記憶するための１つ以上のメモリデバイスである。概して、コンピュータはまた、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、磁気光学ディスク、または光ディスクを含む、またはそこからデータを受信する、またはそこにデータを転送する、または両方を行うように、動作可能に結合されるであろう。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するために好適なコンピュータ読み取り可能な媒体は、例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス、磁気ディスク、例えば、内部ハードディスクまたはリムーバブルディスク、磁気光学ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含むあらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、特殊目的論理回路網によって補完される、またはその中に組み込まれることができる。
【0080】
いくつかの実施形態は、好ましくは、付記形式においてリストアップされる以下の解決策のうちの１つ以上のものを実装し得る。以下の付記は、上記の例において、および本書の全体を通してサポートされ、さらに説明される。
【0081】
付記１．メディアコンテンツを処理する方法であって、方法は、プレイアウト群情報に基づいて、３次元空間におけるボリュメトリックビデオに対応するプレイアウト群を決定することであって、プレイアウト群は、複数のコンポーネントを含み、あるタイプの各コンポーネントは、１つ以上のバージョンを有する、ことと、プレイアウト群に対応するメディアトラックから、２次元ボリュメトリックビデオコンテンツを取得することと、異なるバージョンを伴う複数のコンポーネントに基づいて、ボリュメトリックビデオを３次元空間の中に再構築することとを含む、方法。
【0082】
付記２．コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング（Ｖ３Ｃ）コンポーネントを含む、付記１に記載の方法。
【0083】
付記３．Ｖ３Ｃコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも１つを含む、付記２に記載の方法。
【0084】
付記４．各アトラスまたはアトラスタイルは、複数のバージョンを伴う属性コンポーネント、占有コンポーネント、および／または幾何学形状コンポーネントに対応する、付記３に記載の方法。
【0085】
付記５．占有コンポーネントの異なるバージョン、幾何学形状コンポーネントの異なるバージョン、および属性コンポーネントの異なるバージョンは、それぞれ、互いの間に依存関係を有する、付記３に記載の方法。
【0086】
付記６．プレイアウト群は、複数の代替トラック群からのＶ３Ｃコンポーネントを含む、付記１に記載の方法。
【0087】
付記７．異なるバージョンは、異なるエンコーディング方法、異なるビット率、または異なる分解能のうちの少なくとも１つを含む、付記１に記載の方法。
【0088】
付記８．プレイアウト群におけるコンポーネントは、１つ以上のアトラスまたはアトラスタイルに対応する、付記１に記載の方法。
【0089】
付記９．プレイアウト群は、サンプルエントリおよび／またはサンプルエントリに属する１つ以上のサンプルにおける動的プレイアウト群化情報を構成するための時間指定メタデータトラックに基づいて構成される、付記１に記載の方法。
【0090】
付記１０．時間指定メタデータトラックは、各サンプル時間におけるプレイアウト群を構成するために使用される、付記９に記載の方法。
【0091】
付記１１．サンプルエントリは、初期プレイアウト群を構成するための構成情報を含む、付記９に記載の方法。
【0092】
付記１２．プレイアウト群における変化を示すためのフラグを生成することをさらに含む、付記１１に記載の方法。
【0093】
付記１３．１つ以上の新しいプレイアウト群を示すためのフラグを生成することをさらに含む、付記１１に記載の方法。
【0094】
付記１４．プレイアウト群は、トラックに含まれたビデオエンコードコンポーネントデータ、またはトラックに含まれたアトラスまたはアトラスタイルにおけるサンプルを含むサンプル群に基づいて構成される、付記１に記載の方法。
【0095】
付記１５．サンプル群は、サンプリング期間中に使用され、サンプリング期間に基づいて、更新されるように構成される、付記１４に記載の方法。
【0096】
付記１６．プレイアウト群の情報は、プレイアウト群の構造の構文によって記述される、付記１－１５のいずれかに記載の方法。
【0097】
付記１７．メディアコンテンツを処理する方法であって、方法は、サーバによって、１つ以上のタイプのコンポーネントを含むプレイアウト群を構成することであって、あるタイプの各コンポーネントは、１つ以上のバージョンを有する、ことと、サーバによって、プレイアウト群に対応するプレイアウト群情報を構成することと、サーバによって、ユーザデバイスに、メディアプレゼンテーション記述においてプレイアウト群情報を伝送することとを含む、方法。
【0098】
付記１８．コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング（Ｖ３Ｃ）コンポーネントを含む、付記１７に記載の方法。
【0099】
付記１９．Ｖ３Ｃコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも１つを含む、付記１８に記載の方法。
【0100】
付記２０．Ｖ３Ｃコンポーネントの各々は、メディアプレゼンテーション記述において別個の適合組として表現される、付記１９に記載の方法。
【0101】
付記２１．プレイアウト群情報を示すために、プレイアウト群に対応するプレイアウト群識別子または代替群識別子のうちの少なくとも１つをメディアプレゼンテーション記述に追加することをさらに含む、付記１７に記載の方法。
【0102】
付記２２．プレイアウト群識別子は、プレゼンテーション組におけるＶ３Ｃコンポーネントまたは適合組におけるＶ３Ｃコンポーネントに関連付けられた１つ以上のプレイアウト群に対応する、付記２１に記載の方法。
【0103】
付記２３．代替群識別子は、適合組におけるＶ３Ｃコンポーネントに関連付けられた１つ以上の代替群に対応する、付記２１に記載の方法。
【0104】
付記２４．メディアプレゼンテーション記述にプレイアウト群情報を含むために、プレイアウト群記述子を構成することをさらに含む、付記１７に記載の方法。
【0105】
付記２５．プレイアウト群記述子は、１つ以上のプレイアウト群に関連付けられた表現組または適合組におけるＶ３Ｃコンポーネントに対応する、付記２４に記載の方法。
【0106】
付記２６．プレイアウト群記述子は、プレイアウト群の１つ以上の識別子（ＩＤ）、プレイアウト群の１つ以上の品質レベル、または適合組におけるＶ３Ｃコンポーネントの１つ以上の識別子（ＩＤ）のうちの少なくとも１つを含む、付記２４－２５のいずれかに記載の方法。
【0107】
付記２７．無線通信のための装置であって、装置は、メモリとプロセッサとを備え、プロセッサは、メモリからコードを読み取り、付記１－２６のいずれかに規定される方法を実装する、装置。
【0108】
付記２８．コードを記憶しているコンピュータ読み取り可能なプログラム記憶媒体であって、コードは、プロセッサによって実行されると、付記１－２６のいずれかに規定される方法をプロセッサに実装させる、コンピュータ読み取り可能なプログラム記憶媒体。
【0109】
本特許文書は、多くの詳細を含むが、これらは、任意の発明または請求され得る内容の範囲への限定としてではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別個の実施形態の文脈において本特許文書に説明されるある特徴は、単一の実施形態において組み合わせて実装されることもできる。逆に、単一の実施形態の文脈において説明される種々の特徴は、複数の実施形態では、別個に、または任意の好適な副次的組み合わせにおいて実装されることもできる。さらに、特徴が、ある組み合わせにおいて作動するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴が、ある場合に、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。
【0110】
同様に、動作が、特定の順序で図面に描写されるが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または順次順序で実施されること、または全ての図示される動作が実施されることを要求するものとして理解されるべきではない。さらに、本特許文書に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。
【0111】
いくつかの実装および例のみが、説明され、他の実装、強化、および変形例も、本特許文書に説明および例証される内容に基づいて行われることができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2023-07-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
メディアコンテンツを処理する方法であって、前記方法は、プレイアウト群情報に基づいて、３次元空間におけるボリュメトリックビデオに対応するプレイアウト群を決定することであって、前記プレイアウト群は、複数のコンポーネントを含み、あるタイプの各コンポーネントは、前記タイプの別のコンポーネントと異なるバージョンを有する、ことと、
前記プレイアウト群に対応するメディアトラックから、２次元ボリュメトリックビデオコンテンツを取得することと、
異なるバージョンを伴う前記複数のコンポーネントに基づいて、前記ボリュメトリックビデオを３次元空間の中に再構築することと
を含む、方法。
【請求項2】
前記コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング（Ｖ３Ｃ）コンポーネントを含み、前記Ｖ３Ｃコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも１つを含み、前記占有コンポーネントの異なるバージョン、前記幾何学形状コンポーネントの異なるバージョン、および前記属性コンポーネントの異なるバージョンは、それぞれ、互いの間に依存関係を有する、請求項１に記載の方法。
【請求項3】
前記プレイアウト群は、複数の代替トラック群からのＶ３Ｃコンポーネントを含む、請求項１に記載の方法。
【請求項4】
前記異なるバージョンは、異なるエンコーディング方法、異なるビット率、または異なる分解能のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項5】
前記プレイアウト群における前記コンポーネントは、１つ以上のアトラスまたはアトラスタイルに対応し、各アトラスまたはアトラスタイルは、複数のバージョンを伴う属性コンポーネント、占有コンポーネント、および／または幾何学形状コンポーネントに対応する、請求項１に記載の方法。
【請求項6】
前記プレイアウト群は、サンプルエントリおよび／または前記サンプルエントリに属する１つ以上のサンプルにおける動的プレイアウト群化情報を構成するための時間指定メタデータトラックに基づいて構成されている、請求項１に記載の方法。
【請求項7】
前記プレイアウト群は、トラックに含まれたビデオエンコードコンポーネントデータ、またはトラックに含まれたアトラスまたはアトラスタイルにおけるサンプルを含むサンプル群に基づいて構成される、請求項１に記載の方法。
【請求項8】
前記プレイアウト群の構成情報は、ボックスタイプによって識別される動的プレイアウト群構成ボックスによって記述される、請求項１に記載の方法。
【請求項9】
前記動的プレイアウト群構成ボックスは、１つ以上のプレイアウト群構造、ビューポートの１つ以上の識別子、プレイアウト群の１つ以上の品質レベルのうちの少なくとも１つを含む、請求項８に記載の方法。
【請求項10】
メディアコンテンツを処理する方法であって、前記方法は、サーバによって、１つ以上のタイプのコンポーネントを含むプレイアウト群を構成することであって、あるタイプの各コンポーネントは、前記タイプの別のコンポーネントと異なるバージョンを有する、ことと、
前記サーバによって、前記プレイアウト群に対応するプレイアウト群情報を構成することと、
前記サーバによって、ユーザデバイスに、メディアプレゼンテーション記述において前記プレイアウト群情報を伝送することと
を含む、方法。
【請求項11】
前記コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング（Ｖ３Ｃ）コンポーネントを含み、前記Ｖ３Ｃコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも１つを含む、請求項１０に記載の方法。
【請求項12】
前記プレイアウト群情報を示すために、前記プレイアウト群に対応するプレイアウト群識別子または代替群識別子のうちの少なくとも１つを前記メディアプレゼンテーション記述に追加することをさらに含む、請求項１０に記載の方法。
【請求項13】
前記メディアプレゼンテーション記述にプレイアウト群情報を含むために、プレイアウト群記述子を構成することをさらに含む、請求項１０に記載の方法。
【請求項14】
前記プレイアウト群記述子は、プレイアウト群の１つ以上の識別子、プレイアウト群の１つ以上の品質レベル、または適合組におけるＶ３Ｃコンポーネントの１つ以上の識別子のうちの少なくとも１つを含む、請求項１３に記載の方法。
【請求項15】
無線通信のための装置であって、前記装置は、メモリとプロセッサとを備え、前記プロセッサは、前記メモリからコードを読み取り、請求項１－１４のいずれかに規定されている方法を実装する、装置。【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
これらの側面および他の側面が、本書に説明される。
本発明はさらに、例えば、以下を提供する。
（項目１）
メディアコンテンツを処理する方法であって、前記方法は、
プレイアウト群情報に基づいて、３次元空間におけるボリュメトリックビデオに対応するプレイアウト群を決定することであって、前記プレイアウト群は、複数のコンポーネントを含み、あるタイプの各コンポーネントは、１つ以上のバージョンを有する、ことと、
前記プレイアウト群に対応するメディアトラックから、２次元ボリュメトリックビデオコンテンツを取得することと、
異なるバージョンを伴う前記複数のコンポーネントに基づいて、前記ボリュメトリックビデオを３次元空間の中に再構築することと
を含む、方法。
（項目２）
前記コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング（Ｖ３Ｃ）コンポーネントを含む、項目１に記載の方法。
（項目３）
前記Ｖ３Ｃコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも１つを含む、項目２に記載の方法。
（項目４）
各アトラスまたはアトラスタイルは、複数のバージョンを伴う属性コンポーネント、占有コンポーネント、および／または幾何学形状コンポーネントに対応する、項目３に記載の方法。
（項目５）
前記占有コンポーネントの異なるバージョン、前記幾何学形状コンポーネントの異なるバージョン、および前記属性コンポーネントの異なるバージョンは、それぞれ、互いの間に依存関係を有する、項目３に記載の方法。
（項目６）
前記プレイアウト群は、複数の代替トラック群からのＶ３Ｃコンポーネントを含む、項目１に記載の方法。
（項目７）
前記異なるバージョンは、異なるエンコーディング方法、異なるビット率、または異なる分解能のうちの少なくとも１つを含む、項目１に記載の方法。
（項目８）
前記プレイアウト群における前記コンポーネントは、１つ以上のアトラスまたはアトラスタイルに対応する、項目１に記載の方法。
（項目９）
前記プレイアウト群は、サンプルエントリおよび／または前記サンプルエントリに属する１つ以上のサンプルにおける動的プレイアウト群化情報を構成するための時間指定メタデータトラックに基づいて構成されている、項目１に記載の方法。
（項目１０）
前記時間指定メタデータトラックは、各サンプル時間における前記プレイアウト群を構成するために使用される、項目９に記載の方法。
（項目１１）
前記サンプルエントリは、初期プレイアウト群を構成するための構成情報を含む、項目９に記載の方法。
（項目１２）
前記プレイアウト群における変化を示すためのフラグを生成することをさらに含む、項目１１に記載の方法。
（項目１３）
１つ以上の新しいプレイアウト群を示すためのフラグを生成することをさらに含む、項目１１に記載の方法。
（項目１４）
前記プレイアウト群は、トラックに含まれたビデオエンコードコンポーネントデータ、またはトラックに含まれたアトラスまたはアトラスタイルにおけるサンプルを含むサンプル群に基づいて構成される、項目１に記載の方法。
（項目１５）
前記サンプル群は、サンプリング期間中に使用され、前記サンプリング期間に基づいて、更新されるように構成されている、項目１４に記載の方法。
（項目１６）
前記プレイアウト群の情報は、プレイアウト群の構造の構文によって記述される、項目１－１５のいずれかに記載の方法。
（項目１７）
メディアコンテンツを処理する方法であって、前記方法は、
サーバによって、１つ以上のタイプのコンポーネントを含むプレイアウト群を構成することであって、あるタイプの各コンポーネントは、１つ以上のバージョンを有する、ことと、
前記サーバによって、前記プレイアウト群に対応するプレイアウト群情報を構成することと、
前記サーバによって、ユーザデバイスに、メディアプレゼンテーション記述において前記プレイアウト群情報を伝送することと
を含む、方法。
（項目１８）
前記コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング（Ｖ３Ｃ）コンポーネントを含む、項目１７に記載の方法。
（項目１９）
前記Ｖ３Ｃコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも１つを含む、項目１８に記載の方法。
（項目２０）
前記Ｖ３Ｃコンポーネントの各々は、前記メディアプレゼンテーション記述において別個の適合組として表される、項目１９に記載の方法。
（項目２１）
前記プレイアウト群情報を示すために、前記プレイアウト群に対応するプレイアウト群識別子または代替群識別子のうちの少なくとも１つを前記メディアプレゼンテーション記述に追加することをさらに含む、項目１７に記載の方法。
（項目２２）
前記プレイアウト群識別子は、プレゼンテーション組におけるＶ３Ｃコンポーネントまたは適合組におけるＶ３Ｃコンポーネントに関連付けられた１つ以上のプレイアウト群に対応する、項目２１に記載の方法。
（項目２３）
前記代替群識別子は、適合組におけるＶ３Ｃコンポーネントに関連付けられた１つ以上の代替群に対応する、項目２１に記載の方法。
（項目２４）
前記メディアプレゼンテーション記述にプレイアウト群情報を含むために、プレイアウト群記述子を構成することをさらに含む、項目１７に記載の方法。
（項目２５）
前記プレイアウト群記述子は、１つ以上のプレイアウト群に関連付けられた表現組におけるＶ３Ｃコンポーネントに対応する、項目２４に記載の方法。
（項目２６）
前記プレイアウト群記述子は、プレイアウト群の１つ以上の識別子、プレイアウト群の１つ以上の品質レベル、または適合組におけるＶ３Ｃコンポーネントの１つ以上の識別子のうちの少なくとも１つを含む、項目２４－２５のいずれかに記載の方法。
（項目２７）
無線通信のための装置であって、前記装置は、メモリとプロセッサとを備え、前記プロセッサは、前記メモリからコードを読み取り、項目１－２６のいずれかに規定されている方法を実装する、装置。
（項目２８）
コードを記憶しているコンピュータ読み取り可能なプログラム記憶媒体であって、前記コードは、プロセッサによって実行されると、項目１－２６のいずれかに規定されている方法を前記プロセッサに実装させる、コンピュータ読み取り可能なプログラム記憶媒体。
本発明はさらに、例えば、以下を提供する。
（項目１）
メディアコンテンツを処理する方法であって、前記方法は、
プレイアウト群情報に基づいて、３次元空間におけるボリュメトリックビデオに対応するプレイアウト群を決定することであって、前記プレイアウト群は、複数のコンポーネントを含み、あるタイプの各コンポーネントは、１つ以上のバージョンを有する、ことと、
前記プレイアウト群に対応するメディアトラックから、２次元ボリュメトリックビデオコンテンツを取得することと、
異なるバージョンを伴う前記複数のコンポーネントに基づいて、前記ボリュメトリックビデオを３次元空間の中に再構築することと
を含む、方法。
（項目２）
前記コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング（Ｖ３Ｃ）コンポーネントを含む、項目１に記載の方法。
（項目３）
前記Ｖ３Ｃコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも１つを含む、項目２に記載の方法。
（項目４）
各アトラスまたはアトラスタイルは、複数のバージョンを伴う属性コンポーネント、占有コンポーネント、および／または幾何学形状コンポーネントに対応する、項目３に記載の方法。
（項目５）
前記占有コンポーネントの異なるバージョン、前記幾何学形状コンポーネントの異なるバージョン、および前記属性コンポーネントの異なるバージョンは、それぞれ、互いの間に依存関係を有する、項目３に記載の方法。
（項目６）
前記プレイアウト群は、複数の代替トラック群からのＶ３Ｃコンポーネントを含む、項目１に記載の方法。
（項目７）
前記異なるバージョンは、異なるエンコーディング方法、異なるビット率、または異なる分解能のうちの少なくとも１つを含む、項目１に記載の方法。
（項目８）
前記プレイアウト群における前記コンポーネントは、１つ以上のアトラスまたはアトラスタイルに対応する、項目１に記載の方法。
（項目９）
前記プレイアウト群は、サンプルエントリおよび／または前記サンプルエントリに属する１つ以上のサンプルにおける動的プレイアウト群化情報を構成するための時間指定メタデータトラックに基づいて構成されている、項目１に記載の方法。
（項目１０）
前記時間指定メタデータトラックは、各サンプル時間における前記プレイアウト群を構成するために使用される、項目９に記載の方法。
（項目１１）
前記サンプルエントリは、初期プレイアウト群を構成するための構成情報を含む、項目９に記載の方法。
（項目１２）
前記プレイアウト群における変化を示すためのフラグを生成することをさらに含む、項目１１に記載の方法。
（項目１３）
１つ以上の新しいプレイアウト群を示すためのフラグを生成することをさらに含む、項目１１に記載の方法。
（項目１４）
前記プレイアウト群は、トラックに含まれたビデオエンコードコンポーネントデータ、またはトラックに含まれたアトラスまたはアトラスタイルにおけるサンプルを含むサンプル群に基づいて構成される、項目１に記載の方法。
（項目１５）
前記サンプル群は、サンプリング期間中に使用され、前記サンプリング期間に基づいて、更新されるように構成されている、項目１４に記載の方法。
（項目１６）
前記プレイアウト群の情報は、プレイアウト群の構造の構文によって記述される、項目１－１５のいずれかに記載の方法。
（項目１７）
メディアコンテンツを処理する方法であって、前記方法は、
サーバによって、１つ以上のタイプのコンポーネントを含むプレイアウト群を構成することであって、あるタイプの各コンポーネントは、１つ以上のバージョンを有する、ことと、
前記サーバによって、前記プレイアウト群に対応するプレイアウト群情報を構成することと、
前記サーバによって、ユーザデバイスに、メディアプレゼンテーション記述において前記プレイアウト群情報を伝送することと
を含む、方法。
（項目１８）
前記コンポーネントは、視覚的ボリュメトリックビデオベースのコーディング（Ｖ３Ｃ）コンポーネントを含む、項目１７に記載の方法。
（項目１９）
前記Ｖ３Ｃコンポーネントは、占有コンポーネント、幾何学形状コンポーネント、または属性コンポーネントのうちの少なくとも１つを含む、項目１８に記載の方法。
（項目２０）
前記Ｖ３Ｃコンポーネントの各々は、前記メディアプレゼンテーション記述において別個の適合組として表される、項目１９に記載の方法。
（項目２１）
前記プレイアウト群情報を示すために、前記プレイアウト群に対応するプレイアウト群識別子または代替群識別子のうちの少なくとも１つを前記メディアプレゼンテーション記述に追加することをさらに含む、項目１７に記載の方法。
（項目２２）
前記プレイアウト群識別子は、プレゼンテーション組におけるＶ３Ｃコンポーネントまたは適合組におけるＶ３Ｃコンポーネントに関連付けられた１つ以上のプレイアウト群に対応する、項目２１に記載の方法。
（項目２３）
前記代替群識別子は、適合組におけるＶ３Ｃコンポーネントに関連付けられた１つ以上の代替群に対応する、項目２１に記載の方法。
（項目２４）
前記メディアプレゼンテーション記述にプレイアウト群情報を含むために、プレイアウト群記述子を構成することをさらに含む、項目１７に記載の方法。
（項目２５）
前記プレイアウト群記述子は、１つ以上のプレイアウト群に関連付けられた表現組におけるＶ３Ｃコンポーネントに対応する、項目２４に記載の方法。
（項目２６）
前記プレイアウト群記述子は、プレイアウト群の１つ以上の識別子、プレイアウト群の１つ以上の品質レベル、または適合組におけるＶ３Ｃコンポーネントの１つ以上の識別子のうちの少なくとも１つを含む、項目２４－２５のいずれかに記載の方法。
（項目２７）
無線通信のための装置であって、前記装置は、メモリとプロセッサとを備え、前記プロセッサは、前記メモリからコードを読み取り、項目１－２６のいずれかに規定されている方法を実装する、装置。
（項目２８）
コードを記憶しているコンピュータ読み取り可能なプログラム記憶媒体であって、前記コードは、プロセッサによって実行されると、項目１－２６のいずれかに規定されている方法を前記プロセッサに実装させる、コンピュータ読み取り可能なプログラム記憶媒体。
【国際調査報告】