特許 7407951 点群データ処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-21

(45)【発行日】2024-01-04

(54)【発明の名称】点群データ処理

(51)【国際特許分類】

   H04N 21/84 20110101AFI20231222BHJP

   H04N 21/234 20110101ALI20231222BHJP

   H04N 21/235 20110101ALI20231222BHJP

   G06T 9/00 20060101ALI20231222BHJP

【ＦＩ】

H04N21/84

H04N21/234

H04N21/235

G06T9/00

【請求項の数】 13

(21)【出願番号】P 2022542002

(86)(22)【出願日】2020-01-08

(65)【公表番号】

(43)【公表日】2023-03-13

(86)【国際出願番号】 CN2020070854

(87)【国際公開番号】W WO2021093153

(87)【国際公開日】2021-05-20

【審査請求日】2022-08-19

(73)【特許権者】

【識別番号】511151662

【氏名又は名称】中興通訊股▲ふん▼有限公司

【氏名又は名称原語表記】ＺＴＥ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】ＺＴＥ Ｐｌａｚａ，Ｋｅｊｉ Ｒｏａｄ Ｓｏｕｔｈ，Ｈｉ－Ｔｅｃｈ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ファン， チェン

【審査官】醍醐 一貴

(56)【参考文献】

【文献】特表２０２２－５２４１３０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１０４３１６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ０６Ｔ ９／００－９／４０

(57)【特許請求の範囲】

【請求項1】

点群データ処理の方法であって、
点群データの１つまたはそれを上回る３次元（３Ｄ）空間領域を記述する１つまたはそれを上回る空間領域記述子と、前記点群データと関連付けられる点群コンポーネントを記述する１つまたはそれを上回る事前選択要素とを決定することと、
前記１つまたはそれを上回る空間領域記述子と、前記１つまたはそれを上回る事前選択要素とを含むメディアプレゼンテーション記述（ＭＰＤ）ファイルを伝送することと
を含む、方法。

【請求項2】

点群データ処理の方法であって、
点群データの１つまたはそれを上回る３次元（３Ｄ）空間領域を記述する１つまたはそれを上回る空間領域記述子と、前記点群データと関連付けられる点群コンポーネントを記述する１つまたはそれを上回る事前選択要素とを含むメディアプレゼンテーション記述（ＭＰＤ）ファイルを受信することと、
１つまたはそれを上回る事前選択要素の事前選択を伴って、前記点群データの前記１つまたはそれを上回る３Ｄ空間領域に対応する前記点群コンポーネントにアクセスすることと
を含む、方法。

【請求項3】

前記１つまたはそれを上回る空間領域記述子は、前記ＭＰＤファイル内の前記点群データのためのメイン適合セット内に含まれる、請求項１または２に記載の方法。

【請求項4】

前記１つまたはそれを上回る空間領域記述子はそれぞれ、前記１つまたはそれを上回る３Ｄ空間領域のオフセット値と、寸法とを含む、請求項１または２に記載の方法。

【請求項5】

前記１つまたはそれを上回る空間領域記述子はそれぞれ、前記点群データの３Ｄ境界ボックス情報を含む、請求項１または２に記載の方法。

【請求項6】

前記１つまたはそれを上回る事前選択要素は、前記点群データの１つまたはそれを上回るエンコードバージョンと関連付けられ、
前記１つまたはそれを上回る事前選択要素はそれぞれ、前記点群データを識別する第１の値と、前記１つまたはそれを上回る３Ｄ空間領域を識別する第２の値とを含む、
請求項１または２に記載の方法。

【請求項7】

前記１つまたはそれを上回る事前選択要素はそれぞれ、前記第１の値と、前記第２の値とを含む点群記述子要素を含む、請求項６に記載の方法。

【請求項8】

前記１つまたはそれを上回る事前選択要素はそれぞれ、
前記点群データのためのメイン適合セットの識別子と、
前記点群コンポーネントに対応する適合セットの複数の識別子と
を含む、請求項１または２に記載の方法。

【請求項9】

前記１つまたはそれを上回る事前選択要素はそれぞれ、前記識別子と、前記複数の識別子とを含む事前選択コンポーネント属性を含む、請求項８に記載の方法。

【請求項10】

前記点群コンポーネントは、アトラスデータ、占有率マップコンポーネント、幾何学的コンポーネント、または属性コンポーネントを含む、請求項１～９のいずれかに記載の方法。

【請求項11】

前記点群コンポーネントは、前記点群データの前記１つまたはそれを上回る３Ｄ空間領域に対応する、請求項１～９のいずれかに記載の方法。

【請求項12】

請求項１～１１のいずれかに記載の方法を実装するように構成されるプロセッサを備える、ビデオ処理装置。

【請求項13】

非一過性のコンピュータ可読プログラム記憶媒体であって、前記非一過性のコンピュータ可読プログラム記憶媒体は、その上に記憶されるコードを有し、前記コードは、プロセッサによって実行されると、前記プロセッサに、請求項１～１１のいずれかに記載の方法を実装させる、非一過性のコンピュータ可読プログラム記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本特許文書は、マルチメディアデータ処理および伝送技術、および／または点群データ処理および伝送の方法、装置、およびシステムを対象とする。

【背景技術】

【0002】

ビデオエンコーディングは、圧縮ツールを使用し、２次元のビデオフレームを、ネットワークを経由して記憶または運搬するためにより効率的である、圧縮されたビットストリーム表現の中にエンコードする。エンコーディングのために２次元のビデオフレームを使用する、従来的なビデオコーディング技法は、時として、３次元の視覚場面の視覚情報の表現に関して非効率的である。

【発明の概要】

【課題を解決するための手段】

【0003】

本特許文書は、とりわけ、多次元点群に関連する、視覚情報を搬送する、デジタルビデオをエンコードおよびデコードするための技法を説明する。

【0004】

点群データの１つまたはそれを上回る３次元（３Ｄ）空間領域を記述する、１つまたはそれを上回る空間領域記述子と、点群データと関連付けられる点群コンポーネントを記述する、１つまたはそれを上回る事前選択要素とを決定するステップと、１つまたはそれを上回る空間領域記述子と、１つまたはそれを上回る事前選択要素とを含む、メディアプレゼンテーション記述（ＭＰＤ）ファイルを伝送するステップとを含む。

【0005】

点群データ処理の別の方法は、点群データの１つまたはそれを上回る３次元（３Ｄ）空間領域を記述する、１つまたはそれを上回る空間領域記述子と、その点群データと関連付けられる点群コンポーネントを記述する、１つまたはそれを上回る事前選択要素とを含む、メディアプレゼンテーション記述（ＭＰＤ）ファイルを受信するステップと、１つまたはそれを上回る事前選択要素の事前選択を伴って、点群データの１つまたはそれを上回る３Ｄ空間領域に対応する、点群コンポーネントにアクセスするステップとを含む。

【0006】

さらに別の例示的側面では、上記に説明される方法および本特許文書内で説明される方法は、プロセッサ実行可能コードの形態で具現化され、非一過性のコンピュータ可読記憶媒体内に記憶される。コンピュータ可読記憶媒体内に含まれるコードは、プロセッサによって実行されると、プロセッサに、本特許文書内で説明される方法を実装させる。

【0007】

別の例示的実施形態は、上記に説明される方法および本特許文書内で説明される方法を実施するように構成される、または動作可能である、デバイスを開示する。

【0008】

上記および他の側面、およびそれらの実装は、図面、明細書、および請求項において、より詳細に説明される。
例えば、本願は以下の項目を提供する。
（項目１）
点群データ処理の方法であって、
点群データの１つまたはそれを上回る３次元（３Ｄ）空間領域を記述する１つまたはそれを上回る空間領域記述子と、点群データと関連付けられる点群コンポーネントを記述する１つまたはそれを上回る事前選択要素とを決定することと、
１つまたはそれを上回る空間領域記述子と、１つまたはそれを上回る事前選択要素とを含むメディアプレゼンテーション記述（ＭＰＤ）ファイルを伝送することと
を含む、方法。
（項目２）
上記１つまたはそれを上回る空間領域記述子は、上記ＭＰＤファイル内の上記点群データのためのメイン適合セット内に含められる、項目１に記載の方法。
（項目３）
上記１つまたはそれを上回る空間領域記述子はそれぞれ、上記１つまたはそれを上回る３Ｄ空間領域のオフセット値と、寸法とを含む、項目１に記載の方法。
（項目４）
上記１つまたはそれを上回る空間領域記述子はそれぞれ、上記点群データの３Ｄ境界ボックス情報を含む、項目１に記載の方法。
（項目５）
上記１つまたはそれを上回る事前選択要素は、上記点群データの１つまたはそれを上回るエンコードバージョンと関連付けられ、
上記１つまたはそれを上回る事前選択要素はそれぞれ、上記点群データを識別する第１の値と、上記１つまたはそれを上回る３Ｄ空間領域を識別する第２の値とを含む、
項目１に記載の方法。
（項目６）
上記１つまたはそれを上回る事前選択要素はそれぞれ、上記第１の値と、上記第２の値とを含む点群記述子要素を含む、項目５に記載の方法。
（項目７）
上記１つまたはそれを上回る事前選択要素はそれぞれ、
上記点群データのためのメイン適合セットの識別子と、
上記点群コンポーネントに対応する適合セットの複数の識別子と
を含む、項目１に記載の方法。
（項目８）
点群コンポーネントトラックグループ識別子属性が、上記１つまたはそれを上回る空間領域記述子に存在しない、項目７に記載の方法。
（項目９）
上記１つまたはそれを上回る事前選択要素はそれぞれ、
上記点群データのためのメイン適合セットの識別子と、
点群コンポーネントに対応するコンテンツコンポーネントの複数の識別子と
を含む、項目１に記載の方法。
（項目１０）
点群コンポーネントトラックグループ識別子が、上記１つまたはそれを上回る空間領域記述子内に存在する、項目９に記載の方法。
（項目１１）
上記１つまたはそれを上回る事前選択要素はそれぞれ、上記識別子と、上記複数の識別子とを含む事前選択コンポーネント属性を含む、項目７または９に記載の方法。
（項目１２）
上記１つまたはそれを上回る空間領域記述子内の点群コンポーネントトラックグループ識別子属性は、異なる適合セットからコンテンツコンポーネントにマッピングされる１つの３Ｄ空間領域に対応する、項目１に記載の方法。
（項目１３）
上記点群コンポーネントは、アトラスデータ、占有率マップコンポーネント、幾何学的コンポーネント、または属性コンポーネントを含む、項目１－１２のいずれかに記載の方法。
（項目１４）
上記点群コンポーネントは、上記点群データの上記１つまたはそれを上回る３Ｄ空間領域に対応する、項目１－１２のいずれかに記載の方法。
（項目１５）
点群データ処理の方法であって、
点群データの１つまたはそれを上回る３次元（３Ｄ）空間領域を記述する１つまたはそれを上回る空間領域記述子と、上記点群データと関連付けられる点群コンポーネントを記述する１つまたはそれを上回る事前選択要素とを含むメディアプレゼンテーション記述（ＭＰＤ）ファイルを受信することと、
１つまたはそれを上回る事前選択要素の事前選択を伴って、上記点群データの上記１つまたはそれを上回る３Ｄ空間領域に対応する上記点群コンポーネントにアクセスすることと
を含む、方法。
（項目１６）
上記１つまたはそれを上回る空間領域記述子は、上記ＭＰＤファイル内の上記点群データのためのメイン適合セット内に含まれる、項目１５に記載の方法。
（項目１７）
上記１つまたはそれを上回る空間領域記述子はそれぞれ、上記１つまたはそれを上回る３Ｄ空間領域のオフセット値と、寸法とを含む、項目１５に記載の方法。
（項目１８）
上記１つまたはそれを上回る空間領域記述子はそれぞれ、上記点群データの３Ｄ境界ボックス情報を含む、項目１５に記載の方法。
（項目１９）
上記１つまたはそれを上回る事前選択要素は、上記点群データの１つまたはそれを上回るエンコードバージョンと関連付けられ、
上記１つまたはそれを上回る事前選択要素はそれぞれ、上記点群データを識別する第１の値と、上記１つまたはそれを上回る３Ｄ空間領域を識別する第２の値とを含む、
項目１５に記載の方法。
（項目２０）
上記１つまたはそれを上回る事前選択要素はそれぞれ、上記第１の値と、上記第２の値とを含む点群記述子要素を含む、項目１９に記載の方法。
（項目２１）
上記１つまたはそれを上回る事前選択要素はそれぞれ、
上記点群データのためのメイン適合セットの識別子と、
上記点群コンポーネントに対応する適合セットの複数の識別子と
を含む、項目１５に記載の方法。
（項目２２）
点群コンポーネントトラックグループ識別子属性が、上記１つまたはそれを上回る空間領域記述子内に存在しない、項目２１に記載の方法。
（項目２３）
上記１つまたはそれを上回る事前選択要素はそれぞれ、
上記点群データのためのメイン適合セットの識別子と、
点群コンポーネントに対応するコンテンツコンポーネントの複数の識別子と
を含む、項目１５に記載の方法。
（項目２４）
点群コンポーネントトラックグループ識別子が、上記１つまたはそれを上回る空間領域記述子内に存在する、項目２３に記載の方法。
（項目２５）
上記１つまたはそれを上回る事前選択要素はそれぞれ、上記識別子と、上記複数の識別子とを含む事前選択コンポーネント属性を含む、項目２１または２３に記載の方法。
（項目２６）
上記１つまたはそれを上回る空間領域記述子内の点群コンポーネントトラックグループ識別子属性は、異なる適合セットからコンテンツコンポーネントにマッピングされる１つの３Ｄ空間領域に対応する、項目１５に記載の方法。
（項目２７）
上記点群コンポーネントは、アトラスデータ、占有率マップコンポーネント、幾何学的コンポーネント、または属性コンポーネントを含む、項目１５－２６のいずれかに記載の方法。
（項目２８）
上記点群コンポーネントは、上記点群データの上記１つまたはそれを上回る３Ｄ空間領域に対応する、項目１５－２６のいずれかに記載の方法。
（項目２９）
項目１－２８のうち１つまたはそれを上回るもの内に列挙される方法を実装するように構成されるプロセッサを備える、ビデオ処理装置。
（項目３０）
非一過性のコンピュータ可読プログラム記憶媒体であって、上記非一過性のコンピュータ可読プログラム記憶媒体は、その上に記憶されるコードを有し、上記コードは、プロセッサによって実行されると、上記プロセッサに、項目１－２８のうち１つまたはそれを上回るもの内に列挙される方法を実装させる、非一過性のコンピュータ可読プログラム記憶媒体。

【図面の簡単な説明】

【0009】

【図1】図１は、コンポーネント適合セットを使用して、点群コンテンツの３Ｄ空間領域に属する、ビデオベース点群圧縮（Ｖ－ＰＣＣ）コンポーネントをグループ化するための例示的ＭＰＥＧ－ＤＡＳＨ構成を図示する。

【0010】

【図2】図２は、点群コンテンツの３Ｄ空間領域に属する、Ｖ－ＰＣＣコンポーネントの事前選択のための例示的ＭＰＥＧ－ＤＡＳＨ構成を図示する。

【0011】

【図3】図３は、点群の２つの３Ｄ空間領域に属する、Ｖ－ＰＣＣコンポーネントの事前選択のための例示的ＭＰＥＧ－ＤＡＳＨ構成を図示する。

【0012】

【図4A】図４Ａは、点群データ処理および伝送の例示的方法のフローチャートである。

【0013】

【図4B】図４Ｂは、点群データ処理の受信および処理の例示的方法のフローチャートである。

【0014】

【図5】図５は、ビデオエンコーダまたはビデオデコーダの一部であり得る、ハードウエアプラットフォーム５００の例示的ブロック図を示す。

【発明を実施するための形態】

【0015】

ビデオベース点群圧縮（Ｖ－ＰＣＣ）は、点群視覚情報のボリュームエンコーディングを表し、ＡＶＣ、ＨＥＶＣ、およびＶＶＣ等のＭＰＥＧ映像コーデックを利用することによって、点群データの効率的な、捕捉、圧縮、再構築、およびレンダリングを可能にする。コード化点群シーケンス（ＣＰＣＳ）を含有する、Ｖ－ＰＣＣビットストリームは、シーケンスパラメータセット（ＳＰＳ）データ、アトラス情報ビットストリーム、２Ｄビデオエンコード占有率マップビットストリーム、２Ｄビデオエンコード幾何学形状ビットストリーム、およびゼロまたはそれを上回る２Ｄビデオエンコード属性ビットストリームを搬送する、ＶＰＣＣユニットから成る。各Ｖ－ＰＣＣユニットは、Ｖ－ＰＣＣユニットヘッダを有し、これは、Ｖ－ＰＣＣユニットのタイプおよびＶ－ＰＣＣユニットペイロードを記述する。占有率、幾何学形状、および属性Ｖ－ＰＣＣユニットのペイロードは、対応する占有率、幾何学形状、および属性パラメータセットＶ－ＰＣＣユニット内で規定される、ビデオデコーダによって、デコードされ得る、ビデオデータユニット（例えば、ＨＥＶＣ ＮＡＬユニット）に対応する。

【0016】

本特許文書は、空間領域記述子および関連事前選択機構の使用のために、実施形態２－５においてさらに説明されるように、点群コンテンツの３Ｄ空間領域に属する、Ｖ－ＰＣＣコンポーネントをグループ化するための技法を説明する。本特許文書内でさらに説明されるように、説明される技法は、点群データの部分的なアクセスおよび送達を促進するために使用されることができる。

【0017】

Ｉ．Ｖ－ＰＣＣ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ（ＩＳＯＢＭＦＦ）コンテナの例示的構造

【0018】

Ｖ－ＰＣＣ基本ストリーム内のＶ－ＰＣＣユニットが、それらのタイプに基づいて、ＩＳＯＢＭＦＦファイル内の個々のトラックにマッピングされる。マルチトラックＩＳＯＢＭＦＦ Ｖ－ＰＣＣコンテナには、２つのタイプのトラック、すなわち、Ｖ－ＰＣＣトラックおよびＶ－ＰＣＣコンポーネントトラックが、存在する。

【0019】

Ｖ－ＰＣＣトラックは、Ｖ－ＰＣＣビットストリーム内で、ボリューム視覚情報を搬送する、トラックであり、パッチ情報サブビットストリームと、シーケンスパラメータセットとを含む。Ｖ－ＰＣＣコンポーネントトラックは、制限付きビデオスキームトラックであり、Ｖ－ＰＣＣビットストリームの占有率マップサブビットストリーム、幾何学形状サブビットストリーム、および属性サブビットストリームのための２Ｄビデオエンコードデータを搬送する。本レイアウトに基づいて、Ｖ－ＰＣＣ ＩＳＯＢＭＦＦコンテナは、以下を含み得る。
・（サンプルエントリ内の）シーケンスパラメータセットと、シーケンスパラメータセットＶ－ＰＣＣユニット（ユニットタイプＶＰＣＣ＿ＶＰＳ）およびアトラスＶ－ＰＣＣユニット（ユニットタイプＶＰＣＣ＿ＡＤ）のペイロードを搬送する、サンプルとを含有する、Ｖ－ＰＣＣトラック。本トラックはまた、ビデオ圧縮Ｖ－ＰＣＣユニット（すなわち、ユニットタイプＶＰＣＣ＿ＯＶＤ、ＶＰＣＣ＿ＧＶＤ、およびＶＰＣＣ＿ＡＶＤ）のペイロードを搬送する、他のトラックへのトラック参照も含む。
・サンプルが、占有率マップデータのためのビデオコード化基本ストリームのアクセスユニット（例えば、タイプＶＰＣＣ＿ＯＶＤのＶ－ＰＣＣユニットのペイロード）を含有する、制限付きビデオスキームトラック。
・サンプルが、幾何学形状データのためのビデオコード化基本ストリームのアクセスユニット（例えば、タイプＶＰＣＣ＿ＧＶＤのＶ－ＰＣＣユニットのペイロード）を含有する、１つまたはそれを上回る制限付きビデオスキームトラック。
・サンプルが、属性データのためのビデオコード化基本ストリームのアクセスユニット（例えば、タイプＶＰＣＣ＿ＡＶＤのＶ－ＰＣＣユニットのペイロード）を含有する、ゼロまたはそれを上回る制限付きビデオスキームトラック。

【0020】

ＩＩ．ＭＰＥＧ－ＤＡＳＨにおけるカプセル化およびシグナリング

【0021】

点群データ等のボリューム視覚メディアは、６自由度（６ＤｏＦ）没入型メディア体験を提供するために、牽引力を獲得している。ＭＰＥＧ ＤＡＳＨ等の適応ストリーミングベースのコンテンツ配信技術は、点群データ伝送をサポートする必要がある。

【0022】

従来的なメディアコンテンツとは異なり、Ｖ－ＰＣＣメディアコンテンツとして規定される点群データは、Ｖ－ＰＣＣ点群表現と関連付けられる、特定のタイプのアトラスデータ、占有率マップ、幾何学形状、または属性を含む、いくつかの異なるＶ－ＰＣＣコンポーネントから成る。幾何学形状および属性のＶ－ＰＣＣコンポーネントは、多層を有し得る。各Ｖ－ＰＣＣコンポーネント（および／または層）は、Ｖ－ＰＣＣビットストリームのサブストリームとして、別個にエンコードされる。幾何学形状、占有率マップ、および属性のＶ－ＰＣＣコンポーネントサブストリームは、従来のビデオエンコーダ（例えば、Ｈ．２６４／ＡＶＣまたはＨ．２６５／ＨＥＶＣ）を使用してエンコードされる。しかしながら、これらのサブストリームは、点群データを再構築し、レンダリングするために、アトラスサブストリームのパッチデータとともに、集合的にデコードされる必要がある。

【0023】

ＩＩＩ．点群データの部分的なアクセスおよび送達

【0024】

ユーザは、典型的には、点群オブジェクトを視認するために、６ＤｏＦを有する。任意の所与の時点で、入手可能な点群オブジェクトのいくつかの部分のみが、ユーザの場所、ビューポート、視野等に応じて、ユーザにとって可視となるであろう。したがって、多くの用途に対して、点群データ全体が、同時に、送達、デコード、およびレンダリングされる必要はない。

【0025】

３Ｄ空間内の具体的領域への空間的アクセスを可能にするために、点群オブジェクトのための境界ボックスは、いくつかの３Ｄ空間領域に分割されてもよい。点群オブジェクトの同一の部分に属する点は、ともにグループ化され、個別の３Ｄ空間領域によって表されてもよい。結果として生じる３Ｄ空間領域のそれぞれ内の点の投影から結果として生じるパッチは、Ｖ－ＰＣＣトラックの２Ｄフレーム内にともに圧縮される。点群の境界ボックス内の３Ｄ空間領域は、１つまたはそれを上回るＶ－ＰＣＣコンポーネントトラックグループと関連付けられてもよい。

【0026】

点群オブジェクトの部分的なアクセスおよび送達をサポートするためには、１つまたはそれを上回る３Ｄ空間サブ領域を識別し、ユーザの６ＤｏＦビューポートと、１つまたはそれを上回る関連付けられたＶ－ＰＣＣコンポーネントトラックグループとを完全に網羅する必要がある。

【0027】

ＩＶ．簡潔な議論

【0028】

節の見出しは、可読性を改良するためだけに、本文書内で使用され、各節において開示される、実施形態および技法の範囲をその節のみに限定しない。いくつかの特徴は、Ｈ．２６４／ＡＶＣおよびＨ．２６５／ＨＥＶＣおよびＭＰＥＧ規格の実施例を使用して説明される。しかしながら、開示される技法の適用性は、Ｈ．２６４／ＡＶＣまたはＨ．２６５／ＨＥＶＣシステムのみに限定されない。

【0029】

本文書では、種々の構文要素が、点群データ処理のために、異なる節内で開示される。しかしながら、同一の名称を伴う構文要素は、別様に記述されない限り、異なる節内で使用されるものと同一のフォーマットおよび構文を有するであろうことを理解されたい。さらに、異なる節の見出しの下、説明される、異なる構文要素および構造は、種々の実施形態内で、ともに組み合わされてもよい。加えて、具体的な構造が、実装実施例として説明されるが、構文構造の種々のエントリの順序は、本文書内で別様に記述されない限り、変更され得ることを理解されたい。

【0030】

一般に、本開示技法に基づく実施形態が、ビデオデータ処理のために使用され得る。いくつかの実施形態では、全方向性ビデオデータが、国際標準化機構（ＩＳＯ）基本メディアファイルフォーマットに基づいて、ファイル内に記憶される。それらのうち、制限付きスキーム情報ボックス、トラック参照ボックス、およびトラックグループボックス等のＩＳＯ基本メディアファイルフォーマットは、動作するためのＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）ＭＰＥＧ－４． Ｐａｒｔ １２ ＩＳＯ基本メディアファイルフォーマットを指し得る。

【0031】

ＩＳＯ基本ファイルフォーマット内の全てのデータが、ボックス内にインストールされる。ＭＰＥＧ４（ＭＰ４）ファイルによって表される、ＩＳＯ基本ファイルフォーマットは、いくつかのボックスから成り、そのそれぞれが、タイプと、長さとを有し、データオブジェクトとして見なされ得る。ボックスは、コンテナボックスと呼ばれる、別のボックスを含有することができる。ＭＰ４ファイルは、最初に、ファイルフォーマットのマークアップとして、１つのみの「ｆｔｙｐ」タイプのボックスを有し、そのファイルについてのある情報を含有するであろう。１つのみの「ＭＯＯＶ」タイプのボックス（ムービーボックス）が、存在するであろうし、これは、そのサブボックスが、そのメディアに関するメタデータ情報を含有する、コンテナボックスである。ＭＰ４ファイルのメディアデータは、「ｍｄａｔ」タイプのメディアボックス（メディアデータボックス）内に含まれ、これはまた、コンテナボックスでもあり、これは、（メディアデータが他のファイルを参照するときに）利用可能である場合とそうでない場合があり、メディアデータの構造は、メタデータから成る。

【0032】

時間指定メタデータトラックは、ＩＳＯ基本メディアファイルフォーマット（ＩＳＯＢＭＦＦ）内の機構であり、特定のサンプルと関連付けられる時間指定メタデータを確立する。時間指定メタデータは、メディアデータとの結合が少なく、通常、「説明的」である。

【0033】

本書では、いくつかの技術的ソリューションが、ＭＰ４またはＩＳＯＢＭＦＦフォーマット等の従来的な２Ｄビデオフォーマットと互換性がある、フォーマットの中へ、ＭＰＥＧのＶ－ＰＣＣデータ等、点群データの３Ｄまたは空間領域の表現を可能にするために提供される。本提案ソリューションの１つの有利な側面は、新しい機能性の実装のために、従来的な２Ｄビデオ技法および構文を再利用することが可能であることである。

【0034】

Ｖ．実施形態１：ビデオベース点群データの搬送

【0035】

Ｖ．（ａ）．空間領域情報の構造

【0036】

いくつかの実施形態では、点群データの空間領域情報は、以下のうち任意の１つまたはそれを上回るものを含む、またはそれを使用して説明される。すなわち、ＳｐａｔｉａｌＲｅｇｉｏｎＩｎｆｏＳｔｒｕｃｔ（）およびＢｏｕｎｄｉｎｇＢｏｘＩｎｆｏＳｔｒｕｃｔ（）は、ｘ、ｙ、ｚ座標オフセットと、３Ｄ空間領域の幅、高さ、および深度とを含む、点群データの空間領域情報と、そのソース境界ボックスとを提供する。

【0037】

構文実施例

【化1-1】

【化1-2】

【0038】

意味論実施例

【0039】

ｒｅｇｉｏｎ＿ｉｄは、点群データの３Ｄ空間領域の識別を規定する。

【0040】

ｒｅｆｅｒｅｎｃｅ＿ｘ、ｒｅｆｅｒｅｎｃｅ＿ｙ、およびｒｅｆｅｒｅｎｃｅ＿ｚはそれぞれ、デカルト座標における、点群データの３Ｄ空間部分に対応する空間領域のｘ、ｙ、およびｚ座標値を規定する。

【0041】

ｄｅｌｔａ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇは、ＳｐａｔｉａｌＲｅｇｉｏｎＩｎｆｏＳｔｒｕｃｔ（）において、ｄｅｌｔａ＿ｘ、ｄｅｌｔａ＿ｙ、およびｄｅｌｔａ＿ｚが、空間領域を規定するために使用されるかどうかを示す。

【0042】

ｄｅｌｔａ＿ｘ、ｄｅｌｔａ＿ｙ、およびｄｅｌｔａ＿ｚはそれぞれ、ｘ、ｙ、およびｚ軸に沿って、デカルト座標における、３Ｄ空間領域の寸法を規定する。

【0043】

幅、高さ、および深度はそれぞれ、ｘ、ｙ、およびｚ軸に沿って、デカルト座標における、３Ｄ空間領域の幅、高さ、および深度を示す。

【0044】

３ｄ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、点群データの３Ｄ境界ボックスパラメータが存在するかどうかを示す。

【0045】

ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｘ、ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｙ、およびｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｚはそれぞれ、原点（０，０，０）に対して、ｘ、ｙ、およびｚ軸に沿って、デカルト座標における、点群データの３Ｄ境界ボックスの拡張子を規定する。

【0046】

Ｖ．（ｂ）．ビデオエンコードＶ－ＰＣＣコンポーネントトラック

【0047】

プレーヤ側において点群を再構築することなく、属性トラック、幾何学形状トラック、または占有率マップトラックからのデコード済フレームを表示することは、意義がない場合があるため、制限付きビデオスキームタイプが、これらのビデオコード化トラックのために定義される。例えば、Ｖ－ＰＣＣコンポーネントビデオトラックは、制限付きビデオとしてファイル内に表され、それらの制限付きビデオサンプルエントリのＲｅｓｔｒｉｃｔｅｄＳｃｈｅｍｅＩｎｆｏＢｏｘのＳｃｈｅｍｅＴｙｐｅＢｏｘのｓｃｈｅｍｅ＿ｔｙｐｅフィールド内の’ｐｃｃｖ’によって識別され得る。ＶＰＣＣＵｎｉｔｈｅａｄｅｒＢｏｘを含む、Ｖ－ＰＣＣコンポーネントビデオトラック内に、ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘが、存在するべきである。

【0048】

Ｖ－ＰＣＣコンポーネントビデオトラックは、少なくとも、２Ｄビデオエンコード占有率マップトラックと、２Ｄビデオエンコード幾何学形状トラックと、ゼロまたはそれを上回る２Ｄビデオエンコード属性トラックとを含んでもよい。点群データの同一の空間領域に対応する、全てのＶ－ＰＣＣコンポーネントトラック（占有率マップトラック、幾何学形状トラック、および属性トラック）が、ＶＰＣＣＴｒａｃｋＧｒｏｕｐＢｏｘ（‘ｐｃｔｇ’）の具体的なタイプを全てのコンポーネントトラックに追加することによって、ＩＳＯ／ＩＥＣ １４４９６－１２のトラックグループ化ツールを使用して、ともにグループ化され得る。Ｖ－ＰＣＣコンポーネントビデオトラック内のＶＰＣＣＴｒａｃｋＧｒｏｕｐＢｏｘの実施例が、随意の実装と併せて下記に説明される。
ＶＰＣＣＴｒａｃｋＧｒｏｕｐＢｏｘ
ボックスタイプ：‘ｐｃｔｇ’
コンテナ： ＴｒａｃｋＢｏｘ
必須： いいえ
数量： ゼロまたは１

【0049】

‘ｐｃｔｇ’に等しいｔｒａｃｋ＿ｇｒｏｕｐ＿ｔｙｐｅを伴う、ＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘは、Ｖ－ＰＣＣコンポーネントトラックグループを示す、ＶＰＣＣＴｒａｃｋＧｒｏｕｐＢｏｘである。

【0050】

‘ｐｃｔｇ’に等しいｔｒａｃｋ＿ｇｒｏｕｐ＿ｔｙｐｅを伴う、ＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘ内のｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄの同一の値を有する、Ｖ－ＰＣＣコンポーネントトラックは、３Ｄ空間関係を伴う、同一のトラックグループに属する（例えば、点群データの同一の３Ｄ領域に対応する）。‘ｐｃｔｇ’に等しいｔｒａｃｋ＿ｇｒｏｕｐ＿ｔｙｐｅを伴う、ＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘ内のｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄは、点群データの空間領域の識別子として使用され得る。

【0051】

同一の空間領域に対応するＶ－ＰＣＣコンポーネントトラックは、ｔｒａｃｋ＿ｇｒｏｕｐ＿ｔｙｐｅ ‘ｐｃｔｇ’のためのｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄの同一の値を有し、１つの空間領域からのトラックのｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄは、任意の他の空間領域からのトラックのｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄと異なる。

【0052】

構文実施例

【化2】

【0053】

Ｖ－ＰＣＣコンポーネントビデオトラックは、‘ｐｃｔｇ’に等しいｔｒａｃｋ＿ｇｒｏｕｐ＿ｔｙｐｅを伴うＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘ、すなわち、ＶＰＣＣＴｒａｃｋＧｒｏｕｐＢｏｘを含んでもよい。

【0054】

いくつかの実施形態では、点群データの空間領域情報は、先に説明されたフォーマットに類似するフォーマットを含む、またはそれを使用して記述される（段落［００３４］以降参照）。

【0055】

Ｖ．（ｃ）．Ｖ－ＰＣＣトラック

【0056】

従来的な平面２Ｄビデオ情報を記憶する、ビデオトラックとは異なり、Ｖ－ＰＣＣトラックは、３Ｄボリューム視覚情報を記憶するための新しいタイプのトラックである。

【0057】

以下は、Ｖ－ＰＣＣトラックサンプルエントリを説明する。
サンプルエントリタイプ：‘ｖｐｃ１’、‘ｖｐｃｇ’
コンテナ：ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ（‘ｓｔｓｄ’）
必須：‘ｖｐｃ１’または‘ｖｐｃｇ’サンプルエントリが必須である
数量：１つまたはそれを上回るサンプルエントリが存在し得る

【0058】

Ｖ－ＰＣＣトラックは、‘ｖｐｃ１’または‘ｖｐｃｇ’のサンプルエントリタイプを用いて、ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙを拡張する、ＶＰＣＣＳａｍｐｌｅＥｎｔｒｙを使用するべきである。

【0059】

ＶＰＣＣボリュームサンプルエントリは、本明細書に説明されるように、ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄを含む、ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含有するするべきである。

【化3】

【0060】

構文実施例

【化4-1】

【化4-2】

【0061】

意味論実施例

【0062】

ｎｕｍ＿ｒｅｇｉｏｎｓは、点群データの３Ｄ領域の数を規定する。

【0063】

ｍａｐｐｉｎｇ＿ｔｙｐｅ［ｉ］は、点群データのｒｅｇｉｏｎ［ｉ］のマッピングタイプを規定する。

【0064】

ｎｕｍ＿ｐａｔｃｈｅｓ［ｉ］は、点群データのｒｅｇｉｏｎ［ｉ］内のパッチの数を規定する。

【0065】

ｎｕｍ＿ｔｉｌｅｓ［ｉ］は、点群データのｒｅｇｉｏｎ［ｉ］内の２Ｄタイルの数を規定する。

【0066】

ｔｉｌｅ＿ｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄ［ｉ］［ｊ］は、点群データのｒｅｇｉｏｎ［ｉ］の２Ｄタイルトラックグループ識別のアレイを規定する。

【0067】

ｎｕｍ＿ｔｉｌｅ＿ｇｒｏｕｐｓ［ｉ］は、点群データのｒｅｇｉｏｎ［ｉ］内のタイルグループの数を規定する。

【0068】

ｔｉｌｅ＿ｇｒｏｕｐ＿ｉｄ［ｉ］［ｊ］は、点群データのｒｅｇｉｏｎ［ｉ］のタイルグループ識別のアレイを規定する。

【0069】

ｎｕｍ＿ｔｒａｃｋ＿ｇｒｏｕｐｓ［ｉ］は、点群データのｒｅｇｉｏｎ［ｉ］内のＶ－ＰＣＣコンポーネントトラックグループの数を規定する。

【0070】

ｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄ［ｉ］［ｊ］は、点群データのｒｅｇｉｏｎ［ｉ］のＶ－ＰＣＣコンポーネントトラックグループ識別のアレイを規定する。

【0071】

Ｖ．（ｄ）．Ｖ－ＰＣＣ時間指定メタデータトラック

【0072】

Ｖ－ＰＣＣ空間領域時間指定メタデータトラックは、経時的に著しく変化する、点群データの対応する空間領域情報を示す、‘ｃｄｓｃ’トラック参照タイプのＴｒａｃｋＲｅｆｅｒｅｎｃｅＢｏｘを利用することによって、個別のＶ－ＰＣＣトラックにリンクされる。

【0073】

Ｖ－ＰＣＣ時間指定メタデータトラックのサンプルエントリと、そのサンプルフォーマットとは、以下のように説明され得る。

【0074】

点群データの３Ｄ領域は、以下に説明される、ＶｏｌｕｍｅｔｒｉｃＴｉｌｅＩｎｆｏＢｏｘ（）を使用して、点群データの３Ｄ領域を再構築するための、パッチデータ、２Ｄタイルデータ、またはタイルグループデータを含有し得る、点群トラックパッチフレームの１つまたはそれを上回る２Ｄ領域と関連付けられる。

【0075】

構文実施例

【化5】

【0076】

サンプルフォーマット

【0077】

本サンプルエントリタイプ‘ｐｃｓｒ’のサンプル構文は、以下のように規定される。

【化6】

【0078】

ＶＩ．実施形態２：ＭＰＥＧ－ＤＡＳＨにおけるカプセル化およびシグナリング

【0079】

ＶＩ．（ａ）．単一トラックＤＡＳＨモード

【0080】

ＤＡＳＨにおける単一トラックモードは、Ｖ－ＰＣＣ ＩＳＯＢＭＦＦファイルのストリーミングを可能にし、異なるビデオエンコードコンポーネントが、単一トラックとして記憶される。ＤＡＳＨにおける単一トラックモードは、１つまたはそれを上回るＲｅｐｒｅｓｅｎｔａｔｉｏｎを伴う、１つのＡｄａｐｔａｔｉｏｎＳｅｔとして表されるべきである。単独のＡｄａｐｔａｔｉｏｎＳｅｔ内の表現は、対応するビデオエンコードコンポーネントに対して、同一のコーデックを使用するものとするが、あらゆるビデオコンポーネントに対して同一のコーデックを使用することを要求されない。

【0081】

ＶＩ．（ｂ）．マルチトラックモード

【0082】

各Ｖ－ＰＣＣコンポーネントは、ＭＰＥＧ－ＤＡＳＨマニフェストまたはＭＰＥＧ－Ｄａｓｈメディアプレゼンテーション記述（ＭＰＤ）ファイル内において、別個のＡｄａｐｔａｔｉｏｎＳｅｔとして表されてもよい。アトラス情報のための付加的なＡｄａｐｔａｔｉｏｎＳｅｔは、Ｖ－ＰＣＣコンテンツのためのメインＡｄａｐｔａｔｉｏｎＳｅｔとしての役割を果たす。Ｖ－ＰＣＣコンポーネントが、多層を有する場合、各層は、別個のＡｄａｐｔａｔｉｏｎＳｅｔを使用して、シグナリングされてもよい。

【0083】

メインＡｄａｐｔａｔｉｏｎＳｅｔは、‘ｖｐｃ１’に設定される、＠コーデック属性を有する一方、Ｖ－ＰＣＣコンポーネントＡｄａｐｔａｔｉｏｎＳｅｔ、または＠コーデックが、ＡｄａｐｔａｔｉｏｎＳｅｔ要素に対してシグナリングされない場合、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎに対する＠コーデック属性は、コンポーネントをエンコードするために使用される、個別のコーデックに基づいて設定される。

【0084】

メインＡｄａｐｔａｔｉｏｎＳｅｔは、適合セットレベルで、単一の初期化セグメントを含有してもよい。初期化セグメントは、Ｖ－ＰＣＣシーケンスパラメータセットだけではなく、コンポーネントサブストリームのための他のパラメータセットを含む、Ｖ－ＰＣＣデコーダを初期化するために必要とされる、全てのシーケンスパラメータセットを含有してもよい。

【0085】

メインＡｄａｐｔａｔｉｏｎＳｅｔのＲｅｐｒｅｓｅｎｔａｔｉｏｎのためのメディアセグメントは、Ｖ－ＰＣＣトラックの１つまたはそれを上回るトラック断片を含有してもよい。コンポーネントＡｄａｐｔａｔｉｏｎＳｅｔのＲｅｐｒｅｓｅｎｔａｔｉｏｎのためのメディアセグメントは、ファイルフォーマットレベルで、対応するコンポーネントトラックの１つまたはそれを上回るトラック断片を含有してもよい。

【0086】

ＶＩ．（ｃ）．Ｖ－ＰＣＣ事前選択

【0087】

Ｖ－ＰＣＣ事前選択は、点群コンポーネントに対応するＡｄａｐｔａｔｉｏｎＳｅｔのＩＤによって追従される、点群のためのメインＡｄａｐｔａｔｉｏｎＳｅｔのＩＤを含む、＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性のための識別子（ＩＤ）リストを伴って、ＭＰＥＧ－ＤＡＳＨ（ＩＳＯ／ＩＥＣ ２３００９－１）において定義されるように、ＰｒｅＳｅｌｅｃｔｉｏｎ要素を使用して、ＭＰＤ内で信号伝達される。ＰｒｅＳｅｌｅｃｔｉｏｎのための＠ｃｏｄｅｃｓ属性は、ＰｒｅＳｅｌｅｃｔｉｏｎメディアが、ビデオベース点群であることを示す、‘ｖｐｃ１’に設定されてもよい。ＰｒｅＳｅｌｅｃｔｉｏｎは、Ｐｅｒｉｏｄ要素内のＰｒｅＳｅｌｅｃｔｉｏｎ要素、または適合セットレベルにおける事前選択記述子のいずれかを使用して、シグナリングされてもよい。

【0088】

ＶＩ．（ｄ）．ＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子

【0089】

点群の静的３Ｄ空間領域およびそれらの関連付けられるＶ－ＰＣＣコンポーネントトラックグループを識別するために、ＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子が使用されるものとする。ＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎは、”ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｖｐｃｃ：２０１９：ｖｐｓｒ”と等しい、＠ｓｃｈｅｍｅＩｄＵｒｉ属性を伴う、ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ記述子である。

【0090】

最大で１つのＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子が、マルチ－トラックモードのための点群のメインＡｄａｐｔａｔｉｏｎＳｅｔにおいて、または単一トラックモードのための点群のＡｄａｐｔａｔｉｏｎＳｅｔにおいて、適合セットレベルで存在してもよい。

【0091】

点群の同一の３Ｄ空間領域に対応する、Ｖ－ＰＣＣコンポーネントＡｄａｐｔａｔｉｏｎＳｅｔは、同一のコーデックを使用するものとする（例えば、占有率マップは、全てのコンポーネントＡｄａｐｔａｔｉｏｎＳｅｔにおいて、同一のコーデックを有するものとする）が、あらゆる点群コンポーネントに対して同一のコーデックを使用することは要求されない（例えば、占有率マップは、１つのコーデック、ＡＶＣを使用し得るであろうし、幾何学形状は、第２のコーデック、ＨＥＶＣによってエンコードされ得るであろう）。

【0092】

ＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子の＠ｖａｌｕｅ属性は、存在しなくてもよい。ＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子は、表１に規定されるような要素および属性を含んでもよい。

【表1-1】

【表1-2】

【表1-3】

【0093】

ＶＩ．（ｅ）．Ｖ－ＰＣＣ記述子

【0094】

”ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｖｐｃｃ：２０１９：ｖｐｃ”と等しい、＠ｓｃｈｅｍｅＩｄＵｒｉ属性を伴うＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ要素は、ＶＰＣＣ記述子と称される。最大で１つのＶＰＣＣ記述子が、点群のメインＡｄａｐｔａｔｉｏｎＳｅｔに対して、適合セットレベルで存在してもよい。

【表2-1】

【表2-2】

【0095】

表１において上記に説明される、ＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子の要素および属性はまた、表３に規定されるように、ＶＰＣＣ記述子の一部であり得る。

【表3-1】

【表3-2】

【0096】

ＭＰＥＧ－ＤＡＳＨにおける点群コンテンツの部分的なアクセスおよび送達をサポートするために、ＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子、ＶＰＣＣ記述子、およびＰｒｅＳｅｌｅｃｔｉｏｎ要素を使用する関連事前選択機構の使用は、以下のように説明される。

【0097】

点群コンテンツのためのメインＡｄａｐｔａｔｉｏｎＳｅｔ内における、適合セットレベルのＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子は、メインＡｄａｐｔａｔｉｏｎＳｅｔ内で搬送される、Ｖ－ＰＣＣトラック、およびそれらの個別のコンポーネントＡｄａｐｔａｔｉｏｎＳｅｔｓ内で搬送される、関連付けられたＶ－ＰＣＣコンポーネントトラックが、点群オブジェクトの１つまたはそれを上回る静的３Ｄ空間領域に対応することを示す。

【0098】

ＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子のｓｐａｔｉａｌＲｅｇｉｏｎ要素は、空間領域のｘ、ｙ、ｚオフセット、および３Ｄ空間における空間領域の幅、高さ、および深度、および随意に点群の３Ｄ境界ボックス情報を含む、点群の空間領域に関する情報を提供する。

【0099】

多数のバージョンの同一点群が、別個のＰｒｅＳｅｌｅｃｔｉｏｎを使用してシグナリングされ得る。点群の同一の３Ｄ空間領域の代替バージョンを表す、ＰｒｅＳｅｌｅｃｔｉｏｎは、同一の＠ｐｃＩｄ値および同一の＠ｒｅｇｉｏｎＩｄｓ値を伴う、ＶＰＣＣ記述子を含有してもよく、＠ｐｃＩｄ属性に割り当てられた値は、点群コンテンツを識別し、＠ｒｅｇｉｏｎＩｄｓ属性の値は、点群の１つまたはそれを上回る３Ｄ空間領域を識別する。例えば、実施形態３および５で、例示的ＭＰＤファイルにおいて示されるように、２つの事前選択の＠ｐｃＩｄ属性に割り当てられた値は、同一であり、両方の事前選択が同一の点群コンテンツに属することを示し得る。

【0100】

＠ｔｒａｃｋＧｒｏｕｐｓ属性が、ＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子内に存在しない場合、＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性のためのＩＤリストを伴う、ＰｒｅＳｅｌｅｃｔｉｏｎ要素は、点群コンポーネントに対応するＡｄａｐｔａｔｉｏｎＳｅｔのＩＤによって追従される点群のためのメインＡｄａｐｔａｔｉｏｎＳｅｔのＩＤを含んでもよく、これは、点群における３Ｄ空間領域に属するグループ化Ｖ－ＰＣＣコンポーネントをシグナリングするために使用される。

【0101】

いくつかのＶ－ＰＣＣコンポーネントトラックグループに対するｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄの値を含有する、＠ｔｒａｃｋＧｒｏｕｐｓ属性が、ＶＰＣＣＳｐａｔｉａｌＲｅｓｉｏｎｓ記述子内に存在する場合、＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性のためのＩＤリストを伴う、ＰｒｅＳｅｌｅｃｔｉｏｎ要素は、点群コンポーネントに対応するＣｏｎｔｅｎｔＣｏｍｐｏｎｅｎｔのＩＤによって追従される点群のためのメインＡｄａｐｔａｔｉｏｎＳｅｔのＩＤを含んでもよく、これは、点群における３Ｄ空間領域に属するグループ化Ｖ－ＰＣＣコンポーネントをシグナリングするために使用される。

【0102】

いくつかの実施形態では、点群コンポーネントは、個別のコンポーネントＡｄａｐｔａｔｉｏｎＳｅｔの単一のＲｅｐｒｅｓｅｎｔａｔｉｏｎ内で送達され、ＣｏｎｔｅｎｔＣｏｍｏｐｏｎｅｎｔ要素によって記述されてもよく、例えば、占有率マップ、幾何学形状、および属性コンポーネントＡｄａｐｔａｔｉｏｎＳｅｔは、同一のコンポーネントタイプの多数のＶ－ＰＣＣコンポーネントトラックを含有してもよく、各Ｖ－ＰＣＣコンポーネントトラックは、ＣｏｎｔｅｎｔＣｏｍｏｐｏｎｅｎｔにマッピングされる。したがって、点群のための３Ｄ空間領域に対応する、（＠ｔｒａｃｋＧｒｏｕｐｓ属性と同一のｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄ値を有する）Ｖ－ＰＣＣコンポーネントトラックのグループは、異なるコンポーネントＡｄａｐｔａｔｉｏｎＳｅｔから、ＣｏｎｔｅｎｔＣｏｍｏｐｏｎｅｎｔ要素にマッピングされ得る。

【0103】

実施形態３－５はさらに、ＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子および関連事前選択機構の使用に関して、実施形態２で説明されるように、点群コンテンツの３Ｄ空間領域に属する、Ｖ－ＰＣＣコンポーネントをグループ化するための技法を説明する。

【0104】

ＶＩＩ．実施形態３

【0105】

Ｖ－ＰＣＣ空間領域の事前選択

【0106】

図１は、コンポーネント適合セットを使用して、点群コンテンツの３Ｄ空間領域に属する、Ｖ－ＰＣＣコンポーネントをグループ化するための例示的ＭＰＥＧ－ＤＡＳＨ構成を図示する。本実施形態では、Ｖ－ＰＣＣシーケンスは、占有率、幾何学形状、および属性のビデオコード化コンポーネント、およびアトラスのＶ－ＰＣＣコンポーネントから成る。

【0107】

ビデオコード化占有率、幾何学形状、および属性コンポーネントはそれぞれ、別個のＡｄａｐｔａｔｉｏｎＳｅｔによってシグナリングされる。占有率、幾何学形状、および属性コンポーネントの各コンポーネントＡｄａｐｔａｔｉｏｎＳｅｔは、対応する値に設定される、＠ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅ属性を伴う、ＶＰＣＣＣｏｍｐｏｎｅｎｔ記述子を含む。

【0108】

アトラスサブビットストリームを含む、Ｖ－ＰＣＣトラックは、単一の表現を伴う、メインＡｄａｐｔａｔｉｏｎＳｅｔによってシグナリングされる。メインＡｄａｐｔａｔｉｏｎＳｅｔ内で搬送される、Ｖ－ＰＣＣトラック、およびそれらの個別のコンポーネントＡｄａｐｔａｔｉｏｎＳｅｔｓ内で搬送される、関連付けられたＶ－ＰＣＣコンポーネントトラックは、点群オブジェクトにおける、３Ｄ空間領域「１」および領域「２」に対応するため、メインＡｄａｐｔａｔｉｏｎＳｅｔはそれぞれ、３Ｄ空間領域の識別子に設定される、＠ｒｅｇｉｏｎＩｄ属性を伴う、２つのＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子を有する。他の属性、例えば、ＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子の＠ｒｅｆｅｒｅｎｃｅ＿ｘ，＠ｒｅｆｅｒｅｎｃｅ＿ｙ，＠ｒｅｆｅｒｅｎｃｅ＿ｚおよび＠ｄｅｌｔａ＿ｘ，＠ｄｅｌｔａ＿ｙ，＠ｄｅｌｔａ＿ｚは、デカルト座標における、点群データの３Ｄ空間部分に対応する、ｘ、ｙ、ｚ座標オフセット、および３Ｄ空間領域の幅、高さ、および深度を含む、３Ｄ空間領域の空間領域情報を提供する。

【0109】

点群の３Ｄ空間領域「１」および領域「２」に属する、Ｖ－ＰＣＣコンポーネントは、ＭＰＤ内で、２つのＰｒｅＳｅｌｅｃｔｉｏｎ要素を使用して、別個にグループ化される。空間領域「１」の事前選択のためのＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性は、「１ ２ ４ ６」として、ｉｄリストを含む。空間領域「２」の事前選択のためのＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性は、ｉｄリスト「１ ３ ５ ７」を含む。事前選択におけるＩＤ １は、点群データのためのメイン適合セットの識別子に対応し、ＩＤ ２、４、６および３、５、７は、点群コンポーネントに対応する、適合セットの識別子に対応する。

【0110】

点群を識別するために使用される、必須＠ｐｃＩｄ属性以外に、各ＰｒｅＳｅｌｅｃｔｉｏｎ要素のＶＰＣＣ記述子はまた、点群の３Ｄ空間領域、すなわち、領域「１」および「２」をそれぞれ記述するための＠ｒｅｇｉｏｎＩｄｓ属性を含有するものとする。

【0111】

これらのＶ－ＰＣＣ適合セットが、少なくとも１つの事前選択において参照されることを示すために、＠ｖａｌｕｅ属性を伴わない事前選択記述子は、各ＡｄａｐｔａｔｉｏｎＳｅｔ内でシグナリングされる。

【0112】

本実施例において、Ｖ－ＰＣＣ空間領域の事前選択をシグナリングする、例示的ＭＰＤファイルは、以下に説明される。

【化7-1】

【化7-2】

【化7-3】

【0113】

ＶＩＩＩ．実施形態４

【0114】

Ｖ－ＰＣＣコンポーネントＡｄａｐｔａｔｉｏｎＳｅｔを使用した、Ｖ－ＰＣＣ空間領域の事前選択

【0115】

図２は、点群コンテンツの３Ｄ空間領域に属する、Ｖ－ＰＣＣコンポーネントの事前選択のための例示的ＭＰＥＧ－ＤＡＳＨ構成を図示する。

【0116】

本実施形態では、Ｖ－ＰＣＣシーケンスは、占有率、幾何学形状、および属性のビデオコード化コンポーネント、およびアトラスのＶ－ＰＣＣコンポーネントから成る。

【0117】

ビデオコード化占有率、幾何学形状、および属性コンポーネントはそれぞれ、別個のＡｄａｐｔａｔｉｏｎＳｅｔによってシグナリングされ得る。占有率、幾何学形状、および属性コンポーネントの各コンポーネントＡｄａｐｔａｔｉｏｎＳｅｔは、対応する値に設定される、＠ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅ属性を伴う、ＶＰＣＣＣｏｍｐｏｎｅｎｔ記述子を含む。

【0118】

アトラスサブビットストリームを含む、Ｖ－ＰＣＣトラックは、単一の表現を伴う、メインＡｄａｐｔａｔｉｏｎＳｅｔによってシグナリングされる。メインＡｄａｐｔａｔｉｏｎＳｅｔ内で搬送される、Ｖ－ＰＣＣトラック、およびそれらの個別のコンポーネントＡｄａｐｔａｔｉｏｎＳｅｔｓ内で搬送される、関連付けられたＶ－ＰＣＣコンポーネントトラックは、点群オブジェクトにおける、３Ｄ空間領域「１」に対応するため、メインＡｄａｐｔａｔｉｏｎＳｅｔは、点群コンテンツの３Ｄ空間領域の識別子に設定される、＠ｒｅｇｉｏｎＩｄ属性を伴う、ＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子を有する。ＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子の＠ｒｅｆｅｒｅｎｃｅ＿ｘ，＠ｒｅｆｅｒｅｎｃｅ＿ｙ，＠ｒｅｆｅｒｅｎｃｅ＿ｚおよび＠ｄｅｌｔａ＿ｘ，＠ｄｅｌｔａ＿ｙ，＠ｄｅｌｔａ＿ｚ等の他の属性は、デカルト座標における、点群データの３Ｄ空間部分に対応する、ｘ、ｙ、ｚ座標オフセット、および３Ｄ空間領域の幅、高さ、および深度を含む、３Ｄ空間領域の空間領域情報を提供する。

【0119】

本実施形態では、ｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄの値を含有する、＠ｔｒａｃｋＧｒｏｕｐｓ属性は、ＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子内に存在しないが、３Ｄ空間領域「１」に対応する、Ｖ－ＰＣＣコンポーネントトラックが、トラックグループ「１」およびトラックグループ「２」に属する。トラックグループ「１」のＶ－ＰＣＣ占有率、幾何学形状、および属性コンポーネントトラックはそれぞれ、コンポーネントＡｄａｐｔａｔｉｏｎＳｅｔ２、４、および６内で搬送される。トラックグループ「２」のＶ－ＰＣＣ占有率、幾何学形状、および属性コンポーネントトラックはそれぞれ、コンポーネントＡｄａｐｔａｔｉｏｎＳｅｔ３、５、および７内で搬送される。

【0120】

点群の空間領域「１」に属する、Ｖ－ＰＣＣコンポーネントは、ＭＰＤ内で、１つのＰｒｅＳｅｌｅｃｔｉｏｎ要素を使用して、ともにグループ化される。空間領域「１」の事前選択のためのＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性は、「１ ２ ３ ４ ５ ６ ７」として、ｉｄリストを含む。事前選択におけるＩＤ １は、点群データのためのメイン適合セットの識別子に対応し、ＩＤ ２－７は、点群コンポーネントの識別子に対応する。ＰｒｅＳｅｌｅｃｔｉｏｎ要素は、点群コンテンツを示すための必須＠ｐｃＩｄ属性と、点群の３Ｄ空間領域「１」を識別するための＠ｒｅｇｉｏｎＩｄｓ属性とを含有する、ＶＰＣＣ記述子を含んでもよい。これらのＶ－ＰＣＣ適合セットが、少なくとも１つの事前選択において参照されることを示すために、＠ｖａｌｕｅ属性を伴わない事前選択記述子は、各ＡｄａｐｔａｔｉｏｎＳｅｔ内でシグナリングされる。

【0121】

本実施例において、Ｖ－ＰＣＣコンポーネントＡｄａｐｔａｔｉｏｎＳｅｔを使用して、Ｖ－ＰＣＣ空間領域の事前選択をシグナリングする、例示的ＭＰＤファイルは、以下に説明される。

【化8-1】

【化8-2】

【化8-3】

【0122】

ＩＸ．実施形態５

【0123】

コンテンツコンポーネントを使用した、Ｖ－ＰＣＣ空間領域の事前選択

【0124】

図３は、点群の２つの３Ｄ空間領域に属する、Ｖ－ＰＣＣコンポーネントの事前選択のための例示的ＭＰＥＧ－ＤＡＳＨ構成を図示し、これは、コンテンツコンポーネントを使用して、３つのＶ－ＰＣＣコンポーネントトラックグループにマッピングされ得る。本実施形態では、Ｖ－ＰＣＣシーケンスは、占有率、幾何学形状、および属性のビデオコード化コンポーネント、およびアトラスのＶ－ＰＣＣコンポーネントから成る。

【0125】

ビデオコード化占有率、幾何学形状、および属性コンポーネントはそれぞれ、別個のＡｄａｐｔａｔｉｏｎＳｅｔによってシグナリングされ得る。占有率、幾何学形状、および属性コンポーネントの各コンポーネントＡｄａｐｔａｔｉｏｎＳｅｔは、対応する値に設定される、＠ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅ属性を伴う、ＶＰＣＣＣｏｍｐｏｎｅｎｔ記述子を含む。

【0126】

本実施例では、アトラスサブビットストリームを含む、Ｖ－ＰＣＣトラックは、２つのメインＡｄａｐｔａｔｉｏｎＳｅｔによってシグナリングされる。各メインＡｄａｐｔａｔｉｏｎＳｅｔは、点群の３Ｄ空間領域、すなわち、「１」および「２」の識別子にそれぞれ設定される、＠ｒｅｇｉｏｎＩｄ属性を伴う、ＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子を有する。各メインＡｄａｐｔａｔｉｏｎＳｅｔにおける、ＶＰＣＣＳｐａｔｉａｌＲｅｇｉｏｎ記述子はまた、点群の３Ｄ空間領域に対応する、Ｖ－ＰＣＣコンポーネントトラックグループを識別するための＠ｔｒａｃｋＧｒｏｕｐＩＤｓ属性を有する。本実施例では、３Ｄ空間領域「１」は、「１ ２」のｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄを伴う、Ｖ－ＰＣＣコンポーネントトラックグループにマッピングされ、３Ｄ空間領域「２」は、「２ ３」のｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄを伴う、Ｖ－ＰＣＣコンポーネントトラックグループにマッピングされる。

【0127】

本実施例では、Ｖ－ＰＣＣ占有率マップコンポーネントトラックは、コンポーネントＡｄａｐｔａｔｉｏｎＳｅｔ３内で搬送され、ＣｏｎｔｅｎｔＣｏｍｐｏｎｅｎｔ要素「１ ２ ３」によって記述される。Ｖ－ＰＣＣ幾何学形状コンポーネントトラックは、コンポーネントＡｄａｐｔａｔｉｏｎＳｅｔ４内で搬送され、ＣｏｎｔｅｎｔＣｏｍｐｏｎｅｎｔ要素「４ ５ ６」によって記述される。Ｖ－ＰＣＣ属性コンポーネントトラックは、コンポーネントＡｄａｐｔａｔｉｏｎＳｅｔ５内で搬送され、ＣｏｎｔｅｎｔＣｏｍｐｏｎｅｎｔ要素「７ ８ ９」によって記述される。

【0128】

ｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄ属性値「１」、「２」、および「３」を伴う、Ｖ－ＰＣＣコンポーネントトラックグループはそれぞれ、ｉｄ属性値「１ ４ ７」、「２ ５ ８」、および「３ ６ ９」を伴う、ＣｏｎｔｅｎｔＣｏｍｐｏｎｅｎｔ要素にマッピングされるであろう。

【0129】

点群の３Ｄ空間領域「１」および領域「２」に属する、Ｖ－ＰＣＣコンポーネントは、ＭＰＤ内で、２つのＰｒｅＳｅｌｅｃｔｉｏｎ要素を使用して、別個にグループ化される。空間領域「１」の事前選択のためのＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性は、「１ ２ ４ ６」として、ｉｄリストを含む。空間領域「２」の事前選択のためのＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性は、ｉｄリスト「１ ３ ５ ７」を含む。

【0130】

点群の３Ｄ空間領域「１」および領域「２」に属する、Ｖ－ＰＣＣコンポーネントは、ＭＰＤ内で、２つのＰｒｅＳｅｌｅｃｔｉｏｎ要素を使用して、別個にグループ化される。（トラックグループ「１ ２」にマッピングされる）空間領域「１」の事前選択のためのＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性は、「１ １ ２ ４ ５ ７ ８」として、ｉｄリストを含み、（トラックグループ「２ ３」にマッピングされる）空間領域「２」の事前選択のためのＰｒｅＳｅｌｅｃｔｉｏｎ要素の＠ｐｒｅｓｅｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓ属性は、「１ ２ ３ ５ ６ ８ ９」として、ｉｄリストを含む。事前選択におけるＩＤ １は、点群データのためのメイン適合セットの識別子に対応し、ＩＤ１、２、４、５、７、および８は、コンテンツコンポーネントの識別子に対応する。

【0131】

点群を識別するために使用される、必須＠ｐｃＩｄ属性以外に、各ＰｒｅＳｅｌｅｃｔｉｏｎ要素のＶＰＣＣ記述子はまた、点群の３Ｄ空間領域、すなわち、領域「１」および「２」をそれぞれ記述するための＠ｒｅｇｉｏｎＩｄｓ属性を含有するものとする。

【0132】

これらのＶ－ＰＣＣ適合セットが、少なくとも１つの事前選択において参照されることを示すために、＠ｖａｌｕｅ属性を伴わない事前選択記述子は、各ＡｄａｐｔａｔｉｏｎＳｅｔ内でシグナリングされる。

【0133】

本実施形態において、ＣｏｎｔｅｎｔＣｏｍｐｏｎｅｎｔを使用して、Ｖ－ＰＣＣ空間領域の事前選択をシグナリングする、例示的ＭＰＤファイルは、以下に説明される。

【化9-1】

【化9-2】

【化9-3】

【0134】

３Ｄパーティションが動的であるとき、プレゼンテーションタイムラインにおいて、各３Ｄ領域の位置および寸法をシグナリングするための時間指定メタデータトラックは、単一の表現を伴う、別個のＡｄａｐｔａｔｉｏｎＳｅｔ内で搬送され、ＭＰＥＧ－ＤＡＳＨにおいて定義付けられ、対応するＡｄａｐｔａｔｉｏｎＳｅｔまたはＲｅｐｒｅｓｅｎｔａｔｉｏｎのための４ＣＣ‘ｖｐｃｍ’を含む、＠ａｓｓｏｃｉａｔｉｏｎＴｙｐｅ値を伴う、＠ａｓｓｏｃｉａｔｉｏｎＩｄ属性を使用して、メインＶ－ＰＣＣトラックと関連付けられ得る。

【0135】

図４Ａは、点群データ処理および伝送の例示的方法のフローチャートである。動作１１０は、点群データの１つまたはそれを上回る３次元（３Ｄ）空間領域を記述する、１つまたはそれを上回る空間領域記述子と、点群データと関連付けられる点群コンポーネントを記述する、１つまたはそれを上回る事前選択要素とを決定するステップを含む。動作１２０は、１つまたはそれを上回る空間領域記述子と、１つまたはそれを上回る事前選択要素とを含む、メディアプレゼンテーション記述（ＭＰＤ）ファイルを伝送するステップを含む。

【0136】

図４Ｂは、点群データ受信および処理の例示的方法のフローチャートである。動作１５０は、点群データの１つまたはそれを上回る３次元（３Ｄ）空間領域を記述する、１つまたはそれを上回る空間領域記述子と、点群データと関連付けられる点群コンポーネントを記述する、１つまたはそれを上回る事前選択要素とを含む、メディアプレゼンテーション記述（ＭＰＤ）ファイルを受信するステップを含む。動作１６０は、１つまたはそれを上回る事前選択要素の事前選択を伴って、点群データの１つまたはそれを上回る３Ｄ空間領域に対応する、点群コンポーネントにアクセスするステップを含む。いくつかの実施形態では、動作１６０のアクセスするステップは、点群データの１つまたはそれを上回る３Ｄ空間領域に対応する、点群コンポーネントにアクセスするために、１つまたはそれを上回る事前選択要素の事前選択要素を構文解析するステップを含んでもよい。

【0137】

以下の説明される特徴は、図４Ａ、図４Ｂで説明される方法に対して、かつ本特許文書内で説明される種々の実施形態において、適用可能であり得る。

【0138】

いくつかの実施形態では、１つまたはそれを上回る空間領域記述子は、ＭＰＤファイル内の点群データのためのメイン適合セット内に含まれる。いくつかの実施形態では、１つまたはそれを上回る空間領域記述子はそれぞれ、１つまたはそれを上回る３Ｄ空間領域のオフセット値と、寸法とを含む。いくつかの実施形態では、１つまたはそれを上回る空間領域記述子はそれぞれ、点群データの３Ｄ境界ボックス情報を含む。いくつかの実施形態では、１つまたはそれを上回る事前選択要素は、点群データの１つまたはそれを上回るエンコードバージョンと関連付けられ、１つまたはそれを上回る事前選択要素はそれぞれ、点群データを識別する第１の値と、１つまたはそれを上回る３Ｄ空間領域を識別する第２の値とを含む。いくつかの実施形態では、１つまたはそれを上回る事前選択要素はそれぞれ、第１の値と第２の値とを含む、点群記述子要素を含む。

【0139】

いくつかの実施形態では、１つまたはそれを上回る事前選択要素はそれぞれ、点群データのためのメイン適合セットの識別子と、点群コンポーネントに対応する適合セットの複数の識別子とを含む。いくつかの実施形態では、点群コンポーネントトラックグループ識別子属性は、１つまたはそれを上回る空間領域記述子内に存在しない。いくつかの実施形態では、１つまたはそれを上回る事前選択要素はそれぞれ、前記点群データのためのメイン適合セットの識別子と、点群コンポーネントに対応するコンテンツコンポーネントの複数の識別子とを含む。いくつかの実施形態では、点群コンポーネントトラックグループ識別子は、１つまたはそれを上回る空間領域記述子内に存在する。

【0140】

いくつかの実施形態では、１つまたはそれを上回る事前選択要素はそれぞれ、識別子と複数の識別子とを含む、事前選択コンポーネント属性を含む。いくつかの実施形態では、１つまたはそれを上回る空間領域における、記述子内の点群コンポーネントトラックグループ識別子属性は、異なる適合セットからコンテンツコンポーネントにマッピングされる、３Ｄ空間領域に対応する。いくつかの実施形態では、点群コンポーネントは、アトラスデータ、占有率マップコンポーネント、幾何学的コンポーネント、または属性コンポーネントを含む。いくつかの実施形態では、点群コンポーネントは、点群データの１つまたはそれを上回る３Ｄ空間領域に対応する。

【0141】

図５は、ビデオエンコーダまたはビデオデコーダの一部であり得る、ハードウエアプラットフォーム５００の例示的ブロック図を示す。ハードウエアプラットフォーム５００は、少なくとも１つのプロセッサ５１０と、その上に記憶される命令を有するメモリ５０５とを含む。プロセッサ５１０による実行に応じて、命令は、図１－４Ｂにおいて、またはそのために説明される動作を、かつ本特許文書内で説明される種々の実施形態において実施するように、ハードウエアプラットフォーム５００を構成する。送信機５１５は、情報またはデータを別のデバイスに伝送または送信する。例えば、サーバ内のビデオエンコーダ送信機は、エンコードされたビデオを別のデバイス（例えば、モバイルデバイス）内のビデオデコーダに送信することができる。受信機５２０は、別のデバイスによって伝送または送信された情報またはデータを受信する。例えば、モバイルデバイスビデオデコーダは、別のデバイス（例えば、サーバ）からエンコードされたビデオデータを受信することができる。

【0142】

本文書では、用語「例示的」は、「実施例」を意味するために使用され、別様に記述されない限り、理想的なまたは好ましい実施形態を示唆しない。

【0143】

本明細書で説明される実施形態のうちのいくつかは、方法またはプロセスの一般的文脈において説明され、これは、コンピュータプログラム製品によって、一実施形態において実装されコンピュータ可読媒体内で具現化され、プログラムコード等のコンピュータ実行可能命令を含み、ネットワーク化された環境内のコンピュータによって実行され得る。コンピュータ可読媒体は、限定ではないが、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）等を含む、可撤性および非可撤性記憶デバイスを含んでもよい。したがって、コンピュータ可読媒体は、非一過性の記憶媒体を含むことができる。一般に、プログラムモジュールは、特定のタスクを実施する、または特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含んでもよい。データ構造に関連付けられる、コンピュータまたはプロセッサ実行可能命令、およびプログラムモジュールは、本明細書に開示される方法の各ステップを実行するためのプログラムコードの実施例を表す。そのような実行可能命令の特定のシーケンス、または関連付けられるデータ構造は、そのようなステップまたはプロセスにおいて説明される機能を実装するために、対応する行動の実施例を表す。

【0144】

開示される実施形態のうちのいくつかは、ハードウェア回路、ソフトウエア、またはその組み合わせを使用する、デバイスまたはモジュールとして、実装されることができる。例えば、ハードウェア回路の実装は、例えば、プリント回路基板の一部として統合される、離散アナログおよび／またはデジタルコンポーネントを含むことができる。代替として、または追加として、開示されるコンポーネントまたはモジュールは、特定用途向け集積回路（ＡＳＩＣ）として、および／またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）デバイスとして、実装されることができる。いくつかの実装は、追加として、または代替として、本願の開示される機能性と関連付けられる、デジタル信号処理の動作的必要性のために最適化されたアーキテクチャを伴う、特殊化されたマイクロプロセッサである、デジタルシグナルプロセッサ（ＤＳＰ）を含んでもよい。同様に、各モジュール内の種々のコンポーネントまたはサブコンポーネントは、ソフトウエア、ハードウエア、またはファームウエア内に実装されてもよい。モジュール間および／またはモジュール内のコンポーネント間の接続性は、限定ではないが、適切なプロトコルを使用して、インターネット、有線、または無線ネットワークを経由した通信を含む、当技術分野において公知である、接続方法および媒体の任意の１つを使用して、提供され得る。

【0145】

本特許文書は、多くの詳細を含有するが、これらは、請求される発明の、または請求され得るものの範囲への限定としてではなく、むしろ、特定の実施形態に特有の特徴の説明として解釈されるべきである。別個の実施形態の文脈において本文書に説明される、いくつかの特徴もまた、単一の実施形態において組み合わせて実装されることができる。逆に、単一の実施形態の文脈において説明される種々の特徴もまた、複数の実施形態において、別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。また、特徴が、いくつかの組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴が、いくつかの場合において、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。同様に、動作が、特定の順序で図面に描写されるが、これは、望ましい結果を達成するために、そのような動作が、示される特定の順序で、または順次順序で実施されること、または全ての図示される動作が、実施されることを要求するものとして、理解されるべきではない。

【0146】

いくつかの実装および実施例のみが、説明され、他の実装、向上、および変形例は、本開示内に説明および図示されるものに基づいて、行われることができる。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】