特表 2024-546796 ポイントクラウドデータの伝送装置とこの伝送装置で行われる方法、及びポイントクラウドデータの受信装置とこの受信装置で行われる方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-26

(54)【発明の名称】ポイントクラウドデータの伝送装置とこの伝送装置で行われる方法、及びポイントクラウドデータの受信装置とこの受信装置で行われる方法

(51)【国際特許分類】

   H04N 21/434 20110101AFI20241219BHJP

   H04N 19/597 20140101ALI20241219BHJP

   G06T 9/40 20060101ALI20241219BHJP

   H04N 21/236 20110101ALI20241219BHJP

【ＦＩ】

H04N21/434

H04N19/597

G06T9/40

H04N21/236

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024534689

(86)(22)【出願日】2022-12-13

(85)【翻訳文提出日】2024-06-11

(86)【国際出願番号】 KR2022020278

(87)【国際公開番号】W WO2023113443

(87)【国際公開日】2023-06-22

(31)【優先権主張番号】63/289,097

(32)【優先日】2021-12-13

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】ヘンドリー ヘンドリー

【テーマコード（参考）】

5C159

5C164

【Ｆターム（参考）】

5C159PP03

5C159PP13

5C159UA02

5C159UA05

5C164GA03

5C164MB13S

5C164SB11P

5C164SB21S

5C164UB11P

5C164UB21S

(57)【要約】

ポイントクラウドデータの伝送装置、伝送装置で行われる方法、受信装置、及び受信装置で行われる方法が提供される。本開示によるポイントクラウドデータの受信装置で行われる方法は、前記ポイントクラウドデータを含むＧ－ＰＣＣ（ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ）ファイルを取得するステップと、前記Ｇ－ＰＣＣファイル内のトラックの時間的レベルの個数を示す時間的レベル個数情報を前記Ｇ－ＰＣＣファイルから取得するステップと、前記時間的レベル個数情報に基づいて、前記トラック内のサンプルに対するサンプルグループ情報をＧ－ＰＣＣファイルから取得するステップと、を含み、前記サンプルグループ情報は、前記時間的レベル個数情報が前記トラックの時間的レベルが複数個であることを示すことに基づいて取得される、方法であり得る。
【選択図】図１６

【特許請求の範囲】

【請求項1】

ポイントクラウドデータの受信装置で行われる方法であって、
前記ポイントクラウドデータを含むＧ－ＰＣＣ（ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ）ファイルを取得するステップと、
前記Ｇ－ＰＣＣファイル内のトラックの時間的レベルの個数を示す時間的レベル個数情報を前記Ｇ－ＰＣＣファイルから取得するステップと、
前記時間的レベル個数情報に基づいて、前記トラック内のサンプルに対するサンプルグループ情報をＧ－ＰＣＣファイルから取得するステップと、を含み、
前記サンプルグループ情報は、前記時間的レベル個数情報が前記トラックの時間的レベルが複数個であることを示すことに基づいて取得される、方法。

【請求項2】

前記サンプルグループ情報は、前記時間的レベルの識別子情報を含む、請求項１に記載の方法。

【請求項3】

前記トラックは、前記ポイントクラウドデータのジオメトリ（ｇｅｏｍｅｔｒｙ）情報を含む、請求項１に記載の方法。

【請求項4】

前記トラックが第１サンプルエントリタイプを有することに基づいて、前記時間的レベルの数は、Ｇ－ＰＣＣデコーダコンフィギュレーションレコード（ＧＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｒａｔｉｏｎＲｅｃｏｒｄ）に含まれる、請求項１に記載の方法。

【請求項5】

前記第１サンプルエントリタイプは、
ｇｐｅ１サンプルエントリタイプ、ｇｐｅｇサンプルエントリタイプ、ｇｐｃ１サンプルエントリタイプ、又はｇｐｃｇサンプルエントリタイプのうちの少なくとも一つである、請求項４に記載の方法。

【請求項6】

前記トラックが第２サンプルエントリタイプを有することに基づいて、前記時間的レベルの数はＧ－ＰＣＣ時間スケーラビリティ情報ボックス（ＧＰＣＣＳｃａｌａｂｌｉｔｙＩｎｆｏＢｏｘ）に含まれる、請求項１に記載の方法。

【請求項7】

前記第２サンプルエントリタイプは、ｇｐｃｂサンプルエントリタイプ又はｇｐｅｂサンプルエントリタイプのうちの少なくとも一つである、請求項６に記載の方法。

【請求項8】

前記トラック内に前記サンプルグループ情報が存在することに基づいて、時間的レベル識別子（ｉｄｅｎｔｉｆｉｅｒ）に属するサンプルは、サンプルグループディスクリプション（ｄｅｓｃｒｉｐｔｉｏｎ）インデックスにマッピングされ、
前記サンプルグループディスクリプションインデックスは、前記時間的レベル識別子に１を加えた値と同じである、請求項１に記載の方法。

【請求項9】

前記Ｇ－ＰＣＣデコーダコンフィギュレーションレコードを介してシグナリングされた時間的レベルに対するサンプルディスクリプションは、サンプルディスクリプションボックス（ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ）に含まれる、請求項４に記載の方法。

【請求項10】

ポイントクラウドデータの伝送装置で行われる方法であって、
Ｇ－ＰＣＣ（ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ）ファイル内のトラックの時間的レベルの個数を示す時間的レベル個数情報を生成するステップと、
前記時間的レベルの個数に基づいて、前記トラック内のサンプルをグループ化した情報であるサンプルグループ情報を生成するステップと、
時間的レベル個数情報を含む前記Ｇ－ＰＣＣファイルを生成するステップと、を含み、
前記サンプルグループ情報は、前記時間的レベルが複数個であることに基づいて生成される、方法。

【請求項11】

ポイントクラウドデータの受信装置であって、
メモリと、
少なくとも一つのプロセッサと、を含み、
前記少なくとも一つのプロセッサは、
前記ポイントクラウドデータを含むＧ－ＰＣＣ（ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ）ファイルを取得し、
前記Ｇ－ＰＣＣファイル内のトラックの時間的レベルの個数を示す時間的レベル個数情報を前記Ｇ－ＰＣＣファイルから取得し、
前記時間的レベル個数情報に基づいて、前記トラック内のサンプルに対するサンプルグループ情報をＧ－ＰＣＣファイルから取得するが、
前記サンプルグループ情報は、前記時間的レベル個数情報が前記トラックの時間的レベルが複数個であることを示すことに基づいて取得される、受信装置。

【請求項12】

ポイントクラウドデータの伝送装置であって、
メモリと、
少なくとも一つのプロセッサと、を含み、
前記少なくとも一つのプロセッサは、
Ｇ－ＰＣＣファイル内のトラックの時間的レベルの個数を示す時間的レベル個数情報を生成し、
前記時間的レベル個数情報に基づいて前記トラック内のサンプルをグループ化した情報であるサンプルグループ情報を生成し、
前記時間的レベル個数情報を含む前記Ｇ－ＰＣＣファイルを生成するが、
前記サンプルグループ情報は、前記時間的レベルが複数個であることに基づいて生成される、伝送装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ポイントクラウドコンテンツ（ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｎｔｅｎｔ）を処理する方法及び装置に関する。

【背景技術】

【0002】

ポイントクラウドコンテンツは、三次元空間を表現する座標系に属した点（ポイント）の集合であるポイントクラウドで表現されるコンテンツである。ポイントクラウドコンテンツは、三次元からなるメディアを表現することができ、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ、仮想現実）、ＡＲ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、拡張現実）、ＭＲ（ｍｉｘｅｄ ｒｅａｌｉｔｙ、混合現実）、及び自律走行サービスなどの多様なサービスを提供するために使用される。ポイントクラウドコンテンツを表現するためには、数万個～数十万個のポイントデータが必要であるので、膨大な量のポイントデータを効率よく処理するための方法が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示は、ポイントクラウドデータを効率よく処理するための装置及び方法を提供する。本開示は、遅延時間（ｌａｔｅｎｃｙ）及び符号化／復号化複雑度を解決するためのポイントクラウドデータ処理方法及び装置を提供する。

【0004】

また、本開示は、ジオメトリ（Ｇｅｏｍｅｔｒｙ）トラック内の時間的レベルの数に応じて「ｔｅｌｅ」サンプルグループ化を支援するための装置及び方法を提供する。

【0005】

また、本開示は、保存されたＧ－ＰＣＣビットストリームに対する効率的な接近を支援することができるようにするためのファイル保存技法を処理する装置及び方法を提案する。

【0006】

本開示で解決しようとする技術的課題は、上述した技術的課題に制限されず、上述していない別の技術的課題は、以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。

【課題を解決するための手段】

【0007】

本開示の一実施例によるポイントクラウドデータの受信装置で行われる方法は、前記ポイントクラウドデータを含むＧ－ＰＣＣ（Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ）ファイルを取得するステップと、前記Ｇ－ＰＣＣファイル内のトラックの時間的レベルの個数を示す時間的レベル個数情報を前記Ｇ－ＰＣＣファイルから取得するステップと、前記時間的レベル個数情報に基づいて、前記トラック内のサンプルに対するサンプルグループ情報をＧ－ＰＣＣファイルから取得するステップと、を含み、前記サンプルグループ情報は、前記時間的レベル個数情報が前記トラックの時間的レベルが複数個であることを示すことに基づいて取得される、方法であり得る。

【0008】

本開示の他の実施形態によるポイントクラウドデータの伝送装置で行われる方法は、Ｇ－ＰＣＣ（ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ）ファイル内のトラックの時間的レベルの個数を示す時間的レベル個数情報を生成するステップと、前記時間的レベルの個数に基づいて、前記トラック内のサンプルをグループ化した情報であるサンプルグループ情報を生成するステップと、時間的レベル個数情報を含む前記Ｇ－ＰＣＣファイルを生成するステップと、を含み、前記サンプルグループ情報は、前記時間的レベルが複数個であることに基づいて生成される、方法であり得る。

【0009】

本開示の他の一実施例によるポイントクラウドデータの受信装置は、メモリと、少なくとも一つのプロセッサと、を含み、前記少なくとも一つのプロセッサは、前記ポイントクラウドデータを含むＧ－ＰＣＣ（ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ）ファイルを取得し、前記Ｇ－ＰＣＣファイル内のトラックの時間的レベルの個数を示す時間的レベル個数情報を前記Ｇ－ＰＣＣファイルから取得し、前記時間的レベル個数情報に基づいて、前記トラック内のサンプルに対するサンプルグループ情報をＧ－ＰＣＣファイルから取得するが、前記サンプルグループ情報は、前記時間的レベル個数情報が前記トラックの時間的レベルが複数個であることを示すことに基づいて取得される、受信装置であり得る。

【0010】

本開示の別の一実施例によるポイントクラウドデータの伝送装置は、メモリと、少なくとも一つのプロセッサと、を含み、前記少なくとも一つのプロセッサは、Ｇ－ＰＣＣ（ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ）ファイル内のトラックの時間的レベルの個数を示す時間的レベル個数情報を生成し、前記時間的レベル個数情報に基づいて前記トラック内のサンプルをグループ化した情報であるサンプルグループ情報を生成し、前記時間的レベル個数情報を含む前記Ｇ－ＰＣＣファイルを生成するが、前記サンプルグループ情報は、前記時間的レベルが複数個であることに基づいて生成される、伝送装置であり得る。

【発明の効果】

【0011】

本開示の実施例による装置及び方法は、高い効率でポイントクラウドデータを処理することができる。

【0012】

本開示の実施例による装置及び方法は、高いクオリティーのポイントクラウドサービスを提供することができる。

【0013】

本開示の実施例による装置及び方法は、ＶＲサービスや自律走行サービスなどの汎用的なサービスを提供するためのポイントクラウドコンテンツを提供することができる。

【0014】

本開示の実施例による装置及び方法は、Ｇ－ＰＣＣコンポーネントのうちの所望のコンポーネントに効果的にアクセスすることが可能な時間スケーラビリティを提供することができる。

【0015】

本開示の実施例による装置及び方法は、複数の時間的レベルを有するトラックが存在するときに「ｔｅｌｅ」サンプルグループ化を行うことにより、ビットを節減することができる。

【0016】

本開示の実施例による装置および方法は、複数の時間的レベルを有するジオメトリトラックが存在するときに「ｔｅｌｅ」サンプルグループ化を行うことにより、ビットを節減することができる。

【図面の簡単な説明】

【0017】

【図1】本開示の実施例によるポイントクラウドコンテンツ提供システムの例示を示すブロック図である。

【図2】本開示の実施例によるポイントクラウドコンテンツ提供過程の例示を示すブロック図である。

【図3】本開示の実施例によるポイントクラウド符号化装置の例示を示す。

【図4】本開示の実施例によるポイントクラウド復号化装置の例示を示すブロック図である。

【図5】本開示の実施例によるポイントクラウド復号化装置の他の例示を示すブロック図である。

【図6】本開示の実施例によるポイントクラウドデータ送受信方法／装置と連動可能な構造の例示を示す。

【図7】本開示の実施例による伝送装置の別の例示を示すブロック図である。

【図8】本開示の実施例による受信装置の別の例示を示すブロック図である。

【図9】本開示の実施例によるＴＬＶカプセル化構造に対する例示を示す。

【図10】本開示の実施例によるＴＬＶカプセル化シンタックス構造及びペイロードタイプに対する例示を示す。

【図11】本開示の実施例によるシングルトラックを含むファイルに対する例示を示す。

【図12】本開示の実施例によるマルチプルトラックを含むファイルに対する例示を示す。

【図13】本開示の実施例によるトラック内のサンプルグループ化に対する例示を示す。

【図14】本開示の実施例によるトラック内のサンプルグループ化に対する例示を示す。

【図15】本開示の実施例によるトラック内のサンプルグループ化に対する例示を示す。

【図16】本開示の実施例による「ｔｅｌｅ」サンプルグループ化のためのフローチャートを示す。

【図17】本開示の実施例による「ｔｅｌｅ」サンプルグループ化のためのフローチャートを示す。

【図18】本開示の実施例による「ｔｅｌｅ」サンプルグループ化のためのＧ－ＰＣＣファイルの構造に対する例示を示す。

【図19】本開示の実施例によるサンプルグループ化の如何に基づくデータ伝送のためのフローチャートを示す。

【図20】本開示の実施例によるサンプルグループ化の如何に基づくデータ受信のためのフローチャートを示す。

【発明を実施するための形態】

【0018】

以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。

【0019】

本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。

【0020】

本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。

【0021】

本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内で、一実施例における第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例における第２構成要素を他の実施例で第１構成要素と呼んでもよい。

【0022】

本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合又は分散された実施例も本開示の範囲に含まれる。

【0023】

本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。

【0024】

本開示は、ポイントクラウド関連データの符号化及び復号化に関するものであって、本開示に使用される用語は、本開示で新たに定義されなり限り、本開示の属する技術分野で通用される通常の意味を有することができる。

【0025】

本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。

【0026】

本開示において、「又は」は「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。

【0027】

本開示は、ポイントクラウド関連データの圧縮に関するものである。本開示の多様な方法又は実施例は、ＭＰＥＧ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）のＰＣＣ（ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ又はｐｏｉｎｔ ｃｌｏｕｄ ｃｏｄｉｎｇ）標準（例えば、Ｇ－ＰＣＣ又はＶ－ＰＣＣ標準）又は次世代ビデオ／イメージコーディング標準に適用されることができる。

【0028】

本開示において、「ポイントクラウド」は、三次元空間に位置したポイントの集合を意味することができる。また、本開示において、「ポイントクラウドコンテンツ」は、ポイントクラウドで表現されるコンテンツであって、「ポイントクラウドビデオ／画像」を意味することができる。以下では、「ポイントクラウドビデオ／画像」を「ポイントクラウドビデオ」という。ポイントクラウドビデオは、一つ以上のフレームを含むことができ、一つのフレームは、静止画又はピクチャであり得る。したがって、ポイントクラウドビデオは、ポイントクラウド画像／フレーム／ピクチャを含むことができ、「ポイントクラウド画像」、「ポイントクラウドフレーム」及び「ポイントクラウドピクチャ」のうちのいずれか一つと称されることがある。

【0029】

本開示において、「ポイントクラウドデータ」は、ポイントクラウド内の各ポイントに関連したデータ又は情報などを意味することができる。ポイントクラウドデータは、ジオメトリ（ｇｅｏｍｅｔｒｙ）及び／又はアトリビュート（ａｔｔｒｉｂｕｔｅ、属性）を含むことができる。また、ポイントクラウドデータは、メタ（ｍｅｔａ）データをさらに含んでもよい。ポイントクラウドデータは、「ポイントクラウドコンテンツデータ」又は「ポイントクラウドビデオデータ」などと称されることがある。また、ポイントクラウドデータは、「ポイントクラウドコンテンツ」、「ポイントクラウドビデオ」、「Ｇ－ＰＣＣデータ」などと称されることがある。

【0030】

本開示において、ポイントクラウドデータに該当するポイントクラウドオブジェクト（ｏｂｊｅｃｔ）は、座標系に基づくボックス形態で示すことができ、この座標系に基づくボックス形態をバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）ということができる。すなわち、バウンディングボックスは、ポイントクラウドのポイントを全て入れることが可能な直方体（ｒｅｃｔａｎｇｕｌａｒ ｃｕｂｏｉｄ）であってもよく、原本（ｓｏｕｒｃｅ）ポイントクラウドフレームが含まれる直方体であってもよい。

【0031】

本開示において、ジオメトリは、各ポイントのポジション（又は、ポジション情報）を含み、このポジションは、三次元座標系（例えば、ｘ軸、ｙ軸及びｚ軸からなる座標系）を表すパラメータ（例えば、ｘ軸値、ｙ軸値及びｚ軸値）で表現できる。ジオメトリは、「ジオメトリ情報」と称されることがある。

【0032】

本開示において、アトリビュートは、各ポイントの属性を含むことができ、この属性は、各ポイントのテクスチャ（ｔｅｘｔｕｒｅ）情報、色相（ＲＧＢ又はＹＣｂＣｒ）、反射率（ｒｅｆｌｅｃｔａｎｃｅ、ｒ）、透明度（ｔｒａｎｓｐａｒｅｎｃｙ）などのうちの一つ以上を含むことができる。アトリビュートは、「アトリビュート情報」と称されることがある。メタデータは、後述する取得過程において取得に関連した多様なデータを含むことができる。

【0033】

ポイントクラウドコンテンツ提供システムの概要

【0034】

図１は、本開示の実施例によるポイントクラウドコンテンツを提供するシステム（以下では、「ポイントクラウドコンテンツ提供システム」という）の例示を示す。図２は、ポイントクラウドコンテンツ提供システムがポイントクラウドコンテンツを提供する過程の例示を示す。

【0035】

図１に示すように、ポイントクラウドコンテンツ提供システムは、伝送装置（ｔｒａｎｓｍｉｓｓｉｏｎ ｄｅｖｉｃｅ）１０及び受信装置（ｒｅｃｅｐｔｉｏｎ ｄｅｖｉｃｅ）２０を含むことができる。ポイントクラウドコンテンツ提供システムは、伝送装置１０と受信装置２０の動作によって、図２に示されている取得過程（Ｓ２０）、エンコーディング過程（Ｓ２１）、伝送過程（Ｓ２２）、デコーディング過程（Ｓ２３）、レンダリング過程（Ｓ２４）及び／又はフィードバック過程（Ｓ２５）を行うことができる。

【0036】

伝送装置１０は、ポイントクラウドコンテンツを提供するために、ポイントクラウドデータを取得し、取得されたポイントクラウドデータ（原本ポイントクラウドデータ）に対する一連の過程（例えば、エンコーディング過程）を経てビットストリームを出力することができる。ここで、ポイントクラウドデータは、エンコーディング過程を経てビットストリーム形式で出力されることができる。実施例によって、伝送装置１０は、出力されたビットストリームをファイル又はストリーミング（ストリーミングセグメント）形式でデジタルストレージ媒体又はネットワークを介して受信装置２０へ伝送することができる。デジタルストレージ媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの多様なストレージ媒体を含むことができる。受信装置２０は、受信されたデータ（例えば、符号化されたポイントクラウドデータ）を再び元来のポイントクラウドデータに加工（例えば、デコーディング又は復元）してレンダリングすることができる。これらの過程によって、ポイントクラウドコンテンツがユーザに提供されることができ、本開示は、これらの一連の過程を効果的に実行するために必要な多様な実施例を提供することができる。

【0037】

図１に示すように、伝送装置１０は、取得部１１、符号化部１２、カプセル化処理部１３及び伝送部１４を含むことができ、受信装置２０は、受信部２１、デカプセル化処理部２２、復号化部２３及びレンダリング部２４を含むことができる。

【0038】

取得部１１は、キャプチャ、合成又は生成過程などを介してポイントクラウドビデオを取得する過程（Ｓ２０）を行うことができる。従って、取得部１１は、「ポイントクラウドビデオ取得部（ｐｏｉｎｔ ｃｌｏｕｄ ｖｉｄｅｏ ａｃｑｕｉｓｉｔｉｏｎ）」とも称される。

【0039】

取得過程（Ｓ２０）によって、多数のポイントに対するポイントクラウドデータ（ジオメトリ及び／又はアトリビュートなど）などが生成できる。また、取得過程（Ｓ２０）によって、ポイントクラウドビデオの取得に関連したメタデータが生成できる。また、取得過程（Ｓ２０）によって、ポイントクラウド間の連結情報を示すメッシュ（ｍｅｓｈ）データ（例えば、三角形形状のデータ）が生成できる。

【0040】

メタデータは、イニシャルビューイングオリエンテーションメタデータ（Ｉｎｉｔｉａｌ ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ ｍｅｔａｄａｔａ）を含むことができる。イニシャルビューイングオリエンテーションメタデータは、ポイントクラウドデータが前を示すデータであるか、それとも後ろを示すデータであるかを指示することができる。メタデータは、ポイントクラウドに対するメタデータである「補助（ａｕｘｉｌｉａｒｙ）データ」と称されることがある。

【0041】

取得されたポイントクラウドビデオには、ＰＬＹ（ｐｏｌｙｇｏｎ ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ ｓｔａｎｆｏｒｄ ｔｒｉａｎｇｌｅ ｆｏｒｍａｔ）ファイルが含まれることができる。ポイントクラウドビデオは、一つ以上のフレームを有するので、取得されたポイントクラウドビデオには、一つ以上のＰＬＹファイルが含まれることができる。ＰＬＹファイルは、各ポイントのポイントクラウドデータを含むことができる。

【0042】

ポイントクラウドビデオ（又は、ポイントクラウドデータ）の取得のために、取得部１１は、深さ（ｄｅｐｔｈ、深さ情報）を取得することが可能なカメラ装備と、深さ情報に対応する色相情報を抽出することが可能なＲＧＢカメラとの組み合わせで構成できる。ここで、深さ情報を取得することが可能なカメラ装備は、赤外線パターンプロジェクタと赤外線カメラとの組み合わせであってもよい。また、取得部１１は、ＬｉＤＡＲで構成されてもよいが、ＬｉＤＡＲのレーザーパルスを照射し反射して戻ってくる時間を測定して反射体の位置座標を測定するレーダーシステムを用いることができる。

【0043】

取得部１１０は、深さ情報から三次元空間上のポイントからなるジオメトリの形態を抽出し、ＲＧＢ情報から各ポイントの色相や反射などを表現するアトリビュートを抽出することができる。

【0044】

ポイントクラウドビデオ（又は、ポイントクラウドデータ）を抽出（又は、キャプチャ、取得など）する方式としては、中心オブジェクトをキャプチャするインワード－フェーシング（ｉｎｗａｒｄ－ｆａｃｉｎｇ）方式と、外部環境をキャプチャするアウトワード－フェーシング（ｏｕｔｗａｒｄ－ｆａｃｉｎｇ）方式があり得る。

【0045】

符号化部１２は、取得部１１から生成されたデータ（ジオメトリ、アトリビュート及び／又はメタデータ及び／又はメッシュデータなど）を一つ以上のビットストリームにエンコードするエンコーディング過程（Ｓ２１）を行うことができる。従って、符号化部１２は、「ポイントクラウドビデオエンコーダ（ｐｏｉｎｔ ｃｌｏｕｄ ｖｉｄｅｏ ｅｎｃｏｄｅｒ）」とも称される。符号化部１２は、取得部１１から生成されたデータを直列的又は並列的にエンコードすることができる。

【0046】

符号化部１２が行うエンコーディング過程（Ｓ２１）は、ジオメトリベースのポイントクラウド圧縮（ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ、Ｇ－ＰＣＣ）であってもよい。符号化部１２は、圧縮及びコーディング効率のために、予測、変換、量子化、エントロピーコーディングなどの一連の手続きを行うことができる。

【0047】

エンコードされたポイントクラウドデータは、ビットストリーム形式で出力できる。Ｇ－ＰＣＣ手続きに基づく場合、符号化部１２は、ポイントクラウドデータを後述のようにジオメトリ及びアトリビュートに分けてエンコードすることができる。この場合、出力されるビットストリームは、エンコードされたジオメトリを含むジオメトリビットストリーム、及びエンコードされたアトリビュートを含むアトリビュートビットストリームを含むことができる。また、出力されるビットストリームは、メタデータを含むメタデータビットストリーム、補助データを含む補助ビットストリーム、及びメッシュデータを含むメッシュデータビットストリームのうちの一つ以上をさらに含んでもよい。エンコーディング過程（Ｓ２１）については、以下でさらに詳細に説明する。エンコードされたポイントクラウドデータを含むビットストリームは、「ポイントクラウドビットストリーム」又は「ポイントクラウドビデオビットストリーム」と呼ばれることもある。

【0048】

カプセル化処理部１３は、復号化部１２から出力された一つ以上のビットストリームをファイル又はセグメント（ｓｅｇｍｅｎｔ）などの形式にカプセル化する過程を行うことができる。したがって、カプセル化処理部１３は、「ファイル／セグメントカプセル化モジュール（ｆｉｌｅ／ｓｅｇｍｅｎｔ ｅｎｃａｐｓｕｌａｔｉｏｎ ｍｏｄｕｌｅ）」と呼ばれることもある。図面には、カプセル化処理部１３が伝送部１４との関係で別途のコンポーネント／モジュールからなる例示が表現されているが、実施例によって、カプセル化処理部１３は、伝送部１４に含まれることもできる。

【0049】

カプセル化処理部１３は、当該データをＩＳＯＢＭＦＦ（ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）などのファイルフォーマットにカプセル化するか、或いはその他のＤＡＳＨセグメントなどの形態で処理することができる。実施例によって、カプセル化処理部１３は、メタデータをファイルフォーマット上に含ませることができる。メタデータは、例えば、ＩＳＯＢＭＦＦファイルフォーマット上の多様なレベルのボックス（ｂｏｘ）に含まれるか、或いはファイル内で別途のトラック内のデータとして含まれることができる。実施例によって、カプセル化処理部１３０は、メタデータ自体をファイルにカプセル化することができる。カプセル化処理部１３によって処理されるメタデータは、図面には示されていないメタデータ処理部等から伝達されたものであり得る。メタデータ処理部は、符号化部１２に含まれてもよく、或いは別途のコンポーネント／モジュールで構成されてもよい。

【0050】

伝送部１４は、「カプセル化されたポイントクラウドビットストリーム」にファイルフォーマットによる処理（伝送のための処理）を加える伝送過程（Ｓ２２）を行うことができる。伝送部１４は、ビットストリーム又は当該ビットストリームを含むファイル／セグメントを、デジタルストレージ媒体又はネットワークを介して受信装置２０の受信部２１へ伝達することができる。したがって、伝送部１４は、「送信機（ｔｒａｎｓｍｉｔｔｅｒ）」又は「通信モジュール（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｍｏｄｕｌｅ）」などとも呼ばれる。

【0051】

伝送部１４は、任意の伝送プロトコルに従ってポイントクラウドデータの処理を行うことができる。ここで、「任意の伝送プロトコルに従ってポイントクラウドデータを処理すること」は、「伝送のための処理」であり得る。伝送のための処理には、放送網を介した伝達のための処理や、ブロードバンドを介した伝達のための処理などが含まれることができる。実施例によって、伝送部１４は、ポイントクラウドデータだけでなく、メタデータ処理部からメタデータの伝達を受け、伝達されたメタデータに伝送のための処理を加えることもできる。実施例によって、伝送のための処理は伝送処理部で行われることもでき、伝送処理部は、伝送部１４に含まれるか、或いは伝送部１４とは別途のコンポーネント／モジュールで構成できる。

【0052】

受信部２１は、伝送装置１０が伝送したビットストリーム、又は当該ビットストリームを含むファイル／セグメントを受信することができる。伝送されるチャネルによって、受信部２１は、放送網を介して、ビットストリーム又は当該ビットストリームを含むファイル／セグメントを受信することもでき、ブロードバンドを介して、ビットストリーム又は当該ビットストリームを含むファイル／セグメントを受信することもできる。或いは、受信部２１は、デジタルストレージ媒体を介して、ビットストリーム、又は当該ビットストリームを含むファイル／セグメントを受信することもできる。

【0053】

受信部２１は、受信されたビットストリーム、又は当該ビットストリームを含むファイル／セグメントに対して伝送プロトコルによる処理を行うことができる。受信部２１は、伝送装置１０で伝送のための処理が行われたことに対応するように、伝送処理（伝送のための処理）の逆過程を行うことができる。受信部２１は、受信したデータのうち、エンコードされたポイントクラウドデータをデカプセル化処理部２２へ伝達し、メタデータをメタデータパーシング部へ伝達することができる。メタデータは、シグナリングテーブルの形態であり得る。実施例によって、伝送のための処理の逆過程は、受信処理部で行われることができる。受信処理部、デカプセル化処理部２２及びメタデータパーシング部のそれぞれは、受信部２１に含まれるか或いは受信部２１とは別途のコンポーネント／モジュールで構成されることができる。

【0054】

デカプセル化処理部２２は、受信部２１又は受信処理部から伝達されたファイル形式のポイントクラウドデータ（すなわち、ファイル形式のビットストリーム）をデカプセル化することができる。したがって、デカプセル化処理部２２は、「ファイル／セグメントデカプセル化モジュール（ｆｉｌｅ／ｓｅｇｍｅｎｔ ｅｎｃａｐｓｕｌａｔｉｏｎ ｍｏｄｕｌｅ）」とも呼ばれる。

【0055】

デカプセル化処理部２２は、ＩＳＯＢＭＦＦなどによってファイルをデカプセル化することにより、ポイントクラウドビットストリーム乃至メタデータビットストリームを取得することができる。実施例によって、メタデータ（メタデータビットストリーム）は、ポイントクラウドビットストリームに含まれてもよい。取得されたポイントクラウドビットストリームは、復号化部２３へ伝達されることができ、取得されたメタデータビットストリームは、メタデータ処理部へ伝達されることができる。メタデータ処理部は、復号化部２３に含まれてもよく、或いは別途のコンポーネント／モジュールで構成されてもよい。デカプセル化処理部２３が取得するメタデータは、ファイルフォーマット内のボックス或いはトラック形態であってもよい。デカプセル化処理部２３は、必要な場合、メタデータ処理部からデカプセル化に必要なメタデータの伝達を受けることもできる。メタデータは、復号化部２３へ伝達されてデコーディング過程（Ｓ２３）に使用されることもでき、或いはレンダリング部２４へ伝達されてレンダリング過程（Ｓ２４）に使用されることもできる。

【0056】

復号化部２３は、ビットストリームの入力を受け、符号化部１２の動作に対応する動作を行うことにより、ポイントクラウドビットストリーム（エンコードされたポイントクラウドデータ）をデコードするデコーディング過程（Ｓ２３）を行うことができる。従って、復号化部２３は、「ポイントクラウドビデオデコーダ（ｐｏｉｎｔ ｃｌｏｕｄ ｖｉｄｅｏ ｄｅｃｏｄｅｒ）」とも呼ばれる。

【0057】

復号化部２３は、ポイントクラウドデータをジオメトリ及びアトリビュートに分けてデコードすることができる。例えば、復号化部２３は、ポイントクラウドビットストリームに含まれたジオメトリビットストリームからジオメトリを復元（デコーディング）することができ、ポイントクラウドビットストリームに含まれたアトリビュートビットストリーム及び復元されたジオメトリに基づいてアトリビュートを復元（デコーディング）することができる。復元されたジオメトリによるポジション情報、及びデコードされたアトリビュートによるアトリビュート（カラー又はテクスチャなど）に基づいて三次元のポイントクラウドビデオ／画像が復元されることができる。デコーディング過程（Ｓ２３）については、以下でより詳細に説明する。

【0058】

レンダリング部２４は、復元されたポイントクラウドビデオをレンダリングするレンダリング過程（Ｓ２４）を行うことができる。したがって、レンダリング部２４は、「レンダラー（ｒｅｎｄｅｒｅｒ）」とも呼ばれる。

【0059】

レンダリング過程（Ｓ２４）は、３Ｄ空間上にポイントクラウドコンテンツをレンダリングし、ディスプレイする過程を意味することができる。レンダリング過程（Ｓ２４）は、デコーディング過程を介してデコードされたポイントのポジション情報及びアトリビュート情報に基づいて所望のレンダリング方式によってレンダリングすることができる。

【0060】

フィードバック過程（Ｓ２５）は、レンダリング過程（Ｓ２４）又はディスプレイ過程で取得できる多様なフィードバック情報を伝送装置１０へ伝達するか、或いは受信装置２０内の他の構成へ伝達する過程を含むことができる。フィードバック過程（Ｓ２５）は、図１の受信装置２０に含まれた構成のうちの一つ以上によって行われるか、或いは図９及び図１０に表現された構成のうちの一つ以上によって行われることができる。実施例によって、フィードバック過程（Ｓ２５）は、「フィードバック部」又は「センシング／トラッキング部（ｓｅｎｓｉｎｇ／ｔｒａｃｋｉｎｇ）」によって行われてもよい。

【0061】

ポイントクラウド符号化装置の概要

【0062】

図３は、本開示の実施例によるポイントクラウド符号化装置３００の例示を示す。図３のポイントクラウド符号化装置３００は、図１の符号化部１２とは構成及び機能において対応することができる。

【0063】

図３に示すように、ポイントクラウド符号化装置３００は、座標系変換部３０５、ジオメトリ量子化部３１０、八分木分析部３１５、近似化部３２０、ジオメトリエンコーディング部３２５、復元部３３０、アトリビュート変換部３４０、ＲＡＨＴ変換部３４５、ＬＯＤ生成部３５０、リフト部３５５、アトリビュート量子化部３６０、アトリビュートエンコーディング部３６５及び／又はカラー変換部３３５を含むことができる。

【0064】

取得部１１によって取得されたポイントクラウドデータは、ネットワークの状況或いはアプリケーションなどによってポイントクラウドコンテンツの質（例えば、無損失－ｌｏｓｓｌｅｓｓ、損失－ｌｏｓｓｙ、ｎｅａｒ－ｌｏｓｓｌｅｓｓ）を調節するための過程を経ることができる。また、取得されたポイントクラウドコンテンツの各ポイントを損失なしに伝送することもできるが、そのような場合、ポイントクラウドコンテンツのサイズが大きいため、リアルタイムストリーミングが可能でないこともある。したがって、ポイントクラウドコンテンツの円滑な提供のために、最大ターゲットビット率（ｂｉｔｒａｔｅ）に合わせてポイントクラウドコンテンツを再構成する過程が必要である。

【0065】

ポイントクラウドコンテンツの質を調節するための過程は、ポイントの位置情報（ジオメトリ情報に含まれたポジション情報）又は色相情報（アトリビュート情報に含まれたカラー情報）を再構成する過程と、エンコードする過程などであり得る。ポイントのポジション情報を再構成及びエンコードする過程をジオメトリコーディングと称し、各ポイントに関連したアトリビュート情報を再構成及びエンコードする過程をアトリビュートコーディングと称することがある。

【0066】

ジオメトリコーディングは、ジオメトリ量子化過程、ボクセル化過程、八分木分析過程、近似化過程、ジオメトリエンコーディング過程及び／又は座標系変換過程を含むことができる。また、ジオメトリコーディングは、ジオメトリ復元過程をさらに含んでもよい。アトリビュートコーディングは、色相変換過程、アトリビュート変換過程、予測変換過程、リフト変換過程、ＲＡＨＴ変換過程、アトリビュート量子化過程、アトリビュートエンコーディング過程などを含むことができる。

【0067】

ジオメトリコーディング

【0068】

座標系変換過程は、ポイントのポジションに対する座標系（ｃｏｏｒｄｉｎａｔｅ）を変換する過程に当該することができる。よって、座標系変換過程は、「ｔｒａｎｓｆｏｒｍ ｃｏｏｒｄｉｎａｔｅｓ」と称されることがある。座標系変換過程は、座標系変換部３０５によって行われ得る。例えば、座標系変換部３０５は、ポイントのポジションを、グローバル空間座標系から三次元空間（例えば、Ｘ軸、Ｙ軸及びＺ軸座標系で表現される三次元空間など）のポジション情報に変換することができる。実施例による三次元空間のポジション情報は、「ジオメトリ情報」と称されることがある。

【0069】

ジオメトリ量子化過程は、ポイントのポジション情報を量子化する過程に該当することができ、ジオメトリ量子化部３１０によっても行われることができる。例えば、ジオメトリ量子化部３１０は、ポイントのポジション情報のうち最小の（ｘ、ｙ、ｚ）値を有するポジション情報を探し、各ポイントのポジション情報から最小の（ｘ、ｙ、ｚ）値を有するポジション情報を差し引くことができる。また、ジオメトリ量子化部３１０は、差し引かれた値に予め設定された量子スケール（ｑｕａｎｔｉｚａｔｉｏｎ ｓｃａｌｅ）値を掛けた後、その結果を近い整数（ｉｎｔｅｇｅｒ）値に調整（下げたり上げたり）することにより、量子化過程を行うことができる。

【0070】

ボクセル化過程は、量子化過程を介して量子化されたジオメトリ情報を、三次元空間上に存在する特定のボクセル（ｖｏｘｅｌ）にマッチングする過程に該当することができる。ボクセル化過程も、ジオメトリ量子化部３１０によって行われることができる。ジオメトリ量子化部３１０は、量子化過程が適用された各ポイントを再構成するために、ポイントのポジション情報に基づいて、八分木（ｏｃｔｒｅｅ）ベースのボクセル化（ｖｏｘｅｌｉｚａｔｉｏｎ）を行うことができる。

【0071】

ジオメトリエンコーディング過程は、占有コードに対してエントロピーコーディングを行う過程に該当することができる。ジオメトリエンコーディング過程は、ジオメトリエンコーディング部３２５によって行われることができる。ジオメトリエンコーディング部３２５は、占有コードに対するエントロピーコーディングを行うことができる。生成された占有コードは、直ちにエンコードされてもよく、圧縮効率を高めるためにイントラ及びインターコーディング過程を介してエンコードされてもよい。受信装置２０は、占有コードを介して八分木を再構成することができる。

【0072】

一方、ポイントが無いか或いは非常に少ない特定領域の場合、全ての領域をボクセル化させることは非効率的であってもよい。すなわち、特定領域にはポイントが殆ど存在しないので、全体八分木を構成する必要がない場合がある。このような場合のために、早期終了（ｅａｒｌｙ ｔｅｒｍｉｎａｔｉｏｎ）方案が必要であり得る。

【0073】

ポイントクラウド符号化装置３００は、特定領域（リーフノードに当該しない特定領域）に対して、この特定領域に対応するノード（特定ノード）を８つのサブノード（子ノード）に分ける代わりに、当該特定領域に対してのみ直接ポイントの位置を伝送するか、或いは表面モデル（ｓｕｒｆａｃｅ ｍｏｄｅｌ）を用いて特定領域内のポイントのポジションをボクセルに基づいて再構成することができる。

【0074】

特定ノードに対して直接各ポイントの位置を伝送するモードは、直接モード（ｄｉｒｅｃｔ ｍｏｄｅ）であり得る。ポイントクラウド符号化装置３００は、直接モードを可能にするための条件を満たすか否かをチェックすることができる。

【0075】

直接モードを可能にするための条件は、１）直接モード使用オプションが活性化されていなければならない、２）当該特定ノードがリーフノードに該当しない、３）当該特定ノード内に閾値（ｔｈｒｅｓｈｏｌｄ）以下のポイントが存在しなければならない、及び４）直接伝送しようとするポイントの総数が閾値を超えないことを含むことができる。

【0076】

ポイントクラウド符号化装置３００は、これらの条件を全て満たす場合に、当該特定ノードに対して直接ポイントのポジション値をジオメトリエンコーディング部３２５を介してエントロピーコーディングして伝送することができる。

【0077】

表面モデルを用いて特定領域内のポイントの位置をボクセルに基づいて再構成するモードは、ｔｒｉｓｏｕｐモードであってもよい。ｔｒｉｓｏｕｐモードは、近似化部３２０によって行われてもよい。近似化部３２０は、八分木の特定レベルを定め、定めた特定レベルからは、表面モデルを用いてノード領域内のポイントの位置をボクセルに基づいて再構成することができる。

【0078】

ポイントクラウド符号化装置３００は、ｔｒｉｓｏｕｐモードを選択的に適用することもできる。具体的には、ポイントクラウド符号化装置３００は、ｔｒｉｓｏｕｐモードの使用時に、ｔｒｉｓｏｕｐモードが適用されるレベル（特定レベル）を指定することができる。例えば、指定された特定レベルが八分木の深さ（ｄ）と同じであれば、ｔｒｉｓｏｕｐモードが適用されなくてもよい。すなわち、指定された特定レベルは、八分木の深さ値よりも小さくなければならない。

【0079】

指定された特定レベルのノードの三次元立方体領域をブロック（ｂｌｏｃｋ）といい、一つのブロックは、一つ以上のボクセルを含むことができる。ブロック又はボクセルは、ブリック（ｂｒｉｃｋ）に対応することもできる。各ブロックは、１２個のエッジ（ｅｄｇｅ）を持っていてもよく、近似化部３２０は、各エッジがポイントを有するボクセル（ｏｃｃｕｐｉｅｄ ｖｏｘｅｌ）に隣接したか否かをチェックすることができる。各エッジは、複数の占有された（ｏｃｃｕｐｉｅｄ）ボクセルに隣接することができる。ボクセルに隣接したエッジの特定位置を頂点（ｖｅｒｔｅｘ）といい、近似化部３２０は、一つのエッジに複数の占有されたボクセルが隣接した場合には、当該位置の平均位置を頂点と定めることができる。

【0080】

ポイントクラウド符号化装置３００は、頂点が存在する場合に、エッジの始点（ｘ、ｙ、ｚ）、エッジの方向ベクトル（△ｘ、△ｙ、△ｚ）、及び頂点の位置値（エッジ内の相対的位置値）をジオメトリエンコーディング部３２５を介してエントロピーコーディングすることができる。

【0081】

ジオメトリ復元過程は、八分木及び／又は近似化された八分木を再構成して、復元されたジオメトリを生成する過程に該当することができる。ジオメトリ復元過程は、復元部３３０によって行われ得る。復元部３３０は、三角形再構成（ｔｒｉａｎｇｌｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）、アップサンプリング（ｕｐ－ｓａｍｐｌｉｎｇ）、ボクセル化過程などを介してジオメトリ復元過程を行うことができる。

【0082】

近似化部３２０でｔｒｉｓｏｕｐモードが適用された場合に、復元部３３０は、エッジの始点、エッジの方向ベクトル及び頂点の位置値に基づいて三角形を再構成することができる。

【0083】

復元部３３０は、三角形のエッジに沿って中間にポイントを追加してボクセル化するためにアップサンプリング過程を行うことができる。復元部３３０は、アップサンプリング要素値（ｕｐｓａｍｐｌｉｎｇ ｆａｃｔｏｒ）とブロックの幅を基準に追加ポイントを生成することができる。これらのポイントは、ｒｅｆｉｎｅｄ頂点と呼ぶことがある。復元部３３０は、ｒｅｆｉｎｅｄ頂点をボクセル化することができ、ポイントクラウド符号化装置３００は、ボクセル化された位置値を基準にアトリビュートコーディングを行うことができる。

【0084】

実施例によって、ジオメトリエンコーディング部３２５は、コンテキスト適応的算術（ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ａｒｉｔｈｍｅｔｉｃ）コーディングを適用して圧縮効率を高めることができる。ジオメトリエンコーディング部３２５は、算術コードを用いて占有コードを直ちにエントロピーコーディングすることができる。実施例によって、ジオメトリエンコーディング部３２５は、周辺隣接ノードの占有如何に基づいて適応的にエンコーディングを行うか（イントラコーディング）、或いは以前フレームの占有コードに基づいて適応的にエンコーディングを行うこともできる（インターコーディング）。ここで、フレームは、同じ時間に生成されたポイントクラウドデータの集合を意味することができる。イントラコーディングとインターコーディングは、選択的（ｏｐｔｉｏｎａｌ）過程であるので、省略可能である。

【0085】

アトリビュートコーディング

【0086】

アトリビュートコーディングは、復元された（再構成された）ジオメトリと座標系変換前のジオメトリ（原本ジオメトリ）に基づいてアトリビュート情報をコーディングする過程に該当することができる。アトリビュートは、ジオメトリに従属的であり得るので、アトリビュートコーディングに復元されたジオメトリが活用できる。

【0087】

前述したように、アトリビュートは、色相や反射率などを含むことができる。アトリビュートに含まれた情報又はパラメータに対して同じアトリビュートコーディング方法が適用できる。色相は三つの要素を有し、反射率は一つの要素を有し、要素ごとに独立的に処理できる。

【0088】

アトリビュートコーディングは、色相変換過程、アトリビュート変換過程、予測変換過程、リフト変換過程、ＲＡＨＴ変換過程、アトリビュート量子化過程、アトリビュートエンコーディング過程などを含むことができる。予測変換過程、リフト変換過程、ＲＡＨＴ変換過程は、選択的に使用されるか、或いは一つ又はそれ以上の組み合わせが使用され得る。

【0089】

色相変換過程は、アトリビュート内の色相のフォーマットを他のフォーマットに変換する過程に該当することができる。色相変換過程は、カラー変換部３３５によって行われることができる。すなわち、カラー変換部３３５は、アトリビュート内の色相を変換することができる。例えば、カラー変換部３３５は、アトリビュート内の色相をＲＧＢからＹＣｂＣｒに変換するコーディング作業を行うことができる。実施例によって、カラー変換部３３５の動作、すなわち色相変換過程は、アトリビュートに含まれた色相値によって選択的に（ｏｐｔｉｏｎａｌ）適用できる。

【0090】

前述したように、一つのボクセルに一つ又はそれ以上のポイントが存在する場合に、これらを当該ボクセルに対する一つのポイント情報に統合して示すために、ボクセル内に存在するポイントに対する位置値がボクセルの中央点に設定できる。これにより、当該ポイントに連関したアトリビュートの値を変換する過程が必要であり得る。また、ｔｒｉｓｏｕｐモードが行われた場合にも、アトリビュート変換過程が行われることができる。

【0091】

アトリビュート変換過程は、ジオメトリコーディングが行われていないポジション及び／又は再構成されたジオメトリに基づいてアトリビュートを変換する過程に該当することができる。例えば、アトリビュート変換過程は、ボクセルに含まれたポイントのポジションに基づいて、当該ポジションのポイントが有するアトリビュートを変換する過程に該当することができる。アトリビュート変換過程は、アトリビュート変換部３４０によって行われ得る。

【0092】

アトリビュート変換部３４０は、ボクセルの中央位置値と、特定半径内に隣接しているポイント（隣接ポイント）のアトリビュート値との平均値を計算することができる。或いは、アトリビュート変換部３４０は、中央位置との距離による重みをアトリビュート値に適用し、重みが適用されたアトリビュート値の平均値を計算することもできる。この場合、各ボクセルは、位置と計算されたアトリビュート値とを有する。

【0093】

予測変換過程は、現在ポイント（予測の対象に該当するポイント）に隣接する一つ以上のポイント（隣接ポイント）のアトリビュート値に基づいて現在ポイントのアトリビュート値を予測する過程に該当することができる。予測変換過程は、ＬＯＤ（ｌｅｖｅｌ ｏｆ ｄｅｔａｉｌ）生成部３５０によって行われることができる。

【0094】

予測変換は、ＬＯＤ変換技法が適用された方法であって、ＬＯＤ生成部３５０は、各ポイントのＬＯＤ距離値を基準に、各ポイントのＬＯＤ値を計算して設定することができる。

【0095】

ＬＯＤ生成部３５０は、予測変換のために、各ポイントに対する予測器（ｐｒｅｄｉｃｔｏｒ）を生成することができる。従って、Ｎ個のポイントが存在する場合には、Ｎ個の予測器が生成できる。予測器は、各ポイントに対するＬＯＤ値、隣接ポイントに対するインデクシング情報、及び隣接ポイントとの距離値に基づいて重み値（＝１／距離）を計算して設定することができる。ここで、隣接ポイントは、現在ポイントからＬＯＤ別に設定された距離内に存在するポイントであり得る。

【0096】

また、予測器は、隣接ポイントのアトリビュート値に「設定された重み」を掛け、重みが掛けられたアトリビュート値を平均した値を、現在ポイントの予測されたアトリビュート値に設定することができる。現在ポイントのアトリビュート値から当該現在ポイントの予測されたアトリビュート値を差し引いた残余（Ｒｅｓｉｄｕａｌ）アトリビュート値に対してアトリビュート量子化過程が行われることができる。

【0097】

リフト変換過程は、予測変換過程と同様に、ＬＯＤ生成過程を介してポイントをディテールレベルの集合で再構成する過程に該当することができる。リフト変換過程は、リフト部３５５によって行われることができる。リフト変換過程も、各ポイントに対する予測器を生成する過程、及び計算されたＬＯＤを予測器に設定する過程、隣接ポイントを登録する過程、及び現在ポイントと隣接ポイントとの距離による重みを設定する過程などを含むことができる。

【0098】

ＲＡＨＴ変換過程は、八分木の下位（ｌｏｗｅｒ）レベルにあるノードに連関したアトリビュート情報を用いて、上位レベルにあるノードのアトリビュート情報を予測する方法に該当することができる。すなわち、ＲＡＴＨ変換過程は、八分木バックワード（ｂａｃｋｗａｒｄ）スキャンによるアトリビュート情報イントラコーディング方法に該当することができる。ＲＡＨＴ変換過程は、ＲＡＨＴ変換部３４５によって行われることができる。

【0099】

ＲＡＨＴ変換部３４５は、ボクセルで全体領域にスキャンし、各ステップでボクセルをさらに大きいブロックに合算（併合）しながら、ルートノードまでＲＡＨＴ変換過程を行うことができる。ＲＡＨＴ変換部３４５は、占有された（ｏｃｃｕｐｉｅｄ）ノードに対してのみＲＡＨＴ変換過程を行うので、占有されていないｅｍｐｔｙノードの場合には、真上の上位レベルのノードを対象にしてＲＡＨＴ変換過程を行うことができる。

【0100】

アトリビュート量子化過程は、ＲＡＨＴ変換部３４５、ＬＯＤ生成部３５０及び／又はリフト部３５５から出力されたアトリビュートを量子化する過程に該当することができる。アトリビュート量子化過程は、アトリビュート量子化部３６０によって行われることができる。アトリビュートエンコーディング過程は、量子化されたアトリビュートをエンコードしてアトリビュートビットストリームを出力する過程に該当することができる。アトリビュートエンコーディング過程は、アトリビュートエンコーディング部３６５によって行われることができる。

【0101】

ポイントクラウド復号化装置の概要

【0102】

図４は、本開示の一実施例によるポイントクラウド復号化装置４００の例示を示す。図４のポイントクラウド復号化装置４００は、図１の復号化部２３とは構成及び機能において対応することができる。

【0103】

ポイントクラウド復号化装置４００は、伝送装置１０から伝送されたデータ（ビットストリーム）に基づいて、デコーディング過程を行うことができる。デコーディング過程は、ビットストリームを対象に前述したエンコーディング動作に対応する動作を行うことにより、ポイントクラウドビデオを復元（デコーディング）する過程を含むことができる。

【0104】

図４に示すように、デコーディング過程は、ジオメトリデコーディング過程とアトリビュートデコーディング過程を含むことができる。ジオメトリデコーディング過程は、ジオメトリ復号化部４１０によって行われることができ、アトリビュートデコーディング過程は、アトリビュート復号化部４２０によって行われることができる。すなわち、ポイントクラウド復号化装置４００は、ジオメトリ復号化部４１０及びアトリビュート復号化部４２０を含むことができる。

【0105】

ジオメトリ復号化部４１０は、ジオメトリビットストリームからジオメトリを復元することができ、アトリビュート復号化部４２０は、復元されたジオメトリとアトリビュートビットストリームに基づいてアトリビュートを復元することができる。また、ポイントクラウド復号化装置４００は、復元されたジオメトリによるポジション情報、及び復元されたアトリビュートによるアトリビュート情報に基づいて三次元のポイントクラウドビデオ（ポイントクラウドデータ）を復元することができる。

【0106】

図５は、本開示の他の一実施例によるポイントクラウド復号化装置５００の具体的な例示を示す。図５に示すように、ポイントクラウド復号化装置５００は、ジオメトリデコーディング部５０５、八分木合成部５１０、近似化合成部５１５、ジオメトリ復元部５２０、座標系逆変換部５２５、アトリビュートデコーディング部５３０、アトリビュート逆量子化部５３５、ＲＡＴＨ変換部５５０、ＬＯＤ生成部５４０、逆リフト部５４５及び／又はカラー逆変換部５５５を含むことができる。

【0107】

ジオメトリデコーディング部５０５、八分木合成部５１０、近似化合成部５１５、ジオメトリ復元部５２０、及び座標系逆変換部５５０は、ジオメトリデコーディングを行うことができる。ジオメトリデコーディングは、図１～図３で説明したジオメトリコーディングの逆過程で行われることができる。ジオメトリデコーディングは、ダイレクトコーディング（ｄｉｒｅｃｔ ｃｏｄｉｎｇ）及びｔｒｉｓｏｕｐジオメトリデコーディング（ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｉｎｇ）を含むことができる。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリデコーディングは、選択的に適用できる。

【0108】

ジオメトリデコーディング部５０５は、受信したジオメトリビットストリームを、アリスメティックコーディングに基づいてデコードすることができる。ジオメトリデコーディング部５０５の動作は、ジオメトリエンコーディング部３２５が行う動作の逆過程に対応することができる。

【0109】

八分木合成部５１０は、デコードされたジオメトリビットストリームから（又は、デコーディング結果として確保されたジオメトリに関する情報）から占有コードを取得して八分木を生成することができる。八分木合成部５１０の動作は、八分木分析部３１５が行う動作の逆過程に対応することができる。

【0110】

近似化合成部５１５は、ｔｒｉｓｏｕジオメトリエンコーディングが適用された場合、デコードされたジオメトリ及び／又は生成された八分木に基づいてサーフェス（ｓｕｒｆａｃｅ）を合成することができる。

【0111】

ジオメトリ復元部５２０は、サーフェス及びデコードされたジオメトリに基づいてジオメトリを復元することができる。ダイレクトコーディングが適用された場合に、ジオメトリ復元部５２０は、ダイレクトコーディングが適用されたポイントのポジション情報を直接持ってきて追加することができる。また、ｔｒｉｓｏｕｐジオメトリエンコーディングが適用された場合に、ジオメトリ復元部５２０は、再構成動作、例えば、三角形再構成、アップサンプリング、ボクセル化動作などを行ってジオメトリを復元することができる。復元されたジオメトリは、アトリビュートを含まないポイントクラウドピクチャ又はフレームを含むことができる。

【0112】

座標系逆変換部５５０は、復元されたジオメトリに基づいて座標系を変換してポイントのポジションを取得することができる。例えば、座標系逆変換部５５０は、ポイントのポジションを三次元空間（例えば、Ｘ軸、Ｙ軸及びＺ軸座標系で表現される三次元空間など）からグローバル空間座標系の位置情報に逆変換することができる。

【0113】

アトリビュートデコーディング部５３０、アトリビュート逆量子化部５３５、ＬＯＤ生成部５４０及び／又は逆リフト部５４５は、アトリビュートデコーディングを行うことができる。アトリビュートデコーディングは、ＲＡＨＴ変換デコーディング、予測変換デコーディング及びリフト変換デコーディングを含むことができる。上述した３種類のデコーディングは、選択的に使用されてもよく、一つ又はそれ以上のデコーディングの組み合わせが使用されてもよい。

【0114】

アトリビュートデコーディング部５３０は、アリスメティックコーディングに基づいてアトリビュートビットストリームをデコードすることができる。例えば、各ポイントの予測器に隣接ポイントが存在しないため、現在ポイントのアトリビュート値が直接エントロピーエンコードされた場合に、アトリビュートデコーディング部５３０は、現在ポイントのアトリビュート値（量子化されていないアトリビュート値）をデコードすることができる。他の例として、現在ポイントの予測器に隣接ポイントが存在して量子化された残余アトリビュート値がエントロピーエンコードされた場合に、アトリビュートデコーディング部５３０は、量子化された残余アトリビュート値をデコードすることができる。

【0115】

アトリビュート逆量子化部５３５は、デコードされたアトリビュートビットストリーム又はデコーディングの結果として確保したアトリビュートに対する情報を逆量子化し、逆量子化されたアトリビュート（又は、アトリビュート値）を出力することができる。例えば、アトリビュートデコーディング部５３０から量子化された残余アトリビュート値が出力された場合、アトリビュート逆量子化部５３５は、量子化された残余アトリビュート値を逆量子化して残余アトリビュート値を出力することができる。逆量子化過程は、ポイントクラウド符号化装置３００のアトリビュートエンコーディング如何に基づいて選択的に適用できる。すなわち、各ポイントの予測器に隣接ポイントが存在しないため現在ポイントのアトリビュート値が直接エンコードされた場合に、アトリビュートデコーディング部５３０は、量子化されていない現在ポイントのアトリビュート値を出力することができ、アトリビュートエンコーディング過程は、スキップされることができる。

【0116】

ＲＡＴＨ変換部５５０、ＬＯＤ生成部５４０及び／又は逆リフト部５４５は、再構成されたジオメトリ及び逆量子化されたアトリビュートを処理することができる。ＲＡＴＨ変換部５５０、ＬＯＤ生成部５４０及び／又は逆リフト部５４５は、ポイントクラウド符号化装置３００のエンコーディング動作に対応するデコーディング動作を選択的に行うことができる。

【0117】

カラー逆変換部５５５は、デコードされたアトリビュートに含まれているカラー値（又は、テクスチャ）を逆変換するための逆変換コーディングを行うことができる。カラー逆変換部５５５の動作は、カラー変換部３３５の動作如何に基づいて選択的に行われることができる。

【0118】

図６は、本開示の実施例によるポイントクラウドデータ送受信方法／装置と連動可能な構造の例示を示す。

【0119】

図６の構造は、サーバ（ＡＩ Ｓｅｒｖｅｒ）、ロボット（Ｒｏｂｏｔ）、自律走行車両（Ｓｅｌｆ－Ｄｒｉｖｉｎｇ Ｖｅｈｉｃｌｅ）、ＸＲ装置（ＸＲ ｄｅｖｉｃｅ）、スマートフォン（Ｓｍａｒｔｐｈｏｎｅ）、家電（Ｈｏｍｅ Ａｐｐｌｉａｎｃｅ）、及び／又はＨＭＤのうちの少なくとも一つがクラウドネットワーク（Ｎｅｔｗｏｒｋ）に接続された構成を示す。ロボット、自律走行車両、ＸＲ装置、スマートフォン又は家電などは、装置と称されることがある。また、ＸＲ装置は、実施例によるポイントクラウドデータ装置（ＰＣＣ）に対応するか、或いはＰＣＣ装置と連動することができる。

【0120】

クラウドネットワークは、クラウドコンピューティングインフラの一部を構成するか、或いはクラウドコンピューティングインフラ内に存在するネットワークを意味することができる。ここで、クラウドネットワークは、３Ｇネットワーク、４Ｇ又はＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）ネットワーク又は５Ｇネットワークなどを用いて構成できる。

【0121】

サーバは、ロボット、自律走行車両、ＸＲ装置、スマートフォン、家電及び／又はＨＭＤのうちの少なくとも一つとクラウドネットワークを介して接続され、接続された装置のプロセシングの少なくとも一部を助けることができる。

【0122】

ＨＭＤは、実施例によるＸＲデバイス及び／又はＰＣＣデバイスが実現できるタイプのうちの一つを示すことができる。実施例によるＨＭＤタイプのデバイスは、コミュニケーションユニット、コントロールユニット、メモリユニット、Ｉ／Ｏユニット、センサユニット、及びパワー供給ユニットなどを含むことができる。

【0123】

＜ＰＣＣ＋ＸＲ＞

【0124】

ＸＲ／ＰＣＣ装置は、ＰＣＣ及び／又はＸＲ技術が適用されることにより、ＨＭＤ、車両に備えられたＨＵＤ、テレビ、携帯電話、スマートフォン、コンピュータ、ウェアラブルデバイス、家電機器、デジタルサイネージ、車両、固定型ロボット又は移動型ロボットなどで実現されてもよい。

【0125】

ＸＲ／ＰＣＣ装置は、多様なセンサを介して、又は外部装置から取得した三次元ポイントクラウドデータ又はイメージデータを分析して三次元ポイントに対する位置（ジオメトリ）データ及びアトリビュートデータを生成することにより、周辺空間又は現実オブジェクトに対する情報を取得し、出力するＸＲオブジェクトをレンダリングして出力することができる。例えば、ＸＲ／ＰＣＣ装置は、認識された物体に対する追加情報を含むＸＲオブジェクトを当該認識された物体に対応させて出力することができる。

【0126】

＜ＰＣＣ＋ＸＲ＋モバイルフォン＞

【0127】

ＸＲ／ＰＣＣ装置は、ＰＣＣ技術が適用されてモバイルフォンなどで実現できる。モバイルフォンは、ＰＣＣ技術に基づいてポイントクラウドコンテンツをデコードし、ディスプレイすることができる。

【0128】

＜ＰＣＣ＋自律走行＋ＸＲ＞

【0129】

自律走行車両は、ＰＣＣ技術及びＸＲ技術が適用されることにより、移動型ロボット、車両、無人飛行体などで実現できる。ＸＲ／ＰＣＣ技術が適用された自律走行車両は、ＸＲ画像を提供する手段を備えた自律走行車両や、ＸＲ画像内での制御／相互作用の対象となる自律走行車両などを意味することができる。特に、ＸＲ画像内での制御／相互作用の対象となる自律走行車両は、ＸＲ装置と区分され、互いに連動することができる。

【0130】

ＸＲ／ＰＣＣ画像を提供する手段を備えた自律走行車両は、カメラを含むセンサからセンサ情報を取得し、取得したセンサ情報に基づいて生成されたＸＲ／ＰＣＣ画像を出力することができる。例えば、自律走行車両は、ＨＵＤを備えてＸＲ／ＰＣＣ画像を出力することにより、搭乗者に現実オブジェクト又は画面内のオブジェクトに対応するＸＲ／ＰＣＣオブジェクトを提供することができる。

【0131】

この時、ＸＲ／ＰＣＣオブジェクトがＨＵＤに出力される場合には、ＸＲ／ＰＣＣオブジェクトの少なくとも一部が、搭乗者の視線が向かう実際のオブジェクトにオーバーラップするように出力されることができる。これに対し、ＸＲ／ＰＣＣオブジェクトが自律走行車両内のディスプレイに出力される場合には、ＸＲ／ＰＣＣオブジェクトの少なくとも一部が画面内のオブジェクトにオーバーラップするように出力されることができる。例えば、自律走行車両は、車路、他の車両、交通信号機、交通標識板、二輪車、歩行者、建物などのオブジェクトと対応するＸＲ／ＰＣＣオブジェクトを出力することができる。

【0132】

実施例によるＶＲ技術、ＡＲ技術、ＭＲ技術及び／又はＰＣＣ技術は、多様なデバイスに適用可能である。すなわち、ＶＲ技術は、現実世界のオブジェクトや背景などをＣＧ画像でのみ提供するディスプレイ技術である。これに対し、ＡＲ技術は、実際の事物画像上に、仮想で作られたＣＧ画像を一緒に見せる技術を意味する。さらに、ＭＲ技術は、現実世界に仮想オブジェクトを混ぜて結合させて見せるという点で、前述したＡＲ技術と類似する。しかし、ＡＲ技術では、現実オブジェクトとＣＧ画像とで作られた仮想オブジェクトの区別が明確であり、現実オブジェクトを補完する形態で仮想オブジェクトを使用するのに対し、ＭＲ技術では、仮想オブジェクトが現実オブジェクトと同等な性格として見なされるという点で、ＡＲ技術とは区別される。より具体的には、例えば、上述したＭＲ技術が適用されたものがホログラムサービスである。ＶＲ、ＡＲ及びＭＲ技術を統合してＸＲ技術と称されることもある。

【0133】

空間分割

【0134】

ポイントクラウドデータ（すなわち、Ｇ－ＰＣＣデータ）は、フレーム（ポイントクラウドフレーム）のシーケンスからなるポイントクラウドのボリュメトリックエンコーディング（ｖｏｌｕｍｅｔｒｉｃ ｅｎｃｏｄｉｎｇ）を示すことができる。各ポイントクラウドフレームは、ポイントの数、ポイントのポジション、及びポイントのアトリビュートを含むことができる。ポイントの数、ポイントのポジション、及びポイントのアトリビュートはフレームごとに異なり得る。各ポイントクラウドフレームは、特定タイムインスタンス（ｐａｒｔｉｃｕｌａｒｙ ｔｉｍｅ ｉｎｓｔａｎｃｅ）で三次元ポイントの直交座標系（ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ）（ｘ、ｙ、ｚ）とゼロ以上のアトリビュートによって明示された三次元ポイントのセットを意味することができる。ここで、三次元ポイントの直交座標系（ｘ、ｙ、ｚ）は、ポジション又はジオメトリであり得る。

【0135】

実施例によって、本開示は、ポイントクラウドデータをエンコード（符号化）する前に、ポイントクラウドデータを一つ以上の三次元ブロックに分割する空間分割過程をさらに行うことができる。三次元ブロックは、ポイントクラウドデータが占有する三次元空間の全部又は一部領域を意味することができる。三次元ブロックは、タイルグループ（ｔｉｌｅ ｇｒｏｕｐ）、タイル（ｔｉｌｅ）、スライス（ｓｌｉｃｅ）、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）、又は変換単位（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）のうちの一つ以上を意味することができる。

【0136】

三次元ブロックに該当するタイルは、ポイントクラウドデータが占有する三次元空間の全部又は一部領域を意味することができる。また、三次元ブロックに該当するスライスも、ポイントクラウドデータが占有する三次元空間の全部又は一部領域を意味することができる。タイルは、一つのタイルに含まれたポイントの個数に基づいて一つ以上のスライスに分割されることができる。タイルは、バウンディングボックス情報を有するスライスのグループであり得る。各タイルのバウンディングボックス情報は、タイルインベントリ（又は、タイルパラメータセット、ｔｉｌｅ ｐａｒａｍｅｔｅｒ ｓｅｔ（ＴＰＳ））に明示できる。タイルは、バウンディングボックス内の他のタイルとオーバーラップ（ｏｖｅｒｌａｐ）することができる。スライスは、独立してエンコーディングが行われるデータの単位であってもよく、独立してデコーディングが行われるデータの単位であってもよい。つまり、スライスは、独立してエンコーディング又はデコーディングできるポイントのセットであってもよい。実施例によって、スライスは、コーディングされたポイントクラウドフレームの一部又は全体を示すシンタックス要素のシリーズであり得る。各スライスは、当該スライスの属するタイルを識別するためのインデックスを含むことができる。

【0137】

空間分割された三次元ブロックは、それぞれ独立的又は非独立的に処理できる。例えば、空間分割された三次元ブロックは、それぞれ独立的又は非独立的にエンコード又はデコードされてもよく、それぞれ独立的又は非独立的に伝送又は受信されてもよい。また、空間分割された三次元ブロックは、それぞれ独立的又は非独立的に量子化又は逆量子化されてもよく、それぞれ独立的又は非独立的に変換又は逆変換されてもよい。また、空間分割された三次元ブロックは、それぞれ独立的又は非独立的にレンダリングされてもよい。例えば、スライス単位又はタイル単位でエンコーディング又はデコーディングが行われてもよい。また、量子化又は逆量子化がタイル別又はスライス別に異なるように行われてもよく、変換又は逆変換されたタイル別又はスライス別に異なるように行われてもよい。

【0138】

このように、ポイントクラウドデータを一つ以上の三次元ブロックに空間分割し、空間分割された三次元ブロックを独立的又は非独立的に処理すると、三次元ブロックを処理する過程がリアルタイムで行われるとともに、当該過程が低遅延に処理されることができる。また、ポイントクラウドデータが占有する三次元空間上のランダムアクセス（ｒａｎｄｏｍ ａｃｃｅｓｓ）と並列エンコーディング又は並列デコーディングが可能となり、エンコーディング又はデコーディング過程で累積するエラーを防止することもできる。

【0139】

図７は、本開示の実施例による空間分割過程を行う伝送装置７００の例示を示すブロック図である。図７に示すように、伝送装置７００は、空間分割過程を行う空間分割部７０５、シグナリング処理部７１０、ジオメトリエンコーダ７１５、アトリビュートエンコーダ７２０、カプセル化処理部７２５及び／又は伝送処理部７３０を含むことができる。

【0140】

空間分割部７０５は、バウンディングボックス及び／又はサブバウンディングボックスなどに基づいてポイントクラウドデータを一つ以上の三次元ブロックに分割する空間分割過程を行うことができる。空間分割過程を介して、ポイントクラウドデータが一つ以上のタイル及び／又は一つ以上のスライスに分割されることができる。実施例によって、空間分割過程を介して、ポイントクラウドデータが一つ以上のタイルに分割され、分割された各タイルがさらに一つ以上のスライスに分割されることもできる。

【0141】

シグナリング処理部７１０は、シグナリング情報を生成及び／又は処理（例えば、エントロピーエンコーディング）してビットストリーム形式で出力することができる。以下では、シグナリング処理部から出力される（シグナリング情報がエンコードされた）ビットストリームを「シグナリングビットストリーム」という。シグナリング情報は、空間分割のための情報又は空間分割に対する情報を含むことができる。すなわち、シグナリング情報は、空間分割部７０５で行われた空間分割過程に関連した情報を含むことができる。

【0142】

ポイントクラウドデータが一つ以上の三次元ブロックに分割された場合には、ポイントクラウドデータのうち、特定タイル又は特定スライスに該当する一部のポイントクラウドデータをデコードするための情報が必要であり得る。また、ポイントクラウドデータに対する空間的接近（又は、部分的接近）を支援するために、三次元空間領域に関連した情報が必要であり得る。ここで、空間的接近とは、ポイントクラウドデータ全体で必要な一部のポイントクラウドデータのみをファイルから抽出することを意味することができる。シグナリング情報は、一部のポイントクラウドデータをデコードするための情報、空間的接近を支援するための三次元空間領域に関連した情報などを含むことができる。例えば、シグナリング情報は、三次元バウンディングボックス情報、三次元空間領域情報、タイル情報及び／又はタイルインベントリ情報などを含むことができる。

【0143】

シグナリング情報は、空間分割部７０５、ジオメトリエンコーダ７１５、アトリビュートエンコーダ７２０、伝送処理部７２５、及び／又はカプセル化処理部７３０から提供されることができる。また、シグナリング処理部７１０は、図８の受信装置８００からフィードバックされるフィードバック情報を空間分割部７０５、ジオメトリエンコーダ７１５、アトリビュートエンコーダ７２０、伝送処理部７２５及び／又はカプセル化処理部７３０へ提供することができる。

【0144】

シグナリング情報は、トラック内のサンプル、サンプルエントリ、サンプルグループ、トラックグループ又は別途のメタデータトラックなどに保存されてシグナリングされ得る。実施例によって、シグナリング情報は、シーケンスレベルのシグナリングのためのシーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＳＰＳ）、ジオメトリコーディング情報のシグナリングのためのジオメトリパラメータセット（ｇｅｏｍｅｔｒｙ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＧＰＳ）、アトリビュートコーディング情報のシグナリングのためのアトリビュートパラメータセット（ａｔｔｒｉｂｕｔｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＡＰＳ）、タイルレベルのシグナリングのためのタイルパラメータセット（ｔｉｌｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＴＰＳ）（又は、タイルインベントリ）などの単位でシグナリングされることができる。また、シグナリング情報は、スライスもしくはタイルなどのコーディングユニット単位でシグナリングされることもできる。

【0145】

一方、三次元ブロックのポジション（ポジション情報）は、ジオメトリエンコーダ７１５へ出力されることができ、三次元ブロックのアトリビュート（アトリビュート情報）は、アトリビュートエンコーダ７２０へ出力されることができる。

【0146】

ジオメトリエンコーダ７１５は、ポジション情報に基づいて八分木を構成し、構成された八分木をエンコードしてジオメトリビットストリームを出力することができる。また、ジオメトリエンコーダ７１５は、八分木及び／又は近似化された八分木を再構成（復元）してアトリビュートエンコーダ７２０へ出力することができる。復元された八分木は、復元されたジオメトリであり得る。ジオメトリエンコーダ７１５は、図３の座標系変換部３０５、ジオメトリ量子化部３１０、八分木分析部３１５、近似化部３２０、ジオメトリエンコーディング部３２５及び／又は復元部３３０が行う動作の全部又は一部を行うことができる。

【0147】

アトリビュートエンコーダ７２０は、復元されたジオメトリに基づいてアトリビュートをエンコードすることにより、アトリビュートビットストリームを出力することができる。アトリビュートエンコーダ７２０は、図３のアトリビュート変換部３４０、ＲＡＨＴ変換部３４５、ＬＯＤ生成部３５０、リフト部３５５、アトリビュート量子化部３６０、アトリビュートエンコーディング部３６５及び／又はカラー変換部３３５が実行する動作の全部又は一部を行うことができる。

【0148】

カプセル化処理部７２５は、入力される一つ以上のビットストリームをファイル又はセグメントなどにカプセル化することができる。例えば、カプセル化処理部７２５は、ジオメトリビットストリーム、アトリビュートビットストリーム、シグナリングビットストリームをそれぞれカプセル化することもでき、或いはジオメトリビットストリーム、アトリビュートビットストリーム、シグナリングビットストリームを多重化してカプセル化することができる。実施例によって、カプセル化処理部７２５は、ＴＬＶ（ｔｙｐｅ－ｌｅｎｇｔｈ－ｖａｌｕｅ）構造のシーケンスで構成されたビットストリーム（Ｇ－ＰＣＣビットストリーム）をファイルにカプセル化することができる。Ｇ－ＰＣＣビットストリームを構成するＴＬＶ（又は、ＴＬＶカプセル化）構造は、ジオメトリビットストリーム、アトリビュートビットストリーム、シグナリングビットストリームなどを含むことができる。実施例によって、Ｇ－ＰＣＣビットストリームは、カプセル化処理部７２５で生成されてもよく、伝送処理部７３０で生成されてもよい。ＴＬＶ構造又はＴＬＶカプセル化構造については、詳細に後述する。実施例によって、カプセル化処理部７２５は、図１のカプセル化処理部１３が実行する動作の全部又は一部を行うことができる。

【0149】

伝送処理部７３０は、任意の伝送プロトコルに従ってカプセル化されたビットストリーム又はファイル／セグメントなどの処理を行うことができる。伝送処理部７３０は、図１を参照して説明した伝送部１４及び伝送処理部が実行する動作の全部又は一部を行うことができる。

【0150】

図８は、本開示の実施例による受信装置８００の例示を示すブロック図である。受信装置８００は、空間分割を実行する伝送装置７００の動作に対応する動作を行うことができる。図８に示すように、受信装置８００は、受信処理部８０５、デカプセル化処理部８１０、シグナリング処理部８１５、ジオメトリデコーダ８２０、アトリビュートエンコーダ８２５及び／又は後処理部８３０を含むことができる。

【0151】

受信処理部８０５は、Ｇ－ＰＣＣビットストリームがカプセル化されたファイル／セグメント、Ｇ－ＰＣＣビットストリーム又はビットストリームを受信し、これらを対象に伝送プロトコルによる処理を行うことができる。受信処理部８０５は、図１を参照して説明した受信部２１及び受信処理部が実行する動作の全部又は一部を行うことができる。

【0152】

デカプセル化処理部８１０は、カプセル化処理部７２５が実行する動作の逆過程を行うことにより、Ｇ－ＰＣＣビットストリームを取得することができる。デカプセル化処理部８１０は、ファイル／セグメントをデカプセル化してＧ－ＰＣＣビットストリームを取得することができる。例えば、デカプセル化処理部８１０は、シグナリングビットストリームを取得してシグナリング処理部８１５へ出力することができ、ジオメトリビットストリームを取得してジオメトリデコーダ８２０へ出力することができ、アトリビュートビットストリームを取得してアトリビュートデコーダ８２５へ出力することができる。デカプセル化処理部８１０は、図１のデカプセル化処理部２２が実行する動作の全部又は一部を行うことができる。

【0153】

シグナリング処理部８１５は、シグナリング処理部７１０が実行する動作の逆過程を行うことにより、シグナリング情報をパーシング及びデコードすることができる。シグナリング処理部８１５は、シグナリングビットストリームからシグナリング情報をパーシング及びデコードすることができる。シグナリング処理部８１５は、デコードされたシグナリング情報をジオメトリデコーダ８２０、アトリビュートデコーダ８２５及び／又は後処理部８３０へ提供することができる。

【0154】

ジオメトリデコーダ８２０は、ジオメトリエンコーダ７１５が実行する動作の逆過程を行うことにより、ジオメトリビットストリームからジオメトリを復元することができる。ジオメトリデコーダ８２０は、シグナリング情報（ジオメトリに関連したパラメータ）に基づいてジオメトリを復元することができる。復元されたジオメトリは、アトリビュートデコーダ８２５へ提供されることができる。

【0155】

アトリビュートデコーダ８２５は、アトリビュートエンコーダ７２０が実行する動作の逆過程を行うことにより、アトリビュートビットストリームからアトリビュートを復元することができる。アトリビュートデコーダ８２５は、シグナリング情報（アトリビュートに関連したパラメータ）と、復元されたジオメトリに基づいてアトリビュートを復元することができる。

【0156】

後処理部８３０は、復元されたジオメトリと復元されたアトリビュートに基づいてポイントクラウドデータを復元することができる。ポイントクラウドデータの復元は、復元されたジオメトリと復元されたアトリビュートとを互いにマッチングさせる過程によって行われることができる。実施例によって、後処理部８３０は、復元されたポイントクラウドデータがタイル及び／又はスライス単位である場合に、シグナリング情報に基づいて伝送装置７００の空間分割過程の逆過程を行うことにより、ポイントクラウドデータのバウンディングボックスを復元することができる。実施例によって、後処理部８３０は、バウンディングボックスが空間分割過程を介して複数のタイル及び／又は複数のスライスに分割された場合に、シグナリング情報に基づいて一部のスライス及び／又は一部のタイルを結合することにより、バウンディングボックスの一部を復元することもできる。ここで、バウンディングボックスの復元に用いられる一部のスライス及び／又は一部のタイルは、空間的接近を所望する三次元空間領域に関連したスライス及び／又は一部のタイルであり得る。

【0157】

ＴＬＶ構造

【0158】

前述したように、Ｇ－ＰＣＣビットストリームは、ＴＬＶ構造のシーケンスからなるポイントクラウドデータのビットストリームを意味することができる。ＴＬＶ構造は、「ＴＬＶカプセル化構造」、「Ｇ－ＰＣＣ ＴＬＶカプセル化構造」、又は「Ｇ－ＰＣＣ ＴＬＶ構造」とも称される。

【0159】

ＴＬＶカプセル化構造に対する一例が図９に示されており、ＴＬＶカプセル化のシンタックス構造に対する一例が図１０ａに示されており、ＴＬＶカプセル化構造のペイロードタイプに対する一例が図１０ｂに示されている。各ＴＬＶカプセル化構造は、ＴＬＶタイプ（ＴＬＶ ＴＹＰＥ）、ＴＬＶ長さ（ＴＬＶ ＬＥＮＧＴＨ）、及び／又はＴＬＶペイロード（ＴＬＶ ＰＡＹＬＯＡＤ）で構成できる。ＴＬＶタイプは、ＴＬＶペイロードのタイプ情報であってもよく、ＴＬＶ長さは、ＴＬＶペイロードの長さ情報であってもよく、ＴＬＶペイロードは、ペイロード（又は、ペイロードバイト）であってもよい。図１０ａに例示されたＴＬＶカプセル化のシンタックス構造（ｔｌｖ＿ｅｎｃａｐｓｕｌａｔｉｏｎ（））を見ると、ｔｌｖ＿ｔｙｐｅは、ＴＬＶペイロードのタイプ情報を示すことができ、ｔｌｖ＿ｎｕｍ＿ｐａｙｌｏａｄ＿ｂｙｔｅｓは、ＴＬＶペイロードの長さ情報を示すことができる。また、ｔｌｖ＿ｐａｙｌｏａｄ＿ｂｙｔｅ［ｉ］は、ＴＬＶペイロードを示すことができる。ｔｌｖ＿ｐａｙｌｏａｄ＿ｂｙｔｅ［ｉ］は、ｔｌｖ＿ｎｕｍ＿ｐａｙｌｏａｄ＿ｂｙｔｅｓの値だけシグナリングされることができ、ｉは、０から（ｔｌｖ＿ｎｕｍ＿ｐａｙｌｏａｄ＿ｂｙｔｅｓ－１）になるまで１ずつ増加することができる。

【0160】

ＴＬＶペイロードは、ＳＰＳ、ＧＰＳ、一つ以上のＡＰＳ、タイルインベントリ、ジオメトリスライス、一つ以上のアトリビュートスライス、及び一つ以上のメタデータスライスを含むことができる。実施例によって、各ＴＬＶカプセル化構造のＴＬＶペイロードは、ＴＬＶペイロードのタイプ情報に応じてＳＰＳ、ＧＰＳ、一つ以上のＡＰＳ、タイルインベントリ、ジオメトリスライス、一つ以上のアトリビュートスライス、及び一つ以上のメタデータスライスのうちの一つを含むこともできる。ＴＬＶペイロードのタイプ情報を介して、ＴＬＶペイロードに含まれるデータが区分されることができる。例えば、図１０ｂに示すように、ｔｌｖ＿ｔｙｐｅの値が０であれば、ＴＬＶペイロードに含まれるデータがＳＰＳであることを指示し、ｔｌｖ＿ｔｙｐｅの値が１であれば、ＴＬＶペイロードに含まれるデータがＧＰＳであることを指示することができる。ｔｌｖ＿ｔｙｐｅの値が２であれば、ＴＬＶペイロードに含まれるデータがジオメトリスライスであることを指示し、ｔｌｖ＿ｔｙｐｅの値が３であれば、ＴＬＶペイロードに含まれるデータがＡＰＳであることを指示することができる。ｔｌｖ＿ｔｙｐｅの値が４であれば、ＴＬＶペイロードに含まれるデータがアトリビュートスライスであることを指示し、ｔｌｖ＿ｔｙｐｅの値が５であれば、ＴＬＶペイロードに含まれるデータがタイルインベントリ（又はタイルパラメータセット）であることを指示することができる。ｔｌｖ＿ｔｙｐｅの値が６であれば、ＴＬＶペイロードに含まれるデータがｆｒａｍｅ ｂｏｕｎｄａｒｙ ｍａｒｋｅｒであることを指示し、ｔｌｖ＿ｔｙｐｅの値が７であれば、ＴＬＶペイロードに含まれるデータがメタデータスライスであることを指示することができる。ＴＬＶカプセル化構造のペイロードは、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットのフォーマットに従うことができる。

【0161】

カプセル化／デカプセル化

【0162】

このようなＴＬＶカプセル化構造は、本明細書で言及された伝送部、伝送処理部、カプセル化部で生成できる。ＴＬＶカプセル化構造で構成されたＧ－ＰＣＣビットストリームは、そのまま受信装置へ伝送されるか、或いはカプセル化されて受信装置へ伝送されることもできる。例えば、カプセル化処理部７２５は、ＴＬＶカプセル化構造からなるＧ－ＰＣＣビットストリームをファイル／セグメント形式にカプセル化して伝送することができる。デカプセル化処理部８１０は、カプセル化されたファイル／セグメントをデカプセル化してＧ－ＰＣＣビットストリームを取得することができる。

【0163】

実施例によって、Ｇ－ＰＣＣビットストリームは、ＩＳＯＢＭＦＦ基盤のファイルフォーマットにカプセル化できる。この場合、Ｇ－ＰＣＣビットストリームは、ＩＳＯＢＭＦＦファイル内のシングルトラック（ｔｒａｃｋ）又はマルチプルトラックに保存できる。ここで、ファイル内のシングルトラック又はマルチプルトラックは、「トラック」又は「Ｇ－ＰＣＣトラック」とも称される。ＩＳＯＢＭＦＦ基盤のファイルは、コンテナ、コンテナファイル、メディアファイル、Ｇ－ＰＣＣファイルなどとも称される。具体的に、ファイルは、ｆｔｙｐ、ｍｏｏｖ、ｍｄａｔと称することが可能なボックス及び／又は情報などで構成できる。

【0164】

ｆｔｙｐボックス（ｆｉｌｅ ｔｙｐｅ ｂｏｘ、ファイルタイプボックス）は、当該ファイルに対するファイルタイプ又はファイル互換性関連情報を提供することができる。受信装置は、ｆｔｙｐボックスを参照して当該ファイルを区分することができる。ｍｄａｔボックスは、メディアデータボックス（ｍｅｄｉａ ｄａｔａ ｂｏｘ）とも呼び、実際メディアデータを含むことができる。実施例によって、ジオメトリスライス（又は、コーディングされたジオメトリビットストリーム）、ゼロ以上のアトリビュートスライス（又は、コーディングされたアトリビュートビットストリーム）は、ファイル内のｍｄａｔボックスのサンプルに含まれることができる。ここで、サンプルは、Ｇ－ＰＣＣサンプルと称されることがある。ｍｏｏｖボックスは、ｍｏｖｉｅボックスとも呼び、当該ファイルのメディアデータに対するメタデータを含むことができる。例えば、ｍｏｏｖボックスは、当該メディアデータのデコーディング及び再生に必要な情報を含むことができ、当該ファイルのトラック及びサンプルに関する情報を含むことができる。ｍｏｏｖボックスは、全てのメタデータのためのコンテナの役割を果たすことができる。ｍｏｏｖボックスは、メタデータ関連ボックスのうちの最上位レイヤのボックスであり得る。

【0165】

実施例によって、ｍｏｏｖボックスは、ファイルのトラックに関連した情報を提供するトラック（ｔｒａｋ）ボックスを含むことができ、ｔｒａｋボックスは、当該トラックのメディア情報を提供するメディア（ｍｄｉａ）ボックス（ｍｅｄｉａｂｏｘ）、及び当該トラックと当該トラックに対応するファイルのサンプルを連結（ｒｅｆｅｒｅｎｃｅ）するためのトラックレファレンスコンテナ（ｔｒｅｆ）ボックスを含むことができる。メディアボックス（ＭｅｄｉａＢｏｘ）は、当該メディアデータの情報を提供するメディア情報コンテナ（ｍｉｎｆ）ボックスと、ストリームのタイプを指示するハンドラ（ｈｄｌｒ）ボックス（ＨａｎｄｌｅｒＢｏｘ）とを含むことができる。ｍｉｎｆボックスは、ｍｄａｔボックスのサンプルに関連したメタデータを提供するサンプルテーブル（ｓｔｂｌ）ボックスを含むことができる。ｓｔｂｌボックスは、使用されたコーディングタイプ（ｃｏｄｉｎｇ ｔｙｐｅ）に対する情報と当該コーディングタイプのために必要な初期情報（ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を提供するサンプルディスクリプション（ｓｔｓｄ）ボックスを含むことができる。実施例によって、サンプルディスクリプション（ｓｔｓｄ）ボックスは、トラックのためのサンプルエントリ（ｓａｍｐｌｅ ｅｎｔｒｙ）を含むことができる。実施例によって、ＳＰＳ、ＧＰＳ、ＡＰＳ、タイルインベントリなどのシグナリング情報（又は、メタデータ）は、ファイル内のｍｏｏｖボックスのサンプルエントリ又はｍｄａｔボックスのサンプルに含まれることができる。

【0166】

Ｇ－ＰＣＣトラックは、ジオメトリスライス（又は、コーディングされたジオメトリビットストリーム）又はアトリビュートスライス（又は、コーディングされたアトリビュートビットストリーム）、又はジオメトリスライスとアトリビュートスライスの両方をキャリーするボリュメトリックビジュアルトラック（ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｔｒａｃｋ）と定義されることができる。実施例によって、ボリュメトリックビジュアルトラックは、メディアボックス（ＭｅｄｉａＢｏｘ）のハンドラボックス（ＨａｎｄｌｅｒＢｏｘ）内のボリュメトリックビジュアルメディアハンドラタイプ（ｖｏｌｕｍｅ ｖｉｓｕａｌ ｍｅｄｉａ ｈａｎｄｌｅｒ ｔｙｐｅ）‘ｖｏｌｖ’及び／又はメディアボックス（ＭｅｄｉａＢｏｘ）のｍｉｎｆボックス内のボリュメトリックビジュアルメディアヘッダ（ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｍｅｄｉａ ｈｅａｄｅｒ、ｖｖｈｄ）によって識別できる。ｍｉｎｆボックスは、メディア情報コンテナ又はメディア情報ボックスとも称される。ｍｉｎｆボックスはメディアボックス（ＭｅｄｉａＢｏｘ）に含まれ、メディアボックス（ＭｅｄｉａＢｏｘ）はトラックボックスに含まれ、トラックボックスはファイルのｍｏｏｖボックスに含まれることができる。シングルボリュメトリックビジュアルトラック又はマルチプルボリュメトリックビジュアルトラックは、ファイルに存在することができる。

【0167】

ボリュメトリックビジュアルメディアヘッダボックス（ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＭｅｄｉａＨｅａｄｅｒＢｏｘ）

【0168】

ボリュメトリックビジュアルトラックは、実際データの伝送のためにボリュメトリックビジュアルサンプル（ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅ）を使用することができる。ボリュメトリックビジュアルサンプルエントリは、サンプルエントリ又はＧ－ＰＣＣサンプルエントリと呼ばれることがあり、ボリュメトリックビジュアルサンプルは、サンプルまたはＧ－ＰＣＣサンプルと呼ばれることがある。シングルボリュメトリックビジュアルトラックは、シングルトラックまたはＧ－ＰＣＣシングルトラックと呼ばれることがあり、マルチプルボリュメトリックビジュアルトラックは、マルチプルトラック又はマルチプルＧ－ＰＣＣトラックと呼ばれることがある。サンプルのグループ化、トラックのグループ化、Ｇ－ＰＣＣビットストリームのシングルトラックカプセル化、又はＧ－ＰＣＣビットストリームのマルチプルトラックカプセル化などに関連したシグナリング情報、又は空間的接近を支援するためのシグナリング情報がボックスないしフルボックス（ＦｕｌｌＢｏｘ）の形態でサンプルエントリに追加できる。シグナリング情報は、ＧＰＣＣエントリ情報ボックス（ＧＰＣＣＥｎｔｒｙＩｎｆｏＢｏｘ）、ＧＰＣＣコンポーネントタイプボックス（ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘ）、キュービック領域情報ボックス（ＣｕｂｉｃＲｅｇｉｏｎＩｎｆｏＢｏｘ）、３Ｄバウンディングボックス情報ボックス（３ＤＢｏｕｎｄｉｎｇＢｏｘＩｎｆｏＢｏｘ）、又はタイルインベントリ（ＴｉｌｅＩｎｖｅｎｔｏｒｙＢｏｘ）の少なくとも一つを含むことができる。

【0169】

ＧＰＣＣエントリ情報構造

【0170】

Ｇ－ＰＣＣエントリ情報ボックス（ＧＰＣＣＥｎｔｒｙＩｎｆｏＢｏｘ）のシンタックス構造は、次の通りに定義できる。

【0171】

ｃｌａｓｓ ＧＰＣＣＥｎｔｒｙＩｎｆｏＢｏｘ ｅｘｔｅｎｄｓ Ｂｏｘ（‘ｇｐｓｂ’） ｛

【0172】

ＧＰＣＣＥｎｔｒｙＩｎｆｏＳｔｒｕｃｔ（）；

【0173】

｝

【0174】

上記のシンタックス構造において、‘ｇｐｓｂ’のサンプルエントリタイプを有するＧＰＣＣＥｎｔｒｙＩｎｆｏＢｏｘは、ＧＰＣＣＥｎｔｒｙＩｎｆｏＳｔｒｕｃｔ（）を含むことができる。ＧＰＣＣＥｎｔｒｙＩｎｆｏＳｔｒｕｃｔ（）のシンタックスは、次の通りに定義できる。

【0175】

ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＧＰＣＣＥｎｔｒｙＩｎｆｏＳｔｒｕｃｔ ｛

【0176】

ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｍａｉｎ＿ｅｎｔｒｙ＿ｆｌａｇ；

【0177】

ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｄｅｐｅｎｄｅｎｔ＿ｏｎ；

【0178】

ｉｆ（ｄｅｐｅｎｄｅｎｔ＿ｏｎ）｛ ／／ｎｏｎ－ｅｎｔｒｙ

【0179】

ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ；

【0180】

｝

【0181】

｝

【0182】

ＧＰＣＣＥｎｔｒｙＩｎｆｏＳｔｒｕｃｔ（）は、ｍａｉｎ＿ｅｎｔｒｙ＿ｆｌａｇとｄｅｐｅｎｄｅｎｔ＿ｏｎを含むことができる。ｍａｉｎ＿ｅｎｔｒｙ＿ｆｌａｇは、Ｇ－ＰＣＣビットストリームをデコードするためのエントリポイント（ｅｎｔｒｙ ｐｏｉｎｔ）であるか否かを示すことができる。ｄｅｐｅｎｄｅｎｔ＿ｏｎは、そのデコーディングが他のものによって変わるかを指示する（ｄｅｐｅｎｄｅｎｔ＿ｏｎ ｉｎｄｉｃａｔｅｓ ｉｔｓ ｄｅｃｏｄｉｎｇ ｉｓ ｄｅｐｅｎｄｅｎｔ ｏｎ ｏｔｈｅｒｓ）。もし、ｄｅｐｅｎｄｅｎｔ＿ｏｎがサンプルエントリに存在する場合、ｄｅｐｅｎｄｅｎｔ＿ｏｎは、トラック内のサンプルのデコーディングが他のトラックに従属するということを指示することができる。ｄｅｐｅｎｄｅｎｔ＿ｏｎの値が１であれば、ＧＰＣＣＥｎｔｒｙＩｎｆｏＳｔｒｕｃｔ（）は、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄをさらに含むことができる。ｄｅｐｅｎｄｅｎｃｙ＿ｉｄは、関連したデータをデコードするためのトラックの識別子を指示することができる。ｄｅｐｅｎｄｅｎｃｙ＿ｉｄがサンプルエントリに存在する場合、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄは、トラック内のサンプルのデコーディングが従属するＧ－ＰＣＣサブビットストリームをキャリーするトラックの識別子を表すことができる。もし、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄがサンプルグループに存在する場合、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄは、関連したサンプルのデコーディングが従属するＧ－ＰＣＣサブビットストリームをキャリーするサンプルの識別子を表すことができる。

【0183】

Ｇ－ＰＣＣコンポーネント情報の構造

【0184】

Ｇ－ＰＣＣコンポーネントタイプボックス（ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘ）のシンタックス構造は、次の通りに定義できる。

【0185】

ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘ ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ（‘ｇｔｙｐ’、ｖｅｒｓｉｏｎ＝０，０）｛

【0186】

ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＳｔｒｕｃｔ（）；

【0187】

｝

【0188】

‘ｇｔｙｐ’のサンプルエントリタイプを有するＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘは、ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＳｔｒｕｃｔ（）を含むことができる。ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＳｔｒｕｃｔ（）のシンタックスは、次の通りに定義できる。

【0189】

ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＳｔｒｕｃｔ ｛

【0190】

ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｎｕｍＯｆＣｏｍｐｏｎｅｎｔｓ；

【0191】

ｆｏｒ（ｉ＝０；ｉ＜ｎｕｍＯｆＣｏｍｐｏｎｅｎｔｓ；ｉ＋＋） ｛

【0192】

ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｇｐｃｃ＿ｔｙｐｅ；

【0193】

ｉｆ（ｇｐｃｃ＿ｔｙｐｅ＝＝４）

【0194】

ｕｎｓｉｇｎｅｄ ｉｎｔ（８）ＡｔｔｒＩｄｘ；

【0195】

｝

【0196】

／／ ａｄｄｉｔｉｏｎａｌ ｆｉｅｌｄｓ

【0197】

｝

【0198】

ｎｕｍＯｆＣｏｍｐｏｎｅｎｔｓは、当該ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＳｔｒｕｃｔにシグナリングされたＧ－ＰＣＣコンポーネントの数を指示することができる。ｇｐｃｃ＿ｔｙｐｅは、ｎｕｍＯｆＣｏｍｐｏｎｅｎｔｓの値だけ繰り返される繰り返し文によってＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＳｔｒｕｃｔに含まれることができる。この繰り返し文は、ｉが０から（ｎｕｍＯｆＣｏｍｐｏｎｅｎｔｓ－１）になるまで１ずつ増加しながら繰り返されることができる。ｇｐｃｃ＿ｔｙｐｅは、Ｇ－ＰＣＣコンポーネントのタイプを指示することができる。例えば、ｇｐｃｃ＿ｔｙｐｅの値が２であれば、ジオメトリコンポーネントを指示し、４であれば、アトリビュートコンポーネントを指示することができる。ｇｐｃｃ＿ｔｙｐｅの値が４、すなわちアトリビュートコンポーネントを指示する場合、当該繰り返し文は、ＡｔｔｒＩｄｘをさらに含むことができる。ＡｔｔｒＩｄｘは、ＳＰＳ（）でシグナリングされたアトリビュートの識別子を指示することができる。Ｇ－ＰＣＣコンポーネントタイプボックス（ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘ）は、マルチプルトラックのためのサンプルエントリに含まれることができる。Ｇ－ＰＣＣコンポーネントタイプボックス（ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘ）がＧ－ＰＣＣビットストリームの一部または全部をキャリーするトラックのサンプルエントリに存在すると、ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＳｔｒｕｃｔ（）は、各トラックによってキャリーされる一つ以上のＧ－ＰＣＣコンポーネントタイプを指示することができる。ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＳｔｒｕｃｔ（）を含むＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘ又はＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＳｔｒｕｃｔ（）は、Ｇ－ＰＣＣコンポーネント情報と呼ばれることがある。

【0199】

サンプルグループ

【0200】

本開示で言及されたカプセル化処理部は、一つ以上のサンプルをグループ化してサンプルグループを生成することができる。本開示で言及されたカプセル化処理部、メタデータ処理部又はシグナリング処理部は、サンプルグループに連関したシグナリング情報をサンプル、サンプルグループ又はサンプルエントリにシグナリングすることができる。すなわち、サンプルグループに連関したサンプルグループ情報は、サンプル、サンプルグループ又はサンプルエントリに追加されることができる。サンプルグループ情報は、３Ｄバウンディングボックスサンプルグループ情報、３Ｄ領域サンプルグループ情報、３Ｄタイルサンプルグループ情報、３Ｄタイルインベントリサンプルグループ情報などであり得る。

【0201】

トラックグループ

【0202】

本開示で言及されたカプセル化処理部は、一つ以上のトラックをグループ化してトラックグループを生成することができる。本開示で言及されたカプセル化処理部、メタデータ処理部又はシグナリング処理部は、トラックグループに連関したグナリング情報をサンプル、トラックグループ又はサンプルエントリにシグナリングすることができる。すなわち、トラックグループに連関したトラックグループ情報は、サンプル、トラックグループ又はサンプルエントリに追加されることができる。トラックグループ情報は、３Ｄバウンディングボックストラックグループ情報、ポイントクラウドコンポジショントラックグループ情報、空間領域トラックグループ情報、３Ｄタイルトラックグループ情報、３Ｄタイルインベントリトラックグループ情報などであり得る。

【0203】

サンプルエントリ

【0204】

図１１は、シングルトラックを含むＩＳＯＢＭＦＦ基盤ファイルを説明するための図である。図１１の（ａ）は、シングルトラックを含むＩＳＯＢＭＦＦ基盤ファイルのレイアウトに対する一例を示し、図１１の（ｂ）は、Ｇ－ＰＣＣビットストリームがファイルのシングルトラックに保存されるとき、ｍｄａｔボックスのサンプル構造に対する一例を示す。図１２は、マルチプルトラックを含むＩＳＯＢＭＦＦ基盤ファイルを説明するための図である。図１２の（ａ）は、マルチプルトラックを含むＩＳＯＢＭＦＦ基盤ファイルのレイアウトに対する一例を示し、図１２の（ｂ）は、Ｇ－ＰＣＣビットストリームがファイルのシングルトラックに保存されるときのｍｄａｔボックスのサンプル構造に対する一例を示す。

【0205】

ファイルのｍｏｏｖボックスに含まれるｓｔｓｄボックス（ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ）は、Ｇ－ＰＣＣビットストリームを保存するシングルトラックのためのサンプルエントリを含むことができる。ＳＰＳ、ＧＰＳ、ＡＰＳ、タイルインベントリが、ファイル内のｍｏｏｖボックスのサンプルエントリ又はｍｄａｔボックスのサンプルに含まれることができる。また、ジオメトリスライス、ゼロ以上のアトリビュートスライスがファイル内のｍｄａｔボックスのサンプルに含まれることができる。Ｇ－ＰＣＣビットストリームがファイルのシングルトラックに保存されるとき、各サンプルは、マルチプルＧ－ＰＣＣコンポーネントを含むことができる。すなわち、各サンプルは、一つ以上のＴＬＶのカプセル化構造で構成されることができる。シングルトラックのサンプルエントリは、次の通りに定義できる。

【0206】

Ｓａｍｐｌｅ Ｅｎｔｒｙ Ｔｙｐｅ： ‘ｇｐｅ１’，‘ｇｐｅｇ’

【0207】

Ｃｏｎｔａｉｎｅｒ： ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ

【0208】

Ｍａｎｄａｔｏｒｙ： Ａ‘ｇｐｅ１’ ｏｒ ‘ｇｐｅｇ’ ｓａｍｐｌｅ ｅｎｔｒｙ ｉｓ ｍａｎｄａｔｏｒｙ

【0209】

Ｑｕａｎｔｉｔｙ： Ｏｎｅ ｏｒ ｍｏｒｅ ｓａｍｐｌｅ ｅｎｔｒｉｅｓ ｍａｙ ｂｅ ｐｒｅｓｅｎｔ

【0210】

サンプルエントリタイプ‘ｇｐｅｌ’又は‘ｇｐｅｇ’は必須的であり、一つ以上のサンプルエントリが存在することができる。Ｇ－ＰＣＣトラックは、‘ｇｐｅｌ’又は‘ｇｐｅｇ’のサンプルエントリタイプを有するＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙを使用することができる。Ｇ－ＰＣＣトラックのサンプルエントリは、Ｇ－ＰＣＣデコーダコンフィギュレーションボックス（ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ）を含むことができ、Ｇ－ＰＣＣデコーダコンフィギュレーションボックスは、Ｇ－ＰＣＣデコーダコンフィギュレーションレコード（ＧＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ（））を含むことができる。ＧＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ（））は、ｃｏｎｆｉｇｕｒａｔｉｏｎＶｅｒｓｉｏｎ、ｐｒｏｆｉｌｅ＿ｉｄｃ、ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｆｌａｇｓ、ｌｅｖｅｌ＿ｉｄｃ、ｎｕｍＯｆＳｅｔｕｐＵｎｉｔＡｒｒａｙｓ、ＳｅｔｕｐＵｎｉｔＴｙｐｅ、ｃｏｍｐｌｅｔｅｎｅｓｓ、ｎｕｍＯｆＳｅｐｕｐＵｎｉｔ、ｓｅｔｕｐＵｎｉｔのうちの少なくとも一つを含むことができる。ＧＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ（）に含まれたｓｅｔｕｐＵｎｉｔ ａｒｒａｙフィールドは、一つのＳＰＳを含むＴＬＶカプセル化構造を含むことができる。

【0211】

サンプルエントリタイプが‘ｇｐｅ１’である場合、すべてのパラメータセット、例えば、ＳＰＳ、ＧＰＳ、ＡＰＳ、タイルインベントリがｓｅｔｕｐＵｎｉｔｓのアレイに含まれることができる。サンプルエントリタイプが‘ｇｐｅｇ’であれば、上記のpらメータセットは、ｓｅｔｕｐＵｎｉｔｓのアレイ（すなわち、サンプルエントリ）に含まれるか、或いは当該ストリーム（すなわち、サンプル）に含まれることができる。‘ｇｐｅ１’のサンプルエントリタイプを有するＧ－ＰＣＣサンプルエントリ（ＧＰＣＣＳａｍｐｌｅＥｎｔｒｙ）のシンタックスに対する一例は、次の通りである。

【0212】

ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＧＰＣＣＳａｍｐｌｅＥｎｔｒｙ（）

【0213】

ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ（‘ｇｐｅ１’）｛

【0214】

ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ； ／／ｍａｎｄａｔｏｒｙ

【0215】

３ＤＢｏｕｎｄｉｎｇＢｏｘＩｎｆｏＢｏｘ（）；

【0216】

ＣｕｂｉｃＲｅｇｉｏｎＩｎｆｏＢｏｘ（）；

【0217】

ＴｉｌｅＩｎｖｅｎｔｏｒｙＢｏｘ（）；

【0218】

｝

【0219】

‘ｇｐｅ１’のサンプルエントリタイプを有するＧ－ＰＣＣサンプルエントリ（ＧＰＣＣＳａｍｐｌｅＥｎｔｒｙ）は、ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ、３ＤＢｏｕｎｄｉｎｇＢｏｘＩｎｆｏＢｏｘ（）、ＣｕｂｉｃＲｅｇｉｏｎＩｎｆｏＢｏｘ（）、及びＴｉｌｅＩｎｖｅｎｔｏｒｙＢｏｘ（）を含むことができる。３ＤＢｏｕｎｄｉｎｇＢｏｘＩｎｆｏＢｏｘ（）は、当該トラックでキャリーされるサンプルに関連したポイントクラウドデータの３Ｄバウンディングボックス情報を指示することができる。ＣｕｂｉｃＲｅｇｉｏｎＩｎｆｏＢｏｘ（）は、当該トラック内のサンプルでキャリーされるポイントクラウドデータの一つ以上の空間領域情報を指示することができる。ＴｉｌｅＩｎｖｅｎｔｏｒｙＢｏｘ（）は、当該トラック内のサンプルでキャリーされたポイントクラウドデータの３Ｄタイルインベントリ情報を指示することができる。

【0220】

図１１の（ｂ）に示すように、サンプルは、ジオメトリスライスを含むＴＬＶカプセル化構造が含まれることができる。また、サンプルは、一つ以上のパラメータセットを含むＴＬＶカプセル化構造を含むことができる。また、サンプルは、一つ以上のアトリビュートスライスを含むＴＬＶカプセル化構造を含むことができる。

【0221】

図１２の（ａ）に示すように、Ｇ－ＰＣＣビットストリームがＩＳＯＢＭＦＦ基盤のファイルのマルチプルトラックでキャリーされる場合に、各ジオメトリスライス又はアトリビュートスライスは、個別トラック（ｉｎｄｉｖｉｓｕａｌ ｔｒａｃｋ）にマッピングされることができる。例えば、ジオメトリスライスは、トラック１（ｔｒａｃｋ１）にマッピングされることができ、アトリビュートスライスは、トラック２（ｔｒａｃｋ２）にマッピングされることができる。ジオメトリスライスをキャリーするトラック（ｔｒａｃｋ１）は、ジオメトリトラック又はＧ－ＰＣＣジオメトリトラックと呼ばれることがあり、アトリビュートスライスをキャリーするトラック（ｔｒａｃｋ２）は、アトリビュートトラック又はＧ－ＰＣＣアトリビュートトラックと呼ばれることがある、そして、ジオメトリトラックは、ジオメトリスライスをキャリーするボリュメトリックビジュアルトラックとして定義でき、アトリビュートトラックは、アトリビュートスライスをキャリーするボリュメトリックビジュアルトラックとして定義できる。

【0222】

ジオメトリスライスとアトリビュートスライスの両方を含むＧ－ＰＣＣビットストリームの一部をキャリーするトラックを、多重化されたトラック（ｍｕｌｔｉｌｅｘｅｄ ｔｒａｃｋ）とも呼ぶ。ジオメトリスライスとアトリビュートスライスが個別トラック（Ｓｅｐａｒａｔｅ ｔｒａｃｋｓ）に保存される場合に、トラック内の各サンプルは、シングルＧ－ＰＣＣコンポーネントのデータをキャリーする少なくとも一つのＴＬＶカプセル化構造を含むことができる。この場合、各サンプルは、ジオメトリとアトリビュートの両方を含まず、かつマルチプルアトリビュートを含まなくてもよい。Ｇ－ＰＣＣビットストリームのマルチトラックカプセル化は、Ｇ－ＰＣＣプレーヤがＧ－ＰＣＣコンポーネントのうちの一つを効果的（ｅｆｆｅｃｔｉｖｅｌｙ）にアクセスすることを可能にすることができる。Ｇ－ＰＣＣビットストリームがマルチプルトラックでキャリーされるとき、Ｇ－ＰＣＣプレーヤがＧ－ＰＣＣコンポーネントのうちの一つを効果的にアクセスするために、次の条件が満たされる必要がある。

【0223】

ａ）ＴＬＶカプセル化構造からなるＧ－ＰＣＣビットストリームがマルチプルトラックでキャリーされるとき、ジオメトリビットストリーム（又は、ジオメトリスライス）をキャリーするトラックがエントリポイントになる。

【0224】

ｂ）サンプルエントリにおいて、当該トラックに含まれたストリームの役割（ｒｏｌｅ）を指示するために新しいボックスが追加される。新しいボックスは、前述したＧ－ＰＣＣコンポーネントタイプボックス（ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘ）であり得る。すなわち、ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘがマルチプルトラックのためのサンプルエントリに含まれることができる。

【0225】

ｃ）Ｇ－ＰＣＣジオメトリビットストリームのみを運搬するトラックにおいてＧ－ＰＣＣアトリビュートビットストリームを運搬するトラックとしてトラック参照が導入される。

【0226】

ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘは、ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＳｔｒｕｃｔ（）を含むことができる。ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘがＧ－ＰＣＣビットストリームの一部又は全部をキャリーするトラックのサンプルエントリに存在すれば、ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＳｔｒｕｃｔ（）は、各トラックによってキャリアーされる一つ以上のＧ－ＰＣＣコンポーネントのタイプ（例えば、ジオメトリ、アトリビュート）を指示することができる。例えば、ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＳｔｒｕｃｔ（）に含まれたｇｐｃｃ＿ｔｙｐｅフィールドの値が２であれば、ジオメトリコンポーネントを指示し、４であれば、アトリビュートコンポーネントを指示することができる。また、ｇｐｃｃ＿ｔｙｐｅフィールドの値が４、すなわち、アトリビュートコンポーネントを指示すれば、ＳＰＳ（）にシグナリングされたアトリビュートの識別子を指示するＡｔｔｒＩｄｘフィールドをさらに含むことができる。

【0227】

Ｇ－ＰＣＣビットストリームがマルチプルトラックでキャリーされる場合に、サンプルエントリのシンタックスは、次の通りに定義できる。

【0228】

Ｓａｍｐｌｅ Ｅｎｔｒｙ Ｔｙｐｅ：‘ｇｐｅ１’、‘ｇｐｅｇ’、‘ｇｐｃ１’ ｏｒ ‘ｇｐｃｇ’

【0229】

Ｃｏｎｔａｉｎｅｒ：ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ

【0230】

Ｍａｎｄａｔｏｒｙ：‘ｇｐｃ１’、‘ｇｐｃｇ’ ｓａｍｐｌｅ ｅｎｔｒｙ ｉｓ ｍａｎｄａｔｏｒｙ

【0231】

Ｑｕａｎｔｉｔｙ：Ｏｎｅ ｏｒ ｍｏｒｅ ｓａｍｐｌｅ ｅｎｔｒｉｅｓ ｍａｙ ｂｅ ｐｒｅｓｅｎｔ

【0232】

サンプルエントリタイプ‘ｇｐｃ１’、‘ｇｐｃｇ’、‘ｇｐｃ１’又は‘ｇｐｃｇ’は必須であり、一つ以上のサンプルエントリが存在することができる。マルチプルトラック（例えば、ジオメトリ又はアトリビュートトラック）は、‘ｇｐｃ１’、‘ｇｐｃｇ’、‘ｇｐｃ１’又は‘ｇｐｃｇ’のサンプルエントリタイプを有するＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙを使用することができる。‘ｇｐｅ１’サンプルエントリにおいて、すべてのパラメータセットは、ｓｅｔｕｐＵｎｉｔアレイに存在することができる。‘ｇｐｅｇ’サンプルエントリにおいて、パラメータセットが当該アレイ又はストリームに存在することができる。‘ｇｐｅ１’又は‘ｇｐｅｇ’サンプルエントリにおいて、ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘが存在しなければならないことがある。‘ｇｐｃ１’サンプルエントリにおいて、ＳＰＳ、ＧＰＳ及びタイルインベントリは、Ｇ－ＰＣＣジオメトリビットストリームを伝達するトラックのＳｅｔｕｐＵｎｉｔアレイに存在することができる。全ての関連ＡＰＳは、Ｇ－ＰＣＣアトリピュートビットストリームを伝達するトラックのＳｅｔｕｐＵｎｉｔアレイに存在することができる。‘ｇｐｃｇ’サンプルエントリにおいて、ＳＰＳ、ＧＰＳ、ＡＰＳ又はタイルインベントリが当該アレイ又はストリームに存在することができる。‘ｇｐｃ１’又は‘ｇｐｃｇ’サンプルアレイにおいて、ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘが存在しなければならないことがある。

【0233】

Ｇ－ＰＣＣのサンプルエントリのシンタックスに対する一例は、次の通りである。

【0234】

ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＧＰＣＣＳａｍｐｌｅＥｎｔｒｙ（）

【0235】

ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ（ｃｏｄｉｎｇｎａｍｅ） ｛

【0236】

ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ；／／ｍａｎｄａｔｏｒｙ

【0237】

ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘ ｔｙｐｅ；／／ｏｐｔｉｏｎａｌ

【0238】

｝

【0239】

ベースクラスＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙのｃｏｍｐｒｅｓｓｏｒｎａｍｅ、すなわち、ｃｏｄｉｎｇｎａｍｅは、推奨される「＼０１３ＧＰＣＣコーディング」値と共に使用される圧縮機の名前を指示することができる。「＼０１３ＧＰＣＣコーディング」において、一番目のバイト（＼０１３で表示される８進数１３又は１０進数１１）は、リメイニングバイトの数であって、残りの文字列（ｓｔｒｉｎｇ）のバイト数を示すことができる。ｃｏｎｇｉｆは、Ｇ－ＰＣＣデコーダコンフィギュレーション情報を含むことができる。ｉｎｆｏは、各トラックでキャリーされるＧ－ＰＣＣコンポーネント情報を表すことができる。ｉｎｆｏは、トラックでキャリーされるコンポーネントタイルを示すことができ、また、Ｇ－ＰＣＣアトリビュートトラックでキャリーされるＧ－ＰＣＣコンポーネントのアトリビュート名、インデックス、及びアトリビュートタイプを示すことができる。

【0240】

サンプルフォーマット

【0241】

Ｇ－ＰＣＣビットストリームがシングルトラックに保存される場合に、サンプルフォーマットに対するシンタックスは、次の通りである。

【0242】

ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＧＰＣＣＳａｍｐｌｅ

【0243】

｛

【0244】

ｕｎｓｉｇｎｅｄ ｉｎｔ ＧＰＣＣＬｅｎｇｔｈ＝ｓａｍｐｌｅ＿ｓｉｚｅ；／／Ｓｉｚｅ ｏｆ Ｓａｍｐｌｅ

【0245】

ｆｏｒ（ｉ＝０；ｉ＜ＧＰＣＣＬｅｎｇｔｈ；）／／ｔｏ ｅｎｄ ｏｆ ｔｈｅ ｓａｍｐｌｅ

【0246】

｛

【0247】

ｔｌｖ＿ｅｎｃａｐｓｕｌａｔｉｏｎ ｇｐｃｃ＿ｕｎｉｔ；

【0248】

ｉ＋＝（１＋４）＋ｇｐｃｃ＿ｕｎｉｔ．ｔｌｖ＿ｎｕｍ＿ｐａｙｌｏａｄ＿ｂｙｔｅｓ；

【0249】

｝

【0250】

｝

【0251】

上記のシンタックスにおいて、各サンプル（ＧＰＣＣＳａｍｐｌｅ）は、シングルポイントクラウドフレームに該当し、同じプレゼンテーションタイム（ｓａｍｅ ｐｒｅｓｅｎｔａｔｉｏｎ ｔｉｍｅ）に属する一つ以上のＴＬＶカプセル化構造で構成されることができる。各ＴＬＶカプセル化構造は、シングルタイプのＴＬＶペイロードを含むことができる。これに加えて、一つのサンプルは、独立的（例えば、シンクサンプル）であり得る。ＧＰＣＣＬｅｎｇｔｈは、当該サンプルの長さを示し、ｇｐｃｃ＿ｕｎｉｔは、シングルＧ－ＰＣＣコンポーネント（例えば、ジオメトリスライス）を含むＴＬＶカプセル化構造のインスタンスを含むことができる。

【0252】

Ｇ－ＰＣＣビットストリームがマルチプルトラックに保存される場合に、各サンプルは、単一ポイントクラウドフレームに当該することができ、互いに異なるトラックで同じポイントクラウドフレームに寄与するサンプルは、同じプレゼンテーション時間を有しなければならないことがある。各サンプルは、サンプルエントリのＧＰＣＣＣｏｍｐｏｎｅｎｔＩｎｆｏＢｏｘに表示されたＧ－ＰＣＣコンポーネントの一つ以上のＧ－ＰＣＣユニットと、パラメータセット又はタイルインベントリのうちの一つを運搬する０個以上のＧ－ＰＣＣユニットで構成されなければならない。パラメータセット又はタイルインベントリを含むＧ－ＰＣＣユニットがサンプルに存在する場合、当該Ｆ－ＰＣＣサンプルは、Ｇ－ＰＣＣコンポーネントのＧ－ＰＣＣユニットの前に現れなければならない。各サンプルは、アトリビュートデータユニットを含む一つ以上のＧ－ＰＣＣユニット、パラメータセットをキャリーする０個以上のＧ－ＰＣＣユニットを含むことができる。Ｇ－ＰＣＣビットストリームがマルチプルトラックに保存される場合に、サンプルフォーマットに対するシンタックス及びセマンティックスは、前述したＧ－ＰＣＣビットストリームがシングルトラックに保存される場合に対するシンタックス及びセマンティックスと同一であり得る。

【0253】

サブサンプル

【0254】

受信装置では、ジオメトリスライスが先にデコードされ、デコーディングジオメトリに基づいてアトリビュートスライスがデコードされる必要があるため、各サンプルがマルチプルＴＬＶカプセル化構造で構成される場合に、当該サンプルにおいて各ＴＬＶカプセル化構造をアクセスする必要がある。また、一つのサンプルがマルチプルＴＬＶカプセル化構造で構成されると、マルチプルＴＬＶカプセル化構造のそれぞれは、サブサンプルとして保存されることができる。サブサンプルは、Ｇ－ＰＣＣサブサンプルと呼ばれることがある。例えば、一つのサンプルがパラメータセットを含むパラメータセットＴＬＶカプセル化構造、ジオメトリスライスを含むジオメトリＴＬＶカプセル化構造、及びアトリビュートスライスを含むアトリビュートＴＬＶカプセル化構造を含むならば、パラメータセットＴＬＶカプセル化構造、ジオメトリＴＬＶカプセル化構造、及びアトリビュートＴＬＶカプセル化構造は、それぞれサブサンプルとして保存できる。この場合、当該サンプルにおいて、各Ｇ－ＰＣＣコンポーネントにアクセスすることを可能にするために、当該サブサンプルでキャリーされるＴＬＶカプセル化構造のタイプが必要であり得る。

【0255】

Ｇ－ＰＣＣビットストリームがシングルトラックに保存される場合に、Ｇ－ＰＣＣサブサンプルは、ただ一つのＴＬＶカプセル化構造を含むことができる。一つのＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘがｍｏｏｖボックスのサンプルテーブルボックス（ＳａｍｐｌｅＴａｂｌｅＢｏｘ、ｓｔｂｌ）に存在するか、或いはムービーフラグメントボックス（ＭｏｖｉｅＦｒａｇｍｅｎｔＢｏｘ、ｍｏｏｆ）それぞれのトラックフラグメントボックス（ＴｒａｃｋＦｒａｇｍｅｎｔＢｏｘ、ｔｒａｆ）に存在することができる。もし、ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘが存在すれば、ＴＬＶカプセル化構造の８ビットタイプ値がＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ内のサブサンプルエントリの３２－ｂｉｔ ｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓ ｆｉｅｌｄに含まれることができる。もし、ＴＬＶカプセル化構造がアトリビュートペイロードを含むならば、アトリビュートインデックスの６ビット値がＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ内のサブサンプルエントリの３２－ｂｉｔ ｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓ ｆｉｅｌｄに含まれることができる。実施例によって、各サブサンプルのタイプは、ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ内のサブサンプルエントリのｃｏｄｅｃ＿ｓｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓ ｆｉｅｌｄに含まれることができる。実施例によって、各サブサンプルのタイプは、ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ内のサブサンプルエントリのｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓ ｆｉｅｌｄをパーシングすることにより識別できる。ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｉｏｎＢｏｘのｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓは、次の通りに定義できる。

【0256】

ｉｆ（ｆｌａｇｓ＝＝０） ｛

【0257】

ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ＰａｙｌｏａｄＴｙｐｅ；

【0258】

ｉｆ（ＰａｙｌｏａｄＴｙｐｅ＝＝４）｛／／ａｔｔｒｉｂｕｔｅ ｐａｙｌｏａｄ

【0259】

ｕｎｓｉｇｎｅｄ ｉｎｔ（６） ＡｔｔｒＩｄｘ；

【0260】

ｂｉｔ（１８） ｒｅｓｅｒｖｅｄ＝０；

【0261】

｝

【0262】

ｅｌｓｅ

【0263】

ｂｉｔ（２４） ｒｅｓｅｒｖｅｄ＝０；

【0264】

｝ ｅｌｓｅ ｉｆ（ｆｌａｇｓ＝＝１）｛

【0265】

ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｔｉｌｅ＿ｄａｔａ；

【0266】

ｂｉｔ（７） ｒｅｓｅｒｖｅｄ＝０；

【0267】

ｉｆ （ｔｉｌｅ＿ｄａｔａ）

【0268】

ｕｎｓｉｇｎｅｄ ｉｎｔ（２４） ｔｉｌｅ＿ｉｄ；

【0269】

ｅｌｓｅ

【0270】

ｂｉｔ（２４） ｒｅｓｅｒｖｅｄ＝０；

【0271】

｝

【0272】

上記のサブサンプルシンタックスにおいて、ｐａｙｌｏａｄＴｙｐｅは、当該サブサンプル内のＴＬＶカプセル化構造のｔｌｖ＿ｔｙｐｅを指示することができる。例えば、ｐａｙｌｏａｄＴｙｐｅの値が４であれば、アトリビュートスライス（すなわち、アトリビュートスライス）を指示することができる。ａｔｔｒＩｄｘは、当該サブサンプル内のアトリビュートペイロードを含むＴＬＶカプセル化構造のアトリビュート情報の識別子を指示することができる。ａｔｔｒＩｄｘは、当該サブサンプル内のアトリビュートペイロードを含むＴＬＶカプセル化構造のａｓｈ＿ａｔｔｒ＿ｓｐｓ＿ａｔｔｒ＿ｉｄｘと同一であり得る。ｔｉｌｅ＿ｄａｔａは、サブサンプルが一つのタイル又は他のタイルを含むか否かを示すことができる。ｔｉｌｅ＿ｄａｔａの値が１であれば、サブサンプルが一つのＧ－ＰＣＣタイルに対応するジオメトリデータユニット又はアトリビュートデータユニットを含むＴＬＶカプセル化構造を含むということを示すことができる。ｔｉｌｅ＿ｄａｔａの値が０であれば、サブサンプルが各パラメータセット、タイルインベントリ又はフレームバウンダリマーカーを含むＴＬＶカプセル化構造を含むということを示すことができる。ｔｉｌｅ＿ｉｄは、サブサンプルがタイルインベントリ内で関連するＧ－ＰＣＣバージョンのインデックスを示すことができる。

【0273】

Ｇ－ＰＣＣビットストリームがマルチプルトラックに保存される場合に（ＩＳＯＢＭＦＦにおいて、Ｇ－ＰＣＣデータのマルチプルトラックカプセル化の場合に）サブサンプルが存在すると、ＳａｍｐｌｅＴａｂｌｅＢｏｘ又は各ＭｏｖｉｅＦｒａｇｍｅｎｔＢｏｘのＴｒａｃｋＦｒａｇｍｅｎｔＢｏｘでフラグ（ｆｌａｇ）が１であるＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘのみ存在しなければならないことがある。Ｇ－ＰＣＣビットストリームがマルチプルトラックに保存される場合に、シンタックス要素とセマンティックスは、Ｇ－ＰＣＣビットストリームがシングルトラックに保存される場合のシンタックス要素とセマンティックにおいてｆｌａｇ＝＝１の場合と同一であり得る。

【0274】

トラック間の参照

【0275】

Ｇ－ＰＣＣビットストリームがマルチプルトラックでキャリーされる場合に（すなわち、Ｇ－ＰＣＣジオメトリビットストリームとアトリビュートビットストリームとが互いに異なる（分離された）トラックでキャリーされる場合に）、トラック間を連結するために、トラック参照ツールが使用できる。一つのＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘｅｓがＧ－ＰＣＣトラックのＴｒａｃｋＢｏｘ内のＴｒａｃｋＲｅｆｅｒｅｎｃｅＢｏｘに追加されることができる。ＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘは、Ｇ－ＰＣＣトラックが参照するトラックを指定するｔｒａｃｋ＿ＩＤｓのアレイを含むことができる。

【0276】

実施例によって、本開示は、Ｇ－ＰＣＣデータ（以下では、Ｇ－ＰＣＣビットストリーム、カプセル化されたＧ－ＰＣＣビットストリーム、又はＧ－ＰＣＣファイルということがある）の運搬（ｃａｒｒｉａｇｅ）に時間スケーラビリティ（ｔｅｍｐｏｒａｌ ｓｃａｌａｂｉｌｉｔｙ）を支援するための装置及び方法を提供することができる。また、本開示は、Ｇ－ＰＣＣビットストリームをファイル内の単一トラックに効率よく保存するか、或いは複数のトラックに分割して保存し、これに対するシグナリングを提供するポイントクラウドコンテンツサービス提供のための装置及び方法を提案することができる。また、本開示は、保存されたＧ－ＰＣＣビットストリームに対する効率的な接近を支援することができるようにするためのファイル保存技法を処理する装置及び方法を提案する。

【0277】

時間スケーラビリティ（ｔｅｍｐｏｒａｌ ｓｃａｌａｂｉｌｉｔｙ）

【0278】

時間スケーラビリティは、独立してコーディングされたフレームの一つ以上のサブセットを抽出する可能性を許容する機能を意味することができる。また、時間スケーラビリティは、Ｇ－ＰＣＣデータを複数の互いに異なる時間的レベル（ｔｅｍｐｏｒａｌ ｌｅｖｅｌｓ）に区分し、互いに異なる時間的レベルに属する各Ｇ－ＰＣＣフレームを互いに独立的に処理する機能を意味することができる。時間スケーラビリティが支援されると、Ｇ－ＰＣＣプレーヤ（又は、本開示の伝送装置及び／又は受信装置）は、Ｇ－ＰＣＣコンポーネントのうちの所望のコンポーネント（ターゲットコンポーネント）に効果的（ｅｆｆｅｃｔｉｖｅｌｙ）にアクセスすることができる。また、時間スケーラビリティが支援されると、Ｇ－ＰＣＣフレームが互いに独立的に処理されるので、システムレベルで時間スケーラビリティの支援がより柔軟な時間的サブレイヤリング（ｓｕｂ－ｌａｙｅｒｉｎｇ）で表現されることができる。また、時間スケーラビリティが支援されると、Ｇ－ＰＣＣデータを処理するシステム（ポイントクラウドコンテンツ提供システム）がネットワーク機能（ｃａｐａｂｉｌｉｔｙ）やデコーダ機能（Ｃａｐａｂｉｌｉｔｙ）などと一致するように高い水準でデータを操作することができるようにするので、ポイントクラウドコンテンツ提供システムの性能を向上させることができる。

【0279】

サンプルグループ化（ｓａｍｐｌｅ ｇｒｏｕｐｉｎｇ）

【0280】

時間スケーラビリティを支援するための方式としては、サンプルグループ化方式とトラックグループ化方式が存在することができる。サンプルグループ化方式は、Ｇ－ＰＣＣファイル内のサンプルを時間的レベルによってグループ化する方式であり、トラックグループ化方式は、Ｇ－ＰＣＣファイル内のトラックを時間的レベルによってグループ化する方式であり得る。

【0281】

サンプルグループは、サンプルと、これらに指定された（ｄｅｓｉｇｎａｔｅｄ）時間的レベルとを連関させるのに使用できる。すなわち、サンプルグループは、どのサンプルがどの時間的レベルに属するか否かを示すことができる。また、サンプルグループは、一つ以上のサンプルを一つ以上の時間的レベルにグループ化した結果に対する情報であり得る。サンプルグループは、‘ｔｅｌｅ’サンプルグループ、時間的レベルサンプルグループ‘ｔｅｌｅ’とも呼ばれる。

【0282】

サンプルグループに対する情報

【0283】

サンプルグループに対する情報は、サンプルグループ化の結果に対する情報を含むことができる。従って、サンプルグループに対する情報は、サンプルとこれらに指定された時間的レベルとを互いに連関させるのに使用するための情報であり得る。すなわち、サンプルグループに対する情報は、どのサンプルがどの時間的レベルに属するか否かを示すことができ、一つ以上のサンプルを一つ以上の時間的レベルにグループ化した結果に対する情報であり得る。

【0284】

サンプルグループに対する情報は、ジオメトリデータユニットを含むトラックに存在することができる。Ｇ－ＰＣＣデータがマルチプルトラックで運搬される場合に、サンプルグループに対する情報は、トラック内の各サンプルを指定された時間的レベルにグループ化するためにジオメトリトラックにのみ存在することができる。アトリビュートトラック内のサンプルは、それらに連関したジオメトリトラックとの関係に基づいて推論できる。例えば、アトリビュートトラック内のサンプルは、それらに連関したジオメトリトラック内のサンプルと同じ時間的レベルに属することができる。

【0285】

サンプルグループに対する情報が、Ｇ－ＰＣＣタイル基盤トラック（ｔｉｌｅ ｂａｓｅ ｔｒａｃｋ）が参照するＧ－ＰＣＣタイルトラックに存在する場合、サンプルグループに対する情報は、Ｇ－ＰＣＣタイル基盤トラックが参照する残り（ｒｅｓｔ）のタイルトラックに存在しなければならないこともある。ここで、Ｇ－ＰＣＣタイルトラックは、全てのＧ－ＰＣＣコンポーネント又は一つ以上のＧ－ＰＣＣタイルに当該する単一Ｇ－ＰＣＣコンポーネントを運搬するボリュメトリックビジュアルトラックであり得る。また、Ｇ－ＰＣＣタイル基盤トラックは、Ｇ－ＰＣＣタイルトラックに該当する全てのパラメータセット及びタイルインベントリを運搬するボリュメトリックビジュアルトラックであり得る。

【0286】

時間的レベルに対する情報

【0287】

Ｇ－ＰＣＣファイルで支援する時間スケーラビリティを説明するために時間的レベルに対する情報がシグナリングされることができる。時間的レベルに対する情報は、サンプルグループ（又は、サンプルグループに対する情報）を含むトラックのサンプルエントリに存在することができる。例えば、時間的レベルに対する情報は、ＧＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ（）に存在するか、或いはＧ－ＰＣＣトラックに対するスケーラビリティ情報をシグナリングするＧ－ＰＣＣスケーラビリティ情報ボックス（ＧＣＣＳｃａｌａｂｉｌｉｔｙＩｎｆｏＢｏｘ）に存在することができる。

【0288】

時間的レベルサンプルグループ化（ｔｅｍｐｏｒａｌ ｌｅｖｅｌ ｓａｍｐｌｅ ｇｒｏｕｐｉｎｇ）

【0289】

時間的レベルサンプルグループ化（以下、「「ｔｅｌｅ」サンプルグループ」という。）は、トラック内のサンプルを時間的レベルに応じてグループ化することを意味することができる。このような「ｔｅｌｅ」サンプルグループは、ジオメトリデータを含むトラック内に存在することができる。このとき、「ｔｅｌｅ」サンプルグループは、コーデック独立（ｃｏｄｅｃ－ｉｎｄｅｐｅｎｄｅｎｔ）サンプルグループ化に関する情報であり得る。具体的には、コーデック独立的とは、一つの時間的レベルのサンプルが他の時間的レベルのサンプルに対するコーディング従属性（ｄｅｐｅｎｄｅｎｃｙ）がない場合を意味することができる。すなわち、一つの時間的レベルのサンプルが他の時間的レベルのサンプルに対するコーディング従属性がない場合、「ｔｅｌｅ」サンプルグループがトラック内に存在することができる。また、「ｔｅｌｅ」サンプルグループは、時間的レベルに応じてトラック（及び／又は潜在的なトラックフラグメント（ｐｏｔｅｎｔｉａｌ ｔｒａｃｅ ｆｒａｇｍｅｎｔ））内のサンプルをグループ化した結果に関する情報及び／又は時間的レベル識別値（ｉｎｄｅｎｔｉｆｉｅｒ ｖａｌｕｅ）に関する情報を含むことができる。

【0290】

Ｇ－ＰＣＣデータが複数の時間的レベルトラックを用いて運搬（ｃａｒｒｙ）される場合、「ｔｅｌｅ」サンプルグループは、ジオメトリデータを運搬するトラック内にのみ存在することができる。アトリビュート（ａｔｔｒｉｂｕｔｅ）データを運搬するトラック内のサンプルは、それらに関連するジオメトリトラックとの関係に基づいて推論できる。例えば、アトリビュートトラック内のサンプルは、それらに関連するジオメトリトラック内のサンプルと同じ時間的レベルに属することができる。

【0291】

従来技術の問題点

【0292】

「ｔｅｌｅ」サンプルグループは、複数の時間的レベルを有するトラックの場合にのみ必要である。しかし、従来技術は、只一つの時間的レベルを有するトラックの場合でもサンプルをグループ化して処理するか、或いはサンプルグループ情報をシグナリングする。したがって、従来技術は、不要なサンプルグループ化又はサンプルグループ情報シグナリングを行うことにより、コーディング効率又はビット効率が低下する可能性がある。

【0293】

実施例

【0294】

本開示の一実施例によれば、「ｔｅｌｅ」サンプルグループは、複数の時間的レベルを有するトラックに存在することができる。また、複数の時間的レベルを有するトラックは、ジオメトリデータを運搬（ｃａｒｒｙ）するトラックであり得る。

【0295】

実施例によれば、時間的レベル個数に関する情報は、サンプルエントリタイプによって互いに異なるボックス内のシンタックス要素によって定義できる。例えば、時間的レベル個数に関する情報は、ＧＰＣＣデコーダコンフィギュレーションレコード（ＧＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｒａｔｉｏｎＲｅｃｏｒｄ）内のシンタックス要素及び／又はＧＰＣＣ時間スケーラビリティ情報ボックス（ＧＰＣＣＳｃａｌａｂｌｉｔｙＩｎｆｏＢｏｘ）内のシンタックス要素によって定義できる。

【0296】

「ｇｐｅ１」、「ｇｐｅｇ」、「ｇｐｃ１」又は「ｇｐｃｇ」と同じサンプルエントリタイプを含むトラックの場合、トラック内の時間的レベルの数は、ＧＰＣＣデコーダコンフィギュレーションレコードのｎｕｍ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌｓシンタックス要素によって定義できる。ＧＰＣＣデコーダコンフィギュレーションレコードは、ジオメトリベースのポイントクラウドコンテンツのためのＧ－ＰＣＣデコーダコンフィギュレーション情報を提供することができる。ＧＰＣＣデコーダコンフィギュレーションレコードのシンタックス構造は、下記表１のように定義できる。

【0297】

【表1】

【0298】

上記のシンタックス構造において、ＧＰＣＣデコーダコンフィギュレーションレコードは、ｃｏｎｆｉｇｕｒａｔｉｏｎＶｅｒｓｉｏｎ、ｐｒｏｆｉｌｅ＿ｉｄｃ、ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｆｌａｇｓ、ｌｅｖｅｌ＿ｉｄｃ、ｎｕｍＯｆＳｅｔｕｐＵｎｉｔＡｒｒａｙｓ、ＳｅｔｕｐＵｎｉｔＴｙｐｅ、ｃｏｍｐｌｅｔｅｎｅｓｓ、ｎｕｍＯｆＳｅｐｕｐＵｎｉｔ、ｓｅｔｕｐＵｎｉｔのうちの少なくとも一つを含むことができる。ｎｕｍ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌｓシンタックス要素は、Ｇ－ＰＣＣビットストリームフレームがグループ化される時間的レベルの最大数を表すことができる。

【0299】

「ｇｐｃｂ」又は「ｇｐｅｂ」と同じサンプルエントリタイプを含むトラックの場合、トラック内の時間的レベルの数は、ＧＰＣＣ時間スケーラビリティ情報ボックスのｎｕｍ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌｓシンタックス要素によって定義できる。ＧＰＣＣ時間スケーラビリティ情報ボックスは、Ｇ－ＰＣＣトラックに対するスケーラビリティ情報を含むことができる。ＧＰＣＣ時間スケーラビリティ情報ボックスのシンタックス構造は、下記表２のように定義できる。

【0300】

【表2】

【0301】

上記のシンタックス構造において、ｎｕｍ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌｓは、Ｇ－ＰＣＣビットストリームフレームがグループ化される時間的レベルの最大数を表すことができる。ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｉｄは、Ｇ－ＰＣＣサンプルの時間的レベル識別子情報を表すことができる。

【0302】

本開示の他の実施例によれば、「ｇｐｅ１」、「ｇｐｅｇ」、「ｇｐｃ１」又は「ｇｐｃｇ」と同じサンプルエントリタイプを含むトラックの場合、トラック内の時間的レベルの数は、ＧＰＣＣデコーダコンフィギュレーションレコード以外の他のボックスに含まれることもできる。例えば、前記他のボックスは、ＧＰＣＣ時間スケーラビリティ情報ボックス又はＧ－ＰＣＣ関連時間スケーラビリティ情報を含む任意のボックスであり得る。

【0303】

或いは、「ｇｐｃｂ」又は「ｇｐｅｂ」と同じサンプルエントリタイプを含むトラックの場合、トラック内の時間的レベルの数は、ＧＰＣＣ時間スケーラビリティ情報ボックス以外の他のボックスに含まれることもできる。例えば、前記他のボックスは、Ｇ－ＰＣＣ関連の時間スケーラビリティ情報を含む任意のボックスであり得る。

【0304】

本開示の他の実施例によれば、トラック内の時間的レベルの数は、トラック内のサンプルエントリタイプに関係なく、所定のボックスに含まれることができる。例えば、所定のボックスは、ＧＰＣＣデコーダコンフィギュレーションレコード、ＧＰＣＣ時間スケーラビリティ情報ボックス、又はＧ－ＰＣＣ関連時間スケーラビリティ情報を含む任意のボックスであり得る。

【0305】

Ｇ－ＰＣＣ関連時間スケーラビリティ情報を含むボックスは、さまざま名称で命名できる。例えば、Ｇ－ＰＣＣ関連時間スケーラビリティ情報ボックスは、ＧＰＣＣＳｃａｌａｂｉｌｉｔｙＩｎｆｏＢｏｘ又はＧＰＣＣＴｉｌｅＳｃａｌａｂｉｌｉｔｙＩｎｆｏＢｏｘと呼ばれることがある。

【0306】

Ｇ－ＰＣＣトラック内に「ｔｅｌｅ」サンプルグループが存在する場合、第１時間的レベル識別子に属するサンプルは、第１時間的レベル識別子に１を加えたのと同じサンプルグループディスクリプションインデックスにマッピングできる。

【0307】

サンプルグループディスクリプションインデックスは、サンプルディスクリプション（ｓｔｓｄ）ボックスに含まれたサンプルを説明するサンプルエントリのインデックスを意味することができる。サンプルディスクリプション（ｓｔｓｄ）ボックスは、デコーダコンフィギュレーションレコードでシグナリングされた全ての時間的レベルに対するサンプルディスクリプション信号を含むことができる。また、サンプルディスクリプション（ｓｔｓｄ）ボックスはトラックのためのサンプルエントリを含むことができる。

【0308】

アトリビュートトラック内のサンプルの時間的レベルは、参照されたジオメトリトラック内の対応（ｃｏｒｒｅｓｐｏｎｄｉｎｇ）サンプル、すなわち同じ合成（ｃｏｍｐｏｓｉｔｉｏｎ）タイムスタンプを有するサンプルの時間的レベルと同じであり得る。したがって、「ｔｅｌｅ」サンプルグループは、ジオメトリデータのみを運搬するトラック内に存在することができる。

【0309】

図１３～図１５は、本開示の一実施例によるトラック内のサンプルグループ化に対する例示を示す。

【0310】

図１３を参照すると、各トラック（トラック１及びトラック２）は、ＧＰＣＣ時間スケーラビリティ情報（「ｇｓｃｉ」）ボックス、サンプルグループディスクリプション（「ｓｇｐｄ」）ボックス又はサンプルグループ（「ｓｂｇｐ」）ボックスのうちの少なくとも一つを含むことができる。

【0311】

「ｇｓｃｉ」ボックスは、時間的レベル個数に関する情報（ｎｕｍ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌｓ）を含むことができる。「ｓｇｐｄ」ボックスは、サンプルグループに含まれたサンプルの共通特性に関する情報を含むことができる。「ｓｂｇｐ」ボックスは、サンプルの含まれたサンプルグループに関する情報を含むことができる。

【0312】

図１３のトラック１を参照すると、「ｇｓｃｉ」ボックスに存在する時間的レベルの個数は２であり得る。このとき、２つの時間的レベルは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｉｄで区別できる。「ｓｇｐｄ」ボックスに含まれたエントリの数は、２つ（ｅｎｔｒｙ＿ｃｏｕｎｔ：２）であり得る。「ｓｇｐｄ」ボックス内に存在するエントリは、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｉｔｉｏｎＥｎｔｒｙ（「ｔｅｌｅ」）で表すことができ、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ（「ｔｅｌｅ」）は、「ｔｅｌｅ」サンプルグループディスクリプションエントリを意味することができる。トラック１の「ｓｂｇｐ」ボックスは「ｔｅｌｅ」サンプルグループを含むことができ、エントリの数は１２個であり得る。

【0313】

図１３のトラック２を参照すると、トラック２の「ｇｓｃｉ」ボックスに存在する時間的レベルの個数は、２であり得る。このとき、２つの時間的レベルは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｉｄで区別できる。トラック２の「ｓｇｐｄ」ボックスに含まれたエントリの数は、４つであり得る。「ｓｇｐｄ」ボックス内に存在するエントリは、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｉｔｉｏｎＥｎｔｒｙ（「ｔｅｌｅ」）で表すことができ、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ（「ｔｅｌｅ」）は、「ｔｅｌｅ」サンプルグループディスクリプションエントリを意味することができる。トラック２の「ｓｂｇｐ」ボックスは「ｔｅｌｅ」サンプルグループを含むことができ、エントリの数は１２個であり得る。

【0314】

図１３の「ｍｄａｔ」ボックスは、メディアデータを含むことができる。具体的には、「ｍｄａｔ」ボックスは、画像フレームを含むことができる。「ｍｄａｔ」ボックス内に含まれた画像フレームは、固有の識別子（ＴｅｍｐｏｒａｌＩｄ、Ｔｉｄ）を有することができる。例えば、「ｍｄａｔ」ボックスは、４つのＴｅｍｐｏｒａｌＩＤ（Ｔｉｄ０、Ｔｉｄ１、Ｔｉｄ２、Ｔｉｄ３）を含むことができる。

【0315】

時間的レベルタイルトラック内のサンプルグループ化の例を示す図１４を参照すると、図１４のトラック１は、「ｇｓｃｉ」ボックスを含み、トラック２は、「ｓｇｐｄ」ボックス及び「ｓｂｇｐ」ボックスを含むことができる。トラック２は、すべての時間的レベルのサンプルを含む時間的レベルタイルトラックであるので、ＧＰＣＣＴｉｌｅＳｃａｌａｂｉｌｉｔｙＩｎｆｏＢｏｘ（「ｇｔｓｉ」ボックス）を含まなくてもよい。

【0316】

図１５を参照すると、図１５のＧＰＣＣファイル構造は、タイルベーストラック（トラック１）及び２つの時間的レベルタイルトラック（トラック２及びトラック３）を含むことができる。それぞれの時間的レベルタイルトラックにおいて、「ｓｇｐｄ」ボックス内の「ｔｅｌｅ」サンプルグループディスクリプションエントリの数は、「ｇｔｓｉ」ボックス内のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｉｄ ｐｌｕｓ １の最大値と同じでもよい。

【0317】

図１６及び図１７は、本開示の実施例による「ｔｅｌｅ」サンプルグループ化のためのフローチャートを示す。

【0318】

図１６を参照すると、伝送装置１０は、Ｇ－ＰＣＣファイル内のトラックの時間的レベル個数情報を生成することができる（Ｓ１６１０）。時間的レベル個数情報は、トラック内に存在する時間的レベルの個数を示す情報であり得る。時間的レベル個数情報は、ｎｕｍ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌｓで表すことができる。

【0319】

伝送装置１０は、時間的レベルの個数（又は、時間的レベル個数情報）に基づいて少なくとも一つのサンプルグループを構成することができる（Ｓ１６２０）。例えば、伝送装置１０は、トラック内の時間的レベルの個数が複数個である場合に少なくとも一つのサンプルグループを構成することができる。他の例として、伝送装置１０は、トラック内の時間的レベルの個数が複数個であり、当該トラックがジオメトリトラックである場合に少なくとも一つのサンプルグループを構成することができる。サンプルグループは「ｔｅｌｅ」サンプルグループであり得る。

【0320】

伝送装置１０は、サンプルグループ情報を生成することができる（Ｓ１６３０）。サンプルグループ情報は、ステップＳ１６２０で構成したサンプルグループに関する情報であり得る。サンプルグループ情報は、Ｇ－ＰＣＣサンプルの時間的レベル識別子情報を含むことができる。時間的レベル識別子情報は、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｉｄで表すことができる。

【0321】

伝送装置１０は、Ｇ－ＰＣＣファイルを生成することができる（Ｓ１６４０）。Ｇ－ＰＣＣファイルは、時間的レベル個数情報及び／又はサンプルグループ情報のうちの少なくとも一つを含むことができる。

【0322】

本開示によれば、トラック内にサンプルグループ情報が存在する場合、時間的レベル識別子に属するサンプルは、サンプルグループディスクリプションインデックスにマッピングされることができる。この場合、サンプルグループディスクリプションインデックスは、時間的レベル識別子値に１を加えた値であり得る。

【0323】

図１７を参照すると、受信装置２０は、Ｇ－ＰＣＣファイルを取得することができる（Ｓ１７１０）。Ｇ－ＰＣＣファイルは、ポイントクラウドデータ、トラックの時間的レベル個数情報、サンプルグループ情報を含むことができる。

【0324】

受信装置２０は、Ｇ－ＰＣＣファイル内のトラックの時間的レベル個数情報をＧ－ＰＣＣファイルから取得することができる（Ｓ１７２０）。時間的レベル個数情報はｎｕｍ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌｓであり得る。

【0325】

受信装置２０は、時間的レベル個数情報に基づいて、トラック内のサンプルに対するサンプルグループ情報をＧ－ＰＣＣファイルから取得することができる（Ｓ１７３０）。例えば、受信装置２０は、トラック内の時間的レベルの個数が複数個である場合に少なくとも一つのサンプルグループを構成することができる。他の例として、受信装置２０は、トラック内の時間的レベルの個数が複数個であり、当該トラックがジオメトリトラックである場合に少なくとも一つのサンプルグループを構成することができる。サンプルグループ情報は、Ｇ－ＰＣＣサンプルの時間的レベル識別子情報を含むことができる。時間的レベル識別子情報は、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｉｄで表すことができる。

【0326】

図１８は、本開示の実施例による「ｔｅｌｅ」サンプルグループ化のためのＧ－ＰＣＣファイルの構造に対する例示を示す。

【0327】

図１８を参照すると、Ｇ－ＰＣＣファイル１８００内のｍｏｏｖボックス１８０５は、２つ以上のトラックが存在するマルチトラックカプセル化ファイルであり得る。ここで、ｍｏｏｖボックス１８０５内に存在する２つ以上のトラックの種類は、ジオメトリトラック及び／又はアトリビュートトラックを含むことができる。

【0328】

本開示の一実施例によれば、「ｔｅｌｅ」サンプルグループは、ジオメトリトラック内にのみ存在することができる。さらに、「ｔｅｌｅ」サンプルグループは、ジオメトリトラック内の時間的レベル個数が複数である場合にのみトラック内に存在することができる。図１８の場合、ジオメトリトラック＃１（１８１０）は、トラック内の時間的レベルが０、１、２であって、複数個である。したがって、ジオメトリトラック＃１（１８０１）は、トラック内に「ｔｅｌｅ」サンプルグループが存在することができる。しかし、ジオメトリトラック＃２（１８１５）は、トラック内の時間的レベルが３であって、一つである。したがって、ジオメトリトラック＃２（１８１５）は、トラック内に「ｔｅｌｅ」サンプルグループが存在することができない。

【0329】

図１９及び図２０は、本開示の実施例によるサンプルグループ化の如何に基づくデータ伝送／受信のためのフローチャートである。

【0330】

図１９を参照すると、伝送装置１０は、トラック内の時間的レベル個数に基づいてサンプルのグループ化の如何を決定することができる（Ｓ１９１０）。伝送装置１０は、トラック内の時間的レベル個数が２以上である場合、トラック内のサンプルをグループ化することができる。これに対し、伝送装置１０は、トラック内の時間的レベルの個数が一つである場合、トラック内のサンプルに対してグループ化を行わなくてもよい。もしトラック内の時間的レベル個数が２以上であることに基づいてサンプルがグループ化された場合、伝送装置１０は、当該サンプルグループ情報を生成することができる（Ｓ１９２０）。サンプルグループ情報は、時間的レベルインデックス情報を含むことができる。

【0331】

伝送装置１０は、ステップＳ１９２０で生成したサンプルグループ情報に基づいてサンプルをカプセル化することができる（Ｓ１９３０）。これに対し、トラック内のサンプルがグループ化されていない場合、伝送装置１０は、サンプルグループ情報の生成なしにサンプルをカプセル化することができる（Ｓ１９３０）。

【0332】

図２０を参照すると、受信装置２０は、時間的レベル個数が２以上であるか否かを確認することができる（Ｓ２０１０）。時間的レベル個数情報は、トラック内に存在する時間的レベルの個数に関する情報であり得る。受信装置２０は、トラック内の時間的レベル個数情報が２以上である場合にトラック内のサンプルがグループ化されたと判断することができる。これに対し、受信装置２０は、トラック内の時間的レベル個数情報が一つである場合、トラック内のサンプルがグループ化されていないと判断することができる。

【0333】

受信装置２０は、サンプルグループ情報を取得することができる（Ｓ２０２０）。サンプルグループ情報は、トラック内の時間的レベルインデックス情報を含むことができる。時間的レベルインデックス情報は、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｉｄであり得る。受信装置２０は、ステップＳ２０１０で確認した時間的レベル個数に基づいてサンプルグループ情報を取得することができる。具体的には、受信装置２０は、ステップＳ２０１０で確認した時間的レベル個数が２以上である場合、サンプルグループ情報を取得することができる。

【0334】

受信装置２０は、ステップＳ２０２０で取得したサンプルグループ情報に基づいてサンプルをデカプセル化することができる（Ｓ２０３０）。これに対し、受信装置２０は、トラック内の時間的レベル個数が２以上でない場合、サンプルグループ情報の確認なしにサンプルをデカプセル化することができる（Ｓ２０３０）。

【0335】

以上で説明した本開示によれば、トラック内の時間的レベルの個数が一つである場合には、サンプルグループ化を行わないことにより、不要な「ｔｅｌｅ」サンプルグループを除去することができる。また、トラック内の時間的レベルの個数が一つである場合には、サンプルグループ情報をシグナリングしないことにより、不要な情報をシグナリングしなくてもよい。これにより、Ｇ－ＰＣＣファイルデータのカプセル化／デカプセル化効率及び／又はビット効率が向上することができる。

【0336】

本開示の範囲は、多様な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能な命令（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又は命令などが保存されて装置又はコンピュータ上で実行可能な非一時的コンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。

【産業上の利用可能性】

【0337】

本開示による実施例は、ポイントクラウドコンテンツの提供に利用可能である。また、本開示による実施例は、ポイントクラウドデータの符号化／復号化に利用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10a】

【図10b】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【国際調査報告】