▶ エルジー エレクトロニクス インコーポレイティドの特許一覧
特開2024-96948ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024096948
(43)【公開日】2024-07-17
(54)【発明の名称】ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
(51)【国際特許分類】
H04N 19/70 20140101AFI20240709BHJP
H04N 19/597 20140101ALI20240709BHJP
G06T 9/00 20060101ALI20240709BHJP
【ＦＩ】
H04N19/70
H04N19/597
G06T9/00
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2024067219
(22)【出願日】2024-04-18
(62)【分割の表示】P 2022542094の分割
【原出願日】2020-12-15
(31)【優先権主張番号】62/958,682
(32)【優先日】2020-01-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/008,804
(32)【優先日】2020-04-12
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．
【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100159259
【弁理士】
【氏名又は名称】竹本 実
(72)【発明者】
【氏名】オ ソチン
(57)【要約】
【課題】ポイントクラウドを効率的に送受信するためのポイントクラウドデータ送受信装置及び送受信方法を提供する。
【解決手段】実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階、及びポイントクラウドデータを送信する段階を含む。実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータを受信する段階、ポイントクラウドデータを復号する段階、及びポイントクラウドデータをレンダリングする段階を含む。
【選択図】図１
【解決手段】実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階、及びポイントクラウドデータを送信する段階を含む。実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータを受信する段階、ポイントクラウドデータを復号する段階、及びポイントクラウドデータをレンダリングする段階を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
ポイントクラウドデータを送信する方法であって、
ポイントクラウドデータを符号化する段階と、
前記符号化されたポイントクラウドデータをファイル内にカプセル化する段階と、
前記ファイルを送信する段階と、を含み、
前記ファイルは、ジオメトリデータ及び特質データを含む第１トラックを含み、
前記ファイルは、前記ポイントクラウドデータに対するバウンディングボックス情報を含む第２トラックを更に含み、前記バウンディングボックス情報は、バウンディングボックスの位置情報を含み、
前記第２トラックは、動的タイプに対するサンプルエントリーと、前記バウンディングボックスに対する空間領域に対する位置情報を含む動的空間領域情報を含むサンプルとを含む時間指定メタデータトラックを更に含み、前記空間領域は、時間によって動的に変化する、ポイントクラウドデータ送信方法。
ポイントクラウドデータを符号化する段階と、
前記符号化されたポイントクラウドデータをファイル内にカプセル化する段階と、
前記ファイルを送信する段階と、を含み、
前記ファイルは、ジオメトリデータ及び特質データを含む第１トラックを含み、
前記ファイルは、前記ポイントクラウドデータに対するバウンディングボックス情報を含む第２トラックを更に含み、前記バウンディングボックス情報は、バウンディングボックスの位置情報を含み、
前記第２トラックは、動的タイプに対するサンプルエントリーと、前記バウンディングボックスに対する空間領域に対する位置情報を含む動的空間領域情報を含むサンプルとを含む時間指定メタデータトラックを更に含み、前記空間領域は、時間によって動的に変化する、ポイントクラウドデータ送信方法。
【請求項2】
前記第２トラックは、前記ポイントクラウドデータに対するパラメータセット及び前記ポイントクラウドデータに対するアトラスサブビットストリームパラメータセットを含むサンプルエントリーを含む、請求項１に記載のポイントクラウドデータ送信方法。
【請求項3】
前記ファイルは、前記ポイントクラウドデータに対する同一の３Ｄバウンディングボックスに属するトラックを含み、
前記トラックはグルーピングされる、請求項１に記載のポイントクラウドデータ送信方法。
前記トラックはグルーピングされる、請求項１に記載のポイントクラウドデータ送信方法。
【請求項4】
前記ファイルは、前記ポイントクラウドデータに対する同一の３Ｄバウンディングボックスに属するトラック又はアイテムを含み、
前記トラック又は前記アイテムはグルーピングされ、
前記３Ｄバウンディングボックスは、前記ポイントクラウドデータに関連する１つ又は１つ以上のエンティティを示す、請求項１に記載のポイントクラウドデータ送信方法。
前記トラック又は前記アイテムはグルーピングされ、
前記３Ｄバウンディングボックスは、前記ポイントクラウドデータに関連する１つ又は１つ以上のエンティティを示す、請求項１に記載のポイントクラウドデータ送信方法。
【請求項5】
ポイントクラウドデータを受信する方法であって、
ポイントクラウドデータを含むファイルを受信する段階と、
前記ファイルをデカプセル化する段階と、
前記ポイントクラウドデータを復号する段階と、を含み、
前記ファイルは、ジオメトリデータ及び特質データを含む第１トラックを含み、
前記ファイルは、前記ポイントクラウドデータに対するバウンディングボックス情報を含む第２トラックを更に含み、前記バウンディングボックス情報は、バウンディングボックスの位置情報を含み、
前記第２トラックは、動的タイプに対するサンプルエントリーと、前記バウンディングボックスに対する空間領域に対する位置情報を含む動的空間領域情報を含むサンプルとを含む時間指定メタデータトラックを更に含み、前記空間領域は、時間によって動的に変化する、ポイントクラウドデータ受信方法。
ポイントクラウドデータを含むファイルを受信する段階と、
前記ファイルをデカプセル化する段階と、
前記ポイントクラウドデータを復号する段階と、を含み、
前記ファイルは、ジオメトリデータ及び特質データを含む第１トラックを含み、
前記ファイルは、前記ポイントクラウドデータに対するバウンディングボックス情報を含む第２トラックを更に含み、前記バウンディングボックス情報は、バウンディングボックスの位置情報を含み、
前記第２トラックは、動的タイプに対するサンプルエントリーと、前記バウンディングボックスに対する空間領域に対する位置情報を含む動的空間領域情報を含むサンプルとを含む時間指定メタデータトラックを更に含み、前記空間領域は、時間によって動的に変化する、ポイントクラウドデータ受信方法。
【請求項6】
前記第２トラックは、前記ポイントクラウドデータに対するパラメータセット及び前記ポイントクラウドデータに対するアトラスサブビットストリームパラメータセットを含むサンプルエントリーを含む、請求項５に記載のポイントクラウドデータ受信方法。
【請求項7】
前記ファイルは、前記ポイントクラウドデータに対する同一の３Ｄバウンディングボックスに属するトラックを含み、
前記トラックはグルーピングされる、請求項５に記載のポイントクラウドデータ受信方法。
前記トラックはグルーピングされる、請求項５に記載のポイントクラウドデータ受信方法。
【請求項8】
前記ファイルは、前記ポイントクラウドデータに対する同一の３Ｄバウンディングボックスに属するトラック又はアイテムを含み、
前記トラック又は前記アイテムはグルーピングされ、
前記３Ｄバウンディングボックスは、前記ポイントクラウドデータに関連する１つ又は１つ以上のエンティティを示す、請求項５に記載のポイントクラウドデータ受信方法。
前記トラック又は前記アイテムはグルーピングされ、
前記３Ｄバウンディングボックスは、前記ポイントクラウドデータに関連する１つ又は１つ以上のエンティティを示す、請求項５に記載のポイントクラウドデータ受信方法。
【請求項9】
ポイントクラウドデータを送信するための装置であって、
ポイントクラウドデータを符号化するエンコーダと、
前記符号化されたポイントクラウドデータをファイル内にカプセル化するカプセル化部と、
前記ファイルを送信する送信機と、を含み、
前記ファイルは、ジオメトリデータ及び特質データを含む第１トラックを含み、
前記ファイルは、前記ポイントクラウドデータに対するバウンディングボックス情報を含む第２トラックを更に含み、前記バウンディングボックス情報は、バウンディングボックスの位置情報を含み、
前記第２トラックは、動的タイプに対するサンプルエントリーと、前記バウンディングボックスに対する空間領域に対する位置情報を含む動的空間領域情報を含むサンプルとを含む時間指定メタデータトラックを更に含み、前記空間領域は、時間によって動的に変化する、ポイントクラウドデータ送信装置。
ポイントクラウドデータを符号化するエンコーダと、
前記符号化されたポイントクラウドデータをファイル内にカプセル化するカプセル化部と、
前記ファイルを送信する送信機と、を含み、
前記ファイルは、ジオメトリデータ及び特質データを含む第１トラックを含み、
前記ファイルは、前記ポイントクラウドデータに対するバウンディングボックス情報を含む第２トラックを更に含み、前記バウンディングボックス情報は、バウンディングボックスの位置情報を含み、
前記第２トラックは、動的タイプに対するサンプルエントリーと、前記バウンディングボックスに対する空間領域に対する位置情報を含む動的空間領域情報を含むサンプルとを含む時間指定メタデータトラックを更に含み、前記空間領域は、時間によって動的に変化する、ポイントクラウドデータ送信装置。
【請求項10】
ポイントクラウドデータを受信するための装置であって、
ポイントクラウドデータを含むファイルを受信する受信機と、
前記ファイルをデカプセル化するデカプセル化部と、
前記ポイントクラウドデータを復号するデコーダと、を含み、
前記ファイルは、ジオメトリデータ及び特質データを含む第１トラックを含み、
前記ファイルは、前記ポイントクラウドデータに対するバウンディングボックス情報を含む第２トラックを更に含み、前記バウンディングボックス情報は、バウンディングボックスの位置情報を含み、
前記第２トラックは、動的タイプに対するサンプルエントリーと、前記バウンディングボックスに対する空間領域に対する位置情報を含む動的空間領域情報を含むサンプルとを含む時間指定メタデータトラックを更に含み、前記空間領域は、時間によって動的に変化する、ポイントクラウドデータ受信装置。
ポイントクラウドデータを含むファイルを受信する受信機と、
前記ファイルをデカプセル化するデカプセル化部と、
前記ポイントクラウドデータを復号するデコーダと、を含み、
前記ファイルは、ジオメトリデータ及び特質データを含む第１トラックを含み、
前記ファイルは、前記ポイントクラウドデータに対するバウンディングボックス情報を含む第２トラックを更に含み、前記バウンディングボックス情報は、バウンディングボックスの位置情報を含み、
前記第２トラックは、動的タイプに対するサンプルエントリーと、前記バウンディングボックスに対する空間領域に対する位置情報を含む動的空間領域情報を含むサンプルとを含む時間指定メタデータトラックを更に含み、前記空間領域は、時間によって動的に変化する、ポイントクラウドデータ受信装置。
【発明の詳細な説明】
【技術分野】
【0001】
実施例はユーザにＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、増強現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実)及び自律走行サービスなどの様々なサービスを提供するために、ポイントクラウド(Ｐｏｉｎｔ Ｃｌｏｕｄ)コンテンツを提供する方案を提供する。
【背景技術】
【0002】
ポイントクラウドは３Ｄ空間上のポイントの集合である。３Ｄ空間上のポイントの量が多く、ポイントクラウドデータの生成が難しいという問題がある。
【0003】
ポイントクラウドのデータの送受信のためには、大量の処理量が求められるという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
実施例に係る技術的課題は、上記問題点を解決するために、ポイントクラウドを効率的に送受信するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置及び受信方法を提供することにある。
【0005】
実施例に係る技術的課題は、遅延時間(ｌａｔｅｎｃｙ)及び符号化／復号の複雑度を解決するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置及び受信方法を提供することにある。
【0006】
但し、上記技術的課題のみに制限されず、この明細書の全ての内容に基づいて当業者が導き出される他の技術的課題にも実施例の権利範囲を拡張することができる。
【課題を解決するための手段】
【0007】
上記目的及び他の利点を達成するために、実施例に係るポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階、ポイントクラウドデータをカプセル化(ｅｎｃａｐｓｕｌａｔｉｎｇ)する段階、及びポイントクラウドデータを送信する段階を含む。
【0008】
実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータを受信する段階、ポイントクラウドデータをデカプセル化(ｄｅｃａｐｓｕｌａｔｉｎｇ)する段階、及びポイントクラウドデータを復号する段階を含む。
【発明の効果】
【0009】
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法及び受信装置は、良質のポイントクラウドサービスを提供することができる。
【0010】
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法及び受信装置は、様々なビデオコーデック方式を達成することができる。
【0011】
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法及び受信装置は、自立走行サービスなどの汎用のポイントクラウドコンテンツを提供することができる。
【図面の簡単な説明】
【0012】
図面は実施例をさらに理解するために添付され、実施例に関する説明と共に実施例を示す。
【0013】
【図1】実施例によるポイントクラウドコンテンツを提供するための送信／受信システム構造の一例を示す。
【0014】
【図2】実施例によるポイントクラウドデータのキャプチャーの一例を示す。
【0015】
【図3】実施例によるポイントクラウド及びジオメトリ、テクスチャーイメージの一例を示す。
【0016】
【図4】実施例によるＶ－ＰＣＣ符号化処理の一例を示す。
【0017】
【図5】実施例による表面(Ｓｕｒｆａｃｅ)の接平面(ｔａｎｇｅｎｔ ｐｌａｎｅ)及び法線ベクトル(ｎｏｒｍａｌ ｖｅｃｔｏｒ)の一例を示す。
【0018】
【図6】実施例によるポイントクラウドのバウンディングボックス(ｂｏｕｎｄｉｎｇ ｂｏｘ)の一例を示す。
【0019】
【図7】実施例による占有マップ(ｏｃｃｕｐａｎｃｙ ｍａｐ)の個別パッチ(ｐａｔｃｈ)の位置決めの一例を示す。
【0020】
【図8】実施例によるノーマル(ｎｏｒｍａｌ)、タンジェント(ｔａｎｇｅｎｔ)、バイタンジェント(ｂｉｔａｎｇｅｎｔ)軸の関係の一例を示す。
【0021】
【図9】実施例によるプロジェクションモードの最小モード及び最大モードの構成の一例を示す。
【0022】
【図10】実施例によるＥＤＤコードの一例を示す。
【0023】
【図11】実施例による隣接点のカラー(ｃｏｌｏｒ)値を用いた復色(ｒｅｃｏｌｏｒｉｎｇ)の一例を示す。
【0024】
【図12】実施例によるプッシュ－プルバックグラウンドフィリング(ｐｕｓｈ－ｐｕｌｌ ｂａｃｋｇｒｏｕｎｄ ｆｉｌｌｉｎｇ)の一例を示す。
【0025】
【図13】実施例による４＊４サイズのブロック(ｂｌｏｃｋ)に対して可能なトラバーサルオーダー(ｔｒａｖｅｒｓａｌ ｏｒｄｅｒ)の一例を示す。
【0026】
【図14】実施例によるベストトラバーサルオーダーの一例を示す。
【0027】
【図15】実施例による２Ｄビデオ／イメージエンコーダ(２Ｄ ｖｉｄｅｏ／ｉｍａｇｅ Ｅｎｃｏｄｅｒ)の一例を示す。
【0028】
【図16】実施例によるＶ－ＰＣＣ復号プロセス(ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓ)の一例を示す。
【0029】
【図17】実施例による２Ｄビデオ／イメージデコーダ(２Ｄ Ｖｉｄｅｏ／Ｉｍａｇｅ Ｄｅｃｏｄｅｒ)の一例を示す。
【0030】
【図18】実施例による送信装置の動作の流れの一例を示す。
【0031】
【図19】実施例による受信装置の動作の流れの一例を示す。
【0032】
【図20】実施例によるＶ－ＰＣＣ基盤のポイントクラウドデータの格納及びストリーミングのためのアーキテクチャの一例を示す。
【0033】
【図21】実施例によるポイントクラウドデータの格納及び送信装置の構成の一例を示す。
【0034】
【図22】実施例によるポイントクラウドデータ受信装置の構成の一例を示す。
【0035】
【図23】実施例によるポイントクラウドデータの送受信方法／装置と連動可能な構造の一例を示す。
【0036】
【図24】実施例によるポイントクラウドデータに対する客体(オブジェクト)及び客体に対するバウンディングボックスを示す。
【0037】
【図25】実施例による動的なポイントクラウド客体のバウンディングボックス及び全体バウンディングボックスを示す。
【0038】
【図26】実施例によるポイントクラウドデータを含むビットストリームの構造を示す。
【0039】
【図27】実施例によるポイントクラウドデータを含むビットストリームの構造を示す。
【0040】
【図28】実施例によるＶ－ＰＣＣユニット及びＶ－ＰＣＣユニットヘッダを示す。
【0041】
【図29】実施例によるＶ－ＰＣＣユニットのペイロードを示す。
【0042】
【図30】実施例によるパラメータセット(Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔ)を示す。
【0043】
【図31】実施例によるアトラスサブビットストリームの構造を示す。
【0044】
【図32】実施例によるアトラスシーケンスパラメータセット(ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)を示す。
【0045】
【図33】実施例によるアトラスフレームパラメータセット(ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)を示す。
【0046】
【図34】実施例によるアトラスフレームタイル情報(ａｔｌａｓ_ｆｒａｍｅ_ｔｉｌｅ_ｉｎｆｏｒｍａｔｉｏｎ)を示す。
【0047】
【図35】実施例による補足強化情報(Ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ)を示す。
【0048】
【図36】実施例による３ＤバウンディングボックスＳＥＩを示す。
【0049】
【図37】実施例によるボリュメトリックタイリング情報を示す。
【0050】
【図38】実施例によるボリュメトリックタイリング情報客体を示す。
【0051】
【図39】実施例によるボリュメトリックタイリング情報ラベルを示す。
【0052】
【図40】実施例によるカプセル化されたＶ－ＰＣＣデータコンテナの構造を示す。
【0053】
【図41】実施例による絶縁されたＶ－ＰＣＣデータコンテナの構造を示す。
【0054】
【図42】実施例によるＶ－ＰＣＣサンプルエントリーを示す。
【0055】
【図43】実施例によるトラック代替及びグルーピングを示す。
【0056】
【図44】実施例による３Ｄバウンディングボックス情報構造を示す。
【0057】
【図45】実施例による非－時間指定Ｖ－ＰＣＣデータをカプセル化する構造の概略を示す。
【0058】
【図46】実施例によるＶ－ＰＣＣ ３Ｄバウンディングボックスアイテムプロパティを示す。
【0059】
【図47】実施例によるＶ－ＰＣＣユニットを示す。
【0060】
【図48】実施例によるＶ－ＰＣＣパラメータセットを示す。
【0061】
【図49】実施例によるアトラスフレームを示す。
【0062】
【図50】実施例によるアトラスビットストリームの構造を示す。
【0063】
以下、図５０のアトラスビットストリームに含まれる情報のシンタックスについて説明する。
【0064】
【図51】実施例によるポイントクラウドデータを含むビットストリームに含まれるサンプルストリームＮＡＬユニットのヘッダ、サンプルストリームＮＡＬユニット、ＮＡＬユニット、ＮＡＬユニットのヘッダを示す。
【0065】
【図52】実施例によるＮＡＬユニットタイプを示す。
【0066】
【図53】実施例によるアトラスシーケンスパラメータセットを示す。
【0067】
【図54】実施例によるアトラスフレームパラメータセットを示す。
【0068】
【図55】実施例によるアトラス適応パラメータセット(ａｔｌａｓ_ａｄａｐｔａｔｉｏｎ_ｐａｒａｍｅｔｅｒ_ｓｅｔ)を示す。
【0069】
【図56】実施例によるアトラスカメラパラメータ(ａｔｌａｓ_ｃａｍｅｒａ_ｐａｒａｍｅｔｅｒＳ)を示す。
【0070】
【図57】実施例によるアトラスタイルグループレイヤ及びアトラスタイルグループヘッダを示す。
【0071】
【図58】実施例による参照リスト構造(ｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ)を示す。
【0072】
【図59】実施例によるアトラスタイルグループデータ(ａｔｌａｓ_ｔｉｌｅ_ｇｒｏｕｐ_ｄａｔａ_ｕｎｉｔ)を示す。
【0073】
【図60】実施例によるパッチ情報データ(ｐａｔｃｈ_ｉｎｆｏｒｍａｔｉｏｎ_ｄａｔａ)を示す。
【0074】
【図61】実施例によるパッチデータユニット(ｐａｔｃｈ_ｄａｔａ_ｕｎｉｔ)を示す。
【0075】
【図62】実施例によるＳＥＩ情報を示す。
【0076】
【図63】実施例による３Ｄバウンディングボックス情報の構造である。
【0077】
【図64】実施例によるポイントクラウドデータ送信方法を示す。
【0078】
【図65】実施例によるポイントクラウドデータ受信方法を示す。
【発明を実施するための形態】
【0079】
以下、添付図面を参照しながら望ましい実施例について具体的に説明する。添付図面を参照した以下の詳細な説明は、実施例によって具現可能な実施例のみを示すというよりは、望ましい実施例を説明するためのものである。以下の詳細な説明は実施例に対する徹底な理解を提供するために細部事項を含む。しかし、かかる細部事項がなくても実施例を実行できることは当業者にとって明らかである。
【0080】
実施例で使用するほとんどの用語は該当分野において広く使用される一般的なものであるが、一部は出願人によって任意に選択されたものであり、その意味は必要によって以下に詳しく説明する。よって、実施例は用語の単純な名称や意味ではなく、用語が意図する意味に基づいて理解されるべきである。
【0081】
図１は、実施例によるポイントクラウドコンテンツを提供するための送信／受信システム構造の一例を示す。
【0082】
本文書では、ユーザにＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、増強現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、混合現実)及び自立走行サービスなどの様々なサービスを提供するために、ポイントクラウドコンテンツを提供する方案を提供する。実施例によるポイントクラウドコンテンツは、客体をポイントによって表現したデータを示し、ポイントクラウド、ポイントクラウドデータ、ポイントクラウドビデオデータ、ポイントクラウドイメージデータなどとも呼ばれる。
【0083】
実施例によるポイントクラウドデータ送信装置(Ｔｒａｎｓｍｉｓｓｉｏｎ ｄｅｖｉｃｅ)１００００は、ポイントクラウドビデオ取得部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ａｃｑｕｉｓｉｔｉｏｎ ｕｎｉｔ)１０００１、ポイントクラウドビデオエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)１０００２、ファイル／セグメントカプセル化部１０００３及び／又は送信機(Ｔｒａｎｓｍｉｔｔｅｒ(ｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｍｏｄｕｌｅ))１０００４を含む。実施例による送信装置は、ポイントクラウドビデオ(又はポイントクラウドコンテンツ)を確保して処理し、送信することができる。実施例によって、送信装置は、固定局(ｆｉｘｅｄ ｓｔａｔｉｏｎ)、ＢＴＳ(ｂａｓｅ ｔｒａｎｓｃｅｉｖｅｒ ｓｙｓｔｅｍ)、ネットワーク、ＡＩ(Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ)機器及び／又はシステム、ロボット、ＡＲ／ＶＲ／ＸＲ機器及び／又はサーバーなどを含む。また実施例によって、送信装置１００００は、無線接続技術(例えば、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。
【0084】
実施例によるポイントクラウドビデオ取得部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ａｃｑｕｉｓｉｔｉｏｎ ｕｎｉｔ)１０００１は、ポイントクラウドビデオのキャプチャー、合成又は生成プロセスなどによってポイントクラウドビデオを取得する。
【0085】
実施例によるポイントクラウドビデオエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)１０００２は、ポイントクラウドビデオデータを符号化する。実施例によって、ポイントクラウドビデオエンコーダ１０００２は、ポイントクラウドエンコーダ、ポイントクラウドデータエンコーダ、エンコーダなどと呼ばれる。また実施例によるポイントクラウド圧縮コーティング(符号化)は、上述した実施例に限らない。ポイントクラウドビデオエンコーダは、符号化されたポイントクラウドビデオデータを含むビットストリームを出力する。ビットストリームは符号化されたポイントクラウドビデオデータのみならず、ポイントクラウドビデオデータの符号化に関連するシグナリング情報を含む。
【0086】
実施例によるエンコーダはＧ－ＰＣＣ(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)符号化方式及び／又はＶ－ＰＣＣ(Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)符号化方式をいずれも支援する。またエンコーダはポイントクラウド(ポイントクラウドデータ又はポイントの全てを称する)及び／又はポイントクラウドに関するシグナリングデータを符号化することができる。実施例による符号化の具体的な動作については後述する。
【0087】
一方、この明細書で使用するＶ－ＰＣＣ用語は、ビデオ基盤のポイントクラウド圧縮(Ｖｉｄｅｏ－ｂａｓｅｄ ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ(Ｖ－ＰＣＣ))を意味し、Ｖ－ＰＣＣ用語はビジュアルボリュメトリックビデオ基盤のコーディング(Ｖｉｓｕａｌ Ｖｏｌｕｍｅｔｒｉｃ Ｖｉｄｅｏ－ｂａｓｅｄ Ｃｏｄｉｎｇ(Ｖ３Ｃ))と同一であり、相互補完して称することができる。
【0088】
実施例によるファイル／セグメントカプセル化部(Ｆｉｌｅ／Ｓｅｇｍｅｎｔ Ｅｎｃａｐｓｕｌａｔｉｏｎ ｍｏｄｕｌｅ)１０００３は、ポイントクラウドデータをファイル及び／又はセグメントの形式でカプセル化する。実施例によるポイントクラウドデータ送信方法／装置は、ポイントクラウドデータをファイル及び／又はセグメントの形式で送信することができる。
【0089】
実施例による送信機(Ｔｒａｎｓｍｉｔｔｅｒ(ｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｍｏｄｕｌｅ))１０００４は、符号化されたポイントクラウドビデオデータをビットストリームの形式で送信する。実施例によって、ファイル又はセグメントは、ネットワークを介して受信装置へ送信されるか、又はデジタル記憶媒体(例えば、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど)に格納される。実施例による送信機は受信装置(又は受信機(Ｒｅｃｅｉｖｅｒ))と４Ｇ、５Ｇ、６Ｇなどのネットワークを介して有／無線通信が可能である。また送信機はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)に応じて必要なデータ処理の動作を行うことができる。また送信装置はオン・デマンド(Ｏｎ Ｄｅｍａｎｄ)の方式によってカプセル化されたデータを送信することもできる。
【0090】
実施例によるポイントクラウドデータ受信装置(Ｒｅｃｅｐｔｉｏｎ ｄｅｖｉｃｅ)１０００５は、受信機(Ｒｅｃｅｉｖｅｒ)１０００６、ファイル／セグメントデカプセル化部１０００７、ポイントクラウドビデオデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ ｖｉｄｅｏ Ｄｅｃｏｄｅｒ)１０００８、及び／又はレンダラー(Ｒｅｎｄｅｒｅｒ)１０００９を含む。実施例によって受信装置は無線接続技術(例えば、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。
【0091】
実施例による受信機(Ｒｅｃｅｉｖｅｒ)１０００６は、ポイントクラウドビデオデータを含むビットストリームを受信する。実施例によって受信機１０００６は、フィードバック情報(Ｆｅｅｄｂａｃｋ Ｉｎｆｏｒｍａｔｉｏｎ)をポイントクラウドデータ送信装置１００００に送信する。
【0092】
ファイル／セグメントデカプセル化部(Ｆｉｌｅ／Ｓｅｇｍｅｎｔ Ｄｅｃａｐｓｕｌａｔｉｏｎ ｍｏｄｕｌｅ)１０００７は、ポイントクラウドデータを含むファイル及び／又はセグメントをデカプセル化する。実施例によるデカプセル化部は実施例によるカプセル化過程の逆過程を行う。
【0093】
ポイントクラウドビデオデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ ｖｉｄｅｏ Ｄｅｃｏｄｅｒ)１０００７は、受信したポイントクラウドビデオデータを復号する。実施例によるデコーダは実施例による符号化の逆過程を行う。
【0094】
レンダラー(Ｒｅｎｄｅｒｅｒ)１０００７は、復号されたポイントクラウドビデオデータをレンダリングする。実施例によってレンダラー１０００７は受信端側で取得したフィードバック情報をポイントクラウドビデオデコーダ１０００６に送信する。実施例によるポイントクラウドビデオデータはフィードバック情報を受信機に送信する。実施例によれば、ポイントクラウド送信装置が受信したフィードバック情報は、ポイントクラウドビデオエンコーダに提供される。
【0095】
図面において点線で示した矢印は、受信装置１０００５で取得したフィードバック情報(ｆｅｅｄｂａｃｋ ｉｎｆｏｒｍａｔｉｏｎ)の送信経路を示す。フィードバック情報は、ポイントクラウドコンテンツを消費するユーザとの相互作用を反映するための情報であって、ユーザの情報(例えば、ヘッドオリエンテーション情報、ビューポート情報など)を含む。特にポイントクラウドコンテンツがユーザとの相互作用が必要なサービス(例えば、自律走行サービスなど)のためのものである場合、フィードバック情報はコンテンツ送信側(例えば、送信装置１００００)及び／又はサービス供給者に伝送される。実施例によっては、フィードバック情報は送信装置１００００だけではなく受信装置１０００５で使用されることもあり、提供されないこともある。
【0096】
実施例によるヘッドオリエンテーション情報は、ユーザの頭の位置、方向、角度、動きなどに関する情報である。実施例による受信装置１０００５は、ヘッドオリエンテーション情報に基づいてビューポート情報を算出する。ビューポート情報はユーザが見ているポイントクラウドビデオの領域に関する情報である。視点(ｖｉｅｗｐｏｉｎｔ)はユーザがポイントクラウドビデオを見ている点であり、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とする領域であり、領域のサイズ、形態などはＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)により決定される。従って、受信装置１０００４は、ヘッドオリエンテーション情報の他に、装置が支援する垂直(ｖｅｒｔｉｃａｌ)或いは水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート情報を抽出することができる。また受信装置１０００５はゲイズ分析(Ｇａｚｅ Ａｎａｌｙｓｉｓ)などを行って、ユーザのポイントクラウド消費方式、ユーザが凝視するポイントクラウドビデオ領域、凝視時間などを確認する。実施例によれば、受信装置１０００５はゲイズ分析の結果を含むフィードバック情報を送信装置１００００に送信する。実施例によるフィードバック情報はレンダリング及び／又はディスプレイプロセスで得られる。実施例によるフィードバック情報は、受信装置１０００５に含まれた一つ又はそれ以上のセンサにより確保される。また実施例によれば、フィードバック情報は、レンダラー１０００９又は別の外部エレメント(又はデバイス、コンポーネントなど)により確保される。図１に示された点線はレンダラー１０００９で確保したフィードバック情報の伝送プロセスを示す。ポイントクラウドコンテンツ提供システムはフィードバック情報に基づいてポイントクラウドデータを処理(符号化／復号)する。従って、ポイントクラウドビデオデータデコーダ１０００８はフィードバック情報に基づいて復号の動作を行うことができる。また受信装置１０００５はフィードバック情報を送信装置に送信する。送信装置(又はポイントクラウドビデオデータエンコーダ１０００２)は、フィードバック情報に基づいて符号化動作を行う。従って、ポイントクラウドコンテンツ提供システムは、全てのポイントクラウドデータを処理(符号化／復号)せず、フィードバック情報に基づいて必要なデータ(例えば、ユーザのヘッド位置に対応するポイントクラウドデータ)を効率的に処理して、ユーザにポイントクラウドコンテンツを提供することができる。
【0097】
実施例において、送信装置１００００はエンコーダ、送信デバイス、送信機などと呼ばれ、受信装置１０００４はデコーダ、受信デバイス、受信機などと呼ばれる。
【0098】
実施例による図１のポイントクラウドコンテンツ提供システムで処理される(取得／符号化／送信／復号／レンダリングの一連のプロセスで処理される)ポイントクラウドデータは、ポイントクラウドコンテンツデータ又はポイントクラウドビデオデータとも呼ばれる。実施例によれば、ポイントクラウドコンテンツデータはポイントクラウドデータに関連するメタデータ又はシグナリング情報を含む概念として使用することができる。
【0099】
図１に示したポイントクラウドコンテンツ提供システムの要素は、ハードウェア、ソフトウェア、プロセッサ及び／又はそれらの組み合わせなどで具現できる。
【0100】
実施例はユーザにＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、増強現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、混合現実)及び自立走行サービスなどの様々なサービスを提供するために、ポイントクラウドコンテンツを提供する。
【0101】
ポイントクラウドコンテンツサービスを提供するために、まず、ポイントクラウドビデオを得る。得られたポイントクラウドビデオは、一連のプロセスにより送信され、受信側で受信したデータを再び元のポイントクラウドビデオに加工してレンダリングする。これにより、ポイントクラウドビデオをユーザに提供することができる。実施例はこれらの一連のプロセスを効果的に行うために必要な方案を提供する。
【0102】
ポイントクラウドコンテンツサービスを提供するための全体のプロセス(ポイントクラウドデータ送信方法及び／又はポイントクラウドデータ受信方法)は、取得プロセス、符号化プロセス、送信プロセス、復号プロセス、レンダリングプロセス及び／又はフィードバックプロセスを含む。
【0103】
実施例によれば、ポイントクラウドコンテンツ(又はポイントクラウドデータ)を提供するプロセスは、ポイントクラウド圧縮(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)プロセスとも呼ぶ。実施例によれば、ポイントクラウド圧縮プロセスは、ジオメトリ基盤のポイントクラウド圧縮(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)プロセスを意味する。
【0104】
実施例によるポイントクラウドデータ送信装置及びポイントクラウドデータ受信装置の各要素は、ハードウェア、ソフトウェア、プロセッサ及び／又はそれらの組み合わせなどを意味する。
【0105】
ポイントクラウドコンテンツサービスを提供するために、まず、ポイントクラウドビデオを得る。得られたポイントクラウドビデオは、一連のプロセスにより送信され、受信側で受信したデータを再び元のポイントクラウドビデオに加工してレンダリングする。これにより、ポイントクラウドビデオをユーザに提供することができる。本発明はこれらの一連のプロセスを効果的に行うために必要な方案を提供する。
【0106】
ポイントクラウドコンテンツサービスを提供するための全てのプロセスは、取得プロセス、符号化プロセス、送信プロセス、復号プロセス、レンダリングプロセス及び／又はフィードバックプロセスを含む。
【0107】
ポイントクラウド圧縮システムは、送信デバイス及び受信デバイスを含む。送信デバイスはポイントクラウドビデオを符号化してビットストリームを出力し、それをファイル又はストリーミング(ストリーミングセグメント)の形式でデジタル記憶媒体又はネットワークを介して受信デバイスへ伝送する。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど様々な記憶媒体を含む。
【0108】
送信デバイスは概略にポイントクラウドビデオ取得部、ポイントクラウドビデオエンコーダ、ファイル／セグメントカプセル化部、送信部を含む。受信デバイスは概略に受信部、ファイル／セグメントデカプセル化部、ポイントクラウドビデオデコーダ及びレンダラーを含む。エンコーダはポイントクラウドビデオ／映像／ピクチャー／フレーム符号化装置とも呼ばれ、デコーダはポイントクラウドビデオ／映像／ピクチャー／フレーム復号装置とも呼ばれる。送信機はポイントクラウドビデオエンコーダに含まれてもよい。受信機はポイントクラウドビデオデコーダに含まれてもよい。レンダラーはディスプレイ部を含んでもよく、レンダラー及び／又はディスプレイ部は別のデバイス又は外部コンポーネントで構成されてもよい。送信デバイス及び受信デバイスはフィードバックプロセスのための別の内部又は外部のモジュール／ユニット／コンポーネントをさらに含んでもよい。
【0109】
実施例による受信デバイスの動作は、送信デバイスの動作の逆プロセスに従う。
【0110】
ポイントクラウドビデオ取得部は、ポイントクラウドビデオのキャプチャー、合成又は生成プロセスなどを通じてポイントクラウドビデオを得るプロセスを行う。取得プロセスによって、多数のポイントに対する３Ｄ位置(ｘ、ｙ、ｚ)／属性(色、反射率、透明度など)データ、例えば、ＰＬＹ(Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａt)ファイルなどが生成される。複数のフレームを有するビデオの場合、１つ以上のファイルを得ることができる。キャプチャープロセスにおいてポイントクラウドに関連するメタデータ(例えば、キャプチャーに関するメタデータなど)が生成される。
【0111】
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータを符号化するエンコーダ、及びポイントクラウドデータを送信する送信機を含んでもよい。またポイントクラウドを含むビットストリームの形式で送信されてもよい。
【0112】
実施例によるポイントクラウドデータ受信装置は、ポイントクラウドデータを受信する受信部、ポイントクラウドデータを復号するデコーダ、及びポイントクラウドデータをレンダリングするレンダラーを含む。
【0113】
実施例による方法／装置は、ポイントクラウドデータ送信装置及び／又はポイントクラウドデータ受信装置を示す。
【0114】
図２は、実施例によるポイントクラウドデータのキャプチャーの一例を示す。
【0115】
実施例によるポイントクラウドデータはカメラなどにより得られる。実施例によるキャプチャーの方法は、例えば、内向き方式(ｉｎｗａｒｄ－ｆａｃｉｎｇ)及び／又は外向き方式(ｏｕｔｗａｒｄ－ｆａｃｉｎｇ)がある。
【0116】
実施例による内向き方式は、ポイントクラウドデータの客体(Ｏｂｊｅｃｔ)を１つ又は１つ以上のカメラが客体の外側から内側へ撮影して取得するキャプチャー方式である。
【0117】
実施例による外向き方式は、ポイントクラウドデータの客体を１つ又は１つ以上のカメラが客体の内側から外側へ撮影して取得する方式である。例えば、実施例によればカメラが４つある。
【0118】
実施例によるポイントクラウドデータ又はポイントクラウドコンテンツは、様々な形式の３Ｄ空間上に表現される客体／環境のビデオ又は停止映像である。実施例によれば、ポイントクラウドコンテンツは客体(ｏｂｊｅｃｔなど)に対するビデオ／オーディオ／イメージなどを含む。
【0119】
ポイントクラウドコンテンツキャプチャーのために深さ(ｄｅｐｔｈ)を得られるカメラ装備(赤外線パターンプロジェクターと赤外線カメラとの組み合わせ)と深さ情報に対応する色情報が抽出可能なＲＧＢカメラの組み合わせによって構成される。又はレーザパルスを打ち、反射して戻る時間を測定して、反射体の位置座標を測定するレーダーシステムを用いるライダー(ＬｉＤＡＲ)によって深さ情報を抽出することができる。深さ情報より３Ｄ空間上の点で構成されたジオメトリ(ｇｅｏｍｅｔｒｙ)の形式を抽出し、ＲＧＢ情報より各点の色／反射を表現する特質(ａｔｔｒｉｂｕｔｅ)を抽出することができる。ポイントクラウドコンテンツは点に対する位置(ｘ、ｙ、ｚ)、色(ＹＣｂＣｒ又はＲＧＢ)又は反射率(ｒ)情報で構成される。ポイントクラウドコンテンツは、外部環境をキャプチャーする外向き方式(ｏｕｔｗａｒｄ－ｆａｃｉｎｇ)と、中心客体をキャプチャーする内向き方式(ｉｎｗａｒｄ－ｆａｃｉｎｇ)とがある。ＶＲ／ＡＲ環境において客体(例えば、キャラクター、選手、物、俳優などの核心となる客体)を３６０°にユーザが自由に見られるポイントクラウドコンテンツとして構成する場合、キャプチャーカメラの構成は内向き方式を用いる。また、自立走行のように自動車の現在周辺環境をポイントクラウドコンテンツとして構成する場合は、キャプチャーカメラの構成は外向き方式を用いる。複数のカメラによってポイントクラウドコンテンツがキャプチャーされるため、カメラ間のグローバル空間座標系(ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)を設定するためにコンテンツをキャプチャーする前にカメラの校正プロセスが必要となることもある。
【0120】
ポイントクラウドコンテンツは、様々な形態の３Ｄ空間上に示される客体／環境のビデオ又は停止映像である。
【0121】
その他に、ポイントクラウドコンテンツの取得方法は、キャプチャーされたポイントクラウドビデオに基づいて任意のポイントクラウドビデオが合成できる。又はコンピューターで生成された仮想の空間に対するポイントクラウドビデオを提供しようとする場合、実際にカメラによるキャプチャーが行われないことがある。この場合、単に、関連データが生成されるプロセスによって該当キャプチャープロセスが代替できる。
【0122】
キャプチャーされたポイントクラウドビデオは、コンテンツの質を向上させるための後処理が必要である。映像キャプチャープロセスにおいてカメラ装備が提供する範囲内で最大／最小の深さ値が調整できるが、その後にも所望しない領域のポイントデータが含まれることがあり、所望しない領域(例えば、背景)を除去するか、又は連結された空間を認識して穴(ｓｐａｔｉａｌ ｈｏｌｅ)を埋める後処理を行ってもよい。また、空間座標系を共有するカメラから抽出されたポイントクラウドは、校正プロセスによって取得した各カメラの位置座標を基準として、各ポイントに対するグローバル座標系への変換プロセスにより、１つのコンテンツに統合できる。これにより、１つの広い範囲のポイントクラウドコンテンツを生成することもでき、又はポイントの密度の高いポイントクラウドコンテンツを取得することもできる。
【0123】
ポイントクラウドビデオエンコーダは、入力されるポイントクラウドビデオを１つ以上のビデオストリームに符号化する。１つのポイントクラウドビデオは、複数のフレームを含んでもよく、１つのフレームは停止映像／ピクチャーに対応する。本文書において、ポイントクラウドビデオとは、ポイントクラウド映像／フレーム／ピクチャー／ビデオ／オーディオ／イメージなどを含み、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャーと混用できる。ポイントクラウドビデオエンコーダは、ビデオベースポイントクラウド圧縮(Ｖ－ＰＣＣ)の手順を行う。ポイントクラウドビデオエンコーダは、圧縮及びコーティングの効率のために、予測、変換、量子化、エントロピー符号化などの一連の手順を行う。符号化されたデータ(符号化されたビデオ／映像情報)は、ビットストリームの形態で出力される。Ｖ－ＰＣＣ手順に基づく場合、ポイントクラウドビデオエンコーダはポイントクラウドビデオを、後述のように、ジオメトリビデオ、特質(ａｔｔｒｉｂｕｔｅ)ビデオ、占有(ｏｃｃｕｐａｎｃｙ)マップビデオ、また付加情報(ａｕｘｉｌｉａｒｙ ｉｎｆｏｒｍａｔｉｏｎ)に分けて符号化する。ジオメトリビデオはジオメトリイメージを含み、特質(ａｔｔｒｉｂｕｔｅ)ビデオは特質イメージを含み、占有(ｏｃｃｕｐａｎｃｙ)マップビデオは占有マップイメージを含む。付加情報は付加パッチ情報(ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ)を含む。特質ビデオ／イメージはテクスチャービデオ／イメージを含む。
【0124】
カプセル化処理部(ｆｉｌｅ／ｓｅｇｍｅｎｔ ｅｎｃａｐｓｕｌａｔｉｏｎ ｍｏｄｕｌｅ)１０００３は、符号化されたポイントクラウドビデオデータ及び／又はポイントクラウドビデオ関連メタデータをファイルなどの形式でカプセル化する。ここで、ポイントクラウドビデオ関連メタデータは、メタデータ処理部などから伝送される。メタデータ処理部は、ポイントクラウドビデオエンコーダに含まれてもよく、又は別のコンポーネント／モジュールで構成されてもよい。カプセル化部は該当データをＩＳＯＢＭＦＦなどのファイルフォーマットでカプセル化してもよく、その他のＤＡＳＨセグメントなどの形式で処理してもよい。カプセル化処理部は、実施例によれば、ポイントクラウドビデオ関連メタデータをファイルフォーマット上に含ませてもよい。ポイントクラウドビデオ関連メタデータは、例えば、ＩＳＯＢＭＦＦファイルフォーマット上の多様なレベルのボックスに含まれるか、又はファイル内で別のトラックに含まれる。実施例によれば、カプセル化処理部は、ポイントクラウドビデオ関連メタデータそのものをファイルでカプセル化する。送信処理部はファイルフォーマットによってカプセル化されたポイントクラウドビデオデータに送信のための処理を加えてもよい。送信処理部は、送信部に含まれてもよく、又は別のコンポーネント／モジュールで構成されてもよい。送信処理部は、任意の送信プロトコルに従ってポイントクラウドビデオデータを処理する。送信のための処理には、放送網を介して伝送するための処理、ブロードバンドを介して伝送するための処理を含む。実施例による送信処理部は、ポイントクラウドビデオデータのみならず、メタデータ処理部からポイントクラウドビデオ関連メタデータが伝送され、これに送信するための処理を加える。
【0125】
送信部１０００４は、ビットストリームの形式で出力された符号化されたビデオ／映像情報又はデータをファイル又はストリーミングの形式でデジタル記憶媒体又はネットワークを介して受信デバイスの受信機へ伝送する。デジタル記憶媒体にはＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどが含まれる。送信部は所定のファイルフォーマットによってメディアファイルを生成するための要素を含み、放送／通信ネットワークを介した送信のための要素を含む。受信部はビットストリームを抽出して復号装置に伝送する。
【0126】
受信機１０００３は、本発明によるポイントクラウドビデオ送信装置が送信したポイントクラウドビデオデータを受信する。送信されるチャネルに応じて、受信部は、放送網を介してポイントクラウドビデオデータを受信してもよく、ブロードバンドを介してポイントクラウドビデオデータを受信してもよい。又はデジタル記憶媒体を介してポイントクラウドビデオデータを受信してもよい。
【0127】
受信処理部は、受信したポイントクラウドビデオデータに対して送信プロトコルに従う処理を行う。受信処理部は受信部に含まれてもよく、又は別のコンポーネント／モジュールで構成されてもよい。送信側で送信のための処理が行われることに対応するように、受信処理部は上述した送信処理部の逆プロセスを行う。受信処理部は取得したポイントクラウドビデオデータはデカプセル化処理部に伝送し、取得したポイントクラウドビデオ関連メタデータはメタデータ処理部に伝送する。受信処理部が取得するポイントクラウドビデオ関連メタデータはシグナリングテーブルの形式であってもよい。
【0128】
デカプセル化処理部(ｆｉｌｅ／ｓｅｇｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ ｍｏｄｕｌｅ)１０００７は、受信処理部から伝送されたファイル形式のポイントクラウドビデオデータをデカプセル化する。デカプセル化処理部はＩＳＯＢＭＦＦなどによるファイルをデカプセル化し、ポイントクラウドビデオビットストリームないしポイントクラウドビデオ関連メタデータ(メタデータビットストリーム)を取得する。取得したポイントクラウドビデオビットストリームは、ポイントクラウドビデオデコーダに伝送し、取得したポイントクラウドビデオ関連メタデータ(メタデータビットストリーム)はメタデータ処理部に伝送する。ポイントクラウドビデオビットストリームはメタデータ(メタデータビットストリーム)を含んでもよい。メタデータ処理部はポイントクラウドビデオデコーダに含まれてもよく、又は別のコンポーネント／モジュールで構成されてもよい。デカプセル化処理部が取得するポイントクラウドビデオ関連メタデータは、ファイルフォーマット内のボックス又はトラックの形式であってもよい。デカプセル化処理部は、必要な場合、メタデータ処理部からデカプセル化に必要なメタデータが伝送される。ポイントクラウドビデオ関連メタデータは、ポイントクラウドビデオデコーダに伝送されてポイントクラウドビデオ復号の手順に用いられるか、又はレンダラーに伝送されてポイントクラウドビデオレンダリングの手順に用いられる。
【0129】
ポイントクラウドビデオデコーダは、ビットストリームが入力され、ポイントクラウドビデオエンコーダの動作に対応する動作を行い、ビデオ／映像を復号する。この場合、ポイントクラウドビデオデコーダは、ポイントクラウドビデオを、後述のように、ジオメトリビデオ、特質(ａｔｔｒｉｂｕｔｅ)ビデオ、占有(ｏｃｃｕｐａｎｃｙ)マップビデオ、また付加情報(ａｕｘｉｌｉａｒｙ ｉｎｆｏｒｍａｔｉｏｎ)に分けて復号する。ジオメトリビデオはジオメトリイメージを含み、特質(ａｔｔｒｉｂｕｔｅ)ビデオは特質イメージを含み、占有(ｏｃｃｕｐａｎｃｙ)マップビデオは占有マップイメージを含む。付加情報は付加パッチ情報(ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ)を含む。特質ビデオ／イメージはテクスチャービデオ／イメージを含。
【0130】
復号されたジオメトリイメージと占有マップ及び付加パッチ情報を用いて、３Ｄジオメトリが復元され、その後平滑化プロセスを経てもよい。平滑化された３Ｄジオメトリにテクスチャーイメージを用いてカラー値を与えることで、カラーポイントクラウド映像／ピクチャーが復元される。レンダラーは、復元されたジオメトリ、カラーポイントクラウド映像／ピクチャーをレンダリングする。レンダリングされたビデオ／映像は、ディスプレイ部によってディスプレイされる。ユーザはＶＲ／ＡＲディスプレイ又は一般のディスプレイなどによってレンダリングされた結果の全部又は一部の領域を見る。
【0131】
フィードバックプロセスは、レンダリング／ディスプレイのプロセスにおいて取得可能な様々なフィードバック情報を送信側に伝送するか、受信側のデコーダに伝送するプロセスを含んでもよい。フィードバックプロセスにより、ポイントクラウドビデオの消費において相互作用(ｉｎｔｅｒａｃｔｉｖｉｔｙ)が提供される。実施例によれば、フィードバックプロセスにおいてヘッドオリエンテーション(Ｈｅａｄ Ｏｒｉｅｎｔａｔｉｏｎ)情報、ユーザが現在見ている領域を示すビューポート(Ｖｉｅｗｐｏｒｔ)情報などが伝送される。実施例によれば、ユーザは、ＶＲ／ＡＲ／ＭＲ／自立走行環境上に具現されたものと相互作用できるが、この場合、その相互作用に関連する情報がフィードバックプロセスで送信側ないしサービス供給者側に伝送されることがある。実施例によってフィードバックプロセスは行わなくてもよい。
【0132】
ヘッドオリエンテーション情報は、ユーザの頭の位置、角度、動きなどに関する情報である。この情報に基づいて、ユーザがポイントクラウドビデオ内で現在見ている領域の情報、即ち、ビューポート情報が算出される。
【0133】
ビューポート情報は、ユーザがポイントクラウドビデオで現在見ている領域の情報である。これにより、ゲイズ分析(Ｇａｚｅ Ａｎａｌｙｓｉｓ)が行われ、ユーザがどんな方式でポイントクラウドビデオを消費するか、ポイントクラウドビデオのどの領域をどのくらい凝視するかなどを確認できる。ゲイズ分析は、受信側で行われて送信側にフィードバックチャネルを介して伝送される。ＶＲ／ＡＲ／ＭＲディスプレイなどの装置は、ユーザの頭の位置／方向、装置が支援する垂直(ｖｅｒｔｉｃａｌ)又は水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート領域を抽出する。
【0134】
実施例によれば、上述したフィードバック情報は送信側に伝送されるだけではなく、受信側で消費されてもよい。即ち、上述したフィードバック情報を用いて受信側の復号、レンダリングのプロセスなどが行われる。例えば、ヘッドオリエンテーション情報及び／又はビューポート情報を用いて、ユーザが現在見ている領域に対するポイントクラウドビデオのみを優先して復号及びレンダリングする。
【0135】
ここで、ビューポート(ｖｉｅｗｐｏｒｔ)ないしビューポート領域とは、ユーザがポイントクラウドビデオで見ている領域である。視点(ｖｉｅｗｐｏｉｎｔ)はユーザがポイントクラウドビデオで見ている地点であって、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とした領域であり、その領域が占めるサイズ、形態などはＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)により決定される
【0136】
この明細書は、上述のように、ポイントクラウドビデオ圧縮に関する。例えば、この明細書に開示の方法／実施例は、ＭＰＥＧ(Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ)のＰＣＣ(ｐｏｉｎｔ Ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ ｏｒ Ｐｏｉｎｔ Ｃｌｏｕｄ ｃｏｄｉｎｇ)標準又は次世代ビデオ／イメージコーティング標準に適用できる。
【0137】
この明細書においてピクチャー／フレームは、一般に特定の時間帯の１つの映像を示す単位を意味する。
【0138】
ピクセル(ｐｉｘｅｌ)又はペル(ｐｅｌ)は１つのピクチャー(又は映像)を構成する最小の単位を意味する。また、ピクセルに対応する用語として「サンプル(ｓａｍｐｌｅ)」が用いられる。サンプルは、一般に、ピクセル又はピクセルの値を示し、輝度(ｌｕｍａ)成分のピクセル／ピクセル値のみを示してもよく、彩度(ｃｈｒｏｍａ)成分のピクセル／ピクセル値のみを示してもよく、又は深さ(ｄｅｐｔｈ)成分のピクセル／ピクセル値のみを示してもよい。
【0139】
ユニット(ｕｎｉｔ)は映像処理の基本単位を示す。ユニットはピクチャーの特定の領域及びその領域に関する情報のうちの少なくとも１つを含む。ユニットは、場合によって、ブロック(ｂｌｏｃｋ)又は領域(ａｒｅａ)又はモジュールなどの用語と混用する。一般の場合、ＭｘＮブロックは、Ｍ個の列とＮ個の行からなるサンプル(又はサンプルアレイ)又は変換係数(ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ)の集合(又はアレイ)を含む。
【0140】
図３は、実施例によるポイントクラウド及びジオメトリ、テクスチャーイメージの一例を示す。
【0141】
実施例によるポイントクラウドは、後述する図４のＶ－ＰＣＣ符号化プロセスに入力され、ジオメトリイメージ、テクスチャーイメージが生成される。実施例によれば、ポイントクラウドはポイントクラウドデータと同一の意味で使用される。
【0142】
図３において、左側の図はポイントクラウドであって、３Ｄ空間上にポイントクラウド客体が位置し、これをバウンディングボックスなどで表現するポイントクラウドを示す。図３の中間の図はジオメトリイメージを示し、右側の図はテクスチャーイメージ(ノン－パッド)を示す。
【0143】
ビデオベースポイントクラウド圧縮(Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ、Ｖ－ＰＣＣ)は、ＨＥＶＣ(Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ)、ＶＶＣ(Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ)などの２Ｄビデオコーデック(ｖｉｄｅｏ ｃｏｄｅｃ)に基づいて３Ｄポイントクラウドデータを圧縮する方法である。Ｖ－ＰＣＣ圧縮プロセスにおいて、以下のようなデータ及び情報が生成される。
【0144】
占有マップ(ｏｃｃｕｐａｎｃｙ ｍａｐ)：ポイントクラウドを成す点をパッチに分けて２Ｄ平面にマップするとき、２Ｄ平面の該当位置にデータが存在するか否かを０又は１の値で知らせる２進マップ(ｂｉｎａｒｙ ｍａｐ)を示す。占有マップ(ｏｃｃｕｐａｎｃｙ ｍａｐ)はアトラスに対応する２Ｄアレイを示し、占有マップの値はアトラス内の各サンプル位置が３Ｄポイントに対応するか否かを示す。アトラス(ａｔｌａｓ)は、ボリュメトリックデータがレンダリングされる３Ｄ空間内の３Ｄバウンディングボックスに対応する矩形フレームに位置する２Ｄバウンディングボックス及びそれに関連する情報の集合である。
【0145】
アトラスビットストリーム(ａｔｌａｓ ｂｉｔｓｔｒｅａｍ)は、アトラス(ａｔｌａｓ)を構成する１つ以上のアトラスフレーム(ａｔｌａｓ ｆｒａｍｅ)と関連データに対するビットストリームである。
【0146】
アトラスフレーム(ａｔｌａｓ ｆｒａｍｅ)は、複数のパッチ(ｐａｔｃｈ)がプロジェクションされたアトラスサンプル(ａｔｌａｓ ｓａｍｐｌｅ)の２Ｄ矩形配列である。
【0147】
アトラスサンプル(ａｔｌａｓ ｓａｍｐｌｅ)は、アトラス(ａｔｌａｓ)に連関するパッチ(ｐａｔｃｈ)がプロジェクションされた矩形フレームのポジション(ｐｏｓｉｔｉｏｎ)である。
【0148】
アトラスフレーム(ａｔｌａｓ ｆｒａｍｅ)は、タイル(ｔｉｌｅ)に分割される。タイルは２Ｄフレームを分割する単位である。即ち、タイルはアトラスというポイントクラウドデータのシグナリング情報を分割する単位である。
【0149】
パッチ(ｐａｔｃｈ)：ポイントクラウドを構成する点の集合であり、同じパッチに属する点は３Ｄ空間上で互いに隣接し、２Ｄイメージへのマッピングプロセスにおいて６面の境界ボックス平面のうち同じ方向にマップされることを示す。
【0150】
パッチはタイルを分割する単位である。パッチはポイントクラウドデータの構成に関するシグナリング情報である。
【0151】
実施例による受信装置は、アトラス(タイル、パッチ)に基づいて同じプレゼンテーションタイムを有する実際ビデオデータである特質ビデオデータ、ジオメトリビデオデータ、占有ビデオデータを復元することができる。
【0152】
ジオメトリイメージ：ポイントクラウドを成す各点の位置情報(ｇｅｏｍｅｔｒｙ)をパッチ単位で表現する深さマップの形式のイメージを示す。ジオメトリイメージは１チャネルのピクセル値で構成される。ジオメトリはポイントクラウドフレームに連関する座標のセットを示す。
【0153】
テクスチャーイメージ(ｔｅｘｔｕｒｅ ｉｍａｇｅ)：ポイントクラウドを成す各点の色情報をパッチ単位で表現するイメージを示す。テクスチャーイメージは複数のチャネルのピクセル値(例えば、３チャネルＲ、Ｇ、Ｂ)で構成される。テクスチャーは特質に含まれる。実施例によれば、テクスチャー及び／又は特質は同一の対象及び／又は包含関係として解釈される。
【0154】
付加パッチ情報(ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏ)：個別パッチからポイントクラウドを再構成するために必要なメタデータを示す。付加パッチ情報は、パッチの２Ｄ／３Ｄ空間における位置、サイズなどに関する情報を含む。
【0155】
実施例によるポイントクラウドデータ、例えば、Ｖ－ＰＣＣコンポーネントは、アトラス、占有マップ、ジオメトリ、特質などを含む。
【0156】
アトラス(ａｔｌａｓ)は、２Ｄバウンディングボックスの集合を示す。パッチ、例えば、直方形(ｒｅｃｔａｎｇｕｌａｒ)フレームにプロジェクトされたパッチである。また、３Ｄ空間において３Ｄバウンディングボックスに対応し、ポイントクラウドのサブセットを示す。
【0157】
特質(ａｔｔｒｉｂｕｔｅ)は、ポイントクラウド内の各ポイントに連関するスカラー(ｓｃａｌａｒ)又はベクトル(ｖｅｃｔｏｒ)を示し、例えば、カラー(ｃｏｌｏｕｒ)、反射率(ｒｅｆｌｅｃｔａｎｃｅ)、面法線(ｓｕｒｆａｃｅ ｎｏｒｍａｌ)、タイムスタンプ(ｔｉｍｅ ｓｔａｍｐｓ)、マテリアルＩＤ(ｍａｔｅｒｉａｌ ＩＤ)などがある。
【0158】
実施例によるポイントクラウドデータは、Ｖ－ＰＣＣ(Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)方式によるＰＣＣデータを示す。ポイントクラウドデータは複数のコンポーネントを含む。例えば、占有マップ、パッチ、ジオメトリ及び／又はテクスチャーなどを含む。
【0159】
図４は、実施例によるＶ－ＰＣＣ符号化処理の一例を示す。
【0160】
図４は、占有マップ(ｏｃｃｕｐａｎｃｙ ｍａｐ)、ジオメトリイメージ(ｇｅｏｍｅｔｒｙ ｉｍａｇｅ)、テクスチャーイメージ(ｔｅｘｔｕｒｅ ｉｍａｇｅ)、付加パッチ情報(ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ)を生成して圧縮するためのＶ－ＰＣＣ符号化プロセス(ｅｎｃｏｄｉｎｇ ｐｒｏｃｅｓｓ)を示す。図４のＶ－ＰＣＣ符号化プロセスは、図１のポイントクラウドビデオエンコーダ１０００２によって処理される。図４の各構成要素は、ソフトウェア、ハードウェア、プロセッサ及び／又はそれらの組み合わせによって行われる。
【0161】
パッチ生成部(ｐａｔｃｈ ｇｅｎｅｒａｔｉｏｎ)４００００は又はパッチ生成器はポイントクラウドフレーム(ポイントクラウドデータを含むビットストリームの形式であってもよい)を受信する。パッチ生成部４００００は、ポイントクラウドデータからパッチを生成する。また、パッチの生成に関する情報を含むパッチ情報を生成する。
【0162】
パッチパッキング(ｐａｔｃｈ ｐａｃｋｉｎｇ)４０００１又はパッチパッカーはポイントクラウドデータに対するパッチをパッグする。例えば、１つ又は１つ以上のパッチをパックする。また、パッチパッキングに関する情報を含む占有マップを生成する。
【0163】
ジオメトリイメージ生成部(ｇｅｏｍｅｔｒｙ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ)４０００２又はジオメトリイメージ生成器は、ポイントクラウドデータ、パッチ、及び／又はパックされたパッチに基づいてジオメトリイメージを生成する。ジオメトリイメージは、ポイントクラウドデータに関するジオメトリを含むデータをいう。
【0164】
テクスチャーイメージ生成部(ｔｅｘｔｕｒｅ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ)４０００３又はテクスチャーイメージ生成器は、ポイントクラウドデータ、パッチ、及び／又はパックされたパッチに基づいてテクスチャーイメージを生成する。また再構成された(ｒｅｃｏｎｓｔｒｕｃｔｅｄ)ジオメトリイメージをパッチ情報に基づいて平滑化(番号)が平滑化処理をして生成された平滑化ジオメトリにさらに基づいて、テクスチャーイメージを生成する。
【0165】
平滑化(ｓｍｏｏｔｈｉｎｇ)４０００４又は平滑化部は、イメージデータに含まれたエラーを緩和又は除去する。例えば、再構成された(ｒｅｃｏｎｓｔｒｕｃｔｅｄ)ジオメトリイメージをパッチ情報に基づいて、データ間エラーを誘発するような部分を柔らかにフィルタリングして平滑化したジオメトリを生成する。
【0166】
付加パッチ情報圧縮(ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏ ｃｏｍｐｒｅｓｓｉｏｎ)４０００５又は付加パッチ情報圧縮部は、パッチ生成プロセスで生成されたパッチ情報に関する付加(ａｕｘｉｌｉａｒｙ)パッチ情報を圧縮する。また、圧縮された付加パッチ情報は多重化装置へ伝送され、ジオメトリイメージ生成部４０００２も付加パッチ情報を用いる。
【0167】
イメージパッド(ｉｍａｇｅ ｐａｄｄｉｎｇ)４０００６、４０００７又はイメージパッド部は、ジオメトリイメージ及びテクスチャーイメージをそれぞれパッドする。即ち、パッドデータがジオメトリイメージ及びテクスチャーイメージにパッドされる。
【0168】
グループ拡張(ｇｒｏｕｐ ｄｉｌａｔｉｏｎ)４０００８又はグループ拡張部は、イメージパッドと同様に、テクスチャーイメージにデータを付加する。付加パッチ情報がテクスチャーイメージに挿入される。
【0169】
ビデオ圧縮(ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ)４０００９、４００１０、４００１１又はビデオ圧縮部は、パッドされたジオメトリイメージ、パッドされたテクスチャーイメージ及び／又は占有マップをそれぞれ圧縮する。圧縮はジオメトリ情報、テクスチャー情報、占有情報などを符号化する。
【0170】
エントロピー圧縮(ｅｎｔｒｏｐｙ ｃｏｍｐｒｅｓｓｉｏｎ)４００１２又はエントロピー圧縮部は、占有マップをエントロピー方式に基づいて圧縮(例えば、符号化)する。
【0171】
実施例によれば、ポイントクラウドデータがロスレス(ｌｏｓｓｌｅｓｓ)した場合及び／又はロッシー(ｌｏｓｓｙ)した場合、占有マップフレームに対してエントロピー圧縮及び／又はビデオ圧縮が行われる。
【0172】
多重化装置(ｍｕｌｔｉｐｌｅｘｅｒ)４００１３は、圧縮されたジオメトリイメージ、圧縮されたテクスチャーイメージ、圧縮された占有マップをビットストリームに多重化する。
【0173】
以下、実施例による図４の各々のプロセスの詳細な動作を示す。
【0174】
パッチ生成(Ｐａｔｃｈ ｇｅｎｅｒａｔｉｏｎ)４００００
【0175】
パッチ生成のプロセスは、ポイントクラウドを２Ｄイメージにマップ(ｍａｐｐｉｎｇ)するために、マッピングを行う単位であるパッチでポイントクラウドを分割するプロセスを意味する。パッチ生成のプロセスは、以下のようにノーマル(ｎｏｒｍａｌ)値の計算、セグメント(ｓｅｇｍｅｎｔａｔｉｏｎ)、パッチ(ｐａｔｃｈ)分割の３つのステップに分けられる。
【0176】
図５を参照して、正規値の計算プロセスを具体的に説明する。
【0177】
図５は、実施例による表面(Ｓｕｒｆａｃｅ)の接平面(ｔａｎｇｅｎｔ ｐｌａｎｅ)及び法線ベクトル(ｎｏｒｍａｌ ｖｅｃｔｏｒ)の一例を示す。
【0178】
【0179】
パッチ生成に関連して法線(Ｎｏｒｍａｌ)計算
【0180】
ポイントクラウドを成す各点(例えば、ポイント)は、固有の方向を有しているが、これは法線という３Ｄのベクトルで示される。Ｋ－Ｄ ｔｒｅｅなどを用いて求められる各点の隣接点(ｎｅｉｇｈｂｏｒｓ)を用いて、図５のようなポイントクラウドの表面を成す各点の接平面(ｔａｎｇｅｎｔ ｐｌａｎｅ)及び法線ベクトル(ｎｏｒｍａｌ ｖｅｃｔｏｒ)を求める。隣接点を探すプロセスにおけるサーチ範囲(ｓｅａｒｃｈ ｒａｎｇｅ)はユーザによって定義される。
【0181】
接平面(ｔａｎｇｅｎ ｐｌａｎｅ)：表面の一点を通り、表面上の曲線に対する接線を完全に含んでいる平面を示す。
【0182】
図６は、実施例によるポイントクラウドのバウンディングボックス(ｂｏｕｎｄｉｎｇ ｂｏｘ)の一例を示す。
【0183】
実施例による方法／装置、例えば、パッチ生成部がポイントクラウドデータからパッチを生成するプロセスにおいてバウンディングボックスを用いる。
【0184】
実施例によるバウンディングボックスとは、ポイントクラウドデータを３Ｄ空間上で六面体に基づいて分割する単位のボックスである。
【0185】
バウンディングボックスは、ポイントクラウドデータの対象となるポイントクラウド客体を３Ｄ空間上の六面体に基づいて各々の六面体の平面にプロジェクトするプロセスにおいて用いる。バウンディングボックスは、図１のポイントクラウドビデオ取得部１００００、ポイントクラウドビデオエンコーダ１０００２によって生成、処理される。また、バウンディングボックスに基づいて、図２のＶ－ＰＣＣ符号化プロセスのパッチ生成４００００、パッチパッキング４０００１、ジオメトリイメージ生成４０００２、テクスチャーイメージ生成４０００３が行われる。
【0186】
パッチ生成に関連して分割(Ｓｅｇｍｅｎｔａｔｉｏｎ)
【0187】
分割(Ｓｅｇｍｅｎｔａｔｉｏｎ)は、初期分割(ｉｎｉｔｉａｌ ｓｅｇｍｅｎｔａｔｉｏｎ)と改善分割(ｒｅｆｉｎｅ ｓｅｇｍｅｎｔａｔｉｏｎ)との２つのプロセスからなる。
【0188】
実施例によるポイントクラウドビデオエンコーダ１０００２は、ポイントをバウンディングボックスの一面にプロジェクトする。具体的に、ポイントクラウドを成す各点は、図６のように、ポイントクラウドを囲む６つのバウンディングボックスの面の一面にプロジェクトされるが、初期分割(ｉｎｉｔｉａｌ ｓｅｇｍｅｎｔａｔｉｏｎ)は、各点がプロジェクトされるバウンディングボックスの平面のうちの１つを決定するプロセスである。
【0189】
６つの各平面と対応する正規(ｎｏｒｍａｌ)値である
は、以下のように定義される。
【0190】
(１.０，０.０，０.０)、(０.０，１.０，０.０)、(０.０，０.０，１.０)、(-１.０，０.０，０.０)、(０.０，-１.０，０.０)、(０.０，０.０，-１.０).
【0191】
以下の数式のように、上述した正規値の計算プロセスから得た各点の正規値
の外積(ｄｏｔ ｐｒｏｄｕｃｔ)が最大の面をその面のプロジェクション平面と決定する。即ち、ポイントの法線と最も類似する方向の法線を有する平面がそのポイントのプロジェクション平面と決定される。
【0192】
【0193】
決定された平面は、０～５のうちのいずれか１つのインデックス形式の値(ｃｌｕｓｔｅｒ ｉｎｄｅｘ)として識別される。
【0194】
改善分割(Ｒｅｆｉｎｅ ｓｅｇｍｅｎｔａｔｉｏｎ)は、上述した初期分割(ｉｎｉｔｉａｌ ｓｅｇｍｅｎｔａｔｉｏｎ)のプロセスで決定されたポイントクラウドを成す各点のプロジェクション平面を隣接点のプロジェクション平面を考慮して改善するプロセスである。このプロセスでは、上述した初期分割プロセスにおいてプロジェクション平面を決定するために考慮した各点のノーマルとバウンディングボックスの各平面のノーマル値との類似度を成すｓｃｏｒｅ ｎｏｒｍａｌと共に、現在点のプロジェクション平面と隣接点のプロジェクション平面との一致度を示すスコア平滑化ｓｃｏｒｅ ｓｍｏｏｔｈとが同時に考慮される。
【0195】
Ｓｃｏｒｅ ｓｍｏｏｔｈはｓｃｏｒｅ ｎｏｒｍａｌに対して加重値を与えることで考慮することができ、このとき、加重値はユーザによって定義される。改善分割は繰り返し的に行われ、繰り返し回数もユーザに定義される。
【0196】
パッチ生成に関連してパッチ分割(ｓｅｇｍｅｎｔ ｐａｔｃｈｅｓ)
【0197】
パッチ分割は、上述した初期／改善分割のプロセスで得たポイントクラウドを成す各点のプロジェクション平面情報に基づいて、全体のポイントクラウドを隣接した点の集合であるパッチに分けるプロセスである。パッチ分割は、以下のようなステップからなる。
【0198】
（１） Ｋ－Ｄ ｔｒｅｅなどを用いてポイントクラウドを成す各点の隣接点を算出する。最大の隣接点の数はユーザによって定義される。
【0199】
（２） 隣接点が現在の点と同一平面にプロジェクトされる場合(同一のクラスターインデックス(ｃｌｕｓｔｅｒ ｉｎｄｅｘ)値を有する場合)、現在の点とその隣接点を１つのパッチに抽出する。
【0200】
（３） 抽出したパッチのジオメトリ値を算出する。詳しい過程について後述する。
【0201】
（４） 抽出されない点が無くなるまで（２）～（３）のプロセスを繰り返す。
【0202】
パッチ分割のプロセスを通じて、各パッチのサイズ及び各パッチの占有マップ、ジオメトリイメージ、テクスチャーイメージなどが決定される。
【0203】
図７は、実施例による占有マップ(ｏｃｃｕｐａｎｃｙ ｍａｐ)の個別パッチ(ｐａｔｃｈ)の位置決めの一例を示す。
【0204】
実施例によるポイントクラウドエンコーダ１０００２は、パッチパッキング及び占有マップを生成することができる。
【0205】
パッチパッキング及び占有マップの生成(Ｐａｔｃｈ ｐａｃｋｉｎｇ ＆ Ｏｃｃｕｐａｎｃｙ ｍａｐ ｇｅｎｅｒａｔｉｏｎ)４０００１
【0206】
本プロセスは、以前に分割されたパッチを１つの２Ｄイメージにマップするために、個別パッチの２Ｄイメージ内における位置を決定するプロセスである。占有マップ(Ｏｃｃｕｐａｎｃｙ ｍａｐ)は２Ｄイメージの１つであって、その位置におけるデータの存否を０又は１の値で知らせる２進マップ(ｂｉｎａｒｙ ｍａｐ)である。占有マップは、ブロックからなり、ブロックのサイズに応じて解像度が決定されるが、一例としてブロックのサイズが１＊１である場合、ピクセル(ｐｉｘｅｌ)単位の解像度を有する。ブロックのサイズ(ｏｃｃｕｐａｎｃｙ ｐａｃｋｉｎｇ ｂｌｏｃｋ ｓｉｚｅ)はユーザによって決定される。
【0207】
占有マップ内において個別パッチの位置を決定するプロセスは、以下のようである。
【0208】
（１） 全体の占有マップの値をいずれも０に設定する。
【0209】
（２） 占有マップ平面に存在する水平座標が[０、ｏｃｃｕｐａｎｃｙＳｉｚｅＵ－ｐａｔｃｈ.ｓｉｚｅＵ０)、垂直座標が[０、ｏｃｃｕｐａｎｃｙＳｉｚｅＶ－ｐａｔｃｈ.ｓｉｚｅＶ０)の範囲にある点(ｕ、 ｖ)にパッチを位置させる。
【0210】
（３） パッチ平面に存在する水平座標が[０、ｐａｔｃｈ.ｓｉｚｅＵ０)、垂直座標が[０、ｐａｔｃｈ.ｓｉｚｅＶ０)の範囲にある点(ｘ、ｙ)を現在点(ポイント)として設定する。
【0211】
（４） 点(ｘ、ｙ)に対して、パッチ占有マップの(ｘ、ｙ)座標値が１であり(パッチ内の該当地点にデータが存在し)、全体の占有マップの(ｕ＋ｘ、ｖ＋ｙ)座標値が１(以前のパッチにより占有マップが満たされた場合)、ラスタ順に(ｘ、ｙ)位置を変更して、（３）～（４）のプロセスを繰り返す。そうではない場合、（６）のプロセスを行う。
【0212】
（５） ラスタ順に(ｕ、ｖ)位置を変更して（３）～（５）のプロセスを繰り返す。
【0213】
（６） (ｕ、ｖ)を該当パッチの位置に決定し、パッチの占有マップデータを全体の占有マップの該当部分に割り当てる(ｃｏｐｙ)。
【0214】
（７） 次のパッチに対して（２）～（７）のプロセスを繰り返す。
【0215】
占有サイズＵ(ｏｃｃｕｐａｎｃｙＳｉｚｅＵ)：占有マップの幅(ｗｉｄｔｈ)を示し、単位は占有パッキングサイズブロック(ｏｃｃｕｐａｎｃｙ ｐａｃｋｉｎｇ ｂｌｏｃｋ ｓｉｚｅ)である。
【0216】
占有サイズＶ(ｏｃｃｕｐａｎｃｙＳｉｚｅＶ)：占有マップの高さ(ｈｅｉｇｈｔ)を示し、単位は占有パッキングブロックサイズである。
【0217】
パッチサイズＵ０(ｐａｔｃｈ.ｓｉｚｅＵ０)：占有マップの幅を示し、単位は占有パッキングブロックサイズである。
【0218】
パッチサイズＶ０(ｐａｔｃｈ.ｓｉｚｅＶ０)：占有マップの高さを示し、単位は占有パッキングブロックサイズである。
【0219】
例えば、図７のように、占有パッキングサイズブロックに該当するボックス内パッチサイズを有するパッチに対応するボックスが存在し、ボックス内ポイント(ｘ、ｙ)が位置してもよい。
【0220】
図８は、実施例によるノーマル(ｎｏｒｍａｌ)、タンジェント(ｔａｎｇｅｎｔ)、バイタンジェント(ｂｉｔａｎｇｅｎｔ)軸の関係の一例を示す。
【0221】
実施例によるポイントクラウドビデオエンコーダ１０００２は、 ジオメトリイメージを生成することができる。ジオメトリイメージとは、ポイントクラウドのジオメトリ情報を含むイメージデータを意味する。ジオメトリイメージの生成プロセスは、図８のパッチの３つの軸(ノーマル、タンジェント、バイタンジェント)を用いる。
【0222】
ジオメトリイメージの生成(Ｇｅｏｍｅｔｒｙ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ)４０００２
【0223】
本プロセスでは、個別パッチのジオメトリイメージを構成する深さ(ｄｅｐｔｈ)値を決定し、上述したパッチパッキング(ｐａｔｃｈ ｐａｃｋｉｎｇ)のプロセスで決定されたパッチの位置に基づいて全体のジオメトリイメージを生成する。個別パットのジオメトリイメージを構成する深さ値を決定するプロセスは以下のように構成される。
【0224】
（１） 個別パッチの位置、サイズに関するパラメータを算出する。パラメータは以下のような情報を含む。
【0225】
ノーマル(ｎｏｒｍａｌ)軸を示すインデックス：ノーマルは上述したパッチ生成のプロセスで求められ、タンジェント軸はノーマルと直角の軸のうちパッチイメージの水平(ｕ)軸と一致する軸であり、バイタンジェント軸はノーマルと直角の軸のうちパッチイメージの垂直(ｖ)軸と一致する軸であって、３つの軸は、以下の図のように示される。
【0226】
図９は、実施例によるプロジェクションモードの最小モード及び最大モード構成の一例を示す。
【0227】
実施例によるポイントクラウドビデオエンコーダ１０００２は、ジオメトリイメージを生成するために、パッチに基づくプロジェクションを行い、実施例によるプロジェクションのモードは最小モード及び最大モードがある。
【0228】
パッチの３Ｄ空間座標：パッチを囲む最小サイズのバウンディングボックスによって算出される。例えば、パッチの３Ｄ空間座標にパッチのタンジェント方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｔａｎｇｅｎｔ ａｘｉｓ)、パッチのバイタンジェント方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｂｉｔａｎｇｅｎｔ ａｘｉｓ)、パッチのノーマル方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ)などが含まれる。
【0229】
パッチの２Ｄサイズ：パッチが２Ｄイメージでパックされるときの水平、垂直方向サイズを示す。水平方向サイズ(ｐａｔｃｈ ２Ｄ ｓｉｚｅ ｕ)はバウンディングボックスのタンジェント方向の最大値と最小値との差であり、垂直方向サイズ(ｐａｔｃｈ ２Ｄ ｓｉｚｅ ｖ)はバウンディングボックスのバイタンジェント方向の最大値と最小値との差である。
【0230】
（２） パッチのプロジェクションモード(ｐｒｏｊｅｃｔｉｏｎ ｍｏｄｅ)を決定する。プロジェクションモードは、最小モード(ｍｉｎ ｍｏｄｅ)と最大モード(ｍａｘ ｍｏｄｅ)のいずれか１つである。パッチのジオメトリ情報は、深さ値で示されるが、パッチのノーマル方向にパッチを成す各点をプロジェクトするとき、深さ値の最大値で構成されるイメージと最小値で構成されるイメージの２つのレイヤ(ｌａｙｅｒ)のイメージが生成される。
【0231】
２つのレイヤのイメージｄ０とｄ１を生成するのに、最小モードである場合、図９のように最小深さがｄ０に構成され、最小深さから表面厚さ(ｓｕｒｆａｃｅ ｔｈｉｃｋｎｅｓｓ)以内に存在する最大深さがｄ１に構成される。
【0232】
例えば、ポイントクラウドが、図のように２Ｄに位置する場合、複数のポイントを含む複数のパッチがあってもよい。図のように、同じ陰影で示されたポイントが同一のパッチに属することを示す。空欄で示されたポイントのパッチをプロジェクトするプロセスを示す。
【0233】
空欄で示されたポインを左側／右側にプロジェクトする場合、左側を基準として深さを０、１、２、..６、７、８、９のように１つずつ増加しながら右側にポイントの深さの算出のための数字を表記する。
【0234】
プロジェクションモード(Ｐｒｏｊｅｃｔｉｏｎ ｍｏｄｅ)は、ユーザの定義によって、全てのポイントクラウドに同一の方法が適用されてもよく、フレーム又はパッチごとに異なる方法が適用されてもよい。フレーム又はパッチごとに異なるプロジェクションモードが適用される場合、圧縮効率を高めたり、消失点(ｍｉｓｓｅｄ ｐｏｉｎｔ)が最小化できるプロジェクションモードが適応的に選ばれる。
【0235】
（３） 個別点の深さ値を算出する。
【0236】
最小モードである場合、各点のノーマル軸の最小値にパッチのノーマル方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ)から（１）のプロセスで算出されたパッチのノーマル方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ)を引いた値であるｄｅｐｔｈ０でｄ０イメージを構成する。同一の位置にｄｅｐｔｈ０と表面厚さ以内の範囲にその他の深さ値が存在する場合、この値をｄｅｐｔｈ１に設定する。存在しない場合は、ｄｅｐｔｈ０の値をｄｅｐｔｈ１にも割り当てる。Ｄｅｐｔｈ１の値でｄ１イメージを構成する。
【0237】
例えば、ｄ０のポイントの深さ決定において最小値が算出される(４ ２ ４ ４ ０ ６ ０ ０ ９ ９ ０ ８ ０)。また、ｄ１のポイントの深さを決定することにおいて２つ以上のポイントのうち大きい値が算出されるか、１つのポイントだけがある場合はその値が算出される(４ ４ ４ ４ ６ ６ ６ ８ ９ ９ ８ ８ ９)。また、パッチのポイントが符号化、再構成(ｒｅｃｏｎｓｔｒｕｃｔ)されるプロセスにおいて一部のポイントが損失される(例えば、図では８つのポイントが損失)。
【0238】
最大モード(Ｍａｘ ｍｏｄｅ)である場合、各点のノーマル軸の最大値にパッチのノーマル方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ)から（１）のプロセスで算出されたパッチのノーマル方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ)を引いた値であるｄｅｐｔｈ０でｄ０イメージを構成する。同一の位置にｄｅｐｔｈ０と表面厚さ以内の範囲にその他の深さ値が存在する場合、この値をｄｅｐｔｈ１に設定する。存在しない場合、ｄｅｐｔｈ０の値をｄｅｐｔｈ１にも割り当てる。Ｄｅｐｔｈ１の値でｄ１イメージを構成する。
【0239】
例えば、ｄ０のポイントの深さ決定において最大値が算出される(４ ４ ４ ４ ６ ６ ６ ８ ９ ９ ８ ８ ９)。また、ｄ１のポイントの深さを決定することにおいて２つ以上のポイントのうち小さい値が算出されるか、１つのポイントだけがある場合はその値が算出される(４ ２ ４ ４ ５ ６ ０ ６ ９ ９ ０ ８ ０)。また、パッチのポイントが符号化、再構成(ｒｅｃｏｎｓｔｒｕｃｔ)されるプロセスにおいて一部のポイントが損失される(例えば、図では６つのポイントが損失)。
【0240】
上述したプロセスから生成された個別パッチのジオメトリイメージを、上述したパッチパッキングプロセスを通じて生成された個別パッチの位置情報を用いて、全体のジオメトリイメージに配置させることで、全体のジオメトリイメージを生成することができる。
【0241】
生成された全体のジオメトリイメージのｄ１レイヤは、様々な方法によって符号化される。第一は、以前に生成したｄ１イメージの深さ値をそのまま符号化する方法(ａｂｓｏｌｕｔｅ ｄ１ ｅｎｃｏｄｉｎｇ ｍｅｔｈｏｄ)である。第二は、以前に生成したｄ１イメージの深さ値とｄ０イメージの深さ値との差を符号化する方法(ｄｉｆｆｅｒｅｎｔｉａｌ ｅｎｃｏｄｉｎｇ ｍｅｔｈｏｄ)である。
【0242】
このようなｄ０、ｄ１の２つのレイヤの深さ値を用いた符号化の方法は、２つの深さの間にそのその他の点が存在する場合、その点のジオメトリ情報を符号化するプロセスで失うため、無損失圧縮(ｌｏｓｓｌｅｓｓ ｃｏｄｉｎｇ)のために、Ｅｎｈａｎｃｅｄ－Ｄｅｌｔａ－Ｄｅｐｔｈ(ＥＤＤ)ｃｏｄｅを用いてもよい。
【0243】
図１０を参照して、ＥＤＤ ｃｏｄｅを具体的に説明する。
【0244】
図１０は、実施例によるＥＤＤコードの一例を示す。
【0245】
ポイントクラウドビデオエンコーダ１０００２及び／又はＶ－ＰＣＣ符号化の一部／全部のプロセス(例えば、ビデオ圧縮４０００９)などは、ＥＯＤコードに基づいてポイントのジオメトリ情報を符号化することができる。
【0246】
ＥＤＤ ｃｏｄｅは、図のように、ｄ１を含み表面厚さの範囲内の全ての点の位置を２進で符号化する方法である。一例として、図の左側から二番目の列に含まれる点の場合、Ｄ０の上方に一番目、四番目の位置に点が存在し、二番目と三番目の位置は空いているため、０ｂ１００１(＝９)のＥＤＤ ｃｏｄｅで示される。Ｄ０と共にＥＤＤ ｃｏｄｅを符号化して送信すると、受信端では全ての点のジオメトリ情報を損失なく復元することができる。
【0247】
例えば、基準点上にポイントが存在すれば１であり、ポイントが存在しなければ０となり、４つのビットに基づいてコードが表現される。
【0248】
平滑化(Ｓｍｏｏｔｈｉｎｇ)４０００４
【0249】
平滑化は、圧縮プロセスから生じる画質の劣化によりパット境界面で発生し得る不連続性を除去する作業であり、ポイントクラウドビデオエンコーダ又は平滑化部で行われる。
【0250】
（１） ジオメトリイメージよりポイントクラウドを再生成(ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)する。本プロセスは、上述したジオメトリイメージ生成の逆過程といえる。例えば、符号化の逆過程が再生成である。
【0251】
（２） Ｋ－Ｄ ｔｒｅｅなどを用いて再生成されたポイントクラウドを構成する各点の隣接点を算出する。
【0252】
（３） 各点に対して、その点がパッチ境界面に位置するか否かを判断する。一例として、現在点とは異なるプロジェクション平面(ｃｌｕｓｔｅｒ ｉｎｄｅｘ)を有する隣接点が存在する場合、その点はパッチの境界面に位置していると判断できる。
【0253】
（４） パッチ境界面が存在する場合、その点を隣接点の重心(隣接点の平均ｘ、ｙ、ｚ座標に位置)へ移動させる。即ち、ジオメトリ値を変更する。存在しない場合には以前のジオメトリ値を維持する。
【0254】
図１１は、実施例による隣接点のカラー(ｃｏｌｏｒ)値を用いた復色(ｒｅｃｏｌｏｒｉｎｇ)の一例を示す。
【0255】
実施例によるポイントクラウドビデオエンコーダ又はテクスチャーイメージ生成４０００３は、復色に基づいてテクスチャーイメージを生成することができる。
【0256】
テクスチャーイメージ生成(Ｔｅｘｔｕｒｅ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ)４０００３
【0257】
テクスチャーイメージ生成のプロセスは、上述したジオメトリイメージ生成のプロセスと同様に、個別パッチのテクスチャーイメージを生成し、これらを決められた位置に配置することで、全体のテクスチャーイメージを生成するプロセスからなる。ただし、個別パッチのテクスチャーイメージを生成するプロセスにおいて、ジオメトリ生成のための深さ値に代わってその位置に対応するポイントクラウドを構成する点のカラー値(例えば、Ｒ、Ｇ、Ｂ)を有するイメージが生成される。
【0258】
ポイントクラウドを構成する各点のカラー値を求めるプロセスにおいて、上述した平滑化のプロセスを経たジオメトリが用いられる。平滑化されたポイントクラウドはオリジナルポイントクラウドにおいて一部点の位置が移動した状態である可能性があるため、変更された位置に適するカラーを探す復色のプロセスが必要となる。復色は隣接点のカラー値を用いて行われる。一例として、図のように、新たなカラー値は最隣接点のカラー値と隣接点のカラー値を考慮して算出できる。
【0259】
例えば、図を参照すれば、復色はポイントに対する最も近いオリジナルポイントの特質情報の平均及び／又はポイントに対する最も近いオリジナル位置の特質情報の平均に基づいて変更された位置の適するカラー値を算出する。
【0260】
テクスチャーイメージもまた、ｄ０／ｄ１の２つのレイヤで生成されるジオメトリイメージのように、ｔ０／ｔ１の２つのレイヤで生成される。
【0261】
付加パッチ情報圧縮(Ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏ ｃｏｍｐｒｅｓｓｉｏｎ)４０００５
【0262】
実施例によるポイントクラウドビデオエンコーダ又は付加パッチ情報圧縮部は、付加パッチ情報(ポイントクラウドに関する付加的な情報)を圧縮することができる。
【0263】
付加パッチ情報圧縮部は、上述したパッチ生成、パッチパッキング、ジオメトリ生成のプロセスなどで生成した付加パッチ情報を圧縮する。付加パッチ情報には以下のようなパラメータが含まれる：
【0264】
プロジェクション(ｐｒｏｊｅｃｔｉｏｎ)平面(ｎｏｒｍａｌ)を識別するインデックス(ｃｌｕｓｔｅｒ ｉｎｄｅｘ)
【0265】
パッチの３Ｄ空間位置：パッチのタンジェント方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｔａｎｇｅｎｔ ａｘｉｓ)、パッチのバイタンジェント方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｂｉｔａｎｇｅｎｔ ａｘｉｓ)、パッチのノーマル方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ)
【0266】
パッチの２Ｄ空間位置、サイズ：水平方向サイズ(ｐａｔｃｈ ２Ｄ ｓｉｚｅ ｕ)、垂直方向サイズ(ｐａｔｃｈ ２Ｄ ｓｉｚｅ ｖ)、水平方向最小値(ｐａｔｃｈ ２Ｄ ｓｈｉｆｔ ｕ)、垂直方向最小値(ｐａｔｃｈ ２Ｄ ｓｈｉｆｔ ｕ)
【0267】
各々のブロックとパッチのマッピング情報：候補インデックス(ｃａｎｄｉｄａｔｅ ｉｎｄｅｘ)(上述したパッチの２Ｄ空間位置、サイズ情報に基づいてパッチを順に位置させた場合、１つのブロックに重複して複数のパッチがマップされることがある。このとき、マップされるパッチが候補リストを構成し、このリストの何番目のパッチのデータが該当ブロックに存在するかを示すインデックス)、ｌｏｃａｌ ｐａｔｃｈ ｉｎｄｅｘ(フレームに存在する全体のパッチのうちの１つを示すインデックス)。Ｔａｂｌｅ １は、ｃａｎｄｉｄａｔｅ ｌｉｓｔとｌｏｃａｌ ｐａｔｃｈ ｉｎｄｅｘを用いたブロックとパッチのマッチングプロセスを示す疑似コード(ｐｓｅｕｄｏ ｃｏｄｅ)である。
【0268】
候補リストの最大数はユーザによって定義される。
【0269】
ｔａｂｌｅ １－１ ｂｌｏｃｋとパッチマッピングのためのｐｓｅｕｄｏ ｃｏｄｅ
【0270】
ｆｏｒ(ｉ＝０；ｉ＜ＢｌｏｃｋＣｏｕｎｔ；ｉ＋＋){
【0271】
ｉｆ(ｃａｎｄｉｄａｔｅＰａｔｃｈｅｓ[ｉ].ｓｉｚｅ()＝＝１){
【0272】
ｂｌｏｃｋＴｏＰａｔｃｈ[ｉ]＝ｃａｎｄｉｄａｔｅＰａｔｃｈｅｓ[ｉ][０]
【0273】
} ｅｌｓｅ {
【0274】
ｃａｎｄｉｄａｔｅ_ｉｎｄｅｘ
【0275】
ｉｆ(ｃａｎｄｉｄａｔｅ_ｉｎｄｅｘ＝＝ｍａｘ_ｃａｎｄｉｄａｔｅ_ｃｏｕｎｔ) {
【0276】
ｂｌｏｃｋＴｏＰａｔｃｈ[ｉ]＝ｌｏｃａｌ_ｐａｔｃｈ_ｉｎｄｅｘ
【0277】
} ｅｌｓｅ {
【0278】
ｂｌｏｃｋＴｏＰａｔｃｈ[ｉ]＝ｃａｎｄｉｄａｔｅＰａｔｃｈｅｓ[ｉ][ｃａｎｄｉｄａｔｅ_ｉｎｄｅｘ]
【0279】
}
【0280】
}
【0281】
}
【0282】
図１２は、実施例によるプッシュ－プルバックグラウンドフィリング(ｐｕｓｈ－ｐｕｌｌ ｂａｃｋｇｒｏｕｎｄ ｆｉｌｌｉｎｇ)の一例を示す。
【0283】
イメージパディング及びグループ拡張(Ｉｍａｇｅ ｐａｄｄｉｎｇ ａｎｄ ｇｒｏｕｐ ｄｉｌａｔｉｏｎ)４０００６、４０００７、４０００８
【0284】
実施例によるイメージパッダは、プッシュ－プルバックグラウンドフィリング方式に基づいてパッチ領域以外の空間を意味のない付加的なデータで満たすことができる。
【0285】
イメージパディングは、圧縮効率の向上を目的として、パッチ領域以外の空間を意味のないデータで満たすプロセスである。イメージパディングのために、パッチ内部の境界面側に該当する列又は行のピクセル値がコピーされて空き空間を満たす方法が用いられる。又は、図のように、パッドされないイメージの解像度を段階的に減らし、再び解像度が高めるプロセスにおいて低い解像度のイメージからのピクセル値で空き空間を満たすプッシュプルバックグラウンドフィリング(ｐｕｓｈ－ｐｕｌｌ ｂａｃｋｇｒｏｕｎｄ ｆｉｌｌｉｎｇ)方法が用いられてもよい。
【0286】
グループ拡張(Ｇｒｏｕｐ ｄｉｌａｔｉｏｎ)は、ｄ０／ｄ１、ｔ０／ｔ１の２つのレイヤからなるジオメトリ、テクスチャーイメージの空き空間を満たす方法であって、上述したイメージパディングによって算出された２つのレイヤの空き空間の値を、２つのレイヤの同一位置に対する値の平均値で満たすプロセスである。
【0287】
図１３は、実施例による４＊４サイズのブロック(ｂｌｏｃｋ)に対して可能なトラバーサルオーダー(ｔｒａｖｅｒｓａｌ ｏｒｄｅｒ)の一例を示す。
【0288】
占有マップ圧縮(Ｏｃｃｕｐａｎｃｙ ｍａｐ ｃｏｍｐｒｅｓｓｉｏｎ)４００１２、４００１１
【0289】
実施例による占有マップ圧縮は、上述した占有マップを圧縮する。具体的には、損失(ｌｏｓｓｙ)圧縮のためのビデオ圧縮(ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ)と無損失(ｌｏｓｓｌｅｓｓ)圧縮のためのエントロピー圧縮(ｅｎｔｒｏｐｙ ｃｏｍｐｒｅｓｓｉｏｎ)との２つの方法がある。ビデオ圧縮については後述する。
【0290】
エントロピー圧縮のプロセスは、以下のように行われる。
【0291】
（１） 占有マップを構成する各々のブロックに対して、全てのブロックが満たされた場合に１を符号化し、次のブロックに同じプロセスを繰り返す。そうではない場合には０を符号化し、（２）～（５）のプロセスを行う。
【0292】
（２） ブロックの満たされたピクセルに対してランレングス符号化(ｒｕｎ－ｌｅｎｇｔｈ ｃｏｄｉｎｇ)を行うためのｂｅｓｔ ｔｒａｖｅｒｓａｌ ｏｒｄｅｒを決定する。図は４＊４サイズのブロックに対して可能な４つのｔｒａｖｅｒｓａｌ ｏｒｄｅｒを一例として示す。
【0293】
図１４は、実施例によるベストトラバーサルオーダーの一例を示す。
【0294】
上述のように、実施例によるエントロピー圧縮部は図のように、トラバーサルオーダー方式に基づいてブロックをコーティング(符号化)する。
【0295】
例えば、可能なトラバーサルオーダーのうち、最小のラン(ｒｕｎ)数を有するｂｅｓｔ ｔｒａｖｅｒｓａｌ ｏｒｄｅｒを選択し、そのインデックスを符号化する。一例として、上述した図１３の３番目のトラバーサルオーダーを選択する場合であり、この場合、ｒｕｎ数は２と最小化でき、これをベストトラバーサルオーダー(ｂｅｓｔ ｔｒａｖｅｒｓａｌ ｏｒｄｅｒ)として選択する。
【0296】
このとき、ｒｕｎ数を符号化する。図１４の例では、２つのｒｕｎが存在することから、２を符号化する。
【0297】
（４） １番目のｒｕｎの占有(ｏｃｃｕｐａｎｃｙ)を符号化する。図１４の例では、１番目のｒｕｎが満たされていないピクセルに該当するため、０を符号化する。
【0298】
（５） 個別ｒｕｎに対する(ｒｕｎの数分だけの)長さ(ｌｅｎｇｔｈ)を符号化する。図１４の例では、１番目のｒｕｎと２番目のｒｕｎの長さである６と１０を順次に符号化する。
【0299】
ビデオ圧縮(Ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ)４０００９、４００１０、４００１１
【0300】
実施例によるビデオ圧縮部は、ＨＥＶＣ、ＶＶＣなどの２Ｄビデオコーデック(ｖｉｄｅｏ ｃｏｄｅｃ)などを用いて、上述したプロセスで生成されたジオメトリイメージ、テクスチャーイメージ、占有マップイメージなどのシーケンスを符号化する。
【0301】
図１５は、実施例による２Ｄビデオ／イメージエンコーダ(２Ｄ ｖｉｄｅｏ／ｉｍａｇｅ Ｅｎｃｏｄｅｒ)の一例を示す。
【0302】
図は上述したビデオ圧縮部(Ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ ｕｎｉｔ)４０００９、４００１０、４００１１が適用される実施例であって、ビデオ／映像信号の符号化が行われる２Ｄビデオ／イメージエンコーダ１５０００の概略なブロック図を示す。２Ｄビデオ／イメージエンコーダ１５０００は、上述したポイントクラウドビデオエンコーダ１０００２に含まれるか、又は内部／外部のコンポーネントからなる。図１５の各構成要素は、ソフトウェア、ハードウェア、プロセッサ及び／又はそれらの組み合わせに対応する。
【0303】
ここで、入力イメージは、上述したジオメトリイメージ、テクスチャーイメージ(特質イメージ)、占有マップイメージなどを含む。ポイントクラウドビデオエンコーダの出力ビットストリーム(即ち、ポイントクラウドビデオ／イメージビットストリーム)は、各入力映像(ジオメトリイメージ、テクスチャーイメージ(特質イメージ)、占有マップイメージなど)に対する出力ビットストリームを含む。
【0304】
インター予測部１５０９０及びイントラ予測部１５１００を合わせて予測部と呼ぶ。即ち、予測部は、インター予測部１５０９０及びイントラ予測部１５１００を含む。変換部１５０３０、量子化部１５０４０、逆量子化部１５０５０、逆変換部１５０６０を合わせて、残余(ｒｅｓｉｄｕａｌ)処理部とも呼ぶ。残余処理部はさらに減算部１５０２０を含む。上述した映像分割部１５０１０、減算部１５０２０、変換部１５０３０、量子化部１５０４０、逆量子化部１５０５０、逆変換部１５０６０、加算部１５５、フィルタリング部１５０７０、インター予測部１５０９０、イントラ予測部１５１００及びエントロピー符号化部１５１１０は、実施例によって、１つのハードウェアコンポーネント(例えば、エンコーダ又はプロセッサ)で構成される。また、メモリ１５０８０は、ＤＰＢ(ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ)を含み、デジタル記憶媒体で構成される。
【0305】
映像分割部１５０１０は、符号化装置１５０００に入力された入力映像(又はピクチャー、フレーム)を１つ以上の処理ユニット(ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ)に分割する。一例として、処理ユニットは、コーディングユニット(ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ)とも呼ぶ。この場合、コーディングユニットは、コーディングツリーユニット(ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ)又は最大コーディングユニット(ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ)からＱＴＢＴ(Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ)構造によって再帰的に(ｒｅｃｕｒｓｉｖｅｌｙ)分割される。例えば、１つのコーディングユニット、Ｑｕａｄ－ｔｒｅｅ構造及び／又はｂｉｎａｒｙ－ｔｒｅｅ構造に基づいて下位(ｄｅｅｐｅｒ)深さの複数のコーディングユニットに分割される。この場合、例えば、先にＱｕａｄ－ｔｒｅｅが適用されて、その後にｂｉｎａｒｙ－ｔｒｅｅが適用されてもよい。又はｂｉｎａｒｙ－ｔｒｅｅが先に適用されてもよい。これ以上分割されない最終コーディングユニットに基づいて、本発明によるコーディング手順が行われてもよい。この場合、映像の特性に応じたコーディング効率などに基づいて、最大のコーディングユニットが最終符号化ユニットとして用いられてもよく、又は必要に応じてコーディングユニットは再帰的に(ｒｅｃｕｒｓｉｖｅｌｙ)より下位深さのコーディングユニットに分割されて、最適なサイズのコーディングユニットが最終コーディングユニットとして用いられる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含む。その他の例として、処理ユニットは予測ユニット(ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ)又は変換ユニット(ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ)をさらに含んでもよい。この場合、予測ユニット及び変換ユニットのそれぞれは、上述した最終コーディングユニットから分割又はパーティショニングされる。予測ユニットはサンプル予測の単位であり、変換ユニットは変換係数を誘導する単位及び／又は変換係数から残余信号(ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ)を誘導する単位である。
【0306】
ユニットは、場合によって、ブロック(ｂｌｏｃｋ)又は領域(ａｒｅａ)又はモジュールなどの用語と混用する。一般の場合、ＭｘＮブロックは、Ｍ個の列とＮ個の行からなるサンプル又は変換係数(ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ)の集合を示す。サンプルは、一般にピクセル又はピクセルの値を示し、輝度(ｌｕｍａ)成分のピクセル／ピクセル値だけを示してもよく、彩度(ｃｈｒｏｍａ)成分のピクセル／ピクセル値だけを示してもよい。サンプルは１つのピクチャー(又は、映像)をピクセル(ｐｉｘｅｌ)又はペル(ｐｅｌ)に対応する用語として使用する。
【0307】
符号化装置１５０００は、入力映像信号(オリジナルブロック、オリジナルサンプルアレイ)においてインター予測部１５０９０又はイントラ予測部１５１００から出力された予測信号(予測されたブロック、予測サンプルアレイ)を減算して、残余信号(ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ)を生成し、生成した残余信号は変換部１５０３０へ送信される。この場合、図示のように、符号化装置１５０００内で入力映像信号(オリジナルブロック、オリジナルサンプルアレイ)において予測信号(予測ブロック、予測サンプルアレイ)を減算するユニットは減算部１５０２０と呼ぶ。予測部は処理対象ブロック(以下、現在ブロックという)に対する予測を行い、現在ブロックに対する予測サンプルを含む予測されたブロック(ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ)を生成する。予測部は現在ブロック又はＣＵ単位でイントラ予測を適用するか、又はインター予測を適用するかを決定する。予測部は、各々の予測モードに関して後述するように、予測モード情報などの予測に関する様々な情報を生成してエントロピー符号化部１５１１０に伝送する。予測に関する情報はエントロピー符号化部１５１１０で符号化されてビットストリームの形式で出力される。
【0308】
イントラ予測部１５１００は、現在ピクチャー内のサンプルを参照して現在ブロックを予測する。参照されるサンプルは、予測モードに応じて現在ブロックに隣接(ｎｅｉｇｈｂｏｒ)して位置するか、又は離れて位置する。イントラ予測において予測モードは複数の非方向性モードと複数の方向性モードを含む。非方向性モードは、例えばＤＣモード及び平面モード(Ｐｌａｎａｒモード)を含む。方向性モードは、予測方向の精密度に応じて、例えば３３つの方向性予測モード又は６５つの方向性予測モードを含む。ただし、これは例示であって、設定によってその以上又はその以下の方向性予測モードが用いられる。イントラ予測部１５１００の隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定してもよい。
【0309】
インター予測部１５０９０は、参照ピクチャー上で動きベクトルによって特定される参照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを導く。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測する。動き情報は、動きベクトル及び参照ピクチャーインデックスを含む。動き情報はさらにインター予測方向(Ｌ０予測、Ｌ１予測、Ｂｉ予測など)情報を含む。インター予測の場合、隣接ブロックは現在ピクチャー内に存在する空間的隣接ブロック(ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ)と参照ピクチャーに存在する時間的隣接ブロック(ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ)を含む。参照ブロックを含む参照ピクチャーと時間的隣接ブロックを含む参照ピクチャーは同一であってもよく、異なってもよい。時間的隣接ブロックは、同一位置参照ブロック(ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ)、同一位置ＣＵ(ｃｏｌＣＵ)などと呼ばれ、時間的隣接ブロックを含む参照ピクチャーは、同一位置ピクチャー(ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ)とも呼ばれる。例えば、インター予測部１５０９０は隣接ブロックに基づいて動き情報の候補リストを構成し、現在ブロックの動きベクトル及び／又は参照ピクチャーインデックスを導出するためにいずれの候補が使用されるかを指示する情報を生成する。様々な予測モードに基づいてインター予測が行われ、例えばスキップモードとマージモードの場合、インター予測部は隣接ブロックの動き情報を現在ブロックの動き情報として用いる。スキップモードの場合、マージモードとは異なり、残余信号が送信されないことがある。動き情報予測(ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ)モードの場合、隣接ブロックの動きベクトルを動きベクトル予測者(ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ)として用いて、動きベクトル差分(ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ)をシグナリングすることで現在ブロックの動きベクトルを指示する。
【0310】
インター予測部１５０９０又はイントラ予測部１５１００によって生成された予測信号は、復元信号の生成のために用いられるか、残余信号の生成のために用いられる。
【0311】
変換部１５０３０は残余信号に変換方法を適用して変換係数(ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ)を生成する。例えば、変換方法は、ＤＣＴ(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)、ＤＳＴ(Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)、ＫＬＴ(Ｋａｒｈｕｎｅｎ-Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ)、ＧＢＴ(Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ)、又はＣＮＴ(Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ)のうち少なくとも１つを含む。ここで、ＧＢＴはピクセル間の関係情報をグラフで表現するとき、このグラフから得られた変換を意味する。ＣＮＴは以前に復元された全てのピクセル(ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ)を用いて予測信号を生成し、それに基づいて取得される変換を意味する。また、変換プロセスは、正方形の同一サイズのピクセルブロックに適用されてもよく、正方形ではない可変サイズのブロックに適用されてもよい。
【0312】
量子化部１５０４０は、変換係数を量子化してエントロピー符号化部１５１１０に送信し、エントロピー符号化部１５１１０は量子化した信号(量子化した変換係数に関する情報)を符号化してビットストリームに出力する。量子化した変換係数に関する情報は残余情報と呼ぶ。量子化部１５０４０は係数スキャン順(ｓｃａｎ ｏｒｄｅｒ)に基づいてブロック形態の量子化変換係数を１次元ベクトル形に再整列し、１次元ベクトル形の量子化変換係数に基づいて量子化した変換係数に関する情報を生成することもできる。エントロピー符号化部１５１１０は、例えば、指数ゴロム(ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ)、ＣＡＶＬＣ(ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ)、ＣＡＢＡＣ(ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ)などのような様々な符号化方法を行う。エントロピー符号化部１５１１０は、量子化した変換係数の他にビデオ／イメージの復元に必要な情報(例えば、シンタックス要素(ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ)の値など)を共に又は別として符号化する。符号化した情報(例えば、符号化したビデオ／映像情報)はビットストリームの形式でＮＡＬ(ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ)ユニットの単位で送信又は格納される。ビットストリームはネットワークを介して送信されてもよく、デジタル記憶媒体に記憶されてもよい。ここで、ネットワークは放送網及び／又は通信網などを含み、デジタル記憶媒体はＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの様々な記憶媒体を含む。エントロピー符号化部１５１１０から出力された信号を送信する送信部(未図示)及び／又は記憶する記憶部(未図示)が符号化装置１５０００の内部／外部要素として構成されてもよく、又は送信部はエントロピー符号化部１５１１０に含まれてもよい。
【0313】
量子化部１５０４０から出力された量子化した変換係数は、予測信号を生成するために用いられる。例えば、量子化した変換係数に逆量子化部１５０４０及び逆変換部１５０６０によって逆量子化及び逆変換を適用することで、残余信号(残余ブロック又は残余サンプル)を復元する。加算部１５２００は復元された残余信号をインター予測部１５０９０又はイントラ予測部１５１００から出力された予測信号に加えることで、復元(ｒｅｃｏｎｓｔｒｕｃｔｅｄ)信号(復元ピクチャー、復元ブロック、復元サンプルアレイ)を生成する。スキップモードが適用された場合のように、処理対象ブロックに対する残余がない場合、予測されたブロックが復元ブロックとして用いられる。加算部１５５は復元部又は復元ブロック生成部と呼ばれる。生成された復元信号は現在ピクチャー内の次の処理対象ブロックのイントラ予測のために用いられてもよく、後述のようにフィルタリングを経て次のピクチャーのインター予測のために用いられてもよい。
【0314】
フィルタリング部１５０７０は、復元信号にフィルタリングを適用して、主観的／客観的な画質を向上させることができる。例えば、フィルタリング部１５０７０は、復元ピクチャーに様々なフィルタリング方法を適用して修正した(ｍｏｄｉｆｉｅｄ)復元ピクチャーを生成し、修正した復元ピクチャーをメモリ１５０８０、具体的にメモリ１５０８０のＤＰＢに格納する。様々なフィルタリング方法には、例えば、デブロッキングフィルタリング、サンプル適応的オフセット(ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ)、適応的ループフィルター(ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ)、双方向フィルター(ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ)などがある。フィルタリング部１５０７０は、後述する各々のフィルタリング方法のように、フィルタリングに関する様々な情報を生成してエントロピー符号化部１５１１０へ伝送する。フィルタリングに関する情報はエントロピー符号化部１５１１０で符号化されてビットストリームの形式で出力される。
【0315】
メモリ１５０８０に送信された修正した(ｍｏｄｉｆｉｅｄ)復元ピクチャーは、インター予測部１５０９０において参照ピクチャーとして用いられる。符号化装置はこれによってインター予測が適用される場合、符号化装置１５０００及び復号装置における予測ミスマッチを避けることができ、符号化の効率を向上させることもできる。
【0316】
メモリ１５０８０のＤＰＢは、修正した復元ピクチャーをインター予測部１５０９０における参照ピクチャーとして用いるために格納する。メモリ１５０８０は、現在ピクチャー内の動き情報が導出された(又は符号化された)ブロックの動き情報及び／又は既に復元したピクチャー内のブロックの動き情報を格納する。格納した動き情報は空間的隣接ブロックの動き情報又は時間的隣接ブロックの動き情報として活用するためにインター予測部１５０９０に伝送する。メモリ１５０８０は現在ピクチャー内において復元したブロックの復元サンプルを格納して、イントラ予測部１５１００へ伝送する。
【0317】
なお、上述した予測、変換、量子化の手順のうちの少なくとも１つが省略されてもよい。例えば、ＰＣＭ(ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ)が適用されるブロックに対しては、予測、変換、量子化の手順を省略し、オリジナルサンプルの値をそのまま符号化してビットストリームに出力してもよい。
【0318】
図１６は、実施例によるＶ－ＰＣＣ復号プロセス(ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓ)の一例を示す。
【0319】
Ｖ－ＰＣＣ復号プロセス又はＶ－ＰＣＣデコーダは、図４のＶ－ＰＣＣ符号化プロセス(又はエンコーダ)の逆プロセスとなる。図１６の各構成要素は、ソフトウェア、ハードウェア、プロセッサ、及び／又はそれらの組み合わせに対応する。
【0320】
逆多重化装置(ｄｅｍｕｌｔｉｐｌｅｘｅｒ)１６０００は、圧縮されたビットストリームを逆多重化して圧縮されたテクスチャーイメージ、圧縮されたジオメトリイメージ、圧縮された占有マップイメージ、圧縮された付加パッチ情報をそれぞれ出力する。
【0321】
ビデオ復元(ｖｉｄｅｏ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)１６００１、１６００２又はビデオ復元部は、圧縮されたテクスチャーイメージ及び圧縮されたジオメトリイメージのそれぞれを復元する。
【0322】
占有マップ復元(ｏｃｃｕｐａｎｃｙ ｍａｐ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)１６００３又は占有マップ復元部は、圧縮された占有マップイメージを復元する。
【0323】
付加パッチ情報復元(ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)１６００４又は付加パッチ情報復元部は、圧縮された付加パッチ情報を復元する。
【0324】
ジオメトリ再構成(ｇｅｏｍｅｔｒｙ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)１６００５又はジオメトリ再構成部は、復元されたジオメトリイメージ、復元された占有マップ、及び／又は復元された付加パッチ情報に基づいてジオメトリ情報を復元(再構成)する。例えば、符号化プロセスにおいて変更したジオメトリを再構成する。
【0325】
平滑化(ｓｍｏｏｔｈｉｎｇ)１６００６又は平滑化部は、再構成されたジオメトリに対して平滑化を適用する。例えば、平滑化フィルタリングが適用される。
【0326】
テクスチャー再構成(ｔｅｘｔｕｒｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)１６００７又はテクスチャー再構成部は、復元されたテクスチャーイメージ及び／又は平滑化されたジオメトリからテクスチャーを再構成する。
【0327】
カラー平滑化(ｃｏｌｏｒ ｓｍｏｏｔｈｉｎｇ)１６００８又はカラー平滑化部は、再構成されたテクスチャーからカラー値を平滑化する。例えば、平滑化フィルタリングが適用される。
【0328】
その結果、再構成されたポイントクラウドデータが生成される。
【0329】
図は圧縮された占有マップ、ジオメトリイメージ、テクスチャーイメージ、付加パッチ情報を復号してポイントクラウドを再構成するためのＶ－ＰＣＣの復号プロセスを示す。実施例による各プロセスの動作は以下のようである。
【0330】
ビデオ復元(Ｖｉｄｅｏ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)１６００１、１６００２
【0331】
上述したビデオ圧縮の逆プロセスであって、ＨＥＶＣ、ＶＶＣなどの２Ｄビデオコーデックを用いて、上記プロセスで生成されたジオメトリイメージ、テクスチャーイメージ、占有マップイメージの圧縮されたビットストリームを復号するプロセスである。
【0332】
図１７は、実施例による２Ｄビデオ／イメージデコーダ(２Ｄ Ｖｉｄｅｏ／Ｉｍａｇｅ Ｄｅｃｏｄｅｒ)の一例を示す。
【0333】
２Ｄビデオ／イメージデコーダは、図１５の２Ｄビデオ／イメージエンコーダの逆過程となる。
【0334】
図１７の２Ｄビデオ／イメージデコーダは、図１６のビデオ復元又はビデオ復元部の実施例であって、ビデオ／映像信号の復号が行われる２Ｄ ｖｉｄｅｏ／ｉｍａｇｅ ｄｅｃｏｄｅｒ１７０００の概略なブロック図を示す。２Ｄビデオ／イメージデコーダ１７０００は、図１のポイントクラウドビデオデコーダに含まれるか、又は内外部のコンポーネントで構成される。図１７の各構成要素はソフトウェア、ハードウェア、プロセッサ及び／又はそれらの組み合わせに対応する。
【0335】
ここで、入力ビットストリームは、上述したジオメトリイメージ、テクスチャーイメージ(特質イメージ)、占有マップイメージなどに対するビットストリームを含む。復元映像(又は出力映像、復号された映像)は、上述したジオメトリイメージ、テクスチャーイメージ(特質イメージ)、占有マップイメージに対する復元映像を示す。
【0336】
図を参照すれば、インター予測部１７０７０及びイントラ予測部１７０８０を合わせて予測部と呼ぶ。即ち、予測部はインター予測部１８０及びイントラ予測部１８５を含む。逆量子化部１７０２０、逆変換部１７０３０を合わせて残余処理部と呼ぶ。即ち、残余処理部は逆量子化部１７０２０、逆変換部１７０３０を含む。上記エントロピー復号部１７０１０、逆量子化部１７０２０、逆変換部１７０３０、加算部１７０４０、フィルタリング部１７０５０、インター予測部１７０７０及びイントラ予測部１７０８０は、実施例によって、１つのハードウェアコンポーネント(例えば、デコーダ又はプロセッサ)によって構成される。また、メモリ１７０６０はＤＰＢ(ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ)を含んでもよく、デジタル記憶媒体によって構成されてもよい。
【0337】
ビデオ／映像情報を含むビットストリームが入力されると、復号装置１７０００は、図０．２－１の符号化装置においてビデオ／映像情報が処理されたプロセスに対応して映像を復元する。例えば、復号装置１７０００は、符号化装置で適用された処理ユニットを用いて復号を行う。よって、復号の処理ユニットは、例えば、コーディングユニットであり、コーディングユニットはコーディングツリーユニット又は最大コーディングユニットからＱｕａｄ－ｔｒｅｅ構造及び／又はｂｉｎａｒｙ－ｔｒｅｅ構造によって分割される。また、復号装置１７０００によって復号されて出力された復元映像信号は再生装置で再生される。
【0338】
復号装置１７０００は、符号化装置から出力された信号をビットストリームの形式で受信し、受信した信号はエントロピー復号部１７０１０で復号される。例えば、エントロピー復号部１７０１０はビットストリームをパーシングして映像復元(又はピクチャー復元)に必要な情報(例えば、ビデオ／映像情報)を導出する。例えば、エントロピー復号部１７０１０は指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号し、映像復元に必要なシンタックス要素の値、残余に関する変換係数の量子化された値を出力する。より詳細に、ＣＡＢＡＣエントロピー復号方法は、ビットストリームにおいて各構文要素に該当するビンを受信し、復号対象構文要素情報と隣接及び復号対象ブロックの復号情報又は前のステップで復号されたシンボル／ビンの情報を用いて文脈(ｃｏｎｔｅｘｔ)モデルを決定して、決定した文脈モデルに応じてビン(ｂｉｎ)の発生確率を予測し、ビンの算術復号(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ)を行って、各構文要素の値に該当するシンボルを生成する。このとき、ＣＡＢＡＣエントロピー復号方法は、文脈モデルを決定した後、次のシンボル／ビンの文脈モデルのために復号されたシンボル／ビンの情報を用いて文脈モデルをアップデートする。エントロピー復号部１７０１０で復号された情報のうち予測に関する情報は、予測部(インター予測部１７０７０及びイントラ予測部１７０８０)に提供され、エントロピー復号部１７０１０でエントロピー復号が行われた残余値、即ち量子化された変換係数及び関連パラメータ情報は、逆量子化部１７０２０へ入力される。また、エントロピー復号部１７０１０で復号された情報のうちフィルタリングに関する情報は、フィルタリング部１７０５０へ提供される。一方、符号化装置から出力された信号を受信する受信部(未図示)が復号装置１７０００の内部／外部要素としてさらに構成されてもよく、受信部はエントロピー復号部１７０１０の構成要素であってもよい。
【0339】
逆量子化部１７０２０では量子化された変換係数を量子化して変換係数を出力する。逆量子化部１７０２０は量子化された変換係数を２次元のブロック形に再整列する。この場合、符号化装置で行われた係数スキャン順に基づいて再整列を行う。逆量子化部１７０２０は量子化パラメータ(例えば、量子化ステップサイズ情報)を用いて量子化された変換係数に対する逆量子化を行い、変換係数(ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ)を取得する。
【0340】
逆変換部１７０３０では変換係数を逆変換して残余信号(残余ブロック、残余サンプルアレイ)を取得する。
【0341】
予測部は現在ブロックに対する予測を行い、現在ブロックに対する予測サンプルを含む予測されたブロック(ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ)を生成する。予測部はエントロピー復号部１７０１０から出力された予測に関する情報に基づいて現在ブロックにイントラ予測が適用されるか、又はインター予測が適用されるかを決定して、具体的なイントラ／インター予測モードを決定する。
【0342】
イントラ予測部２６５は、現在ピクチャー内のサンプルを参照して現在ブロックを予測する。参照されるサンプルは予測モードに応じて、現在のブロックに隣接(ｎｅｉｇｈｂｏｒ)して位置してもよく、又は離れて位置してもよい。イントラ予測において予測モードは複数の非方向性モードと複数の方向性モードとを含む。イントラ予測部２６５は隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定する。
【0343】
インター予測部１７０７０は、参照ピクチャー上で動きベクトルによって特定される参照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを導く。このとき、インター予測モードにおいて送信される動き情報の量を減らすために隣接ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測する。動き情報は動きベクトル及び参照ピクチャーインデックスを含む。動き情報はさらにインター予測方法(Ｌ０予測、Ｌ１予測、Ｂｉ予測など)情報を含む。インター予測の場合、隣接ブロックは現在ピクチャー内に存在する空間的隣接ブロック(ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ)と参照ピクチャーに存在する時間的隣接ブロック(ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ)を含む。例えば、インター予測部１７０７０は隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて現在ブロックの動きベクトル及び／又は参照ピクチャーインデックスを導出する。様々な予測モードに基づいてインター予測が行われ、予測に関する情報は現在ブロックに対するインター予測のモードを指示する情報を含む。
【0344】
加算部１７０４０は取得した残余信号をインター予測部１７０７０又はイントラ予測部２６５から出力された予測信号(予測されたブロック、予測サンプルアレイ)に加えることで復元信号(復元ピクチャー、復元ブロック、復元サンプルアレイ)を生成する。スキップモードが適用された場合のように、処理対象ブロックに対する残余がない場合、予測されたブロックが復元ブロックとして用いられる。
【0345】
加算部１７０４０は復元部又は復元ブロック生成部と呼ぶ。生成された復元信号は現在ピクチャー内の次の処理対象ブロックのイントラ予測のために用いられてもよく、後述のように、フィルタリングを経て次のピクチャーのインター予測のためにも用いられてもよい。
【0346】
フィルタリング部１７０５０は復元信号にフィルタリングを適用して主観的／客観的な画質を向上させる。例えば、フィルタリング部１７０５０は復元ピクチャーに様々なフィルタリング方法を適用して、修正された(ｍｏｄｉｆｉｅｄ)復元ピクチャーを生成し、修正された復元ピクチャーをメモリ１７０６０、具体的にメモリ１７０６０のＤＰＢに送信する。様々なフィルタリング方法には、例えば、デブロッキングフィルタリング、サンプル適応的オフセット(ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ)、適応的ループフィルター(ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ)、双方向フィルター(ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ)などが含む。
【0347】
メモリ１７０６０のＤＰＢに格納された(修正された)復元ピクチャーは、インター予測部１７０７０において参照ピクチャーとして使用される。メモリ１７０６０は、現在ピクチャー内の動き情報が導出された(又は復号された)ブロックの動き情報及び／又は既に復元されたピクチャー内のブロックの動き情報を格納する。格納された動き情報は空間的隣接ブロックの動き情報又は時間的隣接ブロックの動き情報として活用するために、インター予測部１７０７０へ伝送する。メモリ１７０６０は現在ピクチャー内の復元されたブロックの復元サンプルを格納して、イントラ予測部１７０８０へ伝送する。
【0348】
この明細書において、符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明した実施例は、復号装置１７０００のフィルタリング部１７０５０、インター予測部１７０７０及びイントラ予測部１７０８０にも同一又は対応する方法が適用できる。
【0349】
一方、上述した予測、逆変換、逆量子化の手順のうちの少なくとも１つが省略されてもよい。例えば、ＰＣＭ(ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ)が適用されるブロックに対しては、予測、逆変換、逆量子化の手順を省略して、復号されたサンプルの値をそのまま復元映像のサンプルとして使用する。
【0350】
占有マップ復元(Ｏｃｃｕｐａｎｃｙ ｍａｐ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)１６００３
【0351】
上述した占有マップ圧縮の逆過程であり、圧縮された占有マップビットストリームを復号して占有マップを復元するプロセスである。
【0352】
付加パッチ情報復元(Ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)１６００４
【0353】
上述した付加パッチ情報圧縮の逆過程であり、圧縮された付加パッチ情報ビットストリームを復号して付加パッチ情報を復元するプロセスである。
【0354】
ジオメトリ再構成(Ｇｅｏｍｅｔｒｙ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)１６００５
【0355】
上述したジオメトリイメージ生成の逆過程である。まず、復元された占有マップと付加パッチ情報に含まれるパッチの２Ｄ位置／サイズ情報及びブロックとパッチとのマッピング情報を用いてジオメトリイメージからパッチを抽出する。この後、抽出したパッチのジオメトリイメージと付加パッチ情報に含まれるパッチの３Ｄ位置情報を用いて、ポイントクラウドを３Ｄ空間上に復元する。１つのパッチ内に存在する任意の点(ｕ、ｖ)に該当するジオメトリ値をｇ(ｕ、ｖ)といい、パッチの３Ｄ空間上の位置のｎｏｒｍａｌ軸、ｔａｎｇｅｎｔ軸、ｂｉｔａｎｇｅｎｔ軸の座標値を(δ０、ｓ０、ｒ０)とするとき、点(ｕ、ｖ)にマップされる３Ｄ空間上の位置のｎｏｒｍａｌ軸、ｔａｎｇｅｎｔ軸、ｂｉｔａｎｇｅｎｔ軸の座標値であるδ(ｕ、ｖ)、ｓ(ｕ、ｖ)、ｒ(ｕ、ｖ)は、以下のように示される。
【0356】
ｄ(ｕ，ｖ)＝ｄ０＋ｇ(ｕ，ｖ)
【0357】
ｓ(ｕ，ｖ)＝ｓ０＋ｕ
【0358】
ｒ(ｕ，ｖ)＝ｒ０＋ｖ
【0359】
平滑化(Ｓｍｏｏｔｈｉｎｇ)１６００６
【0360】
上述した符号化プロセスにおける平滑化と同様であり、圧縮プロセスで発生する画質の劣化によりパッチ境界面から生じ得る不連続性を除去するためのプロセスである。
【0361】
テクスチャー再構成(Ｔｅｘｔｕｒｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)１６００７
【0362】
平滑化されたポイントクラウドを構成する各点にカラー値を与えてカラーポイントクラウドを復元するプロセスである。上述したジオラマ再構成のプロセスで再構成されたジオメトリイメージとポイントクラウドのマッピング情報を用いて、２Ｄ空間でジオメトリイメージと同一位置のテクスチャーイメージピクセルに該当するカラー値を、３Ｄ空間で同一位置に対応するポイントクラウドの点に付与することで行われる。
【0363】
カラー平滑化(Ｃｏｌｏｒ ｓｍｏｏｔｈｉｎｇ)１６００８
【0364】
上述したジオメトリ平滑化のプロセスと類似し、圧縮プロセスから発生する画質の劣化によってパッチ境界面から生じ得るカラー値の不連続性を除去するためのプロセスである。カラー平滑化は、以下のように行われる。
【0365】
（１） Ｋ－Ｄ ｔｒｅｅなどを用いて復元されたカラーポイントクラウドを構成する各点の隣接点を算出する。上述したジオメトリ平滑化のプロセスで算出された隣接点情報をそのまま用いてもよい。
【0366】
（２） 各点に対して、その点がパッチ境界面に位置しているか否かを判断する。上述したジオメトリ平滑化のプロセスで算出された境界面情報をそのまま用いてもよい。
【0367】
（３） 境界面に存在する点の隣接点に対して、カラー値の分布を調べて平滑化を行うかどうかを判断する。一例として、輝度値のエントロピーが境界値(ｔｈｒｅｓｈｏｌｄ ｌｏｃａｌ ｅｎｔｒｙ)以下である場合(類似する輝度値が多い場合)、エッジ部分ではないと判断して平滑化を行う。平滑化の方法としては、隣接点の平均値でその点のカラー値を置き換える方法がある。
【0368】
図１８は、実施例による送信装置の動作の流れの一例を示す。
【0369】
実施例による送信装置は、図１の送信装置、図４の符号化プロセス、図１５の２Ｄビデオ／イメージエンコーダに対応するか、それらの動作の一部／全部を行ってもよい。送信装置の各構成要素は、ソフトウェア、ハードウェア、プロセッサ及び／又はそれらの組み合わせに対応する。
【0370】
Ｖ－ＰＣＣを用いたポイントクラウドデータの圧縮及び送信のための送信端の動作は図に示めすようである。
【0371】
実施例によるポイントクラウドデータ送信装置は、送信装置などと呼ばれる。
【0372】
パッチ生成部１８０００は、まずポイントクラウド(ｐｏｉｎｔ ｃｌｏｕｄ)の２Ｄイメージマッピングのためのパッチ(ｐａｔｃｈ)を生成する。パッチ生成の結果物として付加パッチ情報が生成され、該当情報はジオメトリイメージ(ｇｅｏｍｅｔｒｙ ｉｍａｇｅ)生成、テクスチャーイメージ(ｔｅｘｔｕｒｅ ｉｍａｇｅ)生成、平滑化(ｓｍｏｏｔｈｉｎｇ)又は平滑化のためのジオメトリ復元プロセスに用いられる。
【0373】
パッチパッキング部１８００１は、パッチ生成部で生成されたパッチを２Ｄイメージ内にマップするパッチパッキングのプロセスを行う。パッチパッキングの結果物として占有マップ(ｏｃｃｕｐａｎｃｙ ｍａｐ)が生成され、占有マップはジオメトリイメージ生成、テクスチャーイメージ生成、平滑化のためのジオメトリ復元プロセスに用いられる。
【0374】
ジオメトリイメージ生成部１８００２は、付加パッチ情報と占有マップを用いてジオメトリイメージを生成し、生成したジオメトリイメージはビデオ符号化により１つのビットストリームに符号化される。
【0375】
符号化前処理部１８００３は、イメージパディングを含む。生成されたジオメトリイメージ又は符号化されたジオメトリビットストリームを復号して再生成されたジオメトリイメージは３Ｄジオメトリ復号に使用され、その後、平滑化過程が行われる。
【0376】
テクスチャーイメージ生成部１８００４は、平滑化された３Ｄジオメトリ、ポイントクラウドデータ、付加パッチ情報及び占有マップを用いてテクスチャーイメージを生成する。生成されたテクスチャーイメージは１つのビデオビットストリームに符号化される。
【0377】
メタデータ符号化部１８００５は、付加パッチ情報を１つのメタデータビットストリームに符号化する。
【0378】
ビデオ符号化部１８００６は、占有マップを１つのビデオビットストリームに符号化する。
【0379】
多重化部１８００７は、生成されたジオメトリ、テクスチャーイメージ、占有マップのビデオビットストリームと付加パッチ情報メタデータビットストリームを１つのビットストリームに多重化する。
【0380】
送信部１８００８は、ビットストリームを受信端に送信する。又は生成されたジオメトリ、テクスチャーイメージ、占有マップのビデオビットストリームと付加パッチ情報メタデータビットストリームは１つ以上のトラックデータでファイルが生成されるか、セグメントでカプセル化されて送信部から受信端に送信される。
【0381】
図１９は、実施例による受信装置の動作の流れの一例を示す。
【0382】
実施例による受信装置は、図１の受信装置、図１６の復号プロセス、図１７の２Ｄビデオ／イメージエンコーダに対応するか、それらの動作の一部／全部を行う。受信装置の各構成要素は、ソフトウェア、ハードウェア、プロセッサ及び／又はそれらの組み合わせに対応する。
【0383】
Ｖ－ＰＣＣを用いたポイントクラウドデータの受信及び復元のための受信端の動作プロセスは図面に従う。Ｖ－ＰＣＣ受信端の動作は、図１８のＶ－ＰＣＣ送信端の動作の逆過程である。
【0384】
実施例によるポイントクラウドデータ受信装置は、受信装置などと呼ばれる。
【0385】
受信されたポイントクラウドのビットストリームはファイル／セグメンデカプセル化後に圧縮されたジオメトリイメージ、テクスチャーイメージ、占有マップのビデオビットストリームと付加パッチ情報メタデータビットストリームに逆多重化部１９０００により逆多重化される。ビデオ復号部１９００１とメタデータ復号化部１９００２は逆多重化されたビデオビットストリームとメタデータビットストリームを復号する。ジオメトリ復元部１９００３により復号されたジオメトリイメージと占有マップ及び付加パッチ情報を用いて３Ｄジオメトリが復元され、その後、平滑化部１９００４による平滑化過程が行われる。平滑化された３Ｄジオメトリにテクスチャーイメージを用いてカラー値を付与することにより、カラーポイントクラウド映像／ピクチャーがテクスチャー復元部１９００５により復元される。その後、客観的／主観的な視覚品質を向上させるために、カラー平滑化過程をさらに行い、これにより導出された修正された(ｍｏｄｉｆｉｅｄ)ポイントクラウド映像／ピクチャーは、レンダリングプロセス後にユーザに見せられる。なお、カラー平滑化プロセスは、場合によっては省略してもよい。
【0386】
図２０は、実施例によるＶ－ＰＣＣベースのポイントクラウドデータの格納及びストリーミングのためのアーキテクチャの一例を示す。
【0387】
図２０のシステムの一部／全部は、図１の送受信装置、図４の符号化プロセス、図１５の２Ｄビデオ／イメージエンコーダ、図１６の復号プロセス、図１８の送信装置、及び／又は図１９の受信装置などの一部／全部を含む。図面の各構成要素は、ソフトウェア、ハードウェア、プロセッサ及びそれらの組み合わせに対応する。
【0388】
【0389】
【0390】
実施例によるＶ－ＰＣＣシステムは、ポイントクラウドデータを含むコンテナを生成し、効率的な送受信のために必要な付加データをコンテナにさらに追加する。
【0391】
実施例による受信装置は、図２０ないし図２２のようなシステムに基づいてコンテナを受信して、パース(ｐａｒｓｅ)する。図１９などに該当する受信装置はパースされたビットストリームからポイントクラウドデータを復号して復元する。
【0392】
図はビデオベースポイントクラウド圧縮(Ｖ－ＰＣＣ)に基づいて圧縮されるポイントクラウドデータを格納又はストリーミングするための全体的なアーキテクチャを示す。ポイントクラウドデータの格納及びストリーミングのプロセスは、取得プロセス、符号化プロセス、送信プロセス、復号プロセス、レンダリングプロセス及び／又はフィードバックプロセスを含む。
【0393】
実施例は、ポイントクラウドメディア／コンテンツ／データを効率的に提供する方法を提案する。
【0394】
ポイントクラウド取得部２００００は、ポイントクラウドメディア／コンテンツ／データを効率的に提供するために、まず、ポイントクラウドビデオを取得する。例えば、１つ以上のカメラによって、ポイントクラウドのキャプチャー、合成又は生成プロセスなどを通じたポイントクラウドデータを取得する。この取得プロセスにより、各ポイントの３Ｄ位置(ｘ、ｙ、ｚ位置値などで示され、以下、ジオメトリと呼ぶ)、各ポイントの特質(色、反射率、透明度など)を含むポイントクラウドビデオを取得することができる。また取得したポイントクラウドビデオはこれを含む、例えば、ＰＬＹ(Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａｔ)ファイルなどで生成することができる。複数のフレームを有するポイントクラウドデータの場合、１つ以上のファイルを取得することができる。このプロセスにおいてポイントクラウド関連メタデータ(例えば、キャプチャーなどに関連するメタデータなど)を生成することができる。
【0395】
キャプチャーしたポイントクラウドビデオは、コンテンツの品質を向上させるための後処理が必要となる場合がある。映像キャプチャーのプロセスにおいて、カメラ装備が提供する範囲内で最大／最小の深さ値を調整してもよいが、調整後にも所望しない領域のポイントデータが含まれることがあるため、所望しない領域(例えば、背景)を除去したり、連結された空間を認識して穴(ｓｐａｔｉａｌ ｈｏｌｅ)を埋める後処理を行ってもよい。また、空間座標系を共有するカメラから抽出されたポイントクラウドは校正によって取得された各カメラの位置座標を基準として、各ポイントに対するグローバル座標系への変換プロセスにより１つのコンテンツに統合してもよい。これにより、ポイントの密度の高いポイントクラウドビデオを取得することができる。
【0396】
ポイントクラウド前処理部(ｐｏｉｎｔ ｃｌｏｕｄ ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ)２０００１は、ポイントクラウドビデオを１つ以上のピクチャー／フレームに生成する。ここで、ピクチャー／フレームは、一般に特定の時間帯の１つの映像を示す単位を意味する。また、ポイントクラウドビデオを構成する点を１つ以上のパッチ(ポイントクラウドを構成する点の集合であって、同じパッチに属する点は３Ｄ空間上において互いに隣接し、２Ｄイメージへのマッピングプロセスにおいて６面のバウンディングボックスの平面のうち同じ方向にマップされる点の集合)に分けて２Ｄ平面にマップする際に、２Ｄ平面のその位置にデータが存在するか否かを０又は１の値で知らせる２進マップ(ｂｉｎａｒｙ ｍａｐ)である占有マップピクチャー／フレームを生成することができる。また、ポイントクラウドビデオを成す各点の位置情報(ｇｅｏｍｅｔｒｙ)をパッチ単位で表す深さマップ形式のピクチャー／フレームであるジオメトリピクチャー／フレームを生成することができる。ポイントクラウドビデオを成す各点の色情報をパッチ単位で表すピクチャー／フレームであるテクスチャーピクチャー／フレームを生成することができる。このプロセスにおいて、個別パッチからポイントクラウドを再構成するために必要なメタデータを生成することができ、このメタデータは、各パッチの２Ｄ／３Ｄ空間における位置、サイズなどのパッチに関する情報(付加情報又は付加パッチ情報という)を含む。このようなピクチャー／フレームが時間順に連続して生成され、ビデオストリーム又はメタデータストリームを構成することができる。
【0397】
ポイントクラウドビデオエンコーダ２０００２は、ポイントクラウドビデオに関連する１つ以上のビデオストリームに符号化することができる。１つのビデオは複数のフレームを含み、１つのフレームは停止映像／ピクチャーに対応する。この明細書において、ポイントクラウドビデオとは、ポイントクラウド映像／フレーム／ピクチャーを含み、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャーと混用することがある。ポイントクラウドビデオエンコーダは、ビデオベースポイントクラウド圧縮(Ｖ－ＰＣＣ)の手順を行う。ポイントクラウドビデオエンコーダは、圧縮及びコーティングの効率のために、予測、変換、量子化、エントロピーコーティングなどの一連の手順を行うことができる。符号化されたデータ(符号化されたビデオ／映像情報)は、ビットストリーム形式で出力される。Ｖ－ＰＣＣ手順に基づく場合、ポイントクラウドビデオエンコーダは、後述のように、ポイントクラウドビデオをジオメトリビデオ、特質(ａｔｔｒｉｂｕｔｅ)ビデオ、占有(ｏｃｃｕｐａｎｃｙ)マップビデオ、またメタデータ、例えば、パッチに関する情報に分けて符号化することができる。ジオメトリビデオはジオメトリイメージを含んでもよく、特質(ａｔｔｒｉｂｕｔｅ)ビデオは特質イメージを含んでもよく、占有(ｏｃｃｕｐａｎｃｙ)マップビデオは占有マップイメージを含んでもよい。付加情報であるパッチデータは、パッチに関する情報を含んでもよい。特質ビデオ／イメージは、テクスチャービデオ／イメージを含んでもよい。
【0398】
ポイントクラウドイメージエンコーダ２０００３は、ポイントクラウドビデオに関連する１つ以上のイメージに符号化することができる。ポイントクラウドイメージエンコー２０００３は、ビデオベースポイントクラウド圧縮(Ｖ－ＰＣＣ)の手順を行う。ポイントクラウドイメージエンコーダは、圧縮及びコーティングの効率のために、予測、変換、量子化、エントロピーコーティングなどの一連の手順を行うことができる。符号化されたイメージは、ビットストリーム形式で出力される。Ｖ－ＰＣＣ手順に基づく場合、ポイントクラウドイメージエンコーダ２０００３は、後述のように、ポイントクラウドイメージをジオメトリイメージ、特質(ａｔｔｒｉｂｕｔｅ)イメージ、占有(ｏｃｃｕｐａｎｃｙ)マップイメージ、またメタデータ、例えば、パッチに関する情報に分けて符号化することができる。
【0399】
実施例によるポイントクラウドビデオエンコーダ及び／又はポイントクラウドイメージエンコーダは、実施例によるＰＣＣビットストリーム(Ｇ－ＰＣＣ及び／又はＶ－ＰＣＣビットストリーム)を生成する。
【0400】
実施例によって、ビデオエンコーダ２０００２、イメージエンコーダ２０００３、ビデオデコーダ２０００６、イメージデコーダは、上述のように、１つのエンコーダ／デコーダによって行われてもよく、図面のように、別の経路によって行われてもよい。
【0401】
カプセル化部(ｆｉｌｅ／ｓｅｇｍｅｎｔ ｅｎｃａｐｓｕｌａｔｉｏｎ ｕｎｉｔ)２０００４は、符号化されたポイントクラウドデータ及び／又はポイントクラウドに関連するメタデータをファイル又はストリーミングのためのセグメントなどの形式でカプセル化する。ここで、ポイントクラウドに関連するメタデータは、メタデータ処理部などから伝送されてもよい。メタデータ処理部は、ポイントクラウドビデオ／イメージエンコーダに含まれてもよく、別のコンポーネント／モジュールで構成されてもよい。カプセル化処理部は、そのビデオ／イメージ／メタデータをＩＳＯＢＭＦＦなどのファイルフォーマットにカプセル化するか、ＤＡＳＨセグメントなどの形態に処理する。カプセル化処理部は、実施例によれば、ポイントクラウドに関連するメタデータをファイルフォーマット上に含ませることができる。ポイントクラウドメタデータは、例えば、ＩＳＯＢＭＦＦファイルフォーマット上の様々なレベルのボックス(ｂｏｘ)に含まれるか、ファイル内において別のトラック内のデータに含まれる。実施例によれば、カプセル化処理部は、ポイントクラウド関連メタデータそのものをファイルにカプセル化することができる。
【0402】
実施例によるカプセル化及びカプセル化部は、Ｇ－ＰＣＣ／Ｖ－ＰＣＣビットストリームをファイル内の１つ或いは複数のトラックに分割格納し、そのためのシグナリング情報も共にカプセル化する。また、Ｇ－ＰＣＣ／Ｖ－ＰＣＣビットストリーム上に含まれているａｔｌａｓストリームをファイル内のトラックに格納し、関連するシグナリング情報を格納してもよい。さらに、 Ｇ－ＰＣＣ／Ｖ－ＰＣＣビットストリーム上に存在するＳＥＩメッセージをファイル内のトラックに格納し、関連するシグナリング情報を格納してもよい。
【0403】
送信処理部は、ファイルフォーマットに応じてカプセル化されたポイントクラウドデータに送信のための処理を施してもよい。送信処理部は、送信部に含まれてもよく、別のコンポーネント／モジュールで構成されてもよい。送信処理部は、任意の送信プロトコルに従ってポイントクラウドデータを処理することができる。送信のための処理には、放送網を介する伝送のための処理、ブロードバンドを介する伝送のための処理を含んでもよい。実施例によれば、送信処理部は、ポイントクラウドデータだけではなく、メタデータ処理部からポイントクラウド関連メタデータが伝送され、これに送信のための処理を施してもよい。
【0404】
送信部は、ポイントクラウドビットストリーム又はそのビットストリームを含むファイル／セグメントをデジタル記憶媒体又はネットワークを介して受信装置の受信部へ伝送する。送信のために、任意の送信プロトコルによる処理を行ってもよい。送信のために処理されたデータは、放送網及び／又はブロードバンドを介して伝送される。このデータは、オン・デマンド(Ｏｎ Ｄｅｍａｎｄ)方式で受信側に伝送される。デジタル記憶媒体には、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの様々なものが含まれる。送信部は、所定のファイルフォーマットでメディアファイルを生成するための要素を含み、放送／通信ネットワークを介する送信のための要素を含んでもよい。受信部は、ビットストリームを抽出して復号装置に送信する。
【0405】
受信部は、この明細書によるポイントクラウドデータ送信装置が送信したポイントクラウドデータを受信する。送信されるチャネルに応じて、受信部は、放送網を介してポイントクラウドデータを受信してもよく、ブロードバンドを介してポイントクラウドデータを受信してもよい。又は、デジタル記憶媒体によってポイントクラウドビデオデータを受信してもよい。受信部は、受信したデータを復号し、これをユーザのビューポートなどに応じてレンダリングしてもよい。
【0406】
受信処理部は、受信されたポイントクラウドビデオデータに対して送信プロトコルによる処理を行う。受信処理部は、受信部に含まれてもよく、別のコンポーネント／モジュールで構成されてもよい。送信側で送信のための処理が行われたことに対応して、受信処理部は、上述した送信処理部の逆過程を行う。受信処理部は、取得したポイントクラウドビデオをデカプセル化部へ伝送し、取得したポイントクラウドに関連するメタデータはメタデータ処理部へ伝送する。
【0407】
デカプセル化部(ｆｉｌｅ／ｓｅｇｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ ｕｎｉｔ)２０００５は、受信処理部から送信されたファイル形式のポイントクラウドデータをデカプセル化する。デカプセル化部は、ＩＳＯＢＭＦＦなどによるファイルをデカプセル化し、ポイントクラウドビットストリーム又はポイントクラウド関連メタデータ(又は、別のメタデータビットストリーム)を取得することができる。取得したポイントクラウドビットストリームは、ポイントクラウドビデオデコーダ及びポイントクラウドイメージデコーダに伝送され、取得したポイントクラウド関連メタデータ(又はメタデータビットストリーム)は、メタデータ処理部に伝送される。ポイントクラウドビットストリームは、メタデータ(メタデータビットストリーム)を含んでもよい。メタデータ処理部は、ポイントクラウドビデオデコーダに含まれてもよく、別のコンポーネント／モジュールで構成されてもよい。デカプセル化部が取得するポイントクラウド関連メタデータは、ファイルフォーマット内のボックス又はトラック形式であってもよい。デカプセル化処理部は、必要な場合、メタデータ処理部からデカプセル化に必要なメタデータが伝送されることがある。ポイントクラウド関連メタデータは、ポイントクラウドビデオデコーダ及び／又はポイントクラウドイメージデコーダに伝送されてポイントクラウド復号に用いられてもよく、又はレンダラーに伝送されてポイントクラウドレンダリングに用いられてもよい。
【0408】
ポイントクラウドビデオデコーダ２０００６は、ビットストリームを受信してポイントクラウドビデオエンコーダの動作に対応する逆過程を行うことでビデオ／映像を復号する。この場合、ポイントクラウドビデオデコーダ２０００６は、後述のように、ポイントクラウドビデオをジオメトリビデオ、特質(ａｔｔｒｉｂｕｔｅ)ビデオ、占有(ｏｃｃｕｐａｎｃｙ)マップビデオ、また付加パッチ情報(ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ)に分けて復号することができる。ジオメトリビデオはジオメトリイメージを含んでもよく、特質(ａｔｔｒｉｂｕｔｅ)ビデオは特質イメージを含んでもよく、占有(ｏｃｃｕｐａｎｃｙ)マップビデオは占有マップイメージを含んでもよい。付加情報は、付加パッチ情報(ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ)を含んでもよい。特質ビデオ／イメージはテクスチャービデオ／イメージを含んでもよい。
【0409】
復号されたジオメトリビデオ／イメージと占有マップ及び付加パッチ情報を用いて３Ｄジオメトリが復元され、その後に平滑化処理を行う。平滑化された３Ｄジオメトリに、テクスチャービデオ／イメージを用いてカラー値を割り当てることで、カラーポイントクラウド映像／ピクチャーが復元される。レンダラーは、復元されたジオメトリ、カラーポイントクラウド映像／ピクチャーをレンダリングする。レンダリングされたビデオ／映像は、ディスプレイ部でディスプレイされる。ユーザは、ＶＲ／ＡＲディスプレイ又は一般のディスプレイなどによってレンダリングされた結果の全部又は一部の領域を見ることができる。
【0410】
センシング／トラッキング部(Ｓｅｎｓｉｎｇ／Ｔｒａｃｋｉｎｇ)２０００７は、ユーザ又は受信側からオリエンテーション情報及び／又はユーザビューポート情報を取得して受信部及び／又は送信部に送信する。オリエンテーション情報は、ユーザの頭の位置、角度、動きなどに関する情報を示したり、ユーザが見ている装置の位置、角度、動きなどに関する情報を示す。この情報に基づいて、現在ユーザが３Ｄ空間で見ている領域に関する情報、即ちビューポート情報を算出する。
【0411】
ビューポート情報は、現在ユーザが３Ｄ空間において装置又はＨＭＤなどを介して見ている領域に関する情報であってもよい。ディスプレイなどの装置は、オリエンテーション情報、装置が支援する垂直(ｖｅｒｔｉｃａｌ)又は水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート領域を抽出することができる。オリエンテーション又はビューポート情報は、受信側で抽出又は算出する。受信側で分析したオリエンテーション又はビューポート情報は、フィードバックチャネルを介して送信側へ伝送されてもよい。
【0412】
受信部は、センシング／トラッキング部によって取得されたオリエンテーション情報及び／又はユーザが現在見ている領域を示すビューポート情報を使用して特定の領域、即ちオリエンテーション情報及び／又はビューポート情報が示す領域のメディアデータだけを効率的にファイルから抽出又は復号する。また送信部は、センシング／トラッキング部によって取得されたオリエンテーション情報及び／又はビューポート情報を使用して特定の領域、即ちオリエンテーション情報及び／又はビューポート情報が示す領域のメディアデータだけを効率的に符号化したり、ファイルを生成及び送信することができる。
【0413】
レンダラーは、３Ｄ空間上に復号されたポイントクラウドデータをレンダリングする。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされる。ユーザは、ＶＲ／ＡＲディスプレイ又は一般のディスプレイなどを介してレンダリングされた結果の全部又は一部の領域を見ることができる。
【0414】
フィードバックプロセスは、レンダリング／ディスプレイのプロセスから取得し得る様々なフィードバック情報を送信側に送信するか、又は受信側のデコーダに送信することを含んでもよい。フィードバックプロセスによって、ポイントクラウドデータの消費において相互作用(ｉｎｔｅｒａｃｔｉｖｉｔｙ)を提供することができる。実施例によれば、フィードバックプロセスにおいて、ヘッドオリエンテーション(Ｈｅａｄ Ｏｒｉｅｎｔａｔｉｏｎ)情報、ユーザが現在見ている領域を示すビューポート(Ｖｉｅｗｐｏｒｔ)情報などを伝送することができる。実施例によれば、ユーザは、ＶＲ／ＡＲ／ＭＲ／自立走行環境において具現されたものと相互作用することができるが、この場合、相互作用に関する情報をフィードバックプロセスにおいて送信側及びサービス供給者側に伝送することもできる。実施例によれば、フィードバックプロセスは省略してもよい。
【0415】
実施例によれば、上述したフィードバック情報は、送信側に伝送されるだけではなく、受信側で消費することもできる。即ち、上述したフィードバック情報を用いて受信側のデカプセル化処理、復号、レンダリングプロセスなどを行ってもよい。例えば、オリエンテーション情報及び／又はビューポート情報を用いて、ユーザが現在見ている領域に対するポイントクラウドデータを優先してデカプセル化、復号及びレンダリングしてもよい。
【0416】
図２１は、実施例によるポイントクラウドデータの格納及び送信装置の構成の一例を示す。
【0417】
図２１は、実施例によるポイントクラウドシステムを示し、システムの一部／全部は、図１の送受信装置、図４の符号化プロセス、図１５の２Ｄビデオ／イメージエンコーダ、図１６の復号プロセス、図１８の送信装置及び／又は図１９の受信装置などの一部／全部を含むことができる。また、図２０のシステムの一部／全部に含まれるか、対応することができる。
【0418】
実施例によるポイントクラウドデータ送信装置は、図面のように構成される。送信装置の各構成要素は、モジュール／ユニット／コンポーネント／ハードウェア／ソフトウェア／プロセッサなどであってもよい。
【0419】
ポイントクラウドのジオメトリ、特質、付加データ(又は付加情報)、メッシュデータなどは、それぞれ独立したストリームで構成されるか、又はファイルにおいてそれぞれ異なるトラックに格納されてもよい。さらに、別のセグメントに含まれてもよい。
【0420】
ポイントクラウド取得部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ａｃｑｕｉｓｉｔｉｏｎ ｕｎｉｔ)２１０００は、ポイントクラウドを取得する。例えば、１つ以上のカメラを介してポイントクラウドのキャプチャー、合成又は生成プロセスなどによりポイントクラウドデータを取得する。このような取得プロセスにより、各ポイントの３Ｄ位置(ｘ、ｙ、ｚ位置値などで示され、以下、これをジオメトリと呼ぶ)、各ポイントの特質(色、反射率、透明度など)を含むポイントクラウドデータが得られ、これを含む、例えば、ＰＬＹ(Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａｔ)ファイルなどで生成することができる。複数のフレームを有するポイントクラウドデータの場合、１つ以上のファイルを取得することができる。このプロセスにおいて、ポイントクラウド関連メタデータ(例えば、キャプチャーなどに関連するメタデータなど)を生成することができる。
【0421】
パッチ生成部(Ｐａｔｃｈ Ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔ)２１００１は、ポイントクラウドデータからパッチを生成する。パッチ生成部２１００１は、ポイントクラウドデータ又はポイントクラウドビデオを１つ以上のピクチャー／フレームで生成する。一般に、ピクチャー／フレームは、特定の時間帯の１つの映像を示す単位を意味する。ポイントクラウドビデオを構成する点を１つ以上のパッチ(ポイントクラウドを構成する点の集合であり、同じパッチに属する点は３Ｄ空間において互いに隣接しており、２Ｄイメージへのマッピングプロセスにおいて６面のバウンディングボックス平面のうち同じ方向にマップされる点の集合)に分けて２Ｄ平面にマップする際、２Ｄ平面のその位置にデータが存在するか否かを０又は１の値で知らせる２進マップ(ｂｉｎａｒｙ ｍａｐ)である占有(ｏｃｃｕｐａｎｃｙ)マップピクチャー／フレームを生成することができる。また、ポイントクラウドビデオを成す各点の位置情報(ｇｅｏｍｅｔｒｙ)をパッチ単位で表す深さマップ形式のピクチャー／フレームであるジオメトリピクチャー／フレームを生成する。ポイントクラウドビデオを成す各点の色情報をパッチ単位で表すピクチャー／フレームであるテクスチャーピクチャー／フレームを生成することができる。このプロセスにおいて、個別パッチからポイントクラウドを再構成するために必要なメタデータを生成することができ、このメタデータは、各パッチの２Ｄ／３Ｄ空間における位置、サイズなどパッチに関する情報を含んでもよい。このようなピクチャー／フレームが時間順に連続して生成され、ビデオストリーム又はメタデータストリームを構成することができる。
【0422】
また、パッチは、２Ｄイメージマッピングのために使用してもよい。例えば、ポイントクラウドデータが立方体の各面にプロジェクトされる。パッチ生成後、生成されたパッチに基づいて、ジオメトリイメージ、１つ又は１つ以上の特質イメージ、占有マップ、付加データ及び／又はメッシュデータなどを生成することができる。
【0423】
前処理部又は制御部(ｃｏｎｔｒｏｌｌｅｒ)によって、ジオメトリイメージ生成(Ｇｅｏｍｅｔｒｙ ｉｍａｇｅ Ｇｅｎｅｒａｔｉｏｎ)、特質イメージ生成(Ａｔｔｒｉｂｕｔｅ ｉｍａｇｅ Ｇｅｎｅｒａｔｉｏｎ)、占有マップ生成(Ｏｃｃｕｐａｎｃｙ ｍａｐ Ｇｅｎｅｒａｔｉｏｎ)、付加データ生成(Ａｕｘｉｌｉａｒｙ Ｄａｔａ Ｇｅｎｅｒａｔｉｏｎ)及び／又はメッシュデータ生成(Ｍｅｓｈ Ｄａｔａ Ｇｅｎｅｒａｔｉｏｎ)が行われる。
【0424】
ジオメトリイメージ生成部(Ｇｅｏｍｅｔｒｙ ｉｍａｇｅ Ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔ)２１００２は、パッチ生成の結果物に基づいてジオメトリイメージを生成する。ジオメトリは、３Ｄ空間上のポイントを示す。パッチに基づいてパッチの２Ｄイメージパッキングに関連する情報を含む占有マップ、付加データ(パッチデータ)及び／又はメッシュデータなどを使用して、ジオメトリイメージを生成する。ジオメトリイメージは、パッチ生成後に生成されたパッチの深さ(例えば、近さ、遠さ)などの情報に関連する。
【0425】
特質イメージ生成部(Ａｔｔｒｉｂｕｔｅ ｉｍａｇｅ Ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔ)２１００３は、特質イメージを生成する。例えば、特質はテクスチャー(Ｔｅｘｔｕｒｅ)を示すことができる。テクスチャーは、各ポイントに対応するカラー値であってもよい。実施例によれば、テクスチャーを含む複数(Ｎ個)の特質(色、反射率など)イメージを生成する。複数の特質は、マテリアル(材質に関する情報)、反射率などを含む。また、実施例によれば、特質は、同じテクスチャーでも視覚、光によってカラーが変わる情報をさらに含んでもよい。
【0426】
占有マップ生成部(Ｏｃｃｕｐａｎｃｙ ｍａｐ Ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔ)２１００４は、パッチから占有マップを生成する。占有マップは、そのジオメトリ又は特質イメージなどのピクセルにデータの存否を示す情報を含む。
【0427】
付加データ生成部(Ａｕｘｉｌｉａｒｙ Ｄａｔａ Ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔ)２１００５は、パッチに関する情報を含む付加データを生成する。即ち、付加データは、ポイントクラウド客体のパッチに関するメタデータを示す。例えば、パッチに対する法線(ｎｏｒｍａｌ)ベクトルなどの情報を示すことができる。具体的には、実施例によれば、付加データは、パッチからポイントクラウドを再構成するために必要な情報を含む(例えば、パッチの２Ｄ／３Ｄ空間上の位置、サイズなどに関する情報、プロジェクション平面(ｎｏｒｍａｌ)識別情報、パッチマッピング情報など)。
【0428】
メッシュデータ生成部(Ｍｅｓｈ Ｄａｔａ Ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔ)２１００６は、パッチからメッシュデータを生成する。メッシュは、隣接したポイント間の連結情報を示す。例えば、三角形のデータを示してもよい。例えば、実施例によるメッシュデータは、各ポイント間の接続(ｃｏｎｎｅｃｔｉｖｉｔｙ)情報を意味する。
【0429】
ポイントクラウド前処理部又は制御部は、パッチ生成、ジオメトリイメージ生成、特質イメージ生成、占有マップ生成、付加データ生成、メッシュデータ生成に関連するメタデータ(Ｍｅｔａｄａｔａ)を生成する。
【0430】
ポイントクラウド送信装置は、前処理部で生成された結果物に対応して、ビデオ符号化及び／又はイメージ符号化を行う。ポイントクラウド送信装置は、ポイントクラウドビデオデータだけではなく、ポイントクラウドイメージデータを生成する。実施例によれば、ポイントクラウドデータはビデオデータのみを、イメージデータのみを、及び／又はビデオデータ及びイメージデータの両方を含んでもよい。
【0431】
ビデオ符号化部２１００７は、ジオメトリビデオ圧縮、特質ビデオ圧縮、占有マップビデオ圧縮、付加データ圧縮及び／又はメッシュデータ圧縮を行う。ビデオ符号化部は、符号化された各々のビデオデータを含むビデオトリームを生成する。
【0432】
具体的には、ジオメトリビデオ圧縮はポイントクラウドジオメトリビデオデータを符号化する。特質ビデオ圧縮はポイントクラウドの特質ビデオデータを符号化する。付加データ圧縮はポイントクラウドビデオデータに関連する付加データを符号化する。メッシュデータ圧縮(Ｍｅｓｈ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ)はポイントクラウドビデオデータのメッシュデータを符号化する。ポイントクラウドビデオ符号化部の各動作は、並列に行われる。
【0433】
イメージ符号化部２１００８は、ジオメトリイメージ圧縮、特質イメージ圧縮、占有マップイメージ圧縮、付加データ圧縮及び／又はメッシュデータ圧縮を行う。イメージ符号化部は、符号化された各々のイメージデータを含むイメージを生成する。
【0434】
具体的には、ジオメトリイメージ圧縮は、ポイントクラウドジオメトリイメージデータを符号化する。特質イメージ圧縮はポイントクラウドの特質イメージデータを符号化する。付加データ圧縮はポイントクラウドイメージデータに関連する付加データを符号化する。メッシュデータ圧縮(Ｍｅｓｈ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ)はポイントクラウドイメージデータに関連するメッシュデータを符号化する。ポイントクラウドイメージ符号化部の各動作は、並列に行われる。
【0435】
ビデオ符号化部及び／又はイメージ符号化部は前処理部からメタデータを受信する。ビデオ符号化部及び／又はイメージ符号化部はメタデータに基づいて各々の符号化プロセスを行う。
【0436】
ファイル／セグメントカプセル化部(Ｆｉｌｅ／Ｓｅｇｍｅｎｔ Ｅｎｃａｐｓｕｌａｔｉｏｎ)２１００９は、ビデオストリーム及び／又はイメージをファイル及び／又はセグメント形式にカプセル化する。ファイル／セグメントカプセル化部はビデオトラックカプセル化、メタデータトラックカプセル化及び／又はイメージカプセル化を行う。
【0437】
ビデオトラックカプセル化は、１つ又は１つ以上のビデオストリームを１つ又は１つ以上のトラックカプセル化することができる。
【0438】
メタデータトラックカプセル化は、ビデオストリーム及び／又はイメージに関連するメタデータを１つ又は１つ以上のトラックにカプセル化する。メタデータは、ポイントクラウドデータのコンテンツに関連するデータを含む。例えば、初期ビューイングオリエンテーションメタデータ(Ｉｎｉｔｉａｌ Ｖｉｅｗｉｎｇ Ｏｒｉｅｎｔａｔｉｏｎ Ｍｅｔａｄａｔａ)を含む。実施例によれば、メタデータは、メタデータトラックにカプセル化されてもよく、ビデオトラック又はイメージトラックに共にカプセル化されてもよい。
【0439】
イメージカプセル化は１つ又は１つ以上のイメージを１つ又は１つ以上のトラック又はアイテムにカプセル化する。
【0440】
例えば、実施例によれば、４つのビデオストリームと２つのイメージがカプセル化部に入力される場合、４つのビデオストリーム及び２つのイメージを１つのファイル内にカプセル化する。
【0441】
実施例によるポイントクラウドビデオエンコーダ及び／又はポイントクラウドイメージエンコーダは、実施例によるＧ－ＰＣＣ／Ｖ－ＰＣＣビットストリームを生成する。
【0442】
ファイル／セグメントカプセル化部は、前処理部からメタデータを受信する。ファイル／セグメントカプセル化部は、メタデータに基づいてカプセル化を行う。
【0443】
ファイル／セグメントカプセル化によって生成されたファイル及び／又はセグメントは、ポイントクラウド送信装置又は送信部によって送信される。例えば、ＤＡＳＨベースのプロトコルに基づいてセグメントが伝達(Ｄｅｌｉｖｅｒｙ)できる。
【0444】
実施例によるカプセル化及びカプセル化部は、Ｖ－ＰＣＣビットストリームをファイル内に１つ又は複数のトラックに分割格納し、そのためのシグナリング情報も共にカプセル化することができる。また、Ｖ－ＰＣＣビットストリーム上に含まれているａｔｌａｓストリームをファイル内のトラックに格納し、関連するシグナリング情報を格納することができる。さらに、Ｖ－ＰＣＣビットストリーム上に存在するＳＥＩメッセージをファイル内のトラックに格納し、関連するシグナリング情報を格納することができる。
【0445】
伝達部(Ｄｅｌｉｖｅｒｙ)は、ポイントクラウドビットストリーム又はそのビットストリームを含むファイル／セグメントをデジタル記憶媒体又はネットワークを介して受信装置の受信部に伝達する。送信のために、任意の送信プロトコルによる処理を行う。送信のための処理を終えたデータは、放送網及び／又はブロードバンドを介して伝送される。このデータは、オン・デマンド(Ｏｎ Ｄｅｍａｎｄ)方式で受信側へ伝送してもよい。デジタル記憶媒体には、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの様々な記憶媒体がある。伝達部は、所定のファイルフォーマットでメディアファイルを生成するための要素を含み、放送／通信ネットワークを介する送信のための要素を含む。伝達部は、受信部からオリエンテーション情報及び／又はビューポート情報を受信する。伝達部は、取得したオリエンテーション情報及び／又はビューポート情報(又はユーザが選択した情報)を前処理部、ビデオ符号化部、イメージ符号化部、ファイル／セグメントカプセル化部及び／又はポイントクラウド符号化部に伝送する。オリエンテーション情報及び／又はビューポート情報に基づいて、ポイントクラウド符号化部は全てのポイントクラウドデータを符号化するか、又はオリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータを符号化する。オリエンテーション情報及び／又はビューポート情報に基づいて、ファイル／セグメントカプセル化部は全てのポイントクラウドデータをカプセル化するか、又はオリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータをカプセル化することができる。オリエンテーション情報及び／又はビューポート情報に基づいて、伝達部は全てのポイントクラウドデータを伝達するか、又はオリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータを伝達する。
【0446】
例えば、前処理部は、全てのポイントクラウドデータに対して上述した動作を行ってもよく、オリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータに対して動作を行ってもよい。ビデオ符号化部及び／又はイメージ符号化部は、全てのポイントクラウドデータに対して上述した動作を行ってもよく、オリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータに対して上述した動作を行わってもよい。ファイル／セグメントカプセル化部は、全てのポイントクラウドデータに対して上述した動作を行ってもよく、オリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータに対して上述した動作を行ってもよい。送信部は、全てのポイントクラウドデータに対して上述した動作を行ってもよく、オリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータに対して上述した動作を行ってもよい。
【0447】
図２２は、実施例によるポイントクラウドデータ受信装置の構成の一例を示す。
【0448】
図２２は、実施例によるポイントクラウドシステムを示し、システムの一部／全部は、図１の送受信装置、図４の符号化プロセス、図１５の２Ｄビデオ／イメージエンコーダ、図１６の復号プロセス、図１８の送信装置、及び／又は図１９の受信装置などの一部／全部を含むことができる。また、図２０及び図２１のシステムの一部／全部に含まれるか又は対応する。
【0449】
受信装置の各構成は、モジュール／ユニット／コンポーネント／ハードウェア／ソフトウェア／プロセッサなどであってもよい。伝達クライアント(Ｄｅｌｉｖｅｒｙ Ｃｌｉｅｎｔ)は、実施例によるポイントクラウドデータ送信装置が送信したポイントクラウドデータ、ポイントクラウドビットストリーム又はそのビットストリームを含むファイル／セグメントを受信する。送信されるチャネルに応じて、受信装置は、放送網を介してポイントクラウドデータを受信するか、又はブロードバンドを介してポイントクラウドデータを受信する。又は、デジタル記憶媒体によってポイントクラウドデータを受信してもよい。受信装置は、受信したデータを復号し、これをユーザのビューポートなどに従ってレンダリングするプロセスを含んでもよい。受信処理部は、受信されたポイントクラウドデータに対して送信プロトコルに従う処理を行う。受信処理部は受信部に含まれてもよく、別のコンポーネント／モジュールで構成されてもよい。送信側で行った送信のための処理に対応して、受信処理部は、上述した送信処理部の逆過程を行う。受信処理部は、取得したポイントクラウドデータをファイル／セグメントデカプセル化部に伝送し、取得したポイントクラウド関連メタデータはメタデータ処理部に伝送することができる。
【0450】
センシング／トラッキング部(Ｓｅｎｓｉｎｇ／Ｔｒａｃｋｉｎｇ)は、オリエンテーション情報及び／又はビューポート情報を取得する。センシング／トラッキング部は、取得したオリエンテーション情報及び／又はビューポート情報を伝達クライアント、ファイル／セグメントデカプセル化部、ポイントクラウド復号部に伝送する。
【0451】
伝達クライアントは、オリエンテーション情報及び／又はビューポート情報に基づいて、全てのポイントクラウドデータを受信するか、又はオリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータを受信する。ファイル／セグメントデカプセル化部は、オリエンテーション情報及び／又はビューポート情報に基づいて、全てのポイントクラウドデータをデカプセル化するか、又はオリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータをデカプセル化する。ポイントクラウド復号部(ビデオ復号部及び／又はイメージ復号部)は、オリエンテーション情報及び／又はビューポート情報に基づいて、全てのポイントクラウドデータを復号するか、又はオリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータを復号する。ポイントクラウドプロセシング部は、全てのポイントクラウドデータを処理するか、又はオリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータを処理する。
【0452】
ファイル／セグメントデカプセル化部(Ｆｉｌｅ／Ｓｅｇｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ ｕｎｉｔ)２２０００は、ビデオトラックデカプセル化(Ｖｉｄｅｏ Ｔｒａｃｋ Ｄｅｃａｐｓｕｌａｔｉｏｎ)、メタデータトラックデカプセル化(Ｍｅｔａｄａｔａ Ｔｒａｃｋ Ｄｅｃａｐｓｕｌａｔｉｏｎ)及び／又はイメージデカプセル化(Ｉｍａｇｅ Ｄｅｃａｐｓｕｌａｔｉｏｎ)を行う。デカプセル化処理部は、受信処理部から伝達されたファイル形式のポイントクラウドデータをデカプセル化する。デカプセル化処理部は、ＩＳＯＢＭＦＦなどによるファイル又はセグメントをデカプセル化し、ポイントクラウドビットストリーム及びポイントクラウド関連メタデータ(又は別のメタデータビットストリーム)を取得する。取得したポイントクラウドビットストリームは、ポイントクラウド復号部に伝送し、取得したポイントクラウド関連メタデータ(又はメタデータビットストリーム)は、メタデータ処理部に伝送する。ポイントクラウドビットストリームは、メタデータ(メタデータビットストリーム)を含んでもよい。メタデータ処理部は、ポイントクラウドビデオデコーダに含まれてもよく、別のコンポーネント／モジュールで構成されてもよい。デカプセル化処理部が取得するポイントクラウド関連メタデータは、ファイルフォーマット内のボックス又はトラックの形態であってもよい。ファイル／セグメントデカプセル化部は、必要な場合、メタデータ処理部からデカプセル化に必要なメタデータが伝送されてもよい。ポイントクラウド関連メタデータは、ポイントクラウド復号部に伝送されて、ポイントクラウド復号に用いられてもよく、ポイントクラウドレンダリング部に伝送されて、ポイントクラウドレンダリングに用いられてもよい。ファイル／セグメントデカプセル化部は、ポイントクラウドデータに関連するメタデータを生成することができる。
【0453】
ビデオトラックデカプセル化部(Ｖｉｄｅｏ Ｔｒａｃｋ Ｄｅｃａｐｓｕｌａｔｉｏｎ)は、ファイル及び／又はセグメントに含まれたビデオトラックをデカプセル化する。ジオメトリビデオ、特質ビデオ、占有マップ、付加データ及び／又はメッシュデータを含むビデオストリームをデカプセル化する。
【0454】
メタデータトラックデカプセル化(Ｍｅｔａｄａｔａ Ｔｒａｃｋ Ｄｅｃａｐｓｕｌａｔｉｏｎ)は、ポイントクラウドデータに関連するメタデータ及び／又は付加データなどを含むビットストリームをデカプセル化する。
【0455】
イメージデカプセル化(Ｉｍａｇｅ Ｄｅｃａｐｓｕｌａｔｉｏｎ)は、ジオメトリイメージ、特質イメージ、占有マップ、付加データ及び／又はメッシュデータを含むイメージをデカプセル化する。
【0456】
実施例によるデカプセル化又はデカプセル化部は、Ｇ－ＰＣＣ／Ｖ－ＰＣＣビットストリームをファイル内の１つ又は複数のトラックに基づいて分割処理パーシング(デカプセル化)し、そのためのシグナリング情報も共にデカプセル化する。また、Ｇ－ＰＣＣ／Ｖ－ＰＣＣビットストリーム上に含まれているａｔｌａｓストリームをファイル内のトラックに基づいてデカプセル化し、関連するシグナリング情報をパーシングする。さらにＧ－ＰＣＣ／Ｖ－ＰＣＣビットストリーム上に存在するＳＥＩメッセージをファイル内のトラックに基づいてデカプセル化し、関連するシグナリング情報を共に取得することができる。
【0457】
ビデオ復号部(Ｖｉｄｅｏ Ｄｅｃｏｄｉｎｇ ｕｎｉｔ)２２００１は、ジオメトリビデオ復元、特質ビデオ復元、占有マップ復元、付加データ復元及び／又はメッシュデータ復元を行う。ビデオ復号部は、実施例によるポイントクラウド送信装置のビデオ符号化付加を行うプロセスに対応して、ジオメトリビデオ、特質ビデオ、付加データ及び／又はメッシュデータを復号する。
【0458】
イメージ復号部(Ｉｍａｇｅ Ｄｅｃｏｄｉｎｇ)２２００２は、ジオメトリイメージ復元、特質イメージ復元、占有マップ復元、付加データ復元及び／又はメッシュデータ復元を行う。イメージ復号部は、実施例によるポイントクラウド送信装置のイメージ符号化部が行うプロセスに対応して、ジオメトリイメージ、特質イメージ、付加データ及び／又はメッシュデータを復号する。
【0459】
実施例によるビデオ復号部、イメージ復号部は、上述のように、１つのビデオ／イメージデコーダによって処理されてもよく、図のように別のパスで行われてもよい。
【0460】
ビデオ復号部及び／又はイメージ復号部は、ビデオデータ及び／又はイメージデータに関連するメタデータを生成する。
【0461】
実施例によるポイントクラウドビデオエンコーダ及び／又はポイントクラウドイメージエンコーダは、実施例によるＧ－ＰＣＣ／Ｖ－ＰＣＣビットストリームを復号する。
【0462】
ポイントクラウドプロセシング部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ)２２００３は、ジオメトリ再構成(Ｇｅｏｍｅｔｒｙ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)及び／又は特質再構成(Ａｔｔｒｉｂｕｔｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)を行う。
【0463】
ジオメトリ再構成は、復号されたビデオデータ及び／又は復号されたイメージデータから、占有マップ、付加データ及び／又はメッシュデータに基づいて、ジオメトリビデオ及び／又はジオメトリイメージを復元する。
【0464】
特質再構成は、復号された特質ビデオ及び／又は復号された特質イメージから、占有マップ、付加データ及び／又はメッシュデータに基づいて、特質ビデオ及び／又は特質イメージを復元する。実施例によれば、例えば、特質はテクスチャーである。実施例によれば、特質は複数の特質情報を意味する。複数の特質がある場合、実施例によるポイントクラウドプロセシング部は、複数の特質再構成を行う。
【0465】
ポイントクラウドプロセシング部は、ビデオ復号部、イメージ復号部及び／又はファイル／セグメントデカプセル化部からメタデータを受信し、メタデータに基づいてポイントクラウドを処理することができる。
【0466】
ポイントクラウドレンダリング部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｒｅｎｄｅｒｉｎｇ ｕｎｉｔ)は、再構成されたポイントクラウドをレンダリングする。ポイントクラウドレンダリング部はビデオ復号部、イメージ復号部及び／又はファイル／セグメントデカプセル化部からメタデータを受信し、メタデータに基づいてポイントクラウドをレンダリングする。
【0467】
ディスプレイは、レンダリングされた結果を実際のディスプレイ装置上にディスプレイする。
【0468】
実施例による方法／装置は図１５ないし図１９に示したように、ポイントクラウドデータを符号化／復号した後、ポイントクラウドデータを含むビットストリームをファイル及び／又はセグメント形式にカプセル化及び／又はデカプセル化する。
【0469】
例えば、実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータをファイルに基づいてカプセル化し、このとき、ファイルには、ポイントクラウドに関するパラメータを含むＶ－ＰＣＣトラック、ジオメトリを含むジオメトリトラック、特質を含む特質トラック及び占有マップを含む占有トラックを含む。
【0470】
また、実施例によるポイントクラウドデータ受信装置は、ポイントクラウドデータファイルに基づいてデカプセル化し、このとき、ファイルにはポイントクラウドに関するパラメータを含むＶ－ＰＣＣトラック、ジオメトリを含むジオメトリトラック、特質を含む特質トラック及び占有マップを含む占有トラックを含む。
【0471】
【0472】
図２３は、実施例によるポイントクラウドデータの送受信方法／装置と連動可能な構造の一例を示す。
【0473】
実施例による構造では、サーバー２３６０、ロボット２３１０、自立走行車両２３２０、ＸＲ装置２３３０、スマートフォン２３４０、家電２３５０及び／又はＨＭＤ２３７０のうちのいずれかがクラウドネットワーク２３１０と接続する。ここで、ロボット２３１０、自立走行車両２３２０、ＸＲ装置２３３０、スマートフォン２３４０又は家電２３５０などを装置と呼ぶ。また、ＸＲ装置１７３０は、実施例によるポイントクラウド圧縮データ(ＰＣＣ)装置に対応するか、ＰＣＣ装置と連動してもよい。
【0474】
クラウドネットワーク２３００は、クラウドコンピューティングインフラの一部を構成するか、クラウドコンピューティングインフラ内に存在するネットワークを意味してもよい。ここで、クラウドネットワーク２３００は、３Ｇネットワーク、４Ｇ又はＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ)ネットワーク又は５Ｇネットワークなどを用いて構成されてもよい。
【0475】
ＡＩサーバー２３６０は、ロボット２３１０、自立走行車両２３２０、ＸＲ装置２３３０、スマートフォン２３４０、家電２３５０及び／又はＨＭＤ２３７０のうちの少なくとも１つ以上とクラウドネットワーク２３００を介いて接続され、接続された装置２３１０～２３７０のプロセシングの少なくとも一部を補助する。
【0476】
ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)２３７００は、実施例によるＸＲ装置及び／又はＰＣＣ装置が具現できるタイプの１つを示す。実施例によるＨＭＤタイプの装置は、コミュニケーションユニット、コントロールユニット、メモリユニット、Ｉ／Ｏユニット、センサユニット、またパワー供給ユニットなどを含む。
【0477】
以下、上記技術が適用される装置２３１０～２３５０の様々な実施例について説明する。ここで、図２３に示された装置２３１０～２３５０は、上述した実施例によるポイントクラウドデータの送受信装置と連動／結合することができる。
【0478】
＜ＰＣＣ＋ＸＲ＞
【0479】
ＸＲ／ＰＣＣ装置２３３０は、ＰＣＣ及び／又はＸＲ(ＡＲ＋ＶＲ)技術が適用され、ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)、車両に備えられたＨＵＤ(Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ)、ＴＶ、携帯電話、スマートフォン、コンピューター、ウェアラブルデバイス、家電機器、デジタル看板、車両、固定型ロボットや移動型ロボットなどで具現される。
【0480】
ＸＲ／ＰＣＣ装置２３３０は、様々なセンサにより又は外部装置から取得した３Ｄポイントクラウドデータ又はイメージデータを分析して３Ｄポイントに対する位置データ及び特質データを生成することで周辺空間又は現実客体に関する情報を得て、出力するＸＲ客体をレンダリングして出力することができる。例えば、ＸＲ／ＰＣＣ装置２３３０は認識された物体に関する付加情報を含むＸＲ客体を該当認識された物体に対応して出力することができる。
【0481】
＜ＰＣＣ＋ＸＲ＋モバイルフォン＞
【0482】
ＸＲ／ＰＣＣ装置２３３０はＰＣＣ技術が適用されてモバイルフォン２３４０などで具現される。
【0483】
モバイルフォン２３４０はＰＣＣ技術に基づいてポイントクラウドコンテンツを復号し、ディスプレイする。
【0484】
＜ＰＣＣ＋自立走行＋ＸＲ＞
【0485】
自律走行車両２３２０はＰＣＣ技術及びＸＲ技術が適用されて、移動型ロボット、車両、無人飛行体などで具現される。
【0486】
ＸＲ／ＰＣＣ技術が適用された自律走行車両２３２０は、ＸＲ映像を提供する手段を備えた自律走行車両やＸＲ映像内での制御／相互作用の対象となる自律走行車両などを意味してもよい。特に、ＸＲ映像内での制御／相互作用の対象となる自律走行車両２３２０はＸＲ装置２３３０とは区分され、互いに連動できる。
【0487】
ＸＲ／ＰＣＣ映像を提供する手段を備えた自律走行車両２３２０は、カメラを含むセンサからセンサ情報を取得し、取得したセンサ情報に基づいて生成されたＸＲ／ＰＣＣ映像を出力する。例えば、自律走行車両はＨＵＤを備えてＸＲ／ＰＣＣ映像を出力することで、搭乗者に現実客体又は画面内の客体に対応するＸＲ／ＰＣＣ客体を提供する。
【0488】
このとき、ＸＲ／ＰＣＣ客体がＨＵＤに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が搭乗者の視線が向く実際の客体にオーバーラップされるように出力されることがある。一方、ＸＲ／ＰＣＣ客体が自律走行車両内に備えられるディスプレイに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が画面内の客体にオーバーラップされるように出力されることがある。例えば、自律走行車両は車路、他の車両、信号灯、交通表示板、二輪車、歩行者、建物などのような客体に対応するＸＲ／ＰＣＣ客体を出力することができる。
【0489】
実施例によるＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ)技術、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ)技術、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ)技術及び／又はＰＣＣ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)技術は、様々なデバイスに適用可能である。
【0490】
即ち、ＶＲ技術は現実の客体や背景などをＣＧ映像のみで提供するディスプレイ技術である。一方、ＡＲ技術は実際物事の映像上に仮想のＣＧ映像を共に見せる技術である。また、ＭＲ技術は、現実世界に仮想客体を混ぜて見せるという点では上述したＡＲ技術と類似する。しかし、ＡＲ技術では現実の客体とＣＧ映像からなる仮想の客体との区別が明らかであり、現実客体を補完する形式で仮想の客体を使用する反面、ＭＲ技術では仮想の客体と現実の客体とが同等な性格と見なされるという点でＡＲ技術とは区別される。より具体的には、例えば、上記ＭＲ技術が適用されたことがホログラムサービスである。
【0491】
ただし、最近にはＶＲ、ＡＲ、ＭＲ技術を明確に区別するよりは、ＸＲ(ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ)技術と呼んでいる。よって、本発明の実施例はＶＲ、ＡＲ、ＭＲ、ＸＲ技術のいずれにも適用可能である。かかる技術はＰＣＣ、Ｖ－ＰＣＣ、Ｇ－ＰＣＣ技術ベースの符号化／復号が適用される。
【0492】
実施例によるＰＣＣ方法／装置は自律走行サービスを提供する車両に適用できる。
【0493】
自律走行サービスを提供する自立走行車両はＰＣＣ装置と有無線通信可能に接続される。
【0494】
実施例によるポイントクラウド圧縮データ(ＰＣＣ)送受信装置は、自立走行車両と有無線通信可能に接続された場合、自律走行サービスと共に提供できるＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理して自立走行車両に送信することができる。また、ポイントクラウドデータ送受信装置が自立走行車両に搭載された場合は、ポイントクラウド送受信装置は、ユーザインターフェース装置で入力されたユーザ入力信号によってＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理してユーザに提供することができる。実施例による車両又はユーザインターフェース装置はユーザ入力信号を受信することができる。実施例によるユーザ入力信号は自律走行サービスを指示する信号を含んでもよい。
【0495】
実施例によるポイントクラウドデータ送信方法／装置、実施例による送信方法／装置の符号化動作及びエンコーダ、ポイントクラウドデータ送信方法／装置のカプセル化及びカプセル化部、ポイントクラウドデータ受信方法／装置、実施例によるポイントクラウドデータ受信方法／装置の復号動作及びデコーダ、ポイントクラウドデータ受信方法／装置のデカプセル化及びデカプセル化部などを実施例によっては簡単に実施例による方法／装置と称する。
【0496】
図２４は実施例によるポイントクラウドデータに対する客体(オブジェクト)及び客体に対するバウンディングボックスを示す。
【0497】
図１の送信装置１００００、受信装置１０００５、図１５のエンコーダ、図１６の復号プロセス、図１７のデコーダ、図１８の送信装置、図１９の受信装置、図２０ないし図２２のポイントクラウドデータを処理するシステム構造、及び図２３のＸＲデバイス２３３０などは、ポイントクラウドデータの対象となる客体(オブジェクト)２４０００を処理する。実施例による方法／装置は、客体２４０００をポイントで示して符号化し、カプセル化し、送信し、受信し、デカプセル化し、復号して復元してレンダリングする。またこの過程で、客体２４０００は客体を取り囲むバウンディングボックス２４０１０に基づいて処理される。
【0498】
実施例によるバウンディングボックス２４０１０は、客体２４０００を表現して処理するための基本アクセス単位である。即ち、実施例によるバウンディングボックス２４０１０は、ポイントクラウドデータの対象となる客体２４０００を六面体に基づいて表すボックスを称する。バウンディングボックス２４０１０は実施例によって分割されるか、或いは時間によって変更される２４０２０,２４０３０。
【0499】
また実施例によるバウンディングボックス２４０１０は、サブバウンディングボックス単位で分割されることもある。バウンディングボックスが分割される場合、分割されたバウンディングボックスをサブバウンディングボックスと称し、全体バウンディングボックスをオーバーオールバウンディングボックスとも称する。
【0500】
客体２４０００は時間によって動的に変化する。例えば、２４０２０のように客体２４０００が動いて２４０３０の位置に移動する。このとき、バウンディングボックス２４０１０は客体２４０００と一緒に移動する。
【0501】
実施例による方法／装置は、ユーザのビューポートによってＶ－ＰＣＣコンテンツの部分接近或いは空間(ｓｐａｔｉａｌ)接近を支援するためのＶ－ＰＣＣ コンテンツのバウンディングボックス関連メタデータを提供する。
【0502】
実施例による方法／装置は、ポイントクラウドビットストリーム内のポイントクラウドコンテンツのバウンディングボックス情報を定義する。
【0503】
実施例による方法／装置は、ファイル内のビデオトラックに連関するポイントクラウド関連バウンディングボックス情報を格納し、シグナリングする方案を提案する。
【0504】
実施例による方法／装置は、ファイル内のイメージ アイテムに連関するポイントクラウドバウンディングボックス情報を格納する方案を提供する。
【0505】
実施例による方法／装置は、Ｖ－ＰＣＣビットストリームをファイル内のトラックに効率的に格納し、それに対するシグナリングを提供するポイントクラウドコンテンツサービス提供のための送信装置又は受信装置に関する。
【0506】
実施例による方法／装置は、Ｖ－ＰＣＣビットストリームをファイルトラック内に効率的に格納し、シグナリングすることにより、Ｖ－ＰＣＣビットストリームに対する効率的な接近ができるという効果を提供する。このために、ファイル格納技法及び／又はＶ－ＰＣＣビットストリームをファイル内の１つ以上の複数のトラックに分割格納する技法を提供する。
【0507】
図２５は実施例による動的ポイントクラウド客体のバウンディングボックス及び全体バウンディングボックスを示す。
【0508】
【0509】
ポイントクラウド客体のバウンディングボックス２４０１０,２５０００,２５０１０は動的に時間によって変更される。
【0510】
ボックス２５０００は全体バウンディングボックス(ｏｖｅｒａｌｌ ｂｏｕｎｄｉｎｇ ｂｏｘ)と称する。
【0511】
ボックス２５０１０は全体バウンディングボックスではなく、バウンディングボックス、部分バウンディングボックス、サブバウンディングボックスなどに対応する。
【0512】
ボックス２５０００及びボックス２５０１０はファイルカプセル化部２０００４,２１００９及び／又はファイルデカプセル化部２０００５,２２０００などにより、図４０及び図４１などのファイル構造に基づいて送受信処理される。例えば、ボックス２５０００及びボックス２５０１０のそれぞれはサンプルエントリーで表現される。時間によって変更されるので、サンプルエントリー情報に基づいて動的に変化するボックス２５０００、２５０１０を生成して処理することができる。ボックス２５０００及びボックス２５０１０は客体２５０２０を記述する。実施例によっては、客体２５０２０に対するアンカーポイント２５０３０を有する。
【0513】
従って、実施例による受信方法／装置又はそれに連結されたプレーヤーは、ユーザビューポートなどによってポイントクラウド客体／コンテンツの空間或いは部分接近を可能にするために変化するバウンディングボックス、全体バウンディングボックスに関する情報を受信することができる。このために実施例によるポイントクラウドデータ送信方法／装置は、実施例による情報をＶ－ＰＣＣビットストリーム内に含めるか、或いはファイル内のシグナリング或いはメタデータ形態に含めることができる。
【0514】
図２６は実施例によるポイントクラウドデータを含むビットストリームの構造を示す。
【0515】
図２６のビットストリーム２６０００は図２７のビットストリーム２７０００に対応する。図２６及び図２７のビットストリームは、図１の送信装置１００００、ポイントクラウドビデオエンコーダ１０００２、図４のエンコーダ、図１５のエンコーダ、図１８の送信装置、図２０のプロセッサ２０００１、ビデオ／イメージエンコーダ２０００２、図２１のプロセッサ２１００１ないし２１００６、及びビデオ／イメージエンコーダ２１００７,２１００８などで生成される。
【0516】
図２６及び図２７のビットストリームは、図１のファイル／セグメントカプセル化部、図２０のファイル／セグメントカプセル化部２０００４、及び図２１のファイル／セグメントカプセル化部２１００９などによりコンテナ(図４０及び図４１などのファイル)に格納される。
【0517】
【0518】
【0519】
コンテナから図２６及び図２７のビットストリームが、図１のファイル／セグメントデカプセル化部１０００７、図２０のファイル／セグメントデカプセル化部２０００５、及び図２２のファイル／セグメントデカプセル化部２２０００などによりパースされる。
【0520】
図２６及び図２７のビットストリームは、図１のポイントクラウドビデオデコーダ１０００８、図１６のデコーダ、図１７のデコーダ、図１９の受信装置、図２０のビデオ／イメージデコーダ２０００６、図２２のビデオ／イメージデコーダ２２００１,２２００２、及びプロセッサ２２００３などにより復号され復元されてユーザに提供される。
【0521】
実施例によるポイントクラウドデータに関するビットストリーム２６０００に含まれたサンプルストリームＶ－ＰＣＣユニットは、Ｖ－ＰＣＣユニットサイズ２６０１０及びＶ－ＰＣＣユニット２６０２０を含む。
【0522】
各略語の定義は以下の通りである：ＶＰＳ(Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔ)、あＤ(ａｔｌａｓ ｄａｔａ)、ＯＶＤ(ｏｃｃｕｐａｎｃｙ ｖｉｄｅｏ ｄａｔａ)、ＧＶＤ(ｇｅｏｍｅｔｒｙ ｖｉｄｅｏ ｄａｔａ)、ＡＶＤ(ａｔｔｒｉｂｕｔｅ ｖｉｄｅｏ ｄａｔａ)
【0523】
各々のＶ－ＰＣＣユニット２６０２０は、Ｖ－ＰＣＣユニットヘッダ２６０３０及びＶ－ＰＣＣユニットペイロード２６０４０を含む。Ｖ－ＰＣＣユニットヘッダ２６０３０はＶ－ＰＣＣユニットタイプを記述する。特質ビデオデータＶ－ＰＣＣユニットヘッダは特質タイプ及びそのインデックス、支援される同一の特質タイプのマルチインスタンスなどを説明する。
【0524】
占有、ジオメトリ、特質ビデオデータユニットペイロード２６０５０,２６０６０,２６０７０は、ビデオデータユニットに対応する。例えば、占有ビデオデータ、ジオメトリビデオデータ、特質ビデオデータ２６０５０,２６０６０,２６０７０はＨＥＶＣ ＮＡＬユニットである。かかるビデオデータは実施例によるビデオデコーダにより復号される。
【0525】
図２７は実施例によるポイントクラウドデータを含むビットストリームの構造を示す。
【0526】
【0527】
実施例による方法／装置は、動的ポイントクラウド客体に対するビットストリームを生成し、ビットストリームに関するファイルフォーマットを提案し、そのためのシグナリング方案を提供する。
【0528】
実施例による方法／装置は、Ｖ－ＰＣＣ(＝Ｖ３Ｃ)ビットストリームをファイルのトラックに効率的に格納し、それに対するシグナリングを提供するポイントクラウドコンテンツサービスを提供するための送信機、受信機及び／又はプロセッサである。
【0529】
実施例による方法／装置は、ポイントクラウドデータを含むＶ－ＰＣＣビットストリームを格納するデータフォーマットを提供する。それにより、実施例による受信方法／装置がポイントクラウドデータを受信し、ポイントクラウドデータに効率的に接近できるデータの格納及びシグナリング方案を提供する。従って、効率的な接近のポイントクラウドデータを含むファイル格納技法に基づいて、送信機及び／又は受信機はポイントクラウドコンテンツサービスを提供することができる。
【0530】
実施例による方法／装置は、ポイントクラウドビットストリーム(Ｖ－ＰＣＣビットストリーム)をファイルのトラック内に効率的に格納する。効率的な格納技法に関するシグナリング情報を生成してファイル内に格納する。ファイル内に格納されたＶ－ＰＣＣビットストリームに対する効率的な接近を支援できるように、ファイル実施例による格納技法にさらに(又はさらに変形／結合して)Ｖ－ＰＣＣビットストリームをファイル内１つ以上の複数のトラックに分割格納する技法を提供する。
【0531】
この明細書で使用する用語の定義は以下の通りである：
【0532】
ＶＰＳ：Ｖ－ＰＣＣパラメータセット(Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔ)。ＡＤ：アトラスデータ(ａｔｌａｓ ｄａｔａ)。ＯＶＤ：占有ビデオデータ(ｏｃｃｕｐａｎｃｙ ｖｉｄｅｏ ｄａｔａ)。ＧＶＤ：ジオメトリビデオデータ(ｇｅｏｍｅｔｒｙ ｖｉｄｅｏ ｄａｔａ)。ＡＶＤ：特質ビデオデータ(ａｔｔｒｉｂｕｔｅ ｖｉｄｅｏ ｄａｔａ)。ＡＣＬ：アトラスコーディングレイヤ(Ａｔｌａｓ Ｃｏｄｉｎｇ Ｌａｙｅｒ)。ＡＡＰＳ：アトラス適応パラメータセット(Ａｔｌａｓ Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)。ＡＳＰＳ：アトラスシーケンスパラメータセット(ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)。実施例によるシンタックス要素を含むシンタックス構造は、ゼロ又は１つ以上の全体コーディングされたアトラスシーケンス(ＣＡＳｓ)に適用され、各タイルグループヘッダ内のシンタックス要素により参照されるＡＳＰＳのシンタックス要素のコンテンツにより決定される。
【0533】
ＡＦＰＳ：アトラスフレームパラメータセット(ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)。シンタックス要素を含むシンタックス構造はゼロ又１つ以上の全体コーディングされたアトラスフレームに適用され、タイルグループヘッダ内のシンタックス要素のコンテンツにより決定される。
【0534】
ＳＥＩ：補足強化情報(Ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ)
【0535】
アトラス(Ａｔｌａｓ)：２Ｄバウンディングボックスの集合である。例えば、矩形フレームにプロジェクションされた、３Ｄ空間に３次元バウンディングボックスに対応する矩形フレームにプロジェクションされたパッチである。アトラスはポイントクラウドのサブセットを示す。
【0536】
アトラスサブビットストリーム(Ａｔｌａｓ ｓｕｂ－ｂｉｔｓｔｒｅａｍ)：アトラスＮＡＬビットストリーム部分を含むＶ－ＰＣＣビットストリームから抽出されたサブビットストリームである。
【0537】
Ｖ－ＰＣＣコンテンツ(Ｖ－ＰＣＣ ｃｏｎｔｅｎｔ)：Ｖ－ＰＣＣ(Ｖ３Ｃ)に基づいて符号化されるポイントクラウドである。
【0538】
Ｖ－ＰＣＣトラック(Ｖ－ＰＣＣ ｔｒａｃｋ)：Ｖ－ＰＣＣビットストリームのアトラスビットストリームを伝達するボリュメトリックビジュアルトラックである。
【0539】
Ｖ－ＰＣＣコンポーネントトラック(Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋ)：Ｖ－ＰＣＣビットストリームの占有マップ、ジオメトリ、特質コンポーネントビデオビットストリームに対する２Ｄビデオ符号化されたデータを伝達するビデオトラックである。
【0540】
動的(Ｄｙｎａｍｉｃ)ポイントクラウド客体の部分接近(ｐａｒｔｉａｌ ａｃｃｅｓｓ)を支援するための実施例を説明する。実施例はファイルシステムレベル(ｆｉｌｅ ｓｙｓｔｅｍ ｌｅｖｅｌ)において、各空間領域(ｓｐａｔｉａｌ ｒｅｇｉｏｎ)に含まれるＶ－ＰＣＣ客体の一部データに連関するアトラスタイルグループ(ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ)情報を含む。また実施例は各アトラスタイルグループ(ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ)が含んでいるラベル(ｌａｂｅｌ)及び／又はパッチ(ｐａｔｃｈ)情報に対する拡張したシグナリング方案を含む。
【0541】
図２７を参照すると、実施例による方法／装置が送受信するデータに含まれたポイントクラウドビットストリームの構造を示す。
【0542】
実施例によるポイントクラウドデータの圧縮及び復元技法は、ポイントクラウドビジュアル情報のボリュメトリック符号化及び復号を示す。
【0543】
コーディングされたポイントクラウドシーケンス(ｃｏｄｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｓｅｑｕｅｎｃｅ,ＣＰＣＳ)を含むポイントクラウドビットストリーム(Ｖ－ＰＣＣビットストリーム又はＶ３Ｃビットストリームなどと称される、２７０００)は、サンプルストリームＶ－ＰＣＣユニット２７０１０で構成される。サンプルストリームＶ－ＰＣＣユニット２７０１０は、Ｖ－ＰＣＣパラメータセット(ＶＰＳ)データ２７０２０、アトラスビットストリーム２７０３０、２Ｄビデオ符号化占有マップビットストリーム２７０４０、２Ｄビデオ符号化ジオメトリビットストリーム２７０５０、及びゼロ及び１つ以上の２Ｄビデオ符号化特質ビットストリーム２７０６０を伝達する。
【0544】
ポイントクラウドビットストリーム２７０００はサンプルストリームＶＰＣＣヘッダ２７０７０を含む。
【0545】
ＳＳＶＨユニットサイズ精度(ｓｓｖｈ_ｕｎｉｔ_ｓｉｚｅ_ｐｒｅｃｉｓｉｏｎ_ｂｙｔｅｓ_ｍｉｎｕｓ１)：この値に１を加えると、全てのサンプルストリームＶ－ＰＣＣユニット内のＳＳＶＵ ＶＰＣＣユニットサイズ(ｓｓｖｕ_ｖｐｃｃ_ｕｎｉｔ_ｓｉｚｅ)要素のバイト単位の精度を示す。ｓｓｖｈ_ｕｎｉｔ_ｓｉｚｅ_ｐｒｅｃｉｓｉｏｎ_ｂｙｔｅｓ_ｍｉｎｕｓ１は０～７の範囲を有する。
【0546】
サンプルストリームＶ－ＰＣＣユニット２７０１０のシンタックス２７０８０は以下の通りである。各サンプルストリームＶ－ＰＣＣユニットは、ＶＰＳ、ＡＤ、ＯＶＤ、ＧＶＤ及びＡＶＤのＶ－ＰＣＣユニットのいずれかのタイプを含む。各サンプルストリームＶ－ＰＣＣユニットのコンテンツは、サンプルストリームＶ－ＰＣＣユニット内に含まれたＶ－ＰＣＣユニットと同一のアクセスユニットに連関する。
【0547】
ＳＳＶＵ ＶＰＣＣユニットサイズ(ｓｓｖｕ_ｖｐｃｃ_ｕｎｉｔ_ｓｉｚｅ)：サブシーケンス(ｓｕｂｓｅｑｕｅｎｔ)Ｖ－ＰＣＣユニットのバイト単位サイズを示す。ｓｓｖｕ_ｖｐｃｃ_ｕｎｉｔ_ｓｉｚｅを示すときに使用されるビット数は、(ｓｓｖｈ_ｕｎｉｔ_ｓｉｚｅ_ｐｒｅｃｉｓｉｏｎ_ｂｙｔｅｓ_ｍｉｎｕｓ１＋１)＊８である。
【0548】
【0549】
【0550】
ＶＰＳ２７０２０及び／又はＡＤ２７０３０は第４トラック(Ｖ３Ｃトラック)４００３０にカプセル化される。
【0551】
ＯＶＤ２７０４０は第２トラック(占有トラック)４００１０にカプセル化される。
【0552】
ＧＶＤ２７０５０は第３トラック(ジオメトリトラック)４００２０にカプセル化される。
【0553】
ＡＶＤ２７０６０は第１トラック(特質トラック)４００００にカプセル化される。
【0554】
図２８は実施例によるＶ－ＰＣＣユニット及びＶ－ＰＣＣユニットヘッダを示す。
【0555】
【0556】
実施例によるＶ－ＰＣＣビットストリームはＶ－ＰＣＣシーケンスのシリーズを含む。
【0557】
ＶＰＣＣ_ＶＰＳと同一のｖｕｈ_ｕｎｉｔ_ｔｙｐｅの値を有するＶ－ＰＣＣユニットタイプがＶ－ＰＣＣシーケンス内の１番目のＶ－ＰＣＣユニットタイプであると期待する。全ての他のＶ－ＰＣＣユニットタイプはそれらのコーディング順内で追加制限なしにこのユニットタイプに従う。占有ビデオ、特質ビデオ又はジオメトリビデオを伝達するＶ－ＰＣＣユニットのＶ－ＰＣＣユニットペイロードは、１つ又は１つ以上のＮＡＬユニットで構成される(Ａ Ｖ－ＰＣＣ ｂｉｔｓｔｒｅａｍ ｃｏｎｔａｉｎｓ ａ ｓｅｒｉｅｓ ｏｆ Ｖ－ＰＣＣ ｓｅｑｕｅｎｃｅｓ. Ａ ｖｐｃｃ ｕｎｉｔ ｔｙｐｅ ｗｉｔｈ ａ ｖａｌｕｅ ｏｆ ｖｕｈ_ｕｎｉｔ_ｔｙｐｅ ｅｑｕａｌ ｔｏ ＶＰＣＣ_ＶＰＳ ｉｓ ｅｘｐｅｃｔｅｄ ｔｏ ｂｅ ｔｈｅ ｆｉｒｓｔ Ｖ－ＰＣＣ ｕｎｉｔ ｔｙｐｅ ｉｎ ａ Ｖ－ＰＣＣ ｓｅｑｕｅｎｃｅ. Ａｌｌ ｏｔｈｅｒ Ｖ－ＰＣＣ ｕｎｉｔ ｔｙｐｅｓ ｆｏｌｌｏｗ ｔｈｉｓ ｕｎｉｔ ｔｙｐｅ ｗｉｔｈｏｕｔ ａｎｙ ａｄｄｉｔｉｏｎａｌ ｒｅｓｔｒｉｃｔｉｏｎｓ ｉｎ ｔｈｅｉｒ ｃｏｄｉｎｇ ｏｒｄｅｒ. Ａ Ｖ－ＰＣＣ ｕｎｉｔ ｐａｙｌｏａｄ ｏｆ Ｖ－ＰＣＣ ｕｎｉｔ ｃａｒｒｙｉｎｇ Ｏｃｃｕｐａｎｃｙ ｖｉｄｅｏ, ａｔｔｒｉｂｕｔｅ ｖｉｄｅｏ, ｏｒ ｇｅｏｍｅｔｒｙ ｖｉｄｅｏ ｉｓ ｃｏｍｐｏｓｅｄ ｏｆ ｏｎｅ ｏｒ ｍｏｒｅ ＮＡＬ ｕｎｉｔｓ)。
【0558】
ＶＰＣＣユニットはヘッダとペイロードを含む。
【0559】
ＶＰＣＣユニットヘッダはＶＵＨユニットタイプに基づいて以下の情報を含む。
【0560】
ＶＵＨユニットタイプはＶ－ＰＣＣユニット２６０２０のタイプを以下のように示す。
【0561】
【表1】
【0562】
ＶＵＨユニットタイプ(ｖｕｈ_ｕｎｉｔ_ｔｙｐｅ)が占有ビデオデータ(ＶＰＣＣ_ＡＶＤ)、ジオメトリビデオデータ(ＶＰＣＣ_ＧＶＤ)、占有ビデオデータ(ＶＰＣＣ_ＯＶＤ)又はアトラスデータ(ＶＰＣＣ_ＡＤ)を示すと、ＶＵＨ ＶＰＣＣパラメータセットＩＤ(ｖｕｈ_ｖｐｃｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)及びＶＵＨアトラスＩＤ(ｖｕｈ_ａｔｌａｓ_ｉｄ)がユニットヘッダ内で伝達される。Ｖ－ＰＣＣユニットに連関するパラメータセットＩＤ及びアトラスＩＤを伝達することができる。
【0563】
ユニットタイプがアトラスビデオデータであると、ユニットのヘッダは特質インデックス(ｖｕｈ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘ)、特質パーティションインデックス(ｖｕｈ_ａｔｔｒｉｂｕｔｅ_ｐａｒｔｉｔｉｏｎ_ｉｎｄｅｘ)、マップインデックス(ｖｕｈ_ｍａｐ_ｉｎｄｅｘ)、付加ビデオフラグ(ｖｕｈ_ａｕｘｉｌｉａｒｙ_ｖｉｄｅｏ_ｆｌａｇ)を伝達する。
【0564】
ユニットタイプがジオメトリビデオデータであると、マップインデックス(ｖｕｈ_ｍａｐ_ｉｎｄｅｘ)、付加ビデオフラグ(ｖｕｈ_ａｕｘｉｌｉａｒｙ_ｖｉｄｅｏ_ｆｌａｇ)を伝達する。
【0565】
ユニットタイプが占有ビデオデータ又はアトラスデータであると、ユニットのヘッダは追加予約されたビットを含む。
【0566】
ＶＵＨ ＶＰＣＣパラメータセットＩＤ(ｖｕｈ_ｖｐｃｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：アクティブＶ－ＰＣＣ ＶＰＳのためのｖｐｓ_ｖｐｃｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す。現在Ｖ－ＰＣＣユニットのヘッダのＶＰＣＣパラメータセットＩＤによりＶＰＳパラメータセットのＩＤを把握でき、Ｖ－ＰＣＣユニットとＶ－ＰＣＣパラメータセットの間の関係を知らせることができる。
【0567】
ＶＵＨアトラスＩＤ(ｖｕｈ_ａｔｌａｓ_ｉｄ)：現在Ｖ－ＰＣＣユニットに対応するアトラスのインデックスを示す。現在Ｖ－ＰＣＣユニットのヘッダのアトラスＩＤにより、アトラスのインデックスを把握でき、Ｖ－ＰＣＣユニットに対応するアトラスを知らせることができる。
【0568】
ＶＵＨ特質インデックス(ｖｕｈ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘ)：特質ビデオデータユニットから伝達される特質データのインデックスを示す。
【0569】
ＶＵＨ特質パーティションインデックス(ｖｕｈ_ａｔｔｒｉｂｕｔｅ_ｐａｒｔｉｔｉｏｎ_ｉｎｄｅｘ)：特質ビデオデータユニットから伝達される特質ディメンショングループのインデックスを示す。
【0570】
ＶＵＨマップインデックス(ｖｕｈ_ｍａｐ_ｉｎｄｅｘ)：この値が存在する場合、現在ジオメトリ又は特質ストリームのマップインデックスを示す。
【0571】
ＶＵＨ付加ビデオフラグ(ｖｕｈ_ａｕｘｉｌｉａｒｙ_ｖｉｄｅｏ_ｆｌａｇ)：この値が１であると、関連ジオメトリ又は特質ビデオデータユニットがただＲＡＷ及び／又はＥＯＭコーディングされたポイントビデオであることを示す。この値が０であると、関連ジオメトリ又は特質ビデオデータユニットがＲＡＷ及び／又はＥＯＭコーディングされたポイントを含むことができることを示す。
【0572】
ＶＵＨ行ビデオフラグ(ｖｕｈ_ｒａｗ_ｖｉｄｅｏ_ｆｌａｇ)：この値が１であると、関連するジオメトリ又は特質ビデオデータユニットがただＲＡＷコーディングされたポイントビデオであることを示す。この値が０であると、関連するジオメトリ又は特質ビデオデータユニットがＲＡＷコーディングされたポイントを含むことを示す。このフラグが存在しない場合は、この値は０に推論される。
【0573】
図２９は実施例によるＶ－ＰＣＣユニットのペイロードを示す。
【0574】
図２９はＶ－ＰＣＣユニットのペイロード２６０４０のシンタックスである。
【0575】
Ｖ－ＰＣＣユニットタイプ(ｖｕｈ_ｕｎｉｔ_ｔｙｐｅ)がＶ－ＰＣＣパラメータセット(ＶＰＣＣ_ＶＰＳ)であると。Ｖ－ＰＣＣユニットのペイロードはパラメータセット(ｖｐｃｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ( ))を含む。
【0576】
Ｖ－ＰＣＣユニットタイプ(ｖｕｈ_ｕｎｉｔ_ｔｙｐｅ)がＶ－ＰＣＣアトラスデータ(ＶＰＣＣ_ＡＤ)であると、Ｖ－ＰＣＣユニットのペイロードはアトラスサブビットストリーム(ａｔｌａｓ_ｓｕｂ_ｂｉｔｓｔｒｅａｍ( ))を含む。
【0577】
Ｖ－ＰＣＣユニットタイプ(ｖｕｈ_ｕｎｉｔ_ｔｙｐｅ)がＶ－ＰＣＣ占有ビデオデータ(ＶＰＣＣ_ＯＶＤ)、ジオメトリビデオデータ(ＶＰＣＣ_ＧＶＤ)又は特質ビデオデータ(ＶＰＣＣ_ＡＶＤ)であると、Ｖ－ＰＣＣユニットのペイロードはビデオビットストリーム(ｖｉｄｅｏ_ｓｕｂ_ｂｉｔｓｔｒｅａｍ( ))を含む。
【0578】
図３０は実施例によるパラメータセット(Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔ)を示す。
【0579】
【0580】
図３０のＶＰＳは以下の要素を含む。
【0581】
プロファイルティアレベル(ｐｒｏｆｉｌｅ_ｔｉｅｒ_ｌｅｖｅｌ())：ビットストリーム上の制限を示す。ビットストリームを復号するために必要な能力に対する制限を示す。プロファイル、ティア(ｔｉｅｒ)及びレベルは個別デコーダ実行間の相互適用性ポイントを示すために使用される(ｓｐｅｃｉｆｉｅｓ ｒｅｓｔｒｉｃｔｉｏｎｓ ｏｎ ｔｈｅ ｂｉｔｓｔｒｅａｍｓ ａｎｄ ｈｅｎｃｅ ｌｉｍｉｔｓ ｏｎ ｔｈｅ ｃａｐａｂｉｌｉｔｉｅｓ ｎｅｅｄｅｄ ｔｏ ｄｅｃｏｄｅ ｔｈｅ ｂｉｔｓｔｒｅａｍｓ. Ｐｒｏｆｉｌｅｓ, ｔｉｅｒｓ, ａｎｄ ｌｅｖｅｌｓ ｍａｙ ａｌｓｏ ｂｅ ｕｓｅｄ ｔｏ ｉｎｄｉｃａｔｅ ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｐｏｉｎｔｓ ｂｅｔｗｅｅｎ ｉｎｄｉｖｉｄｕａｌ ｄｅｃｏｄｅｒ ｉｍｐｌｅｍｅｎｔａｔｉｏｎｓ)。
【0582】
パラメータセットＩＤ(ｖｐｓ_ｖｐｃｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：他のシンタックス要素による参照のためのＶ－ＰＣＣ ＶＰＳのための識別子を提供する(ｐｒｏｖｉｄｅｓ ａｎ ｉｄｅｎｔｉｆｉｅｒ ｆｏｒ ｔｈｅ Ｖ－ＰＣＣ ＶＰＳ ｆｏｒ ｒｅｆｅｒｅｎｃｅ ｂｙ ｏｔｈｅｒ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ)。
【0583】
バウンディングボックス存在フラグ(ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：ビットストリーム上のポイントクラウド客体／コンテンツのオーバーオール(総合的な)バウンディングボックス(時間によって変更されるバウンディングボックスを全て含むバウンディングボックス)に関する情報の存在有無についてのフラグである(ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇ ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｏｖｅｒａｌｌ ｂｏｕｎｄｉｎｇ ｂｏｘ ｏｆｆｓｅｔ ａｎｄ ｔｈｅ ｓｉｚｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｎｔｅｎｔ ｃａｒｒｉｅｄ ｉｎ ｔｈｉｓ ｂｉｔｓｔｒｅａｍ)。
【0584】
バウンディングボックス存在フラグが特定の値を有すると、以下のバウンディングボックス要素がＶＰＳに含まれる。
【0585】
バウンディングボックスオフセットＸ(ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ)：座標系内のビットストリーム内に伝達されるポイントクラウドコンテンツのサイズ情報であって、総合的なバウンディングボックスオフセットのＸオフセットを示す。存在しない場合、この値は０に推論される(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｘ ｏｆｆｓｅｔ ｏｆ ｏｖｅｒａｌｌ ｂｏｕｎｄｉｎｇ ｂｏｘ ｏｆｆｓｅｔ ａｎｄ ｔｈｅ ｓｉｚｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｎｔｅｎｔ ｃａｒｒｉｅｄ ｉｎ ｔｈｉｓ ｂｉｔｓｔｒｅａｍ ｉｎ ｔｈｅ ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ０)。
【0586】
バウンディングボックスオフセットＹ(ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ)：座標系内のビットストリーム内に伝達されるポイントクラウドコンテンツのサイズ情報であって、総合的なバウンディングボックスオフセットのＹオフセットを示す。存在しない場合、この値は０に推論される(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｙ ｏｆｆｓｅｔ ｏｆ ｏｖｅｒａｌｌ ｂｏｕｎｄｉｎｇ ｂｏｘ ｏｆｆｓｅｔ ａｎｄ ｔｈｅ ｓｉｚｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｎｔｅｎｔ ｃａｒｒｉｅｄ ｉｎ ｔｈｉｓ ｂｉｔｓｔｒｅａｍ ｉｎ ｔｈｅ ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ０)。
【0587】
バウンディングボックスオフセットＺ(ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ)：座標系内のビットストリーム内に伝達されるポイントクラウドコンテンツのサイズ情報であって、総合的なバウンディングボックスオフセットのＺオフセットを示す。存在しない場合、この値は０に推論される(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｚ ｏｆｆｓｅｔ ｏｆ ｏｖｅｒａｌｌ ｂｏｕｎｄｉｎｇ ｂｏｘ ｏｆｆｓｅｔ ａｎｄ ｔｈｅ ｓｉｚｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｎｔｅｎｔ ｃａｒｒｉｅｄ ｉｎ ｔｈｉｓ ｂｉｔｓｔｒｅａｍ ｉｎ ｔｈｅ Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ０)。
【0588】
バウンディングボックスサイズ幅(ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ)：座標系内のビットストリーム内に伝達されるポイントクラウドコンテンツのサイズ情報であって、総合的なバウンディングボックスの幅を示す。存在しない場合、この値は１に推論される(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｗｉｄｔｈ ｏｆ ｏｖｅｒａｌｌ ｂｏｕｎｄｉｎｇ ｂｏｘ ｏｆｆｓｅｔ ａｎｄ ｔｈｅ ｓｉｚｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｎｔｅｎｔ ｃａｒｒｉｅｄ ｉｎ ｔｈｉｓ ｂｉｔｓｔｒｅａｍ ｉｎ ｔｈｅ Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ １)。
【0589】
バウンディングボックスサイズ高さ(ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ)：座標系内のビットストリーム内に伝達されるポイントクラウドコンテンツのサイズ情報であって、総合的なバウンディングボックスの高さを示す。存在しない場合、この値は１に推論される(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｈｅｉｇｈｔ ｏｆ ｏｖｅｒａｌｌ ｂｏｕｎｄｉｎｇ ｂｏｘ ｏｆｆｓｅｔ ａｎｄ ｔｈｅ ｓｉｚｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｎｔｅｎｔ ｃａｒｒｉｅｄ ｉｎ ｔｈｉｓ ｂｉｔｓｔｒｅａｍ ｉｎ ｔｈｅ Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ １)。
【0590】
バウンディングボックスサイズ深さ(ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ)：座標系内のビットストリーム内に伝達されるポイントクラウドコンテンツのサイズ情報であって、総合的なバウンディングボックスの深さを示す。存在しない場合、この値は１に推論される(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｄｅｐｔｈ ｏｆ ｏｖｅｒａｌｌ ｂｏｕｎｄｉｎｇ ｂｏｘ ｏｆｆｓｅｔ ａｎｄ ｔｈｅ ｓｉｚｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｎｔｅｎｔ ｃａｒｒｉｅｄ ｉｎ ｔｈｉｓ ｂｉｔｓｔｒｅａｍ ｉｎ ｔｈｅ Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ １)。
【0591】
アトラスカウント(ｖｐｓ_ａｔｌａｓ_ｃｏｕｎｔ_ｍｉｎｕｓ１)：この値に１を加えると、現在ビットストリーム内に支援されるアトラスの総数を示す(ｐｌｕｓ １ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｔｏｔａｌ ｎｕｍｂｅｒ ｏｆ ｓｕｐｐｏｒｔｅｄ ａｔｌａｓｅｓ ｉｎ ｔｈｅ ｃｕｒｒｅｎｔ ｂｉｔｓｔｒｅａｍ)。
【0592】
アトラス数によって、以下のパラメータがさらにパラメータセット含まれる。
【0593】
フレーム幅(ｖｐｓ_ｆｒａｍｅ_ｗｉｄｔｈ[ｊ])：インデックスＪを有するアトラスのための整数ルーマサンプルのＶ－ＰＣＣフレーム幅を示す。フレーム幅はインデックスＪを有するアトラスのための全てのＶ－ＰＣＣコンポーネントに関連する公称幅である(ｉｎｄｉｃａｔｅｓ ｔｈｅ Ｖ－ＰＣＣ ｆｒａｍｅ ｗｉｄｔｈ ｉｎ ｔｅｒｍｓ ｏｆ ｉｎｔｅｇｅｒ ｌｕｍａ ｓａｍｐｌｅｓ ｆｏｒ ｔｈｅ ａｔｌａｓ ｗｉｔｈ ｉｎｄｅｘ ｊ. Ｔｈｉｓ ｆｒａｍｅ ｗｉｄｔｈ ｉｓ ｔｈｅ ｎｏｍｉｎａｌ ｗｉｄｔｈ ｔｈａｔ ｉｓ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ａｌｌ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔｓ ｆｏｒ ｔｈｅ ａｔｌａｓ ｗｉｔｈ ｉｎｄｅｘ ｊ)。
【0594】
フレーム高さ(ｖｐｓ_ｆｒａｍｅ_ｈｅｉｇｈｔ[ｊ])：インデックスＪを有するアトラスのための整数ルーマサンプルのＶ－ＰＣＣフレーム高さを示す。このフレーム高さはインデックスＪを有するアトラスのための全てのＶ－ＰＣＣコンポーネントに関連する公称高さである(ｉｎｄｉｃａｔｅｓ ｔｈｅ Ｖ－ＰＣＣ ｆｒａｍｅ ｈｅｉｇｈｔ ｉｎ ｔｅｒｍｓ ｏｆ ｉｎｔｅｇｅｒ ｌｕｍａ ｓａｍｐｌｅｓ ｆｏｒ ｔｈｅ ａｔｌａｓ ｗｉｔｈ ｉｎｄｅｘ ｊ. Ｔｈｉｓ ｆｒａｍｅ ｈｅｉｇｈｔ ｉｓ ｔｈｅ ｎｏｍｉｎａｌ ｈｅｉｇｈｔ ｔｈａｔ ｉｓ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ａｌｌ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔｓ ｆｏｒ ｔｈｅ ａｔｌａｓ ｗｉｔｈ ｉｎｄｅｘ ｊ)。
【0595】
ＭＡＰカウント(ｖｐｓ_ｍａｐ_ｃｏｕｎｔ_ｍｉｎｕｓ１[ｊ])：この値に１を加えると、インデックスＪを有するジオメトリ及び特質データを符号化するために使用されるマップの数を示す(ｐｌｕｓ １ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｍａｐｓ ｕｓｅｄ ｆｏｒ ｅｎｃｏｄｉｎｇ ｔｈｅ ｇｅｏｍｅｔｒｙ ａｎｄ ａｔｔｒｉｂｕｔｅ ｄａｔａ ｆｏｒ ｔｈｅ ａｔｌａｓ ｗｉｔｈ ｉｎｄｅｘ ｊ)。
【0596】
ＭＡＰカウント(ｖｐｓ_ｍａｐ_ｃｏｕｎｔ_ｍｉｎｕｓ１[ｊ])が０より大きいと、以下のパラメータがパラメータセットにさらに含まれる。
【0597】
ＭＡＰカウント(ｖｐｓ_ｍａｐ_ｃｏｕｎｔ_ｍｉｎｕｓ１[ｊ])の値によって、以下のパラメータがパラメータセットにさらに含まれる。
【0598】
マルチマップストリーム存在フラグ(ｖｐｓ_ｍｕｌｔｉｐｌｅ_ｍａｐ_ｓｔｒｅａｍｓ_ｐｒｅｓｅｎｔ_ｆｌａｇ[ｊ])：この値が０であると、インデックスＪのための全てのジオメトリ又は特質マップがシングルジオメトリ又は特質ビデオストリームのそれぞれに存在することを示す。この値が１であると、インデックスＪを有するアトラスのための全てのジオメトリ又は特質マップが個別(ｓｅｐａｒａｔｅ)ビデオストリームに存在することを示す(ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ａｌｌ ｇｅｏｍｅｔｒｙ ｏｒ ａｔｔｒｉｂｕｔｅ ｍａｐｓ ｆｏｒ ｔｈｅ ａｔｌａｓ ｗｉｔｈ ｉｎｄｅｘ ｊ ａｒｅ ｐｌａｃｅｄ ｉｎ ａ ｓｉｎｇｌｅ ｇｅｏｍｅｔｒｙ ｏｒ ａｔｔｒｉｂｕｔｅ ｖｉｄｅｏ ｓｔｒｅａｍ, ｒｅｓｐｅｃｔｉｖｅｌｙ. ｖｐｓ_ｍｕｌｔｉｐｌｅ_ｍａｐ_ｓｔｒｅａｍｓ_ｐｒｅｓｅｎｔ_ｆｌａｇ[ｊ] ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ａｌｌ ｇｅｏｍｅｔｒｙ ｏｒ ａｔｔｒｉｂｕｔｅ ｍａｐｓ ｆｏｒ ｔｈｅ ａｔｌａｓ ｗｉｔｈ ｉｎｄｅｘ ｊ ａｒｅ ｐｌａｃｅｄ ｉｎ ｓｅｐａｒａｔｅ ｖｉｄｅｏ ｓｔｒｅａｍｓ)。
【0599】
マルチマップストリーム存在フラグ(ｖｐｓ_ｍｕｌｔｉｐｌｅ_ｍａｐ_ｓｔｒｅａｍｓ_ｐｒｅｓｅｎｔ_ｆｌａｇ[ｊ])が１を示すと、ｖｐｓ_ｍａｐ_ａｂｓｏｌｕｔｅ_ｃｏｄｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇ[ｊ][ｉ]がパラメータセットにさらに含まれ、そうではないと、ｖｐｓ_ｍａｐ_ａｂｓｏｌｕｔｅ_ｃｏｄｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇ[ｊ][ｉ]は１を有する。
【0600】
マップ絶対コーディング有効フラグ(ｖｐｓ_ｍａｐ_ａｂｓｏｌｕｔｅ_ｃｏｄｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇ[ｊ][ｉ])：この値が１であると、インデックスＪを有するアトラスのためのインデックスＩを有するジオメトリマップがどのようなマップ予測形態なしにコーディングされることを示す。この値が１であると、インデックスＪを有するアトラスのためのインデックスＩを有するジオメトリマップがコーディング前にコーディングされたマップより早く他のものより１番目に予測されることを示す(ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ｇｅｏｍｅｔｒｙ ｍａｐ ｗｉｔｈ ｉｎｄｅｘ ｉ ｆｏｒ ｔｈｅ ａｔｌａｓ ｗｉｔｈ ｉｎｄｅｘ ｊ ｉｓ ｃｏｄｅｄ ｗｉｔｈｏｕｔ ａｎｙ ｆｏｒｍ ｏｆ ｍａｐ ｐｒｅｄｉｃｔｉｏｎ. ｖｐｓ_ｍａｐ_ａｂｓｏｌｕｔｅ_ｃｏｄｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇ[ｊ][ｉ]ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ｇｅｏｍｅｔｒｙ ｍａｐ ｗｉｔｈ ｉｎｄｅｘ ｉ ｆｏｒ ｔｈｅ ａｔｌａｓ ｗｉｔｈ ｉｎｄｅｘ ｊ ｉｓ ｆｉｒｓｔ ｐｒｅｄｉｃｔｅｄ ｆｒｏｍ ａｎｏｔｈｅｒ, ｅａｒｌｉｅｒ ｃｏｄｅｄ ｍａｐ, ｐｒｉｏｒ ｔｏ ｃｏｄｉｎｇ)。
【0601】
マップ絶対コーディング有効フラグ(ｖｐｓ_ｍａｐ_ａｂｓｏｌｕｔｅ_ｃｏｄｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇ[ｊ][０])が１であると、インデックス０を有するジオメトリマップがマップ予測なしにコーディングされることを示す。
【0602】
マップ絶対コーディング有効フラグ(ｖｐｓ_ｍａｐ_ａｂｓｏｌｕｔｅ_ｃｏｄｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇ[ｊ][ｉ])が０であり、Ｉが０より大きいと、ｖｐｓ_ｍａｐ_ｐｒｅｄｉｃｔｏｒ_ｉｎｄｅｘ_ｄｉｆｆ[ｊ][ｉ]がパラメータセットにさらに含まれる。そうではないと、ｖｐｓ_ｍａｐ_ｐｒｅｄｉｃｔｏｒ_ｉｎｄｅｘ_ｄｉｆｆ[ｊ][ｉ]は０になる。
【0603】
マップ予測子インデックス差(ｖｐｓ_ｍａｐ_ｐｒｅｄｉｃｔｏｒ_ｉｎｄｅｘ_ｄｉｆｆ[ｊ][ｉ])：この値はマップ絶対コーディング有効フラグ(ｖｐｓ_ｍａｐ_ａｂｓｏｌｕｔｅ_ｃｏｄｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇ[ｊ][ｉ])が０であると、インデックスＪを有するアトラスのためのインデックスＩを有するジオメトリマップの予測子を計算するために使用される(ｉｓ ｕｓｅｄ ｔｏ ｃｏｍｐｕｔｅ ｔｈｅ ｐｒｅｄｉｃｔｏｒ ｏｆ ｔｈｅ ｇｅｏｍｅｔｒｙ ｍａｐ ｗｉｔｈ ｉｎｄｅｘ ｉ ｆｏｒ ｔｈｅ ａｔｌａｓ ｗｉｔｈ ｉｎｄｅｘ ｊ ｗｈｅｎ ｖｐｓ_ｍａｐ_ａｂｓｏｌｕｔｅ_ｃｏｄｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇ[ｊ][ｉ] ｉｓ ｅｑｕａｌ ｔｏ ０)。
【0604】
付加ビデオ存在フラグ(ｖｐｓ_ａｕｘｉｌｉａｒｙ_ｖｉｄｅｏ_ｐｒｅｓｅｎｔ_ｆｌａｇ[ｊ])：この値が１であると、ＲＡＷ又はＥＯＭパッチデータのようなインデックスＪを有するアトラスのための付加情報が付加ビデオストリームと称される個別ビデオストリームに格納されることを示す。この値が０であると、インデックスＪを有するアトラスのための付加情報が個別ビデオストリームに格納されないことを示す(ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ａｕｘｉｌｉａｒｙ ｉｎｆｏｒｍａｔｉｏｎ ｆｏｒ ｔｈｅ ａｔｌａｓ ｗｉｔｈ ｉｎｄｅｘ ｊ, ｉ.ｅ. ＲＡＷ ｏｒ ＥＯＭ ｐａｔｃｈ ｄａｔａ, ｍａｙ ｂｅ ｓｔｏｒｅｄ ｉｎ ａ ｓｅｐａｒａｔｅ ｖｉｄｅｏ ｓｔｒｅａｍ, ｒｅｆｅｒｅｄ ｔｏ ａｓ ｔｈｅ ａｕｘｉｌｉａｒｙ ｖｉｄｅｏ ｓｔｒｅａｍ. ｖｐｓ_ａｕｘｉｌｉａｒｙ_ｖｉｄｅｏ_ｐｒｅｓｅｎｔ_ｆｌａｇ[ｊ] ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ａｕｘｉｌｉａｒｙ ｉｎｆｏｒｍａｔｉｏｎ ｆｏｒ ｔｈｅ ａｔｌａｓ ｗｉｔｈ ｉｎｄｅｘ ｊ ｉｓ ｎｏｔ ｂｅ ｓｔｏｒｅｄ ｉｎ ａ ｓｅｐａｒａｔｅ ｖｉｄｅｏ ｓｔｒｅａｍ)。
【0605】
行パッチ有効フラグ(ｖｐｓ_ｒａｗ_ｐａｔｃｈ_ｅｎａｂｌｅｄ_ｆｌａｇ[ｊ])：この値が１であると、インデックスＪを有するアトラスに対するＲＡＷコーディングされたポイントを有するパッチがビットストリーム内に存在することを示す(Ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｐａｔｃｈｅｓ ｗｉｔｈ ＲＡＷ ｃｏｄｅｄ ｐｏｉｎｔｓ ｆｏｒ ｔｈｅ ａｔｌａｓ ｗｉｔｈ ｉｎｄｅｘ ｊ ｍａｙ ｂｅ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ｂｉｔｓｔｒｅａｍ)。
【0606】
行パッチ有効フラグが特定値を有すると、以下の要素がＶＰＳに含まれる。
【0607】
行個別ビデオ存在フラグ(ｖｐｓ_ｒａｗ_ｓｅｐａｒａｔｅ_ｖｉｄｅｏ_ｐｒｅｓｅｎｔ_ｆｌａｇ[ｊ])：この値が１であると、インデックスJを有するアトラスに対するＲＡＷコーディングされたジオメトリ及び特質情報が個々のビデオストリームに格納されることを示す(Ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ＲＡＷ ｃｏｄｅｄ ｇｅｏｍｅｔｒｙ ａｎｄ ａｔｔｒｉｂｕｔｅ ｉｎｆｏｒｍａｔｉｏｎ ｆｏｒ ｔｈｅ ａｔｌａｓ ｗｉｔｈ ｉｎｄｅｘ ｊ ｍａｙ ｂｅ ｓｔｏｒｅｄ ｉｎ ａ ｓｅｐａｒａｔｅ ｖｉｄｅｏ ｓｔｒｅａｍ)。
【0608】
占有情報(ｏｃｃｕｐａｎｃｙ_ｉｎｆｏｒｍａｔｉｏｎ())：占有ビデオに関連するパラメータセットを含む。
【0609】
ジオメトリ情報(ｇｅｏｍｅｔｒｙ_ｉｎｆｏｒｍａｔｉｏｎ())：ジオメトリビデオに関連するパラメータセットを含む。
【0610】
特質情報(ａｔｔｒｉｂｕｔｅ_ｉｎｆｏｒｍａｔｉｏｎ())：特質ビデオに関連するパラメータセットを含む。
【0611】
拡張存在フラグ(ｖｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：シンタックス要素拡張長さ(ｖｐｓ_ｅｘｔｅｎｓｉｏｎ_ｌｅｎｇｔｈ)がパラメータセット(ｖｐｃｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ)シンタックス構造に存在することを示す。この値が０であると、シンタックス要素拡張長さ(ｖｐｓ_ｅｘｔｅｎｓｉｏｎ_ｌｅｎｇｔｈ)が存在しないことを示す(ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｅ ｓｙｎｔａｘ ｅｌｅｍｅｎｔ ｖｐｓ_ｅｘｔｅｎｓｉｏｎ_ｌｅｎｇｔｈ ｉｓ ｐｒｅｓｅｎｔ ｉｎ ｖｐｃｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ. ｖｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｓｙｎｔａｘ ｅｌｅｍｅｎｔ ｖｐｓ_ｅｘｔｅｎｓｉｏｎ_ｌｅｎｇｔｈ ｉｓ ｎｏｔ ｐｒｅｓｅｎｔ)。
【0612】
拡張長さ(ｖｐｓ_ｅｘｔｅｎｓｉｏｎ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１)：この値に１を加えると、このシンタックス要素をフォローする拡張データ(ｖｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｂｙｔｅ)要素の数を示す(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｖｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｂｙｔｅ ｅｌｅｍｅｎｔｓ ｔｈａｔ ｆｏｌｌｏｗ ｔｈｉｓ ｓｙｎｔａｘ ｅｌｅｍｅｎｔ)。
【0613】
拡張長さ(ｖｐｓ_ｅｘｔｅｎｓｉｏｎ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１)によって、拡張データがパラメータセットにさらに含まれる。
【0614】
拡張データ(ｖｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｂｙｔｅ)：拡張により含まれるいかなるデータを含むことができる(ｍａｙ ｈａｖｅ ａｎｙ ｖａｌｕｅ)。
【0615】
実施例による方法／装置は、実施例による上述したバウンディングボックス関連情報によりバウンディングボックスに含まれるポイント情報を送信装置で生成して、受信装置に伝達することができる。受信装置はバウンディングボックスに含まれるポイント情報に基づいてバウンディングボックスに関連するポイントクラウドデータを効率的に得て復号する。さらに実施例によるバウンディングボックスに関連するポイントは、バウンディングボックスに含まれるポイント、バウンディングボックスの原点(ｏｒｉｇｉｎ ｐｏｉｎｔ)などを含む。
【0616】
図３１は実施例によるアトラスサブビットストリームの構造を示す。
【0617】
【0618】
アトラスサブビットストリームを伝達するＶ－ＰＣＣユニットのＶ－ＰＣＣユニットペイロードは、１つ又は１つ以上のサンプルストリームＮＡＬユニット３１０１０を含む。
【0619】
実施例によるアトラスサブビットストリーム３１０００は、サンプルストリームＮＡＬヘッダ３１０２０及びサンプルストリームＮＡＬユニット３１０１０を含む。
【0620】
サンプルストリームＮＡＬヘッダ３１０２０は、ユニットサイズ精度バイト(ｓｓｎｈ_ｕｎｉｔ_ｓｉｚｅ_ｐｒｅｃｉｓｉｏｎ_ｂｙｔｅｓ_ｍｉｎｕｓ１)を含む。この値に１を加えると、全てのサンプルストリームＮＡＬユニット内のＮＡＬユニットサイズ(ｓｓｎｕ_ｎａｌ_ｕｎｉｔ_ｓｉｚｅ)要素のバイト単位内精度を示す。ｓｓｎｈ_ｕｎｉｔ_ｓｉｚｅ_ｐｒｅｃｉｓｉｏｎ_ｂｙｔｅｓ_ｍｉｎｕｓ１は０～７の範囲を有する(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｐｒｅｃｉｓｉｏｎ, ｉｎ ｂｙｔｅｓ, ｏｆ ｔｈｅ ｓｓｎｕ_ｎａｌ_ｕｎｉｔ_ｓｉｚｅ ｅｌｅｍｅｎｔ ｉｎ ａｌｌ ｓａｍｐｌｅ ｓｔｒｅａｍ ＮＡＬ ｕｎｉｔｓ. ｓｓｎｈ_ｕｎｉｔ_ｓｉｚｅ_ｐｒｅｃｉｓｉｏｎ_ｂｙｔｅｓ_ｍｉｎｕｓ１ ｉｓ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ０ ｔｏ ７)。
【0621】
サンプルストリームＮＡＬユニット３１０１０は、ＮＡＬユニットサイズ(ｓｓｎｕ_ｎａｌ_ｕｎｉｔ_ｓｉｚｅ)を含む。
【0622】
ＮＡＬユニットサイズ(ｓｓｎｕ_ｎａｌ_ｕｎｉｔ_ｓｉｚｅ)は、サブシーケンスＮＡＬユニットのバイト単位内サイズを示す。ｓｓｎｕ_ｎａｌ_ｕｎｉｔ_ｓｉｚｅを示すために使用されるビット数は、(ｓｓｎｈ_ｕｎｉｔ_ｓｉｚｅ_ｐｒｅｃｉｓｉｏｎ_ｂｙｔｅｓ_ｍｉｎｕｓ１＋１)＊８である(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｓｉｚｅ, ｉｎ ｂｙｔｅｓ, ｏｆ ｔｈｅ ｓｕｂｓｅｑｕｅｎｔ ＮＡＬ_ｕｎｉｔ. Ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｂｉｔｓ ｕｓｅｄ ｔｏ ｒｅｐｒｅｓｅｎｔ ｓｓｎｕ_ｎａｌ_ｕｎｉｔ_ｓｉｚｅ ｉｓ ｅｑｕａｌ to (ｓｓｎｈ_ｕｎｉｔ_ｓｉｚｅ_ｐｒｅｃｉｓｉｏｎ_ｂｙｔｅｓ_ｍｉｎｕｓ１＋１)＊８)。
【0623】
各々のサンプルストリームＮＡＬユニットは、アトラスシーケンスパラメータセット(ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＡＳＰＳ)３１０３０、アトラスフレームパラメータセット(ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＡＦＰＳ)３１０４０、１つ又は１つ以上のアトラスタイルグループ情報(ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ ｉｎｆｏｒｍａｔｉｏｎ)３１０５０、及び１つ又は１つ以上のＳＥＩ(Ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ)３１０６０などを含む。それぞれについては以下に説明する。実施例によってアトラスタイルグループはアトラスタイルと等しく呼ばれる。
【0624】
図３２は実施例によるアトラスシーケンスパラメータセット(ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)を示す。
【0625】
図３２はＮＡＬユニットタイプがアトラスシーケンスパラメータである場合、ＮＡＬユニットに含まれるＲＢＳＰデータ構造のシンタックスを示す。
【0626】
各々のサンプルストリームＮＡＬユニットはアトラスパラメータセット、例えば、ＡＳＰＳ、ＡＡＰＳ、ＡＦＰＳ、１つ又は１つ以上のアトラスタイルグループ情報及びＳＥＩのいずれかを含む。
【0627】
ＡＳＰＳは各々のタイルグループ(タイル)ヘッダ内のシンタックス要素として参照されるＡＳＰＳ内のシンタックス要素のコンテンツにより決定されるゼロ又は１つ以上の全体コーディングされたアトラスシーケンス(ＣＡＳｓ)に適用されるシンタックス要素を含む。
【0628】
ＡＳＰＳは以下の要素を含む。
【0629】
ＡＳＰＳアトラスシーケンスパラメータセットＩＤ(ａｓｐｓ_ａｔｌａｓ_ｓｅｑｕｅｎｃｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：他のシンタックス要素による参照のためのアトラスシーケンスパラメータセットのための識別子を提供する。
【0630】
ＡＳＰＳフレーム幅(ａｓｐｓ_ｆｒａｍｅ_ｗｉｄｔｈ)：現在アトラスに対する整数のルーマサンプルの観点でアトラスフレームの幅を示す(ｉｎｄｉｃａｔｅｓ ｔｈｅ ａｔｌａｓ ｆｒａｍｅ ｗｉｄｔｈ ｉｎ ｔｅｒｍｓ ｏｆ ｉｎｔｅｇｅｒ ｌｕｍａ ｓａｍｐｌｅｓ ｆｏｒ ｔｈｅ ｃｕｒｒｅｎｔ ａｔｌａｓ)。
【0631】
ＡＳＰＳフレーム高さ(ａｓｐｓ_ｆｒａｍｅ_ｈｅｉｇｈｔ)：現在アトラスに対する整数のルーマサンプルの観点でアトラスフレームの高さを示す(ｉｎｄｉｃａｔｅｓ ｔｈｅ ａｔｌａｓ ｆｒａｍｅ ｈｅｉｇｈｔ ｉｎ ｔｅｒｍｓ ｏｆ ｉｎｔｅｇｅｒ ｌｕｍａ ｓａｍｐｌｅｓ ｆｏｒ ｔｈｅ ｃｕｒｒｅｎｔ ａｔｌａｓ)。
【0632】
ＡＳＰＳログパッチパッキングブロックサイズ(ａｓｐｓ_ｌｏｇ２_ｐａｔｃｈ_ｐａｃｋｉｎｇ_ｂｌｏｃｋ_ｓｉｚｅ)：アトラス内パッチの水平及び垂直位置のために使用される変数ＰａｔｃｈＰａｃｋｉｎｇＢｌｏｃｋＳｉｚｅの値を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｔｈｅ ｖａｒｉａｂｌｅ ＰａｔｃｈＰａｃｋｉｎｇＢｌｏｃｋＳｉｚｅ, ｔｈａｔ ｉｓ ｕｓｅｄ ｆｏｒ ｔｈｅ ｈｏｒｉｚｏｎｔａｌ ａｎｄ ｖｅｒｔｉｃａｌ ｐｌａｃｅｍｅｎｔ ｏｆ ｔｈｅ ｐａｔｃｈｅｓ ｗｉｔｈｉｎ ｔｈｅ ａｔｌａｓ)。
【0633】
ＡＳＰＳログマックスアトラスフレームオーダーカウントｌｓｂ(ａｓｐｓ_ｌｏｇ２_ｍａｘ_ａｔｌａｓ_ｆｒａｍｅ_ｏｒｄｅｒ_ｃｎｔ_ｌｓｂ_ｍｉｎｕｓ４)：アトラスフレームオーダーカウントのための復号プロセス内で使用される変数ＭａｘＡｔｌａｓＦｒｍＯｒｄｅｒＣｎｔＬｓｂの変数を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｔｈｅ ｖａｒｉａｂｌｅ ＭａｘＡｔｌａｓＦｒｍＯｒｄｅｒＣｎｔＬｓｂ ｔｈａｔ ｉｓ ｕｓｅｄ ｉｎ ｔｈｅ ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓ ｆｏｒ ｔｈｅ ａｔｌａｓ ｆｒａｍｅ ｏｒｄｅｒ ｃｏｕｎｔ)。
【0634】
ＡＳＰＳマックス復号アトラスフレームバッファリング(ａｓｐｓ_ｍａｘ_ｄｅｃ_ａｔｌａｓ_ｆｒａｍｅ_ｂｕｆｆｅｒｉｎｇ_ｍｉｎｕｓ１)：この値に１を加えると、アトラスフレームバッファー記憶装置に対する復号されたアトラスフレームの最大値が要求されるサイズを示す(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｍａｘｉｍｕｍ ｒｅｑｕｉｒｅｄ ｓｉｚｅ ｏｆ ｔｈｅ ｄｅｃｏｄｅｄ ａｔｌａｓ ｆｒａｍｅ ｂｕｆｆｅｒ ｆｏｒ ｔｈｅ ＣＡＳ ｉｎ ｕｎｉｔｓ ｏｆ ａｔｌａｓ ｆｒａｍｅ ｓｔｏｒａｇｅ ｂｕｆｆｅｒｓ)。
【0635】
ＡＳＰＳ長期参照アトラスフレームフラグ(ａｓｐｓ_ｌｏｎｇ_ｔｅｒｍ_ｒｅｆ_ａｔｌａｓ_ｆｒａｍｅｓ_ｆｌａｇ)：この値が０であると、ＣＡＳ内のコーディングされたアトラスフレームのインター予測のために使用される長期参照アトラスフレームがないことを示す。この値が１であると、長期参照アトラスフレームがＣＡＳ内の１つ又は１つ以上のコーディングされたアトラスフレームのインター予測を利用できることを示す(ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｎｏ ｌｏｎｇ ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ａｔｌａｓ ｆｒａｍｅ ｉｓ ｕｓｅｄ ｆｏｒ ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｏｆ ａｎｙ ｃｏｄｅｄ ａｔｌａｓ ｆｒａｍｅ ｉｎ ｔｈｅ ＣＡＳ. ａｓｐｓ_ｌｏｎｇ_ｔｅｒｍ_ｒｅｆ_ａｔｌａｓ_ｆｒａｍｅｓ_ｆｌａｇ ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｌｏｎｇ ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ａｔｌａｓ ｆｒａｍｅｓ ｍａｙ ｂｅ ｕｓｅｄ ｆｏｒ ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｏｆ ｏｎｅ ｏｒ ｍｏｒｅ ｃｏｄｅｄ ａｔｌａｓ ｆｒａｍｅｓ ｉｎ ｔｈｅ ＣＡＳ)。
【0636】
ＡＳＰＳ参照アトラスフレームリスト数(ａｓｐｓ_ｎｕｍ_ｒｅｆ_ａｔｌａｓ_ｆｒａｍｅ_ｌｉｓｔｓ_ｉｎ_ａｓｐｓ)：アトラスシーケンスパラメータセットに含まれた参照リスト構造(ｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ(ｒｌｓＩｄｘ))シンタックス構造の数を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｔｈｅ ｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ(ｒｌｓＩｄｘ) ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅｓ ｉｎｃｌｕｄｅｄ ｉｎ ｔｈｅ ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)。
【0637】
ＡＳＰＳ参照アトラスフレームリスト数(ａｓｐｓ_ｎｕｍ_ｒｅｆ_ａｔｌａｓ_ｆｒａｍｅ_ｌｉｓｔｓ_ｉｎ_ａｓｐｓ)だけ参照リスト構造(ｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ(ｉ))がアトラスシーケンスパラメータセット内に含まれる。
【0638】
ＡＳＰＳエイトオリエンテーションフラグ(ａｓｐｓ_ｕｓｅ_ｅｉｇｈｔ_ｏｒｉｅｎｔａｔｉｏｎｓ_ｆｌａｇ)：この値が０であると、インデックスＩを有するフレーム内のインデックスＪを有するパッチのパッチオリエンテーションインデックス(ｐｄｕ_ｏｒｉｅｎｔａｔｉｏｎ_ｉｎｄｅｘ[ｉ][ｊ])が０～１(含み)の範囲内であることを示す。この値が１であると、インデックスＩを有するフレーム内のインデックスＪを有するパッチのためのパッチオリエンテーションインデックス(ｐｄｕ_ｏｒｉｅｎｔａｔｉｏｎ_ｉｎｄｅｘ[ｉ][ｊ])が０～７(含み)の範囲であることを示す(ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｅ ｐａｔｃｈ ｏｒｉｅｎｔａｔｉｏｎ ｉｎｄｅｘ ｆｏｒ ａ ｐａｔｃｈ ｗｉｔｈ ｉｎｄｅｘ ｊ ｉｎ ａ ｆｒａｍｅ ｗｉｔｈ ｉｎｄｅｘ ｉ, ｐｄｕ_ｏｒｉｅｎｔａｔｉｏｎ_ｉｎｄｅｘ[ｉ][ｊ], ｉｓ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ０ ｔｏ １, ｉｎｃｌｕｓｉｖｅ. ａｓｐｓ_ｕｓｅ_ｅｉｇｈｔ_ｏｒｉｅｎｔａｔｉｏｎｓ_ｆｌａｇ ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｅ ｐａｔｃｈ ｏｒｉｅｎｔａｔｉｏｎ ｉｎｄｅｘ ｆｏｒ ａ ｐａｔｃｈ ｗｉｔｈ ｉｎｄｅｘ ｊ ｉｎ ａ ｆｒａｍｅ ｗｉｔｈ ｉｎｄｅｘ ｉ, ｐｄｕ_ｏｒｉｅｎｔａｔｉｏｎ_ｉｎｄｅｘ[ｉ][ｊ], ｉｓ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ０ ｔｏ ７, ｉｎｃｌｕｓｉｖｅ)。
【0639】
プロジェクションパッチ存在フラグ(ａｓｐｓ_４５ｄｅｇｒｅｅ_ｐｒｏｊｅｃｔｉｏｎ_ｐａｔｃｈ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：この値が０であると、パッチプロジェクション情報が現在アトラスタイルグループに対してシグナリングされないことを示す。この値が１であると、パッチプロジェクション情報が現在アトラスタイルグループに対してシグナリングされることを示す(Ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｅ ｐａｔｃｈ ｐｒｏｊｅｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ｎｏｔ ｓｉｇｎａｌｌｅｄ ｆｏｒ ｔｈｅ ｃｕｒｒｅｎｔ ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ. ａｓｐｓ_４５ｄｅｇｒｅｅ_ｐｒｏｊｅｃｔｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇ ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｅ ｐａｔｃｈ ｐｒｏｊｅｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ｓｉｇｎａｌｌｅｄ ｆｏｒ ｔｈｅ ｃｕｒｒｅｎｔ ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ)。
【0640】
タイプ(ａｔｇｈ_ｔｙｐｅ)がスキップタイル(ＳＫＩＰ_ＴＩＬＥ_ＧＲＰ)ではない場合、以下の要素がアトラスタイルグループ(又はタイル)ヘッダに含まれる。
【0641】
ＡＳＰＳ垂直軸制限量子化有効フラグ(ａｓｐｓ_ｎｏｒｍａｌ_ａｘｉｓ_ｌｉｍｉｔｓ_ｑｕａｎｔｉｚａｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ)：この値が１であると、量子化パラメータがパッチデータユニット、統合パッチデータユニット又はインターパッチデータユニットの垂直軸関連要素を量子化するために使用され、シグナリングされることを示す。この値が０であると、パッチデータユニット、統合パッチデータユニット又はインターパッチデータユニットの垂直軸関連要素上に量子化が適用されないことを示す(ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒｓ ｓｈａｌｌ ｂｅ ｓｉｇｎａｌｌｅｄ ａｎｄ ｕｓｅｄ ｆｏｒ ｑｕａｎｔｉｚｉｎｇ ｔｈｅ ｎｏｒｍａｌ ａｘｉｓ ｒｅｌａｔｅｄ ｅｌｅｍｅｎｔｓ ｏｆ ａ ｐａｔｃｈ ｄａｔａ ｕｎｉｔ, ａ ｍｅｒｇｅ ｐａｔｃｈ ｄａｔａ ｕｎｉｔ, ｏｒ ａｎ ｉｎｔｅｒ ｐａｔｃｈ ｄａｔａ ｕｎｉｔ. Ｉｆ ａｓｐｓ_ｎｏｒｍａｌ_ａｘｉｓ_ｌｉｍｉｔｓ_ｑｕａｎｔｉｚａｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ ０, ｔｈｅｎ ｎｏ ｑｕａｎｔｉｚａｔｉｏｎ ｉｓ ａｐｐｌｉｅｄ ｏｎ ａｎｙ ｎｏｒｍａｌ ａｘｉｓ ｒｅｌａｔｅｄ ｅｌｅｍｅｎｔｓ ｏｆ ａ ｐａｔｃｈ ｄａｔa ｕｎｉｔ, ａ ｍｅｒｇｅ ｐａｔｃｈ ｄａｔａ ｕｎｉｔ, ｏｒ ａｎ ｉｎｔｅｒ ｐａｔｃｈ ｄａｔａ ｕｎｉｔ)。
【0642】
ａｓｐｓ_ｎｏｒｍａｌ_ａｘｉｓ_ｌｉｍｉｔｓ_ｑｕａｎｔｉｚａｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが１であると、ａｔｇｈ_ｐｏｓ_ｍｉｎ_ｚ_ｑｕａｎｔｉｚｅｒがアトラスタイルグループ(又はタイル)ヘッダに含まれる。
【0643】
ＡＳＰＳ垂直軸マックスデルタ値有効フラグ(ａｓｐｓ_ｎｏｒｍａｌ_ａｘｉｓ_ｍａｘ_ｄｅｌｔａ_ｖａｌｕｅ_ｅｎａｂｌｅｄ_ｆｌａｇ)：この値が１であると、インデックスＪを有するフレームのインデックスＩを有するパッチのジオメトリ情報内に存在し得る垂直軸の最大値公称シフト値が各パッチデータユニット、統合パッチデータユニット又はインターパッチデータユニットに対するビットストリーム内に指示されることを示す。この値が０であると、インデックスＪを有するフレーム内のインデックスＩを有するパッチのジオメトリ情報内に存在し得る垂直軸の最大値公称シフト値が各パッチデータユニット、統合パッチデータユニット又はインターパッチデータユニットに対するビットストリーム内に指示されないことを示す(ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｅ ｍａｘｉｍｕｍ ｎｏｍｉｎａｌ ｓｈｉｆｔ ｖａｌｕｅ ｏｆ ｔｈｅ ｎｏｒｍａｌ ａｘｉｓ ｔｈａｔ ｍａｙ ｂｅ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ｇｅｏｍｅｔｒｙ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ａ ｐａｔｃｈ ｗｉｔｈ ｉｎｄｅｘ ｉ ｉｎ ａ ｆｒａｍｅ ｗｉｔｈ ｉｎｄｅｘ ｊ ｗｉｌｌ ｂｅ ｉｎｄｉｃａｔｅｄ ｉｎ ｔｈｅ ｂｉｔｓｔｒｅａｍ ｆｏｒ ｅａｃｈ ｐａｔｃｈ ｄａｔａ ｕｎｉｔ, ａ ｍｅｒｇｅ ｐａｔｃｈ ｄａｔａ ｕｎｉｔ, ｏｒ ａｎ ｉｎｔｅｒ ｐａｔｃｈ ｄａｔａ ｕｎｉｔ. Ｉｆ ａｓｐｓ_ｎｏｒｍａｌ_ａｘｉｓ_ｍａｘ_ｄｅｌｔａ_ｖａｌｕｅ_ｅｎａｂｌｅｄ_ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ ０ ｔｈｅＮ ｔｈｅ ｍａｘｉｍｕｍ ｎｏｍｉｎａｌ Ｓｈｉｆｔ ｖａｌｕｅ ｏｆ ｔｈｅ ｎｏｒｍａｌ ａｘｉｓ ｔｈａｔ ｍａｙ ｂｅ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ｇｅｏｍｅｔｒｙ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ａ ｐａｔｃｈ ｗｉｔｈ ｉｎｄｅｘ ｉ ｉｎ ａ ｆｒａｍｅ ｗｉｔｈ ｉｎｄｅｘ ｊ ｓｈａｌｌ ｎｏｔ ｂｅ ｂｅ ｉｎｄｉｃａｔｅｄ ｉｎ ｔｈｅ ｂｉｔｓｔｒｅａｍ ｆｏｒ ｅａｃｈ ｐａｔｃｈ ｄａｔａ ｕｎｉｔ, ａ ｍｅｒｇｅ ｐａｔｃｈ ｄａｔａ ｕｎｉｔ, ｏｒ ａｎ ｉｎｔｅｒ ｐａｔｃｈ ｄａｔａ ｕｎｉｔ)。
【0644】
ａｓｐｓ_ｎｏｒｍａｌ_ａｘｉｓ_ｍａｘ_ｄｅｌｔａ_ｖａｌｕｅ_ｅｎａｂｌｅｄ_ｆｌａｇが１であると、ａｔｇｈ_ｐｏｓ_ｄｅｌｔａ_ｍａｘ_ｚ_ｑｕａｎｔｉｚｅｒがアトラスタイルグループ(又はタイル)ヘッダに含まれる。
【0645】
ＡＳＰＳ除去重複ポイント有効フラグ(ａｓｐｓ_ｒｅｍｏｖｅ_ｄｕｐｌｉｃａｔｅ_ｐｏｉｎｔ_ｅｎａｂｌｅｄ_ｆｌａｇ)：この値が１であると、重複ポイントが行インデックスマップから他のポイントと同一の２Ｄ及び３Ｄジオメトリ座標を有するポイントであるところで、重複ポイントが現在アトラスに対して再構成されないことを示す。この値が０であると、全てのポイントが再構成されることを示す(ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｄｕｐｌｉｃａｔｅｄ ｐｏｉｎｔｓ ａｒｅ ｎｏｔ ｅｃｏｎｓｔｒｕｃｔｅｄ ｆｏｒ ｔｈｅ ｃｕｒｒｅｎｔ ａｔｌａｓ, ｗｈｅｒｅ ａ ｄｕｐｌｉｃａｔｅｄ ｐｏｉｎｔ ｉｓ ａ ｐｏｉｎｔ ｗｉｔｈ ｔｈｅ ｓａｍｅ ２Ｄ ａｎｄ ３Ｄ ｇｅｏｍｅｔｒｙ ｃｏｏｒｄｉｎａｔｅｓ ａｓ ａｎｏｔｈｅｒ ｐｏｉｎｔ ｆｒｏｍ ａ Ｌｏｗｅｒ ｉｎｄｅｘ ｍａｐ. ａｓｐｓ_ｒｅｍｏｖｅ_ｄｕｐｌｉｃａｔｅ_ｐｏｉｎｔ_ｅｎａｂｌｅｄ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ａｌｌ ｐｏｉｎｔｓ ａｒｅ ｒｅｃｏｎｓｔｒｕｃｔｅｄ)。
【0646】
ＡＳＰＳマックス復号アトラスフレームバッファリング(ａｓｐｓ_ｍａｘ_ｄｅｃ_ａｔｌａｓ_ｆｒａｍｅ_ｂｕｆｆｅｒｉｎｇ_ｍｉｎｕｓ１)：この値に１を加えると、アトラスフレームバッファー記憶装置のユニット内のＣＡＳのための復号されたアトラスフレームバッファーの最大値要求サイズを示す(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｍａｘｉｍｕｍ ｒｅｑｕｉｒｅｄ ｓｉｚｅ ｏｆ ｔｈｅ ｄｅｃｏｄｅｄ ａｔｌａｓ ｆｒａｍｅ ｂｕｆｆｅｒ ｆｏｒ ｔｈｅ ＣＡＳ ｉｎ ｕｎｉｔｓ ｏｆ ａｔｌａｓ ｆｒａｍｅ ｓｔｏｒａｇｅ ｂｕｆｆｅｒｓ)。
【0647】
ＡＳＰＳピクセルデインターリービングフラグ(ａｓｐｓ_ｐｉｘｅｌ_ｄｅｉｎｔｅｒｌｅａｖｉｎｇ_ｆｌａｇ)この値が１であると、現在アトラスのための復号されたジオメトリ及び特質ビデオが２つのマップから空間的にインターリービングされたピクセルを含むことを示す。この値が０であると、現在アトラスに対応する復号されたジオメトリ及び特質ビデオがただシングルマップからピクセルを含むことを示す(ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ｄｅｃｏｄｅｄ ｇｅｏｍｅｔｒｙ ａｎｄ ａｔｔｒｉｂｕｔｅ ｖｉｄｅｏｓ ｆｏｒ ｔｈｅ ｃｕｒｒｅｎｔ ａｔｌａｓ ｃｏｎｔａｉｎ ｓｐａｔｉａｌｌｙ ｉｎｔｅｒｌｅａｖｅｄ ｐｉｘｅｌｓ ｆｒｏｍ ｔｗｏ ｍａｐｓ. ａｓｐｓ_ｐｉｘｅｌ_ｄｅｉｎｔｅｒｌｅａｖｉｎｇ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ｄｅｃｏｄｅｄ ｇｅｏｍｅｔｒｙ ａｎｄ ａｔｔｒｉｂｕｔｅ ｖｉｄｅｏｓ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ｔｈｅ ｃｕｒｒｅｎｔ ａｔｌａｓ ｃｏｎｔａｉｎ ｐｉｘｅｌＳ ｆｒｏｍ ｏｎｌｙ ａ ｓｉｎｇｌｅ ｍａｐ)。
【0648】
ＡＳＰＳパッチ優先順位オーダーフラグ(ａｓｐｓ_ｐａｔｃｈ_ｐｒｅｃｅｄｅｎｃｅ_ｏｒｄｅｒ_ｆｌａｇ)：この値が１であると、現在アトラスに対するパッチ優先順位(優先度)が復号順と同一であることを示す。この値が０であると、現在アトラスに対するパッチ優先順位が復号順の逆であることを示す(ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｐａｔｃｈ ｐｒｅｃｅｄｅｎｃｅ ｆｏｒ ｔｈｅ ｃｕｒｒｅｎｔ ａｔｌａｓ ｉｓ ｔｈｅ ｓａｍｅ ａｓ ｔｈｅ ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ. ａｓｐｓ_ｐａｔｃｈ_ｐｒｅｃｅｄｅｎｃｅ_ｏｒｄｅｒ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｐａｔｃｈ ｐｒｅｃｅｄｅｎｃｅ ｆｏｒ ｔｈｅ ｃｕｒｒｅｎｔ ａｔｌａｓ ｉｓ ｔｈｅ ｒｅｖｅｒｓｅ ｏｆ ｔｈｅ ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ)。
【0649】
ＡＳＰＳパッチサイズ量子化器存在フラグ(ａｓｐｓ_ｐａｔｃｈ_ｓｉｚｅ_ｑｕａｎｔｉｚｅｒ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：この値が１であると、パッチサイズ量子化パラメータがアトラスタイルグループヘッダ又はアトラスタイルヘッダに存在することを示す。この値が０であると、パッチサイズ量子化パラメータが存在しないことを示す(ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ｐａｔｃｈ ｓｉｚｅ ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒｓ ａｒｅ ｐｒｅｓｅｎｔ ｉｎ ａｎ ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ ｈｅａｄｅｒ. Ｉｆ ａｓｐｓ_ｐａｔｃｈ_ｓｉｚｅ_ｑｕａｎｔｉｚｅｒ_ｐｒｅｓｅｎｔ_ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ ０, ｔｈｅｎ ｔｈｅ ｐａｔｃｈ ｓｉｚｅ ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒｓ ａｒｅ ｎｏｔ ｐｒｅｓｅｎｔ)。
【0650】
ａｓｐｓ_ｐａｔｃｈ_ｓｉｚｅ_ｑｕａｎｔｉｚｅｒ_ｐｒｅｓｅｎｔ_ｆｌａｇが１であると、ａｔｇｈ_ｐａｔｃｈ_ｓｉｚｅ_ｘ_ｉｎｆｏ_ｑｕａｎｔｉｚｅｒ及びａｔｇｈ_ｐａｔｃｈ_ｓｉｚｅ_ｙ_ｉｎｆｏ_ｑｕａｎｔｉｚｅｒがアトラスタイルグループ(又はタイル)ヘッダに含まれる。
【0651】
深さのための強化占有マップフラグ(ａｓｐｓ_ｅｎｈａｎｃｅｄ_ｏｃｃｕｐａｎｃｙ_ｍａｐ_ｆｏｒ_ｄｅｐｔｈ_ｆｌａｇ)：この値が１であると、現在アトラスに対する復号された占有マップビデオが２つの深さマップの間の中間深さの位置が占められているかどうかに関する情報を含むことを示す。この値が０であると、復号された占有マップビデオが２つの深さマップの間の中間深さの位置が占められているかどうかに関する情報を含まないことを示す(Ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ｄｅｃｏｄｅｄ ｏｃｃｕｐａｎｃｙ ｍａｐ ｖｉｄｅｏ ｆｏｒ ｔｈｅ ｃｕｒｒｅｎｔ ａｔｌａｓ ｃｏｎｔａｉｎＳ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｌａｔｅｄ ｔｏ ｗｈｅｔｈｅｒ Ｉｎｔｅｒｍｅｄｉａｔｅ ｄｅｐｔｈ ｐｏｓｉｔｉｏｎｓ ｂｅｔｗｅｅｎ ｔｗｏ ｄｅｐｔｈ ｍａｐｓ ａｒｅ ｏｃｃｕｐｉｅｄ. ａｓｐｓ_ｅｏｍ_ｐａｔｃｈ_ｅｎａｂｌｅｄ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ｄｅｃｏｄｅｄ ｏｃｃｕｐａｎｃｙ ｍａｐ ｖｉｄｅｏ ｄｏｅｓ ｎｏｔ ｃｏｎｔａｉｎ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｌａｔｅｄ ｔｏ ｗｈｅｔｈｅｒ Ｉｎｔｅｒｍｅｄｉａｔｅ ｄｅｐｔｈ ｐｏｓｉｔｉｏｎＳ ｂｅｔｗｅｅｎ ｔｗｏ ｄｅｐｔｈ ｍａｐｓ ａｒｅ ｏｃｃｕｐｉｅｄ)。
【0652】
ａｓｐｓ_ｅｎｈａｎｓｅｄ_ｏｃｃｕｐａｎｃｙ_ｍａｐ_ｆｏｒ_ｄｅｐｔｈ_ｆｌａｇ又はａｓｐｓ_ｐｏｉｎｔ_ｌｏｃａｌ_ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが１であると、ａｓｐｓ_ｍａｐ_ｃｏｕｎｔ_ｍｉｎｕｓ１がａｓｐｓに含まれる。
【0653】
ＡＳＰＳポイントローカル復元有効フラグ(ａｓｐｓ_ｐｏｉｎｔ_ｌｏｃａｌ_ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ)：この値が１であると、ポイントローカル再構成モード情報が現在アトラスに対するビットストリーム内に存在することを示す。この値が０であると、ポイントローカル再構成モードに関連する情報が現在アトラスに対するビットストリーム内に存在しないことを示す(ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｐｏｉｎｔ ｌｏｃａｌ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｏｄｅ ｉｎｆｏｒｍａｔｉｏｎ ｍａｙ ｂｅ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ｂｉｔｓｔｒｅａｍ ｆｏｒ ｔｈｅ ｃｕｒｒｅｎｔ ａｔｌａｓ. ａｓｐｓ_ｐｏｉｎｔ_ｌｏｃａｌ_ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｎｏ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｌａｔｅｄ ｔｏ ｔｈｅ ｐｏｉｎｔ ｌｏｃａｌ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｏｄｅ ｉｓ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ｂｉｔｓｔｒｅａｍ ｆｏｒ ｔｈｅ ｃｕｒｒｅｎｔ ａｔｌａｓ)。
【0654】
ＡＳＰＳポイントローカル復元有効フラグ(ａｓｐｓ_ｐｏｉｎｔ_ｌｏｃａｌ_ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ)が１であると、ＡＳＰＳポイントローカル再構成情報(ａｓｐｓ_ｐｏｉｎｔ_ｌｏｃａｌ_ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ_ｉｎｆｏｒｍａｔｉｏｎ)がアトラスシーケンスパラメータセットに伝達される。
【0655】
ＡＳＰＳマップカウント(ａｓｐｓ_ｍａｐ_ｃｏｕｎｔ_ｍｉｎｕｓ１)：この値に１を加えると、現在アトラスに対するジオメトリ及び特質データを符号化するために使用されるマップ数を示す(ｐｌｕｓ １ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｍａｐｓ ｔｈａｔ ｍａｙ ｂｅ ｕｓｅｄ ｆｏｒ ｅｎｃｏｄｉｎｇ ｔｈｅ ｇｅｏｍｅｔｒｙ ａｎｄ ａｔｔｒｉｂｕｔｅ ｄａｔａ ｆｏｒ ｔｈｅ ｃｕｒｒｅｎｔ ａｔｌａｓ)。
【0656】
ＡＳＰＳ強化占有マップ固定ビットカウント(ａｓｐｓ_ｅｎｈａｎｃｅｄ_ｏｃｃｕｐａｎｃｙ_ｍａｐ_ｆｉｘ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１)：この値に１を加えると、ＥＯＭコードワードのビットサイズを示す(ｐｌｕｓ １ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｓｉｚｅ ｉｎ ｂｉｔｓ ｏｆ ｔｈｅ ＥＯＭ ｃｏｄｅ ｗｏｒｄ)。
【0657】
ａｓｐｓ_ｅｎｈａｎｃｅｄ_ｏｃｃｕｐａｎｃｙ_ｍａｐ_ｆｏｒ_ｄｅｐｔｈ_ｆｌａｇ及びａｓｐｓ_ｍａｐ_ｃｏｕｎｔ_ｍｉｎｕｓ１が０を有すると、ａｓｐｓ_ｅｎｈａｎｃｅｄ_ｏｃｃｕｐａｎｃｙ_ｍａｐ_ｆｉｘ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１がＡＳＰＳに含まれる。
【0658】
ＡＳＰＳ表現厚さ(ａｓｐｓ_ｓｕｒｆａｃｅ_ｔｈｉｃｋｎｅｓｓ_ｍｉｎｕｓ１)：この値に１を加えると、ａｓｐｓ_ｐｉｘｅｌ_ｄｅｉｎｔｅｒｌｅａｖｉｎｇ_ｆｌａｇ(又はａｓｐｓ_ｐｉｘｅｌ_ｉｎｔｅｒｌｅａｖｉｎｇ_ｆｌａｇ)又はａｓｐｓ_ｐｏｉｎｔ_ｌｏｃａｌ_ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ_ｆｌａｇが１である場合、明確にコーディングされた深さ値及び挿入された深さ値の間の最大絶対値の差を示す(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｍａｘｉｍｕｍ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ ｂｅｔｗｅｅｎ ａｎ ｅｘｐｌｉｃｉｔｌｙ ｃｏｄｅｄ ｄｅｐｔｈ ｖａｌｕｅ ａｎｄ ｉｎｔｅｒｐｏｌａｔｅｄ ｄｅｐｔｈ ｖａｌｕｅ ｗｈｅｎ ａｓｐｓ_ｐｉｘｅｌ_ｄｅｉｎｔｅｒｌｅａｖｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇ ｏｒ ａｓｐｓ_ｐｏｉｎｔ_ｌｏｃａｌ_ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ １)。
【0659】
ａｓｐｓ_ｐｉｘｅｌ_ｉｎｔｅｒｌｅａｖｉｎｇ_ｆｌａｇ又はａｓｐｓ_ｐｏｉｎｔ_ｌｏｃａｌ_ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが１であると、ＡＳＰＳ表面厚さがＡＳＰＳに含まれる。
【0660】
ａｓｐｓ_ｐｉｘｅｌ_ｉｎｔｅｒｌｅａｖｉｎｇ_ｆｌａｇはａｓｐｓ_ｍａｐ_ｐｉｘｅｌ_ｄｅｉｎｔｅｒｌｅａｖｉｎｇ_ｆｌａｇに対応する。
【0661】
ＡＳＰＳマップピクセルデインターリービングフラグ(ａｓｐｓ_ｍａｐ_ｐｉｘｅｌ_ｄｅｉｎｔｅｒｌｅａｖｉｎｇ_ｆｌａｇ[ｉ])：この値が１であると、現在アトラス内のインデックスｉを有するマップに対応する復号されたジオメトリ及び特質ビデオが空間的に２つのマップに対応するインターリービングされたピクセルを含むことを示す。この値が０であると、現在アトラス内のインデックスｉを有するマップに対応する復号されたジオメトリ及び特質ビデオがシングルマップに対応するピクセルを含むことを示す。存在しない場合、この値は０に推論される(Ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｄｅｃｏｄｅｄ ｇｅｏｍｅｔｒｙ ａｎｄ ａｔｔｒｉｂｕｔｅ ｖｉｄｅｏｓ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ｍａｐ ｗｉｔｈ ｉｎｄｅｘ ｉ ｉｎ ｔｈｅ ｃｕｒｒｅｎｔ ａｔｌａｓ ｃｏｎｔａｉｎ ｓｐａｔｉａｌｌｙ ｉｎｔｅｒｌｅａｖｅｄ ｐｉｘｅｌｓ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ｔｗｏ ｍａｐｓ. ａｓｐｓ_ｍａｐ_ｐｉｘｅｌ_ｄｅｉｎｔｅｒｌｅａｖｉｎｇ_ｆｌａｇ[ｉ] ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｄｅｃｏｄｅｄ ｇｅｏｍｅｔｒｙ ａｎｄ ａｔｔｒｉｂｕｔｅ ｖｉｄｅｏｓ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ｍａｐ ｉｎｄｅｘ ｉ ｉｎ ｔｈｅ ｃｕｒｒｅｎｔ ａｔｌａｓ ｃｏｎｔａｉｎ ｐｉｘｅｌｓ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａ ｓｉｎｇｌｅ ｍａｐ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ａｓｐｓ_ｍａｐ_ｐｉｘｅｌ_ｄｅｉｎｔｅｒｌｅａｖｉｎｇ_ｆｌａｇ[ｉ] ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ０)。
【0662】
ＡＳＰＳポイントローカル復元有効フラグ(ａｓｐｓ_ｐｏｉｎｔ_ｌｏｃａｌ_ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ)：この値が１であると、ポイントローカル再構成モード情報が現在アトラスに対するビットストリーム内に存在することを示す。この値が０であると、ポイントローカル再構成モードに関連する情報が現在アトラスに対するビットストリーム内に存在しないことを示す(Ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｐｏｉｎｔ ｌｏｃａｌ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｏｄｅ ｉｎｆｏｒｍａｔｉｏｎ ｍａｙ ｂｅ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ｂｉｔｓｔｒｅａｍ ｆｏｒ ｔｈｅ ｃｕｒｒｅｎｔ ａｔｌａｓ. ａｓｐｓ_ｐｏｉｎｔ_ｌｏｃａｌ_ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｎｏ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｌａｔｅｄ ｔｏ ｔｈｅ ｐｏｉｎｔ ｌｏｃａｌ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｏｄｅ ｉｓ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ｂｉｔｓｔｒｅａｍ ｆｏｒ ｔｈｅ ｃｕｒｒｅｎｔ ａｔｌａｓ)。
【0663】
ＡＳＰＳ ｖｕｉパラメータ存在フラグ(ａｓｐｓ_ｖｕｉ_ｐａｒａｍｅｔｅｒｓ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：この値が１であると、ｖｕｉ_ｐａｒａｍｅｔｅｒｓ( )シンタックス構造が存在することを示す。この値が０であると、ｖｕｉ_ｐａｒａｍｅｔｅｒｓ( )シンタックス構造が存在しないことを示す(ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｅ ｖｕｉ_ｐａｒａｍｅｔｅｒｓ( ) ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ ｉｓ ｐｒｅｓｅｎｔ. ａｓｐｓ_ｖｕｉ_ｐａｒａｍｅｔｅｒｓ_ｐｒｅｓｅｎｔ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｅ ｖｕｉ_ｐａｒａｍｅｔｅｒｓ( ) ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ ｉｓ ｎｏｔ ｐｒｅｓｅｎｔ)。
【0664】
ＡＳＰＳ拡張フラグ(ａｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｆｌａｇ)：この値が０であると、ａｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇシンタックス要素がＡＳＰＳ ＲＢＳＰシンタックス構造内に存在しないことを示す(ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｎｏ ａｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ａｒｅ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ＡＳＰＳ ＲＢＳＰ ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ)。
【0665】
ＡＳＰＳ拡張データフラグ(ａｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇ)：拡張のためのデータがＡＳＰＳ ＲＢＳＰシンタックス構造内に含まれることを示す。
【0666】
終了ビット(ｒｂｓｐ_ｔｒａｉｌｉｎｇ_ｂｉｔｓ)：ＲＢＳＰデータの終わりを指示するためのストップビット(ｓｔｏｐ ｂｉｔ)である１を追加した後、バイトアライン(ｂｙｔｅ ａｌｉｇｎ)のために０で残りのビットを満たすために使用される。
【0667】
図３３は実施例によるアトラスフレームパラメータセット(ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)を示す。
【0668】
図３３はＮＡＬユニットタイプがＮＡＬ_ＡＦＰＳである場合、ＮＡＬユニットに含まれたアトラスフレームパラメータセット(Ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)のシンタックスである。
【0669】
アトラスフレームパラメータセット(ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔ, ＡＦＰＳ)は、ゼロ又は１つ以上の全体コーディングされたアトラスフレームに適用されるシンタックス要素を含むシンタックス構造を含む。
【0670】
ＡＦＰＳアトラスフレームパラメータセットＩＤ(ａｆｐｓ_ａｔｌａｓ_ｆｒａｍｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：他のシンタックス要素による参照のためのアトラスフレームパラメータセットを識別する。ＡＦＰＳのアトラスフレームパラメータセットによりシンタックス要素により参照できる識別子を提供する。
【0671】
ＡＦＰＳアトラスシーケンスパラメータセットＩＤ(ａｆｐｓ_ａｔｌａｓ_ｓｅｑｕｅｎｃｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：アクティブアトラスシーケンスパラメータセットの値を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ａｓｐｓ_ａｔｌａｓ_ｓｅｑｕｅｎｃｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｆｏｒ ｔｈｅ ａｃｔｉｖｅ ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)。
【0672】
アトラスフレームタイル情報(ａｔｌａｓ_ｆｒａｍｅ_ｔｉｌｅ_ｉｎｆｏｒｍａｔｉｏｎ( )：図３７を参照しながら説明する。
【0673】
ＡＦＰＳ参照インデックス数(ａｆｐｓ_ｎｕｍ_ｒｅｆ_ｉｄｘ_ｄｅｆａｕｌｔ_ａｃｔｉｖｅ_ｍｉｎｕｓ１)：この値に１を加えると、ａｔｇｈ_ｎｕｍ_ｒｅｆ_ｉｄｘ_ａｃｔｉｖｅ_ｏｖｅｒｒｉｄｅ_ｆｌａｇが０であるタイルグループ又はタイルに対する変数ＮｕｍＲｅｆＩｄｘＡｃｔｉｖｅの推論値を示す(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｉｎｆｅｒｒｅｄ ｖａｌｕｅ ｏｆ ｔｈｅ ｖａｒｉａｂｌｅ ＮｕｍＲｅｆＩｄｘＡｃｔｉｖｅ ｆｏｒ ｔｈｅ ｔｉｌｅ ｇｒｏｕｐ ｗｉｔｈ ａｔｇｈ_ｎｕｍ_ｒｅｆ_ｉｄｘ_ａｃｔｉｖｅ_ｏｖｅｒｒｉｄｅ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０)。
【0674】
ＡＦＰＳ追加変数(ａｆｐｓ_ａｄｄｉｔｉｏｎａｌ_ｌｔ_ａｆｏｃ_ｌｓｂ_ｌｅｎ)：アトラスフレームリストの参照のための復号プロセス内で使用される変数ＭａｘＬｔＡｔｌａｓＦｒｍＯｒｄｅｒＣｎｔＬｓｂの値を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｔｈｅ ｖａｒｉａｂｌｅ ＭａｘＬｔＡｔｌａｓＦｒｍＯｒｄｅｒＣｎｔＬｓｂ ｔｈａｔ ｉｓ ｕｓｅｄ ｉｎ ｔｈｅ ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓ ｆｏｒ ｒｅｆｅｒｅｎｃｅ ａｔｌａｓ ｆｒａｍｅ)。
【0675】
ＡＦＰＳ ２ＤポジションＸビットカウント(ａｆｐｓ_２ｄ_ｐｏｓ_ｘ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１)：この値に１を加えると、ａｆｐｓ_ａｔｌａｓ_ｆｒａｍｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄを称するアトラスタイルグループ内のインデックスｊを有するパッチのｐｄｕ_２ｄ_ｐｏｓ_ｘ[ｊ]の固定ビット表現内のビット数を示す(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｂｉｔｓ ｉｎ ｔｈｅ ｆｉｘｅｄ-ｌｅｎｇｔｈ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｐｄｕ_２ｄ_ｐｏｓ_ｘ[ｊ] ｏｆ ｐａｔｃｈ ｗｉｔｈ ｉｎｄｅｘ ｊ ｉｎ ａｎ ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ ｔｈａｔ ｒｅｆｅｒｓ ｔｏ ａｆｐｓ_ａｔｌａｓ_ｆｒａｍｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)。
【0676】
ＡＦＰＳ ２ＤポジションＹビットカウント(ａｆｐｓ_２ｄ_ｐｏｓ_ｙ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１)：この値に１を加えると、ａｆｐｓ_ａｔｌａｓ_ｆｒａｍｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄを称するアトラスタイルグループ内のインデックスＪを有するパッチのｐｄｕ_２ｄ_ｐｏｓ_ｙ[ｊ]の固定長さ表現内のビット数を示す(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｂｉｔｓ ｉｎ ｔｈｅ ｆｉｘｅｄ-ｌｅｎｇｔｈ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｐｄｕ_２ｄ_ｐｏｓ_ｙ[ｊ] ｏｆ ｐａｔｃｈ ｗｉｔｈ ｉｎｄｅｘ ｊ ｉｎ ａｎ ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ ｔｈａｔ ｒｅｆｅｒｓ ｔｏ ａｆｐｓ_ａｔｌａｓ_ｆｒａｍｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)。
【0677】
ＡＦＰＳ ３ＤポジションＸビットカウント(ａｆｐｓ_３ｄ_ｐｏｓ_ｘ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１)：この値に１を加えると、ａｆｐｓ_ａｔｌａｓ_ｆｒａｍｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄを称するアトラスタイルグループ又はアトラスタイル内のインデックスＪを有するパッチのｐｄｕ_３ｄ_ｐｏｓ_ｘ[ｊ]の固定長さ表現内のビット数を示す(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｂｉｔｓ ｉｎ ｔｈｅ ｆｉｘｅｄ－ｌｅｎｇｔｈ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｐｄｕ_３ｄ_ｐｏｓ_ｘ[ｊ] ｏｆ ｐａｔｃｈ ｗｉｔｈ ｉｎｄｅｘ ｊ ｉｎ ａｎ ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ ｔｈａｔ ｒｅｆｅｒｓ ｔｏ ａｆｐｓ_ａｔｌａｓ_ｆｒａｍｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)。
【0678】
ＡＦＰＳ ３ＤポジションＹビットカウント(ａｆｐｓ_３ｄ_ｐｏｓ_ｙ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１)：この値に１を加えると、ａｆｐｓ_ａｔｌａｓ_ｆｒａｍｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄを称するアトラスタイルグループ又はアトラスタイル内のインデックスＪを有するパッチのｐｄｕ_３ｄ_ｐｏｓ_ｙ[ｊ]の固定長さ表現内のビット数を示す(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｂｉｔｓ ｉｎ ｔｈｅ ｆｉｘｅｄ－ｌｅｎｇｔｈ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｐｄｕ_３ｄ_ｐｏｓ_ｙ[ｊ] ｏｆ ｐａｔｃｈ ｗｉｔｈ ｉｎｄｅｘ ｊ ｉｎ ａｎ ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ ｔｈａｔ ｒｅｆｅｒｓ ｔｏ ａｆｐｓ_ａｔｌａｓ_ｆｒａｍｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)。
【0679】
ＡＦＰＳ ＬＯＤビットカウント(ａｆｐｓ_ｌｏｄ_ｂｉｔ_ｃｏｕｎｔ)：ａｆｐｓ_ａｔｌａｓ_ｆｒａｍｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄを称するアトラスタイルグループ内のインデックスｊを有するパッチのｐｄｕ_ｌｏｄ[ｊ]の固定した長さ表現内のビット数を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｂｉｔｓ ｉｎ ｔｈｅ Ｆｉｘｅｄ－ｌｅｎｇｔｈ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｐｄｕ_ｌｏｄ[ｊ] ｏｆ ｐａｔｃｈ ｗｉｔｈ ｉｎｄｅｘ ｊ ｉｎ ａｎ ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ ｔｈａｔ ｒｅｆｅｒｓ ｔｏ ａｆｐｓ_ａｔｌａｓ_ｆｒａｍｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)。
【0680】
ＡＦＰＳオーバーライドＥＯＭフラグ(ａｆｐｓ_ｏｖｅｒｒｉｄｅ_ｅｏｍ_ｆｏｒ_ｄｅｐｔｈ_ｆｌａｇ)：この値が１であると、ａｆｐｓ_ｅｏｍ_ｎｕｍｂｅｒ_ｏｆ_ｐａｔｃｈ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１及びａｆｐｓ_ｅｏｍ_ｍａｘ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１の値が明示的にビットストリーム内に存在することを示す。この値が０であると、ａｆｐｓ_ｅｏｍ_ｎｕｍｂｅｒ_ｏｆ_ｐａｔｃｈ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１及びａｆｐｓ_ｅｏｍ_ｍａｘ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１の値が暗示的に誘導されることを示す(ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ｖａｌｕｅｓ ｏｆ ａｆｐｓ_ｅｏｍ_ｎｕｍｂｅｒ_ｏｆ_ｐａｔｃｈ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１ ａｎｄ ａｆｐｓ_ｅｏｍ_ｍａｘ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１ ｉｓ ｅｘｐｌｉｃｉｔｌｙ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ｂｉｔｓｔｒｅａｍ. ａｆｐｓ_ｏｖｅｒｒｉｄｅ_ｅｏｍ_ｆｏｒ_ｄｅｐｔｈ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ｖａｌｕｅｓ ｏｆ ａｆｐｓ_ｅｏｍ_ｎｕｍｂｅｒ_ｏｆ_ｐａｔｃｈ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１ ａｎｄ ａｆｐｓ_ｅｏｍ_ｍａｘ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１ ａｒｅ ｉｍｐｌｉｃｉｔｌｙ ｄｅｒｉｖｅｄ)。
【0681】
ＡＦＰＳ ＥＯＭパッチビットカウント数(ａｆｐｓ_ｅｏｍ_ｎｕｍｂｅｒ_ｏｆ_ｐａｔｃｈ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１)：この値に１を加えると、現在ＥＯＭ特質パッチ内の連関するジオメトリパッチの数を示すために使用されるビットの数を示す(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｂｉｔｓ ｕｓｅｄ ｔｏ ｒｅｐｒｅｓｅｎｔ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｇｅｏｍｅｔｒｙ ｐａｔｃｈｅｓ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｔｈｅ ｃｕｒｒｅｎｔ ＥＯＭ ａｔｔｒｉｂｕｔｅ ｐａｔｃｈ)。
【0682】
ＡＦＰＳ ＥＯＭマックスビットカウント(ａｆｐｓ_ｅｏｍ_ｍａｘ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１)：現在ＥＯＭ特質パッチに連関するジオメトリパッチごとのＥＯＭポイントの数を示すために使用されるビットの数を示す(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｂｉｔｓ ｕｓｅｄ ｔｏ ｒｅｐｒｅｓｅｎｔ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ＥＯＭ ｐｏｉｎｔｓ ｐｅｒ ｇｅｏｍｅｔｒｙ ｐａｔｃｈ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｔｈｅ ｃｕｒｒｅｎｔ ＥＯＭ ａｔｔｒｉｂｕｔｅ ｐａｔｃｈ)。
【0683】
ＡＦＰＳ ＲＡＷ ３Ｄポジションビットカウント明示モードフラグ(ａｆｐｓ_ｒａｗ_３ｄ_ｐｏｓ_ｂｉｔ_ｃｏｕｎｔ_ｅｘｐｌｉｃｉｔ_ｍｏｄｅ_ｆｌａｇ)：この値が１であると、ｒｐｄｕ_３ｄ_ｐｏｓ_ｘ、ｒｐｄｕ_３ｄ_ｐｏｓ_ｙ及びｒｐｄｕ_３ｄ_ｐｏｓ_ｚに対するビットカウントがａｆｐｓ_ａｔｌａｓ_ｆｒａｍｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄを称するアトラスタイルグループヘッダ内に明示的にコーディングされることを示す(Ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ｂｉｔ ｃｏｕｎｔ ｆｏｒ ｒｐｄｕ_３ｄ_ｐｏｓ_ｘ、ｒｐｄｕ_３ｄ_ｐｏｓ_ｙ、ａｎｄ ｒｐｄｕ_３ｄ_ｐｏｓ_ｚ ｉｓ ｅｘｐｌｉｃｉｔｅｌｙ ｃｏｄｅｄ ｉｎ ａｎ ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ ｈｅａｄｅｒ ｔｈａｔ ｒｅｆｅｒｓ ｔｏ ａｆｐｓ_ａｔｌａｓ_ｆｒａｍｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)。
【0684】
ＡＦＰＳ拡張フラグ(ａｆｐｓ_ｅｘｔｅｎｓｉｏｎ_ｆｌａｇ)：この値が０であると、ＡＦＰＳ ＲＢＳＰシンタックス構造内のａｆｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇシンタックス要素が存在しないことを示す(ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｎｏ ａｆｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ａｒｅ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ＡＦＰＳ ＲＢＳＰ ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ)。
【0685】
ＡＦＰＳ延長データフラグ(ａｆｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇ)：拡張関連データを含む。
【0686】
図３４は実施例によるアトラスフレームタイル情報(ａｔｌａｓ_ｆｒａｍｅ_ｔｉｌｅ_ｉｎｆｏｒｍａｔｉｏｎ)を示す。
【0687】
【0688】
ＡＦＴＩアトラスフレーム内にシングルタイルフラグ(ａｆｔｉ_ｓｉｎｇｌｅ_ｔｉｌｅ_ｉｎ_ａｔｌａｓ_ｆｒａｍｅ_ｆｌａｇ)：この値が１であると、ＡＦＰＳを参照する各々のアトラスフレーム内にただ１つのタイルが存在することを示す。この値が０であると、ＡＦＰＳを参照する各々のアトラスフレーム内に１つ以上のタイルが存在することを示す(ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｅｒｅ ｉｓ ｏｎｌｙ ｏｎｅ ｔｉｌｅ ｉｎ ｅａｃｈ ａｔｌａｓ ｆｒａｍｅ ｒｅｆｅｒｒｉｎｇ ｔｏ ｔｈｅ ＡＦＰＳ. ａｆｔｉ_ｓｉｎｇｌｅ_ｔｉｌｅ_ｉｎ_ａｔｌａｓ_ｆｒａｍｅ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｅｒｅ ｉｓ ｍｏｒｅ ｔｈａｎ ｏｎｅ ｔｉｌｅ ｉｎ ｅａｃｈ ａｔｌａｓ ｆｒａｍｅ ｒｅｆｅｒｒｉｎｇ ｔお ｔｈｅ ＡＦＰＳ)。
【0689】
ＡＦＴＩ均一タイル空間フラグ(ａｆｔｉ_ｕｎｉｆｏｒｍ_ｔｉｌｅ_ｓｐａｃｉｎｇ_ｆｌａｇ)：この値が１であると、タイル列及び行の境界がアトラスフレームに対して均一に分配され、ａｆｔｉ_ｔｉｌｅ_ｃｏｌｓ_ｗｉｄｔｈ_ｍｉｎｕｓ１及びａｆｔｉ_ｔｉｌｅ_ｒｏｗｓ_ｈｅｉｇｈｔ_ｍｉｎｕｓ１、シンタックス要素をそれぞれ使用してシグナリングされることを示す。この値が０であると、タイル列及び行の境界がアトラスフレームに対して均一に分配されるか或いは分配されず、ａｆｔｉ_ｎｕｍ_ｔｉｌｅ_ｃｏｌｕｍｎｓ_ｍｉｎｕｓ１、ａｆｔｉ_ｎｕｍ_ｔｉｌｅ_ｒｏｗｓ_ｍｉｎｕｓ１、ａ ｌｉｓｔ ｏｆ ｓｙｎｔａｘ ｅｌｅｍｅｎｔ ｐａｉｒｓ ａｆｔｉ_ｔｉｌｅ_ｃｏｌｕｍｎ_ｗｉｄｔｈ_ｍｉｎｕｓ１[ｉ]、ａｆｔｉ_ｔｉｌｅ_ｒｏｗ_ｈｅｉｇｈｔ_ｍｉｎｕｓ１[ｉ]などのシンタックス要素を使用してシグナリングされることを示す。
【0690】
ＡＦＴＩタイル列の幅(ａｆｔｉ_ｔｉｌｅ_ｃｏｌｓ_ｗｉｄｔｈ_ｍｉｎｕｓ１)：この値に１を加えると、ａｆｔｉ_ｕｎｉｆｏｒｍ_ｔｉｌｅ_ｓｐａｃｉｎｇ_ｆｌａｇが１である場合、６４サンプル単位内のアトラスフレームの最右側タイル列を除いたタイル列の幅を示す(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｗｉｄｔｈ ｏｆ ｔｈｅ ｔｉｌｅ ｃｏｌｕｍｎｓ ｅｘｃｌｕｄｉｎｇ ｔｈｅ ｒｉｇｈｔ－ｍｏｓｔ ｔｉｌｅ ｃｏｌｕｍｎ ｏｆ ｔｈｅ ａｔｌａｓ ｆｒａｍｅ ｉｎ ｕｎｉｔｓ ｏｆ ６４ ｓａｍｐｌｅｓ ｗｈｅｎ ａｆｔｉ_ｕｎｉｆｏｒｍ_ｔｉｌｅ_ｓｐａｃｉｎｇ_ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ １)。
【0691】
ＡＦＴＩタイル行の高さ(ａｆｔｉ_ｔｉｌｅ_ｒｏｗｓ_ｈｅｉｇｈｔ_ｍｉｎｕｓ１)：この値に１を加えると、ａｆｔｉ_ｕｎｉｆｏｒｍ_ｔｉｌｅ_ｓｐａｃｉｎｇ_ｆｌａｇが１である場合、６４サンプル単位内のアトラスフレームの底タイル行を除いたタイル行の高さを示す(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｈｅｉｇｈｔ ｏｆ ｔｈｅ ｔｉｌｅ ｒｏｗｓ ｅｘｃｌｕｄｉｎｇ ｔｈｅ ｂｏｔｔｏｍ ｔｉｌｅ ｒｏｗ ｏｆ ｔｈｅ ａｔｌａｓ ｆｒａｍｅ ｉｎ ｕｎｉｔｓ ｏｆ ６４ ｓａｍｐｌｅｓ ｗｈｅｎ ａｆｔｉ_ｕｎｉｆｏｒｍ_ｔｉｌｅ_ｓｐａｃｉｎｇ_ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ １)。
【0692】
ａｆｔｉ_ｕｎｉｆｏｒｍ_ｔｉｌｅ_ｓｐａｃｉｎｇ_ｆｌａｇが１ではないと、以下の要素がアトラスフレームタイル情報に含まれる。
【0693】
ＡＦＴＩタイル列の数(ａｆｔｉ_ｎｕｍ_ｔｉｌｅ_ｃｏｌｕｍｎｓ_ｍｉｎｕｓ１)：この値に１を加えると、ａｆｔｉ_ｕｎｉｆｏｒｍ_ｔｉｌｅ_ｓｐａｃｉｎｇ_ｆｌａｇが０である場合、アトラスフレームを分割するタイル列の数を示す(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｔｉｌｅ ｃｏｌｕｍｎｓ ｐａｒｔｉｔｉｏｎｉｎｇ ｔｈｅ ａｔｌａｓ ｆｒａｍｅ ｗｈｅｎ ａｆｔｉ_ｕｎｉｆｏｒｍ_ｔｉｌｅ_ｓｐａｃｉｎｇ_ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ ０)。
【0694】
ＡＦＴＩタイル行の数(ａｆｔｉ_ｎｕｍ_ｔｉｌｅ_ｒｏｗｓ_ｍｉｎｕｓ１)：この値に１を加えると、ａｆｔｉ_ｕｎｉｆｏｒｍ_ｔｉｌｅ_ｓｐａｃｉｎｇ_ｆｌａｇが０である場合、アトラスフレームを分割するタイル行の数を示す(Ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｔｉｌｅ ｒｏｗｓ ｐａｒｔｉｔｉｏｎｉｎｇ ｔｈｅ ａｔｌａｓ ｆｒａｍｅ ｗｈｅｎ ｐｔｉ_ｕｎｉｆｏｒｍ_ｔｉｌｅ_ｓｐａｃｉｎｇ_ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ ０)。
【0695】
ＡＦＴＩタイル列の幅(ａｆｔｉ_ｔｉｌｅ_ｃｏｌｕｍｎ_ｗｉｄｔｈ_ｍｉｎｕｓ１[ｉ])：この値に１を加えると、６４サンプル単位内のＩ番目のタイル列の幅を示す(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｗｉｄｔｈ ｏｆ ｔｈｅ ｉ－ｔｈ ｔｉｌｅ ｃｏｌｕｍｎ in ｕｎｉｔｓ ｏｆ ６４ ｓａｍｐｌｅｓ)。
【0696】
ａｆｔｉ_ｎｕｍ_ｔｉｌｅ_ｃｏｌｕｍｎｓ_ｍｉｎｕｓ１値だけＡＦＴＩタイル列の幅がアトラスフレームタイル情報に含まれる。
【0697】
ＡＦＴＩタイル行の高さ(ａｆｔｉ_ｔｉｌｅ_ｒｏｗ_ｈｅｉｇｈｔ_ｍｉｎｕｓ１[ｉ])：この値に１を加えると、６４サンプル単位内のＩ番目のタイル行の高さを示す(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｈｅｉｇｈｔ ｏｆ ｔｈｅ ｉ－ｔｈ ｔｉｌｅ ｒｏｗ ｉｎ ｕｎｉｔｓ ｏｆ ６４ ｓａｍｐｌｅｓ)。
【0698】
ａｆｔｉ_ｎｕｍ_ｔｉｌｅ_ｒｏｗｓ_ｍｉｎｕｓ１値だけＡＦＴＩタイル行の高さがアトラスフレームタイル情報に含まれる。
【0699】
ＡＦＴＩタイルグループごとにシングルタイルフラグ(ａｆｔｉ_ｓｉｎｇｌｅ_ｔｉｌｅ_ｐｅｒ_ｔｉｌｅ_ｇｒｏｕｐ_ｆｌａｇ)：この値が１であると、ＡＦＰＳを示す各タイルグループ(又はタイル)が一つのタイルを含むことを示す。この値が０であると、このＡＦＰＳを示すタイルグループ(又はタイル)が一つのタイル以上を含めることを示す。存在しない場合、この値は１に推論される。(ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｅａｃｈ ｔｉｌｅ ｇｒｏｕｐ ｔｈａｔ ｒｅｆｅｒｓ ｔｏ ｔｈｉｓ ＡＦＰＳ ｉｎｃｌｕｄｅｓ ｏｎｅ ｔｉｌｅ. ａｆｔｉ_ｓｉｎｇｌｅ_ｔｉｌｅ_ｐｅｒ_ｔｉｌｅ_ｇｒｏｕｐ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ａ ｔｉｌｅ ｇｒｏｕｐ ｔｈａｔ ｒｅｆｅｒｓ ｔｏ ｔｈｉｓ ＡＦＰＳ ｍａｙ ｉｎｃｌｕｄｅ ｍｏｒｅ ｔｈａｎ ｏｎｅ ｔｉｌｅ．Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ, ｔｈｅ ｖａｌｕｅ ｏｆ ａｆｔｉ_ｓｉｎｇｌｅ_ｔｉｌｅ_ｐｅｒ_ｔｉｌｅ_ｇｒｏｕｐ_ｆｌａｇ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｅｑｕａｌ ｔｏ １)。
【0700】
ａｆｔｉ_ｎｕｍ_ｔｉｌｅ_ｇｒｏｕｐｓ_ｉｎ_ａｔｌａｓ_ｆｒａｍｅ_ｍｉｎｕｓ１に基づいて、ＡＦＴＩタイルインデックス(ａｆｔｉ_ｔｉｌｅ_ｉｄｘ[ｉ])がアトラスフレームタイル情報に含まれる。
【0701】
ＡＦＴＩタイルグループごとにシングルタイルフラグ(ａｆｔｉ_ｓｉｎｇｌｅ_ｔｉｌｅ_ｐｅｒ_ｔｉｌｅ_ｇｒｏｕｐ_ｆｌａｇ)が０であると、ａｆｔｉ_ｎｕｍ_ｔｉｌｅ_ｇｒｏｕｐｓ_ｉｎ_ａｔｌａｓ_ｆｒａｍｅ_ｍｉｎｕｓ１がアトラスフレームタイル情報内に伝達される。
【0702】
ＡＦＴＩアトラスフレーム内タイルグループ(又はタイル)の数(ａｆｔｉ_ｎｕｍ_ｔｉｌｅ_ｇｒｏｕｐｓ_ｉｎ_ａｔｌａｓ_ｆｒａｍｅ_ｍｉｎｕｓ１)：ＡＦＰＳを示す各々のアトラスフレーム内のタイルグループ(又はタイル)の数を示す。ａｆｔｉ_ｎｕｍ_ｔｉｌｅ_ｇｒｏｕｐｓ_ｉｎ_ａｔｌａｓ_ｆｒａｍｅ_ｍｉｎｕｓ１の値は０ないしＮｕｍＴｉｌｅｓＩｎＡｔｌａｓＦｒａｍｅ－１(含み)の範囲を有する。存在せず、ａｆｔｉ_ｓｉｎｇｌｅ_ｔｉｌｅ_ｐｅｒ_ｔｉｌｅ_ｇｒｏｕｐ_ｆｌａｇが１である場合は、ａｆｔｉ_ｎｕｍ_ｔｉｌｅ_ｇｒｏｕｐｓ_ｉｎ_ａｔｌａｓ_ｆｒａｍｅ_ｍｉｎｕｓ１の値はＮｕｍＴｉｌｅｓＩｎＡｔｌａｓＦｒａｍｅ－１に推論される(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｔｉｌｅ ｇｒｏｕｐｓ ｉｎ ｅａｃｈ ａｔｌａｓ ｆｒａｍｅ ｒｅｆｅｒｒｉｎｇ ｔｏ ｔｈｅ ａｆｐｓ、Ｔｈｅ ｖａｌｕｅ ｏｆ ａｆｔｉ_ｎｕｍ_ｔｉｌｅ_ｇｒｏｕｐｓ_ｉｎ_ａｔｌａｓ_ｆｒａｍｅ_ｍｉｎｕｓ１ ｓｈａｌｌ ｂｅ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ０ ｔｏ ＮｕｍＴｉｌｅｓＩｎＡｔｌａｓＦｒａｍｅ - １、ｉｎｃｌｕｓｉｖｅ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ ａｎｄ ａｆｔｉ_ｓｉｎｇｌｅ_ｔｉｌｅ_ｐｅｒ_ｔｉｌｅ_ｇｒｏｕｐ_ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ １、ｔｈｅ ｖａｌｕｅ ｏｆ ａｆｔｉ_ｎｕｍ_ｔｉｌｅ_ｇｒｏｕｐｓ_ｉｎ_ａｔｌａｓ_ｆｒａｍｅ_ｍｉｎｕｓ１ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｅｑｕａｌ ｔｏ ＮｕｍＴｉｌｅｓＩｎＡｔｌａｓＦｒａｍｅ－１)。
【0703】
ａｆｔｉ_ｎｕｍ_ｔｉｌｅ_ｇｒｏｕｐｓ_ｉｎ_ａｔｌａｓ_ｆｒａｍｅ_ｍｉｎｕｓ１値だけ以下の要素がアトラスフレームタイル情報に含まれる。
【0704】
ＡＦＴＩ左上部タイルインデックス(ａｆｔｉ_ｔｏｐ_ｌｅｆｔ_ｔｉｌｅ_ｉｄｘ[ｉ])：Ｉ番目のタイルグループ(又はタイル)の左上部に位置するタイルのタイルインデックスを示す。ａｆｔｉ_ｔｏｐ_ｌｅｆｔ_ｔｉｌｅ_ｉｄｘ[ｉ]の値はｊに等しくないｉ値に対してａｆｔｉ_ｔｏｐ_ｌｅｆｔ_ｔｉｌｅ_ｉｄｘ[ｊ]の値に等しくない。存在しない場合、ａｆｔｉ_ｔｏｐ_ｌｅｆｔ_ｔｉｌｅ_ｉｄｘ[ｉ]の値はｉに等しいと推論される。ａｆｔｉ_ｔｏｐ_ｌｅｆｔ_ｔｉｌｅ_ｉｄｘ[ｉ]シンタックス要素の長さは、Ｃｅｉｌ(Ｌｏｇ２(ＮｕｍＴｉｌｅｓＩｎＡｔｌａｓＦｒａｍｅ)ビットである(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｔｉｌｅ ｉｎｄｅｘ ｏｆ ｔｈｅ ｔｉｌｅ ｌｏｃａｔｅｄ ａｔ ｔｈｅ ｔｏｐ－ｌｅｆｔ ｃｏｒｎｅｒ ｏｆ ｔｈｅ ｉ－ｔｈ ｔｉｌｅ ｇｒｏｕｐ. Ｔｈｅ ｖａｌｕｅ ｏｆ ａｆｔｉ_ｔｏｐ_ｌｅｆｔ_ｔｉｌｅ_ｉｄｘ[ｉ] ｉｓ ｎｏｔ ｂｅ ｅｑｕａｌ ｔｏ ｔｈｅ ｖａｌｕｅ ｏｆ ａｆｔｉ_ｔｏｐ_ｌｅｆｔ_ｔｉｌｅ_ｉｄｘ[ｊ] ｆｏｒ ａｎｙ ｉ ｎｏｔ ｅｑｕａｌ ｔｏ ｊ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ａｆｔｉ_ｔｏｐ_ｌｅｆｔ_ｔｉｌｅ_ｉｄｘ[ｉ] ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｅｑｕａｌ ｔｏ い. Ｔｈｅ ｌｅｎｇｔｈ ｏｆ ｔｈｅ ａｆｔｉ_ｔｏｐ_ｌｅｆｔ_ｔｉｌｅ_ｉｄｘ[ｉ] ｓｙｎｔａｘ ｅｌｅｍｅｎｔ ｉｓ Ｃｅｉｌ(Ｌｏｇ２(ＮｕｍＴｉｌｅｓＩｎＡｔｌａｓＦｒａｍｅ ) ｂｉｔｓ)。
【0705】
ＡＦＴＩ右下部タイルインデックスデルタ(ａｆｔｉ_ｂｏｔｔｏｍ_ｒｉｇｈｔ_ｔｉｌｅ_ｉｄｘ_ｄｅｌｔａ[ｉ])：ａｆｔｉ_ｔｏｐ_ｌｅｆｔ_ｔｉｌｅ_ｉｄｘ[ｉ]及びＩ番目のタイルグループ(又はタイル)の右下部に位置するタイルのタイルインデックスの間の差を示す。ａｆｔｉ_ｓｉｎｇｌｅ_ｔｉｌｅ_ｐｅｒ_ｔｉｌｅ_ｇｒｏｕｐ_ｆｌａｇが１である場合、ａｆｔｉ_ｂｏｔｔｏｍ_ｒｉｇｈｔ_ｔｉｌｅ_ｉｄｘ_ｄｅｌｔａ[ｉ]の値は０に等しいと推論される。ａｆｔｉ_ｂｏｔｔｏｍ_ｒｉｇｈｔ_ｔｉｌｅ_ｉｄｘ_ｄｅｌｔａ[ｉ]シンタックス要素の長さはＣｅｉｌ(Ｌｏｇ２(ＮｕｍＴｉｌｅｓＩｎＡｔｌａｓＦｒａｍｅ－ａｆｔｉ_ｔｏｐ_ｌｅｆｔ_ｔｉｌｅ_ｉｄｘ[ｉ]))ビットである(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｄｉｆｆｅｒｅｎｃｅ ｂｅｔｗｅｅｎ ｔｈｅ ｔｉｌｅ ｉｎｄｅｘ ｏｆ ｔｈｅ ｔｉｌｅ ｌｏｃａｔｅｄ ａｔ ｔｈｅ ｂｏｔｔｏｍ－ｒｉｇｈｔ ｃｏｒｎｅｒ ｏｆ ｔｈｅ ｉ－ｔｈ ｔｉｌｅ ｇｒｏｕｐ ａｎｄ ａｆｔｉ_ｔｏｐ_ｌｅｆｔ_ｔｉｌｅ_ｉｄｘ[ｉ]. Ｗｈｅｎ ａｆｔｉ_ｓｉｎｇｌｅ_ｔｉｌｅ_ｐｅｒ_ｔｉｌｅ_ｇｒｏｕｐ_ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ １、ｔｈｅ ｖａｌｕｅ ｏｆ ａｆｔｉ_ｂｏｔｔｏｍ_ｒｉｇｈｔ_ｔｉｌｅ_ｉｄｘ_ｄｅｌｔａ[ｉ] ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｅｑｕａｌ ｔｏ ０. Ｔｈｅ ｌｅｎｇｔｈ ｏｆ ｔｈｅ ａｆｔｉ_ｂｏｔｔｏｍ_ｒｉｇｈｔ_ｔｉｌｅ_ｉｄｘ_ｄｅｌｔａ[ｉ] ｓｙｎｔａｘ ｅｌｅｍｅｎｔ ｉｓ Ｃｅｉｌ(Ｌｏｇ２(ＮｕｍＴｉｌｅｓＩｎＡｔｌａｓＦｒａｍｅ - ａｆｔｉ_ｔｏｐ_ｌｅｆｔ_ｔｉｌｅ_ｉｄｘ[ｉ])) ｂｉｔｓ)。
【0706】
ＡＦＴＩシグナリングされるタイルグループＩＤフラグ(ａｆｔｉ_ｓｉｇｎａｌｌｅｄ_ｔｉｌｅ_ｇｒｏｕｐ_ｉｄ_ｆｌａｇ)：この値が１であると、各々のタイルグループ又は各々のタイルに対するタイルグループＩＤ又はタイルＩＤがシグナリングされることを示す(ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｅ ｔｉｌｅ ｇｒｏｕｐ ＩＤ ｆｏｒ ｅａｃｈ ｔｉｌｅ ｇｒｏｕｐ ｉｓ ｓｉｇｎａｌｌｅｄ)。
【0707】
ＡＦＴＩシグナリングされるタイルグループＩＤフラグ(ａｆｔｉ_ｓｉｇｎａｌｌｅｄ_ｔｉｌｅ_ｇｒｏｕｐ_ｉｄ_ｆｌａｇ)が１であると、ａｆｔｉ_ｓｉｇｎａｌｌｅｄ_ｔｉｌｅ_ｇｒｏｕｐ_ｉｄ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１及びａｆｔｉ_ｔｉｌｅ_ｇｒｏｕｐ_ｉｄ[ｉ]がアトラスフレームタイル情報内に伝達される。この値が０であると、タイルグループＩＤがシグナリングされないこともある。
【0708】
ＡＦＴＩシグナリングされるタイルグループＩＤ長さ(ａｆｔｉ_ｓｉｇｎａｌｌｅｄ_ｔｉｌｅ_ｇｒｏｕｐ_ｉｄ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１)：この値に１を加えると、シンタックス要素ａｆｔｉ_ｔｉｌｅ_ｇｒｏｕｐ_ｉｄ[ｉ]を示すために使用されるビットの数を示す。存在する場合、シンタックス要素タイルグループヘッダ又はタイルヘッダ内にａｔｇｈ_ａｄｄｒｅｓｓがあり得る(ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｂｉｔｓ ｕｓｅｄ ｔｏ ｒｅｐｒｅｓｅｎｔ ｔｈｅ ｓｙｎｔａｘ ｅｌｅｍｅｎｔ ａｆｔｉ_ｔｉｌｅ_ｇｒｏｕｐ_ｉｄ[ｉ] ｗｈｅｎ ｐｒｅｓｅｎｔ, ａｎｄ ｔｈｅ ｓｙｎｔａｘ ｅｌｅｍｅｎｔ ａｔｇｈ_ａｄｄｒｅｓｓ ｉｎ ｔｉｌｅ ｇｒｏｕｐ ｈｅａｄｅｒｓ)。
【0709】
ＡＦＴＩタイルグループＩＤ(ａｆｔｉ_ｔｉｌｅ_ｇｒｏｕｐ_ｉｄ[ｉ])：Ｉ番目のタイルグループ(又はタイル)のＩＤを示す。シンタックス要素ａｆｔｉ_ｔｉｌｅ_ｇｒｏｕｐ_ｉｄ[ｉ]の長さはａｆｔｉ_ｓｉｇｎａｌｌｅｄ_ｔｉｌｅ_ｇｒｏｕｐ_ｉｄ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１に１を加えたビットである(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｔｉｌｅ ｇｒｏｕｐ ＩＤ ｏｆ ｔｈｅ ｉ－ｔｈ ｔｉｌｅ ｇｒｏｕｐ. Ｔｈｅ ｌｅｎｇｔｈ ｏｆ ｔｈｅ ａｆｔｉ_ｔｉｌｅ_ｇｒｏｕｐ_ｉｄ[ｉ] ｓｙｎｔａｘ ｅｌｅｍｅｎｔ ｉｓ ａｆｔｉ_ｓｉｇｎａｌｌｅｄ_ｔｉｌｅ_ｇｒｏｕｐ_ｉｄ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１ ＋ １ ｂｉｔｓ)。
【0710】
ａｆｔｉ_ｎｕｍ_ｔｉｌｅ_ｇｒｏｕｐＳ_ｉｎ_ａｔｌａｓ_ｆｒａｍｅ_ｍｉｎｕｓ１値だけＡＦＴＩタイルグループＩＤ(ａｆｔｉ_ｔｉｌｅ_ｇｒｏｕｐ_ｉｄ[ｉ])がアトラスフレームタイル情報に含まれる。
【0711】
図３５は実施例による補足強化情報(Ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ, ＳＥＩ)を示す。
【0712】
【0713】
実施例による受信方法／装置、システムなどはＳＥＩメッセージに基づいてポイントクラウドデータを復号し、復元し、ディスプレイする。
【0714】
ＳＥＩメッセージは各ペイロードタイプ(ｐａｙｌｏａｄＴｙｐｅ)に基づいて、対応するデータをペイロードが含めることを示す。
【0715】
例えば、ペイロードタイプ(ｐａｙｌｏａｄＴｙｐe)が１２であると、ペイロードは３Ｄバウンディングボックス情報(３ｄ_ｂｏｕｄｉｎｇ_ｂｏｘ_ｉｎｆｏ(ｐａｙｌｏａｄＳｉｚｅ))情報を含む。
【0716】
ユニットタイプ(ｐｓｄ_ｕｎｉｔ_ｔｙｐｅ)がプレフィックス(ＰＳＤ_ＰＲＥＦＩＸ_ＳＥＩ)であると、実施例によるＳＥＩ情報はｂｕｆｆｅｒｉｎｇ_ｐｅｒｉｏｄ(ｐａｙｌｏａｄＳｉｚｅ)、ｐｉｃ_ｔｉｍｉｎｇ(ｐａｙｌｏａｄＳｉｚｅ)、ｆｉｌｌｅｒ_ｐａｙｌｏａｄ(ｐａｙｌｏａｄＳｉｚｅ)、ｕｓｅｒ_ｄａｔａ_ｒｅｇｉｓｔｅｒｅｄ_ｉｔｕ_ｔ_ｔ３５(ｐａｙｌｏａｄＳｉｚｅ)、ｕｓｅｒ_ｄａｔａ_ｕｎｒｅｇｉｓｔｅｒｅｄ(ｐａｙｌｏａｄＳｉｚｅ)、ｒｅｃｏｖｅｒｙ_ｐｏｉｎｔ(ｐａｙｌｏａｄＳｉｚｅ)、ｎｏ_ｄｉｓｐｌａｙ(ｐａｙｌｏａｄＳｉｚｅ)、ｔｉｍｅ_ｃｏｄｅ(ｐａｙｌｏａｄＳｉｚｅ)、ｒｅｇｉｏｎａｌ_ｎｅｓｔｉｎｇ(ｐａｙｌｏａｄＳｉｚｅ)、ｓｅｉ_ｍａｎｉｆｅｓｔ(ｐａｙｌｏａｄＳｉｚｅ)、ｓｅｉ_ｐｒｅｆｉｘ_ｉｎｄｉｃａｔｉｏｎ(ｐａｙｌｏａｄＳｉｚｅ)、ｇｅｏｍｅｔｒｙ_ｔｒａｎｓｆｏｒｍａｔｉｏｎ_ｐａｒａｍｓ(ｐａｙｌｏａｄＳｉｚｅ)、３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｉｎｆｏ(ｐａｙｌｏａｄＳｉｚｅ)(図３５などを参照)、３ｄ_ｒｅｇｉｏｎ_ｍａｐｐｉｎｇ(ｐａｙｌｏａｄＳｉｚｅ)(図６６など)、ｒｅｓｅｒｖｅｄ_ｓｅｉ_ｍｅｓｓａｇｅ(ｐａｙｌｏａｄＳｉｚｅ)などを含む。
【0717】
ユニットタイプ(ｐｓｄ_ｕｎｉｔ_ｔｙｐｅ)がサフィックス(ＰＳＤ_ＳＵＦＦＩＸ_ＳＥＩ)であると、実施例によるＳＥＩ情報はｆｉｌｌｅｒ_ｐａｙｌｏａｄ(ｐａｙｌｏａｄＳｉｚｅ)、ｕｓｅｒ_ｄａｔａ_ｒｅｇｉｓｔｅｒｅｄ_ｉｔｕ_ｔ_ｔ３５(ｐａｙｌｏａｄＳｉｚｅ)、ｕｓｅｒ_ｄａｔａ_ｕｎｒｅｇｉｓｔｅｒｅｄ(ｐａｙｌｏａｄＳｉｚｅ)、ｄｅｃｏｄｅｄ_ＰＣＣ_ｈａｓｈ(ｐａｙｌｏａｄＳｉｚｅ)、ｒｅｓｅｒｖｅｄ_ｓｅｉ_ｍｅｓｓａｇｅ(ｐａｙｌｏａｄＳｉｚｅ)などを含む。
【0718】
図３６は実施例による３ＤバウンディングボックスＳＥＩを示す。
【0719】
【0720】
取り消しフラグ(３ｄｂｉ_ｃａｎｃｅｌ_ｆｌａｇ)：この値が１であると、３Ｄバウンディングボックス情報ＳＥＩメッセージがアウトプット順に以前の３Ｄバウンディングボックス情報ＳＥＩメッセージの存在を取り消すことを示す。
【0721】
客体ＩＤ(ｏｂｊｅｃｔ_ｉｄ)：ビットストリーム内に伝達されるポイントクラウド客体／コンテンツの識別子である。
【0722】
バウンディングボックスＸ(３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｘ)：客体の３Ｄバウンディングボックスの原点位置のＸ座標値である。
【0723】
バウンディングボックスＹ(３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｙ)：客体の３Ｄバウンディングボックスの原点位置のＹ座標値である。
【0724】
バウンディングボックスＺ(３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｚ)：客体の３Ｄバウンディングボックスの原点位置のＺ座標値である。
【0725】
バウンディングボックスデルタＸ(３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｚ)：客体のＸ軸上のバウンディングボックスのサイズを示す。
【0726】
バウンディングボックスデルタＹ(３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｄｅｌｔａ_ｙ)：客体のＹ軸上のバウンディングボックスのサイズを示す。
【0727】
バウンディングボックスデルタＺ(３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｄｅｌｔａ_ｚ)：客体のＺ軸上のバウンディングボックスのサイズを示す。
【0728】
図３７は実施例によるボリュメトリックタイリング情報を示す。
【0729】
【0730】
ボリュメトリックタイリング情報ＳＥＩメッセージ(Ｖｏｌｕｍｅｔｒｉｃ ｔｉｌｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ ｍｅｓｓａｇｅ)
【0731】
このＳＥＩメッセージは実施例によるＶ－ＰＣＣデコーダが客体との連関性及び領域の関係及びラベリング、３Ｄ空間及び２Ｄアトラス内領域の関連性を含む復号されたポイントクラウドの異なる特性を避けるために知らせる(Ｔｈｉｓ ＳＥＩ ｍｅｓｓａｇｅ ｉｎｆｏｒｍｓ ａ Ｖ－ＰＣＣ ｄｅｃｏｄｅｒ ａｖｏｉｄ ｄｉｆｆｅｒｅｎｔ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ａ ｄｅｃｏｄｅｄ ｐｏｉｎｔ ｃｌｏｕｄ, ｉｎｃｌｕｄｉｎｇ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｏｆ ａｒｅａｓ ｗｉｔｈｉｎ ａ ２Ｄ ａｔｌａｓ ａｎｄ ｔｈｅ ３Ｄ ｓｐａｃｅ, ｒｅｌａｔｉｏｎｓｈｉｐ ａｎｄ ｌａｂｅｌｉｎｇ ｏｆ ａｒｅａＳ ａｎｄ ａｓｓｏｃｉａｔｉｏｎ ｗｉｔｈ ｏｂｊｅｃｔｓ)。
【0732】
このＳＥＩメッセージの持続範囲は、ビットストリームの残り又は新しいボリュメトリックタイリングＳＥＩメッセージがあるまでである。このＳＥＩメッセージに記述されたただ対応するパラメータが更新される。変更されないか、又はｖｔｉ_ｃａｎｃｅｌ_ｆｌａｇの値が１ではない場合、以前ＳＥＩメッセージからの以前に定義されたパラメータが続いて存在する(Ｔｈｅ ｐｅｒｓｉｓｔｅｎｃｅ ｓｃｏｐｅ ｆｏｒ ｔｈｉｓ ＳＥＩ ｍｅｓｓａｇｅ ｉｓ ｔｈｅ ｒｅｍａｉｎｄｅｒ ｏｆ ｔｈｅ ｂｉｔｓｔｒｅａｍ ｏｒ ｕｎｔｉｌ ａ ｎｅｗ ｖｏｌｕｍｅｔｒｉｃ ｔｉｌｉｎｇ ＳＥＩ ｍｅｓｓａｇｅ ｉｓ ｅｎｃｏｕｎｔｅｒｅｄ. Ｏｎｌｙ ｔｈｅ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｐａｒａｍｅｔｅｒｓ ｓｐｅｃｉｆｉｅｄ ｉｎ ｔｈｅ ＳＥＩ ｍｅｓｓａｇｅ ｉｓ ｕｐｄａｔｅｄ. Ｐｒｅｖｉｏｕｓｌｙ ｄｅｆｉｎｅｄ ｐａｒａｍｅｔｅｒｓ ｆｒｏｍ ａｎ ｅａｒｌｉｅｒ ＳＥＩ ｍｅｓｓａｇｅ ｐｅｒｓｉｓｔ ｉｆ ｎｏｔ ｍｏｄｉｆｉｅｄ ａｎｄ ｉｆ ｔｈｅｖａｌｕｅ ｏｆ ｖｔｉ_ｃａｎｃｅｌ_ｆｌａｇ ｉｓ ｎｏｔ Ｅｑｕａｌ ｔｏ １)。
【0733】
図３８は実施例によるボリュメトリックタイリング情報客体を示す。
【0734】
【0735】
ｖｔｉＯｂｊｅｃｔＬａｂｅｌＰｒｅｓｅｎｔＦｌａｇ、ｖｔｉ３ＤＢｏｕｎｄｉｎｇＢｏｘＰｒｅｓｅｎｔＦｌａｇ、ｖｔｉＯｂｊｅｃｔＰｒｉｏｒｉｔｙＰｒｅｓｅｎｔＦｌａｇ、ｔｉＯｂｊｅｃｔＨｉｄｄｅｎＰｒｅｓｅｎｔＦｌａｇ、ｖｔｉＯｂｊｅｃｔＣｏｌｌｉｓｉｏｎＳｈａｐｅＰｒｅｓｅｎｔＦｌａｇ、ｖｔｉＯｂｊｅｃｔＤｅｐｅｎｄｅｎｃｙＰｒｅｓｅｎｔＦｌａｇなどに基づいて、ボリュメトリックタイリング情報の客体が図３８のような要素を含む。
【0736】
図３９は実施例によるボリュメトリックタイリング情報ラベルを示す。
【0737】
【0738】
取り消しフラグ(ｖｔｉ_ｃａｎｃｅｌ_ｆｌａｇ)：この値が１であると、ボリュメトリックタイリング情報ＳＥＩメッセージがアウトプット順に以前のボリュメトリックタイリング情報ＳＥＩメッセージの存在を取り消すことを示す。ｖｔｉ_ｃａｎｃｅｌ_ｆｌａｇが０であると、ボリュメトリックタイリング情報が図３７のように伴う。
【0739】
客体ラベル存在フラグ(ｖｔｉ_ｏｂｊｅｃｔ_ｌａｂｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：この値が１であると、客体ラベル情報が現在ボリュメトリックタイリング情報ＳＥＩメッセージ内に存在することを示す。この値が０であると、客体ラベル情報が存在しないことを示す。
【0740】
３Ｄバウンディングボックス存在フラグ(ｖｔｉ_３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：この値が１であると、３Ｄバウンディングボックス情報が現在ボリュメトリックタイリング情報ＳＥＩメッセージ内に存在することを示す。この値が０であると、３Ｄバウンディングボックス情報が存在しないことを示す。
【0741】
客体優先順位存在フラグ(ｖｔｉ_ｏｂｊｅｃｔ_ｐｒｉｏｒｉｔｙ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：この値が１であると、現在ボリュメトリックタイリング情報ＳＥＩメッセージ内の客体優先順位情報が存在することを示す。この値が０であると、客体優先順位情報が存在しないことを示す。
【0742】
客体隠し存在フラグ(ｖｔｉ_ｏｂｊｅｃｔ_ｈｉｄｄｅｎ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：この値が１であると、隠し客体情報が現在ボリュメトリックタイリング情報ＳＥＩメッセージ内に存在することを示す。この値が０であると、隠し客体情報が存在しないことを示す。
【0743】
客体衝突模様存在フラグ(ｖｔｉ_ｏｂｊｅｃｔ_ｃｏｌｌｉｓｉｏｎ_ｓｈａｐｅ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：この値が１であると、客体衝突情報が現在ボリュメトリックタイリング情報ＳＥＩメッセージ内に存在することを示す。この値が０であると、客体衝突模様情報が存在しないことを示す。
【0744】
客体従属存在フラグ(ｖｔｉ_ｏｂｊｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：この値が１であると、客体従属情報が現在ボリュメトリックタイリング情報ＳＥＩメッセージ内に存在することを示す。この値が０であると、客体従属情報が存在しないことを示す。
【0745】
客体ラベル言語存在フラグ(ｖｔｉ_ｏｂｊｅｃｔ_ｌａｂｅｌ_ｌａｎｇｕａｇｅ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：この値が１であると、客体ラベル言語情報が現在ボリュメトリックタイリング情報ＳＥＩメッセージ内に存在することを示す。この値が０であると、客体ラベル言語情報が存在しないことを示す。
【0746】
ゼロ相当のビット(ｖｔｉ_ｂｉｔ_ｅｑｕａｌ_ｔｏ_ｚｅｒｏ)：この値は０に等しい。
【0747】
客体ラベル言語(ｖｔｉ_ｏｂｊｅｃｔ_ｌａｂｅｌ_ｌａｎｇｕａｇｅ)：０ｘ００と同一のｎｕｌｌ終端バイトの後に言語タグを含む。ｖｔｉ_ｏｂｊｅｃｔ_ｌａｂｅｌ_ｌａｎｇｕａｇｅシンタックス要素の長さはｎｕｌｌ終端バイトを除いて２５５バイトに等しいか又は少ない。
【0748】
客体ラベル数(ｖｔｉ_ｎｕｍ_ｏｂｊｅｃｔ_ｌａｂｅｌ_ｕｐｄａｔｅｓ)：現在ＳＥＩにより更新される客体ラベルの数を示す。
【0749】
ラベルインデックス(ｖｔｉ_ｌａｂｅｌ_ｉｄｘ[ｉ])：更新されるｉ番目のラベルのラベルインデックスを示す。
【0750】
ラベル取り消しフラグ(ｖｔｉ_ｌａｂｅｌ_ｃａｎｃｅｌ_ｆｌａｇ)：この値が１であると、ｖｔｉ_ｌａｂｅｌ_ｉｄｘ[ｉ]と同一のインデックスを有するラベルが取り消され、空いているストリングで同様にセットされることを示す。この値が０であると、ｖｔｉ_ｌａｂｅｌ_ｉｄｘ[ｉ]と同一のインデックスを有するラベルがこの要素に従う情報により更新されることを示す。
【0751】
ゼロ相当のビット(ｖｔｉ_ｂｉｔ_ｅｑｕａｌ_ｔｏ_ｚｅｒｏ)：この値は０に等しい。
【0752】
ラベル(ｖｔｉ_ｌａｂｅｌ[ｉ])：ｉ番目のラベルのラベルを示す。ｖｔｉ_ｌａｂｅｌ[ｉ]シンタックス要素の長さはｎｕｌｌ終端バイトを除いた２５５バイトに等しいか又は少ない。
【0753】
バウンディングボックススケール(ｖｔｉ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｌｏｇ２)：客体に対して記述される２Ｄバウンディングボックスパラメータに適用されるスケールを示す。
【0754】
３Ｄバウンディングボックススケール(ｖｔｉ_３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｌｏｇ２)：客体に対して記述される３Ｄバウンディングボックスパラメータに適用されるスケールを示す。
【0755】
３Ｄバウンディングボックス精度(ｖｔｉ_３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｃｉｓｉｏｎ_ｍｉｎｕｓ８)：この値に８を加えると、客体に対して記述される３Ｄバウンディングボックスパラメータの精度を示す(ｐｌｕｓ ８ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｐｒｅｃｉｓｉｏｎ ｏｆ ｔｈｅ ３Ｄ ｂｏｕｎｄｉｎｇ ｂｏｘ ｐａｒａｍｅｔｅｒｓ ｔｈａｔ ｍａｙ ｂｅ ｓｐｅｃｉｆｉｅｄ ｆｏｒ ａｎ ｏｂｊｅｃｔ)。
【0756】
客体数(ｖｔｉ_ｎｕｍ_ｏｂｊｅｃｔ_ｕｐｄａｔｅｓ)：現在ＳＥＩにより更新される客体の数を示す。
【0757】
客体数(ｖｔｉ_ｎｕｍ_ｏｂｊｅｃｔ_ｕｐｄａｔｅｓ)だけ客体関連情報がボリュメトリックタイリング情報客体(図３８を参照)に含まれる。
【0758】
客体インデックス(ｖｔｉ_ｏｂｊｅｃｔ_ｉｄｘ[ｉ])：更新されるｉ番目の客体の客体インデックスを示す。
【0759】
客体取り消しフラグ(ｖｔｉ_ｏｂｊｅｃｔ_ｃａｎｃｅｌ_ｆｌａｇ[ｉ])：この値が１であると、ｉと同一のインデックスを有する客体が取り消され、変数ＯｂｊｅｃｔＴｒａｃｋｅｄ[ｉ]が０に設定されることを示す。客体の２Ｄ及び３Ｄバウンディングボックスパラメータが０に設定される。この値が０であると、ｖｔｉ_ｏｂｊｅｃｔ_ｉｄｘ[ｉ]と同一のインデックスを有する客体がこの要素に従う情報により更新されることを示す。また、変数ＯｂｊｅｃｔＴｒａｃｋｅｄ[ｉ]は１に設定される。
【0760】
バウンディングボックス更新フラグ(ｖｔｉ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｕｐｄａｔｅ_ｆｌａｇ[ｉ])：この値が１であると、２Ｄバウンディングボックス情報がインデックスｉを有する客体に対して存在することを示す。この値が０であると、２Ｄバウンディングボックス情報が存在しないことを示す。
【0761】
ｖｔｉ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｕｐｄａｔｅ_ｆｌａｇがｖｔｉ_ｏｂｊｅｃｔ_ｉｄｘ[ｉ]に対して１であると、ｖｔｉ_ｏｂｊｅｃｔ_ｉｄｘ[ｉ]に対する以下のようなバウンディングボックス要素がボリュメトリックタイリング情報客体に含まれる。
【0762】
バウンディングボックス上部(ｖｔｉ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｔｏｐ[ｉ])：現在アトラスフレーム内のインデックスｉを有する客体のバウンディングボックスの左上部ポジションの垂直座標値を示す。
【0763】
バウンディングボックス左部(ｖｔｉ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｌｅｆｔ[ｉ])：現在アトラスフレーム内のインデックスｉを有する客体のバウンディングボックスの左上部ポジションの水平座標値を示す。
【0764】
バウンディングボックス幅(ｖｔｉ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｗｉｄｔｈ[ｉ])：インデックスｉを有する客体のバウンディングボックスの幅を示す。
【0765】
バウンディングボックス高さ(ｖｔｉ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｈｅｉｇｈｔ[ｉ])：インデックスｉを有する客体のバウンディングボックスの高さを示す。
【0766】
ｖｔｉ３ｄＢｏｕｎｄｉｎｇＢｏｘＰｒｅｓｅｎｔＦｌａｇが１であると、以下のようなバウンディングボックス要素がボリュメトリックタイリング情報客体に含まれる。
【0767】
３Ｄバウンディングボックス更新フラグ(ｖｔｉ_３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｕｐｄａｔｅ_ｆｌａｇ[ｉ])：この値が１であると、インデックスｉを有する客体に対して３Ｄバウンディングボックス情報が存在することを示す。この値が０であると、３Ｄバウンディングボックス情報が存在しないことを示す。
【0768】
ｖｔｉ_３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｕｐｄａｔｅ_ｆｌａｇがｖｔｉ_ｏｂｊｅｃｔ_ｉｄｘ[ｉ]に対して１であると、以下のようなバウンディングボックス関連要素がボリュメトリックタイリング情報客体に含まれる。
【0769】
３ＤバウンディングボックスＸ(ｖｔｉ_３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｘ[ｉ])：インデックスｉを有する客体の３Ｄバウンディングボックスの原点位置のＸ座標値を示す。
【0770】
３ＤバウンディングボックスＹ(ｖｔｉ_３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｙ[ｉ])：インデックスｉを有する客体の３Ｄバウンディングボックスの原点位置のＹ座標値を示す。
【0771】
３ＤバウンディングボックスＺ(ｖｔｉ_３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｚ[ｉ])：インデックスｉを有する客体の３Ｄバウンディングボックスの原点位置のＺ座標値を示す。
【0772】
３ＤバウンディングボックスデルタＸ(ｖｔｉ_３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｄｅｌｔａ_ｘ[ｉ])：インデックスｉを有する客体のＸ軸上のバウンディングボックスのサイズを示す。
【0773】
３ＤバウンディングボックスデルタＹ(ｖｔｉ_３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｄｅｌｔａ_ｙ[ｉ])：インデックスｉを有する客体のＹ軸上のバウンディングボックスのサイズを示す。
【0774】
３ＤバウンディングボックスデルタＺ(ｖｔｉ_３ｄ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｄｅｌｔａ_ｚ[ｉ])：インデックスｉを有する客体のＺ軸上のバウンディングボックスのサイズを示す。
【0775】
ｖｔｉＯｂｊｅｃｔＰｒｉｏｒｉｔｙＰｒｅｓｅｎｔＦｌａｇが１であると、以下のような優先順位関連要素がボリュメトリックタイリング情報客体に含まれる。
【0776】
客体優先順位更新フラグ(ｖｔｉ_ｏｂｊｅｃｔ_ｐｒｉｏｒｉｔｙ_ｕｐｄａｔｅ_ｆｌａｇ[ｉ])：この値が１であると、客体優先順位更新情報がインデックスｉを有する客体に対して存在することを示す。この値が０であると、客体優先順位情報が存在しないことを示す。
【0777】
客体優先順位値(ｖｔｉ_ｏｂｊｅｃｔ_ｐｒｉｏｒｉｔｙ_ｖａｌｕｅ[ｉ])：インデックスｉを有する客体の優先順位を示す。優先順位値が低いほど優先順位が高い。
【0778】
ｖｔｉＯｂｊｅｃｔＨｉｄｄｅｎＰｒｅｓｅｎｔＦｌａｇが１であると、ｖｔｉ_ｏｂｊｅｃｔ_ｉｄｘ[ｉ]に対する以下のような隠し情報がボリュメトリックタイリング情報客体に含まれる。
【0779】
客体隠しフラグ(ｖｔｉ_ｏｂｊｅｃｔ_ｈｉｄｄｅｎ_ｆｌａｇ[ｉ])：この値が１であると、インデックスｉを有する客体が隠されることを示す。この値が０であると、インデックスｉを有する客体が存在することを示す。
【0780】
ｖｔｉＯｂｊｅｃｔＬａｂｅｌＰｒｅｓｅｎｔＦｌａｇが１であると、ラベル関連更新フラグがボリュメトリックタイリング情報客体に含まれる。
【0781】
客体ラベル更新フラグ(ｖｔｉ_ｏｂｊｅｃｔ_ｌａｂｅｌ_ｕｐｄａｔｅ_ｆｌａｇ)：この値が１であると、客体ラベル更新情報がインデックスｉを有する客体に対して存在することを示す。この値が０であると、客体ラベル更新情報が存在しないことを示す。
【0782】
ｖｔｉ_ｏｂｊｅｃｔ_ｌａｂｅｌ_ｕｐｄａｔｅ_ｆｌａｇがｖｔｉ_ｏｂｊｅｃｔ_ｉｄｘ[ｉ]に対して１であると、ｖｔｉ_ｏｂｊｅｃｔ_ｉｄｘ[ｉ]に対する客体ラベルインデックスがボリュメトリックタイリング情報客体に含まれる。
【0783】
客体ラベルインデックス(ｖｔｉ_ｏｂｊｅｃｔ_ｌａｂｅｌ_ｉｄｘ[ｉ])：インデックスｉを有する客体のラベルインデックスを示す。
【0784】
ｖｔｉＯｂｊｅｃｔＣｏｌｌｉｓｉｏｎＳｈａｐｅＰｒｅｓｅｎｔＦｌａｇが１であると、客体衝突関連要素がボリュメトリックタイリング情報客体に含まれる。
【0785】
客体衝突模様更新フラグ(ｖｔｉ_ｏｂｊｅｃｔ_ｃｏｌｌｉｓｉｏｎ_ｓｈａｐｅ_ｕｐｄａｔｅ_ｆｌａｇ[ｉ])：この値が１であると、客体衝突模様更新情報がインデックスｉを有する客体に対して存在することを示す。この値が０であると、客体衝突模様更新情報が存在しないことを示す。
【0786】
ｖｔｉ_ｏｂｊｅｃｔ_ｃｏｌｌｉｓｉｏｎ_ｓｈａｐｅ_ｕｐｄａｔｅ_ｆｌａｇがｖｔｉ_ｏｂｊｅｃｔ_ｉｄｘ[ｉ]に対して１であると、ｖｔｉ_ｏｂｊｅｃｔ_ｉｄｘ[ｉ]に対する客体衝突模様ＩＤがボリュメトリックタイリング情報客体に含まれる。
【0787】
客体衝突模様ＩＤ(ｖｔｉ_ｏｂｊｅｃｔ_ｃｏｌｌｉｓｉｏｎ_ｓｈａｐｅ_ｉｄ[ｉ])：インデックスｉを有する客体の衝突模様ＩＤを示す。
【0788】
ｖｔｉＯｂｊｅｃｔＤｅｐｅｎｄｅｎｃｙＰｒｅｓｅｎｔＦｌａｇが１であると、客体従属関連要素がボリュメトリックタイリング情報客体に含まれる。
【0789】
客体従属更新フラグ(ｖｔｉ_ｏｂｊｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｕｐｄａｔｅ_ｆｌａｇ[ｉ])：この値が１であると、客体従属更新情報が客体インデックスｉを有する客体に対して存在することを示す。この値が０であると、客体従属更新情報が存在しないことを示す。
【0790】
ｖｔｉ_ｏｂｊｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｕｐｄａｔｅ_ｆｌａｇがｖｔｉ_ｏｂｊｅｃｔ_ｉｄｘ[ｉ]に対して１であると、ｖｔｉ_ｏｂｊｅｃｔ_ｉｄｘ[ｉ]に対する客体従属関連要素がボリュメトリックタイリング情報客体に含まれる。
【0791】
客体従属数(ｖｔｉ_ｏｂｊｅｃｔ_ｎｕｍ_ｄｅｐｅｎｄｅｎｃｉｅｓ[ｉ])：インデックスｉを有する客体従属の数を示す。
【0792】
ｖｔｉ_ｏｂｊｅｃｔ_ｎｕｍ_ｄｅｐｅｎｄｅｎｃｉｅｓ数だけ客体従属インデックスがボリュメトリックタイリング情報客体に含まれる。
【0793】
客体従属インデックス(ｖｔｉ_ｏｂｊｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｉｄｘ[ｉ][ｊ])：インデックスｉを有する客体に対する従属を有するｊ番目の客体のインデックスを示す。
【0794】
図４０は実施例によるカプセル化されたＶ－ＰＣＣデータコンテナの構造を示す。
【0795】
図４１は実施例による絶縁されたＶ－ＰＣＣデータコンテナ構造を示す。
【0796】
図１の送信装置１００００のポイントクラウドビデオエンコーダ１０００２、図４及び図１５のエンコーダ、図１８の送信装置、図２９のビデオ／イメージエンコーダ２０００２,２０００３、図２１のプロセッサ、エンコーダ２１０００ないし２１００８、及び図２３のＸＲデバイス２３３０などは、実施例によるポイントクラウドデータを含むビットストリームを生成する。
【0797】
図１のファイル／セグメントカプセル化部１０００３、図２０のファイル／セグメントカプセル化部２０００４、図２１のファイル／セグメントカプセル化部２１００９、及び図２３のＸＲデバイスは、図２４及び図２５のファイル構造にビットストリームを初期化(ｆｏｒｍａｔｔｉｎｇ)する。
【0798】
同様に、図１の受信装置１０００５のファイル／セグメントデカプセル化部１０００７、図２０ないし図２３のファイル／セグメントデカプセル化部２０００５,２１００９,２２０００、及び図２３のＸＲデバイス２３３０は、ファイルを受信してデカプセル化してビットストリームをパースする。ビットストリームは図１のポイントクラウドビデオデコーダ１０１００８、図１６及び図１７のデコーダ、図１９の受信装置、図２０ないし図２３のビデオ／イメージデコーダ２０００６,２１００７,２１００８,２２００１,２２００２、及び図２３のＸＲデバイス２３３０により復号され、ポイントクラウドデータが復元される。
【0799】
【0800】
【0801】
実施例による方法／装置は、複数のトラックに基づいてポイントクラウドデータ及びポイントクラウドデータ関連の追加データをコンテナファイルに含めて送受信する。
【0802】
【0803】
【0804】
【0805】
第４トラック４００３０はｖ－ｐｃｃ(ｖ３ｃ)トラックであり、ポイントクラウドデータに関するデータを含むアトラスビットストリーム４００７０を含む。
【0806】
各々のトラックはサンプルエントリー及びサンプルで構成される。サンプルはフレームに対応するユニットである。Ｎ番目のフレームを復号するためには、Ｎ番目のフレームに対応するサンプル又はサンプルエントリーが必要である。サンプルエントリーはサンプルを記述する情報を含む。
【0807】
【0808】
ｖ３ｃトラック４１０００は第４トラック４００３０に対応する。ｖ３ｃトラック４１０００に含まれたデータはボックスというデータコンテナのフォーマットを有する。ｖ３ｃトラック４１０００はＶ３Ｃコンポーネントトラック４１０１０ないし４１０３０に関する参照情報を含む。
【0809】
実施例による受信方法／装置は、図４１のようなポイントクラウドデータを含むコンテナ(ファイルとも称する)を受信して、Ｖ３Ｃトラックをパースする。ｖ３ｃトラックに含まれた参照情報に基づいて占有データ、ジオメトリデータ、特質データを復号して復元する。
【0810】
占有トラック４１０１０は第２トラック４００１０に対応し、占有データを含む。ジオメトリトラック４１０２０は第３トラック４００２０に対応し、ジオメトリデータを含む。特質トラック４１０３０は第１トラック４００００に対応し、特質データを含む。
【0811】
【0812】
ボリュメトリックビジュアルトラック(Ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｔｒａｃｋ)
【0813】
各々のボリュメトリックビジュアルシーンはユニークなボリュメトリックビジュアルトラックにより表現される。
【0814】
ＩＳＯＢＭＦＦファイルは複数のシーンを含み、それにより、マルチボリュメトリックビジュアルトラックがファイル内に存在する。
【0815】
ボリュメトリックビジュアルトラックはメディアボックスのハンドラーボックスのボリュメトリックビジュアルメディアハンドラータイプ‘ｖｏｌｖ’により識別される。ボリュメトリックビジュアルヘッダは以下のように定義される。
【0816】
ボリュメトリックビジュアルメディアヘッダ(Ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ Ｍｅｄｉａ ｈｅａｄｅｒ)
【0817】
ｂｏｘ Ｔｙｐｅ：‘ｖｖｈｄ’
【0818】
Ｃｏｎｔａｉｎｅｒ：ＭｅｄｉａＩｎｆｏｒｍａｔｉｏｎＢｏｘ
【0819】
Ｍａｎｄａｔｏｒｙ：Ｙｅｓ
【0820】
Ｑｕａｎｔｉｔｙ：Ｅｘａｃｔｌｙ ｏｎｅ
【0821】
ボリュメトリックビジュアルトラックはメディア情報ボックス(ＭｅｄｉａＩｎｆｏｒｍａｔｉｏｎＢｏｘ)のボリュメトリックビジュアルメディアヘッダボックス(ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＭｅｄｉａＨｅａｄｅｒＢｏｘ)を使用する。
【0822】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＭｅｄｉａＨｅａｄｅｒＢｏｘ
【0823】
ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ(‘ｖｖｈｄ', ｖｅｒｓｉｏｎ＝０、１){
【0824】
}
【0825】
バージョン(ｖｅｒｓｉｏｎ)はこのボックスのバージョンを示す整数である。
【0826】
ボリュメトリックビジュアルサンプルエントリー(Ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｓａｍｐｌｅ ｅｎｔｒｙ)
【0827】
ボリュメトリックビジュアルトラックはボリュメトリックビジュアルサンプルエントリー(ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ)を使用する。
【0828】
ｃｌａｓｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ(ｃｏｄｉｎｇｎａｍｅ)
【0829】
ｅｘｔｅｎｄｓ ＳａｍｐｌｅＥｎｔｒｙ(ｃｏｄｉｎｇｎａｍｅ){
【0830】
ｕｎｓｉｇｎｅｄ ｉｎｔ(８)[３２] ｃｏｍｐｒｅｓｓｏｒ_ｎａｍｅ；
【0831】
}
【0832】
コンプレッサーネイム(ｃｏｍｐｒｅｓｓｏｒ_ｎａｍｅ)：有益な目的のための名前である。固定３２－バイトフィールドで形成される。第１バイトはディスプレイされるバイト数に設定され、ＵＴＦ－８を使用して符号化されたディスプレイ可能なデータのバイト数が伴う。サイズバイトを含む３２バイトを完成するためにパッドされる。このフィールドは０に設定されてもよい。
【0833】
ボリュメトリックビジュアルサンプル(Ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｓａｍｐｌｅｓ)
【0834】
ボリュメトリックビジュアルサンプルのフォーマットは実施例によるコーディングシステムにより定義される。
【0835】
Ｖ－ＰＣＣユニットヘッダボックス(Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ ｂｏｘ)
【0836】
このボックスはＶ－ＰＣＣトラック(サンプルエントリー内)及び全てのビデオコーディングされたＶ－ＰＣＣコンポーネントトラック(スキーム情報内)の両方に存在する。このボックスは個々のトラックにより伝達されるデータのためのＶ－ＰＣＣユニットヘッダを含む。
【0837】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＵｎｉｔＨｅａｄｅｒＢｏｘ
【0838】
ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ(‘ｖｕｎｔ', ｖｅｒｓｉｏｎ＝０、０){
【0839】
ｖｐｃｃ_ｕｎｉｔ_ｈｅａｄｅｒ() ｕｎｉｔ_ｈｅａｄｅｒ；
【0840】
}
【0841】
このボックスは上記のようなＶ－ＰＣＣユニットヘッダ(ｖｐｃｃ_ｕｎｉｔ_ｈｅａｄｅｒ())を含む。
【0842】
Ｖ－ＰＣＣデコーダ構成レコード(Ｖ－ＰＣＣ ｄｅｃｏｄｅｒ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ)
【0843】
このレコードはバージョンフィールドを含む。このバージョンはバージョン１である。レコードの両立不可な変更はバージョン番号の変化により識別される。実施例によるリーダー／デコーダはこのバージョンが認識できないバージョン番号である場合のレコード又はストリームを復号しなくてもよい。
【0844】
Ｖ－ＰＣＣパラメータセットに対するアレイは上記のようにＶ－ＰＣＣパラメータセットを含む。
【0845】
アトラスセットアップユニット(ａｔｌａｓ_ｓｅｔｕｐＵｎｉｔ)アレイはデコーダ構成レコードがアトラスストリームＳＥＩメッセージと共に存在するサンプルエントリーにより称されるストリームに対して一定のアトラスパラメータセットを含む。
【0846】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ{
【0847】
ｕｎｓｉｇｎｅｄ ｉｎｔ(８) ｃｏｎｆｉｇｕｒａｔｉｏｎＶｅｒｓｉｏｎ＝１；
【0848】
ｕｎｓｉｇｎｅｄ ｉｎｔ(３) ｓａｍｐｌｅＳｔｒｅａｍＳｉｚｅＭｉｎｕｓＯｎｅ；
【0849】
ｕｎｓｉｇｎｅｄ ｉｎｔ(５) ｎｕｍＯｆＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔｓ；
【0850】
ｆｏｒ(ｉ＝０；ｉ＜ｎｕｍＯｆＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔｓ；ｉ＋＋){
【0851】
ｓａｍｐｌｅ_ｓｔｒｅａｍ_ｖｐｃｃ_ｕｎｉｔ ＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔ；
【0852】
}
【0853】
ｕｎｓｉｇｎｅｄ ｉｎｔ(８) ｎｕｍＯｆＡｔｌａｓＳｅｔｕｐＵｎｉｔｓ；
【0854】
ｆｏｒ (ｉ＝０；ｉ＜ｎｕｍＯｆＡｔｌａｓＳｅｔｕｐＵｎｉｔｓ；ｉ＋＋){
【0855】
ｓａｍｐｌｅ_ｓｔｒｅａｍ_ｖｐｃｃ_ｕｎｉｔ ａｔｌａｓ_ｓｅｔｕｐＵｎｉｔ；
【0856】
}
【0857】
}
【0858】
構成バージョン(ｃｏｎｆｉｇｕｒａｔｉｏｎＶｅｒｓｉｏｎ)はバージョンフィールドである。このレコードと両立できない変化はバージョン番号の変化により識別される。
【0859】
サンプルストリームサイズ(ｓａｍｐｌｅＳｔｒｅａｍＳｉｚｅＭｉｎｕｓＯｎｅ)：この値に１を加えると、この構成レコード又はこの構成レコードが適用されるストリーム内のＶ－ＰＣＣサンプル内の全てのサンプルストリームＶ－ＰＣＣユニット内のｓｓｖｕ_ｖｐｃｃ_ｕｎｉｔ_ｓｉｚｅ要素のバイト内の精度を示す。
【0860】
Ｖ－ＰＣＣパラメータセット数(ｎｕｍＯｆＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔｓ)：デコーダ構成レコード内にシグナリングされるＶ－ＰＣＣパラメータセット(ＶＰＳ)の数を示す。
【0861】
Ｖ－ＰＣＣパラメータセットはタイプＶＰＣＣ_ＶＰＳのＶ－ＰＣＣユニットのｓａｍｐｌｅ_ｓｔｒｅａｍ_ｖｐｃｃ_ｕｎｉｔ()インスタンスである。Ｖ－ＰＣＣユニットはＶ－ＰＣＣパラメータセット(ｖｐｃｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ())を含む。
【0862】
アトラスセットアップユニット数(ｎｕｍＯｆＡｔｌａｓＳｅｔｕｐＵｎｉｔｓ)：この構成レコード内にシグナリングされるアトラスストリームに対するセットアップアレイの数を示す。
【0863】
アトラスセットアップユニット(Ａｔｌａｓ_ｓｅｔｕｐＵｎｉｔ)：アトラスシーケンスパラメータセット、アトラスフレームパラメータセット又はＳＥＩアトラスＮＡＬユニットを含むｓａｍｐｌｅ_ｓｔｒｅａｍ_ｖｐｃｃ_ｕｎｉｔ()インスタンスである。例えば、ＩＳＯ／ＩＥＣ ２３０９０－５の説明を参照できる。
【0864】
また実施例によって、Ｖ－ＰＣＣデコーダ構成レコードは以下のように定義される。
【0865】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ{
【0866】
ｕｎｓｉｇｎｅｄ ｉｎｔ(８) ｃｏｎｆｉｇｕｒａｔｉｏｎＶｅｒｓｉｏｎ＝１；
【0867】
ｕｎｓｉｇｎｅｄ ｉｎｔ(３) ｓａｍｐｌｅＳｔｒｅａｍＳｉｚｅＭｉｎｕｓＯｎｅ；
【0868】
ｂｉｔ(２) ｒｅｓｅｒｖｅｄ＝１；
【0869】
ｕｎｓｉｇｎｅｄ ｉｎｔ(３) ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ；
【0870】
ｕｎｓｉｇｎｅｄ ｉｎｔ(５) ｎｕｍＯＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔｓ；
【0871】
ｆｏｒ(ｉ＝０；ｉ＜ｎｕｍＯＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔｓ；ｉ＋＋){
【0872】
ｓａｍｐｌｅ_ｓｔｒｅａｍ_ｖｐｃｃ_ｕｎｉｔ ＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔ；
【0873】
}
【0874】
ｕｎｓｉｇｎｅｄ ｉｎｔ(８) ｎｕｍＯｆＳｅｔｕｐＵｎｉｔＡｒｒａｙｓ；
【0875】
ｆｏｒ(ｊ＝０；ｊ＜ｎｕｍＯｆＳｅｔｕｐＵｎｉｔＡｒｒａｙｓ；ｊ＋＋){
【0876】
ｂｉｔ(１) ａｒｒａｙ_ｃｏｍｐｌｅｔｅｎｅｓｓ；
【0877】
ｂｉｔ(１) ｒｅｓｅｒｖｅｄ＝０；
【0878】
ｕｎｓｉｇｎｅｄ ｉｎｔ(６) ＮＡＬ_ｕｎｉｔ_ｔｙｐｅ；
【0879】
ｕｎｓｉｇｎｅｄ ｉｎｔ(８) ｎｕｍＮＡＬＵｎｉｔｓ；
【0880】
ｆｏｒ(ｉ＝０；ｉ＜ｎｕｍＮＡＬＵｎｉｔｓ；ｉ＋＋){
【0881】
ｓａｍｐｌｅ_ｓｔｒｅａｍ_ｎａｌ_ｕｎｉｔ ｓｅｔｕｐＵｎｉｔ；
【0882】
}
【0883】
}
【0884】
構成情報(ｃｏｎｆｉｇｕｒａｔｉｏｎＶｅｒｓｉｏｎ)：バージョンフィールドである。このレコードに対する両立不可な変更事項はバージョン番号の変更により識別される。
【0885】
長さサイズ(ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ)：この値に１を加えると、この構成レコード又はこの構成レコードに適用されるストリーム内のＶ－ＰＣＣサンプル内の全てのサンプルストリームＮＡＬユニット内のｓｓｎｕ_ｎａｌ_ｕｎｉｔ_ｓｉｚｅ要素のバイト内の精度(ｐｒｅｃｉｓｉｏｎ)を示す。
【0886】
サンプルストリームサイズ(ｓａｍｐｌｅＳｔｒｅａｍＳｉｚｅＭｉｎｕｓＯｎｅ)：この値に１を加えると、この構成レコード内にシグナリングされる全てのサンプルストリームＶ－ＰＣＣユニット内のｓｓｖｕ_ｖｐｃｃ_ｕｎｉｔ_ｓｉｚｅ要素のバイト内の精度(ｐｒｅｃｉｓｉｏｎ)を示す。
【0887】
Ｖ－ＰＣＣパラメータセット数(ｎｕｍＯｆＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔｓ)：この構成レコード内にシグナリングされるＶ－ＰＣＣパラメータセット(ＶＰＳ)の数を示す。
【0888】
Ｖ－ＰＣＣパラメータセットはタイプＶＰＣＣ_ＶＰＳのＶ－ＰＣＣユニットに対するｓａｍｐｌｅ_ｓｔｒｅａｍ_ｖｐｃｃ_ｕｎｉｔ()インスタンスである。
【0889】
セットアップユニットアレイ数(ｎｕｍＯｆＳｅｔｕｐＵｎｉｔＡｒｒａｙｓ)：指示されたタイプのアトラスＮＡＬユニットのアレイ数である。
【0890】
アレイ完成度(ａｒｒａｙ_ｃｏｍｐｌｅｔｅｎｅｓｓ)：この値が１であると、所定のタイプの全てのアトラスＮＡＬユニットが続くアレイ内にあり、ストリーム内にないことを示す。この値が０であると、指示されたタイプの追加アトラスＮＡＬユニットがストリーム内にあり得ることを示す。デフォルト及び許容された値はサンプルエントリーネイムにより影響を受ける。
【0891】
ＮＡＬユニットタイプ(ＮＡＬ_ｕｎｉｔ_ｔｙｐｅ)：続くアレイ内のアトラスＮＡＬユニットのタイプを示す。このタイプはＩＳＯ／ＩＥＣ ２３０９０－５に定義された値を使用する。この値はＮＡＬ_ＡＳＰＳ、ＮＡＬ_ＰＲＥＦＩＸ_ＳＥＩ又はＮＡＬ_ＳＵＦＦＩＸ_ＳＥＩ ａｔｌａｓ ＮＡＬ ｕｎｉｔを示す。
【0892】
ＮＡＬユニット数(ｎｕｍＮＡＬＵｎｉｔｓ)：この構成レコードが適用されるストリームに対する構成レコード内に含まれる指示されたタイプのアトラスＮＡＬユニットの数である。ＳＥＩアレイはただ記述的性格のＳＥＩメッセージを含む。全体としてストリームに関する情報を提供する。かかるＳＥＩの例示はユーザ－データＳＥＩである。
【0893】
セットアップユニット(ｓｅｔｕｐＵｎｉt)：アトラスシーケンスパラメータセット又はアトラスフレームパラメータセット又は記述的ＳＥＩアトラスＮＡＬユニットを含むｓａｍｐｌｅ_ｓｔｒｅａｍ_ｎａｌ_ｕｎｉｔ()インスタンスである。
【0894】
Ｖ－ＰＣＣアトラスパラメータセットサンプルグループ(Ｖ－ＰＣＣ ａｔｌａｓ ｐａｒａｍｅｔｅｒ ｓｅｔ ｓａｍｐｌｅ ｇｒｏｕｐ)
【0895】
サンプルグルーピングに対するグルーピングタイプ‘ｖａｐｓ'はＶ－ＰＣＣトラック内サンプルのサンプルグループ内に伝達されるアトラスパラメータセットに配置することを示す。‘ｖａｐｓ'と同一のグルーピングタイプを有するサンプルツーグループボックス(ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ)が存在する場合、同一のグルーピングタイプを有するサンプルグループ記述ボックスが存在し、サンプルが属するこのグループのＩＤを含む。
【0896】
Ｖ－ＰＣＣトラックは‘ｖａｐｓ'と同一のグルーピングタイプを有する最大１つのサンプルツーグループボックスを含む。
【0897】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＡｔｌａｓＰａｒａｍＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ（） ｅｘｔｅｎｄｓ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ(‘ｖａｐｓ'){
【0898】
ｕｎｓｉｇｎｅｄ ｉｎｔ(８) ｎｕｍＯｆＡｔｌａｓＰａｒａｍｅｔｅｒＳｅｔｓ；
【0899】
ｆｏｒ(ｉ＝０；ｉ＜ｎｕｍＯｆＡｔｌａｓＰａｒａｍｅｔｅｒＳｅｔｓ；ｉ＋＋){
【0900】
ｓａｍｐｌｅ_ｓｔｒｅａｍ_ｖｐｃｃ_ｕｎｉｔ ａｔｌａｓＰａｒａｍｅｔｅｒＳｅｔ；
【0901】
}
【0902】
}
【0903】
アトラスパラメータセット数(ｎｕｍＯｆＡｔｌａｓＰａｒａｍｅｔｅｒＳｅｔｓ)：サンプルグループ記述内にシグナリングされるアトラスパラメータセットの数を示す。
【0904】
アトラスパラメータセットはサンプルのこのグループに連関するアトラスシーケンスパラメータセット、アトラスフレームパラメータセットを含むｓａｍｐｌｅ_ｓｔｒｅａｍ_ｖｐｃｃ_ｕｎｉｔ()インスタンスである。
【0905】
アトラスパラメータサンプルグループ記述エントリーは以下の通りである。
【0906】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＡｔｌａｓＰａｒａｍＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ（） ｅｘｔｅｎｄｓ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ(‘ｖａｐｓ'){
【0907】
ｕｎｓｉｇｎｅｄ ｉｎｔ(３) ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ；
【0908】
ｕｎｓｉｇｎｅｄ ｉｎｔ(５) ｎｕｍＯｆＡｔｌａｓＰａｒａｍｅｔｅｒＳｅｔｓ；
【0909】
ｆｏｒ(ｉ＝０；ｉ＜ｎｕｍＯｆＡｔｌａｓＰａｒａｍｅｔｅｒＳｅｔｓ；ｉ＋＋){
【0910】
ｓａｍｐｌｅ_ｓｔｒｅａｍ_ｎａｌ_ｕｎｉｔ ａｔｌａｓＰａｒａｍｅｔｅｒＳｅｔＮＡＬＵｎｉｔ；
【0911】
}
【0912】
}
【0913】
長さサイズ(ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ)：この値に１を加えると、このサンプルグループ記述内にシグナリングされる全てのサンプルストリームＮＡＬユニット内のｓｓｎｕ_ｎａｌ_ｕｎｉｔ_ｓｉｚｅ要素のバイト内の精度を示す。
【0914】
アトラスパラメータセットＮＡＬユニット(ａｔｌａｓＰａｒａｍｅｔｅｒＳｅｔＮＡＬＵｎｉｔ)：サンプルのこのグループに連関するアトラスシーケンスパラメータセット、アトラスフレームパラメータセットを含むｓａｍｐｌｅ_ｓｔｒｅａｍ_ｎａｌ_ｕｎｉｔ()インスタンスである。
【0915】
Ｖ－ＰＣＣ ＳＥＩサンプルグループ(Ｖ－ＰＣＣ ＳＥＩ ｓａｍｐｌｅ ｇｒｏｕｐ)
【0916】
サンプルグルーピングに対する‘ｖｓｅｉ'グルーピングタイプはＶ－ＰＣＣトラック内サンプルのこのサンプルグループ内に伝達されるＳＥＩ情報への配置を示す。‘ｖｓｅｉ'と同一のグルーピングタイプを有するサンプルツーグループボックスが存在する場合、同一のグルーピングタイプを有するサンプルグループ記述ボックス(ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘ)が存在し、サンプルが属するグループのＩＤを含む。
【0917】
Ｖ－ＰＣＣトラックは‘ｖｓｅｉ'と同一のグルーピングタイプを有するサンプルツーグループボックスを最大１つ含む。
【0918】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＳＥＩＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ() ｅｘｔｅｎｄｓ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ(‘ｖｓｅｉ'){
【0919】
ｕｎｓｉｇｎｅｄ ｉｎｔ(８) ｎｕｍＯｆＳＥＩｓ；
【0920】
ｆｏｒ(ｉ＝０；ｉ＜ｎｕｍＯｆＳＥＩＳｅｔｓ；ｉ＋＋){
【0921】
ｓａｍｐｌｅ_ｓｔｒｅａｍ_ｖｐｃｃ_ｕｎｉｔ ｓｅｉ；
【0922】
}
【0923】
}
【0924】
ＳＥＩの数(ｎｕｍＯｆＳＥＩｓ)：サンプルグループ記述内にシグナリングされるＶ－ＰＣＣ ＳＥＩの数を示す。
【0925】
ＳＥＩはサンプルのこのグループに連関するＳＥＩ情報を含むｓａｍｐｌｅ_ｓｔｒｅａｍ_ｖｐｃｃ_ｕｎｉｔ()インスタンスである。
【0926】
Ｖ－ＰＣＣ ＳＥＩサンプルグループ記述エントリーは以下の通りである。
【0927】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＳＥＩＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ () ｅｘｔｅｎｄｓ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ(‘ｖｓｅｉ'){
【0928】
ｕｎｓｉｇｎｅｄ ｉｎｔ(３) ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ；
【0929】
ｕｎｓｉｇｎｅｄ ｉｎｔ(５) ｎｕｍＯｆＳＥＩｓ；
【0930】
ｆｏｒ(ｉ＝０；ｉ＜ｎｕｍＯｆＳＥＩｓ；ｉ＋＋){
【0931】
ｓａｍｐｌｅ_ｓｔｒｅａｍ_ｎａｌ_ｕｎｉｔ ｓｅｉＮＡＬＵｎｉｔ；
【0932】
}
【0933】
}
【0934】
長さサイズ(ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ)：この値に１を加えると、このサンプルグループ記述内にシグナリングされる全てのサンプルストリームＮＡＬユニット内のｓｓｎｕ_ｎａｌ_ｕｎｉｔ_ｓｉｚｅ要素のバイト内精度を示す。
【0935】
ＳＥＩ ＮＡＬユニット(ｓｅｉＮＡＬＵｎｉｔ)：サンプルのこのグループに連関するＳＥＩ情報を含むｓａｍｐｌｅ_ｓｔｒｅａｍ_ｎａｌ_ｕｎｉｔ()インスタンスである。
【0936】
Ｖ－ＰＣＣビットストリームのマルチトラックコンテナ(Ｍｕｌｔｉ ｔｒａｃｋ ｃｏｎｔａｉｎｅｒ ｏｆ Ｖ－ＰＣＣ ｂｉｔｓｔｒｅａｍ)
【0937】
マルチトラックＩＳＯＢＭＦＦ Ｖ－ＰＣＣコンテナの一般的なレイアウトである。Ｖ－ＰＣＣ基本ストリーム内のＶ－ＰＣＣユニットがそれらのタイプに基づいてコンテナファイル内の個々のトラックにマッピングされる。マルチトラックＩＳＯＢＭＦＦ Ｖ－ＰＣＣコンテナ内に２つのタイプのトラックがあり得る：Ｖ－ＰＣＣトラック及びＶ－ＰＣＣコンポーネントトラックである。
【0938】
Ｖ－ＰＣＣトラック(又はＶ３Ｃトラック)４００３０,４１０００はアトラスサブビットストリーム及びシーケンスパラメータセットを含むＶ－ＰＣＣビットストリーム内のボリュメトリックビジュアル情報を伝達するトラックである。
【0939】
Ｖ－ＰＣＣコンポーネントトラックはＶ－ＰＣＣビットストリームの占有マップ、ジオメトリ、特質サブ非ストリームに対する２Ｄビデオ符号化されたデータを伝達するビデオスキームトラックである。さらに、以下の条件がＶ－ＰＣＣコンポーネントトラックに対して満たされる。
【0940】
ａ)サンプルエントリー内、Ｖ－ＰＣＣシステム内のこのトラックに含まれたビデオストリームの役割を記述する新しいボックスが挿入される。
【0941】
ｂ)Ｖ－ＰＣＣトラックにより表現される特定のポイントクラウド内のＶ－ＰＣＣコンポーネントトラックのメンバーシップを生成するために、Ｖ－ＰＣＣトラックからＶ－ＰＣＣコンポーネントトラックにトラック参照が導入される。
【0942】
ｃ)このトラックが直接ムービーの全体的なレイアップに寄与せず、Ｖ－ＰＣＣシステムに寄与することを示すためにトラック－ヘッダフラグが０に設定される。
【0943】
実施例によるポイントクラウドデータを記述するアトラスビットストリーム、シグナリング情報(パラメータ、メタデータなどと称する)はボックスというデータ構造に含まれる。実施例による方法／装置はマルチトラックに基づいてアトラスビットストリーム、パラメータ情報をｖ－ｐｃｃトラック(又はｖ３ｃトラック)に含ませて送信する。さらに実施例による方法／装置は実施例によるアトラスビットストリーム、パラメータ情報をｖ－ｐｃｃトラック(又はｖ３ｃトラック)のサンプルエントリーに含ませて送信する。
【0944】
また実施例による方法／装置はシングルトラックに基づいて実施例によるアトラスビットストリーム及びパラメータ情報をＶ－ＰＣＣ基本ストリームトラックに含ませて送信する。さらに実施例による方法／装置はアトラスビットストリーム及びパラメータ情報をＶ－ＰＣＣ基本ストリームトラックのサンプルエントリー或いはサンプルに含ませて送信する。
【0945】
同一のＶ－ＰＣＣシーケンスが属するトラックは時間によって整列(ａｌｉｇｎ)される。異なるビデオ符号化されたＶ－ＰＣＣコンポーネントトラック及び間の同一のポイントクラウドフレームに寄与するサンプル及びＶ－ＰＣＣトラックは同一のプレゼンテーション時間を有する。サンプルに対して使用されるＶ－ＰＣＣアトラスシーケンスパラメータセット及びアトラスフレームパラメータセットは、ポイントクラウドフレームの構成時間(ｃｏｍｐｏｓｉｔｉｏｎ ｔｉｍｅ)と等しいか又は早い復号時間を有する。さらに同一のＶ－ＰＣＣシーケンスに属する全てのトラックは同一の含蓄又は明瞭な編集リストを有する。
【0946】
ノート：コンポーネントトラック内の基本ストリーム間の同期化はＩＳＯＢＭＦＦトラックタイミング構造(ｓｔｔｓ、ｃｔｔｓ、ｃｓｌｇ)により処理されるか、又はムービーフラグメント内の同等なメカニズムにより処理される。
【0947】
このようなレイアウトに基づいて、Ｖ－ＰＣＣ ＩＳＯＢＭＦＦコンテナは以下を含む(図２４参照)：
【0948】
－Ｖ－ＰＣＣパラメータセットＶ－ＰＣＣユニット(ｕｎｉｔ ｔｙｐｅ ＶＰＣＣ_ＶＰＳ)及びアトラスＶ－ＰＣＣユニット(ｕｎｉｔ ｔｙｐｅ ＶＰＣＣ_ＡＤ)のペイロードを伝達するサンプル及びサンプルエントリー内のＶ－ＰＣＣパラメータセットを含むＶ－ＰＣＣトラック。またこのトラックはｕｎｉｔ ｔｙｐｅｓ ＶＰＣＣ_ＯＶＤ、ＶＰＣＣ_ＧＶＤ及びＶＰＣＣ_ＡＶＤのようなビデオ圧縮されたＶ－ＰＣＣユニットのペイロードを伝達する他のトラックに対するトラック参照を含む。
【0949】
－タイプＶＰＣＣ_ＯＶＤのＶ－ＰＣＣユニットのペイロードである占有マップデータのためのビデオコーディングされた基本ストリームのアクセスユニットを含むサンプルがあるビデオスキームトラック。
【0950】
－タイプＶＰＣＣ_ＧＶＤのＶ－ＰＣＣユニットのペイロードであるジオメトリデータのビデオコーディングされた基本ストリームのアクセスユニットを含むサンプルがある１つ又は１つ以上のビデオスキームトラック。
【0951】
－タイプＶＰＣＣ_ＡＶＤのＶ－ＰＣＣユニットのペイロードである特質データのビデオコーディングされた基本ストリームのアクセスユニットを含むサンプルがあるゼロ又は１つ以上のビデオスキームトラック。
【0952】
Ｖ－ＰＣＣトラック(Ｖ－ＰＣＣ ｔｒａｃｋｓ)：
【0953】
Ｖ－ＰＣＣトラックサンプルエントリー(Ｖ－ＰＣＣ Ｔｒａｃｋ Ｓａｍｐｌｅ Ｅｎｔｒｙ)：
【0954】
サンプルエントリータイプ(Ｓａｍｐｌｅ Ｅｎｔｒｙ Ｔｙｐｅ)：‘ｖｐｃ１'、‘ｖｐｃｇ'
【0955】
コンテナ(Ｃｏｎｔａｉｎｅｒ)：サンプル記述ボックス(ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ)
【0956】
義務の有無(Ｍａｎｄａｔｏｒｙ)：‘ｖｐｃ１'又は‘ｖｐｃｇ'サンプルエントリーは義務である。
【0957】
量(Ｑｕａｎｔｉｔｙ)：１つ又はそれ以上のサンプルエントリーが存在する。
【0958】
Ｖ－ＰＣＣトラックはＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙを拡張するＶＰＣＣＳａｍｐｌｅＥｎｔｒｙを使用する。サンプルエントリータイプは‘ｖｐｃ１'又は‘ｖｐｃｇ'である。
【0959】
Ｖ－ＰＣＣサンプルエントリーはＶ－ＰＣＣ構成ボックス(ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ)を含む。このボックスはデコーダ構成レコード(ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ)を含む。
【0960】
‘ｖｐｃ１'サンプルエントリーにおいて、全てのアトラスシーケンスパラメータセット、アトラスフレームパラメータセット又はＶ－ＰＣＣ ＳＥＩはセットアップユニットアレイ(ｓｅｔｕｐＵｎｉｔ ａｒｒａｙ)内にある。
【0961】
‘ｖｐｃｇ'サンプルエントリーにおいて、アトラスシーケンスパラメータセット、アトラスフレームパラメータセット、Ｖ－ＰＣＣ ＳＥＩがこのアレイ内又はストリーム内にある。
【0962】
任意のビットレートボックス(ＢｉｔＲａｔｅＢｏｘ)はＶ－ＰＣＣトラックのビットレート情報をシグナリングするために、Ｖ－ＰＣＣボリュメトリックサンプルエントリー内に存在する。
【0963】
ボリュメトリックシーケンス(Ｖｏｌｕｍｅｔｒｉｃ Ｓｅｑｕｅｎｃｅｓ)：
【0964】
ｃｌａｓｓ ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｅｘｔｅｎｄｓ ｂｏｘ(‘ｖｐｃｃ'){
【0965】
ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ() ＶＰＣＣＣｏｎｆｉｇ；
【0966】
}
【0967】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＳａｍｐｌｅＥｎｔｒｙ() ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ(‘ｖｐｃ１'){
【0968】
ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ；
【0969】
ＶＰＣＣＵｎｉｔＨｅａｄｅｒＢｏｘ ｕｎｉｔ_ｈｅａｄｅｒ；
【0970】
ＶＰＣＣＢｏｕｎｄｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ()；
【0971】
}
【0972】
実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階；ポイントクラウドデータをカプセル化する段階；及びポイントクラウドデータを送信する段階；を含む。
【0973】
実施例によるポイントクラウドデータをカプセル化する段階は、ポイントクラウドデータを含む１つ又は１つ以上のトラックを生成する段階を含む。
【0974】
実施例による１つ又は１つ以上のトラックは、ポイントクラウドデータ、例えば、特質データ、占有データ、ジオメトリデータ及び／又はそれらに関するパラメータ(メタデータ又はシグナリング情報)を含む。具体的には、トラックはサンプルを記述するサンプルエントリー及び／又はサンプルを含む。複数のトラックは第１トラック、第２トラックなどとも称される。
【0975】
実施例によるポイントクラウドデータ受信装置は、ポイントクラウドデータを受信する受信機；ポイントクラウドデータをデカプセル化するデカプセル化部；及びポイントクラウドデータを復号するデコーダ；を含む。
【0976】
実施例によるデカプセル化部はポイントクラウドデータを含む１つ又は１つ以上のトラックをパースする。
【0977】
図４２は実施例によるＶ－ＰＣＣサンプルエントリーを示す。
【0978】
【0979】
図４２はこの明細書で説明する実施例によるＶ－ＰＣＣサンプルエントリー構造の一例を示す。サンプルエントリーはＶ－ＰＣＣパラメータセット(ＶＰＳ)４２０００を含み、任意にアトラスシーケンスパラメータセット(ＡＳＰＳ)４２０１０、アトラスフレームパラメータセット(ＡＦＰＳ)４２０２０及び／又はＳＥＩ４２０３０を含む。
【0980】
実施例による方法／装置は、ポイントクラウドデータをファイルのトラックに格納する。さらに、トラックのサンプル又はサンプルエントリーにポイントクラウドデータに関するパラメータ(又はシグナリング情報)などを格納して送受信する。
【0981】
【0982】
Ｖ－ＰＣＣビットストリームはサンプルストリームＶ－ＰＣＣヘッダ、サンプルストリームヘッダ、Ｖ－ＰＣＣユニットヘッダボックス、サンプルストリームＶ－ＰＣＣユニットを含む。
【0983】
【0984】
Ｖ－ＰＣＣトラックサンプルフォーマット(Ｖ－ＰＣＣ ｔｒａｃｋ ｓａｍｐｌｅ ｆｏｒｍａｔ)
【0985】
Ｖ－ＰＣＣトラック内の各サンプルはシングルポイントクラウドフレームに対応する。様々なコンポーネントトラック内のこのフレームに対応するサンプルはＶ－ＰＣＣトラックサンプルのように同一の構成時間を有する。各々のＶ－ＰＣＣサンプル１つ又は１つ以上のアトラスＮＡＬユニットを含む。
【0986】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＳａｍｐｌｅ{
【0987】
ｕｎｓｉｇｎｅｄ ｉｎｔ ＰｏｉｎｔＣｌｏｕｄＰｉｃｔｕｒｅＬｅｎｇｔｈ＝ｓａｍｐｌｅ_ｓｉｚｅ；／／ＳａｍｐｌｅＳｉｚｅＢｏｘからのサンプルサイズを意味する。
【0988】
ｆｏｒ(ｉ＝０；ｉ＜ＰｏｉｎｔＣｌｏｕｄＰｉｃｔｕｒｅＬｅｎｇｔｈ；){
【0989】
ｓａｍｐｌｅ_ｓｔｒｅａｍ_ｎａｌ_ｕｎｉｔ ｎａｌＵｎｉｔ
【0990】
ｉ＋＝(ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ.ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ＋１)＋ｎａｌＵｎｉｔ.ｓｓｎｕ_ｎａｌ_ｕｎｉｔ_ｓｉｚｅ；
【0991】
}
【0992】
}
【0993】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＳａｍｐｌｅ
【0994】
{
【0995】
ｕｎｓｉｇｎｅｄ ｉｎｔ ＰｉｃｔｕｒｅＬｅｎｇｔｈ＝ｓａｍｐｌｅ_ｓｉｚｅ；／／ＳａｍｐｌｅＳｉｚｅＢｏｘからのサンプルのサイズを意味する。
【0996】
ｆｏｒ(ｉ＝０；ｉ＜ＰｉｃｔｕｒｅＬｅｎｇｔｈ；)／／ピクチャーの終わりまでシグナリングされる
【0997】
{
【0998】
ｕｎｓｉｇｎｅｄ ｉｎｔ((ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ.ＬｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ＋１)＊８)
【0999】
ＮＡＬＵｎｉｔＬｅｎｇｔｈ；
【1000】
ｂｉｔ(ＮＡＬＵｎｉｔＬｅｎｇｔｈ＊８) ＮＡＬＵｎｉｔ；
【1001】
ｉ＋＝(ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ.ＬｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ＋１)＋ＮＡＬＵｎｉｔＬｅｎｇｔｈ；
【1002】
}
【1003】
}
【1004】
Ｖ－ＰＣＣデコーダ構成レコード(ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ)：マッチングされるＶ－ＰＣＣサンプルエントリー内のデコーダ構成レコードを示す。
【1005】
ＮＡＬユニット(ｎａｌＵｎｉｔ)：サンプルストリームＮＡＬユニットフォーマット内のシングルアトラスＮＡＬユニットを含む。
【1006】
ＮＡＬユニット長さ(ＮＡＬＵｎｉｔＬｅｎｇｔｈ)：続くＮＡＬユニットのバイト内サイズを示す。
【1007】
ＮＡＬユニット(ＮＡＬＵｎｉｔ)：シングルアトラスＮＡＬユニットを含む。
【1008】
Ｖ－ＰＣＣトラック同期サンプル(Ｖ－ＰＣＣ ｔｒａｃｋ ｓｙｎｃ ｓａｍｐｌｅ)：
【1009】
Ｖ－ＰＣＣトラック内の同期サンプル(任意アクセスポイント)はＶ－ＰＣＣ ＩＲＡＰコーディングされたパッチデータアクセスユニットである。アトラスパラメータセットは必要な場合、任意アクセスのための同期サンプルで繰り返される。
【1010】
ビデオ－符号化されたＶ－ＰＣＣコンポーネントトラック(Ｖｉｄｅｏ－ｅｎｃｏｄｅｄ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋｓ)：
【1011】
ＭＰＥＧ特定のコーデックを使用してコーディングされたビデオトラックの伝達はＩＳＯ ＢＭＦＦの規定に従う。例えば、ＡＶＣ及びＨＥＶＣコーディングされたビデオの伝達はＩＳＯ／ＩＥＣ１４４９６－１５を参照できる。ＩＳＯＢＭＦＦは他のコーデックタイプが必要な場合、拡張メカニズムをさらに提供することができる。
【1012】
プレーヤー側においてポイントクラウドを再構成することなく、特質、ジオメトリ又は占有マップトラックから復号されたフレームをディスプレイすることは意味があるとは認められないので、限られたビデオスキームタイプはかかるビデオ－コーディングされたトラックに対して定義されることができる。
【1013】
限られたビデオスキーム(Ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｓｃｈｅｍｅ)：
【1014】
Ｖ－ＰＣＣコンポーネントビデオトラックは限られたビデオとしてファイル内に表現される。また限られたビデオサンプルエントリーのＲｅｓｔｒｉｃｔｅｄＳｃｈｅｍｅＩｎｆｏＢｏｘのＳｃｈｅｍｅＴｙｐｅＢｏｘのｓｃｈｅｍｅ_ｔｙｐｅフィールド内の'ｐｃｃｖ'値により識別される。
【1015】
特質、ジオメトリ及び占有マップＶ－ＰＣＣコンポーネントを符号化するために使用されるビデオコーデック上の制限(ｒｅｓｔｒｉｃｔｉｏｎ)はない。さらに、かかるコンポーネントは異なるビデオコーデックを使用して符号化される。
【1016】
スキーム情報(Ｓｃｈｅｍｅ ｉｎｆｏｒｍａｔｉｏｎ)：
【1017】
ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘが存在し、ＶＰＣＣＵｎｉｔＨｅａｄｅｒＢｏｘを含む。
【1018】
Ｖ－ＰＣＣコンポーネントトラックの参照(Ｒｅｆｅｒｅｎｃｉｎｇ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋｓ)：
【1019】
Ｖ－ＰＣＣトラックをコンポーネントビデオトラックにリンクするために、３つのＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘｅｓが各コンポーネントのためにＶ－ＰＣＣトラックのＴｒａｃｋＢｏｘ内ＴｒａｃｋＲｅｆｅｒｅｎｃｅＢｏｘに追加される。ＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘはＶ－ＰＣＣトラック参照に関するビデオトラックを指定するｔｒａｃｋ_ＩＤのアレイを含む。ＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘのｒｅｆｅｒｅｎｃｅ_ｔｙｐｅは占有マップ、ジオメトリ、特質又は占有マップなどのコンポーネントのタイプを識別する。トラック参照タイプは以下の通りである：
【1020】
‘ｐｃｃｏ'：参照されたトラックがビデオ－コーディングされた占有マップＶ－ＰＣＣコンポーネントを含む
【1021】
‘ｐｃｃｇ'：参照されたトラックがビデオ－コーディングされたジオメトリＶ－ＰＣＣコンポーネントを含む
【1022】
‘ｐｃｃａ'：参照されたトラックがビデオ－コーディングされた特質Ｖ－ＰＣＣコンポーネントを含む
【1023】
参照された限られたビデオトラックにより伝達され、トラックのＲｅｓｔｒｉｃｔｅｄＳｃｈｅｍｅＩｎｆｏＢｏｘ内でシグナリングされるＶ－ＰＣＣコンポーネントのタイプはＶ－ＰＣＣトラックからトラック参照の参照タイプにマッチングされる。
【1024】
図４３は実施例によるトラック代替及びグルーピングを示す。
【1025】
図４３はＩＳＯＢＭＦＦファイル構造のトラック間代替又はグルーピングが適用される例示である。送信側でカプセル化部２０００４などにより代替又はグルーピングが行われ、受信側でデカプセル化部２０００５などによりパースが行われる。
【1026】
トラック代替及びトラックグルーピング(Ｔｒａｃｋ ａｌｔｅｒｎａｔｉｖｅｓ ａｎｄ ｔｒａｃｋ ｇｒｏｕｐｉｎｇ)：
【1027】
同一のａｌｔｅｒｎａｔｅ_ｇｒｏｕｐ値を有するＶ－ＰＣＣコンポーネントトラックは同一のＶ－ＰＣＣコンポーネントの異なる符号化されたバージョンである。ボリュメトリックビジュアルシーンは代替されてコーディングされる。この場合、互いに代替可能な全てのＶ－ＰＣＣトラックはＴｒａｃｋＨｅａｄｅｒＢｏｘ内の同一のａｌｔｅｒｎａｔｅ_ｇｒｏｕｐ値を有する。
【1028】
同様にＶ－ＰＣＣコンポーネントの１つを示す２Ｄビデオトラックが代替(ａｌｔｅｒｎａｔｉｖｅｓ)に符号化される場合、かかる代替及び代替グループから代替の１つに対するトラック参照があり得る。
【1029】
図４３にはファイル構造に基づくＶ－ＰＣＣコンテンツを構成するＶ－ＰＣＣコンポーネントトラックが示されている。同一のアトラスグループＩＤを有する場合には、ＩＤが１０である場合、１１である場合、また１２である場合がある。特質ビデオである第２トラック及び第５トラックは互いに代替使用でき、第３トラック及び第６トラックは互いにジオメトリビデオとして代替でき、第４トラック及び第７トラックは占有ビデオとして代替できる。
【1030】
Ｖ－ＰＣＣビットストリームのシングルトラックコンテナ(Ｓｉｎｇｌｅ ｔｒａｃｋ ｃｏｎｔａｉｎｅｒ ｏｆ Ｖ－ＰＣＣ Ｂｉｔｓｔｒｅａｍ)：
【1031】
Ｖ－ＰＣＣデータのシングル－トラックカプセル化は、シングル－トラック宣言により表現されるＶ－ＰＣＣ符号化された基本ビットストリームを求める(ａ ｓｉｎｇｌｅ－ｔｒａｃｋ ｅｎｃａｐｓｕｌａｔｉｏｎ ｏｆ Ｖ－ＰＣＣ ｄａｔａ ｒｅｑｕｉｒｅｓ ｔｈｅ Ｖ－ＰＣＣ ｅｎｃｏｄｅｄ ｅｌｅｍｅｎｔａｒｙ ｂｉｔｓｔｒｅａｍ ｔｏ ｂｅ ｒｅｐｒｅｓｅｎｔｅｄ ｂｙ ａ ｓｉｎｇｌｅ－ｔｒａｃｋ ｄｅｃｌａｒａｔｉｏｎ)。
【1032】
ＰＣＣデータのシングルトラックカプセル化は、Ｖ－ＰＣＣ符号化されたビットストリームのシンプルＩＳＯＢＭＦＦのカプセル化の場合に利用される。かかるビットストリームは追加処理なしにシングルトラックにすぐ格納される。Ｖ－ＰＣＣユニットヘッダデータ構造はビットストリーム内にある。Ｖ－ＰＣＣデータのためのシングルトラックコンテナは追加処理(例えば、ｍｕｌｔｉ－ｔｒａｃｋ ｆｉｌｅ ｇｅｎｅｒａｔｉｏｎ, ｔｒａｎｓｃｏｄｉｎｇ, ＤＡＳＨ ｓｅｇｍｅｎｔａｔｉｏｎなど)のためのメディアワークフローに提供される。
【1033】
シングル－トラックカプセル化されたＶ－ＰＣＣデータを含むＩＳＯＢＭＦＦファイルは、ＦｉｌｅＴｙｐｅＢｏｘのｃｏｍｐａｔｉｂｌｅ_ｂｒａｎｄｓ[]リスト内の‘ｐｃｓｔ'を含む。
【1034】
Ｖ－ＰＣＣ基本ストリームトラック(Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｔｒａｃｋ)：
【1035】
Ｓａｍｐｌｅ Ｅｎｔｒｙ Ｔｙｐｅ：‘ｖｐｅ１'、‘ｖｐｅｇ'
【1036】
Ｃｏｎｔａｉｎｅr：ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ
【1037】
Ｍａｎｄａｔｏｒｙ：ａ ‘ｖｐｅ１' ｏｒ ‘ｖｐｅｇ' ｓａｍｐｌｅ ｅｎｔｒｙ ｉｓ ｍａｎｄａｔｏｒｙ
【1038】
Ｑｕａｎｔｉｔｙ：Ｏｎｅ ｏｒ ｍｏｒｅ ｓａｍｐｌｅ ｅｎｔｒｉｅｓ ｍａｙ ｂｅ ｐｒｅｓｅｎｔ
【1039】
Ｖ－ＰＣＣ基本ストリームトラックはサンプルエントリータイプ‘ｖｐｅ１'又は‘ｖｐｅｇ'を有するＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙを使用する。
【1040】
Ｖ－ＰＣＣ基本ストリームサンプルエントリーはＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含む。
【1041】
‘ｖｐｅ１'サンプルエントリーにおいて、全てのアトラスシーケンスパラメータセット、アトラスフレームパラメータセット、ＳＥＩがｓｅｔｕｐＵｎｉｔアレイ内にある。‘ｖｐｅｇ'サンプルエントリーにおいて、アトラスシーケンスパラメータセット、アトラスフレームパラメータセット、ＳＥＩがこのアレイ又はストリーム内に存在する。
【1042】
ボリュメトリックシーケンス(Ｖｏｌｕｍｅｔｒｉｃ Ｓｅｑｕｅｎｃｅｓ)：
【1043】
ｃｌａｓｓ ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｅｘｔｅｎｄｓ ｂｏｘ(‘ｖｐｃｃ'){
【1044】
ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ() ＶＰＣＣＣｏｎｆｉｇ；
【1045】
}
【1046】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍＳａｍｐｌｅＥｎｔｒｙ() ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ(‘ｖｐｅ１'){
【1047】
ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ；
【1048】
ＶＰＣＣＢｏｕｎｄｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ ３ｄ_ｂｂ；
【1049】
}
【1050】
Ｖ－ＰＣＣ基本ストリームサンプルフォーマット(Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｓａｍｐｌｅ ｆｏｒｍａｔ)：
【1051】
Ｖ－ＰＣＣ基本ストリームサンプルは同一のプレゼンテーション時間に属する１つ又は１つ以上のＶ－ＰＣＣユニットで構成される。各々のサンプルはユニークなプレゼンテーション時間、サイズ、期間を有する。サンプルは例えば、同期サンプルであるか、又は他のＶ－ＰＣＣ基本ストリームサンプル上の復号依存的である。
【1052】
Ｖ－ＰＣＣ基本ストリーム同期サンプル(Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｓｙｎｃ ｓａｍｐｌｅ)：
【1053】
Ｖ－ＰＣＣ基本ストリーム同期サンプルは以下の条件を満たす：
【1054】
－独立してデコード可能である。
【1055】
－復号順に同期サンプル後のサンプルは同期サンプルより前のサンプルに対する復号依存を有さない。
【1056】
－復号順に同期サンプル後の全てのサンプルは成功的にデコード可能である。
【1057】
Ｖ－ＰＣＣ基本ストリームサブ－サンプル(Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｓｕｂ－ｓａｍｐｌｅ)：
【1058】
Ｖ－ＰＣＣ基本ストリームサブ－サンプルはＶ－ＰＣＣ基本ストリームサンプル内に含まれるＶ－ＰＣＣユニットである。
【1059】
Ｖ－ＰＣＣ基本ストリームトラックは、Ｖ－ＰＣＣ基本ストリームサブ－サンプルを並べるＭｏｖｉｅＦｒａｇｍｅｎｔＢｏｘｅｓのＴｒａｃｋＦｒａｇｍｅｎｔＢｏｘ内又は各ＳａｍｐｌｅＴａｂｌｅＢｏｘ内のＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘを含む。
【1060】
サブ－サンプルを表現するＶ－ＰＣＣユニットの３２－ビットユニットヘッダは、ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ内のサブ－サンプルエントリーの３２－ビットｃｏｄｅｃ_ｓｐｅｃｉｆｉｃ_ｐａｒａｍｅｔｅｒｓフィールドにコピーされる。各サブ－サンプルのＶ－ＰＣＣユニットタイプは、ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ内のサブ－サンプルエントリーのｃｏｄｅｃ_ｓｐｅｃｉｆｉｃ_ｐａｒａｍｅｔｅｒｓフィールドをパースすることにより識別される。
【1061】
以下、説明する情報は以下のように伝達される。例えば、ポイントクラウドデータが静的(Ｓｔａｔｉｃ)な場合、マルチトラックのＶ３Ｃトラックのサンプルエントリー又はシングルトラックの基本トラックのサンプルエントリーに含まれて送信される。またポイントクラウドデータが動的な場合は、該当情報が別の時間指定メタデータ(ｔｉｍｅｄ ｍｅｔａｄａｔａ)トラックに含まれて送信される。
【1062】
図４４は実施例による３Ｄバウンディングボックス情報構造を示す。
【1063】
図４４は図４０及び図４１によるファイルに含まれる３Ｄバウンディングボックスを示す。例えば、３Ｄバウンディングボックスはポイントクラウドビットストリームのコンテナであるファイルのマルチトラック及び／又はシングルトラックに含まれて伝達される。実施例によるファイル／セグメントカプセル化部２０００４,２１００９、ファイル／セグメントデカプセル化部２０００５,２２０００などにより生成されてパースされる。
【1064】
実施例による３Ｄバウンディングボックス構造は、３ＤバウンディングボックスのＸ、Ｙ、Ｚオフセット及びポイントクラウドデータの３Ｄバウンディングボックスの幅、高さ、深さを含む、ポイントクラウドデータの３Ｄバウンディングボックスを提供する。
【1065】
バウンディングボックスＸ(ｂｂ_ｘ)、バウンディングボックスＹ(ｂｂ_ｙ)、バウンディングボックスＺ(ｂｂ_ｚ)：座標系内のポイントクラウドデータの３Ｄバウンディングボックスの原点(ｏｒｉｇｉｎ ｐｏｓｉｔｉｏｎ)の各々のＸ、Ｙ、Ｚ座標系値を示す。
【1066】
バウンディングボックスデルタＸ(ｂｂ_ｄｅｌｔａ_ｘ)、バウンディングボックスデルタＹ(ｂｂ_ｄｅｌｔａ_ｙ)、バウンディングボックスデルタＺ(ｂｂ_ｄｅｌｔａ_ｚ)：オリジンに対して各Ｘ、Ｙ、Ｚ軸に沿って座標系内のポイントクラウドデータの３Ｄバウンディングボックスの拡張を示す。
【1067】
実施例によるファイル／セグメントカプセル化部２０００４,２１００９、ファイル／セグメントデカプセル化部２０００５,２２０００などは、ポイントクラウドビットストリームのコンテナであるファイルのマルチトラック及び／又はシングルトラックに基づいてポイントクラウドバウンディングボックスを生成してパースする。
【1068】
実施例によるバウンディング情報ボックス(ＶＰＣＣＢｏｕｎｄｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ)は、マルチトラックのＶ－ＰＣＣトラック及び／又はシングルトラックのＶ－ＰＣＣ基本ストリームトラックのサンプルエントリーに存在する。Ｖ－ＰＣＣトラック及び／又はＶ－ＰＣＣ基本ストリームトラックのサンプルエントリー内に存在する場合、バウンディング情報ボックス(ＶＰＣＣＢｏｕｎｄｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ)は関連するか又は伝達されるポイントクラウドデータのオーバーオールバウンディングボックス情報(ｏｖｅｒａｌｌ ｂｏｕｎｄｉｎｇ ｂｏｘ ｉｎｆｏｒｍａｔｉｏｎ)を提供する。
【1069】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＢｏｕｎｄｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ('ｖｐｂｂ',０,０) {
【1070】
３ＤＢｏｕｎｄｉｎｇＢｏｘＩｎｆｏＳｔｒｕｃｔ()；
【1071】
}
【1072】
Ｖ－ＰＣＣトラックがサンプルエントリータイプ'ｄｙｂｂ'を有する関連する時間指定メタデータトラックを有する場合、時間指定メタデータトラックはポイントクラウドデータの動的に変化する３Ｄバウンディングボックス情報を含む。
【1073】
関連する時間指定メタデータトラックはアトラスストリームを伝達するＶ－ＰＣＣトラックを参照する'ｃｄｓｃ'トラックを含む。
【1074】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ Ｄｙｎａｍｉｃ３ＤＢｏｕｎｄｉｎｇＢｏｘＳａｍｐｌｅＥｎｔｒｙ
【1075】
ｅｘｔｅｎｄｓ ＭｅｔａＤａｔａＳａｍｐｌｅＥｎｔｒｙ('ｄｙｂｂ'){
【1076】
ＶＰＣＣＢｏｕｎｄｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ ａｌｌ_ｂｂ；
【1077】
}
【1078】
全バウンディングボックス(ａｌｌ_ｂｂ)：オリジンに対して各Ｘ、Ｙ、Ｚ軸に沿って座標系内のポイントクラウドデータのオーバーオール３Ｄバウンディングボックスの拡張及び原点位置のＸ、Ｙ、Ｚ座標を含むオーバーオール３Ｄバウンディングボックス情報を提供する。
【1079】
サンプルエントリータイプ'ｄｙｂｂ'のサンプルシンタックスは以下の通りである。
【1080】
ａｌｉｇｎｅｄ(８) Ｄｙｎａｍｉｃ３ＤＢｏｕｎｄｉｎｇＢｏｘＳａｍｐｌｅ() {
【1081】
ＶＰＣＣＢｏｕｎｄｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ ３ｄＢＢ；
【1082】
}
【1083】
３Ｄバウンディングボックス(３ｄＢＢ)：サンプル内シグナリングされる３Ｄバウンディングボックス情報を提供する。
【1084】
３Ｄ空間領域構造(３ＤＳｐａｔｉａｌＲｅｇｉｏｎＳｔｒｕｃｔ)はボリュメトリックビジュアルデータの部分接近に関する情報を提供する。
【1085】
３Ｄ空間領域構造及び３Ｄバウンディングボックス構造は、空間領域のＸ、Ｙ、Ｚオフセット及び３Ｄ空間内の空間の幅、高さ、深さを含むボリュメトリックメディア及びボリュメトリックメディアの３Ｄバウンディングボックス情報の空間領域の情報を提供する。
【1086】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ３ＤＰｏｉｎｔ() {
【1087】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ｘ；
【1088】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ｙ；
【1089】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ｚ；
【1090】
}
【1091】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＣｕｂｏｉｄＲｅｇｉｏｎＳｔｒｕｃｔ() {
【1092】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ｃｕｂｏｉｄ_ｄｘ；
【1093】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ｃｕｂｏｉｄ_ｄｙ；
【1094】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ｃｕｂｏｉｄ_ｄｚ；
【1095】
}
【1096】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ３ＤＳｐａｔｉａｌＲｅｇｉｏｎＳｔｒｕｃｔ（ｄｉｍｅｎｓｉｏｎｓ_ｉｎｃｌｕｄｅｄ_ｆｌａｇ) {
【1097】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ３Ｄ_ｒｅｇｉｏｎ_ｉｄ；
【1098】
３ＤＰｏｉｎｔ ａｎｃｈｏｒ；
【1099】
ｉｆ(ｄｉｍｅｎｓｉｏｎｓ_ｉｎｃｌｕｄｅｄ_ｆｌａｇ) {
【1100】
ＣｕｂｏｉｄＲｅｇｉｏｎＳｔｒｕｃｔ()；
【1101】
}
【1102】
}
【1103】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ３ＤＢｏｕｎｄｉｎｇＢｏｘＳｔｒｕｃｔ() {
【1104】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ｂｂ_ｄｘ；
【1105】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ｂｂ_ｄｙ；
【1106】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ｂｂ_ｄｚ；
【1107】
}
【1108】
３Ｄ領域ＩＤ(３ｄ_ｒｅｇｉｏｎ_ｉｄ)：空間領域に対する識別子である。
【1109】
Ｘ、Ｙ、Ｚ：座標系内の３Ｄポイントの各々のＸ、Ｙ、Ｚ座標値を示す。
【1110】
直方体デルタＸ、直方体デルタＹ、直方体デルタＺ(ｂｂ_ｄｘ、ｂｂ_ｄｙ及びｂｂ_ｄｚ)：オリジン(０、０、０)に対する各Ｘ、Ｙ、Ｚ軸に沿って座標系内の全体ボリュメトリックメディアの３Ｄバウンディングボックスの拡張を示す。
【1111】
ディメンション含みフラグ(ｄｉｍｅｎｓｉｏｎｓ_ｉｎｃｌｕｄｅｄ_ｆｌａｇ)：空間領域のディメンションがシグナリングされるか否かを示す。
【1112】
ｄｉｍｅｎｓｉｏｎｓ_ｉｎｃｌｕｄｅｄ_ｆｌａｇが０であると、ディメンションがシグナリングされず、同じ領域に対して以前にシグナリングされることを示す。同一の３Ｄ領域ＩＤ(３ｄ_ｒｅｇｉｏｎ_ｉｄ)を有する３ＤＳｐａｔｉａｌＲｅｇｉｏｎＳｔｒｕｃｔの以前インスタンスがディメンションをシグナリングする。
【1113】
実施例による送信方法／装置は、上述したように、３Ｄバウンディングボックス情報をＶ３Ｃトラックに含めて送信し、実施例による受信方法／装置は、Ｖ３Ｃトラックに基づいて３Ｄバウンディングボックス情報を効率的に得ることができる。
【1114】
即ち、実施例はビットストリームの効率的な伝達及び復号のためにファイルコンテナを提案し、ファイルコンテナ内のトラックに３Ｄバウンディングボックスの位置及び／又はサイズ情報を含めて伝達することにより、ポイントクラウドデータの空間或いは部分接近が可能である。また全体ビットストリームを復号する必要がなく、ファイル内のトラックをデカプセル化してパースし、所望の空間データを迅速に得ることができる。
【1115】
実施例による方法／装置は、実施例による３Ｄバウンディングボックス情報を実施例によるトラックのサンプルエントリー及び／又はサンプルに伝達する。
【1116】
実施例によるサンプル(例えば、サンプルエントリータイプ'ｄｙｂｂ'のサンプルシンタックス)が３Ｄバウンディングボックス情報を伝達する場合、時間によって変化すバウンディングボックスに関する情報をシグナリングすることができる。即ち、該当サンプルが復号される時点でのバウンディングボックス情報をシグナリングすることにより、該当時点での細かい空間的接近を支援できるという効果がある。
【1117】
図４５は実施例による非－時間指定Ｖ－ＰＣＣデータをカプセル化する構造の概略を示す。
【1118】
【1119】
実施例によるポイントクラウドデータ送受信方法／装置及び送受信装置に含まれたシステムは、非－時間指定Ｖ－ＰＣＣデータ(Ｎｏｎ－ｔｉｍｅｄ Ｖ－ＰＣＣ ｄａｔａ)を図４５のようにカプセル化して送受信する。
【1120】
実施例によるポイントクラウドデータがイメージである場合、図１のポイントクラウドビデオエンコーダ１０００２(又は図４のエンコーダ、図１５のエンコーダ、図１８の送信装置、図２０のプロセッサ２０００１、イメージエンコーダ２０００３、図２１のプロセッサ、及びイメージエンコーダ２１００８)がイメージを符号化し、ファイル／セグメントカプセル化部１０００３(又は図２０のファイル／セグメントカプセル化部２０００４、図２１のファイル／セグメントカプセル化部２１００９)が図４５のようなコンテナ(アイテム)にイメージ及びイメージ関連情報を格納し、送信機１０００４がコンテナを送信する。
【1121】
同様に図１の受信機が図４５のコンテナを受信し、ファイル／セグメントデカプセル化部１０００７(又は図２０のファイル／セグメントデカプセル化部２０００５、ファイル／セグメントデカプセル化部２２０００)がコンテナをパースする。図１のポイントクラウドビデオデコーダ１０００８(又は図１６のデコーダ、図１７のデコーダ、図１９の受信装置又はイメージデコーダ２０００６、イメージデコーダ２２００２)がアイテムに含まれたイメージを復号してユーザに提供する。
【1122】
実施例によるイメージは停止映像である。実施例による方法／装置はイメージに対するポイントクラウドデータを送受信する。実施例による方法／装置は図４５のようなデータコンテナ構造に基づいてイメージをアイテムに格納して送受信する。またイメージに関する属性情報などはイメージプロパティなどに格納できる。
【1123】
ノンタイムＶ－ＰＣＣデータはイメージアイテムとしてファイル内に格納される。２つの新しいアイテムタイプ(Ｖ－ＰＣＣアイテム及びＶ－ＰＣＣユニットアイテム)はノンタイムＶ－ＰＣＣデータをカプセル化するために定義される。
【1124】
新しいハンドラータイプ４ＣＣコード‘ｖｐｃｃ'はＶ－ＰＣＣアイテム、Ｖ－ＰＣＣユニットアイテム及び他のＶ－ＰＣＣ符号化されたコンテンツ表現情報の存在を示すために、メタボックス(ＭｅｔａＢｏｘ)のハンドラーボックス(ＨａｎｄｌｅｒＢｏｘ)内に定義されて格納される
【1125】
Ｖ－ＰＣＣアイテム(Ｖ－ＰＣＣ Ｉｔｅｍｓ,４５０００)：Ｖ－ＰＣＣアイテムは独立して復号可能なＶ－ＰＣＣアクセスユニットを示すアイテムである。アイテムタイプ‘ｖｐｃｉ'はＶ－ＰＣＣアイテムを識別するために定義される。Ｖ－ＰＣＣアイテムはアトラスサブビットストリームのＶ－ＰＣＣユニットペイロードを格納する。一次アイテムボックス(ＰｒｉｍａｒｙＩｔｅｍＢｏｘ)が存在すると、このボックス内のアイテムＩＤ(ｉｔｅｍ_ｉｄ)はＶ－ＰＣＣアイテムを示すためにセットされる。
【1126】
Ｖ－ＰＣＣユニットアイテム(Ｖ－ＰＣＣ Ｕｎｉｔ Ｉｔｅｍ,４５０１０)：Ｖ－ＰＣＣユニットアイテムはＶ－ＰＣＣユニットデータを示すアイテムである。占有、ジオメトリ及び特質ビデオデータユニットのＶ－ＰＣＣユニットアイテムは、Ｖ－ＰＣＣユニットペイロードを格納する。Ｖ－ＰＣＣユニットアイテムはただ１つのＶ－ＰＣＣアクセスユニット関連データだけを格納する。
【1127】
Ｖ－ＰＣＣユニットアイテムに対するアイテムタイプは対応するビデオデータユニットを符号化するために使用されるコーデックによりセットされる。Ｖ－ＰＣＣユニットアイテムは対応するＶ－ＰＣＣユニットヘッダアイテムプロパティ(Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)及びコーデック特定の構成アイテムプロパティ(ｃｏｄｅｃ ｓｐｅｃｉｆｉｃ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)に関連がある。独立してディスプレイすることは意味がないので、Ｖ－ＰＣＣユニットアイテムは隠しアイテムで表示される。
【1128】
Ｖ－ＰＣＣアイテム及びＶ－ＰＣＣユニットアイテム間の関係を示すために、以下の３つのアイテム参照タイプが使用される。アイテム参照はＶ－ＰＣＣアイテムから関連するＶ－ＰＣＣユニットアイテムにより定義される。
【1129】
‘ｐｃｃｏ'：参照されたＶ－ＰＣＣユニットアイテムは占有ビデオデータユニットを含む。
【1130】
‘ｐｃｃｇ'：参照されたＶ－ＰＣＣユニットアイテムはジオメトリビデオデータユニットを含む。
【1131】
‘ｐｃｃａ'：参照されたＶ－ＰＣＣユニットアイテムは特質ビデオデータユニットを含む。
【1132】
Ｖ－ＰＣＣ構成アイテムプロパティ(Ｖ－ＰＣＣ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ,４５０２０)
【1133】
ｂｏｘ Ｔｙｐｅｓ：‘ｖｐｃｐ'
【1134】
Ｐｒｏｐｅｒｔｙ ｔｙｐｅ：Ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｙ
【1135】
Ｃｏｎｔａｉｎｅｒ：ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ
【1136】
Ｍａｎｄａｔｏｒｙ(ｐｅｒ ｉｔｅｍ)：Ｙｅｓ, ｆｏｒ ａ Ｖ－ＰＣＣ ｉｔｅｍ ｏｆ ｔｙｐｅ ‘ｖｐｃｉ'
【1137】
Ｑｕａｎｔｉｔｙ(ｐｅｒ ｉｔｅｍ)：Ｏｎｅ ｏｒ ｍｏｒｅ ｆｏｒ ａ Ｖ－ＰＣＣ ｉｔｅｍ ｏｆ ｔｙｐｅ ‘ｖｐｃｉ'
【1138】
Ｖ－ＰＣＣ構成アイテムプロパティのボックスタイプは‘ｖｐｃｐ'であり、プロパティタイプは記述的アイテムプロパティである。コンテナはアイテムプロパティコンテナボックスである。アイテムごとのタイプ‘ｖｐｃｉ'のＶ－ＰＣＣタイプについて必須である。アイテムごとのタイプ‘ｖｐｃｉ'のＶ－ＰＣＣアイテムに対して１つ又はそれ以上が存在する。
【1139】
Ｖ－ＰＣＣパラメータセットはこの記述的アイテムプロパティとして格納され、Ｖ－ＰＣＣアイテムに連関がある。
【1140】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ｖｐｃｃ_ｕｎｉｔ_ｐａｙｌｏａｄ_ｓｔｒｕｃｔ(){
【1141】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ｖｐｃｃ_ｕｎｉｔ_ｐａｙｌｏａｄ_ｓｉｚｅ；
【1142】
ｖｐｃｃ_ｕｎｉｔ_ｐａｙｌｏａｄ()；
【1143】
}
【1144】
Ｖ－ＰＣＣユニットペイロードサイズ(ｖｐｃｃ_ｕｎｉｔ_ｐａｙｌｏａｄ_ｓｉｚｅ)：ｖｐｃｃ_ｕｎｉｔ_ｐａｙｌｏｄ()のバイトサイズを示す。
【1145】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＰｒｏｐｅｒｔｙ ｅｘｔｅｎｄｓ ＩｔｅｍＰｒｏｐｅｒｔｙ(‘ｖｐｃｃ'){
【1146】
ｖｐｃｃ_ｕｎｉｔ_ｐａｙｌｏａｄ_ｓｔｒｕｃｔ()[]；
【1147】
}
【1148】
Ｖ－ＰＣＣユニットペイロード(ｖｐｃｃ_ｕｎｉｔ_ｐａｙｌｏｄ())はタイプＶＰＣＣ_ＶＰＳのＶ－ＰＣＣユニットを含む。
【1149】
Ｖ－ＰＣＣユニットヘッダアイテムプロパティ(Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ ｉｔｅｍ ｐｒｏｐｅｒｔｙ,４５０３０)
【1150】
ｂｏｘ Ｔｙｐｅｓ：‘ｖｕｎｔ'
【1151】
Ｐｒｏｐｅｒｔｙ ｔｙｐｅ：Ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｙ
【1152】
Ｃｏｎｔａｉｎｅｒ：ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ
【1153】
Ｍａｎｄａｔｏｒｙ (ｐｅｒ ｉｔｅｍ)：Ｙｅｓ, ｆｏｒ ａ Ｖ－ＰＣＣ ｉｔｅｍ ｏｆ ｔｙｐｅ ‘ｖｐｃＩ' ａｎｄ ｆｏｒ ａ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍ
【1154】
Ｑｕａｎｔｉｔｙ(ｐｅｒ ｉｔｅｍ)：Ｏｎｅ
【1155】
Ｖ－ＰＣＣユニットヘッダアイテムプロパティのボックスタイプは‘ｖｕｎｔ'であり、プロパティタイプは記述的アイテムプロパティであり、コンテナはアイテムプロパティコンテナボックスである。アイテムごとのＶ－ＰＣＣユニットアイテム及びタイプ‘ｖｐｃｉ'のＶ－ＰＣＣアイテムについて必須である。アイテムごとに１つ存在する。
【1156】
Ｖ－ＰＣＣユニットヘッダは記述的アイテムプロパティとして格納され、Ｖ－ＰＣＣアイテム及びＶ－ＰＣＣユニットアイテムに関連がある。
【1157】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＵｎｉｔＨｅａｄｅｒＰｒｏｐｅｒｔｙ() ｅｘｔｅｎｄｓ ＩｔｅｍＦｕｌｌＰｒｏｐｅｒｔｙ(‘ｖｕｎｔ', ｖｅｒｓｉｏｎ＝０, ０){
【1158】
ｖｐｃｃ_ｕｎｉｔ_ｈｅａｄｅｒ()；
【1159】
}
【1160】
図４５の構造に基づいて、実施例による方法／装置／システムはノンタイムポイントクラウドデータを伝達する。
【1161】
ノンタイムビデオ基盤のポイントクラウドデータの伝達(Ｃａｒｒｉａｇｅ ｏｆ ｎｏｎ－ｔｉｍｅｄ Ｖｉｄｅｏ－ｂａｓｅｄ ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ Ｄａｔａ)
【1162】
イメージアイテムとしてファイル内のノンタイムＶ－ＰＣＣデータが格納される。Ｖ－ＰＣＣアイテム、Ｖ－ＰＣＣユニットアイテム及び他のＶ－ＰＣＣ符号化されたコンテンツ表現情報の存在を示すために、新しいハンドルでタイプ４ＣＣコード‘ｖｐｃｃ'が定義され、メタボックスのハンドラーボックス内に格納される。
【1163】
実施例によるアイテムはイメージを示す。例えば、動かないデータであり、１枚のイメージを称する。
【1164】
実施例による方法／装置は、図４５に示すように、ノンタイムＶ－ＰＣＣデータをカプセル化するための構造に基づいて実施例によるデータを生成して送信する。
【1165】
Ｖ－ＰＣＣアイテム(Ｖ－ＰＣＣ Ｉｔｅｍｓ)
【1166】
Ｖ－ＰＣＣアイテムは独立して復号可能なＶ－ＰＣＣアクセスユニットを示すアイテムである。新しいアイテムタイプは４ＣＣコード‘ｖｐｃｉ'はＶ－ＰＣＣアイテムを識別するために定義される。Ｖ－ＰＣＣアイテムはアトラスサブビットストリームのＶ－ＰＣＣユニットペイロードを格納する。
【1167】
一次アイテムボックス(ＰｒｉｍａｒｙＩｔｅｍＢｏｘ)が存在すると、このボックス内のアイテムＩＤ(ｉｔｅｍ_ｉｄ)がＶ－ＰＣＣアイテムを示すために設定される。
【1168】
Ｖ－ＰＣＣユニットアイテム(Ｖ－ＰＣＣ Ｕｎｉｔ Ｉｔｅｍ)
【1169】
Ｖ－ＰＣＣユニットアイテムはＶ－ＰＣＣユニットデータを示すアイテムである。
【1170】
Ｖ－ＰＣＣユニットアイテムは占有、ジオメトリ、特質ビデオデータユニットのＶ－ＰＣＣユニットペイロードを格納する。Ｖ－ＰＣＣユニットアイテムはただ１つのＶ－ＰＣＣアクセスユニット関連のデータを含む。
【1171】
Ｖ－ＰＣＣユニットアイテムに対するアイテムタイプ４ＣＣコードは対応するビデオデータユニットを符号化するために使用されるコーデックに基づいて設定される。Ｖ－ＰＣＣユニットアイテムは対応するＶ－ＰＣＣユニットヘッダアイテムプロパティ及びコーデック特定の構成アイテムプロパティに連関がある。
【1172】
Ｖ－ＰＣＣユニットアイテムは隠しアイテムとしてマーキングされる。独立してディスプレイすることは意味がないこともあるためである。
【1173】
Ｖ－ＰＣＣアイテム及びＶ－ＰＣＣユニットの間の関係を示すために、３つの新しいアイテム参照タイプ、４ＣＣコード‘ｐｃｃｏ'、‘ｐｃｃｇ'及び‘ｐｃｃａ'が定義される。アイテム参照はＶ－ＰＣＣアイテムから関連するＶ－ＰＣＣユニットアイテムにより定義される。アイテム参照タイムの４ＣＣコードは以下の通りである。
【1174】
‘ｐｃｃｏ'：占有ビデオデータユニットを含む参照されたＶ－ＰＣＣユニットアイテム
【1175】
‘ｐｃｃｇ'：参照されたＶ－ＰＣＣユニットアイテムはジオメトリビデオデータユニットを含む。
【1176】
‘ｐｃｃａ'：参照されたＶ－ＰＣＣユニットアイテムは特質ビデオデータユニットを含む。
【1177】
Ｖ－ＰＣＣ関連のアイテム特性(Ｖ－ＰＣＣ－ｒｅｌａｔｅｄ ｉｔｅｍ ｐｒｏｐｅｒｔｉｅｓ)
【1178】
記述的アイテム特性はＶ－ＰＣＣパラメータセット情報及びＶ－ＰＣＣユニットヘッダ情報のそれぞれを伝達するために定義される。
【1179】
Ｖ－ＰＣＣ構成アイテムプロパティ(Ｖ－ＰＣＣ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)
【1180】
Ｂｏｘ Ｔｙｐｅｓ：‘ｖｐｃｐ'
【1181】
Ｐｒｏｐｅｒｔｙ ｔｙｐｅ：Ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｙ
【1182】
Ｃｏｎｔａｉｎｅｒ：ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ
【1183】
Ｍａｎｄａｔｏｒｙ(ｐｅｒ ｉｔｅｍ)：Ｙｅｓ, ｆｏｒ ａ Ｖ－ＰＣＣ ｉｔｅｍ ｏｆ ｔｙｐｅ ‘ｖｐｃｉ'
【1184】
Ｑｕａｎｔｉｔｙ(ｐｅｒ ｉｔｅｍ)：Ｏｎｅ ｏｒ ｍｏｒｅ ｆｏｒ ａ Ｖ－ＰＣＣ ｉｔｅｍ ｏｆ ｔｙｐｅ ‘ｖｐｃｉ'
【1185】
Ｖ－ＰＣＣパラメータセットは記述的アイテムプロパティとして格納され、Ｖ－ＰＣＣアイテムに連関がある。
【1186】
必須(ｅｓｓｅｎｔｉａｌ)は‘ｖｐｃｐ'アイテムプロパティに対して１に設定される。
【1187】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ｖｐｃｃ_ｕｎｉｔ_ｐａｙｌｏａｄ_ｓｔｒｕｃｔ(){
【1188】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ｖｐｃｃ_ｕｎｉｔ_ｐａｙｌｏａｄ_ｓｉｚｅ；
【1189】
ｖｐｃｃ_ｕｎｉｔ_ｐａｙｌｏａｄ()；
【1190】
}
【1191】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＰｒｏｐｅｒｔｙ
【1192】
ｅｘｔｅｎｄｓ ＩｔｅｍＰｒｏｐｅｒｔｙ(‘ｖｐｃｃ'){
【1193】
ｖｐｃｃ_ｕｎｉｔ_ｐａｙｌｏａｄ_ｓｔｒｕｃｔ()[]；
【1194】
}
【1195】
Ｖ－ＰＣＣユニットペイロードサイズ(ｖｐｃｃ_ｕｎｉｔ_ｐａｙｌｏａｄ_ｓｉｚｅ)：ｖｐｃｃ_ｕｎｉｔ_ｐａｙｌｏｄ()のバイト内サイズを示す。
【1196】
Ｖ－ＰＣＣユニットヘッダアイテムプロパティ(Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)
【1197】
ｂｏｘ Ｔｙｐｅｓ：‘ｖｕｎｔ'
【1198】
Ｐｒｏｐｅｒｔｙ ｔｙｐｅ：Ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｙ
【1199】
Ｃｏｎｔａｉｎｅｒ：ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ
【1200】
Ｍａｎｄａｔｏｒｙ(ｐｅｒ ｉｔｅｍ)：Ｙｅｓ, ｆｏｒ ａ Ｖ－ＰＣＣ ｉｔｅｍ ｏｆ ｔｙｐｅ ‘ｖｐｃｉ' ａｎｄ ｆｏｒ ａ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍ
【1201】
Ｑｕａｎｔｉｔｙ(ｐｅｒ ｉｔｅｍ)：Ｏｎｅ
【1202】
Ｖ－ＰＣＣユニットヘッダは記述的アイテムプロパティとして格納され、Ｖ－ＰＣＣアイテム及びＶ－ＰＣＣユニットアイテムに連関がある。
【1203】
必須は‘ｖｕｎｔ'アイテムプロパティに対して１に設定される。
【1204】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＵｎｉｔＨｅａｄｅｒＰｒｏｐｅｒｔｙ(){
【1205】
ｅｘｔｅｎｄｓ ＩｔｅｍＦｕｌｌＰｒｏｐｅｒｔｙ(‘ｖｕｎｔ', ｖｅｒｓｉｏｎ＝０, ０){
【1206】
ｖｐｃｃ_ｕｎｉｔ_ｈｅａｄｅｒ()；
【1207】
}
【1208】
図４６は実施例によるＶ－ＰＣＣ ３Ｄバウンディングボックスアイテムプロパティを示す。
【1209】
【1210】
Ｖ－ＰＣＣ ３Ｄバウンディングボックスアイテムプロパティ(Ｖ－ＰＣＣ ３Ｄ ｂｏｕｎｄｉｎｇ ｂｏｘ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)
【1211】
ｂｏｘ Ｔｙｐｅｓ：‘ｖ３ｄｄ'
【1212】
Ｐｒｏｐｅｒｔｙ ｔｙｐｅ：Ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｙ
【1213】
Ｃｏｎｔａｉｎｅｒ：ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ
【1214】
Ｍａｎｄａｔｏｒｙ(ｐｅｒ ｉｔｅｍ)：Ｙｅｓ, ｆｏｒ ａ Ｖ－ＰＣＣ ｉｔｅｍ ｏｆ ｔｙｐｅ ‘ｖｐｃｉ' ａｎｄ ｆｏｒ ａ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍ
【1215】
Ｑｕａｎｔｉｔｙ(ｐｅｒ ｉｔｅｍ)：Ｏｎｅ
【1216】
３Ｄバウンディング情報は記述的アイテムプロパティとして格納され、Ｖ－ＰＣＣアイテム及びＶ－ＰＣＣユニットアイテムに連関がある。
【1217】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣ３ＤＢｏｕｎｄｉｎｇＢｏｘＩｎｆｏＰｒｏｐｅｒｔｙ(){
【1218】
ｅｘｔｅｎｄｓ ＩｔｅｍＦｕｌｌＰｒｏｐｅｒｔｙ(‘Ｖ３ＤＤ', ｖｅｒｓｉｏｎ＝０, ０){
【1219】
３ＤＢｏｕｎｄｉｎｇＢｏｘＩｎｆｏＳｔｒｕｃｔ()；
【1220】
}
【1221】
実施例による提案方式においてポイントクラウドコンテンツサービスを提供するための送信機又は受信機は、上述したようにＶ－ＰＣＣビットストリームを構成してファイルを格納する。
【1222】
Ｖ－ＰＣＣビットストリーム内データ処理及びレンダリングのためのメタデータをビットストリーム内に送信する。
【1223】
プレーヤーなどがユーザビューポートなどによってポイントクラウド客体／コンテンツの空間或いは部分接近できるようにする。言い換えれば、上述したデータ表現方式はポイントクラウドビットストリームに効率的に接近できる効果を提供する。
【1224】
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドコンテンツ(例えば、Ｖ－ＰＣＣコンテンツ)に対する部分接近及び／又は空間接近のためのバウンディングボックス及びこのためのシグナリング情報を提供して、実施例によるポイントクラウドデータ受信装置がプレーヤー又はユーザ環境を考慮してポイントクラウドコンテンツを様々にアクセスできる効果を提供する。
【1225】
実施例による方法／装置は、トラック或いはアイテム内のポイントクラウドビデオ／イメージの３Ｄバウンディングボックス情報を格納し、それをシグナリングする。またトラック或いはアイテム内のポイントクラウドビデオ／イメージの視聴情報(視聴位置、視聴オリエンテーション、視聴方向など)関連情報を格納し、それをシグナリングする。また視聴情報及び３Ｄバウンディングボックス情報に連関するトラック／アイテムをグルーピングし、それを参照するシグナリングを行う。
【1226】
格納されたＶ－ＰＣＣビットストリームに対する効率的な接近を支援するためのファイル格納技法を処理するポイントクラウドコンテンツサービスを提供するための送信機又は受信機を提案する。
【1227】
ポイントクラウドデータ(ビデオ或いはイメージ)の３Ｄバウンディングボックスが静的であるか又は時間によって動的に変化する。ユーザのビューポート及び／又はポイントクラウドデータ(ビデオ或いはイメージ)の視聴情報などによってポイントクラウドデータを構成し、シグナリングする方案が必要である。
【1228】
この明細書で使用する用語の定義は以下の通りである。ＶＰＳ：Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＡＤ：ａｔｌａｓ ｄａｔａ、ＯＶＤ：ｏｃｃｕｐａｎｃｙ ｖｉｄｅｏ ｄａｔａ、ＧＶＤ：ｇｅｏｍｅｔｒｙ ｖｉｄｅｏ ｄａｔａ、ＡＶＤ：ａｔｔｒｉｂｕｔｅ ｖｉｄｅｏ ｄａｔａ、ＡＣＬ：Ａｔｌａｓ Ｃｏｄｉｎｇ Ｌａｙｅｒ
【1229】
ＡＡＰＳ：Ａｔｌａｓ Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ。カメラパラメータを含む。例えば、カメラ位置、回転、スケール及びカメラモデル、アトラスサブビットストリームのパートに連関するデータなどがある。
【1230】
ＡＳＰＳ：ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ。各々のタイルグループヘッダ内のシンタックス要素と称されるＡＳＰＳ内のシンタックス要素のコンテンツにより決定されるゼロ又は１つ以上の全体コーディングされたアトラスシーケンス(ｃｏｄｅｄ ａｔｌａｓ ｓｅｑｕｅｎｃｅｓ、ＣＡＳｓ)に適用されるシンタックス要素を含むシンタックス構造である。
【1231】
ＡＦＰＳ：ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔ。タイルグループヘッダ内のシンタックス要素のコンテンツにより決定されるゼロ又は１つ以上の全体コーディングされたアトラスフレームに適用されるシンタックス要素を含むシンタックス構造である。
【1232】
ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ
【1233】
アトラス(Ａｔｌａｓ)：２Ｄバウンディングボックスの集合である。即ち、パッチである。３Ｄ空間の３次元バウンディングボックスに対応する矩形フレームにプロジェクションされる。ポイントクラウドのサブセットを示す。
【1234】
アトラスサブ－ビットストリーム(Ａｔｌａｓ ｓｕｂ－ｂｉｔｓｔｒｅａｍ)：アトラスＮＡＬビットストリームの部分を含むＶ－ＰＣＣビットストリームから抽出されたサブ－ビットストリームである。
【1235】
Ｖ－ＰＣＣコンテンツ：ポイントクラウドであり、ビデオ基盤のポイントクラウド圧縮(ｖｉｄｅｏ－ｃｏｄｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ、Ｖ－ＰＣＣ)に基づいて符号化される。
【1236】
Ｖ－ＰＣＣトラック：Ｖ－ＰＣＣビットストリームのアトラスビットストリームを伝達するボリュメトリックビジュアルトラックである。
【1237】
Ｖ－ＰＣＣコンポーネントトラック(Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋ)：Ｖ－ＰＣＣビットストリームの占有マップ、ジオメトリ又は特質コンポーネントビデオビットストリームに対する２Ｄビデオ符号化されたデータを伝達するビデオトラックである。
【1238】
ポイントクラウドデータ(ビデオ或いはイメージ)の３Ｄバウンディングボックスは静的であるか或いは時間によって動的に変化する。ユーザのビューポートなどによってファイル内のポイントクラウドデータを含むトラック或いはアイテムなどを選択するか、或いはトラック又はアイテム内のデータをパース／復号／レンダリングするためにポイントクラウドデータの３Ｄバウンディングボックス情報が使用される。実施例による方法／装置は、ポイントクラウドデータの３Ｄバウンディングボックス情報をトラック或いはアイテム内に格納或いはシグナリングする。３Ｄバウンディングボックスの変化する属性によって３Ｄバウンディングボックス情報をサンプルエントリー、トラックグループ、サンプルグループ、或いは別のメタデータトラックに含めて伝達する。
【1239】
ポイントクラウドデータ(ビデオ或いはイメージ)の視聴情報(視聴位置、視聴オリエンテーション、視聴方向など)が静的であるか或いは時間によって動的に変化する。ユーザに効果的にポイントクラウドビデオデータを提供するために、実施例による方法／装置は該当視聴情報をトラック或いはアイテム内に格納或いはシグナリングする。視聴情報の変化する属性によって該当情報をサンプルエントリー、トラックグループ、サンプルグループ、或いは別のメタデータトラックに含めて伝達する。
【1240】
図２６及び図２７を参照すると、各々のＶ－ＰＣＣユニットはＶ－ＰＣＣユニットヘッダ及びＶ－ＰＣＣユニットペイロードを有する。Ｖ－ＰＣＣユニットヘッダはＶ－ＰＣＣユニットタイプを説明する。特質ビデオデータＶ－ＰＣＣユニットヘッダは特質タイプ及びそのインデックスを説明する。支援される同一の特質タイプのマルチインスタンスが可能である。占有、ジオメトリ、特質ビデオデータユニットペイロードはビデオデータユニットに対応する。例えば、ＨＥＶＣ ＮＡＬユニットである。かかるユニットは適切なビデオデコーダにより復号される。
【1241】
Ｖ－ＰＣＣビットストリームはＶ－ＰＣＣシーケンスのシリーズを含む。ｖｐｃｃ_ＶＰＳと同一のｖｕｈ_ｕｎｉｔ_ｔｙｐｅの値を有するＶ－ＰＣＣユニットタイプは、Ｖ－ＰＣＣシーケンス内の１番目のＶ－ＰＣＣユニットタイプである。全ての他のＶ－ＰＣＣユニットタイプはそれらのコーディング順序内の追加制限なしに、そのユニットタイプに従う。占有ビデオ、特質ビデオ又はジオメトリビデオを伝達するＶ－ＰＣＣユニットのＶ－ＰＣＣユニットペイロードは１つ又は１つ以上のＮＡＬユニットで構成される。
【1242】
図４７は実施例によるＶ－ＰＣＣユニットを示す。
【1243】
【1244】
【1245】
ＶＵＨ特質パーティションインデックス(ｖｕｈ_ａｔｔｒｉｂｕｔｅ_ｐａｒｔｉｔｉｏｎ_ｉｎｄｅｘ)：特質ビデオデータユニット内に伝達される特質ディメンショングループのインデックスを示す。
【1246】
ＶＵＨ付加ビデオフラグ(ｖｕｈ_ａｕｘｉｌｉａｒｙ_ｖｉｄｅｏ_ｆｌａｇ)：この値が１であると、関連するジオメトリ又は特質ビデオデータユニットがＲＡＷ及び／又はＥＯＭコーディングされたポイントビデオのみであることを示す。この値が０であると、関連するジオメトリ又は特質ビデオデータユニットがＲＡＷ及び／又はＥＯＭコーディングされたポイントを含むことを示す。
【1247】
図４８は実施例によるＶ－ＰＣＣパラメータセットを示す。
【1248】
【1249】
【1250】
付加ビデオ存在フラグ(ａｕｘｉｌｉａｒｙ_ｖｉｄｅｏ_ｐｒｅｓｅｎｔ_ｆｌａｇ[ｊ])：この値が１であると、インデックスＪを有するアトラスに関する付加情報、即ち、ＲＡＷ又はＥＯＭパッチデータが付加ビデオストリームと称される個別ビデオストリームに格納されることを示す。この値が０であると、インデックスJを有するアトラスに関する付加情報が個別ビデオストリームに格納されないことを示す。
【1251】
ＶＰＳ拡張存在フラグ(ｖｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：この値が１であると、シンタックス要素ｖｐｓ_ｅｘｔｅｎｓｉｏｎ_ｌｅｎｇｔｈがｖｐｃｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔシンタックス構造内に存在することを示す。この値が０であると、シンタックス要素ｖｐｓ_ｅｘｔｅｎｓｉｏｎ_ｌｅｎｇｔｈが存在しないことを示す。
【1252】
ＶＰＳ拡張長さ(ｖｐｓ_ｅｘｔｅｎｓｉｏｎ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１)：この値に１を加えると、このシンタックス要素に従うｖｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｂｙｔｅ要素の数を示す。
【1253】
ＶＰＳ拡張データバイト(ｖｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｂｙｔｅ)は様々な値を有する。
【1254】
図４９は実施例によるアトラスフレームを示す。
【1255】
図４９は図１のエンコーダ１０００２、図４のエンコーダ、図１５のエンコーダ、図１８の送信装置、及び図２０及び図２１のシステムなどにより符号化されるタイルを含むアトラスフレームを示し、図１のデコーダ１０００８、図１６及び図１７のデコーダ、図１９の受信装置、及び図２３のシステムなどにより復号されるタイルを含むアトラスフレームを示す。
【1256】
アトラスフレームは１つ又は１つ以上のタイル行及び１つ又は１つ以上のタイル列に分けられる。タイルはアトラスフレームの矩形領域である。タイルグループはアトラスフレームの複数のタイルを含む。タイル及びタイルグループは互いに区別されず、タイルグループが１つのタイルに対応する。ただ矩形タイルグループが支援される。このモードにおいて、タイルグループ(又はタイル)がアトラスフレームの矩形領域を集合的にアトラスフレームの複数のタイルを含む。図４９は実施例によるアトラスフレームのタイル又はタイルグループ分割を示す。アトラスフレームの２４個のタイル(６個のタイル列及び４個のタイル行)及び９個の矩形タイルグループを図４９に示す。実施例によるタイルグループ及びタイルの区別なしに、タイルグループがタイルに対応する用語として使用される。
【1257】
即ち、実施例によって、タイルグループ４９０００はタイル４９０１０に対応し、タイル４９０１０と称される。またタイル４９０１０はタイルパーティションに対応し、タイルパーティションと称される。シグナリング情報の名称もこのような相互補完的な対応関係によって変更して称することができる。
【1258】
図５０は実施例によるアトラスビットストリームの構造を示す。
【1259】
【1260】
実施例で使用する用語‘サブ’は一部を意味するものと解釈できる。実施例によって、サブビットストリームはビットストリームとも解釈される。
【1261】
実施例によるアトラスビットストリームはサンプルストリームＮＡＬヘッダ、サンプルストリームＮＡＬユニットを含む。
【1262】
実施例によるサンプルストリームＮＡＬユニットはＡＰＳＰ、ＡＡＰＳ、ＡＦＰＳ、１つ又は１つ以上のアトラスタイルグループ、１つ又は１つ以上の必須ＳＥＩ、１つ又は１つ以上の非－必須ＳＥＩをそれぞれ含む。
【1263】
以下、図５０のアトラスビットストリームに含まれる情報のシンタックスについて説明する。
【1264】
図５１は実施例によるポイントクラウドデータを含むビットストリームに含まれるサンプルストリームＮＡＬユニットのヘッダ、サンプルストリームＮＡＬユニット、ＮＡＬユニット、ＮＡＬユニットのヘッダを示す。
【1265】
【1266】
サンプルストリームＮＡＬユニットヘッダユニット精度バイト(ｓｓｎｈ_ｕｎｉｔ_ｓｉｚｅ_ｐｒｅｃｉｓｉｏｎ_ｂｙｔｅｓ_ｍｉｎｕｓ１)：この値に１を加えると、バイト内、全てのサンプルストリームＮＡＬユニット内のサンプルストリームのＮＡＬユニットサイズ(ｓｓｎｕ_ｎａｌ_ｕｎｉｔ_ｓｉｚｅ)要素の正確度を示す。サンプルストリームＮＡＬユニットヘッダユニット精度バイト(ｓｓｎｈ_ｕｎｉｔ_ｓｉｚｅ_ｐｒｅｃｉｓｉｏｎ_ｂｙｔｅｓ_ｍｉｎｕｓ１)は０ないし７の範囲内である。
【1267】
サンプルストリームＮＡＬユニットＮＡＬユニットサイズ(ｓｓｎｕ_ｎａｌ_ｕｎｉｔ_ｓｉｚｅ)：続くＮＡＬユニットのバイト内のサイズを示す。サンプルストリームＮＡＬユニットサイズを示すために使用されるビットの数は(ｓｓｎｈ_ｕｎｉｔ_ｓｉｚｅ_ｐｒｅｃｉｓｉｏｎ_ｂｙｔｅｓ_ｍｉｎｕｓ１＋１)＊８である。
【1268】
ＮＡＬユニット番号(ＮｕｍＢｙｔｅｓＩｎＮａｌＵｎｉｔ)：バイト内のＮＡＬユニットのサイズを示す。
【1269】
バイト数(ＮｕｍＢｙｔｅｓＩｎＲｂｓｐ)：ＮＡＬユニットのペイロードに属するバイトであり、０に初期値される。
【1270】
バイト(ｒｂｓｐ_ｂｙｔｅ[ｉ])：ＲＢＳＰのｉ番目のバイトである。ＲＢＳＰはバイトの整列されたシーケンスで表現される。
【1271】
ＮＡＬフォービデンゼロビット(ｎａｌ_ｆｏｒｂｉｄｄｅｎ_ｚｅｒｏ_ｂｉｔ)：０である。
【1272】
ＮＡＬユニットタイプ(ｎａｌ_ｕｎｉｔ_ｔｙｐｅ)は図５２のような値を有する。ＮＡＬユニットタイプはＮＡＬユニットに含まれたＲＢＳＰデータ構造のタイプを示す。
【1273】
ＮＡＬレイヤＩＤ(ｎａｌ_ｌａｙｅｒ_ｉｄ)：ＡＣＬ ＮＡＬユニットが属するレイヤの識別子又はＮＯＮ－ＡＣＬ ＮＡＬユニットが適用されるレイヤの識別子を示す。
【1274】
ＮＡＬ臨時ＩＤ(ｎａｌ_ｔｅｍｐｏｒａｌ_ｉｄ_ｐｌｕｓ１)：この値から１を引くと、ＮＡＬユニットの臨時識別子を示す。
【1275】
図５２は実施例によるＮＡＬユニットのタイプを示す。
【1276】
【1277】
ＮＡＬトレイル(ＮＡＬ_ＴＲＡＩＬ)：ＮＯＮ－ＴＳＡ、ＮＯＮ ＳＴＳＡトレイリングアトラスフレームのコーディングされたタイルグループがＮＡＬユニットに含まれる。ＮＡＬユニットのＲＢＳＰシンタックス構造はアトラスタイルグループレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｇｒｏｕｐ_ｌａｙｅｒ_ｒｂｓｐ( ))又はアトラスタイルレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｌａｙｅｒ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはＡＣＬである。実施例によってタイルグループはタイルに対応する。
【1278】
ＮＡＬ ＴＳＡ：ＴＳＡアトラスフレームのコーディングされたタイルグループがＮＡＬユニットに含まれる。ＮＡＬユニットのＲＢＳＰシンタックス構造はアトラスタイルグループレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｇｒｏｕｐ_ｌａｙｅｒ_ｒｂｓｐ( ))又はアトラスタイルレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｌａｙｅｒ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはＡＣＬである。
【1279】
ＮＡＬ_ＳＴＳＡ：ＳＴＳＡアトラスフレームのコーディングされたタイルグループがＮＡＬユニットに含まれる。ＮＡＬユニットのＲＢＳＰシンタックス構造はアトラスタイルグループレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｇｒｏｕｐ_ｌａｙｅｒ_ｒｂｓｐ( ))又はアトラスタイルレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｌａｙｅｒ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはＡＣＬである。
【1280】
ＮＡＬ_ＲＡＤＬ：ＲＡＤＬアトラスフレームのコーディングされたタイルグループがＮＡＬユニットに含まれる。ＮＡＬユニットのＲＢＳＰシンタックス構造はアトラスタイルグループレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｇｒｏｕｐ_ｌａｙｅｒ_ｒｂｓｐ( ))又はアトラスタイルレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｌａｙｅｒ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはＡＣＬである。
【1281】
ＮＡＬ_ＲＡＳＬ：ＲＡＳＬアトラスフレームのコーディングされたタイルグループがＮＡＬユニットに含まれる。ＮＡＬユニットのＲＢＳＰシンタックス構造はアトラスタイルグループレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｇｒｏｕｐ_ｌａｙｅｒ_ｒｂｓｐ( ))又はアトラスタイルレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｌａｙｅｒ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはＡＣＬである。
【1282】
ＮＡＬ_ＳＫＩＰ：スキップアトラスフレームのコーディングされたタイルグループがＮＡＬユニットに含まれる。ＮＡＬユニットのＲＢＳＰシンタックス構造はアトラスタイルグループレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｇｒｏｕｐ_ｌａｙｅｒ_ｒｂｓｐ( ))又はアトラスタイルレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｌａｙｅｒ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはＡＣＬである。
【1283】
ＮＡＬ_ＲＳＶ_ＡＣＬ_６ないしＮＡＬ_ＲＳＶ_ＡＣＬ_９：予約されたＩＲＡＰ ＡＣＬ ＮＡＬユニットタイプがＮＡＬユニットに含まれる。ＮＡＬユニットのタイプクラスはＡＣＬである。
【1284】
ＮＡＬ_ＢＬＡ_Ｗ_ＬＰ、ＮＡＬ_ＢＬＡ_Ｗ_ＲＡＤＬ、ＮＡＬ_ＢＬＡ_Ｎ_ＬＰ：ＢＬＡアトラスフレームのコーディングされたタイルグループがＮＡＬユニットに含まれる。ＮＡＬユニットのＲＢＳＰシンタックス構造はアトラスタイルグループレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｇｒｏｕｐ_ｌａｙｅｒ_ｒｂｓｐ( ))又はアトラスタイルレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｌａｙｅｒ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはＡＣＬである。
【1285】
ＮＡＬ_ＧＢＬＡ_Ｗ_ＬＰ、ＮＡＬ_ＧＢＬＡ_Ｗ_ＲＡＤＬ、ＮＡＬ_ＧＢＬＡ_Ｎ_ＬＰ：ＧＢＬＡアトラスフレームのコーディングされたタイルグループがＮＡＬユニットに含まれる。ＮＡＬユニットのＲＢＳＰシンタックス構造はアトラスタイルグループレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｇｒｏｕｐ_ｌａｙｅｒ_ｒｂｓｐ( ))又はアトラスタイルレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｌａｙｅｒ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはＡＣＬである。
【1286】
ＮＡＬ_ＩＤＲ_Ｗ_ＲＡＤＬ、ＮＡＬ_ＩＤＲ_Ｎ_ＬＰ：ＩＤＲアトラスフレームのコーディングされたタイルグループがＮＡＬユニットに含まれる。ＮＡＬユニットのＲＢＳＰシンタックス構造はアトラスタイルグループレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｇｒｏｕｐ_ｌａｙｅｒ_ｒｂｓｐ( ))又はアトラスタイルレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｌａｙｅｒ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはＡＣＬである。
【1287】
ＮＡＬ_ＧＩＤＲ_Ｗ_ＲＡＤＬ、ＮＡＬ_ＧＩＤＲ_Ｎ_ＬＰ：ＧＩＤＲアトラスフレームのコーディングされたタイルグループがＮＡＬユニットに含まれる。ＮＡＬユニットのＲＢＳＰシンタックス構造はアトラスタイルグループレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｇｒｏｕｐ_ｌａｙｅｒ_ｒｂｓｐ( ))又はアトラスタイルレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｌａｙｅｒ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはＡＣＬである。
【1288】
ＮＡＬ_ＣＲＡ：ＣＲＡアトラスフレームのコーディングされたタイルグループがＮＡＬユニットに含まれる。ＮＡＬユニットのＲＢＳＰシンタックス構造はアトラスタイルグループレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｇｒｏｕｐ_ｌａｙｅｒ_ｒｂｓｐ( ))又はアトラスタイルレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｌａｙｅｒ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはＡＣＬである。
【1289】
ＮＡＬ_ＧＣＲＡ：ＧＣＲＡアトラスフレームのコーディングされたタイルグループがＮＡＬユニットに含まれる。ＮＡＬユニットのＲＢＳＰシンタックス構造はアトラスタイルグループレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｇｒｏｕｐ_ｌａｙｅｒ_ｒｂｓｐ( ))又はアトラスタイルレイヤ(ａｔｌａｓ_ｔｉｌｅ_ｌａｙｅｒ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはＡＣＬである。
【1290】
ＮＡＬ_ＩＲＡＰ_ＡＣＬ_２２、ＮＡＬ_ＩＲＡＰ_ＡＣＬ_２３：予約されたＩＲＡＰ ＡＣＬ ＮＡＬユニットタイプがＮＡＬユニットに含まれる。ＮＡＬユニットのタイプクラスはＡＣＬである。
【1291】
ＮＡＬ_ＲＳＶ_ＡＣＬ_２４ないしＮＡＬ_ＲＳＶ_ＡＣＬ_３１：予約されたｎｏｎ－ＩＲＡＰ ＡＣＬ ＮＡＬユニットタイプがＮＡＬユニットに含まれる。ＮＡＬユニットのタイプクラスはＡＣＬである。
【1292】
ＮＡＬ_ＡＳＰＳ：アトラスシーケンスパラメータセットがＮＡＬユニットに含まれる。ＮＡＬユニットのＲＢＳＰシンタックス構造はアトラスシーケンスパラメータセット(ａｔｌａｓ_ｓｅｑｕｅｎｃｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはｎｏｎ－ＡＣＬである。
【1293】
ＮＡＬ_ＡＦＰＳ：アトラスフレームパラメータセットがＮＡＬユニットに含まれる。ＮＡＬユニットのＲＢＳＰシンタックス構造はアトラスフレームパラメータセット(ａｔｌａｓ_ ｆｒａｍｅ _ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはｎｏｎ－ＡＣＬである。
【1294】
ＮＡＬ_ＡＵＤ：アクセスユニットデリミター(Ａｃｃｅｓｓ ｕｎｉｔ ｄｅｌｉｍｉｔｅｒ)がＮＡＬユニットに含まれる。ＮＡＬユニットのＲＢＳＰシンタックス構造はアクセスユニットデリミター(ａｃｃｅｓｓ_ｕｎｉｔ_ｄｅｌｉｍｉｔｅｒ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはｎｏｎ－ＡＣＬである。
【1295】
ＮＡＬ_ＶＰＣＣ_ＡＵＤ：Ｖ－ＰＣＣアクセスユニットデリミターがＮＡＬユニットに含まれる。ＮＡＬユニットのＲＢＳＰシンタックス構造はアクセスユニットデリミター(ａｃｃｅｓｓ_ｕｎｉｔ_ｄｅｌｉｍｉｔｅｒ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはｎｏｎ－ＡＣＬである。
【1296】
ＮＡＬ_ＥＯＳ：ＮＡＬユニットタイプがエンド・オブ・シーケンスである。ＮＡＬユニットのＲＢＳＰシンタックス構造はエンド・オブ・シーケンス(ｅｎｄ_ｏｆ_ｓｅｑ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはｎｏｎ－ＡＣＬである。
【1297】
ＮＡＬ_ＥＯＢ：ＮＡＬユニットタイプがエンド・オブ・ビットストリームである。ＮＡＬユニットのＲＢＳＰシンタックス構造はエンド・オブ・アトラスサブビットストリーム(ｅｎｄ_ｏｆ_ａｔｌａｓ_ｓｕｂ_ｂｉｔｓｔｒｅａｍ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはｎｏｎ－ＡＣＬである。
【1298】
ＮＡＬ_ＦＤ Ｆｉｌｌｅｒ：ＮＡＬユニットタイプがフィルターデータ(ｆｉｌｌｅｒ_ｄａｔａ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはｎｏｎ－ＡＣＬである。
【1299】
ＮＡＬ_ＰＲＥＦＩＸ_ＮＳＥＩ、ＮＡＬ_ＳＵＦＦＩＸ_ＮＳＥＩ：ＮＡＬユニットタイプが非必須補足強化情報(Ｎｏｎ－ｅｓｓｅｎｔｉａｌ ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ)である。ＮＡＬユニットのＲＢＳＰシンタックス構造はＳＥＩ(ｓｅｉ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはｎｏｎ－ＡＣＬである。
【1300】
ＮＡＬ_ＰＲＥＦＩＸ_ＥＳＥＩ、ＮＡＬ_ＳＵＦＦＩＸ_ＥＳＥＩ：ＮＡＬユニットタイプが必須補足強化情報(Ｅｓｓｅｎｔｉａｌ ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ)である。ＮＡＬユニットのＲＢＳＰシンタックス構造はＳＥＩ(ｓｅｉ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはｎｏｎ－ＡＣＬである。
【1301】
ＮＡＬ_ＡＡＰＳ：ＮＡＬユニットタイプがアトラス適応パラメータセット(Ａｔｌａｓ ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ)である。ＮＡＬユニットのＲＢＳＰシンタックス構造はアトラス適応パラメータセット(ａｔｌａｓ_ａｄａｐｔａｔｉｏｎ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｒｂｓｐ( ))である。ＮＡＬユニットのタイプクラスはｎｏｎ－ＡＣＬである。
【1302】
ＮＡＬ_ＲＳＶ_ＮＡＣＬ_４４ないしＮＡＬ_ＲＳＶ_ＮＡＣＬ_４７：ＮＡＬユニットタイプが予約されたｎｏｎ－ＡＣＬ ＮＡＬユニットタイプである。ＮＡＬユニットのタイプクラスはｎｏｎ－ＡＣＬである。
【1303】
ＮＡＬ_ＵＮＳＰＥＣ_４８ないしＮＡＬ_ＵＮＳＰＥＣ_６３：ＮＡＬユニットタイプが未記述のｎｏｎ－ＡＣＬ ＮＡＬユニットタイプである。ＮＡＬユニットのタイプクラスはｎｏｎ－ＡＣＬである。
【1304】
図５３は実施例によるアトラスシーケンスパラメータセットを示す。
【1305】
【1306】
【1307】
ＡＳＰＳ延長プロジェクション有効フラグ(ａｓｐｓ_ｅｘｔｅｎｄｅｄ_ｐｒｏｊｅｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ)：この値が０であると、パッチプロジェクション情報が現在アトラスタイルグループ又はアトラスタイルに対してシグナリングされないことを示す。この値が１であると、パッチプロジェクション情報が現在アトラスタイルグループ又は現在アトラスタイルに対してシグナリングされることを示す。
【1308】
ＡＳＰＳ行パッチ有効フラグ(ａｓｐｓ_ｒａｗ_ｐａｔｃｈ_ｅｎａｂｌｅｄ_ｆｌａｇ)：ＲＡＷパッチが有効であるか否かを示す。
【1309】
ＡＳＰＳ ＥＯＭパッチ有効フラグ(ａｓｐｓ_ｅｏｍ_ｐａｔｃｈ_ｅｎａｂｌｅｄ_ｆｌａｇ)：この値が１であると、現在アトラスに対する復号された占有マップビデオが２つの深さマップの間の中間深さの位置が占められるかどうかに関連する情報を含む。この値が０であると、復号された占有マップビデオが２つの深さマップの間の中間深さの位置が占められるかどうかに関連する情報を含まないことを示す。
【1310】
ＡＳＰＳ付加ビデオ有効フラグ(ａｓｐｓ_ａｕｘｉｌｉａｒｙ_ｖｉｄｅｏ_ｅｎａｂｌｅｄ_ｆｌａｇ)：付加ビデオが有効であるか否かを示す。
【1311】
ＡＳＰＳピクセルデインターリービング有効フラグ(ａｓｐｓ_ｐｉｘｅｌ_ｄｅｉｎｔｅｒｌｅａｖｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇ)：ピクセルデインターリービングが有効であるか否かを示す。
【1312】
ＡＳＰＳピクセルデインターリービングマップフラグ[i](ａｓｐｓ_ｐｉｘｅｌ_ｄｅｉｎｔｅｒｌｅａｖｉｎｇ_ｍａｐ_ｆｌａｇ[ｉ])：この値が１であると、現在アトラス内のインデックスｉを有する復号されたジオメトリ及び特質ビデオが２つのマップに対応する空間的にインターリービングされたピクセルを含むことを示す。この値が０であると、現在アトラス内のインデックスｉを有するマップに対応する復号されたジオメトリ及び特質ビデオがシングルマップに対応するピクセルを含むことを示す。
【1313】
ａｓｐｓ_ｅｏｍ_ｐａｔｃｈ_ｅｎａｂｌｅｄ_ｆｌａｇ及びａｓｐｓ_ｍａｐ_ｃｏｕｎｔ_ｍｉｎｕｓ１がゼロであると、ａｓｐｓ_ｅｏｍ_ｆｉｘ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１要素にＡＳＰＳが含まれる。
【1314】
ＡＳＰＳ ＥＯＭ固定ビットカウント(ａｓｐｓ_ｅｏｍ_ｆｉｘ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１)：この値に１を加えると、ＥＯＭコードワードのビット内のサイズを示す。
【1315】
ＡＳＰＳ拡張フラグ(ａｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｆｌａｇ)：この値がゼロであると、ａｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇシンタックス要素がＡＳＰＳ ＲＢＳＰシンタックス構造内に存在しないことを示す。
【1316】
ＡＳＰＳ拡張データフラグ(ａｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇ)：この要素は様々な値を有する。
【1317】
図５４は実施例によるアトラスフレームパラメータセットを示す。
【1318】
【1319】
ＡＦＰＳアウトプットフラグ存在フラグ(ａｆｐｓ_ｏｕｔｐｕｔ_ｆｌａｇ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：この値が１であると、ＡＴＧＨフレームアウトプットフラグ(ａｔｇｈ_ｆｒａｍｅ_ｏｕｔｐｕｔ_ｆｌａｇ)シンタックス要素が関連するタイルグループヘッダに存在することを示す。この値が０であると、ＡＴＧＨフレームアウトプットフラグ(ａｔｇｈ_ｆｒａｍｅ_ｏｕｔｐｕｔ_ｆｌａｇ)シンタックス要素が関連するタイルグループヘッダ内に存在しないことを示す。
【1320】
ＡＦＰＳ ＬＯＤモード有効フラグ(ａｆｐｓ_ｌｏｄ_ｍｏｄｅ_ｅｎａｂｌｅｄ_ｆｌａｇ)：この値が１であると、ＬＯＤパラメータがパッチ内に存在することを示す。この値が０であると、ＬＯＤパラメータがパッチ内に存在しないことを示す。
【1321】
ＡＦＰＳ固定カメラモデルフラグ(ａｆｐｓ_ｆｉｘｅｄ_ｃａｍｅｒａ_ｍｏｄｅｌ_ｆｌａｇ)：固定カメラモデルに対するフラグを示す。
【1322】
ＡＦＰＳ拡張フラグ(ａｆｐｓ_ｅｘｔｅｎｓｉｏｎ_ｆｌａｇ)：この値が０であると、ＡＦＰＳ拡張データフラグ(ａｆｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇ)シンタックス要素がＡＦＰＳ ＲＢＳＰシンタックス構造内に存在しないことを示す。
【1323】
ＡＦＰＳ拡張データフラグ(ａｆｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇ)：この要素は様々な値を有する。
【1324】
図５５は実施例によるアトラス適応パラメータセット(ａｔｌａｓ_ａｄａｐｔａｔｉｏｎ_ｐａｒａｍｅｔｅｒ_ｓｅｔ)を示す。
【1325】
ＡＡＰＳ ＲＢＳＰは１つ又は１つ以上のコーディングされたアトラスフレームのコーディングされたタイルグループＮＡＬユニットにより参照されるパラメータを含む。最大１つのＡＡＰＳ ＲＢＳＰは復号プロセス動作の間に所定のモメントにアクティブされるとみなす。特定のＡＡＰＳ ＲＢＳＰの活性化は以前に活性化されたＡＡＰＳ ＲＢＳＰの非活性化に繋がる。
【1326】
ＡＡＰＳアトラス適応パラメータセットＩＤ(ａａｐｓ_ａｔｌａｓ_ａｄａｐｔａｔｉｏｎ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：他のシンタックス要素による参照のためのアトラス適応パラメータセットを識別する。
【1327】
ＡＡＰＳアトラスシーケンスパラメータセットＩＤ(ａａｐｓ_ａｔｌａｓ_ｓｅｑｕｅｎｃｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：アクティブアトラスシーケンスパラメータセットに対するＡＳＰＳアトラスシーケンスパラメータセットＩＤ(ａｓｐｓ_ａｔｌａｓ_ｓｅｑｕｅｎｃｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)の値を示す。
【1328】
ＡＡＰＳカメラパラメータ存在フラグ(ａａｐｓ_ｃａｍｅｒａ_ｐａｒａｍｅｔｅｒＳ_ｐｒｅｓｅｎｔ_ｆｌａｇ)：この値が１であると、カメラパラメータが現在アトラス適応パラメータセット内に存在することを示す。この値が０であると、現在適応パラメータセットに対するカメラパラメータが存在しないことを示す。
【1329】
ＡＡＰＳ拡張フラグ(ａａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｆｌａｇ)：この値が０であると、ＡＡＰＳ拡張データフラグ(ａａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇ)シンタックス要素がＡＡＰＳ ＲＢＳＰシンタックス構造内に存在しないことを示す。
【1330】
ＡＡＰＳ拡張データフラグ(ａａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇ)：この値は様々な値を含む。
【1331】
図５６は実施例によるアトラスカメラパラメータ(ａｔｌａｓ_ｃａｍｅｒａ_ｐａｒａｍｅｔｅｒＳ)を示す。
【1332】
【1333】
ＡＣＰカメラモデル(ａｃｐ_ｃａｍｅｒａ_ｍｏｄｅｌ)：現在適応パラメータセットに関連するポイントクラウドフレームに対するカメラモデルを示す。
【1334】
ａｃｐ_ｃａｍｅｒａ_ｍｏｄｅｌが０であると、ａｃｐ_ｃａｍｅｒａ_ｍｏｄｅｌの名称は明示されない。
【1335】
ａｃｐ_ｃａｍｅｒａ_ｍｏｄｅｌが１であると、ａｃｐ_ｃａｍｅｒａ_ｍｏｄｅｌは正投影(Ｏｒｔｈｏｇｒａｐｈｉｃ)カメラモデルを示す。
【1336】
ａｃｐ_ｃａｍｅｒａ_ｍｏｄｅｌが２－２５５であると、ａｃｐ_ｃａｍｅｒａ_ｍｏｄｅｌは追って使用するために予約される。
【1337】
ＡＣＰスケール有効フラグ(ａｃｐ_ｓｃａｌｅ_ｅｎａｂｌｅｄ_ｆｌａｇ)：この値が１であると、現在カメラモデルに対するスケールパラメータが存在することを示す。この値が０であると、現在カメラモデルに対するスケールパラメータが存在しないことを示す。
【1338】
ＡＣＰオフセット有効フラグ(ａｃｐ_ｏｆｆｓｅｔ_ｅｎａｂｌｅｄ_ｆｌａｇ)：この値が１であると、現在カメラモデルに対するオフセットパラメータが存在することを示す。この値が０であると、現在カメラモデルに対するオフセットパラメータが存在しないことを示す。
【1339】
ＡＣＰ回転有効フラグ(ａｃｐ_ｒｏｔａｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ)：この値が１であると、現在カメラモデルに対する回転パラメータが存在することを示す。この値が０であると、現在カメラモデルに対する回転パラメータが存在しないことを示す。
【1340】
ＡＣＰ軸[ｄ]上のスケール(ａｃｐ_ｓｃａｌｅ_ｏｎ_ａｘｉｓ[ｄ])：現在カメラモデルに対するｄ軸に沿うスケール[ｄ]の値を示す。ｄの値は０ないし２の範囲内である。０、１、２はｘ軸、ｙ軸、ｚ軸のそれぞれに対応する。
【1341】
ＡＣＰ軸[ｄ]オフセット(ａｃｐ_ｏｆｆｓｅｔ_ｏｎ_ａｘｉｓ[ｄ])：ｄは０ないし２の範囲値を有し、現在カメラモデルに対するｄ軸に沿うオフセット値を示す。０、１、２ｄの値はＸ軸、Ｙ軸、Ｚ軸のそれぞれに対応する。
【1342】
ＡＣＰ回転ｑｘ(ａｃｐ_ｒｏｔａｔｉｏｎ_ｑx)：四元数表現(ｑｕａｔｅｒｎｉｏｎ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ)を使用する現在カメラモデルの回転に対するｘコンポーネントｑｘを示す。
【1343】
ＡＣＰ回転ｑｙ(ａｃｐ_ｒｏｔａｔｉｏｎ_ｑy)：四元数表現(ｑｕａｔｅｒｎｉｏｎ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ)を使用する現在カメラモデルの回転に対するｙコンポーネントｑｙを示す。
【1344】
ＡＣＰ回転ｑｚ(ａｃｐ_ｒｏｔａｔｉｏｎ_ｑz)：四元数表現(ｑｕａｔｅｒｎｉｏｎ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ)を使用する現在カメラモデルの回転に対するｚコンポーネントｑｚを示す。
【1345】
図５７は実施例によるアトラスタイルグループレイヤ及びアトラスタイルグループヘッダを示す。
【1346】
ＡＴＧＨアトラスフレームパラメータセットＩＤ(ａｔｇｈ_ａｔｌａｓ_ｆｒａｍｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：現在アトラスタイルグループに対するアクティブアトラスフレームパラメータセットに対するアトラスフレームパラメータセットＩＤ(ａｆｐｓ_ａｔｌａｓ_ｆｒａｍｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)の値を示す。
【1347】
ＡＴＧＨアトラス適応パラメータセットＩＤ(ａｔｇｈ_ａｔｌａｓ_ａｄａｐｔａｔｉｏｎ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：現在アトラスタイルグループに対するアクティブアトラス適応パラメータセットに対するアトラス適応パラメータセットＩＤ(ａａｐｓ_ａｔｌａｓ_ａｄａｐｔａｔｉｏｎ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)の値を示す。
【1348】
ＡＴＧＨアドレス(ａｔｇｈ_ａｄｄｒｅｓｓ)：タイルグループのタイルグループアドレスを示す。存在しない場合、アドレス(ａｔｇｈ_ａｄｄｒｅｓｓ)の値は０であると推論される。タイルグループアドレスはタイルグループのタイルグループＩＤである。アドレス(ａｔｇｈ_ａｄｄｒｅｓｓ)の長さはシグナリングされたタイルグループＩＤ長さ(ａｆｔｉ_ｓｉｇｎａｌｌｅｄ_ｔｉｌｅ_ｇｒｏｕｐ_ｉｄ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１)に１を加えたビットである。シグナリングされたタイルグループＩＤフラグ(ａｆｔｉ_ｓｉｇｎａｌｌｅｄ_ｔｉｌｅ_ｇｒｏｕｐ_ｉｄ_ｆｌａｇ)が０である場合、アドレス(ａｔｇｈ_ａｄｄｒｅｓｓ)の値は０ないしａｆｔｉ_ｎｕｍ_ｔｉｌｅ_ｇｒｏｕｐｓ_ｉｎ_ａｔｌａｓ_ｆｒａｍｅ_ｍｉｎｕｓ１の範囲内である。反面、アドレス(ａｔｇｈ_ａｄｄｒｅｓｓ)の値は０ないし２(ａｆｔｉ_ｓｉｇｎａｌｌｅｄ_ｔｉｌｅ_ｇｒｏｕｐ_ｉｄ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１＋１)－１)の範囲内である。
【1349】
ＡＴＧＨタイプ(ａｔｇｈ_ｔｙｐｅ)：現在アトラスタイルグループのコーディングタイプを示す。
【1350】
ａｔｇｈ_ｔｙｐｅが０であると、タイプはインターアトラスタイルグループ(Ｐ_ＴＩＬＥ_ＧＲＰ)である。
【1351】
ａｔｇｈ_ｔｙｐｅが１であると、タイプはイントラアトラスタイルグループ(Ｉ_ＴＩＬＥ_ＧＲＰ)である。
【1352】
ａｔｇｈ_ｔｙｐｅが２であると、タイプはＳＫＩＰアトラスタイルグループ(ＳＫＩＰ_ＴＩＬＥ_ＧＲＰ)である。
【1353】
ａｔｇｈ_ｔｙｐｅが３であると、タイプは予約された値を示す。
【1354】
ＡＴＧＨアトラスアウトプットフラグ(ａｔｇｈ_ａｔｌａｓ_ｏｕｔｐｕｔ_ｆｌａｇ)：復号されたアトラスアウトプット及び除去プロセスに影響を及ぼす。
【1355】
ＡＴＧＨアトラスｆｒｍオーダーｃｎｔ ｌｓｂ(ａｔｇｈ_ａｔｌａｓ_ｆｒｍ_ｏｒｄｅｒ_ｃｎｔ_ｌｓｂ)：現在アトラスタイルグループに対するアトラスフレームオーダーカウントモジュロＭａｘＡｔｌａｓＦｒｍＯｒｄｅｒＣｎｔＬｓｂを示す。
【1356】
ＡＴＧＨ参照アトラスフレームリストＳＰＳフラグ(ａｔｇｈ_ｒｅｆ_ａｔｌａｓ_ｆｒａｍｅ_ｌｉｓｔ_ｓｐｓ_ｆｌａｇ)：この値が１であると、現在アトラスタイルグループの参照アトラスフレームリストがアクティブＡＳＰＳ内のｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ(ｒｌｓＩｄｘ)シンタックス構造の１つに基づいて導き出されることを示す。この値が０であると、現在アトラスタイルリストの参照アトラスフレームリストが現在アトラスタイルグループのタイルグループヘッダ内に直接含まれたｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ(ｒｌｓＩｄｘ)シンタックス構造に基づいて導き出されることを示す。
【1357】
ＡＴＧＨ参照アトラスフレームリストインデックス(ａｔｇｈ_ｒｅｆ_ａｔｌａｓ_ｆｒａｍｅ_ｌｉｓｔ_ｉｄｘ)：現在アトラスタイルグループに対する参照アトラスフレームリストの導出(ｄｅｒｉｖａｔｉｏｎ)のために使用されるｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ(ｒｌｓＩｄｘ)シンタックス構造のアクティブＡＳＰＳに含まれたｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ(ｒｌｓＩｄｘ)シンタックス構造のリストに対するインデックスを示す。
【1358】
ＡＴＧＨ追加ａｆｏｃ ｌｓｂ存在フラグ[ｊ](ａｔｇｈ_ａｄｄｉｔｉｏｎａｌ_ａｆｏｃ_ｌｓｂ_ｐｒｅｓｅｎｔ_ｆｌａｇ[ｊ])：この値が１であると、現在アトラスタイルグループに対してａｔｇｈ_ａｄｄｉｔｉｏｎａｌ_ａｆｏｃ_ｌｓｂ_ｖａｌ[ｊ]が存在することを示す。この値が０であると、ａｔｇｈ_ａｄｄｉｔｉｏｎａｌ_ａｆｏｃ_ｌｓｂ_ｖａｌ[ｊ]が存在しないことを示す。
【1359】
ＡＴＧＨ追加ａｆｏｃ ｌｓｂｖａｌ[ｊ](ａｔｇｈ_ａｄｄｉｔｉｏｎａｌ_ａｆｏｃ_ｌｓｂ_ｖａｌ[ｊ])：現在アトラスタイルグループのためのＦｕｌｌＡｔｌａｓＦｒｍＯｒｄｅｒＣｎｔＬｓｂＬｔ[ＲｌｓＩｄｘ][ｊ]の値を示す。
【1360】
ＡＴＧＨ ｐｏｓ ｍｉｎ ｚ量子化器(ａｔｇｈ_ｐｏｓ_ｍｉｎ_ｚ_ｑｕａｎｔｉｚｅｒ)：ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｑｕａｎｔｉｚｅｒ ｔｈａｔ ｉｓ ｔｏ ｂｅ ａｐｐｌｉｅｄ ｔｏ ｔｈｅ ｐｄｕ_３ｄ_ｐｏｓ_ｍｉｎ_ｚ[ｐ] ｖａｌｕｅ ｏｆ ｔｈｅ ｐａｔｃｈ ｐ. Ｉｆ ａｔｇｈ_ｐｏｓ_ｍｉｎ_Ｚ_ｑｕａｎｔｉｚｅｒ ｉｓ ｎｏｔ ｐｒｅｓｅｎｔ、ｉｔｓ ｖａｌｕｅ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｅｑｕａｌ ｔｏ ０.
【1361】
ＡＴＧＨ ｐｏｓデルタ最大ｚ量子化器(ａｔｇｈ_ｐｏｓ_ｄｅｌｔａ_ｍａｘ_ｚ_ｑｕａｎｔｉｚｅｒ)：インデックスｐを有するパッチのｐｄｕ_３ｄ_ｐｏｓ_ｄｅｌｔａ_ｍａｘ_ｚ[ｐ]値に適用される量子化器を示す。この値が存在しないと、その値は０に推論される。
【1362】
ＡＴＧＨパッチサイズｘ情報量子化器(ａｔｇｈ_ｐａｔｃｈ_ｓｉｚｅ_ｘ_ｉｎｆｏ_ｑｕａｎｔｉｚｅｒ)：インデックスｐを有するパッチの変数ｐｄｕ_２ｄ_ｓｉｚｅ_ｘ_ｍｉｎｕｓ１[ｐ]、ｍｐｄｕ_２ｄ_ｄｅｌｔａ_ｓｉｚｅ_ｘ[ｐ]、ｉｐｄｕ_２ｄ_ｄｅｌｔａ_ｓｉｚｅ_ｘ[ｐ]、ｒｐｄｕ_２ｄ_ｓｉｚｅ_ｘ_ｍｉｎｕｓ１[ｐ]及びｅｐｄｕ_２ｄ_ｓｉｚｅ_ｘ_ｍｉｎｕｓ１[ｐ]に適用される量子化器ｐａｔｃｈｓｉｚｅＸＱｕａｎｔｉｚｅrの値を示す。ａｔｇｈ_ｐａｔｃｈ_ｓｉｚｅ_ｘ_ｉｎｆｏ_ｑｕａｎｔｉｚｅｒが存在しない場合、その値はａｓｐｓ_ｌｏｇ２_ｐａｔｃｈ_ｐａｃｋｉｎｇ_ｂｌｏｃｋ_ｓｉｚｅに等しいと推論される。
【1363】
ＡＴＧＨパッチサイズｙ情報量子化器(ａｔｇｈ_ｐａｔｃｈ_ｓｉｚｅ_ｙ_ｉｎｆｏ_ｑｕａｎｔｉｚｅｒ)：インデックスｐを有するパッチの変数ｐｄｕ_２ｄ_ｓｉｚｅ_ｙ_ｍｉｎｕｓ１[ｐ]、ｍｐｄｕ_２ｄ_ｄｅｌｔａ_ｓｉｚｅ_ｙ[ｐ]、ｉｐｄｕ_２ｄ_ｄｅｌｔａ_ｓｉｚｅ_ｙ[ｐ]、ｒｐｄｕ_２ｄ_ｓｉｚｅ_ｙ_ｍｉｎｕｓ１[ｐ]、及びｅｐｄｕ_２ｄ_ｓｉｚｅ_ｙ_ｍｉｎｕｓ１[ｐ]に適用される量子化器ｐａｔｃｈＳｉｚｅＹＱｕａｎｔｉｚｅｒの値を示す。ａｔｇｈ_ｐａｔｃｈ_ｓｉｚｅ_ｙ_ｉｎｆｏ_ｑｕａｎｔｉｚｅｒが存在しない場合、その値はａｓｐｓ_ｌｏｇ２_ｐａｔｃｈ_ｐａｃｋｉｎｇ_ｂｌｏｃｋ_ｓｉｚｅに等しいと推論される。
【1364】
ＡＴＧＨ ｒａｗ ３ｄ ｐｏｓ軸ビット数(ａｔｇｈ_ｒａｗ_３ｄ_ｐｏｓ_ａｘｉｓ_ｂｉｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１)：この値に１を加えると、ｒｐｄｕ_３ｄ_ｐｏｓ_ｘ、ｒｐｄｕ_３ｄ_ｐｏｓ_ｙ及びｒｐｄｕ_３ｄ_ｐｏｓ_ｚの固定長さ表現内のビット数を示す。
【1365】
ＡＴＧＨ番号参照インデックスアクティブオーバーライドフラグ(ａｔｇｈ_ｎｕｍ_ｒｅｆ_ｉｄｘ_ａｃｔｉｖｅ_ｏｖｅｒｒｉｄｅ_ｆｌａｇ)：この値が１であると、シンタックス要素ａｔｇｈ_ｎｕｍ_ｒｅｆ_ｉｄｘ_ａｃｔｉｖｅ_ｍｉｎｕｓ１が現在アトラスタイルグループに対して存在することを示す。ａｔｇｈ_ｎｕｍ_ｒｅｆ_ｉｄｘ_ａｃｔｉｖｅ_ｏｖｅｒｒｉｄｅ_ｆｌａｇが０であると、シンタックス要素ａｔｇｈ_ｎｕｍ_ｒｅｆ_ｉｄｘ_ａｃｔｉｖｅ_ｍｉｎｕｓ１が存在しないことを示す。ａｔｇｈ_ｎｕｍ_ｒｅｆ_ｉｄｘ_ａｃｔｉｖｅ_ｏｖｅｒｒｉｄｅ_ｆｌａｇが存在しない場合は、その値は０に等しいと推論される。
【1366】
ＡＴＧＨ番号参照インデックスアクティブ(ａｔｇｈ_ｎｕｍ_ｒｅｆ_ｉｄｘ_ａｃｔｉｖｅ_ｍｉｎｕｓ１)：現在アトラスタイルグループを復号するために使用されるアトラスフレームを参照するための最大参照インデックスを示す。ＮｕｍＲｅｆＩｄｘＡｃｔｉｖｅの値が０と等しい場合、参照アトラスフレームに対する参照インデックスが現在アトラスタイルグループを復号するために使用されないことを示す。
【1367】
図５８は実施例による参照リスト構造(ｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ)を示す。
【1368】
参照エントリー数(ｎｕｍ_ｒｅｆ_ｅｎｔｒｉｅｓ[ｒｌｓＩｄｘ])：ｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ(ｒｌｓＩｄｘ)シンタックス構造内のエントリーの数を示す。
【1369】
参照アトラスフレームフラグ(ｓｔ_ｒｅｆ_ａｔｌａｓ_ｆｒａｍｅ_ｆｌａｇ[ｒｌｓＩｄｘ][ｉ])：この値が１であると、ｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ(ｒｌｓＩｄｘ)シンタックス構造内のｉ番目のエントリーが短期参照アトラスフレームエントリーであることを示す。ｓｔ_ｒｅｆ_ａｔｌａｓ_ｆｒａｍｅ_ｆｌａｇ[ｒｌｓＩｄｘ][ｉ]が０であると、ｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ(ｒｌｓＩｄｘ)シンタックス要素内のｉ番目のエントリーが長期参照アトラスフレームエントリーであることを示す。存在しない場合は、ｓｔ_ｒｅｆ_ａｔｌａｓ_ｆｒａｍｅ_ｆｌａｇ[ｒｌｓＩｄｘ][ｉ]の値は１に等しいと推論される。
【1370】
ａｂｓ デルタ ａｆｏｃ ｓｔ(ａｂｓ_ｄｅｌｔａ_ａｆｏｃ_ｓｔ[ｒｌｓＩｄｘ][ｉ])：ｉ番目のエントリーがｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ(ｒｌｓＩｄｘ)シンタックス要素内の第１短期参照アトラスフレームエントリーである場合、ｉ番目のエントリーにより参照される現在アトラスタイルグループ及びアトラスフレームのアトラスフレームオーダーカウント値の間の絶対差(ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ)を示す。又はｉ番目のエントリーがｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ(ｒｌｓＩｄｘ)シンタックス要素内の短期参照アトラスフレームエントリーであり、第１短期参照アトラスフレームエントリーではない場合は、ｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ(ｒｌｓＩｄｘ)シンタックス構造内の以前短期参照アトラスフレーム及びｉ番目のエントリーにより参照されるアトラスフレームのアトラスオーダーカウント値の間の絶対差を示す。
【1371】
ｓｔｒｐｆエントリーサインフラグ(ｓｔｒｐｆ_ｅｎｔｒｙ_ｓｉｇｎ_ｆｌａｇ[ｒｌｓＩｄｘ][ｉ])：この値が１であると、シンタックス構造ｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ(ｒｌｓＩｄｘ)内のｉ番目のエントリーが０と等しいか又は０より大きい値を有することを示す。ｓｔｒｐｆ_ｅｎｔｒｙ_ｓｉｇｎ_ｆｌａｇ[ｒｌｓＩｄｘ][ｉ]が０であると、シンタックス構造ｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ(ｒｌｓＩｄｘ)内のｉ番目のエントリーが０より小さい値を有することを示す。存在しない場合は、ｓｔｒｐｆ_ｅｎｔｒｙ_ｓｉｇｎ_ｆｌａｇ[ｒｌｓＩｄｘ][ｉ]の値は１に等しいと推論される。
【1372】
ａｆｏｃ ｌｓｂ ｌｔ(ａｆｏｃ_ｌｓｂ_ｌｔ[ｒｌｓＩｄｘ][ｉ])：ｒｅｆ_ｌｉｓｔ_ｓｔｒｕｃｔ(ｒｌｓＩｄｘ)シンタックス構造内のｉ番目のエントリーにより参照されるアトラスフレームのアトラスフレームオーダーカウントモジュロＭａｘＡｔｌａｓＦｒｍＯｒｄｅｒＣｎｔＬｓbの値を示す。ａｆｏｃ_ｌｓｂ_ｌｔ[ｒｌｓＩｄｘ][ｉ]シンタックス要素の長さはａｓｐｓ_ｌｏｇ２_ｍａｘ_ａｔｌａｓ_ｆｒａｍｅ_ｏｒｄｅｒ_ｃｎｔ_ｌｓｂ_ｍｉｎｕｓ４＋４ビットである。
【1373】
図５９は実施例によるアトラスタイルグループデータ(ａｔｌａｓ_ｔｉｌｅ_ｇｒｏｕｐ_ｄａｔａ_ｕｎｉｔ)を示す。
【1374】
ａｔｇｄｕパッチモード(ａｔｇｄｕ_ｐａｔｃｈ_ｍｏｄｅ[ｐ])：現在アトラスタイルグループ内のインデックスｐを有するパッチに対するパッチモードを示す。ａｔｇｈ_ｔｙｐｅ＝ＳＫＩＰ_ＴＩＬＥ_ＧＲＰを有するタイルグループは、全体タイルグループ情報が第１参照アトラスフレームに対応する現在タイルグループのように同一のａｔｇｈ_ａｄｄｒｅｓｓを有するタイルグループから直接コピーされることを示す。
【1375】
Ｉ_ＴＩＬＥ_ＧＲＰタイプアトラスタイルグループに対するパッチモードタイプは以下の通りである。
【1376】
パッチモード(ａｔｇｄｕ_ｐａｔｃｈ_ｍｏｄｅ)が０であると、識別子はＩ_ＩＮＴＲＡであり、これは予測されないパッチモード(Ｎｏｎ－ｐｒｅｄｉｃｔｅｄ ｐａｔｃｈ ｍｏｄｅ)を示す。
【1377】
パッチモード(ａｔｇｄｕ_ｐａｔｃｈ_ｍｏｄｅ)が１であると、識別子はＩ_ＲＡＷであり、これはＲＡＷポイントパッチモード(ＲＡＷ ｐｏｉｎｔ ｐａｔｃｈ ｍｏｄｅ)を示す。
【1378】
パッチモード(ａｔｇｄｕ_ｐａｔｃｈ_ｍｏｄｅ)が２であると、識別子はＩ_ＥＯＭであり、これはＥＯＭポイントパッチモード(ＥＯＭ ｐｏｉｎｔ ｐａｔｃｈ ｍｏｄｅ)を示す。
【1379】
パッチモード(ａｔｇｄｕ_ｐａｔｃｈ_ｍｏｄｅ)が３－１３であると、識別子はＩ_ＲＥＳＥＲＶＥＤであり、これは予約されたモード(Ｒｅｓｅｒｖｅｄ ｍｏｄｅｓ)を示す。
【1380】
パッチモード(ａｔｇｄｕ_ｐａｔｃｈ_ｍｏｄｅ)が１４であると、識別子はＩ_ＥＮＤであり、これはパッチ終了モード(ｐａｔｃｈ ｔｅｒｍｉｎａｔｉｏｎ ｍｏｄｅ)を示す。
【1381】
Ｐ_ＴＩＬＥ_ＧＲＰタイプアトラスタイルグループに対するパッチモードタイプは以下の通りである。
【1382】
パッチモード(ａｔｇｄｕ_ｐａｔｃｈ_ｍｏｄｅ)が０であると、識別子はＰ_ＳＫＩＰであり、これはパッチスキップモード(ｐａｔｃｈ ｓｋｉｐ ｍｏｄｅ)を示す。
【1383】
パッチモード(ａｔｇｄｕ_ｐａｔｃｈ_ｍｏｄｅ)が１であると、識別子はＰ_ＭＥＲＧＥであり、これはパッチマージモード(ｐａｔｃｈ ｍｅｒｇｅ ｍｏｄｅ)を示す。
【1384】
パッチモード(ａｔｇｄｕ_ｐａｔｃｈ_ｍｏｄｅ)が２であると、識別子はＰ_ＩＮＴＥＲであり、これはインター予測パッチモード(Ｉｎｔｅｒ ｐｒｅｄｉｃｔｅｄ ｐａｔｃｈ ｍｏｄｅ)を示す。
【1385】
パッチモード(ａｔｇｄｕ_ｐａｔｃｈ_ｍｏｄｅ)が３であると、識別子はＰ_ＩＮＴＲＡであり、これは予測されないパッチモード(Ｎｏｎ－ｐｒｅｄｉｃｔｅｄ ｐａｔｃｈ ｍｏｄｅ)を示す。
【1386】
パッチモード(ａｔｇｄｕ_ｐａｔｃｈ_ｍｏｄｅ)が４であると、識別子はＰ_ＲＡＷであり、これはＲＡＷポイントパッチモード(ＲＡＷ ｐｏｉｎｔ ｐａｔｃｈ ｍｏｄｅ)を示す。
【1387】
パッチモード(ａｔｇｄｕ_ｐａｔｃｈ_ｍｏｄｅ)が５であると、識別子はＰ_ＥＯＭであり、これはＥＯＭポイントパッチモード(ＥＯＭ ｐｏｉｎｔ ｐａｔｃｈ ｍｏｄｅ)を示す。
【1388】
パッチモード(ａｔｇｄｕ_ｐａｔｃｈ_ｍｏｄｅ)が６－１３であると、識別子はＰ_ＲＥＳＥＲＶＥＤであり、これは予約されたモード(Ｒｅｓｅｒｖｅｄ ｍｏｄｅｓ)を示す。
【1389】
パッチモード(ａｔｇｄｕ_ｐａｔｃｈ_ｍｏｄｅ)が１４であると、識別子はＰ_ＥＮＤであり、これはパッチ終了モード(ｐａｔｃｈ ｔｅｒｍｉｎａｔｉｏｎ ｍｏｄｅ)を示す。
【1390】
ＳＫＩＰ_ＴＩＬＥ_ＧＲＰタイプアトラスタイルグループに対するパッチモードタイプは以下の通りである。
【1391】
パッチモード(ａｔｇｄｕ_ｐａｔｃｈ_ｍｏｄｅ)が０であると、識別子はＰ_ＳＫＩＰであり、これはパッチスキップモード(ｐａｔｃｈ Ｓｋｉｐ ｍｏｄｅ)を示す。
【1392】
図６０は実施例によるパッチ情報データ(ｐａｔｃｈ_ｉｎｆｏｒｍａｔｉｏｎ_ｄａｔａ)を示す。
【1393】
パッチ情報データはパッチインデックス(ｐａｔｃｈＩｄｘ)及びパッチモード(ｐａｔｃｈＭｏｄｅ)によって以下のような情報を伝達する。
【1394】
タイプ(ａｔｇｈ_ｔｙｐｅ)がＳＫＩＰ_ＴＩＬＥ_ＧＲであると、スキップパッチデータユニット(ｓｋｉｐ_ｐａｔｃｈ_ｄａｔａ_ｕｎｉｔ(ｐａｔｃｈＩｄｘ))が伝達される。
【1395】
タイプ(ａｔｇｈ_ｔｙｐｅ)がＰ_ＴＩＬＥ_ＧＲであると、以下のような要素が伝達される。具体的には、パッチモード(ｐａｔｃｈＭｏｄｅ)がＰ_ＳＫＩＰであると、スキップパッチデータユニット(ｓｋｉｐ_ｐａｔｃｈ_ｄａｔａ_ｕｎｉｔ(ｐａｔｃｈＩｄｘ))が提供され、パッチモード(ｐａｔｃｈＭｏｄｅ)がＰ_ＭＥＲＧＥであると、マージパッチデータユニット(ｍｅｒｇｅ_ｐａｔｃｈ_ｄａｔａ_ｕｎｉｔ(ｐａｔｃｈＩｄｘ))が提供され、パッチモード(ｐａｔｃｈＭｏｄｅ)がＰ_ＩＮＴＲＡであると、パッチデータユニット(ｐａｔｃｈ_ｄａｔａ_ｕｎｉｔ(ｐａｔｃｈＩｄｘ))が伝達され、パッチモード(ｐａｔｃｈＭｏｄｅ)がＰ_ＩＮＴＥＲであると、インターパッチデータユニット(ｉｎｔｅｒ_ｐａｔｃｈ_ｄａｔａ_ｕｎｉｔ(ｐａｔｃｈＩｄｘ))が伝達され、パッチモード(ｐａｔｃｈＭｏｄｅ)がＰ_ＲＡＷであると、行パッチデータユニット(ｒａｗ_ｐａｔｃｈ_ｄａｔａ_ｕｎｉｔ(ｐａｔｃｈＩｄｘ))が伝達され、そしてパッチモード(ｐａｔｃｈＭｏｄｅ)がＰ_ＥＯＭであると、ＥＯＭパッチデータユニット(ｅｏｍ_ｐａｔｃｈ_ｄａｔａ_ｕｎｉｔ(ｐａｔｃｈＩｄｘ))が伝達される。
【1396】
タイプ(ａｔｇｈ_ｔｙｐｅ)がＩ_ＴＩＬＥ_ＧＲであると、以下のような要素が伝達される。具体的には、パッチモード(ｐａｔｃｈＭｏｄｅ)がＩ_ＩＮＴＲＡであると、パッチデータユニット(ｐａｔｃｈ_ｄａｔａ_ｕｎｉｔ(ｐａｔｃｈＩｄｘ))が伝達され、パッチモード(ｐａｔｃｈＭｏｄｅ)がＩ_ＲＡＷであると、ＲＡＷパッチデータユニット(ｒａｗ_ｐａｔｃｈ_ｄａｔａ_ｕｎｉｔ(ｐａｔｃｈＩｄｘ))が伝達され、そしてパッチモード(ｐａｔｃｈＭｏｄｅ)がＩ_ＥＯＭであると、ＥＯＭパッチデータユニット(ｅｏｍ_ｐａｔｃｈ_ｄａｔａ_ｕｎｉｔ(ｐａｔｃｈＩｄｘ))が伝達される。
【1397】
図６１は実施例によるパッチデータユニット(ｐａｔｃｈ_ｄａｔａ_ｕｎｉｔ)を示す。
【1398】
【1399】
ｐｄｕ ２ｄポジションｘ(ｐｄｕ_２ｄ_ｐｏｓ_ｘ[ｐ])：複数のｐａｔｃｈＰａｃｋｉｎｇＢｌｏｃｋｓｉｚｅにより表現されるｔｉｌｅＧｒｏｕｐＩｄｘ、現在アトラスタイルグループ内のパッチｐに対するパッチバウンディングボックスの左上部のｘ座標(又は左部オフセット)を示す。
【1400】
ｐｄｕ ２ｄポジションｙ(ｐｄｕ_２ｄ_ｐｏｓ_ｙ[ｐ])：複数のｐａｔｃｈＰａｃｋｉｎｇＢｌｏｃｋｓｉｚｅにより表現されるｔｉｌｅＧｒｏｕｐＩｄｘ、現在アトラスタイルグループ内のパッチｐに対するパッチバウンディングボックスの左上部のｙ座標(又は上部オフセット)を示す。
【1401】
ｐｄｕ ２ｄサイズｘ(ｐｄｕ_２ｄ_ｓｉｚｅ_ｘ_ｍｉｎｕｓ１[ｐ])：この値に１を加えると、ｔｉｌｅＧｒｏｕｐＩｄｘ、現在アトラスタイルグループ内のインデックスｐを有するパッチの量子化された幅の値を示す。
【1402】
ｐｄｕ ２ｄサイズｙ(ｐｄｕ_２ｄ_ｓｉｚｅ_ｙ_ｍｉｎｕｓ１[ｐ])：この値に１を加えると、ｔｉｌｅＧｒｏｕｐＩｄｘ、現在アトラスタイルグループ内のインデックスｐを有するパッチの量子化された高さの値を示す。
【1403】
ｐｄｕ ３ｄポジションｘ(ｐｄｕ_３ｄ_ｐｏｓ_ｘ[ｐ])：タンジェント軸に沿う現在アトラスタイルグループのインデックスｐを有するパッチ内の復元されたパッチポイントに適用されるシフトを示す。
【1404】
ｐｄｕ ３ｄポジションｙ(ｐｄｕ_３ｄ_ｐｏｓ_ｙ[ｐ])：バイタンジェント軸に沿う現在アトラスタイルグループのインデックスｐを有するパッチ内の復元されたパッチポイントに適用されるシフトを示す。
【1405】
ｐｄｕ ３ｄポジションｍｉｎ ｚ(ｐｄｕ_３ｄ_ｐｏｓ_ｍｉｎ_ｚ[ｐ])：ノーマル軸に沿う現在アトラスタイルグループのインデックスｐを有するパッチ内の復元されたパッチポイントに適用されるシフトを示す。
【1406】
ｐｄｕ ３ｄポジションデルタマックスｚ(ｐｄｕ_３ｄ_ｐｏｓ_ｄｅｌｔａ_ｍａｘ_ｚ[ｐ])：存在する場合、ノーマル軸に沿う現在アトラスタイルグループのインデックスｐを有するパッチ内のそれらの公称表現に対する転換後、復元されたビット深さパッチジオメトリサンプル内に存在すると予想されるシフトの公称最大値を示す。
【1407】
ｐｄｕプロジェクションＩＤ(ｐｄｕ_ｐｒｏｊｅｃｔｉｏｎ_ｉｄ[ｐ])：現在アトラスタイルグループのインデックスｐを有するパッチに対するプロジェクション平面に対するノーマルのインデックス及びプロジェクションモードの値を示す。
【1408】
ｐｄｕオリエンテーションインデックス(ｐｄｕ_ｏｒｉｅｎｔａｔｉｏｎ_ｉｎｄｅｘ[ｐ])：以下のように現在アトラスタイルグループのインデックスｐを有するパッチに対するパッチオリエンテーションインデックスを示す。
【1409】
【表2】
【1410】
【表3】
【1411】
ｐｄｕ ｌｏｄ有効フラグ(ｐｄｕ_ｌｏｄ_ｅｎａｂｌｅｄ_ｆｌａｇ[ｐ])：この値が１であると、ＬＯＤパラメータが現在パッチｐに対して存在することを示す。この値が０であると、ＬＯＤパラメータが現在パッチに対して提供されないことを示す。
【1412】
ｐｄｕ ｌｏｄスケールｘ(ｐｄｕ_ｌｏｄ_ｓｃａｌｅ_ｘ_ｍｉｎｕｓ１[ｐ])：パッチ座標ｐａｔｃｈ３ＤＰｏｓＸ[ｐ]に加える前に、現在アトラスタイルグループのインデックスｐを有するパッチ内のポイントのローカルｘ座標に適用されるＬＯＤ倍率を示す。
【1413】
ｐｄｕ ｌｏｄスケールｙ(ｐｄｕ_ｌｏｄ_ｓｃａｌｅ_ｙ[ｐ])：パッチ座標ｐａｔｃｈ３ＤＰｏｓＹ[ｐ]に加える前に、現在アトラスタイルグループのインデックスｐを有するパッチ内のポイントのローカルｙ座標に適用されるＬＯＤ倍率を示す。
【1414】
図６２は実施例によるＳＥＩ情報を示す。
【1415】
ＳＥＩメッセージは復号、再構成、ディスプレイ又は他の目的に関連するプロセスを支援する。実施例によって、２つのタイプのＳＥＩメッセージがある。必須及び非必須がある。
【1416】
非必須ＳＥＩメッセージは復号プロセスに対して必要ではない。コンフォーミング(Ｃｏｎｆｏｒｍｉｎｇ)デコーダがアウトプットオーダーコンフォーマンスのためのこの情報を処理するために要求されない。
【1417】
必須ＳＥＩメッセージはＶ－ＰＣＣビットストリームの不可欠な部分であり、ビットストリームから除去できない。必須ＳＥＩメッセージは２つのタイプであり、以下のようにカテゴリー化できる。
【1418】
タイプ－Ａ必須ＳＥＩメッセージ：ＳＥＩはアウトプットタイミングデコーダコンフォーマンスのための、またビットストリームコンフォーマンスをチェックするために必要な情報を含む。ポイントＡをコンフォーミングする毎Ｖ－ＰＣＣデコーダはタイプＡ必須ＳＥＩメッセージを捨てず、アウトプットタイミングデコーダコンフォーマンス及びビットストリームコンフォーマンスのためにそれらを考慮する。
【1419】
タイプ－Ｂ必須ＳＥＩメッセージ：特定の復元プロファイルに従うＶ－ＰＣＣデコーダは関連するタイプＢ必須ＳＥＩメッセージを捨てず、３Ｄポイント復元及びコンフォーマンスのためにそれらを考慮する。
【1420】
ｓｅｉ_ｍｅｓｓａｇｅ()は１つ以上の以下のｓｅｉ_ｐａｙｌｏａｄを含む。
【1421】
ペイロード(ｓｅｉ_ｐａｙｌｏａｄ)はペイロードタイプ(ｐａｙｌｏａｄＴｙｐｅ)及びペイロードサイズ(ｐａｙｌｏａｄｓｉｚｅ )に基づいて図６２のようにエレメントを含む。
【1422】
ＮＡＬユニットタイプ(ｎａｌ_ｕｎｉｔ_ｔｙｐｅ)がＮＡＬ_ＰＲＥＦＩＸ_ＮＳＥＩであるか、又はＮＡＬ_ＰＲＥＦＩＸ_ＥＳＥＩであると、ペイロードがｓｅｉ(ｐａｙｌｏａｄｓｉｚｅ)を含む。
【1423】
ＮＡＬユニットタイプ(ｎａｌ_ｕｎｉｔ_ｔｙｐｅ)がＮＡＬ_ＳＵＦＦＩＸ_ＮＳＥＩであるか、又はＮＡＬ_ＳＵＦＦＩＸ_ＥＳＥＩであると、ペイロードがｓｅｉ(ｐａｙｌｏａｄｓｉｚｅ)を含む。
【1424】
【1425】
以下に説明する実施例による情報は、図４０及び図４１に説明したように、ファイル内のシングルトラック及び／又はマルチトラックに含まれるポイントクラウドデータの復号に必要なパラメータ情報、アトラスビットストリームなどを意味する。以下の実施例による情報は、図４０及び図４１などに説明したように、図１のファイル／セグメントカプセル化部１０００３、図２０のファイル／セグメントカプセル化部２０００４、図２１のファイル／セグメントカプセル化部２１００９、図２３のＸＲデバイスにより、図２４及び図２５のファイル構造にビットストリームを初期化する。
【1426】
同様に図１の受信装置１０００５のファイル／セグメントデカプセル化部１０００７、図２０ないし図２３のファイル／セグメントデカプセル化部２０００５,２１００９,２２０００、及び図２３のＸＲデバイス２３３０はファイルを受信してデカプセル化してビットストリームをパースする。
【1427】
ビデオ－基盤のポイントクラウド圧縮は、ポイントクラウドビジュアル情報のボリュメトリック符号化を示す。コーディングされたポイントクラウドシーケンス(ｃｏｄｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｓｅｑｕｅｎｃｅ、ＣＰＣＳ)を含むＶ－ＰＣＣビットストリームは、図２７及び図３１のように、Ｖ－ＰＣＣパラメータセット(Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＶＰＳ)コーディングされたアトラスビットストリーム、２Ｄビデオ符号化された占有マップビットストリーム、２Ｄビデオ符号化されたジオメトリビットストリーム、ゼロ又は１つ以上の２Ｄビデオ符号化された特質ビットストリームを伝達するＶ－ＰＣＣユニットで構成される。
【1428】
ボリュメトリックビジュアルトラック(Ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｔｒａｃｋ)
【1429】
ボリュメトリックビジュアルトラックはメディアボックス(ＭｅｄｉａＢｏｘ)のハンドラーボックス(ＨａｎｄｌｅｒＢｏｘ)内のボリュメトリックメディアハンドラータイプ‘ｖｏｌｖ’により識別される。
【1430】
ボリュメトリックビジュアルメディアヘッダ(Ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ Ｍｅｄｉａ ｈｅａｄｅｒ)
【1431】
ｂｏｘ Ｔｙｐｅ：‘ｖｖｈｄ’
【1432】
Ｃｏｎｔａｉｎｅｒ：ＭｅｄｉａＩｎｆｏｒｍａｔｉｏｎＢｏｘ
【1433】
Ｍａｎｄａｔｏｒｙ：Ｙｅｓ
【1434】
Ｑｕａｎｔｉｔｙ：Ｅｘａｃｔｌｙ ｏｎｅ
【1435】
ボリュメトリックビジュアルトラックはメディア情報ボックス(ＭｅｄｉａＩｎｆｏｒｍａｔｉｏｎＢｏｘ)のボリュメトリックビジュアルメディアヘッダボックス(ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＭｅｄｉａＨｅａｄｅｒＢｏｘ)を使用する。
【1436】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＭｅｄｉａＨｅａｄｅｒＢｏｘ
【1437】
ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ(‘ｖｖｈｄ', ｖｅｒｓｉｏｎ＝０、１){
【1438】
}
【1439】
バージョン(ｖｅｒｓｉｏｎ)はこのボックスのバージョンを示す整数である。
【1440】
ボリュメトリックビジュアルサンプルエントリー(Ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｓａｍｐｌｅ ｅｎｔｒｙ)
【1441】
ボリュメトリックビジュアルトラックはボリュメトリックビジュアルサンプルエントリー(ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ)を使用する。
【1442】
ｃｌａｓｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ(ｃｏｄｉｎｇｎａｍｅ) ｅｘｔｅｎｄｓ ＳａｍｐｌｅＥｎｔｒｙ(ｃｏｄｉｎｇｎａｍｅ){
【1443】
ｕｎｓｉｇｎｅｄ ｉｎｔ(８)[３２] ｃｏｍｐｒｅｓｓｏｒ_ｎａｍｅ；
【1444】
}
【1445】
コンプレッサーネイム(ｃｏｍｐｒｅｓｓｏｒ_ｎａｍｅ)は有益な目的のための名前である。固定３２－バイトフィールドで形成される。第１バイトはディスプレイされるバイト数に設定され、ＵＴＦ－８を使用して符号化されたディスプレイ可能なデータのバイト数が伴う。サイズバイトを含む３２バイトを完成するためにパッドされる。このフィールドは０に設定されてもよい。
【1446】
ボリュメトリックビジュアルサンプル(Ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｓａｍｐｌｅｓ)
【1447】
ボリュメトリックビジュアルサンプルのフォーマットはコーディングシステムにより定義される。
【1448】
共通データ構造
【1449】
Ｖ－ＰＣＣデコーダ構成ボックス
【1450】
Ｖ-ＰＣＣデコーダ構成ボックスはＶＰＣＣデコーダ構成レコード(ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ)を含む。
【1451】
ｃｌａｓｓ ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｅｘｔｅｎｄｓ ｂｏｘ('ｖｐｃＣ') {
【1452】
ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ（） ＶＰＣＣＣｏｎｆｉｇ;
【1453】
}
【1454】
このレコードはバージョンフィールドを含む。このバージョンはバージョン１に定義される。レコードの両立不可な変更はバージョン番号の変更により表現される。デコーダはバージョン番号に基づいてこのレコード又はビットストリームを復号するか否かを決定する。
【1455】
ＶＰＣＣパラメータセットアレイはｖｐｃｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ()を含む。
【1456】
セットアップユニット(ＳｅｔｕｐＵｎｉｔ)アレイは、アトラスサブビットストリーム必須又は非必須ＳＥＩメッセージだけではなく、デコーダ構成情報が存在するサンプルエントリーにより参照されるストリームに対して一定のアトラスパラメータセットを含む。
【1457】
セットアップユニット(ＳｅｔｕｐＵｎｉｔ)アレイは、サンプルエントリーにより称されるストリームに対してコンスタントできる。デコーダ構成レコードはアトラスサブストリームＳＥＩメッセージのように存在する。
【1458】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ {
【1459】
ｕｎｓｉｇｎｅｄ ｉｎｔ(８) ｃｏｎｆｉｇｕｒａｔｉｏｎＶｅｒｓｉｏｎ＝１；
【1460】
ｕｎｓｉｇｎｅｄ ｉｎｔ(２) ｌｅｎｇｔｈｓｉｚｅＭｉｎｕｓＯｎｅ；
【1461】
ｂｉｔ(１) ｒｅｓｅｒｖｅｄ＝１；
【1462】
ｕｎｓｉｇｎｅｄ ｉｎｔ(５) ｎｕｍＯｆＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔｓ；
【1463】
ｆｏｒ (ｉ＝０；ｉ＜ｎｕｍＯｆＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔｓ；i＋＋) {
【1464】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔＬｅｎｇｔｈ；
【1465】
ｖｐｃｃ_ｕｎｉｔ(ＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔＬｅｎｇｔｈ) ｖｐｃｃＰａｒａｍｅｔｅｒＳｅｔ；
【1466】
}
【1467】
ｕｎｓｉｇｎｅｄ ｉｎｔ(８) ｎｕｍＯｆＳｅｔｕｐＵｎｉｔＡｒｒａｙｓ；
【1468】
ｆｏｒ (ｊ＝０；ｊ＜ｎｕｍＯｆＳｅｔｕｐＵｎｉｔＡｒｒａｙｓ；ｊ＋＋) {
【1469】
ｂｉｔ(１) ａｒｒａｙ_ｃｏｍｐｌｅｔｅｎｅｓｓ；
【1470】
ｂｉｔ(１) ｒｅｓｅｒｖｅｄ＝０；
【1471】
ｕｎｓｉｇｎｅｄ ｉｎｔ(６) ＮＡＬ_ｕｎｉｔ_ｔｙｐｅ；
【1472】
ｕｎｓｉｇｎｅｄ ｉｎｔ(８) ｎｕｍＮＡＬＵｎｉｔｓ；
【1473】
ｆｏｒ (ｉ＝０；い＜ｎｕｍＮＡＬＵｎｉｔｓ；ｉ＋＋) {
【1474】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ＳｅｔｕｐＵｎｉｔＬｅｎｇｔｈ；
【1475】
ｎａｌ_ｕｎｉｔ(ＳｅｔｕｐＵｎｉｔＬｅｎｇｔｈ) ｓｅｔｕｐＵｎｉｔ；
【1476】
}
【1477】
}
【1478】
}
【1479】
構成バージョン(ｃｏｎｆｉｇｕｒａｔｉｏｎＶｅｒｓｉｏｎ)はバージョンフィールドである。レコードに対する両立不可な変化はバージョン番号の変化により表示する。
【1480】
長さサイズ(ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ)：この値に１を加えると、この構成レコードが適用されるストリーム内のＶ－ＰＣＣサンプル内のＮＡＬユニット長さ(ＮＡＬＵｎｉｔＬｅｎｇｔｈ)フィールドのバイト内の長さを示す。
【1481】
例えば、１バイトのサイズは０の値で表示される。このフィールド値はアトラスサブストリームに対するサンプルストリームＮＡＬヘッダ(ｓａｍｐｌｅ_ｓｔｒｅａｍ_ｎａｌ_ｈｅａｄｅｒ)内のｓｓｎｈ_ｕｎｉｔ_ｓｉｚｅ_ｐｒｅｃｉｓｉｏｎ_ｂｙｔｅｓ_ｍｉｎｕｓ１である。
【1482】
Ｖ－ＰＣＣパラメータセット数(ｎｕｍＯｆＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔｓ)：デコーダ構成レコード内にシグナリングされるＶ－ＰＣＣパラメータセットユニットの数を示す。
【1483】
Ｖ－ＰＣＣパラメータセット長さ(ＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔＬｅｎｇｔｈ)：Ｖ－ＰＣＣパラメータセットフィールドのバイト内のサイズを示す。
【1484】
Ｖ－ＰＣＣパラメータセット(ｖｐｃｃＰａｒａｍｅｔｅｒＳｅｔ)：ＶＰＣＣ_ｐａｒａｍｅｔｅｒ_ｓｅｔ()を伝達するＶＰＣＣ_ＶＰＳタイプのＶ－ＰＣＣユニットである。
【1485】
セットアップユニットアレイ数(ｎｕｍＯｆＳｅｔｕｐＵｎｉｔＡｒｒａｙｓ)：指示されるタイプのアトラスＮＡＬユニットのアレイ数を示す。
【1486】
アレイ完成度(ａｒｒａｙ_ｃｏｍｐｌｅｔｅｎｅｓｓ)：この値が１であると、所定のタイプの全てのアトラスＮＡＬユニットが以下のアレイに存在し、ストリーム内にないことを示す。この値が０であると、指示されたタイプの追加アトラスＮＡＬユニットがストリーム内に存在することを示す。デフォルト及び許容された値はサンプルエントリーネイムにより制約を受ける。
【1487】
ＮＡＬユニットタイプ(ＮＡＬ_ｕｎｉｔ_ｔｙｐｅ)：以下のアレイ内にアトラスＮＡＬユニットのタイプを示す。ＮＡＬ_ＡＳＰＳ、ＮＡＬ_ＰＲＥＦＩＸ_ＳＥＩ又はＮＡＬ_ＳＵＦＦＩＸ_ＳＥＩアトラスＮＡＬユニットを示す値のいずれかである。
【1488】
ＮＡＬユニット数(ｎｕｍＮＡＬＵｎｉｔｓ)：この構成レコードが適用されるストリームに対する構成レコード内に含まれた指示されたタイプのアトラスＮＡＬユニットの数を示す。ＳＥＩアレイはただＳＥＩメッセージだけを含む。
【1489】
セットアップユニット長さ(ＳｅｔｕｐＵｎｉｔＬｅｎｇｔｈ)：セットアップユニットフィールドのバイト内のサイズを示す。長さフィールドはＮＡＬユニットヘッダ及びＮＡＬユニットペイロードのサイズを含み、長さフィールド自体を含まない。
【1490】
セットアップユニット(ｓｅｔｕｐＵｎｉｔ)：タイプＮＡＬ_ＡＳＰＳ、ＮＡＬ_ＡＦＰＳ、ＮＡＬ_ＰＲＥＦＩＸ_ＥＳＥＩ、ＮＡＬ_ＰＲＥＦＩＸ_ＮＳＥＩ、ＮＡＬ_ＳＵＦＦＩＸ_ＥＳＥＩ又はＮＡＬ_ＳＵＦＦＩＸ_ＮＳＥＩのＮＡＬユニットを含む。
【1491】
空間領域情報構造(Ｓｐａｔｉａｌ ｒｅｇｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｓｔｒｕｃｔｕｒｅ)
【1492】
３Ｄ空間領域構造及び３Ｄバウンディングボックス構造は、ポイントクラウドデータの３Ｄバウンディングボックス情報及び３Ｄ空間内の領域の幅、高さ、深さ及び空間領域のｘ、ｙ、ｚオフセットを含むポイントクラウドデータの空間領域の情報を提供する。
【1493】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ３ＤＰｏｉｎｔ() {
【1494】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ｐｏｉｎｔ_ｘ；
【1495】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ｐｏｉｎｔ_ｙ；
【1496】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ｐｏｉｎｔ_ｚ；
【1497】
}
【1498】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＣｕｂｏｉｄＲｅｇｉｏｎＳｔｒｕｃｔ() {
【1499】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ｃｕｂｏｉｄ_ｄｘ；
【1500】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ｃｕｂｏｉｄ_ｄｙ；
【1501】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ｃｕｂｏｉｄ_ｄｚ；
【1502】
}
【1503】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ３ＤＳｐａｔｉａｌＲｅｇｉｏｎＳｔｒｕｃｔ(ｄｉｍｅｎｓｉｏｎｓ_ｉｎｃｌｕｄｅｄ_ｆｌａｇ) {
【1504】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６) ３ｄ_ｒｅｇｉｏｎ_ｉｄ；
【1505】
３ＤＰＯＩＮＴ ３Ｄ_ｒｅｇｉｏｎ_ａｎｃｈｏｒ；
【1506】
ｉｆ (ｄｉｍｅｎｓｉｏｎｓ_ｉｎｃｌｕｄｅｄ_ｆｌａｇ) {
【1507】
ＣｕｂｏｉｄＲｅｇｉｏｎＳｔｒｕｃｔ()；
【1508】
}
【1509】
}
【1510】
ポイントｘ、ｙ、ｚ(ｐｏｉｎｔ_ｘ，ｐｏｉｎｔ_ｙ，ｐｏｉｎｔ_ｚ)：座標系内の３Ｄポイントの各ｘ、ｙ、ｚ軸値を示す。
【1511】
直方体ｄｘ、ｄｙ、ｄｚ(ｃｕｂｏｉｄ_ｄｘ、ｃｕｂｏｉｄ_ｄｙ、ｃｕｂｏｉｄ_ｄｚ)：アンカーポイント又は特定のポイントに対する各ｘ、ｙ、ｚ軸に沿って座標系内の直方体サブ領域のディメンションを示す。
【1512】
ディメンション含みフラグ(ｄｉｍｅｎｓｉｏｎｓ_ｉｎｃｌｕｄｅｄ_ｆｌａｇ)：３Ｄ空間領域のディメンションがシグナリングされるか否かを示すフラグである。
【1513】
３Ｄ領域ＩＤ(３ｄ_ｒｅｇｉｏｎ_ｉｄ)：３Ｄ空間領域に対する識別子である。
【1514】
アンカーは３Ｄ空間領域のためのアンカーとして使用される座標系システム内の３Ｄポイントである。
【1515】
直方体領域構造(ＣｕｂｏｉｄＲｅｇｉｏｎＳｔｒｕｃｔ())は座標系内のシグナリングされたアンカーポイントに対する直方体領域情報を含む。
【1516】
図６３は実施例による３Ｄバウンディングボックス情報構造である。
【1517】
アンカー存在フラグ(ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇ)：３Ｄバウンディングボックスの３Ｄアンカーポイント(原点位置)が存在するか否かを示すフラグである。ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇが１であると、３Ｄアンカーポイントがこの構造内に存在することを示し、座標系内のシグナリングされた３Ｄアンカーポイントに対して３Ｄバウンディングボックスが表現されることをいう。ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇが０であると、３Ｄアンカーポイントがこの構造内に存在せず、(０、０、０)に対して３Ｄバウンディングボックスが表現されることを示す。
【1518】
３Ｄバウンディングボックスアンカー(３ｄ_ｂｂ_ａｎｃｈｏｒ)：３Ｄバウンディングボックス情報の原点位置又はアンカーとして使用される座標系システム内の３Ｄポイントである。
【1519】
３Ｄバウンディングボックス更新フラグ(３ｄ_ｂｂ_ｕｐｄａｔｅｄ_ｆｌａｇ)：この値が１であると、３Ｄバウンディングボックス情報が動的に変化することを示す。３ｄ_ｂｂ_ｕｐｄａｔｅｄ_ｆｌａｇが０であると、３Ｄバウンディングボックスが変化しないことを示す。
【1520】
３Ｄバウンディングボックスタイプ(３ｄ_ｂｂ_ｔｙｐｅ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｔｙｐｅ ｏｆ ３Ｄ ｂｏｕｎｄｉｎｇ ｂｏｘ ｉｎｆｏｒｍａｔｉｏｎ)。該当値が０である場合、シグナリングされる３Ｄバウンディングボックス情報はポイントクラウドデータシーケンス内に代表されるバウンディングボックス情報である。該当値が１である場合、シグナリングされる３Ｄバウンディングボックス情報は時間によって変化するバウンディングボックス情報である。一般的に代表するバウンディングボックスは時間によって変化するバウンディングボックスと等しいか又は大きい。
【1521】
３Ｄバウンディングボックススケールログ２(３ｄ_ｂｂ_ｓｃａｌｅ_ｌｏｇ２)：３Ｄバウンディングボックス情報に適用されるスケールを示す。
【1522】
３Ｄバウンディングボックス精度(３ｄ_ｂｂ_ｐｒｅｃｉｓｉｏｎ_ｍｉｎｕｓ８)：この値に８を加えると、３Ｄバウンディングボックス情報の精度を示す。
【1523】
３Ｄバウンディングボックスｄｘ、ｄｙ、ｄｚ(３ｄ_ｂｂ_ｄｘ、３ｄ_ｂｂ_ｄｙ、３ｄ_ｂｂ_ｄｚ)：ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇの値によって(０、０、０)又は３Ｄアンカーポイントに対して各ｘ、ｙ、ｚ軸に沿って座標系内のポイントクラウドデータの３Ｄバウンディングボックスのディメンションを示す。
【1524】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣ３ＤＢｏｕｎｄｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ('ｖｐｂｂ',０,０) {
【1525】
ｕｎｓｉｇｎｅｄ ｉｎｔ(７) ｒｅｓｒｖｅｄ＝０；
【1526】
ｕｎｓｉｎｇｅｄ ｉｎＴ(１)ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇ；
【1527】
３ＤＢｏｕｎｄｉｎｇＢｏｘＳｔｒｕｃｔ (ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇ)；
【1528】
}
【1529】
アンカー存在フラグ(ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇ)：この値が１であると、シグナリングされた３Ｄバウンディングボックス構造(３ＤＢｏｕｎｄｉｎｇＢｏｘＳｔｒｕｃｔ)内に存在する３Ｄアンカーポイントが存在することを示す。３Ｄバウンディングボックスは座標系内のシグナリングされた３Ｄアンカーポイントに対して表現される。ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇが０であると、３Ｄアンカーポイントがシグナリングされた３ＤＢｏｕｎｄｉｎｇＢｏｘＳｔｒｕｃｔ内に存在しないことを示す。シグナリングされた３Ｄバウンディングボックスは(０、０、０)に対して表現される。
【1530】
ｖｉｅｗｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｓｔｒｕｃｔｕｒｅ
【1531】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ('ｖｐｖｉ',０,０) {
【1532】
ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔ()；
【1533】
}
【1534】
視聴情報構造(ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔ)は視聴位置(ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ)、視聴方向(ｖｉｅｗｉｎｇ ｄｉｒｅｃｔｉｏｎ)、視聴オリエンテーション(ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ)関連情報などを含む。
【1535】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔ () {
【1536】
ｕｎｓｉｇｎｅｄ ｉｎｔ(２) ｒｅｓｅｒｖｅｄ＝０；
【1537】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１) ｐｏｓ_ｐｒｅｓｅｎｔ；
【1538】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１) ｄｉｒ_ｐｒｅｓｅｎｔ；
【1539】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１) Ｏｒｉｅｎｔａｔｉｏｎ_ｐｒｅｓｅｎｔ；
【1540】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１) ｃｏｏｒｄ_ｐｒｅｓｅｎｔ；
【1541】
ｉｆ(ｐｏｓ_ｐｒｅｓｅｎｔ){
【1542】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１) ｒｅｆｒｅｓｈ_ｐｏｓ_ｆｌａｇ；
【1543】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６)ｐｏｓ_ｘ；
【1544】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６)ｐｏｓ_ｙ；
【1545】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６)ｐｏｓ_ｚ；
【1546】
}
【1547】
ｉｆ(ｃｏｏｒｄ_ｐｒｅｓｅｎｔ){
【1548】
ｕｎｓｉｇｎｅｄ ｉｎｔ(４) ｃｏｏｒｄ_ｔｙｐｅ；
【1549】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６)ｕｐ_ｘ；
【1550】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６)ｕｐ_ｙ；
【1551】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６)ｕｐ_ｚ；
【1552】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６)ｆｒｏｎｔ_ｘ；
【1553】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６)ｆｒｏｎｔ_ｙ；
【1554】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６)ｆｒｏｎｔ_ｚ；
【1555】
}
【1556】
ｉｆ(ｄｉｒ_ｐｒｅｓｅｎｔ){
【1557】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１) ｒｅｆｒｅｓｈ_ｄｉｒ_ｆｌａｇ；
【1558】
ｕｎｓｉｇｎｅｄ ｉｎｔ(８) ｄｉｒ_ｃｏｏｒｄ；
【1559】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６)ｄｉｒ_ｘ；
【1560】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６)ｄｉｒ_ｙ；
【1561】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６)ｄｉｒ_ｚ；
【1562】
}
【1563】
ｉｆ(Ｏｒｉｅｎｔａｔｉｏｎ_ｐｒｅｓｅｎｔ){
【1564】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１) ｒｅｆｒｅｓｈ_ｒｏｔ_ｆｌａｇ；
【1565】
ｕｎｓｉｇｎｅｄ ｉｎｔ(８) ｒｏｔ_ｃｏｏｒｄ；
【1566】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６)ｒｏｔ_ｘ；
【1567】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６)ｒｏｔ_ｔ；
【1568】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１６)ｒｏｔ_ｚ；
【1569】
}
【1570】
}
【1571】
ポジション存在フラグ(ｐｏｓ_ｐｒｅｓｅｎｔ)：視聴位置情報がシグナリングされるかを示すフラグである。
【1572】
方向存在フラグ(ｄｉｒ_ｐｒｅｓｅｎｔ)：ユーザが見る方向(ｄｉｒｅｃｔｉｏｎ)情報がシグナリングされるかを示すフラグである。
【1573】
オリエンテーション存在フラグ(ｏｒｉｅｎｔａｔｉｏｎ_ｐｒｅｓｅｎｔ)：ユーザの視聴オリエンテーション(ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ)情報がシグナリングされるかを示すフラグである。
【1574】
座標系存在フラグ(ｃｏｏｒｄ_ｐｒｅｓｅｎｔ)：ユーザのビューポート、ユーザの視聴オリエンテーション、ユーザが見る方向を定めるために座標系関連情報がシグナリングされるかを示すフラグである。
【1575】
リフレッシュ位置フラグ(ｒｅｆｒｅｓｈ_ｐｏｓ_ｆｌａｇ)：シグナリングされる視聴位置がレンダリングのために使用されることを示すフラグである。
【1576】
リフレッシュ方向フラグ(ｒｅｆｒｅｓｈ_ｄｉｒ_ｆｌａｇ)：シグナリングされる方向情報がレンダリングのために使用されることを示すフラグである。
【1577】
リフレッシュ回転フラグ(ｒｅｆｒｅｓｈ_ｒｏｔ_ｆｌａｇ)：シグナリングされる視聴オリエンテーションがレンダリングのために使用されることを示すフラグである。
【1578】
ポジションｘ、ｙ、ｚ(ｐｏｓ_ｘ、ｐｏｓ_ｙ、ｐｏｓ_ｚ)：視聴位置の３次元空間上でそれぞれｘ、ｙ、ｚ軸でのオフセットを示す。
【1579】
座標系タイプ(ｃｏｏｒｄ_ｔｙｐｅ)：座標系のタイプを示す。例えば、右手座標系或いは左手座標系などがある。
【1580】
アップｘ、ｙ、ｚ(ｕｐ_ｘ、ｕｐ_ｙ、ｕｐ_ｚ)：３次元上の座標系においてアップベクトル(ｕｐ ｖｅｃｔｏｒ)、即ち、上側方向を示す。これはｐｏｓ_ｘ、ｐｏｓ_ｙ、ｐｏｓ_ｚにシグナリングされた視聴位置を基準として、ｕｐ_ｘ、ｕｐ_ｙ、ｕｐ_ｚにシグナリングされた３次元上の１つのポイントに連結してアップベクトルを示す。
【1581】
フロントｘ、ｙ、z(ｆｒｏｎｔ_ｘ、ｆｒｏｎｔ_ｙ、ｆｒｏｎｔ_ｚ)：３次元上の座標系においてフロントベクトル(ｆｒｏｎｔ ｖｅｃｔｏｒ)、即ち、前側方向を示す。これはｐｏｓ_ｘ、ｐｏｓ_ｙ、ｐｏｓ_ｚにシグナリングされた視聴位置を基準として、ｆｒｏｎｔ_ｘ、ｆｒｏｎｔ_ｙ、ｆｒｏｎｔ_ｚにシグナリングされた３次元上の１つのポイントに連結してフロントベクトルを示す。
【1582】
レフトベクトル(Ｌｅｆｔ ｖｅｃｔｏｒ)或いはライトベクトル(ｒｉｇｈｔ ｖｅｃｔｏｒ)はＣｏｏｒｄ_ｔｙｐｅ、ｕｐ_ｘ、ｕｐ_ｙ、ｕｐ_ｚ、ｆｒｏｎｔ_ｘ、ｆｒｏｎｔ_ｙ、ｆｒｏｎｔ_ｚを基盤として類推できる。
【1583】
方向座標系(ｄｉｒ_ｃｏｏｒｄ)：３次元上の空間においてユーザが見る方向を示すための座標系である。例えば、ワールド座標系(ｗｏｒｌｄ ｃｏｏｒｄｉｎａｔｅ)、カメラ座標系(ｃａｍｅｒａ ｃｏｏｒｄｉｎａｔｅ)、座標系存在(ｃｏｏｒｄ_ｐｒｅｓｅｎｔ)値が１である場合、シグナリングされる座標系などを示す。
【1584】
方向ｘ、ｔ、ｚ(ｄｉｒ_ｘ、ｄｉｒ_ｙ、ｄｉｒ_ｚ)：３次元上の空間においてユーザが見る方向に関する情報を示す。これに関する座標系はｄｉｒ_ｃｏｏｒｄで指す座標系に従う。
【1585】
回転座標系(ｒｏｔ_ｃｏｏｒｄ)：３次元上の空間においてユーザの視聴オリエンテーションを示すための座標系を指す。例えば、ワールド座標系(ｗｏｒｌｄ ｃｏｏｒｄｉｎａｔｅ)、カメラ座標系(ｃａｍｅｒａ ｃｏｏｒｄｉｎａｔｅ)、座標系存在(ｃｏｏｒｄ_ｐｒｅｓｅｎｔ)値が１である場合、シグナリングされる座標系などを示す。
【1586】
回転ｘ、ｙ、ｚ(ｒｏｔ_ｘ、ｒｏｔ_ｙ、ｒｏｔ_ｚ)：３次元上の空間においてユーザの視聴オリエンテーションに関する情報を示す。これに対する座標系はｒｏｔ_ｃｏｏｒｄで指す座標系に従う。これはｘ、ｙ、ｚ軸の回転値として示される。
【1587】
【1588】
３Ｄバウンディングボックスサンプルグループ(３Ｄ ｂｏｕｎｄｉｎｇ ｂｏｘ ｓａｍｐｌｅ ｇｒｏｕｐ)
【1589】
実施例による方法／装置は、同一の３Ｄバウンディングボックスが適用される１つ以上のサンプルをグルーピングし、該当グループに連関する３Ｄバウンディングボックス情報を以下のようにシグナリングする。
【1590】
サンプルグルーピングのための‘３ｂｓｇ’グルーピングタイプは、Ｖ－ＰＣＣコンポーネントビットストリーム又はＶ－ＰＣＣトラック又はＶ－ＰＣＣビットストリームトラックのように、アトラスサブビットストリームを伝達するトラック内のサンプルのサンプルグループ内に伝達される３Ｄバウンディングボックス情報への割り当てを示す。‘３ｂｓｇ’のようなグルーピングタイプ(ｇｒｏｕｐｉｎｇ_ｔｙｐｅ)を有するサンプルツーグループボックス(ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ)が存在する場合、伴う同一のグルーピングタイプを有するサンプルグループ記述ボックス(ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘ)が存在し、サンプルのこのグループが属するＩＤを含む。
【1591】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ３ＤＢｏｕｎｄｉｎｇＢｏｘＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ() ｅｘｔｅｎｄｓ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ(‘３ｂｓｇ’) {
【1592】
ｕｎｓｉｇｎｅｄ ｉｎｔ(７) ｒｅｓｒｖｅｄ＝０ ；
【1593】
ｕｎｓｉｎｇｅｄ ｉｎｔ(１) ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇ；
【1594】
３ＤＢｏｕｎｄｉｎｇＢｏｘＳｔｒｕｃｔ (ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇ)；
【1595】
}
【1596】
３Ｄバウンディングボックス構造はこのサンプルグループのサンプルに適用される３Ｄバウンディングボックス情報を含む。
【1597】
アンカー存在フラグ(ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇ)：この値が１であると、シグナリングされた３Ｄバウンディングボックス構造内の３Ｄアンカーポイントが存在し、３Ｄバウンディングボックスが座標系内のシグナリングされた３Ｄアンカーポイントに対して表現されることを示す。ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇが０であると、３Ｄアンカーポイントがシグナリングされた３Ｄバウンディングボックス構造内に存在せず、シグナリングされた３Ｄバウンディングボックスが(０、０、０)に対して表現されることを示す。
【1598】
３Ｄバウンディングボックス構造(３ＤＢｏｕｎｄｉｎｇＢｏｘＳｔｒｕｃｔ)はこのサンプルグラムのサンプルに適用される３Ｄバウンディングボックス情報を含む。
【1599】
３Ｄバウンディングボックス更新フラグ(３ｄ_ｂｂ_ｕｐｄａｔｅｄ_ｆｌａｇ)：この値が１であると、この構造内にシグナリングされる３Ｄバウンディングボックスが更新されることを示す。動的に変化する３Ｄバウンディングボックス情報は時間指定メタデータトラック又は同一のサンプルグループタイプの他のＩＤを有する他のサンプルグループによりシグナリングされる。３ｄ_ｂｂ_ｕｐｄａｔｅｄ_ｆｌａｇが０であると、対応するＶ－ＰＣＣコンテンツの３Ｄバウンディングボックス情報が変化しないことを示す。３Ｄバウンディングボックスが０であると、対応するＶ－ＰＣＣコンテンツの３Ｄバウンディングボックス情報が変化しないことを示す。
【1600】
３ｄ_ｂｂ_ｔｙｐｅ値が０である場合、サンプルグループ内のサンプルに連関する３Ｄバウンディングボックスのうち、一番大きいバウンディングボックス情報がシグナリングされる。
【1601】
視聴情報サンプルグループ(Ｖｉｅｗｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｓａｍｐｌｅ ｇｒｏｕｐ)
【1602】
実施例による方法／装置は、同一の視聴情報(Ｖｉｅｗｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ)(視聴位置(ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ)、視聴オリエンテーション(ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ)、視聴方向(ｖｉｅｗｉｎｇ ｄｉｒｅｃｔｉｏｎ)含み)が適用される１つ以上のサンプルをグルーピングし、該当グループに連関する視聴情報(視聴位置、視聴オリエンテーション、視聴方向)を以下のようにシグナリングする。
【1603】
サンプルグルーピングのための‘ｖｉｓｇ’グルーピングタイプはＶ－ＰＣＣコンポーネントビットストリーム又はＶ－ＰＣＣトラック又はＶ－ＰＣＣビットストリームトラックのようなアトラスサブビットストリームを伝達するトラック内サンプルのこのサンプルグループ内に伝達される視聴位置、視聴オリエンテーション、視聴方向を含む視聴情報への割り当てを示す。‘ｖｉｓｇ’のようなグルーピングタイプを有するサンプルツーグループボックス(ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ)が存在する場合、伴う同一のグルーピングタイプを有するサンプルグループ記述ボックス(ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘ)が存在し、サンプルのこのグループが属するＩＤを含む。
【1604】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ()
【1605】
ｅｘｔｅｎｄｓ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ(‘ｖｉｓｇ’){
【1606】
ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔ ()；
【1607】
}
【1608】
視聴情報構造(ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔ)はこのサンプルグループのサンプルに適用される視聴位置、視聴オリエンテーション、視聴方向を含む視聴情報を含む。
【1609】
トラックグルーピング(Ｔｒａｃｋ Ｇｒｏｕｐｉｎｇ)
【1610】
実施例による方法／装置はファイル内のトラックをグルーピングする。
【1611】
３Ｄバウンディングボックストラックグループ(３Ｄ ｂｏｕｎｄｉｎｇ ｂｏｘ ｔｒａｃｋ ｇｒｏｕｐ)
【1612】
実施例による方法／装置は、同一の３Ｄバウンディングボックスが適用される１つ以上のトラックをグルーピングし、該当グループに連関する３Ｄバウンディングボックス情報を以下のようにシグナリングする。これに連関するメタデータトラックが存在する場合、該当トラックグループ内では初期バウンディングボックスに関する情報をシグナリングする。
【1613】
'３ｂｔｇ'と同一のトラックグループタイプを有するトラックグループタイプボックス(ＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘ)は、このトラックが３Ｄバウンディングボックス情報に連関するＶ－ＰＣＣコンポーネントビットストリーム又はアトラスサブビットストリームを伝達するトラックのグループに属することを示す。
【1614】
同一の３Ｄバウンディングボックス情報に属するトラックは、'３ｂｔｇ'トラックグループタイプに対するトラックグループＩＤの同一の値を有する。１つの３Ｄバウンディングボックス情報からのトラックのトラックグループＩＤは他の３Ｄバウンディングボックス情報からのトラックのトラックグループＩＤとは異なる。
【1615】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ３ＤＢｏｕｎｄｉｎｇＢｏｘＧｒｏｕｐＢｏｘ ｅｘｔｅｎｄｓ ＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘ('３ｂｔｇ') {
【1616】
ｕｎｓｉｇｎｅｄ ｉｎｔ(７) ｒｅｓｒｖｅｄ＝０ ；
【1617】
ｕｎｓｉｎｇｅｄ ｉｎｔ(１) ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇ；
【1618】
３ＤＢｏｕｎｄｉｎｇＢｏｘＳｔｒｕｃｔ(ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇ)；
【1619】
}
【1620】
アンカー存在フラグ(ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇ)：この値が１であると、３Ｄアンカーポイントがシグナリングされた３Ｄバウンディングボックス構造(３ＤＢｏｕｎｄｉｎｇＢｏｘＳｔｒｕｃｔ)内に存在することを示し、３Ｄバウンディングボックスが座標系内のシグナリングされた３Ｄアンカーポイントについて表現されることを示す。ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇが０であると、３Ｄアンカーポイントがシグナリングされた３Ｄバウンディングボックス構造内に存在しないことを示し、(０、０、０)に対してシグナリングされた３Ｄバウンディングボックスが表現されることを示す。
【1621】
３Ｄバウンディングボックス構造(３ＤＢｏｕｎｄｉｎｇＢｏｘＳｔｒｕｃｔ)はこのグループのトラックに適用される３Ｄバウンディングボックス情報を含む。
【1622】
３Ｄバウンディングボックス更新フラグ(３ｄ_ｂｂ_ｕｐｄａｔｅｄ_ｆｌａｇ)：この値が１であると、この構造内のシグナリングされた３Ｄバウンディングボックスが対応するＶ－ＰＣＣコンテンツの初期の３Ｄバウンディングボックスであることを示す。動的に変化する３Ｄバウンディングボックス情報は、サンプルグルーピング又は時間指定メタデータトラックによりシグナリングされることを示す。３ｄ_ｂｂ_ｕｐｄａｔｅｄ_ｆｌａｇが０であると、対応するＶ－ＰＣＣコンテンツの３Ｄバウンディングボックス情報が変化しないことを示す。
【1623】
３Ｄバウンディングボックスタイプ(３ｄ_ｂｂ_ｔｙｐｅ)値が０である場合、トラックグループ内のトラックデータに連関する３Ｄバウンディングボックスのうち、一番大きいバウンディングボックス情報がシグナリングされる。
【1624】
３ｄ_ｂｂ_ｔｙｐｅ値が１である場合、連関する初期３Ｄバウンディングボックス情報がシグナリングされ、変化する３Ｄバウンディングボックス情報は別のメタデータトラックなどによりシグナリングされる。
【1625】
視聴情報トラックグループ(Ｖｉｅｗｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｔｒａｃｋ ｇｒｏｕｐ)
【1626】
同一の視聴情報(視聴位置、視聴オリエンテーション、視聴方向を含み)が適用される１つ以上のトラックをグルーピングし、該当グループに連関する視聴情報を以下のようにシグナリングする。
【1627】
‘ｖｉｔｇ’と同一のトラックグループタイプを有するトラックグループタイプボックス(ＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘ)は、このトラックが視聴情報(視聴位置、視聴オリエンテーション、視聴方向)に連関するアトラスサブビットストリーム又はＶ－ＰＣＣコンポーネントビットストリームを伝達するトラックのグループに属することを示す。
【1628】
同一の視聴情報に連関するトラックは、ｖｉｔｇトラックグループタイプに対するトラックグループＩＤの同一の値を有し、１つの視聴情報からのトラックのトラックグループＩＤは他の視聴情報からのトラックのトラックグループＩＤとは異なる。
【1629】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＸＸＸＸＧｒｏｕｐＢｏｘ ｅｘｔｅｎｄｓ ＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘ(‘ｖｉｔｇ’) {
【1630】
ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔ()；
【1631】
}
【1632】
視聴情報構造はこのグループのトラックに適用される視聴位置、視聴オリエンテーション又は視聴方向を含む視聴情報を含む。
【1633】
視聴情報の時間指定メタデータトラックが存在すると、視聴情報構造内にシグナリングされ、このトラックグループのトラックに適用される初期の視聴情報を示す。
【1634】
実施例による方法／装置は、エンティティグルーピング(Ｅｎｔｉｔｙ Ｇｒｏｕｐｉｎｇ)に連関する情報を以下のように生成して送受信する。
【1635】
同一の３Ｄバウンディングボックスが適用される１つ以上のトラック或いはアイテムをグルーピングし、該当グループに連関する３Ｄバウンディングボックス情報を以下のようにシグナリングする。
【1636】
ｂｏｘ Ｔｙｐｅｓ：‘３ｄｅｇ’
【1637】
Ｃｏｎｔａｉｎｅｒ：ＧｒｏｕｐｓＬｉｓｔＢｏｘ
【1638】
Ｍａｎｄａｔｏｒｙ：Ｎｏ
【1639】
Ｑｕａｎｔｉｔｙ：Ｚｅｒｏ ｏｒ ｍｏｒｅ
【1640】
‘３ｄｅｇ’のようなトラックグループタイプを有するエンティティツーグループボックス(ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ)は、トラック又はアイテムが３Ｄバウンディングボックス情報に連関するグループに属することを示す。シグナリングされた３Ｄバウンディングボックス情報はこのエンティティグループの時間指定又は非時間指定アイテムに適用される。
【1641】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＰｌａｙｏｕｔＥｎｔｉｔｙＧｒｏｕｐＢｏｘ (ｖｅｒｓｉｏｎ、ｆｌａｇｓ)
【1642】
ｅｘｔｅｎｄｓ ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ (３ｄｅｇ’、ｖｅｒｓｉｏｎ、ｆｌａｇｓ) {
【1643】
ｕｎｓｉｇｎｅｄ ｉｎｔ(７) ｒｅｓｒｖｅｄ＝０ ；
【1644】
ｕｎｓｉｎｇｅｄ ｉｎｔ(１)ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇ；
【1645】
ｆｏｒ(ｉ＝０；ｉ＜ｎｕｍ_ｅｎｔｉｔｉｅｓ_ｉｎ_ｇｒｏｕｐ；ｉ＋＋) {
【1646】
３ＤＢｏｕｎｄｉｎｇＢｏｘＳｔｒｕｃｔ (ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇ)；
【1647】
}
【1648】
}
【1649】
アンカー存在フラグ(ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇ)：この値が１であると、３Ｄアンカーポイントがシグナリングされた３Ｄバウンディングボックス構造(３ＤＢｏｕｎｄｉｎｇＢｏｘＳｔｒｕｃｔ)内に存在し、３Ｄバウンディングボックスが座標系内のシグナリングされた３Ｄアンカーポイントに対して表現されることを示す。この値が０であると、３Ｄアンカーポイントがシグナリングされた３Ｄバウンディングボックス構造内に存在せず、シグナリングされた３Ｄバウンディングボックスが(０、０、０)に対して表現されることを示す。
【1650】
グループ内のエンティティ数(ｎｕｍ_ｅｎｔｉｔｉｅｓ_ｉｎ_ｇｒｏｕｐ)：このエンティティグループのエンティティの数を示す。
【1651】
３Ｄバウンディングボックス構造(３ＤＢｏｕｎｄｉｎｇＢｏｘＳｔｒｕｃｔ)はこのグループの時間指定トラック又は非時間指定アイテムに適用される３Ｄバウンディングボックス情報を含む。
【1652】
３Ｄバウンディングボックス更新フラグ(３ｄ_ｂｂ_ｕｐｄａｔｅｄ_ｆｌａｇ)：この値が１であると、この構造内にシグナリングされた３Ｄバウンディングボックスが対応するＶ－ＰＣＣコンテンツの初期の３Ｄバウンディングボックス情報であることを示す。動的に変化する３Ｄバウンディングボックス情報はサンプルグルーピング又は時間指定メタデータトラックにシグナリングされる。
【1653】
３Ｄバウンディングボックス更新フラグ(３ｄ_ｂｂ_ｕｐｄａｔｅｄ_ｆｌａｇ)：この値が０であると、対応するＶ－ＰＣＣコンテンツの３Ｄバウンディングボックス情報が変化しないことを示す。
【1654】
３Ｄバウンディングボックスタイプ(３ｄ_ｂｂ_ｔｙｐｅ)値が０である場合、トラックグループ内のトラック或いはアイテムデータに連関する３Ｄバウンディングボックスのうち、一番大きいバウンディングボックス情報がシグナリングされる。
【1655】
３ｄ_ｂｂ_ｔｙｐｅ値が１である場合、連関する初期３Ｄバウンディングボックス情報がシグナリングされ、変化する３Ｄバウンディングボックス情報は別のメタデータトラックなどによりシグナリングされる。
【1656】
視聴情報エンティティグループ(Ｖｉｅｗｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｅｎｔｉｔｙ ｇｒｏｕｐ)
【1657】
同一の視聴情報(視聴方向、視聴オリエンテーション、視聴方向を含み)が適用される１つ以上のトラック或いはアイテムをグルーピングとし、該当グループに連関する視聴情報を以下のようにシグナリングする。
【1658】
ｂｏｘ Ｔｙｐｅｓ：‘ｖｉｅｇ’
【1659】
Ｃｏｎｔａｉｎｅｒ：ＧｒｏｕｐｓＬｉｓｔＢｏｘ
【1660】
Ｍａｎｄａｔｏｒｙ：Ｎｏ
【1661】
Ｑｕａｎｔｉｔｙ：Ｚｅｒｏ ｏｒ ｍｏｒｅ
【1662】
‘ｖｉｅｇ’のようなトラックグループタイプを有するエンティティツーグループボックス(ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ)は、トラック又はアイテム視聴位置、視聴オリエンテーション、視聴方向を含む視聴情報に連関するグループに属することを示す。シグナリングされた視聴情報はこのエンティティグループの時間指定トラック又は非時間指定アイテムに適用される。
【1663】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＰｌａｙｏｕｔＥｎｔｉｔｙＧｒｏｕｐＢｏｘ (ｖｅｒｓｉｏｎ、ｆｌａｇｓ)
【1664】
ｅｘｔｅｎｄｓ ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ (‘ｖｉｅｇ’、ｖｅｒｓｉｏｎ、ｆｌａｇｓ) {
【1665】
ｆｏｒ(ｉ＝０；ｉ＜ｎｕｍ_ｅｎｔｉｔｉｅｓ_ｉｎ_ｇｒｏｕｐ；ｉ＋＋){
【1666】
ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔ()；
【1667】
}
【1668】
}
【1669】
グループ内のエンティティ数(ｎｕｍ_ｅｎｔｉｔｉｅｓ_ｉｎ_ｇｒｏｕｐ)：このエンティティグループのエンティティの数を示す。
【1670】
視聴情報構造(ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔ)はこのグループのトラック又はアイテムに適用される視聴位置、視聴オリエンテーション又は視聴方向を含む視聴情報を含む。
【1671】
Ｖ－ＰＣＣビットストリームのマルチトラックコンテナ(Ｍｕｌｔｉ ｔｒａｃｋ ｃｏｎｔａｉｎｅｒ ｏｆ Ｖ－ＰＣＣ Ｂｉｔｓｔｒｅａｍ)
【1672】
マルチトラックＩＳＯＢＭＦＦ Ｖ－ＰＣＣコンテナの一般的なレイアウトとして、Ｖ－ＰＣＣビットストリーム内のＶ－ＰＣＣユニットがそれらのタイプに基づいてコンテナファイル内の個々のトラックにマッピングされる。例えば、図４０及び図４１の通りである。マルチトラックＩＳＯＢＭＦＦＶ－ＰＣＣコンテナ内のトラックは２つのタイプを有する。Ｖ－ＰＣＣトラック及びＶ－ＰＣＣコンポーネントトラックがある。
【1673】
Ｖ－ＰＣＣコンポーネントトラックはＶ－ＰＣＣビットストリームの占有マップ、ジオメトリ、特質サブビットストリームに対する２Ｄビデオ符号化されたデータを伝達するビデオスキームトラックである。さらに、以下の条件がＶ－ＰＣＣコンポーネントトラックに対して満たされる。
【1674】
ａ)サンプルエントリー内、Ｖ－ＰＣＣシステム内のビデオストリームの役割を説明する新しいボックスが挿入される。
【1675】
ｂ)トラック参照がＶ－ＰＣＣトラックにより表現される特定のポイントクラウド内のＶ－ＰＣＣコンポーネントトラックのメンバーシップを生成するために、Ｖ－ＰＣＣトラックからＶ－ＰＣＣコンポーネントトラックに導入される。
【1676】
ｃ)トラックヘッダフラグが０にセットされ、このトラックが直接ムービーの全般的なレイアップに寄与しないことを示し、その代わりにＶ－ＰＣＣシステムに寄与することを示す。
【1677】
同一のＶ－ＰＣＣシーケンスに属するトラックは時間に整合される。異なるビデオ符号化されたＶ－ＰＣＣコンポーネントトラックに対して同一のポイントクラウドフレームに寄与するサンプル及びＶ－ＰＣＣトラックは同一のプレゼンテーション時間を有する。かかるサンプルに対して使用されるＶ－ＰＣＣアトラスシーケンスパラメータセット及びアトラスフレームパラメータセットは、ポイントクラウドフレームの構成時間と同一であるか又は早い復号時間を有する。さらに、同一のＶ－ＰＣＣシーケンスに属する全てのトラックは同一の暗示的又は明確な編集リスト(ｅｄｉｔ ｌｉｓｔ)を有する。コンポーネントトラック内の基本ストリーム間の同期化(Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ)は、ムービーフラグメント内のＩＳＯＢＭＧＧトラックタイミング構造(ｓｔｔｓ、ｃｔｔｓ及びｃｓｌｇ)又は同等なメカニズムにより処理される。
【1678】
Ｖ－ＰＣＣトラック内の同期サンプル及びＶ－ＰＣＣコンポーネントトラックは時間整合されるか又は時間整合されない。時間整合がない場合、任意アクセスは所望の時間に開始できるように、異なる同期開始時間から様々なトラックを予めローリングすることを含む。
【1679】
時間整合である場合は、(例えば、Ｖ－ＰＣＣに定義されているように、基本ツールセット(ｂａｓｉｃ ｔｏｏｌｓｅｔ)プロファイルのようなＶ－ＰＣＣプロファイルにより要求される)Ｖ－ＰＣＣトラックの同期サンプルがＶ－ＰＣＣコンテンツに対する任意アクセスポイントと見なされ、任意アクセスはＶ－ＰＣＣトラックの同期サンプル情報のみを参照することにより行われる。
【1680】
このレイアウトに基づいて、Ｖ－ＰＣＣ ＩＳＯＢＭＦＦコンテナは以下を含む。
【1681】
アトラスサブビットストリームＮＡＬユニットを伝達するサンプル及びＶ－ＰＣＣパラメータセット及びアトラスサブビットストリームパラメータセット(サンプルエントリー内)を含む１つ又は１つ以上のＶ－ＰＣＣトラック。また、このトラックはユニットタイプ：ＶＰＣＣ_ＯＶＤ、ＶＰＣＣ_ＧＶＤ、ＶＰＣＣ_ＡＶＤのようなビデオ圧縮されたＶ－ＰＣＣユニットのペイロードを伝達する他のトラックに対するトラック参照を含む。
【1682】
サンプルが占有マップデータに対するビデオコーディングされた基本ストリーム(ＶＰＣＣ_ＯＶＤタイプのＶ－ＰＣＣユニットのペイロード)のアクセスユニットを含むビデオスキームトラック。
【1683】
サンプルジオメトリデータに対するビデオコーディングされた基本ストリーム(タイプＶＰＣＣ_ＧＶＤのＶ－ＰＣＣユニットのペイロード)のアクセスユニットを含む、１つ又は１つ以上のビデオスキップトラック。
【1684】
サンプルが特質データに対するビデオコーディングされた基本ストリーム(タイプＶＰＣＣ_ＡＶＤのＶ－ＰＣＣユニットのペイロード)のアクセスユニットを含むゼロ又は１つ以上のビデオスキームトラック。
【1685】
Ｖ－ＰＣＣトラック(Ｖ－ＰＣＣ ｔｒａｃｋ)
【1686】
Ｖ－ＰＣＣトラックサンプルエントリー(Ｖ－ＰＣＣ Ｔｒａｃｋ Ｓａｍｐｌｅ Ｅｎｔｒｙ)
【1687】
Ｓａｍｐｌｅ Ｅｎｔｒｙ Ｔｙｐｅ：'ｖｐｃ１'、'ｖｐｃｇ'
【1688】
Ｃｏｎｔａｉｎｅｒ：ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ
【1689】
Ｍａｎｄａｔｏｒｙ：Ａ 'ｖｐｃ１' ｏｒ 'ｖｐｃｇ' ｓａｍｐｌｅ ｅｎｔｒｙ ｉｓ ｍａｎｄａｔｏｒｙ
【1690】
Ｑｕａｎｔｉｔｙ：Ｏｎｅ ｏｒ ｍｏｒｅ ｓａｍｐｌｅ ｅｎｔｒｉｅｓ ｍａｙ ｂｅ ｐｒｅｓｅｎｔ
【1691】
Ｖ－ＰＣＣトラックはサンプルエントリータイプ'ｖｐｃ１'又は'ｖｐｃｇ'を有するボリュメトリックビジュアルサンプルエントリー(ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ)を拡張するＶＰＣＣサンプルエントリーを使用する。
【1692】
'ｖｐｃ１'サンプルエントリーにおいて、全てのアトラスシーケンスパラメータセット、アトラスフレームパラメータセット、アトラス適応パラメータセット又はＶ－ＰＣＣ必須ＳＥＩ又はＶ－ＰＣＣ非必須ＳＥＩは、セットアップユニット(ｓｅｔｕｐＵｎｉｔ)アレイ内にある。'ｖｐｃｇ'サンプルエントリーにおいて、アトラスシーケンスパラメータセット、アトラスフレームパラメータセット、アトラス適応パラメータセット、Ｖ－ＰＣＣ必須ＳＥＩ又はＶ－ＰＣＣ非必須ＳＥＩは、ストリーム内のアレイ内に存在する。
【1693】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＳａｍｐｌｅＥｎｔｒｙ() ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ ('ｖｐｃ１') {
【1694】
ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ；
【1695】
ＶＰＣＣＵｎｉｔＨｅａｄｅｒＢｏｘ ｕｎｉｔ_ｈｅａｄｅｒ；
【1696】
ＶＰＣＣ３ＤＢｏｕｎｄｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ()；
【1697】
ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ()；
【1698】
}
【1699】
ＶＰＣＣ３Ｄバウンディング情報ボックス(ＶＰＣＣ３ＤＢｏｕｎｄｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ)は、このトラック内に伝達されるサンプルに対応するＶ－ＰＣＣコンテンツの３Ｄバウンディングボックス情報を示す。
【1700】
３Ｄバウンディングボックス更新フラグ(３ｄ_ｂｂ_ｕｐｄａｔｅｄ_ｆｌａｇ)：この値が１であると、シグナリングされた３Ｄバウンディングボックス情報がこのトラック内に伝達されるサンプルに対応するＶ－ＰＣＣコンテンツの初期の３Ｄバウンディングボックス情報であることを示す。動的に変化する３Ｄバウンディングボックス情報は、サンプルグルーピング又は時間指定メタデータによりシグナリングされる。この値が０であると、対応するＶ－ＰＣＣコンテンツの３Ｄバウンディングボックス情報は変化しない。
【1701】
３Ｄバウンディングボックスタイプ(３ｄ_ｂｂ_ｔｙｐｅ)：この値が０である場合、サンプルデータに連関する３Ｄバウンディングボックスのうち、一番大きいバウンディングボックス情報がシグナリングされる。３ｄ_ｂｂ_ｔｙｐｅ値が１である場合は、連関する初期３Ｄバウンディングボックス情報がシグナリングされ、変化する３Ｄバウンディングボックス情報はサンプルグルーピング或いは別のメタデータトラックなどによりシグナリングされる。
【1702】
視聴情報ボックス(ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ)はこのトラック内に伝達されるサンプルに対応するＶ－ＰＣＣコンテンツの視聴情報(視聴位置、オリエンテーション又は方向を含む)を示す。視聴情報サンプルグループ又は視聴情報時間指定メタデータトラックが存在する場合、初期の視聴情報を示す。
【1703】
ＶＰＣＣ構成ボックス(ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ)は共通データ構造(ｃｏｍｍｏｎ ｄａｔａ ｓｔｒｕｃｔｕｒｅ)で説明した内容を参照する。
【1704】
Ｖ－ＰＣＣトラックサンプルフォーマット(Ｖ－ＰＣＣ ｔｒａｃｋ ｓａｍｐｌｅ ｆｏｒｍａｔ)
【1705】
Ｖ－ＰＣＣトラック内の各々のサンプルは、シングルコーディングされたアトラスアクセスユニットに対応する。様々なコンポーネントトラック内のこのフレームに対応するサンプルはＶ－ＰＣＣトラックサンプルと同一の構成時間を有する。各々のＶ－ＰＣＣサンプルはただ１つ又は１つ以上のアトラスＮＡＬユニットを含むタイプＶＰＣＣ_ＡＤの１つのＶ－ＰＣＣユニットペイロードを含む。
【1706】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＳａｍｐｌｅ {
【1707】
ｕｎｓｉｇｎｅｄ ｉｎｔ ＰｏｉｎｔＣｌｏｕｄＰｉｃｔｕｒｅＬｅｎｇｔｈ＝ｓａｍｐｌｅ_ｓｉｚｅ；／／ｓｉｚｅ ｏｆ ｓａｍｐｌｅ(例えば、ｆｒｏｍ ＳａｍｐｌｅＳｉｚｅＢｏｘ)
【1708】
ｆｏｒ (ｉ＝０；ｉ＜ＰｏｉｎｔＣｌｏｕｄＰｉｃｔｕｒｅＬｅｎｇｔｈ；) {
【1709】
ｓａｍｐｌｅ_ｓｔｒｅａｍ_ｎａｌ_ｕｎｉｔ ｎａｌＵｎｉｔ；
【1710】
ｉ＋＝(ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ.ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ＋１)＋ｎａｌＵｎｉｔ.ｓｓｎｕ_ｎａｌ_ｕｎｉｔ_ｓｉｚｅ；
【1711】
}
【1712】
}
【1713】
ＮＡＬユニット(ｎａｌＵｎｉｔ)はＮＡＬユニットサンプルストリームフォーマット内のシングルアトラスＮＡＬユニットを含む。
【1714】
Ｖ－ＰＣＣトラック同期サンプル(Ｖ－ＰＣＣ ｔｒａｃｋ ｓｙｎｃ ｓａｍｐｌｅ)
【1715】
Ｖ－ＰＣＣトラック内の同期サンプルは、イントラ任意アクセスポイント(ｉｎｔｒａ ｒａｎｄｏｍ ａｃｃｅｓｓ ｐｏｉｎｔ、ＩＲＡＰ)コーディングされたアトラスアクセスユニットを含むサンプルである。アトラスサブビットストリームパラメータセット(例えば、ＡＳＰＳ、ＡＡＰＳ、ＡＦＰＳ)及びＳＥＩメッセージが必要な場合、任意アクセスを許容するために、同期サンプルで繰り返される。
【1716】
ビデオ符号化されたＶ－ＰＣＣコンポーネントトラック(Ｖｉｄｅｏ－ｅｎｃｏｄｅｄ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋｓ)
【1717】
プレーヤー側でポイントクラウドを復元せず、特質、ジオメトリ又は占有マップトラックから復号されたフレームをディスプレイすることは意味がないので、ビデオスキップタイプ(ａ ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｓｃｈｅｍｅ ｔｙｐｅ)がこのようなビデオコーディングされたトラックに対して定義される。
【1718】
ビデオ スキーム(Ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｓｃｈｅｍｅ)
【1719】
Ｖ－ＰＣＣコンポーネントビデオトラックはビデオとしてファイル内に表現され、それらのビデオサンプルエントリーのスキーム情報ボックス(ＲｅｓｔｒｉｃｔｅｄＳｃｈｅｍｅＩｎｆｏＢｏｘ)のスキームタイプボックス(ＳｃｈｅｍｅＴｙｐｅＢｏｘ)のスキームタイプ(ｓｃｈｅｍｅ_ｔｙｐｅ)フィールド内の'ｐｃｃｖ'により識別される。
【1720】
特質、ジオメトリ及び占有マップＶ－ＰＣＣコンポーネントを符号化するために使用されるビデオコーデックに対する制限がない。さらに、かかるコンポーネントは異なるビデオコーデックを使用して符号化される。
【1721】
スキーム情報(Ｓｃｈｅｍｅ ｉｎｆｏｒｍａｔｉｏｎ)
【1722】
スキーム情報ボックス(ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ)が存在し、ＶＰＣＣユニットヘッダボックス(ＶＰＣＣＵｎｉｔＨｅａｄｅｒＢｏｘ)を含む。
【1723】
Ｖ－ＰＣＣコンポーネントトラックの参照(Ｒｅｆｅｒｅｎｃｉｎｇ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋｓ)
【1724】
Ｖ－ＰＣＣトラックをコンポーネントビデオトラックにリンクするために、３つのトラック参照タイプボックス(ＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘｅｓ)は各々のコンポーネントに対する１つ、Ｖ－ＰＣＣトラックのトラックボックス(ＴｒａｃｋＢｏｘ)内のトラック参照ボックス(ＴｒａｃｋＲｅｆｅｒｅｎｃｅＢｏｘ)に加えられる。トラック参照タイプボックス(ＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘ)はＶ－ＰＣＣトラックを参照するビデオトラックを指定するトラックＩＤ(ｔｒａｃｋ_ＩＤｓ)のアレイを含む。トラック参照タイプボックス(ＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘ)の参照タイプ(ｒｅｆｅｒｅｎｃｅ_ｔｙｐｅ)はコンポーネントタイプ(占有マップ、ジオメトリ又は特質又は占有マップ)を識別する。かかるトラック参照タイプの４ＣＣを以下のように説明できる。
【1725】
'ｐｃｃｏ'：参照されたトラックはビデオコーディングされた占有マップＶ－ＰＣＣコンポーネントを含む。
【1726】
'ｐｃｃｇ'：参照されたトラックはビデオコーディングされたジオメトリＶ－ＰＣＣ コンポーネントを含む。
【1727】
'ｐｃｃａ'：参照されたトラックはビデオコーディングされた特質Ｖ－ＰＣＣコンポーネントを含む。
【1728】
参照されたビデオトラック(ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｔｒａｃｋ)により伝達されるトラックのスキーム情報ボックス(ＲｅｓｔｒｉｃｔｅｄＳｃｈｅｍｅＩｎｆｏＢｏｘ)内にシグナリングされるＶ－ＰＣＣコンポーネントのタイプは、Ｖ－ＰＣＣトラックからトラック参照の参照タイプにマッチングされる。
【1729】
Ｖ－ＰＣＣビットストリームのシングルトラックコンテナ(Ｓｉｎｇｌｅ ｔｒａｃｋ ｃｏｎｔａｉｎｅｒ ｏｆ Ｖ－ＰＣＣ Ｂｉｔｓｔｒｅａｍ)
【1730】
Ｖ－ＰＣＣデータのシングルトラックカプセル化はシングルクラックにより表現されるＶ－ＰＣＣ符号化された基本ビットストリームを要求する。
【1731】
ＰＣＣデータのシングルトラックカプセル化は、Ｖ－ＰＣＣ符号化されたビットストリームのシンプルＩＳＯＢＭＦＦカプセル化の場合に活用される。このようなビットストリームは追加プロセシングなしに直接シングルトラックに格納される。Ｖ－ＰＣＣユニットヘッダデータ構造はビットストリーム内に存在する。シングルトラックコンテナは追加処理(マルチトラックファイル生成、トランスコーディング、ＤＡＳＨセグメントなど)のためのメディアワークフローに提供される。
【1732】
Ｖ－ＰＣＣビットストリームトラック(Ｖ－ＰＣＣ ｂｉｔｓｔｒｅａｍ ｔｒａｃｋ)
【1733】
Ｓａｍｐｌｅ Ｅｎｔｒｙ Ｔｙｐｅ：'ｖｐｅ１'、'ｖｐｅｇ'
【1734】
Ｃｏｎｔａｉｎｅｒ：ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ
【1735】
Ｍａｎｄａｔｏｒｙ：Ａ 'ｖｐｅ１' ｏｒ 'ｖｐｅｇ' ｓａｍｐｌｅ ｅｎｔｒｙ ｉｓ ｍａｎｄａｔｏｒｙ
【1736】
Ｑｕａｎｔｉｔｙ：Ｏｎｅ ｏｒ ｍｏｒｅ ｓａｍｐｌｅ ｅｎｔｒｉｅｓ ｍａｙ ｂｅ ｐｒｅｓｅｎｔ
【1737】
Ｖ－ＰＣＣビットストリームトラックはサンプルエントリータイプ'ｖｐｅ１'又は'ｖｐｅｇ'を有するボリュメトリックビジュアルサンプルエントリー(ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ)を使用する。
【1738】
Ｖ－ＰＣＣビットストリームサンプルエントリーはＶＰＣＣ構成ボックス(ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ)を含む。
【1739】
'ｖｐｅ１'サンプルエントリーにおいて、全てのアトラスシーケンスパラメータセット、アトラスフレームパラメータセット、アトラス適応パラメータセット、Ｖ－ＰＣＣ必須ＳＥＩ又はＶ－ＰＣＣ非必須ＳＥＩがこのアレイ又はこのストリーム内に存在する。
【1740】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶＰＣＣＢｉｔＳｔｒｅａｍＳａｍｐｌｅＥｎｔｒｙ() ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ ('ｖｐｅ１'){
【1741】
ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ；
【1742】
ＶＰＣＣ３ＤＢｏｕｎｄｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ()；
【1743】
ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ()；
【1744】
}
【1745】
ＶＰＣＣ３Ｄバウンディング情報ボックス(ＶＰＣＣ３ＤＢｏｕｎｄｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ)は、トラック内伝達されるサンプルに対応するＶ－ＰＣＣコンテンツの３Ｄバウンディングボックス情報を示す。
【1746】
３Ｄバウンディングボックス更新フラグ(３ｄ_ｂｂ_ｕｐｄａｔｅｄ_ｆｌａｇ)：この値が１であると、シグナリングされた３Ｄバウンディングボックス情報がトラック内伝達されるサンプルに対応するＶ－ＰＣＣコンテンツの初期の３Ｄバウンディングボックス情報であることを示す。動的に変化する３Ｄバウンディングボックス情報は、サンプルグルーピング又は時間指定メタデータトラックにシグナリングされる。この値が０であると、対応するＶ－ＰＣＣコンテンツの３Ｄバウンディングボックス情報が変化しないことを示す。
【1747】
３ｄ_ｂｂ_ｔｙｐｅ値が０である場合、サンプルデータに連関する３Ｄバウンディングボックスのうち、一番大きいバウンディングボックス情報がシグナリングされる。３ｄ_ｂｂ_ｔｙｐｅ値が１である場合、連関する初期３Ｄバウンディングボックス情報がシグナリングされ、変化する３Ｄバウンディングボックス情報はサンプルグルーピング或いは別のメタデータトラックなどによりシグナリングされる。
【1748】
視聴情報ボックスがトラック内伝達されるサンプルに対応するＶ－ＰＣＣコンテンツの視聴情報(視聴位置、オリエンテーション又は方向を含み)を示す。これは視聴情報サンプルグループ又は視聴情報時間指定メタデータトラックが存在する場合、初期の視聴情報を示す。
【1749】
Ｖ－ＰＣＣビットストリームサンプルフォーマット(Ｖ－ＰＣＣ ｂｉｔｓｔｒｅａｍ ｓａｍｐｌｅ ｆｏｒｍａｔ)
【1750】
Ｖ－ＰＣＣビットストリームサンプルは同一のプレゼンテーション時間、即ち、１つのＶ－ＰＣＣアクセスユニットに属する１つ又は１つ以上のＶ－ＰＣＣユニットを含む。サンプルは同期サンプルのように自立的であるか(ｂｅ ｓｅｌｆ－ｃｏｎｔａｉｎｅｄ)又はＶ－ＰＣＣビットストリームトラックの他のサンプルに従属する復号特性を有する。
【1751】
Ｖ－ＰＣＣビットストリーム同期サンプル(Ｖ－ＰＣＣ ｂｉｔｓｔｒｅａｍ ｓｙｎｃ ｓａｍｐｌｅ)
【1752】
Ｖ－ＰＣＣビットストリーム同期サンプルは以下の全ての条件を満たす：
【1753】
独立して復号可能である。
【1754】
復号順に同期サンプル後のサンプルが同期サンプルに先だってサンプル上の復号従属状態を有しない。
【1755】
復号順に同期サンプル後の全てのサンプルが成功的に復号される。
【1756】
Ｖ－ＰＣＣビットストリームサブサンプル(Ｖ－ＰＣＣ ｂｉｔｓｔｒｅａｍ ｓｕｂ－ｓａｍｐｌｅ)
【1757】
Ｖ－ＰＣＣビットストリームサブサンプルはＶ－ＰＣＣビットストリームサンプル内に含まれるＶ－ＰＣＣユニットである。
【1758】
Ｖ－ＰＣＣビットストリームトラックは、Ｖ－ＰＣＣビットストリームサブサンプルを並べるムービーフラグメントボックス(ＭｏｖｉｅＦｒａｇｍｅｎｔＢｏｘｅｓ)の各々のトラックフラグメントボックス(ＴｒａｃｋＦｒａｇｍｅｎｔＢｏｘ)内のサンプルテーブルボックス(ＳａｍｐｌｅＴａｂｌｅＢｏｘ)又は内の１つのサブサンプル情報ボックス(ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ)を含む。サブサンプルを示すＶ－ＰＣＣユニットの３２ビットユニットヘッダは、サブサンプル情報ボックス(ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ)内のサブサンプルエントリーの３２ビットコーデック特定のパラメータ(ｃｏｄｅｃ_ｓｐｅｃｉｆｉｃ_ｐａｒａｍｅｔｅｒＳ)フィールドにコピーされる。各々のサブサンプルのＶ－ＰＣＣユニットタイプは、サブサンプル情報ボックス(ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ)内のサブサンプルエントリーのコーデック特定のパラメータ(ｃｏｄｅｃ_ｓｐｅｃｉｆｉｃ_ｐａｒａｍｅｔｅｒｓ)フィールドをパースすることにより識別される。
【1759】
時間指定メタデータトラック(Ｔｉｍｅｄ ｍｅｔａｄａｔａ ｔｒａｃｋ)
【1760】
３Ｄバウンディングボックス時間指定メタデータトラック(３Ｄ ｂｏｕｎｄｉｎｇ ｂｏｘ ｔｉｍｅｄ ｍｅｔａｄａｔａ ｔｒａｃｋ)
【1761】
Ｖ－ＰＣＣコンテンツの３Ｄバウンディングボックス情報を示す動的３Ｄバウンディングボックス時間指定メタデータトラックは、時間によって動的に変化する。３Ｄバウンディングボックス時間指定メタデータトラックは、'ｃｄｓｃ'トラック参照を活用してアトラスサブビットストリーム(例えば、Ｖ－ＰＣＣトラック又はＶ－ＰＣＣビットストリームトラック)又はＶ－ＰＣＣコンポーネントビットストリームを伝達する個別トラックにリンクされる。
【1762】
３Ｄバウンディングボックス時間指定メタデータトラックは'ｃｄｓｃ’トラック参照を活用して個別トラックグループにリンクされる。
【1763】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ３ＤＢｏｕｎｄｉｎｇＢｏｘＳａｍｐｌｅＥｎｔｒｙ ｅｘｔｅｎｄｓ ＭｅｔａｄａｔａＳａｍｐｌｅＥｎｔｒｙ('ｄｙ３ｂ') {
【1764】
ＶＰＣＣ３ＤＢｏｕｎｄｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ ｉｎｉｔｉａｌ_３ｄ_ｂｂ；
【1765】
}
【1766】
この時間指定メタデータトラックのサンプルエントリーは対応するＶ－ＰＣＣコンテンツに適用されるデフォルト３Ｄバウンディングボックス情報を含む３Ｄバウンディングボックス情報を含む。
【1767】
時間指定メタデータトラックのサンプルフォーマットは以下の通りである。
【1768】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ３ＤＢｏｕｎｄｉｎｇＢｏｘＳａｍｐｌｅ{
【1769】
ｕｎｓｉｇｎｅｄ ｉｎｔ(７)ｒｅｓｅｒｖｅｄ＝０；
【1770】
ｕｎｓｉｇｎｅｄ ｉｎｔ(１)ａｎｃｈｏｒ_ｕｐｄａｔｅｄ_ｆｌａｇ；
【1771】
３ＤＢｏｕｎｄｉｎｇＢｏｘＳｔｒｕｃｔ(ａｎｃｈｏｒ_ｕｐｄａｔｅｄ_ｆｌａｇ)；
【1772】
}
【1773】
アンカー更新フラグ(ａｎｃｈｏｒ_ｕｐｄａｔｅｄ_ｆｌａｇ)：３Ｄバウンディングボックスの３Ｄアンカーポイント(原点)が更新されるか否かを示すフラグである。この値が１であると、３Ｄアンカーポイントがサンプル内に存在し、３Ｄバウンディングボックスが座標系内のシグナリングされた３Ｄアンカーポイントに対して表現される。この値が０であると、３Ｄアンカーポイントがこのサンプル内に存在せず、３Ｄバウンディングボックスはサンプルエントリー内のシグナリングされる３Ｄアンカーポイントに対して表現される。
【1774】
視聴情報時間指定メタデータトラック(Ｖｉｅｗｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｔｉｍｅｄ ｍｅｔａｄａｔａ ｔｒａｃｋ)
【1775】
動的視聴情報時間指定メタデータトラックは視聴情報(視聴位置、視聴オリエンテーション、視聴方向を含み)を示し、動的に時間によって変化する。視聴情報時間指定メタデータトラックは'ｃｄｓｃ'トラック参照を活用してアトラスサブビットストリーム(例えば、Ｖ－ＰＣＣトラック又はＶ－ＰＣＣビットストリームトラック)又はＶ－ＰＣＣコンポーネントビットストリームを伝達する個別トラックにリンクされる。
【1776】
視聴情報時間指定メタデータトラックは'ｃｄｓｃ'トラック参照を活用して個別トラックグループに連結される。
【1777】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＳａｍｐｌｅＥｎｔｒｙ ｅｘｔｅｎｄｓ ＭｅｔａｄａｔａＳａｍｐｌｅＥｎｔｒｙ('ｄｙｖｉ') {
【1778】
ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＢｏｘ()；
【1779】
}
【1780】
視聴情報時間指定メタデータトラックのサンプルエントリーは対応するＶ－ＰＣＣコンテンツに適用される初期の視聴情報(視聴位置、視聴オリエンテーション、視聴方向を含み)を含む。
【1781】
時間指定メタデータトラックのサンプルフォーマットは以下の通りである。
【1782】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＳａｍｐｌｅ{
【1783】
ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔ()；
【1784】
}
【1785】
視聴情報構造(ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔ)は動的に変化する視聴情報(視聴位置、視聴オリエンテーション、視聴方向を含み)を含む。
【1786】
上述した実施例によるデータは、図４５のように、ポイントクラウドデータが非時間指定データである場合、イメージアイテムとしてファイル内で生成され、カプセル化されて送受信される。かかるカプセル化は、実施例によるファイル／セグメントカプセル化部２０００４、２１００９により行われ、カプセル化に対応するデカプセル化は、実施例によるファイル／セグメントデカプセル化部２２０００により行われる。
【1787】
実施例によるアイテムタイプはＶ－ＰＣＣアイテム及びＶ－ＰＣＣユニットアイテムを含み、非時間指定Ｖ－ＰＣＣデータをカプセル化するために定義される。
【1788】
実施例によるアイテムは図４５の対応する説明を参照する。
【1789】
ＶＰＣＣ構成アイテムプロパティ(Ｖ－ＰＣＣ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)はＶ－ＰＣＣパラメータセットを格納し、Ｖ－ＰＣＣアイテムに連関する。
【1790】
一方、ｖｐｃｃ_ｕｎｉｔ_ｐａｙｌｏａｄ_ｓｔｒｕｃｔはＶＰＣＣユニットペイロードサイズ(ｖｐｃｃ_ｕｎｉｔ_ｐａｙｌｏａｄ_ｓｉｚｅ)及びＶＰＣＣユニットペイロード(ｖｐｃｃ_ｕｎｉｔ_ｐａｙｌｏａｄ)を含み、ＶＰＣＣユニットペイロードサイズはＶＰＣＣユニットペイロードのサイズを示す。
【1791】
ＶＰＣＣユニットペイロードはｖｐｃｃ_ＶＰＳタイプのＶＰＣＣユニットを含む。
【1792】
３Ｄバウンディングボックスアイテムプロパティ(３ＤＢｏｕｎｄｉｎｇｂｏｘ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)
【1793】
ｂｏｘ Ｔｙｐｅｓ：‘ｖｐｂｂ’
【1794】
Ｐｒｏｐｅｒｔｙ ｔｙｐｅ：Ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｙ
【1795】
Ｃｏｎｔａｉｎｅｒ：ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ
【1796】
Ｍａｎｄａｔｏｒｙ (ｐｅｒ ｉｔｅｍ)：ｎｏ
【1797】
Ｑｕａｎｔｉｔｙ (ｐｅｒ ｉｔｅｍ)：ｚｅｒｏ ｏｒ ｏｎｅ
【1798】
３Ｄバウンディングボックス情報を含む３Ｄバウンディングボックス構造(３ＤＢｏｕｎｄｉｎｇＢｏｘＳｔｒｕｃｔ())はアイテムプロパティとして格納され、Ｖ－ＰＣＣアイテム及びＶ－ＰＣＣユニットアイテムに連関する。
【1799】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ３ＤＢｏｕｎｄｉｎｇＢｏｘＩｔｅｍＰｒｏｐｅｒｔｙ() ｅｘｔｅｎｄｓ ＩｔｅｍＦｕｌｌＰｒｏｐｅｒｔｙ(‘ｖｐｂｂ'、ｖｅｒｓ１ｉｏｎ=０、０) {
【1800】
ｕｎｓｉｇｎｅｄ ｉｎｔ(７) ｒｅｓｒｖｅｄ＝０ ；
【1801】
ｕｎｓｉｎｇｅｄ ｉｎｔ(１)ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇ；
【1802】
３ＤＢｏｕｎｄｉｎｇＢｏｘＳｔｒｕｃｔ (ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇ)；
【1803】
}
【1804】
アンカー存在フラグ(ａｎｃｈｏｒ_ｐｒｅｓｅｎｃｅ_ｆｌａｇ)：この値が１であると、３Ｄアンカーポイントがシグナリングされた３Ｄバウンディングボックス構造内に存在し、３Ｄバウンディングボックスは座標系内にシグナリングされた３Ｄアンカーポイントについて表現される。この値が０であると、３Ｄアンカーポイントはシグナリングされた３Ｄバウンディングボックス構造内に存在せず、シグナリングされた３Ｄバウンディングボックスは(０、０、０)に対して表現される。
【1805】
一方、この明細書において、実施例によるアンカーポイントはポイントクラウドデータの３次元空間上のバウンディングボックスの基準点であり(３次元空間上のバウンディングボックスのｘ、ｙ、ｚ軸のオリジン)であると定義することができる。
【1806】
３Ｄバウンディングボックス構造(３ＤＢｏｕｎｄｉｎｇＢｏｘＳｔｒｕｃｔ())はＶ－ＰＣＣアイテムに連関する３Ｄバウンディングボックス情報を示す。
【1807】
視聴情報アイテムプロパティ(Ｖｉｅｗｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)
【1808】
ｂｏｘ Ｔｙｐｅｓ：‘ｖｐｖｉ’
【1809】
Ｐｒｏｐｅｒｔｙ ｔｙｐｅ：Ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｙ
【1810】
Ｃｏｎｔａｉｎｅｒ：ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ
【1811】
Ｍａｎｄａｔｏｒｙ (ｐｅｒ ｉｔｅｍ)：ｎｏ
【1812】
Ｑｕａｎｔｉｔｙ (ｐｅｒ ｉｔｅｍ)：ｚｅｒｏ ｏｒ ｏｎｅ
【1813】
視聴情報プロパティ(ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＰｒｏｐｅｒｔｙ)はユーザにレンダラーされるべきイメージによる視聴情報を示す。視聴情報(視聴位置、視聴オリエンテーション又は視聴方向を含み)を含む視聴情報構造はアイテムプロパティとして格納され、Ｖ－ＰＣＣアイテム及びＶ－ＰＣＣユニットアイテムに連関する。
【1814】
ａｌｉｇｎｅｄ(８) ｃｌａｓｓ ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＰｒｏｐｅｒｔｙ () ｅｘｔｅｎｄｓ ＩｔｅｍＦｕｌｌＰｒｏｐｅｒｔｙ(‘ｖｐｖｉ'、ｖｅｒｓｉｏｎ＝０、０) {
【1815】
ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔ ()；
【1816】
}
【1817】
視聴情報構造(ＶｉｅｗｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔ())はＶ－ＰＣＣアイテムに連関する視聴情報(視聴位置、視聴オリエンテーション又は視聴方向を含み)を含む。
【1818】
実施例によるファイルカプセル化部２０００４,２１００９は以下のフローチャートに従ってポイントクラウドデータを処理する。
【1819】
１．Ｖ－ＰＣＣビデオ或いはイメージの３Ｄバウンディング情報或いはビットストリーム上に存在する３Ｄバウンディングボックス情報の変化程度によってファイル内トラック或いはイメージアイテム内に生成して格納する。
【1820】
２．これに関連するシグナリング情報を格納する。
【1821】
３．Ｖ－ＰＣＣビデオ或いはイメージの視聴情報に基づいてそれをファイル内トラック或いはイメージアイテム内に生成、格納し、関連シグナリング情報を格納する。
【1822】
実施例によるファイルデカプセルか又はファイルデカプセル化部２２０００は、以下のフローチャートに従ってポイントクラウドデータを処理する。
【1823】
１．ファイル内トラック或いはイメージアイテムに含まれているシグナリング及び３Ｄバウンディングボックスなどの情報を得る。
【1824】
２．それに基づいてファイル内トラックデータ或いはイメージデータを効果的に抽出、復号、後処理などを行う。
【1825】
３．ファイル内トラック或いはイメージアイテムに含まれているシグナリング及び視聴情報を得て、それらに基づいてポイントクラウドビデオ或いはイメージレンダリングなどを行う。
【1826】
実施例によるポイントクラウドデータ送受信方法／装置は、実施例によるファイルカプセル化部及びファイルデカプセル化部などの動作により、以下のような効果を提供する。
【1827】
上述したＶ－ＰＣＣ及びＶ－ＰＣＣシステムのデータは、実施例による送信装置のカプセル化部(又は生成器などとも称する)で生成され、送信装置の送信機により送信される。また、上述したＶ－ＰＣＣ及びＶ－ＰＣＣシステムのデータは、実施例による受信装置の受信部により受信され、受信装置のデカプセル化部(又はパースなどとも称される)により得られる。受信装置のデコーダ、レンダラーなどは、上述したＶ－ＰＣＣ及びＶ－ＰＣＣシステムのデータに基づいてユーザに適するポイントクラウドデータを提供する。
【1828】
実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階、ポイントクラウドデータを含むビットストリームをファイルに基づいてカプセル化する段階、及びファイルを送信する段階を含む。
【1829】
実施例によるビットストリームはポイントクラウドデータに関するパラメータ情報を含み、パラメータ情報はポイントクラウドデータに関するボックスの座標系内のオフセット情報及びボックスのサイズ情報を含む。即ち、バウンディングボックスの位置及びサイズ情報がシグナリングされる(図３０を参照)。
【1830】
実施例によるファイルはポイントクラウドデータに関する空間情報を含み、空間情報はポイントクラウドデータに対する３Ｄバウンディングボックスに含まれたポイントの座標値及び３Ｄバウンディングボックスの座標系内の拡張値を含む(図４４を参照)。
【1831】
実施例によるファイルはポイントクラウドデータに関するパラメータセット及びアトラスサブビットストリームパラメータセットを含むサンプルエントリーを含むトラックを含み、トラックはポイントクラウドデータに関する空間情報を含む(図４４の対応段落を参照)。
【1832】
実施例によるファイルはポイントクラウドデータに関するパラメータセット及びアトラスサブビットストリームパラメータセットを含むサンプルエントリーを含むトラックを含み、トラックは時間指定メタデータトラックを含み、時間指定メタデータトラックは動的に変化する空間情報を含む(図４４の対応段落を参照)。即ち、時間によって変化するポイントクラウドデータの場合、実施例による方法／装置は時間指定メタデータトラックに動的な３Ｄバウンディングボックス又は空間に関する情報を含めることができる。
【1833】
実施例によるファイルはポイントクラウドデータに対する同一の３Ｄバウンディングボックスに属するトラックを含み、トラックはグルーピングされる(図６３の対応段落を参照)。
【1834】
実施例によるファイルはポイントクラウドデータに対する同一の３Ｄバウンディングボックスに属するトラック又はアイテムを含み、トラック又はアイテムはグルーピングされ、３Ｄバウンディングボックスはポイントクラウドデータに連関する１つ又は１つ以上のエンティティを示す。実施例によるエンティティとは、ポイントクラウドデータで表現されるオブジェクトを意味する。複数のエンティティが存在する場合、実施例による方法／装置は複数のエンティティを効率的にレンダリングするために、符号化／復号のためのファイルコンテナ構造を提供する(図６３の対応段落を参照)。
【1835】
図６４は実施例によるポイントクラウドデータ送信方法を示す。
【1836】
Ｓ６４０００、実施例によるポイントクラウドデータ送信方法はポイントクラウドデータを符号化する段階を含む。
【1837】
実施例による符号化動作は、図１の送信装置１００００、ポイントクラウドビデオエンコーダ１０００２、図２及び図３のポイントクラウドデータの獲得及び処理、図４のエンコーダ、図５及び図１４のポイントクラウドデータの処理、図１５のエンコーダ、図１８の送信装置、図２０の獲得２００００、プロセッサ２０００１、エンコーダ２０００２,２０００６、図２１のポイントクラウドデータの獲得２１０００、ポイントクラウドデータのプロセッサ２１００１ないし２１００６、エンコーダ２１００７,２１００８、図２３のスマートフォン２４４０、ＸＲデバイス２４３０、図２４及び図２５のオブジェクトに対するバウンディングボックスの処理及び情報生成、図２６及び図２７のポイントクラウドデータを含むビットストリームの生成、及び図３１のアトラス(サブ)ビットストリームの生成／符号化などの動作を含む。
【1838】
Ｓ６４０１０、実施例によるポイントクラウドデータ送信方法はさらにポイントクラウドデータをカプセル化する段階を含む。
【1839】
実施例によるカプセル化動作は、図１の送信装置１００００、ファイル／セグメントカプセル化部１０００３、図２０のファイル／セグメントカプセル化部２０００４、図２１のファイル／セグメントカプセル化部２１００９、図２４及び図２５のバウンディングボックスに関する情報生成、図３１及び図５０のアトラス(サブ)ビットストリームに関する情報生成、図４０及び図４１のファイル生成、図４２のサンプルエントリー内の情報生成、図４３のトラック参照及びグルーピング生成、及び図４５のアイテム生成などの動作を含む。
【1840】
Ｓ６４０２０、実施例によるポイントクラウドデータ送信方法はさらにポイントクラウドデータを送信する段階を含む。
【1841】
【1842】
図６５は実施例によるポイントクラウドデータ受信方法を示す。
【1843】
Ｓ６５０００、実施例によるポイントクラウドデータ受信方法はポイントクラウドデータを受信する段階を含む。
【1844】
【1845】
Ｓ６５０１０、実施例によるポイントクラウドデータ受信方法はさらにポイントクラウドデータをデカプセル化する段階を含む。
【1846】
実施例によるデカプセル化動作は、図１の受信装置１０００５、ファイル／セグメントデカプセル化部１０００７、図２０のファイル／セグメントデカプセル化部２０００５、図２２のファイル／セグメントデカプセル化部２２０００、図２４及び図２５のバウンディングボックスに関する情報パース、図３１及び図５０のアトラス(サブ)ビットストリームに関する情報パース、図４０及び図４１のファイルパース、図４２のサンプルエントリー内の情報パース、図４３のトラック参照及びグルーピングパース、及び図４５のアイテムパースなどの動作を含む。
【1847】
Ｓ６５０２０、実施例によるポイントクラウドデータ受信方法はさらにポイントクラウドデータを復号する段階を含む。
【1848】
実施例による復号動作は、ポイントクラウドデータビデオデコーダ１０００８、レンダラー１０００９、図１６及び図１７のデコーダ、図１９の受信装置、図２０のデコーダ２０００６、ポイントクラウドデータプロセッサ／レンダラー、ディスプレイ、図２２のデコーダ２２００１,２２００２、ポイントクラウドデータのプロセッサ２２００３、レンダラー、図２３のスマートフォン２４４０、ＸＲデバイス２４３０、図２４及び図２５のオブジェクトに対するバウンディングボックスの処理及び情報復号、図２６及び図２７のポイントクラウドデータを含むビットストリームの復号、及び図３１のアトラス(サブ)ビットストリームの処理／復号などの動作を含む。
【1849】
実施例による方式において、ポイントクラウドコンテンツサービスを提供するための送信機又は受信機は、上述したように、Ｖ－ＰＣＣビットストリームを構成し、ファイルを格納する。
【1850】
Ｖ－ＰＣＣビットストリームを効果的に多重化することができる。Ｖ－ＰＣＣユニット単位でビットストリームの効率的な接近を支援する。Ｖ－ＰＣＣビットストリームのアトラスストリームを効果的にファイル内トラックに格納及び送信できるようにする。
【1851】
実施例による方式は、ユーザのビューポートに適するファイル内のポイントクラウドデータを含むトラック或いはアイテムなどを選択するか、又はトラック或いはアイテム内のデータを部分的にパース、復号或いはレンダリングする。不要なデータ、即ち、ユーザのビューポートに連関のないポイントクラウドデータに対する不要な演算過程を減らすことにより、ポイントクラウドデータのファイルでのパース、ポイントクラウドデータの復号／レンダリングを効果的に行うようにする。
【1852】
この明細書の実施例によるポイントクラウド圧縮処理装置、送信機、受信機、ポイントクラウドプレーヤー、エンコーダ又はデコーダは上述した効果を提供する。
【1853】
言い換えれば、上述したデータ表現方式は、ポイントクラウドビットストリームに効率的に接近する効果を提供する。それと共に、ポイントクラウドビットストリームのデータ処理及びレンダリングのために必要な情報を効果的に接近できるという効果を提供する。
【1854】
この明細書の実施例による送信機又は受信機は、Ｖ－ＰＣＣビットストリームをファイル内の１つ以上の複数のトラックに分割格納及びシグナリング、格納されたＶ－ＰＣＣビットストリーム複数のトラック間の関係を示すためのシグナリング、ファイル内に格納されたａｌｔｅｒｎａｔｉｖｅ Ｖ－ＰＣＣトラックに対する指示によりポイントクラウドビットストリームのファイルを効率的に格納して送信する。
【1855】
上述した実施例による方法／装置はＶ－ＰＣＣデータ伝達方法及び装置などと結合して説明される。
【1856】
実施例は方法及び又は装置の観点で説明しており、方法の説明及び装置の説明は互いに補完して適用できる。
【1857】
説明の便宜のために、各図を区分して説明したが、各図に表された実施例を併合して新しい実施例を具現するように設計することも可能である。また通常の技術者の必要によって、以前に説明した実施例を実行するためのプログラムが記録されているコンピューターで読み取り可能な記録媒体を設計することも実施例の権利範囲に属する。実施例による装置及び方法は、上述したように説明された実施例の構成と方法が限定して適用されることではなく、実施例は様々に変形可能に各実施例の全部又は一部が選択的に組み合わせられて構成されることもできる。実施例の好ましい実施例について示して説明したが、実施例は上述した特定の実施例に限定されず、請求の範囲で請求する実施例の要旨から離脱せず、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が可能であり、かかる変形実施は実施例の技術的思想や見込みから個々に理解されてはいけない。
【1858】
実施例による装置の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより構成される。実施例の様々な構成要素は一つのチップ、例えば、一つのハードウェア回路で具現される。実施例において、実施例による構成要素はそれぞれのチップで具現される。実施例において、実施例による装置の構成要素のいずれかは一つ又はそれ以上のプログラムを実行できる一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは実施例による動作／方法のいずれか一つ又はそれ以上の動作／方法を行わせるか、又は実行させるための指示を含む。実施例による装置の方法／動作を行うための実行可能な指示は、一つ又はそれ以上のプロセッサにより実行されるために構成された一時的ではないＣＲＭ又は他のコンピュータープログラム製品に格納されるか、又は一つ又はそれ以上のプロセッサにより実行されるために構成された一時的なＣＲＭ又は他のコンピュータープログラム製品に格納される。また実施例によるメモリは、揮発性メモリ(例えば、ＲＡＭなど)だけではなく、非揮発性メモリ、フラッシュメモリ、ＰＲＯＭなどを全部含む概念として使用される。また、インターネットによる送信などのような伝送波の形式で具現されることも含む。またプロセッサが読み取られる記録媒体は、ネットワークで連結されたコンピューターシステムに分散されて、分散方式によりプロセッサが読み取られるコードが格納されて実行される。
【1859】
この明細書において、“／”と“、”は“及び／又は”に解釈される。例えば、“Ａ／Ｂ”は“Ａ及び／又はＢ”に解釈され、“Ａ、Ｂ”は“Ａ及び／又はＢ”に解釈される。さらに、“Ａ／Ｂ／Ｃ”は“Ａ、Ｂ及び／又はＣのいずれか”を意味する。また、“Ａ、Ｂ、Ｃ”も“Ａ、Ｂ及び／又はＣのいずれか”を意味する。さらに、この文書において、“又は”は“及び／又は”に解釈される。例えば、“Ａ又はＢ”は、１)“Ａ”のみを意味するか、２)“Ｂ”のみを意味するか、又は３)“Ａ及びＢ”を意味する。言い換えれば、この明細書において“又は”は“さらに(ａｄｄｉｔｉｏｎａｌｌｙ)又は代わりに(ａｌｔｅｒｎａｔｉｖｅｌｙ)”を意味する。
【1860】
第１、第２などの用語は実施例の様々な構成要素を説明するために使用される。しかし、実施例による様々な構成要素は上記用語により解釈が制限されてはいけない。かかる用語は一つの構成要素を他の構成要素と区別するために使用されることに過ぎない。例えば、第１ユーザ入力信号は第２ユーザ入力信号と称することができる。同様に、第２ユーザ入力信号は第１ユーザ入力信号と称することができる。かかる用語の使用は様々な実施例の範囲から離脱していない。第１ユーザ入力信号及び第２ユーザ入力信号はいずれもユーザ入力信号であるが、文脈上、明確に示していない限り、同一のユーザ入力信号を意味してはいない。
【1861】
実施例を説明のために使用された用語は、特定の実施例を説明するために使用されており、実施例を制限するものではない。実施例の説明及び請求範囲で使用したように、文脈上明確に称していない限り、単数は複数を含む。「及び／又は」表現は用語間の全ての可能な結合を含む意味で使用される。「含む」は特徴、数、段階、要素及び／又はコンポーネントが存在することを説明し、さらなる特徴、数、段階、要素及び／又はコンポーネントを含まないことを意味することではない。実施例を説明するために使用される、「~である場合」、「~の時」などの条件表現は選択的な場合にのみ制限して解釈されない。特定の条件を満たすとき、特定の条件に対応して関連動作を行うか、又は関連定義が解釈されるように意図されている。
【1862】
また、この明細書で説明する実施例による動作は、実施例によってメモリ及び／又はプロセッサを含む送受信装置により行われる。メモリは実施例による動作を処理／制御するためのプログラムを格納し、プロセッサはこの明細書で説明した様々な動作を制御する。プロセッサはコントローラとも称される。実施例において、動作はファームウェア、ソフトウェア及び／又はそれらの組み合わせにより行われ、ファームウェア、ソフトウェア及び／又はそれらの組み合わせはプロセッサに格納されるか又はメモリに格納される。
【1863】
一方、上述した実施例による動作は実施例による送信装置及び／又は受信装置により行われる。送受信装置はメディアデータを送受信する送受信部、実施例によるおプロセスに対する指示(プログラムコード、アルゴリズム、フローチャート及び／又はデータ)を格納するメモリ、及び送受信装置の動作を制御するプロセッサを含む。
【1864】
プロセッサはコントローラなどとも称され、例えば、ハードウェア、ソフトウェア及び／又はそれらの組み合わせに対応する。上記実施例による動作はプロセッサにより行われる。またプロセッサは上記実施例の動作のためのエンコーダ／デコーダなどで具現される。
【1865】
上述したように、実施例を実施するための最善の形態について関連内容を説明した。
【産業上の利用可能性】
【1866】
上述したように、実施例はポイントクラウドデータの送受信装置及びシステムに全体的又は部分的に適用することができる。
【1867】
当業者は実施例の範囲内で実施例を様々に変更又は変形することができる。
【1868】
実施例は変更／変形を含み、変更／変形は請求の範囲及びそれらの範囲内のものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】
【図59】
【図60】
【図61】
【図62】
【図63】
【図64】
【図65】
【手続補正書】
【提出日】2024-05-15
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
エンコーダがポイントクラウドデータを符号化する方法であって、
前記ポイントクラウドデータのジオメトリデータを符号化する段階と、
前記ポイントクラウドデータの特質データを符号化する段階と、
前記符号化されたジオメトリデータ及び前記符号化された特質データをファイル内にカプセル化する段階と、
前記ファイルを送信する段階と、を含み、
前記ファイルは、前記ジオメトリデータ及び前記特質データを含む第１トラックを含み、
前記ファイルは、前記ポイントクラウドデータに対するバウンディングボックス情報を含む第２トラックを更に含み、前記バウンディングボックス情報は、バウンディングボックスの位置情報を含み、
前記第２トラックは、動的タイプに対するサンプルエントリーと、動的空間領域に関連する領域情報を含むサンプルとを含む時間指定メタデータトラックを更に含み、前記サンプルエントリー内の動的空間領域情報は、時間によって動的に変化する、ポイントクラウドデータ符号化方法。
前記ポイントクラウドデータのジオメトリデータを符号化する段階と、
前記ポイントクラウドデータの特質データを符号化する段階と、
前記符号化されたジオメトリデータ及び前記符号化された特質データをファイル内にカプセル化する段階と、
前記ファイルを送信する段階と、を含み、
前記ファイルは、前記ジオメトリデータ及び前記特質データを含む第１トラックを含み、
前記ファイルは、前記ポイントクラウドデータに対するバウンディングボックス情報を含む第２トラックを更に含み、前記バウンディングボックス情報は、バウンディングボックスの位置情報を含み、
前記第２トラックは、動的タイプに対するサンプルエントリーと、動的空間領域に関連する領域情報を含むサンプルとを含む時間指定メタデータトラックを更に含み、前記サンプルエントリー内の動的空間領域情報は、時間によって動的に変化する、ポイントクラウドデータ符号化方法。
【請求項2】
前記第２トラックは、前記ポイントクラウドデータに対するパラメータセット及び前記ポイントクラウドデータに対するアトラスサブビットストリームパラメータセットを含むサンプルエントリーを含む、請求項１に記載のポイントクラウドデータ符号化方法。
【請求項3】
前記ファイルは、前記ポイントクラウドデータに対する同一の３Ｄバウンディングボックスに属するトラックを含み、
前記トラックはグルーピングされる、請求項１に記載のポイントクラウドデータ符号化方法。
前記トラックはグルーピングされる、請求項１に記載のポイントクラウドデータ符号化方法。
【請求項4】
前記ファイルは、前記ポイントクラウドデータに対する同一の３Ｄバウンディングボックスに属するトラック又はアイテムを含み、
前記トラック又は前記アイテムはグルーピングされ、
前記３Ｄバウンディングボックスは、前記ポイントクラウドデータに関連する１つ又は１つ以上のエンティティを示す、請求項１に記載のポイントクラウドデータ符号化方法。
前記トラック又は前記アイテムはグルーピングされ、
前記３Ｄバウンディングボックスは、前記ポイントクラウドデータに関連する１つ又は１つ以上のエンティティを示す、請求項１に記載のポイントクラウドデータ符号化方法。
【請求項5】
デコーダがポイントクラウドデータを復号する方法であって、
ポイントクラウドデータを含むファイルを受信する段階と、
前記ファイルをデカプセル化する段階であって、
前記ファイルは、前記ポイントクラウドデータのジオメトリデータ及び前記ポイントクラウドデータの特質データを含む第１トラックを含み、
前記ファイルは、前記ポイントクラウドデータに対するバウンディングボックス情報を含む第２トラックを更に含み、前記バウンディングボックス情報は、バウンディングボックスの位置情報を含み、
前記第２トラックは、動的タイプに対するサンプルエントリーと、動的空間領域に関連する領域情報を含むサンプルとを含む時間指定メタデータトラックを更に含み、前記サンプルエントリー内の動的空間領域情報は、時間によって動的に変化する、段階と、
前記ジオメトリデータを復号する段階と、
前記特質データを復号する段階と、を含む、ポイントクラウドデータ復号方法。
ポイントクラウドデータを含むファイルを受信する段階と、
前記ファイルをデカプセル化する段階であって、
前記ファイルは、前記ポイントクラウドデータのジオメトリデータ及び前記ポイントクラウドデータの特質データを含む第１トラックを含み、
前記ファイルは、前記ポイントクラウドデータに対するバウンディングボックス情報を含む第２トラックを更に含み、前記バウンディングボックス情報は、バウンディングボックスの位置情報を含み、
前記第２トラックは、動的タイプに対するサンプルエントリーと、動的空間領域に関連する領域情報を含むサンプルとを含む時間指定メタデータトラックを更に含み、前記サンプルエントリー内の動的空間領域情報は、時間によって動的に変化する、段階と、
前記ジオメトリデータを復号する段階と、
前記特質データを復号する段階と、を含む、ポイントクラウドデータ復号方法。
【請求項6】
前記第２トラックは、前記ポイントクラウドデータに対するパラメータセット及び前記ポイントクラウドデータに対するアトラスサブビットストリームパラメータセットを含むサンプルエントリーを含む、請求項５に記載のポイントクラウドデータ復号方法。
【請求項7】
前記ファイルは、前記ポイントクラウドデータに対する同一の３Ｄバウンディングボックスに属するトラックを含み、
前記トラックはグルーピングされる、請求項５に記載のポイントクラウドデータ復号方法。
前記トラックはグルーピングされる、請求項５に記載のポイントクラウドデータ復号方法。
【請求項8】
前記ファイルは、前記ポイントクラウドデータに対する同一の３Ｄバウンディングボックスに属するトラック又はアイテムを含み、
前記トラック又は前記アイテムはグルーピングされ、
前記３Ｄバウンディングボックスは、前記ポイントクラウドデータに関連する１つ又は１つ以上のエンティティを示す、請求項５に記載のポイントクラウドデータ復号方法。
前記トラック又は前記アイテムはグルーピングされ、
前記３Ｄバウンディングボックスは、前記ポイントクラウドデータに関連する１つ又は１つ以上のエンティティを示す、請求項５に記載のポイントクラウドデータ復号方法。
【請求項9】
ポイントクラウドデータを符号化するための装置であって、
メモリと、
前記メモリ内の1つ以上の命令を実行するよう構成されたプロセッサと、を含み、
前記1つ以上の命令は、前記プロセッサに、
前記ポイントクラウドデータのジオメトリデータを符号化すること、
前記ポイントクラウドデータの特質データを符号化すること、
前記符号化されたジオメトリデータ及び前記符号化された特質データをファイル内にカプセル化すること、
前記ファイルを送信することを実行させ、
前記ファイルは、前記ジオメトリデータ及び前記特質データを含む第１トラックを含み、
前記ファイルは、前記ポイントクラウドデータに対するバウンディングボックス情報を含む第２トラックを更に含み、前記バウンディングボックス情報は、バウンディングボックスの位置情報を含み、
前記第２トラックは、動的タイプに対するサンプルエントリーと、動的空間領域に関連する領域情報を含むサンプルとを含む時間指定メタデータトラックを更に含み、前記サンプルエントリー内の動的空間領域情報は、時間によって動的に変化する、ポイントクラウドデータ符号化装置。
メモリと、
前記メモリ内の1つ以上の命令を実行するよう構成されたプロセッサと、を含み、
前記1つ以上の命令は、前記プロセッサに、
前記ポイントクラウドデータのジオメトリデータを符号化すること、
前記ポイントクラウドデータの特質データを符号化すること、
前記符号化されたジオメトリデータ及び前記符号化された特質データをファイル内にカプセル化すること、
前記ファイルを送信することを実行させ、
前記ファイルは、前記ジオメトリデータ及び前記特質データを含む第１トラックを含み、
前記ファイルは、前記ポイントクラウドデータに対するバウンディングボックス情報を含む第２トラックを更に含み、前記バウンディングボックス情報は、バウンディングボックスの位置情報を含み、
前記第２トラックは、動的タイプに対するサンプルエントリーと、動的空間領域に関連する領域情報を含むサンプルとを含む時間指定メタデータトラックを更に含み、前記サンプルエントリー内の動的空間領域情報は、時間によって動的に変化する、ポイントクラウドデータ符号化装置。
【請求項10】
ポイントクラウドデータを復号するための装置であって、
メモリと、
前記メモリ内の1つ以上の命令を実行するよう構成されたプロセッサと、を含み、
前記1つ以上の命令は、前記プロセッサに、
ポイントクラウドデータを含むファイルを受信すること、
前記ファイルをデカプセル化することであって、
前記ファイルは、前記ポイントクラウドデータのジオメトリデータ及び前記ポイントクラウドデータの特質データを含む第１トラックを含み、
前記ファイルは、前記ポイントクラウドデータに対するバウンディングボックス情報を含む第２トラックを更に含み、前記バウンディングボックス情報は、バウンディングボックスの位置情報を含み、
前記第２トラックは、動的タイプに対するサンプルエントリーと、動的空間領域に関連する領域情報を含むサンプルとを含む時間指定メタデータトラックを更に含み、前記サンプルエントリー内の動的空間領域情報は、時間によって動的に変化する、こと、
前記ジオメトリデータを復号すること、
前記特質データを復号することを実行させる、ポイントクラウドデータ復号装置。
メモリと、
前記メモリ内の1つ以上の命令を実行するよう構成されたプロセッサと、を含み、
前記1つ以上の命令は、前記プロセッサに、
ポイントクラウドデータを含むファイルを受信すること、
前記ファイルをデカプセル化することであって、
前記ファイルは、前記ポイントクラウドデータのジオメトリデータ及び前記ポイントクラウドデータの特質データを含む第１トラックを含み、
前記ファイルは、前記ポイントクラウドデータに対するバウンディングボックス情報を含む第２トラックを更に含み、前記バウンディングボックス情報は、バウンディングボックスの位置情報を含み、
前記第２トラックは、動的タイプに対するサンプルエントリーと、動的空間領域に関連する領域情報を含むサンプルとを含む時間指定メタデータトラックを更に含み、前記サンプルエントリー内の動的空間領域情報は、時間によって動的に変化する、こと、
前記ジオメトリデータを復号すること、
前記特質データを復号することを実行させる、ポイントクラウドデータ復号装置。