特許 7541024 ポイントクラウドの処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-19

(45)【発行日】2024-08-27

(54)【発明の名称】ポイントクラウドの処理

(51)【国際特許分類】

   H04N 19/597 20140101AFI20240820BHJP

   H04N 19/70 20140101ALI20240820BHJP

   G06T 9/40 20060101ALI20240820BHJP

【ＦＩ】

H04N19/597

H04N19/70

G06T9/40

【請求項の数】 21

(21)【出願番号】P 2021556741

(86)(22)【出願日】2020-01-27

(65)【公表番号】

(43)【公表日】2022-06-07

(86)【国際出願番号】 US2020015170

(87)【国際公開番号】W WO2020190374

(87)【国際公開日】2020-09-24

【審査請求日】2023-01-27

(31)【優先権主張番号】19305341.0

(32)【優先日】2019-03-20

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】318017914

【氏名又は名称】インターデイジタル ヴィーシー ホールディングス インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ジャン－クラウド シュヴェ

(72)【発明者】

【氏名】ヤニック オリヴィエ

(72)【発明者】

【氏名】ジョアン リャック

【審査官】田中 純一

(56)【参考文献】

【文献】国際公開第２０１９／１４２６６６（ＷＯ，Ａ１）

【文献】欧州特許出願公開第３７４２４０１（ＥＰ，Ａ１）

【文献】特開２０２２－３６３５３（ＪＰ，Ａ）

【文献】特表２０２２－５２５５９９（ＪＰ，Ａ）

【文献】国際公開第２０２０／１８６０６０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／９４

Ｇ０６Ｔ ９／００ － ９／４０

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

１つまたは複数のプロセッサによって、ポイントクラウドフレームの少なくとも１つの中間３Ｄサンプルのテキスチャ値を表す少なくとも１つのテキスチャパッチを送信するステップを備え、前記テキスチャパッチを送信するステップは、２Ｄグリッドにおいて定義された前記テキスチャパッチの２Ｄ位置、および前記テキスチャパッチのサイズを表す少なくとも１つの第１のシンタックス要素を送信するステップを含み、前記少なくとも１つの中間３Ｄサンプルは、前記ポイントクラウドフレームの第１の３Ｄサンプルと前記ポイントクラウドフレームの第２の３Ｄサンプルの間の同一の投影ラインに沿って位置している、前記ポイントクラウドフレームの３Ｄサンプルであることを特徴とする方法。

【請求項2】

ポイントクラウドフレームの少なくとも１つの中間３Ｄサンプルのテキスチャ値を表す少なくとも１つのテキスチャパッチを送信するように構成された１つまたは複数のプロセッサを備え、前記テキスチャパッチを送信することは、２Ｄグリッドにおいて定義された前記テキスチャパッチの２Ｄ位置、および前記テキスチャパッチのサイズを表す少なくとも１つの第１のシンタックス要素を送信することを含み、前記少なくとも１つの中間３Ｄサンプルは、前記ポイントクラウドフレームの第１の３Ｄサンプルと前記ポイントクラウドフレームの第２の３Ｄサンプルの間の同一の投影ラインに沿って位置している、前記ポイントクラウドフレームの３Ｄサンプルであることを特徴とする装置。

【請求項3】

１つまたは複数のプロセッサによって、ポイントクラウドフレームを復号する方法であって、
２Ｄグリッドにおいて定義された少なくとも１つのテキスチャパッチの２Ｄ位置、および前記テキスチャパッチのサイズを表す少なくとも１つの第１のシンタックス要素を復号するステップであって、前記少なくとも１つのテキスチャパッチは、前記ポイントクラウドフレームの少なくとも１つの中間３Ｄサンプルのテキスチャ値を表しており、前記少なくとも１つの中間３Ｄサンプルは、前記ポイントクラウドフレームの第１の３Ｄサンプルと前記ポイントクラウドフレームの第２の３Ｄサンプルの間の同一の投影ラインに沿って位置している、前記ポイントクラウドフレームの３Ｄサンプルであるステップと、
前記テキスチャパッチの前記２Ｄ位置および前記テキスチャパッチの前記サイズに基づいて、前記少なくとも１つのテキスチャパッチを取り出すステップと、
を備えることを特徴とする方法。

【請求項4】

ポイントクラウドフレームを復号するように構成された１つまたは複数のプロセッサを備え、前記ポイントクラウドフレームを復号することは、
２Ｄグリッドにおいて定義された少なくとも１つのテキスチャパッチの２Ｄ位置、および前記テキスチャパッチのサイズを表す少なくとも１つの第１のシンタックス要素を復号することであって、前記少なくとも１つのテキスチャパッチは、前記ポイントクラウドフレームの少なくとも１つの中間３Ｄサンプルのテキスチャ値を表しており、前記少なくとも１つの中間３Ｄサンプルは、前記ポイントクラウドフレームの第１の３Ｄサンプルと前記ポイントクラウドフレームの第２の３Ｄサンプルの間の同一の投影ラインに沿って位置している、前記ポイントクラウドフレームの３Ｄサンプルであることと、
前記テキスチャパッチの前記２Ｄ位置および前記テキスチャパッチの前記サイズに基づいて、前記少なくとも１つのテキスチャパッチを取り出すことと、
を含むことを特徴とする装置。

【請求項5】

前記少なくとも１つの中間３Ｄサンプルは、前記ポイントクラウドフレームの前記第１の３Ｄサンプルよりも大きく、前記ポイントクラウドフレームの前記第２の３Ｄサンプルよりも低い深度値を有するポイントクラウドフレームの３Ｄサンプルであり、前記少なくとも１つの中間３Ｄサンプル、ならびに前記第１の３Ｄサンプルおよび前記第２の３Ｄサンプルは、前記同一の投影ラインに沿って投影されることを特徴とする請求項１または３に記載の方法。

【請求項6】

前記２Ｄグリッドの前記テキスチャパッチにおける２Ｄサンプルの数を表す少なくとも１つの第２のシンタックス要素を符号化するステップをさらに備えることを特徴とする請求項１に記載の方法。

【請求項7】

前記２Ｄグリッドの前記テキスチャパッチにおける２Ｄサンプルの数を表す少なくとも１つの第２のシンタックス要素を復号するステップをさらに備えることを特徴とする請求項３に記載の方法。

【請求項8】

前記投影ラインに沿った前記少なくとも１つの中間３Ｄサンプルの場所は、占有マップの参照パッチにストアされたコードワードの１ビットによって示され、
前記２Ｄグリッドにおける参照パッチの数であって、前記参照パッチは前記少なくとも１つのテキスチャパッチの中にそのテキスチャ値をストアさせた中間３Ｄサンプルのためのビットをストアしている、参照パッチの数と、
所定の参照パッチに関連付けられており、および、前記少なくとも１つのテキスチャパッチにおいて、前記所定の参照パッチの中にその場所をストアさせた前記中間３Ｄサンプルの前記テキスチャ値の開始位置を決定することを可能とするオフセットと
を含む少なくとも１つの第３のシンタックス要素を符号化するステップをさらに備えることを特徴とする請求項１に記載の方法。

【請求項9】

前記投影ラインに沿った前記少なくとも１つの中間３Ｄサンプルの場所は、占有マップの参照パッチにストアされたコードワードの１ビットによって示され、
前記２Ｄグリッドにおける参照パッチの数であって、前記参照パッチは前記少なくとも１つのテキスチャパッチの中にそのテキスチャ値をストアさせた中間３Ｄサンプルのためのビットをストアしている、参照パッチの数と、
所定の参照パッチに関連付けられており、および、前記少なくとも１つのテキスチャパッチにおいて、前記所定の参照パッチの中にその場所をストアさせた前記中間３Ｄサンプルの前記テキスチャ値の開始位置を決定することを可能とするオフセットと
を含む少なくとも１つの第３のシンタックス要素を復号するステップをさらに備えることを特徴とする請求項３に記載の方法。

【請求項10】

前記少なくとも１つの第３のシンタックス要素は、前記所定の参照パッチのインデックスを含むことを特徴とする請求項８または９に記載の方法。

【請求項11】

前記少なくとも１つの第１のシンタックス要素が、前記ポイントクラウドフレームを表しているシンタックスの全体の異なるレベルで送信されることを示す別のシンタックス要素を符号化するステップ
をさらに備えることを特徴とする請求項１に記載の方法。

【請求項12】

前記少なくとも１つの第１のシンタックス要素が、前記ポイントクラウドフレームを表しているシンタックスの全体の異なるレベルにおいて復号されることを示す別のシンタックス要素を復号するステップ
をさらに備えることを特徴とする請求項３に記載の方法。

【請求項13】

請求項１、３、または５乃至１２のいずれか一項に記載の方法を１つまたは複数のプロセッサに実行させるための命令を含むことを特徴とする非一時的コンピュータ可読媒体。

【請求項14】

前記少なくとも１つの中間３Ｄサンプルは、前記ポイントクラウドフレームの前記第１の３Ｄサンプルよりも大きく、前記ポイントクラウドフレームの前記第２の３Ｄサンプルよりも低い深度値を有する前記ポイントクラウドフレームの３Ｄサンプルであり、前記少なくとも１つの中間３Ｄサンプル、ならびに前記第１の３Ｄサンプルおよび前記第２の３Ｄサンプルは、同一の投影ラインに沿って投影されることを特徴とする請求項２または４に記載の装置。

【請求項15】

前記１つまたは複数のプロセッサは、前記２Ｄグリッドの前記テキスチャパッチにおける２Ｄサンプルの数を表す少なくとも１つの第２のシンタックス要素を符号化するようにさらに構成されたことを特徴とする請求項２に記載の装置。

【請求項16】

前記１つまたは複数のプロセッサは、前記２Ｄグリッドの前記テキスチャパッチにおける２Ｄサンプルの数を表す少なくとも１つの第２のシンタックス要素を復号するようにさらに構成されたことを特徴とする請求項４に記載の装置。

【請求項17】

前記投影ラインに沿った前記少なくとも１つの中間３Ｄサンプルの場所は、占有マップの参照パッチにストアされたコードワードの１ビットによって示され、
前記１つまたは複数のプロセッサは、
前記２Ｄグリッドにおける参照パッチの数であって、前記参照パッチは前記少なくとも１つのテキスチャパッチの中にそのテキスチャ値をストアさせた中間３Ｄサンプルのためのビットをストアしている、参照パッチの数と、
所定の参照パッチに関連付けられており、および、前記少なくとも１つのテキスチャパッチにおいて、前記所定の参照パッチの中にその場所をストアさせた前記中間３Ｄサンプルの前記テキスチャ値の開始位置を決定することを可能とするオフセットと
を含む少なくとも１つの第３のシンタックス要素を符号化するようにさらに構成されたことを特徴とする請求項２に記載の装置。

【請求項18】

前記投影ラインに沿った前記少なくとも１つの中間３Ｄサンプルの場所は、占有マップの参照パッチにストアされたコードワードの１ビットによって示され、
前記１つまたは複数のプロセッサは、
前記２Ｄグリッドにおける参照パッチの数であって、前記参照パッチは前記少なくとも１つのテキスチャパッチの中にそのテキスチャ値をストアさせた中間３Ｄサンプルのためのビットをストアしている、参照パッチの数と、
所定の参照パッチに関連付けられており、および、前記少なくとも１つのテキスチャパッチにおいて、前記所定の参照パッチの中にその場所をストアさせた前記中間３Ｄサンプルの前記テキスチャ値の開始位置を決定することを可能とするオフセットと
を含む少なくとも１つの第３のシンタックス要素を復号するようにさらに構成されたことを特徴とする請求項４に記載の装置。

【請求項19】

前記少なくとも１つの第３のシンタックス要素は、前記所定の参照パッチのインデックスを含むことを特徴とする請求項１７または１８に記載の装置。

【請求項20】

前記１つまたは複数のプロセッサは、前記少なくとも１つの第１のシンタックス要素が、前記ポイントクラウドフレームを表しているシンタックスの全体の異なるレベルで送信されることを示す別のシンタックス要素を符号化するようにさらに構成されたことを特徴とする請求項２に記載の装置。

【請求項21】

前記１つまたは複数のプロセッサは、前記少なくとも１つの第１のシンタックス要素が、前記ポイントクラウドフレームを表すシンタックスの全体の異なるレベルにおいて復号されることを示す別のシンタックス要素を復号するようにさらに構成されたことを特徴とする請求項４に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態のうちの少なくとも１つは概して、ポイントクラウドの処理に関する。

【背景技術】

【0002】

本セクションは、以下で説明され、および／または特許請求される本実施形態のうちの少なくとも１つの様々な態様に関連することができる、本分野の様々な態様に読み手を導入することを意図している。この議論は、少なくとも１つの実施形態の様々な態様のより良好な理解を促進するための背景の情報を読み手に提供することを支援となると信じられている。

【0003】

像または建造物などの物体が、それを送信することまたはそれに訪れることなく、物体の空間構成を共有するため三次元においてスキャンされる、文化的遺産／建造物などの様々な目的のためにポイントクラウドが使用されることがある。また、例えば、地震によって寺が破壊されることがあるケースにおいて物体の知識を保存することを保証する方式がある。そのようなポイントクラウドは典型的には、静的であり、色付けられ、広大である。

【0004】

別のケースは、トポグラフィおよびカートグラフィにあり、トポグラフィおよびカートグラフィでは、３Ｄ表現を使用することによって、平面に制限されず、レリーフを含むことができるマップが可能になる。Ｇｏｏｇｌｅ Ｍａｐｓは今では、３Ｄマップであるが、ポイントクラウドの代わりにメッシュを使用する良好な例である。しかしながら、ポイントクラウドが、３Ｄマップに対して適切なデータフォーマットであることがあり、そのようなポイントクラウドは典型的には、静的であり、色付けられ、広大である。

【0005】

自動車産業および自動運転車も、ポイントクラウドが使用されることがある領域である。自動運転車は、それらに直に隣接するものの現実に基づいて良好な運転の決定を行うために、それらの環境を「プローブ」することが可能であるはずである。ＬＩＤＡＲ（光検出・測距）のような典型的なセンサは、決定エンジンによって使用される動的ポイントクラウドを生成する。それらのポイントクラウドは、人間によって見られることを意図しておらず、それらは典型的には、小さく、必ずしも色付けされておらず、高頻度の捕捉により動的である。それらのポイントクラウドは、ＬＩＤＡＲによってもたらされる反射性のような他の属性が、検知された物体の材料に関する良好な情報を提供するようにこの属性を有することがあり、決定を行う際の支援となることがある。

【0006】

仮想現実および没入世界は、近年では注目の話題になっており、２Ｄ平面ビデオの未来として多くによって予想されている。基本的な考えは、ビューワがビューワの前方で仮想世界においてのみ視認することができる標準的なＴＶとは対照的に、ビューワを取り囲む環境にビューワを没入させる。環境内のビューワの自由度に応じて、いくつかの没入性にける段階が存在する。ポイントクラウドは、仮想現実（ＶＲ）世界を分散するための良好なフォーマット候補である。

【0007】

多くの用途では、適正な量のみのビットレート（または、記憶用途のための記憶空間）を消費すると共に、許容可能な（または、好ましくは非常に良好な）経験の品質を維持することによって、エンドユーザに動的ポイントクラウドを分散する（または、それらをサーバに記憶することが可能であることが重要である。それらの動的ポイントクラウドの効率的な圧縮は、多くの没入世界の分散チェーンを実用的にするために重要なポイントである。

【0008】

上述したことを考慮して、少なくとも１つの実施形態が考案されてきた。

【発明の概要】

【0009】

以下は、本開示のいくつかの態様の基本的な理解を提供するために、本実施形態のうちの少なくとも１つの簡易化された概要を提示する。この概要は、実施形態の拡張した概略でない。それは、実施形態の重要な要素または必須の要素を特定することを意図していない。以下の概要は、本明細書で他に提供される更なる詳細な説明の序章として、簡易的な形式において本実施形態のうちの少なくとも１つのいくつかの態様を提示するにすぎない。

【0010】

少なくとも１つの実施形態の全体態様に従って、少なくとも１つの中間３Ｄサンプルのテキスチャ値を表す少なくとも１つのテキスチャパッチをシグナリングするステップを含む方法が提供され、テキスチャパッチは、投影ラインに沿って投影平面に直交して投影されたポイントクラウドの３Ｄサンプルのテキスチャ値を表す２Ｄサンプルのセットであり、少なくとも１つの中間３Ｄサンプルは、ポイントクラウドフレームの近い方の３Ｄサンプルよりも大きく、ポイントクラウドフレームの遠い方の３Ｄサンプルよりも低い深度値を有するポイントクラウドフレームの３Ｄサンプルであり、少なくとも１つの中間３Ｄサンプル、ならびに近い方の３Ｄサンプルおよび遠い方の３Ｄサンプルは、同一の投影ラインに沿って投影される。

【0011】

実施形態に従って、少なくとも１つの中間３Ｄサンプルのテキスチャ値を表すテキスチャパッチをシグナリングするステップは、
－ビットストリームに、２Ｄグリッドにおいて定義されたテキスチャパッチの２Ｄ位置、およびテキスチャパッチのサイズを表す少なくとも１つのシンタックス要素を追加するステップと、
－ビットストリームを送信するステップと、
－ビットストリームから少なくとも１つのシンタックス要素を取り出し、少なくとも１つの取り出されたシンタックス要素から、２Ｄグリッドにおいて定義されたテキスチャパッチの２Ｄ位置、およびテキスチャパッチのサイズを抽出するステップと、
を含む。

【0012】

実施形態に従って、少なくとも１つのシンタックス要素は、２Ｄグリッドのパッチのいくつかの２Ｄサンプルをもシグナリングしてもよい。

【0013】

実施形態に従って、少なくとも１つのシンタックス要素は、２Ｄグリッド内のテキスチャパッチの数およびテキスチャパッチの開始位置を判定するためのオフセットをもシグナリングしてもよい。

【0014】

実施形態に従って、少なくとも１つのシンタックス要素は、テキスチャパッチのインデックスをもシグナリングしてもよい。

【0015】

実施形態に従って、シンタックス要素は、ビットストリームに追加された少なくとも１つのシンタックス要素が、ポイントクラウドフレームを表すシンタックスの全体の異なるレベルにおいてシグナリングされることをもシグナリングしてもよい。

【0016】

少なくとも１つの実施形態別の全体態様に従って、少なくとも１つの中間３Ｄサンプルのテキスチャ値を導出するよう、投影平面上のポイントクラウドフレームの直交射影を分析するステップと、少なくとも１つのテキスチャ値を少なくとも１つのテキスチャパッチにマッピングするステップと、少なくとも１つのテキスチャパッチをテキスチャ画像にパッキングするステップと、ビットストリームにおいて、上記方法に従って少なくとも１つのテキスチャパッチをシグナリングするステップと、を含む方法が提供される。

【0017】

少なくとも１つの実施形態の別の全体態様に従って、上記方法に従って、ビットストリームにおいてシグナリングされた少なくとも１つのシンタックス要素から少なくとも１つのテキスチャパッチを導出するステップと、少なくとも１つのテキスチャパッチから少なくとも１つのテキスチャ値を導出するステップと、少なくとも１つのテキスチャ値を少なくとも１つの中間３Ｄサンプルに割り当てるステップと、を含む方法が提供される。

【0018】

少なくとも１つ実施形態のうちの１つまたは複数は、デバイス、コンピュータプログラム製品、非一時的コンピュータ可読媒体、および信号をも提供する。

【0019】

本実施形態のうちの少なくとも１つの特定の性質と共に、本実施形態のうちの少なくとも１つの目的、利点、特徴、および使用が、添付図面を併用して以下の実施例の説明から明白になるであろう。

【0020】

図面では、いくつかの実施形態の例が示される。

【図面の簡単な説明】

【0021】

【図1】本実施形態のうちの少なくとも１つに従った、２レイヤ方式ポイントクラウド（two-layer-based point cloud）符号化構造の例の概略ブロック図を示す。

【図2】本実施形態のうちの少なくとも１つに従った、２レイヤ方式ポイントクラウド復号構造の例の概略ブロック図を示す。

【図3】本実施形態のうちの少なくとも１つに従った、画像方式ポイントクラウド（image-based point cloud）エンコーダの例の概略ブロック図を示す。

【図3a】２パッチおよびそれらの２Ｄ境界ボックスを含むキャンバスの例を示す。

【図3b】投影線に沿った２つの３Ｄサンプルの間に位置する２つの中間３Ｄサンプル（in-between 3D samples）の例を示す。

【図4】本実施形態のうちの少なくとも１つに従った、画像方式ポイントクラウドデコーダの例の概略ブロック図を示す。

【図5】本実施形態のうちの少なくとも１つに従った、ベースレイヤＢＬを表すビットストリームのシンタックスの例を概略的に示す。

【図6】様々な態様および実施形態が実装されるシステムの例の概略ブロック図を示す。

【図7】本実施形態のうちの少なくとも１つに従った、少なくとも１つのＥＯＭテキスチャパッチをシグナリングする方法の例を示す。

【図8a】ステップ７１０の少なくとも１つの実施形態に従った、シンタックス要素の例を示す。

【図8b】ステップ７１０の少なくとも１つの実施形態に従った、シンタックス要素の例を示す。

【図8c】ステップ７１０の少なくとも１つの実施形態に従った、シンタックス要素の例を示す。

【図8d】ステップ７１０の少なくとも１つの実施形態に従った、シンタックス要素の例を示す。

【図9a】ステップ７１０の少なくとも１つの実施形態に従った、キャンバスの例を示す。

【図9b】ステップ７１０の少なくとも１つの実施形態に従った、キャンバスの例を示す。

【図9c】ステップ７１０の少なくとも１つの実施形態に従った、キャンバスの例を示す。

【図10】ステップ７１０の実施形態に従った、シンタックス要素の例を示す。

【図11】ステップ７１０の実施形態の変形例に従った、シンタックス要素の例を示す。

【図12】ステップ７１０の実施形態の変形例に従った、シンタックス要素の例を示す。

【図13】本実施形態のうちの少なくとも１つに従った、パッチモードを定義した表の例を示す。

【図14】ステップ７１０の実施形態の変形例に従った、シンタックス要素の例を示す。

【図15】ステップ７１０の実施形態に従った、シンタックス要素の例を示す。

【図16】本実施形態のうちの少なくとも１つに従った、中間３Ｄサンプルのテキスチャ値をコーディングする方法のブロック図を示す。

【図17】本実施形態のうちの少なくとも１つに従った、中間３Ｄサンプルのテキスチャ値を復号する方法のブロック図を示す。

【図18】ブロックラスタスキャン順序ごとの例を示す。

【発明を実施するための形態】

【0022】

以下では、本実施形態のうちの少なくとも１つの例が示される、添付図面を参照して、本実施形態のうちの少なくとも１つがより完全に説明される。しかしながら、実施形態は、多くの代替的な形式において具体化されてもよく、本明細書で示される例に限定されると解釈されるべきではない。したがって、実施形態を開示される特定の形式に限定すると意図されないことが理解されるべきである。反対に、開示は、本出願の精神および範囲内にある全ての修正物、同東部、及び代替物を網羅することを意図している。

【0023】

図がフローチャートとして提示されるとき、それは、対応する装置のブロック図も提供することが理解されるべきである。同様に、図がブロック図として提示されるとき、それは、対応する方法／処理のフローチャートも提供することが理解されるべきである。

【0024】

図の同様または同一の要素は、同一の参照符号により参照される。

【0025】

いくつかの図は、Ｖ－ＰＣＣに準拠したビットストリームの構造を定義するためのＶ－ＰＣＣにおいて広く使用されるシンタックステーブルを表す。それらのシンタックステーブルでは、表現「…」は、読むことを促進するためにＶ－ＰＣＣにおいて与えられ、図からは取り除かれた元の定義に関するシンタックスの変更されていない部分を表す。図における強調した表現は、この表現についての値がビットストリームを構文解析することによって取得されることを示す。シンタックステーブルの右列は、シンタックス要素のデータを符号化するためのビット数を示す。例えば、ｕ（４）は、データを符号化するために４ビットが使用されることを示し、ｕ（８）は、データを符号化するために８ビットが使用されることを示し、ａｅ（ｖ）は、例えば、ＣＡＢＡＣ（Context-Adaptive-Binary-Arithmetic Coding）を使用して整数値が算術符号化されることを示す。

【0026】

以下で説明および考慮される態様は、多くの異なる形式において実装されてもよい。図１～１８は以下で、いくつかの実施形態を提供するが、他の実施形態も考慮され、図１～１８の議論は、実装態様の範囲を限定しない。

【0027】

本態様のうちの少なくとも１つは概して、ポイントクラウド符号化および復号に関し、少なくとも１つの他の態様は概して、生成または符号化されたビットストリームを送信することに関する。

【0028】

より正確には、本明細書で説明される様々な方法および他の態様は、モジュールを修正するために使用されてもよく、例えば、図３のモジュール３１００、３２００、３４００、および３７００は、図１６の方法を実装するために修正されてもよい。モジュール４４００および４６００も、図１７の方法を実装するために修正されてもよい。

【0029】

その上、本態様は、ポイントクラウド圧縮に関連するＭＰＥＧ－Ｉ ｐａｒｔ５などのＭＰＥＧ標準に限定されず、例えば、既に存在するかまたは将来開発されるかに関わらず、他の標準および勧告、ならびにいずれかのそのような標準および勧告の拡張（ＭＰＥＧ－Ｉ ｐａｒｔ５を含む）に適用されてもよい。他に示されない限り、または技術的に排除されない限り、本出願において説明される態様は、個々にまたは組み合わせで使用されてもよい。

【0030】

以下では、画像データは、データ、例えば、特定の画像／ビデオフォーマットにある２Ｄサンプルの１つのアレイまたはいくつかのアレイを指す。特定の画像／ビデオフォーマットは、画像（または、ビデオ）の画素値に関連する情報を指定することができる。特定の画像／ビデオフォーマットはまた、例えば、画像（または、ビデオ）を視覚化および／または復号するためにディスプレイおよび／またはいずれかの他の装置によって使用することができる情報を指定することができる。画像は典型的には、画像の輝度（つまり、ルマ）を通常は表す、サンプルの第１の２Ｄアレイの形状にある第１の成分を含む。画像はまた、画像の色度（つまり、クロマ）を通常は表す、サンプルの他の２Ｄアレイの形状にある第２の成分および第３の成分を含む。いくつかの実施形態は、従来の３色覚（tri-chromatic）ＲＧＢ表現などの色サンプルの２Ｄアレイのセットを使用して同一の情報を表す。

【0031】

画素値は、１つまたは複数の実施形態では、Ｃ値のベクトルによって表され、Ｃは、成分の数である。ベクトルの各々の値は典型的には、画素値の動的な範囲を定義することができるビットの数により表される。

【0032】

画像ブロックは、画像に属する画素のセットを意味する。画像ブロックの画素値（または、画像ブロックデータ）は、この画像ブロックに属する画素の値を指す。画像ブロックは、任意の形状を有してもよいが、矩形が一般的である。

【0033】

ポイントクラウドは、一意な座標を有し、１つまたは複数の属性をも有することができる３Ｄ体積空間内の３Ｄサンプルのデータセットによって表されてもよい。

【0034】

このデータセットの３Ｄサンプルは、その空間的位置（３Ｄ空間内のＸ，Ｙ，およびＺ座標）によって、場合によっては、ＲＧＢ色空間もしくはＹＵＶ色空間において表される色、例えば、透明性、反射性、２つの成分の法線ベクトル、またはこのサンプルの特徴を表すいずれかの特徴などの１つまたは複数の関連する属性によって定義されてもよい。例えば、３Ｄサンプルは、６つの成分（Ｘ，Ｙ，Ｚ，Ｒ，Ｇ，Ｂ）またはその同等のもの（Ｘ，Ｙ，Ｚ，ｙ，Ｕ，Ｖ）によって定義されてもよく、（Ｘ，Ｙ，Ｚ）は、３Ｄ空間内のポイントの座標を定義し、（Ｒ，Ｇ，Ｂ）または（ｙ，Ｕ，Ｖ）は、この３Ｄサンプルの色を定義する。同一のタイプの属性は、複数回存在してもよい。例えば、複数の色属性は、異なる視点からの色情報を提供することができる。

【0035】

ポイントクラウドは、クラウドが時間に対して変化するか否かに応じて静的または動的であってもよい。静的ポイントクラウドまたは動的ポイントクラウドのインスタンスは通常、ポイントクラウドフレームとして表される。動的ポイントクラウドのケースでは、ポイントの数は一般的に、一定ではないが、逆に、一般的に時間と共に変化する。より一般的には、ポイントクラウドは、例えば、ポイントの数、１つもしくは複数のポイントの位置、またはいずれかのポイントのいずれかの属性など、何らかが時間と共に変化するにつれて動的であると考えられてもよい。

【0036】

例として、２Ｄサンプルは、６つの成分（ｕ，ｖ，Ｚ，Ｒ，Ｇ，Ｂ）またはその同等のもの（ｕ，ｖ，Ｚ，ｙ，Ｕ，Ｖ）によって定義されてもよい。（ｕ，ｖ）は、投影平面の２Ｄ空間内の２Ｄサンプルの座標を定義する。Ｚは、この投影平面への投影された３Ｄサンプルの深度値である。（Ｒ，Ｇ，Ｂ）または（ｙ，Ｕ，Ｖ）は、この３Ｄサンプルの色を定義する。

【0037】

図１は、本実施形態のうちの少なくとも１つに従った、２レイヤ方式ポイントクラウド符号化構造１０００の例の概略ブロック図を示す。

【0038】

２レイヤ方式ポイントクラウド符号化構造１０００は、入力ポイントクラウドフレームＩＰＣＦを表すビットストリームＢを提供することができる。場合によっては、先述の入力ポイントクラウドフレームＩＰＣＦは、動的ポイントクラウドのフレームを表す。次いで、先述の動的ポイントクラウドのフレームは、別のフレームとは独立して２レイヤ方式ポイントクラウド符号化構造１０００によって符号化されてもよい。

【0039】

基本的には、２レイヤ方式ポイントクラウド符号化構造１０００は、ベースレイヤＢＬおよびエンハンスメントレイヤＥＬとしてビットストリームＢを構造化する能力をもたらすことができる。ベースレイヤＢＬは、入力ポイントクラウドフレームＩＰＣＦの非可逆表現（lossy representation）をもたらすことができ、エンハンスメントレイヤＥＬは、ベースレイヤＢＬによって表されない分離したポイントを符号化することによって、より高い品質（場合によっては可逆）表現をもたらすことができる。

【0040】

ベースレイヤＢＬは、図３に示されるような画像方式エンコーダ３０００によって設けられてもよい。先述の画像方式エンコーダ３０００は、入力ポイントクラウドフレームＩＰＣＦの３Ｄサンプルのジオメトリ／属性を表すジオメトリ／テキスチャ画像を提供することができる。これは、分離した３Ｄサンプルが破棄されることを可能にすることができる。ベースレイヤＢＬは、中間再構築済みポイントクラウドフレームＩＲＰＣＦを提供することができる、図４に示されるような画像方式デコーダ４０００によって復号されてもよい。

【0041】

次いで、図１における２レイヤ方式ポイントクラウド符号化構造１０００に戻ると、コンパレータＣＯＭＰは、損失した／分離した３Ｄサンプルを検出／特定するために、入力ポイントクラウドフレームＩＰＣＦの３Ｄサンプルを中間再構築済みポイントクラウドフレームＩＲＰＣＦの３Ｄサンプルと比較してもよい。次に、エンコーダＥＮＣは、損失した３Ｄサンプルを符号化してもよく、エンハンスメントレイヤＥＬを設けてもよい。最後に、ベースレイヤＢＬおよびエンハンスメントレイヤＥＬは、ビットストリームＢを生成するよう、マルチプレクサマルチプレクサＭＵＸによって共に多重化されてもよい。

【0042】

実施形態に従って、エンコーダＥＮＣは、検出器を含んでもよく、検出器は、中間再構築済みポイントクラウドフレームＩＲＰＣＦの３Ｄ参照サンプルＲを検出し、中間再構築済みポイントクラウドフレームＩＲＰＣＦの３Ｄ参照サンプルＲを損失した３ＤサンプルＭと関連付けることができる。

【0043】

例えば、損失した３ＤサンプルＭと関連付けられた３Ｄ参照サンプルＲは、所与の基準に従った、Ｍのその最も近い隣接であってもよい。

【0044】

実施形態に従って、次いで、エンコーダＥＮＣは、損失した３ＤサンプルＭの空間的位置およびそれらの属性を、先述の３Ｄ参照サンプルＲの空間的位置および属性に従って判定された差として符号化してもよい。

【0045】

変形例では、それらの差は、別々に符号化されてもよい。

【0046】

例えば、損失した３ＤサンプルＭについて、空間座標ｘ（Ｍ）、ｙ（Ｍ）、およびｚ（Ｍ）により、ｘ－座標位置差（coordinate position difference）Ｄｘ（Ｍ）、ｙ－座標位置差Ｄｙ（Ｍ）、ｚ－座標位置差Ｄｚ（Ｍ）、Ｒ－属性成分差（attribute component difference）Ｄｒ（Ｍ）、Ｇ－属性成分差Ｄｇ（Ｍ）、ならびにＢ－属性成分差Ｄｂ（Ｍ）が、以下のように計算されてもよい。
Ｄｘ（Ｍ）＝ｘ（Ｍ）－ｘ（Ｒ）
ｘ（Ｍ）は、図３によって提供されるジオメトリ画像内の３ＤサンプルＭ、それぞれのＲのｘ－座標であり、
Ｄｙ（Ｍ）＝ｙ（Ｍ）－ｙ（Ｒ）
ｙ（Ｍ）は、図３によって提供されるジオメトリ画像内の３ＤサンプルＭ、それぞれのＲのｙ－座標であり、
Ｄｚ（Ｍ）＝ｚ（Ｍ）－ｚ（Ｒ）
ｚ（Ｍ）は、図３によって提供されるジオメトリ画像内の３ＤサンプルＭ、それぞれのＲのｚ－座標であり、
Ｄｒ（Ｍ）＝Ｒ（Ｍ）－Ｒ（Ｒ）
Ｒ（Ｍ）、それぞれＲ（Ｒ）は、３ＤサンプルＭ、それぞれＲの色属性のｒ－色成分であり、
Ｄｇ（Ｍ）＝Ｇ（Ｍ）－Ｇ（Ｒ）
Ｇ（Ｍ）、それぞれＧ（Ｒ）は、３ＤサンプルＭ、それぞれＲの色属性のｇ－色成分であり、
Ｄｂ（Ｍ）＝Ｂ（Ｍ）－Ｂ（Ｒ）
Ｂ（Ｍ）、それぞれＢ（Ｒ）は、３ＤサンプルＭ、それぞれＲの色属性のｂ－色成分である。

【0047】

図２は、本実施形態のうちの少なくとも１つに従った、２レイヤ方式ポイントクラウド復号構造２０００の例の概略ブロック図を示す。

【0048】

２レイヤ方式ポイントクラウド復号構造２０００の振る舞いは、その能力に依存する。

【0049】

能力が制限された２レイヤ方式ポイントクラウド復号構造２０００は、デマルチプレクサＤＭＵＸを使用することによって、ビットストリームＢからベースレイヤＢＬにのみアクセスすることができ、次いで、図４に示されるようなポイントクラウドデコーダ４０００によりベースレイヤＢＬを復号することによって、忠実な（非可逆であるが）バージョンＩＲＰＣＦの入力ポイントクラウドフレームＩＰＣＦを提供することができる。

【0050】

完全な能力を有する２レイヤ方式ポイントクラウド復号構造２０００は、デマルチプレクサＤＭＵＸを使用することによって、ビットストリームＢからベースレイヤＢＬおよびエンハンスメントレイヤＥＬの両方にアクセスすることができる。ポイントクラウドデコーダ４０００は、図４に示されるように、ベースレイヤＢＬから中間再構築済みポイントクラウドフレームＩＲＰＣＦを判定してもよい。デコーダＤＥＣは、エンハンスメントレイヤＥＬから補完ポイントクラウドフレーム（complementary point cloud frame）ＣＰＣＦを判定してもよい。次いで、コンバイナＣＯＭは、中間再構築済みポイントクラウドフレームＩＲＰＣＦおよび補完ポイントクラウドフレームＣＰＣＦを共に結合し、したがって、入力ポイントクラウドフレームＩＰＣＦのより高い品質（場合によっては可逆）表現（再構築）ＣＲＰＣＦを提供することができる。

【0051】

図３は、本実施形態のうちの少なくとも１つに従った、画像方式ポイントクラウドエンコーダ３０００の例の概略ブロック図を示す。

【0052】

画像方式ポイントクラウドエンコーダ３０００は、動的ポイントクラウドのジオメトリ情報およびテキスチャ（属性）情報を圧縮するよう、既存のビデオコーデックを利用する。これは、ポイントクラウドデータを異なるビデオシーケンスのセットに変換することによって必然的に達成される。

【0053】

特定の実施形態では、１つがポイントクラウドデータのジオメトリ情報を捕捉するためのものであり、もう１つがテキスチャ情報を捕捉するためのものである２つのビデオは、既存のビデオコーデックを使用して生成および圧縮されてもよい。既存のビデオコーデックの例は、ＨＥＶＣ Ｍａｉｎプロファイルエンコーダ／デコーダ（ＩＴＵ－ＴＨ．２６５ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｔａｎｄａｒｄｉｚａｔｉｏｎ ｓｅｃｔｏｒ ｏｆ ＩＴＵ（０２／２０１８），ｓｅｒｉｅｓ Ｈ：ａｕｄｉｏｖｉｓｕａｌ ａｎｄ ｍｕｌｔｉｍｅｄｉａ ｓｙｓｔｅｍｓ，ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ－ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ，Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ，Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５）である。

【0054】

２つのビデオを解釈するために使用される追加のメタデータも典型的には、別々に生成および圧縮される。そのような追加のメタデータは、例えば、占有マップ（occupancy map）ＯＭおよび／または補助パッチ情報ＰＩを含む。

【0055】

生成されたビデオビットストリームおよびメタデータは次いで、結合されたビットストリームを生成するように多重化されてもよい。

【0056】

メタデータは典型的には、全体情報のうちの少ない量を表すことに留意されるべきである。情報の大部分は、ビデオビットストリームである。

【0057】

そのようなポイントクラウド符号化／復号処理の例は、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ＭＰＥＧ２０１９／ｗ１８１８０（Ｊａｎｕａｒｙ ２０１９，Ｍａｒｒａｋｅｓｈ）において定義されたＭＰＥＧ ｄｒａｆｔ ｓｔａｎｄａｒｄを実装したＴｅｓｔ ｍｏｄｅｌ Ｃａｔｅｇｏｒｙ ２アルゴリズム（Ｖ－ＰＣＣとも表される）によって与えられる。

【0058】

ステップ３１００では、モジュールＰＧＭは、最良の圧縮をもたらすストラテジを使用して、入力ポイントクラウドフレームＩＰＣＦを表すデータセットの３Ｄサンプルを投影平面上の２Ｄサンプルに分解することによって、少なくとも１つのパッチを生成してもよい。

【0059】

パッチは、２Ｄサンプルのセットとして定義されてもよい。

【0060】

例えば、Ｖ－ＰＣＣでは、例えば、Ｈｏｐｐｅ ｅｔ ａｌ．（Ｈｕｇｕｅｓ Ｈｏｐｐｅ，Ｔｏｎｙ ＤｅＲｏｓｅ，Ｔｏｍ Ｄｕｃｈａｍｐ，Ｊｏｈｎ ＭｃＤｏｎａｌｄ，Ｗｅｒｎｅｒ Ｓｔｕｅｔｚｌｅ．Ｓｕｒｆａｃｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ ｕｎｏｒｇａｎｉｚｅｄ ｐｏｉｎｔｓ．ＡＣＭ ＳＩＧＧＲＡＰＨ １９９２ Ｐｒｏｃｅｅｄｉｎｇｓ，７１－７８）において説明されるように、３Ｄサンプルごとの法線（normal）が最初に推定される。次に、入力ポイントクラウドフレームＩＰＣＦの３Ｄサンプルを覆う３Ｄ境界ボックスの６個の有向平面（oriented planes）の１つと各々の３Ｄサンプルを関連付けることによって、入力ポイントクラウドフレームＩＰＣＦの初期のクラスタリングが取得される。より正確に、各々の３Ｄサンプルがクラスタリングされ、最も近い法線を有する（点法線および面法線のドット積を最大にする）有向平面と関連付けられる。次いで、それらの関連付けられた平面に３Ｄサンプルが投影される。それらの平面内の連結領域を形成する３Ｄサンプルのセットは、連結成分と称される。連結成分は、類似の法線および同一の関連付けられた有向平面を有する少なくとも１つの３Ｄサンプルのセットである。初期のクラスタリングは次いで、その法線およびその最も近くの隣接サンプルのクラスタに基づいて、各々の３Ｄサンプルと関連付けられたクラスタを反復的に更新することによって精緻化される。最終ステップは、先述の連結成分と関連付けられた有向平面に各々の連結成分の３Ｄサンプルを投影することによって行われる、各々の連結成分から１つのパッチを生成することから構成される。パッチは、ジオメトリ情報および／または属性情報に対応する投影された２Ｄサンプルを解釈するために、パッチごとに定義された補助パッチ情報を表す補助パッチ情報ＰＩと関連付けられる。

【0061】

Ｖ－ＰＣＣでは、例えば、補助パッチ情報ＰＩは、１）連結成分の３Ｄサンプルを覆う３Ｄ境界ボックスの６個の有向平面の１つを示す情報、２）面法線に対する情報、３）深度、タンジェンシャルシフト（tangential shift）、およびバイタンジェンシャルシフト（bi-tangential shift）の項において表されるパッチに対する連結成分の３Ｄ位置を判定する情報、ならびに４）パッチを覆う２Ｄ境界ボックスを定義した投影平面内の座標（ｕ０，ｖ０，ｕ１，ｖ１）などの情報を含む。

【0062】

ステップ３２００では、パッチパッキングモジュール（patch packing module）ＰＰＭは、未使用空間を典型的には最小にする方式において重複なしに、２Ｄグリッド（キャンバスとも呼ばれる）に少なくとも１つの生成されたパッチをマッピング（配置）してもよく、２ＤグリッドのあらゆるＴ×Ｔ（例えば、１６×１６）ブロックが一意なパッチと関連付けられることを保証することができる。２Ｄグリッドの所与の最小ブロックサイズＴ×Ｔは、この２Ｄグリッドに配置されるような別個のパッチの間の最小距離を規定することができる。２Ｄグリッドの解像度は、入力ポイントクラウドサイズならびにその幅Ｗおよび高さＨに依存してもよく、ブロックサイズＴがメタデータとしてデコーダに送信されてもよい。

【0063】

補助パッチ情報ＰＩは、２Ｄグリッドのブロックとパッチとの間の関連付けに対する情報を更に含んでもよい。

【0064】

Ｖ－ＰＣＣでは、補助情報ＰＩは、２Ｄグリッドのブロックとパッチインデックスとの間の関連付けを判定するブロックツーパッチインデックス情報（ＢｌｏｃｋＴｏＰａｔｃｈ）を含んでもよい。

【0065】

図３ａは、２つのパッチＰ１およびＰ２ならびにそれらの関連付けられた２Ｄ境界ボックスＢ１およびＢ２を含むキャンバスＣの例を示す。図３ａに示されるように、キャンバスＣ内で２つの境界ボックスが重複してもよいことに留意されよう。２Ｄグリッド（キャンバスの分離）のみが境界ボックスの内部で表されるが、キャンバスを分離することは、それらの境界ボックスの外側でも発生する。パッチと関連付けられた境界ボックスは、Ｔ×Ｔブロックに分離されてもよく、典型的には、Ｔ＝１６である。

【0066】

パッチに属する２Ｄサンプルを含むＴ×Ｔブロックが、占有されたブロックとして考えられてもよい。キャンバスの各々の占有されたブロックは、占有マップＯＭ内で特定の画素値（例えば１）によって表され、キャンバスの各々の占有されていないブロックは、別の特定の値、例えば、０によって表される。次いで、占有マップＯＭの画素値は、パッチに属する２Ｄサンプルを含む、キャンバスのＴ×Ｔブロックが占有されるかどうかを示すことができる。

【0067】

図３ａでは、占有されたブロックは、白色ブロックによって表され、網掛けブロックは、占有されていないブロックを表す。画像生成処理（ステップ３３００および３４００）は、入力ポイントクラウドフレームＩＰＣＦのジオメトリおよびテキスチャを画像として記憶するために、ステップ３２００の間に計算された２Ｄグリッドへの少なくとも１つの生成されたパッチのマッピングを利用する。

【0068】

ステップ３３００では、ジオメトリ画像ジェネレータＧＩＧは、入力ポイントクラウドフレームＩＰＣＦ、占有マップＯＭ、および補助パッチ情報ＰＩから、少なくとも１つのジオメトリ画像ＧＩを生成してもよい。ジオメトリ画像ジェネレータＧＩＧは、ジオメトリ画像ＧＩ内の占有されたブロック、よって、ジオメトリ画像ＧＩ内の非空白画像を検出（特定）するために、占有マップ情報を利用してもよい。

【0069】

ジオメトリ画像ＧＩは、入力ポイントクラウドフレームＩＰＣＦのジオメトリを表すことができ、例えば、ＹＵＶ４２０－８ｂｉｔフォーマットにおいて表されるＷ×Ｈ画素のモノクロ画像であってもよい。

【0070】

投影平面の同一の２Ｄサンプルに投影（マッピング）される（同一の投影方向（ライン）に沿って）複数の３Ｄサンプルのケースをより良好に扱うために、レイヤと称される複数の画像が生成されてもよい。よって、異なる深度値Ｄ１、…、Ｄｎがパッチの２Ｄサンプルと関連付けられてもよく、次いで、複数のジオメトリ画像が生成されてもよい。

【0071】

Ｖ－ＰＣＣでは、パッチの２Ｄサンプルが２つのレイヤに投影される。近接レイヤ（near layer）とも称される第１のレイヤは、例えば、より小さい深度を有する２Ｄサンプルと関連付けられた深度値Ｄ０を記憶してもよい。遠方レイヤ（far layer）とも称される第２のレイヤは、例えば、より大きい深度を有する２Ｄサンプルと関連付けられた深度値Ｄ１を記憶してもよい。代わりに、第２のレイヤは、深度値Ｄ１と深度値Ｄ０との間の差分値を記憶してもよい。例えば、第２の深度画像によって記憶された情報は、範囲［Ｄ０，Ｄ０＋Δ］にある深度値に対応する間隔［０，Δ］以内にあってもよく、Δは、表面厚みを記述したユーザにより定義されたパラメータである。

【0072】

このようにして、第２のレイヤは、重要な輪郭のような頻度の特徴（contour-like high frequency feature）を含むことができる。よって、第２の深度画像がレガシビデオコーダを使用することによってコーディングすることが困難であることがあり、したがって、深度値は、先述の復号された第２の深度画像からはうまく再構築されないことがあり、それは、再構築済みポイントクラウドフレームのジオメトリの不良な品質に結果としてなることが明白である。

【0073】

実施形態に従って、ジオメトリ画像生成モジュールＧＩＧは、補助パッチ情報ＰＩを使用することによって、第１のレイヤおよび第２のレイヤの２Ｄサンプルと関連付けられた深度値をコーディング（導出）することができる。

【0074】

Ｖ－ＰＣＣでは、対応する連結成分を有するパッチ内の３Ｄサンプルの位置は、以下のように、深度δ（ｕ，ｖ）、タンジェンシャルシフトｓ（ｕ，ｖ）、およびバイタンジェンシャルシフトｒ（ｕ，ｖ）の項において表現されてもよい。
δ（ｕ，ｖ）＝δ０＋ｇ（ｕ，ｖ）
ｓ（ｕ，ｖ）＝ｓ０－ｕ０＋ｕ
ｒ（ｕ，ｖ）＝ｒ０－ｖ０＋ｖ
ｇ（ｕ，ｖ）は、ジオメトリ画像のルマ成分であり、（ｕ，ｖ）は、投影平面上の３Ｄサンプルと関連付けられた画素であり、（δ０，ｓ０，ｒ０）は、３Ｄサンプルが属する連結成分の対応するパッチの３Ｄ位置であり、（ｕ０，ｖ０，ｕ１，ｖ１）は、先述の連結成分と関連付けられたパッチの投影を覆う２Ｄ境界ボックスを定義した先述の投影平面内の座標である。

【0075】

よって、ジオメトリ画像生成モジュールＧＩＧは、ｇ（ｕ，ｖ）＝δ（ｕ，ｖ）－δ０によって与えられたルマ成分ｇ（ｕ，ｖ）としてレイヤ（第１のレイヤもしくは第２のレイヤ、またはその両方）の２Ｄサンプルと関連付けられた深度値をコーディング（導出）することができる。この関係は、不随する補助パッチ情報ＰＩにより再構築済みジオメトリ画像ｇ（ｕ，ｖ）から３Ｄサンプル位置（δ０，ｓ０，ｒ０）を再構築するために採用されてもよい。

【0076】

実施形態に従って、第１のジオメトリ画像ＧＩ０が第１のレイヤまたは第２のレイヤのいずれかの２Ｄサンプルの深度値を記憶することができるかどうか、および第２のジオメトリ画像ＧＩ１が第２のレイヤまたは第１のレイヤのいずれかの２Ｄサンプルと関連付けられた深度値を記憶することができるかどうかを示すために、投影モードが使用されてもよい。

【0077】

例えば、投影モードが０に等しいとき、第１のジオメトリ画像ＧＩ０は、第１のレイヤの２Ｄサンプルの深度値を記憶してもよく、第２のジオメトリ画像ＧＩ１は、第２のレイヤの２Ｄサンプルと関連付けられた深度値を記憶してもよい。相反的に、投影モードが１に等しいとき、第１のジオメトリ画像ＧＩ０は、第２のレイヤの２Ｄサンプルの深度値を記憶してもよく、第２のジオメトリ画像ＧＩ１は、第１のレイヤの２Ｄサンプルと関連付けられた深度値を記憶してもよい。

【0078】

実施形態に従って、全てのパッチに対して固定投影モードが使用されるかどうか、または各々のパッチが異なる投影モードを使用することができる可変投影モードが使用されるかどうかを示すために、フレーム投影モードが使用されてもよい。

【0079】

投影モードおよび／またはフレーム投影モードは、メタデータとして送信されてもよい。

【0080】

例えば、Ｖ－ＰＣＣのｓｅｃｔｉｏｎ ２．２．１．３．１において、フレーム投影モード決定アルゴリズムをもたらすことができる。

【0081】

実施形態に従って、可変投影モードを使用することができることをフレーム投影が示すとき、パッチを投影（投影解除）するために使用する適切なモードを示すためにパッチ投影モードが使用されてもよい。

【0082】

パッチ投影モードは、メタデータとして送信されてもよく、場合によっては、補助パッチ情報ＰＩに含まれる情報として送信されてもよい。

【0083】

例えば、Ｖ－ＰＣＣのｓｅｃｔｉｏｎ ２．２．１．３．２において、パッチ投影モード決定アルゴリズムをもたらすことができる。

【0084】

ステップ３３００の実施形態に従って、パッチの２Ｄサンプル（ｕ，ｖ）に対応する第１のジオメトリ画像、例えば、ＧＩ０における画素値は、先述の２Ｄサンプル（ｕ，ｖ）に対応する投影ラインに沿って定義された中間３Ｄサンプルの少なくとも１つの深度値を表すことができる。より正確に、先述の中間３Ｄサンプルは、投影ラインに沿って存在し、その深度値Ｄ１が第２のジオメトリ画像、例えば、ＧＩ１においてコーディングされる２Ｄサンプル（ｕ，ｖ）の同一の座標を共有する。更に、先述の中間３Ｄサンプルは、深度値Ｄ０と深度値Ｄ１との間の深度値を有してもよい。指定ビット（designated bit）は、中間３Ｄサンプルが存在する場合に１に設定され、そうでなければ０に設定される、各々の先述の中間３Ｄサンプルと関連付けられてもよい。

【0085】

図３ｂは、投影ラインＰＬに沿って２つの３ＤサンプルＰ０およびＰ１の間に位置する２つの中間３ＤサンプルＰ_i1およびＰ_i2の例を示す。３ＤサンプルＰ０およびＰ１は、Ｄ０およびＤ１に等しいそれぞれの深度値を有する。それぞれ２つの中間３ＤサンプルＰ_i1およびＰ_i2の深度値Ｄ_i1およびＤ_i2は、Ｄ０よりも大きく、Ｄ１よりも低い。

【0086】

次いで、先述の登園ラインに沿った全ての先述の指定ビットは、以下では、拡張占有マップ（ＥＯＭ：Enhanced-Occupancy map）コードワードと表されるコードワードを形成するよう連結される。図３ｂに示されるように、８ビットの長さのＥＯＭコードワードを想定して、２つの３ＤサンプルＰ_i1およびＰ_i2の位置を示すために、２ビットは１に等しい。最終的に、全てのＥＯＭコードワードは、画像、例えば、占有マップＯＭにおいてパッキングされてもよい。そのケースでは、キャンバスの少なくとも１つのパッチは、少なくとも１つのＥＯＭコードワードを含んでもよい。そのようなパッチは、参照パッチと表され、参照パッチのブロックは、ＥＯＭ参照ブロックと表される。よって、占有マップＯＭの画素値は、キャンバスの占有されていないブロックを示すために第１の値、例えば、０に等しくてもよく、または例えば、Ｄ１－Ｄ０＜＝１であるとき、キャンバスの占有されたブロックを示すために、もしくは例えば、Ｄ１－Ｄ０＞１であるとき、キャンバスのＥＯＭ参照ブロックを示すために、別の値、例えば、０よりも大きい値に等しくてもよい。

【0087】

占有マップＯＭにおける画素の位置（ＥＯＭ参照ブロックおよびそれらの画素の値から取得されたＥＯＭコードワードのビットの値を示す）は、中間３Ｄサンプルの３Ｄ座標を示す。

【0088】

ステップ３４００では、テキスチャ画像ジェネレータＴＩＧは、入力ポイントクラウドフレームＩＰＣＦ、占有マップＯＭ、補助パッチ情報ＰＩ、およびビデオデコーダＶＤＥＣの出力（図４におけるステップ４２００）である、少なくとも１つの復号されたジオメトリ画像ＤＧＩから導出された再構築済みポイントクラウドフレームのジオメトリから、少なくとも１つのテキスチャ画像ＴＩを生成してもよい。

【0089】

テキスチャ画像ＴＩは、入力ポイントクラウドフレームＩＰＣＦのテキスチャを表すことができ、例えば、ＹＵＶ４２０－８ｂｉｔフォーマットにおいて表されるＷ×Ｈ画素の画像であってもよい。

【0090】

テキスチャ画像ジェネレータＴＧは、テキスチャ画像内の占有されたブロック、よって、テキスチャ画像内の非空白画素を検出（特定）するために、占有マップ情報を利用してもよい。

【0091】

テキスチャ画像ジェネレータＴＩＧは、テキスチャ画像ＴＩを生成し、テキスチャ画像ＴＩを各々のジオメトリ画像／レイヤＤＧＩと関連付けるように適合されてもよい。

【0092】

実施形態に従って、テキスチャ画像ジェネレータＴＩＧは、第１のテキスチャ画像ＴＩ０の画素値として、第１のレイヤの２Ｄサンプルと関連付けられたテキスチャ（属性）値Ｔ０を、および第２のテキスチャ画像ＴＩ１の画素値として、第２のレイヤの２Ｄサンプルと関連付けられたテキスチャ値Ｔ１をコーディング（記憶）してもよい。

【0093】

代わりに、テキスチャ画像生成モジュールＴＩＧは、第１のテキスチャ画像ＴＩ０の画素値として、第２のレイヤの２Ｄサンプルと関連付けられたテキスチャ値Ｔ１を、および第２のジオメトリ画像ＧＩ１の画素値として、第１のレイヤの２Ｄサンプルと関連付けられたテキスチャ値Ｄ０をコーディング（記憶）してもよい。

【0094】

例えば、Ｖ－ＰＣＣのｓｅｃｔｉｏｎ ２．２．３、２．２．４、２．２．５、２．２．８、または２．５に説明されるように、３Ｄサンプルの色が取得されてもよい。

【0095】

２つの３Ｄサンプルのテキスチャ値は、第１のテキスチャ画像または第２のテキスチャ画像のいずれかに記憶される。しかしながら、図３ｂに示されるように、投影された中間３Ｄサンプルの位置が別の３Ｄサンプル（Ｐ０またはＰ１）のテキスチャ値を記憶するために既に使用されている占有されたブロックに対応することを理由に、中間３Ｄサンプルのテキスチャ値をこの第１のテキスチャ画像ＴＩ０にも第２のテキスチャ画像ＴＩ１にも記憶することができない。よって、中間３Ｄサンプルのテキスチャ値は、手順通りに定義された（Ｖ－ＰＣＣのｓｅｃｔｉｏｎ ９．４．５）位置にある第１のテキスチャ画像または第２のテキスチャ画像のいずれかに位置するＥＯＭテキスチャブロックに記憶される。要するに、この処理は、テキスチャ画像における占有されていないブロックの位置を判定し、ＥＯＭテキスチャブロックと表される、テキスチャ画像の先述の占有されていないブロックの画素値として中間３Ｄサンプルと関連付けられたテキスチャ値を記憶する。

【0096】

実施形態に従って、パディング処理がジオメトリ画像および／またはテキスチャ画像に適用されてもよい。パディング処理は、ビデオ圧縮に適合された区分的に平滑な（piecewise smooth image）画像を生成するよう、パッチの間の空白を埋めるために使用されてもよい。

【0097】

Ｖ－ＰＣＣのｓｅｃｔｉｏｎｓ ２．２．６および２．２．７において、画像パディングの例が提供される。

【0098】

ステップ３５００では、ビデオエンコーダＶＥＮＣは、生成された画像／レイヤＴＩおよびＧＩを符号化してもよい。

【0099】

ステップ３６００では、エンコーダＯＭＥＮＣは、例えば、Ｖ－ＰＣＣのｓｅｃｔｉｏｎ ２．２．２において詳述されるように、画像として占有マップを符号化してもよい。不可逆符号化または可逆符号化が使用されてもよい。

【0100】

実施形態に従って、ビデオエンコーダＥＮＣおよび／またはＯＭＥＮＣは、ＨＥＶＣ方式エンコーダであってもよい。

【0101】

ステップ３７００では、エンコーダＰＩＥＮＣは、補助パッチ情報ＰＩ、場合によっては、ジオメトリ画像／テキスチャ画像のブロックサイズＴ、幅Ｗ、および高さＨなどの追加のメタデータを符号化してもよい。

【0102】

実施形態に従って、補助パッチ情報は、異なって符号化されてもよい（例えば、Ｖ－ＰＣＣのｓｅｃｔｉｏｎ ２．４．１において定義されるように）。

【0103】

ステップ３８００では、ステップ３５００、３６００、および３７００の生成された出力にマルチプレクサが適用されてもよく、結果として、それらの出力は、ベースレイヤＢＬを表すビットストリームを生成するように、共に多重化されてもよい。メタデータ情報がビットストリーム全体の僅かな部分を表すことに留意されるべきである。情報の大部分は、ビデオコーデックを使用して圧縮される。

【0104】

図４は、本実施形態のうちの少なくとも１つに従った、画像方式ポイントクラウドデコーダ４０００の例の概略ブロック図を示す。

【0105】

ステップ４１００では、ベースレイヤＢＬを表すビットストリームの符号化された情報を逆多重化するために、デマルチプレクサＤＭＵＸが適用されてもよい。

【0106】

ステップ４２００では、ビデオデコーダＶＤＥＣは、少なくとも１つの復号されたジオメトリ画像ＤＧＩおよび少なくとも１つの復号されたテキスチャ画像ＤＴＩを導出するよう、符号化された情報を復号してもよい。

【0107】

ステップ４３００では、デコーダＯＭＤＥＣは、復号された占有マップＤＯＭを導出するよう、符号化された情報を復号してもよい。

【0108】

実施形態に従って、ビデオデコーダＶＤＥＣおよび／またはＯＭＤＥＣは、ＨＥＶＣ方式デコーダであってもよい。

【0109】

ステップ４４００では、デコーダＰＩＤＥＣは、補助パッチ情報ＤＰＩを導出するよう、符号化された情報を復号してもよい。

【0110】

場合によっては、メタデータもビットストリームＢＬから導出されてもよい。

【0111】

ステップ４５００では、ジオメトリ生成モジュールＧＧＭは、少なくとも１つの復号されたジオメトリ画像ＤＧＩ、復号された占有マップＤＯＭ、復号された補助パッチ情報ＤＰＩ、および場合によっては追加のメタデータから、再構築済みポイントクラウドフレームＩＲＰＣＦのジオメトリＲＧを導出してもよい。

【0112】

ジオメトリ生成モジュールＧＧＭは、少なくとも１つの復号されたジオメトリ画像ＤＧＩ内の非空白画素を特定するために、復号された占有マップ情報ＤＯＭを利用してもよい。

【0113】

先述の非空白画素は、復号された占有情報ＤＯＭの画素値および上記説明されたＤ１～Ｄ０の値に応じて、占有されたブロックまたはＥＯＭ参照ブロックのいずれかに属する。

【0114】

ステップ４５００の実施形態に従って、ジオメトリ生成モジュールＧＧＭは、非空白画素の座標から、中間３Ｄサンプルの３Ｄ座標のうちの２つを導出してもよい。

【0115】

ステップ４５００の実施形態に従って、先述の非空白画素が先述のＥＯＭ参照ブロックに属するとき、ジオメトリ生成モジュールＧＧＭは、ＥＯＭコードワードのビット値から、中間３Ｄサンプルの３Ｄ座標の３番目を導出してもよい。

【0116】

例えば、図３ｂの例に従って、中間３ＤサンプルＰ_i1およびＰ_i2の３Ｄ座標を判定するために、ＥＯＭコードワードＥＯＭＣが使用される。中間３ＤサンプルＰ_i1の第３の座標は、例えば、Ｄ_i1＝Ｄ０＋３によってＤ０から導出されてもよく、再構築済み３ＤサンプルＰ_i2の第３の座標は、例えば、Ｄ_i2＝Ｄ０＋５によってＤ０から導出されてもよい。オフセット値（３または５）は、投影ラインに沿ったＤ０とＤ１との間の間隔にある数である。

【0117】

実施形態に従って、先述の非空白画素が占有されたブロックに属するとき、ジオメトリ生成モジュールＧＧＭは、非空白画素の座標、少なくとも１つの復号されたジオメトリ画像ＤＧＩの１つの先述の非空白画素の値、復号された補助パッチ情報、および場合によっては追加のメタデータから、再構築済み３Ｄサンプルの３Ｄ座標を導出してもよい。

【0118】

非空白画素の使用は、３Ｄサンプルとの２Ｄ画素の関係に基づいている。例えば、Ｖ－ＰＣＣにおける先述の投影により、再構築済み３Ｄサンプルの３Ｄ座標は、以下のように、深度δ（ｕ，ｖ）、タンジェンシャルシフトｓ（ｕ，ｖ）、およびバイタンジェンシャルシフトｒ（ｕ，ｖ）の項において表現されてもよい。
δ（ｕ，ｖ）＝δ０＋ｇ（ｕ，ｖ）
ｓ（ｕ，ｖ）＝ｓ０－ｕ０＋ｕ
ｒ（ｕ，ｖ）＝ｒ０－ｖ０＋ｖ
ｇ（ｕ，ｖ）は、復号されたジオメトリ画像ＤＧＩのルマ成分であり、（ｕ，ｖ）は、再構築済み３Ｄサンプルと関連付けられた画素であり、（δ０，ｓ０，ｒ０）は、再構築済み３Ｄサンプルが属する連結成分の３Ｄ位置であり、（ｕ０，ｖ０，ｕ１，ｖ１）は、先述の連結成分と関連付けられたパッチの投影を覆う２Ｄ境界ボックスを定義した投影平面内の座標である。

【0119】

ステップ４６００では、テキスチャ生成モジュールＴＧＭは、ジオメトリＲＧおよび少なくとも１つの復号されたテキスチャ画像ＤＴＩから、再構築済みポイントクラウドフレームＩＲＰＣＦのテキスチャを導出してもよい。

【0120】

ステップ４６００の実施形態に従って、テキスチャ生成モジュールＴＧＭは、対応するＥＯＭテキスチャブロックから、ＥＯＭ参照ブロックに属する非空白画素のテキスチャを導出してもよい。テキスチャ画像におけるＥＯＭテキスチャブロックの位置は、手順通りに定義される（Ｖ－ＰＣＣのｓｅｃｔｉｏｎ ９．４．５）。

【0121】

ステップ４６００の実施形態に従って、テキスチャ生成モジュールＴＧＭは、第１のテキスチャ画像または第２のテキスチャ画像のいずれかの画素値として、占有されたブロックに直接属する非空白画素のテキスチャを導出してもよい。

【0122】

図５は、本実施形態のうちの少なくとも１つに従った、ベースレイヤＢＬを表すビットストリームのシンタックスの例を概略的に示す。

【0123】

ビットストリームは、ビットストリームヘッダＳＨおよび少なくとも１つのグループオブフレームストリームＧＯＦＳを含む。

【0124】

グループオブフレームストリームＧＯＦＳは、ヘッダＨＳ、占有マップＯＭを表す少なくとも１つのシンタックス要素ＯＭＳ、少なくとも１つのジオメトリ画像（または、ビデオ）を表す少なくとも１つのシンタックス要素ＧＶＳ、少なくとも１つのテキスチャ画像（または、ビデオ）を表す少なくとも１つのシンタックス要素ＴＶＳ、ならびに補助パッチ情報および他の追加のメタデータを表す少なくとも１つのシンタックス要素ＰＩＳを含む。

【0125】

変形例では、グループオブフレームストリームＧＯＦＳは、少なくとも１つのフレームストリームを含む。

【0126】

図６は、様々な態様および実施形態が実装されるシステムの例を示す概略ブロック図を示す。

【0127】

システム６０００は、以下で説明され、本明細書において説明される態様のうちの１つまたは複数を実行するように構成された様々な構成要素を含む１つまたは複数のデバイスとして具体化されてもよい。システム６０００の全てまたは一部を形成することができる機器の例は、パーソナルコンピュータ、ラップトップ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオレコーディングシステム、接続された家電製品、接続された車両およびそれらの関連するプロセシングシステム、ヘッドマウントディスプレイデバイス（ＨＭＤ、シースルーグラス）、プロジェクタ（ビーマ）、「ケーブス」）（複数のディスプレイを含む）、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダからの出力を処理するポストプロセッサ、ビデオエンコーダに入力を提供するプリプロセッサ、ウェブサーバ、セットトップボックス、ならびにポイントクラウド、ビデオ、もしくは画像を処理するためのいずれかの他のデバイス、または他の通信デバイスを含む。システム６０００の要素は、単独または組み合わせで、単一の集積回路、複数のＩＣ、および／または離散構成要素において具体化されてもよい。例えば、少なくとも１つの実施形態では、システム６０００の処理要素およびエンコーダ／デコーダ要素は、複数のＩＣおよび／または離散構成要素にわたって分散されてもよい。様々な実施形態では、システム６０００は、例えば、通信バスを介して、または専用入力ポートおよび／もしくは出力ポートを通じて、他の同様のシステムまたは他の電子デバイスに通信可能に結合されてもよい。様々な実施形態では、システム６０００は、本明細書において説明される態様のうちの１つまたは複数を実装するように構成されてもよい。

【0128】

システム６０００は、例えば、本明細書において説明される様々な態様を実装するためにそこにロードされる命令を実行するように構成された少なくとも１つのプロセッサ６０１０を含んでもよい。プロセッサ６０１０は、組み込みメモリ、入力出力インタフェース、および本分野において既知の様々な他の回路を含んでもよい。システム６０００は、少なくとも１つのメモリ６０２０（例えば、揮発性メモリデバイスおよび／または不揮発性メモリデバイス）を含んでもよい。システム６０００は、それらに限定されないが、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、リードオンリメモリ（ＲＯＭ）、プログラム可能リードオンリメモリ（ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、および／または光学ディスクドライブを含む、不揮発性メモリおよび／または揮発性メモリを含むことができる、記憶装置６０４０を含んでもよい。記憶装置６０４０は、非限定的な例として、内部ストレージ、アタッチドストレージ、および／またはネットワークアクセス可能ストレージを含んでもよい。

【0129】

システム６０００は、例えば、符号化されたデータまたは復号されたデータを提供するようデータを処理するように構成されたエンコーダ／デコーダモジュール６０３０を含んでもよく、エンコーダ／デコーダモジュール６０３０は、その自身のプロセッサおよびメモリを含んでもよい。エンコーダ／デコーダモジュール６０３０は、符号化機能および／または復号機能を実行するデバイスに含まれてもよいモジュール（複数可）を表してもよい。既知のように、デバイスは、符号化モジュールおよび復号モジュールの一方または両方を含んでもよい。加えて、エンコーダ／デコーダモジュール６０３０は、システム６０００の別個の要素として実装されてもよく、または当業者に既知なハードウェアおよびソフトウェアの組み合わせとしてプロセッサ６０１０内に組み込まれてもよい。

【0130】

本明細書において説明される様々な態様を実行するようプロセッサ６０１０またはエンコーダ／デコーダ６０３０にロードされることになるプログラムコードは、記憶装置６０４０に記憶されてもよく、プロセッサ６０１０による実行のためにその後メモリ６０２０にロードされてもよい。様々な実施形態に従って、プロセッサ６０１０、メモリ６０２０、記憶装置６０４０、およびエンコーダ／デコーダモジュール６０３０のうちの１つまたは複数は、本明細書において説明される処理の実行の間に様々なアイテムのうちの１つまたは複数を記憶してもよい。そのような記憶されるアイテムは、それらに限定されないが、ポイントクラウドフレーム、符号化／復号されたジオメトリ／テキスチャビデオ／画像または符号化／復号されたジオメトリ／テキスチャビデオ／画像の一部、ビットストリーム、マトリクス、ならびに変数、式、数式、演算、演算ロジックの処理からの中間結果または最終結果を含んでもよい。

【0131】

いくつかの実施形態では、プロセッサ６０１０および／またはエンコーダ／デコーダモジュール６０３０の内部のメモリは、符号化または復号の間に実行することができる処理のための命令を記憶し、ワーキングメモリを設けるために使用されてもよい。

【0132】

しかしながら、他の実施形態では、処理デバイス（例えば、処理デバイスは、プロセッサ６０１０またはエンコーダ／デコーダモジュール６０３０のいずれかであってもよい）の外部のメモリは、それらの機能のうちの１つまたは複数に対して使用されてもよい。外部メモリは、メモリ６０２０、ならびに／または記憶装置６０４０、例えば、動的揮発性メモリおよび／もしくは不揮発性フラッシュメモリであってもよい。いくつかの実施形態では、外部不揮発性フラッシュメモリは、テレビのオペレーティングシステムを記憶するために使用されてもよい。少なくとも１つの実施形態では、ＭＰＥＧ－２ ｐａｒｔ ２（ＭＰＥＧ－２ Ｖｉｄｅｏとしても知られる、ＩＴＵ－Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６２およびＩＳＯ／ＩＥＣ １３８１８－２として既知の）、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ ｃｏｄｉｎｇ）、またはＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）など、ビデオ符号化および復号演算のためのワーキングメモリとして、ＲＡＭなどの高速外部動的揮発性メモリが使用されてもよい。

【0133】

システム６０００の要素への入力は、ブロック６１３０において示されるように、様々な入力デバイスを通じて提供されてもよい。そのような入力デバイスは、それらに限定されないが、（ｉ）例えば、ブロードキャスタによって無線で送信されたＲＦ信号を受信することができるＲＦ部分、（ｉｉ）コンポジット入力端子、（ｉｉｉ）ＵＳＢ入力端子、および／または（ｉｖ）ＨＤＭＩ入力端子を含む。

【0134】

様々な実施形態では、ブロック６１３０の入力デバイスは、本分野において既知な関連するそれぞれの入力処理要素を有してもよい。例えば、ＲＦ部分は、（ｉ）所望の周波数を選択し（信号を選択し、または信号を周波数の帯域に帯域制限するとも称される）、（ｉｉ）選択された信号をダウンコンバートし、（ｉｉｉ）（例えば、）特定の実施形態ではチャネルと称されてもよい信号周波数帯域を選択するよう、より狭い帯域の周波数に再度帯域制限し、（ｉｖ）ダウンコンバートされ、帯域制限された信号を復調し、（ｖ）誤り訂正を実行し、（ｖｉ）データパケットの所望のストリームを選択するよう逆多重化するために必要な要素と関連付けられてもよい。様々な実施形態のＲＦ部分は、それらの機能を実行する１つまたは複数の要素、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、デモジュレータ、誤り訂正器、およびデマルチプレクサを含んでもよい。ＲＦ部分は、例えば、受信された信号をより低い周波数（例えば、中間周波数もしくはニアベースバンド周波数）またはベースバンドにダウンコンバートすることを含む、様々なそれらの機能を実行するチューナを含んでもよい。

【0135】

１つのセットトップボックスの実施形態では、ＲＦ部分およびその関連する入力処理要素は、有線（例えば、ケーブル）媒体を通じてＲＦ信号を受信してもよい。次いで、ＲＦ部分は、所望の周波数帯域にフィルタリング、ダウンコンバート、および再度フィルタリングすることによって、周波数選択を実行してもよい。

【0136】

様々な実施形態は、上記説明された（および、他の）要素の順序を再配列し、それらの要素のいくつかを除去し、および／または同様の機能もしくは異なる機能を実行する他の要素を追加する。

【0137】

要素を追加することは、例えば、増幅器およびアナログ－デジタル変換器を挿入することなど、既存の要素の間に要素を挿入することを含んでもよい。様々な実施形態では、ＲＦ部分は、アンテナを含んでもよい。

【0138】

加えて、ＵＳＢ端子および／またはＨＤＭＩ端子は、ＵＳＢ接続および／またはＨＤＭＩ接続にわたってシステム６０００を他の電子デバイスに接続するためのそれぞれのインタフェースプロセッサを含んでもよい。入力処理の様々な態様、例えば、リードソロモン誤り訂正が、必要に応じて、例えば、別個の入力処理ＩＣ内で、またはプロセッサ６０１０内で実装されてもよいことが理解されよう。同様に、ＵＳＢインタフェース処理またはＨＤＭＩインタフェース処理の態様は、必要に応じて、別個のインタフェースＩＣ内で、またはプロセッサ６０１０内で実装されてもよい。復調され、誤り訂正され、および逆多重化されたストリームは、例えば、出力デバイス上での提示のために必要なデータストリームを処理するためにメモリおよび記憶素子との組み合わせで動作するプロセッサ６０１０およびエンコーダ／デコーダ６０３０を含む様々な処理要素に提供されてもよい。

【0139】

システム６０００の様々な要素は、統合された筐体内に設けられてもよい。統合された筐体内で、適切な接続配列６１４０、例えば、Ｉ２Ｃバス、ワイヤリング、およびプリント回路基板を含む、本分野において既知の内部バスを使用して、様々な要素が相互接続されてもよく、その間でデータを送信してもよい。

【0140】

システム６０００は、通信チャネル６０６０を介して他のデバイスとの通信を可能にする通信インタフェース６０５０を含んでもよい。通信インタフェース６０５０は、それらに限定されないが、通信チャネル６０６０を通じてデータを送信および受信するように構成された送受信機を含んでもよい。通信インタフェース６０５０は、それらに限定されないが、モデムまたはネットワークカードを含んでもよく、通信チャネル６０６０は、例えば、有線媒体および／または無線媒体内で実装されてもよい。

【0141】

様々な実施形態では、ＩＥＥＥ８０２．１１などのＷｉ－Ｆｉネットワークを使用して、データがシステム６０００にストリーミングされてもよい。それらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に対して適合された、通信チャネル６０６０および通信インタフェース６０５０を通じて受信されてもよい。それらの実施形態の通信チャネル６０６０は典型的には、アクセスポイントまたはルータに接続されてもよく、アクセスポイントまたはルータは、ストリーミングアプリケーションおよび他のオーバザトップ通信を可能にするためのインターネットを含むネットワークの外部へのアクセスをもたらす。

【0142】

他の実施形態は、入力ブロック６１３０のＨＤＭＩ接続を通じてデータを配信するセットトップボックスを使用して、システム６０００にストリーミングされたデータを提供してもよい。

【0143】

更なる他の実施形態は、入力ブロック６１３０のＲＦ接続を使用して、システム６０００にストリーミングされたデータを提供してもよい。

【0144】

様々な方式においてシグナリングを達成することができることが認識されよう。例えば、様々な実施形態では、対応するデコーダに情報をシグナリングするために、１つまたは複数のシンタックス要素およびフラグなどが使用されてもよい。

【0145】

システム６０００は、ディスプレイ６１００、スピーカ６１１０、および他の周辺デバイス６１２０を含む様々な出力デバイスに出力信号を提供してもよい。他の周辺デバイス６１２０は、様々な例示的な実施形態では、スタンドアロンＤＶＲ、ディスクプレイヤ、ステレオシステム、照明システム、およびシステム３０００の出力に基づいた機能を提供する他のデバイスのうちの１つまたは複数を含んでもよい。

【0146】

様々な実施形態では、制御信号は、ＡＶ．Ｌｉｎｋ（音声／ビデオリンク）、ＣＥＣ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ）、またはユーザの介入によりもしくはユーザの介入なしにデバイスツーデバイス制御を可能にする他の通信プロトコルなどのシグナリングを使用して、システム６０００とディスプレイ６１００、スピーカ６１１０、または他の周辺デバイス６１２０との間で通信されてもよい。

【0147】

出力デバイスは、それぞれのインタフェース６０７０、６０８０、および６０９０を通じて専用接続を介して、システム６０００に通信可能に結合されてもよい。

【0148】

代わりに、出力デバイスは、通信インタフェース６０５０を介して通信チャネル６０６０を使用して、システム６０００に接続されてもよい。ディスプレイ６１００およびスピーカ６１１０は、例えば、テレビなどの電子デバイス内のシステム６０００の他の構成要素との単一のユニットにおいて統合されてもよい。

【0149】

様々な実施形態では、ディスプレイインタフェース６０７０は、例えば、タイミングコントローラ（Ｔ Ｃｏｎ）チップなどのディスプレイドライバを含んでもよい。

【0150】

ディスプレイ６１００およびスピーカ６１１０は代わりに、例えば、入力６１３０のＲＦ部分が別個のセットトップボックスの一部である場合に、他の構成要素のうちの１つまたは複数とは別個であってもよい。ディスプレイ６１００およびスピーカ６１１０が外部構成要素であってもよい様々な実施形態では、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート、またはＣＯＭＰ出力を含む専用出力接続を介して提供されてもよい。

【0151】

Ｖ－ＰＣＣにおいて定義されるように、ＥＯＭテキスチャブロックから中間３Ｄサンプルのテキスチャ値を取り出すことは、それらの位置が占有マップＯＭのＥＯＭ参照ブロックのＥＯＭコードワードから導出されることを理由に、先述の中間３Ｄサンプルの位置を示すために、および直列の処理によって定義されるＥＯＭテキスチャブロックの位置を示すために、追加のシンタックスを必要としない。しかしながら、全てのＥＯＭテキスチャブロックが特定のＥＯＭテキスチャブロックの位置を判定するよう体系的に処理されるはずであることを理由に、特定の中間３Ｄサンプルのテキスチャ値にランダムにアクセスすることは可能でない。

【0152】

加えて、先述のテキスチャ画像のコンテンツが低空間的相関（冗長性）を有することがあることを理由に、テキスチャ画像のパッチの間にＥＯＭテキスチャブロックを埋め込むことは、先述のテキスチャ画像の圧縮効率を低減させることがある。

【0153】

少なくとも１つの実施形態の全体的な態様に従って、少なくとも１つの中間３Ｄサンプルのテキスチャ値を表す少なくとも１つのＥＯＭ（拡張占有マップ）テキスチャパッチをシグナリングすることを含む方法が提供される。

【0154】

ＥＯＭテキスチャパッチをシグナリングすることは、特定の中間３Ｄサンプルのテキスチャ値へのランダムな（直接、高速）アクセスを可能にする。言い換えると、ＥＯＭコードワードから再構築された中間３Ｄサンプルに対応するテキスチャを独立して復号することが可能である。これは、空間的スケーラビリティまたは並列復号のような追加の特徴を実装することを可能にする。

【0155】

図７は、本実施形態のうちの少なくとも１つに従った、少なくとも１つのＥＯＭテキスチャパッチをシグナリングする方法の例を示す。

【0156】

ステップ７１０では、モジュールは、ビットストリームに、ポイントクラウドフレーム（ｆｒｍＩｄｘによってインデックス付けされる）のキャンバス内のＥＯＭテキスチャパッチ（ｐａｔｃｈＩｎｄｅｘによってインデックス付けされる）の２Ｄ位置、および先述のＥＯＭテキスチャパッチのサイズ（高さ、幅）を表す少なくとも１つのシンタックス要素ＳＥ１を追加してもよい。

【0157】

キャンバスの例が図３ａに示される。

【0158】

ステップ７２０では、ビットストリームが送信されてもよい。

【0159】

ステップ７３０では、モジュールは、ビットストリーム（受信されたビットストリーム）から、少なくとも１つのシンタックス要素ＳＥ１を取り出してもよく（読み出す）、先述の少なくとも１つのシンタックス要素ＳＥ１から、ポイントクラウドフレームのキャンバス内のＥＯＭテキスチャパッチの２Ｄ位置、および先述のＥＯＭテキスチャパッチのサイズ（高さ、幅）を抽出してもよい。

【0160】

実施形態に従って、ＥＯＭテキスチャパッチ（ｐａｔｃｈＩｎｄｅｘによってインデックス付けされる）の２Ｄ位置は、キャンバスの２Ｄ座標系によって定義された水平座標ｅｔｐｄｕ＿２ｄ＿ｓｈｉｆｔ＿ｕおよび垂直座標ｅｔｐｄｕ＿２ｄ＿ｓｈｉｆｔ＿ｖによってシグナリングされてもよい。

【0161】

この実施形態は、キャンバスにＥＯＭテキスチャパッチを柔軟に配置することをもたらす。

【0162】

実施形態に従って、ＥＯＭテキスチャパッチ（ｐａｔｃｈＩｎｄｅｘによってインデックス付けされる）のサイズ（高さ、幅）は、ＥＯＭテキスチャパッチの高さおよび幅をそれぞれ表すｅｔｐｄｕ＿２ｄ＿ｄｅｌｔａ＿ｓｉｚｅ＿ｕおよびｅｔｐｄｕ＿２ｄ＿ｄｅｌｔａ＿ｓｉｚｅ＿ｖによってシグナリングされてもよい。

【0163】

この実施形態は、ＥＯＭテキスチャパッチのサイズに適合することをもたらす。

【0164】

図８ａに示されるステップ７１０の実施形態に従って、シンタックス要素ＳＥ１も、キャンバスのパッチ（ｐａｔｃｈＩｎｄｅｘによってインデックス付けされる）の２Ｄサンプルの数をシグナリングする要素ｅｔｐｄｕ＿ｐｏｉｎｔｓであってもよい。

【0165】

送信されることになる低い量のデータしか必要としないことを理由に、この実施形態は有利である。

【0166】

しかしながら、このパッチがＥＯＭテキスチャパッチでない場合でさえ、すなわち、このパッチが中間３Ｄサンプルのいずれのテキスチャ値をも搬送しない場合でさえ（ｅｔｐｄｕ＿ｐｏｉｎｔｓが０に設定されるケースでは）、パッチの２Ｄサンプルの数がシグナリングされる。

【0167】

また、この実施形態は、ＥＯＭテキスチャパッチにおけるパッチ情報がカレントポイントクラウドフレーム内のパッチと同一のオーダー（order）にあることを必要とする。

【0168】

図９ａは、先述のステップ７１０の実施形態に従った、４つのテキスチャパッチおよび単一のＥＯＭテキスチャパッチＥＯＭＰを含むキャンバスを有するテキスチャ画像の例を示す。

【0169】

テキスチャパッチ＃１、＃２、＃３、および＃４の各々は、ポイントクラウドの３Ｄサンプルのテキスチャ値を記憶し、ＥＯＭテキスチャパッチＥＯＭＰは、テキスチャパッチ＃１、＃２、および＃４に対する中間サンプルのテキスチャ値を記憶する。テキスチャパッチ＃１に対する少なくとも１つの中間３Ｄサンプルのテキスチャ値は、ＥＯＭテキスチャパッチＥＯＭＰの左上隅から最初に追加され、その後、テキスチャパッチ＃２に対する少なくとも１つの中間３Ｄサンプルのテキスチャ値（複数可）が続き、その後、テキスチャパッチ＃４に対する少なくとも１つの中間３Ｄサンプルのテキスチャ値（複数可）が続く。

【0170】

この実施形態は、複数のＥＯＭテキスチャパッチをサポートしない。

【0171】

この実施形態は、例えば、図９ａに示されるように、２つの連続したパッチの中間３Ｄサンプルのテキスチャ値の間の「ギャップ」を許容しない。

【0172】

図８ｂに示されたステップ７１０の実施形態に従って、シンタックス要素ＳＥ１も、ＥＯＭテキスチャパッチ内の参照パッチの数を表す要素ｅｔｐｄｕ＿ｐａｔｃｈ＿ｃｏｕｎｔであってもよく、別のシンタックス要素ＳＥ１も、「ｐ」番目の参照パッチのインデックスを表す要素ｅｔｐｄｕ＿ｒｅｆ＿ｉｎｄｅｘであってもよく、別のシンタックス要素ＳＥ１も、「ｐ」番目の（カレント）参照パッチ（前の「参照パッチ「ｐ－１」に続く）の開始位置を判定するためのオフセット（画素内の）を表す要素ｅｔｐｄｕ＿ｏｆｆｓｅｔであってもよい。

【0173】

図９ｂは、ステップ７１０の実施形態に従った、４つのテキスチャパッチおよび単一のＥＯＭテキスチャパッチＥＯＭＰを含むキャンバスを有するテキスチャ画像の例を示す。

【0174】

テキスチャパッチ＃１、＃２、＃３、および＃４の各々は、ポイントクラウドの３Ｄサンプルのテキスチャ値を記憶し、ＥＯＭテキスチャパッチＥＯＭＰは、テキスチャパッチ＃１、＃２、および＃４に対する中間サンプルのテキスチャ値を記憶する。テキスチャパッチ＃１に対する少なくとも１つの中間３Ｄサンプルのテキスチャ値は、ＥＯＭテキスチャパッチＥＯＭＰの左上隅から最初に追加される。次に、開始位置Ｓ１が、先述のテキスチャパッチに対する要素ｅｔｐｄｕ＿ｏｆｆｓｅｔからテキスチャパッチ＃２に対して判定される。テキスチャパッチ＃２に対する少なくとも１つの中間３Ｄサンプルのテキスチャ値（複数可）が次いで記憶される。次に、開始位置Ｓ２が、先述のテキスチャパッチに対する要素ｅｔｐｄｕ＿ｏｆｆｓｅｔからテキスチャパッチ＃４に対して判定される。テキスチャパッチ＃４に対する少なくとも１つの中間３Ｄサンプルのテキスチャ値（複数可）が次いで記憶される。

【0175】

この実施形態は、非常に柔軟な解決策を提供し、図９ｃに示される複数のＥＯＭテキスチャパッチをサポートすることができるが、前の実施形態と比較して、より多くのデータが送信されることを必要とする。

【0176】

図８ｃに示されたステップ７１０の実施形態に従って、シンタックス要素ＳＥ１はまた、ＥＯＭテキスチャパッチ内の参照パッチの数を表す要素ｅｔｐｄｕ＿ｐａｔｃｈ＿ｃｏｕｎｔであってもよく、「ｐ」番目の（カレント）参照パッチ（前の参照パッチ「ｐ－１」に続く）の開始位置を判定するためのオフセット（画素内の）を表す要素ｅｔｐｄｕ＿ｏｆｆｓｅｔであってもよい。

【0177】

図８ａ～ｂに示された実施形態と比較して、図８ｃに示された実施形態は、シンタックス（「ｉｆ」ステートメント）を構文解析する際のビットの複雑度をあまり増やさないが、図８ｂに示された実施形態（パッチのオーダーを変更することができないだけである）に非常に近いレベルの柔軟性をもたらす。

【0178】

図８ｃに示された実施形態は、複数のＥＯＭテキスチャ参照パッチをサポートするが、ＥＯＭテキスチャ参照パッチのインデックスが、全てのＥＯＭテキスチャパッチにわたってポイントクラウドのパッチのインデックスと同一のオーダーに従うことを必要とし、すなわち、Ｎ個の正規パッチが存在する場合、最初のｍ１個のパッチのテキスチャは、第１のＥＯＭテキスチャパッチにある必要があり、次のｍ２個のパッチのテキスチャは、次のＥＯＭテキスチャパッチにある必要がある、などであり、ｍ１…ｍＸの合計は、Ｎ以下である必要がある。

【0179】

図８ｄに示されたステップ７１０の実施形態に従って、シンタックス要素ＳＥ１はまた、図８ａ～ｃに示されたステップ７１０の実施形態の１つによって定義されるように、ＥＯＭテキスチャパッチを表す特定のシンタックスを示す要素ｅｔｐｄｕ＿ｍｏｄｅであってもよい。

【0180】

この実施形態は、複数の変形例を単一のシンタックスＳＥ１に組み合わせることを可能にする。

【0181】

ステップ７１０の実施形態に従って、モジュールはまた、ポイントクラウドフレームを表すシンタックスの全体の異なるレベルにおいて、先述の少なくとも１つのシンタックス要素ＳＥ１をシグナリングするよう、少なくとも１つの他のシンタックス要素ＳＥ２をビットストリームに追加してもよい。

【0182】

ステップ７１０の実施形態に従って、少なくとも１つのシンタックス要素ＳＥ１は、シーケンスレベルにおいてシグナリングされてもよい。

【0183】

例えば、先述の少なくとも１つのシンタックス要素ＳＥ１は、Ｖ－ＰＣＣにおいて定義されるように、シンタックス要素ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ（）においてシグナリングされてもよい。

【0184】

図１０に示される先述のステップ７１０の実施形態の変形例に従って、第２のシンタックス要素ＳＥ２は、Ｖ－ＰＣＣにおいて定義されるように、シーケンスパラメータセットシンタックスのシンタックス要素ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｔｅｘｔｕｒｅ＿ｐａｔｃｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇであってもよい。

【0185】

シンタックス要素ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｔｅｘｔｕｒｅ＿ｐａｔｃｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ポイントクラウドフレームのシーケンスに対してＥＯＭテキスチャパッチが存在するかどうかを示す。

【0186】

シンタックス要素ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｔｅｘｔｕｒｅ＿ｐａｔｃｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいとき、ＥＯＭテキスチャパッチは存在しない。シンタックス要素ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｔｅｘｔｕｒｅ＿ｐａｔｃｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいとき、ＥＯＭテキスチャパッチは存在する。

【0187】

先述のシンタックス要素ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｔｅｘｔｕｒｅ＿ｐａｔｃｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇはまた、既存のＥＯＭテキスチャパッチがテキスチャ画像ＴＩ０もしくはＴＩ１に存在するかどうか、または先述の既存のＥＯＭテキスチャパッチが別のビットストリームに存在するかどうかを示すために、Ｖ－ＰＣＣにおいて定義されるように、シンタックス要素ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｄｅｐｔｈ＿ｆｏｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇと組み合わされてもよい。

【0188】

ステップ７１０の先述の実施形態の変形例に従って、シンタックス要素ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ（）は任意選択で、ＥＯＭテキスチャパッチ、すなわち、ｐｃｍパッチ（Ｖ－ＰＣＣにおけるｓｅｃｔｉｏｎ ７．３．３３および７．４．３３）に対して異なるビデオを使用してもよく、ＥＯＭテキスチャパッチは、異なるテキスチャ画像（ビデオビットストリーム）にある。

【0189】

これは、グローバルＶ－ＰＣＣビットストリーム内のサブビットストリームの数を増大させると共に、各々の符号化パラメータをより良好に調節することを可能にし、主に、より良好なスケーラビリティの特徴をもたらし、例えば、ｐｃｍパッチのテキスチャのみが必要とされる場合にＥＯＭテキスチャパッチを復号する必要がなく、逆もまたそうである。

【0190】

図１１は、ステップ７１０の先述の実施形態の先述の変形例に従った、シンタックス要素ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ（）のシンタックステーブルの例を示す。

【0191】

シンタックス要素ｓｐｓ＿ｅｏｍ＿ｔｅｘｔｕｒｅ＿ｐａｔｃｈ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、別個のビデオがＥＯＭテキスチャパッチに対して使用されるかどうかを明確に示す。

【0192】

図１２および１４に示されるステップ７１０の実施形態に従って、少なくとも１つのシンタックス要素ＳＥ１は、フレームレベルにおいてシグナリングされる。

【0193】

例えば、先述の少なくとも１つのシンタックス要素ＳＥ１は、Ｖ－ＰＣＣにおいて定義されるように、シンタックス要素ｐａｔｃｈ＿ｆｒａｍｅ＿ｄａｔａ＿ｕｎｉｔ（）においてシグナリングされる。

【0194】

図１２に示されるステップ７１０の先述の実施形態の変形例に従って、第２のシンタックス要素ＳＥ２は、ＥＯＭテキスチャパッチを表すための特定のシンタックスをシグナリングするシンタックス要素ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｔｅｘｔｕｒｅ＿ｐａｔｃｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇであってもよい。

【0195】

シンタックス要素ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｔｅｘｔｕｒｅ＿ｐａｔｃｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＥＯＭテキスチャパッチがビットストリームに存在するかどうかを示す。

【0196】

シンタックス要素ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｔｅｘｔｕｒｅ＿ｐａｔｃｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいとき、ＥＯＭテキスチャパッチが存在しない。シンタックス要素ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｔｅｘｔｕｒｅ＿ｐａｔｃｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいとき、ＥＯＭテキスチャパッチが存在し、よって、ＥＯＭテキスチャパッチに対するデータは、Ｖ－ＰＣＣにおいて定義されるように、関数ｐａｔｃｈ＿ｉｎｆｏｒｍａｔｉｏｎ＿ｄａｔａ（．）のおかげでビットストリームから取り出される。

【0197】

先述の関数は、図１３の表に定義されるようなパッチモードに依存する。

【0198】

パッチモードＩ＿ＥＯＭＴ（イントラフレームについての）は、パッチがＶ－ＰＣＣにおいて定義されるようなイントラフレーム内の拡張占有マップテキスチャパッチであることを識別し、パッチモードＰ＿ＥＯＭＴ（インターフレームまたは予測済みフレームについての）は、パッチがＶ－ＰＣＣにおいて定義されるようなインターフレーム内の拡張占有マップテキスチャパッチであることを識別する。

【0199】

図１４に示されるステップ７１０の先述の実施形態の変形例に従って、第２の要素ＳＥ２も、何個のＥＯＭテキスチャパッチが存在するかを示すシンタックス要素ｐｆｄｕ＿ｅｏｍ＿ｔｅｘｔｕｒｅ＿ｐａｔｃｈ＿ｃｏｕｎｔであってもよい。ＥＯＭテキスチャパッチの数は、ｐｆｄｕ＿ｐａｔｃｈ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１＋１以下である必要がある。

【0200】

先述の変形例が図１４に示される。ＥＯＭテキスチャパッチの数にわたるループは、ＥＯＭテキスチャパッチの各々に対する取得されたデータに対して稼働する。

【0201】

複数のＥＯＭテキスチャパッチを使用することは、単一のパッチを使用するよりもやや多くのビットレートを必要とするが、よりコンパクトなパッチのパッキングを可能にする（いくつかの小さいＥＯＭテキスチャパッチは、単一の大きなＥＯＭテキスチャパッチよりもテキスチャキャンバス内で適合することが容易である）。

【0202】

図１５に示されるステップ７１０の実施形態に従って、第２の要素ＳＥ２はまた、パッチのタイプ、例えば、正規イントラパッチ、Ｉ＿ＩＮＴＲＡまたはＰ＿ＩＮＴＲＡを示すシンタックス要素ｐａｔｃｈ＿ｍｏｄｅであってもよい。

【0203】

図１６は、本実施形態のうちの少なくとも１つに従った、中間３Ｄサンプルのテキスチャ値をコーディングする方法のブロック図を示す。

【0204】

ステップ１６１０では、モジュールは、少なくとも１つの中間３Ｄサンプルのテキスチャ値ＴＶを導出するよう、投影平面上のポイントクラウドフレームＰＣＦの直交射影を分析してもよい。

【0205】

ステップ１６２０では、モジュールは、先述の少なくとも１つのテキスチャ値ＴＶを少なくとも１つのＥＯＭテキスチャパッチＥＯＭＰにマッピングしてもよい。

【0206】

ステップ１６３０は、モジュールは、先述の少なくとも１つのＥＯＭテキスチャパッチＥＯＭＴＰをテキスチャ画像にパッキングしてもよい。

【0207】

例えば、ステップ１６１０および１６２０は、モジュールＰＧＭがＥＯＭテキスチャパッチＥＯＭＴＰごとに追加のパッチを生成することができる、ステップ３１００の一部であってもよい。ステップ１６３０は次いで、ステップ３２００および３４００の一部であってもよい。ステップ３２００では、先述の少なくとも１つの追加のパッチは、キャンバス内の他の生成されたパッチと共にパッキングされ、ステップ３４００では、テキスチャ画像ジェネレータＴＧは、テキスチャ画像内の先述の少なくとも１つの追加のパッチのコロケートされた少なくとも１つのＥＯＭテキスチャパッチＥＯＭＴＰにおけるテキスチャ値ＴＶをコーディング（マッピング）してもよい。

【0208】

ステップ１６４０では、モジュールは、ビットストリームにおいて、図７と関連して説明された先述の少なくとも１つのパッキングされたＥＯＭテキスチャパッチＥＯＭＴＰをシグナリングしてもよい。

【0209】

例えば、ステップ１６４０は、ステップ３７００の一部であってもよく、ステップ３７００では、エンコーダＰＩＥＮＣは、図１０～１５と関連して説明されたシンタックスに続く先述の少なくとも１つのＥＯＭテキスチャパッチＥＯＭＴＰを表す、少なくとも１つのシンタックス要素ＳＥ１、場合によってはＳＥ２を符号化してもよい。

【0210】

ステップ１６２０の実施形態に従って、テキスチャ値ＴＶを少なくとも１つのＥＯＭテキスチャパッチＥＯＭＴＰにマッピングすることは、図１６に示されるような２つのサブステップ１６２１および１６２２を含む。

【0211】

サブステップ１６２１では、モジュールは、ポイントクラウドフレームの占有マップＯＭのパッチがＥＯＭ参照ブロックＥＯＭＢを含むかどうかをチェックしてもよい。

【0212】

ステップ１６２２では、モジュールは、各々のＥＯＭ参照ブロックの少なくとも１つの中間３Ｄサンプルのテキスチャ値ＴＶを少なくとも１つのＥＯＭテキスチャパッチＥＯＰＭに埋め込んでもよい。よって、各々のＥＯＭテキスチャパッチは、少なくとも１つのＥＯＭ参照ブロックと関連付けられる。

【0213】

基本的に、少なくとも１つのＥＯＭ参照ブロックを含むパスごとに、テキスチャ値ＴＶのソート済みリストが形成され、先述の順序付けられたリストは次いで、少なくとも１つのＥＯＭテキスチャパッチにラスタライズされる。

【0214】

ステップ１６２２の実施形態に従って、占有マップＯＭのキャンバスのパッチの画素を直列にスキャンすることによって、テキスチャ値ＴＶのソート済みリストが形成されてもよい。画素値がＥＯＭコードワードに対応する場合、対応する中間３Ｄサンプルのテキスチャ値ＴＶは、順序付けられたリストの終わりに連結される。

【0215】

スキャンの例は、ラスタスキャン、Ｚ階数スキャン、および２Ｄ－ヒルベルト曲線である。ラスタスキャンは、ＥＯＭテキスチャパッチを左から右へ、および上から下へスキャンすることができる。ブロック方式スキャンまたはＥＯＭテキスチャパッチのブロックごとのスキャンも使用されてもよく、それでは、ブロックがラスタスキャンされる。

【0216】

ステップ１６２２のこの実施形態は、３Ｄ空間をスキャンすることを必要としないことを理由に、最も単純なアプローチである。

【0217】

ステップ１６２２の実施形態に従って、テキスチャ値ＴＶのソート済みリストは、以下のように形成されてもよい。
最初に、パッチの全ての中間３Ｄサンプルが再構築される。次いで、３Ｄ曲線を使用して３Ｄ空間をスキャンし、パッチの中間３Ｄサンプルのテキスチャ値ＤＶは、３Ｄ曲線において発見された順序でリストに連結される。

【0218】

３Ｄ曲線の例は、ヒルベルト曲線、Ｚ階数曲線、またはいずれかの局所性保存曲線が適切である。

【0219】

この実施形態は、３Ｄスキャンに起因してより複雑であるが、ＥＯＭテキスチャパッチの隣接サンプルの間の相関性を増大させ、コーディング効率を増大させる。

【0220】

ステップ１６２２の実施形態に従って、テキスチャ値ＴＶのソート済みリストは、以下のように形成されてもよい。
最初に、パッチの全ての中間３Ｄサンプルが再構築され、ツリーによって表される。ツリーは、全ての中間サンプルを３Ｄ空間に最初にマッピングし、再帰的に、３Ｄ空間を、例えば、８分に区画化し（８分木を形成するために）、または半分に区画化する（ＫＤツリーを形成するために）ことによって作成される。次いで、テキスチャ値ＴＶのソート済みリストがそのようなツリーをトラバースすることによって形成される。

【0221】

ツリーの例は、８分木およびＫＤツリーである。トラバースすることは、深度優先または幅優先で行われてもよい。

【0222】

この実施形態は、２Ｄスキャンと３Ｄスキャンとの間のトレードオフである。

【0223】

ステップ７１０の実施形態に従って、シンタックス要素ＳＥ１は、テキスチャ値のリストがどのようにソートされるかを示す要素でもあってもよい。

【0224】

ステップ７１０の実施形態に従って、シンタックス要素ＳＥ１は、ラスタライズのタイプがどのように使用されるかを示す要素でもあってもよい。

【0225】

実施形態に従って、タイプをソートおよびラスタライズすることは固定され、エンコーダおよびデコーダによって知られる。

【0226】

図１７は、本実施形態のうちの少なくとも１つに従った、中間３Ｄサンプルのテキスチャ値を復号する方法のブロック図を示す。

【0227】

ステップ１７１０では、モジュールは、先述の少なくとも１つのＥＯＭテキスチャパッチＥＯＭＴＰが図７と関連して説明された方法に従ってシグナリングされるとき、ビットストリームから少なくとも１つのＥＯＭテキスチャパッチＥＯＭＴＰを導出する。

【0228】

例えば、ステップ１７１０は、ステップ４４００の一部であり、ステップ４４００では、復号されたＰＩＤＥＣは、図１０～１５と関連して説明されたシンタックスに続く、少なくとも１つのシンタックス要素ＳＥ１、場合によってはＳＥ２から、少なくとも１つのＥＯＭテキスチャパッチＥＯＭＴＰ情報を復号してもよい。

【0229】

ステップ１７２０では、モジュールは、先述の少なくとも１つのＥＯＭテキスチャパッチＥＯＭＴＰからテキスチャ値ＴＶを導出してもよい。

【0230】

ステップ１７３０では、モジュールは、少なくとも１つのテキスチャ値を少なくとも１つの中間３Ｄサンプルに割り当ててもよい。

【0231】

例えば、ステップ１７２０は、ステップ４６００の一部であってもよく、ステップ４６００では、テキスチャ生成モジュールＴＧＭは、テキスチャ値ＴＶを少なくとも１つの中間３Ｄサンプルに割り当ててもよい。

【0232】

ステップ１７２０の実施形態に従って、ＥＯＭテキスチャパッチＥＯＭＴＰからテキスチャ値ＴＶを導出することは、Ｖ－ＰＣＣのｓｅｃｔｉｏｎ ９．４．５において説明されるような再構築処理のステップ６の修正である。

【0233】

より正確に、サブステップ１７２１では、ＥＯＭテキスチャパッチ内の参照パッチの第１の画素の（ｕ，ｖ）座標が判定される。先述の画素値は、第１の中間３Ｄサンプルにテキスチャ値ＴＶを提供する。次に、サブステップ１７２２では、中間３Ｄサンプルに続く少なくとも１つについてのテキスチャ値は、先述の第１の画素の（ｕ，ｖ）座標から取り出される。

【0234】

それらのサブステップの説明は、図８ｂに示されたＥＯＭテキスチャパッチについてのよりリッチなシンタックスを想定して提供される。しかしながら、上記説明されたようなＥＯＭテキスチャパッチの他のシンタックスに対するそれらのサブステップの他の代替的な実施形態も導出されてもよい。

【0235】

以下では、ポイントクラウドフレーム内のＥＯＭテキスチャパッチのシンタックスを復号するようビットストリームが構文解析されていることが想定される（インデックスｆｒａｍｅＩｄｘにより）。ｐｆｄｕ＿ｅｏｍ＿ｔｅｘｔｕｒｅ＿ｐａｔｃｈ＿ｃｏｕｎｔは、ポイントクラウドフレームｆｒａｍｅＩｄｘ内のＥＯＭテキスチャパッチの数を指す。ポイントは、フレームｆｒａｍｅＩｄｘ内のパッチｐａｔｃｈＩｄｘに属し、そのようなポイントは、パッチｐａｔｃｈＩｄｘの復号順序における最初の中間ポイントである。

【0236】

サブステップ１７２１の実施形態に従って、ＥＯＭテキスチャパッチ内の参照パッチの第１の画素の（ｕ，ｖ）座標は、以下のように算出される。
－カレントインデックスｐがターゲットとされたパッチインデックスｐａｔｃｈＩｄｘに等しくなるまでＥＯＭテキスチャパッチをスキャンし、
－オフセット（ｅｔｐｄｕ＿２ｄ＿ｓｈｉｆｔ＿ｕおよびｅｔｐｄｕ＿２ｄ＿ｓｈｉｆｔ＿ｖ）により座標（ｕ，ｖ）をカレントパッチ（カレントｐ）の開始位置に初期化する。

【0237】

以下は、この実施形態を実施するアルゴリズムの疑似コードである。

【0238】

【数1】

【0239】

ＥＯＭテキスチャパッチシンタックスに対して使用される実施形態に応じて、上記パラメータのうちのいくつかは、それらのデフォルト値に設定されてもよい。例えば、
－オフセットに対してシンタックス要素が存在しない場合、上記アルゴリズムにおいてｅｔｐｄｕ＿ｏｆｆｓｅｔ［ｆｒｍＩｄｘ］［ｐ］［ｒ］＝０に設定する。
－参照パッチカウント、ｐｆｄｕ＿ｅｏｍ＿ｔｅｘｔｕｒｅ＿ｐａｔｃｈ＿ｃｏｕｎｔに対してシンタックス要素が存在しない場合、ｐｆｄｕ＿ｅｏｍ＿ｔｅｘｔｕｒｅ＿ｐａｔｃｈ＿ｃｏｕｎｔ［ｆｒｍＩｄｘ］［ｐ］をｐｆｄｕ＿ｐａｔｃｈ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１＋１に設定する。

【0240】

サブステップ１７２２の実施形態に従って、中間３Ｄサンプルに続く少なくとも１つについてのテキスチャ値ＴＶは、先述の第１の画素（ステップ１７２１）の（ｕ，ｖ）座標を有する第１のポイントを有する参照パッチをスキャンすることに従って、先述の第１の画素の（ｕ，ｖ）座標から取り出される。

【0241】

例えば、このスキャンは、所与のラスタスキャン順序（例えば、Ｖ－ＰＣＣのｓｅｃｔｉｏｎ ３．１．２においてリストされたラスタライズモードの１つ）に続く（ｕ，ｖ）座標をｎの位置だけ進める関数ｃｏｏｒｄｉｎａｔｅ＿ａｄｖａｎｃｅ＿ｒａｓｔｅｒ（ｕ，ｖ，ｎ）およびＥＯＭテキスチャパッチの寸法によって行われてもよい。

【0242】

典型的なラスタスキャンが図１８に示される。

【0243】

図１～１８では、様々な方法が本明細書で説明され、方法の各々は、説明される方法を達成するための１つまたは複数のステップまたはアクションを含む。ステップまたはアクションの特定の順序が方法の適切な動作のために必要とされない限り、特定のステップおよび／またはアクションの順序および／または仕様は、修正または組み合わされてもよい。

【0244】

ブロック図および動作フローチャートに関していくつかの実施例が説明される。各々のブロックは、指定された論理機能（複数可）を実装するための１つまたは複数の実行可能命令を含む、回路要素、モジュール、またはコードの部分を表す。他の実装態様では、ブロックにおいて記述される機能（複数可）は、示された順序とは関係なく存在してもよいことにも留意されよう。例えば、連続して示される２つのブロックは実際には、実質的に同時に実行されてもよく、またはブロックは時に、関与する機能性に応じて逆の順序で実行されてもよい。

【0245】

本明細書で説明される実装態様および態様は、例えば、方法もしくは処理、装置、コンピュータプログラム、データストリーム、ビットストリーム、または信号において実装されてもよい。単一の形式のコンテキストのみにおいて議論される場合でさえ（例えば、方法としてのみ議論される）、議論される特徴の実装態様は、他の形式（例えば、装置またはコンピュータプログラム）においても実装されてもよい。

【0246】

方法は、概して、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理回路を含む、処理デバイスを指す、例えば、プロセッサにおいて実装されてもよい。プロセッサは、通信デバイスをも含む。

【0247】

加えて、方法は、プロセッサによって実行される命令によって実装されてもよく、そのような命令（および／または、実装態様によって生成されるデータ値）は、コンピュータ可読記憶媒体に記憶されてもよい。コンピュータ可読記憶媒体は、１つまたは複数のコンピュータ可読媒体（複数可）において具体化され、コンピュータによって実行可能な、そこで具体化されたコンピュータ可読プログラムコードを有するコンピュータ可読プログラム製品の形式を取ってもよい。本明細書で使用されるコンピュータ可読記憶媒体は、そこに情報を記憶する固有能力と共に、そこからの情報の取り出しをもたらす固有能力を仮定して、非一時的記憶媒体と考えられてもよい。コンピュータ可読記憶媒体は、例えば、それらに限定されないが、電気、磁気、光学、電磁気、赤外線、もしくは半導体システム、装置、もしくはデバイス、またはそれらのいずれかの適切な組み合わせであってもよい。本実施形態を適用することができるコンピュータ可読記憶媒体の更なる特定の例を提供する以下のもの：ポータブルコンピュータディスケット、ハードディスク、リードオンリメモリ（ＲＯＭ）、電子的消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、またはそれらのいずれかの適切な組み合わせは、当業者によって容易に認識されるように、例示にすぎず、非包的リストではないことが認識されよう。

【0248】

命令は、プロセッサ可読媒体上で有形的に具体化されたアプリケーションプログラムを形成することができる。

【0249】

命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせにあってもよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、または２つの組み合わせにおいて発見されてもよい。したがって、プロセッサは、処理を実行するように構成されたデバイスおよび処理を実行するための命令を有するプロセッサ可読媒体（記憶装置など）を含むデバイスの両方として特徴付けられてもよい。更に、プロセッサ可読媒体は、命令に加えてまたはその代わりに、実装態様によって生成される命令を記憶してもよい。

【0250】

装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアにおいて実装されてもよい。そのような装置の例は、パーソナルコンピュータ、ラップトップ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオレコーディングシステム、接続された家電製品、ヘッドマウントディスプレイデバイス（ＨＭＤ、シースルーグラス）、プロジェクタ（ビーマ）、「ケーブス」）（複数のディスプレイを含む）、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダからの出力を処理するポストプロセッサ、ビデオエンコーダに入力を提供するプリプロセッサ、ウェブサーバ、セットトップボックス、ならびにポイントクラウド、ビデオ、もしくは画像を処理するためのいずれかの他のデバイス、または他の通信デバイスを含む。明確である必要があるように、機器は、モバイルであってもよく、更に、移動車両に設置されてもよい。

【0251】

コンピュータソフトウェアは、プロセッサ６０１０もしくはハードウェア、またはハードウェアおよびソフトウェアの組み合わせによって実装されてもよい。非限定的な例として、実施形態は、１つまたは複数の集積回路によっても実装されてもよい。メモリ６０２０は、技術的環境に適切ないずれかのタイプのメモリであってもよく、非限定的な例として、光学メモリデバイス、磁気メモリデバイス、半導体方式メモリデバイス、固定メモリ、および着脱可能メモリなどのいずれかの適切なデータ記憶技術を使用して実装されてもよい。プロセッサ６０１０は、技術的環境に適切ないずれかのタイプのプロセッサであってもよく、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、特殊目的コンピュータ、およびマルチコアｗｉｌｌに基づいたプロセッサのうちの１つまたは複数を包含してもよい。

【0252】

当業者によって明白であるように、実装態様は、例えば、記憶または送信することができる情報を搬送するようにフォーマットされた様々な信号を生成することができる。情報は、例えば、方法を実行するための命令、または説明された実装態様の１つによって生成されるデータを含んでもよい。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされてもよい。そのような信号は、例えば、電磁波としてフォーマットされてもよく（例えば、スペクトルの無線周波数部分を使用して）、またはベースバンド信号としてフォーマットされてもよい。フォーマットすることは、例えば、データストリームを符号化すること、および符号化されたデータストリームと共に搬送波を変調することを含んでもよい。信号が搬送する情報は、例えば、アナログ情報またはデジタル情報であってもよい。信号は、既知なように、様々な異なる有線リンクまたは無線リンクを通じて送信されてもよい。信号は、プロセッサ可読媒体に記憶されてもよい。

【0253】

本明細書で使用される技術用語は、特定の実施形態を説明することのみを目的としており、限定することを意図していない。本明細書で使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、コンテキストが明確に他を示さない限り、複数形をも含んでもよいことを意図している。更に、用語「ｉｎｃｌｕｄｅｓ／ｃｏｍｐｒｉｓｅｓ」および／または「ｉｎｃｌｕｄｉｎｇ／ｃｏｍｐｒｉｓｉｎｇ」は、本明細書において使用されるとき、例えば、述べられた特徴、整数、ステップ、動作、要素、および／または構成要素の存在を指定することがあるが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在を排除しないことが理解されよう。その上、要素が別の要素に「応答」し、または「接続」されると称されるとき、それは、別の要素に直接応答し、もしくは接続されてもよく、または中間要素が存在してもよい。対照的に、要素が別の要素に「直接応答」し、または「直接接続」されると称されるとき、中間要素は存在しない。

【0254】

シンボル／用語「／」、「ａｎｄ／ｏｒ」、および「ａｔ ｌｅａｓｔ ｏｎｅ」は、例えば、「Ａ／Ｂ」、「Ａ ａｎｄ／ｏｒ Ｂ」、および「ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ」のケースでは、第１の表記された選択肢（Ａ）のみの選択、第２の表記された選択肢（Ｂ）のみの選択、または（ＡおよびＢ）の両方の選択を包含することを意図していることが認識されよう。更なる例として、「Ａ、Ｂ、ａｎｄ／ｏｒ Ｃ」および「ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ、Ｂ、ａｎｄ Ｃ」のケースでは、そのようなフレーズは、第１の表記された選択肢（Ａ）のみの選択、第２の表記された選択肢（Ｂ）のみの選択、第３の表記された選択肢（Ｃ）のみの選択、第１の表記された選択肢および第２の表記された選択肢（ＡおよびＢ）のみの選択、第１の表記された選択肢および第３の表記された選択肢（ＡおよびＣ）のみの選択、第２の表記された選択肢および第３の表記された選択肢（ＢおよびＣ）のみの選択、または全ての３つの選択肢（Ａ、Ｂ、およびＣ）の選択を包含することを意図している。これは、多くのアイテムが表記されるように、当業者に対して明確であるように拡張されてもよい。

【0255】

本出願において様々な数値が使用されてもよい。特定の値が例示を目的とするものであり、説明される態様は、それらの特定の値に限定されない。

【0256】

用語「ｆｉｓｔ」および「ｓｅｃｏｎｄ」などは、様々な要素を説明されるために本明細書で使用されてもよいが、それらの要素は、それらの用語によって限定されないことが理解されよう。それらの用語は、１つの要素を別の要素と区別するために使用されるにすぎない。例えば、本出願の教示から逸脱することなく、第１の要素は、第２の要素と称されてもよく、第２の要素は、第１の要素と称されてもよい。第１の要素と第２の要素との間で順序付けは意味しない。

【0257】

「ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」、「ａｎ ｅｍｂｏｄｉｍｅｎｔ」、「ｏｎｅ ａｓｐｅｃｔ」、または「ａｎ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ」と共にそれらの他の変形への言及は、特定の特徴、構造、および特性など（実施形態／実装態様と関連して説明された）が少なくとも１つの実施形態／実装態様に含まれることを伝えるために頻繁に使用される。よって、本出願の全体を通じて出現するフレーズ「ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」、「ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ」、「ｉｎ ｏｎｅ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ」、または「ｉｎ ａｎ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ」と共にそれらのいずれかの他の変形の出現は、必ずしも全てが同一の実施形態に言及しない。

【0258】

同様に、「ｉｎ ａｃｃｏｒｄａｎｃｅ ｗｉｔｈ ａｎ ｅｍｂｏｄｉｍｅｎｔ／ｅｘａｍｐｌｅ／ｉｍｐｌｅｍｅｎｔａｔｉｏｎ」または「ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ／ｅｘａｍｐｌｅ／ｉｍｐｌｅｍｅｎｔａｔｉｏｎ」と共にそれらの他の変形への言及は、特定の特徴、構造、および特性（実施形態／実施例／実装態様と関連して説明された）が少なくとも１つの実施形態／実施例／実装態様に含まれてもよいことを伝えるために頻繁に使用される。よって、本明細書での様々な箇所における表現「ｉｎ ａｃｃｏｒｄａｎｃｅ ｗｉｔｈ ａｎ ｅｍｂｏｄｉｍｅｎｔ／ｅｘａｍｐｌｅ／ｉｍｐｌｅｍｅｎｔａｔｉｏｎ」または「ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ／ｅｘａｍｐｌｅ／ｉｍｐｌｅｍｅｎｔａｔｉｏｎ」の出現は、必ずしも全てが同一の実施形態／実施例／実装態様に言及せず、別個のまたは代替的な実施形態／実施例／実装態様が必ずしも相互に他の実施形態／実施例／実装態様を排除しない。

【0259】

請求項において出現する参照符号は例示にすぎず、請求項の範囲に影響を与える限定を有しない。明確に説明されていないが、本実施形態／実施例および変形例は、いずれかの組み合わせまたは下位の組み合わせにおいて採用されてもよい。

【0260】

図面がフローチャートとして提示されるとき、それは対応する装置のブロック図も提供することが理解されるべきである。同様に、図面がブロック図として提示されるとき、それは対応する方法／処理のフローチャートも提供することが理解されるべきである。

【0261】

図のいくつかが通信の主要な方向を示す通信パスに関する矢印を含むが、記述された矢印とは反対の方向において通信が発生してもよいことが理解されよう。

【0262】

様々な実装態様は、復号することを伴う。本出願において使用される「復号」は、表示に適切な最終出力を生成するために、または再構築済みポイントクラウドドメインにおける更なる処理のために、例えば、受信されたポイントクラウドフレームに対して（場合によっては、１つまたは複数のポイントクラウドフレームを符号化した受信されたポイントクラウドフレームを含む）実行される処理の全てまたは一部を包含してもよい。様々な実施形態では、そのような処理は、典型的には画像方式デコーダによって実行される処理のうちの１つまたは複数を含む。

【0263】

更なる例として、１つの実施形態では、「復号」はエントロピ復号のみを指してもよく、別の実施形態では、「復号」は差分復号のみを指してもよく、別の実施形態では、「復号」はエントロピ復号および差分復号の組み合わせを指してもよい。フレーズ「復号処理」が演算のサブセットまたはより広義に全体的に復号処理を特に指すことを意図することができるかどうかは、特定の説明のコンテキストに基づいて明白であり、当業者によって良好に理解されると信じられている。

【0264】

様々な実装態様は、符号化することを伴う。「復号」に関する議論と同様の方式において。本出願において使用される「符号化」は、符号化されたビットストリームをするために、例えば、入力ポイントクラウドフレームに対して実行される処理の全てまたは一部を包含してもよい。様々な実施形態では、そのような処理は、典型的には画像方式デコーダによって実行される処理のうちの１つまたは複数を含む。

【0265】

更なる例として、１つの実施形態では、「符号化」はエントロピ符号化のみを指してもよく、別の実施形態では、「符号化」は差分符号化のみを指してもよく、別の実施形態では、「符号化」はエントロピ符号化および差分符号化の組み合わせを指してもよい。フレーズ「符号化処理」が演算のサブセットまたはより広義に全体的に符号化処理を特に指すことを意図することができるかどうかは、特定の説明のコンテキストに基づいて明白であり、当業者によって良好に理解されると信じられている。

【0266】

本明細書で使用されるシンタックス要素、例えば、ｅｔｐｄｕ＿２ｄ＿ｓｈｉｆｔ＿ｕ、ｅｔｐｄｕ＿２ｄ＿ｓｈｉｆｔ＿ｖ、ｅｔｐｄｕ＿２ｄ＿ｄｅｌｔａ＿ｓｉｚｅ＿ｕ、ｅｔｐｄｕ＿２ｄ＿ｄｅｌｔａ＿ｓｉｚｅ＿ｖ、ｅｔｐｄｕ＿ｐｏｉｎｔｓ、ｅｔｐｄｕ＿ｐａｔｃｈ＿ｃｏｕｎｔ、ｅｔｐｄｕ＿ｒｅｆ＿ｉｎｄｅｘ、ｅｔｐｄｕ＿ｏｆｆｓｅｔ、ｅｔｐｄｕ＿ｍｏｄｅ、ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｔｅｘｔｕｒｅ＿ｐａｔｃｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｄｅｐｔｈ＿ｆｏｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｅｏｍ＿ｔｅｘｔｕｒｅ＿ｐａｔｃｈ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、ｐｆｄｕ＿ｅｏｍ＿ｔｅｘｔｕｒｅ＿ｐａｔｃｈ＿ｃｏｕｎｔ、ｐｆｄｕ＿ｐａｔｃｈ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１、ｐａｔｃｈ＿ｍｏｄｅは、記述的用語である。それ自体として、それらは、他のシンタックス要素名の使用を排除しない。

【0267】

様々な実施形態は、レート歪み最適化を指す。特に、計算の複雑度の制約を多くに仮定して、符号化処理の間、レートと歪みとの間のバランスまたはトレードオフが通常は考慮される。レート歪み最適化は通常、レートおよび歪みの加重和である、レート歪み関数を最小にするとして定式化されることがある。レート歪み最適化問題を解決する異なるアプローチが存在する。例えば、アプローチは、符号化および復号の後のそれらのコーディングコストの完全な評価および再構築済み信号の関連する歪みの完全な評価により、全ての考慮されるモードまたはコーディングパラメータ値を含む、全ての符号化オプションを広範に試験することに基づいてもよい。特に、再構築済み信号ではない、予測信号または予測残差信号に基づいて近似された歪みの計算により符号化の複雑度を抑えるために、より高速なアプローチも使用されてもよい。取り得る符号化オプションの一部のみについての近似化された歪み、および他の符号化オプションついての完全な歪みを使用することによってなど、それらの２つのアプローチの混合も使用されてもよい。他のアプローチは、取り得る符号化オプションのサブセットを評価するにすぎない。より一般的に、多くのアプローチは、最適化を実行する様々な技術のいずれかを採用するが、最適化は、コーディングコストおよび関連する歪みの完全な評価では必ずしもない。

【0268】

加えて、本出願は、情報の様々な部分を「判定する」ことに言及することがある。情報を判定することは、例えば、情報を評価すること、情報を計算すること、情報を予測すること、またはメモリから情報を取り出すことのうちの１つまたは複数を含んでもよい。

【0269】

更に、本出願は、情報の様々な部分に「アクセスする」ことに言及することがある。情報にアクセスすることは、例えば、情報を受信すること、情報を取り出すこと（例えば、はメモリから）、情報を記憶すること、情報を移動させること、情報を複製すること、情報を計算すること、情報を判定すること、情報を予測すること、または情報を評価することのうちの１つまたは複数を含んでもよい。

【0270】

加えて、本出願は、情報の様々な部分を「受信する」ことに言及することがある。受信することは、「アクセスする」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、または情報を取り出すこと（例えば、はメモリから）のうちの１つまたは複数を含んでもよい。更に、「受信する」は典型的には、例えば、情報を記憶すること、情報を処理すること、情報を伝送すること、情報を移動させること、情報を複製すること、情報を消去すること、情報を計算すること、情報を判定すること、情報を予測すること、または情報を評価することなどの演算の間に１つの方式または別の方式において関与する。

【0271】

また、本明細書で使用されるように、単語「シグナリング」は、とりわけ、対応するデコーダに何かを示すことを指す。例えば、特定の実施形態では、エンコーダは、特定のシンタックス要素ＳＥ１、場合によってはシンタックス要素ＳＥ２をシグナリングする。このようにして、実施形態では、エンコーダ側およびデコーダ側の両方において同一のパラメータが使用されてもよい。よって、例えば、エンコーダは、デコーダに特定のパラメータを伝送することができ（明確にシグナリングする）、その結果、デコーダは、同一の特定のパラメータを使用することができる。逆に、デコーダが特定のパラメータと共にその他のパラメータを既に有している場合、デコーダが特定のパラメータを認識および選択することを単純に可能にするよう、伝送することなく、シグナリングが使用されてもよい（暗黙的にシグナリングする）。いずれかの実際の関数を伝送することを回避することによって、様々な実施形態では、ビット節約が実現される。様々な方式においてシグナリングを達成することができることを認識されよう。様々な実施形態では、対応するデコーダに情報をシグナリングするために、例えば、１つまたは複数のシンタックス要素およびフラグなどが使用される。先述したことは、単語「シグナリングの動詞の形式に関連するが、単語「信号」も本明細書で名詞として使用されてもよい。

【0272】

多数の実装態様が説明されてきた。しかしながら、様々な修正が行われてもよい。例えば、他の実装態様を生成するために、異なる実装態様の要素が組み合わされてもよく、補足されてもよく、修正されてもよく、または除去されてもよい。加えて、他の構造および処理がそれらの開示されたものと置き換えられてもよく、結果として生じる実装態様は、開示される実装態様と少なくとも実質的に同一の結果（複数可）を達成するために、少なくとも実質的に同一方式（複数可）において、少なくとも実質的に同一の機能（複数可）を実行することを当業者は理解するであろう。したがって、それらの実装態様および他の実装態様が本出願によって考慮される。

【図1】

【図2】

【図3】

【図3a】

【図3b】

【図4】

【図5】

【図6】

【図7】

【図8a】

【図8b】

【図8c】

【図8d】

【図9a】

【図9b】

【図9c】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】