特許 7578625 点群の処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-28

(45)【発行日】2024-11-06

(54)【発明の名称】点群の処理

(51)【国際特許分類】

   H04N 19/597 20140101AFI20241029BHJP

   H04N 19/30 20140101ALI20241029BHJP

   H04N 19/70 20140101ALI20241029BHJP

【ＦＩ】

H04N19/597

H04N19/30

H04N19/70

【請求項の数】 14

(21)【出願番号】P 2021574782

(86)(22)【出願日】2020-06-22

(65)【公表番号】

(43)【公表日】2022-08-31

(86)【国際出願番号】 EP2020067285

(87)【国際公開番号】W WO2021001186

(87)【国際公開日】2021-01-07

【審査請求日】2023-06-15

(31)【優先権主張番号】19305910.2

(32)【優先日】2019-07-03

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518341334

【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】リカード，ジュリアン

(72)【発明者】

【氏名】グーデ，セリーヌ

(72)【発明者】

【氏名】ラック，ジョアン

【審査官】田中 純一

(56)【参考文献】

【文献】特表２０２１－５２８９１７（ＪＰ，Ａ）

【文献】国際公開第２０２０／００５３６５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

３Ｄ点群を復号する方法であって、
－データストリームから第１のレイヤ化画像および関連付けられた第１のメタデータを復号することであって、前記第１のメタデータは、前記第１のレイヤ化画像が点局所再構築法に従って復号されるかどうかを示す第１の情報を含む、ことと、
－前記第１の情報が有効になっていることを条件に、
前記第１のメタデータにおける第１の点局所再構築情報および第１の点局所再構築モードを取得することと、
前記３Ｄ点群を再構築するために、前記第１の点局所再構築情報に従って前記第１の点局所再構築モードを前記第１のレイヤ化画像に適用することと、
－前記データストリームから第２のレイヤ化画像および関連付けられた第２のメタデータを復号することであって、前記第２のメタデータは、前記第２のレイヤ化画像が、点局所再構築法に従って復号されるかどうかを示す第２の情報、および前記第１の点局所再構築情報のインデックスを含む、ことと、
－前記第２の情報が有効になっていることを条件に、
前記第２のメタデータにおける第２の点局所再構築モードを取得することと、
前記３Ｄ点群を再構築するために、前記第１の点局所再構築情報に従って前記第２の点局所再構築モードを前記第２のレイヤ化画像に適用することと、を含む、方法。

【請求項2】

－前記データストリームから第３のレイヤ化画像および関連付けられた第３のメタデータを復号することであって、前記第３のメタデータは、前記第３のレイヤ化画像が点局所再構築法に従って復号されるかどうかを示す第３の情報、および前記第１または前記第２の点局所再構築モードを示すインデックスを含む、ことと、
－前記第３の情報が有効になっていることを条件に、
前記第３のメタデータにおける第３の点局所再構築情報を取得することと、
前記３Ｄ点群を再構築するために、前記第３の点局所再構築情報に従って前記第１または前記第２の点局所再構築モードを前記第３のレイヤ化画像に適用することと、をさらに含む、請求項１に記載の方法。

【請求項3】

－前記データストリームから第４のレイヤ化画像および関連付けられた第４のメタデータを復号することであって、前記第４のメタデータは、前記第４のレイヤ化画像が点局所再構築法に従って復号されるかどうかを示す第４の情報、前記第１または前記第３の点局所再構築情報のインデックス、および前記第１または前記第２または第３の点局所再構築モードを示すインデックスを含む、ことと、
－前記第４の情報が有効になっていることを条件に、
前記３Ｄ点群を再構築するために、前記第１または前記第３の点局所再構築情報に従って前記第１または前記第２または前記第３の点局所再構築モードを前記第４のレイヤ化画像に適用することと、をさらに含む、請求項２に記載の方法。

【請求項4】

３Ｄ点群を復号するデバイスであって、
－データストリームから第１のレイヤ化画像および関連付けられた第１のメタデータを復号することであって、前記第１のメタデータは、前記第１のレイヤ化画像が点局所再構築法に従って復号されるかどうかを示す第１の情報を含む、ことと、
－前記第１の情報が有効になっていることを条件に、
前記第１のメタデータにおける第１の点局所再構築情報および第１の点局所再構築モードを取得することと、
前記第１の点局所再構築モードを、前記第１の点局所再構築情報に従って前記第１のレイヤ化画像に適用して、前記３Ｄ点群を再構成することと、
－前記データストリームから第２のレイヤ化画像および関連付けられた第２のメタデータを復号することであって、前記第２のメタデータは、前記第２のレイヤ化画像が点局所再構築法に従って復号されるかどうかを示す第２の情報、および前記第１の点局所再構築情報のインデックスを含む、ことと、
－前記第２の情報が有効になっていることを条件に、
前記第２のメタデータにおける第２の点局所再構築モードを取得することと、
前記３Ｄ点群を再構築するために、前記第１の点局所再構築情報に従って前記第２の点局所再構築モードを前記第２のレイヤ化画像に適用することと、を行うように構成されたプロセッサを備える、デバイス。

【請求項5】

前記プロセッサが、
－前記データストリームから第３のレイヤ化画像および関連付けられた第３のメタデータを復号することであって、前記第３のメタデータは、前記第３のレイヤ化画像が点局所再構築法に従って復号されるかどうかを示す第３の情報、および前記第１または前記第２の点局所再構築モードを示すインデックスを含む、ことと、
－前記第３の情報が有効になっていることを条件に、
前記第３のメタデータにおける第３の点局所再構築情報を取得することと、
前記３Ｄ点群を再構築するために、前記第３の点局所再構築情報に従って前記第１または前記第２の点局所再構築モードを前記第３のレイヤ化画像に適用することと、を行うようにさらに構成されている、請求項４に記載のデバイス。

【請求項6】

前記プロセッサが、
－前記データストリームから第４のレイヤ化画像および関連付けられた第４のメタデータを復号することであって、前記第４のメタデータは、前記第４のレイヤ化画像が点局所再構築法に従って復号されるかどうかを示す第４の情報、前記第１または前記第３の点局所再構築情報のインデックス、および前記第１または前記第２または第３の点局所再構築モードを示すインデックスを含む、ことと、
－前記第４の情報が有効になっていることを条件に、
前記３Ｄ点群を再構築するために、前記第１または前記第３の点局所再構築情報に従って前記第１または前記第２または前記第３の点局所再構築モードを前記第４のレイヤ化画像に適用することと、を行うようにさらに構成されている、請求項５に記載のデバイス。

【請求項7】

３Ｄ点群を符号化する方法であって、
－データストリーム内の第１のレイヤ化画像および関連付けられた第１のメタデータを符号化することであって、前記第１のメタデータは、
前記第１のレイヤ化画像が、点局所再構築法に従って復号されるかどうかを示す第１の情報と、
前記第１の情報が有効になっていることを条件に、第１の点局所再構築情報および第１の点局所再構築モードと、を含む、ことと、
－前記データストリーム内の第２のレイヤ化画像および関連付けられた第２のメタデータを符号化することであって、前記第２のメタデータは、
前記第２のレイヤ化画像が、点局所再構築法に従って復号されるかどうかを示す第２の情報と、
前記第１の点局所再構築情報のインデックスと、
前記第２の情報が有効になっていることを条件に、第２の点局所再構築モードと、を含む、ことと、を含む、方法。

【請求項8】

－前記データストリーム内の第３のレイヤ化画像および関連付けられた第３のメタデータを符号化することであって、前記第３のメタデータは、
前記第３のレイヤ化画像が、点局所再構築法に従って復号されるかどうかを示す第３の情報と、
前記第１または前記第２の点局所再構築モードを示すインデックスと、
前記第３の情報が有効になっていることを条件に、第３の点局所再構築情報と、を含む、こと、をさらに含む、請求項７に記載の方法。

【請求項9】

－前記データストリーム内の第４のレイヤ化画像および関連付けられた第４のメタデータを符号化することであって、前記第４のメタデータは、
前記第４のレイヤ化画像が、点局所再構築法に従って復号されるかどうかを示す第４の情報と、
前記第１または前記第３の点局所再構築情報のインデックスと、
前記第１または前記第２または第３の点局所再構築モードを示すインデックスと、を含む、こと、をさらに含む、請求項８に記載の方法。

【請求項10】

３Ｄ点群を符号化するデバイスであって、
－データストリーム内の第１のレイヤ化画像および関連付けられた第１のメタデータを符号化することであって、前記第１のメタデータは、
前記第１のレイヤ化画像が、点局所再構築法に従って復号されるかどうかを示す第１の情報と、
前記第１の情報が有効になっていることを条件に、第１の点局所再構築情報および第１の点局所再構築モードと、を含むことと、
－前記データストリーム内の第２のレイヤ化画像および関連付けられた第２のメタデータを符号化することであって、前記第２のメタデータは、
前記第２のレイヤ化画像が、点局所再構築法に従って復号されるかどうかを示す第２の情報と、
前記第１の点局所再構築情報のインデックスと、
前記第２の情報が有効になっていることを条件に、第２の点局所再構築モードと、を含む、ことと、を行うように構成されたプロセッサを備える、デバイス。

【請求項11】

前記プロセッサが、
－前記データストリーム内の第３のレイヤ化画像および関連付けられた第３のメタデータを符号化することであって、前記第３のメタデータは、
前記第３のレイヤ化画像が、点局所再構築法に従って復号されるかどうかを示す第３の情報と、
前記第１または前記第２の点局所再構築モードを示すインデックスと、
前記第３の情報が有効になっていることを条件に、第３の点局所再構築情報と、を含む、こと、を行うようにさらに構成されている、請求項１０に記載のデバイス。

【請求項12】

前記プロセッサが、
－前記データストリーム内の第４のレイヤ化画像および関連付けられた第４のメタデータを符号化することであって、前記第４のメタデータは、
前記第４のレイヤ化画像が、点局所再構築法に従って復号されるかどうかを示す第４の情報と、
前記第１または前記第３の点局所再構築情報のインデックスと、
前記第１または前記第２または第３の点局所再構築モードを示すインデックスと、を含む、こと、を行うようにさらに構成されている、請求項１１に記載のデバイス。

【請求項13】

コンピュータによって実行されたときに、前記コンピュータに、請求項１～３のいずれか一項に記載の方法を実行させる命令を含む、非一時的コンピュータ可読媒体。

【請求項14】

コンピュータによって実行されたときに、前記コンピュータに、請求項７～９のいずれか一項に記載の方法を実行させる命令を含む、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態のうちの少なくとも１つは、概して、点群の処理に関する。

【背景技術】

【0002】

本セクションは、技術分野の様々な態様を読者に紹介することを意図しており、これらは以下に説明および／または特許請求される本実施形態のうちの少なくとも１つの様々な態様に関連し得る。本考察は、少なくとも１つの実施形態の様々な態様のより良好な理解を容易にするための背景情報を読者に提供するのに役立つと考えられる。

【0003】

点群は、文化遺産／建築物など、様々な目的に使用することができ、彫像または建築物などのオブジェクトを３Ｄでスキャンして、そのオブジェクトを送ることまたはそのオブジェクトに訪れることなく、オブジェクトの空間構成を共有する。また、例えば、オブジェクトが破壊される、例えば、地震によって寺院が破壊されることがある場合に、オブジェクトの知識を確実に保存する方式である。このような点群は通常、静的で、色付きで、巨大である。

【0004】

別の使用例は、地形学および地図作成におけるものであり、３Ｄ表現を使用することで、地図が平面に限定されず、起伏を含むことができる。現在、Ｇｏｏｇｌｅマップは、３Ｄマップの良い例であるが、点群ではなくメッシュを使用している。それでも、点群は３Ｄマップに好適なデータフォーマットである場合があり、そのような点群は通常、静的で、色付きで、巨大である。

【0005】

自動車産業および自動運転車も、点群を使用することができる領域である。自動運転車は、そのすぐ近くにある現実に基づいて良好な運転判断を行うために、その環境を「探る」ことができて当然である。ＬＩＤＡＲ（ＬＩｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）のような典型的なセンサは、意思決定エンジンで使用される動的な点群を生成する。これらの点群は人間が見ることを意図しておらず、典型的には小さく、必ずしも色付けされておらず、高頻度でキャプチャされるため動的である。これらの点群は、ＬＩＤＡＲによって提供される反射率のような他の属性を有し得、この属性は、感知されたオブジェクトの材料についての優れた情報であるため、意思決定に役立つ場合がある。

【0006】

バーチャルリアリティと没入型の世界は最近話題となっており、２Ｄフラットビデオの未来として多くの人が予測している。基本的な考え方は、視聴者が視聴者の前の仮想世界しか見ることができない標準的なテレビとは対照的に、視聴者を周囲の環境に没頭させることである。環境における視聴者の自由度に応じて、没入感にはいくつかの段階がある。点群は、バーチャルリアリティ（ＶＲ）の世界を配信するための優れたフォーマット候補である。

【0007】

多くのアプリケーションでは、許容可能な（または好ましくは非常に良好な）経験の質を維持しつつ、妥当な量のビットレート（またはストレージアプリケーションのストレージスペース）のみを消費することで、動的な点群をエンドユーザに配信（またはサーバに保存）することができることが重要である。これらの動的点群の効率的な圧縮が、没入型世界の配信チェーンを実用的なものにするための要点である。

【0008】

上記を念頭に置いて、少なくとも１つの実施形態が考案されている。

【発明の概要】

【0009】

以下は、本実施形態のいくつかの態様の基本的な理解を提供するために、本実施形態のうちの少なくとも１つの簡略化された概要を提示する。本概要は、一実施形態の広範な大要ではない。一実施形態の主要または重要な要素を特定することは意図していない。以下の概要は、本文書で他の場所で提供されるより詳細な説明への前置きとして、本実施形態のうちの少なくとも１つのいくつかの態様を単純化した形で提示しているにすぎない。

【0010】

少なくとも１つの実施形態の一般的な態様によれば、データストリームからの第１のレイヤ化画像と関連付けられた第１のメタデータを復号することを含む方法が提供される。メタデータは、第１のレイヤ化画像が、点局所再構築法に従って復号されるかどうかを示す第１のフラグを含む。第１のフラグが有効になっている場合、この方法は、該第１のメタデータにおける第１の点局所再構築情報および第１の点局所再構築モードを取得することと、該第１の点局所再構築情報に従って該第１のレイヤ化画像に該第１の点局所再構築モードを適用して、該３Ｄ点群を再構築することと、をさらに含む。

【0011】

他の態様によれば、別のレイヤと関連付けられたメタデータからこれらのデータを取得することを可能にするインデックスが現在のレイヤのメタデータに示されている場合、点局所再構築情報および／またはモードはメタデータにおいて省略され得る。

【0012】

別の態様によれば、第２の方法が提供される。この方法は、データストリーム内の第１のレイヤ化画像および関連付けられた第１のメタデータを符号化することを含む。メタデータは、
－第１のレイヤ化画像が、点局所再構築法に従って復号されるかどうかを示す第１のフラグと、
－第１のフラグが有効になっている場合、第１の点局所再構築情報および第１の点局所再構築モードと、を含む。

【0013】

第２の方法の他の態様によれば、別のレイヤと関連付けられたメタデータからこれらのデータを取得することを可能にするインデックスが現在のレイヤのメタデータに示されている場合、点局所再構築情報および／またはモードはメタデータにおいて省略され得る。

【0014】

別の態様によれば、装置が提供される。この装置は、プロセッサを含む。プロセッサは、前述の方法のいずれかを実行することにより、３Ｄ点群を符号化または復号するように構成することができる。

【0015】

少なくとも１つの実施形態の別の一般的な態様によれば、説明された符号化の実施形態または変形のいずれかに従って生成されたデータを含む信号が提供される。

【0016】

少なくとも１つの実施形態の別の一般的な態様によれば、ビットストリームは、説明されたコード化の実施形態または変形のいずれかに従って生成されたデータコンテンツを含むようにフォーマットされる。

【0017】

少なくとも１つの実施形態の別の一般的な態様によれば、コンピュータによって実行されると、コンピュータに、説明された復号の実施形態または変形のいずれかを実行させる命令を含むコンピュータプログラム製品が提供される。

【0018】

一般的な態様のこれらおよび他の態様、特徴、および利点は、添付の図面に関連して読まれる例示的な実施形態の以下の詳細な説明から明らかになるであろう。

【図面の簡単な説明】

【0019】

図面には、いくつかの実施形態の例が図示される。図面は以下を示す。

【図1】本実施形態のうちの少なくとも１つによる２レイヤベースの点群符号化構造の一例の概略ブロック図を示す。

【図2】本実施形態のうちの少なくとも１つによる２レイヤベースの点群復号構造の一例の概略ブロック図を示す。

【図3】本実施形態のうちの少なくとも１つによる画像ベースの点群符号化器の例の概略ブロック図を示す。

【図3a】２つのパッチとそれらの２Ｄバウンディングボックスを含むキャンバスの例を示す。

【図4】本実施形態のうちの少なくとも１つによる画像ベースの点群復号器の例の概略ブロック図を示す。

【図5】本実施形態のうちの少なくとも１つによるベースレイヤＢＬを表すビットストリームの構文例を概略的に示す。

【図6】様々な態様および実施形態が実装されるシステムの例のブロック図を示す。

【図7】本原理に従って３Ｄ点群を復号する方法７００を図式的に示す。

【図8】本原理に従って３Ｄ点群を符号化する方法８００を図式的に示す。

【発明を実施するための形態】

【0020】

本実施形態のうちの少なくとも１つを、本実施形態のうちの少なくとも１つの例が示されている、添付の図を参照して、以下により詳しく説明する。しかしながら、一実施形態は、多くの代替形態で具現化され得、本明細書に記載される例に限定されると解釈されるべきではない。したがって、実施形態を開示された特定の形態に限定する意図はないことを理解されたい。それどころか、本開示は、本出願の趣旨および範囲内に収まるすべての修正、同等物、および代替物を網羅することを意図している。

【0021】

図がフロー図として提示されている場合、それは、対応する装置のブロック図も提供することを理解されたい。同様に、図がブロック図として提示されている場合、それは、対応する方法／プロセスのフロー図も提供することを理解されたい。

【0022】

同様または同一の要素は、同じ参照番号で参照される。

【0023】

一部の図は、Ｖ－ＰＣＣに準拠するビットストリームの構造を定義するためにＶ－ＰＣＣで広く使用されている構文テーブルを表す。これらの構文テーブルにおいて、「…」という用語は、Ｖ－ＰＣＣで指定され、読みやすくするために図から削除された元の定義に関して、構文の変更されていない部分を示す。図中の太字の用語は、この用語の値がビットストリームを解析することによって取得されることを示す。構文テーブルの右側の列は、構文要素のデータを符号化するためのビット数を示す。例えば、ｕ（４）は、４ビットがデータの符号化に使用されることを示し、ｕ（８）は、８ビットを示し、ａｅ（ｖ）は、コンテキスト適応型算術エントロピーコード化構文要素を示す。

【0024】

以下に説明および企図される態様は、多くの異なる形式で実装され得る。図１～１５は、以下に、いくつかの実施形態を提供するが、他の実施形態が想定され、図１～１５の考察は、それらの実装形態の間口を限定するものではない。

【0025】

これらの態様のうちの少なくとも１つは、概して、点群符号化および復号に関し、少なくとも１つの他の態様は、概して、生成または符号化されたビットストリームを送信することに関する。

【0026】

より正確には、本明細書で説明する様々な方法および他の態様を使用して、モジュール、例えば、図３のパッチ情報符号化器３７００で行われるものなどのメタデータ符号化に関するモジュール、および図４のパッチ情報復号器４４００、または図４のジオメトリ生成モジュール４５００の再構築プロセスで行われるものなどのメタデータ復号に関するモジュールを変更し得る。

【0027】

さらに、本態様は、点群圧縮に関するＭＰＥＧ－Ｉのパート５などのＭＰＥＧ標準に限定されず、例えば、既存または将来開発されるかどうかにかかわらず、他の標準および勧告、ならびにそのような標準および推奨事項の拡張（ＭＰＥＧ－Ｉのパート５を含む）に適用され得る。特に指示されない限り、または技術的に除外されていない限り、本出願で説明される態様は、個別にまたは組み合わせて使用され得る。

【0028】

以下では、画像データとは、例えば、特定の画像／ビデオフォーマットの２Ｄサンプルの１つまたはいくつかのアレイのデータを指す。特定の画像／ビデオフォーマットは、画像（またはビデオ）のピクセル値に関する情報を指定し得る。特定の画像／ビデオフォーマットはまた、例えば、画像（またはビデオ）を視覚化および／または復号するために、ディスプレイおよび／または他の任意の装置によって使用され得る情報を指定し得る。画像は、典型的には、サンプルの第１の２Ｄアレイの形状の、通常は画像の輝度（ｌｕｍｉｎａｎｃｅ）（または輝度（ｌｕｍａ））を表す、第１の成分を含む。画像はまた、サンプルの他の２Ｄアレイの形状の、通常は画像の彩度（ｃｈｒｏｍｉｎａｎｃｅ）（または彩度（ｃｈｒｏｍａ））を表す、第２の成分および第３の成分を含み得る。いくつかの実施形態は、従来の三色ＲＧＢ表現などのカラーサンプルの２Ｄアレイのセットを使用して同じ情報を表す。

【0029】

ピクセル値は、１つ以上の実施形態では、Ｃ値のベクトルで表され、ここで、Ｃは成分の数である。ベクトルの各値は、典型的には、ピクセル値の最大ダイナミックレンジを定義し得るビット数で表される。

【0030】

画像ブロックとは、画像に属するピクセルのセットを意味する。画像ブロック（または画像ブロックデータ）のピクセル値は、この画像ブロックに属するピクセルの値を指す。画像ブロックは、任意の形状にし得るが、長方形が一般的である。

【0031】

点群は、一意の座標を有し、１つ以上の属性を有し得る３Ｄボリューム空間内の３Ｄサンプルのデータセットで表し得る。

【0032】

このデータセットの３Ｄサンプルは、その空間位置（３Ｄ空間のＸ、Ｙ、およびＺ座標）によって定義され得、場合によっては、例えばＲＧＢもしくはＹＵＶ色空間で表される色、透明度、反射率、２成分の法線ベクトル、またはこのサンプルの特徴を表す任意の特徴などの１つ以上の関連属性によって定義され得る。例えば、３Ｄサンプルは、６成分点（Ｘ，Ｙ，Ｚ，Ｒ，Ｇ，Ｂ）または同等の（Ｘ，Ｙ，Ｚ，ｙ，Ｕ，Ｖ）によって定義され得、式中、（Ｘ，Ｙ，Ｚ）は、３Ｄ空間における点の座標を定義し、（Ｒ，Ｇ，Ｂ）または（ｙ，Ｕ，Ｖ）はこの３Ｄサンプルの色を定義する。同じタイプの属性が複数回存在してもよい。例えば、複数の色属性が、異なる観点からの色情報を提供してもよい。

【0033】

点群は、群が時間に関して変化するか否かに応じて、静的または動的であり得る。静的な点群、または動的な点群のインスタンスは、通常は、点群フレームとして示される。動的な点群の場合、点の数は一般に一定ではなく、むしろ、一般に時間とともに変化する。より一般的には、点群は、例えば、点の数、１つ以上の点の位置、または任意の点の任意の属性など、時間とともに変化するものがある場合、動的であるとみなし得る。

【0034】

例として、２Ｄサンプルは、６つの成分（ｕ，ｖ，Ｚ，Ｒ，Ｇ，Ｂ）または同等に（ｕ，ｖ，Ｚ，ｙ，Ｕ，Ｖ）によって定義され得る。（ｕ，ｖ）は、投影面の２Ｄ空間における２Ｄサンプルの座標を定義する。Ｚは、この投影面に投影された３Ｄサンプルの深度値である。（Ｒ，Ｇ，Ｂ）または（ｙ，Ｕ，Ｖ）は、この３Ｄサンプルの色を定義する。

【0035】

本原理によれば、フラグは、条件が有効になっているかどうかを示すデータストリームに符号化された情報である。例えば、フラグは、データストリームを符号化または復号するときにプロセッサがアクションを実行する必要があるかどうかを示す情報である。別の例では、フラグは、データストリーム内のビットのシーケンスが所与の構文に従っているかどうかを示す情報である。フラグはまた、第２の情報がデータストリーム内で符号化されているかどうかを示す第１の情報であり得る。条件に従っていると、フラグは有効になっていると言う。フラグは、データストリーム内の様々な方法および／またはビットシーケンスによって符号化され得る。

【0036】

図１は、本実施形態のうちの少なくとも１つによる２レイヤベース点群符号化構造１０００の例の概略ブロック図を示している。

【0037】

２レイヤベース点群符号化構造１０００は、入力点群フレームＩＰＣＦを表すビットストリームＢを提供し得る。場合によっては、該入力点群フレームＩＰＣＦは、動的点群のフレームを表す。次に、該動的点群のフレームは、別のフレームとは独立して、２レイヤベース点群符号化構造１０００によって符号化され得る。

【0038】

基本的に、２レイヤベースの点群符号化構造１０００は、ビットストリームＢをベースレイヤＢＬおよびエンハンスメントレイヤＥＬとして構造化する能力を提供し得る。ベースレイヤＢＬは、入力点群フレームＩＰＣＦの損失のある表現を提供し得、エンハンスメントレイヤＥＬは、ベースレイヤＢＬによって表されない孤立点を符号化することによって、より高品質の（場合によっては、損失のない）表現を提供し得る。

【0039】

ベースレイヤＢＬは、図３に示されるように、画像ベース符号化器３０００によって提供され得る。該画像ベース符号化器３０００は、入力点群ＩＰＣＦの３Ｄサンプルのジオメトリ／属性を表すジオメトリ／テクスチャ画像を提供し得る。それは、孤立した３Ｄサンプルを破棄することを可能にし得る。ベースレイヤＢＬは、図４に示されるように、画像ベース復号器４０００によって復号され得、これは、中間再構築点群フレームＩＲＰＣＦを提供し得る。

【0040】

次に、図１の２レイヤベース点群符号化１０００に戻ると、比較器ＣＯＭＰは、欠落した／分離された３Ｄサンプルを検出／位置特定するために、入力点群フレームＩＰＣＦの３Ｄサンプルを中間再構築点群フレームＩＲＰＣＦの３Ｄサンプルと比較し得る。次に、符号化器ＥＮＣは、欠落した３Ｄサンプルを符号化し、エンハンスメントレイヤＥＬを提供し得る。最後に、ベースレイヤＢＬおよびエンハンスメントレイヤＥＬは、ビットストリームＢを生成するように、マルチプレクサＭＵＸによって一緒に多重化され得る。

【0041】

一実施形態によれば、符号化器ＥＮＣは、中間再構築点群ＩＲＰＣＦの３Ｄ基準サンプルＲを検出し、欠落した３ＤサンプルＭに関連付け得る検出器を備え得る。

【0042】

例えば、欠落した３ＤサンプルＭと関連付けられた３Ｄ基準サンプルＲは、所与のメトリックに従ってＭの最近傍であり得る。

【0043】

一実施形態によれば、符号化器ＥＮＣは、次に、欠落した３ＤサンプルＭの空間位置およびそれらの属性を、該３Ｄ基準サンプルＲの空間位置および属性に従って決定された差として符号化し得る。

【0044】

変形例において、これらの違いを個別に符号化してもよい。

【0045】

例えば、空間座標がｘ（Ｍ）、ｙ（Ｍ）、ｚ（Ｍ）の欠落した３ＤサンプルＭの場合、ｘ座標の位置差Ｄｘ（Ｍ）、ｙ座標の位置差Ｄｙ（Ｍ）、ｚ座標の位置差Ｄｚ（Ｍ）、Ｒ属性の成分差Ｄｒ（Ｍ）、Ｇ属性の成分差Ｄｇ（Ｍ）、Ｂ属性の成分差Ｄｂ（Ｍ）は、次のように計算され得る：
Ｄｘ（Ｍ）＝ｘ（Ｍ）－ｘ（Ｒ）
式中、ｘ（Ｍ）は、図３によって提供されるジオメトリ画像における、３ＤサンプルＭ、それぞれＲのｘ座標であり、
Ｄｙ（Ｍ）＝ｙ（Ｍ）－ｙ（Ｒ）
式中、ｙ（Ｍ）は、図３によって提供されるジオメトリ画像における、３ＤサンプルＭ、それぞれＲのｙ座標であり、
Ｄｚ（Ｍ）＝ｚ（Ｍ）－ｚ（Ｒ）
式中、ｚ（Ｍ）は、図３によって提供されるジオメトリ画像における、３ＤサンプルＭ、それぞれＲのｚ座標であり、
Ｄｒ（Ｍ）＝Ｒ（Ｍ）－Ｒ（Ｒ）
式中、Ｒ（Ｍ）、それぞれＲ（Ｒ）は、３ＤサンプルＭ、それぞれＲの色属性のｒ－ｃｏｌｏｒ成分であり、
Ｄｇ（Ｍ）＝Ｇ（Ｍ）－Ｇ（Ｒ）
式中、Ｇ（Ｍ）、それぞれＧ（Ｒ）は、３ＤサンプルＭ、それぞれＲの色属性のｇ－ｃｏｌｏｒ成分であり、
Ｄｂ（Ｍ）＝Ｂ（Ｍ）－Ｂ（Ｒ）
式中、Ｂ（Ｍ）、それぞれＢ（Ｒ）は、３ＤサンプルＭ、それぞれＲの色属性のｂ－ｃｏｌｏｒ成分である。

【0046】

図２は、本実施形態のうちの少なくとも１つによる２レイヤベース点群復号構造２０００の例の概略ブロック図を示している。

【0047】

２レイヤベース点群復号構造２０００の動作は、その機能に依存する。

【0048】

機能が制限された２レイヤベース点群復号構造２０００は、デマルチプレクサＤＭＵＸを使用することにより、ビットストリームＢからベースレイヤＢＬにのみアクセスし得、次いで、図４に示されるように、点群復号器４０００によってベースレイヤＢＬを復号することによって入力点群フレームＩＰＣＦの忠実な（ただし損失のある）バージョンのＩＲＰＣＦを提供し得る。

【0049】

フル機能を備えた２レイヤベースの点群復号構造２０００は、デマルチプレクサＤＭＵＸを使用することにより、ビットストリームＢからベースレイヤＢＬとエンハンスメントレイヤＥＬの両方にアクセスし得る。図４に示されるように、点群復号器４０００は、ベースレイヤＢＬから中間再構築点群フレームＩＲＰＣＦを決定し得る。復号器ＤＥＣは、エンハンスメントレイヤＥＬから相補的点群フレームＣＰＣＦを決定し得る。次に、コンバイナＣＯＭは、中間再構築点群フレームＩＲＰＣＦと相補的点群フレームＣＰＣＦを結合して、したがって、入力点群フレームＩＰＣＦのより高い品質の（場合によっては、損失のない）表現（再構築）ＣＲＰＣＦを提供し得る。

【0050】

図３は、本実施形態のうちの少なくとも１つによる画像ベース点群符号化器３０００の例の概略ブロック図を示している。

【0051】

画像ベース点群符号化器３０００は、既存のビデオコーデックを利用して、動的点群のジオメトリおよびテクスチャ（属性）情報を圧縮する。これは、基本的に点群データを一連の異なるビデオシーケンスに変換することによって実現される。

【0052】

特定の実施形態では、１つは点群データのジオメトリ情報をキャプチャするためのものであり、もう１つはテクスチャ情報をキャプチャするためのものである、２つのビデオが、既存のビデオコーデックを使用して生成および圧縮され得る。既存のビデオコーデックの例は、ＨＥＶＣメインプロファイル符号化器／復号器（ＩＴＵ－Ｔ Ｈ．２６５ ＩＴＵの電気通信標準化セクタ（０２／２０１８）、シリーズＨ：オーディオビジュアルおよびマルチメディアシステム、オーディオビジュアルサービスのインフラストラクチャ（動画のコーディング、高効率ビデオコーディング、勧告ＩＴＵ－Ｔ Ｈ．２６５））である。

【0053】

２つのビデオを解釈するために使用される追加のメタデータも、典型的には、別々に生成および圧縮される。そのような追加のメタデータには、例えば、占有マップＯＭおよび／または補助パッチ情報ＰＩが含まれる。

【0054】

次に、生成されたビデオビットストリームおよびメタデータを一緒に多重化して、結合されたビットストリームを生成し得る。

【0055】

なお、メタデータは典型的には、全体的な情報の少量を表す。情報の大部分はビデオビットストリームにある。

【0056】

このような点群符号化／復号プロセスの例は、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ２０１９／ｗ１８１８０（２０１９年１月、マラケシュ）で定義されているＭＰＥＧドラフト標準を実装するテストモデルカテゴリ２アルゴリズム（Ｖ－ＰＣＣとも呼ばれる）によって与えられる。

【0057】

ステップ３１００において、モジュールＰＧＭは、最良の圧縮を提供する戦略を使用して、入力点群ＩＰＣＦを表すデータセットの３Ｄサンプルを投影面上の２Ｄサンプルに分解することによって、少なくとも１つのパッチを生成し得る。

【0058】

パッチは、２Ｄサンプルのセットとして定義され得る。

【0059】

例えば、Ｖ－ＰＣＣでは、例えば、Ｈｏｐｐｅら（Ｈｕｇｕｅｓ Ｈｏｐｐｅ、Ｔｏｎｙ ＤｅＲｏｓｅ、Ｔｏｍ Ｄｕｃｈａｍｐ、Ｊｏｈｎ ＭｃＤｏｎａｌｄ、Ｗｅｒｎｅｒ Ｓｔｕｅｔｚｌｅ。Ｓｕｒｆａｃｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ ｕｎｏｒｇａｎｉｚｅｄ ｐｏｉｎｔｓ．ＡＣＭ ＳＩＧＧＲＡＰＨ １９９２ Ｐｒｏｃｅｅｄｉｎｇｓ、７１－７８）で説明されているように、すべての３Ｄサンプルの法線が最初に推定される。次に、各３Ｄサンプルを、入力点群フレームＩＰＣＦの３Ｄサンプルを包含する３Ｄバウンディングボックスの６つの配向された平面のうちの１つと関連付けることによって、入力点群フレームＩＰＣＦの初期クラスタリングを取得する。より正確には、各３Ｄサンプルをクラスタ化し、最も近い法線を有する（つまり、点法線と平面法線とのドット積を最大化する）配向された平面と関連付けられる。次に、３Ｄサンプルを、それらの関連付けられた平面に投影する。それらの平面内に連結領域を形成する３Ｄサンプルのセットを、連結成分と称する。連結成分は、同様の法線と同じ関連付けられた配向された平面を有する少なくとも１つの３Ｄサンプルのセットである。次に、各３Ｄサンプルと関連付けられたクラスタを、その法線およびその最も近い隣接サンプルのクラスタに基づいて繰り返し更新することによって、初期クラスタリングを洗練する。最後のステップは、各連結成分から１つのパッチを生成することで構成され、これは、各連結成分の３Ｄサンプルを、該連結成分と関連付けられた配向された平面に投影することによって行われる。パッチは、ジオメトリおよび／または属性情報に対応する投影された２Ｄサンプルを解釈するために、各パッチに対して定義された補助パッチ情報を表す補助パッチ情報ＰＩと関連付けられる。

【0060】

例えば、Ｖ－ＰＣＣでは、補助パッチ情報ＰＩには、１）連結成分の３Ｄサンプルを包含する３Ｄバウンディングボックスの６つの配向された平面のうちの１つを示す情報、２）平面法線に関する情報、３）深度、接線（ｔａｎｇｅｎｔｉａｌ）シフト、および双接（ｂｉ－ｔａｎｇｅｎｔｉａｌ）シフトの観点から表されたパッチに関する連結成分の３Ｄ位置を決定する情報、ならびに４）パッチを包含する２Ｄバウンディングボックスを定義する投影面の座標（ｕ０，ｖ０，ｕ１，ｖ１）などの情報、が含まれる。

【0061】

ステップ３２００において、パッチパッキングモジュールＰＰＭは、典型的には未使用のスペースを最小限に抑える方法で、オーバーラップすることなく、少なくとも１つの生成されたパッチを２Ｄグリッド（キャンバスとも呼ばれる）にマッピング（配置）し得、２ＤグリッドのすべてのＴ×Ｔ（例えば、１６×１６）ブロックが一意のパッチと関連付けられることを保証し得る。２Ｄグリッドの所与の最小ブロックサイズＴ×Ｔは、この２Ｄグリッドに配置された個別のパッチ間の最小距離を指定し得る。２Ｄグリッドの解像度は、入力点群のサイズとその幅Ｗおよび高さＨに依存し得、ブロックサイズＴは、メタデータとして復号器に送信され得る。

【0062】

補助パッチ情報ＰＩは、２Ｄグリッドのブロックとパッチとの間の関連付けに関する情報をさらに含み得る。

【0063】

Ｖ－ＰＣＣでは、補助情報ＰＩには、２Ｄグリッドのブロックとパッチインデックスとの間の関連付けを決定するパッチインデックス情報（ＢｌｏｃｋＴｏＰａｔｃｈ）へのブロックを含み得る。

【0064】

図３ａは、２つのパッチＰ１およびＰ２とそれらの関連付けられた２ＤバウンディングボックスＢ１およびＢ２とを含むキャンバスＣの例を示している。なお、図３ａに示されているように、２つのバウンディングボックスがキャンバスＣ内で重なり合い得る。２Ｄグリッド（キャンバスの分割）は、バウンディングボックスの内側でのみ表されるが、キャンバスの分割は、これらのバウンディングボックスの外側でも発生する。パッチと関連付けられたバウンディングボックスは、Ｔ×Ｔブロック（典型的にはＴ＝１６）に分割することができる。

【0065】

パッチに属する２Ｄサンプルを含むＴ×Ｔブロックは、対応する占有マップＯＭで占有ブロックとみなし得る。占有マップＯＭのブロックは、ブロックが占有されているかどうか、すなわち、パッチに属する２Ｄサンプルが含まれているかどうかを示し得る。

【0066】

図３ａでは、占有ブロックは、白いブロックによって表され、薄い灰色のブロックは、非占有ブロックを表す。画像生成プロセス（ステップ３３００および３４００）は、ステップ３２００の間に演算された２Ｄグリッドへの少なくとも１つの生成されたパッチのマッピングを利用して、入力点群フレームＩＰＣＦのジオメトリおよびテクスチャを画像として格納する。

【0067】

ステップ３３００において、ジオメトリ画像生成器ＧＩＧは、入力点群ＩＰＣＦ、占有マップＯＭ、および補助パッチ情報ＰＩから少なくとも１つのジオメトリ画像ＧＩを生成し得る。ジオメトリ画像生成器ＧＩＧは、占有ブロック、したがってジオメトリ画像ＧＩ内の空でないピクセルを検出（位置特定）するために、占有マップ情報を利用し得る。

【0068】

ジオメトリ画像ＧＩは、入力点群フレームＩＰＣＦのジオメトリを表し得、例えば、ＹＵＶ４２０－８ビットフォーマットで表されるＷ×Ｈピクセルの単色画像であり得る。

【0069】

複数の３Ｄサンプルが（同じ投影方向（線）に沿って）投影面の同じ２Ｄサンプルに投影（マッピング）される場合をより適切に処理するために、レイヤと称される複数の画像を生成し得る。したがって、異なる深度値Ｄ１、…、Ｄｎは、パッチの２Ｄサンプルと関連付けられ得、次いで、複数のジオメトリ画像を生成し得る。

【0070】

Ｖ－ＰＣＣでは、パッチの２Ｄサンプルが２つのレイヤに投影される。ニアレイヤとも呼ばれる第の１のレイヤは、例えば、より小さな深度の２Ｄサンプルと関連付けられた深度値Ｄ０を格納し得る。ファーレイヤと呼ばれる第２のレイヤは、例えば、より大きな深度の２Ｄサンプルと関連付けられた深度値Ｄ１を格納し得る。あるいは、第２のレイヤは、深度値Ｄ１とＤ０の間の差の値を格納し得る。例えば、第２の深度画像によって格納される情報は、範囲［Ｄ０，Ｄ０＋Δ］の深度値に対応する間隔［０，Δ］内にあり得、Δは、表面の厚さを記述するユーザ定義のパラメータである。

【0071】

このようにして、第２のレイヤには、輪郭のような重要な高周波数特徴が含まれ得る。したがって、従来のビデオコーダを使用して第２の深度画像を符号化することは困難であり、したがって、深度値は、該復号された第２の深度画像から不十分に再構築され得、その結果、再構築された点群フレームのジオメトリが低品質となる。

【0072】

一実施形態によれば、ジオメトリ画像生成モジュールＧＩＧは、補助パッチ情報ＰＩを使用することによって、第１および第２のレイヤの２Ｄサンプルと関連付けられた深度値をコード化（導出）し得る。

【0073】

Ｖ－ＰＣＣでは、対応する連結成分を有するパッチ内の３Ｄサンプルの位置は、次のように、深度δ（ｕ，ｖ）、接線シフトｓ（ｕ，ｖ）、および双接シフトｒ（ｕ，ｖ）の観点で表現され得る：
δ（ｕ，ｖ）＝δ０＋ｇ（ｕ，ｖ）
ｓ（ｕ，ｖ）＝ｓ０－ｕ０＋ｕ
ｒ（ｕ，ｖ）＝ｒ０－ｖ０＋ｖ
式中、ｇ（ｕ，ｖ）は、ジオメトリ画像の輝度成分であり、（ｕ，ｖ）は、投影面上の３Ｄサンプルと関連付けられたピクセルであり、（δ０，ｓ０，ｒ０）は、３Ｄサンプルが属する連結成分の対応するパッチの３Ｄ位置であり、（ｕ０，ｖ０，ｕ１，ｖ１）は、該連結成分と関連付けられたパッチの投影を包含する２Ｄバウンディングボックスを定義する該投影面内の座標である。

【0074】

したがって、ジオメトリ画像生成モジュールＧＩＧは、レイヤの２Ｄサンプル（第１または第２、あるいはその両方）と関連付けられた深度値を、ｇ（ｕ，ｖ）＝δ（ｕ，ｖ）－δ０で与えられる輝度成分ｇ（ｕ，ｖ）としてコード化（導出）し得る。なお、この関係は、付随する補助パッチ情報ＰＩを伴う再構築されたジオメトリ画像ｇ（ｕ，ｖ）から３Ｄサンプル位置（δ０，ｓ０，ｒ０）を再構築するために使用され得る。

【0075】

一実施形態によれば、投影モードを使用して、第１のジオメトリ画像ＧＩ０が第１または第２のレイヤのいずれかの２Ｄサンプルの深度値を格納し得、第２のジオメトリ画像ＧＩ１が第１または第２のレイヤのいずれかの２Ｄサンプルと関連付けられた深度値を格納し得るかどうかを示し得る。

【0076】

例えば、投影モードが０に等しい場合、第１のジオメトリ画像ＧＩ０は、第１のレイヤの２Ｄサンプルの深度値を格納し得、第２のジオメトリ画像ＧＩ１は、第２のレイヤの２Ｄサンプルと関連付けられた深度値を格納し得る。逆に、投影モードが１に等しい場合、第１のジオメトリ画像ＧＩ０は、第２のレイヤの２Ｄサンプルの深度値を格納し得、第２のジオメトリ画像ＧＩ１は、第１のレイヤの２Ｄサンプルと関連付けられた深度値を格納し得る。

【0077】

一実施形態によれば、フレーム投影モードを使用して、固定投影モードがすべてのパッチに使用されるかどうか、または各パッチが異なる投影モードを使用し得る可変投影モードが使用されるかどうかを示し得る。

【0078】

投影モードおよび／またはフレーム投影モードは、メタデータとして送信され得る。

【0079】

フレーム投影モード決定アルゴリズムは、例えば、Ｖ－ＰＣＣのセクション２．２．１．３．１で提供され得る。

【0080】

一実施形態によれば、フレーム投影が可変投影モードを使用し得ることを示す場合、パッチ投影モードを使用して、パッチを投影（投影解除）するために使用する適切なモードを示し得る。

【0081】

パッチ投影モードは、メタデータとして送信し得、場合によっては、補助パッチ情報ＰＩに含まれる情報であってもよい。

【0082】

パッチ投影モード決定アルゴリズムは、例えばＶ－ＰＣＣのセクション２．２．１．３．２で提供される。

【0083】

ステップ３３００の実施形態によれば、第１のジオメトリ画像、例えば、パッチの２Ｄサンプル（ｕ，ｖ）に対応するＧＩ０のピクセル値は、該２Ｄサンプル（ｕ，ｖ）に対応する投影線に沿って定義された少なくとも１つの中間３Ｄサンプルと関連付けられた深度値を表し得る。該中間３Ｄサンプルは、投影線に沿って存在し、深度値Ｄ１が第２のジオメトリ画像、例えばＧＩ１にコード化されている２Ｄサンプル（ｕ，ｖ）の同じ座標を共有する。また、該中間３Ｄサンプルは、深度値Ｄ０と深度値Ｄ１との間の深度値を有し得る。指定されたビットは、中間３Ｄサンプルの各々と関連付けることができ、中間３Ｄサンプルが存在する場合は１に設定され、そうでない場合は０に設定される。

【0084】

次に、該投影線に沿った該指定されたすべてのビットを連結して、以下、拡張デルタ深度（ＥＤＤ）コードと呼ばれるコードワードを形成することができる。最後に、すべてのＥＤＤコードを、例えば第１のジオメトリ画像ＧＩ１または占有マップＯＭなどの画像にパッキングすることができる。

【0085】

ステップ３４００において、テクスチャ画像発生器ＴＩＧは、入力点群フレームＩＰＣＦ、占有マップＯＭ、補助パッチ情報ＰＩ、および、ビデオ復号器ＶＤＥＣの出力（図４のステップ４２００）である少なくとも１つの復号されたジオメトリ画像ＤＧＩから導出された再構築点群フレームのジオメトリから少なくとも１つのテクスチャ画像ＴＩを生成し得る。

【0086】

テクスチャ画像ＴＩは、入力点群フレームＩＰＣＦのテクスチャを表し得、例えば、ＹＵＶ４２０－８ビットフォーマットで表されるＷ×Ｈピクセルの画像であり得る。

【0087】

テクスチャ画像生成器ＴＧは、占有ブロック、したがってテクスチャ画像内の空でないピクセルを検出（位置特定）するために、占有マップ情報を利用し得る。

【0088】

テクスチャ画像生成器ＴＩＧは、テクスチャ画像ＴＩを生成し、各ジオメトリ画像／レイヤＤＧＩと関連付けるように適合させ得る。

【0089】

一実施形態によれば、テクスチャ画像生成器ＴＩＧは、第１のレイヤの２Ｄサンプルと関連付けられたテクスチャ（属性）値Ｔ０を、第１のテクスチャ画像ＴＩ０のピクセル値としてコード化（格納）し得、第２のレイヤの２Ｄサンプルと関連付けられたテクスチャ値Ｔ１を、第２のテクスチャ画像ＴＩ１のピクセル値としてコード化（格納）し得る。

【0090】

あるいは、テクスチャ画像生成モジュールＴＩＧは、第２のレイヤの２Ｄサンプルと関連付けられたテクスチャ値Ｔ１を、第１のテクスチャ画像ＴＩ０のピクセル値としてコード化（格納）し得、第１のレイヤの２Ｄサンプルと関連付けられたテクスチャ値Ｄ０を、第２のジオメトリ画像ＧＩ１のピクセル値としてコード化（格納）し得る。

【0091】

例えば、３Ｄサンプルの色は、Ｖ－ＰＣＣのセクション２．２．３、２．２．４、２．２．５、２．２．８、または２．５で説明されているように取得され得る。

【0092】

一実施形態によれば、パディングプロセスを、ジオメトリおよび／またはテクスチャ画像に適用してもよい。パディングプロセスを使用して、パッチ間の空きスペースを埋め、ビデオ圧縮に適した区分的に滑らかな画像を生成することができる。

【0093】

画像パディングの例は、Ｖ－ＰＣＣのセクション２．２．６および２．２．７で提供される。

【0094】

ステップ３５００において、ビデオ符号化器ＶＥＮＣは、生成された画像／レイヤＴＩおよびＧＩを符号化し得る。

【0095】

ステップ３６００において、符号化器ＯＭＥＮＣは、例えば、Ｖ－ＰＣＣのセクション２．２．２に詳述されるように、占有マップを画像として符号化し得る。損失のあるまたは損失のない符号化を使用し得る。

【0096】

一実施形態によれば、ビデオ符号化器ＥＮＣおよび／またはＯＭＥＮＣは、ＨＥＶＣベース符号化器であり得る。

【0097】

ステップ３７００において、符号化器ＰＩＥＮＣは、補助パッチ情報ＰＩ、および場合によっては、ジオメトリ／テクスチャ画像のブロックサイズＴ、幅Ｗおよび高さＨなどの追加のメタデータを符号化し得る。

【0098】

一実施形態によれば、補助パッチ情報は、（例えば、Ｖ－ＰＣＣのセクション２．４．１で定義されるように）示差的に符号化され得る。

【0099】

ステップ３８００において、マルチプレクサは、ステップ３５００、３６００、および３７００の生成された出力に適用され得、その結果、これらの出力は、ベースレイヤＢＬを表すビットストリームを生成するように一緒に多重化され得る。なお、メタデータ情報は、ビットストリーム全体のごく一部を表す。情報の大部分は、ビデオコーデックを使用して圧縮される。

【0100】

図４は、本実施形態のうちの少なくとも１つによる画像ベース点群復号器４０００の例の概略ブロック図を示している。

【0101】

ステップ４１００において、デマルチプレクサＤＭＵＸは、ベースレイヤＢＬを表すビットストリームの符号化された情報を逆多重化するために適用され得る。

【0102】

ステップ４２００において、ビデオ復号器ＶＤＥＣは、符号化された情報を復号して、少なくとも１つの復号されたジオメトリ画像ＤＧＩおよび少なくとも１つの復号されたテクスチャ画像ＤＴＩを導出し得る。

【0103】

ステップ４３００において、復号器ＯＭＤＥＣは、符号化された情報を復号して、復号された占有マップＤＯＭを導出し得る。

【0104】

一実施形態によれば、ビデオ復号器ＶＤＥＣおよび／またはＯＭＤＥＣは、ＨＥＶＣベース復号器であり得る。

【0105】

ステップ４４００において、復号器ＰＩＤＥＣは、符号化された情報を復号して、補助パッチ情報ＤＰＩを導出し得る。

【0106】

場合によっては、メタデータはまた、ビットストリームＢＬから導出され得る。

【0107】

ステップ４５００において、ジオメトリ生成モジュールＧＧＭは、少なくとも１つの復号されたジオメトリ画像ＤＧＩ、復号された占有マップＤＯＭ、復号された補助パッチ情報ＤＰＩ、および可能な追加のメタデータから、再構築された点群フレームＩＲＰＣＦのジオメトリＲＧを導出し得る。

【0108】

ジオメトリ生成モジュールＧＧＭは、少なくとも１つの復号されたジオメトリ画像ＤＧＩ内の空でないピクセルを位置特定するために、復号された占有マップ情報ＤＯＭを利用し得る。次に、空でないピクセルと関連付けられた再構築３Ｄサンプルの３Ｄ座標は、該空でないピクセルの座標および該再構築２Ｄサンプルの値から導出され得る。

【0109】

一実施形態によれば、ジオメトリ生成モジュールＧＧＭは、空でないピクセルの座標から再構築３Ｄサンプルの３Ｄ座標を導出し得る。

【0110】

一実施形態によれば、ジオメトリ生成モジュールＧＧＭは、空でないピクセルの座標、少なくとも１つの復号されたジオメトリ画像ＤＧＩのうちの１つの該空でないピクセルの値、復号された補助パッチ情報、および場合によっては追加のメタデータから、再構築３Ｄサンプルの３Ｄ座標を導出し得る。

【0111】

空でないピクセルの使用は、３Ｄサンプルとの２Ｄピクセルの関係に基づく。例えば、Ｖ－ＰＣＣでの該投影では、再構築３Ｄサンプルの３Ｄ座標は、次のように、深度δ（ｕ，ｖ）、接線シフトｓ（ｕ，ｖ）、および双接シフトｒ（ｕ，ｖ）の観点で表現され得る：
δ（ｕ，ｖ）＝δ０＋ｇ（ｕ，ｖ）
ｓ（ｕ，ｖ）＝ｓ０－ｕ０＋ｕ
ｒ（ｕ，ｖ）＝ｒ０－ｖ０＋ｖ
式中、ｇ（ｕ，ｖ）は、復号されたジオメトリ画像ＤＧＩの輝度成分、（ｕ，ｖ）は、再構築３Ｄサンプルと関連付けられたピクセルであり、（δ０，ｓ０，ｒ０）は、再構築３Ｄサンプルが属する連結成分の３Ｄ位置であり、（ｕ０，ｖ０，ｕ１，ｖ１）は、該連結成分と関連付けられたパッチの投影を包含する２Ｄバウンディングボックスを定義する投影面内の座標である。

【0112】

ステップ４６００において、テクスチャ生成モジュールＴＧＭは、再構築点群フレームＩＲＰＣＦのテクスチャを、ジオメトリＲＧおよび少なくとも１つの復号されたテクスチャ画像ＤＴＩから導出し得る。

【0113】

図５は、本実施形態のうちの少なくとも１つによる、ベースレイヤＢＬを表すビットストリームの例示的な構文を概略的に示している。

【0114】

ビットストリームは、ビットストリームヘッダＳＨおよび少なくとも１つのフレームストリームＧＯＦＳのグループを含む。

【0115】

フレームストリームＧＯＦＳのグループは、ヘッダＨＳ、占有マップＯＭを表す少なくとも１つの構文要素ＯＭＳ、少なくとも１つのジオメトリ画像（またはビデオ）を表す少なくとも１つの構文要素ＧＶＳ、少なくとも１つのテクスチャ画像（またはビデオ）を表す少なくとも１つの構文要素ＴＶＳ、および補助パッチ情報および他の追加メタデータを表す少なくとも１つの構文要素ＰＩＳを含む。

【0116】

変形例では、フレームストリームＧＯＦＳのグループは、少なくとも１つのフレームストリームを含む。

【0117】

図６は、様々な態様および実施形態が実装されるシステムの例を示す概略ブロック図を示している。

【0118】

システム６０００は、以下で説明される様々な構成要素を含む１つ以上のデバイスとして具体化することができ、本文書で説明される態様のうちの１つ以上を行うように構成される。システム６０００の全部または一部を形成し得る機器の例には、パーソナルコンピュータ、ラップトップ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続された家電製品、接続された車両およびそれらの関連付けられた処理システム、ヘッドマウントディスプレイデバイス（ＨＭＤ、シースルーグラス）、プロジェクタ（ビーマー）、「Ｃａｖｅ」（複数のディスプレイを含むシステム）、サーバ、ビデオ符号化器、ビデオ復号器、ビデオ復号器からの出力を処理するポストプロセッサ、ビデオ符号化器への入力を提供するプリプロセッサ、Ｗｅｂサーバ、セットトップボックス、ならびに点群、ビデオ、画像、または他の通信デバイスを処理するための他のデバイス、が含まれる。システム６０００の要素は、単独でも組み合わせでも、単一の集積回路、複数のＩＣ、および／または別個の構成要素に具体化され得る。例えば、少なくとも１つの実施形態では、システム６０００の処理および符号化器／復号器要素は、複数のＩＣおよび／または個別の構成要素にわたって分散し得る。様々な実施形態では、システム６０００は、他の同様のシステムに、または他の電子デバイスに、例えば、通信バスを介して、または専用の入力および／もしくは出力ポートを通して、通信可能に結合され得る。様々な実施形態では、システム６０００は、本文書で説明される態様のうちの１つ以上を実装するように構成され得る。

【0119】

システム６０００は、例えば、本文書に説明される様々な態様を実装するために、読み込まれた命令を実行するように構成された少なくとも１つのプロセッサ６０１０を含み得る。プロセッサ６０１０は、埋め込みメモリ、入力出力インターフェース、および当該技術分野において知られているような他の様々な回路を含み得る。システム６０００は、少なくとも１つのメモリ６０２０（例えば、揮発性メモリデバイス、および／または不揮発性メモリデバイス）を含み得る。システム６０００は、不揮発性メモリおよび／または揮発性メモリを含み得るストレージデバイス６０４０を含み得、これらに限定しないが、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、および／または光ディスクドライブが挙げられる。ストレージデバイス６０４０は、非限定的な例として、内部ストレージデバイス、付属ストレージデバイス、および／またはネットワークアクセス可能ストレージデバイスを含み得る。

【0120】

システム６０００は、例えば、符号化されたデータまたは復号されたデータを提供するためにデータを処理するように構成された符号化器／復号器モジュール６０３０を含み得、符号化器／復号器モジュール６０３０は、独自のプロセッサおよびメモリを含み得る。符号化器／復号器モジュール６０３０は、符号化および／または復号機能を実行するデバイスに含まれ得るモジュールを表し得る。既知であるように、デバイスは、符号化モジュールおよび復号モジュールの一方または両方を含むことができる。さらに、符号化器／復号器モジュール６０３０は、システム６０００の別個の要素として実装されてもよく、または、当業者に知られているハードウェアとソフトウェアとの組み合わせとしてプロセッサ６０１０内に組み込まれてもよい。

【0121】

本文書に説明される様々な態様を実行するようにプロセッサ６０１０または符号化器／復号器６０３０にロードされることになるプログラムコードは、ストレージデバイス６０４０に記憶され、続いて、プロセッサ６０１０による実行のためにメモリ６０２０上にロードされ得る。様々な実施形態によれば、プロセッサ６０１０、メモリ６０２０、ストレージデバイス６０４０、および符号化器／復号器モジュール６０３０のうちの１つ以上は、本文書に説明される処理の実行中、様々な項目のうちの１つ以上を格納し得る。そのような格納される項目には、これらに限定されるものではないが、点群フレーム、符号化／復号されたジオメトリ／テクスチャビデオ／画像もしくは符号化／復号されたジオメトリ／テクスチャビデオ／画像の一部、ビットストリーム、行列、変数、ならびに等式、式、演算、および演算ロジックの処理からの中間結果または最終結果が含まれ得る。

【0122】

いくつかの実施形態では、プロセッサ６０１０および／または符号化器／復号器モジュール６０３０内のメモリを、命令を格納し、符号化または復号中に行われ得る処理のためのワーキングメモリを提供するために使用し得る。

【0123】

しかしながら、他の実施形態では、処理デバイス（例えば、処理デバイスは、プロセッサ６０１０または符号化器／復号器モジュール６０３０のいずれかであり得る）の外部のメモリを、これらの機能のうちの１つ以上のために使用し得る。外部メモリは、メモリ６０２０および／またはストレージデバイス６０４０であり得、例えば、ダイナミック揮発性メモリおよび／または不揮発性フラッシュメモリであり得る。いくつかの実施形態では、テレビのオペレーティングシステムを格納するために外部不揮発性フラッシュメモリを使用し得る。少なくとも１つの実施形態では、ＲＡＭなどの高速外部動的揮発性メモリを、ＭＰＥＧ－２パート２（ＩＴＵ－Ｔ勧告Ｈ．２６２およびＩＳＯ／ＩＥＣ１３８１８－２としても知られ、ＭＰＥＧ－２ビデオとしても知られている）、ＨＥＶＣ（高効率ビデオコーディング）、またはＶＶＣ（多用途ビデオコーディング）などのビデオ符号化および復号動作のためのワーキングメモリとして使用し得る。

【0124】

システム６０００の要素への入力は、ブロック６１３０に示されるような様々な入力デバイスを通って提供され得る。そのような入力デバイスには、これらに限定されるものではないが、（ｉ）例えば、ブロードキャスタによって無線を介して送信されたＲＦ信号を受信し得るＲＦ部、（ｉｉ）コンポジット入力端子、（ｉｉｉ）ＵＳＢ入力端子、および／または（ｉｖ）ＨＤＭＩ入力端子が含まれる。

【0125】

様々な実施形態では、ブロック６１３０の入力デバイスは、当技術分野で知られているような関連付けられたそれぞれの入力処理要素を有し得る。例えば、ＲＦ部は、（ｉ）所望の周波数を選択すること（信号を選択すること、またはある周波数帯域に信号を帯域制限すること、とも称される）、（ｉｉ）選択された信号をダウンコンバートすること、（ｉｉｉ）（例えば）ある特定の実施形態ではチャネルと称され得る信号周波数帯域を選択（例えば）するために、より狭い周波数帯域に再び帯域制限すること、（ｉｖ）ダウンコンバートされ、かつ帯域制限された信号を復調すること、（ｖ）エラー訂正を実施すること、および（ｖｉ）逆多重化して、所望のデータパケットストリームを選択すること、のために必要な要素と関連付けられ得る。様々な実施形態のＲＦ部には、これらの機能を実行する１つ以上の要素、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、およびデマルチプレクサが含まれ得る。ＲＦ部には、例えば、受信した信号をより低い周波数に（例えば、中間周波数またはベースバンドに近い周波数）、またはベースバンドにダウンコンバートすることを含む、様々なこれらの機能を実行するチューナが含まれ得る。

【0126】

１つのセットトップボックスの実施形態では、ＲＦ部およびその関連付けられた入力処理要素は、有線（例えば、ケーブル）媒体を介して送信されたＲＦ信号を受信し得る。次に、ＲＦ部分は、フィルタリング、ダウンコンバート、および所望の周波数帯域への再フィルタリングによって周波数選択を実行し得る。

【0127】

様々な実施形態では、上記（および他の）要素の順番が並べ替えられ、これらの要素のうちのいくつかが取り除かれ、かつ／または同様もしくは異なる機能を実行する他の要素が追加される。

【0128】

要素を追加することには、既存の要素間に要素を挿入すること、例えば、増幅器およびアナログ－デジタル変換器を挿入することなどが含まれ得る。様々な実施形態では、ＲＦ部には、アンテナが含まれ得る。

【0129】

さらに、ＵＳＢおよび／またはＨＤＭＩ端子は、ＵＳＢおよび／またはＨＤＭＩ接続にわたって他の電子デバイスにシステム６０００を接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リード・ソロモン誤り訂正を、例えば、必要に応じて、別個の入力処理ＩＣ内またはプロセッサ６０１０内に実装し得ることを理解されたい。同様に、ＵＳＢまたはＨＤＭＩインターフェース処理の態様を、必要に応じて、別個のインターフェースＩＣ内またはプロセッサ６０１０内に実装し得る。例えば、出力デバイス上での表示のために、必要に応じて、データストリームを処理するように、メモリおよびストレージ要素と組み合わせて動作する、プロセッサ６０１０、および符号化器／復号器６０３０を含む、様々な処理要素に対して、復調され、エラー訂正され、かつ逆多重化されたストリームを提供し得る。

【0130】

システム６０００の様々な要素は、一体型ハウジング内に設けられ得る。一体型ハウジング内で、様々な要素は、相互接続され、好適な接続配置６１４０、例えば、Ｉ２Ｃバス、配線、およびプリント回路基板を含む当技術分野で知られている内部バスを使用して、それらの間でデータを送信し得る。

【0131】

システム６０００は、通信チャネル６０６０を介して他のデバイスとの通信を可能にする通信インターフェース６０５０を含み得る。通信インターフェース６０５０は、これに限定されるものではないが、通信チャネル６０６０を介してデータを送受信するように構成されたトランシーバを含み得る。通信インターフェース６０５０は、これらに限定されるものではないが、モデムまたはネットワークカードを含み得、通信チャネル６０６０は、例えば、有線および／または無線媒体内に実装され得る。

【0132】

様々な実施形態では、データは、ＩＥＥＥ８０２．１１などのＷｉ－Ｆｉネットワークを使用して、システム６０００にストリーミングされ得る。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に適合された通信チャネル６０６０および通信インターフェース６０５０を介して受信され得る。これらの実施形態の通信チャネル６０６０は、ストリーミングアプリケーションおよび他のオーバー・ザ・トップ通信を可能にするインターネットを含む外部ネットワークへのアクセスを提供するアクセス点またはルータに典型的には接続され得る。

【0133】

他の実施形態は、入力ブロック６１３０のＨＤＭＩ接続を介してデータを配信するセットトップボックスを使用して、ストリーミングされたデータをシステム６０００に提供し得る。

【0134】

さらに他の実施形態は、入力ブロック６１３０のＲＦ接続を使用して、ストリーミングされたデータをシステム６０００に提供し得る。

【0135】

信号伝達は、様々な方式で達成され得ることが分かるはずである。例えば、１つ以上の構文要素、フラグなどが、様々な実施形態で、対応する復号器に情報を信号伝達するために使用され得る。

【0136】

システム６０００は、ディスプレイ６１００、スピーカ６１１０、および他の周辺デバイス６１２０を含む、様々な出力デバイスに出力信号を提供し得る。他の周辺デバイス６１２０には、実施形態の様々な例では、スタンドアローンＤＶＲ、ディスクプレーヤ、ステレオシステム、照明システム、およびシステム３０００の出力に基づいて機能を提供する他のデバイスのうちの１つ以上が含まれ得る。

【0137】

様々な実施形態では、システム６０００と、ディスプレイ６１００、スピーカ６１１０、または他の周辺デバイス６１２０との間で、ＡＶ Ｌｉｎｋ（オーディオ／ビデオリンク）、ＣＥＣ（コンシューマエレクトロニクス制御）、またはユーザの介入の有無にかかわらず、デバイス間制御を可能にする他の通信プロトコルなどの信号伝達を使用して、制御信号が通信され得る。

【0138】

出力デバイスは、それぞれのインターフェース６０７０、６０８０、および６０９０による専用接続を介してシステム６０００に通信可能に結合され得る。

【0139】

あるいは、出力デバイスは、通信インターフェース６０５０を介して、通信チャネル６０６０を使用してシステム６０００に接続され得る。ディスプレイ６１００およびスピーカ６１１０は、例えば、テレビなどの電子デバイス内のシステム６０００の他の構成要素と、単一のユニット内に統合され得る。

【0140】

様々な実施形態では、ディスプレイインタフェース６０７０は、例えば、タイミングコントローラ（Ｔ Ｃｏｎ）チップなどのディスプレイドライバを含み得る。

【0141】

ディスプレイ６１００およびスピーカ６１１０は、例えば、入力６１３０のＲＦ部が別個のセットトップボックスの一部である場合、他の構成要素のうちの１つ以上から代替的に分離され得る。ディスプレイ６１００およびスピーカ６１１０が外部構成要素であり得る様々な実施形態では、例えば、ＨＤＭＩポート、ＵＳＢポート、またはＣＯＭＰ出力を含む、専用出力接続を介して出力信号を提供し得る。

【0142】

ＰＬＲは、Ｐｏｉｎｔ Ｌｏｃａｌ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎの略である。ＰＬＲは、点群フレームに追加の３Ｄサンプルを生成するために使用し得る再構築法である。ＰＬＲは、典型的には、２Ｄから３Ｄへの投影の直後、例えば、ジオメトリまたはテクスチャのスムージングなどの他の処理の前に適用される。

【0143】

ＰＬＲは、３Ｄサンプルのレイヤを入力として受け取り、ＰＬＲメタデータによって駆動される一連のフィルタを適用して、ジオメトリとテクスチャを含む追加の３Ｄサンプルを生成する。

【0144】

ＰＬＲメタデータは、キャンバスのＴ×Ｔブロックごとに変更され得、フィルタのセットは、小さい近傍を使用して追加の３Ｄサンプルを生成し得るので、ＰＬＲは、局所的であり得る。なお、符号化器と復号器とで同じＰＬＲメタデータを使用する必要がある。

【0145】

典型的な条件では、ＰＬＲで深度とテクスチャの画像を１レイヤ使用すると、深度とテクスチャの画像を２レイヤにするよりもＢＤレートのパフォーマンスが向上する。ＰＬＲメタデータのコーディングは、深度とテクスチャの画像への投影による３Ｄサンプルの従来のコーディングよりも少ないビットで済むため、全体的なビットレートは低下する。同時に、追加の３Ｄサンプルは、使用するレイヤの数が少ないために発生する品質の低下を補う。

【0146】

Ｖ－ＰＣＣには、ＰＬＲの実装が含まれ、ＰＬＲは、符号化器側でＲＤＯ（レート歪み最適化）によって決定される。該ＰＬＲの実装は、点群フレームのうちの少なくとも１つの３Ｄサンプルを再構築（生成）するために、ＰＬＲＭ（点局所再構築モード）と呼ばれる複数のモードを定義する。各ＰＬＲＭは、フィルタの使用方法を定義したＰＬＲＭメタデータの特定の値によって決定される。

【0147】

例えば、Ｖ－ＰＣＣのセクション「９．４．４」では、複数のＰＬＲＭは、Ｖ－ＰＣＣのセクション「７．４．３５点局所再構築セマンティクス」で説明されている４つのパラメータによって決定される。該４つのパラメータは、以下のビットストリームでＰＬＲＭメタデータとして送信される。
●ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｍｏｄｅ＿ｉｎｔｅｒｐｏｌａｔｅ＿ｆｌａｇ：
このパラメータは、１に等しく、再構築法の間に点補間が使用されることを示し、このパラメータは、０に等しく、再構築法の間に点補間が使用されないことを示す。
●ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｍｏｄｅ＿ｆｉｌｌｉｎｇ＿ｆｌａｇ
このパラメータは、１に等しく、再構築法の間に充填モードが使用されることを示し、このパラメータは、０に等しく、再構築プロセスの間に充填モードが使用されないことを示す。
●ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｍｏｄｅ＿ｍｉｎｉｍｕｍ＿ｄｅｐｔｈ＿ｍｉｎｕｓ１：
このパラメータは、再構築法の間に使用する最小深度値から１を引いたものを指定する。
●ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｍｏｄｅ＿ｎｅｉｇｈｂｏｕｒ＿ｍｉｎｕｓ１：
このパラメータは、再構築法で使用する２Ｄ近傍のサイズから１を引いたものを指定する。

【0148】

ＰＬＲをコーディングするための構文は、ドキュメントｗ１８４７９で定義されているＶ－ＰＣＣのセクション「７．３．４．１」で詳しく説明されている。この構文は、Ｔ×Ｔブロック（占有パッキングブロックサイズ）によって「ｂｌｏｃｋＴｏＰａｔｃｈ」情報を介して、またはパッチによって送信されるＰＬＲＭメタデータを記述する。ｂｌｏｃｋＴｏＰａｔｃｈ構造は、Ｔ×Ｔピクセルのブロックごとに、それが属するパッチを示す。ブロックからパッチへのブロックの１６×１６ピクセルのサイズは、Ｖ－ＰＣＣテストのモデルソフトウェアで使用される典型的な値である。仕様（および本実施形態のうちの少なくとも１つ）は、ブロックからパッチへのインデックスおよびＰＬＲＭメタデータのための他のブロックサイズをサポートし得る。

【0149】

本原理によれば、符号化器は、ＰＬＲモードが関連付けられたいくつかのレイヤを生成することが可能である。レイヤの概念により、これらすべての３Ｄ点を効率的にキャプチャすることが可能になり、ＰＬＲ法では、このような投影を符号化するために必要なビットレートを削減することが可能になる。現在のテストモデルは、最大２つのレイヤをサポートする。２レイヤモードでＰＬＲを使用する可能性を加えると、点群の圧縮効率が向上し、再構築点群を元の点群により忠実に保つことができる。

【0150】

ＰＬＲメタデータが関連付けられたレイヤかどうかに関係なく、複数のレイヤを符号化および復号するための構文および方法は存在しない。ＰＬＲ情報および／またはモードを異なるレイヤ化画像に関連付けるための信号伝達方法はない。例えば、Ｖ－ＰＣＣ規格のドキュメントｗ１８４７９で説明されているように既存の構文を変更することは、任意の変更がシステム全体の適応をもたらすことを暗に意味するため、簡単ではない。さらに、使用を考慮せずにすべてのレイヤにＰＬＲ情報とモードを大まかに追加すると、ビットレートが過負荷になる。したがって、異なる実施形態によれば、投影の異なるレイヤでＰＬＲ法を効率的に使用して３Ｄ点群を符号化、信号伝達、送信、および復号するための解決策が不足している。そのような解決策を、図７および８に関連して提案する。

【0151】

ＰＬＲを任意の数のレイヤに変更するには、実際の１レイヤモードをマルチレイヤモードの各レイヤに変更する必要がある。次のいくつかの拡張機能が必要である。
●ＰＬＲのブロックごと／パッチごとのパラメータが各レイヤで利用可能なこと。
●ＰＬＲ情報が各レイヤで利用可能なこと。
●ＰＬＲの再構築がレイヤごとに実行されること。

【0152】

ＰＬＲ情報は、処理モードのＰＬＲルックアップテーブルならびに他の高レベルのＰＬＲパラメータを参照することが理解される。ＰＬＲ情報は、ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｉｎｆｏｒｍａｔｉｏｎ構文構造でコード化される。ＰＬＲメタデータの送信方法に応じて、例えば、次のようないくつかの実施形態が可能である。
●各レイヤは、そのＰＬＲ情報とブロックごと／パッチごとのモードとを有すること。
●複数のレイヤは、同じＰＬＲ情報を共有するが、レイヤごとにブロックごと／パッチごとのモードが提供されること。
●共有ＰＬＲ情報と共有ＰＬＲモード。

【0153】

明確にするために、図７からｘｘｘにおいて、構文は、現在のＶ－ＰＣＣ構文（ドキュメントｗ１８４７９で利用可能）に関連して示されている。

【0154】

図７は、本原理に従って３Ｄ点群を復号する方法７００を図式的に示している。ステップ７１０で、本原理に従って符号化されたデータストリームをソースから取得する。データストリームは、レイヤ化画像で符号化された３Ｄ点群を表すデータを含む。ステップ７２０で、レイヤをストリームから復号する。レイヤ画像は、このレイヤをＰＬＲ法に従って復号する必要があるかどうかを示す少なくともＰＬＲフラグを含むメタデータと関連付けられている。このレイヤと関連付けられたメタデータを、ストリームから復号する。それらは、異なる時間に、および／またはデータストリーム内の異なる位置から復号された可能性がある。ステップ７３０で、ＰＬＲフラグが有効にされているかどうか（例えば、１に設定されたフラグが有効にされている）をチェックするためのテストを実行する。ＰＬＲフラグが無効になっている場合、レイヤは従来の方法を使用して投影解除される。そうでなければ、ＰＬＲフラグが有効になっている場合、つまりＰＬＲ法がこのレイヤに適用される場合は、このレイヤのＰＬＲ情報とモードを取得する必要がある。ステップ７４０で、メタデータが、別のレイヤと関連付けられたＰＬＲ情報を指すインデックスを含むかどうかをチェックするためのテストを実行する。そうでない場合、ステップ７４１で、ＰＬＲ情報を、メタデータから取得し、それを取得することを可能にするインデックスとともにメモリに格納する。ＰＬＲ情報インデックスが現在のレイヤのメタデータで提供される場合、ステップ７４２で、このインデックスによりＰＬＲ情報をメモリから取得する。ステップ７５０で、ＰＬＲモードのインデックスがメタデータに提供されているかどうかをチェックするためのテストを実行する。ステップ７５０は、ステップ７４０の前、後、または並行して発生し得る。ＰＬＲモードインデックスが提供されていない場合、ステップ７５１で、現在のレイヤのＰＬＲモードをメタデータから取得し、それらを取得することができるインデックスとともにメモリに格納する。ＰＬＲモードインデックスが現在のレイヤのメタデータで提供される場合、ステップ７５２で、このインデックスによりＰＬＲモードをメモリから取得する。ステップ７６０で、レイヤを、取得したＰＬＲ情報に従ってレイヤのピクセルに、取得したモードを適用することにより、ＰＬＲ法を使用して投影解除する。

【0155】

図８は、本原理に従って３Ｄ点群を符号化する方法８００を図式的に示している。ステップ８１０で、レイヤを取得し、データストリーム内に符号化する。続くステップで、この現在のレイヤと関連付けられたメタデータをデータストリーム内に符号化する。これらのメタデータは、時間内およびデータストリーム内でレイヤの前または後で符号化してもよい。ステップ８２０で、ＰＬＲ法に従ってレイヤが復号される必要があるかどうかを示すＰＬＲフラグをメタデータ内に符号化する。ＰＬＲフラグが有効にされている場合（例えば、１に設定されたフラグが有効にされている場合）、ステップ８４０でテストを実行し、現在のレイヤのＰＬＲ情報が別のレイヤと関連付けられたメタデータ内にすでに符号化されている（または符号化される）かどうかをチェックする。そうでない場合、ステップ８４１で、現在のレイヤのＰＬＲ情報を、この現在のレイヤと関連付けられたメタデータ内に符号化する。そうでなければ、ステップ８４２で、別のレイヤのＰＬＲ情報を取得することを可能にするインデックスを符号化する。ステップ８５０で、テストを実行して、現在のレイヤのＰＬＲモードが別のレイヤと関連付けられたメタデータ内にすでに符号化されている（または符号化される）かどうかをチェックする。ステップ８５０は、ステップ８４０の前、後、または並行して実行され得る。ＰＬＲモードが別のレイヤと共有されていない場合、ステップ８５１で、現在のレイヤのＰＬＲモードを、この現在のレイヤと関連付けられたメタデータ内に符号化する。そうでなければ、ステップ８５２で、別のレイヤのＰＬＲモードを取得することを可能にするインデックスを符号化する。

【0156】

以下の説明では、現在のＶ－ＰＣＣ仕様（ｗ１８４７９）で説明されている構文に対する提案された変更について詳しく説明する。

【0157】

一実施形態では、各レイヤは、そのＰＬＲ情報およびＰＬＲブロックごと／パッチごとのモードを有する。この実施形態では、ＰＬＲパラメータは、レイヤごとに最適化されている。

【0158】

シーケンスパラメータセットの構文レベル（ｗ１８４７９：ハイパーリンク"https://wg11.sc29.org/doc_end_user/current_document.php?id=68044&id_meeting=178"の７．３．４．１パラグラフ）で、次のように、レイヤごとにＰＬＲプロセスを有効にする可能性を追加する。

【表1】

【0159】

ｓｐｓ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｌａｙｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｌａｙｅｒ］が１の場合、対応するレイヤインデックスでの点群再構築プロセス中にローカル再構築モードを使用し得ることを示す。ｓｐｓ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｌａｙｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｌａｙｅｒ］が０の場合、対応するレイヤインデックスでの点群再構築プロセス中にローカル再構築モードを使用しないことを示す。

【0160】

パッチシーケンスパラメータセットの構文レベル（ｗ１８４７９：ハイパーリンク"https://wg11.sc29.org/doc_end_user/current_document.php?id=68044&id_meeting=178"の７．３．５．３パラグラフ）で、次のように、レイヤごとにＰＬＲ情報を定義する可能性を追加する。

【表2】

【0161】

ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｉｎｆｏｒｍａｔｉｏｎ（ｌａｙｅｒ）構文メソッドが変更され、パラメータが点局所再構築情報配列のインデックス「ｌａｙｅｒ」に格納される。変更された方法は、セクション「エラー！参照元が見つかりません」に示される。

【0162】

パッチデータユニットの構文（ｗ１８４７９：ハイパーリンク"https://wg11.sc29.org/doc_end_user/current_document.php?id=68044&id_meeting=178"の７．３．６．３パラグラフ）は、次のように変更される。

【表3】

【0163】

デルタパッチデータユニットの構文（ｗ１８４７９：ハイパーリンク"https://wg11.sc29.org/doc_end_user/current_document.php?id=68044&id_meeting=178"の７．３．６．４パラグラフ）は、次のように変更される。

【表4】

【0164】

変更された点局所再構築構文（ｗ１８４７９の７．３．６．６パラグラフ）は、すべてのデータを２次元配列（レイヤ識別子とパッチインデックス）に格納するように変更される。提案されたバージョンは、次のとおりである。

【表5】

【0165】

次の変更を再構築プロセスに適用する必要がある（ｗ１８４７９：ハイパーリンク"https://wg11.sc29.org/doc_end_user/current_document.php?id=68044&id_meeting=178"の９．４．４パラグラフで説明されている）。

【表6】

【0166】

別の実施形態では、いくつかのレイヤが同じＰＬＲ情報を共有する。ＰＬＲのブロックごと／パッチごとのモードは、引き続きレイヤごとに提供される。この実施形態は、いくつかのモードの同じセットを使用することを犠牲にして、ＰＬＲ情報を送信するために必要なビットレートを減らすことを可能にする（最終的にはすべてのレイヤ、これは復号された点群の視覚的品質をわずかに低下させ得る）。１つまたはいくつかのＰＬＲ情報のセットが送信される。ＰＬＲ情報のセットの数は、レイヤの数よりも少ない場合があるため、インデックスは、ＰＬＲ情報のどのセットが各レイヤで使用されるかを示す。

【0167】

シーケンスパラメータセットの構文レベル（ｗ１８４７９：ハイパーリンク"https://wg11.sc29.org/doc_end_user/current_document.php?id=68044&id_meeting=178"の７．３．４．１パラグラフ）で、次のように、レイヤごとにＰＬＲプロセスを有効にする可能性を追加する。

【表7】

【0168】

ｓｐｓ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｉｎｆｏｒｍａｔｉｏｎ＿ｎｕｍ＿ｓｅｔｓ＿ｍｉｎｕｓ１に１を加えたものは、送信されるＰＬＲ情報パラメータのセットの数を示す。最小値は１、最大値はレイヤ数である。現在の仕様テキストの唯一の変更点は、ＰＬＲ情報を格納するための配列（ｉｄでインデックス付けされた）の使用である。

【表8】

【0169】

パッチシーケンスパラメータセットの構文レベル（ｗ１８４７９：ハイパーリンク"https://wg11.sc29.org/doc_end_user/current_document.php?id=68044&id_meeting=178"の７．３．５．３パラグラフ）で、次のように、対応するレイヤで使用するＰＬＲ情報を識別するＰＬＲ情報ＩＤを定義する可能性を追加する。

【表9】

【0170】

ｐｓｐｓ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｉｎｆｏｒｍａｔｉｏｎ＿ｓｅｔ＿ｉｄ［ｌａｙｅｒ］パラメータは、インデックスが「ｌａｙｅｒ」のレイヤに対応するＰＬＲ情報セットのインデックスを示す。次の変更を再構築プロセスに適用する必要がある（ｗ１８４７９：ハイパーリンク"https://wg11.sc29.org/doc_end_user/current_document.php?id=68044&id_meeting=178"の９．４．４パラグラフで説明されている）。

【表10】

【0171】

別の実施形態では、ＰＬＲ情報および共有ブロック／パッチごとのモードは、複数のレイヤの間で共有される。これにより、視覚的品質のわずかな低下、および／または複雑さのわずかな増加を犠牲にして、送信するメタデータの量が減少することによりビットレートがさらに低下する。

【0172】

次のセクションでは、上記の実施形態に対して提案された変更に加えて、現在のＶ－ＰＣＣ仕様（ｗ１８４７９）に対して提案された変更について詳しく説明する。

【0173】

ｓｐｓ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｉｎｆｏｒｍａｔｉｏｎ＿ｎｕｍ＿ｓｅｔｓ＿ｍｉｎｕｓ１に１を加えたものは、送信されるＰＬＲ情報パラメータのセットの数を示す。最小値は１、最大値はレイヤ数である。現在の仕様テキストの唯一の変更点は、ＰＬＲ情報を格納するための追加の配列（ｉｄでインデックス付けされた）の使用である。パッチシーケンスパラメータセットの構文レベル（ｗ１８４７９：ハイパーリンク"https://wg11.sc29.org/doc_end_user/current_document.php?id=68044&id_meeting=178"の７．３．５．３パラグラフ）で、ＰＬＲ情報に対応する識別子を示す可能性を追加する。

【0174】

パッチデータユニットの構文（ｗ１８４７９：ハイパーリンク"https://wg11.sc29.org/doc_end_user/current_document.php?id=68044&id_meeting=178"の７．３．６．３パラグラフ）は、次のように変更される。

【表11】

【0175】

ｐｄｕ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｄａｔａ＿ｎｕｍ＿ｓｅｔｓ＿ｍｉｎｕｓ１は、パッチごとに使用可能なＰＬＲデータのバージョン数を示す。ｐｄｕ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｄａｔａ＿ｓｅｔ＿ｉｄ［ｐａｔｃｈＩｎｄｅｘ］［ｌａｙｅｒ］パラメータは、パッチ「ｐａｔｃｈＩｎｄｅｘ」およびレイヤ「ｌａｙｅｒ」のＰＬＲデータを取得するためのＰＬＲデータセット識別子を示す。

【0176】

デルタパッチデータユニットの構文（ｗ１８４７９：ハイパーリンク"https://wg11.sc29.org/doc_end_user/current_document.php?id=68044&id_meeting=178"の７．３．６．４パラグラフ）は、次のように変更される。

【表12】

【0177】

次の変更を再構築プロセスに適用する必要がある（ｗ１８４７９：ハイパーリンク"https://wg11.sc29.org/doc_end_user/current_document.php?id=68044&id_meeting=178"の９．４．４パラグラフで説明されている）。

【表13】

【0178】

変形例では、パッチデータユニットおよびデルタパッチデータユニットは、ＰＬＲデータのみをパッチレベルで取得する必要があるので、現在の実施形態と比較して次のように単純化される。

【表14】

【表15】

【表16】

【0179】

ｐｆｐｓ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｄａｔａ＿ｎｕｍ＿ｓｅｔｓ＿ｍｉｎｕｓ１は、ＰＬＲデータのセット数を示す。

【0180】

ｐｆｐｓ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｄａｔａ＿ｓｅｔ＿ｉｄは、ｐｆｐｓ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｄａｔａ＿ｎｕｍ＿ｓｅｔｓ＿ｍｉｎｕｓ１の可能なバージョンの中でどのＰＬＲデータのセットを使用する必要があるかを示す。

【0181】

同じ実施形態の別の変形例では、ＰＬＲデータのセット識別子をシーケンスごとおよびレイヤごとに一度だけ送信することによって、より高いビットレート削減を行う。ここでは、「シーケンス」という用語は、ＨＥＶＣ規格と同じ意味で使用される。

【0182】

パッチデータユニットおよびデルタパッチデータユニットは、ＰＬＲデータのみをパッチレベルで取得すればよいので、現在の実施形態と比較して次のように単純化される。

【表17】

【表18】

【表19】

【0183】

ｐｓｐｓ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｄａｔａ＿ｎｕｍ＿ｓｅｔｓ＿ｍｉｎｕｓ１は、ＰＬＲデータのセット数を定義する。

【0184】

ｐｓｐｓ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｄａｔａ＿ｓｅｔ＿ｉｄは、ｐｓｐｓ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｄａｔａ＿ｎｕｍ＿ｓｅｔｓ＿ｍｉｎｕｓ１に１を加えた可能なバージョンの中で使用するＰＬＲデータのセットを示す。

【0185】

再構築プロセスの変更は、次のとおりである。
Ｅ３のｐｄｕ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｄａｔａ＿ｓｅｔ＿ｉｄ［ｆ］［ｐ］［ｌ］は、次のように初期化される。
●Ｅ３．Ｖ１の場合は、ｐｆｐｓ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｄａｔａ＿ｓｅｔ＿ｉｄ［ｆ］［ｌ］、すなわち、所与のフレームに対して、すべてのパッチが同じセットＩＤを使用する。
●Ｅ３．Ｖ２の場合は、ｐｓｐｓ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｄａｔａ＿ｓｅｔ＿ｉｄ［ｌ］、すなわち、すべてのフレームで、すべてのパッチが同じセットＩＤを使用する。
ここで、
●ｆは、フレームインデックスに対応する。
●ｐは、パッチインデックスに対応する。
●ｌは、レイヤインデックスに対応する。

【0186】

現在の実施形態と比較して、ＰＬＲデータのセット数は、次のように示される。
●ｐｆｐｓ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｄａｔａ＿ｎｕｍ＿ｓｅｔｓ＿ｍｉｎｕｓ１を用いるフレームレベル（Ｅ３．Ｖ１の場合）
●またはｐｓｐｓ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｄａｔａ＿ｎｕｍ＿ｓｅｔｓ＿ｍｉｎｕｓ１を用いるシーケンスレベル（Ｅ３．Ｖ２の場合）。

【0187】

ブロック図および動作フローチャートに関して、いくつかの例を説明する。各ブロックは、指定された論理機能を実装するための１つ以上の実行可能な命令を含む回路要素、モジュール、またはコードの一部を表す。他の実装形態では、ブロックに記載されている機能が記載されている順序とは異なる順序で発生し得ることにも留意されたい。例えば、連続して示されている２つのブロックは、実際、実質的に同時に実行されることがあるか、またはブロックは、伴う機能に応じて、時には逆の順序で実行されることがある。

【0188】

本明細書で説明された実装形態および態様は、例えば、方法もしくは処理、装置、ソフトウェアプログラム、データストリーム、ビットストリーム、または信号に実装され得る。単一の実装形態の文脈でのみ考察される（例えば、方法としてのみ考察される）場合であっても、考察される特徴の実装はまた、他の形態（例えば、装置またはプログラム）で実装され得る。

【0189】

この方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む、一般に処理デバイスを指す、例えば、プロセッサに実装され得る。プロセッサは、通信デバイスも含む。

【0190】

加えて、方法は、プロセッサによって実施される命令によって実装され得、そのような命令（および／または実装形態によって生成されるデータ値）は、コンピュータ可読記憶媒体に記憶され得る。コンピュータ可読記憶媒体は、１つ以上のコンピュータ可読媒体で具現化され、かつコンピュータで実行可能なコンピュータ可読プログラムコードがその上で具現化されるコンピュータ可読プログラム製品の形態を採ることができる。本明細書で使用されるコンピュータ可読記憶媒体は、そこに情報を記憶する固有の能力、ならびにそこから情報の取得を提供する固有の能力が与えられた非一時的記憶媒体とみなされる。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または前述の任意の好適な組み合わせとすることができるが、これらに限定されない。以下は、本実施形態を適用し得るコンピュータ可読記憶媒体のより具体的な例を提供するが、当業者によって容易に理解されるように、ポータブルコンピュータディスケット、ハードディスク、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光学ストレージデバイス、磁気ストレージデバイス、または前述のいずれかの好適な組み合わせは、単に例示的であり、網羅的なリストではないことを理解されたい。

【0191】

命令は、プロセッサ可読媒体に有形に具現化されるアプリケーションプログラムを形成することができる。

【0192】

命令は、例えばハードウェア、ファームウェア、ソフトウェア、または組み合わせで行うことができる。命令は、例えば、オペレーティングシステム、個別アプリケーション、または２つの組み合わせに見出すことができる。したがって、プロセッサは、例えば、処理を実行するように構成されたデバイス、および処理を実行する命令を有するプロセッサ可読媒体（ストレージデバイスなど）を含むデバイスの両方として特徴付けることができる。さらに、プロセッサ可読媒体は、命令に加えて、または命令の代わりに、実装形態により生成されるデータ値を記憶することができる。

【0193】

装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実装することができる。このような装置の例には、パーソナルコンピュータ、ラップトップ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続された家電製品、ヘッドマウントディスプレイデバイス（ＨＭＤ、シースルーグラス）、プロジェクタ（ビーマー）、「Ｃａｖｅ」（複数のディスプレイを含むシステム）、サーバ、ビデオ符号化器、ビデオ復号器、ビデオ復号器からの出力を処理するポストプロセッサ、ビデオ符号化器への入力を提供するプリプロセッサ、Ｗｅｂサーバ、セットトップボックス、ならびに点群、ビデオ、画像、または他の通信デバイスを処理するための他のデバイス、が含まれる。明らかであるはずであるように、機器は、可搬式とすることができ、移動車両にさえ搭載することができる。

【0194】

コンピュータソフトウェアを、プロセッサ６０１０によって、またはハードウェアによって、またはハードウェアとソフトウェアとの組み合わせによって、実装してもよい。非限定的な例として、実施形態は、１つ以上の集積回路によって実装され得る。メモリ６０２０は、技術的環境に適切な任意のタイプであり得、非限定的な例として、光学メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、および取り外し可能メモリなどの任意の適切なデータストレージ技術を使用して実装され得る。プロセッサ６０１０は、技術的環境に適切な任意のタイプであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含し得る。

【0195】

当業者にとって明らかであるように、実装形態は、例えば、記憶または送信することができる情報を搬送するようにフォーマットされる多種多様な信号を生成することができる。情報は、例えば、方法を実行する命令、または説明される実装形態のうちの１つにより生成されるデータを含むことができる。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされてもよい。そのような信号は、例えば、電磁波（例えば、スペクトルの無線周波数部分を使用して）として、またはベースバンド信号としてフォーマットされてもよい。フォーマットすることは、例えば、データストリームを符号化することと、搬送波を符号化データストリームで変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ情報またはデジタル情報とすることができる。信号は、既知のように、多種多様な異なる有線リンクまたは無線リンクを介して送信され得る。信号は、プロセッサ可読媒体に格納することができる。

【0196】

本明細書で使用される用語は、特定の実施形態を説明することのみを目的とし、本開示を限定することを意図するものではない。本明細書で使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、特に文脈が明示しない限り、複数形も含むことが意図される。本明細書で使用される場合、「含む／備える」および／または「含んでいる／備えている」という用語は、述べられた、例えば、特徴、整数、ステップ、動作、要素、および／または構成要素の存在を特定し得るが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を排除しないことがさらに理解されよう。さらに、要素が別の要素に「応答する」または「接続される」と言及される場合、それは他の要素に直接応答するか、もしくは接続され得るか、または介在する要素が存在し得る。対照的に、要素が他の要素に「直接応答する」または「直接接続される」と言及される場合、介在する要素は存在しない。

【0197】

例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、ならびに「ＡおよびＢのうちの少なくとも１つ」の場合の「／」、「および／または」、ならびに「のうちの少なくとも１つ」のいずれかの使用は、最初に挙げた選択肢（Ａ）のみの選択、または２番目に挙げた選択肢（Ｂ）のみの選択、または両方の選択肢（ＡおよびＢ）の選択を網羅することを意図していることが分かるはずである。さらなる例として、「Ａ、Ｂ、および／またはＣ」ならびに「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、そのような言い回しは、１番目に列記された選択肢（Ａ）のみの選択、または２番目に列記された選択肢（Ｂ）のみの選択、または３番目に列記された選択肢（Ｃ）のみの選択、または１番目および２番目に列記された選択肢（ＡおよびＢ）のみの選択、または１番目および３番目に列記された選択肢（ＡおよびＣ）のみの選択、または２番目および３番目に列記された選択肢（ＢおよびＣ）のみの選択、または３つすべての選択肢（ＡおよびＢおよびＣ）の選択、を網羅することを意図している。これは、当業者にとって明らかなように、挙げられる項目の数だけ拡張され得る。

【0198】

本出願では、様々な数値が使用され得る。特定の値は、例示的な目的のためであり、説明された態様は、これらの特定の値に限定されるものではない。

【0199】

本明細書では、第１、第２などの用語を使用して様々な要素を説明する場合があるが、これらの要素はこれらの用語によって限定されるべきではないことが理解されよう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、本出願の教示から逸脱することなく、第１の要素は、第２の要素と称され得、同様に、第２の要素は、第１の要素と称され得る。第１の要素と第２の要素の間に順序付けの意味はない。

【0200】

「ある実施形態」もしくは「一実施形態」、または「ある実装形態」もしくは「一実装形態」、ならびにそれらの他の変形への言及は、（実施形態／実装形態に関連して説明された）特定の特徴、構造、特性などが、少なくとも１つの実施形態／実装形態に含まれることを伝えるために頻繁に使用される。したがって、本出願全体にわたって様々な箇所においてみられる、「一実施形態では」もしくは「ある実施形態では」または「一実装形態では」もしくは「ある実装形態では」という句、ならびに任意の他の変形の出現は、必ずしもすべてが同じ実施形態を指しているわけではない。

【0201】

同様に、本明細書における「ある実施形態／例／実装形態による」または「ある実施形態／例／実装形態では」、ならびにそれらの他の変形への言及は、（実施形態／例／実装形態に関連して説明された）特定の特徴、構造、特性が、少なくとも１つの実施形態／例／実装形態に含まれ得ることを伝えるために頻繁に使用される。本明細書の様々な場所での「ある実施形態／例／実装形態による」または「ある実施形態／例／実装形態では」という語句の出現は、必ずしもすべて同じ実施形態／例／実装形態を指しているわけではなく、別個または代替の実施形態／例／実装形態が他の実施形態／例／実装形態を必ずしも相互に排除しているわけでもない。

【0202】

特許請求の範囲に現れる参照番号は、例示としてのみであり、特許請求の範囲の範囲に限定的な影響を与えないものとする。明示的には説明されていないが、本実施形態／例および変形例は、任意の組み合わせまたは部分的な組み合わせで用いられ得る。

【0203】

図がフロー図として提示されている場合、それは、対応する装置のブロック図も提供することを理解されたい。同様に、図がブロック図として提示されている場合、それは、対応する方法／プロセスのフロー図も提供することを理解されたい。

【0204】

一部の図は、通信の主要な方向を示すために通信経路上に矢印を含んでいるが、通信は、描かれた矢印と反対の方向で発生することがあることを理解されたい。

【0205】

様々な実装形態は、復号を伴う。本出願で使用される「復号」は、再構築点群ドメインでの表示またはさらなる処理に好適な最終的な出力を生成するために、例えば、受信点群フレーム（場合によっては、１つ以上の点群フレームを符号化する受信ビットストリームを含む）で実行されるプロセスの全部または一部を包含し得る。様々な実施形態では、そのようなプロセスは、典型的には、画像ベース符号化器によって実行されるプロセスのうちの１つ以上を含む。

【0206】

さらなる例として、ある実施形態では、「復号」は、エントロピー復号のみを指し得、別の実施形態では、「復号」は、差分復号のみを指し得、別の実施形態では、「復号」は、エントロピー復号と差分復号との組み合わせを指し得る。「復号プロセス」という句が、具体的に動作のサブセット、または概してより広い復号プロセスを指すことを意図し得るかは、特定の説明の文脈に基づいて明確になり、かつ当業者によって十分に理解されると考えられる。

【0207】

様々な実装形態は、符号化を伴う。「復号」に関する上記の考察と同様に、本出願で使用される「符号化」は、例えば、符号化されたビットストリームを生成するために入力点群フレームで実行されるプロセスの全部または一部を包含し得る。様々な実施形態では、そのようなプロセスは、典型的には、画像ベース符号化器によって実行されるプロセスのうちの１つ以上を含む。

【0208】

さらなる例として、一実施形態では、「符号化」は、エントロピー符号化のみを指し得、別の実施形態では、「符号化」は、差分符号化のみを指し得、別の実施形態では、「符号化」は、差分符号化とエントロピー符号化との組み合わせを指し得る。「符号化プロセス」という句が、具体的に動作のサブセット、または概してより広い符号化プロセスを指すことを意図し得るかは、具体的な説明の文脈に基づいて明確になり、かつ当業者によって十分に理解されると考えられる。

【0209】

なお、本明細書で使用されている構文要素、例えば、フラグｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｍｏｄｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、説明的な用語である。したがって、それらは、他の構文要素名の使用を排除するものではない。

【0210】

様々な実施形態は、レート歪み最適化について言及する。特に、符号化プロセス中、多くの場合に計算の複雑さの制約を考えて、レートと歪みとの間のバランスまたはトレードオフが、通常、考慮される。レート歪みの最適化は、通常、レートと歪みの加重和であるレート歪み関数を最小化するように定式化され得る。レート歪みの最適化問題を解決するには、異なるアプローチがある。例えば、アプローチは、考慮されるすべてのモードまたはコード化パラメータ値を含む、すべての符号化オプションの広範なテストに基づき得、コード化および復号後の再構築された信号のコード化コストおよび関連する歪みの完全な評価を伴う。特に、再構築された信号ではなく、予測または予測残差信号に基づいて近似歪みを計算することによって、符号化の複雑さを軽減するために、より高速なアプローチを使用することもできる。可能な符号化オプションの一部にのみ近似歪みを使用し、他の符号化オプションに完全な歪みを使用することなどによって、これら２つのアプローチを組み合わせて使用することもできる。他のアプローチでは、可能な符号化オプションのサブセットのみを評価する。より一般的には、多くのアプローチが、最適化を実行するための様々な技術のうちのいずれかを採用するが、最適化は、必ずしもコード化コストおよび関連する歪みの両方の完全な評価ではない。

【0211】

さらに、本出願は、情報の様々な部分を「判断する」ことに言及する場合がある。情報を判断することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、またはメモリから情報を検索することのうちの１つ以上を含むことができる。

【0212】

さらに、本出願は、情報の様々な部分に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、情報を検索すること（例えば、メモリから）、情報を記憶すること、情報を移動させること、情報をコピーすること、情報を計算すること、情報を判断すること、情報を予測すること、または情報を推定することのうちの１つ以上を含むことができる。

【0213】

さらに、本出願は、情報の様々な部分を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることが意図されている。情報を受信することは、例えば、情報にアクセスすること、または（例えば、メモリから）情報を取り出すことのうちの１つ以上を含み得る。さらに、「受信すること」は、典型的には、何らかの方法で、例えば、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の判断、情報の予測、または情報の評価などの動作中に伴う。

【0214】

また、本明細書で使用される場合、「信号伝達する」という単語は、とりわけ、対応する復号器に何かを指し示すことを指す。例えば、特定の実施形態では、符号化器は、特定の構文要素ＳＥおよび／またはＰＬＲメタデータに信号伝達する。このようにして、実施形態では、同じパラメータ（ＰＬＲメタデータ）が、符号化器側および復号器側の両方で使用され得る。したがって、例えば、符号化器は、特定のパラメータを復号器に送信することができ（明示的な信号伝達）、その結果、復号器は、同じ特定のパラメータを使用することができる。逆に、復号器が既に特定のパラメータならびに他のパラメータを有する場合、信号伝達は、送信（暗黙的な信号伝達）を行わずに使用されて、復号器が簡単に特定のパラメータを認識して選択するのを可能にすることができる。いかなる実際の機能の送信も回避することによって、ビットの節約が、様々な実施形態で実現される。信号伝達は、様々な方式で達成され得ることが分かるはずである。例えば、１つ以上の構文要素、フラグなどが、様々な実施形態で、対応する復号器に情報を信号伝達するために使用される。上記は、「信号伝達する」という単語の動詞形に関するものであるが、「信号伝達」という単語はまた、本明細書では、名詞として使用することもできる。

【0215】

多数の実装形態が説明されてきた。それにもかかわらず、様々な変更を行うことができることが理解されよう。例えば、異なる実装形態の要素は、他の実装形態を生成するために組み合わせる、補足する、変更する、または削除することができる。また、当業者であれば、他の構造および処理を、開示される構造および処理に替えて用いることができ、結果として得られる実装形態が、少なくとも実質的に同じ機能を、少なくとも実質的に同じ方法で実行して、開示される実装形態として少なくとも実質的に同じ結果を達成することを理解するであろう。したがって、これらの実装形態および他の実装形態は、本出願により想到される。

【図1】

【図2】

【図3】

【図3a】

【図4】

【図5】

【図6】

【図7】

【図8】