特許 7607572 点群の処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-19

(45)【発行日】2024-12-27

(54)【発明の名称】点群の処理

(51)【国際特許分類】

   H04N 19/70 20140101AFI20241220BHJP

   H04N 19/597 20140101ALI20241220BHJP

【ＦＩ】

H04N19/70

H04N19/597

【請求項の数】 20

(21)【出願番号】P 2021549609

(86)(22)【出願日】2020-01-27

(65)【公表番号】

(43)【公表日】2022-04-22

(86)【国際出願番号】 US2020015150

(87)【国際公開番号】W WO2020190373

(87)【国際公開日】2020-09-24

【審査請求日】2023-01-25

(31)【優先権主張番号】19305313.9

(32)【優先日】2019-03-15

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】グーデ，セリーヌ

(72)【発明者】

【氏名】リカード，ジュリアン

(72)【発明者】

【氏名】ラック，ジョアン

【審査官】松元 伸次

(56)【参考文献】

【文献】特表２０２１－５２８９１７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

再構成された点群フレームの３Ｄサンプルの深度値を格納するレイヤから再構成された点群フレームへ少なくとも一つの追加の３Ｄサンプルを、第１の構文要素により示される局所的点再構成モードを用いて、生成することであって、前記局所的点再構成モードは、前記局所的点再構成モードを定義する少なくとも一つのパラメータを含む、ことと、
前記点群フレームのパッチ毎に第２の構文要素をビットストリーム中にシグナリングすることであって、前記第２の構文要素は、前記第１の構文要素がパッチ毎に一回でシグナリングされたかどうか、同一の第１の構文要素がパッチの全てのブロックについて使用されたかどうか、前記第１の構文要素がパッチの各ブロックについてシグナリングされたかどうかを示す、ことと、
前記第２の構文要素に依存する前記第１の構文要素をビットストリーム中にシグナリングすることと、
を含む方法。

【請求項2】

再構成された点群フレームの３Ｄサンプルの深度値を格納するレイヤから再構成された点群フレームへ少なくとも一つの追加の３Ｄサンプルを、第１の構文要素により示される局所的点再構成モードを用いて、生成することであって、前記局所的点再構成モードは、前記局所的点再構成モードを定義する少なくとも一つのパラメータを含む、ことと、
前記点群フレームのパッチ毎に第２の構文要素をビットストリーム中にシグナリングすることであって、前記第２の構文要素は、前記第１の構文要素がパッチ毎に一回でシグナリングされたかどうか、同一の第１の構文要素がパッチの全てのブロックについて使用されたかどうか、前記第１の構文要素がパッチの各ブロックについてシグナリングされたかどうかを示す、ことと、
前記第２の構文要素に依存する前記第１の構文要素をビットストリーム中にシグナリングすることと、
を行うように構成される１つ以上のプロセッサを含む装置。

【請求項3】

前記第１の構文要素は、参照テーブルのエントリの索引値であり、前記参照テーブルは、前記索引値と、前記局所的点再構成モードの前記少なくとも１つのパラメータについての特定の値との間の関係を定義する、請求項１に記載の方法。

【請求項4】

パッチは、点群フレームの少なくとも１つの３Ｄサンプルの射影平面への正射影を表す少なくとも１つの２Ｄサンプルの少なくとも１つのブロックの組である、請求項１若しくは３に記載の方法。

【請求項5】

前記第２の構文要素をシグナリングすることは、パッチが、所与の数よりも多いブロックを含むという判定に応答するものである、請求項１，３，４のいずれか一項に記載の方法。

【請求項6】

前記局所的点再構成モードのデフォルトモードを表す第３の構文要素をシグナリングすることを更に含む、請求項１，３～５のいずれか一項に記載の方法。

【請求項7】

再構成された点群フレームの３Ｄサンプルの深度値を格納するレイヤから再構成された点群フレームへ少なくとも一つの追加の３Ｄサンプルを、第１の構文要素により示される局所的点再構成モードを用いて、生成することであって、前記局所的点再構成モードは、前記局所的点再構成モードを定義する少なくとも一つのパラメータを含む、ことと、
前記点群フレームのパッチ毎に第２の構文要素をビットストリームから復号することであって、前記第２の構文要素は、前記第１の構文要素がパッチ毎に一回で復号されたかどうか、同一の第１の構文要素がパッチの全てのブロックについて使用されたかどうか、前記第１の構文要素がパッチの各ブロックについて復号されたかどうかを示す、ことと、
前記第２の構文要素に依存する前記第１の構文要素をビットストリームから復号することと、
を含む方法。

【請求項8】

再構成された点群フレームの３Ｄサンプルの深度値を格納するレイヤから再構成された点群フレームへ少なくとも一つの追加の３Ｄサンプルを、第１の構文要素により示される局所的点再構成モードを用いて、生成することであって、前記局所的点再構成モードは、前記局所的点再構成モードを定義する少なくとも一つのパラメータを含む、ことと、
前記点群フレームのパッチ毎に第２の構文要素をビットストリームから復号することであって、前記第２の構文要素は、前記第１の構文要素がパッチ毎に一回で復号されたかどうか、同一の第１の構文要素がパッチの全てのブロックについて使用されたかどうか、前記第１の構文要素がパッチの各ブロックについて復号されたかどうかを示す、ことと、
前記第２の構文要素に依存する前記第１の構文要素をビットストリームから復号することと、
を行うように構成される１つ以上のプロセッサを含む装置。

【請求項9】

前記第１の構文要素は、参照テーブルのエントリの索引値であり、前記参照テーブルは、前記索引値と、前記局所的点再構成モードの前記少なくとも１つのパラメータについての特定の値との間の関係を定義する、請求項７に記載の方法。

【請求項10】

パッチは、点群フレームの少なくとも１つの３Ｄサンプルの射影平面への正射影を表す少なくとも１つの２Ｄサンプルの少なくとも１つのブロックの組である、請求項７若しくは９に記載の方法。

【請求項11】

前記第２の構文要素を復号することは、パッチが、所与の数よりも多いブロックを含むという判定に応答するものである、請求項７，９，１０のいずれか一項に記載の方法。

【請求項12】

前記方法は、前記局所的点再構成モードのデフォルトモードを表す第３の構文要素を復号することを更に含む、請求項７，９～１１のいずれか一項に記載の方法。

【請求項13】

コンピュータプログラム製品であって、プログラムが１つ以上のプロセッサによって実行されると、前記１つ以上プロセッサに、請求項１又は３～７若しくは９～１２のいずれか一項に記載の方法を実行させる命令を含むコンピュータプログラム製品。

【請求項14】

非一時的コンピュータ可読媒体であって、１つ以上のプロセッサに、請求項１又は３～７若しくは９～１２のいずれか一項に記載の方法を実行させるための命令を含む非一時的コンピュータ可読媒体。

【請求項15】

前記第２の構文要素を復号することは、パッチが、所与の数よりも多いブロックを含むという判定に応答するものである、請求項８に記載の装置。

【請求項16】

前記局所的点再構成モードは、４つのパラメータを含み、前記パラメータの値は、点群フレームの少なくとも一つの点を再構成するモードを定義し、
前記４つのパラメータは、
前記少なくとも一つの点を再構成するために点補間が用いられたかどうかを示す第１のフラグと、
前記少なくとも一つの点を再構成するために充填モードが用いられたかどうかを示す第２のフラグと、
前記少なくとも一つの点を再構成するために用いられる最小深度値から１を減じた値を示す第１の値と、
前記少なくとも一つの点を再構成するために用いられる２Ｄ近傍のサイズから１を減じた値を示す第２の値と、
を含む、請求項８に記載の装置。

【請求項17】

前記参照テーブルは、ビットストリーム中にシグナリングされる、請求項９に記載の方法。

【請求項18】

前記局所的点再構成モードは、３Ｄサンプルのレイヤを入力として取り、前記局所的点再構成モードの前記少なくとも一つのパラメータにより駆動される一組のフィルタを適用する、請求項８に記載の装置。

【請求項19】

前記局所的点再構成モードは、４つのパラメータを含み、前記パラメータの値は、点群フレームの少なくとも一つの点を再構成するモードを定義し、
前記４つのパラメータは、
前記少なくとも一つの点を再構成するために点補間が用いられたかどうかを示す第１のフラグと、
前記少なくとも一つの点を再構成するために充填モードが用いられたかどうかを示す第２のフラグと、
前記少なくとも一つの点を再構成するために用いられる最小深度値から１を減じた値を示す第１の値と、
前記少なくとも一つの点を再構成するために用いられる２Ｄ近傍のサイズから１を減じた値を示す第２の値と、
を含む、請求項７に記載の方法。

【請求項20】

前記参照テーブルは、ビットストリーム中にシグナリングされる、請求項３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
本実施形態の少なくとも１つは、概して、点群の処理に関する。

【背景技術】

【0002】

背景
本節は、以下で記述及び／又は特許請求される本実施形態の少なくとも１つの各種の態様に関連し得る技術の各種の態様を読者に紹介することを意図する。以下の議論は、少なくとも１つの実施形態の各種の態様のよりよい理解を促進するために、読者に背景情報を提供するうえで役立つものと思われる。

【0003】

点群は、文化遺産／建造物等、様々な目的で用いることができ、像又は建造物等の物体を運搬又は現地訪問することなく、その空間構成を共有するために物体を３Ｄ走査する。それは、地震による寺院の倒壊等、物体が破壊される恐れがある場合に備えて物体の知識を確実に保存する方法でもある。そのような点群は、典型的には、静的であり、彩色であり且つ巨大である。

【0004】

別の使用事例として、地形学及び地図学において、３Ｄ表現を用いることにより、平面に限定されず、起伏を含み得る地図が可能になり得る。今日、Google Mapsは、３Ｄマップのよい例であるが、点群の代わりにメッシュを用いる。しかし、点群は、３Ｄマップに適したデータ形式であり得、このような点群は、典型的には、静的であり、彩色であり且つ巨大である。

【0005】

自動車産業及び自動運転車も点群を利用できる領域である。自動運転車は、直近隣接する現実に基づいて良好な運転判断を行うために、自らの環境を「探索」可能でなければならない。ＬＩＤＡＲ（光検知測距）等の典型的なセンサは、決定エンジンによって用いられる動的点群を生成する。これらの点群は、人間による視認を意図せず、典型的には小さく、必ずしも彩色されず、且つ動的であるため、高周波撮像を必要とする。これらの点群は、ＬＩＤＡＲによって提供される反射率等の他の属性を有し得、なぜなら、その属性が検知された物体の材料に関する良好な情報を提供して決定を行う際に役立ち得るからである。

【0006】

仮想現実及び没入世界は、近年、注目の話題となっており、多くの人々が２Ｄフラットビデオの将来として予想している。基本的な考えは、視聴者が眼前の仮想世界のみを見ることができる標準的なテレビとは対照的に、視聴者を取り巻く環境に視聴者を没入させることである。環境内における視聴者の自由度に応じて、没入度には、いくつかの階調がある。点群は、仮想現実（ＶＲ）世界を配信するための良好な形式の候補である。

【0007】

適度な量のビットレート（又は記憶アプリケーションの場合には記憶空間）のみを消費することにより、受容可能な（又は好ましくは極めて良好な）体験品質を維持しながら、動的点群をエンドユーザーに配信（又はサーバに保存）することが可能であることが多くのアプリケーションで重要である。これらの動的点群の効率的な圧縮は、多くの没入世界の配信チェーンを実用的にするために重要な点である。

【発明の概要】

【課題を解決するための手段】

【0008】

上述の事項を念頭に少なくとも１つの実施形態が考案されている。

【0009】

概要
本開示のいくつかの態様の基本的な理解を提供するために、本実施形態の少なくとも１つの概要を以下に示す。本概要は、一実施形態の広範な概要ではない。一実施形態の主要な又は必須の要素の識別を意図しない。以下の概要は、単に、本実施形態の少なくとも１つの複数の態様を、本明細書の他の箇所に示すより詳細な記述の序論として簡素化した形式で示すに過ぎない。

【0010】

少なくとも１つの実施形態の一般的な態様によれば、局所的点再構成モードを表す第１の構文要素をビットストリームでシグナリングすることを含む方法であって、前記局所的点再構成モードは、点群フレームの少なくとも１つの点を再構成するためのモードを定義する少なくとも１つのパラメータを表す、方法が提供される。

【0011】

一実施形態によれば、前記局所的点再構成モードは、参照テーブルのエントリの索引値であり、参照テーブルは、前記索引値と、前記少なくとも１つのパラメータとの間の関係を定義する。

【0012】

一実施形態によれば、第１の構文要素は、ブロック毎又はパッチ毎のいずれかでシグナリングされ、パッチは、点群フレームの少なくとも１つの３Ｄサンプルの射影平面への正射影を表す２Ｄサンプルの少なくとも１つのブロックの組である。

【0013】

一実施形態によれば、パッチは、点群フレームの少なくとも１つの３Ｄサンプルの射影平面への正射影を表す少なくとも１つの２Ｄサンプルの少なくとも１つのブロックの組であり、本方法は、パッチ毎に、単一の第１の構文要素がパッチの全てのブロックについて１回でシグナリングされるかどうか、又は第１の構文要素がパッチの各ブロックについてシグナリングされるかどうかを示す第２の構文要素をシグナリングすることを更に含む。

【0014】

一実施形態によれば、パッチが、所与の数よりも多いブロックを含む場合にのみ、前記第２の構文要素をシグナリングする。

【0015】

一実施形態によれば、本方法は、デフォルトの局所的点再構成モードを表す第３の構文要素をシグナリングすることを更に含む。

【0016】

一実施形態によれば、前記第３の構文要素を点群フレーム毎及び／又はパッチ毎にシグナリングし、パッチは、点群フレームの少なくとも１つの３Ｄサンプルの射影平面への正射影を表す２Ｄサンプルの少なくとも１つのブロックの組である。

【0017】

一実施形態によれば、パッチは、点群フレームの少なくとも１つの３Ｄサンプルの射影平面への正射影を表す複数の２Ｄサンプルの少なくとも１つのブロックの組であり、本方法は、ブロック毎又はパッチ毎の前記第１の構文要素の粒度及びパッチ毎の前記第３の構文要素の使用をシグナリングするために使用される第４の構文要素をシグナリングすることを更に含む。

【0018】

一実施形態によれば、第１の構文要素は、少なくとも１つの以前にシグナリングされた第１の構文要素と異なって符号化される。

【0019】

本実施形態の少なくとも１つのうちの１つ以上は、装置、コンピュータプログラム、信号及び非一時的コンピュータ可読記憶媒体も提供する。

【0020】

本実施形態の少なくとも１つの特定の性質及び本実施形態の前記少なくとも１つの他の目的、利点、特徴及び使用は、添付の図面と合わせて列挙する例に関する以下の記述から明らかになるであろう。

【0021】

図面の簡単な説明
図面にいくつかの実施形態の例を示す。

【図面の簡単な説明】

【0022】

【図1】本実施形態の少なくとも１つによる２層構成の点群符号化構造の一例の概略ブロック図を示す。

【図2】本実施形態の少なくとも１つによる２層構成の点群復号化構造の一例の概略ブロック図を示す。

【図3】本実施形態の少なくとも１つによる画像解析点群エンコーダの一例の概略ブロック図を示す。

【図3a】２つのパッチ及びそれらの２Ｄ境界ボックスを含むキャンバスの一例を示す。

【図4】本実施形態の少なくとも１つによる画像解析点群デコーダの一例の概略ブロック図を示す。

【図5】本実施形態の少なくとも１つによる基層ＢＬを表すビットストリームの構文の一例を概略的に示す。

【図6】各種の態様及び実施形態が実装されたシステムの一例の概略ブロック図を示す。

【図7】本実施形態の少なくとも１つによる局所的点再構成モードのシグナリング方法の一例の概略ブロック図を示す。

【図8a】ステップ７１０の実施形態による参照テーブルＬＵＴの一例を示す。

【図8b】ステップ７１０の実施形態による参照テーブルＬＵＴの一例を示す。

【図8c】ステップ７１０の実施形態による参照テーブルＬＵＴをシグナリングする構文の一例を示す。

【図8d】ステップ７１０の本実施形態の一例を示す。

【図8e】ステップ７１０の本実施形態の一例を示す。

【図9】図７の方法の一実施形態の一例を示す。

【図10】図７の方法の一実施形態の一変型形態の一例を示す。

【図11】図８ｃの一変型形態の一例を示す。

【図12a】図７の方法の一実施形態の複数の例を示す。

【図12b】図７の方法の一実施形態の複数の例を示す。

【図13】図１２ｂの方法の一変型形態の一例を示す。

【図14】図７の方法の一変型形態の一例を示す。

【図15】図７の方法の一実施形態の一例を示す。

【発明を実施するための形態】

【0023】

発明の詳細な説明
本実施形態の少なくとも１つについて、本実施形態の少なくとも１つの複数の例を示す添付図面を参照しながら以下により詳細に記述する。しかし、１つの実施形態が多くの代替的な形式で具現化され得、本明細書に開示する例に限定されるものと解釈すべきではない。従って、開示する特定の形式に実施形態を限定する意図がないことを理解されたい。逆に、本開示は、本出願の範囲に含まれる全ての変更形態、均等物及び代替形態を網羅することを意図する。

【0024】

図がフロー図として提示される場合、対応する装置のブロック図も提示されるものと理解されたい。同様に、図がブロック図として提示される場合、対応する方法／処理のフロー図も提示されるものと理解されたい。

【0025】

複数の図の類似又は同一の要素は、同一の参照番号で参照される。

【0026】

いくつかの図は、Ｖ－ＰＣＣに準拠するビットストリームの構造を定義するＶ－ＰＣＣで広く用いられる構文テーブルを表す。これらの構文テーブルにおいて、用語「．．．」は、Ｖ－ＰＣＣで与えられるが、読み易いように図で省略された元の定義に関して不変である構文の部分を表す。図中の太字の用語は、その用語の値がビットストリームを解析することにより得られたことを示す。構文テーブルの右列は、構文要素のデータの符号化に要するビット数を示す。例えば、ｕ（４）は、データの符号化に４ビットを用いることを示し、ｕ（８）は、データの符号化に８ビットを用いることを示し、ａｅ（ｖ）は、文脈適応算術エントロピー符号化構文要素を示す。

【0027】

以下に記述及び考察する態様は、多くの異なる形式で実装され得る。以下の図１～１５は、いくつかの実施形態を示すが、他の実施形態も考えられ、図１～１５の内容は、実装形態の広さを限定しない。

【0028】

複数の態様の少なくとも１つは、一般に、点群符号化及び復号化に関し、他の少なくとも１つの態様は、一般に、生成又は符号化されたビットストリームの送信に関する。

【0029】

より厳密には、本明細書に記述する各種の方法及び他の態様は、モジュール、例えば図３のパッチ情報エンコーダ３７００で生じるようなメタデータの符号化に関連するモジュール、及び図４のパッチ情報デコーダ４４００又は図４のジオメトリ生成モジュール４５００における再構成処理で生じるようなメタデータの復号化に関連するモジュールの変更に用いることができる）。

【0030】

更に、本態様は、点群圧縮に関するＭＰＥＧ－Ｉ第５部のようなＭＰＥＧ標準に限定されず、例えば既存の又は将来的に設定される他の標準及び勧告並びにそのような標準及び勧告（ＭＰＥＧ－Ｉ第５部を含む）の任意の拡張に適用され得る。別途指示されるか又は技術的に排除されない限り、本出願に記述する複数の態様は、個別に又は組み合わせて用いることができる。

【0031】

以下では、画像データは、データ、例えば特定の画像／ビデオ形式の２Ｄサンプルの１つ又は複数のアレイを指す。特定の画像／ビデオ形式は、画像（又はビデオ）のピクセル値に関する情報を指定することができる。特定の画像／ビデオ形式は、ディスプレイ及び／又は他の任意の装置により、例えば画像（又はビデオ）を視覚化及び／又は復号化するために利用できる情報を指定することもできる。画像は、典型的には、通常、画像の輝度（又はルーマ）を表すサンプルの第１の２Ｄアレイの形状で第１の成分を含む。画像は、通常、画像のクロミナンス（又は彩度）を表すサンプルの他の２Ｄアレイの形状で第２の成分及び第３の成分も含み得る。いくつかの実施形態は、従来の三色ＲＧＢ表現のようなカラーサンプルの２Ｄアレイの組を用いて同じ情報を表す。

【0032】

１つ以上の実施形態では、ピクセル値をＣ個の値のベクトルにより表現し、ここで、Ｃは、成分の数である。ベクトルの各値は、典型的には、ピクセル値のダイナミックレンジを定義できるビットの数で表される。

【0033】

画像ブロックは、画像に属するピクセルの組を意味する。画像ブロック（又は画像ブロックデータ）のピクセル値は、画像ブロックに属するピクセルの値を指す。画像ブロックは、任意の形状を有し得るが、長方形が一般的である。

【0034】

点群は、一意な座標を有し、且つ１つ以上の属性を有し得る３Ｄ体積空間内の３Ｄサンプルのデータ組により表すことができる。

【0035】

データ組の３Ｄサンプルは、空間位置（３Ｄ空間のＸ、Ｙ及びＺ座標）及び場合により例えばＲＧＢ又はＹＵＶ色空間で表現される色、透過率、反射率、２成分法線ベクトル又はサンプルの特徴を表す任意の特徴等の１つ以上の関連する属性により定義することができる。例えば、３Ｄサンプルを６つの成分（Ｘ、Ｙ、Ｚ、Ｒ、Ｇ、Ｂ）又は均等に（Ｘ、Ｙ、Ｚ、ｙ、Ｕ、Ｖ）で定義することができ、ここで、（Ｘ，Ｙ，Ｚ）は、３Ｄ空間内の点の座標を定義し、（Ｒ，Ｇ，Ｂ）又は（ｙ，Ｕ，Ｖ）は、３Ｄサンプルの色を定義する。同種の属性が複数回存在し得る。例えば、複数の色属性は、異なる視点からの色情報を提供することができる。

【0036】

点群は、群が時間経過に伴って変化するか否かに応じて静的又は動的であり得る。静的点群又は動的点群のインスタンスは、通常、点群フレームと表記される。動的点群の場合、点の数が一般に一定ではなく、逆に一般に時間経過に伴って変化することに留意されたい。より一般的には、点群が動的であると考えられるのは、何らかの属性、例えば点の数、１つ以上の点の位置又は任意の点の任意の属性が時間経過に伴って変化する場合である。

【0037】

一例として、２Ｄサンプルは、６つの成分（ｕ、ｖ、Ｚ、Ｒ、Ｇ、Ｂ）又は均等に（ｕ、ｖ、Ｚ、ｙ、Ｕ、Ｖ）により定義することができる。（ｕ，ｖ）は、射影平面の２Ｄ空間における２Ｄサンプルの座標を定義する。Ｚは、射影平面に射影された３Ｄサンプルの深さ値である。（Ｒ，Ｇ，Ｂ）又は（ｙ，Ｕ，Ｖ）は、３Ｄサンプルの色を定義する。

【0038】

図１は、本実施形態の少なくとも１つによる２層構成の点群符号化構造１０００の一例の概略ブロック図を示す。

【0039】

２層構成の点群符号化構造１０００は、入力点群フレームＩＰＣＦを表すビットストリームＢを生成することができる。場合により、前記入力点群フレームＩＰＣＦは、動的点群のフレームを表す。次いで、前記動的点群のフレームは、別のフレームとは独立に２層構成の点群符号化構造１０００により符号化することができる。

【0040】

基本的に、２層構成の点群符号化構造１０００は、ビットストリームＢを基層ＢＬ及び拡張層ＥＬとして構築する能力を提供することができる。基層ＢＬは、入力点群フレームＩＰＣＦの損失表現を提示することができ、拡張層ＥＬは、基層ＢＬにより表現されない孤立点を符号化することにより、より高品質（場合により無損失）の表現を提示することができる。

【0041】

基層ＢＬは、図３に示すように、画像解析エンコーダ３０００により提供することができる。前記画像解析エンコーダ３０００は、入力点群フレームＩＰＣＦの３Ｄサンプルのジオメトリ／属性を表すジオメトリ／テクスチャ画像を提供することができる。これにより、孤立した３Ｄサンプルを除去することができる。基層ＢＬは、中間の再構成された点群フレームＩＲＰＣＦを提供できる、図４に示すような画像解析デコーダ４０００により復号化することができる。

【0042】

次いで、図１の２層構成の点群符号化１０００に戻り、コンパレータＣＯＭＰは、逸失／孤立３Ｄサンプルを検知／位置特定するために、入力点群フレームＩＰＣＦの３Ｄサンプルを中間の再構成された点群フレームＩＲＰＣＦの３Ｄサンプルと比較することができる。次に、エンコーダＥＮＣは、逸失３Ｄサンプルを符号化して拡張層ＥＬを提供することができる。最後に、基層ＢＬ及び拡張層ＥＬをマルチプレクサＭＵＸにより多重化して、ビットストリームＢを生成することができる。

【0043】

一実施形態によれば、エンコーダＥＮＣは、中間の再構成された点群フレームＩＲＰＣＦの３Ｄ基準サンプルＲを検知して、逸失３ＤサンプルＭに関連付けることができる検知器を含み得る。

【0044】

例えば、逸失３ＤサンプルＭに関連付けられた３Ｄ基準サンプルＲは、所与の尺度によるＭの最近隣であり得る。

【0045】

一実施形態によれば、エンコーダＥＮＣは、次いで、逸失３ＤサンプルＭの空間位置及びそれらの属性を、前記３Ｄ基準サンプルＲの空間位置及び属性に従って決定された差異として符号化することができる。

【0046】

一変型形態において、これらの差異は、別個に符号化することができる。

【0047】

例えば、空間座標ｘ（Ｍ）、ｙ（Ｍ）及びｚ（Ｍ）を有する逸失３ＤサンプルＭの場合、ｘ座標位置差Ｄｘ（Ｍ）、ｙ座標位置差Ｄｙ（Ｍ）、Ｚ座標位置差Ｄｚ（Ｍ）、Ｒ属性成分差Ｄｒ（Ｍ）、Ｇ属性成分差Ｄｇ（Ｍ）及びＢ属性成分差Ｄｂ（Ｍ）は、以下のように計算することができる：
Ｄｘ（Ｍ）＝ｘ（Ｍ）－ｘ（Ｒ）
（式中、ｘ（Ｍ）は、図３に示すジオメトリ画像の３ＤサンプルＭ又はＲのｘ座標である）、
Ｄｙ（Ｍ）＝ｙ（Ｍ）－ｙ（Ｒ）
（式中、ｙ（Ｍ）は、図３に示すジオメトリ画像の３ＤサンプルＭ又はＲのｙ座標である）、
Ｄｚ（Ｍ）＝ｚ（Ｍ）－ｚ（Ｒ）
（式中、ｚ（Ｍ）は、図３に示すジオメトリ画像の３ＤサンプルＭ又はＲのｚ座標である）、
Ｄｒ（Ｍ）＝Ｒ（Ｍ）－Ｒ（Ｒ）
（式中、Ｒ（Ｍ）又はＲ（Ｒ）は、３ＤサンプルＭ又はＲの色属性のｒ色成分である）、
Ｄｇ（Ｍ）＝Ｇ（Ｍ）－Ｇ（Ｒ）
（式中、Ｇ（Ｍ）又はＧ（Ｒ）は、３ＤサンプルＭ又はＲの色属性のｇ色成分である）、
Ｄｂ（Ｍ）＝Ｂ（Ｍ）－Ｂ（Ｒ）
（式中、Ｂ（Ｍ）又はＢ（Ｒ）は、３ＤサンプルＭ又はＲの色属性のｂ色成分である）。

【0048】

図２は、本実施形態の少なくとも１つによる２層構成の点群復号化構造２０００の一例の概略ブロック図を示す。

【0049】

２層構成の点群復号化構造２０００の挙動は、能力に依存する。

【0050】

能力が限定された２層構成の点群復号化構造２０００は、デマルチプレクサＤＭＵＸを用いて、ビットストリームＢからの基層ＢＬのみにアクセスし、次いで、図４に示すように、点群デコーダ４０００により基層ＢＬを復号化により入力点群フレームＩＰＣＦの忠実な（しかし、損失的な）バージョンＩＲＰＣＦを提供することができる。

【0051】

全能力を有する２層構成の点群復号化構造２０００は、デマルチプレクサＤＭＵＸを用いて、ビットストリームＢから基層ＢＬ及び拡張層ＥＬの両方にアクセスすることができる。点群デコーダ４０００は、図４に示すように、基層ＢＬから中間の再構成された点群フレームＩＲＰＣＦを決定することができる。デコーダＤＥＣは、拡張層ＥＬから相補点群フレームＣＰＣＦを決定することができる。次いで、コンバイナＣＯＭは、中間の再構成された点群フレームＩＲＰＣＦと相補点群フレームＣＰＣＦとを組み合わせることにより、入力点群フレームＩＰＣＦのより高品質（場合により無損失）の表現（再構成）ＣＲＰＣＦを提供することができる。

【0052】

図３は、本実施形態の少なくとも１つによる画像解析点群エンコーダ３０００の一例の概略ブロック図を示す。

【0053】

画像解析点群エンコーダ３０００は、既存のビデオコーデックを利用して動的点群のジオメトリ及びテクスチャ（属性）情報を圧縮する。これは、点群データを、異なるビデオシーケンスの組に本質的に変換することにより実現される。

【0054】

特定の実施形態において、既存のビデオコーデックを用いて、１つが点群データのジオメトリ情報を捕捉し、他の１つがテクスチャ情報を捕捉する２つのビデオを生成及び圧縮することができる。既存のビデオコーデックの一例は、ＨＥＶＣ主プロファイルエンコーダ／デコーダ（ＩＴＵ（０２／２０１８）、シリーズＨのＩＴＵ－Ｔ Ｈ．２６５電気通信標準化セクター：視聴覚及びマルチメディアシステム、視聴覚サービスのインフラ － 動画ビデオの符号化、高効率ビデオ符号化、勧告ＩＴＵ－Ｔ Ｈ．２６５）である。

【0055】

２つのビデオの解釈に用いる追加的メタデータも典型的には別個に生成及び圧縮される。そのような追加的メタデータは、例えば、占有マップＯＭ及び／又は補助パッチ情報ＰＩを含む。

【0056】

生成されたビデオビットストリーム及びメタデータは、次いで、多重化されて結合ビットストリームを生成し得る。

【0057】

メタデータは、典型的には、全体的な情報の僅かな量のみを表すことに留意されたい。大部分の情報は、ビデオビットストリームに存在する。

【0058】

そのような点群符号化／復号化処理の一例は、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ２０１９／ｗ１８１８０（２０１９年１月、Marrakesh）に定義されているＭＰＥＧドラフト標準を実装するテストモデルカテゴリ２アルゴリズム（Ｖ－ＰＣＣとも表記）に与えられている。

【0059】

ステップ３１００において、モジュールＰＧＭは、最良圧縮を提供する戦略を用いて、入力点群フレームＩＰＣＦのデータ組を表す３Ｄサンプルを射影平面上の２Ｄサンプルに分解することにより、少なくとも１つのパッチを生成することができる。

【0060】

パッチは、２Ｄサンプルの組として定義することができる。

【0061】

例えば、Ｖ－ＰＣＣにおいて、例えばHoppeら（Hugues Hoppe, Tony DeRose, Tom Duchamp, John McDonald, Werner Stuetzle, Surface reconstruction from unorganized points. ACM SIGGRAPH 1992 Proceedings, 71-78）に記述されているように、３Ｄサンプル毎に法線を最初に推定する。次に、各３Ｄサンプルを、入力点群フレームＩＰＣＦの３Ｄサンプルを含む３Ｄ境界ボックスの６つの有向平面の１つに関連付けることにより、入力点群フレームＩＰＣＦの初期クラスタリングを取得する。より厳密には、各３Ｄサンプルは、クラスタリングされ、最も近い法線を有する（すなわち点法線と平面法線との内積を最大化する）有向平面に関連付けられる。次いで、３Ｄサンプルを、関連付けられた平面に射影する。平面内の接続領域を形成する３Ｄサンプルの組を接続成分と呼ぶ。接続成分は、類似した法線及び関連付けられた同一の有向平面を有する少なくとも１つの３Ｄサンプルの組である。初期クラスタリングは、次いで、法線及び最も近い隣接サンプルのクラスタに基づいて、各３Ｄサンプルに関連付けられたクラスタを反復的に更新することにより改良される。最終ステップは、各接続成分から１つのパッチを生成することからなり、各接続成分の３Ｄサンプルを、前記接続成分に関連付けられた有向平面に射影することにより行われる。パッチは、ジオメトリ及び／又は属性情報に対応する射影２Ｄサンプルを解釈するために、パッチ毎に定義された補助パッチ情報を表す補助パッチ情報ＰＩに関連付けられる。

【0062】

Ｖ－ＰＣＣにおいて、例えば、補助パッチ情報ＰＩは、１）接続成分の３Ｄサンプルを含む３Ｄ境界ボックスの６つの有向平面の１つを示す情報、２）平面法線に関連する情報、３）深さ、接線変位及び双接線変位として表される、パッチに相対的な接続成分の３Ｄ位置を決定する情報、及び４）パッチを含む２Ｄ境界ボックスを画定する射影平面内の座標（ｕ０、ｖ０、ｕ１、ｖ１）等の情報を含む。

【0063】

ステップ３２００において、パッチパッキングモジュールＰＰＭは、少なくとも１つの生成されたパッチを、未使用空間を典型的に最小化する重なりが一切生じないように２Ｄ格子（キャンバスとも呼ばれる）にマッピング（配置）して、２Ｄ格子の全てのＴ×Ｔ（例えば、１６×１６）個のブロックが一意なパッチに関連付けられることを保証することができる。２Ｄ格子の所与の最小ブロックサイズＴ×Ｔは、２Ｄ格子に配置された異なるパッチ間の最短距離を指定することができる。２Ｄ格子の解像度は、入力点群サイズ並びにその幅Ｗ及び高さＨに依存し得、ブロックサイズＴは、メタデータとしてデコーダに送信され得る。

【0064】

補助パッチ情報ＰＩは、２Ｄ格子のブロックとパッチとの関連付けに関連する情報を更に含み得る。

【0065】

Ｖ－ＰＣＣにおいて、補助情報ＰＩは、２Ｄ格子のブロックとパッチ索引との関連付けを決定するブロック対パッチ索引情報（BlockToPatch）を含み得る。

【0066】

図３ａは、２つのパッチＰ１及びＰ２並びにそれらに関連付けられた２Ｄ境界ボックスＢ１及びＢ２を含むキャンバスＣの一例を示す。２つの境界ボックスは、図３ａに示すように、キャンバスＣ内で重なり得ることに留意されたい。２Ｄ格子（キャンバスの分割）は、境界ボックス内でのみ表されるが、これらの境界ボックスの外側でキャンバスの分割も生じる。パッチに関連付けられた境界ボックスは、Ｔ×Ｔ個のブロックに分割でき、典型的にはＴ＝１６である。

【0067】

パッチに属する２Ｄサンプルを含むＴ×Ｔ個のブロックは、対応する占有マップＯＭ内の占有されたブロックと見なすことができる。占有マップＯＭのブロックは、従って、ブロックが占有されているか否か、すなわちパッチに属する２Ｄサンプルを含むか否かを示す。

【0068】

図３ａにおいて、占有ブロックを白いブロックで表し、明るいグレーのブロックを空きブロックを表す。画像生成処理（ステップ３３００及び３４００）は、少なくとも１つの生成されたパッチの、ステップ３２００で計算された２Ｄ格子へのマッピングを利用して、入力点群フレームＩＰＣＦのジオメトリ及びテクスチャを画像として保存する。

【0069】

ステップ３３００において、ジオメトリ画像ジェネレータＧＩＧは、入力点群フレームＩＰＣＦ、占有マップＯＭ及び補助パッチ情報ＰＩから少なくとも１つのジオメトリ画像ＧＩを生成することができる。ジオメトリ画像ジェネレータＧＩＧは、ジオメトリ画像ＧＩ内における占有ブロック、従って非空ピクセルを検出（位置特定）するために占有マップ情報を利用することができる。

【0070】

ジオメトリ画像ＧＩは、入力点群フレームＩＰＣＦのジオメトリを表すことができ、例えばＹＵＶ４２０－８ｂｉｔ形式で表されたＷ×Ｈピクセルのモノクロ画像であり得る。

【0071】

（同一の射影方向（線）に沿って）射影平面の同じ２Ｄサンプルに射影（マッピング）される複数の３Ｄサンプルのケースをより良好に扱うために、層と呼ばれる複数の画像が生成される場合がある。従って、異なる深さ値Ｄ１，．．．，Ｄｎがパッチの２Ｄサンプルに関連付けられ得、次いで複数のジオメトリ画像が生成され得る。

【0072】

Ｖ－ＰＣＣにおいて、パッチの２Ｄサンプルが２つの層に射影される。近方層とも呼ばれる第１の層は、例えば、より浅い深さを有する２Ｄサンプルに関連付けられた深さ値Ｄ０を保存することができる。遠方層とも呼ばれる第２の層は、例えば、より深い深さを有する２Ｄサンプルに関連付けられた深さ値Ｄ１を保存することができる。代替的に、第２の層は、深さ値Ｄ１及びＤ０間の差異値を保存することができる。例えば、第２の深さ画像により保存された情報は、［Ｄ０，Ｄ０＋Δ］の範囲の深さ値に対応する間隔［０，Δ］の範囲であり得、ここで、Δは、表面の厚さを記述するユーザー定義パラメータである。

【0073】

このように、第２の層は、顕著な等高線状の高周波特性を含み得る。従って、従来のビデオコーダーを用いる第２の深さ画像の符号化は、困難であることが明らかであり、従って前記復号化された第２の深さ画像から深さ値が良好に再構成されず、再構成された点群フレームのジオメトリの品質が低い場合がある。

【0074】

一実施形態によれば、ジオメトリ画像生成モジュールＧＩＧは、補助パッチ情報ＰＩを用いて、第１及び第２の層の２Ｄサンプルに関連付けられた深さ値を符号化（導出）することができる。

【0075】

Ｖ－ＰＣＣにおいて、対応する接続成分を有するパッチ内の３Ｄサンプルの位置は、深さδ（ｕ，ｖ）、接線シフトｓ（ｕ，ｖ）及び双接線シフトｒ（ｕ，ｖ）を用いて、以下の式で表すことができる。
δ（ｕ，ｖ）＝δ０＋ｇ（ｕ，ｖ）
ｓ（ｕ，ｖ）＝ｓ０－ｕ０＋ｕ
ｒ（ｕ，ｖ）＝ｒ０－ｖ０＋ｖ
ここで、ｇ（ｕ，ｖ）は、ジオメトリ画像のルーマ成分であり、（ｕ，ｖ）は、射影平面上の３Ｄサンプルに関連付けられたピクセルであり、（δ０，ｓ０，ｒ０）は、３Ｄサンプルが属する接続成分の対応するパッチの３Ｄ位置であり、（ｕ０，ｖ０，ｕ１，ｖ１）は、前記接続成分に関連付けられたパッチの射影平面を含む２Ｄ境界ボックスを画定する前記射影平面内の座標である。

【0076】

従って、ジオメトリ画像生成モジュールＧＩＧは、（第１若しくは第２の又は両方の）層の２Ｄサンプルに関連付けられた深さ値を、ｇ（ｕ，ｖ）＝δ（ｕ，ｖ）－δ０で与えられるルーマ成分ｇ（ｕ，ｖ）として符号化（導出）することができる。この関係は、補助パッチ情報ＰＩを伴う再構成されたジオメトリ画像ｇ（ｕ，ｖ）から３Ｄサンプル位置（δ０，ｓ０，ｒ０）への再構成に利用できることに留意されたい。

【0077】

一実施形態によれば、射影モードを用いて、第１のジオメトリ画像ＧＩ０が第１又は第２の層の２Ｄサンプルの深さ値を保存できるか否か、及び第２のジオメトリ画像ＧＩ１が第２又は第１の層の２Ｄサンプルに関連付けられた深さ値を保存できるか否かを示すことができる。

【0078】

例えば、射影モードが０に等しい場合、第１のジオメトリ画像ＧＩ０は、第１の層の２Ｄサンプルの深さ値を保存することができ、第２のジオメトリ画像ＧＩ１は、第２の層の２Ｄサンプルに関連付けられた深さ値を保存することができる。逆に、射影モードが１に等しい場合、第１のジオメトリ画像ＧＩ０は、第２の層の２Ｄサンプルの深さ値を保存することができ、第２のジオメトリ画像ＧＩ１は、第１の層の２Ｄサンプルに関連付けられた深さ値を保存することができる。

【0079】

一実施形態によれば、フレーム射影モードを用いて、全てのパッチに固定射影モードが用いられたか否か、又は各パッチが異なる射影モード用い得る可変射影モードが用いられたか否かを示すことができる。

【0080】

射影モード及び／又はフレーム射影モードは、メタデータとして送信することができる。

【0081】

フレーム射影モード決定アルゴリズムは、例えば、Ｖ－ＰＣＣのセクション２．２．１．３．１に示されている。

【0082】

一実施形態によれば、フレーム射影が可変射影モードを用い得ることを示す場合、パッチ射影モードを用いて、パッチの射影（解除）の使用に適したモードを示すことができる。

【0083】

パッチ射影モードは、メタデータとして送信することができ、場合により補助パッチ情報ＰＩに含まれる情報であり得る。

【0084】

パッチ射影モード決定アルゴリズムは、例えば、Ｖ－ＰＣＣのセクション２．２．１．３．２に示されている。

【0085】

ステップ３３００の実施形態によれば、パッチの２Ｄサンプル（ｕ，ｖ）に対応する第１のジオメトリ画像、例えばＧＩ０のピクセル値は、前記２Ｄサンプル（ｕ，ｖ）に対応する射影線に沿って定義された少なくとも１つの中間３Ｄサンプルに関連付けられた深さ値を表すことができる。前記中間３Ｄサンプルは、射影線に沿って存在し、その深さ値Ｄ１が第２のジオメトリ画像、例えばＧＩ１に符号化される、２Ｄサンプル（ｕ，ｖ）の同一の座標を共有する。更に、上述の中間３Ｄサンプルは、深さ値Ｄ０～深さ値Ｄ１の深さ値を有し得る。中間３Ｄサンプルが存在する場合に１に、さもなければ０に設定されるように指定されたビットは、前記中間３Ｄサンプルの各々に関連付けられ得る。

【0086】

次いで、前記射影線に沿う全ての前記指定ビットが連接されて、以下で拡張デルタ深度（ＥＤＤ）符号と呼ぶ符号語を形成することができる。最後に、全てのＥＤＤ符号を画像、例えば第１のジオメトリ画像ＧＩ１又は占有マップＯＭにパックすることができる。

【0087】

ステップ３４００において、テクスチャ画像ジェネレータＴＩＧは、少なくとも１つのテクスチャ画像ＴＩを、入力点群フレームＩＰＣＦ、占有マップＯＭ、補助パッチ情報ＰＩ及びビデオデコーダＶＤＥＣ（図４のステップ４２００）の出力である少なくとも１つの復号化されたジオメトリ画像ＤＧＩから導出された再構成点群フレームのジオメトリから生成することができる。

【0088】

テクスチャ画像ＴＩは、入力点群フレームＩＰＣＦのテクスチャを表し、例えばＹＵＶ４２０－８ｂｉｔ形式で表されたＷ×Ｈピクセルの画像であり得る。

【0089】

テクスチャ画像ジェネレータＴＧは、占有マップ情報を用いて、テクスチャ画像内の占有されたブロック、従って非空ピクセルを検知（位置を特定）することができる。

【0090】

テクスチャ画像ジェネレータＴＩＧは、テクスチャ画像ＴＩを生成して、各ジオメトリ画像／層ＤＧＩに関連付けるように適合され得る。

【0091】

一実施形態によれば、テクスチャ画像ジェネレータＴＩＧは、第１の層の２Ｄサンプルに関連付けられたテクスチャ（属性）値Ｔ０を第１のテクスチャ画像ＴＩ０のピクセル値として、且つ第２の層の２Ｄサンプルに関連付けられたテクスチャ値Ｔ１を第２のテクスチャ画像ＴＩ１のピクセル値として符号化（保存）することができる。

【0092】

代替的に、テクスチャ画像生成モジュールＴＩＧは、第２の層の２Ｄサンプルに関連付けられたテクスチャ値Ｔ１を第１のテクスチャ画像ＴＩ０のピクセル値として、且つ第１の層の２Ｄサンプルに関連付けられたテクスチャ値Ｄ０を第２のジオメトリ画像ＧＩ１のピクセル値として符号化（保存）することができる。

【0093】

例えば、３Ｄサンプルの色は、Ｖ－ＰＣＣのセクション２．２．３、２．２．４、２．２．５、２．２．８又は２．５で記述したように取得することができる。

【0094】

一実施形態によれば、パディング処理をジオメトリ及び／又はテクスチャ画像に適用することができる。パディング処理を用いてパッチ間の空きスペースを満たして、ビデオ圧縮に適した区分的に滑らかな画像を生成することができる。

【0095】

画像パディングの例は、Ｖ－ＰＣＣのセクション２．２．６及び２．２．７に示されている。

【0096】

ステップ３５００において、ビデオエンコーダＶＥＮＣは、生成された画像／層ＴＩ及びＧＩを符号化することができる。

【0097】

ステップ３６００において、エンコーダＯＭＥＮＣは、例えば、Ｖ－ＰＣＣのセクション２．２．２において詳述されるように、占有マップを画像として符号化することができる。損失又は無損失符号化を用い得る。

【0098】

一実施形態によれば、ビデオエンコーダＥＮＣ及び／又はＯＭＥＮＣは、ＨＥＶＣに基づくエンコーダであり得る。

【0099】

ステップ３７００において、エンコーダＰＩＥＮＣは、補助パッチ情報ＰＩ並びに場合によりジオメトリ／テクスチャ画像のブロックサイズＴ、幅Ｗ及び高さＨ等の追加的メタデータを符号化することができる。

【0100】

一実施形態によれば、補助パッチ情報は、異なる方法で符号化することができる（例えば、Ｖ－ＰＣＣのセクション２．４．１で定義されたように）。

【0101】

ステップ３８００において、ステップ３５００、３６００及び３７００の生成された出力にマルチプレクサを適用し、その結果、これらの出力を多重化して、基層ＢＬを表すビットストリームを生成することができる。メタデータ情報は、ビットストリーム全体の僅かな部分を表すことに留意されたい。大部分の情報は、ビデオコーデックを用いて圧縮される。

【0102】

図４は、本実施形態の少なくとも１つによる画像解析点群デコーダ４０００の一例の概略ブロック図を示す。

【0103】

ステップ４１００において、デマルチプレクサＤＭＵＸを適用して、基層ＢＬを表すビットストリームの符号化された情報を非多重化することができる。

【0104】

ステップ４２００において、ビデオデコーダＶＤＥＣは、符号化された情報を復号化して、少なくとも１つの復号化されたジオメトリ画像ＤＧＩ及び少なくとも１つの復号化されたテクスチャ画像ＤＴＩを導出することができる。

【0105】

ステップ４３００において、デコーダＯＭＤＥＣは、符号化された情報を復号化して、復号化された占有マップＤＯＭを導出することができる。

【0106】

一実施形態によれば、ビデオデコーダＶＤＥＣ及び／又はＯＭＤＥＣは、ＨＥＶＣに基づくデコーダであり得る。

【0107】

ステップ４４００において、デコーダＰＩＤＥＣは、符号化された情報を復号化して、補助パッチ情報ＤＰＩを導出することができる。

【0108】

場合により、メタデータもビットストリームＢＬから導出することができる。

【0109】

ステップ４５００において、ジオメトリ生成モジュールＧＧＭは、少なくとも１つの復号化されたジオメトリ画像ＤＧＩ、復号化された占有マップＤＯＭ、復号化された補助パッチ情報ＤＰＩ及び可能な追加的メタデータから再構成された点群フレームＩＲＰＣＦのジオメトリＲＧを導出することができる。

【0110】

ジオメトリ生成モジュールＧＧＭは、少なくとも１つの復号化されたジオメトリ画像ＤＧＩ内における非空ピクセルの位置を特定するために、復号化された占有マップ情報ＤＯＭを利用することができる。非空ピクセルに関連付けられた再構成された３Ｄサンプルの３Ｄ座標は、次いで、前記非空ピクセルの座標及び前記再構成された２Ｄサンプルの値から導出することができる。

【0111】

一実施形態によれば、ジオメトリ生成モジュールＧＧＭは、非空ピクセルの座標から再構成された３Ｄサンプルの３Ｄ座標を導出することができる。

【0112】

一実施形態によれば、ジオメトリ生成モジュールＧＧＭは、再構成された３Ｄサンプルの３Ｄ座標を、非空ピクセルの座標、少なくとも１つの復号化されたジオメトリ画像ＤＧＩの１つの前記非空ピクセルの値、復号化された補助パッチ情報及び場合により追加的メタデータから導出することができる。

【0113】

非空ピクセルの使用は、３Ｄサンプルとの２Ｄピクセルの関係に基づく。例えば、Ｖ－ＰＣＣにおける上述の射影平面により、再構成された３Ｄサンプルの３Ｄ座標は、深さδ（ｕ，ｖ）、接線シフトｓ（ｕ，ｖ）及び双接線シフトｒ（ｕ，ｖ）に関して以下のように表すことができる。
δ（ｕ，ｖ）＝δ０＋ｇ（ｕ，ｖ）
ｓ（ｕ，ｖ）＝ｓ０－ｕ０＋ｕ
ｒ（ｕ，ｖ）＝ｒ０－ｖ０＋ｖ
ここで、ｇ（ｕ，ｖ）は、復号化されたジオメトリ画像ＤＧＩのルーマ成分であり、（ｕ，ｖ）は、再構成された３Ｄサンプルに関連付けられたピクセルであり、（δ０，ｓ０，ｒ０）は、再構成された３Ｄサンプルが属する接続成分の３Ｄ位置であり、（ｕ０，ｖ０，ｕ１，ｖ１）は、前記接続成分に関連付けられたパッチの射影を含む２Ｄ境界ボックスを画定する射影平面内の座標である。

【0114】

ステップ４６００において、テクスチャ生成モジュールＴＧＭは、ジオメトリＲＧ及び少なくとも１つの復号化されたテクスチャ画像ＤＴＩから、再構成された点群フレームＩＲＰＣＦのテクスチャを導出することができる。

【0115】

図５は、本実施形態の少なくとも１つによる基層ＢＬを表すビットストリームの一構文例を概略的に示す。

【0116】

ビットストリームは、ビットストリームヘッダＳＨ及び少なくとも１つのフレームストリームグループＧＯＦＳを含む。

【0117】

フレームストリームグループＧＯＦＳは、ヘッダＨＳ、占有マップＯＭを表す少なくとも１つの構文要素ＯＭＳ、少なくとも１つのジオメトリ画像（又はビデオ）を表す少なくとも１つの構文要素ＧＶＳ、少なくとも１つのテクスチャ画像（又はビデオ）を表す少なくとも１つの構文要素ＴＶＳ及び補助パッチ情報と他の追加的メタデータとを表す少なくとも１つの構文要素ＰＩＳを含む。

【0118】

一変型形態において、フレームストリームグループＧＯＦＳは、少なくとも１つのフレームストリームを含む。

【0119】

図６は、各種の態様及び実施形態が実装されたシステムの一例を示す概略ブロック図を示す。

【0120】

システム６０００は、後述する各種の構成要素を含む１つ以上の装置として具現化され得、本明細書に記述する１つ以上の態様を実行するように構成される。システム６０００の全部又は一部を形成し得る設備の例には、パーソナルコンピュータ、ラップトップ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルビデオ受信機、個人ビデオ録画システム、接続家電、接続車両及び付随する処理システム、ヘッドマウントディスプレイ装置（ＨＭＤ、素通し眼鏡）、プロジェクタ（ビーマー）、「ケイブ」（複数のディスプレイを含むシステム）、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダからの出力を処理するポストプロセッサ、ビデオエンコーダへの入力を提供するプリプロセッサ、ウェブサーバ、セットトップボックス及び点群、ビデオ若しくは画像を処理する他の任意の装置又は他の通信装置が含まれる。システム６０００の要素は、単独で又は組み合わせて、単一の集積回路、複数のＩＣ及び／又は別個の構成要素として具現化することができる。例えば、少なくとも１つの実施形態において、システム６０００の処理及びエンコーダ／デコーダ要素は、複数のＩＣ及び／又は別個の構成要素にわたり分散され得る。各種の実施形態において、システム６０００は、例えば、通信バスを介して又は専用の入力及び／又は出力ポートを通して他の同様のシステム又は他の電子装置に通信可能に結合され得る。各種の実施形態において、システム６０００は、本明細書に記述する１つ以上の態様を実装するように構成され得る。

【0121】

システム６０００は、例えば、本明細書に記述する各種の態様を実行するためにロードされた命令を実行するように構成された少なくとも１つのプロセッサ６０１０を含み得る。プロセッサ６０１０は、当技術分野で公知の埋め込みメモリ、入出力インターフェース及び他の各種の回路を含み得る。システム６０００は、少なくとも１つのメモリ６０２０（例えば、揮発性メモリ素子及び／又は不揮発性メモリ素子）を含み得る。システム６０００は、記憶装置６０４０を含み得、装置は、電気的消去可能プログラム可能読出専用メモリ（ＥＥＰＲＯＭ）、読出専用メモリ（ＲＯＭ）、プログラム可能読出専用メモリ（ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ及び／又は光ディスクドライブを含むが、これらに限定されない不揮発メモリ及び／又は揮発性メモリを含み得る。記憶装置６０４０は、内蔵記憶装置、取付記憶装置及び／又はネットワークアクセス可能記憶装置を非限定的な例として含み得る。

【0122】

システム６０００は、例えば、データを処理して符号化されたデータ又は復号化されたデータを提供するように構成されたエンコーダ／デコーダモジュール６０３０を含み得、エンコーダ／デコーダモジュール６０３０は、自らのプロセッサ及びメモリを含み得る。エンコーダ／デコーダモジュール６０３０は、符号化及び／又は復号化機能を実行する装置に含まれ得るモジュールを表し得る。公知のように、装置は、符号化及び復号化モジュールの一方又は両方を含み得る。また、エンコーダ／デコーダモジュール６０３０は、当業者に公知のように、システム６０００の別個の要素として実装され得るか、又はハードウェアとソフトウェアとの組み合わせとしてプロセッサ６０１０内に組み込まれ得る。

【0123】

本明細書に記述する各種の態様を実行するためにプロセッサ６０１０又はエンコーダ／デコーダ６０３０にロードされるプログラムコードは、記憶装置６０４０に保存され、次いでプロセッサ６０１０によって実行されるようにメモリ６０２０にロードされ得る。各種の実施形態によれば、１つ以上のプロセッサ６０１０、メモリ６０２０、記憶装置６０４０及びエンコーダ／デコーダモジュール６０３０は、本明細書に記述する処理の実行中に１つ以上の各種の項目を保存することができる。このように保存された項目は、点群フレーム、符号化／復号化されたジオメトリ／テクスチャビデオ／画像又は符号化／復号化されたジオメトリ／テクスチャビデオ／画像の一部、ビットストリーム、マトリクス、変数及び方程式、公式、演算及び演算論理の処理からの中間又は最終結果を含むが、これらに限定されない。

【0124】

いくつかの実施形態において、プロセッサ６０１０及び／又はエンコーダ／デコーダモジュール６０３０内のメモリを用いて、命令を保存し、符号化又は復号化中に実行され得る処理の作業メモリを提供することができる。

【0125】

しかし、他の実施形態では、処理装置（例えば、処理装置は、プロセッサ６０１０又はエンコーダ／デコーダモジュール６０３０のいずれかであり得る）の外部のメモリをこれらの機能の１つ以上に用いることができる。外部メモリは、例えば、メモリ６０２０及び／又は記憶装置６０４０、動的揮発性メモリ及び／又は不揮発性フラッシュメモリであり得る。いくつかの実施形態において、外部不揮発性フラッシュメモリを用いてテレビのオペレーティングシステムを保存することができる。少なくとも１つの実施形態において、ＲＡＭ等の高速外部動的揮発性メモリをＭＰＥＧ－２第２部（ＩＴＵ－Ｔ勧告Ｈ．２６２及びＩＳＯ／ＩＥＣ１３８１８－２としても知られ、ＭＰＥＧ－２ビデオとしても知られる）、ＨＥＶＣ（高効率ビデオ符号化）又はＶＶＣ（多用途ビデオ符号化）等、ビデオの符号化及び復号化動作用の作業メモリとして用いることができる。

【0126】

システム６０００の要素への入力は、ブロック６１３０に示す各種の入力装置を介して提供することができる。そのような入力装置は、（ｉ）例えばブロードキャスタにより無線送信されたＲＦ信号を受信し得るＲＦ部、（ｉｉ）複合入力ターミナル、（ｉｉｉ）ＵＳＢ入力ターミナル、及び／又は（ｉｖ）ＨＤＭＩ入力ターミナルを含むが、これらに限定されない。

【0127】

各種の実施形態において、ブロック６１３０の入力装置は、公知のように各入力処理要素に関連付けられ得る。例えば、ＲＦ部は、（ｉ）所望の周波数を選択（信号の選択又は周波数帯域への信号の帯域制限とも称する）し、（ｉｉ）選択された信号の下方変換を行い、（ｉｉｉ）より狭い帯域に周波数を再び帯域制限して、（例えば）特定の実施形態でチャネルと称する場合がある信号周波数帯域を選択し、（ｉｖ）下方変換されて帯域制限された信号を復調し、（ｖ）誤り訂正を実行し、及び（ｖｉ）非多重化してデータパケットの所望のストリームを選択するのに必要な要素に関連付けられ得る。各種の実施形態のＲＦ部は、これらの機能を実行する１つ以上の要素、例えば周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、下方コンバータ、デモジュレータ、エラーコレクタ及びデマルチプレクサを含み得る。ＲＦ部は、これらの各種の機能を実行する、例えば受信した信号をより低い周波数（例えば、中間周波数又はベースバンド付近の周波数）又はベースバンドに下方変換するチューナを含み得る。

【0128】

セットトップボックスの一実施形態において、ＲＦ部及び関連する入力処理要素は、有線（例えば、ケーブル）媒体を介して送信されたＲＦ信号を受信することができる。次いで、ＲＦ部は、フィルタリング、下方変換及び所望の周波数帯への再フィルタリングにより周波数選択を実行することができる。

【0129】

各種の実施形態は、上述の（及び他の）要素の順序を再構成し、これらの要素のいくつかを除去及び／又は同様の若しくは異なる機能を実行する他の要素を追加する。

【0130】

要素の追加は、既存の要素間への要素の挿入、例えばアンプ及びアナログ／デジタルコンバータの挿入等を含み得る。各種の実施形態において、ＲＦ部は、アンテナを含み得る。

【0131】

ＵＳＢ及び／又はＨＤＭＩ端末は、ＵＳＢ及び／又はＨＤＭＩ接続を介してシステム６０００を他の電子装置に接続する各インターフェースプロセッサも含み得る。入力処理の各種の態様、例えばリードソロモン誤り訂正は、必要に応じて、例えば別個の入力処理ＩＣ内又はプロセッサ６０１０内に実装され得ることを理解されたい。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の複数の態様は、必要に応じて、別個のインターフェースＩＣ内又はプロセッサ６０１０内に実装され得る。復調及びエラー訂正され、且つ非多重化されたストリームは、各種の処理要素、例えばプロセッサ６０１０及び出力装置での提示のために必要に応じてデータストリームを処理するために、メモリ及び記憶要素と組み合わせて動作するエンコーダ／デコーダ６０３０に提供することができる。

【0132】

システム６０００の各種の要素は、一体化された筐体内に設けられ得る。一体化された筐体内において、各種の要素は、Ｉ２Ｃバス、配線及び印刷回路基板を含む適当な接続構成６１４０、例えば当技術分野で公知の内部バスを用いて相互接続されて、互いにデータを送信することができる。

【0133】

システム６０００は、通信チャネル６０６０を介した他の装置との通信を可能にする通信インターフェース６０５０を含み得る。通信インターフェース６０５０は、通信チャネル６０６０を介してデータを送信及び受信するように構成されたトランシーバを含み得るが、これに限定されない。通信インターフェース６０５０は、モデム又はネットワークカードを含み得るが、これに限定されず、通信チャネル６０６０は、例えば、有線及び／又は無線媒体内に実装され得る。

【0134】

各種の実施形態において、ＩＥＥＥ８０２．１１等のWi-Fiネットワークを用いて、データをシステム６０００にストリーミングすることができる。これらの実施形態のWi-Fi信号は、Wi-Fi通信に適合された通信チャネル６０６０及び通信インターフェース６０５０を介して受信することができる。これらの実施形態の通信チャネル６０６０は、典型的には、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするインターネットを含むネットワーク外部へのアクセスを提供するアクセスポイント又はルータに接続され得る。

【0135】

他の実施形態は、入力ブロック６１３０のＨＤＭＩ接続を介してデータを配信するセットトップボックスを用いて、システム６０００にストリームデータを提供することができる。

【0136】

更に他の実施形態により、入力ブロック６１３０のＲＦ接続を用いて、システム６０００にストリームデータを提供することができる。

【0137】

シグナリングは、各種の方法で行われ得ることを認識されたい。例えば、１つ以上の構文要素、フラグ等を用いて、各種の実施形態の対応するデコーダに情報をシグナリングすることができる。

【0138】

システム６０００は、ディスプレイ６１００、スピーカー６１１０及び他の周辺装置６１２０を含む各種の出力装置に出力信号を提供することができる。他の周辺装置６１２０は、各種の実施形態の例において、スタンドアローンＤＶＲ、ディスクプレーヤー、ステレオシステム、照明システム及びシステム３０００の出力に基づいて機能を提供する他の装置の１つ以上を含み得る。

【0139】

各種の実施形態において、AV.Link（音声／ビデオリンク）、ＣＥＣ（消費者電子制御）又はユーザーの介入の有無に依らず装置間制御を可能にする他の通信プロトコル等のシグナリングを用いて、制御信号をシステム６０００とディスプレイ６１００、スピーカー６１１０又は他の周辺装置６１２０との間でやり取りすることができる。

【0140】

出力装置は、各々のインターフェース６０７０、６０８０及び６０９０による専用接続を介してシステム６０００に通信可能に結合され得る。

【0141】

代替的に、出力装置は、通信チャネル６０６０を用いて通信インターフェース６０５０を介してシステム６０００に接続され得る。ディスプレイ６１００及びスピーカー６１１０は、テレビ等の電子装置内のシステム６０００の他の構成要素と単一のユニットに一体化され得る。

【0142】

各種の実施形態において、ディスプレイインターフェース６０７０は、タイミングコントローラ（Ｔ Ｃｏｎ）チップ等のディスプレイドライバを含み得る。

【0143】

ディスプレイ６１００及びスピーカー６１１０は、代替的に、例えば入力６１３０のＲＦ部が別個のセットトップボックスの一部である場合、他の構成要素の１つ以上とは別個であり得る。ディスプレイ６１００及びスピーカー６１１０が外部要素であり得る各種の実施形態において、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート又はＣＯＭＰが出力を含む専用出力接続を介して出力され得る。

【0144】

ＰＬＲは、局所的点再構成を表す。ＰＬＲは、点群フレームに対する追加的な３Ｄサンプルの生成に用いることができる再構成方法である。ＰＬＲは、典型的には、２Ｄ～３Ｄ射影の直後、例えばジオメトリ又はテクスチャ平滑化等の他の任意の処理前に適用される。

【0145】

ＰＬＲは、３Ｄサンプルの層を入力として取り、ＰＬＲメタデータにより駆動されるフィルタの組を適用して、追加的な３Ｄサンプルをそれらのジオメトリ及びテクスチャと共に生成する。

【0146】

ＰＬＲメタデータがキャンバスのＴ×Ｔ個のブロック毎に変化し得るため、ＰＬＲは、局所的であり得、フィルタの組は、小さい近隣を用いて追加的な３Ｄサンプルを生成することができる。エンコーダ及びデコーダに同一のＰＬＲメタデータを用いる必要があることに留意されたい。

【0147】

典型的な条件下において、ＰＬＲが施された単一の層の深さ及びテクスチャ画像を用いることで、２層の深さ及びテクスチャ画像よりも良好なＢＤレート性能が得られる。ＰＬＲメタデータの符号化は、深さ及びテクスチャ画像への射影を介した３Ｄサンプルの従来の符号化よりも用いるビット数が少ないため、全体的なビットレートが低下する。同時に、追加的な３Ｄサンプルは、より少ない層を用いることで生じる品質の低下を補償する。

【0148】

Ｖ－ＰＣＣは、ＰＬＲの実装を含み、ＰＬＲはＲＤＯ（レート歪み最適化）によりエンコーダ側で決定される。前記ＰＬＲの実装は、点群フレームの少なくとも１つの３Ｄサンプルを再構成（生成）するために、ＰＬＲＭ（局所再構成モード）と表記する複数のモードを定義する。各ＰＬＲＭは、フィルタの使用法を定義するＰＬＲＭメタデータの特定の値により決定される。

【0149】

例えば、Ｖ－ＰＣＣのセクション「９．４．４」において、複数のＰＬＲＭは、Ｖ－ＰＣＣのセクション「７．４．３５局所的点再構成セマンティクス」に記述する４つのパラメータにより決定される。前記４つのパラメータは、ビットストリーム内のＰＬＲＭメタデータとして送信される。
・point_local_reconstruction_mode_interpolate_flag：
このパラメータは、再構成方法の実行中に点補間法を用いることを示す場合、１に等しく、このパラメータは、再構成方法の実行中に点補間法を用いないことを示す場合、０に等しい。
・point_local_reconstruction_mode_filling_flag：
このパラメータは、再構成方法の実行中にフィリングモードを用いることを示す場合、１に等しく、このパラメータは、再構成処理の実行中にフィリングモードを用いないことを示す場合、０に等しい。
・point_local_reconstruction_mode_minimum_depth_minus1：
このパラメータは、再構成方法の実行中に用いる最小深さ値から１を減じた値を指定する。
・point_local_reconstruction_mode_neighbour_minus1：
このパラメータは、再構成方法で用いる２Ｄ近傍のサイズから１を減じた値を指定する。

【0150】

ＰＬＲを符号化する構文は、Ｖ－ＰＣＣのセクション「７．３．３５局所的点再構成構文」に詳述されている。この構文は、「blockToPatch」情報を介してＴ×Ｔ個のブロック（占有パッキングブロックサイズ）により送られるＰＬＲＭメタデータを記述する。blockToPatch構造は、Ｔ×Ｔピクセルのブロック毎にブロックが属するパッチを示す。block-to-patchブロックの１６×１６ピクセルのサイズは、Ｖ－ＰＣＣ試験モデルソフトウェアで用いられる典型的な値である。本明細書（及び本実施形態の少なくとも１つ）は、bloc-to-patch索引及びＰＬＲＭメタデータの他のブロックサイズもサポートすることができる。

【0151】

ＰＬＲメタデータは、以下のようにビットストリームから取得できる。キャンバスのＴ×Ｔ個のブロック全体にわたり、走査順序、例えばラスタ走査順序でループを繰り返す。占有マップＯＭが、キャンバスの各ブロックについて、前記ブロックが占領されていないことを示す場合、次のブロックに進む。一方、すなわちブロックが占有されている場合、前記ブロックのパッチＩＤを取得するために、ブロックからパッチへの情報BlockToPatchがビットストリームから取得され、前記占有されたブロックのＰＬＲパラメータがビットストリームから取得される。

【0152】

点群符号化（Ｖ－ＰＣＣ）の本実装形態において、ビットストリームからＰＬＲメタデータを復号化することは、Ｔ×Ｔ個のブロックの各々に対して４つのパラメータを復号化する必要があるため、膨大な計算リソース（ＣＰＵ、ＧＰＵ、メモリ）を必要とする。

【0153】

少なくとも１つの実施形態の一般的な態様によれば、局所的点再構成モードを表す構文要素をシグナリングする方法であって、前記局所的点再構成モードは、点群フレームの少なくとも１つの点を再構成するためのモードを定義する少なくとも１つのパラメータを表す、方法が提供される。

【0154】

ブロック毎に、４つのパラメータではなく、構文要素をシグナリングすることで、前記構文要素をパッチ毎又は点群フレーム毎にシグナリングできるため、Ｖ－ＰＣＣで定義される復号化側での計算リソースを減らすことができる。これにより、ＰＬＲＭメタデータのシグナリングを柔軟に行うことができる。

【0155】

図７は、本実施形態の少なくとも１つによる局所的点再構成モードのシグナリング方法の一例の概略ブロック図を示す。

【0156】

ステップ７１０において、モジュールは、ビットストリームに、ＰＬＲＭと表記する局所的点再構成モードを表す少なくとも１つの構文要素ＳＥ１を追加することができる。前記ＰＬＲＭは、点群フレームの少なくとも１つの３Ｄサンプルを再構成するためのモードを定義する少なくとも１つのパラメータを表す。

【0157】

ステップ７４０において、ビットストリームを送信する。

【0158】

ステップ７７０において、モジュールは、ビットストリーム（受信ビットストリーム）から、点群の少なくとも１つの３Ｄサンプルの再構成に用いる少なくとも１つのＰＬＲＭを表す少なくとも１つの第１の構文要素ＳＥ１を取得（読み出す）ことができる。

【0159】

少なくとも１つのパラメータは、前記少なくとも１つの構文要素ＳＥ１から取得され、次いで、点群の少なくとも１つの３Ｄサンプルは、前記少なくとも１つのＰＬＲＭを用いて再構成される。

【0160】

ステップ７１０の一実施形態によれば、ＰＬＲＭは、参照テーブルＬＵＴのエントリの索引値であり得る。前記ＬＵＴの各エントリは、索引値と、前記点群フレームの少なくとも１つの点を再構成するための特定のモードを定義する少なくとも１つのパラメータとの間の関係を定義する。

【0161】

図８ａ～８ｂは、ステップ７１０の一実施形態による参照テーブルＬＵＴの一例を示す。

【0162】

左列は、ＰＬＲＭの異なる値を示し、各ＰＬＲＭは、上で説明したように以下のツールの組み合わせを用いる再構成方法を決定する４つのパラメータＩ、Ｆ、Ｄ１ｍｉｎ及びＮの組み合わせを定義する。
point_local_reconstruction_mode_interpolate_flag、
point_local_reconstruction_mode_filling_flag、
point_local_reconstruction_mode_minimum_depth_minus1、及び
point_local_reconstruction_mode_neighbour_minus1

【0163】

図８ａのＰＬＲＭ０は、「ＰＬＲＭメタデータなし」を用いること、すなわちＰＬＲメタデータが送信されないことを示す。

【0164】

そのようなＰＬＲＭモードは、図８ｂの参照テーブルＬＵＴから除去される。その場合、「ＰＬＲＭメタデータなし」モードが他の箇所でシグナリングされる。

【0165】

図８ｃは、ステップ７１０の一実施形態に従って参照テーブルＬＵＴをシグナリングする構文の一例を示す。

【0166】

ステップ７１０の一実施形態によれば、第１の構文要素ＳＥ１は、図８ｄに示すようにブロック毎にシグナリングされ得、point_local_reconstruction_mode[p][i]は、パッチｐの１ブロックｉに関連付けられた構文要素ＳＥ１を指す。

【0167】

ステップ７１０の一実施形態によれば、第１の構文要素ＳＥ１は、図８ｅに示すようにパッチ毎にシグナリングされ得、point_local_reconstruction_mode[p]は、パッチｐに関連付けられた第１の構文要素ＳＥ１を指す。

【0168】

ステップ７２０（任意選択）において、モジュールは、パッチ毎に、単一の第１の構文要素ＳＥ１がパッチの全てのブロックについて１回でシグナリングされるかどうか、又は第１の構文要素ＳＥ１がパッチの各ブロックについてシグナリングされるかどうかを示す第２の構文要素ＳＥ２をビットストリームに追加することができる。

【0169】

第２の構文要素ＳＥ２が、単一の第１の構文要素がパッチの全てのブロックについて１回でシグナリングされることを示す場合、前記単一の第１の構文要素が前記パッチの全てのブロックで用いられ、従ってそのパッチレベルでシグナリングされる。

【0170】

図９に示すように、point_local_reconstruction_patch_level[p]は、第２の構文要素ＳＥ２を指し、point_local_reconstruction_patch_level[p]=0は、第１の構文要素point_local_reconstruction_mode[p][i]をパッチの各ブロックについてシグナリングすることを意味し、point_local_reconstruction_patch_level[p]=1は、第１の構文要素point_local_reconstruction_mode[p]をパッチｐの全てのブロックについて１回でシグナリングすることを示す。

【0171】

ステップ７２０の一変型形態によれば、パッチが、所与の数のよりも多いブロックを含む場合にのみ、第２の構文要素ＳＥ２をシグナリングし得る。

【0172】

図１０に示すように、BlockCountThresholdは、所与の数のブロックを指す。パッチ内のブロックの数がBlockCountThreshold以上である場合、第２の構文要素point_local_reconstruction_patch_level[p]は、０に設定される（第１の構文要素point_local_reconstruction_mode[p]をブロック毎にシグナリングする）。さもなければ、それは、１に設定される（第１の構文要素point_local_reconstruction_mode[p]をパッチ毎にシグナリングする）。

【0173】

ステップ７３０（任意選択）において、モジュールは、好ましい局所的点再構成モードとも表記するデフォルトの局所的点再構成モードを表す少なくとも１つの第３の構文要素ＳＥ３をビットストリームに追加することができる。

【0174】

図１２ａ～ｂに示すように、point_local_reconstruction_preferred_modeは、第３の構文要素ＳＥ３を指す。

【0175】

図１１は、ステップ７１０の一実施形態及びpoint_local_reconstruction_preferred_modeに従って参照テーブルＬＵＴ（第１の構文要素ＳＥ１）をシグナリングする一例を示す。

【0176】

ステップ７３０の一実施形態によれば、第３の構文要素ＳＥ３を点群フレーム毎及び／又はパッチ毎にシグナリングすることができる。

【0177】

図１３に示すように、point_local_reconstruction_preferred_mode_patch[p]は、パッチ毎にシグナリングされる第３の構文要素ＳＥ３を指し、point_local_reconstruction_preferred_modeは、点群フレーム毎にシグナリングされる第３の構文要素ＳＥ３を指す。

【0178】

図１５に示すように、point_local_reconstruction_preferred_modeは、点群フレーム毎にシグナリングされる第３の構文要素ＳＥ３を指す。

【0179】

ステップ７４０の一実施形態によれば、モジュールは、第１の信号要素ＳＥ１の粒度（ブロック毎又はパッチ毎のＰＬＲＭ）及び第３の構文要素ＳＥ３（パッチ毎にシグナリングされるデフォルトの局所的点再構成モード）の使用をシグナリングするために使用される第４の構文要素ＳＥ４をビットストリームに追加することができる。

【0180】

図１２ａ～ｂに示すように、point_local_reconstruction_patch_level[p]は、第４の構文要素を指す。point_local_reconstruction_patch_level[p]=0である場合、第１の構文要素ＳＥ１（point_local_reconstruction_mode[p][i]）をブロックｉ毎にシグナリングし、point_local_reconstruction_patch_level[p]=1である場合、第１の構文要素ＳＥ１（point_local_reconstruction_mode[p]）をパッチｐ毎にシグナリングし、さもなければ第３の構文要素ＳＥ３（point_local_reconstruction_preferred_mode）をパッチｐの全てのブロックについてシグナリングする。

【0181】

図１２ａにおいて、point_local_reconstruction_preferred_modeを点群フレーム毎にシグナリングする。

【0182】

図１２ｂにおいて、point_local_reconstruction_preferred_mode_patch[p]をパッチ毎にシグナリングする。

【0183】

図１３は、パッチが、所与の数BlockCountThresholdよりも多いブロックを含む場合にのみ、第２の構文要素ＳＥ２をシグナリングする、図１２ｂの一変型形態を示す。

【0184】

図１４は、第１の構文要素point_local_reconstruction_mode[p][i]をブロック毎にシグナリングする（図８ｄ）場合の前記一変型形態を示す。point_local_reconstruction_mode_delta[p][i]は、point_local_reconstruction_mode[p][i]を代替する。

【0185】

前記変型形態は、例えば、図８ｅ、９、１０、１２ａ～ｂ、１２ａ及び１３に示すように、第１の構文要素ＳＥ１をシグナリングするために他の例に適用することができる。

【0186】

前記変型形態は、例えば、図９、１０、１２ａ～ｂ及び１３に示すように、第２の構文要素ＳＥ２を異なる方法で符号化するために適用することもできる。

【0187】

図１～１５において、各種の方法が本明細書に記述され、各々の方法は、記述した方法を実現するために１つ以上のステップ又は動作を含む。本方法を適切に動作させるために特定の順序のステップ又は動作が要求されない限り、特定のステップ及び／又は動作の順序及び／又は使用は、変更するか又は組み合わせることができる。

【0188】

いくつかの例をブロック図及び動作フロー図に関して記述する。各ブロックは、回路要素、モジュール又は指定された論理機能を実行するための１つ以上の実行可能な命令を含むコードの一部を表す。他の実装形態において、ブロックに注記した機能は、指定された順序から外れて起こり得ることに留意されたい。例えば、連続的に示す２つのブロックは、実際には、ほぼ同時に実行され得るか、又はブロックは、関係する機能に応じてときに逆の順序で実行され得る。

【0189】

本明細書に記述する実装形態及び態様は、例えば、方法若しくは処理、装置、コンピュータプログラム、データストリーム、ビットストリーム又は信号で実装され得る。単一の実行形式に関連して議論（例えば、方法としてのみ議論）されたとしても、議論された特徴の実装形態は、他の形式（例えば、装置又はコンピュータプログラム）でも実装され得る。

【0190】

本方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路又はプログラム可能な論理装置を含む処理装置を一般に指すプロセッサに実装され得る。プロセッサは、通信装置も含む。

【0191】

本方法は、プロセッサによって実行される命令によっても実装され得、そのような命令（及び／又は実装形態により生じるデータ値）は、コンピュータ可読記憶媒体に保存され得る。コンピュータ可読記憶媒体は、１つ以上のコンピュータ可読の媒体として具現化され、且つコンピュータによって実行可能なコンピュータ可読プログラムコードが具現化されたコンピュータ可読プログラム製品の形式をとり得る。本明細書で用いるコンピュータ可読記憶媒体は、情報を保存する固有の能力と共に、情報を取得可能にする固有の能力を備えた非一時的記憶媒体と見なされ得る。例えば、コンピュータ可読記憶媒体は、例えば、電子、磁気、光、電磁、赤外線若しくは半導体システム、装置若しくは機器又はこれらの任意の適当な組み合わせであり得るが、これらに限定されない。以下では、本実施形態を適用できるコンピュータ可読記憶媒体のより具体的な例を与えるが、これらは、例示的に過ぎず、当業者に容易に理解できるように網羅的に列挙したものではないことが理解されるであろう：ポータブルコンピュータディスケット、ハードディスク、読出専用メモリ（ＲＯＭ）、消去可能プログラム可能読出専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、可搬コンパクトディスク読出専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置又は上記の任意の適当な組み合わせ。

【0192】

命令は、プロセッサ可読媒体に有形的に具現化されたアプリケーションプログラムを形成することができる。

【0193】

命令は、例えば、ハードウェア、ファームウェア、ソフトウェア又はこれらの組み合わせであり得る。命令は、例えば、オペレーティングシステム、別個のアプリケーション又は両方の組み合わせに見出すことができる。従って、プロセッサは、例えば、処理を実行するように構成された装置と、処理を実行する命令を有するプロセッサ可読媒体を含む装置（例えば、記憶装置）との両方として特徴付けることができる。更に、プロセッサ可読媒体は、命令に加えて又は命令の代わりに、実装形態により生じたデータ値を保存することができる。

【0194】

装置は、例えば、適当なハードウェア、ソフトウェア及びファームウェアに実装され得る。このような装置の一例は、パーソナルコンピュータ、ラップトップ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビジョン受信機、個人ビデオ録画システム、接続家電、ヘッドマウントディスプレイ装置（ＨＭＤ、素通し眼鏡）、プロジェクタ（ビーマー）、「ケイブ」（複数のディスプレイを含むシステム）、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダからの出力を処理するポストプロセッサ、ビデオエンコーダへの入力を提供するプリプロセッサ、ウェブサーバ、セットトップボックス及び点群、ビデオ若しくは画像を処理する他の任意の装置又は他の通信装置が含まれる。明らかになるよう、設備は、可動であり得、移動する車両に設置され得る。

【0195】

コンピュータソフトウェアは、プロセッサ６０１０若しくはハードウェア又はハードウェアとソフトウェアとの組み合わせにより実装され得る。非限定的な例として、これらの実施形態は、１つ以上の集積回路にも実装され得る。メモリ６０２０は、技術環境に適した任意の種類であり得、非限定な例として、光メモリ装置、磁気記憶装置、半導体メモリ装置、固定メモリ及び着脱可能メモリ等、任意の適当なデータ収納部技術を用いて実装され得る。プロセッサ６０１０は、技術環境に適した任意の種類であり得、非限定的な例には、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ及びマルチコアアーキテクチャに基づくプロセッサの１つ以上が含まれ得る。

【0196】

当業者に明らかになるように、複数の実装形態により、例えば保存又は送信可能な情報を保持するように形式化された各種の信号を生成することができる。情報は、例えば、方法を実行する命令又は記述した複数の実装形態の１つにより生成されたデータを含み得る。例えば、信号は、記述する実施形態のビットストリームを保持するように形式化され得る。そのような信号は、例えば、電磁波（例えば、スペクトルの無線周波数部分を用いて）として又はベースバンド信号として形式化され得る。形式化は、例えば、データストリームを符号化し、符号化されたデータストリームによりキャリアを変調することを含み得る。信号が担持する情報は、例えば、アナログ又はデジタル情報であり得る。信号は、公知のように、各種の異なる有線又は無線リンクを介して送信することができる。信号は、プロセッサ可読媒体に保存することができる。

【0197】

本明細書で用いる用語は、特定の実施形態の記述のみを目的とし、限定を意図しない。本明細書で用いる単数形「１つの（a）」、「１つの（an）」及び「その」は、別途文脈から明示されない限り、複数形も含み得る。更に、用語「包含する／含む」及び／又は「包含している／含んでいる」は、本明細書で用いられる場合、例えば言及した特徴、整数、ステップ、動作、要素及び／又は構成要素の存在を指定し得るが、他の１つ以上の特徴、整数、ステップ、動作、要素、構成要素及び／又はこれらの集団の存在又は追加を排除するものではないことを理解されたい。更に、ある要素が別の要素に「応答する」又は「接続される」と称される場合、別の要素に直接応答するか若しくは接続されるか又は介在要素が存在し得る。対照的に、ある要素が他の要素に「直接応答する」又は「直接接続される」と称される場合、介在要素は、存在しない。

【0198】

例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも一方」の場合における記号／用語「／」、「及び／又は」及び「少なくとも一方」の使用は、第１の列挙された選択肢（Ａ）のみの選択若しくは第２の列挙された選択肢（Ｂ）の選択のみ又は両方の選択肢（Ａ及びＢ）の選択を包含することを意図され得ることが理解されるものとする。更なる例として、「Ａ、Ｂ及び／又はＣ」及び「Ａ、Ｂ及びＣの少なくとも１つ」の場合、そのような語句は、第１の列挙された選択肢（Ａ）のみの選択、若しくは第２の列挙された選択肢（Ｂ）のみの選択、若しくは第３の列挙された選択肢（Ｃ）のみの選択、又は第１及び第２の列挙された選択肢（Ａ及びＢ）のみの選択、若しくは第１及び第３の列挙された選択肢（Ａ及びＣ）の選択、若しくは第２及び第３の列挙された選択肢（Ｂ及びＣ）の選択、或いは３つの選択肢（Ａ及びＢ及びＣ）の全ての選択を包含することを意図される。これは、当業者に明らかなように、列挙される数の項目に拡張することができる。

【0199】

本出願において各種の数値が使用され得る。特定の値は、例えば、目的であり、記述した態様は、これら特定の値に限定されない。

【0200】

本明細書において、第１、第２等の用語が各種の要素を記述するために使用され得るが、これらの要素は、その用語により限定されないことを理解されたい。これらの用語は、ある要素を別の要素と区別するために用いられるに過ぎない。例えば、本出願の教示から逸脱することなく、第１の要素を第２の要素と称し得、同様に第２の要素を第１の要素と称し得る。第１の要素と第２の要素との間の順序付けは、示唆されない。

【0201】

「一実施形態」若しくは「ある実施形態」又は「一実装形態」若しくは「ある実装形態」及びこれらの他の変化形への言及は、（実施形態／実装形態との関連で記述された）特定の特徴、構造、特性等が少なくとも１つの実施形態／実装形態に含まれることを伝えるために頻繁に使用される。従って、本出願全体を通して様々な箇所に現れる「一実施形態において」若しくは「ある実施形態において」又は「一実装形態において」若しくは「ある実装形態において」及び他の任意の変化形は、必ずしも全てが同一の実施形態を指すわけではない。

【0202】

同様に、「一実施形態／例／実装形態によれば」又は「一実施形態／例／実装形態において」及びこれらの他の変化形への言及は、（実施形態／例／実装形態との関連で記述された）特定の特徴、構造、特性等が少なくとも１つの実施形態／例／実装形態に含まれ得ることを伝えるために頻繁に使用される。従って、本出願全体を通して様々な箇所に現れる「一実施形態／例／実装形態によれば」又は「一実施形態／例／実装形態において」は、必ずしも全てが同一の実施形態／例／実装形態を指すわけではなく、別個の又は代替的な実施形態／例／実装形態は、必ずしも他の実施形態／例／実装形態と互いに排他的ではない。

【0203】

請求項に現れる参照番号は、説明の目的のものに過ぎず、特許請求の範囲を限定する効果を有さないものとする。明示的に記述しないが、本実施形態／例及び変型形態は、任意の組み合わせ又は下位の組み合わせで用いることができる。

【0204】

ある図がフロー図として提示される場合、対応する装置のブロック図も提供されるものと理解されたい。同様に、ある図がブロック図として提示される場合、対応する方法／処理のフロー図も提供されるものと理解されたい。

【0205】

いくつかの図は、通信の主な方向を示すために通信経路に矢印を含むが、図に示す矢印とは逆方向に通信が生じ得ること理解されたい。

【0206】

各種の実装形態は、復号化を含む。本出願で用いる「復号化」は、表示に適した最終出力を生成するため又は再構成された点群領域の更なる処理のために、例えば受信した点群フレーム（場合により１つ以上の点群フレームを符号化する受信ビットストリームを含む）に対して実行される処理の全部又は一部を含み得る。各種の実施形態において、このような処理は、画像解析デコーダにより典型的に実行される１つ以上の処理を含む。

【0207】

更なる例として、一実施形態において、「復号化」は、エントロピー復号化のみを指し、別の実施形態において、「復号化」は、差分復号化のみを指し、別の実施形態において、「復号化」は、エントロピー復号化と差分復号化との組み合わせを指し得る。「復号化処理」という語句が具体的に動作のサブセット又は一般により広義の復号化処理のいずれを指すかは、具体的な記述の文脈に基づいて明らかになり、当業者によく理解されるものと考えられる。

【0208】

各種の実装形態は、符号化を含む。「復号化」に関する上述の議論と同様に、本出願で用いる「符号化」は、符号化されたビットストリームを生成するために、例えば入力点群フレームに対して実行される処理の全部又は一部を含み得る。各種の実施形態において、このような処理は、画像解析デコーダにより典型的に実行される１つ以上の処理を含む。

【0209】

更なる例として、一実施形態において、「符号化」は、エントロピー符号化のみを指し、別の実施形態において、「符号化」は、差分符号化のみを指し、別の実施形態において、「符号化」は、差分符号化とエントロピー符号化との組み合わせを指し得る。「符号化処理」という語句が具体的に動作のサブセット又は一般により広義の符号化処理のいずれを指すことを意図されるかは、具体的な記述の文脈に基づいて明らかになり、当業者によく理解されるものと考えられる。

【0210】

本明細書で用いる構文要素、例えばフラグoint_local_reconstruction_mode_present_flagは、記述的用語であることに留意されたい。このように、他の構文要素名の使用を排除するものではない。

【0211】

各種の実施形態は、レート歪み最適化に言及する。特に、符号化処理の実行中、多くの場合に計算の複雑さの制約を前提として、通常、レートと歪みとのバランス又はトレードオフを考慮する。レート歪み最適化は、通常、レートと歪みとの重み付き和であるレート歪み関数の最小化として定式化できる。レート歪み最適化課題を解決するために異なるアプローチがある。例えば、これらのアプローチは、再構成された信号の符号化及び復号化後の符号化コスト及び関連する歪みの完全な評価を伴う、全ての考慮したモード又は符号化パラメータ値を含む全ての符号化オプションの広範囲にわたる試験に基づき得る。特に、再構成された信号ではなく、予測信号又は予測残差信号に基づいて近似された歪みの計算における符号化の複雑さを回避するために、より速いアプローチを用い得る。例えば、可能な符号化オプションのいくつかのみに近似歪みを使用し、他の符号化オプションに完全な歪みを使用することにより、これらの２つのアプローチを混合して用い得る。他のアプローチは、可能な符号化オプションのサブセットを評価するものに過ぎない。より一般的に、多くのアプローチは、各種の技術のいずれかを用いて最適化を実行するが、最適化は、必ずしも符号化コスト及び関連する歪みを完全に評価するわけではない。

【0212】

本出願は、情報の各種の項目の「判定」に言及する場合もある。情報の判定は、例えば、情報の推定、情報の計算、情報の予測又はメモリからの情報の取り出しの１つ以上を含み得る。

【0213】

更に、本出願は、情報の各種の項目への「アクセス」に言及する場合がある。情報へのアクセスは、例えば、情報の受信、（例えば、メモリからの）情報の取得、情報の保存、情報の移動、情報の複製、情報の計算、情報の判定、情報の予測又は情報の推定の１つ以上を含み得る。

【0214】

本出願は、情報の各種の項目の「受信」に言及する場合もある。受信は、「アクセス」と同様に広義な用語であるものとする。情報の受信は、例えば、情報へのアクセス又は（例えば、メモリからの）情報の取得の１つ以上を含み得る。更に、「受信」は、典型的には、何らかの方法において、例えば情報の保存、情報の処理、情報の送信、情報の移動、情報の複製、情報の消去、情報の計算、情報の判定、情報の予測又は情報の推定等の動作中に伴われる。

【0215】

本明細書で用いる単語「信号」は、特に、対応するデコーダに対して何らかのものを示すことを指す。例えば、特定の本実施形態において、エンコーダは、特定の構文要素ＳＥ及び／又はＰＬＲメタデータをシグナリングする。このように、一実施形態において、同じパラメータ（ＰＬＲメタデータ）をエンコーダ側とデコーダ側との両方で用いることができる。従って、例えば、エンコーダが特定のパラメータをデコーダに送信（明示的シグナリング）することにより、デコーダが同じ特定のパラメータを用いることができる。逆に、デコーダが既に特定のパラメータを他のパラメータと共に有する場合、そのパラメータを送信することなく（暗黙的シグナリング）、シグナリングを用いて単にデコーダにその特定のパラメータを認識及び選択させることができる。実際の関数の送信を回避することにより、各種の実施形態においてビット節約が実現される。シグナリングは、各種の方法で実現可能であることが認識されるであろう。例えば、１つ以上の構文要素、フラグ等を用いて、各種の実施形態における対応デコーダに情報をシグナリングする。上記は、動詞形の単語「シグナリングする」に関連するが、本明細書において、単語「信号」は、名詞としても使用できる。

【0216】

多くの実装形態について記述してきた。しかし、各種の変更形態がなされ得ることが理解されるであろう。例えば、異なる実装形態の要素を組み合わせるか、補完するか、変更するか又は除去して他の実装形態を形成することができる。他の構造及び処理により、開示されたものを代替でき、その結果得られた実装形態は、開示された実装形態と少なくとも実質的に同一の機能を少なくとも実質的に同じ方法で実行して、少なくとも実質的に同じ結果が実現できることも当業者に理解されるであろう。従って、本出願により、これら及び他の実装形態が想定される。

【図1】

【図2】

【図3】

【図3a】

【図4】

【図5】

【図6】

【図7】

【図8a】

【図8b】

【図8c】

【図8d】

【図8e】

【図9】

【図10】

【図11】

【図12a】

【図12b】

【図13】

【図14】

【図15】