特許 7541025 点群の欠落した点の処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-19

(45)【発行日】2024-08-27

(54)【発明の名称】点群の欠落した点の処理

(51)【国際特許分類】

   H04N 19/597 20140101AFI20240820BHJP

   H04N 19/70 20140101ALI20240820BHJP

   H04N 19/91 20140101ALI20240820BHJP

【ＦＩ】

H04N19/597

H04N19/70

H04N19/91

【請求項の数】 15

(21)【出願番号】P 2021556742

(86)(22)【出願日】2020-01-27

(65)【公表番号】

(43)【公表日】2022-06-07

(86)【国際出願番号】 US2020015184

(87)【国際公開番号】W WO2020190375

(87)【国際公開日】2020-09-24

【審査請求日】2023-01-27

(31)【優先権主張番号】19305343.6

(32)【優先日】2019-03-20

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】19305344.4

(32)【優先日】2019-03-20

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】318017914

【氏名又は名称】インターデイジタル ヴィーシー ホールディングス インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ジョアン リャック

(72)【発明者】

【氏名】セリーヌ ゲーデ

(72)【発明者】

【氏名】ジャン－クラウド シュヴェ

【審査官】田中 純一

(56)【参考文献】

【文献】国際公開第２０１８／１５０９３３（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／００１３１６８（ＵＳ，Ａ１）

【文献】特表２０２３－５０９０８６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／０２０９８０７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／９４

Ｇ０６Ｔ ９／００ － ９／４０

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

投影線に沿って投影された点群フレームの少なくとも１つの３Ｄサンプルの深度値が深度画像のピクセル値であることを示す占有マップのピクセル値をデコードすることであって、前記ピクセル値は、前記投影線に沿って投影された少なくとも１つの他の３Ｄサンプルの少なくとも１つの深度値を表すコードワードが前記占有マップに格納されているかどうかを前記ピクセル値によって示し、前記点群フレームの３Ｄサンプルの深度値は単一深度画像を使用して符号化されている、ことと、
前記占有マップの前記ピクセル値に基づいて、前記少なくとも１つの３Ｄサンプルを再構築することと、
を含む、方法。

【請求項2】

固定長コードワードが使用されるか否かを示す第１の情報を受信すること
をさらに含む、請求項１に記載の方法。

【請求項3】

前記コードワードの長さを表す第２の情報を受信すること
をさらに含む、請求項１または２に記載の方法。

【請求項4】

第１の情報および／または第２の情報は、点群フレームのシーケンスについて、フレームごとにまたはパッチごとに、シグナリングされ、パッチは前記点群フレームの３Ｄサンプルの前記投影を表す２Ｄサンプルのセットである、請求項２または３に記載の方法。

【請求項5】

前記コードワードの長さに基づいて、前記少なくとも１つの他の３Ｄサンプルを再構築することをさらに含む、請求項２から４のいずれか一項に記載の方法。

【請求項6】

投影線に沿って投影された点群フレームの少なくとも１つの３Ｄサンプルの深度値が深度画像のピクセル値であることを示す占有マップのピクセル値をデコードし、前記ピクセル値は、前記投影線に沿って投影された少なくとも１つの他の３Ｄサンプルの少なくとも１つの深度値を表すコードワードが前記占有マップに格納されているかどうかを前記ピクセル値によって示し、前記点群フレームの３Ｄサンプルの深度値は単一深度画像を使用して符号化されており、
前記占有マップの前記ピクセル値に基づいて、前記少なくとも１つの３Ｄサンプルを再構築する、
ように構成された１つまたは複数のプロセッサを備えた、装置。

【請求項7】

前記１つまたは複数のプロセッサは、固定長コードワードが使用されるか否かを示す第１の情報を受信するためにさらに構成された、請求項６に記載の装置。

【請求項8】

前記１つまたは複数のプロセッサは、前記コードワードの長さを表す第２の情報を受信するためにさらに構成された、請求項６または７に記載の装置。

【請求項9】

前記１つまたは複数のプロセッサは、前記コードワードの長さに基づいて、前記少なくとも１つの他の３Ｄサンプルを再構築するためにさらに構成された、請求項７または８に記載の装置。

【請求項10】

投影線に沿って投影された点群フレームの少なくとも１つの３Ｄサンプルの深度値が深度画像のピクセル値としてエンコードされていることを示す占有画像のピクセル値をエンコードすることであって、前記ピクセル値は、前記投影線に沿って投影された少なくとも１つの他の３Ｄサンプルの少なくとも１つの深度値を表すコードワードが前記占有画像に格納されているかどうかを前記ピクセル値によって示し、前記点群フレームの３Ｄサンプルの深度値は単一深度画像を使用して符号化されている、ことと、
前記少なくとも１つの３Ｄサンプルの前記深度値をエンコードすることと、
を含む、方法。

【請求項11】

固定長コードワードが使用されるか否かを示す第１の情報を送信すること
をさらに含む、請求項１０に記載の方法。

【請求項12】

前記コードワードの長さを表す第２の情報を送信すること
をさらに含む、請求項１０または１１に記載の方法。

【請求項13】

投影線に沿って投影された点群フレームの少なくとも１つの３Ｄサンプルの深度値が深度画像のピクセル値としてエンコードされていることを示す占有画像のピクセル値をエンコードし、前記ピクセル値は、前記投影線に沿って投影された少なくとも１つの他の３Ｄサンプルの少なくとも１つの深度値を表すコードワードが前記占有画像に格納されているかどうかを前記ピクセル値によって示し、前記点群フレームの３Ｄサンプルの深度値は単一深度画像を使用して符号化されており、
前記少なくとも１つの３Ｄサンプルの前記深度値をエンコードする
ように構成された１つまたは複数のプロセッサを備えた、装置。

【請求項14】

１つまたは複数のプロセッサによって実行されると、請求項１から５または１０から１２のいずれか一項に記載の方法を前記１つまたは複数のプロセッサに実行させる命令を含むコンピュータプログラム。

【請求項15】

請求項１から５または１０から１２のいずれか一項に記載の方法を１つまたは複数のプロセッサに実行させる命令を含む非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態のうちの少なくとも１つは、一般に、点群の処理に関する。

【背景技術】

【0002】

本セクションは、以下で説明および／または特許請求される本実施形態のうちの少なくとも１つの様々な態様に関連し得る、技術の様々な態様を読者に紹介することが意図されている。この論考は、少なくとも１つの実施形態の様々な態様のより良い理解を促進するための背景情報を、読者に提供するのに役立つと信じられる。

【0003】

点群は、像または建造物のようなオブジェクトが、それを送るまたは訪問することなく、オブジェクトの空間的な構成を共有するために、３Ｄでスキャンされる、文化遺産／建造物など、様々な目的で使用されることがある。また、それは、オブジェクトについての知識を、それが破壊されることがある、例えば、寺院が地震によって破壊されることがあるケースにおいて、保存すること保証するための方法である。そのような点群は、一般に、静的で、色が付けられ、巨大である。

【0004】

別の使用事例は、３Ｄ表現の使用が、平面に限定されない、起伏も含み得る地図を可能にする、地形学および地図作成におけるものである。Ｇｏｏｇｌｅ Ｍａｐｓは、今現在における、３Ｄマップの良い例であるが、点群の代わりに、メッシュを使用している。それにもかかわらず、点群は、３Ｄマップのための適切なデータフォーマットであり、そのような点群は、一般に、静的で、色が付けられ、巨大である。

【0005】

自動車産業および自律走行車も、点群が使用されることがある領域である。自律走行車は、それらのすぐ近くにあるものの現実に基づいて、良好な運転判断を行うために、それらの環境を「探る」ことができるべきである。ＬＩＤＡＲ（光検出および測距）のような典型的なセンサは、判断エンジンによって使用される、動的な点群を作り出す。これらの点群は、人間によって見られることは意図されておらず、それらは、一般に、小さく、必ずしも色が付けられるわけではなく、高い頻度でキャプチャされて動的である。これらの点群は、ＬＩＤＡＲによって提供される反射率のような他の属性を、この属性が感知されたオブジェクトの材料に関する良好な情報を提供するので、有することがあり、判断を行うのに役立つことがある。

【0006】

バーチャルリアリティおよび没入世界は、最近、注目の話題になっており、多くの人によって、２Ｄフラットビデオの未来として、予想されている。基本的な考え方は、視聴者が、視聴者の前方の仮想世界しか見ることができない標準的なテレビとは対照的に、視聴者を取り囲む環境内に視聴者を没入させるというものである。環境内における視聴者の自由度に応じて、没入感には、いくつかの段階が存在する。点群は、バーチャルリアリティ（ＶＲ）世界を配信するための良好なフォーマット候補である。

【0007】

多くのアプリケーションにおいては、許容可能な（または好ましくは非常に良好な）体験の質を維持しながら、妥当な量のビットレート（または記憶用途のための記憶空間）だけを消費することによって、動的な点群をエンドユーザに配信する（またはそれらをサーバ内に記憶する）ことができることが重要である。これらの動的な点群の効率的な圧縮が、多くの没入世界の配信チェーンを実用的にするためのキーポイントである。

【0008】

少なくとも１つの実施形態は、前述のことを踏まえて、考案されている。

【先行技術文献】

【非特許文献】

【0009】

【文献】Ｈｕｇｕｅｓ Ｈｏｐｐｅ， Ｔｏｎｙ ＤｅＲｏｓｅ， Ｔｏｍ Ｄｕｃｈａｍｐ， Ｊｏｈｎ ＭｃＤｏｎａｌｄ， Ｗｅｒｎｅｒ Ｓｔｕｅｔｚｌｅ． Ｓｕｒｆａｃｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ ｕｎｏｒｇａｎｉｚｅｄ ｐｏｉｎｔｓ． ＡＣＭ ＳＩＧＧＲＡＰＨ １９９２ Ｐｒｏｃｅｅｄｉｎｇｓ， ７１－７８

【発明の概要】

【0010】

本開示のいくつかの態様の基本的な理解を提供するために、以下に、本実施形態のうちの少なくとも１つについての簡略化された要約を提示する。この要約は、実施形態の広範な概要ではない。実施形態の主要要素または必須要素を識別することは、意図されていない。以下の要約は、本文書の他の箇所において提供されるより詳細な説明に対する序論として、本実施形態のうちの少なくとも１つについてのいくつかの態様を、簡略化された形で、提示するにすぎない。

【0011】

少なくとも１つの実施形態の一般的な態様に従うと、同じ投影線に沿って投影された点群フレームの少なくとも１つの３Ｄサンプルの深度値が、少なくとも１つの深度画像のピクセル値として記憶されるか、それとも前記投影線に沿った少なくとも１つの３Ｄサンプル投影の深度値を表す、固定長コードワードに等しいかを示すために、占有画像のピクセル値を割り当てるステップを含む方法が、提供される。

【0012】

実施形態に従うと、方法は、投影線に沿って投影された少なくとも１つの３Ｄサンプルを、コードワードのビットとしてエンコードするステップと、前記深度値が、深度画像の値としてすでにエンコードされているときは、投影線に沿って投影された３Ｄサンプルの深度値の、コードワードのビットとしてのエンコーディングをスキップするステップとをさらに含む。

【0013】

実施形態に従うと、方法は、固定長コードワードが使用されるか否かを示す第１の情報をシグナリングするステップをさらに含む。

【0014】

実施形態に従うと、方法は、コードワードの長さを表す第２の情報をシグナリングするステップをさらに含む。

【0015】

実施形態に従うと、前記第１の情報および／または前記第２の情報は、点群フレームのシーケンスについて、シグナリングされる。

【0016】

実施形態に従うと、前記第１の情報および／または前記第２の情報は、フレームごとに、またはパッチごとに、シグナリングされる。

【0017】

少なくとも１つの実施形態の別の一般的な態様に従うと、同じ投影線に沿って投影された点群フレームの少なくとも１つの３Ｄサンプルの深度値が、少なくとも１つの深度画像のピクセル値として記憶されるか、それとも前記投影線に沿った少なくとも１つの３Ｄサンプル投影の深度値を表す、固定長コードワードに等しいかを示すために、占有画像のピクセル値を表す画像データを含む信号が、提供される。

【0018】

実施形態に従うと、信号は、固定長コードワードが使用されるか否かを示す第１の情報をさらに含む。

【0019】

実施形態に従うと、信号は、コードワードの長さを表す第２の情報を含む。

【0020】

少なくとも１つの実施形態の一般的な態様に従うと、点群の少なくとも１つの３Ｄサンプルの深度値を導出するために、固定長コードワードが使用されるか否かを示す第１の情報を、ビットストリームから獲得するステップと、前記第１の情報が、固定長コードワードが使用されることを示す場合、投影線に沿って投影された少なくとも１つの３Ｄサンプルの深度値を表す、固定長コードワードから、前記深度値を導出するステップと、そうでない場合、異なる長さを有するコードワードから、前記深度値を導出するステップとを含む方法が、提供される。

【0021】

実施形態に従うと、方法は、ビットストリームから、コードワードの長さを表す第２の情報を獲得するステップをさらに含む。

【0022】

実施形態の少なくとも１つのうちの１つまたは複数は、デバイス、コンピュータプログラム製品、および非一時的コンピュータ可読媒体も提供する。

【0023】

本実施形態のうちの少なくとも１つの具体的な性質、ならびに本実施形態のうちの前記少なくとも１つの他の目的、利点、特徴、および使用は、添付の図面を併用して行われる、例についての以下の説明から明らかになる。

【図面の簡単な説明】

【0024】

図面においては、いくつかの実施形態の例が、例示される。図面は、以下のものを示す。

【図1】本実施形態のうちの少なくとも１つに従った、２レイヤベースの点群エンコーディング構造の例の概略ブロック図である。

【図2】本実施形態のうちの少なくとも１つに従った、２レイヤベースの点群デコーディング構造の例の概略ブロック図である。

【図3】本実施形態のうちの少なくとも１つに従った、画像ベースの点群エンコーダの例の概略ブロック図である。

【図3a】２つのパッチと、それらの２Ｄバウンディングボックスとを含む、キャンバスの例を例示する図である。

【図3b】投影線に沿って２つの３Ｄサンプルの間に配置された２つの中間３Ｄサンプルの例を例示する図である。

【図4】本実施形態のうちの少なくとも１つに従った、画像ベースの点群デコーダの例の概略ブロック図である。

【図5】本実施形態のうちの少なくとも１つに従った、ベースレイヤＢＬを表すビットストリームのシンタクスの例を概略的に例示する図である。

【図6】様々な態様および実施形態がその中で実施されるシステムの例の概略ブロック図である。

【図7】Ｖ－ＰＣＣを使用するような３Ｄから２Ｄへの投影の例を例示する図である。

【図8】少なくとも１つの実施形態に従った、同じ投影線に沿って投影された３Ｄサンプルの深度値を符号化するための方法の例の概略ブロック図である。

【図9】少なくとも１つの実施形態に従った、同じ投影線に沿って投影された３Ｄサンプルの深度値をデコードするための方法の例の概略ブロック図である。

【図10】少なくとも１つの実施形態に従った、占有マップのピクセル値を決定する例を例示する図である。

【図11】その変形に従った、占有マップＯＭ（ｕ，ｖ）のピクセル値を決定する例を例示する図である。

【図12】少なくとも１つの実施形態に従った、占有マップＯＭ（ｕ，ｖ）のピクセル値を決定する例を例示する図である。

【図13】少なくとも１つの実施形態に従った、情報ＩＮＦＯ１およびＩＮＦＯ２をシグナリングするために使用される、シンタックス要素の例を例示する図である。

【図14】少なくとも１つの実施形態に従った、情報ＩＮＦＯ１およびＩＮＦＯ２をシグナリングするために使用される、シンタックス要素の例を例示する図である。

【発明を実施するための形態】

【0025】

本実施形態のうちの少なくとも１つが、本実施形態のうちの少なくとも１つの例がその中に示される、添付の図を参照して、以下でより十分に説明される。しかしながら、実施形態は、多くの代替形態で具現化されてよく、本明細書に記載された例に限定されると解釈されるべきではない。したがって、開示された特定の形態に実施形態を限定する意図はないことが、理解されるべきである。それどころか、本開示は、本出願の主旨および範囲内に入る、すべての変形、均等物、および代替をカバーすることが意図されている。

【0026】

図が、フロー図として提示されるとき、それは、対応する装置のブロック図も提供することが、理解されるべきである。同様に、図が、ブロック図として提示されるとき、それは、対応する方法／プロセスのフロー図も提供することが、理解されるべきである。

【0027】

図の類似した要素または同じ要素は、同じ参照番号を用いて参照される。

【0028】

いくつかの図は、Ｖ－ＰＣＣに準拠したビットストリームの構造を定義するための、Ｖ－ＰＣＣにおいて広く使用されているシンタックステーブルを表している。それらのシンタックステーブルにおいて、「．．．」という項は、Ｖ－ＰＣＣにおいて与えられた元の定義に関する、シンタックスの変更されていない部分であって、読みやすくするために図において取り除かれた部分を表す。図中の太字の項は、この項の値が、ビットストリームを解析することによって獲得されることを示す。シンタックステーブルの右列は、シンタックス要素のデータをエンコードするためのビット数を示す。例えば、ｕ（４）は、データをエンコードするために、４ビットが使用されることを示し、ｕ（８）は、８ビットを示し、ａｅ（ｖ）は、コンテキスト適応算術エントロピ符号化されたシンタックス要素を示す。

【0029】

以下で説明され、企図される態様は、多くの異なる形態で実施され得る。以下の図１～図１４は、いくつかの実施形態を提供するが、他の実施形態も、企図され、図１～図１４の論考は、実施の広がりを限定しない。

【0030】

態様のうちの少なくとも１つは、一般に、点群エンコーディングおよびデコーディングに関し、少なくとも１つの他の態様は、一般に、生成またはエンコードされたビットストリームを送信することに関する。

【0031】

より正確には、本明細書において説明される様々な方法および他の態様は、モジュール、例えば、図１～図１４に示されるような、モジュールＰＧＭ（ステップ３１００）、エンコーダＯＭＥＮＣ（ステップ３６００）、ジオメトリ生成モジュールＧＧＭ（ステップ４３００）、占有マップデコーダＯＭＤＥＣ（ステップ４４００）を変更するために使用され得る。

【0032】

さらに、本態様は、点群圧縮に関連する、ＭＰＥＧ－１パート５などのＭＰＥＧ規格に限定されず、既存のものか、それとも将来開発されるものかにかかわらず、例えば、他の規格および勧告に、ならびに（ＭＰＥＧ－１パート５を含む）任意のそのような規格および勧告の拡張に適用されてよい。別段の指摘がない限り、または技術的に排除されない限り、本出願において説明される態様は、個別にまたは組み合わせて、使用されてよい。

【0033】

以下では、画像データは、データ、例えば、特定の画像／ビデオフォーマットの２Ｄサンプルの１つまたは複数のアレイを指す。特定の画像／ビデオフォーマットは、画像（またはビデオ）のピクセル値に関連する情報を指定し得る。特定の画像／ビデオフォーマットは、例えば、ディスプレイ、ならびに／または画像（もしくはビデオ）を視覚化および／もしくはデコードするための他の任意の装置によって使用され得る、情報も指定し得る。画像は、一般に、通常は画像のルミナンス（またはルーマ）を表す、サンプルの第１の２Ｄアレイの形をした、第１の成分を含む。画像は、通常は画像のクロミナンス（またはクロマ）を表す、サンプルの他の２Ｄアレイの形をした、第２の成分および第３の成分も含み得る。いくつかの実施形態は、従来の３色ＲＧＢ表現などの、色サンプルの２Ｄアレイのセットを使用して、同じ情報を表現する。

【0034】

１つまたは複数の実施形態においては、ピクセル値は、Ｃ個の値からなるベクトルによって表され、Ｃは、成分の数である。ベクトルの各値は、一般に、ピクセル値のダイナミックレンジを定義し得る数のビットを用いて表される。

【0035】

画像ブロックは、画像に属するピクセルのセットを意味する。画像ブロックのピクセル値（または画像ブロックデータ）は、この画像ブロックに属するピクセルの値を指す。画像ブロックは、任意の形状を有してよいが、長方形が、一般的である。

【0036】

点群は、一意的な座標を有し、１つまたは複数の属性も有し得る、３Ｄ体積空間内の３Ｄサンプルのデータセットによって表され得る。

【0037】

このデータセットの３Ｄサンプルは、それの空間ロケーション（３Ｄ空間内におけるＸ、Ｙ、Ｚ座標）によって、また場合によっては、例えば、ＲＧＢもしくはＹＵＶ色空間で表される色、透明度、反射率、２成分法線ベクトル、またはこのサンプルの特徴を表す任意の特徴などの、１つまたは複数の関連付けられた属性によって、定義され得る。例えば、３Ｄサンプルは、６つの成分（Ｘ，Ｙ，Ｚ，Ｒ，Ｇ，Ｂ）または等価的に（Ｘ，Ｙ，Ｚ，ｙ，Ｕ，Ｖ）によって定義され得、ここで、（Ｘ，Ｙ，Ｚ）は、３Ｄ空間内における点の座標を定義し、（Ｒ，Ｇ，Ｂ）または（ｙ，Ｕ，Ｖ）は、この３Ｄサンプルの色を定義する。同じタイプの属性が、多数回存在してよい。例えば、多数の色属性は、異なる視点からの色情報を提供し得る。

【0038】

点群は、点群が時間に関して変化するか否かに応じて、静的または動的であり得る。静的な点群、または動的な点群のインスタンスは、通常、点群フレームと呼ばれる。動的な点群のケースにおいては、点の数は、一般に、一定でなく、逆に、一般に、時間とともに変化することが、気付かれるべきである。より一般には、例えば、点の数、１つもしくは複数の点の位置、または任意の点の任意の属性などの何かが、時間とともに変化する場合、点群は、動的であると見なされ得る。

【0039】

例として、２Ｄサンプルは、６つの成分（ｕ，ｖ，Ｚ，Ｒ，Ｇ，Ｂ）、または等価的に（ｕ，ｖ，Ｚ，ｙ，Ｕ，Ｖ）によって定義され得る。（ｕ，ｖ）は、投影平面の２Ｄ空間内における２Ｄサンプルの座標を定義する。Ｚは、この投影平面上への投影された３Ｄサンプルの深度値である。（Ｒ，Ｇ，Ｂ）または（ｙ，Ｕ，Ｖ）は、この３Ｄサンプルの色を定義する。

【0040】

図１は、本実施形態のうちの少なくとも１つに従った、２レイヤベースの点群エンコーディング構造１０００の例の概略ブロック図を例示している。

【0041】

２レイヤベースの点群エンコーディング構造１０００は、入力点群フレームＩＰＣＦを表す、ビットストリームＢを提供し得る。場合によっては、その入力点群フレームＩＰＣＦは、動的な点群のフレームを表す。その場合、その動的な点群のフレームは、２レイヤベースの点群エンコーディング構造１０００によって、別のフレームとは独立して、エンコードされ得る。

【0042】

基本的に、２レイヤベースの点群エンコーディング構造１０００は、ビットストリームＢをベースレイヤＢＬおよびエンハンスメントレイヤＥＬとして構造化する能力を提供し得る。ベースレイヤＢＬは、入力点群フレームＩＰＣＦの損失のある表現を提供し得、エンハンスメントレイヤＥＬは、ベースレイヤＢＬによって表されない孤立点をエンコードすることによって、より高品質な（場合によっては損失のない）表現を提供し得る。

【0043】

ベースレイヤＢＬは、図３に例示されるような、画像ベースのエンコーダ３０００によって、提供され得る。その画像ベースのエンコーダ３０００は、入力点群フレームＩＰＣＦの３Ｄサンプルのジオメトリ／属性を表す、ジオメトリ／テクスチャ画像を提供し得る。それは、孤立した３Ｄサンプルが廃棄されることを可能にし得る。ベースレイヤＢＬは、中間的な再構築された点群フレームＩＲＰＣＦを提供し得る、図４に示されるような、画像ベースのデコーダ４０００によって、デコードされ得る。

【0044】

次に、図１における２レイヤベースの点群エンコーディング１０００に戻ると、比較器ＣＯＭＰは、欠落した／孤立した３Ｄサンプルを検出／位置特定するために、入力点群フレームＩＰＣＦの３Ｄサンプルを、中間的な再構築された点群フレームＩＲＰＣＦの３Ｄサンプルと比較し得る。次に、エンコーダＥＮＣは、欠落した３Ｄサンプルをエンコードし得、エンハンスメントレイヤＥＬを提供し得る。最後に、ベースレイヤＢＬとエンハンスメントレイヤＥＬは、ビットストリームＢを生成するように、マルチプレクサＭＵＸによって、一緒に多重化され得る。

【0045】

実施形態に従うと、エンコーダＥＮＣは、中間的な再構築された点群フレームＩＲＰＣＦの３Ｄ参照サンプルＲを検出し、欠落した３ＤサンプルＭに関連付け得る、検出器を備え得る。

【0046】

例えば、欠落した３ＤサンプルＭと関連付けられる３Ｄ参照サンプルＲは、与えられたメトリックに従って最も近い、Ｍの近隣サンプルであり得る。

【0047】

実施形態に従うと、エンコーダＥＮＣは、その後、欠落した３ＤサンプルＭの空間ロケーションおよびそれらの属性を、３Ｄ参照サンプルＲの空間ロケーションおよび属性に従って決定される差分として、エンコードし得る。

【0048】

変形においては、それらの差分は、別々にエンコードされ得る。

【0049】

例えば、空間座標ｘ（Ｍ）、ｙ（Ｍ）、ｚ（Ｍ）を有する、欠落した３ＤサンプルＭについて、ｘ座標位置差Ｄｘ（Ｍ）、ｙ座標位置差Ｄｙ（Ｍ）、ｚ座標位置差Ｄｚ（Ｍ）、Ｒ属性成分差Ｄｒ（Ｍ）、Ｇ属性成分差Ｄｇ（Ｍ）、およびＢ属性成分差Ｄｂ（Ｍ）は、以下のように算出され得る。
Ｄｘ（Ｍ）＝ｘ（Ｍ）－ｘ（Ｒ）

【0050】

ここで、ｘ（Ｍ）は、図３によって提供されるジオメトリ画像内のＲに対応する、３ＤサンプルＭのｘ座標である。
Ｄｙ（Ｍ）＝ｙ（Ｍ）－ｙ（Ｒ）

【0051】

ここで、ｙ（Ｍ）は、図３によって提供されるジオメトリ画像内のＲに対応する、３ＤサンプルＭのｙ座標である。
Ｄｚ（Ｍ）＝ｚ（Ｍ）－ｚ（Ｒ）

【0052】

ここで、ｚ（Ｍ）は、図３によって提供されるジオメトリ画像内のＲに対応する、３ＤサンプルＭのｚ座標である。
Ｄｒ（Ｍ）＝Ｒ（Ｍ）－Ｒ（Ｒ）

【0053】

ここで、Ｒ（Ｒ）に対応する、Ｒ（Ｍ）は、Ｒに対応する、３ＤサンプルＭの色属性のｒ色成分である。
Ｄｇ（Ｍ）＝Ｇ（Ｍ）－Ｇ（Ｒ）

【0054】

ここで、Ｇ（Ｒ）に対応する、Ｇ（Ｍ）は、Ｒに対応する、３ＤサンプルＭの色属性のｇ色成分である。
Ｄｂ（Ｍ）＝Ｂ（Ｍ）－Ｂ（Ｒ）

【0055】

ここで、Ｂ（Ｒ）に対応する、Ｂ（Ｍ）は、Ｒに対応する、３ＤサンプルＭの色属性のｂ色成分である。

【0056】

図２は、本実施形態のうちの少なくとも１つに従った、２レイヤベースの点群デコーディング構造２０００の例の概略ブロック図を例示している。

【0057】

２レイヤベースの点群デコーディング構造２０００の挙動は、それの能力に依存する。

【0058】

限られた能力を有する２レイヤベースの点群デコーディング構造２０００は、デマルチプレクサＤＭＵＸを使用することによって、ビットストリームＢから、ベースレイヤＢＬだけを入手し得、その後、図４に例示されるような、点群デコーダ４０００によって、ベースレイヤＢＬをデコードすることによって、入力点群フレームＩＰＣＦの忠実な（しかし、損失のある）バージョンＩＲＰＣＦを提供し得る。

【0059】

十分な能力を有する２レイヤベースの点群デコーディング構造２０００は、デマルチプレクサＤＭＵＸを使用することによって、ビットストリームＢから、ベースレイヤＢＬとエンハンスメントレイヤＥＬの両方を入手し得る。図４に例示されるような、点群デコーダ４０００は、ベースレイヤＢＬから、中間的な再構築された点群フレームＩＲＰＣＦを決定し得る。デコーダＤＥＣは、エンハンスメントレイヤＥＬから、補足的な点群フレームＣＰＣＦを決定し得る。その後、コンバイナＣＯＭは、中間的な再構築された点群フレームＩＲＰＣＦと、補足的な点群フレームＣＰＣＦとを一緒に組み合わせ、その結果、入力点群フレームＩＰＣＦのより高品質な（場合によっては、損失のない）表現（再構築）ＣＲＰＣＦを提供し得る。

【0060】

図３は、本実施形態のうちの少なくとも１つに従った、画像ベースの点群エンコーダ３０００の例の概略ブロック図を例示している。

【0061】

画像ベースの点群エンコーダ３０００は、動的な点群のジオメトリおよびテクスチャ（属性）情報を圧縮するために、既存のビデオコーデックを活用する。これは、基本的に、点群データを異なるビデオシーケンスのセットに変換することによって、達成される。

【0062】

特定の実施形態においては、１つは点群データのジオメトリ情報をキャプチャするための、別のものはテクスチャ情報をキャプチャするための、２つのビデオが、既存のビデオコーデックを使用して、生成および圧縮され得る。既存のビデオコーデックの例は、ＨＥＶＣメインプロファイルエンコーダ／デコーダ（ＩＴＵ－Ｔ Ｈ．２６５ ＩＴＵの電気通信標準化部門（０２／２０１８）、シリーズＨ：視聴覚およびマルチメディアシステム、視聴覚サービスのインフラストラクチャ－動画の符号化、高効率ビデオ符号化、勧告ＩＴＵ－Ｔ Ｈ．２６５）である。

【0063】

２つのビデオを解釈するために使用される、追加のメタデータも、一般に、別々に生成および圧縮される。そのような追加のメタデータは、例えば、占有マップＯＭ、および／または補助パッチ情報ＰＩを含む。

【0064】

生成されたビデオビットストリームと、メタデータは、その後、組み合わされたビットストリームを生成するために、一緒に多重化され得る。

【0065】

メタデータは、一般に、情報全体のうちの僅かな量を表すことが、留意されるべきである。情報の大部分は、ビデオビットストリーム内にある。

【0066】

そのような点群エンコーディング／デコーディングプロセスの例は、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ２０１９／ｗ１８１８０（２０１９年１月、マラケシュ）において定義されたような、ＭＰＥＧドラフト規格を実施する、（Ｖ－ＰＣＣとも呼ばれる）テストモデルカテゴリ２アルゴリズムによって与えられる。

【0067】

ステップ３１００において、モジュールＰＧＭは、最良の圧縮を提供する戦略を使用して、入力点群フレームＩＰＣＦを表すデータセットの３Ｄサンプルを、投影平面上の２Ｄサンプルに分解することによって、少なくとも１つのパッチを生成し得る。

【0068】

パッチは、２Ｄサンプルのセットとして定義され得る。

【0069】

例えば、Ｖ－ＰＣＣにおいては、例えば、非特許文献１において説明されているように、あらゆる３Ｄサンプルにおける法線が、最初に推定される。次に、入力点群フレームＩＰＣＦの初期クラスタリングが、各３Ｄサンプルを、入力点群フレームＩＰＣＦの３Ｄサンプルを包含する３Ｄバウンディングボックスの６つの有向平面のうちの１つと関連付けることによって、獲得される。より正確には、各３Ｄサンプルは、（点法線と面法線のドット積を最大化する）最も近い法線を有する有向平面とクラスタ化され、関連付けられる。その後、３Ｄサンプルは、それらの関連付けられた平面に投影される。平面内において連結された領域を形成する３Ｄサンプルのセットは、連結成分と呼ばれる。連結成分は、類似した法線と、同じ関連付けられた有向平面とを有する、少なくとも１つの３Ｄサンプルからなるセットである。その後、初期クラスタリングは、各３Ｄサンプルと関連付けられたクラスタを、それの法線と、それに最も近い近隣サンプルのクラスタとに基づいて、反復的に更新することによって、精緻化される。最終ステップは、各連結成分から１つのパッチを生成することから成り、それは、各連結成分の３Ｄサンプルを、その連結成分と関連付けられた有向平面上に投影することによって行われる。パッチは、ジオメトリおよび／または属性情報に対応する、投影された２Ｄサンプルを解釈するために、各パッチについて定義された補助パッチ情報を表す、補助パッチ情報ＰＩと関連付けられる。

【0070】

Ｖ－ＰＣＣにおいては、例えば、補助パッチ情報ＰＩは、１）連結成分の３Ｄサンプルを包含する３Ｄバウンディングボックスの６つの有向平面のうちの１つを示す情報と、２）平面法線に関連する情報と、３）深度、タンジェントシフト、およびバイタンジェントシフトに関して表されるパッチに関連する連結成分の３Ｄロケーションを決定する情報と、４）パッチを包含する２Ｄバウンディングボックスを定義する投影平面内における座標（ｕ０，ｖ０，ｕ１，ｖ１）などの情報とを含む。

【0071】

ステップ３２００において、パッチパッキングモジュールＰＰＭは、一般に、使用されない空間を最小化する方法で、いかなる重なり合いもなしに、少なくとも１つの生成されたパッチを、（キャンバスとも呼ばれる）２Ｄグリッド上にマッピング（配置）し得、２ＤグリッドのあらゆるＴ×Ｔ（例えば、１６×１６）ブロックが、固有のパッチと関連付けられることを保証し得る。２Ｄグリッドの与えられた最小ブロックサイズＴ×Ｔは、この２Ｄグリッド上に配置される異なるパッチ間の最小距離を指定し得る。２Ｄグリッド解像度は、入力点群サイズ、ならびにそれの幅Ｗおよび高さＨに依存し得、ブロックサイズＴは、メタデータとして、デコーダに送信され得る。

【0072】

補助パッチ情報ＰＩは、２Ｄグリッドのブロックとパッチとの間の関連付けに関連する情報をさらに含み得る。

【0073】

Ｖ－ＰＣＣにおいては、補助情報ＰＩは、２Ｄグリッドのブロックとパッチインデックスとの間の関連付けを決定する、ブロック－パッチインデックス情報（ＢｌｏｃｋＴｏＰａｔｃｈ）を含み得る。

【0074】

図３ａは、２つのパッチＰ１およびＰ２と、それらの関連付けられた２ＤバウンディングボックスＢ１およびＢ２とを含む、キャンバスＣの例を例示している。図３ａに例示されるように、２つのバウンディングボックスは、キャンバスＣ内において重なり合うことがあることに留意されたい。２Ｄグリッド（キャンバスの分割）は、バウンディングボックスの内側だけ表されているが、キャンバスの分割は、それらのバウンディングボックスの外側でも発生する。パッチと関連付けられたバウンディングボックスは、Ｔ×Ｔブロックに分割することができ、一般に、Ｔ＝１６である。

【0075】

パッチに属する２Ｄサンプルを含むＴ×Ｔブロックは、占有ブロックと見なされ得る。キャンバスの各占有ブロックは、占有マップＯＭにおいて、特定のピクセル値（例えば、１）によって表され、キャンバスの各非占有ブロックは、別の特定の値、例えば、０によって表される。その場合、占有マップＯＭのピクセル値は、キャンバスのＴ×Ｔブロックが、占有されているかどうか、すなわち、パッチに属する２Ｄサンプルを含むかどうかを示し得る。

【0076】

図３ａにおいては、占有ブロックは、白色ブロックによって表され、薄灰色ブロックは、非占有ブロックを表す。画像生成プロセス（ステップ３３００および３４００）は、入力点群フレームＩＰＣＦのジオメトリおよびテクスチャを、画像として記憶するために、ステップ３２００中に計算された、少なくとも１つの生成されたパッチの２Ｄグリッドへのマッピングを利用する。

【0077】

ステップ３３００において、ジオメトリ画像生成器ＧＩＧは、入力点群フレームＩＰＣＦ、占有マップＯＭ、および補助パッチ情報ＰＩから、少なくとも１つのジオメトリ画像ＧＩを生成し得る。ジオメトリ画像生成器ＧＩＧは、ジオメトリ画像ＧＩ内において、占有ブロック、したがって、空でないピクセルを検出（位置特定）するために、占有マップ情報を利用し得る。

【0078】

ジオメトリ画像ＧＩは、入力点群フレームＩＰＣＦのジオメトリを表し得、例えば、ＹＵＶ４２０－８ビットフォーマットで表された、Ｗ×Ｈピクセルのモノクローム画像であり得る。

【0079】

多数の３Ｄサンプルが、（同じ投影方向（線）に沿って）投影平面の同じ２Ｄサンプルに投影（マッピング）されるケースをより良く扱うために、レイヤと呼ばれる、多数の画像が、生成され得る。したがって、異なる深度値Ｄ１、．．．、Ｄｎが、パッチの２Ｄサンプルと関連付けられ得、その後、多数のジオメトリ画像が、生成され得る。

【0080】

Ｖ－ＰＣＣにおいては、パッチの２Ｄサンプルは、２つのレイヤ上に投影される。ニアレイヤとも呼ばれる、第１のレイヤは、例えば、より小さい深度を有する２Ｄサンプルと関連付けられた、深度値Ｄ０を記憶し得る。ファーレイヤと呼ばれる、第２のレイヤは、例えば、より大きい深度を有する２Ｄサンプルと関連付けられた、深度値Ｄ１を記憶し得る。例えば、第２の深度画像によって記憶される情報は、範囲［Ｄ０，Ｄ０＋Δ］内の深度値に対応する、区間［０，Δ］内にあり得、ここで、Δは、表面厚さを記述する、ユーザ定義のパラメータである。

【0081】

このようにして、第２のレイヤは、重要な輪郭に似た高周波数の特徴を含み得る。したがって、明らかに、第２の深度画像は、レガシビデオコーダを使用することによって符号化することが困難なことがあり、したがって、深度値が、デコードされた第２の深度画像から貧弱に再構築されることがあり、それが、再構築された点群フレームのジオメトリの貧弱な品質をもたらすと思われる。

【0082】

実施形態に従うと、ジオメトリ画像生成モジュールＧＩＧは、補助パッチ情報ＰＩを使用することによって、第１のレイヤおよび第２のレイヤの２Ｄサンプルと関連付けられた深度値を符号化（導出）し得る。

【0083】

Ｖ－ＰＣＣにおいては、対応する連結成分を有するパッチ内の３Ｄサンプルのロケーションは、深度δ（ｕ，ｖ）、タンジェントシフトｓ（ｕ，ｖ）、およびバイタンジェントシフトｒ（ｕ，ｖ）に関して、以下のように表現され得る。
δ（ｕ，ｖ）＝δ０＋ｇ（ｕ，ｖ）
ｓ（ｕ，ｖ）＝ｓ０－ｕ０＋ｕ
ｒ（ｕ，ｖ）＝ｒ０－ｖ０＋ｖ
ここで、ｇ（ｕ，ｖ）は、ジオメトリ画像のルーマ成分であり、（ｕ，ｖ）は、投影平面上における、３Ｄサンプルと関連付けられたピクセルであり、（δ０，ｓ０，ｒ０）は、３Ｄサンプルが属する連結成分の対応するパッチの３Ｄロケーションであり、（ｕ０，ｖ０，ｕ１，ｖ１）は、その連結成分と関連付けられたパッチの投影を包含する２Ｄバウンディングボックスを定義する、投影平面上における座標である。

【0084】

したがって、ジオメトリ画像生成モジュールＧＩＧは、（第１もしくは第２の、または両方の）レイヤの２Ｄサンプルと関連付けられた深度値を、ｇ（ｕ，ｖ）＝δ（ｕ，ｖ）－δ０によって与えられるルーマ成分ｇ（ｕ，ｖ）として、符号化（導出）し得る。この関係は、付随する補助パッチ情報ＰＩを有する、再構築されたジオメトリ画像ｇ（ｕ，ｖ）から、３Ｄサンプルロケーション（δ０，ｓ０，ｒ０）を再構築するために、利用され得ることが留意される。

【0085】

実施形態に従うと、投影モードは、第１のジオメトリ画像ＧＩ０が、第１のレイヤまたは第２のレイヤのうちのどちらの２Ｄサンプルの深度値を記憶し得るか、また第２のジオメトリ画像ＧＩ１が、第２のレイヤまたは第１のレイヤのうちのどちらの２Ｄサンプルと関連付けられた深度値を記憶し得るかを示すために、使用され得る。

【0086】

例えば、投影モードが、０に等しいとき、第１のジオメトリ画像ＧＩ０は、第１のレイヤの２Ｄサンプルの深度値を記憶し得、第２のジオメトリ画像ＧＩ１は、第２のレイヤの２Ｄサンプルと関連付けられた深度値を記憶し得る。反対に、投影モードが、１に等しいとき、第１のジオメトリ画像ＧＩ０は、第２のレイヤの２Ｄサンプルの深度値を記憶し得、第２のジオメトリ画像ＧＩ１は、第１のレイヤの２Ｄサンプルと関連付けられた深度値を記憶し得る。

【0087】

実施形態に従うと、フレーム投影モードは、すべてのパッチに対して、固定投影モードが、使用されるかどうか、または各パッチが異なる投影モードを使用し得る、可変投影モードが、使用されるかどうかを示すために、使用され得る。

【0088】

投影モードおよび／またはフレーム投影モードは、メタデータとして、送信され得る。

【0089】

フレーム投影モード判定アルゴリズムは、例えば、Ｖ－ＰＣＣのセクション２．２．１．３．１において提供され得る。

【0090】

実施形態に従うと、フレーム投影が、可変投影モードが使用され得ることを示すとき、パッチを（逆）投影するために使用する、適切なモードを示すために、パッチ投影モードが、使用され得る。

【0091】

パッチ投影モードは、メタデータとして送信され得、場合によっては、補助パッチ情報ＰＩ内に含まれる情報であり得る。

【0092】

パッチ投影モード判定アルゴリズムは、例えば、Ｖ－ＰＣＣのセクション２．２．１．３．２において提供されている。

【0093】

ステップ３３００の実施形態に従うと、パッチの２Ｄサンプル（ｕ，ｖ）に対応する、第１のジオメトリ画像、例えば、ＧＩ０内のピクセル値は、その２Ｄサンプル（ｕ，ｖ）に対応する投影線に沿って定義された、少なくとも１つの中間３Ｄサンプルの深度値を表し得る。より正確には、その中間３Ｄサンプルは、投影線に沿って存在し、それの深度値Ｄ１が、第２のジオメトリ画像、例えば、ＧＩ１内に符号化される、２Ｄサンプル（ｕ，ｖ）の同じ座標を共有する。さらに、中間３Ｄサンプルは、深度値Ｄ０と深度値Ｄ１との間の深度値を有し得る。中間３Ｄサンプルが存在する場合は、１になるように、そうでない場合は、０になるように設定される、指定されたビットが、各中間３Ｄサンプルと関連付けられ得る。

【0094】

図３ｂは、投影線ＰＬに沿って、２つの３ＤサンプルＰ０とＰ１との間に配置された、２つの中間３ＤサンプルＰ_i1およびＰ_i2の例を例示している。３ＤサンプルＰ０およびＰ１は、それぞれ、Ｄ０およびＤ１に等しい深度値を有する。２つの中間３ＤサンプルＰ_i1およびＰ_i2それぞれの深度値Ｄ_i1およびＤ_i2は、Ｄ０よりも大きく、Ｄ１よりも小さい。

【0095】

その場合、投影線に沿ったすべての指定されたビットは、これ以降、エンハンスト占有マップ（ＥＯＭ）コードワードと呼ばれる、コードワードを形成するために、連結され得る。図３ｂに例示されるように、８ビットの長さのＥＯＭコードワードを仮定すると、２つの３ＤサンプルＰ_i1およびＰ_i2のロケーションを示すために、２つのビットは、１に等しい。最後に、すべてのＥＯＭコードワードが、画像内に、例えば、占有マップＯＭ内に、パッキングされ得る。そのケースにおいては、キャンバスの少なくとも１つのパッチが、少なくとも１つのＥＯＭコードワードを含み得る。そのようなパッチは、参照パッチと呼ばれ、参照パッチのブロックは、ＥＯＭ参照ブロックと呼ばれる。したがって、占有マップＯＭのピクセル値は、キャンバスの非占有ブロックを示すために、第１の値、例えば、０に等しくあり得、またはキャンバスの占有ブロックもしくはＥＯＭ参照ブロックのどちらかを示すために、例えば、０よりも大きい、別の値に等しくあり得る。

【0096】

例に従うと、Ｄ１－Ｄ０≦１であるとき、占有マップＯＭのピクセル値は、占有ブロックを示し得、Ｄ１－Ｄ０＞１であるとき、ピクセル値マップＯＭは、キャンバスのＥＯＭ参照ブロックを示し得る。

【0097】

ＥＯＭ参照ブロックを示す占有マップＯＭ内のピクセルのロケーション、およびそれらのピクセルの値から獲得されるＥＯＭコードワードのビットの値は、中間３Ｄサンプルの３Ｄ座標を示す。

【0098】

ステップ３４００において、テクスチャ画像生成器ＴＩＧは、入力点群フレームＩＰＣＦと、占有マップＯＭと、補助パッチ情報ＰＩと、ビデオデコーダＶＤＥＣ（図４におけるステップ４２００）の出力である、少なくとも１つのデコードされたジオメトリ画像ＤＧＩから導出される、再構築された点群フレームのジオメトリとから、少なくとも１つのテクスチャ画像ＴＩを生成し得る。

【0099】

テクスチャ画像ＴＩは、入力点群フレームＩＰＣＦのテクスチャを表し得、例えば、ＹＵＶ４２０－８ビットフォーマットで表された、Ｗ×Ｈピクセルの画像であり得る。

【0100】

テクスチャ画像生成器ＴＧは、テクスチャ画像内において、占有ブロック、したがって、空でないピクセルを検出（位置特定）するために、占有マップ情報を利用し得る。

【0101】

テクスチャ画像生成器ＴＩＧは、テクスチャ画像ＴＩを生成し、各ジオメトリ画像／レイヤＤＧＩと関連付けるように適合され得る。

【0102】

実施形態に従うと、テクスチャ画像生成器ＴＩＧは、第１のレイヤの２Ｄサンプルと関連付けられたテクスチャ（属性）値Ｔ０を、第１のテクスチャ画像ＴＩ０のピクセル値として、また第２のレイヤの２Ｄサンプルと関連付けられたテクスチャ値Ｔ１を、第２のテクスチャ画像ＴＩ１のピクセル値として、符号化（記憶）し得る。

【0103】

あるいは、テクスチャ画像生成モジュールＴＩＧは、第２のレイヤの２Ｄサンプルと関連付けられたテクスチャ値Ｔ１を、第１のテクスチャ画像ＴＩ０のピクセル値として、また第１のレイヤの２Ｄサンプルと関連付けられたテクスチャ値Ｄ０を、第２のジオメトリ画像ＧＩ１のピクセル値として、符号化（記憶）し得る。

【0104】

例えば、３Ｄサンプルの色は、Ｖ－ＰＣＣのセクション２．２．３、セクション２．２．４、セクション２．２．５、セクション２．２．８、またはセクション２．５において説明されるように、獲得され得る。

【0105】

２つの３Ｄサンプルのテクスチャ値は、第１のテクスチャ画像内または第２のテクスチャ画像内のどちらかかに記憶される。しかし、図３ｂに例示されるように、投影される中間３Ｄサンプルのロケーションが、別の３Ｄサンプル（Ｐ０またはＰ１）のテクスチャ値を記憶するためにすでに使用されている、占有ブロックに対応しているため、中間３Ｄサンプルのテクスチャ値は、この第１のテクスチャ画像ＴＩ０内にも、第２のテクスチャ画像ＴＩ１内にも記憶されることができない。したがって、中間３Ｄサンプルのテクスチャ値は、手続き的に定義されたロケーションにある、第１のテクスチャ画像内または第２のテクスチャ画像内の別のどこかに配置された、ＥＯＭテクスチャブロック内に記憶される（Ｖ－ＰＣＣのセクション９．４．５）。手短に言えば、このプロセスは、テクスチャ画像内の非占有ブロックのロケーションを決定し、中間３Ｄサンプルと関連付けられたテクスチャ値を、ＥＯＭテクスチャブロックと呼ばれる、テクスチャ画像のその非占有ブロックのピクセル値として記憶する。

【0106】

実施形態に従うと、パディングプロセスが、ジオメトリおよび／またはテクスチャ画像上において、適用され得る。パディングプロセスは、パッチ間の空の空間を埋めて、ビデオ圧縮に適した区分的に滑らかな画像を生成するために、使用され得る。

【0107】

画像パディング例は、Ｖ－ＰＣＣのセクション２．２．６およびセクション２．２．７において提供されている。

【0108】

ステップ３５００において、ビデオエンコーダＶＥＮＣは、生成された画像／レイヤＴＩおよびＧＩをエンコードし得る。

【0109】

ステップ３６００において、エンコーダＯＭＥＮＣは、例えば、Ｖ－ＰＣＣのセクション２．２．２において詳述されているように、占有マップを画像としてエンコードし得る。損失のあるエンコーディング、または損失のないエンコーディングが、使用され得る。

【0110】

実施形態に従うと、ビデオエンコーダＥＮＣおよび／またはＯＭＥＮＣは、ＨＥＶＣベースのエンコーダであり得る。

【0111】

ステップ３７００において、エンコーダＰＩＥＮＣは、補助パッチ情報ＰＩと、場合によっては、ジオメトリ／テクスチャ画像のブロックサイズＴ、幅Ｗ、および高さＨなどの、追加のメタデータとをエンコードし得る。

【0112】

実施形態に従うと、補助パッチ情報は、（例えば、Ｖ－ＰＣＣのセクション２．４．１において定義されているように）差分的にエンコードされ得る。

【0113】

ステップ３８００において、マルチプレクサが、ステップ３５００、ステップ３６００、およびステップ３７００の生成された出力に対して適用され得、結果として、これらの出力は、ベースレイヤＢＬを表すビットストリームを生成するために、一緒に多重化され得る。メタデータ情報は、ビットストリーム全体の小さい一部を表すことが、留意されるべきである。情報の大部分は、ビデオコーデックを使用して、圧縮される。

【0114】

図４は、本実施形態のうちの少なくとも１つに従った、画像ベースの点群デコーダ４０００の例の概略ブロック図を例示している。

【0115】

ステップ４１００において、デマルチプレクサＤＭＵＸが、ベースレイヤＢＬを表すビットストリームのエンコードされた情報を逆多重化するために、適用され得る。

【0116】

ステップ４２００において、ビデオデコーダＶＤＥＣは、少なくとも１つのデコードされたジオメトリ画像ＤＧＩ、および少なくとも１つのデコードされたテクスチャ画像ＤＴＩを導出するために、エンコードされた情報をデコードし得る。

【0117】

ステップ４３００において、デコーダＯＭＤＥＣは、デコードされた占有マップＤＯＭを導出するために、エンコードされた情報をデコードし得る。

【0118】

実施形態に従うと、ビデオデコーダＶＤＥＣおよび／またはＯＭＤＥＣは、ＨＥＶＣベースのデコーダであり得る。

【0119】

ステップ４４００において、デコーダＰＩＤＥＣは、補助パッチ情報ＤＰＩを導出するために、エンコードされた情報をデコードし得る。

【0120】

場合によっては、メタデータも、ビットストリームＢＬから導出され得る。

【0121】

ステップ４５００において、ジオメトリ生成モジュールＧＧＭは、少なくとも１つのデコードされたジオメトリ画像ＤＧＩ、デコードされた占有マップＤＯＭ、デコードされた補助パッチ情報ＤＰＩ、および場合によっては、追加のメタデータから、再構築された点群フレームＩＲＰＣＦのジオメトリＲＧを導出し得る。

【0122】

ジオメトリ生成モジュールＧＧＭは、少なくとも１つのデコードされたジオメトリ画像ＤＧＩ内において、空でないピクセルの位置を特定するために、デコードされた占有マップ情報ＤＯＭを利用し得る。

【0123】

その空でないピクセルは、デコードされた占有情報ＤＯＭのピクセル値、および上で説明されたような、Ｄ１－Ｄ０の値に応じて、占有ブロックまたはＥＯＭ参照ブロックのどちらかに属する。

【0124】

ステップ４５００の実施形態に従うと、ジオメトリ生成モジュールＧＧＭは、空ではないピクセルの座標から、中間３Ｄサンプルの３Ｄ座標のうちの２つを導出し得る。

【0125】

ステップ４５００の実施形態に従うと、その空でないピクセルが、ＥＯＭ参照ブロックに属するとき、ジオメトリ生成モジュールＧＧＭは、ＥＯＭコードワードのビット値から、中間３Ｄサンプルの３Ｄ座標の第３のものを導出し得る。

【0126】

例えば、図３ｂの例に従うと、中間３ＤサンプルＰ_i1およびＰ_i2の３Ｄ座標を決定するために、ＥＯＭコードワードＥＯＭＣが、使用される。中間３ＤサンプルＰ_i1の第３の座標は、例えば、Ｄ_i1＝Ｄ０＋３によって、Ｄ０から導出され得、再構築された３ＤサンプルＰ_i2の第３の座標は、例えば、Ｄ_i2＝Ｄ０＋５によって、Ｄ０から導出され得る。オフセット値（３または５）は、投影線に沿った、Ｄ０とＤ１との間の区間の数である。

【0127】

実施形態に従うと、空でないピクセルが、占有ブロックに属するとき、ジオメトリ生成モジュールＧＧＭは、空でないピクセルの座標、少なくとも１つのデコードされたジオメトリ画像ＤＧＩのうちの１つのその空でないピクセルの値、デコードされた補助パッチ情報から、また場合によっては、追加のメタデータから、再構築された３Ｄサンプルの３Ｄ座標を導出し得る。

【0128】

空でないピクセルの使用は、２Ｄピクセルの３Ｄサンプルとの関係に基づく。例えば、Ｖ－ＰＣＣにおける投影を用いると、再構築された３Ｄサンプルの３Ｄ座標は、深度δ（ｕ，ｖ）、タンジェントシフトｓ（ｕ，ｖ）、およびバイタンジェントシフトｒ（ｕ，ｖ）に関して、以下のように表現され得る。
δ（ｕ，ｖ）＝δ０＋ｇ（ｕ，ｖ）
ｓ（ｕ，ｖ）＝ｓ０－ｕ０＋ｕ
ｒ（ｕ，ｖ）＝ｒ０－ｖ０＋ｖ
ここで、ｇ（ｕ，ｖ）は、デコードされたジオメトリ画像ＤＧＩのルーマ成分であり、（ｕ，ｖ）は、再構築された３Ｄサンプルと関連付けられたピクセルであり、（δ０，ｓ０，ｒ０）は、再構築された３Ｄサンプルが属する、連結成分の３Ｄロケーションであり、（ｕ０，ｖ０，ｕ１，ｖ１）は、その連結成分と関連付けられたパッチの投影を包含する２Ｄバウンディングボックスを定義する、投影平面における座標である。

【0129】

ステップ４６００において、テクスチャ生成モジュールＴＧＭは、再構築された点群フレームＩＲＰＣＦのテクスチャを、ジオメトリＲＧおよび少なくとも１つのデコードされたテクスチャ画像ＤＴＩから導出し得る。

【0130】

ステップ４６００の実施形態に従うと、テクスチャ生成モジュールＴＧＭは、ＥＯＭ参照ブロックに属する空でないピクセルのテクスチャを、対応するＥＯＭテクスチャブロックから導出し得る。テクスチャ画像内のＥＯＭテクスチャブロックのロケーションは、手続き的に定義される（Ｖ－ＰＣＣのセクション９．４．５）。

【0131】

ステップ４６００の実施形態に従うと、テクスチャ生成モジュールＴＧＭは、占有ブロックに属する空でないピクセルのテクスチャを、第１のテクスチャ画像または第２のテクスチャ画像のどちらかのピクセル値として、直接的に導出し得る。

【0132】

図５は、本実施形態のうちの少なくとも１つに従った、ベースレイヤＢＬを表すビットストリームの例示的なシンタックスを概略的に例示している。

【0133】

ビットストリームは、ビットストリームヘッダＳＨと、少なくとも１つのグループオブフレームストリームＧＯＦＳとを含む。

【0134】

グループオブフレームストリームＧＯＦＳは、ヘッダＨＳと、占有マップＯＭを表す、少なくとも１つのシンタックス要素ＯＭＳと、少なくとも１つのジオメトリ画像（またはビデオ）を表す、少なくとも１つのシンタックス要素ＧＶＳと、少なくとも１つのテクスチャ画像（またはビデオ）を表す、少なくとも１つのシンタックス要素ＴＶＳと、補助パッチ情報および他の追加のメタデータを表す、少なくとも１つのシンタックス要素ＰＩＳとを含む。

【0135】

変形においては、グループオブフレームストリームＧＯＦＳは、少なくとも１つのフレームストリームを含む。

【0136】

図６は、様々な態様および実施形態がその中で実施されるシステムの例を例示した、概略ブロック図を示している。

【0137】

システム６０００は、以下で説明される様々なコンポーネントを含む、１つまたは複数のデバイスとして具現化され得、この文書において説明される態様のうちの１つまたは複数を実行するように構成される。システム６０００の全部または一部を形成し得る機器の例は、パーソナルコンピュータ、ラップトップ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続された家電製品、接続された車両およびそれらの関連付けられた処理システム、ヘッドマウントディスプレイデバイス（ＨＭＤ、シースルーグラス）、プロジェクタ（ビーマ）、「ｃａｖｅ」（多数のディスプレイを含むシステム）、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダからの出力を処理するポストプロセッサ、ビデオエンコーダに入力を提供するプリプロセッサ、ウェブサーバ、セットトップボックス、ならびに点群、ビデオもしくは画像を処理するための他の任意のデバイス、または他の通信デバイスを含む。システム６０００の要素は、単独でまたは組み合わせて、単一の集積回路、多数のＩＣ、および／または個別コンポーネント内に具現化され得る。例えば、少なくとも１つの実施形態においては、システム６０００の処理要素およびエンコーダ／デコーダ要素は、多数のＩＣおよび／または個別コンポーネントにわたって分散されてよい。様々な実施形態においては、システム６０００は、例えば、通信バスを介して、または専用入力ポートおよび／もしくは出力ポートを通して、他の類似のシステムに、または他の電子デバイスに、通信可能に結合され得る。様々な実施形態においては、システム６０００は、この文書において説明される態様のうちの１つまたは複数を実施するように構成され得る。

【0138】

システム６０００は、例えば、この文書において説明される様々な態様を実施するための、その中にロードされた命令を実行するように構成された、少なくとも１つのプロセッサ６０１０を含み得る。プロセッサ６０１０は、組み込みメモリ、入出力インターフェース、および当技術分野において知られているような、他の様々な回路を含み得る。システム６０００は、少なくとも１つのメモリ６０２０（例えば、揮発性メモリデバイスおよび／または不揮発性メモリデバイス）を含み得る。システム６０００は、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、リードオンリメモリ（ＲＯＭ）、プログラマブルリードオンリメモリ（ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、および／または光ディスクドライブを含むが、それらに限定されない、不揮発性メモリおよび／または揮発性メモリを含み得る、記憶デバイス６０４０を含み得る。記憶デバイス６０４０は、非限定的な例として、内部記憶デバイス、取り付けられた記憶デバイス、および／またはネットワークアクセス可能な記憶デバイスを含み得る。

【0139】

システム６０００は、例えば、エンコードされたデータまたはデコードされたデータを提供するために、データを処理するように構成された、エンコーダ／デコーダモジュール６０３０を含み得、エンコーダ／デコーダモジュール６０３０は、自らのプロセッサおよびメモリを含み得る。エンコーダ／デコーダモジュール６０３０は、エンコーディング機能および／またはデコーディング機能を実行するために、デバイス内に含まれ得る、モジュールを表し得る。知られているように、デバイスは、エンコードモジュールおよびデコードモジュールの一方または両方を含み得る。加えて、エンコーダ／デコーダモジュール６０３０は、システム６０００の別個の要素として実施され得、または当業者に知られているように、ハードウェアとソフトウェアとの組み合わせとして、プロセッサ６０１０内に組み込まれ得る。

【0140】

この文書において説明される様々な態様を実行するために、プロセッサ６０１０またはエンコーダ／デコーダ６０３０上にロードされる、プログラムコードは、記憶デバイス６０４０内に記憶され、その後、プロセッサ６０１０による実行のために、メモリ６０２０上にロードされ得る。様々な実施形態に従うと、プロセッサ６０１０、メモリ６０２０、記憶デバイス６０４０、およびエンコーダ／デコーダモジュール６０３０のうちの１つまたは複数は、この文書において説明されるプロセスの実行中に、様々なアイテムのうちの１つまたは複数を記憶し得る。そのような記憶されるアイテムは、点群フレーム、エンコード／デコードされたジオメトリ／テクスチャビデオ／画像、またはエンコード／デコードされたジオメトリ／テクスチャビデオ／画像の一部、ビットストリーム、行列、変数、ならびに方程式、式、演算、および操作ロジックの処理からの中間結果または最終結果を含み得るが、それらに限定されない。

【0141】

いくつかの実施形態においては、プロセッサ６０１０および／またはエンコーダ／デコーダモジュール６０３０の内部のメモリは、命令を記憶するために、およびエンコーディングまたはデコーディング中に実行され得る処理のためのワーキングメモリを提供するために、使用され得る。

【0142】

しかしながら、他の実施形態においては、処理デバイス（例えば、処理デバイスは、プロセッサ６０１０またはエンコーダ／デコーダモジュール６０３０のどちらかであり得る）の外部のメモリが、これらの機能のうちの１つまたは複数のために、使用され得る。外部メモリは、メモリ６０２０および／または記憶デバイス６０４０、例えば、ダイナミック揮発性メモリおよび／または不揮発性フラッシュメモリであり得る。いくつかの実施形態においては、外部不揮発性フラッシュメモリは、テレビのオペレーティングシステムを記憶するために、使用され得る。少なくとも１つの実施形態においては、ＲＡＭなどの高速外部ダイナミック揮発性メモリが、（ＩＴＵ－Ｔ勧告Ｈ．２６２およびＩＳＯ／ＩＥＣ１３８１８－２としても知られ、ＭＰＥＧ－２ビデオとしても知られる）ＭＰＥＧ－２パート２、ＨＥＶＣ（高効率ビデオ符号化）、またはＶＶＣ（多用途ビデオ符号化）などのための、ビデオ符号化およびデコーディング動作のためのワーキングメモリとして使用され得る。

【0143】

システム６０００の要素への入力は、ブロック６１３０に示されるように、様々な入力デバイスを通して、提供され得る。そのような入力デバイスは、（ｉ）例えば、放送局によって無線で送信された、ＲＦ信号を受信し得るＲＦ部、（ｉｉ）コンポジット入力端子、（ｉｉｉ）ＵＳＢ入力端子、および／または（ｉｖ）ＨＤＭＩ入力端子を含むが、それらに限定されない。

【0144】

様々な実施形態においては、ブロック６１３０の入力デバイスは、当技術分野で知られているように、関連付けられたそれぞれの入力処理要素を有し得る。例えば、ＲＦ部は、（ｉ）（信号を選択する、または信号を周波数の帯域に帯域制限するとも呼ばれる）所望の周波数を選択すること、（ｉｉ）選択された信号をダウンコンバートすること、（ｉｉｉ）ある実施形態においてはチャネルと呼ばれることがある（例えば）信号周波数帯域を選択するために、周波数のより狭い帯域に再び帯域制限すること、（ｉｖ）ダウンコンバートおよび帯域制限された信号を復調すること、（ｖ）誤り訂正を実行すること、ならびに（ｖｉ）データパケットの所望のストリームを選択するために、逆多重化することを行うために必要な要素と関連付けられ得る。様々な実施形態のＲＦ部は、これらの機能を実行するための１つまたは複数の要素、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、およびデマルチプレクサを含み得る。ＲＦ部は、例えば、受信された信号を、より低い周波数（例えば、中間周波数もしくはベースバンドに近い周波数）に、またはベースバンドにダウンコンバートすることを含む、これらの機能のうちの様々なものを実行する、チューナを含み得る。

【0145】

１つのセットトップボックスの実施形態においては、ＲＦ部、およびそれの関連付けられた入力処理要素は、有線（例えば、ケーブル）媒体上において送信された、ＲＦ信号を受信し得る。その後、ＲＦ部は、所望の周波数帯域になるように、フィルタリング、ダウンコンバート、および再度のフィルタリングを行うことによって、周波数選択を実行し得る。

【0146】

様々な実施形態は、上で説明された（および他の）要素の順序を並べ替え、これらの要素のいくつかを取り除き、および／または類似の機能もしくは異なる機能を実行する他の要素を追加する。

【0147】

要素を追加することは、例えば、増幅器およびアナログ－デジタルコンバータを挿入することなど、既存の要素の間に要素を挿入することを含み得る。様々な実施形態においては、ＲＦ部は、アンテナを含み得る。

【0148】

加えて、ＵＳＢおよび／またはＨＤＭＩ端子は、ＵＳＢおよび／またはＨＤＭＩ接続を介して、システム６０００を他の電子デバイスに接続するための、それぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リード－ソロモン誤り訂正は、例えば、必要に応じて、別個の入力処理ＩＣ内において、またはプロセッサ６０１０内において、実施され得ることが、理解されるべきである。同様に、ＵＳＢまたはＨＤＭＩインターフェース処理の態様は、必要に応じて、別個のインターフェースＩＣ内において、またはプロセッサ６０１０内において、実施され得る。復調、誤り訂正、および逆多重化されたストリームは、出力デバイス上における提示のために、必要に応じて、データストリームを処理するために、例えば、メモリおよび記憶要素と組み合わされて動作する、プロセッサ６０１０およびエンコーダ／デコーダ６０３０を含む、様々な処理要素に提供され得る。

【0149】

システム６０００の様々な要素は、統合されたハウジング内において提供され得る。統合されたハウジング内において、様々な要素は、相互接続され、適切な接続構成６１４０、例えば、Ｉ２Ｃバスを含む当技術分野で知られているような内部バス、配線、およびプリント回路基板を使用して、それらの間でデータを送信し得る。

【0150】

システム６０００は、通信チャネル６０６０を介した他のデバイスとの通信を可能にする、通信インターフェース６０５０を含み得る。通信インターフェース６０５０は、通信チャネル６０６０上においてデータを送信および受信するように構成された、送受信機を含み得るが、それに限定されない。通信インターフェース６０５０は、モデムまたはネットワークカードを含み得るが、それらに限定されず、通信チャネル６０６０は、例えば、有線媒体および／または無線媒体内において、実施され得る。

【0151】

様々な実施形態においては、データは、ＩＥＥＥ ８０２．１１などのＷｉ－Ｆｉネットワークを使用して、システム６０００にストリーミングされ得る。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に適合された、通信チャネル６０６０および通信インターフェース６０５０上において、受信され得る。これらの実施形態の通信チャネル６０６０は、一般に、ストリーミングアプリケーションおよび他のオーバーザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供する、アクセスポイントまたはルータに接続され得る。

【0152】

他の実施形態は、入力ブロック６１３０のＨＤＭＩ接続上においてデータを配信するセットトップボックスを使用して、ストリーミングされたデータをシステム６０００に提供し得る。

【0153】

また他の実施形態は、入力ブロック６１３０のＲＦ接続を使用して、ストリーミングされたデータをシステム６０００に提供し得る。

【0154】

シグナリングは、様々な方法で達成され得ることが、理解されるべきである。様々な実施形態においては、例えば、１つまたは複数のシンタックス要素およびフラグなどが、対応するデコーダに情報をシグナリングするために、使用され得る。

【0155】

システム６０００は、ディスプレイ６１００、スピーカ６１１０、および他の周辺デバイス６１２０を含む、様々な出力デバイスに、出力信号を提供し得る。実施形態の様々な例においては、他の周辺デバイス６１２０は、スタンドアロンＤＶＲ、ディスクプレーヤ、ステレオシステム、照明システム、およびシステム３０００の出力に基づいた機能を提供する他のデバイスのうちの１つまたは複数を含み得る。

【0156】

様々な実施形態においては、制御信号は、ＡＶ．Ｌｉｎｋ（オーディオ／ビデオリンク）、ＣＥＣ（家電制御）、またはユーザ介入を伴ったもしくは伴わないデバイス間制御を可能にする他の通信プロトコルなどのシグナリングを使用して、システム６０００と、ディスプレイ６１００、スピーカ６１１０、または他の周辺デバイス６１２０との間で、伝達され得る。

【0157】

出力デバイスは、それぞれのインターフェース６０７０、６０８０、６０９０を通した専用接続を介して、システム６０００に通信可能に結合され得る。

【0158】

あるいは、出力デバイスは、通信インターフェース６０５０を介して、通信チャネル６０６０を使用して、システム６０００に接続され得る。ディスプレイ６１００およびスピーカ６１１０は、例えば、テレビなどの電子デバイス内において、システム６０００の他のコンポーネントとともに、単一のユニットに統合され得る。

【0159】

様々な実施形態においては、ディスプレイインターフェース６０７０は、例えば、タイミングコントローラ（Ｔ Ｃｏｎ）チップなどの、ディスプレイドライバを含み得る。

【0160】

あるいは、例えば、入力６１３０のＲＦ部が、別個のセットトップボックスの一部である場合、ディスプレイ６１００およびスピーカ６１１０は、他のコンポーネントの１つまたは複数と別個であり得る。ディスプレイ６１００およびスピーカ６１１０が外部コンポーネントであり得る、様々な実施形態においては、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート、またはＣＯＭＰ出力を含む、専用の出力接続を介して、提供され得る。

【0161】

上で説明されたように、Ｖ－ＰＣＣにおいては、点群フレームの３Ｄサンプルは、２つのレイヤ上に投影され（３Ｄから２Ｄへの投影）、ニアレイヤとも呼ばれる第１のレイヤは、例えば、より小さい深度を有する３Ｄサンプルと関連付けられた深度値Ｄ０を記憶し得る。ファーレイヤと呼ばれる第２のレイヤは、例えば、より大きい深度を有する３Ｄサンプルと関連付けられた深度値Ｄ１を記憶し得る。

【0162】

図７は、Ｖ－ＰＣＣを使用した、３Ｄから２Ｄへの投影の例を例示している。

【0163】

表現を簡単にするために、描画は、２Ｄサンプル点群フレームと、１Ｄ投影平面を使用して、行われている。３Ｄサンプル（中空でない正方形）は、下向きに投影され、したがって、同じ列内の黒い３Ｄサンプルは、すべて投影平面の同じロケーションに投影される。投影された３Ｄサンプルの深度値を記憶するために、ニアレイヤＤ０とファーレイヤＤ１の２つのレイヤが、使用される。

【0164】

２つのレイヤが、使用されるので、列当たり２つの３Ｄサンプルだけが、投影されることができ、ニアレイヤ、またはファーレイヤに投影される３Ｄサンプルは、「０」、または「１」とマーク付けされる。各レイヤ値は、投影平面から３Ｄサンプルまでの距離値を表す。さらに、Ｖ－ＰＣＣにおいては、（２つのレイヤの間に配置される）中間３Ｄサンプルの深度値は、上で説明されたように、ＥＯＭコードワードを使用して、符号化される。これらの中間３Ｄサンプルは、図７においては、「Ｉ」とマーク付けされる。

【0165】

ニアレイヤＤ０（第１の深度画像）、およびファーレイヤＤ１（第２の深度画像）は、投影された３Ｄサンプルの投影平面からのロケーションが記憶される。占有マップ（画像）は、値「０」（キャンバスの非占有ブロック）、「１」（キャンバスの占有ブロック）、「ｃ」（ＥＯＭコードワードの値）のいずれかを記憶し得る。

【0166】

図８は、少なくとも１つの実施形態に従った、同じ投影線に沿って投影された３Ｄサンプルの深度値を符号化するための方法の例の概略ブロック図を例示している。

【0167】

ステップ８１００において、モジュールは、少なくとも１つの３Ｄサンプルが、座標（ｕ，ｖ）によって定義される占有マップＯＭ内のロケーションに対応する投影線ＰＬに沿って、投影されるかどうかを決定する。

【0168】

３Ｄサンプルが、投影線ＰＬに沿って投影されない場合、ステップ８２００において、占有マップ内の座標（ｕ，ｖ）に配置されたピクセルの値は、キャンバス内の非占有ブロックを示す、第１の値に等しい。例えば、その第１の値は、０に等しい。

【0169】

ステップ８２００の後には、ステップ８３００が続き、占有マップ内の別のロケーションを検討する。プロセスは、すべてのロケーションが検討されたとき、終了する。

【0170】

少なくとも１つの３Ｄサンプルが、投影線ＰＬに沿って投影される場合、ステップ８４００において、占有マップ内の座標（ｕ，ｖ）に配置されたピクセルの値は、キャンバス内の占有ブロックを示す、第２の値に等しい。例えば、その第２の値は、１に等しい。

【0171】

ステップ８５００において、モジュールは、少なくとも１つの追加の３Ｄサンプルが、投影線ＰＬに沿って投影されるかどうかをチェックする。

【0172】

Ｖ－ＰＣＣにおいては、２つの最初に投影された３Ｄサンプルの深度値が、ニアレイヤおよびファーレイヤ内に記憶されるので、第１の追加の３Ｄサンプルは、投影線ＰＬ上に投影される第３の３Ｄサンプルであることに留意されたい。

【0173】

Ｖ－ＰＣＣにおいては、ステップ８５００において、モジュールは、３Ｄサンプルのロケーションが、Ｄ０（ｕ，ｖ）よりも大きく、Ｄ１（ｕ，ｖ）よりも小さいかどうかをチェックし、第２に、Ｄ１（ｕ，ｖ）－Ｄ０（ｕ，ｖ）＞１であるかどうかをチェックする。

【0174】

追加の３Ｄサンプルが、投影線ＰＬに沿って投影されない場合、ステップ８５００の後には、ステップ８３００が続く。

【0175】

少なくとも１つの追加３Ｄサンプルが、投影線ＰＬに沿って投影される場合、ステップ８６００において、モジュールは、少なくとも１つの追加３Ｄサンプルの深度値をエンコードするために使用される、（Ｎ－１）ビット長のＰＣＭコードＰＣＭ（ｕ，ｖ）の長さＮ（ｕ，ｖ）を初期化する。

【0176】

Ｖ－ＰＣＣにおいては、Ｎ（ｕ，ｖ）＝Ｄ１（ｕ，ｖ）－Ｄ０（ｕ，ｖ）である。

【0177】

ステップ８７００において、モジュールは、投影線ＰＬに沿って投影される少なくとも１つの３Ｄサンプルの深度値をエンコードするために、（Ｎ－１）ビット長のＰＣＭコードＰＣＭ（ｕ，ｖ）を生成する。

【0178】

Ｖ－ＰＣＣにおいては、ＰＣＭ（ｕ，ｖ）の第ｉのビットは、ロケーションＤ０（ｕ，ｖ）＋ｉが、投影された３Ｄサンプルによって占有されることを示す場合は、１に等しく、非占有ロケーションを示す場合は、０に等しい。

【0179】

ステップ８８００においては、モジュールは、
以下のように、ＰＣＭ（ｕ，ｖ）からＥＯＭコードワードＣ（ｕ，ｖ）を計算する。
Ｃ（ｕ，ｖ）＝１＋（２^{^(N-1)}－１－ＰＣＭコード）

【0180】

ステップ８９００において、モジュールは、ＥＯＭコードワードを、座標（ｕ，ｖ）に配置される、占有マップＯＭ内のピクセルの値に割り当て、すなわち、ＯＭ（ｕ，ｖ）＝Ｃ（ｕ，ｖ）とする。

【0181】

ステップ８９００の後には、ステップ８３００が続く。

【0182】

図９は、少なくとも１つの実施形態に従った、同じ投影線に沿って投影された３Ｄサンプルの深度値をデコードするための方法の例の概略ブロック図を例示している。

【0183】

ステップ９１００において、モジュールは、座標（ｕ，ｖ）における占有マップ（ＯＭまたはＤＯＭ）のロケーションを検討する。プロセスは、占有マップのすべてのロケーションが検討されたとき、終了する。

【0184】

ステップ９２００において、モジュールは、占有マップ内の座標（ｕ，ｖ）に配置されたピクセルの値ＯＭ（ｕ，ｖ）が、３Ｄサンプルが、投影線ＰＬに沿って、このロケーションに投影されていないことを示すかどうかを決定する。ＯＭ（ｕ，ｖ）は、キャンバス内の占有ブロックを示す別の値と等しいこともある。言い換えると、その別の値は、投影線ＰＬに沿った少なくとも１つの投影された３Ｄサンプルの深度値が、レイヤ（ニアレイヤおよび／またはファーレイヤ）のピクセル値として記憶されていること、場合によっては、追加の３Ｄサンプルの深度値を表すＥＯＭコードワードＣ（ｕ，ｖ）が、ロケーション（ｕ，ｖ）において占有マップに記憶されていることを示す。

【0185】

Ｖ－ＰＣＣにおいては、ステップ９２００において、ＯＭ（ｕ，ｖ）＝０は、３Ｄサンプルが、ロケーション（ｕ，ｖ）において投影されていないことを示し、別のロケーションが、ステップ９１００において検討される。ＯＭ（ｕ，ｖ）＝１は、キャンバス内の占有ブロッを示し、Ｄ１（ｕ，ｖ）－Ｄ０（ｕ，ｖ）＞１は、少なくとも１つの追加３Ｄサンプルの深度値が記憶されることがあることを示す。

【0186】

占有マップ内の座標（ｕ，ｖ）に配置されたピクセルの値ＯＭ（ｕ，ｖ）が、３Ｄサンプルが、投影線ＰＬに沿って投影されないことを示す場合、ステップ９２００の後には、ステップ９１００が続き、占有マップ内の別のロケーションを検討する。

【0187】

そうでない場合、ステップ９３００において、モジュールは、少なくとも１つの追加の３Ｄサンプルの深度値をデコードするために使用される、（Ｎ－１）ビット長のＰＣＭコードＰＣＭ（ｕ，ｖ）の長さＮ（ｕ，ｖ）を初期化する。

【0188】

Ｖ－ＰＣＣにおいては、Ｎ（ｕ，ｖ）＝Ｄ１（ｕ，ｖ）－Ｄ０（ｕ，ｖ）である。

【0189】

ステップ９４００において、モジュールは、座標（ｕ，ｖ）における占有マップＯＭ（ｕ，ｖ）のピクセル値から、投影線ＰＬに沿って投影された少なくとも１つの３Ｄサンプルの深度値をデコードするための、（Ｎ－１）ビット長のＰＣＭ符号ＰＣＭ（ｕ，ｖ）を生成する。

【0190】

Ｖ－ＰＣＣにおいては、ＰＣＭコードＰＣＭ（ｕ，ｖ）は、ＥＯＭコードワードＣ（ｕ，ｖ）から、
ＰＣＭコード（ｕ，ｖ）＝１＋（２^{^(N-1)}－１－Ｃ（ｕ，ｖ））
によって獲得される。

【0191】

ステップ９５００において、モジュールは、ＰＣＭコードＰＣＭ（ｕ，ｖ）から、少なくとも１つの追加の３Ｄサンプルの深度値を導出する。

【0192】

Ｖ－ＰＣＣにおいては、Ｄ０から投影線ＰＬに沿って投影された第ｉの３Ｄサンプルの深度値は、Ｄ０（ｕ，ｖ）＋ｉに等しい。

【0193】

図８および図９に示されるように、Ｖ－ＰＣＣにおいては、ＰＣＭコードの長さは、ニアレイヤおよびファーレイヤに依存するので、単一のレイヤが、使用される場合、ＥＯＭコードワードは、計算されることができない。また、図７に示されるように、ＥＯＭコードワードを使用することは、「０」および「１」とマーク付けされた投影された３Ｄサンプルと同じ投影線上にあるが、それらの間にない３Ｄサンプルを、すなわち、投影された３Ｄサンプルが、Ｄ０からの距離がＤ１－Ｄ０よりも大きいところに配置される場合の、３Ｄサンプルを符号化することを可能にしない。Ｄ１－Ｄ０に対して許容される最大値は、一般に、「表面厚さ」と呼ばれ、したがって、それは、中間点についてのＤ０からの最大可能距離を制限する－列Ｅ、列Ｆ、および列Ｈにおける例を参照されたい。

【0194】

少なくとも１つの実施形態の一般的な態様に従うと、占有マップ（画像）のピクセル値は、同じ投影線に沿って投影された点群フレームの少なくとも１つの３Ｄサンプルの深度値が、少なくとも１つのレイヤ（深度画像）のピクセル値として記憶されるか、それとも投影線に沿った少なくとも１つの３Ｄサンプル投影の深度値を表す、固定長コードワードに等しいかを示す。

【0195】

同じ投影線に沿って投影された少なくとも１つの３Ｄサンプルの深度値を表すために、固定長コードワードを使用することは、ＰＣＭコード長が、今では、ニアレイヤおよびファーレイヤに依存しない固定値であるので、単一のレイヤを使用することを可能にする。さらに、後でさらに詳細に説明されるように、固定長コードワードを使用することは、中間３Ｄサンプルでない、投影された３Ｄサンプル、すなわち、ファーレイヤ内に記憶された深度値よりも大きい深度値を有する３Ｄサンプルの深度値の符号化を可能にする。

【0196】

少なくとも１つの実施形態に従うと、ステップ８６００およびステップ９３００において、モジュールは、（Ｎ－１）ビット長のＰＣＭコードＰＣＭ（ｕ，ｖ）の長さＮ（ｕ，ｖ）を、固定ＰＣＭコード長ＰＣＭＬとして、初期化し得る。

【0197】

ステップ８５００の実施形態に従うと、２つのレイヤＤ０およびＤ１が、使用されるとき、モジュールは、追加の３Ｄサンプルのロケーションが、Ｄ０（ｕ，ｖ）よりも大きく、Ｄ０（ｕ，ｖ）＋ＰＣＭＬよりも小さいかどうかをチェックし得る。

【0198】

図１０は、少なくとも１つの実施形態に従った、占有マップＯＭ（ｕ，ｖ）のピクセル値を決定する例を例示している。

【0199】

この例においては、２つのレイヤ（深度画像）、すなわち、レイヤ０およびレイヤ１が、使用される。ＰＣＭコード長ＰＣＭＬは、９に等しく、それは、ＰＣＭコード（ＥＯＭコードワード）当たり、３Ｄサンプルの８つのロケーションが、エンコードされ得ることを意味する。斜線の正方形は、８つのロケーションを示す。８つのロケーションのうちの１つが、ブロック正方形を覆うとき、正方形は、黒いままであることに留意されたい。例えば、列Ａにおいては、ニアレイヤ内に記憶された深度値は、２に等しく（「０」を有する黒い正方形）、ファーレイヤ内に記憶された深度値は、７に等しく（「１」を有する黒い正方形）、ＥＯＭコードワードとして記憶される深度値は、ｃに等しい。この黒い正方形から開始して、列Ａに沿った８つの斜線の正方形は、ロケーション３から１０までである。表現を明瞭にするために、ロケーション４、５は、ブロック正方形のままである。ロケーション４および５を含む、ロケーション３から１０は、それらの深度値がＰＣＭコード内にエンコードされる、投影された３Ｄサンプルに対応する。

【0200】

ニアレイヤＤ０とＤ０＋ＰＣＭＬとの間に配置される、投影された３Ｄサンプルのジオメトリは、列Ｅ、列Ｆ、および列Ｇに例示されるように、中間３Ｄサンプルでない３Ｄサンプルであっても、キャプチャされ得る。

【0201】

その結果、固定長ＰＣＭコードを使用することは、点群フレームのジオメトリの符号化効率を向上させる。

【0202】

ステップ８７００の実施形態に従うと、モジュールは、投影線ＰＬに沿って投影された３Ｄサンプルの深度値の、ＰＣＭコードＰＣＭ（ｕ，ｖ）のビットとしてのエンコーディングを、その深度値が、レイヤ値（深度画像の値）として、すでにエンコードされているときは、スキップし得る。

【0203】

例えば、モジュールは、ＰＣＭ（ｕ，ｖ）の各第ｉのビットについての現在ロケーションＤ０（ｕ，ｖ）＋ｉを算出し得、ニアレイヤおよびファーレイヤ（深度画像）内のピクセルが、そのような深度値を、投影された３Ｄサンプルとして記憶するかどうかをチェックし得る。そのケースにおいては、ＰＣＭ（ｕ，ｖ）の第ｉのビットは、０になるように設定される。そうでないケースにおいては、１である。

【0204】

ステップ８７００のこの実施形態は、ファーレイヤ、およびＥＯＭコードワードのビットを使用することによって、同じ投影された３Ｄサンプルの深度値を２回にエンコードすることを回避し、図１０に例示されるように、固定長ＰＣＭコードＦＬＰＣＭがニアレイヤとファーレイヤとの間の最大距離（最大表面厚さ）よりも大きいとき、黒い正方形に対する列Ａ、列Ｂ、列Ｃ、列Ｅ、列Ｆ、および列Ｈは「１」とマーク付けされる。

【0205】

ステップ８７００のこの実施形態は、図１１に関連してさらに説明されるように、それが、カバーされる領域を拡張し得るので、それは、有利でもある。

【0206】

図１１は、変形に従った、占有マップＯＭ（ｕ，ｖ）のピクセル値を決定する例を例示している。

【0207】

ＰＣＭコード長ＰＣＭＬは、９に等しい。例えば、列Ａにおいて、ビットｂ₀．．．ｂ₇は、それぞれ、この列Ａに関連するＰＣＭコードのロケーション３．．．１０を参照する。この例においては、列Ａのロケーション７の深度値は、すでにファーレイヤ内にエンコードされており、ＥＯＭコードワードとしてエンコードされない。したがって、ＰＣＭコードのビットｂ₄、．．．、ｂ₇は、今では、ロケーション８、．．．、１１を参照し得、領域をロケーション２（ニアレイヤ）から１１個のロケーションに拡張する。

【0208】

同様の状況が、列Ｅのロケーション３、列Ｆのロケーション２、および列Ｈのロケーション２について発生する。

【0209】

多数の点が打たれ「１」とマーク付けされた白い正方形は、それらの深度値がすでにレイヤ内に記憶されている３Ｄサンプルのロケーションを参照することに留意されたい。例えば、列Ｈのロケーション２は、ファーレイヤ内に記憶されている３Ｄサンプルの深度値を参照する。

【0210】

ステップ９２００の実施形態に従うと、単一のレイヤＤ０が、使用されるとき、モジュールは、占有マップ内の座標（ｕ，ｖ）に配置されたピクセルの値ＯＭ（ｕ，ｖ）が、３Ｄサンプルが、投影線ＰＬに沿って、このロケーションに投影されないこと（例えば、ＯＭ（ｕ，ｖ）＝０）を示すかどうかを決定し得る。ＯＭ（ｕ，ｖ）は、キャンバス内における占有ブロックを示す、別の値に等しいこともある。言い換えると、別の値は、投影線ＰＬに沿った少なくとも１つの投影された３Ｄサンプルの深度値が、レイヤＤ０内のピクセル値として記憶されること、場合によっては、追加の３Ｄサンプルの深度値を表すＥＯＭコードワードＣ（ｕ，ｖ）が、占有マップ内のロケーション（ｕ，ｖ）に記憶されることを示す。

【0211】

図１２は、少なくとも１つの実施形態に従った、占有マップＯＭ（ｕ，ｖ）のピクセル値を決定する例を例示している。

【0212】

この例においては、単一のレイヤ、すなわち、レイヤ０が、使用される。ＰＣＭコード長ＰＣＭＬは、９に等しい。例えば、列Ａにおいては、単一のレイヤ内に記憶されている深度値は、２に等しい（「０」を有する黒い正方形）。この黒い正方形から開始して、列Ａに沿った８つの斜線の正方形は、ロケーション３から１０までである。ロケーション４、５、および７は、それらの深度値がＰＣＭコード内にエンコードされる、投影された３Ｄサンプルに対応する、黒い正方形のままである。

【0213】

図８および図９に例示される方法の実施形態に従うと、固定長のＰＣＭコードが使用されるか否かを示す、情報ＩＮＦＯ１が、シグナリングされ得る。

【0214】

この実施形態に従うと、その情報ＩＮＦＯ１は、場合によっては、ネットワーク上において送信される、ビットストリームに追加され得、その情報は、場合によっては、通信手段から受信される、ビットストリームから抽出（獲得）され得る。

【0215】

この実施形態に従うと、モジュールは、固定長のコードワードが使用されるか否かを示す情報ＩＮＦＯ１を、ビットストリームから獲得し得、その情報ＩＮＦＯ１が、固定長のＰＣＭコードが、使用されないことを示す場合、ＰＣＭコードの長さは、図８のステップ８６００および図９のステップ９３００の両方において、Ｖ－ＰＣＣにあるように、２つのレイヤから導出され得る。その後、深度値が、異なる長さを有し得る、ＰＣＭコードから導出される。情報ＩＮＦＯ１が、固定長のＰＣＭコードが、使用されることを示す場合、ＰＣＭコードの長さは、エンコーディング側およびデコーディング側において知られ得る、ＰＣＭコード長ＰＣＭＬに等しくなり得る。その後、深度値が、固定長のコードワードから導出される。

【0216】

変形においては、ＰＣＭコード長ＰＣＭＬは、占有マップのビット深度に等しいと仮定され得る。例えば、占有マップが、色成分当たり８ビットを使用して、エンコードされる場合、ＰＣＭコード長ＰＣＭＬは、自動的に８になるように設定され、それは、ＰＣＭコード内に７ビットが存在することを意味する。

【0217】

この変形は、ＥＯＭコードワードの長さを最適化するための最も低い柔軟性を提供するが、それは、最も単純な手法でもある。

【0218】

実施形態に従うと、ＰＣＭコード長ＰＣＭＬを表す情報ＩＮＦＯ２が、シグナリングされ得る。

【0219】

この実施形態に従うと、その情報ＩＮＦＯ２は、場合によっては、ネットワーク上において送信される、ビットストリームに追加され得、その後、その情報は、場合によっては、通信手段から受信される、ビットストリームから抽出され得る。

【0220】

実施形態に従うと、情報ＩＮＦＯ１および／またはＩＮＦＯ２は、シーケンスレベルにおいて、シグナリングされ得る。したがって、点群フレームのシーケンスをエンコードするために、情報ＩＮＦＯ１の単一の値と、情報ＩＮＦＯ２の単一の値が、シグナリングされ得る。

【0221】

図１３は、少なくとも１つの実施形態に従った、情報ＩＮＦＯ１およびＩＮＦＯ２をシグナリングするために使用される、シンタックス要素の例を例示している。

【0222】

この例においては、情報ＩＮＦＯ１は、シンタックス要素「ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｃｏｄｅ＿ｆｉｘｅｄ＿ｂｉｔ＿ｃｏｕｎｔ＿ｆｌａｇ」であり、情報ＩＮＦＯ２は、シンタックス要素「ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ」でシグナリングされる、シンタックス要素「ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｃｏｄｅ＿ｆｉｘｅｄ＿ｂｉｔ＿ｃｏｕｎｔ」である。

【0223】

実施形態に従うと、情報ＩＮＦＯ１および／またはＩＮＦＯ２は、占有パラメータセットでシグナリングされ得る。

【0224】

図１４は、少なくとも１つの実施形態に従った、情報ＩＮＦＯ１およびＩＮＦＯ２をシグナリングするために使用される、シンタックス要素の例を例示している。

【0225】

この例においては、情報ＩＮＦＯ１は、シンタックス要素「ｏｐｓ＿ｏｃｃｕｐａｎｃｙ＿ｃｏｄｅ＿ｆｉｘｅｄ＿ｂｉｔ＿ｃｏｕｎｔ＿ｆｌａｇ」であり、情報ＩＮＦＯ２は、シンタックス要素「ｏｐｓ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ」でシグナリングされる、シンタックス要素「ｏｐｓ＿ｏｃｃｕｐａｎｃｙ＿ｃｏｄｅ＿＿ｂｉｔ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１」である。

【0226】

実施形態の変形に従うと、情報ＩＮＦＯ１および／またはＩＮＦＯ２は、ジオメトリパラメータセットのシンタックス要素として、シグナリングされ得る。

【0227】

方法の実施形態に従うと、情報ＩＮＦＯ１および／またはＩＮＦＯ２は、フレームごとに、シグナリングされ得る。

【0228】

この実施形態は、情報ＩＮＦＯ１および／またはＩＮＦＯ２が、よりしばしば送信されるので、より高いビットレートを必要とするが、各フレームについて、エンコーディング／デコーディング方法をより良好に調整することを可能にする。

【0229】

実施形態の変形においては、情報ＩＮＦＯ１および／またはＩＮＦＯ２は、ｇｅｏｍｅｔｒｙ＿ｆｒａｍｅ＿ｐａｒａｍｓ ｕｎｉｔのシンタックス要素として、シグナリングされ得る（Ｖ－ＰＣＣのセクション７．３．１８）。

【0230】

実施形態の変形においては、情報ＩＮＦＯ１および／またはＩＮＦＯ２は、ジオメトリフレームパラメータユニットに類似した、ｏｃｃｕｐａｎｃｙ＿ｆｒａｍｅ＿ｐａｒａｍｓ ｕｎｉｔのシンタックス要素として、対応するｏｃｃｕｐａｎｃｙ＿ｆｒａｍｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ ｕｎｉｔ、および対応するパッチシーケンスユニットタイプ（例えば、ＰＳＤ＿ＯＦＰＳ、占有フレームパラメータセット、Ｖ－ＰＣＣの表７－４を参照）とともに、シグナリングされ得る。

【0231】

方法の実施形態に従うと、情報ＩＮＦＯ１および／またはＩＮＦＯ２は、パッチごとに、シグナリングされ得る。

【0232】

この実施形態は、情報ＩＮＦＯ１および／またはＩＮＦＯ２が、よりしばしば送信されるので、より高いビットレートを必要とするが、各パッチについて、エンコーディング／デコーディング方法をより良好に調整することを可能にする。

【0233】

実施形態の変形に従うと、情報ＩＮＦＯ１および／またはＩＮＦＯ２は、ｐａｔｃｈ＿ｄａｔａ ｕｎｉｔおよびｄｅｌｔａ＿ｐａｔｃｈ＿ｄａｔａ ｕｎｉｔのシンタックス要素として、シグナリングされ得る。

【0234】

実施形態の変形に従うと、情報ＩＮＦＯ１および／またはＩＮＦＯ２は、ｇｅｏｍｅｔｒｙ＿ｐａｔｃｈ＿ｐａｒａｍｓ ｕｎｉｔのシンタックス要素として、シグナリングされ得る（Ｖ－ＰＣＣのセクション７．３．２２）。

【0235】

実施形態の変形に従うと、情報ＩＮＦＯ１および／またはＩＮＦＯ２は、ｏｃｃｕｐａｎｃｙ＿ｐａｔｃｈ＿ｐａｒａｍｓ ｕｎｉｔのシンタックス要素として、対応するｏｃｃｕｐａｎｃｙ＿ｐａｔｃｈ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ ｕｎｉｔとともに、シグナリングされ得る。

【0236】

本明細書においては、図１～図１４において、様々な方法が、説明され、方法の各々は、説明された方法を達成するための、１つまたは複数のステップまたはアクションを含む。ステップまたはアクションの特定の順序が、方法の適切な動作のために必要とされない限り、特定のステップおよび／またはアクションの順序および／または使用は、変更され、または組み合わされてよい。

【0237】

いくつかの例は、ブロック図および動作フローチャートに関して、説明される。各ブロックは、回路要素、モジュール、または指定された論理機能を実施するための１つもしくは複数の実行可能命令を含むコードの一部を表す。他の実施においては、ブロック内に記された機能は、示された順序とは異なって、発生することがあることも留意されるべきである。例えば、連続して示された２つのブロックは、実際には、実質的に同時に実行されることがあり、またはブロックは、含まれる機能性に応じて、ときには逆の順序で実行されることがある。

【0238】

本明細書において説明される実施および態様は、例えば、方法もしくはプロセス、装置、コンピュータプログラム、データストリーム、ビットストリーム、または信号で実施され得る。単一の形態の実施だけに関連して論じられる（例えば、方法としてだけ論じられる）としても、論じられる特徴の実施は、他の形態（例えば、装置またはコンピュータプログラム）でも実施されてよい。

【0239】

方法は、例えば、一般に、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む、処理デバイスを指す、プロセッサで実施され得る。プロセッサは、通信デバイスも含む。

【0240】

加えて、方法は、プロセッサによって実行される、命令によって実施され得、そのような命令（および／または実施によって作り出されたデータ値）は、コンピュータ可読記憶媒体上に記憶され得る。コンピュータ可読記憶媒体は、１つまたは複数のコンピュータ可読媒体内に具現化され、コンピュータによって実行可能な、その上に具現化されたコンピュータ可読プログラムコードを有する、コンピュータ可読プログラム製品の形態を取り得る。本明細書において使用される場合のコンピュータ可読記憶媒体は、その中に情報を記憶する固有の能力、およびその中からの情報の取得を提供する固有の能力を与えられた、非一時的記憶媒体と見なされ得る。コンピュータ可読記憶媒体は、例えば、電子的な、磁気的な、光学的な、電磁的な、赤外線の、もしくは半導体のシステム、装置、もしくはデバイス、または前述のものの任意の適切な組み合わせであり得るが、それらに限定されない。以下のものは、本実施形態がそれに適用され得る、コンピュータ可読記憶媒体のより具体的な例を提供するが、当業者によって容易に理解されるように、例示的なリストにすぎず、網羅的なリストではないことが、理解されるべきであり、そのリストとは、ポータブルコンピュータディスケット、ハードディスク、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、または前述のものの任意の適切な組み合わせである。

【0241】

命令は、プロセッサ可読媒体上に有形に具現化された、アプリケーションプログラムを形成し得る。

【0242】

命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせの中にあり得る。命令は、例えば、オペレーティングシステム、個別のアプリケーション、または２つの組み合わせの中に見出され得る。したがって、プロセッサは、例えば、プロセスを遂行するように構成されたデバイスと、プロセスを遂行するための命令を有する、（記憶デバイスなどの）プロセッサ可読媒体を含むデバイスの両方として特徴付けられ得る。さらに、プロセッサ可読媒体は、命令に加えて、または命令の代わりに、実施によって作り出されたデータ値を記憶し得る。

【0243】

装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実施され得る。そのような装置の例は、パーソナルコンピュータ、ラップトップ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続された家電製品、ヘッドマウントディスプレイデバイス（ＨＭＤ、シースルーグラス）、プロジェクタ（ビーマ）、「ｃａｖｅ」（多数のディスプレイを含むシステム）、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダからの出力を処理するポストプロセッサ、ビデオエンコーダに入力を提供するプリプロセッサ、ウェブサーバ、セットトップボックス、ならびに点群、ビデオもしくは画像を処理するための他の任意のデバイス、または他の通信デバイスを含む。明らかであるように、機器は、移動式であってよく、移動車両内に設置されさえしてよい。

【0244】

コンピュータソフトウェアは、プロセッサ６０１０によって、もしくはハードウェアによって、またはハードウェアとソフトウェアの組み合わせによって実施され得る。非限定的な例として、実施形態は、１つまたは複数の集積回路によっても実施され得る。メモリ６０２０は、技術環境に適した任意のタイプのものであってよく、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、およびリムーバブルメモリなどの、任意の適切なデータストレージ技術を使用して、実施され得る。プロセッサ６０１０は、技術環境に適した任意のタイプのものであってよく、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づいたプロセッサのうちの１つまたは複数を包含し得る。

【0245】

当業者に明らかであるように、実施は、例えば、記憶または送信され得る情報を搬送するようにフォーマットされた、様々な信号を作り出し得る。情報は、例えば、方法を実行するための命令、または説明した実施のうちの１つによって作り出されたデータを含み得る。例えば、信号は、説明された実施形態のビットストリームを搬送するように、フォーマットされ得る。そのような信号は、例えば、（例えば、スペクトルの無線周波数部分を使用する）電磁波として、またはベースバンド信号として、フォーマットされ得る。フォーマットは、例えば、データストリームをエンコードすること、およびエンコードされたデータストリームを用いて搬送波を変調することを含み得る。信号が搬送する情報は、例えば、アナログ情報またはデジタル情報であり得る。信号は、知られているように、様々な異なる有線リンクまたは無線リンク上において、送信され得る。信号は、プロセッサ可読媒体上に記憶され得る。

【0246】

本明細書において使用される用語は、特定の実施形態を説明することを目的としているにすぎず、限定的であることは意図されていない。本明細書において使用される場合、文脈が明らかにそうでないことを示さない限り、「ａ」、「ａｎ」、および「ｔｈｅ」を冠する単数形は、複数形も含むことが意図され得る。本明細書内において使用されるとき、「ｉｎｃｌｕｄｅｓ（含む）／ｃｏｍｐｒｉｓｅｓ（含む）」、および／または「ｉｎｃｌｕｄｉｎｇ（含む）／ｃｏｍｐｒｉｓｉｎｇ（含む）」という用語は、述べられた、例えば、特徴、整数、ステップ、動作、要素、および／またはコンポーネントの存在を指定し得るが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、コンポーネント、および／またはそれらのグループの存在または追加を排除しないことが、さらに理解されよう。さらに、要素が、別の要素に「応答する」または「接続される」と言われるとき、それは、他の要素に直接的に応答してよく、もしくは接続されてよく、または介在要素が、存在してよい。対照的に、要素が、他の要素に「直接的に応答する」または「直接的に接続される」と言われるとき、介在要素は、存在しない。

【0247】

例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、および「ＡおよびＢのうちの少なくとも１つ」のケースにおける、「／」、「および／または」、および「～のうちの少なくとも１つ」という記号／用語のいずれかの使用は、第１の列挙された選択肢（Ａ）だけの選択、または第２の列挙された選択肢（Ｂ）だけの選択、または両方の選択肢（ＡとＢ）の選択を包含することが意図され得ることが、理解されるべきである。さらなる例として、「Ａ、Ｂ、および／またはＣ」および「Ａ、Ｂ、およびＣのうちの少なくとも１つ」のケースにおいては、そのような言い回しは、第１の列挙された選択肢（Ａ）だけの選択、または第２の列挙された選択肢（Ｂ）だけの選択、または第３の列挙された選択肢（Ｃ）だけの選択、または第１および第２の列挙された選択肢（ＡとＢ）だけの選択、または第１および第３の列挙された選択肢（ＡとＣ）だけの選択、または第２および第３の列挙された選択肢（ＢとＣ）だけの選択、または３つすべての選択肢（ＡとＢとＣ）の選択を包含することが意図される。これは、当技術分野および関連技術分野の当業者に明らかなように、列挙されたアイテムの数だけ拡張され得る。

【0248】

例えば、様々な数値が、本出願において、使用され得る。特定の数値は、例示的な目的のためであり得、説明された態様は、これらの特定の数値に限定されない。

【0249】

様々な要素を説明するために、本明細書においては、第１の、第２のなどの用語が、使用されることがあるが、これらの要素は、これらの用語によって限定されないことが、理解されよう。これらの用語は、１つの要素を別の要素から区別するために使用されるにすぎない。例えば、本出願の教示から逸脱することなく、第１の要素は、第２の要素と呼ばれることができ、同様に、第２の要素は、第１の要素と呼ばれることができる。第１の要素と第２の要素との間の順序付けは、暗示されない。

【0250】

「１つの実施形態」もしくは「実施形態」、または「１つの実施」もしくは「実施」、およびそれらの他の変形に対する言及は、（実施形態／実施との関連において説明される）特定の特徴、構造、および特性などが、少なくとも１つの実施形態／実施に含まれることを伝えるために頻繁に使用される。したがって、本出願全体の様々な場所に出現する、「１つの実施形態において」もしくは「実施形態において」という語句、または「１つの実施において」もしくは「実施において」という語句、および他の任意の変形の出現は、必ずしもすべてが同じ実施形態に言及しているわけではない。

【0251】

同様に、本明細書における、「実施形態／例／実施に従うと」、または「実施形態／例／実施においては」、およびそれらの他の変形に対する言及は、（実施形態／例／実施との関連において説明される）特定の特徴、構造、または特性が、少なくとも１つの実施形態／例／実施に含まれ得ることを伝えるために頻繁に使用される。したがって、本明細書内の様々な場所における、「実施形態／例／実施に従うと」という表現、または「実施形態／例／実施において」という表現の出現は、必ずしもすべてが同じ実施形態／例／実施に言及しているわけではなく、別のまたは代替の実施形態／例／実施は、他の実施形態／例／実施と必ずしも相互に排他的であるわけではない。

【0252】

請求項内に出現する参照番号は、例示のためのものにすぎず、請求項の範囲に対して限定的な効果を有さないものとする。明示的に説明されていないが、本実施形態／例および変形は、任意のコンビネーションまたはサブコンビネーションにおいて、利用され得る。

【0253】

図が、フロー図として提示されるとき、それは、対応する装置のブロック図も提供することが、理解されるべきである。同様に、図が、ブロック図として提示されるとき、それは、対応する方法／プロセスのフロー図も提供することが、理解されるべきである。

【0254】

いくつかの図は、通信の主要な方向を示すために、通信経路上に矢印を含むが、通信は、描かれた矢印と反対の方向に生じてよいことが、理解されるべきである。

【0255】

様々な実施は、デコーディングを含む。「デコーディング」は、本出願において使用される場合、表示に適した、または再構築された点群領域におけるさらなる処理に適した、最終出力を作り出すために、例えば、（場合によっては、１つまたは複数の点群フレームをエンコードした受信されたビットストリームを含む）受信された点群フレームに対して実行されるプロセスのすべてまたは一部を包含し得る。様々な実施形態においては、そのようなプロセスは、一般に画像ベースのデコーダによって実行されるプロセスのうちの１つまたは複数を含む。様々な実施形態においては、そのようなプロセスは、例えば、本出願において説明される様々な実施のデコーダによって実行されるプロセスも含み、またはプロセスを代替的に含む。

【0256】

さらなる例として、１つの実施形態においては、「デコーディング」は、エントロピデコーディングだけを指してよく、別の実施形態においては、「デコーディング」は、差分デコーディングだけを指してよく、別の実施形態においては、「デコーディング」は、エントロピデコーディングと差分デコーディングとの組み合わせを指してよい。「デコーディングプロセス」という語句が、特定的に動作のサブセットを指すか、それとも一般的により広範なデコーディングプロセスを指すかは、具体的な説明の文脈に基づいて、明らかであり、当業者によってよく理解されると信じられる。

【0257】

様々な実施は、エンコーディングを含む。「デコーディング」についての上の論考と類似した方法で、「エンコーディング」は、本出願において使用される場合、エンコードされたビットストリームを生成するために、例えば、入力点群フレームに対して実行されるプロセスのすべてまたは一部を包含し得る。様々な実施形態においては、そのようなプロセスは、一般に画像ベースのデコーダによって実行されるプロセスのうちの１つまたは複数を含む。

【0258】

さらなる例として、１つの実施形態においては、「エンコーディング」は、エントロピエンコーディングだけを指してよく、別の実施形態においては、「エンコーディング」は、差分エンコーディングだけを指してよく、別の実施形態においては、「エンコーディング」は、差分エンコーディングとエントロピエンコーディングとの組み合わせを指してよい。「エンコーディングプロセス」という語句が、特定的に動作のサブセットを指すか、それとも一般的により広範なエンコーディングプロセスを指すかは、具体的な説明の文脈に基づいて、明らかであり、当業者によってよく理解されると信じられる。

【0259】

本明細書において使用される場合、シンタックス要素、例えば、ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｃｏｄｅ＿ｆｉｘｅｄ＿ｂｉｔ＿ｃｏｕｎｔ＿ｆｌａｇ、ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｃｏｄｅ＿ｆｉｘｅｄ＿ｂｉｔ＿ｃｏｕｎｔ、ｏｐｓ＿ｏｃｃｕｐａｎｃｙ＿ｃｏｄｅ＿ｆｉｘｅｄ＿ｂｉｔ＿ｃｏｕｎｔ＿ｆｌａｇ、ｏｐｓ＿ｏｃｃｕｐａｎｃｙ＿ｃｏｄｅ＿＿ｂｉｔ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１、ｏｐｓ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ、ｏｃｃｕｐａｎｃｙ＿ｆｒａｍｅ＿ｐａｒａｍｓ ｕｎｉｔ、ｐａｔｃｈ＿ｄａｔａ ｕｎｉｔ、ｏｃｃｕｐａｎｃｙ＿ｐａｔｃｈ＿ｐａｒａｍｓ ｕｎｉｔは、記述的用語であることに留意されたい。そのため、それらは、他のシンタックス要素名の使用を排除しない。

【0260】

様々な実施形態は、レート歪み最適化に言及する。特に、エンコーディングプロセス中、レートと歪みとの間のバランスまたはトレードオフが、通常、検討され、計算複雑さの制約をしばしば与えられる。レート歪み最適化は、通常、レートと歪みの加重和である、レート歪み関数を最小化することとして、定式化され得る。レート歪み最適化問題を解決するための異なる手法が、存在する。例えば、手法は、すべての検討されるモードまたは符号化パラメータ値を含む、すべてのエンコーディング選択肢の、それらの符号化コスト、ならびに符号化およびデコーディング後の再構築された信号の関連する歪みの完全な評価を伴った、広範なテストに基づき得る。エンコーディング複雑さを減じるために、特に、再構築されたものではない、予測または予測残差信号に基づいた、近似された歪みの計算を用いる、より高速な手法も、使用され得る。可能なエンコーディング選択肢のいくつかだけに対して近似された歪みを使用し、他のエンコーディング選択肢に対しては完全な歪みを使用することなどによる、これら２つの手法の混合も、使用され得る。他の手法は、可能なエンコーディング選択肢のサブセットだけを評価する。より一般には、多くの手法は、最適化を実行するために、様々な技法のいずれかを利用するが、最適化は、必ずしも、符号化コストと、関連する歪みの両方の完全な評価ではない。

【0261】

加えて、本出願は、様々な情報を「決定する」ことに言及することがある。情報を決定することは、例えば、情報を推定すること、情報を算出すること、情報を予測すること、または情報をメモリから取得することのうちの１つまたは複数を含み得る。

【0262】

さらに、本出願は、様々な情報に「アクセス」することに言及することがある。情報にアクセスすることは、例えば、情報を受信すること、情報を（例えば、メモリから）取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を算出すること、情報を決定すること、情報を予測すること、または情報を推定することのうちの１つまたは複数を含み得る。

【0263】

加えて、本出願は、様々な情報を「受信する」ことに言及することがある。「受信する」は、「アクセスする」と同様に、広義の用語であることが意図されている。情報を受信することは、例えば、情報にアクセスすること、または情報を（例えば、メモリから）取得することのうちの１つまたは複数を含み得る。さらに、「受信する」ことは、一般に、例えば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を算出すること、情報を決定すること、情報を予測すること、または情報を推定することなどの動作中に、様々な方法で含まれる。

【0264】

また、本明細書において使用される場合、「ｓｉｇｎａｌ（シグナリングする）」という単語は、とりわけ、対応するデコーダに何かを示すことを指す。例えば、ある実施形態においては、エンコーダは、特定の情報ＩＮＦＯ１および／またはＩＮＦＯ２をシグナリングする。このようにして、実施形態においては、エンコーダ側とデコーダ側の両方において、同じパラメータが、使用され得る。したがって、例えば、エンコーダは、デコーダが、同じ特定のパラメータを使用し得るように、特定のパラメータをデコーダに送信し得る（明示的なシグナリング）。反対に、デコーダが、すでに特定のパラメータおよびその他を有する場合、デコーダが、特定のパラメータを知り、選択することを単に可能にするために、送信せずに、シグナリングが、使用され得る（暗黙的なシグナリング）。いずれの実際の機能の送信も回避することによって、様々な実施形態において、ビット節約が、実現される。シグナリングは、様々な方法で達成され得ることが、理解されるべきである。例えば、様々な実施形態においては、情報を対応するデコーダにシグナリングするために、１つまたは複数のシンタックス要素およびフラグなどが、使用される。前述のことは、「ｓｉｇｎａｌ」という単語の動詞形に関連するが、「ｓｉｇｎａｌ（信号）」という単語は、本明細書においては、名詞としても使用され得る。

【0265】

数々の実施が、説明された。それにもかかわらず、様々な変更が、行われ得ることが、理解されよう。例えば、異なる実施の要素は、他の実施を作り出すために、組み合わされ、補足され、変更され、取り除かれてよい。加えて、当業者は、他の構造およびプロセスが、開示されたそれらに取って代わってよく、結果として得られた実施は、開示された実施と少なくとも実質的に同じ結果を達成するために、少なくとも実質的に同じ方法で、少なくとも実質的に同じ機能を実行することを理解するであろう。したがって、これらの実施および他の実施は、本出願によって企図されている。

【図1】

【図2】

【図3】

【図3a】

【図3b】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】