特許7541576 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ インターデジタル　シーイー　パテント　ホールディングスの特許一覧

特許7541576中間サンプルのパッチを使用する点群の符号化及び復号化

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
3a
3b
4
5
6
7
7a
8

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-20

(45)【発行日】2024-08-28

(54)【発明の名称】中間サンプルのパッチを使用する点群の符号化及び復号化

(51)【国際特許分類】

G06T 9/00 20060101AFI20240821BHJP

H04N 19/597 20140101ALI20240821BHJP

H04N 19/70 20140101ALI20240821BHJP

【ＦＩ】

G06T9/00

H04N19/597

H04N19/70

【請求項の数】 15

(21)【出願番号】P 2022517977

(86)(22)【出願日】2020-09-15

(65)【公表番号】

(43)【公表日】2022-11-24

(86)【国際出願番号】 EP2020075680

(87)【国際公開番号】W WO2021058315

(87)【国際公開日】2021-04-01

【審査請求日】2023-08-23

(31)【優先権主張番号】19306190.0

(32)【優先日】2019-09-24

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518341334

【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部豊隆

(72)【発明者】

【氏名】アンドリヴォン、ピエール

(72)【発明者】

【氏名】オリヴィエ、ヤニック

(72)【発明者】

【氏名】シュヴェ、ジャン－クロード

(72)【発明者】

【氏名】ジャンドロン、デイヴィッド

【審査官】岩井健二

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０１２２３９３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／００８７９７９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ９／００－９／４０

Ｈ０４Ｎ１９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

点群の第１の３Ｄサンプルの少なくとも１つの属性を符号化することであって、前記第１の３Ｄサンプルの前記少なくとも１つの属性は、２Ｄサンプルの少なくとも１つの第１の属性パッチとして符号化され、前記第１の３Ｄサンプルの３Ｄ座標は、幾何学的形状画像のパッチの画素値として符号化される、ことと、
中間３Ｄサンプルの少なくとも１つの属性を符号化することであって、前記中間３Ｄサンプルは、同じ投影線に沿った前記点群の２つの直交投影された３Ｄサンプルの間に位置する前記点群の３Ｄサンプルであり、前記中間３Ｄサンプルの少なくとも１つの属性は、２Ｄサンプルの少なくとも１つの第２の属性パッチとして符号化される、ことと、
前記２Ｄサンプルの少なくとも１つの第１の属性パッチ及び前記２Ｄサンプルの少なくとも１つの第２の属性パッチが、別々の画像に格納されているかどうかを示す情報を符号化することと
を含み、
前記情報は、
前記２Ｄサンプルの少なくとも１つの第１の属性パッチが、第１の画像に格納されているかどうか、又は前記２Ｄサンプルの少なくとも１つの第１の属性パッチが、２Ｄサンプルの他の属性パッチと共に第２の画像に格納されているかどうかを示す第１のフラグと、
前記２Ｄサンプルの少なくとも１つの第２の属性パッチが、第３の画像に格納されているかどうか、又は前記２Ｄサンプルの少なくとも１つの第２の属性パッチが、２Ｄサンプルの他の属性パッチと共に前記第２の画像に格納されているかどうかを示す第２のフラグと、を含む、方法。

【請求項2】

前記方法は、別個の画像がどのように圧縮されるかを示す別の情報を符号化することを更に含む、請求項１に記載の方法。

【請求項3】

点群の第１の３Ｄサンプルの少なくとも１つの属性を復号化することであって、前記第１の３Ｄサンプルの前記少なくとも１つの属性が、２Ｄサンプルの少なくとも１つの第１の属性パッチから復号化され、前記第１の３Ｄサンプルの３Ｄ座標は、幾何学的形状画像のパッチの画素値から復号化される、ことと、
中間３Ｄサンプルの少なくとも１つの属性を復号化することであって、前記中間３Ｄサンプルは、同じ投影線に沿った前記点群の２つの直交投影された３Ｄサンプルの間に位置する前記点群の３Ｄサンプルであり、前記中間３Ｄサンプルの少なくとも１つの属性は、２Ｄサンプルの少なくとも１つの第２の属性パッチとして復号化される、ことと、
前記２Ｄサンプルの少なくとも１つの第１の属性パッチ及び前記２Ｄサンプルの少なくとも１つの第２の属性パッチが、別個の画像に格納されているかどうかを示す情報を復号化することと
を含み、
前記情報は、
前記２Ｄサンプルの少なくとも１つの第１の属性パッチが、第１の画像に格納されているかどうか、又は前記２Ｄサンプルの少なくとも１つの第１の属性パッチが、２Ｄサンプルの他の属性パッチと共に第２の画像に格納されているかどうかを示す第１のフラグと、
前記２Ｄサンプルの少なくとも１つの第２の属性パッチが、第３の画像に格納されているかどうか、又は前記２Ｄサンプルの少なくとも１つの第２の属性パッチが、２Ｄサンプルの他の属性パッチと共に前記第２の画像に格納されているかどうかを示す第２のフラグと、を含む、方法。

【請求項4】

前記３Ｄサンプルの前記少なくとも１つの属性、前記中間３Ｄサンプルの少なくとも１つの属性、及び前記情報が、ピクチャレベル、フレームレベル、及びパッチレベルのグループで階層的に構成されているビデオストリームから復号化されており、前記情報は、ピクチャレベル、フレームレベル、アトラスレベル、又はパッチレベルのグループのいずれかで有効である、請求項３に記載の方法。

【請求項5】

前記方法は、別個の画像がどのように圧縮されるかを示す別の情報を復号化することを更に含む、請求項３又は４に記載の方法。

【請求項6】

点群の第１の３Ｄサンプルの少なくとも１つの属性を符号化することであって、前記第１の３Ｄサンプルの前記少なくとも１つの属性は、２Ｄサンプルの少なくとも１つの第１の属性パッチとして符号化され、前記第１の３Ｄサンプルの３Ｄ座標は、幾何学的形状画像のパッチの画素値として符号化される、ことと、
中間３Ｄサンプルの少なくとも１つの属性を符号化することであって、前記中間３Ｄサンプルは、同じ投影線に沿った前記点群の２つの直交投影された３Ｄサンプルの間に位置する前記点群の３Ｄサンプルであり、前記中間３Ｄサンプルの少なくとも１つの属性は、２Ｄサンプルの少なくとも１つの第２の属性パッチとして符号化される、ことと、
前記２Ｄサンプルの少なくとも１つの第１の属性パッチ及び前記２Ｄサンプルの少なくとも１つの第２の属性パッチが、別個の画像に格納されているかどうかを示す情報を符号化することと、
を行うように構成された１つ又は複数のプロセッサを備える装置であって、
前記情報は、
前記２Ｄサンプルの少なくとも１つの第１の属性パッチが、第１の画像に格納されているかどうか、又は前記２Ｄサンプルの少なくとも１つの第１の属性パッチが、２Ｄサンプルの他の属性パッチと共に第２の画像に格納されているかどうかを示す第１のフラグと、
前記２Ｄサンプルの少なくとも１つの第２の属性パッチが、第３の画像に格納されているかどうか、又は前記２Ｄサンプルの少なくとも１つの第２の属性パッチが、２Ｄサンプルの他の属性パッチと共に前記第２の画像に格納されているかどうかを示す第２のフラグと、を含む、装置。

【請求項7】

点群の第１の３Ｄサンプルの少なくとも１つの属性を復号化することであって、前記第１の３Ｄサンプルの前記少なくとも１つの属性は、２Ｄサンプルの少なくとも１つの第１の属性パッチから復号化され、前記第１の３Ｄサンプルの３Ｄ座標は、幾何学的形状画像のパッチの画素値から復号化される、ことと、
中間３Ｄサンプルの少なくとも１つの属性を復号化することであって、前記中間３Ｄサンプルは、同じ投影線に沿った前記点群の２つの直交投影された３Ｄサンプルの間に位置する前記点群の３Ｄサンプルであり、前記中間３Ｄサンプルの少なくとも１つの属性は、２Ｄサンプルの少なくとも１つの第２の属性パッチとして復号化される、ことと、
前記２Ｄサンプルの少なくとも１つの第１の属性パッチ及び前記２Ｄサンプルの少なくとも１つの第２の属性パッチが、別個の画像に格納されているかどうかを示す情報を復号化することと、
を行うように構成された１つ又は複数のプロセッサを備える装置であって、
前記情報は、
前記２Ｄサンプルの少なくとも１つの第１の属性パッチが、第１の画像に格納されているかどうか、又は前記２Ｄサンプルの少なくとも１つの第１の属性パッチが、２Ｄサンプルの他の属性パッチと共に第２の画像に格納されているかどうかを示す第１のフラグと、
前記２Ｄサンプルの少なくとも１つの第２の属性パッチが、第３の画像に格納されているかどうか、又は前記２Ｄサンプルの少なくとも１つの第２の属性パッチが、２Ｄサンプルの他の属性パッチと共に前記第２の画像に格納されているかどうかを示す第２のフラグと、を含む、装置。

【請求項8】

【請求項9】

前記１つ又は複数のプロセッサは、別個の画像がどのように圧縮されるかを示す別の情報を符号化又は復号化するように更に構成されている、請求項６～８のいずれか一項に記載の装置。

【請求項10】

命令を含むコンピュータプログラムであって、前記命令は、前記プログラムが１つ以上のプロセッサによって実行されるときに、前記１つ以上のプロセッサに、請求項１又は３に記載の方法を遂行させる、コンピュータプログラム。

【請求項11】

１つ以上のプロセッサに、請求項１又は３に記載の方法を実施させるための命令を含む、非一時的なコンピュータ可読媒体。

【請求項12】

前記中間３Ｄサンプルの３Ｄ座標は、中間３Ｄサンプルが投影される投影面上の画素の座標として、及び占有率画像に格納されるコードワードとして符号化又は復号化され、コードワードの１ビットは、前記投影線に沿った中間３Ｄサンプルの位置を示し、
前記直交投影された３Ｄサンプルの３Ｄ座標は、前記直交投影された３Ｄサンプルが投影される前記投影面上の画素の座標として、及び前記画素の値として符号化される、請求項１又は３に記載の方法。

【請求項13】

コードワードは、占有率マップに格納された２Ｄサンプルの少なくとも１つの第２の幾何学的形状パッチを形成するようにパックされる、請求項１２に記載の方法。

【請求項14】

【請求項15】

コードワードは、占有率マップに格納された２Ｄサンプルの少なくとも１つの第２の幾何学的形状パッチを形成するようにパックされる、請求項１４に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態のうちの少なくとも１つは、概して、点群の処理に関する。特に、別個のビデオストリーム内／そこからの３Ｄサンプルの属性の符号化／復号化が開示される。

【背景技術】

【0002】

本節は、以下に記載及び／又は特許請求される本実施形態のうちの少なくとも１つの様々な態様に関連し得る技術の様々な態様を読者に紹介することが意図されている。本考察は、背景情報を読者に提供して、少なくとも１つの実施形態の様々な態様をより良好に理解することを容易にすることに役立つと考えられる。

【0003】

点群は、文化遺産／建造物などの様々な目的に使用され得、そこにある彫像又は建物のような対象物を３Ｄでスキャンして、対象物を送付又は訪問せずに、対象物の空間的な構成を共有する。また、その対象物が破壊され得る場合、例えば、地震により寺院が破壊され得る場合、点群は、その対象物の知識を確実に保全するための方法である。このような点群は、通常、静的であり、色分けされており、かつ膨大である。

【0004】

別の使用例は、地形学及びマップ作成法におけるものであり、そこでは、３Ｄ表現を使用することにより、平面に限定されず、起伏を含み得るマップを可能にする。ＧｏｏｇｌｅＭａｐｓは、現在、３Ｄマップの良い例であるが、点群の代わりにメッシュを使用している。それにもかかわらず、点群は、３Ｄマップのための好適なデータ形式であり得、そのような点群は、通常、静的であり、色分けされており、かつ膨大である。

【0005】

自動車産業及び自動走行車もまた、点群が使用され得る分野である。自動走行車は、それらの環境を「探査」し、それらの目前の近隣の現実に基づいて、良好な運転判断を行うことができる必要がある。ＬＩＤＡＲ（光検出と測距）のような典型的なセンサは、決定エンジンによって使用される動的点群を生成する。これらの点群は、人間が見ることを意図しておらず、それらは、通常、小さく、必ずしも色分けされておらず、かつ高い捕捉頻度で動的である。これらの点群は、この属性が、検知された対象物の材料に関する良好な情報を提供するときに、ＬＩＤＡＲによって提供される反射率のような他の属性を有し得、決定を下すことに役立ち得る。

【0006】

仮想現実及び没入型世界が、最近、話題になっており、２Ｄ平面ビデオの未来として多くの人によって予測されている。その基本的な考え方は、視聴者を取り囲む環境内に視聴者を没入させることであり、視聴者がその視聴者の前方にある仮想世界を眺めることしかできない標準ＴＶとは対照的である。環境内の視聴者の自由度に応じて、没入性には、いくつかの段階がある。点群は、仮想現実（Virtual Reality、ＶＲ）世界を配信するための良好な形式候補である。

【0007】

多くの用途において、許容可能な（又は好ましくは非常に良好な）体験の品質を維持しながら、妥当な量のビットレート（又は記憶用途のための記憶空間）のみを消費することによって、動的点群をエンドユーザに配信する（又は動的点群をサーバ内に格納する）ことができることが重要である。これらの動的点群の効率的な圧縮は、多くの没入型世界の配信網を実用化するための重要な点である。

【0008】

少なくとも１つの実施形態が、上記を念頭に置いて、考案されてきた。

【発明の概要】

【0009】

以下は、本開示のいくつかの態様の基本的な理解を提供するために、本実施形態のうちの少なくとも１つの簡略化された概要を提示する。この概要は、実施形態の広範な概要ではない。実施形態の重要な要素又は不可欠な要素を識別することは、意図されていない。以下の概要は、本文書内の他のところに提供される更に詳細な説明の序章として、簡略化された形態で、本実施形態のうちの少なくとも１つのいくつかの態様を提示するにすぎない。

【0010】

少なくとも１つの実施形態の一般的な態様によれば、直交投影された３Ｄサンプルの属性を符号化する方法であって、当該直交投影された３Ｄサンプルの属性が、画像の２Ｄサンプルの少なくとも１つの第１の属性パッチとして符号化され、同じ投影線に沿った２つの直交投影された３Ｄサンプルの間に位置する中間３Ｄサンプルの属性が、画像内の２Ｄサンプルの少なくとも１つの第２の属性パッチとして符号化される方法が提供され、本方法は、当該２Ｄサンプルの少なくとも１つの第１の属性パッチ及び当該２Ｄサンプルの少なくとも１つの第２の属性パッチが、別個の画像に格納されているかどうかを示す情報を符号化することを含む。

【0011】

実施形態によれば、ビデオストリームは、ピクチャレベル、フレームレベル、及びパッチレベルのグループで階層的に構成されており、当該情報は、ピクチャレベル、フレームレベル、アトラスレベル、又はパッチレベルのグループのいずれかで有効である。

【0012】

実施形態によれば、その情報は、２Ｄサンプルの少なくとも１つの第１の属性パッチが、第１の画像に格納されているかどうか、又は当該２Ｄサンプルの少なくとも１つの第１の属性パッチが、第２の画像内に２Ｄサンプルの他の属性パッチと共に格納されているかどうかを示す第１のフラグと、２Ｄサンプルの少なくとも１つの第２の属性パッチが、第３の画像に格納されているかどうか、又は当該２Ｄサンプルの少なくとも１つの第２の属性パッチが、当該第２の画像内に２Ｄサンプルの他の属性パッチと共に格納されているかどうかを示す第２のフラグと、である。

【0013】

実施形態によれば、本方法は、別個の画像がどのように圧縮されるかを示す別の情報を符号化することを更に含む。

【0014】

少なくとも１つの実施形態の一般的な態様によれば、３Ｄサンプルの属性を復号化する方法であって、当該３Ｄサンプルの属性が、画像の２Ｄサンプルの少なくとも１つの第１の属性パッチから復号化され、同じ投影線に沿った２つの３Ｄサンプルの間に位置する中間３Ｄサンプルの属性が、画像内の２Ｄサンプルの少なくとも１つの第２の属性パッチとして復号化される方法が提供され、本方法は、当該２Ｄサンプルの少なくとも１つの第１の属性パッチ及び当該２Ｄサンプルの少なくとも１つの第２の属性パッチが、別個の画像に格納されているかどうかを示す情報を復号化することを含む。

【0015】

【0016】

【0017】

実施形態によれば、本方法は、別個の画像がどのように圧縮されるかを示す別の情報を符号化することを更に含む。

【0018】

少なくとも１つの実施形態のうちの１つ以上はまた、装置、ビットストリーム、コンピュータプログラム製品、及び非一時的なコンピュータ可読媒体も提供する。

【0019】

本実施形態のうちの少なくとも１つの特異性、並びに当該本実施形態のうちの少なくとも１つの他の目的、利点、特徴、及び使用は、添付の図面と併せて取られる実施例の以下の説明から明らかになるであろう。

【図面の簡単な説明】

【0020】

図面において、いくつかの実施形態の例が例示される。図面は、以下を示す。

【図1】本実施形態のうちの少なくとも１つによる、２層ベースの点群符号化構造の例の概略ブロック図を例示する。

【図2】本実施形態のうちの少なくとも１つによる、２層ベースの点群復号化構造の例の概略ブロック図を例示する。

【図3】本実施形態のうちの少なくとも１つによる、画像ベースの点群エンコーダの例の概略ブロック図を例示する。

【図3a】２つのパッチ及びそれらの２Ｄ境界ボックスを含むキャンバスの例を例示する。

【図3b】投影線に沿った２つの３Ｄサンプルの間に位置する２つの中間３Ｄサンプルの例を例示する。

【図4】本実施形態のうちの少なくとも１つによる、画像ベースの点群デコーダの例の概略ブロック図を例示する。

【図5】本実施形態のうちの少なくとも１つによる、ベース層ＢＬを表すビットストリームのシンタックスの例を概略的に例示する。

【図6】様々な態様及び実施形態が実装されるシステムの例の概略ブロック図を例示する。

【図7】少なくとも１つの実施形態による、点群フレームの直交３Ｄサンプルを符号化するための方法のフローチャートの実施例を示す。

【図7a】少なくとも１つの実施形態による、点群フレームの直交３Ｄサンプルを符号化するための方法のフローチャートの実施例を示す。

【図8】少なくとも１つの実施形態による、情報ＩＮＦを埋め込むシンタックス要素の例を例示する。

【発明を実施するための形態】

【0021】

本実施形態のうちの少なくとも１つは、添付の図面を参照して、以下に更に十分に説明され、そこでは、本実施形態のうちの少なくとも１つの例が示される。しかしながら、実施形態は、多くの代替形態で具現化され得、本明細書に記載される例に限定されるものとして解釈されるべきではない。したがって、実施形態を、開示された特定の形態に限定する意図はないことを理解されたい。対照的に、本開示は、本出願の趣旨及び範囲内にある全ての変更物、等価物、及び代替物を網羅することを意図している。

【0022】

図がフロー図として提示される場合、その図が、対応する装置のブロック図も提供することを理解されたい。同様に、図がブロック図として提示される場合、その図が、対応する方法／プロセスのフロー図も提供することを理解されたい。

【0023】

同様又は同一の図の要素は、同一の参照番号を用いて参照される。

【0024】

いくつかの図は、Ｖ－ＰＣＣに従うビットストリームの構造を定義するためにＶ－ＰＣＣにおいて広く使用されているシンタックステーブルを表す。それらのシンタックステーブルでは、「．．．」という用語は、Ｖ－ＰＣＣにおいて与えられた元の定義に関するシンタックスの変化しない部分、及び読み取りを容易にするために図において除去された部分を示す。図における太字の用語は、この用語の値が、ビットストリームを解析することによって得られることを示す。シンタックステーブルの右列は、シンタックス要素のデータを符号化するためのビット数を示す。例えば、ｕ（４）は、４ビットが、データを符号化するために使用され、ｕ（８）は、８ビットが、データを符号化するために使用されることを示し、ａｅ（ｖ）は、コンテキスト適応算術エントロピーコード化されたシンタックス要素を示す。

【0025】

以下に記載及び企図される態様は、多くの異なる形態で実施され得る。以下の図１～図８では、いくつかの実施形態を提供するが、他の実施形態が企図されており、図１～図８の考察は、実装形態の幅を限定するものではない。

【0026】

態様のうちの少なくとも１つは、一般に、点群符号化及び復号化に関し、少なくとも１つの他の態様は、一般に、生成されるか又は符号化されたビットストリームの送信に関する。

【0027】

より正確には、本明細書に記載される様々な方法及び他の態様は、モジュール、例えば、図１～図８に示されるように、画像ベースのエンコーダ３０００及びデコーダ４０００を変更するために使用され得る。

【0028】

更に、本態様は、点群圧縮に関係するＭＰＥＧ－Ｉパート５などのＭＰＥＧ標準規格に限定されず、例えば、既存の又は将来開発されるかにかかわらず、他の標準規格及び勧告、並びにこのような任意の標準規格及び勧告の拡張（ＭＰＥＧ－Ｉパート５を含む）に適用され得る。別段の指示がない限り、又は技術的に排除されない限り、本出願に記載される態様は、個々に又は組み合わせて使用され得る。

【0029】

以下では、画像データとは、データ、例えば、特定の画像／ビデオ形式における２Ｄサンプルの１つ又はいくつかの配列を指す。特定の画像／ビデオ形式は、画像（又はビデオ）の画素値に関連する情報を指定し得る。特定の画像／ビデオ形式はまた、情報を指定し得、その情報は、ディスプレイ及び／又は他の任意の装置によって使用されて、例えば、画像（又はビデオ）を視覚化及び／又は復号化し得る。画像は、典型的には、２Ｄサンプルの第１の配列の形状で、通常、画像の輝度（又はルーマ）を表す第１の成分を含む。画像はまた、２Ｄサンプルの他の配列の形状で、通常、画像の色度（又はクロマ）を表す第２の成分及び第３の成分も含み得る。いくつかの実施形態は、従来の３色ＲＧＢ表現などの、一組の２Ｄ色サンプル配列を使用して、同じ情報を表す。

【0030】

画素値は、Ｃ値のベクトルによって１つ以上の実施形態で表され、ここで、Ｃは、成分の数である。ベクトルの各値は、典型的には、画素値のダイナミックレンジを規定し得るビット数を用いて表される。

【0031】

画像ブロックとは、画像に属する一組の画素を意味する。画像ブロック（又は画像ブロックデータ）の画素値とは、この画像ブロックに属する画素の値を指す。画像ブロックは、任意の形状を有し得るが、長方形が一般的である。

【0032】

点群は、３Ｄ容積空間内の３Ｄサンプルのデータセットによって表され得、その３Ｄサンプルのデータセットは、固有の座標を有し、１つ以上の属性も有し得る。

【0033】

３Ｄサンプルは、３Ｄ空間内のＸ、Ｙ、及びＺ座標によって表され得る、点群の３Ｄ点の幾何学的形状を画定する情報を含み得る。また、３Ｄサンプルは、例えば、ＲＧＢ若しくはＹＵＶ色空間で表される色、透明度、反射率、２つの成分法線ベクトル、又はこのサンプルの特徴を表す任意の特徴などの１つ以上の関連する属性を定義する情報を含み得る。例えば、３Ｄサンプルは、６成分（Ｘ、Ｙ、Ｚ、Ｒ、Ｇ、Ｂ）、又は言い換えると（Ｘ、Ｙ、Ｚ、ｙ、Ｕ、Ｖ）を定義する情報を含み得、ここで、（Ｘ、Ｙ、Ｚ）は、３Ｄ空間内の３Ｄ点の座標を定義し、（Ｒ、Ｇ、Ｂ）又は（ｙ、Ｕ、Ｖ）は、この３Ｄ点の色を定義する。同じタイプの属性が、複数回存在し得る。例えば、複数の色属性は、異なる視点から色情報を提供し得る。

【0034】

２Ｄサンプルは、３つの座標（ｕ、ｖ、Ｚ）によって表され得る、直交投影された３Ｄサンプルの幾何学的形状を定義する情報を含み得、ここで、（ｕ、ｖ）は、直交投影された３Ｄの２Ｄ空間内の座標であり、Ｚは、３Ｄサンプルと、当該３Ｄサンプルが直交投影された投影面との間のユークリッド距離である。Ｚは、通常、深度値で表される。また、３Ｄサンプルは、例えば、ＲＧＢ若しくはＹＵＶ色空間で表される色、透明度、反射率、２つの成分法線ベクトル、又はこの直交投影された３Ｄサンプルの特徴を表す任意の特徴などの１つ以上の関連する属性を定義する情報を含み得る。

【0035】

したがって、２Ｄサンプルは、直交投影された３Ｄサンプルの幾何学的形状及び属性を（ｕ、ｖ、Ｚ、Ｒ、Ｇ、Ｂ）又は言い換えると（ｕ、ｖ、Ｚ、ｙ、Ｕ、Ｖ）によって定義する情報を含み得る。

【0036】

点群は、群が時間に対して変化するかどうかに応じて、静的又は動的であり得る。静的点群又は動的点群の事例は、通常、点群フレームとして示される。動的点群の場合、点の数は、一般に一定ではないが、それとは対照的に、一般に時間と共に変化することに留意されたい。より一般的には、点群は、例えば、点の数、１つ以上の点の位置、又は任意の点の任意の属性など、何かが時間と共に変化する場合、動的なものと見なされ得る。

【0037】

図１は、本実施形態のうちの少なくとも１つによる、２層ベースの点群符号化構造１０００の例の概略ブロック図を例示する。

【0038】

２層ベースの点群符号化構造１０００は、入力点群フレームＩＰＣＦを表すビットストリームＢを提供し得る。場合によっては、当該入力点群フレームＩＰＣＦは、動的点群のフレームを表す。次いで、当該動的点群のフレームは、２層ベースの点群符号化構造１０００によって符号化され得る。

【0039】

次いで、当該動的点群の各フレームを表すビットストリームを完全に組み合わせることによって、動的点群を表すためのビデオストリームが得られ得る。

【0040】

基本的に、２層ベースの点群コード構造１０００は、ベース層ＢＬ及びエンハンスメント層ＥＬとしてビットストリームＢを構造化する能力を提供し得る。ベース層ＢＬは、入力点群フレームＩＰＣＦの不可逆表現を提供し得、エンハンスメント層ＥＬは、ベース層ＢＬによって表されない孤立点を符号化することによって、より高品質な（場合により可逆的）表現を提供し得る。

【0041】

ベース層ＢＬは、図３に例示されるように、画像ベースのエンコーダ３０００によって提供され得る。当該画像ベースのエンコーダ３０００は、入力点群フレームＩＰＣＦの３Ｄサンプルの幾何学的形状／属性を表す幾何学的形状／属性画像を提供し得る。それは、孤立した３Ｄサンプルを廃棄するのを可能にし得る。ベース層ＢＬは、図４に例示されるように、画像ベースのデコーダ４０００によって復号化され得、その画像ベースのデコーダは、中間の再構築された点群フレームＩＲＰＣＦを提供し得る。

【0042】

次いで、図１の２層ベースの点群符号化１０００に戻ると、コンパレータＣＯＭＰが、見逃した／孤立した３Ｄサンプルを検出／位置特定するために、入力点群フレームＩＰＣＦの３Ｄサンプルを中間の再構築された点群フレームＩＲＰＣＦの３Ｄサンプルと比較し得る。次に、エンコーダＥＮＣが、見逃した３Ｄサンプルを符号化し得、エンハンスメント層ＥＬを提供し得る。最後に、ベース層ＢＬ及びエンハンスメント層ＥＬは、多重化デバイスＭＵＸによって共に多重化されてビットストリームＢを生成し得る。

【0043】

実施形態によれば、エンコーダＥＮＣは、中間の再構築された点群フレームＩＲＰＣＦの３Ｄ基準サンプルを検出し、見逃した３ＤサンプルＭに関連付け得る検出器を含み得る。

【0044】

例えば、見逃した３ＤサンプルＭと関連付けられた３Ｄ基準サンプルＲは、所与のメートル法に従って、Ｍの最も近くに隣接するものであり得る。

【0045】

実施形態によれば、エンコーダＥＮＣは、次に、当該３Ｄ基準サンプルＲの空間位置及び属性に従って判定される差として、見逃した３ＤサンプルＭの空間位置、及びそれらの属性を符号化し得る。

【0046】

変形例では、それらの差は、別個に符号化され得る。

【0047】

例えば、見逃した３ＤサンプルＭの場合、空間座標ｘ（Ｍ）、ｙ（Ｍ）、及びｚ（Ｍ）を用いて、ｘ－座標位置差Ｄｘ（Ｍ）、ｙ－座標位置差Ｄｙ（Ｍ）、ｚ－座標位置差Ｄｚ（Ｍ）、Ｒ－属性成分差Ｄｒ（Ｍ）、Ｇ－属性成分差Ｄｇ（Ｍ）、及びＢ－属性成分差Ｄｂ（Ｍ）は、以下のように、計算され得る。
Ｄｘ（Ｍ）＝ｘ（Ｍ）－ｘ（Ｒ）、
式中、ｘ（Ｍ）は、図３により与えられる幾何学的形状画像における３ＤサンプルＭのｘ－座標であり、Ｒについても、それぞれ同様であり、
Ｄｙ（Ｍ）＝ｙ（Ｍ）－ｙ（Ｒ）
式中、ｙ（Ｍ）は、図３により与えられる幾何学的形状画像における３ＤサンプルＭのｙ－座標であり、Ｒについても、それぞれ同様であり、
Ｄｚ（Ｍ）＝ｚ（Ｍ）－ｚ（Ｒ）
式中、ｚ（Ｍ）は、図３により与えられる幾何学的形状画像における３ＤサンプルＭのｚ－座標であり、Ｒについても、それぞれ同様であり、
Ｄｒ（Ｍ）＝Ｒ（Ｍ）－Ｒ（Ｒ）。
式中、Ｒ（Ｍ）、Ｒ（Ｒ）は、それぞれ、３ＤサンプルＭ、Ｒ、それぞれの色属性のｒ－色成分であり、
Ｄｇ（Ｍ）＝Ｇ（Ｍ）－Ｇ（Ｒ）。
式中、Ｇ（Ｍ）、Ｇ（Ｒ）は、それぞれ、３ＤサンプルＭ、Ｒ、それぞれの色属性のｇ－色成分であり、
Ｄｂ（Ｍ）＝Ｂ（Ｍ）－Ｂ（Ｒ）。
式中、Ｂ（Ｍ）、Ｂ（Ｒ）は、それぞれ、３ＤサンプルＭ、Ｒ、それぞれの色属性のｂ－色成分である。

【0048】

図２は、本実施形態のうちの少なくとも１つによる、２層ベースの点群復号化構造２０００の例の概略ブロック図を例示する。

【0049】

２層ベースの点群復号化構造２０００の動作は、その能力に依存する。

【0050】

限定された能力を有する２層ベースの点群復号化構造２０００は、多重分離デバイスＤＭＵＸを使用することによって、ビットストリームＢからベース層ＢＬのみにアクセスし得、次いで、図４に例示されるように、点群デコーダ４０００によりベース層ＢＬを復号化することによって、入力点群フレームＩＰＣＦの忠実な（ただし、不可逆な）バージョンＩＲＰＣＦを提供し得る。

【0051】

完全な能力を有する２層ベースの点群復号化構造２０００は、多重分離デバイスＤＭＵＸを使用することによって、ビットストリームＢからベース層ＢＬ及びエンハンスメント層ＥＬの両方にアクセスし得る。点群デコーダ４０００は、図４に例示されるように、ベース層ＢＬから、中間の再構築された点群フレームＩＲＰＣＦを判定し得る。デコーダＤＥＣは、エンハンスメント層ＥＬから相補形点群フレームＣＰＣＦを判定し得る。次いで、結合器ＣＯＭＢは、中間の再構築された点群フレームＩＲＰＣＦ、及び相補形点群フレームＣＰＣＦを共に結合して、したがって、入力点群フレームＩＰＣＦのより高品質な（場合により可逆的）表現（再構築）ＣＲＰＣＦを提供し得る。

【0052】

図３は、本実施形態のうちの少なくとも１つによる、画像ベースの点群エンコーダ３０００の例の概略ブロック図を例示する。

【0053】

画像ベースの点群エンコーダ３０００は、既存のビデオコーデックを活用し、異なるビデオストリームを使用して入力動的点群の３Ｄサンプルの幾何学的形状及び属性情報を圧縮する。

【0054】

特定の実施形態では、２つのビデオストリーム、すなわち、入力点群の３Ｄサンプルの幾何学的情報を取り込むための１つのビデオストリーム、及びこれらの３Ｄサンプルの属性情報を取り込むための別のビデオストリームが、既存のビデオコーデックを使用して生成及び圧縮され得る。既存のビデオコーデックの例としては、ＨＥＶＣメインプロファイルエンコーダ／デコーダ（ＩＴＵ－ＴＨ．２６５ＩＴＵ電気通信標準化部門（０２／２０１８）、シリーズＨ、すなわち、視聴覚及びマルチメディアシステム、視聴覚サービスのインフラストラクチャ－ビデオ動画のコード化、高効率ビデオコード化、勧告ＩＴＵ－ＴＨ．２６５）がある。

【0055】

２つのビデオストリームを解釈するために使用される追加のメタデータもまた、通常、別個に生成及び圧縮される。このような追加のメタデータは、例えば、占有率マップＯＭ及び／又は補助パッチ情報ＰＩを含む。

【0056】

次いで、生成されたビデオストリーム及びメタデータは、合成ストリームを生成するように共に多重化され得る。

【0057】

メタデータは、通常、情報全体のわずかな量を表すことに留意されたい。情報の大部分は、ビデオストリーム内にある。

【0058】

このような点群コード化／復号化プロセスの例は、ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１、Ｉｎｆｏｒｍａｔｉｏｎｔｅｃｈｎｏｌｏｇｙ－ＣｏｄｅｄＲｅｐｒｅｓｅｎｔａｔｉｏｎｏｆＩｍｍｅｒｓｉｖｅＭｅｄｉａ－パート５：Ｖｉｄｅｏ－ｂａｓｅｄＰｏｉｎｔＣｌｏｕｄＣｏｍｐｒｅｓｓｉｏｎ、ＣＤｓｔａｇｅ、ＳＣＤ＿ｄ３９、ＩＳＯ／ＩＥＣ２３０９０－５に定義されるように、ＭＰＥＧドラフト規格を実装する試験モデルカテゴリ２アルゴリズム（Ｖ－ＰＣＣとも表記される）によって与えられる。

【0059】

ステップ３１００において、モジュールＰＧＭは、最善の圧縮を提供する方策を使用して、入力点群フレームのフレームＩＰＣＦの３Ｄサンプルを、投影面上の２Ｄサンプルに直交投影することによって、２Ｄサンプルの少なくとも１つのパッチを生成し得る。

【0060】

２Ｄサンプルのパッチは、共通の特性を共有する一組の２Ｄサンプルとして定義され得る。

【0061】

例えば、Ｖ－ＰＣＣでは、例えば、Ｈｏｐｐｅらの報告（ＨｕｇｕｅｓＨｏｐｐｅ、ＴｏｎｙＤｅＲｏｓｅ、ＴｏｍＤｕｃｈａｍｐ、ＪｏｈｎＭｃＤｏｎａｌｄ、ＷｅｒｎｅｒＳｔｕｅｔｚｌｅ、Ｓｕｒｆａｃｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎｆｒｏｍｕｎｏｒｇａｎｉｚｅｄｐｏｉｎｔｓ、ＡＣＭＳＩＧＧＲＡＰＨ１９９２Ｐｒｏｃｅｅｄｉｎｇｓ、７１－７８）に記載されているように、３Ｄサンプルごとの法線は、最初に推定される。次に、３Ｄサンプルの初期のクラスタ化は、３Ｄサンプルを取り囲む３Ｄ境界ボックスの６つの配向面のうちの１つと各３Ｄサンプルを関連付けることによって、得られる。より正確には、各３Ｄサンプルは、クラスタ化され、最も近い法線（点法線及び面法線のドット積を最大化する）を有する配向面と関連付けられる。次いで、３Ｄサンプルは、それらの関連する平面（投影面）に直交して投影される。それらの平面内に接続領域を形成する一組の３Ｄサンプルは、接続された成分と称される。したがって、接続された成分は、同様の法線及び同じ関連する配向面を有する少なくとも１つの３Ｄサンプルの一組である。次いで、初期のクラスタ化は、各３Ｄサンプルと関連付けられたクラスタを、その法線、及びその最も近い隣接するサンプルのクラスタに基づいて、繰り返し更新することによって、精緻化される。最終ステップは、各接続された成分から２Ｄサンプルの１つのパッチを生成することからなり、これは、各接続された成分の３Ｄサンプルを、当該接続された成分と関連付けられた配向面上に投影することによって、行われる。

【0062】

次いで、２Ｄサンプルのパッチの２Ｄサンプルは、同じ法線及び同じ配向面を共有し、それらは互いに接近して位置する。

【0063】

２Ｄサンプルのパッチは、２Ｄサンプルのこのパッチの２Ｄサンプルの幾何学的形状／属性を解釈するために使用される補助パッチ情報を表す補助パッチ情報ＰＩと関連付けられる。

【0064】

Ｖ－ＰＣＣにおいて、例えば、補助パッチ情報ＰＩは、１）接続された成分の３Ｄサンプルを取り囲む、３Ｄ境界ボックスの６つの配向面のうちの１つを示す情報、２）面法線に関する情報、３）深度、接線シフト、及び両接線シフトに換算して表されたパッチに対して、接続された成分の３Ｄ位置を判定する情報、及び４）パッチを取り囲む２Ｄ境界ボックスを定義する投影面における座標（ｕ０、ｖ０、ｕ１、ｖ１）などの情報を含む。

【0065】

ステップ３２００において、パッチパッキングモジュールＰＰＭは、典型的には、未使用空間を最小限に抑える方法で、全く重なり合うことなく、２Ｄサンプルの少なくとも１つの生成されたパッチを２Ｄグリッド（キャンバス又はアトラスとも示される）上にマッピング（配設）し得、２ＤグリッドのＴｘＴ（例えば、１６ｘ１６）のブロックごとに、一意のパッチと関連付けられることを保証し得る。２Ｄグリッドの所与の最小ブロックサイズＴｘＴは、この２Ｄグリッド上に配設される際に、２Ｄサンプルの別個のパッチ間の最小距離を指定し得る。２Ｄグリッドの解像度は、入力点群フレームサイズに依存し得、その幅Ｗ及び高さＨ、並びにブロックサイズＴは、メタデータとしてデコーダに送信され得る。

【0066】

補助パッチ情報ＰＩは、２Ｄグリッドのブロックと２Ｄサンプルのパッチとの間の関連付けに関する情報を更に含み得る。

【0067】

図３ａは、２ＤサンプルＰ１及びＰ２の２つのパッチ、及びそれらの関連する２Ｄ境界ボックスＢ１及びＢ２を含むキャンバスＣの例を例示する。２つの境界ボックスは、図３ａに例示されるように、キャンバスＣ内で重なり合い得る。２Ｄグリッド（キャンバスの分割）は、境界ボックス内にのみ表されるが、キャンバスの分割はそれらの境界ボックスの外側にも生じる。パッチと関連付けられた境界ボックスは、ＴｘＴブロック、典型的には、Ｔ＝１６に分割することができる。

【0068】

２Ｄサンプルのパッチに属する２Ｄサンプルを含むＴｘＴブロックは、占有ブロックと見なされ得る。キャンバスの各占有ブロックは、特定の画素値（例えば、１）によって占有率マップＯＭ内に表され、キャンバスの各非占有ブロックは、特定の別の値、例えば、０によって表される。その後、占有率マップＯＭの画素値は、キャンバスのＴｘＴブロックが、占有されているかどうか、すなわち、２Ｄサンプルのパッチに属する少なくとも１つの２Ｄサンプルを含むかどうかを示し得る。

【0069】

図３ａにおいて、占有ブロックは、白色ブロックによって表され、薄灰色のブロックは、非占有ブロックを表す。画像生成プロセス（ステップ３３００及び３４００）は、２Ｄサンプルの少なくとも１つの生成されたパッチの、ステップ３２００中に算定された２Ｄグリッド上へのマッピングを有効活用して、３Ｄサンプルの幾何学的形状及び属性を画像として格納する。

【0070】

ステップ３３００において、幾何学的形状画像生成器ＧＩＧは、２Ｄサンプルの少なくとも１つのパッチ、占有率マップＯＭ、及び補助パッチ情報ＰＩから、少なくとも１つの幾何学的形状画像ＧＩを生成し得る。

【0071】

幾何学的形状画像ＧＩは、２Ｄサンプルの少なくとも１つのパッチの幾何学的形状を表し得、例えば、ＹＵＶ４２０－８ビット形式で表されるＷｘＨ画素の単色画像であり得る。

【0072】

幾何学的形状画像生成器ＧＩＧは、当該２Ｄサンプルの少なくとも１つのパッチが定義される２Ｄグリッドの占有ブロック、したがって、幾何学的形状画像ＧＩ内の空でない画素を検出（位置特定）するために、占有率マップ情報を有効活用し得る。

【0073】

複数の３Ｄサンプルが（同じ投影方向線に沿って）投影面の同じ座標に投影（マッピング）される場合をより良好に処理するために、複数の層が生成され得る。したがって、異なる深度値Ｄ１、．．．、Ｄｎが得られ、２Ｄサンプルの同じパッチの２Ｄサンプルと関連付けられ得る。次いで、複数の幾何学的形状画像ＧＩ１、．．．、ＧＩＮが、２Ｄサンプルのパッチの特定の深度値について各々生成され得る。

【0074】

Ｖ－ＰＣＣにおいて、パッチの２Ｄサンプルは、２層上に投影され得る。第１の層は、近い層とも呼ばれるが、例えば、最も低い深度を有する２Ｄサンプルと関連付けられた深度値Ｄ０を格納し得る。第２の層は、遠い層と称されるが、例えば、最も高い深度を有する２Ｄサンプルと関連付けられた深度値Ｄ１を格納し得る。

【0075】

ステップ３３００の実施形態によれば、２Ｄサンプルの少なくとも１つのパッチの幾何学的形状（少なくとも１つの直交投影された３Ｄ点の幾何学的形状）は、規則的な幾何学的形状のコード化モードＲＧＣＭに従って符号化される。規則的な幾何学的形状のコード化モードＲＧＣＭは、２Ｄサンプルの少なくとも１つの規則的な幾何学的形状パッチＲＧ２ＤＰを、当該２Ｄサンプルの少なくとも１つのパッチの幾何学的形状から出力する。

【0076】

実施形態によれば、規則的な幾何学的形状のコード化モードＲＧＣＭは、２Ｄサンプルのパッチの２Ｄサンプルと関連付けられた深度値を、層（第１又は第２若しくは両方）に対して、（ｕ、ｖ）＝δ（ｕ、ｖ）－δ０によって与えられるルーマ成分ｇ（ｕ、ｖ）としてコード化（導出）し得る。この関係を用いると、付随する補助パッチ情報ＰＩを使用して、再構築された幾何学的形状画像ｇ（ｕ、ｖ）から３Ｄサンプル位置δ（０、ｓ０、ｒ０）を再構築し得ることに留意されたい。

【0077】

ステップ３３００の実施形態によれば、２Ｄサンプルの少なくとも１つのパッチの幾何学的形状（少なくとも１つの直交投影された３Ｄ点の幾何学的形状）は、第１の幾何学的形状のコード化モードＦＧＣＭに従って符号化される。第１の幾何学的形状のコード化モードＦＧＣＭは、２Ｄサンプルの少なくとも１つの第１の幾何学的形状パッチＦＧ２ＤＰを、当該２Ｄサンプルの少なくとも１つのパッチの幾何学的形状から出力する。

【0078】

実施形態によれば、第１の幾何学的形状のコード化モードＦＧＣＭは、当該２Ｄサンプルの少なくとも１つのパッチの２Ｄサンプルの幾何学的形状を、幾何学的形状画像の画素値として直接符号化する。

【0079】

例えば、幾何学的形状が３つの座標（ｕ、ｖ、Ｚ）によって表されるとき、画像の３つの連続する画素が使用され、１つはｕ座標を符号化するため、別の１つはｖ座標を符号化するため、及び別の１つはＺ座標を符号化するためのものである。

【0080】

ステップ３３００の実施形態によれば、少なくとも１つの中間３Ｄサンプルの幾何学的形状は、第２の幾何学的形状のコード化モードＳＧＣＭに従って符号化される。第２の幾何学的形状のコード化モードＳＧＣＭは、２Ｄサンプルの少なくとも１つの第２の幾何学的形状パッチＳＧ２ＤＰを、当該少なくとも１つの中間３Ｄサンプルの幾何学的形状から出力する。

【0081】

中間３Ｄサンプルは、同じ投影線に沿って、第１の直交投影された３Ｄサンプルと第２の直交投影された３Ｄサンプルとの間に存在し得る。中間３Ｄサンプル及び当該第１及び第２の直交投影された３Ｄサンプルは、投影面上に同じ座標と異なる深度値とを有する。

【0082】

変形例において、中間３Ｄサンプルは、単一の直交投影された３Ｄサンプル及びＥＯＭコードワードの長さから定義され得る。「仮想」第２の直交投影された３Ｄサンプルの深度値は、次いで、第１の直交投影された３Ｄサンプル及び当該ＥＯＭコードワードの長さ値の深度値に等しい。第１及び「仮想」直交投影された３Ｄサンプルは、投影面上に同じ座標と異なる深度値とを有する。

【0083】

場合によっては、ＥＯＭコードワードの長さは、ビットストリームのシンタックス要素に埋め込まれる。

【0084】

以下では、中間３Ｄサンプルは、当該第２の直交投影された３Ｄサンプルが「仮想」である場合でも、第１の直交投影された３Ｄサンプルと第２の直交投影された３Ｄサンプルとの間に存在すると見なされる。

【0085】

更に、当該中間３Ｄサンプルは、第１の直交投影された３Ｄサンプルの深度値よりも大きく、第２の直交投影された３Ｄサンプルの深度値よりも低い深度値を有する。

【0086】

複数の中間３Ｄサンプルは、第１の直交投影された３Ｄサンプルと第２の直交投影された３Ｄサンプルとの間に存在し得る。したがって、コードワードの指定されたビットは、中間３Ｄサンプルが、２つの直交投影された３Ｄサンプルのうちの１つからの特定の距離（投影線に沿った特定の空間位置）に存在する（又は存在しない）場合を示すために、当該中間３Ｄサンプルの各々に対して設定され得る。

【0087】

図３ｂは、投影線ＰＬに沿った２つの３ＤサンプルＰ０とＰ１と間に位置する２つの中間３ＤサンプルＰ_ｉ１及びＰ_ｉ２の例を例示する。３ＤサンプルＰ０及びＰ１は、それぞれ、Ｄ０及びＤ１に等しい深度値を有する。２つの中間３ＤサンプルＰ_ｉ１及びＰ_ｉ２の深度値Ｄ_ｉ１及びＤ_ｉ２は、それぞれ、Ｄ０よりも大きく、Ｄ１よりも低い。

【0088】

次いで、当該投影線に沿った全ての当該指定されたビットを連結させて、コードワードを形成し得、これ以降、エンハンスド占有率マップ（Enhanced-Occupancy map、ＥＯＭ）コードワードとして表記される。図３ｂに例示されるように、８ビットの長さのＥＯＭコードワードを想定すると、２ビットが１に等しくなり、２つの３ＤサンプルＰ_ｉ１及びＰ_ｉ２の位置を示す。

【0089】

第２の幾何学的形状のコード化モードＳＧＣＭの実施形態によれば、全てのＥＯＭコードワードは、２Ｄサンプルの少なくとも１つの第２の幾何学的形状パッチＳＧ２ＤＰを形成するように一緒にパックされる。

【0090】

当該２Ｄサンプルの少なくとも１つの第２の幾何学的形状パッチＳＧ２ＤＰは、画像に属し、当該画像内の画素の座標は、中間３Ｄサンプルの３つの座標のうちの２つを示し（これらの画素がＥＯＭコードワードを指すとき）、それらの画素の値は、これらの中間３Ｄサンプルの第３の座標を示す。

【0091】

実施形態によれば、当該２Ｄサンプルの少なくとも１つの第２の幾何学的形状パッチＳＧ２ＤＰは、占有率マップＯＭに属する。

【0092】

ステップ３４００において、属性画像生成器ＴＩＧは、２Ｄサンプルの少なくとも１つのパッチ、占有率マップＯＭ、補助パッチ情報ＰＩ、及び少なくとも１つの復号化された幾何学的形状画像ＤＧＩ、すなわちビデオデコーダＶＤＥＣ（図４のステップ４２００）の出力から導出された３Ｄサンプルの幾何学的形状から、少なくとも１つの属性画像ＴＩを生成し得る。

【0093】

属性画像ＴＩは、３Ｄサンプルの属性を表し得、例えば、ＹＵＶ４２０－８ビット形式で表されるＷｘＨ画素の画像であり得る。

【0094】

属性画像生成器ＴＧは、当該２Ｄサンプルの少なくとも１つのパッチが定義される２Ｄグリッドの占有ブロック、したがって、属性画像ＴＩ内の空でない画素を検出（位置特定）するために、占有率マップ情報を有効活用し得る。

【0095】

属性画像生成器ＴＩＧは、属性画像ＴＩを生成し、その属性画像ＴＩを各幾何学的形状画像ＤＧＩと関連付けるように適合され得る。

【0096】

次いで、複数の属性画像ＴＩ１、．．．、ＴＩｎが、２Ｄサンプルのパッチの特定の深度値について各々（各幾何学的形状画像について）生成され得る。

【0097】

ステップ３４００の実施形態によれば、２Ｄサンプルの少なくとも１つのパッチの属性（直交投影された３Ｄサンプルの属性）は、規則的な属性のコード化モードＲＡＣＭに従って符号化される。規則的な属性のコード化モードＲＡＣＭは、２Ｄサンプルの少なくとも１つの規則的な属性パッチＲＡ２ＤＰを、当該２Ｄサンプルの少なくとも１つのパッチの属性から出力する。

【0098】

実施形態によれば、規則的な属性のコード化モードＲＡＣＭは、２Ｄサンプルのパッチの２Ｄサンプルと関連付けられた属性Ｔ０を、第１の属性画像ＴＩ０の画素値として第１の層に対して、また２Ｄサンプルのパッチの２Ｄサンプルと関連付けられた属性値Ｔ１を、第２の属性画像ＴＩ１の画素値として第２の層に対してコード化（格納）し得る。

【0099】

代替的に、属性画像生成モジュールＴＩＧは、２Ｄサンプルのパッチの２Ｄサンプルと関連付けられた属性値Ｔ１を、第１の属性画像ＴＩ０の画素値として第２の層に対して、また２Ｄサンプルのパッチの２Ｄサンプルと関連付けられた属性値Ｔ０を、第２の属性画像ＴＩ１の画素値として第１の層に対してコード化（格納）し得る。

【0100】

例えば、３Ｄサンプルの色は、Ｖ－ＰＣＣのセクション２．２．３、２．２．４、２．２．５、２．２．８、又は２．５で説明されているように、得られ得る。

【0101】

ステップ３４００の実施形態によれば、２Ｄサンプルの少なくとも１つのパッチの属性（直交投影された３Ｄサンプルの属性）は、第１の属性のコード化モードＦＡＣＭに従って符号化される。第１の属性のコード化モードＦＡＣＭは、２Ｄサンプルの少なくとも１つの第１の属性パッチＦＡ２ＤＰを、当該２Ｄサンプルの少なくとも１つのパッチの属性から出力する。

【0102】

実施形態によれば、第１の属性のコード化モードＦＡＣＭは、当該２Ｄサンプルの少なくとも１つのパッチの２Ｄサンプルの属性を、画像の画素値として直接符号化する。

【0103】

実施形態によれば、当該２Ｄサンプルの少なくとも１つのパッチは、属性画像に属する。

【0104】

例えば、直交投影された３Ｄサンプルの属性は、Ｖ－ＰＣＣのセクション２．２．３、２．２．４、２．２．５、２．２．８、又は２．５で説明されているように、得られ得る。

【0105】

ステップ３４００の実施形態によれば、中間３Ｄサンプルの属性は、第２の属性のコード化モードＳＡＣＭに従って符号化される。第２の属性のコード化モードＳＡＣＭは、２Ｄサンプルの少なくとも１つの第２の属性パッチＳＡ２ＤＰを、当該少なくとも１つの中間３Ｄサンプルの属性から出力する。

【0106】

中間３Ｄサンプルの属性値は、それらの画素の位置が、図３ｂに例示されるように他の２Ｄサンプルの属性値を格納するために既に使用されている占有ブロックに対応しているため、属性画像の画素値として直接格納することができない。

【0107】

第２の属性のコード化モードＳＡＣＭの実施形態によれば、中間３Ｄサンプルの属性値は、２Ｄサンプルの少なくとも１つの第２の属性パッチを形成するように完全にパックされる。

【0108】

実施形態によれば、当該２Ｄサンプルの少なくとも１つの第２の属性パッチは、属性画像に属する。

【0109】

Ｖ－ＰＣＣにおいて、当該２Ｄサンプルの少なくとも１つの第２の属性パッチの位置が、手順とおりに画定される（Ｖ－ＰＣＣのセクション９．４．５）。簡単に言えば、このプロセスでは、属性画像内の非占有ブロックの場所を判定し、中間３Ｄサンプルと関連付けられた属性値を当該属性画像の非占有ブロックの画素値として格納する。これにより、占有ブロックと２Ｄサンプルの第２の属性パッチとの間の重なり合いを回避する。

【0110】

ステップ３５００において、ビデオエンコーダＶＥＮＣは、生成された画像／層ＴＩ及びＧＩを符号化し得る。

【0111】

ステップ３６００において、エンコーダＯＭＥＮＣは、例えば、Ｖ－ＰＣＣのセクション２．２．２に詳述されているように、占有率マップを画像として符号化し得る。不可逆的又は可逆的符号化が使用され得る。

【0112】

実施形態によれば、ビデオエンコーダＥＮＣ及び／又はＯＭＥＮＣは、ＨＥＶＣベースのエンコーダであり得る。

【0113】

ステップ３７００において、エンコーダＰＩＥＮＣは、補助パッチ情報ＰＩ、並びに幾何学的形状／属性画像のブロックサイズＴ、幅Ｗ、及び高さＨなど、追加の可能性のあるメタデータを符号化し得る。

【0114】

実施形態によれば、補助パッチ情報は、差動的に符号化され得る（例えば、Ｖ－ＰＣＣのセクション２．４．１で定義されているように）。

【0115】

ステップ３８００において、多重化デバイスは、ステップ３５００、３６００、及び３７００の生成された出力に適用され得、その結果、これらの出力は、ベース層ＢＬを表す合成ストリームを生成するように共に多重化され得る。メタデータ情報は、ビットストリーム全体のうちのわずかな割合を表すことに留意されたい。

【0116】

エンコーダ３０００はまた、動的点群を符号化するために使用され得、次いで、この点群の各フレームは、繰り返し符号化される。次いで、少なくとも１つの幾何学的形状画像（ステップ３３００）、少なくとも１つの属性画像（ステップ３４００）、占有マップ（ステップ３６００）、及び補助パッチ情報（ステップ３７００）は、各フレームについて生成される。次いで、点群の全てのフレームのために生成された幾何学的形状画像は、ビデオストリーム、別のビデオストリームを形成するための属性画像、及び別のビデオストリームを形成するための占有率マップを形成するために完全に結合され得る。補助パッチ情報は、ビデオストリームを生成するために追加され得るか、又は補助パッチ情報の全てが、別のビデオストリームを形成するために完全にパックされ得る。次いで、これらのビデオストリーム全てが多重化されて（ステップ３８００）単一のビットストリームＢＬを形成し得る。

【0117】

図４は、本実施形態のうちの少なくとも１つによる、画像ベースの点群デコーダ４０００の例の概略ブロック図を例示する。

【0118】

デコーダ４０００は、複数の画像ストリーム（少なくとも１つの幾何学的形状画像ストリーム、少なくとも１つの属性画像ストリーム、占有率マップストリーム、及び補助パッチ情報画像ストリーム）を含むビットストリームから、点群フレームを復号化するために使用され得る。しかし、デコーダ４０００は、複数のフレームを含む動的点群を復号化するためにも使用され得る。その場合、動的点群の各フレームは、ビットストリームに埋め込まれたビデオストリーム（幾何学的形状ビデオストリーム、属性ビデオストリーム、占有率ビデオストリーム、補助パッチ情報ビデオストリーム）から、情報を抽出することによって復号化される。

【0119】

ステップ４１００において、多重分離デバイスＤＭＵＸは、ベース層ＢＬを表すビットストリームの符号化された情報を多重分離するために適用し得る。

【0120】

ステップ４２００において、ビデオデコーダＶＤＥＣは、符号化された情報を復号化して、点群フレームの３Ｄサンプルの復号化に対して、少なくとも１つの復号化された幾何学的形状画像ＤＧＩ、及び少なくとも１つの復号化された属性画像ＤＴＩを導出し得る。

【0121】

ステップ４３００において、デコーダＯＭＤＥＣは、符号化された情報を復号化して、３Ｄサンプルの復号化に対して、復号化された占有率マップＤＯＭを導出し得る。

【0122】

実施形態によれば、ビデオデコーダＶＤＥＣ及び／又はＯＭＤＥＣは、ＨＥＶＣベースのデコーダであり得る。

【0123】

ステップ４４００において、デコーダＰＩＤＥＣは、符号化された情報を復号化して、３Ｄサンプルの復号化に対して、補助パッチ情報ＤＰＩを導出し得る。

【0124】

場合によっては、メタデータもまた、ビットストリームＢＬから導出され得る。

【0125】

ステップ４５００において、幾何学的形状生成モジュールＧＧＭは、少なくとも１つの復号化された幾何学的形状画像ＤＧＩ、復号化された占有率マップＤＯＭ、復号化された補助パッチ情報ＤＰＩ、及び可能性のある追加のメタデータから、点群フレームＩＲＰＣＦの３Ｄサンプルの幾何学的形状ＲＧを導出し得る。

【0126】

幾何学的形状生成モジュールＧＧＭは、少なくとも１つの復号化された幾何学的形状画像ＤＧＩ内の空でない画素を位置特定するために、復号化された占有率マップ情報ＤＯＭを有効活用し得る。

【0127】

当該空でない画素は、復号化された占有率情報ＤＯＭの画素値及び上記で説明したＤ１～Ｄ０の値に応じて、占有ブロック又はＥＯＭ参照ブロックのいずれかに属する。

【0128】

ステップ４５００の実施形態によれば、当該空でない画素が、占有ブロックに属するとき、３Ｄサンプルの幾何学的形状は、規則的な幾何学的形状の復号化モードＲＧＤＭに従って復号化される。

【0129】

実施形態によれば、規則的な幾何学的形状の復号化モードＲＧＤＭは、空でない画素の座標、少なくとも１つの復号化された幾何学的形状画像ＤＧＩの当該空でない画素の値、復号化された補助パッチ情報から、及び場合によっては追加のメタデータから、３Ｄサンプルの３Ｄ座標を導出する。

【0130】

空でない画素の使用は、２Ｄ画素の、３Ｄサンプルとの関係に基づいている。例えば、Ｖ－ＰＣＣ内の当該投影を用いて、再構築された３Ｄサンプルの３Ｄ座標は、深度δ（ｕ、ｖ）、接線シフトｓ（ｕ、ｖ）、及び両接線シフトｒ（ｕ、ｖ）に換算して、以下のように表され得る。

【0131】

δ（ｕ、ｖ）＝δ０＋ｇ（ｕ、ｖ）
ｓ（ｕ、ｖ）＝ｓ０－ｕ０＋ｕ
ｒ（ｕ、ｖ）＝ｒ０－ｖ０＋ｖ
式中、ｇ（ｕ、ｖ）は、復号化された幾何学的形状画像ＤＧＩのルーマ成分であり、（ｕ、ｖ）は、再構築された３Ｄサンプルと関連付けられた画素であり、（δ０、ｓ０、ｒ０）は、再構築された３Ｄサンプルが属する接続された成分の３Ｄ位置であり、（ｕ０、ｖ０、ｕ１、ｖ１）は、当該接続された成分と関連付けられたパッチの投影を包含する２Ｄ境界ボックスを画定する、投影面内の座標である。

【0132】

ステップ４５００の実施形態によれば、３Ｄサンプルの幾何学的形状は、第１の幾何学的形状の復号化モードＦＧＤＭに従って復号化される。

【0133】

実施形態によれば、第１の幾何学的形状の復号化モードＦＧＤＭは、復号化された幾何学的形状画像ＤＧＩの画素値から、３Ｄサンプルの幾何学的形状を直接復号化する。

【0134】

例えば、幾何学的形状が３つの座標（ｕ、ｖ、Ｚ）によって表されるとき、画像の３つの連続する画素が使用され、ｕ座標は、幾何学的形状画像の１つの画素の値、ｖは幾何学的形状画像の別の１つの画素の値、及びＺは幾何学的形状画像の別の１つの画素の値に等しい。

【0135】

ステップ４５００の実施形態によれば、少なくとも１つの中間３Ｄサンプルの幾何学的形状は、第２の幾何学的形状の復号化モードＳＧＤＭに従って復号化される。

【0136】

実施形態によれば、第２の幾何学的形状のコード化モードＳＧＣＭは、中間３Ｄサンプルの３Ｄ座標のうちの２つを、空でない画素の座標、及びＥＯＭコードワードのビット値のうちの第３のビット値から導出し得る。

【0137】

例えば、図３ｂの例によれば、ＥＯＭコードワードＥＯＭＣは、中間３ＤサンプルＰ_ｉ１及びＰ_ｉ２の３Ｄ座標を判定するために使用される。中間３ＤサンプルＰ_ｉ１の第３の座標は、例えば、Ｄ０ｘＤ_ｉ１＝Ｄ０＋３から導出され得、再構築された３ＤサンプルＰ_ｉ２の第３の座標は、例えば、Ｄ０ｘＤ_ｉ２＝Ｄ０＋５から導出され得る。オフセット値（３又は５）は、投影線に沿ったＤ０とＤ１との間の間隔の数である。

【0138】

ステップ４６００において、属性生成モジュールＴＧＭは、当該３Ｄサンプルの幾何学的形状ＲＧ、及び少なくとも１つの復号化された属性画像ＤＴＩから、再構築された点群フレームＩＲＰＣＦの３Ｄサンプルの属性を導出し得る。

【0139】

ステップ４６００の実施形態によれば、幾何学的形状が規則的な幾何学的形状の復号化モードＲＧＤＭによって復号化された３Ｄサンプルの属性は、規則的な属性の復号化モードＲＡＤＭに従って復号化される。第１の属性の復号化モードＲＡＤＭは、属性画像の画素値から、３Ｄサンプルの属性を復号化し得る。

【0140】

ステップ４６００の実施形態によれば、幾何学的形状が第１の幾何学的形状の復号化モードＦＧＤＭによって復号化された３Ｄサンプルの属性は、第１の属性の復号化モードＦＡＤＭに従って復号化される。第１の属性の復号化モードＦＡＤＭは、属性画像の画素値から、３Ｄサンプルの属性を復号化し得る。

【0141】

ステップ４６００の実施形態によれば、中間３Ｄサンプルの属性は、第２の属性の復号化モードＳＡＤＭに従って復号化される。

【0142】

実施形態によれば、第２の属性の復号化モードＳＡＤＭは、２Ｄサンプルの第２の属性パッチＳＡ２ＤＰから、中間３Ｄサンプルの属性を導出し得る。

【0143】

実施形態によれば、当該２Ｄサンプルの少なくとも１つの第２の属性パッチは、属性画像に属する。

【0144】

Ｖ－ＰＣＣにおいて、当該２Ｄサンプルの少なくとも１つの第２の属性パッチの位置が、手順とおりに画定される（Ｖ－ＰＣＣのセクション９．４．１０）。簡単に言えば、このプロセスでは、属性画像内の非占有ブロックの場所を判定し、中間３Ｄサンプルと関連付けられた属性値を当該属性画像の非占有ブロックの画素値から導出する。

【0145】

図５は、本実施形態のうちの少なくとも１つによる、ベース層ＢＬを表すビットストリームのシンタックスの例を概略的に例示する。

【0146】

ビットストリームは、ビットストリームヘッダＳＨ、及び少なくとも１つのフレームストリームグループＧＯＦＳを含む。

【0147】

フレームストリームグループＧＯＦＳは、ヘッダＨＳ、占有率マップＯＭを表す少なくとも１つのシンタックス要素ＯＭＳ、少なくとも１つの幾何学的形状画像（又はビデオ）を表す少なくとも１つのシンタックス要素ＧＶＳ、少なくとも１つの属性画像（又はビデオ）を表す少なくとも１つのシンタックス要素ＴＶＳ、及び補助パッチ情報を表す少なくとも１つのシンタックス要素ＰＩＳ、並びに他の追加のメタデータを含む。

【0148】

変形例では、フレームストリームグループＧＯＦＳは、少なくとも１つのフレームストリームを含む。

【0149】

図６は、様々な態様及び実施形態が実装されるシステムの例を例示する概略ブロック図を示す。

【0150】

システム６０００は、以下に説明されている様々な構成要素を含む１つ以上のデバイスとして具現化され得、本文書に記載される態様のうちの１つ以上を実施するように構成されている。システム６０００の全て又は一部を形成し得る機器の例としては、パーソナルコンピュータ、ラップトップ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオレコーディングシステム、接続された家庭電化製品、接続された車両並びにそれらの関連する処理システム、ヘッドマウントディスプレイデバイス（head mounted display device、ＨＭＤ、シースルーグラス）、プロジェクタ（ビーマー）、「没入型バーチャルリアリティ体験装置（ｃａｖｅｓ）」（複数のディスプレイを含むシステム）、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダから出力されるポストプロセッサ処理、ビデオエンコーダへの入力を提供するプリプロセッサ、ウェブサーバ、セットトップボックス、及び点群、ビデオ、若しくは画像を処理するための任意の他のデバイス、又は他の通信デバイスが含まれる。システム６０００の要素は、単独で、又は組み合わせて、単一の集積回路、複数のＩＣ、及び／又は個別の構成要素で具現化され得る。例えば、少なくとも１つの実施形態では、システム６０００の処理及びエンコーダ／デコーダ要素は、複数のＩＣ及び／又は個別の構成要素にわたって分散され得る。様々な実施形態では、システム６０００は、例えば、通信バスを介して、又は専用の入力及び／若しくは出力ポートを通じて、他の同様のシステムに、又は他の電子デバイスに通信可能に結合され得る。様々な実施形態では、システム６０００は、本文書に記載された態様のうちの１つ以上を実装するように構成され得る。

【0151】

システム６０００は、例えば、本文書に記載された様々な態様を実装するために、内部にロードされた命令を実行するように構成された少なくとも１つのプロセッサ６０１０を含み得る。プロセッサ６０１０は、埋め込み型メモリ、入力出力インターフェース、及び当該技術分野で既知の様々な他の回路を含み得る。システム６０００は、少なくとも１つのメモリ６０２０（例えば、揮発性メモリデバイス及び／又は不揮発性メモリデバイス）を含み得る。システム６０００は、記憶デバイス６０４０を含み得、その記憶デバイスは、不揮発性メモリ及び／又は揮発性メモリを含み得、それらのメモリには、電気的に消去可能なプログラマブル読み出し専用メモリ（Electrically Erasable Programmable Read-Only Memory、ＥＥＰＲＯＭ）、読み出し専用メモリ（Read-Only Memory、ＲＯＭ）、プログラマブル読み出し専用メモリ（Programmable Read-Only Memory、ＰＲＯＭ）、ランダムアクセスメモリ（Random Access Memory、ＲＡＭ）、ダイナミックランダムアクセスメモリ（Dynamic Random Access Memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（Static Random Access Memory、ＳＲＡＭ）、フラッシュ、磁気ディスクデバイス、及び／又は光ディスクデバイスが含まれるが、これらに限定されない。記憶デバイス６０４０は、非限定的な例として、内部記憶デバイス、取り付け型記憶デバイス、及び／又はネットワークアクセス可能型記憶デバイスを含み得る。

【0152】

システム６０００は、例えば、データを処理して符号化されたデータ、又は復号化されたデータを提供するように構成されているエンコーダ／デコーダモジュール６０３０を含み得、エンコーダ／デコーダモジュール６０３０は、それ自体のプロセッサ及びメモリを含み得る。エンコーダ／デコーダモジュール６０３０は、デバイス内に含まれて、符号化及び／又は復号化機能を実施し得るモジュールを表し得る。既知であるように、デバイスは、符号化及び復号化モジュールのうちの一方又は両方を含み得る。追加的に、エンコーダ／デコーダモジュール６０３０は、システム６０００の別個の要素として実装され得、又は当業者には既知であるように、ハードウェア及びソフトウェアの組み合わせとして、プロセッサ６０１０内に組み込まれ得る。

【0153】

本文書に記載される様々な態様を実施するためのプロセッサ６０１０又はエンコーダ／デコーダ６０３０にロードされるプログラムコードは、記憶デバイス６０４０内に記憶され得、その後、プロセッサ６０１０による実行のためのメモリ６０２０上にロードされ得る。様々な実施形態によれば、プロセッサ６０１０、メモリ６０２０、記憶デバイス６０４０、及びエンコーダ／デコーダモジュール６０３０のうちの１つ以上は、本文書に記載されるプロセスの実施中に、様々な項目のうちの１つ以上を記憶し得る。このような記憶される項目は、点群フレーム、符号化／復号化された幾何学的形状／属性ビデオ／画像若しくは符号化／復号化された幾何学的形状／属性ビデオ／画像の一部、ビットストリーム、行列、変数、並びに数式、公式、演算、及び演算ロジックの処理からの中間若しくは最終結果を含み得るが、これらに限定されない。

【0154】

いくつかの実施形態では、プロセッサ６０１０及び／又はエンコーダ／デコーダモジュール６０３０内部のメモリを使用して、命令を記憶し、符号化又は復号化中に実施され得る処理のための作業メモリを提供し得る。

【0155】

しかしながら、他の実施形態では、処理デバイス（例えば、処理デバイスは、プロセッサ６０１０又はエンコーダ／デコーダモジュール６０３０のいずれかであり得る）の外部にあるメモリは、これらの機能のうちの１つ以上に使用され得る。外部メモリは、メモリ６０２０及び／又は記憶デバイス６０４０、例えば、動的揮発性メモリ及び／又は不揮発性フラッシュメモリであり得る。いくつかの実施形態では、外部不揮発性フラッシュメモリを使用して、テレビのオペレーティングシステムを記憶し得る。少なくとも１つの実施形態では、ＲＡＭなどの高速外部動的揮発性メモリは、ＭＰＥＧ－２パート２（ＩＴＵ－Ｔ勧告Ｈ、２６２及びＩＳＯ／ＩＥＣ１３８１８－２としても既知であり、ＭＰＥＧ－２ビデオとしても既知である）、ＨＥＶＣ（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏｃｏｄｉｎｇ、高効率ビデオコード化）、又はＶＶＣ（ＶｅｒｓａｔｉｌｌｅＶｉｄｅｏＣｏｄｉｎｇ、多機能ビデオコード化）用などのビデオコード化及び復号化動作のための作業メモリとして使用され得る。

【0156】

システム６０００の要素への入力は、ブロック６１３０に示されるように、様々な入力デバイスを通して提供され得る。このような入力デバイスには、（ｉ）例えば、放送局による、空中をわたって送信されるＲＦ信号を受信し得るＲＦ部分、（ｉｉ）複合入力端子、（ｉｉｉ）ＵＳＢ入力端子、及び／又は（ｉｖ）ＨＤＭＩ入力端子が含まれるが、これらに限定されない。

【0157】

様々な実施形態では、ブロック６１３０の入力デバイスは、当該技術分野で既知の、関連するそれぞれの入力処理要素を有し得る。例えば、ＲＦ部分は、（ｉ）所望の周波数を選択する（信号を選択する、又は信号を周波数帯域に帯域制限するとも称される）、（ｉｉ）選択された信号をダウンコンバートする、（ｉｉｉ）特定の実施形態で、（例えば）チャネルと称され得る信号周波数帯域を選択するために、再びより狭い周波数帯域に帯域制限する、（ｉｖ）ダウンコンバート及び帯域制限された信号を復調する、（ｖ）誤り訂正を実施する、及び（ｖｉ）データパケットの所望のストリームを選択するために多重分離する、ために必要な要素と関連付けられ得る。様々な実施形態のＲＦ部分は、これらの機能を実施する１つ以上の要素、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラーコレクタ、及び多重分離デバイスを含み得る。ＲＦ部分は、これらの様々な機能を実施するチューナを含み得、例えば、受信した信号をより低い周波数（例えば、中間周波数若しくは近接ベースバンド周波数）に、又はベースバンドにダウンコンバートすることが含まれる。

【0158】

１つのセットトップボックスの実施形態では、ＲＦ部分及びその関連付けられた入力処理要素は、有線（例えば、ケーブル）媒体を経由して送信されるＲＦ信号を受信し得る。次いで、ＲＦ部分は、所望の周波数帯域へのフィルタリング、ダウンコンバート、及び再度のフィルタリングによって、周波数選択を実施し得る。

【0159】

様々な実施形態は、上述の（及び他の）要素の順序を再配列し、これらの要素のいくつかを除去し、かつ／又は同様の機能若しくは異なる機能を実施する他の要素を追加する。

【0160】

要素を追加することには、既存の要素の間に要素を挿入すること、例えば、増幅器及びアナログデジタルコンバータを挿入することなどが含まれ得る。様々な実施形態では、ＲＦ部分は、アンテナを含み得る。

【0161】

追加的に、ＵＳＢ及び／又はＨＤＭＩ端末は、ＵＳＢ及び／又はＨＤＭＩ接続全体にわたって、システム６０００を他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リードソロモン誤り訂正は、例えば、別個の入力処理ＩＣ内に、又は必要に応じて、プロセッサ６０１０内に実装され得ることを理解されたい。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の態様は、別個のインターフェースＩＣ内に、又は必要に応じて、プロセッサ６０１０内に実装され得る。復調され、誤り訂正され、かつ多重分離されたストリームは、様々な処理要素に提供され得、その要素には、例えば、プロセッサ６０１０、並びに必要に応じて出力デバイスに提示するために、データストリームを処理するためのメモリ及び記憶要素と組み合わせて動作するエンコーダ／デコーダ６０３０が含まれる。

【0162】

システム６０００の様々な要素は、一体化されたハウジング内に提供され得る。一体化されたハウジング内では、様々な要素が、適切な接続配置６１４０を使用して相互接続され、かつ互いの間でデータを送信し得、その接続配置としては、例えば、当技術分野で既知の内部バスがあり、Ｉ２Ｃバス、配線、及びプリント回路基板が含まれる。

【0163】

システム６０００は、通信インターフェース６０５０を含み得、その通信インターフェースは、通信チャネル６０６０を介して、他のデバイスとの通信を可能にする。通信インターフェース６０５０は、通信チャネル６０６０を介してデータを送受信するように構成された送受信機を含み得るが、これに限定されない。通信インターフェース６０５０は、モデム又はネットワークカードを含み得るが、これに限定されず、通信チャネル６０６０は、例えば、有線及び／又は無線媒体内に実装され得る。

【0164】

様々な実施形態では、データは、ＩＥＥＥ８０２．１１などのＷｉ－Ｆｉネットワークを使用して、システム６０００にストリーミングされ得る。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信のために適合された通信チャネル６０６０及び通信インターフェース６０５０を介して受信され得る。これらの実施形態の通信チャネル６０６０は、通常、外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続され得、その外部ネットワークには、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするためのインターネットが含まれる。

【0165】

他の実施形態は、入力ブロック６１３０のＨＤＭＩ接続を介してデータを送達するセットトップボックスを使用して、ストリーミングされたデータをシステム６０００に提供し得る。

【0166】

更なる他の実施形態は、入力ブロック６１３０のＲＦ接続を使用して、ストリーミングされたデータをシステム６０００に提供し得る。

【0167】

ストリーミングされたデータは、システム５０００によって使用される情報を信号伝達するための方法として使用され得る。信号伝達情報は、上記で説明した情報ＩＮＦを含み得る。

【0168】

信号伝達は、様々な方法で達成され得ることを理解されたい。例えば、様々な実施形態では、１つ以上のシンタックス要素、フラグなどを使用して、情報を、対応するデコーダに信号伝達し得る。

【0169】

システム６０００は、出力信号を、ディスプレイ６１００、スピーカ６１１０、及び他の周辺デバイス６１２０を含む様々な出力デバイスに提供し得る。他の周辺デバイス６１２０には、実施形態の様々な例において、スタンドアローン型ＤＶＲ、ディスクプレーヤ、ステレオシステム、照明システム、及びシステム３０００の出力に基づいて機能を提供する他のデバイスのうちの１つ以上が含まれ得る。

【0170】

様々な実施形態では、制御信号は、ＡＶリンク（ＡＶ．Ｌｉｎｋ、オーディオ／ビデオリンク）、ＣＥＣ（ＣｏｎｓｕｍｅｒＥｌｅｃｔｒｏｎｉｃｓＣｏｎｔｒｏｌ、家電製品制御）、又はユーザの介在の有無にかかわらずデバイス間制御を可能にする他の通信プロトコルなどの信号方式を使用して、システム６０００と、ディスプレイ６１００、スピーカ６１１０、又は他の周辺デバイス６１２０との間で伝達され得る。

【0171】

出力デバイスは、それぞれのインターフェース６０７０、６０８０、及び６０９０を通じた専用接続を介して、システム６０００に通信可能に結合され得る。

【0172】

代替的に、出力デバイスは、通信インターフェース６０５０を介して、通信チャネル６０６０を使用して、システム６０００に接続され得る。ディスプレイ６１００及びスピーカ６１１０は、例えば、テレビなどの電子デバイス内のシステム６０００の他の構成要素と共に単一のユニット内に一体化され得る。

【0173】

様々な実施形態では、ディスプレイインターフェース６０７０は、例えば、タイミングコントローラ（timing controller、ＴＣｏｎ）チップなどのディスプレイドライバを含み得る。

【0174】

ディスプレイ６１００及びスピーカ６１１０は、代替的に、例えば、入力６１３０のＲＦ部分が別個のセットトップボックスの一部である場合、他の構成要素のうちの１つ以上から分離され得る。ディスプレイ６１００及びスピーカ６１１０が外部構成要素であり得る様々な実施形態では、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート、又はＣＯＭＰ出力を含む、専用の出力接続を介して提供され得る。

【0175】

Ｖ－ＰＣＣにおいて、２Ｄサンプルの規則的な幾何学的形状パッチ及び２Ｄサンプルの第１の幾何学的形状パッチは、幾何学的形状画像ＧＩに格納され、２Ｄサンプルの第２の幾何学的形状パッチは、占有率マップＯＭに格納され、２Ｄサンプルの規則的な第１及び第２の属性パッチは、シンタックス要素によって示される場所において属性画像ＴＩに格納される。

【0176】

同じビデオストリームに一緒に格納される、２Ｄサンプルの規則的な第１及び第２の属性パッチは、３Ｄサンプルの属性情報をコード化／復号化するためのただ１つのビデオエンコーダ／デコーダを必要とするという利点を有し得る。

【0177】

設計により、規則的な第１及び第２の幾何学的形状／属性の符号化モードは、異なるニーズに応答する。したがって、それらの属性形式、スキャン順序、サイズ、及び形状は異なる。したがって、情報（又は符号化／コード化／圧縮）を低減するための方法は、特に空間的「イントラ」冗長性を低減させるときに、異なる方法を必要とし得る。その上、中間３Ｄサンプルの幾何学的形状／属性（ＥＯＭコードワード）を可逆的ビデオコーデックでコード化することが目的とされ得るが、まばらな３Ｄサンプルの幾何学的形状／属性（典型的な点群シーンの焦点を何らかの形で表すことは少ない）は、典型的には、第１の幾何学的形状／属性の符号化モードを使用して符号化され、その用途に従って非可逆コード化又はその逆の対象となり得る。

【0178】

その結果として、３Ｄサンプルの幾何学的形状／属性を符号化するには、これら両方の規則的な第１及び第２のコード化モードを必要とし、これらのモードには、これら２つのコード化モードの各々に適合されたプロセスを含むある特定の（一般的ではない）プロファイル化されたビデオコーデックと、３Ｄサンプルの幾何学的形状及び属性を復号化するためにこれらのコード化モードのうちのどちらかを使用する必要があることをデコーダに示すための追加の信号伝達が必要となる。

【0179】

したがって、点群フレームの３Ｄサンプルを符号化するための複数のコード化モードを可能にすることにより、性能（エンコーダ／デコーダの複雑さ及びバンド幅の低減）に影響を与える可能性がある。

【0180】

一般的に言えば、本実施形態の少なくとも１つは、直交投影された３Ｄサンプル及び中間３Ｄサンプルの属性を符号化する方法を提供し、情報ＩＮＦは、第１の属性コード化モードに従って当該少なくとも１つの直交投影された３Ｄサンプルの属性を符号化することによって得られた２Ｄサンプルの少なくとも１つの第１の属性パッチ及び少なくとも１つの中間３Ｄサンプルの属性を符号化することによって得られた画像の２Ｄサンプルの少なくとも１つの第２の属性パッチが、別個の画像に格納されているかどうかを示す。

【0181】

別個の画像は、同じビデオストリームの画像を意味し得るが、異なるビデオストリーム（同じビデオストリームに属していない）の異なる時刻又は画像を意味し得る。

【0182】

情報ＩＮＦは、ビデオコーデックの使用に関してより多くの柔軟性を可能にし、また、ビデオコーデックが、直交３Ｄサンプル又は中間３Ｄサンプルの属性を符号化するために調整され得るため、より良好な圧縮性能も可能にする。ビデオコーデックの調整は、次いで、これらの３Ｄサンプルの属性の特性を考慮に入れ、かつ／又はアプリケーションの制約及び要件を満たし得る。例えば、２Ｄサンプルの第１及び／又は第２の属性パッチは、アプリケーション又はデコーダ／レンダラの能力に従って廃棄され得る（例えば、いくつかの３Ｄサンプルは、場合によっては、復号化のために関連するローエンドＳｏＣを有する小型ディスプレイ上にレンダリングされた点群には有用でない場合がある）。

【0183】

更に、それらの属性を格納するビデオストリームは、並列式に処理され得る。

【0184】

図７は、少なくとも１つの実施形態による、点群フレームの直交３Ｄサンプルを符号化するための方法のフローチャートの例を示す。

【0185】

ステップ７１０において、情報ＩＮＦは、２Ｄサンプルの少なくとも１つの第１の属性パッチＦＡ２ＤＰ（ステップ３４００）及び２Ｄサンプルの少なくとも１つの第２の属性パッチＳＡ２ＤＰ（ステップ３４００）が、別個の画像に格納されていることを示すために、第１の特定の値（例えば、１）に設定され得る。また、情報ＩＮＦは、当該２Ｄサンプルの少なくとも１つの第１の属性パッチＦＡ２ＤＰ及び当該２Ｄサンプルの少なくとも１つの第２の属性パッチＳＡ２ＤＰが、同じ画像に格納されていることを示すために、第２の特定の値（例えば、０）に設定され得る。

【0186】

情報ＩＮＦが当該第１の特定の値に等しいとき、ステップ７２０において、当該２Ｄサンプルの少なくとも１つの第１の属性パッチＦＡ２ＤＰが、第１の画像ＦＡＩに格納され、当該２Ｄサンプルの少なくとも１つの第２の属性パッチＳＡ２ＤＰが、第２の画像ＳＡＩに格納される。

【0187】

情報ＩＮＦが当該第２の特定の値に等しいとき、ステップ７３０において、当該２Ｄサンプルの少なくとも１つの第１の属性パッチＦＡ２ＤＰ及び当該２Ｄサンプルの少なくとも１つの第２の属性パッチＳＡ２ＤＰが、同じ画像ＡＩに格納される。

【0188】

実施形態によれば、図７ａに例示されるように、情報ＩＮＦは、第１のバイナリフラグＦ１及び第２のバイナリフラグＦ２を含む。

【0189】

ステップ７４０において、第１のフラグＦ１は、２Ｄサンプルの少なくとも１つの第１の属性パッチＦＡ２ＤＰ（ステップ３４００）が、第１の画像ＦＡ１に格納されていることを示すために、第１の特定の値（例えば、１）に設定され得、２Ｄサンプルの少なくとも１つの第１の属性パッチＦＡ２ＤＰ（ステップ３４００）が、画像ＡＩに格納されていることを示すために、第２の特定の値（例えば、０）に設定され得る。

【0190】

ステップ７５０において、第２のフラグＦ２は、２Ｄサンプルの少なくとも１つの第２の属性パッチＳＡ２ＤＰ（ステップ３４００）が、第２の画像ＦＡ２に格納されていることを示すために、第１の特定の値（例えば、１）に設定され得、２Ｄサンプルの少なくとも１つの第２の属性パッチＦＡ２ＤＰ（ステップ３４００）が、画像ＡＩに格納されていることを示すために、第２の特定の値（例えば、０）に設定され得る。

【0191】

第１のフラグＦＡ及び第２のフラグＦ２が１に等しいとき、２Ｄサンプルの第１の属性パッチＦＡ２ＤＰ及び第２の属性パッチＳＡ２ＤＰは、別個の画像に格納される。

【0192】

第１のフラグＦ１が０に等しく、第２のフラグＦ２が１に等しいとき、２Ｄサンプルの第１の属性パッチＦＡ２ＤＰ及び規則的な属性２ＤパッチＲＡ２ＤＰは、同じ画像に格納され、２Ｄサンプルの第２の属性パッチＳＡ２ＤＰは、別個の画像に格納される。

【0193】

第１のフラグＦ１が１に等しく、第２のフラグＦ２が０に等しいとき、２Ｄサンプルの第２の属性パッチＳＡ２ＤＰ及び規則的な属性２ＤパッチＲＡ２ＤＰは、同じ画像に格納され、２Ｄサンプルの第１の属性パッチＦＡ２ＤＰは、別個の画像に格納される。

【0194】

第１のフラグＦＡ及び第２のフラグＦ２が０に等しいとき、２Ｄサンプルの第１の属性パッチＦＡ２ＤＰ及び第２の属性パッチＳＡ２ＤＰは、同じ画像に格納される。

【0195】

変形例によれば、情報ＩＮＦは、ピクチャレベル、フレーム／アトラスレベル、又はパッチレベルのグループで有効である。

【0196】

変形例によれば、シンタックス要素をビットストリームに追加して、２Ｄサンプルの第２の属性パッチを搬送するビデオストリームを圧縮するために使用されるビデオコーデックを識別する。

【0197】

このコーデックは、構成要素コーデックマッピングＳＥＩメッセージを介して、又はＶ－ＰＣＣ仕様以外の手段を通して識別され得る。

【0198】

ａｉ＿ｅｏｍ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｄｅｃ＿ｉｄ［ａｔｌａｓ＿ｉｄ］で示されるこのようなシンタックス要素は、図８のシンタックス要素ｖｐｃｃ＿ｅｏｍ＿ｐａｔｃｈ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇなどの別のシンタックス要素の特定の値に条件付きで属性情報シンタックス構造に追加され得る。

【0199】

図８は、少なくとも１つの実施形態による、情報ＩＮＦを埋め込むシンタックス要素ｖｐｃｃ＿ｅｏｍ＿ｐａｔｃｈ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの例を例示する。

【0200】

シンタックス要素ｖｐｃｃ＿ｅｏｍ＿ｐａｔｃｈ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シーケンスパラメータセット（Sequence Parameter Set、ＳＰＳ）、アトラスシーケンスパラメータセット（Atlas Sequence Parameter Set、ＡＳＰＳ）、又はピクチャパラメータセット（Picture Parameter Set、ＰＰＳ）などのパラメータセットでコード化され得る。

【0201】

図８の要素は、以下の意味を有する。

【0202】

ｖｐｃｃ＿ｅｏｍ＿ｐａｔｃｈ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｊ］は、１に等しく、インデックスｊを有する２Ｄサンプルの第２の属性パッチが、別個のビデオストリームに格納され得ることを示す。

【0203】

ｖｐｃｃ＿ｅｏｍ＿ｐａｔｃｈ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｊ］は、０に等しく、インデックスｊを有する２Ｄサンプルの第２の属性パッチが、別個のビデオストリームに格納されないものとすることを示す。

【0204】

ｖｐｃｃ＿ｅｏｍ＿ｐａｔｃｈ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｊ］が存在しないとき、これは０に等しいと推論される。

【0205】

ｅｐｄｕ＿ｐａｔｃｈ＿ｉｎ＿ｅｏｍ＿ｖｉｄｅｏ＿ｆｌａｇ［ｐ］は、現在のアトラスタイルグループ内のインデックスｐを有する２Ｄサンプルの第２の属性パッチと関連付けられた属性データが、イントラ及びインターコード化されたパッチの属性データと比較して別個のビデオに符号化されているかどうかを指定する。ｅｐｄｕ＿ｐａｔｃｈ＿ｉｎ＿ｅｏｍ＿ｖｉｄｅｏ＿ｆｌａｇ［ｐ］が０に等しい場合、現在のアトラスタイルグループ内のインデックスｊを有する２Ｄサンプルの第２の属性パッチと関連付けられた属性データは、イントラ及びインターコード化されたパッチの属性データと同じビデオに符号化される。ｅｐｄｕ＿ｐａｔｃｈ＿ｉｎ＿ｅｏｍ＿ｖｉｄｅｏ＿ｆｌａｇ［ｐ］が１に等しい場合、現在のアトラスタイルグループ内のインデックスｊを有する２Ｄサンプルの第２の属性パッチと関連付けられた属性データは、イントラ及びインターコード化されたパッチの属性データから、別個のビデオに符号化される。ｅｐｄｕ＿ｐａｔｃｈ＿ｉｎ＿ｅｏｍ＿ｖｉｄｅｏ＿ｆｌａｇ［ｐ］が存在しない場合、その値は、０に等しいと推論されるものとする。

【0206】

変形例では、シンタックス要素ｖｐｃｃ＿ｅｏｍ＿ｐａｔｃｈ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｊ］は、２Ｄサンプルの第１及び第２の属性パッチに共通であり得る。

【0207】

次いで、ｖｐｃｃ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｊ］が１に等しいときは、２Ｄサンプルの第２の属性パッチ、２Ｄサンプルの第１の属性パッチ、及びインデックスｊを有するアトラスのための２Ｄサンプルの第１の幾何学的形状パッチは、別個の画像（別個のビデオストリーム）に格納され得ることを示す。

【0208】

ｖｐｃｃ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｊ］が０に等しいときは、２Ｄサンプルの第２の属性パッチ、２Ｄサンプルの第１の属性パッチ、及びインデックスｊを有するアトラスのための２Ｄサンプルの第１の幾何学的形状パッチは、別個のビデオストリームに格納されないものとすることを示す。

【0209】

ｖｐｃｃ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｊ］が存在しないとき、これは０に等しいと推論される。

【0210】

図１～８において、様々な方法が本明細書に記載されており、本方法の各々は、記載された方法を達成するための１つ以上のステップ又は行為を含む。本方法の適切な動作に特定の順序のステップ若しくは行為が必要でない限り、特定のステップ及び／又は行為の順序及び／又は使用は、変更又は組み合わされ得る。

【0211】

いくつかの例は、ブロック図及び動作フローチャートに関して説明される。各ブロックは、指定された論理機能を実装するための１つ以上の実行可能な命令を含む、回路要素、モジュール、又はコード部分を表す。また、他の実装形態では、ブロックに記載された機能は、示された順序から生じ得ることにも留意されたい。例えば、連続して示されている２つのブロックは、実際には、実質的に同時に実行され得るか、又はこれらのブロックは、関与する機能性に応じて、逆の順序で実行され得る。

【0212】

本明細書に記載される実装形態及び態様は、例えば、方法又はプロセス、装置、コンピュータプログラム、データストリーム、ビットストリーム、又は信号で実装され得る。単一形態の実装形態のコンテキストでのみ考察される（例えば、方法としてのみ考察される）場合であっても、考察される特徴の実装は、他の形態（例えば、装置又はコンピュータプログラム）で実装され得る。

【0213】

本方法は、例えば、一般に処理デバイスを指すプロセッサで実装され得、プロセッサとしては、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスが挙げられる。プロセッサはまた、通信デバイスを含む。

【0214】

追加的に、本方法は、プロセッサによって実施される命令によって実装され得、そのような命令（及び／又は実装によって生成されたデータ値）は、コンピュータ可読記憶媒体に記憶され得る。コンピュータ可読記憶媒体は、１つ以上のコンピュータ可読媒体に具現化され、コンピュータによって実行可能なコンピュータ可読プログラムコードが具現化されたコンピュータ可読プログラム製品の形態を採り得る。本明細書で使用されるとき、コンピュータ可読記憶媒体は、内部に情報を記憶する固有能力、並びにそこから情報の取り出しを提供する固有能力が与えられている、非一時的な記憶媒体と見なされ得る。コンピュータ可読記憶媒体は、例えば、電子システム、磁気システム、光学システム、電磁システム、赤外線システム、若しくは半導体システム、装置、若しくはデバイス、又は前述の任意の好適な組み合わせであり得るが、これらに限定されない。以下は、本実施形態が適用され得るコンピュータ可読記憶媒体のより具体的な例を提供しながら、単に例示的なものであり、当業者であれば容易に理解されるような網羅的なリストではないことを理解されたい：携帯型コンピュータディスケット；ハードディスク；読み出し専用メモリ（ＲＯＭ）；消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）；携帯型コンパクトディスク読み出し専用メモリ（compact disc read-only memory、ＣＤ－ＲＯＭ）；光学記憶デバイス；磁気記憶デバイス；又は前述の任意の好適な組み合わせ。

【0215】

命令は、プロセッサ可読媒体上に目に見える方法で具現化されたアプリケーションプログラムを形成し得る。

【0216】

命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせであり得る。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はこれら２つの組み合わせで見出され得る。したがって、プロセッサは、例えば、プロセスを遂行するように構成されたデバイスと、プロセスを遂行するための命令を有するプロセッサ可読媒体（記憶デバイスなど）を含むデバイスとの両方を特徴とし得る。更に、プロセッサ可読媒体は、命令に加えて、又は命令の代わりに、実装によって生成されたデータ値を記憶し得る。

【0217】

装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実装され得る。そのような装置の例としては、パーソナルコンピュータ、ラップトップ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオレコーディングシステム、接続された家庭電化製品、ヘッドマウントディスプレイデバイス（ＨＭＤ、シースルーグラス）、プロジェクタ（ビーマー）、「没入型バーチャルリアリティ体験装置（ｃａｖｅｓ）」（複数のディスプレイを含むシステム）、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダから出力されるポストプロセッサ処理、ビデオエンコーダへの入力を提供するプリプロセッサ、ウェブサーバ、セットトップボックス、及び点群、ビデオ、若しくは画像を処理するための任意の他のデバイス、又は他の通信デバイスが含まれる。明確にするべきであるように、機器は、モバイルであり得、更にはモバイル車両に設置され得る。

【0218】

コンピュータソフトウェアは、プロセッサ６０１０によって、又はハードウェアによって、若しくはハードウェアとソフトウェアとの組み合わせによって実装され得る。非限定的な例として、実施形態はまた、１つ以上の集積回路によって実装され得る。メモリ６０２０は、技術的環境に適切な任意のタイプであり得、非限定的な例として、光学メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及び取り外し可能なメモリなどの任意の適切なデータ記憶技術を使用して実装され得る。プロセッサ６０１０は、技術的環境に適切な任意のタイプであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を含み得る。

【0219】

当業者には明らかであるように、実装形態は、例えば、格納又は送信され得る情報を搬送するようにフォーマットされた様々な信号を生成し得る。情報は、例えば、方法を実行するための命令、又は記載された実装形態のうちの１つによって生成されたデータを含み得る。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされ得る。そのような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えば、データストリームを符号化すること、及び符号化されたデータストリームを用いてキャリアを変調することを含み得る。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報であり得る。信号は、既知であるように、様々な異なる有線又は無線リンクを経由して送信され得る。信号は、プロセッサ可読媒体に記憶され得る。

【0220】

本明細書で使用される用語は、特定の実施形態のみを説明する目的のためであり、限定することを意図するものではない。本明細書で使用されるとき、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が別途明確に示されない限り、複数形も含むことが意図され得る。本明細書で使用されるとき、「含む（includes）／含む（comprises）」及び／又は「含む（including）／含む（comprising）」という用語は、記載された、例えば、特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定し得るが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を排除しないことが更に理解されるであろう。更に、要素が別の要素に「応答する」又は「接続される」と称されるとき、それは、他の要素に直接応答するか、若しくは接続され得るか、又は介在要素が存在し得る。対照的に、要素が他の要素に「直接応答する」又は「直接接続される」と称されるとき、介在要素は存在しない。

【0221】

例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」並びに「Ａ及びＢのうちの少なくとも１つ」の場合、「／」、「及び／又は」、並びに「のうちの少なくとも１つ」という記号／用語のうちのいずれかの使用は、第１の列挙された選択肢（Ａ）のみの選択、又は第２の列挙された選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を含むことが意図され得ることを理解されたい。更なる例として、「Ａ、Ｂ、及び／又はＣ」並びに「Ａ、Ｂ、及びＣのうちの少なくとも１つ」の場合、そのような表現は、第１の列挙された選択肢（Ａ）のみの選択、又は第２の列挙された選択肢（Ｂ）のみの選択、又は第３の列挙された選択肢（Ｃ）のみの選択、又は第１及び第２の列挙された選択肢（Ａ及びＢ）のみの選択、又は第１及び第３の列挙された選択肢（Ａ及びＣ）のみの選択、又は第２及び第３の列挙された選択肢（Ｂ及びＣ）のみの選択、又は３つ全ての選択肢（Ａ及びＢ及びＣ）の選択を含むことが意図される。このことは、本技術及び関連技術の当業者には明らかであるように、列挙されている項目の数だけ拡張され得る。

【0222】

本出願において、様々な数値が使用され得る。特定の値は、例示目的のためであり得、記載される態様は、これらの特定の値に限定されない。

【0223】

本明細書では、第１、第２などの用語が様々な要素を説明するために使用され得るが、これらの要素は、これらの用語によって限定されるものではないことが理解されよう。これらの用語は、１つの要素を別の要素と区別するためにのみ使用される。例えば、本出願の教示から逸脱することなく、第１の要素を第２の要素と呼ばれ得、同様に、第２の要素を第１の要素と呼ばれ得る。第１の要素と第２の要素との間には、順序は存在しない。

【0224】

「一実施形態」又は「実施形態」又は「一実装形態」又は「実装形態」、並びにそれらの他の変形例への言及は、特定の特徴、構造、特性など（実施形態／実装形態に関連して説明される）が少なくとも１つの実施形態／実装形態に含まれることを伝えるために頻繁に使用される。したがって、本明細書の様々な場所に現れる「一実施形態では」又は「実施形態では」又は「一実装形態では」又は「実装形態では」という語句の出現、並びに任意の他の変形例は、必ずしも全てが同じ実施形態を指すものではない。

【0225】

同様に、本明細書における「実施形態／実施例／実装形態に従って」又は「実施形態／実施例／実装形態では」、並びにそれらの他の変形例への言及は、特定の特徴、構造、又は特性（実施形態／実施例／実装形態に関連して説明される）が少なくとも１つの実施形態／実施例／実装形態に含まれ得ることを伝えるために頻繁に使用される。したがって、本明細書の様々な場所における「実施形態／実施例／実装形態に従って」又は「実施形態／実施例／実装形態では」という表現の出現は、必ずしも全てが同じ実施形態／実施例／実装形態を指すものではなく、また、別個の、若しくは代替の実施形態／実施例／実装形態は、必ずしも他の実施形態／実施例／実装形態を相互に含まないとも限らない。

【0226】

特許請求の範囲に現れる参照番号は、単に例示としてのものであり、特許請求の範囲に限定的な影響を及ぼさないものとする。明示的に記載されていないが、本実施形態／実施例及び変形例は、任意の組み合わせ又はサブ組み合わせで用いられ得る。

【0227】

【0228】

いくつかの図は、通信の主要な方向を示すために通信経路上に矢印を含むが、通信は、図示された矢印と反対方向に生じ得ることを理解されたい。

【0229】

様々な実装形態は、復号化を伴う。本出願で使用されるとき、「復号化」は、ディスプレイに適した最終出力を生成するか、又は再構築された点群領域で更に処理するために、例えば、受信された点群フレーム（場合によっては、１つ以上の点群フレームを符号化する受信されたビットストリームを含む）上で実施されるプロセスの全て又は一部を包含し得る。様々な実施形態では、そのようなプロセスには、典型的には、画像ベースのデコーダによって実施されるプロセスのうちの１つ以上が含まれる。様々な実施形態では、そのようなプロセスにはまた、若しくは代替的に、例えば、本出願に記載される様々な実装形態のデコーダによって実施されるプロセスも含まれる。

【0230】

更なる例として、一実施形態では、「復号化」は、エントロピー復号化のみを指し得、別の実施形態では、「復号化」は、差分復号化のみを指し得、別の実施形態では、「復号化」は、エントロピー復号化と差分復号化との組み合わせを指し得る。「復号化プロセス」という語句が、具体的に動作のサブセットを指すか、又は概してより広い復号化プロセスを指すことが意図され得るかは、特定の説明の文脈に基づいて明らかであり、当業者によって十分に理解されると考えられる。

【0231】

様々な実装形態は、符号化を伴う。「復号化」に関する上記の考察と同様の方法で、本出願で使用されるとき、「符号化」は、例えば、符号化されたビットストリームを生成するために、入力点群フレーム上で実施されるプロセスの全て又は一部を包含し得る。様々な実施形態では、そのようなプロセスには、典型的には、画像ベースのデコーダによって実施されるプロセスのうちの１つ以上が含まれる。様々な実施形態では、そのようなプロセスにはまた、若しくは代替的に、本出願に記載される様々な実装形態のエンコーダによって実施されるプロセスも含まれる。

【0232】

更なる例として、一実施形態では、「符号化」は、エントロピー符号化のみを指し得、別の実施形態では、「符号化」は、差分符号化のみを指し得、別の実施形態では、「符号化」は、差動符号化とエントロピー符号化との組み合わせを指し得る。「符号化プロセス」という語句が、具体的に動作のサブセットを指すか、又は概してより広い符号化プロセスに指すことが意図され得るかは、特定の説明の文脈に基づいて明らかであり、当業者によって十分に理解されると考えられる。

【0233】

本明細書で使用されるとき、シンタックス要素は、説明的な用語であることに留意されたい。したがって、それらは他のシンタックス要素名の使用を排除しない。

【0234】

様々な実施形態は、速度歪み最適化を指す。特に、符号化プロセス中に、速度と歪みとの間の均衡又はトレードオフは、通常、算定の複雑さの制約を与えることが多いと考えられる。速度歪み最適化は、通常、速度及び歪みの加重和である速度歪み関数を最小化するように定式化され得る。速度歪み最適化問題を解決するための異なるアプローチがある。例えば、そのアプローチは、全ての検討されるモード又はコード化パラメータ値を含む、全ての符号化選択肢の広範な試験に基づき得、それらのコード化コストと、コード化及び復号化後の再構築された信号の関連する歪みと、を完全に評価する。また、より速いアプローチを使用して、特に、再構築された信号ではなく、予測又は予測残留信号に基づいた近似歪みの算定用いて、符号化の複雑さを軽減し得る。また、これら２つのアプローチの混合が、可能性のある符号化選択肢のいくつかのみの近似歪み、及び他の符号化選択肢の完全な歪みを使用することなどによって、使用され得る。他のアプローチは、可能性のある符号化選択肢のサブセットのみを評価する。より一般的には、多くのアプローチは、最適化を実施するための様々な技術のうちのいずれかを用いるが、最適化は、必ずしもコード化コストと関連する歪みの両方の完全な評価であるとは限らない。

【0235】

追加的に、本出願は、様々な情報を「判定すること」を指し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの１つ以上が含み得る。

【0236】

更に、本出願は、様々な情報に「アクセスすること」を指し得る。情報にアクセスすることには、例えば、情報を受信すること、情報を（例えば、メモリから）取り出すこと、情報を記憶すること、情報を移動させること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの１つ以上が含まれ得る。

【0237】

追加的に、本出願は、様々な情報を「受信すること」を指し得る。受信することは、「アクセスすること」と同様に、広範な用語であることを意図している。情報を受信することには、例えば、情報にアクセスすること、又は情報を（例えば、メモリから）取り出すことのうちの１つ以上が含まれ得る。更に、「受信すること」は、典型的には、例えば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動させること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することなどの動作中に、何らかの形で、関与される。

【0238】

また、本明細書で使用するとき、「信号伝達する」という単語は、とりわけ、対応するデコーダに何かを示すことを指す。例えば、ある実施形態では、エンコーダは、シンタックス要素ｖｐｃｃ＿ｅｏｍ＿ｐａｔｃｈ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇによって搬送され得る特定の情報ＩＮＦを信号伝達する。このようにして、実施形態では、エンコーダ側とデコーダ側の両方で、同じパラメータが使用され得る。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用し得るように、特定のパラメータをデコーダに送信（明示的に信号伝達）し得る。逆に、デコーダが既に特定のパラメータ並びに他のパラメータを有する場合、信号伝達は、デコーダが特定のパラメータを知ること及び選択することを単純に可能にするために、送信（暗黙的に信号伝達）することなく、使用され得る。任意の実際の機能の送信を回避することにより、様々な実施形態でビット節約が実現される。信号伝達は、様々な方法で達成され得ることを理解されたい。例えば、様々な実施形態では、１つ以上のシンタックス要素、フラグなどを使用して、情報を、対応するデコーダに信号伝達する。前述は、「信号伝達する」という単語の動詞形に関するものであるが、「信号」という語はまた、本明細書において名詞として使用され得る。

【0239】

複数の実装形態が説明されてきた。それにもかかわらず、様々な変更が行われ得ることが理解されるであろう。例えば、異なる実装形態の要素は、組み合わされ、補足され、修正され、又は他の実装形態を生成するために削除され得る。追加的に、当業者であれば、他の構造及びプロセスが、開示されたものに置き換えられ得、結果として生じる実装形態が、少なくとも実質的に同じ機能を、少なくとも実質的に同じ方法で実施して、開示された実装形態と少なくとも実質的に同じ結果を達成することを理解するであろう。したがって、これら及び他の実装形態は、本出願によって企図される。

【図1】