特許 7453992 点群符号化方法及び装置、点群復号方法及び装置、並びに記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-12

(45)【発行日】2024-03-21

(54)【発明の名称】点群符号化方法及び装置、点群復号方法及び装置、並びに記憶媒体

(51)【国際特許分類】

   H04N 19/597 20140101AFI20240313BHJP

   H04N 19/70 20140101ALI20240313BHJP

【ＦＩ】

H04N19/597

H04N19/70

【請求項の数】 52

(21)【出願番号】P 2021556407

(86)(22)【出願日】2020-03-19

(65)【公表番号】

(43)【公表日】2022-05-24

(86)【国際出願番号】 CN2020080140

(87)【国際公開番号】W WO2020187283

(87)【国際公開日】2020-09-24

【審査請求日】2021-12-01

(31)【優先権主張番号】201910210181.3

(32)【優先日】2019-03-19

(33)【優先権主張国・地域又は機関】CN

(31)【優先権主張番号】201910214557.8

(32)【優先日】2019-03-20

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ツァイ，カンイン

(72)【発明者】

【氏名】ジャン，デェジュン

【審査官】鉢呂 健

(56)【参考文献】

【文献】特表２０２２－５１９４６２（ＪＰ，Ａ）

【文献】特表２０２２－５１７０６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

点群符号化方法であって、
符号化対象パッチの補助情報を取得することと、
前記符号化対象パッチの前記補助情報及び前記符号化対象パッチの第１のインデックスをビットストリームに符号化することと、を含み、
前記第１のインデックスは、前記符号化対象パッチが第１のタイプのパッチであることを示す第１の値であり、前記符号化対象パッチの前記補助情報は、３次元空間における前記符号化対象パッチに関連する３次元情報を含むか、
前記第１のインデックスは、前記符号化対象パッチが第２のタイプのパッチであることを示す第２の値であり、前記符号化対象パッチの前記補助情報は、現在の点群フレームの占有マップ内の前記符号化対象パッチに関連する２次元情報、前記３次元情報、及び前記符号化対象パッチの参照パッチのインデックス情報を含むか、又は
前記第１のインデックスは、前記符号化対象パッチが第３のタイプのパッチであることを示す第３の値であり、前記符号化対象パッチの前記補助情報は、前記２次元情報、前記３次元情報、回転変換情報、及び法線軸情報を含む、方法。

【請求項2】

前記第１の値、前記第２の値、及び前記第３の値が、それぞれ２進数１０、１１、及び００であるか、又は
前記第１の値、前記第２の値、及び前記第３の値が、それぞれ２進数１１、１０、及び００である、請求項１に記載の方法。

【請求項3】

前記符号化対象パッチの前記第１のインデックスが、前記第３の値であり、前記符号化対象パッチが、前記符号化対象パッチが属する前記現在の点群フレームにおける最初のパッチであるときに、前記現在の点群フレームが、最初の点群フレームである、請求項１又は２に記載の方法。

【請求項4】

前記符号化対象パッチの前記参照パッチが、前記現在の点群フレームの参照フレームに含まれる、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記第１のタイプのパッチが、現在のグループにおけるグローバル一致パッチであり、前記第２のタイプのパッチが、前記現在のグループにおけるローカル一致パッチであり、前記第３のタイプのパッチが、前記現在のグループにおける一致しないパッチである、請求項１～４のいずれか一項に記載の方法。

【請求項6】

点群復号方法であって、
ビットストリームから復号対象パッチの第１のインデックスを解析することと、
前記第１のインデックスが第１の値であるときに、前記ビットストリームから前記復号対象パッチの補助情報を解析することであって、前記補助情報が、３次元空間における前記復号対象パッチに関連する３次元情報を含む、解析することか、
前記第１のインデックスが第２の値であるときに、前記ビットストリームから前記復号対象パッチの補助情報を解析することであって、前記補助情報が、現在の点群フレームの占有マップ内の前記復号対象パッチに関連する２次元情報、及び前記３次元情報、並びに前記復号対象パッチの参照パッチのインデックス情報を含む、解析することか、又は
前記第１のインデックスが第３の値であるときに、前記ビットストリームから前記復号対象パッチの補助情報を解析することであって、前記補助情報が、前記復号対象パッチの前記２次元情報、前記３次元情報、回転変換情報、及び法線軸情報を含む、解析することと、
前記復号対象パッチの前記補助情報に基づいて前記復号対象パッチを再構築することと、を含む、点群復号方法。

【請求項7】

前記第１の値、前記第２の値、及び前記第３の値が、それぞれ２進数１０、１１、及び００であるか、又は
前記第１の値、前記第２の値、及び前記第３の値が、それぞれ２進数１１、１０、及び００である、請求項６に記載の方法。

【請求項8】

前記復号対象パッチが、最初のパッチであり、前記第１のインデックスが、前記第３の値であるときに、前記復号対象パッチが属する前記現在の点群フレームが最初の点群フレームであると判定することをさらに含む、請求項６又は７に記載の方法。

【請求項9】

ビットストリームから復号対象パッチの第１のインデックスを解析することは、
前記復号対象パッチが前記現在の点群フレームにおける最初のパッチであるときに、前記ビットストリームから前記復号対象パッチの前記第１のインデックスを解析すること、又は
前記復号対象パッチが前記現在の点群フレームにおける最初のパッチであるときに、前記ビットストリームから前記現在の点群フレームに含まれる複数のパッチの複数の第１のインデックスを解析することであって、解析された前記複数の第１のインデックスが、前記復号対象パッチの前記第１のインデックスを含む、解析することを含む、請求項６～８のいずれか一項に記載の方法。

【請求項10】

前記第１のインデックスが前記第１の値であるときに、
前記復号対象パッチの前記参照パッチの補助情報に基づいて、前記復号対象パッチの前記２次元情報、前記回転変換情報、及び前記法線軸情報を取得することをさらに含み、
前記復号対象パッチの補助情報に基づいて前記復号対象パッチを再構築することは、
前記復号対象パッチの前記２次元情報、前記３次元情報、前記法線軸情報、前記回転変換情報に基づいて前記復号対象パッチを再構築することを含む、請求項６～９のいずれか一項に記載の方法。

【請求項11】

前記第１のインデックスが前記第２の値であるときに、
前記復号対象パッチの前記参照パッチの前記インデックス情報に基づいて、前記復号対象パッチの前記回転変換情報、及び前記法線軸情報を取得することをさらに含み、
前記復号対象パッチの補助情報に基づいて前記復号対象パッチを再構築することは、
前記復号対象パッチの前記２次元情報、前記３次元情報、前記法線軸情報、前記回転変換情報に基づいて前記復号対象パッチを再構築することを含む、請求項６～９のいずれか一項に記載の方法。

【請求項12】

前記復号対象パッチの前記参照パッチが、前記現在の点群フレームの参照フレームに含まれる、請求項６～１１のいずれか一項に記載の方法。

【請求項13】

点群符号化方法であって、
符号化対象パッチの補助情報を取得することと、
前記符号化対象パッチの前記補助情報及び前記符号化対象パッチの第１のインデックスをビットストリームに符号化することと、を含み、
前記第１のインデックスは、前記符号化対象パッチが第１のタイプのパッチであることを示す第１の値であり、前記ビットストリームに符号化される情報がさらに第２のインデックスを含み、前記第２のインデックスは、３次元空間における前記符号化対象パッチに関連する３次元情報が前記ビットストリームに符号化されないことを示す第４の値であるか、若しくは前記第２のインデックスは、前記符号化対象パッチの前記３次元情報が前記ビットストリームに符号化されることを示す第５の値であり、前記符号化対象パッチの前記補助情報は、前記３次元情報を含むか、
前記第１のインデックスは、前記符号化対象パッチが第２のタイプのパッチであることを示す第２の値であり、前記符号化対象パッチの前記補助情報は、現在の点群フレームの占有マップ内の前記符号化対象パッチに関連する２次元情報、前記３次元情報、及び前記符号化対象パッチの参照パッチのインデックス情報を含むか、又は
前記第１のインデックスは、前記符号化対象パッチが、第３のタイプのパッチであることを示す第３の値であり、前記符号化対象パッチの前記補助情報は、前記２次元情報、前記３次元情報、回転変換情報、及び法線軸情報を含む、方法。

【請求項14】

点群復号方法であって、
ビットストリームから復号対象パッチの第１のインデックスを解析することと、
前記第１のインデックスが第１の値であるときに、前記ビットストリームから前記復号対象パッチの第２のインデックスを解析することと、
前記第２のインデックスが第４の値であるときに、前記復号対象パッチの補助情報として、前記復号対象パッチの参照パッチの補助情報を使用することか、若しくは前記第２のインデックスが第５の値であるときに、前記ビットストリームから前記復号対象パッチの補助情報を解析することであって、前記補助情報は、３次元空間における前記復号対象パッチに関連する３次元情報を含む、解析することか、又は
前記第１のインデックスが第２の値であるときに、前記ビットストリームから前記復号対象パッチの補助情報を解析することであって、前記補助情報が、現在の点群フレームの占有マップ内の前記復号対象パッチに関連する２次元情報、及び前記３次元情報、並びに前記復号対象パッチの参照パッチのインデックス情報を含む、解析することか、又は
前記第１のインデックスが第３の値であるときに、前記ビットストリームから前記復号対象パッチの補助情報を解析することであって、前記補助情報が、前記復号対象パッチの前記２次元情報、前記３次元情報、回転変換情報、及び法線軸情報を含む、解析することと、
前記復号対象パッチの前記補助情報に基づいて前記復号対象パッチを再構築することと、を含む、点群復号方法。

【請求項15】

点群符号化装置であって、
符号化対象パッチの補助情報を取得するように構成されている点群パッチ情報取得モジュールと、
前記符号化対象パッチの補助情報及び前記符号化対象パッチの第１のインデックスをビットストリームに符号化するように構成されている補助情報符号化モジュールと、を含み、
前記第１のインデックスは、前記符号化対象パッチが第１のタイプのパッチであることを示す第１の値であり、前記符号化対象パッチの前記補助情報は、３次元空間における前記符号化対象パッチに関連する３次元情報を含むか、
前記第１のインデックスは、前記符号化対象パッチが第２のタイプのパッチであることを示す第２の値であり、前記符号化対象パッチの前記補助情報は、現在の点群フレームの占有マップ内の前記符号化対象パッチに関連する２次元情報、前記３次元情報、及び前記符号化対象パッチの参照パッチのインデックス情報を含むか、又は
前記第１のインデックスは、前記符号化対象パッチが第３のタイプのパッチであることを示す第３の値であり、前記符号化対象パッチの前記補助情報は、前記２次元情報、前記３次元情報、回転変換情報、及び法線軸情報を含む、装置。

【請求項16】

前記第１の値、前記第２の値、及び前記第３の値が、それぞれ２進数１０、１１、及び００であるか、又は
前記第１の値、前記第２の値、及び前記第３の値が、それぞれ２進数１１、１０、及び００である、請求項１５に記載の装置。

【請求項17】

前記符号化対象パッチの前記第１のインデックスが、前記第３の値であり、前記符号化対象パッチが、前記符号化対象パッチが属する前記現在の点群フレームにおける最初のパッチであるときに、前記現在の点群フレームが、最初の点群フレームである、請求項１５又は１６に記載の装置。

【請求項18】

前記符号化対象パッチの前記参照パッチが、前記現在の点群フレームの参照フレームに含まれる、請求項１５～１７のいずれか一項に記載の装置。

【請求項19】

前記第１のタイプのパッチが、現在のグループにおけるグローバル一致パッチであり、前記第２のタイプのパッチが、前記現在のグループにおけるローカル一致パッチであり、前記第３のタイプのパッチが、前記現在のグループにおける一致しないパッチである、請求項１５～１８のいずれか一項に記載の装置。

【請求項20】

点群復号装置であって、
ビットストリームから復号対象パッチの第１のインデックスを解析するように構成されている補助情報復号モジュールであって、
前記第１のインデックスが第１の値であるときに、前記ビットストリームから前記復号対象パッチの補助情報を解析することであって、前記補助情報が、３次元空間における前記復号対象パッチに関連する３次元情報を含む、解析することか、前記第１のインデックスが第２の値であるときに、前記ビットストリームから前記復号対象パッチの補助情報を解析することであって、前記補助情報が、現在の点群フレームの占有マップ内の前記復号対象パッチに関連する２次元情報及び前記３次元情報、並びに前記復号対象パッチの参照パッチのインデックス情報を含む、解析することか、又は前記第１のインデックスが第３の値であるときに、前記ビットストリームから前記復号対象パッチの補助情報を解析することであって、前記補助情報が、前記復号対象パッチの前記２次元情報、前記３次元情報、回転変換情報、及び法線軸情報を含む、解析することを行うようにさらに構成されている補助情報復号モジュールと、
前記復号対象パッチの前記補助情報に基づいて前記復号対象パッチを再構築するように構成されている再構築モジュールと、を含む、装置。

【請求項21】

前記第１の値、前記第２の値、及び前記第３の値が、それぞれ２進数１０、１１、及び００であるか、又は
前記第１の値、前記第２の値、及び前記第３の値が、それぞれ２進数１１、１０、及び００である、請求項２０に記載の装置。

【請求項22】

前記補助情報復号モジュールは、
前記復号対象パッチが、最初のパッチであり、前記第１のインデックスが、前記第３の値であるときに、前記復号対象パッチが属する前記現在の点群フレームが最初の点群フレームであると判定するようにさらに構成されている、請求項２０又は２１に記載の装置。

【請求項23】

前記補助情報復号モジュールは、
前記復号対象パッチが、前記現在の点群フレームにおける最初のパッチであるときに、前記ビットストリームから前記復号対象パッチの前記第１のインデックスを解析することか、又は前記復号対象パッチが、前記現在の点群フレームにおける最初のパッチであるときに、前記ビットストリームから前記現在の点群フレームに含まれる複数のパッチの複数の第１のインデックスを解析することであって、解析された前記複数の第１のインデックスが、前記復号対象パッチの前記第１のインデックスを含む、解析することを行うようにさらに構成されている、請求項２０～２２のいずれか一項に記載の装置。

【請求項24】

前記第１のインデックスが、前記第１の値であるときに、前記補助情報復号モジュールは、
前記復号対象パッチの前記参照パッチの補助情報に基づいて、前記復号対象パッチの前記２次元情報、前記回転変換情報、及び前記法線軸情報を取得するようにさらに構成され、
前記再構築モジュールは、
前記復号対象パッチの前記２次元情報、前記３次元情報、前記法線軸情報、前記回転変換情報に基づいて前記復号対象パッチを再構築するようにさらに構成されている、請求項２０～２３のいずれか一項に記載の装置。

【請求項25】

前記第１のインデックスが、前記第２の値であるときに、前記補助情報復号モジュールは、
前記復号対象パッチの前記参照パッチの前記インデックス情報に基づいて、前記復号対象パッチの前記回転変換情報、及び前記法線軸情報を取得するようにさらに構成され、
前記再構築モジュールは、
前記復号対象パッチの前記２次元情報、前記３次元情報、前記法線軸情報、前記回転変換情報に基づいて前記復号対象パッチを再構築するようにさらに構成されている、請求項２０～２３のいずれか一項に記載の装置。

【請求項26】

前記復号対象パッチの前記参照パッチが、前記現在の点群フレームの参照フレームに含まれる、請求項２０～２５のいずれか一項に記載の装置。

【請求項27】

点群符号化装置であって、
符号化対象パッチの補助情報を取得するように構成されている点群パッチ情報取得モジュールと、
前記符号化対象パッチの補助情報及び前記符号化対象パッチの第１のインデックスをビットストリームに符号化するように構成されている補助情報符号化モジュールと、を含み、
前記第１のインデックスは、前記符号化対象パッチが第１のタイプのパッチであることを示す第１の値であり、前記ビットストリームに符号化される情報がさらに第２のインデックスを含み、前記第２のインデックスは、３次元空間における前記符号化対象パッチに関連する３次元情報が前記ビットストリームに符号化されないことを示す第４の値であるか、若しくは前記第２のインデックスは、前記符号化対象パッチの前記３次元情報が前記ビットストリームに符号化されることを示す第５の値であり、前記符号化対象パッチの前記補助情報は、前記３次元情報を含むか、
前記第１のインデックスは、前記符号化対象パッチが第２のタイプのパッチであることを示す第２の値であり、前記符号化対象パッチの前記補助情報は、現在の点群フレームの占有マップ内の前記符号化対象パッチに関連する２次元情報、前記３次元情報、及び前記符号化対象パッチの参照パッチのインデックス情報を含むか、又は
前記第１のインデックスは、前記符号化対象パッチが、第３のタイプのパッチであることを示す第３の値であり、前記符号化対象パッチの前記補助情報は、前記２次元情報、前記３次元情報、回転変換情報、及び法線軸情報を含む、装置。

【請求項28】

点群復号装置であって、
ビットストリームから復号対象パッチの第１のインデックスを解析するように構成されている補助情報復号モジュールであって、
第１のインデックスが第１の値であるときに、前記ビットストリームから前記復号対象パッチの第２のインデックスを解析し、前記第２のインデックスが第４の値であるときに、前記復号対象パッチの補助情報として前記復号対象パッチの参照パッチの補助情報を使用することか、又は前記第２のインデックスが第５の値であるときに、前記ビットストリームから前記復号対象パッチの補助情報を解析することであって、前記補助情報が、３次元空間における前記復号対象パッチに関連する３次元情報を含む、解析することか、前記第１のインデックスが第２の値であるときに、前記ビットストリームから前記復号対象パッチの補助情報を解析することであって、前記補助情報が、現在の点群フレームの占有マップ内の前記復号対象パッチに関連する２次元情報及び前記３次元情報、並びに前記復号対象パッチの参照パッチのインデックス情報を含む、解析することか、あるいは前記第１のインデックスが第３の値であるときに、前記ビットストリームから前記復号対象パッチの補助情報を解析することであって、前記補助情報が、前記復号対象パッチの前記２次元情報、前記３次元情報、回転変換情報、及び法線軸情報を含む、解析することを行うようにさらに構成されている、補助情報復号モジュールと、
前記復号対象パッチの前記補助情報に基づいて前記復号対象パッチを再構築するように構成されている再構築モジュールと、を含む、装置。

【請求項29】

点群符号化方法であって、
符号化対象パッチの補助情報を取得することと、
前記符号化対象パッチの前記補助情報及び前記符号化対象パッチの構文要素をビットストリームに符号化することと、を含み、前記構文要素は、第１の構文要素を含み、
前記第１の構文要素が、前記符号化対象パッチが参照パッチを有することを示すときに、
前記ビットストリームに符号化される前記構文要素が、第２の構文要素をさらに含み、前記第２の構文要素の値が、真であり、現在の点群フレームの占有マップ内の前記符号化対象パッチに関連する２次元情報が、前記ビットストリームに符号化されるが、３次元空間における前記符号化対象パッチに関連する３次元情報が、前記ビットストリームに符号化されないことを示し、前記符号化対象パッチの前記補助情報が、前記２次元情報を含むか、
前記ビットストリームに符号化される前記構文要素が、第２の構文要素及び第３の構文要素をさらに含み、前記第２の構文要素の値が、偽であり、前記第３の構文要素の値が、真であり、前記符号化対象パッチの前記２次元情報が、前記ビットストリームに符号化されないが、前記符号化対象パッチの前記３次元情報が、前記ビットストリームに符号化されることを示し、前記符号化対象パッチの前記補助情報が、前記３次元情報を含むか、又は
前記ビットストリームに符号化される前記構文要素が、第２の構文要素及び第３の構文要素をさらに含み、前記第２の構文要素の値が、偽であり、前記第３の構文要素の値が、偽であり、前記符号化対象パッチの前記２次元情報が、前記ビットストリームに符号化されず、前記符号化対象パッチの前記３次元情報が、前記ビットストリームに符号化されないことを示す、方法。

【請求項30】

前記第１の構文要素が、前記符号化対象パッチが参照パッチを有さないことを示すときに、前記符号化対象パッチの前記補助情報は、前記２次元情報、前記３次元情報、回転変換情報、及び法線軸情報を含む、請求項２９に記載の方法。

【請求項31】

前記第１の構文要素が、前記符号化対象パッチが参照パッチを有さないことを示し、前記符号化対象パッチが、前記符号化対象パッチが属する前記現在の点群フレームにおける最初のパッチであるときに、前記現在の点群フレームは、最初の点群フレームである、請求項２９又は３０に記載の方法。

【請求項32】

前記符号化対象パッチの前記参照パッチが、前記現在の点群フレームの参照フレームに含まれる、請求項２９～３１のいずれか一項に記載の方法。

【請求項33】

前記現在の点群フレームにおける前記符号化対象パッチの位置が、前記現在の点群フレームの前記参照フレームにおける前記符号化対象パッチの前記参照パッチの位置と同じである、請求項３２に記載の方法。

【請求項34】

点群復号方法であって、
ビットストリームから復号対象パッチの第１の構文要素を解析することと、
前記ビットストリームから前記復号対象パッチの第２の構文要素を解析することか、若しくは前記第１の構文要素が、前記復号対象パッチが参照パッチを有することを示すときに、前記ビットストリームから前記復号対象パッチの第３の構文要素を解析することと、
前記第２の構文要素の値が、真であるときに、前記ビットストリームから現在の点群フレームの占有マップ内の前記復号対象パッチに関連する２次元情報を解析し、前記復号対象パッチの前記参照パッチの対応する３次元情報に基づいて３次元空間における前記復号対象パッチに関連する３次元情報を取得することか、
前記第２の構文要素の値が、偽であり、前記第３の構文要素の値が、真であるときに、前記ビットストリームから前記復号対象パッチの前記３次元情報を解析し、前記復号対象パッチの前記参照パッチの対応する２次元情報に基づいて前記復号対象パッチの前記２次元情報を取得することか、又は
前記第２の構文要素の値が、偽であり、前記第３の構文要素の値が、偽であるときに、前記復号対象パッチの前記参照パッチの前記２次元情報に基づいて前記復号対象パッチの前記２次元情報を取得し、前記復号対象パッチの前記参照パッチの前記３次元情報に基づいて前記復号対象パッチの前記３次元情報を取得することと、
前記復号対象パッチの補助情報に基づいて前記復号対象パッチを再構築することであって、前記復号対象パッチの前記補助情報は、前記復号対象パッチの前記２次元情報及び前記復号対象パッチの前記３次元情報を含む、再構築することと、を含む、方法。

【請求項35】

前記第１の構文要素が、前記復号対象パッチが参照パッチを有さないことを示すときに、前記ビットストリームから前記復号対象パッチの前記補助情報を解析することであって、前記復号対象パッチの前記補助情報は、前記２次元情報、前記３次元情報、回転変換情報、及び法線軸情報を含む、解析することをさらに含む、請求項３４に記載の方法。

【請求項36】

前記復号対象パッチが最初のパッチであり、前記第１の構文要素が、前記復号対象パッチが参照パッチを有さないことを示すときに、前記復号対象パッチが属する前記現在の点群フレームが最初の点群フレームであると判定することをさらに含む、請求項３４又は３５に記載の方法。

【請求項37】

ビットストリームから復号対象パッチの第１の構文要素を解析することは、
前記復号対象パッチが前記現在の点群フレームにおける最初のパッチであるときに、前記ビットストリームから前記復号対象パッチの前記第１の構文要素を解析すること、又は
前記復号対象パッチが前記現在の点群フレームにおける最初のパッチであるときに、前記ビットストリームから前記現在の点群フレームに含まれる複数のパッチの複数の第１の構文要素を解析することであって、解析された前記複数の第１の構文要素が前記復号対象パッチの前記第１の構文要素を含む、解析することを含む、請求項３４～３６のいずれか一項に記載の方法。

【請求項38】

前記復号対象パッチの前記参照パッチが、前記現在の点群フレームの参照フレームに含まれる、請求項３４～３７のいずれか一項に記載の方法。

【請求項39】

前記現在の点群フレームにおける前記復号対象パッチの位置が、前記現在の点群フレームの前記参照フレームにおける前記復号対象パッチの前記参照パッチの位置と同じである、請求項３８に記載の方法。

【請求項40】

点群符号化装置であって、
符号化対象パッチの補助情報を取得するように構成されている点群パッチ情報取得モジュールと、
前記符号化対象パッチの前記補助情報及び前記符号化対象パッチの構文要素をビットストリームに符号化するように構成されている補助情報符号化モジュールであって、前記構文要素は、第１の構文要素を含む、補助情報符号化モジュールと、を含み、
前記第１の構文要素が、前記符号化対象パッチが参照パッチを有することを示すときに、
前記ビットストリームに符号化される前記構文要素が、第２の構文要素をさらに含み、前記第２の構文要素の値が、真であり、現在の点群フレームの占有マップ内の前記符号化対象パッチに関連する２次元情報が、前記ビットストリームに符号化されるが、３次元空間における前記符号化対象パッチに関連する３次元情報が、前記ビットストリームに符号化されないことを示し、前記符号化対象パッチの前記補助情報が、前記２次元情報を含むか、
前記ビットストリームに符号化される前記構文要素が、第２の構文要素及び第３の構文要素をさらに含み、前記第２の構文要素の値が、偽であり、前記第３の構文要素の値が、真であり、前記符号化対象パッチの前記２次元情報が、前記ビットストリームに符号化されないが、前記符号化対象パッチの前記３次元情報が、前記ビットストリームに符号化されることを示し、前記符号化対象パッチの前記補助情報が、前記３次元情報を含むか、又は
前記ビットストリームに符号化される前記構文要素が、第２の構文要素及び第３の構文要素をさらに含み、前記第２の構文要素の値が、偽であり、前記第３の構文要素の値が、偽であり、前記符号化対象パッチの前記２次元情報が、前記ビットストリームに符号化されず、前記符号化対象パッチの前記３次元情報が、前記ビットストリームに符号化されないことを示す、装置。

【請求項41】

前記第１の構文要素が、前記符号化対象パッチが参照パッチを有さないことを示すときに、前記符号化対象パッチの前記補助情報は、前記２次元情報、前記３次元情報、回転変換情報、及び法線軸情報を含む、請求項４０に記載の装置。

【請求項42】

前記第１の構文要素が、前記符号化対象パッチが参照パッチを有さないことを示し、前記符号化対象パッチが、前記符号化対象パッチが属する前記現在の点群フレームにおける最初のパッチであるときに、前記現在の点群フレームは、最初の点群フレームである、請求項４０又は４１に記載の装置。

【請求項43】

前記符号化対象パッチの前記参照パッチが、前記現在の点群フレームの参照フレームに含まれる、請求項４０～４２のいずれか一項に記載の装置。

【請求項44】

前記現在の点群フレームにおける前記符号化対象パッチの位置が、前記現在の点群フレームの前記参照フレームにおける前記符号化対象パッチの前記参照パッチの位置と同じである、請求項４３に記載の装置。

【請求項45】

点群復号装置であって、
ビットストリームから復号対象パッチの第１の構文要素を解析するように構成されている補助情報復号モジュールと、
前記補助情報復号モジュールは、前記ビットストリームから前記復号対象パッチの第２の構文要素を解析することか、若しくは前記第１の構文要素が、前記復号対象パッチが参照パッチを有することを示すときに、前記ビットストリームから前記復号対象パッチの第３の構文要素を解析することか、
前記第２の構文要素の値が、真であるときに、前記ビットストリームから現在の点群フレームの占有マップ内の前記復号対象パッチに関連する２次元情報を解析し、前記復号対象パッチの前記参照パッチの対応する３次元情報に基づいて３次元空間における前記復号対象パッチに関連する３次元情報を取得することか、
前記第２の構文要素の値が、偽であり、前記第３の構文要素の値が、真であるときに、前記ビットストリームから前記復号対象パッチの前記３次元情報を解析し、前記復号対象パッチの前記参照パッチの対応する２次元情報に基づいて前記復号対象パッチの前記２次元情報を取得することか、又は
前記第２の構文要素の値が、偽であり、前記第３の構文要素の値が、偽であるときに、前記復号対象パッチの前記参照パッチの前記２次元情報に基づいて前記復号対象パッチの前記２次元情報を取得するか、前記復号対象パッチの前記参照パッチの前記３次元情報に基づいて前記復号対象パッチの前記３次元情報を取得することを行うようにさらに構成されている、補助情報復号モジュールと、
前記復号対象パッチの補助情報に基づいて前記復号対象パッチを再構築することであって、前記復号対象パッチの前記補助情報は、前記復号対象パッチの前記２次元情報及び前記復号対象パッチの前記３次元情報を含む、再構築することを行うように構成されている再構築モジュールと、を含む、装置。

【請求項46】

前記補助情報復号モジュールは、
前記第１の構文要素が、前記復号対象パッチが参照パッチを有さないことを示すときに、前記ビットストリームから前記復号対象パッチの前記補助情報を解析することであって、前記復号対象パッチの前記補助情報は、前記２次元情報、前記３次元情報、回転変換情報、及び法線軸情報を含む、解析することを行うようにさらに構成されている、請求項４５に記載の装置。

【請求項47】

前記補助情報復号モジュールは、
前記復号対象パッチが最初のパッチであり、前記第１の構文要素が、前記復号対象パッチが参照パッチを有さないことを示すときに、前記復号対象パッチが属する前記現在の点群フレームが最初の点群フレームであると判定することを行うようにさらに構成されている、請求項４５又は４６に記載の装置。

【請求項48】

前記補助情報復号モジュールは、
前記復号対象パッチが前記現在の点群フレームにおける最初のパッチであるときに、前記ビットストリームから前記復号対象パッチの前記第１の構文要素を解析すること、又は
前記復号対象パッチが前記現在の点群フレームにおける最初のパッチであるときに、前記ビットストリームから前記現在の点群フレームに含まれる複数のパッチの複数の第１の構文要素を解析することであって、解析された前記複数の第１の構文要素が前記復号対象パッチの前記第１の構文要素を含む、解析することを行うようにさらに構成されている、請求項４５～４７のいずれか一項に記載の装置。

【請求項49】

前記復号対象パッチの前記参照パッチが、前記現在の点群フレームの参照フレームに含まれる、請求項４５～４８のいずれか一項に記載の装置。

【請求項50】

前記現在の点群フレームにおける前記復号対象パッチの位置が、前記現在の点群フレームの前記参照フレームにおける前記復号対象パッチの前記参照パッチの位置と同じである、請求項４９に記載の装置。

【請求項51】

プログラムコードを含み、前記プログラムコードがコンピュータ上で動作されるときに、前記コンピュータが、請求項１～５、請求項１３、又は請求項２９～３３のいずれか一項に記載の点群符号化方法を実行することが可能となる、コンピュータ可読記憶媒体。

【請求項52】

プログラムコードを含み、前記プログラムコードがコンピュータ上で動作されるときに、前記コンピュータが、請求項６～１２、請求項１４、又は請求項３４～３９のいずれか一項に記載の点群復号方法を実行することが可能となる、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

この出願は、２０１９年３月１９日に出願された、「ＰＯＩＮＴ ＣＬＯＵＤ ＥＮＣＯＤＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ， ＰＯＩＮＴ ＣＬＯＵＤ ＤＥＣＯＤＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ， ＡＮＤ ＳＴＯＲＡＧＥ ＭＥＤＩＵＭ」と題する、中国特許出願第２０１９１０２１０１８１．３号に対するの最先の優先権を主張し、その全体が参照により本明細書に組み込まれる。この出願は、さらに、２０１９年３月２０日に出願された、「ＰＯＩＮＴ ＣＬＯＵＤ ＥＮＣＯＤＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ， ＰＯＩＮＴ ＣＬＯＵＤ ＤＥＣＯＤＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ， ＡＮＤ ＳＴＯＲＡＧＥ ＭＥＤＩＵＭ」と題する、中国特許出願第２０１９１０２１４５５７．８号に対する優先権を主張する。

【0002】

この出願は、データ処理技術の分野に関し、特に、点群符号化方法及び装置、点群復号方法及び装置、並びに記憶媒体に関する。

【背景技術】

【0003】

３次元検知技術の継続的な開発により、点群収集の利便性が向上し、収集された点群の品質も向上し、大きくもなってきている。したがって、点群を効率的に符号化及び復号する方法は、現在、解決されるべき緊急の問題になっている。

【発明の概要】

【0004】

この出願は、関連技術における点群を効率的に符号化及び復号する方法に関する問題を解決するために、点群符号化方法及び装置、点群復号方法及び装置、並びに記憶媒体を提供する。技術的解決策は以下の通りである。

【0005】

第１の態様によれば、点群符号化方法であって、符号化対象パッチ（点群パッチ）の補助情報を取得することと、符号化対象パッチの補助情報及び符号化対象パッチの第１のインデックスをビットストリームに符号化することと、を含み、第１のインデックスは、符号化対象パッチが第１のタイプのパッチであることを示す第１の値であり、符号化対象パッチの補助情報は、３次元情報を含むか、第１のインデックスは、符号化対象パッチが第２のタイプのパッチであることを示す第２の値であり、符号化対象パッチの補助情報は、２次元情報、３次元情報、及び符号化対象パッチの参照パッチのインデックス情報を含むか、又は第１のインデックスは、符号化対象パッチが第３のタイプのパッチであることを示す第３の値であり、符号化対象パッチの補助情報は、２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む、方法が提供される。

【0006】

第１のインデックスの値は、第１の値、第２の値、及び第３の値とすることができる。異なる値は、異なるタイプのパッチを示す。したがって、第１のインデックスを使用して、異なるタイプのパッチを識別することができる。このようにして、第１のタイプのパッチの数をビットストリームに書き込む必要がなく、ビットストリームのビットオーバヘッドが低減される。追加的に、異なるタイプのパッチでは、ビットストリームに符号化された補助情報に含まれるコンテンツが異なることがあり、第１のタイプのパッチと第２のタイプのパッチでは、補助情報の一部分のみがビットストリームに符号化される。これは、ビットストリームに符号化される情報のフォーマットを単純化し、ビットストリームのビットオーバヘッドを低減し、符号化効率を改善することができる。

【0007】

符号化対象パッチは、符号化対象の現在の点群フレームに含まれる任意のパッチであってもよいことに留意されたい。第１のインデックスは、符号化対象パッチのタイプを示すことができる。第１のインデックスの構文要素は、ｐａｔｃｈ＿ｍｏｄｅ、ｐａｔｃｈ＿ｔｙｐｅなどとすることができる。第１のインデックスの値が異なるときに、符号化対象パッチのタイプは異なる。

【0008】

第１のインデックスが第１の値であるときに、それは、符号化対象パッチが第１のタイプのパッチであることを示してもよく、ビットストリームに符号化された符号化対象パッチの補助情報は、３次元情報を含むが、２次元情報、回転変換情報、及び法線座標軸情報を含まない。第１のインデックスが第２の値であるときに、それは、符号化対象パッチが第２のタイプのパッチであることを示してもよく、ビットストリームに符号化された符号化対象パッチの補助情報は、２次元情報、３次元情報、及び符号化対象パッチの参照パッチのインデックス情報を含むが、回転変換情報及び法線座標軸情報を含まない。第１のインデックスが第３の値であるときに、それは、符号化対象パッチが第３のタイプのパッチであることを示してもよく、ビットストリームに符号化された符号化対象パッチの補助情報は、２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む。

【0009】

現在の点群グループにおける全ての点群において第１のタイプのパッチと一致関係を有するパッチが存在し、現在の点群グループにおいて、第１のタイプのパッチの２次元情報、回転変換情報、法線座標軸情報は同じにすることができる、３次元情報は異なることがある。現在の点群グループにおける全ての点群において第２のタイプのパッチと一致関係を有するパッチが存在し、第２のタイプのパッチの回転変換情報及び法線座標軸情報並びに第２のタイプのパッチの参照パッチは同じにすることができるが、２次元情報及び３次元情報は異なることがある。現在の点群フレームの参照フレームにおいて、第３のタイプのパッチと一致関係を有するパッチは存在しない。したがって、ビットストリームのビットオーバヘッドを低減し、符号化効率をさらに改善するために、第１のインデックスが第１の値であるときに、符号化対象パッチの補助情報は、３次元情報を含むことができるが、２次元情報、回転変換情報、及び法線座標軸情報を含まない。第１のインデックスが第２の値であるときに、符号化対象パッチの補助情報は、２次元情報、３次元情報、及び符号化対象パッチの参照パッチのインデックス情報を含むことができるが、回転変換情報及び法線座標軸情報を含まない。第１のインデックスが第３の値であるときに、符号化対象パッチの補助情報は、２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含んでもよい。

【0010】

第１のタイプのパッチが、現在のグループにおけるグローバル一致パッチであってもよく、第２のタイプのパッチが、現在のグループにおけるローカル一致パッチであってもよく、第３のタイプのパッチが、現在のグループにおける一致しないパッチであってもよい。第１の値、第２の値、及び第３の値が、それぞれ２進数１０、１１、及び００であるか、第１の値、第２の値、及び第３の値が、それぞれ２進数１１、１０、００である。符号化対象パッチの参照パッチが、現在の点群フレームの参照フレームに含まれてもよい。

【0011】

符号化対象パッチの３次元情報は、接線方向に沿った３次元空間内の符号化対象パッチのシフト（３ｄ＿ｓｈｉｆｔ＿ｔａｎｇｅｎｔ＿ａｘｉｓ）、バイタンジェント方向に沿った３次元空間内の符号化対象パッチのシフト（３ｄ＿ｓｈｉｆｔ＿ｂｉｔａｎｇｅｎｔ＿ａｘｉｓ）、及び法線方向に沿った３次元空間内の符号化対象パッチのシフト（３ｄ＿ｓｈｉｆｔ＿ｎｏｒｍａｌ＿ａｘｉｓ）を含み得ることに留意されたい。符号化対象パッチの２次元情報は、Ｕ軸方向に沿った現在の点群フレームの占有マップ内の符号化対象パッチのシフト（２ｄ＿ｓｈｉｆｔ＿ｕ）、Ｖ軸方向に沿った現在の点群フレームの占有マップ内の符号化対象パッチのシフト（２ｄ＿ｓｈｉｆｔ＿ｖ）、現在の点群フレームの占有マップ内の符号化対象パッチの幅（２ｄ＿ｓｉｚｅ＿ｕ）、及び現在の点群フレームの占有マップ内の符号化対象パッチの高さ（２ｄ＿ｓｉｚｅ＿ｖ）を含み得る。追加的に、符号化対象パッチの参照パッチの構文要素は、参照パッチのインデックス情報を示すために使用されるｐａｔｃｈＩｎｄｅｘであってもよい。構文要素は、参照パッチが位置する参照フレームのインデックス情報ｆｒａｍｅＩｎｄｅｘをさらに含んでもよい。符号化対象パッチの回転変換情報の構文要素は、回転であってもよい。追加的に、符号化対象パッチの参照パッチのインデックス情報は、符号化対象パッチの参照パッチを示してもよい。法線座標軸情報は、符号化対象パッチの法線軸インデックスであってもよく、例えば、法線軸インデックスｎｏｒｍａｌＡｘｉｓは、それぞれ、Ｘ軸、Ｙ軸、又はＺ軸に対して０、１、又は２であってもよい。

【0012】

実装では、現在の点群フレームにおける複数のパッチの第１のインデックスを一緒にパッキングし、ビットストリームに符号化してもよい。例えば、現在の点群フレームにおける全てのパッチの第１のインデックスは、一緒にパッキングし、ビットストリームに符号化してもよい。別の実装では、符号化対象パッチ［ｉ－１］の第１のインデックス、符号化対象パッチ［ｉ－１］の補助情報、符号化対象パッチ［ｉ］の第１のインデックス、符号化対象パッチ［ｉ］の補助情報、符号化対象パッチ［ｉ＋１］の第１のインデックス、符号化対象パッチ［ｉ＋１］の補助情報などを、順次ビットストリームに符号化してもよく、換言すれば、現在の点群フレームにおける各パッチの第１のインデックスを、ビットストリームに別々にパッキングし、ビットストリームに符号化してもよい。

【0013】

例えば、第１のインデックスが第１の値であるときに、符号化対象パッチの３次元情報は、符号化対象パッチの参照パッチの３次元情報に基づいてビットストリームに符号化されてもよい。具体的には、符号化対象パッチの３次元情報は、差分符号化方式でビットストリームに符号化されてもよいし、直接ビットストリームに符号化されてもよい。具体的な符号化方式には限定されない。符号化対象パッチの第１のインデックスは、固定長符号化方式でビットストリームに符号化される。第１のインデックスが第２の値であるときに、符号化対象パッチの２次元情報及び３次元情報は、符号化対象パッチの参照パッチの２次元情報及び３次元情報に基づいて、ビットストリームに符号化されてもよい。具体的には、符号化対象パッチの２次元情報及び３次元情報は、差分符号化方式でビットストリームに符号化されてもよいし、符号化対象パッチの２次元情報及び３次元情報は、より正確な予測差分方式でビットストリームに符号化されてもよい。具体的な符号化方式には限定されない。参照パッチのインデックス情報及び符号化対象パッチの第１のインデックスは、固定長符号化方式でビットストリームに符号化される。第１のインデックスが第３の値であるときに、符号化対象パッチの２次元情報、３次元情報、回転変換情報、法線座標軸情報、及び第１のインデックスは、固定長符号化方式でビットストリームに符号化されてもよい。符号化対象パッチの参照パッチが、現在の点群フレームの参照フレームに含まれる。

【0014】

現在の点群フレームが、復号中の現在の点群グループにおける点群の最初のフレームであるかどうかを判定するために、さらに、復号プロセスにおいて現在の点群グループを別の点群グループと識別するために、この出願のこの実施形態では、現在の点群グループにおける点群の最初のフレームに含まれるすべてのパッチの第１のインデックスが、第３の値に設定されてもよい。このように、現在の点群フレームが現在の点群グループにおける点群の最初のフレームであるときに、現在の点群フレームにおける最初のパッチの第１のインデックスは、第３の値である。現在の点群フレームが現在の点群グループにおける点群の最初のフレームではないときに、現在の点群フレームにおける最初のパッチの第１のインデックスは、第１の値である。換言すれば、符号化対象パッチの第１のインデックスが第３の値であり、符号化対象パッチが現在の点群フレームにおける最初のパッチであるときに、現在の点群フレームが現在の点群グループにおける点群の最初のフレームであると判定され得る。このようにして、現在の点群グループの点群フレームの長さをビットストリームに符号化する必要はなく、それによって符号化効率を改善し、ビットストリームのビットオーバヘッドを低減する。

【0015】

ビットストリームのビットオーバヘッドをさらに低減するために、現在の点群グループにおけるすべての点群に含まれるパッチを、第１のタイプのパッチ、第２のタイプのパッチ、及び第３のタイプのパッチの順に順次配置してもよい。この場合、第３のタイプのパッチについては、符号化対象パッチが最初の第３のタイプのパッチであるときに、符号化対象パッチは、固定長符号化方式で符号化されてもよいし、符号化対象パッチが最初の第３のタイプのパッチでない場合、最初の第３のタイプのパッチの３次元情報に基づく差分符号化方式で、符号化対象パッチの２次元情報及び３次元情報をビットストリームに符号化してもよく、その他の情報は、前述の固定長符号化方式で符号化してもよい。

【0016】

いくつかの要因のために、点群の各フレームに含まれるパッチの順序は、点群のフレームに含まれるパッチが符号化されるときに中断される必要があるかもしれない。この場合、復号を容易にするために、第１のインデックスが第１の値であるときに、ビットストリームに符号化された符号化対象パッチの補助情報は、符号化対象パッチの参照パッチのインデックス情報をさらに含むことができる。参照パッチのインデックス情報は、符号化対象パッチの参照フレームにおける符号化対象パッチの参照パッチを一意に識別するために使用される。例えば、参照パッチのインデックス情報は、参照フレームにおける参照パッチの位置番号であってもよい。

【0017】

第２の態様によれば、点群復号方法であって、ビットストリームから復号対象パッチの第１のインデックスを解析することと、第１のインデックスが第１の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報が、復号対象パッチの３次元情報を含む、解析することか、第１のインデックスが第２の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報が、復号対象パッチの２次元情報及び３次元情報、並びに復号対象パッチの参照パッチのインデックス情報を含む、解析することか、又は第１のインデックスが第３の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報が、復号対象パッチの２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む、解析することと、復号対象パッチの補助情報に基づいて復号対象パッチを再構築することと、を含む、方法が提供される。

【0018】

現在の点群フレームにおける全てのパッチの第１のインデックスは、別々にパッキングされ、ビットストリームに符号化されてもよく、又は、一緒にパッキングされ、ビットストリームに符号化されてもよい。したがって、第１のインデックスが別々にパッキングされ、ビットストリームに符号化される方式の場合、復号対象パッチが現在の点群フレームにおける最初のパッチであるときに、復号対象パッチの第１のインデックスは、ビットストリームから解析され得る。確かに、最初でないパッチに対しては、復号対象パッチの第１のインデックスは、ビットストリームから解析されてもよい。換言すれば、現在の点群フレームにおける各復号対象パッチの第１のインデックスは、順次解析され得る。例えば、復号対象パッチ［ｉ－１］の第１のインデックス、復号対象パッチ［ｉ－１］の補助情報、復号対象パッチ［ｉ］の第１のインデックス、復号対象パッチ［ｉ］の補助情報、復号対象パッチ［ｉ＋１］の第１のインデックス、復号対象パッチ［ｉ＋１］の補助情報が順次解析される。第１のインデックスが一緒にパッキングされ、ビットストリームに符号化される方式の場合、復号対象パッチが現在の点群フレームにおける最初のパッチであるときに、現在の点群フレームに含まれる複数のパッチの第１のインデックスは、ビットストリームから解析されてもよく、解析された複数の第１のインデックスは、復号対象パッチの第１のインデックスを含む。換言すれば、現在の点群フレームに含まれる複数のパッチの第１のインデックスは、複数回ではなく、１回だけ解析することによって取得され得る。

【0019】

第１のインデックスが第１の値であるときに、それは、復号対象パッチが第１のタイプのパッチであること、換言すれば、復号対象パッチは現在の点群グループのすべての点群で一致するパッチを有することを示すことに留意されたい。この場合、復号対象パッチの補助情報は、ビットストリームから解析することができ、補助情報は、復号対象パッチの３次元情報を含むが、復号対象パッチの２次元情報、回転変換情報、及び法線座標軸情報を含まない。第１のインデックスが第２の値であるときに、それは、復号対象パッチが第２のタイプのパッチであること、換言すれば、復号対象パッチと一致する参照パッチが現在の点群フレームの参照フレームに存在することを示す。この場合、復号対象パッチの補助情報は、ビットストリームから解析することができ、補助情報は、２次元情報、３次元情報、及び参照パッチのインデックス情報を含むが、回転変換情報及び法線座標軸情報を含まない。第１のインデックスが第３の値であるときに、復号対象パッチが第３のタイプのパッチであること、換言すれば、復号対象パッチに一致する参照パッチは現在の点群フレームの参照フレームには存在しないことを示す。この場合、復号対象パッチの２次元情報、３次元情報、回転変換情報、及び法線座標軸情報は、ビットストリームから解析することができる。

【0020】

第１のインデックスが第１の値であるときに、例えば、符号器側のものと一致する方法を用いることによって復号が実行されてもよく、例えば、復号対象パッチの３次元情報は、復号される点群における位置が現在の点群フレームにおける復号対象パッチの位置と同じであるパッチの３次元情報に基づく差分復号方法でビットストリームから解析されてもよい。復号対象パッチの他の補助情報は、例えば、復号対象パッチの２次元情報、回転変換情報、法線座標軸情報、現在の点群フレームにおける復号対象パッチの位置と同じ位置にあるパッチの２次元情報、回転変換情報、及び法線座標軸情報は、復号される点群から取得されてもよく、取得された２次元情報、回転変換情報、及び法線座標軸情報は、復号対象パッチの２次元情報、回転変換情報、及び法線座標軸情報として使用される。代替的には、現在の点群フレームの参照フレームから、復号対象パッチの参照パッチの２次元情報、回転変換情報、及び法線座標軸情報が取得され、参照フレームの２次元情報、回転変換情報、及び法線座標軸情報が、復号対象パッチの２次元情報、回転変換情報、法線座標軸情報として使用される。換言すれば、第１のタイプのパッチでは、３次元情報が、ビットストリームから解析されることができ、２次元情報、回転変換情報及び法線座標軸情報が、導出又は取得される。このようにして、２次元情報、回転変換情報、及び法線座標軸情報をビットストリームに符号化する必要がなくなり、ビットストリームのビットオーバヘッドが低減され、符号化効率が改善される。

【0021】

換言すれば、第１のインデックスが第１の値であるときに、復号対象パッチの３次元情報がビットストリームから解析された後、復号対象パッチの補助情報は、復号対象パッチの参照パッチの補助情報に基づいてさらに取得されてもよく、補助情報は、２次元情報、回転変換情報、及び法線座標軸情報を含む。このようにして、復号対象パッチの補助情報に基づいて復号対象パッチを再構築することは、復号対象パッチの２次元情報、３次元情報、法線座標軸情報、及び回転変換情報に基づいて復号対象パッチを再構築することを含む。

【0022】

点群内におけるパッチが、第１のタイプのパッチ、第２のタイプのパッチ、第３のタイプのパッチの配置順に符号化されているときに、復号対象のパッチの参照パッチは、現在の点群フレームの参照フレームにおける位置が、現在の点群フレームにおける復号対象パッチの位置と同じであるパッチであってもよい。ただし、場合によっては、現在の点群グループにおける点群の各フレームにおける第１のタイプのパッチ、第２のタイプのパッチ、第３のタイプのパッチの順で配置していない。この場合、第１のインデックスが第１の値であるときに、ビットストリームから解析される復号対象パッチの補助情報は、復号対象パッチの参照パッチのインデックス情報をさらに含むことができる。このようにして、復号中に、解析された第１のインデックスが第１の値であるときに、ビットストリームから解析された補助情報は、復号対象パッチの参照パッチのインデックス情報をさらに含んでもよい。次に、復号対象パッチの参照パッチは、復号対象パッチの参照パッチのインデックス情報に基づいて判定されてもよい。

【0023】

第１のインデックスが第２の値であるときに、復号対象パッチの参照パッチのインデックス情報は、符号化器側でのものと一致する方法を使用することによって、ビットストリームから解析されてもよく、例えば、固定長復号スキームで解析されてもよい。復号対象パッチの回転変換情報及び法線座標軸情報については、復号対象パッチの参照パッチのインデックス情報を使用して、復号対象パッチの参照パッチが判定されてもよく、復号対象パッチの参照パッチの回転変換情報及び法線座標軸情報がさらに取得され、参照パッチの回転変換情報及び法線座標軸情報が、復号対象パッチの回転変換情報及び法線座標軸情報として使用される。復号対象パッチの２次元情報及び３次元情報は、例えば、符号化器側でのものと一致する方法を使用して、復号されてもよく、例えば、復号対象パッチの２次元情報及び３次元情報は、差分復号方式でビットストリームから解析されてもよい。換言すれば、第２のタイプのパッチでは、２次元情報及び３次元情報が、ビットストリームから解析されてもよいが、回転変換情報及び法線座標軸情報が、導出又は取得される。このようにして、回転変換情報、及び法線座標軸情報をビットストリームに符号化する必要がなくなり、ビットストリームのビットオーバヘッドが低減され、符号化効率が改善される。

【0024】

換言すれば、第１のインデックスが第２の値であるときに、復号対象パッチの２次元情報及び３次元情報、並びに復号対象パッチの参照パッチのインデックス情報がビットストリームから解析されるときに、復号対象パッチの回転変換情報及び法線座標軸情報は、復号対象パッチの参照パッチのインデックス情報に基づいてさらに取得されてもよい。このようにして、復号対象パッチの補助情報に基づいて復号対象パッチを再構築することは、復号対象パッチの２次元情報、３次元情報、法線座標軸情報、及び回転変換情報に基づいて復号対象パッチを再構築することを含む。

【0025】

第１のインデックスが第３の値であるときに、例えば、復号は、符号化器側でのものと一致する方法を使用して、実行されてもよく、例えば、復号対象パッチの２次元情報、３次元情報、回転変換情報、及び法線座標軸情報が、固定長復号方式でビットストリームから解析されてもよい。しかし、最初の第３のタイプのパッチの補助情報が固定長符号化方式で符号化される場合、最初ではない第３のタイプのパッチの２次元情報及び３次元情報が差分符号化方式で符号化され、他の補助情報が固定長符号化方式で符号化され、最初ではない第３のタイプのパッチでは、復号対象パッチの２次元情報と３次元情報が、最初の第３のタイプのパッチの２次元情報と３次元情報に基づいて、差分復号方式でビットストリームから解析され、復号対象パッチの回転変換情報と法線座標軸情報が、固定長復号方式でビットストリームから解析される。換言すれば、第３のタイプのパッチでは、最初ではない第３のタイプのパッチの２次元情報及び３次元情報が、ビットストリームから解析されてもよいが、回転変換情報及び法線座標軸情報が、導出又は取得される。このようにして、回転変換情報、及び法線座標軸情報をビットストリームに符号化する必要がなくなり、ビットストリームのビットオーバヘッドが低減され、符号化効率が改善される。

【0026】

第１の値、第２の値、及び第３の値が、それぞれ２進数１０、１１、及び００であるか、第１の値、第２の値、及び第３の値が、それぞれ２進数１１、１０、００である。復号対象パッチの参照パッチは、現在の点群フレームの参照フレームに含まれる。

【0027】

前述の説明に基づき、現在の点群グループにおける点群のフレームごとに、第１のタイプのパッチ、第２のタイプのパッチ、第３のタイプのパッチの順で配置され得る。この場合、復号対象パッチが現在の点群フレームにおける最初のパッチである場合、復号対象パッチの第１のインデックスがビットストリームから解析された後、現在の点群フレームが現在の点群グループの点群の最初のフレームであるかどうかを、第１のインデックスの値に基づいて判定してもよい。換言すれば、復号対象パッチが現在の点群フレームにおける最初のパッチであり、第１のインデックスが第３の値であるときに、現在の点群フレームが現在の点群グルプにおける点群の最初のフレームであると判定されてもよい。この場合、点群グループの長さをビットストリームに符号化する必要はない。

【0028】

しかし、場合によっては、現在の点群グループにおける点群の各フレームにおける第１のタイプのパッチ、第２のタイプのパッチ、第３のタイプのパッチの順で配置していないことがある。換言すれば、現在の点群グループにおける点群のフレームにおける最初のパッチの第１のインデックスが、第１の値、第２の値、又は第３の値であることがある。この場合、復号対象パッチが現在の点群フレームにおける最初のパッチであるときに、ビットストリームから解析された第１のインデックスに基づいて、現在の点群フレームが現在の点群グループにおける点群の最初のフレームであるかどうかを判定することができない。この場合、現在の点群フレームに含まれる複数のパッチの第１のインデックスが判定されてもよい。可能な実装では、複数のパッチは全て、現在の点群フレームに含まれるパッチである。複数のパッチの第１のインデックスの全てが第３の値であるときに、現在の点群フレームが、現在の点群グループにおける点群の最初のフレームであると判定されてもよい。

【0029】

復号対象パッチの補助情報が取得された後、換言すれば、復号対象パッチの２次元情報、３次元情報、回転変換情報及び法線座標軸情報が取得された後、復号対象パッチがそのような補助情報に基づいて再構築されてもよいが、これに限定されないことに留意されたい。この出願は、復号対象パッチの再構築に必要な具体的な情報に制限を設定しない。

【0030】

第３の態様によれば、点群符号化方法であって、符号化対象パッチの補助情報を取得することと、符号化対象パッチの補助情報及び符号化対象パッチの第１のインデックスをビットストリームに符号化することと、を含み、第１のインデックスは、符号化対象パッチが第１のタイプのパッチであることを示す第１の値であり、ビットストリームに符号化される情報がさらに第２のインデックスを含み、第２のインデックスは、符号化対象パッチの３次元情報がビットストリームに符号化されないことを示す第４の値であるか、若しくは第２のインデックスは、符号化対象パッチの３次元情報がビットストリームに符号化されることを示す第５の値であり、符号化対象パッチの補助情報は、３次元情報を含むか、第１のインデックスは、符号化対象パッチが第２のタイプのパッチであることを示す第２の値であり、符号化対象パッチの補助情報は、２次元情報、３次元情報、及び符号化対象パッチの参照パッチのインデックス情報を含むか、又は第１のインデックスは、符号化対象パッチが、第３のタイプのパッチであることを示す第３の値であり、符号化対象パッチの補助情報は二次元が、２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む、方法が提供される。

【0031】

第１のインデックスが第１の値であるときに、それは、符号化対象パッチが第１のタイプのパッチであることを示すことができ、ビットストリームに符号化された情報は、第２のインデックスをさらに含むことができる。

【0032】

第２のインデックスは、符号化対象パッチの３次元情報がビットストリームに符号化されるかどうかを示すために使用されることに留意されたい。第２のインデックスの構文要素は、ｏｖｅｒｒｉｄｅ＿３ｄ＿ｓｈｉｆｔ＿ｄａｔａ＿ｆｌａｇであってもよい。第２のインデックスが第４の値であるときに、それは、符号化対象パッチの３次元情報がビットストリームに符号化されないことを示すことができる。換言すれば、符号化対象パッチの３次元情報は、符号化対象パッチの参照パッチの３次元情報と同じである。したがって、符号化対象パッチの３次元情報は、ビットストリームに符号化される必要はなく、換言すれば、符号化対象パッチの補助情報は、３次元情報を含まなくてもよい。第２のインデックスが第５の値であるときに、それは、符号化対象パッチの３次元情報がビットストリームに符号化されることを示すことができる。換言すれば、符号化対象パッチの３次元情報は、符号化対象パッチの参照パッチの３次元情報とは異なる。したがって、符号化対象パッチの３次元情報は、ビットストリームに符号化される必要があり、換言すれば、符号化対象パッチの補助情報は、３次元情報を含むことができる。第４の値の構文要素は真とすることができ、第５の値の構文要素は偽とすることができる。

【0033】

第１のインデックスが第２の値であるときに、それは、符号化対象パッチが第２のタイプのパッチであることを示すことができる。換言すれば、符号化対象パッチに一致する参照パッチが、現在の点群フレームの参照フレームに存在する。符号化対象パッチの補助情報は、２次元情報、３次元情報、及び符号化対象パッチの参照パッチのインデックス情報を含む。

【0034】

第１のインデックスが第３の値であるときに、符号化対象パッチが第３のタイプのパッチであることを示すことができる。換言すれば、符号化対象パッチに一致する参照パッチが、現在の点群フレームの参照フレームには存在しない。符号化対象パッチの補助情報は、２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む。

【0035】

第４の態様によれば、点群復号方法であって、ビットストリームから復号対象パッチの第１のインデックスを解析することと、第１のインデックスが第１の値であるときに、ビットストリームから復号対象パッチの第２のインデックスを解析することと、第２のインデックスが第４の値であるときに、復号対象パッチの補助情報として、復号対象パッチの参照パッチの補助情報を使用することか、若しくは第２のインデックスが第５の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報は、復号対象パッチの３次元情報を含む、解析することか、又は第１のインデックスが第２の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報が、復号対象パッチの２次元情報及び３次元情報、並びに復号対象パッチの参照パッチのインデックス情報を含む、解析することか、又は第１のインデックスが第３の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報が、復号対象パッチの２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む、解析することと、復号対象パッチの補助情報に基づいて復号対象パッチを再構築することと、を含む、方法が提供される。

【0036】

第２のインデックスが第４の値であるときに、それは、復号対象パッチの３次元情報がビットストリームに符号化されないことを示すことができることに留意されたい。換言すれば、復号対象パッチの３次元情報は、復号対象パッチの参照パッチの３次元情報と同じである。この場合、復号対象パッチの参照パッチの補助情報が、復号対象パッチの補助情報として使用されてもよい。第２のインデックスが第５の値であるときに、それは、復号対象パッチの３次元情報がビットストリームに符号化されることを示し、復号対象パッチの補助情報は、３次元情報を含むことができる。この場合、復号対象パッチの補助情報は、ビットストリームから解析され、補助情報は、復号対象パッチの３次元情報を含む。例えば、復号対象パッチの補助情報は、差分復号方式でビットストリームから解析されてもよい。

【0037】

第５の態様によれば、点群符号化装置であって、符号化対象パッチの補助情報を取得するように構成されている点群パッチ情報取得モジュールと、符号化対象パッチの補助情報及び符号化対象パッチの第１のインデックスをビットストリームに符号化するように構成されている補助情報符号化モジュールと、を含み、第１のインデックスは、符号化対象パッチが第１のタイプのパッチであることを示す第１の値であり、符号化対象パッチの補助情報は、３次元情報を含むか、第１のインデックスは、符号化対象パッチが第２のタイプのパッチであることを示す第２の値であり、符号化対象パッチの補助情報は、２次元情報、３次元情報、及び符号化対象パッチの参照パッチのインデックス情報を含むか、又は第１のインデックスは、符号化対象パッチが第３のタイプのパッチであることを示す第３の値であり、符号化対象パッチの補助情報は、２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む、装置が提供される。

【0038】

符号化対象パッチの第１のインデックスが、第３の値であり、符号化対象パッチが、符号化対象パッチが属する現在の点群フレームにおける最初のパッチであるときに、現在の点群フレームが、最初の点群フレームである。

【0039】

第１の値、第２の値、及び第３の値が、それぞれ２進数１０、１１、及び００であるか、第１の値、第２の値、及び第３の値が、それぞれ２進数１１、１０、００である。

【0040】

符号化対象パッチの参照パッチが、現在の点群フレームの参照フレームに含まれる。

【0041】

第１のタイプのパッチが、現在のグループにおけるグローバル一致パッチであり、第２のタイプのパッチが、現在のグループにおけるローカル一致パッチであり、第３のタイプのパッチが、現在のグループにおける一致しないパッチである。

【0042】

第６の態様によれば、点群復号装置であって、ビットストリームから復号対象パッチの第１のインデックスを解析するように構成されている補助情報復号モジュールであって、補助情報復号モジュールは、第１のインデックスが第１の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報が、復号対象パッチの３次元情報を含む、解析することか、第１のインデックスが第２の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報が、復号対象パッチの２次元情報及び３次元情報、並びに復号対象パッチの参照パッチのインデックス情報を含む、解析することか、又は第１のインデックスが第３の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報が、復号対象パッチの２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む、解析することを行うようにさらに構成されている補助情報復号モジュールと、復号対象パッチの補助情報に基づいて復号対象パッチを再構築するように構成されている再構築モジュールと、を含む、装置が提供される。

【0043】

第１の値、第２の値、及び第３の値が、それぞれ２進数１０、１１、及び００であるか、第１の値、第２の値、及び第３の値が、それぞれ２進数１１、１０、００である。

【0044】

補助情報復号モジュールは、
復号対象パッチが、最初のパッチであり、第１のインデックスが、第３の値であるときに、復号対象パッチが属する現在の点群フレームが最初の点群フレームであると判定するようにさらに構成されている。

【0045】

補助情報復号モジュールは、
復号対象パッチが、現在の点群フレームにおける最初のパッチであるときに、ビットストリームから復号対象パッチの第１のインデックスを解析することか、又は復号対象パッチが、現在の点群フレームにおける最初のパッチであるときに、ビットストリームから現在の点群フレームに含まれる複数のパッチの複数の第１のインデックスを解析することであって、解析された複数の第１のインデックスが、復号対象パッチの第１のインデックスを含む、解析することを行うようにさらに構成されている。

【0046】

第１のインデックスが第１の値であるときに、補助情報復号モジュールは、復号対象パッチの参照パッチの補助情報に基づいて、復号対象パッチの２次元情報、回転変換情報、及び法線座標軸情報を取得するようにさらに構成されており、再構築モジュールは、復号対象パッチの２次元情報、３次元情報、法線座標軸情報、及び回転変換情報に基づいて、復号対象パッチを再構築するようにさらに構成されている。

【0047】

第１のインデックスが第２の値であるときに、補助情報復号モジュールは、復号対象パッチの参照パッチのインデックス情報に基づいて、復号対象パッチの回転変換情報、及び法線座標軸情報を取得するようにさらに構成されており、再構築モジュールは、復号対象パッチの２次元情報、３次元情報、法線座標軸情報、及び回転変換情報に基づいて、復号対象パッチを再構築するようにさらに構成されている。

【0048】

復号対象パッチの参照パッチが、現在の点群フレームの参照フレームに含まれる。

【0049】

第７の態様によれば、点群符号化装置であって、符号化対象パッチの補助情報を取得するように構成されているパッチ情報取得モジュールと、
符号化対象パッチの補助情報及び符号化対象パッチの第１のインデックスをビットストリームに符号化するように構成されている補助情報符号化モジュールと、を含み、
第１のインデックスは、符号化対象パッチが第１のタイプのパッチであることを示す第１の値であり、ビットストリームに符号化される情報がさらに第２のインデックスを含み、第２のインデックスは、符号化対象パッチの３次元情報がビットストリームに符号化されないことを示す第４の値であるか、若しくは第２のインデックスは、符号化対象パッチの３次元情報がビットストリームに符号化されることを示す第５の値であり、符号化対象パッチの補助情報は、３次元情報を含むか、
第１のインデックスは、符号化対象パッチが第２のタイプのパッチであることを示す第２の値であり、符号化対象パッチの補助情報は、２次元情報、３次元情報、及び符号化対象パッチの参照パッチのインデックス情報を含むか、又は
第１のインデックスは、符号化対象パッチが第３のタイプのパッチであることを示す第３の値であり、符号化対象パッチの補助情報は、２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む、装置が提供される。

【0050】

第８の態様によれば、点群復号装置であって、ビットストリームから復号対象パッチの第１のインデックスを解析するように構成されている補助情報復号モジュールであって、
補助情報復号モジュールは、第１のインデックスが第１の値であるときに、ビットストリームから復号対象パッチの第２のインデックスを解析し、第２のインデックスが第４の値であるときに、復号対象パッチの補助情報として復号対象パッチの参照パッチの補助情報を使用することか、又は第２のインデックスが第５の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報が、復号対象パッチの３次元情報を含む、解析することか、第１のインデックスが第２の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報が、復号対象パッチの２次元情報及び３次元情報、並びに復号対象パッチの参照パッチのインデックス情報を含む、解析することか、あるいは第１のインデックスが第３の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報が、復号対象パッチの２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む、解析することを行うようにさらに構成されている補助情報復号モジュールと、
復号対象パッチの補助情報に基づいて復号対象パッチを再構築するように構成されている再構築モジュールと、を含む、装置が提供される。

【0051】

第９の態様によれば、点群符号化方法であって、符号化対象パッチの補助情報を取得することと、符号化対象パッチの補助情報及び符号化対象パッチの構文要素をビットストリームに符号化することと、を含み、構文要素は、第１の構文要素を含む、方法が提供される。

【0052】

第１の構文要素が、符号化対象パッチが参照パッチを有することを示すときに、
ビットストリームに符号化される構文要素が、第２の構文要素をさらに含み、第２の構文要素の値が、真であり、符号化対象パッチの２次元情報が、ビットストリームに符号化されるが、符号化対象パッチの３次元情報が、ビットストリームに符号化されないことを示し、符号化対象パッチの補助情報が、２次元情報を含むか、
ビットストリームに符号化される構文要素が、第２の構文要素及び第３の構文要素をさらに含み、第２の構文要素の値が、偽であり、第３の構文要素の値が、真であり、符号化対象パッチの２次元情報が、ビットストリームに符号化されないが、符号化対象パッチの３次元情報が、ビットストリームに符号化されることを示し、符号化対象パッチの補助情報が、３次元情報を含むか、又は
ビットストリームに符号化される構文要素が、第２の構文要素及び第３の構文要素をさらに含み、第２の構文要素の値が、偽であり、第３の構文要素の値が、偽であり、符号化対象パッチの２次元情報が、ビットストリームに符号化されず、符号化対象パッチの３次元情報が、ビットストリームに符号化されないことを示す。

【0053】

任意選択で、第１の構文要素が、符号化対象パッチが参照パッチを有さないことを示すときに、符号化対象パッチの補助情報は、２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む。

【0054】

任意選択で、第１の構文要素が、符号化対象パッチが参照パッチを有さないことを示し、符号化対象パッチが、符号化対象パッチが属する現在の点群フレームにおける最初のパッチであるときに、現在の点群フレームは、最初の点群フレームである。

【0055】

任意選択で、符号化対象パッチの参照パッチが、現在の点群フレームの参照フレームに含まれる。

【0056】

任意選択で、現在の点群フレームにおける符号化対象パッチの位置が、現在の点群フレームの参照フレームにおける符号化対象パッチの参照パッチの位置と同じである。

【0057】

第１０の態様によれば、点群復号方法であって、ビットストリームから復号対象パッチの第１の構文要素を解析することと、ビットストリームから復号対象パッチの第２の構文要素を解析することか、若しくは第１の構文要素が、復号対象パッチが参照パッチを有することを示すときに、ビットストリームから復号対象パッチの第３の構文要素を解析することと、第２の構文要素の値が、真であるときに、ビットストリームから復号対象パッチの２次元情報を解析し、復号対象パッチの３次元情報として復号対象パッチの参照パッチの３次元情報を使用することか、第２の構文要素の値が、偽であり、第３の構文要素の値が、真であるときに、ビットストリームから復号対象パッチの３次元情報を解析し、復号対象パッチの２次元情報として復号対象パッチの参照パッチの２次元情報を使用することか、又は第２の構文要素の値が、偽であり、第３の構文要素の値が、偽であるときに、復号対象パッチの２次元情報として復号対象パッチの参照パッチの２次元情報を使用し、復号対象パッチの３次元情報として復号対象パッチの参照パッチの３次元情報を使用することと、復号対象パッチの補助情報に基づいて復号対象パッチを再構築することであって、復号対象パッチの補助情報は、復号対象パッチの２次元情報及び復号対象パッチの３次元情報を含む、再構築することと、を含む、方法が提供される。

【0058】

任意選択で、本方法は、第１の構文要素が、復号対象パッチが参照パッチを有さないことを示すときに、ビットストリームから復号対象パッチの補助情報を解析することであって、復号対象パッチの補助情報は、２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む、解析することをさらに含む。

【0059】

任意選択で、本方法は、復号対象パッチが最初のパッチであり、第１の構文要素が、復号対象パッチが参照パッチを有さないことを示すときに、復号対象パッチが属する現在の点群フレームが最初の点群フレームであると判定することをさらに含む。

【0060】

任意選択で、ビットストリームから復号対象パッチの第１の構文要素を解析することは、復号対象パッチが現在の点群フレームにおける最初のパッチであるときに、ビットストリームから復号対象パッチの第１の構文要素を解析すること、又は復号対象パッチが現在の点群フレームにおける最初のパッチであるときに、ビットストリームから現在の点群フレームに含まれる複数のパッチの複数の第１の構文要素を解析することであって、解析された複数の第１の構文要素が復号対象パッチの第１の構文要素を含む、解析することを含む。

【0061】

任意選択で、復号対象パッチの参照パッチが、現在の点群フレームの参照フレームに含まれる。

【0062】

任意選択で、現在の点群フレームにおける復号対象パッチの位置が、現在の点群フレームの参照フレームにおける復号対象パッチの参照パッチの位置と同じである。

【0063】

第１１の態様によれば、点群符号化装置であって、符号化対象パッチの補助情報を取得するように構成されている点群パッチ（ｐａｔｃｈ）情報取得モジュールと、
符号化対象パッチの補助情報及び符号化対象パッチの構文要素をビットストリームに符号化するように構成されている補助情報符号化モジュールであって、構文要素は、第１の構文要素を含む、補助情報符号化モジュールと、を含み、
第１の構文要素が、符号化対象パッチが参照パッチを有することを示すときに、
ビットストリームに符号化される構文要素が、第２の構文要素をさらに含み、第２の構文要素の値が、真であり、符号化対象パッチの２次元情報が、ビットストリームに符号化されるが、符号化対象パッチの３次元情報が、ビットストリームに符号化されないことを示し、符号化対象パッチの補助情報が、２次元情報を含むか、
ビットストリームに符号化される構文要素が、第２の構文要素及び第３の構文要素をさらに含み、第２の構文要素の値が、偽であり、第３の構文要素の値が、真であり、符号化対象パッチの２次元情報が、ビットストリームに符号化されないが、符号化対象パッチの３次元情報が、ビットストリームに符号化されることを示し、符号化対象パッチの補助情報が、３次元情報を含むか、又は
ビットストリームに符号化される構文要素が、第２の構文要素及び第３の構文要素をさらに含み、第２の構文要素の値が、偽であり、第３の構文要素の値が、偽であり、符号化対象パッチの２次元情報が、ビットストリームに符号化されず、符号化対象パッチの３次元情報が、ビットストリームに符号化されないことを示す、装置が提供される。

【0064】

任意選択で、第１の構文要素が、符号化対象パッチが参照パッチを有さないことを示すときに、符号化対象パッチの補助情報は、２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む。

【0065】

任意選択で、第１の構文要素が、符号化対象パッチが参照パッチを有さないことを示し、符号化対象パッチが、符号化対象パッチが属する現在の点群フレームにおける最初のパッチであるときに、現在の点群フレームは、最初の点群フレームである。

【0066】

任意選択で、符号化対象パッチの参照パッチが、現在の点群フレームの参照フレームに含まれる。

【0067】

任意選択で、現在の点群フレームにおける符号化対象パッチの位置が、現在の点群フレームの参照フレームにおける符号化対象パッチの参照パッチの位置と同じである。

【0068】

第１２の態様によれば、点群復号装置であって、ビットストリームから復号対象パッチの第１の構文要素を解析するように構成されている補助情報復号モジュールであって、
補助情報復号モジュールは、ビットストリームから復号対象パッチの第２の構文要素を解析することか、若しくは第１の構文要素が、復号対象パッチが参照パッチを有することを示すときに、ビットストリームから復号対象パッチの第３の構文要素を解析することか、第２の構文要素の値が、真であるときに、ビットストリームから復号対象パッチの２次元情報を解析し、復号対象パッチの３次元情報として復号対象パッチの参照パッチの３次元情報を使用することか、第２の構文要素の値が、偽であり、第３の構文要素の値が、真であるときに、ビットストリームから復号対象パッチの３次元情報を解析し、復号対象パッチの２次元情報として復号対象パッチの参照パッチの２次元情報を使用することか、又は第２の構文要素の値が、偽であり、第３の構文要素の値が、偽であるときに、復号対象パッチの２次元情報として復号対象パッチの参照パッチの２次元情報を使用し、復号対象パッチの３次元情報として復号対象パッチの参照パッチの３次元情報を使用することを行うようにさらに構成されている、補助情報復号モジュールと、
復号対象パッチの補助情報に基づいて復号対象パッチを再構築することであって、復号対象パッチの補助情報は、復号対象パッチの２次元情報及び復号対象パッチの３次元情報を含む、再構築することを行うように構成されている再構築モジュールと、を含む、装置が提供される。

【0069】

任意選択で、補助情報復号モジュールは、第１の構文要素が、復号対象パッチが参照パッチを有さないことを示すときに、ビットストリームから復号対象パッチの補助情報を解析することであって、復号対象パッチの補助情報は、２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む、解析するようにさらに構成されている。

【0070】

任意選択で、補助情報復号モジュールは、復号対象パッチが最初のパッチであり、第１の構文要素が、復号対象パッチが参照パッチを有さないことを示すときに、復号対象パッチが属する現在の点群フレームが最初の点群フレームであると判定するようにさらに構成されている。

【0071】

任意選択で、補助情報復号モジュールは、復号対象パッチが、現在の点群フレームにおける最初のパッチであるときに、ビットストリームから復号対象パッチの第１の構文要素を解析することか、又は復号対象パッチが、現在の点群フレームにおける最初のパッチであるときに、ビットストリームから現在の点群フレームに含まれる複数のパッチの複数の第１の構文要素を解析することであって、解析された複数の第１の構文要素が、復号対象パッチの第１のインデックスを含む、解析することを含む、解析することを行うようにさらに構成されている。

【0072】

任意選択で、復号対象パッチの参照パッチが、現在の点群フレームの参照フレームに含まれる。

【0073】

任意選択で、現在の点群フレームにおける復号対象パッチの位置が、現在の点群フレームの参照フレームにおける復号対象パッチの参照パッチの位置と同じである。

【0074】

第１３の態様によれば、点群データを符号化するためのデバイスであって、メモリ及び符号化器を含む、デバイスが提供される。メモリは、点群データを記憶するように構成されている。符号化器は、第１の態様若しくは第１の態様の任意の可能な設計で提供される点群符号化方法を実行するように構成されているか、符号化器は、第３の態様若しくは第３の態様の任意の可能な設計で提供される点群符号化方法を実行するように構成されているか、又は符号化器は、第９の態様若しくは第９の態様の任意の可能な設計で提供される点群符号化方法を実行するように構成されている。

【0075】

第１４の態様によれば、点群データを復号するためのデバイスであって、メモリ及び復号器を含む、デバイスが提供される。メモリは、ビットストリーム形式で点群データを記憶するように構成されている。復号器は、第２の態様若しくは第２の態様の任意の可能な設計で提供される点群復号方法を実行するように構成されているか、復号器は、第４の態様若しくは第４の態様の任意の可能な設計で提供される点群復号方法を実行するように構成されているか、又は復号器は、第１０の態様若しくは第１０の態様の任意の可能な設計で提供される点群復号方法を実行するように構成されている。

【0076】

第１５の態様によれば、メモリ及びプロセッサを含む符号化装置であって、メモリはプログラムコードを記憶するように構成され、プロセッサは、第１の態様、第３の態様、又は第９の態様で提供される点群符号化方法を実行するようにプログラムコードを起動するように構成されている、装置が提供される。

【0077】

第１６の態様によれば、メモリとプロセッサとを含む復号装置であって、メモリはプログラムコードを記憶するように構成され、プロセッサは、第２の態様、第４の態様、又は第１０の態様で提供される点群復号方法を実行するようにプログラムコードを起動するように構成されている、装置が提供される。

【0078】

この出願はさらに、プログラムコードを含むコンピュータ可読記憶媒体を提供する。プログラムコードがコンピュータ上で動作するときに、コンピュータは、第１の態様若しくはその可能な設計で提供される任意の点群符号化方法、第３の態様若しくはその可能な設計で提供される任意の点群符号化方法、又は第９の態様若しくはその可能な設計で提供される任意の点群符号化方法を実行することが可能となる。

【0079】

この出願はさらに、プログラムコードを含むコンピュータ可読記憶媒体を提供する。プログラムコードがコンピュータ上で動作するときに、コンピュータは、第２の態様若しくはその可能な設計で提供される任意の点群復号方法、第４の態様若しくはその可能な設計で提供される任意の点群復号方法、又は第１０の態様若しくはその可能な設計で提供される任意の点群復号方法を実行することが可能となる。

【0080】

この出願は、コンピュータプログラム製品をさらに提供する。コンピュータプログラム製品がコンピュータ上で動作するときに、コンピュータは、第１の態様若しくは第１の態様の任意の可能な設計で提供される点群符号化方法の一部若しくは全部を実行すること、第３の態様若しくは第３の態様の任意の可能な設計で提供される点群符号化方法の一部若しくは全部を実行すること、又は第９の態様若しくは第９の態様の可能な設計で提供される点群符号化方法の一部若しくは全部を実行することが可能となる。

【0081】

この出願は、コンピュータプログラム製品をさらに提供する。コンピュータプログラム製品がコンピュータ上で動作するときに、コンピュータは、第２の態様若しくは第２の態様の任意の可能な設計で提供される点群復号方法の一部若しくは全部を実行すること、第４の態様若しくは第４の態様の任意の可能な設計で提供される点群復号方法の一部若しくは全部を実行すること、又は第１０の態様若しくは第１０の態様の可能な設計で提供される点群復号方法の一部若しくは全部を実行することが可能となる。

【0082】

前述の提供されたコーデック装置、コンピュータ可読記憶媒体、及びコンピュータプログラム製品のいずれか１つの有益な効果については、前述の対応する態様で提供された方法の実施形態の有益な効果を対応して参照してもよく、詳細は再度説明されないことを理解されたい。

【0083】

この出願で提供される技術的解決策は、少なくとも以下の有益な効果を有することができる。

【0084】

この出願の実施態様において、符号化対象パッチの補助情報が最初に取得され、次いで、符号化対象パッチの補助情報及び第１のインデックスがビットストリームに符号化される。第１のインデックスの値は、第１の値、第２の値、及び第３の値とすることができる。異なる値は、異なるタイプのパッチを示す。したがって、第１のインデックスを使用して、異なるタイプのパッチを識別することができる。このようにして、第１のタイプのパッチの数をビットストリームに書き込む必要がなく、ビットストリームのビットオーバヘッドが低減される。追加的に、異なるタイプのパッチでは、ビットストリームに符号化された補助情報に含まれるコンテンツが異なることがあり、第１のタイプのパッチと第２のタイプのパッチでは、補助情報の一部分のみがビットストリームに符号化される。これは、ビットストリームに符号化される情報のフォーマットを単純化し、ビットストリームのビットオーバヘッドを低減し、符号化効率を改善することができる。

【図面の簡単な説明】

【0085】

【図1】この出願の一実施形態による点群コーディングシステムの概略ブロック図である。

【0086】

【図2】この出願の一実施形態に適用可能な符号化器の概略ブロック図である。

【0087】

【図3】この出願の実施形態に適用可能な点群の概略図である。

【0088】

【図4】この出願の実施形態に適用可能な点群のパッチの概略図である。

【0089】

【図5】この出願の実施形態に適用可能な点群の占有マップの概略図である。

【0090】

【図6】この出願の実施形態に適用可能な復号器の概略ブロック図である。

【0091】

【図7】この出願の一実施形態に適用可能なフレームのグループの概略図である。

【0092】

【図8】この出願の一実施形態による第１の現在の点群グループの概略図である。

【0093】

【図9】この出願の一実施形態による第１の点群符号化方法のフローチャートである。

【0094】

【図10】この出願の一実施形態による第２の現在の点群グループの概略図である。

【0095】

【図11】この出願の一実施形態による第１の点群復号方法のフローチャートである。

【0096】

【図12】この出願の一実施形態による第２の点群符号化方法のフローチャートである。

【0097】

【図13】この出願の一実施形態による第２の点群復号方法のフローチャートである。

【0098】

【図14】この出願の一実施形態による第１の符号化装置の概略ブロック図である。

【0099】

【図15】この出願の一実施形態による第１の復号装置の概略ブロック図である。

【0100】

【図16】この出願の一実施形態による第２の符号化装置の概略ブロック図である。

【0101】

【図17】この出願の一実施形態による第２の復号装置の概略ブロック図である。

【0102】

【図18】この出願の一実施形態によるコーディング装置の実装の概略ブロック図である。

【発明を実施するための形態】

【0103】

この出願の目的、技術的解決策、及び利点をより明確にするために、添付の図面を参照して、この出願の実装をさらに詳細に説明する。

【0104】

この出願の実施態様において、「複数の」とは、２以上のものをいう。この出願の説明において、「／」とは、特に断らない限り、「又は」を意味する。例えば、Ａ／Ｂは、Ａ又はＢを表すことができる。本明細書において、「及び／又は」とは、関連するオブジェクトを説明するための関連関係のみを説明し、３つの関係が存在し得ることを表す。例えば、Ａ及び／又はＢは、以下の３つの場合を表すことができる。すなわち、Ａのみが存在し、Ａ及びＢの両方が存在し、Ｂのみが存在する。追加的に、この出願の実施態様において、技術的解決策を明確に説明することを容易にするために、機能性及び機能が基本的に同一である同じ又は類似のものを区別するために「第１の」及び「第２の」など語が使用される。当業者であれば、「第１の」及び「第２の」などの語は、数又は実行シーケンスを制限するものではなく、「第１の」及び「第２の」などの語が明らかに異なるという意味ではないと理解することができる。

【0105】

この出願の実施態様を詳細に説明する前に、この出願の実施態様の実装環境を最初に説明する。

【0106】

この出願の実施形態で提供される実装環境は、点群コーディングシステムを含む。図１は、この出願の一実施形態による点群コーディングシステムの概略ブロック図である。用語「点群コーディング」又は「コーディング」は、一般に、点群符号化又は点群復号を指すことがある。図１を参照すると、点群コーディングシステムは、ソース装置１０、宛先装置２０、リンク３０、及び記憶装置４０を含む。ソース装置１０は、符号化された点群データを生成することができる。したがって、ソース装置１０は、点群符号化装置とも呼ばれることがある。宛先装置２０は、ソース装置１０によって生成された符号化された点群データを復号することができる。したがって、宛先装置２０は、点群復号装置とも呼ばれることがある。リンク３０は、ソース装置１０によって生成された符号化された点群データを受信することができ、符号化された点群データを宛先装置２０に送信することができる。記憶装置４０は、ソース装置１０によって生成された符号化された点群データを受信することができ、符号化された点群データを記憶することができる。このようにして、宛先装置２０は、記憶装置４０から符号化された点群データを直接取得することができる。代替的には、記憶装置４０は、ソース装置１０によって生成された符号化された点群データを記憶することができるファイルサーバ又は別の中間記憶装置に対応することができる。このようにして、宛先装置２０は、記憶装置４０に記憶された符号化された点群データをストリーミング又はダウンロードすることができる。

【0107】

ソース装置１０と宛先装置２０の両方は、１つ以上のプロセッサと、１つ以上のプロセッサに結合されたメモリとを含むことができる。メモリは、ランダム・アクセス・メモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、リード・オンリー・メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、電気的に消去可能なプログラマブル・リード・オンリー・メモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＥＥＰＲＯＭ）、フラッシュメモリ、必要なプログラムコードをコンピュータがアクセス可能な命令又はデータ構造の形式で記憶するように構成され得る任意の他の媒体などを含むことができる。例えば、ソース装置１０及び宛先装置２０の両方は、デスクトップコンピュータ、モバイルコンピューティング装置、ノートブック（例えば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ヘッドセット、テレビジョンセット、カメラ、ディスプレイ装置、デジタルメディアプレーヤ、ビデオゲームコンソール、車載コンピュータなどを含むことができる。

【0108】

リンク３０は、符号化された点群データをソース装置１０から宛先装置２０へ送信することが可能な１つ以上の媒体又は装置を含むことができる。可能な実装では、リンク３０は、ソース装置１０が符号化された点群データを宛先装置２０にリアルタイムで直接送信することを可能にする１つ以上の通信媒体を含むことができる。この出願のこの実施形態では、ソース装置１０は、通信標準に基づいて符号化された点群データを変調することができる。通信標準は、無線通信プロトコルなどであってもよく、変調された点群データが宛先装置２０に送信されてもよい。１つ以上の通信媒体は、無線及び／又は有線通信媒体を含んでもよく、例えば、１つ以上の通信媒体は、無線周波数（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ、ＲＦ）スペクトル又は１つ以上の物理伝送線を含んでもよい。１つ以上の通信媒体は、パケットベースのネットワークの一部を形成してもよく、パケットベースのネットワークは、ローカルエリアネットワーク、ワイドエリアネットワーク、グローバルネットワーク（例えば、インターネット）などであってもよい。１つ以上の通信媒体は、ルータ、スイッチ、基地局、ソース装置１０から宛先装置２０への通信を容易にする他のデバイスなどを含んでもよい。これは、この出願のこの実施態様で具体的に限定されない。

【0109】

可能な実装では、記憶装置４０は、ソース装置１０によって送信された受信された符号化された点群データを記憶してもよく、宛先装置２０は、記憶装置４０から直接符号化された点群データを取得してもよい。このようにして、記憶装置４０は、複数の分散された、又はローカルにアクセスされたデータ記憶媒体のいずれか１つを含んでもよい。例えば、複数の分散された又はローカルにアクセスされたデータ記憶媒体のいずれか１つは、ハードディスクドライブ、ブルーレイディスク、デジタル多用途ディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ、ＤＶＤ）、コンパクト・ディスク・リードオンリー・メモリ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）、フラッシュメモリ、揮発性若しくは不揮発性メモリ、又は符号化された点群データを記憶するように構成されている任意の他の好適なデジタル記憶媒体であってもよい。

【0110】

可能な実装では、記憶装置４０は、ソース装置１０によって生成された符号化された点群データを記憶することができるファイルサーバ又は別の中間記憶装置に対応してもよく、宛先装置２０は、記憶装置４０に記憶された点群データをストリーミング又はダウンロードしてもよい。ファイルサーバは、符号化された点群データを記憶し、符号化された点群データを宛先装置２０に送信することができる任意のタイプのサーバとしてもよい。可能な実装では、ファイルサーバは、ネットワークサーバ、ファイル転送プロトコル（ｆｉｌｅ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ、ＦＴＰ）サーバ、ネットワーク接続記憶装置（ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ、ＮＡＳ）、ローカルディスクドライブなどを含むことができる。宛先装置２０は、任意の標準データ接続（インターネット接続を含む）を使用して符号化された点群データを取得することができる。任意の標準データ接続は、無線チャネル（例えば、Ｗｉ－Ｆｉ接続）、有線接続（例えば、デジタル加入者回線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ、ＤＳＬ）又はケーブルモデム）、又はファイルサーバに記憶された符号化された点群データを取得するように適合された無線チャネルと有線接続の組み合わせを含むことができる。記憶装置４０からの符号化された点群データの伝送は、ストリーミング伝送、ダウンロード伝送、又はこれら２つの組み合わせとすることができる。

【0111】

図１に示す点群コーディングシステムは、可能な実装にすぎない。さらに、図１に示す点群データを符号化するためのソース装置１０及び符号化された点群データを復号するための宛先装置２０に適用されることに加えて、この出願における技術は、点群を符号化し、符号化された点群データを復号することができる別の装置にも適用されてもよい。これは、この出願のこの実施態様で具体的に限定されない。

【0112】

図１に示す点群コーディングシステムでは、ソース装置１０は、データソース１２０と、符号化器１００と、出力インターフェース１４０とを含む。いくつかの実施形態では、出力インターフェース１４０は、変調器／復調器（モデム）及び／又は送信器を含んでもよく、送信器は、トランスミッタとも呼ばれることもある。データソース１２０は、点群捕捉装置（例えば、カメラ）、以前に捕捉された点群データを含む点群アーカイブ、点群コンテンツプロバイダから点群データを受信するための点群フィードインインターフェース、及び／又は点群データを生成するためのコンピュータグラフィックスシステム、又はこれらの点群データのソースの組み合わせを含むことができる。

【0113】

データソース１２０は、符号化器１００に点群を送信することができ、符号化器１００は、データソース１２０から送信された受信された点群を符号化して、符号化された点群データを取得することができる。符号化器は、符号化された点群データを出力インターフェースに送信することができる。いくつかの実施形態では、ソース装置１０は、符号化された点群データを出力インターフェース１４０を介して宛先装置２０に直接送信する。別の実施形態では、符号化された点群データは、宛先装置２０のために記憶装置４０にさらに記憶され、その後、復号及び／又は再生のために取得することができる。

【0114】

図１の実施形態では、宛先装置２０は、入力インターフェース２４０、復号器２００、及びディスプレイ装置２２０を含む。いくつかの実施形態では、入力インターフェース２４０は、受信機及び／又はモデムを含む。入力インターフェース２４０は、リンク３０を介して及び／又は記憶装置４０から符号化された点群データを受信し、次いで、符号化された点群データを復号器２００に送信することができる。復号器２００は、受信された符号化された点群データを復号して、復号された点群データを復号することができる。復号器は、復号された点群データをディスプレイ装置２２０に送信することができる。ディスプレイ装置２２０は、宛先装置２０と一体化されてもよく、又は宛先装置２０の外部にあってもよい。一般に、ディスプレイ装置２２０は、復号された点群データを表示する。ディスプレイ装置２２０は、複数のタイプのいずれか１つのディスプレイ装置とすることができる。例えば、ディスプレイ装置２２０は、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、有機ＥＬ）ディスプレイ、又は別のタイプのディスプレイ装置であってもよい。

【0115】

図１には示していないが、態様によっては、符号化器１００及び復号器２００は、それぞれ、オーディオ符号化器及びオーディオ復号器と一体化されてもよく、共有データストリーム又は別個のデータストリームにおけるオーディオ及びビデオの両方を符号化または復号するための適切なマルチプレクサ・デマルチプレクサ（ｍｕｌｔｉｐｌｅｘｅｒ－ｄｅｍｕｌｔｉｐｌｅｘｅｒ、ＭＵＸ－ＤＥＭＵＸ）ユニット又は他のハードウェア及びソフトウェアを含んでもよい。いくつかの実施形態において、適用可能であれば、ＭＵＸ－ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ｕｓｅｒ ｄａｔａｇｒａｍ ｐｒｏｔｏｃｏｌ、ＵＤＰ）などの別のプロトコルに準拠してもよい。

【0116】

符号化器１００及び復号器２００は、各々、以下の回路のうちのいずれか１つであってもよい。すなわち、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、個別論理、ハードウェア、又はそれらの任意の組み合わせである。この出願がソフトウェアによって部分的に実装される場合、装置は、ソフトウェアのために使用される命令を適切な不揮発性コンピュータ可読記憶媒体に記憶し、この出願で技術を実装するためにハードウェアで命令を実行するために１つ以上のプロセッサを使用することができる。前述のコンテンツ（ハードウェア、ソフトウェア、及びハードウェアとソフトウェアの組み合わせを含む）のいずれも、１つ以上のプロセッサと見なされてもよい。符号化器１００及び復号器２００の各々は、１つ以上の符号化器又は復号器に含まれてもよく、符号化器又は復号器のいずれか１つは、対応する装置内の組み合わされた符号化器／復号器（ｃｏｄｅｃ）の一部として一体化されてもよい。

【0117】

この出願において、符号化器１００が、一般に、別の装置、例えば、復号器２００へ情報を「シグナリング」又は「送信する」と呼ばれることがある。用語「シグナリング」又は「送信する」は、一般に、圧縮された点群データ及び／又は他のデータを復号するために使用される構文要素の伝送を指すことがある。このような伝送は、リアルタイム又はほぼリアルタイムで発生してもよい。代替的には、そのような通信は、一定の時間の後に発生してもよく、例えば、符号化されたビットストリームにおける構文要素が、符号化中、コンピュータ可読記憶媒体に記憶されるときに発生してもよく、次いで、復号装置は、その構文要素が媒体に記憶された後の任意の時点で、その構文要素を検索することができる。

【0118】

図２は、この出願の一実施形態による符号化器１００の概略ブロック図である。図２は、ＭＰＥＧ （ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔ ｇｒｏｕｐ）点群圧縮（ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ、ＰＣＣ）符号化フレームワークの一例を使用して説明される。図２を参照すると、符号化器１００は、点群パッチ情報生成モジュール１０１、パッキングモジュール１０２、深度マップ生成モジュール１０３、テクスチャマップ生成モジュール１０４、深度マップ充填モジュール１０５、テクスチャマップ充填モジュール１０６、画像ベース又はビデオベースの符号化モジュール１０７、占有マップ符号化モジュール１０８、補助情報符号化モジュール１０９、多重化モジュール１１０、点群占有マップダウンサンプリングモジュール１１１、点群占有マップ充填モジュール１１２、点群再構築モジュール１１３、及び点群フィルタリングモジュール１１４を含むことができる。

【0119】

点群パッチ情報生成モジュール１０１は、データソース１２０によって送信された１つ以上の点群グループを受信することができる。各点群グループは、１フレームの点群又は複数フレームの点群を含むことができる。簡単に説明するために、以下の説明の一例として、現在の点群グループにおける現在の点群フレームが使用される。点群パッチ情報生成モジュール１０１は、３次元空間座標系における現在の点群フレームに含まれる各点の３次元座標、及び３次元空間における各点の法線方向ベクトルを判定し、３次元空間における各点の判定された法線方向ベクトルと、所定の投影面とに基づいて、現在の点群フレームを複数のパッチ（ｐａｔｃｈ）に分割することができる。各パッチは、現在の点群フレームにおける１つ以上の点を含む。点群パッチ情報生成モジュール１０１は、さらに、各パッチの占有マップ及び各パッチの深度マップを判定してもよい。点群パッチ情報生成モジュール１０１は、各パッチの３次元情報及び各パッチの法線座標軸情報をさらに判定することができる。この情報は、各パッチの補助情報として使用され得る。追加的に、点群パッチ情報生成モジュール１０１は、パッチを、それぞれ、第１のタイプのパッチ、第２のタイプのパッチ、及び第３のタイプのパッチの３つのタイプに分類してもよい。第１のインデックスは、各パッチのタイプを示すために使用される。点群パッチ情報生成モジュール１０１は、現在の点群フレームにおける各パッチの第１のインデックス及び各パッチの補助情報を、符号化のために補助情報符号化モジュール１０９に送信することができ、これは、圧縮符号化とも呼ばれる。各パッチの３次元情報は、接線方向に沿った３Ｄ空間における符号化対象パッチのシフト、バイタンジェント方向に沿った３Ｄ空間における符号化対象パッチのシフト、及び法線方向に沿った３Ｄ空間における符号化対象パッチのシフトを含むことができる。点群パッチ情報生成モジュール１０１は、さらに、各パッチの占有マップ及び各パッチの補助情報をパッキングモジュール１０２に送信することができる。追加的に、点群パッチ情報生成モジュール１０１は、さらに、各パッチの深度マップを深度マップ生成モジュール１０３に送信することができる。

【0120】

パッキングモジュール１０２は、点群パッチ情報生成モジュール１０１によって送信された各パッチの受信された占有マップ及び各パッチの補助情報をパッキングして、現在の点群フレームの占有マップを取得することができる。具体的には、パッキングモジュール１０２は、特定の順序、例えば、全てのパッチの占有マップの幅／高さの降順（又は昇順）で全てのパッチの占有マップを配置し、次いで、全てのパッチの占有マップを、全てのパッチの配置された占有マップの順序に基づいて、現在の点群フレームの占有マップの利用可能な領域に順次挿入し、現在の点群フレームの占有マップ及びパッチのパッキング情報を取得することができる。パッキングモジュール１０２は、圧縮符号化のために、現在の点群フレームの占有マップ及びパッチのパッキング情報を補助情報符号化モジュール１０９に送信することができる。パッチのパッキング情報は、現在の点群フレームの占有マップにおける各パッチの２次元情報、各パッチの参照パッチのインデックス情報、各パッチの回転変換情報、及び現在の点群フレームの参照フレームのインデックスを含むことができる。現在の点群フレームの占有マップにおける各パッチの２次元情報は、各パッチの２次元情報と呼ばれることある。各パッチの２次元情報は、ｕ軸方向に沿った現在の点群フレームの占有マップにおけるパッチのシフト、ｖ軸方向に沿った現在の点群フレームの占有マップにおけるパッチのシフト、現在の点群フレームの占有マップにおけるパッチの幅、及び現在の点群フレームの占有マップにおけるパッチの高さを含むことができる。追加的に、パッキングモジュール１０２は、パッチのパッキング情報を、深度マップ生成モジュール１０３及び点群占有マップダウンサンプリングモジュール１１１にさらに送信することができる。

【0121】

なお、この出願の技術に関与する点群、点群のパッチ、及び点群の占有マップをより直感的に理解するために、図３、図４、及び図５を参照すると、図３は、この出願の実施形態に適用可能な点群のフレームの概略図であり、図４は、点群のフレームのパッチの概略図であり、図５は、図４に示す点群のフレームの各パッチの占有マップをパッキングすることによってパッキングモジュール１０２によって取得された点群のフレームの占有マップの概略図である。図３に示す点群は、本出願のこの実施形態における現在の点群フレームであってもよい。図４に示す点群のパッチは、この出願のこの実施形態における現在の点群フレームのパッチであってもよい。図５に示す点群の占有マップは、この出願のこの実施形態における現在の点群フレームの占有マップであってもよい。

【0122】

パッキングモジュール１０２によって送信された現在の点群フレームの占有マップ及びパッチのパッキング情報、並びに点群パッチ情報生成モジュール１０１によって送信された各パッチの第１のインデックス及び各パッチの補助情報を受信した後、補助情報符号化モジュール１０９は、現在の点群フレーム及び現在の点群フレームに含まれる各パッチを符号化して、符号化された補助情報を含むビットストリームを取得し、符号化された補助情報を含む取得されたビットストリームを多重化モジュール１１０に送信することができる。パッチのパッキング情報における各パッチの２次元情報及び各パッチの参照パッチのインデックス情報は、各パッチの補助情報とも呼ばれることがある。

【0123】

パッキングモジュール１０２によって送信されたパッチのパッキング情報と、点群パッチ情報生成モジュール１０１によって送信された各パッチの深度マップを受信した後、深度マップ生成モジュール１０３は、各パッチのパッキング情報及び各パッチの深度マップに基づいて現在の点群フレームの深度マップを生成し、生成された現在の点群フレームの深度マップを深度マップ充填モジュール１０５に送信し、現在の点群フレームの深度マップにおいて空のピクセルを充填し、現在の点群フレームの充填された深度マップを取得することができる。深度マップ充填モジュール１０５は、取得された現在の点群フレームの充填された深度マップをピクチャベース又はビデオベースの符号化モジュール１０７に送信し、現在の点群フレームの充填された深度マップ上でピクチャベース又はビデオベースの符号化を実行して、現在の点群の再構築された深度マップ、及び現在の点群フレームの符号化された深度マップを含むビットストリームを取得するようにし、得られた現在の点群フレームの再構築された深度マップを点群再構築モジュール１１３に送信し、現在の点群フレームの符号化された深度マップを含むビットストリームを多重化モジュール１１０に送信することができる。

【0124】

点群占有マップダウンサンプリングモジュール１１１は、パッキングモジュール１０２によって送信された現在の点群フレームの受信された占有マップにダウンサンプリング処理を実行して、現在の点群フレームの低解像度占有マップを取得することができる。次いで、点群占有マップダウンサンプリングモジュール１１１は、現在の点群・フレームの低解像度占有マップを占有マップ符号化モジュール１０８及び点群占有マップ充填モジュール１１２にさらに送信することができる。占有マップ符号化モジュール１０８は、受信された現在の点群フレームの低解像度占有マップを符号化して、現在の点群フレームの符号化された低解像度占有マップを含むビットストリームを取得することができ、占有マップ符号化モジュール１０８は、現在の点群フレームの符号化された低解像度占有マップを含むビットストリームを多重化モジュール１１０にさらに送信することができる。点群占有マップ充填モジュール１１２は、現在の点群フレームの受信された低解像度占有マップに基づいて、現在の点群フレームの元の解像度占有マップを充填して、現在の点群フレームの充填された占有マップを取得し、現在の点群フレームの充填された占有マップは、元の解像度を有する。

【0125】

点群再構築モジュール１１３は、点群占有マップ充填モジュール１１２によって送信された、受信された充填された現在の点群フレームの占有マップ、ピクチャベース又はビデオベースの符号化モジュール１０７によって送信された再構築された現在の点群フレームの深度マップ、パッチのパッキング情報、及びパッチの補助情報に基づいて、現在の点群フレームの幾何形状を再構築して、再構築された点群を出力するようにすることができる。追加的に、点群再構築モジュール１１３は、再構築された点群における再構築された点とパッチとの間の対応と、再構築された点群における再構築された点のパッキング位置をさらに出力してもよい。点群再構築モジュール１１３は、再構築された点群、及び再構築された点群における再構築された点とパッチとの間の対応を点群フィルタリングモジュール１１４に送信することができ、点群再構築モジュール１１３は、再構築された点群における再構築された点のパッキング位置をテクスチャ生成モジュール１０４にさらに送信することができる。

【0126】

点群再構築モジュール１１３によって送信された、再構築された点群、及び再構築された点群における再構築された点とパッチとの間の対応を受信した後、点群フィルタリングモジュール１１４は、再構築された点群をフィルタリングすることができる。具体的には、再構築された点群における明白なノイズ点及び縫い目のような欠陥を除去して、フィルタリングされた再構築された点群を取得することができ、これは、平滑化された再構築された点群とも呼ばれることがある。代替的には、点群フィルタリングモジュール１１４は、再構築された点群に平滑化処理を実行してもよい。

【0127】

点群フィルタリングモジュール１１４によって送信された平滑化された再構築された点群、点群再構築モジュール１１３によって送信された再構築された点群における再構築点のパッキング位置、及びデータソース１２０によって送信された現在の点群フレームを受信した後、テクスチャマップ生成モジュール１０４は、平滑化された再構築された点群に基づいて現在の点群フレームのテクスチャマップ、再構築された点群における再構築された点のパッキング位置、及び現在の点群フレームを生成してもよく、生成された現在の点群フレームのテクスチャマップをテクスチャマップ充填モジュール１０６に送信して、現在の点群フレームのテクスチャマップにおける空のピクセルを充填して、充填された現在の点群フレームのテクスチャマップを取得することができる。テクスチャマップ充填モジュール１０６は、取得された充填された現在の点群フレームのテクスチャマップをピクチャベース又はビデオベースの符号化モジュール１０７に送信して、充填された現在の点群フレームのテクスチャマップにピクチャベース又はビデオベースの符号化を実行して、再構築された現在の点群フレームのテクスチャマップを含むビットストリームを取得するようにすることができる。ピクチャベース又はビデオベースの符号化モジュール１０７は、現在の点群フレームの再構築されたテクスチャマップを含む取得されたビットストリームを多重化モジュール１１０にさらに送信することができる。

【0128】

前述の説明に基づいて、ピクチャベース又はビデオベースの符号化モジュール１０７、占有マップ符号化モジュール１０８、及び補助情報符号化モジュール１０９は、取得されたビットストリームを多重化モジュール１１０に送信することができ、多重化モジュール１１０は、これらの受信されたビットストリームを結合されたビットストリームに結合し、結合されたビットストリームを出力インターフェース１４０に送信することができる。出力インターフェース１４０は、結合されたビットストリームを復号器２００に送信してもよい。

【0129】

図２に示す符号化器１００は、この出願の単なる一実施形態であると理解されたい。具体的な実装では、符号化器１００は、図２に示すモジュールよりも多くの、又は少ないモジュールを含んでもよい。これは、この出願のこの実施態様で具体的に限定されない。

【0130】

図６は、この出願の一実施形態による復号器２００の概略ブロック図である。図６は、ＭＰＥＧ ＰＣＣ復号フレームワークの一例を使用して説明される。図６を参照すると、復号器２００は、逆多重化モジュール２０１、ピクチャベース又はビデオベースの復号モジュール２０２、占有マップ復号モジュール２０３、補助情報復号モジュール２０４、点群占有マップ充填モジュール２０５、点群形状情報再構築モジュール２０６、点群フィルタリングモジュール２０７、及び点群テクスチャ情報再構築モジュール２０８を含んでもよい。

【0131】

逆多重化モジュール２０１は、入力インターフェース２０４を介して、符号化器１００の出力インターフェース１４０によって送信された結合されたビットストリームを受信し、結合されたビットストリームを対応する復号モジュールに送信することができる。具体的には、逆多重化モジュール２０１は、符号化された現在の点群フレームのテクスチャマップを含むビットストリーム、及び符号化された現在の点群フレームの深度マップを含むビットストリームをピクチャベース又はビデオベースの復号モジュール２０２に送信し、符号化された現在の点群フレームの低解像度占有マップを含むビットストリームを占有マップ復号モジュール２０３に送信し、符号化された補助情報を含むビットストリームを補助情報復号モジュール２０４に送信する。

【0132】

ピクチャベース又はビデオベースの復号モジュール２０２は、符号化された現在の点群フレームのテクスチャマップを含む受信されたビットストリーム、及び符号化された現在の点群フレームの深度マップを含むビットストリームを復号して、再構築された現在の点群フレームのテクスチャマップ情報及び再構築された現在の点群フレームの深度マップ情報を取得し、再構築された現在の点群フレームのテクスチャマップ情報を点群テクスチャ情報再構築モジュール２０８に送信し、再構築された現在の点群フレームの深度マップ情報を点群形状情報再構築モジュール２０６に送信することができる。占有マップ復号モジュール２０３は、符号化された現在の点群フレームの低解像度占有マップ情報を含む受信されたビットストリームを復号して、再構築された現在の点群フレームの低解像度占有マップを取得し、再構築された現在の点群フレームの低解像度占有マップ情報を点群充填モジュール２０５に送信することができる。点群占有マップ充填モジュール２０５は、再構築された現在の点群フレームの低解像度占有マップ情報に基づいて、再構築された現在の点群フレームの元の解像度占有マップ情報を取得し、次いで、再構築された現在の点群フレームの元の解像度占有マップ情報を点群形状情報再構築モジュール２０６に送信することができる。説明を簡単にするために、再構築された現在の点群フレームの元の解像度占有マップ情報は、以後、再構築された現在の点群フレームの占有マップ情報と総称される。

【0133】

補助情報復号モジュール２０４は、補助情報を取得するために符号化された補助情報を含む受信されたビットストリームを復号してもよく、補助情報を点群形状情報再構築モジュール２０６に送信することができる。具体的な復号方法が、以後の実施形態で説明される。

【0134】

点群形状情報再構築モジュール２０６は、ピクチャベース又はビ度ベースの復号モジュール２０２によって送信された現在の点群フレームの受信された再構築された深度マップ情報、点群占有マップ充填モジュール２０５によって送信された現在の点群フレームの再構築された占有マップ情報、及び補助情報復号モジュール２０４によって送信された補助情報に基づいて、現在の点群の幾何形状を再構築して、再構築された点群を取得するようにすることができる。再構築された点群は、符号化器１００における点群再構築モジュール１１３によって取得された再構築された点群に類似する。具体的な再構築プロセスについては、符号化器１００における点群再構築モジュール１１２の再構築プロセスを参照のこと。詳細は、ここでは再度説明しない。点群形状情報再構築モジュール２０６は、再構築された点群を点群フィルタリングモジュール２０７にさらに送信することができる。点群フィルタリングモジュール２０７は、受信された再構築された点群に基づいて再構築された点群をフィルタリングして、平滑化された再構築点群を取得することができる。具体的なフィルタリングプロセスについては、符号化器１００における点群フィルタリングモジュール１１４のフィルタリングプロセスを参照のこと。詳細は、ここでは再度説明しない。点群フィルタリングモジュール２０７は、平滑化された再構築された点群を点群テクスチャ情報再構築モジュール２０８に送信することができる。点群フィルタリングモジュール２０７によって送信された平滑化された再構築された点群、及びピクチャベース又はビデオベースの復号モジュール２０２によって送信された現在の点群フレームの再構築されたテクスチャマップ情報を受信した後、点群テクスチャ情報再構築モジュール２０８は、再構築された点群のテクスチャ情報を再構築して、再構築されたテクスチャ情報を有する再構築された点群を取得することができる。

【0135】

図６に示す復号器２００は、単なる一例であると理解されたい。特定の実装では、復号器２００は、図６に示すものよりも多くの、又は少ないモジュールを含んでもよい。これは、この出願のこの実施形態で限定されない。

【0136】

理解を簡単にするために、この出願の実施態様に関与する技術用語を最初に説明する。

【0137】

一例では、現在の点群グループはフレームのグループ（ｇｒｏｕｐ ｏｆ ｆｒａｍｅ、ＧＯＦ）であってもよく、１つのフレームのグループは３２の点群のフレームを含むことができ、換言すれば、現在の点群グループは３２の点群のフレームを含むことができる。確かに、現在の点群グループに含まれる点群のフレームの数は、代替的に、別の値であってもよく、これは、この出願のこの実施形態では制限されない。一例では、１つのフレームのグループは、さらに複数のサブグループに分割してもよく、各サブグループは、１つの点群のフレーム又は複数の点群のフレームを含んでもよく、現在の点群グループは、複数のサブグループにおける任意のサブグループであってもよい。例えば、図７は、この出願の一実施形態によるフレームのグループの概略図である。図７に示すように、１つのフレームのグループは、１０のサブグループに分割することができ、第１のサブグループは、第１、第２、及び第３の点群のフレームを含み、第２のサブグループは、第４の点群のフレームを含み、第３のサブグループは、第５、第６、第７、及び第８の点群のフレームを含み、…第１０のサブグループは、第３０、第３１、及び第３２の点群のフレームを含む。現在の点群グループは、１０のサブグループのうちの任意のサブグループであってもよい。図７においては、一例として、第１のサブグループ、第２のサブグループ、第３のサブグループ、第１０のサブグループに含まれる点群のみを表しており、他のサブグループに含まれる点群は具体的には説明されていない。結論として、現在の点群グループはフレームのグループであってもよいし、現在の点群はフレームのグループのサブグループであってもよい。確かに、現在の点群グループは、カスタマイズされた点群グループのような別の形式の点群グループであってもよい。これは、この出願のこの実施形態で限定されない。

【0138】

前述の説明から、パッチは、第１のタイプのパッチ、第２のタイプのパッチ、第３のタイプのパッチの３つのタイプに分類されてもよい。例えば、パッチは、現在の点群グループにおけるパッチの一致状況に基づいて、グローバルに一致するパッチ（ＳＫＩＰ＿ｐａｔｃｈ）、ローカルに一致するパッチ（ｌｏｃａｌ＿ｐａｔｃｈ）、及び一致しないパッチ（Ｉ＿ＩＮＴＲＡ又はＰ＿ＩＮＴＲＡ）にも分類されてもよい。換言すると、第１のタイプのパッチはグローバル一致パッチであってもよいし、第２のタイプのパッチはローカル一致パッチであってもよいし、第３のタイプのパッチは一致しないパッチであってもよい。簡単に説明するために、符号化対象パッチを一例として、３つタイプのパッチを説明する。符号化対象パッチは、現在の点群フレームにおける任意のパッチであり、現在の点群フレームは、現在の点群グループにおける任意の点群のフレームであると理解されたい。符号化対象パッチが第１のタイプのパッチであるときに、符号化対象パッチと一致する関係を有するパッチが、現在の点群グループにおけるすべての点群フレームに存在し、符号化対象パッチは、グローバル一致パッチと呼ばれることがある。符号化対象パッチが第２のタイプのパッチであるときに、符号化対象パッチと一致する関係を有するパッチは、現在の点群フレームの参照フレームにおいて存在するが、符号化対象パッチと一致する関係を有するパッチは、現在の点群グループにおけるいくつかの点群フレームにおいてのみ存在し、符号化対象パッチは、ローカル一致パッチと呼ばれることがある。符号化対象パッチが第３のタイプのパッチであるときに、符号化対象パッチと一致する関係を有するパッチは、現在の点群グループのどの点群フレームにおいても存在せず、符号化対象パッチは、一致しないパッチと呼ばれることがある。

【0139】

可能な実装では、図８を参照すると、現在の点群フレームの参照フレームは、現在の点群グループに位置してもよい。例えば、現在の点群フレームの参照フレームは、現在の点群フレームの前の点群フレームであってもよい。追加的に、現在の点群のすべての点群に含まれるパッチを、第１のタイプのパッチ、第２のタイプのパッチ、第３のタイプのパッチの順に順次配置してもよい。点群の各フレームにおける第１のタイプのパッチの数は、現在の点群グループにおいて同じであり、第１のタイプのパッチの数が１より大きいときに、現在の点群グループにおける点群の各フレームにおける第１のタイプのパッチは、同じ順序で順次配置されてもよい。換言すれば、点群のすべてのフレームにおいて、同じ位置にある第１のタイプのパッチ間に一致関係がある。たとえば、点群のすべてのフレームにおけるｗ番目の第１のタイプのパッチは、互いに一致する関係にあり、ｗは、第１のタイプのパッチの数以下である。

【0140】

一般に、現在の点群フレームの占有マップにおける第１のタイプのパッチの２次元情報、回転変換情報、及び法線座標軸情報は同じであるが、その３次元情報は異なる。しかし、場合によっては、代替的には、第１のタイプのパッチの２次元情報が異なることもあるし、代替的には、その３次元情報が同じであることもある。換言すれば、第１のタイプのパッチの回転変換情報及び法線座標軸情報とは同じであることもあるし、その２次元情報及び３次元情報は同じであることもあるし、異なることもある。このように、２次元情報と３次元情報に対して３つの場合がある。説明を簡単にするために、次に、符号化対象パッチが説明のための一例として使用される。第１の可能性のある場合において、符号化対象パッチが第１のタイプのパッチであるときに、符号化対象パッチの参照パッチの２次元情報は、符号化対象パッチの２次元情報と同じであり、符号化対象パッチの参照パッチの３次元情報は、符号化対象パッチの３次元情報と同じである。第２の可能性のある場合において、符号化対象パッチが第１のタイプのパッチであるときに、符号化対象パッチの参照パッチの２次元情報は、符号化対象パッチの２次元情報と同じであり、符号化対象パッチの参照パッチの３次元情報は、符号化対象パッチの３次元情報と異なる。第３の可能性のある場合において、符号化対象パッチが第１のタイプのパッチであるときに、符号化対象パッチの参照パッチの２次元情報は、符号化対象パッチの２次元情報と異なり、符号化対象パッチの参照パッチの３次元情報は、符号化対象パッチの３次元情報と異なる。

【0141】

現在の点群グループにおける全ての点群に含まれるパッチが図８に示す方式で配置されるときに、符号化対象パッチの参照パッチは、復号対象パッチが位置する現在の点群フレームの参照フレームにおける同じ位置にあるパッチであってもよい。例えば、復号対象パッチが現在の点群フレームにおける第３の位置にある場合、現在の点群フレームの参照フレームにおける第３のパッチは復号対象パッチの参照パッチである。

【0142】

回転変換情報は、回転角度情報、座標軸変換情報、又は画像変換情報であってもよい。回転角度情報は、特定の回転角度値又は回転角度インデックスを含む。例えば、符号化対象パッチの回転角度値が０である場合、それは、符号化対象パッチが回転しないことを示す。符号化対象パッチの回転角度値が２０である場合、それは、符号化対象パッチが２０°回転することを示す。符号化対象パッチの回転角度値が８０である場合、それは、符号化対象パッチが８０°回転することを示す。別の例では、符号化対象パッチの回転角度インデックスが０である場合、それは、符号化対象パッチが回転しないことを示す。符号化対象パッチの回転角度インデックスが１である場合、それは、符号化対象パッチが１５°回転することを示す。符号化対象パッチの回転角度インデックスが２である場合、それは、符号化対象パッチが３０°回転することを示す。符号化対象パッチの回転角度インデックスが３である場合、それは、符号化対象パッチが４５°回転することを示す。回転角度情報は、代替的には、本明細書に具体的に限定されない別の形式で表わされてもよい。例えば、マトリックス形式が、代替的には説明のために使用されてもよい。特に、加速処理をＧＰＵ （Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ， Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で実行するときに、行列形式を使用して処理速度を上げる。

【0143】

符号化対象パッチの回転は、時計回りの回転であってもよいし、反時計回りの回転であってもよいことに留意されたい。

【0144】

回転変換情報が座標軸スワップ情報である場合、座標軸スワップ情報は、座標軸スワップフラグとして表わされてもよい。例えば、座標軸スワップフラグが偽又は０であるときに、符号化対象パッチの接線座標軸と符号化対象パッチのバイタンジェント座標軸とがスワップされないことを示す。例えば、座標軸スワップフラグが真又は１の場合、符号化対象パッチの接線座標軸と符号化対象パッチのビット座標軸とがスワップされる。例えば、符号化対象パッチの座標軸インデックスは、０、１又は２であってもよい。Ｘ軸のインデックスを０、Ｙ軸のインデックスを１、Ｚ軸のインデックスを２と想定する。次いで、符号化対象パッチの接線座標軸インデックス、及び符号化対象パッチのバイタンジェント座標軸インデックスは、０、１、及び２のうちの任意の２つとすることができる。一般に、パッチの接線座標軸はＵ軸と呼ばれることがあり、パッチのバイタンジェント座標軸はＶ軸と呼ばれることがある。取得された現在のパッチの接線座標軸インデックスと、取得された符号化対象パッチのバイタンジェント座標軸インデックスは、それぞれ０及び２であると想定する。座標軸スワップフラグが偽又は０である場合、符号化対象パッチの接線座標軸インデックスと符号化対象パッチのバイタンジェント座標軸インデックスとがスワップされない。座標軸スワップフラグが真又は１である場合、符号化対象パッチの接線座標軸インデックスと符号化対象パッチのバイタンジェント座標軸インデックスとがスワップされ、換言すれば、符号化対象パッチの接線座標軸インデックスが２に更新され、符号化対象パッチのバイタンジェント座標軸インデックスが０に更新される。

【0145】

次に、この出願の実施形態で提供される第１の点群符号化方法を説明する。図１に示す点群コーディングシステム及び図２に示す符号化器１００の概略ブロック図を参照すると、以下の任意の点群符号化方法は、点群コーディングシステムにおける符号化器１００によって実行されてもよく、より具体的には、符号化器１００における補助情報符号化モジュール１０９によって実行されてもよいことに留意されたい。

【0146】

図９は、この出願の一実施形態による点群符号化方法のフローチャートである。この方法は、点群コーディングシステムに適用される。図９を参照すると、本方法は、以下のステップを含む。

【0147】

Ｓ９０１．符号化対象パッチの補助情報を取得する。

【0148】

符号化対象パッチは、符号化対象の現在の点群フレームに含まれる任意のパッチであってもよいことに留意されたい。

【0149】

Ｓ９０２．符号化対象パッチの補助情報及び符号化対象パッチの第１のインデックスをビットストリームに符号化する。

【0150】

第１のインデックスは、符号化対象パッチのタイプを示すことができる。第１のインデックスの構文要素は、ｐａｔｃｈ＿ｍｏｄｅ、ｐａｔｃｈ＿ｔｙｐｅなどとすることができる。第１のインデックスの値が異なるときに、符号化対象パッチのタイプは異なる。

【0151】

第１のインデックスが第１の値であるときに、それは、符号化対象パッチが第１のタイプのパッチであることを示してもよく、ビットストリームに符号化される符号化対象パッチの補助情報は、３次元情報を含むが、２次元情報、回転変換情報、及び通常の座標軸情報を含まず、及び／又は、第１のインデックスが第２の値であるときに、それは、符号化対象パッチが第２のタイプのパッチであることを示してもよく、ビットストリームに符号化される符号化対象パッチの補助情報は、２次元情報、３次元情報、及び、符号化対象パッチの参照パッチのインデックス情報を含むが、回転変換情報、及び、法線座標軸情報を含まず、及び／又は、第１のインデックスが第３の値であるときに、それは、符号化対象パッチが第３のタイプのパッチであることを示してもよく、ビットストリームに符号化される符号化対象パッチの補助情報は、２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む。

【0152】

一般に、現在の点群グループにおける全ての点群において第１のタイプのパッチと一致関係を有するパッチが存在し、現在の点群グループにおいて、第１のタイプのパッチの２次元情報、回転変換情報、法線座標軸情報は同じであるが、３次元情報は異なることがある。現在の点群グループにおける全ての点群において第２のタイプのパッチと一致関係を有するパッチが存在し、第２のタイプのパッチの回転変換情報及び法線座標軸情報並びに第２のタイプのパッチの参照パッチは同じであるが、２次元情報及び３次元情報は異なることがある。現在の点群フレームの参照フレームにおいて、第３のタイプのパッチと一致関係を有するパッチは存在しない。したがって、ビットストリームのビットオーバヘッドを低減し、符号化効率をさらに改善するために、第１のインデックスが第１の値であるときに、符号化対象パッチの補助情報は、３次元情報を含むことができるが、２次元情報、回転変換情報、及び法線座標軸情報を含まない。第１のインデックスが第２の値であるときに、符号化対象パッチの補助情報は、２次元情報、３次元情報、及び符号化対象パッチの参照パッチのインデックス情報を含むことができるが、回転変換情報及び法線座標軸情報を含まない。第１のインデックスが第３の値であるときに、符号化対象パッチの補助情報は、２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含んでもよい。

【0153】

符号化対象パッチの３次元情報は、接線方向に沿った３次元空間内の符号化対象パッチのシフト（３ｄ＿ｓｈｉｆｔ＿ｔａｎｇｅｎｔ＿ａｘｉｓ）、バイタンジェント方向に沿った３次元空間内の符号化対象パッチのシフト（３ｄ＿ｓｈｉｆｔ＿ｂｉｔａｎｇｅｎｔ＿ａｘｉｓ）、及び法線方向に沿った３次元空間内の符号化対象パッチのシフト（３ｄ＿ｓｈｉｆｔ＿ｎｏｒｍａｌ＿ａｘｉｓ）を含み得ることに留意されたい。符号化対象パッチの２次元情報は、Ｕ軸方向に沿った現在の点群フレームの占有マップ内の符号化対象パッチのシフト（２ｄ＿ｓｈｉｆｔ＿ｕ）、Ｖ軸方向に沿った現在の点群フレームの占有マップ内の符号化対象パッチのシフト（２ｄ＿ｓｈｉｆｔ＿ｖ）、現在の点群フレームの占有マップ内の符号化対象パッチの幅（２ｄ＿ｓｉｚｅ＿ｕ）、及び現在の点群フレームの占有マップ内の符号化対象パッチの高さ（２ｄ＿ｓｉｚｅ＿ｖ）を含み得る。追加的に、符号化対象パッチの参照パッチの構文要素は、参照パッチのインデックス情報を示すために使用されるｐａｔｃｈＩｎｄｅｘであってもよい。構文要素は、参照パッチが位置する参照フレームのインデックス情報ｆｒａｍｅＩｎｄｅｘをさらに含んでもよい。符号化対象パッチの回転変換情報の構文要素は、回転であってもよい。追加的に、符号化対象パッチの参照パッチのインデックス情報は、符号化対象パッチの参照パッチを示すために使用されてもよい。法線座標軸情報は、符号化対象パッチの法線軸インデックスであってもよく、例えば、法線軸インデックスｎｏｒｍａｌＡｘｉｓは、それぞれ、Ｘ軸、Ｙ軸、又はＺ軸に対して０、１、又は２であってもよい。

【0154】

例えば、第１のインデックスが第１の値であるときに、符号化対象パッチの３次元情報は、符号化対象パッチの参照パッチの３次元情報に基づいてビットストリームに符号化されてもよい。具体的には、符号化対象パッチの３次元情報は、差分符号化方式でビットストリームに符号化されてもよいし、直接ビットストリームに符号化されてもよい。具体的な符号化方式には限定されない。符号化対象パッチの第１のインデックスは、固定長符号化方式でビットストリームに符号化される。第１のインデックスが第２の値であるときに、符号化対象パッチの２次元情報及び３次元情報は、符号化対象パッチの参照パッチの２次元情報及び３次元情報に基づいて、ビットストリームに符号化されてもよい。具体的には、符号化対象パッチの２次元情報及び３次元情報は、差分符号化方式でビットストリームに符号化されてもよいし、符号化対象パッチの２次元情報及び３次元情報は、より正確な予測差分方式でビットストリームに符号化されてもよい。具体的な符号化方式には限定されない。参照パッチのインデックス情報及び符号化対象パッチの第１のインデックスは、固定長符号化方式でビットストリームに符号化される。第１のインデックスが第３の値であるときに、符号化対象パッチの２次元情報、３次元情報、回転変換情報、法線座標軸情報、及び第１のインデックスは、固定長符号化方式でビットストリームに符号化されてもよい。

【0155】

符号化対象パッチの３次元情報を差分符号化方式でビットストリームに符号化することは、符号化対象パッチの３次元情報と、復号対象パッチの参照パッチの３次元情報との間の差分をビットストリーム符号化することを意味する。差分符号化方式で符号化対象パッチの２次元情報及び３次元情報をビットストリームに符号化することは、符号化対象パッチの２次元情報と、復号対象パッチの参照パッチの２次元情報との間の差分、及び、符号化対象パッチの３次元情報と、復号対象パッチの参照パッチの３次元情報との間の差分をビットストリームに符号化することを意味する。

【0156】

実装では、現在の点群フレームにおける複数のパッチの第１のインデックスを一緒にパッキングし、ビットストリームに符号化してもよい。例えば、現在の点群フレームにおける全てのパッチの第１のインデックスは、一緒にパッキングし、ビットストリームに符号化してもよい。別の実装では、現在の点群フレームにおける全てのパッチの第１のインデックスは、別々にパッキングされ、ビットストリームに符号化されてもよい。例えば、符号化対象パッチ［ｉ－１］の第１のインデックス、符号化対象パッチ［ｉ－１］の補助情報、符号化対象パッチ［ｉ］の第１のインデックス、符号化対象パッチ［ｉ］の補助情報、符号化対象パッチ［ｉ＋１］の第１のインデックス、符号化対象パッチ［ｉ＋１］の補助情報が、ビットストリームに順次符号化されてもよい。換言すれば、現在の点群フレームに対して、現在の点群フレームにおける全てのパッチの第１のインデックスは、別々にパッキングされ、ビットストリームに符号化されてもよいし、一緒にパッキングされ、ビットストリームに符号化されてもよい。

【0157】

第１の値、第２の値、及び第３の値は、それぞれ２進数１０、１１、及び００であってもよいし、第１の値、第２の値、及び第３の値は、それぞれ２進数１１、１０、及び００であってもよく、符号化対象パッチの参照パッチが、現在の点群フレームの参照フレームに含まれる。これは、この出願のこの実施形態で限定されない。

【0158】

例えば、この明細書では、符号化対象パッチの第１のインデックスが第１の値であるときに、部分的な構文構造を表１と表２に示す。

【表1】

【表2】

表１のｓｋｉｐ＿ｐａｔｃｈ＿ｄａｔａ＿ｕｎｉｔは、符号化対象パッチの第１のインデックスが第１の値であるときに、ビットストリームに符号化される符号化対象パッチの情報であり、符号化対象パッチのデータユニットと呼ばれることもある。

【0159】

現在の点群フレームが、復号中の現在の点群グループにおける点群の最初のフレームであるかどうかを判定するために、さらに、復号プロセスにおいて現在の点群グループを別の点群グループから区別するために、図１０を参照すると、この出願のこの実施形態では、補助情報符号化モジュール１０９が現在の点群グループにおける点群の最初のフレームを受信した後、現在の点群グループにおける点群の最初のフレームに含まれるすべてのパッチの第１のインデックスが、第３の値に設定されてもよい。このように、現在の点群フレームが現在の点群グループにおける点群の最初のフレームであるときに、現在の点群フレームにおける最初のパッチの第１のインデックスは、第３の値である。現在の点群フレームが現在の点群グループにおける点群の最初のフレームではないときに、現在の点群フレームにおける最初のパッチの第１のインデックスは、第１の値である。換言すれば、符号化対象パッチの第１のインデックスが第３の値であり、符号化対象パッチが現在の点群フレームにおける最初のパッチであるときに、現在の点群フレームが現在の点群グループにおける点群の最初のフレームであると判定され得る。このようにして、現在の点群グループの点群フレームの長さをビットストリームに符号化する必要はなく、それによって符号化効率を改善し、ビットストリームのビットオーバヘッドを低減する。

【0160】

前述の説明に基づき、点群の各フレームにおける第１のタイプのパッチ、第２のタイプのパッチ、及び第３のタイプのパッチは、図８に示す方式で配置され、符号化中に図８に示す順序で符号化されてもよい。しかし、場合によっては、点群の各フレームに含まれるパッチの順序を符号化のためにスクランブルする必要があることがあり、換言すれば、符号化は、図８の順序に基づいてはもはや実行されない。この場合、復号を容易にするために、第１のインデックスが第１の値であるときに、ビットストリームに符号化された符号化対象パッチの補助情報は、符号化対象パッチの参照パッチのインデックス情報をさらに含むことができる。参照パッチのインデックス情報は、符号化対象パッチの参照フレームにおける符号化対象パッチの参照パッチを一意に識別するために使用される。例えば、参照パッチのインデックス情報は、参照フレームにおける参照パッチの位置番号であってもよい。

【0161】

ビットストリームのビットオーバヘッドをさらに低減するために、符号化が図８に示す順序に基づいて実行されるときに、第３のタイプのパッチは、前述の符号化スキーム以外の別のスキームで符号化されてもよい。例えば、符号化対象パッチが最初の第３のタイプのパッチであるときに、符号化対象パッチは、前述の方式で符号化されてもよい。符号化対象パッチが最初の第３のタイプのパッチでない場合、符号化対象パッチの２次元情報及び３次元情報は、最初の第３のタイプのパッチの２次元情報及び３次元情報に基づく差分符号化方式でビットストリームに符号化されてもよく、他の情報は、前述の方式で符号化される。符号化対象パッチの２次元情報及び３次元情報を、第１のタイプのパッチの２次元情報及び３次元情報に基づいて差分符号化方式でビットストリームに符号化することは、符号化対象パッチの２次元情報と最初の第３のタイプのパッチの２次元情報との間の差分、符号化対象パッチの３次元情報と最初の第３のタイプのパッチの３次元情報との差分をビットストリームに符号化することを意味する。

【0162】

この出願のこの実施形態では、符号化対象パッチの補助情報が最初に取得され、次いで、符号化対象パッチの補助情報及び第１のインデックスがビットストリームに符号化される。第１のインデックスの値は、第１の値、第２の値、及び第３の値とすることができる。異なる値は、異なるタイプのパッチを示す。したがって、第１のインデックスを使用して、異なるタイプのパッチを区別することができる。このようにして、第１のタイプのパッチの数をビットストリームに書き込む必要がなく、ビットストリームのビットオーバヘッドが低減される。追加的に、異なるタイプのパッチでは、ビットストリームに符号化された補助情報に含まれるコンテンツが異なることがあり、第１のタイプのパッチと第２のタイプのパッチでは、補助情報の一部分のみがビットストリームに符号化される。これは、ビットストリームに符号化される情報のフォーマットを単純化し、ビットストリームのビットオーバヘッドを低減し、符号化効率を改善することができる。

【0163】

次に、図９に示す前述の実施形態に基づく点群符号化方法に対応する点群復号方法を説明する。図１に示す点群コーディングシステム及び図６に示す復号器２００の概略ブロック図を参照すると、以下の任意の点群復号方法は、点群コーディングシステムにおける復号器２００によって実行されてもよく、より具体的には、復号器２００における補助情報復号モジュール２０４によって実行されてもよいことに留意されたい。図１１を参照すると、復号方法は、以下のステップを含む。

【0164】

Ｓ１１０１．ビットストリームから復号対象パッチの第１のインデックスを解析する。

【0165】

現在の点群フレームにおける全てのパッチの第１のインデックスは、別々にパッキングされ、ビットストリームに符号化されてもよく、又は、一緒にパッキングされ、ビットストリームに符号化されてもよい。したがって、第１のインデックスが別々にパッキングされ、ビットストリームに符号化される方式の場合、復号対象パッチが現在の点群フレームにおける最初のパッチであるときに、復号対象パッチの第１のインデックスは、ビットストリームから解析され得る。確かに、最初でないパッチに対しては、復号対象パッチの第１のインデックスは、ビットストリームから解析されてもよい。換言すれば、現在の点群フレームにおける各復号対象パッチの第１のインデックスは、順次解析され得る。例えば、復号対象パッチ［ｉ－１］の第１のインデックス、復号対象パッチ［ｉ－１］の補助情報、復号対象パッチ［ｉ］の第１のインデックス、復号対象パッチ［ｉ］の補助情報、復号対象パッチ［ｉ＋１］の第１のインデックス、復号対象パッチ［ｉ＋１］の補助情報が順次解析される。第１のインデックスが一緒にパッキングされ、ビットストリームに符号化される方式の場合、復号対象パッチが現在の点群フレームにおける最初のパッチであるときに、現在の点群フレームに含まれる複数のパッチの第１のインデックスは、ビットストリームから解析されてもよく、解析された複数の第１のインデックスは、復号対象パッチの第１のインデックスを含む。換言すれば、現在の点群フレームに含まれる複数のパッチの第１のインデックスは、複数回ではなく、１回だけ解析することによって取得され得る。

【0166】

例えば、復号対象パッチの第１のインデックスは、符号化器側のものと一致する方法を使用してビットストリームから解析されてもよい。例えば、復号対象パッチの第１のインデックスは、固定長復号方式でビットストリームから解析されてもよい。

【0167】

Ｓ１１０２．第１のインデックスが第１の値であるときに、ビットストリームから復号対象パッチの補助情報を解析し、補助情報が、復号対象パッチの３次元情報を含む。

【0168】

第１のインデックスが第１の値であるときに、それは、復号対象パッチが第１のタイプのパッチであること、換言すれば、復号対象パッチは現在の点群グループのすべての点群で一致するパッチを有することを示すことに留意されたい。この場合、復号対象パッチの補助情報は、ビットストリームから解析することができ、補助情報は、復号対象パッチの３次元情報を含むが、復号対象パッチの２次元情報、回転変換情報、及び法線座標軸情報を含まない。

【0169】

符号化プロセスにおいてビットストリームに符号化された第１タイプのパッチの補助情報は、３次元情報を含むが、２次元情報、回転変換情報、及び法線座標軸情報を含まない。したがって、復号対象パッチが第１のタイプのパッチであるときに、ビットストリームから解析される補助情報は、復号対象パッチの３次元情報を含むが、復号対象パッチの２次元情報、回転変換情報、及び法線座標軸情報を含まない。この場合、復号対象パッチの参照パッチの補助情報に基づいて、復号対象パッチの２次元情報、回転変換情報、及び法線座標軸情報をさらに取得してもよい。

【0170】

例えば、復号は、符号化器側と一致する方法を使用することによって実行されてもよい。例えば、復号対象パッチの３次元情報は、差分復号方式でビットストリームから解析されてもよい。復号対象パッチの他の補助情報は、例えば、復号対象パッチの２次元情報、回転変換情報、法線座標軸情報、現在の点群フレームにおける復号対象パッチの位置と同じ位置にあるパッチの２次元情報、回転変換情報、及び法線座標軸情報は、復号される点群から取得されてもよく、取得された２次元情報、回転変換情報、及び法線座標軸情報は、復号対象パッチの２次元情報、回転変換情報、及び法線座標軸情報として使用される。代替的には、現在の点群フレームの参照フレームから、復号対象パッチの参照パッチの２次元情報、回転変換情報、及び法線座標軸情報が取得され、参照フレームの２次元情報、回転変換情報、及び法線座標軸情報が、復号対象パッチの２次元情報、回転変換情報、法線座標軸情報として使用される。

【0171】

点群におけるパッチが、図８に示される配置方法に基づいて符号化されるときに、復号対象パッチの参照パッチは、現在の点群フレームの参照フレームにおける位置が現在の点群フレームにおける復号対象パッチの位置と同じであるパッチであってもよい。しかし、以上の説明によれば、場合によっては、現在の点群グループにおける点群の各フレームにおける第１のタイプのパッチ、第２のタイプのパッチ、第３のタイプのパッチは、図８に示す方式で配置されない。この場合、第１のインデックスが第１の値であるときに、ビットストリームから解析される復号対象パッチの補助情報は、復号対象パッチの参照パッチのインデックス情報をさらに含むことができる。このようにして、復号中に、解析された第１のインデックスが第１の値であるときに、ビットストリームから解析された補助情報は、復号対象パッチの参照パッチのインデックス情報をさらに含んでもよい。次に、復号対象パッチの参照パッチは、復号対象パッチの参照パッチのインデックス情報に基づいて判定されてもよい。

【0172】

差分復号方式でビットストリームからの復号対象パッチの３次元情報を解析する方式は、具体的には、現在の点群フレームにおける復号対象パッチの位置と同じ位置にあるパッチの３次元情報を復号された点群から取得すること、又は現在の点群フレームの参照フレームから復号対象パッチの参照パッチの３次元情報を取得することであってもよい。次いで、取得された３次元情報を、ビットストリームから解析された３次元情報との差分に追加し、復号対象パッチの３次元情報を取得するようにする。

【0173】

Ｓ１１０３．第１のインデックスが第２の値であるときに、ビットストリームから復号対象パッチの補助情報を解析し、補助情報が、復号対象パッチの２次元情報及び３次元情報、並びに復号対象パッチの参照パッチのインデックス情報を含む。

【0174】

第１のインデックスが第２の値であるときに、それは、復号対象パッチが第２のタイプのパッチであること、換言すれば、復号対象パッチと一致する参照パッチが現在の点群フレームの参照フレームに存在することを示すことに留意されたい。この場合、復号対象パッチの補助情報は、ビットストリームから解析することができ、補助情報は、２次元情報、３次元情報、及び参照パッチのインデックス情報を含むが、回転変換情報及び法線座標軸情報を含まない。

【0175】

符号化プロセスにおいてビットストリームに符号化された第２のタイプのパッチの補助情報は、２次元情報、３次元情報、及び参照パッチのインデックス情報を含むが、回転変換情報及び法線座標軸情報を含まない。したがって、復号対象パッチが第２のタイプのパッチであるときに、ビットストリームから解析された補助情報は、復号対象パッチの２次元情報及び３次元情報、並びに復号対象パッチの参照パッチのインデックス情報を含むが、復号対象パッチの回転変換情報及び法線座標軸情報を含まない。この場合、復号対象パッチの回転変換情報及び法線座標軸情報は、復号対象パッチの参照パッチのインデックス情報に基づいてさらに取得されてもよい。

【0176】

復号対象パッチの参照パッチのインデックス情報は、符号化器側でのものと一致する方法を使用して、ビットストリームから解析されてもよく、例えば、固定長復号方式で解析されてもよい。復号対象パッチの回転変換情報及び法線座標軸情報については、復号対象パッチの参照パッチのインデックス情報を使用して、復号対象パッチの参照パッチが判定されてもよく、復号対象パッチの参照パッチの回転変換情報及び法線座標軸情報がさらに取得され、参照パッチの回転変換情報及び法線座標軸情報が、復号対象パッチの回転変換情報及び法線座標軸情報として使用される。復号対象パッチの２次元情報及び３次元情報は、例えば、符号化器側でのものと一致する方法を使用して、復号されてもよく、例えば、復号対象パッチの２次元情報及び３次元情報は、差分復号方式でビットストリームから解析されてもよい。具体的には、復号対象パッチの参照パッチは、復号対象パッチの参照パッチのインデックス情報を使用して判定されて、復号対象パッチの参照パッチの２次元情報及び３次元情報を取得するようにしてもよい。次いで、取得された２次元情報と３次元情報を、それぞれ、ビットストリームから解析された２次元情報からの差分と、３次元情報からの差分に追加して、復号対象パッチの２次元情報及び３次元情報を取得する。

【0177】

Ｓ１１０４．第１のインデックスが第３の値であるときに、ビットストリームから復号対象パッチの補助情報を解析し、補助情報が、復号対象パッチの２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む。

【0178】

第１のインデックスが第３の値であるときに、それは、復号対象パッチが第３のタイプのパッチであること、換言すれば、復号対象パッチと一致する参照パッチが現在の点群グループに存在しないことを示すことに留意されたい。この場合、復号対象パッチの２次元情報、３次元情報、回転変換情報、及び法線座標軸情報は、ビットストリームから解析することができる。

【0179】

第１の値、第２の値、及び第３の値が、それぞれ２進数１０、１１、及び００であってもよいし、第１の値、第２の値、及び第３の値が、それぞれ２進数１１、１０、及び００であってもよい。これは、この出願のこの実施形態で限定されない。

【0180】

前述の説明に基づき、現在の点群グループにおける点群の各フレームにおける第１のタイプのパッチ、第２のタイプのパッチ、第３のタイプのパッチは、図８に示す方式で配置され得る。この場合、復号対象パッチが現在の点群フレームにおける最初のパッチである場合、復号対象パッチの第１のインデックスがビットストリームから解析された後、現在の点群フレームが現在の点群グループの点群の最初のフレームであるかどうかを、第１のインデックスの値に基づいて判定してもよい。換言すれば、復号対象パッチが現在の点群フレームにおける最初のパッチであり、第１のインデックスが第３の値であるときに、現在の点群フレームが現在の点群グループにおける点群の最初のフレームであると判定されてもよい。

【0181】

しかし、場合によっては、現在の点群グループにおける点群の各フレームにおける第１のタイプのパッチ、第２のタイプのパッチ、及び第３のタイプのパッチは、図８に示す方式で配置されていないことがある。換言すれば、現在の点群グループにおける点群の任意のフレームにおける最初のパッチの第１のインデックスは、第１の値、第２の値、又は第３の値であってもよい。この場合、復号対象パッチが現在の点群フレームにおける最初のパッチであるときに、ビットストリームから解析された第１のインデックスに基づいて、現在の点群フレームが現在の点群グループにおける点群の最初のフレームであるかどうかを判定することができない。この場合、現在の点群フレームに含まれる複数のパッチの第１のインデックスが判定されてもよい。可能な実装では、複数のパッチは全て、現在の点群フレームに含まれるパッチである。複数のパッチの第１のインデックスの全てが第３の値であるときに、現在の点群フレームが、現在の点群グループにおける点群の最初のフレームであると判定されてもよい。

【0182】

第１のインデックスが第３の値であるときに、最初の第３のタイプのパッチの補助情報が固定長符号化方式で符号化される場合、最初ではない第３のタイプのパッチの２次元情報及び３次元情報が差分符号化方式で符号化され、他の補助情報が固定長符号化方式で符号化され、このステップにおいて、最初ではない第３のタイプのパッチでは、復号対象パッチの２次元情報と３次元情報が、差分復号方式でビットストリームから解析されてもよく、復号対象パッチの回転変換情報及び法線座標軸情報が、固定長復号方式でビットストリームから解析される。最初ではない第３のタイプのパッチでは、差分復号方式でビットストリームから復号対象パッチの２次元情報及び３次元情報を解析する方式は、復号対象パッチの２次元情報とビットストリームからの最初の第３のタイプのパッチの２次元情報との差分を解析し、復号対象パッチの２次元情報を取得するために最初の第３のタイプのパッチの２次元情報に差分を追加し、復号対象パッチの３次元情報とビットストリームからの最初の第３のタイプのパッチの３次元情報との差分を解析し、復号対象パッチの３次元情報を取得するために最初の第３のタイプのパッチの３次元情報に差分を追加することである。

【0183】

Ｓ１１０５．復号対象パッチの補助情報に基づいて復号対象パッチを再構築する。

【0184】

復号対象パッチの補助情報が取得された後、換言すれば、復号対象パッチの２次元情報、３次元情報、回転変換情報及び法線座標軸情報が取得された後、復号対象パッチがそのような補助情報に基づいて再構築されてもよいが、これに限定されないことに留意されたい。この出願は、復号対象パッチの再構築に必要な具体的な情報に制限を設定しない。

【0185】

この出願のこの実施形態では、第１のインデックスが第１の値であるときに、それは、復号対象パッチが第１のタイプのパッチであることを示す。この場合、復号対象パッチの補助情報は、ビットストリームから解析されてもよく、補助情報は、復号対象パッチの３次元情報を含む。第１のインデックスが第２の値であるときに、それは、復号対象パッチが第２のタイプのパッチであることを示す。この場合、復号対象パッチの補助情報は、ビットストリームから解析されてもよく、補助情報は、復号対象パッチの２次元情報及び３次元情報と、復号対象パッチの参照パッチのインデックス情報とを含む。第１のインデックスが第３の値であるときに、それは、復号対象パッチが第３のタイプのパッチであることを示す。この場合、復号対象パッチの補助情報は、ビットストリームから解析されてもよく、補助情報は、復号対象パッチの２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む。換言すれば、第１のタイプのパッチ及び第２のタイプのパッチでは、補助情報の一部分のみをビットストリームから解析する必要があり、他の補助情報は、導出するか取得されてもよい。これは、ビットストリームを解析するフォーマットを単純化し、ビットストリームのビットオーバヘッドを低減し、復号効率を改善することができる。追加的に、この出願のこの実施形態では、第１のインデックスの値をして異なるタイプのパッチが示されてもよく、換言すれば、第１のタイプのパッチ、第２のタイプのパッチ、及び第３のタイプのパッチが区別されてもよい。このようにして、第１のタイプのパッチの数をビットストリームから解析する必要がなく、ビットストリームのビットオーバヘッドはさらに低減され、復号効率が改善される。

【0186】

以下、この出願の実施形態で提供される第２の点群符号化方法を説明する。図１に示す点群コーディングシステム及び図２に示す符号化器１００の概略ブロック図を参照すると、以下の任意の点群符号化方法は、点群コーディングシステムにおける符号化器１００によって実行されてもよく、より具体的には、符号化器１００における補助情報符号化モジュール１０９によって実行されてもよいことに留意されたい。

【0187】

図１２を参照すると、本方法は、以下のステップを含む。

【0188】

Ｓ１２０１．符号化対象パッチの補助情報を取得する。

【0189】

Ｓ１２０１のコンテンツについては、図１１に示す前述の実施形態のＳ１１０１を参照のこと。詳細は、この出願のこの実施態様では、再度説明されない。

【0190】

Ｓ１２０２．符号化対象パッチの補助情報及び符号化対象パッチの第１のインデックスをビットストリームに符号化する。

【0191】

一般に、現在の点群グループにおける全ての点群において第１のタイプのパッチと一致関係を有するパッチが存在し、現在の点群グループにおいて、第１のタイプのパッチの２次元情報、回転変換情報、法線座標軸情報は同じであるが、３次元情報は異なることがある。しかし、場合によっては、代替的には、第１のタイプのパッチの３次元情報が同じであってもよい。この場合第１のインデックスが第１の値であるときに、それは、符号化対象パッチが第１のタイプのパッチであることを示すことができ、ビットストリームに符号化された情報は、第２のインデックスをさらに含むことができる。

【0192】

第２のインデックスは、符号化対象パッチの３次元情報がビットストリームに符号化されるかどうかを示すために使用されることに留意されたい。第２のインデックスの構文要素は、ｏｖｅｒｒｉｄｅ＿３ｄ＿ｓｈｉｆｔ＿ｄａｔａ＿ｆｌａｇであってもよく、換言すれば、ｏｖｅｒｒｉｄｅ＿３ｄ＿ｓｈｉｆｔ＿ｄａｔａ＿ｆｌａｇは、第３の構文要素と呼ばれることがある。第２のインデックスが第４の値であるときに、それは、符号化対象パッチの３次元情報がビットストリームに符号化されないことを示すことができる。換言すれば、符号化対象パッチの３次元情報は、符号化対象パッチの参照パッチの３次元情報と同じである。したがって、符号化対象パッチの３次元情報は、再度ビットストリームに符号化される必要はなく、換言すれば、符号化対象パッチの補助情報は、３次元情報を含まなくてもよい。第２のインデックスが第５の値であるときに、それは、符号化対象パッチの３次元情報がビットストリームに符号化されることを示すことができる。換言すれば、符号化対象パッチの３次元情報は、符号化対象パッチの参照パッチの３次元情報とは異なる。したがって、符号化対象パッチの３次元情報は、ビットストリームに符号化される必要があり、換言すれば、符号化対象パッチの補助情報は、３次元情報を含むことができる。具体的な符号化方法には限定されない。例えば、差分符号化方式が使用されてもよいし、固定長符号化方式が使用されてもよい。第４の値の構文要素は偽とすることができ、第５の値の構文要素は真とすることができる。

【0193】

例えば、この明細書では、符号化対象パッチの第１のインデックスが第 １の値であり、ビットストリームに符号化された情報が第２のインデックスを含むときに、部分的な構文構造を表１及び表３に示す。

【表3】

【0194】

さらに、可能な場合において、符号化対象パッチの第１のインデックスが第１の値であるとき、すなわち、符号化対象パッチが第１のタイプのパッチであるときに、符号化対象パッチの３次元情報は、参照パッチの３次元情報とは異なり、符号化対象パッチの２次元情報は、参照パッチの２次元情報とは異なる。この場合、第１のインデックスが第１の値であるときに、第２のインデックスに加えて、ビットストリームに符号化される情報は、符号化対象パッチの２次元情報がビットストリームに符号化されるかどうかを示すために使用される第３のインデックスをさらに含んでもよい。第３のインデックスの構文要素は、ｏｖｅｒｒｉｄｅ＿２ｄ＿ｓｈｉｆｔ＿ｄａｔａ＿ｆｌａｇであってもよく、換言すれば、ｏｖｅｒｒｉｄｅ＿２ｄ＿ｓｈｉｆｔ＿ｄａｔａ＿ｆｌａｇは、第２の構文要素と呼ばれることがある。第２のインデックスが説明されている。したがって、詳細は、ここでは再度説明しない。

【0195】

第３のインデックスが第６の値であるときに、それは、符号化対象パッチの２次元情報がビットストリームに符号化されないことを示すことができる。換言すれば、符号化対象パッチの２次元情報は、符号化対象パッチの参照パッチの２次元情報と同じである。したがって、符号化対象パッチの２次元情報は、再度ビットストリームに符号化される必要はなく、換言すれば、符号化対象パッチの補助情報は、２次元情報を含まなくてもよい。第３のインデックスが第７の値であるときに、それは、符号化対象パッチの２次元情報がビットストリームに符号化されることを示すことができる。換言すれば、符号化対象パッチの２次元情報は、符号化対象パッチの参照パッチの２次元情報とは異なる。したがって、符号化対象パッチの２次元情報は、ビットストリームに符号化される必要があり、換言すれば、符号化対象パッチの補助情報は、２次元情報を含むことができる。第６の値の構文要素は偽とすることができ、第７の値の構文要素は真とすることができる。

【0196】

例えば、この明細書では、符号化対象パッチの第１のインデックスが第 １の値であり、ビットストリームに符号化された情報が第２のインデックス及び第３のインデックスを含むときに、部分的な構文構造を表１及び表４に示す。

【表4】

【0197】

符号化対象パッチの３次元情報が参照パッチの３次元情報とは異なり、符号化対象パッチの２次元情報が参照パッチの２次元情報とは異なるときに、第２インデックス及び第３インデックスが、ビットストリームに符号化された情報が、復号対象パッチの２次元情報及び３次元情報を含むかどうかを示すために使用されるだけではなく、別の方式も使用されてもよい。例えば、第４のインデックスは、符号化対象パッチの２次元情報及び３次元情報の両方ともビットストリームに符号化されるかどうかを示すためにさらに使用されてもよい。換言すれば、、第１のインデックスが第１の値であるときに、それは、符号化対象パッチが第１のタイプのパッチであることを示すことができ、ビットストリームに符号化された情報は、第４のインデックスをさらに含むことができる。第４のインデックスの構文要素は、ｏｖｅｒｒｉｄｅ＿ｐａｔｃｈ＿ｄａｔａ＿ｆｌａｇであってもよい。第４のインデックスが第８の値であるときに、それは、復号対象パッチの２次元情報及び３次元情報が、復号対象パッチの参照パッチの２次元情報及び３次元情報と同じであり、ビットストリームに符号化されないことを示してもよい。第４のインデックスが第９の値であるときに、それは、復号対象パッチの２次元情報及び３次元情報が、復号対象パッチの参照パッチの２次元情報及び３次元情報とは異なり、ビットストリームに符号化されることを示してもよい。第８の値の構文要素は偽とすることができ、第９の値の構文要素は真とすることができる。

【0198】

符号化対象パッチの３次元情報は、接線方向に沿った３次元空間内の符号化対象パッチのシフト（３ｄ＿ｓｈｉｆｔ＿ｔａｎｇｅｎｔ＿ａｘｉｓ）、バイタンジェント方向に沿った３次元空間内の符号化対象パッチのシフト（３ｄ＿ｓｈｉｆｔ＿ｂｉｔａｎｇｅｎｔ＿ａｘｉｓ）、及び法線方向に沿った３次元空間内の符号化対象パッチのシフト（３ｄ＿ｓｈｉｆｔ＿ｎｏｒｍａｌ＿ａｘｉｓ）を含むことができる。符号化対象パッチの２次元情報は、Ｕ軸方向に沿った現在の点群フレームの占有マップ内の符号化対象パッチのシフト（２ｄ＿ｓｈｉｆｔ＿ｕ）、Ｖ軸方向に沿った現在の点群フレームの占有マップ内の符号化対象パッチのシフト（２ｄ＿ｓｈｉｆｔ＿ｖ）、現在の点群フレームの占有マップ内の符号化対象パッチの幅（２ｄ＿ｓｉｚｅ＿ｕ）、及び現在の点群フレームの占有マップ内の符号化対象パッチの高さ（２ｄ＿ｓｉｚｅ＿ｖ）を含み得る。したがって、３ｄ＿ｓｈｉｆｔ＿ｔａｎｇｅｎｔ＿ａｘｉｓがビットストリームに符号化されるかどうかを示すために使用されるインデックス（ｏｖｅｒｒｉｄｅ＿３ｄ＿ｓｈｉｆｔ＿ｔａｎｇｅｎｔ＿ａｘｉｓ）、３ｄ＿ｓｈｉｆｔ＿ｂｉｔａｎｇｅｎｔ＿ａｘｉｓがビットストリームに符号化されるかどうかを示すために使用されるインデックス（ｏｖｅｒｒｉｄｅ＿３ｄ＿ｓｈｉｆｔ＿ｂｉｔａｎｇｅｎｔ＿ａｘｉｓ）、及び３ｄ＿ｓｈｉｆｔ＿ｎｏｒｍａｌ＿ａｘｉｓがビットストリームに符号化されるかどうかを示すために使用されるインデックス（ｏｖｅｒｒｉｄｅ＿３ｄ＿ｓｈｉｆｔ＿ｎｏｒｍａｌ＿ａｘｉｓ）は、復号対象パッチの３次元情報がビットストリームに符号化されるかどうかを示すためにさらに使用されてもよい。追加的に、２ｄ＿ｓｈｉｆｔ＿ｕがビットストリームに符号化されるかどうかを示すために使用されるインデックス（ｏｖｅｒｒｉｄｅ＿２ｄ＿ｓｈｉｆｔ＿ｕ）、２ｄ＿ｓｉｆｔ＿ｖがビットストリームに符号化されるかどうかを示すために使用されるインデックス（ｏｖｅｒｒｉｄｅ＿２ｄ＿ｓｉｆｔ＿ｖ）、２ｄ＿ｓｉｚｅ＿ｕがビットストリームに符号化されるかどうかを示すために使用されるインデックス（ｏｖｅｒｒｉｄｅ＿２ｄ＿ｓｉｚｅ＿ｕ）、２ｄ＿ｓｉｚｅ＿ｖがビットストリームに符号化されるかどうかを示すために使用されるインデックス（ｏｖｅｒｒｉｄｅ＿２ｄ＿ｓｉｚｅ＿ｖ）は、復号対象パッチの２次元情報がビットストリームに符号化されるかどうかを示すために使用される。第２のインデックス、第３のインデックス、及び第４のインデックスと同様に、前述のインデックスは、各々、２つの値を有し、２つの値の構文要素は、真及び偽であってもよい。各値の意味は、第２のインデックス、第３のインデックス、又は第４のインデックスの異なる値の意味を参照のこと。詳細は、ここでは再度説明しない。

【0199】

例えば、この明細書では、符号化対象パッチの第１のインデックスが第１の値であり、ビットストリームに符号化された情報が、第４のインデックスと、異なる２次元情報及び３次元情報を示すためにそれぞれ使用されるインデックスを含むときに、部分的な構文構造を表１と表５に示す。

【表5】

【0200】

第１のインデックスが第２の値であるときに、それは、符号化対象パッチが第２のタイプのパッチであることを示すことができる。換言すれば、符号化対象パッチに一致する参照パッチが、現在の点群フレームの参照フレームに存在する。符号化対象パッチの補助情報は、２次元情報、３次元情報、及び符号化対象パッチの参照パッチのインデックス情報を含む。

【0201】

第１のインデックスが第３の値であるときに、符号化対象パッチが第３のタイプのパッチであることを示すことができる。換言すれば、符号化対象パッチに一致する参照パッチが、現在の点群フレームの参照フレームには存在しない。符号化対象パッチの補助情報は、２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む。

【0202】

この出願のこの実施形態では、第１のインデックスの値は、第１の値、第２の値、及び第３の値とすることができる。異なる値は、異なるタイプのパッチを示す。したがって、第１のインデックスを使用して、異なるタイプのパッチを区別することができる。このようにして、第１のタイプのパッチの数をビットストリームに書き込む必要がなく、ビットストリームのビットオーバヘッドが低減される。追加的に、第１のインデックスが第１の値であるときに、ビットストリームに符号化される情報は、符号化対象パッチの３次元情報がビットストリームに符号化されるかどうかを示すために、第２のインデックスをさらに含んでもよい。第２のインデックスが第４の値であるときに、それは、符号化対象パッチの３次元情報がビットストリームに符号化されないことを示す。換言すれば、符号化対象パッチの３次元情報は、符号化対象パッチの参照パッチの３次元情報と同じである。したがって、符号化対象パッチの３次元情報は、再度ビットストリームに符号化される必要はなく、換言すれば、符号化対象パッチの補助情報は、３次元情報を含まなくてもよい。このようにして、ビットストリームのビットオーバヘッドをさらに低減することができる。追加的に、第１のタイプのパッチと第２のタイプのパッチでは、補助情報の一部分のみがビットストリームに符号化される。これは、ビットストリームに符号化される情報のフォーマットを単純化し、ビットストリームのビットオーバヘッドを低減し、符号化効率を改善することができる。

【0203】

次に、図１２に示す実施形態に基づく点群符号化方法に対応する点群復号方法を説明する。図１に示す点群コーディングシステム及び図６に示す復号器２００の概略ブロック図を参照すると、以下の任意の点群復号方法は、点群コーディングシステムにおける復号器２００によって実行されてもよく、より具体的には、復号器２００における補助情報復号モジュール２０４によって実行されてもよいことに留意されたい。図１３を参照すると、復号方法は、以下のステップを含む。

【0204】

Ｓ１３０１．ビットストリームから復号対象パッチの第１のインデックスを解析する。

【0205】

Ｓ１３０１のコンテンツについては、Ｓ１１０１のコンテンツを参考にし、詳細は、ここでは再度説明しないことに留意されたい。

【0206】

Ｓ１３０２．第１のインデックスが第１の値であるときに、ビットストリームから復号対象パッチの第２のインデックスを解析する。

【0207】

第２インデックスは、Ｓ１２０１で説明されることに留意されたい。したがって、詳細は、ここでは再度説明しない。

【0208】

Ｓ１３０３．第２のインデックスが第４の値であるときに、復号対象パッチの補助情報として、復号対象パッチの参照パッチの補助情報を使用するか、又は第２のインデックスが第５の値であるときに、ビットストリームから復号対象パッチの補助情報を解析し、補助情報は、復号対象パッチの３次元情報を含む。

【0209】

第２のインデックスが第４の値であるときに、それは、復号対象パッチの３次元情報がビットストリームに符号化されないことを示すことができることに留意されたい。換言すれば、復号対象パッチの３次元情報は、復号対象パッチの参照パッチの３次元情報と同じである。この場合、復号対象パッチの参照パッチの補助情報が、復号対象パッチの補助情報として使用されてもよい。第２のインデックスが第５の値であるときに、それは、復号対象パッチの３次元情報がビットストリームに符号化されることを示し、復号対象パッチの補助情報は、３次元情報を含むことができる。この場合、復号対象パッチの補助情報は、ビットストリームから解析され、補助情報は、復号対象パッチの３次元情報を含む。例えば、復号対象パッチの補助情報は、差分復号方式でビットストリームから解析されてもよい。特定の方式については、前述の説明を参照のこと。

【0210】

いくつかの実施形態では、ステップ１２０２の説明に基づいて、符号化対象パッチの３次元情報が、参照パッチの３次元情報とは異なり、符号化対象パッチの２次元情報が、参照パッチの２次元情報とは異なるときに、第２のインデックスに加えて、ビットストリームに符号化される情報は、符号化対象パッチの２次元情報がビットストリームに符号化されるかどうかを示すために使用される第３のインデックスをさらに含んでもよい。換言すれば、第１のインデックスが第１の値であるときに、ビットストリームから復号対象パッチの第２のインデックスを解析することに加えて、復号対象パッチの第３のインデックスは、ビットストリームからさらに解析されてもよい。第３のインデックスが第６の値であるときに、それは、符号化対象パッチの２次元情報がビットストリームに符号化されないことを示すことができる。換言すれば、符号化対象パッチの２次元情報は、符号化対象パッチの参照パッチの２次元情報と同じである。したがって、符号化対象パッチの参照パッチの２次元情報は、符号化対象パッチの２次元情報として使用されてもよい。第３のインデックスが第７の値であるときに、それは、符号化対象パッチの２次元情報がビットストリームに符号化されることを示すことができる。換言すれば、符号化対象パッチの２次元情報は、符号化対象パッチの参照パッチの２次元情報とは異なる。したがって、復号対象パッチの２次元情報は、ビットストリームから解析されてもよい。具体的な復号スキームは、符号化方法に一致する復号方法であってもよく、詳細は、ここでは説明しない。

【0211】

いくつかの他の実施形態では、ステップ１２０２の説明に基づいて、符号化対象パッチの３次元情報が参照パッチの３次元情報とは異なり、符号化対象パッチの２次元情報が参照パッチの２次元情報とは異なるときに、第２インデックス及び第３インデックスが、ビットストリームに符号化された情報が、復号対象パッチの２次元情報及び３次元情報を含むかどうかを示すために使用されるだけでなく、別の方式も使用されてもよい。例えば、第４のインデックスは、符号化対象パッチの２次元情報及び３次元情報の両方ともビットストリームに符号化されるかどうかを示すためにさらに使用されてもよい。換言すれば、第１のインデックスが第１の値であるときに、復号対象パッチの第４のインデックスは、ビットストリームから解析されてもよい。第４のインデックスが第８の値であるときに、それは、復号対象パッチの２次元情報及び３次元情報が、復号対象パッチの参照パッチの２次元情報及び３次元情報と同じであり、ビットストリームに符号化されないことを示してもよい。したがって、復号対象パッチの参照パッチの２次元情報及び３次元情報は、復号対象パッチの２次元情報及び３次元情報として使用されてもよい。第４のインデックスが第９の値であるときに、それは、復号対象パッチの２次元情報及び３次元情報が、復号対象パッチの参照パッチの２次元情報及び３次元情報とは異なり、両方ともビットストリームに符号化されることを示してもよい。したがって、復号対象パッチの２次元情報及び３次元情報は、ビットストリームから解析されてもよい。具体的な復号スキームは、符号化方法に一致する復号方法であってもよく、詳細は、ここでは説明しない。

【0212】

追加的に、復号対象パッチの３次元情報がビットストリームに符号化されるかどうかを示すために、３ｄ＿ｓｈｉｆｔ＿ｔａｎｇｅｎｔ＿ａｘｉｓがビットストリームに符号化されるかどうかを示すために使用されるインデックス（ｏｖｅｒｒｉｄｅ＿３ｄ＿ｓｈｉｆｔ＿ｔａｎｇｅｎｔ＿ａｘｉｓ）、３ｄ＿ｓｈｉｆｔ＿ｂｉｔａｎｇｅｎｔ＿ａｘｉｓがビットストリームに符号化されるかどうかを示すために使用されるインデックス（ｏｖｅｒｒｉｄｅ＿３ｄ＿ｓｈｉｆｔ＿ｂｉｔａｎｇｅｎｔ＿ａｘｉｓ）、及び３ｄ＿ｓｈｉｆｔ＿ｎｏｒｍａｌ＿ａｘｉｓがビットストリームに符号化されるかどうかを示すために使用されるインデックス（ｏｖｅｒｒｉｄｅ＿３ｄ＿ｓｈｉｆｔ＿ｎｏｒｍａｌ＿ａｘｉｓ）を使用する方式、及び復号対象パッチの２次元情報がビットストリームに符号化されるかどうかを示すため、２ｄ＿ｓｈｉｆｔ＿ｕがビットストリームに符号化されるかどうかを示すために使用されるインデックス（ｏｖｅｒｒｉｄｅ＿２ｄ＿ｓｈｉｆｔ＿ｕ）、２ｄ＿ｓｉｆｔ＿ｖがビットストリームに符号化されるかどうかを示すために使用されるインデックス（ｏｖｅｒｒｉｄｅ＿２ｄ＿ｓｉｆｔ＿ｖ）、２ｄ＿ｓｉｚｅ＿ｕがビットストリームに符号化されるかどうかを示すために使用されるインデックス（ｏｖｅｒｒｉｄｅ＿２ｄ＿ｓｉｚｅ＿ｕ）、２ｄ＿ｓｉｚｅ＿ｖがビットストリームに符号化されるかどうかを示すために使用されるインデックス（ｏｖｅｒｒｉｄｅ＿２ｄ＿ｓｉｚｅ＿ｖ）を使用する方式は、第２のインデックス、第３のインデックス、及び第４のインデックスのものと同様である。詳細は、ここでは再度説明しない。

【0213】

Ｓ１３０４．第１のインデックスが第２の値であるときに、ビットストリームから復号対象パッチの補助情報を解析し、補助情報が、復号対象パッチの２次元情報及び３次元情報、並びに復号対象パッチの参照パッチのインデックス情報を含む。

【0214】

Ｓ１３０４のコンテンツについては、Ｓ１１０３のコンテンツを参考にし、詳細は、ここでは再度説明しないことに留意されたい。

【0215】

Ｓ１３０５．第１のインデックスが第３の値であるときに、ビットストリームから復号対象パッチの補助情報を解析し、補助情報が、復号対象パッチの２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む。

【0216】

Ｓ１３０５のコンテンツについては、Ｓ１１０４のコンテンツを参考にし、詳細は、ここでは再度説明しないことに留意されたい。

【0217】

Ｓ１３０６．復号対象パッチの補助情報に基づいて復号対象パッチを再構築する。

【0218】

Ｓ１３０６のコンテンツについては、Ｓ１１０５のコンテンツを参考にし、詳細は、ここでは再度説明しないことに留意されたい。

【0219】

この出願のこの実施形態では、第１のインデックスの値は、第１の値、第２の値、及び第３の値とすることができる。異なる値は、異なるタイプのパッチを示す。したがって、第１のインデックスを使用して、異なるタイプのパッチを区別することができる。このようにして、第１のタイプのパッチの数をビットストリームから解析する必要がなく、ビットストリームのビットオーバヘッドが低減される。追加的に、第１のインデックスが第１の値であるときに、復号対象パッチの第２のインデックスは、ビットストリームから解析される。第２のインデックスが第４の値であるときに、それは、復号対象パッチの３次元情報がビットストリームに符号化されないことを示す。換言すれば、復号対象パッチの３次元情報は、復号対象パッチの参照パッチの３次元情報と同じである。この場合、復号対象パッチの参照パッチの３次元情報は、復号対象パッチの３次元情報として使用されてもよく、復号対象パッチの３次元情報は、ビットストリームから解析される必要がない。したがって、これはビットストリームを解析するフォーマットを単純化し、ビットストリームのビットオーバヘッドを低減し、復号効率を改善することができる。

【0220】

図１４は、この出願の一実施形態による第１の点群符号化装置の概略構造図である。図１４に示すように、符号化装置１４００は、
符号化対象パッチの補助情報を取得するように構成されている点群パッチ（ｐａｔｃｈ）情報取得モジュールと１４０１と、
符号化対象パッチの補助情報及び符号化対象パッチの第１のインデックスをビットストリームに符号化するように構成されている補助情報符号化モジュール１４０２と、を含むことができ、
第１のインデックスは、符号化対象パッチが第１のタイプのパッチであることを示す第１の値であり、符号化対象パッチの補助情報は、３次元情報を含むか、
第１のインデックスは、符号化対象パッチが第２のタイプのパッチであることを示す第２の値であり、符号化対象パッチの補助情報は、２次元情報、３次元情報、及び符号化対象パッチの参照パッチのインデックス情報を含むか、又は
第１のインデックスは、符号化対象パッチが第３のタイプのパッチであることを示す第３の値であり、符号化対象パッチの補助情報は、２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む。

【0221】

第１の値、第２の値、及び第３の値が、それぞれ２進数１０、１１、及び００であるか、第１の値、第２の値、及び第３の値が、それぞれ２進数１１、１０、００である。

【0222】

符号化対象パッチの第１のインデックスが第３の値であるときに、符号化対象パッチは、現在の点群フレームにおける最初のパッチである。

【0223】

符号化対象パッチの参照パッチは、現在の点群フレームの参照フレームに含まれる。

【0224】

第１のタイプのパッチが、現在のグループにおけるグローバル一致パッチであり、第２のタイプのパッチが、現在のグループにおけるローカル一致パッチであり、第３のタイプのパッチが、現在のグループにおける一致しないパッチである。

【0225】

パッチ情報取得モジュール１４０１は、図９に示す実施形態におけるステップＳ９０１の関連コンテンツを実行するように構成されており、補助情報符号化モジュール１４０２は、図９に示す実施形態におけるステップＳ９０２の関連コンテンツを実行するように構成されていることに留意されたい。一例では、パッチ情報取得モジュール１４０１は、図２の点群パッチ情報生成モジュール１０１及びパッキングモジュール１０２の組み合わせに対応してもよく、補助情報符号化モジュール１４０２は、図２の補助情報符号化モジュール１０９に対応してもよい。換言すれば、パッチ情報取得モジュール１４０１の機能は、図２の点群パッチ情報生成モジュール１０１及びパッキングモジュール１０２によって実装されてもよく、補助情報符号化モジュール１４０２の機能は、図２の補助情報符号化モジュール１０９によって実装されてもよい。一例として、点群パッチ情報生成モジュール１０１は、符号化対象パッチの３次元情報、法線座標軸情報、第１のインデックスなどを取得するように構成されている。パッキングモジュール１０２は、符号化対象パッチの回転変換情報、参照パッチのインデックス情報、２次元情報などを取得するように構成されている。確かに、この出願は、それに限定されない。その他の詳細については、図２に示す符号化器の原理の従来技術又は前述の説明を参照のこと。詳細は、ここでは再度説明しない。

【0226】

図１５は、この出願の一実施形態による第１の点群復号装置の概略構造図である。図１５に示すように、復号装置１５００は、
ビットストリームから復号対象パッチの第１のインデックスを解析するように構成されている補助情報復号モジュール１５０１であって、
補助情報復号モジュールは、第１のインデックスが第１の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報が、復号対象パッチの３次元情報を含む、解析することか、第１のインデックスが第２の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報が、復号対象パッチの２次元情報及び３次元情報、並びに復号対象パッチの参照パッチのインデックス情報を含む、解析することか、又は第１のインデックスが第３の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報が、復号対象パッチの２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む、解析することを行うようにさらに構成されている補助情報復号モジュール１５０１と、
復号対象パッチの補助情報に基づいて復号対象パッチを再構築するように構成されている再構築モジュール１５０２と、を含むことができる。

【0227】

第１の値、第２の値、及び第３の値が、それぞれ２進数１０、１１、及び００であるか、第１の値、第２の値、及び第３の値が、それぞれ２進数１１、１０、００である。

【0228】

補助情報復号モジュール１５０１は、
復号対象パッチが、最初のパッチであり、第１のインデックスが、第３の値であるときに、復号対象パッチが属する現在の点群フレームが最初の点群フレームであると判定するようにさらに構成されている。

【0229】

補助情報復号モジュール１５０１は、
復号対象パッチが、現在の点群フレームにおける最初のパッチであるときに、ビットストリームから復号対象パッチの第１のインデックスを解析することか、又は復号対象パッチが、現在の点群フレームにおける最初のパッチであるときに、ビットストリームから現在の点群フレームに含まれる複数のパッチの複数の第１のインデックスを解析することであって、解析された複数の第１のインデックスが、復号対象パッチの第１のインデックスを含む、解析することを行うようにさらに構成されている。

【0230】

第１のインデックスが第１の値であるときに、補助情報復号モジュール１５０１は、
復号対象パッチの参照パッチの補助情報に基づいて、復号対象パッチの２次元情報、回転変換情報、及び法線座標軸情報を取得するようにさらに構成されており、
再構築モジュール１５０２は、
復号対象パッチの２次元情報、３次元情報、法線座標軸情報、回転変換情報に基づいて復号対象パッチを再構築するようにさらに構成されている。

【0231】

第１のインデックスが第２の値であるときに、補助情報復号モジュール１５０１は、
復号対象パッチの参照パッチのインデックス情報に基づいて、復号対象パッチの回転変換情報、及び法線座標軸情報を取得するようにさらに構成されており、
再構築モジュール１５０２は、
復号対象パッチの２次元情報、３次元情報、法線座標軸情報、回転変換情報に基づいて復号対象パッチを再構築するようにさらに構成されている。

【0232】

復号対象パッチのリファレンスパッチが、現在の点群フレームの参照フレームに含まれる。

【0233】

補助情報復号モジュール１５０１は、図１１に示す実施形態におけるステップＳ１１０１～Ｓ１１０４の関連コンテンツを実行するように構成されており、再構築モジュール１５０２は、図１１に示す実施形態におけるステップＳ１１０５の関連コンテンツを実行するように構成されている。一例として、図１５の補助情報復号モジュール１５０１は、図６の補助情報復号モジュール２０４に対応し、図１５の再構築モジュール１５０２は、図６の点群幾何形状情報再構築モジュール２０６に対応する。換言すれば、補助情報復号モジュール１５０１の機能は、図６の補助情報復号モジュール２０４によって実装されてもよく、再構築モジュール１５０２の機能は、図６の点群幾何形状情報再構築モジュール２０６によって実装されてもよい。確かに、この出願は、それに限定されない。その他の詳細については、図６に示す復号器の原理の従来の技術又は前述の説明を参照のこと。詳細は、ここでは再度説明しない。

【0234】

図１６は、この出願の一実施形態による第２の点群符号化装置の概略構造図である。図１６に示すように、符号化装置１６００は、
符号化対象パッチの補助情報を取得するように構成されている点群パッチ（ｐａｔｃｈ）情報取得モジュールと１６０１と、
符号化対象パッチの補助情報及び符号化対象パッチの第１のインデックスをビットストリームに符号化するように構成されている補助情報符号化モジュール１６０２と、を含むことができ、
第１のインデックスは、符号化対象パッチが第１のタイプのパッチであることを示す第１の値であり、ビットストリームに符号化される情報がさらに第２のインデックスを含み、第２のインデックスは、符号化対象パッチの３次元情報がビットストリームに符号化されないことを示す第４の値であるか、若しくは第２のインデックスは、符号化対象パッチの３次元情報がビットストリームに符号化されることを示す第５の値であり、符号化対象パッチの補助情報は、３次元情報を含むか、
第１のインデックスは、符号化対象パッチが第２のタイプのパッチであることを示す第２の値であり、符号化対象パッチの補助情報は、２次元情報、３次元情報、及び符号化対象パッチの参照パッチのインデックス情報を含むか、又は
第１のインデックスは、符号化対象パッチが第３のタイプのパッチであることを示す第３の値であり、符号化対象パッチの補助情報は、２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む。

【0235】

パッチ情報取得モジュール１６０１は、図１２に示す実施形態におけるステップＳ１２０１の関連コンテンツを実行するように構成されており、補助情報符号化モジュール１６０２は、図１２に示す実施形態におけるステップＳ１２０２の関連コンテンツを実行するように構成されていることに留意されたい。一例では、パッチ情報取得モジュール１６０１は、図２の点群パッチ情報生成モジュール１０１及びパッキングモジュール１０２の組み合わせに対応してもよく、補助情報符号化モジュール１６０２は、図２の補助情報符号化モジュール１０９に対応してもよい。換言すれば、パッチ情報取得モジュール１６０１の機能は、図２の点群パッチ情報生成モジュール１０１及びパッキングモジュール１０２によって実装されてもよく、補助情報符号化モジュール１６０２の機能は、図２の補助情報符号化モジュール１０９によって実装されてもよい。一例として、点群パッチ情報生成モジュール１０１は、符号化対象パッチの３次元情報、法線座標軸情報、第１のインデックス、第２インデックスなどを取得するように構成されている。パッキングモジュール１０２は、符号化対象パッチの回転変換情報、参照パッチのインデックス情報、２次元情報などを取得するように構成されている。確かに、この出願は、それに限定されない。その他の詳細については、図２に示す符号化器の原理の従来技術又は前述の説明を参照されたい。詳細は、ここでは再度説明しない。

【0236】

図１７は、この出願の一実施形態による第２の点群復号装置の概略構造図である。図１７に示すように、復号装置１７００は、
ビットストリームから復号対象パッチの第１のインデックスを解析するように構成されている補助情報復号モジュール１７０１であって、
補助情報復号モジュールは、第１のインデックスが第１の値であるときに、ビットストリームから復号対象パッチの第２のインデックスを解析し、第２のインデックスが第４の値であるときに、復号対象パッチの補助情報として復号対象パッチの参照パッチの補助情報を使用することか、又は第２のインデックスが第５の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報が、復号対象パッチの３次元情報を含む、解析することか、第１のインデックスが第２の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報が、復号対象パッチの２次元情報及び３次元情報、並びに復号対象パッチの参照パッチのインデックス情報を含む、解析することか、あるいは第１のインデックスが第３の値であるときに、ビットストリームから復号対象パッチの補助情報を解析することであって、補助情報が、復号対象パッチの２次元情報、３次元情報、回転変換情報、及び法線座標軸情報を含む、解析することを行うようにさらに構成されている補助情報復号モジュール１７０１と、
復号対象パッチの補助情報に基づいて復号対象パッチを再構築するように構成されている再構築モジュール１７０２と、を含むことができる。

【0237】

補助情報復号モジュール１７０１は、図１３に示す実施形態におけるステップＳ１３０１～Ｓ１３０５の関連コンテンツを実行するように構成されており、再構築モジュール１７０２は、図１３に示す実施形態におけるステップＳ１３０６の関連コンテンツを実行するように構成されている。一例として、図１７の補助情報復号モジュール１７０１は、図６の補助情報復号モジュール２０４に対応し、図１７の再構築モジュール１７０２は、図６の点群幾何形状情報再構築モジュール２０６に対応する。換言すれば、補助情報復号モジュール１７０１の機能は、図６の補助情報復号モジュール２０４によって実装されてもよく、再構築モジュール１７０２の機能は、図６の点群幾何形状情報再構築モジュール２０６によって実装されてもよい。確かに、この出願は、それに限定されない。その他の詳細については、図６に示す復号器の原理の従来の技術又は前述の説明を参照されたい。詳細は、ここでは再度説明しない。

【0238】

図１８は、この出願の一実施形態による、符号化装置１８００の実装の概略ブロック図である。コーディング装置１８００は、プロセッサ１８０１、メモリ１８０２、及びバスシステム１８０３を含み得る。プロセッサ１８０１は、バスシステム１８０３を使用してメモリ１８０２に接続され、メモリ１８０２は、命令を記憶するように構成され、プロセッサ１８０１は、この出願で説明される種々の点群符号化又は復号方法を実行するように、メモリ１８０２に記憶された命令を実行するように構成されている。繰り返しを回避するために、詳細は、ここでは再度説明しない。

【0239】

この出願のこの実施形態では、プロセッサ１８０１は、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）であってもよいし、プロセッサ１８０１は、別の汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ又は別のプログラマブル論理デバイス、個別ゲート又はトランジスタ論理デバイス、個別ハードウェア構成要素などであってもよい。汎用プロセッサは、マイクロプロセッサであってもよいし、プロセッサは、任意の従来のプロセッサなどであってもよい。

【0240】

メモリ１８０２は、ＲＯＭデバイス又はＲＡＭデバイスを含み得る。また、メモリ１８０２として、任意の他の好適な種類の記憶デバイスを使用してもよい。メモリ１８０２は、バス１８０３を使用して、プロセッサ１８０１によってアクセスされるコード及びデータ１８０２１を含み得る。メモリ１８０２は、オペレーティングシステム１８０２３及びアプリケーションプログラム１８０２２をさらに含んでもよい。アプリケーションプログラム１８０２２は、プロセッサ１８０１が、この出願で説明される点群符号化又は復号方法（特に、この出願で説明される点群コーデック方法）を実行することを可能にする少なくとも１つのプログラムを含む。例えば、アプリケーションプログラム１８０２２は、アプリケーション１～Ｎを含んでもよく、これらは、さらに、この出願で説明される点群符号化又は復号方法を実行する点群符号化又は復号アプリケーション（点群コーディングアプリケーションと称する）を含む。

【0241】

バスシステム１８０３は、データバスに追加して、電力バス、制御バス、ステータス信号バスなどをさらに含んでもよい。しかし、明確に説明するために、図における様々なタイプのバスは、バスシステム１８０３としてマークされる。

【0242】

任意選択で、符号化装置１８００は、ディスプレイ１８０４などの１つ以上の出力デバイスをさらに含んでもよい。一実施形態では、ディスプレイ１８０４は、ディスプレイを、タッチ入力を感知するように動作可能なタッチ感知ユニットと組み合わせるタッチ感知ディスプレイであってもよい。ディスプレイ１８０４は、バス１８０３を使用してプロセッサ１８０１に接続されてもよい。

【0243】

コーディング装置１８００は、この出願において点群符号化方法を実行してもよいし、この出願において点群復号方法を実行してもよいことに留意されたい。

【0244】

当業者は、この明細書に開示された様々な例示的な論理ブロック、モジュール、及びアルゴリズムのステップを参照して説明された機能が、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせによって実装され得ることを理解することができる。これらの機能がソフトウェアによって実装される場合、様々な例示的な論理ブロック、モジュール、及びステップで説明される機能は、１つ以上の命令又はコードとしてコンピュータ可読媒体に記憶又は送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、コンピュータ可読記憶媒体を含んでもよい。コンピュータ可読記憶媒体は、データ記憶媒体のような有形媒体、又は（例えば、通信プロトコルにしたがって）コンピュータプログラムの場所から場所への伝送を容易にする任意の媒体を含む通信媒体に対応する。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的な有形コンピュータ可読記憶媒体、又は（２）信号若しくはキャリアなどの通信媒体に対応してもよい。データ記憶媒体は、この出願で説明される技術を実装するために使用される命令、コード、及び／又はデータ構造を検索するために、１つ以上のコンピュータ又は１つ以上のプロセッサによってアクセスされ得る任意の利用可能な媒体としてもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を含んでもよい。

【0245】

限定ではなく例として、このようなコンピュータ読取可能記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、別の光ディスク記憶デバイス又は磁気ディスク記憶デバイス、別の磁気記憶デバイス、フラッシュメモリ、又は命令又はデータ構造の形式で必要なプログラムコードを記憶することができ、コンピュータによってアクセスすることができる任意の他の媒体を含んでもよい。追加的に、いかなる接続も、適切には、コンピュータ可読媒体と呼ばれる。例えば、同軸ケーブル、光ケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は無線技術（例えば、赤外線、ラジオ、又はマイクロ波）を使用して、ウェブサイト、サーバ、又は他のリモートソースから命令が送信される場合、同軸ケーブル、光ケーブル、ツイストペア、ＤＳＬ、又は無線技術（例えば、赤外線、ラジオ、又はマイクロ波）は、媒体の定義に含まれる。しかし、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、キャリア、信号、又は他の一時的な媒体を含まなくてもよく、実際には非一時的な有形記憶媒体に向けられると理解されたい。この明細書において使用されるディスク及び光ディスクは、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、ＤＶＤ、及びブルーレイディスクを含み、これらのディスクは、一般に、磁気的にデータを再生し、光ディスクは、任意選択でレーザを使用して光学的にデータを再生する。上記の組合せは、さらに、コンピュータ可読媒体の範囲に含まれるものとする。

【0246】

命令は、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は等価集積回路もしくは個別論理回路などの１つ以上のプロセッサによって実行されてもよい。したがって、この明細書で使用される用語「プロセッサ」は、前述の構造、又はこの明細書で記載される技術の実装に適用され得る任意の他の構造を指してもよい。追加的に、いくつかの態様において、この明細書で説明される機能は、符号化及び復号のために構成されている専用のハードウェア及び／又はソフトウェアモジュールで提供されてもよく、又は組合わされたコーダ－復号器に組み込まれてもよい。追加的に、これらの技術は、１つ以上の回路又は論理要素で完全に実装されてもよい。一例では、符号化器１００及び復号器２００における様々な例示的な論理ブロック、ユニット、及びモジュールが、対応する回路デバイス又は論理要素として理解されてもよい。

【0247】

この出願における技術は、無線ハンドセット、集積回路（ＩＣ）、又はＩＣのグループ（例えば、チップセット）を含む様々な装置又はデバイスで実装されてもよい。この出願において、開示された技術を実装するように構成されている装置の機能を強調するために、様々な構成要素、モジュール、又はユニットが説明されているが、これらの機能は、異なるハードウェアユニットによって実装される必要はない。実際には、上述のように、様々なユニットをコーデックハードウェアユニットに組み合わせてもよいし、適切なソフトウェア及び／又はファームウェアと組み合わせて、相互運用可能なハードウェアユニット（上述の１つ以上のプロセッサを含む）によって提供してもよい。

【0248】

前述の説明は、この出願の単に例示的な具体的な実装に過ぎないが、この出願の保護範囲を制限することを意図したものではない。この出願に開示された技術的範囲内で、当業者によって容易に理解することができる変更又は代替は、この出願の保護範囲に含まれるものとする。したがって、この出願の保護範囲は、特許請求の範囲の保護範囲に従うものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】