特許 7440546 ポイントクラウドデータ処理装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】ポイントクラウドデータ処理装置及び方法

(51)【国際特許分類】

   G06T 9/40 20060101AFI20240220BHJP

   H04N 19/597 20140101ALI20240220BHJP

   H04N 19/96 20140101ALI20240220BHJP

【ＦＩ】

G06T9/40

H04N19/597

H04N19/96

【請求項の数】 14

(21)【出願番号】P 2021577128

(86)(22)【出願日】2020-07-01

(65)【公表番号】

(43)【公表日】2022-09-06

(86)【国際出願番号】 KR2020008571

(87)【国際公開番号】W WO2021002665

(87)【国際公開日】2021-01-07

【審査請求日】2021-12-24

(31)【優先権主張番号】10-2019-0078664

(32)【優先日】2019-07-01

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】オ ヒョンムク

(72)【発明者】

【氏名】オ セチン

【審査官】岡本 俊威

(56)【参考文献】

【文献】米国特許出願公開第２０１９／００８０４８３（ＵＳ，Ａ１）

【文献】国際公開第２０１９／０８１０８７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ９／００－ ９／４０

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

ジオメトリ情報及び特質情報を含むポイントクラウドデータを符号化する段階であって、
前記ジオメトリ情報は、前記ポイントクラウドデータのポイントの位置を示し、
前記特質情報は、前記ポイントクラウドデータの前記ポイントの特質を示し、
前記ジオメトリ情報は、占有情報に関連するツリーに基づいて符号化され、
前記ツリーは、ルートレベルからリーフレベルまでのノードを含み、
前記ノードは、前記ポイントクラウドデータの前記ポイントに関連し、
前記ポイントの重複する特質情報が除去される、段階と、
前記符号化されたポイントクラウドデータを含むビットストリームを送信する段階と、を含む、ポイントクラウドデータ処理するための方法。

【請求項2】

前記ポイントクラウドデータを符号化する段階は、
前記ジオメトリ情報を符号化する段階と、
前記特質情報を符号化する段階と、を含む、請求項１に記載の方法。

【請求項3】

前記特質情報を符号化する段階は、
前記ジオメトリ情報の前記ツリーを受信する段階であって、前記ツリーは、一つ又はそれ以上のレベルで表現される、段階と、
前記ツリーのそれぞれのレベルを一つ又はそれ以上の特質にマッチングしてカラー化されたツリーを生成する段階であって、前記カラー化されたツリーは、特質情報の一部又は全部のスケーラブル表現のために前記特質情報を符号化するために使用される、段階と、を含む、請求項２に記載の方法。

【請求項4】

前記カラー化されたツリーは、一つ又はそれ以上の特質を前記ツリーのリーフノードにマッチングし、前記リーフノードにマッチングされた前記一つ又はそれ以上の特質を前記リーフノードではないノードにマッチングすることにより生成され、
前記カラー化されたツリーは、前記ツリーのルートノードからリーフノードまで下げることによって前記一つ又はそれ以上の特質を前記リーフノードではない前記ノードにマッチングすることにより生成される、請求項３に記載の方法。

【請求項5】

シグナリング情報は、前記ビットストリームが前記ツリーのフルレベルに対応するデータを含むか、又は前記ツリーの一部レベルに対応するデータを含むかを示す情報を含む、請求項３に記載の方法。

【請求項6】

ジオメトリ情報及び特質情報を含むポイントクラウドデータを符号化するように構成されるエンコーダであって、
前記ジオメトリ情報は、前記ポイントクラウドデータのポイントの位置を示し、
前記特質情報は、前記ポイントクラウドデータの前記ポイントの特質を示し、
前記ジオメトリ情報は、占有情報に関連するツリーに基づいて符号化され、
前記ツリーは、ルートレベルからリーフレベルまでのノードを含み、
前記ノードは、前記ポイントクラウドデータの前記ポイントに関連し、
前記ポイントの重複する特質情報が除去される、エンコーダと、
前記符号化されたポイントクラウドデータを含むビットストリームを送信するように構成される送信部と、を含む、ポイントクラウドデータを処理するための装置。

【請求項7】

前記エンコーダは、
前記ジオメトリ情報を符号化するように構成された第１エンコーダと、
前記特質情報を符号化するように構成された第２エンコーダと、を含む、請求項６に記載の装置。

【請求項8】

前記エンコーダは、
前記ジオメトリ情報の前記ツリーを受信し、前記ツリーは、一つ又はそれ以上のレベルで表現され、
前記ツリーのそれぞれのレベルを一つ又はそれ以上の特質にマッチングしてカラー化されたツリーを生成し、前記カラー化されたツリーは、特質情報の一部又は全部のスケーラブル表現のために前記特質情報を符号化するために使用される、ように構成される、請求項７に記載の装置。

【請求項9】

前記カラー化されたツリーは、一つ又はそれ以上の特質を前記ツリーのリーフノードにマッチングし、前記リーフノードにマッチングされた前記一つ又はそれ以上の特質を前記リーフノードではないノードにマッチングすることにより生成され、
前記カラー化されたツリーは、前記ツリーのルートノードからリーフノードまで下げることによって前記一つ又はそれ以上の特質を前記リーフノードではない前記ノードにマッチングすることにより生成され、
シグナリング情報は、前記ビットストリームが前記ツリーのフルレベルに対応するデータを含むか、又は前記ツリーの一部レベルに対応するデータを含むかを示す情報を含む、請求項８に記載の装置。

【請求項10】

ポイントクラウドデータを含むビットストリームを受信する段階であって、
前記ポイントクラウドデータは、ジオメトリ情報及び特質情報を含み、
前記ジオメトリ情報は、前記ポイントクラウドデータのポイントの位置を示し、
前記特質情報は、前記ポイントクラウドデータの前記ポイントの特質を示す、段階と、
前記ポイントクラウドデータを復号する段階と、を含み、
前記ジオメトリ情報は、占有情報に関連するツリーに基づいて符号化され、
前記ツリーは、ルートレベルからリーフレベルまでのノードを含み、
前記ノードは、前記ポイントクラウドデータの前記ポイントに関連し、
前記ポイントの重複する特質情報が除去される、ポイントクラウドデータを処理する方法。

【請求項11】

前記ポイントクラウドデータを復号する段階は、
前記ジオメトリ情報を復号する段階と、
前記特質情報を復号する段階と、を含む、請求項１０に記載の方法。

【請求項12】

シグナリング情報は、前記ビットストリームが前記ツリーのフルレベルに対応するデータを含むか、又は前記ツリーの一部レベルに対応するデータを含むかを示す情報を含み、
前記特質情報を復号する段階は、前記情報に基づいて前記ポイントクラウドデータのスケーラブル表現のために前記特質情報を符号化するためのカラー化されたツリーを生成する段階を含む、請求項１１に記載の方法。

【請求項13】

ポイントクラウドデータを含むビットストリームを受信するように構成された受信部であって、
前記ポイントクラウドデータは、ジオメトリ情報及び特質情報を含み、
前記ジオメトリ情報は、前記ポイントクラウドデータのポイントの位置を示し、
前記特質情報は、前記ポイントクラウドデータの前記ポイントの特質を示す、受信部と、
前記ポイントクラウドデータを復号するように構成されたデコーダと、を含み、
前記ジオメトリ情報は、占有情報に関連するツリーに基づいて符号化され、
前記ツリーは、ルートレベルからリーフレベルまでのノードを含み、
前記ノードは、前記ポイントクラウドデータの前記ポイントに関連し、
前記ポイントの重複する特質情報が除去される、ポイントクラウドデータを処理する装置。

【請求項14】

前記デコーダは、
前記ジオメトリ情報を復号するように構成された第１デコーダと、
前記特質情報を復号するように構成された第２デコーダと、を含み、
シグナリング情報は、前記ビットストリームが前記ツリーのフルレベルに対応するデータを含むか、又は前記ツリーの一部レベルに対応するデータを含むかを示す情報を含み、
前記デコーダは、前記情報に基づいて前記ポイントクラウドデータのスケーラブル表現のために前記特質情報を符号化するためのカラー化されたツリーを生成するようにさらに構成される、請求項１３に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

実施例はユーザにＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実)及び自律走行サービスなどの様々なサービスを提供するために、ポイントクラウド(Ｐｏｉｎｔ Ｃｌｏｕｄ)コンテンツを提供する方案を提供する。

【背景技術】

【0002】

ポイントクラウドコンテンツは３次元空間を表現する座標系に属する点(ポイント)の集合であるポイントクラウドで表現されるコンテンツである。ポイントクラウドコンテンツは３次元からなるメディアを表現でき、ＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実)及び自律走行サービスなどの様々なサービスを提供するために使用される。しかし、ポイントクラウドコンテンツを表現するためには、数万から数十万個のポイントデータが必要である。従って、膨大な量のポイントデータを効率的に処理する方法が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

実施例はポイントクラウドデータを効率的に処理するための装置及び方法を提供する。実施例は遅延(ｌａｔｅｎｃｙ)及び符号化／復号複雑度を解決するためのポイントクラウドデータ処理方法及び装置を提供する。

【0004】

但し、上述した技術的課題のみに制限されず、記載する全ての内容に基づいて当業者が導き出される他の技術的課題にも実施例の権利範囲を拡張することができる。

【課題を解決するための手段】

【0005】

よって、効率的にポイントクラウドデータを処理するために、実施例によるポイントクラウド処理方法では、ジオメトリ(ｇｅｏｍｅｔｒｙ)情報及び特質(ａｔｔｒｉｂｕｔｅ)情報を含むポイントクラウドデータ(ｐｏｉｎｔ ｃｌｏｕｄ ｄａｔａ)を符号化する段階；及び符号化されたポイントクラウドデータを含むビットストリームを送信する段階を含む。

【0006】

実施例によれば、ジオメトリ情報はポイントクラウドデータのポイントの位置(ｐｏｓｉｔｉｏｎ)を示す情報であり、又は特質情報はポイントクラウドデータのポイントの特質を示す情報である。

【0007】

実施例によるポイントクラウドデータを符号化する段階は、ジオメトリ情報を符号化する段階；及び特質情報を符号化する段階を含む。さらに、特質情報を符号化する段階は、ジオメトリ情報の八分木(Ｏｃｔｒｅｅ)構造を受信する段階及び八分木構造のそれぞれのレベルに一つ又はそれ以上の特質をマッチングしてカラー化された八分木(ｃｏｌｏｒｉｚｅｄ ｏｃｔｒｅｅ)を生成する段階を含む。

【0008】

実施例によれば、八分木構造は一つ又はそれ以上のレベルで表現され、カラー化された八分木は特質情報の一部又は全部をスケーラブル表現(ｓｃａｌａｂｌｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ)できるように特質情報を符号化するために使用される。

【0009】

実施例によれば、カラー化された八分木は、一つ又はそれ以上の特質を八分木構造のリーフノード(ｌｅａｆ ｎｏｄｅ)にマッチングすることができ、リーフノードにマッチングされた一つ又はそれ以上の特質をリーフノードではないノードにマッチングすることにより生成することができる。また、カラー化された八分木は、八分木構造のルートノード(ｒｏｏｔ ｎｏｄｅ)からリーフノードまで下げて(ｓｔｅｐ ｄｏｗｎ)、一つ又はそれ以上の特質をリーフノードではないノードにマッチングすることにより生成することができる。

【0010】

実施例によれば、シグナリング情報はビットストリームが八分木構造のフルレベル(ｆｕｌｌ ｌｅｖｅｌ)に対するデータを含むか、又は八分木構造の一部レベルに対するデータのみを含むかを示す情報を含む。

【0011】

また実施例によれば、さらに特質情報を符号化する段階は、カラー化された八分木にマッチングされたデータのうち、重複するデータを除去する段階を含む。

【0012】

また効率的にポイントクラウドデータを処理するために、実施例によるポイントクラウド処理方法では、ポイントクラウドデータを含むビットストリームを受信する段階及びポイントクラウドデータを復号する段階；を含む。

【0013】

実施例によるポイントクラウドデータはジオメトリ情報及び特質情報を含み、ジオメトリ情報はポイントクラウドデータのポイントの位置を示す情報であり、特質情報はポイントクラウドデータのポイントの一つ又はそれ以上の特質を示す情報である。

【0014】

ポイントクラウドデータを復号する段階は、ジオメトリ情報を復号する段階；及び特質情報を復号する段階；を含む。

【0015】

さらに、シグナリング情報はビットストリームが八分木構造のフルレベルに対するデータを含むか、又は八分木構造の一部レベルに対するデータのみを含むかを示す情報を含む。また、特質情報を復号する段階では、ポイントクラウドデータを情報に基づいてスケーラブル表現できるように特質情報を復号するためのカラー化された八分木を生成することができる。

【発明の効果】

【0016】

実施例による装置及び方法は、高効率でポイントクラウドデータを処理することができる。

【0017】

実施例による装置及び方法は、良質のポイントクラウドサービスを提供することができる。

【0018】

実施例による装置及び方法は、ＶＲサービス、自律走行サービスなどの汎用的なサービスを提供するためのポイントクラウドコンテンツを提供することができる。

【0019】

実施例によるポイントクラウドデータ送信装置は、重要度によって異なる符号化動作を適用可能であり、良質の符号化方法を重要な領域に使用可能な方案を提供することができる。また、ポイントクラウドの特性による効率的な符号化／復号化及び送信を支援して、ユーザの要求事項による属性値を提供することができる。

【0020】

実施例によるポイントクラウドデータ送信装置及び受信装置は、タイル(ｔｉｌｅ)及び／又はスライス(ｓｌｉｃｅ)単位で独立的に又は独立せずに符号化及び復号化を行うことにより、符号化及び復号化過程で重なるエラーを防止することができる。

【0021】

実施例によるポイントクラウドデータ送信装置は、カラー化された八分木を生成して特質情報を符号化して送信することにより、八分木構造を全て符号化しなくても特質符号化を行うことができ、高速処理が求められるシステムにおいて不要な遅延が発生する問題を解決することができる。

【0022】

実施例によるポイントクラウドデータ受信装置は、カラー化された八分木(ｃｏｌｏｒｉｚｅｄ ｏｃｔｒｅｅ)を受信して復号することにより、必ず特質情報を全て復号しなくても特質情報を復号することができ、スケーラブル(ｓｃａｌａｂｌｅ)復号が可能である。

【図面の簡単な説明】

【0023】

添付図面は本発明の実施例を示し、説明と共に本発明の原理を説明する。

【0024】

図面は実施例をより理解するために添付し、実施例に関連する説明と共に実施例を示す。

【0025】

【図1】実施例によるポイントクラウドコンテンツ提供システムの一例を示す。

【図2】実施例によるポイントクラウドコンテンツ提供動作を示すブロック図である。

【図3】実施例によるポイントクラウドビデオキャプチャー過程の一例を示す。

【図4】実施例によるポイントクラウドエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｅｎｃｏｄｅｒ)の一例を示す。

【図5】実施例によるボクセルの一例を示す。

【図6】実施例による八分木及び占有コード(ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)の一例を示す。

【図7】実施例による隣接ノードパターンの一例を示す。

【図8】実施例によるＬＯＤごとのポイント構成の一例を示す。

【図9】実施例によるＬＯＤごとのポイント構成の一例を示す。

【図10】実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す。

【図11】実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す。

【図12】実施例による送信装置の一例を示す。

【図13】実施例による受信装置の一例を示す。

【図14】実施例によるＧ－ＰＣＣ基盤のポイントクラウドコンテンツストリーミングのためのアーキテクチャを示す。

【図15】実施例による送信装置の一例を示す。

【図16】実施例による受信装置の一例を示す。

【図17】実施例によるポイントクラウドデータ送受信方法／装置に連動可能な構造の一例を示す。

【図18】実施例によるポイントクラウドエンコーダを示す。

【図19】実施例による八分木とカラー化された八分木(ｃｏｌｏｒｉｚｅｄ ｏｃｔｒｅｅ)を示す。

【図20】実施例によるポイントクラウドデータエンコーダを示す。

【図21】実施例によるカラー化された八分木を生成する過程を示す。

【図22】八分木構造のリーフノードをカラー化する(ｃｏｌｏｒｉｚｅ)動作を示す。

【図23】実施例によるエンコーダが実施例による隣接(ｎｅｉｇｈｂｏｒ)を検出する過程を示す。

【図24】実施例によるエンコーダが実施例による隣接(ｎｅｉｇｈｂｏｒ)に基づいて親ノード(ｐａｒｅｎｔ ｎｏｄｅ)に特質情報をマッチングするための数式を示す。

【図25】実施例によるエンコーダが、特質情報がマッチングされた八分木内の重複した特質(ｄｕｐｌｉｃａｔｅ ａｔｔｒｉｂｕｔｅ)を除去する動作を示す。

【図26】実施例によるエンコーダの動作を示す。

【図27】実施例によるポイントクラウドデータのビットストリーム構造の一例を示す。

【図28】実施例によるＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を示す。

【図29】実施例による特質ビットストリーム(ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍ)を示す。

【図30】スケーラブル表現のための実施例によるポイントクラウドデータ送信装置及び受信装置の動作を示す。

【図31】実施例によるポイントクラウドデータデコーダを示す。

【図32】実施例によるポイントクラウドデータデコーダを示す。

【図33】実施例によるポイントクラウドデータ受信装置がカラー化された八分木を生成する過程を示す。

【図34】実施例によるポイントクラウドデータデコーダが特質－ノードマッチング(ａｔｔｒｉｂｕｔｅ ｔｏ ｎｏｄｅ ｍａｔｃｈｉｎｇ)を行う動作を示す。

【図35】実施例による受信装置が実施例による位置予測(ｐｏｓｉｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ)を行う過程を示す。

【図36】実施例によるポイントクラウドデータデコーダがカラー化された八分木(ｃｏｌｏｒｉｚｅｄ ｏｃｔｒｅｅ)を生成する過程の他の例を示す。

【図37】実施例によるポイントクラウドデータデコーダがスケーラブル表現のために復号する過程を示す。

【図38】実施例によるポイントクラウドデータデコーダがスケーラブル表現のために復号する過程を示す。

【図39】実施例によるポイントクラウドデータ送信段階を示す。

【図40】実施例によるポイントクラウドデータ受信段階を示す。

【発明を実施するための形態】

【0026】

添付図面を参照しながら望ましい実施例について具体的に説明する。添付図面を参照した以下の詳細な説明は、実施例によって具現可能な実施例のみを示すというより、望ましい実施例を説明するためのものである。以下の詳細な説明は実施例に関する徹底な理解を提供するために細部事項を含む。しかし、かかる細部事項がなくても実施例を実行できることは当業者にとって明らかである。

【0027】

実施例で使用するほとんどの用語は該当分野において広く使用される一般的なものであるが、一部は出願人によって任意に選択されたものもあり、その意味は必要によって以下に詳しく説明する。よって、実施例は用語の単純な名称や意味ではなく、用語が意図する意味に基づいて理解されるべきである。

【0028】

図１は実施例によるポイントクラウドコンテンツ提供システムの一例を示す図である。

【0029】

図１に示したポイントクラウドコンテンツ提供システムは、送信装置(ｔｒａｎｓｍｉｓｓｉｏｎ ｄｅｖｉｃｅ)１００００及び受信装置(ｒｅｃｅｐｔｉｏｎ ｄｅｖｉｃｅ)１０００４を含む。送信装置１００００及び受信装置１０００４はポイントクラウドデータを送受信するために有無線通信が可能である。

【0030】

実施例による送信装置１００００は、ポイントクラウドビデオ(又はポイントクラウドコンテンツ)を確保し処理して送信する。実施例において、送信装置１００００は固定局(ｆｉｘｅｄ ｓｔａｔｉｏｎ)、ＢＴＳ(ｂａｓｅ ｔｒａｎｓｃｅｉｖｅｒ ｓｙｓｔｅｍ)、ネットワーク、ＡＩ(Ａｒｉｔｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ)機器及び／又はシステム、ロボット、ＡＲ／ＶＲ／ＸＲ機器及び／又はサーバーなどを含む。また実施例において、送信装置１００００は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。

【0031】

実施例による送信装置１００００は、ポイントクラウドビデオ獲得部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ａｃｑｕｉｓｉｔｉｏｎ)１０００１、ポイントクラウドビデオエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)１０００２及び／又は送信機(Ｔｒａｎｓｍｉｔｔｅｒ(又は通信モジュール)１０００３を含む。

【0032】

実施例によるポイントクラウドビデオ獲得部１０００１は、キャプチャー、合成又は生成などの処理過程によりポイントクラウドビデオを獲得する。ポイントクラウドビデオは、３次元空間に位置するポイントの集合であるポイントクラウドで表現されるポイントクラウドコンテンツであって、ポイントクラウドビデオデータなどと呼ばれる。実施例によるポイントクラウドビデオは、一つ又はそれ以上のフレームを含む。一つのフレームは停止映像／ピクチャを示す。よって、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャを含み、ポイントクラウド映像、フレーム及びピクチャのうちのいずれかに呼ばれる。

【0033】

実施例によるポイントクラウドビデオエンコーダ１０００２は、確保したポイントクラウドビデオデータを符号化する。ポイントクラウドビデオエンコーダ１０００２はポイントクラウド圧縮(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディングに基づいてポイントクラウドビデオデータを符号化する。実施例によるポイントクラウド圧縮コーディングは、Ｇ－ＰＣＣ(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又はＶ－ＰＣＣ(Ｖｉｄｅｏ ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング又は次世代コーディングを含む。なお、実施例によるポイントクラウド圧縮コーディングは、上述した実施例に限られない。ポイントクラウドビデオエンコーダ１０００２は、符号化されたポイントクラウドビデオデータを含むビットストリームを出力することができる。ビットストリームは符号化されたポイントクラウドビデオデータだけではなく、ポイントクラウドビデオデータの符号化に関連するシグナリング情報を含む。

【0034】

実施例による送信機１０００３は、符号化されたポイントクラウドビデオデータを含むビットストリームを送信する。実施例によるビットストリームはファイル又はセグメント(例えば、ストリーミングセグメント)などにカプセル化されて、放送網及び／又はブロードバンド網などの様々なネットワークにより送信される。図示していないが、送信装置１００００はカプセル化動作を行うカプセル化部(又はカプセル化モジュール)を含む。また実施例において、カプセル化部は送信機１０００３に含まれる。実施例において、ファイル又はセグメントはネットワークにより受信装置１０００４に送信されるか、又はデジタル格納媒体(例えば、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど)に格納される。実施例による送信機１０００３は受信装置１０００４(又は受信機(Ｒｅｃｅｉｖｅｒ)１０００５)と４Ｇ、５Ｇ、６Ｇなどのネットワークにより有無線通信が可能である。また送信機１０００３はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)によって必要なデータ処理動作を行うことができる。また送信装置１００００はオン・デマンド(Ｏｎ Ｄｅｍａｎｄ)方式によってカプセル化されたデータを送信することもできる。

【0035】

実施例による受信装置１０００４は、受信機(Ｒｅｃｅｉｖｅｒ)１０００５、ポイントクラウドビデオデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)１０００６及び／又はレンダラー(Ｒｅｎｄｅｒｅｒ)１０００７を含む。実施例において、受信装置１０００４は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。

【0036】

実施例による受信機１０００５は、ポイントクラウドビデオデータを含むビットストリーム又はビットストリームがカプセル化されたファイル／セグメントなどをネットワーク又は格納媒体から受信する。受信機１０００５はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)により必要なデータ処理動作を行う。実施例による受信機１０００５は、受信したファイル／セグメントをデカプセル化してビットストリームを出力する。また実施例において、受信機１０００５はデカプセル化の動作を行うためのデカプセル化部(又はデカプセル化モジュール)を含む。またデカプセル化部は受信機１０００５とは別個のエレメント(又はコンポーネント)で具現される。

【0037】

ポイントクラウドビデオデコーダ１０００６は、ポイントクラウドビデオデータを含むビットストリームを復号する。ポイントクラウドビデオデコーダ１０００６はポイントクラウドビデオデータが符号化された方式により復号することができる(例えば、ポイントクラウドビデオエンコーダ１０００２の動作の逆の過程)。従って、ポイントクラウドビデオデコーダ１０００６はポイントクラウド圧縮の逆過程であるポイントクラウド復元コーディングを行って、ポイントクラウドビデオデータを復号することができる。ポイントクラウド復元コーディングはＧ－ＰＣＣコーディングを含む。

【0038】

レンダラー１０００７は復号されたポイントクラウドビデオデータをレンダリングする。レンダラー１０００７はポイントクラウドビデオデータだけではなく、オディオデータもレンダリングしてポイントクラウドコンテンツを出力する。実施例において、レンダラー１０００７はポイントクラウドコンテンツをディスプレイするためのディスプレイを含む。実施例において、ディスプレイはレンダラー１０００７に含まれず、別のデバイス又はコンポーネントで具現される。

【0039】

図面において、点線で示した矢印は、受信装置１０００４で得たフィードバック情報(ｆｅｅｄｂａｃｋ ｉｎｆｏｒｍａｔｉｏｎ)の送信経路を示す。フィードバック情報はポイントクラウドコンテンツを消費するユーザとの相互作用を反映するための情報であって、ユーザの情報を含む(例えば、ヘッドオリエンテーション情報)、ビューポート情報など)。特に、ポイントクラウドコンテンツがユーザとの相互作用が必要なサービス(例えば、自律走行サービスなど)のためのものである場合には、フィードバック情報はコンテンツ送信側(例えば、送信装置１００００)及び／又はサービス供給者に伝達されることができる。実施例において、フィードバック情報は送信装置１００００だけではなく受信装置１０００４でも使用されることができ、提供されないこともできる。

【0040】

実施例によるヘッドオリエンテーション情報はユーザの頭の位置、方向、角度、動きなどに関する情報である。実施例による受信装置１０００４はヘッドオリエンテーション情報に基づいてビューポート情報を計算する。ビューポート情報はユーザが見ているポイントクラウドビデオの領域に関する情報である。視点(ｖｉｅｗｐｏｉｎｔ)はユーザがポイントクラウドビデオを見ている点であり、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とする領域であり、領域のサイズ、形態などはＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)により決定される。従って、受信装置１０００４はヘッドオリエンテーション情報以外に、装置が支援する垂直(ｖｅｒｔｉｃａｌ)或いは水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート情報を抽出することができる。また受信装置１０００４はゲイズ分析(Ｇａｚｅ Ａｎａｌｙｓｉｓ)などを行って、ユーザのポイントクラウド消費方式、ユーザが凝視するポイントクラウドビデオ領域、凝視時間などを確認する。実施例において、受信装置１０００４はゲイズ分析の結果を含むフィードバック情報を送信装置１００００に送信することができる。実施例によるフィードバック情報はレンダリング及び／又はディスプレイ過程で得られる。実施例によるフィードバック情報は受信装置１０００４に含まれた一つ又はそれ以上のセンサにより確保される。また実施例において、フィードバック情報はレンダラー１０００７又は別の外部エレメント(又はデバイス、コンポーネントなど)により確保される。図１に示された点線はレンダラー１０００７で確保したフィードバック情報の伝達過程を示す。ポイントクラウドコンテンツ提供システムはフィードバック情報に基づいてポイントクラウドデータを処理(符号化／復号)する。従って、ポイントクラウドビデオデータデコーダ１０００６はフィードバック情報に基づいて復号の動作を行うことができる。また受信装置１０００４はフィードバック情報を送信装置１００００に送信することができる。送信装置１００００(又はポイントクラウドビデオデータエンコーダ１０００２)はフィードバック情報に基づいて符号化の動作を行うことができる。従って、ポイントクラウドコンテンツ提供システムは全てのポイントクラウドデータを処理(符号化／復号)せず、フィードバック情報に基づいて必要なデータ(例えば、ユーザのヘッド位置に対応するポイントクラウドデータ)を効率的に処理して、ユーザにポイントクラウドコンテンツを提供することができる。

【0041】

実施例において、送信装置１００００はエンコーダ、送信デバイス、送信機などに呼ばれ、受信装置１０００４はデコーダ、受信デバイス、受信機などに呼ばれる。

【0042】

実施例による図１のポイントクラウドコンテンツ提供システムで処理される(獲得／符号化／送信／復号／レンダリングの一連の過程で処理される)ポイントクラウドデータは、ポイントクラウドコンテンツデータ又はポイントクラウドビデオデータとも呼ばれる。実施例において、ポイントクラウドコンテンツデータはポイントクラウドデータに関連するメタデータ或いはシグナリング情報を含む概念として使用することができる。

【0043】

図１に示したポイントクラウドコンテンツ提供システムのエレメントは、ハードウェア、ソフトウェア、プロセッサ及び／又はこれらの組み合わせなどで具現される。

【0044】

図２は実施例によるポイントクラウドコンテンツ提供の動作を示すブロック図である。

【0045】

図２は図１で説明したポイントクラウドコンテンツ提供システムの動作を示すブロック図である。上述したように、ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディング(例えば、Ｇ－ＰＣＣ)に基づいてポイントクラウドデータを処理する。

【0046】

実施例によるポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)では、ポイントクラウドビデオを獲得する(２００００)。ポイントクラウドビデオは３次元空間を表現する座標系に属するポイントクラウドで表現される。実施例によるポイントクラウドビデオはＰｌｙ(Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａt)ファイルを含む。ポイントクラウドビデオが一つ又はそれ以上のフレームを有する場合、獲得したポイントクラウドビデオは一つ又はそれ以上のＰｌｙファイルを含む。Ｐｌｙファイルはポイントのジオメトリ(Ｇｅｏｍｅｔｒｙ)及び／又は特質(Ａｔｔｒｉｂｕｔｅ)のようなポイントクラウドデータを含む。ジオメトリはポイントの位置を含む。それぞれのポイントの位置は３次元座標系(例えば、ＸＹＺ軸からなる座標系など)を示すパラメータ(例えば、Ｘ軸、Ｙ軸、Ｚ軸それぞれの値)で表現される。特質はポイントの特質(例えば、それぞれのポイントのテクスチャ情報、色相(ＹＣｂＣｒ又はＲＧＢ)、反射率(ｒ)、透明度など)を含む。一つのポイントは一つ又はそれ以上の特質(又は属性)を有する。例えば、一つのポイントは、色相の一つの特質を有するか、或いは色相及び反射率の二つの特質を有することができる。実施例において、ジオメトリは位置、ジオメトリ情報、ジオメトリデータなどとも呼ばれ、特質は特質、特質情報、特質データなどとも呼ばれる。またポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)は、ポイントクラウドビデオの獲得過程に関連する情報(例えば、深さ情報、色相情報など)からポイントクラウドデータを確保することができる。

【0047】

実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又はポイントクラウドビデオエンコーダ１０００２)は、ポイントクラウドデータを符号化する(２０００１)。ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディングに基づいてポイントクラウドデータを符号化する。上述したように、ポイントクラウドデータはポイントのジオメトリ及び特質を含む。よって、ポイントクラウドコンテンツ提供システムは、ジオメトリを符号化するジオメトリ符号化を行ってジオメトリビットストリームを出力することができる。ポイントクラウドコンテンツ提供システムは、特質を符号化する特質符号化を行って特質ビットストリームを出力することができる。実施例において、ポイントクラウドコンテンツ提供システムはジオメトリ符号化に基づいて特質符号化を行うことができる。実施例によるジオメトリビットストリーム及び特質ビットストリームは多重化されて一つのビットストリームで出力される。実施例によるビットストリームはジオメトリ符号化及び特質符号化に関連するシグナリング情報をさらに含む。

【0048】

実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又は送信機１０００３)は、符号化されたポイントクラウドデータを送信する(２０００２)。図１で説明したように、符号化されたポイントクラウドデータはジオメトリビットストリーム、特質ビットストリームで表現される。また符号化されたポイントクラウドデータはポイントクラウドデータの符号化に関連するシグナリング情報(例えば、ジオメトリ符号化及び特質符号化に関連するシグナリング情報)と共に、ビットストリームの形態で送信される。またポイントクラウドコンテンツ提供システムは符号化されたポイントクラウドデータを送信するビットストリームをカプセル化してファイル又はセグメントの形態で送信する。

【0049】

実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、符号化されたポイントクラウドデータを含むビットストリームを受信する。またポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、ビットストリームを逆多重化することができる。

【0050】

ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームで送信される符号化されたポイントクラウドデータ(例えば、ジオメトリビットストリーム、特質ビットストリーム)を復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームに含まれたポイントクラウドビデオデータの符号化に関連するシグナリング情報に基づいてポイントクラウドビデオデータを復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ジオメトリビットストリームを復号してポイントの位置(ジオメトリ)を復元する。ポイントクラウドコンテンツ提供システムは、復元したジオメトリに基づいて特質ビットストリームを復号してポイントの特質を復元する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、復元されたジオメトリによる位置及び復号された特質に基づいてポイントクラウドビデオを復元する。

【0051】

実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号されたポイントクラウドデータをレンダリングする(２０００４)。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号過程で復号されたジオメトリ及び特質を様々なレンダリング方式によってレンダリングする。ポイントクラウドコンテンツのポイントは、一定の厚さを有する定点、該当定点の位置を中央とする所定の最小サイズを有する立方体、又は定点の位置を中央とする円などにレンダリングされる。レンダリングされたポイントクラウドコンテンツの全部又は一部の領域はディスプレイ(例えば、ＶＲ／ＡＲディスプレイ、一般ディスプレイなど)によりユーザに提供される。

【0052】

実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４)は、フィードバック情報を確保することができる(２０００５)。ポイントクラウドコンテンツ提供システムは、フィードバック情報に基づいてポイントクラウドデータを符号化及び／又は復号する。実施例によるフィードバック情報及びポイントクラウドコンテンツ提供システムの動作は、図１で説明したフィードバック情報及び動作と同一であるので、具体的な説明は省略する。

【0053】

図３は実施例によるポイントクラウドビデオキャプチャー過程の一例を示す図である。

【0054】

図３は図１及び図２で説明したポイントクラウドコンテンツ提供システムのポイントクラウドビデオキャプチャー過程の一例を示す。

【0055】

ポイントクラウドコンテンツは、様々な３次元空間(例えば、現実環境を示す３次元空間、仮想環境を示す３次元空間など)に位置するオブジェクト(ｏｂｊｅｃｔ)及び／又は環境を示すポイントクラウドビデオ(イメージ及び／又は映像)を含む。従って、実施例によるポイントクラウドコンテンツ提供システムは、ポイントクラウドコンテンツを生成するために一つ又はそれ以上のカメラ(例えば、深さ情報を確保できる赤外線カメラ、深さ情報に対応する色相情報を抽出できるＲＧＢカメラなど)、プロジェクト(例えば、深さ情報を確保するための赤外線パターンプロジェクターなど)、ＬｉＤＡＲなどを使用してポイントクラウドビデオをキャプチャーする。実施例によるポイントクラウドコンテンツ提供システムは、深さ情報から３次元空間上のポイントで構成されたジオメトリの形態を抽出し、色相情報からそれぞれのポイントの特質を抽出してポイントクラウドデータを確保する。実施例によるイメージ及び／又は映像は内向き(ｉｎｗａｒｄ－ｆａｃｉｎｇ)方式及び外向き(ｏｕｔｗａｒｄ－ｆａｃｉｎｇ)方式のうちのいずれかに基づいてキャプチャーされる。

【0056】

図３の左側には内向き方式が示されている。内向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトをキャプチャーする方式である。内向き方式は核心客体に対する３６０°イメージをユーザに提供するポイントクラウドコンテンツ(例えば、ユーザに客体(例：キャラクター、選手、品物、俳優などの核心となる客体)の３６０°イメージを提供するＶＲ／ＡＲコンテンツ)を生成するために使用される。

【0057】

図３の右側には外向き方式が示されている。外向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトではない中心オブジェクトの環境をキャプチャーする方式である。外向き方式はユーザの視点からの周辺環境を提供するためのポイントクラウドコンテンツ(例えば、自律走行車両のユーザに提供される外部環境を示すコンテンツ)を生成するために使用される。

【0058】

図示したように、ポイントクラウドコンテンツは一つ又はそれ以上のカメラのキャプチャー動作に基づいて生成される。この場合、それぞれのカメラの座標系が異なるので、ポイントクラウドコンテンツ提供システムはキャプチャー動作前にグローバル空間座標系(ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)を設定するために、一つ又はそれ以上のカメラの較正(ｃａｌｉｂｒａｔｉｏｎ)を行う。またポイントクラウドコンテンツ提供システムは、上述したキャプチャー方式でキャプチャーされたイメージ及び／又は映像と任意のイメージ及び／又は映像を合成してポイントクラウドコンテンツを生成する。またポイントクラウドコンテンツ提供システムは、仮想空間を示すポイントクラウドコンテンツを生成する場合、図３で説明したキャプチャー動作を行わない。実施例によるポイントクラウドコンテンツ提供システムは、キャプチャーしたイメージ及び／又は映像に対して後処理を行うこともできる。即ち、ポイントクラウドコンテンツ提供システムは、望まない領域(例えば、背景)を除去したり、キャプチャーしたイメージ及び／又は映像が連結された空間を認識して空間(ｓｐａｔｉａｌ ｈｏｌｅ)がある場合、それを埋める動作を行うことができる。

【0059】

またポイントクラウドコンテンツ提供システムは、それぞれのカメラから確保したポイントクラウドビデオのポイントに対して座標系変換を行って、一つのポイントクラウドコンテンツを生成することができる。ポイントクラウドコンテンツ提供システムは、それぞれのカメラの位置座標を基準としてポイントの座標系変換を行う。これにより、ポイントクラウドコンテンツ提供システムは、一つの広い範囲を示すコンテンツを生成するか、或いはポイントの密度が高いポイントクラウドコンテンツを生成することができる。

【0060】

図４は実施例によるポイントクラウドエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｅｎｃｏｄｅｒ)の一例を示す図である。

【0061】

図４は図１のポイントクラウドビデオエンコーダ１０００２の一例を示す。ポイントクラウドエンコーダは、ネットワーク状況或いはアプリケーションなどによってポイントクラウドコンテンツの質(例えば、無損失－ｌｏｓｓｌｅｓｓ、損失－ｌｏｓｓｙ、損失に近い－ｎｅａｒ－ｌｏｓｓｌｅｓｓ)を調節するために、ポイントクラウドデータ(例えば、ポイントの位置及び／又は特質)を再構成して符号化動作を行う。ポイントクラウドコンテンツの全体サイズが大きい場合(例えば、３０ｆｐｓの場合、６０Ｇｂｐｓであるポイントクラウドコンテンツ)、ポイントクラウドコンテンツ提供システムは該当コンテンツをリアルタイムストリーミングすることができない。従って、ポイントクラウドコンテンツ提供システムは、ネットワーク環境などに合わせて提供するために、最大ターゲットビットレートに基づいてポイントクラウドコンテンツを再構成することができる。

【0062】

図１及び図２に示したように、ポイントクラウドエンコーダはジオメトリ符号化及び特質符号化を行うことができる。ジオメトリ符号化は特質符号化よりも先に行われる。

【0063】

実施例によるポイントクラウドエンコーダは、座標系変換部(Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｃｏｏｒｄｉｎａｔｅｓ)４００００、量子化部(Ｑｕａｎｔｉｚｅ ａｎｄ Ｒｅｍｏｖｅ Ｐｏｉｎｔｓ(Ｖｏｘｅｌｉｚｅ))４０００１、八分木分析部(Ａｎａｌｙｚｅ Ｏｃｔｒｅｅ)４０００２、表面近似分析部(Ａｎａｌｙｚｅ Ｓｕｒｆａｃｅ Ａｐｐｒｏｘｉｍａｔｉｏｎ)４０００３、演算エンコーダ(Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅ)４０００４、ジオメトリ再構成部(Ｒｅｃｏｎｓｔｒｕｃｔ Ｇｅｏｍｅｔｒｙ)４０００５、色変換部(Ｔｒａｎｓｆｏｒｍ Ｃｏｌｏｒｓ)４０００６、特質変換部(Ｔｒａｎｓｆｅｒ Ａｔｔｒｉｂｕｔｅｓ)４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部(Ｇｅｎｅｒａｔｅｄ ＬＯＤ)４０００９、リフト変換部(Ｌｉｆｔｉｎｇ)４００１０、係数量子化部(Ｑｕａｎｔｉｚｅ Ｃｏｅｆｆｉｃｉｅｎｔｓ)４００１１及び／又は演算エンコーダ(Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅ)４００１２を含む。

【0064】

座標系変換部４００００、量子化部４０００１、八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダ４０００４及びジオメトリ再構成部４０００５は、ジオメトリ符号化を行うことができる。実施例によるジオメトリ符号化は、八分木ジオメトリコーディング、ダイレクトコーディング(ｄｉｒｅｃｔ ｃｏｄｉｎｇ)、ｔｒｉｓｏｕｐジオメトリ符号化(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)及びエントロピー符号化を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に或いは組み合わせて適用される。なお、ジオメトリ符号化は上記の例示に限られない。

【0065】

図示したように、実施例による座標系変換部４００００は、位置を受信して座標系(ｃｏｏｒｄｉｎａｔｅ)に変換する。例えば、位置は３次元空間(例えば、ＸＹＺ座標系で表現される３次元空間など)の位置情報に変換される。実施例による３次元空間の位置情報はジオメトリ情報とも称される。

【0066】

実施例による量子化部４０００１はジオメトリを量子化する。例えば、量子化部４０００１は全体ポイントの最小位置値(例えば、Ｘ軸、Ｙ軸、Ｚ軸に対して各軸上の最小値)に基づいてポイントを量子化する。量子化部４０００１は最小の位置値とそれぞれのポイントの位置値との差に所定の量子スケール(ｑｕａｔｉｚａｔｉｏｎ ｓｃａｌｅ)値を掛けた後、切り下げ又は切り上げをして最も近い整数値を探す量子化動作を行う。従って、一つ又はそれ以上のポイントは同一の量子化された位置(又は位置値)を有することができる。実施例による量子化部４０００１は量子化されたポイントを再構成するために、量子化された位置に基づいてボクセル化(ｖｏｘｅｌｉｚａｔｉｏｎ)を行う。２次元イメージ／ビデオ情報を含む最小単位はピクセル(ｐｉｘｅｌ)のように、実施例によるポイントクラウドコンテンツ(又は３次元ポイントクラウドビデオ)のポイントは一つ又はそれ以上のボクセル(ｖｏｘｅｌ)に含まれる。ボクセルはボリューム(Ｖｏｌｕｍｅ)とピクセル(Ｐｉｘｅｌ)を組み合わせた言葉であり、３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。量子化部４０００１は３次元空間のポイントのグループをボクセルでマッチングすることができる。実施例において、一つのボクセルは一つのポイントのみを含むことができる。実施例において、一つのボクセルは一つ又はそれ以上のポイントを含む。また一つのボクセルを一つのポイントで表現するために、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて、該当ボクセルの中央点(ｃｅｔｅｒ)の位置を設定することができる。この場合、一つのボクセルに含まれた全ての位置の特質が統合されて(ｃｏｍｂｉｎｅｄ)、該当ボクセルに割り当てられる。

【0067】

実施例による八分木分析部４０００２は、ボクセルを八分木構造で表すための八分木ジオメトリコーディング(又は八分木コーディング)を行う。八分木構造は八分割構造に基づいてボクセルにマッチングされたポイントを表現する。

【0068】

実施例による表面近似分析部４０００３は、八分木を分析して近似化する。実施例による八分木分析及び近似化は、八分木及びボクセル化を効率的に提供するために、多数のポイントを含む領域をボクセル化するために分析を行う過程である。

【0069】

実施例による演算エンコーダ４０００４は、八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。符号化の結果としてジオメトリビットストリームが生成される。

【0070】

色変換部４０００６、特質変換部４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９、リフト変換部４００１０、係数量子化部４００１１及び／又は演算エンコーダ４００１２は、特質符号化を行う。上述したように、一つのポイントは一つ又はそれ以上の特質を有する。実施例による特質符号化は、一つのポイントが有する特質に対して等しく適用される。但し、一つの特質(例えば、色相)が一つ又はそれ以上の要素を含む場合は、各要素ごとに独立した特質符号化が適用される。実施例による特質符号化は、色変換コーディング、特質変換コーディング、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)コーディング、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)コーディング及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ（Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))コーディングを含む。ポイントクラウドコンテンツによって、上述したＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングが選択的に使用されるか、又は一つ又はそれ以上のコーディングの組み合わせが使用される。また実施例による特質符号化は上述した例示に限られない。

【0071】

実施例による色変換部４０００６は、特質に含まれた色値(又はテクスチャ)を変換する色変換コーディングを行う。例えば、色変換部４０００６は色相情報のフォーマットを変換(例えば、ＲＧＢからＹＣｂＣｒに変換)する。実施例による色変換部４０００６の動作は、特質に含まれた色値によって任意に(ｏｐｔｉｏｎａｌ)適用される。

【0072】

実施例によるジオメトリ再構成部４０００５は、八分木及び／又は近似化した八分木を再構成(復元)する。ジオメトリ再構成部４０００５はポイントの分布を分析した結果に基づいて八分木／ボクセルを再構成する。再構成された八分木／ボクセルは再構成されたジオメトリ(又は復元されたジオメトリ)とも呼ばれる。

【0073】

実施例による特質変換部４０００７は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。上述したように、特質はジオメトリに従属するので、特質変換部４０００７は再構成されたジオメトリ情報に基づいて特質を変換することができる。例えば、特質変換部４０００７は、ボクセルに含まれたポイントの位置値に基づいてその位置のポイントが有する特質を変換することができる。上述したように、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて該当ボクセルの中央点の位置が設定される場合、特質変換部４０００７は一つ又はそれ以上のポイントの特質を変換する。ｔｒｉｓｏｕｐジオメトリ符号化が行われた場合、特質変換部４０００７はｔｒｉｓｏｕｐジオメトリ符号化に基づいて特質を変換することができる。

【0074】

特質変換部４０００７は、各ボクセルの中央点の位置(又は位置値)から特定の位置／半径内に隣接しているポイントの特質又は特質値(例えば、各ポイントの色相、又は反射率など)の平均値を計算して特質変換を行う。特質変換部４０００７は平均値の計算時、中央点から各ポイントまでの距離による加重値を適用する。従って、各ボクセルは位置及び計算された特質(又は特質値)を有する。

【0075】

特質変換部４０００７はＫ－Ｄツリー又はモールトンコード(ｍｏｕｌｔｏｎ ｃｏｄｅ)に基づいて各ボクセルの中央点の位置から特定の位置／半径内に存在する隣接ポイントを探索する。Ｋ－Ｄツリーは二分探索木(ｂｉｎａｒｙ ｓｅａｒｃｈ ｔｒｅｅ)で迅速に最短隣接点探索(Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｓｅａｒｃｈ－ＮＮＳ)をできるように、ポイントを位置基盤に管理する資料構造を支援する。モールトンコードは全てのポイントの３次元位置を示す座標値(例えば、(ｘ，ｙ，ｚ))をビット値で示し、ビットを混ぜて生成される。例えば、ポイントの位置を示す座標値が(５，９，１)であると、座標値のビット値は(０１０１、１００１、０００１)である。ビット値をｚ、ｙ、ｘの順にビットインデックスに合わせて混ぜると、０１０００１０００１１１である。この値を１０進数で示すと１０９５になる。即ち、座標値が(５，９，１)であるポイントのモールトンコード値は１０９５である。特質変換部４０００７はモールトンコード値を基準としてポイントを整列し、ｄｅｐｔｈ－ｆｉｒｓｔ ｔｒａｖｅｒｓａｌ過程により最短隣接点探索(ＮＮＳ)を行う。特質変換動作後、特質コーディングのための他の変換過程でも最短隣接点探索(ＮＮＳ)が必要であれば、Ｋ－Ｄツリー又はモールトンコードが活用される。

【0076】

図示したように、変換された特質はＲＡＨＴ変換部４０００８及び／又はＬＯＤ生成部４０００９に入力される。

【0077】

実施例によるＲＡＨＴ変換部４０００８は、再構成されたジオメトリ情報に基づいて特質情報を予測するＲＡＨＴコーディングを行う。例えば、ＲＡＨＴ変換部４０００８は、八分木の下位レベルにあるノードに連関する特質情報に基づいて、八分木の上位レベルにあるノードの特質情報を予測することができる。

【0078】

実施例によるＬＯＤ生成部４０００９は予測変換コーディングを行うために、ＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)を生成する。実施例によるＬＯＤはポイントクラウドコンテンツの詳細を示す程度であり、ＬＯＤ値が小さいほどポイントクラウドコンテンツの詳細が下がり、ＬＯＤ値が大きいほどポイントクラウドコンテンツの詳細が高いことが示されている。ポイントをＬＯＤによって分類できる。

【0079】

実施例によるリフト変換部４００１０は、ポイントクラウドの特質を加重値に基づいて変換するリフト変換コーディングを行う。上述したように、リフト変換コーディングは選択的に適用される。

【0080】

実施例による係数量子化部４００１１は、特質コーディングされた特質を係数に基づいて量子化する。

【0081】

実施例による演算エンコーダ４００１２は、量子化された特質を演算コーディングに基づいて符号化する。

【0082】

図４のポイントクラウドエンコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能のうち、いずれか一つを行うことができる。また、一つ又はそれ以上のプロセッサは、図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行することができる。実施例による一つ又はそれ以上のメモリは高速ランダムアクセスメモリを含むか、又は非揮発性メモリ(例えば、一つ又はそれ以上のマグネチックディスク格納デバイス、フラッシュメモリデバイス、又は他の非揮発性固体のメモリデバイス(Ｓｏｌｉｄ－ｓｔａｔｅ ｍｅｍｏｒｙ ｄｅｖｉｃｅｓ)など)を含む。

【0083】

図５は実施例によるボクセルの一例を示す図である。

【0084】

図５はＸ軸、Ｙ軸、Ｚ軸の３つの軸で構成された座標系で表現される３次元空間上に位置するボクセルを示す。図４に示すように、ポイントクラウドエンコーダ(例えば、量子化部４０００１など)はボクセル化を行う。ボクセルは３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。図５は２つの極点(０,０,０)及び(２^d、２^d、２^d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)する八分木構造により生成されたボクセルの一例を示す。一つのボクセルは少なくとも一つ以上のポイントを含む。ボクセルはボクセル群(ｖｏｘｅｌ ｇｒｏｕｐ)との位置関係から空間座標を推定することができる。上述したように、ボクセルは２次元イメージ／映像のピクセルと同様に、特質(色相又は反射率など)を有する。ボクセルに対する具体的な説明は図４で説明した通りであるので、省略する。

【0085】

図６は実施例による八分木及び占有コード(ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)の一例を示す図である。

【0086】

図１ないし図４に示したように、ポイントクラウドコンテンツ提供システム(ポイントクラウドビデオエンコーダ１０００２)又はポイントクラウドエンコーダ(例えば、八分木分析部４０００２)は、ボクセルの領域及び／又は位置を効率的に管理するために、八分木構造基盤の八分木ジオメトリコーディング(又は八分木コーディング)を行う。

【0087】

図６の上側は八分木構造を示している。実施例によるポイントクラウドコンテンツの３次元空間は座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)で表現される。八分木構造は２つの極点(０,０,０)及び(２^d、２^d、２^d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)して生される。２ｄはポイントクラウドコンテンツ(又はポイントクラウドビデオ)の全体ポイントを取り囲む最小の境界ボックスを構成する値で設定される。ｄは八分木の深さを示す。ｄ値は以下の式により決定される。以下の式において、(ｘ^int _n、ｙ^int _n、ｚ^int _n)は量子化されたポイントの位置(又は位置値)を示す。

【0088】

【0089】

図６の上側中央に示したように、分割によって全体３次元空間は８つの空間に分かれる。分割されたそれぞれの空間は６つの面を有するキューブで表現される。図６の右上側に示したように、８つの空間はそれぞれ再び座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)により分かれる。よって、それぞれの空間は再び８つの小さい空間に分かれる。分割された小さい空間も６つの面を有するキューブで表現される。このような分割方式は八分木のリーフノード(ｌｅａｆ ｎｏｄｅ)がボクセルになるまで適用される。

【0090】

図６の下側は八分木の占有コードを示す。八分木の占有コードは一つの空間が分かれて発生する８つの分割空間がそれぞれ少なくとも一つのポイントを含むか否かを示すために生成される。従って、一つの占有コードは８つの子ノード(ｃｈｉｌｄ ｎｏｄｅ)で表現される。それぞれの子ノードは分割された空間の占有率(ｏｃｃｕｐａｎｃｙ)を示し、子ノードは１ビットの値を有する。従って、占有コードは８ビットコードで表現される。即ち、子ノードに対応する空間に少なくとも一つのポイントが含まれていると、該当ノードは１値を有する。ノードに対応する空間にポイントが含まれていないと(ｅｍｐｔｙ)、該当ノードは０値を有する。図６に示した占有コードは００１００００１であるので、８つの子ノードのうち、３番目の子ノード及び８番目の子ノードに対応する空間はそれぞれ少なくとも一つのポイントを含むことを示している。図示したように、３番目の子ノード及び８番目の子ノードはそれぞれ８つの子ノードを有し、それぞれの子ノードは８ビットの占有コードで表現される。図面では、３番目の子ノードの占有コードが１００００１１１であり、８番目の子ノードの占有コードが０１００１１１１であることを示している。実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４０００４)は占有コードをエントロピー符号化することができる。また圧縮効率を高めるために、ポイントクラウドエンコーダは占有コードをイントラ／インターコーディングすることができる。実施例による受信装置(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００６)は占有コードに基づいて八分木を再構成する。

【0091】

実施例によるポイントクラウドエンコーダ(例えば、図４のポイントクラウドエンコーダ、又は八分木分析部４０００２)は、ポイントの位置を格納するためにボクセル化及び八分木コーディングを行う。しかし、３次元空間内のポイントがいつも均一に分布していることではないので、ポイントが多く存在しない特定の領域が存在し得る。従って、３次元空間の全体に対してボクセル化を行うことは非効率的である。例えば、特定の領域にポイントがほぼ存在しないと、該当領域までボクセル化を行う必要はない。

【0092】

従って、実施例によるポイントクラウドエンコーダは、上述した特定の領域(又は八分木のリーフノードを除いたノード)についてはボクセル化を行わず、特定の領域に含まれたポイントの位置を直接コーディングするダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行う。実施例によるダイレクトコーディングポイントの座標は、ダイレクトコーディングモード(Ｄｉｒｅｃｔ Ｃｏｄｉｎｇ Ｍｏｄｅ、ＤＣＭ)と呼ばれる。また実施例によるポイントクラウドエンコーダは、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化(Ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)を行うことができる。ｔｒｉｓｏｕｐジオメトリ符号化はオブジェクトの表現を三角形メッシュ(ｔｒｉａｎｇｌｅ ｍｅｓｈ)のシリーズで表現するジオメトリ符号化である。従って、ポイントクラウドデコーダはメッシュ表面からポイントクラウドを生成することができる。実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に行われる。また実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は八分木ジオメトリコーディング(又は八分木コーディング)と結合して行うことができる。

【0093】

ダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行うためには、ダイレクトコーディングを適用するための直接モード(ｄｉｒｅｃｔ ｍｏｄｅ)の使用オプションが活性化されている必要があり、ダイレクトコーディングを適用するノードはリーフノードではなく、特定のノード内に閾値(ｔｈｒｅｓｈｏｌｄ)以下のポイントが存在する必要がある。またダイレクトコーディングの対象となる全体ポイントの個数は所定の閾値を超えてはいけない。上記条件を満たすと、実施例によるポイントクラウドエンコーダ(又は演算エンコーダ４０００４)はポイントの位置(又は位置値)をエントロピーコーディングすることができる。

【0094】

実施例によるポイントクラウドエンコーダ(例えば、表面近似分析部４０００３)は、八分木の特定のレベルを定め(レベルは八分木の深さｄよりは小さい場合)、そのレベルからは表面モデルを使用してノード領域内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化を行うことができる(ｔｒｉｓｏｕｐモード)。実施例によるポイントクラウドエンコーダは、ｔｒｉｓｏｕｐジオメトリ符号化を適用するレベルを指定できる。例えば、指定されたレベルが八分木の深さと同一であると、ポイントクラウドエンコーダはｔｒｉｓｏｕｐモードで動作しない。即ち、実施例によるポイントクラウドエンコーダは指定されたレベルが八分木の深さ値よりも小さい場合にのみｔｒｉｓｏｕｐモードで動作することができる。実施例による指定されたレベルのノードの３次元立方体領域をブロック(ｂｌｏｃｋ)と呼ぶ。一つのブロックは一つ又はそれ以上のボクセルを含む。ブロック又はボクセルはブリック(ｂｒｉｃｋ)に対応することもできる。それぞれのブロック内においてジオメトリは表面(ｓｕｒｆａｃｅ)と表現される。実施例による表面は最大１回、ブロックの各エッジ(ｅｄｇｅ)と交差することができる。

【0095】

一つのブロックは１２つのエッジを有するので、一つのブロック内に少なくとも１２つの交差点が存在する。それぞれの交差点はバーテックス(ｖｅｒｔｅｘ、頂点又は頂上)と呼ばれる。エッジに沿って存在するバーテックスは該当エッジを共有する全てのブロックのうち、そのエッジに隣接する少なくとも一つの占有ボクセル(ｏｃｃｕｐｉｅｄ ｖｏｘｅｌ)がある場合に検知される。実施例による占有ボクセルはポイントを含むボクセルを意味する。エッジに沿って検出されたバーテックスの位置は、該当エッジを共有する全てのブロックのうち、該当エッジに隣接する全てのボクセルのエッジによる平均位置である(ｔｈｅ ａｖｅｒａｇｅ ｐｏｓｉｔｉｏｎ ａｌｏｎｇ ｔｈｅ ｅｄｇｅ ｏｆ ａｌｌ ｖｏｘｅｌｓ)。

【0096】

バーテックスが検出されると、実施例によるポイントクラウドエンコーダは、エッジの開始点(ｘ、ｙ、ｚ)、エッジの方向ベクトル(Δｘ、Δｙ、Δｚ)、バーテックス位置値(エッジ内の相対的位置値)をエントロピーコーディングすることができる。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、実施例によるポイントクラウドエンコーダ(例えば、ジオメトリ再構成部４０００５)は三角形再構成(ｔｒｉａｎｇｌｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)、アップ－サンプリング(ｕｐ－ｓａｍｐｌｉｎｇ)、ボクセル化過程を行って復元されたジオメトリ(再構成されたジオメトリ)を生成することができる。

【0097】

【0098】

【0099】

加えられた値の最小値を求め、最小値がある軸に沿って投影(Ｐｒｏｊｅｃｔｉｏｎ)過程を行う。例えば、ｘ要素(ｅｌｅｍｅｎｔ)が最小である場合、各バーテックスをブロックの中心を基準としてｘ軸に投影し、(ｙ，ｚ)平面に投影させる。(ｙ，ｚ)平面に投影させて得た値が(ａｉ，ｂｉ)であれば、ａｔａｎ２(ｂｉ、ａｉ)によりθ値を求め、θ値を基準としてバーテックスを整列する。以下の表はバーテックスの個数によって三角形を生成するためのバーテックスの組み合わせを示している。バーテックスは１からｎまで順に整列される。以下の表は４つのバーテックスに対して、バーテックスの組み合わせによって２つの三角形が構成されることを示している。１番目の三角形は整列されたバーテックスのうち、１、２、３番目のバーテックスで構成され、２番目の三角形は整列されたバーテックスのうち、３，４，１番目のバーテックスで構成される。

【0100】

表．Ｔｒｉａｎｇｌｅｓ ｆｏｒｍｅｄ ｆｒｏｍ ｖｅｒｔｉｃｅｓ ｏｒｄｅｒｅｄ １

【0101】

【表1】

【0102】

アップサンプリング過程は三角形のエッジに沿って中間に点を追加してボクセル化するために行われる。アップサンプリング係数(ｕｐｓａｍｐｌｉｎｇ ｆａｃｔｏｒ)とブロックの幅を基準として追加点を生成する。追加点はリファインドバーテックス(ｒｅｆｉｎｅｄ ｖｅｒｔｉｃｅ)と呼ばれる。実施例によるポイントクラウドエンコーダはリファインドバーテックスをボクセル化することができる。またポイントクラウドエンコーダはボクセル化された位置(又は位置値)に基づいて特質符号化を行うことができる。

【0103】

図７は実施例による隣接ノードパターンの一例を示す図である。

【0104】

ポイントクラウドビデオの圧縮効率を増加させるために、実施例によるポイントクラウドエンコーダはコンテキスト適応演算(ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ａｒｉｔｈｍｅｔｉｃ)コーディングに基づいてエントロピーコーディングを行う。

【0105】

図１ないし図６で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又は演算エンコーダ４０００４)は、占有コードをすぐエントロピーコーディングすることができる。またポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダは、現在ノードの占有コードと隣接ノードの占有率に基づいてエントロピー符号化(イントラ符号化)を行うか、又は以前フレームの占有コードに基づいてエントロピー符号化(インター符号化)を行うことができる。実施例によるフレームは、同時間に生成されたポイントクラウドビデオの集合を意味する。実施例によるイントラ符号化／インター符号化の圧縮効率は、参照する隣接ノードの個数によって異なる。ビットが大きくなると複雑になるが、一側に傾くようにして圧縮効率を高めることができる。例えば、３－ｂｉｔ ｃｏｎｔｅｘｔを有すると、２の３乗である８つの方法でコーディングする。分けてコーディングする部分は具現の複雑度に影響を及ぼす。従って、圧縮効率と複雑度の適正水準を合わせる必要がある。

【0106】

図７は隣接ノードの占有率に基づいて占有パターンを求める過程を示す。実施例によるポイントクラウドエンコーダは、八分木の各ノードの隣接ノードの占有率(ｏｃｃｕｐａｎｃｙ)を判断して隣接ノードパターン(ｎｅｉｇｈｂｏｒ ｐａｔｔｅｒｎ)値を得る。隣接ノードパターンは該当ノードの占有パターンを推論するために使用される。図７の左側はノードに対応するキューブ(真ん中に位置するキューブ)及び該当キューブと少なくとも一面を共有する６つのキューブ(隣接ノード)を示している。図示したノードは同じ深さのノードである。図示した数字は６つのノードとそれぞれ連関する加重値(１、２、４、８、１６、３２、など)を示す。各加重値は隣接ノードの位置によって順に付与される。

【0107】

図７の右側は隣接ノードパターン値を示す。隣接ノードパターン値は占有された隣接ノード(ポイントを有する隣接ノード)の加重値が掛けられた値の合計である。従って、隣接ノードパターン値は０から６３までの値を有する。隣接ノードパターン値が０であることは、該当ノードの隣接ノードのうち、ポイントを有するノード(占有ノード)がないことを意味する。隣接ノードパターン値が６３であることは、隣接ノードが全て占有ノードであることを意味する。図示したように、加重値１、２、４、８が付与された隣接ノードは占有ノードであるので、隣接ノードパターン値は１、２、４、８を併せた値である１５である。ポイントクラウドエンコーダは隣接ノードパターン値によってコーディングを行うことができる(例えば、隣接ノードパターン値が６３である場合、６４つのコーディングを行う)。実施例においてポイントクラウドエンコーダは隣接ノードパターン値を変更して(例えば、６４を１０又は６に変更するテーブルに基づく)、コーディングの複雑度を減らすことができる。

【0108】

図８は実施例によるＬＯＤごとのポイント構成の一例を示す図である。

【0109】

図１ないし図７で説明したように、特質符号化が行われる前、符号化されたジオメトリは再構成(復元)される。ダイレクトコーディングが適用された場合、ジオメトリ再構成の動作はダイレクトコーディングされたポイントの配置を変更することを含む(例えば、ダイレクトコーディングされたポイントをポイントクラウドデータの前方に配置)。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、ジオメトリ再構成の過程は三角形再構成、アップサンプリング、ボクセル化の過程を特質はジオメトリに従属するので、特質符号化は再構成されたジオメトリに基づいて行われる。

【0110】

ポイントクラウドエンコーダ(例えば、ＬＯＤ生成部４０００９)はポイントをＬＯＤごとに分類する(ｒｅｏｒｇａｎｉｚａｔｉｏｎ)。図面はＬＯＤに対応するポイントクラウドコンテンツを示す。図において左側はオリジナルポイントクラウドコンテンツを示す。図において左側から２番目は最低ＬＯＤのポイントの分布を示し、最右側は最高ＬＯＤのポイントの分布を示す。即ち、最低ＬＯＤのポイントは粗い(ｓｐａｒｓｅ)分布であり、最高ＬＯＤのポイントは細かい分布である。即ち、図面の下側に示された矢印方向に沿ってＬＯＤが増加するほどポイント間の間隔(又は距離)は短くなる。

【0111】

図９は実施例によるＬＯＤごとのポイント構成の一例を示す図である。

【0112】

図１ないし図８で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又はＬＯＤ生成部４０００９)はＬＯＤを生成する。ＬＯＤはポイントを設定されたＬＯＤ距離値(又はユークリッド距離(Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ)のセット)によって改良レベル(ｒｅｆｉｎｅｍｅｎｔ ｌｅｖｅｌｓ)のセットで再整列して生成される。ＬＯＤ生成過程はポイントクラウドエンコーダだけではなく、ポイントクラウドデコーダでも行われる。

【0113】

図９の上側は３次元空間に分布されたポイントクラウドコンテンツのポイントの一例(Ｐ０～Ｐ９)を示す。図９のオリジナルオーダー(Ｏｒｉｇｉｎａｌ ｏｒｄｅｒ)はＬＯＤ生成前のポイントＰ０～Ｐ９の順を示す。図９のＬｏＤ基盤のオーダー(ＬＯＤ ｂａｓｅｄ ｏｒｄｅｒ)はＬＯＤ生成によるポイントの順を示す。ポイントはＬＯＤごとに再整列される。また高いＬＯＤは低いＬＯＤに属するポイントを含む。図９に示すように、ＬＯＤ０はＰ０、Ｐ５、Ｐ４及びＰ２を含む。ＬＯＤ１はＬＯＤ０のポイントとＰ１、Ｐ６及びＰ３を含む。ＬＯＤ２はＬＯＤ０のポイント、ＬＯＤ１のポイント及びＰ９、Ｐ８及びＰ７を含む。

【0114】

図４で説明したように、実施例によるポイントクラウドエンコーダは予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングを選択的に又は組み合わせて行うことができる。

【0115】

実施例によるポイントクラウドエンコーダは、ポイントに対する予測機(ｐｒｅｄｉｃｔｏｒ)を生成して各ポイントの予測特質(又は予測特質値)を設定するための予測変換コーディングを行う。即ち、Ｎ個のポイントに対してＮ個の予測機が生成される。実施例による予測機は各ポイントのＬＯＤ値とＬＯＤごとに設定された距離内に存在する隣接ポイントに対するインデックス情報及び隣接ポイントまでの距離値に基づいて加重値(＝１／距離)を計算することができる。

【0116】

実施例による予測特質(又は特質値)は、各ポイントの予測機に設定された隣接ポイントの特質(又は特質値、例えば、色相、反射率など)に各隣接ポイントまでの距離に基づいて計算された加重(又は加重値)を掛けた値の平均値で設定される。実施例によるポイントクラウドエンコーダ(例えば、係数量子化部４００１１)は、各ポイントの特質(特質値)から予測特質(特質値)を引いた残余値(ｒｅｓｉｄｕａｌｓ、残余特質、残余特質値、特質予測残余値などとも呼ばれる)を量子化(ｑｕａｔｉｚａｔｉｏｎ)及び逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)することができる。量子化過程は以下の表の通りである。

【0117】

Ａｔｔｒｉｂｕｔｅ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｉｄｕａｌｓ ｑｕａｎｔｉｚａｔｉｏｎ ｐｓｅｕｄｏ ｃｏｄｅ

【0118】

【表2】

【0119】

Ａｔｔｒｉｂｕｔｅ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｉｄｕａｌｓ ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ ｐｓｅｕｄｏ Ｃｏｄｅ

【0120】

【表3】

【0121】

実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測機に隣接するポイントがあれば、上述したように、量子化及び逆量子化された残余値をエントロピーコーディングする。実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測機に隣接するポイントがないと、上述した過程を行わず、該当ポイントの特質をエントロピーコーディングする。実施例によるポイントクラウドエンコーダ(例えば、リフト変換部４００１０)は、各ポイントの予測機を生成し、予測機に計算されたＬＯＤを設定及び隣接ポイントを登録し、隣接ポイントまでの距離による加重値を設定してリフト変換コーディングを行う。実施例によるリフト変換コーディングは、上述した測変換コーディングと類似するが、特質値に加重値を累積適用するという点で差がある。実施例による特質値に加重値を累積適用する過程は以下の通りである。

【0122】

１）各ポイントの加重値を貯蔵する配列ＱＷ(ＱｕａｎｔｉｚａｔｉｏｎＷｉｅｇｈｔ)を生成する。ＱＷの全ての要素の初期値は１.０である。予測機に登録された隣接ノードの予測機インデックスのＱＷ値に現在ポイントの予測機の加重値を掛けた値を加える。

【0123】

２）リフト予測過程：予測された特質値を計算するために、ポイントの特質値に加重値を掛けた値を既存の特質値から引く。

【0124】

３）アップデートウェイト(ｕｐｄａｔｅｗｅｉｇｈｔ)及びアップデートという臨時配列を生成し、臨時配列を０に初期化する。

【0125】

４）全ての予測機に対して計算された加重値に予測機インデックスに該当するＱＷに貯蔵された加重値をさらに掛けて算出された加重値をアップデートウェイト配列に隣接ノードのインデックスとして累積して合算する。アップデート配列には隣接ノードのインデックスの特質値に算出された加重値を掛けた値を累積して合算する。

【0126】

５）リフトアップデート過程：全ての予測機に対して、アップデート配列の特質値を予測機インデックスのアップデートウェイト配列の加重値で割り、割った値に再び既存の特質値を加える。

【0127】

６）全ての予測機に対して、リフトアップデート過程でアップデートされた特質値にリフト予測過程でアップデートされた(ＱＷに貯蔵された)加重値をさらに掛けて予測特質値を算出する。実施例によるポイントクラウドエンコーダ(例えば、係数量子化部４００１１)は予測特質値を量子化する。またポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は量子化された特質値をエントロピーコーディングする。

【0128】

実施例によるポイントクラウドエンコーダ(例えば、ＲＡＨＴ変換部４０００８)は、八分木の下位レベルのノードに連関する特質を使用して上位レベルのノードの特質を予測するＲＡＨＴ変換コーディングを行う。ＲＡＨＴ変換コーディングは八分木バックワードスキャンによる特質イントラコーディングの一例である。実施例によるポイントクラウドエンコーダは、ボクセルから全体領域にスキャンし、各ステップもぽてボクセルをもっと大きいブロックに合わせながらルートノード(ｒｏｏｔ ｎｏｄｅ)までの併合過程を繰り返して行う。実施例による併合過程は、占有ノードのみについて行われる。空ノード(ｅｍｐｔｙ ｎｏｄｅ)については併合過程が行われず、空ノードの直上位ノードについて併合過程が行われる。

【0129】

以下の式はＲＡＨＴ変換行列を示す。

はレベルｌでのボクセル(ｖｏｘｅｌ)の平均特質値を示す。

は

と

から計算される。

と

の加重値は

と

である。

【0130】

【0131】

はローパス(ｌｏｗ－ｐａｓｓ)値であって、次の上位レベルでの併合過程で使用される。

はハイパス係数(ｈｉｇｈ－ｐａｓｓ ｃｏｅｆｆｉｃｉｅｎｔｓ)であって、各ステップでのハイパス係数は量子化されてエントロピーコーディングされる(例えば、計算エンコーダ４０００１２の符号化)。加重値は

により計算される。ルートノードは最後の

と

により以下のように生成される。

【0132】

【0133】

ｇＤＣ値もハイパス係数のように量子化されてエントロピーコーディングされる。

【0134】

図１０は実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す図である。

【0135】

図１０に示したポイントクラウドデコーダは、図１に示したポイントクラウドビデオデコーダ１０００６の一例であり、図１で説明したイントクラウドビデオデコーダ１０００６の動作などと同一又は類似する動作を行う。図示したように、ポイントクラウドデコーダは一つ又はそれ以上のビットストリーム(ｂｉｔｓｔｒｅａｍ)に含まれたジオメトリビットストリーム(ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ)及び特質ビットストリーム(Ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍ)を受信する。ポイントクラウドデコーダはジオメトリデコーダ(ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｅｒ)及び特質デコーダ(Ａｔｔｒｉｂｕｔｅ ｄｅｃｏｄｅｒ)を含む。ジオメトリデコーダはジオメトリビットストリームに対してジオメトリ復号を行って復号されたジオメトリ(ｄｅｃｏｄｅｄ ｇｅｏｍｅｔｒｙ)を出力する。特質デコーダは復号されたジオメトリ及び特質ビットストリームに基づいて特質復号を行って復号された特質(ｄｅｃｏｄｅｄ Ａｔｔｒｉｂｕｔｅs)を出力する。復号されたジオメトリ及び復号された特質はポイントクラウドコンテンツを復元(ｄｅｃｏｄｅｄ ｐｏｉｎｔ ｃｌｏｕｄ)するために使用される。

【0136】

図１１は実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す図である。

【0137】

図１１に示したポイントクラウドデコーダは図１０で説明したポイントクラウドデコーダの一例であり、図１ないし図９で説明したポイントクラウドエンコーダの符号化動作の逆過程である復号動作を行う。

【0138】

図１及び図１０で説明したように、ポイントクラウドデコーダはジオメトリ復号及び特質復号を行う。ジオメトリ復号は特質復号よりも先に行われる。

【0139】

実施例によるポイントクラウドデコーダは、演算デコーダ(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅ)１１０００、八分木合成部(ｓｙｎｔｈｅｓｉｚｅ ｏｃｔｒｅｅ)１１００１、表面近似合成部(ｓｙｎｔｈｅｓｉｚｅ ｓｕｒｆａｃｅ ａｐｐｒｏｘｉｍａｔｉｏｎ)１１００２、ジオメトリ再構成部(ｒｅｃｏｎｓｔｒｕｃｔ ｇｅｏｍｅｔｒｙ)１１００３、座標系逆変換部(ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｏｒｄｉｎａｔｅｓ)１１００４、演算デコーダ(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅ)１１００５、逆量子化部(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚｅ)１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部(ｇｅｎｅｒａｔｅ ＬＯＤ)１１００８、逆リフト部(Ｉｎｖｅｒｓｅ ｌｉｆｔｉｎｇ)１１００９及び／又は色逆変換部(ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｌｏｒｓ)１１０１０を含む。

【0140】

演算デコーダ１１０００、八分木合成部１１００１、表面近似合成部１１００２、ジオメトリ再構成部１１００３及び座標系逆変換部１１００４はジオメトリ復号を行う。実施例によるジオメトリ復号はダイレクトコーディング(ｄｉｒｅｃｔ ｃｏｄｉｎｇ)及びｔｒｉｓｏｕｐジオメトリ復号(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｉｎｇ)を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ復号は選択的に適用される。またジオメトリ復号は上記の例示に限られず、図１ないし図９で説明したジオメトリ符号化の逆過程で行われる。

【0141】

実施例による演算デコーダ１１０００は、受信したジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１１０００の動作は演算エンコーダ４０００４の逆過程に対応する。

【0142】

実施例による八分木合成部１１００１は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を生成する。占有コードに関する具体的な説明は図１ないし図９に説明した通りである。

【0143】

実施例による表面近似合成部１１００２は、ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、復号されたジオメトリ及び／又は生成された八分木に基づいて表面を合成する。

【0144】

実施例によるジオメトリ再構成部１１００３は、表面及び／又は復号されたジオメトリに基づいてジオメトリを再生成する。図１ないし図９で説明したように、ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に適用される。従って、ジオメトリ再構成部１１００３はダイレクトコーディングが適用されたポイントの位置情報を直接持ってきて追加する。また、ｔｒｉｓｏｕｐジオメトリ符号化が適用される場合、ジオメトリ再構成部１１００３はジオメトリ再構成部４０００５の再構成動作、例えば、三角形再構成、アップサンプリング、ボクセル化動作を行ってジオメトリを復元する。具体的な内容は図６で説明した通りであるので省略する。復元されたジオメトリは特質を含まないポイントクラウドピクチャ又はフレームを含む。

【0145】

実施例による座標系逆変換部１１００４は復元されたジオメトリに基づいて座標系を変換してポイントの位置を得る。

【0146】

演算デコーダ１１００５、逆量子化部１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９及び／又は色逆変換部１１０１０は、図１０で説明した特質復号を行う。実施例による特質復号は、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)復号、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)復号、及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ (Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))復号を含む。上記３つの復号は選択的に使用されるか、又は一つ又はそれ以上の復号の組み合わせが使用される。また実施例による特質復号は上述した例示に限られない。

【0147】

実施例による演算デコーダ１１００５は、特質ビットストリームを演算コーディングに復号する。

【0148】

実施例による逆量子化部１１００６は、復号された特質ビットストリーム又は復号結果確保した特質に関する情報を逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)して、逆量子化された特質(又は特質値)を出力する。逆量子化はポイントクラウドエンコーダの特質符号化に基づいて選択的に適用される。

【0149】

実施例においてＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。上述したように、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、ポイントクラウドエンコーダの符号化によってそれに対応する復号動作を選択的に行う。

【0150】

実施例による色逆変換部１１０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色逆変換部１１０１０の動作はポイントクラウドエンコーダの色変換部４０００６の動作に基づいて選択的に行われる。

【0151】

図１１のポイントクラウドデコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図１１のポイントクラウドデコーダのエレメント動作及び／又は機能のうちのいずれかを行う。また、一つ又はそれ以上のプロセッサは、図１１のポイントクラウドデコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行する。

【0152】

図１２は実施例による送信装置の一例を示す。

【0153】

図１２に示した送信装置は、図１の送信装置１００００(又は図４のポイントクラウドエンコーダ)の一例である。図１２に示した送信装置は、図１ないし図９で説明したポイントクラウドエンコーダの動作及び符号化方法と同一又は類似する動作及び方法のうちのいずれかを行う。実施例による送信装置は、データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５、演算コーダー１２００６、メタデータ処理部１２００７、色相変換処理部１２００８、特質変換処理部(又は属性変換処理部)１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０、演算コーダー１２０１１及び／又は送信処理部１２０１２を含む。

【0154】

実施例によるデータ入力部１２０００はポイントクラウドデータを受信又は獲得する。データ入力部１２０００はポイントクラウドビデオ獲得部１０００１の動作及び／又は獲得方法(又は図２に示した獲得過程２００００)と同一又は類似する動作及び／又は獲得方法を行う。

【0155】

データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５及び演算コーダー１２００６はジオメトリ符号化を行う。実施例によるジオメトリ符号化は、図１ないし図９で説明したジオメトリ符号化と同一又は類似するので、具体的な説明は省略する。

【0156】

実施例による量子化処理部１２００１は、ジオメトリ(例えば、ポイントの位置値、又はポジション値)を量子化する。量子化処理部１２００１の動作及び／又は量子化は、図４に示した量子化部４０００１の動作及び／又は量子化と同一又は類似する。具体的な説明は図１ないし図９に説明した通りである。

【0157】

実施例によるボクセル化処理部１２００２は、量子化されたポイントの位置値をボクセル化する。ボクセル化処理部１２０００２は図４に示した量子化部４０００１の動作及び／又はボクセル化過程と同一又は類似する動作及び／又は過程を行う。具体的な説明は図１ないし図９に説明した通りである。

【0158】

実施例による八分木占有コード生成部１２００３は、ボクセル化されたポイントの位置を八分木構造に基づいて八分木コーディングを行う。八分木占有コード生成部１２００３は占有コードを生成する。八分木占有コード生成部１２００３は図４及び図６で説明したポイントクラウドエンコーダ(又は八分木分析部４０００２)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。

【0159】

実施例による表面モデル処理部１２００４は、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセル基盤に再構成するｔｒｉｓｏｕｐジオメトリ符号化を行う。表面モデル処理部１２００４は図４に示したポイントクラウドエンコーダ(例えば、表面近似分析部４０００３)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。

【0160】

実施例によるイントラ／インターコーディング処理部１２００５は、ポイントクラウドデータをイントラ／インターコーディングする。イントラ／インターコーディング処理部１２００５は、図７で説明したイントラ／インターコーディングと同一又は類似するコーディングを行う。具体的な説明は図７に説明した通りである。実施例においてイントラ／インターコーディング処理部１２００５は演算コーダー１２００６に含まれる。

【0161】

実施例による演算コーダー１２００６は、ポイントクラウドデータの八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。演算コーダー１２００６は演算エンコーダ４０００４の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。

【0162】

実施例によるメタデータ処理部１２００７は、ポイントクラウドデータに関するメタデータ、例えば、設定値などを処理してジオメトリ符号化及び／又は特質符号化などの必要な処理過程に提供する。また実施例によるメタデータ処理部１２００７は、ジオメトリ符号化及び／又は特質符号化に関連するシグナリング情報を生成及び／又は処理する。実施例によるシグナリング情報はジオメトリ符号化及び／又は特質符号化とは別途に符号化処理される。また実施例によるシグナリング情報はインターリービングされることもある。

【0163】

色相変換処理部１２００８、特質変換処理部１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０及び演算コーダー１２０１１は特質符号化を行う。実施例による特質符号化は、図１ないし図９で説明した特質符号化と同一又は類似するので具体的な説明は省略する。

【0164】

実施例による色相変換処理部１２００８は、特質に含まれた色相値を変換する色相変換コーディングを行う。色相変換処理部１２００８は再構成されたジオメトリに基づいて色相変換コーディングを行う。再構成されたジオメトリに関する説明は、図１ないし図９に説明した通りである。また図４で説明した色変換部４０００６の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。

【0165】

実施例による特質変換処理部１２００９は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。特質変換処理部１２００９は図４に説明した特質変換部４０００７の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。実施例による予測／リフト／ＲＡＨＴ変換処理部１２０１０は変換された特質をＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングのうちのいずれか一つ又は組み合わせてコーディングする。予測／リフト／ＲＡＨＴ変換処理部１２０１０は図４に説明したＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９及びリフト変換部４００１０の動作と同一又は類似する動作のうちのいずれかを行う。また、予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングに関する説明は図１ないし図９に説明した通りであるので、具体的な説明は省略する。

【0166】

実施例による演算コーダー１２０１１は、コーディングされた特質を演算コーディングに基づいて符号化する。演算コーダー１２０１１は演算エンコーダ４０００１２の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。

【0167】

実施例による送信処理部１２０１２は、符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を含む各ビットストリームを送信するか、又は符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を一つのビットストリームで構成して送信する。実施例による符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報が一つのビットストリームで構成された場合、ビットストリームは一つ又はそれ以上のサブビットストリームを含む。実施例によるビットストリームはシーケンスレベルのシグナリングのためのＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、特質情報コーディングのシグナリングのためのＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、タイルレベルのシグナリングのためのＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を含むシグナリング情報及びスライスデータを含む。スライスデータは一つ又はそれ以上のスライスに関する情報を含む。実施例による一つのスライスは一つのジオメトリビットストリーム(Ｇｅｏｍ０^０)及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ０^０、Ａｔｔｒ１^０)を含む。実施例によるＴＰＳは一つ又はそれ以上のタイルに対してそれぞれのタイルに関する情報(例えば、ｂｏｕｎｄｉｎｇ ｂｏｘの座標値情報及び高さ／サイズ情報など)を含む。ジオメトリビットストリームはヘッダとペイロードを含む。実施例によるジオメトリビットストリームのヘッダはＧＰＳに含まれたパラメータセットの識別情報(ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、タイル識別子(ｇｅｏｍ_ｔｉｌｅ_ｉｄ)、スライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)及びペイロードに含まれたデータに関する情報などを含む。上述したように、実施例によるメタデータ処理部１２００７はシグナリング情報を生成及び／又は処理して送信処理部１２０１２に送信することができる。実施例において、ジオメトリ符号化を行うエレメント及び特質符号化を行うエレメントは、点線処理したように、相互データ／情報を共有することができる。実施例による送信処理部１２０１２は送信機１０００３の動作及び／又は送信方法と同一又は類似する動作及び／又は送信方法を行う。具体的な説明は図１及び図２に説明した通りであるので、省略する。

【0168】

図１３は実施例による受信装置の一例を示す。

【0169】

図１３に示した受信装置は、図１の受信装置１０００４(又は図１０及び図１１のポイントクラウドデコーダ)の一例である。図１３に示した受信装置は、図１ないし図１１で説明したポイントクラウドデコーダの動作及び復号方法と同一又は類似する動作及び方法のうちのいずれかを行う。

【0170】

実施例による受信装置は、受信部１３０００、受信処理部１３００１、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００２、占有コード(Ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)基盤の八分木再構成処理部１３００３、表面モデル処理部(三角形再構成、アップサンプリング、ボクセル化)１３００４、逆(ｉｎｖｅｒｓｅ)量子化処理部１３００５、メタデータ分析１３００６、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９、色相逆変換処理部１３０１０及び／又はレンダラー１３０１１を含む。実施例による復号の各構成要素は実施例による符号化の構成要素の逆過程を行う。

【0171】

実施例による受信部１３０００は、ポイントクラウドデータを受信する。受信部１３０００は図１の受信機１０００５の動作及び／又は受信方法と同一又は類似する動作及び／又は受信方法を行う。具体的な説明は省略する。

【0172】

実施例による受信処理部１３００１は受信したデータからジオメトリビットストリーム及び／又は特質ビットストリームを得る。受信処理部１３００１は受信部１３０００に含まれる。

【0173】

演算デコーダ１３００２、占有コード基盤の八分木再構成処理部１３００３、表面モデル処理部１３００４及び逆量子化処理部１３００５はジオメトリ復号を行う。実施例によるジオメトリ復号は図１ないし図１０で説明したジオメトリ復号と同一又は類似するので、具体的な説明は省略する。

【0174】

実施例による演算デコーダ１３００２はジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１３００２は演算デコーダ１１０００の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。

【0175】

実施例による占有コード基盤の八分木再構成処理部１３００３は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を再構成する。占有コード基盤の八分木再構成処理部１３００３は、八分木合成部１１００１の動作及び／又は八分木生成方法と同一又は類似する動作及び／又は方法を行う。実施例による表面モデル処理部１３００４はｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、表面モデル方式に基づいてｔｒｉｓｏｕｐジオメトリ復号及びそれに関連するジオメトリ再構成(例えば、三角形再構成、アップサンプリング、ボクセル化)を行う。表面モデル処理部１３００４は表面近似合成部１１００２及び／又はジオメトリ再構成部１１００３の動作と同一又は類似する動作を行う。

【0176】

実施例による逆量子化処理部１３００５は復号されたジオメトリを逆量子化する。

【0177】

実施例によるメタデータ分析１３００６は受信したポイントクラウドデータに含まれたメタデータ、例えば、設定値などを分析する。メタデータ分析１３００６はメタデータをジオメトリ復号及び／又は特質復号に伝達する。メタデータに関する具体的な説明は図１２で説明した通りであるので省略する。

【0178】

演算デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９及び色相逆変換処理部１３０１０は特質復号を行う。特質復号は図１なしい図１０で説明した特質復号と同一又は類似するので、具体的な説明は省略する。

【0179】

実施例による演算デコーダ１３００７は、特質ビットストリームを演算コーディングに復号する。演算デコーダ１３００７は再構成されたジオメトリに基づいて特質ビットストリームの復号を行う。演算デコーダ１３００７は演算デコーダ１１００５の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。

【0180】

実施例による逆量子化処理部１３００８は、復号された特質ビットストリームを逆量子化する。逆量子化処理部１３００８は逆量子化部１１００６の動作及び／又は逆量子化方法と同一又は類似する動作及び／又は方法を行う。

【0181】

実施例による予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９の動作及び／又は復号と同一又は類似する動作及び／又は復号のうちのいずれかを行う。実施例による色相逆変換処理部１３０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色相逆変換処理部１３０１０は色逆変換部１１０１０の動作及び／又は逆変換コーディングと同一又は類似する動作及び／又は逆変換コーディングを行う。実施例によるレンダラー１３０１１はポイントクラウドデータをレンダリングする。

【0182】

図１４は実施例によるＧ－ＰＣＣ基盤のポイントクラウドコンテンツストリーミングためのアーキテクチャを示す図である。

【0183】

図１４の上側は図１ないし図１３で説明した送信装置(例えば、送信装置１００００、図１２の送信装置など)がポイントクラウドコンテンツを処理及び送信する過程を示す。

【0184】

図１ないし図１３で説明したように、送信装置はポイントクラウドコンテンツのオディオ(Ｂａ)を得(Ａｕｄｉｏ Ａｃｑｕｉｓｉｔｉｏｎ)、得られたオディオを符号化(Ａｕｄｉｏ ｅｎｃｏｄｉｎｇ)してオディオビットストリーム(Ｅａ)を出力する。また送信装置はポイントクラウドコンテンツのポイントクラウド(Ｂｖ)(又はポイントクラウドビデオ)を確保し(Ｐｏｉｎｔ Ａｃｑｕｓｉｔｉｏｎ)、確保したポイントクラウドについてポイントクラウド符号化(Ｐｏｉｎｔ ｃｌｏｕｄ ｅｎｃｏｄｉｎｇ)を行ってポイントクラウドビデオビットストリーム(Ｅｂを出力する。送信装置のポイントクラウド符号化は、図１ないし図１３で説明したポイントクラウド符号化(例えば、図４のポイントクラウドエンコーダの符号化など)と同一又は類似するので具体的な説明は省略する。

【0185】

送信装置は生成されたオディオビットストリーム及びビデオビットストリームをファイル及び／又はセグメントにカプセル化(Ｆｉｌｅ／ｓｅｇｍｅｎｔ ｅｎｃａｐｓｕｌａｔｉｏｎ)する。カプセル化されたファイル及び／又はセグメント(Ｆｓ、Ｆｉｌｅ)は、ＩＳＯＢＭＦＦなどのファイルフォーマットのファイル又はＤＡＳＨセグメントを含む。実施例によるポイントクラウド関連メタ データ(ｍｅｔａｄａｔａ)は、カプセル化されたファイルフォーマット及び／又はセグメントに含まれる。メタデータはＩＳＯＢＭＦＦファイルフォーマット上の様々なレベルのボックスに含まれるか、又はファイル内で別のトラックに含まれる。実施例において、送信装置はメタデータ自体を別のファイルにカプセル化することができる。実施例による送信装置は、カプセル化されたファイルフォーマット及び／又はセグメントをネットワークにより送信する。送信装置のカプセル化及び送信処理方法は図１ないし図１３で説明した通りであるので(例えば、送信機１０００３、図２の送信段階２０００２など)、具体的な説明は省略する。

【0186】

図１４の下側は図１ないし図１３で説明した受信装置(例えば、受信装置１０００４、図１３の受信装置など)がポイントクラウドコンテンツを処理及び出力する過程を示している。

【0187】

実施例において、受信装置は最終オディオデータ及び最終ビデオデータを出力するデバイス(例えば、スピーカー(Ｌｏｕｄｓｐｅａｋｅｒｓ)、ヘッドホン(ｈｅａｄｐｈｏｎｅｓ)、ディスプレイ(Ｄｉｓｐｌａｙ)及びポイントクラウドコンテンツを処理するポイントクラウドプレーヤー(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｐｌａｙｅｒ)を含む。最終データ出力デバイス及びポイントクラウドプレーヤーは別の物理的なデバイスで構成される。実施例によるポイントクラウドプレーヤーは、Ｇ－ＰＣＣ(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又はＶ－ＰＣＣ(Ｖｉｄｅｏ ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又は次世代コーディングを行う。

【0188】

実施例による受信装置は受信したデータ(例えば、放送信号、ネットワークにより送信される信号など)に含まれたファイル及び／又はセグメント(Ｆ',Ｆｓ')を確保し、デカプセル化(Ｆｉｌｅ／ｓｅｇｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ)する。受信装置の受信及びデカプセル化方法は図１ないし図１３で説明した通りであるので(例えば、受信機１０００５、受信部１３０００、受信処理部１３００１など)、具体的な説明は省略する。

【0189】

実施例による受信装置は、ファイル及び／又はセグメントに含まれたオディオビットストリーム(Ｅ'ａ)及びビデオビットストリーム(Ｅ'ｖ)を確保する。図示したように、受信装置はオディオビットストリームに対してオディオ復号(ａｕｄｉｏ ｄｅｃｏｄｉｎｇ)を行って復号されたオディオデータ(Ｂ'ａ)を出力し、復号されたオディオデータをレンダリングして(ａｕｄｉｏ ｒｅｎｄｅｒｉｎｇ)最終オディオデータ(Ａ'ａ)をスピーカー又はヘッドホンなどで出力する。

【0190】

また受信装置は、ビデオビットストリーム(Ｅ'ｖ)に対してポイントクラウド復号(ｐｏｉｎｔ ｃｌｏｕｄ ｄｅｃｏｄｉｎｇ)を行って復号されたビデオデータ(Ｂ'ｖ)を出力する。実施例によるポイントクラウド復号は、図１ないし図１３で説明したポイントクラウド復号と同一又は類似するので(例えば、図１１のポイントクラウドデコーダの復号など)、具体的な説明は省略する。受信装置は復号されたビデオデータをレンダリングして(ｒｅｎｄｅｒｉｎｇ)最終ビデオデータをディスプレイに出力する。

【0191】

実施例による受信装置は、共に送信されたメタデータに基づいてデカプセル化、オディオ復号、オディオレンダリング、ポイントクラウド復号及びレンダリング動作のうちのいずれかを行う。メタデータに関する説明は図１２及び図１３で説明した通りであるので省略する。

【0192】

図示した点線のように、実施例による受信装置(例えば、ポイントクラウドプレーヤー又はポイントクラウドプレーヤー内のセンシング／トラッキング部(ｓｅｎｓｉｎｇ／ｔｒａｃｋｉｎｇ)は、フィードバック情報(ｏｒｉｅｎｔａｔｉｏｎ、ｖｉｅｗｐｏｒｔ)を生成する。実施例によるフィードバック情報は受信装置のデカプセル化、ポイントクラウド復号過程及び／又はレンダリング過程で使用され、送信装置に伝達されることもできる。フィードバック情報に関する説明は図１ないし図１３で説明した通りであるので省略する。

【0193】

図１５は実施例による送信装置の一例を示す図である。

【0194】

図１５の送信装置はポイントクラウドコンテンツを送信する装置であり、図１ないし図１４で説明した送信装置(例えば、図１の送信装置１００００、図４のポイントクラウドエンコーダ、図１２の送信装置、図１４の送信装置など)の例示に該当する。従って、図１５の送信装置は図１ないし図１４で説明した送信装置の動作と同一又は類似する動作を行う。

【0195】

実施例による送信装置は、ポイントクラウド獲得(ｐｏｉｎｔ ｃｌｏｕｄ ａｃｑｕｉｓｉｔｉｏｎ)、ポイントクラウド符号化(ｐｏｉｎｔ ｃｌｏｕｄ ｅｎｃｏｄｉｎｇ)、ファイル／セグメントカプセル化(ｆｉｌｅ／ｓｅｇｅｍｅｎｔ ｅｎｃａｐｓｕｌａｔｉｏｎ)及び送信(ｄｅｌｉｖｅｒｙ)のうちのいずれか又はそれ以上を行うことができる。

【0196】

図示したポイントクラウド獲得及び送信動作は図１ないし図１４で説明した通りであるので具体的な説明は省略する。

【0197】

図１ないし図１４で説明したように、実施例による送信装置はジオメトリ符号化及び特質符号化を行う。実施例によるジオメトリ符号化はジオメトリ圧縮(ｇｅｏｍｅｔｒｙ ｃｏｍｐｒｅｓｓｉｏｎ)とも呼ばれ、特質符号化は特質圧縮(Ａｔｔｒｉｂｕｔｅ ｃｏｍｐｒｅｓｓｉｏｎ)とも呼ばれる。上述したように、一つのポイントは一つのジオメトリと一つ又はそれ以上の特質を有する。従って、送信装置はそれぞれの特質に対して特質符号化を行う。図面では送信装置が一つ又はそれ以上の特質圧縮(Ａｔｔｒｉｂｕｔｅ ＃１ ｃｏｍｐｒｅｓｓｉｏｎ、… Ａｔｔｒｉｂｕｔｅ ＃Ｎ ｃｏｍｐｒｅｓｓｉｏｎ)を行った例示を示している。また実施例による送信装置は追加圧縮(ａｕｘｉｌｉａｒｙ ｃｏｍｐｒｅｓｓｉｏｎ)を行うことができる。追加圧縮はメタデータ(ｍｅｔａｄａｔａ)に対して行われる。メタデータに関する説明は図１ないし図１４に説明した通りであるので省略する。また送信装置はメッシュデータ圧縮(Ｍｅｓｈ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ)を行うことができる。実施例によるメッシュデータ圧縮は図１ないし図１４で説明したｔｒｉｓｏｕｐジオメトリ符号化を含む。

【0198】

実施例による送信装置はポイントクラウド符号化により出力されたビットストリーム(例えば、ポイントクラウドストリーム)をファイル及び／又はセグメントにカプセル化する。実施例において、送信装置はメタデータ以外のデータ(例えば、メディアデータ)を運ぶメディアトラックカプセル化(ｍｅｄｉａ ｔｒａｃｋ ｅｎｃａｐｓｕｌａｔｉｏｎ)を行い、メタデータを運ぶメタデータトラックカプセル化(ｍｅｔａｄａｔａ ｔｒａｃａｋ ｅｎｃａｐｓｕｌａｔｉｏｎ)を行う。実施例においてメタデータはメディアトラックにカプセル化される。

【0199】

図１ないし図１４に説明したように、送信装置は受信装置からフィードバック情報(オリエンテーション／ビューポートメタデータ)を受信し、受信したフィードバック情報に基づいてポイントクラウド符号化、ファイル／セグメントカプセル化及び送信動作のうちのいずれかを行う。具体的な説明は図１ないし図１４に説明した通りであるので省略する。

【0200】

図１６は実施例による受信装置の一例を示す図である。

【0201】

図１６の受信装置はポイントクラウドコンテンツを受信する装置であり、図１ないし図１４で説明した受信装置(例えば、図１の受信装置１０００４、図１１のポイントクラウドデコーダ、図１３の受信装置、図１４の受信装置など)の例示に該当する。従って、図１６の受信装置は図１ないし図１４で説明した受信装置の動作と同一又は類似する動作を行う。また図１６の受信装置は図１５の送信装置で送信した信号などを受け、図１５の送信装置の動作の逆過程を行うことができる。

【0202】

実施例による受信装置は受信(ｄｅｌｉｖｅｒｙ)、ファイル／セグメントデカプセル化(ｆｉｌｅ／ｓｅｇｅｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ)、ポイントクラウド復号(ｐｏｉｎｔ ｃｌｏｕｄ ｄｅｃｏｄｉｎｇ)及びポイントクラウドレンダリング(ｐｏｉｎｔ ｃｌｏｕｄ ｒｅｎｄｅｒｉｎｇ)のうちのいずれか又はそれ以上を行う。

【0203】

図示されたポイントクラウド受信及びポイントクラウドレンダリング動作は図１ないし図１４に説明した通りであるので具体的な説明は省略する。

【0204】

図１ないし図１４に説明したように、実施例による受信装置はネットワーク又は格納装置から得たファイル及び／又はセグメントに対してデカプセル化を行う。実施例において、受信装置はメタデータ以外のデータ(例えば、メディアデータ)を運ぶメディアトラックデカプセル化(ｍｅｄｉａ ｔｒａｃｋ ｄｅｃａｐｓｕｌａｔｉｏｎ)を行い、メタデータを運ぶメタデータトラックデカプセル化(ｍｅｔａｄａｔａ ｔｒａｃａｋ ｄｅｃａｐｓｕｌａｔｉｏｎ)を行うことができる。実施例において、メタデータがメディアトラックにカプセル化された場合、メタデータトラックデカプセル化は省略される。

【0205】

図１ないし図１４に説明したように、受信装置はデカプセル化により確保したビットストリーム(例えば、ポイントクラウドストリーム)に対してジオメトリ復号及び特質復号を行う。実施例によるジオメトリ復号はジオメトリ復元(ｇｅｏｍｅｔｒｙ deｃｏｍｐｒｅｓｓｉｏｎ)とも呼ばれ、特質復号は特質復元(Ａｔｔｒｉｂｕｔｅ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)とも呼ばれる。上述したように、一つのポイントは一つのジオメトリと一つ又はそれ以上の特質を有し、それぞれ符号化される。従って、受信装置は各特質に対して特質復号を行う。図面では受信装置が一つ又はそれ以上の特質復元(Ａｔｔｒｉｂｕｔｅ ＃１ ｄｅｃｏｍｐｒｅｓｓｉｏｎ、…ｕｔｅ ＃Ｎ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)を行った例示を示している。また実施例による受信装置は追加復元(ａｕｘｉｌｉａｒｙ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)を行うことができる。追加復元はメタデータに対して行われる。メタデータに関する説明は図１ないし図１４に説明した通りであるので省略する。また受信装置はメッシュデータ復元(Ｍｅｓｈ ｄａｔａ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)を行う。実施例によるメッシュデータ復元は図１ないし図１４で説明したｔｒｉｓｏｕｐジオメトリ復号を含む。実施例による受信装置はポイントクラウド復号によって出力されたポイントクラウドデータをレンダリングする。

【0206】

図１ないし図１４に説明したように、受信装置は別のセンシング／トラッキングエレメントなどを用いてオリエンテーション／ビューポートメタデータを確保し、それを含むフィードバック情報を送信装置(例えば、図１５の送信装置)に送信することができる。また受信装置はフィードバック情報に基づいて受信動作、ファイル／セグメントデカプセル化及びポイントクラウド復号のうちのいずれかを行うことができる。具体的な説明は図１ないし図１４に説明した通りであるので省略する。

【0207】

図１７は実施例によるポイントクラウドデータの送受信方法／装置に連動可能な構造の一例を示す図である。

【0208】

図１７の構造はサーバー１７６０、ロボット１７１０、自律走行車両１７２０、ＸＲ装置１７３０、スマートフォン１７４０、家電１７５０及び／又はＨＭＤ１７７０のうちのいずれかがクラウドネットワーク１７１０に連結された構成を示している。ロボット１７１０、自律走行車両１７２０、ＸＲ装置１７３０、スマートフォン１７４０又は家電１７５０などは装置とも呼ばれる。またＸＲ装置１７３０は実施例によるポイントクラウドデータ(ＰＣＣ)装置に対応するか又はＰＣＣ装置に連動する。

【0209】

クラウドネットワーク１７００はクラウドコンピューティングインフラの一部を構成するか、又はクラウドコンピューティングインフラ内に存在するネットワークを意味する。ここで、クラウドネットワーク１７００は３Ｇネットワーク、４Ｇ又はＬＴＥネットワーク又は５Ｇネットワークなどを用いて構成される。

【0210】

サーバー１７６０はロボット１７１０、自律走行車両１７２０、ＸＲ装置１７３０、スマートフォン１７４０、家電１７５０及び／又はＨＭＤ１７７０のいずれかにクラウドネットワーク１７００により連結され、連結された装置１７１０～１７７０のプロセシングの少なくとも一部を助けることができる。

【0211】

ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)１７７０は実施例によるＸＲデバイス及び／又はＰＣＣデバイスが具現されるタイプのうちのいずれかを示す。実施例によるＨＭＤタイプのデバイスは、コミュニケーションズユニット、コントロールユニット、メモリユニット、Ｉ／Ｏユニット、センサユニット及びパーワ供給ユニットなどを含む。

【0212】

以下、上記技術が適用される装置１７１０～１７５０の様々な実施例について説明する。ここで、図１７に示した装置１７１０～１７５０は上述した実施例によるポイントクラウドデータ送受信装置に連動／結合することができる。

【0213】

＜ＰＣＣ＋ＸＲ＞

【0214】

ＸＲ／ＰＣＣ装置１７３０はＰＣＣ及び／又はＸＲ(ＡＲ＋ＶＲ)技術が適用されて、ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)、車両に備えられたＨＵＤ(Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ)、ＴＶ、携帯電話、スマートフォン、コンピューター、ウェアラブルデバイス、家電機器、デジタル看板、車両、固定型ロボットや移動型ロボットなどに具現されることもできる。

【0215】

ＸＲ／ＰＣＣ装置１７３０は、様々なセンサにより又は外部装置から獲得した３次元ポイントクラウドデータ又はイメージデータを分析して３次元ポイントに対する位置データ及び特質データを生成することにより周辺空間又は現実オブジェクトに関する情報を得て、出力するＸＲ客体をレンダリングして出力することができる。例えば、ＸＲ／ＰＣＣ装置１７３０は認識された物体に関する追加情報を含むＸＲ客体を該当認識された物体に対応して出力することができる。

【0216】

＜ＰＣＣ＋自立走行＋ＸＲ＞

【0217】

自律走行車両１７２０はＰＣＣ技術及びＸＲ技術が適用されて、移動型ロボット、車両、無人飛行体などで具現される。

【0218】

ＸＲ／ＰＣＣ技術が適用された自律走行車両１７２０は、ＸＲ映像を提供する手段を備えた自律走行車両やＸＲ映像内での制御／相互作用の対象となる自律走行車両などを意味する。特に、ＸＲ映像内での制御／相互作用の対象となる自律走行車両１７２０はＸＲ装置１７３０とは区分されて互いに連動されることができる。

【0219】

ＸＲ／ＰＣＣ映像を提供する手段を備えた自律走行車両１７２０は、カメラを含むセンサからセンサ情報を得、得たセンサ情報に基づいて生成されたＸＲ／ＰＣＣ映像を出力する。例えば、自律走行車両１７２０はＨＵＤを備えてＸＲ／ＰＣＣ映像を出力することにより、搭乗者に現実オブジェクト又は画面内のオブジェクトに対応するＸＲ／ＰＣＣ客体を提供することができる。

【0220】

この時、ＸＲ／ＰＣＣ客体がＨＵＤに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が搭乗者の視線が向く実際の客体にオーバーラップされるように出力される。反面、ＸＲ／ＰＣＣ客体が自律走行車両内に備えられるディスプレイに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が画面内の客体にオーバーラップされるように出力される。例えば、自律走行車両１２２０は車路、他の車両、信号灯、交通表示板、二輪車、歩行者、建物などのような客体に対応するＸＲ／ＰＣＣ客体を出力することができる。

【0221】

実施例によるＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ)技術、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ)技術、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ)技術及び／又はＰＣＣ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)技術は、様々なデバイスに適用可能である。

【0222】

即ち、ＶＲ技術は現実の客体や背景などをＣＧ映像のみで提供するディスプレイ技術である。反面、ＡＲ技術は実際物事の映像上に仮想のＣＧ映像を共に見せる技術である。また、ＭＲ技術は現実世界に仮想客体を混ぜて見せるという点では上記ＡＲ技術と類似する。しかし、ＡＲ技術では現実の客体とＣＧ映像からなる仮想の客体の区別が明らかであり、現実客体を補完する形態で仮想の客体を使用する反面、ＭＲ技術では仮想の客体と現実の客体が同様の性格と見なされるという点でＡＲ技術とは区別される。より具体的には、例えば、上記ＭＲ技術が適用されたことがホログラムサービスである。

【0223】

但し、最近にはＶＲ、ＡＲ、ＭＲ技術を明確に区別するよりは、ＸＲ(ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ)技術とも呼ぶ。よって、本発明の実施例はＶＲ、ＡＲ、ＭＲ、ＸＲ技術のいずれにも適用可能である。かかる技術はＰＣＣ、Ｖ－ＰＣＣ、Ｇ－ＰＣＣ技術基盤の符号化／復号が適用される。

【0224】

実施例によるＰＣＣ方法／装置は自律走行サービスを提供する車両に適用できる。

【0225】

自律走行サービスを提供する車両はＰＣＣデバイスと有無線通信可能に連結される。

【0226】

実施例によるポイントクラウドデータ(ＰＣＣ)送受信装置は、車両と有無線通信可能に連結された場合、自律走行サービスと共に提供できるＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理して車両に送信することができる。またポイントクラウドデータ送受信装置車両に搭載された場合は、ポイントクラウド送受信装置はユーザインターフェース装置で入力されたユーザ入力信号によってＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理してユーザに提供することができる。実施例による車両又はユーザインターフェース装置はユーザ入力信号を受信する。実施例によるユーザ入力信号は自律走行サービスを指示する信号を含む。

【0227】

図１８は実施例によるポイントクラウドデータエンコーダを示す図である。

【0228】

実施例によるポイントクラウドエンコーダ１８０００は、ポイントクラウドデータ(ＰＣＣデータ、１８０００ａ)を受信して、これらを符号化する。実施例によるポイントクラウドエンコーダは幾何情報ビットストリーム１８０００ｂ及び属性情報ビットストリーム１８０００ｃを出力する。実施例によるポイントクラウドエンコーダ１８０００は空間分割部１８００１、幾何情報符号化部１８００２及び／又は属性情報符号化部１８００３を含む。

【0229】

空間分割部１８００１は、ポイントクラウドエンコーダはポイントクラウドデータ(ＰＣＣデータ、１８０００ａ)を受信し、ポイントクラウドデータを一つ又はそれ以上の３次元空間に分割する。空間分割部１８００１はポイントクラウドデータを受信し、ポイントクラウドデータを３次元ブロックに空間分割する。ポイントクラウドデータはポイント(又は複数のポイント)の幾何情報及び／又は属性情報を含む。空間分割部１８００１は境界ボックス(ｂｏｕｎｄｉｎｇ ｂｏｘ)及び／又は副境界ボックスなどに基づいてポイントクラウドデータ(ＰＣＣデータ)を空間分割する。実施例による方法／装置は分割された単位(ボックス)に基づいて符号化／復号を行う。

【0230】

空間分割部１８００１は図１のクラウド獲得(Ｐｏｉｎｔ Ｃｌｏｕｄ Ａｃｑｕｉｓｉｔｉｏｎ)１０００１、図２の獲得２００００の動作、図３ないし図５による動作、図１２のデータ入力部１２０００動作の一部／全部を行うことができる。

【0231】

幾何情報符号化部１８００２は、実施例によるポイントクラウドデータ(ＰＣＣデータ)のジオメトリ情報を受信してそれを符号化する。ジオメトリ情報はポイントクラウドデータに含まれたポイントの位置情報を意味する。幾何情報符号化部１８００２はジオメトリ情報を符号化して幾何情報ビットストリームを出力する。幾何情報符号化部１８００２はポイントの位置情報を再構成して復元された幾何情報１８００２ａを出力することができる。幾何情報符号化部１８００２は復元さえた幾何情報を属性情報符号化部１８００２に伝達する。

【0232】

幾何情報符号化部１８００２は、図１のポイントクラウドビデオエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)１０００２、図２の符号化２０００１、図４の座標系変換部４００００、量子化４０００１、八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダ４０００４、ジオメトリ再構成部４０００５、図１２の量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５及び／又は演算コーダー１２００６の動作の一部／全部を行う。

【0233】

属性情報符号化部１８００３は実施例によるポイントクラウドデータの属性情報を受信し、幾何情報符号化部１８００３から受信した復元された幾何情報を用いて属性情報を符号化する。属性情報符号化部１８００３は属性情報を符号化して属性情報ビットストリーム１８０００ｃを出力する。属性情報符号化部１８００３は例えば、実施例による予測変換(ｐｒｅｄｉｃｔｉｏｎ ｔｒａｎｓｆｏｒｍ)、リフト変換(ｌｉｆｔｉｎｇ ｔｒａｎｓｆｏｒｍ)及び／又はＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ)変換を行う。属性情報符号化部１８００３は、例えば、予測リフト(ｐｒｅｄｉｃｔｉｏｎ ｌｉｆｔｉｎｇ、又は予測リフト)変換を行う。予測リフト変換は実施例による予測変換及び／又はリフト変換の各々の詳しい動作の一部又は全部を組み合わせたことを意味する。

【0234】

実施例によるポイントクラウドエンコーダは、実施例による予測変換(ｐｒｅｄｉｃｔｉｏｎ ｔｒａｎｓｆｏｒｍ)、リフト変換(ｌｉｆｔｉｎｇ ｔｒａｎｓｆｏｒｍ)及び／又はＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ)変換の一部、全部及び／又はそれぞれの組み合わせにより符号化を行う。

【0235】

属性情報符号化部１８００３は、図１のポイントクラウドビデオエンコーダ１０００２、図２の符号化２０００１、図４の色変換部４０００６、属性変換部４０００７、ＲＡＴＨ変換部４０００８、ＬＯＤ生成部４０００９、リフト変換部４００１０、係数量子化部４００１１及び／又は演算符号化部４００１２の動作、図１２の色相変換処理部１２００８、属性変換処理部１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０、演算コーダー１２０１１の動作の全部／一部を行う。

【0236】

ここで、復元された幾何情報１８００２ｃは、図４で説明したジオメトリ再構成部(Ｒｅｃｏｎｓｔｒｕｃｔ Ｇｅｏｍｅｔｒｙ)４０００５により再構成された八分木及び／又は近似化された八分木を意味する。復元された幾何情報は図６で説明した占有コードを意味するか又は八分木構造を意味する。復元された幾何情報は図１２で説明した八分木占有コード生成部１２００３により生成された八分木占有コードを意味することもできる。

【0237】

属性情報符号化部１８００３は、実施例によるポイントクラウドデータの属性情報を符号化する。ここで、実施例による符号化部１８００３は実施例による復元された幾何情報(又は復元されたジオメトリ情報)を用いて属性情報を符号化する。属性情報符号化部１８００３は受信されたデータを符号化して特質情報(又は属性情報)を含むビットストリームを生成することができる。

【0238】

実施例による属性情報符号化部１８００３は、図４の色相変換部４０００６、属性送信部４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９、リフト部４００１０、量子化部４００１１及び／又は演算符号化部４０００１２を含む。

【0239】

ポイントクラウドデータはそれぞれのポイントの位置を示すジオメトリ(ｇｅｏｍｅｔｒｙ)情報、各ポイントの属性(特質)を示す特質(Ａｔｔｒｉｂｕｔｅ)情報を含む。ポイントクラウドデータは３次元空間上に不均一に分布することもあるので、それを効率的に圧縮するために、実施例による八分木構造を用いて圧縮を行う。即ち、実施例によるエンコーダは八分木を生成し、生成された八分木に基づいて特質情報を符号化する。実施例による特質情報を符号化する方法は、ＲＡＨＴ(ｒｅｇｉｏｎ ａｄａｐｔｉｖｅ ｈｉｅｒａｒｃｈｉｃａｌ ｔｒａｎｓｆｏｒｍ)、ＬｏＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)に基づいて行われる。

【0240】

実施例によるＲＡＨＴ基盤の特質符号化は、図９で説明した変換行列を使用する。変換行列に使用される係数は八分木構造のレベルによって計算されるので、八分木構造に依存する。よって、ＲＡＨＴ基盤の特質符号化は八分木構造を符号化した後(即ち、ジオメトリ符号化を行った後)に行われるので、高速処理が求められるシステムで不要な遅延が発生することもある。

【0241】

また、実施例によるＬｏＤ基盤の特質符号化は、特定ポイントで隣接ポイントを探索するための最隣接探索(ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｓｅａｒｃｈ)過程を行う。最隣接探索過程では正確な隣接ポイントを探索できるが、探索過程に所要される時間が相対的に長いので、高速処理が求められるシステムでは不要な遅延(ｄｅｌａｙ)が発生することもある。

【0242】

よって、実施例によるエンコーダは、八分木のノードにポイントの特質及び／又は位置情報をマッチングしてカラー化された八分木(ｃｏｌｏｒｉｚｅｄ ｏｃｔｒｅｅ)を生成し、カラー化された八分木に基づいて特質符号化を行う。実施例によるエンコーダはカラー化された八分木に基づいて少ない演算量で特質符号化を行う。実施例による送信装置はカラー化された八分木に関連するシグナリング情報を受信装置に送信する。受信装置はカラー化された八分木に関連するシグナリング情報を確保し、カラー化された八分木を生成する。実施例によるデコーダはカラー化された八分木に基づいてジオメトリ復号と同時に特質復号を行うことができるので、ポイントクラウドデータの提供時に不要な遅延を防止することができる。また、実施例によるデコーダはカラー化された八分木に基づいて符号化された特質を処理するので、より少ない演算量で特質復号を行うことができる。実施例による受信装置はカラー化された八分木に基づいて受信装置の性能(例えば、レンダラー性能、出力性能など)によって様々なレベルの解像度を有するコンテンツをレンダリング又は出力できる。以下、実施例による八分木をカラー化してカラー化された八分木を生成し、それを送信する過程について説明する。

【0243】

図１９は実施例による八分木とカラー化された八分木を示す図である。

【0244】

実施例によるポイントクラウドデータエンコーダは実施例による八分木を生成し、生成された八分木を用いてカラー化された八分木を生成する。図１９はカラー化された八分木を生成する方法を示す。

【0245】

カラー化された八分木は、八分木内に含まれた一つ又はそれ以上のノードに特質情報が含まれたカラー化された八分木構造(ｃｏｌｏｒｉｚｅｄ ｏｃｔｒｅｅ ｓｔｒｕｃｔｕｒｅ)を意味する。即ち、カラー化された八分木は八分木構造を用いることによりポイントの位置情報を示すと同時に、該当位置にマッチングされる特質情報を同時に含んでいる構造を意味する。

【0246】

図１９(ａ)は実施例による八分木構造を示す。八分木構造(ｏｃｔｒｅｅ ｓｔｒｕｃｔｕｒｅ)はポイントの位置情報を示すデータ構造を意味する。八分木構造は図５及び図６に説明した八分木を意味する。

【0247】

八分木構造は一つ又はそれ以上のノードからなるＫ－分割木で構成される。八分木構造では、図５及び図６に説明したように、３次元空間上のポイントの占有有無を０と１を用いて示す。八分木構造は一つのルートノード１９０００ａを含む。ルートノード１９０００ａは８つの子ノード(ｃｈｉｌｄ ｎｏｄｅ)１９０００ｂ－１～１９０００ｂ－２を含む。子ノードは３次元空間内でポイントの占有有無により０の値を有するか又は１の値を有する。８つの子ノードはレベルが１であるノードと呼ばれる。８つの子ノードの一部は下位子ノードをさらに含む。

【0248】

八分木構造は最下位レベルのノード、即ち、一つ又はそれ以上のリーフノード１９０００ｃ－１～１９０００ｃ－２を含む。リーフノードはそれ以上分割されない３次元空間(即ち、ボクセル)に対応する。

【0249】

図１９(ａ)に示された八分木構造は図１８の幾何情報符号化部１８００２で生成され、図１１のジオメトリ再構成部１１００３で生成されることができる。図１９(ａ)に示された八分木構造は３次元空間上のポイントの位置情報のみを含む。八分木構造内のリーフノードはボクセル(ｖｏｘｅｌ)単位内の空間内ポイントの存在有無のみを０と１を用いて示す。

【0250】

図１９(ｂ)は八分木構造のリーフノードに特質情報をマッチングしたことを示す。八分木構造内のリーフノードはボクセル(ｖｏｘｅｌ)単位内の空間内ポイントの存在有無のみを示すので、実施例によるエンコーダはリーフノードに対応するボクセル単位内の空間に対応する特質情報をマッチングすることができる。

【0251】

例えば、図１９(ａ)のリーフノード１９０００ｃ－１は該当ボクセル内にポイントがないので、実施例によるエンコーダは該当リーフノードに特質情報をマッチングする必要がない１９００１－１。しかし、図１９(ａ)の他のリーフノード１９０００ｃ－２は該当ボクセル内に一つ又はそれ以上のポイントがある。従って、実施例によるエンコーダは、該当リーフノードに一つ又はそれ以上のポイントを代弁する特質情報をマッチング１９００１ａ－２することができる。リーフノードに特質情報をマッチングするとは、該当リーフノードの値を該当特質情報に代入することと理解できる。

【0252】

以下、八分木構造内の一つ又はそれ以上のノードにジオメトリ情報及び／又は特質情報をマッチングする動作を‘カラー化する(ｃｏｌｏｒｉｚｅ)’と呼ぶ。即ち、八分木構造内の特定のノード(リーフノード含み)にジオメトリ情報及び／又は特質情報をマッチングする場合、これを特定のノードをカラー化すると表現する。例えば、八分木構造内のリーフノードにジオメトリ情報及び／又は特質情報をマッチングする場合、これをリーフノードをカラー化すると表現する。また八分木ノードのルートノードにジオメトリ情報及び／又は特質情報をマッチングする場合、これをルートノードをカラー化すると表現する。

【0253】

例えば、該当ボクセル内に一つのポイントが存在する場合、実施例によるエンコーダは該当ポイントの特質情報を該当ボクセルに対応するリーフノードにマッチングすることができる。例えば、該当ボクセル内に複数のポイントが存在する場合、実施例によるエンコーダは複数のポイントを代弁する特質情報(例えば、平均情報など)をリーフノードにマッチングすることができる。

【0254】

図１９(ｃ)はリーフノードに特質情報がマッチングされた八分木を用いてカラー化された八分木を生成する過程を示す。図１９(ｂ)において、エンコーダはリーフノードにマッチングされた特質情報の一部データが八分木のリーフノードではないノードにマッチングする。例えば、図１９(ｃ)において、全体ポイントクラウドデータで代弁する特質情報がＣ２であれば、Ｃ２をルートノード１９００２ａにマッチングすることができる。

【0255】

実施例によるエンコーダは、リーフノードではないノードに特質情報がマッチングされると、マッチングされた特質情報がリーフノードのうちのいずれかに重複して含まれることができるので、重複した情報を有するリーフノードをさらに除去することができる(１９００２ｂ－１及び１９００２ｂ－２)。

【0256】

実施例によるエンコーダは、カラー化された八分木を生成して特質情報を符号化することにより、八分木構造を全て符号化しなくても特質符号化を行うことができるので、高速処理が求められるシステムで不要な遅延が発生する問題を解決することができる。また実施例によるエンコーダは、八分木構造を用いてカラー化された八分木を生成することにより、周辺部ポイントを探索するための過程をＬｏＤを用いた特質コーディング方式よりも迅速に行うことができる。従って、実施例による送信端では少ない演算量で属性情報を圧縮することができる。

【0257】

また実施例によるポイントクラウドデータ受信装置(又はデコーダ)は、カラー化された八分木を用いて復号することにより、必ず特質情報を全て復号しなくても特質情報を復号することができ、スケーラブル(ｓｃａｌａｂｌｅ)な復号が可能である。即ち、実施例によるカラー化された八分木を用いて一つの圧縮されたビットストリームに基づいて様々な性能の受信機を支援することができる。例えば、実施例による送信装置が様々な性能のデコーダを対象として情報を圧縮する場合、それぞれのデコーダ性能に合う独立した圧縮情報を生成或いは格納する代わりに、一つのビットストリームにより様々な性能の受信機を支援できるので、送信部の格納空間及びビット効率を高めることができる。また送信帯域幅に制限がある場合は、送信部で低解像度のポイントクラウドデータ生成後に伝達することができる。

【0258】

以下、カラー化された八分木を生成するための実施例によるエンコーダの構造と動作の一例を具体的に説明する。

【0259】

図２０は実施例によるポイントクラウドデータエンコーダを示す図である。

【0260】

実施例によるポイントクラウドデータエンコーダ２００００は、ポイントクラウドデータ(ｐｏｉｎｔ ｃｌｏｕｄ ｄａｔａ)を受信して符号化した後、ジオメトリビットストリーム(ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ)及び特質ビットストリームを出力する。実施例によるポイントクラウドデータエンコーダ２００００は、八分木生成部(Ｏｃｔｒｅｅ ｇｅｎｅｒａｔｉｏｎ)２０００１、ジオメトリ予測部(Ｇｅｏｍｅｔｒｙ ｐｒｅｄｉｃｔｉｏｎ)２０００２、ジオメトリエントロピーコーディング部(Ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ)２０００３、八分木マッチング部(Ｏｃｔｒｅｅ ｍａｔｃｈｉｎｇ)２０００４、カラー化された八分木生成部(Ｃｏｌｏｒｉｚｅｄ ｏｃｔｒｅｅ ｇｅｎｅｒａｔｉｏｎ)２０００４、特質予測部(Ａｔｔｒｉｂｕｔｅ ｐｒｅｄｉｃｔｉｏｎ)２０００５、変形及び量子化部(Ｔｒａｎｓｆｏｒｍ ＆ Ｑｕａｎｔｉｚａｔｉｏｎ)２０００６及び特質エントロピーコーディング部(Ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ)２０００７を含む。

【0261】

実施例によるポイントクラウドデータは、図１８のＰＣＣデータ１８０００ａ又は空間分割部１８００１により分割されたデータを意味する。ポイントクラウドデータはジオメトリデータ(ｇｅｏｍｅｔｒｙ ｄａｔａ)及び特質データ(Ａｔｔｒｉｂｕｔｅ ｄａｔａ)を含む。ジオメトリデータはポイントクラウドデータの位置情報を示す情報である。特質データはポイントクラウドデータの属性情報を示す情報である。

【0262】

ジオメトリビットストリーム(ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ)は図１８の幾何情報ビットストリーム１８０００ｂに対応する。特質ビットストリームは図１８の属性情報ビットストリーム１８０００ｃに対応する。

【0263】

八分木生成部２０００１は実施例によるジオメトリデータを受信する。八分木生成部２０００１はジオメトリデータを用いてポイントの位置情報を八分木構造で生成する。八分木構造は図５及び図６で説明した八分木構造を意味する。八分木生成部２０００１は生成された八分木構造をジオメトリ予測部１９００２及び／又は八分木マッチング部２０００４に伝達する。八分木生成部２０００１は図１８の幾何情報符号化部１８００２に含まれ、図１１のジオメトリ再構成部１１００３を意味する。

【0264】

実施例によるジオメトリ予測部２０００２は実施例による八分木を用いてジオメトリ情報を予測する。

【0265】

実施例によれば、送信装置は周辺部ノードを検出する方法で、特定ポイントから一定の範囲内の子ノード間の位置隣接性に基づいて予測を行うことができる。例えば、送信装置又は受信装置は八分木構造において同一の親ノードを有する下位ノード同士に隣接していると仮定し、送信装置又は受信装置は隣接する子ノード間の予測値が類似すると仮定することができる。従って、受信装置はそれぞれの子ノードに対する予測特質値を導き出すことではなく、同一の親ノードを有する兄弟ノード(Ｓｉｂｌｉｎｇ ｎｏｄｅ)が同じ予測特質値を有するように定義して、親ノードの特質データを予測する。かかる構成により、送信及び受信装置はそれぞれの子ノードを符号化するときに必要な係数の数を減らすことにより、コーディング効率を増加させることができる。また、それぞれの親ノードに対する代表値として作用することにより、八分木構造にマッチングされる属性を予測することができる。

【0266】

【0267】

実施例によれば、送信装置は予測情報に基づいてそれぞれの子ノードの属性予測エラー(ｐｒｅｄｉｔｉｏｎ ｅｒｒｏｒ)を以下のように求めることができる。特質予測エラーは、元の特質データと予測した特質データとの差を意味する。特質予測エラー(ｐｒｅｄｉｃｔｉｏｎ ｅｒｒｏｒ)は目的によって異なる方法(ｅ.ｇ.，ｗｅｉｇｈｔｅｄ ｄｉｆｆｅｒｅｎｃｅ、ｗｅｉｇｈｔｅｄ ａｖｅｒａｇｅｄ ｄｉｆｆｅｒｅｎｃｅなど)を使用する。

【0268】

【0269】

実施例によるジオメトリエントロピーコーディング部２０００３は、実施例による予測されたジオメトリ情報をエントロピーコーディング(Ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ)してジオメトリビットストリームを出力する。

【0270】

実施例によるカラー化された八分木生成部２０００４は、八分木生成部２０００１で生成した八分木構造と特質データを受信して実施例によるカラー化された八分木を生成する。生成部２０００４は図２１で説明した動作によってカラー化された八分木を生成する。八分木生成部２０００１で生成した八分木構造は図１９(ａ)に示した八分木構造を意味する。

【0271】

カラー化された八分木生成部２０００４は、例えば、八分木マッチング部２０００４ａ及び／又はインターノード重複データ除去部(Ｉｎｔｅｒ－ｎｏｄｅ ｄｕｐｌｉｃａｔｉｏｎ ｒｅｍｏｖａｌ)２４０００ｂを含む。

【0272】

八分木マッチング部２０００４ａは八分木構造と特質データを受信して特質データを八分木構造のリーフノードにマッチングする。八分木マッチング部２０００４ａはリーフノードにマッチングされた八分木を用いて特質データをリーフノードではないノードに特質データをマッチングする。例えば、八分木マッチング部２０００４は、図１９(ｂ)に示すように、リーフノードに特質情報がマッチングされた八分木構造を生成し、図１９(ｃ)に示すように、リーフノードに特質情報がマッチングされた八分木構造を用いてリーフノードではないノードに特質情報をマッチングすることができる。即ち、八分木マッチング部２０００４は八分木構造のノードに特質データがマッチングされたカラー化された八分木を生成する。

【0273】

インターノード重複データ除去部２０００４ｂは、実施例によるカラー化された八分木を受信して、カラー化された八分木内に含まれた重複データを除去する。例えば、インターノード重複データ除去部２０００４ｂは、図１９(ｃ)に示したように、リーフノードとリーフノードではないノードに重複して含まれたデータがある場合、該当重複して含まれたデータを除去することができる(１９００２ｂ－１)。インターノード重複データ除去部２０００４ｂは重複したデータが除去されたカラー化された八分木を生成して出力する。

【0274】

特質予測部２０００５は実施例によるカラー化された八分木を受信して、必要な特質情報を予測する。特質予測部２０００５は残差(ｒｅｓｉｄｕａｌ)又は予測された(ｐｒｅｄｉｃｔｅｄ)特質情報を深さレベル(ｄｅｐｔｈ ｌｅｖｅｌ)ごとに生成する。

【0275】

変形及び量子化部２０００６は特質予測部２０００５で生成した予測された特質データ又は残差の特質データを受信して、それらを変換(ｔｒａｎｓｆｏｒｍ)して量子化する。

【0276】

特質エントロピーコーディング部２０００７は、実施例による変換及び量子化された特質情報をエントロピーコーディングして、特質ビットストリームを出力する。

【0277】

カラー化された八分木を生成して特質情報を送信することにより、実施例によるエンコーダは、八分木構造を全て符号化しなくても特質符号化を行うことができ、高速処理が求められるシステムで不要な遅延が発生する問題を解決することができ、少ない演算量に基づいて属性情報を圧縮することができる。

【0278】

カラー化された八分木は八分木構造を用いることによりポイントの位置情報を示すと同時に、該当位置にマッチングされる特質情報を同時に含んでいる構造である。また、カラー化された八分木では特質情報がリーフノードにのみ限定して分布せず、複数のノードに分散して分布している。よって、実施例によるデコーダは、カラー化された八分木をルートノードからリーフノードまで順にジオメトリ情報と特質情報を巡回しながらデコーダの性能に適応的に復号を行うことができる。即ち、実施例によるポイントクラウドデータ受信装置(又はデコーダ)は、カラー化された八分木を受信することにより、必ず特質情報を全て復号しなくても特質情報を復号することができ、スケーラブルな復号が可能である。またカラー化された八分木ではデコーダ性能に合わせて特質情報がノードにマッチングされているので、様々な性能の受信機を支援することができる。

【0279】

以下、実施例によるカラー化された八分木生成部２０００４の動作について具体的に説明する。

【0280】

図２１は実施例によるポイントクラウドデータ送信装置がカラー化された八分木を生成する過程を示す図である。

【0281】

図２１に示したカラー化された八分木を生成する過程は、図２０のカラー化された八分木生成部２０００４で行われる。

【0282】

以下、八分木構造内の一つ又はそれ以上のノードに特質情報をマッチングする動作をカラー化する(ｃｏｌｏｒｉｚｅ)と呼ぶ。即ち、八分木構造内の特定のノード(リーフノード含み)に特質情報をマッチングする場合、これを特定のノードをカラー化すると表現する。例えば、八分木構造内のリーフノードに特質情報をマッチングする場合、これをリーフノードをカラー化すると表現する。また、八分木ノードのルートノードに特質情報をマッチングする場合、これをルートノードをカラー化すると表現する。

【0283】

カラー化された八分木を生成する過程は、リーフノードカラー化段階(Ｌｅａｆ ｎｏｄｅ ｃｏｌｏｒｉｚａｔｉｏｎ、２１０００)、隣接検出(Ｎｅｉｇｈｂｏｒ ｄｅｔｅｃｔｉｏｎ、２１００１)段階、ポイントデータ選択段階(Ｐｏｉｎｔ ｄａｔａ ｓｅｌｅｃｔｉｏｎ、２１００２)、八分木ノードカラー化段階(Ｏｃｔｒｅｅ ｎｏｄｅ ｃｏｌｏｒｉｚａｔｉｏｎ、２１００３)、及びインターノード重複データ除去段階(Ｉｎｔｅｒ－ｎｏｄｅ Ａｔｔｒｉｂｕｔｅ ｄｕｐｌｉｃａｔｉｏｎ ｒｅｍｏｖａｌ、２１００４)を含む。

【0284】

まずカラー化された八分木はルートノードに特質データをマッチングした後、ルートノードカラー化された八分木を生成する過程は、リーフノードカラー化段階(Ｌｅａｆ ｎｏｄｅ ｃｏｌｏｒｉｚａｔｉｏｎ、２１０００)、隣接検出(Ｎｅｉｇｈｂｏｒ ｄｅｔｅｃｔｉｏｎ、２１００１)段階、ポイントデータ選択段階(Ｐｏｉｎｔ ｄａｔａ ｓｅｌｅｃｔｉｏｎ、２１００２)、ポイントデータ選択段階(２１００２)、八分木ノードカラー化段階(２１００３)及び／又はインターノード重複データ除去段階(２１００４)を行う。カラー化された八分木を生成する過程は、リーフノードが含まれたレベルを除いた全てのレベルに対してレベルごとに行われる(２１００５、２１００６)。

【0285】

リーフノードカラー化段階(２１０００)は、ポイントクラウドデータの特質データと八分木構造を受信して、八分木構造のリーフノードに該当特質データをマッチングする。

【0286】

隣接検出(Ｎｅｉｇｈｂｏｒ ｄｅｔｅｃｔｉｏｎ、２１００１)段階は、ポイントクラウドデータの特定ポイントの隣接(ｎｅｉｇｈｂｏｒ)に対応するポイントを検出する。特定ポイントの隣接は、特定ポイントから隣接する隣接ポイントの集合を意味する。隣接は実施例による八分木構造に基づいて定義できる。八分木構造に基づく隣接は、特定ポイントに該当するリーフノードの親ノードの下位ノードに対応するポイントの集合を意味する。親ノードは該当するリーフノードから一定のレベルの上位ノードを意味し、一定のレベルは任意に決定される。隣接を検出する段階の具体的な過程については図２３で説明する。

【0287】

具体的には、例えば、エンコーダがルートノードに特質データをマッチングするためには、ルートノードより下位ノードに存在するリーフノードに対応するポイントを検出する必要がある。よって、エンコーダはルートノードに特質データをマッチングするためには、親ノードをルートノードとし、親ノード(ルートノード)よりも下位レベルに含まれたリーフノードに対応するポイントを検出することができる。

【0288】

例えば、レベル４の特定の位置に含まれた第１ノード(リーフノードではないノード)に特質情報をマッチングする必要がある。実施例によれば、レベル４に該当する３次元空間内のポイントの隣接(ｎｅｉｇｈｂｏｒ)を検出しなければならない。親ノード(ｐａｒｅｎｔ ｎｏｄｅ)を第１ノードとし、親ノード(第１ノード)よりも下位レベルに含まれたリーフノードに対応するポイントを検出することができる。かかる方式で隣接ポイントを検出することにより、実施例によるエンコーダは、ポイントクラウドデータの特質情報の分布を考慮したカラー化された八分木を具現することができる。

【0289】

ポイントデータ選択段階(Ｐｏｉｎｔ ｄａｔａ ｓｅｌｅｃｔｉｏｎ、２１００２)は、隣接検出段階で検出された隣接に対応するポイントのうち、特定ポイント(又は特定ポイントの特質情報)を選択する。特定ポイントは隣接検出段階(２１００１)で検出された隣接に対応するポイントを代表するポイントを意味する。実施例によるエンコーダは様々な方法により特定ポイントを選択することができる。実施例によるエンコーダは一つの３Ｄ空間内でも多様な方法で特定ポイントを選択することができる。実施例によるエンコーダは選択された特定ポイントを八分木構造内のリーフノードではないノード(即ち、親ノード)にマッチングすることができる。

【0290】

例えば、特定ポイントは該当親ノードに対応する位置に近いポイントを意味する。即ち、実施例によるエンコーダは該当親ノードに対応する位置から近いポイントに対応するリーフノードを選択することができる。

【0291】

例えば、特定ポイントは隣接に対応するポイントの平均位置に近いポイントを意味する。即ち、実施例によるエンコーダは検出された隣接の平均位置に近いポイントに対応するリーフノードを選択することができる。

【0292】

実施例によるエンコーダは選択された特定ポイントを八分木構造内のリーフノードではないノード(即ち、親ノード)にマッチングする。また実施例によるエンコーダは選択された特定ポイントの特質情報と、隣接に対応するポイントの平均特質の残差(ｒｅｓｉｄｕａｌ)情報(ｅ.ｇ. ｐｏｉｎｔ－Ａｔｔｒ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ))を親ノードにマッチングすることもできる。

【0293】

実施例によるエンコーダが特定ポイントを選択する過程については図２４で説明する。

【0294】

八分木ノードカラー化段階(Ｏｃｔｒｅｅ ｎｏｄｅ ｃｏｌｏｒｉｚａｔｉｏｎ、２１００３)では、実施例による選択された特定ポイントを親ノードにマッチングする。選択された特定ポイントを親ノードにマッチングすることを、親ノードをカラー化する(ｃｏｌｏｒｉｚｅ)という。

【0295】

インターノード重複データ除去段階(Ｉｎｔｅｒ－ｎｏｄｅ Ａｔｔｒｉｂｕｔｅ ｄｕｐｌｉｃａｔｉｏｎ ｒｅｍｏｖａｌ、２１００４)は、親ノードにマッチングされた特質と、該当特質情報が存在したリーフノードに重複するデータを除去する。実施例において、検出された隣接に対応するポイントの特質情報に基づいて親ノードをマッチングすると、リーフノードと親ノードの重複データが発生し得る。実施例によるエンコーダはかかる重複データをさらに除去することができる。

【0296】

実施例によるインターノード重複データ除去段階(２１００４)は、それぞれのノードに特質データをマッチングすると同時に行われるか、又は全てのノードに特質データがマッチングされた後に行われることができる。

【0297】

実施例によるエンコーダは、八分木構造に対してリーフノードカラー化段階(２１０００)を行った後、隣接検出(２１００１)段階、ポイントデータ選択段階(２１００２)、八分木ノードカラー化段階(２１００３)及びインターノード重複データ除去段階(２１００４)を以下のように行う。

【0298】

１）ルートノード(レベル０に該当するノード)に対して、上述した段階２１００１ないし段階２１００４を行って、ルートノードに特質情報をマッチングする。

【0299】

２）ルートノードの子ノード(レベル１に該当するノード)のうち、占有されたノード(即ち、１であるノード)に対して、上述した段階２１００１ないし段階２１００４を行って、それぞれのノードに特質情報をマッチングする。

【0300】

３）占有されたノードの下位ノードに対して、上述した段階２１００１ないし段階２１００４を再帰的に(又は反復的に)行う(２１００７)。仮に占有されたノードの下位ノードがリーフノードである場合には、それ以上上述した段階２１００１ないし段階２１００４を行わない(２１００６)。

【0301】

実施例によるエンコーダは、カラー化された八分木を生成して特質情報を送信することにより、八分木構造を全て符号化しなくても特質符号化を行うことができ、高速処理が求められるシステムで不要な遅延が発生する問題を解決することができ、少ない演算量に基づいて属性情報を圧縮することができる。

【0302】

カラー化された八分木は、八分木構造を用いることによりポイントの位置情報を示すと同時に、該当位置にマッチングされる特質情報を同時に含んでいる構造である。また、カラー化された八分木は特質情報がリーフノードに限定して分布せず、ノードに分散して分布している。従って、実施例によるデコーダは、カラー化された八分木をルートノードからリーフノードまで順にジオメトリ情報と特質情報を巡回しながらデコーダの性能に適応的に復号を行うことができる。即ち、実施例によるポイントクラウドデータ受信装置(又はデコーダ)は、カラー化された八分木を受信することにより、必ず特質情報を全て復号しなくても特質情報を復号することができ、スケーラブル(ｓｃａｌａｂｌｅ)な復号が可能である。またカラー化された八分木は、デコーダ性能に合わせて特質情報がノードにマッチングされているので、様々な性能の受信機を支援することができる。

【0303】

図２２は八分木構造のリーフノードをカラー化する(ｃｏｌｏｒｉｚｅ)動作を示す図である。

【0304】

図２２は図２１のリーフノードカラー化(ｌｅａｆ ｎｏｄｅ ｃｏｌｏｒｉｚａｔｉｏｎ、２１０００)の段階で行われる動作を意味し、図２０のカラー化された八分木生成部(ｃｏｌｏｒｉｚｅｄ ｏｃｔｒｅｅ ｇｅｎｅｒａｔｉｏｎ)２０００４又は八分木マッチング部２０００４ａで行われる。

【0305】

図２２(ａ)は実施例による特質データ(特質情報)の一例を示す。

【0306】

特質データは、例えば、色値を含む。図２２(ａ)に示した特質データは図１ないし図１７で説明した特質情報(特質データ)の一例を示す。

【0307】

ｃ１ないしｃ９はそれぞれのポイントの特質情報を示す。Ａｔｔｒは特定の位置を有するポイントの特質情報を示す。即ち、Ａｔｔｒ(０、２、０)は(０、２、０)位置に存在するポイントの特質情報を示す。従って、ｃ１＝Ａｔｔｒ(０、２、０)とは、ｃ１は(０、２、０)に位置するポイントの特質情報を意味する。

【0308】

図２２(ａ)は３次元空間に分布するポイントの特質情報を例示的に示す。３次元空間に９つのポイントが存在し、それぞれの特質情報は図２２(ａ)に示されている。

【0309】

図２２(ｂ)はカラー化されたリーフノードを含む八分木構造を示す。図２２(ｂ)は図２２(ａ)に示したポイントで実施例による八分木構造に特質情報をマッチングする過程を示す。例えば、ｃ１に対応するポイントは(０、２、０)の位置に分布するので、図２２(ｂ)に示した八分木の２２０００Ｂ－１リーフノードに対応する。該当２２０００Ｂ－１リーフノードにｃ１特質情報をマッチングする。同様に、ｃ２ないしｃ９も対応するリーフノードにマッチングする。

【0310】

図２３は実施例によるエンコーダが実施例による隣接(ｎｅｉｇｈｂｏｒ)を検出する過程を示す図である。

【0311】

図２３(ａ)及び図２３(ｂ)に示された隣接を検出する動作は、図２１の隣接を検出する段階(２１００１)の動作を意味する。実施例によるエンコーダは、八分木構造のノードに特質情報をマッチングするために特定ポイントに対する隣接ポイントを検出することができる。実施例によるエンコーダは、検出された隣接ポイントに基づいて特質情報を選択した後、選択された特質情報を八分木構造のノードにマッチングすることができる。

【0312】

実施例によるエンコーダは、ルートノードからレベルを増加させながら(即ち、下位ノードに下がりながら)、ノードに特質情報をマッチングすることができる。

【0313】

図２３(ａ)は実施例によるエンコーダがルートノードにマッチングする特質情報を導き出すために、ルートノードを親ノードとする隣接ポイントを検出する過程を示す。

【0314】

実施例によるエンコーダは、親ノード(ルートノード)に対応する３次元空間内のポイント２３００１のうちのいずれか(例えば、Ｃ１に対応するポイント、２３０００ａ)を選択する。実施例によるエンコーダは、選択されたポイント以外に同じ親ノードの子ノードで有するリーフノードを探索することができる。例えば、Ｃ１に対応するポイントと親ノード(ルートノード)を共有する下位リーフノードであって、Ｃ２～Ｃ９に対応するノードを隣接ポイント２３０００ｂで探索することができる。

【0315】

実施例によるエンコーダは、選択された隣接ポイント２３０００ｂに基づいて特質情報を選択した後、該当親ノード(ルートノード)にマッチングすることができる。

【0316】

図２３(ｂ)は実施例によるエンコーダがルートノードではない他のノードにマッチングする特質情報を導き出すために、該当ノードを親ノードとする隣接ポイントを検出する過程を示す。

【0317】

実施例によるエンコーダは、親ノードに対応する３次元空間内のポイント２３００１のうちのいずれか(例えば、Ｃ１に対応するポイント、２３００１ａ)を選択する。実施例によるエンコーダは、選択されたポイント以外に同じ親ノードの子ノードで有するリーフノードを探索することができる。例えば、Ｃ１に対応するポイントと親ノードを共有する下位リーフノードであって、Ｃ２～Ｃ４に対応するノードを隣接ポイント２３０００ｂで探索することができる。

【0318】

実施例によるエンコーダは、選択された隣接ポイント２３００１ｂに基づいて特質情報２３００１ａを選択した後、該当親ノードにマッチングする。

【0319】

図２４は実施例によるエンコーダが実施例による隣接に基づいて親ノードに特質情報をマッチングするための数式を示す。

【0320】

図２４(ａ)は実施例による隣接ポイントのうち、親ノードに特質情報をマッチングするための特質情報を選択する方法の一例を示す数式である。

【0321】

(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)は実施例によるｎ個のポイントを(ｘ、ｙ、ｚ)座標で示すものである。例えば、図２２において、ｃ１の特質を有するポイントは(０、２、０)であり、ｘ_１＝０、ｙ_１＝２及びｚ_１＝０のように表現できる。

【0322】

Ａｔｔｒ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)はｎ個のポイントに対する特質情報を示す。即ち、Ａｔｔｒ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)は(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)位置に存在するポイントの特質情報を示す。言い換えれば、Ａｔｔｒ(ｐｏｉｎｔ)関数はポイントの特質情報を返還する関数であると理解できる。

【0323】

Ｐ_ＧｅｏＣｔｒ(ｘ、ｙ、ｚ)は実施例による親ノードの特質情報を意味する。即ち、図２４(ａ)はＰ_ＧｅｏＣｔｒ(ｘ、ｙ、ｚ)、即ち、親ノードの特質情報を決定する過程である。

【0324】

ＮＥＩＧＨＢＯＲは(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)ポイントの隣接に対応するポイントの集合を意味する。

【0325】

ｆ{Ａｔｔｒ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)|(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)∈ＮＥＩＧＨＢＯＲ}は、特定ポイントの隣接に対応するポイントをインプット(ｉｎｐｕｔ)とするとき、該当隣接ポイントの一つである(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)ポイントの特質情報を返還する関数を意味する。即ち、隣接ポイントに対応するポイントのうち、一つのポイント(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)の特質情報を返還する関数である。

【0326】

ｆ{Ａｔｔｒ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)|(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)∈ＮＥＩＧＨＢＯＲ}は、２４０００ａに示された数式の値が最小になるポイント(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)の特質値を意味する。

【0327】

ｓ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)は実施例によるポイントのうち、親ノードとして選択されたか否かを示す。例えば、該当ノードに対するｓ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)値が０であると、このポイントは親ノードとして選択されてマッチングされたことを示。例えば、該当ノードに対するｘ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)値が１であると、このポイントは親ノードとして選択されたことがないことを示す。

【0328】

実施例によるポイントクラウドデータエンコーダは、特定の親ノードに特質をマッチングするために、該当親ノードに対する隣接ポイントを検出した後、隣接ポイントのｓ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)値を確認する。その後、実施例によるエンコーダは、ｓ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)の値が１であるポイントのうち、一つのポイントの特質を該当親ノードにマッチングする。このような構成により、実施例によるエンコーダは複数の親ノードに対して同一の特質データをマッチングしないことができる。

【0329】

Ｍは実施例による隣接ポイントの個数を意味する。

【0330】

[ｘ^－、ｙ^－、ｚ^－]^Ｔは実施例による隣接ポイントの平均位置を意味する。実施例による隣接ポイントの平均位置は隣接ポイントの位置情報に基づいて計算される。具体的には、実施例による隣接ポイントの平均位置は隣接ポイントの各位置の和に隣接ポイントの数を割ることにより計算できる。例えば、実施例による隣接ポイントの平均位置は、隣接ポイントと該当隣接ポイントのそれぞれに適用されるウェート値(ｗｅｉｇｈｔ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ))を掛けた値の和に、隣接ポイントの数を割ることにより計算できる(２４０００ｂ)。

【0331】

隣接ポイントのそれぞれに適用されるウェイト値(ｗｅｉｇｈｔ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ))は、

【0332】

||[ｘ^－、ｙ^－、ｚ^－]^Ｔ－[ｘ_ｎ、ｙ_ｎ、ｚ_ｎ]^Ｔ||は、それぞれの隣接ポイントと隣接ポイントの平均位置の距離(例えば、ユークリッド距離)を意味する。

【0333】

隣接ポイントのうちの一つのポイントを選択するとき、既に親ノードとしてマッチングされたポイントは考慮しなくても良い。即ち、実施例によるポイントクラウドデータエンコーダは、||[ｘ^－、yｙ－、ｚ^－]^Ｔ－[ｘ_ｎ、ｙ_ｎ、ｚ_ｎ]^Ｔ||^２にｓ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)を掛けることにより、既に親ノードとしてマッチングされたポイントは考慮しないことができる。

【0334】

整理すると、実施例による親ノードにマッチングする特質値は、２４０００ａに示した数式が最小値を有するポイントの特質データを意味する。即ち、実施例によるポイントクラウドデータエンコーダは、||[ｘ^－、ｙ^－、ｚ^－]^Ｔ－[ｘ_ｎ、ｙ_ｎ、ｚ_ｎ]^Ｔ||^２にｓ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)を掛けた値の平均を計算した後、その値が最小値として決定されるポイント(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)を選択した後、そのポイントの特質情報(Ａｔｔｒ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ))を親ノードとしてマッチングすることができる。

【0335】

図２４(ｂ)は実施例による隣接ポイントのうち、親ノードに特質情報をマッチングするための特質情報を選択する他の方法の一例を示す数式である。

【0336】

実施例によるポイントクラウドデータエンコーダは、隣接ポイントを昇順に整列したとき、これらの中間(ｍｅｄｉａｎ)値を有するポイントを選択することができる。また実施例によるポイントクラウドデータエンコーダは、各隣接ポイントとこれらにそれぞれ適用されるウェートを掛けた値を昇順に整列したとき、これらの中間(ｍｅｄｉａｎ)値を有するポイントを選択することができる。同様に、隣接ポイントのうちの一つを選択するとき、既に親ノードとしてマッチングされたポイントは考慮しなくても良い。即ち、実施例によるポイントクラウドデータエンコーダは、{ｗｅｉｇｈｔ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ|ｘ、ｙ、ｚ)＊[ｘ_ｎ、ｙ_ｎ、ｚ_ｎ]^Ｔ}にｓ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)を掛けることにより、既に親ノードとしてマッチングされたポイントは考慮しないことができる。

【0337】

図２４(ｃ)は実施例による隣接ポイントのうち、親ノードに特質情報をマッチングするための特質情報を選択する他の方法の一例を示す数式である。

【0338】

実施例によるポイントクラウドデータエンコーダは、隣接ポイントを昇順に整列したとき、これらのｋ番目の値を有するポイントを選択することができる。また実施例によるポイントクラウドデータエンコーダは、各隣接ポイントとこれらにそれぞれ適用されるウェートを掛けた値を昇順に整列したとき、これらのｋ番目の値を有するポイントを選択することができる。同様に、隣接ポイントのうちの一つを選択するとき、既に親ノードとしてマッチングされたポイントは考慮しなくても良い。

【0339】

図２５は実施例によるエンコーダが、特質情報がマッチングされた八分木内の重複した特質(ｄｕｐｌｉｃａｔｅ Ａｔｔｒｉｂｕｔｅ)を除去する動作を示す図である。

【0340】

図２５(ａ)は実施例による特質情報が各ノードにマッチングされたツリーを示す。図２５(ａ)における特質情報がマッチングされた八分木構造をカラー化された八分木と呼ぶ。図２５(ａ)のカラー化された八分木は、図２１においてリーフノードカラー化動作(２１０００)、隣接検出動作(２１００１)、ポイントデータ選択動作(２１００２)及び八分木ノードカラー化動作(２１００３)が行われた八分木構造を意味する。

【0341】

重複した特質データ(ｄｕｐｌｉｃａｔｅ Ａｔｔｒｉｂｕｔｅ)とは、ポイントの特質データがリーフノード以外に他のノードに重複してマッチングされた場合、重複してマッチングされた特質データを意味する。即ち、かかる動作により、再帰的な選択(ｒｅｃｕｒｓｉｖｅ ｓｅｌｅｃｔｉｏｎ)によって同じ情報がさらに上位レベルまで重複する可能性があり、これにより全体データの数が増えてコーディング効率を減らす要因となる。例えば、カラー化された八分木を生成する過程において、Ｃ１がリーフノード２５０００ｂ－１にも存在することができ、上位ノード２５０００ｂにも存在することができる。実施例によるエンコーダは２つの特質データを全て送信する場合、送信効率が落ちることもある。またビット効率を上げながら、スケーラブルな表現(ｓｃａｌａｂｌｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ)を達成するという目的を達成することができない。よって、上記重複した特質データを除去する必要がある。

【0342】

従って、実施例によるエンコーダは、上記重複データ２５０００ｂ、２５０００ｂ－１のうち、リーフノードに該当する特質情報２５０００ｂ－１を除去することができる。同様に、Ｃ２特質情報もルートノード２５０００ａとリーフノード２５０００ａ－１に重複して存在することができる。実施例によれば、ルートノード２５０００ａとリーフノード２５０００ａ－１のうちのリーフノードの特質情報を除去することができる。

【0343】

同様に、Ｃ５特質情報も特定のノード２５０００ｃとリーフノード２５０００ｃ－１に重複して存在することができる。実施例によれば、特定のノード２５０００ｃとリーフノード２５０００ｃ－１のうち、リーフノードの特質情報を除去することができる。

【0344】

このように重複したデータのうち、リーフノードに特質データを除去することにより、実施例によるデコーダは、リーフノードまで探索して復号しなくても迅速に特質情報を復号することができ、迅速にユーザにＰＣＣデータをレンダリングすることができる。

【0345】

図２６は実施例によるエンコーダの動作を示す図である。

【0346】

図２６に示した動作は実施例によるエンコーダで行われる。図２５に示した動作は具体的に、図２０のカラー化された八分木生成部２０００４により行われる。

【0347】

実施例によるエンコーダは、ポイントクラウドデータをリーフノードにマッチングする段階(２６０００)、ルートノードに特質情報をマッチングする段階(２６００１)、下位ノードからリーフノードの上位ノードまで(ｌｅａｆ－１ｌｅｖｅｌ)特質情報をマッチングする段階(２６００２)及び／又は特質情報がマッチングされた八分木構造内の重複データを除去する段階(２６００３)を含む。

【0348】

ポイントクラウドデータをリーフノードにマッチングする段階(２６０００)は、図２２で説明した動作により行われる。即ち、実施例によるエンコーダは、特質データ(Ｉｎｐｕｔ：ｃ１、ｃ２、ｃ３、ｃ４、ｃ５、ｃ６、ｃ７、ｃ８、ｃ９)と実施例による八分木構造を受信する。実施例によるエンコーダは、受信した特質データを八分木構造の対応するリーフノード２６０００ａにマッチングする。

【0349】

ルートノードに特質情報をマッチングする段階(２６００１)は、ルートノードを親ノードとする隣接ポイントを検出した後、検出された隣接ポイントのうちの一つの特質情報を選択した後、選択された特質情報をルートノードにマッチングする。例えば、ルートノードを親ノードとする隣接ポイントはＣ１ないしＣ９に対応するポイントである。実施例によるエンコーダは、該当ポイントのうち、Ｃ２に対応するポイントを選択することができ、エンコーダは選択されたポイントの特質情報をルートノードにマッチングすることができる(ｓｅｌｅｃｔｅｄ ａｎｄ ｍａｔｃｈｅｄ：ｃ２)。実施例による選択されたポイントは別途の配列ないし適合するデータ構造を用いて０又は１として貯蔵することができる。

【0350】

下位ノードからリーフノードの上位ノードまで(ｌｅａｆ－１ｌｅｖｅｌ)特質情報をマッチングする段階(２６００２)は、上記ルートノードに特質情報をマッチングする段階(２６００１)で行った動作を下位ノードに対して反復的に又は再帰的に行うことができる。

【0351】

特質情報がマッチングされた八分木構造内の重複データを除去する段階(２６００３)は、特質情報がルートノードないしそれぞれのノードにマッチングされた八分木構造から重複する特質データを除去することができる。特質情報がマッチングされた八分木構造内の重複データを除去する段階２６００３は、図２５で説明した動作により行われる。

【0352】

図２７は実施例によるポイントクラウドデータのビットストリーム構造の一例を示す図である。

【0353】

実施例によるポイントクラウドデータ送信装置は、図２７に示したようなビットストリーム構造を有するビットストリーム２７０００を送信する。ポイントクラウドデータのビットストリーム２７０００は、ＳＰＳ(Ｓｅｑｕｅｎｔｉａｌ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)２７００１、ＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)２７００２、ＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)２７００３、ＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)２７００４及び一つ又はそれ以上のスライス(ｓｌｉｃｅ ０、ｓｌｉｃｅ １ … ｓｌｉｃｅ ｎ)２７００５を含む。ポイントクラウドデータのビットストリームは一つ又はそれ以上のタイルを含む。実施例によるタイルは一つ又はそれ以上のスライスを含むスライスのグループである。

【0354】

実施例によるビットストリーム２７０００は、ポイントクラウドデータを領域ごとに分けて処理できるようにタイル又はスライスを提供する。実施例によるビットストリーム２７０００のそれぞれの領域は互いに重要度が異なる。したがって、ポイントクラウドデータはタイルで分けられる場合、タイルごとに異なるフィルタ(符号化方法)、異なるフィルタユニットを適用することができる。ポイントクラウドはスライスで分けられる場合、（各）スライスごとに異なるフィルタ、異なるフィルタユニットを適用する。

【0355】

実施例による送受信装置はポイントクラウドの分割圧縮時、分割された領域内の属性情報の選択的送信のためのハイレベルシンタックス構造によってビットストリームを送信及び受信する。

【0356】

実施例によるポイントクラウドデータ送信装置は、図２７のようなビットストリーム２７０００の構造によってポイントクラウドデータを送信することにより、重要度によって異なる符号化動作を適用でき、高品質の符号化方法を重要な領域に使用する方案を提供できる。またポイントクラウドの特性による効率的な符号化／復号化及び送信を支援し、ユーザの要求事項による属性値を提供することができる。

【0357】

実施例によるポイントクラウドデータ送信装置及び受信装置は、タイル及び／又はスライス単位で独立的に又は独立せずに符号化及び復号化を行うことにより、符号化及び復号化過程で累積されるエラーを防止することができる。

【0358】

ＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)２７００１は、それぞれのスライスセグメントヘッダ(ｓｌｉｃｅ ｓｅｇｍｅｎｔ ｈｅａｄｅｒ)内のシンタックス要素(ｓｙｎｔａｘ ｅｌｅｍｅｎｔ)により参照されるＰＰＳ内のシンタックス要素のコンテンツにより決定される０個又はそれ以上の全体ＣＶＳに適用されるシンタックス要素を含むシンタックス構造である(ａ ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ ｃｏｎｔａｉｎｉｎｇ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｔｈａｔ ａｐｐｌｙ ｔｏ ｚｅｒｏ ｏｒ ｍｏｒｅ ｅｎｔｉｒｅ ＣＶＳｓ ａｓ ｄｅｔｅｒｍｉｎｅｄ ｂｙ ｔｈｅ ｃｏｎｔｅｎｔ ｏｆ ａ ｓｙｎｔａｘ ｅｌｅｍｅｎｔ ｆｏｕｎｄ ｉｎ ｔｈｅ ＰＰＳ ｒｅｆｅｒｒｅｄ ｔｏ ｂｙ ａ ｓｙｎｔａｘ ｅｌｅｍｅｎｔ ｆｏｕｎｄ ｉｎ ｅａｃｈ ｓｌｉｃｅ ｓｅｇｍｅｎｔ ｈｅａｄｅｒ)。ＳＰＳは実施例によるポイントクラウドデータビットストリームのシーケンス情報を含む。

【0359】

ＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)２７００２)は、０個又はそれ以上の全体ジオメトリ(又は符号化されたジオメトリ)が適用されるシンタックス要素を含むシンタックス構造を意味する。実施例によるＧＰＳ２７００２は、一つ又はそれ以上のスライス２７００５に含まれたポイントクラウドデータの特質(属性)情報を符号化する方法に関する情報を含む。ＧＰＳ２７００２は実施例によるどのＳＰＳ２７００１に関連するジオメトリパラメータを含むかを示すＳＰＳ識別子情報、該当ＧＰＳを識別するＧＰＳ識別子情報を含む。

【0360】

ＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)２７００３は、０個又はそれ以上の全体特質(又は符号化された特質)が適用されるシンタックス要素(ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ)を含むシンタックス構造を意味する。実施例によるＡＰＳ２７００３は、一つ又はそれ以上のスライス１９００５に含まれたポイントクラウドデータの特質(属性)情報を符号化する方法に関する情報を含む。ＡＰＳ２７００３は実施例によるどのＳＰＳ２７００１に関連するジオメトリパラメータを含むかを示すＳＰＳ識別子情報、該当ＡＰＳを識別するＧＰＳ識別子情報を含む。

【0361】

ＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)２７００４は、０個又はそれ以上の全体タイル(又は符号化されたタイル)が適用されるシンタックス要素を含むシンタックス構造を意味する。タイルリストは実施例によるポイントクラウドデータビットストリームに含まれた０個又はそれ以上のタイルに関する情報を含む。実施例において、タイルリストはＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)とも呼ばれる。

【0362】

ＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)２７００４は、一つ又はそれ以上のタイルを識別する識別子情報及び一つ又はそれ以上のタイルの範囲(即ち、タイルの境界ボックス)を示す情報を含む。一つ又はそれ以上のタイルの範囲(即ち、タイルの境界ボックス)を示す情報は、該当タイルが示す境界ボックスの基準となる点の座標情報(例えば、Ｔｉｌｅ(ｎ).ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｘｙｚ０)及び該当境界ボックスの幅、高さ及び深さに関する情報(例えば、Ｔｉｌｅ(ｎ)．ｔｉｌｅ_ｂｏｕｄｎｉｎｇ_ｂｏｘ_ｗｈｄ)を含む。複数のタイルが存在する場合、タイルリスト(Ｔｉｌｅ Ｉｎｖｅｎｔｏｒｙ)２７００４は、それぞれのタイルに関する境界ボックスを示す情報を含む。例えば、各タイルがタイルの識別子情報により０ないしｎで表現される場合、それぞれのタイルの境界ボックスを示す情報は、Ｔｉｌｅ(０).ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｘｙｚ０、Ｔｉｌｅ(０).ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｗｈｄ、Ｔｉｌｅ(１).ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｘｙｚ０、Ｔｉｌｅ(１).ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｗｈｄ …などで表現される。

【0363】

スライス２７００５は実施例によるポイントクラウドデータの送信装置がポイントクラウドデータを符号化するための単位を意味する。実施例によるスライス２７００５は、一つのジオメトリビットストリーム(Ｇｅｏｍ００、２７００５ａ)及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ００、Ａｔｔｒ１０、２７００５ｂ、２７００５ｃ)を含む単位を意味する。

【0364】

スライス２７００５は該当スライス内に含まれたポイントクラウドデータのジオメトリ情報を示すジオメトリスライス(Ｇｅｏｍｅｔｒｙ Ｓｌｉｃｅ、Ｇｅｏｍ)２７００５ａ及び該当スライス内に含まれたポイントクラウドデータの特質情報を示す一つ又はそれ以上の特質スライス(Ａｔｔｒｉｂｕｔｅ Ｓｌｉｃｅ、Ａｔｔｒ)２７００５ｂ、２７００５ｃを含む。

【0365】

ジオメトリスライス(Ｇｅｏｍｅｔｒｙ Ｓｌｉｃｅ、Ｇｅｏｍ)２７００５ａは、ポイントクラウドデータのジオメトリ情報を含むジオメトリスライスデータ(Ｇｅｏｍｅｔｒｙ Ｓｌｉｃｅ Ｄａｔａ、Ｇｅｏｍ_ｓｌｉｃｅ_ｄａｔａ)１９００５ａ－２及びジオメトリスライスデータに関する情報を含むジオメトリスライスヘッダ(Ｇｅｏｍｅｔｒｙ Ｓｌｉｃｅ Ｈｅａｄｅｒ、Ｇｅｏｍ_ｓｌｉｃｅ_ｈｅａｄｅｒ、ＧＳＨ)２７００５ａ－１を含む。

【0366】

ジオメトリスライスヘッダ２７００５ａ－１は該当スライス内のジオメトリスライスデータ２７００５ａ－２に関する情報を含む。例えば、ジオメトリスライスヘッダ２７００５ａ－１はどのＧＰＳ２７００２が該当スライスのジオメトリ情報を示すかを識別するためのジオメトリパラメータセット識別子(ｇｅｏｍ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、該当ジオメトリスライスを識別するためのジオメトリスライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)、該当ジオメトリスライスデータのボックス元点を示すジオメトリボックスオリジン情報(ｇｅｏｍＢｏｘＯｒｉｇｉｎ)、ジオメトリスライスのログスケールを示す情報(ｇｅｏｍ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ)、該当ジオメトリスライスのポイントの個数に関連する情報(ｇｅｏｍ_ｎｕｍ_ｐｏｉｎｔｓ)などを含む。

【0367】

実施例によるポイントクラウドデータビットストリームが一つ又はそれ以上のタイルを含む場合、実施例によるジオメトリビットストリームのヘッダは該当ジオメトリビットストリームを含むタイルを識別するための情報(ｇｅｏｍ_ｔｉｌｅ_ｉｄ)をさらに含む。

【0368】

特質スライス(Ａｔｔｒｉｂｕｔｅ Ｓｌｉｃｅ、Ａｔｔｒ)２７００５ｂは、ポイントクラウドデータの特質情報を含む特質スライスデータ(Ａｔｔｒｉｂｕｔｅ Ｓｌｉｃｅ Ｄａｔａ、Ａｔｔｒ_ｓｌｉｃｅ_ｄａｔａ)２７００５ｂ－２及び特質スライスデータに関する情報を含む特質スライスヘッダ(Ａｔｔｒｉｂｕｔｅ Ｓｌｉｃｅ Ｈｅａｄｅｒ、Ａｔｔｒ_ｓｌｉｃｅ_ｈｅａｄｅｒ、ＡＳＨ)２７００５ｂ－１を含む。

【0369】

実施例によれば、ポイントクラウド符号化に必要なパラメータはポイントクラウドのパラメータセット及びヘッダ情報により新しく定義される。例えば、属性情報符号化を行うときには、ａｔｔｒｉｂｕｔｅ ｐａｒａｍｅｔｅｒ ｓｅｔ ＲＢＳＰ ｓｙｎｔａｘに、タイル基盤の符号化を行うときには、ｔｉｌｅ_ｈｅａｄｅｒ ｓｙｎｔａｘなどに追加することができる。

【0370】

実施例によるポイントクラウドデータ送受信方法は、かかるビットストリーム構造を提供することにより、受信機をしてイントクラウドデータの属性情報の復号化性能を高めることができる。

【0371】

図２８は実施例によるＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を示す。

【0372】

実施例によるポイントクラウドデータ送信装置が送信するビットストリーム(又はポイントクラウドデータ受信装置が受信するビットストリーム)は、一つ又はそれ以上のＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を含む。実施例によるＡＰＳは図２７のＡＰＳを意味する。

【0373】

実施例によるＡＰＳは。例えば、ａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ、ａｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ、ｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇ、ｓｃａｌａｂｌｅ_ｒｅｐｒｅｓｅｎａｔａｔｉｏｎ_ａｖａｉｌａｂｌｅ_ｆｌａｇ、ｏｃｔｒｅｅ_ｃｏｌｏｒｉｚａｔｉｏｎ_ｔｙｐｅ、ｍａｔｃｈｅｄ_Ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ、Ａｔｔｒｉｂｕｔｅ_ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ及び／又はｐｏｉｎｔ_ｄａｔａ_ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ、ｐｏｉｎｔ_ｃｌｏｕｄ_ｇｅｏｍｅｔｒｙ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｆｌａｇを含む。

【0374】

ａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、他のシンタックス要素(ｓｙｎｔａｘ ｅｌｅｍｅｎｔ)による参照のためのＡＰＳの識別子(ｉｄ)を示す。このパラメータは０～１５の値を有する(ｐｒｏｖｉｄｅｓ ａｎ ｉｄｅｎｔｉｆｉｅｒ ｆｏｒ ｔｈｅ ＡＰＳ ｆｏｒ ｒｅｆｅｒｅｎｃｅ ｂｙ ｏｔｈｅｒ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ. Ｔｈｅ ｖａｌｕｅ ｏｆ ａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｍａｙ ｂｅ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ０ ｔｏ １５、ｉｎｃｌｕｓｉｖｅ)。

【0375】

ａｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、現在アクティブ(ａｃｔｉｖｅ)ＳＰＳに対するｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す。ａｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは０～１５の値を有する(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｆｏｒ ｔｈｅ ａｃｔｉｖｅ ＳＰＳ. Ｔｈｅ ｖａｌｕｅ ｏｆ ａｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｍａｙ ｂｅ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ０ ｔｏ １５、ｉｎｃｌｕｓｉｖｅ)。

【0376】

ｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１である場合、実施例による八分木構造の全レベル(ｆｕｌｌ ｌｅｖｅｌ)に対するデータが伝達されることを示す。即ち、このパラメータの値が１であることは、実施例によるポイントクラウドデータ送信装置が、ジオメトリデータの八分木構造の全レベルに対するデータがビットストリームで送信されることを意味する。

【0377】

ｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が０である場合、実施例による八分木構造の一部レベル(ｐａｒｔｉａｌ ｌｅｖｅｌ)に対するデータが伝達されることを示す。即ち、このパラメータの値が１であるとは、実施例によるポイントクラウドデータ送信装置が、ジオメトリデータの八分木構造の一部レベル、即ち、一部の八分木(ｐａｒｔｉａｌ ｏｃｔｒｅｅ)に対するデータがビットストリームで送信されることを意味する。

【0378】

例えば、実施例によるポイントクラウドデータ送信装置が八分木構造のルートレベルからリーフノードではないレベルｋのノードに対する占有情報のみ伝達する場合、ｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇの値は０である。例えば、実施例によるポイントクラウドデータ送信装置が八分木構造のルートレベルからリーフノードに該当する全てのノードに対する占有情報を全て伝達する場合、ｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａの値は１である。

【0379】

実施例によるポイントクラウドデータ受信装置(デコーダ)は、ｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１である場合、特質－ノードマッチング(Ａｔｔｒｉｂｕｔｅ ｔｏ ｎｏｄｅ ｍａｔｃｈｉｎｇ)及び特質－ポイントマッチング(Ａｔｔｒｉｂｕｔｅ ｔｏ ｐｏｉｎｔ ｍａｔｃｈｉｎｇ)の過程を行うことにより、一部及び／又は全てのポイントクラウドデータを出力することができる。実施例によるポイントクラウドデータ受信装置(デコーダ)は、ｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が０である場合、特質－ノードマッチング過程を行うことにより、一部のポイントクラウドデータを出力することができる。実施例によるデコーダの動作のうち、特質－ノードマッチング及び特質－ポイントマッチングの動作は以下の図３３などで説明する。

【0380】

ｓｃａｌａｂｌｅ_ｒｅｐｒｅｓｅｎｔａｔｉｏｎ_ａｖａｉｌａｂｌｅ_ｆｌａｇは、スケーラブル復号(又はスケーラブル表現(ｓｃａｌａｂｌｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ))が適用可能であるか否かを示す。実施例によるポイントクラウドエンコーダはスケーラブル表現可能にカラー化された八分木を生成し、カラー化された八分木に基づいて特質を処理する。ｓｃａｌａｂｌｅ_ｒｅｐｒｅｓｅｎｔａｔｉｏｎ_ａｖａｉｌａｂｌｅ_ｆｌａｇの値が１であると、ｓｃａｌａｂｌｅ_ｒｅｐｒｅｓｅｎｔａｔｉｏｎ_ａｖａｉｌａｂｌｅ_ｆｌａｇはデコードされたポイントクラウドデータ(デコードされた特質)がスケーラブル表現可能な構造(カラー化された八分木構造)を有することを示す。従って、受信装置はこの情報に基づいてカラー化された八分木を生成してスケーラブル表現を提供する。ｓｃａｌａｂｌｅ_ｒｅｐｒｅｓｅｎｔａｔｉｏｎ_ａｖａｉｌａｂｌｅ_ｆｌａｇの値が０であると、ｓｃａｌａｂｌｅ_ｒｅｐｒｅｓｅｎｔａｔｉｏｎ_ａｖａｉｌａｂｌｅ_ｆｌａｇはデコードされたポイントクラウドデータがスケーラブル表現が可能な構造を有さないことを示す。

【0381】

ｏｃｔｒｅｅ_ｃｏｌｏｒｉｚａｔｉｏｎ_ｔｙｐｅは、カラー化された八分木タイプ又はカラー化された八分木を生成する方法を示す。ｏｃｔｒｅｅ_ｃｏｌｏｒｉｚａｔｉｏｎ_ｔｙｐｅの値が０であると、カラー化された八分木は特質対の八分木の生成方法によって生成されることを示す。ｏｃｔｒｅｅ_ｃｏｌｏｒｉｚａｔｉｏｎ_ｔｙｐｅの値が１である場合、カラー化された八分木はポイント対の八分木の生成方法によって生成されることを示す。

【0382】

以下はｏｃｔｒｅｅ_ｃｏｌｏｒｉｚａｔｉｏｎ_ｔｙｐｅ値が０である場合、即ち、カラー化された八分木が特質対の八分木である場合に関連するパラメータである。

【0383】

ｍａｔｃｈｅｄ_Ａｔｔｒｉｂｕｔｅ_ｔｙｐｅは、八分木ノードにマッチングされた特質のタイプを示す。ｍａｔｃｈｅｄ_Ａｔｔｒｉｂｕｔｅ_ｔｙｐｅの値が０である場合、ｍａｔｃｈｅｄ_Ａｔｔｒｉｂｕｔｅ_ｔｙｐｅは特質が推定特質(例えば、周辺ノード又は子ノードの特質に基づいて推定された特質)であることを示す。ｍａｔｃｈｅｄ_Ａｔｔｒｉｂｕｔｅ_ｔｙｐｅの値が１である場合、ｍａｔｃｈｅｄ_Ａｔｔｒｉｂｕｔｅ_ｔｙｐｅは特質が実際の特質(例えば、子ノードの特質)であることを示す。

【0384】

Ａｔｔｒｉｂｕｔｅ_ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅは、八分木ノードに特質をマッチングする方法を示す。Ａｔｔｒｉｂｕｔｅ_ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ値が０である場合、推定特質は子ノードの特質の平均値に対応する。Ａｔｔｒｉｂｕｔｅ_ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ値が１である場合、推定特質は子ノードの特質の中間値に対応する。Ａｔｔｒｉｂｕｔｅ_ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ値が２である場合、特質は固定した順の子ノードの特質(例えば、昇順に整列された子ノードのうち、１番目の子ノードの特質又は２番目の子ノードの特質)に対応する。

【0385】

以下はｏｃｔｒｅｅ_ｃｏｌｏｒｉｚａｔｉｏｎ_ｔｙｐｅの値が１である場合、即ち、カラー化された八分木がポイント対の八分木である場合に関連するパラメータである。

【0386】

ｐｏｉｎｔ_ｄａｔａ_ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅは、八分木ノードにマッチングするポイントデータを選択する方法又はタイプを示す。ｐｏｉｎｔ_ｄａｔａ_ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅの値が０である場合、ｐｏｉｎｔ_ｄａｔａ_ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅは該当ノードの子ノードのうち、固定された順のノード(例えば、子ノードを昇順に整列した順(ａｓｃｅｎｄｉｎｇ ｏｒｄｅｒ)上の１番目のノード)のポイントクラウドデータ(又はポイント)を選択する方法を示す。ｐｏｉｎｔ_ｄａｔａ_ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅの値が１である場合、ｐｏｉｎｔ_ｄａｔａ_ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅは子ノードのうち、占有されたノードの位置の平均値に最も近い子ノードのポイントを選択する方法を示す。ｐｏｉｎｔ_ｄａｔａ_ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅの値が２である場合、ｐｏｉｎｔ_ｄａｔａ_ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅは子ノードのうち、占有されたノードの位置の中間値に最も近い子ノードのポイントを選択する方法を示す。

【0387】

以下はｐｏｉｎｔ_ｄａｔａ_ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅの値が０又は３である場合に関連するパラメータである。

【0388】

ｐｏｉｎｔ_ｃｌｏｕｄ_ｇｅｏｍｅｔｒｙ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｆｌａｇは、八分木ノードにマッチングされたポイントデータ(又はポイント)に関するジオメトリ情報を直接提供するか否かを示す。ｐｏｉｎｔ_ｃｌｏｕｄ_ｇｅｏｍｅｔｒｙ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１である場合、八分木ノードにマッチングされたポイントデータ(又はポイント)に関するジオメトリ情報(例えば、位置)が共に送信される。ｐｏｉｎｔ_ｃｌｏｕｄ_ｇｅｏｍｅｔｒｙ_ｉｎｆｏ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が０である場合、八分木ノードにマッチングされたポイントデータ(又はポイント)に関するジオメトリ情報が共に送信される。

【0389】

図２９は実施例による特質ビットストリームを示す図である。

【0390】

図２９の特質ビットストリーム２９０００は、図２７の特質スライスに対応する。即ち、実施例による特質ビットストリーム２９０００は、特質スライスヘッダ(Ａｔｔｒｉｂｕｔｅ Ｓｌｉｃｅ ｈｅａｄｅｒ)２９００１及び／又は特質スライスデータ(Ａｔｔｒｉｂｕｔｅ ｓｌｉｃｅ ｄａｔａ)２９００２を含む。

【0391】

特質スライスヘッダ２９００１は、図２７の特質スライスヘッダを意味する。特質スライスヘッダ２９００１はａｂｈ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ、ａｂｈ_ａｔｔｒ_ｓｐｓ_ａｔｔｒ_ｉｄｘを含む。

【0392】

ａｂｈ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、現在アクティブＡＰＳのａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｔｈｅ ａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｏｆ ｔｈｅ ａｃｔｉｖｅ ＡＰＳ)。

【0393】

ａｂｈ_ａｔｔｒ_ｓｐｓ_ａｔｔｒ_ｉｄｘは、現在アクティブＳＰＳ内の特質セットを示す。ａｂｈ_ａｔｔｒ_ｓｐｓ_ａｔｔｒ_ｉｄｘの値は０ないし現在アクティブＳＰＳのｓｐｓ_ｎｕｍ_Ａｔｔｒｉｂｕｔｅ_ｓｅｔｓｄの値の範囲内である(ｓｐｅｃｉｆｉｅｓ ｔｈｅ Ａｔｔｒｉｂｕｔｅ ｓｅｔ ｉｎ ｔｈｅ ａｃｔｉｖｅ ＳＰＳ. Ｔｈｅ ｖａｌｕｅ ｏｆ ａｂｈ_ａｔｔｒ_ｓｐｓ_ａｔｔｒ_ｉｄｘ ｍａｙ ｂｅ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ０ ｔｏ ｓｐｓ_ｎｕｍ_Ａｔｔｒｉｂｕｔｅ_ｓｅｔｓ ｉｎ ｔｈｅ ａｃｔｉｖｅ ＳＰＳ)。

【0394】

特質スライスデータ(Ａｔｔｒｉｂｕｔｅ ｓｌｉｃｅ ｄａｔａ)２９００２は、実施例による特質コーディングタイプに対応して特質データが含まれる。Ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅ情報が０である場合、ＰｒｅｄｉｃｔｉｎｇＷｅｉｇｈｔ_Ｌｉｆｔｉｎｇ_ｂｉｔｓｔｒｅａｍを含む。Ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅ情報が１である場合、ＲＡＨＴ_ｂｉｔｓｔｒｅａｍを含む。Ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅ情報が２である場合、ＦｉｘｅｄＷｅｉｇｈｔ_Ｌｉｆｔｉｎｇ_ｂｉｔｓｔｒｅａｍを含む。

【0395】

図３０はスケーラブル表現(ｓｃａｌａｂｌｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ)のための実施例によるポイントクラウドデータ送信装置及び受信装置の動作を示す図である。

【0396】

図１９ないし図２６に示した実施例によるエンコーダの動作は、実施例によるポイントクラウドデータ受信装置がスケーラブルな表現を効果的に行うようにポイントクラウドデータを符号化することを示す。実施例によるポイントクラウドデータ送信装置は、スケーラブルな表現を提供することにより、受信装置は様々な性能のポイントクラウドデータコンテンツを提供することができ、様々な性能の受信装置でも効果的にユーザに表現を行うことができる。例えば、実施例による送信装置は、実施例によるカラー化された八分木を生成することにより様々な性能のデコーダを対象としてポイントクラウドデータを圧縮する。かかる構成は、それぞれのデコーダ性能に合う独立した圧縮情報を生成又は格納しなくても、一つのビットストリームにより様々な性能の受信機を支援できるので、送信装置の格納空間及びビット効率の側面でも効果的である。また送信帯域幅の制限がある場合、実施例による送信装置でも低解像度のポイントクラウドデータを生成した後に伝達できるという長所がある。

【0397】

実施例によるポイントクラウドデータ送信装置は、図１９ないし図２６に示した動作を行って符号化する、スケーラブルエンコーダ(ｓｃａｌａｂｌｅ ｅｎｃｏｄｅｒ)３０００１を含む。スケーラブルエンコーダ３０００１は実施例によるカラー化された八分木を生成して特質ビットストリームを生成する。即ち、スケーラブルエンコーダは実施例によるジオメトリビットストリーム(ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ)と特質ビットストリームを含む単一のＰＣＣビットストリーム(Ｓｉｎｇｌｅ ＰＣＣ ｂｉｔｓｔｒｅａｍ)３０００２ａを生成する。

【0398】

スケーラブルエンコーダ３０００１はソースジオメトリ(Ｓｏｕｒｃｅ ｇｅｏｍｅｔｒｙ)３００００ａとソース特質(Ｓｏｕｒｃｅ Ａｔｔｒｉｂｕｔｅ)３００００ｂを生成する。ソースジオメトリ３００００ａはポイントクラウドデータのポイントの位置情報を示す。ソースジオメトリ３００００ａはジオメトリ情報を含む八分木構造を意味する。ソース特質３００００ｂはポイントクラウドデータのポイントの特質情報を示す。ソースジオメトリ３００００ｂは特質情報を含む実施例によるカラー化された八分木構造を意味する。

【0399】

スケーラブルエンコーダ３０００１は、即ち、八分木構造に対応するジオメトリビットストリームとカラー化された八分木に対応する特質ビットストリームを生成する。

【0400】

実施例によるポイントクラウドデータ送信装置及び受信装置はさらに格納部(Ｓｔｏｒａｇｅ)３０００２ｂを含む。格納部３０００２ｂは実施例によるジオメトリビットストリームと特質ビットストリーム(又はそれを含む単一ＰＣＣビットストリーム)を格納する。

【0401】

実施例によるポイントクラウドデータ送信装置は、格納部３０００２ｂに格納されたデータを実施例によるポイントクラウドデータ受信装置に送信する。実施例によるポイントクラウドデータ受信装置はそれを受信して格納部３０００２ｂに格納する。

【0402】

実施例によるポイントクラウドデータ受信装置は、実施例によるポイントクラウドデータを含むビットストリームのうちの一部又は全部を選択するビットストリーム選択部(Ｂｉｔｓｔｒｅａｍ ｓｅｌｅｃｔｏｒ)３０００３及び／又はそれを復号する一つ又はそれ以上のスケーラブルデコーダ(ｓｃａｌａｂｌｅ ｄｅｃｏｄｅｒ)３０００４ａ～３０００４ｃを含む。

【0403】

ビットストリーム選択部３０００３は実施例による受信したビットストリームを受信して、これらを全て復号するか、或いは一部のみ復号するかを決定する。実施例によるビットストリーム選択部３０００３は、受信したビットストリームに含まれたジオメトリビットストリーム及び特質ビットストリームのそれぞれについて一部のみを復号するか、又は全部復号するかを決定することができる。

【0404】

実施例によるスケーラブルデコーダ３０００４ａ～３０００４ｃは、実施例による受信ビットストリームのうち、ビットストリーム選択部３０００３により選択されたビットストリームを復号する。スケーラブルデコーダ３０００４ａ～３０００４ｃは３つの方式で復号を行う。

【0405】

１番目の実施例によるスケーラブルデコーダ３０００４ａは、ビットストリーム選択部３０００３から、ジオメトリビットストリームの一部と特質ビットストリームの一部のみを受信してこれらを復号する。ジオメトリビットストリームは八分木構造に対応する。従って、ジオメトリビットストリームの一部３０００４ａ－１は実施例によるジオメトリデータを含む八分木構造の一部レベル(即ち、ルートレベルから一部レベルの範囲まで)のみを含むデータである。特質ビットストリームは実施例によるカラー化された八分木構造に対応する。従って、特質ビットストリームの一部３０００４ａ－２は実施例による特質データを含むカラー化された八分木構造の一部レベル(即ち、ルートレベルから一部レベルの範囲まで)のみを含むデータである。

【0406】

即ち、実施例によるスケーラブルデコーダ３０００４ａは、ジオメトリビットストリームの一部(部分ジオメトリデータ、ｐａｒｔｉａｌ ｇｅｏｍｅｔｒｙ)と特質ビットストリームの一部(部分特質データ、ｐａｒｔｉａｌ Ａｔｔｒｉｂｕｔｅ)を受信して復号することができる。

【0407】

２番目の実施例によるスケーラブルデコーダ３０００４ｂは、ビットストリーム選択部３０００３から、ジオメトリビットストリームの全部と特質ビットストリームの一部のみを受信してこれらを復号する。ジオメトリビットストリームは八分木構造に対応する。従って、ジオメトリビットストリームの全部３０００４ｂ－１は実施例によるジオメトリデータを含む八分木構造の全体レベルを含むデータである。特質ビットストリームは実施例によるカラー化された八分木構造に対応する。従って、特質ビットストリームの一部３０００４ｂ－２は実施例による特質データを含むカラー化された八分木構造の一部レベル(即ち、ルートレベルから一部レベルの範囲まで)のみを含むデータである。

【0408】

即ち、実施例によるスケーラブルデコーダ３０００４ｂは、ジオメトリビットストリームの全部(全体ジオメトリデータ、ｆｕｌｌ ｇｅｏｍｅｔｒｙ)と特質ビットストリームの一部(部分特質データ、ｐａｒｔｉａｌ Ａｔｔｒｉｂｕｔｅ)を受信して復号することができる。

【0409】

３番目の実施例によるスケーラブルデコーダ３０００４ｃは、ビットストリーム選択部３０００３から、ジオメトリビットストリームの全部と特質ビットストリームの全部を受信してこれらを復号する。ジオメトリビットストリームは八分木構造に対応する。従って、ジオメトリビットストリームの全部３０００４ｃ－１は実施例によるジオメトリデータを含む八分木構造の全体レベルを含むデータである。特質ビットストリームは実施例によるカラー化された八分木構造に対応する。従って、特質ビットストリームの全部３０００４ｂ－２は実施例による特質データを含むカラー化された八分木構造の全体レベルを含むデータである。

【0410】

即ち、実施例によるスケーラブルデコーダ３０００４ｃは、ジオメトリビットストリームの全部(全体ジオメトリデータ、ｆｕｌｌ ｇｅｏｍｅｔｒｙ)と特質ビットストリームの一部(全体特質データ、ｆｕｌｌ Ａｔｔｒｉｂｕｔｅ)を受信して復号することができる。

【0411】

実施例によるポイントクラウドデータ送信装置は、図２７のようなビットストリーム２７０００の構造によってポイントクラウドデータを送信することにより、重要度によって異なる符号化動作を適用でき、高品質の符号化方法を重要な領域に使用する方案を提供する。またポイントクラウドの特性による効率的な符号化／復号化及び送信を支援し、ユーザの要求事項による属性値を提供することができる。

【0412】

実施例によるポイントクラウドデータ送信装置及び受信装置は、タイル及び／又はスライス単位で独立的に又は独立せずに符号化及び復号化を行うことにより、符号化及び復号化過程で累積されるエラーを防止することができる。

【0413】

図３１は実施例によるポイントクラウドデータデコーダを示す。

【0414】

実施例によるポイントクラウドデコーダ３１０００は、幾何情報復号化部３１００１及び／又は属性情報復号化部３１００２を含む。実施例によれば、ポイントクラウドデコーダはＰＣＣ復号化器、ＰＣＣ復号化部、ポイントクラウド復号化器、ポイントクラウド復号化部及びＰＣＣデコーダなどとも呼ばれる。

【0415】

幾何情報復号化部３１００１はポイントクラウドデータの幾何情報ビットストリーム３１０００ａを受信する。幾何情報復号化部３１００１はポイントクラウドデータの幾何情報ビットストリーム３１０００ａを復号化(復号)して復元されたポイントクラウドデータ３１０００ｃの特質情報を出力する。幾何情報復号化部３１００１は幾何情報ビットストリームをジオメトリ情報で再構成して復元された幾何情報３１００１を出力する。幾何情報ビットストリーム３１０００ａは図１８ないし図２６の幾何情報ビットストリーム、ジオメトリビットストリームを意味する。属性情報ビットストリーム３１０００ｂは図１８ないし図２６の属性情報ビットストリーム、特質ビットストリームを意味する。

【0416】

幾何情報復号化部３１００１は入力された幾何情報ビットストリームを復号化して幾何情報を復元する。復元された幾何情報は属性情報復号化部に入力される。属性情報復号化部３１００２は入力された属性情報ビットストリームと幾何情報復号化部から入力された復元された幾何情報が入力されて属性情報を復元する。復元された幾何情報は図１１で説明したジオメトリ再構成部１１００３により再構成されたジオメトリックを意味する。復元された幾何情報は図１３で説明した占有コード基盤の八分木再構成処理部１３００３により再構成された八分木占有コードを意味することもできる。

【0417】

幾何情報復号化部３１００１は実施例による受信装置が受信した幾何情報ビットストリームを受信する。幾何情報復号化部３１００１は幾何情報ビットストリームを復号化する。

【0418】

幾何情報復号化部３１００１では、図１のポイントクラウドビデオデコーダの動作、図２の復号２０００３、図１０のジオメトリデコーダの動作、図１１で説明した演算デコーダ１１０００、八分木合成部１１００１、表面近似合成部１１００２、ジオメトリ再構成部１１００３及び／又は座標系逆変換部１１００４の動作の全部／一部を行う。

【0419】

属性情報復号化部３１００２はポイントクラウドデータの属性情報ビットストリーム３１０００ｂを受信する。属性情報復号化部３１００２はポイントクラウドデータの属性情報ビットストリーム３１０００ｂを復号化(復号)して復元されたポイントクラウドデータ３１０００ｃの特質情報を出力する。属性情報復号化部３１００２は幾何情報復号化部３１００１により生成された復元された幾何情報３１００１ａに基づいて属性情報ビットストリームを復号化(復号)する。

【0420】

属性情報復号化部３１００２は実施例による受信装置が受信した属性情報ビットストリームを受信する。属性情報復号化部は復元された幾何情報に基づいて属性情報ビットストリームの属性情報を復号化する。ポイントクラウドデータに含まれた幾何情報及び／又は属性情報は復号化されて復元されたＰＣＣデータになる。

【0421】

属性情報復号化部３１００２では、図１のポイントクラウドビデオデコーダ、図２の復号２０００３の動作、図１０で説明した特質デコーダの動作、図１１の逆量子化部１１００６、ＲＡＨＴ１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９及び／又は色逆変換部１１０１０動作、図１３で説明した演算デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９、色相逆変換処理部１３０１０及び／又はレンダラー１３０１１の動作の一部又は全部を行う。

【0422】

図３２は実施例によるポイントクラウドデータデコーダを示す。

【0423】

実施例によるポイントクラウドデータデコーダ３２０００は、符号化されたポイントクラウドデータを含むビットストリームを受信して復号した後、ジオメトリデータ及び特質データを出力する。実施例による符号化されたポイントクラウドデータを含むビットストリームは、ジオメトリデータを含むジオメトリビットストリーム及び／又は特質データを含む特質ビットストリームを含む。

【0424】

実施例によるポイントクラウドデータデコーダ３２０００は、ジオメトリビットストリームを復号するエントロピーデコーダ３２００１、八分木再構成部３２００２、特質ビットストリームを復号するエントロピーデコーダ３２００３、逆量子化部３２００４、逆変換部３２００５、特質再構成及び八分木マッチング部３２００６及び／又はスケーラブル表現部３２００７を含む。実施例による特質再構成及び八分木マッチング部３２００６は、特質再構成部３２００６ａ、特質－ノードマッチング部３２００６ｂ及び／又は八分木－ポイントクラウドデータマッチング部３２００６ｃを含む。

【0425】

ジオメトリビットストリームを復号するエントロピーデコーダ３２００１は、実施例によるジオメトリビットストリームを受信する。ジオメトリビットストリームを復号するエントロピーデコーダ３２００１はジオメトリビットストリームを復号してジオメトリデータを出力する。

【0426】

八分木再構成部３２００２は実施例によるジオメトリデータを受信し、これらを用いてポイントクラウドデータのポイントの位置を示すジオメトリデータを八分木構造に変換(又は再構成)する。八分木再構成部３２００２はジオメトリデータに基づく八分木構造を出力する。

【0427】

特質ビットストリームを復号するエントロピーデコーダ３２００３は、実施例による特質ビットストリームを受信してこれらを復号する。特質ビットストリームを復号するエントロピーデコーダ３２００３は、特質ビットストリームを復号して非－量子化された特質情報を出力する。非－量子化された特質情報は非－量子化された残差(ｒｅｓｉｄｕａｌ)特質情報及び／又は予測(ｐｒｅｄｉｃｔｅｄ)特質情報を含む。

【0428】

逆量子化部３２００４はエントロピーデコーダ３２００３により復号されたデータを受信してこれらを逆－量子化する。逆量子化部３２００４はエントロピーデコーダ３２００３により復号されたデータを受信してそれを逆－量子化して変換された特質情報を出力する。変換された特質情報は変換された残差(ｒｅｓｉｄｕａｌ)特質情報及び／又は予測(ｐｒｅｄｉｃｔｅｄ 特質情報を含む。

【0429】

逆変換部３２００５は実施例による逆量子化部３２００４により逆量子化されたデータを受信してこれらを逆変換する。逆変換部３２００５は逆量子化部３２００４により逆量子化されたデータを逆量子化して再構成された特質情報を出力する。再構成された特質情報は再構成された残差(ｒｅｓｉｄｕａｌ)特質情報及び／又は予測(ｐｒｅｄｉｃｔｅｄ)特質情報を含む。

【0430】

実施例による受信装置は、実施例による送信装置で行う特質予測のようにレベルが下がりながら(ルートノードからリーフノードに向かう方向に)特質データを予測することができる。実施例による予測方法では、送信部で使用した方法と同じ方法を使用できる。例えば、親ノードの再構成された特質データを親ノードの子ノードに対する予測値として使用することができる。例えば、予測値は、隣接に対する定義によって決定される範囲によってその適用が異なる。例えば、実施例による親ノードの特質データは実施例による送信装置により以下のように予測できる。

【0431】

【0432】

実施例による受信装置は、予測された特質データに基づいて各子ノードの属性を再構成するために送信装置で使用した予測エラース生成方法を逆に行う。例えば、実施例による送信装置が、元の特質(ｓｏｕｒｃｅ Ａｔｔｒｉｂｕｔｅ)と予測属性(ｐｒｅｄｉｃｔｅｄ Ａｔｔｒｉｂｕｔｅ)の差(残余)により予測エラー(ｐｒｅｄｉｃｔｉｏｎ ｅｒｒｏｒ)を生成した場合、受信装置は実施例による受信装置が推定した予測特質と復号された予測エラーの値を加えることにより、特質データを再構成する。実施例による送信装置は特質エラー生成方法に関する情報を受信装置に伝達する。例えば、実施例による子ノード(又はリーフノード)の特質データは実施例による受信装置により以下のように予測できる。

【0433】

【0434】

Ｃ^ｌ(ｘ、ｙ、ｚ)は実施例による子ノードの特質データである。ｇ－１{ }は実施例による送信装置が予測を行う方法の逆を示す関数である。ｐ^ｌ(ｘ、ｙ、ｚ)は実施例による予測された親ノードの特質データを意味する。ｒ^ｌ(ｘ、ｙ、ｚ)は実施例による予測された親ノードの特質データに適用される残差(復号された特質データに含まれる)を意味する。

【0435】

特質再構成及び八分木マッチング部３２００６は、再構成された特質情報と実施例による八分木構造を受信してカラー化された八分木構造を生成及び出力する。

【0436】

スケーラブル表現部３２００７は実施例によるカラー化された八分木を受信し、これらに基づいてスケーラブル表現を提供する。

【0437】

図３３は実施例によるポイントクラウドデータ受信装置がカラー化された八分木を生成する過程を示す図である。

【0438】

図３３に示した動作の全部又は一部は、図３２の実施例による特質再構成及び八分木マッチング部３２００６及び／又はスケーラブル表現部３２００７で行われる。

【0439】

ポイントクラウドデータをスケーラブルに表現(ｓｃａｌａｂｌｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ)するために、

【0440】

実施例によるポイントクラウドデータ受信装置は実施例による受信した特質データ及び八分木構造に基づいて再構成されたポイントクラウドデータ(ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｄａｔａ)を生成する。

【0441】

実施例によるポイントクラウドデータ受信装置がポイントクラウドデータを再構成する動作は、復号された特質(ｄｅｃｏｄｅｄ Ａｔｔｒｉｂｕｔｅ)及び八分木構造を受信する段階、特質を再構成する段階(Ａｔｔｒｉｂｕｔｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)３３０００、特質－ノードマッチング段階３３００１、位置予測段階(ｐｏｓｉｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ)３３００３、及び特質－ポイントマッチング段階３３００４を含む。

【0442】

実施例による特質を再構成する段階３３０００、特質－ノードマッチング段階３３００１、位置予測段階３３００３及び特質－ポイントマッチング段階３３００４は、実施例による八分木構造の毎ノードごとに繰り返して行われる。

【0443】

実施例によるデコーダは、八分木構造のルートノードから始まってリーフノードの以前レベルまで下げながら(ｓｔｅｐ ｄｏｗｎ)、各レベルに含まれたノードに対して特質を再構成する段階３３０００、特質－ノードマッチング段階３３００１、位置予測段階３３００３及び特質－ポイントマッチング段階３３００４を行う(３３００７)。

【0444】

実施例によるデコーダは、八分木構造のノードをレベル順に巡回しながら特質を再構成する段階３３０００、特質－ノードマッチング段階３３００１、及び位置予測段階３３００３、特質－ポイントマッチング段階３３００４を行う。即ち、実施例によるデコーダは、まずルートノードに対して特質を再構成する段階３３０００、特質－ノードマッチング段階３３００１、位置予測段階３３００３、及び特質－ポイントマッチング段階３３００４を行うことができる。次いで、実施例によるデコーダは、ルートノードの子ノード、即ち、レベルが１であるノードに対して特質を再構成する段階３３０００、特質－ノードマッチング段階３３００１、位置予測段階３３００３、及び特質－ポイントマッチング段階３３００４を行うことができる。実施例によるデコーダがレベル１に含まれたノードに対して上記の過程を行った場合、実施例によるデコーダはレベル２に含まれたノードに対して再び行うことができる。このような方法により、実施例によるデコーダはリーフノードの以前レベルのノードまで上記動作を行うことができる(３３００５)。

【0445】

実施例による位置予測段階(ｐｏｓｉｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ)３３００３、特質－ポイントマッチング段階３３００４は、実施例による受信ビットストリーム内のシグナリング情報に含まれたｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇパラメータ値に基づいて行われる(３３００２)。例えば、ｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１であると、位置予測段階３３００３、特質－ポイント マッチング段階３３００４が（各）ノードごとに又は全体的に行われる。

【0446】

復号された特質及び八分木構造を受信する段階について説明する。復号された特質は実施例によるデコーダにより復号された特質情報を意味する。即ち、受信したビットストリーム内の特質ビットストリームが復号されたデータを意味する。例えば、復号された特質は、図３２の特質ビットストリームがエントロピーデコーダ３２００３、逆量子化部３２００４及び／又は逆変換部３２００５により復号、逆量子化及び／又は逆変換されたデータを意味する。また八分木構造は実施例による図３２の八分木再構成部３２００２により再構成された八分木構造を意味する。

【0447】

特質－ノード マッチング３２００１とは、実施例によるポイントクラウドデータ受信装置(デコーダ)が受信した復号された特質を八分木構造のノードにマッチングすることを意味する。例えば、実施例によるデコーダは、まず復号された特質データのうち、ルートノードに対応する特質データを八分木構造のルートノードにマッチングする。その後、リーフノードではない下位ノード(子ノード)に対応する特質データをそれぞれ下位ノード(子ノード)からリーフノードのレベルに含まれたノードまでマッチングする。

【0448】

位置予測段階３３００３は、受信した復号された特質がマッチングされるポイントの実際位置を予測する。位置予測段階３３００３は、例えば、八分木構造で受信した復号された特質がマッチングされるポイントの実際位置に該当するリーフノードを予測することができる。

【0449】

位置予測段階３３００３において、実施例によるポイントクラウドデータデコーダがポイントの実際位置又は実際位置に該当するリーフノードを予測する方法は図３５で詳しく説明する。

【0450】

位置予測段階３３００３は復号(復元)されたポイントクラウドデータの特質に対応するポイントの実際位置情報を推定できる場合、スケーラブル復号／表現(ｓｃａｌａｂｌｅ ｄｅｃｏｄｉｎｇ／ｒｅｐｒｅｓｅｎｔａｔｉｏｎ)のために八分木の全てのレベルのノードをマッチングしなくても、ポイントを任意の位置ではない実際ポイントの位置を出力することができる。

【0451】

特質－ポイントマッチング３３００４とは、位置予測段階３３００３で予測されたポイントの実際位置(又はそれに該当するリーフノード)に復号された特質をマッチングすることを意味する。即ち、特質－ノードマッチングでマッチングされた特質データを実際位置するポイントに対応するリーフノードにマッチングすることを意味する。

【0452】

実施例によるデコーダは、図３３に示したように、位置予測段階３３００３及び特質－ポイントマッチング段階３３００４をルートノードからリーフノードの上位ノードに該当するノードのそれぞれに対して別途に行うこともできる。また、実施例によるデコーダは、位置予測段階３３００３及び特質－ポイントマッチング段階３３００４を八分木構造に含まれたリーフノードを除いた全てのノードに特質データをまずマッチングした後、最後に行うこともできる。

【0453】

図３４は実施例によるポイントクラウドデータデコーダが特質－ノードマッチングを行う動作を示す図である。

【0454】

実施例によるポイントクラウドデータのデコーダは実施例によるカラー化された八分木を生成する。図３４で説明した実施例による動作は、図３２の特質再構成及び八分木マッチング部３２００６で行われる。図３４で説明した実施例による動作は、図３３で説明した実施例による動作のうちの一部又は全部に対応する。

【0455】

図３４は実施例による八分木構造(全体ジオメトリ)に含まれた占有されたノード(ｏｃｃｕｐｉｅｄ ｎｏｄｅ)に特質データをマッチングする過程を示す。

【0456】

実施例によるポイントクラウドデータデコーダ(又はスケーラブルデコーダ、ｓｃａｌａｂｌｅ ｄｅｃｏｄｅｒ)は、実施例によるカラー化された八分木を生成するために、特質ビットストリームを復号して復号された特質データ(ｄｅｃｏｄｅｄ Ａｔｔｒｉｂｕｔｅ ｄａｔａ)を生成する段階３４０００、復号して復号された特質データのうち、八分木構造のルートノードに対応する特質データを八分木構造のルートノードにマッチングする段階(３４００１)、ルートノードの子ノードからリーフノードの直前の上位ノードまで復号された特質データをマッチングする段階３４００２及び／又はリーフノードに復号された特質データをマッチングする段階３４００３を含む。実施例による受信装置は特質ビットストリームを復号する段階３４０００を行う。

【0457】

実施例による受信装置は復号された特質データ(ｄｅｃｏｄｅｄ Ａｔｔｒｉｂｕｔｅ ｄａｔａ)のうち、ルートノードに対応する特質データを八分木構造のルートノードにマッチング３４００１ａすることができる。

【0458】

実施例による受信装置は、ルートノードに特質データがマッチングされると３４００１ａ、復号された特質データのうち、マッチングされた特質データを別途にシグナリング又は格納することができる。例えば、マッチングされた特質データを再構成された(ｒｅｃｏｎｓｔｒｕｃｔｅｄ)配列内に格納することにより、ｃ２特質データが既にマッチングされた復号されたデータであることを示すことができる。

【0459】

実施例による受信装置は、ルートノードに特質データがマッチングされると３４００１ａ、復号された特質データのうち、マッチングされた特質データを除いた残りの特質データを別途にシグナリング又は格納することができる。例えば、残りの特質データをｒｅｓｉｄｕａｌｓ配列内に格納することにより、ｃ'１、ｃ'５特質データが未だマッチングされていない残りの復号されたデータに関するものであることを示すことができる。

【0460】

実施例による受信装置は、復号された特質データ(ｄｅｃｏｄｅｄ Ａｔｔｒｉｂｕｔｅ ｄａｔａ)のうち、リーフノードを除いた残りのノードに対応する特質データを八分木構造の該当ノードにマッチングすることができる(３４００２ａ)。

【0461】

実施例による受信装置は、リーフノードを除いた残りのノードに特質データがマッチングされると３４００２ａ、復号された特質データのうち、マッチングされた特質データを別途にシグナリング又は格納することができる。例えば、マッチングされた特質データを再構成された(ｒｅｃｏｎｓｔｒｕｃｔｒｅｄ)配列内に格納することにより、ｃ２、ｃ１、ｃ５特質データが予めマッチングされた復号されたデータであることを示すことができる。

【0462】

実施例による受信装置は、リーフノードを除いた残りのノードに特質データがマッチングされると３４００２ａ、復号された特質データのうち、マッチングされた特質データを除いた残りの特質データを別途にシグナリング又は格納することができる。例えば、残りの特質データをｒｅｓｉｄｕａｌｓ配列内に格納することにより、ｃ'３、ｃ'４、ｃ'６、ｃ'７、ｃ'８、ｃ'９の特質データが未だマッチングされていない残りの復号されたデータに関するものであることを示すことができる。

【0463】

実施例による受信装置は、リーフノードのレベルに含まれたノードに対しても復号された特質データをマッチングすることができる(３４００３)。段階３４００３は、図３２の特質－ポイントクラウドデータマッチング部３２００６ｃ及び／又は図３３の特質－ノードマッチング３３００１に対応する。

【0464】

例えば、受信装置は、リーフノードの直前のノードまで特質データをマッチングする場合、復号された特質データのうち、ｃ３、ｃ４、ｃ６、ｃ７、ｃ８、ｃ９に該当する特質データが残る。ｃ３、ｃ４、ｃ６、ｃ７、ｃ８、ｃ９に該当する特質データはいずれもリーフノードにマッチングされる。

【0465】

実施例によるポイントクラウドデータ受信装置(デコーダ)は、図３４に説明した特質－ノードマッチングを行った後、シグナリング情報(例えば、実施例によるｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇ情報など)に基づいて特質－ポイントマッチング(Ａｔｔｒｉｂｕｔｅ－ｐｏｉｎｔ ｍａｔｃｈｉｎｇ)を行うことができる。この過程は図３３で説明した位置予測段階３３００３及び／又は特質－ポイントマッチング段階３３００４を意味する。

【0466】

図３５は実施例による受信装置が実施例による位置予測(ｐｏｓｉｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ)を行う過程を示す図である。

【0467】

図３５に示した数式による動作は、図３３の位置予測段階３３００３及び／又は特質－ポイントマッチング段階３３００４に対応する。即ち、実施例によるポイントクラウドデータ受信装置(又はデコーダ)は、図３５に示した数式に基づいてポイントの実際位置又は八分木構造の実際位置に該当するリーフノードを予測して、予測されたリーフノードに復号された特質データをマッチングすることができる。

【0468】

図３５に示した数式による動作は、図３２の八分木－ポイントクラウドデータマッチング部３２００６ｃで行われ、図３４に示した３４００３段階に対応する。

【0469】

図３５に示した数式は、復号された特質データをリーフノードにマッチングするために、即ち、実施例による特質－ポイントマッチングを行うために、特質データに対応するリーフノード(又はその位置)を予測するために使用される数式である。

【0470】

実施例による受信装置は、実施例による送信装置で行う特質予測のようにレベルが下がりながら(ルートノードからリーフノードに向かう方向に)特質データを予測することができる。実施例による予測方法では送信部で使用した方法と同じ方法を使用する。例えば、親ノードの再構成された特質データを親ノードの子ノードに対する予測値として使用する。例えば、予測値は隣接に対する定義によって決定される範囲を異なるように適用することができる。例えば、実施例による親ノードの特質データは実施例による送信装置により以下のように予測される。

【0471】

【0472】

実施例による受信装置では、予測された特質データに基づいて、各子ノードの属性を再構成するために送信装置で使用した予測エラー生成方法を逆に行う。例えば、実施例による送信装置が元の特質(ｓｏｕｒｃｅ Ａｔｔｒｉｂｕｔｅ)と予測属性(ｐｒｅｄｉｃｔｅｄ Ａｔｔｒｉｂｕｔｅ)の差(残差)により予測エラーを生成した場合、受信装置は実施例による受信装置が推定した予測特質と復号された予測エラーの値を加えることにより、特質データを再構成することができる。実施例による送信装置は特質エラー生成方法に関する情報を受信装置に伝達する。例えば、実施例による子ノード(又はリーフノード)の特質データは実施例による受信装置により以下のように予測される。

【0473】

【0474】

Ｃ^ｌ(ｘ、ｙ、ｚ)は実施例による個ノードの特質データである。ｇ－１{ }は実施例による送信装置が予測を行う方法の逆の方法を示す関数である。ｐ^ｌ(ｘ、ｙ、ｚ)は実施例による予測された親ノードの特質データを意味する。ｒ^ｌ(ｘ、ｙ、ｚ)は実施例による予測された親ノードの特質データに適用される残差値(復号された特質データに含まれる)を意味する。

【0475】

まず受信装置は実施例による復号された特質データについて特質－ノードマッチングを行う。即ち、受信装置は実施例による復号された特質データをリーフノードではない特定のノードにマッチングする。

【0476】

次に、受信装置はマッチングされたノードを親ノードとする占有されたリーフノードを検出する。占有されたリーフノードはマッチングされたノードを親ノードとする隣接ノードとも呼ばれる。

【0477】

Ｐ_ＧｅｏＣｔｒ(ｘ、ｙ、ｚ)は、実施例による親ノードの特質情報を意味する。(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)は実施例によるｎ個のポイントを(ｘ、ｙ、ｚ)座標で示すものである。ＮＥＩＧＨＢＯＲは(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)ポイントの隣接に対応するポイントの集合を意味する。Ａｔｔｒ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)はｎ個のポイントのそれぞれに対する特質情報を示す。即ち、Ａｔｔｒ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)は(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)の位置にあるポイントの特質情報を示す。言い換えれば、Ａｔｔｒ(ｐｏｉｎｔ)関数はｐｏｉｎｔの特質情報を返還する関数であると理解できる。ｆ{Ａｔｔｒ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)|(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)∈ＮＥＩＧＨＢＯＲ}は、特定ポイントの隣接に対応するポイントをインプット(ｉｎｐｕｔ)するとき、該当隣接ポイントの一つである(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)ポイントの特質情報を返還する関数を意味する。ｆ{Ａｔｔｒ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)|(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)∈ＮＥＩＧＨＢＯＲ}は、３５０００ａに示した数式の値が最小になるポイント(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)の特質値を意味する。ｓ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)は実施例によるポイントのうち、親ノードとして選択されたか否か示す。

【0478】

例えば、ｘ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)は未だ実施例によるエンコーダにより、親ノードにマッチングするノードとして選択されていないノードを意味する。実施例によるポイントクラウドデータ送信装置及び／又は受信装置は、選択されたポイントのｓ()＝０としてセットして他のノードをマッチングするとき、重複して選択されないようにすることができる。

【0479】

Ｍは実施例による隣接ポイントの個数を意味する。[ｘ^－、ｙ^－、ｚ^－]^Ｔは実施例による隣接ポイントの平均位置を意味する。実施例による隣接ポイントの平均位置は、図２４に示すように決定される。||[ｘ^－、ｙ^－、ｚ^－]^Ｔ－[ｘ_ｎ、ｙ_ｎ、ｚ_ｎ]^Ｔ||は、それぞれの隣接ポイントと隣接ポイントの平均位置の距離(例えば、ユークリッド距離)を意味する。

【0480】

整理すると、実施例による受信装置は、図３５に示した数式を用いて復号された特質に対応するポイントの実際位置を予測することができる。例えば、受信装置はジオメトリデータを用いて、特定のノードのＮＥＩＧＨＢＯＲに該当する(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)を探索して、ＮＥＩＧＨＢＯＲに該当するポイントの上述したＭ値、ｓ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)値、ｗｅｉｇｈｔ(ｘ_ｎ、ｙ_ｎ、ｚ_ｎ)値、[ｘ^－、ｙ^－、ｚ^－]^Ｔ値及び||[ｘ^－、ｙ^－、ｚ^－]^Ｔ－[ｘ_ｎ、ｙ_ｎ、ｚ_ｎ]^Ｔ||などを計算することができる。従って、各ポイントの位置について３５０００ａに該当する値を計算した後、復号された特質情報と合うか否かを確認することにより、特定のノードにマッチングしようとする特質データに対応するポイントの位置を予測することができる。

【0481】

図３６は実施例によるポイントクラウドデータデコーダがカラー化された八分木を生成する過程の他の実施例を示す図である。

【0482】

具体的には、図３６は実施例によるデコーダが特質－ノードマッチング及び／又は特質－ポイントマッチングを行って部分表現(ｐａｒｔｉａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ)又は全体表現(ｆｕｌｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ)のためのカラー化された八分木を生成する過程を示す。

【0483】

実施例によるポイントクラウドデータのデコーダは実施例によるカラー化された八分木を生成する。図３６で説明した実施例による動作は、図３２の特質再構成及び八分木マッチング部３２００６及び／又はスケーラブル表現部３２００７で行われる。図３６で説明した実施例による動作は、図３３で説明した実施例による動作の一部又は全部に対応する。また図３６で説明した実施例による動作は、図３４で説明した動作を含む。

【0484】

実施例によるポイントクラウドデータデコーダ(又はスケーラブルデコーダ、ｓｃａｌａｂｌｅ ｄｅｃｏｄｅｒ)は、実施例によるカラー化された八分木を生成するために、特質ビットストリームを復号して復号された特質データ(ｄｅｃｏｄｅｄ Ａｔｔｒｉｂｕｔｅ ｄａｔａ)を生成する段階３４０００、復号して復号された特質データのうち、八分木構造のルートノードに対応する特質データを八分木構造のルートノードにマッチングする段階３４００１、ルートノードの子ノードからリーフノードの直前の上位ノードまで復号された特質データをマッチングする段階３４００２を行う。さらに実施例によるポイントクラウドデータデコーダはリーフノードをマッチングする段階３４００３を含む。

【0485】

実施例による受信装置は特質ビットストリームを復号する段階３４０００を行う。この段階で受信された特質ビットストリームは図３０のビットストリーム選択部３０００３により選択された、一部の特質データを含むビットストリームを意味する。即ち、この段階において、特質ビットストリームは部分特質情報のみを含むので、３４０００ｂに示した特質データは含まないことができる。

【0486】

実施例による受信装置は復号された特質データ(ｄｅｃｏｄｅｄ Ａｔｔｒｉｂｕｔｅ ｄａｔａ)のうち、ルートノードに対応する特質データを八分木構造のルートノードにマッチングする(３６００２ａ)。段階３６００２ａは図３２の特質－ノードマッチング部３２００６ｂ及び／又は図３３の特質－ノードマッチング３３００１に対応する。

【0487】

実施例による受信装置はルートノードに特質データがマッチングされると３６００２ａ、図３４で説明したように、復号された特質データのうち、マッチングされた特質データを別途にシグナリング又は格納することができる。また実施例による受信装置はルートノードに特質データがマッチングされると３６００２ａ、図３４で説明したように、復号された特質データのうち、マッチングされた特質データを除いた残りの特質データを別途にシグナリング又は格納することができる。

【0488】

もし実施例によるジオメトリビットストリームが全体ジオメトリ情報を含むと、即ち、八分木構造が全体ジオメトリ情報に対応すると(例えば、ｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇ＝＝１である場合)、マッチングする特質データに対応する実際ポイントのリーフノードに実施例による特質データをさらにマッチングすることができる(３６００２ｂ)。段階３６００２ｂは図３２の特質－ノードマッチング部３２００６ｃ及び／又は図３３の特質－ポイントマッチング３３００４に対応する。

【0489】

実施例による受信装置は実際ポイントのリーフノードに特質データがマッチングされると３６００２ｂ、実際ポイントのリーフノードに該当特質情報がマッチングされたことを別途にシグナリング又は格納することができる。例えば、受信装置は実際ポイントのリーフノードに該当特質情報がマッチングされたことをマッチングされたシグナリング情報又は配列に格納することができる。

【0490】

実施例による受信装置は復号された特質データのうち、リーフノードを除いた残りのノードに対応する特質データを八分木構造の該当ノードにマッチングすることができる(３６００３ａ)。段階３６００３ａは図３２の特質－ノードマッチング部３２００６ｂ及び／又は図３３の特質－ノードマッチング３３００１に対応する。

【0491】

同様に、もし実施例によるジオメトリビットストリームが全体ジオメトリ情報を含むと、即ち、八分木構造が全体ジオメトリ情報に対応すると(例えば、ｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇ＝＝１である場合)、マッチングする特質データに対応する実際のポイントのリーフノードに実施例による特質データをさらにマッチングすることができる(３６００３ｂ)。段階３６００３ｂは図３２の特質－ノードマッチング部３２００６ｃ及び／又は図３３の特質－ポイントマッチング３３００４に対応する。

【0492】

実施例による受信装置は復号された特質データのうち、リーフノードに対応する特質データを八分木構造の該当ノードにマッチングすることができる(３６００４ａ)。段階３６００４ａは図３２の特質－ノードマッチング部３２００６ｂ及び／又は図３３の特質－ノードマッチング３３００１に対応する。

【0493】

段階３６００４ａではリーフノードに特質データがマッチングされたので、マッチングされた特質データに対して特質－ポイントマッチングが行われなくこともある。

【0494】

実施例によれば、特質－ノードマッチングが行われない特質データをマッチングされていない占有されたリーフノードにマッチングする。即ち、受信装置は特質－ノードマッチングが行われていない特質データに対して特質－ポイントマッチングを行うことができる(３６００４ｂ)。

【0495】

以下、上述した実施例による動作を、図３０で説明したスケーラブルデコーダに連関して説明する。

【0496】

図３６で説明する動作は、図３０で説明したスケーラブルデコーダ３０００４ａ－３０００４ｃを意味する。

【0497】

例えば、図３６で説明する動作の一部の組み合わせ又は全部は、図３０で説明した１番目の実施例によるスケーラブルデコーダ３０００４ａ、２番目の実施例によるスケーラブルデコーダ３０００４ｂ又は３番目の実施例によるスケーラブルデコーダ３０００４ｃの動作を意味する。

【0498】

まず図３０で説明した１番目の実施例によるスケーラブルデコーダ３０００４ａの動作を図３６の動作に連関して説明する。

【0499】

図３０を参照すると、１番目の実施例によるスケーラブルデコーダ３０００４ａは、部分ジオメトリ(ｐａｒｔｉａｌ ｇｅｏｍｅｔｒｙ)情報と部分特質(ｐａｒｔｉａｌ Ａｔｔｒｉｂｕｔｅ)情報を受信する。実施例によれば、図３６に示した八分木構造は受信ポイントクラウドデータのポイントの位置情報を示す八分木構造の一部レベルのみを示す(即ち、部分ジオメトリ情報)。

【0500】

従って、実施例によれば、ビットストリームに含まれたシグナリング情報内に含まれたｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇ情報は０である。従って、１番目の実施例によるスケーラブルデコーダ３０００４ｂは、ｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が０であることに対応して、実施例による特質－ポイントマッチング動作が行われない。１番目の実施例によるスケーラブルデコーダが受信した実施例による八分木構造は一部レベルに対する八分木構造であり、ポイントの正確な位置情報を含まないためである。

【0501】

従って、実施例による受信装置は、低解像度(ｌｏｗ ｒｅｓｏｌｕｔｉｏｎ)のポイントクラウドコンテンツを提供するために部分表現を行う代わりに、特質－ポイントマッチング動作を行わないことによりユーザに迅速にポイントクラウドコンテンツを提供することができる。

【0502】

整理すると、部分ジオメトリ情報と部分特質情報情報を受信する実施例によるスケーラブルデコーダ３０００４ｂは、ｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が０であることに対応して、八分木構造に含まれたノードに対して上述した特質－ノードマッチングを行って(３６００２ａ、３６００３ａ)、通信状態が悪い環境でもユーザに迅速にポイントクラウドコンテンツを提供することができる。

【0503】

次に、図３０で説明した２番目の実施例によるスケーラブルデコーダ３０００４ｂの動作を図３６の動作に連関して説明する。

【0504】

図３０を参照すると、２番目の実施例によるスケーラブルデコーダ３０００４ｂは、全体ジオメトリ情報と部分特質情報を受信する。実施例によれば、図３６に示した八分木構造は受信ポイントクラウドデータのポイントの位置情報を示す八分木構造の全てのレベルを含む(即ち、全体ジオメトリ情報)。

【0505】

従って、ビットストリームに含まれたシグナリング情報内に含まれたｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇ情報は１である。従って、２番目の実施例によるスケーラブルデコーダ３０００４ｂは、ｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１であることに対応して、実施例による特質－ポイントマッチング動作が行われる。２番目の実施例によるスケーラブルデコーダが受信した実施例による八分木構造は全てのレベルに対する八分木構造であり、ポイントの正確な位置情報を含むためである。

【0506】

実施例によるスケーラブルデコーダは部分特質情報を受信するので、全てのポイントに対して特質情報をマッチングすることができない。従って、２番目の実施例によるスケーラブルデコーダ３０００４ｂは受信した特質データに対応するポイント(ノード)のみに対してマッチングを行うことができる。従って、２番目の実施例によるスケーラブルデコーダ３０００４ｂは受信した特質データのみに対して八分木構造に特質－ノードマッチングを行い(３６００２ａ、３６００３ａ)、特質－ポイントマッチングを行うことができる(３６００２ｂ、３６００３ｂ)。

【0507】

従って、実施例による受信装置は、ポイントの位置情報が相対的に重要なポイントクラウドデータに対して相対的に高い解像度のポイントクラウドコンテンツを提供するために部分表現を行う代わりに、不要な特質情報に対してマッチング動作を行わないことにより、ユーザに迅速にポイントクラウドコンテンツを提供することができる。

【0508】

整理すると、全体ジオメトリ情報と部分特質情報を受信する実施例によるスケーラブルデコーダ３０００４ｂは、ｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１であることに対応して、八分木構造に含まれた受信した特質データに該当するノードに対して上述した特質－ノードマッチング及び／又は特質－ポイントマッチングを行って、ユーザに適合なポイントクラウドコンテンツを提供することができる。

【0509】

次に、図３０で説明した３番目の実施例によるスケーラブルデコーダ３０００４ｃの動作を図３６の動作に連関して説明する。

【0510】

図３０を参照すると、３番目の実施例によるスケーラブルデコーダ３０００４ｃは、全体ジオメトリ情報と全体特質情報を受信する。実施例によれば、図３６示した八分木構造は受信ポイントクラウドデータのポイントの位置情報を示す八分木構造の全てのレベルを含む(即ち、全体ジオメトリ情報)。

【0511】

従って、実施例によれば、ビットストリームに含まれたシグナリング情報内に含まれたｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇ情報は１である。従って、３番目の実施例によるスケーラブルデコーダ３０００４ｃはｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１であることに対応して、実施例による特質－ポイントマッチング動作が行われる。

【0512】

実施例によるスケーラブルデコーダは全体特質情報を受信するので、全てのポイントに対して特質情報をマッチングすることができる。従って、３番目の実施例によるスケーラブルデコーダ３０００４ｃは受信した特質データに対応するポイント(ノード)のみに対してマッチングを行うことができる。従って、３番目の実施例によるスケーラブルデコーダ３０００４ｃは受信した全ての特質データに対して八分木構造に含まれたノードに対して特質－ノードマッチングを行い(３６００２ａ、３６００３ａ、３６００４ａ)、特質－ポイントマッチングを行うことができる(３６００２ｂ、３６００３ｂ、３６００４ｂ)。即ち、３番目の実施例によるスケーラブルデコーダ３０００４ｃは八分木構造に含まれた全ての占有されたノードに対して特質データをマッチングすることができる。

【0513】

従って、実施例による受信装置は、ポイントの位置と特質が正確に現出される高い解像度のポイントクラウドコンテンツを提供するために全体表現を行って、受信環境の良い場合又は正確なポイントクラウドコンテンツが提供される必要があるコンテンツに適合する。

【0514】

整理すると、全体ジオメトリ情報と全体特質情報を受信する実施例によるスケーラブルデコーダ３０００４ｃは、ｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１であることに対応して、八分木構造に含まれたノードに対して上述した特質－ノードマッチング及び／又は特質－ポイントマッチングを行って、ユーザに適合するポイントクラウドコンテンツを提供することができる。

【0515】

図３７は実施例によるポイントクラウドデータデコーダがスケーラブル表現のために復号する過程を示す図である。

【0516】

図３７(ａ)は実施例によるスケーラブル表現の一例である。

【0517】

図３７(ａ)は実施例によるポイントクラウドデコーダ(例えば、図３０ないし図３６で説明)のスケーラブル表現の一例である。図３７(ａ)の左側に示した矢印はジオメトリの八分木構造の深さが増加する方向を示す。実施例による八分木構造の最上位ノードは最下位深さ又は最初の深さに対応し、ルートと呼ばれる。実施例による八分木構造の最下位ノードは最上位深さ又は最後の深さに対応し、リーフ(Ｌｅａｆ)と呼ばれる。実施例による八分木構造の深さはルートからリーフ方向に増加する。

【0518】

実施例によるポイントクラウドデコーダは性能によって高い解像度のポイントクラウドコンテンツ３７００４ｂを提供するためのスケーラブル復号３７００３ｂ又は低い解像度のポイントクラウドコンテンツ３７００４ａを提供するためのスケーラブル復号３７００３ａを行う。

【0519】

高い解像度ポイントクラウドコンテンツを提供するために、ポイントクラウドデコーダは八分木構造の全体に対応するジオメトリビットストリーム３７００１及び特質ビットストリーム３７００２を復号する(３７００３ｂ)。

【0520】

低い解像度のポイントクラウドコンテンツを提供するためのポイントクラウドデコーダは八分木構造の特定の深さに対応する部分ジオメトリビットストリーム３７００１及び部分特質ビットストリーム３７００２を復号する(３７００３ａ)。

【0521】

実施例による特質復号はジオメトリ復号に基づいて行われる。従って、ポイントクラウドデコーダが部分特質ビットストリーム１８１２－２に対応する特質を復号する場合にも、ポイントクラウドデコーダはジオメトリビットストリーム３７００１を復号しなければならない。即ち、３７００１において、斜線処理した部分はディスプレイされないジオメトリ情報に対応するが、部分特質ビットストリーム３７００２に対応する特質を復号するために送信及び復号される。

【0522】

また実施例による送信装置(例えば、図１で説明した送信装置１００００又は図１２で説明した送信装置)又はポイントクラウドエンコーダ(図１のポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ、図１２、図１４及び図１５で説明したポイントクラウドエンコーダなど)は、八分木構造の特定の深さに対応する部分ジオメトリビットストリーム(３７００１の上端)及び部分特質ビットストリーム(３７００２の上端)のみを送信することができる。低い解像度のポイントクラウドコンテンツを提供するためのポイントクラウドデコーダは、八分木構造の特定の深さに対応する部分ジオメトリビットストリーム(３７００１の上端)及び部分特質ビットストリーム(３７００２の上端)を復号する(３７００３ａ)。

【0523】

実施例によるポイントクラウドエンコーダは、ジオメトリ構造に特質をマッチングして図３０ないし図３６で説明したカラー化された八分木を生成する。実施例によるカラー化された八分木は、ジオメトリの八分木構造を示す一つ又はそれ以上のレベル(又は深さ)に対して各レベルのノードと特質をマッチングして生成される。実施例によるポイントクラウドエンコーダは、生成されたカラー化された八分木に基づいて特質符号化を行う。また、ポイントクラウドエンコーダは、受信装置でスケーラブル復号及びスケーラブル表現を行うように、カラー化された八分木に関連する情報を含むスケーラブル表現情報を生成して、エンコードされたジオメトリ及びエンコードされた属性と共にビットストリームにより送信する。

【0524】

受信装置はスケーラブル表現情報に基づいて、送信装置又はポイントクラウドエンコーダの逆過程によりカラー化された八分木を生成することができる。上述したように、カラー化された八分木はジオメトリの八分木構造にマッチングされた特質を示す。従って、受信装置はカラー化された八分木に基づいて特定のレベルを選択してマッチングされた特質によって低解像度のポイントクラウドコンテンツを出力又はレンダリングすることができる。特に受信装置は別途の受信過程又は処理過程なしに受信装置の性能による様々な解像度のポイントクラウドコンテンツを提供することができる。実施例による送信装置(又はポイントクラウドエンコーダ)及び受信装置(又はポイントクラウドデコーダ)のいずれもカラー化された八分木を生成することができる。実施例によるカラー化された八分木生成過程又は方法は八分木カラー化とも呼ぶ。実施例によるポイントクラウドエンコーダは八分木構造の最上位ノード(最下位レベル)から再下位ノード(最上位レベル)に対して全体八分木構造に対して八分木カラー化を行うこともできる。また実施例によるポイントクラウドエンコーダは八分木構造の任意の深さ区間(例えば、ｎ－１レベルからｎレベルまで)に対して八分木カラー化を行うことができる。実施例によるポイントクラウドデコーダは上述したスケーラブルコーディング情報に基づいて八分木カラー化を行うことができる。

【0525】

図３７(ｂ)は実施例によるスケーラブル復号によるジオメトリ及び特質の詳細を示す図である。

【0526】

図３７(ｂ)の上側はスケーラブル復号によるジオメトリの詳細を示す例示である。第１矢印３７００５ｃは八分木の上位ノード(即ち、ルートノードに近いノード)から下位ノード(即ち、リーフノードに近いノード)の方向を示す。図示したように、八分木の上位ノードから下位ノードの方向にスケーラブル復号が進行されると、より多いポイントが存在するので、ジオメトリの詳細が増加する。八分木構造のリーフノードはジオメトリーの最上位レベルの詳細に対応する。

【0527】

図３７(ｂ)の下側はスケーラブル復号による特質の詳細を示す例示である。第２矢印３７００５ｄは八分木の上位ノードから下位ノードの方向を示す。図示したように、八分木の上位ノードから下位ノードの方向にスケーラブル復号が進行されると、特質の詳細が増加する。

【0528】

図３８は実施例によるポイントクラウドデータデコーダがスケーラブル表現(ｓｃａｌａｂｌｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ)のために復号する過程を示す図である。

【0529】

具体的には、図３８は図３６で説明した、実施例によるスケーラブルデコーダが復号する方法を示す。

【0530】

＜ｃａｓｅ１＞は実施例によるスケーラブルデコーダが実施例による全体ジオメトリ(ｆｕｌｌ ｇｅｏｍｅｔｒｙ)３８００１ａの情報及び全体特質(ｆｕｌｌ Ａｔｔｒｉｂｕｔｅ)３８００１ｂ情報を受信してスケーラブル復号(ｓｃａｌａｂｌｅ ｄｅｃｏｄｅｉｎｇ)を行うことを示す。

【0531】

＜ｃａｓｅ１＞で説明する動作は、図３６及び図３０で説明した３番目の実施例によるスケーラブルデコーダ３０００４ｃで行われる。＜ｃａｓｅ１＞の動作を行うスケーラブルデコーダは、全てのポイントの位置を示す八分木構造に含まれた占有されたノードに特質データをマッチングした再構成されたカラー化された八分木(ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｃｏｌｏｒｉｚｅｄ ｏｃｔｒｅｅ、カラー化された八分木とも呼ぶ)を生成する。＜ｃａｓｅ１＞の動作を行うスケーラブルデコーダで生成した再構成されたカラー化された八分木は、図３０ないし図３７で説明した特質－ノードマッチング及び特質－ポイントマッチングの動作により生成される。

【0532】

スケーラブルデコーダは、＜ｃａｓｅ１＞で説明する動作を行うことにより、必要時、ポイントクラウドコンテンツを高い解像度で良質のコンテンツをユーザに提供することができる。

【0533】

＜ｃａｓｅ２＞は実施例によるスケーラブルデコーダが実施例による部分ジオメトリ(ｐａｒｔｉａｌ ｇｅｏｍｅｔｒｙ)３８００２ａの情報及び部分特質(ｐａｒｔｉａｌ Ａｔｔｒｉｂｕｔｅ)３８００２ｂの情報を受信してスケーラブル復号(ｓｃａｌａｂｌｅ ｄｅｃｏｄｅｉｎｇ)することを示す。

【0534】

＜ｃａｓｅ２＞で説明する動作は、図３６及び図３０で説明する１番目の実施例によるスケーラブルデコーダ３０００４ａで行われる。＜ｃａｓｅ２＞の動作を行うスケーラブルデコーダは、ポイントの位置を示す八分木構造の一部レベルに対するデータのみを含む八分木構造に含まれた占有されたノードに特質データをマッチングした再構成されたカラー化された八分木(カラー化された八分木とも呼ぶ)を生成する。＜ｃａｓｅ２＞の動作を行うスケーラブルデコーダで生成した再構成されたカラー化された八分木は、図３０ないし図３７で説明した特質－ノードマッチング動作により生成される。

【0535】

スケーラブルデコーダは＜ｃａｓｅ２＞で説明する動作を行うことにより、ポイントクラウドコンテンツを平均水準の解像度に迅速にユーザに提供することができる。

【0536】

例えば、全体ｏｃｔｒｅｅ ｄｅｐｔｈ＝Ｎ、ｇｅｏｍｅｔｒｙ ｏｃｔｒｅｅ ｄｅｐｔｈ＝Ｎ－ａ、Ａｔｔｒｉｂｕｔｅ ｏｃｔｒｅｅ ｄｅｐｔｈ＝Ｎ－ｂである場合、Ｓ＝ｍａｘ(ａ,ｂ)と定義するとき、出力ポイントクラウドデータはＳ ｘ Ｓ ｘ Ｓと下げられた情報になる。この時、出力されるポイントクラウドデータは入力データに存在する実際の位置に対する復元値ではなく、下げられるポイントクラウドデータをまとめるＳ ｘ Ｓ ｘ Ｓサイズのキューブの中心位置を示す。

【0537】

＜ｃａｓｅ３＞は実施例によるスケーラブルデコーダが実施例による全体ジオメトリ３８００３ａの情報及び部分特質３８００３ｂの情報を受信してスケーラブル復号することを示す。

【0538】

＜ｃａｓｅ３＞で説明する動作は、図３６及び図３０で説明した２番目の実施例によるスケーラブルデコーダ３０００４ｂで行われる。＜ｃａｓｅ３＞の動作を行うスケーラブルデコーダは、ポイントの位置を示す八分木構造の全てのレベルに対するデータのみを含む八分木構造に含まれた占有されたノードに特質データの一部をマッチングした再構成されたカラー化された八分木(カラー化された八分木とも呼ぶ)を生成する。＜ｃａｓｅ３＞の動作を行うスケーラブルデコーダで生成した再構成されたカラー化された八分木は、図３０ないし図３７で説明した特質－ノードマッチング及び特質－ポイントマッチングの動作により生成される。

【0539】

スケーラブルデコーダは＜ｃａｓｅ３＞で説明した動作を行うことにより、ポイントの位置情報が相対的に重要なポイントクラウドデータに対して相対的に高い解像度のポイントクラウドコンテンツを提供するために部分表現を行う代わりに、不要な特質情報に対してマッチング動作を行わないようにして、ユーザに迅速にポイントクラウドコンテンツを提供することができる。

【0540】

図３９は実施例によるポイントクラウドデータ送信段階を示す図である。

【0541】

実施例によるポイントクラウドデータ送信段階は、ポイントクラウドデータを符号化する段階３９０００及び／又はポイントクラウドデータ及びポイントクラウドデータに関するシグナリング情報を含むビットストリームを送信する段階３９００１を含む。

【0542】

実施例によるポイントクラウドデータはポイントクラウドデータのポイントの位置情報(位置、ｐｏｓｉｔｉｏｎ)を示すジオメトリ情報、イントラクラウドデータのポイントの属性(特質、Ａｔｔｒｉｂｕｔｅ)を示す特質情報を含む。

【0543】

ポイントクラウドデータを符号化する段階３９０００は、実施例によるポイントクラウドに含まれたジオメトリ情報を符号化する段階、及び実施例によるポイントクラウドに含まれた特質情報を符号化する段階を含む。ポイントクラウドデータを符号化する段階３９０００は、図１８及び図２０で説明した動作、図１９、図２１ないし図２６で説明した動作を行うことができる。

【0544】

例えば、特質情報を符号化する段階は、ジオメトリ情報の八分木構造を受信する段階、及び八分木構造の各レベルに一つ又はそれ以上の特質をマッチングしてカラー化された八分木を生成する段階を含む。八分木構造は一つ又はそれ以上のレベルで表現され、カラー化された八分木は特質情報の一部又は全部をスケーラブル表現するように特質情報を符号化するために使用される。実施例による特質情報を符号化する段階はさらに、カラー化された八分木にマッチングされたデータのうち、重複するデータを除去する段階を含む。

【0545】

ポイントクラウドデータ及びポイントクラウドデータに関するシグナリング情報を含むビットストリームを送信する段階３９００１は、上述した符号化されたポイントクラウドデータを送信する。実施例によるシグナリング情報は図２７で説明した情報を含む。また、シグナリング情報は、ビットストリームが八分木構造のフルレベルに対するデータを含むか、又は八分木構造の一部レベルに対するデータのみを含むかを示す情報(例えば、実施例によるｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇ情報)を含む。

【0546】

図４０は実施例によるポイントクラウドデータ受信段階を示す図である。

【0547】

実施例によるポイントクラウドデータ受信段階は、ポイントクラウドデータ及びシグナリング情報を含むビットストリームを受信する段階４００００、ポイントクラウドデータを復号する段階４０００１及び／又は復号されたポイントクラウドデータをレンダリングする段階４０００２を含む。

【0548】

実施例によるビットストリームに含まれたポイントクラウドデータは、ポイントクラウドデータのポイントの位置を示すジオメトリ情報及びポイントクラウドデータのポイントの一つ又はそれ以上の特質を示す特質情報を含む。

【0549】

実施例によるシグナリング情報は、実施例によるビットストリームが八分木構造のフルレベルに対するデータを含むか、又は八分木構造の一部レベルに対するデータのみを含むかを示す情報(例えば、実施例によるｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇ情報)を含む。

【0550】

ポイントクラウドデータを復号する段階４０００１は、ジオメトリ情報を復号する段階及び特質情報を復号する段階を含む。ポイントクラウドデータを復号する段階４０００１は、ポイントクラウドデータを八分木構造の一部レベルに対するデータのみを含むか否かを示す情報(例えば、ｏｃｔｒｅｅ_ｆｕｌｌ_ｌｅｖｅｌ_ｐｒｅｓｅｎｔ_ｆｌａｇ)に基づいてスケーラブル表現できるように特質情報を復号するためのカラー化された八分木を生成することができる。

【0551】

復号する段階４０００１は、図３０ないし図３８で説明した実施例によるデコーダの動作又は復号する段階を意味する。

【0552】

レンダリングする段階４０００２は、実施例による復号されたポイントクラウドデータをレンダリングする。実施例によるレンダリングする段階４０００２は、生成されたカラー化された八分木に基づいて全体表現(ｆｕｌｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ)又は一部表現(ｐａｒｔｉａｌ ｒｅｐｒｅｓｅｎｅａｔｉｏｎ)を行う。

【0553】

図１ないし図４０で説明した実施例によるポイントクラウドデータ処理装置の構成要素は、メモリと結合した一つ又はそれ以上のプロセッサを含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。実施例によるデバイスの構成要素は、一つのチップ、例えば、一つのハードウェア回路で具現される。また実施例によるポイントクラウドデータ処理装置の構成要素は、それぞれのチップで具現される。また実施例によるポイントクラウドデータ処理装置の構成要素のいずれかは、一つ又はそれ以上のプログラムを実行可能な一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは図１ないし図４０で説明したポイントクラウドデータ処理装置の動作／方法のうちのいずれか一つ又はそれ以上の動作を実行させたり、実行するための指示(Ｉｎｓｔｒｕｃｔｉｏｎ)を含む。

【0554】

説明の便宜のために、各図を区分して説明したが、各図に述べられている実施例を併合して新しい実施例を具現するように設計することも可能である。また通常の技術者の必要によって、以前に説明した実施例を実行するためのプログラムが記録されているコンピューターで読み取り可能な記録媒体を設計することも実施例の権利範囲に属する。実施例による装置及び方法は、上述したように、説明された実施例の構成と方法が限定して適用されることではなく、実施例は様々に変形可能に各実施例の全部又は一部が選択的に組み合わせられて構成されることもできる。実施例の好ましい実施例について示して説明したが、実施例は上述した特定の実施例に限定されず、請求の範囲で請求する実施例の要旨から離脱せず、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が可能であり、かかる変形実施は実施例の技術的思想や見込みから個々に理解されてはいけない。

【0555】

実施例による装置及び方法に関する説明は互いに補完して適用できる。例えば、実施例によるポイントクラウドデータ送信方法は実施例によるポイントクラウドデータ送信装置又はポイントクラウドデータ送信装置に含まれた構成要素により行われる。また、実施例によるポイントクラウドデータ受信方法は実施例によるポイントクラウドデータ受信装置又はポイントクラウドデータ受信装置に含まれた構成要素により行われる。

【0556】

実施例による装置の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより構成される。実施例の様々な構成要素は一つのチップ、例えば、一つのハードウェア回路で具現される。実施例において、実施例による構成要素はそれぞれ個々のチップで具現される。実施例において、実施例による装置の構成要素のいずれかは一つ又はそれ以上のプログラムを実行できる一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは実施例による動作／方法のうちのいずれか一つ又はそれ以上の動作／方法を行わせるか、実行させるための指示を含む。実施例による装置の方法／動作を行うための実行可能な指示は、一つ又はそれ以上のプロセッサにより実行されるために構成された一時的ではないＣＲＭ又は他のコンピュータープログラム製品に格納されるか、又は一つ又はそれ以上のプロセッサにより実行されるために構成された一時的なＣＲＭ又は他のコンピュータープログラム製品に格納されることができる。また実施例によるメモリは、揮発性メモリ(例えば、ＲＡＭなど)だけではなく、非揮発性メモリ、フラッシュメモリ、ＰＲＯＭなどを全部含む概念として使用される。また、インターネットによる送信などのような搬送波の形態で具現されることも含む。またプロセッサが読み取られる記録媒体は、ネットワークで連結されたコンピューターシステムに分散されて、分散方式によりプロセッサが読み取られるコードが格納されて実行されることができる。

【0557】

この明細書において、“／”と“,”は“及び／又は”に解釈される。例えば、“Ａ／Ｂ”は“Ａ及び／又はＢ”に解釈され、“Ａ、Ｂ”は“Ａ及び／又はＢ”に解釈される。さらに、“Ａ／Ｂ／Ｃ”は“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。また、“Ａ、Ｂ、Ｃ”も“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。さらに、この文書において、“又は”は“及び／又は”に解釈される。例えば、“Ａ又はＢ”は、１)“Ａ”のみを意味するか、２)“Ｂ”のみを意味するか、又は３)“Ａ及びＢ”を意味する。言い換えれば、この明細書において“又は”は“さらに(ａｄｄｉｔｉｏｎａｌｌｙ)又は代わりに(ａｌｔｅｒｎａｔｉｖｅｌｙ)”を意味する。

【0558】

第１、第２などの用語は実施例の様々な構成要素を説明するために使用される。しかし、実施例による様々な構成要素は上記用語により解釈が制限されてはいけない。かかる用語は一つの構成要素を他の構成要素と区別するために使用されることに過ぎない。例えば、第１ユーザ入力信号は第２ユーザ入力信号と称することができる。同様に、第２ユーザ入力信号は第１ユーザ入力信号と称することができる。かかる用語の使用は様々な実施例の範囲から離脱していない。第１ユーザ入力信号及び第２ユーザ入力信号はいずれもユーザ入力信号であるが、文脈上、明確に示していない限り、同一のユーザ入力信号を意味してはいない。

【0559】

実施例を説明のために使用された用語は、特定の実施例を説明するために使用されており、実施例を制限されるものではない。実施例の説明及び請求範囲で使用したように、文脈上明確に称していない限り、単数は複数を含む。「及び／又は」表現は用語間の全ての可能な結合を含む意味で使用される。「含む」は特徴、数、段階、要素及び／又はコンポーネントが存在することを説明し、さらなる特徴、数、段階、要素及び／又はコンポーネントを含まないことを意味しない。実施例を説明するために使用される、「~である場合」、「~の時」などの条件表現は選択的な場合にのみ制限して解釈されない。特定の条件を満たすとき、特定の条件に対応して関連動作を行うか、又は関連定義が解釈されるように意図されている。

【0560】

発明の実施のための最善の形態で具体的に説明する。

【産業上の利用可能性】

【0561】

本発明の思想や範囲内で本発明を様々な変更及び変形が可能であることは当業者にとって明らかである。よって、本発明は添付する請求範囲及びその同等な範囲内で提供される本発明の変更及び変形を含む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】