特表 2024-515174 ポイントクラウドデータ送信方法、ポイントクラウドデータ送信装置、ポイントクラウドデータ受信方法及びポイントクラウドデータ受信装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-05

(54)【発明の名称】ポイントクラウドデータ送信方法、ポイントクラウドデータ送信装置、ポイントクラウドデータ受信方法及びポイントクラウドデータ受信装置

(51)【国際特許分類】

   G06T 9/00 20060101AFI20240329BHJP

   H04N 19/597 20140101ALI20240329BHJP

   H04N 19/70 20140101ALI20240329BHJP

【ＦＩ】

G06T9/00

H04N19/597

H04N19/70

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023562933

(86)(22)【出願日】2022-02-07

(85)【翻訳文提出日】2023-10-27

(86)【国際出願番号】 KR2022001827

(87)【国際公開番号】W WO2022220382

(87)【国際公開日】2022-10-20

(31)【優先権主張番号】10-2021-0048927

(32)【優先日】2021-04-15

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100109841

【弁理士】

【氏名又は名称】堅田 健史

(74)【代理人】

【識別番号】230112025

【弁護士】

【氏名又は名称】小林 英了

(74)【代理人】

【識別番号】230117802

【弁護士】

【氏名又は名称】大野 浩之

(74)【代理人】

【識別番号】100131451

【弁理士】

【氏名又は名称】津田 理

(74)【代理人】

【識別番号】100167933

【弁理士】

【氏名又は名称】松野 知紘

(74)【代理人】

【識別番号】100184181

【弁理士】

【氏名又は名称】野本 裕史

(72)【発明者】

【氏名】パク，ユサン

(72)【発明者】

【氏名】ユル，ヒジャン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159PP03

5C159RC11

5C159UA02

5C159UA05

(57)【要約】

本発明によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階；及び前記ポイントクラウドデータを含むビットストリームを送信する段階を含む。また本発明によるポイントクラウドデータ送信装置は、ポイントクラウドデータを符号化するエンコーダー；及び前記ポイントクラウドデータを含むビットストリームを送信する送信機；を含む。

【特許請求の範囲】

【請求項1】

ポイントクラウドデータ送信方法であって、
フレームに含まれたポイントクラウドデータを符号化する段階；及び
前記ポイントクラウドデータを含むビットストリームを送信する段階；を含んでなり、
前記ポイントクラウドデータを符号化する段階は、前記ポイントクラウドデータのジオメトリ情報を符号化する段階と、前記ポイントクラウドデータの特質情報を符号化する段階と、を含む、ポイントクラウドデータ送信方法。

【請求項2】

前記フレームに含まれた前記ポイントクラウドデータは以前のフレームに基づいて符号化される、請求項１に記載のポイントクラウドデータ送信方法。

【請求項3】

前記フレームは前記以前のフレームに連関する従属フレームである、請求項２に記載のポイントクラウドデータ送信方法。

【請求項4】

前記フレームに含まれた前記ポイントクラウドデータは前記以前のフレームのコンテキストに基づいて符号化される、請求項２に記載のポイントクラウドデータ送信方法。

【請求項5】

前記ポイントクラウドデータを符号化する段階は、前記フレームのコンテキストを格納する段階を含む、請求項２に記載のポイントクラウドデータ送信方法。

【請求項6】

前記フレームに連関する前記以前のフレームは参照フレームであり、
前記参照フレームは前記以前のフレームのタイプに基づいて探索される、請求項３に記載のポイントクラウドデータ送信方法。

【請求項7】

前記ビットストリームは前記参照フレームを示すインデックス情報を含み、
前記ビットストリームは前記フレームが前記参照フレームのコンテキストに基づいて符号化されるか否かを示す情報を含む、請求項６に記載のポイントクラウドデータ送信方法。

【請求項8】

前記インデックス情報は最初のフレームから前記参照フレームまでの距離に基づく、請求項７に記載のポイントクラウドデータ送信方法。

【請求項9】

前記フレームはＩフレーム及びＰフレームの何れかを含み、
前記Ｉフレームは複数のフレームの集合であるＧｏＦ(Ｇｒｏｕｐ ｏｆ Ｆｒａｍｅｓ)の最初のフレームであり、
前記Ｐフレームは前記Ｉフレーム又は他のＰフレームを参照して予測されたフレームである、請求項１に記載のポイントクラウドデータ送信方法。

【請求項10】

前記参照フレームはフレームの間の動きベクトルの差に基づいて探索される、請求項６に記載のポイントクラウドデータ送信方法。

【請求項11】

ポイントクラウドデータ送信装置であって、
フレームに含まれたポイントクラウドデータを符号化するエンコーダー；及び
前記ポイントクラウドデータを含むビットストリームを送信する送信機；を備えてなり、
前記エンコーダーは、前記ポイントクラウドデータのジオメトリ情報及び前記ポイントクラウドデータの特質情報を符号化する、ポイントクラウドデータ送信装置。

【請求項12】

前記フレームに含まれた前記ポイントクラウドデータは以前のフレームに基づいて符号化される、請求項１１に記載のポイントクラウドデータ送信装置。

【請求項13】

前記フレームは前記以前のフレームに連関する従属フレームである、請求項１２に記載のポイントクラウドデータ送信装置。

【請求項14】

前記フレームに含まれた前記ポイントクラウドデータは前記以前のフレームのコンテキストに基づいて符号化される、請求項１２に記載のポイントクラウドデータ送信装置。

【請求項15】

前記エンコーダーは、前記フレームのコンテキストを格納する、請求項１２に記載のポイントクラウドデータ送信装置。

【請求項16】

前記フレームに連関する前記以前のフレームは参照フレームであり、
前記参照フレームは前記以前のフレームのタイプに基づいて探索される、請求項１３に記載のポイントクラウドデータ送信装置。

【請求項17】

前記ビットストリームは前記参照フレームを示すインデックス情報を含み、
前記ビットストリームは前記フレームが前記参照フレームのコンテキストに基づいて符号化されるか否かを示す情報を含む、請求項１６に記載のポイントクラウドデータ送信装置。

【請求項18】

ポイントクラウドデータ受信方法であって、
フレームに含まれたポイントクラウドデータを含むビットストリームを受信する段階;及び
前記ポイントクラウドデータを復号する段階;を含んでなり、
前記ポイントクラウドデータを復号する段階は、
前記ポイントクラウドデータのジオメトリ情報を復号する段階と、
前記ポイントクラウドデータの特質情報を復号する段階と、を含む、ポイントクラウドデータ受信方法。

【請求項19】

前記フレームの前記ポイントクラウドデータは以前のフレームに基づいて復号される、請求項１８に記載のポイントクラウドデータ受信方法。

【請求項20】

前記フレームは前記以前のフレームに連関する従属フレームである、請求項１９に記載のポイントクラウドデータ受信方法。

【請求項21】

前記フレームの前記ポイントクラウドデータは前記以前のフレームのコンテキストに基づいて復号される、請求項１９に記載のポイントクラウドデータ受信方法。

【請求項22】

前記ポイントクラウドデータを復号する段階は、前記フレームのコンテキストを格納する段階を含む、請求項１８に記載のポイントクラウドデータ受信方法。

【請求項23】

前記フレームに連関する前記以前のフレームは参照フレームであり、
前記参照フレームは前記以前のフレームのタイプに基づいて探索される、請求項２０に記載のポイントクラウドデータ受信方法。

【請求項24】

前記ビットストリームは前記参照フレームを示すインデックス情報を含み、
前記ビットストリームは前記フレームが前記参照フレームのコンテキストに基づいて符号化されるか否かを示す情報を含む、請求項２３に記載のポイントクラウドデータ受信方法。

【請求項25】

ポイントクラウドデータ受信装置であって、
フレームに含まれたポイントクラウドデータを含むビットストリームを受信する受信部；及び
前記ポイントクラウドデータを復号するデコーダー；を備えてなり、
前記デコーダーは前記ポイントクラウドデータのジオメトリ情報及び特質情報を復号し、
前記フレームに含まれた前記ポイントクラウドデータは以前のフレームに基づいて復号される、ポイントクラウドデータ受信装置。

【請求項26】

前記フレームは前記以前のフレームに連関する従属フレームである、請求項２５に記載のポイントクラウドデータ受信装置。

【請求項27】

前記フレームの前記ポイントクラウドデータは前記以前のフレームのコンテキストに基づいて復号される、請求項２６に記載のポイントクラウドデータ受信装置。

【請求項28】

前記デコーダーは、前記フレームのコンテキストを格納する、請求項２５に記載のポイントクラウドデータ受信装置。

【請求項29】

前記フレームに連関する前記以前のフレームは参照フレームであり、
前記参照フレームは前記以前のフレームのタイプに基づいて探索される、請求項２６に記載のポイントクラウドデータ受信装置。

【請求項30】

前記ビットストリームは前記参照フレームを示すインデックス情報を含み、
前記ビットストリームは前記フレームが前記参照フレームのコンテキストに基づいて符号化されるか否かを示す情報を含む、請求項２９に記載のポイントクラウドデータ受信装置。

【発明の詳細な説明】

【技術分野】

【0001】

実施例はポイントクラウドコンテンツ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｎｔｅｎｔ)を処理する方法及び装置に関する。

【背景技術】

【0002】

ポイントクラウドコンテンツは３次元空間を表現する座標系に属する点(ポイント)の集合であるポイントクラウドで表現されるコンテンツである。ポイントクラウドコンテンツは３次元からなるメディアを表現でき、ＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実)及び自律走行サービスなどの様々なサービスを提供するために使用される。しかし、ポイントクラウドコンテンツを表現するためには、数万から数十万個のポイントデータが必要である。従って、膨大な量のポイントデータを効率的に処理する方法が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明はポイントクラウドデータを効率的に処理するための装置及び方法を提供する。本発明は遅延(ｌａｔｅｎｃｙ)及び符号化／復号複雑度を解決するためのポイントクラウドデータ処理方法及び装置を提供する。

【0004】

但し、上述した技術的課題のみに制限されず、記載する全ての内容に基づいて当業者が導き出される他の技術的課題にも本発明の権利範囲を拡張することができる。

【課題を解決するための手段】

【0005】

上記技術的課題を達成するために、本発明によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階；及びポイントクラウドデータを含むビットストリームを送信する段階；を含む。また本発明によるポイントクラウドデータ受信方法は、ポイントクラウドデータを含むビットストリームを受信する段階；及びポイントクラウドデータを復号する段階；を含む。

【発明の効果】

【0006】

本発明による装置及び方法は、高効率でポイントクラウドデータを処理することができる。

【0007】

本発明による装置及び方法は、良質のポイントクラウドサービスを提供することができる。

【0008】

本発明による装置及び方法は、ＶＲサービス、自律走行サービスなどの汎用的なサービスを提供するためのポイントクラウドコンテンツを提供することができる。

【図面の簡単な説明】

【0009】

添付図面は本発明（その実施態様）の理解を助けるためのものであり、本発明に関連する説明と共に本発明を示す。後述する様々な本発明に対するより適切な理解のために、添付図面において類似する参照番号に対応する部分を含む次の図面に関連して以下の本発明の説明を必ず参照すべきである。

【図1】本発明によるポイントクラウドコンテンツ提供システムの一例を示す。

【図2】本発明によるポイントクラウドコンテンツ提供動作を示すブロック図である。

【図3】本発明によるポイントクラウドビデオキャプチャー過程の一例を示す。

【図4】本発明によるポイントクラウドエンコーダー(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｅｎｃｏｄｅｒ)の一例を示す。

【図5】本発明によるボクセルの一例を示す。

【図6】本発明による八分木及び占有コード(ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)の一例を示す。

【図7】本発明による隣接ノードパターンの一例を示す。

【図8】本発明によるＬＯＤごとのポイント構成の一例を示す。

【図9】本発明によるＬＯＤごとのポイント構成の一例を示す。

【図10】本発明によるポイントクラウドデコーダー(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す。

【図11】本発明によるポイントクラウドデコーダー(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す。

【図12】本発明によるポイントクラウドデータ送信装置の一例を示す。

【図13】本発明によるポイントクラウドデータ受信装置の一例を示す。

【図14】本発明によるポイントクラウドデータ送受信方法／装置に連動可能な構造の一例を示す。

【図15】本発明によるポイントクラウドデータのＧｏＦ(Ｇｒｏｕｐ ｏｆ Ｆｒａｍｅｓ)の例を示す。

【図16】本発明によるポイントクラウドデータ送信装置の一例を示す。

【図17】本発明によるポイントクラウドデータ受信装置の一例を示す。

【図18】本発明によるポイントクラウドデータ送信装置の一例を示す。

【図19】本発明によるポイントクラウドデータ受信装置の一例を示す。

【図20】本発明によるポイントクラウドデータの符号化／復号過程の一例を示す。

【図21】本発明によるポイントクラウドデータの符号化効率を示す。

【図22】本発明によるポイントクラウドデータの符号化効率を示す。

【図23】本発明による符号化されたポイントクラウドデータの一例を示す。

【図24】本発明によるＳｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ ＳｅｔのＳｙｎｔａｘの一例を示す。

【図25】本発明によるＴｉｌｅ Ｐａｒａｍｅｔｅｒ ＳｅｔのＳｙｎｔａｘの一例を示す。

【図26】本発明によるＧｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ ＳｅｔのＳｙｎｔａｘの一例を示す。

【図27】本発明によるＡｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ ＳｅｔのＳｙｎｔａｘの一例を示す。

【図28】本発明によるジオメトリビットストリームのスライスヘッダーのＳｙｎｔａｘの一例を示す。

【図29】本発明によるポイントクラウドデータ送信方法の一例を示す。

【図30】本発明によるポイントクラウドデータ受信方法の一例を示す。

【発明を実施するための形態】

【0010】

添付図面を参照しながら望ましい本発明について具体的に説明する。添付図面を参照した以下の詳細な説明は、本発明によって具現可能な実施例のみを示すというより、望ましい本発明を説明するためのものである。以下の詳細な説明は本発明に関する徹底な理解を提供するために細部事項を含む。しかし、かかる細部事項がなくても本発明を実行できることは当業者にとって明らかである。

【0011】

本発明で使用するほとんどの用語は該当分野において広く使用される一般的なものであるが、一部は出願人によって任意に選択されたものもあり、その意味は必要によって以下に詳しく説明する。よって、本発明は用語の単純な名称や意味ではなく、用語が意図する意味に基づいて理解すべきである。

【0012】

図１は本発明によるポイントクラウドコンテンツ提供システムの一例を示す図である。

【0013】

図１に示したポイントクラウドコンテンツ提供システムは、送信装置(ｔｒａｎｓｍｉｓｓｉｏｎ ｄｅｖｉｃｅ)１００００及び受信装置(ｒｅｃｅｐｔｉｏｎ ｄｅｖｉｃｅ)１０００４を含む。送信装置１００００及び受信装置１０００４はポイントクラウドデータを送受信するために有無線通信が可能である。

【0014】

本発明による送信装置１００００は、ポイントクラウドビデオ(又はポイントクラウドコンテンツ)を確保し処理して送信する。本発明において、送信装置１００００は固定局(ｆｉｘｅｄ ｓｔａｔｉｏｎ)、ＢＴＳ(ｂａｓｅ ｔｒａｎｓｃｅｉｖｅｒ ｓｙｓｔｅｍ)、ネットワーク、ＡＩ(Ａｒｉｔｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ)機器及び／又はシステム、ロボット、ＡＲ／ＶＲ／ＸＲ機器及び／又はサーバーなどを含む。また本発明において、送信装置１００００は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。

【0015】

本発明による送信装置１００００は、ポイントクラウドビデオ獲得部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ａｃｑｕｉｓｉｔｉｏｎ)１０００１、ポイントクラウドビデオエンコーダー(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)１０００２及び／又は送信機(Ｔｒａｎｓｍｉｔｔｅｒ(又は通信モジュール)１０００３を含む。

【0016】

本発明によるポイントクラウドビデオ獲得部１０００１は、キャプチャー、合成又は生成などの処理過程によりポイントクラウドビデオを獲得する。ポイントクラウドビデオは、３次元空間に位置するポイントの集合であるポイントクラウドで表現されるポイントクラウドコンテンツであって、ポイントクラウドビデオデータなどと呼ばれる。本発明によるポイントクラウドビデオは、一つ又はそれ以上のフレームを含む。一つのフレームは停止映像／ピクチャを示す。よって、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャを含み、ポイントクラウド映像、フレーム及びピクチャのうちのいずれかに呼ばれる。

【0017】

本発明によるポイントクラウドビデオエンコーダー１０００２は、確保したポイントクラウドビデオデータを符号化する。ポイントクラウドビデオエンコーダー１０００２はポイントクラウド圧縮(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディングに基づいてポイントクラウドビデオデータを符号化する。本発明によるポイントクラウド圧縮コーディングは、Ｇ－ＰＣＣ(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又はＶ－ＰＣＣ(Ｖｉｄｅｏ ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング又は次世代コーディングを含む。なお、本発明によるポイントクラウド圧縮コーディングは、上述した本発明に限られない。ポイントクラウドビデオエンコーダー１０００２は、符号化されたポイントクラウドビデオデータを含むビットストリームを出力する。ビットストリームは符号化されたポイントクラウドビデオデータだけではなく、ポイントクラウドビデオデータの符号化に関連するシグナリング情報を含む。

【0018】

本発明による送信機１０００３は、符号化されたポイントクラウドビデオデータを含むビットストリームを送信する。本発明によるビットストリームはファイル又はセグメント(例えば、ストリーミングセグメント)などにカプセル化されて、放送網及び／又はブロードバンド網などの様々なネットワークにより送信される。図示していないが、送信装置１００００はカプセル化動作を行うカプセル化部(又はカプセル化モジュール)を含む。また本発明において、カプセル化部は送信機１０００３に含まれる。本発明において、ファイル又はセグメントはネットワークにより受信装置１０００４に送信されるか、又はデジタル格納媒体(例えば、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど)に格納される。本発明による送信機１０００３は受信装置１０００４(又は受信機(Ｒｅｃｅｉｖｅｒ)１０００５)と４Ｇ、５Ｇ、６Ｇなどのネットワークにより有無線通信が可能である。また送信機１０００３はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)によって必要なデータ処理動作を行う。また送信装置１００００はオン・デマンド(Ｏｎ Ｄｅｍａｎｄ)方式によってカプセル化されたデータを送信することもできる。

【0019】

本発明による受信装置１０００４は、受信機(Ｒｅｃｅｉｖｅｒ)１０００５、ポイントクラウドビデオデコーダー(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)１０００６及び／又はレンダラー(Ｒｅｎｄｅｒｅｒ)１０００７を含む。本発明において、受信装置１０００４は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。

【0020】

本発明による受信機１０００５は、ポイントクラウドビデオデータを含むビットストリーム又はビットストリームがカプセル化されたファイル／セグメントなどをネットワーク又は格納媒体から受信する。受信機１０００５はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)により必要なデータ処理動作を行う。本発明による受信機１０００５は、受信したファイル／セグメントをデカプセル化してビットストリームを出力する。また本発明において、受信機１０００５はデカプセル化の動作を行うためのデカプセル化部(又はデカプセル化モジュール)を含む。またデカプセル化部は受信機１０００５とは別個のエレメント(又はコンポーネント)で具現される。

【0021】

ポイントクラウドビデオデコーダー１０００６は、ポイントクラウドビデオデータを含むビットストリームを復号する。ポイントクラウドビデオデコーダー１０００６はポイントクラウドビデオデータが符号化された方式により復号することができる(例えば、ポイントクラウドビデオエンコーダー１０００２の動作の逆の過程)。従って、ポイントクラウドビデオデコーダー１０００６はポイントクラウド圧縮の逆過程であるポイントクラウド復元コーディングを行って、ポイントクラウドビデオデータを復号することができる。ポイントクラウド復元コーディングはＧ－ＰＣＣコーディングを含む。

【0022】

レンダラー１０００７は復号されたポイントクラウドビデオデータをレンダリングする。レンダラー１０００７はポイントクラウドビデオデータだけではなく、オディオデータもレンダリングしてポイントクラウドコンテンツを出力する。本発明において、レンダラー１０００７はポイントクラウドコンテンツをディスプレイするためのディスプレイを含む。本発明において、ディスプレイはレンダラー１０００７に含まれず、別のデバイス又はコンポーネントで具現される。

【0023】

図面において、点線で示した矢印は、受信装置１０００４で得たフィードバック情報(ｆｅｅｄｂａｃｋ ｉｎｆｏｒｍａｔｉｏｎ)の送信経路を示す。フィードバック情報はポイントクラウドコンテンツを消費するユーザとの相互作用を反映するための情報であって、ユーザの情報を含む(例えば、ヘッドオリエンテーション情報)、ビューポート情報など)。特にポイントクラウドコンテンツがユーザとの相互作用が必要なサービス(例えば、自律走行サービスなど)のためのものである場合には、フィードバック情報はコンテンツ送信側(例えば、送信装置１００００)及び／又はサービス供給者に伝達されることができる。実施例において、フィードバック情報は送信装置１００００だけではなく受信装置１０００４でも使用されることができ、提供されないこともできる。

【0024】

本発明によるヘッドオリエンテーション情報はユーザの頭の位置、方向、角度、動きなどに関する情報である。本発明による受信装置１０００４はヘッドオリエンテーション情報に基づいてビューポート情報を計算する。ビューポート情報はユーザが見ているポイントクラウドビデオの領域に関する情報である。視点(ｖｉｅｗｐｏｉｎｔ)はユーザがポイントクラウドビデオを見ている点であり、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とする領域であり、領域のサイズ、形態などはＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)により決定される。従って、受信装置１０００４はヘッドオリエンテーション情報以外に、装置が支援する垂直(ｖｅｒｔｉｃａｌ)或いは水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート情報を抽出することができる。また受信装置１０００４はゲイズ分析(Ｇａｚｅ Ａｎａｌｙｓｉｓ)などを行って、ユーザのポイントクラウド消費方式、ユーザが凝視するポイントクラウドビデオ領域、凝視時間などを確認する。実施例において、受信装置１０００４はゲイズ分析の結果を含むフィードバック情報を送信装置１００００に送信する。本発明によるフィードバック情報はレンダリング及び／又はディスプレイ過程で得られる。本発明によるフィードバック情報は受信装置１０００４に含まれた一つ又はそれ以上のセンサにより確保される。また本発明において、フィードバック情報はレンダラー１０００７又は別の外部エレメント(又はデバイス、コンポーネントなど)により確保される。図１に示された点線はレンダラー１０００７で確保したフィードバック情報の伝達過程を示す。ポイントクラウドコンテンツ提供システムはフィードバック情報に基づいてポイントクラウドデータを処理(符号化／復号)する。従って、ポイントクラウドビデオデータデコーダー１０００６はフィードバック情報に基づいて復号の動作を行うことができる。また受信装置１０００４はフィードバック情報を送信装置１００００に送信することができる。送信装置１００００(又はポイントクラウドビデオデータエンコーダー１０００２)はフィードバック情報に基づいて符号化の動作を行う。従って、ポイントクラウドコンテンツ提供システムは全てのポイントクラウドデータを処理(符号化／復号)せず、フィードバック情報に基づいて必要なデータ(例えば、ユーザのヘッド位置に対応するポイントクラウドデータ)を効率的に処理して、ユーザにポイントクラウドコンテンツを提供することができる。

【0025】

本発明において、送信装置１００００はエンコーダー、送信デバイス、送信機などと呼ばれ、受信装置１０００４はデコーダー、受信デバイス、受信機などと呼ばれる。

【0026】

本発明による図１のポイントクラウドコンテンツ提供システムで処理される(獲得／符号化／送信／復号／レンダリングの一連の過程で処理される)ポイントクラウドデータは、ポイントクラウドコンテンツデータ又はポイントクラウドビデオデータとも呼ばれる。本発明において、ポイントクラウドコンテンツデータはポイントクラウドデータに関連するメタデータ或いはシグナリング情報を含む概念として使用される。

【0027】

図１に示したポイントクラウドコンテンツ提供システムのエレメントは、ハードウェア、ソフトウェア、プロセッサ及び／又はこれらの組み合わせなどで具現される。

【0028】

図２は本発明によるポイントクラウドコンテンツ提供の動作を示すブロック図である。

【0029】

図２は図１で説明したポイントクラウドコンテンツ提供システムの動作を示すブロック図である。上述したように、ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディング(例えば、Ｇ－ＰＣＣ)に基づいてポイントクラウドデータを処理する。

【0030】

本発明によるポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)では、ポイントクラウドビデオを獲得する(２００００)。ポイントクラウドビデオは３次元空間を表現する座標系に属するポイントクラウドで表現される。本発明によるポイントクラウドビデオはＰｌｙ(Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａt)ファイルを含む。ポイントクラウドビデオが一つ又はそれ以上のフレームを有する場合、獲得したポイントクラウドビデオは一つ又はそれ以上のＰｌｙファイルを含む。Ｐｌｙファイルはポイントのジオメトリ(Ｇｅｏｍｅｔｒｙ)及び／又は特質(Ａｔｔｒｉｂｕｔｅ)のようなポイントクラウドデータを含む。ジオメトリはポイントの位置を含む。それぞれのポイントの位置は３次元座標系(例えば、ＸＹＺ軸からなる座標系など)を示すパラメータ(例えば、Ｘ軸、Ｙ軸、Ｚ軸それぞれの値)で表現される。特質はポイントの特質(例えば、それぞれのポイントのテクスチャ情報、色相(ＹＣｂＣｒ又はＲＧＢ)、反射率(ｒ)、透明度など)を含む。一つのポイントは一つ又はそれ以上の特質(又は属性)を有する。例えば、一つのポイントは、色相の一つの特質を有するか、或いは色相及び反射率の二つの特質を有することができる。本発明において、ジオメトリは位置、ジオメトリ情報、ジオメトリデータなどとも呼ばれ、特質は特質、特質情報、特質データなどとも呼ばれる。またポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)は、ポイントクラウドビデオの獲得過程に関連する情報(例えば、深さ情報、色相情報など)からポイントクラウドデータを確保することができる。

【0031】

本発明によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又はポイントクラウドビデオエンコーダー１０００２)は、ポイントクラウドデータを符号化する(２０００１)。ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディングに基づいてポイントクラウドデータを符号化する。上述したように、ポイントクラウドデータはポイントのジオメトリ及び特質を含む。よって、ポイントクラウドコンテンツ提供システムは、ジオメトリを符号化するジオメトリ符号化を行ってジオメトリビットストリームを出力する。ポイントクラウドコンテンツ提供システムは、特質を符号化する特質符号化を行って特質ビットストリームを出力する。本発明において、ポイントクラウドコンテンツ提供システムはジオメトリ符号化に基づいて特質符号化を行う。本発明によるジオメトリビットストリーム及び特質ビットストリームは多重化されて一つのビットストリームで出力される。本発明によるビットストリームはさらにジオメトリ符号化及び特質符号化に関連するシグナリング情報を含む。

【0032】

本発明によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又は送信機１０００３)は、符号化されたポイントクラウドデータを送信する(２０００２)。図１で説明したように、符号化されたポイントクラウドデータはジオメトリビットストリーム、特質ビットストリームで表現される。また符号化されたポイントクラウドデータはポイントクラウドデータの符号化に関連するシグナリング情報(例えば、ジオメトリ符号化及び特質符号化に関連するシグナリング情報)と共に、ビットストリームの形態で送信される。またポイントクラウドコンテンツ提供システムは符号化されたポイントクラウドデータを送信するビットストリームをカプセル化してファイル又はセグメントの形態で送信する。

【0033】

本発明によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、符号化されたポイントクラウドデータを含むビットストリームを受信する。またポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、ビットストリームを逆多重化する。

【0034】

ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダー１０００５)は、ビットストリームで送信される符号化されたポイントクラウドデータ(例えば、ジオメトリビットストリーム、特質ビットストリーム)を復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダー１０００５)は、ビットストリームに含まれたポイントクラウドビデオデータの符号化に関連するシグナリング情報に基づいてポイントクラウドビデオデータを復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダー１０００５)は、ジオメトリビットストリームを復号してポイントの位置(ジオメトリ)を復元する。ポイントクラウドコンテンツ提供システムは、復元したジオメトリに基づいて特質ビットストリームを復号してポイントの特質を復元する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダー１０００５)は、復元されたジオメトリによる位置及び復号された特質に基づいてポイントクラウドビデオを復元する。

【0035】

本発明によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号されたポイントクラウドデータをレンダリングする(２０００４)。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号過程で復号されたジオメトリ及び特質を様々なレンダリング方式によってレンダリングする。ポイントクラウドコンテンツのポイントは、一定の厚さを有する定点、該当定点の位置を中央とする所定の最小サイズを有する立方体、又は定点の位置を中央とする円などにレンダリングされる。レンダリングされたポイントクラウドコンテンツの全部又は一部の領域はディスプレイ(例えば、ＶＲ／ＡＲディスプレイ、一般ディスプレイなど)によりユーザに提供される。

【0036】

本発明によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４)は、フィードバック情報を確保することができる(２０００５)。ポイントクラウドコンテンツ提供システムは、フィードバック情報に基づいてポイントクラウドデータを符号化及び／又は復号する。本発明によるフィードバック情報及びポイントクラウドコンテンツ提供システムの動作は、図１で説明したフィードバック情報及び動作と同一であるので、具体的な説明は省略する。

【0037】

図３は本発明によるポイントクラウドビデオキャプチャー過程の一例を示す図である。

【0038】

図３は図１及び図２で説明したポイントクラウドコンテンツ提供システムのポイントクラウドビデオキャプチャー過程の一例を示す。

【0039】

ポイントクラウドコンテンツは、様々な３次元空間(例えば、現実環境を示す３次元空間、仮想環境を示す３次元空間など)に位置するオブジェクト(ｏｂｊｅｃｔ)及び／又は環境を示すポイントクラウドビデオ(イメージ及び／又は映像)を含む。従って、本発明によるポイントクラウドコンテンツ提供システムは、ポイントクラウドコンテンツを生成するために一つ又はそれ以上のカメラ(例えば、深さ情報を確保できる赤外線カメラ、深さ情報に対応する色相情報を抽出できるＲＧＢカメラなど)、プロジェクト(例えば、深さ情報を確保するための赤外線パターンプロジェクターなど)、ＬｉＤＡＲなどを使用してポイントクラウドビデオをキャプチャーする。本発明によるポイントクラウドコンテンツ提供システムは、深さ情報から３次元空間上のポイントで構成されたジオメトリの形態を抽出し、色相情報からそれぞれのポイントの特質を抽出してポイントクラウドデータを確保する。本発明によるイメージ及び／又は映像は内向き(ｉｎｗａｒｄ－ｆａｃｉｎｇ)方式及び外向き(ｏｕｔｗａｒｄ－ｆａｃｉｎｇ)方式のうちのいずれかに基づいてキャプチャーされる。

【0040】

図３の左側には内向き方式が示されている。内向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトをキャプチャーする方式である。内向き方式は核心核心客体に対する３６０°イメージをユーザに提供するポイントクラウドコンテンツ(例えば、ユーザに客体(例：キャラクター、選手、品物、俳優などの核心となる客体)の３６０°イメージを提供するＶＲ／ＡＲコンテンツ)を生成するために使用される。

【0041】

図３の右側には外向き方式が示されている。外向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトではない中心オブジェクトの環境をキャプチャーする方式である。外向き方式はユーザの視点からの周辺環境を提供するためのポイントクラウドコンテンツ(例えば、自律走行車両のユーザに提供される外部環境を示すコンテンツ)を生成するために使用される。

【0042】

図示したように、ポイントクラウドコンテンツは一つ又はそれ以上のカメラのキャプチャー動作に基づいて生成される。この場合、それぞれのカメラの座標系が異なるので、ポイントクラウドコンテンツ提供システムはキャプチャー動作前にグローバル空間座標系(ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)を設定するために、一つ又はそれ以上のカメラの較正(ｃａｌｉｂｒａｔｉｏｎ)を行う。またポイントクラウドコンテンツ提供システムは、上述したキャプチャー方式でキャプチャーされたイメージ及び／又は映像と任意のイメージ及び／又は映像を合成してポイントクラウドコンテンツを生成する。またポイントクラウドコンテンツ提供システムは、仮想空間を示すポイントクラウドコンテンツを生成する場合、図３で説明したキャプチャー動作を行わない。本発明によるポイントクラウドコンテンツ提供システムは、キャプチャーしたイメージ及び／又は映像に対して後処理を行うこともできる。即ち、ポイントクラウドコンテンツ提供システムは、望まない領域(例えば、背景)を除去したり、キャプチャーしたイメージ及び／又は映像が連結された空間を認識して空間(ｓｐａｔｉａｌ ｈｏｌｅ)がある場合、それを埋める動作を行うことができる。

【0043】

またポイントクラウドコンテンツ提供システムは、それぞれのカメラから確保したポイントクラウドビデオのポイントに対して座標系変換を行って、一つのポイントクラウドコンテンツを生成することができる。ポイントクラウドコンテンツ提供システムは、それぞれのカメラの位置座標を基準としてポイントの座標系変換を行う。これにより、ポイントクラウドコンテンツ提供システムは、一つの広い範囲を示すコンテンツを生成するか、或いはポイントの密度が高いポイントクラウドコンテンツを生成することができる。

【0044】

図４は本発明によるポイントクラウドエンコーダー(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｅｎｃｏｄｅｒ)の一例を示す図である。

【0045】

図４は図１のポイントクラウドビデオエンコーダー１０００２の一例を示す。ポイントクラウドエンコーダーは、ネットワーク状況或いはアプリケーションなどによってポイントクラウドコンテンツの質(例えば、無損失－ｌｏｓｓｌｅｓｓ、損失－ｌｏｓｓｙ、損失に近い－ｎｅａｒ－ｌｏｓｓｌｅｓｓ)を調節するために、ポイントクラウドデータ(例えば、ポイントの位置及び／又は特質)を再構成して符号化動作を行う。ポイントクラウドコンテンツの全体サイズが大きい場合(例えば、３０ｆｐｓの場合、６０Ｇｂｐｓであるポイントクラウドコンテンツ)、ポイントクラウドコンテンツ提供システムは該当コンテンツをリアルタイムストリーミングすることができない。従って、ポイントクラウドコンテンツ提供システムは、ネットワーク環境などに合わせて提供するために、最大ターゲットビットレートに基づいてポイントクラウドコンテンツを再構成することができる。

【0046】

図１及び図２に示したように、ポイントクラウドエンコーダーはジオメトリ符号化及び特質符号化を行うことができる。ジオメトリ符号化は特質符号化よりも先に行われる。

【0047】

本発明によるポイントクラウドエンコーダーは、座標系変換部(Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｃｏｏｒｄｉｎａｔｅｓ)４００００、量子化部(Ｑｕａｎｔｉｚｅ ａｎｄ Ｒｅｍｏｖｅ Ｐｏｉｎｔｓ(Ｖｏｘｅｌｉｚｅ))４０００１、八分木分析部(Ａｎａｌｙｚｅ Ｏｃｔｒｅｅ)４０００２、表面近似分析部(Ａｎａｌｙｚｅ Ｓｕｒｆａｃｅ Ａｐｐｒｏｘｉｍａｔｉｏｎ)４０００３、演算エンコーダー(Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅ)４０００４、ジオメトリ再構成部(Ｒｅｃｏｎｓｔｒｕｃｔ Ｇｅｏｍｅｔｒｙ)４０００５、色変換部(Ｔｒａｎｓｆｏｒｍ Ｃｏｌｏｒｓ)４０００６、特質変換部(Ｔｒａｎｓｆｅｒ Ａｔｔｒｉｂｕｔｅｓ)４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部(Ｇｅｎｅｒａｔｅｄ ＬＯＤ)４０００９、リフト変換部(Ｌｉｆｔｉｎｇ)４００１０、係数量子化部(Ｑｕａｎｔｉｚｅ Ｃｏｅｆｆｉｃｉｅｎｔｓ)４００１１及び／又は演算エンコーダー(Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅ)４００１２を含む。

【0048】

座標系変換部４００００、量子化部４０００１、八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダー４０００４及びジオメトリ再構成部４０００５は、ジオメトリ符号化を行う。本発明によるジオメトリ符号化は、八分木ジオメトリコーディング、ダイレクトコーディング(ｄｉｒｅｃｔ ｃｏｄｉｎｇ)、ｔｒｉｓｏｕｐジオメトリ符号化(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)及びエントロピー符号化を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に或いは組み合わせて適用される。なお、ジオメトリ符号化は上記の例示に限られない。

【0049】

図示したように、本発明による座標系変換部４００００は、位置を受信して座標系(ｃｏｏｒｄｉｎａｔｅ)に変換する。例えば、位置は３次元空間(例えば、ＸＹＺ座標系で表現される３次元空間など)の位置情報に変換される。本発明による３次元空間の位置情報はジオメトリ情報とも称される。

【0050】

本発明による量子化部４０００１はジオメトリを量子化する。例えば、量子化部４０００１は全体ポイントの最小位置値(例えば、Ｘ軸、Ｙ軸、Ｚ軸に対して各軸上の最小値)に基づいてポイントを量子化する。量子化部４０００１は最小の位置値とそれぞれのポイントの位置値との差に所定の量子スケール(ｑｕａｔｉｚａｔｉｏｎ ｓｃａｌｅ)値を掛けた後、切り下げ又は切り上げをして最も近い整数値を探す量子化動作を行う。従って、一つ又はそれ以上のポイントは同一の量子化された位置(又は位置値)を有することができる。本発明による量子化部４０００１は量子化されたポイントを再構成するために、量子化された位置に基づいてボクセル化(ｖｏｘｅｌｉｚａｔｉｏｎ)を行う。２次元イメージ／ビデオ情報を含む最小単位はピクセル(ｐｉｘｅｌ)のように、本発明によるポイントクラウドコンテンツ(又は３次元ポイントクラウドビデオ)のポイントは一つ又はそれ以上のボクセル(ｖｏｘｅｌ)に含まれる。ボクセルはボリューム(Ｖｏｌｕｍｅ)とピクセル(Ｐｉｘｅｌ)を組み合わせた言葉であり、３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。量子化部４０００１は３次元空間のポイントのグループをボクセルでマッチングする。本発明において、一つのボクセルは一つのポイントのみを含む。本発明において、一つのボクセルは一つ又はそれ以上のポイントを含む。また一つのボクセルを一つのポイントで表現するために、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて、該当ボクセルの中央点(ｃｅｔｅｒ)の位置を設定することができる。この場合、一つのボクセルに含まれた全ての位置の特質が統合されて(ｃｏｍｂｉｎｅｄ)、該当ボクセルに割り当てられる。

【0051】

本発明による八分木分析部４０００２は、ボクセルを八分木構造で表すための八分木ジオメトリコーディング(又は八分木コーディング)を行う。八分木構造は八分割構造に基づいてボクセルにマッチングされたポイントを表現する。

【0052】

本発明による表面近似分析部４０００３は、八分木を分析して近似化する。本発明による八分木分析及び近似化は、八分木及びボクセル化を効率的に提供するために、多数のポイントを含む領域をボクセル化するために分析を行う過程である。

【0053】

本発明による演算エンコーダー４０００４は、八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。符号化の結果としてジオメトリビットストリームが生成される。

【0054】

色変換部４０００６、特質変換部４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９、リフト変換部４００１０、係数量子化部４００１１及び／又は演算エンコーダー４００１２は、特質符号化を行う。上述したように、一つのポイントは一つ又はそれ以上の特質を有する。本発明による特質符号化は、一つのポイントが有する特質に対して等しく適用される。但し、一つの特質(例えば、色相)が一つ又はそれ以上の要素を含む場合は、各要素ごとに独立した特質符号化が適用される。本発明による特質符号化は、色変換コーディング、特質変換コーディング、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)コーディング、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)コーディング及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ（Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))コーディングを含む。ポイントクラウドコンテンツによって、上述したＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングが選択的に使用されるか、又は一つ又はそれ以上のコーディングの組み合わせが使用される。また本発明による特質符号化は上述した例示に限られない。

【0055】

本発明による色変換部４０００６は、特質に含まれた色値(又はテクスチャ)を変換する色変換コーディングを行う。例えば、色変換部４０００６は色相情報のフォーマットを変換(例えば、ＲＧＢからＹＣｂＣｒに変換)する。本発明による色変換部４０００６の動作は、特質に含まれた色値によって任意に(ｏｐｔｉｏｎａｌ)適用される。

【0056】

本発明によるジオメトリ再構成部４０００５は、八分木及び／又は近似化した八分木を再構成(復元)する。ジオメトリ再構成部４０００５はポイントの分布を分析した結果に基づいて八分木／ボクセルを再構成する。再構成された八分木／ボクセルは再構成されたジオメトリ(又は復元されたジオメトリ)とも呼ばれる。

【0057】

本発明による特質変換部４０００７は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。上述したように、特質はジオメトリに従属するので、特質変換部４０００７は再構成されたジオメトリ情報に基づいて特質を変換することができる。例えば、特質変換部４０００７は、ボクセルに含まれたポイントの位置値に基づいてその位置のポイントが有する特質を変換する。上述したように、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて該当ボクセルの中央点の位置が設定される場合、特質変換部４０００７は一つ又はそれ以上のポイントの特質を変換する。ｔｒｉｓｏｕｐジオメトリ符号化が行われた場合、特質変換部４０００７はｔｒｉｓｏｕｐジオメトリ符号化に基づいて特質を変換する。

【0058】

特質変換部４０００７は、各ボクセルの中央点の位置(又は位置値)から特定の位置／半径内に隣接しているポイントの特質又は特質値(例えば、各ポイントの色相、又は反射率など)の平均値を計算して特質変換を行う。特質変換部４０００７は平均値の計算時、中央点から各ポイントまでの距離による加重値を適用する。従って、各ボクセルは位置及び計算された特質(又は特質値)を有する。

【0059】

特質変換部４０００７はＫ－Ｄツリー又はモールトンコード(ｍｏｕｌｔｏｎ ｃｏｄｅ)に基づいて各ボクセルの中央点の位置から特定の位置／半径内に存在する隣接ポイントを探索する。Ｋ－Ｄツリーは二分探索木(ｂｉｎａｒｙ ｓｅａｒｃｈ ｔｒｅｅ)で迅速に最短隣接点探索(Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｓｅａｒｃｈ－ＮＮＳ)をできるように、ポイントを位置基盤に管理する資料構造を支援する。モールトンコードは全てのポイントの３次元位置を示す座標値(例えば、(ｘ，ｙ，ｚ))をビット値で示し、ビットを混ぜて生成される。例えば、ポイントの位置を示す座標値が(５，９，１)であると、座標値のビット値は(０１０１、１００１、０００１)である。ビット値をｚ、ｙ、ｘの順にビットインデックスに合わせて混ぜると、０１０００１０００１１１である。この値を１０進数で示すと１０９５になる。即ち、座標値が(５，９，１)であるポイントのモールトンコード値は１０９５である。特質変換部４０００７はモールトンコード値を基準としてポイントを整列し、ｄｅｐｔｈ－ｆｉｒｓｔ ｔｒａｖｅｒｓａｌ過程により最短隣接点探索(ＮＮＳ)を行う。特質変換動作後、特質コーディングのための他の変換過程でも最短隣接点探索(ＮＮＳ)が必要であれば、Ｋ－Ｄツリー又はモールトンコードが活用される。

【0060】

図示したように、変換された特質はＲＡＨＴ変換部４０００８及び／又はＬＯＤ生成部４０００９に入力される。

【0061】

本発明によるＲＡＨＴ変換部４０００８は、再構成されたジオメトリ情報に基づいて特質情報を予測するＲＡＨＴコーディングを行う。例えば、ＲＡＨＴ変換部４０００８は、八分木の下位レベルにあるノードに連関する特質情報に基づいて、八分木の上位レベルにあるノードの特質情報を予測することができる。

【0062】

本発明によるＬＯＤ生成部４０００９は予測変換コーディングを行うために、ＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)を生成する。本発明によるＬＯＤはポイントクラウドコンテンツの詳細を示す程度であり、ＬＯＤ値が小さいほどポイントクラウドコンテンツの詳細が下がり、ＬＯＤ値が大きいほどポイントクラウドコンテンツの詳細が高いことを示す。ポイントをＬＯＤによって分類できる。

【0063】

本発明によるリフト変換部４００１０は、ポイントクラウドの特質を加重値に基づいて変換するリフト変換コーディングを行う。上述したように、リフト変換コーディングは選択的に適用される。

【0064】

本発明による係数量子化部４００１１は、特質コーディングされた特質を係数に基づいて量子化する。

【0065】

本発明による演算エンコーダー４００１２は、量子化された特質を演算コーディングに基づいて符号化する。

【0066】

図４のポイントクラウドエンコーダーのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図４のポイントクラウドエンコーダーのエレメントの動作及び／又は機能のうち、いずれか一つを行うことができる。また、一つ又はそれ以上のプロセッサは、図４のポイントクラウドエンコーダーのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行することができる。本発明による一つ又はそれ以上のメモリは高速ランダムアクセスメモリを含むか、又は非揮発性メモリ(例えば、一つ又はそれ以上のマグネチックディスク格納デバイス、フラッシュメモリデバイス、又は他の非揮発性固体のメモリデバイス(Ｓｏｌｉｄ－ｓｔａｔｅ ｍｅｍｏｒｙ ｄｅｖｉｃｅｓ)など)を含む。

【0067】

図５は本発明によるボクセルの一例を示す図である。

【0068】

図５はＸ軸、Ｙ軸、Ｚ軸の３つの軸で構成された座標系で表現される３次元空間上に位置するボクセルを示す。図４に示すように、ポイントクラウドエンコーダー(例えば、量子化部４０００１など)はボクセル化を行う。ボクセルは３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。図５は２つの極点(０,０,０)及び(２^d、２^d、２^d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)する八分木構造により生成されたボクセルの一例を示す。一つのボクセルは少なくとも一つ以上のポイントを含む。ボクセルはボクセル群(ｖｏｘｅｌ ｇｒｏｕｐ)との位置関係から空間座標を推定することができる。上述したように、ボクセルは２次元イメージ／映像のピクセルと同様に、特質(色相又は反射率など)を有する。ボクセルに対する具体的な説明は図４で説明した通りであるので省略する。

【0069】

図６は本発明による八分木及び占有コード(ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)の一例を示す図である。

【0070】

図１ないし図４に示したように、ポイントクラウドコンテンツ提供システム(ポイントクラウドビデオエンコーダー１０００２)又はポイントクラウドエンコーダー(例えば、八分木分析部４０００２)は、ボクセルの領域及び／又は位置を効率的に管理するために、八分木構造基盤の八分木ジオメトリコーディング(又は八分木コーディング)を行う。

【0071】

図６の上側は八分木構造を示している。本発明によるポイントクラウドコンテンツの３次元空間は座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)で表現される。八分木構造は２つの極点(０,０,０)及び(２^d、２^d、２^d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)して生される。２ｄはポイントクラウドコンテンツ(又はポイントクラウドビデオ)の全体ポイントを取り囲む最小の境界ボックスを構成する値で設定される。ｄは八分木の深さを示す。ｄ値は以下の式により決定される。以下の式において、(ｘ^int _n、ｙ^int _n、ｚ^int _n)は量子化されたポイントの位置(又は位置値)を示す。

【0072】

【数1】

【0073】

図６の上側中央に示したように、分割によって全体３次元空間は８つの空間に分かれる。分割されたそれぞれの空間は６つの面を有するキューブで表現される。図６の右上側に示したように、８つの空間はそれぞれ再び座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)により分かれる。よって、それぞれの空間は再び８つの小さい空間に分かれる。分割された小さい空間も６つの面を有するキューブで表現される。このような分割方式は八分木のリーフノード(ｌｅａｆ ｎｏｄｅ)がボクセルになるまで適用される。

【0074】

図６の下側は八分木の占有コードを示す。八分木の占有コードは一つの空間が分かれて発生する８つの分割空間がそれぞれ少なくとも一つのポイントを含むか否かを示すために生成される。従って、一つの占有コードは８つの子ノード(ｃｈｉｌｄ ｎｏｄｅ)で表現される。それぞれの子ノードは分割された空間の占有率(ｏｃｃｕｐａｎｃｙ)を示し、子ノードは１ビットの値を有する。従って、占有コードは８ビットコードで表現される。即ち、子ノードに対応する空間に少なくとも一つのポイントが含まれていると、該当ノードは１値を有する。ノードに対応する空間にポイントが含まれていないと(ｅｍｐｔｙ)、該当ノードは０値を有する。図６に示した占有コードは００１００００１であるので、８つの子ノードのうち、３番目の子ノード及び８番目の子ノードに対応する空間はそれぞれ少なくとも一つのポイントを含むことを示している。図示したように、３番目の子ノード及び８番目の子ノードはそれぞれ８つの子ノードを有し、それぞれの子ノードは８ビットの占有コードで表現される。図面では、３番目の子ノードの占有コードが１００００１１１であり、８番目の子ノードの占有コードが０１００１１１１であることを示す。本発明によるポイントクラウドエンコーダー(例えば、演算エンコーダー４０００４)は占有コードをエントロピー符号化する。また圧縮効率を高めるために、ポイントクラウドエンコーダーは占有コードをイントラ／インターコーディングする。本発明による受信装置(例えば、受信装置１０００４又はポイントクラウドビデオデコーダー１０００６)は占有コードに基づいて八分木を再構成する。

【0075】

本発明によるポイントクラウドエンコーダー(例えば、図４のポイントクラウドエンコーダー、又は八分木分析部４０００２)は、ポイントの位置を格納するためにボクセル化及び八分木コーディングを行う。しかし、３次元空間内のポイントがいつも均一に分布していることではないので、ポイントが多く存在しない特定の領域が存在し得る。従って、３次元空間の全体に対してボクセル化を行うことは非効率的である。例えば、特定の領域にポイントがほぼ存在しないと、該当領域までボクセル化を行う必要はない。

【0076】

従って、本発明によるポイントクラウドエンコーダーは、上述した特定の領域(又は八分木のリーフノードを除いたノード)についてはボクセル化を行わず、特定の領域に含まれたポイントの位置を直接コーディングするダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行う。本発明によるダイレクトコーディングポイントの座標は、ダイレクトコーディングモード(Ｄｉｒｅｃｔ Ｃｏｄｉｎｇ Ｍｏｄｅ、ＤＣＭ)と呼ばれる。また本発明によるポイントクラウドエンコーダーは、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化(Ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)を行うことができる。ｔｒｉｓｏｕｐジオメトリ符号化はオブジェクトの表現を三角形メッシュ(ｔｒｉａｎｇｌｅ ｍｅｓｈ)のシリーズで表現するジオメトリ符号化である。従って、ポイントクラウドデコーダーはメッシュ表面からポイントクラウドを生成することができる。本発明によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に行われる。また本発明によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は八分木ジオメトリコーディング(又は八分木コーディング)と結合して行うことができる。

【0077】

ダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行うためには、ダイレクトコーディングを適用するための直接モード(ｄｉｒｅｃｔ ｍｏｄｅ)の使用オプションが活性化されている必要があり、ダイレクトコーディングを適用するノードはリーフノードではなく、特定のノード内に閾値(ｔｈｒｅｓｈｏｌｄ)以下のポイントが存在する必要がある。またダイレクトコーディングの対象となる全体ポイントの個数は所定の閾値を超えてはいけない。上記条件を満たすと、本発明によるポイントクラウドエンコーダー(又は演算エンコーダー４０００４)はポイントの位置(又は位置値)をエントロピーコーディングすることができる。

【0078】

本発明によるポイントクラウドエンコーダー(例えば、表面近似分析部４０００３)は、八分木の特定のレベルを定め(レベルは八分木の深さｄよりは小さい場合)、そのレベルからは表面モデルを使用してノード領域内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化を行うことができる(ｔｒｉｓｏｕｐモード)。本発明によるポイントクラウドエンコーダーは、ｔｒｉｓｏｕｐジオメトリ符号化を適用するレベルを指定できる。例えば、指定されたレベルが八分木の深さと同一であると、ポイントクラウドエンコーダーはｔｒｉｓｏｕｐモードで動作しない。即ち、本発明によるポイントクラウドエンコーダーは指定されたレベルが八分木の深さ値よりも小さい場合にのみｔｒｉｓｏｕｐモードで動作することができる。本発明による指定されたレベルのノードの３次元立方体領域をブロック(ｂｌｏｃｋ)と呼ぶ。一つのブロックは一つ又はそれ以上のボクセルを含む。ブロック又はボクセルはブリック(ｂｒｉｃｋ)に対応することもできる。それぞれのブロック内においてジオメトリは表面(ｓｕｒｆａｃｅ)と表現される。本発明による表面は最大１回、ブロックの各エッジ(ｅｄｇｅ)と交差することができる。

【0079】

一つのブロックは１２つのエッジを有するので、一つのブロック内に少なくとも１２つの交差点が存在する。それぞれの交差点はバーテックス(ｖｅｒｔｅｘ、頂点又は頂上)と呼ばれる。エッジに沿って存在するバーテックスは該当エッジを共有する全てのブロックのうち、そのエッジに隣接する少なくとも一つの占有ボクセル(ｏｃｃｕｐｉｅｄ ｖｏｘｅｌ)がある場合に検知される。本発明による占有ボクセルはポイントを含むボクセルを意味する。エッジに沿って検出されたバーテックスの位置は、該当エッジを共有する全てのブロックのうち、該当エッジに隣接する全てのボクセルのエッジによる平均位置である(ｔｈｅ ａｖｅｒａｇｅ ｐｏｓｉｔｉｏｎ ａｌｏｎｇ ｔｈｅ ｅｄｇｅ ｏｆ ａｌｌ ｖｏｘｅｌｓ)。

【0080】

バーテックスが検出されると、本発明によるポイントクラウドエンコーダーは、エッジの開始点(ｘ、ｙ、ｚ)、エッジの方向ベクトル(Δｘ、Δｙ、Δｚ)、バーテックス位置値(エッジ内の相対的位置値)をエントロピーコーディングする。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、本発明によるポイントクラウドエンコーダー(例えば、ジオメトリ再構成部４０００５)は、三角形再構成(ｔｒｉａｎｇｌｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)、アップ－サンプリング(ｕｐ－ｓａｍｐｌｉｎｇ)、ボクセル化過程を行って復元されたジオメトリ(再構成されたジオメトリ)を生成する。

【0081】

ブロックのエッジに位置するバーテックスはブロックを通過する表面を決定する。本発明による表面は非平面多角形である。三角形再構成の過程ではエッジの開始点、エッジの方向ベクトルとバーテックスの位置値に基づいて三角形で示される表面を再構成する。三角形再構成の過程は以下の通りである。１）丸１：各バーテックスの中心(ｃｅｎｔｒｏｉｄ)値を計算し、２）丸２：各バーテックスの値から中心値を引いた値に３）丸３：自乗を行っって、その値を全て併せた値を得る。

【0082】

【数2】

【0083】

加えられた値の最小値を求め、最小値がある軸に沿って投影(Ｐｒｏｊｅｃｔｉｏｎ)過程を行う。例えば、ｘ要素(ｅｌｅｍｅｎｔ)が最小である場合、各バーテックスをブロックの中心を基準としてｘ軸に投影し、(ｙ，ｚ)平面に投影させる。(ｙ，ｚ)平面に投影させて得た値が(ａｉ，ｂｉ)であれば、ａｔａｎ２(ｂｉ、ａｉ)によりθ値を求め、θ値を基準としてバーテックスを整列する。以下の表はバーテックスの個数によって三角形を生成するためのバーテックスの組み合わせを示している。バーテックスは１からｎまで順に整列される。以下の表は４つのバーテックスに対して、バーテックスの組み合わせによって２つの三角形が構成されることを示している。１番目の三角形は整列されたバーテックスのうち、１、２、３番目のバーテックスで構成され、２番目の三角形は整列されたバーテックスのうち、３，４，１番目のバーテックスで構成される。

【0084】

Ｔｒｉａｎｇｌｅｓ ｆｏｒｍｅｄ ｆｒｏｍ ｖｅｒｔｉｃｅｓ ｏｒｄｅｒｅｄ １，…，ｎ

【0085】

ｎ ｔｒｉａｎｇｌｅｓ

【0086】

3(1,2,3)

【0087】

4(1,2,3), (3,4,1)

【0088】

5(1,2,3), (3,4,5), (5,1,3)

【0089】

6(1,2,3), (3,4,5), (5,6,1), (1,3,5)

【0090】

7(1,2,3), (3,4,5), (5,6,7), (7,1,3), (3,5,7)

【0091】

8(1,2,3), (3,4,5), (5,6,7), (7,8,1), (1,3,5), (5,7,1)

【0092】

9(1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,1,3), (3,5,7), (7,9,3)

【0093】

10(1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,1), (1,3,5), (5,7,9), (9,1,5)

【0094】

11(1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,11), (11,1,3), (3,5,7), (7,9,11), (11,3,7)

【0095】

12(1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,11), (11,12,1), (1,3,5), (5,7,9), (9,11,1), (1,5,9)

【0096】

アップサンプリング過程は三角形のエッジに沿って中間に点を追加してボクセル化するために行われる。アップサンプリング係数(ｕｐｓａｍｐｌｉｎｇ ｆａｃｔｏｒ)とブロックの幅を基準として追加点を生成する。追加点はリファインドバーテックス(ｒｅｆｉｎｅｄ ｖｅｒｔｉｃｅ)と呼ばれる。本発明によるポイントクラウドエンコーダーはリファインドバーテックスをボクセル化することができる。またポイントクラウドエンコーダーはボクセル化された位置(又は位置値)に基づいて特質符号化を行うことができる。

【0097】

図７は本発明による隣接ノードパターンの一例を示す図である。

【0098】

ポイントクラウドビデオの圧縮効率を増加させるために、本発明によるポイントクラウドエンコーダーはコンテキスト適応演算(ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ａｒｉｔｈｍｅｔｉｃ)コーディングに基づいてエントロピーコーディングを行う。

【0099】

図１ないし図６で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダー(例えば、ポイントクラウドビデオエンコーダー１０００２、図４のポイントクラウドエンコーダー又は演算エンコーダー４０００４)は、占有コードをすぐエントロピーコーディングする。またポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダーは、現在ノードの占有コードと隣接ノードの占有率に基づいてエントロピー符号化(イントラ符号化)を行うか、又は以前フレームの占有コードに基づいてエントロピー符号化(インター符号化)を行う。本発明によるフレームは、同時間に生成されたポイントクラウドビデオの集合を意味する。本発明によるイントラ符号化／インター符号化の圧縮効率は、参照する隣接ノードの個数によって異なる。ビットが大きくなると複雑になるが、一側に傾くようにして圧縮効率を高めることができる。例えば、３－ｂｉｔ ｃｏｎｔｅｘｔを有すると、２の３乗である８つの方法でコーディングする。分けてコーディングする部分は具現の複雑度に影響を及ぼす。従って、圧縮効率と複雑度の適正水準を合わせる必要がある。

【0100】

図７は隣接ノードの占有率に基づいて占有パターンを求める過程を示す。本発明によるポイントクラウドエンコーダーは、八分木の各ノードの隣接ノードの占有率(ｏｃｃｕｐａｎｃｙ)を判断して隣接ノードパターン(ｎｅｉｇｈｂｏｒ ｐａｔｔｅｒｎ)値を得る。隣接ノードパターンは該当ノードの占有パターンを推論するために使用される。図７の左側はノードに対応するキューブ(真ん中に位置するキューブ)及び該当キューブと少なくとも一面を共有する６つのキューブ(隣接ノード)を示している。図示したノードは同じ深さのノードである。図示した数字は６つのノードとそれぞれ連関する加重値(１、２、４、８、１６、３２、など)を示す。各加重値は隣接ノードの位置によって順に付与される。

【0101】

図７の右側は隣接ノードパターン値を示す。隣接ノードパターン値は占有された隣接ノード(ポイントを有する隣接ノード)の加重値が掛けられた値の合計である。従って、隣接ノードパターン値は０から６３までの値を有する。隣接ノードパターン値が０であることは、該当ノードの隣接ノードのうち、ポイントを有するノード(占有ノード)がないことを意味する。隣接ノードパターン値が６３であることは、隣接ノードが全て占有ノードであることを意味する。図示したように、加重値１、２、４、８が付与された隣接ノードは占有ノードであるので、隣接ノードパターン値は１、２、４、８を併せた値である１５である。ポイントクラウドエンコーダーは隣接ノードパターン値によってコーディングを行うことができる(例えば、隣接ノードパターン値が６３である場合、６４つのコーディングを行う)。本発明においてポイントクラウドエンコーダーは隣接ノードパターン値を変更して(例えば、６４を１０又は６に変更するテーブルに基づく)、コーディングの複雑度を減らすことができる。

【0102】

図８は本発明によるＬＯＤごとのポイント構成の一例を示す図である。

【0103】

図１ないし図７で説明したように、特質符号化が行われる前、符号化されたジオメトリは再構成(復元)される。ダイレクトコーディングが適用された場合、ジオメトリ再構成の動作はダイレクトコーディングされたポイントの配置を変更することを含む(例えば、ダイレクトコーディングされたポイントをポイントクラウドデータの前方に配置)。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、ジオメトリ再構成の過程は三角形再構成、アップサンプリング、ボクセル化の過程を特質はジオメトリに従属するので、特質符号化は再構成されたジオメトリに基づいて行われる。

【0104】

ポイントクラウドエンコーダー(例えば、ＬＯＤ生成部４０００９)はポイントをＬＯＤごとに分類する(ｒｅｏｒｇａｎｉｚａｔｉｏｎ)。図面はＬＯＤに対応するポイントクラウドコンテンツを示す。図において左側はオリジナルポイントクラウドコンテンツを示す。図において左側から２番目は最低ＬＯＤのポイントの分布を示し、最右側は最高ＬＯＤのポイントの分布を示す。即ち、最低ＬＯＤのポイントは粗い(ｓｐａｒｓｅ)分布であり、最高ＬＯＤのポイントは細かい分布である。即ち、図面の下側に示された矢印方向に沿ってＬＯＤが増加するほどポイント間の間隔(又は距離)は短くなる。

【0105】

図９は本発明によるＬＯＤごとのポイント構成の一例を示す図である。

【0106】

図１ないし図８で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダー(例えば、ポイントクラウドビデオエンコーダー１０００２、図４のポイントクラウドエンコーダー又はＬＯＤ生成部４０００９)はＬＯＤを生成する。ＬＯＤはポイントを設定されたＬＯＤ距離値(又はユークリッド距離(Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ)のセット)によって改良レベル(ｒｅｆｉｎｅｍｅｎｔ ｌｅｖｅｌｓ)のセットで再整列して生成される。ＬＯＤ生成過程はポイントクラウドエンコーダーだけではなく、ポイントクラウドデコーダーでも行われる。

【0107】

図９の上側は３次元空間に分布されたポイントクラウドコンテンツのポイントの一例(Ｐ０～Ｐ９)を示す。図９のオリジナルオーダー(Ｏｒｉｇｉｎａｌ ｏｒｄｅｒ)はＬＯＤ生成前のポイントＰ０～Ｐ９の順を示す。図９のＬｏＤ基盤のオーダー(ＬＯＤ ｂａｓｅｄ ｏｒｄｅｒ)はＬＯＤ生成によるポイントの順を示す。ポイントはＬＯＤごとに再整列される。また高いＬＯＤは低いＬＯＤに属するポイントを含む。図９に示すように、ＬＯＤ０はＰ０、Ｐ５、Ｐ４及びＰ２を含む。ＬＯＤ１はＬＯＤ０のポイントとＰ１、Ｐ６及びＰ３を含む。ＬＯＤ２はＬＯＤ０のポイント、ＬＯＤ１のポイント及びＰ９、Ｐ８及びＰ７を含む。

【0108】

図４で説明したように、本発明によるポイントクラウドエンコーダーは予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングを選択的に又は組み合わせて行うことができる。

【0109】

本発明によるポイントクラウドエンコーダーは、ポイントに対する予測機(ｐｒｅｄｉｃｔｏｒ)を生成して各ポイントの予測特質(又は予測特質値)を設定するための予測変換コーディングを行う。即ち、Ｎ個のポイントに対してＮ個の予測機が生成される。本発明による予測機は各ポイントのＬＯＤ値とＬＯＤごとに設定された距離内に存在する隣接ポイントに対するインデックス情報及び隣接ポイントまでの距離値に基づいて加重値(＝１／距離)を計算することができる。

【0110】

本発明による予測特質(又は特質値)は、各ポイントの予測機に設定された隣接ポイントの特質(又は特質値、例えば、色相、反射率など)に各隣接ポイントまでの距離に基づいて計算された加重(又は加重値)を掛けた値の平均値で設定される。本発明によるポイントクラウドエンコーダー(例えば、係数量子化部４００１１)は、各ポイントの特質(特質値)から予測特質(特質値)を引いた残余値(ｒｅｓｉｄｕａｌｓ、残余特質、残余特質値、特質予測残余値などとも呼ばれる)を量子化(ｑｕａｔｉｚａｔｉｏｎ)及び逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)することができる。量子化過程は以下の表の通りである。

【0111】

【表1】

【0112】

【表2】

【0113】

本発明によるポイントクラウドエンコーダー(例えば、演算エンコーダー４００１２)は、各ポイントの予測機に隣接するポイントがあれば、上述したように、量子化及び逆量子化された残余値をエントロピーコーディングする。本発明によるポイントクラウドエンコーダー(例えば、演算エンコーダー４００１２)は、各ポイントの予測機に隣接するポイントがないと、上述した過程を行わず、該当ポイントの特質をエントロピーコーディングする。

【0114】

本発明によるポイントクラウドエンコーダー(例えば、リフト変換部４００１０)は、各ポイントの予測機を生成し、予測機に計算されたＬＯＤを設定及び隣接ポイントを登録し、隣接ポイントまでの距離による加重値を設定してリフト変換コーディングを行う。本発明によるリフト変換コーディングは、上述した測変換コーディングと類似するが、特質値に加重値を累積適用するという点で差がある。本発明による特質値に加重値を累積適用する過程は以下の通りである。

【0115】

１）各ポイントの加重値を貯蔵する配列ＱＷ(ＱｕａｎｔｉｚａｔｉｏｎＷｉｅｇｈｔ)を生成する。ＱＷの全ての要素の初期値は１.０である。予測機に登録された隣接ノードの予測機インデックスのＱＷ値に現在ポイントの予測機の加重値を掛けた値を加える。

【0116】

２）リフト予測過程：予測された特質値を計算するために、ポイントの特質値に加重値を掛けた値を既存の特質値から引く。

【0117】

３）アップデートウェイト(ｕｐｄａｔｅｗｅｉｇｈｔ)及びアップデートという臨時配列を生成し、臨時配列を０に初期化する。

【0118】

４）全ての予測機に対して計算された加重値に予測機インデックスに該当するＱＷに貯蔵された加重値をさらに掛けて算出された加重値をアップデートウェイト配列に隣接ノードのインデックスとして累積して合算する。アップデート配列には隣接ノードのインデックスの特質値に算出された加重値を掛けた値を累積して合算する。

【0119】

５）リフトアップデート過程：全ての予測機に対して、アップデート配列の特質値を予測機インデックスのアップデートウェイト配列の加重値で割り、割った値に再び既存の特質値を加える。

【0120】

６）全ての予測機に対して、リフトアップデート過程でアップデートされた特質値にリフト予測過程でアップデートされた(ＱＷに貯蔵された)加重値をさらに掛けて予測特質値を算出する。本発明によるポイントクラウドエンコーダー(例えば、係数量子化部４００１１)は予測特質値を量子化する。またポイントクラウドエンコーダー(例えば、演算エンコーダー４００１２)は量子化された特質値をエントロピーコーディングする。

【0121】

本発明によるポイントクラウドエンコーダー(例えば、ＲＡＨＴ変換部４０００８)は、八分木の下位レベルのノードに連関する特質を使用して上位レベルのノードの特質を予測するＲＡＨＴ変換コーディングを行う。ＲＡＨＴ変換コーディングは八分木バックワードスキャンによる特質イントラコーディングの一例である。本発明によるポイントクラウドエンコーダーは、ボクセルから全体領域にスキャンし、各ステップもぽてボクセルをもっと大きいブロックに合わせながらルートノード(ｒｏｏｔ ｎｏｄｅ)までの併合過程を繰り返して行う。本発明による併合過程は、占有ノードのみについて行われる。空ノード(ｅｍｐｔｙ ｎｏｄｅ)については併合過程が行われず、空ノードの直上位ノードについて併合過程が行われる。

【0122】

以下の式はＲＡＨＴ変換行列を示す。

【0123】

【数3】

【0124】

【数4】

【0125】

ｇＤＣ値もハイパス係数のように量子化されてエントロピーコーディングされる。

【0126】

図１０は本発明によるポイントクラウドデコーダー(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す図である。

【0127】

図１０に示したポイントクラウドデコーダーは、図１に示したポイントクラウドビデオデコーダー１０００６の一例であり、図１で説明したイントクラウドビデオデコーダー１０００６の動作などと同一又は類似する動作を行う。図示したように、ポイントクラウドデコーダーは一つ又はそれ以上のビットストリーム(ｂｉｔｓｔｒｅａｍ)に含まれたジオメトリビットストリーム(ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ)及び特質ビットストリーム(Ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍ)を受信する。ポイントクラウドデコーダーはジオメトリデコーダー(ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｅｒ)及び特質デコーダー(Ａｔｔｒｉｂｕｔｅ ｄｅｃｏｄｅｒ)を含む。ジオメトリデコーダーはジオメトリビットストリームに対してジオメトリ復号を行って復号されたジオメトリ(ｄｅｃｏｄｅｄ ｇｅｏｍｅｔｒｙ)を出力する。特質デコーダーは復号されたジオメトリ及び特質ビットストリームに基づいて特質復号を行って復号された特質(ｄｅｃｏｄｅｄ Ａｔｔｒｉｂｕｔｅs)を出力する。復号されたジオメトリ及び復号された特質はポイントクラウドコンテンツを復元(ｄｅｃｏｄｅｄ ｐｏｉｎｔ ｃｌｏｕｄ)するために使用される。

【0128】

図１１は本発明によるポイントクラウドデコーダー(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す図である。

【0129】

図１１に示したポイントクラウドデコーダーは図１０で説明したポイントクラウドデコーダーの一例であり、図１ないし図９で説明したポイントクラウドエンコーダーの符号化動作の逆過程である復号動作を行う。

【0130】

図１及び図１０で説明したように、ポイントクラウドデコーダーはジオメトリ復号及び特質復号を行う。ジオメトリ復号は特質復号よりも先に行われる。

【0131】

本発明によるポイントクラウドデコーダーは、演算デコーダー(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅ)１１０００、八分木合成部(ｓｙｎｔｈｅｓｉｚｅ ｏｃｔｒｅｅ)１１００１、表面近似合成部(ｓｙｎｔｈｅｓｉｚｅ ｓｕｒｆａｃｅ ａｐｐｒｏｘｉｍａｔｉｏｎ)１１００２、ジオメトリ再構成部(ｒｅｃｏｎｓｔｒｕｃｔ ｇｅｏｍｅｔｒｙ)１１００３、座標系逆変換部(ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｏｒｄｉｎａｔｅｓ)１１００４、演算デコーダー(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅ)１１００５、逆量子化部(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚｅ)１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部(ｇｅｎｅｒａｔｅ ＬＯＤ)１１００８、逆リフト部(Ｉｎｖｅｒｓｅ ｌｉｆｔｉｎｇ)１１００９及び／又は色逆変換部(ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｌｏｒｓ)１１０１０を含む。

【0132】

演算デコーダー１１０００、八分木合成部１１００１、表面近似合成部１１００２、ジオメトリ再構成部１１００３及び座標系逆変換部１１００４はジオメトリ復号を行う。本発明によるジオメトリ復号はダイレクトコーディング(ｄｉｒｅｃｔ ｃｏｄｉｎｇ)及びｔｒｉｓｏｕｐジオメトリ復号(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｉｎｇ)を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ復号は選択的に適用される。またジオメトリ復号は上記の例示に限られず、図１ないし図９で説明したジオメトリ符号化の逆過程で行われる。

【0133】

本発明による演算デコーダー１１０００は、受信したジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダー１１０００の動作は演算エンコーダー４０００４の逆過程に対応する。

【0134】

本発明による八分木合成部１１００１は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を生成する。占有コードに関する具体的な説明は図１ないし図９に説明した通りである。

【0135】

本発明による表面近似合成部１１００２は、ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、復号されたジオメトリ及び／又は生成された八分木に基づいて表面を合成する。

【0136】

本発明によるジオメトリ再構成部１１００３は、表面及び／又は復号されたジオメトリに基づいてジオメトリを再生成する。図１ないし図９で説明したように、ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に適用される。従って、ジオメトリ再構成部１１００３はダイレクトコーディングが適用されたポイントの位置情報を直接持ってきて追加する。また、ｔｒｉｓｏｕｐジオメトリ符号化が適用される場合、ジオメトリ再構成部１１００３はジオメトリ再構成部４０００５の再構成動作、例えば、三角形再構成、アップサンプリング、ボクセル化動作を行ってジオメトリを復元する。具体的な内容は図６で説明した通りであるので省略する。復元されたジオメトリは特質を含まないポイントクラウドピクチャ又はフレームを含む。

【0137】

本発明による座標系逆変換部１１００４は復元されたジオメトリに基づいて座標系を変換してポイントの位置を得る。

【0138】

演算デコーダー１１００５、逆量子化部１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９及び／又は色逆変換部１１０１０は、図１０で説明した特質復号を行う。本発明による特質復号は、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)復号、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)復号、及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ(Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))復号を含む。上記３つの復号は選択的に使用されるか、又は一つ又はそれ以上の復号の組み合わせが使用される。また本発明による特質復号は上述した例示に限られない。

【0139】

本発明による演算デコーダー１１００５は、特質ビットストリームを演算コーディングに復号する。

【0140】

本発明による逆量子化部１１００６は、復号された特質ビットストリーム又は復号結果確保した特質に関する情報を逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)して、逆量子化された特質(又は特質値)を出力する。逆量子化はポイントクラウドエンコーダーの特質符号化に基づいて選択的に適用される。

【0141】

本発明においてＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。上述したように、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、ポイントクラウドエンコーダーの符号化によってそれに対応する復号動作を選択的に行う。

【0142】

本発明による色逆変換部１１０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色逆変換部１１０１０の動作はポイントクラウドエンコーダーの色変換部４０００６の動作に基づいて選択的に行われる。

【0143】

図１１のポイントクラウドデコーダーのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図１１のポイントクラウドデコーダーのエレメント動作及び／又は機能のうちのいずれかを行う。また、一つ又はそれ以上のプロセッサは、図１１のポイントクラウドデコーダーのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行する。

【0144】

図１２は本発明による送信装置の一例を示す。

【0145】

図１２に示した送信装置は、図１の送信装置１００００(又は図４のポイントクラウドエンコーダー)の一例である。図１２に示した送信装置は、図１ないし図９で説明したポイントクラウドエンコーダーの動作及び符号化方法と同一又は類似する動作及び方法のうちのいずれかを行う。本発明による送信装置は、データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５、演算コーダー１２００６、メタデータ処理部１２００７、色相変換処理部１２００８、特質変換処理部(又は属性変換処理部)１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０、演算コーダー１２０１１及び／又は送信処理部１２０１２を含む。

【0146】

本発明によるデータ入力部１２０００はポイントクラウドデータを受信又は獲得する。データ入力部１２０００はポイントクラウドビデオ獲得部１０００１の動作及び／又は獲得方法(又は図２に示した獲得過程２００００)と同一又は類似する動作及び／又は獲得方法を行う。

【0147】

データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５及び演算コーダー１２００６はジオメトリ符号化を行う。本発明によるジオメトリ符号化は、図１ないし図９で説明したジオメトリ符号化と同一又は類似するので、具体的な説明は省略する。

【0148】

本発明による量子化処理部１２００１は、ジオメトリ(例えば、ポイントの位置値、又はポジション値)を量子化する。量子化処理部１２００１の動作及び／又は量子化は、図４に示した量子化部４０００１の動作及び／又は量子化と同一又は類似する。具体的な説明は図１ないし図９に説明した通りである。

【0149】

本発明によるボクセル化処理部１２００２は、量子化されたポイントの位置値をボクセル化する。ボクセル化処理部１２０００２は図４に示した量子化部４０００１の動作及び／又はボクセル化過程と同一又は類似する動作及び／又は過程を行う。具体的な説明は図１ないし図９に説明した通りである。

【0150】

本発明による八分木占有コード生成部１２００３は、ボクセル化されたポイントの位置を八分木構造に基づいて八分木コーディングを行う。八分木占有コード生成部１２００３は占有コードを生成する。八分木占有コード生成部１２００３は図４及び図６で説明したポイントクラウドエンコーダー(又は八分木分析部４０００２)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。

【0151】

本発明による表面モデル処理部１２００４は、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセル基盤に再構成するｔｒｉｓｏｕｐジオメトリ符号化を行う。表面モデル処理部１２００４は図４に示したポイントクラウドエンコーダー(例えば、表面近似分析部４０００３)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。

【0152】

本発明によるイントラ／インターコーディング処理部１２００５は、ポイントクラウドデータをイントラ／インターコーディングする。イントラ／インターコーディング処理部１２００５は、図７で説明したイントラ／インターコーディングと同一又は類似するコーディングを行う。具体的な説明は図７に説明した通りである。本発明においてイントラ／インターコーディング処理部１２００５は演算コーダー１２００６に含まれる。

【0153】

本発明による演算コーダー１２００６は、ポイントクラウドデータの八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。演算コーダー１２００６は演算エンコーダー４０００４の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。

【0154】

本発明によるメタデータ処理部１２００７は、ポイントクラウドデータに関するメタデータ、例えば、設定値などを処理してジオメトリ符号化及び／又は特質符号化などの必要な処理過程に提供する。また本発明によるメタデータ処理部１２００７は、ジオメトリ符号化及び／又は特質符号化に関連するシグナリング情報を生成及び／又は処理する。本発明によるシグナリング情報はジオメトリ符号化及び／又は特質符号化とは別途に符号化処理される。また本発明によるシグナリング情報はインターリービングされることもある。

【0155】

色相変換処理部１２００８、特質変換処理部１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０及び演算コーダー１２０１１は特質符号化を行う。本発明による特質符号化は、図１ないし図９で説明した特質符号化と同一又は類似するので具体的な説明は省略する。

【0156】

本発明による色相変換処理部１２００８は、特質に含まれた色相値を変換する色相変換コーディングを行う。色相変換処理部１２００８は再構成されたジオメトリに基づいて色相変換コーディングを行う。再構成されたジオメトリに関する説明は、図１ないし図９に説明した通りである。また図４で説明した色変換部４０００６の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。

【0157】

本発明による特質変換処理部１２００９は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。特質変換処理部１２００９は図４に説明した特質変換部４０００７の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。本発明による予測／リフト／ＲＡＨＴ変換処理部１２０１０は変換された特質をＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングのうちのいずれか一つ又は組み合わせてコーディングする。予測／リフト／ＲＡＨＴ変換処理部１２０１０は図４に説明したＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９及びリフト変換部４００１０の動作と同一又は類似する動作のうちのいずれかを行う。また、予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングに関する説明は図１ないし図９に説明した通りであるので、具体的な説明は省略する。

【0158】

本発明による演算コーダー１２０１１は、コーディングされた特質を演算コーディングに基づいて符号化する。演算コーダー１２０１１は演算エンコーダー４０００１２の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。

【0159】

本発明による送信処理部１２０１２は、符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を含む各ビットストリームを送信するか、又は符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を一つのビットストリームで構成して送信する。本発明による符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報が一つのビットストリームで構成された場合、ビットストリームは一つ又はそれ以上のサブビットストリームを含む。本発明によるビットストリームはシーケンスレベルのシグナリングのためのＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、特質情報コーディングのシグナリングのためのＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、タイルレベルのシグナリングのためのＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を含むシグナリング情報及びスライスデータを含む。スライスデータは一つ又はそれ以上のスライスに関する情報を含む。本発明による一つのスライスは一つのジオメトリビットストリーム(Ｇｅｏｍ０⁰)及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ０⁰、Ａｔｔｒ１⁰)を含む。

【0160】

スライス(ｓｌｉｃｅ)とは、コーディングされたポイントクラウドフレームの全体又は一部を示すシンタックスエレメントのシリーズをいう。

【0161】

本発明によるＴＰＳは一つ又はそれ以上のタイルに対してそれぞれのタイルに関する情報(例えば、ｂｏｕｎｄｉｎｇ ｂｏｘの座標値情報及び高さ／サイズ情報など)を含む。ジオメトリビットストリームはヘッダとペイロードを含む。本発明によるジオメトリビットストリームのヘッダはＧＰＳに含まれたパラメータセットの識別情報(ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、タイル識別子(ｇｅｏｍ_ｔｉｌｅ_ｉｄ)、スライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)及びペイロードに含まれたデータに関する情報などを含む。上述したように、本発明によるメタデータ処理部１２００７はシグナリング情報を生成及び／又は処理して送信処理部１２０１２に送信することができる。本発明において、ジオメトリ符号化を行うエレメント及び特質符号化を行うエレメントは、点線処理したように、相互データ／情報を共有することができる。本発明による送信処理部１２０１２は送信機１０００３の動作及び／又は送信方法と同一又は類似する動作及び／又は送信方法を行う。具体的な説明は図１及び図２に説明した通りであるので、省略する。

【0162】

図１３は本発明による受信装置の一例を示す。

【0163】

図１３に示した受信装置は、図１の受信装置１０００４(又は図１０及び図１１のポイントクラウドデコーダー)の一例である。図１３に示した受信装置は、図１ないし図１１で説明したポイントクラウドデコーダーの動作及び復号方法と同一又は類似する動作及び方法のうちのいずれかを行う。

【0164】

本発明による受信装置は、受信部１３０００、受信処理部１３００１、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダー１３００２、占有コード(Ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)基盤の八分木再構成処理部１３００３、表面モデル処理部(三角形再構成、アップサンプリング、ボクセル化)１３００４、逆(ｉｎｖｅｒｓｅ)量子化処理部１３００５、メタデータパーサ１３００６、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダー１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９、色相逆変換処理部１３０１０及び／又はレンダラー１３０１１を含む。本発明による復号の各構成要素は本発明による符号化の構成要素の逆過程を行う。

【0165】

本発明による受信部１３０００は、ポイントクラウドデータを受信する。受信部１３０００は図１の受信機１０００５の動作及び／又は受信方法と同一又は類似する動作及び／又は受信方法を行う。具体的な説明は省略する。

【0166】

本発明による受信処理部１３００１は受信したデータからジオメトリビットストリーム及び／又は特質ビットストリームを得る。受信処理部１３００１は受信部１３０００に含まれる。

【0167】

演算デコーダー１３００２、占有コード基盤の八分木再構成処理部１３００３、表面モデル処理部１３００４及び逆量子化処理部１３００５はジオメトリ復号を行う。本発明によるジオメトリ復号は図１ないし図１０で説明したジオメトリ復号と同一又は類似するので、具体的な説明は省略する。

【0168】

本発明による演算デコーダー１３００２はジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダー１３００２は演算デコーダー１１０００の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。

【0169】

本発明による占有コード基盤の八分木再構成処理部１３００３は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を再構成する。占有コード基盤の八分木再構成処理部１３００３は、八分木合成部１１００１の動作及び／又は八分木生成方法と同一又は類似する動作及び／又は方法を行う。本発明による表面モデル処理部１３００４はｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、表面モデル方式に基づいてｔｒｉｓｏｕｐジオメトリ復号及びそれに関連するジオメトリ再構成(例えば、三角形再構成、アップサンプリング、ボクセル化)を行う。表面モデル処理部１３００４は表面近似合成部１１００２及び／又はジオメトリ再構成部１１００３の動作と同一又は類似する動作を行う。

【0170】

本発明による逆量子化処理部１３００５は復号されたジオメトリを逆量子化する。

【0171】

本発明によるメタデータパーサ１３００６は受信したポイントクラウドデータに含まれたメタデータ、例えば、設定値などを分析する。メタデータパーサ１３００６はメタデータをジオメトリ復号及び／又は特質復号に伝達する。メタデータに関する具体的な説明は図１２で説明した通りであるので省略する。

【0172】

演算デコーダー１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９及び色相逆変換処理部１３０１０は特質復号を行う。特質復号は図１なしい図１０で説明した特質復号と同一又は類似するので、具体的な説明は省略する。

【0173】

本発明による演算デコーダー１３００７は、特質ビットストリームを演算コーディングに復号する。演算デコーダー１３００７は再構成されたジオメトリに基づいて特質ビットストリームの復号を行う。演算デコーダー１３００７は演算デコーダー１１００５の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。

【0174】

本発明による逆量子化処理部１３００８は、復号された特質ビットストリームを逆量子化する。逆量子化処理部１３００８は逆量子化部１１００６の動作及び／又は逆量子化方法と同一又は類似する動作及び／又は方法を行う。

【0175】

本発明による予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９の動作及び／又は復号と同一又は類似する動作及び／又は復号のうちのいずれかを行う。本発明による色相逆変換処理部１３０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色相逆変換処理部１３０１０は色逆変換部１１０１０の動作及び／又は逆変換コーディングと同一又は類似する動作及び／又は逆変換コーディングを行う。本発明によるレンダラー１３０１１はポイントクラウドデータをレンダリングする。

【0176】

図１４は本発明によるポイントクラウドデータの送受信方法／装置に連動可能な構造の一例を示す図である。

【0177】

図１４の構造はサーバー１４６０、ロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０、家電１４５０及び／又はＨＭＤ１４７０のうちのいずれかがクラウドネットワーク１４１０に連結された構成を示している。ロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０又は家電１４５０などは装置とも呼ばれる。またＸＲ装置１４３０は本発明によるポイントクラウドデータ(ＰＣＣ)装置に対応するか又はＰＣＣ装置に連動する。

【0178】

クラウドネットワーク１４００はクラウドコンピューティングインフラの一部を構成するか、又はクラウドコンピューティングインフラ内に存在するネットワークを意味する。ここで、クラウドネットワーク１４００は３Ｇネットワーク、４Ｇ又はＬＴＥネットワーク又は５Ｇネットワークなどを用いて構成される。

【0179】

サーバー１４６０はロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０、家電１４５０及び／又はＨＭＤ１４７０のいずれかにクラウドネットワーク１４００により連結され、連結された装置１４１０～１４７０のプロセシングの少なくとも一部を助けることができる。

【0180】

ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)１４７０は本発明によるＸＲデバイス及び／又はＰＣＣデバイスが具現されるタイプのうちのいずれかを示す。本発明によるＨＭＤタイプのデバイスは、コミュニケーションズユニット、コントロールユニット、メモリユニット、Ｉ／Ｏユニット、センサユニット及びパワー供給ユニットなどを含む。

【0181】

以下、上記技術が適用される装置１４１０～１４５０の様々な本発明について説明する。ここで、図１４に示した装置１４１０～１４５０は上述した本発明によるポイントクラウドデータ送受信装置に連動／結合することができる。

【0182】

＜ＰＣＣ＋ＸＲ＞

【0183】

ＸＲ／ＰＣＣ装置１４３０はＰＣＣ及び／又はＸＲ(ＡＲ＋ＶＲ)技術が適用されて、ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)、車両に備えられたＨＵＤ(Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ)、ＴＶ、携帯電話、スマートフォン、コンピューター、ウェアラブルデバイス、家電機器、デジタル看板、車両、固定型ロボットや移動型ロボットなどに具現されることもできる。

【0184】

ＸＲ／ＰＣＣ装置１４３０は、様々なセンサにより又は外部装置から獲得した３次元ポイントクラウドデータ又はイメージデータを分析して３次元ポイントに対する位置データ及び特質データを生成することにより周辺空間又は現実オブジェクトに関する情報を得て、出力するＸＲ客体をレンダリングして出力することができる。例えば、ＸＲ／ＰＣＣ装置１４３０は認識された物体に関する追加情報を含むＸＲ客体を該当認識された物体に対応して出力することができる。

【0185】

＜ＰＣＣ＋ＸＲ＋モバイルフォン＞

【0186】

ＸＲ／ＰＣＣ装置１４３０はＰＣＣ技術が適用されてモバイルフォン１４４０などで具現される。

【0187】

モバイルフォン１４４０はＰＣＣ技術に基づいてポイントクラウドコンテンツを復号し、ディスプレイする。

【0188】

＜ＰＣＣ＋自立走行＋ＸＲ＞

【0189】

自律走行車両１４２０はＰＣＣ技術及びＸＲ技術が適用されて、移動型ロボット、車両、無人飛行体などで具現される。

【0190】

ＸＲ／ＰＣＣ技術が適用された自律走行車両１４２０は、ＸＲ映像を提供する手段を備えた自律走行車両やＸＲ映像内での制御／相互作用の対象となる自律走行車両などを意味する。特に、ＸＲ映像内での制御／相互作用の対象となる自律走行車両１４２０はＸＲ装置１４３０とは区分されて互いに連動される。

【0191】

ＸＲ／ＰＣＣ映像を提供する手段を備えた自律走行車両１４２０は、カメラを含むセンサからセンサ情報を得、得たセンサ情報に基づいて生成されたＸＲ／ＰＣＣ映像を出力する。例えば、自律走行車両１４２０はＨＵＤを備えてＸＲ／ＰＣＣ映像を出力することにより、搭乗者に現実オブジェクト又は画面内のオブジェクトに対応するＸＲ／ＰＣＣ客体を提供することができる。

【0192】

この時、ＸＲ／ＰＣＣ客体がＨＵＤに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が搭乗者の視線が向く実際の客体にオーバーラップされるように出力される。反面、ＸＲ／ＰＣＣ客体が自律走行車両内に備えられるディスプレイに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が画面内の客体にオーバーラップされるように出力される。例えば、自律走行車両１２２０は車路、他の車両、信号灯、交通表示板、二輪車、歩行者、建物などのような客体に対応するＸＲ／ＰＣＣ客体を出力することができる。

【0193】

本発明によるＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ)技術、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ)技術、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ)技術及び／又はＰＣＣ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)技術は、様々なデバイスに適用可能である。

【0194】

即ち、ＶＲ技術は現実の客体や背景などをＣＧ映像のみで提供するディスプレイ技術である。反面、ＡＲ技術は実際物事の映像上に仮想のＣＧ映像を共に見せる技術である。また、ＭＲ技術は現実世界に仮想客体を混ぜて見せるという点では上記ＡＲ技術と類似する。しかし、ＡＲ技術では現実の客体とＣＧ映像からなる仮想の客体の区別が明らかであり、現実客体を補完する形態で仮想の客体を使用する反面、ＭＲ技術では仮想の客体と現実の客体が同様の性格と見なされるという点でＡＲ技術とは区別される。より具体的には、例えば、上記ＭＲ技術が適用されたことがホログラムサービスである。

【0195】

但し、最近にはＶＲ、ＡＲ、ＭＲ技術を明確に区別するよりは、ＸＲ(ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ)技術とも呼ぶ。よって、本発明の本発明はＶＲ、ＡＲ、ＭＲ、ＸＲ技術のいずれにも適用可能である。かかる技術はＰＣＣ、Ｖ－ＰＣＣ、Ｇ－ＰＣＣ技術基盤の符号化／復号が適用される。

【0196】

本発明によるＰＣＣ方法／装置は自律走行サービスを提供する車両に適用できる。

【0197】

自律走行サービスを提供する車両はＰＣＣデバイスと有無線通信可能に連結される。

【0198】

本発明によるポイントクラウドデータ(ＰＣＣ)送受信装置は、車両と有無線通信可能に連結された場合、自律走行サービスと共に提供できるＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理して車両に送信することができる。またポイントクラウドデータ送受信装置車両に搭載された場合は、ポイントクラウド送受信装置はユーザインターフェース装置で入力されたユーザ入力信号によってＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理してユーザに提供することができる。本発明による車両又はユーザインターフェース装置はユーザ入力信号を受信する。本発明によるユーザ入力信号は自律走行サービスを指示する信号を含む。

【0199】

図１ないし図１４で説明したように、ポイントクラウドデータはポイントの集合からなり、各ポイントはジオメトリデータ(ジオメトリ情報)と特質データ(特質情報)を有する。ジオメトリデータは各ポイントの３次元位置情報である(例えば、ｘ、ｙ、ｚ軸の座標値)。即ち、各ポイントの位置は３次元空間を表す座標系上のパラメータ(例えば、空間を表す３つの軸であるＸ軸、Ｙ軸及びＺ軸のパラメータ(ｘ,ｙ,ｚ))で表現される。また特質情報はポイントの色相(ＲＧＢ,ＹＵＶなど)、反射度(ｒｅｆｌｅｃｔａｎｃｅ)、法線(ｎｏｒｍａｌ ｖｅｃｔｏｒｓ)、透明度(ｔｒａｎｓｐａｒｅｎｃｙ)などを意味する。特質情報はスカラー又はベクトルの形態で表現される。

【0200】

本発明によれば、ポイントクラウドデータはポイントクラウドデータの種類及び取得方法によって、的ポイントクラウドデータのカテゴリー１、動的ポイントクラウドデータのカテゴリー２、及び動的に動きながら得たカテゴリー３に分類される。カテゴリー１はオブジェクトや空間に対してポイント密度が高い単一フレームのポイントクラウドで構成される。カテゴリー３のデータは移動しながら得られた多数のフレームを有するフレーム基盤のデータ、及び大規模空間に対してライダー(ＬｉＤＡＲ)センサーから得られたポイントクラウドと２Ｄ映像から得られた色相映像が整合した単一フレームの融合(ｆｕｓｅｄ)データに区分される。

【0201】

本発明によれば、多数のフレームを有するフレーム基盤のポイントクラウドデータのように時間に従うマルチフレーム(ｍｕｌｔｉｐｌｅ ｆｒａｍｅｓ)を有する３次元ポイントクラウドデータを効率的に圧縮するために、インター予測(ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ)コーディング／復号が使用される。インター予測コーディング／復号はジオメトリ情報及び／又は特質情報に適用できる。インター予測は画面間予測又はフレーム間予測であり、イントラ予測は画面内予測である。

【0202】

以下、インター予測技術に関連する動き検出(ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ)方法について説明する。

【0203】

インター予測では符号化されたフレームから現在フレーム(ｃｕｒｒｅｎｔ ｆｒａｍｅ)との類似度が高い情報を活用して現在フレームの全部又は一部を予測する。このとき、類似度を判断する単位を予測ユニット(Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ,ＰＵ)という。インター予測は時間に応じて得られた複数のフレームの間の動きを用いる予測方式であり、かかる技術を動きベクトル検出(ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｅｓｔｉｍａｔｉｏｎ)又は動き検出(ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ)という。

【0204】

動き検出はフレーム全体を回転、移動、拡大及び／又は縮小する方式のグローバル動き検出(ｇｌｏｂａｌ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ)と、フレームの一部の動きを予測するローカル動き検出(ｌｏｃａｌ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ)に区分される。

【0205】

動き検出は現在フレームの空間を予測ユニット(ＰＵ)に分割して該当領域に含まれているポイントを抽出し、対応する参照フレームの該当領域に含まれているポイントを抽出した後、抽出された現在フレームのポイントと抽出された参照フレームのポイントの間の組み合わせの距離(ｄｉｓｔａｎｃｅ)及び／又はベクトル差(ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ)を計算する。このとき、特定値よりも小さいベクトル差をターゲットベクトル差(ｔａｒｇｅｔ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ)として設定する。

【0206】

また、互いに方向の異なる多数のユニットベクトル(ｕｎｉｔ ｖｅｃｔｏｒ)からなるユニットベクトルの集合に対して、任意の値であるアマウント(ａｍｏｕｎｔ)を各ユニットベクトルごとにかけることによってターゲットベクトル差と最も近い(類似する)ベクトル(ユニットベクトルｘアマウント)を探索することができる。

【0207】

このとき、アマウントが初期の任意値から所定の最小値まで段階的に小さくなりつつ、上述した類似ベクトル探索過程が複数回繰り返される。探索過程の繰り返しにより最終的に探索されたベクトルがベストベクトルとして設定され、ＲＤＯ(Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ)方式で費用(ｃｏｓｔ)が算出される。

【0208】

予測ユニット(ＰＵ)は多数のサブ予測ユニット(ｓｕｂ－ＰＵ)に分割でき、分割されたサブ予測ユニット(ｓｕｂ－ＰＵ)で上述したベストベクトル探索過程が行われる。分割されたサブ予測ユニット(ｓｕｂ－ＰＵ)のＲＤＯ ｃｏｓｔを計算して算出した合計が予測ユニット(ＰＵ)のＲＤＯ ｃｏｓｔ値よりも小さいと、該当予測ユニット(ＰＵ)はサブ予測ユニットに最終的に分割され、そうではないと、該当予測ユニット(ＰＵ)のベストベクトルがシグナリングされる。

【0209】

一方、この明細書で開示する本発明はポイントクラウドデータの符号化及び復号に関し、複数のフレーム間の連関性を探索し、符号化／復号時の参照フレームのコンテキストを連続して符号化／復号することにより、ポイントクラウドデータの送受信効率を向上させる装置／方法である。本発明によるポイントクラウドデータの送受信装置／方法はフレーム間の予測に関連する情報を用いてビットストリームの圧縮効率を向上させる。

【0210】

図１５は本発明によるポイントクラウドデータのＧｏＦ(Ｇｒｏｕｐ ｏｆ Ｆｒａｍｅｓ)の例示である。ＧｏＦ(Ｇｒｏｕｐ ｏｆ Ｆｒａｍｅｓ)はフレームのグループを示し、ＧｏＰ(Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ)とも称される。ＧｏＦを構成するフレームはイントラフレーム(ｉｎｔｒａ ｆｒａｍｅ，Ｉ ｆｒａｍｅ)、予測フレーム(ｐｒｅｄｉｃｔｅｄ ｆｒａｍｅ，Ｐ ｆｒａｍｅ)及び／又は両方向予測フレーム(ｂｉｄｉｒｅｃｔｉｏｎａｌ ｆｒａｍｅ，Ｂ ｆｒａｍｅ)を含む。イントラフレーム(Ｉフレーム)は他のフレームを参照しないフレームである。ＩフレームはＧｏＦ内での最初のフレームであるので、以前のフレームがなく、他のフレームを参照しない。予測フレーム(Ｐフレーム)は以前のＩフレーム又は他のＰフレームを参照して予測されたフレームである。両方向予測フレーム(Ｂフレーム)は両方向にＩフレーム又はＰフレームを参照して予測されたフレームである。例えば、０番目ないし３番目のフレームのうち、２番目のフレームが１番目のフレームと３番目のフレームを全て参照する場合、２番目のフレームは両方向予測フレームに該当する。ＧｏＦはＩフレーム、Ｐフレーム及び／又はＢフレームで構成され、Ｉフレームから始まるＧｏＦグループは様々な形態で定義できる。ここで、参照フレームはインター予測のために参照されたフレームである。ＧｏＦはＩフレームから始まるフレームのグループであって符号化／復号の単位になる。

【0211】

本発明によるポイントクラウドデータ送信装置／受信装置は、フレーム間の連関性を探索してフレーム間の予測時の重複情報をシグナリングに代替することができ、類似するジオメトリ／特質コンテキストを有するフレームのインデックス情報を用いてコンテキスト連続フラグを使用することができる。

【0212】

ポイントクラウドデータの圧縮方法にはイントラフレームコーディング(ｉｎｔｒａ ｆｒａｍｅ ｃｏｄｉｎｇ)及びインターフレームコーディング(ｉｎｔｅｒ ｆｒａｍｅ ｃｏｄｉｎｇ)の２つの方法がある。ポイントクラウドデータのうち、カテゴリー３はインターフレームコーディングに適用できるデータであって、連続するフレームの集合からなる。かかるフレームの集合をＧｏＦ(Ｇｒｏｕｐ ｏｆ Ｆｒａｍｅ)と定義し、ＧｏＦは定義方法によってＩＰＰＰ，ＩＰＰＢＰＰ，ＩＢＢＰＢＢなどの形態になり、符号化又は復号される。

【0213】

例えば、図１５はＩＰＰＰ形態のＧｏＦを示している。図１５に示した２つのＧｏＦのうち、左側のＧｏＦはＰフレームが直前のフレームを参照している。即ち、１番目のＰフレームは０番目のＩフレームを参照し、２番目のＰフレームは１番目のＰフレームを参照する。図１５の右側に示すＧｏＦは１番目ないし３番目のＰフレームが０番目のＩフレームを参照することを示している。即ち、Ｐフレームは以前のフレームを参照し、最初のＩフレームを参照することができる。又はＰフレームはフレームインデックス情報によりＩフレーム又は特定のＰフレームを参照することができる。

【0214】

ポイントクラウドデータはポイントの集合からなり、各ポイントはジオメトリ情報と特質情報を含む。ポイントクラウドデータの符号化(ｅｎｃｏｄｉｎｇ)過程はジオメトリを圧縮し、圧縮により変更された位置情報で再構成されたジオメトリ(ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｇｅｏｍｅｔｒｙ、復号されたジオメトリ)に基づいて特質情報を圧縮する過程で構成される。ポイントクラウドデータ復号(ｄｅｃｏｄｉｎｇ)は符号化されたジオメトリビットストリームと特質ビットストリームが送信されてジオメトリを先に復号し、復号により再構成されたジオメトリに基づいて特質情報を復号する過程により進行される。

【0215】

本発明によるポイントクラウドデータ送信装置／受信装置は、ポイントクラウドデータ符号化／復号時、コンテキスト連続性の適用有無などの関連情報のシグナリング方法を提案する。本発明によるポイントクラウドデータ送信装置／受信装置は、フレーム間の連関性を探索して連関性のある参照フレームを導き出し、ＧｏＦ内で参照フレームのコンテキストの連続性に基づいてポイントクラウドデータを符号化／復号する。また本発明によれば、コンテキストの連続性を用いたフレーム間の符号化／復号方法として、参照フレームのインデックスをシグナリングする方案が提示される。本発明によるポイントクラウドデータ送信装置／受信装置は、ポイントクラウドデータの圧縮効率を高めるためのＧｏＦフレーム構造を提案し、ＧｏＦ内でフレーム間の連関性を探索することを提案する。また本発明ではＧｏＦ内で参照フレームのコンテキスト連続性を適用したデータの符号化／復号を提案し、コンテキスト連続性の適用に関連して参照フレームのインデックスをシグナリングする方案を提案する。ここで、参照フレームは現在フレームとの連関性があるフレームを示す。

【0216】

ＧｏＦのフレームに対してコンテキスト連続性を適用するとは、符号化／復号時に連関性のある参照フレームのコンテキスト情報(コンテキストモデル(ｃｏｎｔｅｘｔ ｍｏｄｅｌ)又は算術符号化確率モデル(ａｒｉｔｈｍｅｔｉｃ ｍｏｄｅｌ)、確率区間情報)を連続して使用することを意味する。本発明によるポイントクラウドデータ送信装置／受信装置は、ポイントクラウドデータの符号化／復号時に現在フレームと他のフレームの間の連関性を探索して、連関性のあるフレーム、即ち、参照フレームのコンテキストを連続して使用することができる。コンテキストの連続性を利用できるか否か(フレーム間連関性があるか否か)は、ＧｏＦ構造の内部又は外部で定義される。本発明による送信装置／受信装置は、現在フレームの符号化／復号時に現在フレームと連関性のある参照フレームがある場合、参照フレームのコンテキスト情報を用いて現在フレームを符号化／復号することができる。即ち、コンテキスト連続性を適用して現在フレームを符号化／復号することができる。

【0217】

以下、上述した符号化について説明する。

【0218】

算術符号化は無損失圧縮に使用されるエントロピー符号化アルゴリズムの１つである。算術符号化は全体メッセージを１つの実数ｎに置き換えることができる。

【0219】

算術符号化は０.０～１.０区間をメッセージに出現する記号の出現確率に基づいて分けることができる。例えば、メッセージにおいて"ａ"記号の出現確率が６０％，“ｂ"記号の出現確率が２０％，"ｃ"記号の出現確率が２０％である場合、最初の段階で０.０～１.０区間は"ａ"記号の出現確率を示す０.０～０.６区間、"ｂ"記号の出現確率を示す０.６～０.８区間、そして"ｃ"記号の出現確率を示す０.８～１.０区間に分けられる。このとき、０.０～１.０のような確率区間を分ける比率を確率モデル(又は確率モード)又はコンテキストモデル(ｃｏｎｔｅｘｔ ｍｏｄｅｌ)という。

【0220】

例えば、記号"ａｂｃ"を算術符号化する場合、最初に符号化する記号が"ａ"であるので、０.０～０.６区間に該当し、次の段階で"ａ"に該当する０.０～０.６区間は再度６０％，２０％，２０％の比率で分けられる。したがって、０.０～０.６区間は０.０～０.３６区間、０.３６～０.４８区間、及び０.４８～０.６区間に分けられる。次に、２番目に符号化する記号が"ｂ"であるので、０.３６～０.４８区間に該当する。"ｂ"に該当する０.３６～０.４８区間を再度６０％，２０％，２０％の比率で分けると、０.３６～０.４３２区間、０.４３２～０.４５６区間及び０.４５６～０.４８区間に分けられる。その後、３番目に符号化する記号は"ｃ"であるので、０.４５６～０.４８区間に該当する。即ち、算術符号化は符号化する記号に対応する区間を確率モデル又はコンテキストモデルによって再度分け、その後に符号化する記号によって分けられた区間のいずれかを選択する。この過程を繰り返すことにより算術符号化が行われる。

【0221】

上記の例において、メッセージ"ａｂｃ"の符号化後に導き出された確率区間は０.４５６～０.４８区間に該当する。よって、メッセージ"ａｂｃ"は該当区間内の実数値に符号化される。例えば、実数０.４７は"ａｂｃ"を示す。０.４７値は本発明による復号器に伝達され、復号器はコンテキストモデルによって分けられた確率区間において０.４７の値がどの確率区間に属するかを確認することにより該当確率区間に対応する記号にメッセージを復号することができる。

【0222】

確率モデル(又は確率モード)又はコンテキストモデルは、算術符号化アルゴリズムによって初期に定められたモデルが使用されるか、又は符号化／復号時の記号の出現確率を探索して設定されたモデルである。確率モデル又はコンテキストモデルは符号化／復号の過程でアップデートすることができる。

【0223】

本発明によるポイントクラウドデータ送信装置／受信装置においてフレームの符号化／復号時にコンテキスト連続性を適用するとは、参照フレームを算術符号化(ａｒｉｓｍｅｔｉｃ ｃｏｄｉｎｇ)して算出した確率区間に連続して現在フレームを符号化することを示す。例えば、参照フレームを算術符号化しながら最後に導き出された確率区間が０.４５６～０.４８区間である場合、該当０.４５６～０.４８区間を再度コンテキストモデル又は確率モデルによって分けて現在フレームを連続して符号化することができる。即ち、フレームごとに確率区間又はコンテキストモデルが初期化されることではなく、連関性探索によって導き出された参照フレームの確率区間に連続して現在フレームを符号化／復号する。

【0224】

本発明によるポイントクラウドデータの送信装置／受信装置は、符号化／復号時、ＣＡＢＡＣ(ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ)を使用する。フレーム算術符号化に使用するコンテキストモデル(又は確率モード)はフレームごとに初期化されるか、又は連関性のある参照フレームで使用された確率モードが現在フレームで再度使用される。また連関性のある参照フレームで導き出された確率区間に連続して現在フレームを符号化するか、又は確率区間情報を用いて現在フレームを復号することができる。フレーム間に類似する特性がある場合、確率モードを再度使用すると、シンボル間の重複性を活用できるので圧縮効率が高くなる。参照フレームで使用された確率モードと同一の確率モードを使用するとは、参照フレームのコンテキストモデルを使用することと同じ意味である。ＣＡＢＡＣ以外に、Ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ、Ｈｕｆｆｍａｎ ｃｏｄｉｎｇ又はＲａｎｇｅ ｃｏｄｉｎｇ方式の場合にも、フレーム間の連関性探索に基づいて参照フレームの確率モード又はコンテキストモデルを再使用することができいる。

【0225】

本発明によるポイントクラウドデータの送信装置／受信装置がフレーム間の連関性を判断する基準は以下の通りである。

【0226】

フレーム間の連関性の判断はＧｏＦを構成するフレームのタイプによって異なる。例えば、Ｉフレームはグループ内の最初のフレームであり、連関性のある参照フレームがなく、連続して使用できるコンテキストモデルが存在しないものと判断される。Ｉフレームを参照するＰフレームはＩフレームから動き検出、動き補正されて予測されるので、Ｉフレームとは連関性が低いと判断される。反面、同一のＩフレームから予測された互いに異なる２つのＰフレームの場合は、Ｐフレームの間に互いに連関性が高いと判断される。

【0227】

また、フレーム間の連関性は現在フレームと以前のフレームの間のグローバル動きベクトル(ｇｌｏｂａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ)の差に基づいて判断される。グローバル動きベクトルはフレームが含む全体ポイントクラウドデータに対する動きベクトルである。フレーム間のグローバル動きベクトルの差と任意に設定された特定のしきい値を比較することにより、フレーム間の連関性有無を判断することができる。同様に、フレーム間の連関性は現在フレームと以前のフレームの間のローカル動きベクトル(ｌｏｃａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ)の差に基づいて判断される。ローカル動きベクトルはフレーム内の一部のオブジェクトに対する動きベクトルである。フレーム間のローカル動きベクトルの差の総合と任意に設定された特定のしきい値を比較することにより、フレーム間の連関性有無を判断することができる。

【0228】

フレーム間の連関性は以前のフレームと現在フレームのポイント、ジオメトリ及び／又は特質値の間のＲＤＯ(ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ)値に基づいて判断される。また以前のフレームと現在フレームの間の道路(ｒｏａｄ)又はその他の物体(ｏｂｊｅｃｔ)の動きベクトル値や動き補正(ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｅｄ)値の変化量に基づいてフレーム間の連関性が判断される。

【0229】

以前のフレームは現在フレームの直前のフレームを称するか、又はそれより以前のフレームを称する。現在フレームと連関性の高い参照フレームに関する情報はインデックスで本発明によるポイントクラウドデータ受信装置に伝達される。現在フレームの符号化時、現在フレームと連関性の高い参照フレームの確率モデルを連続して使用した場合、連関性の高い参照フレームに関するインデックス情報が復号器に伝達され、復号器は伝達されたインデックス情報に基づいて現在フレームを復号する。

【0230】

本発明によるポイントクラウドデータ送信装置／受信装置は、現在フレームに対して連関性のある参照フレームのコンテキストモデル又は確率モデルを共有して符号化／復号する。符号化器は連関性のある参照フレームのコンテキストを連続して現在フレームのジオメトリ情報と特質情報を符号化する。復号器は連関性のある参照フレームから連続して使用されたコンテキストを使用して現在フレームを復号する。

【0231】

本発明によるポイントクラウドデータ送信装置／受信装置は、連関性のある参照フレームのコンテキスト又は確率モデルを連続して使用する場合、どのフレームのコンテキスト又は確率モデルを使用したかインデックス情報を送信／受信する。連関性のある参照フレームのインデックス情報は現在フレームから参照フレームまでの距離、Ｉフレームから参照フレームまでの距離又は開始フレームからのフレーム数に基づいてインデックスが定められる。

【0232】

図１６は本発明によるポイントクラウドデータ送信装置１６０００の一例を示す。

【0233】

本発明によるポイントクラウドデータ送信装置１６０００(例えば、図１、図４、図１２又は図１８で説明したポイントクラウドエンコーダー又は送信装置)は、図１ないし図１４で説明した符号化動作を行う。本発明によるポイントクラウドデータ送信装置１６０００は図１６には示していないが、図１ないし図１４で説明した符号化動作を行うための１つ又はそれ以上の構成要素をさらに含む。

【0234】

本発明によるポイントクラウドデータ送信装置１６０００(例えば、図１、図４、図１２又は１８で説明したエンコーダー又は送信装置)は、コンテキスト連続性判別及び格納部を含む。コンテキスト連続性判別及び格納部はジオメトリコンテキスト連続性判別及び格納部１６００１及び特質コンテキスト連続性判別及び格納部１６００２を含む。

【0235】

コンテキスト連続性判別及び格納部は符号化する現在フレームのコンテキスト連続性の適用有無を判断する。このとき、コンテキスト連続性の適用有無は現在フレームと連関性のある参照フレームがあるか否かによって判断される。連関性のある参照フレームがある場合、現在フレームはコンテキスト連続性を適用して符号化される。コンテキスト連続性判別及び格納部はフレーム間の連関性探索により現在フレームに連関性のある参照フレームを導き出す。またコンテキスト連続性判別及び格納部はコンテキスト情報(確率区間情報、コンテキストモデル及び確率モデル情報のいずれ)が連続して使用される参照フレームのインデックス情報、コンテキスト連続性の適用有無に関する情報を本発明によるポイントクラウドデータ受信装置(例えば、図１、図１０、図１１、図１９のデコーダー又は受信装置)に伝達する。

【0236】

コンテキスト連続性判別及び格納部はコンテキスト連続性を使用した参照フレーム及び現在フレームのインデックスをシグナリングする。ジオメトリ情報符号化過程での連関性のある参照フレームのインデックス情報と特質情報符号化過程での連関性のある参照フレームのインデックス情報は互いに異なる。またコンテキスト連続性判別及び格納部は参照フレームの算術符号化により導き出されたコンテキスト情報(確率区間情報、コンテキストモデル及び確率モデル情報のいずれ)を格納する。したがって、本発明によるＡｒｉｔｈｍｅｔｉｃコーダで現在フレームの算術符号化時、参照フレームの確率区間情報とコンテキストモデルを連続して使用することができる。即ち、Ａｒｉｔｈｍｅｔｉｃコーダでコンテキスト連続性を使用することができる。

【0237】

図１７は本発明によるポイントクラウドデータ受信装置１７０００の一例を示す。

【0238】

本発明によるポイントクラウドデータ受信装置１７０００(例えば、図１、図１０、図１１又は図１９で説明したポイントクラウドデコーダー又は受信装置)は、図１ないし図１４で説明した復号動作を行う。またポイントクラウドデータ受信装置１７０００は、図１６で説明したポイントクラウドデータ送信装置１６０００の符号化動作の逆過程に該当する復号動作を行う。本発明によるポイントクラウドデータ受信装置１７０００は図１７には示していないが、図１ないし図１４で説明した復号動作を行うための１つ又はそれ以上の構成要素をさらに含む。

【0239】

本発明によるポイントクラウドデータ受信装置１７０００はコンテキスト連続性処理部を含む。コンテキスト連続性処理部はジオメトリコンテキスト連続性処理部１７００１及び特質コンテキスト連続性処理部１７００２を含む。

【0240】

本発明によるポイントクラウドデータ受信装置１７０００は、コンテキスト連続性を用いる現在フレームのインデックス情報と参照フレームのインデックス情報を使用してジオメトリ情報又は特質情報を復号する。即ち、受信装置１７０００は受信したインデックス情報に該当する参照フレームのコンテキスト情報(確率区間、コンテキストモデル又は確率モデル)に基づいて現在フレームのポイントクラウドデータを復号する。ジオメトリ情報又は特質情報の復元過程は、図１６のジオメトリコンテキスト連続性判別及び格納部１６００１と特質コンテキスト連続性判別及び格納部１６００２で行う過程の逆過程に対応する。

【0241】

本発明によるコンテキスト連続性処理部はポイントクラウドデータのフレームのコンテキスト連続性の適用有無を判断する。本発明によるポイントクラウドデータ受信装置１７０００は参照フレームのインデックス情報又はフレームのコンテキスト連続性の適用有無に関する情報を含むビットストリームを受信する。コンテキスト連続性処理部は受信した情報に基づいて現在フレームに対するコンテキスト連続性の適用有無を判断する。コンテキスト連続性の適用有無は現在フレームと連関性のある参照フレームがあるか否かによって判断されてもよい。コンテキスト連続性処理部は参照フレームのインデックス情報がある場合、現在フレームに対してコンテキスト連続性が適用されたと判断する。現在フレームに対してコンテキスト連続性が適用された場合、受信装置１７０００は参照フレームのコンテキスト情報(確率区間、コンテキストモデル又は確率モデル)に基づいて現在フレームを復号する。またコンテキスト連続性処理部はフレームのコンテキスト情報を格納する。格納されたコンテキスト情報は受信装置１７０００で他のフレームを復号するときに使用される。

【0242】

図１８は本発明によるポイントクラウドデータ送信装置１８０００の一例を示す。

【0243】

本発明によるポイントクラウドデータ送信装置１８０００(例えば、図１、図４、図１２又は図１６で説明したポイントクラウドエンコーダー又は送信装置)は、図１ないし図１６で説明した符号化動作を行う。本発明によるポイントクラウドデータ送信装置１８０００は図１８には示していないが、図１ないし図１６で説明した符号化動作を行うための１つ又はそれ以上の構成要素をさらに含む。

【0244】

本発明によるポイントクラウドデータ送信装置１８０００(例えば、図１、図４、図１２又は図１６で説明したエンコーダー又は送信装置)は、コンテキスト連続性判別及び格納部１８００１,１８００２を含む。コンテキスト連続性判別及び格納部１８００１,１８００２については図１６で説明した内容と重複するので説明を省略する。

【0245】

図１８を参照すると、Ｉフレームからグローバル動き検出／補正(ｇｌｏｂａｌ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ／ｃｏｍｐｅｎｓａｔｉｏｎ)又はローカル動き検出／補正(ｌｏｃａｌ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ／ｃｏｍｐｅｎｓａｔｉｏｎ)が行われてＰフレーム又はＢフレームが予測される。コンテキスト連続性判別及び格納部１８００１,１８００２はフレーム間の連関性を探索して現在フレームに対する参照フレームを導き出し、Ａｒｉｔｈｍｅｔｉｃコーダで算術符号化時に使用したコンテキスト情報(確率区間情報、コンテキストモデル又は確率モデル)を格納する。格納されたコンテキスト情報はＡｒｉｔｈｍｅｔｉｃコーダでフレームを符号化するときに使用される。即ち、現在フレームは格納された参照フレームのコンテキスト情報に基づいてコンテキストが連続して符号化される。

【0246】

図１９は本発明によるポイントクラウドデータ受信装置１９０００の一例を示す。

【0247】

本発明によるポイントクラウドデータ受信装置１９０００(例えば、図１、図１０、図１１又は図１７で説明したポイントクラウドデコーダー又は受信装置)は、図１ないし図１７で説明した復号動作を行う。またポイントクラウドデータ受信装置１９０００は図１７で説明したポイントクラウドデータ受信装置１７０００の符号化動作の逆過程に該当する復号動作を行う。本発明によるポイントクラウドデータ受信装置１９０００は図１９には示していないが、図１ないし図１７で説明した復号動作を行うための１つ又はそれ以上の構成要素をさらに含む。

【0248】

本発明によるポイントクラウドデータ受信装置１９０００はコンテキスト連続性処理部１９００１,１９００２を含む。受信装置１９０００は現在フレームのインデックス情報と参照フレームのインデックス情報を使用してジオメトリ情報又は特質情報を復号する。受信装置１９０００は受信した参照フレームのインデックス情報により参照フレームの復号に使用されたコンテキスト情報(確率区間、コンテキストモデル又は確率モデル)を導き出す。受信装置１９０００は参照フレームのコンテキスト情報に基づいて現在フレームのポイントクラウドデータを復号する。

【0249】

図１９に示すコンテキスト連続性処理部１９００１,１９００２は図１７のコンテキスト連続性処理部に対応する。

【0250】

本発明によるコンテキスト連続性処理部はポイントクラウドデータのフレームのコンテキスト連続性の適用有無を判断する。本発明によるポイントクラウドデータ受信装置１９０００は、参照フレームのインデックス情報又はフレームのコンテキスト連続性の適用有無に関する情報を含むビットストリームを受信する。コンテキスト連続性処理部は受信した情報に基づいて現在フレームに対するコンテキスト連続性の適用有無を判断する。コンテキスト連続性の適用有無は現在フレームと連関性のある参照フレームがあるか否かによって判断されてもよい。コンテキスト連続性処理部は参照フレームのインデックス情報がある場合、現在フレームに対してコンテキスト連続性が適用されたと判断する。現在フレームに対してコンテキスト連続性が適用された場合、受信装置１９０００は参照フレームのコンテキスト情報(確率区間、コンテキストモデル又は確率モデル)に基づいて現在フレームを復号する。またコンテキスト連続性処理部はフレームのコンテキスト情報を格納する。格納されたコンテキスト情報は受信装置１９０００で他のフレームを復号するときに使用される。

【0251】

図２０は本発明によるポイントクラウドデータの符号化／復号過程の一例を示す。図２０を参照すると、ポイントクラウドデータの符号化／復号はコンテキスト連続性の適用有無を判断して２００１１、コンテキスト連続性の適用有無に基づいてポイントクラウドデータを符号化／復号する２００１３。そしてコンテキスト情報を格納する２００１４。

【0252】

コンテキスト連続性の適用有無の判断は現在フレームが従属Ｐフレーム(ｄｅｐｅｎｄｅｎｔ Ｐ ｆｒａｍｅ)(又は従属フレーム)であるか否かを確認する。ｉｆ区文はｒａｎｄｏｍ_ａｃｃｅｓｓ_ｐｅｒｉｏｄ又はｉｎｄｅｐｅｎｄｅｎｔ Ｐ ｆｒａｍｅの有無を確認するが、フレームが２つの条件のいずれかに該当すると、フレームは従属Ｐフレームに該当しない。ｒａｎｄｏｍ_ａｃｃｅｓｓ_ｐｅｒｉｏｄはＩフレームを示し、Ｉｎｄｅｐｅｎｄｅｎｔ Ｐ ｆｒａｍｅはＰフレームが他のフレームと連関性のない独立Ｐフレーム(又は独立フレーム)であることを示す。２つの条件のいずれに該当する場合、現在フレームは従属Ｐフレームではないので、以前のフレームに現在フレームと連関性がある参照フレームが存在しない。このとき、エントロピーコンテキストは初期化され(Ｉｎｉｔｉａｌｉｚｅ ｅｎｔｒｏｐｙ ｃｏｎｔｅｘｔ,２００１２)、初期化されたコンテキスト情報によって現在フレームが符号化又は復号される２００１３。エントロピーコンテキストの初期化はコンテキスト連続性を適用しないフレームの符号化又は復号を意味する。エントロピーコンテキストはコンテキストモデル、確率モデル又は確率区間を意味する。

【0253】

本発明による送信装置(図１６、図１８の送信装置など)の観点で、コンテキスト連続性の適用有無はフレーム間の連関性を判断して連関性のある参照フレームの有無によって判断される。現在フレームが従属Ｐフレームの場合、以前のフレームに連関性のある参照フレームが存在し、コンテキスト連続性が適用される。

【0254】

また本発明による受信装置(図１７、図１９の受信装置など)の観点で、コンテキスト連続性の適用有無は本発明による送信装置から生成／受信された情報に基づいて判断される。即ち、受信装置は受信されたコンテキスト連続性の適用有無に関する情報、参照フレームのインデックス情報などによって現在フレームのコンテキスト連続性の適用有無を判断する。

【0255】

フレームがｒａｎｄｏｍ_ａｃｃｅｓｓ_ｐｅｒｉｏｄ又はｉｎｄｅｐｅｎｄｅｎｔ Ｐ ｆｒａｍｅに該当しないと、現在フレームは従属Ｐフレームに該当する。従属Ｐフレームは以前のフレームに連関性のある参照フレームを有する。現在フレームが従属Ｐフレームであると、エントロピーコンテキストを初期化せず、現在フレームを符号化又は復号する２００１３。エントロピーコンテキストを初期化しないので、現在フレームは以前の参照フレームのコンテキストを連続して符号化又は復号される。即ち、現在フレームは参照フレームのコンテキスト情報に基づいて符号化又は復号される。

【0256】

次に、エントロピーコンテキスト確率が格納される(Ｓａｖｉｎｇ ｅｎｔｒｏｐｙ ｃｏｎｔｅｘｔ ｐｒｏｂａｂｉｌｉｔｙ)２００１４。エントロピーコンテキスト確率はコンテキスト情報を示す。コンテキスト情報はコンテキストモデル、確率モデル又は確率区間を示す。格納されたエントロピーコンテキスト確率は他のフレームの符号化又は復号時に使用される。図２０の符号化又は復号過程はフレームの数だけ繰り返されるので、全てのフレームに対して符号化又は復号が行われると、過程が終了する。

【0257】

図２１は本発明によるポイントクラウドデータの符号化効率を示す。図２１を参照すると、本発明によるコンテキスト連続性を用いたポイントクラウドデータ符号化はＣ２－ｌｏｓｓｙのところで２.５％の利得(ｇａｉｎ)を示す。

【0258】

図２２は本発明によるポイントクラウドデータの符号化効率を示す。図２２を参照すると、本発明によるコンテキスト連続性を用いたポイントクラウドデータ符号化はＣＷ－ｌｏｓｓｌｅｓｓのところで０.４％の利得(ｇａｉｎ)を示す。

【0259】

一方、エントロピー連続スライス方法(ｅｎｔｒｏｐｙ ｃｏｎｔｉｎｕｉｎｇ ｓｌｉｃｅ ｍｅｔｈｏｄ)は、ＴＭＣ１３[１]のイントラフレームコーディングの低遅延シナリオで使用される。この文書はエントロピーの連続による従属Ｐフレームを開示する。この方法はＧｒｏｕｐ ｏｆ Ｆｒａｍｅs(ＧｏＦ)内でＰフレームに対してエントロピー状態確率を続けることにより圧縮率を向上させる可能性を示す。図２１及び図２２に示したように、この方法の実験結果はＩｎｔｅｒＥＭｖ１.０の現在構造においてＣ２で２.５％、ＣＷで０.４％の利得を示す。エントロピー連続スライス方法は本発明によるコンテキスト連続性を適用したフレームの符号化又は復号方法である。

【0260】

この文書ではフレーム間のコーディングのエントロピー連続方法について説明する。現在のＩｎｔｅｒＥＭｖ１.０はグローバル及びローカル動き検出(ｅｓｔｉｍａｔｉｏｎ)／補正(ｃｏｍｐｅｎｓａｔｉｏｎ)を支援する。モーションを調整した後、現在フレームの占有ビット(ｏｃｃｕｐａｎｃｙ ｂｉｔｓ)は参照フレームにより予測され、エントロピー符号化によりコーディングされる。ＧｏＦの全てのＰフレームはモーション適用参照フレーム(ｍｏｔｉｏｎ ａｐｐｌｉｅｄ ｒｅｆｅｒｅｎｃｅ ｆｒａｍｅ)にコーディングされるので、従属Ｐフレームの使用について紹介する。エントロピー連続はコンテキスト連続を示す。

【0261】

Ｃａｔ３のイントラフレームコーディングは単一のスライスに該当する全てのフレームでエントロピー状態を初期化する。しかし、インターフレームコーディングで各フレームはグローバル／ローカルモーション及びインター占有予測に連結される。このような連結の属性を考慮して、以前のエントロピーを使用するＰ従属フレームが導入される。Ｐ従属フレームが導入された理由は次の通りである。

【0262】

１．Ｃａｔ３フレームデータセットのほとんどは単一のフレームの単一のスライスで構成され、非常に希少なデータセットでは各フレームがいくつのポイントで構成される可能性がある。

【0263】

２．フレームレベルにおいて並列化よりも圧縮が優先する使用例。ＧｏＦで並列復号が使用され、ＧｏＦ内でより多い連結が必要である。

【0264】

Ｉ及びＰフレーム構造において、Ｐフレームの損失(ｌｏｓｉｎｇ)は次の参照フレームが表されるまで全てのフレームでの損失を誘発する。フレーム損失が不可避なランダムアクセスを支援する観点で、エントロピー状態の共有が可能であるか否かを条件としてＰ(従属／独立エントロピー状態)及びＢフレームの検討(ｓｔｕｄｙ)が提案される。

【0265】

並列復号(ｐａｒａｌｌｅｌ ｄｅｃｏｄｉｎｇ)はＧｏＦレベル並列復号が支援される。しかし、現在の構造ではＰフレームで並列復号の柔軟性がまだ支援されない。まずＧｏＦ構成する単位を定義する必要がある。そしてフレームレベル並列復号を考慮することについて論議する。従属Ｐフレームと独立Ｐフレームはそれぞれ圧縮及び並列化に対する利点がある。したがって、Ｐ従属フレームとＰ独立フレームを導入して圧縮と並列化の間の利点を取る方法が論議される。

【0266】

図２３は本発明による符号化されたポイントクラウドデータの一例を示す。本発明によるポイントクラウドビデオエンコーダー１０００２は符号化２０００１の過程でポイントクラウドデータを符号化し、本発明による送信機１０００３は符号化されたポイントクラウドデータを含むビットストリームを本発明による受信装置１０００４に送信する。

【0267】

本発明による符号化されたポイントクラウドデータ(ビットストリーム)は、図１のポイントクラウドビデオエンコーダー１０００２、図２の符号化２０００１、図４のエンコーダー、図１２の送信装置、図１４のＸＲデバイス１４３０、図１６及び図１８の送信装置及び／又は１つ以上のメモリと通信可能に設定された１つ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせなどにより生成される。

【0268】

また本発明による符号化されたポイントクラウドデータ(ビットストリーム)は、図１のポイントクラウドビデオデコーダー１０００６、図２の復号２０００３、図１１のデコーダー、図１３の送信装置、図１４のＸＲデバイス１４３０、図１７及び図１９の受信装置及び／又は１つ以上のメモリと通信可能に設定された１つ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせなどによって復号される。

【0269】

図２３に示した略語の意味は以下の通りである。

【0270】

ＳＰＳ：シーケンスパラメータセット(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)

【0271】

ＧＰＳ：ジオメトリパラメータセット(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)

【0272】

ＡＰＳ：特質パラメータセット(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)

【0273】

ＴＰＳ：タイルパラメータセット(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)

【0274】

Ｇｅｏｍ：ジオメトリビットストリーム(ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ)＝ジオメトリスライスヘッダー(ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ ｈｅａｄｅｒ)＋ジオメトリスライスデータ(ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ ｄａｔａ)

【0275】

Ａｔｔｒ：特質ビットストリーム(ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍ)＝特質ブリックヘッダー(ａｔｔｒｉｂｕｔｅ ｂｒｉｃｋ ｈｅａｄｅｒ)＋特質ブリックデータ(ａｔｔｒｉｂｕｔｅ ｂｒｉｃｋ ｄａｔａ)

【0276】

ポイントクラウドデータを領域ごとに分けて処理するためにタイル又はスライス領域が提供される。ポイントクラウドデータを各領域に分離するとき、各領域の重要度が異なる。したがって、重要度によって異なるフィルター又は異なるフィルターユニットを適用することにより、複雑度(ｃｏｍｐｌｅｘｉｔｙ)は高いが結果の品質(ｑｕａｌｉｔｙ)は良好なフィルタリング方法を重要領域に使用することができる。

【0277】

また受信装置の処理能力(ｃａｐａｃｉｔｙ)によってポイントクラウドデータ全体に複雑なフィルタリング方法を使用する代わりに、領域ごとに(タイル又はスライスに分けられた領域)互いに異なるフィルタリングを適用することができる。したがって、重要領域に対して改善した画質とシステムで適切な遅延(ｌａｔｅｎｃｙ)を保障することができる。即ち、ポイントクラウドデータは領域がタイルに分けられた場合、各タイルごとに異なるフィルター又は異なるフィルターユニットを適用することができる。またポイントクラウドデータは領域がスライスに分けられた場合は、各スライスごとに異なるフィルター又は異なるフィルターユニットを適用することができる。

【0278】

以下、本発明によるパラメータ(メタデータ、シグナリング情報など)は本発明による送信装置のプロセッサで生成され、本発明による受信装置に伝達される。例えば、本発明によるパラメータは本発明による送信装置のメタデータ処理部(又はメタデータ生成器)で生成され、本発明による受信装置のメタデータパーサから得られる。

【0279】

本発明によるポイントクラウドデータ送信装置(例えば、図１、図４、図１２、図１６及び図１８で説明したエンコーダー又は送信装置)は、ジオメトリ情報と特質情報のコンテキスト連続性の適用情報、現在フレームのインデックス情報及び参照フレームのインデックス情報を受信装置にシグナリングする。

【0280】

図２４は本発明によるＳｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ ＳｅｔのＳｙｎｔａｘの一例を示す。コンテキスト連続性構造情報はＳＰＳに追加されてシグナリングされる。

【0281】

ｆｒａｍｅＩｄｘは現在フレームがシーケンスにおいて何番目のフレームであるかをインデックスで示す。

【0282】

ｃｏｎｔｅｘｔ_ｃｏｎｔｉｎｕｅ_ｆｌａｇはジオメトリ情報と特質情報の全てに対してコンテキスト連続性の適用有無を示す。Ｔｒｕｅは現在フレームが以前のフレームのコンテキストを連続して使用することを示し(コンテキスト連続性が適用される)、ｆａｌｓｅは現在フレームが以前のフレームのコンテキストを連続して使用しないことを示す(コンテキスト連続性が適用されない)。

【0283】

ｃｏｎｔｅｘｔ_ｃｏｎｔｉｎｕｅ_ｕｓｅ_ｆｒａｍｅＩｄｘは以前のフレームのうち、コンテキストの連続性が使用されたフレーム(参照フレーム)のインデックスを示す。参照フレームのインデックスは現在フレームからコンテキスト連続性が使用されたフレーム(参照フレーム)までの距離、最初のフレームから参照フレームまでの距離又は連続したＰフレームのうち、参照フレームまでの順序などに基づいて示される。

【0284】

図２５は本発明によるＴｉｌｅ Ｐａｒａｍｅｔｅｒ ＳｅｔのＳｙｎｔａｘの一例を示す。コンテキスト連続性の構造情報はＴＰＳに追加されてシグナリングする。

【0285】

ｔｉｌｅ_ｃｔｒは現在のタイルが全体タイルのうち、何番目のタイルであるかをインデックスで示す。

【0286】

ｔｉｌｅ_ｃｏｎｔｅｘｔ_ｃｏｎｔｉｎｕｅ_ｆｌａｇはタイル単位のコンテキスト連続性の適用有無を示す。ジオメトリ情報と特質情報の全てに対してコンテキスト連続性の適用有無を示す。Ｔｒｕｅは現在のタイルが以前のタイルでコンテキストを連続して使用することを示し、ｆａｌｓｅは現在のタイルが以前のタイルのコンテキストを連続して使用しないことを示す。

【0287】

ｔｉｌｅ_ｃｏｎｔｅｘｔ_ｃｏｎｔｉｎｕｅ_ｕｓｅ_ｔｉｌｅＩｄｘは以前のタイルのうち、コンテキスト連続性が使用されたタイル(参照タイル)のインデックスを示す。参照タイルのインデックスは現在のタイルから参照タイルまでの距離又は最初のタイルから参照タイルまでの距離に基づいてシグナリングされる。

【0288】

図２６は本発明によるＧｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ ＳｅｔのＳｙｎｔａｘの一例を示す。コンテキスト連続性の構造情報はＧＰＳに追加されてシグナリングされる。

【0289】

ｆｒａｍｅＩｄｘは現在フレームがシーケンスにおいて何番目のフレームであるかをインデックスで示す。

【0290】

ｇｅｏｍｅｔｒｙ_ｃｏｎｔｅｘｔ_ｃｏｎｔｉｎｕｅ_ｆｌａｇはジオメトリ単位のコンテキスト連続性の適用有無を示す。Ｔｒｕｅは現在フレームのジオメトリが以前のフレームのジオメトリのコンテキストを連続して使用することを示す。Ｆａｌｓｅは現在フレームのジオメトリが以前のフレームのジオメトリのコンテキストを連続して使用しないことを示す。

【0291】

ｇｅｏｍｅｔｒｙ_ｃｏｎｔｅｘｔ_ｃｏｎｔｉｎｕｅ_ｕｓｅ_ｆｒａｍｅＩｄｘは以前のフレームのうち、コンテキストの連続性が使用されたフレーム(参照フレーム)のインデックスを示す。参照フレームのインデックスは現在フレームから参照フレームまでの距離又は最初のフレームから参照フレームまでの距離に基づいてシグナリングされる。

【0292】

図２７は本発明によるＡｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ ＳｅｔのＳｙｎｔａｘの一例を示す。コンテキスト連続性の構造情報はＡＰＳに追加してシグナリングされる。

【0293】

ｆｒａｍｅＩｄｘは現在フレームがシーケンスにおいて何番目のフレームであるかをインデックスで示す。

【0294】

ａｔｔｒｉｂｕｔｅ_ｃｏｎｔｅｘｔ_ｃｏｎｔｉｎｕｅ_ｆｌａｇは特質単位のコンテキスト連続性の適用有無を示す。Ｔｒｕｅは現在フレームの特質が以前のフレームの特質のコンテキストを連続して使用することを示し、ｆａｌｓｅは現在フレームの特質に対して以前のフレームの特質のコンテキストを連続して使用しないことを示す。

【0295】

ａｔｔｒｉｂｕｔｅ_ｃｏｎｔｅｘｔ_ｃｏｎｔｉｎｕｅ_ｕｓｅ_ｆｒａｍｅＩｄｘは以前のフレームのうち、コンテキストの連続性が使用されたフレーム(参照フレーム)のインデックスを示す。参照フレームのインデックスは現在フレームから参照フレームまでの距離又は最初のフレームから参照フレームまでの距離に基づいてシグナリングされる。

【0296】

図２８は本発明によるジオメトリビットストリームのスライスヘッダーのＳｙｎｔａｘの一例を示す。コンテキスト連続性の構造情報はＧｅｏｍのスライスヘッダーに追加してシグナリングされる。

【0297】

ｇｓｈ_ｓｌｉｃｅ_ｉｄは現在のスライスが何番目のスライスであるかというスライスインデックスを示す。

【0298】

ｇｅｏｍｅｔｒｙ_ｓｌｉｃｅ_ｃｏｎｔｅｘｔ_ｃｏｎｔｉｎｕｅ_ｆｌａｇはジオメトリスライス単位のコンテキスト連続性の適用有無を示す。Ｔｒｕｅは現在のスライスが以前のスライスのコンテキストを連続して使用することを示し、ｆａｌｓｅは現在のスライスが以前のスライスのコンテキストを連続して使用しないことを示す。

【0299】

ｇｅｏｍｅｔｒｙ_ｓｌｉｃｅ_ｃｏｎｔｅｘｔ_ｃｏｎｔｉｎｕｅ_ｕｓｅ_ｆｒａｍｅＩｄｘは以前のスライスのうち、コンテキストの連続性が使用されたスライス(参照スライス)のインデックスを示す。参照スライスのインデックスは現在のスライスから参照スライスまでの距離又は最初のスライスから参照スライスまでの距離に基づいてシグナリングされる。

【0300】

図２９は本発明によるポイントクラウドデータ送信方法の一例を示す。ポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階(Ｓ２９００)、及びポイントクラウドデータを含むビットストリームを送信する段階(Ｓ２９１０)を含む。またポイントクラウドデータを符号化する段階(Ｓ２９００)は、ポイントクラウドデータのジオメトリデータを符号化する段階と、ポイントクラウドデータの特質情報を符号化する段階を含む。

【0301】

ポイントクラウドデータを符号化する段階(Ｓ２９００)は、図１のポイントクラウドビデオエンコーダー１０００２、図２の符号化２０００１、図４のエンコーダー、図１２の送信装置、図１４のＸＲデバイス１４３０、図１６又は図１８の送信装置及び／又は１つ以上のメモリと通信可能に設定された１つ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせなどによってポイントクラウドデータを符号化する。

【0302】

ポイントクラウドデータを含むビットストリームを送信する段階(Ｓ２９１０)は、図１の送信機１０００３、図１２の送信処理部１２０１２、図１４のＸＲデバイス１４３０、図１６又は図１８の送信装置及び／又は１つ以上のメモリと通信可能に設定された１つ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせなどによってポイントクラウドデータを送信する。

【0303】

ポイントクラウドデータを符号化する段階(Ｓ２９００)では、現在フレームのポイントクラウドデータのコンテキスト連続性の適用有無を判断して、コンテキスト連続性の適用有無に対応して現在フレームを符号化し、現在フレームのコンテキストを格納する。

【0304】

フレームのコンテキスト連続性の適用有無の判断は、フレーム間の連関性によって以前のフレームから参照フレームを探索することができる。このとき、フレーム間の連関性の探索はフレームのタイプ(例えば、Ｉフレーム又はＰフレームなど)に基づいて行われる。またフレーム間の連関性の判断はフレーム間の動きベクトルの差に基づいて行われてもよく、フレーム間の連関性の判断はフレーム間のジオメトリ情報又は特質情報のＲＤＯ値に基づいて行われてもよい。フレーム間の連関性の判断(又は探索)は、図１６のコンテキスト連続性の判別及び格納部、図１８のコンテキスト連続性の判別及び格納部で行われる。フレーム間の連関性の判断については図１６及び図１８で説明したので詳しい内容は省略する。以前のフレームで現在フレームと連関性のある参照フレームがあれば、現在フレームのポイントクラウドデータにコンテキスト連続性を適用して符号化すると判断することができる。

【0305】

コンテキスト連続性の適用有無によるフレーム符号化(コード化)は、以前のフレームにおいて現在フレームと連関性のある参照フレームが存在する場合は、現在フレームの符号化時、参照フレームのコンテキスト情報(確率区間、コンテキストモデル又は確率モデル)を連続して利用する。現在フレームは参照フレームの算術符号化により導き出された確率区間に連続して符号化されるか、或いは参照フレームの算術符号化時に使用されたコンテキストモデル又は確率モデルを使用して符号化される。即ち、現在フレームは参照フレームのコンテキスト情報に基づいて符号化され、コンテキスト連続性が適用される。

【0306】

フレームのコンテキスト格納は現在フレームの符号化時に導き出されるコンテキスト情報(確率区間、コンテキストモデル又は確率モデル)を格納する。格納されたコンテキスト情報は他のフレームの符号化過程で使用される。

【0307】

本発明によるフレームはＩフレームとＰフレームのいずれかを含む。Ｉフレームは複数のフレームの集合であるＧｏＦ(Ｇｒｏｕｐ ｏｆ Ｆｒａｍｅｓ)の最初のフレームに該当し、ＰフレームはＩフレーム又は他のＰフレームを参照して予測されたフレームである。本発明によるフレームは連関性判断によって参照フレームがあってもなくてもよい。現在フレームは参照フレームがあれば、従属フレームとしてコンテキスト連続性が適用され、参照フレームがなければ、独立(非依存)フレームとしてコンテキスト連続性が適用されず符号化される。

【0308】

ポイントクラウドデータを含むビットストリームを送信する段階(Ｓ２９１０)において、ビットストリームは参照フレームを示すインデックス情報を含む。ビットストリームは現在フレームのインデックス情報、コンテキスト連続性の適用有無に関する情報をさらに含む。参照フレームを示すインデックス情報はＧｏＦ(Ｇｒｏｕｐ ｏｆ Ｆｒａｍｅｓ)内の最初のフレームから参照フレームまでの距離に基づく。又は参照フレームを示すインデックス情報は現在フレームからの距離に基づく。参照フレームを示すインデックス情報は現在フレームの直前のフレームを示す。コンテキスト連続性の適用有無に関する情報は現在フレームが参照フレームのコンテキストに基づいて符号化されるか否かを示す。

【0309】

フレームのコンテキスト連続性の適用有無を判断、フレームと連関性のある参照フレームの有無に対応して参照フレームのコンテキストに基づくフレーム符号化及びフレームのコンテキスト格納は、図１６又は図１８で説明したポイントクラウドデータ送信装置、コンテキスト連続性の判別及び格納部又はＡｒｉｔｈｍｅｔｉｃコーダで行われる。現在フレーム又は参照フレームのインデックス情報とコンテキスト連続性の適用有無に関する情報及びコンテキスト情報の生成及び伝達は、図１６又は図１８で説明したコンテキスト連続性の判別及び格納部で行われる。

【0310】

図３０は本発明によるポイントクラウドデータ受信方法の一例を示す。

【0311】

本発明によるポイントクラウドデータ受信方法は、ポイントクラウドデータを含むビットストリームを受信する段階(Ｓ３０００)、ポイントクラウドデータを復号する段階(Ｓ３０１０)及び／又はポイントクラウドデータをレンダリングする段階を含む。ポイントクラウドデータを復号する段階(Ｓ３０１０)は、ポイントクラウドデータのジオメトリ情報を復号(ｄｅｃｏｄｉｎｇ)する段階と、ポイントクラウドデータの特質情報を復号(ｄｅｃｏｄｉｎｇ)する段階を含む。

【0312】

ポイントクラウドデータを含むビットストリームを受信する段階(Ｓ３０００)において、ビットストリームは参照フレームを示すインデックス情報を含む。ビットストリームは現在フレームのインデックス情報、コンテキスト連続性の適用有無に関する情報をさらに含む。参照フレームを示すインデックス情報はＧｏＦ(Ｇｒｏｕｐ ｏｆ Ｆｒａｍｅｓ)内の最初のフレームから参照フレームまでの距離に基づいて指定される。又は参照フレームを示すインデックス情報は現在フレームから参照フレームまでの距離に基づいて指定される。なお、参照フレームを示すインデックス情報は現在フレームの直前のフレームを示す。

【0313】

ポイントクラウドデータを復号する段階(Ｓ３０１０)では、ポイントクラウドデータのフレームのコンテキスト連続性の適用有無を判断し、コンテキスト連続性の適用有無に対応してフレームと連関性のある参照フレームのコンテキストに基づいてフレームを復号する。またポイントクラウドデータを復号する段階(Ｓ３０１０)では復号されたフレームのコンテキストを格納する。

【0314】

フレームのコンテキスト連続性の適用有無はコンテキスト連続性の適用有無情報又は現在フレームと連関性のある参照フレームの有無に基づいて判断される。参照フレームの連関性はフレームのタイプに基づいて判断される。フレームのタイプはＩフレーム、Ｐフレーム及びＢフレームのいずれかを示す。連関性は現在フレームと以前のフレームのタイプに基づいてフレーム間の連関性が判断される。また連関性はフレーム間の動きベクトル差に基づいて判断されるか、又はフレーム間のジオメトリ情報又は特質情報のＲＤＯ値に基づいて判断される。フレーム間の連関性の判断については図１６で説明したので重複する内容は省略する。

【0315】

本発明によるフレームはＩフレームとＰフレームのいずれかを含む。Ｉフレームは複数のフレームの集合であるＧｏＦ(Ｇｒｏｕｐ ｏｆ Ｆｒａｍｅｓ)の最初のフレームに該当し、ＰフレームはＩフレーム又は他のＰフレームを参照して予測されたフレームである。本発明によるフレームは連関性判断によって参照フレームがあってもなくてもよい。現在フレームが参照フレームがあれば、従属フレームとしてコンテキスト連続性が適用され、参照フレームがなければ、独立(非依存)フレームとしてコンテキスト連続性が適用されず、復号される。

【0316】

現在フレームと連関性のある参照フレームはビットストリームに含まれた参照フレームのインデックス情報から分かる。またコンテキスト連続性の適用有無を示す情報により現在フレームに対するコンテキスト連続性の適用有無を判断することができる。コンテキスト連続性が適用されるか、又は参照フレームのインデックスがある場合、本発明による受信装置は現在フレームと連関性のある参照フレームがあることが分かる。

【0317】

コンテキスト連続性の適用有無に対応して参照フレームのコンテキストに基づいてフレームを復号する段階では、以前のフレームに参照フレームがある場合、参照フレームのコンテキストを用いて現在フレームを復号する。参照フレームのコンテキストは確率区間、コンテキストモデル及び確率モデルのいずれかを含む。参照フレームのコンテキスト情報は図１７又は図１９で説明したコンテキスト連続性処理部に格納される。

【0318】

参照フレームが存在する場合、現在フレームが参照フレームのコンテキストを連続して符号化されたことを意味する。したがって、本発明による受信装置は、参照フレームのコンテキスト情報に基づいて現在フレームを復号する。また本発明による受信装置は現在フレームのコンテキスト情報を格納する。格納されたコンテキスト情報は他のフレームを復号するときに使用することができる。

【0319】

本発明によるポイントクラウドデータ送信装置／受信装置、本発明によるポイントクラウド送信方法／受信方法、及びシグナリング方法は、以下の効果を提供する。

【0320】

本発明は連関性の高いフレーム間のコンテキスト情報を用いて重複情報をできる限り除去することにより、ビットストリームを効率的に構成することができる。したがって、ジオメトリ情報と特質情報の圧縮効率を向上させることができる。ジオメトリと特質のそれぞれの適用範囲をシグナリングすることにより、最適の圧縮効率を達成し、符号化／復号時の全てのフレームに初期化された確率モデルを使用することではないので、メモリ減少効果及びコンピューティング時間節減の効果が得られる。

【0321】

本発明によるポイントクラウドデータはライダー(ＬｉＤＡＲ)装備でキャプチャーされ、角度モード(ａｎｇｕｌａｒ ｍｏｄｅ)を適用できるようにスライドに分割する方法を支援することにより、１つのコンテンツに統合された３Ｄマップデータの効率的なジオメトリ圧縮が可能である。

【0322】

本発明によるポイントクラウドデータフレームを１つのポイントクラウドコンテンツに統合したとき、Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ(Ｇ－ＰＣＣ)の効率的なジオメトリ圧縮のためにスライドに分割する方法を提供することにより、ジオメトリ圧縮コーディング／復号の効率性を増加させることができる。

【0323】

本発明によるポイントクラウドデータ送受信方法／装置は、ライダー(ＬｉＤＡＲ)装備でキャプチャーされたポイントクラウドデータを３Ｄマップに基づいて分割する動作及び関連シグナリング情報に基づいてポイントクラウドデータをより効率的に圧縮して復元することができる。

【0324】

本発明は方法及び／又は装置の観点で説明しており、方法の説明及び装置の説明は互いに補完して適用できる。

【0325】

説明の便宜のために各図を区分して説明したが、各図に述べている本発明を併合して新しい本発明を具現するように設計することも可能である。また通常の技術者の必要によって、以前に説明した本発明を実行するためのプログラムが記録されているコンピューターで読み取り可能な記録媒体を設計することも本発明の権利範囲に属する。本発明による装置及び方法は、上述したように、説明された本発明の構成と方法が限定して適用されることではなく、本発明は様々に変形可能に各本発明の全部又は一部が選択的に組み合わせられて構成されることもできる。本発明の好ましい本発明について示して説明したが、本発明は上述した特定の本発明に限定されず、請求の範囲で請求する本発明の要旨から離脱せず、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が可能であり、かかる変形実施は本発明の技術的思想や見込みから個々に理解されてはいけない。

【0326】

本発明による装置の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより構成される。本発明の様々な構成要素は一つのチップ、例えば、一つのハードウェア回路で具現される。本発明において、本発明による構成要素はそれぞれ個々のチップで具現される。本発明において、本発明による装置の構成要素のいずれかは一つ又はそれ以上のプログラムを実行できる一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは本発明による動作／方法のうちのいずれか一つ又はそれ以上の動作／方法を行わせるか、実行させるための指示を含む。

【0327】

本発明による装置の方法／動作を行うための実行可能な指示は、一つ又はそれ以上のプロセッサにより実行されるために構成された一時的ではないＣＲＭ又は他のコンピュータープログラム製品に格納されるか、又は一つ又はそれ以上のプロセッサにより実行されるために構成された一時的なＣＲＭ又は他のコンピュータープログラム製品に格納されることができる。

【0328】

また本発明によるメモリは、揮発性メモリ(例えば、ＲＡＭなど)だけではなく、非揮発性メモリ、フラッシュメモリ、ＰＲＯＭなどを全部含む概念として使用される。また、インターネットによる送信などのような搬送波の形態で具現されることも含む。またプロセッサが読み取られる記録媒体は、ネットワークで連結されたコンピューターシステムに分散されて、分散方式によりプロセッサが読み取られるコードが格納されて実行されることができる。

【0329】

この明細書において、"／"と","は"及び／又は"に解釈される。例えば、"Ａ／Ｂ"は"Ａ及び／又はＢ"に解釈され、"Ａ、Ｂ"は"Ａ及び／又はＢ"に解釈される。さらに、"Ａ／Ｂ／Ｃ"は"Ａ、Ｂ及び／又はＣのうちのいずれか"を意味する。また、"Ａ、Ｂ、Ｃ"も"Ａ、Ｂ及び／又はＣのうちのいずれか"を意味する。さらに、この文書において、"又は"は"及び／又は"に解釈される。例えば、"Ａ又はＢ"は、１)"Ａ"のみを意味するか、２)"Ｂ"のみを意味するか、又は３)"Ａ及びＢ"を意味する。言い換えれば、この明細書において"又は"は"さらに(ａｄｄｉｔｉｏｎａｌｌｙ)又は代わりに(ａｌｔｅｒｎａｔｉｖｅｌｙ)"を意味する。

【0330】

第１、第２などの用語は本発明の様々な構成要素を説明するために使用される。しかし、本発明による様々な構成要素は上記用語により解釈が制限されてはいけない。かかる用語は一つの構成要素を他の構成要素と区別するために使用されることに過ぎない。例えば、第１ユーザ入力信号は第２ユーザ入力信号と称することができる。同様に、第２ユーザ入力信号は第１ユーザ入力信号と称することができる。かかる用語の使用は様々な本発明の範囲から離脱していない。第１ユーザ入力信号及び第２ユーザ入力信号はいずれもユーザ入力信号であるが、文脈上、明確に示していない限り、同一のユーザ入力信号を意味してはいない。

【0331】

本発明を説明のために使用された用語は、特定の本発明を説明するために使用されており、本発明を制限されるものではない。本発明の説明及び請求範囲で使用したように、文脈上明確に称していない限り、単数は複数を含む。「及び／又は」表現は用語間の全ての可能な結合を含む意味で使用される。「含む」は特徴、数、段階、要素及び／又はコンポーネントが存在することを説明し、さらなる特徴、数、段階、要素及び／又はコンポーネントを含まないことを意味しない。本発明を説明するために使用される、「~である場合」、「~の時」などの条件表現は選択的な場合にのみ制限して解釈されない。特定の条件を満たすとき、特定の条件に対応して関連動作を行うか、又は関連定義が解釈されるように意図されている。

【0332】

また、この明細で説明する本発明による動作は、本発明によってメモリ及び／又はプロセッサを含む送受信装置により行われる。メモリは本発明による動作を処理／制御するためのプログラムを格納し、プロセッサはこの明細で説明した様々な動作を制御する。プロセッサはコントローラなどとも称される。本発明の動作はファームウェア、ソフトウェア及び／又はこれらの組み合わせにより行われ、ファームウェア、ソフトウェア及び／又はこれらの組み合わせはプロセッサに格納されるか又はメモリに格納される。

【0333】

一方、上述した本発明による動作は、本発明による送信装置及び／又は受信装置により行われる。送受信装置はメディアデータを送受信する送受信部、本発明によるプロセスに対する指示(プログラムコード、アルゴリズム、フローチャート及び／又はデータ)を格納するメモリ、及び送受信装置の動作を制御するプロセッサを含む。

【0334】

プロセッサはコントローラなどとも称され、例えば、ハードウェア、ソフトウェア及び／又はそれらの組み合わせに対応する。上述した本発明による動作はプロセッサにより行われる。またプロセッサは上述した本発明の動作のためのエンコーダー／デコーダーなどで具現される。

【0335】

〔発明の実施のための形態〕
上述したように、本発明を実施するための最善の形態について関連内容を説明する。

【0336】

〔産業上の利用可能性〕
上述したように、本発明はポイントクラウドデータ送受信装置及びシステムに全体又は部分的に適用することができる。当業者であれば、本発明の範囲内で本発明を様々に変更及び変形することができる。本発明は変更／変形を含み、変更／変形は請求項及びそれと同一のものの範囲内である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【手続補正書】

【提出日】2023-12-18

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ポイントクラウドデータ送信方法であって、
フレームに含まれたポイントクラウドデータを符号化する段階；及び
前記ポイントクラウドデータを含むビットストリームを送信する段階；を含んでなり、
前記ポイントクラウドデータを符号化する段階は、
前記ポイントクラウドデータのジオメトリ情報を符号化する段階と、
前記ポイントクラウドデータの特質情報を符号化する段階と、を含む、ポイントクラウドデータ送信方法。

【請求項2】

前記フレームに含まれた前記ポイントクラウドデータは以前のフレームに基づいて符号化され、
前記フレームは前記以前のフレームに連関する従属フレームであり、
前記フレームに含まれた前記ポイントクラウドデータは前記以前のフレームのコンテキストに基づいて符号化され、
前記ポイントクラウドデータを符号化する段階は、前記フレームのコンテキストを格納する段階を含む、請求項１に記載のポイントクラウドデータ送信方法。

【請求項3】

前記フレームに連関する前記以前のフレームは参照フレームであり、
前記参照フレームは前記以前のフレームのタイプに基づいて探索される、請求項２に記載のポイントクラウドデータ送信方法。

【請求項4】

前記ビットストリームは前記参照フレームを示すインデックス情報を含み、
前記ビットストリームは前記フレームが前記参照フレームのコンテキストに基づいて符号化されるか否かを示す情報を含み、
前記インデックス情報は最初のフレームから前記参照フレームまでの距離に基づく、請求項３に記載のポイントクラウドデータ送信方法。

【請求項5】

前記フレームはＩフレーム及びＰフレームの何れかを含み、
前記Ｉフレームは複数のフレームの集合であるＧｏＦ(Ｇｒｏｕｐ ｏｆ Ｆｒａｍｅｓ)の最初のフレームであり、
前記Ｐフレームは前記Ｉフレーム又は他のＰフレームを参照して予測されたフレームである、請求項１に記載のポイントクラウドデータ送信方法。

【請求項6】

前記参照フレームはフレームの間の動きベクトルの差に基づいて探索される、請求項３に記載のポイントクラウドデータ送信方法。

【請求項7】

ポイントクラウドデータ送信装置であって、
フレームに含まれたポイントクラウドデータを符号化するエンコーダー；及び
前記ポイントクラウドデータを含むビットストリームを送信する送信機；を備えてなり、
前記エンコーダーは、前記ポイントクラウドデータのジオメトリ情報及び前記ポイントクラウドデータの特質情報を符号化する、ポイントクラウドデータ送信装置。

【請求項8】

前記フレームに含まれた前記ポイントクラウドデータは以前のフレームに基づいて符号化され、
前記フレームは前記以前のフレームに連関する従属フレームであり、
前記フレームに含まれた前記ポイントクラウドデータは前記以前のフレームのコンテキストに基づいて符号化され、
前記エンコーダーは前記フレームのコンテキストを格納する、請求項７に記載のポイントクラウドデータ送信装置。

【請求項9】

前記フレームに連関する前記以前のフレームは参照フレームであり、
前記参照フレームは前記以前のフレームのタイプに基づいて探索され、
前記ビットストリームは前記参照フレームを示すインデックス情報を含み、
前記ビットストリームは前記フレームが前記参照フレームのコンテキストに基づいて符号化されるか否かを示す情報を含む、請求項７に記載のポイントクラウドデータ送信装置。

【請求項10】

ポイントクラウドデータ受信方法であって、
フレームに含まれたポイントクラウドデータを含むビットストリームを受信する段階;及び
前記ポイントクラウドデータを復号する段階;を含んでなり、
前記ポイントクラウドデータを復号する段階は、
前記ポイントクラウドデータのジオメトリ情報を復号する段階と、
前記ポイントクラウドデータの特質情報を復号する段階と、を含む、ポイントクラウドデータ受信方法。

【請求項11】

前記フレームの前記ポイントクラウドデータは以前のフレームに基づいて復号され、
前記フレームは前記以前のフレームに連関する従属フレームであり、
前記フレームの前記ポイントクラウドデータは前記以前のフレームのコンテキストに基づいて復号され、
前記ポイントクラウドデータを復号する段階は前記フレームのコンテキストを格納する段階を含む、請求項１０に記載のポイントクラウドデータ受信方法。

【請求項12】

前記フレームに連関する前記以前のフレームは参照フレームであり、
前記参照フレームは前記以前のフレームのタイプに基づいて探索され、
前記ビットストリームは前記参照フレームを示すインデックス情報を含み、
前記ビットストリームは前記フレームが前記参照フレームのコンテキストに基づいて符号化されるか否かを示す情報を含む、請求項１１に記載のポイントクラウドデータ受信方法。

【請求項13】

ポイントクラウドデータ受信装置であって、
フレームに含まれたポイントクラウドデータを含むビットストリームを受信する受信部；及び
前記ポイントクラウドデータを復号するデコーダー；を備えてなり、
前記デコーダーは前記ポイントクラウドデータのジオメトリ情報及び特質情報を復号し、
前記フレームに含まれた前記ポイントクラウドデータは以前のフレームに基づいて復号される、ポイントクラウドデータ受信装置。

【請求項14】

前記フレームは前記以前のフレームに連関する従属フレームであり、
前記フレームの前記ポイントクラウドデータは前記以前のフレームのコンテキストに基づいて復号され、
前記デコーダーは前記フレームのコンテキストを格納し、
前記フレームに連関する前記以前のフレームは参照フレームであり、
前記参照フレームは前記以前のフレームのタイプに基づいて探索される、請求項１３に記載のポイントクラウドデータ受信装置。

【請求項15】

前記ビットストリームは前記参照フレームを示すインデックス情報を含み、
前記ビットストリームは前記フレームが前記参照フレームのコンテキストに基づいて符号化されるか否かを示す情報を含む、請求項１４に記載のポイントクラウドデータ受信装置。

【国際調査報告】