特表 2024-540150 ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置、及びポイントクラウドデータ受信方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-31

(54)【発明の名称】ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置、及びポイントクラウドデータ受信方法

(51)【国際特許分類】

   G06T 9/40 20060101AFI20241024BHJP

【ＦＩ】

G06T9/40

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024525551

(86)(22)【出願日】2022-10-27

(85)【翻訳文提出日】2024-04-26

(86)【国際出願番号】 KR2022016584

(87)【国際公開番号】W WO2023075453

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】10-2021-0144944

(32)【優先日】2021-10-27

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】オ ヒョンムク

(57)【要約】

実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータ内のジオメトリデータを符号化するステップ、ジオメトリデータに基づいてポイントクラウドデータ内の特質データを符号化するステップ、及び符号化されたジオメトリデータ、符号化された特質データ、及びシグナリング情報を送信するステップを含む。
【選択図】図１８

【特許請求の範囲】

【請求項1】

ポイントクラウドデータ内のジオメトリデータを符号化するステップと、
前記ジオメトリデータに基づいて前記ポイントクラウドデータ内の特質データを符号化するステップと、
前記符号化されたジオメトリデータ、前記符号化された特質データ、及びシグナリング情報を送信するステップと、を含み、
前記ジオメトリデータを符号化するステップは、
前記ジオメトリデータに基づいて現在フレームの予測ツリーを生成するステップ、
参照フレームのジオメトリデータに基づいて前記参照フレームの予測ツリーを生成するステップ、及び
前記現在フレームの予測ツリー構造において符号化されるノードの親ノードと前記シグナリング情報に基づいて前記参照フレームの予測ツリーで予測値を生成するステップ、及び
前記生成された予測値に基づいて前記符号化されるノードの予測を行い、残余情報を取得するステップを含む、ポイントクラウドデータ送信方法。

【請求項2】

前記予測値は、前記参照フレームの１つ以上の参照ノードに基づいて決定されることを特徴とする、請求項１に記載のポイントクラウドデータ送信方法。

【請求項3】

前記予測値は、前記参照フレームの１つ以上の参照ノード間の変化量を適用して決定される、請求項２に記載のポイントクラウドデータ送信方法。

【請求項4】

前記ポイントクラウドデータは、１つ以上のレーザーを用いて取得され、
前記現在フレームのエレベーション角度と前記参照フレームのエレベーション角度とは同一であることを特徴とする、請求項１に記載のポイントクラウドデータ送信方法。

【請求項5】

前記ポイントクラウドデータは、１つ以上のレーザーを用いて取得され、
前記現在フレームのエレベーション角度と前記参照フレームのエレベーション角度とは異なることを特徴とする、請求項１に記載のポイントクラウドデータ送信方法。

【請求項6】

前記残余情報は、前記現在フレームのレーザーＩＤと前記参照フレームのレーザーＩＤとの差値をさらに含む、請求項５に記載のポイントクラウドデータ送信方法。

【請求項7】

前記シグナリング情報は、
前記予測値を決定する方法を指示するための予測モード情報を含む、請求項１に記載のポイントクラウドデータ送信方法。

【請求項8】

ポイントクラウドデータ内のジオメトリデータを符号化するジオメトリエンコーダと、
前記ジオメトリデータに基づいて前記ポイントクラウドデータ内の特質データを符号化する特質エンコーダと、
前記符号化されたジオメトリデータ、前記符号化された特質データ、及びシグナリング情報を送信する送信部と、を含み、
前記ジオメトリエンコーダは、
前記ジオメトリデータに基づいて現在フレームの予測ツリーを生成する第１の予測ツリー生成部、
参照フレームのジオメトリデータに基づいて前記参照フレームの予測ツリーを生成する第２の予測ツリー生成部、及び
前記現在フレームの予測ツリー構造において符号化されるノードの親ノードと前記シグナリング情報に基づいて前記参照フレームの予測ツリーで予測値を生成し、前記生成された予測値に基づいて前記符号化されるノードの予測を行い、残余情報を取得する予測部を含む、ポイントクラウドデータ送信装置。

【請求項9】

前記予測値は、前記参照フレームの１つ以上の参照ノードに基づいて決定されることを特徴とする、請求項８に記載のポイントクラウドデータ送信装置。

【請求項10】

前記予測値は、前記参照フレームの１つ以上の参照ノード間の変化量を適用して決定される、請求項９に記載のポイントクラウドデータ送信装置。

【請求項11】

前記ポイントクラウドデータは、１つ以上のレーザーを用いて取得され、
前記現在フレームのエレベーション角度と前記参照フレームのエレベーション角度とは同一であることを特徴とする、請求項８に記載のポイントクラウドデータ送信装置。

【請求項12】

前記ポイントクラウドデータは、１つ以上のレーザーを用いて取得され、
前記現在フレームのエレベーション角度と前記参照フレームのエレベーション角度とは異なることを特徴とする、請求項８に記載のポイントクラウドデータ送信装置。

【請求項13】

前記残余情報は、前記現在フレームのレーザーＩＤと前記参照フレームのレーザーＩＤとの差値をさらに含む、請求項１２に記載のポイントクラウドデータ送信装置。

【請求項14】

前記シグナリング情報は、
前記予測値を決定する方法を指示するための予測モード情報を含む、請求項８に記載のポイントクラウドデータ送信装置。

【請求項15】

ジオメトリデータ、特質データ、及びシグナリング情報を受信するステップと、
前記シグナリング情報に基づいて前記ジオメトリデータを復号するステップと、
前記シグナリング情報と前記復号されたジオメトリデータに基づいて前記特質データを復号するステップと、
前記シグナリング情報に基づいて前記復号されたジオメトリデータと前記復号された特質データから復元されたポイントクラウドデータをレンダリングするステップと、を含み、
前記ジオメトリデータを復号するステップは、
前記シグナリング情報と現在フレームの復号されるノードに基づいて参照フレーム上で予測値を生成するステップ、及び
前記生成された予測値と前記受信されたジオメトリデータに含まれた残余情報に基づいて前記ジオメトリデータを復元するステップを含む、ポイントクラウドデータ受信方法。

【発明の詳細な説明】

【技術分野】

【0001】

実施例はポイントクラウドコンテンツ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｎｔｅｎｔ)を処理する方法及び装置に関する。

【背景技術】

【0002】

ポイントクラウドコンテンツは３次元空間を表現する座標系に属する点(ポイント)の集合であるポイントクラウドで表現されるコンテンツである。ポイントクラウドコンテンツは３次元からなるメディアを表現でき、ＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、ＸＲ(Extended Reality), 複合現実)及び自律走行サービスなどの様々なサービスを提供するために使用される。しかし、ポイントクラウドコンテンツを表現するためには、数万から数十万個のポイントデータが必要である。従って、膨大な量のポイントデータを効率的に処理する方法が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

実施例による技術的課題は、上述した問題などを解決するために、ポイントクラウドを効率的に送受信するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置及び受信方法を提供することにある。

【0004】

実施例による技術的課題は、遅延時間(ｌａｔｅｎｃｙ)及び符号化／復号の複雑度を解決するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置及び受信方法を提供することにある。

【0005】

実施例による技術的な課題は、ジオメトリ－ポイントクラウド圧縮(Ｇｅｏｍｅｔｒｙ－ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ、Ｇ－ＰＣＣ)ビットストリームを効率的に送受信するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置及び受信方法を提供することにある。

【0006】

実施例による技術的な課題は、予測基盤コーディング方法を適用し、ポイントクラウドデータを圧縮して送／受信することで、ポイントクラウドデータを効率的に圧縮するポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置及び受信方法を提供することにある。

【0007】

実施例による技術的な課題は、予測基盤コーディング方法を適用し、ポイントクラウドデータを圧縮するとき、フレーム間の相関関係に基づいて重複情報を除去することで、圧縮効率を高めるポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置及び受信方法を提供することにある。

【0008】

但し、上述した技術的課題のみに制限されず、記載する全ての内容に基づいて当業者が導き出される他の技術的課題にも実施例の権利範囲を拡張することができる。

【課題を解決するための手段】

【0009】

前述した目的及びその他の利点を達成するために、実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータ内のジオメトリデータを符号化するステップ、前記ジオメトリデータに基づいて前記ポイントクラウドデータ内の特質データを符号化するステップ、及び前記符号化されたジオメトリデータ、前記符号化された特質データ、及びシグナリング情報を送信するステップを含む。

【0010】

前記ジオメトリデータを符号化するステップは、前記ジオメトリデータに基づいて現在フレームの予測ツリーを生成するステップ、参照フレームのジオメトリデータに基づいて前記参照フレームの予測ツリーを生成するステップ、前記現在フレームの予測ツリー構造において符号化されるノードの親ノードと前記シグナリング情報に基づいて前記参照フレームの予測ツリーで予測値を生成するステップ、及び前記生成された予測値に基づいて前記符号化されるノードの予測を行い、残余情報を取得するステップを含む。

【0011】

前記予測値は、前記参照フレームの１つ以上の参照ノードに基づいて決定されることを一実施例とする。

【0012】

前記予測値は、前記参照フレームの１つ以上の参照ノード間の変化量が適用されて決定されることを一実施例とする。

【0013】

前記ポイントクラウドデータは、１つ以上のレーザーを用いて取得され、前記現在フレームのエレベーション角度と前記参照フレームのエレベーション角度とは同一であることを一実施例とする。

【0014】

前記ポイントクラウドデータは、１つ以上のレーザーを用いて取得され、前記現在フレームのエレベーション角度と前記参照フレームのエレベーション角度とは異なることを一実施例とする。

【0015】

前記残余情報は、前記現在フレームのレーザーＩＤと前記参照フレームのレーザーＩＤとの差値をさらに含むことを一実施例とする。

【0016】

前記シグナリング情報は、前記予測値を決定する方法を指示するための予測モード情報を含むことを一実施例とする。

【0017】

実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータ内のジオメトリデータを符号化するジオメトリエンコーダ、前記ジオメトリデータに基づいて前記ポイントクラウドデータ内の特質データを符号化する特質エンコーダ、及び前記符号化されたジオメトリデータ、前記符号化された特質データ、及びシグナリング情報を送信する送信部を含む。

【0018】

前記ジオメトリエンコーダは、前記ジオメトリデータに基づいて現在フレームの予測ツリーを生成する第１の予測ツリー生成部、参照フレームのジオメトリデータに基づいて前記参照フレームの予測ツリーを生成する第２の予測ツリー生成部、及び前記現在フレームの予測ツリー構造において符号化されるノードの親ノードと前記シグナリング情報に基づいて前記参照フレームの予測ツリーで予測値を生成し、前記生成された予測値に基づいて前記符号化されるノードの予測を行い、残余情報を取得する予測部を含む。

【0019】

前記予測値は、前記参照フレームの１つ以上の参照ノードに基づいて決定されることを一実施例とする。

【0020】

前記予測値は、前記参照フレームの１つ以上の参照ノード間の変化量が適用されて決定されることを一実施例とする。

【0021】

前記ポイントクラウドデータは、１つ以上のレーザーを用いて取得され、前記現在フレームのエレベーション角度と前記参照フレームのエレベーション角度とは同一であることを一実施例とする。

【0022】

前記ポイントクラウドデータは、１つ以上のレーザーを用いて取得され、前記現在フレームのエレベーション角度と前記参照フレームのエレベーション角度とは異なることを一実施例とする。

【0023】

前記残余情報は、前記現在フレームのレーザーＩＤと前記参照フレームのレーザーＩＤとの差値をさらに含むことを一実施例とする。

【0024】

前記シグナリング情報は、前記予測値を決定する方法を指示するための予測モード情報を含むことを一実施例とする。

【0025】

実施例によるポイントクラウドデータ受信方法は、ジオメトリデータ、特質データ、及びシグナリング情報を受信するステップ、前記シグナリング情報に基づいて前記ジオメトリデータを復号するステップ、前記シグナリング情報と前記復号されたジオメトリデータに基づいて前記特質データを復号するステップ、及び前記シグナリング情報に基づいて前記復号されたジオメトリデータと前記復号された特質データから復元されたポイントクラウドデータをレンダリングするステップを含む。

【0026】

前記ジオメトリデータを復号するステップは、前記シグナリング情報と現在フレームの復号されるノードに基づいて参照フレーム上で予測値を生成するステップ、及び前記生成された予測値と前記受信されたジオメトリデータに含まれた残余情報に基づいて前記ジオメトリデータを復元するステップを含む。

【発明の効果】

【0027】

実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、良質のポイントクラウドサービスを提供する。

【0028】

実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、様々なビデオコーデック方式を達成する。

【0029】

実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、自立走行サービスなどの汎用的なポイントクラウドコンテンツを提供する。

【0030】

実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、ポイントクラウドデータの独立的な符号化及び復号のためにポイントクラウドデータの空間適応的分割を行うことにより、並列処理の向上及び拡張性(ｓｃａｌａｂｉｌｉｔｙ)を提供する。

【0031】

実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、ポイントクラウドデータをタイル及び／又はスライス単位に分割して符号化及び復号を行い、このために必要なデータをシグナリングすることで、ポイントクラウドの符号化及び復号の性能を向上させることができる。

【0032】

実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、予測基盤ポイントクラウド圧縮方法を使用することで、低遅延(ｌｏｗ ｄｅｌａｙ又はｌｏｗ ｌａｔｅｎｃｙ)が求められる環境に対して早い速度の符号化及び復号を提供することができる。

【0033】

実施例によるポイントクラウドデータ送信方法、送信装置、及びエンコーダは、フレーム内の予測だけではなく、フレーム間の予測をさらに考慮することで、ポイントクラウドデータを効率的に圧縮する効果がある。

【0034】

実施例によるポイントクラウドデータ受信方法、受信装置及びデコーダは、ポイントクラウドデータを含むビットストリームを受信し、ビットストリーム内のシグナリング情報に基づいてフレーム間の予測を行うことで、ポイントクラウドデータを効率的に復元する効果がある。

【0035】

実施例によるポイントクラウドデータ送信方法及び送信装置において、ポイントクラウドデータが連続したフレームからなる場合、隣接フレームの隣接ノード間の差異類似性に基づいて、フレーム間の重複情報を除去することで、ポイントクラウドデータの圧縮効率を高めることができる。

【0036】

実施例によるポイントクラウドデータ送信方法及び送信装置において、ポイントクラウドデータが連続したフレームからなる場合、参照フレームの隣接レーザープレーンのノード間の変化量に基づいてフレーム間の予測を行うことで、ポイントクラウドデータの圧縮効率を高めることができる。

【0037】

実施例によれば、実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、予測ツリーのルートのように、フレーム内の予測が不可能であるか、フレーム内の予測の正確性が落ちる場合、参照フレーム(例えば、以前フレーム又は先行フレーム)において関連するポイントの情報を使用することで、ビットストリームのサイズを減らす効果を得ることができる。特に、参照フレームの関連するノード間の差異情報を用いるか、又は隣接したレーザーを用いることで、予測の正確性を高めることができる。

【図面の簡単な説明】

【0038】

図面は実施例をさらに理解するために添付され、実施例に関する説明と共に実施例を示す。

【0039】

【図1】実施例によるポイントクラウドのコンテンツ提供のためのシステムを示す図である。

【図2】実施例によるポイントクラウドのコンテンツ提供のための過程を示す図である。

【図3】実施例によるポイントクラウドのキャプチャー装備の配列構成を示す図である。

【図4】実施例によるポイントクラウドビデオエンコーダ(ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)を示す図である。

【図5】実施例による３次元空間上のボクセルを示す図である。

【図6】実施例による八分木及び占有コードの一例を示す図である。

【図7】実施例による隣接ノードパターンの一例を示す図である。

【図8】実施例によるＬＯＤごとのポイントクラウドコンテンツのポイント構成の一例を示す図である。

【図9】実施例によるＬＯＤごとのポイントクラウドコンテンツのポイント構成の一例を示す図である。

【図10】実施例によるポイントクラウドビデオデコーダ(ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｄｅｃｏｄｅｒ)のブロック図(ｂｌｏｃｋ ｄｉａｇｒａｍ)の一例である。

【図11】実施例によるポイントクラウドビデオデコーダ(ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｄｅｃｏｄｅｒ)の一例を示す図である。

【図12】実施例による送信機のポイントクラウドビデオ符号化のための構成要素を示す図である。

【図13】実施例による受信機のポイントクラウドビデオ復号のための構成要素を示す図である。

【図14】実施例によるポイントクラウドデータ方法／装置に連動可能な構造の一例を示す図である。

【図15】実施例による特定のスライスの予測ツリー構造の一例を示す図である。

【図16】実施例によるポイントクラウド送信装置のまた他の一例を示す図である。

【図17】実施例による予測ツリー構造においてフレーム間の予測を行う一例を示す図である。

【図18】実施例による予測ツリー構造においてフレーム間の予測を行う他の一例を示す図である。

【図19】実施例による低いエレベーション角度の参照フレーム内の参照ノードを予測値として使用する一例を示す図である。

【図20】実施例による高いエレベーション角度の参照フレーム内の参照ノードを予測値として使用する一例を示す図である。

【図21】実施例による低いエレベーション角度の参照フレーム内の参照ノード間の変化量に基づいて予測を行う一例を示す図である。

【図22】実施例による高いエレベーション角度の参照フレーム内の参照ノード間の変化量に基づいて予測を行う一例を示す図である。

【図23】実施例によるジオメトリエンコーダの詳細なブロック図の一例を示す図である。

【図24】実施例による予測基盤の圧縮を行うためのジオメトリ符号化の過程の一例を示す図である。

【図25】実施例による送／受信のためのポイントクラウドデータのビットストリーム構造の一例を示す図である。

【図26】実施例によるジオメトリデータユニット(ｇｅｏｍｅｔｒｙ_ｄａｔａ_ｕｎｉｔ())のシンタックス構造の一例を示す図である。

【図27】実施例によるジオメトリデータユニットヘッダ(ｇｅｏｍｅｔｒｙ_ｄａｔａ_ｕｎｉｔ_ｈｅａｄｅｒ())のシンタックス構造の一例を示す図である。

【図28】実施例によるジオメトリ予測ツリーデータ(ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｄａｔａ())のシンタックス構造の一例を示す図である。

【図29】実施例によるｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ)のシンタックス構造の一例を示す図である。

【図30】実施例によるｐｒｅｄｔｒｅｅ_ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ()のシンタックス構造の一例を示す図である。

【図31】実施例によるポイントクラウド受信装置のまた他の一例を示す図である。

【図32】実施例によるジオメトリデコーダの詳細なブロック図の一例を示す図である。

【図33】実施例による予測基盤で圧縮されたジオメトリを復元するためのジオメトリ復号方法の一例を示す図である。

【発明を実施するための形態】

【0040】

以下、添付図面を参照しながらこの明細書に記載された実施例について詳しく説明するが、図面符号に関係なく、同一又は類似する構成要素には同じ参照符号を付し、重複する説明は省略する。以下の実施例は本発明を具体化するためのものであり、本発明の権利範囲を制限又は限定するものではない。本発明の詳細な説明及び実施例から本発明が属する技術分野の専門家が容易に類推できるものは本発明の権利範囲に属するものと解釈される。

【0041】

この明細書の詳細な説明は全ての面で制限的に解釈されてはいけず、例示的なものとして考慮されるべきである。本発明の範囲は添付する請求範囲の合理的な解釈に基づいて決定されるべきであり、本発明の等価的範囲内での全ての変更は本発明の範囲に含まれる。

【0042】

添付図面を参照しながら望ましい実施例について具体的に説明する。添付図面を参照した以下の詳細な説明は、実施例によって具現可能な実施例のみを示すというより、望ましい実施例を説明するためのものである。以下の詳細な説明は実施例に関する徹底な理解を提供するために細部事項を含む。しかし、かかる細部事項がなくても実施例を実行できることは当業者にとって明らかである。実施例で使用するほとんどの用語は該当分野において広く使用される一般的なものであるが、一部は出願人によって任意に選択されたものもあり、その意味は必要によって以下に詳しく説明する。よって、実施例は用語の単純な名称や意味ではなく、用語が意図する意味に基づいて理解されるべきである。また、以下の図面及び詳細な説明は具体的に記載された実施例に限って解釈してはいけず、図面及び詳細な説明に記載の実施例と均等又は代替可能なものまで含むものと解釈すべきである。

【0043】

図１は実施例によるポイントクラウドコンテンツ提供システムの一例を示す図である。

【0044】

図１に示したポイントクラウドコンテンツ提供システムは、送信装置(ｔｒａｎｓｍｉｓｓｉｏｎ ｄｅｖｉｃｅ)１００００及び受信装置(ｒｅｃｅｐｔｉｏｎ ｄｅｖｉｃｅ)１０００４を含む。送信装置１００００及び受信装置１０００４はポイントクラウドデータを送受信するために有無線通信が可能である。

【0045】

実施例による送信装置１００００は、ポイントクラウドビデオ(又はポイントクラウドコンテンツ)を確保し処理して送信する。実施例において、送信装置１００００は固定局(ｆｉｘｅｄ ｓｔａｔｉｏｎ)、ＢＴＳ(ｂａｓｅ ｔｒａｎｓｃｅｉｖｅｒ ｓｙｓｔｅｍ)、ネットワーク、ＡＩ(Ａｒｉｔｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ)機器及び／又はシステム、ロボット、ＡＲ／ＶＲ／ＸＲ機器及び／又はサーバーなどを含む。また実施例において、送信装置１００００は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。

【0046】

実施例による送信装置１００００は、ポイントクラウドビデオ獲得部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ａｃｑｕｉｓｉｔｉｏｎ)１０００１、ポイントクラウドビデオエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)１０００２及び／又は送信機(Ｔｒａｎｓｍｉｔｔｅｒ(又は通信モジュール)１０００３を含む。

【0047】

実施例によるポイントクラウドビデオ獲得部１０００１は、キャプチャー、合成又は生成などの処理過程によりポイントクラウドビデオを獲得する。ポイントクラウドビデオは、３次元空間に位置するポイントの集合であるポイントクラウドで表現されるポイントクラウドコンテンツであって、ポイントクラウドビデオデータなどと呼ばれる。実施例によるポイントクラウドビデオは、一つ又はそれ以上のフレームを含む。一つのフレームは停止映像／ピクチャを示す。よって、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャを含み、ポイントクラウド映像、フレーム及びピクチャのうちのいずれかに呼ばれる。

【0048】

実施例によるポイントクラウドビデオエンコーダ１０００２は、確保したポイントクラウドビデオデータを符号化する。ポイントクラウドビデオエンコーダ１０００２はポイントクラウド圧縮(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディングに基づいてポイントクラウドビデオデータを符号化する。実施例によるポイントクラウド圧縮コーディングは、Ｇ－ＰＣＣ(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又はＶ－ＰＣＣ(Ｖｉｄｅｏ ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング又は次世代コーディングを含む。なお、実施例によるポイントクラウド圧縮コーディングは、上述した実施例に限られない。ポイントクラウドビデオエンコーダ１０００２は、符号化されたポイントクラウドビデオデータを含むビットストリームを出力することができる。ビットストリームは符号化されたポイントクラウドビデオデータだけではなく、ポイントクラウドビデオデータの符号化に関連するシグナリング情報を含む。

【0049】

実施例による送信機１０００３は、符号化されたポイントクラウドビデオデータを含むビットストリームを送信する。実施例によるビットストリームはファイル又はセグメント(例えば、ストリーミングセグメント)などにカプセル化されて、放送網及び／又はブロードバンド網などの様々なネットワークにより送信される。図示していないが、送信装置１００００はカプセル化動作を行うカプセル化部(又はカプセル化モジュール)を含む。また実施例において、カプセル化部は送信機１０００３に含まれる。実施例において、ファイル又はセグメントはネットワークにより受信装置１０００４に送信されるか、又はデジタル格納媒体(例えば、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど)に格納される。実施例による送信機１０００３は受信装置１０００４(又は受信機(Ｒｅｃｅｉｖｅｒ)１０００５)と４Ｇ、５Ｇ、６Ｇなどのネットワークにより有無線通信が可能である。また送信機１０００３はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)によって必要なデータ処理動作を行うことができる。また送信装置１００００はオンデマンド(Ｏｎ Ｄｅｍａｎｄ)方式によってカプセル化されたデータを送信することもできる。

【0050】

実施例による受信装置１０００４は、受信機(Ｒｅｃｅｉｖｅｒ)１０００５、ポイントクラウドビデオデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)１０００６及び／又はレンダラー(Ｒｅｎｄｅｒｅｒ)１０００７を含む。実施例において、受信装置１０００４は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。

【0051】

実施例による受信機１０００５は、ポイントクラウドビデオデータを含むビットストリーム又はビットストリームがカプセル化されたファイル／セグメントなどをネットワーク又は格納媒体から受信する。受信機１０００５はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)により必要なデータ処理動作を行う。実施例による受信機１０００５は、受信したファイル／セグメントをデカプセル化してビットストリームを出力する。また実施例において、受信機１０００５はデカプセル化の動作を行うためのデカプセル化部(又はデカプセル化モジュール)を含む。またデカプセル化部は受信機１０００５とは別個のエレメント(又はコンポーネント)で具現される。

【0052】

ポイントクラウドビデオデコーダ１０００６は、ポイントクラウドビデオデータを含むビットストリームを復号する。ポイントクラウドビデオデコーダ１０００６はポイントクラウドビデオデータが符号化された方式により復号することができる(例えば、ポイントクラウドビデオエンコーダ１０００２の動作の逆の過程)。従って、ポイントクラウドビデオデコーダ１０００６はポイントクラウド圧縮の逆過程であるポイントクラウド復元コーディングを行って、ポイントクラウドビデオデータを復号することができる。ポイントクラウド復元コーディングはＧ－ＰＣＣコーディングを含む。

【0053】

レンダラー１０００７は復号されたポイントクラウドビデオデータをレンダリングする。レンダラー１０００７はポイントクラウドビデオデータだけではなく、オディオデータもレンダリングしてポイントクラウドコンテンツを出力する。実施例において、レンダラー１０００７はポイントクラウドコンテンツをディスプレイするためのディスプレイを含む。実施例において、ディスプレイはレンダラー１０００７に含まれず、別のデバイス又はコンポーネントで具現される。

【0054】

図面において、点線で示した矢印は、受信装置１０００４で得たフィードバック情報(ｆｅｅｄｂａｃｋ ｉｎｆｏｒｍａｔｉｏｎ)の送信経路を示す。フィードバック情報はポイントクラウドコンテンツを消費するユーザとの相互作用を反映するための情報であって、ユーザの情報を含む(例えば、ヘッドオリエンテーション情報)、ビューポート情報など)。特に、ポイントクラウドコンテンツがユーザとの相互作用が必要なサービス(例えば、自律走行サービスなど)のためのものである場合には、フィードバック情報はコンテンツ送信側(例えば、送信装置１００００)及び／又はサービス供給者に伝達されることができる。実施例において、フィードバック情報は送信装置１００００だけではなく受信装置１０００４でも使用されることができ、提供されないこともできる。

【0055】

実施例によるヘッドオリエンテーション情報はユーザの頭の位置、方向、角度、動きなどに関する情報である。実施例による受信装置１０００４はヘッドオリエンテーション情報に基づいてビューポート情報を計算する。ビューポート情報はユーザが見ているポイントクラウドビデオの領域に関する情報である。視点(ｖｉｅｗｐｏｉｎｔ)はユーザがポイントクラウドビデオを見ている点であり、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とする領域であり、領域のサイズ、形態などはＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)により決定される。従って、受信装置１０００４はヘッドオリエンテーション情報以外に、装置が支援する垂直(ｖｅｒｔｉｃａｌ)或いは水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート情報を抽出することができる。また受信装置１０００４はゲイズ分析(Ｇａｚｅ Ａｎａｌｙｓｉｓ)などを行って、ユーザのポイントクラウド消費方式、ユーザが凝視するポイントクラウドビデオ領域、凝視時間などを確認する。実施例において、受信装置１０００４はゲイズ分析の結果を含むフィードバック情報を送信装置１００００に送信することができる。実施例によるフィードバック情報はレンダリング及び／又はディスプレイ過程で得られる。実施例によるフィードバック情報は受信装置１０００４に含まれた一つ又はそれ以上のセンサにより確保される。また実施例において、フィードバック情報はレンダラー１０００７又は別の外部エレメント(又はデバイス、コンポーネントなど)により確保される。

【0056】

図１に示された点線はレンダラー１０００７で確保したフィードバック情報の伝達過程を示す。ポイントクラウドコンテンツ提供システムはフィードバック情報に基づいてポイントクラウドデータを処理(符号化／復号)する。従って、ポイントクラウドビデオデータデコーダ１０００６はフィードバック情報に基づいて復号の動作を行うことができる。また受信装置１０００４はフィードバック情報を送信装置１００００に送信することができる。送信装置１００００(又はポイントクラウドビデオデータエンコーダ１０００２)はフィードバック情報に基づいて符号化の動作を行うことができる。従って、ポイントクラウドコンテンツ提供システムは全てのポイントクラウドデータを処理(符号化／復号)せず、フィードバック情報に基づいて必要なデータ(例えば、ユーザのヘッド位置に対応するポイントクラウドデータ)を効率的に処理して、ユーザにポイントクラウドコンテンツを提供することができる。

【0057】

実施例において、送信装置１００００はエンコーダ、送信デバイス、送信機などに呼ばれ、受信装置１０００４はデコーダ、受信デバイス、受信機などに呼ばれる。

【0058】

実施例による図１のポイントクラウドコンテンツ提供システムで処理される(獲得／符号化／送信／復号／レンダリングの一連の過程で処理される)ポイントクラウドデータは、ポイントクラウドコンテンツデータ又はポイントクラウドビデオデータとも呼ばれる。実施例において、ポイントクラウドコンテンツデータはポイントクラウドデータに関連するメタデータ或いはシグナリング情報を含む概念として使用することができる。

【0059】

図１に示したポイントクラウドコンテンツ提供システムのエレメントは、ハードウェア、ソフトウェア、プロセッサ及び／又はこれらの組み合わせなどで具現される。

【0060】

図２は実施例によるポイントクラウドコンテンツ提供の動作を示すブロック図である。

【0061】

図２は図１で説明したポイントクラウドコンテンツ提供システムの動作を示すブロック図である。上述したように、ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディング(例えば、Ｇ－ＰＣＣ)に基づいてポイントクラウドデータを処理する。

【0062】

実施例によるポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)では、ポイントクラウドビデオを獲得する(２００００)。ポイントクラウドビデオは３次元空間を表現する座標系に属するポイントクラウドで表現される。実施例によるポイントクラウドビデオはＰｌｙ(Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａt)ファイルを含む。ポイントクラウドビデオが一つ又はそれ以上のフレームを有する場合、獲得したポイントクラウドビデオは一つ又はそれ以上のＰｌｙファイルを含む。Ｐｌｙファイルはポイントのジオメトリ(Ｇｅｏｍｅｔｒｙ)及び／又は特質(Ａｔｔｒｉｂｕｔｅ)のようなポイントクラウドデータを含む。ジオメトリはポイントの位置を含む。それぞれのポイントの位置は３次元座標系(例えば、ＸＹＺ軸からなる座標系など)を示すパラメータ(例えば、Ｘ軸、Ｙ軸、Ｚ軸それぞれの値)で表現される。特質はポイントの特質(例えば、それぞれのポイントのテクスチャ情報、色相(ＹＣｂＣｒ又はＲＧＢ)、反射率(ｒ)、透明度など)を含む。一つのポイントは一つ又はそれ以上の特質(又は属性)を有する。例えば、一つのポイントは、色相の一つの特質を有するか、或いは色相及び反射率の二つの特質を有することができる。実施例において、ジオメトリは位置、ジオメトリ情報、ジオメトリデータなどとも呼ばれ、特質は特質、特質情報、特質データなどとも呼ばれる。またポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)は、ポイントクラウドビデオの獲得過程に関連する情報(例えば、深さ情報、色相情報など)からポイントクラウドデータを確保することができる。

【0063】

実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又はポイントクラウドビデオエンコーダ１０００２)は、ポイントクラウドデータを符号化する(２０００１)。ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディングに基づいてポイントクラウドデータを符号化する。上述したように、ポイントクラウドデータはポイントのジオメトリ及び特質を含む。よって、ポイントクラウドコンテンツ提供システムは、ジオメトリを符号化するジオメトリ符号化を行ってジオメトリビットストリームを出力することができる。ポイントクラウドコンテンツ提供システムは、特質を符号化する特質符号化を行って特質ビットストリームを出力することができる。実施例において、ポイントクラウドコンテンツ提供システムはジオメトリ符号化に基づいて特質符号化を行うことができる。実施例によるジオメトリビットストリーム及び特質ビットストリームは多重化されて一つのビットストリームで出力される。実施例によるビットストリームはジオメトリ符号化及び特質符号化に関連するシグナリング情報をさらに含む。

【0064】

実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又は送信機１０００３)は、符号化されたポイントクラウドデータを送信する(２０００２)。図１で説明したように、符号化されたポイントクラウドデータはジオメトリビットストリーム、特質ビットストリームで表現される。また符号化されたポイントクラウドデータはポイントクラウドデータの符号化に関連するシグナリング情報(例えば、ジオメトリ符号化及び特質符号化に関連するシグナリング情報)と共に、ビットストリームの形態で送信される。またポイントクラウドコンテンツ提供システムは符号化されたポイントクラウドデータを送信するビットストリームをカプセル化してファイル又はセグメントの形態で送信する。

【0065】

実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、符号化されたポイントクラウドデータを含むビットストリームを受信する。またポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、ビットストリームを逆多重化することができる。

【0066】

ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームで送信される符号化されたポイントクラウドデータ(例えば、ジオメトリビットストリーム、特質ビットストリーム)を復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームに含まれたポイントクラウドビデオデータの符号化に関連するシグナリング情報に基づいてポイントクラウドビデオデータを復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ジオメトリビットストリームを復号してポイントの位置(ジオメトリ)を復元する。ポイントクラウドコンテンツ提供システムは、復元したジオメトリに基づいて特質ビットストリームを復号してポイントの特質を復元する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、復元されたジオメトリによる位置及び復号された特質に基づいてポイントクラウドビデオを復元する。

【0067】

実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号されたポイントクラウドデータをレンダリングする(２０００４)。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号過程で復号されたジオメトリ及び特質を様々なレンダリング方式によってレンダリングする。ポイントクラウドコンテンツのポイントは、一定の厚さを有する定点、該当定点の位置を中央とする所定の最小サイズを有する立方体、又は定点の位置を中央とする円などにレンダリングされる。レンダリングされたポイントクラウドコンテンツの全部又は一部の領域はディスプレイ(例えば、ＶＲ／ＡＲディスプレイ、一般ディスプレイなど)によりユーザに提供される。

【0068】

実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４)は、フィードバック情報を確保することができる(２０００５)。ポイントクラウドコンテンツ提供システムは、フィードバック情報に基づいてポイントクラウドデータを符号化及び／又は復号する。実施例によるフィードバック情報及びポイントクラウドコンテンツ提供システムの動作は、図１で説明したフィードバック情報及び動作と同一であるので、具体的な説明は省略する。

【0069】

図３は実施例によるポイントクラウドビデオキャプチャー過程の一例を示す図である。

【0070】

図３は図１及び図２で説明したポイントクラウドコンテンツ提供システムのポイントクラウドビデオキャプチャー過程の一例を示す。

【0071】

ポイントクラウドコンテンツは、様々な３次元空間(例えば、現実環境を示す３次元空間、仮想環境を示す３次元空間など)に位置するオブジェクト(ｏｂｊｅｃｔ)及び／又は環境を示すポイントクラウドビデオ(イメージ及び／又は映像)を含む。従って、実施例によるポイントクラウドコンテンツ提供システムは、ポイントクラウドコンテンツを生成するために一つ又はそれ以上のカメラ(例えば、深さ情報を確保できる赤外線カメラ、深さ情報に対応する色相情報を抽出できるＲＧＢカメラなど)、プロジェクト(例えば、深さ情報を確保するための赤外線パターンプロジェクターなど)、ＬｉＤＡＲなどを使用してポイントクラウドビデオをキャプチャーする。実施例によるポイントクラウドコンテンツ提供システムは、深さ情報から３次元空間上のポイントで構成されたジオメトリの形態を抽出し、色相情報からそれぞれのポイントの特質を抽出してポイントクラウドデータを確保する。実施例によるイメージ及び／又は映像は内向き(ｉｎｗａｒｄ－ｆａｃｉｎｇ)方式及び外向き(ｏｕｔｗａｒｄ－ｆａｃｉｎｇ)方式のうちのいずれかに基づいてキャプチャーされる。

【0072】

図３の左側には内向き方式が示されている。内向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトをキャプチャーする方式である。内向き方式は核心核心客体に対する３６０°イメージをユーザに提供するポイントクラウドコンテンツ(例えば、ユーザに客体(例：キャラクター、選手、品物、俳優などの核心となる客体)の３６０°イメージを提供するＶＲ／ＡＲコンテンツ)を生成するために使用される。

【0073】

図３の右側には外向き方式が示されている。外向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトではない中心オブジェクトの環境をキャプチャーする方式である。外向き方式はユーザの視点からの周辺環境を提供するためのポイントクラウドコンテンツ(例えば、自律走行車両のユーザに提供される外部環境を示すコンテンツ)を生成するために使用される。

【0074】

図３したように、ポイントクラウドコンテンツは一つ又はそれ以上のカメラのキャプチャー動作に基づいて生成される。この場合、それぞれのカメラの座標系が異なるので、ポイントクラウドコンテンツ提供システムはキャプチャー動作前にグローバル空間座標系(ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)を設定するために、一つ又はそれ以上のカメラの較正(ｃａｌｉｂｒａｔｉｏｎ)を行う。またポイントクラウドコンテンツ提供システムは、上述したキャプチャー方式でキャプチャーされたイメージ及び／又は映像と任意のイメージ及び／又は映像を合成してポイントクラウドコンテンツを生成する。またポイントクラウドコンテンツ提供システムは、仮想空間を示すポイントクラウドコンテンツを生成する場合、図３で説明したキャプチャー動作を行わない。実施例によるポイントクラウドコンテンツ提供システムは、キャプチャーしたイメージ及び／又は映像に対して後処理を行うこともできる。即ち、ポイントクラウドコンテンツ提供システムは、望まない領域(例えば、背景)を除去したり、キャプチャーしたイメージ及び／又は映像が連結された空間を認識して空間(ｓｐａｔｉａｌ ｈｏｌｅ)がある場合、それを埋める動作を行うことができる。

【0075】

またポイントクラウドコンテンツ提供システムは、それぞれのカメラから確保したポイントクラウドビデオのポイントに対して座標系変換を行って、一つのポイントクラウドコンテンツを生成することができる。ポイントクラウドコンテンツ提供システムは、それぞれのカメラの位置座標を基準としてポイントの座標系変換を行う。これにより、ポイントクラウドコンテンツ提供システムは、一つの広い範囲を示すコンテンツを生成するか、或いはポイントの密度が高いポイントクラウドコンテンツを生成することができる。

【0076】

図４は実施例によるポイントクラウドビデオエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)の一例を示す図である。

【0077】

図４は図１のポイントクラウドビデオエンコーダ１０００２の一例を示す。ポイントクラウドビデオエンコーダは、ネットワーク状況或いはアプリケーションなどによってポイントクラウドコンテンツの質(例えば、無損失－ｌｏｓｓｌｅｓｓ、損失－ｌｏｓｓｙ、損失に近い－ｎｅａｒ－ｌｏｓｓｌｅｓｓ)を調節するために、ポイントクラウドデータ(例えば、ポイントの位置及び／又は特質)を再構成して符号化動作を行う。ポイントクラウドコンテンツの全体サイズが大きい場合(例えば、３０ｆｐｓの場合、６０Ｇｂｐｓであるポイントクラウドコンテンツ)、ポイントクラウドコンテンツ提供システムは該当コンテンツをリアルタイムストリーミングすることができない。従って、ポイントクラウドコンテンツ提供システムは、ネットワーク環境などに合わせて提供するために、最大ターゲットビットレートに基づいてポイントクラウドコンテンツを再構成することができる。

【0078】

図１及び図２に示したように、ポイントクラウドビデオエンコーダはジオメトリ符号化及び特質符号化を行うことができる。ジオメトリ符号化は特質符号化よりも先に行われる。

【0079】

実施例によるポイントクラウドビデオエンコーダは、座標系変換部(Transformation Coordinates unit)４００００、量子化部(Quantization unit)４０００１、八分木分析部(Octree Analysis unit)４０００２、表面近似分析部(Surface Approximation Analysis unit)４０００３、演算エンコーダ(Arithmetic Encode)４０００４、ジオメトリ再構成部(Geometry Reconstruction unit)４０００５、色変換部(Color Transformation unit)４０００６、特質変換部(Attribute Transformation unit)４０００７、ＲＡＨＴ(Region Adaptive Hierarchical Transform)変換部４０００８、ＬＯＤ生成部(LOD Generation unit)４０００９、リフト変換部(Lifting Transformation unit)４００１０、係数量子化部(Coefficient Quantization unit)４００１１及び／又は演算エンコーダ(Arithmetic Encoder)４００１２を含む。

【0080】

座標系変換部４００００、量子化部４０００１、八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダ４０００４及びジオメトリ再構成部４０００５は、ジオメトリ符号化を行うことができる。実施例によるジオメトリ符号化は、八分木ジオメトリコーディング、ダイレクトコーディング(ｄｉｒｅｃｔ ｃｏｄｉｎｇ)、ｔｒｉｓｏｕｐジオメトリ符号化(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)及びエントロピー符号化を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に或いは組み合わせて適用される。なお、ジオメトリ符号化は上記の例示に限られない。

【0081】

図示したように、実施例による座標系変換部４００００は、位置を受信して座標系(ｃｏｏｒｄｉｎａｔｅ)に変換する。例えば、位置は３次元空間(例えば、ＸＹＺ座標系で表現される３次元空間など)の位置情報に変換される。実施例による３次元空間の位置情報はジオメトリ情報とも称される。

【0082】

実施例による量子化部４０００１はジオメトリを量子化する。例えば、量子化部４０００１は全体ポイントの最小位置値(例えば、Ｘ軸、Ｙ軸、Ｚ軸に対して各軸上の最小値)に基づいてポイントを量子化する。量子化部４０００１は最小の位置値とそれぞれのポイントの位置値との差に所定の量子スケール(ｑｕａｔｉｚａｔｉｏｎ ｓｃａｌｅ)値を掛けた後、切り下げ又は切り上げをして最も近い整数値を探す量子化動作を行う。従って、一つ又はそれ以上のポイントは同一の量子化された位置(又は位置値)を有することができる。実施例による量子化部４０００１は量子化されたポイントを再構成するために、量子化された位置に基づいてボクセル化(ｖｏｘｅｌｉｚａｔｉｏｎ)を行う。２次元イメージ／ビデオ情報を含む最小単位はピクセル(ｐｉｘｅｌ)のように、実施例によるポイントクラウドコンテンツ(又は３次元ポイントクラウドビデオ)のポイントは一つ又はそれ以上のボクセル(ｖｏｘｅｌ)に含まれる。ボクセルはボリューム(Ｖｏｌｕｍｅ)とピクセル(Ｐｉｘｅｌ)を組み合わせた言葉であり、３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。量子化部４０００１は３次元空間のポイントのグループをボクセルでマッチングすることができる。実施例において、一つのボクセルは一つのポイントのみを含むことができる。実施例において、一つのボクセルは一つ又はそれ以上のポイントを含む。また一つのボクセルを一つのポイントで表現するために、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて、該当ボクセルの中央点(ｃｅｔｅｒ)の位置を設定することができる。この場合、一つのボクセルに含まれた全ての位置の特質が統合されて(ｃｏｍｂｉｎｅｄ)、該当ボクセルに割り当てられる。

【0083】

実施例による八分木分析部４０００２は、ボクセルを八分木構造で表すための八分木ジオメトリコーディング(又は八分木コーディング)を行う。八分木構造は八分割構造に基づいてボクセルにマッチングされたポイントを表現する。

【0084】

実施例による表面近似分析部４０００３は、八分木を分析して近似化する。実施例による八分木分析及び近似化は、八分木及びボクセル化を効率的に提供するために、多数のポイントを含む領域をボクセル化するために分析を行う過程である。

【0085】

実施例による演算エンコーダ４０００４は、八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。符号化の結果としてジオメトリビットストリームが生成される。

【0086】

色変換部４０００６、特質変換部４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９、リフト変換部４００１０、係数量子化部４００１１及び／又は演算エンコーダ４００１２は、特質符号化を行う。上述したように、一つのポイントは一つ又はそれ以上の特質を有する。実施例による特質符号化は、一つのポイントが有する特質に対して等しく適用される。但し、一つの特質(例えば、色相)が一つ又はそれ以上の要素を含む場合は、各要素ごとに独立した特質符号化が適用される。実施例による特質符号化は、色変換コーディング、特質変換コーディング、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)コーディング、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)コーディング及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ（Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))コーディングを含む。ポイントクラウドコンテンツによって、上述したＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングが選択的に使用されるか、又は一つ又はそれ以上のコーディングの組み合わせが使用される。また実施例による特質符号化は上述した例示に限られない。

【0087】

実施例による色変換部４０００６は、特質に含まれた色値(又はテクスチャ)を変換する色変換コーディングを行う。例えば、色変換部４０００６は色相情報のフォーマットを変換(例えば、ＲＧＢからＹＣｂＣｒに変換)する。実施例による色変換部４０００６の動作は、特質に含まれた色値によって任意に(ｏｐｔｉｏｎａｌ)適用される。

【0088】

実施例によるジオメトリ再構成部４０００５は、八分木及び／又は近似化した八分木を再構成(復元)する。ジオメトリ再構成部４０００５はポイントの分布を分析した結果に基づいて八分木／ボクセルを再構成する。再構成された八分木／ボクセルは再構成されたジオメトリ(又は復元されたジオメトリ)とも呼ばれる。

【0089】

実施例による特質変換部４０００７は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。上述したように、特質はジオメトリに従属するので、特質変換部４０００７は再構成されたジオメトリ情報に基づいて特質を変換することができる。例えば、特質変換部４０００７は、ボクセルに含まれたポイントの位置値に基づいてその位置のポイントが有する特質を変換することができる。上述したように、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて該当ボクセルの中央点の位置が設定される場合、特質変換部４０００７は一つ又はそれ以上のポイントの特質を変換する。ｔｒｉｓｏｕｐジオメトリ符号化が行われた場合、特質変換部４０００７はｔｒｉｓｏｕｐジオメトリ符号化に基づいて特質を変換することができる。

【0090】

特質変換部４０００７は、各ボクセルの中央点の位置(又は位置値)から特定の位置／半径内に隣接しているポイントの特質又は特質値(例えば、各ポイントの色相、又は反射率など)の平均値を計算して特質変換を行う。特質変換部４０００７は平均値の計算時、中央点から各ポイントまでの距離による加重値を適用する。従って、各ボクセルは位置及び計算された特質(又は特質値)を有する。

【0091】

特質変換部４０００７はＫ－Ｄツリー又はモールトンコード(ｍｏｕｌｔｏｎ ｃｏｄｅ)に基づいて各ボクセルの中央点の位置から特定の位置／半径内に存在する隣接ポイントを探索する。Ｋ－Ｄツリーは二分探索木(ｂｉｎａｒｙ ｓｅａｒｃｈ ｔｒｅｅ)で迅速に最短隣接点探索(Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｓｅａｒｃｈ－ＮＮＳ)をできるように、ポイントを位置基盤に管理する資料構造を支援する。モールトンコードは全てのポイントの３次元位置を示す座標値(例えば、(ｘ，ｙ，ｚ))をビット値で示し、ビットを混ぜて生成される。例えば、ポイントの位置を示す座標値が(５，９，１)であると、座標値のビット値は(０１０１、１００１、０００１)である。ビット値をｚ、ｙ、ｘの順にビットインデックスに合わせて混ぜると、０１０００１０００１１１である。この値を１０進数で示すと１０９５になる。即ち、座標値が(５，９，１)であるポイントのモールトンコード値は１０９５である。特質変換部４０００７はモールトンコード値を基準としてポイントを整列し、ｄｅｐｔｈ－ｆｉｒｓｔ ｔｒａｖｅｒｓａｌ過程により最短隣接点探索(ＮＮＳ)を行う。特質変換動作後、特質コーディングのための他の変換過程でも最短隣接点探索(ＮＮＳ)が必要であれば、Ｋ－Ｄツリー又はモールトンコードが活用される。

【0092】

図示したように、変換された特質はＲＡＨＴ変換部４０００８及び／又はＬＯＤ生成部４０００９に入力される。

【0093】

実施例によるＲＡＨＴ変換部４０００８は、再構成されたジオメトリ情報に基づいて特質情報を予測するＲＡＨＴコーディングを行う。例えば、ＲＡＨＴ変換部４０００８は、八分木の下位レベルにあるノードに連関する特質情報に基づいて、八分木の上位レベルにあるノードの特質情報を予測することができる。

【0094】

実施例によるＬＯＤ生成部４０００９はＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)を生成する。実施例によるＬＯＤはポイントクラウドコンテンツの詳細を示す程度であり、ＬＯＤ値が小さいほどポイントクラウドコンテンツの詳細が下がり、ＬＯＤ値が大きいほどポイントクラウドコンテンツの詳細が高いことが示されている。ポイントをＬＯＤによって分類できる。

【0095】

実施例によるリフト変換部４００１０は、ポイントクラウドの特質を加重値に基づいて変換するリフト変換コーディングを行う。上述したように、リフト変換コーディングは選択的に適用される。

【0096】

実施例による係数量子化部４００１１は、特質コーディングされた特質を係数に基づいて量子化する。

【0097】

実施例による演算エンコーダ４００１２は、量子化された特質を演算コーディングに基づいて符号化する。

【0098】

図４のポイントクラウドビデオエンコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図４のポイントクラウドビデオエンコーダのエレメントの動作及び／又は機能のうち、いずれか一つを行うことができる。また、一つ又はそれ以上のプロセッサは、図４のポイントクラウドビデオエンコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行することができる。実施例による一つ又はそれ以上のメモリは高速ランダムアクセスメモリを含むか、又は非揮発性メモリ(例えば、一つ又はそれ以上のマグネチックディスク格納デバイス、フラッシュメモリデバイス、又は他の非揮発性固体のメモリデバイス(Ｓｏｌｉｄ－ｓｔａｔｅ ｍｅｍｏｒｙ ｄｅｖｉｃｅｓ)など)を含む。

【0099】

図５は実施例によるボクセルの一例を示す図である。

【0100】

図５はＸ軸、Ｙ軸、Ｚ軸の３つの軸で構成された座標系で表現される３次元空間上に位置するボクセルを示す。図４に示すように、ポイントクラウドビデオエンコーダ(例えば、量子化部４０００１など)はボクセル化を行う。ボクセルは３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。図５は２つの極点(０,０,０)及び(２^d、２^d、２^d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)する八分木構造により生成されたボクセルの一例を示す。一つのボクセルは少なくとも一つ以上のポイントを含む。ボクセルはボクセル群(ｖｏｘｅｌ ｇｒｏｕｐ)との位置関係から空間座標を推定することができる。上述したように、ボクセルは２次元イメージ／映像のピクセルと同様に、特質(色相又は反射率など)を有する。ボクセルに対する具体的な説明は図４で説明した通りであるので、省略する。

【0101】

図６は実施例による八分木及び占有コード(ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)の一例を示す図である。

【0102】

図１ないし図４に示したように、ポイントクラウドコンテンツ提供システム(ポイントクラウドビデオエンコーダ１０００２)又はポイントクラウドビデオエンコーダの八分木分析部４０００２は、ボクセルの領域及び／又は位置を効率的に管理するために、八分木構造基盤の八分木ジオメトリコーディング(又は八分木コーディング)を行う。

【0103】

図６の上側は八分木構造を示している。実施例によるポイントクラウドコンテンツの３次元空間は座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)で表現される。八分木構造は２つの極点(０,０,０)及び(２^d、２^d、２^d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)して生される。２ｄはポイントクラウドコンテンツ(又はポイントクラウドビデオ)の全体ポイントを取り囲む最小の境界ボックスを構成する値で設定される。ｄ値は以下の数１により決定される。以下の数１において、(ｘ^int _n、ｙ^int _n、ｚ^int _n)は量子化されたポイントの位置(又は位置値)を示す。

【0104】

【数1】

【0105】

図６の上側中央に示したように、分割によって全体３次元空間は８つの空間に分かれる。分割されたそれぞれの空間は６つの面を有するキューブで表現される。図６の右上側に示したように、８つの空間はそれぞれ再び座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)により分かれる。よって、それぞれの空間は再び８つの小さい空間に分かれる。分割された小さい空間も６つの面を有するキューブで表現される。このような分割方式は八分木のリーフノード(ｌｅａｆ ｎｏｄｅ)がボクセルになるまで適用される。

【0106】

図６の下側は八分木の占有コードを示す。八分木の占有コードは一つの空間が分かれて発生する８つの分割空間がそれぞれ少なくとも一つのポイントを含むか否かを示すために生成される。従って、一つの占有コードは８つの子ノード(ｃｈｉｌｄ ｎｏｄｅ)で表現される。それぞれの子ノードは分割された空間の占有率(ｏｃｃｕｐａｎｃｙ)を示し、子ノードは１ビットの値を有する。従って、占有コードは８ビットコードで表現される。即ち、子ノードに対応する空間に少なくとも一つのポイントが含まれていると、該当ノードは１値を有する。ノードに対応する空間にポイントが含まれていないと(ｅｍｐｔｙ)、該当ノードは０値を有する。図６に示した占有コードは００１００００１であるので、８つの子ノードのうち、３番目の子ノード及び８番目の子ノードに対応する空間はそれぞれ少なくとも一つのポイントを含むことを示している。図示したように、３番目の子ノード及び８番目の子ノードはそれぞれ８つの子ノードを有し、それぞれの子ノードは８ビットの占有コードで表現される。図面では、３番目の子ノードの占有コードが１００００１１１であり、８番目の子ノードの占有コードが０１００１１１１であることを示している。実施例によるポイントクラウドビデオエンコーダ(例えば、演算エンコーダ４０００４)は占有コードをエントロピー符号化することができる。また圧縮効率を高めるために、ポイントクラウドビデオエンコーダは占有コードをイントラ／インターコーディングすることができる。実施例による受信装置(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００６)は占有コードに基づいて八分木を再構成する。

【0107】

実施例によるポイントクラウドビデオエンコーダ(例えば、八分木分析部４０００２)は、ポイントの位置を格納するためにボクセル化及び八分木コーディングを行う。しかし、３次元空間内のポイントがいつも均一に分布していることではないので、ポイントが多く存在しない特定の領域があり得る。従って、３次元空間の全体に対してボクセル化を行うことは非効率的である。例えば、特定の領域にポイントがほぼ存在しないと、該当領域までボクセル化を行う必要はない。

【0108】

従って、実施例によるポイントクラウドビデオエンコーダは、上述した特定の領域(又は八分木のリーフノードを除いたノード)についてはボクセル化を行わず、特定の領域に含まれたポイントの位置を直接コーディングするダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行う。実施例によるダイレクトコーディングポイントの座標は、ダイレクトコーディングモード(Ｄｉｒｅｃｔ Ｃｏｄｉｎｇ Ｍｏｄｅ、ＤＣＭ)と呼ばれる。また実施例によるポイントクラウドビデオエンコーダは、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化(Ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)を行うことができる。ｔｒｉｓｏｕｐジオメトリ符号化はオブジェクトの表現を三角形メッシュ(ｔｒｉａｎｇｌｅ ｍｅｓｈ)のシリーズで表現するジオメトリ符号化である。従って、ポイントクラウドビデオデコーダはメッシュ表面からポイントクラウドを生成することができる。実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に行われる。また実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は八分木ジオメトリコーディング(又は八分木コーディング)と結合して行うことができる。

【0109】

ダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行うためには、ダイレクトコーディングを適用するための直接モード(ｄｉｒｅｃｔ ｍｏｄｅ)の使用オプションが活性化されている必要があり、ダイレクトコーディングを適用するノードはリーフノードではなく、特定のノード内に閾値(ｔｈｒｅｓｈｏｌｄ)以下のポイントが存在する必要がある。またダイレクトコーディングの対象となる全体ポイントの個数は所定の閾値を超えてはいけない。上記条件を満たすと、実施例によるポイントクラウドビデオエンコーダ(例えば、演算エンコーダ４０００４)はポイントの位置(又は位置値)をエントロピーコーディングすることができる。

【0110】

実施例によるポイントクラウドビデオエンコーダ(例えば、表面近似分析部４０００３)は、八分木の特定のレベルを定め(レベルは八分木の深さｄよりは小さい場合)、そのレベルからは表面モデルを使用してノード領域内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化を行うことができる(ｔｒｉｓｏｕｐモード)。実施例によるポイントクラウドビデオエンコーダは、ｔｒｉｓｏｕｐジオメトリ符号化を適用するレベルを指定できる。例えば、指定されたレベルが八分木の深さと同一であると、ポイントクラウドビデオエンコーダはｔｒｉｓｏｕｐモードで動作しない。即ち、実施例によるポイントクラウドビデオエンコーダは指定されたレベルが八分木の深さ値よりも小さい場合にのみｔｒｉｓｏｕｐモードで動作することができる。実施例による指定されたレベルのノードの３次元立方体領域をブロック(ｂｌｏｃｋ)と呼ぶ。一つのブロックは一つ又はそれ以上のボクセルを含む。ブロック又はボクセルはブリック(ｂｒｉｃｋ)に対応することもできる。それぞれのブロック内においてジオメトリは表面(ｓｕｒｆａｃｅ)と表現される。実施例による表面は最大１回、ブロックの各エッジ(ｅｄｇｅ)と交差することができる。

【0111】

一つのブロックは１２つのエッジを有するので、一つのブロック内に少なくとも１２つの交差点が存在する。それぞれの交差点はバーテックス(ｖｅｒｔｅｘ、頂点又は頂上)と呼ばれる。エッジに沿って存在するバーテックスは該当エッジを共有する全てのブロックのうち、そのエッジに隣接する少なくとも一つの占有ボクセル(ｏｃｃｕｐｉｅｄ ｖｏｘｅｌ)がある場合に検知される。実施例による占有ボクセルはポイントを含むボクセルを意味する。エッジに沿って検出されたバーテックスの位置は、該当エッジを共有する全てのブロックのうち、該当エッジに隣接する全てのボクセルのエッジによる平均位置である(ｔｈｅ ａｖｅｒａｇｅ ｐｏｓｉｔｉｏｎ ａｌｏｎｇ ｔｈｅ ｅｄｇｅ ｏｆ ａｌｌ ｖｏｘｅｌｓ)。

【0112】

バーテックスが検出されると、実施例によるポイントクラウドビデオエンコーダは、エッジの開始点(ｘ、ｙ、ｚ)、エッジの方向ベクトル(Δｘ、Δｙ、Δｚ)、バーテックス位置値(エッジ内の相対的位置値)をエントロピーコーディングすることができる。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、実施例によるポイントクラウドビデオエンコーダ(例えば、ジオメトリ再構成部４０００５)は三角形再構成(ｔｒｉａｎｇｌｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)、アップ－サンプリング(ｕｐ－ｓａｍｐｌｉｎｇ)、ボクセル化過程を行って復元されたジオメトリ(再構成されたジオメトリ)を生成することができる。

【0113】

ブロックのエッジに位置するバーテックスはブロックを通過する表面を決定する。実施例による表面は非平面多角形である。三角形再構成の過程ではエッジの開始点、エッジの方向ベクトルとバーテックスの位置値に基づいて三角形で示される表面を再構成する。三角形再構成の過程は以下の数２の通りである。（１）各バーテックスの中心(ｃｅｎｔｒｏｉｄ)値を計算し、（２）各バーテックスの値から中心値を引いた値に、（３）自乗を行って、その値を全て加算した値を得る。

【0114】

【数2】

【0115】

その後、加えられた値の最小値を求め、最小値がある軸に沿って投影(Ｐｒｏｊｅｃｔｉｏｎ)過程を行う。例えば、ｘ要素(ｅｌｅｍｅｎｔ)が最小である場合、各バーテックスをブロックの中心を基準としてｘ軸に投影し、(ｙ，ｚ)平面に投影させる。(ｙ，ｚ)平面に投影させて得た値が(ａｉ，ｂｉ)であれば、ａｔａｎ２(ｂｉ、ａｉ)によりθ値を求め、θ値を基準としてバーテックスを整列する。以下の表1はバーテックスの個数によって三角形を生成するためのバーテックスの組み合わせを示している。バーテックスは１からｎまで順に整列される。以下の表１は４つのバーテックスに対して、バーテックスの組み合わせによって２つの三角形が構成されることを示している。１番目の三角形は整列されたバーテックスのうち、１、２、３番目のバーテックスで構成され、２番目の三角形は整列されたバーテックスのうち、３，４，１番目のバーテックスで構成される。

【0116】

表１．Ｔｒｉａｎｇｌｅｓ ｆｏｒｍｅｄ ｆｒｏｍ ｖｅｒｔｉｃｅｓ ｏｒｄｅｒｅｄ １

【0117】

【表1】

【0118】

アップサンプリング過程は三角形のエッジに沿って中間に点を追加してボクセル化するために行われる。アップサンプリング係数(ｕｐｓａｍｐｌｉｎｇ ｆａｃｔｏｒ)とブロックの幅を基準として追加点を生成する。追加点はリファインドバーテックス(ｒｅｆｉｎｅｄ ｖｅｒｔｉｃｅ)と呼ばれる。実施例によるポイントクラウドビデオエンコーダはリファインドバーテックスをボクセル化することができる。またポイントクラウドビデオエンコーダはボクセル化された位置(又は位置値)に基づいて特質符号化を行うことができる。

【0119】

図７は実施例による隣接ノードパターンの一例を示す図である。

【0120】

ポイントクラウドビデオの圧縮効率を増加させるために、実施例によるポイントクラウドビデオエンコーダはコンテキスト適応演算(ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ａｒｉｔｈｍｅｔｉｃ)コーディングに基づいてエントロピーコーディングを行う。

【0121】

図１ないし図６で説明したように、ポイントクラウドコンテンツ提供システム又は図２のポイントクラウドビデオエンコーダ１０００２又は図４のポイントクラウドビデオエンコーダ又は演算エンコーダ４０００４は、占有コードをすぐエントロピーコーディングすることができる。またポイントクラウドコンテンツ提供システム又はポイントクラウドビデオエンコーダは、現在ノードの占有コードと隣接ノードの占有率に基づいてエントロピー符号化(イントラ符号化)を行うか、又は以前フレームの占有コードに基づいてエントロピー符号化(インター符号化)を行うことができる。実施例によるフレームは、同時間に生成されたポイントクラウドビデオの集合を意味する。実施例によるイントラ符号化／インター符号化の圧縮効率は、参照する隣接ノードの個数によって異なる。ビットが大きくなると複雑になるが、一側に傾くようにして圧縮効率を高めることができる。例えば、３－ｂｉｔ ｃｏｎｔｅｘｔを有すると、２の３乗である８つの方法でコーディングする。分けてコーディングする部分は具現の複雑度に影響を及ぼす。従って、圧縮効率と複雑度の適正水準を合わせる必要がある。

【0122】

図７は隣接ノードの占有率に基づいて占有パターンを求める過程を示す。実施例によるポイントクラウドビデオエンコーダは、八分木の各ノードの隣接ノードの占有率(ｏｃｃｕｐａｎｃｙ)を判断して隣接ノードパターン(ｎｅｉｇｈｂｏｒ ｐａｔｔｅｒｎ)値を得る。隣接ノードパターンは該当ノードの占有パターンを推論するために使用される。図７の左側はノードに対応するキューブ(真ん中に位置するキューブ)及び該当キューブと少なくとも一面を共有する６つのキューブ(隣接ノード)を示している。図示したノードは同じ深さのノードである。図示した数字は６つのノードとそれぞれ連関する加重値(１、２、４、８、１６、３２、など)を示す。各加重値は隣接ノードの位置によって順に付与される。

【0123】

図７の右側は隣接ノードパターン値を示す。隣接ノードパターン値は占有された隣接ノード(ポイントを有する隣接ノード)の加重値が掛けられた値の合計である。従って、隣接ノードパターン値は０から６３までの値を有する。隣接ノードパターン値が０であることは、該当ノードの隣接ノードのうち、ポイントを有するノード(占有ノード)がないことを意味する。隣接ノードパターン値が６３であることは、隣接ノードが全て占有ノードであることを意味する。図示したように、加重値１、２、４、８が付与された隣接ノードは占有ノードであるので、隣接ノードパターン値は１、２、４、８を併せた値である１５である。ポイントクラウドビデオエンコーダは隣接ノードパターン値によってコーディングを行うことができる(例えば、隣接ノードパターン値が６３である場合、６４つのコーディングを行う)。実施例においてポイントクラウドビデオエンコーダは隣接ノードパターン値を変更して(例えば、６４を１０又は６に変更するテーブルに基づく)、コーディングの複雑度を減らすことができる。

【0124】

図８は実施例によるＬＯＤごとのポイント構成の一例を示す図である。

【0125】

図１ないし図７で説明したように、特質符号化が行われる前、符号化されたジオメトリは再構成(復元)される。ダイレクトコーディングが適用された場合、ジオメトリ再構成の動作はダイレクトコーディングされたポイントの配置を変更することを含む(例えば、ダイレクトコーディングされたポイントをポイントクラウドデータの前方に配置)。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、ジオメトリ再構成の過程は三角形再構成、アップサンプリング、ボクセル化の過程を特質はジオメトリに従属するので、特質符号化は再構成されたジオメトリに基づいて行われる。

【0126】

ポイントクラウドビデオエンコーダ(例えば、ＬＯＤ生成部４０００９)はポイントをＬＯＤごとに分類(ｒｅｏｒｇａｎｉｚａｔｉｏｎ)又はグルーピング(ｇｒｏｕｐｉｎｇ)することができる。図８はＬＯＤに対応するポイントクラウドコンテンツを示す。図８の最左側はオリジナルポイントクラウドコンテンツを示す。図８の左側から２番目は最低ＬＯＤのポイントの分布を示し、図８の最右側は最高ＬＯＤのポイントの分布を示す。即ち、最低ＬＯＤのポイントは粗い(ｓｐａｒｓｅ)分布であり、最高ＬＯＤのポイントは細かい分布である。即ち、図８の下側に示された矢印方向に沿ってＬＯＤが増加するほどポイント間の間隔(又は距離)は短くなる。

【0127】

図９は実施例によるＬＯＤごとのポイント構成の一例を示す図である。

【0128】

図１ないし図８で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドビデオエンコーダ(例えば、図２のポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドビデオエンコーダ又はＬＯＤ生成部４０００９)はＬＯＤを生成する。ＬＯＤはポイントを設定されたＬＯＤ距離値(又はユークリッド距離(Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ)のセット)によって改良レベル(ｒｅｆｉｎｅｍｅｎｔ ｌｅｖｅｌｓ)のセットで再整列して生成される。ＬＯＤ生成過程はポイントクラウドビデオエンコーダだけではなく、ポイントクラウドビデオデコーダでも行われる。

【0129】

図９の上側は３次元空間に分布されたポイントクラウドコンテンツのポイントの一例(Ｐ０～Ｐ９)を示す。図９のオリジナルオーダー(Ｏｒｉｇｉｎａｌ ｏｒｄｅｒ)はＬＯＤ生成前のポイントＰ０～Ｐ９の順を示す。図９のＬｏＤ基盤のオーダー(ＬＯＤ ｂａｓｅｄ ｏｒｄｅｒ)はＬＯＤ生成によるポイントの順を示す。ポイントはＬＯＤごとに再整列される。また高いＬＯＤは低いＬＯＤに属するポイントを含む。図９に示すように、ＬＯＤ０はＰ０、Ｐ５、Ｐ４及びＰ２を含む。ＬＯＤ１はＬＯＤ０のポイントとＰ１、Ｐ６及びＰ３を含む。ＬＯＤ２はＬＯＤ０のポイント、ＬＯＤ１のポイント及びＰ９、Ｐ８及びＰ７を含む。

【0130】

図４で説明したように、実施例によるポイントクラウドビデオエンコーダはＬＯＤ基盤の予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングを選択的に又は組み合わせて行うことができる。

【0131】

実施例によるポイントクラウドビデオエンコーダは、ポイントに対する予測器(ｐｒｅｄｉｃｔｏｒ)を生成して各ポイントの予測特質(又は予測特質値)を設定するためのＬＯＤ基盤の予測変換コーディングを行う。即ち、Ｎ個のポイントに対してＮ個の予測器が生成される。実施例による予測器は各ポイントのＬＯＤ値とＬＯＤごとに設定された距離内に存在する隣接ポイントに対するインデックス情報及び隣接ポイントまでの距離値に基づいて加重値(＝１／距離)を計算することができる。

【0132】

実施例による予測特質(又は特質値)は、各ポイントの予測器に設定された隣接ポイントの特質(又は特質値、例えば、色相、反射率など)に各隣接ポイントまでの距離に基づいて計算された加重(又は加重値)を掛けた値の平均値で設定される。実施例によるポイントクラウドビデオエンコーダ(例えば、係数量子化部４００１１)は、該当ポイントの特質(即ち、オリジナル特質値)から該当予測特質(特質値)を引いた該当ポイントの残余値(ｒｅｓｉｄｕａｌ、残余の特質、残余の特質値、特質予測残余値、予測エラー特質値などとも呼ばれる)を量子化(ｑｕａｔｉｚａｔｉｏｎ)及び逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)することができる。残余の特質値に対して行われる送信機での量子化過程は表２の通りである。また表２のように量子化された残余の特質値に対して行われる受信機での逆量子化過程は表３の通りである。

【0133】

【表2】

【0134】

【表3】

【0135】

実施例によるポイントクラウドビデオエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測器に隣接するポイントがあれば、上述したように、量子化及び逆量子化された残余の特質値をエントロピーコーディングする。実施例によるポイントクラウドビデオエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測器に隣接するポイントがないと、上述した過程を行わず、該当ポイントの特質をエントロピーコーディングする。

【0136】

実施例によるポイントクラウドビデオエンコーダ(例えば、リフト変換部４００１０)は、各ポイントの予測機を生成し、予測機に計算されたＬＯＤを設定及び隣接ポイントを登録し、隣接ポイントまでの距離による加重値を設定してリフト変換コーディングを行う。実施例によるリフト変換コーディングは、上述した測変換コーディングと類似するが、特質値に加重値を累積適用するという点で差がある。実施例による特質値に加重値を累積適用する過程は以下の通りである。

【0137】

１）各ポイントの加重値を貯蔵する配列ＱＷ(ＱｕａｎｔｉｚａｔｉｏｎＷｉｅｇｈｔ)を生成する。ＱＷの全ての要素の初期値は１．０である。予測機に登録された隣接ノードの予測機インデックスのＱＷ値に現在ポイントの予測機の加重値を掛けた値を加える。

【0138】

２）リフト予測過程：予測された特質値を計算するために、ポイントの特質値に加重値を掛けた値を既存の特質値から引く。

【0139】

３）アップデートウェイト(ｕｐｄａｔｅｗｅｉｇｈｔ)及びアップデートという臨時配列を生成し、臨時配列を０に初期化する。

【0140】

４）全ての予測機に対して計算された加重値に予測機インデックスに該当するＱＷに貯蔵された加重値をさらに掛けて算出された加重値をアップデートウェイト配列に隣接ノードのインデックスとして累積して合算する。アップデート配列には隣接ノードのインデックスの特質値に算出された加重値を掛けた値を累積して合算する。

【0141】

５）リフトアップデート過程：全ての予測機に対して、アップデート配列の特質値を予測機インデックスのアップデートウェイト配列の加重値で割り、割った値に再び既存の特質値を加える。

【0142】

６）全ての予測機に対して、リフトアップデート過程でアップデートされた特質値にリフト予測過程でアップデートされた(ＱＷに貯蔵された)加重値をさらに掛けて予測特質値を算出する。実施例によるポイントクラウドビデオエンコーダ(例えば、係数量子化部４００１１)は予測特質値を量子化する。またポイントクラウドビデオエンコーダ(例えば、演算エンコーダ４００１２)は量子化された特質値をエントロピーコーディングする。

【0143】

実施例によるポイントクラウドビデオエンコーダ(例えば、ＲＡＨＴ変換部４０００８)は、八分木の下位レベルのノードに連関する特質を使用して上位レベルのノードの特質を予測するＲＡＨＴ変換コーディングを行う。ＲＡＨＴ変換コーディングは八分木バックワードスキャンによる特質イントラコーディングの一例である。実施例によるポイントクラウドビデオエンコーダは、ボクセルから全体領域にスキャンし、各ステップもぽてボクセルをもっと大きいブロックに合わせながらルートノード(ｒｏｏｔ ｎｏｄｅ)までの併合過程を繰り返して行う。実施例による併合過程は、占有ノードのみについて行われる。空ノード(ｅｍｐｔｙ ｎｏｄｅ)については併合過程が行われず、空ノードの直上位ノードについて併合過程が行われる。

【0144】

以下の数３はＲＡＨＴ変換行列を示す。

はレベルｌでのボクセル(ｖｏｘｅｌ)の平均特質値を示す。

【0145】

【数3】

【0146】

はローパス(ｌｏｗ－ｐａｓｓ)値であって、次の上位レベルでの併合過程で使用される。

はハイパス係数(ｈｉｇｈ－ｐａｓｓ ｃｏｅｆｆｉｃｉｅｎｔｓ)であって、各ステップでのハイパス係数は量子化されてエントロピーコーディングされる(例えば、計算エンコーダ４００１２の符号化)。加重値は

により計算される。ルートノードは最後の

により以下の数４のように生成される。

【0147】

【数4】

【0148】

ｇＤＣ値もハイパス係数のように量子化されてエントロピーコーディングされる。

【0149】

図１０は実施例によるポイントクラウドビデオデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Video Ｄｅｃｏｄｅｒ)の一例を示す図である。

【0150】

図１０に示したポイントクラウドビデオデコーダは、図１に示したポイントクラウドビデオデコーダ１０００６の一例であり、図１で説明したポイントクラウドビデオデコーダ１０００６の動作などと同一又は類似する動作を行う。図示したように、ポイントクラウドビデオデコーダは一つ又はそれ以上のビットストリームに含まれたジオメトリビットストリーム(ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ)及び特質ビットストリーム(Ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍ)を受信する。ポイントクラウドビデオデコーダはジオメトリデコーダ(ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｅｒ)及び特質デコーダ(Ａｔｔｒｉｂｕｔｅ ｄｅｃｏｄｅｒ)を含む。ジオメトリデコーダはジオメトリビットストリームに対してジオメトリ復号を行って復号されたジオメトリ(ｄｅｃｏｄｅｄ ｇｅｏｍｅｔｒｙ)を出力する。特質デコーダは復号されたジオメトリに基づいて特質ビットストリームに対して特質復号を行って復号された特質(ｄｅｃｏｄｅｄ Ａｔｔｒｉｂｕｔｅｓ)を出力する。復号されたジオメトリ及び復号された特質はポイントクラウドコンテンツを復元(ｄｅｃｏｄｅｄ ｐｏｉｎｔ ｃｌｏｕｄ)するために使用される。

【0151】

図１１は実施例によるポイントクラウドビデオデコーダの一例を示す図である。

【0152】

図１１に示したポイントクラウドビデオデコーダは図１０で説明したポイントクラウドビデオデコーダの一例であり、図１ないし図９で説明したポイントクラウドビデオエンコーダの符号化動作の逆過程である復号動作を行う。

【0153】

図１及び図１０で説明したように、ポイントクラウドビデオデコーダはジオメトリ復号及び特質復号を行う。ジオメトリ復号は特質復号よりも先に行われる。

【0154】

実施例によるポイントクラウドビデオデコーダは、演算デコーダ(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅｒ、１１０００)、八分木合成部(ｏｃｔｒｅｅ ｓｙｎｔｈｅｓｉｓ ｕｎｉｔ、１１００１)、表面近似合成部(ｓｕｒｆａｃｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ｓｙｎｔｈｅｓｉｓ ｕｎｉｔ、１１００２)、ジオメトリ再構成部(ｇｅｏｍｅｔｒｙ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｕｎｉｔ、１１００３)、座標系逆変換部(ｃｏｏｒｄｉｎａｔｅｓ ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｕｎｉｔ、１１００４)、演算デコーダ(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅｒ、１１００５)、逆量子化部(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ ｕｎｉｔ、１１００６)、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部(ＬＯＤ ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔ、１１００８)、逆リフト部(Ｉｎｖｅｒｓｅ ｌｉｆｔｉｎｇ ｕｎｉｔ、１１００９)、及び／又は色逆変換部(ｃｏｌｏｒ ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｕｎｉｔ、１１０１０)を含む。

【0155】

演算デコーダ１１０００、八分木合成部１１００１、表面近似合成部１１００２、ジオメトリ再構成部１１００３及び座標系逆変換部１１００４は、ジオメトリ復号を行う。実施例によるジオメトリ復号はダイレクト復号(ｄｉｒｅｃｔ ｄｅｃｏｄｉｎｇ)及びｔｒｉｓｏｕｐジオメトリ復号(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｉｎｇ)を含む。ダイレクト復号及びｔｒｉｓｏｕｐジオメトリ復号は選択的に適用される。またジオメトリ復号は上記の例示に限られず、図１ないし図９で説明したジオメトリ符号化の逆過程により行われる。

【0156】

実施例による演算デコーダ１１０００は、受信したジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１１０００の動作は演算エンコーダ４０００４の逆過程に対応する。

【0157】

実施例による八分木合成部１１００１は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を生成する。占有コードに関する具体的な説明は図１ないし図９に説明した通りである。

【0158】

実施例による表面近似合成部１１００２は、ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、復号されたジオメトリ及び／又は生成された八分木に基づいて表面を合成する。

【0159】

実施例によるジオメトリ再構成部１１００３は、表面及び／又は復号されたジオメトリに基づいてジオメトリを再生成する。図１ないし図９で説明したように、ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に適用される。従って、ジオメトリ再構成部１１００３はダイレクトコーディングが適用されたポイントの位置情報を直接持ってきて追加する。また、ｔｒｉｓｏｕｐジオメトリ符号化が適用される場合、ジオメトリ再構成部１１００３はジオメトリ再構成部４０００５の再構成動作、例えば、三角形再構成、アップサンプリング、ボクセル化動作を行ってジオメトリを復元する。具体的な内容は図６で説明した通りであるので省略する。復元されたジオメトリは特質を含まないポイントクラウドピクチャ又はフレームを含む。

【0160】

実施例による座標系逆変換部１１００４は復元されたジオメトリに基づいて座標系を変換してポイントの位置を得る。

【0161】

演算デコーダ１１００５、逆量子化部１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９及び／又は色逆変換部１１０１０は、図１０で説明した特質復号を行う。実施例による特質復号は、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)復号、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)復号、及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ (Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))復号を含む。上記３つの復号は選択的に使用されるか、又は一つ又はそれ以上の復号の組み合わせが使用される。また実施例による特質復号は上述した例示に限られない。

【0162】

実施例による演算デコーダ１１００５は、特質ビットストリームを演算コーディングに復号する。

【0163】

実施例による逆量子化部１１００６は、復号された特質ビットストリーム又は復号結果確保した特質に関する情報を逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)して、逆量子化された特質(又は特質値)を出力する。逆量子化はポイントクラウドビデオエンコーダの特質符号化に基づいて選択的に適用される。

【0164】

実施例においてＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。上述したように、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、ポイントクラウドビデオエンコーダの符号化によってそれに対応する復号動作を選択的に行う。

【0165】

実施例による色逆変換部１１０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色逆変換部１１０１０の動作はポイントクラウドビデオエンコーダの色変換部４０００６の動作に基づいて選択的に行われる。

【0166】

図１１のポイントクラウドビデオデコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図１１のポイントクラウドビデオデコーダのエレメント動作及び／又は機能のうちのいずれかを行う。また、一つ又はそれ以上のプロセッサは、図１１のポイントクラウドビデオデコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行する。

【0167】

図１２は実施例による送信装置の一例を示す。

【0168】

図１２に示した送信装置は、図１の送信装置１００００(又は図４のポイントクラウドビデオエンコーダ)の一例である。図１２に示した送信装置は、図１ないし図９で説明したポイントクラウドビデオエンコーダの動作及び符号化方法と同一又は類似する動作及び方法のうちのいずれかを行う。実施例による送信装置は、データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５、演算コーダー１２００６、メタデータ処理部１２００７、色相変換処理部１２００８、特質変換処理部(又は属性変換処理部)１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０、演算コーダー１２０１１及び／又は送信処理部１２０１２を含む。

【0169】

実施例によるデータ入力部１２０００はポイントクラウドデータを受信又は獲得する。データ入力部１２０００はポイントクラウドビデオ獲得部１０００１の動作及び／又は獲得方法(又は図２に示した獲得過程２００００)と同一又は類似する動作及び／又は獲得方法を行う。

【0170】

データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５及び演算コーダー１２００６はジオメトリ符号化を行う。実施例によるジオメトリ符号化は、図１ないし図９で説明したジオメトリ符号化と同一又は類似するので、具体的な説明は省略する。

【0171】

実施例による量子化処理部１２００１は、ジオメトリ(例えば、ポイントの位置値、又はポジション値)を量子化する。量子化処理部１２００１の動作及び／又は量子化は、図４に示した量子化部４０００１の動作及び／又は量子化と同一又は類似する。具体的な説明は図１ないし図９に説明した通りである。

【0172】

実施例によるボクセル化処理部１２００２は、量子化されたポイントの位置値をボクセル化する。ボクセル化処理部１２０００２は図４に示した量子化部４０００１の動作及び／又はボクセル化過程と同一又は類似する動作及び／又は過程を行う。具体的な説明は図１ないし図９に説明した通りである。

【0173】

実施例による八分木占有コード生成部１２００３は、ボクセル化されたポイントの位置を八分木構造に基づいて八分木コーディングを行う。八分木占有コード生成部１２００３は占有コードを生成する。八分木占有コード生成部１２００３は図４及び図６で説明したポイントクラウドエンコーダ(又は八分木分析部４０００２)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。

【0174】

実施例による表面モデル処理部１２００４は、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセル基盤に再構成するｔｒｉｓｏｕｐジオメトリ符号化を行う。表面モデル処理部１２００４は図４に示したポイントクラウドビデオエンコーダ(例えば、表面近似分析部４０００３)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。

【0175】

実施例によるイントラ／インターコーディング処理部１２００５は、ポイントクラウドデータをイントラ／インターコーディングする。イントラ／インターコーディング処理部１２００５は、図７で説明したイントラ／インターコーディングと同一又は類似するコーディングを行う。具体的な説明は図７に説明した通りである。実施例においてイントラ／インターコーディング処理部１２００５は演算コーダー１２００６に含まれる。

【0176】

実施例による演算コーダー１２００６は、ポイントクラウドデータの八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。演算コーダー１２００６は演算エンコーダ４０００４の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。

【0177】

実施例によるメタデータ処理部１２００７は、ポイントクラウドデータに関するメタデータ、例えば、設定値などを処理してジオメトリ符号化及び／又は特質符号化などの必要な処理過程に提供する。また実施例によるメタデータ処理部１２００７は、ジオメトリ符号化及び／又は特質符号化に関連するシグナリング情報を生成及び／又は処理する。実施例によるシグナリング情報はジオメトリ符号化及び／又は特質符号化とは別途に符号化処理される。また実施例によるシグナリング情報はインターリービングされることもある。

【0178】

色相変換処理部１２００８、特質変換処理部１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０及び演算コーダー１２０１１は特質符号化を行う。実施例による特質符号化は、図１ないし図９で説明した特質符号化と同一又は類似するので具体的な説明は省略する。

【0179】

実施例による色相変換処理部１２００８は、特質に含まれた色相値を変換する色相変換コーディングを行う。色相変換処理部１２００８は再構成されたジオメトリに基づいて色相変換コーディングを行う。再構成されたジオメトリに関する説明は、図１ないし図９に説明した通りである。また図４で説明した色変換部４０００６の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。

【0180】

実施例による特質変換処理部１２００９は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。特質変換処理部１２００９は図４に説明した特質変換部４０００７の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。実施例による予測／リフト／ＲＡＨＴ変換処理部１２０１０は変換された特質をＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングのうちのいずれか一つ又は組み合わせてコーディングする。予測／リフト／ＲＡＨＴ変換処理部１２０１０は図４に説明したＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９及びリフト変換部４００１０の動作と同一又は類似する動作のうちのいずれかを行う。また、予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングに関する説明は図１ないし図９に説明した通りであるので、具体的な説明は省略する。

【0181】

実施例による演算コーダー１２０１１は、コーディングされた特質を演算コーディングに基づいて符号化する。演算コーダー１２０１１は演算エンコーダ４００１２の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。

【0182】

実施例による送信処理部１２０１２は、符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を含む各ビットストリームを送信するか、又は符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を一つのビットストリームで構成して送信する。実施例による符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報が一つのビットストリームで構成された場合、ビットストリームは一つ又はそれ以上のサブビットストリームを含む。実施例によるビットストリームはシーケンスレベルのシグナリングのためのＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、特質情報コーディングのシグナリングのためのＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、タイルレベルのシグナリングのためのＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を含むシグナリング情報及びスライスデータを含む。スライスデータは一つ又はそれ以上のスライスに関する情報を含む。実施例による一つのスライスは一つのジオメトリビットストリーム(Ｇｅｏｍ０^０)及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ０^０、Ａｔｔｒ１^０)を含む。

【0183】

実施例によるＴＰＳは一つ又はそれ以上のタイルに対してそれぞれのタイルに関する情報(例えば、ｂｏｕｎｄｉｎｇ ｂｏｘの座標値情報及び高さ／サイズ情報など)を含む。

【0184】

ジオメトリビットストリームはヘッダとペイロードを含む。実施例によるジオメトリビットストリームのヘッダはＧＰＳに含まれたパラメータセットの識別情報(ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、タイル識別子(ｇｅｏｍ_ｔｉｌｅ_ｉｄ)、スライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)及びペイロードに含まれたデータに関する情報などを含む。上述したように、実施例によるメタデータ処理部１２００７はシグナリング情報を生成及び／又は処理して送信処理部１２０１２に送信することができる。実施例において、ジオメトリ符号化を行うエレメント及び特質符号化を行うエレメントは、点線処理したように、相互データ／情報を共有することができる。実施例による送信処理部１２０１２は送信機１０００３の動作及び／又は送信方法と同一又は類似する動作及び／又は送信方法を行う。具体的な説明は図１及び図２に説明した通りであるので、省略する。

【0185】

図１３は実施例による受信装置の一例を示す。

【0186】

図１３に示した受信装置は、図１の受信装置１０００４(又は図１０及び図１１のポイントクラウドビデオデコーダ)の一例である。図１３に示した受信装置は、図１ないし図１１で説明したポイントクラウドビデオデコーダの動作及び復号方法と同一又は類似する動作及び方法のうちのいずれかを行う。

【0187】

実施例による受信装置は、受信部１３０００、受信処理部１３００１、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００２、占有コード(Ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)基盤の八分木再構成処理部１３００３、表面モデル処理部(三角形再構成、アップサンプリング、ボクセル化)１３００４、逆(ｉｎｖｅｒｓｅ)量子化処理部１３００５、メタデータ分析１３００６、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９、色相逆変換処理部１３０１０及び／又はレンダラー１３０１１を含む。実施例による復号の各構成要素は実施例による符号化の構成要素の逆過程を行う。

【0188】

実施例による受信部１３０００は、ポイントクラウドデータを受信する。受信部１３０００は図１の受信機１０００５の動作及び／又は受信方法と同一又は類似する動作及び／又は受信方法を行う。具体的な説明は省略する。

【0189】

実施例による受信処理部１３００１は受信したデータからジオメトリビットストリーム及び／又は特質ビットストリームを得る。受信処理部１３００１は受信部１３０００に含まれる。

【0190】

演算デコーダ１３００２、占有コード基盤の八分木再構成処理部１３００３、表面モデル処理部１３００４及び逆量子化処理部１３００５はジオメトリ復号を行う。実施例によるジオメトリ復号は図１ないし図１０で説明したジオメトリ復号と同一又は類似するので、具体的な説明は省略する。

【0191】

実施例による演算デコーダ１３００２はジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１３００２は演算デコーダ１１０００の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。

【0192】

実施例による占有コード基盤の八分木再構成処理部１３００３は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を再構成する。占有コード基盤の八分木再構成処理部１３００３は、八分木合成部１１００１の動作及び／又は八分木生成方法と同一又は類似する動作及び／又は方法を行う。実施例による表面モデル処理部１３００４はｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、表面モデル方式に基づいてｔｒｉｓｏｕｐジオメトリ復号及びそれに関連するジオメトリ再構成(例えば、三角形再構成、アップサンプリング、ボクセル化)を行う。表面モデル処理部１３００４は表面近似合成部１１００２及び／又はジオメトリ再構成部１１００３の動作と同一又は類似する動作を行う。

【0193】

実施例による逆量子化処理部１３００５は復号されたジオメトリを逆量子化する。

【0194】

実施例によるメタデータ分析１３００６は受信したポイントクラウドデータに含まれたメタデータ、例えば、設定値などを分析する。メタデータ分析１３００６はメタデータをジオメトリ復号及び／又は特質復号に伝達する。メタデータに関する具体的な説明は図１２で説明した通りであるので省略する。

【0195】

演算デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９及び色相逆変換処理部１３０１０は特質復号を行う。特質復号は図１なしい図１０で説明した特質復号と同一又は類似するので、具体的な説明は省略する。

【0196】

実施例による演算デコーダ１３００７は、特質ビットストリームを演算コーディングに復号する。演算デコーダ１３００７は再構成されたジオメトリに基づいて特質ビットストリームの復号を行う。演算デコーダ１３００７は演算デコーダ１１００５の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。

【0197】

実施例による逆量子化処理部１３００８は、復号された特質ビットストリームを逆量子化する。逆量子化処理部１３００８は逆量子化部１１００６の動作及び／又は逆量子化方法と同一又は類似する動作及び／又は方法を行う。

【0198】

実施例による予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９の動作及び／又は復号と同一又は類似する動作及び／又は復号のうちのいずれかを行う。実施例による色相逆変換処理部１３０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色相逆変換処理部１３０１０は色逆変換部１１０１０の動作及び／又は逆変換コーディングと同一又は類似する動作及び／又は逆変換コーディングを行う。実施例によるレンダラー１３０１１はポイントクラウドデータをレンダリングする。

【0199】

図１４は実施例によるポイントクラウドデータ送受信方法／装置に連動可能な構造の一例を示す。

【0200】

図１４の構造はサーバー17600、ロボット17100、自律走行車両17200、ＸＲ装置17300、スマートフォン17400、家電17500及び／又はＨＭＤ(Head-Mount Display)17700のうちのいずれかがクラウドネットワーク17100に連結された構成を示している。ロボット17100、自律走行車両17200、ＸＲ装置17300、スマートフォン17400又は家電17500などは装置とも呼ばれる。またＸＲ装置17300は実施例によるポイントクラウドデータ(ＰＣＣ)装置に対応するか又はＰＣＣ装置に連動する。

【0201】

クラウドネットワーク17000はクラウドコンピューティングインフラの一部を構成するか、又はクラウドコンピューティングインフラ内に存在するネットワークを意味する。ここで、クラウドネットワーク17000は３Ｇネットワーク、４Ｇ又はＬＴＥネットワーク又は５Ｇネットワークなどを用いて構成される。

【0202】

サーバー17600はロボット17100、自律走行車両17200、ＸＲ装置17300、スマートフォン17400、家電17500及び／又はＨＭＤ17700のいずれかにクラウドネットワーク17000により連結され、連結された装置17100～17700のプロセシングの少なくとも一部を助けることができる。

【0203】

ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)17700は実施例によるＸＲデバイス及び／又はＰＣＣデバイスが具現されるタイプのうちのいずれかを示す。実施例によるＨＭＤタイプのデバイスは、コミュニケーションズユニット、コントロールユニット、メモリユニット、Ｉ／Ｏユニット、センサユニット及びパーワ供給ユニットなどを含む。

【0204】

以下、上記技術が適用される装置17100～17500の様々な実施例について説明する。ここで、図１４に示した装置17100～17500は上述した実施例によるポイントクラウドデータ送受信装置に連動／結合することができる。

【0205】

＜ＰＣＣ＋ＸＲ＞

【0206】

ＸＲ／ＰＣＣ装置17300はＰＣＣ及び／又はＸＲ(ＡＲ＋ＶＲ)技術が適用されて、ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)、車両に備えられたＨＵＤ(Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ)、ＴＶ、携帯電話、スマートフォン、コンピューター、ウェアラブルデバイス、家電機器、デジタル看板、車両、固定型ロボットや移動型ロボットなどに具現されることもできる。

【0207】

ＸＲ／ＰＣＣ装置17300は、様々なセンサにより又は外部装置から獲得した３次元ポイントクラウドデータ又はイメージデータを分析して３次元ポイントに対する位置データ及び特質データを生成することにより周辺空間又は現実オブジェクトに関する情報を得て、出力するＸＲ客体をレンダリングして出力することができる。例えば、ＸＲ／ＰＣＣ装置17300は認識された物体に関する追加情報を含むＸＲ客体を該当認識された物体に対応して出力することができる。

【0208】

＜ＰＣＣ＋自立走行＋ＸＲ＞

【0209】

自律走行車両17200はＰＣＣ技術及びＸＲ技術が適用されて、移動型ロボット、車両、無人飛行体などで具現される。

【0210】

ＸＲ／ＰＣＣ技術が適用された自律走行車両17200は、ＸＲ映像を提供する手段を備えた自律走行車両やＸＲ映像内での制御／相互作用の対象となる自律走行車両などを意味する。特に、ＸＲ映像内での制御／相互作用の対象となる自律走行車両17200はＸＲ装置17300とは区分されて互いに連動されることができる。

【0211】

ＸＲ／ＰＣＣ映像を提供する手段を備えた自律走行車両17200は、カメラを含むセンサからセンサ情報を得、得たセンサ情報に基づいて生成されたＸＲ／ＰＣＣ映像を出力する。例えば、自律走行車両17200はＨＵＤを備えてＸＲ／ＰＣＣ映像を出力することにより、搭乗者に現実オブジェクト又は画面内のオブジェクトに対応するＸＲ／ＰＣＣ客体を提供することができる。

【0212】

この時、ＸＲ／ＰＣＣ客体がＨＵＤに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が搭乗者の視線が向く実際の客体にオーバーラップされるように出力される。反面、ＸＲ／ＰＣＣ客体が自律走行車両内に備えられるディスプレイに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が画面内の客体にオーバーラップされるように出力される。例えば、自律走行車両１２２０は車路、他の車両、信号灯、交通表示板、二輪車、歩行者、建物などのような客体に対応するＸＲ／ＰＣＣ客体を出力することができる。

【0213】

実施例によるＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ)技術、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ)技術、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ)技術及び／又はＰＣＣ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)技術は、様々なデバイスに適用可能である。

【0214】

即ち、ＶＲ技術は現実の客体や背景などをＣＧ映像のみで提供するディスプレイ技術である。反面、ＡＲ技術は実際物事の映像上に仮想のＣＧ映像を共に見せる技術である。また、ＭＲ技術は現実世界に仮想客体を混ぜて見せるという点では上記ＡＲ技術と類似する。しかし、ＡＲ技術では現実の客体とＣＧ映像からなる仮想の客体の区別が明らかであり、現実客体を補完する形態で仮想の客体を使用する反面、ＭＲ技術では仮想の客体と現実の客体が同様の性格と見なされるという点でＡＲ技術とは区別される。より具体的には、例えば、上記ＭＲ技術が適用されたことがホログラムサービスである。

【0215】

但し、最近にはＶＲ、ＡＲ、ＭＲ技術を明確に区別するよりは、ＸＲ(ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ)技術とも呼ぶ。よって、本発明の実施例はＶＲ、ＡＲ、ＭＲ、ＸＲ技術のいずれにも適用可能である。かかる技術はＰＣＣ、Ｖ－ＰＣＣ、Ｇ－ＰＣＣ技術基盤の符号化／復号が適用される。

【0216】

実施例によるＰＣＣ方法／装置は自律走行サービスを提供する車両に適用できる。

【0217】

自律走行サービスを提供する車両はＰＣＣデバイスと有無線通信可能に連結される。

【0218】

実施例によるポイントクラウドデータ(ＰＣＣ)送受信装置は、車両と有無線通信可能に連結された場合、自律走行サービスと共に提供できるＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理して車両に送信することができる。またポイントクラウドデータ送受信装置車両に搭載された場合は、ポイントクラウド送受信装置はユーザインターフェース装置で入力されたユーザ入力信号によってＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理してユーザに提供することができる。実施例による車両又はユーザインターフェース装置はユーザ入力信号を受信する。実施例によるユーザ入力信号は自律走行サービスを指示する信号を含む。

【0219】

図１ないし図１４に示すように、ポイントクラウドデータは、ポイントの集合からなり、各ポイントは、ジオメトリ(又は、ジオメトリ情報という)と特質(又は、特質情報という)を有することができる。ジオメトリ情報は、各ポイントの３次元の位置情報(ｘｙｚ)である。すなわち、各ポイントの位置は、３次元空間を示す座標系上のパラメータ(例えば、空間を示す３つの軸であるＸ軸、Ｙ軸及びＺ軸のパラメータ(ｘ、ｙ、ｚ))で表現される。また、特質情報は、そのポイントの色相(ＲＧＢ、ＹＵＶなど)、反射度(ｒｅｆｌｅｃｔａｎｃｅ)、法線(ｎｏｒｍａｌ ｖｅｃｔｏｒｓ)、透明度(ｔｒａｎｓｐａｒｅｎｃｙ)などを意味する。

【0220】

実施例によれば、ポイントクラウドデータの符号化過程は、八分木、ｔｒｉｓｏｕｐ又は予測基盤でジオメトリ情報を圧縮し、圧縮によって変更された位置情報で再構成されたジオメトリ(ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｇｅｏｍｅｔｒｙ＝復号されたジオメトリ)情報に基づいて特質情報を圧縮する過程からなる。また、ポイントクラウドデータの復号過程は、符号化されたジオメトリビットストリーム(ｂｉｔｓｔｒｅａｍ)と特質ビットストリームが送信され、八分木、ｔｒｉｓｏｕｐ又は予測基盤でジオメトリ情報を復号し、復号過程によって再構成されたジオメトリ情報に基づいて特質情報を復号化する過程からなる。

【0221】

実施例による八分木基盤又はｔｒｉｓｏｕｐ基盤のジオメトリ情報圧縮は、図４ないし図１３において詳説したので、ここでは省略する。

【0222】

この後、本明細書は、予測基盤でジオメトリ情報を圧縮することを一実施例として説明する。実施例による予測基盤のジオメトリ情報圧縮は、ポイントクラウドデータに対して予測構造(ｐｒｅｄｉｃｔｉｏｎ ｓｔｒｕｃｔｕｒｅ)を定義して行われる。このような構造は、ポイントクラウドデータの各ポイントと関連するバーテックス(ｖｅｒｔｅｘ、頂点)を有する予測ツリー(ｐｒｅｄｉｃｔｉｖｅ ｔｒｅｅ)で表現される。予測ツリーは、ルートバーテックス(ｒｏｏｔ ｖｅｒｔｅｘ又はルートポイントという)及びリーフバーテックス(ｌｅａｆ ｖｅｒｔｅｘ又はリーフポイントという)を含み、ルートポイント以下のポイントは少なくとも１つ以上の子を有し、リーフポイント方向に深さ(ｄｅｐｔｈ)が増加する。各ポイントは、予測ツリー内の親ノードから予測することができる。実施例によれば、各ポイントは、そのポイントの親(ｐａｒｅｎｔ)、祖父母(ｇｒａｎｄ－ｐａｒｅｎｔ)、曽祖父母(ｇｒａｎｄ－ｇｒａｎｄｐａｒｅｎｔ)などのポイント位置に基づいて、様々な予測モード(例えば、予測無し、デルタ予測(ｄｅｌｔａ ｐｒｅｄｉｃｔｉｏｎ)、リニア予測(ｌｉｎｅａｒ ｐｒｅｄｉｃｔｉｏｎ)、平行四辺形予測(ｐａｒａｌｌｅｌｏｇｒａｍ ｐｒｅｄｉｃｔｉｏｎ))のいずれか１つを適用して予測される。

【0223】

このとき、ルートノード(すなわち、初期値)は予測が行われず、すなわち、圧縮無しでポイントの位置情報(すなわち、ルートノードのｘ、ｙ、ｚ座標)が受信側に送信される。これは予測ツリー内の各ポイントは、少なくとも１つの親ノードに基づいて予測が行われるが、ルートノードは親ノードが存在しないからである。

【0224】

すなわち、予測基盤のジオメトリ圧縮方法は、連続したポイントの位置類似性に基づいて伝達される情報量を減らすために使用される。このとき、各ポイントは、様々な予測モードを適用して予測されるが、このうちの初期値(例えば、ルートノード)は、参照するポイント(すなわち、親ポイント)がないので、予測せずに実際値(すなわち、ｘ、ｙ、ｚ座標値)を受信側に送信する。

【0225】

図１５は実施例による予測ツリー構造の一例を示す図である。

【0226】

すなわち、最終的な予測ツリーは、圧縮対象となるポイント(図１５のように、親、祖父母(ｇｒａｎｄｐａｒｅｎｔ)、曽祖父母(ｇｒａｎｄ－ｇｒａｎｄｐａｒｅｎｔ)などの関係を有するポイントクラウド集合のうちの特定のポイント)を子(ｃｈｉｌｄ)として定義し、予測対象となるポイントを親として定義し、親－子(ｐａｒｅｎｔ－ｃｈｉｌｄ)の関係を探す過程であると定義することができ、親－子の連続によって構成される。例えば、ポイント５００１３を圧縮対象となるポイントと仮定する場合、ポイント５００１２は親となり、ポイント５００１１は祖父母となり、ポイント５００１０は曽祖父母となる。

【0227】

実施例によれば、予測ツリーを構成するとき、圧縮の開始となるポイントをルートバーテックス(又は、ルートノード)として設定する。そして、ポイント５００１１はルートバーテックス(すなわち、ルートポイント)５００１０を親とする子になる。実施例によれば、ポイント５００１１はジオメトリに基づいてルートポイント５００１０との類似性が最も高いと仮定できる。実施例によれば、予測ツリーは、複数の子を有するポイント(又はバーテックス)が存在する。実施例によれば、子の数は所定数(例えば、３)に限定されてもよく無限でもよい。例えば、ポイント(又はバーテックス)５００１４は３つの子を有し、ポイント(バーテックス)５００１５は２つの子を有することが示されている。

【0228】

実施例によれば、図１５のように、予測ツリーが生成されると、予測モード(ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ)を用いてポイントの予測を行う。

【0229】

例えば、Ｖ(ｐ)を予測ツリー上で圧縮対象となるポイント、すなわち、ｐ番目のポイントと定義し、Ｖ(ｐ－１)をｐ番目のポイントの親(ｐａｒｅｎｔ)ポイント(又はバーテックス)、Ｖ(ｐ－２)をｐ番目のポイントの祖父母(ｇｒａｎｄｐａｒｅｎｔ)ポイント、Ｖ(ｐ－３)をｐ番目のポイントの曽祖父母(ｇｒａｎｄ－ｇｒａｎｄｐａｒｅｎｔ又はｇｒｅａｔ－ｇｒａｎｄｐａｒｅｎｔ)ポイント、Ｖ(ｐ－４)をｐ番目のポイントの高祖父母(ｇｒａｎｄ－ｇｒａｎｄ ｇｒａｎｄｐａｒｅｎｔ又はｇｒｅａｔ－ｇｒｅａｔ ｇｒａｎｄｐａｒｅｎｔ)ポイントと定義するとき、各予測モードごとの予測エラー(Ｅ)は、以下の数式５のように定義することができる。例えば、ポイント(Ｖ(ｐ))に対して、以下の数式５の予測モードのそれぞれを適用し、７つの予測エラー値(Ｅ)を算出し、算出した７つの予測エラー値のうちの最小の予測エラー値を有する予測モードをポイント(Ｖ(ｐ))の予測モードとして設定する。例えば、７つの予測エラー値のうち、２番目の式を適用して求めた予測エラー値(Ｅ＝｛[Ｖ(ｐ)－Ｖ(ｐ－１)]－ａ＊[Ｖ(ｐ－１)－Ｖ(ｐ－２)]－ｂ｝)が最小値(すなわち、エラーを最小化する値)であれば、ポイント(Ｖ(ｐ))の予測モードは、予測モード２(ｍｏｄｅ ２)に設定(又は、選択)する。また、設定(選択)された予測モード情報(ｐｒｅｄ_ｍｏｄｅ)と、このときの係数情報(例えば、ａ、ｂなど)は、シグナリング情報及び／又はスライスにシグナリングされ、受信装置に送信される。このシグナリング情報は、パラメータセット(例えば、ＳＰＳ、ＧＰＳ、ＡＰＳ、及びＴＰＳ(又は、タイルインベントリという)など)、当該残余情報(又は、予測エラーという)を運ぶスライスのヘッダなどを含む。この予測モード情報は、イントラモード情報又はイントラ予測モードとも呼ぶ。

【0230】

【数5】

【0231】

以下の数式６は、各予測モードごとの予測情報を求める式の例示である。例えば、数式５を適用して選択されたポイント(Ｖ(ｐ))の予測モードが予測モード２(ｍｏｄｅ ２)である場合、予測モード２に相当する予測情報(Ｖ’(ｐ))は、数式６の２番目の式(Ｖ’(ｐ)＝(ａ＋１)＊Ｖ(ｐ－１)－ａ＊Ｖ(ｐ－２)＋ｂ)を適用して求められる。すなわち、前記した数式５に対してエラーを最小化するＶ’(ｐ)は、以下の数式６のように予測することができる。

【0232】

【数6】

【0233】

実施例によれば、モード１をデルタ予測(ｄｅｌｔａ ｐｒｅｄｉｃｔｉｏｎ)、モード２又はモード３をリニア予測(ｌｉｎｅａｒ ｐｒｅｄｉｃｔｉｏｎ)、モード４、モード５、モード６又はモード７を平行四辺形予測(ｐａｒａｌｌｅｌｏｇｒａｍ ｐｒｅｄｉｃｔｏｒ ｏｒ ｐａｒａｌｌｅｌｏｇｒａｍ ｐｒｅｄｉｃｔｉｏｎ)とも呼ぶ。

【0234】

このとき、ルートノードを除くその他のノード(すなわち、ポイント)の場合、送信端では各ポイントに対するイントラ予測モード及びポイントの位置と予測位置との差異(これを残余情報又は予測エラーという)を受信側に送信する。

【0235】

また、本明細書では、前述した様々な予測方法に対して、予め定められた方法を所定単位(例えば、スライス単位、コーディングブロック単位、フレーム単位、Ｎ個単位など)に使用及びシグナリングしてもよく、又は毎ポイントごとにエラーが最小化される方法に対してシグナリングしてもよい。また、予測係数ａ、ｂに対しても予め定められた値を使用及びシグナリングしてもよく、又は毎ポイントごとにエラーが最小化される方法に対してシグナリングしてもよい。

【0236】

このとき、ルートノード５００１０の場合、従来には予測を行わず、また別の予測モードをシグナリングし、位置情報を受信側に直接に送信する。

【0237】

実施例によれば、予測基盤の圧縮は、類似するポイントが隣接して存在するほど予測の正確度が高くなるが、これを考慮して、予測対象ポイントを類似するポイント同士で隣接するように再配列してもよい。再配列は、ポイントクラウドの全体に対して行ってもよく、又はスライス単位に行ってもよく、又は２つの方法を両方用いてもよい。

【0238】

前述した予測基盤の圧縮は、現在フレーム内でポイント間の類似性を減らすための方法である。

【0239】

一方、ポイントクラウドデータが連続したフレームからなる場合、隣接フレーム間の相関関係が高い。本明細書は、このような特徴を用いて、フレーム間の相関関係に基づいて重複する情報を除去することで、さらに高いコーディング効率(すなわち、圧縮効率)が得られるようにする。

【0240】

このとき、ライダー(ＬｉＤＡＲ)によって得られたデータの場合、レーザーのサンプリング特性によって隣接フレーム間の類似度が正確に推定できず、圧縮効率が低下する可能性がある。

【0241】

本明細書では、ポイントクラウドデータが連続したフレームからなる場合、予測基盤のジオメトリ(すなわち、位置)情報の圧縮効率を高める方法について説明する。

【0242】

このために、本明細書では、フレーム間の連続性に基づいて、予測ジオメトリコーディング方法を用いる場合、隣接フレーム(例えば、参照フレーム)の隣接ノード間の差異類似性に基づいて、フレーム間の重複情報を除去することで、予測の正確度を向上させることができる。

【0243】

すなわち、本明細書は、ジオメトリ情報を圧縮するに当たって予測基盤コーディングの圧縮効率を高めるための技術を取り扱い、特に、互いに異なるフレーム間の情報類似性に基づいて圧縮効率を高める方法について説明する。言い換えれば、ポイントクラウドデータが連続したフレーム上に存在する場合、隣接フレームの隣接ノード間の差異類似性に基づいて、フレーム間の類似性を除去することで、ポイントクラウドデータの予測の正確度を向上させ、圧縮効率を高めることができる。特に、本明細書は、隣接エレベーション(ｅｌｅｖａｔｉｏｎ)角度プレーンの参照ノードに基づいて予測を行うことで、ポイントクラウドデータの圧縮効率を高めることができる。

【0244】

本明細書で提案する方法は、一般にポイントクラウドデータの圧縮に使用することができ、またポイントクラウドデータのスケーラブルな圧縮に使用することもできる。また、本明細書で説明する予測基盤のジオメトリ圧縮方法は、予測基盤の特質圧縮にも使用できる。

【0245】

実施例によれば、ポイントクラウドデータの符号化過程は、図１のポイントクラウドビデオエンコーダ１０００２、図２の符号化２０００１、図４のポイントクラウドビデオエンコーダ、図１２のポイントクラウドビデオエンコーダ、図１６のジオメトリエンコーダ５１００３、図２３のジオメトリエンコーダ、又は図２４のジオメトリ符号化過程で行われる。実施例によるポイントクラウドデータの復号過程は、図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１のポイントクラウドビデオデコーダ、図１３のポイントクラウドビデオデコーダ、図３１のジオメトリデコーダ６１００３、図３２のジオメトリデコーダ又は図３３のジオメトリ復号過程で行われる。図３１ないし図３３の詳細な説明は後述する。

【0246】

図１６は実施例によるポイントクラウド送信装置のまた他の一例を示す図である。図１６に示したポイントクラウド送信装置のエレメントは、ハードウェア、ソフトウェア、プロセッサ及び／又はそれらの組み合わせなどで具現できる。

【0247】

実施例によれば、ポイントクラウド送信装置は、データ入力部５１００１、シグナリング処理部５１００２、ジオメトリエンコーダ５１００３、特質エンコーダ５１００４、及び送信処理部５１００５を含む。

【0248】

ジオメトリエンコーダ５１００３及び特質エンコーダ５１００４は、図１のポイントクラウドビデオエンコーダ１０００２、図２の符号化２０００１、図４のポイントクラウドビデオエンコーダ、図１２のポイントクラウドビデオエンコーダで説明した動作の一部又は全部を行うことができる。

【0249】

実施例によるデータ入力部５１００１は、ポイントクラウドデータを受信又は取得する。このデータ入力部５１００１は、図１のポイントクラウドビデオ取得部１０００１の動作の一部又は全部を行ってもよく、又は図１２のデータ入力部１２０００の動作の一部又は全部を行ってもよい。

【0250】

データ入力部５１００１は、ポイントクラウドデータのポイントの位置をジオメトリエンコーダ５１００３に出力し、ポイントクラウドデータのポイントの特質を特質エンコーダ５１００４に出力する。また、パラメータは、シグナリング処理部５１００２に出力する。実施例によれば、パラメータは、ジオメトリエンコーダ５１００３及び特質エンコーダ５１００４に提供されてもよい。

【0251】

ジオメトリエンコーダ５１００３は、入力されるポイントの位置を用いて予測ツリーを構成し、予測ツリーに基づいてジオメトリ圧縮を行う。このとき、ジオメトリ圧縮のための予測は、フレーム内で行われてもよく、フレーム間で行われてもよい。本明細書では、前者をイントラフレーム予測といい、後者をインターフレーム予測という。このジオメトリエンコーダ５１００３は、圧縮されたジオメトリ情報に対してエントロピー符号化を行い、ジオメトリビットストリームの形態で送信処理部５１００５に出力する。

【0252】

ジオメトリエンコーダ５１００３は、圧縮によって変更された位置に基づいてジオメトリ情報を再構成し、再構成された(又は、復号化された)ジオメトリ情報を特質エンコーダ５１００４に出力する。

【0253】

特質エンコーダ５１００４は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリ情報に基づいて特質情報を圧縮する。一実施例として、特質情報は、ＲＡＨＴコーディング、ＬＯＤ基盤の予測変換コーディング及びリフト変換コーディングのいずれか１つ又は１つ以上を組み合わせてコーディングされる。特質エンコーダ５１００４は、圧縮された特質情報に対してエントロピー符号化を行い、特質ビットストリームの形態で送信処理部５１００５に出力する。

【0254】

シグナリング処理部５１００２は、ジオメトリ情報及び特質情報の符号化／復号／レンダリングなどに必要なシグナリング情報を生成及び／又は処理し、ジオメトリエンコーダ５１００３、特質エンコーダ５１００４及び／又は送信処理部５１００５に提供することができる。又は、シグナリング処理部５１００２にジオメトリエンコーダ５１００３、特質エンコーダ５１００４及び／又は送信処理部５１００５で生成されたシグナリング情報が提供されてもよい。シグナリング処理部５１００２は、受信装置でフィードバックされる情報(例えば、ヘッドオリエンテーション情報及び／又はビューポート情報をジオメトリエンコーダ５１００３、特質エンコーダ５１００４及び／又は送信処理部５１００５に提供してもよい。

【0255】

本明細書において、シグナリング情報は、パラメータセット(ｐａｒａｍｅｔｅｒ ｓｅｔ)(ＳＰＳ： ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＧＰＳ： ｇｅｏｍｅｔｒｙ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＡＰＳ： ａｔｔｒｉｂｕｔｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＴＰＳ： Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ(又は、ｔｉｌｅ ｉｎｖｅｎｔｏｒｙという)など)単位にシグナリングされて送信される。また、スライス又はタイルのように、各映像のコーディングユニット(又は、圧縮単位又は予測単位)単位にシグナリングされて送信されてもよい。

【0256】

送信処理部５１００５は、図１２の送信処理部１２０１２の動作及び／又は送信方法と同一又は類似する動作及び／又は送信方法を行ってもよく、図１の送信装置１００３の動作及び／又は送信方法と同一又は類似する動作及び／又は送信方法を行ってもよい。具体的な説明は、図１又は図１２の説明を参照すればよく、ここでは省略する。

【0257】

送信処理部５１００５は、ジオメトリエンコーダ５１００３から出力されるジオメトリビットストリーム、特質エンコーダ５１００４から出力される特質ビットストリーム、シグナリング処理部５１００２から出力されるシグナリングビットストリームを１つのビットストリームに多重化した後、そのまま送信するか、又はファイルやセグメントなどにカプセル化して送信する。本明細書において、ファイルは、ＩＳＯＢＭＦＦファイルフォーマットであることを一実施例とする。

【0258】

実施例によれば、ファイル又はセグメントは、受信装置に送信されるか、デジタル格納媒体(例えば、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど)に格納される。実施例による送信処理部５１００５は、受信装置と４Ｇ、５Ｇ、６Ｇなどのネットワークを介して有／無線通信が可能である。また、送信処理部５１００５は、ネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)によって必要なデータ処理動作を行うことができる。また、送信処理部５１００５は、オンデマンド(Ｏｎ Ｄｅｍａｎｄ)方式に従ってカプセル化されたデータを送信することもできる。

【0259】

実施例によれば、ジオメトリ予測に関する情報は、シグナリング処理部５１００２、ジオメトリエンコーダ５１００３、送信処理部５１００５のうちの少なくとも１つによってＧＰＳ及び／又はＴＰＳ及び／又はジオメトリデータユニット(又は、ジオメトリスライスビットストリームという)に含まれて送信されることができる。

【0260】

一方、データ入力部５１００１は、垂直に配列された複数のレーザーを水平方向に３６０度回転させるＬｉＤＡＲヘッドからポイントクラウドデータを収集(又は取得)することができる。このとき、ＬｉＤＡＲヘッドは、垂直方向(ｅｌｅｖａｔｉｏｎ ｏｒ ｖｅｒｔｉｃａｌ)に所定角度に配置された１つ又はそれ以上のレーザー(又はレーザーセンサ)を含み、垂直軸を中心として水平に回転してデータを取得する。各レーザーから出力されたレーザー光が対象(例えば、ｏｂｊｅｃｔ)から反射されて戻る時間(及び／又は波長)は互いに等しいか異なる。よって、ＬｉＤＡＲデータは、対象からレーザー光が戻る時間の差及び／又は波長の差などに基づいて構成される３次元表現(３Ｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ)である。

【0261】

このとき、垂直に配列された複数のレーザーのそれぞれは、レーザーＩＤによって識別される。すなわち、レーザーのそれぞれは固有のＩＤを有する。

【0262】

以下、前述のようにＬｉＤＡＲ装置を用いてポイントクラウドデータを取得するとき、ジオメトリエンコーダ５１００３においてフレーム間の予測を行い、ジオメトリ情報を圧縮する方法について説明する。

【0263】

図１７は実施例による予測ツリー構造においてフレーム間の予測を行う一例を示す図である。

【0264】

すなわち、図１７は、前述したインター予測(ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ)に基づく予測ジオメトリコーディング(ｐｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇ)方法に対して隣接フレーム間の参照を行う方法を示す。特に、図１７は、同一のレーザーｉｄ／エレベーション角度(ｅｌｅｖａｔｉｏｎ ａｎｇｌｅ)プレーン(ｐｌａｎｅ)に対して類似した方位角度(ａｚｉｍｕｔｈａｌ ａｎｇｌｅ)を有する参照フレームのノードを参照ノードとして使用する一例を示す。

【0265】

このとき、同一のエレベーション角度(ｅｌｅｖａｔｉｏｎ ａｎｇｌｅ)を有するポイントに対して(又は、同一のレーザーＩＤを有するか、同一のレーザーから取得したポイントに対して)、方位角度(ａｚｉｍｕｔｈａｌ ａｎｇｌｅ)が増加する方向に予測ツリー(ｐｒｅｄｉｃｔｉｖｅ ｔｒｅｅ)が構成される。

【0266】

この場合、図１７のように、ノードが存在するとき、反時計回りに予測ツリーが構成され、現在フレームの圧縮対象ノードＰ(ｎ)(すなわち、現在ポイント又は現在ノード)と直前ノードＰ(ｎ－１)(すなわち、親ノード)が子－親(ｃｈｉｌｄ－ｐａｒｅｎｔ)の関係を有する。このとき、参照フレームに対して、参照ノード(ｒｅｆｅｒｅｎｃｅ ｎｏｄｅ、又は現在フレームの現在ポイント(Ｐ(ｎ))の予測値又は予測機(ｐｒｅｄｉｃｔｏｒ)という)は、現在フレームの直前圧縮ノードＰ(ｎ－１)と同じエレベーション角度及び類似した方位角度を有するポイントＰ_ｒ(ｎ－１)(すなわち、参照親ノード)を選択することができ、選択されたノードＰ_ｒ(ｎ－１)の子ノードＰ_ｒ(ｎ)(すなわち、参照ノード)又はその子ノードＰ_ｒ(ｎ＋１)(すなわち、参照子ノード)を予測値(すなわち、予測機)として選択することができる。

【0267】

言い換えれば、現在予測ツリー構造におけるフレーム(又は画面)間の予測は、１つの直前コーディングされたフレームを参照フレームとして選択する。また、現在フレームにおいて以前に復号されたポイント(Ｐ(ｎ－１))と方位(ａｚｉｍｕｔｈａｌ)が最も類似し、レーザーＩＤ(ｌａｓｅｒＩＤ)が同じポジション(ｐｏｓｉｔｉｏｎ)に位置したポイント(例えば、Ｐ_ｒ(ｎ－１))を参照フレームから探す。また、そのポイントから方位が最も大きいものの中で最も近いポイント(例えば、Ｐ_ｒ(ｎ))又はその次に近いポイント(例えば、Ｐ_ｒ(ｎ＋１))を現在フレームの現在ポイント(Ｐ(ｎ))の予測値、すなわち、予測機(ｐｒｅｄｉｃｔｏｒ)として選択する。このとき、最も近いポイントを予測機として選択する場合と、２番目に近いポイントを予測機として選択する場合とをフラグ情報として分離してシグナリングし、フレーム間の予測であるとき、いずれのポイント情報を現在ポイントの位置として選択するかを判断した後、その予測機の情報を受信機に伝達する。実施例による予測値又は予測機は、現在ポイントを予測するための候補ポイント(又はノード)又は予測対象ポイント(又はノード)と呼ぶことができる。

【0268】

このとき、同じエレベーション角度に対して参照フレームと現在フレームとの類似性が高い場合、参照フレームの参照ノード(すなわち、選択された予測機)を現在フレームの圧縮対象ノードの予測値として直接に使用する場合、予測の正確度が高い。すなわち、ジオメトリエンコーダ５１００３は、現在フレームの現在ノード(すなわち、圧縮対象ノード)の位置と参照フレームの参照ノードの位置(すなわち、予測値)との差(すなわち、残差又は残余情報)を受信側に送信することで、ジオメトリ情報を圧縮することができる。

【0269】

しかし、参照フレームと現在フレームとの類似性が劣る場合、予測の正確度が低下し、これにより残差(ｒｅｓｉｄｕａｌ)が大きくなり、ビットストリームのサイズが大きくなる。これを補完する方法として、本明細書は、参照フレーム内の参照ノード間の変化量によって現在フレームの圧縮対象ノードを予測する方法を使用する。

【0270】

図１８は実施例による予測ツリー構造においてフレーム間の予測を行う他の一例を示す図である。

【0271】

すなわち、図１８は、参照フレームに対して参照ノードＰ_ｒ(ｎ－１)、Ｐ_ｒ(ｎ)、Ｐ_ｒ(ｎ＋１)間の変化量ｄ_ｒ(ｎ)、ｄ_ｒ(ｎ＋１)、ｄ_ｒ(ｎ－１)を示す。

【0272】

ここで、ｄ_ｒ(ｎ)は、参照フレーム内の第１の参照ノード(Ｐ_ｒ(ｎ))と第２の参照ノード(Ｐ_ｒ(ｎ－１))との間の変化量を示し(ｄ_ｒ(ｎ)＝Ｐ_ｒ(ｎ)－Ｐ_ｒ(ｎ－１))、ｄ_ｒ(ｎ＋１)は、第３の参照ノード(Ｐ_ｒ(ｎ＋１))と第１の参照ノード(Ｐ_ｒ(ｎ))との間の変化量を示す(ｄ_ｒ(ｎ＋１)＝Ｐ_ｒ(ｎ＋１)－Ｐ_ｒ(ｎ))。また、ｄ_ｒ(ｎ－１)は、第２の参照ノード(Ｐ_ｒ(ｎ－１))と第４の参照ノード(Ｐ_ｒ(ｎ－２))との変化量を示す(ｄ_ｒ(ｎ－１)＝Ｐ_ｒ(ｎ－１)－Ｐ_ｒ(ｎ－２))。

【0273】

ここで、参照ノード間の変化量は、親－子の関係にある参照ノード間の差値、すなわち、増減であると定義できる。

【0274】

このとき、参照ノード間の変化量は、前述のように、ノード間の線形的な差異だけではなく、加重値に基づく差異、又は予め定められた変化量推定式による値を使用することができる。例えば、参照ノードごとに異なる加重値を与える。また、隣接した２つの参照ノード間の変化量だけではなく、３つ以上の参照ノードを用いて変化量を推定してもよい。

【0275】

以下、参照フレームに対して隣接ポイント間の差異類似性に基づく予測具現の実施例を示す。フレーム間の参照が使用される場合(例えば、ｉｎｔｅｒＭｏｄｅＦｌａｇ＝１)、予測方法に応じて、以下のように参照フレームのノード間の変化量に基づいて予測を行うことができる。以下の実施例では、参照フレームの参照ノードＰ_ｒ(ｎ)又はＰ_ｒ(ｎ＋１)又はＰ_ｒ(ｎ－１)(又はＰ(ｎ)又はＰ(ｎ＋１)又はＰ(ｎ－１))を予測値として使用するか、参照ノード間の変化量ｄ_ｒ(ｎ)又はｄ_ｒ(ｎ＋１)又はｄ_ｒ(ｎ－１)を使用して予測する場合に対する具現実施例である。このとき、参照ノード間の変化量を使用して予測する場合、予測値(Ｐ’(ｎ))は、以下のように求められる。すなわち、予測値は、参照フレームの選択された参照ノードのみを適用して決定されてもよく、選択された参照モードと参照ノード間の変化量を共に適用して決定されてもよい。又は、現在フレームの現在ノードの親ノードと参照フレームの参照ノード間の変化量が共に適用されて決定されてもよい。また、予測値が決定されると、現在フレームの現在ノード(すなわち、圧縮対象ポイント)の位置と決定された予測値の位置との差異(すなわち、残差又は残余情報)をエントロピー符号化した後、受信側に伝達する。以下、Ｐ’(ｎ)は、現在フレームの現在ポイント(Ｐ(ｎ)、又はノードという)に対する予測値を示す。

【0276】

予測値(Ｐｒｅｄｉｃｔｅｄ ｖａｌｕｅ)：

【0277】

Ｐ’(ｎ)＝Ｐ(ｎ－１)＋ｄ_ｒ(ｎ)又は

【0278】

Ｐ’(ｎ)＝Ｐ(ｎ－１)＋ｄ_ｒ(ｎ＋１)又は

【0279】

Ｐ’(ｎ)＝Ｐ(ｎ－１)＋ｄ_ｒ(ｎ－１)

【0280】

ｉｆ(ｉｎｔｅｒＭｏｄｅＦｌａｇ)｛

【0281】

ｉｆ(ＰｒｅｄＭｏｔｈｏｄ＝＝０)｛

【0282】

ｉｎｔｅｒＰｒｅｄ＝ｒｅｆＦｒａｍｅＳｐｈ．ｇｅｔＣｌｏｓｅｓｔＰｒｅｄ(ｐｒｅｖＰｏｓ［１］, ｐｒｅｖＰｏｓ［２］)；

【0283】

ｐｒｅｄ＝ｉｎｔｅｒＰｒｅ ｄ．ｓｅｃｏｎｄ；

【0284】

｝

【0285】

ｅｌｓｅ ｉｆ(ＰｒｅｄＭｏｔｈｏｄ＝＝１)｛

【0286】

ｉｎｔｅｒＰｒｅｄ＝ｒｅｆＦｒａｍｅＳｐｈ．ｇｅｔＮｅｘｔＣｌｏｓｅｓｔＰｒｅｄ(ｐｒｅｖＰｏｓ［１］, ｐｒｅｖＰｏｓ［２］)；

【0287】

ｐｒｅｄ＝ｉｎｔｅｒＰｒｅ ｄ．ｓｅｃｏｎｄ；

【0288】

｝

【0289】

ｅｌｓｅ ｉｆ(ＰｒｅｄＭｏｔｈｏｄ＝＝２)｛

【0290】

ｉｎｔｅｒＰｒｅｄ＝ｒｅｆＦｒａｍｅＳｐｈ．ｇｅｔＣｌｏｓｅｓｔＰｒｅｄＤｉｆｆ(ｐｒｅｖＰｏｓ［１］, ｐｒｅｖＰｏｓ［２］)；

【0291】

ｐｒｅｄ＝ｉｎｔｅｒＰｒｅ ｄ．ｓｅｃｏｎｄ＋ｐｒｅｖＰｏｓ；

【0292】

｝

【0293】

ｅｌｓｅ ｉｆ(ＰｒｅｄＭｏｔｈｏｄ＝＝３)｛

【0294】

ｉｎｔｅｒＰｒｅｄ＝ｒｅｆＦｒａｍｅＳｐｈ．ｇｅｔＮｅｘｔＣｌｏｓｅｓｔＰｒｅｄＤｉｆｆ(ｐｒｅｖＰｏｓ［１］, ｐｒｅｖＰｏｓ［２］)；

【0295】

ｐｒｅｄ＝ｉｎｔｅｒＰｒｅ ｄ．ｓｅｃｏｎｄ＋ｐｒｅｖＰｏｓ；

【0296】

｝

【0297】

｝

【0298】

前記したコードにおいて、ｉｎｔｅｒＭｏｄｅＦｌａｇの値が真である場合(ｉｎｔｅｒＭｏｄｅＦｌａｇ＝１)、フレーム間の参照が使用されることを示す。また、ＰｒｅｄＭｏｔｈｏｄの値が０である場合(ＰｒｅｄＭｏｔｈｏｄ＝＝０)、参照フレームの参照ノードを予測ノード(すなわち、予測値)として使用することを示す。ＰｒｅｄＭｏｔｈｏｄの値が１である場合(ＰｒｅｄＭｏｔｈｏｄ＝＝１)、参照フレームの参照子ノード(すなわち、参照ノードの子ノード)を予測ノードとして使用することを示す。ＰｒｅｄＭｏｔｈｏｄの値が２である場合(ＰｒｅｄＭｏｔｈｏｄ＝＝２)、参照フレームの参照ノードと参照ノードの子ノードとの変化量を使用して予測ノードを定めることを示す。例えば、ＰｒｅｄＭｏｔｈｏｄの値が２である場合(ＰｒｅｄＭｏｔｈｏｄ＝＝２)、参照フレームの参照ノードに変化量(すなわち、参照ノードと参照ノードの子ノードとの変化量)を足して予測値として使用する。また、ＰｒｅｄＭｏｔｈｏｄの値が３である場合(ＰｒｅｄＭｏｔｈｏｄ＝＝３)、参照フレームの参照子ノードとその子ノードとの変化量を使用して予測ノードを定めることを示す。例えば、ＰｒｅｄＭｏｔｈｏｄの値が３である場合(ＰｒｅｄＭｏｔｈｏｄ＝＝３)、参照フレームの参照ノードに変化量(すなわち、参照ノードの子ノードとその子ノードとの変化量)を足して予測値として使用する。ＰｒｅｄＭｏｔｈｏｄは、シグナリング情報(例えば、ｉｎｔｅｒ_ｐｒｅｄ_ｍｏｔｈｏｄフィールド)として受信側に送信される。

【0299】

ここで、参照ノードは、現在フレームにおいて現在ポイント(ｃｕｒｒｅｎｔ ｐｏｉｎｔ)の以前に復号されたポイントと方位(又は方位角という)が最も類似し、レーザーＩＤ(ｌａｓｅｒＩＤ)が同一の参照フレーム内のポイント(又はノード)(Ｐ_ｒ(ｎ－１))であることを一実施例とする。この場合、Ｐ_ｒ(ｎ)は、参照ノードＰ_ｒ(ｎ－１の子ノードとなり、Ｐ_ｒ(ｎ＋１)は、参照ノードＰ_ｒ(ｎ－１)の参照子ノードの子ノードとなる。その他の例として、参照ノードは、現在フレームにおいて現在ポイントの以前に復号されたポイントと方位(又は方位角という)が最も類似し、レーザーＩＤ(ｌａｓｅｒＩＤ)が同一の参照フレーム内のポイント(又はノード)(Ｐ_ｒ(ｎ－１))の子ノード(Ｐ_ｒ(ｎ))ともなる。

【0300】

本明細書は、４つの予測方法(ＰｒｅｄＭｏｔｈｏｄ ０－３)を適用して求めた各予測値と現在フレームの現在ノードとの差値(すなわち、残差又は残余情報)のうちの最小値を有する予測方法を予測モードとして選択し、選択した予測モードと、このときの差値(すなわち、残差又は残余情報)を受信側に送信する。又は、４つの予測方法(ＰｒｅｄＭｏｔｈｏｄ ０－３)のうちの１つを固定した後、固定した予測方法を適用して求めた予測値と現在フレームの現在ノードとの差値(すなわち、残差又は残余情報)を求めて受信側に送信してもよい。

【0301】

以下、前述した内容をコードで示す。

【0302】

１)ＰｒｅｄＭｏｔｈｏｄ＝＝０：参照ノードを予測ノードとして使用する場合

【0303】

ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞ ｇｅｔＣｌｏｓｅｓｔＰｒｅｄ(ｉｎｔ ｃｕｒｒＡｚｉｍ，ｉｎｔ ｃｕｒｒＬａｓｅｒＩｄ)

【0304】

｛

【0305】

ａｕｔｏ ｑｕａｎｔｉｚｅｄＰｈｉ＝ｃｏｍｐｕｔｅＰｈｉＱｕａｎｔｉｚｅｄ(ｃｕｒｒＡｚｉｍ)；

【0306】

ｉｆ (ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｓｉｚｅ())｛

【0307】

ａｕｔｏ ｉｄｘ＝ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｕｐｐｅｒ_ｂｏｕｎｄ(ｑｕａｎｔｉｚｅｄＰｈｉ)；

【0308】

ｉｆ (ｉｄｘ＝＝ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｅｎｄ())

【0309】

ｒｅｔｕｒｎ ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞(ｆａｌｓｅ，０)；

【0310】

ｅｌｓｅ

【0311】

ｒｅｔｕｒｎ ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞(ｔｒｕｅ，ｉｄｘ－＞ｓｅｃｏｎｄ)；

【0312】

｝

【0313】

ｒｅｔｕｒｎ ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞(ｆａｌｓｅ，０)；

【0314】

｝

【0315】

２)ＰｒｅｄＭｏｔｈｏｄ＝＝１：参照子ノードを予測ノードとして使用する場合

【0316】

ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞ ｇｅｔＮｅｘｔＣｌｏｓｅｓｔＰｒｅｄ(ｉｎｔ ｃｕｒｒＡｚｉｍ，ｉｎｔ ｃｕｒｒＬａｓｅｒＩｄ)

【0317】

｛

【0318】

ａｕｔｏ ｑｕａｎｔｉｚｅｄＰｈｉ＝ｃｏｍｐｕｔｅＰｈｉＱｕａｎｔｉｚｅｄ(ｃｕｒｒＡｚｉｍ)；

【0319】

ｉｆ (ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｓｉｚｅ())｛

【0320】

ａｕｔｏ ｉｄｘ＝ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｕｐｐｅｒ_ｂｏｕｎｄ(ｑｕａｎｔｉｚｅｄＰｈｉ)；

【0321】

ｉｆ (ｉｄｘ＝＝ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｅｎｄ())

【0322】

ｒｅｔｕｒｎ ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞(ｆａｌｓｅ，０)；

【0323】

ｅｌｓｅ

【0324】

ｑｕａｎｔｉｚｅｄＰｈｉ＝ｃｏｍｐｕｔｅＰｈｉＱｕａｎｔｉｚｅｄ(ｉｄｘ－＞ｓｅｃｏｎｄ［１］)；

【0325】

ｉｄｘ＝ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｕｐｐｅｒ_ｂｏｕｎｄ(ｑｕａｎｔｉｚｅｄＰｈｉ)；

【0326】

ｉｆ (ｉｄｘ＝＝ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｅｎｄ())

【0327】

ｒｅｔｕｒｎ ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞(ｆａｌｓｅ，０)；

【0328】

ｅｌｓｅ

【0329】

ｒｅｔｕｒｎ ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞(ｔｒｕｅ，ｉｄｘ－＞ｓｅｃｏｎｄ)；

【0330】

｝

【0331】

ｒｅｔｕｒｎ ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞(ｆａｌｓｅ，０)；

【0332】

｝

【0333】

３)ＰｒｅｄＭｏｔｈｏｄ＝＝２：参照フレームの参照ノードと参照ノードの子ノードの変化量を使用する場合

【0334】

ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞ ｇｅｔＣｌｏｓｅｓｔＰｒｅｄＤｉｆｆ(ｉｎｔ ｃｕｒｒＡｚｉｍ，ｉｎｔ ｃｕｒｒＬａｓｅｒＩｄ)

【0335】

｛

【0336】

ａｕｔｏ ｑｕａｎｔｉｚｅｄＰｈｉ＝ｃｏｍｐｕｔｅＰｈｉＱｕａｎｔｉｚｅｄ(ｃｕｒｒＡｚｉｍ)；

【0337】

ｉｆ (ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｓｉｚｅ())｛

【0338】

ａｕｔｏ ｉｄｘ＝ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｕｐｐｅｒ_ｂｏｕｎｄ(ｑｕａｎｔｉｚｅｄＰｈｉ)；

【0339】

ａｕｔｏ ｉｄｘ_ｎｅｘｔ＝ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｂｅｇｉｎ()；

【0340】

ａｕｔｏ ｉｄｘ_ｐａｒｅｎｔ＝ｉｄｘ_ｎｅｘｔ；

【0341】

ｗｈｉｌｅ (ｉｄｘ_ｎｅｘｔ－＞ｓｅｃｏｎｄ［１］＜＝ｑｕａｎｔｉｚｅｄＰｈｉ)｛

【0342】

ｉｄｘ_ｐａｒｅｎｔ＝ｉｄｘ_ｎｅｘｔ；

【0343】

ａｕｔｏ ｑｕａｎｔｉｚｅｄＰｈｉ_ｐａｒｅｎｔ＝ｃｏｍｐｕｔｅＰｈｉＱｕａｎｔｉｚｅｄ(ｉｄｘ_ｐａｒｅｎｔ－＞ｓｅｃｏｎｄ［１］)；

【0344】

ｉｄｘ_ｎｅｘｔ＝ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｕｐｐｅｒ_ｂｏｕｎｄ(ｑｕａｎｔｉｚｅｄＰｈｉ_ｐａｒｅｎｔ)；

【0345】

｝

【0346】

ｉｆ (ｉｄｘ＝＝ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｅｎｄ())

【0347】

ｒｅｔｕｒｎ ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞(ｆａｌｓｅ、０)；

【0348】

ｅｌｓｅ

【0349】

ｒｅｔｕｒｎ ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞(ｔｒｕｅ，ｉｄｘ－＞ｓｅｃｏｎｄ－ｉｄｘ_ｐａｒｅｎｔ－＞ｓｅｃｏｎｄ)；

【0350】

｝

【0351】

ｒｅｔｕｒｎ ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞(ｆａｌｓｅ，０)；

【0352】

｝

【0353】

４)ＰｒｅｄＭｏｔｈｏｄ＝＝３： 参照フレームの参照ノードの子ノードとその子ノードとの変化量を使用する場合

【0354】

ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞ ｇｅｔＮｅｘｔＣｌｏｓｅｓｔＰｒｅｄＤｉｆｆ(ｉｎｔ ｃｕｒｒＡｚｉｍ，ｉｎｔ ｃｕｒｒＬａｓｅｒＩｄ)

【0355】

｛

【0356】

ａｕｔｏ ｑｕａｎｔｉｚｅｄＰｈｉ＝ｃｏｍｐｕｔｅＰｈｉＱｕａｎｔｉｚｅｄ(ｃｕｒｒＡｚｉｍ)；

【0357】

ｉｆ (ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｓｉｚｅ())｛

【0358】

ａｕｔｏ ｉｄｘ＝ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｕｐｐｅｒ_ｂｏｕｎｄ(ｑｕａｎｔｉｚｅｄＰｈｉ)；

【0359】

ｉｆ (ｉｄｘ＝＝ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｅｎｄ())

【0360】

ｒｅｔｕｒｎ ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞(ｆａｌｓｅ，０)；

【0361】

ｅｌｓｅ

【0362】

ｑｕａｎｔｉｚｅｄＰｈｉ＝ｃｏｍｐｕｔｅＰｈｉＱｕａｎｔｉｚｅｄ(ｉｄｘ－＞ｓｅｃｏｎｄ［１］)；

【0363】

ａｕｔｏ ｉｄｘ_ｐａｒｅｎｔ＝ｉｄｘ；

【0364】

ｉｄｘ＝ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｕｐｐｅｒ_ｂｏｕｎｄ(ｑｕａｎｔｉｚｅｄＰｈｉ)；

【0365】

ｉｆ (ｉｄｘ＝＝ｒｅｆＰｏｉｎｔＶａｌｓ［ｃｕｒｒＬａｓｅｒＩｄ］．ｅｎｄ())

【0366】

ｒｅｔｕｒｎ ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞(ｆａｌｓｅ，０)；

【0367】

ｅｌｓｅ

【0368】

ｒｅｔｕｒｎ ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞(ｔｒｕｅ，ｉｄｘ－＞ｓｅｃｏｎｄ－ｉｄｘ_ｐａｒｅｎｔ－＞ｓｅｃｏｎｄ)；

【0369】

｝

【0370】

ｒｅｔｕｒｎ ｓｔｄ：：ｐａｉｒ＜ｂｏｏｌ，ｐｏｉｎｔ_ｔ＞(ｆａｌｓｅ，０)；

【0371】

｝

【0372】

今までは同じエレベーション角度(ｅｌｅｖａｔｉｏｎ ａｎｇｌｅ)を有するポイントに対して(又は同じレーザーＩＤを有するか、同じレーザーから取得したポイントに対して)、方位角度(ａｚｉｍｕｔｈａｌ ａｎｇｌｅ)が増加する方向に参照フレームの予測ツリー(ｐｒｅｄｉｃｔｉｖｅ ｔｒｅｅ)を構成し、予測値を決定する方法について説明した。

【0373】

一方、本明細書は、同じエレベーション角度(ｅｌｅｖａｔｉｏｎ ａｎｇｌｅ)だけではなく、隣接エレベーション角度(ｅｌｅｖａｔｉｏｎ ａｎｇｌｅ)の隣接ノードを予測値として決定のために使用することができる。このとき、参照フレームに対しては全てのポイントに対して復元が行われたと仮定する場合、上、下のエレベーション角度の隣接ノードを使用することができる。

【0374】

現在エレベーション角度のレーザーＩＤ(ｌａｓｅｒ ＩＤ)をＭとするとき、上、下方向への隣接エレベーション角度のレーザーＩＤは、Ｍ＋１、Ｍ－１とすることができる。すなわち、エレベーション角度が変化すると、レーザーＩＤも変化する。

【0375】

以下の実施例では、最隣接エレベーション角度プレーン(ｅｌｅｖａｔｉｏｎ ａｎｇｌｅ ｐｌａｎｅ)を使用する場合を示すが、応用分野に応じて、任意の整数ｍだけ離れたＭ＋ｍ又はＭ－ｍのエレベーション角度プレーンを参照してもよい。

【0376】

また、隣接エレベーション角度プレーン(ｅｌｅｖａｔｉｏｎ ａｎｇｌｅ ｐｌａｎｅ)が定められた後、現在フレームの参照ノードＰ(ｎ－１)(又は、現在ノードの親ノード)の方位角度に基づいて参照フレームの参照ノードＰ_ｒを求めることができる。すなわち、Ｐ_ｒ(Ｍ＋ｍ)の方位角度は、Ｐ(ｎ－１)の方位角度より大きい数の中で最小の数で求めるなどの方法が用いられる。

【0377】

図１９は実施例による現在フレームより低いエレベーション角度の参照フレーム内の参照ノードを予測値として使用する一例を示す図である。

【0378】

図２０は実施例による現在フレームより高いエレベーション角度の参照フレーム内の参照ノードを予測値として使用する一例を示す図である。

【0379】

図２１は実施例による現在フレームより低いエレベーション角度の参照フレーム内の参照ノード間の変化量に基づいて予測を行う一例を示す図である。

【0380】

図２２は実施例による現在フレームより高いエレベーション角度の参照フレーム内の参照ノード間の変化量に基づいて予測を行う一例を示す図である。

【0381】

実施例によれば、図１９ないし図２２のように、現在フレームのエレベーション角度と参照フレームのエレベーション角度とが異なる場合、エレベーション角度情報及び／又はレーザーＩＤ情報をシグナリングして受信側に送信する。このとき、レーザーＩＤ情報はそのまま送信されてもよく、参照フレームのレーザーＩＤ情報と現在フレームのレーザーＩＤ情報との差を送信してもよい。受信側では、受信したレーザーＩＤ情報又はレーザーＩＤ情報の残差に基づいてエレベーション角度を推定する。

【0382】

以下、予測ジオメトリコーディング(ｐｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇ、ｐｒｅｄ－ｇｅｏｍ)を使用する場合、伝達される残余情報(又は、残差(ｒｅｓｉｄｕａｌ)又は残差信号という)の一例を示す。まず、球面ドメイン(ｓｐｈｅｒｉｃａｌ ｄｏｍａｉｎ)での半径(ｒａｄｉｕｓ)、方位角度(ａｚｉｍｕｔｈａｌ ａｎｇｌｅ)、エレベーション角度に対する残余情報は、以下の数式７のように求められる。すなわち、半径に対する残余情報(ｒ_ｒｅｓ)は、現在フレームの現在ポイント(すなわち、現在ノード、予測ポイント)の半径と参照フレーム(例えば、以前フレーム)の参照ポイント(すなわち、参照ノード)の半径との差値である。方位角度に対する残余情報(Φ_ｒｅｓ)は、現在フレームの現在ポイントの方位角度と参照フレームの参照ポイントの方位角度との差値である。エレベーション角度(Θ_ｒｅｓ)に対する残余情報は、現在フレームの現在ポイントのエレベーション角度と以前フレームの参照ポイントのエレベーション角度との差値である。このとき、エレベーション角度は、レーザーＩＤを使用してもよい。

【0383】

実施例によれば、参照フレーム内で隣接エレベーション角度プレーンの参照ノードを使用する場合、レーザーＩＤ(ｌａｓｅｒ ＩＤ)の残余情報は、現在フレームのレーザーＩＤ(ｌａｓｅｒ ＩＤ)と参照フレームのレーザーＩＤ(ｌａｓｅｒ ＩＤ)との差で求められる。このとき、レーザーＩＤの残余情報Ｌ_ｒｅｓは、エレベーション角度の残余情報Φ_ｒｅｓと別として送信することができる。仮にエレベーション角度の残余情報Φ_ｒｅｓが小さい場合、又は親ノードＰ(ｎ－１)のレーザーＩＤを使用することで、別のシグナルを送信しなくてもよい場合は、レーザーＩＤの残余情報Ｌ_ｒｅｓのみを送信することで、圧縮効率をさらに高めることができる。実施例によれば、レーザーＩＤの残余情報Ｌ_ｒｅｓは、ｒｅｓ_ｌａｓｅｒ_ｉｄフィールド値に割り当てられ、受信側に送信される。

【0384】

【数7】

【0385】

例えば、半径の残余情報(ｒ_ｒｅｓ＝ｒ_ｃｕｒ－ｒ_ｒｅｆ)の場合、参照フレームに対してＭ番目のレーザーを用いて、Ｎ番目の方位サンプリング位置で取得した参照フレームのポイントＰ_ｒｅｆは、以下の数式８のように、直交座標(Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅ)及び球面座標(ｓｐｈｅｒｉｃａｌ ｃｏｏｒｄｉｎａｔｅ)上で表現される。

【0386】

【数8】

【0387】

数式８において、Ｌ_ｒｅfは、ＬｉＤＡＲの中心

からオブジェクト(又はポイント)までの距離を示し、以下の数式９のように求められる。

【0388】

【数9】

【0389】

また、現在フレームの現在ポイントＰ_ｃｕｒは、以下の数式１０のように、直交座標(Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅ)及び球面座標(ｓｐｈｅｒｉｃａｌ ｃｏｏｒｄｉｎａｔｅ)上で表現される。

【0390】

【数10】

【0391】

数式１０において、ｒ_ｃｕｒは、ＬｉＤＡＲの中心

からオブジェクト(又はポイント)までの距離を示し、以下の数式１１のように求められる。

【0392】

【数11】

【0393】

一方、出力座標系(ｏｕｔｐｕｔ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)が直交座標系(Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)である場合、さらにｘ、ｙ、ｚに対する直交残余(Ｃａｒｔｅｓｉａｎｌ ｒｅｓｉｄｕａｌ)情報を以下の数式１２のように伝達する。

【0394】

【数12】

【0395】

このとき、受信装置のジオメトリデコーダ(例えば、６１００３)では、球面座標系(ｓｐｈｅｒｅｉｃａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)上でのポイント位置を以下の数式１３のように復元する。すなわち、ポイント位置の復元は、受信装置のジオメトリデコーダ又は復号ステップで行うことができる。

【0396】

【数13】

【0397】

これによって復元された直交座標系(Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)上のポイント位置は、以下の数式１４のように求められる。

【0398】

【数14】

【0399】

図２３は実施例によるジオメトリエンコーダ５１００３の詳細なブロック図の一例を示す図である。図２３に示すジオメトリエンコーダのエレメントは、ハードウェア、ソフトウェア、プロセッサ及び／又はそれらの組み合わせなどで具現できる。

【0400】

実施例によれば、ジオメトリエンコーダ５１００３は、クラスタリング及び整列部５１０３１、第１の予測ツリー生成部５１０３２、イントラフレーム予測部５１０３３、モード選択部５１０３４、エントロピー符号化部５１０３５、第２の予測ツリー生成部５１０３６、及びインターフレーム予測部５１０３７を含む。

【0401】

クラスタリング及び整列部５１０３１は、クラスタリング部と整列部とに区分される。クラスタリング部は、デバイダーと呼ぶ。各ブロックの実行手順は、変更することができ、一部のブロックは省略してもよく、一部のブロックは新しく追加してもよい。

【0402】

一実施例として、クラスタリング及び整列部５１０３１は、同じフレームに属するポイントを整列する。このとき、圧縮効率が高くなるようにポイントの位置情報を整列する。

【0403】

他の実施例として、クラスタリング及び整列部５１０３１は、入力されるポイントクラウドデータのポイントの位置情報に基づいてクラスタリングを行い、入力されるポイントクラウドデータのポイントを複数のクラスタ(例えば、スライス)に分ける。そして、クラスタ別に、クラスタ内で各ポイントのジオメトリ情報を考慮し、ポイントクラウドデータのポイントを整列(ｓｏｒｔｉｎｇ)する。

【0404】

このとき、圧縮効率が高くなるように、各クラスタ内のポイントを整列する。例えば、ＬｉＤＡＲのように回転軸から放射状にデータを取得する場合、レーザーの方位(ａｚｉｍｕｔｈａｌ)(又は水平方向)位置、回転角度、中心軸からの距離に座標系を変換して整列(ｓｏｒｔｉｎｇ)することができるが、この場合、整列の方向性をジグザグ状にすることで、ポイント間の連関性を高めることができる。

【0405】

第１の予測ツリー生成部５１０３２は、クラスタリング及び整列部５１０３１においてフレーム又は各クラスタ内のポイントクラウドデータのポイントの整列が行われた後、フレーム又は各クラスタ内で予測ツリーを構成することができる。説明の便宜のために、第１の予測ツリー生成部５１０３２は、クラスタリング及び整列部５１０３１で整列された現在フレーム内で予測ツリーを構成することを一実施例とする。

【0406】

イントラフレーム予測部５１０３３は、予測ツリー生成部５１０３２において予測ツリーが生成されると、予測ツリー内のポイントに対して親－子の関係を設定して、各ポイントのイントラ予測モードを決定し、決定したイントラ予測モードに基づいて各ポイントの残余情報を求めた後、イントラ予測モード情報と残余情報をモード選択部５１０３４に出力する。一実施例として、イントラフレーム予測部５１０３３は、各ポイントに数式５及び数式６を適用し、最適な圧縮率を提供するイントラ予測モードを決定する。一実施例として、各ポイントのイントラ予測モードは、モード１ないしモード７のいずれか１つとなる。

【0407】

第２の予測ツリー生成部５１０３６は、入力される参照フレーム内で予測ツリーを構成することを一実施例とする。このとき、現在フレームのエレベーション角度と参照フレームのエレベーション角度とは同一であってもよく異なってもよい。図１７及び図１８は、現在フレームのエレベーション角度と参照フレームのエレベーション角度が同一である場合の例示であり、図１９ないし図２２は、現在フレームのエレベーション角度と参照フレームのエレベーション角度とが異なる場合の例示である。

【0408】

インターフレーム予測部５１０３７は、参照フレームから参照ノードを探し、現在フレームの現在ポイントの予測のために使用される予測値を決定する。このとき、予測値は、参照フレームの選択された参照ノードのみを適用して決定されてもよく、選択された参照モードと参照ノード間の変換量を共に適用して決定されてもよい。又は、現在フレームの現在ノードの親ノードと参照フレームの参照ノード間の変化量を共に適用して決定されてもよい。そして、予測値が決定されると、現在フレームの現在ノード(すなわち、圧縮対象ポイント)の位置と決定された予測値の位置との差異(すなわち、残差又は残余情報)を求める。

【0409】

インターフレーム予測部５１０３７は、前述した４つの予測方法(ＰｒｅｄＭｏｔｈｏｄ ０－３)を適用して求めた各予測値と現在フレームの現在ノードとの差値(すなわち、残差又は残余情報)のうち、最小値を有する予測方法を予測モードとして選択し、選択した予測モードと、このときの差値(すなわち、残差又は残余情報)をモード選択部５１０３４に出力する。又は、４つの予測方法(ＰｒｅｄＭｏｔｈｏｄ ０－３)のうちの１つを固定した後、固定した予測方法を適用して求めた予測値と現在フレームの現在ノードとの差値(すなわち、残差又は残余情報)をモード選択部５１０３５に出力してもよい。

【0410】

実施例によれば、予測方法０(ＰｒｅｄＭｏｔｈｏｄ＝＝０)は、参照フレームの参照ノードを予測ノード(すなわち、予測値)として使用する場合である。予測方法１(ＰｒｅｄＭｏｔｈｏ＝＝１)は、参照フレームの参照子ノード(すなわち、参照ノードの子ノード)を予測ノードとして使用する場合である。予測方法２(ＰｒｅｄＭｏｔｈｏｄ＝＝２)は、参照フレームの参照ノードと参照ノードの子ノード間の変化量を使用して予測ノードを定める場合である。例えば、ＰｒｅｄＭｏｔｈｏｄの値が２である場合(ＰｒｅｄＭｏｔｈｏｄ＝＝２)、参照フレームの参照ノードに変化量(すなわち、参照ノードと参照ノードの子ノード間の変化量)を足して予測値として使用する。予測ノード３(ＰｒｅｄＭｏｔｈｏｄ＝＝３)は、参照フレームの参照子ノードとその子ノード間の変化量を使用して予測ノードを定める場合を示す。例えば、ＰｒｅｄＭｏｔｈｏｄの値が３である場合(ＰｒｅｄＭｏｔｈｏｄ＝＝３)、参照フレームの参照ノードに変化量(すなわち、参照ノードの子ノードとその子ノードとの変化量)を足して予測値として使用する。

【0411】

ここで、参照ノードは、現在フレームにおいて現在ポイント(ｃｕｒｒｅｎｔ ｐｏｉｎｔ)の以前に復号されたポイントと方位(又は方位角という)が最も類似し、レーザーＩＤ(ｌａｓｅｒＩＤ)が同じ参照フレーム内のポイント(又はノード)(Ｐ_ｒ(ｎ－１))であることを一実施例とする。この場合、Ｐ_ｒ(ｎ)は、参照ノードＰ_ｒ(ｎ－１の子ノードとなり、Ｐ_ｒ(ｎ＋１)は参照ノードＰ_ｒ(ｎ－１)の参照子ノードの子ノードとなる。その他の例として、参照ノードは、現在フレームにおいて現在ポイントの以前に復号されたポイントと方位(又は方位角という)が最も類似し、レーザーＩＤ(ｌａｓｅｒＩＤ)が同じ参照フレーム内のポイント(又はノード)(Ｐ_ｒ(ｎ－１))の子ノード(Ｐ_ｒ(ｎ))ともなる。

【0412】

前述のように、予測方法(すなわち、予測モード)が決定される場合、決定された予測モードに基づいて残余情報が求められるが、球面ドメイン(ｓｐｈｅｒｉｃａｌ ｄｏｍａｉｎ)での半径(ｒａｄｉｕｓ)、方位角度(ａｚｉｍｕｔｈａｌ ａｎｇｌｅ)、エレベーション角度に対する残余情報(ｒ_ｒｅｓ、Φ_ｒｅｓ、Θ_ｒｅｓ)は、数式７のように求められる。

【0413】

一方、参照フレーム内で隣接エレベーション角度プレーンの参照ノードを使用する場合、すなわち、現在フレームのエレベーション角度と参照フレームのエレベーション角度とが異なる場合、レーザーＩＤ(ｌａｓｅｒ ＩＤ)の残余情報がさらに送信される。レーザーＩＤの残余情報は、数式７のように、現在フレームのレーザーＩＤ(ｌａｓｅｒ ＩＤ)と参照フレームのレーザーＩＤ(ｌａｓｅｒ ＩＤ)との差異で求められる。このとき、レーザーＩＤの残余情報Ｌ_ｒｅｓは、エレベーション角度の残余情報Φ_ｒｅｓとは別として送信する。仮に、エレベーション角度の残余情報Φ_ｒｅｓが小さい場合又は親ノードＰ(ｎ－１)のレーザーＩＤを使用することで、別のシグナルを送信しなくてもよい場合には、レーザーＩＤの残余情報Ｌ_ｒｅｓのみを送信することで、圧縮効率をさらに高めることができる。

【0414】

モード選択部５１０３４は、イントラフレーム予測部５１０３３から出力されるイントラ予測モード情報と残余情報、及びインターフレーム予測部５１０３７から出力されるインター予測モード情報と残余情報のうちの１つを選択し、エントロピーコーディング部５１０３５に出力する。

【0415】

モード選択部５１０３４は、ポイント／ＰＵ／スライス／予測ツリー／データユニット／フレーム単位にインター予測モード情報と残余情報又はイントラ予測モード情報と残余情報を先行的に選択することができる。

【0416】

モード選択部５１０３４において各ノード(又はポイント)に対して最適な圧縮率を提供する予測モードが決定されると、決定された予測モード、決定された予測モードに基づいて求めた残余情報(すなわち、予測エラーによる残差(ｒｅｓｉｄｕａｌ))がエントロピー符号化部５１０３５でエントロピー符号化され、ビットストリーム(又はジオメトリビットストリームという)の形態で出力される。

【0417】

図２４は実施例による予測基盤の圧縮を行うためのジオメトリ符号化の過程の一例を示す図である。図２４は、本明細書においてフレーム間の相関度に基づく圧縮方法を具現したジオメトリエンコーダの一実施例である。

【0418】

図２４を参照すれば、参照フレームに適用する参照レーザープレーンを選択する(５１０５１)。すなわち、現在フレームに対して圧縮対象ノードがあるとき、そのノードの直前に圧縮されたノードのエレベーション角度に基づいて参照フレームのレーザープレーン(ｌａｓｅｒ ｐｌａｎｅ)を決定する。また、参照方位角度を選択する(５１０５２)。すなわち、ステップ５１０５１において選択されたレーザープレーンに存在するノードに対して、直前に圧縮されたノードの方位角度に基づいて参照ノードを選択する。

【0419】

ステップ５１０５２において参照ノードが選択されると、ノード間の変化量に基づいて予測を行うか否かを確認する(５１０５３)。

【0420】

ステップ５１０５３においてノード間の変化量に基づいて予測を行うことを確認した場合、参照ノードの周りのノードを用いて方位角度の変化量を推定し(５１０５４)、これに基づいて球面座標系においてｒａｄｉｕｓ(ｒ)、ｐｈｉ(Φ)、ｔｈｅｔａ(θ)に対する予測を行う(５１０５５)。仮に、ステップ５１０５３においてノード間の変化量に基づいて予測を行っていないことを確認した場合、ステップ５１０５２で選択された参照ノードに基づいて球面座標系においてｒａｄｉｕｓ、ｐｈｉ、ｔｈｅｔａに対する予測を行う(５１０５５)。

【0421】

ステップ５１０５５において予測を行って求めた参照フレームの予測値(ｒａｄｉｕｓ、ｐｈｉ、ｔｈｅｔａ)と現在フレームのそのノードの位置値(ｒａｄｉｕｓ、ｐｈｉ、ｔｈｅｔａ)に基づいて、残余情報(ｒｅｓ_ｒ、ｒｅｓ_ｐｈｉ、ｒｅｓ_ｔｈｅｔａ又はｒ_ｒｅｓ、Φ_ｒｅｓ、θ_ｒｅｓという)を推定する(５１０５６)。残余情報を推定する方法は、前述した数式７ないし数式１１の説明を参照すればよい。

【0422】

次いで、球面座標系の残余情報(ｒｅｓ_ｒ、ｒｅｓ_ｐｈｉ、ｒｅｓ_ｔｈｅｔａ又はｒ_ｒｅｓ、Φ_ｒｅｓ、θ_ｒｅｓという)と、このときの予測値(又は予測モード)に基づいて球面ドメイン上のｒａｄｉｕｓ、ｐｈｉ、ｔｈｅｔａを復元した後(５１０５８)、座標系変換によって球面座標系を直交座標系に変換する(５１０５８)。また、直交座標ドメインでの残余情報(ｒｅｓ_ｘ、ｒｅｓ_ｙ、ｒｅｓ_ｚ又はｘ_ｒｅｓ、ｙ_ｒｅｓ、ｚ_ｒｅｓ)という)を数式１２のように推定する(５１０５９)。

【0423】

前述したステップが各ｉｎｔｅｒ_ｐｒｅｄ_ｍｅｔｈｏｄに従って行われた後、ステップ５１０６０では各方法に対するコスト(例えば、その方法を使用するときに必要とするビット数)を算出し、このうち、最小コストを有するモードがあれば(５１０６１)これを選択し、選択した残余情報と予測モードをエントロピー符号化する(５１０６２)。この過程は、各ｉｎｔｅｒ_ｐｒｅｄ_ｍｅｔｈｏｄに従って行った後、各方法に対するコスト(例えば、その方法を使用するときに必要とするビット数)を比較して、最適な方法を選択する。

【0424】

以上のように、ジオメトリエンコーダ５１０３１では、現在フレームに対して圧縮対象ノードがある場合、そのノードの直前に圧縮されたノードのエレベーション角度に基づいて参照フレームのレーザープレーンを選択し、選択したレーザープレーンに存在するノードに対して、直前に圧縮されたノードの方位角度に基づいて参照ノードを選択する。また、ノード間の変化量に基づいて予測を行う場合、参照ノードの周りのノードを用いて方位角度の変化量を推定し、これに基づいてｒａｄｉｕｓ、ｐｈｉ、ｔｈｅｔａに対する予測を行う。

【0425】

このとき、球面ドメイン上での予測値に基づいて残差成分(すなわち、残余情報)を推定することができ、残差及び予測値(又は予測モード)に基づいて球面ドメイン上のｒａｄｉｕｓ、ｐｈｉ、ｔｈｅｔａを復元した後、座標系変換によって直交座標ドメイン(Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅ ｄｏｍａｉｎ)での残差成分(すなわち、残余情報)を推定することができる。この過程は、各ｉｎｔｅｒ_ｐｒｅｄ_ｍｅｔｈｏｄに従って行った後、各方法に対するコスト(例えば、その方法を使用するときに必要とするビット数)を比較して最適な方法を選択する。

【0426】

図２５は実施例による送／受信のためのポイントクラウドデータのビットストリーム構造の一例を示す図である。実施例によれば、図１、図２、図４、図１２、図１６のいずれか１つのポイントクラウドビデオエンコーダから出力されるビットストリームは、図２５の形態である。

【0427】

実施例によれば、ポイントクラウドデータのビットストリームは、ポイントクラウドデータを領域別に分けて処理するようにタイル又はスライスを提供する。実施例によるビットストリームの各々の領域は互いに異なる重要度を有してもよい。よって、ポイントクラウドデータがタイルに分けられる場合、各タイルごとに異なるフィルタ(符号化方法)、異なるフィルタユニットを適用することができる。また、ポイントクラウドデータがスライスに分けられる場合、各スライスごとに異なるフィルタ、異なるフィルタユニットを適用することができる。

【0428】

実施例による送信装置は、図２５のようなビットストリームの構造に従ってポイントクラウドデータを送信することで、重要度に応じて異なる符号化動作を適用することができ、品質(ｑｕａｌｉｔｙ)のよい符号化方法を重要な領域に使用する方案を提供することができる。また、ポイントクラウドデータの特性による効率的な符号化及び送信を支援し、ユーザの要求事項に応じる特質値を提供することができる。

【0429】

実施例による受信装置は、図２５のようなビットストリームの構造に従ってポイントクラウドデータを受信することで、受信装置の処理能力(ｃａｐａｃｉｔｙ)に応じて、ポイントクラウドデータの全体に複雑な復号(フィルタリング)方法を使用する代わりに、領域ごとに(タイル又はスライスに分けられた領域)互いに異なるフィルタリング(復号方法)を適用することができる。よって、ユーザにとって重要な領域にさらに良好な画質及びシステム上で適宜な待ち時間(ｌａｔｅｎｃｙ)を保障することができる。

【0430】

実施例によるジオメトリビットストリーム、特質ビットストリーム、及び／又はシグナリングビットストリーム(又はシグナリング情報)が、図２５のように、１つのビットストリーム(又はＧ－ＰＣＣビットストリーム)からなる場合、ビットストリームは１つ又はそれ以上のサブビットストリームを含む。実施例によるビットストリームは、シーケンスレベルのシグナリングのためのＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、特質情報コーディングのシグナリングのための１つ以上のＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＡＰＳ_０、ＡＰＳ_１)、タイルレベルのシグナリングのためのタイルインベントリ(又はＴＰＳという)、１つ以上のスライス(ｓｌｉｃｅ ０～ｓｌｉｃｅ ｎ)を含む。すなわち、実施例によるポイントクラウドデータのビットストリームは、１つ以上のタイルを含み、各タイルは、１つ以上のスライス(ｓｌｉｃｅ ０～ｓｌｉｃｅ ｎ)を含むスライスのグループである。実施例によるタイルインベントリ(すなわち、ＴＰＳ)は、１つ以上のタイルに対して、各タイルに関する情報(例えば、ｔｉｌｅ ｂｏｕｎｄｉｎｇ ｂｏｘの座標値情報及び高さ／大きさ情報など)を含む。各スライスは、１つのジオメトリビットストリーム(Ｇｅｏｍ０)及び／又は１つ以上の特質ビットストリーム(Ａｔｔｒ０、Ａｔｔｒ１)を含む。例えば、スライス０(ｓｌｉｃｅ ０)は、１つのジオメトリビットストリーム(Ｇｅｏｍ０^０)及び１つ以上の特質ビットストリーム(Ａｔｔｒ０^０、Ａｔｔｒ１^０)を含む。

【0431】

各スライス内のジオメトリビットストリームは、ジオメトリスライスヘッダ(ｇｅｏｍ_ｓｌｉｃｅ_ｈｅａｄｅｒ)とジオメトリスライスデータ(ｇｅｏｍ_ｓｌｉｃｅ_ｄａｔａ)からなる。実施例によれば、各スライス内のジオメトリビットストリームはジオメトリデータユニット、ジオメトリスライスヘッダはジオメトリデータユニットヘッダ、ジオメトリスライスデータはジオメトリデータユニットデータとも呼ぶ。実施例によるジオメトリスライスヘッダ(又はジオメトリデータユニットヘッダ)は、ジオメトリパラメータセット(ＧＰＳ)に含まれたパラメータセットの識別情報(ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、タイル識別子(ｇｅｏｍ_ｔｉｌｅ_ｉｄ)、スライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)及びジオメトリスライスデータ(ｇｅｏｍ_ｓｌｉｃｅ_ｄａｔａ)に含まれたデータに関する情報(ｇｅｏｍＢｏｘＯｒｉｇｉｎ、ｇｅｏｍ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ、ｇｅｏｍ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｌｏｇ２、ｇｅｏｍ_ｎｕｍ_ｐｏｉｎｔｓ)などを含む。ｇｅｏｍＢｏｘＯｒｉｇｉｎは、そのジオメトリスライスデータのボックス原点を示すジオメトリボックスオリジン情報であり、ｇｅｏｍ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅは、そのジオメトリスライスデータのログスケールを示す情報であり、ｇｅｏｍ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｌｏｇ２は、ルートジオメトリ八分木ノードのサイズを示す情報であり、ｇｅｏｍ_ｎｕｍ_ｐｏｉｎｔｓは、そのジオメトリスライスデータのポイントの数に関する情報である。実施例によるジオメトリスライスデータ(又はジオメトリデータユニットデータ)は、そのスライス内のポイントクラウドデータのジオメトリ情報(又はジオメトリデータ)を含む。

【0432】

各スライス内の各特質ビットストリームは、特質スライスヘッダ(ａｔｔｒ_ｓｌｉｃｅ_ｈｅａｄｅｒ)と特質スライスデータ(ａｔｔｒ_ｓｌｉｃｅ_ｄａｔａ)からなる。実施例によれば、各スライス内の特質ビットストリームは特質データユニット、特質スライスヘッダは特質データユニットヘッダ、特質スライスデータは特質データユニットデータとも呼ぶ。実施例による特質スライスヘッダ(又は特質データユニットヘッダ)は、その特質スライスデータ(又はその特質データユニット)に関する情報を含み、特質スライスデータは、そのスライス内のポイントクラウドデータの特質情報(又は特質データ又は特質値という)を含む。１つのスライス内の特質ビットストリームが複数である場合、各々は互いに異なる特質情報を含む。例えば、１つの特質ビットストリームは色相に相当する特質情報を含み、その他の１つの特質ストリームは反射率に相当する特質情報を含む。

【0433】

実施例によれば、ポイントクラウドデータの符号化及び／又は復号に必要なパラメータは、ポイントクラウドデータのパラメータセット(例えば、ＳＰＳ、ＧＰＳ、ＡＰＳ及びＴＰＳ(又はタイルインベントリという)など)及び／又はそのスライスのヘッダなどに新しく定義される。例えば、ジオメトリ情報の符号化及び／又は復号を行うときには、ジオメトリパラメータセット(ＧＰＳ)に、タイル基盤の符号化及び／又は復号を行うときには、タイル及び／又はスライスヘッダに追加する。

【0434】

実施例によれば、予測基盤のジオメトリ圧縮情報は、ジオメトリパラメータセット、ジオメトリスライスヘッダ(又はジオメトリデータユニットヘッダという)、又はジオメトリスライスデータ(又はジオメトリデータユニットデータという)のうちの少なくとも１つにシグナリングされる。

【0435】

実施例によれば、予測基盤のジオメトリ圧縮情報は、特質コーディング方法と連携するか、特質コーディングに適用するために、特質パラメータセット及び／又は特質スライスヘッダ(又は特質データユニットヘッダという)にシグナリングされる。

【0436】

実施例によれば、予測基盤のジオメトリ圧縮情報は、シーケンスパラメータセット及び／又はタイルパラメータセットにシグナリングされる。

【0437】

実施例によれば、予測基盤のジオメトリ圧縮情報は、ジオメトリ予測ツリーデータ(ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｄａｔａ())にシグナリングされる。ジオメトリ予測ツリーデータ(ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｄａｔａ())は、ジオメトリスライス(又はジオメトリデータユニットという)に含まれる。

【0438】

実施例によれば、以下に定義されているシンタックスエレメント(ｓｙｎｔａｘ ｅｌｅｍｅｎｔ)が現在ポイントクラウドデータストリームだけではなく、複数のポイントクラウドデータストリームに適用される場合には、上位概念のパラメータセットなどによって予測基盤のジオメトリ圧縮情報を伝達する。

【0439】

実施例によれば、予測基盤のジオメトリ圧縮情報は、アプリケーション、システムに相応する位置又は別の位置に定義して、適用範囲、適用方法などを変えて使用することができる。後述する本明細書のシンタックスにおいて使用される用語であるフィールドは、パラメータ又はシンタックスエレメントと同じ意味を有する。

【0440】

実施例によれば、予測基盤のジオメトリ圧縮情報を含むパラメータ(メタデータ、シグナリング情報などと様々に呼ばれる)は、送信装置のメタデータ処理部(又はメタデータ生成部)やシグナリング処理部で生成され、受信装置に伝達されて、復号／再構成の過程に用いられる。例えば、送信装置で生成されて送信されるパラメータは、受信装置のメタデータパーザで取得される。

【0441】

実施例によれば、スライス間の参照関係による圧縮は、スライスの開始ノード(すなわち、ルートノード)だけではなく、任意のノードに対しても他のスライス内のノードを参照(ｒｅｆｅｒｅｎｃｅ)するように適用する。また、予測ツリー間の参照関係に拡張して適用する。

【0442】

前述のように、ジオメトリスライスビットストリームは、ジオメトリスライスヘッダとジオメトリスライスデータを含む。本明細書は、説明の便宜のために、ジオメトリスライスビットストリームはジオメトリデータユニットといい、ジオメトリスライスヘッダはジオメトリデータユニットヘッダといい、ジオメトリスライスデータはジオメトリデータユニットデータという。

【0443】

実施例によるジオメトリパラメータセットは、ｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅフィールドを含む。ｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅフィールドは、位置情報(すなわち、ジオメトリ情報)が八分木を用いて符号化されたか、又は予測ツリーを用いて符号化されたかを指示する。例えば、ｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅフィールドの値が０である場合、位置情報(すなわち、ジオメトリ情報)が八分木を用いて符号化されたことを指示し、１である場合、位置情報(すなわち、ジオメトリ情報)が予測ツリーを用いて符号化されたことを指示する。

【0444】

図２６は実施例によるジオメトリデータユニット(ｇｅｏｍｅｔｒｙ_ｄａｔａ_ｕｎｉｔ())のシンタックス構造の一例を示す図である。

【0445】

実施例によるジオメトリデータユニット(ｇｅｏｍｅｔｒｙ_ｄａｔａ_ｕｎｉｔ())は、ジオメトリデータユニットヘッダ(ｇｅｏｍｅｔｒｙ_ｄａｔａ_ｕｎｉｔ_ｈｅａｄｅｒ())、ｂｙｔｅ_ａｌｉｇｎｍｅｎｔ()、及びｇｅｏｍｅｔｒｙ_ｄａｔａ_ｕｎｉｔ_ｆｏｏｔｅｒ()を含む。

【0446】

実施例によるジオメトリデータユニット(ｇｅｏｍｅｔｒｙ_ｄａｔａ_ｕｎｉｔ())は、ジオメトリパラメータセットに含まれたｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅフィールドの値が０である場合、ジオメトリ八分木データ(ｇｅｏｍｅｔｒｙ_ｏｃｔｒｅｅ())をさらに含み、１である場合、ジオメトリ予測ツリーデータ(ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｄａｔａ())をさらに含む。

【0447】

図２７は実施例によるジオメトリデータユニットヘッダ(ｇｅｏｍｅｔｒｙ_ｄａｔａ_ｕｎｉｔ_ｈｅａｄｅｒ())のシンタックス構造の一例を示す図である。

【0448】

図２７において、ｇｓｈ_ｇｅｏｍｅｔｒｙ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールドは、アクティブＧＰＳのｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールドの値を示す(ｇｓｈ_ｇｅｏｍｅｔｒｙ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｔｈｅ ｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｏｆ ｔｈｅ ａｃｔｉｖｅ ＧＰＳ)。

【0449】

ｇｓｈ_ｔｉｌｅ_ｉｄフィールドは、そのジオメトリデータユニットヘッダによって参照されるそのタイル(ｔｉｌｅ)の識別子を示す。

【0450】

ｇｓｈ_ｓｌｉｃｅ_ｉｄフィールドは、他のシンタックスエレメントによる参照のために、当該スライスの識別子を示す(ｉｄｅｎｔｉｆｉｅｓ ｔｈｅ ｓｌｉｃｅ ｈｅａｄｅｒ ｆｏｒ ｒｅｆｅｒｅｎｃｅ ｂｙ ｏｔｈｅｒ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ)。

【0451】

ｓｌｉｃｅ_ｔａｇフィールドは、ｓｌｉｃｅ_ｔａｇの所定値を有する１つ以上のスライスを識別するために使用される。

【0452】

ｆｒａｍｅ_ｃｔｒ_ｌｓｂフィールドは、ｎｏｔｉｏｎａｌ ｆｒａｍｅ ｎｕｍｂｅｒ ｃｏｕｎｔｅｒのＬＳＢ(ｌｅａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔｓ)を示す。

【0453】

実施例によるジオメトリデータユニットヘッダは、ｅｎｔｒｏｐｙ_ｃｏｎｔｉｎｕａｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が偽である場合、ｇｓｈ_ｅｎｔｒｏｐｙ_ｃｏｎｔｉｎｕａｔｉｏｎ_ｆｌａｇフィールドをさらに含み、ｇｓｈ_ｅｎｔｒｏｐｙ_ｃｏｎｔｉｎｕａｔｉｏｎ_ｆｌａｇフィールドの値が真である場合、ｇｓｈ_ｐｒｅｖ_ｓｌｉｃｅ_ｉｄフィールドをさらに含む。

【0454】

ｅｎｔｒｏｐｙ_ｃｏｎｔｉｎｕａｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドはＳＰＳに含まれる。ｅｎｔｒｏｐｙ_ｃｏｎｔｉｎｕａｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が１(すなわち、真)である場合、スライスの初期エントロピーコンテクスト状態が以前スライス(ｐｒｅｃｅｅｄｉｎｇ ｓｌｉｃｅ)の最後のエントロピーコンテクスト状態に従属的であることを指示する(ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ａ ｓｌｉｃｅ’ｓ ｉｎｉｔｉａｌ ｅｎｔｒｏｐｙ ｃｏｎｔｅｘｔ ｓｔａｔｅ ｍａｙ ｄｅｐｅｎｄ ｕｐｏｎ ｔｈｅ ｆｉｎａｌ ｅｎｔｒｏｐｙ ｃｏｎｔｅｘｔ ｓｔａｔｅ ｏｆ ｔｈｅ ｐｒｅｃｅｅｄｉｎｇ ｓｌｉｃｅ)。ｅｎｔｒｏｐｙ_ｃｏｎｔｉｎｕａｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が０(すなわち、偽)である場合、各スライスの初期エントロピーコンテクスト状態が独立的であることを指示する。

【0455】

ｇｓｈ_ｐｒｅｖ_ｓｌｉｃｅ_ｉｄフィールドは、ビットストリーム手順において以前ジオメトリデータユニットのスライス識別子(すなわち、ｇｓｈ_ｓｌｉｃｅ_ｉｄフィールド)の値を示す。

【0456】

実施例によるジオメトリデータユニットヘッダは、ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が真である場合、ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅフィールドを含む。

【0457】

ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドはＧＰＳに含まれる。ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が１である場合、ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅフィールドが現在ＧＰＳを参照する各ジオメトリデータユニットにシグナリングされることを指示する。ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が０である場合、ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅフィールドが各ジオメトリデータユニットにシグナリングされないことを指示し、また全てのスライスのためのコモンスケールが現在ＧＰＳのｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅフィールドにシグナリングされることを指示する。

【0458】

ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅフィールドは、当該スライスオリジンのスケジューリングファクタを示す。

【0459】

実施例によるジオメトリデータユニットヘッダは、ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｂｉｔｓ_ｍｉｎｕｓ１フィールドを含む。

【0460】

ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｂｉｔｓ_ｍｉｎｕｓ１フィールドの値に１を足して、次に位置したｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｘｙｚ[ｋ]フィールドの長さをビット単位で示す。

【0461】

ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｘｙｚ[ｋ]フィールドは、当該スライスオリジンの量子化された(ｘ、ｙ、ｚ)座標のｋ番目のコンポーネントを示す。

【0462】

実施例によるジオメトリデータユニットヘッダは、ｇｅｏｍ_ｓｌｉｃｅ_ａｎｇｕｌａｒ_ｏｒｉｇｉｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が真である場合、ｇｓｈ_ａｎｇｕｌａｒ_ｏｒｉｇｉｎ_ｂｉｔｓ_ｍｉｎｕｓ１フィールドとｇｓｈ_ａｎｇｕｌａｒ_ｏｒｉｇｉｎ_ｘｙｚ[ｋ]フィールドを含む。

【0463】

ｇｅｏｍ_ｓｌｉｃｅ_ａｎｇｕｌａｒ_ｏｒｉｇｉｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドはＧＰＳに含まれる。ｇｅｏｍ_ｓｌｉｃｅ_ａｎｇｕｌａｒ_ｏｒｉｇｉｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が１である場合、スライス関連アンギュラオリジン(ｓｌｉｃｅ ｒｅｌａｔｉｖｅ ａｎｇｕｌａｒ ｏｒｉｇｉｎ)が当該ジオメトリデータユニットヘッダに存在することを指示する。ｇｅｏｍ_ｓｌｉｃｅ_ａｎｇｕｌａｒ_ｏｒｉｇｉｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が０である場合、アンギュラオリジンが当該ジオメトリデータユニットヘッダに存在しないことを指示する。

【0464】

ｇｓｈ_ａｎｇｕｌａｒ_ｏｒｉｇｉｎ_ｂｉｔｓ_ｍｉｎｕｓ１フィールドに１を足して、次に位置したｇｓｈ_ａｎｇｕｌａｒ_ｏｒｉｇｉｎ_ｘｙｚ[ｋ]フィールドの長さをビット単位で示す。

【0465】

ｇｓｈ_ａｎｇｕｌａｒ_ｏｒｉｇｉｎ_ｘｙｚ[ｋ]フィールドは、アンギュラコーディングモードのプロセシングにおいて使用されたオリジンの(ｘ、ｙ、ｚ)座標のｋ番目のコンポーネントを示す。

【0466】

実施例によるジオメトリデータユニットヘッダは、ｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅフィールドの値が０(すなわち、八分木基盤コーディング)である場合、ｇｅｏｍ_ｔｒｅｅ_ｄｅｐｔｈ_ｍｉｎｕｓ１フィールドとｇｓｈ_ｅｎｔｒｏｐｙ_ｓｔｒｅａｍ_ｃｎｔ_ｍｉｎｕｓ１フィールドを含む。

【0467】

ｇｅｏｍ_ｔｒｅｅ_ｄｅｐｔｈ_ｍｉｎｕｓ１フィールドに１を足して、そのデータユニットに存在するジオメトリツリーレベルの数を指示する。

【0468】

ｇｓｈ_ｅｎｔｒｏｐｙ_ｓｔｒｅａｍ_ｃｎｔ_ｍｉｎｕｓ１フィールドに１を足して、ジオメトリツリーデータを運ぶ(ｃｏｎｖｅｙ)ために使用されたエントロピーストリームの最大数を示す。

【0469】

実施例によるジオメトリデータユニットヘッダは、ｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅフィールドの値が０(すなわち、八分木基盤コーディング)であり、ｇｅｏｍ_ｔｒｅｅ_ｃｏｄｅｄ_ａｘｉｓ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が真である場合、ｇｅｏｍ_ｔｒｅｅ_ｄｅｐｔｈ_ｍｉｎｕｓ１フィールドの値だけ繰り返される繰返し文を含む。この繰返し文は、ｇｅｏｍ_ｔｒｅｅ_ｃｏｄｅｄ_ａｘｉｓ_ｆｌａｇ[ｌｖｌ][ｋ]フィールドを含む。

【0470】

ｇｅｏｍ_ｔｒｅｅ_ｃｏｄｅｄ_ａｘｉｓ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドはＧＰＳに含まれる。ｇｅｏｍ_ｔｒｅｅ_ｃｏｄｅｄ_ａｘｉｓ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が１である場合、各ジオメトリデータユニットがジオメトリルートノードサイズを類推(ｄｅｒｉｖｅ)するために使用されたｇｅｏｍ_ｔｒｅｅ_ｃｏｄｅｄ_ａｘｉｓ_ｆｌａｇフィールドを含むことを指示する。ｇｅｏｍ_ｔｒｅｅ_ｃｏｄｅｄ_ａｘｉｓ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が０である場合、ｇｅｏｍ_ｔｒｅｅ_ｃｏｄｅｄ_ａｘｉｓ_ｆｌａｇフィールドが当該ジオメトリデータユニットに存在せず、コードされたジオメトリツリーはキュービックボリューム(ｃｕｂｉｃ ｖｏｌｕｍｅ)を示す。

【0471】

ｇｅｏｍ_ｔｒｅｅ_ｃｏｄｅｄ_ａｘｉｓ_ｆｌａｇ[ｌｖｌ][ｋ]フィールドは、ｋ番目の軸(ｋ-ｔｈ ａｘｉｓ)がジオメトリツリーのｖ番目のレベル(すなわち、与えられた深さ)でコードされたか否かを指示する。ｇｅｏｍ_ｔｒｅｅ_ｃｏｄｅｄ_ａｘｉｓ_ｆｌａｇ[ｌｖｌ][ｋ]フィールドは、ルートノードのサイズを決定するために使用される。

【0472】

実施例によるジオメトリデータユニットヘッダは、ｇｅｏｍ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が真である場合、ｇｅｏｍ_ｓｌｉｃｅ_ｑｐ_ｏｆｆｓｅｔフィールドを含み、ｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅフィールドの値が１(すなわち、予測ツリー基盤コーディング)である場合、ｇｅｏｍ_ｑｐ_ｏｆｆｓｅｔ_ｉｎｔｖｌ_ｌｏｇ２_ｄｅｌｔａフィールドをさらに含む。

【0473】

ｇｅｏｍ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドはＧＰＳに含まれる。ｇｅｏｍ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が１である場合、ジオメトリポジションのためのスケーリング過程がジオメトリ復号過程の間に適用(ｉｎｖｏｋｅｄ)されることを指示する。ｇｅｏｍ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が０である場合、ジオメトリポジションはスケーリングを要求しないことを指示する。

【0474】

実施例によるジオメトリデータユニットヘッダは、ｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅフィールドの値が１(すなわち、予測ツリー基盤コーディング)である場合、ｐｔｎ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｌｏｇ２_ｂｉｔｓ[ｋ]フィールドを含み、ｇｅｏｍｅｔｒｙ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が真である場合、ｐｔｎ_ｒａｄｉｕｓ_ｍｉｎ_ｖａｌｕｅフィールドをさらに含む。

【0475】

ｐｔｎ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｌｏｇ２_ｂｉｔｓ[ｋ]フィールドは、ｐｔｎ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｌｏｇ２フィールドのｋ番目のコンポーネントをコーディングするために使用されたビン(ｂｉｎｓ)の数を指示する。ｐｔｎ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｌｏｇ２フィールドについては後述する。

【0476】

ｇｅｏｍｅｔｒｙ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドはＧＰＳに含まれる。ｇｅｏｍｅｔｒｙ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が１である場合、アンギュラコーディングモードがアクティブであることを指示する。ｇｅｏｍｅｔｒｙ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が０である場合、アンギュラコーディングモード(ａｎｇｕｌａｒ ｃｏｄｉｎｇ ｍｏｄｅ)がアクティブではないことを指示する。

【0477】

ｐｔｎ_ｒａｄｉｕｓ_ｍｉｎ_ｖａｌｕｅフィールドは、ｒａｄｉｕｓの最小値を示す。

【0478】

図２８は実施例によるジオメトリ予測ツリーデータ(ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｄａｔａ())のシンタックス構造の一例を示す図である。

【0479】

実施例によれば、図２８のジオメトリ予測ツリーデータ(ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｄａｔａ())は、図２６のジオメトリデータユニットに含まれる。ジオメトリ予測ツリーデータ(ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｄａｔａ())は、ジオメトリスライスデータ又はジオメトリデータユニットデータとも呼ぶ。

【0480】

ジオメトリ予測ツリーデータ(ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｄａｔａ())は、変数ＰｔｎＮｏｄｅＩｄｘ＝０で始まり、ｇｐｔ_ｅｎｄ_ｏｆ_ｔｒｅｅｓ_ｆｌａｇフィールドの値が偽(ｆａｌｓｅ)である場合に終了される繰返し文を含む。この繰返し文は、ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ)及びｇｐｔ_ｅｎｄ_ｏｆ_ｔｒｅｅｓ_ｆｌａｇフィールドを含む。

【0481】

変数ＰｔｎＮｏｄｅＩｄｘは、深さ優先順序(ｄｅｐｔｈ-ｆｉｒｓｔ ｏｒｄｅｒ)からパーシングされた予測ツリーノード上で繰り返しのために使用されるカウンターである(Ｔｈｅ ｖａｒｉａｂｌｅ ＰｔｎＮｏｄｅＩｄｘ ｉｓ ａ ｃｏｕｎｔｅｒ ｕｓｅｄ ｔｏ ｉｔｅｒａｔｅ ｏｖｅｒ ｐａｒｓｅｄ ｐｒｅｄｉｃｔｉｖｅ ｔｒｅｅ ｎｏｄｅｓ ｉｎ ａ ｄｅｐｔｈ－ｆｉｒｓｔ ｏｒｄｅｒ)。変数ＰｔｎＮｏｄｅＩｄｘは、復号過程の開始において０に初期化され、そのツリーの繰り返される巡回(ｒｅｃｕｓｒｉｖｅ ｔｒａｖｅｒｓａｌ)の間に増加する(Ｉｔ ｉｓ ｉｎｉｔｉａｌｉｚｅｄ ｔｏ ０ ａｔ ｔｈｅ ｓｔａｒｔ ｏｆ ｔｈｅ ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓ ａｎｄ ｉｎｃｒｅｍｅｎｔｅｄ ｄｕｒｉｎｇ ｔｈｅ ｒｅｃｕｓｒｉｖｅ ｔｒａｖｅｒｓａｌ ｏｆ ｔｈｅ ｔｒｅｅ)。

【0482】

ｇｐｔ_ｅｎｄ_ｏｆ_ｔｒｅｅｓ_ｆｌａｇフィールドの値が０である場合、また他の予測ツリーがこのデータユニットに従うことを指示する(ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ａｎｏｔｈｅｒ ｐｒｅｄｉｃｔｉｖｅ ｔｒｅｅ ｉｓ ｆｏｌｌｏｗｉｎｇ ｉｎ ｔｈｅ ｄａｔａ ｕｎｉｔ)。ｇｐｔ_ｅｎｄ_ｏｆ_ｔｒｅｅｓ_ｆｌａｇフィールドの値が１である場合、このデータユニットに存在する予測ツリーはないことを指示する。

【0483】

図２９は実施例によるｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ)のシンタックス構造の一例を示す図である。

【0484】

すなわち、図２９のｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ)は、予測基盤のジオメトリ圧縮情報をシグナリングすることを一実施例とする。

【0485】

このために、ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ)は、ｐｔｎ_ｑｐ_ｏｆｆｓｅｔ_ａｂｓ_ｇｔ０_ｆｌａｇフィールド、ｐｔｎ_ｑｐ_ｏｆｆｓｅｔ_ｓｉｇｎ_ｆｌａｇフィールド、ｐｔｎ_ｑｐ_ｏｆｆｓｅｔ_ａｂｓ_ｍｉｎｕｓ１フィールド、ｐｔｎ_ｐｏｉｎｔ_ｃｎｔ_ｇｔ１_ｆｌａｇフィールド、ｐｔｎ_ｐｏｉｎｔ_ｃｎｔ_ｍｉｎｕｓ２フィールド、ｐｔｎ_ｃｈｉｌｄ_ｃｎｔ[ｎｏｄｅＩｄｘ]フィールド、ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇフィールド、ｐｒｅｄｔｒｅｅ_ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ()、ｐｔｎ_ｐｒｅｄ_ｍｏｄｅ[ｎｏｄｅＩｄｘ]、ｐｔｎ_ｐｈｉ_ｍｕｌｔ_ａｂｓ_ｇｔ０_ｆｌａｇフィールド、ｐｔｎ_ｐｈｉ_ｍｕｌｔ_ｓｉｇｎ_ｆｌａｇフィールド、ｐｔｎ_ｐｈｉ_ｍｕｌｔ_ａｂｓ_ｇｔ１_ｆｌａｇフィールド、ｐｔｎ_ｐｈｉ_ｍｕｌｔ_ａｂｓ_ｍｉｎｕｓ２フィールド、ｐｔｎ_ｐｈｉ_ｍｕｌｔ_ａｂｓ_ｍｉｎｕｓ９フィールド、ｐｔｎ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｇｔ０_ｆｌａｇ[ｋ]フィールド、ｐｔｎ_ｒｅｓｉｄｕａｌ_ｓｉｇｎ_ｆｌａｇ[ｋ]フィールド、ｐｔｎ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｌｏｇ２[ｋ]フィールド、ｐｔｎ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｒｅｍａｉｎｉｎｇ[ｋ]フィールド、ｐｔｎ_ｓｅｃ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｇｔ０_ｆｌａｇ[ｋ]フィールド、ｐｔｎ_ｓｅｃ_ｒｅｓｉｄｕａｌ_ｓｉｇｎ_ｆｌａｇ[ｋ]フィールド、ｐｔｎ_ｓｅｃ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｇｔ１_ｆｌａｇ[ｋ]フィールド、ｐｔｎ_ｓｅｃ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｍｉｎｕｓ２[ｋ]フィールド、又はｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(＋＋ＰｔｎＮｏｄｅＩｄｘ)フィールドのうちの少なくとも１つを含む。

【0486】

実施例によれば、ｇｅｏｍ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が１であり、ｎｏｄｅＩｄｘ％ＰｔｎＱｐＩｎｔｅｒｖａｌの値が０である場合、ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ)は、ｐｔｎ_ｑｐ_ｏｆｆｓｅｔ_ａｂｓ_ｇｔ０_ｆｌａｇフィールドを含み、ｐｔｎ_ｑｐ_ｏｆｆｓｅｔ_ａｂｓ_ｇｔ０_ｆｌａｇフィールドの値が１である場合、ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ)は、ｐｔｎ_ｑｐ_ｏｆｆｓｅｔ_ｓｉｇｎ_ｆｌａｇフィールド及びｐｔｎ_ｑｐ_ｏｆｆｓｅｔ_ａｂｓ_ｍｉｎｕｓ１フィールドを含む。

【0487】

ｇｅｏｍ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドはＧＰＳに含まれる。ｇｅｏｍ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が１である場合、ジオメトリポジションのためのスケーリング過程がジオメトリ復号過程の間に適用(ｉｎｖｏｋｅｄ)されることを指示する。ｇｅｏｍ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が０である場合、ジオメトリポジションはスケーリングを要求しないことを指示する。

【0488】

ｐｔｎ_ｑｐ_ｏｆｆｓｅｔ_ａｂｓ_ｇｔ０_ｆｌａｇフィールド、ｐｔｎ_ｑｐ_ｏｆｆｓｅｔ_ｓｉｇｎ_ｆｌａｇフィールド、及びｐｔｎ_ｑｐ_ｏｆｆｓｅｔ_ａｂｓ_ｍｉｎｕｓ１フィールドは共にスライスジオメトリ量子化パラメータに対するオフセットを示す(ｔｏｇｅｔｈｅｒ ｓｐｅｃｉｆｙ ａｎ ｏｆｆｓｅｔ ｔｏ ｔｈｅ ｓｌｉｃｅ ｇｅｏｍｅｔｒｙ ｑｕａｎｔｉｓａｔｉｏｎ ｐａｒａｍｅｔｅｒ)。

【0489】

実施例によれば、ｄｕｐｌｉｃａｔｅ_ｐｏｉｎｔｓ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が１である場合、ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ)は、ｐｔｎ_ｐｏｉｎｔ_ｃｎｔ_ｇｔ１_ｆｌａｇフィールドを含み、ｐｔｎ_ｐｏｉｎｔ_ｃｎｔ_ｇｔ１_ｆｌａｇフィールドの値が１である場合、ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ)は、ｐｔｎ_ｐｏｉｎｔ_ｃｎｔ_ｍｉｎｕｓ２フィールドを含む。

【0490】

ｄｕｐｌｉｃａｔｅ_ｐｏｉｎｔｓ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドはＧＰＳに含まれる。ｄｕｐｌｉｃａｔｅ_ｐｏｉｎｔｓ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が０である場合、現在ＧＰＳを参照する全てのスライスにおいて、全ての出力ポイントは１つのスライス内でユニークなポジションを有することを指示する(ｄｕｐｌｉｃａｔｅ_ｐｏｉｎｔｓ_ｅｎａｂｌｅｄ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｉｎ ａｌｌ ｓｌｉｃｅｓ ｔｈａｔ ｒｅｆｅｒ ｔｏ ｔｈｅ ｃｕｒｒｅｎｔ ＧＰＳ、ａｌｌ ｏｕｔｐｕｔ ｐｏｉｎｔｓ ｈａｖｅ ｕｎｉｑｕｅ ｐｏｓｉｔｉｏｎｓ ｗｉｔｈｉｎ ａ ｓｌｉｃｅ)。ｄｕｐｌｉｃａｔｅ_ｐｏｉｎｔｓ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が１である場合、現在ＧＰＳを参照する全てのスライスにおいて、出力ポイントのうちの２つ以上が１つのスライス内で同じポジションを有することを指示する(ｄｕｐｌｉｃａｔｅ_ｐｏｉｎｔｓ_ｅｎａｂｌｅｄ_ｆｌａｇ ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｉｎ ａｌｌ ｓｌｉｃｅｓ ｔｈａｔ ｒｅｆｅｒ ｔｏ ｔｈｅ ｃｕｒｒｅｎｔ ＧＰＳ, ｔｗｏ ｏｒ ｍｏｒｅ ｏｆ ｔｈｅ ｏｕｔｐｕｔ ｐｏｉｎｔｓ ｍａｙ ｈａｖｅ ｓａｍｅ ｐｏｓｉｔｉｏｎｓ ｗｉｔｈｉｎ ａ ｓｌｉｃｅ)。

【0491】

ｐｔｎ_ｐｏｉｎｔ_ｃｎｔ_ｇｔ１_ｆｌａｇフィールドとｐｔｎ_ｐｏｉｎｔ_ｃｎｔ_ｍｉｎｕｓ２フィールドは共に現在予測ツリーノードによって表示される(ｒｅｐｒｅｓｅｎｔ)ポイントの数を指示する。

【0492】

実施例によれば、現在予測ツリーノードによって表示されるポイントの数(ＰｔｎＰｏｉｎｔＣｏｕｎｔ[ｎｏｄｅＩｄｘ])は、以下のように求められる。

【0493】

ＰｔｎＰｏｉｎｔＣｏｕｎｔ[ｎｏｄｅＩｄｘ]＝１＋ｐｔｎ_ｐｏｉｎｔ_ｃｎｔ_ｇｔ１_ｆｌａｇフィールド＋ｐｔｎ_ｐｏｉｎｔ_ｃｎｔ_ｍｉｎｕｓ２フィールド

【0494】

ｐｔｎ_ｃｈｉｌｄ_ｃｎｔ[ｎｏｄｅＩｄｘ]フィールドは、そのジオメトリ予測ツリーに存在する現在予測ツリーノードのダイレクト子ノードの数を示す。

【0495】

実施例によれば、ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が１である場合、ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ)は、ｐｒｅｄｔｒｅｅ_ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ()を含み、０である場合は、ｐｔｎ_ｐｒｅｄ_ｍｏｄｅ[ｎｏｄｅＩｄｘ]を含む。

【0496】

ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドは、ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ)がｐｒｅｄｔｒｅｅ_ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ()を含むか、又はｐｔｎ_ｐｒｅｄ_ｍｏｄｅ[ｎｏｄｅＩｄｘ]を含むかを指示する。

【0497】

ｐｒｅｄｔｒｅｅ_ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ()は、予測基盤のジオメトリ圧縮情報に含まれるインターフレーム予測に関する情報をシグナリングすることを一実施例とする。

【0498】

ｐｒｅｄｔｒｅｅ_ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ()に含まれるフィールドの詳細については、図２９において説明する。

【0499】

ｐｔｎ_ｐｒｅｄ_ｍｏｄｅ[ｎｏｄｅＩｄｘ]は、現在ノードと関連するポジションを予測するために用いられたモードを示す。

【0500】

ｇｅｏｍｅｔｒｙ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が１である場合、ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ)に含まれるｐｔｎ_ｐｈｉ_ｍｕｌｔ_ａｂｓ_ｇｔ０_ｆｌａｇフィールド、ｐｔｎ_ｐｈｉ_ｍｕｌｔ_ｓｉｇｎ_ｆｌａｇフィールド、ｐｔｎ_ｐｈｉ_ｍｕｌｔ_ａｂｓ_ｇｔ１_ｆｌａｇフィールド、ｐｔｎ_ｐｈｉ_ｍｕｌｔ_ａｂｓ_ｍｉｎｕｓ２フィールド、及びｐｔｎ_ｐｈｉ_ｍｕｌｔ_ａｂｓ_ｍｉｎｕｓ９フィールドは共にデルタアンギュラ予測において使用された乗算因子(ｍｕｌｔｉｐｌｉｃａｔｉｖｅ ｆａｃｔｏｒ)を示す。ｐｔｎ_ｐｈｉ_ｍｕｌｔ_ｓｉｇｎ_ｆｌａｇフィールドの値が１である場合、因子の符号(ｆａｃｔｏｒ’ｓ ｓｉｇｎ)はポジティブであり、０である場合は、ネガティブであることを指示する。

【0501】

実施例によれば、現在ツリーノードのためのファイ因子(ｐｈｉ ｆａｃｔｏｒ)(ＰｔｎＰｈｉＭｕｌｔ[ｎｏｄｅＩｄｘ])は、以下のように抽出される。

【0502】

ＰｔｎＰｈｉＭｕｌｔ[ｎｏｄｅＩｄｘ]＝(２×ｐｔｎ_ｐｈｉ_ｍｕｌｔ_ｓｉｇｎ_ｆｌａｇ－１)

【0503】

×(ｐｔｎ_ｐｈｉ_ｍｕｌｔ_ａｂｓ_ｇｔ０_ｆｌａｇ＋ｐｔｎ_ｐｈｉ_ｍｕｌｔ_ａｂｓ_ｇｔ１_ｆｌａｇ

【0504】

＋ｐｔｎ_ｐｈｉ_ｍｕｌｔ_ａｂｓ_ｍｉｎｕｓ２＋ｐｔｎ_ｐｈｉ_ｍｕｌｔ_ａｂｓ_ｍｉｎｕｓ９)

【0505】

実施例によれば、ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ)においてｎｕｍＣｏｍｐは、以下のように求められる。

【0506】

ｎｕｍＣｏｍｐ＝ｇｅｏｍｅｔｒｙ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄ_ｆｌａｇ＆＆！ｎｕｍｂｅｒ_ｌａｓｅｒｓ_ｍｉｎｕｓ１ ？ ２：３

【0507】

実施例によれば、ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ)は、ｎｕｍＣｏｍｐの値だけ繰り返される繰返し文を含む。この繰返し文に含まれるｐｔｎ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｇｔ０_ｆｌａｇ[ｋ]フィールド、ｐｔｎ_ｒｅｓｉｄｕａｌ_ｓｉｇｎ_ｆｌａｇ[ｋ]フィールド、ｐｔｎ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｌｏｇ２[ｋ]フィールド、及びｐｔｎ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｒｅｍａｉｎｉｎｇ[ｋ]フィールドは、共にｋ番目のジオメトリポジションコンポーネントの１番目の予測残余情報を示す。例えば、ｐｔｎ_ｒｅｓｉｄｕａｌ_ｓｉｇｎ_ｆｌａｇ[ｋ]フィールドの値が１である場合、残余コンポーネントの符号はポジティブであり、０である場合は、ネガティブであることを示す。

【0508】

実施例によれば、現在ツリーノードに関連する１番目の予測残余情報(ｆｉｒｓｔ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｉｄｕａｌ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｔｈｅ ｃｕｒｒｅｎｔ ｔｒｅｅ ｎｏｄｅ)(ＰｔｎＲｅｓｉｄｕａｌ[ｎｏｄｅＩｄｘ][ｋ])は、以下のように抽出される。ここで、ｋは、ｘ、ｙ、ｚ座標のそれぞれを示す。

【0509】

ｆｏｒ(ｋ＝０；ｋ＜３；ｋ＋＋)

【0510】

ＰｔｎＲｅｓｉｄｕａｌ[ｎｏｄｅＩｄｘ][ｋ]＝(２×ｐｔｎ_ｒｅｓｉｄｕａｌ_ｓｉｇｎ_ｆｌａｇ－１)×(ｐｔｎ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｇｔ０_ｆｌａｇ[ｋ]＋((１＜＜ｐｔｎ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｌｏｇ２[ｋ])＞＞１)＋ｐｔｎ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｒｅｍａｉｎｉｎｇ[ｋ])

【0511】

ｇｅｏｍｅｔｒｙ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が１である場合、ｐｔｎ_ｓｅｃ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｇｔ０_ｆｌａｇ[ｋ]フィールド、ｐｔｎ_ｓｅｃ_ｒｅｓｉｄｕａｌ_ｓｉｇｎ_ｆｌａｇ[ｋ]フィールド、ｐｔｎ_ｓｅｃ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｇｔ１_ｆｌａｇ[ｋ]フィールド、及びｐｔｎ_ｓｅｃ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｍｉｎｕｓ２[ｋ]フィールドは、共にｋ番目のジオメトリポジションコンポーネントの２番目の予測残余情報を示す。例えば、ｐｔｎ_ｓｅｃ_ｒｅｓｉｄｕａｌ_ｓｉｇｎ_ｆｌａｇ[ｋ]フィールドの値が１である場合、残余コンポーネントの符号はポジティブであり、０である場合は、ネガティブであることを示す。

【0512】

実施例によれば、現在ツリーノードに関連する２番目の予測残余情報(ｓｅｃｏｎｄ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｉｄｕａｌ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｔｈｅ ｃｕｒｒｅｎｔ ｔｒｅｅ ｎｏｄｅ)(ＰｔｎＲｅｓｉｄｕａｌ[ｎｏｄｅＩｄｘ][ｋ])は、以下のように抽出される。ここで、ｋは、ｘ、ｙ、ｚ座標のそれぞれを示す。

【0513】

ｆｏｒ(ｋ＝０；ｋ＜３；ｋ＋＋)

【0514】

ＰｔｎＳｅｃＲｅｓｉｄｕａｌ[ｎｏｄｅＩｄｘ][ｋ]＝(２×ｐｔｎ_ｓｅｃ_ｒｅｓｉｄｕａｌ_ｓｉｇｎ_ｆｌａｇ－１)×(ｐｔｎ_ｓｅｃ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｇｔ０_ｆｌａｇ[ｋ]＋ｐｔｎ_ｓｅｃ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｇｔ１_ｆｌａｇ[ｋ]＋ｐｔｎ_ｓｅｃ_ｒｅｓｉｄｕａｌ_ａｂｓ_ｍｉｎｕｓ２[ｋ])

【0515】

実施例によれば、ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ)は、ｐｔｎ_ｃｈｉｌｄ_ｃｎｔ[ｎｏｄｅＩｄｘ]フィールドの値だけ繰り返される繰返し文を含む。この繰返し文は、ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(＋＋ＰｔｎＮｏｄｅＩｄｘ)を含む。すなわち、１増加したｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ)が含まれる。

【0516】

図３０は実施例によるｐｒｅｄｔｒｅｅ_ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ()のシンタックス構造の一例を示す図である。

【0517】

実施例によれば、ｐｒｅｄｔｒｅｅ_ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ()は、ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ)に含まれる。

【0518】

図３０のｐｒｅｄｔｒｅｅ_ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ()は、予測基盤のジオメトリ圧縮情報に含まれるインターフレーム予測に関する情報をシグナリングすることを一実施例とする。

【0519】

実施例によれば、インターフレーム予測に関する情報、すなわち、ｐｒｅｄｔｒｅｅ_ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ()は、ｒｅｓ_ｌａｓｅｒ_ｉｄフィールド、ｉｎｔｅｒ_ｐｒｅｄ_ｍｏｔｈｏｄフィールド、ｒｅｓ_ｒａｄｉｕｓフィールド、ｒｅｓ_ｐｈｉフィールド、ｒｅｓ_ｔｈｅｔａフィールド、ｒｅｓ_ｘフィールド、ｒｅｓ_ｙフィールド、及びｒｅｓ_ｚフィールドを含む。図３０のインターフレーム予測に関する情報に含まれたフィールドのうち、ｉｎｔｅｒ_ｐｒｅｄ_ｍｏｔｈｏｄフィールドはシグナリング情報であり、その他のフィールド(ｒｅｓ_ｌａｓｅｒ_ｉｄフィールド、ｒｅｓ_ｒａｄｉｕｓフィールド、ｒｅｓ_ｐｈｉフィールド、ｒｅｓ_ｔｈｅｔａフィールド、ｒｅｓ_ｘフィールド、ｒｅｓ_ｙフィールド、及びｒｅｓ_ｚフィールド)は圧縮されたジオメトリ情報(又は、ジオメトリデータ)に相当する。本明細書は、説明の便宜のため、図３０のフィールドをインターフレーム予測関連情報と呼ぶ。

【0520】

ｒｅｓ_ｌａｓｅｒ_ｉｄフィールドは、現在フレームの現在ノード(又は、現在ノードの親ノード)と参照フレームの参照ノードのエレベーション角度プレーン(ｅｌｅｖａｔｉｏｎ ａｎｇｌｅ ｐｌａｎｅ)の差異又はレーザーＩＤの差異を示す。すなわち、ｒｅｓ_ｌａｓｅｒ_ｉｄフィールドは、レーザーＩＤの残余情報を示す。この場合は、現在フレームのエレベーション角度と参照フレームのエレベーション角度が異なるか、又はレーザーＩＤが異なるときに利用することができる。言い換えれば、ｒｅｓ_ｌａｓｅｒ_ｉｄフィールドは、参照フレーム内で隣接エレベーション角度プレーンの参照ノードを使用する場合に適用できる。

【0521】

ｉｎｔｅｒ_ｐｒｅｄ_ｍｏｔｈｏｄフィールドは、予測を行うとき、参照フレームの参照ノードを使用する方法を示す。言い換えれば、インターフレーム予測基盤のジオメトリ圧縮が使用される場合、インター予測モードを示す。インター予測を行うときに適用された予測モードを示す。ｉｎｔｅｒ_ｐｒｅｄ_ｍｏｔｈｏｄフィールドはＰｒｅｄＭｏｔｈｏｄと呼ぶ。

【0522】

実施例によれば、ｉｎｔｅｒ_ｐｒｅｄ_ｍｏｔｈｏｄフィールドの値が０である場合、現在フレームの圧縮対象ノードと対応する参照フレーム内の参照ノードを直接に予測値として使用する場合を示す。ｉｎｔｅｒ_ｐｒｅｄ_ｍｏｔｈｏｄフィールドの値が１である場合、現在フレームの圧縮対象ノードと対応する参照フレーム内の参照ノードの子ノードを直接に予測値として使用する場合を示す。ｉｎｔｅｒ_ｐｒｅｄ_ｍｏｔｈｏｄフィールドの値が２である場合、現在フレームの圧縮対象ノードと対応する参照フレーム内の参照ノード間の変化量に基づいて予測値を定めて予測を行う場合を示す。ｉｎｔｅｒ_ｐｒｅｄ_ｍｏｔｈｏｄフィールドの値が３である場合、現在フレームの圧縮対象ノードと対応する参照フレーム内の参照ノードの子ノード間の変化量に基づいて予測値を定めて予測を行う場合を示す。

【0523】

言い換えれば、予測方法０(ＰｒｅｄＭｏｔｈｏｄ＝＝０)は、参照フレームの参照ノードを予測ノード(すなわち、予測値)として使用する場合である。予測方法１(ＰｒｅｄＭｏｔｈｏ＝＝１)は、参照フレームの参照子ノード(すなわち、参照ノードの子ノード)を予測ノードとして使用する場合である。予測方法２(ＰｒｅｄＭｏｔｈｏｄ＝＝２)は、参照フレームの参照ノードと参照ノードの子ノード間の変化量を用いて予測ノードを定める場合である。例えば、ＰｒｅｄＭｏｔｈｏｄの値が２である場合(ＰｒｅｄＭｏｔｈｏｄ＝＝２)、参照フレームの参照ノードに変化量(すなわち、参照ノードと参照ノードの子ノード間の変化量)を足して予測値として使用する。予測ノード３(ＰｒｅｄＭｏｔｈｏｄ＝＝３)は、参照フレームの参照子ノードとその子ノード間の変化量を用いて予測ノードを定める場合を示す。例えば、ＰｒｅｄＭｏｔｈｏｄの値が３である場合(ＰｒｅｄＭｏｔｈｏｄ＝＝３)、参照フレームの参照ノードに変化量(すなわち、参照ノードの子ノードとその子ノード間の変化量)を足して予測値として使用する。

【0524】

ｒｅｓ_ｒａｄｉｕｓフィールド、ｒｅｓ_ｐｈｉフィールド、及びｒｅｓ_ｔｈｅｔａフィールドは、球面ドメインにおける半径(ｒａｄｉｕｓ)残余情報、方位(ａｚｉｍｕｔｈａｌ)角度残余情報、及びエレベーション角度残余情報を示す。すなわち、送信側は球面ドメインにおける残余情報(すなわち、残差)を半径(ｒａｄｉｕｓ)、方位角度(ａｚｉｍｕｔｈａｌ ａｎｇｌｅ)、エレベーション角度(ｅｌｅｖａｔｉｏｎ ａｎｇｌｅ)のそれぞれに対して伝達する。

【0525】

ｒｅｓ_ｘフィールド、ｒｅｓ_ｙフィールド、及びｒｅｓ_ｚフィールドは直交ドメインにおけるｘ軸残余情報、ｙ軸残余情報、及びｚ軸残余情報を示す。すなわち、送信側は、直交ドメインにおける残余情報(すなわち、残差)をｘ、ｙ、ｚ軸のそれぞれに対して伝達する。

【0526】

図３１は実施例によるポイントクラウド受信装置のまた他の一例を示す図である。図３１に示すポイントクラウド受信装置のエレメントは、ハードウェア、ソフトウェア、プロセッサ及び／又はそれらの組み合わせなどで具現できる。

【0527】

実施例によれば、ポイントクラウド受信装置は、受信処理部６１００１、シグナリング処理部６１００２、ジオメトリデコーダ６１００３、特質デコーダ６１００４、及び後処理部(Ｐｏｓｔ-ｐｒｏｃｅｓｓｏｒ)６１００５を含む。

【0528】

実施例による受信処理部６１００１は、１つのビットストリームを受信してもよく、又はジオメトリビットストリーム、特質ビットストリーム、シグナリングビットストリームのそれぞれを受信してもよい。実施例による受信処理部６１００１は、ファイル及び／又はセグメントが受信される場合、受信されたファイル及び／又はセグメントをデカプセル化し、ビットストリームに出力する。

【0529】

実施例による受信処理部６１００１は、１つのビットストリームが受信(又はデカプセル化)される場合、１つのビットストリームからジオメトリビットストリーム、特質ビットストリーム、及び／又はシグナリングビットストリームをデマルチプレックスし、デマルチプレックスされたシグナリングビットストリームはシグナリング処理部６１００２に、ジオメトリビットストリームはジオメトリデコーダ６１００３に、特質ビットストリームは特質デコーダ６１００４に出力する。

【0530】

実施例による受信処理部６１００１は、ジオメトリビットストリーム、特質ビットストリーム、及び／又はシグナリングビットストリームのそれぞれが受信(又はデカプセル化)される場合、シグナリングビットストリームはシグナリング処理部６１００２に、ジオメトリビットストリームはジオメトリデコーダ６１００３に、特質ビットストリームは特質デコーダ６１００４に伝達される。

【0531】

シグナリング処理部６１００２は、入力されたシグナリングビットストリームからシグナリング情報、例えば、ＳＰＳ、ＧＰＳ、ＡＰＳ、ＴＰＳ、メタデータなどに含まれた情報をパーシング及び処理し、ジオメトリデコーダ６１００３、特質デコーダ６１００４、後処理部６１００５に提供する。他の実施例として、ジオメトリデータユニットヘッダ及び／又は特質データユニットヘッダに含まれたシグナリング情報も当該スライスデータを復号する前にシグナリング処理部６１００２で予めパーシングされてもよい。

【0532】

実施例によれば、シグナリング処理部６１００２は、ジオメトリデータユニットにシグナリングされたシグナリング情報(例えば、予測基盤のジオメトリ圧縮情報)もパーシング及び処理し、ジオメトリデコーダ６１００３に提供する。

【0533】

実施例によれば、ジオメトリデコーダ６１００３は、圧縮されたジオメトリビットストリームに対して、シグナリング情報に基づいて、図１６又は図２３又は図２４のジオメトリエンコーダ５１００３の逆過程を行い、ジオメトリを復元する。ジオメトリデコーダ６１００３において復元された(又は再構成された(ｒｅｃｏｎｓｔｒｕｃｔｅｄ))ジオメトリ情報は特質デコーダ６１００４に提供される。特質デコーダ６１００４は、圧縮された特質ビットストリームに対してシグナリング情報と再構成されたジオメトリ情報に基づいて、図１６の特質エンコーダ５１００４の逆過程を行い、特質を復元する。

【0534】

実施例によれば、後処理部６１００５は、ジオメトリデコーダ６１００３で復元されて出力されるジオメトリ情報(すなわち、ポジション)と特質デコーダ６１００４で復元されて出力される特質情報をマッチングしてポイントクラウドデータを再構成し、ディスプレイ／レンダリングする。

【0535】

図３２は実施例によるジオメトリデコーダ６１００３の詳細なブロック図の一例を示す図である。図３２に示すジオメトリデコーダのエレメントは、ハードウェア、ソフトウェア、プロセッサ及び／又はそれらの組み合わせなどで具現できる。

【0536】

実施例によれば、ジオメトリデコーダ６１００３は、エントロピー復号部６１０３１、モード検出部６１０３２、イントラフレーム予測部６１０３３、インターフレーム予測部６１０３４、及び再構成部６１０３５を含む。各ブロックの実行手順は、変更することができ、一部のブロックは省略してもよい、一部のブロックを新しく追加してもよい。

【0537】

実施例によれば、ジオメトリデコーダ６１００３は、送信装置のジオメトリエンコーダの逆過程を行い、ジオメトリ情報を復元する。すなわち、エントロピー復号部６１０３１は、受信処理部６１００１を介して入力されるビットストリームに含まれた各フレーム(又はスライス)のポイントに関する残余情報(すなわち、予測エラー)と予測モード情報をエントロピー復号する。

【0538】

モード検出部６１０３２は、エントロピー復号部６１０３１においてエントロピー復号された予測モード情報がインター予測モード情報であるか又はイントラ予測モード情報であるかを確認する。実施例によれば、ジオメトリデータユニットに含まれた予測基盤のジオメトリ圧縮情報(すなわち、ｇｅｏｍｅｔｒｙ_ｐｒｅｄｔｒｅｅ_ｎｏｄｅ(ＰｔｎＮｏｄｅＩｄｘ))に含まれたｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドを用いて、イントラ予測モードであるかインター予測モードであるかを検出する。このとき、ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドを伝達する単位に応じて、フレーム／データユニット／スライス／予測ツリー／予測単位／ポイントなどのインター予測又はイントラ予測を使用する。

【0539】

モード検出部６１０３２においてイントラ予測モードであると検出された場合、イントラフレーム予測部６１０３３は予測基盤のジオメトリ情報に含まれたイントラ予測モード情報を用いてフレーム内の予測(すなわち、イントラフレーム予測)を行い、予測値(又は予測された情報という)を生成する。再構成部６１０３５は、イントラフレーム予測部６１０３３で生成された復号するポイントの予測された情報とイントラ予測モード情報と共に受信されて復号によって復元された残余情報(ｒｅｓｉｄｕａｌ)(又は予測残余情報という)を足して最終のポイントを復元する。すなわち、再構成部６１０３７は、イントラフレーム予測によって予測された情報とこのときの残余情報を用いてジオメトリ情報(すなわち、最終のポイントの位置)を再構成(又は復元)する。

【0540】

モード検出部６１０３２においてインター予測モードであると検出された場合、インターフレーム予測部６１０３４は復元対象ノードの直前に圧縮された(又は復元された)ノードのエレベーション角度によって参照フレームのレーザープレーンを選択し、選択したレーザープレーンに存在する予測ツリーのノードに対して、直前に圧縮されたノードの方位角度に基づいて参照ノードを選択する。

【0541】

また、インターフレーム予測部６１０３４は、選択された参照ノードと受信された予測モード情報と残余情報に基づいて復元する現在フレームのポイントの予測値(すなわち、予測機又は予測された情報という)を生成する。ここで、予測モード情報は、ｉｎｔｅｒ_ｐｒｅｄ_ｍｏｔｈｏｄフィールドから取得し、残余情報は、ｒｅｓ_ｌａｓｅｒ_ｉｄフィールド、ｒｅｓ_ｒａｄｉｕｓフィールド、ｒｅｓ_ｐｈｉフィールド、ｒｅｓ_ｔｈｅｔａフィールド、ｒｅｓ_ｘフィールド、ｒｅｓ_ｙフィールド、及びｒｅｓ_ｚフィールドのうちの少なくとも１つから取得することができる。ｒｅｓ_ｌａｓｅｒ_ｉｄフィールドはレーザーＩＤの残余情報を示し、ｒｅｓ_ｒａｄｉｕｓフィールド、ｒｅｓ_ｐｈｉフィールド、及びｒｅｓ_ｔｈｅｔａフィールドは、球面ドメイン上における半径、方位角度残余情報、及びエレベーション角度残余情報を示す。また、ｒｅｓ_ｘフィールド、ｒｅｓ_ｙフィールド、及びｒｅｓ_ｚフィールドは、直交ドメインにおけるｘ軸、ｙ軸、ｚ軸の残余情報を示す。

【0542】

再構成部６１０３５は、インターフレーム予測部６１０３４で生成された復号されるポイントの予測された情報とインター予測モード情報(ｉｎｔｅｒＭｏｄｅフィールド)と共に受信された残余情報(ｒｅｓｉｄｕａｌ)(又は予測残余情報という)を足して最終のポイントを復元する。すなわち、再構成部６１０３５は、インターフレーム予測によって予測された情報とこのときの残余情報を用いて、ジオメトリ情報(すなわち、最終ポイントの位置)を再構成(又は復元)する。図３２で言及された予測基盤のジオメトリ圧縮情報及び予測基盤のジオメトリ圧縮情報に含まれたインターフレーム予測に関する情報の詳細な内容は、図２６ないし図３０の説明を参照すればよい。

【0543】

図３３は実施例による予測基盤で圧縮されたジオメトリを復元するためのジオメトリ復号方法の一例を示す図である。

【0544】

すなわち、復元対象ノードの直前に圧縮されたノードのエレベーション角度によって参照フレームのレーザープレーンを選択する(６１０５１)。また、ステップ６１０５１で選択されたレーザープレーンに存在するノードに対して、直前に圧縮されたノードの方位角度に基づいて参照ノードを選択する(６１０５２)。

【0545】

また、インターフレーム予測に関する情報に含まれたｉｎｔｅｒ_ｐｒｅｄ_ｍｏｄｅフィールドに基づいて、送信側で参照ノード間の変化量に基づいて予測を行ったか否かを確認する(６１０５３)。

【0546】

ステップ６１０５３において参照ノード間の変化量に基づいて予測を行ったことを確認した場合、参照ノードの周りのノードを用いて方位角度の変化量を推定し(６１０５４)、これに基づいて球面座標系のｒａｄｉｕｓ、ｐｈｉ、ｔｈｅｔａに対する予測を行う(６１０５５)。

【0547】

ステップ６１０５３において参照ノード間の変化量に基づいて予測を行っていないことを確認した場合、ステップ６１０５２で選択された参照ノードに基づいて球面座標系のｒａｄｉｕｓ、ｐｈｉ、ｔｈｅｔａに対する予測を行い、予測値(又は予測機又は予測された情報という)を生成する(６１０５５)。

【0548】

また、生成された予測値とインターフレーム予測に関する情報に含まれた球面座標系の残余情報(すなわち、ｒｅｓ_ｒフィールド、ｒｅｓ_ｐｈｉフィールド、ｒｅｓ_ｔｈｅｔａフィールド)に基づいて、球面ドメインにおけるｒａｄｉｕｓ、ｐｈｉ、ｔｈｅｔａを復元する(６１０５６)。インターフレーム予測に関する情報は、少なくともＳＰＳ、ＧＰＳ、ＴＰＳ又はジオメトリデータユニットに含まれる。

【0549】

この後、球面座標系から直交座標系への座標系変換によって(６１０５７)、直交座標ドメインにおける予測値(又は予測機又は予測された情報という)を生成する。また、球面ドメインで生成された予測値とインターフレーム予測に関する情報に含まれた直交座標系の残余情報(すなわち、ｒｅｓ_ｘフィールド、ｒｅｓ_ｙフィールド、ｒｅｓ_ｚフィールド)に基づいて直交ドメインにおけるｘ、ｙ、ｚ座標を復元する。インターフレーム予測に関する情報は、少なくともＳＰＳ、ＧＰＳ、ＴＰＳ又はジオメトリデータユニットに含まれる。すなわち、直交ドメインにおいて生成された予測値と受信された直交ドメインの残余情報(すなわち、残差成分)によって現在フレームの復号されるポイントの最終位置を復元する。

【0550】

以上のように、ジオメトリデコーダ６１００３では、ｉｎｔｅｒ_ｐｒｅｄ_ｍｅｔｈｏｄフィールドによって定められた予測モードと球面ドメイン、直交ドメイン上での残差値(すなわち、残余情報)に基づいて、現在フレームの復元(又は復号という)を行う。このとき、予測過程は、ジオメトリエンコーダ５１００３と同様に、復元対象ノードの直前に圧縮されたノードのエレベーション角度によって参照フレームのレーザープレーンを決定する過程で開始される。また、決定された(又は選択された)参照フレームのレーザープレーンに存在するノードに対して、直前に圧縮されたノードの方位角度に基づいて参照ノードを選択する。また、参照ノード間の変化量に基づいて予測を行う場合、参照ノードの周りのノードを用いて方位角度の変化量を推定し、これに基づいてｒａｄｉｕｓ、ｐｈｉ、ｔｈｅｔａに対する予測を行う。球面ドメイン上での予測値と受信された残余情報(すなわち、球面ドメインの残差成分)に基づいて、球面ドメイン上のｒａｄｉｕｓ、ｐｈｉ、ｔｈｅｔａを復元する。この後、球面座標系から直交座標系への座標系変換によって、直交座標ドメインにおいて予測値を生成する。また、生成された予測値と受信された残余情報(すなわち、直交ドメインでの残差成分)によって最終位置を復元する。

【0551】

前述した圧縮方法は、ポイントクラウドデータ圧縮に使用される。特に、予測基盤ジオメトリ(又は位置という)圧縮に使用され、予測基盤特質圧縮方法にも使用される。

【0552】

実施例によれば、フレーム内のポイントの相関関係に比べてフレーム間のポイントの相関関係が高い場合、少ないビットストリームサイズに向上された復元性能を表すことができる。特に、予測ツリーのルートのように、フレーム内の予測が不可能であるか、フレーム内の予測の正確性が落ちる場合、参照フレーム(例えば、以前フレーム又は先行フレーム)において関連するポイントの情報を使用することで、ビットストリームサイズを減らすという効果を得ることができる。特に、参照フレームの関連したノード間の差異情報を用いるか、又は隣接したレーザーを用いることで、予測の正確性を高めることができる。すなわち、ポイントクラウドデータが連続したフレームからなる場合、フレーム間の相関関係に基づいて重複情報を除去することで、ジオメトリ情報の圧縮効率を高めることができる。

【0553】

実施例によるポイントクラウドデータ送信装置及びエンコーダは、フレーム内の予測だけではなく、フレーム間のデータ予測モードをさらに考慮することで、ポイントクラウドデータを効率的に圧縮するという効果がある。同様に、実施例によるポイントクラウドデータ受信装置及びデコーダは、ポイントクラウドデータを含むビットストリームを受信し、ビットストリーム内のシグナリング情報及び／又は実施例による復号動作に基づいて、ポイントクラウドデータを効率的に復元するという効果がある。

【0554】

前述した実施例の動作は、メモリ及び／又はプロセッサを含むポイントクラウド送受信装置／方法の構成要素によって行われる。メモリは実施例による動作を処理／制御するためのプログラムを格納する。実施例によるポイントクラウド送受信装置／方法の各構成要素は、ハードウェア、ソフトウェア、プロセッサ及び／又はそれらの組み合わせに対応する。プロセッサは本明細書で説明した様々な動作を制御する。プロセッサはコントローラなどとも呼ぶ。実施例による動作は、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせによって行われ、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせは、プロセッサ又はメモリに格納される。本実施例では、ポイントクラウドデータのジオメトリ情報を圧縮する方法について説明したが、特質情報圧縮及びその他の圧縮方法に本明細書で説明する方法を適用することができる。

【0555】

上述したそれぞれのパート、モジュール又はユニットはメモリ(又は貯蔵ユニット)に貯蔵された連続する実行過程を行うソフトウェア、プロセッサ、ハードウェアパートである。上記実施例に記載された各段階は、プロセッサ、ソフトウェア、ハードウェアパートにより行われる。上記実施例に記載のそれぞれのモジュール／ブロック／ユニットは、プロセッサ、ソフトウェア、ハードウェアとして動作する。また実施例が提示する方法はコードとして実行される。このコードはプロセッサが読み取り可能な格納媒体に書き込まれ、よって装置が提供するプロセッサにより読み取られる。

【0556】

また全明細書において、ある部分がある構成要素を“含む”とするとき、これは特に記載しない限り、他の構成要素を除くことではなく、他の構成要素をさらに含むことを意味する。また明細書に記載の“…部”などの用語は、少なくとも一つの機能や動作を処理する単位を意味し、これはハードウェアやソフトウェア又はハードウェアとソフトウェアの組み合わせにより具現される。

【0557】

説明の便宜のために、各図を区分して説明したが、各図に述べられている実施例を併合して新しい実施例を具現するように設計することも可能である。また通常の技術者の必要によって、以前に説明した実施例を実行するためのプログラムが記録されているコンピューターで読み取り可能な記録媒体を設計することも実施例の権利範囲に属する。

【0558】

実施例による装置及び方法は、上述したように、説明された実施例の構成と方法が限定して適用されることではなく、実施例は様々に変形可能に各実施例の全部又は一部が選択的に組み合わせられて構成されることもできる。

【0559】

実施例の好ましい実施例について示して説明したが、実施例は上述した特定の実施例に限定されず、請求の範囲で請求する実施例の要旨から離脱せず、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が可能であり、かかる変形実施は実施例の技術的思想や見込みから個々に理解されてはいけない。

【0560】

実施例による装置の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより構成される。実施例の様々な構成要素は一つのチップ、例えば、一つのハードウェア回路で具現される。実施例において、実施例による構成要素はそれぞれ個々のチップで具現される。実施例において、実施例による装置の構成要素のいずれかは一つ又はそれ以上のプログラムを実行できる一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは実施例による動作／方法のうちのいずれか一つ又はそれ以上の動作／方法を行わせるか、実行させるための指示を含む。実施例による装置の方法／動作を行うための実行可能な指示は、一つ又はそれ以上のプロセッサにより実行されるために構成された一時的ではないＣＲＭ又は他のコンピュータープログラム製品に格納されるか、又は一つ又はそれ以上のプロセッサにより実行されるために構成された一時的なＣＲＭ又は他のコンピュータープログラム製品に格納されることができる。また実施例によるメモリは、揮発性メモリ(例えば、ＲＡＭなど)だけではなく、非揮発性メモリ、フラッシュメモリ、ＰＲＯＭなどを全部含む概念として使用される。また、インターネットによる送信などのような搬送波の形態で具現されることも含む。またプロセッサが読み取られる記録媒体は、ネットワークで連結されたコンピューターシステムに分散されて、分散方式によりプロセッサが読み取られるコードが格納されて実行されることができる。この明細書において、“／”と“,”は“及び／又は”に解釈される。例えば、“Ａ／Ｂ”は“Ａ及び／又はＢ”に解釈され、“Ａ、Ｂ”は“Ａ及び／又はＢ”に解釈される。さらに、“Ａ／Ｂ／Ｃ”は“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。また、“Ａ、Ｂ、Ｃ”も“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。

【0561】

さらに、この文書において、“又は”は“及び／又は”に解釈される。例えば、“Ａ又はＢ”は、１)“Ａ”のみを意味するか、２)“Ｂ”のみを意味するか、又は３)“Ａ及びＢ”を意味する。言い換えれば、この明細書において“又は”は“さらに(ａｄｄｉｔｉｏｎａｌｌｙ)又は代わりに(ａｌｔｅｒｎａｔｉｖｅｌｙ)”を意味する。

【0562】

実施例の様々な要素は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより実行される。実施例の様々な要素は、ハードウェア回路のような１つのチップで実行される。実施例において、実施例は選択的に個々のチップで実行される。実施例において、実施例の要素のうちの少なくとも１つは実施例による動作を行うための指示を含む１つ又はそれ以上のプロセッサにより実行される。

【0563】

また、この明細書で説明する実施例による動作は、実施例によって１つ以上のメモリ及び／又は１つ以上のプロセッサを含む送受信装置によって行われる。１つ以上のメモリは実施例による動作を処理／制御するためのプログラムを格納し、１つ以上のプロセッサはこの明細書で説明した様々な動作を制御する。１つ以上のプロセッサはコントローラなどとも呼ばれる。実施例において、動作はファームウェア、ソフトウェア、及び／又はそれらの組み合わせによって行われ、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせはプロセッサに格納されるかメモリに格納される。

【0564】

第１、第２などの用語は実施例の様々な構成要素を説明するために使用される。しかし、実施例による様々な構成要素は上記用語により解釈が制限されてはいけない。かかる用語は一つの構成要素を他の構成要素と区別するために使用されることに過ぎない。例えば、第１ユーザ入力信号は第２ユーザ入力信号と称することができる。同様に、第２ユーザ入力信号は第１ユーザ入力信号と称することができる。かかる用語の使用は様々な実施例の範囲から離脱していない。第１ユーザ入力信号及び第２ユーザ入力信号はいずれもユーザ入力信号であるが、文脈上、明確に示していない限り、同一のユーザ入力信号を意味してはいない。

【0565】

実施例を説明のために使用された用語は、特定の実施例を説明するために使用されており、実施例を制限されるものではない。実施例の説明及び請求範囲で使用したように、文脈上明確に称していない限り、単数は複数を含む。「及び／又は」表現は用語間の全ての可能な結合を含む意味で使用される。「含む」は特徴、数、段階、要素及び／又はコンポーネントが存在することを説明し、さらなる特徴、数、段階、要素及び／又はコンポーネントを含まないことを意味しない。実施例を説明するために使用される、「～である場合」、「～の時」などの条件表現は選択的な場合にのみ制限して解釈されない。特定の条件を満たすとき、特定の条件に対応して関連動作を行うか、又は関連定義が解釈されるように意図されている。また、この明細書で説明する実施例による動作は、実施例によってメモリ及び／又はプロセッサを含む送受信装置により行われる。メモリは実施例による動作を処理／制御するためのプログラムを格納し、プロセッサはこの明細書で説明した様々な動作を制御する。プロセッサはコントローラとも称される。実施例において、動作はファームウェア、ソフトウェア及び／又はそれらの組み合わせにより行われ、ファームウェア、ソフトウェア及び／又はそれらの組み合わせはプロセッサに格納されるか又はメモリに格納される。

【0566】

また、本明細書で説明する実施例による動作は、実施例によってメモリ及び／又はプロセッサを含む送受信装置によって行われる。メモリは実施例による動作を処理／制御するためのプログラムを格納し、プロセッサは本明細書で説明する様々な動作を制御する。プロセッサはコントローラとも呼ぶ。実施例による動作は、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせによって行われ、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせは、プロセッサ又はメモリに格納される。

【0567】

［発明の実施のための形態］
以上、実施例を実施するための最善の形態について説明した。

【産業上の利用可能性】

【0568】

上述したように、実施例はポイントクラウドデータの送受信装置及びシステムに全体的又は部分的に適用することができる。当業者は実施例の範囲内で実施例を様々に変更又は変形することができる。実施例は変更／変形を含み、変更／変形は請求の範囲及びそれらの範囲内のものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【国際調査報告】