特許 7478816 ポイントクラウドコーディングのための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-24

(45)【発行日】2024-05-07

(54)【発明の名称】ポイントクラウドコーディングのための方法及び装置

(51)【国際特許分類】

   G06T 9/00 20060101AFI20240425BHJP

【ＦＩ】

G06T9/00

【請求項の数】 20

(21)【出願番号】P 2022520476

(86)(22)【出願日】2021-04-12

(65)【公表番号】

(43)【公表日】2022-12-02

(86)【国際出願番号】 US2021026888

(87)【国際公開番号】W WO2021211458

(87)【国際公開日】2021-10-21

【審査請求日】2022-04-01

(31)【優先権主張番号】63/011,913

(32)【優先日】2020-04-17

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/211,536

(32)【優先日】2021-03-24

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】イエア，セフーン

(72)【発明者】

【氏名】ガオ，ウエン

(72)【発明者】

【氏名】リィウ，シャン

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】国際公開第２０２０／００４４６１（ＷＯ，Ａ１）

【文献】特開２０１７－１１２６３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ９／００

(57)【特許請求の範囲】

【請求項1】

ポイントクラウドデコーダにおけるポイントクラウドジオメトリデコーディングの方法であって、
ポイントのセットを含むポイントクラウドのためのコード化されたビットストリームから、前記ポイントのセット内のポイントのクロマ予測残差情報を受信するステップであって、該クロマ予測残差情報は、Ｃｂ成分と、Ｃｒ成分とを含む、受信するステップと、
処理回路構成によって、前記ポイントクラウドのための前記コード化されたビットストリームから、前記クロマ予測残差情報の前記Ｃｂ成分と前記Ｃｒ成分との間の相関のタイプを決定するステップと、
前記クロマ予測残差情報の前記Ｃｂ成分と前記Ｃｒ成分との間の前記相関の前記タイプに基づいて、前記クロマ予測残差情報をデコードするステップとを含む、
方法。

【請求項2】

デコードするステップは、
前記Ｃｂ成分と前記Ｃｒ成分との間の前記相関の前記タイプが正であることに基づいて、前記クロマ予測残差情報の前記Ｃｂ成分及び前記クロマ予測残差情報の前記Ｃｂ成分から前記Ｃｒ成分を引いたものをデコードするステップを含む、
請求項１に記載の方法。

【請求項3】

前記デコードするステップは、
前記Ｃｂ成分と前記Ｃｒ成分との間の前記相関の前記タイプが負であることに基づいて、前記クロマ予測残差情報の前記Ｃｂ成分及び前記クロマ予測残差情報の前記Ｃｂ成分に前記Ｃｒ成分を加えたものをデコードするステップを含む、
請求項１に記載の方法。

【請求項4】

前記デコードするステップは、
前記Ｃｂ成分と前記Ｃｒ成分との間に同一の相関がないことに基づいて、前記クロマ予測残差情報の前記Ｃｂ成分及び前記クロマ予測残差情報の前記Ｃｒ成分をデコードするステップを含む、
請求項１に記載の方法。

【請求項5】

コード化された領域のうちの１つからの残差ポイントの第１の数、従前の詳細のレベル（ＬＯＤ）、又は正に相関されている前記ポイントのＮ個の最も近い隣接するポイントに基づいて、前記クロマ予測残差情報の前記Ｃｂ成分と前記Ｃｒ成分との間の前記相関の前記タイプが正であると決定するステップと、
前記コード化された領域のうちの前記１つからの残差ポイントの第２の数、前記従前の詳細のレベル（ＬＯＤ）、又は負に相関されている前記ポイントの前記Ｎ個の最も近い隣接するポイントに基づいて、前記クロマ予測残差情報の前記Ｃｂ成分と前記Ｃｒ成分との間の前記相関の前記タイプが負であると決定するステップとを含む、
請求項１に記載の方法。

【請求項6】

前記コード化された領域は、フレーム、ビデオシーケンス、ピクチャのグループ（ＧＯＰ）、ピクチャ、スライス、又はタイルのうちの少なくとも１つを含む、請求項５に記載の方法。

【請求項7】

前記Ｎは、３又は４に等しい正の整数である、請求項５に記載の方法。

【請求項8】

前記コード化されたビットストリームは、前記クロマ予測残差情報の前記Ｃｂ成分と前記Ｃｒ成分との間の前記相関の前記タイプを示す信号伝達情報を含み、
前記信号伝達情報は、コード化された領域のうちの１つからの残差ポイントの第１の数と、従前の詳細のレベル（ＬＯＤ）と、前記ポイントが属するＬＯＤと、正に相関されている前記ポイントのＮ個の最も近い隣接するポイントとに基づいて、前記クロマ予測残差情報の前記Ｃｂ成分と前記Ｃｒ成分との間の前記相関の前記タイプが正であることを示し、
前記信号伝達情報は、前記コード化された領域のうちの前記１つからの残差ポイントの第２の数と、前記従前の詳細のレベル（ＬＯＤ）と、前記ポイントが属する前記ＬＯＤと、負に相関されている前記ポイントの前記Ｎ個の最も近い隣接するポイントとに基づいて、前記クロマ予測残差情報の前記Ｃｂ成分と前記Ｃｒ成分との間の前記相関の前記タイプが負であることを示す、
請求項１に記載の方法。

【請求項9】

ポイントクラウドデコーダにおけるポイントクラウドジオメトリデコーディングの方法であって、
ポイントのセットを含むポイントクラウドのためのコード化されたビットストリームから、前記ポイントのセット内のポイントの第１のクロマ予測残差情報及び第２のクロマ予測残差情報が、前記第１のクロマ予測残差情報と前記第２のクロマ予測残差情報との間の相関のタイプに基づいてデコードされることを示す第１の信号伝達情報を受信するステップであって、前記コード化されたビットストリームは、前記第１のクロマ予測残差情報と、前記第２のクロマ予測残差情報とを含む、受信するステップと、
前記第１の信号伝達情報に基づいて、前記第１のクロマ予測残差情報と前記第２のクロマ予測残差情報との間の前記相関の前記タイプを決定するステップと、
前記第１のクロマ予測残差情報と、前記第２のクロマ予測残差情報と、前記第１のクロマ予測残差情報と前記第２のクロマ予測残差情報との間の前記相関の前記タイプとに基づいて、第１のクロマ情報及び第２のクロマ情報を再構築するステップとを含む、
方法。

【請求項10】

前記決定するステップは、
前記第１の信号伝達情報が第１の値であることに基づいて、第２の信号伝達情報を決定するステップであって、該第２の信号伝達情報は、前記第１のクロマ予測残差情報と前記第２のクロマ予測残差情報との間の前記相関の前記タイプが第３の信号伝達情報によって示されることを示す、決定するステップと、
前記第２の信号伝達情報が前記第１の値であることに基づいて、前記第３の信号伝達情報を決定するステップであって、前記第３の信号伝達情報は、前記第１のクロマ予測残差情報と前記第２のクロマ予測残差情報との間の前記相関の前記タイプを示す、決定するステップと、
前記第３の信号伝達情報に基づいて、前記第１のクロマ予測残差情報と前記第２のクロマ予測残差情報との間の前記相関の前記タイプを決定するステップとを更に含む、
請求項９に記載の方法。

【請求項11】

前記相関の前記タイプを決定するステップは、
前記第３の信号伝達情報が前記第１の値であることに基づいて、前記第１のクロマ予測残差情報と前記第２のクロマ予測残差情報との間の前記相関の前記タイプが負であると決定するステップと、
前記第３の信号伝達情報が第２の値であることに基づいて、前記第１のクロマ予測残差情報と前記第２のクロマ予測残差情報との間の前記相関の前記タイプが正であると決定するステップとを更に含む、
請求項１０に記載の方法。

【請求項12】

前記再構築することは、
前記第１のクロマ予測残差情報に対して第１の逆量子化プロセスを実行することによって前記第１のクロマ情報を再構築するステップと、
前記第１の信号伝達情報が第１の値であることに応答して、第１の部分と第２の部分とを含む前記第２のクロマ情報を再構築するステップとを更に含み、
前記第１の部分は、前記第２のクロマ予測残差情報に対して第２の逆量子化プロセスを実行することによって得られ、
前記第２の部分は、前記再構築された第１のクロマ情報を前記第１のクロマ予測残差情報と前記第２のクロマ予測残差情報との間の前記相関の前記タイプと乗算することによって得られる、
請求項９に記載の方法。

【請求項13】

前記再構築するステップは、
前記第１のクロマ予測残差情報に対して第１の逆量子化プロセスを実行することによって前記第１のクロマ情報を再構築するステップと、
前記第１の信号伝達情報が第２の値であることに応答して、前記第２のクロマ予測残差情報に対して第２の逆量子化プロセスを実行することによって前記第２のクロマ情報を再構築するステップとを更に含む、
請求項９に記載の方法。

【請求項14】

前記第１のクロマ予測残差情報及び前記第２のクロマ予測残差情報は、ゼロオフセットと一次関係において相関される、請求項９に記載の方法。

【請求項15】

ポイントクラウドデータを処理する装置であって、
処理回路構成を含み、該処理回路構成は、
ポイントのセットを含むポイントクラウドのためのコード化されたビットストリームから、前記ポイントのセット内のポイントのクロマ予測残差情報を受信するように構成され、該クロマ予測残差情報は、Ｃｂ成分と、Ｃｒ成分とを含み、
前記ポイントクラウドのための前記コード化されたビットストリームから、前記クロマ予測残差情報の前記Ｃｂ成分と前記Ｃｒ成分との間の相関のタイプを決定するように構成され、
前記クロマ予測残差情報の前記Ｃｂ成分と前記Ｃｒ成分との間の前記相関の前記タイプに基づいて、前記クロマ予測残差情報をデコードするように構成される、
装置。

【請求項16】

前記処理回路構成は、
前記Ｃｂ成分と前記Ｃｒ成分との間の前記相関の前記タイプが正であることに基づいて、前記クロマ予測残差情報の前記Ｃｂ成分及び前記クロマ予測残差情報の前記Ｃｂ成分から前記Ｃｒ成分を引いたものをデコードするように更に構成される、
請求項１５に記載の装置。

【請求項17】

前記処理回路構成は、
前記Ｃｂ成分と前記Ｃｒ成分との間の前記相関の前記タイプが負であることに基づいて、前記クロマ予測残差情報の前記Ｃｂ成分及び前記クロマ予測残差情報の前記Ｃｂ成分に前記Ｃｒ成分を加えたものをデコードするように更に構成される、
請求項１５に記載の装置。

【請求項18】

前記処理回路構成は、
前記Ｃｂ成分と前記Ｃｒ成分との間に同一の相関がないことに基づいて、前記クロマ予測残差情報の前記Ｃｂ成分及び前記クロマ予測残差情報の前記Ｃｒ成分をデコードするように更に構成される、
請求項１５に記載の装置。

【請求項19】

前記処理回路構成は、
コード化された領域のうちの１つからの残差ポイントの第１の数、従前の詳細のレベル（ＬＯＤ）、又は正に相関されている前記ポイントのＮ個の最も近い隣接するポイントに基づいて、前記クロマ予測残差情報の前記Ｃｂ成分と前記Ｃｒ成分との間の前記相関の前記タイプが正であると決定し、且つ
前記コード化された領域のうちの前記１つからの残差ポイントの第２の数、前記従前の詳細のレベル（ＬＯＤ）、又は負に相関されている前記ポイントの前記Ｎ個の最も近い隣接するポイントに基づいて、前記クロマ予測残差情報の前記Ｃｂ成分と前記Ｃｒ成分との間の前記相関の前記タイプが負であると決定するように更に構成される、
請求項１５に記載の装置。

【請求項20】

前記コード化されたビットストリームは、前記クロマ予測残差情報の前記Ｃｂ成分と前記Ｃｒ成分との間の前記相関の前記タイプを示す信号伝達情報を含み、
前記信号伝達情報は、コード化された領域のうちの１つからの残差ポイントの第１の数と、従前の詳細のレベル（ＬＯＤ）と、前記ポイントが属するＬＯＤと、正に相関されている前記ポイントのＮ個の最も近い隣接するポイントとに基づいて、前記クロマ予測残差情報の前記Ｃｂ成分と前記Ｃｒ成分との間の前記相関の前記タイプが正であることを示し、
前記信号伝達情報は、前記コード化された領域のうちの前記１つからの残差ポイントの第２の数と、前記従前の詳細のレベル（ＬＯＤ）と、前記ポイントが属する前記ＬＯＤと、負に相関されている前記ポイントの前記Ｎ個の最も近い隣接するポイントとに基づいて、前記クロマ予測残差情報の前記Ｃｂ成分と前記Ｃｒ成分との間の前記相関の前記タイプが負であることを示す、
請求項１５に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の参照）
本願は、２０２０年４月１７日に出願された「METHOD AND APPARATUS FOR POINT CHROMA CHANNEL CODING OF POINT CLOUD ATTRIBUTES」という名称の米国仮出願第６３／０１１，９１３号に対する優先権の利益を主張する２０２１年３月２４日に出願された「METHOD AND APPARATUS FOR POINT CLOUD CODING」という名称の米国特許出願第１７／２１１，５３６号に対する優先権の利益を主張する。先の出願の開示は、その全文が参照により本明細書に援用される。

【0002】

本開示は、ポイントクラウド(点群)コーディング(コード化)に概ね関する実施形態を記載する。

【背景技術】

【0003】

本明細書で提供される背景の記述は、本開示の文脈を一般的に提示するためのものである。現在言及されている発明者の仕事は、その仕事がこの背景セクションに記載されている範囲において或いは出願時に他の点では先行技術として適格でないことがある記述の態様において、明示的にも暗示的にも本開示に対する先行技術として認められない。

【0004】

世界中の物体(オブジェクト)、世界中の環境、及び３次元（３Ｄ）空間内の同等物のような、世界をキャプチャして(取り込んで)表現するための様々な技術が開発されている。世界の３Ｄ表現は、より没入的な形態の対話(インタラクション)及び通信(コミュニケーション)を可能にする。ポイントクラウド(点群)は、世界の３Ｄ表現として使用されることができる。ポイントクラウドは、３Ｄ空間内のポイント(点)のセットであり、各ポイントは、関連する属性、例えば、色、材料特性、テクスチャ情報、強度属性、反射率属性、運動関連属性、モダリティ属性、及び／又は様々な他の属性を備える。そのようなポイントクラウドは、大量のデータを含むことがあり、格納し且つ送信するのにコスト及び時間がかかることがある。

【発明の概要】

【0005】

本開示の態様は、ポイントクラウドデータを処理する方法及び装置を提供する。本開示の態様によれば、ポイントクラウドデコーダにおけるポイントクラウドジオメトリデコーディングの方法が提供される。方法では、ポイントのセット内のポイントのクロマ予測残差情報が、ポイントのセットを含むポイントクラウドのためのコード化されたビットストリームから受信されることができる。クロマ予測残差情報は、Ｃｂ成分及びＣｒ成分を含むことができる。更に、クロマ予測残差情報のＣｂ成分とＣｒ成分との間の相関のタイプが、処理回路構成によって、ポイントクラウドのためのコード化されたビットストリームから決定されることができる。クロマ予測残差情報は、クロマ予測残差情報のＣｂ成分とＣｒ成分との間の相関のタイプに基づいてデコード(復号)されることができる。

【0006】

一例では、クロマ予測残差情報をデコードするために、Ｃｂ成分とＣｒ成分との間の相関のタイプが正であることに基づいて、クロマ予測残差情報のＣｂ成分及びクロマ予測残差情報のＣｂ成分からＣｒ成分を引いたものをデコードすることができる。

【0007】

別の例では、クロマ予測残差情報をデコードするために、Ｃｂ成分とＣｒ成分との間の相関のタイプが負であることに基づいて、クロマ予測残差情報のＣｂ成分及びクロマ予測残差情報のＣｂ成分にＣｒ成分を加えたものをデコードすることができる。

【0008】

更に別の例では、クロマ予測残差情報をデコードするために、Ｃｂ成分とＣｒ成分との間に同一の相関がないことに基づいて、クロマ予測残差情報のＣｂ成分及びクロマ予測残差情報のＣｒ成分をデコードすることができる。

【0009】

幾つかの実施形態では、コード化された領域のうちの１つからの残差ポイントの第１の数、従前の詳細のレベル（ＬＯＤ）、又は正に相関されているポイントのＮ個の最も近い隣接するポイントに基づいて、クロマ予測残差情報のＣｂ成分とＣｒ成分との間の相関のタイプが正であると決定することができる。幾つかの実施形態では、コード化された領域のうちの１つからの残差ポイントの第２の数、従前の詳細のレベル（ＬＯＤ）、又は負に相関されているポイントのＮ個の最も近い隣接するポイントに基づいて、前記クロマ予測残差情報のＣｂ成分とＣｒ成分との間の相関のタイプが負であると決定することができる。

【0010】

幾つかの実施形態において、コード化された領域は、フレーム、ビデオシーケンス、ピクチャのグループ（ＧＯＰ）、ピクチャ、スライス、又はタイルのうちの少なくとも１つを含むことができる。

【0011】

幾つかの実施形態において、Ｎは、３又は４に等しい正の整数である。

【0012】

方法において、コード化されたビットストリームは、クロマ予測残差情報のＣｂ成分とＣｒ成分との間の相関のタイプを示す信号伝達情報を更に含むことができる。一例において、信号伝達情報は、コード化された領域のうちの１つからの残差ポイントの第１の数と、従前の詳細のレベル（ＬＯＤ）と、ポイントが属するＬＯＤと、正に相関されているポイントのＮ個の最も近い隣接するポイントとに基づいて、クロマ予測残差情報のＣｂ成分とＣｒ成分との間の相関のタイプが正であることを示すことができる。別の例において、信号伝達情報は、コード化された領域のうちの１つからの残差ポイントの第２の数と、従前の詳細のレベル（ＬＯＤ）と、ポイントが属するＬＯＤと、負に相関されているポイントのＮ個の最も近い隣接するポイントとに基づいて、クロマ予測残差情報のＣｂ成分とＣｒ成分との間の相関のタイプが負であることを示すことができる。

【0013】

本開示の態様よれば、ポイントクラウドデコーダにおけるポイントクラウドジオメトリデコーディングの方法が提供される。方法では、第１の信号伝達情報が、ポイントのセットを含むポイントクラウドのためのコード化されたビットストリームから受信されることができる。第１の信号伝達情報は、ポイントのセット中のポイントの第１のクロマ予測残差情報及び第２のクロマ予測残差情報が第１のクロマ予測残差情報及び第２のクロマ予測残差情報の相関のタイプに基づいてデコードされることを示すことができる。コード化されたビットストリームは、第１のクロマ予測残差情報と、第２のクロマ予測残差情報とを含む。第１のクロマ予測残差情報と第２のクロマ予測残差情報との間の相関のタイプは、第１の信号伝達情報に基づいて決定されることができる。更に、第１のクロマ情報及び第２のクロマ情報は、第１のクロマ予測残差情報と、第２のクロマ予測残差情報と、第１のクロマ予測残差情報と第２のクロマ予測残差情報との間の相関のタイプとに基づいて再構築されることができる。

【0014】

幾つかの実施形態では、第２の信号伝達情報が、第１の信号伝達情報が第１の値であることに基づいて決定されことができる。第２の信号伝達情報は、第１のクロマ予測残差情報と第２のクロマ予測残差情報との間の相関のタイプが第３の信号伝達情報によって決定されることを示すことができる。第３の信号電情報は、第２の信号伝達情報が第１の値であることに基づいて決定されることができる。第１のクロマ予測残差情報と第２のクロマ予測残差情報との間の相関のタイプは、第３の信号伝達情報に基づいて決定されることができる。

【0015】

一例において、第１のクロマ予測残差情報と第２のクロマ予測残差情報との間の相関のタイプは、第３の信号伝達情報が第１の値であることに基づいて負であることを決定されることができる。別の例において、第１のクロマ予測残差情報と第２のクロマ予測残差情報との間の相関のタイプは、第３の信号伝達情報が第２の値であることに基づいて正であることを決定されることができる。

【0016】

方法において、第１のクロマ情報は、第１のクロマ予測残差情報に対して第１の逆量子化プロセスを実行することによって再構築されることができる。加えて、第１の信号伝達情報が第１の値であることに応答して、第１の部分と第２の部分とを含む第２のクロマ情報が再構築されることができる。第１の部分は、第２のクロマ予測残差情報に対して第２の逆量子化プロセスを実行することによって得られることができ、第２の部分は、再構築された第１のクロマ情報を第１のクロマ予測残差情報と第２のクロマ予測残差情報との間の相関のタイプと乗算することによって得られることができる。

【0017】

幾つかの実施形態において、第１のクロマ情報は、第１のクロマ予測残差情報に対して第１の逆量子化プロセスを実行することによって再構築されることができる。第１の信号伝達情報が第２の値であることに応答して、第２のクロマ情報は、第２のクロマ予測残差情報に対して第２の逆量子化プロセスを実行することによって再構築されることができる。

【0018】

幾つかの実施形態において、第１のクロマ予測残差情報及び第２のクロマ予測残差情報は、ゼロオフセットと一次関係(first order relation)において相関される。

【0019】

一例において、ポイントクラウドデータを処理する装置は、上述の方法のうちの１つ以上を実行するように構成される受信回路構成と処理回路構成とを含む。

【図面の簡単な説明】

【0020】

開示の主題のさらなる構成、性質、及び様々な利点は、以下の詳細な記述及び添付の図面からより明らかになるであろう

【0021】

【図1】一実施形態に従った通信システムの簡略ブロック図の概略的な図示である。

【0022】

【図2】一実施形態に従ったストリーミングシステムの簡略ブロック図の概略的な図示である。

【0023】

【図3】幾つかの実施形態に従ったポイントクラウドフレームをエンコードするエンコーダのブロック図を示している。

【0024】

【図4】幾つかの実施形態に従ったポイントクラウドフレームに対応する圧縮されたビットストリームをデコードするデコーダのブロック図を示している。

【0025】

【図5】一実施形態に従ったビデオデコーダの簡略ブロック図の概略的な図示である。

【0026】

【図6】一実施形態に従ったビデオエンコーダの簡略ブロック図の概略的な図示である。

【0027】

【図7】幾つかの実施形態に従ったポイントクラウドフレームに対応する圧縮されたビットストリームをデコードするデコーダのブロック図を示している。

【0028】

【図8】幾つかの実施形態に従ったポイントクラウドフレームをエンコードするエンコーダのブロック図を示している。

【0029】

【図9】本開示の幾つかの実施形態に従ったグラフィックベースのポイントクラウド圧縮（Ｇ－ＰＣＣ）における詳細レベル（ＬＯＤ）生成プロセスを図示する図を示している。

【0030】

【図10】本開示の幾つかの実施形態に従ったＧ－ＰＣＣにおける属性コーディングのためのリフティング－変換を図示する図を示している。

【0031】

【図11】幾つかの実施形態に従った第１のプロセス例を概説する第１のフローチャートを示している。

【0032】

【図12】幾つかの実施形態に従った第２のプロセス例を概説する第２のフローチャートを示している。

【0033】

【図13】一実施形態に従ったコンピュータシステムの概略図である。

【発明を実施するための形態】

【0034】

世界の先進３Ｄ表現は、より没入的な形態の対話(インタラクション)及び通信(コミュニケーション)を可能にしており、機械が我々の世界を理解し、解釈し、ナビゲートすることも可能にする。３Ｄポイントクラウド(点群)は、そのような情報の可能化表現(enabling
representation)として出現した。ポイントクラウドデータと関連付けられる多数の適用事例が特定され、ポイントクラウド表現及び圧縮のための対応する要件が開発される。例えば、３Ｄポイントクラウドは、オブジェクト検出及び場所特定(ローカライゼーション)のための自律運転(autonomous driving)において使用されることができる。３Ｄポイントクラウドは、マッピングのために地理情報システム（ＧＩＳ：geographic information systems）においても使用されることができ、文化遺産(cultural heritage)オブジェクト及びコレクションを可視化し且つアーカイブ化するために文化遺産において使用される。

【0035】

ポイントクラウドは、一般に、３Ｄ空間内のポイント(点)のセットを指すことがあり、各ポイントは、関連付けられた属性を有する。属性は、色、材料特性、テクスチャ情報、強度属性、反射率属性、運動関連属性、モダリティ属性、及び／又は様々な他の属性を含むことができる。ポイントクラウドは、オブジェクトまたはシーンをそのようなポイントの合成として再構築するために使用されることができる。ポイントは、様々なセットアップにおいて複数のカメラ、深さセンサ及び／又はライダー(Lidar)を使用してキャプチャされる(取り込まれる)ことができ、再構築されたシーンを現実的に表現するために数千から最大数十億のポイントから構成されることがある。

【0036】

圧縮技術は、より高速な伝送(transmission)またはストレージの削減のために、ポイントクラウドを表現するのに必要とされるデータ量を減少させることができる。よって、リアルタイム通信及び６自由度（６ＤｏＦ）仮想現実における使用のために、ポイントクラウドの損失圧縮(lossy compression)のための技術が必要とされる。加えて、自律運転及び文化遺産用途並びに同等のことのための動的マッピングの文脈において、ロスレスポイントクラウド圧縮の技術が求められている。よって、ＩＳＯ／ＩＥＣ ＭＰＥＧ（ＪＴＣ １／ＳＣ ２９／ＷＧ １１）は、色及び反射率、スケーラブル／プログレッシブコーディング(コード化)(coding)、時間の経過に亘ってキャプチャされるポイントクラウドのシーケンスのコーディング、及びポイントクラウドのサブセットへの無作為アクセスのような属性及び幾何学的形状の圧縮に対処する標準(standard)に取り組み始めている。

【0037】

図１は、本開示の一実施形態に従った通信システム（１００）の簡略化されたブロック図を図示している。通信システム（１００）は、例えば、ネットワーク（１５０）を介して、互いに通信することができる、複数の端末デバイスを含む。例えば、通信システム（１００）は、ネットワーク（１５０）を介して相互接続された端末デバイス（１１０）及び（１２０）のペアを含む。図１の例において、第１のペアの端末デバイス（１１０）及び（１２０）は、ポイントクラウドデータの一方向伝送を行うことがある。例えば、端末デバイス（１１０）は、端末デバイス（１１０）と接続されたセンサ（１０５）によってキャプチャされるポイントクラウド（例えば、構造を表すポイント）を圧縮することがある。圧縮されたポイントクラウド(圧縮ポイントクラウド)は、例えば、ビットストリームの形態において、ネットワーク（１５０）を介して他方の端末デバイス（１２０）に伝送されることができる。端末デバイス（１２０）は、ネットワーク（１５０）から圧縮されたポイントクラウドを受信し、ビットストリームを解凍してポイントクラウドを再構築し、再構築されたポイントクラウドを適切に表示することがある。一方向性データ伝送は、媒体提供アプリケーション及び同等のものにおいて一般的であることがある。

【0038】

図１の例において、端末デバイス（１１０）及び（１２０）は、サーバ及びパーソナルコンピュータとして図示されることがあるが、本開示の原理は、そのように限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ゲーム端末、メディアプレーヤ、及び／又は専用の三次元（３Ｄ）機器との適用を見出す。ネットワーク（１５０）は、端末デバイス（１１０）と（１２０）との間で圧縮されたポイントクラウドを伝送する任意の数のネットワークを表す。ネットワーク（１５０）は、例えば、ワイヤライン（有線）及び／又は無線通信ネットワークを含むことができる。ネットワーク（１５０）は、回線交換及び／又はパケット交換チャネル内でデータを交換することがある。代表的なネットワークは、通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又はインターネットを含む。本議論の目的のために、ネットワーク（１５０）のアーキテクチャ及びトポロジーは、以下に説明しない限り、本開示の動作には重要ではない。

【0039】

図２は、一実施形態に従ったストリーミングシステム（２００）の簡略ブロック図を図示している。図２の例は、ポイントクラウドについて開示された主題についての出願である。開示の主題は、３Ｄテレプレゼンスアプリケーション、仮想現実アプリケーション、及び同等物のような、他のポイントクラウド対応(point cloud enabled)アプリケーションにも等しく適用可能である。

【0040】

ストリーミングシステム（２００）は、キャプチャサブシステム（２１３）を含むことがある。キャプチャサブシステム（２１３）は、ポイントクラウドソース」（２０１）、例えば、光検出及び測距（ＬＩＤＡＲ）システム、３Ｄカメラ、３Ｄスキャナ、ソフトウェア内で圧縮されていないポイントクラウド(非圧縮ポイントクラウド)を生成するグラフィックス生成コンポーネント、及び、例えば、圧縮されていないポイントクラウド（２０２）を生成する同等物を含むことができる。一例において、ポイントクラウド（２０２）は、３Ｄカメラによってキャプチャされるポイントを含む。ポイントクラウド（２０２）は、圧縮されたポイントクラウド（２０４）（圧縮されたポイントクラウドのビットストリーム）と比較したときの高いデータボリュームを強調するために、太線として描かれている。圧縮されたポイントクラウド（２０４）は、ポイントクラウドソース」（２０１）に結合されたエンコーダ（２０３）を含む電子デバイス（２２０）によって生成されることができる。エンコーダ（２０３）は、以下により詳細に記載するような開示の主題の態様を可能にする或いは実装するハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ポイントクラウド（２０２）のストリームと比較したときのより低いデータボリュームを強調するために細い線として描かれている、圧縮されたポイントクラウド（２０４）（または圧縮されたポイントクラウド（２０４）のビットストリーム）は、将来の使用のためにストリーミングサーバ（２０５）に格納されることができる。図２のクライアントサブシステム（２０６）及び（２０８）のような、１つ以上のストリーミングクライアントサブシステムは、圧縮されたポイントクラウド（２０４）のコピー（２０７）及び（２０９）を検索するためにストリーミングサーバ（２０５）にアクセスすることができる。クライアントサブシステム（２０６）は、例えば、電子装置（２３０）内にデコーダ（２１０）を含むことができる。デコーダ（２１０）は、圧縮されたポイントクラウドの入力コピー（２０７）をデコード(復号)し、レンダリングデバイス（２１２）上に描画することができる再構築されたポイントクラウド（２１１）の出力ストリームを生成する。

【0041】

電子デバイス（２２０）及び（２３０）は、他のコンポーネント（図示せず）を含むことができることに留意のこと。例えば、電子デバイス（２２０）は、デコーダ（図示せず）を含むこともでき、電子デバイス（２３０）は、エンコーダ（図示せず）を含むこともできる。

【0042】

幾つかのストリーミングシステムにおいて、圧縮されたポイントクラウド（２０４）、（２０７）及び（２０９）（例えば、圧縮されたポイントクラウドのビットストリーム）は、特定の標準に従って圧縮されることができる。幾つかの例では、ビデオコーディング標準が、ポイントクラウドの圧縮に使用される。それらの標準の例は、高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）、汎用ビデオコーディング（ＶＶＣ：Versatile Video Coding）、及び同等のものを含む。

【0043】

図３は、幾つかの実施形態に従ったポイントクラウドフレームをエンコード(符号化)するためのＶ－ＰＣＣエンコーダ（３００）のブロック図を示している。幾つかの実施形態において、Ｖ－ＰＣＣエンコーダ（３００）は、通信システム（１００）及びストリーミングシステム（２００）で使用することができる。例えば、エンコーダ（２０３）は、Ｖ－ＰＣＣエンコーダ（３００）と同様に構成されることができ、作動することができる。

【0044】

Ｖ－ＰＣＣエンコーダ（３００）は、圧縮されていない入力としてポイントクラウドフレームを受信し、圧縮されたポイントクラウドフレームに対応するビットストリームを生成する。幾つかの実施形態において、Ｖ－ＰＣＣエンコーダ（３００）は、ポイントクラウドソース（２０１）及び同等のもののようなポイントクラウドソースからポイントクラウドフレームを受信することがある。

【0045】

図３の例において、Ｖ－ＰＣＣエンコーダ（３００）は、パッチ生成モジュール(patch generation module)（３０６）と、パッチパッキングモジュール(patch packing module)（３０８）と、ジオメトリ画像生成モジュール(geometry image generation module)（３１０）と、テクスチャ画像生成モジュール(texture image generation module)（３１２）と、パッチ情報モジュール(patch info module)（３０４）と、占有マップモジュール(occupancy map module)（３１４）と、平滑化モジュール(smoothing module)（３３６）と、画像パディングモジュール(image padding modules)（３１６）及び（３１８）と、グループ拡張モジュール(group dilation module)（３２０）と、ビデオ圧縮モジュール(video compression modules)（３２２）、（３２３）及び（３３２）と、補助パッチ情報圧縮モジュール(auxiliary patch info compression module)（３３８）と、エントロピー圧縮モジュール(entropy compression module)（３２４）と、マルチプレクサ(multiplexer)（３２４）とを含む。

【0046】

本開示のある態様によれば、Ｖ－ＰＣＣエンコーダ（３００）は、３Ｄポイントクラウドフレームを、圧縮されたポイントクラウドを解凍されたポイントクラウドに戻すために使用される幾つかのメタデータ（例えば、占有マップ及びパッチ情報）と共に、画像ベースの表現に変換する。幾つかの例において、Ｖ－ＰＣＣエンコーダ（３００）は、３Ｄポイントクラウドフレームを、ジオメトリ画像、テクスチャ画像、及び占有マップに変換し、次に、ビデオコーディング技術を使用して、ジオメトリ画像、テクスチャ画像、及び占有マップを、ビットストリームにエンコードすることができる。一般に、ジオメトリ画像は、ピクセルに投影されるポイントと関連付けられるジオメトリ値で満たされたピクセルを備える２Ｄ画像であり、ジオメトリ値で満たされたピクセルを、ジオメトリサンプルを呼ぶことができる。テクスチャ画像は、ピクセルに投影されるポイントと関連付けられるテクスチャ値で満たされたピクセルを備える２Ｄ画像であり、テクスチャ値で満たされたピクセルを、テクスチャサンプルと呼ぶことができる。占有マップは、パッチによって占有された或いは占有されていないことを示す値で満たされたピクセルを備える２Ｄ画像である。

【0047】

パッチは、一般に、ポイントクラウドによって記述される表面の連続したサブセットを指すことがある。一例において、パッチは、閾値量未満で互いに逸脱する表面法線ベクトルを備えるポイントを含む。パッチ生成モジュール（３０６）は、各パッチが２Ｄ空間内の平面に関して深度視野(depth field)によって記述されることがあるように、ポイントクラウドをパッチのセットにセグメント化し、パッチのセットは、オーバーラップしていることがあり、或いはオーバーラップしていないことがある。幾つかの実施態様において、パッチ生成モジュール（３０６）は、ポイントクラウドを平滑な境界を備える最小数のパッチに分解しながら、再構築誤差も最小限に抑えることを目的とする。

【0048】

パッチ情報モジュール（３０４）は、パッチのサイズ及び形状を示すパッチ情報を収集することができる。幾つかの例では、パッチ情報を画像フレームにパックし、次に、補助パッチ情報圧縮モジュール（３３８）によってエンコードして、圧縮された補助パッチ情報を生成することができる。

【0049】

パッチパッキングモジュール（３０８）は、抽出されたパッチを２次元（２Ｄ）グリッド上にマッピングする一方で、未使用空間を最小限に抑え、グリッドのあらゆるＭｘＭ（例えば、１６×１６）ブロックが一意的なパッチと関連付けられることを保証するように構成される。効率的なパッチパッキングは、未使用空間を最小限に抑えること又は時間的一貫性を確保することのいずれかによって、圧縮効率に直接的に影響を与えることができる。

【0050】

ジオメトリ画像生成モジュール（３１０）は、所与のパッチ場所でのポイントクラウドのジオメトリ(幾何学的形状)と関連付けられる２Ｄジオメトリ画像を生成することができる。テクスチャ画像生成モジュール（３１２）は、所与のパッチ場所でのポイントクラウドのテクスチャと関連付けられる２Ｄテクスチャ画像を生成することができる。ジオメトリ画像生成モジュール（３１０）及びテクスチャ画像生成モジュール（３１２）は、ポイントクラウドのジオメトリ及びテクスチャを画像として格納するために、パッキングプロセス中に計算された３Ｄ対２Ｄマッピングを利用する。複数の点が同じサンプルに投影される場合をより良く取り扱うために、各パッチは、層と呼ばれる２つの画像上に投影される。一例では、ジオメトリ画像は、ＹＵＶ４２０－８ビットフォーマットにおいてＷ×Ｈの単色フレームによって表現される。テクスチャ画像を生成するために、テクスチャ生成手順は、再サンプリングされたポイントと関連付けられる色を計算するために、再構築された／平滑化されたジオメトリを利用する。

【0051】

占有マップモジュール（３１４）は、各ユニットでパディング情報を記述する占有マップを生成することができる。例えば、占有画像は、グリッドの各セルについてセルが空の空間に属するか或いはポイントクラウドに属するかを示すバイナリマップを含む。一例において、占有マップは、各ピクセルについてピクセルがパッディングされているか(padded)どうかを記述するバイナリ情報を使用する。別の例において、占有マップは、ピクセルの各ブロックについてピクセルのブロックがパディングされているかどうかを記述するバイナリ情報を使用する。

【0052】

占有マップモジュール（３１４）によって生成される占有マップは、無損失(lossless)コーディングまたは損失性(lossy)コーディングを使用して圧縮されることができる。無損失コーディングが使用されるとき、エントロピー圧縮モジュール（３３４）は、占有マップを圧縮するために使用される。損失性コーディングが使用されるとき、ビデオ圧縮モジュール（３３２）は、占有マップを圧縮するために使用される。

【0053】

パッチパッキングモジュール（３０８）は、画像フレームにパッケージされる２Ｄパッチ間に幾らかの空の空間を残す場合があることに留意のこと。画像パディングモジュール（３１６）及び（３１８）は、２Ｄビデオ及び画像コーデックに適することがある画像フレームを生成するために、（パディングと呼ばれる）空の空間を埋めることができる。画像パディングは、未使用の空間を冗長情報で満たすことができるバックグラウンド充填とも呼ばれる。幾つかの例において、良いバックグラウンド充填は、ビットレートを最小限に増加させ、パッチ境界の周りに有意なコーディング歪み(coding distortion)を導入しない。

【0054】

ビデオ圧縮モジュール（３２２）、（３２３）、及び（３３２）は、ＨＥＶＣ、ＶＶＣ及び同等のもののような、適切なビデオコーディング標準に基づいて、パディングされたジオメトリ画像、パディングされたテクスチャ画像、及び占有マップのような、２Ｄ画像をエンコードすることができる。一例において、ビデオ圧縮モジュール（３２２）、（３２３）、及び（３３２）は、別々に作動する個々のコンポーネントである。ビデオ圧縮モジュール（３２２）、（３２３）、及び（３３２）は、別の例では、単一のコンポーネントとして実装され得ることに留意のこと。

【0055】

幾つかの例において、平滑化モジュール（３３６）は、再構築されたジオメトリ画像の平滑化された画像を生成するように構成される。平滑化された画像は、テクスチャ画像生成（３１２）に提供されることができる。次に、テクスチャ画像生成（３１２）は、再構築されたジオメトリ画像に基づいて、テクスチャ画像の生成を調整することがある。例えば、パッチ形状（例えば、幾何学的形状）がエンコーディング(符号化)(encoding)及びデコーディング(復号化)(decoding)中にわずかに歪むときに、歪みは、パッチ形状における歪みを補正するために、テクスチャ画像を生成するときに考慮に入れられることがある。

【0056】

幾つかの実施形態において、グループ拡張（３２０）は、再構築されたポイントクラウドのコーディング利得及び視覚的品質を向上させるために、冗長な低周波数コンテンツを有するオブジェクト境界の周囲でピクセルをパディングするように構成される。

【0057】

マルチプレクサ（３２４）は、圧縮されたジオメトリ画像、圧縮されたテクスチャ画像、圧縮された占有マップ、及び／又は圧縮された補助パッチ情報を、圧縮されたビットストリームに多重化することができる。

【0058】

図４は、幾つかの実施形態に従ったポイントクラウドフレームに対応する圧縮されたビットストリームをデコードするためのＶ－ＰＣＣデコーダ（４００）のブロック図を示している。幾つかの実施形態において、Ｖ－ＰＣＣデコーダ（４００）は、通信システム（１００）及びストリーミングシステム（２００）において使用されることができる。例えば、デコーダ（２１０）は、Ｖ－ＰＣＣデコーダ（４００）と同様の方法で作動するように構成されることができる。Ｖ－ＰＣＣデコーダ（４００）は、圧縮されたビットストリームを受信し、圧縮されたビットストリームに基づいて再構築ポイントクラウドを生成する。

【0059】

図４の例において、Ｖ－ＰＣＣデコーダ（４００）は、デマルチプレクサ（４３２）と、ビデオ解凍モジュール（４３４）及び（４３６）と、占有マップ解凍モジュール（４３８）と、補助パッチ情報解凍モジュール（４４２）と、ジオメトリ再構築モジュール（４４４）と、平滑化モジュール（４４６）と、テクスチャ再構築モジュール（４４８）と、色平滑化モジュール（４５２）とを含む。

【0060】

デマルチプレクサ（４３２）は、圧縮されたビットストリームを受信して、圧縮されたビットストリームを圧縮されたテクスチャ画像、圧縮されたジオメトリ画像、圧縮された占有マップ、及び圧縮された補助パッチ情報に分離することができる。

【0061】

ビデオ解凍モジュール（４３４）及び（４３６）は、適切な標準（例えば、ＨＥＶＣ、ＶＶＣなど）に従って圧縮された画像を解凍し、解凍された画像を出力することができる。例えば、ビデオ解凍モジュール（４３４）は、圧縮されたテクスチャ画像を解凍し、解凍されたテクスチャ画像を出力し、ビデオ解凍モジュール（４３６）は、圧縮されたジオメトリ画像を解凍し、解凍されたジオメトリ画像を出力する。

【0062】

占有マップ解凍モジュール（４３８）は、適切な標準（例えば、ＨＥＶＣ、ＶＶＣなど）に従って圧縮された占有マップをデコードし、解凍された占有マップを出力することができる。

【0063】

補助パッチ情報解凍モジュール（４４２）は、適切な標準（例えば、ＨＥＶＣ、ＶＶＣなど）に従って圧縮された補助パッチ情報を解凍し、解凍された補助パッチ情報を出力することができる。

【0064】

ジオメトリ再構築モジュール（４４４）は、解凍されたジオメトリ画像を受信し、解凍された占有マップ及び解凍された補助パッチ情報に基づいて再構築されたポイントクラウドジオメトリを生成することができる。

【0065】

平滑化モジュール（４４６）は、パッチのエッジでの不一致(incongruences)を平滑化することができる。平滑化手順は、圧縮アーチファクトに起因してパッチ境界で生じることがある潜在的な不連続性を緩和することを目的としている。幾つかの実施形態では、平滑化フィルタが、圧縮／解凍によって引き起こされることがある歪みを緩和するために、パッチ境界上に位置するピクセルに適用されることがある。

【0066】

テクスチャ再構築モジュール（４４８）は、解凍テクスチャ画像及び平滑化ジオメトリに基づいてポイントクラウド内のポイントについてのテクスチャ情報を決定することができる。

【0067】

色平滑化モジュール（４５２）は、色の不一致を平滑化することができる。３Ｄ空間内の隣接しないパッチは、しばしば、２Ｄビデオ内で互いに隣接してパックされる。幾つかの例では、隣接しないパッチからのピクセル値は、ブロックベースのビデオコーデックによって混合されることがある。色平滑化の目的は、パッチ境界に現れる目に見えるアーチファクトを減らすことである。

【0068】

図５は、本開示の一実施形態に従ったビデオデコーダ（５１０）のブロック図を示している。ビデオデコーダ（５１０）は、Ｖ－ＰＣＣデコーダ（４００）で使用されることができる。例えば、ビデオ解凍モジュール（４３４）及び（４３６）、占有マップ解凍モジュール（４３８）は、同様に、ビデオデコーダ（５１０）として構成されることができる。

【0069】

ビデオデコーダ（５１０）は、コード化された(コード化された)ビデオシーケンスのような、圧縮された画像からシンボル（５２１）を再構築するためのパーサ(parser)（５２０）を含むことがある。それらのシンボルのカテゴリは、ビデオデコーダ（５１０）の動作を管理するために使用される情報を含む。パーサ（５２０）は、受信されるコード化されたビデオシーケンスを構文解析する(parse)／エントロピー－デコードする(entropy-decode)ことがある。コード化されたビデオシーケンスのコーディングは、ビデオコーディング技術または標準に従うことができ、可変長コーディング、ハフマンコーディング、コンテキスト感度を伴うまたは伴わない算術コーディングなどを含む、様々な原理に従うことができる。パーサ（５２０）は、グループに対応する少なくとも１つのパラメータに基づいて、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも１つについてのサブグループパラメータのセットを、コード化されたビデオシーケンスから抽出することができる。サブグループは、ピクチャのグループ（ＧＯＰ：Groups of Pictures）、ピクチャ(pictures)、タイル、スライス、マクロブロック、コーディング単位（ＣＵ：Coding Units）、ブロック、変換単位（ＴＵ：Transform Units）、予測単位（ＰＵ：Prediction Units）などを含む。パーサ（５２０）は、変換係数、量子化パラメータ値、運動ベクトルなどのような、コード化されたビデオシーケンス情報からも抽出することがある。

【0070】

パーサ（５２０）は、シンボル（５２１）を生成するために、バッファメモリから受信したビデオシーケンスに対してエントロピー－デコーディング／構文解析演算を実行することがある。

【0071】

シンボル（５２１）の再構築は、コード化されたビデオピクチャまたはその部分（例えば、インターピクチャ(相互ピクチャ)(inter picture)及びイントラピクチャ(内部ピクチャ)(intra picture)、インターブロック(相互ブロック)(inter block)及びイントラブロック(内部ブロック)(intra block)）のタイプ及び他の要因に依存して、複数の異なるユニットを含むことができる。どのユニットが含められ、どのように含められるかは、パーサ（５２０）によってコード化されたビデオシーケンスから構文解析されたサブグループ制御情報によって制御されることができる。パーサ（５２０）と以下の複数ユニットとの間のそのようなサブグループ制御情報の流れは、明確性のために描かれていない。

【0072】

すでに述べた機能ブロックの他に、ビデオデコーダ（５１０）は、以下に記載するように、多数の機能ユニットに概念的に細分化されることができる。商業的制約の下で作動する実用的な実装において、これらのユニットの多くは、互いに密接に相互作用し、少なくとも部分的には互いに統合させられることができる。しかしながら、開示の主題事項を記載する目的のために、以下の機能単位への概念的な細分化が適切である。

【0073】

第１のユニットは、スケーラ(scaler)／逆変換ユニット(inverse transform unit)（５５１）である。スケーラ／逆変換ユニット（５５１）は、量子化された変換係数、並びに使用する変換、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報を、パーサ（５２０）からのシンボル（５２１）として受信する。スケーラ／逆変換ユニット（５５１）は、アグリゲータ(aggregator)（５５５）に入力されることができるサンプル値を含むブロックを出力することができる。

【0074】

幾つかの場合において、スケーラ／逆変換（５５１）の出力サンプルは、イントラコード化(内部コード化)されたブロック(intra coded block)、すなわち、従前に再構築されたピクチャからの予測情報を使用していないが、現在のピクチャの従前に再構築された部分からの予測情報を使用することができる、ブロックに関係することができる。そのような予測情報は、イントラピクチャ(内部ピクチャ)予測ユニット（５５２）によって提供されることができる。幾つかの場合において、イントラピクチャ予測ユニット５５２は、現在のピクチャバッファ５５８からフェッチされた既に再構築された環境(surrounding)を使用して、再構築中のブロックと同じ大きさ及び形状のブロックを生成する。現在のピクチャバッファ（５５８）は、例えば、部分的に再構築された現在のピクチャ及び／又は完全に再構築された現在のピクチャをバッファする。アグリゲータ（５５５）は、幾つかの場合には、サンプル毎ベースで、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）によって提供されるような出力サンプル情報に追加する。

【0075】

他の場合には、スケーラ／逆変換ユニット（５５１）の出力サンプルは、相互コード化された、潜在的に運動補償されたブロックに関係することができる。そのような場合、運動補償予測ユニット５５３は、予測のために使用されるサンプルをフェッチするために参照画像メモリ５５７にアクセスすることができる。ブロックに関係するシンボル（５２１）に従ってフェッチされたサンプルを運動補償した後に、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（５５５）によって、（この場合には残差サンプルまたは残差信号と呼ばれる）スケーラ／逆変換ユニット（５５１）の出力に追加されることができる。運動補償予測ユニット（５５３）が予測サンプルをフェッチする参照画像メモリ（５５７）内のアドレスは、例えば、Ｘ、Ｙ、及び参照ピクチャコンポーネントを有することができるシンボル（５２１）の形態において運動補償予測ユニット（５５３）に利用可能な、運動ベクトルによって制御されることができる。運動補償は、サブサンプルの正確な運動ベクトルが使用中であるときの参照ピクチャメモリ（５５７）、運動ベクトル予測メカニズムなどからフェッチされるようなサンプル値の補間を含むことができる。

【0076】

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）内の様々なループフィルタリング技術に従うことができる。ビデオ圧縮技術は、（コード化されたビデオビットストリームとも呼ばれる）コード化されたビデオシーケンスに含まれるパラメータによって制御され、パーサ（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされるが、コード化されたピクチャまたはコード化されたビデオシーケンスの（デコーディング順における）従前の部分のデコーディング中に得られたメタ情報に応答することができると共に、従前に再構築され且つループフィルタリングされたサンプル値に応答することができる、ループ内フィルタ技術(in-loop technologies)を含むことができる。

【0077】

ループフィルタユニット（５５６）の出力は、レンダリングデバイスに出力されることができると共に、将来のピクチャ間予測における使用のために参照画像メモリ（５５７）に格納されることができる、サンプルストリーム(sample stream)であることができる。

【0078】

特定のコード化された画像は、ひとたび完全に再構築されると、将来の予測のための参考画像として使用されることができる。例えば、現在のピクチャに対応するコード化されたピクチャが完全に再構築され、コード化されたピクチャが（例えば、パーサ（５２０）によって）参照ピクチャとして識別されると、現在のピクチャバッファ（５５８）は、参照ピクチャメモリ（５５７）の一部となることができ、新しい現在のピクチャバッファは、後続のコード化されたピクチャの再構築を開始する前に再割当てされることができる。

【0079】

ビデオデコーダ（５１０）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５のような標準における所定のビデオ圧縮技術に従ってデコーディング動作を実行することがある。コード化されたデオシーケンスは、コード化されたビデオシーケンスが、ビデオ圧縮技術または標準の構文及びビデオ圧縮技術または標準で文書化されているようなプロファイルの両方に従うという意味において、使用されているビデオ圧縮技術または標準によって指定された構文に適合することがある。具体的には、プロファイルは、特定のツールを、そのプロファイルの下で使用可能な唯一のツールとして、ビデオ圧縮技術または標準で使用可能な全てのツールから選択することができる。コンプライアンスのために同様に必要なことは、コード化されたビデオシーケンスの複雑さが、ビデオ圧縮技術または標準のレベルによって定義される境界内にあることである。幾つかの場合において、レベルは、最大ピクチャサイズ、最大フレームレート、（例えば、毎秒メガサンプルで測定される）最大再構築サンプルレート、最大参照ピクチャサイズなどを制限する。レベルによって設定される制限は、幾つかの場合において、コード化されたビデオシーケンスで信号送信される仮想参照デコーダ（ＨＲＤ：Hypothetical Reference Decoder）バッファ管理のためのＨＲＤ仕様及びメタデータを通じて更に制限されることができる。

【0080】

図６は、本開示の一実施形態に従ったビデオエンコーダ（６０３）のブロック図を示している。ビデオエンコーダ（６０３）は、ポイントクラウドを圧縮するＶ－ＰＣＣエンコーダ（３００）で使用されることができる。一例において、ビデオ圧縮モジュール（３２２）及び（３２３）、並びにビデオ圧縮モジュール（３３２）は、エンコーダ（６０３）と同様に構成される。

【0081】

ビデオエンコーダ（６０３）は、パディングされたジオメトリ画像、パディングされたテクスチャ画像及び同等のもののような画像を受信し、圧縮された画像を生成することがある。

【0082】

一実施形態によれば、ビデオエンコーダ（６０３）は、ソースビデオシーケンスのピクチャ（画像）を、リアルタイムで或いはアプリケーションによって要求されるような任意の他の時間制約下で、コード化されたビデオシーケンス（圧縮された画像）にコード化して圧縮することがある。適切なコーディング速度を実施することは、コントローラ（６５０）の１つの機能である。幾つかの実施形態において、コントローラ（６５０）は、以下に記載されるように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。カップリング(coupling)は、明確性のために描かれていない。コントローラ（６５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、．．．）、ピクチャサイズ、ピクチャのグループ（ＧＯＰ）レイアウト、最大運動ベクトル検索範囲などを含むことができる。コントローラ（６５０）は、特定のシステム設計のために最適化された、ビデオエンコーダ（６０３）に関連する他の適切な機能を有するように構成されることができる。

【0083】

幾つかの実施形態において、ビデオエンコーダ（６０３）は、コーディングループ内で作動するように構成される。過剰に単純化された記述として、一例において、コーディングループは、（例えば、コード化されるべき入力ピクチャ及び参照ピクチャに基づいて、シンボルストリームのような、シンボルを生成することに関与する）ソースコーダ(source coder)（６３０）と、ビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）とを含むことができる。デコーダ（６３３）は、シンボルを再構築して、（リモート）デコーダが作成するのと類似の方法でサンプルデータを生成する（何故ならば、シンボルとコード化されたビデオビットストリームとの間のあらゆる圧縮は、開示の主題において考慮されるビデオ圧縮技術において無損失であるからである）。再構築されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（６３４）に入力される。シンボルストリームのデコーディングは、デコーダ場所（ローカルまたはリモート）とは無関係にビット正確な結果をもたらすので、参照ピクチャメモリ（６３４）中のコンテンツも、ローカルエンコーダとリモートエンコーダとの間でビット正確である。換言すれば、エンコーダの予測部は、デコーディング中に予測を使用するときにデコーダが「見る」のと全く同じサンプル値を、参照ピクチャサンプルとして「見る」。参照ピクチャ同期性（及び、例えば、チャンネルエラーに起因して同期性を維持できない場合の、結果として生じるドリフト）のこの基本的な原理は、幾つかの関連技術においても同様に使用される。

【0084】

「ローカル」デコーダ（６３３）の動作は、ビデオデコーダ（５１０）のような「リモート」デコーダと同じであることができ、それは既に図５に関連して上記で詳述されている。しかしながら、図５も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（６４５）及びパーサ（５２０）によるコード化されたビデオシーケンスへのシンボルのコーディング／デコーディングは無損失であることができるので、パーサ（５２０）を含むビデオデコーダ（５１０）のエントロピーデコーディング部は、ローカルデコーダ（６３３）において完全に実装されないことがある。

【0085】

この時点で行うことができる観察は、デコーダ内に存在する構文解析／エントロピーデコーディングを除く如何なるデコーダ技術も、対応するエンコーダ内に実質的に同一の機能的形態において存在する必然的に必要であることである。この理由のために、開示の主題は、デコーダ動作に焦点を当てる。エンコーダ技術の記述は、包括的に記述されるデコーダ技術の逆であるので、省略することができる。特定の領域おいてのみ、より詳細な記述が必要とされ、以下に提供される。

【0086】

動作中に、幾つかの例において、ソースコーダ（６３０）は、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の従前にコード化されたピクチャに関して入力ピクチャを予測的にコード化する運動補償された予測的コーディングを実行することがある。このようにして、コーディングエンジン（６３２）は、入力ピクチャのピクセルブロックと入力ピクチャに関する予測参照として選択されることがある参照ピクチャのピクセルブロックとの間の差をコード化する。

【0087】

ローカルビデオデコーダ（６３３）は、ソースコーダ（６３０）によって生成されるシンボルに基づいて、参照ピクチャとして指定されることがあるピクチャのコード化されたビデオデータをデコードすることがある。コーディングエンジン（６３２）の動作は、有利には、損失性プロセスであってよい。コード化されたビデオデータが（図６には示されていない）ビデオデコーダでデコードされることがあるとき、再構築されたビデオシーケンスは、典型的には、幾つかのエラーを伴うソースビデオシーケンスのレプリカであることがある。ローカルビデオデコーダ（６３３）は、参照ピクチャ上でビデオデコーダによって実行されることがあるデコーディング処理を複製し、再構築された参照ピクチャを参照ピクチャキャッシュ（６３４）内に格納させることがある。このようにして、ビデオエンコーダ（６０３）は、共通のコンテンツを（伝送エラーのない）遠端のビデオデコーダによって得られる再構築された参照画像として有する、再構築された参照画像のコピーをローカルに格納することがある。

【0088】

予測器(predictor)（６３５）は、コーディングエンジン（６３２）のために予測検索(prediction searches)を実行することがある。すなわち、コード化されるべき新しい画像について、予測器（６３５）は、新しいピクチャのための適切な予測参照(prediction reference)として役立つことがある、（候補参照ピクセルブロックとしての）サンプルデータ、または参照ピクチャ運動ベクトル、ブロック形状などのような特定のメタデータについて、参照ピクチャメモリ（６３４）を検索することがある。予測器（６３５）は、適切な予測参照を見出すために、サンプルブロック対ピクセルブロックベース(sample block-by-pixel block basis)で作動することがある。幾つかの場合には、予測器（６３５）によって得られる検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に格納された複数の参照ピクチャから引き出された予測参照を有することがある。

【0089】

コントローラ（６５０）は、例えば、ビデオデータをエンコードするために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ（６３０）のコーディング動作を管理することがある。

【0090】

全ての前述の機能ユニットの出力は、エントロピーコーダ（６４５）におけるエントロピーコーディングを受けることがある。エントロピーコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術コードなどのような技術に従って、シンボルを無損失圧縮して圧縮された画像６４３を生成することによって、様々な機能ユニットによって生成されるようなシンボルをコード化されたビデオシーケンスに変換する。

【0091】

コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理することがある。コーディングの間に、コントローラ（６５０）は、各々のコード化されたピクチャに、特定のコード化されたピクチャタイプを割り当てることがあり、それはそれぞれのピクチャに適用されることがあるコーディング技術に影響を及ぼすことがある。例えば、ピクチャは、しばしば、後続のピクチャタイプの１つとして割り当てられることがある。

【0092】

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の如何なる他のピクチャも使用しないでコード化されることがあるもの及びデコードされることがあるものであってよい。幾つかのビデオコーデックは、例えば、独立デコーダリフレッシュ(Independent Decoder Refresh)（「ＩＤＲ」）ピクチャを含む、異なるタイプのイントラピクチャ(intra pictures)を許容する。当業者は、Ｉピクチャのそれらの変形及びそれらのそれぞれの用途及び機能を知っている。

【0093】

予測ピクチャ(predicative picture)（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、最大で１つの運動ベクトル及び参照インデックスを用いるイントラ予測(内部予測)(intra prediction)またはインター予測(相互予測)(inter prediction)を用いてコード化されることがあるもの及びデコードされることがあるものであってよい。

【0094】

双方向予測的ピクチャ(bi-directionally predicative picture)（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、最大で２つの運動ベクトル及び参照インデックスを使用するイントラ予測またはインター予測を使用してコード化されることがあるもの及びデコードされることがあるものであってよい。同様に、複数の予測的ピクチャ(predicative pictures)は、単一のブロックの再構築のために、２つよりも多くの参照ピクチャ及び関連するメタデータを使用することができる。

【0095】

ソース画像は、一般的に、複数のサンプルブロック（例えば、各々が４×４、８×８、４×８、または１６×１６のサンプルのブロック）に空間的に細分化され、ブロック毎ベースでコード化されることがある。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割当てによって決定されるような他の（既にコード化された）ブロックを参照して予測的にコード化されてよい。例えば、Ｉピクチャのブロックは、非予測的に符号化されてよく、或いは同じピクチャの既にコード化されたブロック（空間的予測またはイントラ予測）を参照して予測的にコード化されてよい。Ｐピクチャのピクセルブロックは、従前にコード化された一つの参照ピクチャを参照して空間的予測または時間的予測を介して、予測的にコード化されてよい。Ｂピクチャのブロックは、１つまたは２つの従前にコード化された参照ピクチャを参照して空間的予測を介して或いは時間的予測を介して予測的にコード化されてよい。

【0096】

ビデオエンコーダ（６０３）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ２６５のような、所定のビデオコーディング技術または標準に従ってコーディング動作を実行することがある。その動作において、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用する予測的コーディング動作を含む、様々な圧縮動作を実行することがある。従って、コード化されたビデオデータは、使用されているビデオコーディング技術または標準によって指定された構文に適合することがある。

【0097】

ビデオは、時間シーケンスにおける複数のソースピクチャ(画像)の形態にあることがある。（しばしばイントラ予測と略される）イントラピクチャ予測は、所与のピクチャにおける空間的相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的または他の）相関を利用する。一例では、現在のピクチャと呼ばれるエンコーディング／デコーディングの下の特定のピクチャが、ブロックに区分される。現在のピクチャ内のブロックが、ビデオ内の従前にコード化され且つ依然としてバッファされている参照ピクチャ内の参照ブロックに類似するとき、現在のピクチャ内のブロックは、運動ベクトルと呼ばれるベクトルによってコード化されることができる。運動ベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用中の場合、参照ピクチャを識別する第３の次元を有することができる。

【0098】

幾つかの実施形態では、インターピクチャ予測において二重予測(bi-prediction)技術を使用することができる。二重予測技術によれば、ビデオ内の現在のピクチャへのデコーディング順序で両方とも先行する（しかしながら、表示順序ではそれぞれ過去及び将来であることがある）第１の参照ピクチャ及び第２の参照ピクチャのような、２つの参照ピクチャが使用される。現在のピクチャ内のブロックは、第１の参照ピクチャ内の第１の参照ブロックを指す第１の運動ベクトルと、第２の参照ピクチャ内の第２の参照ブロックを指す第２の運動ベクトルとによって、コード化されることができる。ブロックは、第１の参照ブロックと第２の参照ブロックとの組み合わせによって予測されることができる。

【0099】

更に、コーディング効率を向上させるために、マージモード技法が、インターピクチャ予測において使用されることができる。

【0100】

本開示の幾つかの実施形態によれば、インターピクチャ予測及びイントラピクチャ予測のような予測が、ブロックの単位で実行される。例えば、ＨＥＶＣ標準によれば、ビデオピクチャのシーケンス中の画像が、圧縮のためにコーディングツリー単位（ＣＴＵ：coding tree units）に区分され、ピクチャ内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、または１６×１６ピクセルのような、同じサイズを有する。一般に、ＣＴＵは、１つのルマ(輝度)(luma)ＣＴＢ及び２つのクロマ(彩度)(chroma)ＣＴＢである３つのコーディングツリーブロック（ＣＴＢ：coding tree blocks）を含む。各ＣＴＵは、１つ又は複数のコーディング単位（ＣＵ）に再帰的に４木分割されることができる。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１ＣＵ、３２×３２ピクセルの４ＣＵ、または１６×１６ピクセルの１６ＣＵに分割されることができる。一例において、各ＣＵは、インター予測タイプまたはイントラ予測タイプのような、ＣＵについての予測タイプを決定するために分析される。ＣＵは、時間的及び／又は空間的予測可能性に依存して１つ以上の予測単位（ＰＵ：prediction units）に分割される。一般に、各ＰＵは、１つのルマ予測ブロック（ＰＢ）と、２つのクロマＰＢとを含む。一実施形態において、コーディング（エンコーディング／デコーディング）における予測動作は、予測ブロックの単位で実行される。予測ブロックの一例としてルマ予測ブロックを用いるならば、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセル及び同等のもののような、ピクセルについての値（例えば、ルマ値）の行列を含む。

【0101】

Ｇ－ＰＣＣモデルは、ジオメトリ情報及び色または反射率のような関連する属性を別々に圧縮することができる。ポイントクラウドの３Ｄ座標であるジオメトリ情報は、その占有情報の八分木(オクトリー)分解によってコード化されることができる。他方、属性情報は、異なるレベル間のＬＯＤ（詳細のレベル）データの閉ループ予測を実行するＤＰＣＭのような技術によってエンコードされることができる。ＬＯＤ情報は、デコードされたジオメトリ情報に基づいて、エンコーダ及びデコーダにおいて同一の方法で構築されることができる。基本的には、より多くのＬＯＤが提供されるに応じて、所与のポイントクラウドのより詳細な情報を連続的に得ることができるような方法において、ＬＯＤを構築することができる。属性コーディングのためにサンプルベースの予測が実行されるとき、隣接するサンプルを見つけて重み付き予測を行うために、最も近接するツリーベースの検索を利用することができる。重みは、隣接する各サンプルの幾何学的距離の逆数として計算されることができる。

【0102】

図７は、一実施形態に従ったＧ－ＰＣＣ分解プロセス中に適用されるＧ－ＰＣＣデコーダ（８００）のブロック図を示している。デコーダ（８００）は、圧縮されたビットストリームを受信し、ポイントクラウドデータ解凍を実行して、ビットストリームを解凍して、デコードされたポイントクラウドデータを生成する、ように構成されることができる。一実施形態において、デコーダ（８００）は、算術デコーディングモジュール（８１０）と、逆量子化モジュール（８２０）と、八分木デコーディングモジュール（８３０）と、ＬＯＤ生成モジュール（８４０）と、逆量子化モジュール（８５０）と、及び逆補間ベースの予測モジュール（８６０）とを含むことができる。

【0103】

図示のように、圧縮されたビットストリーム（８０１）は、算術デコーディングモジュール（８１０）で受信されることができる。算術デコーディングモジュール（８１０）は、圧縮されたビットストリーム（８０１）をデコードして、ポイントクラウドの量子化された予測残差（もし存在するならば）及び占有コード（又はシンボル）を得る、ように構成される。八分木デコーディングモジュール（８３０）は、占有コードに従ってポイントクラウド内のポイントの量子化された位置を生成するように構成される。逆量子化モジュール（８５０）は、八分木デコーディングモジュール（８３０）によって提供される量子化された位置に基づいて、ポイントクラウド内のポイントの再構築された位置を生成するように構成される。

【0104】

ＬＯＤ生成モジュール（８４０）は、再構築された位置に基づいてポイントを異なるＬＯＤに再編成して、ＬＯＤに基づく順序を決定するように構成される。逆量子化モジュール（８２０）は、算術デコーディングモジュール（８１０）から受信する量子化された予測残差(prediction residuals)に基づいて、再構築された予測残差を生成するように構成される。逆補間ベースの予測モジュール（８６０）は、逆量子化モジュール（８２０）から受信する再構築された予測残差及びＬＯＤ生成モジュール（８４０）から受信するＬＯＤベースの順序に基づいて、ポイントクラウド内のポイントの再構築された属性を生成するための属性予測プロセスを実行するように構成される。

【0105】

更に、逆補間ベースの予測モジュール（８６０）から生成された再構築された属性は、逆量子化モジュール（８５０）から生成された再構築された位置と共に、一例において、デコーダ（８００）から出力される、デコードされたポイントクラウド（または再構築されたポイントクラウド）（８０２）に対応する。

【0106】

図８は、一実施形態に従ったＧ－ＰＰＣエンコーダ（７００）のブロック図を示している。エンコーダ（７００）は、ポイントクラウドデータを受信して、ポイントクラウドデータを圧縮して、圧縮されたポイントクラウドデータを運ぶビットストリームを生成するように構成されることができる。一実施形態において、エンコーダ（７００）は、位置量子化モジュール(position quantization module)（７１０）と、重複ポイント除去モジュール(duplicated points removal module)（７１２）と、八本木エンコーディングモジュール(octree encoding module)（７３０）と、属性転送モジュール(attribute transfer module)（７２０）と、詳細のレベル(level of detail)（ＬＯＤ）生成モジュール(generation module)（７４０）と、補間ベースの予測モジュール(interpolation-based prediction module)（７５０）と、残差量子化モジュール(residual quantization module)（７６０）と、算術コーディングモジュール(arithmetic coding module)（７７０）とを含むことができる。

【0107】

図示のように、入力ポイントクラウド（７０１）は、エンコーダ（７００）で受信されることができる。ポイントクラウド（７０１）の位置（例えば、３Ｄ座標）は、量子化モジュール（７１０）に提供される。量子化モジュール（７１０）は、量子化された位置を生成するために、座標を量子化するように構成される。重複ポイント除去モジュール（７１２）は、量子化された位置を受信し、フィルタ処理を実行して、重複したポイントを識別して除去するように構成される。八本木エンコーディングモジュール（７３０）は、重複ポイント除去モジュール（７１２）からフィルタリングされた位置を受信して、八本木ベースのエンコーディングプロセスを実行して、３Ｄグリッドのボクセルを記述する占有コード（又はシンボル）のシーケンスを生成するように構成される。占有コードは、算術コーディングモジュール（７７０）に提供される。

【0108】

属性転送モジュール（７２０）は、入力ポイントクラウドの属性を受信して、複数の属性値がそれぞれのボクセルに関連するときに、各ボクセルについての属性値を決定するための属性転送プロセスを実行するように構成される。属性転送プロセスは、八分木エンコーディングモジュール（７３０）から出力される再順序付けられたポイントに対して実行されることができる。転送動作後の属性は、補間ベースの予測モジュール（７５０）に提供される。ＬＯＤ生成モジュール（７４０）は、八本木エンコーディング（７３０）から出力される再順序付けられたポイントに対して作動して、ポイントを異なるＬＯＤに再編成するように構成される。ＬＯＤ情報は、補間ベースの予測モジュール（７５０）に供給される。

【0109】

補間ベースの予測モジュール（７５０）は、ＬＯＤ生成モジュール（７４０）からのＬＯＤ情報と属性転送モジュール（７２０）から受信する転送された属性とによって示されるＬＯＤベースの順序に従ってポイントを処理し、予測残差を生成する。残差量子化モジュール（７６０）は、補間ベースの予測モジュール（７５０）から予測残差を受信して、量子化を実行して、量子化された予測残差を生成するように構成される。量子化された予測残差は、算術コーディングモジュール（７７０）に提供される。算術コーディングモジュール（７７０）は、八本木エンコーディングモジュール（７３０）からの占有コード、（使用されるならば）候補インデックス、補間ベースの予測モジュール（７５０）からの量子化された予測残差、及び他の情報を受信して、エントロピーエンコーディングを実行して、受信した値または情報を更に圧縮するように構成される。その結果、圧縮された情報を運ぶ圧縮ビットストリーム（７０２）を生成することができる。ビットストリーム（７０２）は、圧縮されたビットストリームをデコードするデコーダに伝送されてよく、或いは他の方法で提供されてよく、或いは記憶デバイスに格納されてよい。

【0110】

本明細書に開示する属性予測技法を実装するように構成される補間ベースの予測モジュール（７５０）及び逆補間ベースの予測モジュール（８６０）は、図７及び図８に示されるものと類似の又は異なる構造を有することがある他のデコーダ又はエンコーダに含まれ得ることに留意のこと。加えて、エンコーダ（７００）及びデコーダ（８００）は、様々な例において同じデバイスまたは別個のデバイスに含まれ得る。

【0111】

様々な実施形態において、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）及び／又はデコーダ（８００）は、ハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実装されることができる。例えば、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）及び／又はデコーダ（８００）は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及び同等物のような、ソフトウェアを用いて或いは用いないで作動する１つ以上の集積回路（ＩＣ）のような処理回路構成を用いて実装されることができる。別の例において、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）及び／又はデコーダ（８００）は、不揮発性（または非一時的）コンピュータ可読記憶媒体に格納された命令を含むソフトウェアまたはファームウェアとして実装されることができる。命令は、１つ以上のプロセッサのような処理回路構成によって実行されるときに、処理回路構成に、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）及び／又はデコーダ（８００）の機能を実行させる。

【0112】

予測変換に基づく現在のＧ－ＰＣＣ属性コーディングでは、各３ＤポイントのＬＯＤ（詳細のレベル）は、各ポイントの距離に基づいて生成されることができる。各ＬＯＤにおける３Ｄポイントの属性値は、ＬＯＤベースの順序で予測を適用することによってエンコードされることができる。図９は、Ｇ－ＰＣＣにおけるＬＯＤ生成プロセス９００を示している。図９に示すように、ポイントＰ０、Ｐ５、Ｐ４及びＰ２は、ＬＯＤ０にあることができる。ポイントＰ１、Ｐ６及びＰ３は、ＬＯＤ１にあることができる。Ｐ９、Ｐ８及びＰ７は、ＬＯＤ２にあることができる。Ｐ２の属性値は、Ｐ２の前にエンコードまたはデコードされるＰ０、Ｐ５及びＰ４の距離ベースの重み付き平均値を計算することによって予測されることができる。

【0113】

現在のＧ－ＰＣＣ属性コーディングにおいて、実施形態では、現在のポイント（例えば、Ｐ２）の近傍の可変性(variability)を計算して、隣接値がどのように異なるか及び可変性が閾値よりも低いかどうかを確認することができる。閾値が閾値より低いならば、距離ベースの重み付き平均予測を以下のように行うことができる。

【0114】

属性値

は、現在のポイントｉの最も近い隣接物(nearest neighbors)の距離に基づいた線形補間プロセスを使用することによって予測されることができる。

を現在のポイントｉのｋ個の最も近い隣接物のセットとし、

をｋ個の最も近い隣接物のデコードされた／再構築された属性値とし、

を現在のポイントｉまでのｋ個の最も近い隣接物の距離とする。現在のポイントｉについての予測される属性値

以下の（１）によって与えられる。

【数1】

【0115】

属性がコード化されるとき、全てのポイントクラウドの幾何学的場所が利用可能であり得ることが留意されるべきである。加えて、隣接するポイントは、隣接するポイントの再構築された属性値と共に、エンコーダ及びデコーダの両方で利用可能であることができ、その場合には、ＫＤ－Ｔｒｅｅ構造を使用して、各ポイントについての最も近い隣接物の検索を同一の方法で容易にすることができる。

【0116】

別の実施形態では、可変性が閾値よりも高いならば、レート歪み最適化された予測子(predictor)選択を行うことができる。ＬＯＤを生成する際の隣接ポイント検索の結果に基づいて複数の予測子候補を作成することができる。例えば、Ｐ２の属性値が予測を使用してエンコードされるとき、Ｐ０、Ｐ５及びＰ４の距離ベースの重み付き平均値は、０に等しい予測子インデックスに設定されることができる。次に、最も近い隣接ポイントＰ４の値は、１に等しい予測子インデックスに設定されることができる。その上、次に最も近い隣接ポイントＰ５及びＰ０の値は、それぞれ、２及び３に等しい予測子インデックスに設定されることができ、それらは表１に示されることができる。予測子候補を作成した後に、レート歪み最適化手順を適用することによって最良の予測子を選択し、次に、選択した予測子インデックスを算術的にエンコードすることができる。

【表1】

【0117】

（ＭａｘＮｕｍＣａｎｄとも呼ぶ）予測子候補の最大数を定義し、属性ヘッダに更にエンコードすることができる。現在のＧ－ＰＣＣ属性コーディングにおいて、ＭａｘＮｕｍＣａｎｄは、予測における隣接物の数に１を加えたもの（例えば、ｎｕｍｂｅｒＯｆＮｅａｒｅｓｔＮｅｉｇｈｔＮｅｉｇｈｂｏｒｓＩｎＰｒｅｄｉｃｔｉｏｎ＋１）に等しく設定されることができ、切頭単項２進化(truncated unary binarization)を持つ予測子インデックスをエンコード及びデコードする際に更に使用されることができる。

【0118】

リフティング変換に基づくＧ－ＰＣＣにおける現在の属性コーディングにおいて、リフティング変換は、上述の予測変換の上に構築されることができる。予測スキーム（または予測変換）とリフティングスキーム（またはリフティング変換）との間の主な違いは、更新演算子(update operator)の導入である。

【0119】

図９は、Ｇ－ＰＣＣにおけるＰ／Ｕ（予測／更新）－リフティングの例示的なアーキテクチャを示している。リフティング変換における予測及び更新ステップを容易にするために、入力属性信号が、分解の各段階で２つのセットの高相関信号に分割することができる。Ｇ－ＰＣＣにおけるリフティングスキームでは、高相関がレベル間で期待され、各レベルが不均一なポイントクラウドを構造化されたデータに組織化する最も近い隣接物検索によって構成される、上述のＬＯＤ構造を利用することによって、分割を行うことができる。更に、各レベル（例えば、Ｎ）におけるＰ／Ｕ分解ステップは、詳細信号（例えば、Ｄ（Ｎ－１））及び近似信号（例えば、Ａ（Ｎ－１））をもたらし得る。図９に示すように、例えば、ＬＯＤ（Ｎ）、ＬＯＤ（Ｎ－１）．．．ＬＯＤ（１）を含む入力属性信号は、ＬＯＤ（Ｎ）及びＬＯＤ （Ｎ－１）．．．ＬＯＤ（１）に分割されることができる。偶数のサンプルセットであるＬＯＤ（Ｎ－１）．．．ＬＯＤ（１）は、ＬＯＤ（Ｎ）についての予測子として使用されることができる。ＬＯＤ（Ｎ）は、奇数サンプルセットであってよい。次に、差分信号（または詳細信号）Ｄ（Ｎ－１）は、ＬＯＤ（Ｎ）とＬＯＤ（Ｎ）予測子との間の差に基づいて生成されることができる。差分信号Ｄ（Ｎ－１）は、ハイパス信号であってよい。更に、ローパス信号（または近似信号）Ａ（Ｎ－１）が、ＬＯＤ（Ｎ－１）．．．ＬＯＤ（１）の近似信号として、更新ステップの後に生成されることができる。

【0120】

詳細信号Ｄ（Ｎ－１）及び近似信号Ａ（Ｎ－１）は、Ｄ（Ｎ－２）及びＡ（Ｎ－２）に更に分解されることができる。分割ステップは、ベース層近似信号Ａ（１）が得られるまで、繰り返し適用されることができる。

【0121】

結果的に、ＬＯＤ（Ｎ），．．．，及びＬＯＤ（１）を含み得る入力属性信号自体をコード化する代わりに、リフトスキームは、Ｄ（Ｎ－１）、Ｄ（Ｎ－２），．．．，Ｄ（１）、Ａ（１）をコード化することができる。効率的なＰ／Ｕステップの適用は、しばしば、Ｄ（Ｎ－１），．．．，Ｄ（１）におけるスパースなサブバンド「係数」をもたらし得ることが留意されるべきである。従って、効率的なＰ／Ｕステップの適用は、変換コーディング利得利点を提供することができる。

【0122】

Ｇ－ＰＣＣにおける現在の属性コーディングでは、予測変換で上述した距離ベースの重み付き平均予測のみがリフティング変換中の予測ステップにおいて適用されることが留意されるべきである。

【0123】

色のようなポイントクラウド属性のために、有意な冗長性がチャネル間に存在し得る。コーディング効率を改善するために、前処理／後処理ステップとして色空間変換を行うことができる。そのような変換後でも、有意な相関が変換された色空間内のチャネル間に依然として存在し得る。しかしながら、ＲＧＢドメイン予測又は残差予測とは異なり、ＹＣｂＣｒ空間対応物は、通常、一次線形関係を採用する。色空間変換は、スケーリング及びオフセットパラメータの推定及び／又は信号伝達(シグナリング)を必要とし得る。ＲＧＢからＹＵＶへの変換の一例において、対応するルマ残差からのクロマ残差の予測は、等式（２）及び（３）によって以下のように提供されることができる。

【数2】

【数3】

ここで、Ｙは、ルマの予測残差を指し、Ｕ及びＶは、クロマの予測残差を指す。

【0124】

本開示では、ポイントクラウド属性の結合クロマチャネルコーディングのための方法が提供される。本開示において提供される方法は、例えば、チャネル間の相関除去(非相関)(decorrelation)をクロマ信号間にのみ制限する関連例と比較して、パラメータ推定及びコーディングのオーバーヘッドなしに、圧縮効率のためのチャネル間の相関除去を効率的に実行することができる。本明細書に提供される方法は、上記のＧ－ＰＣＣにおける変換及びリフティング変換を予測することに関する。方法は、ポイントクラウドのために設計された類似のコーデックに適用されることができる。

【0125】

マルチチャネル信号を相関除去するために、予測器(predicator)を適用することができる。本開示において、予測器は、チャネルの残差信号を予測するために適用されることができるので、元の残差信号の代わりに二次残差信号が量子化されることができ、エントロピーコード化されることができる。本開示は、Ｃｂ及びＣｒクロマチャネルの予測残差を相関させることができるという観察に基づく実施形態を含む。

【0126】

本開示の実施形態は、Ｇ－ＰＣＣにおける変換及びリフティング変換の両方の予測に適用されることができる。詳細なサブバンド係数（例えば、Ｄ（Ｎ－１））は、リフティング変換の予測ステップからの出力であるので、詳細なサブバンド係数は、本質的に、予測残差信号であり、同一の予測戦略を与えられた異なるカラーチャネル間で類似することができる。

【0127】

本開示において、Ｒｅｓ_Ｃｂ及びＲｅｓ_Ｃｒは、それぞれ、（クロマ予測残差情報のＣｂ成分及びＣｒ成分とも呼ぶ）Ｃｂ成分及びＣｒ成分の予測残差信号を示すことができる。予測残差信号の１つ及び予測残差信号の組み合わせは、予測残差シンボル間の相関に基づいてコード化されることができる。一実施形態において、２つの残差信号（例えば、Ｃｂ予測残差信号及びＣｒ予測残差信号）が正に相関されるときには、Ｒｅｓ_Ｃｂ及びＲｅｓ_Ｃｒの代わりにＲｅｓＣｂ及びＲｅｓ_Ｃｂ－Ｒｅｓ_Ｃｒがコード化されることができる（例えば、エントロピーコーディングが後続する量子化）。別の実施形態において、２つの残差信号が負に相関されるときには、Ｒｅｓ_Ｃｂ及びＲｅｓ_Ｃｒの代わりにＲｅｓＣｂ及びＲｅｓ_Ｃｂ＋Ｒｅｓ_Ｃｒがコード化されることができる。更に別の実施形態において、２つの残差信号が負にも正にも相関されないときには、Ｒｅｓ_Ｃｂ及びＲｅｓ_Ｃｒは、通常にコード化されることができる。

【0128】

クロマ予測残差情報のＣｂ成分及びとＣｒ成分の相関のタイプを決定するために、２つのクロマチャネル予測残差（例えば、Ｃｂ成分及びＣｒ成分）の計算された信号相関の閾値テストを行うことができる。一実施形態において、２つのクロマ残差成分（例えば、Ｃｂ成分及びＣｒ成分）間の相関の符号(sign)（またはタイプ）は、エンコーダ及びデコーダの両方で利用可能なフレーム（またはビデオ、タイル、またはスライスのような他のコード化されたユニット）の再構築されたまたは非量子化された残差サンプル（例えば、同じポイントクラウド内のポイント）を使用することによって導き出されることができる。一実施形態において、２つのクロマ残差成分間の相関の符号は、エンコーダでのみフレーム（またはビデオ、タイル、またはスライスのような他のユニット）の再構築されたまたは非量子化された残差サンプルを使用することによって導き出されることができ、相関の導き出された符号は、ビットストリームにおいてデコーダに更に信号伝達されることができる。別の実施形態において、２つのクロマ残差成分間の相関の符号は、エンコーダ及びデコーダの両方で従前のＬＯＤからの再構築または非量子化された残差サンプルを使用することによって導き出されることができる。別の実施形態において、２つのクロマ残差成分間の相関の符号は、エンコーダでのみ従前のＬＯＤからの再構築または非量子化された残差サンプルを使用することによって導き出されることができ、相関の導き出された符号は、ビットストリームにおいてデコーダに更に信号伝達されることができる。

【0129】

別の実施形態において、２つのクロマ残差成分間の相関の符号は、エンコーダで現在のポイントクラウドピクセル（またはポイントクラウド内の現在のポイント）が属するＬＯＤの非量子化された残差サンプルを使用することによって導き出されることができ、相関の導き出された符号は、ビットストリームにおいてデコーダに更に信号伝達されることができる。別の実施形態において、２つのクロマ残差成分間の相関の符号は、エンコーダ及びデコーダの両方での現在のポイントのＮ個の最も近いサンプルからの再構築されたまたは非量子化された残差サンプルを使用することによって導き出されることができ、ここで、Ｎは、ＧＰＣＣテストモデル設計におけるＬＯＤ生成及び最も近い隣接物検索の結果として得られる予測サンプルの数であることができる。本開示の例示的な実施形態において、Ｎは、３または４に設定されることができる。

【0130】

閾値テストで使用される閾値は、信号特性とコーディング条件に依存して適応的に調整されることができる。閾値は、ビットストリームにおいて信号伝達されることができる。一実施形態において、閾値は、正のピクセル毎の相関を有する上述のＬＯＤ内のピクセルの数のパーセンテージとして設定されることができる。従って、閾値を適用して、上記残差のコーディングプロセスにおける符号の相関が正であることを決定することができる。同様に、閾値は、負の画素毎の相関を有する上述のＬＯＤ内のピクセルの数のパーセンテージとして設定されることができる。従って、閾値を適用して、上記残差のコーディングプロセスにおける符号の相関が負であることを決定することができる。

【0131】

一実施形態では、残差コーディングが有効にされているか或いは使用されるべきかを示すために、グローバル許可信号(global enabling signal)をビットストリームにおいて送信することができる。グローバル許可信号は、ビデオ、フレーム、タイル、またはスライスのような、コーディングの単位で適用されることができる。

【0132】

残差コーディングが使用されるべきであることをグローバル許可信号が示すときには、第１のバイナリフラグを送信して、相関が第１のクロマ信号と第２のクロマ信号との間に存在するか否かを示すことができる。第１のバイナリフラグが真（または第１の値、または１）であるように設定されるならば、第２のバイナリフラグを送信して、相関が正または負であることを示すことができる。第１及び第２のバイナリフラグは、例えば、Ｇ－ＰＣＣ内の各ＬＯＤに送信されることができる。上述の閾値テストは、相関の符号（例えば、正の相関または負の相関）を決定するために依然として適用されることができる。

【0133】

残差コーディング方法の例示的な実施形態は、以下のように第１のＣのような擬似コードで例示されることができる。

【数4】

ここで、ｉｎｔｅｒ＿ｃｒｏｍａ＿ｐｒｅｄｉａｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、グローバル許可フラグ(global enabling flag)であることができ、デコード（ＳｉｇｎＮｏｎｚｅｒｏ）は、第1のバイナリフラグであることができる。第１のバイナリフラグ（例えば、デコード（ＳｉｇｎＮｏｎｚｅｒｏ））は、手元の各ＬＯＤについて、第１のビット信号を提供して、相関が存在するかどうかを示すことができる。第１のバイナリフラグ（例えば、ｄｅｃｏｄｅ（ＳｉｇｎＮｏｎｚｅｒｏ））が１（または第１の値）であるならば、第２のバイナリフラグ（例えば、ｄｅｃｏｄｅ（Ｓｉｇｎ））は、第２のビット信号を提供して、相関の符号を実際に決定することができる。例えば、上記の第１のＣのような擬似コードに示されるように、第２のバイナリフラグが１（または第１の値）であるとき、相関の符号は－１（または負）である。第２のバイナリフラグがゼロ（または第２の値）であるとき、相関の符号は１（または正）である。更に、第１のバイナリフラグ（例えば、デコード（ＳｉｇｎＮｏｎｚｅｒｏ））がゼロ（または第２の値）であるならば、相関のタイプはゼロであり、それは第１のクロマ信号と第２のクロマ信号との間に相関が存在しないことを意味する。各ポイントｉについての相関の符号は、配列ＳａｖｅＳｉｇｎ［］に格納されることができる。

【0134】

更に、残差再構築プロセスは、以下のように第２のＣのような擬似コードにおいて提供されることができる。

【数5】

ここで、ｒｅｓｃｒｕｃｔｅｄＣｏｌｏｒ［１］及びｒｅｓｃｒｕｃｔｅｄＣｏｌｏｒ［２］は、それぞれ、第１及び第２のクロマ信号（または属性値）であることができ、ｄｅｑｕａｎｔｉｚｅ（）は、再構築されたサンプルを出力するための逆量子化プロセスであることができる。第２のＣのような疑似コードに示されるように、第１のクロマ信号（例えば、ｒｅｃｏｎｓｒｕｃｔｅｄＣｏｌｏｒ［１］）は、第１のクロマ予測残差情報（例えば、ＣｏｌｏｒＱｕａｎｔｉｚａｔｉｏｎＩｎｄｅｘ［１］）に対する第１の逆量子化プロセスに基づいて再構築されることができる。グローバル許可フラグ（例えば、ｉｎｔｅｒ＿ｃｒｏｍａ＿ｐｒｅｄｉｃｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が１であるとき、第２のクロマ信号（例えば、ｒｅｃｏｎｓｔｒｕｃｔｅｄＣｏｌｏｒ［２］）は、第１の部分及び第２の部分に等しくあることができる。第１の部分は、第２のクロマ予測残差情報（例えば、ｄｅｑｕａｎｔｉｚｅ（ＣｏｌｏｒＱｕａｎｔｉｚａｔｉｏｎＩｎｄｅｘ［２］））に対して第２の逆量子化プロセスを実行することによって得られることができ、第２の部分は、再構築された第１のクロマ情報（例えば、ｒｅｃｏｎｓｒｕｃｔｅｄＣｏｌｏｒ［１］）と、第１のクロマ予測残差情報及び第２のクロマ予測残差情報の相関のタイプ（例えば、ＳａｖｅＳｉｇｎ［ｌｏｄ＿ｃｏｕｎｔｅｒ］）とを乗じることによって得られることができる。加えて、ローバル許可フラグ（例えば、ｉｎｔｅｒ＿ｃｈｒｏｍａ＿ｐｒｅｄｉｃｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）がゼロ（または第２の値）であるとき、第２のクロマ情報（例えば、ｒｅｃｏｎｃｕｃｔｅｄＣｏｌｏｒ［２］）は、第２のクロマ予測残差情報（例えば、ｄｅｑｕａｎｔｉｚｅ（ＣｏｌｏｒＱｕａｎｔｉｚａｔｉｏｎＩｎｄｅｘ［２］））に対して第２の逆量子化プロセスを実行することによって再構築されることができる。

【0135】

ＳａｖｅＳｉｇｎ［ｌｏｄ＿ｃｏｕｎｔｅｒ］は、サンプル再構築中に（ｌｏｄ＿ｃｏｕｎｔ－１）－ｔｈ ＬＯＤ（例えば、ＬＯＤ（Ｎ－１））について決定される符号相関を反映するために適用されることができることが留意されなければならない。

【0136】

幾つかの実施形態において、上述の方法は、２つのチャネルがゼロオフセットと１次の関係で相関される他のマルチチャネル信号に適用されることができる。

【0137】

上記技術は、ポイントクラウド圧縮／解凍に適合したビデオエンコーダまたはデコーダで実装されることができる。エンコーダ／デコーダは、ハードウェア、ソフトウェア、またはそれらの任意の組み合わせで実装されることができ、ソフトウェアは、もし存在するならば、１つ以上の非一時的コンピュータ可読媒体に格納されることができる。例えば、方法（または実施形態）、エンコーダ、及びデコーダの各々は、処理回路構成（例えば、１つ以上のプロセッサまたは１つ以上の集積回路）によって実装されてよい。一例において、１つ以上のプロセッサは、非一時的コンピュータ可読媒体に格納されるプログラムを実行する。

【0138】

図１１及び図１２は、本開示の実施形態に従ったプロセス（１１００）及びプロセス（１２００）を概略するフローチャートを示している。プロセス（１１００）及び（１２００）は、ポイントクラウドのためのデコーディングプロセス中に使用されることができる。様々な実施形態においてプロセス（１１００）及び（１２００）は、端末デバイス（１１０）内の処理回路構成、エンコーダ（２０３）及び／又はデコーダ（２０１）の機能を実行する処理回路構成、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）及び／又はデコーダ（８００）の機能を実行する処理回路構成、及び同等物のような、処理回路構成によって実行されることができる。幾つかの実施形態において、プロセス（１１００）及び（１２００）は、ソフトウェア命令で実装されることができ、よって、処理回路構成がソフトウェア命令を実行するときに、処理回路クオ製は、それぞれ、プロセス（１１００）及び（１２００）を実行する。

【0139】

図１１に示すように、プロセス（１１００）は（Ｓ１１０１）で開始し、（Ｓ１１１０）に進む。

【0140】

（Ｓ１１１０）で、ポイントのセットを含むポイントクラウドのためのコード化されたビットストリームからポイントのセット内のポイントのクロマ予測残差情報を受信することができる。クロマ予測残差情報は、Ｃｂ成分及びＣｒ成分を含むことができる。

【0141】

（Ｓ１１２０）で、処理回路構成によって並びにポイントクラウドのためにコード化されたビットストリームから、クロマ予測残差情報のＣｂ成分及びＣｒ成分の相関のタイプを決定することができる。

【0142】

（Ｓ１１３０）で、クロマ予測残差情報のＣｂ成分及びＣｒ成分の相関のタイプに基づいてクロマ予測残差情報をデコードすることができる。

【0143】

一例では、クロマ予測残差情報をデコードするために、Ｃｂ成分及びＣｒ成分の相関のタイプが正であることに基づいて、クロマ予測残差情報のＣｂ成分及びクロマ予測残差情報のＣｂ成分からＣｒ成分を引いたものをデコードすることができる。

【0144】

別の例では、クロマ予測残差情報をデコードするために、Ｃｂ成分及びＣｒ成分の相関のタイプが負であることに基づいて、クロマ予測残差情報のＣｂ成分及びクロマ予測残差情報のＣｂ成分にＣｒ成分を加えたものをデコードすることができる。

【0145】

更に別の例では、クロマ予測残差情報をデコードするために、Ｃｂ成分とＣｒ成分との間に指示された相関がないことに基づいて、クロマ予測残差情報のＣｂ成分及びクロマ予測残差情報のＣｒ成分をデコードすることができる。

【0146】

幾つかの実施形態において、クロマ予測残差情報のＣｂ成分及びＣｒ成分の相関のタイプは、コード化された領域のうちの１つからの残差ポイントの第１の数、従前の詳細のレベル（ＬＯＤ）、及び正に相関されているポイントのＮ個の最も近い隣接ポイントに基づいて、正であると決定されることができる。幾つかの実施形態において、クロマ予測残差情報のＣｂ成分及びＣｒ成分の相関のタイプは、コード化された領域のうちの１つからの残差ポイントの第２の数、従前のＬＯＤ、及び負に相関されているポイントのＮ個の最も近い隣接ポイントに基づいて、負であると決定されることができる。

【0147】

幾つかの実施形態において、コード化された領域は、フレーム、ビデオシーケンス、ピクチャのグループ（ＧＯＰ）、ピクチャ、スライス、またはタイルのうちの少なくとも１つを含むことができる。

【0148】

幾つかの実施形態において、Ｎは、３または４に等しい正の整数であることができる。

【0149】

プロセス（１１００）において、コード化されたビットストリームは、クロマ予測残差情報のＣｂ成分及びＣｒ成分の相関のタイプを示す信号伝達情報を更に含むことができる。一例において、信号伝達情報は、コード化された領域のうちの１つからの残差ポイントの第１の数、従前の詳細のレベル（ＬＯＤ）、ポイントが属するＬＯＤ、または正に相関されているポイントのＮ個の最も近い隣接ポイントに基づいて、クロマ予測残差情報のＣｂ成分及びＣｒ成分の相関のタイプが正であることを示すことができる。別の例において、信号伝達情報は、コード化された領域のうちの１つからの残差ポイントの第２の数、従前のＬＯＤ、ポイントが属するＬＯＤ、または負に相関されているポイントのＮ個の最も近い隣接ポイントに基づいて、クロマ予測残差情報のＣｂ成分及びＣｒ成分の相関のタイプが正であることを示すことができる。

【0150】

図１２に示すように、プロセス（１２００）は（Ｓ１２０１）で開始し、（Ｓ１２１０）に進む。

【0151】

（Ｓ１２１０）で、ポイントのセットを含むポイントクラウドのためのコード化されたビットストリームから第１の信号伝達情報を受信することができる。第１の信号伝達情報は、ポイントのセット内のポイントの第１のクロマ予測残差情報及び第２のクロマ予測残差情報が第１のクロマ予測残差情報及び第２のクロマ予測残差情報の相関のタイプに基づいてデコードされることを示すことができる。コード化されたビットストリームは、第１のクロマ予測残差情報及び第２のクロマ予測残差情報を含むことができる。

【0152】

（Ｓ１２２０）で、第１の信号伝達情報に基づいて第１のクロマ予測残差情報と第２のクロマ予測残差情報との間の相関のタイプを決定することができる。

【0153】

（Ｓ１２３０）で、第１のクロマ予測残差情報、第２のクロマ予測残差情報、及び第１のクロマ予測残差情報と第２のクロマ予測残差情報と間の相関のタイプに基づいて、第１のクロマ情報及び第２のクロマ情報を再構築することができる。

【0154】

幾つかの実施形態において、第２の信号伝達情報は、第１の信号伝達情報が第１の値であることに基づいて決定されることができる。第２の信号伝達情報は、第１のクロマ予測残差情報と第２のクロマ予測残差情報との間の相関のタイプが第３の信号伝達情報によって決定されることを示すことができる。第３の信号伝達情報は、信号伝達情報が第１の値であることに基づいて決定されることができる。第１のクロマ予測残差情報と第２のクロマ予測残差情報との間の相関のタイプは、第３の信号伝達情報に基づいて決定されることができる。

【0155】

一例において、第１のクロマ予測残差情報と第２のクロマ予測残差情報との間の相関のタイプは、第３の信号伝達情報が第１の値であることに基づいて負であると決定されることができる。別の例において、第１のクロマ予測残差情報と第２のクロマ予測残差情報との間の相関のタイプは、第３の信号伝達情報が第２の値であることに基づいて正であると決定されることができる。

【0156】

プロセス（１２００）において、第１のクロマ情報は、第１のクロマ予測残差情報に対して第１の逆量子化プロセスを実行することによって再構築されることができる。加えて、第１の信号伝達情報が第１の値であることに応答して、第１の部分と第２の部分とを含む第２のクロマ情報が再構築されることができる。第１の部分は、第２のクロマ予測残差情報に対して第２の逆量子化プロセスを実行することによって得られることができ、第２の部分は、再構築された第１のクロマ情報と、第１のクロマ予測残差情報及び第２のクロマ予測残差情報の相関のタイプとを乗じることによって得られることができる。

【0157】

幾つかの実施形態において、第１のクロマ情報は、第１のクロマ予測残差情報に対して第１の逆量子化プロセスを実行することによって再構築されることができる。第１の信号伝達情報が第２の値であることに応答して、第２のクロマ情報は、第２のクロマ予測残差情報に対して第２の逆量子化プロセスを実行することによって再構築されることができる。

【0158】

幾つかの実施形態において、第１のクロマ予測残差情報及び第２のクロマ予測残差情報は、ゼロオフセットとの一次の関係において相関されることができる。

【0159】

上述のように、上述の技術は、コンピュータ可読命令を用いてコンピュータソフトウェアとして実装されることができ、１つ以上のコンピュータ可読媒体に物理的に格納されることができる。例えば、図１３は、開示の主題の特定の実施形態を実装するのに適したコンピュータシステム（１８００）を示している。

【0160】

コンピュータソフトウェアは、１つ以上のコンピュータ中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）及び同等物によって、直接的に、または解釈、マイクロコード実行及び同等のことを通じて実行され得る命令を含むコードを作成する、アセンブリ、コンパイル、リンクまたは同等のメカニズムに従うことがある、任意の適切な機械コードまたはコンピュータ言語を使用してコード化されることができる。

【0161】

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイス及び同等物を含む、様々なタイプのコンピュータまたはそれらのコンポーネント上で実行されることができる。

【0162】

コンピュータシステム（１８００）について図１３に示すコンポーネントは、本質的に例示的であり、本開示の実施形態を実装するコンピュータソフトウェアの使用または機能性の範囲についての如何なる限定も示唆することを意図しない。コンポーネントの構成は、コンピュータシステム（１８００）の例示的な実施形態に例示されるコンポーネントの任意の１つまたは組み合わせに関する如何なる従属性または要件も有するものとして解釈されてはならない。

【0163】

コンピュータシステム（１８００）は、特定のヒューマンインターフェース入力デバイスを含んでよい。そのようなヒューマンインターフェース入力デバイスは、例えば、（キーストローク、スワイプ、データグローブの動きのような）触覚入力、（音声、拍手のような）音声入力、（ジェスチャのような）視覚入力、嗅覚入力（図示せず）を通じて、１人以上の人間ユーザによる入力に応答することがある。また、ヒューマンインターフェースデバイスは、（発話、音楽、周囲音のような）オーディオ、（スキャンされた画像、静止画像カメラから得られる写真画像のような）画像、（二次元ビデオ、立体視ビデオを含む三次元ビデオのような）ビデオのような、人間による意識的入力に必ずしも直接的に関係しない特定の媒体をキャプチャするために使用されることもできる。

【0164】

入力ヒューマンインターフェースデバイスは、（各々の１つのみが描かれている）キーボード（１８０１）、マウス（１８０２）、トラックパッド（１８０３）、タッチスクリーン（１８１０）、データグローブ（図示せず）、ジョイスティック（１８０５）、マイクロホン（１８０６）、スキャナ（１８０７）、カメラ（１８０８）のうちの１つ以上を含んでもよい。

【0165】

コンピュータシステム（１８００）は、特定のヒューマンインターフェース出力デバイスを含んでもよい。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、及び臭い／味を通じて、１人以上の人間ユーザの感覚を刺激することがある。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１８１０）、データグローブ（図示せず）又はジョイスティック（１８０５）による触覚フィードバック、しかしながら、入力デバイスとして機能しないフィードバックデバイスもあり得る）、（スピーカ（１８０９）、ヘッドフォン（図示せず）のような）オーディオ出力デバイス、各々がタッチスクリーン入力能力を有する或いは有さない、各々が触覚フィードバック能力を有する或いは有さない、それらのうちの幾つかは、立体図法出力のような手段を通じて二次元視覚出力または３次元よりも多くの次元の視覚出力を出力することができる、（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含む、スクリーン（１８１０）のような）視覚出力デバイス、仮想現実メガネ（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）、及びプリンタ（図示せず）を含んでよい。

【0166】

コンピュータシステム（１８００）は、人間がアクセス可能な記憶デバイスと、ＣＤ／ＤＶＤまたは同等の媒体（１８２１）を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１８２０）を含む光媒体、親指駆動装置（１８２２）、取り外し可能なハードドライブまたはソリッドステートドライブ（１８２３）、テープ及びフロッピーディスク（図示せず）のようなレガシー磁気媒体、セキュリティドングル（図示せず）のような特殊化されたＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス、及び同等物のような、それらの関連する媒体とを含むこともできる。

【0167】

当業者は、現在開示されている主題に関連して使用されるときの用語「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、または他の過渡信号を包含しないことを理解すべきである。

【0168】

コンピュータシステム（１８００）は、１つ以上の通信ネットワークへのインターフェースを含むこともできる。ネットワークは、例えば、無線、有線、光であり得る。ネットワークは、更に、ローカル、ワイドエリア、メトロポリタン、車両及び産業、リアルタイム、遅延耐性などであり得る。ネットワークの例は、イーサネット、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ及び同等物を含むセルラネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶを含むＴＶワイヤラインまたはワイドエリアデジタルネットワーク、ＣＡＮＢｕｓを含む車両及び産業を含む。特定のネットワークは、一般的に、特定の汎用データポートまたは（例えば、コンピュータシステム（１８００）のＵＳＢポートのような）周辺バス（１８４９）に取り付けられる外部ネットワークインターフェースアダプタを必要とし、他のネットワークは、一般的に、以下に記載するようなシステムバス（例えば、ＰＣコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラネットワークインターフェース）への取付けによって、コンピュータシステム（１８００）のコアに統合される。これらのネットワークのいずれかを使用して、コンピュータシステム（１８００）は、他のエンティティと通信することができる。そのような通信は、単指向性、受信専用（例えば、放送テレビ）、単指向性送信専用（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、または、例えば、ローカルまたはワイドエリアデジタルネットワークを使用する他のコンピュータシステムへの双指向性であることができる。特定のプロトコル及びプロトコルスタックは、上述のように、それらのネットワーク及びネットワークインターフェースの各々で使用されることができる。

【0169】

前述のヒューマンインターフェースデバイス、人がアクセス可能な記憶デバイス、及びネットワークインターフェースは、コンピュータシステム（１８００）のコア（１８４０）に取り付けられることができる。

【0170】

コア（１８４０）は、１つ以上の中央処理装置（ＣＰＵ）（１８４１）、グラフィックス処理装置（ＧＰＵ）（１８４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（１８４３）の形態の特殊なプログラマブル処理装置、特定のタスクのためのハードウェアアクセラレータ（１８４４）、及び同等物を含むことができる。これらのデバイスは、読出し専用メモリ（ＲＯＭ）（１８４５）、ランダムアクセスメモリ（１８４６）、内部非ユーザアクセス可能ハードドライブのような内部大容量記憶装置、ＳＳＤ、及び同等物（１８４７）と共に、システムバス（１８４８）を通じて接続されてよい。幾つかのコンピュータシステムにおいて、システムバス（１８４８）は、追加のＣＰＵ、ＧＰＵ、及び同等物による拡張を可能にするために、１つ以上の物理プラグの形態でアクセス可能であることができる。周辺デバイスは、コアのシステムバス（１８４８）に直接的に取り付けられることができ、或いは周辺バス（１８４９）を通じて取り付けられることができる。周辺バスのためのアーキテクチャは、ＰＣＩ、ＵＳＢ、及び同等物を含む。

【0171】

ＣＰＵ（１８４１）、ＧＰＵ（１８４２）、ＦＰＧＡ（１８４３）、及びアクセラレータ（１８４４）は、特定の命令を実行することができ、特定の命令は、組み合わせにおいて、前述のコンピュータコードを構成することができる。そのコンピュータコードは、ＲＯＭ（１８４５）またはＲＡＭ（１８４６）に格納されることができる。移行データもＲＡＭ（１８４６）に格納されることができるのに対し、永久データは、例えば、内部大容量記憶装置（１８４７）に格納されることができる。メモリデバイスのいずれかへの高速記憶及び検索が、１つ以上のＣＰＵ（１８４１）、ＧＰＵ（１８４２）、大容量記憶装置（１８４７）、ＲＯＭ（１８４５）、ＲＡＭ（１８４６）、及び同等物と密接に関連付けられることができるキャッシュメモリの使用を通じて可能にされることができる。

【0172】

コンピュータ可読媒体は、様々なコンピュータ実装された動作を実行するためのコンピュータコードをその上に有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構築されたものであってよく、或いは、それらはコンピュータソフトウェア技術に熟練した者によく知られており且つ入手可能な種類のものであることができる。

【0173】

一例として、限定するものではなく、アーキテクチャ（１８００）、具体的にはコア（１８４０）を有する、コンピュータシステムは、１つ以上の有形のコンピュータ可読媒体に具現化されたソフトウェアを実行する（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、及び同等物を含む）プロセッサの結果としての機能性を提供することができる。そのようなコンピュータ可読媒体は、上述のようにユーザアクセス可能な大容量記憶装置に関連する媒体、並びにコア－内部大容量記憶装置（１８４７）またはＲＯＭ（１８４５）のような非一時的な性質のコア（１８４０）の特定の記憶装置であることができる。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに格納されることができ、コア（１８４０）によって実行されることができる。コンピュータ可読媒体は、特定のニーズに従って、１つ以上のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（１８４０）及び具体的にはその中の（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、及び同等物を含む）プロセッサに、ＲＡＭ（１８４６）に格納されたデータ構造を定義すること及びソフトウェアによって定義されるプロセスに従ってそのようなデータ構造を修正することを含む、本明細書に記載の特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。追加的にまたは代替として、コンピュータシステムは、回路構成（例えば、アクセラレータ（１８４４））内に配線された或いは他の方法で具現されたロジック(論理)の結果としての機能性を提供することができ、それは本明細書に記載の特定のプロセスまたは特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりに或いはソフトウェアと共に作動することができる。ソフトウェアへの言及は、ロジックを含むことができ、適切な場合には、その逆も同様である。コンピュータ可読媒体への言及は、実行のためのソフトウェアを記憶する回路、実行のためのロジックを具現する回路、または適切な場合にはそれらの両方を包含することができる。本開示は、ハードウェア及びソフトウェアの任意の適切な組み合わせを包含する。

【0174】

この開示は幾つかの例示的な実施形態を記載しているが、本開示の範囲内に入る変更、置換、及び様々な代替均等物がある。よって、当業者は、本明細書に明示的に示されていないか或いは記載されていないが、本開示の原理を具現し、従って、本開示の精神及び範囲内にある多くのシステム及び方法を考案し得ることが理解されるであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】