(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-21
(54)【発明の名称】Ｇ－ＰＣＣのためのローカル適応インター予測
(51)【国際特許分類】
G06T 9/00 20060101AFI20241114BHJP
G06T 7/246 20170101ALI20241114BHJP
G06T 9/40 20060101ALI20241114BHJP
G06V 20/58 20220101ALI20241114BHJP
G06V 20/20 20220101ALI20241114BHJP
G06T 7/521 20170101ALI20241114BHJP
G06T 7/593 20170101ALI20241114BHJP
【ＦＩ】
G06T9/00 100
G06T7/246
G06T9/40
G06V20/58
G06V20/20
G06T7/521
G06T7/593
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024531165
(86)(22)【出願日】2022-12-01
(85)【翻訳文提出日】2024-05-23
(86)【国際出願番号】 US2022080760
(87)【国際公開番号】W WO2023102484
(87)【国際公開日】2023-06-08
(31)【優先権主張番号】63/264,910
(32)【優先日】2021-12-03
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/060,208
(32)【優先日】2022-11-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】ファン・バン、ルオン
(72)【発明者】
【氏名】ファン・デル・オーウェラ、ゲールト
(72)【発明者】
【氏名】ラマスブラモニアン、アダルシュ・クリシュナン
(72)【発明者】
【氏名】カルチェビチ、マルタ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096AA09
5L096BA04
5L096CA04
5L096CA17
5L096DA01
5L096DA02
5L096EA22
5L096FA15
5L096FA67
5L096FA69
5L096FA75
5L096GA38
5L096HA02
(57)【要約】
点群データを復号する方法は、点群データが、複数の最大予測単位（ＬＰＵｓ）であって、複数のＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定することと、ＬＰＵについての予測点を決定するためにインター予測を実施することと、ＬＰＵについての予測点に基づいて、ＰＵ内の点を再構成することと、を含む。
【特許請求の範囲】
【請求項1】
点群データを復号する方法であって、前記点群データが、複数の最大予測単位（ＬＰＵｓ）であって、前記複数のＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定することと、
前記ＬＰＵについての予測点を決定するためにインター予測を実施することと、
前記ＬＰＵについての前記予測点に基づいて、前記ＬＰＵ内の点を再構成することと、を含む、方法。
【請求項2】
前記ＬＰＵの前記サイズが、八分木幾何コーディングによって決定される前記点群データの四分木－二分木分割と整列する、請求項１に記載の方法。
【請求項3】
前記ＬＰＵが、第１のＬＰＵと第２のＬＰＵとを含み、前記ＬＰＵ内の前記予測点を決定するためにインター予測を実施することが、
以前に再構成された点群にグローバル動き補償を適用することなく、前記以前に再構成された点群に基づいて前記第１のＬＰＵ内の予測点を決定することと、
前記以前に再構成された点群にグローバル動き補償を適用して、前記以前に再構成された点群に基づいて前記第２のＬＰＵ内の予測点を決定することと、を含む、
請求項１に記載の方法。
【請求項4】
前記ＬＰＵ内の予測点を決定するためにインター予測を実施することが、前記複数のＬＰＵのうちの１つのＬＰＵの動きを決定することと、
前記ＬＰＵ内の点を予測するために、前記ＬＰＵの前記動きを使用することと、
を含む、請求項１に記載の方法。
【請求項5】
前記点群データが複数のＬＰＵに分割されると決定することが、第１のシグナリングされる指示に基づいて、前記点群データがｘ方向において前記ＬＰＵに分割されると決定すること、
第２のシグナリングされる指示に基づいて、前記点群データがｙ方向において前記ＬＰＵに分割されると決定すること、又は
第３のシグナリングされる指示に基づいて、前記点群データがｚ方向において前記ＬＰＵに分割されると決定すること、を含む、請求項１に記載の方法。
【請求項6】
前記点群データが前記ＬＰＵに分割されると決定することが、ｘ、ｙ、及びｚ方向のうちの少なくとも１つの方向について、前記点群データの分割が前記方向において有効にされるかどうかと、前記方向に沿った前記ＬＰＵのサイズとを示すシンタックス要素を取得することを含む、請求項１に記載の方法。
【請求項7】
前記点群データが前記ＬＰＵに分割されると決定することが、前記点群データの分割がｘ、ｙ、又はｚ方向のうちの少なくとも１つの方向に沿って有効にされないと決定することと、
前記点群データの分割が前記方向に沿った有効にされないという前記決定に基づいて、前記ＬＰＵのサイズが前記方向に沿った前記点群データのサイズに等しいと決定することと、を含む、請求項１に記載の方法。
【請求項8】
前記方向が、ｘ、ｙ及びｚ方向を含み、前記点群データが垂直方向に分割され、ｘ及びｙ方向における前記ＬＰＵの前記サイズが、前記ｘ及びｙ方向における前記点群データのサイズに等しいこと、
前記点群データが水平ｘ方向に分割され、ｙ及びｚ方向における前記ＬＰＵの前記サイズが、前記ｘ及びｙ方向における前記点群データのサイズに等しいこと、又は
前記点群データが水平ｙ方向に分割され、ｙ及びｚ方向における前記ＬＰＵの前記サイズが、前記ｘ及びｙ方向における前記点群データのサイズに等しいこと、
のうちの１つを含む、
請求項１に記載の方法。
【請求項9】
前記点群データが前記複数のＬＰＵに分割されると決定することが、ヘッダレベルにおいてシグナリングされるシンタックス要素に基づいて、前記点群データが前記方向のうちの１つのみにおいて前記ＬＰＵに分割されると決定することを含む、請求項１に記載の方法。
【請求項10】
点群データを符号化する方法であって、前記点群データが、複数の最大予測単位（ＬＰＵｓ）であって、前記複数のＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定することと、
前記ＬＰＵについての予測点を決定するためにインター予測を実施することと、
前記ＬＰＵについての前記予測点に基づいて、前記ＬＰＵ内の点を符号化することと、を含む、方法。
【請求項11】
前記ＬＰＵの前記サイズが、八分木幾何コーディングによって決定される前記点群データの四分木－二分木分割と整列する、請求項１０に記載の方法。
【請求項12】
前記ＬＰＵが、第１のＬＰＵと第２のＬＰＵとを含み、前記ＬＰＵ内の前記予測点を決定するためにインター予測を実施することが、
以前に再構成された点群にグローバル動き補償を適用することなく、前記以前に再構成された点群に基づいて前記第１のＬＰＵ内の予測点を決定することと、
前記以前に再構成された点群にグローバル動き補償を適用して、前記以前に再構成された点群に基づいて、前記第２のＬＰＵ内の予測点を決定することと、を含む、
請求項１０に記載の方法。
【請求項13】
前記ＬＰＵ内の予測点を決定するためにインター予測を実施することが、前記複数のＬＰＵのうちの１つのＬＰＵの動きを決定することと、
前記ＬＰＵ内の点を予測するために、前記ＬＰＵの前記動きを使用することと、を含む、請求項１０に記載の方法。
【請求項14】
前記点群データがｘ方向において前記ＬＰＵに分割されるかどうかを示す第１の指示をシグナリングすること、前記点群データがｙ方向において前記ＬＰＵに分割されるかどうかを示す第２のシグナリングされる指示をシグナリングすること、又は
前記点群データがｚ方向において前記ＬＰＵに分割されるかどうかを示す第３のシグナリングされる指示をシグナリングすること、を含む、
請求項１０に記載の方法。
【請求項15】
ｘ、ｙ、及びｚ方向のうちの少なくとも１つの方向について、前記点群データの分割が前記方向において有効にされるかどうかと、前記方向に沿ったＬＰＵの前記サイズとを示すシンタックス要素をシグナリングすることを更に含む、請求項１０に記載の方法。
【請求項16】
前記方向が、ｘ、ｙ及びｚ方向を含み、前記点群データが垂直方向に分割され、ｘ及びｙ方向における前記ＬＰＵの前記サイズが、前記ｘ及びｙ方向における前記点群データの前記サイズに等しいこと、
前記点群データが水平Ｘ方向に分割され、ｙ及びｚ方向における前記ＬＰＵの前記サイズが、前記ｘ及びｙ方向における前記点群データの前記サイズに等しいこと、又は
前記点群データが、水平Ｙ方向に分割され、ｙ及びｚ方向における前記ＬＰＵの前記サイズが、前記ｘ及びｙ方向における前記点群データの前記サイズに等しいこと、
のうちの１つを含む、
請求項１０に記載の方法。
【請求項17】
前記点群データが前記方向のうちの１つのみにおいて前記ＬＰＵに分割されることを示すシンタックス要素をヘッダレベルにおいてシグナリングすることを更に含む、請求項１０に記載の方法。
【請求項18】
点群データを復号するためのデバイスであって、前記点群データを記憶するように構成されたメモリと、
回路構成に実装される１つ又は複数のプロセッサであって、
前記点群データが、複数の最大予測単位（ＬＰＵｓ）であって、前記複数のＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定し、
前記ＬＰＵについての予測点を決定するためにインター予測を実施し、
前記ＬＰＵについての前記予測点に基づいて、前記ＬＰＵ内の点を再構成するように構成された、１つ又は複数のプロセッサと、
を備える、デバイス。
【請求項19】
前記１つ又は複数のプロセッサが、前記点群データが複数のＬＰＵに分割されると決定することの一部として、第１のシグナリングされる指示に基づいて、前記点群データがｘ方向において前記ＬＰＵに分割されると決定し、
第２のシグナリングされる指示に基づいて、前記点群データがｙ方向において前記ＬＰＵに分割されると決定し、又は
第３のシグナリングされる指示に基づいて、前記点群データがｚ方向において前記ＬＰＵに分割されると決定するように構成される、請求項１８に記載のデバイス。
【請求項20】
前記１つ又は複数のプロセッサが、前記点群データが前記ＬＰＵに分割されると決定することの一部として、ｘ、ｙ、及びｚ方向のうちの各方向について、前記点群データの分割が前記方向において有効にされるかどうかと、前記方向に沿った前記ＬＰＵのサイズとを示すシンタックス要素を取得するように構成される、請求項１８に記載のデバイス。
【請求項21】
前記１つ又は複数のプロセッサが、前記点群データが前記ＬＰＵに分割されると決定することの一部として、ｘ、ｙ、又はｚ方向のうちの少なくとも１つの方向に沿って前記点群データの分割が有効にされないと決定し、前記ＬＰＵのサイズが前記方向に沿った前記点群データのサイズに等しいと決定するように構成される、請求項１８に記載のデバイス。
【請求項22】
前記方向が、ｘ、ｙ及びｚ方向を含み、前記点群データが垂直方向に分割され、ｘ及びｙ方向における前記ＬＰＵの前記サイズが、前記ｘ及びｙ方向における前記点群データのサイズに等しいこと、
前記点群データが水平Ｘ方向に分割され、ｙ及びｚ方向における前記ＬＰＵの前記サイズが、前記ｘ及びｙ方向における前記点群データのサイズに等しいこと、又は
前記点群データが水平Ｙ方向に分割され、ｙ及びｚ方向における前記ＬＰＵの前記サイズが、前記ｘ及びｙ方向における前記点群データのサイズに等しいこと、
のうちの１つを含む、
請求項１８に記載のデバイス。
【請求項23】
前記点群データに基づいて像を表示するためのディスプレイを更に備える、請求項１８に記載のデバイス。
【請求項24】
点群データを符号化するためのデバイスであって、前記点群データを記憶するように構成されたメモリと、
回路構成に実装される１つ又は複数のプロセッサであって、
前記点群データが、複数の最大予測単位（ＬＰＵｓ）であって、前記複数のＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定し、
前記ＬＰＵについての予測点を決定するためにインター予測を実施し、
前記ＬＰＵについての前記予測点に基づいて、前記ＬＰＵ内の点を符号化するように構成された、１つ又は複数のプロセッサと、を備える、デバイス。
【請求項25】
前記１つ又は複数のプロセッサが、前記点群データが複数のＬＰＵに分割されると決定することの一部として、前記点群データがｘ方向において前記ＬＰＵに分割されるかどうかを示す第１の指示をシグナリングし、
前記点群データがｙ方向に前記ＬＰＵに分割されるか否かを示す第２のシグナリング指示をシグナリングし、又は
前記点群データがｚ方向において前記ＬＰＵに分割されるかどうかを示す第３のシグナリングされる指示をシグナリングするように構成される、請求項２４に記載のデバイス。
【請求項26】
前記１つ又は複数のプロセッサが、ｘ、ｙ、又はｚ方向のうちの少なくとも１つの方向について、前記点群データの分割が前記方向において有効にされるかどうかと、前記方向に沿った前記ＬＰＵのサイズとを示すシンタックス要素をシグナリングするように構成される、請求項２４に記載のデバイス。
【請求項27】
前記方向が、ｘ、ｙ及びｚ方向を含み、前記点群データが垂直方向に分割され、ｘ及びｙ方向における前記ＬＰＵの前記サイズが、前記ｘ及びｙ方向における前記点群データのサイズに等しいこと、
前記点群データが水平Ｘ方向に分割され、ｙ及びｚ方向における前記ＬＰＵの前記サイズが、前記ｘ及びｙ方向における前記点群データのサイズに等しいこと、又は
前記点群データが水平Ｙ方向に分割され、ｙ及びｚ方向における前記ＬＰＵの前記サイズが、前記ｘ及びｙ方向における前記点群データのサイズに等しいこと、
のうちの１つを含む、
請求項２４に記載のデバイス。
【請求項28】
前記点群データを生成するためのセンサを更に備える、請求項２４に記載のデバイス。【発明の詳細な説明】
【技術分野】
【0001】
[0001] 本出願は、２０２２年１１月３０日に出願された米国特許出願第１８／０６０，２０８号、及び２０２１年１２月３日に出願された米国仮特許出願第６３／２６４，９１０号の優先権を主張し、その各々の内容全体が参照により本明細書に組み込まれる。２０２２年１１月３０日に出願された米国特許出願第１８／０６０，２０８号は、２０２１年１２月３日に出願された米国仮特許出願第６３／２６４，９１０号の利益を主張する。
【0002】
[0002] 本開示は、点群符号化及び復号に関する。
【背景技術】
【0003】
[0003] 点群とは、３次元空間における点の集合である。点は、３次元空間内のオブジェクト上の点に対応し得る。よって、点群は、３次元空間の物理的コンテンツを表すために使用され得る。点群は、多種多様な状況において有用性を有し得る。例えば、点群は、自律走行車両のコンテキストにおいて、道路上のオブジェクトの位置を表すために使用され得る。別の例では、点群は、環境の物理的コンテンツを表すコンテキストにおいて、拡張現実（augmented reality、ＡＲ）又は複合現実（mixed reality、ＭＲ）アプリケーションにおいて仮想オブジェクトを配置する目的で使用され得る。点群圧縮とは、点群を符号化及び復号するプロセスである。点群を符号化することは、点群の記憶及び送信のために必要とされるデータの量を減らし得る。
【発明の概要】
【0004】
[0004] 概して、本開示は、座標ベース点群圧縮（Geometry Point Cloud Compression、Ｇ－ＰＣＣ）のための技法について説明する。本開示の技法は、３次元グラフィックスチーム（3-Dimensional Graphics、３ＤＧ）グループによってＭＰＥＧ内で開発されているＧ－ＰＣＣ規格など、Ｇ－ＰＣＣのためのローカル適応インター予測を使用してインターコーディングの性能を改善し得る。点群は、複数の最大予測単位（Largest Prediction Units、ＬＰＵｓ）に分割され得る。本開示の技法によれば、複数のＬＰＵのうちの少なくとも２つは、異なる方向に沿って異なるサイズを有する。例えば、ＬＰＵは、第１の方向（例えば、ｘ、ｙ、又はｚ方向）において第１のサイズを有し得、ＬＰＵは、第２の方向において第１のサイズとは異なる第２のサイズを有し得る。言い換えれば、ＬＰＵは厳密に立方体である必要はない。ＬＰＵが異なる次元に沿って異なるサイズを有することを可能にすることは、点群データが、点群データの八分木幾何コーディングのために使用される四分木－二分木分割に従ってＬＰＵに分割されることを可能にし得る。Ｇ－ＰＣＣエンコーダは、ＬＰＵについての予測点を決定するためにインター予測を実施し得、ＬＰＵについての予測点に基づいて、ＬＰＵ内の点を符号化し得る。Ｇ－ＰＣＣデコーダは、ＬＰＵについての予測点を決定するためにインター予測を実施し得、ＬＰＵについての予測点に基づいて、ＬＰＵ内の点を再構成し得る。ＬＰＵが異なる方向に沿って異なるサイズを有することを可能にすることは、コーディング効率を高め得る。
【0005】
[0005] 一例では、本開示は、点群データを復号する方法について説明し、方法は、点群データが、最大予測単位（ＬＰＵｓ）のうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定することと、ＬＰＵについての予測点を決定するためにインター予測を実施することと、ＬＰＵについての予測点に基づいて、ＬＰＵ内の点を再構成することと、を含む。
【0006】
[0006] 別の例では、本開示は、点群データを符号化する方法について説明し、方法は、点群データが、複数の最大予測単位（ＬＰＵｓ）であって、複数のＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定することと、ＬＰＵについての予測点を決定するためにインター予測を実施することと、ＬＰＵについての予測点に基づいて、ＬＰＵ内の点を符号化することとを含む。
【0007】
[0007] 別の例では、本開示は、点群データを復号するためのデバイスについて説明し、デバイスは、点群データを記憶するように構成されたメモリと、回路構成に実装されている１つ又は複数のプロセッサであって、点群データが、複数の最大予測単位（ＬＰＵｓ）であって、複数のＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定し、ＬＰＵについての予測点を決定するためにインター予測を実施し、ＬＰＵについての予測点に基づいて、ＬＰＵ内の点を再構成するように構成された、１つ又は複数のプロセッサと、を備える。
【0008】
[0008] 別の例では、本開示は、点群データを符号化するためのデバイスについて説明し、デバイスは、点群データを記憶するように構成されたメモリと、回路構成に実装されている１つ又は複数のプロセッサであって、点群データが、複数の最大予測単位（ＬＰＵｓ）であって、複数のＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定し、ＬＰＵについての予測点を決定するためにインター予測を実施し、ＬＰＵについての予測点に基づいて、ＬＰＵ内の点を符号化するように構成された、１つ又は複数のプロセッサと、を備える。
【0009】
[0009] １つ又は複数の例の詳細が、添付図面及び以下の説明に記載されている。他の特徴、目的、及び利点は、説明、図面、及び特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0010】
【図1】[0010] 本開示の技法を実施し得る例示的な符号化及び復号システムを示すブロック図である。
【図2】[0011] 例示的な座標ベース点群圧縮（Ｇ－ＰＣＣ）エンコーダを示すブロック図である。
【図3】[0012] 例示的なＧ－ＰＣＣデコーダを示すブロック図である。
【図4】[0013] 例示的な動き推定アルゴリズムを示すフローチャートである。
【図5】[0014] 最大予測ユニット（Largest Prediction Unit、ＬＰＵ）を予測ユニット（Prediction Unit、ＰＵ）木に分割する一例を示す概念図である。
【図6】[0015] 誤予測された兄弟の数を得るための親ノード及び親ノードの参照ノードの占有を示す概念図である。
【図7A】[0016] 平面コピーモード（planar copy mode、ＰＣＭ）モード及び非ＰＣＭモードの例を示す概念図である。
【図7B】平面コピーモード（planar copy mode、ＰＣＭ）モード及び非ＰＣＭモードの例を示す概念図である。
【図8】[0017] 本開示の技法による、Ｇ－ＰＣＣエンコーダの例示的な動作を示すフローチャートである。
【図9】[0018] 本開示の技法による、Ｇ－ＰＣＣデコーダの例示的な動作を示すフローチャートである。
【図10】[0019] 本開示の１つ又は複数の技法で使用され得る、例示的な距離測定システムを示す概念図である。
【図11】[0020] 本開示の１つ又は複数の技法が使用され得る、例示的な車両ベースのシナリオを示す概念図である。
【図12】[0021] 本開示の１つ又は複数の技法が使用され得る、例示的なエクステンデッドリアリティシステムを示す概念図である。
【図13】[0022] 本開示の１つ又は複数の技法が使用され得る、例示的なモバイルデバイスシステムを示す概念図である。
【発明を実施するための形態】
【0011】
[0023] 点群とは、３次元空間における点の集合である。一般に、点群データは、点群を表すデータなど、点群を処理するためのあらゆるデータを含む。点は、３次元空間内のオブジェクト上の点に対応し得る。よって、点群データは、３次元空間の物理的コンテンツを表すために使用され得る。点群データは、多種多様な状況において有用性を有し得る。例えば、点群データは、自律走行車両のコンテキストにおいて、道路上のオブジェクトの位置を表すために使用され得る。別の例では、点群データは、環境の物理的コンテンツを表すコンテキストにおいて、拡張現実（ＡＲ）又は複合現実（ＭＲ）アプリケーションにおいて仮想オブジェクトを配置する目的で使用され得る。点群圧縮は、点群データを符号化及び復号するプロセスである。点群データを符号化することは、点群データの記憶及び送信に必要なデータの量を低減し得る。座標ベースの点群圧縮（Ｇ－ＰＣＣ）は、点群データを符号化及び記憶するのに必要なデータの量を低減するための手法である。
【0012】
[0024] 点群データを符号化することの一部として、Ｇ－ＰＣＣエンコーダは、八分木を生成し得る。八分木の各ノードは、直方体空間に対応する。直方体は、六面の立体を持つ六面体である。直方体の各面は四辺形である。説明を容易にするために、本開示は、いくつかの状況では、ノードと、ノードに対応する直方体空間とを互換的に言及する場合がある。八分木のノードは、０個の子ノード又は８つの子ノードを有し得る。他の例では、ノードは、他の木構造に従って、子ノードに分割され得る。例えば、八分木のノードは、４つ又は２つの子ノードに分割され得る。よって、八分木は、四分木又は二分木分割を含み得る。親の子ノードは、親ノードに対応する直方体内の直方体に対応する。点群の個々の点の位置は、点を含む直方体に対応するノードについてシグナリングされ得る。ノードが点群のいかなる点も含んでいない場合、ノードは占有されていないという。ノードが占有されていない場合、ノードに関する追加のデータをシグナリングする必要がないことがある。逆に、ノードが点群の１つ又は複数の点を含む場合、ノードは占有されているという。
【0013】
[0025] 加えて、同じ点群データが、等しいサイズの最大予測単位（ＬＰＵｓ）に分割され得る。よって、ＬＰＵの各々は、厳密な立方体であり得る。Ｇ－ＰＣＣエンコーダは、参照フレーム中の点に基づいて、ＬＰＵの点を予測するためにインター予測を実施し得る。参照フレームは、以前に再構成された点群データを含む。Ｇ－ＰＣＣエンコーダは、ＬＰＵについての予測点に基づいて、ＬＰＵ内の点を符号化し得る。同様に、Ｇ－ＰＣＣデコーダは、参照フレーム中の点に基づいて、ＬＰＵの点を予測するためにインター予測を実施し得る。Ｇ－ＰＣＣデコーダは、ＬＰＵについての予測点に基づいて、ＬＰＵ内の点を再構成し得る。
【0014】
[0026] ＬＰＵの各々が厳密な立方体であることを必要とすることに関連して、いくつかの欠点がある。例えば、ＬＰＵの境界は、八分木の直方体の境界と整列しない場合がある。別の例では、ＬＰＵの境界は、点群データの境界と四方に整列しない場合がある。境界のこの非整列は、コーディング効率を低下させ得、点群データを表すためにより多くのデータが記憶又は送信されることにつながる。
【0015】
[0027] 本開示の技法によれば、ＬＰＵのうちの少なくとも２つは、異なる方向に沿って異なるサイズを有し得る。よって、ＬＰＵのサイズは、八分木幾何コーディングによって決定される点群データの四分木－二分木分割と整列する。これは、符号化効率を高め、その結果、点群データを表すために記憶又は送信されるデータを少なくし得る。
【0016】
[0028] 図１は、本開示の技法を実施し得る例示的な符号化及び復号システム１００を示すブロック図である。本開示の技法は、概して、点群データをコーディング（符号化及び／又は復号）すること、すなわち、点群圧縮をサポートすることに関する。一般に、点群データは、点群を処理するためのあらゆるデータを含む。コーディングは、点群データを圧縮及び／又は解凍するのに有効であり得る。
【0017】
[0029] 図１に示すように、システム１００は、ソースデバイス１０２及びデスティネーションデバイス１１６を含む。ソースデバイス１０２は、デスティネーションデバイス１１６によって復号される符号化された点群データを提供する。具体的には、図１の例では、ソースデバイス１０２は、コンピュータ可読媒体１１０を介してデスティネーションデバイス１１６に点群データを提供する。ソースデバイス１０２及びデスティネーションデバイス１１６は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビ、カメラ、表示デバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス、地上又は海上車両、宇宙船、航空機、ロボット、ＬＩＤＡＲデバイス、衛星などを含む、広範囲のデバイスのいずれかを含み得る。場合によっては、ソースデバイス１０２及びデスティネーションデバイス１１６は、ワイヤレス通信に対応してもよい。
【0018】
[0030] 図１の例では、ソースデバイス１０２は、データソース１０４、メモリ１０６、Ｇ－ＰＣＣエンコーダ２００、及び出力インターフェース１０８を含む。デスティネーションデバイス１１６は、入力インターフェース１２２、Ｇ－ＰＣＣデコーダ３００、メモリ１２０、及びデータコンシューマ１１８を含む。本開示によれば、ソースデバイス１０２のＧ－ＰＣＣエンコーダ２００、及びデスティネーションデバイス１１６のＧ－ＰＣＣデコーダ３００は、ＧＰＣＣ規格のローカル適応予測を使用するインターコーディングに関連する、本開示の技法を適用するように構成され得る。よって、ソースデバイス１０２は符号化デバイスの例を表し、デスティネーションデバイス１１６は復号デバイスの一例を表す。他の例では、ソースデバイス１０２及びデスティネーションデバイス１１６は、他の構成要素又は配置を含み得る。例えば、ソースデバイス１０２は、内部又は外部ソースからデータ（例えば、点群データ）を受信し得る。同様に、デスティネーションデバイス１１６は、同じデバイスの中にデータコンシューマを含むのではなく、外部のデータコンシューマとインターフェースし得る。
【0019】
[0031] 図１に示すようなシステム１００は一例にすぎない。一般に、他のデジタル符号化及び／又は復号デバイスは、ＧＰＣＣ規格のローカル適応予測を使用するインターコーディングに関連する、本開示の技法を実施し得る。ソースデバイス１０２及びデスティネーションデバイス１１６は、ソースデバイス１０２がデスティネーションデバイス１１６への送信のためにコーディングされたデータを生成するようなデバイスの例にすぎない。本開示は、データのコーディング（符号化及び／又は復号）を実施するデバイスを「コーディング」デバイスと呼ぶ。よって、Ｇ－ＰＣＣエンコーダ２００及びＧ－ＰＣＣデコーダ３００は、コーディングデバイス、具体的には、それぞれ、エンコーダ及びデコーダの例を表す。いくつかの例では、ソースデバイス１０２及びデスティネーションデバイス１１６は、ソースデバイス１０２及びデスティネーションデバイス１１６の各々が符号化及び復号構成要素を含むように実質的に対称的に動作し得る。それゆえに、システム１００は、例えば、ストリーミング、再生、ブロードキャスト、電話、ナビゲーション、及び他の用途のために、ソースデバイス１０２とデスティネーションデバイス１１６との間の一方向送信又は双方向送信をサポートし得る。
【0020】
[0032] 一般に、データソース１０４は、データのソース（すなわち、未加工の符号化されていない点群データ）を表し、データの逐次的な一連の「フレーム」を、フレームのデータを符号化するＧ－ＰＣＣエンコーダ２００に提供し得る。ソースデバイス１０２のデータソース１０４は、様々なカメラ若しくはセンサ、例えば、３Ｄスキャナ若しくは光検出及び測距（ＬＩＤＡＲ）デバイス、１つ若しくは複数のビデオカメラ、以前にキャプチャされたデータを含むアーカイブ、並びに／又はデータコンテンツプロバイダからデータを受信するためのデータフィードインターフェースのうちのいずれかなどの、点群キャプチャデバイスを含み得る。代わりに又は加えて、点群データは、スキャナデータ、カメラデータ、センサデータ、又は他のデータからコンピュータ生成され得る。例えば、データソース１０４は、コンピュータグラフィクスベースのデータをソースデータとして生成し得る、又はライブデータ、アーカイブデータ、コンピュータ生成データの組み合わせを生成し得る。各々の場合において、Ｇ－ＰＣＣエンコーダ２００は、キャプチャされたデータ、事前にキャプチャされたデータ、又はコンピュータ生成データを符号化する。Ｇ－ＰＣＣエンコーダ２００は、受信順序（「表示順序」と呼ばれることがある）からコーディングのためのコーディング順序へとフレームを並べ替え得る。Ｇ－ＰＣＣエンコーダ２００は、符号化されたデータを含む１つ又は複数のビットストリームを生成し得る。次に、ソースデバイス１０２は、例えば、デスティネーションデバイス１１６の入力インターフェース１２２による受信及び／又は取り出しのために、出力インターフェース１０８を介して符号化されたデータをコンピュータ可読媒体１１０上に出力し得る。
【0021】
[0033] ソースデバイス１０２のメモリ１０６及びデスティネーションデバイス１１６のメモリ１２０は、汎用メモリを表し得る。いくつかの例では、メモリ１０６及びメモリ１２０は、未加工データ、例えば、データソース１０４からの未加工データ、及びＧ－ＰＣＣデコーダ３００からの未加工の復号されたデータを記憶し得る。加えて又は代わりに、メモリ１０６及びメモリ１２０は、例えば、それぞれ、Ｇ－ＰＣＣエンコーダ２００及びＧ－ＰＣＣデコーダ３００によって実行可能なソフトウェア命令を記憶し得る。メモリ１０６及びメモリ１２０は、この例ではＧ－ＰＣＣエンコーダ２００及びＧ－ＰＣＣデコーダ３００とは別々に示されているが、Ｇ－ＰＣＣエンコーダ２００及びＧ－ＰＣＣデコーダ３００は、機能的に同様の又は等価な目的で内部メモリも含んでもよいことを理解されたい。更に、メモリ１０６及びメモリ１２０は、例えば、Ｇ－ＰＣＣエンコーダ２００から出力され、Ｇ－ＰＣＣデコーダ３００に入力される、符号化されたデータを記憶し得る。いくつかの例では、メモリ１０６及びメモリ１２０の部分は、例えば、未加工の、復号された、及び／又は符号化されたデータを記憶するための、１つ又は複数のバッファとして割り振られ得る。例えば、メモリ１０６及びメモリ１２０は、点群を表すデータを記憶し得る。
【0022】
[0034] コンピュータ可読媒体１１０は、符号化されたデータをソースデバイス１０２からデスティネーションデバイス１１６にトランスポートすることが可能な任意のタイプの媒体又はデバイスを表し得る。一例では、コンピュータ可読媒体１１０は、例えば、無線周波数ネットワーク又はコンピュータベースのネットワークを介して、ソースデバイス１０２が符号化されたデータをデスティネーションデバイス１１６にリアルタイムで直接送信することを可能にする通信媒体を表す。ワイヤレス通信プロトコルなどの通信規格に従って、出力インターフェース１０８が、符号化されたデータを含む伝送信号を変調し得、入力インターフェース１２２が、受信した伝送信号を復調し得る。通信媒体は、無線周波数（radio frequency、ＲＦ）スペクトル又は１つ若しくは複数の物理伝送路などの、任意のワイヤレス又はワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなどのパケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、又はソースデバイス１０２からデスティネーションデバイス１１６への通信を容易にするために有用であり得る任意の他の機器を含み得る。
【0023】
[0035] いくつかの例では、ソースデバイス１０２は、出力インターフェース１０８から記憶デバイス１１２に、符号化されたデータを出力し得る。同様に、デスティネーションデバイス１１６は、入力インターフェース１２２を介して、記憶デバイス１１２から符号化されたデータにアクセスし得る。記憶デバイス１１２は、ハードドライブ、ブルーレイディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性若しくは不揮発性メモリ、又は符号化されたデータを記憶するための任意の他の好適なデジタル記憶媒体など、種々の分散型又はローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。
【0024】
[0036] いくつかの例では、ソースデバイス１０２は、ソースデバイス１０２によって生成された符号化されたデータを記憶し得るファイルサーバ１１４又は別の中間記憶デバイスに、符号化されたデータを出力し得る。デスティネーションデバイス１１６は、ストリーミング又はダウンロードを介して、ファイルサーバ１１４から記憶されたデータにアクセスし得る。ファイルサーバ１１４は、符号化されたデータを記憶し、その符号化されたデータをデスティネーションデバイス１１６に送信することが可能な、任意のタイプのサーバデバイスとすることができる。ファイルサーバ１１４は、（例えば、ウェブサイトの）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、コンテンツ配信ネットワークデバイス、又はネットワーク接続ストレージ（ＮＡＳ）デバイスを表し得る。デスティネーションデバイス１１６は、インターネット接続を含む任意の標準的なデータ接続を通じて、ファイルサーバ１１４から符号化されたデータにアクセスし得る。これは、ワイヤレスチャネル（例えば、Ｗｉ－Ｆｉ接続）、ワイヤード接続（例えば、デジタル加入者回線（digital subscriber line、ＤＳＬ）、ケーブルモデムなど）、又はファイルサーバ１１４に記憶されている符号化されたデータにアクセスするのに適した両方の組み合わせを含み得る。ファイルサーバ１１４及び入力インターフェース１２２は、ストリーミング伝送プロトコル、ダウンロード伝送プロトコル、又はそれらの組み合わせに従って動作するように構成され得る。
【0025】
[0037] 出力インターフェース１０８及び入力インターフェース１２２は、ワイヤレス送信機／受信機、モデム、ワイヤードネットワーキング構成要素（例えば、イーサネットカード）、様々なＩＥＥＥ８０２．１１規格のうちのいずれかに従って動作するワイヤレス通信構成要素、又は他の物理構成要素を表し得る。出力インターフェース１０８及び入力インターフェース１２２がワイヤレス構成要素を備える例では、出力インターフェース１０８及び入力インターフェース１２２は、４Ｇ、４Ｇ－ＬＴＥ（Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ Ａｄｖａｎｃｅｄ、５Ｇなどのセルラー通信規格に従って、符号化されたデータなどのデータを転送するように構成され得る。出力インターフェース１０８がワイヤレス送信機を備えるいくつかの例では、出力インターフェース１０８及び入力インターフェース１２２は、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（例えば、ＺｉｇＢｅｅ（商標））、Ｂｌｕｅｔｏｏｔｈ（商標）規格などの他のワイヤレス規格に従って、符号化されたデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１０２及び／又はデスティネーションデバイス１１６は、それぞれのシステムオンチップ（ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ、ＳｏＣ）デバイスを含み得る。例えば、ソースデバイス１０２は、Ｇ－ＰＣＣエンコーダ２００及び／又は出力インターフェース１０８に帰属する機能性を実施するためのＳｏＣデバイスを含み得、デスティネーションデバイス１１６は、Ｇ－ＰＣＣデコーダ３００及び／又は入力インターフェース１２２に帰属する機能を実施するためのＳｏＣデバイスを含み得る。
【0026】
[0038] 本開示の技法は、自律走行車両間の通信、スキャナ、カメラ、センサと、ローカル若しくはリモートサーバなどの処理デバイスとの間の通信、地理的マッピング、又は他の用途などの、様々な用途のいずれかをサポートする符号化及び復号に適用され得る。
【0027】
[0039] デスティネーションデバイス１１６の入力インターフェース１２２は、コンピュータ可読媒体１１０（例えば、通信媒体、記憶デバイス１１２、ファイルサーバ１１４など）から、符号化されたビットストリームを受信する。符号化されたビットストリームは、コーディングされる単位（例えば、スライス、ピクチャ、ピクチャのグループ、シーケンスなど）の特性及び／又は処理を記述する値を有するシンタックス要素などの、Ｇ－ＰＣＣデコーダ３００によっても使用される、Ｇ－ＰＣＣエンコーダ２００によって定義されるシグナリング情報を含み得る。データコンシューマ１１８は、復号されたデータを使用する。例えば、データコンシューマ１１８は、物理オブジェクトのロケーションを決定するために、復号されたデータを使用し得る。いくつかの例では、データコンシューマ１１８は、点群に基づいて像を表示するためのディスプレイを備え得る。
【0028】
[0040] Ｇ－ＰＣＣエンコーダ２００及びＧ－ＰＣＣデコーダ３００は各々、１つ若しくは複数のマイクロプロセッサ、デジタルシグナルプロセッサ（digital signal processors、ＤＳＰｓ）、特定用途向け集積回路（application specific integrated circuits、ＡＳＩＣｓ）、フィールドプログラマブルゲートアレイ（field programmable gate arrays、ＦＰＧＡｓ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせなどの、様々な適切なエンコーダ及び／又はデコーダ回路構成のいずれかとして実装され得る。技法が部分的にソフトウェアで実装されているとき、デバイスは、適切な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、本開示の技法を実行するために１つ又は複数のプロセッサを使用してハードウェアでその命令を実施し得る。Ｇ－ＰＣＣエンコーダ２００及びＧ－ＰＣＣデコーダ３００の各々は、１つ又は複数のエンコーダ又はデコーダに含められ得、それらのいずれもが、それぞれのデバイスの中で複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。Ｇ－ＰＣＣエンコーダ２００及び／又はＧ－ＰＣＣデコーダ３００を含むデバイスは、１つ又は複数の集積回路、マイクロプロセッサ、及び／又は他のタイプのデバイスを備え得る。
【0029】
[0041] Ｇ－ＰＣＣエンコーダ２００及びＧ－ＰＣＣデコーダ３００は、ビデオ点群圧縮（video point cloud compression、Ｖ－ＰＣＣ）規格又は座標ベース点群圧縮（Ｇ－ＰＣＣ）規格などのコーディング規格に従って動作し得る。本開示は、概して、データを符号化又は復号する処理を含む、ピクチャのコーディング（例えば、符号化及び復号）に言及することがある。符号化されたビットストリームは、一般に、コーディング決定（例えば、コーディングモード）を表すシンタックス要素の一連の値を含む。
【0030】
[0042] 本開示は、概して、シンタックス要素などの何らかの情報を「シグナリング」することに言及することがある。「シグナリング」という用語は、一般に、シンタックス要素及び／又は符号化されたデータを復号するために使用される他のデータの値の通信を指すことがある。すなわち、Ｇ－ＰＣＣエンコーダ２００は、ビットストリームにおいてシンタックス要素の値をシグナリングし得る。一般に、シグナリングとは、ビットストリーム内に値を生成することを指す。上述したように、ソースデバイス１０２は、デスティネーションデバイス１１６により後で取り出すためにシンタックス要素を記憶デバイス１１２に記憶するときなどに起こるように、実質的にリアルタイムで、又は非リアルタイムで、ビットストリームをデスティネーションデバイス１１６にトランスポートし得る。
【0031】
[0043] 点群圧縮活動は、２つの異なる手法へと分類される。第１の手法は「ビデオ点群圧縮」（Ｖ－ＰＣＣ）であり、これは、３Ｄオブジェクトをセグメント化し、（２Ｄフレームの中の「パッチ」として表される）複数の２Ｄ平面内にセグメントを投影し、これは、高効率ビデオコーディング（High Efficiency Video Coding、ＨＥＶＣ）（ＩＴＵ－Ｔ Ｈ．２６５）コーデックなどのレガシー２Ｄビデオコーデックによって更にコーディングされる。第２の手法は「座標ベースの点群圧縮」（Ｇ－ＰＣＣ）であり、これは、３Ｄ座標、すなわち、３Ｄ空間の中の点のセットの位置と、（３Ｄ座標に関連する各点に）関連する属性値とを直接圧縮する。Ｇ－ＰＣＣは、カテゴリ１（静的な点群）とカテゴリ３（動的に取得される点群）との両方における点群の圧縮に対処する。
【0032】
[0044] 点群は、３Ｄ空間の中の点のセットを含み、点に関連する属性を有し得る。属性は、Ｒ、Ｇ、Ｂ、若しくはＹ、Ｃｂ、Ｃｒなどの色情報、又は反射率情報、あるいは他の属性とすることができる。点群は、ＬＩＤＡＲセンサ及び３Ｄスキャナなどの様々なカメラ又はセンサによってキャプチャされてもよく、また、コンピュータ生成されてもよい。点群データは、建築（モデリング）、グラフィックス（視覚化及びアニメーションのための３Ｄモデル）、自動車産業（ナビゲーションを支援するために使用されるＬＩＤＡＲセンサ）を含むが、これらに限定されない用途、及びモバイルフォン、タブレットコンピュータ、又は他のモバイルコンピューティングデバイスを含む他の用途において使用される。
【0033】
[0045] 点群データによって占有される３Ｄ空間は、仮想的な境界ボックスによって囲まれ得る。境界ボックスにおける点の位置は、一定の精度で表され得、従って、１つ又は複数の点の位置は、その精度に基づいて量子化され得る。最小レベルにおいて、境界ボックスは、単位立方体によって表される空間の最小単位であるボクセルに分割される。境界ボックスの中のボクセルは、０個、１個、又は１個より多くの点と関連付けられ得る。境界ボックスは、タイルと呼ばれることがある複数の立方体／直方体領域に分割され得る。各タイルは、１つ又は複数のスライスにコーディングされ得る。スライス及びタイルへの境界ボックスの区分は、各区画の中の点の数に基づいてよく、又は他の考慮事項（例えば、特定の領域がタイルとしてコーディングされてよい）に基づいてもよい。スライス領域は、ビデオコーデックにおけるものと同様の分割の決定を使用して更に区分され得る。
【0034】
[0046] 図２は、Ｇ－ＰＣＣエンコーダ２００の概要を提供する。図３は、Ｇ－ＰＣＣデコーダ３００の概要を提供する。図示のモジュールは論理的なものであり、Ｇ－ＰＣＣコーデックのレファレンス実装、すなわち、ＩＳＯ／ＩＥＣ ＭＰＥＧ（ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって検討されたＴＭＣ１３テストモデルソフトウェアにおける実装コードに、必ずしも１対１で対応するものではない。
【0035】
[0047] Ｇ－ＰＣＣエンコーダ２００とＧ－ＰＣＣデコーダ３００との両方において、点群の位置が最初にコーディングされる。属性コーディングは、復号された幾何に依存する。図２及び図３において、灰色の陰影モジュールは典型的に、カテゴリ１データに使われるオプションである。斜線網掛けのモジュールは典型的に、カテゴリ３のデータに使用されるオプションである。他の全てのモジュールは、カテゴリ１とカテゴリ３との間で共通である。
【0036】
[0048] カテゴリ３データの場合、圧縮された幾何は典型的に、ルートから個々のボクセルのリーフレベルまでの八分木として表される。カテゴリ１データの場合、圧縮された幾何は典型的に、刈り込まれた八分木（すなわち、ルートから、ボクセルよりも大きいブロックのリーフレベルまでの八分木）に、刈り込まれた八分木の各リーフ内の表面を近似するモデルを加えたものによって表される。このようにして、カテゴリ１データとカテゴリ３データとの両方が、八分木コーディングメカニズムを共有し、一方、カテゴリ１データは、追加として、表面モデルを用いて各リーフ内のボクセルを近似し得る。使用される表面モデルは、ブロックごとに１から１０個の三角形を備える三角形分割であり、その結果、三角形スープが得られる。
【0037】
[0049] 八分木の各ノードにおいて、その子ノード（最大で８つのノード）のうちの１つ又は複数について、（推測されていないときに）占有がシグナリングされる。（ａ）現在の八分木ノードと面を共有するノード、（ｂ）現在の八分木ノードと面、辺、又は頂点を共有するノードなどを含む、複数の近傍ノードが指定される。各近傍ノード内で、ノード及び／又はその子ノードの占有が、現在のノード又はその子の占有を予測するために使用され得る。八分木のいくつかのノードにおいてまばらに分布する点について、（例えば、Ｇ－ＰＣＣエンコーダ２００又はＧ－ＰＣＣデコーダ３００によって実装されている）コーデックはまた、点の３Ｄ位置が直接符号化される直接コーディングモードをサポートする。直接モードがシグナリングされることを示すために、フラグがシグナリングされ得る。最も低いレベルにおいて、八分木ノード／リーフノードに関連する点の数もコーディングされ得る。
【0038】
[0050] 幾何がコーディングされると、幾何点に対応する属性がコーディングされる。１つの再構成／復号された幾何点に対応する属性点が複数あるとき、再構成された点を表す属性値が導出され得る。
【0039】
[0051] Ｇ－ＰＣＣには、３つの属性コーディング方法、すなわち、領域適応階層変換（Region Adaptive Hierarchical Transform、ＲＡＨＴ）コーディング、補間ベースの階層最近傍予測（予測変換）、及び更新／リフティングステップ付き補間ベースの階層最近傍予測（リフティング変換）がある。ＲＡＨＴ及びリフティングは通常、カテゴリ１データに使用され、予測は通常、カテゴリ３データに使用される。しかしながら、いずれの方法をどのデータに使用してもよく、Ｇ－ＰＣＣにおける幾何コーデックでのように、点群をコーディングするために使用される属性コーディング方法はビットストリームにおいて指定される。
【0040】
[0052] 属性のコーディングは、詳細レベル（level-of-detail、ＬＯＤ）で行われ得、各詳細レベルを用いて、点群属性のもっと細かい表現が取得され得る。各詳細レベルは、近隣のノードからの距離メトリックに基づいて、又はサンプリング距離に基づいて、指定され得る。
【0041】
[0053] Ｇ－ＰＣＣエンコーダ２００において、属性のコーディング方法の出力として取得された残差が量子化される。残差は、現在の点の近傍点に基づいて、かつ以前に符号化された点の属性値に基づいて導出された予測から属性値を減算することによって、取得され得る。量子化された残差は、コンテキスト適応型算術コーディングを使用してコーディングされ得る。
【0042】
[0054] 図２の例では、Ｇ－ＰＣＣエンコーダ２００は、座標変換ユニット２０２、色変換ユニット２０４、ボクセル化ユニット２０６、属性転送ユニット２０８、八分木分析ユニット２１０、表面近似分析ユニット２１２、算術符号化ユニット２１４、幾何再構成ユニット２１６、ＲＡＨＴユニット２１８、ＬＯＤ生成ユニット２２０、リフティングユニット２２２、係数量子化ユニット２２４、及び算術符号化ユニット２２６を含み得る。
【0043】
[0055] 図２の例に示すように、Ｇ－ＰＣＣエンコーダ２００は、点群内の点の位置のセット及び属性のセットを取得し得る。Ｇ－ＰＣＣエンコーダ２００は、点群内の点の位置のセット及び属性のセットをデータソース１０４から取得し得る（図１）。位置は、点群内の点の座標を含み得る。属性は、点群内の点に関連する色など、点群内の点についての情報を含み得る。Ｇ－ＰＣＣエンコーダ２００は、点群内の点の位置の符号化された表現を含む幾何ビットストリーム２０３を生成し得る。Ｇ－ＰＣＣエンコーダ２００はまた、属性のセットの符号化された表現を含む属性ビットストリーム２０５を生成し得る。
【0044】
[0056] 座標変換ユニット２０２は、座標を初期ドメインから変換ドメインに変換するように、点の座標に変換を適用し得る。本開示では、変換された座標を変換座標と呼ぶことがある。色変換ユニット２０４は、属性の色情報を異なるドメインに変換するために変換を適用し得る。例えば、色変換ユニット２０４は、色情報をＲＧＢ色空間からＹＣｂＣｒ色空間に変換し得る。
【0045】
[0057] 更に、図２の例では、ボクセル化ユニット２０６は、変換座標をボクセル化し得る。変換座標のボクセル化は、量子化と、点群のいくつかの点を除去することとを含み得る。言い換えると、点群の複数の点が単一の「ボクセル」内に包含され得、その後、いくつかの寒天において１つの点として扱われ得る。更に、八分木分析ユニット２１０は、ボクセル化された変換座標に基づいて、八分木を生成し得る。加えて、図２の例では、表面近似分析ユニット２１２は、点のセットの表面表現を決定し得るために、点を分析し得る。算術符号化ユニット２１４は、八分木及び／又は表面近似分析ユニット２１２によって決定された表面の情報を表すシンタックス要素をエントロピー符号化し得る。八分木分析ユニット２１０及び算術符号化ユニット２１４はともに、幾何コーディングユニットを形成し得る。いくつかの例では、八分木分析ユニット２１０は、インター予測及び／又はイントラ予測を実施し得る。Ｇ－ＰＣＣエンコーダ２００は、これらのシンタックス要素を幾何ビットストリーム２０３内において出力し得る。幾何ビットストリーム２０３はまた、算術的に符号化されていないシンタックス要素を含む他のシンタックス要素を含み得る。
【0046】
[0058] 幾何再構成ユニット２１６は、八分木、表面近似分析ユニット２１２によって決定された表面を示すデータ、及び／又は他の情報に基づいて、点群内の点の変換座標を再構成し得る。幾何再構成ユニット２１６によって再構成された変換座標の数は、ボクセル化及び表面近似により、点群の点の元の数とは異なり得る。本開示では、結果として得られる点を再構成された点と呼ぶことがある。属性転送ユニット２０８は、点群の元の点の属性を、点群の再構成された点に転送し得る。
【0047】
[0059] 更に、ＲＡＨＴユニット２１８は、ＲＡＨＴコーディングを再構成された点の属性に適用し得る。いくつかの例では、ＲＡＨＴの下で、２ｘ２ｘ２個の点位置のブロックの属性が取られ、１つの方向に沿って変換されて、４つの低周波数ノード（Ｌ）及び４つの高周波数ノード（Ｈ）を取得する。その後、４つの低周波数ノード（Ｌ）は第２の方向に変換されて、２つの低周波数ノード（ＬＬ）及び２つの高周波数ノード（ＬＨ）を取得する。２つの低周波数ノード（ＬＬ）は第３の方向に変換されて、１つの低周波数ノード（ＬＬＬ）及び１つの高周波数ノード（ＬＬＨ）を取得する。低周波数ノードＬＬＬはＤＣ係数に対応し、高周波数ノードＨ、ＬＨ、及びＬＬＨはＡＣ係数に対応する。各方向における変換は、２つの係数重みを用いる１－Ｄ変換であり得る。低周波数係数は、ＲＡＨＴ変換の次に高いレベルについての２ｘ２ｘ２ブロックの係数として取られ得、ＡＣ係数は、変更なしに符号化され、このような変換は、最上位のルートノードまで継続する。符号化のための木走査は、係数に使用される重みを計算するために使用される上から下への走査であり、変換順序は、下から上である。次に、係数は量子化及びコーディングされ得る。
【0048】
[0060] 代わりに又は加えて、ＬＯＤ生成ユニット２２０及びリフティングユニット２２２は、ＬＯＤ処理及びリフティングを、それぞれ、再構成された点の属性に適用し得る。ＬＯＤ生成は、属性を異なる精緻化レベルに分割するために使用される。各精緻化レベルは、点群の属性に精緻化を提供する。第１の精緻化レベルは、粗近似を提供し、少数の点を含み、後続の精緻化レベルは、典型的には、より多くの点を含み、以下同様である。精緻化レベルは、距離ベースのメトリックを使用して構成されてもよく、又は１つ若しくは複数の他の分類基準（例えば、特定の順位からのサブサンプリング）を使用してもよい。よって、精緻化レベルにはすべての再構成された点が含められ得る。各詳細レベルは、すべての点の和集合を特定の精緻化レベルに引き上げることによって生成され、例えば、ＬＯＤ１は精緻化レベルＲＬ１に基づいて取得され、ＬＯＤ２はＲＬ１及びＲＬ２に基づいて取得され、ＬＯＤＮはＲＬ１、ＲＬ２、．．．ＲＬＮの和集合によって取得される。場合によっては、ＬＯＤ生成の後に、ＬＯＤ内の各点に関連する属性が先行点の加重平均から予測され、残差が量子化及びエントロピー コーディングされる予測スキーム（予測変換など）が続くことがある。リフティングスキームは、係数を更新するために更新演算子が使用され、係数の適応量子化が実施される、予測変換メカニズム上に構成される。
【0049】
[0061] ＲＡＨＴユニット２１８及びリフティングユニット２２２は、属性に基づいて係数を生成し得る。係数量子化ユニット２２４は、ＲＡＨＴユニット２１８又はリフティングユニット２２２によって生成された係数を量子化し得る。算術符号化ユニット２２６は、量子化された係数を表すシンタックス要素に算術コーディングを適用し得る。Ｇ－ＰＣＣエンコーダ２００は、これらのシンタックス要素を属性ビットストリーム２０５において出力し得る。属性ビットストリーム２０５はまた、非算術的に符号化されたシンタックス要素を含む他のシンタックス要素を含み得る。
【0050】
[0062] 図３の例では、Ｇ－ＰＣＣデコーダ３００は、幾何算術復号ユニット３０２、属性算術復号ユニット３０４、八分木合成ユニット３０６、逆量子化ユニット３０８、表面近似合成ユニット３１０、幾何再構成ユニット３１２、ＲＡＨＴユニット３１４、ＬｏＤ生成ユニット３１６、逆リフティングユニット３１８、逆座標変換ユニット３２０、及び逆色変換ユニット３２２を含み得る。
【0051】
[0063] Ｇ－ＰＣＣデコーダ３００は、幾何ビットストリーム２０３及び属性ビットストリーム２０５を取得し得る。デコーダ３００の幾何算術復号ユニット３０２は、幾何ビットストリーム２０３内におけるシンタックス要素に算術復号（例えば、コンテキスト適応型バイナリ算術コーディング（Context-Adaptive Binary Arithmetic Coding、ＣＡＢＡＣ）又は他のタイプの算術復号）を適用し得る。同様に、属性算術復号ユニット３０４は、属性ビットストリーム２０５におけるシンタックス要素に算術復号を適用し得る。
【0052】
[0064] 八分木合成ユニット３０６は、幾何ビットストリーム２０３から解析されたシンタックス要素に基づいて八分木を合成し得る。八分木合成ユニット３０６は、幾何算術復号ユニット３０２とともに、Ｇ－ＰＣＣデコーダ３００の幾何復号ユニットを形成し得る。八分木のルートノードから始め、各八分木レベルにおける８つの子ノードの各々の占有は、ビットストリームにおいてシグナリングされる。シグナリングが、特定の八分木レベルにおける子ノードが占有されていることを示すとき、この子ノードの子の占有がシグナリングされる。各八分木レベルにおけるノードのシグナリングは、後続の八分木レベルに進む前に行われる。八分木の最終レベルでは、各ノードはボクセル位置に対応し、リーフノードが占有されているとき、１つ又は複数の点が、ボクセル位置において占有されるように指定され得る。いくつかのインスタンスでは、量子化に起因して八分木のいくつかの枝は最終レベルよりも前に終端することがある。このような場合、リーフノードは、子ノードを有さない占有されたノードと見なされる。いくつかの例では、八分木合成ユニット３０６は、インター予測及び／又はイントラ予測を実施し得る。幾何ビットストリーム２０３内において表面近似が使用されるインスタンスでは、表面近似合成ユニット３１０は、幾何ビットストリーム２０３から解析されたシンタックス要素に基づき、かつ八分木に基づいて、表面モデルを決定し得る。いくつかの例では、インター予測は、表面モデルを決定するために表面近似合成ユニット３１０によって実施されるプロセスの一部であり得る。
【0053】
[0065] 更に、幾何再構成ユニット３１２は、点群内の点の座標を決定するために、再構成を実施し得る。八分木のリーフノードにおける各位置について、幾何再構成ユニット３１２は、八分木内のリーフノードのバイナリ表現を使用することによって、ノード位置を再構成し得る。各それぞれのリーフノードにおいて、それぞれのリーフノードにおける点の数がシグナリングされ、これは、同じボクセル位置における重複点の数を示す。幾何量子化が使用されるとき、点位置は、再構成された点位置値を決定するためにスケーリングされる。
【0054】
[0066] 逆座標変換ユニット３２０は、点群内の点の再構成された座標（位置）を変換ドメインから初期ドメインに逆戻しするために、逆変換を再構成された座標に適用し得る。点群内の点の位置は、浮動小数点ドメイン内であってもよいが、Ｇ－ＰＣＣコーデックにおける点位置は整数ドメイン内でコーディングされる。逆変換は、位置を元のドメインに変換し戻すために使用され得る。
【0055】
[0067] 加えて、図３の例では、逆量子化ユニット３０８は属性値を逆量子化し得る。属性値は、属性ビットストリーム２０５から取得されたシンタックス要素（例えば、属性算術復号ユニット３０４によって復号されたシンタックス要素を含む）に基づき得る。
【0056】
[0068] 属性値がどのように符号化されているかに応じて、ＲＡＨＴユニット３１４は、逆量子化された属性値に基づいて、点群の点に対する色値を決定するために、ＲＡＨＴコーディングを実施し得る。ＲＡＨＴ復号は、木の上から下へ行われる。各レベルにおいて、逆量子化プロセスから導出された低周波数係数及び高周波数係数を使用して、構成値が導出される。リーフノードにおいて、導出された値は係数についての属性値に対応する。点についての重み導出プロセスは、Ｇ－ＰＣＣエンコーダ２００で使用されるプロセスと同様である。代わりに、ＬＯＤ生成ユニット３１６及び逆リフティングユニット３１８が、詳細のレベルベースの技法を使用して、点群の点についての色値を決定し得る。ＬＯＤ生成ユニット３１６は各ＬＯＤを復号して、点の属性を漸進的にもっと細かく表現する。予測変換を用いて、ＬＯＤ生成ユニット３１６は、前のＬＯＤ内にある、又は同じＬＯＤ内で以前に再構成された点の加重和 から、点の予測値を導出する。ＬＯＤ生成ユニット３１６は、属性の再構成値を取得するために、予測値を（逆量子化後に取得される）残差に加算し得る。リフティング方式が使用されるとき、ＬＯＤ生成ユニット３１６はまた、属性値を導出するために使用される係数を更新するための更新演算子を含め得る。この場合、ＬＯＤ生成ユニット３１６はまた、逆適応量子化を適用し得る。
【0057】
[0069] 更に、図３の例では、逆色変換ユニット３２２は、色値に逆色変換を適用し得る。逆色変換は、エンコーダ２００の色変換ユニット２０４によって適用される色変換の逆であり得る。例えば、色変換ユニット２０４は、色情報をＲＧＢ色空間からＹＣｂＣｒ色空間に変換し得る。これに応じて、逆色変換ユニット３２２は、色情報を、ＹＣｂＣｒ色空間からＲＧＢ色空間に変換し得る。
【0058】
[0070] 図２及び図３の様々なユニットは、エンコーダ２００及びデコーダ３００によって実施される動作を理解することを助けるために示されている。ユニットは、固定機能回路、プログラマブル回路、又はこれらの組み合わせとして実装され得る。固定機能回路は、特定の機能性を提供する回路を指し、実施できる動作があらかじめ決められている。プログラマブル回路は、様々なタスクを実施するようにプログラムされ得る回路を指し、実施できる動作においてフレキシブルな機能性を提供する。例えば、プログラマブル回路は、ソフトウェア又はファームウェアの命令によって定義される方式で、プログラマブル回路を動作させるソフトウェア又はファームウェアを実行し得る。固定機能回路は（例えば、パラメータを受信するか又はパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは一般に不変である。いくつかの例では、ユニットのうちの１つ又は複数は、別個の回路ブロック（固定機能又はプログラマブル）であってもよく、いくつかの例では、ユニットのうちの１つ又は複数は集積回路であってもよい。
【0059】
[0071] 角度コーディングモードは、典型的なＬｉＤＡＲセンサのセンサ特性を使用することによって、平面モードのコーディング効率を改善する。角度コーディングモードはオプションで、平面モードと共に使用され、典型的なＬｉＤＡＲセンサにおける感知レーザビームの位置及び角度の知識を利用することによって、垂直（ｚ）平面位置シンタックス要素のコーディングを改善する。更に、角度コーディングモードは任意選択で、推測直接コーディングモード（inferred direct coding mode、ＩＤＣＭ）における垂直のｚ位置ビットのコーディングを改善するために使用され得る。
【0060】
[0072] 方位角コーディングモードは角度モードと類似し、角度モードを平面モードの（ｘ）及び（ｙ）平面位置シンタックス要素のコーディングに拡張したものであり、ＩＤＣＭにおけるｘ又はｙ位置ビットのコーディングを改善する。「角度モード」は、以下の節では方位角モードを指す場合もある。
【0061】
[0073] インター予測は、点群データの異なるフレーム間の冗長性を利用する技法である。点群データのフレーム間のいくつかの冗長性は、点群データを生成するセンサに対するオブジェクトの並進又は回転動きの結果である。動きパラメータは、このような動きを特徴付けるために使用され得る。いくつかの例では、Ｇ－ＰＣＣに関わる動きパラメータは、グローバル動きパラメータ及びローカルノード動きベクトルの２種類がある。グローバル動きパラメータは回転行列及び並進ベクトルとして定義され、予測（参照）フレームの中のすべての点に適用される。八分木のノードのローカルノード動きベクトルは、予測（参照）フレーム内のノード内の点にのみ適用される、動きベクトルである。例示的な動き推定アルゴリズムの詳細を以下に説明する。
【0062】
[0074] 図４は、例示的な動き推定アルゴリズムを示すフローチャートである。入力予測（参照）フレーム４００及び現在のフレーム４０２が与えられると、Ｇ－ＰＣＣエンコーダ２００はまず、グローバルスケールでグローバル動きを推定し得る（４０４）。予測フレーム４００及び現在のフレーム４０２の各々は、点群を表す。言い換えれば、予測フレーム４００及び現在のフレーム４０２の各々は、別個の点群データを備える。現在のフレーム４０２は、Ｇ－ＰＣＣエンコーダ２００が現在符号化している点群を表し得る。予測フレーム４００は、Ｇ－ＰＣＣエンコーダ２００が以前に再構成した点群を表し得る。予測フレーム４００によって表される点群は、現在のフレーム４０２によって表される点群よりも前の時間に対応し得る。
【0063】
[0075] グローバル動きを推定した後、Ｇ－ＰＣＣエンコーダ２００は、推定されたグローバル動きを予測フレーム４００に適用し得る（４０６）。言い換えれば、Ｇ－ＰＣＣエンコーダ２００は、推定されたグローバル動きに基づいて、予測フレーム４００に対して動き補償を実施し得る。例えば、Ｇ－ＰＣＣエンコーダ２００は、推定されたブロック動きに基づいて、予測フレーム４００の中の点を回転又は並進させ得る。Ｇ－ＰＣＣエンコーダ２００は、予測フレーム４００と現在のフレーム４０２との比較に基づいて、グローバル動きを推定し得る。
【0064】
[0076] 予測に対してグローバル動きを適用した後、Ｇ－ＰＣＣエンコーダ２００は、もっと細かいスケールで、例えば八分木のノードレベルでローカル動きを推定し得る。言い換えれば、Ｇ－ＰＣＣエンコーダ２００は、ローカルノード動き推定を実施し得る（４０８）。例えば、Ｇ－ＰＣＣエンコーダ２００は、個々のノードについて、予測フレーム４００の元のバージョン又はグローバル動き補償が適用された予測フレーム４００のバージョンに基づいて、ノードについて動き補償を実施すべきかどうかを決定し得る。いくつかの例では、ローカルノード動き推定を実施することの一部として、Ｇ－ＰＣＣエンコーダ２００は、ノードについて動きベクトルを決定し得る。
【0065】
[0077] Ｇ－ＰＣＣエンコーダ２００は、推定されたローカルノード動きを動き補償に適用し得る（４１０）。推定されたロケーションノード動きを適用することにより、ノード内の点の予測位置を生成し得る。言い換えれば、Ｇ－ＰＣＣエンコーダ２００は、ローカルノード動き推定に基づいて、ノードに対して動き補償を実施し得る。Ｇ－ＰＣＣエンコーダ２００は、ノードの点の予測位置に基づいて、ノード内の点を符号化し得る。例えば、Ｇ－ＰＣＣエンコーダ２００は、ノードの点とノードの対応する予測点との間の変位を示すデータを符号化し得る。Ｇ－ＰＣＣエンコーダ２００はまた、ノードの動きベクトルが存在する場合、それを符号化し得る。
【0066】
[0078] インター予測の目的で、点群は、最大予測単位（ＬＰＵｓ）に分割され得る。ＬＰＵは、サブ予測ユニット（prediction units、ＰＵｓ）に再帰的に区分され、よって、予測木を形成し得る。図４を参照して言及される「ノード」は、ＬＰＵ又はＰＵであり得る。
【0067】
[0079] いくつかの例では、ＬＰＵには、車両ＬＰＵと世界ＬＰＵとを含む、２つのコーディングモードがある。言い換えれば、各ＬＰＵは、車両ＬＰＵ又は世界ＬＰＵのいずれかであり得る。「車両ＬＰＵ」及び「世界ＬＰＵ」という用語は、自律走行車両などの移動中車両上のセンサによって点群データが生成されるユースケースから生じる。一般に、車両自体を表す点群データの点は、センサが車両上の固定位置にあるので、センサの位置に対して移動しない。同様に、車両が走行している道路を表す点は、（例えば、道路は一般に平坦で滑らかであるため）フレームごとにあまり変化しない傾向がある。他方で、車両及び道路以外の世界の他のオブジェクトを表す点群データの点は、センサの位置に対して移動する。これに応じて、車両を表す点と世界内のオブジェクトを表す点とについてインター予測を異なって実施することに関連するコーディング効率が存在し得る。
【0068】
[0080] ＬＰＵが車両ＬＰＵであるか世界ＬＰＵであるかにかかわらず、ＬＰＵ内のすべてのＰＵは、同じ参照フレームを使用して予測される。車両ＬＰＵ内のＰＵを予測するために使用される参照フレームは、以前に再構成された点群であり、世界ＬＰＵ内のＰＵを予測するために使用される参照フレームは、グローバル動きを使用して以前に再構成された点群の補償された点群である。これは、センサが車両上に固定位置を有し、車両を表す点群データ内の点がセンサに対して回転又は並進しないためである。逆に、センサは、世界に対して回転又は並進してもよい。従って、グローバル動き推定を適用せずに、車両を表す点を符号化し、グローバル動き推定を適用して、世界を表す点を符号化することが、より効率的であり得る。
【0069】
[0081] いくつかの例では、車両ＬＰＵ又は世界ＬＰＵ内のＰＵを予測するために使用される参照フレームは、閾値を使用して生成されたフレームであり得る。これらの閾値は、点群を道路及びオブジェクトにセグメント化するために使用され得る。点の垂直座標が２つの閾値の間にある場合、その点は道路として分類される。Ｇ－ＰＣＣエンコーダ２００は、点群データの異なるエリアにおける動きの量に基づいて、点群を１つ又は複数の車両ＬＰＵと１つ又は複数の世界ＬＰＵとに区分し得る。ＬＰＵの推定された動きが閾値を上回る場合、Ｇ－ＰＣＣエンコーダ２００は、ＬＰＵを世界ＬＰＵとして分類し得る。そうでない場合、Ｇ－ＰＣＣエンコーダ２００は、ＬＰＵを車両ＬＰＵとして分類し得る。この例では、参照フレームを生成するために、オブジェクトの点にはグローバル動きが適用され、道路の点（例えば、車両が走行している道路を表す点）には０動きが適用される。
【0070】
[0082] 図５は、最大予測ユニット（ＬＰＵ）を予測ユニット（ＰＵ）木に分割する一例を示す概念図である。言い換えれば、図５にＬＰＵのＰＵ木への区分プロセスが示されている。図５の例では、Ｇ－ＰＣＣエンコーダ２００は、（「以前に再構成された群」として図５に示される）点群を表すフレーム５００を以前に再構成している。Ｇ－ＰＣＣエンコーダ２００は、グローバル動き補償をフレーム５００に適用して、世界参照フレーム５０２を生成し得る。車両参照フレーム５０４は、単にフレーム５００のコピーとすることができる。
【0071】
[0083] 更に、図５の例では、Ｇ－ＰＣＣエンコーダ２００は、現在のフレーム５０６（図５では「現在の群」として示される）を符号化している。現在のフレーム５０６は、現在のＬＰＵ５０８を含む。Ｇ－ＰＣＣエンコーダ２００は、現在のＬＰＵ５０８内の点に対応する点について、車両参照フレーム５０４中のコロケートＬＰＵ５１２を囲むウィンドウ５１０（例えば、アクティブウィンドウＷｖ）を探索し得る。加えて、Ｇ－ＰＣＣエンコーダ２００は、現在のＬＰＵ５０８内の点に対応する点について、世界参照フレーム５０２中のコロケートＬＰＵ５１６を囲むウィンドウ５１４（例えば、アクティブウィンドウＷｗ）を探索し得る。コロケートＬＰＵ５１２及びコロケートＬＰＵ５１６は、現在のＬＰＵ５０８とコロケートされる。よって、アクティブウィンドウは、参照フレーム中のコロケート参照ＬＰＵの拡張エリアである。Ｇ－ＰＣＣエンコーダ２００は、ウィンドウ５１０又はウィンドウ５１４中の点が現在のＬＰＵ５０８中の点により良く一致しているかどうかを決定し得る。ウィンドウ５１０中の点がより良く一致している場合、Ｇ－ＰＣＣエンコーダ２００は、現在のＬＰＵ５０８を車両ＬＰＵとして分類し得る。ウィンドウ５１０中の点がより良く一致している場合、Ｇ－ＰＣＣエンコーダ２００は、現在のＬＰＵ５０８を世界ＬＰＵとして分類し得る。アクティブウィンドウ中のすべての点は、歪み比較を使用してＬＰＵモードを決定するために使用される。
【0072】
[0084] 現在のＬＰＵ５０８を分類した後、Ｇ－ＰＣＣエンコーダ２００は、現在のＬＰＵ５０８をＰＵ（すなわち、サブＰＵ）に再帰的に分割し得る（５１８）。ＬＰＵのサブＰＵへの分割は、深度０又はＬＰＵレベルから始まり、最大深度まで（又はＰＵサイズが最小許容サイズＭｉｎＰＵｓｉｚｅに達するときまで）行われる。各深度における分割は、レート歪み最適化プロセスを使用して決定される。分割のないレート歪みコストが最初に計算される。動き探索は、現在のＰＵと参照フレーム中の対応するＰＵとの間で最小の歪みを有する最良の動きを見つけるために行われる。分割のないレート歪みコストは、動きの歪み及びシグナリングオーバーヘッドを使用して導出される。分割のないレート歪みコストが取得されると、Ｇ－ＰＣＣエンコーダ２００は、ＰＵを次の深度における８つの子ノードに分割することをテストし得る。分割のあるレート歪みコストは、８つの子ノードのコストの合計である。ＰＵが分割されるか否かを決定するために、分割のあるコストと分割のないコストとが比較される。以下の情報が、現在のＬＰＵ５０８についてＧ－ＰＣＣデコーダ３００にシグナリングされ得る。まず、ＬＰＵタイプが符号化される。ＬＰＵタイプは、ＬＰＵが車両ＬＰＵであるか世界ＬＰＵであるかを示し得る。次に、ＰＵ木の各深度における現在のＬＰＵ５０８のＰＵの分割がシグナリングされる。ＰＵが分割されていない場合、Ｇ－ＰＣＣエンコーダ２００は、関連する動き（すなわち、ＰＵに関連する動き）をシグナリングし得る。
【0073】
[0085] いくつかの例では、インター予測は、角度モードが無効にされた平面モードコーディングを含む占有コーディングにおいて使用される。言い換えれば、インター予測は、幾何八分木内のノードが１つ又は複数の点によって占有されているか否かを符号化する過程で使用され得る。いくつかの例では、参照ノードは、グローバル動きを使用して予測フレームを補償することによって導出される参照フレーム中のコロケートノードである。参照ノードが得られると、同じサイズの８つの立方体子ノードに分割される。
【0074】
[0086] 参照ノードの各子ノードにおける点が、インター予測占有（ｐｒｅｄＯｃｃｕｐａｎｃｙ）及び予測占有ストロング（ｐｒｅｄＯｃｃｕｐａｎｃｙＳｔｒｏｎｇ）を形成するためにカウントされる。子ノード内に少なくとも１つの点がある場合、ｐｒｅｄＯｃｃｕｐａｎｃｙ内の（８ビットのうちの）対応するビットが１に等しいように設定される。そうでない場合、対応するビットは０に等しいように設定される。他方で、子ノード内の点の数が２より大きい場合、ｐｒｅｄＯｃｃｕｐａｎｃｙＳｔｒｏｎｇ内の対応するビットが１に等しいように設定される。そうでない場合、ビットは０に等しいように設定される。
【0075】
[0087] 次に、インター予測の質が、「ｏｃｃｕｐａｎｃｙＩｓＰｒｅｄｉｃｔａｂｌｅ」と呼ばれるパラメータによって評価される。ノードのｏｃｃｕｐａｎｃｙＩｓＰｒｅｄｉｃｔａｂｌｅの値は、予測が誤った兄弟の数によって導出される。図６に示すように、親ノードの占有を親の参照ノードの占有と比較することによって、予測が誤った兄弟（例えば、ｎｕｍＳｉｂｌｉｎｇｓＭｉｓｐｒｅｄｉｃｔｅｄ）の数が計算される。現在のノードのｐｒｅｄＯｃｃｕｐａｎｃｙが０であるか、又は予測が誤った兄弟の数が５より大きい場合、ｏｃｃｕｐａｎｃｙＩｓＰｒｅｄｉｃｔａｂｌｅが０に等しいように設定される。そうでない場合、ｏｃｃｕｐａｎｃｙＩｓＰｒｅｄｉｃｔａｂｌｅが１に等しいように設定される。
【0076】
[0088] 図６は、誤予測された兄弟の数を取得するための、親ノード６００及び親ノード６００の参照ノード６０２の占有を示す概念図である。図６の例では、Ｇ－ＰＣＣエンコーダ２００又はＧ－ＰＣＣデコーダ３００は、誤予測された／予測が誤った兄弟（例えば、ｎｕｍＳｉｂｌｉｎｇｓＭｉｓｐｒｅｄｉｃｔｅｄ）の数を取得するために、親ノード６００と参照ノード６０２との占有を比較し得る（６０４）。親ノード６００内の子ノードの占有ビットと、参照ノード６０２内の対応するノードの占有ビットとが異なる場合、この子ノードが誤予測されたと見なされる。
【0077】
[0089] Ｇ－ＰＣＣエンコーダ２００又はＧ－ＰＣＣデコーダ３００は、ｐｒｅｄＯｃｃｕｐａｎｃｙ、ｐｒｅｄＯｃｃｕｐａｎｃｙＳｔｒｏｎｇ、平面コピーモード適格性、及びＩＤＣＭ適格性を更新するために、ｏｃｃｕｐａｎｃｙＩｓＰｒｅｄｉｃｔａｂｌｅを更新し得る。ｏｃｃｕｐａｎｃｙＩｓＰｒｅｄｉｃｔａｂｌｅが０に等しい場合、ｐｒｅｄＯｃｃｕｐａｎｃｙ、ｐｒｅｄＯｃｃｕｐａｎｃｙＳｔｒｏｎｇ、及び平面コピーモード適格性は０に等しいように設定される。ｏｃｃｕｐａｎｃｙＩｓＰｒｅｄｉｃｔａｂｌｅが１である場合、ＩＤＣＭは現在のＩｎｔｅｒＥＭ内のこのノードに対して無効にされる。
【0078】
[0090] ノードが平面コピーモード（ＰＣＭ）を使用して符号化されている場合、Ｇ－ＰＣＣエンコーダ２００は、このノードの平面情報をＧ－ＰＣＣデコーダ３００にシグナリングしない。むしろ、Ｇ－ＰＣＣエンコーダ２００及びＧ－ＰＣＣデコーダは、ｐｒｅｄＯｃｃｕｐａｎｃｙから生成された参照ノード６０２の平面情報から、ＰＣＭコード化ノードの３つの方向における平面モード及び平面位置をコピーする。
【0079】
[0091] ＰＣＭノード及び非ＰＣＭノードの例は、それぞれ図７Ａ及び図７Ｂに示される。言い換えれば、図７Ａ及び図７Ｂは、ＰＣＭモード及び非ＰＣＭモードの例を示す概念図である。図７Ａの例では、現在のノード７００は上部ブロックにのみ点を有し、参照ノード７０２もまた、上部ブロックにのみ点を有する。よって、現在のノード７００と参照ノード７０２は、３つの次元における同じ平面モード及び平面位置を共有し得る。図７Ｂにおいて、現在のノード７０４は、上部ブロックにのみ点を有する。しかしながら、図７Ｂでは、現在のノード７０４に対する参照ノード７０６は、上部ブロック及び下部ブロック内に点を有する。よって、図７Ｂでは、現在のノード７０４と参照ノード７０６は、３つの次元における平面モード及び平面位置を共有しない。非ＰＣＭコード化ノードに対して、参照ノードの平面情報は、平面モード及び平面位置コーディングのコンテキスト選択においてより多くの柔軟性を提供するために使用される。
【0080】
[0092] いくつかの例では、インター予測は、占有コーディングを改善するために使用される。例えば、現在のノードの占有ビットを符号化するために、コンテキスト選択においてインター予測が使用され得る。これを以下に示す。
ＧｅｏｍｅｔｒｙＯｃｔｒｅｅＥｎｃｏｄｅｒ：：ｅｎｃｏｄｅＯｃｃｕｐａｎｃｙＮｅｉｇｈＮＺ（）及びＧｅｏｍｅｔｒｙＯｃｔｒｅｅＥｎｃｏｄｅｒ：：ｅｎｃｏｄｅＯｃｃｕｐａｎｃｙＮｅｉｇｈＺ（）は次のように機能する。
／／この部分は、現在のノードの子ノードの占有ビットを符号化するためのものである。
ｉｎｔ ｃｔｘＩｄｘＭａｐＩｄｘ＝４＊ｉｄｘＡｄｊ；／／この部分は、隣接ノードの占有を使用して得られる。
ｃｔｘＩｄｘＭａｐＩｄｘ＝４＊ｉｄｘＡｄｊ＋ｂｉｔＩｓＰｒｅｄｉｃｔｅｄ＋ｂｉｔＰｒｅｄｉｃｔｉｏｎ／／イントラ予測
＋ ！！ｍａｐｐｅｄＰｒｅｄ＋ｂｉｔＰｒｅｄ＋ｂｉｔＰｒｅｄＳｔｒｏｎｇ；／／インター予測
．．．
ａｕｔｏ＆ ｃｔｘＩｄｘＭａｐ＝＿ｃｔｘＩｄｘＭａｐｓ［ｃｔｘＩｄｘＭａｐＩｄｘ］；
ｃｔｘＩｄｘ＝ｃｔｘＩｄｘＭａｐ．ｅｖｏｌｖｅ（ｂｉｔ，＆ｃｔｘＩｄｘＭａｐ［ｉ］［ｎｕｍＯｃｃｕｐｉｅｄＡｃｃ］）；
＿ａｒｉｔｈｍｅｔｉｃＥｎｃｏｄｅｒ－＞ｅｎｃｏｄｅ（ｂｉｔ，＿ｃｔｘＯｃｃｕｐａｎｃｙ［ｃｔｘＩｄｘ］）；
ＧｅｏｍｅｔｒｙＯｃｔｒｅｅＥｎｃｏｄｅｒ：：ｅｎｃｏｄｅＯｃｃｕｐａｎｃｙＮｅｉｇｈＮＺ（）及びＧｅｏｍｅｔｒｙＯｃｔｒｅｅＥｎｃｏｄｅｒ：：ｅｎｃｏｄｅＯｃｃｕｐａｎｃｙＮｅｉｇｈＺ（）は次のように機能する。
／／この部分は、現在のノードの子ノードの占有ビットを符号化するためのものである。
ｉｎｔ ｃｔｘＩｄｘＭａｐＩｄｘ＝４＊ｉｄｘＡｄｊ；／／この部分は、隣接ノードの占有を使用して得られる。
ｃｔｘＩｄｘＭａｐＩｄｘ＝４＊ｉｄｘＡｄｊ＋ｂｉｔＩｓＰｒｅｄｉｃｔｅｄ＋ｂｉｔＰｒｅｄｉｃｔｉｏｎ／／イントラ予測
＋ ！！ｍａｐｐｅｄＰｒｅｄ＋ｂｉｔＰｒｅｄ＋ｂｉｔＰｒｅｄＳｔｒｏｎｇ；／／インター予測
．．．
ａｕｔｏ＆ ｃｔｘＩｄｘＭａｐ＝＿ｃｔｘＩｄｘＭａｐｓ［ｃｔｘＩｄｘＭａｐＩｄｘ］；
ｃｔｘＩｄｘ＝ｃｔｘＩｄｘＭａｐ．ｅｖｏｌｖｅ（ｂｉｔ，＆ｃｔｘＩｄｘＭａｐ［ｉ］［ｎｕｍＯｃｃｕｐｉｅｄＡｃｃ］）；
＿ａｒｉｔｈｍｅｔｉｃＥｎｃｏｄｅｒ－＞ｅｎｃｏｄｅ（ｂｉｔ，＿ｃｔｘＯｃｃｕｐａｎｃｙ［ｃｔｘＩｄｘ］）；
【0081】
[0093] 上記のコードでは、ｉｄｘＡｄｊは、隣接ノードの占有を用いて決定される。ｂｉｔＩｓＰｒｅｄｉｃｔｅｄ及びｂｉｔＰｒｅｄｉｃｔｉｏｎは、イントラ予測を使用して導出される占有ビットである。インターフレームでは、これらのパラメータは０に等しいように設定される。！！ｍａｐｐｅｄＰｒｅｄは、インター参照ブロックの予測占有が０であるか否かを示す。ｃｔｘＩｄｘＭａｐｓは、コンテキストマップアドレスを含む。ｂｉｔＰｒｅｄ及びｂｉｔＰｒｅｄＳｔｒｏｎｇは、ｐｒｅｄＯｃｃｕｐａｎｃｙ及びｐｒｅｄＯｃｃｕｐａｎｃｙＳｔｒｏｎｇにおける子ノードの対応するビットである。上記のコードにおいて、ｅｖｏｌｖｅ関数は、ビット値をコーディングするために使用されるコンテキストインデックスを計算する。
【0082】
[0094] Ｇ－ＰＣＣの特定の実装には、区分、及びＰＵの動き情報のシグナリングにおける問題を含む、１つ又は複数の問題が存在し得る。例えば、区分では、ＬＰＵは、３つの方向におけるノードのサイズが同一である立方体ノードであり得る。しかしながら、点群がＱＴ－ＢＴ（四分木、二分木）区分を使用して分割されるとき、又はノードが点群の境界に沿って位置するとき、それはノードのサイズと整列していない場合がある。ＰＵの動き情報のシグナリングでは、ＰＵの並進動きの値が直接シグナリングされる。現在のＰＵの動きは、兄弟ＰＵ又は親ＰＵと高い相関を有し得ることに留意されたい。従って、動き予測コーディングは、動き値を直接シグナリングすることと比較して、より良い性能を有し得る。加えて、Ｇ－ＰＣＣの１つの例示的な実装では、ＰＵが分割されていないとき、動きは常にシグナリングされる。場合によっては、参照フレーム中のコロケートＰＵ内に、動き補償を実施するための点がない。これらの場合に動きをシグナリングすることは、冗長である。本開示は、上記の問題を解決するためのいくつかの技法を開示する。
【0083】
[0095] 本開示の技法によれば、ＬＰＵは、｛ｌｐｕＸ，ｌｐｕＹ，ｌｐｕＺ｝として定義される、異なる方向において異なるサイズを有し得、ここで、ｌｐｕＸ、ｌｐｕＹ、ｌｐｕＺは正の数である。例えば、ＬＰＵは、第１の方向（例えば、ｘ、ｙ、又はｚ方向）において第１のサイズを有し得、ＬＰＵは、第２の方向において第１のサイズとは異なる第２のサイズを有し得る。一例では、ＬＰＵサイズは、八分木幾何コーディングによって決定される群のＱＴ－ＢＴ分割と整列し得る。
【0084】
[0096] よって、Ｇ－ＰＣＣエンコーダ２００は、点群データが複数のＬＰＵに分割され、ＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有すると決定し得る。本開示では、点群は、完全な点群又は点群の一部分を指し得る。Ｇ－ＰＣＣエンコーダ２００は、ＬＰＵについての予測点を決定するために、インター予測を実施し得る。Ｇ－ＰＣＣエンコーダ２００は、ＬＰＵについての予測点に基づいて、ＬＰＵ内の点を符号化し得る。同様に、Ｇ－ＰＣＣデコーダ３００は、点群データが複数のＬＰＵに分割され、ＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有すると決定し得る。Ｇ－ＰＣＣデコーダ３００は、ＬＰＵについての予測点を決定するために、インター予測を実施し得る。Ｇ－ＰＣＣデコーダ３００は、ＬＰＵについての予測点に基づいて、ＬＰＵ内の点を再構成し得る。
【0085】
[0097] クラウドは、インター予測のために、ＬＰＵに柔軟に分割され得る。例えば、点群のＬＰＵへの分割は、以下に説明される１つ又は複数のパラメータによって制御され得る。
【0086】
[0098] 各次元すなわち、ｘ、ｙ、及びｚ）について、分割が次元に沿って行われるかどうかの指示がシグナリングされ得る。例えば、ｘ次元についてフラグ（例えば、ｓｐｌｉｔ＿ｌｐｕ＿ｘ）がシグナリングされ得る。この例では、１に等しいｓｐｌｉｔ＿ｌｐｕ＿ｘは、ＬＰＵを生成するために点群がｘ次元に沿って分割され得ることを示す。０に等しいｓｐｌｉｔ＿ｌｐｕ＿ｘは、ＬＰＵを生成するために点群がｘ次元に沿って分割されないことを示す。同様のフラグ（例えば、ｓｐｌｉｔ＿ｌｐｕ＿ｙ及びｓｐｌｉｔ＿ｌｐｕ＿ｚ）が、ｙ及びｚ次元についてシグナリングされ得る。
【0087】
[0099] いくつかの例では、各次元（すなわち、ｘ、ｙ、及びｚ）について、次元に沿ったＬＰＵサイズが、あらかじめ決定されてもよく、又はシグナリングされてもよい。ある次元に沿ったＬＰＵサイズは、ボクセル数、ボクセル数の対数、又は別の方法で指定され得る。例えば、シンタックス要素（例えば、ＬＰＵ＿ｓｉｚｅ＿ｘ）は、ｘ次元に沿ったＬＰＵサイズを示すように指定され得る。同様のシンタックス要素（例えば、ＬＰＵ＿ｓｉｚｅ＿ｙ及びＬＰＵ＿ｓｉｚｅ＿ｚ）が、ｙ及びｚ次元についてシグナリングされ得る。この例では、シンタックス要素ＬＰＵ＿ｓｉｚｅ＿ｘ、ＬＰＵ＿ｓｉｚｅ＿ｙ、及びＬＰＵ＿ｓｉｚｅ＿ｚは、異なる値を有し得る。
【0088】
[0100] いくつかの例では、次元に沿ったＬＰＵサイズは、その次元に沿った分割が有効にされると指定又は示されるときのみ、シグナリングされ得る。例えば、ｘ次元に沿った分割が有効にされ得ることをｓｐｌｉｔ＿ｌｐｕ＿ｘが示すときのみ、ＬＰＵ＿ｓｉｚｅ＿ｘは、ｘ次元に沿ったＬＰＵのサイズを示すためにシグナリングされ得る。更に、いくつかの例では、各次元に沿ったＬＰＵサイズの対数が、ＬＰＵサイズの代わりにシグナリングされ得る。例えば、ｘ方向に沿ったＬＰＵサイズの値がｋである場合、シグナリングされる値はｌｏｇ２（ｋ）である。
【0089】
[0101] いくつかの例では、各次元（すなわち、ｘ、ｙ、及びｚ）について、次元に沿ったＬＰＵサイズの値は、（ａ）次元に沿って分割が有効にされるかどうか、及び（ｂ）次元に沿ったＬＰＵのサイズも示すために使用され得る。例えば、０に等しいＬＰＵ＿ｓｉｚｅ＿ｘは、ＬＰＵを生成するために点群がｘ次元に沿って分割されないことを指定し得る。０より大きいＬＰＵ＿ｓｉｚｅ＿ｘは、ＬＰＵを生成するために点群がｘ次元に沿って分割されること、及びｘ次元に沿ったＬＰＵのサイズがＬＰＵ＿ｓｉｚｅ＿ｘであることを指定し得る。同じ意味論が、ＬＰＵ＿ｓｉｚｅ＿ｙ及びＬＰＵ＿ｓｉｚｅ＿ｚに関して適用され得る。
【0090】
[0102] よって、このような例では、Ｇ－ＰＣＣエンコーダ２００は、ｘ、ｙ、及びｚ方向のうちの少なくとも１つの方向について、点群データの分割がその方向において有効にされるかどうかと、その方向に沿ったＬＰＵのサイズとを示すシンタックス要素を、シグナリングし得る。Ｇ－ＰＣＣデコーダ３００は、ｘ、ｙ、及びｚ方向のうちの少なくとも１つの方向について、点群データの分割がその方向において有効にされるかどうかと、その方向に沿ったＬＰＵのサイズとの両方を示すシンタックス要素を取得し得る。
【0091】
[0103] いくつかの例では、分割がある次元に沿って有効にされないとき、Ｇ－ＰＣＣエンコーダ２００及びＧ－ＰＣＣデコーダ３００は、次元に沿ったＬＰＵサイズの値が次元に沿った点群のサイズに等しいと推測し得る。例えば、点群のサイズがｘ、ｙ、ｚ次元に沿ってそれぞれＰＣ＿ｓｉｚｅ＿ｘ、ＰＣ＿ｓｉｚｅ＿ｙ、ＰＣ＿ｓｉｚｅ＿ｚであり、ｓｐｌｉｔ＿ｌｐｕ＿ｘが０に等しいとき、Ｇ－ＰＣＣエンコーダ２００及びＧ－ＰＣＣデコーダ３００は、ＬＰＵ＿ｓｉｚｅ＿ｘの値がＰＣ＿ｓｉｚｅ＿ｘに等しいと推測し得る。同様の例が、ｓｐｌｉｔ＿ｌｐｕ＿ｙ、ＰＣ＿ｓｉｚｅ＿ｙ、及びＬＰＵ＿ｓｉｚｅ＿ｙに関して、並びにｓｐｌｉｔ＿ｌｐｕ＿ｚ、ＰＣ＿ｓｉｚｅ＿ｚ、及びＬＰＵ＿ｓｉｚｅ＿ｚに関して、適用され得る。よって、このような例では、Ｇ－ＰＣＣデコーダ３００は、ｘ、ｙ、又はｚ方向のうちの少なくとも１つの方向に沿って点群データの分割が有効にされないと決定し得、点群データの分割がその方向に沿って有効にされないという決定に基づいて、Ｇ－ＰＣＣデコーダ３００は、ＬＰＵのサイズが、その方向に沿った点群データのサイズに等しいと決定し得る。
【0092】
[0104] ＬＰＵのＰＵへの分割は、点群をＬＰＵに分割することに関して上で説明されている例と同様に決定され得る。例えば、各次元（すなわち、ｘ、ｙ、及びｚ）について、ＬＰＵが次元に沿って分割されるかどうかの指示がシグナリングされ得る。例えば、ｓｐｌｉｔ＿ｌｐｕ＿ｔｏ＿ｐｕ＿ｘフラグが、ｘ次元についてシグナリングされ得る。１に等しいｓｐｌｉｔ＿ｌｐｕ＿ｔｏ＿ｐｕ＿ｘは、分割がｘ次元に沿って行われ得ることを示し、０に等しいｓｐｌｉｔ＿ｌｐｕ＿ｔｏ＿ｐｕ＿ｘは、分割がｘ次元に沿って行われないことを示す。同様に、ｓｐｌｉｔ＿ｌｐｕ＿ｔｏ＿ｐｕ＿ｙフラグがｙ次元についてシグナリングされ得る。１に等しいｓｐｌｉｔ＿ｌｐｕ＿ｔｏ＿ｐｕ＿ｙは、分割がｙ次元に沿って行われ得ることを示し、０に等しいｓｐｌｉｔ＿ｌｐｕ＿ｔｏ＿ｐｕ＿ｙは、分割がｙ次元に沿って行われないことを示す。ｓｐｌｉｔ＿ｌｐｕ＿ｔｏ＿ｐｕ＿ｚフラグは、ｚ次元についてシグナリングされ得る。１に等しいｓｐｌｉｔ＿ｌｐｕ＿ｔｏ＿ｐｕ＿ｚは、分割がｚ次元に沿って行われ得ることを示し、０に等しいｓｐｌｉｔ＿ｌｐｕ＿ｔｏ＿ｐｕ＿ｚは、分割がｚ次元に沿って行われないことを示す。
【0093】
[0105] いくつかの例では、各次元（すなわち、ｘ、ｙ、及びｚ）について、次元に沿った最小ＰＵサイズは、あらかじめ決定されてもよく、又はシグナリングされてもよい。例えば、ＰＵ＿ｓｉｚｅ＿ｘは、ｘ次元に沿った最小ＰＵサイズを示すように指定され得る。ＰＵ＿ｓｉｚｅ＿ｙは、ｙ次元に沿った最小ＰＵサイズを示すように指定され得る。ＰＵ＿ｓｉｚｅ＿ｚは、ｚ次元に沿った最小ＰＵサイズを示すように指定され得る。「方向」及び「次元」という用語は、本開示において互換的に使用される。
【0094】
[0106] いくつかの例では、Ｇ－ＰＣＣエンコーダ２００は、ある次元に沿ったＬＰＵからＰＵへの分割が有効にされると指定又は示されるとき、その次元に沿った最小ＰＵサイズのみをシグナリングする。例えば、ｘ次元に沿ったＬＰＵからＰＵへの分割が有効にされ得ることをｓｐｌｉｔ＿ｌｐｕ＿ｔｏ＿ｐｕ＿ｘが示すときのみ、ＰＵ＿ｓｉｚｅ＿ｘは、ｘ次元に沿ったＰＵの最小サイズを示すためにシグナリングされ得る。同様の例がｙ及びｚ次元に関して適用され得る。いくつかの例では、各次元について、最小ＰＵサイズは、最小ＰＵサイズに対するＬＰＵサイズの比として指定され得る。例えば、Ｇ－ＰＣＣエンコーダ２００は、ＰＵ＿ｓｉｚｅ＿ｘによって除算されたＬＰＵ＿ｓｉｚｅ＿ｘに等しい値を有するシンタックス要素をシグナリングし得る。いくつかの例では、シグナリングコストを更に低減するために、Ｇ－ＰＣＣエンコーダ２００は、ｌｏｇ２（ＬＰＵ＿ｓｉｚｅ＿ｘ／ＰＵ＿ｓｉｚｅ＿ｘ）に等しい値を有するシンタックス要素をシグナリングし得る。このシグナリングされる値は、ＬＰＵ＿ｔｏ＿ＰＵ＿ｓｉｚｅ＿ｒａｔｉｏ＿ｌｏｇ２シンタックス要素として定義され得る。
【0095】
[0107] いくつかの例では、各次元について、ある次元に沿った最小ＰＵサイズの値は、（ａ）分割が次元に沿って有効にされるかどうか、及び（ｂ）次元に沿ったＰＵの最小サイズも示すために、使用され得る。例えば、０に等しいＰＵ＿ｓｉｚｅ＿ｘは、ＬＰＵからＰＵへの分割がｘ次元に沿って有効にされないことを指定し得る。０より大きいＰＵ＿ｓｉｚｅ＿ｘは、ＬＰＵからＰＵへの分割がｘ次元に沿って有効にされ、ｘ次元に沿ったＰＵの最小サイズがＰＵ＿ｓｉｚｅ＿ｘであることを指定し得る。代わりに、同じことがＬＰＵ＿ｔｏ＿ＰＵ＿ｓｉｚｅ＿ｒａｔｉｏ＿ｌｏｇ２に適用され得る。同様の例がｙ及びｚ次元に関して適用され得る。
【0096】
[0108] 分割がある次元に沿って有効にされないとき、Ｇ－ＰＣＣエンコーダ２００及びＧ－ＰＣＣデコーダ３００は、次元に沿った最小ＰＵサイズの値が、次元に沿ったＬＰＵのサイズに等しいと推測し得る。例えば、ＬＰＵのサイズが、ｘ、ｙ、及びｚ次元に沿ってそれぞれＬＰＵ＿ｓｉｚｅ＿ｘ、ＬＰＵ＿ｓｉｚｅ＿ｙ、及びＬＰＵ＿ｓｉｚｅ＿ｚであり、ｓｐｌｉｔ＿ｌｐｕ＿ｔｏ＿ｐｕ＿ｘが０に等しいとき、ＰＵ＿ｓｉｚｅ＿ｘの最小値はＬＰＵ＿ｓｉｚｅ＿ｘに等しいと推測される。同様の例がｙ及びｚ次元に関して適用され得る。
【0097】
[0109] いくつかの例では、群は垂直方向に分割され得る。この例では、ｘ及びｙ方向におけるＬＰＵサイズは、それぞれｘ及びｙ方向における群（又は群の境界ボックス）のサイズに等しくなるように設定され得る。いくつかの例では、群は水平ｘ方向に分割され得る。この例では、ｙ及びｚ方向におけるＬＰＵサイズは、それぞれｙ及びｚ方向における群（又は群の境界ボックス）のサイズに等しくなるように設定され得る。一例では、群は水平ｙ方向に分割され得る。この例では、ｘ及びｚ方向におけるＬＰＵサイズは、それぞれｘ及びｚ方向における群（又は群の境界ボックス）のサイズに等しくなるように設定され得る。
【0098】
[0110] よって、このような例では、Ｇ－ＰＣＣエンコーダ２００は、点群データがｘ方向においてＬＰＵに分割されるかどうかを示す第１の指示をシグナリングし、点群データがｙ方向においてＬＰＵに分割されるかどうかを示す第２のシグナリングされた指示をシグナリングし、及び／又は点群データがｚ方向においてＬＰＵに分割されるかどうかを示す第３のシグナリングされた指示をシグナリングし得る。同様に、Ｇ－ＰＣＣデコーダ３００は、第１のシグナリングされた指示に基づいて、点群データがｘ方向においてＬＰＵに分割されると決定し得る。Ｇ－ＰＣＣデコーダ３００は、第２のシグナリングされた指示に基づいて、点群データがｙ方向においてＬＰＵに分割されると決定し得る。Ｇ－ＰＣＣデコーダ３００は、第３のシグナリングされた指示に基づいて、点群データがｚ方向においてＬＰＵに分割されると決定し得る。
【0099】
[0111] いくつかの例では、インター予測のための１つの方向のみにおける群の分割は、ヘッダレベル（例えば、シーケンスパラメータセット（sequence parameter set、ＳＰＳ）又は幾何ブリックヘッダ（geometry brick header、ＧＢＨ）レベル）においてシグナリングされ得るフラグによって制御され得る。例えば、Ｇ－ＰＣＣエンコーダ２００は、点群データが複数の方向のうちの１つのみにおいてＬＰＵに分割されることを示すシンタックス要素を、ヘッダレベルにおいてシグナリングし得る。Ｇ－ＰＣＣデコーダ３００は、ヘッダレベルにおいてシグナリングされたシンタックス要素に基づいて、点群データが複数の方向のうちの１つのみにおいてＬＰＵに分割されると決定し得る。
【0100】
[0112] いくつかの例では、ＰＵの動きは０に等しいように設定され得る。このような例では、ＬＰＵはより低い深度に分割されず、ＬＰＵレベルでのＰＵの動きはシグナリングされなくてもよい。この設定は、ヘッダレベル（例えば、ＳＰＳ又はｇｂｈレベル）においてシグナリングされ得るフラグによって制御され得る。
【0101】
[0113] いくつかの例では、ＰＵが参照点を有しないとき、ＰＵの動きはシグナリングされなくてもよい。言い換えれば、ＰＵとコロケートされる参照フレームのエリア中に点がない場合、ＰＵについて動き情報（例えば、動きベクトルなど）はシグナリングされない。
【0102】
[0114] いくつかの例では、ＰＵの動きは、予測方法を使用してシグナリングされ得る。例えば、Ｇ－ＰＣＣエンコーダ２００及びＧ－ＰＣＣデコーダ３００は、ＰＵのベース動きを決定し得る。Ｇ－ＰＣＣエンコーダ２００は、ＰＵのベース動きと実際の動きとの間の差分をシグナリングし得る。例えば、Ｇ－ＰＣＣエンコーダ２００は、ベース動きベクトルと、ＰＵの実際の動きを示す動きベクトルとの間の差分を示す動きベクトル差分（motion vector difference、ＭＶＤ）を、シグナリングし得る。Ｇ－ＰＣＣデコーダ３００は、ベース動きベクトル及びＭＶＤに基づいて、（例えば、ベース動きベクトルとＭＶＤの対応する成分を加えることによって）、ＰＵの実際の動きベクトルを再構成し得る。いくつかの例では、ベース動きはグローバル動きの並進部分であり得る。いくつかの例では、グローバル動きの回転行列は、ＰＵの動き補償において適用され得る。
【0103】
[0115] いくつかの例では、ＰＵのグループ（例えば、同じ深度にあるＰＵ）は、同じベース動きを共有し得る。ベース動きは、ビットストリーム中でシグナリングされてもよく、又はＰＵグループの隣接ＰＵを使用して導出されてもよい。よって、いくつかのこのような例では、Ｇ－ＰＣＣエンコーダ２００は、ＰＵグループ中の異なるＰＵについて異なるＭＶＤをシグナリングし得る。ＰＵグループ中の各ＰＵについて、Ｇ－ＰＣＣデコーダ３００は、ＰＵについてのＭＶＤと、ＰＵグループについてのベース動きベクトルとに基づいて、ＰＵについての実際の動きベクトルを再構成し得る。いくつかの例では、ベース動きはグローバル動きの並進部分であり得る。いくつかの例では、グローバル動きの回転行列は、ＰＵの動き補償において適用され得る。
【0104】
[0116] １つの例示的なＧ－ＰＣＣコーデックでは、ＰＵについての参照点が最初に導出される。次に、これらの参照点のセットが、動き推定及び動き補償のために使用される。本開示は、ローカル予測の使用を制限するために、参照点の数などの参照用の情報を使用することを提案する。例えば、一例では、ＬＰＵは、参照点の数（又はアクティブウィンドウ中の点の数）が、ヘッダ情報、例えば、幾何スライスヘッダ、幾何パラメータセット、ｇｂｈ、又はシーケンスパラメータセット（ｓｐｓ）レベル中でシグナリングされ得る、あらかじめ定義された閾値よりも小さい場合、ローカル予測を使用して予測されなくてもよい。この例では、この条件が満たされると、ＬＰＵは、サブＰＵに更に分割されなくてもよく、ＬＰＵは、０ローカル動きをもつ車両ＬＰＵと見なされ得る。ＬＰＵモード並びに分割フラグ及び動きは、この例ではシグナリングされなくてもよい。
【0105】
[0117] いくつかの例では、より高い深度におけるＰＵへのＰＵの分割は、ＰＵの参照点の数によって制限され得る。例えば、参照点の数があらかじめ定義された閾値よりも小さい場合、ＰＵの分割は許可されないことがある。ＰＵ分割制限のためのあらかじめ定義された閾値は、ＰＵサイズ又はＰＵ深度に依存し得る。
【0106】
[0118] 図８は、本開示の技法による、Ｇ－ＰＣＣエンコーダ２００の例示的な動作を示すフローチャートである。図８の例では、Ｇ－ＰＣＣエンコーダ２００の幾何符号化ユニット（例えば、八分木分析ユニット２１０及び／又は算術符号化ユニット２１４）は、点群データが複数のＬＰＵに分割されると決定し得る（８００）。本開示の１つ又は複数の技法によれば、ＬＰＵのうちの少なくとも２つは、異なる方向に沿って異なるサイズを有する。例えば、ＬＰＵは、第１の方向（例えば、ｘ、ｙ、又はｚ方向）において第１のサイズを有し得、ＬＰＵは、第２の方向において第１のサイズとは異なる第２のサイズを有し得る。いくつかの例では、ＬＰＵのサイズは、八分木幾何コーディングによって決定される点群データの四分木－二分木分割と整列する。Ｇ－ＰＣＣエンコーダ２００は、点群データを複数のＬＰＵに分割する異なる可能な方法を分析し得る。Ｇ－ＰＣＣエンコーダ２００は、レート歪みメトリックに基づいて点群を分割する方法を選択し得る。
【0107】
[0119] Ｇ－ＰＣＣエンコーダ２００の幾何符号化ユニットは、本開示の他の箇所で提供されている例のいずれかに従って、点群データが複数のＬＰＵに分割されることをシグナリングし得る。例えば、ｘ、ｙ、及びｚ方向のうちの少なくとも１つの方向について、Ｇ－ＰＣＣエンコーダ２００は、点群データの分割がその方向において有効にされるかどうかと、その方向に沿ったＬＰＵのサイズとを示すシンタックス要素をシグナリングし得る。
【0108】
[0120] 加えて、図８の例では、Ｇ－ＰＣＣエンコーダ２００の幾何符号化ユニットは、ＬＰＵについての予測点を決定するためにインター予測を実施し得る（８０２）。例えば、Ｇ－ＰＣＣエンコーダ２００は、例えば、図４に関して説明したように、インター予測を実施し得る。例えば、ＬＰＵは、第１のＬＰＵ（例えば、車両ＬＰＵ）と第２のＬＰＵ（例えば、世界ＬＰＵ）とを含み得、Ｇ－ＰＣＣエンコーダ２００は、以前に再構成された点群にグローバル動き補償を適用することなく、以前に再構成された点群に基づいて、第１のＬＰＵ内の予測点を決定し得る。Ｇ－ＰＣＣエンコーダ２００は、以前に再構成された点群にグローバル動き補償を適用することで、以前に再構成された点群に基づいて、第２のＬＰＵ内の予測点を決定し得る。更に、いくつかの例では、Ｇ－ＰＣＣエンコーダ２００は、ロケーション動き推定及びローカル動き補償を適用し得る。例えば、Ｇ－ＰＣＣエンコーダ２００は、複数のＬＰＵのうちの１つのＬＰＵの動きを決定し、ＬＰＵ内の点を予測するためにこのＬＰＵの動きを使用し得る。複数のＬＰＵのうちの１つ又は複数がＰＵに更に分割される例では、Ｇ－ＰＣＣエンコーダ２００は、ＬＰＵのＰＵについての予測点を決定するためにインター予測を実施し得る。
【0109】
[0121] Ｇ－ＰＣＣエンコーダ２００の幾何符号化ユニットは、ＬＰＵについての予測点に基づいてＬＰＵ内の点を符号化し得る（８０４）。例えば、Ｇ－ＰＣＣエンコーダ２００は、ＬＰＵ内の点についての符号化された残差値をシグナリングし得る。点についての残差値は、点の実際の位置と対応する予測点の位置との間の差を示し得る。
【0110】
[0122] 図９は、本開示技法による、Ｇ－ＰＣＣデコーダ３００の例示的な動作を示すフローチャートである。図９の例では、Ｇ－ＰＣＣデコーダ３００の幾何復号ユニット（例えば、幾何算術復号ユニット３０２及び八分木合成ユニット３０６）は、点群データが複数のＬＰＵに分割されると決定し得る（９００）。本開示の１つ又は複数の技法によれば、複数のＬＰＵのうちの少なくとも２つは、異なる方向に沿って異なるサイズを有する。Ｇ－ＰＣＣデコーダ３００は、本開示の他の箇所で提供されている例のいずれかに従って、点群データが複数のＬＰＵに分割されると決定し得る。例えば、ＬＰＵは、第１の方向（例えば、ｘ、ｙ、又はｚ方向）において第１のサイズを有し得、ＬＰＵは、第２の方向において第１のサイズとは異なる第２のサイズを有し得る。いくつかの例では、ＬＰＵのサイズは、八分木幾何コーディングによって決定される点群データの四分木－二分木分割と整列する。いくつかの例では、点群データがＬＰＵに分割されると決定することの一部として、Ｇ－ＰＣＣデコーダ３００は、ｘ、ｙ、及びｚ方向のうちの少なくとも１つの方向について、点群データの分割がその方向において有効にされるかどうかと、その方向に沿ったＬＰＵのサイズとの両方を示すシンタックス要素を取得し得ることを備える。
【0111】
[0123] 更に、図９の例では、Ｇ－ＰＣＣデコーダ３００の幾何復号ユニットは、ＬＰＵについての予測点を決定するためにインター予測を実施し得る（９０２）。例えば、Ｇ－ＰＣＣデコーダ３００は、図４及び図５に関して上で説明したように、インター予測を実施し得る。例えば、ＬＰＵは、車両ＬＰＵと世界ＬＰＵとを含み得、Ｇ－ＰＣＣエンコーダ２００は、以前に再構成された点群にグローバル動き補償を適用することなく、以前に再構成された点群に基づいて、車両ＬＰＵ内の予測点を決定し得る。Ｇ－ＰＣＣエンコーダ２００は、以前に再構成された点群にグローバル動き補償を適用することで、以前に再構成された点群に基づいて、世界ＬＰＵ内の予測点を決定し得る。更に、いくつかの例では、Ｇ－ＰＣＣエンコーダ２００は、ロケーション動き推定及びローカル動き補償を適用し得る。例えば、Ｇ－ＰＣＣエンコーダ２００は、複数のＬＰＵのうちの１つのＬＰＵの動きを決定し、ＬＰＵ内の点を予測するためにこのＬＰＵの動きを使用し得る。
【0112】
[0124] Ｇ－ＰＣＣデコーダ３００は、ＬＰＵについての予測点に基づいて、ＬＰＵ内の点を再構成し得る（９０４）。例えば、Ｇ－ＰＣＣデコーダ３００は、ＬＰＵ内の点についての符号化された残差値を取得し得る。Ｇ－ＰＣＣデコーダ３００は、点についての符号化された残差値と、ＬＰＵについての予測点とを使用して、ＬＰＵ内の点を再構成し得る。
【0113】
[0125] 図１０は、本開示の１つ又は複数の技法で使用することが可能な、例示的な距離測定システム１０００を示す概念図である。図１０の例では、距離測定システム１０００は、照明器１００２とセンサ１００４とを含む。照明器１００２は光１００６を放出し得る。いくつかの例では、照明器１００２は、１つ又は複数のレーザビームとして、光１００６を放出し得る。光１００６は、赤外波長又は可視光波長などの、１つ又は複数の波長であり得る。他の例では、光１００６は、非コヒーレントレーザ光である。光１００６がオブジェクト１００８などのオブジェクトに当たると、光１００６は戻り光１０１０を形成する。戻り光１０１０は、後方散乱光及び／又は反射光を含み得る。戻り光１０１０は、オブジェクト１００８の画像１０１２をセンサ１００４上に形成させるように戻り光１０１０を導くレンズ１０１１を通過し得る。センサ１００４は、画像１０１２に基づいて信号１０１４を生成する。画像１０１２は、（例えば、図１０の画像１０１２の中のドットで示すような）点のセットを備え得る。
【0114】
[0126] いくつかの例では、照明器１００２及びセンサ１００４は、照明器１００２及びセンサ１００４が環境の３６０度ビューをキャプチャするように、回転構造に搭載され得る。他の例では、距離測定システム１０００は、照明器１００２及びセンサ１００４が、特定の範囲内（例えば、最大３６０度）でオブジェクトの距離を検出することを可能にする、１つ又は複数の光学構成要素（例えば、ミラー、コリメータ、回折格子など）を含み得る。図１０の例は単一の照明器１００２及びセンサ１００４のみを示すが、距離測定システム１０００は、照明器及びセンサの複数のセットを含んでもよい。
【0115】
[0127] いくつかの例では、照明器１００２は構造化光パターンを生成する。このような例では、距離測定システム１０００は、構造化光パターンのそれぞれの画像がその上で形成される複数のセンサ１００４を含み得る。距離測定システム１０００は、構造化光パターンの画像間の視差を使用して、構造化光パターンが後方散乱するオブジェクト１００８までの距離を決定し得る。構造化光ベースの距離測定システムは、オブジェクト１００８がセンサ１００４に比較的近い（例えば、０．２メートルから２メートル）とき、高レベルの精度（例えば、サブミリメートル範囲の精度）を有し得る。この高レベルの精度は、モバイルデバイス（例えば、モバイルフォン、タブレットコンピュータなど）をロック解除するなどの顔認識アプリケーションにおいて、及びセキュリティアプリケーションに有用であり得る。
【0116】
[0128] いくつかの例では、距離測定システム１０００は、飛行時間（time of flight、ＴｏＦ）ベースのシステムである。距離測定システム１０００がＴｏＦベースのシステムであるいくつかの例では、照明器１００２は、光のパルスを生成する。言い換えれば、照明器１００２は放出された光１００６の振幅を変調し得る。このような例では、センサ１００４は、照明器１００２によって生成される光１００６のパルスから戻り光１０１０を検出する。距離測定システム１０００は、次に、光１００６が放出されたときと検出されたときとの間の遅延、及び空気中の既知の光速に基づいて、光１００６が後方散乱するオブジェクト１００８までの距離を決定し得る。いくつかの例では、放出される光１００６の振幅を変調するのではなく（又は、それに加えて）、照明器１００２は、放出される光１００６の位相を変調し得る。このような例では、センサ１００４は、オブジェクト１００８からの戻り光１０１０の位相を検出し、光の速度を使用して、及び照明器１００２が特定の位相で光１００６を生成したときと、センサ１００４がその特定の位相で戻り光１０１０を検出したときとの間の時間差に基づいて、オブジェクト１００８上の点までの距離を決定し得る。
【0117】
[0129] 他の例では、点群データは、照明器１００２を使用することなく生成され得る。例えば、いくつかの例では、距離測定システム１０００のセンサ１００４は、２つ以上の光学カメラを含み得る。このような例では、距離測定システム１０００は、光学カメラを使用して、オブジェクト１００８を含む環境の立体画像をキャプチャしてもよい。距離測定システム１０００は、立体画像内のロケーション間の視差を計算することが可能な点群生成器１０２０を含み得る。距離測定システム１０００は次に、この視差を使用して、立体画像において示されるロケーションまでの距離を決定し得る。これらの距離から、点群生成器１０２０は、点群データを生成し得る。
【0118】
[0130] センサ１００４はまた、色及び反射率情報などの、オブジェクト１００８の他の属性を検出し得る。図１０の例では、点群生成器１０２０は、センサ１００４によって生成された信号１０１４に基づいて、点群データを生成し得る。距離測定システム１０００及び／又は点群生成器１０２０は、データソース１０４（図１）の一部を形成し得る。それゆえに、距離測定システム１０００によって生成される点群データは、本開示の技法のいずれかに従って符号化及び／又は復号され得る。
【0119】
[0131] 図１１は、本開示の１つ又は複数の技法が使用され得る、例示的な車両ベースのシナリオを示す概念図である。図１１の例では、車両１１００が、距離測定システム１１０２を含む。距離測定システム１１０２は、図１０に関して論じられた方式で実装され得る。図１１の例に示されていないが、車両１１００はまた、データソース１０４（図１）などのデータソースと、Ｇ－ＰＣＣエンコーダ２００（図１）などのＧ－ＰＣＣエンコーダとを含み得る。図１１の例では、距離測定システム１１０２は、道路内の歩行者１１０６又は他のオブジェクトに反射するレーザビーム１１０４を放出する。車両１１００のデータソースは、距離測定システム１１０２によって生成される信号に基づいて、点群データを生成し得る。車両１１００のＧ－ＰＣＣエンコーダは、幾何ビットストリーム２０３（図２）及び属性ビットストリーム２０５（図２）などのビットストリーム１１０８を生成するために、点群データを符号化し得る。ビットストリーム１１０８は、Ｇ－ＰＣＣエンコーダによって取得される符号化されていない点群データよりもはるかに少ないビットを含み得る。
【0120】
[0132] 車両１１００の出力インターフェース（例えば、出力インターフェース１０８（図１））は、ビットストリーム１１０８を１つ又は複数の他のデバイスに送信し得る。ビットストリーム１１０８は、Ｇ－ＰＣＣエンコーダによって取得される符号化されていない点群データよりもはるかに少ないビットを含み得る。よって、車両１１００は、ビットストリーム１１０８を、符号化されていない点群データよりも迅速に、他のデバイスに送信することが可能であり得る。加えて、ビットストリーム１１０８は、より少ないデータ記憶容量を必要とし得る。本開示の他の箇所で説明されるように、本開示の技法は、符号化されたデータのサイズを更に低減し得る。
【0121】
[0133] 図１１の例では、車両１１００は、ビットストリーム１１０８を別の車両１１１０に送信し得る。車両１１１０は、Ｇ－ＰＣＣデコーダ３００（図１）などのＧ－ＰＣＣデコーダを含み得る。車両１１１０のＧ－ＰＣＣデコーダは、点群データを再構成するために、ビットストリーム１１０８を復号し得る。点群データを再構成することは、点群データの点の座標を決定すること、及び／又は点群データの点についての属性値を決定することを含み得る。車両１１１０は、様々な目的で、再構成された点群データを使用し得る。例えば、車両１１１０は、歩行者１１０６が車両１１００の前方の道路上におり、従って、例えば歩行者１１０６が道路にいることを車両１１１０のドライバが認識する前でも徐行を開始することを、再構成された点群データに基づいて決定し得る。よって、いくつかの例では、車両１１１０は、再構成された点群データに基づいて、自律ナビゲーション動作を実施し得る。
【0122】
[0134] 加えて又は代わりに、車両１１００は、ビットストリーム１１０８をサーバシステム１１１２に送信し得る。サーバシステム１１１２は、様々な目的でビットストリーム１１０８を使用し得る。例えば、サーバシステム１１１２は、点群データの後続の再構成のために、ビットストリーム１１０８を記憶し得る。この例では、サーバシステム１１１２は、自律運転システムを訓練するために他のデータ（例えば、車両１１００によって生成された車両テレメトリデータ）とともに点群データを使用し得る。他の例では、サーバシステム１１１２は、フォレンジック事故調査（例えば、車両１１００が歩行者１１０６と衝突した場合）のための後続の再構成のために、ビットストリーム１１０８を記憶し得る。
【0123】
[0135] 本開示の技法は、コーディング効率を高め得、このことは、ビットストリーム１１０８のサイズを減少させ得、又は、ビットストリーム１１０８のサイズを増加させることなく、より詳細なデータがビットストリーム１１０８中で送られることを可能にし得る。
【0124】
[0136] 図１２は、本開示の１つ又は複数の技法が使用され得る、例示的なエクステンデッドリアリティシステムを示す概念図である。エクステンデッドリアリティ（Extended reality、ＸＲ）は、拡張現実（ＡＲ）、複合現実（ＭＲ）、及び仮想現実（virtual reality、ＶＲ）を含む一連の技術をカバーするために使用される用語である。図１２の例では、ユーザ１２００は、第１のロケーション１２０２に位置している。ユーザ１２００はＸＲヘッドセット１２０４を装着している。ＸＲヘッドセット１２０４の代わりに、ユーザ１２００はモバイルデバイス（例えば、モバイルフォン、タブレットコンピュータなど）を使用してもよい。ＸＲヘッドセット１２０４は、ロケーション１２０２におけるオブジェクト１２０６上の点の位置を検出する、距離測定システムなどの深度検出センサを含む。ＸＲヘッドセット１２０４のデータソースは、ロケーション１２０２におけるオブジェクト１２０６を表す点群データを生成するために、深度検出センサによって生成される信号を使用し得る。ＸＲヘッドセット１２０４は、ビットストリーム１２０８を生成するために点群データを符号化するように構成されたＧ－ＰＣＣエンコーダ（例えば、図１のＧ－ＰＣＣエンコーダ２００）を含み得る。
【0125】
[0137] ＸＲヘッドセット１２０４は、第２のロケーション１２１４にいるユーザ１２１２が装着しているＸＲヘッドセット１２１０に（例えば、インターネットなどのネットワークを介して）ビットストリーム１２０８を送信し得る。ＸＲヘッドセット１２１０は、点群データを再構成するためにビットストリーム１２０８を復号し得る。ＸＲヘッドセット１２１０は、ロケーション１２０２におけるオブジェクト１２０６を表すＸＲ視覚化（例えば、ＡＲ、ＭＲ、ＶＲ視覚化）を生成するために、点群データを使用し得る。よって、ＸＲヘッドセット１２１０がＶＲ可視化を生成する場合など、いくつかの例では、ユーザ１２１２は、ロケーション１２０２の３Ｄ没入型体験を有し得る。いくつかの例では、ＸＲヘッドセット１２１０は、再構成された点群データに基づいて、仮想オブジェクトの位置を決定し得る。例えば、ＸＲヘッドセット１２１０は、再構成された点群データに基づいて、環境（例えば、ロケーション１２０２）が平坦面を含むと決定し、次に、仮想オブジェクト（例えば、アニメキャラクタ）が平坦面上に配置されることを決定し得る。ＸＲヘッドセット１２１０は、仮想オブジェクトが決定された位置にあるＸＲ視覚化を生成し得る。例えば、ＸＲヘッドセット１２１０は、平坦面に座っているアニメキャラクタを表示し得る。本開示の技法は、コーディング効率を高め得、このことは、ビットストリーム１２０８のサイズを減少させ、又は、ビットストリーム１２０８のサイズを増加させることなく、より詳細なデータがビットストリーム１２０８中で送られることを可能にし得る。
【0126】
[0138] 図１３は、本開示の１つ又は複数の技法が使用され得る、例示的なモバイルデバイスシステムを示す概念図である。図１３の例では、モバイルフォン又はタブレットコンピュータなどのモバイルデバイス１３００は、モバイルデバイス１３００の環境内のオブジェクト１３０２上の点の位置を検出する、ＬＩＤＡＲシステムなどの距離測定システムを含む。モバイルデバイス１３００のデータソースは、オブジェクト１３０２を表す点群データを生成するために、深度検出センサによって生成される信号を使用し得る。モバイルデバイス１３００は、ビットストリーム１３０４を生成するために点群データを符号化するように構成されたＧ－ＰＣＣエンコーダ（例えば、図１のＧ－ＰＣＣエンコーダ２００）を含み得る。図１３の例では、モバイルデバイス１３００は、サーバシステム又は他のモバイルデバイスなどのリモートデバイス１３０６に、ビットストリームを送信し得る。リモートデバイス１３０６は、点群データを再構成するために、ビットストリーム１３０４を復号し得る。リモートデバイス１３０６は、様々な目的で点群データを使用し得る。例えば、リモートデバイス１３０６は、モバイルデバイス１３００の環境のマップを生成するために点群データを使用し得る。例えば、リモートデバイス１３０６は、再構成された点群データに基づいて、建物の内部のマップを生成し得る。別の例では、リモートデバイス１３０６は、点群データに基づいて、像（例えば、コンピュータグラフィックス）を生成し得る。例えば、リモートデバイス１３０６は、点群データの点を多角形の頂点として使用し、点の色属性を多角形に陰影を付けるための基礎として使用し得る。いくつかの例では、リモートデバイス１３０６は、顔認識又は他のセキュリティアプリケーションのために、再構成された点群データを使用し得る。本開示の技法は、コーディング効率を高め得、これにより、ビットストリーム１３０４のサイズを減少させ、又は、ビットストリーム１３０４のサイズを増加させることなく、より詳細なデータがビットストリーム１３０４中で送られることを可能にし得る。
【0127】
[0139] 本開示の様々な態様における実施例は、個々に使用されてもよく、任意の組み合わせで使用されてもよい。
【0128】
[0140] 以下は、本開示の１つ又は複数の技法による実施例の非限定的なリストである。
【0129】
[0141] 実施例１Ａ． 点群データを複合する方法であって、点群データが、複数の最大予測単位（ＬＰＵｓ）であって、複数のＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定することと、複数のＬＰＵのうちの１つのＬＰＵの予測単位（ＰＵ）の動きベクトルを決定することと、ＰＵ内の点を予測するために、ＰＵの動きベクトルを使用することと、ＰＵ内の予測点に基づいて、ＰＵ内の点を再構成することと、を含む、方法。
【0130】
[0142] 実施例２Ａ． 点群データを符号化する方法であって、点群データを、複数の最大予測単位（ＬＰＵｓ）であって、複数のＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割することと、複数のＬＰＵのうちの１つのＬＰＵの予測単位（ＰＵ）の動きベクトルを決定することと、ＰＵ内の点を予測するために、ＰＵの動きベクトルを使用することと、ＰＵ内の予測点に基づいて、ＰＵ内の点を符号化することと、を含む、方法。
【0131】
[0143] 実施例３Ａ． 点群データを複合する方法であって、複数の最大予測単位（ＬＰＵｓ）への点群データの分割を決定することと、複数のＬＰＵのうちの１つのＬＰＵの予測単位（ＰＵ）の動きを決定することと、ＰＵ内の点を予測するために、ＰＵの動きを使用することと、ＰＵ内の予測点に基づいて、ＰＵ内の点を再構成することと、を含む、方法。
【0132】
[0144] 実施例４Ａ． 点群データの分割を決定することが、第１のシグナリングされる指示に基づいて、点群データがｘ次元においてＬＰＵに分割されるかどうかを決定すること、第２のシグナリングされる指示に基づいて、点群データがｙ次元においてＬＰＵに分割されるかどうかを決定すること、又は、第３のシグナリングされる指示に基づいて、点群データがｚ次元においてＬＰＵに分割されるかどうかを決定すること、のうちの１つ又は複数を含む、実施例３Ａに記載の方法。
【0133】
[0145] 実施例５Ａ． 点群データの分割を決定することが、複数の次元のうちの各次元について、次元に沿ったＬＰＵのサイズを決定することを含む、実施例３Ａ又は４Ａのいずれか１つに記載の方法。
【0134】
[0146] 実施例６Ａ． 方法が、複数の次元のうちの各次元について、次元についての最小ＰＵサイズを決定することを更に含み、点群データの分割を決定することが、次元についての最小ＰＵサイズに部分的に基づいて点群データの分割を決定することを含む、実施例３Ａから５Ａのいずれか１つに記載の方法。
【0135】
[0147] 実施例７Ａ． 点群データの分割を決定することが、複数の次元のうちの各次元について、次元についての最小ＰＵサイズに基づいて、分割が次元に沿って有効にされるかどうかを決定することを含む、実施例６Ａに記載の方法。
【0136】
[0148] 実施例８Ａ． 点群データの分割を決定することが、複数の次元のうちの少なくとも１つの次元について、分割が次元について有効にされないことに基づいて、次元に沿った最小ＰＵサイズが、次元に沿ったＬＰＵのサイズに等しくなるように推測することを含む、実施例７Ａに記載の方法。
【0137】
[0149] 実施例９Ａ． ＰＵの動きを決定することが、ＰＵの動きが０に等しいように設定されると決定することを含む、実施例３Ａから８Ａのいずれか１つに記載の方法。
【0138】
[0150] 実施例１０Ａ． ＰＵが参照点を有しないとき、ＰＵの動きがシグナリングされない、実施例３Ａから９Ａのいずれか１つに記載の方法。
【0139】
[0151] 実施例１１Ａ． ＰＵのグループがＰＵを含み、ＰＵのグループが同じベース動きを共有する、実施例３Ａから１０Ａのいずれか１つに記載の方法。
【0140】
[0152] 実施例１２Ａ． ベース動きが、グローバル動きの並進部分である、実施例１１Ａに記載の方法。
【0141】
[0153] 実施例１３Ａ． ＰＵの動きを決定することが、ＰＵの動き補償においてグローバル動きの回転行列を適用することを含む、実施例３Ａから１２Ａのいずれか１つに記載の方法。
【0142】
[0154] 実施例１４Ａ． 参照点の数が予め定義された閾値よりも小さいことに基づいて、ローカル予測を使用してＬＰＵを予測することを控えることを更に含む、実施例３Ａから１３Ａのいずれか１つに記載の方法。
【0143】
[0155] 実施例１５Ａ． 点群データの分割を決定することが、所与のＰＵを、所与のＰＵの参照点の数に基づく制限に従って、より高い深度のＰＵに分割することを含む、実施例３Ａから１３Ａのいずれか１つに記載の方法。
【0144】
[0156] 実施例１６Ａ． 点群データを符号化する方法であって、点群データを複数の最大予測単位（ＬＰＵｓ）に分割することと、複数のＬＰＵのうちの１つのＬＰＵの予測ユニット（ＰＵ）の動きを決定することと、ＰＵ内の点を予測するために、ＰＵの動きを使用することと、ＰＵ内の予測点に基づいて、ＰＵ内の点を符号化することと、を含む、方法。
【0145】
[0157] 実施例１７Ａ． 点群データがｘ次元においてＬＰＵに分割されるかどうかを示す第１の指示をシグナリングすること、点群データがｙ次元においてＬＰＵに分割されるかどうかを示す第２の指示をシグナリングすること、又は、点群データがｚ次元においてＬＰＵに分割されるかどうかを示す第３の指示をシグナリングすること、のうちの１つ又は複数を更に含む、実施例１６Ａに記載の方法。
【0146】
[0158] 実施例１８Ａ． 点群データを分割することが、複数の次元のうちの各次元について、次元に沿ったＬＰＵのサイズを決定することを含む、実施例１６Ａ又は１７Ａのいずれか１つに記載の方法。
【0147】
[0159] 実施例１９Ａ． 方法が、複数の次元のうちの各次元について、次元についての最小ＰＵサイズを決定することを更に含み、点群データを分割することが、次元についての最小ＰＵサイズに部分的に基づいて点群データを分割することを含む、実施例１６Ａから１８Ａのいずれか１つに記載の方法。
【0148】
[0160] 実施例２０Ａ． 点群データの分割を決定することが、複数の次元のうちの各次元について、次元についての最小ＰＵサイズに基づいて、分割が次元に沿って有効にされるかどうかを決定することを含む、実施例１９Ａに記載の方法。
【0149】
[0161] 実施例２１Ａ． 点群データを分割することが、複数の次元のうちの少なくとも１つの次元について、分割が次元に対して有効にされないことに基づいて、次元に沿った最小ＰＵサイズが次元に沿ったＬＰＵのサイズに等しくなるように推測することを含む、実施例２０Ａに記載の方法。
【0150】
[0162] 実施例２２Ａ． ＰＵの動きを決定することが、ＰＵの動きが０に等しいように設定されると決定することを含む、実施例１６Ａから２１Ａのいずれか１つに記載の方法。
【0151】
[0163] 実施例２３Ａ． ＰＵが参照点を有さないことに基づいて、ＰＵの動きをシグナリングすることを控えることを更に含む、実施例１６Ａから２２Ａのいずれか１つに記載の方法。
【0152】
[0164] 実施例２４Ａ． ＰＵのグループがＰＵを含み、ＰＵのグループが同じベース動きを共有する、実施例１６Ａから２３Ａのいずれか１つに記載の方法。
【0153】
[0165] 実施例２５Ａ． ベース動きが、グローバル動きの並進部分である、実施例２４Ａに記載の方法。
【0154】
[0166] 実施例２６Ａ． ＰＵの動きを決定することが、ＰＵの動き補償においてグローバル動きの回転行列を適用することを含む、実施例１６Ａから２５Ａのいずれか１つに記載の方法。
【0155】
[0167] 実施例２７Ａ． 参照点の数が予め定義された閾値よりも小さいことに基づいて、ローカル予測を使用してＬＰＵを予測することを控えることを更に含む、実施例１６Ａから２６Ａのいずれか１つに記載の方法。
【0156】
[0168] 実施例２８Ａ． 点群データを分割することが、所与のＰＵを、所与のＰＵの参照点の数に基づく制限に従って、より高い深度のＰＵに分割することを含む、実施例１６Ａから２７Ａのいずれか１つに記載の方法。
【0157】
[0169] 実施例２９Ａ． 点群を処理するためのデバイスであって、実施例１Ａから２８Ａのいずれか１つに記載の方法を実施するための１つ又は複数の手段を備える、デバイス。
【0158】
[0170] 実施例３０Ａ． １つ又は複数の手段が、回路構成に実装される１つ又は複数のプロセッサを備える、実施例２９Ａに記載のデバイス。
【0159】
[0171] 実施例３１Ａ． 点群データを表すデータを記憶するためのメモリを更に備える、実施例２９Ａ又は３０Ａのいずれか１つに記載のデバイス。
【0160】
[0172] 実施例３２Ａ． デバイスがデコーダを備える、実施例２９Ａから３１Ａのいずれか１つに記載のデバイス。
【0161】
[0173] 実施例３３Ａ． デバイスがエンコーダを備える、実施例２９Ａから３２Ａのいずれか１つに記載のデバイス。
【0162】
[0174] 実施例３４Ａ． 点群データを生成するためのデバイスを更に備える、実施例２９Ａから３３Ａのいずれか１つに記載のデバイス。
【0163】
[0175] 実施例３５Ａ． 点群データに基づいて像を表示するためのディスプレイを更に備える、実施例２９Ａから３４Ａのいずれか１つに記載のデバイス。
【0164】
[0176] 実施例３６Ａ． 実行されると、１つ又は複数のプロセッサに、実施例１Ａから２８Ａのいずれか１つに記載の方法を実施させる命令を記憶している、コンピュータ可読記憶媒体。
【0165】
[0177] 実施例１Ｂ：点群データを複合する方法は、点群データが、複数の最大予測単位（ＬＰＵｓ）であって、複数のＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定することと、ＬＰＵについての予測点を決定するためにインター予測を実施することと、ＬＰＵについての予測点に基づいて、ＬＰＵ内の点を再構成することと、を含む。
【0166】
[0178] 実施例２Ｂ：ＬＰＵのサイズが、八分木幾何コーディングによって決定される点群データの四分木－二分木分割と整列する、実施例１Ｂに記載の方法。
【0167】
[0179] 実施例３Ｂ：ＬＰＵが、第１のＬＰＵと第２のＬＰＵとを含み、ＬＰＵ内の予測点を決定するためにインター予測を実施することが、以前に再構成された点群にグローバル動き補償を適用することなく、以前に再構成された点群に基づいて第１のＬＰＵ内の予測点を決定することと、以前に再構成された点群にグローバル動き補償を適用して、以前に再構成された点群に基づいて第２のＬＰＵ内の予測点を決定することと、を含む、実施例１Ｂ及び２Ｂのいずれか１つに記載の方法。
【0168】
[0180] 実施例４Ｂ：ＬＰＵ内の予測点を決定するためにインター予測を実施することが、複数のＬＰＵのうちの１つのＬＰＵの動きを決定することと、ＬＰＵ内の点を予測するためにＬＰＵの動きを使用することと、を含む、実施例１Ｂから３Ｂのいずれか１つに記載の方法。
【0169】
[0181] 実施例５Ｂ：点群データが複数のＬＰＵに分割されると決定することが、第１のシグナリングされる指示に基づいて、点群データがｘ方向においてＬＰＵに分割されると決定すること、第２のシグナリングされる指示に基づいて、点群データがｙ方向においてＬＰＵに分割されると決定すること、又は、第３のシグナリングされる指示に基づいて、点群データがｚ方向においてＬＰＵに分割されると決定することを含む、実施例１Ｂから４Ｂのいずれか１つに記載の方法。
【0170】
[0182] 実施例６Ｂ：点群データがＬＰＵに分割されると決定することが、ｘ、ｙ、及びｚ方向のうちの少なくとも１つの方向について、点群データの分割がその方向において有効にされるかどうかと、その方向に沿ったＬＰＵのサイズとを示すシンタックス要素を取得することを含む、実施例１Ｂから４Ｂのいずれか１つに記載の方法。
【0171】
[0183] 実施例７Ｂ：点群データがＬＰＵに分割されると決定することが、点群データの分割がｘ、ｙ、又はｚ方向のうちの少なくとも１つの方向に沿って有効にされないことを決定することと、点群データの分割がその方向に沿って有効にされないという決定に基づいて、ＬＰＵのサイズがその方向に沿った点群データのサイズに等しいと決定することと、を含む、実施例１Ｂから４Ｂのいずれか１つに記載の方法。
【0172】
[0184] 実施例８Ｂ：方向がｘ、ｙ、及びｚ方向を含み、点群データが垂直方向に分割され、ｘ及びｙ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、点群データが水平ｘ方向に分割され、ｙ及びｚ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、又は点群データが水平ｙ方向に分割され、ｘ及びｚ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、のうちの１つを含む、実施例１Ｂから７Ｂのいずれか１つに記載の方法。
【0173】
[0185] 実施例９Ｂ：点群データが複数のＬＰＵに分割されると決定することが、ヘッダレベルにおいてシグナリングされるシンタックス要素に基づいて、点群データが複数の方向のうちの１つのみにおいてＬＰＵに分割されると決定することを含む、実施例１Ｂから８Ｂのいずれか１つに記載の方法。
【0174】
[0186] 実施例１０Ｂ：点群データを符号化する方法は、点群データが、最大予測単位（ＬＰＵｓ）であって、複数のＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定することと、ＬＰＵについての予測点を決定するためにインター予測を実施することと、ＬＰＵについての予測点に基づいてＬＰＵ内の点を符号化することと、を含む。
【0175】
[0187] 実施例１１Ｂ：ＬＰＵのサイズが、八分木幾何コーディングによって決定される点群データの四分木－二分木分割と整列する、実施例１０Ｂに記載の方法。
【0176】
[0188] 実施例１２Ｂ：ＬＰＵが、第１のＬＰＵと第２のＬＰＵとを含み、ＬＰＵ内の予測点を決定するためにインター予測を実施することが、以前に再構成された点群にグローバル動き補償を適用することなく、以前に再構成された点群に基づいて第１のＬＰＵ内の予測点を決定することと、以前に再構成された点群にグローバル動き補償を適用して、以前に再構成された点群に基づいて第２のＬＰＵ内の予測点を決定することと、を含む、実施例１０Ｂ及び１１Ｂのいずれか１つに記載の方法。
【0177】
[0189] 実施例１３Ｂ：ＬＰＵ内の予測点を決定するためにインター予測を実施することが、複数のＬＰＵのうちの１つのＬＰＵの動きを決定することと、ＬＰＵ内の点を予測するためにＬＰＵの動きを使用することと、を含む、実施例１０Ｂから１２Ｂのいずれか１つに記載の方法。
【0178】
[0190] 実施例１４Ｂ：実施例１０Ｂから１３Ｂのいずれか１つの方法は、点群データがｘ方向においてＬＰＵに分割されるかどうかを示す第１の指示をシグナリングすること、点群データがｙ方向においてＬＰＵに分割されるかどうかを示す第２のシグナリングされる指示をシグナリングすること、又は点群データがｚ方向においてＬＰＵに分割されるかどうかを示す第３のシグナリングされる指示をシグナリングすることを更に含む。
【0179】
[0191] 実施例１５Ｂ：ｘ、ｙ、及びｚ方向のうちの少なくとも１つの方向について、点群データの分割がその方向において有効にされるかどうかと、その方向に沿ったＬＰＵのサイズとを示すシンタックス要素をシグナリングすることを更に含む、実施例１０Ｂから１３Ｂのいずれか１つに記載の方法。
【0180】
[0192] 実施例１６Ｂ：方向がｘ、ｙ、及びｚ方向を含み、点群データが垂直方向に分割され、ｘ及びｙ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、点群データが水平Ｘ方向に分割され、ｙ及びｚ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、又は点群データが水平Ｙ方向に分割され、ｘ及びｚ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいことのうちの１つを含む、実施例１０Ｂから１５Ｂのいずれか１つに記載の方法。
【0181】
[0193] 実施例１７Ｂ：点群データが複数の方向のうちの１つのみにおいてＬＰＵに分割されることを示すシンタックス要素をヘッダレベルにおいてシグナリングすることを更に含む、実施例１０Ｂから１６Ｂのいずれか１つに記載の方法。
【0182】
[0194] 実施例１８Ｂ：点群データを復号するためのデバイスは、点群データを記憶するように構成されたメモリと、回路構成に実装される１つ又は複数のプロセッサであって、点群データが、複数の最大予測単位（ＬＰＵｓ）であって、複数のＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定し、ＬＰＵについての予測点を決定するためにインター予測を実施し、ＬＰＵについての予測点に基づいて、ＬＰＵ内の点を再構成するように構成された、１つ又は複数のプロセッサと、を備える。
【0183】
[0195] 実施例１９Ｂ：１つ又は複数のプロセッサが、点群データが複数のＬＰＵに分割されると決定することの一部として、第１のシグナリングされる指示に基づいて、点群データがｘ方向においてＬＰＵに分割されると決定し、第２のシグナリングされる指示に基づいて、点群データがｙ方向においてＬＰＵに分割されると決定し、又は、第３のシグナリングされる指示に基づいて、点群データがｚ方向においてＬＰＵに分割されると決定するように構成される、実施例１８Ｂに記載のデバイス。
【0184】
[0196] 実施例２０Ｂ：１つ又は複数のプロセッサが、点群データがＬＰＵに分割されると決定することの一部として、ｘ、ｙ、及びｚ方向のうちの各方向について、点群データの分割がその方向において有効にされるかどうかと、その方向に沿ったＬＰＵのサイズとを示すシンタックス要素を取得するように構成される、実施例１８Ｂに記載のデバイス。
【0185】
[0197] 実施例２１Ｂ：１つ又は複数のプロセッサが、点群データがＬＰＵに分割されると決定することの一部として、点群データの分割がｘ、ｙ、又はｚ方向のうちの少なくとも１つの方向に沿って有効にされないと決定し、ＬＰＵのサイズがその方向に沿った点群データのサイズに等しいと決定するように構成される、実施例１８Ｂに記載のデバイス。
【0186】
[0198] 実施例２２Ｂ：方向がｘ、ｙ、及びｚ方向を含み、点群データが垂直方向に分割され、ｘ及びｙ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、点群データが水平Ｘ方向に分割され、ｙ及びｚ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、又は点群データが水平Ｙ方向に分割され、ｘ及びｚ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、のうちの１つを含む、実施例１８Ｂから２１Ｂのいずれか１つに記載のデバイス。
【0187】
[0199] 実施例２３Ｂ：点群データに基づいて像を表示するためのディスプレイを更に備える、実施例１８Ｂから２２Ｂのいずれか１つに記載のデバイス。
【0188】
[0200] 実施例２４Ｂ：点群データを符号化するためのデバイスは、点群データを記憶するように構成されたメモリと、回路構成に実装される１つ又は複数のプロセッサであって、点群データが、複数の最大予測単位（ＬＰＵｓ）であって、複数のＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定し、ＬＰＵについての予測点を決定するためにインター予測を実施し、ＬＰＵについての予測点に基づいてＬＰＵ内の点を符号化するように構成された、１つ又は複数のプロセッサと、を備える。
【0189】
[0201] 実施例２５Ｂ：１つ又は複数のプロセッサが、点群データが複数のＬＰＵに分割されると決定することの一部として、点群データがｘ方向においてＬＰＵに分割されるかどうかを示す第１のインジケーションをシグナリングし、点群データがｙ方向においてＬＰＵに分割されるかどうかを示す第２のシグナリングされる指示をシグナリングし、又は点群データがｚ方向においてＬＰＵに分割されるかどうかを示す第３のシグナリングされる指示をシグナリングするように構成される、実施例２４Ｂに記載のデバイス。
【0190】
[0202] 実施例２６Ｂ：１つ又は複数のプロセッサが、ｘ、ｙ、又はｚ方向のうちの少なくとも１つの方向について、点群データの分割がその方向において有効にされるかどうかと、その方向に沿ったＬＰＵのサイズとを示すシンタックス要素をシグナリングするように構成される、実施例２４Ｂに記載のデバイス。
【0191】
[0203] 実施例２７Ｂ：方向がｘ、ｙ、及びｚ方向を含み、点群データが垂直方向に分割され、ｘ及びｙ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、点群データが水平Ｘ方向に分割され、ｙ及びｚ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、又は点群データが水平Ｙ方向に分割され、ｘ及びｚ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、のうちの１つを含む、実施例２４Ｂから２６Ｂのいずれか１つに記載のデバイス。
【0192】
[0204] 実施例２８Ｂ：点群データを生成するためのデバイスを更に備える、実施例２４Ｂから２７Ｂのいずれか１つに記載のデバイス。
【0193】
[0205] 実施例１Ｃ：点群データを複合する方法は、点群データが、複数の最大予測単位（ＬＰＵｓ）であって、ＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定することと、ＬＰＵについての予測点を決定するためにインター予測を実施することと、ＬＰＵについての予測点に基づいて、ＬＰＵ内の点を再構成することとを含む。
【0194】
[0206] 実施例２Ｃ：ＬＰＵのサイズが、八分木幾何コーディングによって決定される点群データの四分木－二分木分割と整列する、実施例１Ｃに記載の方法。
【0195】
[0207] 実施例３Ｃ：ＬＰＵが、第１のＬＰＵと第２のＬＰＵとを含み、ＬＰＵ内の予測点を決定するためにインター予測を実施することが、以前に再構成された点群にグローバル動き補償を適用することなく、以前に再構成された点群に基づいて第１のＬＰＵ内の予測点を決定することと、以前に再構成された点群にグローバル動き補償を適用して、以前に再構成された点群に基づいて第２のＬＰＵ内の予測点を決定することと、を含む、実施例１Ｃに記載の方法。
【0196】
[0208] 実施例４Ｃ：ＬＰＵ内の予測点を決定するためにインター予測を実施することが、複数のＬＰＵのうちの１つのＬＰＵの動きを決定することと、ＬＰＵ内の点を予測するために、ＬＰＵの動きを使用することと、を含む、実施例１Ｃに記載の方法。
【0197】
[0209] 実施例５Ｃ：点群データが複数のＬＰＵに分割されると決定することが、第１のシグナリングされる指示に基づいて、点群データがｘ方向においてＬＰＵに分割されると決定すること、第２のシグナリングされる指示に基づいて、点群データがｙ方向においてＬＰＵに分割されると決定すること、又は、第３のシグナリングされる指示に基づいて、点群データがｚ方向においてＬＰＵに分割されると決定することを含む、実施例１Ｃに記載の方法。
【0198】
[0210] 実施例６Ｃ：点群データがＬＰＵに分割されると決定することが、ｘ、ｙ、及びｚ方向のうちの少なくとも１つの方向について、点群データの分割がその方向において有効にされるかどうかと、その方向に沿ったＬＰＵのサイズとを示すシンタックス要素を取得することを含む、実施例１Ｃに記載の方法。
【0199】
[0211] 実施例７Ｃ：点群データがＬＰＵに分割されると決定することが、点群データの分割がｘ、ｙ、又はｚ方向のうちの少なくとも１つの方向に沿って有効にされないことを決定することと、点群データの分割がその方向に沿って有効にされないという決定に基づいて、ＬＰＵのサイズがその方向に沿った点群データのサイズに等しいと決定することと、を含む、実施例１Ｃに記載の方法。
【0200】
[0212] 実施例８Ｃ：方向がｘ、ｙ、及びｚ方向を含み、点群データが垂直方向に分割され、ｘ及びｙ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、点群データが水平ｘ方向に分割され、ｙ及びｚ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、又は点群データが水平ｙ方向に分割され、ｘ及びｚ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、のうちの１つを含む、実施例１Ｃに記載の方法。
【0201】
[0213] 実施例９Ｃ：点群データが複数のＬＰＵに分割されると決定することが、ヘッダレベルにおいてシグナリングされるシンタックス要素に基づいて、点群データが方向のうちの１つのみにおいてＬＰＵに分割されると決定することを含む、実施例１Ｃに記載の方法。
【0202】
[0214] 実施例１０Ｃ：点群データを符号化する方法は、点群データが、複数の最大予測単位（ＬＰＵｓ）であって、複数のＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定することと、ＬＰＵについての予測点を決定するためにインター予測を実施することと、ＬＰＵについての予測点に基づいてＬＰＵ内の点を符号化することと、を含む。
【0203】
[0215] 実施例１１Ｃ：ＬＰＵのサイズが、八分木幾何コーディングによって決定される点群データの四分木－二分木分割と整列する、実施例１０Ｃに記載の方法。
【0204】
[0216] 実施例１２Ｃ：ＬＰＵが、第１のＬＰＵと第２のＬＰＵとを含み、ＬＰＵ内の予測点を決定するためにインター予測を実施することが、以前に再構成された点群にグローバル動き補償を適用することなく、以前に再構成された点群に基づいて第１のＬＰＵ内の予測点を決定することと、以前に再構成された点群にグローバル動き補償を適用して、以前に再構成された点群に基づいて第２のＬＰＵ内の予測点を決定することと、を含む、実施例１０Ｃに記載の方法。
【0205】
[0217] 実施例１３Ｃ：ＬＰＵ内の予測点を決定するためにインター予測を実施することが、複数のＬＰＵのうちの１つのＬＰＵの動きを決定することと、ＬＰＵ内の点を予測するために、ＬＰＵの動きを使用することと、を含む、実施例１０Ｃに記載の方法。
【0206】
[0218] 実施例１４Ｃ：点群データがｘ方向においてＬＰＵに分割されるかどうかを示す第１の指示をシグナリングすること、点群データがｙ方向においてＬＰＵに分割されるかどうかを示す第２のシグナリングされる指示をシグナリングすること、又は、点群データがｚ方向においてＬＰＵに分割されるかどうかを示す第３のシグナリングされる指示をシグナリングすること、を更に含む、実施例１０Ｃに記載の方法。
【0207】
[0219] 実施例１５Ｃ：ｘ、ｙ、及びｚ方向のうちの少なくとも１つの方向について、点群データの分割がその方向において有効にされるかどうかと、その方向に沿ったＬＰＵのサイズとを示すシンタックス要素をシグナリングすることを更に含む、実施例１０Ｃに記載の方法。
【0208】
[0220] 実施例１６Ｃ：方向がｘ、ｙ、及びｚ方向を含み、点群データが垂直方向に分割され、ｘ及びｙ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、点群データが水平Ｘ方向に分割され、ｙ及びｚ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、又は点群データが水平Ｙ方向に分割され、ｘ及びｚ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、のうちの１つを含む、実施例１０Ｃに記載の方法。
【0209】
[0221] 実施例１７Ｃ：点群データが方向のうちの１つのみにおいてＬＰＵに分割されることを示すシンタックス要素をヘッダレベルにおいてシグナリングすることを更に含む、実施例１０Ｃに記載の方法。
【0210】
[0222] 実施例１８Ｃ：点群データを複合するためのデバイスは、点群データを記憶するように構成されたメモリと、回路構成に実装される１つ又は複数のプロセッサであって、点群データが、複数の最大予測単位（ＬＰＵｓ）であって、複数のＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定し、ＬＰＵについての予測点を決定するためにインター予測を実施し、ＬＰＵについての予測点に基づいてＬＰＵ内の点を再構成するように構成された、１つ又は複数のプロセッサと、を備える。
【0211】
[0223] 実施例１９Ｃ：１つ又は複数のプロセッサが、点群データが複数のＬＰＵに分割されると決定することの一部として、第１のシグナリングされる指示に基づいて、点群データがｘ方向においてＬＰＵに分割されると決定し、第２のシグナリングされる指示に基づいて、点群データがｙ方向においてＬＰＵに分割されると決定し、又は、第３のシグナリングされる指示に基づいて、点群データがｚ方向においてＬＰＵに分割されると決定するように構成される、実施例１８Ｃに記載のデバイス。
【0212】
[0224] 実施例２０Ｃ：１つ又は複数のプロセッサが、点群データがＬＰＵに分割されると決定することの一部として、ｘ、ｙ、及びｚ方向のうちの各方向について、点群データの分割がその方向において有効にされるかどうかと、その方向に沿ったＬＰＵのサイズとを示すシンタックス要素を取得するように構成される、実施例１８Ｃに記載のデバイス。
【0213】
[0225] 実施例２１Ｃ：１つ又は複数のプロセッサが、点群データがＬＰＵに分割されると決定することの一部として、点群データの分割がｘ、ｙ、又はｚ方向のうちの少なくとも１つの方向に沿って有効にされないと決定し、ＬＰＵのサイズがその方向に沿った点群データのサイズに等しいと決定するように構成される、実施例１８Ｃに記載のデバイス。
【0214】
[0226] 実施例２２Ｃ：方向がｘ、ｙ、及びｚ方向を含み、点群データが垂直方向に分割され、ｘ及びｙ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、点群データが水平Ｘ方向に分割され、ｙ及びｚ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、又は点群データが水平Ｙ方向に分割され、ｘ及びｚ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、のうちの１つを含む、実施例１８Ｃに記載のデバイス。
【0215】
[0227] 実施例２３Ｃ：点群データに基づいて像を表示するためのディスプレイを更に備える、実施例１８Ｃに記載のデバイス。
【0216】
[0228] 実施例２４Ｃ：点群データを符号化するためのデバイスは、点群データを記憶するように構成されたメモリと、回路構成に実装される１つ又は複数のプロセッサであって、点群データが、複数の最大予測単位（ＬＰＵｓ）であって、複数のＬＰＵのうちの少なくとも２つが異なる方向に沿って異なるサイズを有する、複数のＬＰＵに分割されると決定し、ＬＰＵについての予測点を決定するためにインター予測を実施し、ＬＰＵについての予測点に基づいてＬＰＵ内の点を符号化するように構成された、１つ又は複数のプロセッサと、を備える。
【0217】
[0229] 実施例２５Ｃ：１つ又は複数のプロセッサが、点群データが複数のＬＰＵに分割されると決定することの一部として、点群データがｘ方向においてＬＰＵに分割されるかどうかを示す第１のインジケーションをシグナリングし、点群データがｙ方向においてＬＰＵに分割されるかどうかを示す第２のシグナリングされる指示をシグナリングし、又は点群データがｚ方向においてＬＰＵに分割されるかどうかを示す第３のシグナリングされる指示をシグナリングするように構成される、実施例２４Ｃに記載のデバイス。
【0218】
[0230] 実施例２６Ｃ：１つ又は複数のプロセッサが、ｘ、ｙ、又はｚ方向のうちの少なくとも１つの方向について、点群データの分割がその方向において有効にされるかどうかと、その方向に沿ったＬＰＵのサイズとを示すシンタックス要素をシグナリングするように構成される、実施例２４Ｃに記載のデバイス。
【0219】
[0231] 実施例２７Ｃ：方向がｘ、ｙ、及びｚ方向を含み、点群データが垂直方向に分割され、ｘ及びｙ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、点群データが水平Ｘ方向に分割され、ｙ及びｚ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、又は点群データが水平Ｙ方向に分割され、ｘ及びｚ方向におけるＬＰＵのサイズがｘ及びｙ方向における点群データのサイズに等しいこと、のうちの１つを含む、実施例２４Ｃに記載のデバイス。
【0220】
[0232] 実施例２８Ｃ：点群データを生成するためのデバイスを更に備える、実施例２４Ｃに記載のデバイス。
【0221】
[0233] 例によって、本明細書において説明されている技法のうちのいずれかの行為又はイベントは、異なる順序で実施されることが可能であり、追加され、統合され、又は完全に除外されてもよい（例えば、説明されているすべての行為又はイベントが技法の実践にとって必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為又はイベントは、逐次的にではなく、例えば、マルチスレッド処理、割込み処理、又は複数のプロセッサを通じて、並行して実施されてもよい。
【0222】
[0234] １つ又は複数の例では、記載の機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで実装されてよい。ソフトウェアで実装されている場合、機能は、１つ又は複数の命令又はコードとして、コンピュータ可読媒体上に記憶されてもよく、又はコンピュータ可読媒体を介して送信されてもよく、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に相当するコンピュータ可読記憶媒体、又は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、又は（２）信号若しくは搬送波のような通信媒体に対応し得る。データ記憶媒体は、本開示に記載の技法の実装のための命令、コード、及び／又はデータ構造を取り出すために、１つ若しくは複数のコンピュータ又は１つ若しくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体とすることができる。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
【0223】
[0235] 限定ではなく例として、このようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気ストレージデバイス、フラッシュメモリ、又は、命令若しくはデータ構造の形態で所望のプログラムコードを記憶するために使用でき、コンピュータによってアクセス可能な任意の他の媒体を含むことができる。また、任意の接続がコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義の中に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的な媒体を含まず、代わりに非一時的で有形な記憶媒体を指すことを理解されたい。本明細書で使用されるディスク（disk）及びディスク（disc）は、コンパクトディスク（compact disc、ＣＤ）、レーザーディスク、光ディスク、デジタル多用途ディスク（digital versatile disc、ＤＶＤ）、フロッピーディスク、及びブルーレイディスクを含み、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）は、レーザを用いてデータを光学的に再生する。上記のものの組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるものとする。
【0224】
[0236] 命令は、１つ又は複数のデジタル信号プロセッサ（ＤＳＰｓ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣｓ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）、又は他の等価な集積論理回路構成若しくはディスクリート論理回路構成などの、１つ又は複数のプロセッサによって実行され得る。これに応じて、本明細書で使用される「プロセッサ」及び「処理回路構成」という用語は、上記の構造のいずれか、又は本明細書で説明される技法の実装に好適な任意の他の構造のいずれかを指し得る。加えて、いくつかの態様では、本明細書で説明されている機能性は、符号化及び復号のために構成された専用のハードウェアモジュール及び／若しくはソフトウェアモジュール内で提供されてもよく、又は複合コーデックの中に組み込まれてもよい。また、技法は、１つ若しくは複数の回路又は論理要素において完全に実装されてもよい。
【0225】
[0237] 本開示の技法は、ワイヤレスハンドセット、集積回路（integrated circuit、ＩＣ）、又はＩＣのセット（例えば、チップセット）を含む、多種多様なデバイス又は装置において実装されてもよい。開示されている技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、又はユニットについて本開示で説明しているが、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上で説明したように、様々なユニットは、コーデックハードウェアユニットの中で組み合わせられてよく、又は、好適なソフトウェア及び／若しくはファームウェアと併せて、上で説明したような１つ又は複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって提供されてよい。
【0226】
[0238] 様々な例が説明されてきた。これら及び他の例は以下の特許請求の範囲内に含まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【国際調査報告】