特表 2024-540943 点群コーディング方法、装置、及び媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-06

(54)【発明の名称】点群コーディング方法、装置、及び媒体

(51)【国際特許分類】

   G06T 9/00 20060101AFI20241029BHJP

【ＦＩ】

G06T9/00

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024523667

(86)(22)【出願日】2022-10-20

(85)【翻訳文提出日】2024-05-20

(86)【国際出願番号】 CN2022126466

(87)【国際公開番号】W WO2023066345

(87)【国際公開日】2023-04-27

(31)【優先権主張番号】PCT/CN2021/125380

(32)【優先日】2021-10-21

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520476341

【氏名又は名称】北京字節跳動網絡技術有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ

(71)【出願人】

【識別番号】520477474

【氏名又は名称】バイトダンス インコーポレイテッド

【氏名又は名称原語表記】ＢＹＴＥＤＡＮＣＥ ＩＮＣ．

【住所又は居所原語表記】１２６５５ Ｗｅｓｔ Ｊｅｆｆｅｒｓｏｎ Ｂｏｕｌｅｖａｒｄ， Ｓｉｘｔｈ Ｆｌｏｏｒ， Ｓｕｉｔｅ Ｎｏ． １３７ Ｌｏｓ Ａｎｇｅｌｅｓ， Ｃａｌｉｆｏｒｎｉａ ９００６６ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100229448

【弁理士】

【氏名又は名称】中槇 利明

(72)【発明者】

【氏名】シュイ，インジャン

(72)【発明者】

【氏名】ザン，カイ

(72)【発明者】

【氏名】ザン，リー

(57)【要約】

本開示の実施形態は、点群コーディングのための方案を提供する。点群コーディング方法は、点群シーケンスをコーディングするための複数セットのシーケンスレベル・パラメータ（ＳＬＰ）に基づいて、点群シーケンスと前記点群シーケンスのビットストリームとの間の変換を実行するステップを含み、前記複数セットのＳＬＰは、前記ビットストリーム内で示される。従来の方案に比べて、提案した方法はコーディング効率を向上させることができるという利点を有する。
【選択図】図９

【特許請求の範囲】

【請求項1】

点群コーディング方法であって、
点群シーケンスをコーディングするための複数セットのシーケンスレベル・パラメータ（ＳＬＰ）に基づいて、点群シーケンスと前記点群シーケンスのビットストリームとの間の変換を実行するステップを含み、
前記複数セットのＳＬＰは、ビットストリーム内で示される、
方法。

【請求項2】

前記複数セットのＳＬＰを指す複数の指示は、前記ビットストリーム内で示される、
請求項１に記載の方法。

【請求項3】

前記複数の指示は、前記複数セットのＳＬＰの少なくとも１セットのＳＬＰを示す少なくとも１つのインデックスを含む、
請求項２に記載の方法。

【請求項4】

前記少なくとも１つのインデックスには、所定の番号から始まる番号が付けられる、
請求項３に記載の方法。

【請求項5】

前記所定の番号は０である、
請求項４に記載の方法。

【請求項6】

前記複数の指示は、
固定長コーディング、
単項コーディング、又は
切り捨て単項コーディングのうちの１つでコーディングされる、
請求項２～５のいずれか１項に記載の方法。

【請求項7】

前記複数の指示は、予測的にコーディングされる、
請求項２～５のいずれか１項に記載の方法。

【請求項8】

前記複数の指示は、それぞれ、前記複数セットのＳＬＰ内で示される、
請求項２～７のいずれか１項に記載の方法。

【請求項9】

前記複数セットのＳＬＰは、前記点群シーケンスをコーディングするための第１構文構造内のパラメータを含み、
前記ビットストリーム内で前記点群シーケンスをコーディングするための第２構文構造内のパラメータを示すかどうかに関する情報、又は、前記ビットストリーム内で前記第２構文構造内の前記パラメータをどのように示すかに関する情報のうちの少なくとも１つは、前記第１構文構造内の前記パラメータに依存し、
前記第２構文構造のタイプは、前記第１構文構造のタイプと異なる、
請求項１～８のいずれか１項に記載の方法に記載の方法。

【請求項10】

前記第１構文構造は、シーケンス・パラメータセット（ＳＰＳ）を含む、
請求項９に記載の方法。

【請求項11】

前記第２構文構造は、ジオメトリ・パラメータセット（ＧＰＳ）又は属性パラメータセット（ＡＰＳ）を含む、
請求項９又は１０に記載の方法。

【請求項12】

前記第１構文構造内の前記パラメータは、前記第２構文構造内の前記パラメータの前にシグナリングされる、
請求項９～１１のいずれか１項に記載の方法。

【請求項13】

前記第２構文構造内の前記パラメータは前記ビットストリームに存在せず、前記第１構文構造内の前記パラメータは前記第２構文構造に使用される、
請求項９～１１のいずれか１項に記載の方法。

【請求項14】

前記第２構文構造内の前記パラメータは、前記ビットストリーム内で述語的に示される、
請求項９～１２のいずれか１項に記載の方法。

【請求項15】

前記第２構文構造内の前記パラメータは、前記第１構文構造内の前記パラメータに基づいて決定される、
請求項９～１２のいずれか１項に記載の方法。

【請求項16】

前記第１構文構造はＳＰＳであり、前記複数セットのＳＬＰはＧＰＳ内のパラメータ及びＡＰＳ内のパラメータをさらに含む、
請求項９～１２のいずれか１項に記載の方法。

【請求項17】

前記第１構文構造内の前記パラメータは、前記第２構文構造内の前記パラメータの前にコーディングされる、
請求項９～１２のいずれか１項に記載の方法。

【請求項18】

前記複数セットのＳＬＰは、前記点群シーケンスをコーディングするための複数のパラメータセットを含む、
請求項１～１７のいずれか１項に記載の方法。

【請求項19】

前記複数のパラメータセットは、ＳＰＳ、ＧＰＳ、又はＡＰＳのうちの少なくとも１つを含む、
請求項１８に記載の方法。

【請求項20】

前記点群シーケンス内の点群サンプルのデータユニットをコーディングするためのパラメータセットは、活性化関数によって前記複数のパラメータセットから取得される、
請求項１８又は１９に記載の方法。

【請求項21】

前記データユニットは、
前記点群サンプルのジオメトリ・データ、又は、
前記点群サンプルの属性データのうちの少なくとも１つを含む、
請求項２０に記載の方法。

【請求項22】

前記複数のパラメータセットを指す複数のパラメータセット指示は、第２レベルで前記ビットストリーム内に示され、
前記第２レベルは、シーケンスレベルよりも低い、
請求項１８～２１のいずれか１項に記載の方法。

【請求項23】

前記複数のパラメータセットを指す複数のパラメータセット指示が、第２レベルで前記ビットストリーム内に示されるか否かに関する情報は、シーケンスレベルでのパラメータセットの数に依存し、
前記第２レベルは、前記シーケンスレベルよりも低い、
請求項１８～２２のいずれか１項に記載の方法。

【請求項24】

前記複数のパラメータセット指示は、前記第２レベルで使用されるパラメータセットを示すインデックスを含む、
請求項２２又は２３に記載の方法。

【請求項25】

前記複数のパラメータセット指示は、
固定長コーディング、
単項コーディング、又は
切り捨て単項コーディングのうちの１つでコーディングされる、
請求項２２～２４のいずれか１項に記載の方法。

【請求項26】

前記複数のパラメータセット指示は、予測の方法でコーディングされる、
請求項２２～２４のいずれか１項に記載の方法。

【請求項27】

前記複数のパラメータセット指示の１つは、前記第２レベルのヘッダボックス内で示される、
請求項２２～２４のいずれか１項に記載の方法。

【請求項28】

前記複数のパラメータセット指示の１つは、前記点群サンプルの情報ユニット内の構成ボックス内で示される、
請求項２２～２４のいずれか１項に記載の方法。

【請求項29】

前記データユニットは、シーケンスレベルよりも低い第２レベルで関連付けられる、
請求項２０又は２１に記載の方法。

【請求項30】

前記第２レベルは、前記複数のパラメータセットのうちの少なくとも１つが割り当てられる、
請求項２９に記載の方法。

【請求項31】

前記第２レベルのパラメータセットを指す指示は、前記第２レベルのヘッドボックス内で示され、前記指示は、前記パラメータセットを取得するために前記活性化関数によって使用される、
請求項２９に記載の方法。

【請求項32】

前記データユニットはジオメトリ・データユニットであり、前記ジオメトリ・データユニットの前記活性化関数によって取得されたＳＰＳは、他のデータユニットに使用される、請求項２９に記載の方法。

【請求項33】

前記変換は、前記点群シーケンスを前記ビットストリームに符号化するステップを含む、
請求項１～３２のいずれか１項に記載の方法。

【請求項34】

前記変換は、前記ビットストリームから前記点群シーケンスを復号するステップを含む、
請求項１～３２のいずれか１項に記載の方法。

【請求項35】

プロセッサと命令を備える非一時的なメモリとを含む、点群データを処理する装置であって、
前記命令は、前記プロセッサによって実行されると、前記プロセッサに請求項１～３４のいずれか１項に記載の方法を実行させる、装置。

【請求項36】

プロセッサに請求項１～３４に記載の方法を実行させる命令を記憶する、
非一時的なコンピュータ可読記憶媒体。

【請求項37】

点群処理装置によって実行される方法で生成される、点群シーケンスのビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、前記方法は、
点群シーケンスをコーディングするための複数セットのシーケンスレベル・パラメータ（ＳＬＰ）に基づいて、前記ビットストリームを生成するステップを含み、
前記複数セットのＳＬＰは、前記ビットストリーム内で示される、
非一時的なコンピュータ可読記録媒体。

【請求項38】

点群シーケンスのビットストリームを記憶する方法であって、
点群シーケンスをコーディングするための複数セットのシーケンスレベル・パラメータ（ＳＬＰ）に基づいて、前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体内に記憶するステップと、を含み、
前記複数セットのＳＬＰは、前記ビットストリームで示される、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施形態は、概して、点群コーディング技術に関し、より具体的には、点群コーディングにおけるコーディングパラメータのコーディング及びカプセル化に関する。

【背景技術】

【0002】

点群は、三次元（３Ｄ）平面内の個々のデータ点の集合であり、各点はＸ、Ｙ、Ｚ軸上に設定された座標を持つ。従って、点群は、三次元空間の物理的コンテンツを表すことに使用されることができる。点群は、拡張現実から自動運転車まで幅広い没入型アプリケーションの３Ｄビジュアルデータを表現する有望な方法であると判明されている。

【0003】

点群コーディング規格は、主によく知られているＭＰＥＧ組織の発展を通じて進化してきた。ＭＰＥＧは、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐの略であり、マルチメディアを扱う主な標準化グループの１つである。２０１７において、ＭＰＥＧ ３Ｄグラフィックスコーディンググループ（３ＤＧ）は、点群コーディング規格の開発を開始する発表募集（ＣＦＰ）書類を発行した。最終的な規格は２つのクラスの方案を含むようになる。ビデオベースの点群圧縮（Ｖ－ＰＣＣ又はＶＰＣＣ）は、点が比較的均一に分布される点集合に適する。ジオメトリベースの点群圧縮（Ｇ－ＰＣＣ又はＧＰＣＣ）は、より疎な分布に適する。しかし、従来の点群コーディング技術のコーディング効率は、一般的に更なる改善が期待されている。

【発明の概要】

【0004】

本開示の実施形態は、点群コーディングの方案を提供する。

【0005】

第１態様では、点群コーディング方法を提案する。前記方法は、点群シーケンスをコーディングするための複数セットのシーケンスレベル・パラメータ（ＳＬＰ）に基づいて、点群シーケンスと前記点群シーケンスのビットストリームとの間の変換を実行するステップを含み、前記複数セットのＳＬＰは、ビットストリーム内で示される。

【0006】

本開示の第１態様による方法によれば、点群シーケンスをコーディングするための複数のコーディングオプションを提供する複数セットのＳＬＰは、ビットストリーム内で示される。１セットのＳＬＰのみがシグナリングされる従来の方案に比べて、提案した方法は、より高い柔軟性を提供できるという利点を有するため、コーディング品質及びコーディング効率を向上させる。

【0007】

第２態様では、点群データを処理する装置を提案する。前記点群データを処理する装置は、プロセッサと、命令が記憶される非一時的メモリとを含む。前記命令は、前記プロセッサによって実行されると、前記プロセッサに本開示の第１態様による方法を実行させる。

【0008】

第３態様では、非一時的なコンピュータ可読記憶媒体を提案する。前記非一時的なコンピュータ可読記憶媒体は、プロセッサに本開示の第１態様による方法を実行させる命令を記憶する。

【0009】

第４態様では、他の非一時的なコンピュータ可読記録媒体を提案する。非一時的なコンピュータ可読記録媒体は、点群処理装置によって実行される方法で生成される、点群シーケンスのビットストリームを記憶する。前記方法は、点群シーケンスをコーディングするための複数セットのシーケンスレベル・パラメータ（ＳＬＰ）に基づいて、前記ビットストリームを生成するステップを含み、前記複数セットのＳＬＰは、前記ビットストリーム内で示される。

【0010】

第５態様では、点群シーケンスのビットストリームを記憶するための方法を提案する。前記方法は、点群シーケンスをコーディングするための複数セットのシーケンスレベル・パラメータ（ＳＬＰ）に基づいて、前記ビットストリームを生成することと、前記ビットストリームを非一時的なコンピュータ可読記録媒体内に記憶することと、を含み、前記複数セットのＳＬＰは、前記ビットストリームで示される。

【0011】

この発明の概要は、以下の詳細な説明でさらに記述される概念の選択を簡略化した形で紹介するために提供される。この発明の概要は、請求される技術的事項の主な特徴又は本質的な特徴を特定することを意図したものではなく、また、請求される技術的事項の範囲を制限するために使用されることを意図したものでもない。

【図面の簡単な説明】

【0012】

添付の図面を参照した以下の詳細な説明を通じて、本開示の例示的な実施形態の上記及び他の目的、特徴、及び利点がより明らかになるであろう。本開示の例示的な実施形態では、同じ参照番号は、通常、同じコンポーネントを指す。

【0013】

【図1】本開示の技術を利用できる例示的な点群コーディングシステムを示すブロック図である。

【0014】

【図2】本開示のいくつかの実施形態による例示的な点群エンコーダを示すブロック図である。

【0015】

【図3】本開示のいくつかの実施形態による例示的な点群デコーダを示すブロック図である。

【0016】

【図4】コーディングされたＧ－ＰＣＣビットストリームが単一のトラックに記憶される場合のサンプル構造を示す概略図である。

【0017】

【図5】Ｇ－ＰＣＣビットストリームのマルチトラックコンテナを示す概略図である。

【0018】

【図6】サンプル情報の前にＴＬＶ内でＳＬＰをシグナリングすることによる単一のトラック内のＧ－ＰＣＣビットストリームの一例を示す概略図である。

【0019】

【図7】サンプル情報の前にシーケンス構成ボックス内でＳＬＰをシグナリングすることによる単一のトラック内のＧ－ＰＣＣビットストリームの一例を示す概略図である。

【0020】

【図8】グループレベル構造を使用することによる単一のトラック内のＧ－ＰＣＣビットストリームの一例を示す概略図である。

【0021】

【図9】本開示のいくつかの実施形態による点群コーディング方法のフローチャートを示す。

【0022】

【図10】本開示の様々な実施形態を実施できるコンピューティングデバイスのブロック図を示す。

【0023】

図面の全体にわたって、同じ又は類似の参照番号は、通常、同じ又は類似の要素を指す。

【発明を実施するための形態】

【0024】

以下、いくつかの実施形態を参照しながら本開示の原理を説明する。これらの実施形態は、例示の目的で、かつ、当業者が本開示を理解して実施することに寄与するために記載されるにすぎず、本開示の範囲に関していかなる限定も示唆しないと理解すべきである。本明細書に記載の開示は、以下に記載する方法以外にも、様々な方法で実施することができる。

【0025】

以下の説明及び特許請求の範囲において、別段の定義がない限り、本明細書で使用されるすべての技術用語及び科学用語は、本開示が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。

【0026】

本開示における「一つの実施形態」、「一実施形態」、「例示的な実施形態」などへの言及は、記載される実施形態が、特定の特徴、構造、又は特性を含み得ることを示すが、必ずしもすべての実施形態が、特定の特徴、構造、又は特性を含むとは限らない。また、そのような語句は、必ずしも同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、又は特性が、例示的な実施形態に関連して説明される場合、明示的に記載されているかどうかにかかわらず、他の実施形態に関連して、そのような特徴、構造、又は特性に影響を与えることは、当業者の知識の範囲内であることが指摘される。

【0027】

「第１」及び「第２」などの用語は、本明細書では、様々な要素を説明するために使用され得るが、これらの要素は、これらの用語によって限定されるべきではないことを理解すべきである。これらの用語は、ある要素を別の要素と区別するためにのみ使用されている。例えば、例示的な実施形態の範囲から逸脱することなく、第１の要素が第２の要素と呼ばれ得る。同様に、第２の要素が第１の要素と呼ばれ得る。本明細書で使用される「及び／又は」という用語には、列挙された用語の１つ又は複数のあらゆる組み合わせが含まれる。

【0028】

本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、例示的な実施形態を限定することを意図したものではない。本明細書で使用されるように、単数形「ａ（一つの）」、「ａｎ（一つの）」、及び「ｔｈｅ（その）」は、文脈上明らかに別段の指示がない限り、複数形も含むものとする。「含む」、「備える」、「有する」、「持つ」、「含む」、及び／又は「包含する」という用語は、本明細書で使用される場合、記載された特徴、要素、及び／又は、コンポーネントなど、の存在を特定するが、１つ又は複数の他の特徴、要素、コンポーネント、及び／又は、それらの組み合わせの存在又は追加を排除するものではないことが、さらに理解されるであろう。

【0029】

例示的な環境
以下、いくつかの実施形態を参照しながら本開示の原理を説明する。これらの実施形態は、例示の目的で、かつ、当業者が本開示を理解して実施することに寄与するために記載されるにすぎず、本開示の範囲に関していかなる限定も示唆しないと理解すべきである。本明細書に記載の開示は、以下に記載する方法以外にも、様々な方法で実施することができる。

【0030】

以下の説明及び特許請求の範囲において、別段の定義がない限り、本明細書で使用されるすべての技術用語及び科学用語は、本開示が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。

【0031】

本開示における「一つの実施形態」、「一実施形態」、「例示的な実施形態」などへの言及は、記載される実施形態が、特定の特徴、構造、又は特性を含み得ることを示すが、必ずしもすべての実施形態が、特定の特徴、構造、又は特性を含むとは限らない。また、そのような語句は、必ずしも同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、又は特性が、例示的な実施形態に関連して説明される場合、明示的に記載されているかどうかにかかわらず、他の実施形態に関連して、そのような特徴、構造、又は特性に影響を与えることは、当業者の知識の範囲内であることが指摘される。

【0032】

「第１」及び「第２」などの用語は、本明細書では、様々な要素を説明するために使用され得るが、これらの要素は、これらの用語によって限定されるべきではないことを理解すべきである。これらの用語は、ある要素を別の要素と区別するためにのみ使用されている。例えば、例示的な実施形態の範囲から逸脱することなく、第１の要素が第２の要素と呼ばれ得る。同様に、第２の要素が第１の要素と呼ばれ得る。本明細書で使用される「及び／又は」という用語には、列挙された用語の１つ又は複数のあらゆる組み合わせが含まれる。

【0033】

本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、例示的な実施形態を限定することを意図したものではない。本明細書で使用されるように、単数形「ａ（一つの）」、「ａｎ（一つの）」、及び「ｔｈｅ（その）」は、文脈上明らかに別段の指示がない限り、複数形も含むものとする。「含む」、「備える」、「有する」、「持つ」、「含む」、及び／又は「包含する」という用語は、本明細書で使用される場合、記載された特徴、要素、及び／又は、コンポーネントなど、の存在を特定するが、１つ又は複数の他の特徴、要素、コンポーネント、及び／又は、それらの組み合わせの存在又は追加を排除するものではないことが、さらに理解されるであろう。
例示的な環境

【0034】

図１は、本開示の技術を利用できる例示的な点群コーディングシステム１００を示すブロック図である。図示されるように、点群コーディングシステム１００はソースデバイス１１０及び宛先デバイス１２０を含み得る。ソースデバイス１１０は点群符号化デバイスとも呼ばれることができ、宛先デバイス１２０は点群復号化デバイスとも呼ばれることができる。動作中、ソースデバイス１１０は符号化された点群データを生成するように構成されることができ、宛先デバイス１２０はソースデバイス１１０により生成された符号化の点群データを復号するように構成されることができる。本開示の技術は、概して、点群データのコーディング（符号化及び／又は復号化）、即ち、点群圧縮のサポートを対象とする。コーディングは、点群データの圧縮及び／又は解凍に効果的であり得る。

【0035】

ソースデバイス１００及び宛先デバイス１２０は、デスクトップコンピュータ、ノートブック（即ち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、スマートフォン及びモバイルフォンなどの電話機、テレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤー、ビデオゲームコンソール、ビデオストリーミングデバイス、地上車両または海洋車両、宇宙船、航空機、ロボット、ＬＩＤＡＲデバイス、衛星、拡張現実デバイスなど含む幅広いデバイスのいずれかを含み得る。いくつかの場合に、ソースデバイス１００及び宛先デバイス１２０は、無線通信用に装備され得る。

【0036】

ソースデバイス１００は、データソース１１２、メモリ１１４、ＧＰＣＣエンコーダ１１６、及び入力／出力（Ｉ／Ｏ）インターフェース１１８を含み得る。宛先デバイス１２０は、入力／出力（Ｉ／Ｏ）インターフェース１２８、ＧＰＣＣデコーダ１２６、メモリ１２４、及びデータコンシューマー１２２を含み得る。本開示によれば、ソースデバイス１００のＧＰＣＣエンコーダ１１６及び宛先デバイス１２０のＧＰＣＣデコーダ１２６は、点群コーディングに関連する本開示の技術を適用するように構成され得る。従って、ソースデバイス１００は符号化デバイスの一例を表し、宛先デバイス１２０は復号化デバイスの一例を表す。他の例では、ソースデバイス１００及び宛先デバイス１２０は他のコンポーネント及び配置を含み得る。例えば、ソースデバイス１００は、内部ソース又は外部ソースからデータ（例えば、点群データ）を受信し得る。同様に、宛先デバイス１２０は、本デバイス内にデータコンシューマーを含まず、外部のデータコンシューマーとインターフェースし得る。

【0037】

概して、データソース１１２は、点群データ（即ち、符号化されていない生点群データ）のソースを表し、点群データの連続した一連の「フレーム」を、フレームの点群データを符号化するＧＰＣＣエンコーダ１１６へ提供し得る。いくつかの例では、データソース１１２は点群データを生成する。ソースデバイス１００のデータソース１１２は、例えば、１つ又は複数のビデオカメラ、以前に捕捉された点群データを格納するアーカイブ、３Ｄスキャナ又はＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）デバイス、及び／又は、データコンテンツプロバイダーから点群データを受信するためのデータフィードインターフェースなど、様々なカメラ又はセンサのいずれかのような点群キャプチャデバイスを含み得る。従って、いくつかの例では、データソース１１２は、ＬＩＤＡＲ装置からの信号に基づいて点群データを生成し得る。代替的または追加的に、点群データは、スキャナ、カメラ、センサ又は他のデータからコンピュータにより生成されてもよい。例えば、データソース１１２は、点群データを生成してもよく、又は、ライブ点群データ、アーカイブされた点群データ、及びコンピュータにより生成された点群データの組み合わせを作成してもよい。いずれの場合にも、ＧＰＣＣエンコーダ１１６は捕捉された点群データ、事前捕捉された点群データ、又はコンピュータにより生成された点群データを符号化する。ＧＰＣＣエンコーダ１１６は、点群データのフレームを、受信順（「表示順」と呼ばれることもがる）からコーディングするためのコーディング順に並べ替え得る。ＧＰＣＣエンコーダ１１６は符号化された点群データを含む１つ又は複数のビットストリームを生成し得る。そして、ソースデバイス１００は、例えば、宛先デバイス１２０のＩ／Ｏインターフェース１２８による受信及び／又は取得のために、Ｉ／Ｏインターフェース１１８を介して符号化された点群データを出力する。符号化された点群データはＩ／Ｏインターフェース１１８を介してネットワーク１３０Ａを通じて宛先デバイス１２０へ直接送信され得る。符号化された点群データは、宛先デバイス１２０によってアクセスされるように記憶媒体／サーバ１３０Ｂに記憶され得る。

【0038】

ソースデバイス１００のメモリ１１４及び宛先デバイス１２０のメモリ１２４は汎用メモリを表し得る。いくつかの例では、メモリ１１４及びメモリ１２４は、生点群データ、例えば、データソース１１２からの生点群データ及びＧＰＣＣデコーダ１２６からの復号された生点群データを格納することができる。追加的または代替的に、メモリ１１４及びメモリ１２４は、例えばＧＰＣＣエンコーダ１１６及びＧＰＣＣデコーダ１２６のそれぞれによって実行可能なソフトウェア命令を格納してもよい。この例において、メモリ１１４及びメモリ１２４はＧＰＣＣエンコーダ１１６及びＧＰＣＣデコーダ１２６と別個に示されているが、ＧＰＣＣエンコーダ１１６及びＧＰＣＣデコーダ１２６は機能上同様又は同等の目的で内部メモリを含み得ると理解すべきである。さらに、メモリ１１４及びメモリ１２４は、符号化された点群データ（例えばＧＰＣＣエンコーダ１１６からの出力、及びＧＰＣＣデコーダ１２６への入力）を格納し得る。いくつかの例では、メモリ１１４及びメモリ１２４の一部は、例えば、生点群データ、復号された点群データ、及び／又は符号化された点群データを格納するために１つ又は複数のバッファとして割り当てられ得る。例えば、メモリ１１４及びメモリ１２４は、点群データを格納し得る。

【0039】

Ｉ／Ｏインターフェース１１８及びＩ／Ｏインターフェース１２８は、無線送信機／受信機、モデム、有線ネットワーキングコンポーネント（例えば、イーサネットカード）、様々なＩＥＥＥ８０２．１１規格のいずれかに従って動作する無線通信コンポーネント、又は他の物理的コンポーネントを表し得る。Ｉ／Ｏインターフェース１１８及びＩ／Ｏインターフェース１２８が無線コンポーネントを含む例では、Ｉ／Ｏインターフェース１１８及びＩ／Ｏインターフェース１２８は、４Ｇ、４Ｇ－ＬＴＥ（Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥアドバンスト、５Ｇなどのようなセルラー通信規格に従って、符号化された点群データなどのデータを送信するように構成され得る。Ｉ／Ｏインターフェース１１８が無線送信機を含むいくつかの例では、Ｉ／Ｏインターフェース１１８及びＩ／Ｏインターフェース１２８は、ＩＥＥＥ８０２．１１仕様などの他の無線規格に従って、符号化された点群データなどのデータを送信するように構成され得る。いくつかの例では、ソースデバイス１００及び／又は宛先デバイス１２０は、それぞれのＳｏＣ（ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）デバイスを含み得る。例えば、ソースデバイス１００は、ＧＰＣＣエンコーダ１１６及び／又はＩ／Ｏインターフェース１１８に起因する機能を実行するＳｏＣデバイスを含み得、宛先デバイス１２０は、ＧＰＣＣデコーダ１２６及び／又はＩ／Ｏインターフェース１２８に起因する機能を実行するＳｏＣデバイスを含み得る。

【0040】

本開示の技術は、自動運転車の間の通信、スキャナ、カメラ、センサ、ローカル又はリモートサーバなどの処理デバイスとの間の通信、地理的マッピング、又は他の応用などの様々な応用のいずれかをサポートする符号化及び復号化に適用されることができる。

【0041】

宛先デバイス１２０のＩ／Ｏインターフェース１２８は、ソースデバイス１１０から符号化されたビットストリームを受信する。符号化されたビットストリームは、点群を表す値を有する構文要素などのシグナリング情報を含み、当該シグナリング情報は、ＧＰＣＣエンコーダ１１６によって定義され、ＧＰＣＣデコーダ１２６によっても使用される。データコンシューマー１２２は復号されたデータを使用する。例えば、データコンシューマー１２２は、復号された点群データを使用して物理的オブジェクトの位置を決定し得る。いくつかの例では、データコンシューマー１２２は、点群データに基づいて画像を表示するためのディスプレイを含み得る。

【0042】

ＧＰＣＣエンコーダ１１６及びＧＰＣＣデコーダ１２６は、それぞれ、１つ又は複数のマイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア又はそれらの組み合わせなどの様々な適切なエンコーダ及び／又はデコーダ回路のいずれかとして実装され得る。当該技術が部分的にソフトウェアで実装される場合、デバイスは、適切な非一時的なコンピュータ可読媒体にソフトウェア用の命令を格納し、そして、１つ又は複数のプロセッサを使用してハードウェアで命令を実行することで、本開示の技術を実行し得る。ＧＰＣＣエンコーダ１１６及びＧＰＣＣデコーダ１２６の各々は、１つ又は複数のエンコーダ又はデコーダに含まされてよく、どちらがそれぞれのデバイス内の複合エンコーダ／デコーダ（コーデック））の一部として集積されてもよい。ＧＰＣＣエンコーダ１１６及び／又はＧＰＣＣデコーダ１２６を含むデバイスは、１つ又は複数の集積回路、マイクロプロセッサ、及び／又は他のタイプのデバイスを含み得る。

【0043】

ＧＰＣＣエンコーダ１１６及びＧＰＣＣデコーダ１２６は、ビデオ点群圧縮（ＶＰＣＣ）規格又はジオメトリ点群圧縮（ＧＰＣＣ）規格などのコーディング規格に従って動作し得る。本開示は、データを符号化又は復号する処理を含むフレームのコーディング（例えば、符号化及び復号化）を指す場合がある。符号化されたビットストリームは、通常、コーディング決定（例えば、コーディングモード）を表す構文要素の一連の値を含む。

【0044】

点群は、３Ｄ空間内の点集合を含み、点に関連付けられる属性を有する。属性は、Ｒ、Ｇ、ＢやＹ、Ｃｂ、Ｃｒなどの色情報、反射率情報、又は他の属性であり得る。点群は、ＬＩＤＡＲセンサ及び３Ｄスキャナなどの様々なカメラやセンサによって取得される場合がり、コンピュータで生成される場合もある。点群データは、建築（造形）、グラフィックス（視覚化及びアニメーション用の３Ｄモデル）、及び自動車産業（ナビゲーションに使用されるＬＩＤＡＲセンサ）を含む様々な応用に使用されるが、これらに限定されない。

【0045】

図２は、本開示のいくつかの実施形態による、図１に示すシステム１００内のＧＰＣＣエンコーダ１１６の一例であり得るＧＰＣＣエンコーダ２００の一例を示すブロック図である。図３は、本開示のいくつかの実施形態による、図１に示すシステム１００内のＧＰＣＣデコーダ１２６の一例であり得るＧＰＣＣデコーダ３００の一例を示すブロック図である。

【0046】

ＧＰＣＣエンコーダ２００及びＧＰＣＣデコーダ３００の両方において、点群位置は最初にコーディングされる。属性コーディングは、復号されたジオメトリに依存する。図２及び図３において、領域適応階層変換（ＲＡＨＴ）ユニット２１８、表面近似ユニット２１２、ＲＡＨＴユニット３１４及び表面近似合成ユニット３１０は、カテゴリ１のデータに通常使用されるオプションである。ＬＯＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）生成ユニット２２０、リフティングユニット２２２、ＬＯＤ生成ユニット３１６及び逆リフティングユニット３１８は、カテゴリ３のデータに通常使用されるオプションである。他のすべてのユニットはカテゴリ１とカテゴリ３との間で共通される。

【0047】

カテゴリ３のデータの場合に、圧縮されたジオメトリは、典型的に、根から個々のボクセルの葉レベルで至る八分木として表される。カテゴリ１のデータの場合に、圧縮されたジオメトリは、典型的に、プルーニングされた八分木（即ち、根からボクセルよりも大きいブロックの葉レベルまでの八分木）とプルーニングされた八分木の各葉内の表面を近似するモデルによって現れる。このようにして、カテゴリ１及び３のデータの両方は八分木のコーディングメカニズムを共有するが、カテゴリ１のデータは、それに加えて表面モデルを使用して各葉内のボクセルを近似し得る。使用される表面モデルは、ブロックごとに１～１０個の三角形を含む三角形分割であり、三角形スープが生成される。カテゴリ１のジオメトリコーデックは、Ｔｒｉｓｏｕｐジオメトリコーデックとして知られており、カテゴリ３ジオメトリのコーデックは、八分木ジオメトリコーデックとして知られている。

【0048】

図２の例では、ＧＰＣＣエンコーダ２００は、座標変換ユニット２０２、色変換ユニット２０４、ボクセル化ユニット２０６、属性転送ユニット２０８、八分木解析ユニット２１０、表面近似解析ユニット２１２、算術符号化ユニット２１４、ジオメトリ再構成ユニット２１６、ＲＡＨＴユニット２１８、ＬＯＤ生成ユニット２２０、リフティングユニット２２２、係数量子化ユニット２２４、及び算術符号化ユニット２２６を含み得る。

【0049】

図２の例に示されるように、ＧＰＣＣエンコーダ２００は、位置のセット及び属性のセットを受信し得る。位置は、点群における点の座標を含み得る。属性は、点群における点に関連つけられた色など、点群における点に関する情報を含み得る。

【0050】

座標変換ユニット２０２は、座標を初期領域から変換領域に変換するために、点の座標に変換を適用し得る。本開示は、変換された座標を変換座標と呼ぶことがある。色変換ユニット２０４は、属性の色情報を異なる領域に変換するために変換を適用し得る。例えば、色変換ユニット２０４は、色情報をＲＧＢ色空間からＹＣｂＣｒ色空間に変換し得る。

【0051】

さらに、図２の例では、ボクセル化ユニット２０６は、変換座標をボクセル化し得る。変換座標のボクセル化は、量子化すること及び点群のいくつかの点を除去するステップを含み得る。言い換えれば、点群の複数の点は、単一の「ボクセル」内に包含されることができ、単一の「ボクセル」は、それ以降いくつかの観点において１つの点として扱われ得る。さらに、八分木解析ユニット２１０は、ボクセル化された変換座標に基づいて八分木を生成し得る。さらに、図２の例では、表面近似解析ユニット２１２は、点を解析して点セットの表面表現潜在的に決定し得る。算術符号化ユニット２１４は、表面近似解析ユニット２１２によって決定された八分木及び／又は表面の情報を表す構文要素に対して算術符号化を実行し得る。ＧＰＣＣエンコーダ２００は、ジオメトリビットストリーム内でこれらの構文要素を出力し得る。

【0052】

ジオメトリ再構成ユニット２１６は、八分木、表面近似解析ユニット２１２によって決定された表面を示すデータ、及び／又は他の情報に基づいて、点群における点の変換座標を再構成し得る。ジオメトリ再構成ユニット２１６によって再構成された変換座標の数は、ボクセル化及び表面近似のため、点群の点の元の数と異なることがある。本開示では、得られる点を再構成された点と呼ぶことがある。属性転送ユニット２０８は、点群の元の点の属性を点群データの再構成された点に転送し得る。

【0053】

さらに、ＲＡＨＴユニット２１８は、再構成された点の属性にＲＡＨＴコーディングを適用し得る。代替的または追加的に、ＬＯＤ生成ユニット２２０及びリフティングユニット２２２は、それぞれ、再構成された点の属性にＬＯＤ処理及びリフティングを適用してもよい。ＲＡＨＴユニット２１８及びリフティングユニット２２２は、属性に基づいて係数を生成し得る。係数量子化ユニット２２４は、ＲＡＨＴユニット２１８又はリフティングユニット２２２によって生成された係数を量子化し得る。算術符号化ユニット２２６は、量子化された係数を表す構文要素に対して算術コーディングを適用し得る。ＧＰＣＣエンコーダ２００は、属性ビットストリーム内でこれらの構文要素を出力し得る。

【0054】

図３の例では、ＧＰＣＣデコーダ３００は、ジオメトリ算術復号化ユニット３０２、属性算術復号化ユニット３０４、八分木合成ユニット３０６、逆量子化ユニット３０８、表面近似合成ユニット３１０、ジオメトリ再構成ユニット３１２、ＲＡＨＴユニット３１４、ＬＯＤ生成ユニット３１６、逆リフティングユニット３１８、座標逆変換ユニット３２０、及び色逆変換ユニット３２２を含み得る。

【0055】

ＧＰＣＣデコーダ３００は、ジオメトリビットストリーム及び属性ビットストリームを取得し得る。デコーダ３００のジオメトリ算術復号化ユニット３０２は、算術復号化（例えば、ＣＡＢＡＣ又は他のタイプの算術復号化）をジオメトリビットストリーム内の構文要素に適用し得る。同様に、属性算術復号化ユニット３０４は、算術復号化を属性ビットストリーム内の構文要素に適用し得る。

【0056】

八分木合成ユニット３０６は、ジオメトリビットストリームからパースされた構文要素に基づいて八分を合成し得る。表面近似がジオメトリビットストリームにおいて使用される事例では、表面近似合成ユニット３１０は、ジオメトリビットストリームからパースされた構文要素及び八分木に基づいて表面モデルを決定し得る。

【0057】

さらに、ジオメトリ再構成ユニット３１２は、点群の点の座標を決定するために再構成を実行し得る。座標逆変換ユニット３２０は、再構成された座標に逆変換して、点群の点の再構成された座標（位置）を変換領域から初期領域に戻して変換し得る。

【0058】

さらに、図３の例では、逆量子化ユニット３０８は、属性値を逆量子化し得る。属性値は、（例えば、属性算術復号化ユニット３０４によって復号された構文要素を含む）属性ビットストリームから取得された構文要素に基づくものであり得る。

【0059】

属性値がどのように符号化されるかに応じて、ＲＡＨＴユニット３１４は、ＲＡＨＴコーディングを実行して、逆量子化された属性値に基づいて点群の点についての色値を決定し得る。代替的に、ＬＯＤ生成ユニット３１６及び逆リフティングユニット３１８は、詳細レベルで基づく技法を使用して点群の点についての色値を決定してもよい。

【0060】

さらに、図３の例では、色逆変換ユニット３２２は、色値に逆色変換を適用し得る。逆色変換は、エンコーダ２００の色変換ユニット２０４によって適用された色変換の逆であり得る。例えば、色変換ユニット２０４は、色情報をＲＧＢ色空間からＹＣｂＣｒ色空間に変換し得る。よって、色逆変換ユニット３２２は、色情報をＹＣｂＣｒ色空間からＲＧＢ色空間に変換し得る。

【0061】

図２および図３の様々なユニットは、エンコーダ２００およびデコーダ３００によって実施される動作の理解を支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作に関してあらかじめ設定される。プログラマブル回路は、様々なタスクを実施するとともに、実施され得る動作においてフレキシブルな機能を提供するようにプログラミングされることができる回路を指す。例えば、プログラマブル回路は、ソフトウェア又はファームウェアの命令によって定義された態様でプログラマブル回路を動作させるソフトウェア又はファームウェアを実行し得る。固定機能回路は、（例えば、パラメータを受信する、又は、パラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つ又は複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、ユニットのうちの１つ又は複数は、集積回路であり得る。

【0062】

以下、本開示のいくつかの例示的な実施形態について詳細に説明する。本明細書では、理解を容易にするためにセクション見出しが使用されているが、セクションで開示される実施形態をそのセクションのみに限定するものではないことを理解すべきである。さらに、特定の実施形態が多用途のＧＰＣＣ又は他の特定の点群コーデックを参照して説明するが、開示技術は、他の点群コーディング技術にも適用可能である。さらに、いくつかの実施形態は、点群コーディングステップを詳細に説明するが、コーディングを元に戻す対応のステップである復号化はデコーダによって実施されることが理解されるであろう。
１．概要
本開示は、点群コーディング技術に関する。特に、点群コーディングにおけるコーディングパラメータのコーディング及びカプセル化に関する。このアイデアは、点群コーディング規格、又は、例えば開発中のジオメトリベースの点群圧縮（Ｇ－ＰＣＣ）の規格外の点群コーディングに個別に又は様々な組み合わせで適用され得る。
２．略語
Ｇ－ＰＣＣ ジオメトリベースの点群圧縮
ＭＰＥＧ ムービングピクチャーエクスパーツグループ
３ＤＧ ３Ｄグラフィックスコーディンググループ
ＣＦＰ 発表募集
Ｖ－ＰＣＣ ビデオベースの点群圧縮
ＳＰＳ シーケンスパラメータセット
ＧＰＳ ジオメトリ・パラメータセット
ＡＰＳ 属性パラメータセット
ＴＬＶ タイプ－長さ－値バイトストリーム形式
ＧＳＨ ジオメトリ・データユニットヘッダ
ＡＳＨ 属性データユニットヘッダ
ＧＯＦ フレームグループ
ＳＬＰ シーケンスレベル・パラメータ
ＧＬＰ ＧＯＦレベル・パラメータ
ＦＬＰ フレームレベル・パラメータ
ＩＳＯＢＭＦＦ ＩＳＯベースのメディアファイル形式
３．背景
点群コーディング規格は、主によく知られているＭＰＥＧ組織の発展を通じて進化してきた。ＭＰＥＧは、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐの略であり、マルチメディアを扱う主な標準化グループの１つである。２０１７において、ＭＰＥＧ ３Ｄグラフィックスコーディンググループ（３ＤＧ）は、点群コーディング規格の開発を開始する発表募集（ＣＦＰ）書類を発行した。最終的な規格は２つのクラスの方案を含むようになる。ビデオベースの点群圧縮（Ｖ－ＰＣＣ）は、点が比較的均一に分布される点集合に適する。ジオメトリベースの点群圧縮（Ｇ－ＰＣＣ）は、より疎な分布に適する。Ｖ－ＰＣＣ及びＧ－ＰＣＣの両方は、単一の点群及び点群シーケンスのコーディング及び復号化をサポートする。
１つの点群シーケンスには、１つ又は複数の点群フレームがある。点群シーケンスは、１つ又は複数のフレームグループ（ＧＯＦ）に分割されることができる。通常、各ＧＯＦ内の点群フレームの数は同じであり、ＧＯＦサイズとして示される。
１つの点群フレームには、３Ｄオブジェクト又はシーンを記述するための多数のデータ点がある。データ点ごとに、対応するジオメトリ情報及び属性情報が存在し得る。ジオメトリ情報は、データ点の空間的位置を記録するために使用される。属性情報は、テクスチャ、法線ベクトル及び反射などのデータ点の詳細を記録するために使用される。通常、コーデックには、ジオメトリ情報及び属性情報のコーディング及び復号化をそれぞれサポートするオプションのツールが多数ある。
３．１コーディングパラメータ
エンコーダには、符号化処理を制御するためのいくつかのコーディングパラメータがある。その一部は、復号処理をサポートするためにデコーダにシグナリングされる。シグナリングされたパラメータは、復号処理における役割に応じて、シーケンスレベル・パラメータ（ＳＬＰ）及びフレームレベルパラメータ（ＦＬＰ）などの複数のレベルで分類され得る。
ＳＬＰは、点群シーケンスにおけるすべてのフレームの復号処理に適用されることができるパラメータである。１つの点群シーケンスに対して１つ又は複数のＳＬＰグループが存在し得る。点群フレームごとに、１つのＳＬＰグループが適応されることができる。さらに、ＳＬＰは、ジオメトリ・パラメータセット（ＧＰＳ）、属性パラメータセット（ＡＰＳ）及びシーケンスパラメータセット（ＳＰＳ）などのいくつかのクラスタに分類されて格納されることができる。ジオメトリコーディングツールを制御するパラメータは、ＧＰＳに格納される。属性コーディングツールを制御するパラメータは、ＡＰＳに格納される。点群シーケンスの特徴を記述する、又は、コーディング処理全体を制御するほかのＳＬＰは、ＳＰＳに格納されることができる。例えば、点群シーケンスの属性カテゴリ及びコーディング処理のデータ精度を記述するパラメータは、ＳＰＳに格納される。
ＦＬＰは、１つの点群フレームの復号処理にのみ適用できるパラメータである。点群フレーム間のＦＬＰは、通常異なる。例えば、１つの点群フレームの点の数及びグローバル動きベクトルを記述するパラメータは、ＦＬＰとしてシグナリングされる。
３．２ ビットストリームカプセル化構造
Ｇ－ＰＣＣでは、エンコーダの出力は、コーディングされたジオメトリ・データ、属性データ、メイトデータ及びコーディングパラメータを格納する１つのビットストリームである。１つのＴＬＶ（Ｔｙｐｅ－ｌｅｎｇｔｈ－ｖａｌｕｅ）カプセル化構造は、Ｇ－ＰＣＣビットストリームの単位である。各ＴＬＶは、ＳＰＳ、ＧＰＳ、ＡＰＳ、タイルインベントリ、フレーム境界マーカー、ジオメトリ・データユニット、及び属性データユニットのうちの１つを含む。コーディングされたＧ－ＰＣＣビットストリームは、ＩＳＯＢＭＦＦファイル内の１つ又は複数のトラックとしてカプセル化される。
ＳＬＰはＳＰＳ、ＧＰＳ及びＡＰＳのうちの１つを含むパラメータセットＴＬＶに格納される。
ジオメトリ・データ及びジオメトリコーディング用のＦＬＰは、ジオメトリ・データユニットを含むジオメトリＴＬＶ内に格納される。ＧＳＨ（Ｇｅｏｍｅｔｒｙ Ｄａｔａ Ｕｎｉｔ Ｈｅａｄｅｒ）は、各ジオメトリＴＬＶのビットストリームの開始位置にあるカプセル化構造である。ジオメトリコーディング用のＦＬＰは、ＧＳＨに格納される。
属性データ及び属性コーディング用のＦＬＰは、属性データユニットを含む属性ＴＬＶ内に格納される。ＡＳＨ（Ａｔｔｒｉｂｕｔｅ Ｄａｔａ Ｕｎｉｔ Ｈｅａｄｅｒ）は、各属性ＴＬＶのビットストリームの開始位置にあるカプセル化構造である。属性コーディング用のＦＬＰは、ＡＳＨに格納される。
３．３ ＩＳＯＢＭＦＦ内のＧ－ＰＣＣデータの単一のトラックによるカプセル化
Ｇ－ＰＣＣビットストリームが単一のトラックで運ばれる場合に、さらなる処理をせずにＧ－ＰＣＣビットストリームを単一のトラックに格納することで、単純なＩＳＯＢＭＦＦカプセル化が利用される。各サンプルは、１つ又は複数のＧ－ＰＣＣユニットで構成される。
図４は、Ｇ－ＰＣＣジオメトリ及び属性ビットストリームが単一のトラックに格納される場合のサンプル構造の一例を示す。この場合、各サンプルは、ジオメトリ・データユニットを含む少なくとも１つのＧ－ＰＣＣユニット、属性データユニットを含む０個又は複数のＧ－ＰＣＣユニット、及びパラメータセットを持つ０個又は複数のＧ－ＰＣＣユニットを有する。
Ｇ－ＰＣＣトラックは、サンプルエントリタイプが「ｇｐｅ１」又は「ｇｐｅｇ」のＧＰＣＣＳａｍｐｌｅＥｎｔｒｙを使用すべきである。
「ｇｐｅ１」のサンプルエントリでは、すべてのＳＰＳ、ＧＰＳ、ＡＰＳ、及びタイルインベントリパラメータセットがｓｅｔｕｐＵｎｉｔ配列に存在すべきである。「ｇｐｅｇ」のサンプルエントリでは、パラメータセットは、当該配列又はストリームに存在し得る。
３．４ ＩＳＯＢＭＦＦ内のＧ－ＰＣＣデータのマルチトラックによるカプセル化
Ｇ－ＰＣＣビットストリームがＧ－ＰＣＣコンポーネントごとに複数のトラックで運ばれる場合に、各Ｇ－ＰＣＣコンポーネントビットストリームは、個別のトラックにマッピングされる。Ｇ－ＰＣＣコンポーネントトラックはＧ－ＰＣＣジオメトリトラック及びＧ－ＰＣＣ属性トラックの２種類を有する。トラック内の各サンプルは、ジオメトリ及び属性データユニットの両方を持つことなく、異なる属性データユニットの多重化ではなく、単一のＧ－ＰＣＣコンポーネントデータユニットを持つ少なくとも１つのＧ－ＰＣＣユニットを含む。Ｇ－ＰＣＣ属性トラックは、色、反射率などの異なる属性サブストリームを多重化しない。図５には、マルチトラックのＩＳＯＢＭＦＦ Ｇ－ＰＣＣコンテナの全般的なレイアウトが示される。
同じＧ－ＰＣＣシーケンスに属するトラックは時間的に整合されている。異なるトラックにわたって同じ点群フレームに寄与するサンプルは、同じ存在時間を有する。パラメータセット又はタイルインベントリがサンプル内に存在する場合に、このようなサンプルに使用されるパラメータセット又はタイルインベントリの復号時間は、対応するＧ－ＰＣＣコンポーネントデータユニットのサンプルの復号時間と等しいか、又はそれよりも前であるべきである。すべてのパラメータセットが複数のトラックにわたるサンプルに存在する場合に、ＳＰＳを含むサンプルの復号時間は、ＧＰＳ、ＡＰＳ、又はタイルインベントリを含むサンプルの復号時間と等しいか、又はそれよりも前であるべきである。加えて、同じＧ－ＰＣＣシーケンスに属するすべてのトラックは、同じ暗黙的又は明示的な編集リストを有すべきである。
Ｇ－ＰＣＣジオメトリトラック又はＧ－ＰＣＣ属性トラックは、サンプルエントリタイプが「ｇｐｃ１」又は「ｇｐｃｇ」のＧＰＣＣＳａｍｐｌｅＥｎｔｒｙを使用すべきである。
「ｇｐｃ１」のサンプルエントリでは、Ｇ－ＰＣＣジオメトリトラックのｓｅｔｕｐＵｎｉｔ配列は、すべてのＳＰＳ、ＧＰＳ、及びタイルインベントリを含むべきである。Ｇ－ＰＣＣ属性トラックのｓｅｔｕｐＵｎｉｔ配列は、すべての関連するＡＰＳを含むべきであり、ＳＰＳ、ＧＰＳ、及びタイルインベントリのいずれも含むべきではない。
「ｇｐｃｇ」のサンプルエントリでは、ＳＰＳ、ＧＰＳ、又はタイルインベントリは、サンプルエントリのｓｅｔｕｐＵｎｉｔ配列又はＧ－ＰＣＣジオメトリトラックのストリームに存在し得る。ＡＰＳは、サンプルエントリのｓｅｔｕｐＵｎｉｔ配列又はＧ－ＰＣＣ属性トラックのストリームに存在し得る。ＳＰＳ、ＧＰＳ、及びタイルインベントリのいずれもＧ－ＰＣＣ属性トラック内に存在すべきではない。
４．問題点
点群圧縮におけるコーディングパラメータのコーディング及びカプセル化のための既存の設計は、以下のような問題がある：
１．現在のＧ－ＰＣＣでは、ＳＬＰは、１つの点群シーケンス内の点群フレームやサンプルごとに繰り返してコーディングされてカプセル化される。しかし、１つの点群シーケンス内のすべての点群フレームに対して、使用されるＳＬＰグループはフレーム間で不変であり得る。従って、Ｇ－ＰＣＣビットストリームには、繰り返されたＳＬＰ情報を記録するために使用される不要なビットがいくつか存在する。
２．現在のＧ－ＰＣＣでは、ＧＯＦレベルパラメータ（ＧＬＰ）のコーディングのための設計が存在しない。実際のＧＯＦのサイズ（ＧＬＰであることもある）などのいくつかのコーディングパラメータは、１つのＧＯＦ内のすべての点群フレームに対して不変である。これらのコーディングパラメータは、ＦＬＰとして処理され、１つのＧＯＦ内の点群フレームごとに繰り返してコーディングされる。従って、点群エンコーダの出力には、繰り返されたＳＬＰ情報を記録するために使用される不要なビットがいくつか存在する。
３．現在のＧ－ＰＣＣでは、ＧＬＰのカプセル化のための設計が存在しない。ＧＬＰ情報を記録するために使用されるコーディングパラメータセットビットストリームは、複数のボックス内に繰り返してカプセル化される。しかし、ＧＬＰビットストリームは、通常、１つのＧＯＦにおけるすべての点に対して同じである。従って、Ｇ－ＰＣＣビットストリームには、繰り返された情報を格納するために使用される不要な構造がいくつか存在する。
５．詳細な解決方案
上記の問題及び言及していない他のいくつかの問題を解決するために、以下のように要約される方法を開示する。解決方案は、一般的な概念を説明するための例として考慮されるべきであり、狭く解釈されるべきではない。さらに、これらの解決方案は、任意の態様で組み合わせて適用することもできる。
以下の説明では、ＳＬＰは、ＳＰＳ／ＧＰＳ／ＡＰＳなど、特定の既存の構文要素内のコーディングパラメータを含むが、これに限定されない。
１）１つの点群シーケンスで１つ又は複数セットのＳＬＰ情報をシグナリングすることを提案する。
ａ）一例では、各パラメータセットを指す少なくとも１つの指示が存在し得る。
ｉ．指示は、関連するパラメータセットを示すいくつかのインデックス（例えば、ｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ／ｇｐｓ＿ｇｅｏｍ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ／ａｐｓ＿ａｔｔｒ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）によって表され得る。
（１）１セットのＳＬＰ情報のみが存在する場合に、インデックスは０に設定され得る。
（２）複数セットのＳＬＰ情報が存在する場合に、インデックスは０から始まり得る。
ｉｉ．指示は、固定長コーディング、単項コーディング（ｕｎａｒｙ ｃｏｄｉｎｇ）、切り捨て単項コーディング（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ ｃｏｄｉｎｇ）などでコーディングされ得る。
ｉｉｉ．指示は、予測の方法でコーディングされ得る。
ｉｖ．一例では、指示は、各パラメータセット内でシグナリングされ得る。
２）第１構文構造内のパラメータを、第２構文構造内のパラメータの前にシグナリングすることを提案する。
ａ）例えば、第１構文構造は、ＳＰＳであり得る。
ｂ）例えば、第２構文構造は、ＧＰＳ／ＡＰＳであり得る。
ｃ）一例では、第２構文構造内のパラメータは、条件付きでシグナリングされ得る。
ｉ．一例では、第２構文構造内のパラメータをシグナリングするか否か／どのようにシグナリングするかは、第１構文構造内でシグナリングされたパラメータに依存し得る。
ｉｉ．一例では、第１構文構造内でシグナリングされたパラメータが第２構文構造に使用されることと示される場合に、第２構文構造内のパラメータはシグナリングされなくてもよい。
ｉｉｉ．一例では、第２構文構造内のパラメータがシグナリングされない場合に、第１構文構造内でシグナリングされたパラメータは、第２構文構造に使用される。
ｄ）一例では、第２構文構造内のパラメータは、予測の方法でシグナリングされ得る。
ｉ．例えば、第２構文構造内のパラメータは、第１構文構造内のパラメータによって予測され得る。
ｅ）一例では、ＳＬＰ情報は、ＳＰＳ、ＧＰＳ及びＡＰＳ内のパラメータで構成され得る。
ｆ）一例では、ＳＰＳ内のパラメータは、ＧＰＳ／ＡＰＳ内のパラメータのシグナリングに使用され得る。
ｇ）一例では、ＳＰＳ内のパラメータは、ＧＰＳ／ＡＰＳ内のパラメータの前にシグナリングされ得る。
ｈ）一例では、ＳＰＳ内のパラメータは、ＧＰＳ／ＡＰＳ内のパラメータの前に復号され得る。
３）１つ又は複数のＴＬＶ内にＳＬＰ情報をグループ化してシグナリングすることを提案する。
ａ）一例では、ＳＬＰ情報は、サンプル情報の前又は後にシグナリングされ得る。
ｂ）一例では、１つ又は複数セットのＳＬＰ情報は、ＳＰＳ ＴＬＶ／ＧＰＳ ＴＬＶ／ＡＰＳ ＴＬＶなどの第１レベル構造でシグナリングされ得る。
ｃ）或いは、さらに、何セットのＳＬＰ情報に対する指示は、ビットストリーム内でシグナリングされ得る。
ｄ）一例では、ＳＬＰ情報は、第２レベル構造（例えば、フレーム／ピクチャ／スライス／タイル／サブピクチャ）の前にシグナリングされ得る。
ｅ）さらに、第２レベル構造で、少なくとも１セットのＳＬＰ情報を指す少なくとも１つの指示は、さらにシグナリングされ得る。
（１）指示は、例えば、第１レベルで複数セットのＳＬＰ情報があるか否かに応じて、条件付きでシグナリングされ得る。
（２）指示は、現在の第２レベル（例えば、現在の点群フレーム）を処理するために適用されるＳＬＰ情報の関連セットを示すいくつかのインデックス（例えば、ＳＬＰ＿ＳＰＳ＿ｉｄ／ＳＬＰ＿ＧＰＳ＿ｉｄ／ＳＬＰ＿ＡＰＳ＿ｉｄ）によって表され得る。
（３）指示は、固定長コーディング、単項コーディング、切り捨て単項コーディングなどでコーディングされ得る。
（４）指示は、予測の方法でコーディングされ得る。
（５）一例では、指示は、ＧＳＨ／ＡＳＨ内でシグナリングされ得る。
（６）或いは、指示は、サンプルエントリ内の構成ボックス内でシグナリングされ得る。
４）フレームごとにパラメータＴＬＶ内でＳＬＰ情報をシグナリングすることの代わりに、すべてのサンプル情報の前に１つのシーケンス構成ボックス内にＳＬＰ情報をグループ化してシグナリングすることを提案する。「シーケンス構成ボックス」は、少なくとも１つのシーケンスレベル構文要素を含む構文構造を参照し得る。
ａ）一例では、１つ又は複数セットのＳＬＰ情報は、第１レベルでの１つのシーケンス構成ボックス内でシグナリングされ得る。
ｂ）或いは、さらに、何セットのＳＬＰ情報に対する指示は、ボックスヘッダ内でシグナリングされ得る。
ｃ）一例では、ＳＬＰ情報は、第２レベル（例えば、フレーム／ピクチャ／スライス／タイル／サブピクチャ）の前にシグナリングされ得る。
ｉ．さらに、第２レベルで、少なくとも１セットのＳＬＰ情報を指す少なくとも１つの指示は、さらにシグナリングされ得る。
（１）指示は、例えば、第１レベルで複数セットのＳＬＰ情報があるか否かに応じて、条件付きでシグナリングされ得る。
（２）指示は、現在の第２レベル（例えば、現在のピクチャ）を処理するために適用されるＳＬＰ情報の関連セットを示すいくつかのインデックス（例えば、ＳＬＰ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒｓ＿ｉｄ／ＳＬＰ＿ｇｅｏｍｅｔｒｙ＿ｐａｒａｍｅｔｅｒｓ＿ｉｄ／ＳＬＰ＿ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｔｅｔｅｒｓ＿ｉｄ）によって表され得る。
（３）指示は、固定長コーディング、単項コーディング、切り捨て単項コーディングなどでコーディングされ得る。
（４）指示は予測的にコーディングされ得る。
（５）一例では、指示は、例えばＳＰＳ／ＧＰＳ／ＡＰＳの特定の既存の構文要素でシグナリングされ得る。
５）シーケンスの最初のサンプルについて、又は、現在のサンプルのＳＬＰ情報が同じ又は異なるフレーム内にある以前の復号されたサンプルのＳＬＰ情報と異なる場合に、ＳＬＰ情報をシグナリングすることを提案する
ａ）一例では、１つ又は複数セットのＳＬＰ情報は、１つの点群シーケンスでシグナリングされ得る。
ｂ）一例では、第２レベル（例えば、フレーム／ピクチャ／スライス／タイル／サブピクチャ）で、少なくとも１つの指示は、現在のサンプルのＳＬＰ情報が以前の復号されたサンプルのＳＬＰ情報と異なるか否かを示すためにシグナリングされ得る。
ｉ．或いは、現在のサンプルのＳＬＰ情報が以前の復号されたサンプルのＳＬＰ情報と異なるか否かは暗黙的に導出され得る。
ｉｉ．指示は、例えば、第１レベルで複数セットのＳＬＰ情報があるか否かに応じて、条件付きでシグナリングされ得る。
ｉｉｉ．指示は、現在のサンプルのＳＬＰ情報が以前の復号されたサンプルのＳＬＰ情報と異なるか否かを示すいくつかのインデックス（例えば、ＳＰＳ＿ｕｎｃｈａｎｇｅｄ＿ｆｌａｇ／ＧＰＳ＿ｕｎｃｈａｎｇｅｄ＿ｆｌａｇ／ＡＰＳ＿ｕｎｃｈａｎｇｅｄ＿ｆｌａｇ）によって表され得る。
ｉｖ．指示は、固定長コーディング、単項コーディング、切り捨て単項コーディングなどでコーディングされ得る。
ｖ．指示は予測的にコーディングされ得る。
ｖｉ．一例では、指示は、例えばＳＰＳ／ＧＰＳ／ＡＰＳの特定の既存の構文要素でシグナリングされ得る。
ｃ）一例では、ＳＬＰ情報が以前の復号されたサンプルのＳＬＰ情報と異なる場合に、ＳＬＰ情報は、サンプルエントリ内の１つ又は複数のＴＬＶ（例えば、ＳＰＳ ＴＬＶ／ＧＰＳ ＴＬＶ／ＡＰＳ ＴＬＶ）内でシグナリングされ得る。
ｄ）一例では、ＳＬＰ情報が以前のサンプルのＳＬＰ情報と異ならない場合に、以前の復号されたサンプルのＳＬＰ情報は、現在のサンプルによって継承され、適用され得る。
６）最初のサンプルについて、又は、現在のサンプルのＳＬＰ情報が同じ又は異なるフレーム内にある以前のすべての復号されたサンプルのＳＬＰ情報と異なる場合に、ＳＬＰ情報をシグナリングすることを提案する
ａ）一例では、１つ又は複数セットのＳＬＰ情報は、１つの点群シーケンスでシグナリングされ得る。
ｂ）一例では、第２レベル（例えば、フレーム／ピクチャ／スライス／タイル／サブピクチャ）で、少なくとも１つの指示は、現在のサンプルのＳＬＰ情報が以前のすべての復号されたサンプルのＳＬＰ情報と異なるか否かを示すためにシグナリングされ得る。
ｉ．或いは、現在のサンプルのＳＬＰ情報が以前のすべての復号されたサンプルのＳＬＰ情報と異なるか否かは暗黙的に導出され得る。
ｉｉ．指示は、例えば、第１レベルで複数セットのＳＬＰ情報があるか否かに応じて、条件付きでシグナリングされ得る。
ｉｉｉ．指示は、現在のサンプルのＳＬＰ情報が以前のすべての復号されたサンプルのＳＬＰ情報と異なるか否かを示すいくつかのインデックス（例えば、ＳＰＳ＿ｎｅｗ＿ｆｌａｇ／ＧＰＳ＿ｎｅｗ＿ｆｌａｇ／ＡＰＳ＿ｎｅｗ＿ｆｌａｇ）によって表され得る。
ｉｖ．指示は、固定長コーディング、単項コーディング、切り捨て単項コーディングなどでコーディングされ得る。
ｖ．指示は予測的にコーディングされ得る。
ｖｉ．一例では、指示は、例えばＳＰＳ／ＧＰＳ／ＡＰＳの、特定の既存の構文要素でシグナリングされ得る。
ｃ）一例では、ＳＬＰ情報が以前のすべての復号されたサンプルのＳＬＰ情報と異なる場合に、ＳＬＰ情報は、サンプルエントリ内の１つ又は複数のＴＬＶ（例えば、ＳＰＳ ＴＬＶ／ＧＰＳ ＴＬＶ／ＡＰＳ ＴＬＶ）内でシグナリングされ得る。
ｄ）一例では、ＳＬＰ情報が以前の復号されたサンプルのＳＬＰ情報と異ならない場合に、以前の復号されたサンプルの１つのＳＬＰ情報は、現在のサンプルによって継承され、適用され得る。
ｅ）或いは、さらに、ＳＬＰ情報がどのサンプルから継承されるかの指示は、現在のサンプルに対してさらにシグナリングされ得る。
ｉ．当該指示は、例えば、ＳＬＰ情報が他のサンプルから継承されるか否かに応じて、条件付きでシグナリングされ得る。
ｉｉ．指示は、固定長コーディング、単項コーディング、切り捨て単項コーディングなどでコーディングされ得る。
ｉｉｉ．指示は予測的にコーディングされ得る。
ｉｖ．一例では、指示は、例えばＳＰＳ／ＧＰＳ／ＡＰＳの、特定の既存の構文要素でシグナリングされ得る。
７）活性化関数を使用して各データユニットのパラメータセットを取得することを提案する。
ａ）一例では、１つ又は複数のグループのパラメータセッは、１つの点群シーケンスでシグナリングされ得る。
ｂ）さらに、第２レベル構造（例えば、フレーム／ピクチャ／スライス／タイル／サブピクチャ）で、少なくとも１グループのパラメータセットを指す少なくとも１つの指示は、さらにシグナリングされ得る。
ｉ．指示は、例えば、第１レベルで複数グループのパラメータセットがあるか否かに応じて、条件付きでシグナリングされ得る。
ｉｉ．指示は、現在の第２レベルを処理するために適用されるパラメータの関連セットを示すいくつかのインデックス（例えば、ｇｓｈ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ／ｇｓｈ＿ｇｅｏｍ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ／ａｓｈ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ ／ａｓｈ＿ａｔｔｒ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）によって表され得る。
ｉｉｉ．指示は、固定長コーディング、単項コーディング、切り捨て単項コーディングなどでコーディングされ得る。
ｉｖ．指示は、予測の方法でコーディングされ得る。
ｖ．一例では、指示は、各第２レベルのヘッダボックス（例えば、ＧＳＨ／ＡＳＨ）内でシグナリングされ得る。
ｖｉ．或いは、指示は、サンプルエントリ内の構成ボックス内でシグナリングされ得る。
ｃ）一例では、現在の第２レベルのパラメータセットを取得するために活性化関数が存在し得る。
ｉ．一例では、各第２レベルは、特定のパラメータセット（例えば、ＳＰＳ／ＧＰＳ／ＡＰＳ）が割り当てられ得る。
ｉｉ．一例では、各パラメータセット内の指示及び各第２レベルのヘッダボックス内の指示は、現在の第２レベルを処理するための特定のパラメータセットを取得するために活性化関数で使用され得る。
ｉｉｉ．一例では、１つのジオメトリ・データユニット内でアクティベーション関数によってＳＰＳが取得されると、ＳＰＳは、１グループのパラメータセットのみが存在する場合に他の活性化に使用され得る。
８）ＧＯＦのサンプル情報の前に、１つのＴＬＶ内にＧＯＦのＧＬＰ情報をグループ化してシグナリングすることを提案する。
ａ）一例では、１つ又は複数セットのＧＬＰ情報は、ＧＯＦレベルでシグナリングされ得る。
ｂ）一例では、各セットのＧＬＰ情報は、１つのＧＯＦに対して１つのＧＬＰ ＴＬＶでシグナリングされ得る。
ｃ）一例では、１つのＧＯＦのＧＬＰ情報は、ＧＯＦ内のサンプル（例えば、フレーム／ピクチャ／スライス／タイル／サブピクチャ）情報の前にシグナリングされ得る。
ｄ）一例では、１つのＧＯＦのＧＬＰ情報は、ＧＯＦにおけるすべてのサンプルに適用されることができる。
６．実施形態
１）本実施形態は、どのようにＳＬＰ情報を１つ又は複数のＴＬＶ内にグループ化してシグナリングする一例を説明する。
エンコーダでは、まず、エンコーダは、すべての点群フレームのジオメトリ情報及び属性情報の前にＳＬＰ情報をグループ化して符号化する：
１．ＳＰＳ内の各コーディングパラメータを１つのＳＰＳ＿ＴＬＶ内に符号化する。ＳＰＳ＿ＴＬＶごとに、パラメータセットを示すＳＰＳ＿ｉｄがある。
２．ＧＰＳ内の各コーディングパラメータを１つのＧＰＳ＿ＴＬＶ内に符号化する。ＧＰＳ＿ＴＬＶごとに、パラメータセットを示すＧＰＳ＿ｉｄがある。
３．ＡＰＳ内の各コーディングパラメータを１つのＡＰＳ＿ＴＬＶ内に符号化する。ＡＰＳ＿ＴＬＶごとに、パラメータセットを示すＡＰＳ＿ｉｄがある。
次に、ＦＬＰ情報は、点群フレームごとにジオメトリ情報及び属性情報とともに符号化される。フレームごとに、現在のフレームがＳＬＰのどのセットを適用しているかことを示すＳＬＰ＿ＳＰＳ＿ｉｄ／ＳＬＰ＿ＧＰＳ＿ｉｄ／ＳＬＰ＿ＡＰＳ＿ｉｄの３つのインデックスがある。
１．各インデックスをＧＳＨ／ＡＳＨ内に符号化する。
２．ＦＬＰ情報を１つのＧＳＨ／ＡＳＨ内に符号化する。
図６は、単一のトラックに格納されるＧ－ＰＣＣビットストリームの一例を示す。この場合、ＳＬＰ情報は、サンプルエントリの前に複数のＴＬＶ内にグループ化されてシグナリングされる。
デコーダでは、まず、デコーダは、ＳＰＳ＿ＴＬＶ／ＧＰＳ＿ＴＬＶ／ＡＰＳ＿ＴＬＶ内のすべてのＳＬＰ情報を復号する。
次に、フレームごとに、
１．ＧＳＨ／ＡＳＨ内のＳＬＰ＿ＳＰＳ＿ｉｄ／ＳＬＰ＿ＧＰＳ＿ｉｄ／ＳＬＰ＿ＡＰＳ＿ｉｄを復号する。
２．１つのＧＳＨ／ＡＳＨ内のＦＬＰ情報を復号する。
３．ＳＬＰ＿ＳＰＳ＿ｉｄ／ＳＬＰ＿ＧＰＳ＿ｉｄ／ＳＬＰ＿ＡＰＳ＿ｉｄを使用してＳＬＰ情報を取得する。
４．ＳＬＰ及びＦＬＰを使用してジオメトリ情報及び属性情報を復号する。

２）本実施形態は、どのようにすべてのサンプル情報の前にＳＬＰ情報を１つのシーケンス構成ボックス内にグループ化してシグナリングする一例を説明する。
エンコーダでは、まず、すべての点群フレームのジオメトリ情報及び属性情報の前にＳＬＰ情報をグループ化して符号化する：
１．ＳＰＳ内の各コーディングパラメータを符号化して、コーディングされた情報をシーケンス構成ボックス内に格納する。ＳＰＳパラメータのセットごとに、パラメータセットを示すＳＰＳ＿ＩＤがある。
２．ＧＰＳ内の各コーディングパラメータを符号化して、コーディングされた情報をシーケンス構成ボックス内に格納する。ＧＰＳパラメータのセットごとに、パラメータセットを示すＧＰＳ＿ＩＤがある。
３．ＡＰＳ内の各コーディングパラメータを符号化して、コーディングされた情報をシーケンス構成ボックス内に格納する。ＡＰＳパラメータのセットごとに、パラメータセットを示すＡＰＳ＿ＩＤがある。
次に、フレームごとに、現在のフレームがＳＬＰのどのセットを適用しているかことを示すＳＬＰ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒｓ＿ＩＤ／ＳＬＰ＿ｇｅｏｍｅｔｒｙ＿ｐａｒａｍｅｔｅｒｓ＿ＩＤ／ＳＬＰ＿ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒｓ＿ＩＤの３つのインデックスがある。これらのインデックスは、それぞれ、符号化されてＳＰＳ／ＧＰＳ／ＡＰＳに格納される。
そして、ＦＬＰ情報は、点群フレームごとにジオメトリ情報及び属性情報とともにＧＳＨ／ＡＳＨ内に符号化される。
図７は、単一のトラックに格納されるＧ－ＰＣＣビットストリームの一例を示す。この場合、ＳＬＰ情報は、サンプルエントリの前に１つのシーケンス構成ボックス内にグループされてシグナリングされる。
デコーダでは、まず、デコーダは、シーケンス構成ボックス内のすべてのＳＬＰ情報を復号する。
次に、フレームごとに、
１．ＳＰＳ／ＧＰＳ／ＡＰＳ内のＤｅｃｏｄｅＳＬＰ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒｓ＿ＩＤ／ＳＬＰ＿ｇｅｏｍｅｔｒｙ＿ｐａｒａｍｅｔｅｒｓ＿ＩＤ／ＳＬＰ＿ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒｓ＿ＩＤを復号する。
２．１つのＧＳＨ／ＡＳＨ内のＦＬＰ情報を復号する。
３．ＳＬＰ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒｓ＿ＩＤ／ＳＬＰ＿ｇｅｏｍｅｔｒｙ＿ｐａｒａｍｅｔｅｒｓ＿ＩＤ／ＳＬＰ＿ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒｓ＿ＩＤを使用してＳＬＰ情報を取得する。
４．ＳＬＰ及びＦＬＰを使用してジオメトリ情報及び属性情報を復号する。

３）本実施形態は、シーケンスの最初のサンプルについて、又は、現在のサンプルのＳＬＰ情報が以前の復号されたサンプルのＳＬＰ情報と異なる場合にどのようにＳＬＰ情報をシグナリングする一例を説明する。
エンコーダでは、まず、エンコーダは、最初の点群フレームについてＳＬＰ情報を符号化してＳＰＳ／ＧＰＳ／ＡＰＳ内に格納する。
次に、他のフレームについて、エンコーダは、現在のフレームのＳＬＰ情報が以前の符号化されたフレームのＳＬＰ情報と異なるか否かをチェックし、チェック結果を示す３つのフラグを符号化する。これらのフラグは、それぞれ、符号化されてＳＰＳ／ＧＰＳ／ＡＰＳ内に格納される。
１．現在のフレームのＳＰＳ情報が以前の符号化されたフレームのＳＰＳ情報と同じである場合に、フラグＳＰＳ＿ｕｎｃｈａｎｇｅ＿ｆｌａｇは１に設定される。現在のフレームのＳＰＳ情報が以前の符号化されたフレームのＳＰＳ情報と異なる場合に、フラグＳＰＳ＿ｕｎｃｈａｎｇｅ＿ｆｌａｇは０に設定される。
２．現在のフレームのＧＰＳ情報が以前の符号化されたフレームのＧＰＳ情報と同じである場合に、フラグＧＰＳ＿ｕｎｃｈａｎｇｅ＿ｆｌａｇは１に設定される。現在のフレームのＧＰＳ情報が以前の符号化されたフレームのＧＰＳ情報と異なる場合に、フラグＧＰＳ＿ｕｎｃｈａｎｇｅ＿ｆｌａｇは０に設定される。
３．現在のフレームのＡＰＳ情報が以前の符号化されたフレームのＡＰＳ情報と同じである場合に、フラグＡＰＳ＿ｕｎｃｈａｎｇｅ＿ｆｌａｇは１に設定される。現在のフレームのＡＰＳ情報が以前の符号化されたフレームのＡＰＳ情報と異なる場合に、フラグＡＰＳ＿ｕｎｃｈａｎｇｅ＿ｆｌａｇは０に設定される。
そして、現在のフレームのＳＬＰ情報が以前の符号化されたフレームのＳＰＳ情報と異なる場合に、現在のフレームについてＳＬＰ情報を符号化してＳＰＳ／ＧＰＳ／ＡＰＳ内に格納する。
ＦＬＰ情報は、点群フレームごとにジオメトリ情報及び属性情報とともにＧＳＨ／ＡＳＨ内に符号化される。
この場合、ビットストリーム構造は、特定の単一のトラック構造を利用することができる。
デコーダでは、まず、デコーダは、最初のフレームについてＳＬＰ情報を復号する。
次に、他のフレームについて、
１．ＳＰＳ／ＧＰＳ／ＡＰＳ内のＳＰＳ＿ｕｎｃｈａｎｇｅ＿ｆｌａｇ／ＧＰＳ＿ｕｎｃｈａｎｇｅ＿ｆｌａｇ／ＡＰＳ＿ｕｎｃｈａｎｇｅ＿ｆｌａｇを復号する。
２．フラグが０に設定される場合に、１つのＳＰＳ／ＧＰＳ／ＡＰＳ内のＳＬＰ情報を復号する。それ以外の場合に、以前の復号されたフレームからＳＬＰ情報を継承する。
３．ＧＳＨ／ＡＳＨからＦＬＰ情報を復号する。
４．ＳＬＰ及びＦＬＰを利用してジオメトリ情報及び属性情報を復号する。

４）本実施形態は、最初のサンプルについて、又は、現在のサンプルのＳＬＰ情報が以前のすべての復号されたサンプルのＳＬＰ情報と異なる場合にどのようにＳＬＰ情報をシグナリングする一例を説明する。
エンコーダでは、まず、エンコーダは、最初の点群フレームについてＳＬＰ情報を符号化してＳＰＳ／ＧＰＳ／ＡＰＳ内に格納する。ＳＬＰ情報及びｆｒａｍｅ＿ｉｄは１つの配列ＳＬＰ＿ａｒｒａｙに記録される。
次に、他のフレームについて、エンコーダは、現在のフレームのＳＬＰ情報がＳＬＰ＿ａｒｒａｙ内のすべてのＳＬＰ情報と異なるか否かをチェックし、チェック結果を示す３つのフラグを符号化する。これらのフラグは、それぞれ、符号化されてＳＰＳ／ＧＰＳ／ＡＰＳ内に格納される。
１．現在のフレームのＳＰＳ情報がＳＬＰ＿ａｒｒａｙ内の１つのＳＰＳ情報と同じである場合に、フラグＳＰＳ＿ｎｅｗ＿ｆｌａｇは０に設定される。現在のフレームのＳＰＳ情報がＳＬＰ＿ａｒｒａｙ内のすべてのＳＰＳ情報と異なる場合に、フラグＳＰＳ＿ｎｅｗ＿ｆｌａｇは１に設定される。
２．現在のフレームのＧＰＳ情報がＳＬＰ＿ａｒｒａｙ内の１つのＧＰＳ情報と同じである場合に、フラグＧＰＳ＿ｎｅｗ＿ｆｌａｇは０に設定される。現在のフレームのＧＰＳ情報がＳＬＰ＿ａｒｒａｙ内のすべてのＧＰＳ情報と異なる場合に、フラグＧＰＳ＿ｎｅｗ＿ｆｌａｇは１に設定される。
３．現在のフレームのＡＰＳ情報がＳＬＰ＿ａｒｒａｙ内の１つのＡＰＳ情報と同じである場合に、フラグＡＰＳ＿ｎｅｗ＿ｆｌａｇは０に設定される。現在のフレームのＡＰＳ情報がＳＬＰ＿ａｒｒａｙ内のすべてのＡＰＳ情報と異なる場合に、フラグＡＰＳ＿ｎｅｗ＿ｆｌａｇは１に設定される。
そして、現在のフレームについて、
１．現在のフレームのＳＬＰ情報がＳＬＰ＿ａｒｒａｙ内のすべてのＳＬＰ情報と異なる場合に、ＳＬＰ情報を符号化してＳＰＳ／ＧＰＳ／ＡＰＳに格納し、現在のフレームのＳＬＰ情報及びｆｒａｍｅ＿ｉｄをＳＬＰ＿ａｒｒａｙ内に記録する。
２．現在のフレームのＳＬＰ情報がＳＬＰ＿ａｒｒａｙ内のいずれか１つのＳＬＰ情報と同じである場合に、現在のフレームと同じＳＬＰ情報を共有するフレームのｆｒａｍｅ＿ｉｄを符号化してＳＰＳ／ＧＰＳ／ＡＰＳ内に格納する。
ＦＬＰ情報は、点群フレームごとにジオメトリ情報及び属性情報とともにＧＳＨ／ＡＳＨ内に符号化される。
この場合、ビットストリーム構造は、特定の単一のトラック構造を利用することができる
デコーダでは、まず、デコーダは、最初のフレームについてＳＬＰ情報を復号する。
次に、他のフレームについて：
１．ＳＰＳ／ＧＰＳ／ＡＰＳ内のＳＰＳ＿ｎｅｗ＿ｆｌａｇ／ＧＰＳ＿ｎｅｗ＿ｆｌａｇ／ＡＰＳ＿ｎｅｗ＿ｆｌａｇを復号する。
２．フラグが１に設定される場合に、１つのＳＰＳ／ＧＰＳ／ＡＰＳ内のＳＬＰ情報を復号する。それ以外の場合に、ｆｒａｍｅ＿ｉｄを復号して当該ｆｒａｍｅ＿ｉｄで示される、対応の復号されたフレームからＳＬＰ情報を継承する。
３．ＧＳＨ／ＡＳＨからＦＬＰ情報を復号する。
４．ＳＬＰ及びＦＬＰを利用してジオメトリ情報及び属性情報を復号する。

５）本実施形態は、どのようにＧＯＦのサンプル情報の前にＧＯＦのＧＬＰ情報を１つのＴＬＶ内にグループ化してシグナリングする一例を説明する 。
点群コード化ビットストリームが単一のトラックで運ばれる場合に、ＳＰＳ、ＧＰＳ及びＡＰＳを含むために、トラックヘッダには１つのシーケンス構成ボックスが存在し得る。
単一のトラック内には、いくつかのサンプルがある。当該サンプルは、１つ又は複数のサンプルグループに分割されることができる。サンプルグループごとに、ＧＬＰセットを含む構成ボックスが１グループあり得る。各サンプルは、１つ又は複数のＧ－ＰＣＣユニットで構成される。
図８は、この場合の単一のトラックに格納されるＧ－ＰＣＣビットストリームの一例を示す。

【0063】

本開示の実施形態は、点群コーディングにおけるコーディングパラメータのコーディング及びカプセル化に関する。本明細書で使用される場合、「点群シーケンス」という用語は、１つ又は複数の点群のシーケンスを指し得る。「フレーム」という用語は、点群シーケンス内の点群を指し得る。「サンプル」という用語は、フレームの一部または全体を指し得る。

【0064】

図９は、本開示のいくつかの実施形態による点群コーディング方法９００のフローチャートを示す。方法９００は、点群シーケンスと点群シーケンスのビットストリームとの間の変換中に実施され得る。図９に示されるように、方法９００は、点群シーケンスをコーディングするための複数セットのＳＬＰに基づいて変換を実行する９０２で開始する。複数セットのＳＬＰはビットストリーム内で示される。一例として、１セットのＳＬＰのみをシグナリングするのではなく、３セットのＳＬＰをシグナリングし得る。３セットのＳＬＰのうち、第１セットのＳＬＰは、点群シーケンスの第１点群サンプルをコーディングするように選択され得、３セットのＳＬＰのうち、第２セットのＳＬＰは、点群シーケンスの第２点群サンプルをコーディングするように選択され得る。一例では、変換は、点群シーケンスをビットストリームに符号化するステップを含み得る。代替的または追加的に、変換は、ビットストリームから点群シーケンスを復号するステップを含み得る。上記の例は、単に説明を目的として記載されたものであること理解すべきである。本開示の範囲は、これに限定されない。

【0065】

方法９００によれば、点群シーケンスをコーディングするための複数のコーディングオプションを提供する複数セットのＳＬＰは、ビットストリーム内で示される。１セットのＳＬＰのみがシグナリングされる従来の方案に比べて、提案した方法は、より高い柔軟性を提供できるという利点を有するため、コーディング品質及びコーディング効率を向上させる。

【0066】

いくつかの実施形態では、複数セットのＳＬＰを指す複数の指示は、ビットストリーム内で示され得る。一例では、複数の指示は、複数セットのＳＬＰのうち、少なくとも１セットのＳＬＰを示す少なくとも１つのインデックスを含み得る。例えば、インデックスｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、複数セットのＳＬＰ内のシーケンスパラメータセット（ＳＰＳ）を示すために使用され得、インデックスｇｐｓ＿ｇｅｏｍ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、複数セットのＳＬＰ内のジオメトリパラメータセット（ＧＰＳ）を示すために使用され得、及び／又は、インデックスａｐｓ＿ａｔｔｒ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、複数セットのＳＬＰ内の属性パラメータセット（ＡＰＳ）を示すために使用され得る。上記の例は、単に説明を目的として記載されたものであること理解すべきである。本開示の範囲は、これに限定されない。一例では、少なくとも１つのインデックスには所定の番号から始まる番号が付けられ得る。一例として、所定の番号は０である。少なくとも１つのインデックスには他の適切な番号から始まる番号が付けられ得ることを理解すべきである。本開示の範囲は、これに限定されない。

【0067】

いくつかの実施形態では、複数の指示は固定長コーディングでコーディングされ得る。いくつかの代替的な実施形態では、複数の指示は単項コーディングでコーディングされ得る。いくつかの代替的な実施形態では、複数の指示は、切り捨て単項コーディングでコーディングされ得る。いくつかの代替的または追加的な実施形態では、複数の指示は、予測の方法でコーディングされ得る。いくつかの実施形態では、複数の指示は、それぞれ、複数セットのＳＬＰ内で示され得る。

【0068】

いくつかの実施形態では、複数セットのＳＬＰは、点群シーケンスをコーディングするための第１構文構造内のパラメータを含み得る。ビットストリーム内で点群シーケンスをコーディングするための第２構文構造内のパラメータを示すかどうかに関する情報、又は、ビットストリーム内で第２構文構造内のパラメータをどのように示すかに関する情報のうちの少なくとも１つは第１構文構造内のパラメータに依存し得る。第２構文構造のタイプは第１構文構造のタイプと異なる可能性がある。例えば、第１構文構造はＳＰＳを含み得る。第２構文構造はＧＰＳ又はＡＰＳを含み得る。

【0069】

いくつかの実施形態では、第１構文構造内のパラメータは、第２構文構造内のパラメータの前にシグナリングされ得る。一例として、ＳＰＳ内のパラメータは、ＧＰＳ又はＡＰＳ内のパラメータの前にシグナリングされ得る。

【0070】

いくつかの実施形態では、第２構文構造内のパラメータはビットストリームに存在しないことがあり、第１構文構造内のパラメータは第２構文構造に使用されることがある。一例では、第１構文構造内のパラメータが第２構文構造に使用されることが示される場合に、第２構文構造内のパラメータはシグナリングされなくてもよい。別の例では、第２構文構造内のパラメータがシグナリングされない場合に、第１構文構造内でシグナリングされたパラメータは第２構文構造に使用され得る。

【0071】

いくつかの実施形態では、第２構文構造内のパラメータは、ビットストリーム内で述語的に示され得る。一例では、第２構文構造内のパラメータは第１構文構造内のパラメータに基づいて決定され得る。いくつかの実施形態では、第１構文構造はＳＰＳであり得、複数セットのＳＬＰは、ＧＰＳ内のパラメータ及びＡＰＳ内のパラメータをさらに含み得る。いくつかの実施形態では、第１構文構造内のパラメータは、第２構文構造内のパラメータの前にコーディングされ得る。

【0072】

いくつかの実施形態では、複数セットのＳＬＰは、点群シーケンスをコーディングするための複数のパラメータセットを含み得る。例えば、複数のパラメータセットは、ＳＰＳ、ＧＰＳ、又はＡＰＳのうちの少なくとも１つを含み得る。

【0073】

いくつかの実施形態では、点群シーケンス内の点群サンプルのデータユニットをコーディングするためのパラメータセットは、活性化関数によって複数のパラメータセットから取得され得る。データユニットは点群サンプルのジオメトリ・データ及び／又は点群サンプルの属性データを含み得る。

【0074】

いくつかの実施形態では、複数のパラメータセットを指す複数のパラメータセット指示は、第２レベルでビットストリーム内に示され得る。当該第２レベルはシーケンスレベルよりも低い。

【0075】

いくつかの実施形態では、複数のパラメータセットを指す複数のパラメータセット指示が第２レベルでビットストリーム内に示されるか否かに関する情報は、シーケンスレベルでのパラメータセットの数に依存し得る。当該第２レベルはシーケンスレベルよりも低い。例えば、シーケンスレベルで複数のパラメータセットが存在する場合に、複数のパラメータセット指示は、第２レベルでビットストリーム内に示され得る。一例では、複数のパラメータセット指示は、第２レベルで使用されるパラメータセットを示すインデックスを含み得る。

【0076】

いくつかの実施形態では、複数のパラメータセット指示は、固定長コーディングでコーディングされ得る。いくつかの代替的な実施形態では、複数のパラメータセット指示は、単項コーディングでコーディングされ得る。いくつかの代替的な実施形態では、複数のパラメータセット指示は、切り捨て単項コーディングでコーディングされ得る。いくつかの代替的または追加的な実施形態では、複数のパラメータセット指示は、予測の方法でコーディングされ得る。

【0077】

いくつかの実施形態では、複数のパラメータセット指示の１つは、第２レベルのヘッダボックス内で示され得る。一例では、複数のパラメータセット指示は、ジオメトリ・データユニットヘッダ（ＧＳＨ）内で示され得る。別の例では、複数のパラメータセット指示は、属性データユニットヘッダ（ＡＳＨ）内で示され得る。上記の例は、単に説明を目的として記載されたものであること理解すべきである。本開示の範囲は、これに限定されない。いくつかの代替的な実施形態では、複数のパラメータセット指示の１つは、点群サンプルのための情報ユニット内の構成ボックス内で示され得る。

【0078】

いくつかの実施形態では、データユニットは、シーケンスレベルよりも低い第２レベルで関連付けられ得る。即ち、活性化関数は、現在の第２レベルのためのパラメータセットを取得するために使用され得る。

【0079】

いくつかの実施形態では、第２レベルは、複数のパラメータセットの少なくとも１つが割り当てられ得る。いくつかの実施形態では、第２レベルのためのパラメータセットを指す指示は、第２レベルのヘッドボックス内で示され得、当該指示は、活性化関数によってパラメータセットを取得するために使用され得る。

【0080】

いくつかの実施形態では、データユニットはジオメトリ・データユニットであり得、ジオメトリ・データユニットについて活性化関数によって取得されたＳＰＳは、他のデータユニットに使用され得る。

【0081】

いくつかの実施形態では、点群シーケンスのビットストリームは、非一時的なコンピュータ可読記録媒体に格納され得る。点群シーケンスのビットストリームは、点群処理装置によって実行される方法で生成されることができる。当該方法によれば、ビットストリームは、点群シーケンスをコーディングするための複数セットのＳＬＰに基づいて生成される。複数セットのＳＬＰは、ビットストリーム内で示される。

【0082】

いくつかの実施形態では、点群シーケンスのビットストリームは、点群シーケンスをコーディングするための複数セットのＳＬＰに基づいて生成される。複数セットのＳＬＰは、ビットストリーム内で示される。ビットストリームは、非一時的なコンピュータ可読記録媒体に格納され得る。

【0083】

本開示の実施形態は、以下の条項を考慮して説明することができ、その特徴は任意の合理的な態様で組み合わせることができる。

【0084】

条項１．点群コーディング方法であって、点群シーケンスをコーディングするための複数セットのシーケンスレベル・パラメータ（ＳＬＰ）に基づいて、点群シーケンスと前記点群シーケンスのビットストリームとの間の変換を実行するステップを含み、前記複数セットのＳＬＰは、ビットストリーム内で示される、方法。

【0085】

条項２．前記複数セットのＳＬＰを指す複数の指示は、前記ビットストリーム内で示される、条項１に記載の方法。

【0086】

条項３．前記複数の指示は、前記複数セットのＳＬＰの少なくとも１セットのＳＬＰを示す少なくとも１つのインデックスを含む、条項２に記載の方法。

【0087】

条項４．前記少なくとも１つのインデックスには、所定の番号から始まる番号が付けられる、条項３に記載の方法。

【0088】

条項５．前記所定の番号は０である、条項４に記載の方法。

【0089】

条項６．前記複数の指示は、固定長コーディング、単項コーディング、又は切り捨て単項コーディングのうちの１つでコーディングされる、条項２～５のいずれか１項に記載の方法。

【0090】

条項７．前記複数の指示は、予測的にコーディングされる、条項２～５のいずれか１項に記載の方法。

【0091】

条項８．前記複数の指示は、それぞれ、前記複数セットのＳＬＰ内で示される、条項２～７のいずれか１項に記載の方法。

【0092】

条項９．前記複数セットのＳＬＰは、前記点群シーケンスをコーディングするための第１構文構造内のパラメータを含み、前記ビットストリーム内で前記点群シーケンスをコーディングするための第２構文構造内のパラメータを示すかどうかに関する情報、又は、前記ビットストリーム内で前記第２構文構造内の前記パラメータをどのように示すかに関する情報のうちの少なくとも１つは、前記第１構文構造内の前記パラメータに依存し、前記第２構文構造のタイプは、前記第１構文構造のタイプと異なる、条項１～８のいずれか１項に記載の方法に記載の方法。

【0093】

条項１０．前記第１構文構造は、シーケンスパラメータセット（ＳＰＳ）を含む、条項９に記載の方法。

【0094】

条項１１．前記第２構文構造は、ジオメトリ・パラメータセット（ＧＰＳ）又は属性パラメータセット（ＡＰＳ）を含む、条項９又は１０に記載の方法。

【0095】

条項１２．前記第１構文構造内の前記パラメータは、前記第２構文構造内の前記パラメータの前にシグナリングされる、条項９～１１のいずれか１項に記載の方法。

【0096】

条項１３．前記第２構文構造内の前記パラメータは前記ビットストリームに存在せず、前記第１構文構造内の前記パラメータは前記第２構文構造に使用される、条項９～１１のいずれか１項に記載の方法。

【0097】

条項１４．前記第２構文構造内の前記パラメータは、前記ビットストリーム内で述語的に示される、条項９～１２のいずれか１項に記載の方法。

【0098】

条項１５．前記第２構文構造内の前記パラメータは、前記第１構文構造内の前記パラメータに基づいて決定される、条項９～１２のいずれか１項に記載の方法。

【0099】

条項１６．前記第１構文構造はＳＰＳであり、前記複数セットのＳＬＰはＧＰＳ内のパラメータ及びＡＰＳ内のパラメータをさらに含む、条項９～１２のいずれか１項に記載の方法。

【0100】

条項１７．前記第１構文構造内の前記パラメータは、前記第２構文構造内の前記パラメータの前にコーディングされる、条項９～１２のいずれか１項に記載の方法。

【0101】

条項１８．前記複数セットのＳＬＰは、点群シーケンスをコーディングするための複数のパラメータセットを含む、条項１～１７のいずれか１項に記載の方法。

【0102】

条項１９．前記複数のパラメータセットは、ＳＰＳ、ＧＰＳ、又はＡＰＳのうちの少なくとも１つを含む、条項１８に記載の方法。

【0103】

条項２０．前記点群シーケンス内の点群サンプルのデータユニットをコーディングするためのパラメータセットは、活性化関数によって前記複数のパラメータセットから取得される、条項１８又は１９に記載の方法。

【0104】

条項２１．前記データユニットは、前記点群サンプルのジオメトリ・データ、又は前記点群サンプルの属性データのうちの少なくとも１つを含む、条項２０に記載の方法。

【0105】

条項２２．前記複数のパラメータセットを指す複数のパラメータセット指示は、第２レベルで前記ビットストリーム内に示され、前記第２レベルは、シーケンスレベルよりも低い、条項１８～２１のいずれか１項に記載の方法。

【0106】

条項２３．前記複数のパラメータセットを指す複数のパラメータセット指示が第２レベルで前記ビットストリーム内に示されるか否かに関する情報は、シーケンスレベルでのパラメータセットの数に依存し、前記第２レベルは、前記シーケンスレベルよりも低い、条項１８～２２のいずれか１項に記載の方法。

【0107】

条項２４．前記複数のパラメータセット指示は、前記第２レベルで使用されるパラメータセットを示すインデックスを含む、条項２２又は２３に記載の方法。

【0108】

条項２５．前記複数のパラメータセット指示は、固定長コーディング、単項コーディング、又は切り捨て単項コーディングのうちの１つでコーディングされる、条項２２～２４のいずれか１項に記載の方法。

【0109】

条項２６．前記複数のパラメータセット指示は、予測の方法でコーディングされる、条項２２～２４のいずれか１項に記載の方法。

【0110】

条項２７．前記複数のパラメータセット指示の１つは、前記第２レベルのヘッダボックス内で示される、条項２２～２４のいずれか１項に記載の方法。

【0111】

条項２８．前記複数のパラメータセット指示の１つは、前記点群サンプルのための情報ユニット内の構成ボックス内で示される、条項２２～２４のいずれか１項に記載の方法。

【0112】

条項２９．前記データユニットは、シーケンスレベルよりも低い第２レベルで関連付けられる、条項２０又は２１に記載の方法。

【0113】

条項３０．前記第２レベルは、前記複数のパラメータセットの少なくとも１つが割り当てられる、条項２９に記載の方法。

【0114】

条項３１．前記第２レベルのためのパラメータセットを指す指示は、前記第２レベルのヘッドボックス内で示され、前記指示は、前記パラメータセットを取得するために前記活性化関数によって使用される、条項２９に記載の方法。

【0115】

条項３２．前記データユニットはジオメトリ・データユニットであり、前記ジオメトリ・データユニットについて前記活性化関数によって取得されたＳＰＳは他のデータユニットに使用される、条項２９に記載の方法。

【0116】

条項３３．前記変換は、前記点群シーケンスを前記ビットストリームに符号化するステップを含む、条項１～３２のいずれか１項に記載の方法。

【0117】

条項３４．前記変換は、前記ビットストリームから前記点群シーケンスを復号するステップを含む、条項１～３２のいずれか１項に記載の方法。

【0118】

条項３５．プロセッサと命令を備える非一時的なメモリとを含む、点群データを処理する装置であって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに条項１～３４のいずれか１項に記載の方法を実行させる、装置。

【0119】

条項３６．プロセッサに条項１～３４に記載の方法を実行させる命令を記憶する、非一時的なコンピュータ可読記憶媒体。

【0120】

条項３７．点群処理装置によって実行される方法で生成される、点群シーケンスのビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、前記方法は、点群シーケンスをコーディングするための複数セットのシーケンスレベル・パラメータ（ＳＬＰ）に基づいて、前記ビットストリームを生成するステップを含み、前記複数セットのＳＬＰは、前記ビットストリーム内で示される、非一時的なコンピュータ可読記録媒体。

【0121】

条項３８．点群シーケンスのビットストリームを記憶するための方法であって、点群シーケンスをコーディングするための複数セットのシーケンスレベル・パラメータ（ＳＬＰ）に基づいて、前記ビットストリームを生成することと、前記ビットストリームを非一時的なコンピュータ可読記録媒体内に記憶することと、を含み、前記複数セットのＳＬＰは、前記ビットストリームで示される、方法。

【0122】

例示的なデバイス
図１０は、本開示の様々な実施形態を実施できるコンピューティングデバイス１０００のブロック図を示す。コンピューティングデバイス１０００は、ソースデバイス１１０（或いは、ＧＰＣＣエンコーダ１１６又は２００）又は宛先デバイス１２０（或いは、ＧＰＣＣデコーダ１２６又は３００）として実施されるか、又は、それに含まれ得る。

【0123】

図１０に示されるコンピューティングデバイス１０００は、単に説明を目的としたものであり、本開示の実施形態の機能及び範囲をいかなる態様でも制限することを示唆するものではないことが理解されるだろう。

【0124】

図１０に示すように、コンピューティングデバイス１０００は、汎用コンピューティングデバイス１０００を含む。コンピューティングデバイス１０００は、少なくとも１つ又は複数のプロセッサ又は処理ユニット１０１０と、メモリ１０２０と、記憶ユニット１０３０と、１つ又は複数の通信ユニット１０４０と、１つ又は複数の入力デバイス１０５０と、１つ又は複数の出力デバイス１０６０と、を含み得る。

【0125】

いくつかの実施形態では、コンピューティングデバイス１０００は、コンピューティング能力を有する任意のユーザ端末又はサーバ端末として実施され得る。前記サーバ端末は、サービスプロバイダが提供するサーバや大規模コンピューティングデバイスなどであり得る。前記ユーザ端末は、例えば、携帯電話、ステーション、ユニット、デバイス、マルチメディアコンピュータ、マルチメディアタブレット、インターネットノード、コミュニケータ、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、パーソナルコミュニケーションシステム（ＰＣＳ）デバイス、パーソナルナビゲーションデバイス、携帯情報端末（ＰＤＡ）、オーディオ／ＧＰＣＣプレーヤー、デジタルカメラ／ＧＰＣＣカメラ、測位デバイス、テレビ受信機、ラジオ放送受信機、電子ブックデバイス、ゲームデバイス、又は、それらの任意の組み合わせ（これらのデバイスのアクセサリ及び周辺機器、又は、それらの任意の組み合わせを含む）を含む、任意のタイプの移動端末、固定端末、又は、携帯端末であり得る。コンピューティングデバイス１０００は、ユーザに対する任意のタイプのインターフェース（「ウェアラブル」回路など）をサポートできることが考えられる。

【0126】

処理ユニット１０１０は、物理又は仮想プロセッサであり、メモリ１０２０に格納されたプログラムに基づいて様々なプロセスを実施し得る。マルチプロセッサシステムでは、コンピューティングデバイス１０００の並列処理能力を向上させるために、複数の処理ユニットが、コンピュータ実行可能命令を並列に実行する。処理ユニット１０１０は、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、コントローラ、又はマイクロコントローラと呼ばれ得る。

【0127】

コンピューティングデバイス１０００は、通常、様々なコンピュータ記憶媒体を含む。このような媒体は、揮発性及び不揮発性媒体、又は、取り外し可能及び取り外し不可能な媒体を含むが、これらに限定されない、コンピューティングデバイス１０００によってアクセス可能な任意の媒体であり得る。メモリ１０２０は、揮発性メモリ（例えば、レジスタ、キャッシュ、ランダムアクセスメモリ（ＲＡＭ））、不揮発性メモリ（例えば、読み取り専用メモリ（ＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュ メモリ）、又は、それらの任意の組み合わせであり得る。記憶ユニット１０３０は、任意の取り外し可能又は取り外し不可能な媒体であり、情報及び／又はデータを記憶するために使用でき、コンピューティングデバイス１０００でアクセスできる、メモリ、フラッシュメモリドライブ、磁気ディスク、又は別の他の媒体などの機械可読媒体を含み得る。

【0128】

コンピューティングデバイス１０００は、追加の取り外し可能／取り外し不可能、揮発性／不揮発性メモリ媒体をさらに含み得る。なお、図１０には示していないが、着脱可能な不揮発性磁気ディスクの読み書きを行う磁気ディスクドライブや、着脱可能な不揮発性光ディスクの読み書きを行う光ディスクドライブを提供することが可能である。このような場合、各ドライブは、１つ又は複数のデータ媒体インターフェースを介して、バス（図示せず）に接続され得る。

【0129】

通信ユニット１０４０は、通信媒体を介して、さらなるコンピューティングデバイスと通信する。さらに、コンピューティングデバイス１０００内のコンポーネントの機能は、通信接続を介して通信できる単一のコンピューティングクラスタ又は複数のコンピューティングマシンによって実施することができる。したがって、コンピューティングデバイス１０００は、１つ又は複数の他のサーバ、ネットワーク化されたパーソナルコンピュータ（ＰＣ）、又は、さらなる一般的なネットワークノードとの論理接続を使用して、ネットワーク化された環境で動作することができる。

【0130】

入力デバイス１０５０は、マウス、キーボード、トラッキングボール、音声入力デバイスなどの様々な入力デバイスのうちの１つ又は複数であり得る。出力デバイス１０６０は、ディスプレイ、スピーカ、プリンタなどの様々な出力デバイスのうちの１つ又は複数であり得る。通信ユニット１０４０によって、コンピューティングデバイス１０００は、記憶デバイス及び表示デバイスなどの１つ又は複数の外部デバイス（図示せず）とさらに通信することができ、１つ又は複数のデバイスにより、ユーザがコンピューティングデバイス１０００と対話可能にするか、又は、必要に応じて、任意のデバイス（ネットワークカード、モデムなど）により、コンピューティングデバイス１０００が１つ又は複数の他のコンピューティングデバイスと通信可能にする。このような通信は、入出力（Ｉ／Ｏ）インターフェース（図示せず）を介して、実行できる。

【0131】

いくつかの実施形態では、単一のデバイスに統合される代わりに、コンピューティングデバイス１０００のいくつかの又はすべてのコンポーネントが、クラウドコンピューティングアーキテクチャに配置され得る。クラウドコンピューティングアーキテクチャでは、コンポーネントは遠隔的に提供され、連携して本開示で説明される機能を実施し得る。いくつかの実施形態では、クラウドコンピューティングは、コンピューティング、ソフトウェア、データアクセス及びストレージサービスを提供し、これらのサービスを提供するシステム又はハードウェアの物理的な位置又は構成をエンドユーザが認識する必要はない。様々な実施形態において、クラウドコンピューティングは、適切なプロトコルを使用して、広域ネットワーク（インターネットなど）を介して、サービスを提供する。例えば、クラウドコンピューティングプロバイダーは、Ｗｅｂブラウザ又はその他のコンピューティングコンポーネントを通じてアクセスできる、広域ネットワーク経由でアプリケーションを提供する。クラウドコンピューティングアーキテクチャのソフトウェア又はコンポーネント及び対応するデータは、遠隔地にあるサーバに保存され得る。クラウドコンピューティング環境におけるコンピューティングリソースは、リモートデータセンターの場所に併合又は分散され得る。クラウドコンピューティングインフラストラクチャは、ユーザにとって単一のアクセスポイントとして動作するが、共有データセンターを通じて、サービスを提供し得る。したがって、クラウドコンピューティングアーキテクチャを使用して、本明細書で説明されるコンポーネント及び機能を、遠隔地にあるサービスプロバイダから提供し得る。代替形態として、それらは、従来のサーバから提供されるか、又は、クライアントデバイスに直接又はその他の方法でインストールされ得る。

【0132】

コンピューティングデバイス１０００は、本開示の実施形態において、点群符号化／復号化を実施するために使用され得る。メモリ１０２０は、１つ又は複数のプログラム命令を有する１つ又は複数の点群コーディングモジュール１０２５を含み得る。これらのモジュールは、本明細書で説明される様々な実施形態の機能を実行するように、処理ユニット１０１０によって、アクセス可能かつ実行可能である。

【0133】

点群符号化を実行する例示的な実施形態では、入力デバイス１０５０は、符号化される点群データを、入力１０７０として受信し得る。点群データは、例えば、点群コーディングモジュール１０２５によって処理されて、符号化されたビットストリームを生成し得る。符号化されたビットストリームは、出力デバイス１０６０を介して、出力１０８０として提供され得る。

【0134】

点群復号化を実行する例示的な実施形態では、入力デバイス１０５０は、符号化されたビットストリームを、入力１０７０として受信し得る。符号化されたビットストリームは、例えば、点群コーディングモジュール１０２５によって処理されて、復号された点群データを生成し得る。復号されたＧＰＣＣデータは、出力デバイス１０６０を介して、出力１０８０として提供され得る。

【0135】

本開示は、その好ましい実施形態を参照して、特に、図示及び説明されたが、添付の特許請求の範囲によって定義される本出願の精神及び範囲から逸脱することなく、形態及び詳細における様々な変更を行うことができることが当業者には理解されるであろう。このような変形は、本出願の範囲に含まれるものとする。したがって、本出願の実施形態に関する前述の説明は、限定することを意図したものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2024-05-20

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

点群コーディング方法であって、
点群シーケンスをコーディングするための複数セットのシーケンスレベル・パラメータ（ＳＬＰ）に基づいて、点群シーケンスと前記点群シーケンスのビットストリームとの間の変換を実行するステップを含み、
複数のＳＬＰセットはビットストリーム内で示され、点群シーケンスをコーディングするための複数のパラメータセットを含み、点群シーケンス内の点群サンプルのデータユニットをコーディングするためのパラメータセットが、活性化関数によって複数のパラメータセットから取得される、
方法。

【請求項2】

前記複数セットのＳＬＰは、前記点群シーケンスをコーディングするための第１構文構造内のパラメータを含み、
前記ビットストリーム内で前記点群シーケンスをコーディングするための第２構文構造内のパラメータを示すかどうかに関する情報、又は、前記ビットストリーム内で前記第２構文構造内の前記パラメータをどのように示すかに関する情報のうちの少なくとも１つは、前記第１構文構造内の前記パラメータに依存し、
前記第２構文構造のタイプは、前記第１構文構造のタイプと異なる、
請求項１に記載の方法に記載の方法。

【請求項3】

前記第１構文構造は、シーケンス・パラメータセット（ＳＰＳ）を含み、または、
前記第２構文構造は、ジオメトリ・パラメータセット（ＧＰＳ）又は属性パラメータセット（ＡＰＳ）を含む、
請求項２に記載の方法。

【請求項4】

前記第１構文構造内の前記パラメータは、前記第２構文構造内の前記パラメータの前にシグナリングされる、
請求項２～３のいずれか１項に記載の方法。

【請求項5】

前記第２構文構造内の前記パラメータは前記ビットストリームに存在せず、前記第１構文構造内の前記パラメータは前記第２構文構造に使用され、または、
前記第２構文構造内の前記パラメータは、前記ビットストリーム内で予測的に示され、または
前記第２構文構造内の前記パラメータは、前記第１構文構造内の前記パラメータに基づいて決定され、または
前記第１構文構造はＳＰＳであり、前記複数セットのＳＬＰはＧＰＳ内のパラメータ及びＡＰＳ内のパラメータをさらに含み、または
前記第１構文構造内の前記パラメータは、前記第２構文構造内の前記パラメータの前にコーディングされる、
請求項２～３のいずれか１項に記載の方法。

【請求項6】

前記複数のパラメータセットは、ＳＰＳ、ＧＰＳ、又はＡＰＳのうちの少なくとも１つを含む、
請求項１～３のいずれか１項に記載の方法。

【請求項7】

前記データユニットは、
前記点群サンプルのジオメトリデータ、又は、
前記点群サンプルの属性データのうちの少なくとも１つを含む、
請求項１～３のいずれか１項に記載の方法。

【請求項8】

前記複数のパラメータセットを指す複数のパラメータセット指示は、第２レベルで前記ビットストリーム内に示され、
前記第２レベルは、シーケンスレベルよりも低く、または
前記複数のパラメータセットを指す複数のパラメータセット指示が、第２レベルで前記ビットストリーム内に示されるか否かに関する情報は、シーケンスレベルでのパラメータセットの数に依存し、
前記第２レベルは、前記シーケンスレベルよりも低い、
請求項１～３のいずれか１項に記載の方法。

【請求項9】

前記複数のパラメータセット指示は、前記第２レベルで使用されるパラメータセットを示すインデックスを含む、
請求項８に記載の方法。

【請求項10】

前記複数のパラメータセット指示は、
固定長コーディング、
単項コーディング、又は
切り捨て単項コーディングのうちの１つでコーディングされ、または
前記複数のパラメータセット指示は、予測の方法でコーディングされる、
請求項８項に記載の方法。

【請求項11】

前記複数のパラメータセット指示の１つは、前記第２レベルのヘッダボックス内で示される、
請求項８項に記載の方法。

【請求項12】

前記複数のパラメータセット指示の１つは、前記点群サンプルの情報ユニット内の構成ボックス内で示される、
請求項８項に記載の方法。

【請求項13】

前記データユニットは、シーケンスレベルよりも低い第２レベルで関連付けられる、
請求項１～３のいずれか１項に記載の方法。

【請求項14】

前記第２レベルは、前記複数のパラメータセットのうちの少なくとも１つが割り当てられる、
請求項１３に記載の方法。

【請求項15】

前記第２レベルのパラメータセットを指す指示は、前記第２レベルのヘッドボックス内で示され、前記指示は、前記パラメータセットを取得するために前記活性化関数によって使用される、
請求項１３に記載の方法。

【請求項16】

前記データユニットはジオメトリ・データユニットであり、前記ジオメトリ・データユニットの前記活性化関数によって取得されたＳＰＳは、他のデータユニットに使用される、請求項１３に記載の方法。

【請求項17】

前記変換は、前記点群シーケンスを前記ビットストリームに符号化するステップを含み、または
前記変換は、前記ビットストリームから前記点群シーケンスを復号するステップを含む、
請求項１～３のいずれか１項に記載の方法。

【請求項18】

プロセッサと命令を備える非一時的なメモリとを含む、点群データを処理する装置であって、
前記命令は、前記プロセッサによって実行されると、前記プロセッサに請求項１～３のいずれか１項に記載の方法を実行させる、装置。

【請求項19】

プロセッサに請求項１～３のいずれか１項に記載の方法を実行させる命令を記憶する、
非一時的なコンピュータ可読記憶媒体。

【請求項20】

点群シーケンスのビットストリームを記憶する方法であって、
点群シーケンスをコーディングするための複数セットのシーケンスレベル・パラメータ（ＳＬＰ）に基づいて、前記ビットストリームを生成するステップであって、複数のセットのＳＬＰはビットストリーム内で示され、点群シーケンスをコーディングするための複数のパラメータセットを含み、点群シーケンス内の点群サンプルのデータユニットをコーディングするためのパラメータセットが、活性化関数によって複数のパラメータセットから取得されるステップと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体内に記憶するステップと、を含み、
前記複数セットのＳＬＰは、前記ビットストリームで示される、方法。

【国際調査報告】