IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ベイジン バイトダンス ネットワーク テクノロジー カンパニー リミテッドの特許一覧 ▶ バイトダンス インコーポレイテッドの特許一覧

特表2025-501125点群コーディングのための方法、装置及び媒体
<>
  • 特表-点群コーディングのための方法、装置及び媒体 図1
  • 特表-点群コーディングのための方法、装置及び媒体 図2
  • 特表-点群コーディングのための方法、装置及び媒体 図3
  • 特表-点群コーディングのための方法、装置及び媒体 図4
  • 特表-点群コーディングのための方法、装置及び媒体 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-17
(54)【発明の名称】点群コーディングのための方法、装置及び媒体
(51)【国際特許分類】
   G06T 9/00 20060101AFI20250109BHJP
   H04N 19/597 20140101ALI20250109BHJP
【FI】
G06T9/00
H04N19/597
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024538222
(86)(22)【出願日】2022-12-20
(85)【翻訳文提出日】2024-07-30
(86)【国際出願番号】 CN2022140493
(87)【国際公開番号】W WO2023116731
(87)【国際公開日】2023-06-29
(31)【優先権主張番号】PCT/CN2021/140249
(32)【優先日】2021-12-21
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Beijing Bytedance Network Technology Co., Ltd.
【住所又は居所原語表記】Room B-0035, 2/F, No.3 Building, No.30, Shixing Road, Shijingshan District Beijing 100041 China
(71)【出願人】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】ワン,イエ-クォイ
(72)【発明者】
【氏名】シュイ,インジャン
(72)【発明者】
【氏名】ジャン,カイ
(72)【発明者】
【氏名】ワン,ウェンイ
(72)【発明者】
【氏名】ジャン,リ
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159PP03
(57)【要約】
本開示の実施形態は、点群コーディングのためのソリューションを提供する。点群コーディングの方法が提案される。前記方法は、点群シーケンスの現在の点群フレームと前記点群シーケンスのビットストリームとの間の転換を実行するステップを含み、前記現在の点群フレーム内の第1のスライスは単一の依存スライスのみによって直接的に依存される。
【特許請求の範囲】
【請求項1】
点群コーディングの方法であって、
点群シーケンスの現在の点群フレームと、前記点群シーケンスのビットストリームとの間の転換を実行するステップを含み、前記現在の点群フレーム内の第1のスライスは、単一の依存スライスのみによって直接的に依存される、方法。
【請求項2】
前記第1のスライスに直接的又は間接的に依存する依存スライスの数は1つだけである、請求項1に記載の方法。
【請求項3】
前記単一の依存スライスは、前記現在の点群フレームにある、請求項1~2のいずれか一項に記載の方法。
【請求項4】
前記第1のスライスは、前記現在の点群フレームとは異なるさらなる点群フレーム内のスライスによって依存されることが許可されない、請求項1~2のいずれか一項に記載の方法。
【請求項5】
前記単一の依存スライスは、前記第1のスライスによって示される、請求項1~4のいずれか一項に記載の方法。
【請求項6】
前記単一の依存スライスは、コーディング順序に基づいて決定される、請求項1~4のいずれか一項に記載の方法。
【請求項7】
前記単一の依存スライスは、コーディング順序で前記第1のスライスに先行する、請求項1~4のいずれか一項に記載の方法。
【請求項8】
前記第1のスライスと前記単一の依存スライスは、前記現在の点群フレーム内の同じタイル内にある、請求項1~7のいずれか一項に記載の方法。
【請求項9】
前記第1のスライスのスライスタグは、ビットストリーム順序で前記第1のスライスに先行するスライスのスライスタグとは異なり、前記第1のスライス内のジオメトリデータユニット(GDU)と属性データユニット(ADU)は、独立して解析される、請求項1~8のいずれか一項に記載の方法。
【請求項10】
タイルインベントリが前記現在の点群フレームに適用される、請求項8に記載の方法。
【請求項11】
前記転換は、第1のタイプのパラメータセットの複数のデータユニットに基づいて実行され、前記複数のデータユニットは、同じパラメータセット識別子を有し、前記複数のデータユニットは、前記点群シーケンスのコード化点群シーケンスの持続期間中同一である、請求項1~10のいずれか一項に記載の方法。
【請求項12】
前記第1のタイプのパラメータセッは、
シーケンスパラメータセット(SPS)、
ジオメトリパラメータセット(GPS)、又は
属性パラメータセット(APS)のうちの1つである、請求項11に記載の方法。
【請求項13】
前記転換は、前記現在の点群フレームを前記ビットストリームにエンコードするステップを含む、請求項1~12のいずれか一項に記載の方法。
【請求項14】
前記転換は、前記ビットストリームから前記現在の点群フレームをデコードするステップを含む、請求項1~12のいずれか一項に記載の方法。
【請求項15】
プロセッサと、命令を備えた非一時的メモリとを含む点群データを処理するための装置であって、
前記命令は、前記プロセッサにより実行されると、前記プロセッサに請求項1~14のいずれか一項に記載の方法を実行させる、装置。
【請求項16】
プロセッサに請求項1~14のいずれか一項に記載の方法を実行させる命令を記憶する、非一時的なコンピュータ可読記憶媒体。
【請求項17】
点群処理装置によって実行される方法によって生成された点群シーケンスのビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、
前記方法は、
前記点群シーケンスの現在の点群フレームと前記ビットストリームとの間の転換を実行するステップを含み、前記現在の点群フレーム内の第1のスライスは単一の依存スライスのみによって直接的に依存される、非一時的なコンピュータ可読記録媒体。
【請求項18】
点群シーケンスのビットストリームを記憶する方法であって、
前記点群シーケンスの現在の点群フレームと前記ビットストリームとの間の転換を実行するステップであって、前記現在の点群フレーム内の第1のスライスは単一の依存スライスのみによって直接的に依存されるステップと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップとを含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施形態は、一般に、点群コーディング技術に関し、より詳細には、ジオメトリベースの点群圧縮におけるスライス及びパラメータセットに関する。
【背景技術】
【0002】
点群とは、3次元(3D)平面における個々のデータ点の集合であり、各点はX、Y、Z軸上に設定座標を有する。したがって、3次元空間の物理的内容を表すために点群が使用され得る。点群は、拡張現実から自動運転車に至るまで、幅広い没入型アプリケーションの3Dビジュアルデータを表現する有望な方式であることが示されている。
【0003】
点群コーディング標準は、主によく知られたMPEG組織の開発を通じて進化してきた。MPEGは、Moving Picture Experts Groupの略で、マルチメディアを扱う主要な標準化グループの1つである。2017年、MPEG3Dグラフィックスコーディンググループ(3DG)は、点群コーディング標準の開発を開始するための提案募集(CFP)文書を発行した。最終的な標準は2つのクラスのソリューションで構成される。ビデオベースの点群圧縮(V-PCC又はVPCC)は、点が比較的均一に分布している点セットに適している。ジオメトリベースの点群圧縮(G-PCC又はGPCC)は、よりまばらな分布に適している。しかしながら、従来の点群コーディング技術のコーディング効率は、一般にさらに改善されることが期待されている。
【発明の概要】
【0004】
本開示の実施形態は、点群コーディングのためのソリューションを提供する。
【0005】
第1の態様では、点群コーディングの方法が提案される。前記方法は、点群シーケンスの現在の点群フレームと前記点群シーケンスのビットストリームとの間の転換を実行するステップを含み、前記現在の点群フレーム内の第1のスライスは単一の依存スライスのみによって直接的に依存される。
【0006】
本開示の第1の態様による方法に基づいて、スライスは、単一の依存スライスのみによって直接的に依存されるものとする。このような制約のない従来のソリューションと比較して、提案された方法は、スライスの適用をより良好にサポートできるため、点群処理効率が向上するという利点がある。
【0007】
第2の態様では、点群データを処理する装置が提案される。前記点群データを処理する装置は、プロセッサと、命令を備えた非一時的メモリとを含む。前記命令は前記プロセッサにより実行されると、前記プロセッサに本開示の第1の態様による方法を実行させる。
【0008】
第3の態様では、非一時的なコンピュータ可読記憶媒体が提案される。前記非一時的なコンピュータ可読記憶媒体は、プロセッサに本開示の第1の態様による方法を実行させる命令を記憶する。
【0009】
第4の態様では、別の非一時的なコンピュータ可読記録媒体が提案される。前記非一時的なコンピュータ可読記録媒体は、点群処理装置によって実行される方法によって生成された点群シーケンスのビットストリームを記憶する。前記方法は、前記点群シーケンスの現在の点群フレームと前記ビットストリームとの間の転換を実行するステップを含み、前記現在の点群フレーム内の第1のスライスは単一の依存スライスのみによって直接的に依存される。
【0010】
第5の態様では、点群シーケンスのビットストリームを記憶する方法が提案される。前記方法は、前記点群シーケンスの現在の点群フレームと前記ビットストリームとの間の転換を実行するステップであって、前記現在の点群フレーム内の第1のスライスは単一の依存スライスのみによって直接的に依存されるステップと、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップとを含む。
【0011】
この発明の内容は、以下の詳細な説明でさらに説明される概念の選択を簡略化した形式で紹介するために提供される。この発明の内容は、請求された主題の主要な特徴又は本質的な特徴を特定することを意図したものではなく、また、請求された主題の範囲を制限するために使用されることを意図したものでもない。
【図面の簡単な説明】
【0012】
添付の図面を参照した以下の詳細な説明を通じて、本開示の例示的な実施形態の上記及び他の目的、特徴、及び利点がより明らかになるであろう。本開示の例示的な実施形態では、通常、同じ参照番号は同じ構成要素を指す。
【0013】
図1】本開示の技術を利用し得る例示的な点群コーディングシステムを示すブロック図である。
【0014】
図2】本開示のいくつかの実施形態による、例示的な点群エンコーダを示すブロック図を示す。
【0015】
図3】本開示のいくつかの実施形態による、例示的な点群デコーダを示すブロック図を示す。
【0016】
図4】本開示のいくつかの実施形態による点群コーディングの方法のフローチャートを示す。
【0017】
図5】本開示の様々な実施形態を具現できるコンピューティングデバイスのブロック図を示す。
【0018】
図面全体にわたって、同じ又は類似の参照番号は通常、同じ又は類似の要素を指す。
【発明を実施するための形態】
【0019】
次に、いくつかの実施形態を参照して、本開示の原理を説明する。これらの実施形態は、説明のみを目的として記載されており、当業者が本開示を理解し具現するのを助けるものであり、本開示の範囲に関していかなる限定も示唆するものではないことを理解すべきである。本明細書に記載の開示は、以下に記載する方法以外にも様々な方式で具現されることができる。
【0020】
以下の説明及び特許請求の範囲において、別段の定義がない限り、本明細書で使用されるすべての技術用語及び科学用語は、本開示が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。
【0021】
本開示における「一つの実施形態」、「一実施形態」、「例示的な実施形態」などへの言及は、記載される実施形態が特定の特徴、構造、又は特性を含み得ることを示すが、必ずしもすべての実施形態が特定の特徴、構造、又は特性を含むとは限らない。また、そのような語句は必ずしも同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、又は特性が例示的な実施形態に関連して説明される場合、明示的に記載されているかどうかにかかわらず、他の実施形態に関連してそのような特徴、構造、又は特性に影響を与えることは当業者の知識の範囲内であることが指摘される。
【0022】
「第1の」及び「第2の」などの用語は、本明細書では様々な要素を説明するために使用され得るが、これらの要素はこれらの用語によって限定されるべきではないことを理解すべきである。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、例示的な実施形態の範囲から逸脱することなく、第1の要素が第2の要素と呼ばれ得、同様に、第2の要素が第1の要素と呼ばれ得る。本明細書で使用されるように、「及び/又は」という用語には、列挙された用語の1つ又は複数のあらゆる組み合わせが含まれる。
【0023】
本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、例示的な実施形態を限定することを意図したものではない。本明細書で使用されるように、単数形「a(一つの)」、「an(一つの)」、及び「the(その)」は、文脈上明らかに別段の指示がない限り、複数形も含むものとする。「含む」、「備える」、「有する」、「持つ」、「含有する」及び/又は「包含する」という用語は、本明細書で使用される場合、記載された特徴、要素、及び/又は構成要素などの存在を指定するが、1つ又は複数の他の特徴、要素、構成要素及び/又はそれらの組み合わせの存在又は追加を排除するものではないことがさらに理解されるであろう。
【0024】
例示的な環境
図1は、本開示の技術を利用し得る例示的な点群コーディングシステム100を示すブロック図である。図示されるように、点群コーディングシステム100は、ソースデバイス110と、宛先デバイス120とを含み得る。ソースデバイス110は点群エンコーディングデバイスとも呼ばれ、宛先デバイス120は点群デコーディングデバイスとも呼ばれ得る。動作中、ソースデバイス110は、エンコードされた点群データを生成するように構成され得、宛先デバイス120は、ソースデバイス110によって生成されたエンコードされた点群データをデコードするように構成され得る。本開示の技術は、一般に、点群データのコーディング(エンコーディング及び/又はデコーディング)、すなわち点群圧縮のサポートを対象とする。前記コーディングは、点群データの圧縮及び/又は解凍に効果的であり得る。
【0025】
ソースデバイス100及び宛先デバイス120は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、スマートフォン及び携帯電話などの電話機、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲーム機、ビデオストリーミングデバイス、車両(例:陸上車両又は海上船舶、宇宙船、航空機など)、ロボット、LIDARデバイス、衛星、拡張現実デバイスなどを含む広範囲のデバイスのいずれかを含み得る。場合によっては、ソースデバイス100及び宛先デバイス120は、無線通信用に装備され得る。
【0026】
ソースデバイス100は、データソース112と、メモリ114と、GPCCエンコーダ116と、入力/出力(I/O)インターフェース118とを含み得る。宛先デバイス120は、入力/出力(I/O)インターフェース128と、GPCCデコーダ126と、メモリ124と、データコンシューマ122とを含み得る。本開示によれば、ソースデバイス100のGPCCエンコーダ116及び宛先デバイス120のGPCCデコーダ126は、点群コーディングに関する本開示の技術を適用するように構成され得る。したがって、ソースデバイス100はエンコーディングデバイスの一例を表し、宛先デバイス120はデコーディングデバイスの一例を表す。他の例では、ソースデバイス100及び宛先デバイス120は、他のコンポーネント又はアレンジメントを含み得る。例えば、ソースデバイス100は、内部又は外部ソースからデータ(例えば、点群データ)を受信し得る。同様に、宛先デバイス120は、同じデバイスにおいてデータコンシューマを含めるのではなく、外部データコンシューマとインターフェースし得る。
【0027】
一般に、データソース112は、点群データ(すなわち、生の、エンコードされていない点群データ)のソースを表し、点群データの連続した一連の「フレーム」を、フレームの点群データをエンコードするGPCCエンコーダ116に提供し得る。いくつかの例では、データソース112は点群データを生成する。ソースデバイス100のデータソース112は、様々なカメラ又はセンサのいずれか、例えば1つ又は複数のビデオカメラ、以前にキャプチャされた点群データを含むアーカイブ、3Dスキャナ又は光検出と測距(LIDAR)デバイスなどの点群キャプチャデバイス、及び/又はデータコンテンツプロバイダーから点群データを受信するデータフィードインターフェイスを含み得る。したがって、いくつかの例では、データソース112は、LIDAR装置からの信号に基づいて点群データを生成し得る。代替的又は追加的に、点群データは、スキャナ、カメラ、センサ又は他のデータからコンピュータで生成され得る。例えば、データソース112は、点群データを生成するか、又はライブ点群データ、アーカイブされた点群データ、及びコンピュータで生成された点群データの組み合わせを生成し得る。いずれの場合も、GPCCエンコーダ116は、キャプチャされた、事前キャプチャされた、又はコンピュータで生成された点群データをエンコードする。GPCCエンコーダ116は、点群データのフレームを、受信した順序(「表示順序」と呼ばれることもある)からコーディングのためのコーディング順序に再配置し得る。GPCCエンコーダ116は、エンコードされた点群データを含む1つ又は複数のビットストリームを生成し得る。次に、ソースデバイス100は、例えば宛先デバイス120のI/Oインターフェース128による受信及び/又は検索のために、I/Oインターフェース118を介してエンコードされた点群データを出力し得る。エンコードされた点群データは、I/Oインターフェース118を介してネットワーク130Aを通じて宛先デバイス120に直接送信され得る。エンコードされた点群データは、宛先デバイス120によるアクセスのために記憶媒体/サーバ130Bに記憶されてもよい。
【0028】
ソースデバイス100のメモリ114及び宛先デバイス120のメモリ124は、汎用メモリを表し得る。いくつかの例では、メモリ114及びメモリ124は、生の点群データ、例えば、データソース112からの生の点群データ、及びGPCCデコーダ126からの生のデコードされた点群データを記憶し得る。追加的又は代替的に、メモリ114及びメモリ124は、例えば、それぞれGPCCエンコーダ116及びGPCCデコーダ126によって実行可能なソフトウェア命令を記憶し得る。この例では、メモリ114及びメモリ124がGPCCエンコーダ116及びGPCCデコーダ126とは別個に示されているが、GPCCエンコーダ116及びGPCCデコーダ126は、機能的に同様又は同等の目的で内部メモリも含み得ることを理解すべきである。さらに、メモリ114及びメモリ124は、例えば、GPCCエンコーダ116から出力され、GPCCデコーダ126に入力される、エンコードされた点群データを記憶し得る。いくつかの例では、メモリ114及びメモリ124の一部は、1つ又は複数のバッファとして割り当てられて、生の、デコードされた、及び/又はエンコードされた点群データを記憶し得る。例えば、メモリ114及びメモリ124は、点群データを記憶し得る。
【0029】
I/Oインターフェース118及びI/Oインターフェース128は、無線送信機/受信機、モデム、有線ネットワーキングコンポーネント(例えば、イーサネットカード)、様々なIEEE802.11標準のいずれかに従って動作する無線通信コンポーネント、又は他の物理コンポーネントを表し得る。I/Oインターフェース118及びI/Oインターフェース128が無線コンポーネントを含む例では、I/Oインターフェース118及びI/Oインターフェース128は、4G、4G-LTE(ロングタームエボリューション)、LTE-Advanced(LTEアドバンスト)、5Gなどのセルラー通信標準に従って、エンコードされた点群データなどのデータを転送するように構成され得る。I/Oインターフェース118が無線送信機を含むいくつかの例では、I/Oインターフェース118及びI/Oインターフェース128は、IEEE802.11標準などの他の無線標準に従って、エンコードされた点群データなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス100及び/又は宛先デバイス120は、それぞれのシステムオンチップ(SoC)デバイスを含み得る。例えば、ソースデバイス100は、GPCCエンコーダ116及び/又はI/Oインターフェース118に起因する機能を実行するSoCデバイスを含み得、宛先デバイス120は、GPCCデコーダ126及び/又はI/Oインターフェース128に起因する機能を実行するSoCデバイスを含み得る。
【0030】
本開示の技術は、自律走行車間の通信、スキャナ、カメラ、センサ及びローカル又はリモートサーバなどの処理装置デバイス間の通信、地理的マッピング、又は他のアプリケーションなどの、様々なアプリケーションのいずれかをサポートするエンコーディング及びデコーディングに適用され得る。
【0031】
宛先デバイス120のI/Oインターフェース128は、ソースデバイス110からエンコードされたビットストリームを受信する。エンコードされたビットストリームは、GPCCエンコーダ116によって定義された、シグナリング情報を含み得るが、これは、点群を表す値を有する構文要素など、GPCCデコーダ126によっても使用される。データコンシューマ122は、デコードされたデータを使用する。例えば、データコンシューマ122は、デコードされた点群データを使用して、物理的オブジェクトの位置を決定し得る。いくつかの例では、データコンシューマ122は、点群データに基づいて画像を提示するディスプレイを含み得る。
【0032】
GPCCエンコーダ116及びGPCCデコーダ126はそれぞれ、1つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア又はそれらの組み合わせなどの様々な適切なエンコーダ及び/又はデコーダ回路のいずれかとして具現され得る。技術が部分的にソフトウェアで具現される場合、デバイスは、ソフトウェアの命令を適切な非一時的なコンピュータ可読媒体に記憶し、1つ又は複数のプロセッサを使用してハードウェアで命令を実行して、本開示の技術を実行し得る。GPCCエンコーダ116及びGPCCデコーダ126のそれぞれは、1つ又は複数のエンコーダ又はデコーダに含まれ得るが、そのいずれも、それぞれのデバイスにおける複合エンコーダ/デコーダ(CODEC)の一部として統合され得る。GPCCエンコーダ116及び/又はGPCCデコーダ126を含むデバイスは、1つ又は複数の集積回路、マイクロプロセッサ、及び/又は他のタイプのデバイスを含み得る。
【0033】
GPCCエンコーダ116及びGPCCデコーダ126は、ビデオ点群圧縮(VPCC)標準又はジオメトリ点群圧縮(GPCC)標準などのコーディング標準に従って動作し得る。本開示は、一般に、データをエンコード又はデコードするプロセスを含むフレームのコーディング(例えば、エンコーディング及びデコーディング)を指し得る。エンコードされたビットストリームは、一般に、コーディング決定(例:コーディングモード)を表す構文要素の一連の値を含む。
【0034】
点群は、3D空間内の点のセットを含み得、その点に関連付けられた属性を有し得る。属性は、R、G、Bなどの色情報、Y、Cb、Cr、又は反射率情報、或いはその他の属性であり得る。点群は、LIDARセンサ及び3Dスキャナなどの様々なカメラやセンサによってキャプチャされてもよく、コンピュータで生成されてもよい。点群データは、建設(モデリング)、グラフィックス(視覚化及びアニメーション用の3Dモデル)、自動車産業(ナビゲーションに使用されるLIDARセンサ)を含むがこれらに限定されない様々なアプリケーションで使用される。
【0035】
図2は、本開示のいくつかの実施形態による、図1に示されるシステム100におけるGPCCエンコーダ116の一例であり得るGPCCエンコーダ200の一例を示すブロック図である。図3は、本開示のいくつかの実施形態による、図1に示されるシステム100におけるGPCCデコーダ126の一例であり得るGPCCデコーダ300の一例を示すブロック図である。
【0036】
GPCCエンコーダ200及びGPCCデコーダ300の両方において、点群位置が最初にコード化される。属性コーディングは、デコードされたジオメトリに依存する。図2及び図3において、領域適応階層変換(RAHT)ユニット218、表面近似分析ユニット212、RAHTユニット314及び表面近似合成ユニット310は、カテゴリ1のデータに通常使用されるオプションである。詳細レベル(LOD)生成ユニット220、リフティングユニット222、LOD生成ユニット316、及び逆リフティングユニット318は、カテゴリ3のデータに通常使用されるオプションである。他のすべてのユニットはカテゴリ1と3で共通である。
【0037】
カテゴリ3のデータの場合、圧縮されたジオメトリは、通常、ルートから個々のボクセルのリーフレベルに至るオクツリーとして表される。カテゴリ1のデータの場合、圧縮されたジオメトリは通常、プルーニングされたオクツリー(すなわち、ルートからボクセルよりも大きいブロックのリーフレベルまでのオクツリー)と、プルーニングされたオクツリーの各リーフ内の表面を近似するモデルとによって表される。このようにして、カテゴリ1のデータとカテゴリ3のデータの両方がオクツリーコーディングメカニズムを共有するが、カテゴリ1のデータは、さらに、各リーフ内のボクセルを表面モデルで近似し得る。使用される表面モデルは、ブロック当たり1~10個の三角形を備える三角形分割であり、三角形スープ(triangle soup)をもたらす。したがって、カテゴリ1のジオメトリコーデックは、Trisoupジオメトリコーデックとして知られており、カテゴリ3のジオメトリコーデックは、オクツリージオメトリコーデックとして知られている。
【0038】
図2の例では、GPCCエンコーダ200は、座標変換ユニット202と、色変換ユニット204と、ボクセル化ユニット206と、属性転送ユニット208と、オクツリー分析ユニット210と、表面近似分析ユニット212と、算術エンコーディングユニット214と、ジオメトリ再構成ユニット216と、RAHTユニット218と、LOD生成ユニット220と、リフティングユニット222と、係数量子化ユニット224と、算術エンコーディングユニット226とを含み得る。
【0039】
図2の例に示すように、GPCCエンコーダ200は、位置のセット及び属性のセットを受信し得る。位置には、点群内の点の座標が含まれ得る。属性には、点群内の点に関連付けられた色など、点群内の点に関する情報が含まれ得る。
【0040】
座標変換ユニット202は、点の座標に変換を適用して、座標を初期ドメインから変換ドメインに変換し得る。本開示では、変換された座標を変換座標と呼び得る。色変換ユニット204は、属性の色情報を異なるドメインに転換するための変換を適用し得る。例えば、色変換ユニット204は、色情報をRGB色空間からYCbCr色空間に転換し得る。
【0041】
さらに、図2の例では、ボクセル化ユニット206は、変換座標をボクセル化し得る。変換座標のボクセル化には、点群のいくつかの点を量子化して削除することが含まれ得る。換言すれば、点群の複数の点が単一の「ボクセル」内に包含され得、その後、いくつかの方面で1つの点として扱われ得る。さらに、オクツリー分析ユニット210は、ボクセル化された変換座標に基づいてオクツリーを生成し得る。追加的に、図2の例では、表面近似分析ユニット212は、点を分析して、点のセットの表面表現を潜在的に決定し得る。算術エンコーディングユニット214は、面近似分析ユニット212によって決定されたオクツリー及び/又は表面の情報を表す構文要素に対して算術エンコーディングを実行し得る。GPCCエンコーダ200は、これらの構文要素をジオメトリビットストリームで出力し得る。
【0042】
ジオメトリ再構成ユニット216は、オクツリー、表面近似分析ユニット212によって決定された表面を示すデータ、及び/又は他の情報に基づいて、点群内の点の変換座標を再構成し得る。ジオメトリ再構成ユニット216によって再構成される変換座標の数は、ボクセル化及び表面近似のため、点群の元の点の数とは異なり得る。本開示では、結果として生じる点を再構成された点と呼び得る。属性転送ユニット208は、点群の元の点の属性を点群データの再構成された点に転送し得る。
【0043】
さらに、RAHTユニット218は、再構成された点の属性にRAHTコーディングを適用し得る。代替的又は追加的に、LOD生成ユニット220及びリフティングユニット222は、それぞれ、再構成された点の属性にLOD処理及びリフティングを適用し得る。RAHTユニット218及びリフティングユニット222は、属性に基づいて係数を生成し得る。係数量子化ユニット224は、RAHTユニット218又はリフティングユニット222によって生成された係数を量子化し得る。算術エンコーディングユニット226は、量子化された係数を表す構文要素に算術コーディングを適用し得る。GPCCエンコーダ200は、これらの構文要素を属性ビットストリームで出力し得る。
【0044】
図3の例では、GPCCデコーダ300は、ジオメトリ算術デコーディングユニット302と、属性算術デコーディングユニット304と、オクツリー合成ユニット306と、逆量子化ユニット308と、表面近似合成ユニット310と、ジオメトリ再構成ユニット312と、RAHTユニット314と、LOD生成ユニット316と、逆リフティングユニット318と、座標逆変換ユニット320と、色逆変換ユニット322とを含み得る。
【0045】
GPCCデコーダ300は、ジオメトリビットストリーム及び属性ビットストリームを取得し得る。デコーダ300のジオメトリ算術デコーディングユニット302は、算術デコーディング(例:CABAC又は他のタイプの算術デコーディング)をジオメトリビットストリームにおける構文要素に適用し得る。同様に、属性算術デコーディングユニット304は、属性ビットストリームにおける構文要素に算術デコーディングを適用し得る。
【0046】
オクツリー合成ユニット306は、ジオメトリビットストリームから解析された構文要素に基づいてオクツリーを合成し得る。表面近似がジオメトリビットストリームで使用される場合、表面近似合成ユニット310は、ジオメトリビットストリームから解析された構文要素及びオクツリーに基づいて表面モデルを決定し得る。
【0047】
さらに、ジオメトリ再構成ユニット312は、点群内の点の座標を決定するために再構成を実行し得る。座標逆変換ユニット320は、再構成された座標に逆変換を適用して、点群内の点の再構成された座標(位置)を変換ドメインから初期ドメインに転換し直し得る。
【0048】
追加的に、図3の例では、逆量子化ユニット308は属性値を逆量子化し得る。属性値は、属性ビットストリームから取得された構文要素(例えば、属性算術デコーディングユニット304によってデコードされた構文要素を含む)に基づいてもよい。
【0049】
属性値がどのようにエンコードされるかに応じて、RAHTユニット314は、RAHTコーディングを実行して、逆量子化された属性値に基づいて点群の点の色値を決定し得る。代替的に、LOD生成ユニット316及び逆リフティングユニット318は、詳細レベルベースの技術を使用して点群の点の色値を決定し得る。
【0050】
さらに、図3の例では、色逆変換ユニット322は、色値に逆色変換を適用し得る。逆色変換は、エンコーダ200の色変換ユニット204によって適用される色変換の逆であり得る。例えば、色変換ユニット204は、色情報をRGB色空間からYCbCr色空間に変換し得る。したがって、色逆変換ユニット322は、色情報をYCbCr色空間からRGB色空間に変換し得る。
【0051】
図2及び図3の様々なユニットは、エンコーダ200及びデコーダ300によって実行される動作の理解を助けるために示されている。ユニットは、固定機能回路、プログラマブル回路、又はそれらの組み合わせとして具現され得る。固定機能回路とは、特定の機能を提供し、実行可能な動作に関して事前に設定されている回路を指す。プログラマブル回路とは、様々なタスクを実行するようにプログラムでき、実行可能な動作に柔軟な機能を提供できる回路を指す。例えば、プログラマブル回路は、ソフトウェア又はファームウェアの命令によって定義された方式でプログラマブル回路を動作させるソフトウェア又はファームウェアを実行し得る。固定機能回路はソフトウェア命令を実行し得る(例えば、パラメータを受信するか、又はパラメータを出力するよう)が、固定機能回路が実行する動作のタイプは一般にイミュータブルである。いくつかの例では、1つ又は複数のユニットは、別個の回路ブロック(固定機能又はプログラマブル)であり得、いくつかの例では、1つ又は複数のユニットは集積回路であり得る。
【0052】
本開示のいくつかの例示的な実施形態について、以下に詳細に説明する。本明細書では理解を容易にするためにセクション見出しが使用されており、セクションで開示される実施形態をそのセクションのみに限定するものではないことを理解すべきである。さらに、特定の実施形態はGPCC又は他の特定の点群コーデックを参照して説明されるが、開示された技術は他の点群コーディング技術にも適用可能である。さらに、いくつかの実施形態は点群コーディングステップを詳細に説明するが、コーディングを元に戻すデコードする対応するステップはデコーダによって具現されることを理解されるであろう。
1. 概要
この開示は点群圧縮技術に関する。具体的には、ジオメトリベースの点群圧縮(Geometry based Point Cloud Compression、G-PCC)標準のスライス及びパラメータセットの設計に関する。このアイデアは、点群圧縮標準又は非標準点群コーデック(例:開発中のG-PCC標準等)に、個別に又は様々な組み合わせで適用され得る。
2. 略語
APS Attribute parameter set(属性パラメータセット)
ADU Attribute data unit(属性データユニット)
DU Data unit(データユニット)
FBDU Frame boundary data unit(フレーム境界データユニット)
FSAP Frame-specific attribute parameters(フレーム専用の属性パラメータ)
GDU Geometry data unit(ジオメトリデータユニット)
GPS Geometry parameter set(ジオメトリパラメータセット)
G-PCC Geometry based point cloud compression(ジオメトリベースの点群圧縮)
LSB Least significant bit(最下位ビット)
MSB Most significant bit(最上位ビット)
PCC Point cloud compression(点群圧縮)
SPS Sequence parameter set(シーケンスパラメータセット)
TI Tile inventory(タイルインベントリ)
3. 背景
3.1 一般
3Dキャプチャリング及びレンダリング技術の進歩により、支援及び自動運転、地図、文化遺産、産業プロセス、没入型リアルタイム通信、仮想/拡張/複合現実(VR/AR/MR)コンテンツの作成、送信、通信の分野で新しいアプリケーション及びサービスを可能にする。点群は、このようなアプリケーションの主な表現の1つとして登場した。
点群フレームは、3D点のセットで構成される。各点は、3D位置に加えて、色、透明度、反射率、タイムスタンプ、表面法線、分類等の他の多数の属性にも関連付けられ得る。このような表現には大量のデータが必要であり、ストレージと送信の点でコストがかかり得る。
Moving Picture Experts Group(MPEG)は、2つの点群圧縮標準を開発している。一つ目は、点が比較的均一に分布している点セットに適している、ビデオベースの点群圧縮(V-PCC)標準である。二つ目は、よりまばらな分布に適している、ジオメトリベースの点群圧縮(G-PCC)標準である。
3.2 いくつかのG-PCC基本概念
3.2.1 用語と定義

デカルト座標(Cartesian coordinate)として指定された位置及び0個以上の属性で構成される点群の基本要素
点群
順序のない点のリスト
点群シーケンス
0個以上の点群のシーケンス
点群フレーム
点群シーケンス内の点群
ジオメトリ
点のセットに関連付けられた点位置
属性
点群内の各点に関連付けられたスカラー又はベクトルプロパティ
例:色、反射率、フレームインデックス等
ビットストリーム
コード化点群シーケンスの表現を形成するビットのシーケンス
コード化点群フレーム
点群フレームのコード化された表現
バウンディングボックス
点のセットの境界を定める空間領域を定義する、軸が整列した直方体
タイル
共通のslice_tag構文要素値によって識別されるスライスのセットであり、そのジオメトリは、タイルインベントリデータユニットで指定されたバウンディングボックス内に含まれる。
スライス
GDUと0個以上の対応するADUで構成されるコード化点群フレームの一部又は全体
注記1:任意の2つのスライスのバウンディングボックスは交差し得る。
3.2.2 コード化点群シーケンス
点群シーケンスのコード化表現は、DUのシーケンスとしてエンコードされた1つ又は複数の点群フレームで構成される。
コード化点群シーケンスは次のもので構成されるものとする。
- コード化された点群フォーマットに存在する属性を列挙し、コード化点群シーケンス全体に関連するメタデータ及びデコーディングパラメータの両方を伝達するSPS。
- ジオメトリデータのデコーディングに使用されるパラメータを伝達する少なくとも1つのGPS。
- コード化点群シーケンスにADUが存在する場合、属性データのデコーディングに使用されるパラメータを伝達する少なくとも1つのAPS。
- 各コード化点群フレームを含むDU。
プロファイル及びレベルは、ジオメトリ及び属性コンポーネント情報を表現するために必要なビット数の制限を指定する。
3.2.3 コード化点群フレーム及びスライス
コード化点群フレームは、同じFrameCtr値を持つ0個以上のスライスのシーケンスを含む。空のフレームは、連続するフレーム境界データユニットを使用して示される。
コード化点群フレームは、次のデータユニットで構成される。
- ジオメトリ、属性、又はデフォルトの属性データユニット
- 2つのコード化点群フレーム間の境界を識別する0個以上のフレーム境界データユニット
スライスは、順序のない点のリストである。スライス点の位置は、コーディング座標系のスライス原点を基準にしてコード化される。スライスのコード化ボリュームは、点群フレーム内を含めて交差し得る。
各スライスは、単一のGDUとそれに続く0個以上のADUとで構成されるものとする。GDUヘッダーはスライスヘッダーとして機能する。
ADUは、同じスライス内の対応するGDUに依存する。異なるスライスに属するDUはインターリーブされないものとする。
デコード化点群フレームは、フレームのすべての構成スライス内のすべての点を連結したものである。点群フレーム内の一致点が複数のスライスの連結から生じ得る。
スライスは独立しているか依存している。独立したスライスでは、他のスライスを最初にデコードする必要がない。依存スライスでは、ビットストリーム順序で直前のスライスを最初にデコードする必要がある。スライスは最大でも単一の依存スライスによって依存されるものとする。
3.2.4 スライス及びタイル
点群フレーム内のスライスのグループは、slice_tagの共通の値によって識別され得る。
タイルインベントリは、バウンディングボックスをスライスのグループに関連付ける手段を提供する。各タイルは、単一のバウンディングボックスと識別子(tileId)とで構成される。タイルバウンディングボックスは重なり得る。
タイルインベントリがビットストリームに存在する場合、slice_tagはtileIdによってタイルを識別するものとする。それ以外の場合、slice_tagの使用はアプリケーション専用である。
タイル情報は、このドキュメントで説明されているデコーディングプロセスでは使用されない。デコーダの具現では、空間ランダムアクセスを支援するためにタイルインベントリを使用し得る。
空間ランダムアクセスを実行して領域Rをデコードするデコーダは、タイルインベントリを使用して、Rと交差するタイルのセットのtileIdを決定し得る。デコードする必要があるのは、マッチングするtileIdを持つスライスのみである。
3.2.5 パラメータセット
3.2.5.1 パラメータセットのアクティブ化
SPS、GPS、又はAPSに含まれるパラメータは、それぞれのパラメータセットがアクティブになるまでは何の影響も与えないものとする。
デコーディングプロセス中のいかなる瞬間にも、最大でも1つのSPS、GPS、及びAPSがアクティブになる。パラメータセットをアクティブ化すると、同じタイプの任意の以前にアクティブだったパラメータセットが非アクティブ化されるものとする。
コード化点群シーケンスの開始時には、アクティブなパラメータセットはない。
SPSは、GDUの解析によってアクティブ化されるものとする。アクティブ化後、アクティブ化されたSPSは、コード化点群シーケンス全体にわたってアクティブなままになるものとする。
GPSは、GDUの解析によってアクティブ化されるものとする。
APSは、ADUの解析によってアクティブ化されるものとする。
注:SPS、GPS、又はAPS DUへの参照を含む他のDUによって、参照されたパラメータセットがアクティブになることはない。
3.2.5.2 パラメータセットの順序
DUは、任意のアクティブ化パラメータセットがアクティブ化の時点で利用可能になるような順序でデコーダに伝達されるものとする。
3.2.5.3 パラメータセットの重複
同じパラメータセット識別子を持つすべてのパラメータセットDUは、コード化点群シーケンスの持続期間中同一であるものとする。
3.3 G-PCC GDUヘッダー(すなわち、スライスヘッダー)
3.3.1 ジオメトリデータユニットのヘッダー構文
【表1】
3.3.2 ジオメトリデータユニットのヘッダー構文
gdu_geometry_parameter_set_idは、アクティブGPS gps_geom_parameter_set_idの値を指定する。
この文書のこのバージョンに準拠するビットストリームでは、gdu_reserved_zero_3bitsは0に等しいものとする。gdu_reserved_zero_3bitsの他の値は、ISO/IECによる将来の使用のために予備されている。デコーダはgdu_reserved_zero_3bitsの値を無視するものとする。
slice_idは、他の構文要素による参照用のスライスを識別する。
slice_tagは、slice_tagの特定の値を持つ1つ以上のスライスを識別するために使用され得る。タイルインベントリデータユニットが存在する場合、slice_tagはタイルidである。それ以外の場合、タイルインベントリデータユニットが存在しない場合、slice_tagの解釈は外部手段によって指定される。
frame_ctr_lsbは、概念的なフレーム番号カウンターのframe_ctr_lsb_bitsの最下位ビットを指定する。frame_ctr_lsbの異なる値を持つ連続したスライスは、異なる出力点群フレームの一部を形成する。介在するフレーム境界マーカーデータユニットのない、frame_ctr_lsbの同一の値を持つ連続したスライスは、同じコード化点群フレームの一部を形成する。
各コード化点群フレームがFrameCtrの一意の値を持つことがビットストリーム準拠の要件である。
slice_entropy_continuationが1に等しい場合は、エントロピー解析状態復元プロセス(XREF)がスライス内のGDU及び任意のADUに適用されるものとすることを指定する。slice_entropy_continuationが0に等しい場合は、スライス内のGDU及び任意のADUのエントロピー解析が他のスライスから独立していることを指定する。存在しない場合、slice_entropy_continuationは0であると推論されるものとする。GDUがコード化点群フレーム内の第1のDUである場合、slice_entropy_continuationが0に等しいことがビットストリーム準拠の要件である。
prev_slice_idは、ビットストリーム順序で前のGDUのslice_idの値と等しいものとする。デコーダは、prev_slice_idが存在し、かつ前のスライスのslice_idの値と等しくないスライスを無視するものとする。
注:slice_tagがprev_slice_idで識別されるGDUのslice_tagと等しくない場合、slice_entropy_continuationを1に等しくしないものとすることを推奨する。
...
4. 問題点
最新ドラフトG-PCC仕様の設計には次の問題がある。
1) スライスは最大でも単一の依存スライスによって依存されるものとすることが指定されている。ただし、スライスCがスライスBに依存し、スライスBがスライスAに依存することが許可されるかどうかは不明である。この場合、スライスAは、依存スライスBとCの両方によって依存される。さらに、スライスが異なる点群フレーム内のスライスによって依存されるかどうかも不明である。
2) 現在のスライスのslice_tagが、現在のスライスのprev_slice_idに等しいslice_idを有するスライスのslice_tagと等しくない場合、現在のスライスに対するslice_entropy_continuationが1に等しいことが許可される。言い換えれば、点群フレーム内のタイル間のスライス依存が許可される。ただし、これにより、最新ドラフトG-PCC仕様で説明されている次の空間ランダムアクセスの使用事例が無効になり得る。領域Rをデコードするために空間ランダムアクセスを実行するデコーダは、タイルインベントリを使用してRと交差するタイルのセットのtileIdを決定し得、マッチングするtileIdを持つスライスのみをデコードする必要がある。
3) パラメータセットの重複に関して、同じパラメータセット識別子を有するすべてのパラメータセットDUは、コード化点群シーケンスの持続期間中同一であることが指定される。ただし、コード化点群シーケンスの異なるタイプのパラメータセットが同じパラメータセット識別子値を持ち得る。したがって、この制約は特定のタイプのパラメータセットに絞り込むべきである。
5. 詳細なソリューション
上記問題を解決するために、以下に要約するような方法が開示される。ソリューションは一般的な概念を説明するための例として考慮されるべきであり、狭く解釈されるべきではない。さらに、これらのソリューションは個別に適用されることも、任意の方式で組み合わせて適用されることもできる。
1) 一つ目の問題を解決するに、次の項目のうち1つ以上が指定される。
a. 第1のスライスは、最大でも単一の依存スライスによって直接的に依存されるものとする。
i. 代替的に、第1のスライスは最大でも単一の依存スライスによって(直接的又は間接的に)依存されるものとすることが指定される。
ii. 一例では、依存スライスは、第1のスライスによって明示的にシグナリングされ得る。
iii. 一例では、第1のスライスに対する依存スライスは暗黙的に導出され得る。
1. 例えば、依存スライスは、デコーディング順序で第1のスライスの前のスライスであり得る。
b. 点群フレーム内のスライスは、別の点群フレーム内のスライスに(直接的又は間接的に)依存されてはならない。
c. 一タイルにおけるスライスは、別のタイルにおけるスライスに(直接的又は間接的に)依存されてはならない。
2) 二つ目の問題を解決するために、sliceAのslice_tagが、sliceAのprev_slice_idに等しいslice_idを有するスライスsliceBのslice_tagと等しくない場合、スライスsliceAのslice_entropy_continuationの値が0に等しいものとすることが指定される。
a. 代替的に、点群フレームに適用するタイルインベントリデータユニットが存在する場合、sliceAのslice_tagが、slice_idがsliceAのprev_slice_idと等しいスライスsliceBのslice_tagに等しくない場合、点群フレーム内のスライスsliceAのslice_entropy_continuationの値が0に等しいものとすることが指定される。
3) 三つ目の問題を解決するために、同じパラメータセット識別子を有する特定タイプのパラメータセットのすべてのパラメータセットDUが、コード化点群シーケンスの持続期間中同一であることが指定される。
a. 代替的に、次の項目が指定される。
i. 同じパラメータセット識別子を持つすべてのSPS DUは、コード化点群シーケンスの持続期間中同一であるものとする。
ii. 同じパラメータセット識別子を持つすべてのGPS DUは、コード化点群シーケンスの持続期間中同一であるものとする。
iii. 同じパラメータセット識別子を持つすべてのAPS DUは、コード化点群シーケンスの持続期間中同一であるものとする。
6. 実施形態
[外1]
6.1 実施形態1
この実施形態は、セクション5の項目1.a、1.b、2、3に対応する。
6.1.1 コード化点群フレーム及びスライス
コード化点群フレームは、同じFrameCtr値を持つ0個以上のスライスのシーケンスを含む。空のフレームは、連続するフレーム境界データユニットを使用して示される。
コード化点群フレームは、次のデータユニットで構成される。
- ジオメトリ、属性、又はデフォルトの属性データユニット
- 2つのコード化点群フレーム間の境界を識別する0個以上のフレーム境界データユニット
スライスは、順序のない点のリストである。スライス点の位置は、コーディング座標系のスライス原点を基準にしてコード化される。スライスのコード化ボリュームは、点群フレーム内を含めて交差し得る。
各スライスは、単一のGDUとそれに続く0個以上のADUとで構成されるものとする。GDUヘッダーはスライスヘッダーとして機能する。
ADUは、同じスライス内の対応するGDUに依存する。異なるスライスに属するDUはインターリーブされないものとする。
デコード化点群フレームは、フレームのすべての構成スライス内のすべての点を連結したものである。点群フレーム内の一致点が複数のスライスの連結から生じ得る。
スライスは独立しているか依存している。独立したスライスでは、他のスライスを最初にデコードする必要がない。依存スライスでは、ビットストリーム順序で直前のスライスを最初にデコードする必要がある。
スライスは最大でも単一の依存スライスによって直接的に依存されるものとする。
6.1.2 パラメータセット
6.1.2.1 パラメータセットのアクティブ化
SPS、GPS、又はAPSに含まれるパラメータは、それぞれのパラメータセットがアクティブになるまでは何の影響も与えないものとする。
デコーディングプロセス中のいかなる瞬間にも、最大でも1つのSPS、GPS、及びAPSがアクティブになる。パラメータセットをアクティブ化すると、同じタイプの任意の以前にアクティブだったパラメータセットが非アクティブ化されるものとする。
コード化点群シーケンスの開始時には、アクティブなパラメータセットはない。
SPSは、GDUの解析によってアクティブ化されるものとする。アクティブ化後、アクティブ化されたSPSは、コード化点群シーケンス全体にわたってアクティブなままになるものとする。
GPSは、GDUの解析によってアクティブ化されるものとする。
APSは、ADUの解析によってアクティブ化されるものとする。
注:SPS、GPS、又はAPS DUへの参照を含む他のDUによって、参照されたパラメータセットがアクティブになることはない。
6.1.2.2 パラメータセットの順序
DUは、任意のアクティブ化パラメータセットがアクティブ化の時点で利用可能になるような順序でデコーダに伝達されるものとする。
6.1.2.3 パラメータセットの重複
同じパラメータセット識別子を持つ特定のタイプのパラメータセットのすべてのパラメータセットDUは、コード化点群シーケンスの持続期間中同一であるものとする。
6.1.3 ジオメトリデータユニットのヘッダー構文
gdu_geometry_parameter_set_idは、アクティブGPS gps_geom_parameter_set_idの値を指定する。
この文書のこのバージョンに準拠するビットストリームでは、gdu_reserved_zero_3bitsは0に等しいものとする。gdu_reserved_zero_3bitsの他の値は、ISO/IECによる将来の使用のために予備されている。デコーダはgdu_reserved_zero_3bitsの値を無視するものとする。
slice_idは、他の構文要素による参照用のスライスを識別する。
slice_tagは、slice_tagの特定の値を持つ1つ以上のスライスを識別するために使用され得る。タイルインベントリデータユニットが存在する場合、slice_tagはタイルidである。それ以外の場合、タイルインベントリデータユニットが存在しない場合、slice_tagの解釈は外部手段によって指定される。
frame_ctr_lsbは、概念的なフレーム番号カウンターのframe_ctr_lsb_bitsの最下位ビットを指定する。frame_ctr_lsbの異なる値を持つ連続したスライスは、異なる出力点群フレームの一部を形成する。介在するフレーム境界マーカーデータユニットのない、frame_ctr_lsbの同一の値を持つ連続したスライスは、同じコード化点群フレームの一部を形成する。
各コード化点群フレームがFrameCtrの一意の値を持つことがビットストリーム準拠の要件である。
slice_entropy_continuationが1に等しい場合は、エントロピー解析状態復元プロセス(XREF)がスライス内のGDU及び任意のADUに適用されるものとすることを指定する。slice_entropy_continuationが0に等しい場合は、スライス内のGDU及び任意のADUのエントロピー解析が他のスライスから独立していることを指定する。存在しない場合、slice_entropy_continuationは0であると推論されるものとする。GDUがコード化点群フレーム内の第1のDUである場合、slice_entropy_continuationが0に等しいことがビットストリーム準拠の要件である。
prev_slice_idは、ビットストリーム順序で前のGDUのslice_idの値と等しいものとする。デコーダは、prev_slice_idが存在し、かつ前のスライスのslice_idの値と等しくないスライスを無視するものとする。
[外2]
ビットストリーム準拠の要件は、sliceAのslice_tagが、sliceAのprev_slice_idに等しいslice_idを有するスライスsliceBのslice_tagと等しくない場合、スライスsliceAのslice_entropy_continuationの値が0に等しいものとすることである。
...
【0053】
ジオメトリベースの点群圧縮におけるスライス及びパラメータセットに関連する本開示の実施形態のさらなる詳細が以下で説明される。
【0054】
本明細書で使用されるように、「点群シーケンス」という用語は、0個以上の点群のシーケンスを指し得る。「点群フレーム」という用語は、点群シーケンス内の点群を指し得る。「コード化点群フレーム」という用語は、点群フレームのコード化された表現を指し得る。「バウンディングボックス」という用語は、点のセットの境界を定める空間領域を定義する、軸が整列した直方体を指し得る。「スライス」という用語は、ジオメトリデータユニット(GDU)と0個以上の対応する属性データユニット(ADU)で構成されるコード化群フレームの一部又は全体を指し得る。
【0055】
図4は、本開示のいくつかの実施形態による点群コーディングの方法400のフローチャートを示す。図4に示すように、402において、点群シーケンスの現在の点群フレームと点群シーケンスのビットストリームとの間の転換が実行される。いくつかの実施形態では、現在の点群フレームは、402での転換中にビットストリームにエンコードされ得る。追加的に又は代替的に、現在の点群フレームは、402での転換中にビットストリームからデコードされ得る。
【0056】
402での転換中、現在の点群フレーム内の第1のスライスは、単一の依存スライスのみによって直接的に依存される。すなわち、第1のスライスは単一の依存スライスによって直接的に依存されるか、又は第1のスライスは何にも直接的に依存されない。言い換えれば、スライスは単一の依存スライスのみによって直接的に依存されるものとする。一例では、第1のスライスは第2のスライスによって直接的に依存され得、第2のスライスは第3のスライスによって直接的に依存され得る。このような場合、第1のスライスは第3のスライスによっても間接的に依存される。
【0057】
上記を考慮すると、スライスは、単一の依存スライスのみによって直接的に依存されるものとする。このような制約のない従来のソリューションと比較して、提案される方法は、スライスの適用をより良好にサポートできるため、点群処理効率が向上するという利点がある。
【0058】
いくつかの実施形態では、第1のスライスに直接的又は間接的に依存する依存スライスの数は、1つだけであり得る。すなわち、スライスは最大でも単一の依存スライスによって(直接的又は間接的に)依存される。言い換えれば、スライスは何にも間接的に依存されないものとする。
【0059】
いくつかの実施形態では、単一の依存スライスは現在の点群フレーム内にあり得る。すなわち、点群フレーム内のスライスは、別の点群フレーム内のスライスによって(直接的又は間接的に)依存されないものとする。
【0060】
いくつかの実施形態では、単一の依存スライスは、第1のスライスによって示され得る。例えば、依存スライスは第1のスライスによって明示的にシグナリングされ得る。いくつかの代替的な実施形態では、第1のスライスに対する単一の依存スライスが暗黙的に導出され得る。一例では、単一の依存スライスは、コーディング順序に基づいて決定され得る。別の例では、単一の依存スライスは、コーディング順序で前記第1のスライスに先行する。
【0061】
いくつかの実施形態では、第1のスライスと単一の依存スライスとは、現在の点群フレーム内の同じタイルにあり得る。追加的又は代替的に、第1のスライスは、現在の点群フレームとは異なるさらなる点群フレーム内のスライスによって依存されることが許可されなくてもよい。すなわち、第1のスライスは、別の点群フレーム内のスライスによって(直接的又は間接的に)依存されないものとする。言い換えれば、一タイル内のスライスは、別のタイル内のスライスによって(直接的又は間接的に)依存されないものとする。
【0062】
いくつかの実施形態では、第1のスライスのスライスタグは、ビットストリーム順序で第1のスライスに先行するスライスのスライスタグと異なり得る。一例では、ビットストリーム順序で第1のスライスに先行するスライスは、第1のスライスのprev_slice_idに等しいslice_idを有するスライスである。第1のスライス内のジオメトリデータユニット(GDU)と属性データユニット(ADU)とは、独立して解析され得る。一例として、第1のスライスの構文要素slice_entropy_continuationの値は0に等しくてもよい。
【0063】
いくつかの実施形態では、タイルインベントリが現在の点群フレームに適用され得る。点群フレームに適用されるタイルインベントリデータユニットが存在する場合、第1のスライスのslice_tagが、第1のスライスのprev_slice_idに等しいslice_idを有するスライスのslice_tagと等しくない場合、第1のスライスの構文要素slice_entropy_continuationの値は0に等しいものとする。
【0064】
いくつかの実施形態では、転換は、第1のタイプのパラメータセットの複数のデータユニットに基づいて実行され得る。複数のデータユニットは、同じパラメータセット識別子を有し得、複数のデータユニットは、点群シーケンスのコード化点群シーケンスの持続期間中同一であり得る。言い換えれば、同じパラメータセット識別子を有する特定のタイプのパラメータセットのすべてのパラメータセットDUは、コード化点群シーケンスの持続期間中同一であるものとする。
【0065】
限定ではなく例として、第1のタイプのパラメータセットは、シーケンスパラメータセット(SPS)、ジオメトリパラメータセット(GPS)、又は属性パラメータセット(APS)のうちの1つであり得る。すなわち、同じパラメータセット識別子を持つすべてのSPSデータユニット(DU)は、コード化点群シーケンスの持続期間中同一であるものとする。同じパラメータセット識別子を持つすべてのGPS DUは、コード化点群シーケンスの持続期間中同一であるものとする。同じパラメータセット識別子を持つすべてのAPS DUは、コード化点群シーケンスの持続期間中同一であるものとする。
【0066】
本開示の実施形態によれば、非一時的なコンピュータ可読記録媒体が提案される。点群シーケンスのビットストリームは、前記非一時的なコンピュータ可読記録媒体に記憶される。ビットストリームは、点群処理装置によって実行される方法によって生成され得る。前記方法によれば、点群シーケンスの現在の点群フレームとビットストリームとの間の転換が実行される。現在の点群フレームの第1のスライスは、単一の依存スライスのみによって直接的に依存される。
【0067】
本開示の実施形態によれば、点群シーケンスのビットストリームを記憶する方法が提案される。前記方法では、点群シーケンスの現在の点群フレームとビットストリームとの間の転換が実行される。現在の点群フレームの第1のスライスは、単一の依存スライスのみによって直接的に依存される。ビットストリームは、非一時的なコンピュータ可読記録媒体に記憶される。
【0068】
本開示の具現は、以下の条項を考慮して説明され得、その特徴は任意の合理的な方式で組み合わせられ得る。
【0069】
条項1.点群コーディングの方法であって、点群シーケンスの現在の点群フレームと前記点群シーケンスのビットストリームとの間の転換を実行するステップを含み、前記現在の点群フレーム内の第1のスライスは単一の依存スライスのみによって直接的に依存される、方法。
【0070】
条項2.前記第1のスライスに直接的又は間接的に依存する依存スライスの数は1つだけである、条項1に記載の方法。
【0071】
条項3.前記単一の依存スライスは、前記現在の点群フレームにある、条項1から2のいずれか一項に記載の方法。
【0072】
条項4.前記第1のスライスは、前記現在の点群フレームとは異なるさらなる点群フレーム内のスライスによって依存されることが許可されない、条項1から2のいずれか一項に記載の方法。
【0073】
条項5.前記単一の依存スライスは、前記第1のスライスによって示される、条項1から4のいずれか一項に記載の方法。
【0074】
条項6.前記単一の依存スライスは、コーディング順序に基づいて決定される、条項1から4のいずれか一項に記載の方法。
【0075】
条項7.前記単一の依存スライスは、コーディング順序で前記第1のスライスに先行する、条項1から4のいずれか一項に記載の方法。
【0076】
条項8.前記第1のスライスと前記単一の依存スライスは、前記現在の点群フレーム内の同じタイル内にある、条項1から7のいずれか一項に記載の方法。
【0077】
条項9.前記第1のスライスのスライスタグは、ビットストリーム順序で前記第1のスライスに先行するスライスのスライスタグとは異なり、前記第1のスライス内のジオメトリデータユニット(GDU)と属性データユニット(ADU)は、独立して解析される、条項1から8のいずれか一項に記載の方法。
【0078】
条項10.タイルインベントリが前記現在の点群フレームに適用される、条項8に記載の方法。
【0079】
条項11.前記転換は、第1のタイプのパラメータセットの複数のデータユニットに基づいて実行され、前記複数のデータユニットは、同じパラメータセット識別子を有し、前記複数のデータユニットは、前記点群シーケンスのコード化点群シーケンスの持続期間中同一である、条項1から10のいずれか一項に記載の方法。
【0080】
条項12.前記第1のタイプのパラメータセッは、シーケンスパラメータセット(SPS)、ジオメトリパラメータセット(GPS)、又は属性パラメータセット(APS)のうちの1つである、条項11に記載の方法。
【0081】
条項13.前記転換は、前記現在の点群フレームを前記ビットストリームにエンコードするステップを含む、条項1から12のいずれか一項に記載の方法。
【0082】
条項14.前記転換は、前記ビットストリームから前記現在の点群フレームをデコードするステップを含む、条項1から12のいずれか一項に記載の方法。
【0083】
条項15.プロセッサと、命令を備えた非一時的メモリとを含む点群データを処理するための装置であって、前記命令は前記プロセッサにより実行されると、前記プロセッサに条項1から14のいずれか一項に記載の方法を実行させる、装置。
【0084】
条項16.プロセッサに条項1から14のいずれか一項に記載の方法を実行させる命令を記憶する非一時的なコンピュータ可読記憶媒体。
【0085】
条項17.点群処理装置によって実行される方法によって生成された点群シーケンスのビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、前記方法は、前記点群シーケンスの現在の点群フレームと前記ビットストリームとの間の転換を実行するステップであって、前記現在の点群フレーム内の第1のスライスは単一の依存スライスのみによって直接的に依存されるステップを含む、非一時的なコンピュータ可読記録媒体。
【0086】
条項18.点群シーケンスのビットストリームを記憶する方法であって、前記点群シーケンスの現在の点群フレームと前記ビットストリームとの間の転換を実行するステップであって、前記現在の点群フレーム内の第1のスライスは単一の依存スライスのみによって直接的に依存されるステップと、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップとを含む方法。
【0087】
例示的なデバイス
図5は、本開示の様々な実施形態を具現できるコンピューティングデバイス500のブロック図を示す。コンピューティングデバイス500は、ソースデバイス110(或いは、GPCCエンコーダ116又は200)又は宛先デバイス120(或いはGPCCデコーダ126又は300)として具現されるか、又はそれに含まれ得る。
【0088】
図5に示されるコンピューティングデバイス500は、単に解説を目的としたものであり、本開示の実施形態の機能及び範囲をいかなる形でも制限することを示唆するものではないことが理解されるだろう。
【0089】
図5に示すように、コンピューティングデバイス500は、汎用コンピューティングデバイス500を含む。コンピューティングデバイス500は、少なくとも1つ又は複数のプロセッサ又は処理ユニット510と、メモリ520と、記憶ユニット530と、1つ又は複数の通信ユニット540と、1つ又は複数の入力デバイス550と、1つ又は複数の出力デバイス560とを含み得る。
【0090】
いくつかの実施形態では、コンピューティングデバイス500は、コンピューティング能力を有する任意のユーザ端末又はサーバ端末として具現され得る。前記サーバ端末は、サービスプロバイダが提供するサーバや大規模コンピューティングデバイスなどであり得る。前記ユーザ端末は、例えば、携帯電話、ステーション、ユニット、デバイス、マルチメディアコンピュータ、マルチメディアタブレット、インターネットノード、コミュニケータ、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、パーソナルコミュニケーションシステム(PCS)デバイス、パーソナルナビゲーションデバイス、携帯情報端末(PDA)、オーディオ/ビデオプレーヤー、デジタルカメラ/ビデオカメラ、測位デバイス、テレビ受信機、ラジオ放送受信機、電子ブックデバイス、ゲームデバイス、又はそれらの任意の組み合わせ(これらのデバイスのアクセサリ及び周辺機器、又はそれらの任意の組み合わせを含む)を含む、任意のタイプの移動端末、固定端末、又は携帯端末であり得る。コンピューティングデバイス500は、ユーザに対する任意のタイプのインターフェース(「ウェアラブル」回路など)をサポートできることが考えられる。
【0091】
処理ユニット510は、物理又は仮想プロセッサであり得、メモリ520に記憶されたプログラムに基づいて様々なプロセスを具現することができる。マルチプロセッサシステムでは、コンピューティングデバイス500の並列処理能力を向上させるために、複数の処理ユニットがコンピュータ実行可能命令を並列に実行する。処理ユニット510は、中央処理ユニット(CPU)、マイクロプロセッサ、コントローラ又はマイクロコントローラと呼ばれ得る。
【0092】
コンピューティングデバイス500は、通常、様々なコンピュータ記憶媒体を含む。このような媒体は、揮発性及び不揮発性媒体、又は取り外し可能及び取り外し不可能な媒体を含むがこれらに限定されない、コンピューティングデバイス500によってアクセス可能な任意の媒体であり得る。メモリ520は、揮発性メモリ(例えば、レジスタ、キャッシュ、ランダムアクセスメモリ(RAM))、不揮発性メモリ(例えば、読み取り専用メモリ(ROM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(EEPROM)、フラッシュメモリ)、又はそれらの任意の組み合わせであり得る。記憶ユニット530は、任意の取り外し可能又は取り外し不可能な媒体であり得、情報及び/又はデータを記憶するために使用でき、コンピューティングデバイス500でアクセスできる、メモリ、フラッシュメモリドライブ、磁気ディスク又は別の他の媒体などの機械可読媒体を含み得る。
【0093】
コンピューティングデバイス500は、追加の取り外し可能/取り外し不可能、揮発性/不揮発性メモリ媒体をさらに含み得る。なお、図5には示していないが、着脱可能な不揮発性磁気ディスクの読み書きを行う磁気ディスクドライブや、着脱可能な不揮発性光ディスクの読み書きを行う光ディスクドライブを提供することが可能である。このような場合、各ドライブは、1つ又は複数のデータ媒体インターフェースを介してバス(図示せず)に接続され得る。
【0094】
通信ユニット540は、通信媒体を介してさらなるコンピューティングデバイスと通信する。加えて、コンピューティングデバイス500内のコンポーネントの機能は、通信接続を介して通信できる単一のコンピューティングクラスタ又は複数のコンピューティングマシンによって具現され得る。したがって、コンピューティングデバイス500は、1つ又は複数の他のサーバ、ネットワーク化されたパーソナルコンピュータ(PC)、又はさらなる一般的なネットワークノードとの論理接続を使用して、ネットワーク化された環境で動作することができる。
【0095】
入力デバイス550は、マウス、キーボード、トラッキングボール、音声入力デバイスなどの様々な入力デバイスのうちの1つ又は複数であり得る。出力デバイス560は、ディスプレイ、ラウドスピーカ、プリンタなどの様々な出力デバイスのうちの1つ又は複数であり得る。通信ユニット540によって、コンピューティングデバイス500は、記憶デバイス及び表示デバイスなどの1つ又は複数の外部デバイス(図示せず)とさらに通信することができ、1つ又は複数のデバイスにより、ユーザがコンピューティングデバイス500と対話可能にするか、又は、必要に応じて、任意のデバイス(ネットワークカード、モデムなど)により、コンピューティングデバイス500が1つ又は複数の他のコンピューティングデバイスと通信可能にする。このような通信は、入力/出力(I/O)インターフェイス(図示せず)を介して実行され得る。
【0096】
いくつかの実施形態では、単一のデバイスに統合される代わりに、コンピューティングデバイス500のいくつかの又は全てのコンポーネントがクラウドコンピューティングアーキテクチャに配置され得る。クラウドコンピューティングアーキテクチャでは、コンポーネントは遠隔的に提供され、連携して本開示で説明される機能を実施し得る。いくつかの実施形態では、クラウドコンピューティングは、コンピューティング、ソフトウェア、データアクセス及びストレージサービスを提供し、これらのサービスを提供するシステム又はハードウェアの物理的な位置又は構成をエンドユーザが認識する必要はない。様々な実施形態において、クラウドコンピューティングは、適切なプロトコルを使用して広域ネットワーク(インターネットなど)を介してサービスを提供する。例えば、クラウドコンピューティングプロバイダーは、Webブラウザ又はその他のコンピューティングコンポーネントを通じてアクセスできる広域ネットワーク経由でアプリケーションを提供する。クラウドコンピューティングアーキテクチャのソフトウェア又はコンポーネント及び対応するデータは、遠隔地にあるサーバに保存され得る。クラウドコンピューティング環境におけるコンピューティングリソースは、リモートデータセンターの場所に併合又は分散され得る。クラウドコンピューティングインフラストラクチャは、ユーザにとって単一のアクセスポイントとして動作するが、共有データセンターを通じてサービスを提供し得る。したがって、クラウドコンピューティングアーキテクチャを使用して、本明細書で説明されるコンポーネント及び機能を遠隔地にあるサービスプロバイダから提供し得る。代替的に、それらは従来のサーバから提供されるか、又はクライアントデバイスに直接又はその他の方法でインストールされ得る。
【0097】
コンピューティングデバイス500は、本開示の実施形態において点群エンコーディング/デコーディングを具現するために使用され得る。メモリ520は、1つ又は複数のプログラム命令を有する1つ又は複数の点群コーディングモジュール525を含み得る。これらのモジュールは、本明細書で説明される様々な実施形態の機能を実行するように、処理ユニット510によってアクセス可能かつ実行可能である。
【0098】
点群エンコーディングを実行する例示的な実施形態では、入力デバイス550は、エンコードされるべき点群データを入力570として受信し得る。点群データは、例えば、点群コーディングモジュール525によって処理されて、エンコードされたビットストリームを生成し得る。エンコードされたビットストリームは、出力デバイス560を介して出力580として提供され得る。
【0099】
点群デコーディングを実行する例示的な実施形態では、入力デバイス550は、エンコードされたビットストリームを入力570として受信し得る。エンコードされたビットストリームは、例えば、点群コーディングモジュール525によって処理されて、デコードされた点群データを生成し得る。デコードされた点群データは、出力デバイス560を介して出力580として提供され得る。
【0100】
本開示は、その好ましい実施形態を参照して特に図示及び説明されたが、添付の特許請求の範囲によって定義される本出願の精神及び範囲から逸脱することなく、形態及び詳細における様々な変更を行うことができることが当業者には理解されるであろう。このような変形は、本出願の範囲に含まれるものとする。したがって、本出願の実施形態に関する前述の説明は限定することを意図したものではない。
図1
図2
図3
図4
図5
【手続補正書】
【提出日】2024-07-30
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
点群コーディングの方法であって、
点群シーケンスの現在の点群フレームと、前記点群シーケンスのビットストリームとの間の転換を実行するステップを含み、前記現在の点群フレーム内の第1のスライスは、単一の依存スライスのみによって直接的に依存される、方法。
【請求項2】
前記単一の依存スライスは、前記現在の点群フレームにある、請求項に記載の方法。
【請求項3】
前記第1のスライスは、前記現在の点群フレームとは異なるさらなる点群フレーム内のスライスによって依存されることが許可されない、請求項に記載の方法。
【請求項4】
前記第1のスライスに直接的又は間接的に依存する依存スライスの数は1つだけである、請求項1に記載の方法。
【請求項5】
前記単一の依存スライスは、前記第1のスライスによって示される、請求項に記載の方法。
【請求項6】
前記単一の依存スライスは、コーディング順序に基づいて決定される、請求項に記載の方法。
【請求項7】
前記単一の依存スライスは、コーディング順序で前記第1のスライスに先行する、請求項に記載の方法。
【請求項8】
前記第1のスライスと前記単一の依存スライスは、前記現在の点群フレーム内の同じタイル内にある、請求項に記載の方法。
【請求項9】
前記第1のスライスのスライスタグは、ビットストリーム順序で前記第1のスライスに先行するスライスのスライスタグとは異なり、前記第1のスライス内のジオメトリデータユニット(GDU)と属性データユニット(ADU)は、独立して解析される、請求項に記載の方法。
【請求項10】
タイルインベントリが前記現在の点群フレームに適用される、請求項に記載の方法。
【請求項11】
前記転換は、第1のタイプのパラメータセットの複数のデータユニットに基づいて実行され、前記複数のデータユニットは、同じパラメータセット識別子を有し、前記複数のデータユニットは、前記点群シーケンスのコード化点群シーケンスの持続期間中同一である、請求項に記載の方法。
【請求項12】
前記第1のタイプのパラメータセッは、
シーケンスパラメータセット(SPS)、
ジオメトリパラメータセット(GPS)、又は
属性パラメータセット(APS)のうちの1つである、請求項11に記載の方法。
【請求項13】
前記転換は、前記現在の点群フレームを前記ビットストリームにエンコードするステップを含む、請求項に記載の方法。
【請求項14】
前記転換は、前記ビットストリームから前記現在の点群フレームをデコードするステップを含む、請求項に記載の方法。
【請求項15】
プロセッサと、命令を備えた非一時的メモリとを含む点群データを処理するための装置であって、
前記命令は、前記プロセッサにより実行されると、前記プロセッサに請求項1~14のいずれか一項に記載の方法を実行させる、装置。
【請求項16】
プロセッサに請求項1~14のいずれか一項に記載の方法を実行させる命令を記憶する、非一時的なコンピュータ可読記憶媒体。
【請求項17】
点群シーケンスのビットストリームを記憶する方法であって、
前記点群シーケンスの現在の点群フレームと前記ビットストリームとの間の転換を実行するステップであって、前記現在の点群フレーム内の第1のスライスは単一の依存スライスのみによって直接的に依存されるステップと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップとを含む、方法。
【国際調査報告】