知財求人 - 知財ポータルサイト「IP Force」
▶ ベイジン バイトダンス ネットワーク テクノロジー カンパニー リミテッドの特許一覧 ▶ バイトダンス インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-14
(54)【発明の名称】点群コーディングのための方法、装置及び媒体
(51)【国際特許分類】
G06T 9/00 20060101AFI20241107BHJP
【ＦＩ】
G06T9/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024531412
(86)(22)【出願日】2022-11-25
(85)【翻訳文提出日】2024-05-31
(86)【国際出願番号】 CN2022134478
(87)【国際公開番号】W WO2023093866
(87)【国際公開日】2023-06-01
(31)【優先権主張番号】PCT/CN2021/133689
(32)【優先日】2021-11-26
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ
(71)【出願人】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】ＢＹＴＥＤＡＮＣＥ ＩＮＣ．
【住所又は居所原語表記】１２６５５ Ｗｅｓｔ Ｊｅｆｆｅｒｓｏｎ Ｂｏｕｌｅｖａｒｄ， Ｓｉｘｔｈ Ｆｌｏｏｒ， Ｓｕｉｔｅ Ｎｏ． １３７ Ｌｏｓ Ａｎｇｅｌｅｓ， Ｃａｌｉｆｏｒｎｉａ ９００６６ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】シュイ，インジャン
(72)【発明者】
【氏名】ワン，ウェンイ
(72)【発明者】
【氏名】ザン，カイ
(72)【発明者】
【氏名】ザン，リー
(57)【要約】
本開示の実施形態は、点群コーディングのための方案を提供する。点群コーディングのための方法は、現在点群（ＰＣ）サンプルと点群シーケンスのビットストリームとの間の転換中に、前記点群シーケンスの現在ＰＣサンプルにおける現在点に対して、前記現在ＰＣサンプルの参照ＰＣサンプルにおける点のセットから少なくとも１つの近傍点を決定するステップであって、前記点のセットは、前記参照ＰＣサンプルの詳細レベル（ＬＯＤ）のグループにあるステップと、前記少なくとも１つの近傍点に基づいて前記転換を実行するステップとを含む。従来の方案と比較して、提案方法は最近傍探索の精度を有利に向上させることができる。
【特許請求の範囲】
【請求項1】
点群コーディングのための方法であって、現在点群（ＰＣ）サンプルと点群シーケンスのビットストリームとの間の転換中に、前記点群シーケンスの現在ＰＣサンプルにおける現在点に対して、前記現在ＰＣサンプルの参照ＰＣサンプルにおける点のセットから少なくとも１つの近傍点を決定するステップであって、前記点のセットは、前記参照ＰＣサンプルの詳細レベル（ＬＯＤ）のグループにあるステップと、
前記少なくとも１つの近傍点に基づいて、前記転換を実行するステップとを含む、方法。
【請求項2】
前記参照ＰＣサンプルにおける点は複数のＬＯＤに分割され、前記複数のＬＯＤは前記ＬＯＤのグループを含む、請求項１に記載の方法。
【請求項3】
前記現在ＰＣサンプルにおける点は、１つ又は複数のＬＯＤに分割される、請求項１～２のいずれか一項に記載の方法。
【請求項4】
前記参照ＰＣサンプルにおける各点に対して、前記複数のＬＯＤのうちの１つのリファインメントリストを示す１つのＬＯＤレベルが存在する、請求項２～３のいずれか一項に記載の方法。
【請求項5】
前記少なくとも１つの近傍点を決定するステップは、前記点のセットに対して、最近傍探索を実行することによって、前記少なくとも１つの近傍点を決定するステップを含む、請求項４に記載の方法。
【請求項6】
前記点のセットは、前記現在点と同じＬＯＤレベルの点を含む、請求項５に記載の方法。
【請求項7】
前記点のセットは、前記現在点よりも低いＬＯＤレベルの点を含む、請求項５に記載の方法。
【請求項8】
前記点のセットは、前記現在点よりも高いＬＯＤレベルの点を含む、請求項５に記載の方法。
【請求項9】
前記参照ＰＣサンプルのすべてのＬＯＤにおける点に対して、前記最近傍探索が実行されるか否かを示す第１の指示が前記ビットストリームに含まれる、請求項５に記載の方法。
【請求項10】
前記第１の指示は、固定長コーディング、
ユーナリコーディング、又は
トランケートユーナリコーディングのうちの１つでコード化される、請求項９に記載の方法。
【請求項11】
前記第１の指示は、予測的な方式でコード化される、請求項９に記載の方法。
【請求項12】
前記現在点と同じ参照ＰＣサンプルのＬＯＤにおける点に対して、前記最近傍探索が実行されるか否かを示す第２の指示が前記ビットストリームに含まれる、請求項５に記載の方法。
【請求項13】
前記第２の指示は、前記参照ＰＣサンプルのすべてのＬＯＤにおける点に対して、前記最近傍探索が実行されるか否かに基づいて、前記ビットストリームに含まれる、請求項１２に記載の方法。
【請求項14】
前記第２の指示は、固定長コーディング、
ユーナリコーディング、又は
トランケートユーナリコーディングのうちの１つでコード化される、請求項１２に記載の方法。
【請求項15】
前記第２の指示は、予測的な方式でコード化される、請求項１２に記載の方法。
【請求項16】
前記少なくとも１つの近傍点は、第１の幾何学的距離に基づいて決定され、前記転換を実行するステップは、
第２の幾何学的距離に基づいて、前記少なくとも１つの近傍点に関連付けられた少なくとも１つの重みを決定するステップであって、前記第２の幾何学的距離は、前記第１の幾何学的距離とは異なるステップと、
前記少なくとも１つの重み及び前記少なくとも１つの近傍点に基づいて、前記転換を実行するステップとを含む、請求項１～１５のいずれか一項に記載の方法。
【請求項17】
前記少なくとも１つの近傍点はリストに保存される、請求項１６に記載の方法。
【請求項18】
前記少なくとも１つの近傍点はターゲット点を含み、前記ターゲット点と前記現在点との間の第１の幾何学的距離は、前記現在点と前記点のセット内のそれぞれの点との間の第１の幾何学的距離の中で最小である、請求項１６～１７のいずれか一項に記載の方法。
【請求項19】
前記第１の幾何学的距離は、ユークリッド距離、
マンハッタン距離、又は
チェビシェフ距離のうちの１つである、請求項１６～１８のいずれか一項に記載の方法。
【請求項20】
前記点のセットは、探索センター及び探索範囲によって定義される、請求項１６～１９のいずれか一項に記載の方法。
【請求項21】
前記第２の幾何学的距離は、前記第１の幾何学的距離に基づいて決定される、請求項１６～２０のいずれか一項に記載の方法。
【請求項22】
前記第１の幾何学的距離はマンハッタン距離であり、前記第２の幾何学的距離はユークリッド距離である、請求項１６～２０のいずれか一項に記載の方法。
【請求項23】
前記転換を実行するステップは、前記参照フレームに動き補償を適用することによって、補償された参照フレームを取得するステップと、
前記少なくとも１つの近傍点及び前記補償された参照フレームに基づいて、前記現在点の予測属性値を決定するステップと、
前記予測属性値に基づいて、前記転換を実行するステップとを含む、請求項１～１５のいずれか一項に記載の方法。
【請求項24】
前記転換を実行するステップは、前記少なくとも１つの近傍点及び前記参照フレームに基づいて、前記現在点の予測属性値を決定するステップと、
前記予測属性値に基づいて、前記転換を実行するステップとを含む、請求項１～１５のいずれか一項に記載の方法。
【請求項25】
前記参照フレームに動き補償が適用されるか否かを示す第３の指示が、前記ビットストリームに含まれる、請求項１～１５のいずれか一項に記載の方法。
【請求項26】
前記第３の指示は、固定長コーディング、
ユーナリコーディング、又は
トランケートユーナリコーディングのうちの１つでコード化される、請求項２５に記載の方法。
【請求項27】
前記第３の指示は、予測的な方式でコード化される、請求項２５に記載の方法。
【請求項28】
前記少なくとも１つの近傍点は、前記現在点の少なくとも１つの最近傍を含む、請求項１～２７のいずれか一項に記載の方法。
【請求項29】
点群コーディングのための方法であって、現在点群（ＰＣ）サンプルと点群シーケンスのビットストリームとの間の転換中に、前記点群シーケンスの現在ＰＣサンプルにおける現在点に対して、前記点群シーケンスの第２の複数のＰＣサンプルにおける点から第１の複数の近傍点を決定するステップと、
前記第１の複数の近傍点に基づいて、前記転換を実行するステップとを含み、
ここで、前記第１の複数の近傍点は、第３の複数のリストに保存される、方法。
【請求項30】
前記第１の複数の近傍点のうちの第１のセットの近傍点は、前記第３の複数のリストのうちの第１のリストに保存され、前記第１のセットの近傍点は、前記現在ＰＣサンプルにおける点から決定される、請求項２９に記載の方法。
【請求項31】
前記第１の複数の近傍点のうちの第２のセットの近傍点は、前記第３の複数のリストのうちの第２のリストに保存され、前記第２のセットの近傍点は、前記現在ＰＣサンプルの参照ＰＣサンプルにおける点から決定され、前記第２のリストは前記第１のリストとは異なる、請求項３０に記載の方法。
【請求項32】
前記第１の複数の近傍点を決定するステップは、前記現在ＰＣサンプルにおける点から前記第１の複数の近傍点のうちの第１の近傍点を決定するステップと、
前記第１の近傍点を前記第１のリストに保存するステップとを含む、請求項３０～３１のいずれか一項に記載の方法。
【請求項33】
前記第１の複数の近傍点を決定するステップは、前記参照ＰＣサンプルにおける点から前記第１の複数の近傍点のうちの第２の近傍点を決定するステップと、
前記第２の近傍点を前記第２のリストに保存するステップとを含む、請求項３１に記載の方法。
【請求項34】
前記転換を実行するステップは、前記第３の複数のリストに保存された近傍点に基づいて、前記現在点の少なくとも１つの予測属性値を決定するステップと、
前記少なくとも１つの予測属性値に基づいて、前記転換を実行するステップとを含む、請求項２９～３３のいずれか一項に記載の方法。
【請求項35】
前記第１の複数の近傍点は、前記現在点の少なくとも１つの最近傍を含む、請求項２９～３４のいずれか一項に記載の方法。
【請求項36】
前記現在ＰＣサンプルは、前記点群シーケンスにおける点群フレーム、又は前記点群シーケンスにおける点群フレーム内のサブ領域である、請求項１～３５のいずれか一項に記載の方法。
【請求項37】
前記方法は、ジオメトリベースの点群圧縮（ＧＰＣＣ）における他のコーディングプロセス、又は最近傍探索以外の探索プロセスに適用可能である、請求項１～３６のいずれか一項に記載の方法。
【請求項38】
前記転換は、前記現在ＰＣサンプルを前記ビットストリームに符号化するステップを含む、請求項１～３７のいずれか一項に記載の方法。
【請求項39】
前記転換は、前記ビットストリームから前記現在ＰＣサンプルを復号化するステップを含む、請求項１～３７のいずれか一項に記載の方法。
【請求項40】
プロセッサと、命令を備えた非一時的メモリとを含む、点群データを処理するための装置であって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに請求項１～３９のいずれか一項に記載の方法を実行させる、装置。
【請求項41】
プロセッサに請求項１～３９のいずれか一項に記載の方法を実行させる命令を記憶する、非一時的なコンピュータ可読記憶媒体。
【請求項42】
点群処理装置によって実行される方法によって生成された点群シーケンスのビットストリームを記憶する、非一時的なコンピュータ可読記録媒体であって、前記方法は、前記点群シーケンスの現在点群（ＰＣ）サンプルにおける現在点に対して、前記現在ＰＣサンプルの参照ＰＣサンプルにおける点のセットから少なくとも１つの近傍点を決定するステップであって、前記点のセットは、前記参照ＰＣサンプルの詳細レベル（ＬＯＤ）のグループにあるステップと、
前記少なくとも１つの近傍点に基づいて、前記ビットストリームを生成するステップとを含む、非一時的なコンピュータ可読記録媒体。
【請求項43】
点群シーケンスのビットストリームを記憶するための方法であって、前記点群シーケンスの現在点群（ＰＣ）サンプルにおける現在点に対して、前記現在ＰＣサンプルの参照ＰＣサンプルにおける点のセットから少なくとも１つの近傍点を決定するステップであって、前記点のセットは、前記参照ＰＣサンプルの詳細レベル（ＬＯＤ）のグループにあるステップと、
前記少なくとも１つの近傍点に基づいて、前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップとを含む、方法。
【請求項44】
点群処理装置によって実行される方法によって生成された点群シーケンスのビットストリームを記憶する、非一時的なコンピュータ可読記録媒体であって、前記方法は、前記点群シーケンスの現在点群（ＰＣ）サンプルにおける現在点に対して、前記点群シーケンスの第２の複数のＰＣサンプルにおける点から第１の複数の近傍点を決定するステップと、
前記第１の複数の近傍点に基づいて、前記ビットストリームを生成するステップとを含み、
ここで、前記第１の複数の近傍点は第３の複数のリストに保存される、非一時的なコンピュータ可読記録媒体。
【請求項45】
点群シーケンスのビットストリームを記憶するための方法であって、前記点群シーケンスの現在点群（ＰＣ）サンプルにおける現在点に対して、前記点群シーケンスの第２の複数のＰＣサンプルにおける点から第１の複数の近傍点を決定するステップと、
前記第１の複数の近傍点に基づいて、前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップとを含み、
ここで、前記第１の複数の近傍点は第３の複数のリストに保存される、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施形態は、一般に、点群コーディング技術に関し、より詳細には、最近傍探索に基づく点群属性コーディングのための最適化インター予測に関する。
【背景技術】
【0002】
点群とは、３次元（３Ｄ）平面における個々のデータ点の集合であり、各点はＸ、Ｙ、Ｚ軸上に設定座標を有する。したがって、３次元空間の物理的内容を表すために点群が使用され得る。点群は、拡張現実から自動運転車に至るまで、幅広い没入型アプリケーションの３Ｄビジュアルデータを表現する有望な方式であることが示されている。
【0003】
点群コーディング標準は、主によく知られたＭＰＥＧ組織の開発を通じて進化してきた。ＭＰＥＧは、Moving Picture Experts Groupの略で、マルチメディアを扱う主要な標準化グループの１つである。２０１７年、ＭＰＥＧ３Ｄグラフィックスコーディンググループ(３ＤＧ)は、点群コーディング標準の開発を開始するための提案募集(ＣＦＰ)文書を発行した。最終的な標準は２つのクラスのソリューションで構成される。ビデオベースの点群圧縮(Ｖ-ＰＣＣ又はＶＰＣＣ)は、点が比較的均一に分布している点セットに適している。ジオメトリベースの点群圧縮(Ｇ-ＰＣＣ又はＧＰＣＣ)は、よりまばらな分布に適している。しかしながら、従来の点群コーディング技術のコーディング効率は、一般にさらに改善されることが期待されている。
【発明の概要】
【0004】
本開示の実施形態は、点群コーディングのための方案を提供する。
【0005】
第１の態様では、点群コーディングのための方法が提案される。前記方法は、現在点群（ＰＣ）サンプルと点群シーケンスのビットストリームとの間の転換中に、前記点群シーケンスの現在ＰＣサンプルにおける現在点に対して、前記現在ＰＣサンプルの参照ＰＣサンプルにおける点のセットから少なくとも１つの近傍点を決定するステップであって、前記点のセットは、前記参照ＰＣサンプルの詳細レベル（ＬＯＤ）のグループにあるステップと、前記少なくとも１つの近傍点に基づいて前記転換を実行するステップとを含む。
【0006】
本開示の第１の態様による方法に基づいて、参照ＰＣサンプルのＬＯＤのグループ内の点が探索されて現在点の近傍点を取得する。現在点と同じＬＯＤにおける点のみを探索する従来の方案と比較して、提案方法は最近傍探索及び属性インター予測の精度を有利に向上させることができる。
【0007】
第２の態様では、点群コーディングのための別の方法が提案される。前記方法は、現在点群（ＰＣ）サンプルと点群シーケンスのビットストリームとの間の転換中に、前記点群シーケンスの現在ＰＣサンプルにおける現在点に対して、前記点群シーケンスの第２の複数のＰＣサンプルにおける点から第１の複数の近傍点を決定するステップと、前記第１の複数の近傍点に基づいて前記転換を実行するステップとを含み、ここで、前記第１の複数の近傍点は第３の複数のリストに保存される。
【0008】
本開示の第２の態様による方法に基づいて、現在点の複数の近傍点が複数のリストに保存される。近傍点が１つのリストのみに保存される従来の方案と比較して、提案方法は、最近傍探索及び属性インター予測の効率を有利に向上させることができる。
【0009】
第３の態様では、点群データを処理するための装置が提案される。点群データを処理するための装置は、プロセッサと、命令を備えた非一時的メモリとを含む。前記命令は、前記プロセッサによって実行されると、前記プロセッサに本開示の第１又は第２の態様による方法を実行させる。
【0010】
第４の態様では、非一時的なコンピュータ可読記憶媒体が提案される。前記非一時的なコンピュータ可読記憶媒体は、プロセッサに本開示の第１又は第２の態様による方法を実行させる命令を記憶する。
【0011】
第５の態様では、非一時的なコンピュータ可読記録媒体が提案される。前記非一時的なコンピュータ可読記録媒体は、点群処理装置によって実行される方法によって生成された点群シーケンスのビットストリームを記憶する。前記方法は、前記点群シーケンスの現在点群（ＰＣ）サンプルにおける現在点に対して、前記現在ＰＣサンプルの参照ＰＣサンプルにおける点のセットから少なくとも１つの近傍点を決定するステップであって、前記点のセットは、前記参照ＰＣサンプルの詳細レベル（ＬＯＤ）のグループにあるステップと、前記少なくとも１つの近傍点に基づいて前記ビットストリームを生成するステップとを含む。
【0012】
第６の態様では、点群シーケンスのビットストリームを記憶する方法が提案される。前記方法は、前記点群シーケンスの現在点群（ＰＣ）サンプルにおける現在点に対して、前記現在ＰＣサンプルの参照ＰＣサンプルにおける点のセットから少なくとも１つの近傍点を決定するステップであって、前記点のセットは、前記参照ＰＣサンプルの詳細レベル（ＬＯＤ）のグループにあるステップと、前記少なくとも１つの近傍点に基づいて前記ビットストリームを生成するステップと、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップとを含む。
【0013】
第７の態様では、別の非一時的なコンピュータ可読記録媒体が提案される。前記非一時的なコンピュータ可読記録媒体は、点群処理装置によって実行される方法によって生成された点群シーケンスのビットストリームを記憶する。前記方法は、前記点群シーケンスの現在点群（ＰＣ）サンプルにおける現在点に対して、前記点群シーケンスの第２の複数のＰＣサンプルにおける点から第１の複数の近傍点を決定するステップと、前記第１の複数の近傍点に基づいて前記ビットストリームを生成するステップとを含み、ここで、前記第１の複数の近傍点は第３の複数のリストに保存される。
【0014】
第８の態様では、点群シーケンスのビットストリームを記憶する方法が提案される。前記方法は、前記点群シーケンスの現在点群（ＰＣ）サンプルにおける現在点に対して、前記点群シーケンスの第２の複数のＰＣサンプルにおける点から第１の複数の近傍点を決定するステップと、前記第１の複数の近傍点に基づいて前記ビットストリームを生成するステップと、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップとを含み、ここで、前記第１の複数の近傍点は第３の複数のリストに保存される。
【0015】
この発明の内容は、以下の詳細な説明でさらに説明される概念の選択を簡略化した形式で紹介するために提供される。この発明の内容は、請求された主題の主要な特徴又は本質的な特徴を特定することを意図したものではなく、また、請求された主題の範囲を制限するために使用されることを意図したものでもない。
【図面の簡単な説明】
【0016】
添付の図面を参照した以下の詳細な説明を通じて、本開示の例示的な実施形態の上記及び他の目的、特徴、及び利点がより明らかになるであろう。本開示の例示的な実施形態では、通常、同じ参照番号は同じ構成要素を指す。
【0017】
【図1】本開示の技術を利用し得る例示的な点群コーディングシステムを示すブロック図である。
【0018】
【図2】本開示のいくつかの実施形態による、例示的な点群エンコーダを示すブロック図を示す。
【0019】
【図3】本開示のいくつかの実施形態による、例示的な点群デコーダを示すブロック図を示す。
【0020】
【図4】本開示のいくつかの実施形態による点群コーディングのための方法のフローチャートを示す。
【0021】
【図5】本開示のいくつかの実施形態による点群コーディングのための別の方法のフローチャートを示す。
【0022】
【図6】本開示の様々な実施形態を具現できるコンピューティングデバイスのブロック図を示す。
【0023】
図面全体にわたって、同じ又は類似の参照番号は通常、同じ又は類似の要素を指す。
【発明を実施するための形態】
【0024】
次に、いくつかの実施形態を参照して、本開示の原理を説明する。これらの実施形態は、説明のみを目的として記載されており、当業者が本開示を理解し具現するのを助けるものであり、本開示の範囲に関していかなる限定も示唆するものではないことを理解すべきである。本明細書に記載の開示は、以下に記載する方法以外にも様々な方法で具現されることができる。
【0025】
以下の説明及び特許請求の範囲において、別段の定義がない限り、本明細書で使用されるすべての技術用語及び科学用語は、本開示が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。
【0026】
本開示における「一つの実施形態」、「一実施形態」、「例示的な実施形態」などへの言及は、記載される実施形態が特定の特徴、構造、又は特性を含み得ることを示すが、必ずしもすべての実施形態が特定の特徴、構造、又は特性を含むとは限らない。また、そのような語句は必ずしも同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、又は特性が例示的な実施形態に関連して説明される場合、明示的に記載されているかどうかにかかわらず、他の実施形態に関連してそのような特徴、構造、又は特性に影響を与えることは当業者の知識の範囲内であることが指摘される。
【0027】
「第１」及び「第２」などの用語は、本明細書では様々な要素を説明するために使用され得るが、これらの要素はこれらの用語によって限定されるべきではないことを理解すべきである。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、例示的な実施形態の範囲から逸脱することなく、第１の要素が第２の要素と呼ばれ得、同様に、第２の要素が第１の要素と呼ばれ得る。本明細書で使用されるように、「及び／又は」という用語には、列挙された用語の１つ又は複数のあらゆる組み合わせが含まれる。
【0028】
本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、例示的な実施形態を限定することを意図したものではない。本明細書で使用されるように、単数形「a（一つの）」、「an（一つの）」、及び「the（その）」は、文脈上明らかに別段の指示がない限り、複数形も含むものとする。「含む」、「備える」、「有する」、「持つ」、「含有する」及び／又は「包含する」という用語は、本明細書で使用される場合、記載された特徴、要素、及び／又は構成要素などの存在を指定するが、１つ又は複数の他の特徴、要素、構成要素及び／又はそれらの組み合わせの存在又は追加を排除するものではないことがさらに理解されるであろう。
【0029】
［例示的な環境］
図１は、本開示の技術を利用し得る例示的な点群コーディングシステム１００を示すブロック図である。図示されるように、点群コーディング システム１００は、ソースデバイス１１０と、宛先デバイス１２０とを含み得る。ソースデバイス１１０は点群コーディングデバイスとも呼ばれ、宛先デバイス１２０は点群復号化デバイスとも呼ばれ得る。動作中、ソースデバイス１１０は、符号化された点群データを生成するように構成され得、宛先デバイス１２０は、ソースデバイス１１０によって生成された符号化された点群データを復号化するように構成され得る。本開示の技術は、一般に、点群データのコーディング（符号化及び／又は復号化）、即ち点群圧縮のサポートを対象とする。前記コーディングは、点群データの圧縮及び／又は解凍に効果的であり得る。
図１は、本開示の技術を利用し得る例示的な点群コーディングシステム１００を示すブロック図である。図示されるように、点群コーディング システム１００は、ソースデバイス１１０と、宛先デバイス１２０とを含み得る。ソースデバイス１１０は点群コーディングデバイスとも呼ばれ、宛先デバイス１２０は点群復号化デバイスとも呼ばれ得る。動作中、ソースデバイス１１０は、符号化された点群データを生成するように構成され得、宛先デバイス１２０は、ソースデバイス１１０によって生成された符号化された点群データを復号化するように構成され得る。本開示の技術は、一般に、点群データのコーディング（符号化及び／又は復号化）、即ち点群圧縮のサポートを対象とする。前記コーディングは、点群データの圧縮及び／又は解凍に効果的であり得る。
【0030】
ソースデバイス１００及び宛先デバイス１２０は、デスクトップコンピュータ、ノートブック（即ち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、スマートフォン及び携帯電話などの電話機、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲーム機、ビデオストリーミングデバイス、車両（例：陸上車両又は海上船舶、宇宙船、航空機など）、ロボット、ＬＩＤＡＲデバイス、衛星、拡張現実デバイスなどを含む広範囲のデバイスのいずれかを含み得る。場合によっては、ソースデバイス１００及び宛先デバイス１２０は、無線通信用に装備され得る。
【0031】
ソースデバイス１００は、データソース１１２と、メモリ１１４と、ＧＰＣＣエンコーダ１１６と、入力／出力（Ｉ／Ｏ）インターフェース１１８とを含み得る。宛先デバイス１２０は、入力／出力（Ｉ／Ｏ）インターフェース１２８と、ＧＰＣＣデコーダ１２６と、メモリ１２４と、データコンシューマ１２２とを含み得る。本開示によれば、ソースデバイス１００のＧＰＣＣエンコーダ１１６及び宛先デバイス１２０のＧＰＣＣデコーダ１２６は、点群コーディングに関する本開示の技術を適用するように構成され得る。したがって、ソースデバイス１００は符号化デバイスの一例を表し、宛先デバイス１２０は復号化デバイスの一例を表す。他の例では、ソースデバイス１００及び宛先デバイス１２０は、他のコンポーネント又はアレンジメントを含み得る。例えば、ソースデバイス１００は、内部又は外部ソースからデータ（例えば、点群データ）を受信し得る。同様に、宛先デバイス１２０は、同じデバイスにおいてデータコンシューマを含めるのではなく、外部データコンシューマとインターフェースし得る。
【0032】
一般に、データソース１１２は、点群データ（即ち、生の、符号化されていない点群データ）のソースを表し、点群データの連続した一連の「フレーム」を、フレームの点群データを符号化するＧＰＣＣエンコーダ１１６に提供し得る。いくつかの例では、データソース１１２は点群データを生成する。ソースデバイス１００のデータソース１１２は、様々なカメラ又はセンサのいずれか、例えば１つ又は複数のビデオカメラ、以前にキャプチャされた点群データを含むアーカイブ、３Ｄスキャナ又は光検出と測距（ＬＩＤＡＲ）デバイスなどの点群キャプチャデバイス、及び／又はデータコンテンツプロバイダーから点群データを受信するデータフィードインターフェイスを含み得る。したがって、いくつかの例では、データソース１１２は、ＬＩＤＡＲ装置からの信号に基づいて点群データを生成し得る。代替的又は追加的に、点群データは、スキャナ、カメラ、センサ又は他のデータからコンピュータで生成され得る。例えば、データソース１１２は、点群データを生成するか、又はライブ点群データ、アーカイブされた点群データ、及びコンピュータで生成された点群データの組み合わせを生成し得る。いずれの場合も、ＧＰＣＣエンコーダ１１６は、キャプチャされた、事前キャプチャされた、又はコンピュータで生成された点群データを符号化する。ＧＰＣＣエンコーダ１１６は、点群データのフレームを、受信した順序（「表示順序」と呼ばれることもある）からコーディングのためのコーディング順序に再配置し得る。ＧＰＣＣエンコーダ１１６は、符号化された点群データを含む１つ又は複数のビットストリームを生成し得る。次に、ソースデバイス１００は、例えば宛先デバイス１２０のＩ／Ｏインターフェース１２８による受信及び／又は検索のために、Ｉ／Ｏインターフェース１１８を介して符号化された点群データを出力し得る。符号化された点群データは、Ｉ／Ｏインターフェース１１８を介してネットワーク１３０Ａを通じて宛先デバイス１２０に直接送信され得る。符号化された点群データは、宛先デバイス１２０によるアクセスのために記憶媒体／サーバ１３０Ｂに記憶されてもよい。
【0033】
ソースデバイス１００のメモリ１１４及び宛先デバイス１２０のメモリ１２４は、汎用メモリを表し得る。いくつかの例では、メモリ１１４及びメモリ１２４は、生の点群データ、例えば、データソース１１２からの生の点群データ、及びＧＰＣＣデコーダ１２６からの生の復号化点群データを記憶し得る。追加的又は代替的に、メモリ１１４及びメモリ１２４は、例えば、それぞれＧＰＣＣエンコーダ１１６及びＧＰＣＣデコーダ１２６によって実行可能なソフトウェア命令を記憶し得る。この例では、メモリ１１４及びメモリ１２４がＧＰＣＣエンコーダ１１６及びＧＰＣＣデコーダ１２６とは別個に示されているが、ＧＰＣＣエンコーダ１１６及びＧＰＣＣデコーダ１２６は、機能的に同様又は同等の目的で内部メモリも含み得ることを理解すべきである。さらに、メモリ１１４及びメモリ１２４は、例えば、ＧＰＣＣエンコーダ１１６から出力され、ＧＰＣＣデコーダ１２６に入力される、符号化された点群データを記憶し得る。いくつかの例では、メモリ１１４及びメモリ１２４の一部は、１つ又は複数のバッファとして割り当てられて、生の、復号化された、及び／又は符号化された点群データを記憶し得る。例えば、メモリ１１４及びメモリ１２４は、点群データを記憶し得る。
【0034】
Ｉ／Ｏインターフェース１１８及びＩ／Ｏインターフェース１２８は、無線送信機／受信機、モデム、有線ネットワーキングコンポーネント（例えば、イーサネットカード）、様々なＩＥＥＥ８０２．１１標準のいずれかに従って動作する無線通信コンポーネント、又は他の物理コンポーネントを表し得る。Ｉ／Ｏインターフェース１１８及びＩ／Ｏインターフェース１２８が無線コンポーネントを含む例では、Ｉ／Ｏインターフェース１１８及びＩ／Ｏインターフェース１２８は、４Ｇ、４Ｇ－ＬＴＥ（ロングタームエボリューション）、ＬＴＥ-Ａｄｖａｎｃｅｄ（ＬＴＥアドバンスト）、５Ｇなどのセルラー通信標準に従って、符号化された点群データなどのデータを転送するように構成され得る。Ｉ／Ｏインターフェース１１８が無線送信機を含むいくつかの例では、Ｉ／Ｏインターフェース１１８及びＩ／Ｏインターフェース１２８は、ＩＥＥＥ８０２．１１標準などの他の無線標準に従って、符号化された点群データなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１００及び／又は宛先デバイス１２０は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含み得る。例えば、ソースデバイス１００は、ＧＰＣＣエンコーダ１１６及び／又はＩ／Ｏインターフェース１１８に起因する機能を実行するＳｏＣデバイスを含み得、宛先デバイス１２０は、ＧＰＣＣデコーダ１２６及び／又はＩ／Ｏインターフェース１２８に起因する機能を実行するＳｏＣデバイスを含み得る。
【0035】
本開示の技術は、自律走行車間の通信、スキャナ、カメラ、センサ及びローカル又はリモートサーバなどの処理装置デバイス間の通信、地理的マッピング、又は他のアプリケーションなどの、様々なアプリケーションのいずれかをサポートする符号化及び復号化に適用され得る。
【0036】
宛先デバイス１２０のＩ／Ｏインターフェース１２８は、ソースデバイス１１０から符号化ビットストリームを受信する。符号化ビットストリームは、ＧＰＣＣエンコーダ１１６によって定義された、シグナリング情報を含み得るが、これは、点群を表す値を有する構文要素など、ＧＰＣＣデコーダ１２６によっても使用される。データコンシューマ１２２は、復号化データを使用する。例えば、データコンシューマ１２２は、復号化点群データを使用して、物理的オブジェクトの位置を決定し得る。いくつかの例では、データコンシューマ１２２は、点群データに基づいて画像を提示するディスプレイを含み得る。
【0037】
ＧＰＣＣエンコーダ１１６及びＧＰＣＣデコーダ１２６はそれぞれ、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ(ＦＰＧＡ)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア又はそれらの組み合わせなどの様々な適切なエンコーダ及び／又はデコーダ回路のいずれかとして具現され得る。技術が部分的にソフトウェアで具現される場合、デバイスは、ソフトウェアの命令を適切な非一時的なコンピュータ可読媒体に記憶し、１つ又は複数のプロセッサを使用してハードウェアで命令を実行して、本開示の技術を実行し得る。ＧＰＣＣエンコーダ１１６及びＧＰＣＣデコーダ１２６のそれぞれは、１つ又は複数のエンコーダ又はデコーダに含まれ得るが、そのいずれも、それぞれのデバイスにおける複合エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合され得る。ＧＰＣＣエンコーダ１１６及び／又はＧＰＣＣデコーダ１２６を含むデバイスは、１つ又は複数の集積回路、マイクロプロセッサ、及び／又は他のタイプのデバイスを含み得る。
【0038】
ＧＰＣＣエンコーダ１１６及びＧＰＣＣデコーダ１２６は、ビデオ点群圧縮（ＶＰＣＣ）標準又はジオメトリ点群圧縮（ＧＰＣＣ）標準などのコーディング標準に従って動作し得る。本開示は、一般に、データを符号化又は復号化するプロセスを含むフレームのコーディング（例えば、符号化及び復号化）を指し得る。符号化ビットストリームは、一般に、コーディング決定（例：コーディングモード）を表す構文要素の一連の値を含む。
【0039】
点群は、３Ｄ空間内の点のセットを含み得、その点に関連付けられた属性を有し得る。属性は、Ｒ、Ｇ、Ｂ、Ｙなどの色情報、Ｃｂ、Ｃｒ、又は反射率情報、或いはその他の属性であり得る。点群は、ＬＩＤＡＲセンサ及び３Ｄスキャナなどの様々なカメラやセンサによってキャプチャされても良いし、コンピューターで生成されても良い。点群データは、建設(モデリング)、グラフィックス(視覚化及びアニメーション用の３Ｄモデル)、自動車産業(ナビゲーションに使用されるＬＩＤＡＲセンサ)を含むがこれらに限定されない様々なアプリケーションで使用される。
【0040】
図２は、本開示のいくつかの実施形態による、図１に示されるシステム１００におけるＧＰＣＣエンコーダ１１６の一例であり得るＧＰＣＣエンコーダ２００の一例を示すブロック図である。図３は、本開示のいくつかの実施形態による、図１に示されるシステム１００におけるＧＰＣＣデコーダ１２６の一例であり得るＧＰＣＣデコーダ３００の一例を示すブロック図である。
【0041】
ＧＰＣＣエンコーダ２００及びＧＰＣＣデコーダ３００の両方において、点群位置が最初にコード化される。属性コーディングは、符号化されたジオメトリに依存する。図２及び図３において、領域適応階層変換（ＲＡＨＴ）ユニット２１８、表面近似分析ユニット２１２、ＲＡＨＴユニット３１４及び表面近似合成ユニット３１０は、カテゴリ１のデータに通常使用されるオプションである。詳細レベル（ＬＯＤ）生成ユニット２２０、リフティングユニット２２２、ＬＯＤ生成ユニット３１６、及び逆リフティングユニット３１８は、カテゴリ３のデータに通常使用されるオプションである。他のすべてのユニットはカテゴリ１と３で共通である。
【0042】
カテゴリ３のデータの場合、圧縮されたジオメトリは、通常、ルートから個々のボクセルのリーフレベルに至るオクツリーとして表される。カテゴリ１のデータの場合、圧縮されたジオメトリは通常、プルーニングされたオクツリー（即ち、ルートからボクセルよりも大きいブロックのリーフレベルまでのオクツリー）と、プルーニングされたオクツリーの各リーフ内の表面を近似するモデルとによって表される。このようにして、カテゴリー１のデータとカテゴリー３のデータの両方がオクツリーコーディングメカニズムを共有するが、カテゴリー１のデータは、さらに、各リーフ内のボクセルを表面モデルで近似し得る。使用される表面モデルは、ブロック当たり１～１０個の三角形を備える三角形分割であり、三角形スープ（triangle soup）をもたらす。したがって、カテゴリー１のジオメトリコーデックは、Ｔｒｉｓｏｕｐジオメトリコーデックとして知られており、カテゴリー３のジオメトリコーデックは、オクツリージオメトリコーデックとして知られている。
【0043】
図２の例では、ＧＰＣＣエンコーダ２００は、座標変換ユニット２０２と、色変換ユニット２０４と、ボクセル化ユニット２０６と、属性転送ユニット２０８と、オクツリー解析ユニット２１０と、表面近似分析ユニット２１２と、算術符号化ユニット２１４と、ジオメトリ再構成ユニット２１６と、ＲＡＨＴユニット２１８と、ＬＯＤ生成ユニット２２０と、リフティングユニット２２２と、係数量子化ユニット２２４と、算術符号化ユニット２２６とを含み得る。
【0044】
図２の例に示すように、ＧＰＣＣエンコーダ２００は、位置のセット及び属性のセットを受信し得る。位置には、点群内の点の座標が含まれ得る。属性には、点群内の点に関連付けられた色など、点群内の点に関する情報が含まれ得る。
【0045】
座標変換ユニット２０２は、点の座標に変換を適用して、座標を初期領域から変換領域に変換し得る。本開示では、変換された座標を変換座標と呼び得る。色変換ユニット２０４は、属性の色情報を異なるドメインに転換するための変換を適用し得るできる。例えば、色変換ユニット２０４は、色情報をＲＧＢ色空間からＹＣｂＣｒ色空間に転換し得る。
【0046】
さらに、図２の例では、ボクセル化ユニット２０６は、変換座標をボクセル化し得る。変換座標のボクセル化には、点群のいくつかの点を量子化して削除することが含まれ得る。換言すれば、点群の複数の点が単一の「ボクセル」内に包含され得、その後、いくつかの方面で１つの点として扱われ得る。さらに、オクツリー分析ユニット２１０は、ボクセル化された変換座標に基づいてオクツリーを生成し得る。追加的に、図２の例では、表面近似分析ユニット２１２は、点を分析して、点のセットの表面表現を潜在的に決定し得る。算術符号化ユニット２１４は、面近似分析ユニット２１２によって決定されたオクツリー及び／又は表面の情報を表す構文要素に対して算術符号化を実行し得る。ＧＰＣＣエンコーダ２００は、これらの構文要素をジオメトリビットストリームで出力し得る。
【0047】
ジオメトリ再構成ユニット２１６は、オクツリー、表面近似分析ユニット２１２によって決定された表面を示すデータ、及び／又は他の情報に基づいて、点群内の点の変換座標を再構成し得る。幾何学再構成ユニット２１６によって再構成される変換座標の数は、ボクセル化及び表面近似のため、点群の元の点の数とは異なり得る。本開示では、結果として生じる点を再構成された点と呼び得る。属性転送ユニット２０８は、点群の元の点の属性を点群データの再構成された点に転送し得る。
【0048】
さらに、ＲＡＨＴユニット２１８は、再構成された点の属性にＲＡＨＴコーディングを適用し得る。代替的又は追加的に、ＬＯＤ生成ユニット２２０及びリフティングユニット２２２は、それぞれ、再構成された点の属性にＬＯＤ処理及びリフティングを適用し得る。ＲＡＨＴユニット２１８及びリフティングユニット２２２は、属性に基づいて係数を生成し得る。係数量子化ユニット２２４は、ＲＡＨＴユニット２１８又はリフティングユニット２２２によって生成された係数を量子化し得る。算術符号化ユニット２２６は、量子化された係数を表す構文要素に算術コーディングを適用し得る。ＧＰＣＣエンコーダ２００は、これらの構文要素を属性ビットストリームで出力し得る。
【0049】
図３の例では、ＧＰＣＣデコーダ３００は、ジオメトリ算術復号化ユニット３０２と、属性算術復号化ユニット３０４と、オクツリー合成ユニット３０６と、逆量子化ユニット３０８と、表面近似合成ユニット３１０と、ジオメトリ再構成ユニット３１２と、ＲＡＨＴユニット３１４と、ＬＯＤ生成ユニット３１６と、逆リフティングユニット３１８と、座標逆変換ユニット３２０と、色逆変換ユニット３２２とを含み得る。
【0050】
ＧＰＣＣデコーダ３００は、ジオメトリビットストリーム及び属性ビットストリームを取得し得る。デコーダ３００のジオメトリ算術復号化ユニット３０２は、算術復号化（例：ＣＡＢＡＣ又は他のタイプの算術復号化）をジオメトリビットストリームにおける構文要素に適用し得る。同様に、属性算術復号化ユニット３０４は、属性ビットストリームにおける構文要素に算術復号化を適用し得る。
【0051】
オクツリー合成ユニット３０６は、ジオメトリビットストリームから解析された構文要素に基づいてオクツリーを合成し得る。表面近似がジオメトリビットストリームで使用される場合、表面近似合成ユニット３１０は、ジオメトリビットストリームから解析された構文要素及びオクツリーに基づいて表面モデルを決定し得る。
【0052】
さらに、ジオメトリ再構成ユニット３１２は、点群内の点の座標を決定するために再構成を実行し得る。座標逆変換ユニット３２０は、再構成された座標に逆変換を適用して、点群内の点の再構成された座標（位置）を変換領域から初期領域に転換し直し得る。
【0053】
追加的に、図３の例では、逆量子化ユニット３０８は属性値を逆量子化し得る。属性値は、属性ビットストリームから取得された構文要素（例えば、属性算術復号化ユニット３０４によって復号化された構文要素を含む）に基づいても良い。
【0054】
属性値がどのように符号化されるかに応じて、ＲＡＨＴユニット３１４は、ＲＡＨＴコーディングを実行して、逆量子化された属性値に基づいて点群の点の色値を決定し得る。代替的に、ＬＯＤ生成ユニット３１６及び逆リフティングユニット３１８は、詳細レベルベースの技術を使用して点群の点の色値を決定し得る。
【0055】
さらに、図３の例では、色逆変換ユニット３２２は、色値に逆色変換を適用し得る。逆色変換は、エンコーダ２００の色変換ユニット２０４によって適用される色変換の逆であり得る。例えば、色変換ユニット２０４は、色情報をＲＧＢ色空間からＹＣｂＣｒ色空間に変換し得る。したがって、色逆変換ユニット３２２は、色情報をＹＣｂＣｒ色空間からＲＧＢ色空間に変換し得る。
【0056】
図２及び図３の様々なユニットは、エンコーダ２００及びデコーダ３００によって実行される動作の理解を助けるために示されている。ユニットは、固定機能回路、プログラマブル回路、又はそれらの組み合わせとして具現され得る。固定機能回路とは、特定の機能を提供し、実行可能な動作に関して事前に設定されている回路を指す。プログラマブル回路とは、様々なタスクを実行するようにプログラムでき、実行可能な動作に柔軟な機能を提供できる回路を指す。例えば、プログラマブル回路は、ソフトウェア又はファームウェアの命令によって定義された方式でプログラマブル回路を動作させるソフトウェア又はファームウェアを実行し得る。固定機能回路はソフトウェア命令を実行し得る(例えば、パラメータを受信するか、又はパラメータを出力するよう)が、固定機能回路が実行する動作のタイプは一般にイミュータブルである。いくつかの例では、１つ又は複数のユニットは、別個の回路ブロック（固定機能又はプログラマブル）であり得、いくつかの例では、１つ又は複数のユニットは集積回路であり得る。
【0057】
本開示のいくつかの例示的な実施形態について、以下に詳細に説明する。本明細書では理解を容易にするためにセクション見出しが使用されており、セクションで開示される実施形態をそのセクションのみに限定するものではないことを理解すべきである。さらに、特定の実施形態はＧＰＣＣ又は他の特定の点群コーデックを参照して説明されるが、開示された技術は他の点群コーディング技術にも適用可能である。さらに、いくつかの実施形態は点群符号化ステップを詳細に説明するが、コーディングを元に戻す復号化する対応するステップはデコーダによって具現されることを理解されるであろう。
［1.概要］
この開示は、点群コーディング技術に関する。具体的には、インター予測における点群属性予測に関するものである。このアイデアは、点群コーディング標準又は非標準の点群コーデック(例：開発中のジオメトリベースの点群圧縮(Ｇ-ＰＣＣ))に、個別に又は様々な組み合わせで適用され得る。
［2.略語］
Ｇ-ＰＣＣ：Geometry based Point Cloud Compression（ジオメトリベースの点群圧縮）
ＭＰＥＧ：Moving Picture Experts Group（動画専門家グループ）
３ＤＧ：3D Graphics Coding Group（３Ｄグラフィックスコーディンググループ）
ＣＦＰ：Call For Proposal（提案募集）
Ｖ-ＰＣＣ：Video-based Point Cloud Compression（ビデオベースの点群圧縮）
ＬＯＤ：Level of Detail（詳細レベル）
ＣＥ：Core Experiment（コア実験）
ＥＥ：Exploration Experiment（探査実験）
ｉｎｔｅｒ-ＥＭ：Inter Exploration Model（インター探査モデル）
ＰＣ：Point Cloud（点群）
ＲＤＯ：Rate-distortion Optimization（レート歪み最適化）
［3.背景］
点群コーディング標準標準は、主によく知られたＭＰＥＧ組織の開発を通じて進化してきた。ＭＰＥＧはMoving Picture Experts Groupの略で、マルチメディアを扱う主要な標準化グループの１つである。２０１７年、ＭＰＥＧ ３Ｄ グラフィックス コーディング グループ(３ＤＧ)は、点群コーディング標準の開発を開始するための提案募集(ＣＦＰ)文書を発行した。最終的な標準は２つのクラスのソリューションで構成される。ビデオベースの点群圧縮(Ｖ-ＰＣＣ)は、点が比較的均一に分布している点セットに適している。ジオメトリベースの点群圧縮(Ｇ-ＰＣＣ)は、よりまばらな分布に適している。
Ｇ-ＰＣＣにおける将来の点群コーディング技術を探索するために、Ｇ-ＰＣＣにおけるインター予測技術を開発するよう、Core Experiment(ＣＥ)１３．５及びExploration Experiment(ＥＥ)１３．２が設立されている。それ以来、多くの新しいインター予測方法がＭＰＥＧによって採用され、inter Exploration Model(ｉｎｔｅｒ-ＥＭ)という名前の参照ソフトウェアに組み込まれている。
１つの点群の中に、ジオメトリ情報と属性情報とが存在し得る。ジオメトリ情報は、データポイントのジオメトリ位置を記述するために使用される。属性情報は、テクスチャ、法線ベクトル、反射などのデータポイントの詳細を記録するために使用される。点群コーデックは、様々な情報を様々な方式で処理できる。通常、コーデックには、ジオメトリ情報及び属性情報のコーディングとデコーディングをそれぞれサポートするオプションのツールが多数ある。
［3.1 属性イントラ予測］
Ｇ-ＰＣＣでは、ジオメトリ情報を利用して属性イントラ予測を行う２つの属性コーディング方法が提案されている。
［3.1.1変換の予測］
変換予測は、補間ベースの階層的最近傍予測方法であり、通常、まばらな点群コンテンツに使用される。まず、詳細レベル(ＬＯＤ)構造が生成される。次に、ＬＯＤ構造に基づいて最近傍が探索される。そして、探索結果に基づいて属性予測が行われる。
［3.1.1.1 ＬＯＤの生成］
ＬＯＤ生成プロセスでは、ジオメトリ情報が、「詳細レベル」のセットを定義する点群の階層構造を構築するために活用される。階層構造を利用して属性を効率的に予測する。また、プログレッシブ伝送やスケーラブルレンダリングなどの高度な機能を提供することも可能になる。ＬＯＤ生成プロセスでは、ＬＯＤ番号を示すユーザー定義パラメータLに従って、点群ポイントをリファインレベル(ポイントセット)R0,R1,…,RL-1に再編成する。次に、点群点の属性がR0からRL-1まで符号化される。詳細レベルl, LODlは、リファインメントレベルR0,R1,…,Rlの和集合をとることで取得できる：
［3.1.1.2 点分布を考慮した最近傍探索］
Ｇ-ＰＣＣでは、現在点の３つの近似最近傍を探索するために、２つの近傍リストlist１とリスト２が構築される。list１には、ＬＯＤベースの近似最近傍探索アルゴリズムによって取得される３つの近似最近傍が含まれている。リスト２には、list１を更新するときに脱退された３つの点が含まれている。
点分布情報を考慮して、厳密な反対と緩やかな反対の概念が定義される。現在点(x,y,z)との相対位置に従って、すべての最近傍点(xn,yn,zn)が方向インデックスdirIdxに割り当てられる。方向インデックスdirIdxに応じて、厳密な反対と緩やかな反対が表３-１のように定義される。
最終的な近傍リストは、厳密な反対の適格性チェックと緩やかな反対の適格性チェックを備えたリスト２内の点を使用してlist１を更新することで生成される十分な近傍が存在せず、近傍プルーニングプロセスが実行されるため、最終list１の点数が３未満になり得ることに注意すべきである。
［3.1.1.3 属性の予測］
list１を取得した後、list１に基づいて複数の予測子の候補が作成される。各予測子候補には１つのインデックスが割り当てられる。次に、list１内の点の属性の変動が計算される。変動が閾値よりも小さい場合、加重平均値を使用して現在点の属性が予測される。それ以外の場合は、レート歪み最適化(ＲＤＯ)手順を適用することで、最良の予測子が選択される。
［3.1.2 リフティング変換］
リフティング変換は通常、密な点群コンテンツに使用され、予測変換方法の上に構築される。リフティング変換と予測変換の主な違いは、更新演算子及び適応量子化戦略である。リフティング変換では、各点はインフルエンス重み値に関連付けられる。低いＬＯＤの点はより頻繁に使用され、より高い重み値が割り当てられる。影響ウェイトが量子化プロセスで使用される。
［3.2 属性インター予測］
ｉｎｔｅｒ-ＥＭでは、属性インターコーディングを実行するためにいくつかのインター予測ツールが提案されている。現在フレームと前の１つのフレームに最近傍を保存するlist１が１つある。リスト内の点の属性は、フレーム内コーディングの場合と同様の方式で、予測子候補を生成し、現在点の予測値を取得するために使用される。
まず、現在フレームと参照フレーム内の点がモートンコードに基づいて並べ替えられる。各点は、モートンオーダーを示す１つのモートンインデックスに関連付けられている。
次に、各点に対して、現在フレームと参照フレームで最近傍探索が実行される。探索範囲を制御するパラメーターSearch_Rangeが１つある。
a)現在フレームでは、モートンオーダーで現在点の以前のSearch_Range点がトラバースされる。
b)参照フレームでは、探索センターは参照フレーム内の同じモートンインデックスを持つ点である。探索センターよりも前の以前のSearch_Range点、探索センターよりも後の次のSearch_Range点、及び探索センター点が探索される。
最近傍探索は、探索された点から現在点までのユークリッド距離に基づいている。３つの最近傍点が選択され、list１に保存される。参照フレームからの点の重みは、現在フレームからの点よりも低いはずであることに注意すべきである。
最後に、list１に基づいて複数の予測子候補が作成され、イントラコーディングと同様の方式で予測属性値が生成される。
［4.問題点］
点群属性インター予測の既存の設計には次の問題がある。
1.現在のｉｎｔｅｒ-ＥＭでは、参照フレーム内の探索センターは同じモートンインデックスを持つ点である。ただし、現在フレームと参照フレームの並べ替えられた点間には厳密な対応関係がない。場合によっては、同じモートンインデックスを持つ点の幾何学的位置が大きく異なるため、探索結果及び予測結果が不正確になることがある。
2.現在ｉｎｔｅｒ-ＥＭでは、ユークリッド距離に基づいて最近傍探索が実行される。ユークリッド距離の計算は非常に複雑であり、符号化と復号化の全体的な複雑さに影響する。
3.現在ｉｎｔｅｒ-ＥＭでは、現在フレームと参照フレームの探索範囲は同じである。ただし、現在フレーム内の点と差分フレーム内の点は、現在点に対して異なる影響を与える。同じ探索範囲を使用すると、予測効率が制限される。
［5.詳細なソリューション］
上記の問題及び言及されていない他のいくつかの問題を解決するために、以下に要約するような方法が開示される。ソリューションは一般的な概念を説明するための例として考慮されるべきであり、狭く解釈されるべきではない。さらに、これらのソリューションは個別に適用することも、任意の方式で組み合わせて適用されることも可能である。
以下の説明では、list１は、最近傍を保存するリストであり得る。
1)属性インター予測における最近傍探索のために少なくとも１つの探索索センターを導出され得ることが提案される。
a.一例では、最近傍探索は、探索されるべき所与のフレーム内で実行され得る。
i.一例では、探索されるべき所与のフレームは現在フレームであり得る。
ii.一例では、探索されるべき所与のフレームは別のフレームであり得る。
iii.一例では、探索されるべき所与のフレームは現在フレームの参照フレームであり得る。
b.一例では、所与のフレーム内の探索される点は、最近傍探索の前に並べ替えられ得る。
i.一例では、並べ替えは、点のモートンコード、ヒルベルトコード、又は他の転換コードに基づいて実行され得る。
ii.一例では、並べ替えは、点の極座標に基づいて実行され得る。
iii.一例では、並べ替えは、点の球面座標に基づいて実行され得る。
iv.一例では、並べ替えは、点の円筒座標に基づいて実行され得る。
v.一例では、並べ替えは、レーダーの走査順序に基づいて実行され得る。
vi.一例では、探索は、点の順序（並べ替えられ得る）に従って実行される。
c.一例では、探索されるべき所与のフレームに対して探索センターが１つ存在し得る。
i.一例では、並べ替えられた順で探索センターよりも前の以前の点及び探索センターが探索され得る。
ii.一例では、並べ替えられた順で探索センターよりも後の次の点及び探索センターが探索され得る。
iii.一例では、並べ替えられた順で探索センターよりも前の以前の点、探索センター、及び並べ替えられた順で探索センターよりも後の次の点が探索され得る。
d.一例では、探索センターは、探索されるべきフレーム内の幾何学的位置における近似最近傍点であり得る。
i.一例では、探索センターは、探索されるべきフレーム内のすべての点又は一部の点から選択され得る。
ii.一例では、探索センターは、現在点から最も近い距離を有する点であり得る。
(1)距離は、ユークリッド距離、マンハッタン距離、チェビシェフ距離等であり得る。
iii.一例では、探索センターは、現在点から近似最近距離を有する点であり得る。
(1)探索センターは、探索されるべきフレーム内の部分点から選択され得る。
(2)距離は、ユークリッド距離、マンハッタン距離、チェビシェフ距離などであり得る。
iv.一例では、探索センターは、転換コード上で現在点から最近距離を有する点であり得る。
(1)距離は、転換コードの差分であり得る。
(2)転換コードは、モートンコード、ヒルベルトコードであり得る。
v.一例では、探索センターは、転換コード上で現在点から近似最近距離を有する点であり得る。
(1)探索センターは、探索されるべきフレーム内の部分点から選択され得る。
(2)一例では、部分点は、転換コードが現在点の転換コードよりも大きい点であり得る。
(3)一例では、部分点は、転換コードが現在点の転換コードよりも小さい点であり得る。
(4)距離は、転換コードの差分であり得る。
(5)転換コードは、モートンコード、ヒルベルトコードなどであり得る。
e.一例では、複数（Ｎ個など）の探索センターが導出され得る。
i.代替的に、さらに、探索は、１つ又は複数の探索センターから実行され得る。
ii.一例では、Ｎ個の探索センターは、現在点からＮ個の最近距離を有するＮ個の点であり得る。
iii.一例では、Ｎ個の探索センターは、転換コード上で現在点からＮ個の最近距離を有するＮ個の点であり得る。
2)異なる方向及び／又は異なるフレームで異なる探索範囲を使用することが提案される。
a.一例では、探索されるべき１つのフレームに対して少なくとも１つの探索範囲が存在し得る。
i.一例では、探索する必要がある探索センターの前の点の数を示すための１つの探索範囲が存在し得る。
ii.一例では、探索する必要がある探索センターの後の点の数を示すための１つの探索範囲が存在し得る。
iii.一例では、探索する必要がある探索センターの前の点の数と探索センターの後の点の数の両方を示すための１つの探索範囲が存在し得る。
b.一例では、現在フレームと参照フレームに対して異なる探索範囲が存在し得る。
3)探索範囲を示す指示をコーディングすることによって、探索範囲をデコーダにシグナリングすることが提案される。
a.一例では、探索範囲を示すための少なくとも１つの指示がデコーダにシグナリングされ得る。
i.一例では、コーデックがすべての点に対して最近傍探索を実行するとき、指示は事前定義された信号であり得る。
ii.一例では、探索範囲がいくつかの事前定義された探索範囲から選択されるとき、指示はいくつかの事前定義された信号から選択され得る。
iii.一例では、指示は、探索範囲の値であり得る。
iv.一例では、指示は、探索範囲の事前定義された数学的転換（対数、平方根など）であり得る。
b.一例では、指示は、固定長コーディング、ユーナリコーディング、トランケートユーナリコーディングなどを用いてコード化され得る。
c.一例では、指示は、予測的な方式でコード化され得る。
4)属性インター予測における最近傍探索及び近傍重みの生成には、異なる幾何学的距離が使用され得る。
a.一例では、現在フレーム及び参照フレームにおいて最近傍探索を実行することで、少なくとも１つの点がlist１に保存され得る。
i.一例では、選択された点は、現在点から最も近い幾何学的距離（ユークリッド距離、マンハッタン距離、チェビシェフ距離など）を有する点であり得る。
ii.一例では、選択された点は、探索センター及び探索範囲によって定義される探索された点からのものであり得る。
b.一例では、list１内の各点の幾何学的距離が近傍重みの生成に使用され得る。
c.一例では、最近傍探索と近傍重み生成のプロセスは、異なる幾何学的距離を使用し得る。
i.一例では、探索された各点のマンハッタン距離が最近傍探索に使用され、list１内の各点のユークリッド距離が近傍重みの生成に使用され得る。
5)属性インター予測の前に参照フレームに動き補償を適用することが提案される。
a.一例では、参照フレームの動き補償が存在し得る。
b.一例では、動き補償は、属性インター予測の前に参照フレームに適用され得る。
c.一例では、動き補償付きの参照フレームが属性インター予測で使用され得る。
d.一例では、動き補償のない参照フレームが属性インター予測で使用され得る。
e.一例では、動き補償が適用されるか否かを示す指示がデコーダにシグナリングされ得る。
i.一例では、指示は、固定長コーディング、ユーナリコーディング、トランケートユーナリコーディングなどを用いてコード化され得る。
ii.一例では、指示は、予測的な方式でコード化され得る。
6)参照フレームの異なるＬＯＤにおける点は、属性インター予測で探索され得る。
a.一例では、参照フレーム内の点は、１つ又は複数のＬＯＤに分割され得る。
b.一例では、現在フレーム内の点は、1つ又は複数のＬＯＤに分割され得る。
c.一例では、各点のＬＯＤを参照する１つのＬＯＤレベルが存在し得る。
d.一例では、現在点に対して、参照フレーム内の同じＬＯＤレベルを有する点が探索されて最近傍探索を実行し得る。
e.一例では、現在点に対して、参照フレーム内のより低いＬＯＤレベルを有する点が探索されて最近傍探索を実行し得る。
f.一例では、現在点に対して、参照フレーム内のより高いＬＯＤレベルを有する点が探索されて最近傍探索を実行し得る。
g.一例では、すべてのＬＯＤにおける点が探索されるか否かを示す指示がデコーダにシグナリングされ得る。
i.一例では、指示は、固定長コーディング、ユーナリコーディング、トランケートユーナリコーディングなどを用いてコード化され得る。
ii.一例では、指示は、予測的な方式でコード化され得る。
h.一例では、同じＬＯＤにおける点のみが探索されるか否かを示す指示がデコーダにシグナリングされ得る。
i.一例では、指示は、例えば、すべてのＬＯＤにおける点が探索されるか否かに従って、条件付きでシグナリングされ得る。
ii.一例では、指示は、固定長コーディング、ユーナリコーディング、トランケートユーナリコーディングなどを用いてコード化され得る。
iii.一例では、指示は、予測的な方式でコード化され得る。
7)複数のリストを使用して探索結果を異なるフレームに保存し、すべてのリストを組み合わせて予測子リストを生成することが提案される。
a.一例では、現在フレームに探索結果を保存するための第１のリスト（list１など）が存在し得る。
b.一例では、各参照フレーム内の探索結果を保存するための第２のリスト（リスト２など）が存在し得る。
c.一例では、現在フレームにおける最近傍探索は、list１のみを変更し得る。
d.一例では、１つの参照フレームにおける最近傍探索は、対応するリストのみを変更し得る。
e.一例では、すべてのリスト内の点の情報を使用して予測子リストを生成し得る。
8)前述の「フレーム」は、他の処理ユニット、例えばフレーム内のサブ領域に置き換えられ得る。
9)上記の方法は、最近傍探索法に加えて、Ｇ－ＰＣＣの他のディングモジュール又は他の探索法にも適用可能である。
［6.実施形態］
1)この実施形態では、属性インター予測においてマンハッタン距離を使用して最近傍探索を実行する方法の例について説明する。この例では、参照フレーム内の探索センターは、最も近いモートンコードを持つ点に設定される。現在フレームと参照フレームの探索範囲は両方とも１２８に設定される。
各フレームに対して、参照フレームは前の１フレームであり、属性インター予測はエンコーダ及びデコーダで実行される。
第一に、現在フレームと参照フレームの点が並べ替えられる。各点のモートンコードが計算され、１フレーム内の点がモートンコード順序に基づいて並べ替えられる。
第二に、現在フレーム内の各点に対して、現在フレームと参照フレーム内の３つの近似最近傍が探索され、list１に保存される。最近傍が現在フレームからのものであるか否かを示す３つのフラグがある。
a.現在フレームの探索センターは現在点である。モートンコード順で探索センターよりも前の以前の１２８個の点がトラバースされる。トラバースされた点の中から、マンハッタンの距離が最も近い点最大３つ選択される。list１の各点の位置、フラグ、インデックスが記録される。２つの点(x1,y1,z1)と(x2,y2,z2)のマンハッタン距離dは、次の式で計算される。
b.参照フレームの探索センターは、参照フレーム内の現在点に最も近いモートンコードを持つ点である。モートンコード順で探索センターよりも前の１２８個の点、モートンコード順で探索センターよりも後の次の１２８個の点、及び探索センターがトラバースされる。トラバースした点のマンハッタン距離がlist１の点より近い場合、list１にトラバースした点を挿入し、list１からマンハッタン距離が最も長い点を削除することでlist１が更新される。List１の各点の位置、フラグ、インデックスが記録される。
第三に、現在フレーム内の各点に対してlist１の点の情報に基づいて予測子が生成され、予測値が生成される。
a.list１の各点には１つの重み値がある。list１の各点の計算された距離は、その点から現在点までのユークリッド距離に基づいて計算される。参照フレームからの点の計算された距離に１を加算すべきである。list１の各点の重み値は、計算された距離の逆数である。２つの点(x1,y1,z1)と(x2,y2,z2)のユークリッド距離dは、次の式のように計算される。
b.list１の各点の属性がインデックスに基づいて取得される。
c.list１の点の属性の変動が計算される。
d.変動が閾値よりも小さい場合、加重平均値を使用して現在点の属性が予測される。
e.それ以外の場合は、ＲＤＯ手順を適用することで最良の予測子が選択される。予測子の候補リストには、list１の点の加重平均値と属性値とが含まれる。そして、ＲＤＯ処理の結果がデコーダにシグナリングされる。デコーダでは、シグナリングされたＲＤＯ結果に基づいて予測値が生成される。
最後に、現在フレームの各点に対して、現在フレームの属性と予測された属性値の間の残差がコード化され、デコーダにシグナリングされる。
［1.概要］
この開示は、点群コーディング技術に関する。具体的には、インター予測における点群属性予測に関するものである。このアイデアは、点群コーディング標準又は非標準の点群コーデック(例：開発中のジオメトリベースの点群圧縮(Ｇ-ＰＣＣ))に、個別に又は様々な組み合わせで適用され得る。
［2.略語］
Ｇ-ＰＣＣ：Geometry based Point Cloud Compression（ジオメトリベースの点群圧縮）
ＭＰＥＧ：Moving Picture Experts Group（動画専門家グループ）
３ＤＧ：3D Graphics Coding Group（３Ｄグラフィックスコーディンググループ）
ＣＦＰ：Call For Proposal（提案募集）
Ｖ-ＰＣＣ：Video-based Point Cloud Compression（ビデオベースの点群圧縮）
ＬＯＤ：Level of Detail（詳細レベル）
ＣＥ：Core Experiment（コア実験）
ＥＥ：Exploration Experiment（探査実験）
ｉｎｔｅｒ-ＥＭ：Inter Exploration Model（インター探査モデル）
ＰＣ：Point Cloud（点群）
ＲＤＯ：Rate-distortion Optimization（レート歪み最適化）
［3.背景］
点群コーディング標準標準は、主によく知られたＭＰＥＧ組織の開発を通じて進化してきた。ＭＰＥＧはMoving Picture Experts Groupの略で、マルチメディアを扱う主要な標準化グループの１つである。２０１７年、ＭＰＥＧ ３Ｄ グラフィックス コーディング グループ(３ＤＧ)は、点群コーディング標準の開発を開始するための提案募集(ＣＦＰ)文書を発行した。最終的な標準は２つのクラスのソリューションで構成される。ビデオベースの点群圧縮(Ｖ-ＰＣＣ)は、点が比較的均一に分布している点セットに適している。ジオメトリベースの点群圧縮(Ｇ-ＰＣＣ)は、よりまばらな分布に適している。
Ｇ-ＰＣＣにおける将来の点群コーディング技術を探索するために、Ｇ-ＰＣＣにおけるインター予測技術を開発するよう、Core Experiment(ＣＥ)１３．５及びExploration Experiment(ＥＥ)１３．２が設立されている。それ以来、多くの新しいインター予測方法がＭＰＥＧによって採用され、inter Exploration Model(ｉｎｔｅｒ-ＥＭ)という名前の参照ソフトウェアに組み込まれている。
１つの点群の中に、ジオメトリ情報と属性情報とが存在し得る。ジオメトリ情報は、データポイントのジオメトリ位置を記述するために使用される。属性情報は、テクスチャ、法線ベクトル、反射などのデータポイントの詳細を記録するために使用される。点群コーデックは、様々な情報を様々な方式で処理できる。通常、コーデックには、ジオメトリ情報及び属性情報のコーディングとデコーディングをそれぞれサポートするオプションのツールが多数ある。
［3.1 属性イントラ予測］
Ｇ-ＰＣＣでは、ジオメトリ情報を利用して属性イントラ予測を行う２つの属性コーディング方法が提案されている。
［3.1.1変換の予測］
変換予測は、補間ベースの階層的最近傍予測方法であり、通常、まばらな点群コンテンツに使用される。まず、詳細レベル(ＬＯＤ)構造が生成される。次に、ＬＯＤ構造に基づいて最近傍が探索される。そして、探索結果に基づいて属性予測が行われる。
［3.1.1.1 ＬＯＤの生成］
ＬＯＤ生成プロセスでは、ジオメトリ情報が、「詳細レベル」のセットを定義する点群の階層構造を構築するために活用される。階層構造を利用して属性を効率的に予測する。また、プログレッシブ伝送やスケーラブルレンダリングなどの高度な機能を提供することも可能になる。ＬＯＤ生成プロセスでは、ＬＯＤ番号を示すユーザー定義パラメータLに従って、点群ポイントをリファインレベル(ポイントセット)R0,R1,…,RL-1に再編成する。次に、点群点の属性がR0からRL-1まで符号化される。詳細レベルl, LODlは、リファインメントレベルR0,R1,…,Rlの和集合をとることで取得できる：
【数1】
Ｇ-ＰＣＣでは、現在点の３つの近似最近傍を探索するために、２つの近傍リストlist１とリスト２が構築される。list１には、ＬＯＤベースの近似最近傍探索アルゴリズムによって取得される３つの近似最近傍が含まれている。リスト２には、list１を更新するときに脱退された３つの点が含まれている。
点分布情報を考慮して、厳密な反対と緩やかな反対の概念が定義される。現在点(x,y,z)との相対位置に従って、すべての最近傍点(xn,yn,zn)が方向インデックスdirIdxに割り当てられる。方向インデックスdirIdxに応じて、厳密な反対と緩やかな反対が表３-１のように定義される。
【表1】
［3.1.1.3 属性の予測］
list１を取得した後、list１に基づいて複数の予測子の候補が作成される。各予測子候補には１つのインデックスが割り当てられる。次に、list１内の点の属性の変動が計算される。変動が閾値よりも小さい場合、加重平均値を使用して現在点の属性が予測される。それ以外の場合は、レート歪み最適化(ＲＤＯ)手順を適用することで、最良の予測子が選択される。
［3.1.2 リフティング変換］
リフティング変換は通常、密な点群コンテンツに使用され、予測変換方法の上に構築される。リフティング変換と予測変換の主な違いは、更新演算子及び適応量子化戦略である。リフティング変換では、各点はインフルエンス重み値に関連付けられる。低いＬＯＤの点はより頻繁に使用され、より高い重み値が割り当てられる。影響ウェイトが量子化プロセスで使用される。
［3.2 属性インター予測］
ｉｎｔｅｒ-ＥＭでは、属性インターコーディングを実行するためにいくつかのインター予測ツールが提案されている。現在フレームと前の１つのフレームに最近傍を保存するlist１が１つある。リスト内の点の属性は、フレーム内コーディングの場合と同様の方式で、予測子候補を生成し、現在点の予測値を取得するために使用される。
まず、現在フレームと参照フレーム内の点がモートンコードに基づいて並べ替えられる。各点は、モートンオーダーを示す１つのモートンインデックスに関連付けられている。
次に、各点に対して、現在フレームと参照フレームで最近傍探索が実行される。探索範囲を制御するパラメーターSearch_Rangeが１つある。
a)現在フレームでは、モートンオーダーで現在点の以前のSearch_Range点がトラバースされる。
b)参照フレームでは、探索センターは参照フレーム内の同じモートンインデックスを持つ点である。探索センターよりも前の以前のSearch_Range点、探索センターよりも後の次のSearch_Range点、及び探索センター点が探索される。
最近傍探索は、探索された点から現在点までのユークリッド距離に基づいている。３つの最近傍点が選択され、list１に保存される。参照フレームからの点の重みは、現在フレームからの点よりも低いはずであることに注意すべきである。
最後に、list１に基づいて複数の予測子候補が作成され、イントラコーディングと同様の方式で予測属性値が生成される。
［4.問題点］
点群属性インター予測の既存の設計には次の問題がある。
1.現在のｉｎｔｅｒ-ＥＭでは、参照フレーム内の探索センターは同じモートンインデックスを持つ点である。ただし、現在フレームと参照フレームの並べ替えられた点間には厳密な対応関係がない。場合によっては、同じモートンインデックスを持つ点の幾何学的位置が大きく異なるため、探索結果及び予測結果が不正確になることがある。
2.現在ｉｎｔｅｒ-ＥＭでは、ユークリッド距離に基づいて最近傍探索が実行される。ユークリッド距離の計算は非常に複雑であり、符号化と復号化の全体的な複雑さに影響する。
3.現在ｉｎｔｅｒ-ＥＭでは、現在フレームと参照フレームの探索範囲は同じである。ただし、現在フレーム内の点と差分フレーム内の点は、現在点に対して異なる影響を与える。同じ探索範囲を使用すると、予測効率が制限される。
［5.詳細なソリューション］
上記の問題及び言及されていない他のいくつかの問題を解決するために、以下に要約するような方法が開示される。ソリューションは一般的な概念を説明するための例として考慮されるべきであり、狭く解釈されるべきではない。さらに、これらのソリューションは個別に適用することも、任意の方式で組み合わせて適用されることも可能である。
以下の説明では、list１は、最近傍を保存するリストであり得る。
1)属性インター予測における最近傍探索のために少なくとも１つの探索索センターを導出され得ることが提案される。
a.一例では、最近傍探索は、探索されるべき所与のフレーム内で実行され得る。
i.一例では、探索されるべき所与のフレームは現在フレームであり得る。
ii.一例では、探索されるべき所与のフレームは別のフレームであり得る。
iii.一例では、探索されるべき所与のフレームは現在フレームの参照フレームであり得る。
b.一例では、所与のフレーム内の探索される点は、最近傍探索の前に並べ替えられ得る。
i.一例では、並べ替えは、点のモートンコード、ヒルベルトコード、又は他の転換コードに基づいて実行され得る。
ii.一例では、並べ替えは、点の極座標に基づいて実行され得る。
iii.一例では、並べ替えは、点の球面座標に基づいて実行され得る。
iv.一例では、並べ替えは、点の円筒座標に基づいて実行され得る。
v.一例では、並べ替えは、レーダーの走査順序に基づいて実行され得る。
vi.一例では、探索は、点の順序（並べ替えられ得る）に従って実行される。
c.一例では、探索されるべき所与のフレームに対して探索センターが１つ存在し得る。
i.一例では、並べ替えられた順で探索センターよりも前の以前の点及び探索センターが探索され得る。
ii.一例では、並べ替えられた順で探索センターよりも後の次の点及び探索センターが探索され得る。
iii.一例では、並べ替えられた順で探索センターよりも前の以前の点、探索センター、及び並べ替えられた順で探索センターよりも後の次の点が探索され得る。
d.一例では、探索センターは、探索されるべきフレーム内の幾何学的位置における近似最近傍点であり得る。
i.一例では、探索センターは、探索されるべきフレーム内のすべての点又は一部の点から選択され得る。
ii.一例では、探索センターは、現在点から最も近い距離を有する点であり得る。
(1)距離は、ユークリッド距離、マンハッタン距離、チェビシェフ距離等であり得る。
iii.一例では、探索センターは、現在点から近似最近距離を有する点であり得る。
(1)探索センターは、探索されるべきフレーム内の部分点から選択され得る。
(2)距離は、ユークリッド距離、マンハッタン距離、チェビシェフ距離などであり得る。
iv.一例では、探索センターは、転換コード上で現在点から最近距離を有する点であり得る。
(1)距離は、転換コードの差分であり得る。
(2)転換コードは、モートンコード、ヒルベルトコードであり得る。
v.一例では、探索センターは、転換コード上で現在点から近似最近距離を有する点であり得る。
(1)探索センターは、探索されるべきフレーム内の部分点から選択され得る。
(2)一例では、部分点は、転換コードが現在点の転換コードよりも大きい点であり得る。
(3)一例では、部分点は、転換コードが現在点の転換コードよりも小さい点であり得る。
(4)距離は、転換コードの差分であり得る。
(5)転換コードは、モートンコード、ヒルベルトコードなどであり得る。
e.一例では、複数（Ｎ個など）の探索センターが導出され得る。
i.代替的に、さらに、探索は、１つ又は複数の探索センターから実行され得る。
ii.一例では、Ｎ個の探索センターは、現在点からＮ個の最近距離を有するＮ個の点であり得る。
iii.一例では、Ｎ個の探索センターは、転換コード上で現在点からＮ個の最近距離を有するＮ個の点であり得る。
2)異なる方向及び／又は異なるフレームで異なる探索範囲を使用することが提案される。
a.一例では、探索されるべき１つのフレームに対して少なくとも１つの探索範囲が存在し得る。
i.一例では、探索する必要がある探索センターの前の点の数を示すための１つの探索範囲が存在し得る。
ii.一例では、探索する必要がある探索センターの後の点の数を示すための１つの探索範囲が存在し得る。
iii.一例では、探索する必要がある探索センターの前の点の数と探索センターの後の点の数の両方を示すための１つの探索範囲が存在し得る。
b.一例では、現在フレームと参照フレームに対して異なる探索範囲が存在し得る。
3)探索範囲を示す指示をコーディングすることによって、探索範囲をデコーダにシグナリングすることが提案される。
a.一例では、探索範囲を示すための少なくとも１つの指示がデコーダにシグナリングされ得る。
i.一例では、コーデックがすべての点に対して最近傍探索を実行するとき、指示は事前定義された信号であり得る。
ii.一例では、探索範囲がいくつかの事前定義された探索範囲から選択されるとき、指示はいくつかの事前定義された信号から選択され得る。
iii.一例では、指示は、探索範囲の値であり得る。
iv.一例では、指示は、探索範囲の事前定義された数学的転換（対数、平方根など）であり得る。
b.一例では、指示は、固定長コーディング、ユーナリコーディング、トランケートユーナリコーディングなどを用いてコード化され得る。
c.一例では、指示は、予測的な方式でコード化され得る。
4)属性インター予測における最近傍探索及び近傍重みの生成には、異なる幾何学的距離が使用され得る。
a.一例では、現在フレーム及び参照フレームにおいて最近傍探索を実行することで、少なくとも１つの点がlist１に保存され得る。
i.一例では、選択された点は、現在点から最も近い幾何学的距離（ユークリッド距離、マンハッタン距離、チェビシェフ距離など）を有する点であり得る。
ii.一例では、選択された点は、探索センター及び探索範囲によって定義される探索された点からのものであり得る。
b.一例では、list１内の各点の幾何学的距離が近傍重みの生成に使用され得る。
c.一例では、最近傍探索と近傍重み生成のプロセスは、異なる幾何学的距離を使用し得る。
i.一例では、探索された各点のマンハッタン距離が最近傍探索に使用され、list１内の各点のユークリッド距離が近傍重みの生成に使用され得る。
5)属性インター予測の前に参照フレームに動き補償を適用することが提案される。
a.一例では、参照フレームの動き補償が存在し得る。
b.一例では、動き補償は、属性インター予測の前に参照フレームに適用され得る。
c.一例では、動き補償付きの参照フレームが属性インター予測で使用され得る。
d.一例では、動き補償のない参照フレームが属性インター予測で使用され得る。
e.一例では、動き補償が適用されるか否かを示す指示がデコーダにシグナリングされ得る。
i.一例では、指示は、固定長コーディング、ユーナリコーディング、トランケートユーナリコーディングなどを用いてコード化され得る。
ii.一例では、指示は、予測的な方式でコード化され得る。
6)参照フレームの異なるＬＯＤにおける点は、属性インター予測で探索され得る。
a.一例では、参照フレーム内の点は、１つ又は複数のＬＯＤに分割され得る。
b.一例では、現在フレーム内の点は、1つ又は複数のＬＯＤに分割され得る。
c.一例では、各点のＬＯＤを参照する１つのＬＯＤレベルが存在し得る。
d.一例では、現在点に対して、参照フレーム内の同じＬＯＤレベルを有する点が探索されて最近傍探索を実行し得る。
e.一例では、現在点に対して、参照フレーム内のより低いＬＯＤレベルを有する点が探索されて最近傍探索を実行し得る。
f.一例では、現在点に対して、参照フレーム内のより高いＬＯＤレベルを有する点が探索されて最近傍探索を実行し得る。
g.一例では、すべてのＬＯＤにおける点が探索されるか否かを示す指示がデコーダにシグナリングされ得る。
i.一例では、指示は、固定長コーディング、ユーナリコーディング、トランケートユーナリコーディングなどを用いてコード化され得る。
ii.一例では、指示は、予測的な方式でコード化され得る。
h.一例では、同じＬＯＤにおける点のみが探索されるか否かを示す指示がデコーダにシグナリングされ得る。
i.一例では、指示は、例えば、すべてのＬＯＤにおける点が探索されるか否かに従って、条件付きでシグナリングされ得る。
ii.一例では、指示は、固定長コーディング、ユーナリコーディング、トランケートユーナリコーディングなどを用いてコード化され得る。
iii.一例では、指示は、予測的な方式でコード化され得る。
7)複数のリストを使用して探索結果を異なるフレームに保存し、すべてのリストを組み合わせて予測子リストを生成することが提案される。
a.一例では、現在フレームに探索結果を保存するための第１のリスト（list１など）が存在し得る。
b.一例では、各参照フレーム内の探索結果を保存するための第２のリスト（リスト２など）が存在し得る。
c.一例では、現在フレームにおける最近傍探索は、list１のみを変更し得る。
d.一例では、１つの参照フレームにおける最近傍探索は、対応するリストのみを変更し得る。
e.一例では、すべてのリスト内の点の情報を使用して予測子リストを生成し得る。
8)前述の「フレーム」は、他の処理ユニット、例えばフレーム内のサブ領域に置き換えられ得る。
9)上記の方法は、最近傍探索法に加えて、Ｇ－ＰＣＣの他のディングモジュール又は他の探索法にも適用可能である。
［6.実施形態］
1)この実施形態では、属性インター予測においてマンハッタン距離を使用して最近傍探索を実行する方法の例について説明する。この例では、参照フレーム内の探索センターは、最も近いモートンコードを持つ点に設定される。現在フレームと参照フレームの探索範囲は両方とも１２８に設定される。
各フレームに対して、参照フレームは前の１フレームであり、属性インター予測はエンコーダ及びデコーダで実行される。
第一に、現在フレームと参照フレームの点が並べ替えられる。各点のモートンコードが計算され、１フレーム内の点がモートンコード順序に基づいて並べ替えられる。
第二に、現在フレーム内の各点に対して、現在フレームと参照フレーム内の３つの近似最近傍が探索され、list１に保存される。最近傍が現在フレームからのものであるか否かを示す３つのフラグがある。
a.現在フレームの探索センターは現在点である。モートンコード順で探索センターよりも前の以前の１２８個の点がトラバースされる。トラバースされた点の中から、マンハッタンの距離が最も近い点最大３つ選択される。list１の各点の位置、フラグ、インデックスが記録される。２つの点(x1,y1,z1)と(x2,y2,z2)のマンハッタン距離dは、次の式で計算される。
【数2】
第三に、現在フレーム内の各点に対してlist１の点の情報に基づいて予測子が生成され、予測値が生成される。
a.list１の各点には１つの重み値がある。list１の各点の計算された距離は、その点から現在点までのユークリッド距離に基づいて計算される。参照フレームからの点の計算された距離に１を加算すべきである。list１の各点の重み値は、計算された距離の逆数である。２つの点(x1,y1,z1)と(x2,y2,z2)のユークリッド距離dは、次の式のように計算される。
【数3】
c.list１の点の属性の変動が計算される。
d.変動が閾値よりも小さい場合、加重平均値を使用して現在点の属性が予測される。
e.それ以外の場合は、ＲＤＯ手順を適用することで最良の予測子が選択される。予測子の候補リストには、list１の点の加重平均値と属性値とが含まれる。そして、ＲＤＯ処理の結果がデコーダにシグナリングされる。デコーダでは、シグナリングされたＲＤＯ結果に基づいて予測値が生成される。
最後に、現在フレームの各点に対して、現在フレームの属性と予測された属性値の間の残差がコード化され、デコーダにシグナリングされる。
【0058】
最近傍探索に基づく点群属性コーディングのための最適化されたインター予測に関連する本開示の実施形態のさらなる詳細が以下で説明される。
【0059】
本明細書で使用されるように、「点群シーケンス」という用語は、１つ又は複数の点群のシーケンスを指し得る。「フレーム」という用語は、点群シーケンス内の点群を指し得る。「ＰＣサンプル」という用語は、点群フレーム、点群フレーム内のサブ領域、ピクチャ、スライス、タイル、サブピクチャ、ノード、ポイント、又は１つ又は複数のノード又はポイントを含む他のユニットなど、点群シーケンスコーディングにおいてコーディングを実行するユニットを指し得る。
【0060】
図４は、本開示のいくつかの実施形態による点群コーディングのための方法４００のフローチャートを示す。方法４００は、点群シーケンスの現在ＰＣサンプルと点群シーケンスのビットストリームとの間の転換中に具現され得る。図４に示すように、方法４００は、現在ＰＣサンプルにおける現在点に対して、現在ＰＣサンプルの参照ＰＣサンプルにおける点のセットから少なくとも１つの近傍点が決定される、４０２で開始する。前記点のセットは、前記参照ＰＣサンプルの詳細レベル（ＬＯＤ）のグループにある。一例として、前記少なくとも１つの近傍点は、前記現在点の少なくとも１つの最近傍であり得る。前記少なくとも１つの最近傍を取得するために、前記現在点と同じＬＯＤにおける点に対して最近傍探索が実行され得、前記現在点よりも低いＬＯＤにおける点に対して最近傍探索が実行され得る。
【0061】
４０４では、少なくとも１つの近傍点に基づいて転換が実行される。例えば、現在点の属性値は、少なくとも１つの近傍点の属性値の加重平均を計算することによって予測され得る。転換は、予測属性値に基づいて実行され得る。いくつかの実施形態では、転換は、現在ＰＣサンプルをビットストリームに符号化するステップを含み得る。追加的又は代替的に、転換は、ビットストリームから現在ＰＣサンプルを復号化するステップを含み得る。上記の例は、単に説明を目的として記載されたものであることを理解すべきである。本開示の範囲は、この点に限定されない。
【0062】
以上のことを踏まえて、参照ＰＣサンプルのＬＯＤのグループ内の点が探索されて、現在点の近傍点を取得する。現在点と同じＬＯＤにおける点のみを探索する従来の方案と比較して、提案方法は最近傍探索及び属性インター予測の精度を有利に向上させることができる。
【0063】
いくつかの実施形態では、参照ＰＣサンプルにおける点は複数のＬＯＤに分割され得、複数のＬＯＤはＬＯＤのグループを含み得る。追加的又は代替的に、現在ＰＣサンプルにおける点は１つ又は複数のＬＯＤに分割され得る。
【0064】
いくつかの実施形態では、少なくとも１つの近傍点は、点のセットに対して最近傍探索を実行することによって４０２で決定され得る。いくつかの実施形態では、参照ＰＣサンプル及び／又は現在ＰＣサンプルにおける各点に対して、複数のＬＯＤのうちの１つのリファインメントリストを示す１つのＬＯＤレベルが存在し得る。一例では、点のセットは、現在点と同じＬＯＤレベルの点を含み得る。別の例では、点のセットは、現在点よりも低いＬＯＤレベルの点を含み得る。さらなる例では、点のセットは、現在点よりも高いＬＯＤレベルの点を含み得る。上記の解説は単に説明を目的として記載されていることを理解すべきである。本開示の範囲は、この点に限定されない。
【0065】
いくつかの実施形態では、参照ＰＣサンプルのすべてのＬＯＤにおける点に対して最近傍探索が実行されるか否かを示す第１の指示がビットストリームに含まれ得る。例えば、第１の指示はデコーダにシグナリングされ得る。一例では、第１の指示は、固定長コーディングでコード化され得る。代替的に、第１の指示は、ユーナリコーディングでコード化され得る。さらなる例では、第１の指示は、トランケートユーナリコーディングでコード化され得る。さらに別の例では、第１の指示は、予測的な方式でコード化され得る。
【0066】
追加的又は代替的に、最近傍探索が現在点と同じ参照ＰＣサンプルのＬＯＤにおける点に対して実行されるか否かを示す第２の指示がビットストリームに含まれ得る。第２の指示は、条件付きでシグナリングされ得る。一例では、第２の指示は、参照ＰＣサンプルのすべてのＬＯＤにおける点に対して最近傍探索が実行され得るか否かに基づいて、ビットストリームに含まれ得る。一例では、第２の指示は、固定長コーディングでコード化され得る。代替的に、第２の指示は、ユーナリコーディングでコード化され得る。さらなる例では、第２の指示は、トランケートユーナリコーディングでコード化され得る。さらに別の例では、第２の指示は、予測的な方式でコード化され得る。
【0067】
いくつかの実施形態では、少なくとも１つの近傍点は、第１の幾何学的距離に基づいて４０２で決定され得る。４０４において、少なくとも１つの近傍点に関連付けられた少なくとも１つの重みが、第２の幾何学的距離に基づいて決定され得、転換は、少なくとも１つの重み及び少なくとも１つの近傍点に基づいて実行され得る。第２の幾何学的距離は、第１の幾何学的距離とは異なる。いくつかの例では、第１の幾何学的距離は、第１の幾何学的距離は、ユークリッド距離、マンハッタン距離、又はチェビシェフ距離のうちの１つであり得る。一例では、第１の幾何学的距離は、マンハッタン距離であり得、前記第２の幾何学的距離は、ユークリッド距離であり得る。代替的に、第２の幾何学的距離は、第１の幾何学的距離に基づいて決定され得る。上記の例は、単に説明を目的として記載されたものであることを理解すべきである。本開示の範囲は、この点に限定されない。
【0068】
いくつかの実施形態では、少なくとも１つの近傍点がリストに保存され得る。いくつかの実施形態では、少なくとも１つの近傍点は、ターゲット点を含み得る。ターゲット点と現在点との間の第１の幾何学的距離は、現在点と点のセット内のそれぞれの点との間の第１の幾何学的距離の中で最も小さくても良い。いくつかの実施形態では、点のセットは、探索センター及び探索範囲によって定義され得る。
【0069】
いくつかの実施形態では、４０４において、補償された参照フレームが、参照フレームに動き補償を適用することによって取得され得る。さらに、少なくとも１つの近傍点及び補償された参照フレームに基づいて現在点の予測属性値が決定され得、予測属性値に基づいて転換が実行されて得る。即ち、動き補償は、属性インター予測の前に参照フレームに適用され得る。
【0070】
代替的に、４０４において、現在点の予測属性値が、少なくとも１つの近傍点及び参照フレームに基づいて決定され得、転換が予測属性値に基づいて実行され得る。即ち、動き補償のない参照フレームが属性インター予測に使用され得る。
【0071】
いくつかの実施形態では、動き補償が参照フレームに適用されるか否かを示す第３の指示がビットストリームに含まれ得る。一例では、第３の指示は、固定長コーディングでコード化され得る。代替的に、第３の指示は、ユーナリコーディングでコードされ得る。さらなる例では、第３の指示は、トランケートユーナリコーディングでコードされ得る。さらに別の例では、第３の指示は、予測的な方式でコード化され得る。
【0072】
本開示の実施形態によれば、非一時的なコンピュータ可読記録媒体が提案される。点群シーケンスのビットストリームは、非一時的なコンピュータ可読記録媒体に記憶される。前記ビットストリームは、点群処理装置によって実行される方法によって生成され得る。この方法によれば、現在ＰＣサンプルにおける現在点に対して、少なくとも１つの近傍点が、現在ＰＣサンプルの参照ＰＣサンプルにおける点のセットから決定される。前記点のセットは、参照ＰＣサンプルの詳細レベル（ＬＯＤ）のグループにある。さらに、前記ビットストリームは、少なくとも１つの近傍点に基づいて生成される。
【0073】
本開示の実施形態によれば、点群シーケンスのビットストリームを記憶する方法が提案される。この方法では、現在ＰＣサンプルにおける現在点に対して、現在ＰＣサンプルの参照ＰＣサンプルにおける点のセットから少なくとも１つの近傍点が決定される。前記点のセットは、参照ＰＣサンプルの詳細レベル（ＬＯＤ）のグループにある。さらに、ビットストリームは、少なくとも１つの近傍点に基づいて生成される。前記ビットストリームは、非一時的なコンピュータ可読記録媒体に記憶される。
【0074】
図５は、本開示のいくつかの実施形態による点群コーディングのための別の方法５００のフローチャートを示す。方法５００は、点群シーケンスの現在ＰＣサンプルと点群シーケンスのビットストリームとの間の転換中に具現され得る。図５に示すように、方法５００は、現在ＰＣサンプルにおける現在点に対して、点群シーケンスの第２の複数のＰＣサンプルにおける点から第１の複数の近傍点が決定される５０２で開始する。第１の複数の近傍点は、第３の複数のリストに保存される。一例として、第１の複数の近傍点は、現在点の少なくとも１つの最近傍を含み得る。最近傍探索は、現在ＰＣサンプルの点に対して実行され得、探索結果は第１のリストに保存され得る。さらに、現在ＰＣサンプルの参照ＰＣサンプルの点に対して最近傍探索が実行され得、その探索結果は第２のリストとは異なる第２のリストに保存され得る。
【0075】
４０４では、第１の複数の近傍点に基づいて転換が実行される。例えば、現在点の属性値が、第１の複数の近傍点の属性値の加重平均を計算することによって予測され得る。転換は、予測属性値に基づいて実行され得る。いくつかの実施形態では、転換は、現在ＰＣサンプルをビットストリームに符号化するステップを含み得る。追加的又は代替的に、転換は、ビットストリームから現在ＰＣサンプルを復号化するステップを含み得る。上記の例は、単に説明を目的として記載されたものであることを理解すべきである。本開示の範囲は、この点に限定されない。
【0076】
以上のことを踏まえて、現在点の複数の近傍点が複数のリストに保存される。近傍点が１つのリストのみに保存される従来の方案と比較して、提案方法は、最近傍探索及び属性インター予測の効率を有利に向上させることができる。
【0077】
いくつかの実施形態では、第１の複数の近傍点のうちの第１のセットの近傍点が第３の複数のリストのうちの第１のリストに保存され得るが、第１のセットの近傍点は現在ＰＣサンプルにおける点から決定される。即ち、現在ＰＣサンプルには探索結果を保存するための第１のリストがある。追加的又は代替的に、第１の複数の近傍点のうちの第２のセットの近傍点が第３の複数のリストのうちの第２のリストに保存され得るが、第２のセットの近傍点は現在ＰＣサンプルの参照ＰＣサンプルにおける点から決定される。第２のリストは、第１のリストとは異なり得る。即ち、参照ＰＣサンプルには探索結果を保存するための第２のリストがある。
【0078】
いくつかの実施形態では、５０２での決定中に、第１の複数の近傍点のうちの第１の近傍点が現在ＰＣサンプルにおける点から決定され得、第１の近傍点が第１のリストに保存され得る。例えば、現在ＰＣサンプルの最近傍探索では、第１のリストのみが変更され得る。追加的又は代替的に、５０２での決定中に、第１の複数の近傍点のうちの第２の近傍点が参照ＰＣサンプルにおける点から決定され得、第２の近傍点が第２のリストに保存され得る。例えば、１つの参照フレーム内の最近傍探索では、対応するリストのみが変更され得る。
【0079】
いくつかの実施形態では、５０４において、現在点の少なくとも１つの予測属性値が、第３の複数のリストに保存された近傍点に基づいて決定され得、転換が少なくとも１つの予測属性値に基づいて実行され得る。即ち、すべてのリストに保存された点の情報が利用されて現在点の属性値を予測し得る。
【0080】
いくつかの実施形態では、方法４００及び５００は、ジオメトリベースの点群圧縮（ＧＰＣＣ）における他のコーディングプロセス又は最近傍探索以外の探索プロセスに適用可能であり得る。例えば、方法４００及び５００は、ＧＰＣＣにおいて他のコーディングモジュールで具現され得る。
【0081】
本開示の実施形態によれば、非一時的なコンピュータ可読記録媒体が提案される。点群シーケンスのビットストリームは、前記非一時的なコンピュータ可読記録媒体に記憶される。前記ビットストリームは、点群処理装置によって実行される方法によって生成され得る。この方法によれば、現在ＰＣサンプルにおける現在点に対して、点群シーケンスの第２の複数のＰＣサンプルにおける点から第１の複数の近傍点が決定される。第１の複数の近傍点は、第３の複数のリストに保存される。さらに、前記ビットストリームは、第１の複数の近傍点に基づいて生成される。
【0082】
本開示の実施形態によれば、点群シーケンスのビットストリームを記憶する方法が提案される。この方法では、現在ＰＣサンプルにおける現在点に対して、点群シーケンスの第２の複数のＰＣサンプルにおける点から第１の複数の近傍点が決定される。第１の複数の近傍点は、第３の複数のリストに保存される。さらに、前記ビットストリームは、第１の複数の近傍点に基づいて生成される。前記ビットストリームは、非一時的なコンピュータ可読記録媒体に記憶される。
【0083】
本開示の具現は、以下の条項を考慮して説明され得、その特徴は任意の合理的な方式で組み合わせられ得る。
【0084】
条項１．点群コーディングのための方法であって、現在点群（ＰＣ）サンプルと点群シーケンスのビットストリームとの間の転換中に、前記点群シーケンスの現在ＰＣサンプルにおける現在点に対して、前記現在ＰＣサンプルの参照ＰＣサンプルにおける点のセットから少なくとも１つの近傍点を決定するステップであって、前記点のセットは、前記参照ＰＣサンプルの詳細レベル（ＬＯＤ）のグループにあるステップと、前記少なくとも１つの近傍点に基づいて前記転換を実行するステップとを含む方法。
【0085】
条項２．前記参照ＰＣサンプルにおける点は複数のＬＯＤに分割され、前記複数のＬＯＤは前記ＬＯＤのグループを含む、条項１に記載の方法。
【0086】
条項３．前記現在ＰＣサンプルにおける点は１つ又は複数のＬＯＤに分割される、条項１から２のいずれか一項に記載の方法。
【0087】
条項４．前記参照ＰＣサンプルにおける各点に対して、前記複数のＬＯＤのうちの１つのリファインメントリストを示す１つのＬＯＤレベルが存在する、条項２から３のいずれか一項に記載の方法。
【0088】
条項５．前記少なくとも１つの近傍点を決定するステップは、前記点のセットに対して最近傍探索を実行することによって前記少なくとも１つの近傍点を決定するステップを含む、条項４に記載の方法。
【0089】
条項６．前記点のセットは、前記現在点と同じＬＯＤレベルの点を含む、条項５に記載の方法。
【0090】
条項７．前記点のセットは、前記現在点よりも低いＬＯＤレベルの点を含む、条項５に記載の方法。
【0091】
条項８．前記点のセットは、前記現在点よりも高いＬＯＤレベルの点を含む、条項５に記載の方法。
【0092】
条項９．前記参照ＰＣサンプルのすべてのＬＯＤにおける点に対して前記最近傍探索実行されるか否かを示す第１の指示が前記ビットストリームに含まれる、条項５に記載の方法。
【0093】
条項１０．前記第１の指示は、固定長コーディング、ユーナリコーディング、又はトランケートユーナリコーディングのうちの１つでコード化される、条項９に記載の方法。
【0094】
条項１１．前記第１の指示は、予測的な方式でコード化される、条項９に記載の方法。
【0095】
条項１２．前記現在点と同じ参照ＰＣサンプルのＬＯＤにおける点に対して前記最近傍探索が実行されるか否かを示す第２の指示が前記ビットストリームに含まれる、条項５に記載の方法。
【0096】
条項１３．前記第２の指示は、前記参照ＰＣサンプルのすべてのＬＯＤにおける点に対して前記最近傍探索が実行されるか否かに基づいて、前記ビットストリームに含まれる、条項１２に記載の方法。
【0097】
条項１４．前記第２の指示は、固定長コーディング、ユーナリコーディング、又はトランケートユーナリコーディングのうちの１つでコード化される、条項１２に記載の方法。
【0098】
条項１５．前記第２の指示は、予測的な方式でコード化される、条項１２に記載の方法。
【0099】
条項１６．前記少なくとも１つの近傍点は、第１の幾何学的距離に基づいて決定され、前記転換を実行するステップは、第２の幾何学的距離に基づいて、前記少なくとも１つの近傍点に関連付けられた少なくとも１つの重みを決定するステップであって、前記第２の幾何学的距離は、前記第１の幾何学的距離とは異なるステップと、前記少なくとも１つの重み及び前記少なくとも１つの近傍点に基づいて前記転換を実行するステップとを含む、条項１から１５のいずれか一項に記載の方法。
【0100】
条項１７．前記少なくとも１つの近傍点はリストに保存される、条項１６に記載の方法。
【0101】
条項１８．前記少なくとも１つの近傍点はターゲット点を含み、前記ターゲット点と前記現在点との間の第１の幾何学的距離は、前記現在点と前記点のセット内のそれぞれの点との間の第１の幾何学的距離の中で最小である、条項１６から１７のいずれか一項に記載の方法。
【0102】
条項１９．前記第１の幾何学的距離は、ユークリッド距離、マンハッタン距離、又はチェビシェフ距離のうちの１つである、条項１６から１８のいずれか一項に記載の方法。
【0103】
条項２０．前記点のセットは、探索センター及び探索範囲によって定義される、条項１６から１９のいずれか一項に記載の方法。
【0104】
条項２１．前記第２の幾何学的距離は、前記第１の幾何学的距離に基づいて決定される、条項１６から２０のいずれか一項に記載の方法。
【0105】
条項２２．前記第１の幾何学的距離はマンハッタン距離であり、前記第２の幾何学的距離はユークリッド距離である、条項１６から２０のいずれか一項に記載の方法。
【0106】
条項２３．前記転換を実行するステップは、前記参照フレームに動き補償を適用することによって補償された参照フレームを取得するステップと、前記少なくとも１つの近傍点及び前記補償された参照フレームに基づいて前記現在点の予測属性値を決定するステップと、前記予測属性値に基づいて前記転換を実行するステップとを含む、条項１から１５のいずれか一項に記載の方法。
【0107】
条項２４．前記転換を実行するステップは、前記少なくとも１つの近傍点及び前記参照フレームに基づいて前記現在点の予測属性値を決定するステップと、前記予測属性値に基づいて前記転換を実行するステップとを含む、条項１から１５のいずれか一項に記載の方法。
【0108】
条項２５．前記参照フレームに動き補償が適用されるか否かを示す第３の指示が前記ビットストリームに含まれる、条項１から１５のいずれか一項に記載の方法。
【0109】
条項２６．前記第３の指示は、固定長コーディング、ユーナリコーディング、又はトランケートユーナリコーディングのうちの１つでコード化される、条項２５に記載の方法。
【0110】
条項２７．前記第３の指示は、予測的な方式でコード化される、条項２５に記載の方法。
【0111】
条項２８．前記少なくとも１つの近傍点は、前記現在点の少なくとも１つの最近傍を含む、条項１から２７のいずれか一項に記載の方法。
【0112】
条項２９．点群コーディングのための方法であって、現在点群（ＰＣ）サンプルと点群シーケンスのビットストリームとの間の転換中に、前記点群シーケンスの現在ＰＣサンプルにおける現在点に対して、前記点群シーケンスの第２の複数のＰＣサンプルにおける点から第１の複数の近傍点を決定するステップと、前記第１の複数の近傍点に基づいて前記転換を実行するステップとを含み、ここで、前記第１の複数の近傍点は第３の複数のリストに保存される方法。
【0113】
条項３０．前記第１の複数の近傍点のうちの第１のセットの近傍点は、前記第３の複数のリストのうちの第１のリストに保存され、前記第１のセットの近傍点は、前記現在ＰＣサンプルにおける点から決定される、条項２９に記載の方法。
【0114】
条項３１．前記第１の複数の近傍点のうちの第２のセットの近傍点は、前記第３の複数のリストのうちの第２のリストに保存され、前記第２のセットの近傍点は、前記現在ＰＣサンプルの参照ＰＣサンプルにおける点から決定され、前記第２のリストは前記第１のリストとは異なる、条項３０に記載の方法。
【0115】
条項３２．前記第１の複数の近傍点を決定するステップは、前記現在ＰＣサンプルにおける点から前記第１の複数の近傍点のうちの第１の近傍点を決定するステップと、前記第１の近傍点を前記第１のリストに保存するステップとを含む、条項３０から３１のいずれか一項に記載の方法。
【0116】
条項３３．前記第１の複数の近傍点を決定するステップは、前記参照ＰＣサンプルにおける点から前記第１の複数の近傍点のうちの第２の近傍点を決定するステップと、前記第２の近傍点を前記第２のリストに保存するステップとを含む、条項３１に記載の方法。
【0117】
条項３４．前記転換を実行するステップは、前記第３の複数のリストに保存された近傍点に基づいて前記現在点の少なくとも１つの予測属性値を決定するステップと、前記少なくとも１つの予測属性値に基づいて前記転換を実行するステップとを含む、条項２９から３３のいずれか一項に記載の方法。
【0118】
条項３５．前記第１の複数の近傍点は、前記現在点の少なくとも１つの最近傍を含む、条項２９から３４のいずれか一項に記載の方法。
【0119】
条項３６．前記現在ＰＣサンプルは、前記点群シーケンスにおける点群フレーム、又は前記点群シーケンスにおける点群フレーム内のサブ領域である、条項１から３５のいずれか一項に記載の方法。
【0120】
条項３７．前記方法は、ジオメトリベースの点群圧縮（ＧＰＣＣ）における他のコーディングプロセス又は最近傍探索以外の探索プロセスに適用可能である、条項１から３６のいずれか一項に記載の方法。
【0121】
条項３８．前記転換は、前記現在ＰＣサンプルを前記ビットストリームに符号化するステップを含む、条項１から３７のいずれか一項に記載の方法。
【0122】
条項３９．前記転換は、前記ビットストリームから前記現在ＰＣサンプルを復号化するステップを含む、条項１から３７のいずれか一項に記載の方法。
【0123】
条項４０．プロセッサと、命令を備えた非一時的メモリとを含む点群データを処理するための装置であって、前記命令は前記プロセッサによって実行されると、前記プロセッサに条項１から３９のいずれか一項に記載の方法を実行させる装置。
【0124】
条項４１．プロセッサに条項１から３９のいずれか一項に記載の方法を実行させる命令を記憶する非一時的なコンピュータ可読記憶媒体。
【0125】
条項４２．点群処理装置によって実行される方法によって生成された点群シーケンスのビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、前記方法は、前記点群シーケンスの現在点群（ＰＣ）サンプルにおける現在点に対して、前記現在ＰＣサンプルの参照ＰＣサンプルにおける点のセットから少なくとも１つの近傍点を決定するステップであって、前記点のセットは、前記参照ＰＣサンプルの詳細レベル（ＬＯＤ）のグループにあるステップと、前記少なくとも１つの近傍点に基づいて前記ビットストリームを生成するステップとを含む、非一時的なコンピュータ可読記録媒体。
【0126】
条項４３．点群シーケンスのビットストリームを記憶するための方法であって、前記点群シーケンスの現在点群（ＰＣ）サンプルにおける現在点に対して、前記現在ＰＣサンプルの参照ＰＣサンプルにおける点のセットから少なくとも１つの近傍点を決定するステップであって、前記点のセットは、前記参照ＰＣサンプルの詳細レベル（ＬＯＤ）のグループにあるステップと、前記少なくとも１つの近傍点に基づいて前記ビットストリームを生成するステップと、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップとを含む方法。
【0127】
条項４４．点群処理装置によって実行される方法によって生成された点群シーケンスのビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、前記方法は、前記点群シーケンスの現在点群（ＰＣ）サンプルにおける現在点に対して、前記点群シーケンスの第２の複数のＰＣサンプルにおける点から第１の複数の近傍点を決定するステップと、前記第１の複数の近傍点に基づいて前記ビットストリームを生成するステップとを含み、ここで、前記第１の複数の近傍点は第３の複数のリストに保存される、非一時的なコンピュータ可読記録媒体。
【0128】
条項４５．点群シーケンスのビットストリームを記憶するための方法であって、前記点群シーケンスの現在点群（ＰＣ）サンプルにおける現在点に対して、前記点群シーケンスの第２の複数のＰＣサンプルにおける点から第１の複数の近傍点を決定するステップと、前記第１の複数の近傍点に基づいて前記ビットストリームを生成するステップと、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップとを含み、ここで、前記第１の複数の近傍点は第３の複数のリストに保存される方法。
【0129】
［例示的なデバイス］
図６は、本開示の様々な実施形態を具現できるコンピューティングデバイス６００のブロック図を示す。コンピューティングデバイス６００は、ソースデバイス１１０（或いは、ＧＰＣＣエンコーダ１１６又は２００）又は宛先デバイス１２０（或いはＧＰＣＣデコーダ１２６又は３００）として具現されるか、又はそれに含まれ得る。
図６は、本開示の様々な実施形態を具現できるコンピューティングデバイス６００のブロック図を示す。コンピューティングデバイス６００は、ソースデバイス１１０（或いは、ＧＰＣＣエンコーダ１１６又は２００）又は宛先デバイス１２０（或いはＧＰＣＣデコーダ１２６又は３００）として具現されるか、又はそれに含まれ得る。
【0130】
図６に示されるコンピューティングデバイス６００は、単に解説を目的としたものであり、本開示の実施形態の機能及び範囲をいかなる形でも制限することを示唆するものではないことが理解されるだろう。
【0131】
図６に示すように、コンピューティングデバイス６００は、汎用コンピューティングデバイス６００を含む。コンピューティングデバイス６００は、少なくとも１つ又は複数のプロセッサ又は処理ユニット６１０と、メモリ６２０と、記憶ユニット６３０と、１つ又は複数の通信ユニット６４０と、１つ又は複数の入力デバイス６５０と、１つ又は複数の出力デバイス６６０とを含み得る。
【0132】
いくつかの実施形態では、コンピューティングデバイス６００は、コンピューティング能力を有する任意のユーザ端末又はサーバ端末として具現され得る。前記サーバ端末は、サービスプロバイダが提供するサーバや大規模コンピューティングデバイスなどであり得る。前記ユーザ端末は、例えば、携帯電話、ステーション、ユニット、デバイス、マルチメディアコンピュータ、マルチメディアタブレット、インターネットノード、コミュニケータ、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、パーソナルコミュニケーションシステム(ＰＣＳ)デバイス、パーソナルナビゲーションデバイス、携帯情報端末(ＰＤＡ)、オーディオ/ビデオプレーヤー、デジタルカメラ/ビデオカメラ、測位デバイス、テレビ受信機、ラジオ放送受信機、電子ブックデバイス、ゲームデバイス、又はそれらの任意の組み合わせ（これらのデバイスのアクセサリ及び周辺機器、又はそれらの任意の組み合わせを含む）を含む、任意のタイプの移動端末、固定端末、又は携帯端末であり得る。コンピューティングデバイス６００は、ユーザに対する任意のタイプのインターフェース（「ウェアラブル」回路など）をサポートできることが考えられる。
【0133】
処理ユニット６１０は、物理又は仮想プロセッサであり得、メモリ６２０に記憶されたプログラムに基づいて様々なプロセスを具現することができる。マルチプロセッサシステムでは、コンピューティングデバイス６００の並列処理能力を向上させるために、複数の処理ユニットがコンピュータ実行可能命令を並列に実行する。処理ユニット６１０は、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、コントローラ又はマイクロコントローラと呼ばれ得る。
【0134】
コンピューティングデバイス６００は、通常、様々なコンピュータ記憶媒体を含む。このような媒体は、揮発性及び不揮発性媒体、又は取り外し可能及び取り外し不可能な媒体を含むがこれらに限定されない、コンピューティングデバイス６００によってアクセス可能な任意の媒体であり得る。メモリ６２０は、揮発性メモリ（例えば、レジスタ、キャッシュ、ランダムアクセスメモリ（ＲＡＭ））、不揮発性メモリ（例えば、読み取り専用メモリ（ＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ）、又はそれらの任意の組み合わせであり得る。記憶ユニット６３０は、任意の取り外し可能又は取り外し不可能な媒体であり得、情報及び／又はデータを記憶するために使用でき、コンピューティングデバイス６００でアクセスできる、メモリ、フラッシュメモリドライブ、磁気ディスク又は別の他の媒体などの機械可読媒体を含み得る。
【0135】
コンピューティングデバイス６００は、追加の取り外し可能／取り外し不可能、揮発性／不揮発性メモリ媒体をさらに含み得る。なお、図６には示していないが、着脱可能な不揮発性磁気ディスクの読み書きを行う磁気ディスクドライブや、着脱可能な不揮発性光ディスクの読み書きを行う光ディスクドライブを提供することが可能である。このような場合、各ドライブは、１つ又は複数のデータ媒体インターフェイスを介してバス(図示せず)に接続され得る。
【0136】
通信ユニット６４０は、通信媒体を介してさらなるコンピューティングデバイスと通信する。さらに、コンピューティングデバイス６００内のコンポーネントの機能は、通信接続を介して通信できる単一のコンピューティングクラスタ又は複数のコンピューティングマシンによって具現され得る。したがって、コンピューティングデバイス６００は、１つ又は複数の他のサーバ、ネットワーク化されたパーソナルコンピュータ（ＰＣ）、又はさらなる一般的なネットワークノードとの論理接続を使用して、ネットワーク化された環境で動作することができる。
【0137】
入力デバイス６５０は、マウス、キーボード、トラッキングボール、音声入力デバイスなどの様々な入力デバイスのうちの１つ又は複数であり得る。出力デバイス６６０は、ディスプレイ、ラウドスピーカ、プリンタなどの様々な出力デバイスのうちの１つ又は複数であり得る。通信ユニット６４０によって、コンピューティングデバイス６００は、記憶デバイス及び表示デバイスなどの１つ又は複数の外部デバイス（図示せず）とさらに通信することができ、１つ又は複数のデバイスにより、ユーザがコンピューティングデバイス６００と対話可能にするか、又は、必要に応じて、任意のデバイス（ネットワークカード、モデムなど）により、コンピューティングデバイス６００が１つ又は複数の他のコンピューティングデバイスと通信可能にする。このような通信は、入力／出力(Ｉ／Ｏ)インターフェイス(図示せず)を介して実行され得る。
【0138】
いくつかの実施形態では、単一のデバイスに統合される代わりに、コンピューティングデバイス６００のいくつかの又は全てのコンポーネントがクラウドコンピューティングアーキテクチャに配置され得る。クラウドコンピューティングアーキテクチャでは、コンポーネントは遠隔的に提供され、連携して本開示で説明される機能を実施し得る。いくつかの実施形態では、クラウドコンピューティングは、コンピューティング、ソフトウェア、データアクセス及びストレージサービスを提供し、これらのサービスを提供するシステム又はハードウェアの物理的な位置又は構成をエンドユーザが認識する必要はない。様々な実施形態において、クラウドコンピューティングは、適切なプロトコルを使用して広域ネットワーク（インターネットなど）を介してサービスを提供する。例えば、クラウドコンピューティングプロバイダーは、Ｗｅｂブラウザ又はその他のコンピューティングコンポーネントを通じてアクセスできる広域ネットワーク経由でアプリケーションを提供する。クラウドコンピューティングアーキテクチャのソフトウェア又はコンポーネント及び対応するデータは、遠隔地にあるサーバに保存され得る。クラウドコンピューティング環境におけるコンピューティングリソースは、リモートデータセンターの場所に併合又は分散され得る。クラウドコンピューティングインフラストラクチャは、ユーザにとって単一のアクセスポイントとして動作するが、共有データセンターを通じてサービスを提供し得る。したがって、クラウドコンピューティングアーキテクチャを使用して、本明細書で説明されるコンポーネント及び機能を遠隔地にあるサービスプロバイダから提供し得る。代替的に、それらは従来のサーバから提供されるか、又はクライアントデバイスに直接又はその他の方法でインストールされ得る。
【0139】
コンピューティングデバイス６００は、本開示の実施形態において点群符号化/復号化を具現するために使用され得る。メモリ６２０は、１つ又は複数のプログラム命令を有する１つ又は複数の点群コーディングモジュール６２５を含み得る。これらのモジュールは、本明細書で説明される様々な実施形態の機能を実行するように、処理ユニット６１０によってアクセス可能かつ実行可能である。
【0140】
点群符号化を実行する例示的な実施形態では、入力デバイス６５０は、符号化されるべき点群データを入力６７０として受信し得る。点群データは、例えば、点群コーディングモジュール６２５によって処理されて、符号化されたビットストリームを生成し得る。符号化されたビットストリームは、出力デバイス６６０を介して出力６８０として提供され得る。
【0141】
点群復号化を実行する例示的な実施形態では、入力デバイス６５０は、符号化されたビットストリームを入力６７０として受信し得る。符号化されたビットストリームは、例えば、点群コーディングモジュール６２５によって処理されて、復号化された点群データを生成し得る。復号化された点群データは、出力デバイス６６０を介して出力６８０として提供され得る。
【0142】
本開示は、その好ましい実施形態を参照して特に図示及び説明されたが、添付の特許請求の範囲によって定義される本出願の精神及び範囲から逸脱することなく、形態及び詳細における様々な変更を行うことができることが当業者には理解されるであろう。このような変形は、本出願の範囲に含まれるものとする。したがって、本出願の実施形態に関する前述の説明は限定することを意図したものではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2024-05-31
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
点群コーディングのための方法であって、現在点群（ＰＣ）サンプルと点群シーケンスのビットストリームとの間の転換中に、前記点群シーケンスの現在ＰＣサンプルにおける現在点に対して、第１の幾何学的距離に基づいて、前記現在ＰＣサンプルの参照ＰＣサンプルにおける点のセットから少なくとも１つの近傍点を決定するステップと、
第２の幾何学的距離に基づいて、前記少なくとも１つの近傍点に関連付けられた少なくとも１つの重みを決定するステップであって、前記第２の幾何学的距離は、前記第１の幾何学的距離とは異なるステップと、
前記少なくとも１つの重み及び前記少なくとも１つの近傍点に基づいて、前記転換を実行するステップとを含む、方法。
【請求項2】
前記少なくとも１つの近傍点は予測子リストに保存される、請求項１に記載の方法。
【請求項3】
前記少なくとも１つの近傍点はターゲット点を含み、前記ターゲット点と前記現在点との間の第１の幾何学的距離は、前記現在点と前記点のセット内のそれぞれの点との間の第１の幾何学的距離の中で最小である、請求項１に記載の方法。
【請求項4】
前記第１の幾何学的距離は、
マンハッタン距離に基づいて決定される、請求項１に記載の方法。
【請求項5】
前記点のセットは、探索センター及び探索範囲によって定義される、請求項１に記載の方法。
【請求項6】
前記点のセットは、前記参照ＰＣサンプルの詳細レベル（ＬＯＤ）のグループに含まれる、請求項１に記載の方法。
【請求項7】
前記少なくとも１つの近傍点を決定するステップは、前記点のセットに対して、最近傍探索を実行することによって、前記少なくとも１つの近傍点を決定するステップを含む、請求項６に記載の方法。
【請求項8】
前記点のセットは、前記現在点と同じＬＯＤレベルの点、
前記現在点よりも低いＬＯＤレベルの点、又は
前記現在点よりも高いＬＯＤレベルの点とのうちの少なくとも１つを含む、請求項７に記載の方法。
【請求項9】
前記転換を実行するステップは、前記参照ＰＣサンプルに動き補償を適用することによって、補償された参照ＰＣサンプルを取得するステップと、
前記少なくとも１つの近傍点及び前記補償された参照ＰＣサンプルに基づいて、前記現在点の予測属性値を決定するステップと、
前記予測属性値に基づいて、前記転換を実行するステップとを含む、請求項１に記載の方法。
【請求項10】
前記転換を実行するステップは、前記少なくとも１つの近傍点及び前記参照ＰＣサンプルに基づいて、前記現在点の予測属性値を決定するステップと、
前記予測属性値に基づいて、前記転換を実行するステップとを含む、請求項１に記載の方法。
【請求項11】
前記参照ＰＣサンプルに動き補償が適用されるか否かを示す第３の指示が、前記ビットストリームに含まれる、請求項１に記載の方法。
【請求項12】
前記予測子リストは、異なるＰＣサンプルから決定された前記現在点の近傍点を保存するための複数のリストを組み合わせることによって生成される、請求項２に記載の方法。
【請求項13】
前記現在ＰＣサンプルは、前記点群シーケンスにおける点群フレーム内のスライスである、請求項１に記載の方法。
【請求項14】
前記転換は、前記現在ＰＣサンプルを前記ビットストリームに符号化するステップを含む、請求項１に記載の方法。
【請求項15】
前記転換は、前記ビットストリームから前記現在ＰＣサンプルを復号化するステップを含む、請求項１に記載の方法。
【請求項16】
プロセッサと、命令を備えた非一時的メモリとを含む、点群データを処理するための装置であって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに請求項１～１５のいずれか一項に記載の方法を実行させる、装置。
【請求項17】
プロセッサに請求項１～１５のいずれか一項に記載の方法を実行させる命令を記憶する、非一時的なコンピュータ可読記憶媒体。
【請求項18】
点群シーケンスのビットストリームを記憶するための方法であって、前記点群シーケンスの現在点群（ＰＣ）サンプルにおける現在点に対して、第１の幾何学的距離に基づいて、前記現在ＰＣサンプルの参照ＰＣサンプルにおける点のセットから少なくとも１つの近傍点を決定するステップと、
第２の幾何学的距離に基づいて、前記少なくとも１つの近傍点に関連付けられた少なくとも１つの重みを決定するステップであって、前記第２の幾何学的距離は、前記第１の幾何学的距離とは異なるステップと、
前記少なくとも１つの重み及び前記少なくとも１つの近傍点に基づいて、前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップとを含む、方法。
【国際調査報告】