(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-23
(54)【発明の名称】少なくとも1つのセンサでセンシングされた点群ジオメトリデータを符号化/復号化する方法および装置
(51)【国際特許分類】
G06T 9/00 20060101AFI20241016BHJP
【FI】
G06T9/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024518760
(86)(22)【出願日】2022-06-30
(85)【翻訳文提出日】2024-03-29
(86)【国際出願番号】 CN2022103141
(87)【国際公開番号】W WO2023050950
(87)【国際公開日】2023-04-06
(32)【優先日】2021-09-30
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】516180667
【氏名又は名称】北京小米移動軟件有限公司
【氏名又は名称原語表記】Beijing Xiaomi Mobile Software Co.,Ltd.
【住所又は居所原語表記】No.018, Floor 8, Building 6, Yard 33, Middle Xierqi Road, Haidian District, Beijing 100085, China
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】ラセール,セバスチャン
(72)【発明者】
【氏名】タケ,ジョナサン
(57)【要約】
センサインデックスに関連付けられた少なくとも1つのセンサでセンシングされた点群ジオメトリデータを符号化/復号化する方法と装置を提供し、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表される。方法は、第1のセンサインデックス(λ
1)を有し且つ第1の半径(r
1)に関連付けられた第1の占有された粗い点(P
1)に対して、少なくとも1つの第2の占有された粗い点(P
2)に関連付けられた少なくとも1つの第2の半径(r
2)、および少なくとも1つの第3の占有された粗い点(P
3)に関連付けられた少なくとも1つの第3の半径(r
3)から、選択された予測半径(r
pred)を選択(110)するステップと、選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)をビットストリームに符号化(120)するステップと、を含む。
【選択図】
図17
【特許請求の範囲】
【請求項1】
センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータをビットストリームに符号化する方法であって、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、前記方法は、
-第1のセンサインデックス(λ
1)を有し且つ第1の半径(r
1)に関連付けられた第1の占有された粗い点(P
1)に対して、第1のセンサインデックス(λ
1)と異なる第2のセンサインデックス(λ
2)を有する少なくとも1つの第2の占有された粗い点(P
2)に関連付けられた少なくとも1つの第2の半径(r
2)、及び第1のセンサインデックス(λ
1)に等しいセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられた少なくとも1つの第3の半径(r
3)から、選択された予測半径(r
pred)を選択(110)するステップと、
-選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)をビットストリームに符号化(120)するステップと、
-第1の半径(r
1)と選択された予測半径(r
pred)との間の残差半径(r
res)をビットストリームに予測符号化(130)するステップと、を含む、
センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータをビットストリームに符号化する方法。
【請求項2】
ビットストリームからセンサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを復号化する方法であって、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、前記方法は、
-第1のセンサインデックス(λ
1)を有する第1の占有された粗い点(P
1)に対して、ビットストリームから、選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)を復号化(210)するステップであって、前記選択された予測半径(r
pred)は、第1のセンサインデックス(λ
1)と異なる第2のセンサインデックス(λ
2)を有する少なくとも1つの第2の占有された粗い点(P
2)に関連付けられた少なくとも1つの第2の半径(r
2)、及び第1のセンサインデックス(λ
1)に等しいセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられた少なくとも1つの第3の半径(r
3)から選択されるステップと、
-第1の占有された粗い点(P
1)に対して、ビットストリームから残差半径(r
res)を復号化(220)するステップと、
-残差半径(r
res)とデータ(I
pred)から得られた選択された予測半径(r
pred)とに基づいて、第1の占有された粗い点(P
1)のための点群の点に関連付けられた半径(r
1)を取得(230)するステップと、を含む、
ビットストリームからセンサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを復号化する方法。
【請求項3】
データ(I
pred)は、選択された予測半径(r
pred)が第2の半径(r
2)であるか第3の半径(r
3)であるかを指示するバイナリデータを含む、
請求項1又は2に記載の方法。
【請求項4】
前記少なくとも1つの第2の半径(r
2)は第1の半径リスト(L
1={r
2})を形成し、前記少なくとも1つの第3の半径(r
3)は第2の半径リスト(L
2={r
3})を形成し、バイナリデータは、選択された予測半径(r
pred)が第1の半径リストに属するか第2の半径リストに属するかを指示する、
請求項3に記載の方法。
【請求項5】
データ(I
pred)は予測器インデックス(Idx)をさらに含み、予測器インデックス(Idx)は、選択された予測半径(r
pred)が第1の半径リスト又は第2の半径リストのどの半径に等しいかを指示する、
請求項4に記載の方法。
【請求項6】
単一の第2の半径(r
2)と少なくとも1つの第3の半径(r
3)のリスト(L={r
3})から、選択された予測半径を選択し、データ(I
pred)は予測器インデックス(Idx)を含み、予測器インデックス(Idx)が所定のインデックス値(Idx
V)に等しくない場合、予測器インデックス(Idx)は、選択された予測半径(r
pred)がリストにおけるどの半径(r
3)に等しいかを指示し、そうでない場合、データ(I
pred)は、選択された予測半径(r
pred)が第2の半径(r
2)に等しいか、半径リストにおける所定のインデックス値(Idx
V)によって指示された第3の半径(r
3)に等しいかを指示するバイナリデータ(f
HV)をさらに含む、
請求項1又は2に記載の方法。
【請求項7】
前記少なくとも1つの第2の半径と少なくとも1つの第3の半径(r
2、r
3)は単一の半径リスト(L={r
2,r
3})を形成し、データ(I
pred)は、選択された予測半径(r
pred)が半径リストにおけるどの半径に等しいかを指示する予測器インデックスを含む、
請求項1又は2に記載の方法。
【請求項8】
単一の半径リストの半径を、最も多く選択された1つから最も少なく選択された1つへの順に統計的に並べ替える、
請求項7に記載の方法。
【請求項9】
センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを表す符号化された点群データのビットストリームであって、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、
ビットストリームは、第1の占有された粗い点(P
1)に関連付けられた半径(r
1)と選択された予測半径(r
pred)との間の残差半径を表す符号化された点群データを含み、
ビットストリームは、選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)をさらに含み、
前記第1の占有された粗い点(P
1)は2次元空間内に第1のセンサインデックス(λ
1)を有し、
前記第2の半径(r
2)は、第1のセンサインデックス(λ
1)と異なる2次元空間内の第2のセンサインデックス(λ
2)を有する第2の占有された粗い点(P
2)に関連付けられ、
前記半径(r
3)は、第1のセンサインデックス(λ
1)に等しい2次元空間内のセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられる、
センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを表す符号化された点群データのビットストリーム。
【請求項10】
センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータをビットストリームに符号化する装置であって、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、前記装置は少なくとも1つのプロセッサを備え、前記少なくとも1つのプロセッサは、
-第1のセンサインデックス(λ
1)を有し且つ第1の半径(r
1)に関連付けられた第1の占有された粗い点(P
1)に対して、第1のセンサインデックス(λ
1)と異なる第2のセンサインデックス(λ
2)を有する少なくとも1つの第2の占有された粗い点(P
2)に関連付けられた少なくとも1つの第2の半径(r
2)、及び第1のセンサインデックス(λ
1)に等しいセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられた少なくとも1つの第3の半径(r
3)から、選択された予測半径(r
pred)を選択し、
-選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)をビットストリームに符号化し、
-第1の半径(r
1)と選択された予測半径(r
pred)との間の残差半径(r
res)をビットストリームに予測符号化するように構成される、
センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータをビットストリームに符号化する装置。
【請求項11】
ビットストリームからセンサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを復号化する装置であって、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、前記装置は少なくとも1つのプロセッサを備え、前記少なくとも1つのプロセッサは、
-第1のセンサインデックス(λ
1)を有する第1の占有された粗い点(P
1)に対して、ビットストリームから、選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)を復号化し、前記選択された予測半径(r
pred)は、第1のセンサインデックス(λ
1)と異なる第2のセンサインデックス(λ
2)を有する少なくとも1つの第2の占有された粗い点(P
2)に関連付けられた少なくとも1つの第2の半径(r
2)、及び第1のセンサインデックス(λ
1)に等しいセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられた少なくとも1つの第3の半径(r
3)から選択され、
-第1の占有された粗い点(P
1)に対して、ビットストリームから残差半径(r
res)を復号化し、
-残差半径(r
res)とデータ(I
pred)から得られた選択された予測半径(r
pred)とに基づいて、第1の占有された粗い点(P
1)のための点群の点に関連付けられた半径(r
1)を取得するように構成される、
ビットストリームからセンサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを復号化する装置。
【請求項12】
命令を含むコンピュータブログラム製品であって、ブログラムが1つ又は複数のプロセッサによって実行されると、命令は1つ又は複数のプロセッサに、センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータをビットストリームに符号化する方法を実行させ、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、前記方法は、
-第1のセンサインデックス(λ
1)を有し且つ第1の半径(r
1)に関連付けられた第1の占有された粗い点(P
1)に対して、第1のセンサインデックス(λ
1)と異なる第2のセンサインデックス(λ
2)を有する少なくとも1つの第2の占有された粗い点(P
2)に関連付けられた少なくとも1つの第2の半径(r
2)、及び第1のセンサインデックス(λ
1)に等しいセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられた少なくとも1つの第3の半径(r
3)から、選択された予測半径(r
pred)を選択(110)するステップと、
-選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)をビットストリームに符号化(120)するステップと、
-第1の半径(r
1)と選択された予測半径(r
pred)との間の残差半径(r
res)をビットストリームに予測符号化(130)するステップと、を含む、
コンピュータブログラム製品。
【請求項13】
センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータをビットストリームに符号化する方法を実行するためのブログラムコードの命令を運ぶ非一時的な記憶媒体であって、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、前記方法は、
-第1のセンサインデックス(λ
1)を有し且つ第1の半径(r
1)に関連付けられた第1の占有された粗い点(P
1)に対して、第1のセンサインデックス(λ
1)と異なる第2のセンサインデックス(λ
2)を有する少なくとも1つの第2の占有された粗い点(P
2)に関連付けられた少なくとも1つの第2の半径(r
2)、及び第1のセンサインデックス(λ
1)に等しいセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられた少なくとも1つの第3の半径(r
3)から、選択された予測半径(r
pred)を選択(110)するステップと、
-選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)をビットストリームに符号化(120)するステップと、
-第1の半径(r
1)と選択された予測半径(r
pred)との間の残差半径(r
res)をビットストリームに予測符号化(130)するステップと、を含む、
非一時的な記憶媒体。
【請求項14】
命令を含むコンピュータブログラム製品であって、ブログラムが1つ又は複数のプロセッサによって実行されると、命令は1つ又は複数のプロセッサに、ビットストリームからセンサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを復号化する方法を実行させ、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、前記方法は、
-第1のセンサインデックス(λ
1)を有する第1の占有された粗い点(P
1)に対して、ビットストリームから、選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)を復号化(210)するステップであって、前記選択された予測半径(r
pred)は、第1のセンサインデックス(λ
1)と異なる第2のセンサインデックス(λ
2)を有する少なくとも1つの第2の占有された粗い点(P
2)に関連付けられた少なくとも1つの第2の半径(r
2)、及び第1のセンサインデックス(λ
1)に等しいセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられた少なくとも1つの第3の半径(r
3)から選択されるステップと、
-第1の占有された粗い点(P
1)に対して、ビットストリームから残差半径(r
res)を復号化(220)するステップと、
-残差半径(r
res)とデータ(I
pred)から得られた選択された予測半径(r
pred)とに基づいて、第1の占有された粗い点(P
1)のための点群の点に関連付けられた半径(r
1)を取得(230)するステップと、を含む、
コンピュータブログラム製品。
【請求項15】
ビットストリームからセンサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを復号化する方法を実行するためのブログラムコードの命令を運ぶ非一時的な記憶媒体であって、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、前記方法は、
-第1のセンサインデックス(λ
1)を有する第1の占有された粗い点(P
1)に対して、ビットストリームから、選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)を復号化(210)するステップであって、前記選択された予測半径(r
pred)は、第1のセンサインデックス(λ
1)と異なる第2のセンサインデックス(λ
2)を有する少なくとも1つの第2の占有された粗い点(P
2)に関連付けられた少なくとも1つの第2の半径(r
2)、及び第1のセンサインデックス(λ
1)に等しいセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられた少なくとも1つの第3の半径(r
3)から選択されるステップと、
-第1の占有された粗い点(P
1)に対して、ビットストリームから残差半径(r
res)を復号化(220)するステップと、
-残差半径(r
res)とデータ(I
pred)から得られた選択された予測半径(r
pred)とに基づいて、第1の占有された粗い点(P
1)のための点群の点に関連付けられた半径(r
1)を取得(230)するステップと、を含む、
非一時的な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、一般に点群圧縮に関し、特に少なくとも1つのセンサでセンシングされた点群ジオメトリデータを符号化/復号化する方法及び装置に関する。
【背景技術】
【0002】
このセクションは、読者に当技術分野の様々な態様を紹介することを目的とし、これらの態様は、以下に記載および/または特許請求される本出願の少なくとも1つの実施例の様々な態様に関連する。この議論は、本出願のあらゆる態様をよりよく理解するために、読者に背景情報を提供するのに役立つと考えられる。
【0003】
点群は、3Dデータを表すフォーマットとして最近注目されている。これは、すべてのタイプの物理的オブジェクトまたはシナリオを表す能力が様々である。点群は文化遺産/建築物など、様々な目的で使用でき、物体を送信したりアクセスしたりすることなく物体の空間設定(configuration)を共有するために、彫刻や建物のような物体を3D方式でスキャンする。また、物体が破壊される可能性がある場合、その物体の知識を確実に保存する方式である。例えば、地震では破壊されたお寺である。通常、このタイプの点群は静的でカラーで巨大である。
【0004】
もう一つの使用例は地形学と製図学であり、3D表現を使用して地図が平面に限らず起伏を含むことができることを許可する。Googleマップは現在3Dマップの良い例であるが、点群ではなくメッシュを使用している。しかし、点群は3Dマップの適切なデータフォーマットであってもよく、通常、このタイプの点群は静的でカラーで巨大である。
【0005】
バーチャルリアリティ(VR)、拡張現実(AR)、没入型の世界は最近話題となり、多くの人に2Dタブレットビデオの未来と予見されている。その基本思想は視聴者を周囲の環境に浸らせることであるが、規格テレビでは視聴者が彼/彼女自分の前の仮想世界を見ることしか許されていない。視聴者の環境における自由度により、没入感にはいくつかのレベルがある。点群はVR/AR世界を配布する良いフォーマット候補である。
【0006】
自動車産業、特に予見可能な自動運転車の分野も、点群を大量に使用できる分野である。自動運転車は、検出された彼らの最も近い近傍の物体の存在や性質、及び道路配置に基づいて、良好な運転判断を行うために、彼らの環境を「検知」することができるはずである。
【0007】
点群とは、三次元(3D)空間に位置する点の集合であり、選択的に各点に付加値を付加する。これらの付加値は、通常、属性と呼ばれる。属性は、例えば、3成分の色、材料特性(例えば反射率)、及び/又は点に関連付けられた表面への2成分の法線ベクトルであってもよい。
【0008】
したがって、点群はジオメトリデータ(3D空間における点の位置であり、通常、3Dデカルト座標x、y、zで表される)と属性との組み合わせである。
【0009】
点群は、カメラのアレイ、深度センサ、レーザ(光検出と測距、レーザレーダとも呼ばれる)、レーダなど、様々なタイプのデバイスでセンシングすることができ、または、コンピュータで生成することもできる(例えば、映画のポストプロダクションなど)。使用例に応じて、地図作成のために、点群には数千から数十億の点が含まれてもよい。点群の元の表現には、点ごとに非常に多くのビット数が必要であり、デカルト座標x、y、またはzごとに少なくとも十数ビットがあり、さらに選択的に(1つまたは複数)属性により多くのビット、例えば、色用の10ビットの3倍、を提供する。
【0010】
多くのアプリケーションでは、許容できる(または好ましくは非常に優れた)体験品質を維持しながら、適切な数のビットレートまたはストレージスペースを消費するだけで、エンドユーザに点群を配布したり、サーバに保存したりできることが重要である。これらの点群の効率的な圧縮は、多くの没入型の世界の配布チェーンを実用化するための重要なポイントである。
【0011】
エンドユーザによる配布と可視化に対して、例えばAR/VRグラスやその他の任意の3D対応デバイスでは、圧縮は非可逆圧縮(例えば、ビデオ圧縮の場合)であってもよい。しかし、医療アプリケーションや自動運転など、圧縮され伝送された点群の後続解析から取得される判断結果を変更しないようにするために、可逆圧縮を必要とする使用例もある。
【0012】
最近まで、マスマーケットは点群圧縮(別名PCC)の問題を解決せず、使用可能な規格化された点群デコーダもない。2017年、規格化ワーキンググループISO/JCT1/SC29/WG11は、ビデオ像専門家グループまたはMPEGとも呼ばれ、点群圧縮の作業プロジェクトを開始した。その結果、次の2つの規格が制定されている。即ち、
・ MPEG-I パート5(ISO/IEC 23090-5)またはビデオベースの点群圧縮(別名V-PCC)
・ MPEG-I パート9(ISO/IEC 23090-9)またはジオメトリベースの点群圧縮(別名G-PCC)
【0013】
V-PCC符号化方法は、3Dオブジェクトに複数回の投影を行って点群を圧縮して、画像(動的点群を処理する場合のビデオ)にパッケージ化された2Dパッチを取得するする。既存の画像/ビデオコーデックで取得された画像やビデオを圧縮し、すでに配置された画像とビデオ解決案を最大限に活用可能になる。画像/ビデオコーデックが、レーザレーダでセンシングされた疎なジオメトリデータの投影から取得された非平滑なパッチのような非平滑なパッチを圧縮することができないため、V-PCCは、その本質上で、密集した点群と連続した点群のみで効率的である。
【0014】
G-PCC符号化方法は、センシングされた疎なジオメトリデータを圧縮するための2つの方案がある。
【0015】
第1の方案は、ローカルでは八分ツリー、四分ツリー、二分ツリーの任意のタイプのツリーである占有ツリーに基づいており、点群ジオメトリを表している。占有されたノード(すなわち、点群の少なくとも1つの点を含む立方体/直方体に関連するノード)は一定のサイズに達するまで分割され、占有されたリーフノードによって点の3D位置が提供され、通常これらのノードの中心にある。占有情報は、占有データ(バイナリデータ、フラグ)によって運ばれ、占有フラグがノードのサブノードのそれぞれの占有状態を通信するための信号を送信する。近傍ベースの予測技術を使用することにより、密な点群が占有するデータの高いレベルの圧縮率を取得することができる。疎な点群は、ノード内の非最小サイズの点の位置を直接符号化することによっても解決でき、ノード内に孤立した点のみが存在する場合にツリー構築を停止する。このような技術は直接符号化モード(DCM)と呼ばれる。
【0016】
第2の方案は、各ノードが1点の3D位置を表し、ノード間の親/子関係が親から子への空間予測を表す予測ツリーに基づくものである。この方法は疎な点群しか解決せず、占有ツリーよりも遅延が低く復号化が簡単であるという利点が提供される。しかし、占有ベースの第1の方法に対して、圧縮性能はわずかしか向上せず、エンコーダが予測ツリーを構築する際に(潜在的な予測器の長いリストから)最適な予測器を集中的に探す必要があるため、符号化が複雑になる。
【0017】
この2つの方案では、属性(復号化)符号化は、ジオメトリ(復号化)符号化が完了した後に行われるため、実質的に2つの符号化が発生する。従って、結合ジオメトリ/属性低遅延は、サブボリューム間で予測することなく、3D空間を独立して符号化されるサブボリュームのスライスに分解することによって得られる。多くのスライスを使用すると、圧縮性能に深刻な影響を与える。
【0018】
エンコーダとデコーダの簡素化、低遅延、圧縮性能の要件を組み合わせることは、既存の点群コーデックでは依然として満足に解決されていない問題である。
【0019】
重要な使用例は、移動車両に搭載された少なくとも1つのセンサでセンシングされた疎なジオメトリデータの伝送である。この場合、通常、簡単で低遅延な組み込みエンコーダを必要とされる。簡単性が要求され、エンコーダが他の処理(例えば、(半)自動運転)を並行して実行するコンピューティングユニットに配置される可能性があるため、点群エンコーダが使用可能な処理能力が制限される。また、自動車からクラウドへの高速伝送を可能にするために、複数の車両の収集に基づいてローカル交通をリアルタイムで確認し、交通情報に基づいて十分急速な決定を行うように、低い遅延が必要である。5Gの使用により、伝送遅延を十分に低くすることができるが、符号化のためにエンコーダ自体があまり多くの遅延を導入すべきではない。そして、数百万台の自動車からクラウドへのデータの流れは膨大になると予測されるため、圧縮性能は極めて重要である。
【0020】
スピンレーザレーダでセンシングされた疎なジオメトリデータに関連する特定のプライアは、すでにG-PCCで利用されており、非常に顕著な圧縮利得をもたらす。
【0021】
まず、G-PCCでは、
図1と
図2に示すように、スピンレーザレーダヘッド10でセンシングされた仰角(水平な地面に対する)を利用する。レーザレーダヘッド10は、センサ11(例えば、レーザ機器)の集合を含み、ここでは5つのセンサが示される。スピンレーザレーダヘッド10は、鉛直軸z周りに回転して、物理的オブジェクトのジオメトリデータをセンシングすることができる。その後、レーザレーダでセンシングされたジオメトリデータは球面座標(r
3D、φ、θ)で表され、r
3Dが点Pからレーザレーダヘッドの中心までの距離であり、φは基準物に対するレーザレーダヘッドの自己回転の方位角であり、θは水平基準平面に対するレーザレーダヘッド10のセンサkの仰角である。
【0022】
図3に示されるように、レーザレーダでセンシングされたデータで方位角に沿った規則的な分布が観察されている。この規則性は、G-PCCにおいて点群の準1D表現を取得するために用いられ、ノイズまで半径r
3Dのみが連続した値の範囲に属し、角度φとθは離散的な数の値のみを取り、φ
i∀i=0~I-1であり、Iは点をセンシングするための方位角の数であり、θj∀i=0~J-1であり、Jはスピンレーザレーダヘッド10のセンサの数である。基本的に、
図3に示すように、G-PCCは2次元(離散)角度座標空間(φ、θ)でのレーザレーダでセンシングされた疎なジオメトリデータ、及び各点の半径値r
3Dを表す。
【0023】
球面座標空間において、角度の離散的特性を用いることにより、すでに符号化された点に基づいて現在の点の位置を予測し、このような準1D特性はすでにG-PCCにおいて占有ツリーと予測ツリーの両者において利用されている。
【0024】
より正確には、占有ツリーはDCMを大量に使用し、コンテキスト自己適応エントロピーエンコーダを使用してノード内の点の直接位置をエントロピー符号化する。点の位置から角度座標(φ、θ)へのローカル変換、及び以前に符号化された点から取得された離散的な角度座標(φ
i、θ
j)に対するこれらの角度座標の位置からコンテキストを取得する。この座標空間を使用した準1Dの性質(r
2D、φ
i、θ
j)を使用して、予測ツリーは角度座標(r
2D、φ、θ)における点の位置の最初のバージョンを直接符号化し、
図4に示すように、r
2Dは水平xy平面上の投影半径である。次に、球面座標(r
2D、φ、θ)を3Dデカルト座標(x、y、z)に変換し、座標変換の誤差、仰角および方位角の近似、および潜在的なノイズを解決するために、xyz残差を符号化する。
【0025】
G-PCCは、確かにスピンレーザレーダでセンシングされた疎なジオメトリデータをよりよく圧縮するために角度プライアを使用するが、符号化構造をセンシングの順序に適合させない。本質的には、占有ツリーは点を出力する前にその最後の深さまで符号化する必要がある。この占有データは、いわゆる広さ優先順位に従って符号化される:最初にルートノードの占有データを符号化して、それが占有されているサブノードを指示し、次に、占有されている各サブノードの占有データを符号化して、占有されている孫ノードを指示し、このように、リーフノードが決定され、対応する点がアプリケーションまたは(1つまたは複数の)属性符号化方案に提供/出力されるまで、ツリーの深さで繰り返し実行される。予測ツリーについては、エンコーダはツリー内の点の順序を自由に選択することができるが、良好な圧縮性能を取得し、予測精度を最適化するために、G-PCCは、センサごとに1本のツリーを符号化することを推奨する。これは主に、各センサが1つの符号化スライスを使用するのと同じ欠点、すなわち、センサ間の予測が不可能であり、エンコーダの低遅延が提供されないため、非最適な圧縮性能を有する。さらに悪いことに、各センサは1つの符号化処理を有するべきであり、コア符号化ユニットの数はセンサの数に等しい必要があるため、これは非現実的である。
【0026】
つまり、点群の疎なジオメトリデータをセンシングするためのスピンセンサヘッドのフレームワークにおいて、従来技術は、符号化及び復号化の簡単さ、低遅延性、及び圧縮性能の組み合わせの問題を解決していない。
【0027】
また、スピンセンサヘッドを使用して点群の疎なジオメトリデータをセンシングすることにはいくつかの欠点があり、他のタイプのセンサヘッドを使用することもできる。
【0028】
スピンセンサヘッドのスピン(回転)が発生する機械部品は破損しやすく、コストが高い。また、構造上、視野角は必然的に2πとなる。これは、関心のある特定の領域を高周波数でセンシングすることを許さず、例えば、車両の前方をセンシングすることが、後方をセンシングするよりも興味深い可能性がある。実際、ほとんどの場合、センサが車両に取り付けられるとき、2π視野角の大部分は車両自体によって遮蔽され、遮蔽された視野角はセンシングされる必要がない。
【0029】
最近、センシングすべき領域をより柔軟に選択できる新しいセンサが登場した。ほとんどの最近の設計では、
図5に示されるように、センサは、3Dシーン内の様々なセンシング経路を取得するために、より自由に電子的に(壊れやすい機械部品を回避するために)移動することができる。
図5には、4つのセンサのグループが示される。それらの相対的なセンシング方向(すなわち、方位角と仰角)は互いに固定されているが、それらは全体的に2次元角度座標(φ、θ)空間上の破線で描かれるプログラマブルなセンシング経路に沿ってシーンをセンシングする。そして、センシング経路に沿って点群の点を規則的にセンシングすることができる。
図6に示すように、関心領域Rが検出された場合、いくつかのセンサヘッドはまた、そのセンシング周波数を増加させることにより、そのセンシング周波数を調整することができる。このような関心領域Rは、例えば、前のフレームにおいて以前にセグメント化されている、またはセンシング期間に動的にセグメント化された近距離オブジェクト、移動オブジェクト、または任意のオブジェクト(歩行者、他の車両など)に関連付けられることができる。
図7は、2つのセンサを含むセンサヘッドによって使用されるセンシング経路(典型的なジグザグセンシング経路)の別の例を概略的に示しており、関心領域(グレーシェーディング点とグレーハッシュ点)が検出された場合、この2つのセンサはそれらのセンシング周波数を増加させることができる。ジグザグセンシング経路を使用することは、3Dシーンの有限(方位角)角セクタをセンシングするために有利に使用されることができる。センサが車両に取り付けられることができるため、センサが車両の上部に位置しない限り、関心のあるビューポートは必然的にシーンを遮る車両自体の存在によって制限される。そのため、限られた検知角セクタを有するセンサが高く注目され、車両への統合が容易になる。
【0030】
図8に示すように、単一のセンサを含むセンサヘッドは、回転(ここでは垂直回転)に伴って振動するミラーでの反射を使用するなど、複数の位置(
図8の2つの垂直位置)をセンシングするために使用されてもよい。この場合、センサのグループを使用せず、複数のセンサのグループを使用するセンシングを、センシング経路(ここではジグザグセンシング経路)に沿って異なる角度位置(すなわち、
図8では異なる仰角を有する)にある単一のセンサを使用してシミュレーションする。
【0031】
簡単にするために、以下の説明および請求項において、「センサヘッド」は、物理センサのグループ、またはセンサのグループをシミュレーションするセンシング仰角インデックスのセットを指すことができる。また、当業者であれば、「センサ」は、各センシング仰角インデックス位置におけるセンサを指すこともできることを理解できる。
【0032】
エンコーダとデコーダの簡素化、低遅延、及びあらゆるタイプのセンサでセンシングされた点群の圧縮性能の要件を組み合わせることは、既存の点群コーデックでは依然として満足に解決されていない問題である。
【0033】
上記の内容を考慮して、本出願の少なくとも1つの実施例は設計される。
【発明の概要】
【発明が解決しようとする課題】
【0034】
次節では、本出願のいくつかの態様の基本的な理解を提供するために、少なくとも1つの実施例の簡素化された概要を提示する。この概要は、実施例の詳細な概要ではない。これは、実施例の肝心な要素または重要な要素を特定することを意図していない。以下の概要は、文書中の他の場所で提供されるより詳細な説明の前置きとして、実施例の少なくとも1つのいくつかの態様のみを簡略化された形で提示する。
【課題を解決するための手段】
【0035】
本出願の第1の態様によれば、センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータをビットストリームに符号化する方法を提供し、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられる。該方法は、第1のセンサインデックスを有し且つ第1の半径に関連付けられた第1の占有された粗い点に対して、第1のセンサインデックスと異なる第2のセンサインデックスを有する少なくとも1つの第2の占有された粗い点に関連付けられた少なくとも1つの第2の半径、及び第1のセンサインデックスに等しいセンサインデックスを有する少なくとも1つの第3の占有された粗い点に関連付けられた少なくとも1つの第3の半径から、選択された予測半径を選択するステップと、選択された予測半径が第2の半径に等しいか第3の半径に等しいかを指示するデータをビットストリームに符号化するステップと、第1の半径と選択された予測半径との間の残差半径をビットストリームに予測符号化するステップと、を含む。
【0036】
本願の第2の態様によれば、ビットストリームからセンサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを復号化する方法を提供し、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられる。該方法は、第1のセンサインデックスを有する第1の占有された粗い点に対して、ビットストリームから、選択された予測半径が第2の半径に等しいか第3の半径に等しいかを指示するデータを復号化するステップであって、前記選択された予測半径は、第1のセンサインデックスと異なる第2のセンサインデックスを有する少なくとも1つの第2の占有された粗い点に関連付けられた少なくとも1つの第2の半径、及び第1のセンサインデックスに等しいセンサインデックスを有する少なくとも1つの第3の占有された粗い点に関連付けられた少なくとも1つの第3の半径から選択されるステップと、第1の占有された粗い点に対して、ビットストリームから残差半径を復号化するステップと、残差半径とデータから得られた選択された予測半径とに基づいて、第1の占有された粗い点に使用される点群の点に関連付けられた半径を取得するステップと、を含む。
【0037】
例示的な一実施例では、データは、選択された予測半径が第2の半径であるか第3の半径であるかを指示するバイナリデータを含む。
【0038】
例示的な一実施例では、前記少なくとも1つの第2の半径は第1の半径リストを形成し、前記少なくとも1つの第3の半径は第2の半径リストを形成し、バイナリデータは、選択された予測半径が第1の半径リストに属するか第2の半径リストに属するかを指示する。
【0039】
例示的な一実施例では、データは予測器インデックスをさらに含み、予測器インデックスは、選択された予測半径が第1の半径リスト又は第2の半径リストのどの半径に等しいかを指示する。
【0040】
例示的な一実施例では、単一の第2の半径と少なくとも1つの第3の半径のリストから、選択された予測半径を選択し、データは予測器インデックスを含み、予測器インデックスが所定のインデックス値に等しくない場合、予測器インデックスは、選択された予測半径がリストにおけるどの半径に等しいかを指示し、そうでない場合、データは、選択された予測半径が第2の半径に等しいか、半径リストにおける所定のインデックス値によって指示された第3の半径に等しいかを指示するバイナリデータをさらに含む。
【0041】
例示的な一実施例では、前記少なくとも1つの第2の半径と少なくとも1つの第3の半径は単一の半径リストを形成し、データは、選択された予測半径が半径リストにおけるどの半径に等しいかを指示する予測器インデックスを含む。
【0042】
例示的な一実施例では、単一の半径リストの半径を、最も多く選択された1つから最も少なく選択された1つへの順に統計的に並べ替える。
【0043】
本願の第3の態様によれば、センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを表す符号化された点群データのビットストリームを提供し、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられる。ビットストリームは、第1の占有された粗い点に関連付けられた半径と選択された予測半径との間の残差半径を表す符号化された点群データと、選択された予測半径が第2の半径に等しいか第3の半径に等しいかを指示するデータとを含み、前記第1の占有された粗い点は2次元空間内に第1のセンサインデックスを有し、前記第2の半径は、第1のセンサインデックスと異なる2次元空間内の第2のセンサインデックスを有する第2の占有された粗い点に関連付けられ、前記半径は、第1のセンサインデックスに等しい2次元空間内のセンサインデックスを有する少なくとも1つの第3の占有された粗い点に関連付けられる。
【0044】
本願の第4の態様によれば、センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータをビットストリームに符号化する装置を提供し、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表される。該装置は、本願の第1の態様の方法を実行するように構成される1つ又は複数のプロセッサを含む。
【0045】
本願の第5態様によれば、ビットストリームからセンサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを復号化する装置を提供し、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表される。該装置は、本願の第2の態様の方法を実行するように構成される1つ又は複数のプロセッサを含む。
【0046】
本願の第6態様によれば、命令を含むコンピュータブログラム製品を提供し、ブログラムが1つ又は複数のプロセッサによって実行される場合、該命令は、本願の第1の態様の方法を該1つ又は複数のプロセッサに実行させる。
【0047】
本願の第7態様によれば、本願の第1の態様の方法を実行するためのブログラムコードの命令を運ぶ非一時的な記憶媒体を提供する。
【0048】
本願の第8態様によれば、命令を含むコンピュータブログラム製品を提供し、ブログラムが1つ又は複数のプロセッサによって実行される場合、該命令は、本願の第2の態様の方法を1つ又は複数のプロセッサに実行させる。
【0049】
本願の第9態様によれば、本願の第2の態様の方法を実行するためのブログラムコードの命令を運ぶ非一時的な記憶媒体を提供する。
【0050】
実施例における的少なくとも1つの具体的な性質および該実施例における少なくとも1つの他の目的、利点、特徴と用途は、以下の図面と組み合わせた実施例への説明から明らかになる。
【図面の簡単な説明】
【0051】
ここで、図面を例示的に参照し、図面は本願の例示的な実施例を示している。
【
図1】従来技術に係るセンサヘッドおよびそのいくつかのパラメータの側面図を概略的に示す図である。
【
図2】従来技術に係るセンサヘッドおよびそのいくつかのパラメータの平面図を概略的に示す図である。
【
図3】従来技術に係るスピンセンサヘッドでセンシングされたデータの規則的な分布を概略的に示す図である。
【
図4】従来技術に係る3D空間中の点群の点の表現を概略的に示す図である。
【
図5】従来技術に係るプログラマブルセンシング路径に沿って実際のシーンをセンシング可能なセンサヘッドの例を概略的に示す図である。
【
図6】従来技術に係る異なるセンシング周波数に基づいてプログラマブルセンシング路径に沿って実際のシーンをセンシング可能なセンサヘッドの例を概略的に示す図である。
【
図7】従来技術に係る異なるセンシング周波数に基づいてプログラマブルジグザグセンシング路径に沿って実際のシーンをセンシング可能なセンサヘッドの例を概略的に示す図である。
【
図8】異なるセンシング周波数に基づいてプログラマブルジグザグセンシング路径に沿って実際のシーンをセンシング可能な単一のセンサヘッドを概略的に示す図である。
【
図9】少なくとも1つの実施例に係る粗い表現の順序付きの粗点の例を概略的に示す図である。
【
図10】示例的な一実施例に係る粗い点の順序の例を概略的に示す図である。
【
図11】2次元座標(s,λ)空間における順序付きの粗い点の表示を概略的に示す図である。
【
図12】少なくとも1つの実施例に係る粗い表現の順序付きの粗い点を概略的に示す図である。
【
図13】センサが水平面に類似した道路上の点をセンシングすることを概略的に示す図である。
【
図14】センサがオブジェクトを有する道路上の点をセンシングすることを概略的に示す図である。
【
図15】従来技術に係る古いオブジェクトから新しいオブジェクトへの放射状ジャンプが発生する時の予測半径を概略的に示す図である。
【
図16】従来技術に係る古いオブジェクトから新しいオブジェクトへの放射状ジャンプが発生する時のもう1つのセンサからの予測半径を概略的に示す図である。
【
図17】少なくとも1つの実施例に係る点群ジオメトリデータを符号化された点群データのビットストリームに符号化する方法100のステップを示す概略的なブロック図である。
【
図18】少なくとも1つの実施例に係る符号化された点群データのビットストリームから点群ジオメトリデータを復号化する方法200のステップを示す概略的なブロック図である。
【
図19】例示的な一実施例に係る第1の占有された粗い点の近傍領域に属する粗い点の例を概略的に示す図である。
【
図20】方法100と200の例示的な一実施例に係る第1の占有された粗い点の近傍領域に属する粗い点の例を概略的に示す図である。
【
図21】方法100と200の例示的な一実施例に係る第1の占有された粗い点の近傍領域に属する粗い点の例を概略的に示す図である。
【
図22】方法100と200の例示的な一実施例に係る第1の占有された粗い点の近傍領域に属する粗い点の例を概略的に示す図である。
【
図23】方法100と200の例示的な一実施例に係る第1の占有された粗い点の近傍領域に属する粗い点の例を概略的に示す図である。
【
図24】方法100と200の例示的な一実施例に係る第1の占有された粗い点の近傍領域に属する粗い点の例を概略的に示す図である。
【
図25】
図17の方法100の変形のステップを示すブロック図である。
【
図26】
図18の方法200の変形のステップを示すブロック図である。
【
図27】方法100と200の変形の第1の占有された粗い点の近傍領域に属する粗い点の例を概略的に示す図である。
【
図28】少なくとも1つの例示的な実施例に係る予測器インデックスの符号化/復号化を概略的に示す図である。
【
図29】各態様と例示的な実施例を実現するシステムの例を示すブロック図である。
【0052】
異なる図において、類似した符号を使用して類似した構成要素を表すことができる。
【発明を実施するための形態】
【0053】
以下、図面を参照しながら、実施例のうちの少なくとも1つの例をより完全に説明し、実施例のうちの少なくとも1つを図示する。しかし、実施例は、多くの代替形態で実行されることができ、本明細書に記載された例に限定されるものとして解釈されるべきではない。したがって、実施例が開示された特定の形態に限定されることは意図されていないことを理解されたい。むしろ、本出願は、本出願の精神および範囲内に含まれるすべての修正、均等物および代替案をカバーすることを意図している。
【0054】
少なくとも一方では、一般に点群符号化および復号化に関し、他方では、一般に、生成または符号化されたビットストリームの伝送に関し、また他方では、復号化されたビットストリームの受信/アクセスに関する。
【0055】
また、本態様は、点群圧縮などに関連するMPEG-Iパート5またはパート9のようなMPEG標準に限定されるものではなく、例えば、既存または将来開発されたものを問わず他の標準および推奨、およびこのような標準および推奨(MPEG-Iパート5およびパート9を含む)の拡張に適用されることができる。特に指示がない限り、又は技術的に除外されない限り、本出願に記載された態様は、単独で又は組み合わせて使用されることができる。
【0056】
本発明は、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する粗い表現の順序付きの粗い点によって表される点群ジオメトリデータを符号化/復号化することに関する。
【0057】
例えば、MPEG 3Dグラフィックス符号化に関連するワーキンググループISO/IEC JTC1/SC29/WG7では、L3C2(低遅延低複雑さのコーデック)と呼ばれる新規コーデックが、G-PCCコーデックに対してレーザレーダでセンシングされた点群の符号化効率を向上させると考えられている。コーデックL3C2は、点群の点の2次元表現(すなわち粗い表現)の例を提供する。このコードの説明は、2021年8月31日付けのワーキンググループの出力文書N 00167、ISO/IEC JTC1/SC 29/WG7、MPEG 3Dグラフィックス符号化、「Technologies under Consideration in G-PCC(G-PCCにおける検討中の技術)」に記載されている。
【0058】
基本的に、点群の各センシング点Pnに対して、センシング点Pnの3D位置を表す3Dデカルト座標(xn,yn,zn)を変換することにより、センシング点Pnのセンサに関連付けられたセンサインデックスλnとこのセンサのセンシング角を表す方位角φnとを取得する。その後、方位角φnとセンサインデックスλnとに基づいて点群の点をソートし、例えば、最初に方位角に基づいて次にセンサインデックスに基づいた辞書順に基づく。その後、点Pnの順序インデックスo(Pn)は以下の式で取得される。
o(Pn)=φn
*K+λn
ここで、Kはセンサの数である。
【0059】
図9は粗い表現の順序付きの粗い点を概略的に示す図である。点群の5つの点はすでにセンシングされている。この5点のそれぞれは、粗い表現における粗い点(黒点)によって粗く表現される:2つの粗い点P
nとP
n+1は、時間t1に角度φ
c(φ
i
′
s内)でセンシングされた点群のうちの2つの点を表し、3つの粗い点は時間t
2に角度φ
c+Δφでセンシングされた点群のうちの3つの点を表す。センシングされた点群の点を表現する粗い点は占有された点であり、センシングされた点群の点を表現しない粗い点は占有されない点である。点群の点は粗い表現において占有された粗い点で表現されるため、点群の点に関連する順序インデックスも占有された粗い点に関連する順序インデックスである。
【0060】
2次元座標(φ,λ)空間内で点群ジオメトリデータの粗い表現を定義できる。
【0061】
回転(スピン)または非回転センサヘッドを含むあらゆるタイプのセンサヘッドに対して粗い表現を定義することもできる。その定義は、2次元角度座標(φ,θ)空間内のセンサ特性によって定義されるセンシング経路に基づいており、この2次元角度座標(φ,θ)空間は方位角を表す方位角度座標φと仰角度座標θとを含み、方位角は基準物に対するセンサのセンシング角を表し、仰角度座標θは水平基準平面に対するセンサの仰角を表す。センシング路径は、センシングされた点群の点の潜在的な位置を表す順序付きの粗い点に基づいて点群の点をセンシングするために使用される。各粗い点はセンシング路径に沿ったセンシング時刻に関連付けられた1つのサンプルインデックスsとセンサに関連付けられた1つのセンサインデックスλとに基づいて定義される。
【0062】
図10では、2つのセンサを含むセンサヘッドを使用する。2つのセンサが沿うセンシング経路は破線で表される。各サンプルインデックスs(各センシング時刻)に対して、2つの粗い点を定義する。第1のセンサに関連付けられた粗い点は
図10の黒色の陰影点によって表され、第2のセンサに関連付けられた粗い点は黒色のハッシュ点によって表される。この2つの粗い点のそれぞれは、センシング経路SPによって定義されるセンサセンシング経路(破線)に属する。
図11は2次元座標(s,λ)空間における順序付きの粗い点の表現を概略的に示す。
図10と
図11の矢印は、2つの連続した順序付きの粗い点間のリンクを示す。
【0063】
順序付きの粗い点におけるこの粗い点の順序付けに基づいて、順序インデックスo(P)を各粗い点に関連付ける。
o(P)=λ+s*K
ここで、Kはセンサセットにおけるセンサの数または同じサンプルインデックスに対する単一のセンサの異なる位置の数であり、λは、センシング時刻sで点群の点Pをセンシングしたセンサのセンサインデックスである。
【0064】
図12は粗い表現の順序付きの粗い点を示し、5つの占有された粗い点(黒い丸)を示している。2つの粗い点P
nとP
n+1はセンシング時刻t
1(サンプルインデックスs
1に対応する)でセンシングされた点群の2つの点によって占有され、3つの粗い点はセンシング時刻t
2(サンプルインデックスs
2に対応する)でセンシングされた点群の3つの点によって占有される。
【0065】
その後、2次元座標(s,λ)空間内で点群ジオメトリデータの粗い表現を定義できる。
【0066】
点群の第1のセンシング点によって占有された第1の粗い点の順序インデックスo(P1)と順序差Δoが与えられると、点群のセンシング点Pによって占有された任意の占有された粗い点の順序インデックスo(P)を再帰的に再構築できる。
o(P)=o(P-1)+Δo
【0067】
点群ジオメトリの符号化/復号化は、点群の各点の半径に対する符号化/復号化を含む。
図4に示すように、点群の点に関連付けられた半径は、xy水平面上の半径r
3Dの投影に等しい半径 r
2Dである。以下、半径は、点群の点に関連付けられた3D半径の投影を示す。
【0068】
以下、二次元座標(s,λ)空間内で定義されている粗い表現を考慮することで本発明を説明するが、同様に、二次元座標(φ,λ)空間内で定義されている粗い表現について説明してもよく、レーザレーダヘッドのようなスピンセンサヘッドは、二次元座標(s,λ)空間内で定義されている特定の粗い表現を提供しており、各センシング時刻に、センサヘッドのセンサはオブジェクトを検出し、センシング点は、表現される占有された粗い点に対応する。
【0069】
以上のように、点群ジオメトリデータは、二次元座標(s,λ)空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表される。そして、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、二次元座標(s,λ)空間内に位置決めされる。以下で検討される方法では、点群の各占有された粗い点はいずれも第1の占有された粗い点P1と認められる。
【0070】
点群の点に関連付けられた半径は、粗い表現において前記点群の点を表す占有された粗い点にも関連付けられる。
【0071】
半径r1は、粗い表現で第1の占有された粗い点P1によって表される点群の点Pに関連付けられる。第1の占有された粗い点P1は二次元座標(s,λ)でサンプルインデックスs1とセンサインデックスλ1を有する。通常、半径r1を直接符号化するのではなく、以下を得た後に残差半径rresを符号化する。
rres =r1-rpred
ここで、rpredは予測半径である。
【0072】
半径r1の符号化性能は、残差半径のダイナミクス範囲を制限するように決定される予測半径rpredの品質によって決まる。残差半径の比較的小さいダイナミクスは通常、より小さいビットがビットストリームに符号化されることを求める。
【0073】
通常、予測半径rpredは、第1のセンサインデックスλ1に等しいセンサインデックスに関連付けられた同一のセンサによってセンシングされた点群の点に関連付けられたいくつかの以前に符号化された半径から選択される。半径r1が、連続した2つのセンシング時刻の間で(例えばサンプルインデックスs1とサンプルインデックスs1-1との間で)変化が小さい時、良好な符号化効率を提供している。
【0074】
スピンセンサが、
図13に示す道路(水平平面に近い)をセンシングした時、これは特に正しい。この場合、予測半径r
predは、同一センサλ
1に使用する以前に符号化された半径r
pred,1に等しい可能性が高い。
【0075】
無論、
図14に示すように、いくつかのオブジェクトは道路に配置されてもよい。この場合、予測半径r
predは、以前に符号化された半径r
pred,1ではなく、それよりも早い(j>1)その他の以前に符号化された半径r
pred、jである可能性がある。
【0076】
したがって、予測半径rpredは通常、半径リストから選択され、該リストは以前に符号化/復号化された半径に対応しており、これらの半径は、同一センサλ1によってセンシングされた点群の点に関連付けられる。最初に新しいオブジェクトをセンシングした時、このような半径リストは、良好な予測半径rpredを提供できず、即ち前記新しいオブジェクトの点に関連付けられた以前に符号化/復号化された半径はいずれも半径リストに属していない。
【0077】
このような状況は、
図15に示すように、点Pがセンサλ
1によってセンシングされた新しいオブジェクトO
newの第1の点であるため、新しいオブジェクトO
newに属する点Pは、他のオブジェクトO
oldに属する予測点P
predにより予測される。したがって、予測半径r
predは、点Pに関連付けられた第1の半径r
1ではなく、残差半径r
resのダイナミクスは大きい。このような残差半径の符号化は、ビットレートの面では高価である。
【0078】
解決しようとする課題の1つは、古いオブジェクトから新しいオブジェクトへの移行をよりよく処理することであり、該移行は、半径ジャンプ(同一センサλ1に対する)と悪い半径予測をもたらす。予測を改善して、符号化すべき残差半径rresのダイナミクスを低減できるので、よりよい圧縮性能が得られるべきである。
【0079】
簡単に言えば、本発明は、この問題を解決する以下の解決案を提供する。第1のセンサインデックスλ1と異なるセンサインデックス及び第1のサンプルインデックスs1以下のサンプルインデックスに関連付けられたセンサによってセンシングされた少なくとも1つの点に関連付けられた少なくとも1つの第2の半径から、二次元座標(s,λ)空間内の第1のセンサインデックスλ1と第1のサンプルインデックスを有する第1の占有された粗い点P1によって符号化され且つ表示された点群の点Pに関連付けられた予測半径rpredを選択する。前記点群の少なくとも1つの第2の点は、粗い表現では、少なくとも1つの第2の占有された粗い点によって表される。
【0080】
第1のセンサインデックスと異なるセンサインデックスに関連付けられたセンサによってセンシングされた点に関連付けられた半径から、新しいオブジェクトに属するセンシング点の予測半径を選択し、第1のセンサインデックスに等しいセンサインデックスに関連付けられたセンサによってセンシングされた点に関連付けられた半径から得られた予測と比べて、よりよい予測を提供している。
【0081】
例えば、
図16では、予測点P
predに関連付けられた選択された予測半径の例を示し、該予測点は、第1のセンサインデックスλ
1と異なるセンサインデックスに関連付けられたセンサによってセンシングされる。点PとP
predに関連付けられた半径の間の残差半径は、
図15に示す点PとP
predに関連付けられた半径の間の残差半径と比べて、より低いダイナミクスを有する。
【0082】
したがって、残差半径の符号化は、同一センサによってセンシングされた点に関連付けられた以前に符号化/復号化された半径に対応する予測半径から得られた残差半径の符号化と比べて向上している。
【0083】
予測半径は、第1のセンサインデックスλ1と異なるセンサインデックスを有するセンサによってセンシングされた点に関連付けられ、これらの点は、第1のサンプルインデックスs1以下のサンプルインデックスにも関連付けられ、即ち点Pの因果近傍領域の点に属する。
【0084】
これにより、エンコーダとデコーダの両方が同じ予測半径を取得できるようになる。
【0085】
図17は少なくとも1つの実施例に係る点群ジオメトリデータを符号化された点群データのビットストリームに符号化する方法100のステップを示すブロック図である。
【0086】
二次元座標(s,λ)空間では第1の占有された粗い点P1が考慮される。粗い表現では、第1の占有された粗い点P1は点群のセンシング点を示す。二次元座標(s,λ)空間では、第1の占有された粗い点P1は第1のサンプルインデックスs1と第1のセンサインデックスλ1を有し、且つ第1の半径r1に関連付けられる。
【0087】
ステップ110では、少なくとも1つの第2の占有された粗い点P2に関連付けられた少なくとも1つの第2の半径r2から、第1の占有された粗い点P1に対して、選択された予測半径rpredを取得する。各第2の占有された粗い点P2は、第1のセンサインデックスλ1と異なる第2のセンサインデックスλ2および第1のサンプルインデックスs1以下の第2のサンプルインデックスs2を有する。
【0088】
図19は、第1の占有された粗い点P
1の因果近傍領域に属する粗い点の例を概略的に示している。占有されていない粗い点は断線で画定された白い点であり、灰色の点は占有された粗い点を示す。
【0089】
灰色の影付きの領域は、第1のセンサインデックスλ1と異なる第2のセンサインデックスλ2及び第1のサンプルインデックスs1以下の第2のサンプルインデックスs2を有する第2の粗い点のセットを表す。粗い表現では、粗い点の間の矢印は、粗い点の順番を指示する。いくつかの第2の粗い点は占有されており(灰色の点)、その他は占有されていない(白い点)。すべての灰色の影付き領域は、第1の占有された粗い点の周辺の因果近傍領域を形成し、即ち、この因果近傍領域に属する占有された第2の粗い点は、第1の占有された粗い点P1を処理する前に、符号化及び/又は復号化の方法により取得及び/又は復号化できる。なお、センサインデックスが第1のセンサインデックスλ1に等しい粗い点は、第2の粗い点ではなく、灰色の影付きの領域に属していない。
【0090】
ステップ120では、データIpredはビットストリームBに符号化される。データIpredは、選択された予測半径rpredを示す。
【0091】
ステップ130では、第1の半径r1と選択された予測半径rpredとの差を計算することにより、以下の残差半径rresを得る。
rres=r1-rpred
残差半径rresビットストリームBに符号化する。
【0092】
ステップ110の1つの例示的な実施例では、複数の第2の占有された粗い点P2に関連付けられた半径r2から、選択された予測半径rpredを選択する場合、選択された予測半径rpredは、(残差半径rresを符号化するために使用される)ビットレート又はターゲットビットレートと歪みとの間のトレードオフを表すコスト関数を最小化する半径に対応する。
【0093】
ステップ130の1つの実施例では、信号を送信することで、残差半径rresが0に等しいか否かを示すバイナリデータを通知し、その後、信号を送信することで、残差半径rresのプラス記号またはマイナス記号を示すバイナリデータを通知し、残差半径rresを符号化し、expGolombエンコーダを用いて余り|rres|-1を符号化することができる。
【0094】
1つの変形では、余り|Q(rres)|-1はexpGolombエンコーダによって符号化され得る。Q(rres)は量子化された残差半径である。
【0095】
本発明の範囲を制限しない場合、残差半径rresの他の任意の符号化を使用可能である。
【0096】
図18は、少なくとも1つの例示的な実施例に係る符号化された点群データのビットストリームから点群ジオメトリデータを復号化する方法200のステップを示すブロック図である。
【0097】
図18の復号化方法200は
図17の符号化方法100に対応している。
【0098】
二次元座標(s,λ)空間における第1の占有された粗い点P1が考慮される。二次元座標(s,λ)空間では、第1の占有された粗い点P1は、第1のサンプルインデックスs1と第1のセンサインデックスλ1を有する。
【0099】
ステップ210では、ビットストリームBからデータIpredを復号化する。データIpredは、少なくとも1つの第2の占有された粗い点P2に関連付けられた少なくとも1つの第2の半径r2から選択された予測半径rpredを表し、該少なくとも1つの第2の占有された粗い点P2は、第1のセンサインデックスλ1と異なる第2のセンサインデックスλ2及び第1のサンプルインデックスs1より低い第2のサンプルインデックスs2を有する。
【0100】
ステップ220では、ビットストリームBから残差半径rresを復号化する。
【0101】
ステップ230では、残差半径rres及びデータIpredから得られた選択された予測半径rpredに基づいて、第1の粗い点P1によって表される点群の点に関連付けられた(復号化された)半径r1を取得する。
r1=rres+rpred
【0102】
ステップ230の一実施例では、復号化により信号を送信して、残差半径rresが0に等しいか否かを示すバイナリデータを通知することができ、復号化により信号を送信して、残差半径rresのプラス記号またはマイナス記号を示すバイナリデータを通知することができ、そして、expGolombデコーダを用いて余り|rres|-1を復号化して、残差半径rresを復号化することができる。
【0103】
1つの変形では、余り||Q(rres)|-1はexpGolombデコーダを用いて復号化することができ、残差半径rresは以下により得られる。
r1=IQ(Q(rres)+rpred
ここで、IQ(Q(rres))は逆量子化された残差半径である。
【0104】
本発明の範囲が限定されていない場合、残差半径rresの他の任意の復号化を用いてもよい。
【0105】
図20に示す方法100と200の1つの例示的な実施例では、選択された予測半径r
predは、第2の占有された粗い点P
2に関連付けられた第2の半径r
2に等しくてもよく、例えば、前記第2の占有された粗い点P
2の第2のセンサインデックスλ
2と第1のセンサインデックスλ
1との間の第1の距離D
1に等しくてもよく、該距離は、λ
2;belowとλ
2;aboveという2つの境界によって画定される。
図20の例示的な実施例では、境界λ
2;belowは2に等しく、境界λ
2;aboveは1に等しい。
【0106】
第1の距離D1に対する画定は第1の占有された粗い点P1の因果近傍領域を制限するため、予測半径を選択する計算リソースが制限される。それは、半径r1とr2との間の一定の関連性を確保し、それはセンサインデックス差|λ2-λ1|が大きい時、この関連性が消える傾向があるからである。
【0107】
方法100と200のこの例示的な実施例によると、第2の占有された粗い点P
2は、第1のセンサインデックスλ
1と異なる第2のセンサインデックスλ
2と第1のサンプルインデックスs
1以下の第2のサンプルインデックスs
2を有する占有された粗い点であってもよい。前記第2の占有された粗い点P
2は前記第2の占有された粗い点P
2の第2のセンサインデックスλ
2と第1のセンサインデックスλ
1との間の第1の距離がλ
2;belowとλ
2;aboveという2つの境界によって限定される範囲内にあるという条件を満たす。これらの第2の占有された粗い点は
図20における灰色の影付きの部分に属する。
【0108】
図21に示す方法100と200の1つの例示的な実施例では、選択された予測半径r
predは、第2の占有された粗い点P
2に関連付けられた第2の半径r
2に等しくてもよく、例えば前記第2の占有された粗い点P
2の第2のサンプルインデックスs
2と境界Wによって画定された第1のサンプルインデックスs
1との間の第2の距離D
2に等しくてもよい。
図21では、このような第2の占有された粗い点P
2は、灰色の影付きの部分に属し、且つ境界Wは4に等しい。
【0109】
第2の距離D2に対する画定は第1の粗い点P1の因果近傍領域を制限するため、予測半径を選択する計算リソースが制限される。それは、半径r1とr2との間の一定の関連性を確保し、それはセンサインデックス差s1-s2が大きい時、点P1とP2が異なるオブジェクトに属するか、又は同一オブジェクトの異なる部分に属する傾向があるので、関連性がなくなる傾向があるからである。
【0110】
法100と200のこの例示的な実施例によると、第2の占有された粗い点P2は、第1のセンサインデックスλ1と異なる第2のセンサインデックスλ2及び第1のサンプルインデックスs1以下の第2のサンプルインデックスs2を有する占有された粗い点であってもよい。前記第2の占有された粗い点P2は前記第2の占有された粗い点P2の第2のサンプルインデックスs2と第1のサンプルインデックスs1との第2の距離D2が境界Wによって画定されるという条件を満たす。
【0111】
図22に示す1つの変形では、選択された予測半径r
predは、第2の占有された粗い点P
2に関連付けられた第2の半径r
2に等しくてもよく、例えば第2の距離D
2は最も小さい。
【0112】
この変形は、良好な予測半径を得る機会を最大化するので、予測半径を選択するために使用されると考慮される第2の占有された粗い点P2は、第1の粗い点P1と最も近い占有された粗い点である。したがって、第1の占有された粗い点P1と前記第2の占有された粗い点P2は、同一センシングオブジェクトの点に関連付けられる可能性が高い。
【0113】
この変形により、第2の占有された粗い点P
2は、第1のセンサインデックスλ
1と異なる第2のセンサインデックスλ
2及び第1のサンプルインデックスs
1以下の第2のサンプルインデックスs
2を有する占有された粗い点である。前記第2の占有された粗い点P
2も、第2の距離D2が最も小さいという条件を満たす。
図22では、これらの第2の占有された粗い点は灰色の影付きの部分に属し、2つの第2の占有された粗い点P
2を考慮して予測半径r
predを選択する。
【0114】
図23に示す方法100と200の1つの例示的な実施例では、少なくとも2つの第2の占有された粗い点P
2,iに関連付けられた少なくとも2つの第2の半径r
2,iに基づいて、選択された予測半径r
predを選択することができ、少なくとも2つの第2の占有された粗い点P
2,iの第2のサンプルインデックスs
2と第1のサンプルインデックスs
1との間は、同じ第2の距離D2を有する。選択された予測半径r
predは、第2の占有された粗い点P
2,iに関連付けられた第2の半径r
2,iに等しく、該第2の占有された粗い点P
2,iは、第1のセンサインデックスλ
1に対して最も近いセンサインデックスλ
2,i(
図23における点P
2,i)を有し、又は1つの変形では、第1のセンサインデックスλ
1以下の最も近いセンサインデックスλ
1(
図23における点P
2,i-1)を有する。
【0115】
方法100と200のこの例示的な実施例によると、第2の占有された粗い点P2は、第1のセンサインデックスλ1と異なる第2のセンサインデックスλ2及び第1のサンプルインデックスs1以下の第2のサンプルインデックスs2を有する占有された粗い点であってもよい。前記第2の占有された粗い点P2は、第1のセンサインデックスλ1に対して最も近いセンサインデックスλ2,iを有し、又は1つの変形では、第1のセンサインデックスλ1以下の(より小さい)最も近いセンサインデックスを有する。
【0116】
この例示的な実施例およびその変形は、良好な予測半径を得る機会を最大化するので、予測半径を選択するために使用されると考慮される第2の占有された粗い点P2は二次元座標(s,λ)空間における第1の粗い点P1に最も近い占有された粗い点である。したがって、第1の占有された粗い点P1と前記第2の占有された粗い点P2は、同一センシングオブジェクトの点に関連付けられる可能性が高い。
【0117】
1つの変形では、選択された予測半径rpredは、前記少なくとも2つの第2の半径r2,iの平均値に等しくてもよい。
【0118】
図24に示す方法100と200の方法の1つの例示的な実施例では、選択された予測半径r
predは、少なくとも1つの第2の占有された粗い点P
2に関連付けられた少なくとも1つの第2の半径r
2及び少なくとも1つの第3の占有された粗い点P
3に関連付けられた少なくとも1つの第3の半径r
3から選択されてもよく、少なくとも1つの第3の占有された粗い点P
3は、第1のセンサインデックスλ
1に等しいセンサインデックスλ
3及び第1のサンプルインデックスs
1より低いサンプルインデックスs
3を有する。
【0119】
この例示的な実施例は、新しいセンシング点が新しいオブジェクトに属する場合又は新しいセンシング点が以前にセンシングしたオブジェクトに属する場合で良好な予測半径を提供しているため、有利である。
【0120】
方法100と200の1つの例示的な実施例では、該方法は、前記少なくとも1つの第2のサンプルインデックスs2(又はs2,i)と第1のサンプルインデックスs1に基づく第1の修正値C1により、少なくとも1つの第2のサンプルインデックスs2 (又はs2,i)を有する少なくとも1つの第2の占有された粗い点P2(又はP2,i)に関連付けられた少なくとも1つの第2の半径r2(又はr2,i)から得られた選択された予測半径rpredを修正するステップをさらに含んでもよい。
【0121】
この例示的な実施例は、第2の占有された粗い点の第2のサンプルインデックスが厳密に第1のサンプルインデックスより低い時に発生する可能性があるサンプルインデックスの差を修正するので、有利である。
rpred,corr=rpred+C1
【0122】
方法100と200の1つの例示的な実施例では、修正値C1は、2つの占有された粗い点P
O1とP
O2から推定された以下の導関数により決まってもよく、2つの占有された粗い点P
O1とP
O2はそれぞれ異なるサンプルインデックスs
O1とs
O2、同じセンサインデックス(第1のセンサインデックスλ
1に等しくてもよいし、等しくなくてもよい)、及び関連する半径r
O1とr
O2を有する。
【数1】
ここで、
【数2】
【0123】
方法100と200の1つの例示的な実施例では、センシングインデックスsO,i、半径rO,i及び同じセンサインデックスを有する1組の占有された粗い点PO,iから導関数を推定することができる。例えば、最小平均二重方法により、これらの占有された粗い点PO,iから方程r=a*s+bの回帰線を取得することができる。導関数はdr/ds≒aである。
【0124】
方法100と200の1つの例示的な実施例では、該方法は、前記少なくとも1つのセンサインデックスλ2(又はλ2,i)及び第1のセンサインデックスλ1に基づく第2の修正値C2により、少なくとも1つの第2のセンサインデックスλ2(又はλ2,i)を有する少なくとも1つの第2の占有された粗い点P2(又はP2,i)に関連付けられた少なくとも1つの第2の半径r2(又はr2,i)から得られた選択された予測半径rpredを修正するステップをさらに含んでもよい。
【0125】
この例示的な実施例は、第2の占有された粗い点の第2のサンプルインデックスが第1のサンプルインデックスと異なる時に発生する可能性があるサンプルインデックスの差を修正するので、有利である。
rpred,corr=rpred+C2
【0126】
方法100と200の1つの例示的な実施例では、修正値C2は2つの占有された粗い点P
O1とP
O2から推定された以下の導関数によって決まることができ、2つの占有された粗い点P
O1とP
O2はそれぞれ異なるセンサインデックスλ
O1とλ
O2、同じサンプルインデックス(第1のサンプルインデックスs
1に等しくてもよいし、等しくなくてもよい)、及び関連する半径r
O1とr
O2を有する。
【数3】
ここで、
【数4】
【0127】
方法100と200の1つの例示的な実施例では、センサインデックスλO,i、半径rO,i及び同じサンプルインデックスを有する1組の占有された粗い点PO,iから導関数を推定することができる。例えば、最小平均二重方法により、これらの占有された粗い点PO、iから方程r=c*λ+dの回帰線を取得することができる。導関数はdr/ds≒cである。
【0128】
方法100と200の1つの例示的な実施例では、選択された予測半径rpredを取得して第1のサンプルインデックスs1と第1のセンサインデックスλ1に対するラジアル関数の応答としてもよく、前記ラジアル関数は、少なくとも他の2つの第2の占有された粗い点(P2,i)に関連付けられた第2の半径r2,iの線形回帰により、前記少なくとも2つの第2の占有された粗い点P2,iの第2のサンプルインデックスs2,iと第2のセンサインデックスλ2,iに基づいて得られる。
【0129】
例えば、方程r=e*λ+f*s+gの線形関数は、前記第2の占有された粗い点P2,iから例えば最小平均二重方法により得られる。以下により予測半径rpredを得る。
rpred=e*λ1+f*s1+g
【0130】
図25は
図17における方法100の変形のステップのブロック図を示す。
【0131】
ステップ105では、第1の占有された粗い点P1に対して、候補半径のリストL={r2}を取得する。候補半径のリストLは、少なくとも1つの第2の占有された粗い点P2に関連付けられた少なくとも1つの第2の半径r2を含み、該少なくとも1つの第2の占有された粗い点P2は、第1のセンサインデックスλ1と異なる第2のセンサインデックスλ2を有し、かつ第1のサンプルインデックスs1以下の第2のサンプルインデックスs2を有する。
【0132】
前記少なくとも1つの第2の占有された粗い点は、
図17に関連する検討される任意の実施例又は変形又はその組み合わせによって得られてもよい。
【0133】
図25によると、前記少なくとも1つの第2の占有された粗い点P
2は少なくとも1つの資格条件をさらに満たし、少なくとも1つの資格条件は、前記少なくとも1つの第2の占有された粗い点P
2に関連付けられた半径が残差半径r
resのダイナミクスを低減させる可能性があることを指示する。
【0134】
方法100の変形の1つの実施例では、
図17に関連する検討される少なくとも1つの実施例又は変形又はそれらの任意の組み合わせに基づいて選択された占有された粗い点に関連する半径は、前記少なくとも1つの占有された粗い点が前記少なくとも1つの資格条件を満たさない場合、予測半径r
predの選択に参加しない。資格条件は、占有された粗い点を選択することであり、
図17に関連する検討される少なくとも1つの実施例又は変形又はそれらの任意の組み合わせに基づいて選択されてもよい。
【0135】
ステップ110では、候補半径のリストLから第1の占有された粗い点P1に対して予測半径rpredを取得する。
【0136】
ステップ120では、データIpredがビットストリームBに符号化され、該データIpredは候補半径のリストLにおける選択された予測半径rpredを表す。
【0137】
ステップ130では、残差半径rresを取得してビットストリームBに符号化する。
【0138】
ステップ110の1つの例示的な実施例では、複数の第2の占有された粗い点及び/又は複数の第3の占有された粗い点に関連付けられた複数の半径から選択された予測半径rpredを選択する時、選択された予測半径rpredは、(残差半径rresを符号化するために使用される)ビットレート又はターゲットビットレートと歪みとの間のトレードオフを表すコスト関数を最小化する半径に対応する。
【0139】
図26は
図18の方法200の変形のステップのブロック図を示している。
【0140】
二次元座標(s,λ)空間における第1の占有された粗い点P1が考慮される。二次元座標(s,λ)空間では、第1の占有された粗い点P1は、第1のサンプルインデックスs1と第1のセンサインデックスλ1を有する。
【0141】
ステップ105では、第1の占有された粗い点P1に対して、候補半径のリストL={r2}取得する。候補半径のリストLは、少なくとも1つの第2の占有された粗い点P2に関連付けられた少なくとも1つの第2の半径r2を含み、該少なくとも1つの第2の占有された粗い点P2は、第1のセンサインデックスλ1と異なる第2のセンサインデックスλ2を有し、且つ第1のサンプルインデックスs1以下の第2のサンプルインデックスs2を有する。
【0142】
前記少なくとも1つの第2の占有された粗い点は、
図18に関連する検討される任意の実施例又は変形又はそれらの組み合わせに基づいて得られてもよい。
【0143】
図26によると、前記少なくとも1つの第2の占有された粗い点P
2は少なくとも1つの資格条件をさらに満たし、少なくとも1つの資格条件は、前記少なくとも1つの第2の占有された粗い点P
2に関連付けられた半径が残差半径r
resのダイナミクスを低減させる可能性があることを指示する。
【0144】
方法200の変形の1つの実施例では、
図18に関連する検討される少なくとも1つの実施例又は変形又はそれらの任意の組み合わせに基づいて選択された占有された粗い点に関連付けられた半径は、前記少なくとも1つの占有された粗い点が前記少なくとも1つの資格条件を満たさない場合、予測半径r
predの選択に参加しない。資格条件は、
図18に関連する検討される少なくとも1つの実施例又は変形又はそれらの組み合わせの任意の組み合わせに基づいて選択できる占有された粗い点の1つである。
【0145】
ステップ210では、ビットストリームBからデータIpredを復号化する。データIpredは候補半径のリストLにおける選択された予測半径(rpred)を表す。
【0146】
ステップ220では、ビットストリームBから残差半径rresを復号化する。
【0147】
ステップ230では、残差半径rresと、データIpred及び候補半径のリストL=r2から得られた選択された予測半径rpredとに基づいて、第1の占有された粗い点(P1)表示の点の点に関連付けられた(復号化された)半径r1を取得する。
【0148】
図24に示すステップ105の1つの例示的な実施例では、候補半径のリストL={r
2,r
3}は、少なくとも1つの第3の占有された粗い点P
3に関連付けられた少なくとも1つの第3の半径r
3をさらに含んでもよく、該少なくとも1つの第3の占有された粗い点P
3は、第1のセンサインデックスλ
1に等しい第3のセンサインデックスλ
3および第1のサンプルインデックスs
1以下の第3のサンプルインデックスs
3を有する。
【0149】
この例示的な実施例は、新しいセンシング点が新しいオブジェクトに属する時に良好な予測半径を提供し、新しいセンシング点が以前にセンシングされたオブジェクトに属す場合に良好な予測半径を提供するため、有利である。
【0150】
図27に示す方法100と200の変形の1つの例示的な実施例では、資格条件は、第2の占有された粗い点P
2の第2のサンプルインデックスs
2と第3の占有された粗い点P
3の第3のサンプルインデックスs
3との比較に基づいてもよい。
【0151】
単純な幾何学から分かるように、センシングの鉛直平面の場合では、残差半径rresの予測半径rpredに対するダイナミクスは、第1の近似では距離|spred -s1|と比例し、ここで、spredは、予測半径rpredに関連付けられた占有された第2の(又は第3の)粗い点のサンプルインデックスである。
【0152】
1つの変形では、
図27に示すように、当第2のサンプルインデックスs
2が第3のサンプルインデックスs
3より大きい場合、第2の占有された粗い点P
2は資格条件を満たすことができる。
【0153】
この例示的な実施例は、前記第2の占有された粗い点が前記資格条件を満たす場合にのみ、第3の占有された粗い点ではなく第2の占有された粗い点を選択することが許可される。この場合、前記第2の占有された粗い点の半径は、第2の占有された粗い点が第3の占有された粗い点よりも遅くセンシングされるので、第3の占有された粗い点に関連付けられた半径よりもよい予測半径である。
【0154】
方法100と200の変形の1つの例示的な実施例では、資格条件は、第1の占有された粗い点、第2の占有された粗い点及び第3の占有された粗い点に関連付けられた点群の点をセンシングするためのセンサに関連付けられた方位角の比較に基づいてもよい。
【0155】
この例示的な実施例は、占有された粗い点に関連付けられた方位角の比較により、第2又は第3の粗い点を選択して第1の半径r1を予測する必要があるか否かを決定する。この例示的な実施例は、方位角の比較がサンプルインデックスの比較よりもより良好な精度を提供するため、有利である。
【0156】
方法100と200の変形の1つの例示的な実施例では、第1の方位角差A1が第2の方位角差A2より低い時、第2の占有された粗い点P2は資格条件を満たすことができる。第1の方位角差A1は、第1の占有された粗い点P1に関連付けられた第1の方位角φ1と与第2の占有された粗い点P2に関連付けられた第2の方位角φ2との間の差である。
A1=|φ1-φ2|
【0157】
第2の方位角差A2は、第1の方位角φ1と第3の占有された粗い点P3に関連付けられた第3の方位角φ3との差である。
A2=|φ1-φ3|
【0158】
例えば、A1>A2である場合、最も良い予測は、第3の占有された粗い点に関連付けられた半径である可能性があり、そのため、第2の占有された粗い点は不合格である。逆(A1<A2)の場合、第2の占有された粗い点は合格である。
【0159】
方法100と200変形の1つの例示的な実施例では、距離D3が閾値th1より大きい場合、第2の占有された粗い点P2は以下の資格条件を満たすことができる。
D3>th1
【0160】
この例示的な実施例は、前記半径r2に等しい選択された予測半径の期待されるゲインが信号を送信して前記半径r2を使用することを通知するための追加のシンタックスのコストを補償する可能性が低い場合にのみ、第2の占有された粗い点P2に関連付けられた半径を選択するため、有利である。
【0161】
第2の粗い点P2に関連付けられた第2の半径r2と第3の粗い点P3に関連付けられた第3の半径r3との間の距離D3を計算してもよい。
D3=|r2-r3|
【0162】
1つの変形では、計算された距離D3における第3の占有された粗い点P3は、最も近い占有された粗い点であってもよく、即ち、第3の占有された粗い点は、前記第3の占有された粗い点P3の第3のサンプルインデックスs3と第1のサンプルインデックスs1との間の距離を最小化する。
【0163】
方法100と200の変形の1つの例示的な実施例では、閾値th1は固定してもよい。
【0164】
1つの変形では、閾値th1は、以前に符号化又は復号化された残差半径rresに基いてもよく、該rresは、センサインデックスが第1のセンサインデックスλ1に等しい占有された粗い点に関連付けられる。
【0165】
例えば、閾値th1は、同一のセンサインデックスの複数の以前に符号化/復号化された残差半径rresの幅|rres|の平均値から取得可能である。
【0166】
この変形は、閾値th1を半径の平均予測品質に適応させるため、有利である。
【0167】
方法100と200の変形の1つの例示的な実施例では、少なくとも2つの以前に符号化/復号化された第2の占有された粗い点P
O,1とP
O,2から推定された半径の勾配とサンプルインデックスの勾配との比率が閾値より大きい場合、第2の占有された粗い点P
2は以下の資格条件を満たすことができる。
【数5】
【0168】
1つの変形では、ノイズに対する感度を下げるために、半径とサンプルインデックスの勾配の推定は、2つ以上の以前に符号化/復号化された第2の占有された粗い点を用いることができる。
【0169】
この例示的な実施例は、前記第2の占有された粗い点P2に関連付けられたセンシング点が実際にセンシング方向に垂直な平面に属しない場合にのみ、即ち勾配dr/dsが小さい場合にのみ、第2の占有された粗い点P2に関連付けられた半径を選択するため、有利である。すると、前記点が実際にセンシング方向に垂直な平面に属している場合、連続するセンシング点に関連付けられた半径は、方位角φの関数として(一次近似では)の変化がないため、サンプルインデックスsの関数としての変化が小さい。この場合、予測半径は、第3の占有された粗い点P3に関連付けられた半径に等しく、予測半径が第2の占有された粗い点P2に関連付けられた半径に等しい場合と比べて、より良い符号化性能を提供する可能性がある。
【0170】
方法100と200の変形の1つの例示的な実施例では、閾値th2は、センシング方向とセンシング平面までの法線方向との間の最小角度αminに対応してもよい。
th2=tan(αmin)
【0171】
例えば、αmin=20°のような値を選択してもよい。
【0172】
少なくとも1つの第2の半径r2を得て合格なものであると決定すると、エンコーダは、第3の半径r3と前記少なくとも1つの合格した第2の半径r2から、最適な予測器を選択する。どの予測器が使用されたかをデコーダに知らせるために、データI(pred)をデコーダに送信する必要がある。
【0173】
ステップ120又は210の1つの例示的な実施例では、データIpredは、選択された予測半径rpredが第2の半径r2に等しいか、第3の半径r3に等しいかを指示する。
【0174】
ステップ120又は210の1つの例示的な実施例では、データIpredは、選択された予測半径rpredが第2の半径r2であるか、第3の半径r3であるかを指示するバイナリデータbを含んでもよい。
【0175】
例えば、バイナリデータbが0である場合は、選択された予測半径rpredが第2の半径r2であることを指示し、バイナリデータbが1である場合は、選択された予測半径rpredが第3の半径r3であることを指示する。
【0176】
ステップ120又は210の1つの例示的な実施例では、前記少なくとも1つの第2の半径r2は第1の半径リストL1={r2}を形成可能であり、前記少なくとも1つの第3の半径r3は第2の半径リストL2={r3}を形成可能である。そして、バイナリデータbは、選択された予測半径rpredが第1の半径リストに属するか、第2の半径リストに属するかを指示することができる。
【0177】
ステップ120又は210の1つの例示的な実施例では、データIpredは予測器インデックスIdxをさらに含んでもよく、該予測器インデックスは、選択された予測半径rpredが第1の半径リストまたは第2の半径リストにおけるどの半径に等しいかを指示する。
【0178】
ステップ120又は210の1つの例示的な実施例では、
図28に示すように、単一の第2の半径r
2とN
p個の第3の半径r
3,i(N
p≧1)のリストL
2={r
3}から、選択された予測半径r
predを選択することできる。データ(I
pred)は予測器インデックスIdxを含み、予測器インデックスIdxが所定のインデックス値Idx
Vに等しくない場合、予測器インデックスIdxは、選択された予測半径r
predがリストにおけるどの半径r
3に等しいかを指示する。そうでなければ、データI
predは、選択された予測半径r
predが第2の半径r
2に等しいか、半径リストにおける所定のインデックス値Idx
Vによって指示された第3の半径r
3に等しいかを指示するバイナリデータf
HVをさらに含む。
【0179】
この例示的な実施例によると、予測器インデックスIdxが所定のインデックス値IdxVに等しい場合、予測器インデックスIdxはまず符号化され、その後、バイナリデータfHVが選択的に符号化される。
【0180】
インデックスIdxは一連のバイナリデータfiによって一元的に符号化され得る。
【0181】
例えば、予測器インデックスIdxはバイナリデータf1を含む(
図28)。バイナリデータf
1が1に等しい(真)場合、予測器インデックスIdxは1に等しく、予測器Idxは半径リストにおける半径r
3,1を指示する。f
1=0且つf
2=1である場合、予測器インデックスIdxは2に等しく、Idxは所定のインデックス値Idx
V(=2)に等しく、したがって、データI
predはバイナリデータf
HVをさらに含み、f
HV=0である場合、該バイナリデータは、半径リストにおける半径r
3,2を指示し、そうでなければ、単一の第2の半径r
2を指示する。f
1=0、f
2=0且つf
3=1である場合、予測器インデックスIdxは3に等しく、且つ半径リストにおける半径r
3,3を指示するなど。
【0182】
このように、所定のインデックス値IdxVより低いインデックスを有する半径r3,iは優先権が与えられる。これは、最も近い第3の占有された粗い点に関連付けられた第3の半径と比べて第2の占有された粗い点に関連付けられた第2の半径が最適な予測器になる可能性が高いことが観察されているため、有利である。
【0183】
図28の例では、所定のインデックス値Idx
Vが2に等しいので、最も近い第3の占有された粗い点に関連付けられた第3の半径r
3,1のみは優先権が与えられる。
【0184】
予測器リストが0…Np-1範囲内のインデックスを有する場合、所定のインデックス値IdxVは1に等しい(2ではない)。
【0185】
ステップ120又は210の1つの例示的な実施例では、前記少なくとも1つの第2の半径r2と少なくとも1つの第3の半径r3は単一の半径リストL={r2,r3 }を形成することができ、データIpredは、選択された予測半径rpredが半径リストにおけるどの半径に属するかを指示する予測器インデックスを含む。
【0186】
この単一の半径リストは、予測半径の間の「競合」により確立される可能性がある。実践では、局所統計量は、例えば第1の占有された粗い点P1に対する占有された粗い点位置によって決まり、以前に符号化/復号化された点からすべての予測半径を選択して取得することができる。
【0187】
1つの変形では、単一の半径リストの半径は、最も多く選択された1つから最も少なく選択された1つへの順に統計的に並べ替えられる。
【0188】
その後、半径リストLの半径を、最も多く選択された1つから最も少なく選択された1つへの順に並べ替えられる。この変形は、第2の占有された粗い点に関連付けられた複数の半径の使用を許可し、且つ点群の構造に局所的に適応する。
【0189】
図29は、様々な態様と例示的な実施例を実現するシステムの例示的なブロック図を示す。
【0190】
システム300は1つ又は複数のデバイスとして組み込まれてもよく、以下に説明される様々なコンポーネントを含む。様々な実施例では、システム300は、本出願で説明される1つ又は複数の態様を実現するように構成されてもよい。
【0191】
システム300のすべて又は一部の装置を構成できる例は、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレット、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ記録システム、コネクテッド家電製品、コネクテッドカーとその関連処理システム、ヘッドマウント ディスプレイ(HMD、透視メガネ)、プロジェクタ(投影機)、「洞窟」(複数のディスプレイを含むシステム)、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダから出力を処理するポストプロセッサ 、ビデオエンコーダに入力を提供するプリプロセッサ、webサーバ、セットトップボックス、及び点群、ビデオ又は画像を処理するため他の任意のデバイス、又は他の通信デバイスを含む。システム300の素子は単一の集積回路(IC)、複数のIC及び/又はディスクリートコンポーネントに単独でまたは組み合わせて実装することができる。例えば、少なくとも1つの実施例では、システム300の処理及びエンコーダ/デコーダ素子は複数のIC及び/又はディスクリートコンポーネントにわたって分布することができる。様々な実施例では、システム300は例えば通信バス又は専用の入力及び/又は出力ポートを介して、他の類似するシステム又は他の電子機器に通信可能に結合することができる。
【0192】
システム300は、少なくとも1つのプロセッサ310を含み、該少なくとも1つのプロセッサ310はそれにロードされる命令を実行することで、例えば本出願で説明される各態様を実現するように構成される。プロセッサ310は組み込みメモリ、入力出力インターフェース及び当分野で周知の他の様々な回路を含むことができる。システム300は少なくとも1つのメモリ320(例えば、揮発性メモリデバイス及び/又は非揮発性メモリデバイス)を含むことができる。システム300は、非揮発性メモリ及び/又は揮発性メモリを含むストレージデバイス340を含むことができ、電気的消去可能なプログラマブル読み取り専用メモリ(EEPROM)、読み取り専用メモリ(ROM)、プログラマブル読み取り専用メモリ(PROM)、ランダムアクセスメモリ(RAM)、動的ランダムアクセスメモリ(DRAM)、静的ランダムアクセスメモリ(SRAM)、フラッシュメモリ、磁気ディスクドライブ及び/又は光ディスクドライブを含むが、これらに限らない。非限定的な例として、ストレージデバイス340は内部ストレージデバイス、追加ストレージデバイス及び/又はネットワークアクセス可能なストレージデバイスを含むことができる。
【0193】
システム300は、例えばデータを処理することで符号化/復号化の点群ジオメトリ形状データを提供するように構成されるエンコーダ/デコーダモジュール330を含みことができ、そしてエンコーダ/デコーダモジュール330は自身のプロセッサとメモリを含むことができる。エンコーダ/デコーダモジュール330は、符号化及び/又は復号化機能を実行するようにデバイスに含まれる(1つ又は複数の)モジュールを表すことができる。周知のように、デバイスは符号化及び復号化モジュールのいずれか1つ又は両方を含むことができる。また、エンコーダ/デコーダモジュール330はシステム300の分離した素子として実現することができ、又は当業者に知られているハードウェアとソフトウェアの組み合せとしてプロセッサ310内に結合することができる。
【0194】
本出願で説明される各態様を実行するようにプロセッサ310又はエンコーダ/デコーダ330にロードされるプログラムコードはストレージデバイス340に記憶することができ、そしてその後にメモリ320にロードされてプロセッサ310によって実行される。様々な実施例によると、本出願で説明されるプロセスを実行する間、プロセッサ310、メモリ320、ストレージデバイス340及びエンコーダ/デコーダモジュール330のうちの1つ又は複数は、各項目のうちの1つ又は複数を記憶することができる。このように記憶される項目は、点群フレーム、符号化/復号化された幾何形状/属性ビデオ/画像又は符号化/復号化された幾何形状/属性ビデオ/画像の一部、ビットストリーム、行列、変量、及び等式、公式、演算や演算の中間又は最終結果ロジックを含むが、これらに限ビットない。
【0195】
いくつかの実施例では、プロセッサ310及び/又はエンコーダ/デコーダモジュール330内部のメモリは、命令を記憶し且つ符号化又は復号化の間に実行される処理のためにワーキングメモリを提供するために使用することができる。
【0196】
しかし、他の実施例では、処理デバイス外部のメモリ(例えば、処理デバイスはプロセッサ310又はエンコーダ/デコーダモジュール330であってもよい)はこれらの機能のうちの1つ又は複数に用いられる。外部メモリはメモリ320及び/又はストレージデバイス340、例えば、動的揮発性メモリ及び/又は不揮発性フラッシュメモリであってもよい。いくつかの実施例では、外部不揮発性フラッシュメモリは、例えばテレビの操作システムを記憶するために使用される。少なくとも1つの実施例において、RAMのような快速外部動的揮発性メモリは、ビデオ符号化復号化及び復号化操作のワーキングメモリとして利用することができ、例えば、MPEG-2第2の部分(ITU-TRecommendation H.262及びISO /IEC 13818-2とも呼ばれ、MPEG-2ビデオとも呼ばれる)、HEVC(高効率ビデオ符号化復号化)、VVC(汎用ビデオ符号化復号化)又はMPEG-I第5部分又は第9部分を対象とする。
【0197】
ブロック390に示すように、様々な入力デバイスを介してシステム300の素子へ入力を提供することができる。このような入力デバイスは、(i)放送局などで無線送信されたRF信号を受信できるRF部、(ii)複合入力端子、(iii)USB入力端子、及び/又は(iv)HDMI入力端子を含むが、これらに限らない。
【0198】
様々な実施例では、ブロック390の入力デバイスは、当技術分野で知られているように、関連する対応する入力処理要素を有する。例えば、RF部分は以下の各必要とされる素子を関連付けることができる。(i)所望の周波数(信号選択とも呼ばれ、又は信号を周波数帯域内に制限する)を選択すること、(ii)選択される信号をダウンコンバートすること、(iii)周波数帯域を再び狭い周波数帯域に制御することで、(例えば)いくつかの実施例でチャネルと呼ばれる信号周波数帯域を選択すること、(iv)ダウンコンバートされた信号と周波数帯域が制限された信号を復調すること、(v)誤り訂正を実行すること、及び(vi)逆多重化をして所望のデータパケットフローを選択すること。様々な実施例のRF部分はわざとこれらの機能を実行する素子、例えば、周波数セレクタ、信号セレクタ、周波数帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調装置、誤り訂正装置及びデマルチプレクサを含む。RF部分は、これらの各機能(例えば、受信した信号をより低い周波数(例えば、中間周波数又はベースバンド付近の周波数)又はベースバンドにダウンコンバートすることを含む)を実行するチューナーを含むことができる。
【0199】
1つのセットトップボックスの実施例では、RF部分及びその関連する入力処理素子は有線(例えば、ケーブル)媒体において伝送されるRF信号を受信することができる。その後、RF部分はフィルタリング、ダウンコンバート及び再フィルタリングにより所望の周波数帯域を得て周波数選択を実行することができる。
【0200】
様々な実施例では、上記(及び他の)素子の順序を設定し、これらの素子のうちの一部を削除し、及び/又は類似又は異なる機能を実行する他の素子を追加する。
【0201】
素子の追加は、既存の素子の間に、増幅器やアナログデジタルコンバータのような素子を挿入することを含むことができる。様々な実施例において、RF部分はアンテナを含むことができる。
【0202】
さらに、USBおよび/またはHDMI端子は、USBおよび/またはHDMI接続を介してシステム300を他の電子デバイスに接続するための対応するインターフェースプロセッサを含むことができる。なお、必要な時に、入力処理の各態様(例えば、Reed-Solomon誤り訂正)は、例えば、分離した入力処理IC内又はプロセッサ310内で実現することができる。このように、必要な時に、分離したインターフェースIC内又はプロセッサ310内でUSB又はHDMIインターフェース処理の各態様を実現することができることを理解されたい。復調により、誤り訂正と逆多重化のストリームは、プロセッサ310、及びメモリと記憶素子に組み合わせて操作するエンコーダ/デコーダ330などを含む様々な処理素子に提供することができることにより、必要な時にデータストリームを処理して出力デバイスに表示する。
【0203】
一体型ハウジング内でシステム300の様々な素子を提供することができる。一体型ハウジング内において、適切な接続レイアウト390(例えば、当分野で周知の内部バスであって、I2Cバス、配線及びプリント回路基板を含む)を用いて各素子を互いに接続しかつそれらの間でデータを伝送することができる。
【0204】
システム300は通信インターフェース350を含むことができるので、通信チャネル700を介して他のデバイスと通信することができる。通信インターフェース350は、通信チャネル700においてデータを送受信するように構成される送受信機を含むが、これに限らない。通信インターフェース350は、モデム又はネットワークカードを含むが、これに限らず、通信チャネル700は例えば有線及び/又は無線媒体内で実現することができる。
【0205】
様々な実施例では、IEEE802.11のようなWi-Fiネットワークを使用して、システム300にデータをストリーミングすることができる。これらの実施例のWi-Fi信号は、Wi-Fi通信に適した通信チャネル700と通信インターフェース350を介して受信することができる。これらの実施例の通信チャネル700は通常アクセス点又はルータに接続することができ、該アクセス点又はルータは、インターネットを含む外部ネットワークへのアクセスを提供することで、ストリーミングの適用と他のクラウド上(Over-the-top)無線通信を許可する。
【0206】
他の実施例はセットトップボックスを用いてシステム300にストリーミングデータを提供することができ、該セットトップボックスは入力ブロック390のHDMI接続によりデータを搬送する。
【0207】
入力ブロック390のRF接続を用いてストリーミングデータをシステム300に提供する実施例もある。
【0208】
ストリーミングデータは、システム300が用いるシグナリング情報の方式として使用することができる。シグナリング情報は、ビットストリームBおよび/または点群などの点の数、座標、および/またはセンサ設定パラメータの情報を含むことができる。
【0209】
なお、様々な方式でシグナリングを実現できる。例えば、様々な実施例において、1つ又は複数の構文要素、フラグなどは、対応するデコーダに信号通知情報を送信するために使用することができる。
【0210】
システム300は、ディスプレイ400、スピーカ500及び他の周辺機器600を含む様々な出力デバイスに出力信号を提供することができる。実施例の様々な例において、他の周辺機器600は独立したDVR、ディスクプレーヤ、ステレオシステム、照明システム、及びシステム300の出力に基づいて機能を提供する他のデバイスのうちの1つ又は複数を含むことができる。
【0211】
様々な実施例において、制御信号はAV.Link(オーディオ/ビデオリンク)、CEC(家電制御)又はデバイスからデバイスへの制御を有効にする他の通信プロトコルのシグナリングを用いてシステム300とディスプレイ400、スピーカ500又は他の周辺機器600との間で通信することができ、ユーザがあってもなくてもよい。
【0212】
出力デバイスは、対応するインターフェース360、370及び380により、専用接続経由で通信可能にシステム300に接続することができる。
【0213】
選択的に、通信インターフェース350経由で通信チャネル700を用いて出力デバイスをシステム300に接続することができる。ディスプレイ400とスピーカ500は電子機器(例えばテレビ)のシステム300の他のコンポーネントとともに単一ユニットに統合することができる。
【0214】
様々な実施例において、表示インターフェース360は、タイミングコントローラ(T Con)チップのようなディスプレイドライバを含むことができる。
【0215】
例えば、入力端390のRF部分が、分離したセットトップボックスの一部である場合、ディスプレイ400とスピーカ500は選択的に他のコンポーネントのうちの1つ又は複数と分離する。ディスプレイ400とスピーカ500が外部コンポーネントであってもよい様々な実施例では、専用の出力接続(例えばHDMIポート、USBポート又はCOMP出力端子を含む)経由で出力信号を提供することができる。
【0216】
図1~29では、本明細書では、様々な方法が説明され、各方法は、説明される方法を実現するように、1つ又は複数のステップ又は動作を含む。方法の正確な操作には特定のステップ又は動作順序が必要である場合でない限り、特定のステップ及び/又は動作の順序及び/又は使用を修正したり、組み合わせたりすることができる。
【0217】
ブロック図及び/又は操作フローチャートについていくつかの例が説明されたが、各ブロックは、回路素子、モジュール、或いは(1つ又は複数の)指定ロジック機能を実現するための1つ又は複数の実行可能な命令のコードを含む部分を表す。なお、他の実施形態では、ブロックに示されている(1つ又は複数の)機能は、指示された順序に従って発生しなくてもよいことに留意されたい。例えば、関わる機能によると、次々と表示される2つのブロックは実際に、基本的に並列して実行されてもよいし、又は逆の順序でこれらのブロックを実行してもよい。
【0218】
例えば方法又はプロセス、装置、コンピュータプログラム、データストリーム、ビットストリーム又は信号において本明細書で説明される実施形態と態様を実現することができる。単一形式の実施形態のコンテキストのみにおいて検討(例えば、方法のみとして検討する)しても、議論される特徴の実施形態は他の形式(例えば、装置又はコンピュータプログラム)で実現することができる。
【0219】
方法は例えばプロセッサにおいて実現することができ、プロセッサは通常、例えばコンピュータ、マイクロプロセッサ、集積回路又はプログラム可能なロジックデバイスなどを含む処理デバイスを指す。プロセッサは通信デバイスをさらに含む。
【0220】
また、方法は、プロセッサにより実行される命令で実現することができ、そして、このような命令(及び/又は実施形態により生成されたデータ値)はコンピュータ読み取り可能な記憶媒体に記憶することができる。コンピュータ読み取り可能な記憶媒体は、1つ又は複数のコンピュータ読み取り可能な媒体において実施され、かつそれにおいて実施された、コンピュータにより実行可能なコンピュータ読み取り可能なプログラムコードを有するコンピュータ読み取り可能なプログラム製品の形式を用いることができる。それに情報を記憶する固有の能力及びそれにより提供される情報から検索する固有の能力を考慮すると、本明細書で使用されるコンピュータ読み取り可能な記憶媒体は、非一時的な記憶媒体として見なすことができる。コンピュータ読み取り可能な記憶媒体は、電子、磁気、光学、電磁、赤外線又は半導体システム、装置又はデバイス、又は前述したもの任意の適切な組み合せであってもよいが、これらに限らない。なお、以下は、本実施例を適用できるコンピュータ読み取り可能な記憶媒体のより更具的な例を提供したが、当業者であれば容易に認識できるように、それらは網羅的なリストではなく例示的なものに過ぎないことを理解されたい:ポータブルコンピュータフロッピーディスク、ハードディスク、読み取り専用メモリ(ROM)、消去可能なプログラム可能な読み取り専用メモリ(EPROM 又はフラッシュメモリ)、コンパクトディスク読み取り専用メモリ(CD-ROM)、光学ストレージデバイス、磁気ストレージデバイス、又は前述したもの任意の適切な組み合せ。
【0221】
命令は、プロセッサ読み取り可能な媒体に有形に実施されるアプリケーションを生成することができる。
【0222】
例えば、命令はハードウェア、ファームウェア、ソフトウェア又はその組み合せに存在することができる。例えば、操作システム、独立したアプリケーション、又は両者の組み合せにおいて命令を見つけることができる。したがって、プロセッサは、例えばプロセスを実行するように構成されるデバイスやプロセスを実行するための命令を有するプロセッサ読み取り可能な媒体(例えばストレージデバイス)を含むデバイスとして特徴付けることができる。また、命令に加え又は命令の代わりに、プロセッサ読み取り可能な媒体可は、実施形態により生成したデータ値を記憶することができる。
【0223】
装置は例えば適切なハードウェア、ソフトウェア及びファームウェアにおいて実現することができる。このような装置の例はパーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレット、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、コネクテッド家電製品、ヘッドマウント ディスプレイ(HMD、透視メガネ)、プロジェクタ(投影機)、「洞窟」(複数のディスプレイを含むシステム)、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダから出力を処理するポストプロセッサ 、ビデオエンコーダに入力を提供するプリプロセッサ、web サーバ、セットトップボックス、及び処理点群、ビデオ又は画像を処理するための他の任意のデバイス、又は他の通信デバイスを含む。なお、装置は移動可能であり、移動中の車両に取り付けることもできる。
【0224】
コンピュータソフトウェアは、プロセッサ310、ハードウェア、又はハードウェアとソフトウェアとの組み合せで実現することができる。非限定的な例として、1つ又は複数の集積回路で実施例を実現することができる。メモリ320は、技術環境に適応する任意のタイプであってもよく、任意の適切なデータ記憶技術(非限定的な例として、例えば光学メモリデバイス、磁気メモリデバイス、半導体に基づくメモリデバイス、固定メモリ及び移動可能なメモリ)で実現することができる。非限定的な例として、プロセッサ310は技術環境に適合する任意のタイプであってもよく、マイクロプロセッサ、汎用コンピュータ、専用のコンピュータ及びマルチコアアーキテクチャに基づくプロセッサのうちの1つ又は複数をカバーすることができる。
【0225】
当業者にとって明らかなように、実施形態は、例えば記憶可能又は伝送可能な情報を運搬するように定形化される様々な信号を生成することができる。情報は、例えば方法を実行するための命令又は説明される実施形態の1つにより生成されたデータを含むことができる。例えば、信号は、説明される実施例のビットストリームを搬送するように定形化されてもよい。この信号は、例えば電磁波(例えば、周波数スペクトルを用いる無線周波数部分)又はベースバンド信号に定形化されてもよい。定形化は、例えばデータストリームに対して符号化し、かつ符号化されたデータストリームを用いて搬送波を変調することを含むことができる。信号により搬送される情報は、例えばアナログ又はデジタル情報であってもよい。周知のように、信号は異なる有線又は無線リンクで伝送することができる。信号はプロセッサ読み取り可能な媒体に記憶することができる。
【0226】
本明細書で使用される用語は、特定の実施例を説明することのみに使用され、限定するためのものではない。コンテキストに明確な指示がない限り、本明細書で使用される単数形の「1つ」、「1種」及び「該」は複数形をも含む。さらに、本明細書で使用される場合、「含む/包含(include/comprise)」及び/又は「含む/包含(including/comprising)」という用語は、説明される特徴、整数、ステップ、操作、要素及び/又はコンポーネントなどの存在を指示することができるが、1つ又は複数の他の特徴、整数、ステップ、操作、要素、コンポーネント及び/又はこれらの組み合せの存在又は追加を排除しない。また、1つの要素がもう1つの要素に「応答」又は「接続」すると呼ばれる時、もう1つの要素に直接応答又は接続してもよいし、中間要素が存在してもよい。逆に、1つの要素がもう1つの要素に「直接応答」又は「直接接続」すると呼ばれる時、中間要素が存在しない。
【0227】
なお、例えば、「A/B」、「A及び/又は B」及び「AとBのうちの少なくとも1つ」の場合、「/」、「及び/又は」及び「少なくとも1つ」という符号/用語のうちのいずれか1つの使用は、一番目に挙げられた選択肢(A)の選択、又は二番目に挙げられた選択肢(B)の選択、又は2つの選択肢(AとB)の選択をカバーすることを意図している。更なる例として、「A、B及び/又はC」及び「A、B和Cのうちの少なくとも1つ」の場合、このような言葉遣いは、一番目に挙げられた選択肢(A)の選択のみ、又は二番目に挙げられた選択肢(B)の選択のみ、又は三番目に挙げられた選択肢(C)の選択のみ、又は一番目と二番目に挙げられた選択肢(AとB)の選択のみ、又は一番目と三番目に挙げられた選択肢(AとC)の選択、又は二番目と三番目に挙げられた選択肢(BとC)の選択のみ、又は3つの選択肢(AとBとC)のすべての選択をカバーすることを意図している。当分野及び当業者には明らかなように、このようにして、挙げられた項目の数に拡張することができる。
【0228】
本出願では様々な数値を用いることができる。特定値は例示的なものであり、そして説明される各態様はこれらの特定値に限らない。
【0229】
なお、第1の、第2のなどの用語は本明細書において様々な要素を説明することに用いることができるが、これらの要素がこれらの用語に限らない。これらの用語は、1つの要素をもう1つの要素と区別することだけに用いられる。例えば、本出願の教示から逸脱しない限り、第1の要素は第2の要素と呼ぶことができ、同様に、第2の要素は第1の要素と呼ぶこともできる。第1の要素と第2の要素との間は順序付けが暗黙的に示されていない。
【0230】
「1つの実施例」又は「実施例」又は「一実施形態」又は「実施形態」及びその他の変化の引用は、頻繁に、特定の特徴、構造、特点等(実施例/実施形態に合わせて説明されるもの)が少なくとも1つの実施例/実施形態に含まれることを伝えるために使用される。したがって、本出願の各箇所に現れる用語の「1つの実施例において」又は「実施例において」又は「いくつか実施例において」又は「一実施形態において」又は「実施形態において」およびその他の任意の変化の出現は、必ずしも同じ実施例を指すとは限らない。
【0231】
同様に、本明細書の「実施例/例/実施形態によると」又は「実施例/例/実施形態において」およびその他の変化の引用は、頻繁に、特定の特徴、構造又は特点(実施例/実施形態に合わせて説明されるもの)が少なくとも1つの実施例/例/実施形態に含まれ得ることを伝えることに使用される。したがって、明細書の各箇所に現れる「実施例/例/実施形態によると」又は「実施例/例/実施形態において」という表現は、必ずしも同じな実施例/例/実施形態を指すとは限らず、独立又は代替的な実施例/例/実施形態が必ず他の実施例/例/実施形態とは相互排他的であるとも限らない。
【0232】
請求項に現れる図面の符号は説明だけに用いられ、かつ請求項の範囲を限定しない。明確な説明がないにもかかわらず、任意の組み合せ又は一部の組み合せにより本実施例/例および変形例を用いることができる。
【0233】
図がフローチャートとして示される時、対応する装置のブロック図も提供されることを理解されたい。同様に、図がブロック図として示される時、対応する方法/プロセスのフローチャートも提供されることを理解されたい。
【0234】
一部の図には、通信路径において通信の主な方向を示す矢印が含まれるが、通信が、説明される矢印と逆の方向に発生することもできることを理解されたい。
【0235】
様々な実施形態は復号化に関連する。本出願で使用されるように、「復号化」は、例えば受信した点群フレーム(1つ又は複数の点群フレームを符号化して受信したビットストリームを含む可能性がある)を実行することにより、表示又は再構築された点群領域内の更なる処理に適合する最終出力を生成するプロセスの全部又は一部をカバーすることができる。様々な実施例において、このようなプロセスは、通常デコーダにより実行されるプロセスのうちの1つ又は複数を含む。様々な実施例において、例えば、このようなプロセスは、本出願で説明される様々な実施形態のデコーダにより実行されるプロセスを選択的に含むこともできる。
【0236】
更なる例として、一実施例では、「復号化」は逆量子化のみを指すことができ、一実施例では、「復号化」はエントロピー復号化を指すことができ、もう1つの実施例において、「復号化」は差分復号化を指すことができ、もう1つの実施例において、「復号化」は逆量子化、エントロピー復号化および差分復号化の組み合せを指すことができる。具体的に説明されるコンテキストに基づいて、「復号化プロセス」という用語は、具体的には、演算のサブセットを指すか、それともより一般的な復号化プロセスを指すかが自明な可能性であり、当業者にとって理解しやすいものでもある。
【0237】
様々な実施形態は符号化に関連する。少なくとも以上の「復号化」に係る検討の方式と同様に、本出願において使用される「符号化」は、例えば、入力点群フレームを実行することにより符号化のビットストリームを生成するプロセスの全部又は一部をカバーすることができる。様々な実施例において、この種類のプロセスは、通常エンコーダにより実行されるプロセスのうちの1つ又は複数を含む。様々な実施例において、このようなプロセスは、本出願で説明される各実施形態のエンコーダにより実行されるプロセスを含むか、または選択的に含むこともできる。
【0238】
更なる例として、1つの実施例において、「符号化」は量子化のみを指すことができ、1つの実施例において、「符号化」はエントロピー符号化のみを指すことができ、もう1つの実施例において、「符号化」は差分符号化のみを指すことができ、もう1つの実施例において、「符号化」は量子化、差分符号化およびエントロピー符号化の組み合せを指すことができる。特定の説明がなされているコンテキストに基づいて、「符号化プロセス」という用語は、演算のサブセットを具体的に指すか、それともより一般的な符号化プロセスを指すかが自明な可能性があり、当業者にとって理解しやすいものでもある。
【0239】
また、本出願は、様々な情報の「取得」について言及できる。情報の取得は、情報の推定、情報の計算、情報の予測又はメモリから情報を検査することのうちの1つ又は複数を含むことができる。
【0240】
また、本出願は、様々な情報への「アクセス」について言及できる。情報へのアクセスは情報の受信、(例えば、メモリから)情報を検索こと、情報の記憶、情報の移動、情報のコピー、情報の計算、情報の決定、情報の予測又は情報の推定のうちの1つ又は複数を含むことができる。
【0241】
また、本出願は様々な情報の「受信」について言及できる。「アクセス」と同様に、受信というのは広義的な用語を意図する。情報の受信は、例えば、情報へのアクセス又は情報の検索(例えば、メモリから)のうちの1つ又は複数を含むことができる。また、もう1つの方式として、例えば、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の削除、情報の計算、情報の決定、情報の予測又は情報の推定などの操作期間は、通常、「受信」に関連する。
【0242】
それに、本明細書で使用されるように、「信号」という用語は、特に対応するデコーダに特定のことを指示するなどを指示する。例えば、いくつかの実施例では、エンコーダは、点群の点の数または座標またはセンサ設定パラメータなどの特定の情報を通知するために信号を送信する。この様式により、実施例において、エンコーダ側とデコーダ側において同じパラメータを用いることができる。したがって、例えば、エンコーダはデコーダに(明確なシグナリング)特定パラメータを送信することができ、これにより、デコーダは同じ特定パラメータを用いることができる。逆に、デコーダが特定のパラメータおよび他のパラメータを有している場合、伝送を必要としないシグナリング(間接的なシグナリング)を用いて、デコーダに知らせかつ特定パラメータを選択させることを容易にする。如何なる実際の機能の伝送を回避するために、様々な実施例においてビット節約を実現している。なお、様々な方式でシグナリングを完成できることを認識されたい。例えば、様々な実施例において、1つ又は複数の文法要素、フラグなどは、情報を対応するデコーダに送信するために使用される。上記は「信号(signal)」という単語の動詞の形に関連するが、「信号」という単語は本明細書において名詞として使用されても良い。
【0243】
すでに複数の実施形態を説明したが、様々な修正を行ってもよいことを理解されたい。例えば、異なる実施形態の要素を組み合せ、補充、修正又は削除することによって他の実施形態を生成することができる。また、当業者であれば理解できるように、他の構造とプロセスは、開示された構造とプロセスを代替でき、これにより生成された実施形態は基本的に同じである(1つ又は複数の)方式で、基本的に同じ(1つ又は複数の)である機能を実行することによって、少なくとも開示された実施形態と基本的に同じである(1つ又は複数の)結果を実現する。したがって、本出願では、これらの内容及び他の実施形態が構想されている。
【手続補正書】
【提出日】2024-03-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータをビットストリームに符号化する方法であって、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、前記方法は、
-第1のセンサインデックス(λ
1)を有し且つ第1の半径(r
1)に関連付けられた第1の占有された粗い点(P
1)に対して、第1のセンサインデックス(λ
1)と異なる第2のセンサインデックス(λ
2)を有する少なくとも1つの第2の占有された粗い点(P
2)に関連付けられた少なくとも1つの第2の半径(r
2)、及び第1のセンサインデックス(λ
1)に等しいセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられた少なくとも1つの第3の半径(r
3)から、選択された予測半径(r
pred)を選
択するステップと、
-選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)をビットストリームに符号
化するステップと、
-第1の半径(r
1)と選択された予測半径(r
pred)との間の残差半径(r
res)をビットストリームに予測符号
化するステップと、を含む、
センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータをビットストリームに符号化する方法。
【請求項2】
ビットストリームからセンサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを復号化する方法であって、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、前記方法は、
-第1のセンサインデックス(λ
1)を有する第1の占有された粗い点(P
1)に対して、ビットストリームから、選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)を復号
化するステップであって、前記選択された予測半径(r
pred)は、第1のセンサインデックス(λ
1)と異なる第2のセンサインデックス(λ
2)を有する少なくとも1つの第2の占有された粗い点(P
2)に関連付けられた少なくとも1つの第2の半径(r
2)、及び第1のセンサインデックス(λ
1)に等しいセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられた少なくとも1つの第3の半径(r
3)から選択されるステップと、
-第1の占有された粗い点(P
1)に対して、ビットストリームから残差半径(r
res)を復号
化するステップと、
-残差半径(r
res)とデータ(I
pred)から得られた選択された予測半径(r
pred)とに基づいて、第1の占有された粗い点(P
1)のための点群の点に関連付けられた半径(r
1)を取
得するステップと、を含む、
ビットストリームからセンサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを復号化する方法。
【請求項3】
データ(I
pred)は、選択された予測半径(r
pred)が第2の半径(r
2)であるか第3の半径(r
3)であるかを指示するバイナリデータを含む、
請求項1又は2に記載の方法。
【請求項4】
前記少なくとも1つの第2の半径(r
2)は第1の半径リスト(L
1={r
2})を形成し、前記少なくとも1つの第3の半径(r
3)は第2の半径リスト(L
2={r
3})を形成し、バイナリデータは、選択された予測半径(r
pred)が第1の半径リストに属するか第2の半径リストに属するかを指示する、
請求項3に記載の方法。
【請求項5】
データ(I
pred)は予測器インデックス(Idx)をさらに含み、予測器インデックス(Idx)は、選択された予測半径(r
pred)が第1の半径リスト又は第2の半径リストのどの半径に等しいかを指示する、
請求項4に記載の方法。
【請求項6】
単一の第2の半径(r
2)と少なくとも1つの第3の半径(r
3)のリスト(L={r
3})から、選択された予測半径を選択し、データ(I
pred)は予測器インデックス(Idx)を含み、予測器インデックス(Idx)が所定のインデックス値(Idx
V)に等しくない場合、予測器インデックス(Idx)は、選択された予測半径(r
pred)がリストにおけるどの半径(r
3)に等しいかを指示し、そうでない場合、データ(I
pred)は、選択された予測半径(r
pred)が第2の半径(r
2)に等しいか、半径リストにおける所定のインデックス値(Idx
V)によって指示された第3の半径(r
3)に等しいかを指示するバイナリデータ(f
HV)をさらに含む、
請求項1又は2に記載の方法。
【請求項7】
前記少なくとも1つの第2の半径と少なくとも1つの第3の半径(r
2、r
3)は単一の半径リスト(L={r
2,r
3})を形成し、データ(I
pred)は、選択された予測半径(r
pred)が半径リストにおけるどの半径に等しいかを指示する予測器インデックスを含む、
請求項1又は2に記載の方法。
【請求項8】
単一の半径リストの半径を、最も多く選択された1つから最も少なく選択された1つへの順に統計的に並べ替える、
請求項7に記載の方法。
【請求項9】
センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを表す符号化された点群データのビットストリームであって、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、
ビットストリームは、第1の占有された粗い点(P
1)に関連付けられた半径(r
1)と選択された予測半径(r
pred)との間の残差半径を表す符号化された点群データを含み、
ビットストリームは、選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)をさらに含み、
前記第1の占有された粗い点(P
1)は2次元空間内に第1のセンサインデックス(λ
1)を有し、
前記第2の半径(r
2)は、第1のセンサインデックス(λ
1)と異なる2次元空間内の第2のセンサインデックス(λ
2)を有する第2の占有された粗い点(P
2)に関連付けられ、
前記半径(r
3)は、第1のセンサインデックス(λ
1)に等しい2次元空間内のセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられる、
センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを表す符号化された点群データのビットストリーム。
【請求項10】
センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータをビットストリームに符号化する装置であって、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、前記装置は少なくとも1つのプロセッサを備え、前記少なくとも1つのプロセッサは、
-第1のセンサインデックス(λ
1)を有し且つ第1の半径(r
1)に関連付けられた第1の占有された粗い点(P
1)に対して、第1のセンサインデックス(λ
1)と異なる第2のセンサインデックス(λ
2)を有する少なくとも1つの第2の占有された粗い点(P
2)に関連付けられた少なくとも1つの第2の半径(r
2)、及び第1のセンサインデックス(λ
1)に等しいセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられた少なくとも1つの第3の半径(r
3)から、選択された予測半径(r
pred)を選択し、
-選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)をビットストリームに符号化し、
-第1の半径(r
1)と選択された予測半径(r
pred)との間の残差半径(r
res)をビットストリームに予測符号化するように構成される、
センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータをビットストリームに符号化する装置。
【請求項11】
ビットストリームからセンサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを復号化する装置であって、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、前記装置は少なくとも1つのプロセッサを備え、前記少なくとも1つのプロセッサは、
-第1のセンサインデックス(λ
1)を有する第1の占有された粗い点(P
1)に対して、ビットストリームから、選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)を復号化し、前記選択された予測半径(r
pred)は、第1のセンサインデックス(λ
1)と異なる第2のセンサインデックス(λ
2)を有する少なくとも1つの第2の占有された粗い点(P
2)に関連付けられた少なくとも1つの第2の半径(r
2)、及び第1のセンサインデックス(λ
1)に等しいセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられた少なくとも1つの第3の半径(r
3)から選択され、
-第1の占有された粗い点(P
1)に対して、ビットストリームから残差半径(r
res)を復号化し、
-残差半径(r
res)とデータ(I
pred)から得られた選択された予測半径(r
pred)とに基づいて、第1の占有された粗い点(P
1)のための点群の点に関連付けられた半径(r
1)を取得するように構成される、
ビットストリームからセンサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを復号化する装置。
【請求項12】
コンピュータブログラ
ムであって、
前記コンピュータブログラムが1つ又は複数のプロセッサによって実行されると
、1つ又は複数のプロセッサに、センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータをビットストリームに符号化する方法を実行させ、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、前記方法は、
-第1のセンサインデックス(λ
1)を有し且つ第1の半径(r
1)に関連付けられた第1の占有された粗い点(P
1)に対して、第1のセンサインデックス(λ
1)と異なる第2のセンサインデックス(λ
2)を有する少なくとも1つの第2の占有された粗い点(P
2)に関連付けられた少なくとも1つの第2の半径(r
2)、及び第1のセンサインデックス(λ
1)に等しいセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられた少なくとも1つの第3の半径(r
3)から、選択された予測半径(r
pred)を選
択するステップと、
-選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)をビットストリームに符号
化するステップと、
-第1の半径(r
1)と選択された予測半径(r
pred)との間の残差半径(r
res)をビットストリームに予測符号
化するステップと、を含む、
コンピュータブログラ
ム。
【請求項13】
センサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータをビットストリームに符号化する方法を実行するためのブログラムコードの命令を運ぶ非一時的な記憶媒体であって、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、前記方法は、
-第1のセンサインデックス(λ
1)を有し且つ第1の半径(r
1)に関連付けられた第1の占有された粗い点(P
1)に対して、第1のセンサインデックス(λ
1)と異なる第2のセンサインデックス(λ
2)を有する少なくとも1つの第2の占有された粗い点(P
2)に関連付けられた少なくとも1つの第2の半径(r
2)、及び第1のセンサインデックス(λ
1)に等しいセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられた少なくとも1つの第3の半径(r
3)から、選択された予測半径(r
pred)を選
択するステップと、
-選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)をビットストリームに符号
化するステップと、
-第1の半径(r
1)と選択された予測半径(r
pred)との間の残差半径(r
res)をビットストリームに予測符号
化するステップと、を含む、
非一時的な記憶媒体。
【請求項14】
コンピュータブログラ
ムであって、
前記コンピュータブログラムが1つ又は複数のプロセッサによって実行されると
、1つ又は複数のプロセッサに、ビットストリームからセンサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを復号化する方法を実行させ、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、前記方法は、
-第1のセンサインデックス(λ
1)を有する第1の占有された粗い点(P
1)に対して、ビットストリームから、選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)を復号
化するステップであって、前記選択された予測半径(r
pred)は、第1のセンサインデックス(λ
1)と異なる第2のセンサインデックス(λ
2)を有する少なくとも1つの第2の占有された粗い点(P
2)に関連付けられた少なくとも1つの第2の半径(r
2)、及び第1のセンサインデックス(λ
1)に等しいセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられた少なくとも1つの第3の半径(r
3)から選択されるステップと、
-第1の占有された粗い点(P
1)に対して、ビットストリームから残差半径(r
res)を復号
化するステップと、
-残差半径(r
res)とデータ(I
pred)から得られた選択された予測半径(r
pred)とに基づいて、第1の占有された粗い点(P
1)のための点群の点に関連付けられた半径(r
1)を取
得するステップと、を含む、
コンピュータブログラ
ム。
【請求項15】
ビットストリームからセンサインデックスに関連付けられた少なくとも1つのセンサによってセンシングされた点群ジオメトリデータを復号化する方法を実行するためのブログラムコードの命令を運ぶ非一時的な記憶媒体であって、前記点群ジオメトリデータは、2次元空間の離散的な位置のセットのいくつかの離散的な位置を占有する順序付きの粗い点によって表され、各占有された粗い点は、前記占有された粗い点に関連付けられた点群の点をセンシングするセンサに関連付けられたセンサインデックスと、点群の点がセンシングされたセンシング時刻に関連付けられたサンプルインデックスとにより、2次元空間内に位置決めされ、各占有された粗い点は、点群の点から参照物までの距離に基づく半径に関連付けられ、前記方法は、
-第1のセンサインデックス(λ
1)を有する第1の占有された粗い点(P
1)に対して、ビットストリームから、選択された予測半径(r
pred)が第2の半径(r
2)に等しいか第3の半径(r
3)に等しいかを指示するデータ(I
pred)を復号
化するステップであって、前記選択された予測半径(r
pred)は、第1のセンサインデックス(λ
1)と異なる第2のセンサインデックス(λ
2)を有する少なくとも1つの第2の占有された粗い点(P
2)に関連付けられた少なくとも1つの第2の半径(r
2)、及び第1のセンサインデックス(λ
1)に等しいセンサインデックス(λ
3)を有する少なくとも1つの第3の占有された粗い点(P
3)に関連付けられた少なくとも1つの第3の半径(r
3)から選択されるステップと、
-第1の占有された粗い点(P
1)に対して、ビットストリームから残差半径(r
res)を復号
化するステップと、
-残差半径(r
res)とデータ(I
pred)から得られた選択された予測半径(r
pred)とに基づいて、第1の占有された粗い点(P
1)のための点群の点に関連付けられた半径(r
1)を取
得するステップと、を含む、
非一時的な記憶媒体。
【国際調査報告】