IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 北京小米移動軟件有限公司の特許一覧

特表2023-554158自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置
<>
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図1
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図2
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図3
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図4
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図5
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図6
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図7
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図8
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図9
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図10
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図11
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図12
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図13
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図14
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図15
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図16
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図17
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図18
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図19
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図20
  • 特表-自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置 図21
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-26
(54)【発明の名称】自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置
(51)【国際特許分類】
   G06T 9/00 20060101AFI20231219BHJP
【FI】
G06T9/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023538060
(86)(22)【出願日】2021-10-13
(85)【翻訳文提出日】2023-06-21
(86)【国際出願番号】 CN2021123649
(87)【国際公開番号】W WO2022134752
(87)【国際公開日】2022-06-30
(31)【優先権主張番号】20306673.3
(32)【優先日】2020-12-23
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.HDMI
(71)【出願人】
【識別番号】516180667
【氏名又は名称】北京小米移動軟件有限公司
【氏名又は名称原語表記】Beijing Xiaomi Mobile Software Co.,Ltd.
【住所又は居所原語表記】No.018, Floor 8, Building 6, Yard 33, Middle Xierqi Road, Haidian District, Beijing 100085, China
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】ラセール,セバスチャン
(72)【発明者】
【氏名】タケ,ジョナサン
(72)【発明者】
【氏名】シャンペル,メアリー-リュック ジョージズ ヘンリー
(57)【要約】
物理的オブジェクトを表す点群を符号化/復号化する方法及び装置を提供する。前記点群の点は、センサのキャプチャ角度を表す方位角及びセンサに関連付けられたセンサインデックスに基づいて順序付けされる。当該符号化方法は、前記少なくとも1つの順序インデックス差を二値化することで少なくとも1つの二値データを取得するステップ、各二値データに対して、前記二値データに関連付けられた方位角と符号化された点の方位角との間の距離に基づいてコンテキストを選択し、かつ選択されたコンテキストに基づいて前記ビットストリーム内の前記二値データに対して、コンテキストに基づくエントロピー符号化を行うステップにより、連続した2つの順序付けされた点の順序インデックスの間の差を表す少なくとも1つの順序インデックス差をビットストリーム内に符号化することを含む。
【選択図】 図1
【特許請求の範囲】
【請求項1】
点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する方法であって、前記点群の点は、センサのキャプチャ角度を表す方位角(Φn)及びセンサに関連付けられたセンサインデックス(λn)に基づいて順序付けされ、前記方法は、
前記少なくとも1つの順序インデックス差(Δo)を二値化することで少なくとも1つの二値データ(f)を取得(810)するステップ、及び
各二値データに対して、前記二値データに関連付けられた方位角(Φ)と符号化された点の方位角(Φpenult,Φal)との間の距離(C)に基づいてコンテキストを選択(820)し、かつ選択されたコンテキストに基づいて前記ビットストリーム内の前記二値データに対して、コンテキストに基づくエントロピー符号化(830)を行うステップにより、
連続した2つの順序付けされた点の順序インデックスの間の差を表す少なくとも1つの順序インデックス差(Δon)をビットストリーム内に符号化することを含む、
ことを特徴とする点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する方法。
【請求項2】
前記符号化された点は、前記二値データ(f)に関連付けられたセンサインデックス(λ)と同じセンサインデックスを有する最後から二番目の符号化された点(Ppenult)である、
ことを特徴とする請求項1に記載の方法。
【請求項3】
物理的オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法であって、前記方法は、前記ビットストリームから復号化された少なくとも1つの二値データ(f)に基づいて、連続した2つの順序付けされた点の順序インデックスの間の差を表す少なくとも1つの順序インデックス差(Δon)を復号化することを含み、
前記二値データ(f)に関連付けられた方位角(Φ)と復号化された点の方位角(Φpenult、Φal)との間の距離(C)に基づいてコンテキストを選択(910)するステップ、
選択されたコンテキスト、及び前記ビットストリームから復号化された前記二値データに関連付けられた確率情報に基づいて、前記少なくとも1つの二値データに対して、コンテキストに基づくエントロピー復号化(920)を行うステップ、及び
少なくとも1つのコンテキストに基づくエントロピー復号化が行われた二値データ(f)から順序インデックス差(Δo)を復号化(930)するステップにより、各二値データ(f)は復号化される、
ことを特徴とする物理的オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法。
【請求項4】
前記復号化された点は、前記二値データ(f)に関連付けられたセンサインデックス(λ)と同じセンサインデックスを有する最後から二番目の復号化された点(Ppenult)である、
ことを特徴とする請求項3に記載の方法。
【請求項5】
二値データ(f)を復号化するためのコンテキストは、コンテキストインデックス(ctxIdx)によりインデックスされたコンテキストテーブルから選択されたものであり、二値データ(f)に用いられる前記コンテキストインデックスは、前記二値データ(f)に関連付けられた前記方位角(Φ)と前記復号化された点の方位角(Φpenult、Φal)との間の前記距離(C)に等しい、
ことを特徴とする請求項3に記載の方法。
【請求項6】
二値データを復号化するためのコンテキストはコンテキストインデックス(ctxIdx)によりインデックスされたコンテキストテーブルから選択されたものであり、二値データ(f)に用いられる前記コンテキストインデックス(ctxIdx)は、前記順序インデックス差(Δo)を表す一連の二値データにおける前記二値データの順位(j)によって決定される、
ことを特徴とする請求項3に記載の方法。
【請求項7】
二値データを復号化するためのコンテキストは、コンテキストインデックス(ctxIdx)によりインデックスされたコンテキストテーブルから選択されたものであり、二値データ(f)に用いられる前記コンテキストインデックス(ctxIdx)は、前記二値データ(f)に関連付けられたセンサインデックス(λ)によって決定される、
ことを特徴とする請求項3に記載の方法。
【請求項8】
二値データを復号化するためのコンテキストは、コンテキストインデックス(ctxIdx)によりインデックスされたコンテキストテーブルから選択されたものであり、二値データ(f)に用いられる前記コンテキストインデックス(ctxIdx)は、近い仰角を有するセンサを再グループ化するセンサパックにより決定される。
ことを特徴とする請求項3に記載の方法。
【請求項9】
点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する装置であって、前記点群の点は、センサのキャプチャ角度を表す方位角及びセンサに関連付けられたセンサインデックスに基づいて順序付けされ、前記装置は1つ又は複数のプロセッサを含み、前記1つ又は複数のプロセッサは、
前記少なくとも1つの順序インデックス差を二値化することで少なくとも1つの二値データを取得するステップ、及び、
各二値データに対して、前記二値データに関連付けられた方位角と符号化された点の方位角との間の距離に基づいてコンテキストを選択し、かつ選択されたコンテキストに基づいて前記ビットストリーム内の前記二値データに対して、コンテキストに基づくエントロピー符号化を行うステップにより、
連続した2つの順序付けされた点の順序インデックスの間の差を表す少なくとも1つの順序インデックス差をビットストリーム内に符号化するように構成される、
ことを特徴とする点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する装置。
【請求項10】
物理的オブジェクトを表す点群の点をビットストリームから復号化する装置であって、前記装置は1つ又は複数のプロセッサを含み、前記1つ又は複数のプロセッサは、前記ビットストリームから復号化された少なくとも1つの二値データに基づいて、連続した2つの順序付けされた点の順序インデックスの間の差を表す少なくとも1つの順序インデックス差を復号化するように構成され、
前記二値データに関連付けられた方位角と復号化された点の方位角との間の距離に基づいてコンテキストを選択するステップ、
選択されたコンテキスト、及び前記ビットストリームから復号化された前記二値データに関連付けられた確率情報に基づいて、前記少なくとも1つの二値データに対して、コンテキストに基づくエントロピー復号化を行うステップ、及び
少なくとも1つのコンテキストに基づくエントロピー復号化が行われた二値データから順序インデックス差を復号化するステップにより、各二値データは復号化される、
ことを特徴とする物理的オブジェクトを表す点群の点をビットストリームから復号化する装置。
【請求項11】
物理的オブジェクトを表す符号化された点群データのビットストリームであって、前記ビットストリームは、順序インデックス差を表す少なくとも1つの二値データに関連付けられた確率情報を含み、前記順序インデックス差は、前記点群の連続した2つの順序付けされた点の順序インデックスの間の差を表す、
ことを特徴とする物理的オブジェクトを表す符号化された点群データのビットストリーム。
【請求項12】
命令を含むコンピュータプログラム製品であって、前記プログラムが1つ又は複数のプロセッサにより実行される際に、点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する方法を前記1つ又は複数のプロセッサに実行させ、前記点群の点は、センサのキャプチャ角度を表す方位角及びセンサに関連付けられたセンサインデックスに基づいて順序付けされ、前記方法は、
前記少なくとも1つの順序インデックス差を二値化することで少なくとも1つの二値データを取得するステップ、及び
各二値データに対して、前記二値データに関連付けられた方位角と符号化された点の方位角との間の距離に基づいてコンテキストを選択し、かつ選択されたコンテキストに基づいて前記ビットストリーム内の前記二値データに対して、コンテキストに基づくエントロピー符号化を行うステップにより、
連続した2つの順序付けされた点の順序インデックスの間の差を表す少なくとも1つの順序インデックス差をビットストリーム内に符号化することを含む、
ことを特徴とするコンピュータプログラム製品。
【請求項13】
非一時的な記憶媒体であって、点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する方法を実行するためのプログラムコードの命令がキャリアされ、前記点群の点は、センサのキャプチャ角度を表す方位角及びセンサに関連付けられたセンサインデックスに基づいて順序付けされ、前記方法は、
前記少なくとも1つの順序インデックス差を二値化することで少なくとも1つの二値データを取得するステップ、及び
各二値データに対して、前記二値データに関連付けられた方位角と符号化された点の方位角との間の距離に基づいてコンテキストを選択し、かつ選択されたコンテキストに基づいて前記ビットストリーム内の前記二値データに対して、コンテキストに基づくエントロピー符号化を行うステップにより、
連続した2つの順序付けされた点の順序インデックスの間の差を表す少なくとも1つの順序インデックス差をビットストリーム内に符号化することを含む、
ことを特徴とする非一時的な記憶媒体。
【請求項14】
命令を含むコンピュータプログラム製品であって、前記プログラムが1つ又は複数のプロセッサによって実行される際に、物理的オブジェクトを表す点群の点をビットストリームから復号化する方法を前記1つ又は複数のプロセッサに実行させ、前記方法は、前記ビットストリームから復号化された少なくとも1つの二値データに基づいて、連続した2つの順序付けされた点の順序インデックスの間の差を表す少なくとも1つの順序インデックス差を復号化することを含み、
前記二値データに関連付けられた方位角と復号化された点の方位角との間の距離に基づいてコンテキストを選択するステップ、
選択されたコンテキスト、及び前記ビットストリームから復号化された前記二値データに関連付けられた確率情報に基づいて、前記少なくとも1つの二値データに対して、コンテキストに基づくエントロピー復号化を行うステップ、及び
少なくとも1つのコンテキストに基づくエントロピー復号化が行われた二値データから順序インデックス差を復号化するステップにより、各二値データは復号化される、
ことを特徴とするコンピュータプログラム製品。
【請求項15】
非一時的な記憶媒体であって、物理的オブジェクトを表す点群の点をビットストリームから復号化する方法のプログラムコードを実行するための命令がキャリアされ、前記方法は、前記ビットストリームから復号化された少なくとも1つの二値データに基づいて、連続した2つの順序付けされた点の順序インデックスの間の差を表す少なくとも1つの順序インデックス差を復号化することを含み、
前記二値データに関連付けられた方位角と復号化された点の方位角との間の距離に基づいてコンテキストを選択するステップ、
選択されたコンテキスト、及び前記ビットストリームから復号化された前記二値データに関連付けられた確率情報に基づいて、前記少なくとも1つの二値データに対して、コンテキストに基づくエントロピー復号化を行うステップ、及び
少なくとも1つのコンテキストに基づくエントロピー復号化が行われた二値データから順序インデックス差を復号化するステップにより、各二値データは復号化される、
ことを特徴とする非一時的な記憶媒体。
【発明の詳細な説明】
【関連出願の相互引用】
【0001】
本出願は、2020年12月23日に提出された欧州特許出願No.EP 20306673.3の優先権を主張し、その内容は援用により全体的に本開示に組み込まれる。
【技術分野】
【0002】
本出願は一般に点群圧縮に関し、特に自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置に関する。
【背景技術】
【0003】
このセクションは、読者に当分野の様々な態様を紹介することを目的とし、これらの態様は、以下に記載および/または特許請求される本出願の少なくとも1つの例示的な実施例の様々な態様に関連付けられた。この議論は、本出願のあらゆる態様をよりよく理解するために、読者に背景情報を提供するのに役立つと考えられる。
【0004】
点群は、3Dデータを表すフォーマットとして最近注目されている。これは、すべてのタイプの物理的オブジェクトまたはシーンを表す能力が様々である。点群は文化遺産/建築物など、様々な目的で使用でき、ここで、物体を送信したりアクセスしたりすることなく物体の空間配置を共有するために、彫刻や建物のような物体を3D方式でスキャンする。また、それは物体が破壊される可能性がある場合、その物体の知識、例えば、地震では破壊されたお寺を確実に保存する方法である。通常、このタイプの点群は静的でカラーで巨大である。
【0005】
もう一つの使用例は、地形学と製図学において、3D表現を使用して地図が平面に限らず起伏を含むことができることを許可する。Googleマップは現在3Dマップの良い例であるが、点群ではなくメッシュを使用している。しかし、点群は3Dマップの適切なデータフォーマットであってもよく、通常、このタイプの点群は静的でカラーで巨大である。
【0006】
バーチャルリアリティ(VR)、拡張現実(AR)、及び没入型の世界は最近話題となり、多くの人に2Dタブレットビデオの未来と予見されている。その基本思想は視聴者を周囲の環境に浸らせることであるが、標準テレビでは視聴者が自分の前の仮想世界を見ることしか許されていない。視聴者の環境における自由度により、没入感にはいくつかのレベルがある。点群はVR/AR世界を配布する良いフォーマット候補である。
【0007】
自動車産業、特に予見可能な自動運転車の分野も、点群を大量に使用可能な分野である。自律運転車は、検出された最も近傍の物体の存在や性質、及び道路配置に基づいて良好な運転判断を行うために、彼らの環境を「検知」することができるはずである。
【0008】
点群とは、3次元(3D)空間に位置する点のセットであり、選択的に各点に付加値を付加する。これらの付加値は、通常、属性と呼ばれる。属性は、例えば、3成分の色、材料特性(例えば反射率)、及び/又は点に関連付けられた表面への2成分の法線ベクトルであってもよい。
【0009】
従って、点群とは、ジオメトリ(通常、3D空間における点の位置は3Dデカルト座標x、y、zで表される)と属性の組み合わせである。
【0010】
点群は、カメラのアレイ、深度センサ、レーザ(光検出と測距、レーザライダーとも呼ばれる)、レーダなど、様々なタイプの装置でキャプチャすることができ、または、コンピュータで生成することもできる(例えば、映画のポストプロダクションなど)。使用例に応じて、地図作成のために、点群には数千から数十億の点が含まれてもよい。点群の元の表現には、点ごとに非常に多くのビット数が必要であり、デカルト座標x、y、またはzごとに少なくとも十数ビットがあり、さらに選択的に(1つまたは複数)属性により多くのビット、例えば、色用の10ビットの3倍、を提供する。
【0011】
多くのアプリケーションでは、許容できる(またはできれば非常に優れた)体験品質を維持しながら、適切な数のビットレートまたはストレージスペースを消費するだけで、エンドユーザに点群を配布したり、サーバに保存したりできることが重要である。これらの点群の効率的な圧縮は、多くの没入型の世界の配布チェーンを実用化するための重要なポイントである。
【0012】
エンドユーザによる配布と可視化に対して、例えばAR/VRグラスやその他の任意の3D対応デバイスでは、圧縮は非可逆圧縮(例えば、ビデオ圧縮の場合)であってもよい。しかし、医療アプリケーションや自律運転など、圧縮され伝送された点群の後続解析から取得される判断結果を変更しないようにするために、可逆圧縮を必要とする使用例もある。
【0013】
最近まで、マスマーケットは点群圧縮(別名PCC)の問題を解決せず、標準化された点群デコーダもない。2017年、標準化ワーキンググループISO/JCT1/SC29/WG11は、別名ビデオ像専門家グループまたはMPEGとも呼ばれ、点群圧縮の作業プロジェクトを開始した。その結果、次の2つの規格が制定された。
・MPEG-I パート5(ISO/IEC 23090-5)またはビデオベースの点群圧縮(V-PCC)
・MPEG-I パート9(ISO/IEC 23090-9)またはジオメトリベースの点群圧縮(G-PCC)
【0014】
V-PCCコーデック方法は、画像(動的点群を処理する場合のビデオ)に詰め込まれた2Dパッチを取得するように、3Dオブジェクトに複数回の投影を行って点群を圧縮する。既存の画像/ビデオコーデックで取得された画像やビデオを圧縮し、すでに配置された画像とビデオ解決案を最大限に活用可能になる。V-PCCは、その本質上で、画像/ビデオコーデックは、例えば、レーザライダーでキャプチャされた疎な形状データの投影から取得された非平滑なパッチ、を圧縮することができないからである。
【0015】
G-PCCコーデック方法は、キャプチャされた疎なジオメトリデータを圧縮するための2つの方案を備える。
【0016】
最初の方案は、点群ジオメトリを表現するためのオクトリー、クワッドツリー、バイナリーツリーのうち、局所的に任意のタイプのツリーである占有ツリーに基づくものである。占有されたノードはあるサイズに達するまで分割され、占有されたリーフノードによって点の3D位置が提供され、通常これらのノードの中心にある。占有情報は、占有フラグによって含まれ、占有フラグがノードのサブノードのそれぞれの占有状態を通信するための信号を送信する。近傍ベースの予測技術を使用することにより、密な点群が占有するフラグの高いレベルの圧縮率を取得することができる。疎な点群は、ノード内の非最小サイズの点の位置を直接符号化および復号化することによっても解決でき、ノード内に孤立した点のみが存在する場合にツリー構築を停止する。このような技術は直接符号化モード(DCM)と呼ばれる。
【0017】
第2の方案は、各ノードが1点の3D位置を表し、ノード間の親/子関係が親から子への空間予測を表す予測ツリーに基づくものである。図1は予測ツリーの一部を示しており、点(ノード)は黒い丸で示され、親点と子点の関係は矢印で示される。1つの子点には一意の親点がある。そのため、現在の点Pn-1は一意の親点、一意の祖父点及び一意の曽祖父点を有する。現在の点の空間予測器はこれらの祖先点を用いて構造されるものであり、例えば、予測器は親点自身であってもよく、図2に示す祖父から親点への線形予測は図3に示す3つの先祖の平行四辺形の予測に示すとおりである可能性がある。その後、予測器から現在の点を引くことで残差を構築する。この残差は、典型的な二値化とエントロピー符号化技術を用いてビットストリームにおいて符号化する。この方法は疎な点群しか解決せず、占有ツリーよりも遅延が低く簡単な復号化という利点が提供される。しかし、最初の占有ベースの方法に対して、圧縮性能はわずかしか向上せず、エンコーダが予測ツリーを構築する際に(長い列の潜在予測器の中から)最良の予測子を見つけることに集中すべきであるため、符号化が複雑になる。
【0018】
この2つの方案では、属性(復号)符号復号化は、ジオメトリの(復号)符号復号化が完了した後に行われるため、実質的に2つの符号化が発生する。従って、結合ジオメトリ/属性低遅延は、サブボリューム間で予測することなく、3D空間を独立して符号化されたサブボリュームに分解するスライスによって得られる。多くのスライスを使用すると、圧縮性能に深刻な影響を与える。
【0019】
エンコーダとデコーダの簡素化、低遅延、圧縮性能の要件を組み合わせることは、既存の点群コーデックでは依然として満足に解決されていない問題である。
【0020】
重要な使用例は、移動車両に搭載された回転レーザレーダでキャプチャされた疎なジオメトリデータの伝送であるこの場合、通常、簡単で低遅延なエンコーダを必要とされる。簡単性が必要であり、エンコーダが(例えば、(半)自律運転)他の処理を並列に実行するコンピューティングユニットに配置される可能性があり、点群エンコーダが使用可能な処理能力が制限されるためである。また、自動車からクラウドへの迅速な伝送を可能にするために、複数の車両の収集に基づいてローカル交通をリアルタイムで確認し、交通情報に基づいて十分な迅速な決定を行うように、低い遅延が必要である。5Gの使用により、伝送遅延を十分に低くすることができるが、符号化のためにエンコーダ自体があまり多くの遅延を導入すべきではない。そして、数百万台の自動車からクラウドへのデータの流れは膨大になると予測されるため、圧縮性能は極めて重要である。
【0021】
回転レーザレーダでキャプチャされた疎なジオメトリデータに関連付けられた特定のプライアは、G-PCCで利用されており、非常に顕著な圧縮利得をもたらす。
【0022】
まず、G-PCCでは、図4および図5に示すように、回転レーザレーダヘッドでキャプチャされた仰角(水平な地面に対する)を利用する。レーザレーダヘッド10は、ここでは5つのレーザ機器が表されるセンサ11(レーザ機器)のセットを含む。レーザレーダヘッド10は、垂直軸zを中心に回転して、物理的オブジェクトのジオメトリデータをキャプチャすることができる。レーザレーダでキャプチャされたジオメトリデータはさらに球座標r3D,Φ,θで表される。ここで、が点Pからレーザレーダヘッドの中心までの距離であり、Φは基準の回転に対するレーザレーダヘッドの方位角であり、θは水平基準平面に対するレーザレーダヘッドのセンサkの仰角である。
【0023】
図6に示すように、レーザレーダでキャプチャされたデータで方位角に沿った規則的な分布が観察された。この規則性は、G-PCCにおいて点群の準1D表現を取得するために用いられ、ここで、ノイズまで半径r3Dのみが連続した値の範囲に属し、角度Φとθとは離散的な数の値のみを取り、Φ∀i=0~I-1であり、ここで、Iは点をキャプチャするために用いられる方位角の数であり、θ∀k=0~K-1であり、ここで、Kはレーザレーダヘッド10のセンサの数である。基本的に、図6に示すように、G-PCCは2D離散角平面(Φ,θ)上のレーザレーダでキャプチャされた疎なジオメトリデータ、及び各点の半径値r3Dを表す。
【0024】
角度の離散的特性を用いることにより、球座標空間ではすでに符号化された点に基づいて現在の点の位置を予測し、このような準1D特性はすでにG-PCCにおける占有ツリーと予測ツリーにおいて利用されている。
【0025】
より正確には、占有ツリーはDCMを大量に使用し、コンテキスト適応エントロピーコーデックを使用してノード内の点の直接位置をエントロピー符号復号化する。点の位置から角度座標(Φ,θ)までのローカル変換、及び以前に復号符号化された点から取得された離散的な角度座標(Φ,θ)に対するこれらの角度座標の位置からコンテキストを取得する。この座標空間を使用した準1Dの性質(r2D,Φ,θ)、予測ツリーは角度座標(r2D,Φ,θ)中の点の位置の最初のバージョンを直接符号復号化し、ここで、図7に示すように、r2Dは水平xy平面上の投影半径である。次に、角度座標(r2D,Φ,θ)を3Dデカルト座標(x、y、z)に変換し、座標変換の誤差、仰角および方位角の近似、および潜在的なノイズを解決するために、xyz残差を符号化する。
【0026】
仰角と方位角及び潜在的なノイズ。
【0027】
G-PCCは、自己回転レーザレーダによって捕捉された疎ジオメトリデータをより良く圧縮するために角度アプリオリを使用しているが、捕捉の順序に符号化構造を適応させていない。本質的には、占有ツリーは出力ポイントの前の最後の深さまで符号化する必要があります。この占有は、以下広さ優先順位で符号化される:まず、ルートノードの占有を符号化して、占有されている子ノードを指示し、次に、占有された各サブノードの占有を符号化し、占有された孫ノードを指示し、葉ノードが決定され且つ対応する点がアプリケーションまたは(1つまたは複数の)属性符号化解決案に提供/出力されるまで、ツリーの深さで類推反復を行う。予測ツリーについて、エンコーダはツリー内の点の順序を自由に選択できるが、良好な圧縮パフォーマンスを取得して、予測精度を最適化するために、G-PCCは、図8に示すように、レーザ機器ごとに1つのツリーを符号化することを推奨する。これは、レーザ機器(センサ)の間の予測ができず且つエンコーダ低遅延が提供されないため、各レーザ機器が1つの符号化スライスを用いる場合と同じ欠点を有し、すなわち、圧縮パフォーマンスが最適化されない。さらに悪いことに、レーザ機器(センサ)ごとに1つの符号化処理が必要であり且つコア符号化ユニットの数がセンシングレーザ機器の数と同じである必要があり、これは現実的ではない。
【0028】
要するに、点群の疎なジオメトリデータをキャプチャするための自己回転センサヘッドの枠組みでは、従来技術は符号化と復号化の単純性、低遅延及び圧縮性能を結合する問題を解決していない。
【0029】
前述した内容を踏まえて、本出願の少なくとも1つの例示的な実施例を設計する。
【発明の概要】
【発明が解決しようとする課題】
【0030】
次節では、本出願のいくつかの態様の基本的な理解を提供するために、少なくとも1つの例示的な実施例の簡素化された概要を提示する。この概要は、例示的な実施例の詳細な概要ではない。これは、実施例の肝心な要素または重要な要素を特定することを意図していない。以下の概要は、文書中の他の場所で提供されるより詳細な説明の前置きとして、例示的な実施形態の少なくとも1つの態様のいくつかの態様のみを簡略化された形で提示する。
【課題を解決するための手段】
【0031】
本出願の第1態様によると、点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する方法を提供し、点群の点は、センサのキャプチャ角度を表す方位角及びセンサに関連付けられたセンサインデックスに基づいて順序付けされる。当該方法は、少なくとも1つの順序インデックス差を二値化することで少なくとも1つの二値データを取得する操作、及び各二値データに対して、二値データに関連付けられた方位角と符号化された点の方位角との間の距離に基づいてコンテキストを選択し、かつ選択されたコンテキストに基づいてビットストリーム内の二値データに対して、コンテキストに基づくエントロピー符号化を行う操作により、連続した2つの順序付けされた点の順序インデックスの間の差を表す少なくとも1つの順序インデックス差をビットストリーム内に符号化することを含む。
【0032】
例示的な実施例によると、符号化された点は、二値データに関連付けられたセンサインデックスと同じセンサインデックスを有する最後から二番目の符号化された点である。
【0033】
本出願から取得されたビットストリームは迅速に伝送可能であり、これにより、高い圧縮レベルを達成しながら低遅延を実現する。
【0034】
例示的な実施例によると、当該方法は、ビットストリームをクラウドに伝送することをさらに含む。
【0035】
本出願の第2態様によると、物理的オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法を提供する。当該方法は、ビットストリームから復号化された少なくとも1つの二値データ復号化に基づいて、連続した2つの順序付けされた点の順序インデックスの間の差を表す少なくとも1つの順序インデックス差を表し、各二値データは、二値データに関連付けられた方位角と復号化された点の方位角との間の距離に基づいてコンテキストを選択する操作、選択されたコンテキスト及びビットストリームから復号化された二値データに関連付けられた確率情報に基づいて、前記少なくとも1つの二値データに対してコンテキストに基づくエントロピー復号化を行う操作、及び少なくとも1つのコンテキストに基づくエントロピー復号化が行われた二値データから順序インデックス差を復号化する操作により、復号化される。
【0036】
例示的な実施例によると、復号化された点は、二値データに関連付けられたセンサインデックスと同じセンサインデックスを有する最後から二番目の復号化された点である。
【0037】
例示的な実施例によると、二値データを復号化するためのコンテキストは、コンテキストインデックスによりインデックスされたコンテキストテーブルから選択されたものであり、二値データに用いられるコンテキストインデックスは、二値データに関連付けられた方位角と復号化された点の方位角との間の距離に等しい。
【0038】
例示的な実施例によると、二値データを復号化するためのコンテキストは、コンテキストインデックスによりインデックスされたコンテキストテーブルから選択されたものであり、二値データに用いられるコンテキストインデックスは、順序インデックス差を表す一連の二値データにおける前記二値データの特定順位により決定される。
【0039】
例示的な実施例によると、二値データを復号化するためのコンテキストは、コンテキストインデックスによりインデックスされたコンテキストテーブルから選択されたものであり、二値データに用いられるコンテキストインデックスは、二値データに関連付けられたセンサインデックスによって決定される。
【0040】
例示的な実施例によると、二値データを復号化するためのコンテキストは、コンテキストインデックスによりインデックスされたコンテキストテーブルから選択されたものであり、二値データに用いられるコンテキストインデックスは、近い仰角を有するセンサを再グループ化するセンサパックにより決定される。
【0041】
例示的な実施例によると、当該方法は、クラウドからビットストリームを取得することをさらに含む。
【0042】
例示的な実施例によると、当該方法は、自動車からビットストリームを取得することをさらに含む。
【0043】
本出願の第3態様によると、点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する装置を提供する。当該装置は1つ又は複数のプロセッサを含み、1つ又は複数のプロセッサは本出願の第1態様による方法を実行するように構成される。
【0044】
本出願の第4態様によると、物理的オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する装置を提供する。当該装置は1つ又は複数のプロセッサを含み、1つ又は複数のプロセッサは、本出願の第2態様による方法を実行するように構成される。
【0045】
本出願の第5態様によると、物理的オブジェクトを表す符号化された点群データのビットストリームを提供する。ビットストリームは、表示順序インデックス差の少なくとも1つの二値データに関連付けられた確率情報を含み、当該順序インデックス差は、点群の連続した2つの順序付けされた点的順序インデックスの間の差を表す。
【0046】
本出願の第6態様によると、命令を含むコンピュータプログラム製品を提供し、当該プログラムが1つ又は複数のプロセッサによって実行される時、命令は1つ又は複数のプロセッサに本出願の第1態様の方法を実行させる。
【0047】
本出願の第7態様によると、非一時的な記憶媒体を提供し、当該非一時的な記憶媒体に、本出願の第1態様の方法のプログラムコードを実行するための命令がキャリアされる。
【0048】
本出願の第8態様によると、命令を含むコンピュータプログラム製品を提供し、プログラムが1つ又は複数のプロセッサによって実行される際に、命令は1つ又は複数のプロセッサに本出願の第2態様の方法を実行させる。
【0049】
本出願の第9態様によると、非一時的な記憶媒体を提供し、当該非一時的な記憶媒体には、本出願の第2態様の方法のプログラムコードを実行するための命令がキャリアされている。
【0050】
例示的な実施例のうちの少なくとも1つの具体的な性質及び前記例示的な実施例のうちの少なくとも1つの他の目的、利点、特徴及び用途は以下の図面に合わせた例への説明からより明らかになる。
【図面の簡単な説明】
【0051】
以下、例示の方式で本出願の例示的な実施例の図面を示す。ここで、
図1】従来技術による点群を符号化する予測ツリーの一部を示す。
図2】従来技術による点群を符号化する予測ツリーの一部の線形予測を示す。
図3】従来技術による点群を符号化する予測ツリーの一部の平行四辺形予測を示す。
図4】従来技術によるセンサヘッド及び幾つかのパラメータの側面図を示す。
図5】従来技術によるセンサヘッド及び幾つかのパラメータの上面図を示す。
図6】従来技術による自己回転センサヘッドがキャプチャしたデータの規則的な分布を示す。
図7】従来技術による3D空間における点の表示を示す。
図8】従来技術による予測ツリーの符号化を示す。
図9】少なくとも1つの例示的な実施例的点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する方法100のステップのブロック図を示す。
図10】本出願の1つの例示的な実施例に係る符号化の順序付けされた点の例を示す。
図11】本出願の1つの例示的な実施例に係る2D空間内で示される順にキャプチャされた点の例を示す。
図12】本出願の1つの例示的な実施例に係る2D空間内で示される順にキャプチャされた点のもう1つの例を示す。
図13】本出願の1つの例示的な実施例に係るキャプチャされた点の例を示す。
図14】本出願の1つの例示的な実施例に係るソート及び量子化されたキャプチャされた点の例を示す。
図15】少なくとも1つの例示的な実施例に係る物理的オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法200のステップのブロック図を示す。
図16】少なくとも1つの例示的な実施例に係る順序インデックス差に対してエントロピー符号化を行う方法800のステップのブロック図を示す。
図17】少なくとも1つの例示的な実施例に係るコンテキスト適応演算エンコーダのブロック図を示す。
図18】二値データに関連付けられた方位角と最後の符号化された点の方位角との間の距離の時の欠点を示す。
図19】二値データに関連付けられた方位角と最後に符号化された点の方位角との間の距離の時の欠点を示す。
図20】少なくとも1つの例示的な実施例に係る順序インデックス差に対してエントロピー復号化を行う方法900のステップのブロック図を示す。
図21】各態様及び例示的な実施例を実現するシステムの例示的なブロック図を示す。
【0052】
異なる図面では、類似する図面で類似するコンポーネントを表すことができる。
【発明を実施するための形態】
【0053】
以下、図面を参照しながら、例示的な実施例のうちの少なくとも1つの例を説明し、例示的な実施例のうちの少なくとも1つを図示する。しかし、例示的な実施形態は、多くの代替形態で実行されることができ、本明細書に記載された例に限定されるものとして解釈されるべきではない。したがって、例示的な実施例が開示された特定の形態に限定されることは意図されていないことが理解されるべきである。対照的に、本出願は、本出願の精神および範囲内に含まれるすべての修正、均等物および代替案をカバーすることを意図している。
【0054】
図面がフローチャートの形態で提示されるとき、対応する装置のブロック図も提供することが理解されるべきである。同様に、図面がブロック図の形態で提示されるとき、対応する方法/プロセスのフローチャートも提供することが理解されるべきである。
【0055】
これら態様のうちの少なくとも1つは、一般に、点群の符号化と復号化に関し、少なくとも1つの他の態様は、一般に、伝送して生成または符号化されたビットストリームに関する。
【0056】
さらに、本態様は、点群圧縮などに関連付けられたMPEG-Iパート5またはパート9のようなMPEG標準に限定されるものではなく、例えば、既存または将来開発されたものを問わず他の標準および推奨、およびそのような標準および推奨の拡張(MPEG-Iパート5およびパート9を含む)に適用されることができる。特に指示がない限り、又は技術的に除外されない限り、本出願に記載された態様は、単独で又は組み合わせて使用されることができる。
【0057】
図9は少なくとも1つの例示的な実施例に係る、点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する方法100のステップのブロック図を示す。
【0058】
点群的ジオメトリデータは、点群の点の3D位置を意味し、自己回転センサヘッドによってキャプチャされる。
【0059】
上記のように、自己回転センサヘッドは、複数のレーザ(センサ)を含む自己回転レーザレーダヘッド10であってもよい。しかし、本開示の範囲は自己回転レーザレーダヘッドに限らず、軸を中心に回転し、物理的オブジェクトを表す3D位置点をキャプチャ角度ごとにキャプチャできる任意のセンサヘッドに適用可能である。センサは、カメラ、深度センサ、レーザ、レーザレーダー、またはスキャナーであってもよい。
【0060】
図7に示すように、キャプチャされた3D位置は半径値r2Dまたはr3Dとともに2D座標(Φ,λ)系で表される。座標Φはセンサヘッドの自己回転の方位角であり、その離散値はΦ(∀i=0からI-1)として表される。座標λはセンサインデックスであり、その離散値はλ(∀k=0からK-1)として表される。半径r2Dまたはr3Dは連続した数値範囲に属する。
【0061】
センサヘッドの規則的な自己回転(回転)と一定の時間間隔での連続的なキャプチャのため、同じセンサで探知された2点間の方位角距離は、図11に示すように、基本方位角変位ΔΦの倍数となる。 そして、例えば、第1のキャプチャ時間t1において、図4のレーザレーダヘッド10の5つのセンサは方位角Φで5つの点P(t1),..., P(t1),...P(t1)を探知し、第2のキャプチャ時間t2において、レーザレーダヘッド10のセンサは方位角_Φ=Φ+ΔΦで5つの点P(t2),..., P(t2),...P(t2)を検知する。したがって、離散値Φは、点P(t1),…, P(t1),… P(t1)の方位角Φの量子化値とみなすことができる。量子化は量子化ステップΔΦで得られる。同様に、離散値Φは点P(t2),…, P(t2),… P(t2)の方位角Φの量子化値とみなすことができる。
【0062】
ステップ110では、点群の各点Pnについて、点Pnをキャプチャするセンサに関連付けられたセンサインデックスλk(n)(センサインデックスのセットで、λk(∀k=0からK-1))、前記センサのキャプチャ角を表す方位角Φi(n)(離散角のセットで、Φi(∀i=0からI-1))及び点Pnの球座標の半径値rnを取得する。簡単のため、以下、λk(n)およびインデックスi(n)をそれぞれλnおよびΦnとして表す。従って、Φnは角度ではなく、角度Φiへ指すインデックスi(∀i=0からI-1)である。しかし、インデックスΦnと標準関連の方位角Φi(n)=ΦΦnとの間には明確な関係があるため、量仍Φnは方位角とも呼ばれる。
【0063】
ステップ110の例示的な実施例によれば、キャプチャされた点Pの3D位置を表す3Dデカルト座標(x,y,z)を変換することによってセンサインデックスλと方位角Φを取得する。これらの3Dデカルト座標(x,y,z)はセンサヘッドの出力であってもよい。
【0064】
ステップ120では、方位角Φとセンサインデックスλに基づいて点群の点を順序付けする。
【0065】
ステップ120の例示的な実施例によれば、点は、ます方位角に基づいて、次にセンサインデックスに基づいて辞書順に順序付けされる。図11を改めて見ると、順序付け済みのキャプチャされた点は、P(t1),...,P(t1),...P(t1),P(t2),...,P(t2),...P(t2),...,P(tn),...,P(tn),... P(tn)である。
【0066】
点Pの順序インデックスo(P)は、次の式によって得られる。
【数1】
【0067】
図12に示すステップ120のもう1つの例示的な実施例によると、点は、点は、まずセンサインデックスに基づいて、次に方位角に基づいて辞書順に順序付けされる。
【0068】
点Pの順序インデックスo(P)は、次の式によって得られる。
【数2】
【0069】
ステップ130では、2つの連続点Pn-1とP(n=2からNについて)の順序インデックスの差を表す順序インデックス差Δoは以下の式によって得られる。
【数3】
【0070】
順序付けされた点をビットストリームBに符号化することには、少なくとも1つの順序インデックス差Δoを符号化することが含まれてもよい。選択的に、それは、半径値r(基本的にPのr2Dまたはr3Dを表す)、順序付けされた点の3次元デカルト座標のデカルト残差(xres,n,yres,n,zres,n)及び角残差Φres,nを符号化することが含まれてもよい。
【0071】
最初の点Pの順序インデックスo(P)は、ビットストリームBに直接符号化できる。これは、仮想的な第0の点の順序インデックスを任意にゼロに設定することに相当し、つまりo(P)=0であり、Δo=o(P)-o(P)=o(P)を符号化する。
【0072】
最初の点の順序インデックスo(P)と順序差Δoを与えると、次の式で任意の点Pの順序インデックスo(P)を再帰的に再構築することができる。
【数4】
【0073】
そして、次の式でセンサインデックスλと方位角Φを取得する。
【数5】
【0074】
ここで、除算/Kは整数除算(ユークリッド除算とも呼ばれる)である。したがって、o(P)とΔoはλとΦの別の表現である。
【0075】
ステップ140では、(N-1)個の順序インデックス差Δo(∀n=2からN)を符号化することによって、順序付けされた点に関連付けられた順序インデックスo(P)をビットストリームBで符号化し、ここでNは順序付けされた点の数である。各順序インデックスo(P)は、連続した2つの順序付けされた点に関連付けられた順序インデックス間の差を表す。図10では、5つの順序付けされた点(黒丸)を示す:2つの点PとPn+1が時間t1において角度Φ(Φ’sで)でキャプチャされ、3つの点が時間t2において角度Φ+ΔΦでキャプチャされる。第1の点Pの座標は2D座標(Φ,λ)系で予め既知であると仮定すると、第1の順序インデックス差Δon+1は、点Pn+1に関連付けられた順序インデックスo(Pn+1)と、点Pに関連付けられた順序インデックスo(P)との差として得られる。第2の順序インデックス差Δon+2は、別の順序付けされた点Pn+2に関連付けられた順序インデックスo(Pn+2)と、Pn+1に関連付けられた順序インデックスo(Pn+1)との差として得られ、このように類推する。
【0076】
キャプチャされた点を順序付けすることにより、自己回転センサヘッドの様々なセンサによってキャプチャされた点間の相互作用が提供される。そのため、非常に単純で低遅延な符号化をもたらす順序付けされた点を単一の符号化で符号化する必要がある。
【0077】
順序インデックス差Δoから点を再構築するには、点群の点数N、2D座標(Φ,λ)系の第1の点の順序インデックスo(P)及びセンサ設定パラメータ(例えば各センサに関連付けられた基本方位角変位ΔΦまたは仰角θ)のような情報が必要である。この情報は、ビットストリームBに符号化されてもよいし、別の方法で信号で受信されてもよいし、デコーダによって予め知られていてもよい。
【0078】
図16で説明されるように、順序インデックス差Δonはエントロピー符号化される。
【0079】
選択的に、この方法は、ステップ150において点群の順序付けられた点に関連付けられた球座標の半径値rをビットストリームBに符号化することをさらに含む。
【0080】
ステップ150の例示的な実施例によれば、半径値rは量子化される。
【0081】
ステップ150の例示的な実施例によれば、半径値rは量子化される。
【0082】
ステップ150の例示的な実施例によれば、半径値rは量子化され、エントロピー符号化される。
【0083】
ステップ150の例示的な実施例によれば、半径値rは半径r3Dを表す。
【0084】
ステップ150の例示的な実施例によれば、半径値rは、図4に示されているような水平xy平面上の投影半径r2Dを表す。
【0085】
選択的に、この方法は、ステップ160において、それらの3次元デカルト座標(x,y,z)、復号化された方位角Φdec、半径値rから取得された復号化された半径値rdec,n、及びセンサインデックスλに基づいて、順序付けられた点Pの3次元デカルト座標の残差(xres,n,yres,n,zres,n)を符号化することさらにを含む。
【0086】
ステップ160の例示的な実施例によれば、残差(xres,n,yres,n,zres,n)は点群の点の3次元デカルト座標(x,y,z)と推定された3次元座標(xestim,n,yestim,n,zestim,n)との差である。
【0087】
ステップ160の例示的な実施例によれば、残差(xres,n,yres,n,zres,n)は以下の式で与えられる。
【数6】
【0088】
ステップ160の例示的な実施例によれば、順序付けられた点Pに関連付けられた推定された座標(xres,n,yres,n)は、点Pに関連付けられた復号化された方位角Φdec,nと復号化された半径値rdec,nとに基づいている。
【0089】
ステップ160の例示的な実施例によれば、残差(xres,n,yres,n,zres,n)をエントロピー符号化する。
【0090】
ステップ160の例示的な実施例によれば、推定された座標(xestim,n,yestim,n)は以下の式で与えられる。
【数7】
【0091】
ステップ160の例示的な実施例によれば、順序付けられた点に関連付けられた推定された座標(zestim,n)は、この点に関連付けられた復号化された半径値rdec,nとこの点をキャプチャするセンサの仰角θとに基づいている。
【0092】
ステップ160の例示的な実施例によれば、推定された座標(zestim,n)もセンサインデックスλに基づいている。
【0093】
ステップ160の例示的な実施例によれば、推定された座標(zestim,n)は以下の式で与えられる。
【数8】
【0094】
選択的に、この方法は、ステップ170において、順序付けられた点に関連付けられた残差方位角Φres,nをビットストリームBに符号化することをさらに含む。ステップ170の例示的な実施例によれば、方位角Φは以下の式によって量子化される。
【数9】
【0095】
ここで、Φ(P)は点Pの原始方位角である。このような場合、離散角度Φ(0≦i<I)のセットは基本的にΦ=i*ΔΦによって定義され、Φi(n)=Φ*ΔΦが得られる。
【0096】
従って、点Pの順序インデックスo(P)は次の式で与えられる。
【数10】
【0097】
残差方位角Φres,nは次の式で与えられる:
【数11】
【0098】
ステップ170のこの例示的な実施例は、実際にはノイズがキャプチャされている可能性があるため、またはセンサが完全に位置合わせされていないため、あるいはレーザレーダセンサヘッドの少なくとも1つのレーザビームが反射されていない可能性があるため、すべての点がキャプチャ時間ごとにキャプチャされるわけではないことから利点を提供する。そしてキャプチャされた点は図24のように見えてもよい。方位角Φ(P)を定量化すると、図25に示すように、2D座標(Φ,λ)系内の点の離散表現が容易になり、点群の点を順序付けるためのより容易なパスが可能になる。
【0099】
残差方位角Φres,nがビットストリームBに符号化され、好ましくは、量子化及び/又はエントロピー符号化される。
【0100】
ステップ170のこの例示的な実施例は、全範囲の値ではなく残差だけが符号化されるので、ビットストリームに符号化される角度の動的性も低減される。高い圧縮性能を達成する。
【0101】
選択的に、この方法は、ステップ180において、方位角Φに基づいて、復号化された方位角Φres,nを取得することをさらに含む。
【0102】
ステップ180の実施例によれば、復号化された方位角Φres,nは以下の式によって与えられる:
【数12】
【0103】
ステップ180の実施例によれば、方位角Φ、基本方位角変位ΔΦ及び残差方位角Φres,nに基づいて、復号化された方位角Φres,nを取得する。
【0104】
ステップ180の実施例によれば、復号化された方位角Φres,nは以下の式によって与えられる:
【数13】
【0105】
ステップ180の実施例によれば、復号化された方位角Φres,nは、方位角Φ、基本方位角変位ΔΦ、及び式3によって与えられた量子化された残差方位角Φres,nを逆量子化することによって得られた復号化された角度残差Φdec,res,nに基づいて得られる。
【0106】
ステップ180の実施例によれば、復号化された方位角Φres,nは以下の式によって与えられる:
【数14】
【0107】
選択的に、ステップ190において、符号化された半径値rに基づいて、復号化された半径値rdec,nを取得する。
【0108】
ステップ190の例示的な実施例によれば、復号化された半径値rdec,nは、量子化された半径値rを逆量子化することによって得られる。
【0109】
図15は少なくとも1つの例示的な実施例に係る物理的オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法200のステップのブロック図を示す。
【0110】
ビットストリームBから点群の点を復号化するには、点群の点数N、2D座標(Φ,λ)系内の第1の点の順序インデックスo(P)、及びセンサ設定パラメータ(例えば各センサkに関連付けられた基本方位角変位ΔΦまたは仰角θ)のような情報を必要とする。この情報は、ビットストリームBから復号化されてもよいし、他の任意の方法で受信されてもよいし、デコーダによって予め知られていてもよい。
【0111】
点群のN個の点は再帰的に復号化される。
【0112】
ステップ210では、ビットストリームBから少なくとも1つの順序インデックス差Δo(n=2からN)を復号化する。各順序インデックス差Δoは、現在の点Pに対して復号化される。
【0113】
ステップ220では、以下の式によって現在の点Pの順序インデックスo(P)を取得する:
【数15】
【0114】
順序インデックス差Δoは、現在の点Pに関連付けられた順序インデックスと、直前(すでに)の復号化された点Pn-1に関連付けられた別の順序インデックスo(Pn-1)との差を表す。
【0115】
ステップ230では、現在の点Pをキャプチャするセンサに関連付けられたセンサインデックスλ、及び前記センサのキャプチャ角を表す方位角Φは、順序インデックスo(P)から取得される
【0116】
ステップ230の例示的な実施例によれば、センサインデックスλと方位角Φは式(1)と(2)によって得られる。
【0117】
選択的に、ステップ240において、復号化された方位角Φdec,nは、方位角Φに基づいて取得される。
【0118】
ステップ240の実施例によれば、方位角Φ及び基本方位角変位ΔΦに基づいて、復号化された方位角Φdec,nを取得する。
【0119】
ステップ240の実施例によれば、復号化された方位角Φdec,nは以下の式によって与えられる:
【数16】
【0120】
ステップ240の実施例によれば、復号化された方位角Φdec,nは、ビットストリームBから復号化された残差方位角Φres,nに基づいて取得される。
【0121】
ステップ240の実施例によれば、復号化された方位角Φdec,nは以下の式によって与えられる:
【数17】
【0122】
選択的に、ステップ250では、ビットストリームBから現在の点Pの球座標の半径値rを復号化する。
【0123】
ステップ250の例示的な実施例によれば、半径値rが逆量子化されて、復号化された半径値rdec,nが取得される。
【0124】
ステップ250の例示的な実施例によれば、半径値rがエントロピー復号化されて逆量子化されて、復号化された半径値rdec,nが取得される。
【0125】
選択的に、ステップ260では、ビットストリームBから現在の点Pの3次元デカルト座標の残差(xres,n,yres,n,zres,n)を復号化する。
【0126】
ステップ260の例示的な実施例によれば、残差(xres,n,yres,n,zres,n)をエントロピー復号化する。
【0127】
選択的に、ステップ270では、現在の点Pの3次元デカルト座標の復号化された残差(xres,n,yres,n,zres,n)、半径値r、復号化された方位角Φdec,n及びセンサインデックスλに基づいて、現在の点Pの3次元デカルト座標(x,y,z)を復号化する。
【0128】
ステップ270の例示的な実施例によれば、現在の点Pの3次元デカルト座標(x,y,z)は、残差(xres,n,yres,n,zres,n)と推定された3次元座標(xestim,yestim,zestim)との和である:
【数18】
【0129】
ステップ270の例示的な実施例によれば、現在の点Pに関連付けられた推定された座標(xestim,yestim)は、方位角Φと半径値rとに基づいている。
【0130】
ステップ270の例示的な実施例によれば、推定された座標(xestim,yestim)は以下の式によって与えられる:
【数19】
【0131】
ステップ270の別の例示的な実施例によれば、推定された座標(xestim,yestim)は以下の式によって与えられる:
【数20】
【0132】
ただし、rdec,nは、半径値rから得られた復号化された半径値である。例えば、復号化された半径値rdec,nは、半径値rを逆量子化することによって取得することができる。
【0133】
ステップ270の例示的な実施例によれば、現在の点Pに関連付けられた推定された座標(zestim)は、現在の点Pに関連付けられた半径値rと現在の点Pをキャプチャするセンサkの仰角θとに基づいている。
【0134】
ステップ270の例示的な実施例によれば、推定された座標(zestim)は以下の式によって与えられる:
【数21】
【0135】
ステップ270の例示的な実施例によれば、推定された座標(zestim)も、センサインデックスλに基づいている。
【0136】
ステップ270の例示的な実施例によれば、推定された座標(zestim)は以下の式によって与えられる:
【数22】
【0137】
図16は少なくとも1つの例示的な実施例に係る順序インデックス差Δoに対してエントロピー符号化を行う方法800のステップのブロック図である。
【0138】
ステップ810において、少なくとも1つの順序インデックス差Δoを二値化することで少なくとも1つの二値データfを取得する。
【0139】
各二値データfに対して、二値データfに関連付けられた方位角Φと符号化された点の方位角との間の距離Cに基づいてコンテキストを選択し(ステップ820)、ビットストリームBにおいて、選択されたコンテキストに基づいて各二値データfに対してコンテキスト適応エントロピー符号化(830)を行う。以下で明らかになるように、量Φと同様に、当該量Φは方位角として乱用され、すなわち、それは0とI-1との間のインデックスであり、Φ内の特定の離散角度を指す。
【0140】
他の符号化技術(例えば予測ツリー符号化技術)と比べて、順序インデックス差に対してコンテキスト適応エントロピー符号化を行って効率的な圧縮性能を提供し、なぜなら、この予測に基づく符号化技術は点位置の表示(Φ,λ)の内在構造をキャプチャしないからである。この構造は、本出願の例示的な実施例がコンテキストを選択し且つ選択されたコンテキストに基づいて順序インデックス差に対してエントロピー符号化を行うことによってキャプチャされる。
【0141】
ステップ810の例示的な実施例によると、順序インデックス差Δoの二値化は一連の二値データfによって実行され、j≧0である。二値データfが特定値PV(例えば、f=1)に等しいことは、Δoがjに等しいか否かを指示し、そうでなければ、前記特定値PV(例えば、f=0)に等しくない。その後、第1二値fに対して符号化を行う。例えば、f=PVの場合、Δo=0がすでに符号化されたため、Δoに対する符号化は完成し、そうでなければ、f≠PVの場合、第2二値データfに対して符号化を行う。f≠PVの場合、第3二値データfに対して符号化を行うなど。これは基本的にΔoの一元符号化である。
【0142】
ステップ810の例示的な実施例によると、まず方位角に基づいてそしてセンサインデックスの辞書順序に基づいて点を順序付けする(図11)時、j+c<Kの場合、二値データfに関連付けられた方位角Φは現在の点Pn-1に関連付けられた方位角Φ(n-1)であり、cは現在の点モジュールKのインデックス(又は同等にcは現在の点のセンサインデックスλ(n-1)である)であり、そうでなければ、二値データfに関連付けられた方位角Φは方位角である。
【数23】
【0143】
ただし、Sが整数であることにより、sK≦j+c<(s+1)Kである。fがPVに等しい場合、各二値データfはさらにセンサインデックスλに関連し、当該センサインデックスλは、次の順序付けされた点Pをキャプチャしたセンサのセンサインデックスに対応し、すなわち、λ=λ(n-1)+j mod K。
【0144】
図11では、順序インデックス差Δoは8に等しく、f~fという9つの二値データに二値化され、最後のfがPVに等しく、その他はPVに等しくない。それぞれ二値データf~fに関連付けられた方位角Φ~ΦはΦ(n-1)に等しく、それぞれfとfに関連付けられた方位角Φ及びΦはΦに等しい。
【0145】
ステップ810の例示的な実施例によると、まずセンサインデックスに基づいてそして方位角の辞書順序に基づいて点を順序付けする(図12)時、二値データfに関連付けられた方位角Φは以下の式に示される。
【数24】
【0146】
がPVに等しい場合、各二値データfはさらにセンサインデックスλに関連し、当該センサインデックスλは次の順序付けされた点Pをキャプチャしたセンサのセンサインデックスに対応し、すなわち、λ=λ(n-1)
【0147】
図12において、順序インデックス差Δoは4に等しく、f~fという5つの二値データに二値化され、最後のfはPVに等しく、その他はいずれもPVに等しくない。それぞれ二値データf~fに関連付けられた方位角Φ~ΦはそれぞれΦn-1’Φn-1+1,Φn-1+2,Φn-1+3及びΦn-1+4=Φである。
【0148】
選択可能に、ステップ840において、残差Rを順序インデックス差Δoと二値データの最大数(上限)Nflagとの間の差として取得する。その後、二値データfNflag-1に達し且つPVに等しくない場合、Δo≧Nflagが必須であり且つ残差Rは以下の式に示される:R=Δo-Nflag
【0149】
最大フラグ数Nflagは、各点の算術符号化の二値情報の数を定義し、その後、次の点の遅延を定義するように設定される
【0150】
ステップ840の実施例によると、exp-Golombコードを用いて残差Rを符号化する。
【0151】
ステップ810の例示的な実施例によると、二値データfはフラグであり且つPV=1である。
【0152】
ステップ830の例示的な実施例によると、二値データfはコンテキスト適応二値算術エンコーダ(例えばCABAC)を介してエントロピー符号化を行う。
【0153】
図17はコンテキスト適応二値算術エンコーダのブロック図を例示的に示す。
【0154】
まず、ある選択プロセスが符号化された情報に基づいてコンテキストを選択することで、各二値データf(二値符号)に関連付けられたコンテキストインデックスctxIdxを提供する。Nctxエントリを有するコンテキストテーブルは、コンテキストに関連付けられた確率を記憶し、且つ確率pctxIdxはコンテキストテーブルの第ctxIdx個のエントリとして取得される。二値符号fはビットストリームにおいて、確率pctxIdxを用いてエントロピーエンコーダによって符号化される。
【0155】
通常、エントロピーエンコーダは算術エンコーダであるが、如何なる他のタイプのエントロピーエンコーダであってもよく、例えば非対称デジタルシステムであっても良い。如何なる場合においても、最適エンコーダはビットストリームに-log2(pctxIdx)ビットを追加して、ビットストリームにおいてf=1又は-log2(1-pctxIdx)ビットを符号化することでf=0を符号化する。符号fが符号化されると、fとpctxIdxをエントリとする更新プロセスを用いて確率pctxIdxを更新し、更新プロセスは通常、更新テーブルを用いることで実行する。コンテキストテーブルのctxIdx番目のエントリを更新後の確率で置換する。その後、もう1つの符号を符号化することができ、このように類推する。更新を実行した後のみにもう1つの符号を符号化できるため、コンテキストテーブルの更新サイクルに戻ることは符号化ワークフローにおけるボトルネックとなっている。そのため、できるだけ早くコンテキストテーブルのメモリにアクセスする必要があり、コンテキストテーブルのサイズを最小化することは、そのハードウェア実施形態の簡素化に役立つ。
【0156】
コンテキスト適応二値算術デコーダはコンテキスト適応二値算術エンコーダと大体同じ操作を実行するが、符号化された符号fは、エントロピーデコーダが確率pctxIdxを用いてビットストリームから復号化したものであることを相違点とする。
【0157】
良好な圧縮を得るには、十分なコンテキスト(即ち、最適推定二値データfがPVに等しい機会の確率pctxIdx)を選択することは不可欠である。そのため、コンテキストの選択は、関連する符号化された情報及び関連性を用いてこの十分なコンテキストを用いるべきである。
【0158】
ステップ820の例示的な実施例によると二値データfに関連付けられた距離Cは、二値データfに関連付けられた方位角Φ及び最後から二番目の符号化された点Ppenultに関連付けられた方位角Φpenult(のインデックス)によって決定され、当該最後から二番目の符号化された点Ppenultは、二値データfに関連付けられたセンサインデックスλと同じセンサインデックスを有する。最後から二番目の符号化された点Ppenultを決定する符号化された点の集合では、現在の点Pn-1は考慮されない。
【0159】
ステップ820の例示的な実施例によると、二値データfに関連付けられた距離Cは以下の式に示される。
【数25】
【0160】
なお、この2つの量ΦとΦpenult,jは、離散数量の値Φ(i=0~I-1)の集合の中の離散角度を指すインデックスである。
【0161】
図11において、センサインデックスλ=λn-1=2の最後及び最後から二番目の符号化された点は、現在の点Pn-1と同じ角度位置Φ=Φn-1に位置するので、距離C=0である。これは、特定のセンサ設定で発生することができる。その後、一態様のfに関連付けられたセンサインデックスλ=λn-1+1=3の最後から二番目の符号化された点(灰色の丸)に関連付けられた方位角Φpenult,3と、もう1つの態様Φ=Φn-1との間の差が4であるので、C=4である。そして、fに関連付けられたセンサインデックスλ=λn-1+2=4の最後から二番目の符号化された点に関連付けられた方位角Φpenult,,4とΦ=Φn-1との間の差が3であるので、C=3であり、このように類推する。また、fに関連付けられたセンサインデックスλ=λn-1+7=9=0 mod K(ここでK=9)の最後から二番目の符号化された点に関連付けられた方位角Φpenult,0とΦ=Φn-1+1との間の差が3であるので、C=3である。最後に、fに関連付けられたセンサインデックスλ=λn-1+8=10=1 mod Kの最後から二番目の符号化された点に関連付けられた方位角Φpenult,1とΦ=Φn-1との間の差が2であるので、C=2である。
【0162】
図12において、すべての二値データfは同一センサインデックスλ=λn-1に関連付けられた。最後から二番目の符号化された点(灰色の丸)に関連付けられた方位角Φpenult,,λ_(n-1)とΦ=Φn-1との間の差が2であるので、距離C=2である。最後から二番目の符号化された点に関連付けられた方位角Φpenult,,λ_(n-1)とΦ=Φn-1+1との間の差が3であるので、距離C=3である。
【0163】
図18と19に関連して与えられた以下の理由により、他の代替依存性(例えば最後の1つ、最後の3つ又は他の任意の最後に符号化された点の依存性)と比べて、距離Cと最後から二番目の符号化された点Ppenultの依存性に利点を提供する。
【0164】
物理的オブジェクトを検出する時、検出レーザ機器は通常、相次いでキャプチャされた幾つかの角度のために反射信号を提供する。こういう場合、点が、まずセンサインデックスに基づきそして方位角に基づく辞書順序に基づいて順序付けされる(図12)時、1に等しい幾つかの連続順序インデックス差Δoが得られると予想され、図18に示すとおりである。
【0165】
上りは、その角度位置Φ=Φ(P_n)にある点Pを説明し、下りは、ΦをΦ=Φ i(n)=Φ*ΔΦに量子化した後の同じ点を示す。各量子化間隔は1つの点だけで占有され、連続順序インデックス差Δo=+1。しかし、センシングノイズを追加する時、幾つかの点は1つの間隔から隣接する間隔にジャンプし、図19に示すように、2番目の点がやや左に移動する。したがって、Δoモードはすでに+1 +1 +1 +1から+1 0 +2 +1に変えられる。これと同様に、点が右に移動すると、+1 +2 +0 +1に変わることもある。
【0166】
距離C(式13)はこのモードを検出し且つ以下のΔoを予測することができる。基本的に、Cが2(モード+1 +1, +2 0又は+0 +2により得られる)である場合、f=PVに対応する点が存在し且つC=2に対応するコンテキストが、PVをfの値に符号化する高い確率を提供する可能性がある。もう1つの態様では、Cが1(+1 +0により得られる)である場合、「遅延」を補償することが期待され、さらに、f=PVに対応する点が存在せず且つC=1に対応するコンテキストが、PVをfの値に符号化する低い確率を提供する可能性がある。
【0167】
明らかに、テストに示すように、Φ-Φlast,jにより与えられる距離Cは、最後から二番目の点ではなく、最後の1つの点を用いてΔoを予測する効率が低いことを意味する。例えば、モード+1 0 +2 +1と+1 +2 0 +1において、+1又は0は+2の後に付くことができる。
【0168】
QNXテストシーケンスと、G-PCCのMPEGテストセットからのFordテストシーケンスとの1フレームに対してテストを行った。自己回転センサヘッドによりキャプチャされた点の方位角及びセンサインデックスはすでに以下の方式で符号化されたことを表す:1)G-PCC点群符号化、ここで、2D入力点群は方位角とセンサインデックスにより形成され、2)距離Cに頼らないコンテキストを用いて順序インデックス差Δoに対してエントロピー符号化を行うことで方位角及びセンサインデックスに対して符号化し、及び3)、距離Cによって決定されるコンテキストを用いて順序インデックス差Δoに対してエントロピー符号化を行うことで、方位角及びセンサインデックスに対して符号化を行う。2と3)において、いずれもfとRを用いて上記のようにΔoの二値化を実行した。
【0169】
表1は、現在の点が、まず方位角に基づいてそしてセンサインデックスに基づく辞書順序により順序付けされる(図11)時に取得した圧縮率を示し、且つ表2は、点が、まずセンサインデックスに基づいてそして方位角に基づく辞書順序により順序付けされる(図12)時に取得した圧縮率を示す。2種類の辞書順序の可逆性圧縮に対して、結果は1ドットあたりの数(bpp)の形で表される。低いbpp値はより良好な圧縮を示す。
【表1】
【表2】
【0170】
解決案3)は5%~30%の圧縮利得を提供し、解決案1(G-PCC)より明らかに優れている。
【0171】
距離Cを実現する依存性要件は、最後から二番目の符号化された点Ppenultに関連付けられた方位角Φpenultにアクセスし、当該最後から二番目の符号化された点Ppenultは、二値データfのセンサ インデックスλと同じセンサインデックスを有する。ローリングバッファ領域を用いることでこのような依存性を実現し、低複雑度の符号化/復号化をもたらす。
【0172】
例えば、ローリングバッファ領域は2D配列であってもよく、センサインデックスがkである最後から二番目の符号化された点のK個の値Φpenult(k)(∀k=0~K-1)を第1列に記憶し、センサインデックスがkである最後に符号化された点のK個の値Φlast(k)(∀k=0~K-1)をもう1つの列に記憶する。二値データfのために距離Cを評価しなければならない時、センサインデックスλ(fに関連付けられた)に対する方位角Φpenult(λ)は直接、ローリングバッファ領域から取得される。順序インデックス差Δonを(復号化)符号化するたびに、方位角Φを取得しかつローリングバッファ領域に記憶し、以下に示すとおりである。
【数26】
【0173】
Φは次の点Pの方位角であり、その順序インデックスはo(P)=o(Pn-1)である。
【0174】
ステップ820の例示的な実施例によると、二値データfに関連付けられた距離Cは、二値データfに関連付けられた方位角Φと、必ずしも現在の点Pn-1のセンサインデックスと同じセンサインデックスにより検出された如何なる符号化された点に関連付けられたとは限らない方位角Φal(のインデックス)と、によって決定される。
【0175】
ステップ820の例示的な実施例によると、二値データfに関連付けられた距離Cは以下の式によって与えられる。
【数27】
【0176】
ステップ820の例示的な実施例によると、二値データfに関連付けられたコンテキストテーブルのコンテキストインデックスctxIdxは距離Cに等しい。
【0177】
ステップ320の例示的な実施例によると、コンテキストインデックスctxIdxの上限を閾値th1とすることでコンテキストの数を制限する。
ctxIdx = min(C,th1)
【0178】
例えば、th1は6であってもよい。
【0179】
jの高い値に頻繁にアクセスしないため、コンテキストの数を制限することは、実施形態の簡素化、メモリの使用の制御、及び確率pctxIdxの統計相関性の確保にとって重要である。
【0180】
ステップ820の例示的な実施例によると、二値データfのコンテキストインデックスctxIdxは、前記二値データ在表示順序インデックス差Δonの一連の二値データにおける順位jにより決定される。
【0181】
二値データfの統計は、高いjに用いられる順位jに弱く依存するようになるので、このような弱い依存を用いてコンテキストの数を制限することができる。
【0182】
しかも、コンテキストインデックスctxIdxと値jとの間の依存性は、各二値フラグfがPVに等しいか否かの統計がインデックスjによって決定されるという理由により利点を提供している。通常、確率P(f=PV | f ~fj-1≠PV)はjにつれて減少する。したがって、インデックスctxIdxがjによって決定されるようにすることにより、よりよい確率pctxIdxを得る。
【0183】
ステップ820の例示的な実施例によると、コンテキストインデックスctxIdxは以下の式によって与えられる。
ctxIdx = min(C,th1)*(th2+1)+min(j,th2)
【0184】
thは2番目の閾値であり、例えば、(th1+1)*(th+1)個のコンテキストを有する。例えば、th2が3であるとすることができる。
【0185】
ステップ820の例示的な実施例によると、コンテキストインデックスctxIdxは、二値データfに関連付けられたセンサインデックスλにより決定される。
【0186】
二値データfにPV等しい場合、各二値データfがPVに等しいか否かの統計はさらに、次の点がどこにあるかを検出する位置的センサ(レーザ機器)インデックスによって決定される。例えば、地面を指すセンサは常に何かを(主に道路)を検出しており、空を指すセンサがより多くの物体を常に検出している頻度は低く、例えば建築物又は樹木である。しかし、コンテキストインデックスctxIdxと、二値データfに関連付けられたセンサインデックスλとの間の依存性は、コンテキストの数にK(センサの数)をかけ、典型的なレーザレーダヘッドは16、32又は64のレーザビームがあるので、かつものすごい数のコンテキストを提供する可能性がある。
【0187】
ステップ820の例示的な実施例によると、同じパッケージのすべてのセンサは同じオブジェクトを検出する傾向があるので、近い仰角を有するセンサはパッケージに再グループ化される。
【0188】
インデックスがλである各センサは、対応するパッケージインデックスλpack(λ)を有し、センサインデックスλに関連付けられた二値データfは、関連するパッケージインデックスを有し、パッケージインデックスはλj,packを有する。
【0189】
センサをパッケージ制限コンテキストの数にグループ化する。
【0190】
ステップ820の例示的な実施例によると、コンテキストインデックスctxIdxは以下の式によって与えられる。
ctxIdx = (min(C,th)*(th+1) + min(j,th))* Npack + λj,pack
【0191】
packはパッケージの数である。
【0192】
コンテキストの数は(th+1)*(th+1)*Npackになる。
【0193】
変形例では、パッケージインデックスλj,pack以下の式によって与えられる。
λj,pack = floor(λ* Npack / K)
【0194】
これによりλj,packは[0, Npack -1]に属する。
【0195】
そして、th1及び/又はth及び/又はNpackのために十分な値を設定してコンテキストの数を調和することができる。これらの値は、ビットストリームBにおいて符号化され得る。例えば、対応する値6、3及び4に対して、7*4*4=112を得る。これは受け入れられるコンテキストの数である。
【0196】
図20は、少なくとも1つの例示的な実施例に係る順序インデックス差Δoに対してエントロピー復号化を行う方法900のステップを示す。
【0197】
物理的オブジェクトを表す点群の点PをビットストリームBから復号化することは、点Pに関連付けられた順序インデックス差o(P)と現在の点Pn-1に関連付けられたもう1つの順序インデックスo(Pn-1)との間の差の順序インデックス差ΔoをビットストリームBから復号化することを含む。
【0198】
順序インデックス差Δoの復号化は、少なくとも1つの二値データfをビットストリームBから復号化することを含む。各二値データfに対して、当該方法は、二値データfに関連付けられた方位角Φと復号化された点の方位角(Φpenult又はΦal)との間の距離Cに基づいて(ステップ910)コンテキストを選択する。そして、当該方法は、選択されたコンテキスト、及び二値データfに関連しかつビットストリームB中から復号化された確率情報に基づいて前記少なくとも1つの二値データfに対してコンテキストに基づくエントロピー復号化(ステップ920)を行う。次に、コンテキストに基づくエントロピー復号化が行われた二値データfから(ステップ930)順序インデックス差Δoを取得する。
【0199】
選択可能に、ステップ930において、二値データfNflag-1に到達しかつPVに等しくない場合、さらにビットストリームBから残差Rを復号化しかつΔo= R + Nflagにより順序インデックス差Δoを得る。
【0200】
ステップ930の実施例によると、exp-Golombコードを用いて残差Rを復号化する。
【0201】
ステップ820及び910のコンテキスト選択は同じである。そのため、ステップ820のすべての例示的な実施例と変形例はステップ910に適合する。
【0202】
ステップ920の例示的な実施例によると、二値データfはコンテキスト適応二値算術デコーダ(例えばCABAC)を介してエントロピー復号化を行う。選択されたコンテキストに基づいて二値データfに対してコンテキストに基づくエントロピー復号化(ステップ920)を行うことは、基本的に図17のコンテキストに基づくエントロピー符号化と同じである。
【0203】
基本的には、エントロピーデコーダはビットストリームBから-log2(pctxIdx)ビットを復号化することで、ビットストリームBから二値の値f=1又は-log2(1-pctxIdx)ビットを復号化してf=0を復号化する。符号fが復号化されると、fとpctxIdxをエントリとする更新プロセスを用いて確率pctxIdxを更新し、更新プロセスは通常、更新テーブルを用いて実行する。更新後の確率でコンテキストテーブルの第ctxIdx個のエントリを置換する。その後、もう1つの符号を復号化することができ、このように類推する。更新を実行した後のみにもう1つの符号を復号化できるため、コンテキストテーブルの更新サイクルに戻ることは符号化ワークフローにおけるボトルネックとなっている。そのため、できるだけ早くコンテキストテーブルのメモリにアクセスする必要があり、そしてコンテキストテーブルのサイズの最小化はそのハードウェアの実施形態の簡素化に役立つ。
【0204】
ステップ930の実施例によると、少なくとも1つの復号化された二値データfの一元復号化により順序インデックス差Δoを復号化する。
【0205】
例えば、第1個のf=PVの場合、Δo=0がすでに復号化されたため、復号化は完成する。そうでなければ、f≠PVの場合、第2個の二値データfを復号化し、そうでなければ、Δo=1でありかつ復号化は終了する。f≠PVの場合、3番目の二値データfを復号化し、このように類推する。
【0206】
図21は各態様及び例示的な実施例のシステムを実現する例示的なブロック図を示す。
【0207】
システム300のすべて又は一部の装置を構成できる例は、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレット、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ記録システム、コネクテッド家電製品、コネクテッドカーとその関連処理システム、ヘッドマウント ディスプレイ(HMD、透視メガネ)、プロジェクタ(投影機)、「洞窟」(複数のディスプレイを含むシステム)、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダから出力を処理するポストプロセッサ 、ビデオエンコーダに入力を提供するプリプロセッサ、webサーバ、セットトップボックス、及び点群、ビデオ又は画像を処理するため他の任意のデバイス、又は他の通信デバイスを含む。システム300の素子は単一の集積回路(IC)、複数のIC及び/又はディスクリートコンポーネントに単独でまたは組み合わせて実装することができる。例えば、少なくとも1つの実施例では、システム300の処理及びエンコーダ/デコーダ素子は複数のIC及び/又はディスクリートコンポーネントにわたって分布することができる。様々な実施例では、システム300は例えば通信バス又は専用の入力及び/又は出力ポートを介して、他の類似するシステム又は他の電子機器に通信可能に結合することができる。
【0208】
システム300は、少なくとも1つのプロセッサ310を含み、該少なくとも1つのプロセッサ310はそれにロードされる命令を実行することで、例えば本出願で説明される各態様を実現するように構成される。プロセッサ310は組み込みメモリ、入力出力インターフェース及び当分野で周知の他の様々な回路を含むことができる。システム300は少なくとも1つのメモリ320(例えば、揮発性メモリデバイス及び/又は非揮発性メモリデバイス)を含むことができる。システム300は、非揮発性メモリ及び/又は揮発性メモリを含むストレージデバイス340を含むことができ、電気的消去可能なプログラマブル読み取り専用メモリ(EEPROM)、読み取り専用メモリ(ROM)、プログラマブル読み取り専用メモリ(PROM)、ランダムアクセスメモリ(RAM)、動的ランダムアクセスメモリ(DRAM)、静的ランダムアクセスメモリ(SRAM)、フラッシュメモリ、磁気ディスクドライブ及び/又は光ディスクドライブを含むが、これらに限らない。非限定的な例として、ストレージデバイス340は内部ストレージデバイス、追加ストレージデバイス及び/又はネットワークアクセス可能なストレージデバイスを含むことができる。
【0209】
システム300は、例えばデータを処理することで符号化/復号化の点群幾何形状データを提供するように構成されるエンコーダ/デコーダモジュール330を含みことができ、そしてエンコーダ/デコーダモジュール330は自身のプロセッサとメモリを含むことができる。エンコーダ/デコーダモジュール330は、符号化及び/又は復号化機能を実行するようにデバイスに含まれる(1つ又は複数の)モジュールを表すことができる。周知のように、デバイスは符号化及び復号化モジュールのいずれか1つ又は両方を含むことができる。また、エンコーダ/デコーダモジュール330はシステム300の分離した素子として実現することができ、又は当業者に知られているハードウェアとソフトウェアの組み合せとしてプロセッサ310内に結合することができる。
【0210】
本出願で説明される各態様を実行するようにプロセッサ310又はエンコーダ/デコーダ330にロードされるプログラムコードはストレージデバイス340に記憶することができ、そしてその後にメモリ320にロードされてプロセッサ310によって実行される。様々な実施例によると、本出願で説明されるプロセスを実行する間、プロセッサ310、メモリ320、ストレージデバイス340及びエンコーダ/デコーダモジュール330のうちの1つ又は複数は、各項目のうちの1つ又は複数を記憶することができる。このように記憶される項目は、点群フレーム、符号化/復号化された幾何形状/属性ビデオ/画像又は符号化/復号化された幾何形状/属性ビデオ/画像の一部、ビットストリーム、行列、変量、及び式、公式、演算や演算の中間又は最終結果ロジックを含むが、これらに限らない。
【0211】
いくつかの実施例では、プロセッサ310及び/又はエンコーダ/デコーダモジュール330内部のメモリは、命令を記憶し且つ符号化又は復号化の間に実行される処理のためにワーキングメモリを提供するために使用することができる。
【0212】
しかし、他の実施例では、処理デバイス外部のメモリ(例えば、処理デバイスはプロセッサ310又はエンコーダ/デコーダモジュール330であってもよい)はこれらの機能のうちの1つ又は複数に用いられる。外部メモリはメモリ320及び/又はストレージデバイス340、例えば、動的揮発性メモリ及び/又は不揮発性フラッシュメモリであってもよい。いくつかの実施例では、外部不揮発性フラッシュメモリは、例えばテレビの操作システムを記憶するために使用される。少なくとも1つの実施例において、RAMのような快速外部動的揮発性メモリは、ビデオ符号化復号化及び復号化操作のワーキングメモリとして利用することができ、例えば、MPEG-2第2部分(ITU-TRecommendation H.262及びISO /IEC 13818-2とも呼ばれ、MPEG-2ビデオとも呼ばれる)、HEVC(高効率ビデオ符号化復号化)、VVC(汎用ビデオ符号化復号化)又はMPEG-I第5部分又は第9部分を対象とする。
【0213】
ブロック330に示すように、様々な入力デバイスを介してシステム300の素子へ入力を提供することができる。このような入力デバイスは、(i)放送局などで無線送信されたRF信号を受信できるRF部、(ii)複合入力端子、(iii)USB入力端子、及び/又は(iv)HDMI入力端子を含むが、これらに限らない。
【0214】
様々な実施例において、ブロック330の入力デバイスは、当分野で周知のように、関連し且つ対応する入力処理素子を有する。例えば、RF部分は以下の必要とされる素子を関連付けることができる。(i)所望の周波数(信号選択とも呼ばれ、又は信号を周波数帯域内に制限する)を選択すること、(ii)選択される信号をダウンコンバートすること、(iii)周波数帯域を再び狭い周波数帯域に制御することで、(例えば)いくつかの実施例でチャネルと呼ばれる信号周波数帯域を選択すること、(iv)ダウンコンバートされた信号と周波数帯域が制限された信号を復調すること、(v)誤り訂正を実行すること、及び(vi)逆多重化をして所望のデータパケットフローを選択すること。様々な実施例のRF部分はわざとこれらの機能を実行する素子、例えば、周波数セレクタ、信号セレクタ、周波数帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調装置、誤り訂正装置及びデマルチプレクサを含む。RF部分は、これらの各機能(例えば、受信した信号をより低い周波数(例えば、中間周波数又はベースバンド付近の周波数)又はベースバンドにダウンコンバートすることを含む)を実行するチューナーを含むことができる。
【0215】
1つのセットトップボックスの実施例では、RF部分及びその関連付けられた入力処理素子は有線(例えば、ケーブル)媒体において伝送されるRF信号を受信することができ、その後、RF部分はフィルタリング、ダウンコンバート及び再フィルタリングにより所望の周波数帯域を得て周波数選択を実行することができる。
【0216】
様々な実施例では、上記(及び他の)素子の順序を設定し、これらの素子のうちの一部を削除し、及び/又は類似又は異なる機能を実行する他の素子を追加する。
【0217】
素子の追加は、既存の素子の間に、増幅器やアナログデジタルコンバータのような素子を挿入することを含むことができる。様々な実施例において、RF部分はアンテナを含む。
【0218】
また、USB及び/又はHDMI端子は、対応するインターフェースプロセッサを含むことができ、USB及び/又はHDMI接続によりシステム300を他の電子機器に接続するために使用される。なお、必要な時に、入力処理の各態様(例えば、Reed-Solomon誤り訂正)は、例えば、分離した入力処理IC内又はプロセッサ310内で実現することができる。このように、必要な時に、分離したインターフェースIC内又はプロセッサ310内でUSB又はHDMIインターフェース処理の各態様を実現することができることを理解されたい。復調により、誤り訂正と逆多重化のストリームは、プロセッサ310、及びメモリと記憶素子に組み合わせて操作するエンコーダ/デコーダ330などを含む様々な処理素子に提供することができることにより、必要な時にデータストリームを処理して出力デバイスに表示する。
【0219】
一体型ハウジング内でシステム3000の様々な素子を提供することができる。一体型ハウジング内において、適切な接続レイアウト340(例えば、当分野で周知の内部バスであって、I2Cバス、配線及びプリント回路基板を含む)を用いて各素子を互いに接続しかつそれらの間でデータを伝送することができる。
【0220】
システム300は通信インターフェース350を含むことができるので、通信チャネル700を介して他のデバイスと通信することができる。通信インターフェース350は、通信チャネル700においてデータを送受信するように構成される送受信機を含むが、これに限らない。通信インターフェース350は、モデム又はネットワークカードを含むが、これに限らず、通信チャネル700は例えば有線及び/又は無線媒体内で実現することができる。
【0221】
様々な実施例において、IEEE 802.11のようなWi-Fiネットワークを用いてデータストリームをシステム300に伝送することができる。これらの実施例のWi-Fi信号は、Wi-Fi通信に適する通信チャネル700及び通信インターフェース350により受信可能である。これらの実施例の通信チャネル700は通常アクセスポイント又はルータに接続することができ、該アクセスポイント又はルータは、インターネットを含む外部ネットワークへのアクセスを提供することで、ストリーミングの適用と他の無線通信を許可する。
【0222】
他の実施例はセットトップボックスを用いてシステム300にストリーミングデータを提供することができ、該セットトップボックスは入力ブロック390のHDMI接続によりデータを搬送する。
【0223】
入力ブロック390のRF接続を用いてストリーミングデータをシステム300に提供する実施例は他にもある。
【0224】
ストリーミングデータは、システム300が用いるシグナリング情報の方式として使用することができる。シグナリング情報はビットストリームB及び/又は情報、例えば点群の点数、2D座標Φ、λ系における第1の点の座標又は順序o(P1)及び/又はセンサセットパラメータ(例えばレーザレーダヘッド10のセンサに関連付けられた基本方位シフト又は仰角)を含むことができる。
【0225】
なお、様々な方式でシグナリングを実現できる。例えば、様々な実施例において、1つ又は複数の構文要素、フラグなどは、対応するデコーダに信号通知情報を送信するために使用することができる。
【0226】
システム300は、ディスプレイ400、スピーカ500及び他の周辺機器600を含む様々な出力デバイスに出力信号を提供することができる。実施例の様々な例において、他の周辺機器600は独立したDVR、ディスクプレーヤ、ステレオシステム、照明システム、及びシステム300の出力に基づいて機能を提供する他のデバイスのうちの1つ又は複数を含むことができる。
【0227】
様々な実施例において、制御信号はAV.Link(オーディオ/ビデオリンク)、CEC(家電制御)又はデバイスからデバイスへの制御を有効にする他の通信プロトコルのシグナリングを用いてシステム300とディスプレイ400、スピーカ500又は他の周辺機器600との間で通信することができ、ユーザがあってもなくてもよい。
【0228】
出力デバイスは、対応するインターフェース360、370及び380により、専用接続経由で通信可能にシステム300に接続することができる。
【0229】
代替的に、通信インターフェース350経由で通信チャネル700を用いて出力デバイスをシステム300に接続することができる。ディスプレイ400とスピーカ500は電子機器(例えばテレビ)のシステム300の他のコンポーネントとともに単一ユニットに統合することができる。
【0230】
様々な実施例において、表示インターフェース360は、タイミングコントローラ(T Con)チップのようなディスプレイドライバを含むことができる。
【0231】
例えば、入力端390のRF部分が、分離したセットトップボックスの一部である場合、ディスプレイ400とスピーカ500は代替可能に他のコンポーネントのうちの1つ又は複数と分離する。ディスプレイ400とスピーカ500が外部コンポーネントであってもよい様々な実施例では、専用の出力接続(例えばHDMIポート、USBポート又はCOMP出力端子を含む)経由で出力信号を提供することができる。
【0232】
図1-12では、様々な方法が説明され、各方法は、説明される方法を実現するように、1つ又は複数のステップ又は動作を含む。方法の正確な操作には特定のステップ又は動作順序が必要である場合でない限り、特定のステップ及び/又は動作の順序及び/又は使用を修正したり、組み合わせたりすることができる。
【0233】
ブロック図及び/又は操作フローチャートについていくつかの例が説明されたが、各ブロックは、回路素子、モジュール、或いは(1つ又は複数の)指定ロジック機能を実現するための1つ又は複数の実行可能な命令のコードを含む部分を表す。なお、他の実施形態では、ブロックに示されている(1つ又は複数の)機能は、指示された順序に従って発生しなくてもよいことに留意されたい。例えば、関わる機能によると、次々と表示される2つのブロックは実際に、基本的に並列して実行されてもよいし、又は逆の順序でこれらのブロックを実行してもよい。
【0234】
例えば方法又はプロセス、装置、コンピュータプログラム、データストリーム、ビットストリーム又は信号において本明細書で説明される実施形態と態様を実現することができる。単一形式の実施形態のコンテキストのみにおいて検討(例えば、方法のみとして検討する)しても、議論される特徴の実施形態は他の形式(例えば、装置又はコンピュータプログラム)で実現することができる。
【0235】
方法は例えばプロセッサにおいて実現することができ、プロセッサは通常、例えばコンピュータ、マイクロプロセッサ、集積回路又はプログラム可能なロジックデバイスなどを含む処理デバイスを指す。プロセッサは通信デバイスをさらに含む。
【0236】
また、方法は、プロセッサにより実行される命令で実現することができ、そして、このような命令(及び/又は実施形態により生成されたデータ値)はコンピュータ読み取り可能な記憶媒体に記憶することができる。コンピュータ読み取り可能な記憶媒体は、1つ又は複数のコンピュータ読み取り可能な媒体において実施され、かつそれにそれにおいて実施された、コンピュータにより実行可能なコンピュータ読み取り可能なプログラムコードを有するコンピュータ読み取り可能なプログラム製品の形式を用いることができる。それに情報を記憶する固有の能力及びそれにより提供される情報から検索する固有の能力を考慮すると、本明細書で使用されるコンピュータ読み取り可能な記憶媒体は、非一時的な記憶媒体として見なすことができる。コンピュータ読み取り可能な記憶媒体は、電子、磁気、光学、電磁、赤外線又は半導体システム、装置又はデバイス、又は前述したものの任意の適切な組み合せであってもよいが、これらに限らない。なお、以下は、本実施例を適用できるコンピュータ読み取り可能な記憶媒体のより更具的な例を提供したが、当業者dであれば容易に認識できるように、それらは網羅的なリストではなく例示的なものに過ぎないことを理解されたい:ポータブルコンピュータフロッピーディスク、ハードディスク、読み取り専用メモリ(ROM)、消去可能なプログラム可能な読み取り専用メモリ(EPROM 又はフラッシュメモリ)、コンパクトディスク読み取り専用メモリ(CD-ROM)、光学ストレージデバイス、磁気ストレージデバイス、又は前述したものの任意の適切な組み合せ。
【0237】
命令は、プロセッサ読み取り可能な媒体に有形に実施されるアプリケーションを生成することができる。
【0238】
例えば、命令はハードウェア、ファームウェア、ソフトウェア又はその組み合せに存在することができる。例えば、操作システム、独立したアプリケーション、又は両者の組み合せにおいて命令を見つけることができる。したがって、プロセッサは、例えばプロセスを実行するように構成されるデバイスやプロセスを実行するための命令を有するプロセッサ読み取り可能な媒体(例えばストレージデバイス)を含むデバイスとして特徴付けることができる。また、命令に加え又は命令の代わりに、プロセッサ読み取り可能な媒体可は、実施形態により生成したデータ値を記憶することができる。
【0239】
装置は例えば適切なハードウェア、ソフトウェア及びファームウェアにおいて実現することができる。このような装置の例はパーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレット、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、コネクテッド家電製品、ヘッドマウント ディスプレイ(HMD、透視メガネ)、プロジェクタ(投影機)、「洞窟」(複数のディスプレイを含むシステム)、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダから出力を処理するポストプロセッサ 、ビデオエンコーダに入力を提供するプリプロセッサ、web サーバ、セットトップボックス、及び処理点群、ビデオ又は画像を処理するための他の任意のデバイス、又は他の通信デバイスを含む。なお、装置は移動可能であり、移動中の車両に取り付けることもできる。
【0240】
コンピュータソフトウェアは、プロセッサ310、ハードウェア、又はハードウェアとソフトウェアとの組み合せで実現することができる。非限定的な例として、1つ又は複数の集積回路で実施例を実現することができる。メモリ320は、技術環境に適応する任意のタイプであってもよく、任意の適切なデータ記憶技術(非限定的な例として、例えば光学メモリデバイス、磁気メモリデバイス、半導体に基づくメモリデバイス、固定メモリ及び移動可能なメモリ)で実現することができる。非限定的な例として、プロセッサ310は技術環境に適合する任意のタイプであってもよく、マイクロプロセッサ、汎用コンピュータ、専用のコンピュータ及びマルチコアアーキテクチャに基づくプロセッサのうちの1つ又は複数をカバーすることができる。
【0241】
当業者にとって明らかなように、実施形態は、例えば記憶可能又は伝送可能な情報を運搬するように定形化される様々な信号を生成することができる。情報は、例えば方法を実行するための命令又は説明される実施形態の1つにより生成されたデータを含むことができる。例えば、信号は、説明される実施例のビットストリームを搬送するように定形化されてもよい。この信号は、例えば電磁波(例えば、周波数スペクトルを用いる無線周波数部分)又はベースバンド信号に定形化されてもよい。定形化は、例えばデータストリームに対して符号化し、かつ符号化されたデータストリームを用いて搬送波を変調することを含むことができる。信号により搬送される情報は、例えばアナログ又はデジタル情報であってもよい。周知のように、信号は異なる有線又は無線リンクで伝送することができる。信号はプロセッサ読み取り可能な媒体に記憶することができる。
【0242】
本明細書で使用される用語は、特定の実施例を説明することのみに使用され、限定するためのものではない。コンテキストに明確な指示がない限り、本明細書で使用される単数形の「1つ」、「1種」及び「該」は複数形をも含む。さらに、本明細書で使用される場合、「含む/包含」及び/又は「含む/包含」という用語は、説明される特徴、整数、ステップ、操作、要素及び/又はコンポーネントなどの存在を指示することができるが、1つ又は複数の他の特徴、整数、ステップ、操作、要素、コンポーネント及び/又はこれらの組み合せの存在又は追加を排除しない。また、1つの要素がもう1つの要素に「応答」又は「接続」すると呼ばれる時、もう1つの要素に直接応答又は接続してもよいし、中間要素が存在してもよい。逆に、1つの要素がもう1つの要素に「直接応答」又は「直接接続」すると呼ばれる時、中間要素が存在しない。
【0243】
なお、例えば、「A/B」、「A及び/又は B」及び「AとBのうちの少なくとも1つ」の場合、「/」、「及び/又は」及び「少なくとも1つ」という符号/用語のうちのいずれか1つの使用は、一番目に挙げられた選択肢(A)の選択、又は二番目に挙げられた選択肢(B)の選択、又は2つの選択肢(AとB)の選択をカバーすることを意図している。更なる例として、「A、B及び/又はC」及び「A、B和Cのうちの少なくとも1つ」の場合、このような言葉遣いは、一番目に挙げられた選択肢(A)の選択のみ、又は二番目に挙げられた選択肢(B)の選択のみ、又は又は三番目に挙げられた選択肢(C)の選択のみ、又は一番目と二番目に挙げられた選択肢(AとB)の選択のみ、又は一番目と三番目に挙げられた選択肢(AとC)の選択、又は二番目と三番目に挙げられた選択肢(BとC)の選択のみ、又は3つの選択肢(AとBとC)のすべての選択をカバーすることを意図している。当分野及び当業者には明らかなように、このようにして、挙げられた項目の数に拡張することができる。
【0244】
本出願では様々な数値を用いることができる。特定値は例示的なものであり、そして説明される各態様はこれらの特定値に限らない。
【0245】
なお、第1、第2などの用語は本明細書において様々な要素を説明することに用いることができるが、これらの要素がこれらの用語に限らない。これらの用語は、1つの要素をもう1つの要素と区別することだけに用いられる。例えば、本出願の教示から逸脱しない限り、第1要素は第2要素と呼ぶことができ、同様に、第2要素は第1要素と呼ぶこともできる。第1要素と第2要素との間は順序付けが暗黙的に示されていない。
【0246】
「1つの例示的な実施例」又は「例示的な実施例」又は「一実施形態」又は「実施形態」及びその他の変化の引用は、頻繁に、特定の特徴、構造、特点等(実施例/実施形態に合わせて説明されるもの)が少なくとも1つの実施例/実施形態に含まれることを伝えるために使用される。したがって、本出願の各箇所に現れる用語の「1つの例示的な実施例において」又は「例示的な実施例において」又は「一実施形態において」又は「実施形態において」およびその他の任意の変化の出現は、必ずしも同じ実施例を指すとは限らない。
【0247】
同様に、本明細書の「例示的な実施例/例/実施形態によると」又は「例示的な実施例/例/実施形態において」およびその他の変化の引用は、頻繁に、特定の特徴、構造又は特点(実施例/実施形態に合わせて説明されるもの)が少なくとも1つの例示的な実施例/例/実施形態に含まれ得ることを伝えることに使用される。したがって、明細書の各箇所に現れる「例示的な実施例/例/実施形態によると」又は「例示的な実施例/例/実施形態において」という表現は、必ずしも同じ例示的な実施例/例/実施形態を指すとは限らず、独立又は代替的な例示的な実施例/例/実施形態が必ず他の例示的な実施例/例/実施形態とは相互排他的であるとも限らない。
【0248】
請求項に現れる図面の符号は説明だけに用いられ、かつ請求項の範囲を限定しない。明確な説明がないにもかかわらず、任意の組み合せ又は一部の組み合せにより本実施例/例および変形例を用いることができる。
【0249】
図がフローチャートとして示される時、対応する装置のブロック図も提供されることを理解されたい。同様に、図がブロック図として示される時、対応する方法/プロセスのフローチャートも提供されることを理解されたい。
【0250】
一部の図には、通信路径において通信の主な方向を示す矢印が含まれるが、通信が、説明される矢印と逆の方向に発生することもできることを理解されたい。
【0251】
様々な実施形態は復号化に関連付けられた。本出願で使用されるように、「復号化」は、例えば受信した点群フレーム(1つ又は複数の点群フレームを符号化して受信したビットストリームを含む可能性がある)を実行することにより、表示又は再構築された点群領域内の更なる処理に適合する最終出力を生成するプロセスの全部又は一部をカバーすることができる。様々な実施例において、このようなプロセスは、通常デコーダにより実行されるプロセスのうちの1つ又は複数を含む。様々な実施例において、例えば、このようなプロセスは、本出願で説明される様々な実施形態のデコーダにより実行されるプロセスを代替的に含むこともできる。
【0252】
更なる例として、一実施例では、「復号化」は逆量子化のみを指すことができ、一実施例では、「復号化」はエントロピー復号化を指すことができ、もう1つの実施例において、「復号化」は差分復号化を指すことができ、もう1つの実施例において、「復号化」は逆量子化、エントロピー復号化および差分復号化の組み合せを指すことができる。具体的に説明されるコンテキストに基づいて、「復号化プロセス」という用語は、具体的には、操作のサブセットを指すか、それともより一般的な復号化プロセスを指すかが自明なことであり、当業者にとって理解しやすいものでもある。
【0253】
様々な実施形態は符号化に関連付けられた。以上の「復号化」に係る検討と同様に、本出願において使用される「符号化」は、例えば、入力点群フレームを実行することにより符号化のビットストリームを生成するプロセスの全部又は一部をカバーすることができる。様々な実施例において、この種類のプロセスは、通常エンコーダにより実行されるプロセスのうちの1つ又は複数を含む。様々な実施例において、このようなプロセスは、本出願で説明される各実施形態のエンコーダにより実行されるプロセスを代替的に含むこともできる。
【0254】
更なる例として、1つの実施例において、「符号化」は量子化のみを指すことができ、1つの実施例において、「符号化」はエントロピー符号化のみを指すことができ、もう1つの実施例において、「符号化」は差分符号化のみを指すことができ、もう1つの実施例において、「符号化」は量子化、差分符号化およびエントロピー符号化の組み合せを指すことができる。特定の説明がなされているコンテキストに基づいて、「符号化プロセス」という用語は、操作のサブセットを専門に指すか、それともより一般的な符号化プロセスを指すかが自明なことであり、当業者にとって理解しやすいものでもある。
【0255】
また、本出願は、様々な情報の「決定」について言及した。情報の決定は、情報の推定、情報の計算、情報の予測又はメモリから情報を検査することのうちの1つ又は複数を含むことができる。
【0256】
また、本出願は、様々な情報への「アクセス」について言及した。情報へのアクセスは情報の受信、(例えば、メモリから)情報を検索すること、情報の記憶、情報の移動、情報のコピー、情報の計算、情報の決定、情報の予測又は情報の推定のうちの1つ又は複数を含むことができる。
【0257】
また、本出願は様々な情報の「受信」について言及した。「アクセス」と同様に、受信というのは広義的な用語である。情報の受信は、例えば、情報へのアクセス又は情報の検索(例えば、メモリから)のうちの1つ又は複数を含むことができる。また、もう1つの方式として、例えば、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の削除、情報の計算、情報の決定、情報の予測又は情報の推定などの操作期間は、通常、「受信」に関連付けられた。
【0258】
それに、本明細書で使用されるように、「信号」という用語は、特に対応するデコーダが特定のことを指示するなどを指示する。例えば、いくつかの実施例では、エンコーダは信号を送信して、例えば点群の点数又は2D座標系における第1の点の座標又は回数o(P1)又はセンサセットパラメータ(例えばセンサkに関連付けられた基本方位シフト又は仰角 )のような特定の情報を通知する。この様式により、実施例において、エンコーダ側とデコーダ側において同じパラメータを用いることができる。したがって、例えば、エンコーダはデコーダに(明確なシグナリング)特定パラメータを送信することができ、これにより、デコーダは同じ特定パラメータを用いることができる。逆に、デコーダが特定のパラメータおよび他のパラメータを有している場合、伝送を必要としないシグナリング(間接的なシグナリング)を用いて、デコーダに知らせかつ特定パラメータを選択させることを容易にする。如何なる実際の機能の伝送を回避するために、様々な実施例においてビット節約を実現している。なお、様々な方式でシグナリングを完成できることを認識されたい。例えば、様々な実施例において、1つ又は複数の文法要素、フラグなどは、情報を対応するデコーダに送信するために使用される。上記は「信号」という単語の動詞の形に関連付けられたが、「信号」という単語は本明細書において名詞として使用されても良い。
【0259】
すでに複数の実施形態を説明したが、様々な修正を行っても良いことを理解されたい。例えば、異なる実施形態の要素を組み合せ、補充、修正又は削除することによって他の実施形態を生成することができる。また、当業者であれば理解できるように、他の構造とプロセスは、開示された構造とプロセスを代替でき、これにより生成された実施形態は基本的に同じである(1つ又は複数の)方式で、基本的に同じ(1つ又は複数の)である機能を実行することによって、少なくとも開示された実施形態と基本的に同じである(1つ又は複数の)結果を実現する。したがって、本出願では、これらの内容及び他の実施形態が構想された。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
【手続補正書】
【提出日】2023-06-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する方法であって、前記点群の点は、センサのキャプチャ角度を表す方位角(Φn)及びセンサに関連付けられたセンサインデックス(λn)に基づいて順序付けされ、前記方法は、
前記少なくとも1つの順序インデックス差(Δo)を二値化することで少なくとも1つの二値データ(f)を取得(810)するステップ、及び
各二値データに対して、前記二値データに関連付けられた方位角(Φ)と符号化された点の方位角(Φpenult,Φal)との間の距離(C)に基づいてコンテキストを選択(820)し、かつ選択されたコンテキストに基づいて前記ビットストリーム内の前記二値データに対して、コンテキストに基づくエントロピー符号化(830)を行うステップにより、
連続した2つの順序付けされた点の順序インデックスの間の差を表す少なくとも1つの順序インデックス差(Δon)をビットストリーム内に符号化することを含む、
ことを特徴とする点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する方法。
【請求項2】
前記符号化された点は、前記二値データ(f)に関連付けられたセンサインデックス(λ)と同じセンサインデックスを有する最後から二番目の符号化された点(Ppenult)である、
ことを特徴とする請求項1に記載の方法。
【請求項3】
物理的オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法であって、前記方法は、前記ビットストリームから復号化された少なくとも1つの二値データ(f)に基づいて、連続した2つの順序付けされた点の順序インデックスの間の差を表す少なくとも1つの順序インデックス差(Δon)を復号化することを含み、
前記二値データ(f)に関連付けられた方位角(Φ)と復号化された点の方位角(Φpenult、Φal)との間の距離(C)に基づいてコンテキストを選択(910)するステップ、
選択されたコンテキスト、及び前記ビットストリームから復号化された前記二値データに関連付けられた確率情報に基づいて、前記少なくとも1つの二値データに対して、コンテキストに基づくエントロピー復号化(920)を行うステップ、及び
少なくとも1つのコンテキストに基づくエントロピー復号化が行われた二値データ(f)から順序インデックス差(Δo)を復号化(930)するステップにより、各二値データ(f)は復号化される、
ことを特徴とする物理的オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法。
【請求項4】
前記復号化された点は、前記二値データ(f)に関連付けられたセンサインデックス(λ)と同じセンサインデックスを有する最後から二番目の復号化された点(Ppenult)である、
ことを特徴とする請求項3に記載の方法。
【請求項5】
二値データ(f)を復号化するためのコンテキストは、コンテキストインデックス(ctxIdx)によりインデックスされたコンテキストテーブルから選択されたものであり、二値データ(f)に用いられる前記コンテキストインデックスは、前記二値データ(f)に関連付けられた前記方位角(Φ)と前記復号化された点の方位角(Φpenult、Φal)との間の前記距離(C)に等しい、
ことを特徴とする請求項3に記載の方法。
【請求項6】
二値データを復号化するためのコンテキストはコンテキストインデックス(ctxIdx)によりインデックスされたコンテキストテーブルから選択されたものであり、二値データ(f)に用いられる前記コンテキストインデックス(ctxIdx)は、前記順序インデックス差(Δo)を表す一連の二値データにおける前記二値データの順位(j)によって決定される、
ことを特徴とする請求項3に記載の方法。
【請求項7】
二値データを復号化するためのコンテキストは、コンテキストインデックス(ctxIdx)によりインデックスされたコンテキストテーブルから選択されたものであり、二値データ(f)に用いられる前記コンテキストインデックス(ctxIdx)は、前記二値データ(f)に関連付けられたセンサインデックス(λ)によって決定される、
ことを特徴とする請求項3に記載の方法。
【請求項8】
二値データを復号化するためのコンテキストは、コンテキストインデックス(ctxIdx)によりインデックスされたコンテキストテーブルから選択されたものであり、二値データ(f)に用いられる前記コンテキストインデックス(ctxIdx)は、近い仰角を有するセンサを再グループ化するセンサパックにより決定される。
ことを特徴とする請求項3に記載の方法。
【請求項9】
点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する装置であって、前記点群の点は、センサのキャプチャ角度を表す方位角及びセンサに関連付けられたセンサインデックスに基づいて順序付けされ、前記装置は1つ又は複数のプロセッサを含み、前記1つ又は複数のプロセッサは、
前記少なくとも1つの順序インデックス差を二値化することで少なくとも1つの二値データを取得するステップ、及び、
各二値データに対して、前記二値データに関連付けられた方位角と符号化された点の方位角との間の距離に基づいてコンテキストを選択し、かつ選択されたコンテキストに基づいて前記ビットストリーム内の前記二値データに対して、コンテキストに基づくエントロピー符号化を行うステップにより、
連続した2つの順序付けされた点の順序インデックスの間の差を表す少なくとも1つの順序インデックス差をビットストリーム内に符号化するように構成される、
ことを特徴とする点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する装置。
【請求項10】
物理的オブジェクトを表す点群の点をビットストリームから復号化する装置であって、前記装置は1つ又は複数のプロセッサを含み、前記1つ又は複数のプロセッサは、前記ビットストリームから復号化された少なくとも1つの二値データに基づいて、連続した2つの順序付けされた点の順序インデックスの間の差を表す少なくとも1つの順序インデックス差を復号化するように構成され、
前記二値データに関連付けられた方位角と復号化された点の方位角との間の距離に基づいてコンテキストを選択するステップ、
選択されたコンテキスト、及び前記ビットストリームから復号化された前記二値データに関連付けられた確率情報に基づいて、前記少なくとも1つの二値データに対して、コンテキストに基づくエントロピー復号化を行うステップ、及び
少なくとも1つのコンテキストに基づくエントロピー復号化が行われた二値データから順序インデックス差を復号化するステップにより、各二値データは復号化される、
ことを特徴とする物理的オブジェクトを表す点群の点をビットストリームから復号化する装置。
【請求項11】
物理的オブジェクトを表す符号化された点群データのビットストリームであって、前記ビットストリームは、順序インデックス差を表す少なくとも1つの二値データに関連付けられた確率情報を含み、前記順序インデックス差は、前記点群の連続した2つの順序付けされた点の順序インデックスの間の差を表す、
ことを特徴とする物理的オブジェクトを表す符号化された点群データのビットストリーム。
【請求項12】
コンピュータプログラムであって、前記プログラムが1つ又は複数のプロセッサにより実行される際に、前記1つ又は複数のプロセッサに請求項1または2に記載の方法を実行させ
ことを特徴とするコンピュータプログラム。
【請求項13】
非一時的な記憶媒体であって、
請求項12に記載のコンピュータプログラムを記憶する、
ことを特徴とする非一時的な記憶媒体。
【請求項14】
コンピュータプログラムであって、前記プログラムが1つ又は複数のプロセッサによって実行される際に、前記1つ又は複数のプロセッサに請求項3~8のいずれか一項に記載の方法を実行させ
ことを特徴とするコンピュータプログラム。
【請求項15】
非一時的な記憶媒体であって、
請求項14に記載のコンピュータプログラムを記憶する、
ことを特徴とする非一時的な記憶媒体。
【国際調査報告】