(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-16
(54)【発明の名称】スピンセンサヘッドによって捕捉された点群幾何学データを符号化/復号化する方法及び装置
(51)【国際特許分類】
H04N 19/597 20140101AFI20240409BHJP
G06T 9/00 20060101ALI20240409BHJP
H04N 19/70 20140101ALI20240409BHJP
【FI】
H04N19/597
G06T9/00 100
H04N19/70
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023560961
(86)(22)【出願日】2021-10-13
(85)【翻訳文提出日】2023-11-08
(86)【国際出願番号】 CN2021123665
(87)【国際公開番号】W WO2022213572
(87)【国際公開日】2022-10-13
(32)【優先日】2021-04-09
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】516180667
【氏名又は名称】北京小米移動軟件有限公司
【氏名又は名称原語表記】Beijing Xiaomi Mobile Software Co.,Ltd.
【住所又は居所原語表記】No.018, Floor 8, Building 6, Yard 33, Middle Xierqi Road, Haidian District, Beijing 100085, China
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】タケ,ジョナサン
(72)【発明者】
【氏名】ラセール,セバスチャン
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159LC01
5C159MB05
5C159ME01
5C159PP03
5C159PP13
5C159RC11
5C159UA02
5C159UA05
(57)【要約】
物理オブジェクトを表す符号化された点群データのビットストリームに点群を符号化する/物理オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法及び装置を提供し、点群の各点は、該点を捕捉するスピンセンサヘッドのセンサの捕捉角度に応答する方位角と、該点と基準点との距離に応答する半径とを表す球座標に関連付けられる。該方法は、点群の点の復号化半径に基づいて前記点の方位角の予測された方位角を計算するために使用される基本方位ステップ幅のスケーリングを含む。したがって、方位角ステップ幅は、動的にスケーリングされるため、点群の点の半径によって決まる。
【選択図】
図8
【特許請求の範囲】
【請求項1】
物理オブジェクトを表す符号化された点群データのビットストリームに点群を符号化する方法であって、前記点群の各点は、前記点を捕捉するスピンセンサヘッドのセンサの捕捉角度に応答する方位角と、前記点と基準点の距離に応答する半径とを表す球座標に関連付けられ、前記方法は、
-前記点群の点に関連付けられたスケーリングされた基本方位ステップ幅(S(φ
step,r
dec))を取得(130)するステップであって、第2データ(D2)が閾値よりも厳密に低い場合、前記スケーリングされた基本方位ステップ幅(S(φ
step,r
dec))は第1データ(D1)に等しく、前記第1データ(D1)は基本方位ステップ幅(φ
step)より大きく、他の場合では、前記スケーリングされた基本方位ステップ幅(S(φ
step,r
dec))は前記基本方位ステップ幅(φ
step)に等しく、前記基本方位ステップ幅(φ
step)は、スピンセンサヘッドが捕捉した前記点群の周波数と回転速度から導出されたものであり、前記第2データ(D2)は、前記点に関連付けられた半径に対して符号化と復号化(120)を行うことで得た前記点の復号化半径(r
dec)によって決まるステップと、
-前記点の方位角、前記方位角の予測、及び前記スケーリングされた基本方位ステップ幅から取得したスケーリングされた基本方位ステップ幅の数(m
s)を前記ビットストリーム内に符号化(140)するステップと、
-前記点の前記方位角と、スケーリングされた基本方位ステップ幅の数(m
s)及び前記スケーリングされた基本方位ステップ幅(S(φ
step,r
dec))から導出(150)された予測された方位角との間の前記点の残差方位角を前記ビットストリームに符号化(160)するステップと、を含む、
物理オブジェクトを表す符号化された点群データのビットストリームに点群を符号化する方法。
【請求項2】
物理オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法であって、前記点群の各点は、前記点を捕捉するスピンセンサヘッドのセンサの捕捉角度に応答する方位角と、前記点と基準点の距離に応答する半径とを表す球座標に関連付けられ、前記方法は、
-前記ビットストリームから基本方位ステップ幅((φ
step)を復号化(210)するステップと、
-前記ビットストリームから復号化された残差半径(r
res,dec)から前記点群における点の復号化半径(r
dec)を取得(220)するステップと、
-前記点群の点に関連付けられたスケーリングされた基本方位ステップ幅(S(φ
step,r
dec))を取得(130)するステップであって、前記点の前記復号化半径(r
dec)によって決まる第2データ(D2)が閾値(TH)よりも厳密に低い場合、前記スケーリングされた基本方位ステップ幅(S(φ
step,r
dec))は第1データ(D1)に等しく、前記第1データ(D1)は前記基本方位ステップ幅(φ
step)より大きく、他の場合では、前記スケーリングされた基本方位ステップ幅(S(φ
step,r
dec))は前記基本方位ステップ幅(φ
step)に等しいステップと、
-前記ビットストリームから、スケーリングされた基本方位ステップ幅の数(m
s)を復号化(230)するステップと、
-前記ビットストリームから、復号化された残差方位角(φ
res,dec)を復号化(240)するステップと、
-前記復号化された残差方位角(φ
res,dec)と、スケーリングされた基本方位ステップ幅の数(m
s)及び前記スケーリングされた基本方位ステップ幅(S(φ
step,r
dec))から導出(150)された予測された方位角とから、復号化された方位角(φ
dec)を取得(250)するステップと、を含む、
物理オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法。
【請求項3】
前記第1データ(D1)は復号化半径(r
dec)によって決まる、
請求項1又は2に記載の方法。
【請求項4】
前記第1データ(D1)は、前記復号化半径と1以上のスケーリング係数(α)との積に反比例する、
請求項3に記載の方法。
【請求項5】
前記第2データ(D2)は前記復号化半径(r
dec)である、
請求項1~4のいずれか一項に記載の方法。
【請求項6】
前記復号化半径(r
dec)に単調関数を適用することで前記第2データ(D2)を取得し、前記第2データ(D2)と、同じ単調関数を前記閾値に適用することで取得した第2閾値(TH)とを比較する、
請求項1~4のいずれも一項に記載の方法。
【請求項7】
前記単調関数は、前記残差方位角の整数境界を提供する関数として定義される、
請求項6に記載の方法。
【請求項8】
前記第1データ(D1)は2π/(r
dec*α*ΔIφ)の近似から取得され、r
decは前記復号化半径であり、αは1以上のスケーリング係数であり、ΔIφは前記方位角の内部精度に対応する、
請求項6又は7に記載の方法。
【請求項9】
前記第1データ(D1)は、前記近似を繰り返して精錬することで取得される、
請求項8に記載の方法。
【請求項10】
前記近似は、2π/(r
dec*α*ΔIφ)より小さい基本方位ステップ幅の係数2の最大べき乗を見つけることによって取得される、
請求項8に記載の方法。
【請求項11】
物理オブジェクトを表す符号化された点群データのビットストリームに点群を符号化する装置であって、前記点群の各点は、前記点を捕捉するスピンセンサヘッドのセンサの捕捉角度に応答する方位角と、前記点と基準点の距離に応答する半径とを表す球座標に関連付けられ、前記装置は1つ又は複数のプロセッサを含み、前記1つ又は複数のプロセッサは以下のように構成され、
-前記点群の点に関連付けられたスケーリングされた基本方位ステップ幅を取得し、第2データが閾値よりも厳密に低い場合、前記スケーリングされた基本方位ステップ幅は第1データに等しく、前記第1データは基本方位ステップ幅より大きく、他の場合では、前記スケーリングされた基本方位ステップ幅は前記基本方位ステップ幅に等しく、前記基本方位ステップ幅は、スピンセンサヘッドが捕捉した前記点群の周波数と回転速度から導出されたものであり、前記第2データは、前記点に関連付けられた半径に対して符号化と復号化を行うことで得た前記点の復号化半径によって決まり、
-前記点の方位角、前記方位角の予測、及び前記スケーリングされた基本方位ステップ幅から取得したスケーリングされた基本方位ステップ幅の数を前記ビットストリームに符号化し、及び、
-前記点の前記方位角と、スケーリングされた基本方位ステップ幅の数及び前記スケーリングされた基本方位ステップ幅から導出された予測された方位角との間の前記点の残差方位角を前記ビットストリームに符号化する、
物理オブジェクトを表す符号化された点群データのビットストリームに点群を符号化する装置。
【請求項12】
物理オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する装置であって、前記点群の各点は、前記点を捕捉するスピンセンサヘッドのセンサの捕捉角度に応答する方位角と、前記点と基準点の距離に応答する半径とを表す球座標に関連付けられ、前記装置は1つ又は複数のプロセッサを含み、前記1つ又は複数のプロセッサは以下のように構成され、
-前記ビットストリームから基本方位ステップ幅を復号化し、
-前記ビットストリームから復号化された残差半径から前記点群における点の復号化半径を取得し、
-前記点群の点に関連付けられたスケーリングされた基本方位ステップ幅を取得し、前記点によって決まる前記復号化半径の第2データが閾値よりも厳密に低い場合、前記スケーリングされた基本方位ステップ幅は第1データに等しく、前記第1データは前記基本方位ステップ幅より大きく、他の場合では、前記スケーリングされた基本方位ステップ幅は前記基本方位ステップ幅に等しく、
-前記ビットストリームから、スケーリングされた基本方位ステップ幅の数を復号化し、
-前記ビットストリームから、復号化された残差方位角を復号化し、及び、
-前記復号化された残差方位角と、スケーリングされた基本方位ステップ幅の数及び前記スケーリングされた基本方位ステップ幅から導出された予測された方位角とから、復号化された方位角を取得し、
-前記復号化された残差方位角(φ
res,dec)と、スケーリングされた基本方位ステップ幅の数(m
s)及び前記スケーリングされた基本方位ステップ幅(S(φ
step,r
dec))から導出(150)された予測された方位角とから、復号化された方位角(φ
dec)を取得(250)し、
物理オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する装置。
【請求項13】
命令を含むコンピュータプログラム製品であって、当前記プログラムが1つ又は複数のプロセッサによって実行される際に、前記1つ又は複数のプロセッサは、物理オブジェクトを表す符号化された点群データのビットストリームに点群を符号化する方法を実行し、前記点群の各点は、前記点を捕捉するスピンセンサヘッドのセンサの捕捉角度に応答する方位角と、前記点と基準点の距離に応答する半径とを表す球座標に関連付けられ、前記方法は、
-前記点群の点に関連付けられたスケーリングされた基本方位ステップ幅を取得するステップであって、第2データが閾値よりも厳密に低い場合、前記スケーリングされた基本方位ステップ幅は第1データに等しく、前記第1データは基本方位ステップ幅より大きく、他の場合では、前記スケーリングされた基本方位ステップ幅は前記基本方位ステップ幅に等しく、前記基本方位ステップ幅は、スピンセンサヘッドが捕捉した前記点群の周波数と回転速度から導出されたものであり、前記第2データは、前記点に関連付けられた半径に対して符号化と復号化を行うことで得た前記点の復号化半径によって決まるステップと、
-前記点の方位角、前記方位角の予測、及び前記スケーリングされた基本方位ステップ幅から取得したスケーリングされた基本方位ステップ幅の数を前記ビットストリームに符号化するステップと、
-前記点の前記方位角と、スケーリングされた基本方位ステップ幅の数及び前記スケーリングされた基本方位ステップ幅から導出された予測された方位角との間の前記点の残差方位角を前記ビットストリームに符号化するステップと、を含む、
コンピュータプログラム製品。
【請求項14】
命令を含むコンピュータプログラム製品であって、前記プログラムが1つ又は複数のプロセッサによって実行される際に、前記1つ又は複数のプロセッサは、物理オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法を実行し、前記点群の各点は、前記点を捕捉するスピンセンサヘッドのセンサの捕捉角度に応答する方位角と、前記点と基準点の距離に応答する半径とを表す球座標に関連付けられ、前記方法は、
-前記ビットストリームから基本方位ステップ幅を復号化するステップと、
-前記ビットストリームから復号化された残差半径から前記点群における点の復号化半径を取得するステップと、
-前記点群の点に関連付けられたスケーリングされた基本方位ステップ幅を取得するステップであって、前記点によって決まる前記復号化半径の第2データが閾値よりも厳密に低い場合、前記スケーリングされた基本方位ステップ幅は第1データに等しく、前記第1データは基本方位ステップ幅より大きく、他の場合では、前記スケーリングされた基本方位ステップ幅は前記基本方位ステップ幅に等しいステップと、
-前記ビットストリームから、スケーリングされた基本方位ステップ幅の数を復号化するステップと、
-前記ビットストリームから、復号化された残差方位角を復号化するステップと、
-前記復号化された残差方位角と、スケーリングされた基本方位ステップ幅の数及び前記スケーリングされた基本方位ステップ幅から導出された予測された方位角とから、復号化された方位角を取得するステップと、を含む、
コンピュータプログラム製品。
【請求項15】
物理オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法を実行するプログラムコードの命令を運ぶ非一時的な記憶媒体であって、前記点群の各点は、前記点を捕捉するスピンセンサヘッドのセンサの捕捉角度に応答する方位角と、前記点と基準点の距離に応答する半径とを表す球座標に関連付けられ、該方法は、
-前記ビットストリームから基本方位ステップ幅を復号化するステップと、
-前記ビットストリームから復号化された残差半径から前記点群における点の復号化半径を取得するステップと、
-前記点群の点に関連付けられたスケーリングされた基本方位ステップ幅を取得ステップであって、前記点によって決まる前記復号化半径の第2データが閾値よりも厳密に低い場合、前記スケーリングされた基本方位ステップ幅は第1データに等しく、前記第1データは基本方位ステップ幅より大きく、他の場合では、前記スケーリングされた基本方位ステップ幅は前記基本方位ステップ幅に等しいステップと、
-前記ビットストリームから、スケーリングされた基本方位ステップ幅の数を復号化するステップと、
-前記ビットストリームから、復号化された残差方位角を復号化するステップと、
-前記復号化された残差方位角と、スケーリングされた基本方位ステップ幅の数及び前記スケーリングされた基本方位ステップ幅から導出された予測された方位角とから、復号化された方位角を取得するステップと、を含む、
非一時的な記憶媒体。
【発明の詳細な説明】
【関連出願の相互引用】
【0001】
本願は2021年4月9日に提出された欧州特許出願No.EP21305461.2の優先権を主張し、その内容は援用により全体に組み込まれ且つ開示される。
【技術分野】
【0002】
本願は、一般に、点群圧縮に関し、具体的に、スピンセンサヘッドによって捕捉された点群幾何学データを符号化/復号化する方法及び装置に関する。
【背景技術】
【0003】
本節は、本分野の各態様を読者に紹介することを目的としており、これらの態様は、以下で説明された及び/又は保護が求められる本願の少なくとも1つの例示的な実施例の各態様に関連付けられる。本議論は、読者に背景情報を提供することで本願の各態様への理解に役立つと認められる。
【0004】
3Dデータの一種の表現形式として、点群は、あらゆるタイプの物理オブジェクト又はシーンを表現する面では様々な機能を備えるため、最近注目を集めている。点群は、文化遺産や建物など様々な目的に使用可能であり、例えば、雕像又は建筑物のようなオブジェクトを3D方式でスキャンすることで、物体を送信したり訪問したりしない場合で物体の空間配置を共有する。また、それは、物体が破壊される場合に備えて物体の知識を保存する方式でもあり、例えば、地震によって破壊された寺院である。このような点群は通常、静的で、色が付いていて巨大である。
【0005】
もう1つの使用例は、トポロジーと地図作成である、3D表現を使用すると、地図は平面に限定されず、起伏を含む地形を含むこともできる。現在、グーグルマップは3D地図の良好な例であるが、使用されるのは点群ではなくメッシュである。しかし、点群は3D地図の適切なデータフォーマットであってもよく、このような点群は通常、静的で、色が付いていて巨大である。
【0006】
仮想現実(VR)、拡張現実(AR)及び没入型世界は最近話題となっており、2Dフラットビデオの未来として多くの人が予見している。その基本的な理念は、視聴者が目の前の仮想世界を見ることしかできない標準的なテレビとは対照的に、視聴者を周囲の環境に没入させることである。環境における視聴者の自由度に応じて、没入感にはいくつかの段階がある。点群はVR/AR世界を配布するための適切な形式の候補である。
【0007】
自動車産業、特に予測されている自動運転車は、点群を大量に使用できる分野でもある。自動運転車は、周囲の環境を「検出」し、検出した最も近い物体の存在と性質及び道路の構成に基づいて良好な運転決断を下す必要がある。
【0008】
点群は、3次元(3D)空間における点のセットであり、選択可能に各の追加値を追加する。これらの追加値は通常属性と呼ばれる。属性は、例えば3つの要素からなる色、材料特性(例えば反射率)及び/又は点に関連付けられた表面の2成分法線ベクトルであってもよい。
【0009】
したがって、点群は幾何学(3D空間における位置、通常は3Dデカルト座標x、yとzで示される)と属性との組み合わせである。
【0010】
点群は、カメラのアレイ、深度センサ、レーザ機器(光検出と測距、ライダとも呼ばれる)、レーダなど各種のデバイスによって捕捉可能であり、又はコンピュータによって生成(例えば、映画のポストプロダクションなど)可能である。使用例に応じて、点群には、数千から最大で数十億の点が地図作成アプリケーションに使用される場合がある。点群の元の表現は、デカルト座標x、yごとに少なくとも十数ビットの、点ごとに非常に高いビット数が必要とされており、選択的に、(1つ又は複数の)属性により多くのビット、例えば10ビットの三倍を提供して色に使用する。
【0011】
多くのアプリケーションでは、許容可能な(または非常に優れた)エクスペリエンスの品質を維持しながら、適切な量のビットレートまたはストレージスペースのみを消費することで、点群をエンドユーザに配布したり、サーバに保存したりすることができ、これは非常に重要である。これらの点群の効率的な圧縮は多くの没入型ワールドで流通チェーンを実用化するための重要なポイントである。
【0012】
AR/VRメガネやその他の3D対応デバイスなど、エンドユーザによる配布および視覚化の場合に対して、圧縮は非可逆圧縮(例えばビデオ圧縮において)になる可能性がある。医療アプリケーションや自動運転などの他の使用例は、圧縮および送信された点群のその後の分析から得られた決定の結果が変更されないように、確かに可逆圧縮を必要としている。
【0013】
最近まで、点群圧縮(別名PCC)の問題は大衆市場で扱われておらず、利用可能な標準化された点群コーデックもない。2017年に、運動画像専門家グループ又はMPEGとも呼ばれる標準化ワーキンググループISO/JCT1/SC29/WG11は、点群圧縮に関する作業項目を開始した。これにより、以下の2つの標準が生まれた。すなわち、
MPEG-I第5部分(ISO/IEC 23090-5)又はビデオに基づく点群圧縮(V-PCC)
MPEG-I第9部分(ISO/IEC 23090-9)又は幾何学に基づく点群圧縮(G-PCC)
【0014】
V-PCC符号化方法は、3Dオブジェクトに対して複数回の投影を実行して点群を圧縮することで、画像(又は動的点群を取り扱う時ビデオ)に詰め込まれた2Dパッチを得る。その後、従来の画像/ビデオコーデックを用いて、取得した画像又はビデオを圧縮して、これにより、すでに展開されている画像とビデオの解決案を最大限に活用する。画像/ビデオコーデックは、ライダによって捕捉された疎な幾何学データの投影から取得した滑らかでないパッチなど、滑らかでないパッチを通常のように圧縮できないため、本質的には、V-PCCは高密度で連続した点群上でのみ効率的である。
【0015】
G-PCC符号化方法には、捕捉された幾何学データを圧縮する2つの解決案がある。
【0016】
第1の解決案は占有ツリーを基にしており、ローカルでは8分木、4分木、または2分木のうちのいずれか1つであり、点群の幾何学形状を表す。占有されたノードは一定のサイズに分割され、占有されたリーフノードは点の3D位置を提供し、通常、これらのノードの中心にある。占有情報は占有フラグによって運ばれ、占有フラグは信号を送信してノードの各子ノードの占有状態を通知する。隣接ベースの予測技術を使用することで、高密度の点群の占有フラグの高レベルの圧縮が可能になる。疎な点群は、ノード内の最小サイズ以外の点の位置を直接符号化することによって対処することができ、ノードに孤立点のみが存在する場合にツリー構造を停止し、この技術は直接符号化モード(DCM)と呼ばれる。
【0017】
第2の解決案は予測ツリーを基にしており、各ノードは1つの点の3D位置を表し、且つノード間の親/子関係は、親から子まで空間予測を表す。この方法は疎ら点群のみを解決でき、占有ツリーよりも低い遅延やよりシンプルな復号化を提供する優位性がある。しかし、第1の占有ベースの方法と比べて、圧縮パフォーマンスはわずかに優れているだけであり、エンコーダが予測ツリーを構築する際に(潜在的な予測子の長いリストの中から)最適な予測子を集中的に探す必要があるため、符号化も複雑になる。
【0018】
この2種類の解決案では、属性(復号化)の符号化は、幾何学(復号化)符号化が完成した後に実行され、実際には、2回の符号化が発生した。したがって、ジョイント幾何/属性の低遅延は、3D空間を独立して符号化されたサブボリュームに分割するスライスを使用することで得られたものであり、サブボリューム間で予測する必要はない。多くのスライスを使用する場合は、圧縮性能に大きな影響を与える。
【0019】
エンコーダとデコーダのシンプルさ、低遅延、圧縮パフォーマンスの要件を組み合わせることは、従来の点群コーデックが十分に対処していない問題である。
【0020】
1つの重要な使用例は、移動車両に搭載されたスピンセンサヘッド(例えば、スピンライダヘッド)によって捕捉された疎らな幾何学データの送信である。これは通常、シンプルで遅延の少ない組み込み型エンコーダが必要である。エンコーダが、他の処理(例えば(半)自動運転)を並列実行するための計算ユニットに配置される可能性があるため、シンプルさが求められ、したがって、点群エンコーダの利用可能な処理能力が制限される。車両からクラウドへの高速送信を可能にするために、低い遅延も求められ、これにより、複数の車両の収集に基づいてローカル交通をリアルタイムにチェックし、且つ交通情報に基づいて十分な速度で判断を行うことを容易にする。5Gを使用することも遅延を十分低くすることもできるが、エンコーダ自体は符号化により過度の遅延を導入すべきではない。そして、数百万台の自動車からクラウドへのデータストリームは非常に大規模になる可能性があるため、圧縮パフォーマンスは非常に重要になる
【0021】
スピンセンサヘッドによって捕捉された疎らな幾何学データに関連する特定のアプリオリは、非常に効率的である符号化/復号化方法を得るために使用されている。
【0022】
例えば、G-PCCはスピンセンサヘッドによって捕捉された仰角(水平地面に対して)、例えば
図1と
図2で描かれたものを利用している。スピンセンサヘッド10はセンサ11のセット(例えば、レーザ)を含み、ここで、5つのセンサが示される。スピンセンサヘッド10は垂直軸z周りに回転することで物理オブジェクトの幾何学データ、即ち、点群の点の3D位置を捕捉することができ。その後、スピンセンサヘッドによって捕捉された幾何学データを球座標(r
3D,φ,θ)で示す、r
3Dは点Pとスピンセンサヘッドの中心との距離であり、φはセンサヘッドの参考物に対してスピンする方位角であり、且つθはスピンセンサヘッドのセンサの水平参考平面(ここでy軸)に対する仰角インデックスkに対する仰角である。仰角インデックスkは例えばセンサkの仰角であってもよく、又は単一のセンサが連続する仰角のそれぞれを次々に検出する場合の第k個のセンサ位置である。
【0023】
スピンセンサヘッドにより捕捉された幾何学データにおいて、方位角に沿うルール分布を観察しており、
図3上で描かれたとおりである。この規律性はG-PCCにおいて点群の準1D表現を得るために使用され、ここで、ノイズまで、半径r
3Dのみが連続値の範囲に属し、角度φとθは離散数の値のみを用い、φ
i∀i=0~I-1、ここで、Iは点の方位角を捕捉するための数であり、θ
k∀k=0~K-1、ここでKはスピンセンサヘッド10のセンサ数である。基本的には、G-PCCは
図3上で描かれた2D離散角平面(φ,θ)によるスピンセンサヘッドによって捕捉された疎らな幾何学データ及び各点の半径値r
3Dを表す。
【0024】
球座標空間において、角度の離散性質を用いて、符号化された点に基づいて現在の点の位置を予測し、この準1D特性はすでにG-PCCにおける占有ツリーと予測ツリーで利用されている
【0025】
より正確に、占有ツリーはDCMを大量に使用し、コンテキスト適応エントロピーエンコーダを使用してノード内の点の直接位置に対してエントロピー符号化を行う。その後、点位置から座標(φ,θ)までのローカル変換及びこれらの座標の、符号化された点から得られた離散角座標(φi,θk)の位置からコンテキストを取得する。
【0026】
この座標空間の準1D性質(r,φ
i,θ
k)を用い、予測ツリーは、球座標(r,φ,θ)における現在の点の位置の第1バージョンを直接符号化し、ここで、rは水平xy平面における投影半径であり、
図4上でr
2Dによって描かれたものの通りである。その後、球座標(r,φ,θ)を3Dデカルト座標(x,y,z)に変換し、且つxyz残渣を符号化することで座標変換の誤差、仰角及び方位角の近似及び潜在的なノイズを解決する。
【0027】
図5は、G-PCC予測ツリーに基づくエンコーダの類似する点群エンコーダを示している。
【0028】
まず、点群の点のデカルト座標(x,y,z)を球座標(r,φ,θ)に変換し、(r,φ,θ)=C2A(x,y,z)である。
【0029】
変換関数C2A(.)は以下の式によって部分的に与えられる。
r=round(sqrt(x*x+y*y)/ΔIr)
φ=round(atan2(y,x)/ΔIφ)
ここで、round()は最も近い整数値への切り上げ演算であり、sqrt()は平方根関数であり、且つatan2(y,x)はy/xに適用される逆正接である。
【0030】
ΔIrとΔIφはそれぞれ半径と方位角の内部精度である。それは通常、各自の量子化ステップ幅と同じであり、即ち、ΔIφ=Δφであり、且つΔIr=Δrであり、
Δφ=2π/2N
及び、
Δr=2M*基本量子化ステップ幅
ここで、MとNは、ビットストリームにおいて(例えば幾何学パラメータセットにおいて)信号通知を送信するためのエンコーダの2つのパラメータであり、且つ基本量子化ステップ幅は通常1である。通常、可逆符号化に対して、Nは17であってもよく、且つMは0であってもよい。
【0031】
エンコーダはΔφデカルト空間における球座標表現とxyz残差を符号化するためのコスト(例えば、ビット数)を最小限に抑えることでΔφとΔrを導出する。
【0032】
説明を容易にするために、以下、Δφ=ΔIφであり且つΔr=ΔIrである。
【0033】
明確さと簡単さのために、以下では、θを、以下の式で得られた仰角値とする
θ=atan(z/r),
【0034】
ここで、atan(.)は逆正接関数である。しかし、G-PCCでは、例えばθはθkの仰角インデックスkを示す整数値(即ち、第k個の仰角のインデックス)であり、そのため、θに対して実行した以下で説明された操作(予測、残差(復号化)符号化等)は仰角インデックスに適用される。インデックスkの利点、及びどのように仰角インデックスkでθを代替するかは、点群圧縮に詳しい当業者にとって容易に理解できるものである。また、点群圧縮分野の当業者であれば、このような微妙な点は、提案された発明の原理に影響を与えないことを容易に理解することができる。
【0035】
その後、球座標(r,φ,θ)と、予測子PRnから得られた予測球座標との間の残差球座標(rres,φres,θres)は以下の式によって与えられる。
(rres,φres,θres)=(r,φ,θ)-(rpred,φpred,θpred)
=(r,φ,θ)-(rn,φn,θn)-(0,m*φstep,0)(1)
ここで、(rn,φn,θn)は、候補予測子リストPR0、PR1、PR2及びPR3から選択された予測子から得られた予測された半径であり、予測された方位角及び予測された仰角であり、mは、方位角に追加される、予測された整数の基本方位ステップ幅φstepである。
【0036】
エンコーダは、スピンセンサヘッドが異なる仰角で捕捉した周波数及び回転速度に基づいて、例えば、以下の1ターン当たりの検出回数NPに基づいて、基本方位ステップ幅φstepを導出することができ、
φstep=(2*π)/(NP*ΔIφ) (2)
【0037】
例えば、基本方位ステップ幅φstep又は1ターン当たりの検出回数NPは、幾何学パラメータセット内のビットストリームBに符号化される。選択可能に、NPはエンコーダのパラメータであり、幾何学パラメータセット内のビットストリームにおいて信号通知を送信することができ、且つφstepはエンコーダとデコーダの両者から同様に導出可能である。
【0038】
残差球座標(rres,φres,θres)はビットストリームBに符号化することができる。
【0039】
残差球座標(rres,φres,θres)は、量子化された残差球座標Q(rres,φres,θres)に量子化(Q)することができる。量子化された残差球座標Q(rres,φres,θres)はビットストリームBに符号化することができる。
【0040】
予測ツリーの各ノードに対して、φstep予測インデックスnと数mはビットストリームBにおいて信号によって示され、基本方位ステップ幅は一定の固定小数点精度を有し、同一の予測ツリーのすべてのノードによって共有される。
【0041】
予測インデックスnは候補予測子リストから選択された予測子を指す。
【0042】
候補予測子PR0は(rmin,φ0,θ0)に等しくてもよく、ここで、rminは最小半径値(幾何学パラメータセットで提供される)であり、現在ノード(現在点P)に親ノードがなければ、φ0とθ0は0に等しく、又は親ノードに関連する点の方位角と仰角に等しい。
【0043】
もう1つの候補予測子PR1は(r0,φ0,θ0)に等しくてもよく、ここでr0、φ0とθ0はそれぞれ現在ノードの親ノードに関連する点の半径、方位角と仰角である。
【0044】
もう1つの候補予測子PR2は、現在ノードの親ノードに関連する点の半径、方位角と仰角(r0,φ0,θ0)及び祖父ノードに関連する点の半径、方位角及び仰角(r1,φ1,θ1)に等しくてもよく、半径、方位角と仰角に対して線形予測を行う。
【0045】
例えば、PR2=2*(r0,φ0,θ0)-(r1,φ1,θ1)
【0046】
もう1つの候補予測子PR3は、現在ノードの親ノードに関連する点の半径、方位角と仰角(r0,φ0,θ0)、祖父ノードに関連する点の半径、方位角と仰角(r1,φ1,θ1)、及び曽祖父ノードに関連する点の半径、方位角及び仰角(r2,φ2,θ2)に等しくてもよく、半径、方位角と仰角に対して線形予測を行う。
【0047】
例えば、PR3=(r0,φ0,θ0)+(r1,φ1,θ1)-(r2,φ2,θ2)
【0048】
予測されたデカルト座標(xpred,ypred,zpred)は下式により復号化された球座標(rdec,φdec,θdec)に対して逆変換を行うことで得られる。
(xpred,ypred,zpred)=A2C(rdec,φdec,θdec) (3)
ここで、デコーダによって復号化された球座標(rdec,φdec,θdec)は下式で与えられる。
(rdec,φdec,θdec)=(rres,dec,φres,dec,θres,dec)+(rpred,φpred,θpred)=(rres,dec,φres,dec,θres,dec)+(rn,φn,θn)+(0,m*φstep,0) (4)
ここで、(rres,dec,φres,dec,θres,dec)はデコーダによって復号化された残差球座標である。
【0049】
復号化された残差球座標(rres,dec,φres,dec,θres,dec)は量子化された残差球座標Q(rdec,φres,θres)の逆量子化(IQ)の結果である。
【0050】
G-PCCでは、残差球座標を量子化しておらず、且つ復号化された球座標(rres,dec,φres,dec,θres,dec)は残差球座標(rres,φres,θres)に等しい。したがって、復号化された球座標(rdec,φdec,θdec)は球座標(r,φ,θ)に等しい。
【0051】
復号化された球座標(rdec,φdec,θdec)の逆変換は下式で与えられる。
r=rdec*Δr
xpred=round(r*cos(φdec*Δφ))
ypred=round(r*sin(φdec*Δφ)
zpred=round(tan(θdec)*r)
ここで、sin()とcos()はサインとコサイン関数である。この二つの関数は、固定小数点精度に基づく演算で近似することができる。値tan(θdec)は固定小数点精度値として記憶することができる。したがって、デコーダでは浮動小数点演算は使用されない。浮動小数点演算を回避することは、コーデックのハードウェアの実施形態を簡素化する強い要求である。
【0052】
原点と予測されたデカルト座標(xpred,ypred,zpred)との間の残差デカルト座標(xres,yres,zres)は下式で与えられる。
(xres,yres,zres)=(x,y,z)-(xpred,ypred,zpred)
残差デカルト座標(xres,yres,zres)は量子化(Q)され、且つ量子化された残差デカルト座標Q(xres,yres,zres)はビットストリームに符号化される。
【0053】
x,y,z量子化ステップ幅が原点精度(通常は1)に等しい場合、残差デカルト座標は、可逆は符号化であってもよく、又は量子化ステップ幅が原点精度(通常量子化ステップ幅大于1)より大きい場合、それは非可逆符号化であってもよい。
【0054】
デコーダにより復号化されたデカルト座標(xdec,ydec,zdec)は下式で与えられる。
(xdec,ydec,zdec)=(xpred,ypred,zpred)+IQ(Q(xres,yres,zres)) (5)
ここで、IQ(Q(xres,yres,zres))は逆量子化された残差デカルト座標を表す。
【0055】
復号化されたデカルト座標(xdec,ydec,zdec)はエンコーダにより使用可能であり、例えば、属性符号化の前に点をソート(復号化)することができる。
【0056】
図6は、G-PCC予測ツリーに基づく予測ツリーデコーダと類似する点群デコーダを示す。
【0057】
予測ツリーの各ノードに対して、ビットストリームBから予測インデックスnと数mにアクセスし、基本方位ステップ幅φstep又は1ターン当たりの検出回数NPはビットストリームB(例えばパラメータセットから)からアクセスし、且つ同一予測ツリーのすべてのノードによって共有される。
【0058】
復号化された残差球座標(rres,dec,φres,dec,θres,dec)は、ビットストリームBから復号化された残差球座標(rres,φres,θres)から得ることができる。
【0059】
ビットストリームBから、量子化された残差球座標Q(rres,φres,θres)を復号化することができる。量子化された残差球座標Q(rres,φres,θres)に対して逆量子化を行うことで、復号化された残差球座標(rres,dec,φres,dec,θres,dec)を得る。
【0060】
復号化された球座標(rdec,φdec,θdec)は、等式(4)に基づいて、復号化された残差球座標(rres,dec,φres,dec,θres,dec)と予測された球座標(rpred,φpred,θpred)とを加算することで得られる。
【0061】
予測されたデカルト座標(xpred,ypred,zpred)は、等式(3)に基づいて、復号化された球座標(rdec,φdec,θdec)に対して逆変換を行うことで得られる。
【0062】
ビットストリームBから量子化された残差デカルト座標Q(xres,yres,zres)を復号化し且つ逆量子化を行うことで逆量子化されたデカルト座標IQ(Q(xres,yres,zres))を得る。復号化されたデカルト座標(xdec,ydec,zdec)は等式(5)によって与えられる。
【0063】
G-PCCでは、等式(1)と(4)予測された方位角φに用いられ、且つ復号化された方位角φdecの取得に用いられ、且つ等式(5)は点のデカルト座標を複合化するために使用される。
【0064】
その後、半径が十分小さい場合(すなわち、点がLiDARセンサに十分近い時)、等式(1)と(4)で異なる「m」(例えば、m+1又はm-1)を使用することができ、同じ(量子化された)デカルト残差値を生成することになる。
【0065】
図7はG-PCCという欠陥を示している。
図7の例では、復号化された点群(黒い丸)の点はxyデカルト空間における方形に属する。これらの方形はデカルト空間におけるxとy軸の規則的なサンプリングに対応する。可逆圧縮の場合、方形のサイズは、点群を入力する精度によって決まり、又は、非可逆圧縮の場合、大まかに量子化ステップ幅によって決まる。角度φ
stepを有する角度セクタ領域は、二回の捕捉の間はスピンセンサヘッド10のセンサによって覆われる領域を表す。ここで、該点は、2つのセンサの向きに対応する二つのレーザビームb1とb2が交差する方形に属し、同じ仰角で行われる連続する2回の検出/捕捉に用いられる。これにより、方形は3つの角度セクタ領域s0、s1及びs2によって覆われる。その後、予測された方位角(等式(1)又は(4))を計算するために、ここで、2つの値m1(レーザビームb1に関連する)とm2(レーザビームb2に関連する)との間で「m」を選択すべきである。点群の同じ点のために幾つか(ここで2、m1、及びm2である)の異なるm値を符号化する可能性があり、単一のレーザビームが、該点が属する方形を通過するようにφ
stepが十分高い場合に得られたもう1つの数mの符号化と比べて、数m(例えばm1)の準最適符号化を引き起こす可能性がある。したがって、点の半径(即ち、センサとの距離)に対して、基本方位ステップ幅φ
stepを用いて得た角度精度は出力されたデカルト精度と比べて高すぎる。したがって、幾つかの異なる数を符号化して符号化方法の準最適性を指示する可能性があり、且つ圧縮を改善することができる。
【0066】
G-PCCを改善するために、基本方位ステップ幅数mに対してよりより符号化を行う必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0067】
次のセクションは少なくとも1つの例示的な実施例の簡略化した概要を提示することで、本願の幾つかの態様の基本的な理解を提供する。本概要は例示的な実施例の詳しい説明ではない。実施例の肝心又は重要な要素を特定することを意図していない。以下の概要は、本明細書の他の箇所で提供されるより詳しい説明の序章として、例示的な実施例の少なくとも1つの幾つかの態様を、簡略化した形で提示するだけである。
【課題を解決するための手段】
【0068】
本願の第1態様によると、物理オブジェクトを表す符号化された点群データのビットストリームに点群を符号化する方法を提供し、点群の各点は、該点を捕捉するスピンセンサヘッドのセンサの捕捉角度に応答する方位角と、該点と基準点との距離に応答する半径を表す球座標に関連付けられる。該方法は、点群の点に関連付けられたスケーリングされた基本方位ステップ幅を取得するステップであって、第2データが閾値よりも厳密に低い場合、前記スケーリングされた基本方位ステップ幅は第1データに等しく、第1データは基本方位ステップ幅より大きく、他の場合では、スケーリングされた基本方位ステップ幅は基本方位ステップ幅に等しく、前記基本方位ステップ幅はスピンセンサヘッドが捕捉した点群の周波数と回転速度から導出され、且つ前記第2データは、点に関連する半径を符号化し且つ復号化することで得られた点の復号化半径によって決まるステップと、点の方位角、方位角の予測、及びスケーリングされた基本方位ステップ幅から取得したスケーリングされた基本方位ステップ幅の数をビットストリームに符号化するステップと、点の方位角と、スケーリングされた基本方位ステップ幅の数及びスケーリングされた基本方位ステップ幅から導出された予測された方位角との間の点の残差方位角をビットストリームに符号化するステップと、を含む。
【0069】
本願の第2態様によると、物理オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法を提供し、点群の各点は、該点を捕捉するスピンセンサヘッドのセンサの捕捉角度に応答する方位角と、該点と基準点との距離に応答する半径を表す球座標に関連付けられる。該方法は、ビットストリームから基本方位ステップ幅を復号化するステップと、ビットストリームから復号化された残差半径から点群における点の復号化半径を取得するステップと、点群の点に関連付けられたスケーリングされた基本方位ステップ幅を取得するステップであって、点によって決まる復号化半径の第2データは閾値よりも厳密に低い場合、前記スケーリングされた基本方位ステップ幅は第1データに等しく、第1データは基本方位ステップ幅より大きく、他の場合では、スケーリングされた基本方位ステップ幅は基本方位ステップ幅に等しいステップと、ビットストリームから、スケーリングされた基本方位ステップ幅の数を復号化するステップと、ビットストリームから、復号化された残差方位角を復号化する;和復号化された残差方位角と、スケーリングされた基本方位ステップ幅の数及びスケーリングされた基本方位ステップ幅から導出された予測された方位角とから、復号化された方位角を取得するステップと、を含む。
【0070】
例示的な一実施例では、第1データは復号化半径によって決まる。
【0071】
例示的な一実施例では、第1データは、復号化半径と1以上のスケーリング係数との積と反比例する。
【0072】
例示的な一実施例では、第2データは復号化半径(rdec)である。
【0073】
例示的な一実施例では、復号化された半径に単調関数を適用することで第2データを取得し、且つ前記第2データを、閾値に同じ単調関数を適用することで取得した第2閾値を比較する。
【0074】
例示的な一実施例では、単調関数は残差方位角の整数境界を提供する関数として定義される。
【0075】
例示的な一実施例では、第1データは2π/(rdec*α*ΔIφ)の近似から取得され、ここで、rdecは復号化半径であり、αは1以上のスケーリング係数であり、且つΔIφは方位角の内部精度に対応する。
【0076】
例示的な一実施例では、第1データは前記近似を繰り返して細分化することである。
【0077】
例示的な一実施例では、前記近似は2π/(rdec*α*ΔIφ)より低い基本方位ステップ幅の係数2の最大べき乗を見つけることで取得する。
【0078】
本願の第3態様によると、物理オブジェクトを表す符号化された点群データのビットストリームに点群を符号化する装置を提供する。該装置は1つ又は複数のプロセッサを含み、1つ又は複数のプロセッサは、本願の第1態様による方法を実行するように構成される。
【0079】
本願の第4態様によると、ビットストリームから、物理オブジェクトを表す点群の点を復号化する装置を提供する。該装置は1つ又は複数のプロセッサを含み、1つ又は複数のプロセッサは、本願の第2態様の方法を実行するように構成される。
【0080】
本願の第5態様によると、命令を含むコンピュータプログラム製品を提供し、当該プログラムが1つ又は複数のプロセッサによって実行される際に、1つ又は複数のプロセッサが本願の第1態様の方法を実行するように命令する。
【0081】
本願の第6態様によると、命令を含むコンピュータプログラム製品を提供し、当プログラムが1つ又は複数のプロセッサによって実行される際に、1つ又は複数のプロセッサが本願の第2態様の方法を実行するように命令する。
【0082】
本願の第7態様によると、非一時的な記憶媒体を提供し、該非一時的な記憶媒体は、本願の第2態様の方法のプログラムコードを実行するための命令を運ぶ。
【0083】
例示的な実施例における少なくとも1つの具体的な性質及び前記例示的な実施例における少なくとも1つの他の目的、利点、特徴及び用途は以下の図面と組み合わせた例の説明から明らかになる。
【図面の簡単な説明】
【0084】
現在、例を挙げて本願の例示的な実施例の図面を示し、図面では、
【
図1】従来技術に係るセンサヘッド及び幾つかのパラメータの側面図である。
【
図2】従来技術に係るセンサヘッド及び幾つかのパラメータの上面図である。
【
図3】従来技術に係るスピンセンサヘッドによって捕捉されるデータの規則的な分布である。
【
図4】従来技術に係る3D空間における点の表示である。
【
図5】従来技術に係るG-PCC予測ツリーに基づくエンコーダのような点群エンコーダである。
【
図6】従来技術に係るG-PCC予測ツリーに基づくデコーダのような点群デコーダである。
【
図8】少なくとも1つの例示的な実施例の、物理オブジェクトを表す点群を符号化する方法100のステップのブロック図である。
【
図9】少なくとも1つの例示的な実施例の、物理オブジェクトを表す点群を復号化する方法200のステップのブロック図である。
【
図10】少なくとも1つの例示的な実施例の、スケーリングされた基本方位ステップ幅の近似を決定する方法300の例である。
【
図11】少なくとも1つの例示的な実施例の、スケーリングされた基本方位ステップ幅の近似を決定する方法400の示例である。
【
図12】各態様と例示的な実施例を実現するシステムの例示的な概略ブロック図である。
【0085】
異なる図面では、類似する符号を用いて類似するコンポーネントを表すことができる。
【発明を実施するための形態】
【0086】
以下、図面を参照して例示的な実施例のうちの少なくとも1つを説明し、ここで、例示的な実施例のうちの少なくとも1つの例を示す。しかし、例示的な実施例は多くの代替の形で実施可能であり且つ本明細書で説明される例を限定するものとして理解すべきではない。したがって、例示的な実施例を開示された特定の形式に限定すべきではないことを理解されたい。むしろ、本開示は、本願の精神と範囲内に含まれるすべての修正、同等物及び代替の解決案をカバーすることを目的としている。
【0087】
図面がフローチャットの形式で示される時、対応する装置のブロック図も提供されることを理解されたい。同様に、図面がブロック図の形式で示される時、対応する方法/プロセスのフローチャットも提供されることを理解されたい。
【0088】
これらの態様の少なくとも1つは、一般に、点群符号化と復号化に関し、且つ少なくとも1つの他の態様は、一般に、生成又は符号化されたビットストリームの送信に関する。
【0089】
そして、本態様は、点群圧縮に関連するMPEG-I第5部分又は第9部分のようなMPEG標準に限らず、他の標準と推薦に適用可能であり、例えば事前に存在したもの、まだ開発されていないもの、及び任意のこのような標準と推薦(MPEG-I第5部分と第9部分を含む)の拡張である。特に指示がない限り、又は技術的に除外されていない限り、本願で説明される態様は単独又は組み合わせて使用することができる。
【0090】
本発明は符号化と復号化技術分野に関し、点群データを符号化/復号化する技術的解決案を提供することを目的としている。点群が大量データの集合であるため、点群を記憶するには大量のメモリが消費され、そして、点群を圧縮しない場合、ネットワーク層で点群を直接送信することができず、よって、点群の圧縮が求められることになる。したがって、したがって、自律航法、巡回検査、地理情報サービス、文化遺産/建造物の保護、3D没入型通信および対話などにおいて点群がますます使用されるようになっていることにより、本発明は多くの適用シーンで使用できるようになる。
【0091】
本符号化/復号化方法は具体的に、動的リストのスケーリングされた方位角ステップ幅に基づいて点群データを符号化/復号化することで、点群の圧縮性能を向上させることに関する。
【0092】
本発明は点群を、物理オブジェクトを表す符号化された点群データビットストリームに符号化する/物理オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法に関し、点群の各点は、該点を捕捉するスピンセンサヘッドのセンサの捕捉角度に応答する方位角と、該点と基準点との距離に応答する半径とを表す球座標に関連付けられる。
【0093】
該方法は、前記点の復号化半径から、点群の点の方位角の予測された方位角を計算するために使用される基本方位ステップ幅のスケーリングを含む。したがって、方位角ステップ幅は、動的にスケーリングされるため、点群の点の半径によって決まる。
【0094】
点の半径が小さすぎて基本方位ステップ幅φ
stepを効率的に使用できない場合、複数の数mを選択することができ、以上の
図7に示すとおりである。しかし、基本方位ステップ幅を1より大きい値でスケーリングすると、同じ半径を持つすべての点が属するすべての正方形をカバーする角度セクタ領域の数が統計的に減少するので、その点に対してコード化される不必要な余分な数の基本方位角ステップ幅の使用が減少するか、又は削除され、なぜなら、平均的には、点が属する正方形(比例係数が適切に選択された場合)をカバーするのが単一(又は少ない)角度セクタ領域のみであるためである。不必要な余分な数の基本方位ステップ幅の符号化を回避(少なくとも減少させた)することが回避されることにより、このようなスケーリングの影響は、符号化対象の平均数m(すべての符号化の点において平均される)を減少させ、基本方位ステップ幅の数mを符号化する平均コスト(すべての符号化の点において平均されたビット数)を暗黙的に削減することである。
【0095】
図8は、少なくとも1つの例示的な実施例に係る、物理オブジェクトを表す点群を符号化する方法100のステップのブロック図である。
【0096】
ステップ110において、基本方位ステップ幅φstepは等式(2)によって与えられる。
【0097】
ステップ120において、等式(4)により、点群における点の復号化半径rdecを得ることができる。
rdec=rres,dec+rn (6)
ここで、rnは予測子PRnによって与えられる予測された半径である。
【0098】
ステップ130において、復号化半径rdecによって決まる第2データD2が閾値THよりも厳密に低い場合、スケーリングされた基本方位ステップ幅S(φstep,rdec)は第1データD1に等しく、該第1データD1は基本方位ステップ幅より大きく、これ以外は、スケーリングされた基本方位ステップ幅S(φstep,rdec)は基本方位ステップ幅φstepに等しい。
【0099】
ステップ140において、スケーリングされた基本方位ステップ幅の数msはビットストリームB内に符号化される。点の方位角φ、方位角の予測φn及びスケーリングされた基本方位ステップ幅S(φstep,rdec)から数msを得る。
s=round((φ-φn)/S(φstep,rdec))
【0100】
ステップ150において、スケーリングされた基本方位ステップ幅S(φstep,rdec)及び数msから、予測された方位角φpredを導出する。
φpred=φn+ms*S(φstep,rdec) (7)
【0101】
ステップ160において、残差方位角φresはビットストリームB内に符号化される。残差方位角φresは点の方位角φと予測された方位角φpredとの間で計算可能である。
φres=φ-φpred=φ-φn-ms*S(φstep,rdec) (8)
【0102】
図9は少なくとも1つの例示的な実施例に係る、物理オブジェクトを表す点群を復号化する方法200のステップのブロック図である。
【0103】
ステップ210において、基本方位ステップ幅φstep又は1ターン当たりの検出回数NPはビットストリームBから復号化可能であり、例えば幾何学パラメータセットから復号化される。
【0104】
ステップ220において、復号化された残差半径rres,decはビットストリームBから復号化される。復号化半径rdecは等式(6)により取得することができる。
【0105】
ステップ130において、点群の点に関連付けられるスケーリングされた基本方位ステップ幅(S(φstep,rdec))を取得する。
【0106】
ステップ230において、ビットストリームBから、スケーリングされた基本方位ステップ幅の数msを復号化する。
【0107】
ステップ150において、等式(7)から、予測された方位角φpredを導出する。
【0108】
ステップ240において、復号化された残差方位角φres,decはビットストリームBから復号化される。
【0109】
ステップ250において、復号化された残差方位角φres,dec及び予測された方位角φpredから、復号化された方位角φdecを取得する。
φdec=φres,dec+φpred=φres,dec+φn+ms*S(φstep,rdec) (9)
【0110】
例示的な一実施例では、本発明は、等式(1)又は(4)によって与えられるG-PCC予測の解決案に適用可能であり、ここで、点群の点に関連付けられる方位角φは適応的に量子化され、欧州特許出願第No.EP20306674で説明されるとおりである。
【0111】
図5と
図6で説明されるようにQ(r
res,φ
res,θ
res)は、(r
res,Qφ
res,θ
res)に等しいように設定され、ここで、r
resは残差半径であり、Qφ
resは適応的に量子化された残差方位角であり、以下に記載されるとおりであり、且つθ
resは量子化されていない仰角(インデックス)残差である。
【0112】
符号化側において、等式(1)から残差半径rresを取得し、且つ等式(4)から復号化半径rdecを取得する。
【0113】
等式(1)から取得された残差方位角φresは下式によって適応的に量子化された。
Qφres=Qφ(φres,rdec)=round(φres/Δφ(rdec))(10)
【0114】
ここで、Qφは、下式によって与えられる量子化ステップ幅Δφ(rdec)を使用する適応量子化器である。
Δφ(rdec)=Δφarc/rdec, (11)
ここで、Δφarcは円弧の量子化ステップ幅である。
【0115】
コーデックは、固定小数点精度の算術を使用し、且つコーデックの方位角表示に用いられる内部精度ΔIφはΔIφ=2π/2Nによって与えられ、これにより、円弧の量子化ステップ幅Δφarcは2π/(x*ΔIφ)=2N/xに等しいように設定され、ここで、例えばx=8である。
【0116】
逆量子化された残差方位角IQφresは下式に従ってQφresを逆量子化することで取得される。
IQφres=IQφ(Qφres,rdec)=Qφres*Δφ(rdec) (12)
ここで、IQφは復号化半径rdecに基づく適応逆量子化器である。
【0117】
復号化された方位角φdec下式によって与えられる。
φdec=IQφres+φn+ms*S(φstep,rdec) (13)
又は下式により与えられる。
φdec=Qφres*Δφ(rdec)+φn+ms*S(φstep,rdec)
=Qφres*Δφarc/r十進法+φn+ms*S(φstep,rdec) (14)
【0118】
量子化された残差方位角QφresはビットストリームBに符号化される。
【0119】
例示的な一実施例では、点群の点の方位角と前記方位角の予測角との間の残差方位角φresを符号化/復号化することは、下式によって与えられる画定特性を用いて改善することができる。
|φres|≦B
ここで、|φres|は残差方位角φresの絶対値であり、且つ整数境界Bによって画定され、該整数境界は下式によって与えられる。
B=Qφ(φstep/2,rdec)
=round(rdec*(φstep/2)/Δφarc))=round(rdec*φstep/(2*Δφarc)) (15)
ここで、Δφarc=2π/(x*ΔIφ)=2N/xであり、例えばx=8である。
【0120】
ステップ130の1つの例示的な第1実施例では、第1データD1は復号化半径rdecによって決まり且つ第2データD2は復号化半径rdecである。
【0121】
該第1実施例において、復号化半径rdec(D2)は閾値THよりも厳密に低い場合、スケーリングされた基本方位ステップ幅S(φstep,rdec)は第1データD1に等しく、第1データD1は基本方位ステップ幅φstepより大きく、他の場合では、スケーリングされた基本方位ステップ幅S(φstep,rdec)は基本方位ステップ幅φstepに等しい。
【0122】
変形では、第1データD1は、復号化半径と1以上のスケーリング係数αとの積と反比例する。
【0123】
例えば、
D1=2π/(rdec*α*ΔIφ) (16)
【0124】
復号化半径rdecが十分小さい場合(即ちrdec*αが1ターン当たりの検出回数NPより小さい場合、又は等価的にrdec<NP/αの場合)、スケーリングされた基本方位ステップ幅S(φstep,rdec)を、基本方位ステップ幅φstepより大きいように設定する。その後、「小さい」復号化半径に対して、不必要な余分な数の基本方位ステップ幅の使用を減少させ、且つ数msの符号化コスト(即ち、符号化に必要なビット数)を削減する。使用する最適な閾値はTH=NP/αになる。
【0125】
変形では、内部精度がΔIφ=2π/2Nである場合、残差方位角は等式(10)により適応的に量子化され、ここで、Δφarc=2N/x及びαは、xに等しいように設定され、等式(16)は次のように書き換えることができる。
D1=2N/(rdec*α) (17)
【0126】
変形では、閾値THは、下式によって与えられる閾値Th0に等しい。
Th0=Δφarc/φstep (18)
【0127】
残差方位角が整数境界Bを境界とする場合、次の閾値Th0を取得することができる。B=0である場合、好ましくはS(φstep,rdec)=D1を使用し、B>0である場合、好ましくはS(φstep,rdec)=φstepを使用する。その後、等式(15)により、境界BBが整数値に四捨五入された正数に等しいので、以下の等価不等式が満たされる場合、境界Bは0に等しく、即ち、境界Bは1(B<1)より厳密に小さい。
B=0⇔B<1⇔Qφ(φstep/2,rdec)<1⇔rdec*(φstep/2)/(Δφarc)+0.5<1
【0128】
その後、下式を解くことにより、B=1の時に現れた不等式の上限により閾値Th0を導出し、
Qφ(φstep/2,Th0)=1、
したがって、以下を得る。
Th0=(1-0.5)*Δφarc*2/φstep=Δφarc/φstep (19)
【0129】
等式(18)によって与えられる閾値Th0は、残差方位角が等式(10)により適応的に量子化され又は等式(10)により適応的に量子化された変形に適用可能であり、或いは、残差方位角が整数境界Bによって画定され又は整数境界Bによって画定されない変形に適用可能である。
【0130】
変形では、内部精度がΔIφ=2π/2Nである場合、残差方位角が等式(10)により適応的に量子化され、ここで、Δφarc=2N/xであり且つαはxに等しいように設定され、これにより、閾値Th0は下式によって与えられる。
Th0=2N/(α*φstep) (20)
【0131】
ステップ130の第2例示的な実施例では、復号化半径r
decに単調関数m(.)を適用することで第2データD2を取得し、且つ前記第2データD2と、閾値Th
0に同じ単調関数m(.)を適用することで取得された閾値THとを比較する。
【0132】
単調関数m(.)が単調増加関数であり、したがって、第2データD2が閾値TH以上である場合、スケーリングされた基本方位ステップ幅S(φstep,rdec)は基本方位ステップ幅φstepに等しく、第2データD2が閾値THよりも厳密に低い場合、スケーリングされた基本方位ステップ幅S(φstep,rdec)は第1データD1に等しい。
【0133】
単調増加又は減少関数の使用は等価であり、且つ本発明の範囲は単調増加又は減少関数m(.)に及ぶ。
【0134】
例えば、関数m(.)が単調増加関数である場合、引き続き単調増加関数を使用するように、m(x)から等価の単調増加関数m’(x)を構築することができ、例えばm’(x)=-m(x)である。
【0135】
もう1つの例として、関数m(.)は単調減少関数を直接使用した場合、明らかに、図面に合わせて説明された方法と等価な方法を得ることができる。例えば、第2データD2が閾値THよりも厳密に低い場合、スケーリングされた基本方位ステップ幅S(φstep,rdec)は基本方位ステップ幅φstepに等しくなり、第2データD2が閾値TH以上である場合、スケーリングされた基本方位ステップ幅S(φstep,rdec)は第1D1に等しくなる。
【0136】
変形では、単調関数m(.)は1以上のスケーリング係数αに従ってスケーリングしたものである。
【0137】
その後、第2データD2と閾値THは下式によって与えられる。
【0138】
変形では、内部精度がΔIφ=2π/2
Nである場合、残差方位角は等式(10)により適応的に量子化され且つΔφ
arc=2
N/xであり、αがxに等しいように設定された場合、第2データD2と閾値THは下式によって与えられる。
【0139】
変形では、単調関数m(.)は、等式(15)における整数境界Bの関数を提供するように定義される。
【0140】
したがって、第2データD2と閾値THは下式によって与えられる。
【0141】
その変形では、整数境界B(等式15)が整数であるため、条件B>0はD2≧THとい等価であり(即、D2≧1)、且つ条件B=0はD2<1と等価である。B=0(D2<1)である時、スケーリングされた基本方位ステップ幅S(φstep,rdec)は、基本方位ステップ幅φstepより大きい第1データD1(等式16又は17)に等しく、且つスケーリングされた基本方位ステップ幅S(φstep,rdec)は他の場合では基本方位ステップ幅φstepに等しい。
【0142】
等式(15)の整数境界Bは残差方位角φresの符号化を画定するために使用される場合、第2データD2が、すでに各点のために計算した整数境界Bに等しく、且つ閾値THが常に1であることにより、等式(23)の変形を用いることが好ましいは明らかである。他の場合、整数境界Bは残差方位角を画定するために用いられていない場合、各点群について閾値THを一回だけ計算する必要があり、且つ等式(23)における第2データD2が点群の各点について整数除算を行う必要があることにより、第1実施例又はその変形又は等式21~22のうちの一つは好ましい。
【0143】
第2データD2(整数境界B)が等式(23)によって与えられる場合、整数除算は、ビット単位のシフト演算として計算することができる。例えば、コーデックの内部精度は方位角ΔIφ=2π/2NとΔφarc=2N/8の固定小数点表示に用いられる場合、整数境界B(D2)は下式によって与えられる。
D2=B=round(rdec*φstep/(2*Δφarc))=round(rdec*φstep/(2N-3))
=(rdec*φstep+(1≪(N-2)))≫(N-3) (24)
【0144】
ここで、(a)<<(b)の結果は、(a)をビット単位で左に(b)ビットシフトすることであり(即ち、(a)に2bを乗算した結果)、(a)>>(b)の結果は、(a)をビット単位で右へ(b)ビットシフトすることである(即ち、(a)を2bで割った整数除算の結果)。
【0145】
等式(16)は、点群の各点に対する整数除算に関する。除算はハードウェア設計、実行時間長、および/または消費電力の点でコストがかかるため、なるべく回避するべきである。
【0146】
近似整数除算の可能性が多い。例えば、除算u/vは、vで取られたビット位数NV(即ち、NV=floor(log2(v)+1))に等しいuのビット数の右へのビット数単位のシフト演算によって近似することができる。この場合、u/vはu/2NVに近似する。もう1つの方法は、限られた回数の反復にニュートン-ラフソン反復アルゴリズムを使用する(https://en.wikipedia.org/wiki/Division_algorithm)ことである。又は、すでにG-PCCで使用されているため、ルックアップに基づいた、固定小数点精度が1/vである近似を使用し、且つuに近似の1/vを除算してから、固定小数点結果を適切な固定小数点(又は整数)精度に四捨五入することができる。
【0147】
真の整数除算と比べて、近似が結果に小さな誤差を導入するため、等式(16)は次になる。
D1app=divApprox(2N,(rdec*α))=2N/(rdec*α)+ε(rdec) (25)
【0148】
ここで、divApprox(u,v)は、整数除算u/vの近似関数であり、且つ+ε(rdec)は除算近似により導入される誤差である。
【0149】
例えば、divApprox(2N,(rdec*α))=2N-Mであり、ここで、M=floor(log2(rdec*α)+1)はrdec*αによって占有されるビット数である。
【0150】
近似誤差ε(rdec)により、D1(等式16)を使用することと比べて、D1appを使用する時に符号化損失を導入する。
【0151】
3つの異なる場合は発生する。
D1app>D1、即ち、ε(rdec)>0である
【0152】
その後、D1appが高すぎるため、スケーリングされた基本方位ステップ幅数msがより小さくなるため、ビットレートは少し低下するが、予測された(xpred,ypred)座標により多くの歪みが導入される。
【0153】
D1app<D1、即ち、ε(rdec)<0である。
【0154】
その後、D1appが小さすぎるため、スケーリングされた基本方位ステップ幅の数msは少し増加してもよく、したがって、その符号化のコストも増加する。
【0155】
D1app=D1であり、これによって最適な効率を得る。
【0156】
実験では、誤差ε(rdec)の同じ絶対値に対して、第1の場合は第2の場合よりも重要であることが一般に観察されているため、(xpred,ypred)座標に予測誤差を導入することよりも、ビットレートをわずかに増加させることが好ましい。したがって、好ましくは第1の場合を回避する。
【0157】
等式(16)の変形では、等式(16)により得られた第1データD1(スケーリングされた基本方位ステップ幅(S(φstep,rdec))は、それを反復的に増加させること、及び/又は選択可能にそれを反復的に縮小することで細分化する。
【0158】
図2は、少なくとも1つの例示的な実施例に係る、スケーリングされた基本方位ステップ幅S(φ
step,r
dec)の近似を決定する方法300例を示す。
【0159】
簡単に言えば、該方法は各細分化ステップにおいてシンプルな演算(ビット単位のシフト演算、増分一括比較)を用いて、スケーリングされた基本方位角ステップS(φstep,rdec)を反復的に細分化する。
【0160】
先ほど説明したように、復号化半径rdec(D2)が閾値TH以上である場合、スケーリングされた基本方位ステップ幅S(φstep,rdec)を基本方位ステップ幅φstepに等しいように設定し、復号化半径rdec(D2)が閾値THよりも厳密に低い場合(又は、復号化半径rdec及び基本方位ステップ幅φstepから算出された整数境界Bが0である場合)、ステップ310では、(2*π)/((rdec*α*ΔIφ))の近似、復号化半径rdecから第1基本方位ステップ幅φstep,0を取得し、例えば次のとおりである。
φstep,0=divApprox(2N,rdec*α)
【0161】
ステップ320では、第1基本方位ステップ幅φstep,0及び復号化半径rdecから第1整数境界B0値(等式15)を取得する。
【0162】
その後、インデックスi=0から、整数境界Biがゼロより大きい時、インデックスiは1だけ逓増し(ステップ340)、以上の基本方位ステップ幅φstep,i-1を1だけ逓減させることで新しい基本方位ステップ幅φstep,i、即ちφstep,i=φstep,i-1-1を取得し(ステップ350)、且つ基本方位ステップ幅φstep,i及び復号化半径rdec(等式15)から新しい整数境界Biを取得する(ステップ360)。
【0163】
整数境界Biが0に等しい場合、以上の第1の場合が解決され、且つスケーリングされた基本方位ステップ幅S(φstep,rdec)を、φstep,iに等しいように設定することができる。
【0164】
変形では、以上の第2の場合を同時に解決するために、
図10に別途示すように、整数境界B
iが0に等しい場合、現在の基本方位ステップ幅φ
step,iを1だけ逓増させることで新しい基本方位ステップ幅φ
step,i+1、即ちφ
step,i+1=φ
step,i+1を取得し(ステップ370)、且つ基本方位ステップ幅φ
step,i+1と復号化半径r
dec(等式15)から新しい整数境界B
i+1を取得する(ステップ380)。
【0165】
整数境界Bi+1が0に等しい場合は、φstep,iは依然としてφstep,i+1まで増加することができ、このため、インデックスiは1だけ逓増する(ステップ390)ことを意味する。
【0166】
その後、新しい基本方位ステップ幅(ステップ370)を取得し且つ新しい整数境界(ステップ380)を取得する。
【0167】
整数境界Bi+1がゼロに等しくなくなるまで(即ち、ゼロより大きい)このプロセスを反復的に繰り返し、その後、スケーリングされた基本方位ステップ幅S(φstep,rdec)を、現在の基本方位ステップ幅φstep,iに等しいように設定する。
【0168】
変形では、(1つ又は複数の)増加及び/又は減少操作は、動的に決定された増分(及び/又は減分)ステップ幅を用いることができる。
【0169】
例えば、方法の毎回の反復の後に増分が2倍になる。
【0170】
図11は、少なくとも1つの例示的な実施例に係る、スケーリングされた基本方位ステップ幅S(φ
step,r
dec)を決定する方法400のもう1つの例を示す。
【0171】
先ほど説明したように、復号化半径rdec(D2)が閾値TH以上である場合、スケーリングされた基本方位ステップ幅S(φstep,rdec)を、基本方位ステップ幅φstepに等しいように設定する。復号化半径rdec(D2)が閾値THよりも厳密に低い場合(又は復号化半径rdecと基本方位ステップ幅φstepから算出された整数境界Bが0に等しい場合)、ステップ410では、第1基本方位ステップ幅φstep,0を、基本方位ステップ幅φstepに等しいように設定し、且つ関連する以下の弧長φarc,0を、(ステップ420)に等しいように設定する。
φarc,0=φstep,0*rdec*α
【0172】
その後、インデックスi=0から、弧長φ
arc,iが閾値Th
1より低い場合、インデックスiは1だけ逓増し、且つ先ほどの基本方位ステップ幅φ
step,i-1(ステップ430)と先ほどの関連する弧長φ
arc,i-1(ステップ440)に2を乗算(ビット単位の左へのシフト演算)することで、以下の新しい基本方位ステップ幅φ
step,iと新しい関連する弧長φ
arc,iを取得する。
【0173】
当弧長φarc,iが閾値Th1になると、スケーリングされた基本方位ステップ幅S(φstep,rdec)を、基本方位ステップ幅φstep,iに等しいように設定することができる。
【0174】
通常、Th1=π/ΔIφであり、こんため、スケーリングされた基本方位ステップ幅の近似を決定するための方法400は、(2*π)/((rdec*α*ΔIφ))より低い基本方位ステップ幅φstepの係数2の最大べき乗(2n)(即ち、φstep*2n<2*π/((rdec*α*ΔIφ))を満たす)を見つけること等価であり、且つφstep*2n=φstep≪nをスケーリングされた基本方位ステップ幅S(φstep,rdec)として用いる。これは、除算(2*π)/((rdec*α*ΔIφ))の高速近似として見なすことができる(等式16)。
【0175】
例として、
図11に示す変形を用い、Th
1=π/ΔIφの場合、我々は常に上記第2又は第3の場合に属し、我々の実験では、真の除算を使用したときに得られる~90%の符号化利得を保留する。しかしながら、Th
1=π/ΔIφを使用するが、abs(2*Th
1-2*φ
arc,i)<abs(2*Th
1-φ
arc,i)の時にもう一回の反復を許可する場合、第1の場合も許可され、しかし、該除算の誤差がその前の場合以下であっても、我々は近似誤差ε(r
dec)の絶対値を減少させ、~72%の符号化ゲインのみを保留する。このことから分かるように、好ましくは第3の場合を回避する。
【0176】
本符号化/復号化方法は、点群に対する符号化/復号化に使用され、それは、様々な目的に使用することができ、特に、動的にリストスケーリングされた方位角ステップ幅に基づいて点群データを符号化/復号化することに関連し、これは点群の圧縮性能を向上させる。
【0177】
図12は、各態様と例示的な実施例のシステムの例示的な概略ブロック図を示す。
【0178】
システム500は1つ又は複数のデバイスに組み込まれてもよく、次に説明される各コンポーネントを含む。各種の実施例では、システム500は、本願で説明される1つ又は複数の態様を実現するように構成されてもよい。
【0179】
システム500のすべて又は一部を構成できる装置の例は、パーソナルコンピュータ、ノートパソコン、スマートフォン、タブレット、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、個人用ビデオ記録システム、接続された家電製品、接続された車両及びその関連する処理システム、ヘッドマウントディスプレイデバイス(HMD、透視メガネ)、プロジェクタ(投影機)、「洞窟(cave)」(複数のディスプレイを含むシステム)、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダからの出力を処理するポストプロセッサ、ビデオエンコーダに入力を提供するプリプロセッサ、webサーバ、セットトップボックス、点群、ビデオ又は画像を処理するための他の任意のデバイス、又は他の通信デバイスを含む。システム500の素子は、単一集積回路(IC)、複数のIC及び/又はディスクリートコンポーネントにおいて個別に又は組み合わせて実施することができる。例えば、少なくとも1つの実施例において、システム500の処理とエンコーダ/デコーダ素子は複数のIC及び/又はディスクリートコンポーネントにわたって分布することができる。様々な実施例では、システム500は例えば通信バス又は専用の入力及び/又は出力ポートを介して、類似する他のシステム又は他の電子デバイスと通信可能に結合され得る。
【0180】
システム500は少なくとも1つのプロセッサ510を含むことができ、該少なくとも1つのプロセッサ510は、ロードされる命令を実行することで、本願で説明された各態様を実現ように構成される。プロセッサ510は組み込み型メモリ、入力出力インターフェース及び当分野で知られている様々な他の回路を含むことができる。システム500は少なくとも1つのメモリ520(例えば、揮発性メモリデバイス及び/又は不揮発性メモリデバイス)を含むことができる。システム500は記憶デバイス540を含むことができ、不揮発性メモリ及び/又は揮発性メモリを含むことができ、電気的に消去可能なプログラマブル読み取り専用メモリ(EEPROM)、読み取り専用メモリ(ROM)、プログラマブル読み取り専用メモリ(PROM)、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、フラッシュメモリー、ディスクドライブ及び/又は光ディスクドライブを含むことができるが、これらに限らない。非限定的な例として、記憶デバイス540は内部記憶デバイス、付属記憶デバイス及び/又はネットワークアクセス可能な記憶デバイスを含むことができる。
【0181】
システム500は、例えばデータを処理することで符号化/復号化された点群幾何学データを提供するように構成されるエンコーダ/デコーダモジュール530を含むことができ、そして、エンコーダ/デコーダモジュール530はその自体のプロセッサとメモリを含む。エンコーダ/デコーダモジュール530は、符号化及び/又は復号化機能を実行するようにデバイスに含まれ得る(1つ又は複数の)モジュールを表すことができる。既知のように、デバイスは、符号化と復号化モジュールのいずれか1つ又はその両方を含むことができる。また、エンコーダ/デコーダモジュール530は、システム500の独立した素子として実現可能であり、又は当業者によって知られているハードウェアとソフトウェアとの組み合わせとしてプロセッサ510内に結合可能である。
【0182】
本願で説明される各態様を実行するようにプロセッサ510又はエンコーダ/デコーダ530にロードされるプログラムコードは記憶デバイス540に記憶可能であり、その後、メモリ520にロードされてプロセッサ510によって実行される。各種実施例によると、本願で説明されるプロセスを実行する間、プロセッサ510、メモリ520、記憶デバイス540及びエンコーダ/デコーダモジュール530のうちの1つ又は複数は様々な項目のうちの1つ又は複数を記憶することができる。このような記憶された項目は、点群フレーム、符号化/復号化された幾何学形状/属性ビデオ/画像又は符号化/復号化された幾何学形状/属性ビデオ/画像の一部、ビットストリーム、行列、変数、及び等式、公式、演算と演算論理処理の中間又は最終結果を含むことができるが、これらに限らない。
【0183】
いくつかの実施例では、プロセッサ510及び/又はエンコーダ/デコーダモジュール530内部のメモリは、命令を記憶し、且つ符号化又は復号化する間に実行される処理のため作業メモリを提供するために使用することができる。
【0184】
しかし、他の実施例では、処理デバイス外部のメモリ(例えば、処理デバイスはプロセッサ510又はエンコーダ/デコーダモジュール530であってもよい)は、これらの機能のうちの1つ又は複数に用いられる。外部メモリはメモリ520及び/又は記憶デバイス540であってもよく、例えば、ダイナミック揮発性メモリ及び/又は不揮発性フラッシュメモリーである。いくつかの実施例では、外部不揮発性フラッシュメモリーは、テレビの操作システムを記憶するために使用される。少なくとも1つの実施例では、例えばRAMのような快速外部ダイナミック揮発性メモリは、ビデオの符号化と復号化操作のための作業メモリとして使用することができ、例えば、MPEG-2第2部分(ITU-T Recommendation H.262とISO/IEC 13818-2とも呼ばれ、MPEG-2ビデオとも呼ばれる)に対して、HEVC(効率的なビデオ符号化)、VVC(汎用ビデオ符号化)又はMPEG-I第5部分又は第9部分である。
【0185】
ブロック590によって指示されたように、様々な入力デバイスを介して、システム500の素子への入力を提供することができる。このような入力デバイスは、(i)例えばブロードキャストデバイスが無線伝送するRF信号を受信できるRF部分、(ii)複合入力端子、(iii)USB入力端子、及び/又は(iv)HDMI入力端子、を含むが、これらに限定されない。
【0186】
各種の実施例では、当分野において既知のように、ブロック590の入力デバイスは、関連付けられる対応する入力処理素子を有している。例えば、RF部分は、以下の必要な素子に関連付けられてもよい:(i)所望の周波数を選択し(信号選択、又は信号周波数帯域を周波数帯域内に制限することとも呼ばれ)、(ii)ダウンコンバートによって選択される信号、(iii)周波数帯域を再び狭い周波数帯域に制限することで、特定の実施例ではチャネルと呼ばれる信号周波数帯域を選択(例えば)し、(iv)ダウンコンバートされた信号と周波数帯域が制限される信号を復調し、(v)デバッグを実行し、及び(vi)逆多重化することで所望のパケットストリームを選択する。各種の実施例のRF部分は、これらの機能を実行する1つ又は複数の素子、例えば、周波数選択器、信号選択器、周波数帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、デバッグ装置及びデマルチプレクサを含むことができる。RF部分は、これらの機能のうちの各機能を実行するチューナーを含むことができ、これらの機能は、受信した信号をより低い周波数(例えば、中間周波数又はベースバンド付近周波数)又はベースバンドにダウンコンバートすることを含む。
【0187】
1つのセットトップボックス実施例では、RF部分およびその関連する入力処理素子は、有線(例えば、ケーブル)媒体において送信されるRF信号を受信することができる。その後、RF部分はフィルタリング、ダウンコンバート、及び所望の周波数帯域に再フィルタリングすることにより周波数の選択を実行することができる。
【0188】
各種の実施例は、上記(及び他の)素子の順序を再配置し、これらの素子のうちの一部を削除し、及び/又は、類似する又は異なる機能を実行する他の素子を追加する。
【0189】
素子の追加は、従来の素子の間の素子を挿入すること、例えば、アンプとアナログデジタルコンバータを挿入することであってもよい。各種の実施例では、RF部分はアンテナを含む。
【0190】
また、USB及び/又はHDMI端子は対応するインターフェースプロセッサを含むことができ、USB及び/又はHDMI接続によりシステム500を他の電子デバイスに接続するために使用される。なお、必要な時に、入力処理の各態様(例えば、Reed-Solomonデバッグ)は、例えば分離した入力処理IC内又はプロセッサ510内で実現可能である。同様に、必要な時に、分離したインターフェースIC内又はプロセッサ510内でUSB又はHDMIインターフェース処理の各態様を実現可能である。復調、デバッグ及び逆多重化されたストリームは、各種の処理素子に提供することができ、例えばプロセッサ510及びエンコーダ/デコーダ530を含み、それはメモリ及び記憶素子と組み合わせて操作され、これにより、必要な時にデータストリームを処理することで出力デバイスにおいて表示する。
【0191】
一体型筐体内にシステム500の各種の素子を提供することである。一体型筐体内において、適切な接続配置590を行うことができ、例えば、当分野で知られている内部バス(I2Cバスを含む)、配線及びプリント回路基板を介して各種の素子を接続し且つそれらの間でデータを送信する。
【0192】
システム500は通信インターフェース550を含むことができるので、通信チャネル900経由で他のデバイスと通信することができる。通信インターフェース550は、通信チャネル900においてデータを送受信する送受信機を含むが、これに限らない。通信インターフェース550はモデム又はネットワークカードを含むが、これらに限らず、且つ通信チャネル900は例えば有線及び/又は無線媒体内で実現可能である。
【0193】
各種の実施例では、IEEE 802.11のようなWi-Fiネットワークを用いてデータをシステム500にストリーミングすることができる。これらの実施例のWi-Fi信号は、Wi-Fi通信に適合する通信チャネル900と通信インターフェース550によって受信され得る。これらの実施例の通信チャネル900は通常、アクセスポイント又はルータに接続することができ、該アクセスポイント又はルータは、インターネットを含める外部ネットワークのアクセスを提供し、ストリーミングアプリケーションやその他のオーバーザトップ(Over-the-top)通信を可能にする。
【0194】
他の実施例はセットトップボックスを用いてシステム500にストリームデータを提供することができ、該セットトップボックスは入力ブロック590のHDMI接続を介してデータを送信する。
【0195】
他の実施例も入力ブロック590のRFを用いてストリームデータをシステム500に提供することができる。
【0196】
ストリームデータはシステム500が使用するシグナリング情報の方式として使用可能である。シグナリング情報は、ビットストリームB及び/又は点群の点の数及び/又はセンサ設定パラメータ(例えばスピンセンサヘッド10のセンサに関連する基本方位ステップ幅φstep又は仰角θk)のような情報を含むことができる。
【0197】
なお、様々なシグナリングを実現可能である。例えば、各種の実施例では、1つ又は複数の構文要素、フラグなどは、対応するデコーダに信号通知情報を送信するために使用されてもよい。
【0198】
システム500は、ディスプレイ500、スピーカー700及び他の周辺機器800を含む各種の出力デバイスに出力信号を提供することができる。実施例の各種の例では、他の周辺機器800は、独立DVR、ディスクプレーヤ、ステレオシステム、照明システム、及びシステム500の出力提供機能に基づく他のデバイスのうちの1つ又は複数を含むことができる。
【0199】
各種の実施例では、制御信号は、例えばAV.Link(オーディオ/ビデオリンク)、CEC(家電制御)又はユーザの介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルのシグナリングを用いて、システム500と、ディスプレイ600、スピーカー700又は他の周辺機器800との間で通信することができる。
【0200】
出力デバイスは、対応するインターフェース560、570及び580により、専用の接続経由で通信可能にシステム500に結合される。
【0201】
選択可能に、通信インターフェース550経由で通信チャネル900を用いて出力デバイスをシステム500に接続することができる。ディスプレイ600とスピーカー700は電子デバイス(例えばテレビ)内のシステム500の他のコンポーネントとともに単一のユニットに統合され得る。
【0202】
各種の実施例では、表示インターフェース560は、例えばタイミングコントローラ(T Con)チップのような表示ドライバを含むことができる。
【0203】
例えば、入力端590のRF部分は別個のセットトップボックスの一部である場合、ディスプレイ600及びスピーカー700は選択可能に他のコンポーネントのうちの1つ又は複数と分離することができる。ディスプレイ600及びスピーカー700が外部コンポーネントであってもよい各種実施例では、専用の出力接続(例えばHDMIポート、USBポート又はCOMP出力端を含む)経由で出力信号を提供することができる。
【0204】
図1~12では、本明細書では各種の方法が説明され、それぞれの方法は1つ又は複数のステップ又は動作を含むことで、説明される方法を実現する。方法の正確な操作は特定のステップ又は動作順序を必要としない限り、特定のステップ及び/又は動作の順序及び/又は使用を修正するか、又は組み合わせることができる。
【0205】
ブロック図及び/又は操作フローチャットについて幾つかの例が説明される。各ブロックは回路素子、モジュール又はコードの部分を表し、それは、(1つ又は複数の)指定論理機能を実現するための1つ又は複数の実行可能な命令を含む。なお、他の実施形態では、ブロック内にマークされた(1つ又は複数の)機能は指示された順序と異なってもよいことを理解されたい。例えば、関わる機能により、連続して示される2つのブロックは、実際には、基本的に同時に実行されてもよく、又はこれらのブロックが逆の順序で実行される場合もある。
【0206】
例えば方法又はプロセス、装置、コンピュータプログラム、データストリーム、ビットストリーム又は信号において、本明細書で説明される実施形態和と態様を実現することができる。単一形式の実施形態のコンテキストのみで議論する場合でも(例えば、方法のみとして議論する)、議論される特徴の実施形態は他の形式(例えば、装置又はコンピュータプログラム)で実現可能である。
【0207】
方法は例えばプロセッサにおいて実現可能であり、プロセッサは、一般に、例えばコンピュータ、マイクロプロセッサ、集積回路又はプログラマブル論理デバイスを含む処理デバイスを指す。プロセッサは通信デバイスをさらに含む。
【0208】
また、方法は、プロセッサにより実行可能な命令で実現することができ、このような命令(及び/又は実施形態によって生成されるデータ値)はコンピュータ読み取り可能な記憶媒体に記憶することができる。コンピュータ読み取り可能な記憶媒体は、1つ又は複数のコンピュータ読み取り可能な媒体において実施され且つそれに実施されたコンピュータにより実行可能なコンピュータ読み取り可能なプログラムコードを有するコンピュータ読み取り可能なプログラム製品の形式を用いることができる。情報を記憶する固有の能力及び情報の検索を提供する固有の能力を考慮すると、本明細書で使用されるコンピュータ読み取り可能な記憶媒体は、非一時的な記憶媒体として見なすことができる。コンピュータ読み取り可能な記憶媒体は、電子、磁気、光学、電磁、赤外線又は半導体システム、装置又はデバイス、又は前述したものの任意の適切な組み合わせであってもよいが、これらに限定されない。なお、以下、それに対して本実施例のコンピュータ読み取り可能な記憶媒体を適用するより具体的な例を提供したが、当業者であれば容易に理解できるように、それは単なる説明的なものであり、詳しいリストではない:ポータブルコンピュータのフロッピーディスク、ハードディスク、読み取り専用メモリ(ROM)、消去可能なプログラマブル読み取り専用メモリ(EPROM又はフラッシュメモリー)、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、又は前述したものの任意の組み合わせ。
【0209】
命令は、プロセッサ読み取り可能な媒体に有形に実施されるアプリケーションプログラムを形成することができる。
【0210】
例えば、命令はハードウェア、ファームウェア、ソフトウェア又は組み合わせに存在することができる。例えば、オペレーティングシステム、独立したアプリケーション又は両者の組み合わせにおいて命令を見つけることができる。したがって、プロセッサは、例えばプロセスを実行するように構成されるデバイス、及びプロセスの命令を実行するためのプロセッサ読み取り可能な媒体(例えば記憶デバイス)を有するデバイスとして特徴付けられ得る。また、命令以外にも、又は命令の代わりに、プロセッサ読み取り可能な媒体は、実施形態によって生成されたデータ値を記憶することができる。
【0211】
装置は、例えば適切なハードウェア、ソフトウェア及びファームウェアにおいて実現可能である。このような装置の例は、パーソナルコンピュータ、ノートパソコン、スマートフォン、タブレット、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、個人ビデオ録画システム、接続された家電、ヘッドマウントディスプレイデバイス(HMD、透視メガネ)、プロジェクタ(投影機)、「洞窟」(複数のディスプレイを含むシステム)、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダからの出力を処理するポストプロセッサ、ビデオエンコーダに入力を提供するプリプロセッサ、webサーバ、セットトップボックス、点群、ビデオ又は画像を処理するための他の任意のデバイス、又は他の通信デバイスを含む。なお、装置は移動可能であり、且つ移動中の車両に取り付けることもできる。
【0212】
コンピュータソフトウェアは、プロセッサ510、ハードウェア、又はハードウェアとソフトウェアとの組み合わせによって実現可能である。非限定的な例として、1つ又は複数の集積回路によって実施例を実現することができる。メモリ520は、技術環境に適した任意のタイプであり且つ如何なる適切なデータ記憶技術(非限定的な例として、例えば光学メモリデバイス、磁器メモリデバイス、半導体に基づくメモリデバイス、固定メモリ及びリムーバブルメモリを含む)を用いて実現することができる。プロセッサ510は技術環境に適した如何なるタイプであってもよく、且つ非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの1つ又は複数を含むことができる。
【0213】
実施形態が、例えば記憶可能又は送信可能な情報を運ぶようにフォーマットされた信号を生成できることは、当業者にとって自明なことである。情報は、例えば方法を実行するための命令又は説明された実施形態の1つによって生成されたデータを含むことができる。例えば、信号は、説明された実施例のビットストリームを運ぶようにフォーマットされ得る。このような信号は、例えば電磁波(例えば、スペクトルの無線周波数部分を使用)又はベースバンド信号にフォーマットされ得る。フォーマットは、例えばデータストリームを符号化し且つ符号化されたデータストリームを用いて搬送波を変調すること含む。信号によって運ばれる情報は、例えばアナログ又はデジタル情報であってもよい。既知のように、信号は異なる各種の有線又は無線リンクで送信され得る。信号はプロセッサ読み取り可能な媒体に記憶され得る。
【0214】
本明細書で使用される用語は、特定の実施例を説明することを目的としており、限定するものではない。コンテキストに明示的な指示がない限り、本明細書で使用される単数型の「1つ」、「一種」及び「該」は、複数型をも含む。さらに、本明細書で使用される場合、「含む/備える(include/comprise)」及び/又は「含む/備える(including/comprising)」という用語は、例えば記載された特徴、整数、ステップ、操作、要素及び/又はコンポーネントの存在を指定することができるが、1つ又は複数の他の特徴、整数、ステップ、操作、要素、コンポーネント及び/又はそれらの組み合わせの存在又は追加を排除できない。そして、1つの要素が、もう1つの要素に「応答」又は「接続」すると呼ばれる場合、それは、直接、もう1つの要素に応答又は接続することができ、又は中間要素が存在してもよい。逆に、1つの要素が、もう1つの要素に「直接応答」又は「直接接続」すると呼ばれる場合、中間要素は存在しない。
【0215】
なお、例えば「A/B」、「A及び/又はB」と「AとBのうちの少なくとも1つ」の場合、「/」、「及び/又は」と「少なくとも1つの」という符号/用語のうちのいずれか1つの使用は、挙げられた第1の選択肢(A)の選択のみを含むこと、又は挙げられた第2の選択肢(B)の選択のみを含むこと、又は2つの選択肢(AとB)の選択を含むことを目的としている。さらなる例として、「A、B及び/又はC」t「AとBのうちの少なくとも1つ」の場合、このような表現は、挙げられた第1の選択肢(A)の選択のみを含むこと、又は挙げられた第2の選択肢(B)の選択を含むこと、又は挙げられた第3の選択肢(C)の選択のみを含むこと、又は挙げられた第1と第2の選択肢(AとB)の選択のみを含むこと、又は挙げられた第1と第3の選択肢(AとC)の選択のみを含むこと、又は挙げられた第2と第3の選択肢(BとC)の選択のみを含むこと、又は3つの選択肢(AとBとC)の選択をすべて含むことを目的としている。当業者には明らかなように、これは列挙されたものと同じ数の項目に拡張することができる。
【0216】
本願では、各種の数値を用いることができる。特定値は例示目的で使用でき、且つ説明された各態様はこれらの特定値に限らない。
【0217】
なお、第1、第2などの用語は本明細書において各種の要素を説明するために使用可能であるが、これらの要素はこれらの用語によって限定されない。これらの用語は、1つの要素をもう1つの要素から区別することのみに使用される。例えば、本願の教示から逸脱しない限り、第1要素は第2要素と呼ばれることもでき、同様に、第2要素は第1要素と呼ばれてもよい。第1要素と第2要素との間は順序が暗示されない。
【0218】
「例示的な一実施例」又は「例示的な実施例」又は「一実施形態」又は「実施形態」及他の変化についての引用は、頻繁に、特定の特徴、構造、特点など(実施例/実施形態に合わせて説明される)が少なくとも1つの実施例/実施形態に含まれ得ることを表すために使用される。したがって、本願のあちこちに現れた「例示的な一実施例では」又は「例示的な実施例では」又は「一実施形態では」又は「実施形態では」という用語及び他の如何なる変化の出現は必ずしも同一の実施例を指しているとは限らない。
【0219】
同様に、本明細書は、「例示的な実施例/例/実施形態による」又は「例示的な実施例/例/実施形態では」及び他の変化の引用は、頻繁に、特定の特徴、構造又は特点(例示的な実施例/例/実施形態と組み合わせて説明される)が少なくとも1つの例示的な実施例/例/実施形態に含まれ得ることを表すために使用される。したがって、本願のあちこちに現れた「例示的な実施例/示例/実施形態による」又は「例示的な実施例/例/実施形態では」という記載は、必ずしも同一の例示的な実施例/例/実施形態を指すとは限らず、独立又は代替の例示的な実施例/例/実施形態は、必ずしも他の例示的な実施例/例/実施形態と相互排他的ではない。
【0220】
請求項で現れる図面の符号は、説明的なものであり、請求項の範囲を限定するものではない。明確な説明がないが、任意の組み合わせ又は一部の組み合わせで本実施例/例及び変形例を採用することができる。
【0221】
図面はフローチャットとして表現される場合、対応する装置のブロック図を提供する。同様に、図面はブロック図として表現される場合、対応する方法/プロセスのフローチャットも提供されることを理解されたい。
【0222】
一部の図面は、通信の主な方向を示すために経路上に矢印が含まれているが、通信は、描かれたと逆の方向に発生する可能性があることを理解されたい。
【0223】
各種の実施形態は復号化に関連する。本願で使用された「復号化」は、例えば、受信した点群フレーム(1つ又は複数の点群フレームに対して符号化を行う、受信したビットストリームを含む場合がある)に対して実行したプロセスの全部又は一部を含むことができ、これにより、表示される又は再構築された点群領域においてさらに処理されることに適合する最終出力を生成する。各種の実施例では、この種類のプロセスは、通常デコーダによって実行されるプロセスのうちの1つ又は複数を含む。各種の実施例では、例えば、この種類のプロセスは、選択可能に、本願で説明される各種の実施形態のデコーダによって実行されるプロセスをさらに含むことができる。
【0224】
さらなる例として、一実施例では、「復号化」はエントロピー復号化を指すことができ、もう1つの実施例では、「復号化」は差分復号化のみを指してもよく、もう1つの実施例では、「復号化」はエントロピー復号化と差分復号化の組み合わせを指してもよい。具体的に説明されるコンテキストに基づいて、「復号化プロセス」という用語が果たして具体的に演算のサブセットを指しているか、それとも一般的により広い復号化プロセスを指しているかは明らかにあり、そして本分野技術者がよく理解できると認められる。
【0225】
各種の実施形態はいずれも符号化に関する。以上の「復号化」の機論と同様に、本願で使用される「符号化」は、例えば入力点群フレームに対して実行して符号化されたビットストリームを生成するプロセスの全部又は一部を含むことができる。各種の実施例では、この種類のプロセスは、通常エンコーダによって実行されるプロセスのうちの1つ又は複数を含む。各種の実施例では、この種類のプロセスは、本願で説明される各種の実施形態のエンコーダによって実行されるプロセスを含むか、或いは選択的に含む。
【0226】
さらなる例として、一実施例では、「符号化」はエントロピー符号化のみを指すことができ、もう1つの実施例では、「符号化」は差分符号化のみを指してもよく、もう1つの実施例では、「符号化」は差分符号化とエントロピー符号化との組み合わせを指すことができる。限定的に説明されたコンテキストに基づいて、「復号化プロセス」という用語が果たして具体的に演算のサブセットを指しているか、それとも一般的により広い復号化プロセスを指しているかは明らかにあり、そして本分野技術者がよく理解できると認められる
【0227】
また、本願では、各種の情報の「決定」が言及された。情報の決定は、例えば、情報の推定、情報の計算、情報の予測又はメモリから情報を検索すること、のうちの1つ又は複数を含むことができる。
【0228】
また、本願では、各種の情報への「アクセス」が言及された。情報へのアクセスは、情報の受信、(例えば、メモリ又はビットストリームからの)情報の検索、情報の記憶、情報の移動、情報のコピー、情報の計算、情報の決定、情報の予測又は情報の推定のうちの1つ又は複数を含むことができる。
【0229】
また、各種の情報の「受信」が言及された。「アクセス」と同様に、受信は広義的な用語である。情報の受信は、例えば、情報へのアクセス又は(例えば、メモリ又はビットストリームからの)情報の検索のうちの1つ又は複数を含むことができる。また、1つ又はもう1つの形態として、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の削除、情報の計算、情報の決定、情報の予測又は情報の推定のような操作期間は、通常、「受信」に関連する。
【0230】
そして、本明細書で使用される「信号」という用語は、特に対応するデコーダを指し、あること等を指示する。例えば、いくつかの実施例では、エンコーダは信号を送信して特定情報を通知し、例えば点群の点の数又はセンサ設定パラメータ(例えばセンサkに関連する基本方位ステップ幅φstep又は仰角θk)である。この方式により、実施例では、可エンコーダ側とデコーダ側で同一パラメータを使用することができる。したがって、例えば、エンコーダはデコーダに特定パラメータを送信(明示的なシグナリング)することができ、これにより、デコーダは同一の特定パラメータを使用することができる。逆に、デコーダが特定のパラメータ及び他のパラメータを有している場合、伝送(暗黙的なシグナリングする必要なくシグナリングを使用することで、デコーダが特定のパラメータを知り且つ選択することを許可する。如何なる実際の機能の送信を回避することにより、各実施例ではビットの節約を実現する。なお、多くの方式でシグナリングを完成させることができる。例えば、各種の実施例では、1つ又は複数の構文要素、フラグなどは、信号を送信して情報を対応するデコーダに通知するために使用される。前文では「信号(signal)」の動詞形が言及されたが、「信号」という用語は、本明細書では名詞として使用することもできる。
【0231】
複数の実施形態をすでに説明している。しかし、各種の修正が可能であることを理解されたい。例えば、異なる実施形態の要素を組み合わせ、補充、修正又は除去することで他の実施形態を生成することができる。また、当業者であれば、開示された構造とプロセスは他の構造とプロセスで代替することができ、これにより生じた実施形態は、少なくとも基本的に同じである(1つ又は複数の)方式で少なくとも基本的に同じである(1つ又は複数の)機能を実行し、これにより、開示された実施形態と少なくとも基本的に同じである(1つ又は複数の)結果を実現する。したがって、本願はこれらと他の実施形態を構想した。
【国際調査報告】