特表 2024-508090 二次元正則化平面投影に基づく点群符号化および復号方法ならびにデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-22

(54)【発明の名称】二次元正則化平面投影に基づく点群符号化および復号方法ならびにデバイス

(51)【国際特許分類】

   H04N 19/597 20140101AFI20240215BHJP

   H04N 19/463 20140101ALI20240215BHJP

【ＦＩ】

H04N19/597

H04N19/463

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023541118

(86)(22)【出願日】2022-02-07

(85)【翻訳文提出日】2023-08-16

(86)【国際出願番号】 CN2022075383

(87)【国際公開番号】W WO2022166958

(87)【国際公開日】2022-08-11

(31)【優先権主張番号】202110181878.X

(32)【優先日】2021-02-08

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】521218881

【氏名又は名称】オナー デバイス カンパニー リミテッド

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133569

【弁理士】

【氏名又は名称】野村 進

(72)【発明者】

【氏名】▲楊▼ 付正

(72)【発明者】

【氏名】▲張▼ ▲偉▼

(72)【発明者】

【氏名】▲張▼ 可

(72)【発明者】

【氏名】杜 雨欣

(72)【発明者】

【氏名】▲孫▼ ▲澤▼星

(72)【発明者】

【氏名】于 有光

(72)【発明者】

【氏名】▲陳▼ 天

(72)【発明者】

【氏名】▲鄒▼ 文杰

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA16

5C159MC11

5C159ME01

5C159PP03

5C159RC11

5C159RC40

5C159UA02

5C159UA05

(57)【要約】

二次元正則化平面投影に基づく点群符号化および復号方法ならびにデバイスが開示される。符号化方法は、元の点群データを取得するステップと、二次元投影平面構造を取得するために、元の点群データに対して二次元正則化平面投影を実行するステップと、二次元投影平面構造に従って複数の二次元画像情報を取得するステップと、複数の二次元画像情報を符号化して、コードストリーム情報を取得するステップとを含む。本発明によれば、点群の空間相関がより良く反映されるように、二次元正則化平面投影技術を使用して、二次元投影平面構造上の点群の強い相関表現が取得され、二次元正則化投影平面構造のために取得された投影残差情報マップが続いて符号化されるとき、点群の相関関係が大いに利用されることができ、これによって点群の符号化効率を向上させる。また、符号化効率がさらに向上するように、投影残差情報マップを符号化するのを支援するために、プレースホルダ情報マップおよび深度情報マップが使用される。

【特許請求の範囲】

【請求項1】

二次元正則化平面投影に基づく点群符号化方法であって、
元の点群データを取得するステップと、
二次元投影平面構造を取得するために、前記元の点群データに対して二次元正則化平面投影を実行するステップと、
前記二次元投影平面構造に従って複数の二次元画像情報を取得するステップと、
前記複数の二次元画像情報を符号化し、コードストリーム情報を取得するステップとを含む、二次元正則化平面投影に基づく点群符号化方法。

【請求項2】

前記複数の二次元画像情報は投影残差情報マップを含む、請求項1に記載の二次元正則化平面投影に基づく点群符号化方法。

【請求項3】

前記複数の二次元画像情報を符号化し、コードストリーム情報を取得する前記ステップは、
投影残差情報コードストリームを取得するために前記投影残差情報マップを符号化するステップを含む、請求項2に記載の二次元正則化平面投影に基づく点群符号化方法。

【請求項4】

投影残差情報コードストリームを取得するために前記投影残差情報マップを符号化する前記ステップは、
投影残差の予測残差を取得するために、プレースホルダ情報マップおよび深度情報マップに基づいて前記投影残差情報マップ内の画素の予測を実行するステップ、または
予測残差を取得するために、符号化および復号された画素の再構築された投影残差情報に基づいて前記投影残差情報マップ内の画素の予測を実行するステップと、
前記投影残差情報コードストリームを取得するために、前記投影残差の前記予測残差を符号化するステップとを含む、請求項3に記載の二次元正則化平面投影に基づく点群符号化方法。

【請求項5】

投影残差の予測残差を取得するために、プレースホルダ情報マップおよび深度情報マップに基づいて前記投影残差情報マップ内の画素の予測を実行する前記ステップは、
特定の走査順で前記投影残差情報マップ内の画素をトラバースし、前記プレースホルダ情報マップに従って現在の空でない画素の隣接領域内の符号化および復号された空でない画素を識別するステップと、
前記符号化および復号された空でない画素を使用して、深度情報と前記再構築された投影残差情報との間の関係を確立し、現在の画素の投影残差の推定値を取得するために、前記関係に従って前記現在の画素に対応する投影残差情報を推定するステップと、
前記現在の画素の前記投影残差の予測残差を取得するために、前記現在の画素の前記投影残差の予測値として前記推定値を使用するステップとを含む、請求項4に記載の二次元正則化平面投影に基づく点群符号化方法。

【請求項6】

投影残差情報コードストリームを取得するために前記投影残差情報マップを符号化する前記ステップは、
投影残差の予測残差を取得するために、プレースホルダ情報マップに基づいて前記投影残差情報マップ内の画素の予測を実行するステップ、または
投影残差の予測残差を取得するために、深度情報マップに基づいて前記投影残差情報マップ内の画素の予測を実行するステップと、
前記投影残差情報コードストリームを取得するために、前記投影残差の前記予測残差を符号化するステップとをさらに含む、請求項3に記載の二次元正則化平面投影に基づく点群符号化方法。

【請求項7】

二次元正則化平面投影に基づく点群符号化デバイスであって、
元の点群データを取得するように構成された第1のデータ取得モジュール（11）と、
二次元投影平面構造を取得するために、前記元の点群データに対して二次元正則化平面投影を実行するように構成された投影モジュール（12）と、
前記二次元投影平面構造に従って複数の二次元画像情報を取得するように構成されたデータ処理モジュール（13）と、
前記複数の二次元画像情報を符号化してコードストリーム情報を取得するように構成された符号化モジュール（14）とを備える、二次元正則化平面投影に基づく点群符号化デバイス。

【請求項8】

二次元正則化平面投影に基づく点群復号方法であって、
コードストリーム情報を取得し、解析データを取得するために前記コードストリーム情報を復号するステップと、
前記解析データに従って複数の二次元画像情報を再構築するステップと、
前記複数の二次元画像情報に従って二次元投影平面構造を取得するステップと、
前記二次元投影平面構造を使用して点群を再構築するステップとを含む、二次元正則化平面投影に基づく点群復号方法。

【請求項9】

前記解析データに従って複数の二次元画像情報を再構築する前記ステップは、
再構築された投影残差情報マップを取得するために、前記解析データの投影残差情報マップの予測残差に従って前記投影残差情報マップを再構築するステップを含む、請求項8に記載の二次元正則化平面投影に基づく点群復号方法。

【請求項10】

二次元正則化平面投影に基づく点群復号デバイスであって、
コードストリーム情報を取得し、解析データを取得するために前記コードストリーム情報を復号するように構成された第2のデータ取得モジュール（21）と、
前記解析データに従って複数の二次元画像情報を再構築するように構成された第1の再構築モジュール（22）と、
前記複数の二次元画像情報に従って二次元投影平面構造を取得するように構成された第2の再構築モジュール（23）と、
前記二次元投影平面構造を使用して点群を再構築するように構成された点群再構築モジュール（24）とを備える、二次元正則化平面投影に基づく点群復号デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、2021年2月8日に中国国家知的財産権局に出願された「POINT CLOUD ENCODING AND DECODING METHOD AND DEVICE BASED ON TWO－DIMENSIONAL REGULARIZATION PLANE PROJECTION」と題する中国特許出願第202110181878．X号に基づく優先権を主張し、その全体が参照により本明細書に組み込まれる。

【0002】

本発明は、符号化および復号の分野に関し、具体的には、二次元正則化平面投影に基づく点群符号化および復号方法ならびにデバイスに関する。

【背景技術】

【0003】

ハードウェア処理能力の向上およびコンピュータビジョンの急速な発展とともに、三次元点群は、オーディオ、画像、およびビデオの後の没入型マルチメディアの新世代となり、仮想現実、拡張現実、自動運転、環境モデリングなどに広く適用されている。しかしながら、三次元点群は通常、比較的大量のデータを有し、これは点群データの送信および記憶に役立たない。したがって、効率的な点群符号化および復号技術を研究することは非常に重要である。

【0004】

幾何学ベースの点群圧縮（G－PCC，Geometry－based Point Cloud Compression）符号化フレームワークでは、点群の幾何学情報および属性情報は別々に符号化される。現在、G－PCC幾何学的符号化および復号は、八分木ベースの幾何学的符号化および復号と予測木ベースの幾何学的符号化および復号とに分割され得る。

【0005】

八分木ベースの幾何学的符号化および復号：エンコーダ側では、まず、点群の幾何学情報が前処理され、これは、点群の座標変換およびボクセル化プロセスを含む。続いて、点群が幅優先トラバーサルの順に配置された境界ボックスに対して木分割（八分木／四分木／二分木）が連続的に実行される。最後に、バイナリコードストリームを生成するために、各ノードのプレースホルダコードが符号化され、各リーフノードに含まれる点の数が符号化される。デコーダ側では、まず、幅優先トラバーサルの順で解析することによって、各ノードのプレースホルダコードが連続的に取得される。続いて、木分割が順次連続的に実行され、分割を通じて1x1x1の単位立方が得られるまで分割が停止する。最後に、解析によって各リーフノードに含まれる点の数が取得され、最終的に再構築された点群幾何学情報が取得される。

【0006】

予測木ベースの幾何学的符号化および復号：エンコーダ側では、まず、入力された点群がソートされる。続いて、予測木構造が確立される。点が属するレーザスキャナに各点を分類することにより、異なるレーザスキャナに従って予測木構造が確立される。続いて、予測木内の各ノードがトラバースされ、予測残差を取得するために異なる予測モードを選択することによってノードの幾何学情報が予測され、量子化パラメータを使用して予測残差が量子化される。最後に、バイナリコードストリームを生成するために、予測木構造、量子化パラメータ、ノードの幾何学情報の予測残差などが符号化される。デコーダ側では、まず、コードストリームが分析され、次いで、予測木構造が再構築され、続いて、解析によって得られた幾何学情報の予測残差および量子化パラメータに基づいて予測残差が逆量子化され、最終的に各ノードの再構築された幾何学情報が復元される。すなわち、点群幾何学情報の再構築が完了する。

【0007】

しかしながら、点群の比較的強い空間スパース性のため、八分木構造を使用する点群符号化技術では、この構造は、分割によって得られる空のノードの比較的大きな割合をもたらし、点群の空間相関は完全に反映されることができず、これは点群予測およびエントロピー符号化に役立たない。予測木ベースの点群符号化および復号技術では、木構造を確立するために、ライダデバイスのいくつかのパラメータが使用され、木構造は、これに基づく予測符号化のために使用される。しかしながら、木構造は、点群の空間相関を完全には反映せず、これは点群予測およびエントロピー符号化に役立たない。したがって、上述の2つの点群符号化および復号技術は、符号化効率が十分に高くないという問題を有する。

【発明の概要】

【課題を解決するための手段】

【0008】

既存の技術における上述の問題を解決するために、本発明は、二次元正則化平面投影に基づく点群符号化および復号方法ならびにデバイスを提供する。本発明において解決すべき技術的問題は、以下の技術的解決策によって実施される。

【0009】

以下を含む、二次元正則化平面投影に基づく点群符号化方法が提供される。
元の点群データを取得するステップと、
元の点群データに対して二次元正則化平面投影を行って、二次元投影平面構造を取得するステップと、
二次元投影平面構造に従って複数の二次元画像情報を取得するステップと、
複数の二次元画像情報を符号化して、コードストリーム情報を取得するステップ。

【0010】

本発明の一実施形態では、複数の二次元画像情報は、投影残差情報マップを含む。

【0011】

本発明の一実施形態では、複数の二次元画像情報を符号化して、コードストリーム情報を取得するステップは、
投影残差情報マップを符号化して、投影残差情報コードストリームを取得するステップを含む。

【0012】

本発明の一実施形態では、投影残差情報マップを符号化して、投影残差情報コードストリームを取得するステップは、
投影残差の予測残差を取得するために、プレースホルダ情報マップおよび深度情報マップに基づいて投影残差情報マップ内の画素の予測を実行するステップ、または
予測残差を取得するために、符号化および復号された画素の再構築された投影残差情報に基づいて投影残差情報マップ内の画素の予測を実行するステップと、
投影残差の予測残差を符号化して、投影残差情報コードストリームを取得するステップと、を含む。

【0013】

本発明の一実施形態では、投影残差の予測残差を取得するために、プレースホルダ情報マップおよび深度情報マップに基づいて投影残差情報マップ内の画素の予測を実行するステップは、
特定の走査順で投影残差情報マップ内の画素をトラバースし、プレースホルダ情報マップに従って現在の空でない画素の隣接領域内の符号化および復号された空でない画素を識別するステップと、
符号化および復号された空でない画素を使用して、深度情報と再構築された投影残差情報との間の関係を確立し、現在の画素の投影残差の推定値を取得するために、関係に従って現在の画素に対応する投影残差情報を推定するステップと、
現在の画素の投影残差の予測残差を取得するために、現在の画素の投影残差の予測値として推定値を使用するステップと、を含む。

【0014】

本発明の一実施形態では、投影残差情報マップを符号化して、投影残差情報コードストリームを取得するステップは、
投影残差の予測残差を取得するために、プレースホルダ情報マップに基づいて投影残差情報マップ内の画素の予測を実行するステップ、または
投影残差の予測残差を取得するために、深度情報マップに基づいて投影残差情報マップ内の画素の予測を実行するステップと、
投影残差の予測残差を符号化して、投影残差情報コードストリームを取得するステップと、を含む。

【0015】

本発明の別の実施形態は、以下を含む、二次元正則化平面投影に基づく点群符号化デバイスをさらに提供する。
元の点群データを取得するように構成された第1のデータ取得モジュールと、
元の点群データに対して二次元正則化平面投影を行って、二次元投影平面構造を取得するように構成された投影モジュールと、
二次元投影平面構造に従って複数の二次元画像情報を取得するように構成されたデータ処理モジュールと、
複数の二次元画像情報を符号化して、コードストリーム情報を取得するように構成された符号化モジュール。

【0016】

本発明のさらに別の実施形態は、以下を含む、二次元正則化平面投影に基づく点群復号方法をさらに提供する。
コードストリーム情報を取得し、コードストリーム情報を復号して、解析データを取得するステップと、
解析データに従って複数の二次元画像情報を再構築するステップと、
複数の二次元画像情報に従って二次元投影平面構造を取得するステップと、
二次元投影平面構造を使用して点群を再構築するステップ。

【0017】

本発明の一実施形態では、解析データに従って複数の二次元画像情報を再構築するステップは、
再構築された投影残差情報マップを取得するために、解析データの投影残差情報マップの予測残差に従って投影残差情報マップを再構築するステップを含む。

【0018】

本発明のさらに別の実施形態は、以下を含む、二次元正則化平面投影に基づく点群復号デバイスをさらに提供する。
コードストリーム情報を取得し、コードストリーム情報を復号して、解析データを取得するように構成された第2のデータ取得モジュールと、
解析データに従って複数の二次元画像情報を再構築するように構成された第1の再構築モジュールと、
複数の二次元画像情報に従って二次元投影平面構造を取得するように構成された第2の再構築モジュールと、
二次元投影平面構造を使用して点群を再構築するように構成された点群再構築モジュール。

【0019】

本発明の有益な効果は以下の通りである。

【0020】

1．本発明によれば、三次元空間の点群は、対応する二次元正則化投影平面構造に投影され、三次元表現構造内のスパース性が回避されて点群の空間相関がより良く反映されるように、二次元投影平面構造上の点群の強い相関表現を取得するために、点群に対して垂直方向および水平方向に正則化補正が実行され、二次元正則化投影平面構造のために取得された複数の二次元画像情報が続いて符号化されるとき、点群の相関関係が大いに利用されることができ、空間冗長性が低減され、これによって点群の符号化効率をさらに向上させる。

【0021】

2．本発明によれば、符号化効率が向上するように、投影残差情報マップを符号化するのを支援するために、プレースホルダ情報マップおよび深度情報マップが使用される。

【0022】

3．本発明によれば、符号化効率を向上させるために、他の二次元マップを符号化するのを支援するために、投影残差情報マップがさらに使用され得る。

【0023】

以下では、添付の図面および実施形態を参照して、本発明を詳細にさらに説明する。

【図面の簡単な説明】

【0024】

【図1】本発明の一実施形態による、二次元正則化平面投影に基づく点群符号化方法の概略図である。

【図2】本発明の一実施形態による、点の円筒座標と二次元投影平面の画素との間の対応関係の概略図である。

【図3】本発明の一実施形態による、点群の二次元投影平面構造の概略図である。

【図4】本発明の一実施形態による、投影残差の概略図である。

【図5】本発明の一実施形態による、投影残差情報マップの符号化ブロック図である。

【図6】本発明の一実施形態による、投影残差情報の概略予測図である。

【図7】本発明の一実施形態による、投影残差の予測残差のエントロピー符号化のフローチャートである。

【図8】本発明の一実施形態による、二次元正則化平面投影に基づく点群符号化デバイスの概略構造図である。

【図9】本発明の一実施形態による、二次元正則化平面投影に基づく点群復号方法の概略図である。

【図10】本発明の一実施形態による、プレースホルダ情報マップの復号ブロック図である。

【図11】本発明の一実施形態による、二次元正則化平面投影に基づく点群復号デバイスの概略構造図である。

【発明を実施するための形態】

【0025】

本発明は、特定の実施形態を参照して、以下で詳細にさらに説明されるが、本発明の実装形態はこれに限定されない。

【0026】

実施形態1
図1は、本発明の一実施形態による、二次元正則化平面投影に基づく点群符号化方法の概略図であり、以下を含む。

【0027】

S1：元の点群データを取得する。
具体的には、元の点群データは通常、三次元空間点のグループを含み、各空間点は、幾何学的位置情報と、色、反射率、および法線などの追加の属性情報とを記録する。点群の幾何学的位置情報は、一般に、デカルト座標系に基づいて表され、すなわち、点の座標x、y、およびzを使用して表される。元の点群データは、ライダなどの3D走査デバイスを通じて取得されてもよく、あるいは、様々なプラットフォームによって提供される公開データセットに基づいて取得されてもよい。この実施形態では、取得された元の点群データの幾何学的位置情報はデカルト座標系に基づいて表されると想定される。元の点群データの幾何学的位置情報の表現方法は、デカルト座標に限定されないことに留意されたい。

【0028】

S2：元の点群データに対して二次元正則化平面投影を行って、二次元投影平面構造を取得する。
具体的には、この実施形態では、元の点群に対して二次元正則化平面投影が実行される前に、後続の符号化を容易にするために、元の点群データに対してボクセル化処理などの前処理がさらに実行され得る。

【0029】

まず、二次元投影平面構造が初期化される。

【0030】

点群の二次元正則化投影平面構造の初期化は、正則化パラメータの使用を必要とする。正則化パラメータは通常、製造者によって細かく測定され、ライダの取得範囲、サンプリング角度分解能Δφまたは水平方位角のサンプリング点の数、各レーザスキャナの距離補正係数、垂直方向および水平方向のレーザスキャナのオフセット情報V₀およびH₀、ならびにピッチ角および水平方位角に沿ったレーザスキャナのオフセット情報θ₀およびαなど、必要なデータのうちの1つとして消費者に提供される。

【0031】

正則化パラメータは、上記で挙げられたパラメータに限定されないことに留意されたい。ライダの所与の較正パラメータが正則化パラメータとして使用されてもよく、または正則化パラメータは、ライダの較正パラメータが与えられない場合には、推定およびデータ適合を最適化するなどの方式で取得されてもよい。

【0032】

点群の二次元正則化投影平面構造は、M行N列の画素を含むデータ構造であり、三次元点群の点は、投影後のデータ構造内の画素に対応する。加えて、データ構造内の画素（i，j）は、円筒座標成分（θ，φ）に関連付けられてもよい。例えば、円筒座標（r，θ，φ）に対応する画素（i，j）は、以下の式を使用して求められてもよい。

【数1】

【0033】

具体的には、図2は、本発明の一実施形態による、点の円筒座標と二次元投影平面の画素との間の対応関係の概略図である。本明細書での画素の対応関係は、円筒座標に限定されないことに留意されたい。

【0034】

さらに、二次元正則化投影平面の分解能は、正則化パラメータを使用して取得され得る。例えば、二次元正則化投影平面の分解能がM×Nと仮定されると、Mを初期化するために正則化パラメータ内のレーザスキャナの数が使用されてもよく、Nを初期化するために水平方位角のサンプリング角度分解能Δφ（またはレーザスキャナのサンプリング点の数）が使用される。例えば、M×N個の画素を含む平面構造を得るために、以下の式が使用されてもよく、最終的に二次元投影平面構造の初期化が完了されることが可能である。

【数2】

【0035】

加えて、元の点群データを二次元投影平面構造上に投影するように、元の点群データと二次元投影平面構造との間のマッピング関係が決定される。

【0036】

この部分では、二次元投影平面構造内の元の点群の位置を逐一決定することによって、デカルト座標系において元々不規則に分布していた点群が均等に分布した二次元正則化投影平面構造上にマッピングされる。具体的には、元の点群の各点について、対応する画素が二次元投影平面構造内で決定される。例えば、二次元平面内の点の投影位置から最も短い空間距離を有する画素が、点の対応する画素として選択されてもよい。

【0037】

円筒座標系が二次元投影に使用される場合、元の点群に対応する画素を決定する具体的なプロセスは、以下の通りである。

【0038】

a．元の点群データ内の現在の点の円筒座標成分rが決定され、具体的には、以下の式が計算に使用される。

【数3】

。

【0039】

b．二次元投影平面構造内の現在の点の探索領域が決定される。具体的には、二次元投影平面構造全体が探索領域として直接選択され得る。さらに、計算量を削減するために、探索領域を縮小するために二次元投影平面構造内の対応する画素の探索領域を決定するのに、現在の点の円筒座標成分のピッチ角θおよび方位角φがさらに使用されてもよい。

【0040】

c．探索領域が決定された後、探索領域内の各画素（i，j）について、デカルト座標系における現在の画素の位置（xl，yl，zl）を計算するために、ライダのi番目のレーザスキャナの正則化パラメータ、すなわち較正パラメータθ₀、V₀、H₀、およびαが使用され、具体的な計算式は以下の通りである。
θ_i＝θ₀
φ_j＝－180°＋j×Δφ
xl＝r・sin（φ_j－α）－H₀・cos（φ_j－α）
yl＝r・cos（φ_j－α）－H₀・sin（φ_j－α）
zl＝r・tanθ_i＋V₀

【0041】

d．デカルト座標系における現在の画素の位置（xl，yl，zl）が取得された後、その位置と現在の点との間の空間距離が計算され、誤差Errとして使用され、すなわち、
Err＝dist｛（x，y，z），（xl，yl，zl）｝

【0042】

誤差Errが現在の最小誤差minErrよりも小さい場合、誤差Errは、最小誤差minErrを更新するために使用され、現在の画素に対応するiおよびjは、現在の点に対応する画素のiおよびjを更新するために使用され、誤差Errが最小誤差minErrよりも大きい場合、上述の更新プロセスは実行されない。

【0043】

e．探索領域内のすべての画素がトラバースされた後、二次元投影平面構造内の現在の点の対応する画素が決定されることが可能である。

【0044】

元の点群のすべての点に対して上述の動作が完了すると、点群の二次元正則化平面投影が完了する。具体的には、図3は、本発明の一実施形態による、点群の二次元投影平面構造の概略図である。元の点群データ内の各点は、構造内の対応する画素にマッピングされる。

【0045】

点群の二次元正則化平面投影中、点群の複数の点は二次元投影平面構造内の同じ画素に対応し得ることに留意されたい。この状況を回避するために、これらの空間点は、投影中に異なる画素に投影されるように選択されてもよい。例えば、特定の点の投影中、その点に対応する画素が既に対応する点を有する場合、その点は、その画素に隣接する空の画素に投影される。加えて、点群の複数の点が二次元投影平面構造内の同じ画素に投影されている場合、二次元投影平面構造に基づく符号化中に、各画素内の対応する点の数が追加で符号化されるべきであり、画素内の各対応する点の情報が、点の数に従って符号化される。

【0046】

S3：二次元投影平面構造に従って複数の二次元画像情報を取得する。

【0047】

この実施形態では、複数の二次元画像情報は投影残差情報マップを含む。

【0048】

具体的には、二次元正則化投影平面構造内の各占有画素の対応する位置と実際の投影位置との間の残差を表すために、投影残差情報マップが使用される。図4は、本発明の一実施形態による投影残差の概略図である。

【0049】

この実施形態では、画素の投影残差は、以下のようにして計算され得る。現在の画素は（i，j）であり、現在の画素の対応する点のデカルト座標は（x，y，z）であると仮定すると、その点の実際の投影位置は（φ，i）で表されてもよく、これは以下の式を使用して計算され得る。

【数4】

【0050】

現在の画素の対応する位置は（φ_j，i）で表されてもよく、これは以下の式を使用して計算され得る。
φ_j＝－180°＋j×Δφ

【0051】

したがって、現在の画素に対応する投影残差（Δφ、Δi）は、以下の式を使用して計算され得る。
Δφ＝φ’－φ_j
Δi＝i’－i

【0052】

上述の計算に基づいて、点群に対応する投影残差情報マップが得られるように、二次元正則化投影平面内の各占有画素は投影残差を有する。

【0053】

S4：複数の二次元画像情報を符号化して、コードストリーム情報を取得する。

【0054】

これに対応して、複数の二次元画像情報を符号化して、コードストリーム情報を取得するステップは、投影残差情報マップを符号化して、投影残差情報コードストリームを取得するステップを含む。具体的には、まず、投影残差情報の予測残差を取得するために、投影残差情報マップに対して予測が行われる必要があり、次いで、予測残差が符号化される。

【0055】

この実施形態では、予測残差を取得するために、プレースホルダ情報マップ、深度情報マップ、および符号化および復号された画素の再構築された投影残差情報を使用して、投影残差情報マップ内の画素に対して予測が行われてもよい。

【0056】

プレースホルダ情報マップは、二次元正則化投影平面構造内の各画素が占有されているか否か、すなわち、各画素が点群の点に対応するか否かを識別するために使用される。各画素が占有されている場合、画素は空でないと呼ばれる。そうでなければ、画素は空であると呼ばれる。このようにして、点群のプレースホルダ情報マップは、点群の二次元投影平面構造に従って取得され得る。深度情報マップは、二次元正則化投影平面構造内の各占有画素の対応する点と座標原点との間の距離を表すために使用される。例えば、画素に対応する点の円筒座標成分rは、画素の深度として使用されてもよい。これに基づいて、二次元正則化投影平面構造内の各占有画素は、対応する深度情報マップが得られるように、深度値を有する。プレースホルダ情報マップおよび深度情報マップの両方が、二次元投影平面構造から直接取得されてもよい。

【0057】

図5は、本発明の一実施形態による、投影残差情報マップの符号化ブロック図であり、具体的には以下を含む。

【0058】

41）画素の投影残差を予測する。

【0059】

この実施形態では、現在の画素の投影残差は、プレースホルダ情報マップ、深度情報マップ、および点群の符号化および復号された画素の再構築された投影残差情報に基づいて予測され得る。

【0060】

具体的には、現在の空でない画素の隣接領域内の符号化および復号された空でない画素は、プレースホルダ情報マップに従って識別されてもよく、次いで、これらの符号化および復号された空でない画素を使用して、深度情報と再構築された投影残差情報が確立され、最後に、現在の画素に対応する投影残差情報が、現在の画素の深度情報に基づいて推定され、現在の画素の投影残差の予測値として使用されてもよい。

【0061】

より具体的には、投影残差情報マップ内の各画素は、特定の走査順で、例えばZ字形走査でトラバースされてもよい。続いて、現在の画素が空でないか否かがプレースホルダ情報マップに従って判定され、現在の空でない画素の隣接領域内の符号化および復号された空でない画素が、プレースホルダ情報マップに従って識別される。続いて、現在の画素のものに近い深度情報を有する複数の参照画素が、現在の空でない画素の隣接領域内の符号化および復号された空でない画素から選択され、すべての参照画素の再構築された投影残差の平均値が、現在の画素の投影残差の推定値として使用される。

【0062】

図6は、本発明の一実施形態による、投影残差情報の概略予測図であり、☆は現在の画素を表し、

【数5】

は隣接領域内の参照可能な画素を表し、

【数6】

は現在の画素からの深度情報の比較的大きな差を有する隣接する画素を表し、

【数7】

は符号化および復号された非占有画素を表す。

【0063】

現在の画素の投影残差の予測中、プレースホルダ情報マップは、現在の画素の隣接領域内の符号化および復号された画素、すなわち破線のボックスの占有率を決定するためにまず使用され、次いで、その中の空でない画素が識別され、次いで、符号化および復号された空でない画素を使用して、深度情報と再構築された投影残差情報との間の関係が単純に確立され得る。例えば、以下の関係が確立されてもよい。2つの画素の深度情報が近い場合、現在の画素のものに近い深度情報を有する画素が参照画素としてこれらの符号化および復号された空でない画素から選択され得るように、それらの投影残差もまた近く、参照画素の再構築された投影残差情報は、現在の画素の投影残差情報の予測値として平均化される。現在の画素の投影残差情報の予測値は（Δφ＿pred，Δi＿pred）として表記され、するとその計算式は以下のようになる。

【数8】

【0064】

ここで、（Δφ_j，Δi_j），j＝1，2．．．Nは現在の画素の隣接する参照画素の再構築された投影残差であり、Nは隣接領域内の参照画素の数である。現在の画素の投影残差の予測値が取得された後、現在の画素の元の投影残差と予測された投影残差との差が計算され、現在の画素の投影残差の予測残差が取得される。

【0065】

この実施形態では、代替的に、投影残差の予測残差を取得するために、プレースホルダ情報マップに基づいて投影残差情報マップ内の画素に対して別々に予測が実行されてもよく、または投影残差の予測残差を取得するために、深度情報マップに基づいて投影残差情報マップ内の画素に対して予測が実行される。詳細なプロセスは、本明細書では再度説明されない。

【0066】

本発明によれば、投影残差情報の符号化中に、投影残差情報マップの予測を支援するために、プレースホルダ情報マップおよび深度情報マップが使用され、これによって符号化効率を向上させる。

【0067】

本発明の別の実施形態では、予測残差を取得するために、符号化および復号された画素の再構築された投影残差情報に従って投影残差情報マップ内の画素に対して直接予測を実行するために、従来の符号化方法が代替的に使用されてもよい。

【0068】

加えて、予測残差を取得するために投影残差情報マップ内の画素に対して予測を実行するために、レート歪み最適化モデルを通じて複数の予め設定された予測モードから最適な予測モードが代替的に選択されてもよい。

【0069】

例えば、以下のような6つの予測モードが設定されてもよい。
Mode0：直接モード、スキップ予測、および圧縮を直接実行；
Mode1：左方予測、参照画素として左の空でない画素を使用；
Mode2：上方予測、参照画素として上の空でない画素を使用；
Mode3：左上予測、参照画素として左上の空でない画素を使用；
Mode4：右上予測、参照画素として右上の空でない画素を使用；
Mode5：参照画素として左、上、左上、および右上の空でない画素を使用。
最適なモードは、予測残差を取得するためのレート歪みモデルを通じた予測のために選択される。

【0070】

42）予測残差を符号化して、投影残差情報コードストリームを取得する。

【0071】

投影残差情報の予測が完了した後、予測残差は符号化される必要がある。投影残差情報マップに対して非可逆符号化が実行されるとき、投影残差情報の予測残差は符号化の前に量子化される必要があることに留意されたい。投影残差情報マップに対して可逆符号化が実行されるとき、予測残差は量子化される必要がない。

【0072】

具体的には、この実施形態は、コンテキストベースのエントロピー符号化方式で実施される。例えば、予測残差を符号化するために、図7に示されるエントロピー符号化プロセスが使用されてもよい。具体的な符合化プロセスは以下の通りである。
a．まず、現在の画素の投影残差の予測残差情報が0であるか否かを判定し、予測残差情報が0である場合、0識別子を符号化し、後続の符号化の実行をスキップする。
b．そうでなければ、現在の画素の投影残差の予測残差情報が1であるか否かを判定し、予測残差情報が1である場合、1識別子を符号化し、後続の符号化の実行をスキップする。
c．そうでなければ、現在の画素の投影残差の予測残差が2であるか否かを判定し、予測残差が2である場合、2識別子を符号化し、後続の符号化の実行をスキップする。
d．そうでなければ、現在の予測残差値から3を減算し、次いで、予測残差が特定の閾値よりも大きいか否かを判定し、予測残差が特定の閾値よりも小さい場合、現在の予測残差のコンテキストモデルを設計し、そうでなければ、以下のように符号化を実行する。

【0073】

予測残差が符号化のための閾値よりも小さい部分の予測残差情報のためのコンテキストを設計するステップと、

【0074】

予測残差が閾値よりも大きい部分の予測残差情報に対して指数ゴロム符号化を実行するステップ。

【0075】

ここまでで、投影残差情報マップの符号化が完了する。

【0076】

加えて、本発明の別の実施形態では、投影残差情報マップは、画像／ビデオ圧縮を通じて代替的に符号化されてもよい。本明細書で使用され得る符号化解決策は、JPEG、JPEG2000、HEIF、H．264＼AVC、H．265＼HEVCなどを含むが、これらに限定されない。

【0077】

発明の別の実施形態では、対応するコードストリーム情報を取得するために、プレースホルダ情報マップ、深度情報マップ、座標変換誤差情報マップ、および属性情報マップなど、二次元投影平面構造に従って取得された他の情報マップがさらに符号化されてもよい。

【0078】

本発明によれば、三次元空間の点群は、対応する二次元正則化投影平面構造に投影され、三次元表現構造内のスパース性が回避されて点群の空間相関がより良く反映されるように、二次元投影平面構造上の点群の強い相関表現を取得するために、点群に対して垂直方向および水平方向に正則化補正が実行され、投影残差情報マップおよび他の二次元画像情報が続いて符号化されるとき、点群の相関関係が大いに利用されることができ、空間冗長性が低減され、これによって点群の符号化効率をさらに向上させる。

【0079】

実施形態2
実施形態1に基づいて、この実施形態は、二次元正則化平面投影に基づく点群符号化デバイスを提供する。図8は、以下を含む、本発明の一実施形態による、二次元正則化平面投影に基づく点群符号化デバイスの概略構造図である。
元の点群データを取得するように構成された第1のデータ取得モジュール11と、
元の点群データに対して二次元正則化平面投影を行って、二次元投影平面構造を取得するように構成された投影モジュール12と、
二次元投影平面構造に従って複数の二次元画像情報を取得するように構成されたデータ処理モジュール13と、
複数の二次元画像情報を符号化して、コードストリーム情報を取得するように構成された符号化モジュール14。

【0080】

この実施形態で提供される符号化デバイスは、実施形態1に記載される符号化方法を実施することができ、詳細なプロセスは、本明細書では再度説明されない。

【0081】

実施形態3
図9は、本発明の一実施形態による、二次元正則化平面投影に基づく点群復号方法の概略図であり、方法は、以下を含む。

【0082】

ステップ1：コードストリーム情報を取得し、コードストリーム情報を復号して、解析データを取得する。

【0083】

デコーダ側は、圧縮されたコードストリーム情報を取得し、解析データを取得するためにコードストリーム情報に対して対応する復号を実行するために、対応する既存のエントロピー復号技術を使用する。

【0084】

具体的な復号プロセスは以下の通りである。
a．まず、現在の画素の投影残差の予測残差情報が0であるか否かを解析し、予測残差情報が0である場合、現在の画素の予測残差は0であり、後続の復号の実行をスキップする。
b．そうでなければ、現在の画素の投影残差の予測残差情報が1であるか否かを解析し、予測残差情報が1である場合、現在の画素の予測残差は1であり、後続の復号の実行をスキップする。
c．そうでなければ、現在の画素の投影残差の予測残差情報が2であるか否かを解析し、予測残差情報が2である場合、現在の画素の予測残差は2であり、後続の復号の実行をスキップする。
d．そうでなければ、復号のために現在の画素の投影残差の予測残差のための対応するコンテキストモデルを設計士、次いで、解析によって取得された予測残差が特定の閾値よりも大きいか否かを判定し、予測残差が特定の閾値よりも小さい場合、後続の復号の実行をスキップし、そうでなければ、予測残差が閾値よりも大きい部分の予測残差値を指数ゴロム復号方式で復号する。最後に、解析によって取得された投影残差情報の最終予測残差として、予測残差値に3が加算される。

【0085】

エンコーダ側が投影残差情報の予測残差を量子化する場合、本明細書では、解析によって取得された予測残差が量子化される必要があることに留意されたい。

【0086】

ステップ2：解析データに従って複数の二次元画像情報を再構築する。

【0087】

この実施形態では、ステップ2は以下のステップを含み得る。

【0088】

再構築された投影残差情報マップを取得するために、解析データの投影残差情報マップの予測残差に従って投影残差情報マップを再構築するステップを含む。

【0089】

具体的には、エンコーダ側では、複数の二次元画像情報が投影残差情報マップを含み、すなわち、投影残差情報マップが符号化されるので、デコーダ側のコードストリーム情報は、これに対応して投影残差情報コードストリームを含む。より具体的には、コードストリーム情報を復号することによって取得された解析データは、深度情報の予測残差を含む。

【0090】

実施形態1では、エンコーダ側が、特定の操作順で投影残差情報マップ内の画素をトラバースし、その中の空でない画素の投影残差情報を符号化するので、デコーダ側によって取得された画素投影残差情報の予測残差もまたこの順序であり、デコーダ側は、正則化パラメータを使用して投影残差情報マップの分解能を取得し得る。詳細については、実施形態1のS2の二次元投影平面構造を初期化する部分を参照されたい。したがって、デコーダ側は、投影残差情報マップおよびプレースホルダ情報マップの分解能に応じて、二次元マップ内の現在再構築対象となっている画素の位置を知ることができる。

【0091】

具体的には、図10は、本発明の一実施形態による、深度情報マップの復号ブロック図である。現在再構築対象となっている画素の投影残差情報は、プレースホルダ情報マップ、深度情報マップ、および符号化および復号された画素の再構築された投影残差情報に従って予測され、これは、エンコーダ側の予測方法と一致する。まず、現在再構築対象となっている画素の隣接領域内の符号化および復号された画素の占有率を決定するためにプレースホルダ情報マップが使用され、次いで、その中の空でない画素が識別される。続いて、エンコーダによって確立された符号化および復号された空でない画素の深度情報と再構築された投影残差情報との間の関係が使用される。2つの画素の深度情報が近い場合、それらの投影残差もまた近く、現在再構築対象となっている画素のものに近い深度情報を有する画素が参照画素として符号化および復号された空でない画素から選択されてもよく、参照画素の再構築された投影残差情報は、現在の画素の投影残差情報の予測値として平均化される。続いて、現在の画素の投影残差情報が、取得された予測値および解析によって取得された予測残差に従って再構築される。すべての画素の投影残差が再構築された後、再構築された投影残差情報マップが取得される。

【0092】

ステップ3：二次元画像情報に従って二次元投影平面構造を取得する。

【0093】

二次元投影平面構造の分解能は投影残差情報マップのものと一致し、投影残差情報マップは再構築されているので、再構築された二次元投影平面構造を取得するために、二次元投影平面構造内の空でない各画素の投影残差情報がわかる。

【0094】

ステップ4：二次元投影平面構造を使用して点群を再構築する。

【0095】

特定の操作順で再構築された二次元投影平面構造内の画素をトラバースすることによって、空でない各画素の投影残差情報がわかる。現在の画素（i，j）が空でなく、その投影残差が（Δφ，Δi）である場合、その画素に対応する空間点（x，y，z）を再構築するために、深度情報および座標変換誤差情報などの他の情報が使用される。具体的には、現在の画素（i，j）の対応する位置は（φ_j，i）で表されてもよく、すると、現在の画素に対応する空間点（x，y，z）を再構築するために、正則化パラメータ、ならびに深度情報および座標変換誤差情報（Δx，Δy，Δz）などの他の情報が使用され得る。具体的な計算は、以下の通りである。
φ_j＝－180°＋j×Δφ
θ_i＝θ₀
xl＝r・sin（φ_j－α）－H₀・cos（φ_j－α）
yl＝r・cos（φ_j－α）－H₀・sin（φ_j－α）
zl＝r・tanθ_i＋V₀
（x，y，z）＝（xl，yl，zl）＋（Δx，Δy，Δz）

【0096】

最後に、再構築された点群を取得するために、上述の計算に従って、二次元投影構造内の空でない各画素について、対応する空間点が再構築されることが可能である。

【0097】

実施形態4
実施形態3に基づいて、この実施形態は、二次元正則化平面投影に基づく点群復号デバイスを提供する。図11は、以下を含む、本発明の一実施形態による、二次元正則化平面投影に基づく点群復号デバイスの概略構造図である。
コードストリーム情報を取得し、解析データを取得するためにコードストリーム情報を復号するように構成された第2のデータ取得モジュール21と、
解析データに従って複数の二次元画像情報を再構築するように構成された第1の再構築モジュール22と、
複数の二次元画像情報に従って二次元投影平面構造を取得するように構成された第2の再構築モジュール23と、
二次元投影平面構造を使用して点群を再構築するように構成された点群再構築モジュール24。

【0098】

この実施形態で提供される復号デバイスは、実施形態5の復号方法を実施することができ、詳細なプロセスは、本明細書では再度説明されない。

【0099】

上述の内容は、特定の例示的な実施形態を参照した本発明の詳細な説明であり、本発明の特定の実施形態がこれらの説明に限定されると見なされるべきではない。本発明が属する分野の当業者は、本発明の概念から逸脱することなく、いくつかの単純な推定または置換をさらに行ってもよく、このような推定または置換は、すべて本発明の保護範囲内にあると見なされるべきである。

【符号の説明】

【0100】

11 第1のデータ取得モジュール
12 投影モジュール
13 データ処理モジュール
14 符号化モジュール
21 第2のデータ取得モジュール
22 第1の再構築モジュール
23 第2の再構築モジュール
24 点群再構築モジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2023-08-17

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００９８

【補正方法】変更

【補正の内容】

【0098】

この実施形態で提供される復号デバイスは、実施形態1の復号方法を実施することができ、詳細なプロセスは、本明細書では再度説明されない。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

二次元正則化平面投影に基づく点群符号化方法であって、
元の点群データを取得するステップと、
二次元投影平面構造を取得するために、前記元の点群データに対して二次元正則化平面投影を実行するステップと、
前記二次元投影平面構造に従って複数の二次元画像情報を取得するステップであって、前記複数の二次元画像情報は方位角の投影残差情報を含む、ステップと、
前記方位角の投影残差の予測残差を取得するために、深度情報に基づいて前記方位角の前記投影残差情報に対して予測を実行するステップと、
コードストリーム情報を取得するために前記方位角の投影残差の前記予測残差を符号化するステップとを含む、二次元正則化平面投影に基づく点群符号化方法。

【請求項2】

前記複数の二次元画像情報は投影残差情報マップを含み、前記投影残差情報マップは方位角の前記投影残差情報を含む、請求項1に記載の二次元正則化平面投影に基づく点群符号化方法。

【請求項3】

コードストリーム情報を取得するために前記方位の投影残差の前記予測残差を符号化する前記ステップは、
投影残差情報コードストリームを取得するために前記方位角の投影残差の前記予測残差を符号化するステップを含む、請求項2に記載の二次元正則化平面投影に基づく点群符号化方法。

【請求項4】

方位角の投影残差の予測残差を取得するために深度情報に基づいて前記方位角の前記投影残差情報に対して予測を実行する前記ステップは、
投影残差の予測残差を取得するために、プレースホルダ情報マップおよび深度情報マップに基づいて前記投影残差情報マップ内の画素の予測を実行するステップであって、投影残差の前記予測残差は、前記方位角の投影残差の前記予測残差を含む、ステップを含む、請求項3に記載の二次元正則化平面投影に基づく点群符号化方法。

【請求項5】

投影残差の予測残差を取得するために、プレースホルダ情報マップおよび深度情報マップに基づいて前記投影残差情報マップ内の画素の予測を実行する前記ステップは、
特定の走査順で前記投影残差情報マップ内の画素をトラバースし、前記プレースホルダ情報マップに従って現在の空でない画素の隣接領域内の符号化および復号された空でない画素を識別するステップと、
前記符号化および復号された空でない画素を使用して、深度情報と再構築された投影残差情報との間の関係を確立し、現在の画素の投影残差の推定値を取得するために、前記関係に従って前記現在の画素に対応する投影残差情報を推定するステップと、
前記現在の画素の前記投影残差の予測残差を取得するために、前記現在の画素の前記投影残差の予測値として前記推定値を使用するステップとを含む、請求項4に記載の二次元正則化平面投影に基づく点群符号化方法。

【請求項6】

二次元正則化平面投影に基づく点群符号化デバイスであって、前記点群符号化デバイスは、
元の点群データを取得し、
二次元投影平面構造を取得するために、前記元の点群データに対して二次元正則化平面投影を実行し、
前記二次元投影平面構造に従って複数の二次元画像情報を取得し、前記複数の二次元画像情報は方位角の投影残差情報を含み、
前記方位角の投影残差の予測残差を取得するために、深度情報に基づいて前記方位角の前記投影残差情報に対して予測を実行し、
コードストリーム情報を取得するために前記方位角の投影残差の前記予測残差を符号化するように構成される、二次元正則化平面投影に基づく点群符号化デバイス。

【請求項7】

二次元正則化平面投影に基づく点群復号方法であって、
コードストリーム情報を取得し、解析データを取得するために前記コードストリーム情報を復号するステップであって、前記解析データは、前記方位角の投影残差の予測残差を含む、ステップと、
前記解析データに従って複数の二次元画像情報を再構築するステップと、
前記複数の二次元画像情報に従って二次元投影平面構造を取得するステップであって、前記複数の二次元画像情報は方位角の投影残差情報を含む、ステップと、
前記二次元投影平面構造を使用して点群を再構築するステップとを含む、二次元正則化平面投影に基づく点群復号方法。

【請求項8】

前記解析データに従って複数の二次元画像情報を再構築する前記ステップは、
再構築された投影残差情報マップを取得するために、前記解析データの投影残差情報マップの予測残差に従って前記投影残差情報マップを再構築するステップを含む、請求項7に記載の二次元正則化平面投影に基づく点群復号方法。

【請求項9】

二次元正則化平面投影に基づく点群復号デバイスであって、前記点群復号デバイスは、
コードストリーム情報を取得し、解析データを取得するために前記コードストリーム情報を復号し、前記解析データは前記方位角の投影残差の予測残差を含み、
前記解析データに従って複数の二次元画像情報を再構築し、
前記複数の二次元画像情報に従って二次元投影平面構造を取得し、前記複数の二次元画像情報は方位角の投影残差情報を含み、
前記二次元投影平面構造を使用して点群を再構築するように構成される、二次元正則化平面投影に基づく点群復号デバイス。

【請求項10】

前記方位角の投影残差の予測残差を取得するために、深度情報に基づいて前記方位角の前記投影残差情報に対して予測を実行する前記ステップは、
現在の画素の予測された投影残差を取得するために、深度情報に基づいて前記方位角の前記投影残差情報に対して予測を実行するステップと、
前記現在の画素の元の投影残差と前記予測された投影残差との差に従って、前記現在の画素の前記投影残差の予測残差を取得するステップとを含む、請求項1に記載の二次元正則化平面投影に基づく点群符号化方法。

【請求項11】

二次元投影平面構造を取得するために前記元の点群データに対して二次元正則化平面投影を実行する前記ステップは、
二次元投影平面構造を取得するために、正則化パラメータに従って前記元の点群データに対して二次元正則化平面投影を実行するステップであって、前記正則化パラメータは、以下のパラメータ、すなわち、レーザスキャナの数、および水平サンプリング角度分解能のうちの少なくとも1つを含む、ステップを含む、請求項1に記載の二次元正則化平面投影に基づく点群符号化方法。

【国際調査報告】