特許 7564348 ２次元正則化平面投影に基づくポイントクラウド符号化及び復号方法並びに装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】２次元正則化平面投影に基づくポイントクラウド符号化及び復号方法並びに装置

(51)【国際特許分類】

   G06T 9/00 20060101AFI20241001BHJP

【ＦＩ】

G06T9/00

【請求項の数】 10

(21)【出願番号】P 2023517332

(86)(22)【出願日】2022-02-07

(65)【公表番号】

(43)【公表日】2023-09-28

(86)【国際出願番号】 CN2022075397

(87)【国際公開番号】W WO2022166963

(87)【国際公開日】2022-08-11

【審査請求日】2023-03-15

(31)【優先権主張番号】202110172795.4

(32)【優先日】2021-02-08

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】521218881

【氏名又は名称】オナー デバイス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ヤーン，フゥジュヨン

(72)【発明者】

【氏名】ジャーン，ウエイ

【審査官】岩井 健二

(56)【参考文献】

【文献】Lanyi He, Wenjie Zhu, and Yiling Xu，Best-Effort Projection Based Attribute Compression for 3D Point Cloud，APCC，IEEE，2017年，pp.1-6

【文献】Vida Fakour Sevom, Sebastian Schwarz, and Moncef Gabbouj，Geometry-Guided 3D Data Interpolation for Projection-Based Dynamic Point Cloud Coding，EUVIP，IEEE，2018年11月，pp.1-6

【文献】Eurico Lopes, Joao Ascenso, Catarina Brites, and Fernando Pereira，ADAPTIVE PLANE PROJECTION FOR VIDEO-BASED POINT CLOUD CODING，ICME，IEEE，2019年，pp.49-54

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ９／００ － ９／４０

(57)【特許請求の範囲】

【請求項1】

オリジナルポイントクラウドデータを取得することと、
前記オリジナルポイントクラウドデータに対して２次元正則化平面投影を実行して１つの２次元投影平面構造を得ることと、
前記２次元投影平面構造に従って複数の２次元画像情報を得ることと、
前記複数の２次元画像情報を符号化してコードストリーム情報を得ることと、
を有する２次元正則化平面投影に基づくポイントクラウド符号化方法。

【請求項2】

前記オリジナルポイントクラウドデータに対して２次元正則化平面投影を実行して２次元投影平面構造を得ることは、
前記２次元投影平面構造を初期化することと、
前記オリジナルポイントクラウドデータと前記２次元投影平面構造との間のマッピング関係を決定して、前記オリジナルポイントクラウドデータを前記２次元投影平面構造上に投影することと、
を有する、請求項１に記載の２次元正則化平面投影に基づくポイントクラウド符号化方法。

【請求項3】

前記複数の２次元画像情報はジオメトリ情報マップを有し、該ジオメトリ情報マップは、プレースホルダ情報マップ、深度情報マップ、投影残差情報マップ、及び座標変換誤差情報マップを有する、請求項１に記載の２次元正則化平面投影に基づくポイントクラウド符号化方法。

【請求項4】

前記複数の２次元画像情報を符号化してコードストリーム情報を得ることは、
前記プレースホルダ情報マップ、前記深度情報マップ、前記投影残差情報マップ、及び前記座標変換誤差情報マップを符号化して、それぞれ、プレースホルダ情報コードストリーム、深度情報コードストリーム、投影残差情報コードストリーム、及び座標変換誤差情報コードストリームを得ることと、
前記プレースホルダ情報コードストリーム、前記深度情報コードストリーム、前記投影残差情報コードストリーム、及び前記座標変換誤差情報コードストリームに従って、ジオメトリ情報コードストリームを得ることと、
を有する、請求項３に記載の２次元正則化平面投影に基づくポイントクラウド符号化方法。

【請求項5】

前記ジオメトリ情報コードストリームを得た後に、当該方法は更に、
前記ジオメトリ情報コードストリームに従ってジオメトリ再構成を実行して、再構成ポイントクラウドジオメトリ情報を得ることと、
前記再構成ポイントクラウドジオメトリ情報に基づいて前記オリジナルポイントクラウドデータの属性情報を符号化して、属性情報コードストリームを得ることと、
を有する、請求項４に記載の２次元正則化平面投影に基づくポイントクラウド符号化方法。

【請求項6】

前記複数の２次元画像情報は更に属性情報マップを有する、請求項３に記載の２次元正則化平面投影に基づくポイントクラウド符号化方法。

【請求項7】

前記複数の２次元画像情報を符号化してコードストリーム情報を得ることは更に、
前記属性情報マップを符号化して属性情報コードストリームを得ること、
を有する、請求項６に記載の２次元正則化平面投影に基づくポイントクラウド符号化方法。

【請求項8】

オリジナルポイントクラウドデータを取得するように構成された第１のデータ取得モジュール（１１）と、
前記オリジナルポイントクラウドデータに対して２次元正則化平面投影を実行して１つの２次元投影平面構造を得るように構成された投影モジュール（１２）と、
前記２次元投影平面構造に従って複数の２次元画像情報を得るように構成されたデータ処理モジュール（１３）と、
前記複数の２次元画像情報を符号化してコードストリーム情報を得るように構成された符号化モジュール（１４）と、
を有する２次元正則化平面投影に基づくポイントクラウド符号化装置。

【請求項9】

コードストリーム情報を取得し、該コードストリーム情報を復号して解析済みデータを得ることと、
前記解析済みデータに従って複数の２次元画像情報を再構成することと、
前記複数の２次元画像情報に従って１つの２次元投影平面構造を得ることと、
前記２次元投影平面構造を用いてポイントクラウドを再構成することと、
を有する２次元正則化平面投影に基づくポイントクラウド復号方法。

【請求項10】

コードストリーム情報を取得し、該コードストリーム情報を復号して解析済みデータを得るように構成された第２のデータ取得モジュール（２１）と、
前記解析済みデータに従って複数の２次元画像情報を再構成するように構成された第１の再構成モジュール（２２）と、
前記複数の２次元画像情報に従って１つの２次元投影平面構造を得るように構成された第２の再構成モジュール（２３）と、
前記２次元投影平面構造を用いてポイントクラウドを再構成するように構成されたポイントクラウド再構成モジュール（２４）と、
を有する２次元正則化平面投影に基づくポイントクラウド復号装置。

【発明の詳細な説明】

【技術分野】

【0001】

この出願は、２０２１年２月８日に中国国家知識産権局に出願された、“２次元正則化平面投影に基づくポイントクラウド符号化及び復号方法並びに装置”と題する中国特許出願第２０２１１０１７２７９５．４号に対する優先権を主張するものであり、それをその全体にてここに援用する。

【0002】

本発明は、符号化及び復号の技術分野に関し、具体的には、２次元正則化平面投影に基づくポイントクラウド符号化及び復号方法並びに装置に関する。

【背景技術】

【0003】

ハードウェア処理能力の向上及びコンピュータビジョンの急速な発展に伴い、３次元ポイントクラウドが、音声、画像、及び映像に次ぐ新世代の没入型マルチメディアとなっており、仮想現実、拡張現実、自動運転、環境モデリング、及びこれらに類するものに広く応用されている。しかしながら、３次元ポイントクラウドは通常、ポイントクラウドデータの伝送及び保管に資するものではない比較的多くの量のデータを有する。従って、効率的なポイントクラウド符号化及び復号技術を研究することは大いに意義がある。

【0004】

既存のジオメトリベースのポイントクラウド圧縮（Ｇ－ＰＣＣ、Geometry-based Point Cloud Compression）符号化フレームワークでは、ポイントクラウドのジオメトリ情報と属性情報とが別々に符号化される。現在、Ｇ－ＰＣＣジオメトリック符号化及び復号は、八分木ベースのジオメトリック符号化及び復号と、予測ツリーベースのジオメトリック符号化及び復号に分割されることがある。

【0005】

八分木ベースのジオメトリック符号化及び復号： エンコーダ側では、先ず、ポイントクラウドのジオメトリ情報が前処理され、これは、ポイントクラウドの座標変換及びボクセル化プロセスを含む。続いて、幅優先のトラバーサル順で、ポイントクラウドが位置する境界ボックスに対してツリー分割（八分木／四分木／二分木）が連続して行われる。最後に、各ノードのプレースホルダコードが符号化されるとともに、各リーフノードに含まれるポイントの数が符号化されて、バイナリコードストリームを生成する。デコーダ側では、先ず、各ノードのプレースホルダコードが、幅優先のトラバース順で構文解析することによって連続して取得される。続いて、分割を通じて１×１×１の単位立方体が得られるまでツリー分割が順に連続して行われ、そして分割が停止する。最後に、各リーフノードに含まれるポイントの数が構文解析によって取得され、最終的に再構成されたポイントクラウドジオメトリ情報が得られる。

【0006】

予測ツリーベースのジオメトリック符号化及び復号： エンコーダ側では、先ず、オリジナルポイントクラウドがソートされる。続いて、予測ツリー構造が構築される。各ポイントをそのポイントが属するレーザスキャナに分類することにより、複数の異なるレーザスキャナに従って予測ツリー構造が構築される。続いて、予測ツリー内の各ノードをトラバースし、異なる予測モードを選択してノードのジオメトリ情報を予測することで予測残差が得られ、量子化パラメータを用いて予測残差が量子化される。最後に、予測ツリー構造、量子化パラメータ、及びノードのジオメトリ情報の予測残差などが符号化されて、バイナリコードストリームを生成する。デコーダ側では、先ず、コードストリームが分析され。次いで、予測ツリー構造が再構成され、続いて、構文解析によって得られた各ノードのジオメトリ情報の予測残差と量子化パラメータとに基づいて、予測残差が量子化解除され、そして最後に、各ノードの再構成されたジオメトリ情報が復元される。すなわち、ポイントクラウドジオメトリ情報の再構成が完了する。

【0007】

しかしながら、ポイントクラウドの比較的強い空間的な疎らさに起因して、八分木構造を用いたポイントクラウド符号化技術では、この構造は、比較的大きい割合のエンプティノードが分割によって得られることにつながり、ポイントクラウドの空間的な相関を十分に反映することができず、これは、ポイントクラウド予測及びエントロピー符号化に資するものではない。予測ツリーベースのポイントクラウド符号化及び復号技術においては、ライダー（lidar）装置の一部のパラメータを用いてツリー構造を構築し、これに基づく予測符号化に該ツリー構造が使用される。しかしながら、該ツリー構造はポイントクラウドの空間的な相関を十分に反映せず、これは、ポイントクラウド予測及びエントロピー符号化に資するものではない。従って、前述の２つのポイントクラウド符号化及び復号技術はどちらも、符号化効率の高さが不十分であるという問題を有する。

【発明の概要】

【0008】

既存技術における前述の問題を解決するために、本発明は、２次元正則化平面投影に基づくポイントクラウド符号化及び復号方法並びに装置を提供する。本発明で解決される技術的課題は、以下の技術的ソリューションによって実現される。

【0009】

２次元正則化平面投影に基づくポイントクラウド符号化方法が提供され、当該方法は、
オリジナルポイントクラウドデータを取得することと、
オリジナルポイントクラウドデータに対して２次元正則化平面投影を実行して２次元投影平面構造を得ることと、
２次元投影平面構造に従って複数の２次元画像情報を得ることと、
上記複数の２次元画像情報を符号化してコードストリーム情報を得ることと、を含む。

【0010】

本発明の一実施形態において、オリジナルポイントクラウドデータに対して２次元正則化平面投影を実行して２次元投影平面構造を得ることは、
２次元投影平面構造を初期化することと、
オリジナルポイントクラウドデータと２次元投影平面構造との間のマッピング関係を決定して、オリジナルポイントクラウドデータを２次元投影平面構造上に投影することと、を含む。

【0011】

本発明の一実施形態において、上記複数の２次元画像情報はジオメトリ情報マップを含み、該ジオメトリ情報マップは、プレースホルダ情報マップ、深度情報マップ、投影残差情報マップ、及び座標変換誤差情報マップを含む。

【0012】

本発明の一実施形態において、上記複数の２次元画像情報を符号化してコードストリーム情報を得ることは、
プレースホルダ情報マップ、深度情報マップ、投影残差情報マップ、及び座標変換誤差情報マップを符号化して、それぞれ、プレースホルダ情報コードストリーム、深度情報コードストリーム、投影残差情報コードストリーム、及び座標変換誤差情報コードストリームを得ることと、
プレースホルダ情報コードストリーム、深度情報コードストリーム、投影残差情報コードストリーム、及び座標変換誤差情報コードストリームに従って、ジオメトリ情報コードストリームを得ることと、を含む。

【0013】

本発明の一実施形態において、ジオメトリ情報コードストリームを得た後に、当該方法は更に、
ジオメトリ情報コードストリームに従ってジオメトリ再構成を実行して、再構成ポイントクラウドジオメトリ情報を得ることと、
再構成ポイントクラウドジオメトリ情報に基づいてオリジナルポイントクラウドデータの属性情報を符号化して、属性情報コードストリームを得ることと、を含む。

【0014】

本発明の一実施形態において、上記複数の２次元画像情報は更に属性情報マップを含む。

【0015】

本発明の一実施形態において、上記複数の２次元画像情報を符号化してコードストリーム情報を得ることは更に、
属性情報マップを符号化して属性情報コードストリームを得ること、を含む。

【0016】

本発明の他の一実施形態は更に、２次元正則化平面投影に基づくポイントクラウド符号化装置を提供し、当該装置は、
オリジナルポイントクラウドデータを取得するように構成された第１のデータ取得モジュールと、
オリジナルポイントクラウドデータに対して２次元正則化平面投影を実行して２次元投影平面構造を得るように構成された投影モジュールと、
２次元投影平面構造に従って複数の２次元画像情報を得るように構成されたデータ処理モジュールと、
上記複数の２次元画像情報を符号化してコードストリーム情報を得るように構成された符号化モジュールと、を含む。

【0017】

本発明の更なる他の一実施形態は更に、２次元正則化平面投影に基づくポイントクラウド復号方法を提供し、当該方法は、
コードストリーム情報を取得し、該コードストリーム情報を復号して解析済みデータを得ることと、
解析済みデータに従って複数の２次元画像情報を再構成することと、
上記複数の２次元画像情報に従って２次元投影平面構造を得ることと、
２次元投影平面構造を用いてポイントクラウドを再構成することと、を含む。

【0018】

本発明の更なる他の一実施形態は更に、２次元正則化平面投影に基づくポイントクラウド復号装置を提供し、当該装置は、
コードストリーム情報を取得し、該コードストリーム情報を復号して解析済みデータを得るように構成された第２のデータ取得モジュールと、
解析済みデータに従って複数の２次元画像情報を再構成するように構成された第１の再構成モジュールと、
上記複数の２次元画像情報に従って２次元投影平面構造を得るように構成された第２の再構成モジュールと、
２次元投影平面構造を用いてポイントクラウドを再構成するように構成されたポイントクラウド再構成モジュールと、を含む。

【0019】

本発明の有益な効果は次のとおりである：
本発明によれば、３次元空間内のポイントクラウドを対応する２次元正則化投影平面構造に投影し、鉛直方向及び水平方向にポイントクラウドに対して正則化補正を実行して２次元投影平面構造上でポイントクラウドの強い相関表現を得ることで、３次元表現構造における疎らさが回避され、ポイントクラウドの空間的な相関がより良く反映されるようになり、２次元正則化投影平面構造について得られた複数の２次元画像情報をその後に符号化するときに、ポイントクラウドの空間的な相関を大いに利用することができ、空間的な冗長性が減少され、それによりポイントクラウドの符号化効率が更に向上する。

【0020】

以下にて更に、添付図面及び実施形態を参照して本発明を詳細に説明する。

【図面の簡単な説明】

【0021】

【図1】本発明の一実施形態に従った、２次元正則化平面投影に基づくポイントクラウド符号化方法の概略図である。

【図2】本発明の一実施形態に従った、ポイントの円筒座標と２次元投影平面内のピクセルとの間の対応関係の概略図である。

【図3】本発明の一実施形態に従った、ポイントクラウドの２次元投影平面構造の概略図である。

【図4】本発明の一実施形態に従った投影残差の概略図である。

【図5】本発明の一実施形態に従った、ポイントクラウドジオメトリ情報の符号化フレームワーク図である。

【図6】本発明の一実施形態に従った、再構成ジオメトリ情報に基づいて属性情報の符号化を実行することのフレームワーク図である。

【図7】本発明の一実施形態に従った、ポイントクラウドジオメトリ情報と属性情報とを同時に符号化することのフレームワーク図である。

【図8】本発明の一実施形態に従った、２次元正則化平面投影に基づくポイントクラウド符号化装置の概略構成図である。

【図9】本発明の一実施形態に従った、２次元正則化平面投影に基づくポイントクラウド復号方法の概略図である。

【図10】本発明の一実施形態に従った、２次元正則化平面投影に基づくポイントクラウド復号装置の概略構成図である。

【発明を実施するための形態】

【0022】

以下、具体的な実施形態を参照して本発明をさらに詳細に説明するが、本発明の実装はこれに限定されない。

【0023】

実施形態１
図１は、本発明の一実施形態に従った、２次元正則化平面投影に基づくポイントクラウド符号化方法の概略図であり、当該方法は以下のステップを含む。

【0024】

Ｓ１： オリジナルポイントクラウドデータを取得する。

【0025】

具体的に、オリジナルポイントクラウドデータは通常、一群の３次元空間ポイントを含み、各空間ポイントが、その幾何学的位置情報と、例えば色、反射率、及び法線などの追加の属性情報とを記録する。ポイントクラウドの幾何学的位置情報は一般にデカルト座標系に基づいて表され、すなわち、ポイントの座標ｘ、ｙ、及びｚを用いて表される。オリジナルポイントクラウドデータは、例えばライダーなどの３Ｄスキャン装置を通じて取得されてもよいし、代わりに、様々なプラットフォームによって提供される公開データセットに基づいて取得されてもよい。この実施形態では、取得されるオリジナルポイントクラウドデータの幾何学的位置情報はデカルト座標系に基づいて表されると仮定する。なお、オリジナルポイントクラウドデータの幾何学的位置情報の表現方法はデカルト座標に限定されるものではない。

【0026】

Ｓ２： オリジナルポイントクラウドデータに対して２次元正則化平面投影を実行して２次元投影平面構造を得る。

【0027】

具体的に、この実施形態では、オリジナルポイントクラウドに対して２次元正則化平面投影を実行する前に、後の符号化を容易にするために、オリジナルポイントクラウドデータに対して更に例えばボクセル化処理などの前処理が実行される。

【0028】

先ず、２次元投影平面構造が初期化される。

【0029】

ポイントクラウドの２次元正則化投影平面構造の初期化は正則化パラメータの使用を必要とする。正則化パラメータは通常、製造業者によって精緻に測定され、必要なデータの１つとして消費者に提供され、例えば、ライダーの取得範囲、水平方位角のサンプリング角度分解能若しくはサンプリングポイントの数、各レーザスキャナの距離補正係数、鉛直方向及び水平方向におけるレーザスキャナのオフセット情報Ｖ_ｏ及びＨ_ｏ、並びにピッチ角及び水平方位角に沿ったレーザスキャナのオフセット情報θ_０及びαなどである。

【0030】

なお、正則化パラメータは、上で与えられたパラメータに限定されるものではない。ライダーの所与の較正パラメータが正則化パラメータとして用いられてもよいし、ライダーの較正パラメータが与えられていない場合に、例えば推定の最適化及びデータフィッティングなどの方法で正則化パラメータを得てもよい。

【0031】

ポイントクラウドの２次元正則化投影平面構造は、Ｍ行及びＮ列のピクセルを含むデータ構造であり、３次元ポイントクラウド内のポイントが投影後のデータ構造におけるピクセルに対応する。さらに、該データ構造におけるピクセル（ｉ，ｊ）は円筒座標成分（θ，φ）と関連付けられ得る。例えば、円筒座標（ｒ，θ，φ）に対応するピクセル（ｉ，ｊ）は、次式：

【数1】

を用いることによって見出され得る。

【0032】

具体的に、図２は、本発明の一実施形態に従った、ポイントの円筒座標と２次元投影平面内のピクセルとの間の対応関係の概略図である。

【0033】

なお、ここでのピクセルの対応関係は円筒座標に限定されるものではない。

【0034】

また、正則化パラメータを用いて２次元正則化投影平面の分解能を得ることができる。例えば、２次元正則化投影平面の分解能がＭ×Ｎであると仮定され、正則化パラメータにおけるレーザスキャナの数を用いてＭを初期化するとともに、水平方位角のサンプリング角度分解能：

【数2】

（又はレーザスキャナのサンプリングポイントの数）を用いてＮを初期化し得る。例えば、Ｍ×Ｎピクセルを含む平面構造を得るために、次式：

【数3】

を使用し、最終的に２次元投影平面構造の初期化を完了することができる。

【0035】

さらに、オリジナルポイントクラウドデータを２次元投影平面構造上に投影するために、オリジナルポイントクラウドデータと２次元投影平面構造とのマッピング関係が決定される。

【0036】

この部分では、２次元投影平面構造内でのオリジナルポイントクラウドの位置をポイントごとに決定することにより、元々はデカルト座標系で無秩序に分布していたポイントクラウドが、均等に分布した２次元正則化投影平面構造上にマッピングされる。具体的には、オリジナルポイントクラウド内の各ポイントについて、２次元投影平面構造内の対応するピクセルが決定される。例えば、２次元平面内のそのポイントの投影位置から最短の空間距離を持つピクセルが、そのポイントの対応するピクセルとして選択され得る。

【0037】

２次元投影に円筒座標系が使用される場合、オリジナルポイントクラウドに対応するピクセルを決定する具体的なプロセスは次のとおりである。

【0038】

ａ． オリジナルポイントクラウドデータの現在ポイントの円筒座標成分ｒが決定され、具体的には、次式：

【数4】

が計算に使用される。

【0039】

ｂ． ２次元投影平面構造内の現在ポイントの探索領域が決定される。具体的に、２次元投影平面構造の全体が直接的に探索領域として選択されてもよい。また、計算量を減らすために、現在ポイントの円筒座標成分のピッチ角θ及び方位角φを更に用いて２次元投影平面構造内の対応するピクセルの探索領域を決定することで、探索領域を小さくしてもよい。

【0040】

ｃ． 探索領域が決定された後に、探索領域内の各ピクセル（ｉ，ｊ）について、つまりはライダーのｉ番目のレーザスキャナの較正パラメータθ_０、Ｖ_ｏ、Ｈ_ｏ、及びαである正則化パラメータを用いて、デカルト座標系における現在ピクセルの位置（ｘｌ，ｙｌ，ｚｌ）を計算する。具体的な計算式は次のとおりである：

【数5】

【0041】

ｄ． デカルト座標系における現在ピクセルの位置（ｘｌ，ｙｌ，ｚｌ）を得た後、その位置と現在ポイント（ｘ，ｙ，ｚ）との間の空間距離が計算され、誤差Ｅｒｒ、すなわち、

【数6】

として使用される。

【0042】

誤差Ｅｒｒが現在の最小誤差ｍｉｎＥｒｒより小さい場合、誤差Ｅｒｒを用いて最小誤差ｍｉｎＥｒｒを更新するとともに、現在ピクセルに対応するｉ及びｊを用いて現在ポイントに対応するピクセルのｉ及びｊを更新し、誤差Ｅｒｒが最小誤差ｍｉｎＥｒｒより大きい場合には、前述の更新プロセスは行われないことになる。

【0043】

ｅ． 探索領域内の全てのピクセルをトラバースした後、２次元投影平面構造内の現在ポイントの対応ピクセル（ｉ，ｊ）を決定することができる。

【0044】

前述の処理がオリジナルポイントクラウド内の全てのポイントに対して完了すると、ポイントクラウドの２次元正則化平面投影が完了する。具体的に、図３は、本発明の一実施形態に従った、ポイントクラウドの２次元投影平面構造の概略図である。オリジナルポイントクラウドデータの各ポイントが、この構造内の対応ピクセルにマッピングされる。

【0045】

なお、ポイントクラウドの２次元正則化平面投影において、ポイントクラウド内の複数のポイントが２次元投影平面構造内の同一ピクセルに対応してしまうことがある。この状況を回避するために、これらの空間ポイントは、投影中に異なるピクセルに投影されるように選択され得る。例えば、ある特定のポイントの投影中に、該ポイントに対応するピクセルが既に対応ポイントを有している場合、該ポイントはそのピクセルに隣接する空き（empty）ピクセルに投影される。さらに、ポイントクラウド内の複数のポイントが２次元投影平面構造内の同一ピクセルに投影されている場合には、２次元投影平面構造に基づく符号化の際に、各ピクセルにおける対応ポイントの数を追加で符号化すべきであり、このポイント数に従って、ピクセルにおける各対応ポイントの情報が符号化される。

【0046】

Ｓ３： ２次元投影平面構造に従って複数の２次元画像情報を得る。

【0047】

この実施形態において、上記複数の２次元画像情報はジオメトリ情報マップを含み得る。ジオメトリ情報マップは、プレースホルダ情報マップ、深度情報マップ、投影残差情報マップ、及び座標変換誤差情報マップのうちの１つ以上とすることができ、あるいは、別のジオメトリ情報マップであってもよい。

【0048】

この実施形態では、具体的に、上述の４つのジオメトリ情報マップを例として用いて詳細な説明を行う。

【0049】

ａ． プレースホルダ情報マップ
プレースホルダ情報マップは、２次元正則化投影平面構造内の各ピクセルが占有されているかどうか、すなわち、各ピクセルがポイントクラウド内のポイントに対応しているかどうかを特定するために使用される。各ピクセルが占有されている場合、該ピクセルは非エンプティであるとして参照され、そうでない場合、該ピクセルはエンプティであるとして参照される。例えば、表現するために０と１を使用してもよく、１は現在ピクセルが占有されていることを示し、０は現在ピクセルが占有されていないことを示す。斯くして、ポイントクラウドの２次元投影平面構造に従ってポイントクラウドのプレースホルダ情報マップを得ることができる。

【0050】

ｂ． 深度情報マップ
深度情報マップは、２次元正則化投影平面構造内の各占有ピクセルの対応ポイントと座標原点との間の距離を表すために使用される。例えば、そのピクセルに対応するポイントの円筒座標成分ｒが、そのピクセルの深度として使用され得る。そのピクセルに対応するポイントのデカルト座標が（ｘ，ｙ，ｚ）であると仮定すると、そのポイントの円筒座標成分ｒ、すなわち、そのピクセルの深度は、式：

【数7】

を用いて得ることができる。これに基づき、２次元正則化投影平面構造内の各占有ピクセルは深度値を持ち、その結果、対応する深度情報マップが得られる。

【0051】

ｃ． 投影残差情報マップ
投影残差情報マップは、２次元正則化投影平面構造における各占有ピクセルの対応する位置と実際の投影位置との間の残差を表すために使用される。図４は、本発明の一実施形態に従った投影残差の概略図である。

【0052】

具体的に、ピクセルの投影残差は以下のように計算され得る。現在ピクセルが（ｉ，ｊ）であり、且つ現在ピクセルの対応ポイントのデカルト座標が（ｘ，ｙ，ｚ）であると仮定すると、そのポイントの実際の投影位置は（φ’，ｉ’）と表されることができ、これは次式：

【数8】

を用いて計算され得る。

【0053】

現在ピクセルの対応する位置は（φ，ｉ）と表されることができ、これは次式：

【数9】

を用いて計算され得る。

【0054】

従って、現在ピクセルに対応する投影残差（Δφ，Δｉ）は次式：

【数10】

を用いて計算され得る。

【0055】

上述の計算に基づき、２次元正則化投影平面内の各占有ピクセルは投影残差を持ち、その結果、ポイントクラウドに対応する投影残差情報マップが得られる。

【0056】

ｄ． 座標変換誤差情報マップ
座標変換誤差情報マップは、２次元正則化投影平面構造内の各占有ピクセルの逆投影を通じて得られる空間位置と、そのピクセルに対応するオリジナルポイントの空間位置との間の残差を表すために使用される。

【0057】

例えば、ピクセルの座標変換誤差は以下のように計算され得る。現在ピクセルが（ｉ，ｊ）であり、且つ現在ピクセルの対応ポイントのデカルト座標が（ｘ，ｙ，ｚ）であると仮定すると、正則化パラメータと次式を用いてそのピクセルをデカルト座標系に逆変換し戻して、対応するデカルト座標（ｘｌ，ｙｌ，ｚｌ）を得ることができる：

【数11】

【0058】

その後、現在ピクセルの座標変換誤差（Δｘ，Δｙ，Δｚ）が、次式：

【数12】

を用いて計算され得る。

【0059】

上述の計算に基づき、２次元正則化投影平面構造内の各占有ピクセルは座標変換誤差を持ち、その結果、ポイントクラウドに対応する座標変換誤差情報マップが得られる。

【0060】

本発明によれば、３次元空間内のポイントクラウドを対応する２次元正則化投影平面構造に投影し、鉛直方向及び水平方向にポイントクラウドに対して正則化補正を実行して２次元投影平面構造上でポイントクラウドの強い相関表現を得ることで、ポイントクラウドの空間的な相関がより良く反映されるようになり、それによりポイントクラウドの符号化効率が更に向上する。

【0061】

Ｓ４： 上記複数の２次元画像情報を符号化してコードストリーム情報を得る。

【0062】

図５は、本発明の一実施形態に従った、ポイントクラウドジオメトリ情報の符号化フレームワーク図である。

【0063】

この実施形態において、ステップＳ３で得られたプレースホルダ情報マップ、深度情報マップ、投影残差情報マップ、及び座標変換誤差情報マップが符号化されて、それぞれ、プレースホルダ情報コードストリーム、深度情報コードストリーム、投影残差情報コードストリーム、及び座標変換誤差情報コードストリームが得られる。

【0064】

具体的に、この実施形態では、プレースホルダ情報マップ、深度情報マップ、投影残差情報マップ、及び座標変換誤差情報マップ内のピクセルが、例えばＺ字型スキャンなど、ある特定のスキャン順序で別々にトラバースされる。

【0065】

プレースホルダ情報マップ内の現在ピクセルについて、符号化及び復号されたピクセルの再構成されたプレースホルダ情報が予測に使用され得る。具体的には、既存の様々な近隣予測技術が使用され得る。対応する予測残差を得た後、既存のエントロピー符号化技術を符号化に用いてプレースホルダ情報コードストリームを得ることができる。

【0066】

深度情報マップ内の現在ピクセルについて、再構成されたプレースホルダ情報マップ、及び符号化及び復号されたピクセルの再構成された深度情報が予測に使用され得る。具体的には、近隣ピクセルのプレースホルダ情報と組み合わせた既存の近隣予測技術に基づいて予測を行うことができ、すなわち、非エンプティのプレースホルダ情報を持つ近隣ピクセルのみを用いて現在ピクセルの深度情報を予測する。予測値は、例えば加重平均などの方式で計算され得る。対応する予測残差を得た後、既存のエントロピー符号化技術を符号化に用いて深度情報コードストリームを得ることができる。

【0067】

投影残差情報マップ内の現在ピクセルについて、再構成されたプレースホルダ情報マップ及び深度情報マップ、並びに符号化及び復号されたピクセルの再構成された投影残差情報が、予測に使用され得る。具体的には、近隣ピクセルのプレースホルダ情報及び深度情報と組み合わせた既存の近隣予測技術に基づいて予測を行うことができ、すなわち、非エンプティのプレースホルダ情報を持ち、且つ現在ピクセルの深度情報に近い深度情報を持つ近隣ピクセルのみを用いて、現在ピクセルの投影残差情報を予測する。予測値は、例えば加重平均などの方式で計算され得る。対応する予測残差を得た後、既存のエントロピー符号化技術を符号化に用いて予測残差情報コードストリームを得ることができる。

【0068】

座標変換誤差情報マップ内の現在ピクセルについて、再構成されたプレースホルダ情報マップ、深度情報マップ、及び投影残差情報マップ、並びに符号化及び復号されたピクセルの再構成された座標変換誤差情報が予測に使用され得る。具体的には、近隣ピクセルのプレースホルダ情報、深度情報、及び投影残差情報と組み合わせた既存の近隣予測技術に基づいて予測を行うことができ、すなわち、非エンプティのプレースホルダ情報を持ち、且つ現在ピクセルのものに近い深度情報及び投影残差情報を持つ近隣ピクセルのみを用いて、現在ピクセルの座標変換誤差情報を予測する。予測値は、例えば加重平均などの方式で計算され得る。対応する予測残差を得た後、既存のエントロピー符号化技術を符号化に用いて座標変換誤差情報コードストリームを得ることができる。

【0069】

また、予測残差は代わりに、量子化されてから符号化されてもよい。

【0070】

この実施形態では、例えばプレースホルダ情報マップ、深度情報マップ、投影残差情報マップ、及び座標変換誤差情報マップなどの、２次元正則化平面投影により得られた複数の２次元マップ情報が符号化されるときに、２次元画像における強い相関を効果的に用いて現在ピクセルに対する予測及びエントロピー符号化を行うことで、ポイントクラウドの空間的な相関を大いに利用することができ、空間的な冗長性を減少されることができ、それによりポイントクラウドの符号化効率が更に向上する。

【0071】

プレースホルダ情報コードストリーム、深度情報コードストリーム、投影残差情報コードストリーム、及び座標変換誤差情報コードストリームに従って、ジオメトリ情報コードストリームが得られる。

【0072】

この実施形態では、全てのジオメトリ情報マップを符号化した後、オリジナルポイントクラウドデータのジオメトリ情報コードストリームを得ることができる。

【0073】

本発明の他の一実施形態では、前述のジオメトリ情報マップについて、代わりに、以下に限られないがＪＰＥＧ、ＪＰＥＧ２０００、ＨＥＩＦ、Ｈ．２６４｜ＡＶＣ、及びＨ．２６５｜ＨＥＶＣなどを含む画像／映像圧縮などを通じて圧縮が行われてもよい。

【0074】

また、留意されたいことには、ポイントクラウドの投影残差の変更及び調整は、その座標変換誤差の大きさに影響を及ぼすことになる。従って、より高い符号化効率を得るために、ポイントクラウドの投影残差及び座標変換誤差は固定にされずに調整されてもよい。例えば、可逆符号化において、２次元投影精度が比較的高い場合、投影残差は比較的小さくなる。従って、投影残差を０に設定してもよい。この操作は座標変換誤差を僅かに増大させるものの、座標変換誤差の符号化効率がある一定の低下を有すること又は変化しないままであることが許される場合には、投影残差の符号化効率を大幅に向上させることができる。あるいは、２次元投影の精度が比較的低い場合、投影残差は比較的大きくなる。この場合、投影残差を適切に調整してもよく、その結果、それに従って座標変換誤差が変化する。その後、調整した投影残差及び座標変換誤差を符号化し、より高い符号化効率を得ることもできる。非可逆符号化においては、２次元投影精度が比較的高い場合、投影残差は比較的小さくなり、それ故に、投影残差を符号化しなくてもよい。あるいは、座標変換誤差が比較的小さい場合、座標変換誤差を符号化しなくてもよく、それにより符号化効率が向上する。代わりに、投影残差及び座標変換誤差を適切に調整してもよく、そして、調整した投影残差及び調整した座標変換誤差を符号化し、より高い符号化効率を得ることもできる。

【0075】

実施形態２
実施形態１におけるジオメトリ情報の符号化を完了したことに基づき、再構成されたジオメトリ情報に基づいて更に属性情報の符号化は行われ得る。図６は、本発明の一実施形態に従った、再構成ジオメトリ情報に基づいて属性情報の符号化を実行することのフレームワーク図である。

【0076】

先ず、実施形態１で得られたジオメトリ情報コードストリームに従ってジオメトリ再構成を行って、再構成ポイントクラウドジオメトリ情報を得る。

【0077】

その後、再構成ポイントクラウドジオメトリ情報に基づいてオリジナルポイントクラウドデータの属性情報を符号化して、属性情報コードストリームを得る。

【0078】

具体的に、属性情報の符号化は一般的に、空間ポイントの色情報及び反射率情報に対して行われる。オリジナルポイントクラウドデータの属性情報は、ポイントクラウドの幾何学的な再構成情報に基づいて既存技術を用いて符号化され得る。例えば、属性における色情報が最初にＲＧＢ色空間からＹＵＶ色空間に変換される。続いて、再構成ジオメトリ情報に基づいてポイントクラウドが色を付け直され、それ故に、符号化されない属性情報が再構成ジオメトリ情報に対応する。モートンコード又はヒルベルトコードを用いてポイントクラウドをソートした後、符号化されたポイントの再構成された属性値を用いて、予測すべきポイントに対して補間予測を実行して予測属性値を取得し、そして、実属性値と予測属性値との間で差分を行って予測残差を得る。最後に、予測残差を量子化及び符号化してバイナリコードストリームを生成する。

【0079】

実施形態３
実施形態１に基づき、２次元投影平面構造を用いることにより、属性情報マップも同時に得ることができる。その後、ジオメトリ情報マップと属性情報マップとを同時に符号化して、ジオメトリ情報コードストリームと属性情報コードストリームとを得る。図７は、本発明の一実施形態に従った、ポイントクラウドジオメトリ情報と属性情報とを同時に符号化することのフレームワーク図である。

【0080】

具体的に、ジオメトリ情報マップの符号化プロセスについては、実施形態１を参照し得る。属性情報マップの符号化プロセスは次のとおりである。

【0081】

先ず、属性情報マップ内のピクセルが、例えばＺ字型スキャンを通じてなど、ある特定のスキャン順序でトラバースされる。続いて、属性情報マップ内の現在ピクセルについて、再構成されたプレースホルダ情報マップ、及び符号化及び復号されたピクセルの再構成された属性情報が予測に使用され得る。具体的には、近隣ピクセルのプレースホルダ情報と組み合わせた既存の近隣予測技術に基づいて予測を行うことができ、すなわち、非エンプティのプレースホルダ情報を持つ近隣ピクセルのみを用いて現在ピクセルの属性情報を予測する。予測値は、例えば加重平均などの方式で計算され得る。対応する予測残差を得た後、既存のエントロピー符号化技術を符号化に用いて属性情報コードストリームを得ることができる。

【0082】

この実施形態では、２次元投影平面構造を用いてジオメトリ情報マップ及び属性情報マップが同時に取得され、そして、ジオメトリ情報及び属性情報が同時に符号化され、それにより符号化効率が向上する。

【0083】

実施形態４
実施形態１から実施形態３に基づき、この実施形態は、２次元正則化平面投影に基づくポイントクラウド符号化装置を提供する。図８は、本発明の一実施形態に従った、２次元正則化平面投影に基づくポイントクラウド符号化装置の概略構成図であり、当該装置は、
オリジナルポイントクラウドデータを取得するように構成された第１のデータ取得モジュール１１と、
オリジナルポイントクラウドデータに対して２次元正則化平面投影を実行して２次元投影平面構造を得るように構成された投影モジュール１２と、
２次元投影平面構造に従って複数の２次元画像情報を得るように構成されたデータ処理モジュール１３と、
上記複数の２次元画像情報を符号化してコードストリーム情報を得るように構成された符号化モジュール１４と、を含む。

【0084】

この実施形態で提供される符号化装置は、実施形態１から実施形態３で説明した符号化方式を実装することができ、詳細なプロセスをここで再び説明することはしない。

【0085】

実施形態５
図９は、本発明の一実施形態に従った、２次元正則化平面投影に基づくポイントクラウド復号方法の概略図であり、当該方法は、以下を含む。

【0086】

ステップ１： コードストリーム情報を取得し、該コードストリーム情報を復号して解析済みデータを得る。

【0087】

デコーダ側が、圧縮されたコードストリーム情報を取得し、対応する既存のエントロピー復号技術を用いて、対応する復号をコードストリーム情報に対して実行して解析済みデータを得る。

【0088】

ステップ２： 解析済みデータに従って複数の２次元画像情報を再構成する。

【0089】

この実施形態において、上記複数の２次元画像情報はジオメトリ情報マップを含み、該ジオメトリ情報マップは、プレースホルダ情報マップ、深度情報マップ、投影残差情報マップ、及び座標変換誤差情報マップを含む。

【0090】

これに基づき、解析済みデータは、主に、プレースホルダ情報の予測残差、深度情報の予測残差、投影残差情報の予測残差、及び座標変換誤差情報の予測残差を含む。

【0091】

エンコーダ側は、プレースホルダ情報マップ、深度情報マップ、投影残差情報マップ、及び座標変換誤差情報マップ内のピクセルをある特定のスキャン順序で別々にトラバースして、対応する情報を符号化するので、デコーダ側で得られるピクセルの予測残差情報もこの順序にあり、デコーダ側は、正則化パラメータを用いることによって２次元マップの分解能を得ることができる。詳細については、実施形態１のＳ２において２次元投影平面構造を初期化する部分を参照し得る。従って、デコーダ側は、２次元マップ内の現在再構成すべきピクセルの位置を知ることができる。

【0092】

プレースホルダ情報マップ内の現在再構成すべきピクセルについて、符号化及び復号されたピクセルの再構成されたプレースホルダ情報が予測に使用される。予測方法はエンコーダ側のそれと一致する。その後、得られた予測値及び解析済み予測残差に従って現在ピクセルのプレースホルダ情報が再構成される。

【0093】

深度情報マップ内の現在再構成すべきピクセルについて、再構成されたプレースホルダ情報マップ、及び符号化及び復号されたピクセルの再構成された深度情報が予測に使用され得る。予測方法はエンコーダ側のそれと一致し、すなわち、非エンプティのプレースホルダ情報を持つ近隣ピクセルのみを用いて現在ピクセルの深度情報を予測し、そして、得られた予測値及び解析済み予測残差に従って現在ピクセルの深度情報が再構成される。

【0094】

投影残差情報マップ内の現在再構成すべきピクセルについて、再構成されたプレースホルダ情報マップ、再構成された深度情報マップ、及び符号化及び復号されたピクセルの再構成された投影残差情報が、予測に使用され得る。予測方法はエンコーダ側のそれと一致し、すなわち、非エンプティのプレースホルダ情報を持ち、且つ現在ピクセルの深度情報に近い深度情報を持つ近隣ピクセルのみを用いて、現在ピクセルの投影残差情報を予測し、そして、得られた予測値及び解析済み予測残差に従って現在ピクセルの投影残差情報が再構成される。

【0095】

座標変換誤差情報マップ内の現在再構成すべきピクセルについて、再構成されたプレースホルダ情報マップ、再構成された深度情報マップ、再構成された投影残差情報マップ、及び符号化及び復号されたピクセルの再構成された座標変換誤差情報が予測に使用され得る。予測方法はエンコーダ側のそれと一致し、すなわち、非エンプティのプレースホルダ情報を持ち、且つ現在ピクセルのものに近い深度情報及び投影残差情報を持つ近隣ピクセルのみを用いて、現在ピクセルの座標変換誤差情報を予測し、そして、得られた予測値及び解析済み予測残差に従って現在ピクセルの座標変換誤差情報が再構成される。

【0096】

プレースホルダ情報マップ、深度情報マップ、投影残差情報マップ、及び座標変換誤差情報マップ内の各ピクセルを再構成された後、再構成されたプレースホルダ情報マップ、再構成された深度情報マップ、再構成された投影残差情報マップ、及び再構成された座標変換誤差情報マップを得ることができる。

【0097】

また、解析済みデータは更に属性情報の予測残差を含むことができ、それに対応して、属性情報マップも情報に基づいて再構成されることができる。

【0098】

ステップ３： 上記複数の２次元画像情報に従って２次元投影平面構造を得る。

【0099】

２次元投影平面構造の分解能は、プレースホルダ情報マップ、深度情報マップ、投影残差情報マップ、及び座標変換誤差情報マップの分解能と一致し、且つ全ての２次元画像情報が再構成されているので、２次元投影平面構造内の各ピクセルのプレースホルダ情報、深度情報、投影残差情報、及び座標変換誤差情報を知ることができ、再構成された２次元投影平面構造を得ることができる。

【0100】

対応して、再構成された２次元投影平面構造はポイントクラウドの属性情報を更に含むことができる。

【0101】

ステップ４： ２次元投影平面構造を用いてポイントクラウドを再構成する。

【0102】

具体的には、再構成された２次元投影平面構造内のピクセルをある特定のスキャン順序でトラバースすることにより、各ピクセルのプレースホルダ情報、深度情報、投影残差情報、及び座標変換誤差情報を知ることができる。現在ピクセル（ｉ，ｊ）のプレースホルダ情報が非エンプティである場合、該ピクセルに対応する空間ポイント（ｘ，ｙ，ｚ）が、つまりは該ピクセルの対応ポイントの円筒座標成分ｒである現在ピクセルの深度情報と、つまりは該ピクセルの対応する位置と実投影位置との間の残差（Δφ，Δｉ）である投影残差情報と、つまりは該ピクセルの逆投影によって得られる空間位置と該ピクセルに対応するオリジナルポイントの空間位置との間の残差（Δｘ，Δｙ，Δｚ）である座標変換誤差情報とに従って、以下のようにして再構成され得る。

【0103】

現在ピクセル（ｉ，ｊ）の対応する位置は（φｊ，ｉ）と表されることができ、すると、現在ピクセルに対応する空間ポイントの実際の投影位置（φ’，ｉ’）は以下となる：

【数13】

【0104】

正則化パラメータと次式を用いて現在ピクセルをデカルト座標系に逆変換し戻して、対応するデカルト座標（ｘｌ，ｙｌ，ｚｌ）を得ることができる：

【数14】

【0105】

現在ピクセルに対応する空間ポイント（ｘ，ｙ，ｚ）が、現在ピクセルの逆投影により得られた空間位置（ｘｌ，ｙｌ，ｚｌ）と座標変換誤差（Δｘ，Δｙ，Δｚ）とに従って、次式：

【数15】

を用いて再構成される。

【0106】

２次元投影構造内の非エンプティピクセルの各々について、対応する空間ポイントを上述の式に従って再構成して、再構成ポイントクラウドを得ることができる。

【0107】

なお、デコーダ側でポイントクラウドが再構成されるとき、エンコーダ端でのポイントクラウドのジオメトリ情報及び属性情報の符号化方式に従って適応的に再構成方式を選択して、対応する再構成ポイントクラウドを得ることができる。

【0108】

実施形態６
実施形態５に基づき、この実施形態は、２次元正則化平面投影に基づくポイントクラウド復号装置を提供する。図１０は、本発明の一実施形態に従った、２次元正則化平面投影に基づくポイントクラウド復号装置の概略構成図であり、当該装置は、
コードストリーム情報を取得し、該コードストリーム情報を復号して解析済みデータを得るように構成された第２のデータ取得モジュール２１と、
解析済みデータに従って複数の２次元画像情報を再構成するように構成された第１の再構成モジュール２２と、
上記複数の２次元画像情報に従って２次元投影平面構造を得るように構成された第２の再構成モジュール２３と、
２次元投影平面構造を用いてポイントクラウドを再構成するように構成されたポイントクラウド再構成モジュール２４と、を含む。

【0109】

この実施形態で提供される復号装置は、実施形態５の復号方法を実装することができ、詳細なプロセスをここで再び説明することはしない。

【0110】

以上の内容は、特定の例示的な実施形態を参照しての本発明の詳細な説明であり、本発明の具体的な実装がこれらの説明に限定されると見なされるべきでない。本発明が属する分野の当業者は、本発明の概念から逸脱することなく、幾つかの単純な演繹又は置換を更に為すことができ、そのような演繹又は置換は全て本発明の保護範囲内にあると見なされるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】