特許 7495185 点群復号装置、点群復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-27

(45)【発行日】2024-06-04

(54)【発明の名称】点群復号装置、点群復号方法及びプログラム

(51)【国際特許分類】

   G06T 9/00 20060101AFI20240528BHJP

【ＦＩ】

G06T9/00

【請求項の数】 5

(21)【出願番号】P 2020217770

(22)【出願日】2020-12-25

(65)【公開番号】P2022102806

(43)【公開日】2022-07-07

【審査請求日】2023-03-02

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和元年度、総務省、「多様な用途、環境下での高精細映像の活用に資する次世代映像伝送・通信技術の研究開発」委託事業、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】海野 恭平

(72)【発明者】

【氏名】河村 圭

【審査官】岩井 健二

(56)【参考文献】

【文献】国際公開第２０２１／２５６４８６（ＷＯ，Ａ１）

【文献】国際公開第２０２１／１９９７８１（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／００２１８４４（ＵＳ，Ａ１）

【文献】Khaled Mammou, Philip A. Chou, David Flynn, Maja Krivokuca, Ohji Nakagami and Toshiyasu Sugio，G-PCC codec description v2，CODING OF MOVING PICTURES AND AUDIO，ISO/IEC JTC1/SC29/WG11 N18189，INTERNATIONAL ORGANISATION FOR STANDARDISATION，2019年01月，pp.1-3,17-19，https://mpeg.chiariglione.org/sites/default/files/files/standards/parts/docs/w18189.zip

【文献】Antoine Dricot, and Joao Ascenso，Adaptive Multi-level Triangle Soup for Geometrybased Point Cloud Coding，2019 IEEE 21st International Workshop on Multimedia Signal Processing (MMSP)，IEEE，2019年09月，pp.1-6

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ９／００ ー ９／４０

(57)【特許請求の範囲】

【請求項1】

点群復号装置であって、
各頂点の座標が平面上に投影された長方形の辺上のみに存在することを利用し、前記各頂点の座標値を基に前記各頂点にインデックスを付与するように構成されている近似表面合成部を備え、
前記近似表面合成部は、前記平面上に投影された前記長方形の辺上に起点を設定し、前記起点から時計回り又は反時計回りとなるように前記各頂点に前記インデックスを付与する、点群復号装置。

【請求項2】

前記近似表面合成部は、
前記長方形における垂直方向の辺上にある頂点に対して、垂直方向軸の座標値を用いて前記インデックスを付与し、
前記長方形における水平方向の辺上にある頂点に対して、水平方向軸の座標値を用いて前記インデックスを付与する、請求項１に記載の点群復号装置。

【請求項3】

前記近似表面合成部は、幾何情報復号部における復号処理に先立って、前記起点を設定する、請求項１又は２に記載の点群復号装置。

【請求項4】

各頂点の座標が平面上に投影された長方形の辺上のみに存在することを利用し、前記各頂点の座標値を基に前記各頂点にインデックスを付与する工程を有し、
前記工程において、前記平面上に投影された前記長方形の辺上に起点を設定し、前記起点から時計回り又は反時計回りとなるように前記各頂点に前記インデックスを付与する、点群復号方法。

【請求項5】

コンピュータを、点群復号装置として機能させるプログラムであって、
前記点群復号装置は、各頂点の座標が平面上に投影された長方形の辺上のみに存在することを利用し、前記各頂点の座標値を基に前記各頂点にインデックスを付与するように構成されている近似表面合成部を備え、
前記近似表面合成部は、前記平面上に投影された前記長方形の辺上に起点を設定し、前記起点から時計回り又は反時計回りとなるように前記各頂点に前記インデックスを付与する、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、点群復号装置、点群復号方法及びプログラムに関する。

【背景技術】

【0002】

非特許文献１には、Ｔｒｉｓｏｕｐ時の各頂点にインデックス（ｉｎｄｅｘ）を付与する手法として、アークタンジェントの近似計算を用いる技術が開示されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】Ｇ-ＰＣＣ Ｆｕｔｕｒｅ Ｅｎｈａｎｃｅｍｅｎｔ、ＩＳＯ/ＩＥＣ/ ＪＴＣ１/ＳＣ２９/ＷＧ１１ Ｎ１９３２８

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、非特許文献１におけるアークタンジェントの近似計算は、アークタンジェントを正しく近似できておらず、入力（座標値）に対する出力（角度）の大小関係が、理想的なアークタンジェントを使用した場合と一致しないという問題点があった。

【0005】

さらに、非特許文献１では、近似計算内に除算処理が使用されており、ハードウェア実装に不適であるという問題点があった。

【0006】

そこで、本発明は、上述の課題に鑑みてなされたものであり、Ｔｒｉｓｏｕｐにおいて簡易な方法で各頂点にインデックスを付与することができる点群復号装置、点群復号方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の特徴は、点群復号装置であって、各頂点の座標が平面上に投影された長方形の辺上のみに存在することを利用し、前記各頂点の座標値を基に前記各頂点にインデックスを付与するように構成されている近似表面合成部を備え、前記近似表面合成部は、前記平面上に投影された前記長方形の辺上に起点を設定し、前記起点から時計回り又は反時計回りとなるように前記各頂点に前記インデックスを付与することを要旨とする。

【0008】

本発明の第２の特徴は、点群復号装置であって、各頂点のｘ軸方向座標、ｙ軸方向座標及びｚ軸方向座標のうち、それぞれ最大値と最小値とを用いて投影面を決定する近似表面合成部を備えることを要旨とする。

【0009】

本発明の第３の特徴は、点群復号方法であって、各頂点の座標が平面上に投影された長方形の辺上のみに存在することを利用し、前記各頂点の座標値を基に前記各頂点にインデックスを付与する工程を有し、前記工程において、前記平面上に投影された前記長方形の辺上に起点を設定し、前記起点から時計回り又は反時計回りとなるように前記各頂点に前記インデックスを付与することを要旨とする。

【0010】

本発明の第４の特徴は、コンピュータを、点群復号装置として機能させるプログラムであって、前記点群復号装置は、各頂点の座標が平面上に投影された長方形の辺上のみに存在することを利用し、前記各頂点の座標値を基に前記各頂点にインデックスを付与するように構成されている近似表面合成部を備え、前記近似表面合成部は、前記平面上に投影された前記長方形の辺上に起点を設定し、前記起点から時計回り又は反時計回りとなるよう
に前記各頂点に前記インデックスを付与することを要旨とする。

【発明の効果】

【0011】

本発明によれば、Ｔｒｉｓｏｕｐにおいて簡易な方法で各頂点にインデックスを付与することができる点群復号装置、点群復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、一実施形態に係る点群処理システム１０の構成の一例を示す図である。

【図2】図２は、一実施形態に係る点群復号装置２００の機能ブロックの一例を示す図である。

【図3】図３は、一実施形態に係る点群復号装置２００の近似表面合成部２０３０による処理の一例を示すフローチャートである。

【図4A】図４Ａは、一実施形態に係る点群復号装置２００の近似表面合成部２０３０による処理の一例を説明するための図である。

【図4B】図４Ｂは、一実施形態に係る点群復号装置２００の近似表面合成部２０３０による処理の一例を説明するための図である。

【図4C】図４Ｃは、一実施形態に係る点群復号装置２００の近似表面合成部２０３０による処理の一例を説明するための図である。

【図5A】図５Ａは、一実施形態に係る点群復号装置２００の近似表面合成部２０３０による処理の一例を説明するための図である。

【図5B】図５Ｂは、一実施形態に係る点群復号装置２００の近似表面合成部２０３０による処理の一例を説明するための図である。

【図6】図６は、一実施形態に係る点群復号装置２００の近似表面合成部２０３０による処理の一例を説明するための図である。

【図7】図６は、一実施形態に係る点群復号装置２００の近似表面合成部２０３０による処理の一例を説明するための図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0014】

（第１実施形態）
以下、図１～図７を参照して、本発明の第１実施形態に係る点群処理システム１０について説明する。図１は、本実施形態に係る実施形態に係る点群処理システム１０を示す図である。

【0015】

図１に示すように、点群処理システム１０は、点群符号化装置１００及び点群復号装置２００を有する。

【0016】

点群符号化装置１００は、入力点群信号を符号化することによって符号化データ（ビットストリーム）を生成するように構成されている。点群復号装置２００は、ビットストリームを復号することによって出力点群信号を生成するように構成されている。

【0017】

なお、入力点群信号及び出力点群信号は、点群内の各点の位置情報と属性情報とから構成される。属性情報は、例えば、各点の色情報や反射率である。

【0018】

ここで、かかるビットストリームは、点群符号化装置１００から点群復号装置２００に対して伝送路を介して送信されてもよい。また、ビットストリームは、記憶媒体に格納された上で、点群符号化装置１００から点群復号装置２００に提供されてもよい。

【0019】

（点群復号装置２００）
以下、図２を参照して、本実施形態に係る点群復号装置２００について説明する。図２は、本実施形態に係る点群復号装置２００の機能ブロックの一例について示す図である。

【0020】

図２に示すように、点群復号装置２００は、幾何情報復号部２０１０と、ツリー合成部２０２０と、近似表面合成部２０３０と、幾何情報再構成部２０４０と、逆座標変換部２０５０と、属性情報復号部２０６０と、逆量子化部２０７０と、ＲＡＨＴ部２０８０と、ＬｏＤ算出部２０９０と、逆リフティング部２１００と、逆色変換部２１１０とを有する。

【0021】

幾何情報復号部２０１０は、点群符号化装置１００から出力されるビットストリームのうち、幾何情報に関するビットストリーム（幾何情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。

【0022】

復号処理は、例えば、コンテキスト適応二値算術復号処理である。ここで、例えば、シンタックスは、位置情報の復号処理を制御するための制御データ（フラグやパラメータ）を含む。

【0023】

ツリー合成部２０２０は、幾何情報復号部２０１０によって復号された制御データ及び後述するツリー内のどのノードに点群が存在するかを示すｏｃｃｕｐａｎｃｙ ｃｏｄｅを入力として、復号対象空間内のどの領域に点が存在するかというツリー情報を生成するように構成されている。

【0024】

本処理は、復号対象空間を直方体で区切り、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照して各直方体内に点が存在するかを判断し、点が存在する直方体を複数の直方体に分割し、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照するという処理を再帰的に繰り返すことで、ツリー情報を生成することができる。

【0025】

本実施形態では、上述の直方体を常に立方体として８分木分割を再帰的に行う「Ｏｃｔｒｅｅ」と呼ばれる手法、及び、８分木分割に加え、４分木分割及び２分木分割を行う「ＱｔＢｔ」と呼ばれる手法を使用することができる。「ＱｔＢｔ」を使用するか否かは、制御データとして点群符号化装置１００側から伝送される。

【0026】

或いは、制御データによってＰｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを使用するように指定された場合、ツリー合成部２０２０は、点群符号化装置１００において決定した任意のツリー構成に基づいて各点の座標を復号するように構成されている。

【0027】

近似表面合成部２０３０は、ツリー合成部２０２０によって生成されたツリー情報を用いて近似表面情報を生成し、近似表面情報を基に点群を復号するように構成されている。

【0028】

近似表面情報は、例えば、物体の３次元点群データを復号する際等において、点群が物体表面に密に分布しているような場合に、個々の点群を復号するのではなく、点群の存在領域を小さな平面で近似して表現したものである。

【0029】

具体的には、近似表面合成部２０３０は、例えば、「Ｔｒｉｓｏｕｐ」と呼ばれる手法で、近似表面情報を生成し、点群を復号することができる。「Ｔｒｉｓｏｕｐ」の具体的
な処理例については後述する。また、Ｌｉｄａｒ等で取得した疎な点群を復号する場合は、本処理を省略することができる。

【0030】

幾何情報再構成部２０４０は、ツリー合成部２０２０によって生成されたツリー情報及び近似表面合成部２０３０によって生成された近似表面情報を元に、復号対象の点群データの各点の幾何情報（復号処理が仮定している座標系における位置情報）を再構成するように構成されている。

【0031】

逆座標変換部２０５０は、幾何情報再構成部２０４０によって再構成された幾何情報を入力として、復号処理が仮定している座標系から、出力点群信号の座標系に変換を行い、位置情報を出力するように構成されている。

【0032】

属性情報復号部２０６０は、点群符号化装置１００から出力されるビットストリームのうち、属性情報に関するビットストリーム（属性情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。

【0033】

復号処理は、例えば、コンテキスト適応二値算術復号処理である。ここで、例えば、シンタックスは、属性情報の復号処理を制御するための制御データ（フラグ及びパラメータ）を含む。

【0034】

また、属性情報復号部２０６０は、復号したシンタックスから、量子化済み残差情報を復号するように構成されている。

【0035】

逆量子化部２０７０は、属性情報復号部２０６０によって復号された量子化済み残差情報と、属性情報復号部２０６０によって復号された制御データの一つである量子化パラメータとを元に、逆量子化処理を行い、逆量子化済み残差情報を生成するように構成されている。

【0036】

逆量子化済み残差情報は、復号対象の点群の特徴に応じて、ＲＡＨＴ部２０８０及びＬｏＤ算出部２０９０のいずれかに出力される。いずれに出力されるかは、属性情報復号部２０６０によって復号される制御データによって指定される。

【0037】

ＲＡＨＴ部２０８０は、逆量子化部２０７０によって生成された逆量子化済み残差情報及び幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）と呼ばれるＨａａｒ変換（復号処理においては、逆Ｈａａｒ変換）の一種を用いて、各点の属性情報を復号するように構成されている。ＲＡＨＴの具体的な処理としては、例えば、非特許文献１に記載の方法を用いることができる。

【0038】

ＬｏＤ算出部２０９０は、幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＬｏＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するように構成されている。

【0039】

ＬｏＤは、ある点の属性情報から、他のある点の属性情報を予測し、予測残差を符号化或いは復号するといった予測符号化を実現するための参照関係（参照する点及び参照される点）を定義するための情報である。

【0040】

言い換えると、ＬｏＤは、幾何情報に含まれる各点を複数のレベルに分類し、下位のレベルに属する点については上位のレベルに属する点の属性情報を用いて属性を符号化或いは復号するといった階層構造を定義した情報である。

【0041】

ＬｏＤの具体的な決定方法としては、例えば、非特許文献１に記載の方法を用いてもよい。

【0042】

逆リフティング部２１００は、ＬｏＤ算出部２０９０によって生成されたＬｏＤ及び逆量子化部２０７０によって生成された逆量子化済み残差情報を用いて、ＬｏＤで規定した階層構造に基づいて各点の属性情報を復号するように構成されている。逆リフティングの具体的な処理としては、例えば、非特許文献１に記載の方法を用いることができる。

【0043】

逆色変換部２１１０は、復号対象の属性情報が色情報であり且つ点群符号化装置１００側で色変換が行われていた場合に、ＲＡＨＴ部２０８０又は逆リフティング部２１００から出力される属性情報に逆色変換処理を行うように構成されている。かかる逆色変換処理の実行の有無については、属性情報復号部２０６０によって復号された制御データによって決定される。

【0044】

点群復号装置２００は、以上の処理により、点群内の各点の属性情報を復号して出力するように構成されている。

【0045】

（近似表面合成部２０３０）
以下、図３～図５を用いて、本実施形態における近似表面合成部２０３０の処理の一例を説明する。

【0046】

近似表面合成部２０３０の処理に先立って、ツリー合成部２０２０は、所定のサイズになるまで直方体を分割するように構成されている。この直方体を、以下、ノードと呼ぶ。

【0047】

かかる所定のサイズは、例えば、点群符号化装置１００側で決定され、制御情報として点群復号装置２００側に伝送されることができる。点群復号装置２００側は、各ノードが所定のサイズになるまで、ツリー合成部２０２０による処理を行った後、ノード毎に、例えば、以下に説明する処理を実行する。

【0048】

以下、図３を参照して、近似表面合成部２０３０による処理の一例について説明する。

【0049】

図３に示すように、ステップＳ３０１において、近似表面合成部２０３０は、各ノードにおける頂点位置を復号する。

【0050】

図４Ａに示すように、かかる頂点位置Ａ～Ｅは、直方体（立方体の場合も含む）の辺上にのみ存在する。

【0051】

ここで、各辺に対して存在できる頂点は、１点ずつである。すなわち、ノード毎に最大で１２点の頂点が復号される。

【0052】

図４Ａは、頂点が５点復号された場合の例を示している。頂点位置の復号方法は、例えば、非特許文献１に記載の方法を適用することができる。

【0053】

ステップＳ３０２において、近似表面合成部２０３０は、投影面を決定する。

【0054】

ここで、近似表面合成部２０３０は、各頂点のｘ軸方向座標、ｙ軸方向座標及びｚ軸方向座標のうち、それぞれ最大値と最小値とを用いて投影面を決定する。

【0055】

例えば、非特許文献１に記載されているように、近似表面合成部２０３０は、各頂点の座標のｘ軸方向、ｙ軸方向及びｚ軸方向の分散を計算し、かかる分散が最も小さい軸方向
を縮退するように、かかる投影面を決定してもよい。

【0056】

すなわち、近似表面合成部２０３０は、ｚ軸方向の分散が最も小さい場合には、ｚ軸方向を縮退して、ｘ-ｙ平面を投影面として決定してもよい。

【0057】

また、近似表面合成部２０３０は、ｙ軸方向の分散が最も小さい場合には、ｙ軸方向を縮退して、ｘ-ｚ平面を投影面として決定してもよい。

【0058】

さらに、近似表面合成部２０３０は、ｘ軸方向の分散が最も小さい場合には、ｘ軸方向を縮退して、ｙ-ｚ平面を投影面として決定してもよい。

【0059】

或いは、近似表面合成部２０３０は、各頂点の座標のｘ軸方向、ｙ軸方向及びｚ方向の最大値と最小値との差分値を算出し、かかる差分値が最も小さい軸方向を縮退し、残りの２つの軸方向で構成される面を投影面と決定してもよい。

【0060】

図４Ｂは、図４Ａの頂点Ａ～Ｅをｘ-ｙ平面に投影したケースについて示し、図４Ｃは、図４Ａの頂点Ａ～Ｅをｘ-ｚ平面に投影したケースについて示す。

【0061】

ここで、ｘ軸方向の座標の最小値及び最大値は、それぞれ図４Ｂのｘｍｉｎ及びｘｍａｘに相当し、ｙ軸方向の座標の最小値及び最大値は、図４Ｂのｙｍｉｎ及びとｙｍａｘに相当し、ｚ軸方向の座標の最小値及び最大値は、図４Ｃのｚｍｉｎ及びｚｍａｘに相当する。

【0062】

近似表面合成部２０３０は、上述の最大値と最小値との差分値（例えば、ｘ軸方向であれば、ｘｍａｘ-ｘｍｉｎ）をそれぞれ各軸方向について計算し、かかる差分値が最も小さい軸方向を縮退する。

【0063】

例えば、図４の例では、ｚ軸方向の差分値（ｚｍａｘ-ｚｍｉｎ）が最も小さくなるため、近似表面合成部２０３０は、ｚ軸方向を縮退して、投影面をｘ-ｙ平面に決定することができる。

【0064】

以上のように、近似表面合成部２０３０は、各頂点のｘ軸方向、ｙ軸方向及びｚ軸方向座標のうち、最大値と最小値の差が最も小さい軸方向を縮退し、残りの２つの軸方向で構成される面を投影面と決定するように構成されている。
以上のような構成とすることで、分散を用いて投影面を決定する場合と比較して、演算量を削減することができる。ソフトウェアで実装する場合は、処理時間を削減することができ、ハードウェアで実装する場合は、回路規模及び消費電力を削減することができる。

【0065】

ステップＳ３０３において、近似表面合成部２０３０は、各頂点をソートして、各頂点にインデックス（ｉｎｄｅｘ）を付与する。図５～図６を用いて、ステップＳ３０３における処理の一例を説明する。

【0066】

図５Ａは、図４に示す頂点位置の例において、近似表面合成部２０３０がｚ軸方向を縮退してｘ-ｙ平面上に頂点を投影した場合の例である。ここで、以下では、ｘ軸をａ軸としｙ軸をｂ軸として説明する。

【0067】

なお、ｙ軸方向が縮退された場合にはｘ軸をａ軸としｚ軸をｂ軸として、また、ｘ軸方向が縮退された場合にはｙ軸をａ軸としｚ軸をｂ軸として、それぞれ以下の処理を適用することができる。

【0068】

また、以下の説明では、図５Ａに示すように、各頂点Ａ～Ｅの座標をａ-ｂ平面に投影した長方形の中心を原点Ｏとした場合の座標として表現することとする。なお、以下では、長方形の一種として正方形が投影面とされた場合を例に説明するが、辺の長さを適切に考慮することで、下記と同様な方法で長方形にも対応可能である。

【0069】

図６は、ステップＳ３０３において、各頂点をソートしインデックスを付与する手順の一例を示すフローチャートである。

【0070】

図６に示すように、ステップＳ３０３において、近似表面合成部２０３０は、該当するノードの全ての頂点について、後述するスコアを算出したかどうかを判定する。

【0071】

全ての頂点についてスコアが算出済みであると判定された場合、本手順は、ステップＳ６０９へ進み、そうでない場合、本手順は、ステップＳ６０２へ進む。

【0072】

ステップＳ６０２において、近似表面合成部２０３０は、現在処理している頂点が、図５Ｂにおける辺ｐｑ上に存在しているか否かを判定する。辺ｐｑ上に存在するかどうかは、例えば、当該頂点のａ座標が、ノードサイズ（以下、ＮＳとする）の半分であるか否か、すなわち、ＮＳ/２であるか否かによって判定できる。ここで、ノードサイズとは、図５Ａ及び図５Ｂにおける正方形の一辺の長さである。

【0073】

当該頂点が辺ｐｑ上に存在していると判定された場合は、本手順は、ステップＳ６０３へ進み、そうでない場合は、本手順は、ステップＳ６０４へ進む。

【0074】

ステップＳ６０３において、近似表面合成部２０３０は、当該頂点のスコアを算出する。例えば、当該頂点が辺ｐｑ上にある場合は、近似表面合成部２０３０は、当該頂点のｂ座標をそのままスコアとして用いる。

【0075】

ステップＳ６０３においてスコアが算出された後、本手順は、ステップＳ６０１へ進み、近似表面合成部２０３０は、次の頂点について処理を行う。

【0076】

ステップＳ６０４において、近似表面合成部２０３０は、現在処理している頂点が、図５Ｂにおける辺ｑｒ上に存在しているか否かを判定する。辺ｑｒ上に存在するかどうかは、例えば、当該頂点のｂ座標が、ＮＳの半分であるか否か、すなわち、ＮＳ/２であるか否かによって判定できる。

【0077】

当該頂点が辺ｑｒ上に存在していると判定された場合は、本手順は、ステップＳ６０５へ進み、そうでない場合は、本手順は、ステップＳ６０６へ進む。

【0078】

ステップＳ６０５において、近似表面合成部２０３０は、当該頂点のスコアを算出する。例えば、当該頂点が辺ｑｒ上にある場合は、近似表面合成部２０３０は、当該頂点のａ座標を用いて、スコア＝－ａ＋ＮＳとする。

【0079】

ステップＳ６０５においてスコアが算出された後、本手順は、ステップＳ６０１へ進み、近似表面合成部２０３０は、次の頂点について処理を行う。

【0080】

ステップＳ６０６において、近似表面合成部２０３０は、現在処理している頂点が、図５Ｂにおける辺ｒｓ上に存在しているか否かを判定する。辺ｒｓ上に存在するかどうかは、例えば、当該頂点のａ座標が、ＮＳの半分であるか否か、すなわち、ＮＳ/２であるか否かによって判定できる。

【0081】

当該頂点が辺ｒｓ上に存在すると判定された場合は、本手順は、ステップＳ６０７へ進み、そうでない場合は、本手順は、ステップＳ６０８へ進む。

【0082】

ステップＳ６０７において、近似表面合成部２０３０は、当該頂点のスコアを算出する。例えば、当該頂点が辺ｒｓ上にある場合は、近似表面合成部２０３０は、当該頂点のｂ座標を用いて、スコア＝－ｂ+ＮＳ＊２とする（ここで、＊は、乗算を示す）。

【0083】

ステップＳＳ６０７においてスコアが算出された後、本手順は、ステップＳ６０１へ進み、近似表面合成部２０３０は、次の頂点について処理を行う。

【0084】

ステップＳ６０８において、近似表面合成部２０３０は、当該頂点のスコアを算出する。例えば、当該頂点が図５Ｂにおける辺ｓｐ上にある場合は、近似表面合成部２０３０は、当該頂点のａ座標を用いて、スコア＝ａ+ＮＳ＊３とする（ここで、＊は、乗算を示す）。

【0085】

ステップＳＳ６０８においてスコアが算出された後、本手順は、ステップＳ６０１へ進み、近似表面合成部２０３０は、次の頂点について処理を行う。

【0086】

ステップＳ６０９において、近似表面合成部２０３０は、各頂点のスコア（上述の例では、－ＮＳ/２～ＮＳ＊７/２の値を取る）が小さい順に各頂点をソートし、スコアが小さい順に各頂点にインデックスを付与する。

【0087】

その後、本手順は、ステップＳ６１０へ進み、処理を終了する。

【0088】

なお、上述の例では、各頂点のスコア値として、負の値を取れるようにしたが、例えば、全体にＮＳ/２を加えて必ず非負の値（例えば、０～４＊ＮＳ）となるように定義してもよい。

【0089】

また、上述の例では、座標値を実数精度で表現するケースを例に挙げて説明したが、本発明は、かかるケースに限定されることなく、座標値を整数値で表現する場合、適宜除算による誤差を補正するためのオフセット（＋１又は－１）を加えることで、上述の実数精度の例と等価な処理を実現できる。

【0090】

また、近似表面合成部２０３０は、整数演算を行った場合の量子化誤差を考慮して、辺上に点が存在するかどうかを、辺ｒｑ及び辺ｐｑについては当該の点の座標がノードサイズ半分以上（ＮＳ/２以上）であるか否かを用いて判定し、辺ｒｓについては当該の点の座標がノードサイズ半分以下（ＮＳ/２以下）であるか否かを用いて判定してもよい。なお、近似表面合成部２０３０は、座標値を基に、当該辺上に点が存在していることが正しく判断できれば、他の方法でも判定してもよい。

【0091】

上述の手順では、図５Ａに示すように投影した長方形の右下の頂点から反時計回りとなる順番で各頂点にインデックスが付与される。なお、図５Ａにおける「Ｂ：０」とは、頂点Ｂのインデックスが「０」であることを意味しており、その他の頂点についても同様である。

【0092】

上述の例では、図５Ａにおける長方形の右下を起点として反時計回りになる順で各頂点にインデックスが付与されているが、起点は、右下以外でも明確に決まっていればよい。すなわち、起点は、長方形の辺上に存在していればどこでもよい。

【0093】

また、起点は、幾何情報復号部における復号処理に先立って１か所に決定されてもよい
し、ノード毎に適応的に起点の位置が変更されてもよい。例えば、起点は、頂点が最も多い辺に最後にインデックスが付与されるように決定されてもよい。

【0094】

図５Ａ及び図５Ｂの例では、辺ｓｐ上に最も頂点が多いため、各頂点にインデックスを反時計回りの順で付与する場合は、起点を頂点ｐの位置と決定できる。

【0095】

また、近似表面合成部２０３０は、反時計回りではなく、起点から時計回りとなる順で各頂点にインデックスを付与してもよい。

【0096】

いずれにせよ、近似表面合成部２０３０は、投影した長方形の辺上に起点を設定し、各頂点にインデックスを付与する順序を決定する際に、頂点が必ず長方形の辺上に存在するという特徴を利用して、座標値から時計回り又は反時計回りとなるように各頂点にインデックスを付与するように構成されていれば、上述以外の手法を用いてもよい。

【0097】

以上のように、近似表面合成部２０３０は、垂直方向の辺上にある頂点に対して、垂直方向軸の座標値を用いてインデックスを扶養するように構成されていてもよい。

【0098】

同様に、近似表面合成部２０３０は、水平方向の辺上にある頂点に対して、水平方向軸の座標値を用いてインデックスを付与するように構成されていてもよい。

【0099】

また、近似表面合成部２０３０は、平面上に投影された長方形の辺上に起点を設定し、かかる起点から時計回り又は反時計回りとなるように各頂点にインデックスを付与するように構成されていてもよい。

【0100】

以上のような構成とすることで、後段のステップＳ３０４の処理と組み合わせて、三角形で定義される面で適切に点の分布を生成できる。これに対して、非特許文献１の方法では、アークタンジェントの近似が正しくなく、各頂点のインデックスが時計回り又は反時計回りの順にはならないため、適切に点の分布を生成できない。

【0101】

更に、非特許文献１の方法では、アークタンジェントの近似計算において除算が行われているが、本実施形態の処理は、基本的に加減算のみで実現できる（ＮＳ/２等のオフセット値は、ＴｒｉｓｏｕｐのＮＳに応じて予め算出しておくことで、定数として扱える）。よって、本実施形態によれば、非特許文献１の方法と比較して、特に、ハードウェアで実装した際に処理サイクル数を短縮することができる。

【0102】

以上のように、各頂点をソートしてインデックスが付与された後、本処理は、図３のステップＳ３０４へ進む。

【0103】

ステップＳ３０４において、近似表面合成部２０３０は、ステップＳ３０３で付与した各頂点のインデックスを基に、三角形を生成する。

【0104】

例えば、図５Ａに示すように、頂点が５点の場合、近似表面合成部２０３０は、図７に示すように、３つの三角形を生成することができる。

【0105】

かかる三角形の生成は、例えば、非特許文献１に記載のように、三角形を構成するための頂点のインデックスの組み合わせを予め定義しておくことで実現できる。

【0106】

図７は、例えば、頂点が５点の場合は、三角形を構成するための頂点のインデックスの組み合わせが｛０、１、２｝、｛０、２、４｝、｛２、３、４｝となる３点で、それぞれ三角形を生成するように予め定義されていた場合の例である。

【0107】

以上のように三角形が生成された後、本処理は、ステップＳ３０５へ進む。

【0108】

ステップＳ３０５において、近似表面合成部２０３０は、ステップＳ３０４で生成した三角形を基に、点を生成する。三角形から点を生成する方法としては、例えば、非特許文献１に記載の方法を適用することができる。

【0109】

以上のような手順で、全てのノードについて点を生成した後、ステップＳ３０６へ進んで処理を終了する。

【0110】

また、上述の点群符号化装置１００及び点群復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【0111】

なお、上記の各実施形態では、本発明を点群符号化装置１００及び点群復号装置２００への適用を例にして説明したが、本発明は、かかる例のみに限定されるものではなく、点群符号化装置１００及び点群復号装置２００の各機能を備えた点群符号化/復号システムにも同様に適用できる。

【産業上の利用可能性】

【0112】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0113】

１０…点群処理システム
１００…点群符号化装置
２００…点群復号装置
２０１０…幾何情報復号部
２０２０…ツリー合成部
２０３０…近似表面合成部
２０４０…幾何情報再構成部
２０５０…逆座標変換部
２０６０…属性情報復号部
２０７０…逆量子化部
２０８０…ＲＡＨＴ部
２０９０…ＬｏＤ算出部
２１００…逆リフティング部
２１１０…逆色変換部

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図6】

【図7】