特開 2024-97688 点群復号装置、点群復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024097688

(43)【公開日】2024-07-19

(54)【発明の名称】点群復号装置、点群復号方法及びプログラム

(51)【国際特許分類】

   G06T 9/40 20060101AFI20240711BHJP

【ＦＩ】

G06T9/40

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023001331

(22)【出願日】2023-01-06

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、総務省、「３次元空間データの無線伝送に向けた高能率圧縮技術の研究開発」委託事業、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(72)【発明者】

【氏名】花岡 洋平

(72)【発明者】

【氏名】海野 恭平

(72)【発明者】

【氏名】小森田 賢史

(72)【発明者】

【氏名】河村 圭

(57)【要約】

【課題】予測性能を向上させ、符号化効率を改善すること。
【解決手段】本発明に係る点群復号装置２００は、Ａｎｇｕｌａｒモード且つ適応的方位角量子化モードにおいて、複数の復号済みのノードの座標値を用いて線形予測を行うツリー合成部２０２０を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

点群復号装置であって、
Ａｎｇｕｌａｒモード且つ適応的方位角量子化モードにおいて、複数の復号済みのノードの座標値を用いて線形予測を行うツリー合成部を備えることを特徴とする点群復号装置。

【請求項2】

前記ツリー合成部は、処理対象ノードの親ノードの座標値及び前記親ノードの親ノードの座標値に基づく予測器を用いて前記線形予測を行うことを特徴とする請求項１に記載の点群復号装置。

【請求項3】

前記ツリー合成部は、復号した予測器インデックス及び予測器モードに基づいて、前記予測器を選択することを特徴とする請求項２に記載の点群復号装置。

【請求項4】

前記ツリー合成部は、復号した予測器インデックスに基づいて、前記予測器を選択することを特徴とする請求項２に記載の点群復号装置。

【請求項5】

前記ツリー合成部は、前記予測器として、前記予測器インデックスに対応する予測器を選択することを特徴とする請求項４に記載の点群復号装置。

【請求項6】

前記ツリー合成部は、
線形予測器使用フラグリストを用いて前記予測器のインデックスを決定し、
決定した前記予測器のインデックス及び前記予測器インデックスに基づいて、前記予測器を選択することを特徴とする請求項４に記載の点群復号装置。

【請求項7】

前記ツリー合成部は、
前記親ノードが前記予測器を使用したか否かを判定し、
前記判定結果及び前記予測器インデックスに基づいて、前記予測器を選択することを特徴とする請求項６に記載の点群復号装置。

【請求項8】

点群復号装置であって、
ツリー合成部を備え、
前記ツリー合成部は、
方位角ステップ数の予測器を選択し、
前記選択した予測器に基づいて方位角ステップ数の予測値を算出し、
前記方位角ステップ数の残差を復号し、
前記予測値に前記残差を加算することで前記方位角ステップ数を再構成することを特徴とする点群復号装置。

【請求項9】

前記ツリー合成部は、レーザーＩＤに基づいて、前記方位角ステップ数の予測値を算出することを特徴とする請求項８に記載の点群復号装置。

【請求項10】

前記ツリー合成部は、前記レーザーＩＤに応じて与えられる値、前記レーザーＩＤごとの平均値、前記レーザーＩＤごとの中央値の少なくとも１つを利用して、前記方位角ステップ数の予測値を算出することを特徴とする請求項９に記載の点群復号装置。

【請求項11】

前記ツリー合成部は、直近に復号した前記方位角ステップ数のパターンに基づいて、前記方位角ステップ数の予測値を算出することを特徴とする請求項８に記載の点群復号装置。

【請求項12】

点群復号方法であって、
Ａｎｇｕｌａｒモード且つ適応的方位角量子化モードにおいて、複数の復号済みのノードの座標値を用いて線形予測を行う工程とを有することを特徴とする点群復号方法。

【請求項13】

コンピュータを、点群復号装置として機能させるプログラムであって、
前記点群復号装置は、
Ａｎｇｕｌａｒモード且つ適応的方位角量子化モードにおいて、複数の復号済みのノードの座標値を用いて線形予測を行うツリー合成部を備えることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、点群復号装置、点群復号方法及びプログラムに関する。

【背景技術】

【0002】

非特許文献２では、Ｐｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇのＡｎｇｕｌａｒモード且つ適応的方位角量子化モードにおいて、親ノードや既に復号済ノードの情報を利用することで、位置情報を予測する方法が開示されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Ｇ-ＰＣＣ ｃｏｄｅｃ ｄｅｓｃｒｉｐｔｉｏｎ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ７ Ｎ００２７１

【非特許文献2】Ｇ-ＰＣＣ ２ｎｄ Ｅｄｉｔｉｏｎ ｃｏｄｅｃ ｄｅｓｃｒｉｐｔｉｏｎ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ７ Ｎ００３１４

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、非特許文献２の方法では、親ノードを含む複数の復号済ノードの座標値を使った予測を行っていないという問題点があった。

【0005】

そこで、本発明は、上述の課題に鑑みてなされたものであり、Ｐｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇを使用する場合、Ａｎｇｕｌａｒモード且つ適応的方位角量子化モードにおいて、親ノードの座標値及び親ノードの親ノードの座標値を用いた予測器を計算することで、予測性能を向上させ、符号化効率を改善することができる点群復号装置、点群復号方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の特徴は、点群復号装置であって、Ａｎｇｕｌａｒモード且つ適応的方位角量子化モードにおいて、複数の復号済みのノードの座標値を用いて線形予測を行うツリー合成部を備えることを要旨とする。

【0007】

本発明の第２の特徴は、点群復号装置であって、ツリー合成部を備え、前記ツリー合成部は、方位角ステップ数の予測器を選択し、前記選択した予測器に基づいて方位角ステップ数の予測値を算出し、前記方位角ステップ数の残差を復号し、前記予測値に前記残差を加算することで前記方位角ステップ数を再構成することを要旨とする。

【0008】

本発明の第３の特徴は、点群復号方法であって、Ａｎｇｕｌａｒモード且つ適応的方位角量子化モードにおいて、複数の復号済みのノードの座標値を用いて線形予測を行う工程とを有することを要旨とする。

【0009】

本発明の第４の特徴は、コンピュータを、点群復号装置として機能させるプログラムであって、前記点群復号装置は、Ａｎｇｕｌａｒモード且つ適応的方位角量子化モードにおいて、複数の復号済みのノードの座標値を用いて線形予測を行うツリー合成部を備えることを要旨とする。

【発明の効果】

【0010】

本発明によれば、Ｐｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇを使用する場合、Ａｎｇｕｌａｒモード且つ適応的方位角量子化モードにおいて、親ノードの座標値及び親ノードの親ノードの座標値を用いた予測器を計算することで、予測性能を向上させ、符号化効率を改善することができる点群復号装置、点群復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、一実施形態に係る点群処理システム１０の構成の一例を示す図である。

【図2】図２は、一実施形態に係る点群復号装置２００の機能ブロックの一例を示す図である。

【図3】図３は、一実施形態に係る点群復号装置２００の幾何情報復号部２０１０で受信する符号化データ（ビットストリーム）の構成の一例を示す図である。

【図4】図４は、ＧＰＳ２０１１のシンタックス構成の一例を示す図である。

【図5】図５は、一実施形態に係る点群復号装置２００のツリー合成部２０２０の動作の一例を示すフローチャートである

【図6】図６は、ステップＳ５０５における位置情報の予測処理の一例を示すフローチャートである。

【図7】図７は、ステップＳ６０２における予約器リストを使った位置情報の予測処理の一例を示すフローチャートである。

【図8】図８は、ステップＳ６０２の予測器リストを使った位置情報の予測処理の一例を示すフローチャートである。

【図9】図９は、ステップＳ８０３の線形予測器を含む予測器の選択処理の一例を示すフローチャートである。

【図10】図１０は、ステップＳ８０３の線形予測器を含む予測器の選択処理の一例を示すフローチャートである。

【図11】図１１は、ステップＳ８０６の予測器リストの更新処理の一例を示すフローチャートである。

【図12】図１２は、ステップＳ５０４の球面残差復号処理の一例を示すフローチャートである。

【図13】図１３は、ステップＳ５０５の位置情報の予測処理の一例を示すフローチャートである。

【図14】図１４は、ステップＳ１３０４の方位角ステップ数の予測値の計算の処理の一例を示すフローチャートである。

【図15】図１５は、ステップＳ１４０５の方位角ステップ数予測値テーブルの更新処理の一例を示すフローチャートである。

【図16】図１６は、本実施形態に係る点群符号化装置１００の機能ブロックの一例について示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0013】

（第１実施形態）
以下、図１～図１６を参照して、本発明の第１実施形態に係る点群処理システム１０について説明する。図１は、本実施形態に係る実施形態に係る点群処理システム１０を示す図である。

【0014】

図１に示すように、点群処理システム１０は、点群符号化装置１００及び点群復号装置２００を有する。

【0015】

点群符号化装置１００は、入力点群信号を符号化することによって符号化データ（ビットストリーム）を生成するように構成されている。点群復号装置２００は、ビットストリームを復号することによって出力点群信号を生成するように構成されている。

【0016】

なお、入力点群信号及び出力点群信号は、点群内の各点の位置情報と属性情報とから構成される。属性情報は、例えば、各点の色情報や反射率である。

【0017】

ここで、かかるビットストリームは、点群符号化装置１００から点群復号装置２００に対して伝送路を介して送信されてもよい。また、ビットストリームは、記憶媒体に格納された上で、点群符号化装置１００から点群復号装置２００に提供されてもよい。

【0018】

（点群復号装置２００）
以下、図２を参照して、本実施形態に係る点群復号装置２００について説明する。図２は、本実施形態に係る点群復号装置２００の機能ブロックの一例について示す図である。

【0019】

図２に示すように、点群復号装置２００は、幾何情報復号部２０１０と、ツリー合成部２０２０と、近似表面合成部２０３０と、幾何情報再構成部２０４０と、逆座標変換部２０５０と、属性情報復号部２０６０と、逆量子化部２０７０と、ＲＡＨＴ部２０８０と、ＬｏＤ算出部２０９０と、逆リフティング部２１００と、逆色変換部２１１０と、フレームバッファ２１２０とを有する。

【0020】

幾何情報復号部２０１０は、点群符号化装置１００から出力されるビットストリームのうち、幾何情報に関するビットストリーム（幾何情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。

【0021】

復号処理は、例えば、コンテクスト適応二値算術復号処理である。ここで、例えば、シンタックスは、位置情報の復号処理を制御するための制御データ（フラグやパラメータ）を含む。

【0022】

ツリー合成部２０２０は、幾何情報復号部２０１０によって復号された制御データ及び後述するツリー内のどのノードに点群が存在するかを示すｏｃｃｕｐａｎｃｙ ｃｏｄｅを入力として、復号対象空間内のどの領域に点が存在するかというツリー情報を生成するように構成されている。

【0023】

なお、ｏｃｃｕｐａｎｃｙ ｃｏｄｅの復号処理をツリー合成部２０２０内部で行うよう構成されていてもよい。

【0024】

本処理は、復号対象空間を直方体で区切り、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照して各直方体内に点が存在するかを判断し、点が存在する直方体を複数の直方体に分割し、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照するという処理を再帰的に繰り返すことで、ツリー情報を生成することができる。

【0025】

ここで、かかるｏｃｃｕｐａｎｃｙ ｃｏｄｅの復号に際して、後述するインター予測を用いてもよい。

【0026】

本実施形態では、上述の直方体を常に立方体として８分木分割を再帰的に行う「Ｏｃｔｒｅｅ」と呼ばれる手法、及び、８分木分割に加え、４分木分割及び２分木分割を行う「ＱｔＢｔ」と呼ばれる手法を使用することができる。ＱｔＢｔ」を使用するか否かは、制御データとして点群符号化装置１００側から伝送される。

【0027】

或いは、制御データによってＰｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇを使用するように指定された場合、ツリー合成部２０２０は、点群符号化装置１００において決定した任意のツリー構成に基づいて各点の座標を復号するように構成されている。

【0028】

近似表面合成部２０３０は、ツリー合成部２０２０によって生成されたツリー情報を用いて近似表面情報を生成し、かかる近似表面情報に基づいて点群を復号するように構成されている。

【0029】

近似表面情報は、例えば、物体の３次元点群データを復号する際等において、点群が物体表面に密に分布しているような場合に、個々の点群を復号するのではなく、点群の存在領域を小さな平面で近似して表現したものである。

【0030】

具体的には、近似表面合成部２０３０は、例えば、「Ｔｒｉｓｏｕｐ」と呼ばれる手法で、近似表面情報を生成し、点群を復号することができる。「Ｔｒｉｓｏｕｐ」の具体的な処理例については後述する。また、Ｌｉｄａｒ等で取得した疎な点群を復号する場合は、本処理を省略することができる。

【0031】

幾何情報再構成部２０４０は、ツリー合成部２０２０によって生成されたツリー情報及び近似表面合成部２０３０によって生成された近似表面情報を元に、復号対象の点群データの各点の幾何情報（復号処理が仮定している座標系における位置情報）を再構成するように構成されている。

【0032】

逆座標変換部２０５０は、幾何情報再構成部２０４０によって再構成された幾何情報を入力として、復号処理が仮定している座標系から、出力点群信号の座標系に変換を行い、位置情報を出力するように構成されている。

【0033】

フレームバッファ２１２０は、幾何情報再構成部２０４０によって再構成された幾何情報を入力として、参照フレームとして保存するように構成されている。保存した参照フレームは、ツリー合成部２０２０において時間的に異なるフレームのインター予測を行う場合に、フレームバッファ２１３０から読み出されて参照フレームとして使用される。

【0034】

ここで、各フレームに対してどの時刻の参照フレームを用いるかどうかは、例えば、点群符号化装置１００からビットストリームとして伝送されてくる制御データに基づいて決定されてもよい。

【0035】

属性情報復号部２０６０は、点群符号化装置１００から出力されるビットストリームのうち、属性情報に関するビットストリーム（属性情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。

【0036】

復号処理は、例えば、コンテクスト適応二値算術復号処理である。ここで、例えば、シンタックスは、属性情報の復号処理を制御するための制御データ（フラグ及びパラメータ）を含む。

【0037】

また、属性情報復号部２０６０は、復号したシンタックスから、量子化済み残差情報を復号するように構成されている。

【0038】

逆量子化部２０７０は、属性情報復号部２０６０によって復号された量子化済み残差情報と、属性情報復号部２０６０によって復号された制御データの一つである量子化パラメータとを元に、逆量子化処理を行い、逆量子化済み残差情報を生成するように構成されている。

【0039】

逆量子化済み残差情報は、復号対象の点群の特徴に応じて、ＲＡＨＴ部２０８０及びＬｏＤ算出部２０９０のいずれかに出力される。いずれに出力されるかは、属性情報復号部２０６０によって復号される制御データによって指定される。

【0040】

ＲＡＨＴ部２０８０は、逆量子化部２０７０によって生成された逆量子化済み残差情報及び幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）と呼ばれるＨａａｒ変換（復号処理においては、逆Ｈａａｒ変換）の一種を用いて、各点の属性情報を復号するように構成されている。ＲＡＨＴの具体的な処理としては、例えば、非特許文献１に記載の方法を用いることができる。

【0041】

ＬｏＤ算出部２０９０は、幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＬｏＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するように構成されている。

【0042】

ＬｏＤは、ある点の属性情報から、他のある点の属性情報を予測し、予測残差を符号化或いは復号するといった予測符号化を実現するための参照関係（参照する点及び参照される点）を定義するための情報である。

【0043】

言い換えると、ＬｏＤは、幾何情報に含まれる各点を複数のレベルに分類し、下位のレベルに属する点については上位のレベルに属する点の属性情報を用いて属性を符号化或いは復号するといった階層構造を定義した情報である。

【0044】

ＬｏＤの具体的な決定方法としては、例えば、上述の非特許文献１に記載の方法を用いてもよい。

【0045】

逆リフティング部２１００は、ＬｏＤ算出部２０９０によって生成されたＬｏＤ及び逆量子化部２０７０によって生成された逆量子化済み残差情報を用いて、ＬｏＤで規定した階層構造に基づいて各点の属性情報を復号するように構成されている。逆リフティングの具体的な処理としては、例えば、上述の非特許文献１に記載の方法を用いることができる。

【0046】

逆色変換部２１１０は、復号対象の属性情報が色情報であり且つ点群符号化装置１００側で色変換が行われていた場合に、ＲＡＨＴ部２０８０又は逆リフティング部２１００から出力される属性情報に逆色変換処理を行うように構成されている。かかる逆色変換処理の実行の有無については、属性情報復号部２０６０によって復号された制御データによって決定される。

【0047】

点群復号装置２００は、以上の処理により、点群内の各点の属性情報を復号して出力するように構成されている。

【0048】

（幾何情報復号部２０１０）
以下、図３～図４を用いて幾何情報復号部２０１０で復号される制御データについて説明する。

【0049】

図３は、幾何情報復号部２０１０で受信する符号化データ（ビットストリーム）の構成の一例である。

【0050】

第１に、ビットストリームは、ＧＰＳ２０１１を含んでいてもよい。ＧＰＳ２０１１は、ジオメトリパラメータセットとも呼ばれ、幾何情報の復号に関する制御データの集合である。具体例については後述する。各ＧＰＳ２０１１は、複数のＧＰＳ２０１１が存在する場合に個々を識別するためのＧＰＳ ｉｄ情報を少なくとも含む。

【0051】

第２に、ビットストリームは、ＧＳＨ２０１２Ａ/２０１２Ｂを含んでいてもよい。ＧＳＨ２０１２Ａ/２０１２Ｂは、ジオメトリスライスヘッダ或いはジオメトリデータユニットヘッダとも呼ばれ、後述するスライスに対応する制御データの集合である。以降では、スライスという呼称を用いて説明するが、スライスをデータユニットと読み替えることもできる。具体例については後述する。ＧＳＨ２０１２Ａ/２０１２Ｂは、各ＧＳＨ２０１２Ａ/２０１２Ｂに対応するＧＰＳ２０１１を指定するためのＧＰＳ ｉｄ情報を少なくとも含む。

【0052】

第３に、ビットストリームは、ＧＳＨ２０１２Ａ/２０１２Ｂの次に、スライスデータ２０１３Ａ/２０１３Ｂを含んでいてもよい。スライスデータ２０１３Ａ/２０１３Ｂには、幾何情報を符号化したデータが含まれている。

【0053】

以上のように、ビットストリームは、各スライスデータ２０１３Ａ/２０１３Ｂに、１つずつＧＳＨ２０１２Ａ/２０１２Ｂ及びＧＰＳ２０１１が対応する構成となる。

【0054】

上述のように、ＧＳＨ２０１２Ａ/２０１２Ｂにて、どのＧＰＳ２０１１を参照するかをＧＰＳ ｉｄ情報で指定するため、複数のスライスデータ２０１３Ａ/２０１３Ｂに対して共通のＧＰＳ２０１１を用いることができる。

【0055】

言い換えると、ＧＰＳ２０１１は、スライスごとに必ずしも伝送する必要がない。例えば、図３のように、ＧＳＨ２０１２Ｂ及びスライスデータ２０１３Ｂの直前では、ＧＰＳ２０１１を符号化しないようなビットストリームの構成とすることもできる。

【0056】

なお、図３の構成は、あくまで一例である。各スライスデータ２０１３Ａ/２０１３Ｂに、ＧＳＨ２０１２Ａ/２０１２Ｂ及びＧＰＳ２０１１が対応する構成となっていれば、ビットストリームの構成要素として、上述以外の要素が追加されてもよい。

【0057】

例えば、図３に示すように、ビットストリームは、シーケンスパラメータセット（ＳＰＳ）２００１を含んでいてもよい。また、同様に、伝送に際して、図３と異なる構成に整形されてもよい。更に、後述する属性情報復号部２０６０で復号されるビットストリームと合成して単一のビットストリームとして伝送されてもよい。

【0058】

図４は、ＧＰＳ２０１１のシンタックス構成の一例である。

【0059】

なお、以下で説明するシンタックス名は、あくまで一例である。以下で説明したシンタックスの機能が同様であれば、シンタックス名は異なっていても差し支えない。

【0060】

ＧＰＳ２０１１は、各ＧＰＳ２０１１を識別するためのＧＰＳ ｉｄ情報（ｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を含んでもよい。

【0061】

なお、図４のＤｅｓｃｒｉｐｔｏｒ欄は、各シンタックスが、どのように符号化されているかを意味している。ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（１）は、１ビットのフラグであることを意味する。

【0062】

ＧＰＳ２０１１は、ツリー合成部２０２０でツリータイプを制御するためのフラグ（ｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅ）を含んでもよい。

【0063】

例えば、ｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅの値が「１」の場合は、Ｐｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇを使用すると定義し、ｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅの値が「０」の場合は、Ｏｃｔｒｅｅを使用するように定義されていてもよい。

【0064】

ＧＰＳ２０１１は、ツリー合成部２０２０で、Ａｎｇｕｌａｒモードとして処理を行うかどうかを制御するためのフラグ（ｇｅｏｍ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄ）を含んでもよい。

【0065】

例えば、ｇｅｏｍ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄの値が「１」の場合は、ＡｎｇｕｌａｒモードとしてＰｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇの処理を行うと定義し、ｇｅｏｍ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄの値が「０」の場合は、ＡｎｇｕｌａｒモードとしてＰｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇの処理を行わないように定義されていてもよい。

【0066】

ＧＰＳ２０１１は、ツリー合成部２０２０で、Ａｎｇｕｌａｒモードにおいて、半径に応じた適応的な方位角の量子化を行うかどうか（すなわち、適応的方位角量子化モードで処理を行うかどうか）を制御するためのフラグ（ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄ）を含んでもよい。

【0067】

例えば、ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄの値が「１」の場合は、半径に応じた適応的な方位角の量子化を行うと定義し、ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄの値が「０」の場合は、半径に応じた適応的な方位角の量子化を行わないと定義されていてもよい。

【0068】

また、Ａｎｇｕｌａｒモードにおける予測器の計算（選択）において、予測器リストを使うかどうか制御するためのフラグとして用いてもよい。本実施形態では、予測器は、線形予測器を含む概念であるものとする。

【0069】

例えば、ｐｔｒｅｅ_ａｚｉｍｕｔｈ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄの値が「１」の場合は、かかる予測器の計算において、予測器リストを使うと定義し、ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄの値が「０」の場合は、かかる予測器の計算において、予測器リストを使わないと定義されていてもよい。

【0070】

ＧＰＳ２０１１は、ツリー合成部２０２０で、Ａｎｇｕｌａｒモードにおいて、方位角の予測値の計算するために利用するためのレーザーの回転速度に関する値（ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｔｅｐ_ｍｉｎｕｓ１）を含んでもよい。

【0071】

ＧＰＳ２０１１は、ツリー合成部２０２０で、上述の予測器の計算に予測器リストを使う場合の予測器リストを動的に更新する処理で利用する閾値（ｐｔｒｅｅ_ａｎｇ_ｐｒｅｄ_ｌｉｓｔ_ｒａｄｉｕｓ_ｒｅｓｉｄ_ｔｈｒｅｓｈｏｌｄ）を含んでもよい。

【0072】

例えば、ｐｔｒｅｅ_ａｎｇ_ｐｒｅｄ_ｌｉｓｔ_ｒａｄｉｕｓ_ｒｅｓｉｄ_ｔｈｒｅｓｈｏｌｄの値よりも復号した半径残差の絶対値が大きい場合は、新たな予測器として、復号した位置情報を予測器リストに加えてもよいし、ｐｔｒｅｅ_ａｎｇ_ｐｒｅｄ_ｌｉｓｔ_ｒａｄｉｕｓ_ｒｅｓｉｄ_ｔｈｒｅｓｈｏｌｄの値よりも復号した半径残差の絶対値が小さい場合は、新たな予測器として、復号した位置情報を予測器リストに加えなくてもよい。

【0073】

ＧＰＳ２０１１は、ツリー合成部２０２０で、Ａｎｇｕｌａｒモードにおいて、処理対象ノードの親ノードの座標値及び当該親ノードの親ノードの座標値に基づく予測器を用いるかどうかを制御するためのフラグ（ｐｔｒｅｅ_ａｎｇ_ｌｉｎｅａｒ_ｐｒｅｄｉｃｔｏｒ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。

【0074】

例えば、ｐｔｒｅｅ_ａｎｇ_ｌｉｎｅａｒ_ｐｒｅｄｉｃｔｏｒ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の場合は、処理対象ノードの親ノードの座標値及び当該親ノードの親ノードの座標値に基づく予測器を用いると定義し、ｐｔｒｅｅ_ａｎｇ_ｌｉｎｅａｒ_ｐｒｅｄｉｃｔｏｒ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の場合は、処理対象ノードの親ノードの座標値及び当該親ノードの親ノードの座標値に基づく予測器を用いないように定義されていてもよい。

【0075】

ＧＰＳ２０１１は、ツリー合成部２０２０で、Ａｎｇｕｌａｒモードにおいて、方位角ステップ数予測値テーブルにて保持する方位角ステップ数のパターン数（ｐｔｒｅｅ_ａｎｇ_ｍａｘ_ｑｐｈｉ_ｔａｂｌｅ_ｐａｔｔｅｒｎ）を保持してもよい。

【0076】

（ツリー合成部２０２０）
以下、図５～図９を用いてツリー合成部２０２０の動作の一例について説明する。

【0077】

図５は、ツリー合成部２０２０における処理の一例を示すフローチャートである。なお、以下では「Ｐｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇ」を使用してツリーを合成する場合の例について説明する。

【0078】

Ｐｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇは、Ｐｒｅｄｉｃｔｉｖｅ Ｔｒｅｅとも呼ばれている。Ｐｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇは、点群符号化装置１００側で決めた任意の木構造に基づいて予測した位置情報及び当該点群データの位置情報の残差を復号し、両者を加算することで当該点群データの位置情報を復号する手段である。

【0079】

図５に示すように、ステップＳ５０１において、ツリー合成部２０２０は、当該スライス内に含まれる全ての点群データの位置情報の復号が完了したかどうかを判定する。

【0080】

この処理は、例えば、ＧＳＨに当該スライスに含まれる点群データ数を示す情報を伝送しておき、この点群データ数と既に処理したデータ数とを比較することで、全ての点の処理が完了したか否かを判定することができる。

【0081】

全ての点群データの位置情報の復号が完了した場合は、本動作は、ステップＳ５１３へ進み、処理を終了する。全ての点群データの位置情報の復号が完了していない場合は、本動作は、ステップＳ５０２へ進む。

【0082】

ステップＳ５０２において、ツリー合成部２０２０は、点群データの復号対象ノード（処理対象ノード）の親ノードを設定する。

【0083】

例えば、ツリー合成部２０２０は、各ノードの子ノードの数を復号し、各ノードにおいて当該子ノード数の分だけノードのインデックスを格納しておく。

【0084】

そして、ツリー合成部２０２０は、あるノードの後に復号対象ノードの処理を行う場合、当該ノードのインデックスの配列を参照し、かかる配列の末尾に格納されているインデックスを１つ取得し、取得したインデックスのノードを、かかる復号対象ノードの親ノードに設定してもよい。

【0085】

かかる親ノードの設定が完了した後、本動作は、ステップＳ５０３へ進む。

【0086】

ステップＳ５０３において、ツリー合成部２０２０は、Ａｎｇｕｌａｒモードで処理を行うかを判定する。

【0087】

例えば、ツリー合成部２０２０は、上述のｇｅｏｍ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄの値を参照して、Ａｎｇｕｌａｒモードで処理を行うかを判定することができる。

【0088】

Ａｎｇｕｌａｒモードで処理を行う場合は、本動作は、ステップＳ５０４へ進み、Ａｎｇｕｌａｒモードで処理を行わない場合は、本動作は、ステップＳ５１０へ進む。

【0089】

ステップＳ５０４において、ツリー合成部２０２０は、球面座標残差の復号を行う。かかる復号が完了したら、本動作は、ステップＳ５０５へ進む。

【0090】

ステップＳ５０５において、ツリー合成部２０２０は、位置情報の予測を行う。ツリー合成部２０２０は、かかる処理では、最初に、予測に用いる予測器の種類を決定する。

【0091】

例えば、ツリー合成部２０２０は、ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄの値に基づいて、適応的方位角量子化モードで処理を行うか否かを判定し、かかる判定結果に基づいて、利用する予測器の種類を決定してもよい。

【0092】

ツリー合成部２０２０は、例えば、適応的方位角量子化モードでよりを行う場合、復号した予測器モードに基づいて、木構造を用いて計算される複数の予測器の中から、利用する予測器の種類を選択してもよい。

【0093】

或いは、ツリー合成部２０２０は、適応的方位角量子化モードで処理を行う場合、復号済みノードの位置情報を予測器としてリストに保持しておき、復号した予測器インデックスに割り当てられている予測器を当該リストから参照し、利用する予測器の種類として選択してもよい。

【0094】

ツリー合成部２０２０は、予測器の種類が決定したら、かかる予測器を位置情報の予測値とする。具体的な処理の例については、後述する。

【0095】

かかる位置情報の予測が完了した後、本動作は、ステップＳ５０６へと進む。

【0096】

ステップＳ５０６において、ツリー合成部２０２０は、球面座標の再構成を行う。ツリー合成部２０２０は、かかる処理では、復号した球面座標残差と予測器とを加算することで、球面座標を再構成する。

【0097】

かかる再構成が完了した後、本動作は、ステップＳ５０７へと進む。

【0098】

ステップＳ５０７において、ツリー合成部２０２０は、直交整数座標の再構成を行う。ツリー合成部２０２０は、かかる処理では、再構成した球面座標に基づいて、球面座標の直交整数座標への変換を行うことができる。具体的な方法としては、例えば、非特許文献１に記載の手法で実現できる。

【0099】

かかる直交整数座標の再構成が完了した後、本動作は、ステップＳ５０８へ進む。

【0100】

ステップＳ５０８において、ツリー合成部２０２０は、直交整数座標残差の復号を行う。

【0101】

直交整数座標残差の復号が完了した後、本動作は、ステップＳ５０９へと進む。

【0102】

ステップＳ５０９において、ツリー合成部２０２０は、元座標の再構成を行う。ツリー合成部２０２０は、かかる処理では、復号した直交整数座標残差と再構成した直交整数座標とを加算することで、元座標の再構成を行う。

【0103】

かかる元座標の再構成が完了した後、本動作は、ステップＳ５０１へと戻る。

【0104】

ステップＳ５１０において、ツリー合成部２０２０は、位置情報の予測を行う。具体的には、ツリー合成部２０２０は、予測器を選択し、かかる予測器を位置情報の予測値とする。

【0105】

例えば、ツリー合成部２０２０は、木構造に基づき計算される複数の予測器の中から、復号した予測器モードに基づき予測器を選択してもよい。

【0106】

かかる位置情報の予測が完了した後、本動作は、ステップＳ５１１へと進む。

【0107】

ステップＳ５１１において、ツリー合成部２０２０は、直交整数座標残差の復号を行う。

【0108】

直交整数座標残差の復号が完了した後、本動作は、ステップＳ５１２へと進む。

【0109】

ステップＳ５１２において、ツリー合成部２０２０は、元座標の再構成を行う。ツリー合成部２０２０は、かかる処理では、ステップＳ５１１で復号した直交整数座標の残差とステップＳ５１０で予測した位置情報とを加算することで、元座標を再構成する。

【0110】

かかる元座標の再構成が完了した後、本動作は、ステップＳ５０１へと戻る。

【0111】

図６は、ステップＳ５０６における位置情報の予測処理の一例を示すフローチャートである。

【0112】

図６に示すように、ステップＳ６０１において、ツリー合成部２０２０は、予測器の計算に予測器リストを使うかどうかを判定する。

【0113】

例えば、ツリー合成部２０２０は、ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄの値を参照して、予測器の計算に予測器リストを使うかどうかを判定することができる。

【0114】

予測器リストを使うと判定された場合、本処理は、ステップＳ６０２へ進み、予測器リストを使わないと判定された場合は、本処理は、ステップＳ６０３へ進む。

【0115】

ステップＳ６０２において、ツリー合成部２０２０は、予測器リストを用いて予測器を計算し、位置情報の予測を行う。

【0116】

ツリー合成部２０２０は、かかる処理では、予測器リストとして保持している復号済ノードの位置情報の中から、復号した予測器インデックスに割り当てられている位置情報を予測器リストから取得してもよい。

【0117】

或いは、ツリー合成部２０２０は、復号した予測器インデックスに基づき、復号対象ノードの親ノードの位置情報を予測器として利用してもよい。

【0118】

ツリー合成部２０２０は、予測器を計算した後、かかる予測器を用いて位置情報の予測値を計算する。かかる予測値の計算の具体的な処理の例は、後述する。

【0119】

かかる位置情報の予測が完了したら、本処理は、ステップＳ６０４へ進み、処理を終了する。

【0120】

ステップＳ６０３において、ツリー合成部２０２０は、木構造を用いて計算される複数の予測器の中から、復号した予測器モードに基づき、利用する予測器を選択し、かかる予測器を位置情報の予測値とする。

【0121】

例えば、ツリー合成部２０２０は、予測しないモード、処理対象ノードの親ノードのみに基づき予測するモード、当該親ノードと当該親ノードの親ノードとに基づき予測するモード、当該親ノードの親ノードと当該親ノードの親ノードの親ノードとに基づき予測するモードの中から、復号した予測器モードに基づき、利用するモードを選択してもよい。具体的には、例えば、ツリー合成部２０２０は、非特許文献１に記載の手法用いて、かかる処理を実現できる。

【0122】

かかる位置情報の予測が完了した後、本処理は、ステップＳ６０４へ進み、処理を終了する。

【0123】

図７は、ステップＳ６０２における予約器リストを使った位置情報の予測処理の一例を示すフローチャートである。

【0124】

図７に示すように、ステップＳ７０１において、ツリー合成部２０２０は、予測器インデックスの復号を行う。予測器インデックスは、後述の予測器の選択にて利用する。

【0125】

かかる予測器インデックスの復号が完了した後、本動作は、ステップＳ７０２へ進む。

【0126】

ステップＳ７０２において、ツリー合成部２０２０は、復号対象ノードの親ノードの座標値と当該親ノードの親ノードの座標値に基づく予測器を使うかどうかを判定する。

【0127】

例えば、ツリー合成部２０２０は、上述のｐｔｒｅｅ_ａｎｇ_ｌｉｎｅａｒ_ｐｒｅｄｉｃｔｏｒ_ｅｎａｂｌｅｄ_ｆｌａｇを参照して、かかる予測器を使うかどうかを判定することができる。

【0128】

また、ツリー合成部２０２０は、復号した予測器インデックスが特定の予測器インデックスであるか否かに基づいて、かかる予測器を用いるか否かについて判定してもよい。

【0129】

例えば、ツリー合成部２０２０は、復号した予測器インデックスが「０」である場合は、かかる予測器を使用し、復号した予測器インデックスが「０」以外である場合は、かかる予測器を使用しないと判定してもよい。

【0130】

かかる予測器を使うと判定された場合は、本動作は、ステップＳ７０３へ進み、かかる予測器を使わないと判定された場合は、本動作は、ステップＳ７０４へ進む。

【0131】

ステップＳ７０３において、ツリー合成部２０２０は、予測モードの復号を行う。かかる予測モードは、後述の予測器の選択にて利用される。かかる予測モードの復号が完了した後、本動作は、ステップＳ７０４へ進む。

【0132】

ステップＳ７０４において、ツリー合成部２０２０は、予測器を選択する。

【0133】

ここで、ツリー合成部２０２０は、ステップＳ７０２で復号した予測器インデックス及びステップＳ７０３で復号した予測モードを用いて、かかる予測器の選択を行う。

【0134】

例えば、ツリー合成部２０２０は、後述のステップＳ９０２で説明する方法で、かかる予測器を選択してもよい。

【0135】

ツリー合成部２０２０は、かかる予測器インデックスや予測モードに、別のインデックス番号を割り当ててもよく、例えば、予測器インデックス「１」を、かかる予測器としてもよい。

【0136】

例えば、ツリー合成部２０２０は、線形予測器以外の予測器として、予測器リストとして保持している復号済ノードの位置情報の中から、上述の復号した予測器インデックスに該当する予測器を取得してもよい。

【0137】

また、ツリー合成部２０２０は、復号した予測器インデックスに基づき、線形予測器以外の予測器として、処理対象ノードの親ノードの位置情報を利用してもよい。

【0138】

かかる予測器の選択が完了した後、本動作は、ステップＳ７０５へ進む。

【0139】

ステップＳ７０５において、ツリー合成部２０２０は、予測値の計算を行う。

【0140】

具体的には、ツリー合成部２０２０は、復号した予測器インデックスに該当する予測器を、予測器リストから取得し、取得した予測器を元に、かかる予測値を計算する。かかる予測器には、既に復号済みのノードの方位角及び半径が含まれる。

【0141】

ツリー合成部２０２０は、既に復号済みのノードの方位角及び半径に対して処理対象ノードの親ノードの復号済みのレーザーＩＤを加えた情報に基づいて、例えば、非特許文献２に記載の手法で、かかる予測器の計算を実現することができる。

【0142】

かかる予測器の再計算が完了した後、本動作は、ステップＳ７０６へ進む。

【0143】

ステップＳ７０６において、ツリー合成部２０２０は、予測器リストの更新を行う。かかる予測器リストには、復号済みの半径及び方位角が、予測器として格納されている。

【0144】

ツリー合成部２０２０は、具体的には、今回復号した半径及び方位角を、予測器リストのインデックス０番目に格納することで、かかる予測器リストの更新を行う。

【0145】

或いは、ツリー合成部２０２０は、復号した予測モードが予測器であった場合、予測に用いた予測器を、予測器リストのインデックスの０番目に格納してもよい。

【0146】

ここで、ツリー合成部２０２０は、インデックスの１番目以降の更新については、例えば、非特許文献２に記載の手法で実現できる。

【0147】

かかる予測器リストの更新が完了した後、本動作は、ステップＳ７０７へ進み、処理を終了する。

【0148】

以上のように、ツリー合成部２０２０は、予測器インデックス及び予測器モードを復号し、復号した予測器インデックス及び予測モードを用いて予測器を選択し、予測に利用する構成としてもよい。

【0149】

このような構成とすることで、予測性能を向上させることができ、結果として半径残差が小さくなり、符号化効率を改善することができる。

【0150】

図８は、ステップＳ６０２の予測器リストを使った位置情報の予測処理の一例を示すフローチャートである。

【0151】

図８に示すように、ステップＳ８０１において、ツリー合成部２０２０は、予測器インデックスの復号を行う。かかる予測器インデックスは、後述の予測器の選択にて利用される。

【0152】

かかる予測器インデックスの復号が完了した後、本動作は、ステップＳ８０２へ進む。

【0153】

ステップＳ８０２において、ツリー合成部２０２０は、処理対象ノードの親ノードの座標値及び当該親ノードの親ノードの座標値に基づく予測器を使うかどうかについて判定する。

【0154】

例えば、ツリー合成部２０２０は、ｐｔｒｅｅ_ａｎｇ_ｌｉｎｅａｒ_ｐｒｅｄｉｃｔｏｒ_ｅｎａｂｌｅｄ_ｆｌａｇを参照して、かかる予測器を使うかどうかについて判定することができる。

【0155】

かかる予測器を使うと判定された場合は、本動作は、ステップＳ８０３へ進み、かかる予測器を使わないと判定された場合は、本動作は、ステップＳ８０４へ進む。

【0156】

ステップＳ８０３において、ツリー合成部２０２０は、かかる予測器の選択を行う。

【0157】

ツリー合成部２０２０は、かかる処理では、復号した予測器インデックスに基づき、かかる線形予測器或いは線形予測器以外の予測器を選択する。具体的には後述する。

【0158】

かかる予測器の選択が完了したら、本動作は、ステップＳ８０５へ進む。

【0159】

ステップＳ８０４において、ツリー合成部２０２０は、線形予測器以外の予測器の選択を行う。

【0160】

具体的には、ツリー合成部２０２０は、予測器リストとして保持している復号済みのノードの位置情報の中から、復号した予測器インデックスに該当するものを取得してもよい。

【0161】

或いは、ツリー合成部２０２０は、復号した予測器インデックスに基づき、処理対象ノードの親ノードの位置情報を予測器として利用してもよい。

【0162】

かかる予測器の選択が完了した後、本動作は、ステップＳ８０５へ進む。

【0163】

ステップＳ８０５において、ツリー合成部２０２０は、予測値の計算を行う。

【0164】

具体的には、ツリー合成部２０２０は、復号した予測器インデックスに該当する予測器を、予測器リストから取得し、取得した予測器に基づいて、予測値計算する。かかる予測器には、既に復号済みのノードの方位角及び半径が含まれる。

【0165】

ツリー合成部２０２０は、既に復号済みのノードの方位角及び半径に対して処理対象ノードの親ノードの復号済レーザーＩＤを加えた情報に基づいて、例えば、非特許文献２に記載の手法で、予測器の計算を実現できる。

【0166】

かかる予測器の再計算が完了した後、本動作は、ステップＳ８０６へ進む。

【0167】

ステップＳ８０６において、ツリー合成部２０２０は、予測器リストの更新を行う。かかる予測器リストには、復号済みの半径及び方位角が、予測器として格納されている。

【0168】

ツリー合成部２０２０は、半径残差が閾値以上であるか否かを判定し、かかる判定結果に応じて、かかる予測器リストの更新を行う。具体的には後述する。

【0169】

かかる予測器リストの更新が完了した後、本動作は、ステップＳ８０７へ進み、処理を終了する。

【0170】

以上のように、ツリー合成部２０２０は、予測器インデックスを復号し、復号した予測器インデックスに基づき、予測器を選択し、予測に利用する構成としてもよい。

【0171】

このような構成とすることで、予測性能を向上させることができ、結果として半径残差が小さくなり、符号化効率を改善することができる。

【0172】

図９は、ステップＳ８０３の線形予測器を含む予測器の選択処理の一例を示すフローチャートである。

【0173】

図９に示すように、ステップＳ９０１において、ツリー合成部２０２０は、復号した予測器インデックスが、線形予測器のインデックスであるかどうかを判定する。

【0174】

例えば、線形予測器のインデックスを「１」として定義する場合、復号した予測器のインデックスが「１」である場合、ツリー合成部２０２０は、復号した予測器のインデックスが線形予測器のインデックスであると判定する。

【0175】

かかる線形予測器のインデックスには、「１」以外の他の番号が割り当てられていてもよい。

【0176】

復号した予測器のインデックスが線形予測器のインデックスであると判定された場合、本動作は、ステップＳ９０２へ進み、それ以外の場合、本動作は、ステップＳ９０３へ進む。

【0177】

ステップＳ９０２において、ツリー合成部２０２０は、線形予測器の選択を行う。

【0178】

ツリー合成部２０２０は、線形予測器Ｐ_（ｐｒｅｄ_ｌｉｎｅａｒ）＝（ｒ_（ｐｒｅｄ_ｌｉｎｅａｒ），φ_（ｐｒｅｄ_ｌｉｎｅａｒ））を、処理対象ノードの親ノードの位置情報Ｐ_０＝（ｒ_０，φ_０）及び当該親ノードの親ノードの位置情報Ｐ_１＝（ｒ_０，φ_１）を用いて、Ｐ_（ｐｒｅｄ_ｌｉｎｅａｒ）＝Ｐ_０＋（Ｐ_０－Ｐ_１）としてもよい。ここで、ｒは、半径を示し、φは、方位角を示す。

【0179】

或いは、ツリー合成部２０２０は、線形予測器Ｐ_（ｐｒｅｄ_ｌｉｎｅａｒ）＝（ｒ_（ｐｒｅｄ_ｌｉｎｅａｒ），φ_（ｐｒｅｄ_ｌｉｎｅａｒ））のうち、半径ｒ_（ｐｒｅｄ_ｌｉｎｅａｒ）のみについて、ｒ_（ｐｒｅｄ_ｌｉｎｅａｒ）＝ｒ_０―ｒ_１と計算し、方位角φ_（ｐｒｅｄ_ｌｉｎｅａｒ）については、φ_（ｐｒｅｄ_ｌｉｎｅａｒ）＝φ_０としてもよい。

【0180】

かかる線形予測器の選択が完了した後、本動作は、処理を終了する。

【0181】

ステップＳ９０３において、ツリー合成部２０２０は、線形予測器以外の予測器の選択を行う。

【0182】

例えば、ツリー合成部２０２０は、予測器リストとして保持している復号済みのノードの位置情報の中から、復号した予測器インデックスに該当するものを取得してもよい。

【0183】

或いは、ツリー合成部２０２０は、復号した予測器インデックスに基づき、処理対象ノードの親ノードの位置情報を予測器として利用してもよい。

【0184】

かかる線形予測器以外の予測器の選択が完了した後、本動作は、ステップＳ９０４へ進み、処理を終了する。

【0185】

以上のように、ツリー合成部２０２０は、予測器インデックスを復号し、復号した予測器インデックスが線形予測器に割り当てたインデックスである場合、線形予測器を選択し、予測に利用する構成としてもよい。

【0186】

このような構成とすることで、予測性能を向上させることができ、結果として半径残差が小さくなり、符号化効率を改善することができる。

【0187】

図１０は、ステップＳ８０３の線形予測器を含む予測器の選択処理の一例を示すフローチャートである。

【0188】

図１０に示すように、ステップＳ１００１において、ツリー合成部２０２０は、線形予測器を予測器インデックスの０番とするか否かについて判定する。

【0189】

具体的には、ツリー合成部２０２０は、線形予測器使用フラグリストを参照し、復号済みのノードの線形予測器の使用履歴に基づいて、かかる判定を行う。

【0190】

例えば、ツリー合成部２０２０は、処理対象ノードの親ノードで線形予測器が使用されていた場合は、線形予測器を予測器インデックスの０番としてもよい 。

【0191】

上述の線形予測器使用フラグリストは、後述の処理にて更新される。かかる線形予測器使用フラグリストは、各復号済みのノードにおいて、線形予測器を使用したかどうかのフラグを保持するリストである。

【0192】

上述の親ノードが線形予測器を使用したと判定された場合、本動作は、ステップＳ１００２へ進み、それ以外の場合、本動作は、ステップＳ１００３へ進む。

【0193】

ステップＳ１００２において、ツリー合成部２０２０は、予測器インデックスが０か否かを判定する。ツリー合成部２０２０は、復号した予測器インデックスを用いて、かかる判定を行う。

【0194】

予測器インデックスが０である場合、本動作は、線形予測器を選択するためにステップＳ１００４へ進み、予測器インデックスが０以外である場合、本動作は、線形予測器以外の予測器を選択するためにステップＳ１００５へ進む。

【0195】

ステップＳ１００３において、ツリー合成部２０２０は、予測器インデックスが１か否かを判定する。ツリー合成部２０２０は、復号した予測器インデックスを用いて、かかる判定を行う。

【0196】

予測器インデックスが１である場合、本動作は、線形予測器を選択するためにステップＳ１００４へ進み、予測器インデックスが０以外である場合、本動作は、線形予測器以外の予測器を選択するためにステップＳ１００５へ進む。

【0197】

ステップＳ１００４において、ツリー合成部２０２０は、線形予測器を選択する。

【0198】

ツリー合成部２０２０は、線形予測器Ｐ_（ｐｒｅｄ_ｌｉｎｅａｒ）＝（ｒ_（ｐｒｅｄ_ｌｉｎｅａｒ），φ_（ｐｒｅｄ_ｌｉｎｅａｒ））を、処理対象ノードの親ノードの位置情報Ｐ_０＝（ｒ_０，φ_０）及び当該親ノードの親ノードの位置情報Ｐ_１＝（ｒ_０，φ_１）を用いて、Ｐ_（ｐｒｅｄ_ｌｉｎｅａｒ）＝Ｐ_０＋（Ｐ_０－Ｐ_１）としてもよい。ここで、ｒは、半径を示し、φは、方位角を示す。

【0199】

或いは、ツリー合成部２０２０は、線形予測器Ｐ_（ｐｒｅｄ_ｌｉｎｅａｒ）＝（ｒ_（ｐｒｅｄ_ｌｉｎｅａｒ），φ_（ｐｒｅｄ_ｌｉｎｅａｒ））のうち、半径ｒ_（ｐｒｅｄ_ｌｉｎｅａｒ）のみについて、ｒ_（ｐｒｅｄ_ｌｉｎｅａｒ）＝ｒ_０―ｒ_１と計算し、方位角φ_（ｐｒｅｄ_ｌｉｎｅａｒ）については、φ_（ｐｒｅｄ_ｌｉｎｅａｒ）＝φ_０としてもよい。

【0200】

かかる線形予測器の選択が完了した後、本動作は、ステップＳ１００６へ進む。

【0201】

ステップＳ１００５において、ツリー合成部２０２０は、線形予測器以外の予測器の選択を行う。

【0202】

例えば、ツリー合成部２０２０は、予測器リストとして保持している復号済みのノードの位置情報の中から、復号した予測器インデックスに該当するものを取得してもよい。

【0203】

或いは、ツリー合成部２０２０は、復号した予測器インデックスに基づき、処理対象ノードの親ノードの位置情報を予測器として利用してもよい。

【0204】

かかる予測器の選択が完了した後、本動作は、ステップＳ１００６へ進む。

【0205】

ステップＳ１００６において、ツリー合成部２０２０は、線形予測器使用フラグリストの更新を行う。

【0206】

ツリー合成部２０２０は、かかる処理では、今回の復号対象のノードのインデックス及び線形予測器を使用したかどうかのフラグを、線形予測器使用フラグリストに更新する。

【0207】

かかる線形予測器使用フラグリストの更新の処理では、ツリー合成部２０２０は、今回復号したノードにおいて、線形予測器を使用したかどうかをフラグとして更新する。

【0208】

かかる線形予測器使用フラグリストは、ステップＳ１００１で線形予測器を予約インデックスの０番とするか否かについて判定するために利用される。

【0209】

かかる線形予測器使用フラグリストの更新が完了した後、本動作は、ステップＳ１００７へ進み、処理を終了する。

【0210】

以上のように、ツリー合成部２０２０は、予測器インデックスを復号し、線形予測器使用フラグリストを用いて線形予測器のインデックスを決定し、決定した線形予測器のインデックスと復号した予測器インデックスとに基づいて、線形予測器を選択し、予測に利用する構成としてもよい。

【0211】

このような構成とすることで、予測性能を向上させることができ、結果として半径残差が小さくなり、かつ線形予測器の予測器インデックスを状況に応じた番号に割り当てることができ、符号化効率を改善することができる。

【0212】

図１１は、ステップＳ８０６の予測器リストの更新処理の一例を示すフローチャートである。

【0213】

図１１に示すように、ステップＳ１１０１において、ツリー合成部２０２０は、ステップＳ５０４で復号した球面座標残差の絶対値が閾値よりも大きいか否かについて判定する。

【0214】

ツリー合成部２０２０は、かかる閾値として、例えば、ｐｔｒｅｅ_ａｎｇ_ｐｒｅｄ_ｌｉｓｔ_ｒａｄｉｕｓ_ｒｅｓｉｄ_ｔｈｒｅｓｈｏｌｄに設定されている値を用いてもよい。

【0215】

球面座標残差の絶対値が閾値よりも小さいと判定された場合、本動作は、ステップＳ１１０２へ進み、球面座標残差の絶対値が閾値よりも大きいと判定された場合、本動作は、ステップ１１０３へ進む。

【0216】

ステップＳ１１０２において、ツリー合成部２０２０は、予測器リストを部分的に更新する。

【0217】

具体的には、ツリー合成部２０２０は、利用した予測器インデックスの番号をｊとして、予約器リストに存在している予測器インデックスの番号１～ｊー１を、１ずつプラスして予測器リストに格納する。

【0218】

かかる格納が完了した後、本動作は、ステップＳ１１０４へ進む。

【0219】

ステップＳ１１０３において、ツリー合成部２０２０は、予測器リストを全て更新する。

【0220】

具体的には、ツリー合成部２０２０は、全ての予測器インデックス番号を、１ずつプラスして予測器リストに格納する。

【0221】

かかる格納が完了した後、本動作は、ステップＳ１１０４へ進む。

【0222】

ステップＳ１１０４において、ツリー合成部２０２０は、予測器リストに、今回の復号対象ノードの位置情報を格納する。

【0223】

具体的には、例えば、ツリー合成部２０２０は、ステップＳ５０６で再構成した位置情報のうち、半径及び方位角を、予測器リストのインデックスの０番目及び１番目に格納してもよい。

【0224】

或いは、ツリー合成部２０２０は、ステップＳ８０３で線形予測器を選択した場合、予測器リストの１番目には、選択した線形予測器を格納してもよい。

【0225】

かかる格納が完了した後、本動作は、ステップＳ１１０５へ進み、処理を終了する。

【0226】

図１２は、ステップＳ５０４の球面残差復号処理の一例を示すフローチャートである。

【0227】

図１２に示すように、ステップＳ１２０１において、ツリー合成部２０２０は、半径、方位角及びレーザーＩＤの残差を復号する。

【0228】

かかる復号が完了した後、本動作は、ステップＳ１２０２へ進む。

【0229】

ステップＳ１２０２において、ツリー合成部２０２０は、方位角ステップ数の残差を復号する。

【0230】

ここで、方位角ステップ数は、Ａｎｇｕｌａｒモードにおいて選択される予測器の方位角と実際の方位角との差分から、レーザーの回転速度を除算した値である。

【0231】

レーザーの回転速度は、ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｔｅｐ_ｍｉｎｕｓ１の値を参照して、非特許文献１に記載の方法で計算されてもよい。

【0232】

方位角ステップ数は、点群符号化装置１００側で計算される値であり、点群復号装置２００は、上述の予測値との残差を復号してもよく、後述する処理で計算される方位角ステップ数の予測値に加算することで、方位角ステップ数を再構成してもよい。

【0233】

かかる復号が完了した後、本動作は、ステップＳ１２０３へ進み、処理を終了する。

【0234】

図１３は、ステップＳ５０５の位置情報の予測処理の一例を示すフローチャートである。

【0235】

図１３に示すように、ステップＳ１３０１において、ツリー合成部２０２０は、予測器の計算に予測器リストを使うかどうかを判定する。

【0236】

例えば、ツリー合成部２０２０は、ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄの値を参照して、予測器の計算に予測器リストを使うかどうかを判定することができる。

【0237】

予測器リストを使うと判定された場合は、本動作は、ステップＳ１３０２へ進み、予測器リストを使わないと判定された場合は、本動作は、ステップＳ１３０３へ進む。

【0238】

ステップＳ１３０２において、ツリー合成部２０２０は、予測器リストを使って予測器を選択する。

【0239】

ツリー合成部２０２０は、かかる処理では、予測器リストとして保持している復号済ノードの位置情報の中から、前記復号した予測器インデックスに該当するものをリストから取得してもよい。

【0240】

或いは、ツリー合成部２０２０は、復号した予測器インデックスに基づき、処理対象ノードの親ノードの位置情報を予測器として利用してもよい。

【0241】

かかる予測器の選択が完了したら、本動作は、ステップＳ１３０４へ進む。

【0242】

ステップＳ１３０３において、ツリー合成部２０２０は、木構造を用いて計算される複数の予測器の中から、復号した予測器モードに基づき、利用する予測器を選択し、かかる予測器を位置情報の予測値とする。

【0243】

例えば、ツリー合成部２０２０は、予測しないモード、処理対象ノードの親ノードのみに基づき予測するモード、当該親ノードと当該親ノードの親ノードに基づき予測するモード、当該親ノードの親ノードと当該親ノードの親ノードの親ノードに基づき予測するモードの中から、復号した予測器モードに基づき、利用するモードを選択してもよい。

【0244】

具体的には、例えば、ツリー合成部２０２０は、非特許文献１に記載の手法で、かかる処理を実現できる。

【0245】

かかる予測器の選択が完了した後、本動作は、ステップＳ１３０４へ進む。

【0246】

ステップＳ１３０４において、ツリー合成部２０２０は、方位角ステップ数の予測値を計算する。

【0247】

ツリー合成部２０２０は、例えば、レーザーＩＤを用いて、方位角ステップ数の予測値を計算してもよい。

【0248】

具体的には、ツリー合成部２０２０は、レーザーＩＤに応じて与えられる値を用いて、方位角ステップ数の予測値を計算してもよい。或いは、ツリー合成部２０２０は、レーザーＩＤごとに方位角ステップ数を記録しておき、かかる方位角ステップ数の平均値や中央値を用いて、方位角ステップ数の予測値を計算してもよい。或いは、ツリー合成部２０２０は、直近に復号した方位角ステップ数のパターンを用いて、方位角ステップ数の予測値を計算してもよい。具体的には後述する。

【0249】

また、上述のような複数の予測値の計算方法をそれぞれ予測器として定義しておき、ツリー合成部２０２０は、点ごと或いはレーザーＩＤごとに予測器を選択し、選択した予測器で定義されている方法に基づいて予測値を算出してもよい。

【0250】

かかる方位角ステップ数の予測値の計算が完了した後、本動作は、ステップＳ１３０５へ進む。

【0251】

ステップＳ１３０５において、ツリー合成部２０２０は、方位角ステップ数の再構成を行う。

【0252】

具体的には、ツリー合成部２０２０は、復号した方位角ステップ数の残差と、予測した方位角ステップ数の予測値とを加算することで、方位角ステップ数の再構成を行う。

【0253】

かかる再構成が完了した後、本動作は、ステップＳ１３０６へ進む。

【0254】

ステップＳ１３０６において、ツリー合成部２０２０は、予測値の計算を行う。

【0255】

具体的には、ツリー合成部２０２０は、復号した予測器インデックスに該当する予測器を予測器リストから取得し、取得した予測器に基づいて、かかる予測値を計算する。かかる予測器には、既に復号済みのノードの方位角及び半径が含まれる。

【0256】

ツリー合成部２０２０は、既に復号済みのノードの方位角及び半径に対して処理対象ノードの親ノードの復号済みのレーザーＩＤを加えた情報に基づいて、例えば、非特許文献２に記載の手法で、予測器の計算を実現できる。

【0257】

かかる予測器の計算が完了した後、本動作は、ステップＳ１３０７へ進み、処理を終了する。

【0258】

以上のように、ツリー合成部２０２０は、方位角ステップ数の予測値を計算し、方位角ステップ数の予測を行い、方位角ステップ数の残差を復号し、予測値に残差を加算することで方位角ステップ数を再構成する構成としてもよい。

【0259】

このような構成とすることで、方位角ステップ数の残差のみを復号することができ、符号化効率を改善することができる。

【0260】

図１４は、ステップＳ１３０４の方位角ステップ数の予測値の計算の処理の一例を示すフローチャートである。

【0261】

図１４に示すように、ステップＳ１４０１において、ツリー合成部２０２０は、復号済みのノード数がＮ＋１個よりも大きいか否かについて判定する。

【0262】

Ｎ＋１個未満であると判定された場合、本動作は、ステップＳ１４０２へ進み、Ｎ＋１個以上であると判定された場合、本動作は、ステップＳ１４０３へ進む。

【0263】

ステップＳ１４０２において、ツリー合成部２０２０は、方位角ステップ数の予測値を取得する。

【0264】

具体的には、ツリー合成部２０２０は、復号済方位角ステップ数リストから、直近で復号されたノードをＮ個分さかのぼり、１組の方位角ステップ数のパターンとして取得し、方位角ステップ数予測値テーブルから、取得した方位角ステップ数のパターンに対応する予測値を取得する。

【0265】

復号済方位角ステップ数リストは、各復号済みのノードにおいて、復号した方位角ステップ数を保持するリストである。

【0266】

方位角ステップ数予測値テーブルは、Ｎ個分の方位角ステップ数のパターンと、かかるパターンに対応する方位角ステップ数の予測値を対として、複数保持する。

【0267】

なお、ツリー合成部２０２０は、個数Ｎとして、ｐｔｒｅｅ_ａｎｇ_ｍａｘ_ｑｐｈｉ_ｔａｂｌｅ_ｐａｔｔｅｒｎの値を用いてもよい。

【0268】

ツリー合成部２０２０は、復号済方位角ステップ数リスト及び方位角ステップ数予測値テーブルについて、後述の処理で更新する。

【0269】

かかる予測値の取得が完了した後、本動作は、ステップＳ１４０５へ進む。

【0270】

ステップＳ１４０３において、ツリー合成部２０２０は、復号済方位角ステップ数リストから予測値を取得する。

【0271】

復号済みのノード数がＮ＋１個未満である場合、方位角ステップ数予測値テーブルには、未だＮ以上のパターンが存在していないため、ツリー合成部２０２０は、復号済方位角ステップ数リストから予測値を取得する。

【0272】

例えば、ツリー合成部２０２０は、直近に復号されたノードの方位角ステップ数を取得し、上述の予測値としてもよい。

【0273】

かかる予測値の取得が完了した後、本動作は、ステップＳ１４０４へ進む。

【0274】

ステップＳ１４０４において、ツリー合成部２０２０は、復号済みのノード数がＮより大きいか否かについて判定する。

【0275】

Ｎより大きいと判定された場合、本動作は、ステップＳ１４０５へ進み、Ｎ未満であると判定された場合、本動作は、ステップＳ１４０６へ進む。

【0276】

ステップＳ１４０５において、ツリー合成部２０２０は、方位角ステップ数予測値テーブルの更新を行う。

【0277】

ツリー合成部２０２０は、かかる処理では、直近Ｎ個の復号済方位角ステップ数のパターンが、方位角ステップ数予測値テーブル上に存在していない場合は、かかるパターン及び復号対象ノードの方位角ステップ数を予測値として更新する。一方、ツリー合成部２０２０は、直近Ｎ個の復号済方位角ステップ数のパターンが、方位角ステップ数予測値テーブル上に存在する場合は、かかるパターンに対応する予測値を更新する。具体的には後述する。

【0278】

方位角ステップ数予測値テーブルの更新が完了した後、本動作は、ステップＳ１４０６へ進む。

【0279】

ステップＳ１４０６において、ツリー合成部２０２０は、復号済方位角ステップ数リストの更新を行う。

【0280】

具体的には、ツリー合成部２０２０は、各復号済みのノードにおいて復号した方位角ステップ数を保持しておくため、今回復号したノードのインデックス及び方位角ステップ数を更新する。

【0281】

かかる復号済方位角ステップ数リストの更新が完了した後、本動作は、ステップＳ１４０７へ進み、処理を終了する。

【0282】

図１５は、ステップＳ１４０５の方位角ステップ数予測値テーブルの更新処理の一例を示すフローチャートである。

【0283】

図１５に示すように、ステップＳ１５０１において、ツリー合成部２０２０は、復号済方位角ステップ数リストから、直近Ｎ個の復号済方位角ステップ数を取得する。

【0284】

ツリー合成部２０２０は、取得したＮ個の方位角ステップ数を１組のパターンとして、後述の処理で利用する。

【0285】

かかる取得が完了した後、本動作は、ステップＳ１５０２へ進む。

【0286】

ステップＳ１５０２において、ツリー合成部２０２０は、ステップＳ１５０１で取得した直近の復号済方位角ステップ数のパターンが、方位角予測器テーブルに存在するかについて判定する。

【0287】

存在しないと判定された場合、本動作は、ステップＳ１５０３へ進み、存在すると判定された場合、本動作は、ステップＳ１５０４へ進む。

【0288】

ステップＳ１５０３において、ツリー合成部２０２０は、方位角予測器テーブルに、上述のパターン及び予測値を追加する。

【0289】

具体的には、ツリー合成部２０２０は、ステップＳ１５０２で取得した方位角ステップ数のパターン及び今回の復号対象ノードにおいて復号した方位角ステップ数を予測値とし、かかるパターン及びと予測値を対として追加する。

【0290】

かかる追加が完了した後、本動作は、ステップＳ１５０５へ進み、処理を終了する。

【0291】

ステップ１５０４において、ツリー合成部２０２０は、方位角予測器テーブルの予測値を更新する。

【0292】

具体的には、ツリー合成部２０２０は、方位角予測器テーブル上に存在するステップＳ１５０２で取得した方位角ステップ数のパターンに対応する予測値を更新する。

【0293】

ツリー合成部２０２０は、例えば、今回の復号対象ノードにおいて復号した方位角ステップ数を予測値として更新してもよいし、方位角ステップ数のパターンに対するこれまでの予測値を履歴として保持しておき、かかる予測値の平均値や中央値を予測値として更新してもよい。

【0294】

また、ツリー合成部２０２０は、方位角予測器テーブルについて、レーザーＩＤごとに独立して作成・更新してもよい。

【0295】

かかる更新が完了した後、本動作は、ステップＳ１５０５へ進み、処理を終了する。

【0296】

（点群符号化装置１００）
以下、図１６を参照して、本実施形態に係る点群符号化装置１００について説明する。図１６は、本実施形態に係る点群符号化装置１００の機能ブロックの一例について示す図である。

【0297】

図１６に示すように、点群符号化装置１００は、座標変換部１０１０と、幾何情報量子化部１０２０と、ツリー解析部１０３０と、近似表面解析部１０４０と、幾何情報符号化部１０５０と、幾何情報再構成部１０６０と、色変換部１０７０と、属性転移部１０８０と、ＲＡＨＴ部１０９０と、ＬｏＤ算出部１１００と、リフティング部１１１０と、属性情報量子化部１１２０と、属性情報符号化部１１３０と、フレームバッファ１１４０とを有する。

【0298】

座標変換部１０１０は、入力点群の３次元座標系から、任意の異なる座標系への変換処理を行うよう構成されている。座標変換は、例えば、入力点群を回転することにより、入力点群のｘ、ｙ、ｚ座標を任意のs、ｔ、ｕ座標に変換してもよい。また、変換のバリエーションの１つとして、入力点群の座標系をそのまま使用してもよい。

【0299】

幾何情報量子化部１０２０は、座標変換後の入力点群の位置情報の量子化及び座標が重複する点の除去を行うように構成されている。なお、量子化ステップサイズが１の場合は、入力点群の位置情報と量子化後の位置情報とが一致する。すなわち、量子化ステップサイズが１の場合は、量子化を行わない場合と等価になる。

【0300】

ツリー解析部１０３０は、量子化後の点群の位置情報を入力として、後述のツリー構造に基づいて、符号化対象空間のどのノードに点が存在するかについて示すｏｃｃｕｐａｎｃｙ ｃｏｄｅを生成するように構成されている。

【0301】

ツリー解析部１０３０は、本処理において、符号化対象空間を再帰的に直方体で区切ることにより、ツリー構造を生成するように構成されている。

【0302】

ここで、ある直方体内に点が存在する場合、かかる直方体を複数の直方体に分割する処理を、直方体が所定のサイズになるまで再帰的に実行することでツリー構造を生成することができる。なお、かかる各直方体をノードと呼ぶ。また、ノードを分割して生成される各直方体を子ノードと呼び、子ノード内に点が含まれるか否かについて０又は１で表現したものがｏｃｃｕｐａｎｃｙ ｃｏｄｅである。

【0303】

以上のように、ツリー解析部１０３０は、所定のサイズになるまでノードを再帰的に分割しながら、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを生成するように構成されている。

【0304】

本実施形態では、上述の直方体を常に立方体として８分木分割を再帰的に行う「Ｏｃｔｒｅｅ」と呼ばれる手法、及び、８分木分割に加え、４分木分割及び２分木分割を行う「ＱｔＢｔ」と呼ばれる手法を使用することができる。

【0305】

ここで、「ＱｔＢｔ」を使用するか否かについては、制御データとして点群復号装置２００に伝送される。

【0306】

或いは、任意のツリー構成を用いるＰｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇを使用するように指定されてもよい。かかる場合、ツリー解析部１０３０が、ツリー構造を決定し、決定されたツリー構造は、制御データとして点群復号装置２００へ伝送される。

【0307】

例えば、ツリー構造の制御データは、図７及び図８で説明した手順で復号できるよう構成されていてもよい。

【0308】

近似表面解析部１０４０は、ツリー解析部１０３０によって生成されたツリー情報を用いて、近似表面情報を生成するように構成されている。

【0309】

近似表面情報は、例えば、物体の３次元点群データを復号する際等において、点群が物体表面に密に分布しているような場合に、個々の点群を復号するのではなく、点群の存在領域を小さな平面で近似して表現したものである。

【0310】

具体的には、近似表面解析部１０４０は、例えば、「Ｔｒｉｓｏｕｐ」と呼ばれる手法で、近似表面情報を生成するように構成されていてもよい。また、Ｌｉｄａｒ等で取得した疎な点群を復号する場合は、本処理を省略することができる。

【0311】

幾何情報符号化部１０５０は、ツリー解析部１０３０によって生成されたｏｃｃｕｐａｎｃｙ ｃｏｄｅ及び近似表面解析部１０４０によって生成された近似表面情報等のシンタックスを符号化してビットストリーム（幾何情報ビットストリーム）を生成するように構成されている。ここで、ビットストリームには、例えば、図４で説明したシンタックスを含まれていてもよい。

【0312】

符号化処理は、例えば、コンテクスト適応二値算術符号化処理である。ここで、例えば、シンタックスは、位置情報の復号処理を制御するための制御データ（フラグやパラメータ）を含む。

【0313】

幾何情報再構成部１０６０は、ツリー解析部１０３０によって生成されたツリー情報及び近似表面解析部１０４０によって生成された近似表面情報に基づいて、符号化対象の点群データの各点の幾何情報（符号化処理が仮定している座標系、すなわち、座標変換部１０１０における座標変換後の位置情報）を再構成するように構成されている。

【0314】

フレームバッファ１１４０は、幾何情報再構成部１０６０によって再構成された幾何情報を入力とし、参照フレームとして保存するように構成されている。

【0315】

保存された参照フレームは、ツリー解析部１０３０において時間的に異なるフレームのインター予測を行う場合に、フレームバッファ１１４０から読み出されて参照フレームとして使用される。

【0316】

ここで、各フレームに対してどの時刻の参照フレームを用いるかどうかが、例えば、符号化効率を表すコスト関数の値に基づいて決定され、使用する参照フレームの情報が制御データとして点群復号装置２００へ伝送されてもよい。

【0317】

色変換部１０７０は、入力の属性情報が色情報であった場合に、色変換を行うように構成されている。色変換は、必ずしも実行する必要は無く、色変換処理の実行の有無については、制御データの一部として符号化され、点群復号装置２００へ伝送される。

【0318】

属性転移部１０８０は、入力点群の位置情報、幾何情報再構成部１０６０における再構成後の点群の位置情報及び色変換部１０７０での色変化後の属性情報に基づいて、属性情報の歪みが最小となるように属性値を補正するように構成されている。具体的な補正方法は、例えば、非特許文献１に記載の方法を適用できる。

【0319】

ＲＡＨＴ部１０９０は、属性転移部１０８０による転移後の属性情報及び幾何情報再構成部１０６０によって生成された幾何情報を入力とし、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）と呼ばれるＨａａｒ変換の一種を用いて、各点の残差情報を生成するように構成されている。ＲＡＨＴの具体的な処理としては、例えば、上述の非特許文献１に記載の方法を用いることができる。

【0320】

ＬｏＤ算出部１１００は、幾何情報再構成部１０６０によって生成された幾何情報を入力とし、ＬｏＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するように構成されている。

【0321】

ＬｏＤは、ある点の属性情報から、他のある点の属性情報を予測し、予測残差を符号化或いは復号するといった予測符号化を実現するための参照関係（参照する点及び参照される点）を定義するための情報である。

【0322】

言い換えると、ＬｏＤは、幾何情報に含まれる各点を複数のレベルに分類し、下位のレベルに属する点については上位のレベルに属する点の属性情報を用いて属性を符号化或いは復号するといった階層構造を定義した情報である。

【0323】

ＬｏＤの具体的な決定方法としては、例えば、上述の非特許文献１に記載の方法を用いてもよい。

【0324】

リフティング部１１１０は、ＬｏＤ算出部１１００によって生成されたＬｏＤ及び属性転移部１０８０での属性転移後の属性情報を用いて、リフティング処理により残差情報を生成するように構成されている。

【0325】

リフティングの具体的な処理としては、例えば、上述の非特許文献１に記載の方法を用いてもよい。

【0326】

属性情報量子化部１１２０は、ＲＡＨＴ部１０９０又はリフティング部１１１０から出力される残差情報を量子化するように構成されている。ここで、量子化ステップサイズが１の場合は、量子化を行わない場合と等価である。

【0327】

属性情報符号化部１１３０は、属性情報量子化部１１２０から出力される量子化後の残差情報等をシンタックスとして符号化処理を行い、属性情報に関するビットストリーム（属性情報ビットストリーム）を生成するように構成されている。

【0328】

符号化処理は、例えば、コンテクスト適応二値算術符号化処理である。ここで、例えば、シンタックスは、属性情報の復号処理を制御するための制御データ（フラグ及びパラメータ）を含む。

【0329】

点群符号化装置１００は、以上の処理により、点群内の各点の位置情報及び属性情報を入力として符号化処理を行い、幾何情報ビットストリーム及び属性情報ビットストリームを出力するように構成されている。

【0330】

また、上述の点群符号化装置１００及び点群復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【0331】

なお、上記の各実施形態では、本発明を点群符号化装置１００及び点群復号装置２００への適用を例にして説明したが、本発明は、かかる例のみに限定されるものではなく、点群符号化装置１００及び点群復号装置２００の各機能を備えた点群符号化/復号システムにも同様に適用できる。

【産業上の利用可能性】

【0332】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0333】

１０…点群処理システム
１００…点群符号化装置
１０１０…座標変換部
１０２０…幾何情報量子化部
１０３０…ツリー解析部
１０４０…近似表面解析部
１０５０…幾何情報符号化部
１０６０…幾何情報再構成部
１０７０…色変換部
１０８０…属性転移部
１０９０…ＲＡＨＴ部
１１００…ＬｏＤ算出部
１１１０…リフティング部
１１２０…属性情報量子化部
１１３０…属性情報符号化部
１１４０…フレームバッファ
２００…点群復号装置
２０１０…幾何情報復号部
２０２０…ツリー合成部
２０３０…近似表面合成部
２０４０…幾何情報再構成部
２０５０…逆座標変換部
２０６０…属性情報復号部
２０７０…逆量子化部
２０８０…ＲＡＨＴ部
２０９０…ＬｏＤ算出部
２１００…逆リフティング部
２１１０…逆色変換部
２１２０…フレームバッファ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】