特開 2024-8353 点群復号装置、点群復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024008353

(43)【公開日】2024-01-19

(54)【発明の名称】点群復号装置、点群復号方法及びプログラム

(51)【国際特許分類】

   H04N 19/70 20140101AFI20240112BHJP

   H04N 19/597 20140101ALI20240112BHJP

【ＦＩ】

H04N19/70

H04N19/597

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022110162

(22)【出願日】2022-07-08

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、総務省、「３次元空間データの無線伝送に向けた高能率圧縮技術の研究開発」委託事業、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(72)【発明者】

【氏名】海野 恭平

(72)【発明者】

【氏名】河村 圭

(72)【発明者】

【氏名】小森田 賢史

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA00

5C159MC11

5C159ME01

5C159PP03

5C159SS26

5C159UA02

5C159UA05

(57)【要約】

【課題】Ｔｒｉｓｏｕｐ時に使用できるノード形状の種類を増やすことができ、符号化効率の向上が期待できる。
【解決手段】本発明に係る点群復号装置２００は、Ｔｒｉｓｏｕｐの頂点位置を復号する際に、ノード形状に応じてセグメントごとに頂点位置の取り得る値の範囲を設定し、頂点位置の取り得る値の範囲に基づいて頂点位置を復号するように構成されている近似表面合成部２０３０を備えることを特徴とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

点群復号装置であって、
Ｔｒｉｓｏｕｐの頂点位置を復号する際に、ノード形状に応じてセグメントごとに頂点位置の取り得る値の範囲を設定し、前記頂点位置の取り得る値の範囲に基づいて前記頂点位置を復号するように構成されている近似表面合成部を備えることを特徴とする点群復号装置。

【請求項2】

前記近似表面合成部は、前記ノードから前記セグメントを生成する際の各セグメントの軸方向と前記ノード形状とに基づいて、前記頂点位置の取り得る値の範囲を設定するように構成されていることを特徴とする請求項１に記載の点群復号装置。

【請求項3】

前記近似表面合成部は、各セグメントの始点座標と終点座標とに基づいて、前記頂点位置の取り得る値の範囲を設定するように構成されていることを特徴とする請求項１に記載の点群復号装置。

【請求項4】

点群復号方法であって、
Ｔｒｉｓｏｕｐの頂点位置を復号する際に、ノード形状に応じてセグメントごとに頂点位置の取り得る値の範囲を設定し、前記頂点位置の取り得る値の範囲に基づいて前記頂点位置を復号する工程を有することを特徴とする点群復号方法。

【請求項5】

コンピュータを、点群復号装置として機能させるプログラムであって、
前記点群復号装置は、
Ｔｒｉｓｏｕｐの頂点位置を復号する際に、ノード形状に応じてセグメントごとに頂点位置の取り得る値の範囲を設定し、前記頂点位置の取り得る値の範囲に基づいて前記頂点位置を復号するように構成されている近似表面合成部を備えることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、点群復号装置、点群復号方法及びプログラムに関する。

【背景技術】

【0002】

非特許文献１では、Ｔｒｉｓｏｕｐという幾何情報を復号する技術が開示されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Ｇ-ＰＣＣ Ｆｕｔｕｒｅ Ｅｎｈａｎｃｅｍｅｎｔ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１ Ｎ１９３２８

【発明の概要】

【発明が解決しようとする課題】

【0004】

非特許文献１の方法では、Ｔｒｉｓｏｕｐで復号処理を行う際のノードサイズとして立方体のみが想定されている。また、非特許文献１には、直方体のノードサイズも許容することで符号化効率を高める技術が開示されているが、両者を組み合わせて使用することができないという問題点があった。

【0005】

そこで、本発明は、上述の課題に鑑みてなされたものであり、Ｔｒｉｓｏｕｐ時に使用できるノード形状の種類を増やすことができ、符号化効率の向上が期待できる点群復号装置、点群復号方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の特徴は、点群復号装置であって、Ｔｒｉｓｏｕｐの頂点位置を復号する際に、ノード形状に応じてセグメントごとに頂点位置の取り得る値の範囲を設定し、前記頂点位置の取り得る値の範囲に基づいて前記頂点位置を復号するように構成されている近似表面合成部を備えることを要旨とする。

【0007】

本発明の第２の特徴は、点群復号方法であって、Ｔｒｉｓｏｕｐの頂点位置を復号する際に、ノード形状に応じてセグメントごとに頂点位置の取り得る値の範囲を設定し、前記頂点位置の取り得る値の範囲に基づいて前記頂点位置を復号する工程を有することを要旨とする。

【0008】

本発明の第３の特徴は、コンピュータを、点群復号装置として機能させるプログラムであって、前記点群復号装置は、Ｔｒｉｓｏｕｐの頂点位置を復号する際に、ノード形状に応じてセグメントごとに頂点位置の取り得る値の範囲を設定し、前記頂点位置の取り得る値の範囲に基づいて前記頂点位置を復号するように構成されている近似表面合成部を備えることを要旨とする。

【発明の効果】

【0009】

本発明によれば、ノードサイズが直方体である場合も、Ｔｒｉｓｏｕｐによる復号処理を実現することができるため、Ｔｒｉｓｏｕｐ時に使用できるノード形状の種類を増やすことができ、符号化効率の向上が期待できる点群復号装置、点群復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、一実施形態に係る点群処理システム１０の構成の一例を示す図である。

【図2】図２は、一実施形態に係る点群復号装置２００の機能ブロックの一例を示す図である。

【図3】図３は、一実施形態に係る点群復号装置２００の幾何情報復号部２０１０で受信する符号化データ（ビットストリーム）の構成の一例を示す図である。

【図4】図４は、ＧＰＳ２０１１のシンタックス構成の一例を示す図である。

【図5】図５は、ＧＳＨ２０１２のシンタックス構成の一例を示す図である。

【図6】図６は、ＧＳＨ２０１２のシンタックス構成の一例を示す図である。

【図7】図７は、ＧＳＨ２０１２のシンタックス構成の一例を示す図である。

【図8】図８は、一実施形態に係る点群復号装置２００のツリー合成部２０２０における処理の一例を示すフローチャートである

【図9】図９は、一実施形態に係る点群復号装置２００のツリー合成部２０２０における処理の一例を示すフローチャートである。

【図10】図１０は、一実施形態に係る点群復号装置２００の近似表面合成部２０３０の処理の一例を示すフローチャートである。

【図11A】図１１Ａは、図１０におけるステップＳ１００６の処理の一例を説明するための図である。

【図11B】図１１Ｂは、図１０におけるステップＳ１００６の処理の一例を説明するための図である。

【図12A】図１２Ａは、図１０におけるステップＳ１００６の処理の一例を説明するための図である。

【図12B】図１２Ｂは、図１０におけるステップＳ１００６の処理の一例を説明するための図である。

【図13】図１３は、図１０におけるステップＳ１００２で使用する頂点の復号処理の一例を示すフローチャートである。

【図14】図１４は、図１３におけるステップＳ１３０４の処理の一例を示すフローチャートである。

【図15】図１５は、本実施形態に係る点群符号化装置１００の機能ブロックの一例について示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0012】

（第１実施形態）
以下、図１～図１５を参照して、本発明の第１実施形態に係る点群処理システム１０について説明する。図１は、本実施形態に係る実施形態に係る点群処理システム１０を示す図である。

【0013】

図１に示すように、点群処理システム１０は、点群符号化装置１００及び点群復号装置２００を有する。

【0014】

点群符号化装置１００は、入力点群信号を符号化することによって符号化データ（ビットストリーム）を生成するように構成されている。点群復号装置２００は、ビットストリームを復号することによって出力点群信号を生成するように構成されている。

【0015】

なお、入力点群信号及び出力点群信号は、点群内の各点の位置情報と属性情報とから構成される。属性情報は、例えば、各点の色情報や反射率である。

【0016】

ここで、かかるビットストリームは、点群符号化装置１００から点群復号装置２００に対して伝送路を介して送信されてもよい。また、ビットストリームは、記憶媒体に格納された上で、点群符号化装置１００から点群復号装置２００に提供されてもよい。

【0017】

（点群復号装置２００）
以下、図２を参照して、本実施形態に係る点群復号装置２００について説明する。図２は、本実施形態に係る点群復号装置２００の機能ブロックの一例について示す図である。

【0018】

図２に示すように、点群復号装置２００は、幾何情報復号部２０１０と、ツリー合成部２０２０と、近似表面合成部２０３０と、幾何情報再構成部２０４０と、逆座標変換部２０５０と、属性情報復号部２０６０と、逆量子化部２０７０と、ＲＡＨＴ部２０８０と、ＬｏＤ算出部２０９０と、逆リフティング部２１００と、逆色変換部２１１０とを有する。

【0019】

幾何情報復号部２０１０は、点群符号化装置１００から出力されるビットストリームのうち、幾何情報に関するビットストリーム（幾何情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。

【0020】

復号処理は、例えば、コンテクスト適応二値算術復号処理である。ここで、例えば、シンタックスは、位置情報の復号処理を制御するための制御データ（フラグやパラメータ）を含む。

【0021】

ツリー合成部２０２０は、幾何情報復号部２０１０によって復号された制御データ及び後述するツリー内のどのノードに点群が存在するかを示すｏｃｃｕｐａｎｃｙ ｃｏｄｅを入力として、復号対象空間内のどの領域に点が存在するかというツリー情報を生成するように構成されている。

【0022】

なお、ｏｃｃｕｐａｎｃｙ ｃｏｄｅの復号処理をツリー合成部２０２０内部で行うよう構成されていてもよい。

【0023】

本処理は、復号対象空間を直方体で区切り、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照して各直方体内に点が存在するかを判断し、点が存在する直方体を複数の直方体に分割し、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照するという処理を再帰的に繰り返すことで、ツリー情報を生成することができる。

【0024】

ここで、かかるｏｃｃｕｐａｎｃｙ ｃｏｄｅの復号に際して、後述するインター予測を用いてもよい。

【0025】

本実施形態では、上述の直方体を常に立方体として８分木分割を再帰的に行う「Ｏｃｔｒｅｅ」と呼ばれる手法、及び、８分木分割に加え、４分木分割及び２分木分割を行う「ＱｔＢｔ」と呼ばれる手法を使用することができる。ＱｔＢｔ」を使用するか否かは、制御データとして点群符号化装置１００側から伝送される。

【0026】

なお、本実施形態では、「Ｏｃｔｒｅｅ」によって上述の立方体が１×１×１のサイズになるまで分割を行うことで幾何情報を復号する方法を、特に「Ｏｃｔｒｅｅのみ」と呼ぶ。

【0027】

また、「Ｏｃｔｒｅｅ」に「ＱｔＢｔ」を組み合わせて使用した場合でも、上記同様に「Ｏｃｔｒｅｅ」及び「ＱｔＢｔ」のみで上述の直方体が１×１×１のサイズになるまで分割を行うことで幾何情報を復号する方法についても、「Ｏｃｔｒｅｅのみ」と呼んでもよい。

【0028】

或いは、制御データによってＰｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇを使用するように指定された場合、ツリー合成部２０２０は、点群符号化装置１００において決定した任意のツリー構成に基づいて各点の座標を復号するように構成されている。

【0029】

近似表面合成部２０３０は、ツリー合成部２０２０によって生成されたツリー情報を用いて近似表面情報を生成し、かかる近似表面情報に基づいて点群を復号するように構成されている。

【0030】

近似表面情報は、例えば、物体の３次元点群データを復号する際等において、点群が物体表面に密に分布しているような場合に、個々の点群を復号するのではなく、点群の存在領域を小さな平面で近似して表現したものである。

【0031】

具体的には、近似表面合成部２０３０は、例えば、「Ｔｒｉｓｏｕｐ」と呼ばれる手法で、近似表面情報を生成し、点群を復号することができる。「Ｔｒｉｓｏｕｐ」の具体的な処理例については後述する。また、Ｌｉｄａｒ等で取得した疎な点群を復号する場合は、本処理を省略することができる。

【0032】

幾何情報再構成部２０４０は、ツリー合成部２０２０によって生成されたツリー情報及び近似表面合成部２０３０によって生成された近似表面情報を元に、復号対象の点群データの各点の幾何情報（復号処理が仮定している座標系における位置情報）を再構成するように構成されている。

【0033】

逆座標変換部２０５０は、幾何情報再構成部２０４０によって再構成された幾何情報を入力として、復号処理が仮定している座標系から、出力点群信号の座標系に変換を行い、位置情報を出力するように構成されている。

【0034】

属性情報復号部２０６０は、点群符号化装置１００から出力されるビットストリームのうち、属性情報に関するビットストリーム（属性情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。

【0035】

復号処理は、例えば、コンテクスト適応二値算術復号処理である。ここで、例えば、シンタックスは、属性情報の復号処理を制御するための制御データ（フラグ及びパラメータ）を含む。

【0036】

また、属性情報復号部２０６０は、復号したシンタックスから、量子化済み残差情報を復号するように構成されている。

【0037】

逆量子化部２０７０は、属性情報復号部２０６０によって復号された量子化済み残差情報と、属性情報復号部２０６０によって復号された制御データの一つである量子化パラメータとを元に、逆量子化処理を行い、逆量子化済み残差情報を生成するように構成されている。

【0038】

逆量子化済み残差情報は、復号対象の点群の特徴に応じて、ＲＡＨＴ部２０８０及びＬｏＤ算出部２０９０のいずれかに出力される。いずれに出力されるかは、属性情報復号部２０６０によって復号される制御データによって指定される。

【0039】

ＲＡＨＴ部２０８０は、逆量子化部２０７０によって生成された逆量子化済み残差情報及び幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）と呼ばれるＨａａｒ変換（復号処理においては、逆Ｈａａｒ変換）の一種を用いて、各点の属性情報を復号するように構成されている。ＲＡＨＴの具体的な処理としては、例えば、非特許文献１に記載の方法を用いることができる。

【0040】

ＬｏＤ算出部２０９０は、幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＬｏＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するように構成されている。

【0041】

ＬｏＤは、ある点の属性情報から、他のある点の属性情報を予測し、予測残差を符号化或いは復号するといった予測符号化を実現するための参照関係（参照する点及び参照される点）を定義するための情報である。

【0042】

言い換えると、ＬｏＤは、幾何情報に含まれる各点を複数のレベルに分類し、下位のレベルに属する点については上位のレベルに属する点の属性情報を用いて属性を符号化或いは復号するといった階層構造を定義した情報である。

【0043】

ＬｏＤの具体的な決定方法としては、例えば、上述の非特許文献１に記載の方法を用いてもよい。

【0044】

逆リフティング部２１００は、ＬｏＤ算出部２０９０によって生成されたＬｏＤ及び逆量子化部２０７０によって生成された逆量子化済み残差情報を用いて、ＬｏＤで規定した階層構造に基づいて各点の属性情報を復号するように構成されている。逆リフティングの具体的な処理としては、例えば、上述の非特許文献１に記載の方法を用いることができる。

【0045】

逆色変換部２１１０は、復号対象の属性情報が色情報であり且つ点群符号化装置１００側で色変換が行われていた場合に、ＲＡＨＴ部２０８０又は逆リフティング部２１００から出力される属性情報に逆色変換処理を行うように構成されている。かかる逆色変換処理の実行の有無については、属性情報復号部２０６０によって復号された制御データによって決定される。

【0046】

点群復号装置２００は、以上の処理により、点群内の各点の属性情報を復号して出力するように構成されている。

【0047】

（幾何情報復号部２０１０）
以下、図３～図７を用いて幾何情報復号部２０１０で復号される制御データについて説明する。

【0048】

図３は、幾何情報復号部２０１０で受信する符号化データ（ビットストリーム）の構成の一例である。

【0049】

第１に、ビットストリームは、ＧＰＳ２０１１を含んでいてもよい。ＧＰＳ２０１１は、ジオメトリパラメータセットとも呼ばれ、幾何情報の復号に関する制御データの集合である。具体例については後述する。各ＧＰＳ２０１１は、複数のＧＰＳ２０１１が存在する場合に個々を識別するためのＧＰＳ ｉｄ情報を少なくとも含む。

【0050】

第２に、ビットストリームは、ＧＳＨ２０１２Ａ/２０１２Ｂを含んでいてもよい。ＧＳＨ２０１２Ａ/２０１２Ｂは、ジオメトリスライスヘッダ或いはジオメトリデータユニットヘッダとも呼ばれ、後述するスライスに対応する制御データの集合である。以降では、スライスという呼称を用いて説明するが、スライスをデータユニットと読み替えることもできる。具体例については後述する。ＧＳＨ２０１２Ａ/２０１２Ｂは、各ＧＳＨ２０１２Ａ/２０１２Ｂに対応するＧＰＳ２０１１を指定するためのＧＰＳ ｉｄ情報を少なくとも含む。

【0051】

第３に、ビットストリームは、ＧＳＨ２０１２Ａ/２０１２Ｂの次に、スライスデータ２０１３Ａ/２０１３Ｂを含んでいてもよい。スライスデータ２０１３Ａ/２０１３Ｂには、幾何情報を符号化したデータが含まれている。スライスデータ２０１３Ａ/２０１３Ｂの一例としては、後述するｏｃｃｕｐａｎｃｙ ｃｏｄｅが挙げられる。

【0052】

以上のように、ビットストリームは、各スライスデータ２０１３Ａ/２０１３Ｂに、１つずつＧＳＨ２０１２Ａ/２０１２Ｂ及びＧＰＳ２０１１が対応する構成となる。

【0053】

上述のように、ＧＳＨ２０１２Ａ/２０１２Ｂにて、どのＧＰＳ２０１１を参照するかをＧＰＳ ｉｄ情報で指定するため、複数のスライスデータ２０１３Ａ/２０１３Ｂに対して共通のＧＰＳ２０１１を用いることができる。

【0054】

言い換えると、ＧＰＳ２０１１は、スライスごとに必ずしも伝送する必要がない。例えば、図３のように、ＧＳＨ２０１２Ｂ及びスライスデータ２０１３Ｂの直前では、ＧＰＳ２０１１を符号化しないようなビットストリームの構成とすることもできる。

【0055】

なお、図３の構成は、あくまで一例である。各スライスデータ２０１３Ａ/２０１３Ｂに、ＧＳＨ２０１２Ａ/２０１２Ｂ及びＧＰＳ２０１１が対応する構成となっていれば、ビットストリームの構成要素として、上述以外の要素が追加されてもよい。

【0056】

例えば、図３に示すように、ビットストリームは、シーケンスパラメータセット（ＳＰＳ）２００１を含んでいてもよい。また、同様に、伝送に際して、図３と異なる構成に整形されてもよい。更に、後述する属性情報復号部２０６０で復号されるビットストリームと合成して単一のビットストリームとして伝送されてもよい。

【0057】

図４は、ＧＰＳ２０１１のシンタックス構成の一例である。

【0058】

なお、以下で説明するシンタックス名は、あくまで一例である。以下で説明したシンタックスの機能が同様であれば、シンタックス名は異なっていても差し支えない。

【0059】

ＧＰＳ２０１１は、各ＧＰＳ２０１１を識別するためのＧＰＳ ｉｄ情報（ｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を含んでもよい。

【0060】

なお、図４のＤｅｓｃｒｉｐｔｏｒ欄は、各シンタックスが、どのように符号化されているかを意味している。ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（１）は、１ビットのフラグであることを意味する。

【0061】

ＧＰＳ２０１１は、近似表面合成部２０３０でＴｒｉｓｏｕｐを使用するか否かを制御するフラグ（ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。

【0062】

例えば、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時はＴｒｉｓｏｕｐを使用しないと定義し、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時はＴｒｉｓｏｕｐを使用すると定義してもよい。

【0063】

幾何情報復号部２０２０は、Ｔｒｉｓｏｕｐを使用するとき、すなわち、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時、追加で以下のシンタックスを復号するように構成されていてもよい。

【0064】

なお、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇは、ＧＰＳ２０１１ではなくＳＰＳ２００１に含まれていてもよい。

【0065】

ＧＰＳ２０１１は、複数レベルでのＴｒｉｓｏｕｐを許可するか否かを制御するフラグ（ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇ、第１フラグ）を含んでもよい。

【0066】

例えば、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時は複数レベルでのＴｒｉｓｏｕｐを許可しない、すなわち、単一のレベルでのＴｒｉｓｏｕｐを行うと定義し、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時は複数レベルでのＴｒｉｓｏｕｐを許可すると定義してもよい。

【0067】

なお、当該シンタックスがＧＰＳ２０１１に含まれない場合、当該シンタックスの値を単一のレベルでのＴｒｉｓｏｕｐを行う場合の値、すなわち、「０」とみなしてよい。

【0068】

なお、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇは、ＧＰＳ２０１１ではなくＳＰＳ２００１に含まれるよう定義してもよい。この場合、ＳＰＳ２００１にｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇが含まれていない場合、当該シンタックスの値を単一のレベルでのＴｒｉｓｏｕｐを行う場合の値、すなわち、「０」とみなしてよい。

【0069】

図５は、ＧＳＨ２０１２のシンタックス構成の一例である。なお、前述の通り、ＧＳＨは、ＧＤＵＨ（Ｇｅｏｍｅｔｒｙ Ｄａｔａ Ｕｎｉｔ Ｈｅａｄｅｒ）とも呼ばれる。

【0070】

幾何情報復号部２０２０は、複数レベルでのＴｒｉｓｏｕｐを許可するとき、すなわち、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時、追加で以下のシンタックスを復号するように構成されていてもよい。

【0071】

ＧＳＨ２０１２は、複数レベルでのＴｒｉｓｏｕｐを許可するとき、スライス内でＯｃｔｒｅｅのみとＴｒｉｓｏｕｐとを適応的に選択するモードを有効にするフラグ（ａｄａｐｔｉｖｅ＿ｏｃｔｒｅｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を含んでもよい。

【0072】

例えば、当該フラグの値が「１」の場合はＯｃｔｒｅｅとＴｒｉｓｏｕｐとを適応的に選択するモード（以降、「適応Ｏｃｔｒｅｅモード」と呼ぶ）が有効であり、当該フラグの値が「０」の場合は適応Ｏｃｔｒｅｅモードが無効であると定義してもよい。

【0073】

また、ＧＳＨ２０１２に当該フラグが含まれない場合、当該フラグの値を「０」、すなわち、適応Ｏｃｔｒｅｅモードが無効であると暗黙的にみなしてもｙい。

【0074】

ＧＳＨ２０１２は、複数レベルでのＴｒｉｓｏｕｐを許可するとき、Ｔｒｉｓｏｕｐノードサイズの最大値を規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２）を含んでもよい。

【0075】

当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズの最大値について、２を底とする対数に変換した値として表現されていてもよい。更に、当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズの最大値について、２を底とする対数に変換した後に２を引いた後の値として表現されていてもよい。

【0076】

ＧＳＨ２０１２は、複数レベルでのＴｒｉｓｏｕｐを許可するとき、Ｔｒｉｓｏｕｐノードサイズの最小値を規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２）を含んでもよい。

【0077】

当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズの最小値について、２を底とする対数に変換した値として表現されていてもよい。更に、当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズの最小値を４（＝２＾２）とし、２を底とする対数に変換した後に２を引いた後の値として表現されていてもよい。

【0078】

また、当該シンタックスの値は、必ず０以上且つｌｏｇ２_ｔｒｉｓｏｕｐ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２以下となるように制約されていてもよい。

【0079】

また、この時、図５に示すようにｔｒｉｓｏｕｐ_ｄｅｐｔｈをｔｒｉｓｏｕｐ_ｄｅｐｔｈ＝ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２－ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２＋１と定義してもよい。

【0080】

また、最小Ｔｒｉｓｏｕｐノードサイズ及び最大Ｔｒｉｓｏｕｐノードサイズを直接復号する代わりに、後述のＯｃｔｒｅｅ処理における最大Ｔｒｉｓｏｕｐノードサイズ及び最小Ｔｒｉｓｏｕｐノードサイズに対応するＤｅｐｔｈ値を復号してもよい。

【0081】

例えば、最大Ｄｅｐｔｈ（全ノードが１×１×１のサイズになるＤｅｐｔｈ）が１０の場合、最小Ｔｒｉｓｏｕｐノードサイズを４（＝２^２）、最大Ｔｒｉｓｏｕｐノードサイズを１６（＝２^４）としたい場合は、最小Ｔｒｉｓｏｕｐノードサイズに対応するＤｅｐｔｈ値として８、最大Ｔｒｉｓｏｕｐノードサイズに対応するＤｅｐｔｈ値として６をそれぞれ復号してもよい。

【0082】

幾何情報復号部２０２０は、複数レベルでのＴｒｉｓｏｕｐを許可しないとき、すなわち、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時、追加で以下のシンタックスを復号するように構成されていてもよい。

【0083】

ＧＳＨ２０１２は、複数レベルでのＴｒｉｓｏｕｐを許可しないとき、かつ、Ｔｒｉｓｏｕｐを使用するとき、Ｔｒｉｓｏｕｐノードサイズを規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２）を含んでもよい。

【0084】

当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズについて、２を底とする対数に変換した値として表現されていてもよい。更に、当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズについて、２を底とする対数に変換した後に２を引いた後の値として表現されていてもよい。

【0085】

また、この時、図５に示すようにｔｒｉｓｏｕｐ_ｄｅｐｔｈをｔｒｉｓｏｕｐ_ｄｅｐｔｈ＝１と定義してもよい。

【0086】

ＧＳＨ２０１２は、Ｔｒｉｓｏｕｐを使用するとき、復号点のサンプリング間隔を制御するシンタックス（ｔｒｉｓｏｕｐ_ｓａｍｐｌｉｎｇ_ｖａｌｕｅ_ｍｉｎｕｓ１）を含んでもよい。当該シンタックスの具体的な定義は、例えば、上述の非特許文献１に記載の定義と同様とすることができる。

【0087】

ＧＳＨ２０１２は、Ｔｒｉｓｏｕｐを使用するとき、かつ、複数レベルでのＴｒｉｓｏｕｐを許可するとき、階層ｉ（ｉ＝０，．．．，ｔｒｉｓｏｕｐ_ｄｅｐｔｈ－１）ごとにユニークセグメントが対象階層に存在するか否かを示すフラグ（ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｅｘｉｓｔ_ｆｌａｇ［ｉ］）を含んでもよい。

【0088】

例えば、ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｅｘｉｓｔ_ｆｌａｇ［ｉ］の値が「１」の場合は、階層ｉに少なくとも１つ以上のユニークセグメントが存在することを意味する。また、ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｅｘｉｓｔ_ｆｌａｇ［ｉ］の値が「０」の場合は、階層ｉにユニークセグメントが１つも存在しないことを意味する。

【0089】

ＧＳＨ２０１２は、階層ｉ（ｉ＝０，．．．，ｔｒｉｓｏｕｐ_ｄｅｐｔｈ－１）ごとにユニークセグメントが対象階層に存在する場合、すなわち、ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｅｘｉｓｔ_ｆｌａｇ［ｉ］の値が「１」の場合、追加で対象階層のユニークセグメント数を示すシンタックスのビット数を示すシンタックス（ｎｕｍ_ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｂｉｔｓ_ｍｉｎｕｓ１［ｉ］）及び対象階層のユニークセグメント数を示すシンタックス（ｎｕｍ_ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｍｉｎｕｓ１［ｉ］）を含んでもよい。

【0090】

ここで、ｎｕｍ_ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｂｉｔｓ_ｍｉｎｕｓ１［ｉ］及びｎｕｍ_ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｍｉｎｕｓ１［ｉ］の両方について、それぞれ本来の値から「１」を引いた値をシンタックスの値として符号化してもよい。

【0091】

図６は、ＧＳＨ２０１２のシンタックス構成の一例である。以降では、図５との差分のみ説明する。

【0092】

図６に示す通り、適応Ｏｃｔｒｅｅモードが有効な場合、すなわち、ａｄａｐｔｉｖｅ_ｏｃｔｒｅｅ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の場合、Ｔｒｉｓｏｕｐノードサイズの最小値を規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２）の復号を省略してもよい。その際、Ｔｒｉｓｏｕｐノードサイズの最小値は予め定めた所定の値とみなしてよい。例えば、所定の値は「０」（すなわち、２^０＝１）と見なしてもよい。

【0093】

以上のように、幾何情報復号部２０１０は、同一スライス内或いははデータユニット内においてＯｃｔｒｅｅのみ及びＴｒｉｓｏｕｐの両方を使用可能とするか否かを制御するフラグを復号し、当該フラグの値が「使用可能」を示している場合、暗黙的に最小Ｔｒｉｓｏｕｐノードサイズの値を１×１×１とみなすように構成されていてもよい。

【0094】

以上のような構成とすることで、不要なシンタックスの伝送を排除し、符号量を削減できる。

【0095】

図７は、ＧＳＨ２０１２のシンタックス構成の一例である。以降では、図５との差分のみ説明する。

【0096】

図７に示すように、Ｔｒｉｓｏｕｐノードサイズの最大値を規定するシンタックス及びＴｒｉｓｏｕｐノードサイズの最小値を規定するシンタックスのそれぞれについて、それぞれ２を底とする対数に変換した後の値を伝送することとしてもよい。この時、それぞれのシンタックスの最小値を「０」（すなわち、２^０＝１）と規定してもよい。

【0097】

以上のように、幾何情報復号部２０１０は、最小Ｔｒｉｓｏｕｐノードサイズを復号し、前記最小Ｔｒｉｓｏｕｐノードサイズの取り得る最小値は１×１×１に相当する値にとなるよう構成されていてもよい。

【0098】

このような構成とすることで、Ｔｒｉｓｏｕｐのみを使用する場合の処理を共通化できる。

【0099】

（ツリー合成部２０２０）
以下、図８～図９を用いてツリー合成部２０２０の処理について説明する。図６は、ツリー合成部２０２０における処理の一例を示すフローチャートである。なお、以下では「Ｏｃｔｒｅｅ」を使用してツリーを合成する場合の例について説明する。

【0100】

ステップＳ８０１において、ツリー合成部２０２０は、全てのＤｅｐｔｈの処理が完了したかどうかを確認する。なお、Ｄｅｐｔｈ数は、点群符号化装置１００から点群復号装置２００に伝送するビットストリーム内に制御データとして含まれていてもよい。

【0101】

ツリー合成部２０２０は、対象Ｄｅｐｔｈのノードサイズを算出する。「Ｏｃｔｒｅｅ」の場合、最初のＤｅｐｔｈのノードサイズは、「２のＤｅｐｔｈ数乗」と定義されてもよい。すなわち、Ｄｅｐｔｈ数をＮとする場合、最初のＤｅｐｔｈのノードサイズは、２のＮ乗と定義されてもよい。

【0102】

また、２番目以降のＤｅｐｔｈでのノードサイズは、Ｎの数を１つずつ減じていくことで定義されてもよい。すなわち、２番目のＤｅｐｔｈのノードサイズは、「２の（Ｎ－１）乗」として定義され、３番目のＤｅｐｔｈのノードサイズは、「２の（Ｎ－２）乗」として定義され、・・・と定義されてもよい。

【0103】

或いは、ノードサイズは、常に２のべき乗で定義されるため、単純に指数部分（Ｎ、Ｎ－１、Ｎ－２、等）の値をノードサイズと考えてもよい。以降の説明では、ノードサイズとは、ノードの１辺の長さの指数部分の値を指すこととする。

【0104】

なお、以降では簡単のため、ノード形状が立方体の場合、すなわち、ノードの全ての辺の長さが等しい場合を例に説明する。

【0105】

ＱｔＢｔを用いる場合、すなわち、ノード形状が直方体になり、ノードの各辺の長さが軸方向（ｘ、ｙ、ｚ）毎に異なる場合、３方向のうち最も短い辺の長さをノードサイズと考えてもよい。同様に、３方向のうち最も長い辺の長さをノードサイズと考えてもよい。

【0106】

ここで、Ｔｒｉｓｏｕｐを使用するか否かを制御するフラグ（ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇ）がＴｒｉｓｏｕｐを使用することを示している場合、すなわち、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時は、ツリー合成部２０２０は、処理するＤｅｐｔｈ数を、Ｔｒｉｓｏｕｐノードサイズの最小値を規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２）又はＴｒｉｓｏｕｐノードサイズを規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２）の値に基づいて変化させてもよい。かかる場合、例えば、以下のように定義してもよい。

【0107】

処理Ｄｅｐｔｈ数＝全Ｄｅｐｔｈ数－（最小の）Ｔｒｉｓｏｕｐノードサイズ
ここで、最小のＴｒｉｓｏｕｐノードサイズについては、例えば、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２＋２）で定義できる。同様に、Ｔｒｉｓｏｕｐノードサイズについては、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２＋２）で定義できる。

【0108】

この場合、全ての処理Ｄｅｐｔｈ数の処理が完了した場合は、ツリー合成部２０２０は、ステップＳ８０９へ進み、そうでない場合は、ツリー合成部２０２０は、ステップＳ８０２へ進む。

【0109】

言い換えると、（処理Ｄｅｐｔｈ数－ｎ）＝０の場合は、ツリー合成部２０２０は、ステップＳ８０９へ進み、（処理Ｄｅｐｔｈ数－ｎ）＞０の場合は、ツリー合成部２０２０は、ステップＳ８０２へ進む。

【0110】

また、ツリー合成部２０２０は、ステップＳ８０９へ進む際のノードサイズ（Ｎ－処理Ｄｅｐｔｈ数）を持つ全てのノードには、Ｔｒｉｓｏｕｐが適用されると判定してもよい。

【0111】

ここで、複数レベルでのＴｒｉｓｏｕｐを許可されている場合、すなわち、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時、且つ、適応Ｏｃｔｒｅｅモードが有効な場合、すなわち、ａｄａｐｔｉｖｅ_ｏｃｔｒｅｅ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時は、ステップＳ８０１では、以下の様に構成されていてもよい。

【0112】

具体的には、全てのＤｅｐｔｈの処理が完了した場合は、ツリー合成部２０２０は、ステップＳ８０９へ進み、全てのＤｅｐｔｈの処理が完了していない場合は、ツリー合成部２０２０は、ステップＳ８０２へ進む。

【0113】

言い換えると、対象Ｄｅｐｔｈがｎ番目のＤｅｐｔｈの時、（Ｎ－ｎ）＝０の場合は、ツリー合成部２０２０は、ステップＳ８０９へ進み、（Ｎ－ｎ）＞０の場合は、ツリー合成部２０２０は、ステップＳ８０２へ進む。

【0114】

ステップＳ８０２において、ツリー合成部２０２０は、対象Ｄｅｐｔｈにて後述するＴｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇを復号する必要があるか否かを判定する。

【0115】

例えば、「複数レベルでのＴｒｉｓｏｕｐが許可（ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」）」で、且つ、「対象Ｄｅｐｔｈのノードサイズ（Ｎ－ｎ）が最大のＴｒｉｓｏｕｐノードサイズ以下」の場合に、ツリー合成部２０２０は、「Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの復号が必要である」と判定してもよい。

【0116】

例えば、「複数レベルでのＴｒｉｓｏｕｐが許可（ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」）」で、且つ、「対象Ｄｅｐｔｈのノードサイズ（Ｎ－ｎ）が最大のＴｒｉｓｏｕｐノードサイズ以下」で、且つ、「対象Ｄｅｐｔｈのノードサイズ（Ｎ－ｎ）が最小のＴｒｉｓｏｕｐノードサイズ以上」の場合に、ツリー合成部２０２０は、「Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの復号が必要である」と判定してもよい。

【0117】

また、ツリー合成部２０２０は、上述の条件が満たされない場合、「Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの復号が必要ない」と判定してもよい。

【0118】

ここで、最大のＴｒｉｓｏｕｐノードサイズについては、例えば、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ３＋２）で定義できる。同様に、最小のＴｒｉｓｏｕｐノードサイズについては、例えば、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２＋２）で定義できる。

【0119】

上述の判定が完了したら、ツリー合成部２０２０は、ステップＳ８０３へ移る。

【0120】

ステップＳ８０３において、ツリー合成部２０２０は、対象Ｄｅｐｔｈに含まれる全てのノードの処理が完了したかどうかを判定する。

【0121】

対象Ｄｅｐｔｈの全てのノードの処理が完了したと判定した場合、ツリー合成部２０２０は、ステップＳ８０１へ移り、次のＤｅｐｔｈの処理を行う。

【0122】

一方、対象Ｄｅｐｔｈの全てのノードの処理が完了していない場合、ツリー合成部２０２０は、ステップＳ８０４へ移る。

【0123】

ステップＳ８０４において、ツリー合成部２０２０は、ステップＳ８０２で判定したＴｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの復号の要否について確認する。

【0124】

Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの復号が必要であると判定されている場合は、ツリー合成部２０２０は、ステップＳ８０５へ進み、Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの復号が必要でないと判定されている場合は、ツリー合成部２０２０は、ステップＳ８０８へ移る。

【0125】

ステップＳ８０５において、ツリー合成部２０２０は、Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇを復号する。

【0126】

Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇは、対象ノードにＴｒｉｓｏｕｐを適用するか否かを示す１ビットのフラグ（第２フラグ）である。例えば、かかるフラグの値が「１」の時に対象ノードにＴｒｉｓｏｕｐを適用すると定義し、かかるフラグの値が「０」の時に対象ノードにＴｒｉｓｏｕｐを適用しないと定義してもよい。

【0127】

ツリー合成部２０２０は、Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇを復号した後、ステップＳ８０６へ移る。

【0128】

ステップＳ８０６において、ツリー合成部２０２０は、ステップＳ８０５で復号したＴｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの値を確認する。

【0129】

対象ノードにＴｒｉｓｏｕｐを適用する場合、すなわち、Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの値が「１」の場合は、ツリー合成部２０２０は、ステップＳ８０７へ移る。

【0130】

対象ノードにＴｒｉｓｏｕｐを適用しない場合、すなわち、Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの値が「０」の場合は、ツリー合成部２０２０は、ステップＳ８０８へ移る。

【0131】

ステップＳ８０７において、ツリー合成部２０２０は、対象ノードを、Ｔｒｉｓｏｕｐを適用するノード、すなわち、Ｔｒｉｓｏｕｐノードとして記憶する。かかる対象ノードに対しては、これ以上、「Ｏｃｔｒｅｅ」によるノードの分割を適用しないこととする。その後、ツリー合成部２０２０は、ステップＳ８０３に進み、次のノードの処理へ移る。

【0132】

ステップＳ８０８において、ツリー合成部２０２０は、ｏｃｃｐａｎｃｙ ｃｏｄｅと呼ばれる情報を復号する。

【0133】

ｏｃｃｐａｎｃｙ ｃｏｄｅは、「Ｏｃｔｒｅｅ」の場合は、対象ノードをｘ、ｙ、ｚ軸方向にそれぞれ半分に分割して、８つのノード（子ノードと呼ぶ）に分割した際に、それぞれの子ノード内に復号対象の点が含まれているか否かを示す情報である。

【0134】

例えば、ｏｃｃｐａｎｃｙ ｃｏｄｅは、各子ノードに対して１ビットの情報を割り当て、かかる１ビットの情報が「１」の場合は、かかる子ノード内に復号対象の点が含まれると定義され、かかる１ビットの情報が「０」の場合は、かかる子ノード内に復号対象の点が含まれないと定義されてもよい。

【0135】

ツリー合成部２０２０は、かかるｏｃｃｐａｎｃｙ ｃｏｄｅを復号する際に、各子ノードに復号対象の点が存在する確率を予め推定し、その確率に基づいて各子ノードに対応するビットをエントロピー復号してもよい。

【0136】

同様に、点群符号化装置１００においては、エントロピー符号化してもよい。

【0137】

以上のように、点群復号装置２００は、同一スライス内或いはデータユニット内において、Ｏｃｔｒｅｅのみ及びＴｒｉｓｏｕｐの両方を使用可能とし、ノード毎にＯｃｔｒｅｅのみ及びＴｒｉｓｏｕｐのいずれかの方法で、点の幾何情報を復号するように構成されていてもよい。

【0138】

以上のような構成とすることで、局所的に幾何構造が細かい部分はＯｃｔｒｅｅのみ、平面で近似可能な箇所はＴｒｉｓｏｕｐといったように切り替えが可能となり、効率の良い符号化が可能となる。

【0139】

また、以上のように、ツリー合成部２０２０は、空間を再帰的に分割するＯｃｔｒｅｅ分割を行い、所定の最小Ｔｒｉｓｏｕｐノードサイズより小さくなった全てのノードについて、幾何情報をＯｃｔｒｅｅのみによって復号するように構成されていてもよい。

【0140】

また、以上のように、ツリー合成部２０２０は、適応Ｏｃｔｒｅｅモードが有効な場合、所定の最小Ｔｒｉｓｏｕｐノードサイズの各ノードについて、当該ノードにＴｒｉｓｏｕｐを適用するか否かを示すフラグ（Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇ）を復号するように構成されていてもよい。

【0141】

また、以上のように、幾何情報復号部２０１０は、同一スライス内或いはデータユニット内において、ＯｃｔｒｅｅのみとＴｒｉｓｏｕｐの両方を使用可能とするか否かを制御するフラグを復号し、ツリー合成部２０２０は、当該フラグの値が「使用可能」を示している場合、所定の最小Ｔｒｉｓｏｕｐノードサイズより小さくなった全てのノードについて、幾何情報をＯｃｔｒｅｅのみによって復号するように構成されていてもよい。

【0142】

以上のような構成とすることで、Ｔｒｉｓｏｕｐノードサイズの最小時は非特許文献１から変更しなくてもＯｃｔｒｅｅのみとの併用が可能となるため、Ｔｒｉｓｏｕｐ自体の処理の変更量が少なくなり、設計が容易になるという利点がある。

【0143】

図９は、ツリー合成部２０２０における処理の一例を示すフローチャートである。図８と同様の処理を行う箇所については、同一の符号を付しており、説明は省略する。

【0144】

ステップＳ９０１では、全ての処理Ｄｅｐｔｈ数の処理が完了した場合は、ツリー合成部２０２０は、ステップＳ８０９へ進み、そうでない場合は、ツリー合成部２０２０は、ステップＳ８０２へ進む。

【0145】

ここで、複数レベルでのＴｒｉｓｏｕｐが許可（ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」）されている時は、ツリー合成部２０２０は、処理するＤｅｐｔｈ数を、Ｔｒｉｓｏｕｐノードサイズの最小値を規定するシンタックス（図７に示すｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ）の値に基づいて変化させてもよい。この時、ツリー合成部２０２０は、Ｔｒｉｓｏｕｐノードサイズの最小値は０としてもよい。

【0146】

または、図６に示すように、ツリー合成部２０２０は、適応Ｏｃｔｒｅｅモードが有効の場合は、Ｔｒｉｓｏｕｐノードサイズの最小値は、０と暗黙的に設定してもよい。かかる場合、例えば、以下のように定義してもよい。

【0147】

処理Ｄｅｐｔｈ数＝全Ｄｅｐｔｈ数－最小のＴｒｉｓｏｕｐノードサイズ
この場合、全ての処理Ｄｅｐｔｈ数の処理が完了した場合は、ツリー合成部２０２０は、ステップＳ８０９へ進み、そうでない場合は、ツリー合成部２０２０は、ステップＳ９０２へ進む。

【0148】

言い換えると、（処理Ｄｅｐｔｈ数－ｎ）＝０の場合は、ツリー合成部２０２０は、ステップＳ８０９へ進み、（処理Ｄｅｐｔｈ数－ｎ）＞０の場合は、ツリー合成部２０２０は、ステップＳ９０２へ進む。

【0149】

ステップＳ９０２において、ツリー合成部２０２０は、対象Ｄｅｐｔｈにて後述するＴｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇを復号する必要があるか否かを判定する。

【0150】

例えば、「複数レベルでのＴｒｉｓｏｕｐが許可（ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」）」で、且つ、「対象Ｄｅｐｔｈのノードサイズ（Ｎ－ｎ）が最大のＴｒｉｓｏｕｐノードサイズ以下」の場合に、ツリー合成部２０２０は、「Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの復号が必要である」と判定してもよい。

【0151】

また、ツリー合成部２０２０は、ステップＳ８０９へ進む際のノードサイズ（Ｎ－処理Ｄｅｐｔｈ数）が１以上（２^１以上）の場合、当該のノードサイズを持つ全てのノードには、Ｔｒｉｓｏｕｐが適用されると判定してもよい。

【0152】

また、ツリー合成部２０２０は、ステップＳ８０９へ進む際のノードサイズ（Ｎ－処理Ｄｅｐｔｈ数）が０（２^０＝１）の場合、すなわち、１×１×１のサイズのノードの場合、後述する近似表面合成部２０３０では、Ｔｒｉｓｏｕｐの処理は行わず、Ｏｃｔｒｅｅのみを実行した際と同様に、１×１×１のサイズのノード自体を復号した点とみなしてもよい。

【0153】

以上のように、ツリー合成部２０２０は、所定の最小Ｔｒｉｓｏｕｐノードサイズを１に設定し、ノードサイズが１×１×１となったノードについては、Ｏｃｔｒｅｅのみで、ノードサイズが１×１×１より大きなノードについては、Ｔｒｉｓｏｕｐで、それぞれ幾何情報を復号することを決定するように構成されていてもよい。

【0154】

以上のような構成とすることで、Ｔｒｉｓｏｕｐのみを用いる場合との処理が共通化されるという利点がある。

【0155】

（近似表面合成部２０３０）
近似表面合成部２０３０は、図１０及び図１４で説明するように、ツリー合成部２０２０にて、Ｔｒｉｓｏｕｐノードと判定された各ノードについて、復号処理を行うように構成されている。

【0156】

以下、図１０～図１４を用いて近似表面合成部２０３０の処理の例について説明する。

【0157】

図１０は、近似表面合成部２０３０の処理の一例を示すフローチャートである。

【0158】

図１０に示すように、ステップＳ１００１において、近似表面合成部２０３０は、全てのｔｒｉｓｏｕｐ_ｄｅｐｔｈでの処理が完了したかどうかを判定する。

【0159】

全てのｔｒｉｓｏｕｐ_ｄｅｐｔｈについて処理が完了した場合、ステップＳ１００９へ進み、処理を終了する。全てのｔｒｉｓｏｕｐ_ｄｅｐｔｈの処理が完了していない場合、ステップＳ１００２へ進む。

【0160】

ステップＳ１００２において、近似表面合成部２０３０は、ノード毎の頂点位置の取得及び統合を行う。

【0161】

ここで、第１に、近似表面合成部２０３０は、当該ｔｒｉｓｏｕｐ_ｄｅｐｔｈに対応するＴｒｉｓｏｕｐノードサイズ（以降、当該Ｔｒｉｓｏｕｐノードサイズと呼ぶ）におけるノード毎に頂点位置を復号する。具体的な処理については、図１３で説明する。

【0162】

第２に、当該Ｔｒｉｓｏｕｐノードサイズが、最大Ｔｒｉｓｏｕｐノードサイズより小さい場合、近似表面合成部２０３０は、後述するステップＳ１００８において、当該Ｔｒｉｓｏｕｐノードサイズより大きなＴｒｉｓｏｕｐノードサイズにおいて生成した頂点との統合処理を行う。

【0163】

具体的には、近似表面合成部２０３０は、当該Ｔｒｉｓｏｕｐノードサイズにおけるノードのエッジ上に、図１３に説明する手法で復号した頂点（当該Ｔｒｉｓｏｕｐノードサイズにおける頂点）と、ステップＳ１００８で説明する方法で生成した頂点（当該Ｔｒｉｓｏｕｐノードサイズより大きなＴｒｉｓｏｕｐノードサイズにおいて生成した頂点）の両方が存在する場合、一番大きなノードサイズにおいて生成された頂点のみを保持し、その他の頂点については削除する処理を行う。このようにすることで、ノード毎に頂点を最大でも１点ずつにすることができる。

【0164】

頂点位置の取得及び統合が完了した後、近似表面合成部２０３０は、ステップＳ１００３へ進む。

【0165】

ステップＳ１００３において、近似表面合成部２０３０は、当該Ｔｒｉｓｏｕｐノードサイズにおけるノード毎に、投影面を決定する。

【0166】

例えば、ｘ軸、ｙ軸、ｚ軸の３つの軸があるとき、どれか１つの軸を縮退した平面を投影面と呼ぶ。

【0167】

ステップＳ１００３では、近似表面合成部２０３０は、上述の軸のうちどの軸を縮退するか、すなわち、ｘ-ｙ平面、ｘ-ｚ平面、ｙ-ｚ平面のうちどの平面を投影面とするかを決定する。具体的な投影面の決定方法は、公知の方法を適用できるため省略する。

【0168】

投影面を決定した後、近似表面合成部２０３０は、ステップＳ１００４へ進む。

【0169】

ステップＳ１００４において、近似表面合成部２０３０は、投影面に投影した頂点を、例えば、反時計回りの順になるようにソートし、かかる順序に従ってｉｎｄｅｘを付与する。なお、ステップＳ１００３の処理の過程でソート処理を行う場合は、当該のソート処理結果を保存しておくことで、ステップＳ１００４の処理を省略することができる。

【0170】

ｉｎｄｅｘを付与した後、近似表面合成部２０３０は、ステップＳ１００５へ進む。

【0171】

ステップＳ１００５において、近似表面合成部２０３０は、上述のｉｎｄｅｘ及び対象ノードに存在する頂点数に基づいて、三角形を生成する。

【0172】

例えば、近似表面合成部２０３０は、予め頂点数毎にどのｉｎｄｅｘから三角形を生成するかを定義した表を作成しておき、それを参照することで三角形を生成できる。具体的な表の例については、例えば、上述の非特許文献１に記載の表を用いることができる。

【0173】

或いは、近似表面合成部２０３０は、まず各頂点の座標を平均したセントロイドを生成し、上述のインデックス順に隣り合う２点とセントロイドの３点で、三角形を生成してもよい。

【0174】

三角形を生成した後、近似表面合成部２０３０は、ステップＳ１００６へ進む。

【0175】

ステップＳ１００６において、近似表面合成部２０３０は、ステップＳ１００５で生成した三角形を基に、点を生成する。具体的な方法は、例えば、上述の非特許文献１に記載の方法を用いることができる。

【0176】

全てのノードについて点の生成が完了した後、近似表面合成部２０３０は、ステップＳ１００７へ進む。

【0177】

ステップＳ１００７では、近似表面合成部２０３０は、当該Ｔｒｉｓｏｕｐノードサイズが、最小ノードサイズと等しいかどうかを判定する。

【0178】

近似表面合成部２０３０は、当該Ｔｒｉｓｏｕｐノードサイズが、最小ノードサイズと等しい場合は、ステップＳ１００１へ進み、次のｔｒｉｓｏｕｐ_ｄｅｐｔｈの処理を行い、そうでない場合は、ステップＳ１００８へ進む。

【0179】

ステップＳ１００８では、近似表面合成部２０３０は、ステップＳ１００６で生成した当該Ｔｒｉｓｏｕｐノードサイズにおける点群、又は、ステップＳ１００５で生成した三角形に基づいて、最小Ｔｒｉｓｏｕｐノードサイズにおける頂点を生成する。

【0180】

図１１は、ステップＳ１００６で生成した当該Ｔｒｉｓｏｕｐノードサイズにおける点群から、最小Ｔｒｉｓｏｕｐノードサイズにおける頂点を生成する場合の例を示している。

【0181】

図１１Ａは、ステップＳ１００６で生成した復号点群の例を示している。

【0182】

第１に、近似表面合成部２０３０は、当該ノードを、図１１Ａの点線で示すように、最小Ｔｒｉｓｏｕｐノードサイズ毎に分割する。

【0183】

なお、図１１では、当該ＴｒｉｓｏｕｐノードサイズがＮ（＝２^Ｎ）であり、最小ＴｒｉｓｏｕｐノードサイズがＮ-１（＝２^{（Ｎ-１）}）の場合を示している。

【0184】

第２に、近似表面合成部２０３０は、最小Ｔｒｉｓｏｕｐノードサイズ毎に分割した際の各エッジ（図１１Ａの実線及び点線）上に、復号点群内の各点が存在するかどうかを確認する。

【0185】

例えば、各エッジが、任意の原点から２^{（Ｎ-１）}間隔で存在するとみなした場合、z軸方向のエッジの座標は、（Ａ×２^{（Ｎ-１）}，Ｂ×２^{（Ｎ-１）}，ｚ）で表せる。ここで、Ａ及びＢは、定数である。

【0186】

よって、例えば、復号点群内の点の座標がｘ＝Ａ×２^{（Ｎ-１）}及びｙ＝Ｂ×２^{（Ｎ-１）}となる点があれば、その点をエッジ上に存在する点をみなせる。上述の処理は、ｘ軸方向のエッジ及びｙ軸方向のエッジについても同様に適用可能である。

【0187】

近似表面合成部２０３０は、このような処理を、最小Ｔｒｉｓｏｕｐノードサイズ毎に分割した際の全てのエッジについて実施することで、復号点群からエッジ上に存在する点を抽出できる。

【0188】

なお、上述の処理は、一例であり、他の処理でも、最小Ｔｒｉｓｏｕｐノードサイズにおけるエッジ上の点が抽出できればよい。

【0189】

例えば、各エッジが、任意の原点から２^{（Ｎ-１）}間隔で存在するとみなした場合、近似表面合成部２０３０は、ｚ軸方向のエッジ上に存在する点を抽出するには、復号点群内の各点のｘ座標及びｙ座標をそれぞれ２^{（Ｎ-１）}で除算し、ｘ座標、ｙ座標ともに余りがゼロになった点を、エッジ上に存在する点として抽出することもできる。

【0190】

図１１Ｂは、エッジ上に存在する点の抽出結果の例を示している。図１１Ｂに示すように、近似表面合成部２０３０は、当該Ｔｒｉｓｏｕｐノードサイズの表面に存在するエッジ上の点のみを抽出し、当該Ｔｒｉｓｏｕｐノードサイズの内部に存在するエッジ上の点は抽出対象外としてもよい。

【0191】

近似表面合成部２０３０は、以上のようにして抽出したエッジ上の点を、最小Ｔｒｉｓｏｕｐノードサイズにおける頂点として保存する。

【0192】

以上のように、近似表面合成部２０３０は、制御データから復号した最大ノードサイズ及び最小ノードサイズに基づいて、最大と最小との間の各ノードサイズにおいて頂点の復号処理を実行し、ノードサイズが最小ノードサイズではない場合、復号した頂点に基づいて、最小ノードサイズにおける頂点位置を生成し、ある辺上に、かかる辺に隣接する異なるノードサイズのノードから生成された複数の頂点が存在する場合、かかる隣接するノードのうち、最も大きなノードサイズを持つノードによって生成された頂点を、かかる辺の頂点位置とするように構成されていてもよい。

【0193】

このような構成とすることで、異なるノードサイズ境界においてもメッシュに隙間ができなくなるため、復号点群の主観品質の向上が見込める。

【0194】

また、以上のように、最小ノードサイズにおける頂点位置を生成する際、ノードの表面のみに頂点を生成するように構成されていてもよい。

【0195】

上述のように、生成する頂点位置を異なるノードサイズと隣接する可能性があるノード表面のみに限定することで、不要な頂点の生成を避け、処理量の増加を防ぐことができる。

【0196】

以上のように、近似表面合成部２０３０は、ノードサイズが最小ノードサイズではない場合、対象のノードの復号点群内の点のうち、対象のノードを最小ノードサイズで分割した際の辺上の点を、最小ノードサイズにおける頂点位置とするように構成されていてもよい。

【0197】

かかる構成によれば、既に別の目的で生成された復号点群を処理に用いることで、処理量の増加を防ぐことができる。

【0198】

以上では、当該Ｔｒｉｓｏｕｐノードサイズにおける復号点群を基に頂点を生成する方法の例を説明したが、頂点は、図１２に示すように、当該Ｔｒｉｓｏｕｐノードサイズにおける頂点から内挿する方法で生成してもよい。

【0199】

具体的には、例えば、第１に、近似表面合成部２０３０は、ステップＳ１００３又はステップＳ１００４における頂点のソート結果に基づいて、隣り合う頂点同士を結ぶ直線の式を算出する。

【0200】

図１２Ａは、図１１Ａと同様に、当該Ｔｒｉｓｏｕｐノードを最小Ｔｒｉｓｏｕｐノードサイズに分割した場合の例、及び、当該Ｔｒｉｓｏｕｐノードサイズにおける頂点の例を示している。

【0201】

図１２Ａは、ソート後のＩｎｄｅｘにおいて、０番目と１番目、１番目と２番目、２番目と０番目の頂点を結ぶ直線をそれぞれ生成した場合の例を示している。

【0202】

２点ａ＝（ａｘ, ａｙ, ａｚ）、ｂ＝（ｂｘ, ｂｙ, ｂｚ）を結ぶ直線ｌは、例えば、ｌ＝（１－ｔ）ａ＋ｔｂで表せる。

【0203】

この直線と、最小Ｔｒｉｓｏｕｐノードサイズにおける各エッジの直線との交点を求めることで、エッジ上の点を算出することができる。

【0204】

ここで、図１１Ｂと同様に、算出対象を当該Ｔｒｉｓｏｕｐノードサイズにおける表面上に存在するエッジに限定する場合、以下のように計算を簡素化できる。

【0205】

第１に、２つの頂点を結んで直線を求める際に、２つの頂点の両方が、当該Ｔｒｉｓｏｕｐノードの同一表面上に無い場合、計算から除外できる。

【0206】

図１２Ａの例では、０番目及び１番目の頂点は、同一表面上に存在している。同様に、２番目及び０番目の頂点も、同一表面上に存在している。一方、１番目及び２番目の頂点は、同一表面上に無いため、この２点を結ぶ直線については計算の対象外とできる。

【0207】

２頂点を同一表面上に限定した場合、２頂点を結ぶ直線の式は、２次元平面状の直線の式として表現できる。

【0208】

例えば、０番目の頂点及び１番目の頂点は、それぞれｚ座標が同一であるため、２頂点を結ぶ直線はｘ-ｙ平面上の直線としてｙ＝ａｘ＋ｂ（ａとｂは定数）の形で表せる。

【0209】

このｘ-ｙ平面上において、最小Ｔｒｉｓｏｕｐノードサイズに分割した場合のエッジはｘ＝Ｃ×２^{（Ｎ-１）}又はｙ＝Ｄ×２^{（Ｎ-１）}（Ｃ及びＤは、それぞれ定数）の直線と見なせるので、上述の直線の式にｘ＝Ｃ×２^{（Ｎ-１）}又はｙ＝Ｄ×２^{（Ｎ-１）}を代入することで、交点を算出できる。

【0210】

以上のようにして算出した交点、及び、当該Ｔｒｉｓｏｕｐノードサイズにおける頂点の両方を、内挿後の頂点とする。

【0211】

図１２Ｂは、以上で説明した方法で生成した頂点の例を示している。

【0212】

以上のように、近似表面合成部２０３０は、ノードサイズが最小ノードサイズではない場合、当該ノード頂点のうち２点を結ぶ直線と、当該ノードを前記最小ノードサイズで分割した際の辺との交点を、最小ノードサイズにおける頂点位置とするように構成されていてもよい。

【0213】

このような構成とすることで、２本の直線の交点は、数学的に一意に算出可能であるため、頂点位置を正確に算出することが可能となる。

【0214】

以上のように頂点の生成が完了した後、ステップＳ１００１へ進む。

【0215】

図１３は、ステップＳ１００２で使用する頂点の復号処理の一例を示すフローチャートである。

【0216】

図１３に示すように、ステップＳ１３０１において、近似表面合成部２０３０は、全てのｔｒｉｓｏｕｐ_ｄｅｐｔｈでの処理が完了したかどうかを判定する。

【0217】

全てのｔｒｉｓｏｕｐ_ｄｅｐｔｈについて処理が完了した場合、ステップＳ１３０５へ進み、処理を終了する。全てのｔｒｉｓｏｕｐ_ｄｅｐｔｈの処理が完了していない場合、ステップＳ１３０２へ進む。

【0218】

ステップＳ１３０２において、近似表面合成部２０３０は、対象Ｔｒｉｓｏｕｐ階層に属するユニークセグメント数を確認する。

【0219】

ユニークセグメント数が「０」の場合、すなわち、対象Ｔｒｉｓｏｕｐ階層にはＴｒｉｓｏｕｐノードが１つも含まれない場合は、近似表面合成部２０３０は、ステップＳ１３０１へ進み、次のＴｒｉｓｏｕｐ階層の処理へ移る。

【0220】

ユニークセグメント数が「０」より大きい場合は、近似表面合成部２０３０は、ステップＳ１３０３へ移る。

【0221】

ステップＳ１３０３において、近似表面合成部２０３０は、各ユニークセグメントに対してＴｒｉｓｏｕｐ処理に用いる頂点が含まれるか否かを復号する。

【0222】

なお、各ユニークセグメントに対して存在できる頂点は、１点のみに制限してもよい。この場合、頂点が存在するユニークセグメント数が頂点数と等しいと解釈できる。

【0223】

近似表面合成部２０３０は、対象Ｔｒｉｓｏｕｐ階層の全てのユニークセグメントについて頂点の有無を復号した後、ステップＳ１３０４へ移る。

【0224】

ステップＳ１３０４において、近似表面合成部２０３０は、ステップＳ１３０３において頂点が存在すると判定された各ユニークセグメントに対して、各ユニークセグメント上のどこに頂点が存在するのかという位置情報を復号する。

【0225】

図１４は、ステップＳ１３０４の処理の一例を示すフローチャートである。

【0226】

図１４に示すように、ステップＳ１４０１において、近似表面合成部２０３０は、全てのセグメントについて処理が終了したかどうかを判定する。

【0227】

全てのセグメントについて処理が終了した場合、ステップＳ１４０６へ進み処理を終了する。全てのセグメントについて処理が終了していない場合、ステップＳ１４０２へ進む。

【0228】

ステップＳ１４０２では、近似表面合成部２０３０は、当該セグメントの方向を取得する。具体的には、近似表面合成部２０３０は、当該セグメントがｘ軸、ｙ軸、ｚ軸方向のいずれの方向なのかを取得する。

【0229】

かかる情報は、例えば、予め復号対象のノードに属するエッジ（＝セグメント）に所定の順序でＩｎｄｅｘを与えるとともに当該セグメントの方向を記録しておき、本処理では、Ｉｎｄｅｘ順に各セグメントを処理することで、前記の記録から当該セグメントの方向を判定することができる。

【0230】

また、別の方法としては、近似表面合成部２０３０は、セグメントごとに始点の座標と終点の座標の情報を保持しておくことで、どの軸方向に沿った頂点であるかを判別できる。以上のように当該セグメントの方向を取得した後、ステップＳ１４０３へ進む。

【0231】

ステップＳ１４０３では、近似表面合成部２０３０は、当該セグメントのサイズを取得する。

【0232】

当該セグメントのサイズは、対象のＯｃｔｒｅｅのＤｅｐｔｈにおけるノードサイズに対応する。

【0233】

Ｏｃｔｒｅｅのみを用いる場合はｘ軸、ｙ軸、ｚ軸方向すべてについて同一のサイズとなる。一方、ＱｔＢｔを用いる場合はｘ軸、ｙ軸、ｚ軸方向それぞれについて値が異なる可能性がある。

【0234】

近似表面合成部２０３０は、当該Ｄｅｐｔｈにおけるｘ軸、ｙ軸、ｚ軸方向それぞれのノードサイズと、ステップＳ１４０２で取得した当該セグメントの方向とに基づいて、当該セグメントのサイズを取得する。

【0235】

また、近似表面合成部２０３０は、別の方法としては、セグメントごとに始点の座標と終点の座標の情報を保持している場合、終点の座標値から始点の座標値を減算することで、当該セグメントのサイズを取得できる。

【0236】

当該セグメントのサイズ取得後、近似表面合成部２０３０は、ステップＳ１４０４へ進む。

【0237】

ステップＳ１４０４では、近似表面合成部２０３０は、ステップＳ１４０３で取得した当該セグメントのサイズを、これから復号する頂点のＰｏｓｉｔｉｏｎの取り得る最大値としてセットする。その後、ステップＳ１４０５へ進む。

【0238】

ステップＳ１４０５では、近似表面合成部２０３０は、Ｐｏｓｉｔｉｏｎの取り得る値の範囲を０～“Ｓ１４０４でセットした最大値”―１と設定したうえで、Ｐｏｓｉｔｉｏｎを復号する。

【0239】

例えば、近似表面合成部２０３０は、最大値が２^Ｌの場合、最大値＝２^Ｌ-１と設定できる。この時、例えば、Ｐｏｓｉｔｉｏｎは、Ｌビットの等長符号で符号化されていてもよい（点群復号装置２００としては、このように符号化されている前提で復号してもよい）。

【0240】

また、近似表面合成部２０３０は、Ｐｏｓｉｔｉｏｎの取り得る値の範囲を０～２^Ｌ-１とした上で、ハフマン符号化や算術符号化等を用いて、エントロピー符号化/復号してもよい。近似表面合成部２０３０は、Ｐｏｓｉｔｉｏｎの復号後、ステップＳ１４０１へ進む。

【0241】

以上のように、近似表面合成部２０３０は、Ｔｒｉｓｏｕｐの頂点位置の復号に際し、ノード形状に応じてセグメントごとに頂点位置の取り得る値の範囲を設定し、かかる頂点位置の取り得る値の範囲に基づいて頂点位置を復号するように構成されていてもよい。

【0242】

また、近似表面合成部２０３０は、以上のように、ノードからセグメントを生成する際の各セグメントの軸方向と、ノード形状とに基づいて、頂点位置の取り得る値の範囲を設定するように構成されていてもよい。

【0243】

また、近似表面合成部２０３０は、以上のように、各セグメントの始点座標と終点座標とに基づいて、頂点位置の取り得る値の範囲を設定するように構成されていてもよい。

【0244】

このような構成とすることで、ノードサイズが立方体ではなく直方体の場合にもＴｒｉｓｏｕｐが適用できるようになり、符号化効率の改善が見込める。

【0245】

（点群符号化装置１００）
以下、図１５を参照して、本実施形態に係る点群符号化装置１００について説明する。図１５は、本実施形態に係る点群符号化装置１００の機能ブロックの一例について示す図である。

【0246】

図１５に示すように、点群符号化装置１００は、座標変換部１０１０と、幾何情報量子化部１０２０と、ツリー解析部１０３０と、近似表面解析部１０４０と、幾何情報符号化部１０５０と、幾何情報再構成部１０６０と、色変換部１０７０と、属性転移部１０８０と、ＲＡＨＴ部１０９０と、ＬｏＤ算出部１１００と、リフティング部１１１０と、属性情報量子化部１１２０と、属性情報符号化部１１３０とを有する。

【0247】

座標変換部１０１０は、入力点群の３次元座標系から、任意の異なる座標系への変換処理を行うよう構成されている。座標変換は、例えば、入力点群を回転することにより、入力点群のｘ、ｙ、ｚ座標を任意のs、ｔ、ｕ座標に変換してもよい。また、変換のバリエーションの１つとして、入力点群の座標系をそのまま使用してもよい。

【0248】

幾何情報量子化部１０２０は、座標変換後の入力点群の位置情報の量子化及び座標が重複する点の除去を行うように構成されている。なお、量子化ステップサイズが１の場合は、入力点群の位置情報と量子化後の位置情報とが一致する。すなわち、量子化ステップサイズが１の場合は、量子化を行わない場合と等価になる。

【0249】

ツリー解析部１０３０は、量子化後の点群の位置情報を入力として、後述のツリー構造に基づいて、符号化対象空間のどのノードに点が存在するかについて示すｏｃｃｕｐａｎｃｙ ｃｏｄｅを生成するように構成されている。

【0250】

ツリー解析部１０３０は、本処理において、符号化対象空間を再帰的に直方体で区切ることにより、ツリー構造を生成するように構成されている。

【0251】

ここで、ある直方体内に点が存在する場合、かかる直方体を複数の直方体に分割する処理を、直方体が所定のサイズになるまで再帰的に実行することでツリー構造を生成することができる。なお、かかる各直方体をノードと呼ぶ。また、ノードを分割して生成される各直方体を子ノードと呼び、子ノード内に点が含まれるか否かについて０又は１で表現したものがｏｃｃｕｐａｎｃｙ ｃｏｄｅである。

【0252】

以上のように、ツリー解析部１０３０は、所定のサイズになるまでノードを再帰的に分割しながら、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを生成するように構成されている。

【0253】

本実施形態では、上述の直方体を常に立方体として８分木分割を再帰的に行う「Ｏｃｔｒｅｅ」と呼ばれる手法、及び、８分木分割に加え、４分木分割及び２分木分割を行う「ＱｔＢｔ」と呼ばれる手法を使用することができる。

【0254】

ここで、「ＱｔＢｔ」を使用するか否かについては、制御データとして点群復号装置２００に伝送される。

【0255】

或いは、任意のツリー構成を用いるＰｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを使用するように指定されてもよい。かかる場合、ツリー解析部１０３０が、ツリー構造を決定し、決定されたツリー構造は、制御データとして点群復号装置２００へ伝送される。

【0256】

例えば、ツリー構造の制御データは、図６で説明した手順で復号できるよう構成されていてもよい。

【0257】

近似表面解析部１０４０は、ツリー解析部１０３０によって生成されたツリー情報を用いて、近似表面情報を生成するように構成されている。

【0258】

近似表面情報は、例えば、物体の３次元点群データを復号する際等において、点群が物体表面に密に分布しているような場合に、個々の点群を復号するのではなく、点群の存在領域を小さな平面で近似して表現したものである。

【0259】

具体的には、近似表面解析部１０４０は、例えば、「Ｔｒｉｓｏｕｐ」と呼ばれる手法で、近似表面情報を生成するように構成されていてもよい。また、Ｌｉｄａｒ等で取得した疎な点群を復号する場合は、本処理を省略することができる。

【0260】

幾何情報符号化部１０５０は、ツリー解析部１０３０によって生成されたｏｃｃｕｐａｎｃｙ ｃｏｄｅ及び近似表面解析部１０４０によって生成された近似表面情報等のシンタックスを符号化してビットストリーム（幾何情報ビットストリーム）を生成するように構成されている。ここで、ビットストリームには、例えば、図４及び図５で説明したシンタックスを含まれていてもよい。

【0261】

符号化処理は、例えば、コンテクスト適応二値算術符号化処理である。ここで、例えば、シンタックスは、位置情報の復号処理を制御するための制御データ（フラグやパラメータ）を含む。

【0262】

幾何情報再構成部１０６０は、ツリー解析部１０３０によって生成されたツリー情報及び近似表面解析部１０４０によって生成された近似表面情報に基づいて、符号化対象の点群データの各点の幾何情報（符号化処理が仮定している座標系、すなわち、座標変換部１０１０における座標変換後の位置情報）を再構成するように構成されている。

【0263】

色変換部１０７０は、入力の属性情報が色情報であった場合に、色変換を行うように構成されている。色変換は、必ずしも実行する必要は無く、色変換処理の実行の有無については、制御データの一部として符号化され、点群復号装置２００へ伝送される。

【0264】

属性転移部１０８０は、入力点群の位置情報、幾何情報再構成部１０６０における再構成後の点群の位置情報及び色変換部１０７０での色変化後の属性情報に基づいて、属性情報の歪みが最小となるように属性値を補正するように構成されている。

【0265】

ＲＡＨＴ部１０９０は、属性転移部１０８０による転移後の属性情報及び幾何情報再構成部１０６０によって生成された幾何情報を入力とし、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）と呼ばれるＨａａｒ変換の一種を用いて、各点の残差情報を生成するように構成されている。ＲＡＨＴの具体的な処理としては、例えば、上述の文献２に記載の方法を用いることができる。

【0266】

ＬｏＤ算出部１１００は、幾何情報再構成部１０６０によって生成された幾何情報を入力とし、ＬｏＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するように構成されている。

【0267】

ＬｏＤは、ある点の属性情報から、他のある点の属性情報を予測し、予測残差を符号化或いは復号するといった予測符号化を実現するための参照関係（参照する点及び参照される点）を定義するための情報である。

【0268】

言い換えると、ＬｏＤは、幾何情報に含まれる各点を複数のレベルに分類し、下位のレベルに属する点については上位のレベルに属する点の属性情報を用いて属性を符号化或いは復号するといった階層構造を定義した情報である。

【0269】

ＬｏＤの具体的な決定方法としては、例えば、上述の文献２に記載の方法を用いてもよい。

【0270】

リフティング部１１１０は、ＬｏＤ算出部１１００によって生成されたＬｏＤ及び属性転移部１０８０での属性転移後の属性情報を用いて、リフティング処理により残差情報を生成するように構成されている。

【0271】

リフティングの具体的な処理としては、例えば、文献（Ｔｅｘｔ ｏｆ ＩＳＯ/ＩＥＣ ２３０９０-９ ＤＩＳ Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ＰＣＣ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１ Ｎ１９０８８）に記載の方法を用いてもよい。

【0272】

属性情報量子化部１１２０は、ＲＡＨＴ部１０９０又はリフティング部１１１０から出力される残差情報を量子化するように構成されている。ここで、量子化ステップサイズが１の場合は、量子化を行わない場合と等価である。

【0273】

属性情報符号化部１１３０は、属性情報量子化部１１２０から出力される量子化後の残差情報等をシンタックスとして符号化処理を行い、属性情報に関するビットストリーム（属性情報ビットストリーム）を生成するように構成されている。

【0274】

符号化処理は、例えば、コンテクスト適応二値算術符号化処理である。ここで、例えば、シンタックスは、属性情報の復号処理を制御するための制御データ（フラグ及びパラメータ）を含む。

【0275】

点群符号化装置１００は、以上の処理により、点群内の各点の位置情報及び属性情報を入力として符号化処理を行い、幾何情報ビットストリーム及び属性情報ビットストリームを出力するように構成されている。

【0276】

また、上述の点群符号化装置１００及び点群復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【0277】

なお、上記の各実施形態では、本発明を点群符号化装置１００及び点群復号装置２００への適用を例にして説明したが、本発明は、かかる例のみに限定されるものではなく、点群符号化装置１００及び点群復号装置２００の各機能を備えた点群符号化/復号システムにも同様に適用できる。

【産業上の利用可能性】

【0278】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0279】

１０…点群処理システム
１００…点群符号化装置
１０１０…座標変換部
１０２０…幾何情報量子化部
１０３０…ツリー解析部
１０４０…近似表面解析部
１０５０…幾何情報符号化部
１０６０…幾何情報再構成部
１０７０…色変換部
１０８０…属性転移部
１０９０…ＲＡＨＴ部
１１００…ＬｏＤ算出部
１１１０…リフティング部
１１２０…属性情報量子化部
１１３０…属性情報符号化部
２００…点群復号装置
２０１０…幾何情報復号部
２０２０…ツリー合成部
２０３０…近似表面合成部
２０４０…幾何情報再構成部
２０５０…逆座標変換部
２０６０…属性情報復号部
２０７０…逆量子化部
２０８０…ＲＡＨＴ部
２０９０…ＬｏＤ算出部
２１００…逆リフティング部
２１１０…逆色変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12A】

【図12B】

【図13】

【図14】

【図15】