(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024093896
(43)【公開日】2024-07-09
(54)【発明の名称】点群復号装置、点群復号方法及びプログラム
(51)【国際特許分類】
H04N 19/597 20140101AFI20240702BHJP
H04N 19/96 20140101ALI20240702BHJP
H04N 19/70 20140101ALI20240702BHJP
【ＦＩ】
H04N19/597
H04N19/96
H04N19/70
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022210537
(22)【出願日】2022-12-27
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、総務省、「３次元空間データの無線伝送に向けた高能率圧縮技術の研究開発」委託事業、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】110001564
【氏名又は名称】フェリシテ弁理士法人
(72)【発明者】
【氏名】海野 恭平
(72)【発明者】
【氏名】小森田 賢史
(72)【発明者】
【氏名】河村 圭
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LA02
5C159LC01
5C159MA04
5C159MA05
5C159MC11
5C159ME01
5C159PP03
5C159RC11
5C159UA02
5C159UA05
(57)【要約】
【課題】符号化効率を向上させること。
【解決手段】本発明に係る点群復号装置２００は、所定サイズのノードごとに、ノードをＯｃｔｒｅｅによって再帰的に分割することで得られる子孫ノードにＴｒｉｓｏｕｐを適用するノードサイズを復号する近似表面合成部２０３０を備える。
【選択図】図２
【解決手段】本発明に係る点群復号装置２００は、所定サイズのノードごとに、ノードをＯｃｔｒｅｅによって再帰的に分割することで得られる子孫ノードにＴｒｉｓｏｕｐを適用するノードサイズを復号する近似表面合成部２０３０を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
点群復号装置であって、
所定サイズのノードごとに、前記ノードをＯｃｔｒｅｅによって再帰的に分割することで得られる子孫ノードにＴｒｉｓｏｕｐを適用するノードサイズを復号する近似表面合成部を備えることを特徴とする点群復号装置。
所定サイズのノードごとに、前記ノードをＯｃｔｒｅｅによって再帰的に分割することで得られる子孫ノードにＴｒｉｓｏｕｐを適用するノードサイズを復号する近似表面合成部を備えることを特徴とする点群復号装置。
【請求項2】
前記近似表面合成部は、Ｔｒｉｓｏｕｐノードを構成する各セグメントの頂点有無及び頂点位置を復号する際、空間的に隣接する復号済みセグメントの頂点有無及び頂点位置の情報を用いたコンテクスト適応復号を行うことを特徴とする請求項１に記載の点群復号装置。
【請求項3】
前記近似表面合成部は、Ｔｒｉｓｏｕｐノードを構成する各セグメントの頂点有無及び頂点位置を復号する際、空間的に隣接する復号済みセグメントのうち、前記Ｔｒｉｓｏｕｐノードと同一サイズのノードを構成するセグメントの頂点有無及び頂点位置の情報を用いたコンテクスト適応復号を行うことを特徴とする請求項１に記載の点群復号装置。
【請求項4】
前記Ｔｒｉｓｏｕｐを適用するノードサイズの最大値である最大Ｔｒｉｓｏｕｐノードサイズと、前記Ｔｒｉｓｏｕｐを適用するノードサイズの最小値である最小Ｔｒｉｓｏｕｐノードサイズと、を復号する幾何情報復号部を備えることを特徴とする請求項１に記載の点群復号装置。
【請求項5】
前記幾何情報復号部は、前記所定サイズを、前記最大Ｔｒｉｓｏｕｐノードサイズ以上の値として復号することを特徴とする請求項４に記載の点群復号装置。
【請求項6】
前記幾何情報復号部は、前記最大Ｔｒｉｓｏｕｐノードサイズを、前記所定サイズの値とすることを特徴とする請求項４に記載の点群復号装置。
【請求項7】
点群復号方法であって、
所定サイズのノードごとに、前記ノードをＯｃｔｒｅｅによって再帰的に分割することで得られる子孫ノードにＴｒｉｓｏｕｐを適用するノードサイズを復号する工程を有することを特徴とする点群復号方法。
所定サイズのノードごとに、前記ノードをＯｃｔｒｅｅによって再帰的に分割することで得られる子孫ノードにＴｒｉｓｏｕｐを適用するノードサイズを復号する工程を有することを特徴とする点群復号方法。
【請求項8】
コンピュータを、点群復号装置として機能させるプログラムであって、
前記点群復号装置は、所定サイズのノードごとに、前記ノードをＯｃｔｒｅｅによって再帰的に分割することで得られる子孫ノードにＴｒｉｓｏｕｐを適用するノードサイズを復号する近似表面合成部を備えることを特徴とするプログラム。
前記点群復号装置は、所定サイズのノードごとに、前記ノードをＯｃｔｒｅｅによって再帰的に分割することで得られる子孫ノードにＴｒｉｓｏｕｐを適用するノードサイズを復号する近似表面合成部を備えることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、点群復号装置、点群復号方法及びプログラムに関する。
【背景技術】
【0002】
非特許文献１では、Ｔｒｉｓｏｕｐと呼ばれる幾何情報の符号化技術が開示されている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Ｇ-ＰＣＣ Ｆｕｔｕｒｅ Ｅｎｈａｎｃｅｍｅｎｔ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１ Ｎ１９３２８
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、非特許文献１の方法では、スライス毎に固定のノードサイズでしかＴｒｉｓｏｕｐを実行できないという問題点があった。
【0005】
そこで、本発明は、上述の課題に鑑みてなされたものであり、複数のノードサイズでのＴｒｉｓｏｕｐにおいて、領域ごとにＴｒｉｓｏｕｐノードサイズを復号することで、局所的に同一ノードサイズのＴｒｉｓｏｕｐノードが隣接するため、空間方向の相関を活用が容易になり、符号化効率を向上させることができる点群復号装置、点群復号方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第１の特徴は、点群復号装置であって、所定サイズのノードごとに、前記ノードをＯｃｔｒｅｅによって再帰的に分割することで得られる子孫ノードにＴｒｉｓｏｕｐを適用するノードサイズを復号する近似表面合成部を備えることを要旨とする。
【0007】
本発明の第２の特徴は、点群復号方法であって、所定サイズのノードごとに、前記ノードをＯｃｔｒｅｅによって再帰的に分割することで得られる子孫ノードにＴｒｉｓｏｕｐを適用するノードサイズを復号する工程を有することを要旨とする。
【0008】
本発明の第３の特徴は、コンピュータを、点群復号装置として機能させるプログラムであって、前記点群復号装置は、所定サイズのノードごとに、前記ノードをＯｃｔｒｅｅによって再帰的に分割することで得られる子孫ノードにＴｒｉｓｏｕｐを適用するノードサイズを復号する近似表面合成部を備えることを要旨とする。
【発明の効果】
【0009】
本発明によれば、複数のノードサイズでのＴｒｉｓｏｕｐにおいて、領域ごとにＴｒｉｓｏｕｐノードサイズを復号することで、局所的に同一ノードサイズのＴｒｉｓｏｕｐノードが隣接するため、空間方向の相関を活用が容易になり、符号化効率を向上させることができる点群復号装置、点群復号方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【0012】
【0013】
図１に示すように、点群処理システム１０は、点群符号化装置１００及び点群復号装置２００を有する。
【0014】
点群符号化装置１００は、入力点群信号を符号化することによって符号化データ（ビットストリーム）を生成するように構成されている。点群復号装置２００は、ビットストリームを復号することによって出力点群信号を生成するように構成されている。
【0015】
なお、入力点群信号及び出力点群信号は、点群内の各点の位置情報と属性情報とから構成される。属性情報は、例えば、各点の色情報や反射率である。
【0016】
ここで、かかるビットストリームは、点群符号化装置１００から点群復号装置２００に対して伝送路を介して送信されてもよい。また、ビットストリームは、記憶媒体に格納された上で、点群符号化装置１００から点群復号装置２００に提供されてもよい。
【0017】
【0018】
図２に示すように、点群復号装置２００は、幾何情報復号部２０１０と、ツリー合成部２０２０と、近似表面合成部２０３０と、幾何情報再構成部２０４０と、逆座標変換部２０５０と、属性情報復号部２０６０と、逆量子化部２０７０と、ＲＡＨＴ部２０８０と、ＬｏＤ算出部２０９０と、逆リフティング部２１００と、逆色変換部２１１０とを有する。
【0019】
幾何情報復号部２０１０は、点群符号化装置１００から出力されるビットストリームのうち、幾何情報に関するビットストリーム（幾何情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。
【0020】
復号処理は、例えば、コンテクスト適応二値算術復号処理である。ここで、例えば、シンタックスは、位置情報の復号処理を制御するための制御データ（フラグやパラメータ）を含む。
【0021】
ツリー合成部２０２０は、幾何情報復号部２０１０によって復号された制御データ及び後述するツリー内のどのノードに点群が存在するかを示すｏｃｃｕｐａｎｃｙ ｃｏｄｅを入力として、復号対象空間内のどの領域に点が存在するかというツリー情報を生成するように構成されている。
【0022】
なお、ｏｃｃｕｐａｎｃｙ ｃｏｄｅの復号処理をツリー合成部２０２０内部で行うよう構成されていてもよい。
【0023】
本処理は、復号対象空間を直方体で区切り、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照して各直方体内に点が存在するかを判断し、点が存在する直方体を複数の直方体に分割し、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照するという処理を再帰的に繰り返すことで、ツリー情報を生成することができる。
【0024】
ここで、かかるｏｃｃｕｐａｎｃｙ ｃｏｄｅの復号に際して、インター予測を用いてもよい。
【0025】
本実施形態では、上述の直方体を常に立方体として８分木分割を再帰的に行う「Ｏｃｔｒｅｅ」と呼ばれる手法、及び、８分木分割に加え、４分木分割及び２分木分割を行う「ＱｔＢｔ」と呼ばれる手法を使用することができる。ＱｔＢｔ」を使用するか否かは、制御データとして点群符号化装置１００側から伝送される。
【0026】
なお、本実施形態では、「Ｏｃｔｒｅｅ」によって上述の立方体が１×１×１のサイズになるまで分割を行うことで幾何情報を復号する方法を、特に「Ｏｃｔｒｅｅのみ」と呼ぶ。
【0027】
また、「Ｏｃｔｒｅｅ」に「ＱｔＢｔ」を組み合わせて使用した場合でも、上記同様に「Ｏｃｔｒｅｅ」及び「ＱｔＢｔ」のみで上述の直方体が１×１×１のサイズになるまで分割を行うことで幾何情報を復号する方法についても、「Ｏｃｔｒｅｅのみ」と呼んでもよい。
【0028】
或いは、制御データによってＰｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇを使用するように指定された場合、ツリー合成部２０２０は、点群符号化装置１００において決定した任意のツリー構成に基づいて各点の座標を復号するように構成されている。
【0029】
近似表面合成部２０３０は、ツリー合成部２０２０によって生成されたツリー情報を用いて近似表面情報を生成し、かかる近似表面情報に基づいて点群を復号するように構成されている。
【0030】
近似表面情報は、例えば、物体の３次元点群データを復号する際等において、点群が物体表面に密に分布しているような場合に、個々の点群を復号するのではなく、点群の存在領域を小さな平面で近似して表現したものである。
【0031】
具体的には、近似表面合成部２０３０は、例えば、「Ｔｒｉｓｏｕｐ」と呼ばれる手法で、近似表面情報を生成し、点群を復号することができる。「Ｔｒｉｓｏｕｐ」の具体的な処理例については後述する。また、Ｌｉｄａｒ等で取得した疎な点群を復号する場合は、本処理を省略することができる。
【0032】
幾何情報再構成部２０４０は、ツリー合成部２０２０によって生成されたツリー情報及び近似表面合成部２０３０によって生成された近似表面情報を元に、復号対象の点群データの各点の幾何情報（復号処理が仮定している座標系における位置情報）を再構成するように構成されている。
【0033】
逆座標変換部２０５０は、幾何情報再構成部２０４０によって再構成された幾何情報を入力として、復号処理が仮定している座標系から、出力点群信号の座標系に変換を行い、位置情報を出力するように構成されている。
【0034】
属性情報復号部２０６０は、点群符号化装置１００から出力されるビットストリームのうち、属性情報に関するビットストリーム（属性情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。
【0035】
復号処理は、例えば、コンテクスト適応二値算術復号処理である。ここで、例えば、シンタックスは、属性情報の復号処理を制御するための制御データ（フラグ及びパラメータ）を含む。
【0036】
また、属性情報復号部２０６０は、復号したシンタックスから、量子化済み残差情報を復号するように構成されている。
【0037】
逆量子化部２０７０は、属性情報復号部２０６０によって復号された量子化済み残差情報と、属性情報復号部２０６０によって復号された制御データの一つである量子化パラメータとを元に、逆量子化処理を行い、逆量子化済み残差情報を生成するように構成されている。
【0038】
逆量子化済み残差情報は、復号対象の点群の特徴に応じて、ＲＡＨＴ部２０８０及びＬｏＤ算出部２０９０のいずれかに出力される。いずれに出力されるかは、属性情報復号部２０６０によって復号される制御データによって指定される。
【0039】
ＲＡＨＴ部２０８０は、逆量子化部２０７０によって生成された逆量子化済み残差情報及び幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）と呼ばれるＨａａｒ変換（復号処理においては、逆Ｈａａｒ変換）の一種を用いて、各点の属性情報を復号するように構成されている。ＲＡＨＴの具体的な処理としては、例えば、非特許文献１に記載の方法を用いることができる。
【0040】
ＬｏＤ算出部２０９０は、幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＬｏＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するように構成されている。
【0041】
ＬｏＤは、ある点の属性情報から、他のある点の属性情報を予測し、予測残差を符号化或いは復号するといった予測符号化を実現するための参照関係（参照する点及び参照される点）を定義するための情報である。
【0042】
言い換えると、ＬｏＤは、幾何情報に含まれる各点を複数のレベルに分類し、下位のレベルに属する点については上位のレベルに属する点の属性情報を用いて属性を符号化或いは復号するといった階層構造を定義した情報である。
【0043】
ＬｏＤの具体的な決定方法としては、例えば、上述の非特許文献１に記載の方法を用いてもよい。
【0044】
逆リフティング部２１００は、ＬｏＤ算出部２０９０によって生成されたＬｏＤ及び逆量子化部２０７０によって生成された逆量子化済み残差情報を用いて、ＬｏＤで規定した階層構造に基づいて各点の属性情報を復号するように構成されている。逆リフティングの具体的な処理としては、例えば、上述の非特許文献１に記載の方法を用いることができる。
【0045】
逆色変換部２１１０は、復号対象の属性情報が色情報であり且つ点群符号化装置１００側で色変換が行われていた場合に、ＲＡＨＴ部２０８０又は逆リフティング部２１００から出力される属性情報に逆色変換処理を行うように構成されている。かかる逆色変換処理の実行の有無については、属性情報復号部２０６０によって復号された制御データによって決定される。
【0046】
点群復号装置２００は、以上の処理により、点群内の各点の属性情報を復号して出力するように構成されている。
【0047】
【0048】
図３は、幾何情報復号部２０１０で受信する符号化データ（ビットストリーム）の構成の一例である。
【0049】
第１に、ビットストリームは、ＧＰＳ２０１１を含んでいてもよい。ＧＰＳ２０１１は、ジオメトリパラメータセットとも呼ばれ、幾何情報の復号に関する制御データの集合である。具体例については後述する。各ＧＰＳ２０１１は、複数のＧＰＳ２０１１が存在する場合に個々を識別するためのＧＰＳ ｉｄ情報を少なくとも含む。
【0050】
第２に、ビットストリームは、ＧＳＨ２０１２Ａ/２０１２Ｂを含んでいてもよい。ＧＳＨ２０１２Ａ/２０１２Ｂは、ジオメトリスライスヘッダ或いはジオメトリデータユニットヘッダとも呼ばれ、後述するスライスに対応する制御データの集合である。以降では、スライスという呼称を用いて説明するが、スライスをデータユニットと読み替えることもできる。具体例については後述する。ＧＳＨ２０１２Ａ/２０１２Ｂは、各ＧＳＨ２０１２Ａ/２０１２Ｂに対応するＧＰＳ２０１１を指定するためのＧＰＳ ｉｄ情報を少なくとも含む。
【0051】
第３に、ビットストリームは、ＧＳＨ２０１２Ａ/２０１２Ｂの次に、スライスデータ２０１３Ａ/２０１３Ｂを含んでいてもよい。スライスデータ２０１３Ａ/２０１３Ｂには、幾何情報を符号化したデータが含まれている。スライスデータ２０１３Ａ/２０１３Ｂの一例としては、後述するｏｃｃｕｐａｎｃｙ ｃｏｄｅが挙げられる。
【0052】
以上のように、ビットストリームは、各スライスデータ２０１３Ａ/２０１３Ｂに、１つずつＧＳＨ２０１２Ａ/２０１２Ｂ及びＧＰＳ２０１１が対応する構成となる。
【0053】
上述のように、ＧＳＨ２０１２Ａ/２０１２Ｂにて、どのＧＰＳ２０１１を参照するかをＧＰＳ ｉｄ情報で指定するため、複数のスライスデータ２０１３Ａ/２０１３Ｂに対して共通のＧＰＳ２０１１を用いることができる。
【0054】
言い換えると、ＧＰＳ２０１１は、スライスごとに必ずしも伝送する必要がない。例えば、図３のように、ＧＳＨ２０１２Ｂ及びスライスデータ２０１３Ｂの直前では、ＧＰＳ２０１１を符号化しないようなビットストリームの構成とすることもできる。
【0055】
なお、図３の構成は、あくまで一例である。各スライスデータ２０１３Ａ/２０１３Ｂに、ＧＳＨ２０１２Ａ/２０１２Ｂ及びＧＰＳ２０１１が対応する構成となっていれば、ビットストリームの構成要素として、上述以外の要素が追加されてもよい。
【0056】
例えば、図３に示すように、ビットストリームは、シーケンスパラメータセット（ＳＰＳ）２００１を含んでいてもよい。また、同様に、伝送に際して、図３と異なる構成に整形されてもよい。更に、後述する属性情報復号部２０６０で復号されるビットストリームと合成して単一のビットストリームとして伝送されてもよい。
【0057】
図４は、ＧＰＳ２０１１のシンタックス構成の一例である。
【0058】
なお、以下で説明するシンタックス名は、あくまで一例である。以下で説明したシンタックスの機能が同様であれば、シンタックス名は異なっていても差し支えない。
【0059】
ＧＰＳ２０１１は、各ＧＰＳ２０１１を識別するためのＧＰＳ ｉｄ情報（ｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を含んでもよい。
【0060】
なお、図４のＤｅｓｃｒｉｐｔｏｒ欄は、各シンタックスが、どのように符号化されているかを意味している。ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（１）は、１ビットのフラグであることを意味する。
【0061】
ＧＰＳ２０１１は、近似表面合成部２０３０でＴｒｉｓｏｕｐを使用するか否かを制御するフラグ（ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。
【0062】
例えば、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時はＴｒｉｓｏｕｐを使用しないと定義し、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時はＴｒｉｓｏｕｐを使用すると定義してもよい。
【0063】
幾何情報復号部２０２０は、Ｔｒｉｓｏｕｐを使用するとき、すなわち、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時、追加で以下のシンタックスを復号するように構成されていてもよい。
【0064】
なお、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇは、ＧＰＳ２０１１ではなくＳＰＳ２００１に含まれていてもよい。
【0065】
ＧＰＳ２０１１は、複数レベルでのＴｒｉｓｏｕｐを許可するか否かを制御するフラグ（ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇ、第１フラグ）を含んでもよい。
【0066】
例えば、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時は複数レベルでのＴｒｉｓｏｕｐを許可しない、すなわち、単一のレベルでのＴｒｉｓｏｕｐを行うと定義し、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時は複数レベルでのＴｒｉｓｏｕｐを許可すると定義してもよい。
【0067】
なお、当該シンタックスがＧＰＳ２０１１に含まれない場合、当該シンタックスの値を単一のレベルでのＴｒｉｓｏｕｐを行う場合の値、すなわち、「０」とみなしてよい。
【0068】
なお、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇは、ＧＰＳ２０１１ではなくＳＰＳ２００１に含まれるよう定義してもよい。この場合、ＳＰＳ２００１にｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇが含まれていない場合、当該シンタックスの値を単一のレベルでのＴｒｉｓｏｕｐを行う場合の値、すなわち、「０」とみなしてよい。
【0069】
【0070】
幾何情報復号部２０２０は、複数レベルでのＴｒｉｓｏｕｐを許可するとき、すなわち、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時、追加で以下のシンタックスを復号するように構成されていてもよい。
【0071】
ＧＳＨ２０１２は、複数レベルでのＴｒｉｓｏｕｐを許可するとき、Ｔｒｉｓｏｕｐノードサイズの最大値を規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２）を含んでもよい。
【0072】
当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズの最大値について、２を底とする対数に変換した値として表現されていてもよい。更に、当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズの最大値について、２を底とする対数に変換した後に２を引いた後の値として表現されていてもよい。
【0073】
ＧＳＨ２０１２は、複数レベルでのＴｒｉｓｏｕｐを許可するとき、Ｔｒｉｓｏｕｐノードサイズの最小値を規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２）を含んでもよい。
【0074】
当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズの最小値について、２を底とする対数に変換した値として表現されていてもよい。更に、当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズの最小値を４（＝２２）とし、２を底とする対数に変換した後に２を引いた後の値として表現されていてもよい。
【0075】
また、当該シンタックスの値は、必ず０以上且つｌｏｇ２_ｔｒｉｓｏｕｐ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２以下となるように制約されていてもよい。
【0076】
また、この時、図５に示すようにｔｒｉｓｏｕｐ_ｄｅｐｔｈをｔｒｉｓｏｕｐ_ｄｅｐｔｈ＝ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２－ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２＋１と定義してもよい。
【0077】
また、最小Ｔｒｉｓｏｕｐノードサイズ及び最大Ｔｒｉｓｏｕｐノードサイズを直接復号する代わりに、後述のＯｃｔｒｅｅ処理における最大Ｔｒｉｓｏｕｐノードサイズ及び最小Ｔｒｉｓｏｕｐノードサイズに対応するＤｅｐｔｈ値を復号してもよい。
【0078】
例えば、最大Ｄｅｐｔｈ（全ノードが１×１×１のサイズになるＤｅｐｔｈ）が１０の場合、最小Ｔｒｉｓｏｕｐノードサイズを４（＝２２）、最大Ｔｒｉｓｏｕｐノードサイズを１６（＝２４）としたい場合は、最小Ｔｒｉｓｏｕｐノードサイズに対応するＤｅｐｔｈ値として８、最大Ｔｒｉｓｏｕｐノードサイズに対応するＤｅｐｔｈ値として６をそれぞれ復号してもよい。
【0079】
ＧＳＨ２０１２は、複数レベルでのＴｒｉｓｏｕｐを許可するとき、Ｔｒｉｓｏｕｐノードサイズを復号するノード（以下、ＣＴＵと呼ぶ）のサイズを規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｃｔｕ_ｓｉｚｅ_ｍｉｎｕｓ２）を含んでもよい。
【0080】
かかるシンタックスは、２を底とする対数に変換した値として表現されていてもよい。
【0081】
さらに、かかるシンタックスは、実際のＴｒｉｓｏｕｐノードサイズの最小値を４（＝２２）とし、２を底とする対数に変換した後に２を引いた後の値として表現されていてもよい。
【0082】
また、かかるシンタックスの値は、必ず前記最大Ｔｒｉｓｏｕｐノードサイズ以上の値となるように制約されていても良よ。
【0083】
また、かかるシンタックスの値は、２を底とする対数にＣＴＵサイズを変換した値から、２を底とする対数に最大Ｔｒｉｓｏｕｐノードサイズを変換した値を引いた後の値として表現されていてもよい。
【0084】
幾何情報復号部２０２０は、複数レベルでのＴｒｉｓｏｕｐを許可しないとき、すなわち、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時、追加で以下のシンタックスを復号するように構成されていてもよい。
【0085】
以上のように、本実施形態における幾何情報復号部２０２０は、上述のＴｒｉｓｏｕｐを適用するノードサイズの最大値である最大Ｔｒｉｓｏｕｐノードサイズと、Ｔｒｉｓｏｕｐを適用するノードサイズの最小値である最小Ｔｒｉｓｏｕｐノードサイズとを復号するように構成されていてもよい。
【0086】
また、以上のように、本実施形態における幾何情報復号部２０２０は、所定サイズ（ＣＴＵサイズ）を、最大Ｔｒｉｓｏｕｐノードサイズ以上の値として復号するように構成されていてもよい。
【0087】
このような構成とすることで、所定サイズの領域（ＣＴＵ）ごとに最大Ｔｒｉｓｏｕｐノードサイズと最小Ｔｒｉｓｏｕｐノードサイズとの間でノードサイズを選択可能となる。
【0088】
また、以上のように、本実施形態における幾何情報復号部２０２０は、上述の最大Ｔｒｉｓｏｕｐノードサイズを、所定サイズの値とするように構成されていてもよい。
【0089】
このような構成とすることで、ＣＴＵサイズの復号を省略できるため、符号量及び処理量を削減できる。
【0090】
ＧＳＨ２０１２は、複数レベルでのＴｒｉｓｏｕｐを許可しないときで且つＴｒｉｓｏｕｐを使用するとき、Ｔｒｉｓｏｕｐノードサイズを規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅＴｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２）を含んでもよい。
【0091】
かかるシンタックスは、実際のＴｒｉｓｏｕｐノードサイズについて、２を底とする対数に変換した値として表現されていてもよい。
【0092】
さらに、かかるシンタックスは、実際のＴｒｉｓｏｕｐノードサイズについて、２を底とする対数に変換した後に２を引いた後の値として表現されていてもよい。
【0093】
また、この際、図５に示すように、ｔｒｉｓｏｕｐ_ｄｅｐｔｈをｔｒｉｓｏｕｐ_ｄｅｐｔｈ＝１と定義してもよい。
【0094】
ＧＳＨ２０１２は、Ｔｒｉｓｏｕｐを使用するとき、再構成点のサブサンプリング間隔を制御するシンタックス（ｔｒｉｓｏｕｐ_ｓａｍｐｌｉｎｇ_ｖａｌｕｅ_ｍｉｎｕｓ１）を含んでもよい。
【0095】
また、かかるシンタックスの代わりに、図６に示すように、サブサンプリング後の最大点数を示す閾値（ｔｒｉｓｏｕｐ_ｓａｍｐｌｉｎｇ_ｔｈｒｅｓｈｏｌｄ）を復号してもよい。これらのシンタックスの値に基づいた具体的なサブサンプリング方法については後述する。
【0096】
ＧＳＨ２０１２は、後述するＴｒｉｓｏｕｐの頂点位置の精度（ｂｉｔ数）を指定するシンタックス（ｔｒｉｓｏｕｐ_ｖｅｒｔｅｘ_ｎｕｍｂｅｒ_ｂｉｔｓ）を含んでもよい。例えば、当該シンタックスの値が２である場合、頂点位置は、２ｂｉｔであること、すなわち、０、１、２、３の４種類の値を取り得ることを意味する。
【0097】
ここで、ｔｒｉｓｏｕｐ_ｖｅｒｔｅｘ_ｎｕｍｂｅｒ_ｂｉｔｓは、上述のように、ｔｒｉｓｏｕｐ_ｄｅｐｔｈの値に関わらず常に１つの値だけを伝送してもよいし、ｔｒｉｓｏｕｐ_ｄｅｐｔｈの値に応じて復号する数を変化させてもよい。
【0098】
例えば、各ｔｒｉｓｏｕｐ_ｄｅｐｔｈに対応するｔｒｉｓｏｕｐ_ｖｅｒｔｅｘ_ｎｕｍｂｅｒ_ｂｉｔｓがそれぞれ復号されてもよい。言い換えると、ｔｒｉｓｏｕｐ_ｄｅｐｔｈと同じ数だけ、ｔｒｉｓｏｕｐ_ｖｅｒｔｅｘ_ｎｕｍｂｅｒ_ｂｉｔｓが復号されてもよい。具体的には、例えば、ｔｒｉｓｏｕｐ_ｄｅｐｔｈが２の場合、ｔｒｉｓｏｕｐ_ｖｅｒｔｅｘ_ｎｕｍｂｅｒ_ｂｉｔｓの値が２種類伝送されてもよい。
【0099】
ＧＳＨ２０１２は、後述するＴｒｉｓｏｕｐの頂点のセントロイドの残差を復号するか否かを示すフラグ（ｔｒｉｓｏｕｐ_ｃｅｎｔｒｏｉｄ_ｖｅｒｔｅｘ_ｒｅｓｉｄｕａｌ_ｆｌａｇ）を含んでもよい。例えば、当該フラグの値が１の場合は、セントロイドの残差を復号することを意味し、当該フラグの値が０の場合は、セントロイドの残差を復号しないことを意味するように定義されていてもよい。
【0100】
ここで、ｔｒｉｓｏｕｐ_ｃｅｎｔｒｏｉｄ_ｖｅｒｔｅｘ_ｒｅｓｉｄｕａｌ_ｆｌａｇは、上述のように、ｔｒｉｓｏｕｐ_ｄｅｐｔｈの値に関わらず常に１つの値だけを伝送してもよいし、ｔｒｉｓｏｕｐ_ｄｅｐｔｈの値に応じて復号する数を変化させてもよい。
【0101】
例えば、各ｔｒｉｓｏｕｐ_ｄｅｐｔｈに対応するｔｒｉｓｏｕｐ_ｃｅｎｔｒｏｉｄ_ｖｅｒｔｅｘ_ｒｅｓｉｄｕａｌ_ｆｌａｇがそれぞれ復号されてもよい。言い換えると、ｔｒｉｓｏｕｐ_ｄｅｐｔｈと同じ数だけ、ｔｒｉｓｏｕｐ_ｃｅｎｔｒｏｉｄ_ｖｅｒｔｅｘ_ｒｅｓｉｄｕａｌ_ｆｌａｇが復号されてもよい。具体的には、例えば、ｔｒｉｓｏｕｐ_ｄｅｐｔｈが２の場合、ｔｒｉｓｏｕｐ_ｃｅｎｔｒｏｉｄ_ｖｅｒｔｅｘ_ｒｅｓｉｄｕａｌ_ｆｌａｇの値が２種類伝送されてもよい。
【0102】
ＧＳＨ２０１２は、Ｔｒｉｓｏｕｐを使用するとき、かつ、複数レベルでのＴｒｉｓｏｕｐを許可するとき、階層ｉ（ｉ＝０，．．．，ｔｒｉｓｏｕｐ_ｄｅｐｔｈ－１）ごとにユニークセグメントが対象階層に存在するか否かを示すフラグ（ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｅｘｉｓｔ_ｆｌａｇ［ｉ］）を含んでもよい。
【0103】
例えば、ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｅｘｉｓｔ_ｆｌａｇ［ｉ］の値が「１」の場合は、階層ｉに少なくとも１つ以上のユニークセグメントが存在することを意味する。また、ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｅｘｉｓｔ_ｆｌａｇ［ｉ］の値が「０」の場合は、階層ｉにユニークセグメントが１つも存在しないことを意味する。
【0104】
ＧＳＨ２０１２は、階層ｉ（ｉ＝０，．．．，ｔｒｉｓｏｕｐ_ｄｅｐｔｈ－１）ごとにユニークセグメントが対象階層に存在する場合、すなわち、ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｅｘｉｓｔ_ｆｌａｇ［ｉ］の値が「１」の場合、追加で対象階層のユニークセグメント数を示すシンタックスのビット数を示すシンタックス（ｎｕｍ_ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｂｉｔｓ_ｍｉｎｕｓ１［ｉ］）及び対象階層のユニークセグメント数を示すシンタックス（ｎｕｍ_ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｍｉｎｕｓ１［ｉ］）を含んでもよい。
【0105】
ここで、ｎｕｍ_ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｂｉｔｓ_ｍｉｎｕｓ１［ｉ］及びｎｕｍ_ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｍｉｎｕｓ１［ｉ］の両方について、それぞれ本来の値から「１」を引いた値をシンタックスの値として符号化してもよい。
【0106】
（ツリー合成部２０２０）
以下、図７を用いてツリー合成部２０２０の処理について説明する。図６は、ツリー合成部２０２０における処理の一例を示すフローチャートである。なお、以下では「Ｏｃｔｒｅｅ」を使用してツリーを合成する場合の例について説明する。
以下、図７を用いてツリー合成部２０２０の処理について説明する。図６は、ツリー合成部２０２０における処理の一例を示すフローチャートである。なお、以下では「Ｏｃｔｒｅｅ」を使用してツリーを合成する場合の例について説明する。
【0107】
ステップＳ６０１において、ツリー合成部２０２０は、全てのＤｅｐｔｈの処理が完了したかどうかを確認する。なお、Ｄｅｐｔｈ数は、点群符号化装置１００から点群復号装置２００に伝送するビットストリーム内に制御データとして含まれていてもよい。
【0108】
ツリー合成部２０２０は、対象Ｄｅｐｔｈのノードサイズを算出する。「Ｏｃｔｒｅｅ」の場合、最初のＤｅｐｔｈのノードサイズは、「２のＤｅｐｔｈ数乗」と定義されてもよい。すなわち、Ｄｅｐｔｈ数をＮとする場合、最初のＤｅｐｔｈのノードサイズは、２のＮ乗と定義されてもよい。
【0109】
また、２番目以降のＤｅｐｔｈでのノードサイズは、Ｎの数を１つずつ減じていくことで定義されてもよい。すなわち、２番目のＤｅｐｔｈのノードサイズは、「２の（Ｎ－１）乗」として定義され、３番目のＤｅｐｔｈのノードサイズは、「２の（Ｎ－２）乗」として定義され、・・・と定義されてもよい。
【0110】
或いは、ノードサイズは、常に２のべき乗で定義されるため、単純に指数部分（Ｎ、Ｎ－１、Ｎ－２、等）の値をノードサイズと考えてもよい。以降の説明では、ノードサイズとは、ノードの１辺の長さの指数部分の値を指すこととする。
【0111】
なお、以降では簡単のため、ノード形状が立方体の場合、すなわち、ノードの全ての辺の長さが等しい場合を例に説明する。
【0112】
ＱｔＢｔを用いる場合、すなわち、ノード形状が直方体になり、ノードの各辺の長さが軸方向（ｘ、ｙ、ｚ）毎に異なる場合、３方向のうち最も短い辺の長さをノードサイズと考えてもよい。同様に、３方向のうち最も長い辺の長さをノードサイズと考えてもよい。
【0113】
ここで、Ｔｒｉｓｏｕｐを使用するか否かを制御するフラグ（ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇ）がＴｒｉｓｏｕｐを使用することを示している場合、すなわち、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時は、ツリー合成部２０２０は、処理するＤｅｐｔｈ数を、Ｔｒｉｓｏｕｐノードサイズの最小値を規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２）又はＴｒｉｓｏｕｐノードサイズを規定するシンタックス（ｌｏｇ２_Ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２）の値に基づいて変化させてもよい。かかる場合、例えば、以下のように定義してもよい。
【0114】
処理Ｄｅｐｔｈ数＝全Ｄｅｐｔｈ数－（最小の）Ｔｒｉｓｏｕｐノードサイズ
ここで、最小のＴｒｉｓｏｕｐノードサイズについては、例えば、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２＋２）で定義できる。同様に、Ｔｒｉｓｏｕｐノードサイズについては、（ｌｏｇ２_Ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２＋２）で定義できる。
ここで、最小のＴｒｉｓｏｕｐノードサイズについては、例えば、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２＋２）で定義できる。同様に、Ｔｒｉｓｏｕｐノードサイズについては、（ｌｏｇ２_Ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２＋２）で定義できる。
【0115】
この場合、全ての処理Ｄｅｐｔｈ数の処理が完了した場合は、ツリー合成部２０２０は、ステップＳ６０９へ進み、そうでない場合は、ツリー合成部２０２０は、ステップＳ６０２へ進む。
【0116】
言い換えると、（処理Ｄｅｐｔｈ数－ｎ）＝０の場合は、ツリー合成部２０２０は、ステップＳ６０９へ進み、（処理Ｄｅｐｔｈ数－ｎ）＞０の場合は、ツリー合成部２０２０は、ステップＳ６０２へ進む。
【0117】
また、ツリー合成部２０２０は、ステップＳ６０９へ進む際のノードサイズ（Ｎ－処理Ｄｅｐｔｈ数）を持つ全てのノードには、Ｔｒｉｓｏｕｐが適用されると判定してもよい。
【0118】
ステップＳ６０２において、ツリー合成部２０２０は、対象Ｄｅｐｔｈにて後述するＴｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅを復号する必要があるか否かを判定する。
【0119】
例えば、「複数レベルでのＴｒｉｓｏｕｐが許可（ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」）」で、且つ、「対象Ｄｅｐｔｈのノードサイズ（Ｎ－ｎ）がＣＴＵサイズ」の場合に、ツリー合成部２０２０は、「Ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅの復号が必要である」と判定してもよい。
【0120】
なお、本実施例では、「Ｔｒｉｓｏｕｐノードサイズを復号するノード」のことをＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）と呼ぶ。ＣＴＵという名称はあくまで一例であり、「Ｔｒｉｓｏｕｐノードサイズを復号するノード」であれば、他の名称でもよい。
【0121】
また、ツリー合成部２０２０は、上述の条件が満たされない場合、「Ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅの復号が必要ない」と判定してもよい。
【0122】
ここで、最大のＴｒｉｓｏｕｐノードサイズについては、例えば、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２＋２）で定義できる。
【0123】
同様に、最小のＴｒｉｓｏｕｐノードサイズについては、例えば、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２＋２）で定義できる。
【0124】
上述の判定が完了したら、ツリー合成部２０２０は、ステップＳ６０３へ移る。
【0125】
ステップＳ６０３において、ツリー合成部２０２０は、対象Ｄｅｐｔｈに含まれる全てのノードの処理が完了したかどうかを判定する。
【0126】
対象Ｄｅｐｔｈの全てのノードの処理が完了したと判定した場合、ツリー合成部２０２０は、ステップＳ６０１へ移り、次のＤｅｐｔｈの処理を行う。
【0127】
一方、対象Ｄｅｐｔｈの全てのノードの処理が完了していない場合、ツリー合成部２０２０は、ステップＳ６０４へ移る。
【0128】
ステップＳ６０４において、ツリー合成部２０２０は、ステップＳ６０２で判定したＴｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅの復号の要否について確認する。
【0129】
なお、ステップＳ６０２を省略して、ステップＳ６０４の処理タイミングにおいて、ステップＳ６０２と同様な方法でＴｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅの復号の要否を判定してもよい。
【0130】
Ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅの復号が必要であると判定されている場合は、ツリー合成部２０２０は、ステップＳ６０５へ進み、Ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅの復号が必要でないと判定されている場合は、ツリー合成部２０２０は、ステップＳ６０６へ移る。
【0131】
ステップＳ６０５において、ツリー合成部２０２０は、Ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅを復号する。
【0132】
Ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅは、かかるＣＴＵをＯｃｔｒｅｅ又はＱｔＢｔによって再帰的に分割することで得られる子孫ノードが、どのサイズになった際にＴｒｉｓｏｕｐを適用するかを示す情報である。
【0133】
例えば、ＣＴＵサイズが５（＝２５＝３２）であり、復号したＴｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅが２（＝２２＝４）である場合、当該ＣＴＵをＯｃｔｒｅｅによって３回（＝５―２）分割した際に得られる各ノード（ノードサイズ２）に対して、Ｔｒｉｓｏｕｐを適用することを意味してもよい。
【0134】
ここで復号したＴｒｉｓｏｕｐを適用するノードサイズ（以降、Ｔｒｉｓｏｕｐノードサイズと呼ぶ）を、当該ノードの付加情報として記憶する。なお、Ｔｒｉｓｏｕｐノードサイズの初期値は０（＝２０＝１）としておき、ステップＳ６０５において復号した値で上書きしてもよい。
【0135】
ツリー合成部２０２０は、Ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅを復号した後、ステップＳ６０６へ移る。
【0136】
ステップＳ６０６において、ツリー合成部２０２０は、当該ノードの内部情報として記憶しているＴｒｉｓｏｕｐノードサイズの値を確認する。
【0137】
対象ノードにＴｒｉｓｏｕｐを適用する場合、すなわち、当該ノードのサイズと当該ノードの内部情報として記憶しているＴｒｉｓｏｕｐノードサイズが等しい場合、ツリー合成部２０２０は、ステップＳ６０７へ移る。
【0138】
対象ノードにＴｒｉｓｏｕｐを適用しない場合、すなわち、当該ノードのサイズと当該ノードの内部情報として記憶しているＴｒｉｓｏｕｐノードサイズが異なる場合は、ツリー合成部２０２０は、ステップＳ６０８へ移る。
【0139】
ステップＳ６０７において、ツリー合成部２０２０は、対象ノードを、Ｔｒｉｓｏｕｐを適用するノード、すなわち、Ｔｒｉｓｏｕｐノードとして記憶する。かかる対象ノードに対しては、これ以上、「Ｏｃｔｒｅｅ」によるノードの分割を適用しないこととする。その後、ツリー合成部２０２０は、ステップＳ６０３に進み、次のノードの処理へ移る。
【0140】
ステップＳ６０８において、ツリー合成部２０２０は、ｏｃｃｐａｎｃｙ ｃｏｄｅと呼ばれる情報を復号する。
【0141】
ｏｃｃｐａｎｃｙ ｃｏｄｅは、「Ｏｃｔｒｅｅ」の場合は、対象ノードをｘ、ｙ、ｚ軸方向にそれぞれ半分に分割して、８つのノード（子ノードと呼ぶ）に分割した際に、それぞれの子ノード内に復号対象の点が含まれているか否かを示す情報である。
【0142】
例えば、ｏｃｃｐａｎｃｙ ｃｏｄｅは、各子ノードに対して１ビットの情報を割り当て、かかる１ビットの情報が「１」の場合は、かかる子ノード内に復号対象の点が含まれると定義され、かかる１ビットの情報が「０」の場合は、かかる子ノード内に復号対象の点が含まれないと定義されてもよい。
【0143】
ツリー合成部２０２０は、かかるｏｃｃｐａｎｃｙ ｃｏｄｅを復号する際に、各子ノードに復号対象の点が存在する確率を予め推定し、その確率に基づいて各子ノードに対応するビットをエントロピー復号してもよい。
【0144】
また、ステップＳ６０８では、ツリー合成部２０２０は、後述するＳ９０１で使用するために、Ｔｒｉｓｏｕｐを適用しなかったノードの位置情報をＤｅｐｔｈごとに一次元配列等に保存するようにしてもよい。
【0145】
具体的には、ツリー合成部２０２０は、ステップＳ６０８における対象ノード（分割する前のノード）の位置情報を保存するようにしてもよい。例えば、ツリー合成部２０２０は、対象ノード（直方体）の頂点のうち、一番原点に近い点の座標値をＤｅｐｔｈごとに一次元配列に保存し、この情報が、後述する近似表面合成部２０３０で使用されてもよい。
【0146】
直方体のサイズ（ｘ軸、ｙ軸、ｚ軸方向の辺の長さ）がＤｅｐｔｈごとに決定している場合、上記のようにノード内の一番原点に近い点の座標値とＤｅｐｔｈが特定できれば、当該ノードの位置情報を復元することができる。
【0147】
同様に、点群符号化装置１００においては、エントロピー符号化してもよい。
【0148】
また、ステップＳ６０８では、当該ノードの内部情報として記憶しているＴｒｉｓｏｕｐノードサイズを、当該ノードの各子ノードの内部情報として記憶させてもよい。言い換えると、Ｔｒｉｓｏｕｐノードサイズを子ノードに継承してもよい。これにより、ステップＳ６０５で復号したＴｒｉｓｏｕｐノードサイズの値を、子孫ノードに伝播することができる。
【0149】
【0150】
図８は、近似表面合成部２０３０の処理の一例を示すフローチャートである。
【0151】
図８に示すように、ステップＳ７０１において、近似表面合成部２０３０は、全てのｔｒｉｓｏｕｐ_ｄｅｐｔｈでの処理が完了したかどうかを判定する。
【0152】
全てのｔｒｉｓｏｕｐ_ｄｅｐｔｈについて処理が完了した場合、ステップＳ７０９へ進む。全てのｔｒｉｓｏｕｐ_ｄｅｐｔｈの処理が完了していない場合、ステップＳ７０２へ進む。
【0153】
ステップＳ７０２において、近似表面合成部２０３０は、当該ｔｒｉｓｏｕｐ_ｄｅｐｔｈに対応するＴｒｉｓｏｕｐノードサイズが、最大Ｔｒｉｓｏｕｐノードサイズと等しいかどうかを判定する。
【0154】
両者が等しい場合は、本動作は、ステップＳ７０４へ進み、両者が等しくない場合、すなわち、当該ｔｒｉｓｏｕｐ_ｄｅｐｔｈに対応するＴｒｉｓｏｕｐノードサイズが、最大Ｔｒｉｓｏｕｐノードサイズより小さい場合、本動作は、ステップＳ７０３へ進む。
【0155】
ステップＳ７０２において、近似表面合成部２０３０は、ノード毎の頂点位置の取得及び統合を行う。
【0156】
ステップＳ７０３において、近似表面合成部２０３０は、後述するステップＳ７０８によって生成される「内挿された頂点（内挿処理が行われた頂点）」に対応するセグメントを生成する。図９は、ステップＳ７０３の処理の一例を示すフローチャートである。
【0157】
以下、図９を用いて、ステップＳ７０３の処理の一例について説明する。
【0158】
図９に示すように、ステップＳ８０１において、近似表面合成部２０３０は、後述するステップＳ７０８で生成した全ての「内挿された頂点」について処理が完了したか否かを判定する。
【0159】
完了した場合、本動作は、ステップＳ８０５へ進み、処理を終了する。完了していない場合、本動作は、次の「内挿された頂点」について処理するため、ステップＳ８０２へ進む。
【0160】
ステップＳ８０２において、近似表面合成部２０３０は、「内挿された頂点」がどの方向（ｘ、ｙ、ｚ方向のいずれか）のセグメント上に存在する点なのかを判定する。
【0161】
例えば、後述するようにセグメント及びＴｒｉｓｏｕｐの頂点が、整数座標位置から０.５ずれた位置に存在する場合、ｘ方向のセグメントでは、「内挿された頂点」のｘ座標のみが、整数値（ｘ.０）になり、ｙ座標及びｚ座標は、小数値（ｘ.５）となる。
【0162】
同様に、ｙ方向のセグメントでは、ｙ座標のみが整数値となり、ｚ方向のセグメントでは、ｚ座標のみが整数値となるため、近似表面合成部２０３０は、いずれの軸方向の座標が整数であるについて確認することで、当該「内挿された頂点」が存在すべきセグメントの方向を判定することができる。
【0163】
なお、座標値を整数形式で保存している場合、例えば、０.５を表現するために、真の座標値を２倍した上で整数値として保持している場合は、近似表面合成部２０３０は、各軸方向の座標値の最下位ビットが１であるかどうかで、整数か小数（ｘ.５）かを判定することができる。
【0164】
近似表面合成部２０３０は、このように判定した結果を保存し、次のステップＳ８０３へ進む。
【0165】
ステップＳ８０３において、近似表面合成部２０３０は、当該「内挿された頂点」が、現在のＴｒｉｓｏｕｐノードサイズにおける辺上に存在するか否かを判定する。例えば、近似表面合成部２０３０は、以下の方法で、かかる判定を行うことができる。
（１）第１に、近似表面合成部２０３０は、「内挿された頂点」のｘ、ｙ、ｚ軸のそれぞれの座標値を整数に量子化する。
（１）第１に、近似表面合成部２０３０は、「内挿された頂点」のｘ、ｙ、ｚ軸のそれぞれの座標値を整数に量子化する。
【0166】
具体的には、近似表面合成部２０３０は、各座標値に０.５を足した後に小数点以下を切り捨てする。
【0167】
ここで、近似表面合成部２０３０は、座標値が真の値の２倍の整数値で保存されている場合、１を加えた後に２で除算し小数点以下を切り捨てする。
【0168】
或いは、近似表面合成部２０３０は、座標値が真の値の２倍の整数値で保存されている場合、１を加えた後に右に１ビットシフトする。
【0169】
なお、ここでは、ｘ、ｙ、ｚ軸の全ての軸方向について整数化する場合を説明したが、近似表面合成部２０３０は、ステップＳ８０２で判定した「方向」以外の軸のみを整数化するようにしてもよい。
【0170】
例えば、近似表面合成部２０３０は、上述の「方向」がｘ軸の場合、ｙ座標及びｚ座標のみ整数化すればよい。
（２）第２に、近似表面合成部２０３０は、ステップS８０２で判定した「方向」以外の軸の整数化後の座標値が、当該Ｔｒｉｓｏｕｐノードサイズの倍数になっているか否かを確認する。
（２）第２に、近似表面合成部２０３０は、ステップS８０２で判定した「方向」以外の軸の整数化後の座標値が、当該Ｔｒｉｓｏｕｐノードサイズの倍数になっているか否かを確認する。
【0171】
例えば、近似表面合成部２０３０は、上述の「方向」がｘ軸方向で、当該Ｔｒｉｓｏｕｐノードサイズの値が８（＝２３）の場合、当該整数化されたｙ座標及びｚ座標が、それぞれ８の倍数になっているかどうかを確認する。
【0172】
上述の（２）の処理において、「方向」以外の軸の整数化後の座標値が、いずれも当該Ｔｒｉｓｏｕｐノードサイズの倍数になっている場合、近似表面合成部２０３０は、当該「内挿された頂点」が現在のＴｒｉｓｏｕｐノードサイズにおける辺上に存在すると判定し、ステップＳ８０４へ進む。
【0173】
そうでない場合、すなわち、少なくとも１つの軸方向の座標値が当該Ｔｒｉｓｏｕｐノードサイズの倍数になっていない場合、近似表面合成部２０３０は、当該「内挿された頂点」が現在のＴｒｉｓｏｕｐノードサイズにおける辺上に存在しないと判定し、ステップＳ８０１へ進み、次の「内挿された頂点」の処理に移る。
【0174】
ステップＳ８０４において、近似表面合成部２０３０は、ステップＳ８０３で整数化した「内挿された頂点」の座標を用いて、「内挿された頂点」に対応するセグメントを生成する。
【0175】
ここで、セグメントは、始点の座標（ｘ、ｙ、ｚ）、終点の座標（ｘ、ｙ、ｚ）、及びセグメント上における頂点位置（０～Ｔｒｉｓｏｕｐノードサイズー１）の３つの要素から構成されていてもよい。
【0176】
上述の始点は、例えば、前記の整数化した「内挿された頂点」の座標値を、Ｔｒｉｓｏｕｐノードサイズで量子化することにより得られる。
【0177】
具体的には、例えば、Ｔｒｉｓｏｕｐノードサイズの２を底とする対数をとった値をＴｒｉｓｏｕｐＮｏｄｅＳｉｚｅＬｏｇ２とすると、「内挿された頂点」の座標値にそれぞれ下記の演算を行うことで導出できる。
【0178】
量子化後の座標値 = （座標値＞＞ＴｒｉｓｏｕｐＮｏｄｅＳｉｚｅＬｏｇ２）＜＜ＴｒｉｓｏｕｐＮｏｄｅＳｉｚｅＬｏｇ２
ここで、＞＞は、右ビットシフト、＜＜は、左ビットシフトをそれぞれ意味している。
ここで、＞＞は、右ビットシフト、＜＜は、左ビットシフトをそれぞれ意味している。
【0179】
なお、ステップＳ８０４の処理に進む場合、ステップＳ８０２で判定した「方向」以外の軸の座標値は、既にＴｒｉｓｏｕｐノードサイズの倍数であることが明らかであるので、ステップＳ８０４では、近似表面合成部２０３０は、ステップＳ８０２で判定した「方向」に対応する軸の座標値のみ上記の量子化処理を行うこととしてもよい。
【0180】
次に、終点の座標は、始点の座標に対して、ステップＳ８０２で判定した「方向」に対応する軸の座標値に、当該Ｔｒｉｓｏｕｐノードサイズの値を加算することで算出できる。
【0181】
最後に、セグメント上における頂点位置は、ステップＳ８０２で判定した「方向」に対応する軸における整数化された「内挿された頂点」の座標値から、上述の「方向」に対応する軸における始点の座標値を減ずることで導出できる。
【0182】
以上の処理を行った後に、本動作は、ステップＳ８０１へ進み、次の「内挿された頂点」の処理に進む。
【0183】
以上のように、近似表面合成部２０３０は、図８のステップＳ７０３において「内挿された頂点」からセグメントを生成した後、ステップＳ７０４へ進む。
【0184】
ステップＳ７０４において、近似表面合成部２０３０は、次のステップＳ７０５における頂点の復号に用いるための隣接情報を収集する。
【0185】
【0186】
【0187】
マスク情報を生成する場合、図１１に示すように、近似表面合成部２０３０は、ステップＳ１００１において、当該Ｔｒｉｓｏｕｐノードサイズにおける全Ｔｒｉｓｏｕｐノードについて処理が完了したか否かを判定する。
【0188】
完了した場合は、本動作は、ステップＳ１００３へ進み、完了していない場合は、本動作は、ステップＳ１００２へ進む。
【0189】
ステップＳ１００２において、近似表面合成部２０３０は、当該Ｔｒｉｓｏｕｐノードについて、３６本のセグメント及び各セグメントに対応するマスク値を生成する。
【0190】
図１２に、セグメント及びマスク値の生成例を示す。図１２の網掛け部分が、当該Ｔｒｉｓｏｕｐノードの例を示し、各線分が、セグメントの例を示し、セグメント上に記載されている数字が、マスク値の例を示している。
【0191】
なお、全てのセグメントについてマスク値の例を記載するのが困難であるため、マスク値の例は、一部のセグメントにのみ記載しているが、実際は、全てのセグメントについて、以下の通り、マスク値を設定する。
【0192】
まず、近似表面合成部２０３０は、セグメントについては、当該Ｔｒｉｓｏｕｐノードの１２本の辺、ｘ方向、ｙ方向、ｚ方向のそれぞれについて当該ノードより座標値の大きな隣接位置、及び、座標値の小さな隣接位置にそれぞれ４本ずつのセグメントを生成し、図１２に示すように、計３６本のセグメントを生成する。
【0193】
ここで、各セグメントは、始点及び終点の情報を持ち、頂点は存在しないため、頂点位置の情報は保持しない。
【0194】
次に、各セグメントのマスク値の設定例について説明する。
【0195】
近似表面合成部２０３０は、当該Ｔｒｉｓｏｕｐノードの１２本の辺に対応するセグメントに対して、それぞれマスク値の下位４ビットのいずれかのビットのみが１で、それ以外が０のマスク値を設定する。
【0196】
例えば、図１２に示すように、近似表面合成部２０３０は、ｘ軸方向のセグメントには、１、２、４、８のマスク値を設定してもよい。
【0197】
同様に、近似表面合成部２０３０は、ｙ軸方向のセグメントには、１＋（１＜＜１３）、２＋（１＜＜１３）、４＋（１＜＜１３）、８＋（１＜＜１３）のマスク値を設定してもよい。
【0198】
同様に、近似表面合成部２０３０は、ｚ軸方向のセグメントには、１＋（１＜＜１４）、２＋（１＜＜１４）、４＋（１＜＜１４）、８＋（１＜＜１４）のマスク値を設定してもよい。
【0199】
このように設定した場合、マスク値の１ビット目～４ビット目のいずれかのビットが１の場合、当該セグメントに対応するノードがＴｒｉｓｏｕｐノードであることが判別できる。
【0200】
次に、近似表面合成部２０３０は、当該Ｔｒｉｓｏｕｐノードよりｘ方向、ｙ方向、ｚ方向にそれぞれ座標値が大きくなる方向の隣接ノードに対応するセグメント（ｘ、ｙ、ｚ方向のそれぞれで４本ずつ計１２本）には、図１２に示すように、それぞれ１６、３２、６４、１２８のマスク値を設定してもよい。
【0201】
このように設定した場合、マスク値の５ビット目～８ビット目のいずれかのビットが１の場合、当該セグメントに対して座標値が小さくなる方の隣接ノードが、Ｔｒｉｓｏｕｐノードであることが判別できる。
【0202】
次に、近似表面合成部２０３０は、当該Ｔｒｉｓｏｕｐノードよりｘ方向、ｙ方向、ｚ方向にそれぞれ座標値が小さくなる方向の隣接ノードに対応するセグメント（ｘ、ｙ、ｚ方向のそれぞれで４本ずつ計１２本）には、図１２に示すように、それぞれ２５６、５１２、１０２４、２０４８のマスク値を設定してもよい。
【0203】
このように設定した場合、マスク値の９ビット目～１２ビット目のいずれかのビットが１の場合、当該セグメントに対して座標値が大きくなる方の隣接ノードが、Ｔｒｉｓｏｕｐノードであることが判別できる。
【0204】
上述のように、近似表面合成部２０３０は、セグメント及びそれに対応するマスク値を生成した後、ステップＳ１００１へ進み、次のＴｒｉｓｏｕｐノードの処理に移る。
【0205】
ここで、ステップＳ１００１での処理対象のノードに、上述のステップＳ６０８で保存した、当該ＤｅｐｔｈにおいてＴｒｉｓｏｕｐを適用しなかったノードを、本ステップの処理対象として加えてもよい。
【0206】
「当該ＤｅｐｔｈにおいてＴｒｉｓｏｕｐを適用しなかったノード」には、当該Ｄｅｐｔｈにおいては、Ｔｒｉｓｏｕｐが適用されないため、当該ノード自体にＴｒｉｓｏｕｐの頂点等は生成されないが、当該Ｄｅｐｔｈより大きなＤｅｐｔｈにおいてＴｒｉｓｏｕｐが適用されるはずの領域である。よって、ステップＳ１００２で「当該ＤｅｐｔｈにおいてＴｒｉｓｏｕｐを適用しなかったノード」のマスクを生成する際は、上述の「マスク値の１ビット目～４ビット目のいずれかのビットが１」になるマスクは設定せず、「マスク値の５ビット目～８ビット目のいずれかのビットが１」になるマスクと、「マスク値の９ビット目～１２ビット目のいずれかのビットが１」になるマスクのみを設定する。
【0207】
ステップＳ１００３において、近似表面合成部２０３０は、ステップＳ７０３で生成した「内挿された頂点」に対応するセグメントについて、全てのセグメントの処理を完了したかどうかを判定する。
【0208】
完了した場合は、本動作は、ステップＳ１００５へ進み、ステップＳ９０１のマスク生成処理を終了する。完了していない場合、本動作は、ステップＳ１００４へ進む。
【0209】
ステップＳ１００４において、近似表面合成部２０３０は、当該「内挿された頂点」に対応するセグメントについて、当該セグメントに「内挿された頂点」が存在することを意味するマスク値を生成する。
【0210】
近似表面合成部２０３０は、このマスク値について、例えば、１＜＜１５の値を設定しても良い。このような値を設定した場合、マスク値の１６ビット目が１の場合、当該セグメントには「内挿された頂点」が存在すると判定することができる。
【0211】
近似表面合成部２０３０は、マスク値を生成した後、ステップＳ１００３へ進み、次のセグメントの処理に進む。
【0212】
なお、ステップＳ１００２及びステップＳ１００４で生成したマスク値のそれぞれは、いずれも２のべき乗の値である。このようにすることで、後述するステップＳ９０５において、同一位置に存在するセグメントのマスク値を合成する際に、ビット演算（論理和）をとることで容易にマスク値を合成できる。
【0213】
また、このように合成したマスク値の各ビットが１か０かで、上述したように、当該セグメントの情報（Ｔｒｉｓｏｕｐノードか否か、隣接にＴｒｉｓｏｕｐノードが存在するか、当該セグメントに「内挿された頂点」が存在するか等）を得ることができる。
【0214】
近似表面合成部２０３０は、以上のようにマスク情報を生成した後、ステップＳ９０２へ進む。
【0215】
ステップＳ９０２において、近似表面合成部２０３０は、ステップＳ９０１で生成したセグメント、及び、「内挿された頂点」に対応するセグメントを全てまとめた上で、ソートする。
【0216】
近似表面合成部２０３０は、例えば、各セグメントの始点座標及び終点座標に基づいてソートする。かかる処理を行うことで、同一の始点と終点を持つセグメントが連続するように並べ替えることができる。
【0217】
近似表面合成部２０３０は、かかるソートが完了した後に、ステップＳ９０３へ進む。
【0218】
ステップＳ９０３において、近似表面合成部２０３０は、ステップＳ９０２でソートした後のセグメントについて、全てのセグメントの処理が完了したか否かを判定する。
【0219】
完了した場合は、本動作は、ステップＳ９０９へ進み、ステップＳ７０４の隣接情報の収集処理を終了する。完了していない場合は、本動作は、ステップＳ９０４へ進む。
【0220】
ステップＳ９０４において、近似表面合成部２０３０は、当該セグメントが、直前に処理したセグメントと同一位置であるかどうかを判定する。
【0221】
具体的には、近似表面合成部２０３０は、例えば、セグメントの始点の座標及び終点の座標の両方が、直前に処理したセグメントと同一か否かを判定する。
【0222】
直前に処理したセグメントと同一位置である場合は、本動作は、ステップＳ９０５へ進む。直前に処理したセグメントと同一位置ではない場合は、本動作は、ステップＳ９０６へ進む。
【0223】
ステップＳ９０５において、近似表面合成部２０３０は、ステップＳ９０１で生成した当該セグメントに対応するマスク値と、直前までに処理した同一位置の各セグメントのマスク値とを統合する。
【0224】
例えば、近似表面合成部２０３０は、ステップＳ９０１で説明したように各セグメントに対応するマスク値が２のべき乗で構成される場合、それぞれのセグメントのマスク値の論理和をとることでマスクを統合することができる。
【0225】
近似表面合成部２０３０は、マスクを統合した後、ステップＳ９０７へ進む。
【0226】
ステップＳ９０６において、近似表面合成部２０３０は、当該セグメントの直前に処理したセグメントを、所定条件Ａを満たす場合、ユニークセグメントとして保存する。
【0227】
例えば、所定条件Ａは、直前に処理したセグメントがＴｒｉｓｏｕｐノードに対応するセグメントである場合、としてもよい。
【0228】
例えば、ステップＳ９０５で統合したマスク値の下位４ビットの少なくともいずれか１ビットが１である場合、直前に処理したセグメントはＴｒｉｓｏｕｐノードに対応するセグメントであることが分かる。
【0229】
近似表面合成部２０３０は、ユニークセグメントに関する情報として、例えば、当該ユニークセグメントに関する、始点の座標、終点の座標、後述するステップＳ９０７で説明する内挿点の情報、後述するステップＳ９０８で説明する隣接セグメントの情報、及び、ステップＳ９０５で統合したマスク値を、それぞれ保存することとしてもよい。これらの情報は、ステップＳ７０５の頂点の復号処理において使用される。
【0230】
近似表面合成部２０３０は、ユニークセグメントに関する情報を保存した後、各種情報（内挿点の情報、隣接セグメントの情報、統合したマスク値等）を初期化する。
【0231】
また、近似表面合成部２０３０は、所定条件を満たさなかった場合、初期化のみを実施する。以上の処理が完了後、本動作は、ステップＳ９０７へ進む。
【0232】
ステップＳ９０７において、近似表面合成部２０３０は、所定条件Ｂを満たす場合、内挿点に関する情報を保存する。
【0233】
例えば、所定条件Ｂは、当該セグメントのマスク値が、当該セグメントに「内挿された頂点」が存在することを示している場合としてもよい。具体的には、例えば、所定条件Ｂは、マスク値の１６ビット目が１であること、としてもよい。
【0234】
近似表面合成部２０３０は、所定条件Ｂを満たす場合、「内挿された頂点」の座標を保存する。具体的には、近似表面合成部２０３０は、ステップＳ８０４で生成した「セグメント上における頂点位置」の値を保存する。ここで保存された値は、ステップＳ９０６においてユニークセグメントに関する情報として保存される。
【0235】
当該セグメントが、ステップＳ９０６においてユニークセグメントであると判定されなかった場合（ステップＳ９０６の所定条件Ａが満たされなかった場合）は、ステップＳ９０７で保存された当該セグメントの内挿点に関する情報は、破棄される。
【0236】
なお、近似表面合成部２０３０は、「セグメント上における頂点位置」の値を保存する配列を別途準備しておき、当該ステップではその配列における当該セグメントに対応する値を特定するためのｉｎｄｅｘ値を、座標値そのものの代わりに保存するようにしてもよい。
【0237】
以上の処理が完了した後、本動作は、ステップＳ９０８へ進む。
【0238】
ステップＳ９０８において、近似表面合成部２０３０は、隣接セグメントの情報を保存する。
【0239】
具体的には、例えば、近似表面合成部２０３０は、当該セグメントの始点座標、及び、始点座標或いは終点座標が同一のセグメントを特定するための情報（例えば、セグメントのインデックス等）を保存する。
【0240】
例えば、当該セグメントの始点座標、及び、始点座標或いは終点座標が同一のセグメントは、具体的には、当該セグメントと同一の軸方向で、終点座標が当該セグメントの始点座標と同一になるセグメントが１つと、当該セグメントと直交する軸方向のセグメントが４つ存在する。ここで保存された情報は、ステップＳ９０６においてユニークセグメントに関する情報として保存される。
【0241】
当該セグメントが、ステップＳ９０６においてユニークセグメントであると判定されなかった場合（ステップＳ９０６の所定条件Ａが満たされなかった場合）は、ステップＳ９０８で生成された当該セグメントの隣接セグメントの情報は、破棄される。
【0242】
上述の処理が完了後、本動作は、ステップＳ９０３へ進み、次のセグメントの処理へ進む。
【0243】
以上のように、近似表面合成部２０３０は、ステップＳ７０４における隣接情報の収集を行った後、ステップＳ７０５へ進む。
【0244】
ステップＳ７０５において、近似表面合成部２０３０は、当該ｔｒｉｓｏｕｐ_ｄｅｐｔｈにおけるＴｒｉｓｏｕｐの頂点を復号する。
【0245】
【0246】
図１３に示すように、ステップＳ１２０１において、近似表面合成部２０３０は、ステップＳ７０３で生成した全てのユニークセグメントについて処理が終了したか否かを判定する。
【0247】
全てのユニークセグメントについて処理が完了した場合、本動作は、ステップＳ１２０７へ進み、ステップＳ７０３の処理を終了する。全てのユニークセグメントについて処理が完了していない場合、本動作は、ステップＳ１２０２へ進む。
【0248】
ステップＳ１２０２において、近似表面合成部２０３０は、当該ユニークセグメントに「内挿された頂点」が存在するか否かを判定する。
【0249】
「内挿された頂点」が存在するか否かは、ステップＳ９０６で保存された統合されたマスク値に基づいて判定できる。「内挿された頂点」が存在する場合、本動作は、ステップＳ１２０３へ進む。「内挿された頂点」が存在しない場合、本動作は、ステップＳ１２０４へ進む。
【0250】
ステップＳ１２０３において、近似表面合成部２０３０は、ステップＳ９０６で保存した「セグメント上における頂点位置」を、当該ユニークセグメントにおける頂点位置として保存する。
【0251】
言い換えると、近似表面合成部２０３０は、ステップＳ９０６で保存した「セグメント上における頂点位置」を、当該ユニークセグメントにおける頂点位置の復号値とする。
【0252】
さらに、近似表面合成部２０３０は、当該ユニークセグメントにおける「頂点有無」の復号値を、「頂点あり」とする。
【0253】
すなわち、ステップＳ１２０３は、ビットストリームから頂点位置及び頂点の有無を示す情報を復号する代わりに、内挿された値を用いて頂点位置及び頂点有無を示す情報を暗黙的に決定する処理である。
【0254】
上述の処理が完了した後、本動作は、ステップＳ１２０１へ進み、次のユニークセグメントの処理へ進む。
【0255】
ステップＳ１２０４において、近似表面合成部２０３０は、ビットストリームから当該ユニークセグメントに頂点が存在するか否かを示す、頂点の有無を示す情報を復号する。
【0256】
頂点の有無を示す情報は、１ビットのフラグであり、点群符号化装置１００においてエントロピー符号化されていてもよい。近似表面合成部２０３０は、エントロピー符号化（符号化装置）/復号（復号装置）に際して、複数の確率モデルを用意しておき、コンテクストに応じて選択してもよい。コンテクストは、例えば、ステップＳ９０６で保存されて統合されたマスク値に基づいて設定されてもよい。
【0257】
近似表面合成部２０３０は、頂点の有無を示す情報を復号した後、ステップＳ１２０５へ進む。
【0258】
ステップＳ１２０５において、近似表面合成部２０３０は、当該ユニークセグメントに頂点が存在するか否かを判定する。
【0259】
近似表面合成部２０３０は、ステップＳ１２０４で復号した頂点の有無を示す情報に基づき、頂点が存在する場合、ステップＳ１２０６へ進む。かかる頂点が存在しない場合は、近似表面合成部２０３０は、ステップＳ１２０１へ進み、次のユニークセグメントの処理へ進む。
【0260】
ステップＳ１２０６において、近似表面合成部２０３０は、頂点が存在すると判定されたユニークセグメントにおいて、「セグメント上における頂点位置」を復号する。ここで、頂点位置は、エントロピー符号化されていてもよい。エントロピー符号化（符号化装置）/復号（復号装置）に際して、近似表面合成部２０３０は、複数の確率モデルを用意しておき、コンテクストに応じて選択してもよい。コンテクストは、例えば、ステップＳ９０６で保存された隣接セグメントの情報に基づいて設定されてもよい。
【0261】
ここで、頂点位置は、上述のＴｒｉｓｏｕｐの頂点位置の精度（ｂｉｔ数）を指定するシンタックス（ｔｒｉｓｏｕｐ_ｖｅｒｔｅｘ_ｎｕｍｂｅｒ_ｂｉｔｓ）で指定されたビット精度で復号されてもよい。
【0262】
例えば、ｔｒｉｓｏｕｐ_ｖｅｒｔｅｘ_ｎｕｍｂｅｒ_ｂｉｔｓが２の場合、０、１、２、３の４種類の値をとるように復号されてもよい。更に、ｔｒｉｓｏｕｐ_ｖｅｒｔｅｘ_ｎｕｍｂｅｒ_ｂｉｔｓがＤｅｐｔｈ毎に復号されている場合、当該Ｄｅｐｔｈに対応するビット精度で復号されてもよい。
【0263】
また、ｔｒｉｓｏｕｐ_ｖｅｒｔｅｘ_ｎｕｍｂｅｒ_ｂｉｔｓで指定するビット精度は最小Ｔｒｉｓｏｕｐノードサイズに対応するＤｅｐｔｈ（一番大きなＤｅｐｔｈ）でのみ使用し、以降、ノードサイズが１大きくなる（Ｄｅｐｔｈが１小さくなる）に従って、ビット精度を１ずつ増やしてもよい。
【0264】
例えば、ノードサイズが２種類（最小と最大の２段階）の場合、最小Ｔｒｉｓｏｕｐノードサイズに対応するＤｅｐｔｈでは、ｔｒｉｓｏｕｐ_ｖｅｒｔｅｘ_ｎｕｍｂｅｒ_ｂｉｔｓの値、最大Ｔｒｉｓｏｕｐノードサイズに対応するＤｅｐｔｈでは、ｔｒｉｓｏｕｐ_ｖｅｒｔｅｘ_ｎｕｍｂｅｒ_ｂｉｔｓに１を加えた値を、それぞれ当該Ｄｅｐｔｈのビット精度として、頂点位置を復号してもよい。
【0265】
近似表面合成部２０３０は、頂点位置を復号した後、ステップＳ１２０１へ進み、次のユニークセグメントの処理へ進む。
【0266】
以上のように、近似表面合成部２０３０は、ステップＳ７０５において頂点を復号した後、ステップＳ７０６へ進む。
【0267】
ステップＳ７０６において、近似表面合成部２０３０は、ステップS７０５で復号した頂点に基づいて、再構成点群を生成する。図１４は、再構成点群の生成方法の一例を示すフローチャートである。以下、図１４を用いて、ステップＳ７０６の処理の一例について説明する。
【0268】
図１４に示すように、ステップＳ１３０１において、近似表面合成部２０３０は、当該ｔｒｉｓｏｕｐ_ｄｅｐｔｈにおける全てのＴｒｉｓｏｕｐノードについて処理が完了したか否かを判定する。
【0269】
全てのＴｒｉｓｏｕｐノードについて処理が完了した場合、本動作は、ステップＳ１３０６へ進み、処理を終了する。全てのＴｒｉｓｏｕｐノードについて処理が完了していない場合、本動作は、ステップＳ１３０２へ進む。
【0270】
ステップＳ１３０２において、第１に、近似表面合成部２０３０は、当該Ｔｒｉｓｏｕｐノードの各辺（セグメント）に対応するユニークセグメントを特定する。例えば、近似表面合成部２０３０は、ステップＳ７０５で処理した各ユニークセグメントの中から、当該Ｔｒｉｓｏｕｐノードの各辺（セグメント）の始点座標と終点座標とが同一ユニークセグメントを探すことで、特定することができる。
【0271】
第２に、近似表面合成部２０３０は、特定したユニークセグメントに頂点が存在する場合、以下の手順で、頂点を再構成点群に追加する。
（１）近似表面合成部２０３０は、セグメントの位置を、-０.５だけずらす。具体的には、近似表面合成部２０３０は、セグメントの始点座標及び終点座標のそれぞれについて、セグメントの方向に沿った軸以外の座標値から０.５を減ずる。
（１）近似表面合成部２０３０は、セグメントの位置を、-０.５だけずらす。具体的には、近似表面合成部２０３０は、セグメントの始点座標及び終点座標のそれぞれについて、セグメントの方向に沿った軸以外の座標値から０.５を減ずる。
【0272】
例えば、セグメントの始点座標が（ｘ、ｙ、ｚ）＝（１２、１００、３２）で、ノードサイズが４で、且つ、当該セグメントの方向がｘ軸であった場合、終点座標は、始点のｘ座標にノードサイズを加えて（１６、１００、３２）となる。
【0273】
これに対して、ｘ軸以外、すなわち、かかる例では、ｙ座標及びｚ座標を、それぞれ０.５だけ減ずる。よって、始点座標及び終点座標は、それぞれ（１２、９９.５、３１.５）及び（１６、９９.５、３１.５）となる。
（２）近似表面合成部２０３０は、上述の始点座標に、当該セグメントの「セグメント上における頂点位置」を加算する。例えば、上述の例において、「セグメント上における頂点位置」が２である場合、（１４、９９．５、３１．５）となる。
（３）近似表面合成部２０３０は、上述の（２）で求めた座標に対して、セグメントの方向に沿った軸以外の座標値に０.５を加える。例えば、上述の例においては、（１４、１００、３２）となる。この値は、上述の（１）の手順を実行する前の当該ユニークセグメントの始点座標（１２、１００、３２）に、当該ユニークセグメント上の頂点位置２を加算することでも同一の結果を得ることができるので、近似表面合成部２０３０は、そのように計算してもよい。
（４）上述の（３）で算出した座標が、当該Ｔｒｉｓｏｕｐノードの内部に存在する場合、近似表面合成部２０３０は、上述の（３）で算出した座標に点を生成し、再構成点群に追加する。
（２）近似表面合成部２０３０は、上述の始点座標に、当該セグメントの「セグメント上における頂点位置」を加算する。例えば、上述の例において、「セグメント上における頂点位置」が２である場合、（１４、９９．５、３１．５）となる。
（３）近似表面合成部２０３０は、上述の（２）で求めた座標に対して、セグメントの方向に沿った軸以外の座標値に０.５を加える。例えば、上述の例においては、（１４、１００、３２）となる。この値は、上述の（１）の手順を実行する前の当該ユニークセグメントの始点座標（１２、１００、３２）に、当該ユニークセグメント上の頂点位置２を加算することでも同一の結果を得ることができるので、近似表面合成部２０３０は、そのように計算してもよい。
（４）上述の（３）で算出した座標が、当該Ｔｒｉｓｏｕｐノードの内部に存在する場合、近似表面合成部２０３０は、上述の（３）で算出した座標に点を生成し、再構成点群に追加する。
【0274】
ここで、当該Ｔｒｉｓｏｕｐノードの内部とは、ｘ、ｙ、ｚ座標の値が、それぞれ当該Ｔｒｉｓｏｕｐノードの始点（ｘ座標、ｙ座標、ｚ座標のそれぞれが一番小さい点）＋Ｔｒｉｓｏｕｐノードサイズ－１の範囲に存在する点である。
【0275】
例えば、当該Ｔｒｉｓｏｕｐノードの始点座標が（ｘ、ｙ、ｚ）＝（１２、１００、３２）で、Ｔｒｉｓｏｕｐノードサイズが４の場合、（１２～１５、１００～１０３、３２～３５）の範囲に存在する点は、当該Ｔｒｉｓｏｕｐノードの内部とみなす。
【0276】
この場合、上述の（３）で算出した座標が（１４、１００、３２）とすると、この座標は、当該Ｔｒｉｓｏｕｐノードの内部であると判定され、近似表面合成部２０３０は、この座標の点を再構成点群に追加する。図１６Ａに、かかる結果を、ｘ-ｙ平面に投影したケースについて示す。
【0277】
一方、例えば、当該Ｔｒｉｓｏｕｐノードの始点座標が（ｘ、ｙ、ｚ）＝（１２、９６、３２）の場合、（１２～１５、９６～９９、３２～３５）の範囲にある点が、Ｔｒｉｓｏｕｐノードの内部となるため、この場合は、（１４、１００、３２）は、Ｔｒｉｓｏｕｐノードの内部には存在しないと判定され、上述の（３）で算出された座標は、再構成点群に追加させずに、本動作は、処理を終了する。図１６Ｂに、かかるケースの例について示す。
【0278】
上記の処理を終了した後、本動作は、ステップＳ１３０３へ進む。
【0279】
ステップＳ１３０３において、近似表面合成部２０３０は、当該Ｔｒｉｓｏｕｐノードに対応する頂点から、セントロイドの初期座標を算出する。
【0280】
例えば、セントロイドの初期座標は、当該Ｔｒｉｓｏｕｐノードの全ての頂点位置のｘ、ｙ、ｚ成分をそれぞれ平均することで算出され得る。なお、当該Ｔｒｉｓｏｕｐノードの頂点が３点以下の場合、セントロイド処理の算出を省略してもよい。
【0281】
かかる処理が完了した後、本動作は、ステップＳ１３０４へ進む。
【0282】
ステップＳ１３０４において、近似表面合成部２０３０は、頂点のソート及び投影面の決定処理を行う。具体的には、例えば、近似表面合成部２０３０は、以下の手順で、頂点のソート及び投影面を決定できる。
（１）近似表面合成部２０３０は、頂点をｘ-ｙ平面に投影する。かかる処理は、各頂点座標からｘ座標、ｙ座標の値を抽出することと等価である。
（１）近似表面合成部２０３０は、頂点をｘ-ｙ平面に投影する。かかる処理は、各頂点座標からｘ座標、ｙ座標の値を抽出することと等価である。
【0283】
頂点は、もともとノードの辺上に存在するため、投影した平面状では、各頂点は、ノードを平面に投影した正方形或いは長方形の辺上に存在することになる。正方形も、長方形の一種であるため、以降の説明では、投影後のノードの形状を長方形として説明する。
（２）近似表面合成部２０３０は、ノードを投影した長方形の辺上にある点を、時計回り或いは反時計回りの順になるようにソートする。
（２）近似表面合成部２０３０は、ノードを投影した長方形の辺上にある点を、時計回り或いは反時計回りの順になるようにソートする。
【0284】
また、近似表面合成部２０３０は、ソートした順に、各頂点に仮のＩｎｄｅｘ値（０、１、２、・・・）を与える。
（３）近似表面合成部２０３０は、ソート順で隣接する２つの頂点及びセントロイドの３点で定義される三角形を定義し、この三角形の面積を算出する。三角形の面積は、例えば、セントロイドを始点としてそれぞれ２つの頂点座標に向かうベクトルを生成し、それらの外積を用いることで算出できる。
（３）近似表面合成部２０３０は、ソート順で隣接する２つの頂点及びセントロイドの３点で定義される三角形を定義し、この三角形の面積を算出する。三角形の面積は、例えば、セントロイドを始点としてそれぞれ２つの頂点座標に向かうベクトルを生成し、それらの外積を用いることで算出できる。
【0285】
近似表面合成部２０３０は、このように、三角形の面積をソート順で隣接する２つの頂点の全ての組み合わせ（０、１）、（１、２）、・・・（Ｎ、０）について算出し、合算する。
【0286】
なお、近似表面合成部２０３０は、頂点が３点しかない場合、セントロイドを用いず、３つの頂点で構成される三角形の面積を算出する。また、この面積は、投影した平面状での面積である。
（４）近似表面合成部２０３０は、上述の（１）～（３）の手順を、ｘ-ｚ平面及びｙ-ｚ平面についても同様に行い、上述の（３）で算出した面積が最大になる平面を投影面とし、その際に、上述の（２）でソートした順及び付与した仮のＩｎｄｅｘを、最終的なソート順及びＩｎｄｅｘとして採用する。
（４）近似表面合成部２０３０は、上述の（１）～（３）の手順を、ｘ-ｚ平面及びｙ-ｚ平面についても同様に行い、上述の（３）で算出した面積が最大になる平面を投影面とし、その際に、上述の（２）でソートした順及び付与した仮のＩｎｄｅｘを、最終的なソート順及びＩｎｄｅｘとして採用する。
【0287】
以上のように、近似表面合成部２０３０は、頂点のソート及び投影面を決定した後に、ステップＳ１３０５に進む。
【0288】
ステップＳ１３０５において、近似表面合成部２０３０は、ステップＳ１３０４で生成した三角形及びレイトレーシングによって再構成点群を生成する。
【0289】
具体的には、近似表面合成部２０３０は、以下の手順で、再構成点群を生成する。
（１）第１に、近似表面合成部２０３０は、ステップＳ１３０４で決定したＩｎｄｅｘとセントロイドとに基づいて、ステップＳ１３０４と同様に、三角形を生成する。但し、近似表面合成部２０３０は、ステップＳ１３０４では、２次元平面上で三角形を生成したが、ステップＳ１３０５では、各頂点のｘ、ｙ、ｚ座標の全てを使用して、３次元空間上で三角形を生成する。
（２）第２に、近似表面合成部２０３０は、投影面の法線ベクトル（投影面がｘ-ｙ平面であれば、ｚ方向のベクトル）を定義し、投影面上に配置する。
（１）第１に、近似表面合成部２０３０は、ステップＳ１３０４で決定したＩｎｄｅｘとセントロイドとに基づいて、ステップＳ１３０４と同様に、三角形を生成する。但し、近似表面合成部２０３０は、ステップＳ１３０４では、２次元平面上で三角形を生成したが、ステップＳ１３０５では、各頂点のｘ、ｙ、ｚ座標の全てを使用して、３次元空間上で三角形を生成する。
（２）第２に、近似表面合成部２０３０は、投影面の法線ベクトル（投影面がｘ-ｙ平面であれば、ｚ方向のベクトル）を定義し、投影面上に配置する。
【0290】
例えば、近似表面合成部２０３０は、初期位置を、投影面上での当該ノード形状（すなわち、長方形）の最も原点に近い点とする。
（３）第３に、近似表面合成部２０３０は、法線ベクトルのノルムを大きくしていった際に、上述の（１）で生成した三角形と交差するか否か、交差する場合は、その座標を算出する。
（３）第３に、近似表面合成部２０３０は、法線ベクトルのノルムを大きくしていった際に、上述の（１）で生成した三角形と交差するか否か、交差する場合は、その座標を算出する。
【0291】
例えば、近似表面合成部２０３０は、一般的なレイトレーシングの手法等を用いることで、かかる処理を実現できる。図１６Ａに、三角形の構成の一例をについて示す。
（４）第４に、近似表面合成部２０３０は、上述の（３）で算出した法線ベクトルと三角形とが交差する座標が、当該Ｔｒｉｓｏｕｐノードの内部に存在する場合、かかる座標位置に点を生成し、再構成点群に加える。
（５）第５に、近似表面合成部２０３０は、投影面上の当該ノード（長方形）内の各整数座標位置にそれぞれ配置した場合について、上述の（３）及び（４）の手順を繰り返す。
（４）第４に、近似表面合成部２０３０は、上述の（３）で算出した法線ベクトルと三角形とが交差する座標が、当該Ｔｒｉｓｏｕｐノードの内部に存在する場合、かかる座標位置に点を生成し、再構成点群に加える。
（５）第５に、近似表面合成部２０３０は、投影面上の当該ノード（長方形）内の各整数座標位置にそれぞれ配置した場合について、上述の（３）及び（４）の手順を繰り返す。
【0292】
このとき、法線ベクトルを配置する間隔は、１（すなわち、全ての整数座標位置）としてもよい。ここで間隔１が、取りうる最も小さな間隔である。図１６Ａの三角形から生成した再構成点群の例について、図１６Ｂに示す。
【0293】
近似表面合成部２０３０は、以上のようにして、当該Ｔｒｉｓｏｕｐノードに対する再構成点を生成した後、ステップＳ１３０１へ進み、次のＴｒｉｓｏｕｐノードの処理に進む。
【0294】
以上のように、ステップＳ７０６において、近似表面合成部２０３０は、再構成点群を生成した後、ステップＳ７０７へ進む。
【0295】
ステップＳ７０７において、近似表面合成部２０３０は、当該ｔｒｉｓｏｕｐ_ｄｅｐｔｈにおけるＴｒｉｓｏｕｐノードサイズが、最小Ｔｒｉｓｏｕｐノードサイズであるか否かを判定する。
【0296】
最小Ｔｒｉｓｏｕｐノードサイズである場合は、本動作は、ステップＳ７０１へ進む。そうでない場合、すなわち、当該ｔｒｉｓｏｕｐ_ｄｅｐｔｈにおけるＴｒｉｓｏｕｐノードサイズが、最小Ｔｒｉｓｏｕｐノードサイズより大きい場合、本動作は、ステップＳ７０８へ進む。
【0297】
ステップＳ７０８において、近似表面合成部２０３０は、ステップＳ７０５で復号したｔｒｉｓｏｕｐ_ｄｅｐｔｈにおけるＴｒｉｓｏｕｐノードサイズに対応する頂点に基づいて、最小Ｔｒｉｓｏｕｐノードサイズにおけるノードのセグメント上に頂点を内挿する。
【0298】
図１５は、ステップＳ７０８の処理の一例を示すフローチャートである。以下、図１５を用いて、ステップＳ７０８の処理例を説明する。なお、図１５の処理は、図１４の処理とほとんど共通しており、同一の処理には、同一の符号を付している。以下、図１４との差異のみを説明する。
【0299】
図１５に示すように、ステップＳ１４０２において、近似表面合成部２０３０は、当該Ｔｒｉｓｏｕｐノードの頂点を、「内挿された頂点」として保存する。
【0300】
具体的には、近似表面合成部２０３０は、ステップＳ１３０２で説明した手順（１）及び（２）まで実施した後の座標値をそのまま「内挿された頂点」として保存する。
【0301】
例えば、ステップＳ１３０２の例では、近似表面合成部２０３０は、（１４、９９．５、３１．５）という座標値を「内挿された頂点」として保存する。これは、セグメントの位置が整数座標位置から０.５ずれた位置にあるように定義しているためである。
【0302】
また、この値を整数として保持するために、近似表面合成部２０３０は、真の座標値を２倍にした値として保持してもよい。上述の例では、近似表面合成部２０３０は、（２８、１９９、６３）という値を「内挿された頂点」として保存してもよい。
【0303】
ステップＳ１４０５において、近似表面合成部２０３０は、ステップＳ１３０５の手順（２）において、法線ベクトルを配置する位置を、当該Ｔｒｉｓｏｕｐノードを最小Ｔｒｉｓｏｕｐノードサイズで分割した時のセグメントが存在する位置に配置するように変更する。
【0304】
ステップＳ１３０５の手順（３）と同様にして算出した交差する座標が、当該Ｔｒｉｓｏｕｐノードを最小Ｔｒｉｓｏｕｐノードサイズで分割した時のセグメント上にある場合、近似表面合成部２０３０は、かかる座標値を「内挿された頂点」として保存する。
【0305】
ステップＳ１４０２で座標値を２倍することで整数化した値を保存した場合は、近似表面合成部２０３０は、ステップＳ１４０５においても、上述の座標値を２倍した値を保存する。
【0306】
近似表面合成部２０３０は、以上の処理で生成した「内挿された頂点」を保存し、次のｔｒｉｓｏｕｐ_ｄｅｐｔｈにおけるステップＳ７０３で使用する。
【0307】
また、当該ｔｒｉｓｏｕｐ_ｄｅｐｔｈが０より大きい場合、すなわち、当該ｔｒｉｓｏｕｐ_ｄｅｐｔｈにおけるＴｒｉｓｏｕｐノードサイズが最大Ｔｒｉｓｏｕｐノードサイズではない場合、より大きなノードサイズに生成した「内挿された頂点」が存在するが、近似表面合成部２０３０は、これらの「内挿された頂点」の集合については削除せず、ステップＳ１４０２で新たに生成した「内挿された頂点」を、上述の集合に追加していく形で保存する。
【0308】
なお、図１６Ｃに示すように、近似表面合成部２０３０は、「内挿された頂点」については、当該Ｔｒｉｓｏｕｐノードの表面に存在するもののみを保存するようにしてもよい。
【0309】
なお、ここでは、便宜上、ステップＳ７０６及びステップＳ７０８について別々の処理として説明したが、両者は、共通部分が多いため、同時に実施されてもよい。
【0310】
例えば、近似表面合成部２０３０は、ステップＳ１３０２において、ステップＳ７０７の条件が満たされる場合は、ステップＳ１４０２も実施し、同様に、ステップＳ１３０５において、ステップＳ７０７の条件が満たされる場合は、ステップＳ１４０５も実施するようにしてもよい。
【0311】
ステップＳ７０９では、前記方法で生成した当該スライスにおける再構成点群をサブサンプリングする。図１７は、ステップＳ７０９の処理の一例を示すフローチャートである。以下、図１７を用いて、ステップＳ７０９の処理の一例を説明する。
【0312】
図１７に示すように、ステップＳ１７０１において、近似表面合成部２０３０は、再構成点群に含まれる再構成点をソートする。かかるソートは、事前に定めた方法で再構成点を並び替える処理である。
【0313】
例えば、近似表面合成部２０３０は、各点の座標値を基にソートしてもよい。また、例えば、近似表面合成部２０３０は、各点のｘ座標が小さい順にソートしてもよい。
【0314】
このとき、例えば、近似表面合成部２０３０は、ｘ座標が同一の点が複数存在する場合は、ｙ座標が小さい順にソートしてもよい。さらに、近似表面合成部２０３０は、ｘ座標とｙ座標が同一の点が複数存在する場合は、ｚ座標が小さい順にソートしてもよい。近似表面合成部２０３０は、かかるソートを行った後、ステップＳ１７０２へ進む。
【0315】
ステップＳ１７０２において、近似表面合成部２０３０は、図５で説明した再構成点のサブサンプリング間隔を制御するシンタックス（ｔｒｉｓｏｕｐ_ｓａｍｐｌｉｎｇ_ｖａｌｕｅ_ｍｉｎｕｓ１）、或いは、図６で説明したサブサンプリング後の最大点数を示す閾値（ｔｒｉｓｏｕｐ_ｓａｍｐｌｉｎｇ_ｔｈｒｅｓｈｏｌｄ）に基づいてサブサンプリング間隔Ｓを決定する。
【0316】
例えば、近似表面合成部２０３０は、再構成点のサブサンプリング間隔を制御するシンタックスの値そのものをＳとしてもよい。
【0317】
また、例えば、近似表面合成部２０３０は、再構成点のサブサンプリング間隔の最小値を１として、再構成点のサブサンプリング間隔を制御するシンタックスの値に１を加えたものをＳとしてもよい。
【0318】
次に、サブサンプリング後の最大点数を示す閾値を用いてＳを決定する方法の一例を説明する。
【0319】
ここで、近似表面合成部２０３０は、（サブサンプリング前の）再構成点群に含まれる点数をＮとしたとき、以下の関係を満たす最小の正の整数をＳと設定してもよい。このとき、Ｓの最小値は、１である。
【0320】
Ｎ/Ｓ≦ｔｒｉｓｏｕｐ_ｓａｍｐｌｉｎｇ_ｔｈｒｅｓｈｏｌｄ
或いは、近似表面合成部２０３０は、以下の式を変形して、以下の関係を満たす最小の正の整数をＳと設定してもよい。
或いは、近似表面合成部２０３０は、以下の式を変形して、以下の関係を満たす最小の正の整数をＳと設定してもよい。
【0321】
Ｎ≦Ｓ×ｔｒｉｓｏｕｐ_ｓａｍｐｌｉｎｇ_ｔｈｒｅｓｈｏｌｄ
以上のように、近似表面合成部２０３０は、サブサンプリング間隔Ｓを決定した後、ステップS１７０３へ進む。
以上のように、近似表面合成部２０３０は、サブサンプリング間隔Ｓを決定した後、ステップS１７０３へ進む。
【0322】
ステップＳ１７０３において、近似表面合成部２０３０は、サブサンプリングを行う。
【0323】
例えば、近似表面合成部２０３０は、ステップS１７０１でソートした順に各点にインデックスｉ（ｉ＝０、１、２、・・・、Ｎ-１）を付与したとき、ｉ％Ｓ＝０となる点のみを残し、それ以外の点を破棄することで、サブサンプリングしてもよい。ここで、％は、剰余を算出する演算子である。
【0324】
近似表面合成部２０３０は、サブサンプリングの完了後、ステップＳ１７０４進み、処理を終了する。
【0325】
以上のように、上述の構成によれば、一旦、細かい密度で点群を復号した後に、サブサンプリングすることで、任意の点数以下となる再構成点群を容易に生成できる。
【0326】
また、かかる構成によれば、点群符号化装置１００側から伝送されてきたシンタックスの値に基づいてサブサンプリング間隔Ｓを決定してサブサンプリングすることで、点群符号化装置１００側で異なるスライス間でのサブサンプリング密度等や主観品質を考慮して、上述のシンタックスの値を設定することができ、再構成点群の主観品質を制御できるという利点がある。
【0327】
近似表面合成部２０３０は、ステップＳ７０９のサブサンプリング処理が完了後、ステップＳ７１０へ進み、処理を終了する。
【0328】
以上のように、本実施形態における近似表面合成部２０３０は、所定サイズのノードごとに、当該ノードをＯｃｔｒｅｅによって再帰的に分割することで得られる子孫ノードにＴｒｉｓｏｕｐを適用するノードサイズを復号するように構成されていてもよい。
【0329】
また、以上のように、本実施形態における近似表面合成部２０３０は、Ｔｒｉｓｏｕｐノードを構成する各セグメントの頂点有無及び頂点位置を復号する際、空間的に隣接する復号済みセグメントの頂点有無及び頂点位置の情報を用いたコンテクスト適応復号を行うように構成されていてもよい。
【0330】
また、以上のように、本実施形態における近似表面合成部２０３０は、Ｔｒｉｓｏｕｐノードを構成する各セグメントの頂点有無及び頂点位置を復号する際、 空間的に隣接する復号済みセグメントのうち、当該Ｔｒｉｓｏｕｐノードと同一サイズのノードを構成するセグメントの頂点有無及び頂点位置の情報を用いたコンテクスト適応復号を行うように構成されていてもよい。
【0331】
このような構成とすることで、局所領域ごとに点群の特性に応じて適切なＴｒｉｓｏｕｐノードサイズを選択しつつ、局所領域内では同一サイズのＴｒｉｓｏｕｐノードが隣接するようになるため、空間方向の相関を活用することで符号化効率が向上する。
【0332】
なお、図８では、サブサンプリングをスライス単位で実施する場合を例に説明したが、かかるサブサンプリング処理をノードごとに実施してもよい。
【0333】
【0334】
図１８に示すように、近似表面合成部２０３０は、当該ノードについてＳ１３０２～Ｓ１３０５の処理を行って、当該ノードにおける再構成点群を生成する。
【0335】
その後、近似表面合成部２０３０は、当該ノードにおける再構成点群に対して、ステップＳ７０９のサブサンプリング処理を行う。
【0336】
基本的には、ステップＳ７０９の処理の説明における当該スライスの再構成点群を、当該ノードにおける再構成点群に置き換えることで、同様の処理が実現できる。
【0337】
ステップＳ１７０２におけるサブサンプリング間隔の決定においては、近似表面合成部２０３０は、サブサンプリング間隔を制御するシンタックス（ｔｒｉｓｏｕｐ_ｓａｍｐｌｉｎｇ_ｖａｌｕｅ_ｍｉｎｕｓ１）に基づいてサブサンプリング間隔Ｓを決定する。
【0338】
以上のように、本実施形態における点群復号装置２００は、サブサンプリング間隔に関するパラメータを復号する幾何情報復号部２０１０と、当該スライス又は当該ノードの再構成点群を生成し、上述のサブサンプリング間隔Sに関するパラメータに基づいてサブサンプリング間隔を決定し、かかるサブサンプリング間隔Sに基づいて当該スライス又は当該ノードの再構成点群をサブサンプリングする近似表面合成部２０３０を備えるように構成されていてもよい。
【0339】
このような構成とすることで、点群符号化装置１００側で再構成点群の主観品質を考慮したパラメータ設定が可能であり、かつ、再構成点群を任意の点数以下に抑えることができる。
【0340】
ここで、任意の点数とは、例えば、標準規格で規定される１スライス単位の再構成点数の上限であり、かかる標準規格を満たす装置間の相互接続性を担保す上で順守すべきものである。
【0341】
また、以上のように、本実施形態における近似表面合成部２０３０は、上述のスライス又は当該ノードの再構成点群を所定方法でソートし、ソートした順で再構成点群にインデックスを付与し、各点のインデックス値をサブサンプリング間隔で除した際の剰余が０になる点のみを保持し、その他の点を破棄することでサブサンプリングを行うように構成されていてもよい。
【0342】
このような構成とすることで、再構成点群から空間的に均等に点をサブサンプリングすることができるため、サブサンプリングによる主観画質の劣化を抑えることができる。
【0343】
また、以上のように、本実施形態における点群復号装置２００は、サブサンプリング間隔Ｓに関するパラメータとして、再構成点のサブサンプリング間隔を制御するシンタックスを復号し、近似表面合成部２０３０は、かかる再構成点のサブサンプリング間隔Ｓを制御するシンタックスの値或いは再構成点のサブサンプリング間隔Ｓを制御するシンタックスの値に１を加えた値をサブサンプリング間隔Ｓとし、サブサンプリングを行うように構成されていてもよい。
【0344】
このような構成とすることで、点群復号装置２００は、サブサンプリング間隔Ｓの導出に係る演算を省略することができる。
【0345】
また、以上のように、本実施形態における点群復号装置２００は、サブサンプリング間隔Ｓに関するパラメータとして、サブサンプリング後の最大点数を示す閾値を復号し、近似表面合成部２０３０は、サブサンプリング後の最大点数を示す閾値に正の整数Ｓを乗じた際、当該スライスの再構成点群の点数以上となる最小のＳの値をサブサンプリング間隔とし、サブサンプリングを行うように構成されていてもよい。
【0346】
このような構成とすることで、点群復号装置２００は、明示的に再構成点群を何点以下にすればよいかがわかるため、動作検証が容易になる。
【0347】
以上では、異なるサイズのＴｒｉｓｏｕｐノード境界において、図８を用いて大きなノードサイズにおける頂点から小さいノードサイズの頂点を内挿する場合の例を説明したが、逆に小さなノードサイズにおける頂点を用いて大きなノードサイズの頂点を置き換えてもよい。
【0348】
図１９及び図２０を用いて、異なるサイズのＴｒｉｓｏｕｐノード境界において、小さなノードサイズにおける頂点を用いて大きなノードサイズの頂点を置き換える場合の処理の一例について説明する。なお、図８と同様な処理については同一の符号を付与し、説明を省略する。
【0349】
図１９に示すように、ステップＳ７２１において、近似表面合成部２０３０は、最小ノードサイズにおける頂点を内挿する。
【0350】
ここで、基本的な内挿方法は、図８のステップＳ７０８及び図１５、図１６で説明した方法と同一である。唯一の違いは、ステップＳ７０８では、図１６Ｃに示すように、元のノードの表面にのみ内挿した頂点を生成していたが、ステップＳ７２１では、図２０に示すように、元のノードの内部についても、内挿した頂点を生成する点である。
【0351】
このようにして、近似表面合成部２０３０は、元のＴｒｉｓｏｕｐノードサイズに依らず、最小Ｔｒｉｓｏｕｐノードサイズ単位での頂点を生成する。
【0352】
ステップＳ７２２において、近似表面合成部２０３０は、頂点の統合を行う。ここでは、ステップＳ７２１によって内挿された最小ノードサイズの各セグメントにおける頂点及び最小Ｔｒｉｓｏｕｐノードサイズにおいて復号された頂点を入力とする。
【0353】
このとき、隣接ノード間でノードサイズが異なる場合、ある一つのセグメントに対して大きなノードサイズから内挿した複数の頂点及び最小Ｔｒｉｓｏｕｐノードサイズにおいて復号した頂点が存在する場合がある。
【0354】
例えば、近似表面合成部２０３０は、これらの頂点から、セグメントごとに１点のみを残し、他を破棄することで頂点を統合できる。
【0355】
具体的には、例えば、近似表面合成部２０３０は、複数の頂点が存在した場合、その中で最も小さなＴｒｉｓｏｕｐノードサイズから生成された頂点のみを残すことで、統合が可能である。
【0356】
以上のように、近似表面合成部２０３０は、各セグメントについて頂点を１つに統合した後、ステップＳ７２３の再構成点群の生成処理に進む。
【0357】
ステップＳ７２３において、近似表面合成部２０３０は、ステップＳ７２２で統合した頂点に基づいて、再構成点群を生成する。
【0358】
このとき、ステップＳ７２１及びステップＳ７２２によって、Ｔｒｉｓｏｕｐの頂点は、最小Ｔｒｉｓｏｕｐノードサイズにおける各セグメントに対応する形になっているため、最小Ｔｒｉｓｏｕｐノードサイズにおいて図１４の処理を行うことでスライス全体の再構成点群を生成できる。
【0359】
【0360】
図２１に示すように、点群符号化装置１００は、座標変換部１０１０と、幾何情報量子化部１０２０と、ツリー解析部１０３０と、近似表面解析部１０４０と、幾何情報符号化部１０５０と、幾何情報再構成部１０６０と、色変換部１０７０と、属性転移部１０８０と、ＲＡＨＴ部１０９０と、ＬｏＤ算出部１１００と、リフティング部１１１０と、属性情報量子化部１１２０と、属性情報符号化部１１３０とを有する。
【0361】
座標変換部１０１０は、入力点群の３次元座標系から、任意の異なる座標系への変換処理を行うよう構成されている。座標変換は、例えば、入力点群を回転することにより、入力点群のｘ、ｙ、ｚ座標を任意のs、ｔ、ｕ座標に変換してもよい。また、変換のバリエーションの１つとして、入力点群の座標系をそのまま使用してもよい。
【0362】
幾何情報量子化部１０２０は、座標変換後の入力点群の位置情報の量子化及び座標が重複する点の除去を行うように構成されている。なお、量子化ステップサイズが１の場合は、入力点群の位置情報と量子化後の位置情報とが一致する。すなわち、量子化ステップサイズが１の場合は、量子化を行わない場合と等価になる。
【0363】
ツリー解析部１０３０は、量子化後の点群の位置情報を入力として、後述のツリー構造に基づいて、符号化対象空間のどのノードに点が存在するかについて示すｏｃｃｕｐａｎｃｙ ｃｏｄｅを生成するように構成されている。
【0364】
ツリー解析部１０３０は、本処理において、符号化対象空間を再帰的に直方体で区切ることにより、ツリー構造を生成するように構成されている。
【0365】
ここで、ある直方体内に点が存在する場合、かかる直方体を複数の直方体に分割する処理を、直方体が所定のサイズになるまで再帰的に実行することでツリー構造を生成することができる。なお、かかる各直方体をノードと呼ぶ。また、ノードを分割して生成される各直方体を子ノードと呼び、子ノード内に点が含まれるか否かについて０又は１で表現したものがｏｃｃｕｐａｎｃｙ ｃｏｄｅである。
【0366】
以上のように、ツリー解析部１０３０は、所定のサイズになるまでノードを再帰的に分割しながら、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを生成するように構成されている。
【0367】
本実施形態では、上述の直方体を常に立方体として８分木分割を再帰的に行う「Ｏｃｔｒｅｅ」と呼ばれる手法、及び、８分木分割に加え、４分木分割及び２分木分割を行う「ＱｔＢｔ」と呼ばれる手法を使用することができる。
【0368】
ここで、「ＱｔＢｔ」を使用するか否かについては、制御データとして点群復号装置２００に伝送される。
【0369】
或いは、任意のツリー構成を用いるＰｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを使用するように指定されてもよい。かかる場合、ツリー解析部１０３０が、ツリー構造を決定し、決定されたツリー構造は、制御データとして点群復号装置２００へ伝送される。
【0370】
例えば、ツリー構造の制御データは、図６で説明した手順で復号できるよう構成されていてもよい。
【0371】
近似表面解析部１０４０は、ツリー解析部１０３０によって生成されたツリー情報を用いて、近似表面情報を生成するように構成されている。
【0372】
近似表面情報は、例えば、物体の３次元点群データを復号する際等において、点群が物体表面に密に分布しているような場合に、個々の点群を復号するのではなく、点群の存在領域を小さな平面で近似して表現したものである。
【0373】
具体的には、近似表面解析部１０４０は、例えば、「Ｔｒｉｓｏｕｐ」と呼ばれる手法で、近似表面情報を生成するように構成されていてもよい。また、Ｌｉｄａｒ等で取得した疎な点群を復号する場合は、本処理を省略することができる。
【0374】
幾何情報符号化部１０５０は、ツリー解析部１０３０によって生成されたｏｃｃｕｐａｎｃｙ ｃｏｄｅ及び近似表面解析部１０４０によって生成された近似表面情報等のシンタックスを符号化してビットストリーム（幾何情報ビットストリーム）を生成するように構成されている。ここで、ビットストリームには、例えば、図４及び図５で説明したシンタックスを含まれていてもよい。
【0375】
符号化処理は、例えば、コンテクスト適応二値算術符号化処理である。ここで、例えば、シンタックスは、位置情報の復号処理を制御するための制御データ（フラグやパラメータ）を含む。
【0376】
幾何情報再構成部１０６０は、ツリー解析部１０３０によって生成されたツリー情報及び近似表面解析部１０４０によって生成された近似表面情報に基づいて、符号化対象の点群データの各点の幾何情報（符号化処理が仮定している座標系、すなわち、座標変換部１０１０における座標変換後の位置情報）を再構成するように構成されている。
【0377】
色変換部１０７０は、入力の属性情報が色情報であった場合に、色変換を行うように構成されている。色変換は、必ずしも実行する必要は無く、色変換処理の実行の有無については、制御データの一部として符号化され、点群復号装置２００へ伝送される。
【0378】
属性転移部１０８０は、入力点群の位置情報、幾何情報再構成部１０６０における再構成後の点群の位置情報及び色変換部１０７０での色変化後の属性情報に基づいて、属性情報の歪みが最小となるように属性値を補正するように構成されている。
【0379】
ＲＡＨＴ部１０９０は、属性転移部１０８０による転移後の属性情報及び幾何情報再構成部１０６０によって生成された幾何情報を入力とし、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）と呼ばれるＨａａｒ変換の一種を用いて、各点の残差情報を生成するように構成されている。ＲＡＨＴの具体的な処理としては、例えば、上述の文献２に記載の方法を用いることができる。
【0380】
ＬｏＤ算出部１１００は、幾何情報再構成部１０６０によって生成された幾何情報を入力とし、ＬｏＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するように構成されている。
【0381】
ＬｏＤは、ある点の属性情報から、他のある点の属性情報を予測し、予測残差を符号化或いは復号するといった予測符号化を実現するための参照関係（参照する点及び参照される点）を定義するための情報である。
【0382】
言い換えると、ＬｏＤは、幾何情報に含まれる各点を複数のレベルに分類し、下位のレベルに属する点については上位のレベルに属する点の属性情報を用いて属性を符号化或いは復号するといった階層構造を定義した情報である。
【0383】
ＬｏＤの具体的な決定方法としては、例えば、上述の文献２に記載の方法を用いてもよい。
【0384】
リフティング部１１１０は、ＬｏＤ算出部１１００によって生成されたＬｏＤ及び属性転移部１０８０での属性転移後の属性情報を用いて、リフティング処理により残差情報を生成するように構成されている。
【0385】
リフティングの具体的な処理としては、例えば、文献（Ｔｅｘｔ ｏｆ ＩＳＯ/ＩＥＣ ２３０９０-９ ＤＩＳ Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ＰＣＣ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１ Ｎ１９０８８）に記載の方法を用いてもよい。
【0386】
属性情報量子化部１１２０は、ＲＡＨＴ部１０９０又はリフティング部１１１０から出力される残差情報を量子化するように構成されている。ここで、量子化ステップサイズが１の場合は、量子化を行わない場合と等価である。
【0387】
属性情報符号化部１１３０は、属性情報量子化部１１２０から出力される量子化後の残差情報等をシンタックスとして符号化処理を行い、属性情報に関するビットストリーム（属性情報ビットストリーム）を生成するように構成されている。
【0388】
符号化処理は、例えば、コンテクスト適応二値算術符号化処理である。ここで、例えば、シンタックスは、属性情報の復号処理を制御するための制御データ（フラグ及びパラメータ）を含む。
【0389】
点群符号化装置１００は、以上の処理により、点群内の各点の位置情報及び属性情報を入力として符号化処理を行い、幾何情報ビットストリーム及び属性情報ビットストリームを出力するように構成されている。
【0390】
また、上述の点群符号化装置１００及び点群復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。
【0391】
なお、上記の各実施形態では、本発明を点群符号化装置１００及び点群復号装置２００への適用を例にして説明したが、本発明は、かかる例のみに限定されるものではなく、点群符号化装置１００及び点群復号装置２００の各機能を備えた点群符号化/復号システムにも同様に適用できる。
【産業上の利用可能性】
【0392】
なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
【符号の説明】
【0393】
１０…点群処理システム
１００…点群符号化装置
１０１０…座標変換部
１０２０…幾何情報量子化部
１０３０…ツリー解析部
１０４０…近似表面解析部
１０５０…幾何情報符号化部
１０６０…幾何情報再構成部
１０７０…色変換部
１０８０…属性転移部
１０９０…ＲＡＨＴ部
１１００…ＬｏＤ算出部
１１１０…リフティング部
１１２０…属性情報量子化部
１１３０…属性情報符号化部
２００…点群復号装置
２０１０…幾何情報復号部
２０２０…ツリー合成部
２０３０…近似表面合成部
２０４０…幾何情報再構成部
２０５０…逆座標変換部
２０６０…属性情報復号部
２０７０…逆量子化部
２０８０…ＲＡＨＴ部
２０９０…ＬｏＤ算出部
２１００…逆リフティング部
２１１０…逆色変換部
１００…点群符号化装置
１０１０…座標変換部
１０２０…幾何情報量子化部
１０３０…ツリー解析部
１０４０…近似表面解析部
１０５０…幾何情報符号化部
１０６０…幾何情報再構成部
１０７０…色変換部
１０８０…属性転移部
１０９０…ＲＡＨＴ部
１１００…ＬｏＤ算出部
１１１０…リフティング部
１１２０…属性情報量子化部
１１３０…属性情報符号化部
２００…点群復号装置
２０１０…幾何情報復号部
２０２０…ツリー合成部
２０３０…近似表面合成部
２０４０…幾何情報再構成部
２０５０…逆座標変換部
２０６０…属性情報復号部
２０７０…逆量子化部
２０８０…ＲＡＨＴ部
２０９０…ＬｏＤ算出部
２１００…逆リフティング部
２１１０…逆色変換部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図16C】
【図17】
【図18】
【図19】
【図20】
【図21】
