(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-17
(45)【発行日】2024-10-25
(54)【発明の名称】点群復号装置、点群復号方法及びプログラム
(51)【国際特許分類】
G06T 9/00 20060101AFI20241018BHJP
H04N 19/597 20140101ALI20241018BHJP
【ＦＩ】
G06T9/00
H04N19/597
【請求項の数】
3
(21)【出願番号】P 2022001468
(22)【出願日】2022-01-07
(65)【公開番号】P2023101094
(43)【公開日】2023-07-20
【審査請求日】2024-01-26
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和元年度、総務省、「多様な用途、環境下での高精細映像の活用に資する次世代映像伝送・通信技術の研究開発」委託事業、産業技術力強化法第１７条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】110001564
【氏名又は名称】フェリシテ弁理士法人
(72)【発明者】
【氏名】海野 恭平
(72)【発明者】
【氏名】河村 圭
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第２０２１／２６１１４２（ＷＯ，Ａ１）
【文献】国際公開第２０２１／２５６４８６（ＷＯ，Ａ１）
【文献】Antoine Dricot, and Joao Ascenso，Adaptive Multi-level Triangle Soup for Geometry-based Point Cloud Coding，2019 IEEE 21st International Workshop on Multimedia Signal Processing (MMSP)，IEEE，2019年09月，pp.1-6
【文献】Chaofei Wang, et al.，Point-Voting based Point Cloud Geometry Compression，2021 IEEE 23rd International Workshop on Multimedia Signal Processing (MMSP)，IEEE，2021年10月，pp.1-5
【文献】Khaled Mammou, Philip A. Chou, David Flynn, Maja Krivokuca, Ohji Nakagami and Toshiyasu Sugio，G-PCC codec description v2，CODING OF MOVING PICTURES AND AUDIO，INTERNATIONAL ORGANISATION FOR STANDARDISATION，2019年01月，pp.2-3,17-19
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ９／００ － ９／４０
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
点群復号装置であって、複数の投影面候補の中から、ノードの各辺上に存在する複数の頂点を前記投影面候補の各々に投影した際に前記頂点で定義される多角形の面積が最大となる投影面を、投影面として選択するように構成されている近似表面合成部を備えることを特徴とする点群復号装置。
【請求項2】
点群復号方法であって、
複数の投影面候補の中から、ノードの各辺上に存在する複数の頂点を前記投影面候補の各々に投影した際に前記頂点で定義される多角形の面積が最大となる投影面を、投影面として選択する工程を備えることを特徴とする点群復号方法。
【請求項3】
コンピュータを、点群復号装置として機能させるプログラムであって、
前記点群復号装置は、複数の投影面候補の中から、ノードの各辺上に存在する複数の頂点を前記投影面候補の各々に投影した際に前記頂点で定義される多角形の面積が最大となる投影面を、投影面として選択するように構成されている近似表面合成部を備えることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、点群復号装置、点群復号方法及びプログラムに関する。
【背景技術】
【0002】
非特許文献１では、Ｔｒｉｓｏｕｐにおいて、ノードに属する頂点座標の一次元的な広がりを評価することで投影面を決定する技術が開示されている。
【先行技術文献】
【非特許文献】
【0003】
【文献】Ｇ-ＰＣＣ Ｆｕｔｕｒｅ Ｅｎｈａｎｃｅｍｅｎｔ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１ Ｎ１９３２８
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、非特許文献１の方法では、頂点を投影面に投影した際の座標の２次元的な広がりを考慮できていないため、適切な投影面が選択できず、復号点群の主観画質が損なわれることがあるという問題点があった。
【0005】
そこで、本発明は、上述の課題に鑑みてなされたものであり、復号点群の主観画質を向上させることができる点群復号装置、点群復号方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第１の特徴は、点群復号装置であって、複数の投影面候補の中から、ノードの各辺上に存在する複数の頂点を前記投影面候補の各々に投影した際に前記頂点で定義される多角形の面積が最大となる投影面を、投影面として選択するように構成されている近似表面合成部を備えることを要旨とする。
【0007】
本発明の第２の特徴は、点群復号装置であって、ノードの各辺を三次元座標のどの座標軸と平行かどうかで分類し、各座標軸に分類された辺上の頂点の数を用いて、複数の投影面候補の中から投影面を決定するように構成されている近似表面合成部を備えることを要旨とする。
【0008】
本発明の第３の特徴は、点群復号方法であって、複数の投影面候補の中から、ノードの各辺上に存在する複数の頂点を前記投影面候補の各々に投影した際に前記頂点で定義される多角形の面積が最大となる投影面を、投影面として選択する工程を備えることを要旨とする。
【0009】
本発明の第４の特徴は、コンピュータを、点群復号装置として機能させるプログラムであって、前記点群復号装置は、複数の投影面候補の中から、ノードの各辺上に存在する複数の頂点を前記投影面候補の各々に投影した際に前記頂点で定義される多角形の面積が最大となる投影面を、投影面として選択するように構成されている近似表面合成部を備えることを要旨とする。
【発明の効果】
【0010】
本発明によれば、復号点群の主観画質を向上させることができる点群復号装置、点群復号方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【0013】
【0014】
図１に示すように、点群処理システム１０は、点群符号化装置１００及び点群復号装置２００を有する。
【0015】
点群符号化装置１００は、入力点群信号を符号化することによって符号化データ（ビットストリーム）を生成するように構成されている。点群復号装置２００は、ビットストリームを復号することによって出力点群信号を生成するように構成されている。
【0016】
なお、入力点群信号及び出力点群信号は、点群内の各点の位置情報と属性情報とから構成される。属性情報は、例えば、各点の色情報や反射率である。
【0017】
ここで、かかるビットストリームは、点群符号化装置１００から点群復号装置２００に対して伝送路を介して送信されてもよい。また、ビットストリームは、記憶媒体に格納された上で、点群符号化装置１００から点群復号装置２００に提供されてもよい。
【0018】
【0019】
図２に示すように、点群復号装置２００は、幾何情報復号部２０１０と、ツリー合成部２０２０と、近似表面合成部２０３０と、幾何情報再構成部２０４０と、逆座標変換部２０５０と、属性情報復号部２０６０と、逆量子化部２０７０と、ＲＡＨＴ部２０８０と、ＬｏＤ算出部２０９０と、逆リフティング部２１００と、逆色変換部２１１０と、フレームバッファ２１２０とを有する。
【0020】
幾何情報復号部２０１０は、点群符号化装置１００から出力されるビットストリームのうち、幾何情報に関するビットストリーム（幾何情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。
【0021】
復号処理は、例えば、コンテクスト適応二値算術復号処理である。ここで、例えば、シンタックスは、位置情報の復号処理を制御するための制御データ（フラグやパラメータ）を含む。
【0022】
ツリー合成部２０２０は、幾何情報復号部２０１０によって復号された制御データ及び後述するツリー内のどのノードに点群が存在するかを示すｏｃｃｕｐａｎｃｙ ｃｏｄｅを入力として、復号対象空間内のどの領域に点が存在するかというツリー情報を生成するように構成されている。
【0023】
なお、ｏｃｃｕｐａｎｃｙ ｃｏｄｅの復号処理をツリー合成部２０２０内部で行うよう構成されていてもよい。
【0024】
本処理は、復号対象空間を直方体で区切り、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照して各直方体内に点が存在するかを判断し、点が存在する直方体を複数の直方体に分割し、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照するという処理を再帰的に繰り返すことで、ツリー情報を生成することができる。
【0025】
ここで、かかるｏｃｃｕｐａｎｃｙ ｃｏｄｅの復号に際して、後述するインター予測を用いてもよい。
【0026】
本実施形態では、上述の直方体を常に立方体として８分木分割を再帰的に行う「Ｏｃｔｒｅｅ」と呼ばれる手法、及び、８分木分割に加え、４分木分割及び２分木分割を行う「ＱｔＢｔ」と呼ばれる手法を使用することができる。ＱｔＢｔ」を使用するか否かは、制御データとして点群符号化装置１００側から伝送される。
【0027】
或いは、制御データによってＰｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを使用するように指定された場合、ツリー合成部２０２０は、点群符号化装置１００において決定した任意のツリー構成に基づいて各点の座標を復号するように構成されている。
【0028】
近似表面合成部２０３０は、ツリー合成部２０２０によって生成されたツリー情報を用いて近似表面情報を生成し、かかる近似表面情報に基づいて点群を復号するように構成されている。
【0029】
近似表面情報は、例えば、物体の３次元点群データを復号する際等において、点群が物体表面に密に分布しているような場合に、個々の点群を復号するのではなく、点群の存在領域を小さな平面で近似して表現したものである。
【0030】
具体的には、近似表面合成部２０３０は、例えば、「Ｔｒｉｓｏｕｐ」と呼ばれる手法で、近似表面情報を生成し、点群を復号することができる。「Ｔｒｉｓｏｕｐ」の具体的な処理例については後述する。また、Ｌｉｄａｒ等で取得した疎な点群を復号する場合は、本処理を省略することができる。
【0031】
幾何情報再構成部２０４０は、ツリー合成部２０２０によって生成されたツリー情報及び近似表面合成部２０３０によって生成された近似表面情報を元に、復号対象の点群データの各点の幾何情報（復号処理が仮定している座標系における位置情報）を再構成するように構成されている。
【0032】
逆座標変換部２０５０は、幾何情報再構成部２０４０によって再構成された幾何情報を入力として、復号処理が仮定している座標系から、出力点群信号の座標系に変換を行い、位置情報を出力するように構成されている。
【0033】
フレームバッファ２１２０は、幾何情報再構成部２０４０によって再構成された幾何情報を入力として、参照フレームとして保存するように構成されている。保存した参照フレームは、ツリー合成部２０２０において時間的に異なるフレームのインター予測を行う場合に、フレームバッファ２１２０から読み出されて参照フレームとして使用される。
【0034】
ここで、各フレームに対してどの時刻の参照フレームを用いるかどうかは、例えば、点群符号化装置１００からビットストリームとして伝送されてくる制御データに基づいて決定されてもよい。
【0035】
属性情報復号部２０６０は、点群符号化装置１００から出力されるビットストリームのうち、属性情報に関するビットストリーム（属性情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。
【0036】
復号処理は、例えば、コンテクスト適応二値算術復号処理である。ここで、例えば、シンタックスは、属性情報の復号処理を制御するための制御データ（フラグ及びパラメータ）を含む。
【0037】
また、属性情報復号部２０６０は、復号したシンタックスから、量子化済み残差情報を復号するように構成されている。
【0038】
逆量子化部２０７０は、属性情報復号部２０６０によって復号された量子化済み残差情報と、属性情報復号部２０６０によって復号された制御データの一つである量子化パラメータとを元に、逆量子化処理を行い、逆量子化済み残差情報を生成するように構成されている。
【0039】
逆量子化済み残差情報は、復号対象の点群の特徴に応じて、ＲＡＨＴ部２０８０及びＬｏＤ算出部２０９０のいずれかに出力される。いずれに出力されるかは、属性情報復号部２０６０によって復号される制御データによって指定される。
【0040】
ＲＡＨＴ部２０８０は、逆量子化部２０７０によって生成された逆量子化済み残差情報及び幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）と呼ばれるＨａａｒ変換（復号処理においては、逆Ｈａａｒ変換）の一種を用いて、各点の属性情報を復号するように構成されている。ＲＡＨＴの具体的な処理としては、例えば、文献１（［ＰＣＣ］Ａｎ ｅｘｐｌｏｒａｔｏｒｙ ｍｏｄｅｌ ｆｏｒ ｉｎｔｅｒ ｇｅｏｍｅｔｒｙ-ｂａｓｅｄ ＰＣＣ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１ ｍ４４７５４）に記載の方法を用いることができる。
【0041】
ＬｏＤ算出部２０９０は、幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＬｏＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するように構成されている。
【0042】
ＬｏＤは、ある点の属性情報から、他のある点の属性情報を予測し、予測残差を符号化或いは復号するといった予測符号化を実現するための参照関係（参照する点及び参照される点）を定義するための情報である。
【0043】
言い換えると、ＬｏＤは、幾何情報に含まれる各点を複数のレベルに分類し、下位のレベルに属する点については上位のレベルに属する点の属性情報を用いて属性を符号化或いは復号するといった階層構造を定義した情報である。
【0044】
ＬｏＤの具体的な決定方法としては、例えば、上述の文献１に記載の方法を用いてもよい。
【0045】
逆リフティング部２１００は、ＬｏＤ算出部２０９０によって生成されたＬｏＤ及び逆量子化部２０７０によって生成された逆量子化済み残差情報を用いて、ＬｏＤで規定した階層構造に基づいて各点の属性情報を復号するように構成されている。逆リフティングの具体的な処理としては、例えば、上述の文献１に記載の方法を用いることができる。
【0046】
逆色変換部２１１０は、復号対象の属性情報が色情報であり且つ点群符号化装置１００側で色変換が行われていた場合に、ＲＡＨＴ部２０８０又は逆リフティング部２１００から出力される属性情報に逆色変換処理を行うように構成されている。かかる逆色変換処理の実行の有無については、属性情報復号部２０６０によって復号された制御データによって決定される。
【0047】
点群復号装置２００は、以上の処理により、点群内の各点の属性情報を復号して出力するように構成されている。
【0048】
【0049】
図３は、幾何情報復号部２０１０で受信する符号化データ（ビットストリーム）の構成の一例である。
【0050】
第１に、ビットストリームは、ＧＰＳ２０１１を含んでいてもよい。ＧＰＳ２０１１は、ジオメトリパラメータセットとも呼ばれ、幾何情報の復号に関する制御データの集合である。具体例については後述する。各ＧＰＳ２０１１は、複数のＧＰＳ２０１１が存在する場合に個々を識別するためのＧＰＳ ｉｄ情報を少なくとも含む。
【0051】
第２に、ビットストリームは、ＧＳＨ２０１２Ａ/２０１２Ｂを含んでいてもよい。ＧＳＨ２０１２Ａ/２０１２Ｂは、ジオメトリスライスヘッダ或いはジオメトリデータユニットヘッダとも呼ばれ、後述するスライスに対応する制御データの集合である。以降では、スライスという呼称を用いて説明するが、スライスをデータユニットと読み替えることもできる。具体例については後述する。ＧＳＨ２０１２Ａ/２０１２Ｂは、各ＧＳＨ２０１２Ａ/２０１２Ｂに対応するＧＰＳ２０１１を指定するためのＧＰＳ ｉｄ情報を少なくとも含む。
【0052】
第３に、ビットストリームは、ＧＳＨ２０１２Ａ/２０１２Ｂの次に、スライスデータ２０１３Ａ/２０１３Ｂを含んでいてもよい。スライスデータ２０１３Ａ/２０１３Ｂには、幾何情報を符号化したデータが含まれている。スライスデータ２０１３Ａ/２０１３Ｂの一例としては、後述するｏｃｃｕｐａｎｃｙ ｃｏｄｅが挙げられる。
【0053】
以上のように、ビットストリームは、各スライスデータ２０１３Ａ/２０１３Ｂに、１つずつＧＳＨ２０１２Ａ/２０１２Ｂ及びＧＰＳ２０１１が対応する構成となる。
【0054】
上述のように、ＧＳＨ２０１２Ａ/２０１２Ｂにて、どのＧＰＳ２０１１を参照するかをＧＰＳ ｉｄ情報で指定するため、複数のスライスデータ２０１３Ａ/２０１３Ｂに対して共通のＧＰＳ２０１１を用いることができる。
【0055】
言い換えると、ＧＰＳ２０１１は、スライスごとに必ずしも伝送する必要がない。例えば、図３のように、ＧＳＨ２０１２Ｂ及びスライスデータ２０１３Ｂの直前では、ＧＰＳ２０１１を符号化しないようなビットストリームの構成とすることもできる。
【0056】
なお、図３の構成は、あくまで一例である。各スライスデータ２０１３Ａ/２０１３Ｂに、ＧＳＨ２０１２Ａ/２０１２Ｂ及びＧＰＳ２０１１が対応する構成となっていれば、ビットストリームの構成要素として、上述以外の要素が追加されてもよい。
【0057】
例えば、図３に示すように、ビットストリームは、シーケンスパラメータセット（ＳＰＳ）２００１を含んでいてもよい。また、同様に、伝送に際して、図３と異なる構成に整形されてもよい。更に、後述する属性情報復号部２０６０で復号されるビットストリームと合成して単一のビットストリームとして伝送されてもよい。
【0058】
図４は、ＧＰＳ２０１１のシンタックス構成の一例である。
【0059】
なお、以下で説明するシンタックス名は、あくまで一例である。以下で説明したシンタックスの機能が同様であれば、シンタックス名は異なっていても差し支えない。
【0060】
ＧＰＳ２０１１は、各ＧＰＳ２０１１を識別するためのＧＰＳ ｉｄ情報（ｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を含んでもよい。
【0061】
なお、図４のＤｅｓｃｒｉｐｔｏｒ欄は、各シンタックスが、どのように符号化されているかを意味している。ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（１）は、１ビットのフラグであることを意味する。
【0062】
ＧＰＳ２０１１は、ツリー合成部２０２０でインター予測を行うか否かを制御するフラグ（ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。
【0063】
例えば、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時はインター予測を行わないと定義し、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時はインター予測を行うと定義してもよい。
【0064】
なお、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇは、ＧＰＳ２０１１ではなくＳＰＳ２００１に含んでいてもよい。
【0065】
ＧＰＳ２０１１は、近似表面合成部２０３０でＴｒｉｓｏｕｐを使用するか否かを制御するフラグ（ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。
【0066】
例えば、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時はＴｒｉｓｏｕｐを使用しないと定義し、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時はＴｒｉｓｏｕｐを使用すると定義してもよい。
【0067】
幾何情報復号部２０２０は、Ｔｒｉｓｏｕｐを使用するとき、すなわち、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時、追加で以下のシンタックスを復号するように構成されていてもよい。
【0068】
なお、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇは、ＧＰＳ２０１１ではなくＳＰＳ２００１に含まれていてもよい。
【0069】
ＧＰＳ２０１１は、複数レベルでのＴｒｉｓｏｕｐを許可するか否かを制御するフラグ（ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇ、第１フラグ）を含んでもよい。
【0070】
例えば、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時は複数レベルでのＴｒｉｓｏｕｐを許可しない、すなわち、単一のレベルでのＴｒｉｓｏｕｐを行うと定義し、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時は複数レベルでのＴｒｉｓｏｕｐを許可すると定義してもよい。
【0071】
なお、当該シンタックスがＧＰＳ２０１１に含まれない場合、当該シンタックスの値を単一のレベルでのＴｒｉｓｏｕｐを行う場合の値、すなわち、「０」とみなしてよい。
【0072】
なお、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇは、ＧＰＳ２０１１ではなくＳＰＳ２００１に含まれるよう定義してもよい。この場合、ＳＰＳ２００１にｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇが含まれていない場合、当該シンタックスの値を単一のレベルでのＴｒｉｓｏｕｐを行う場合の値、すなわち、「０」とみなしてよい。
【0073】
図５は、ＧＳＨ２０１２のシンタックス構成の一例である。なお、前述の通り、ＧＳＨは、ＧＤＵＨ（Ｇｅｏｍｅｔｒｙ Ｄａｔａ Ｕｎｉｔ Ｈｅａｄｅｒ）とも呼ばれる。
【0074】
幾何情報復号部２０２０は、複数レベルでのＴｒｉｓｏｕｐを許可するとき、すなわち、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時、追加で以下のシンタックスを復号するように構成されていてもよい。
【0075】
ＧＳＨ２０１２は、複数レベルでのＴｒｉｓｏｕｐを許可するとき、Ｔｒｉｓｏｕｐノードサイズの最大値を規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２）を含んでもよい。
【0076】
当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズの最大値について、２を底とする対数に変換した値として表現されていてもよい。更に、当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズの最大値について、２を底とする対数に変換した後に２を引いた後の値として表現されていてもよい。
【0077】
ＧＳＨ２０１２は、複数レベルでのＴｒｉｓｏｕｐを許可するとき、Ｔｒｉｓｏｕｐノードサイズの最小値を規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２）を含んでもよい。
【0078】
当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズの最小値について、２を底とする対数に変換した値として表現されていてもよい。更に、当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズの最小値について、２を底とする対数に変換した後に２を引いた後の値として表現されていてもよい。
【0079】
また、当該シンタックスの値は、必ず０以上且つｌｏｇ２_ｔｒｉｓｏｕｐ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２以下となるように制約されていてもよい。
【0080】
また、この時、図５に示すようにｔｒｉｓｏｕｐ_ｄｅｐｔｈをｔｒｉｓｏｕｐ_ｄｅｐｔｈ＝ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２－ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２＋１と定義してもよい。
【0081】
幾何情報復号部２０２０は、複数レベルでのＴｒｉｓｏｕｐを許可しないとき、すなわち、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時、追加で以下のシンタックスを復号するように構成されていてもよい。
【0082】
ＧＳＨ２０１２は、複数レベルでのＴｒｉｓｏｕｐを許可しないとき、かつ、Ｔｒｉｓｏｕｐを使用するとき、Ｔｒｉｓｏｕｐノードサイズを規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２）を含んでもよい。
【0083】
当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズについて、２を底とする対数に変換した値として表現されていてもよい。更に、当該シンタックスは、実際のＴｒｉｓｏｕｐノードサイズについて、２を底とする対数に変換した後に２を引いた後の値として表現されていてもよい。
【0084】
また、この時、図５に示すようにｔｒｉｓｏｕｐ_ｄｅｐｔｈをｔｒｉｓｏｕｐ_ｄｅｐｔｈ＝１と定義してもよい。
【0085】
ＧＳＨ２０１２は、Ｔｒｉｓｏｕｐを使用するとき、復号点のサンプリング間隔を制御するシンタックス（ｔｒｉｓｏｕｐ_ｓａｍｐｌｉｎｇ_ｖａｌｕｅ_ｍｉｎｕｓ１）を含んでもよい。当該シンタックスの具体的な定義は、例えば、上述の文献１に記載の定義と同様とすることができる。
【0086】
ＧＳＨ２０１２は、Ｔｒｉｓｏｕｐを使用するとき、かつ、複数レベルでのＴｒｉｓｏｕｐを許可するとき、階層ｉ（ｉ＝０，．．．，ｔｒｉｓｏｕｐ_ｄｅｐｔｈ－１）ごとにユニークセグメントが対象階層に存在するか否かを示すフラグ（ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｅｘｉｓｔ_ｆｌａｇ［ｉ］）を含んでもよい。例えば、ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｅｘｉｓｔ_ｆｌａｇ［ｉ］の値が「１」の場合は、階層ｉに少なくとも１つ以上のユニークセグメントが存在することを意味する。また、ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｅｘｉｓｔ_ｆｌａｇ［ｉ］の値が「０」の場合は、階層ｉにユニークセグメントが１つも存在しないことを意味する。
【0087】
ＧＳＨ２０１２は、階層ｉ（ｉ＝０，．．．，ｔｒｉｓｏｕｐ_ｄｅｐｔｈ－１）ごとにユニークセグメントが対象階層に存在する場合、すなわち、ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｅｘｉｓｔ_ｆｌａｇ［ｉ］の値が「１」の場合、追加で対象階層のユニークセグメント数を示すシンタックスのビット数を示すシンタックス（ｎｕｍ_ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｂｉｔｓ_ｍｉｎｕｓ１［ｉ］）及び対象階層のユニークセグメント数を示すシンタックス（ｎｕｍ_ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｍｉｎｕｓ１［ｉ］）を含んでもよい。
【0088】
ここで、ｎｕｍ_ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｂｉｔｓ_ｍｉｎｕｓ１［ｉ］及びｎｕｍ_ｕｎｉｑｕｅ_ｓｅｇｍｅｎｔｓ_ｍｉｎｕｓ１［ｉ］の両方について、それぞれ本来の値から「１」を引いた値をシンタックスの値として符号化してもよい。
【0089】
（ツリー合成部２０２０）
以下、図６～図８を用いてツリー合成部２０２０の処理について説明する。図６は、ツリー合成部２０２０における処理の一例を示すフローチャートである。なお、以下では「Ｏｃｔｒｅｅ」を使用してツリーを合成する場合の例について説明する。
以下、図６～図８を用いてツリー合成部２０２０の処理について説明する。図６は、ツリー合成部２０２０における処理の一例を示すフローチャートである。なお、以下では「Ｏｃｔｒｅｅ」を使用してツリーを合成する場合の例について説明する。
【0090】
ステップＳ６０１において、ツリー合成部２０２０は、全てのＤｅｐｔｈの処理が完了したかどうかを確認する。なお、Ｄｅｐｔｈ数は、点群符号化装置１００から点群復号装置２００に伝送するビットストリーム内に制御データとして含まれていてもよい。
【0091】
ツリー合成部２０２０は、対象Ｄｅｐｔｈのノードサイズを算出する。「Ｏｃｔｒｅｅ」の場合、最初のＤｅｐｔｈのノードサイズは、「２のＤｅｐｔｈ数乗」と定義されてもよい。すなわち、Ｄｅｐｔｈ数をＮとする場合、最初のＤｅｐｔｈのノードサイズは、２のＮ乗と定義されてもよい。
【0092】
また、２番目以降のＤｅｐｔｈでのノードサイズは、Ｎの数を１つずつ減じていくことで定義されてもよい。すなわち、２番目のＤｅｐｔｈのノードサイズは、「２の（Ｎ－１）乗」として定義され、３番目のＤｅｐｔｈのノードサイズは、「２の（Ｎ－２）乗」として定義され、・・・と定義されてもよい。
【0093】
或いは、ノードサイズは、常に２のべき乗で定義されるため、単純に指数部分（Ｎ、Ｎ－１、Ｎ－２、等）の値をノードサイズと考えてもよい。以降の説明では、ノードサイズとは、指数部分の値を指すこととする。
【0094】
全てのＤｅｐｔｈの処理が完了した場合は、ツリー合成部２０２０は、ステップＳ６０９へ進み、全てのＤｅｐｔｈの処理が完了していない場合は、ツリー合成部２０２０は、ステップＳ６０２へ進む。
【0095】
言い換えると、対象Ｄｅｐｔｈがｎ番目のＤｅｐｔｈの時、（Ｎ－ｎ）＝０の場合は、ツリー合成部２０２０は、ステップＳ６０９へ進み、（Ｎ－ｎ）＞０の場合は、ツリー合成部２０２０は、ステップＳ６０２へ進む。
【0096】
ここで、Ｔｒｉｓｏｕｐを使用するか否かを制御するフラグ（ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇ）がＴｒｉｓｏｕｐを使用することを示している場合、すなわち、ｔｒｉｓｏｕｐ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時は、ツリー合成部２０２０は、処理するＤｅｐｔｈ数を、Ｔｒｉｓｏｕｐノードサイズの最小値を規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２）又はＴｒｉｓｏｕｐノードサイズを規定するシンタックス（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２）の値に基づいて変化させてもよい。かかる場合、例えば、以下のように定義してもよい。
【0097】
処理Ｄｅｐｔｈ数＝全Ｄｅｐｔｈ数－（最小の）Ｔｒｉｓｏｕｐノードサイズ
ここで、最小のＴｒｉｓｏｕｐノードサイズについては、例えば、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２＋２）で定義できる。同様に、Ｔｒｉｓｏｕｐノードサイズについては、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２＋２）で定義できる。
ここで、最小のＴｒｉｓｏｕｐノードサイズについては、例えば、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２＋２）で定義できる。同様に、Ｔｒｉｓｏｕｐノードサイズについては、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２＋２）で定義できる。
【0098】
この場合、全ての処理Ｄｅｐｔｈ数の処理が完了した場合は、ツリー合成部２０２０は、ステップＳ６０９へ進み、そうでない場合は、ツリー合成部２０２０は、ステップＳ６０２へ進む。
【0099】
言い換えると、（処理Ｄｅｐｔｈ数－ｎ）＝０の場合は、ツリー合成部２０２０は、ステップＳ６０９へ進み、（処理Ｄｅｐｔｈ数－ｎ）＞０の場合は、ツリー合成部２０２０は、ステップＳ６０２へ進む。
【0100】
また、ツリー合成部２０２０は、ステップＳ６０９へ進む際のノードサイズ（Ｎ－処理Ｄｅｐｔｈ数）を持つ全てのノードには、Ｔｒｉｓｏｕｐが適用されると判定してもよい。
【0101】
ステップＳ６０２において、ツリー合成部２０２０は、対象Ｄｅｐｔｈにて後述するＴｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇを復号する必要があるか否かを判定する。
【0102】
例えば、「複数レベルでのＴｒｉｓｏｕｐが許可（ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」）」で、且つ、「対象Ｄｅｐｔｈのノードサイズ（Ｎ－ｎ）が最大のＴｒｉｓｏｕｐノードサイズ以下」の場合に、ツリー合成部２０２０は、「Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの復号が必要である」と判定してもよい。
【0103】
また、ツリー合成部２０２０は、上述の条件が満たされない場合、「Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの復号が必要ない」と判定してもよい。
【0104】
ここで、最大のＴｒｉｓｏｕｐノードサイズについては、例えば、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ３＋２）で定義できる。
【0105】
上述の判定が完了したら、ツリー合成部２０２０は、ステップＳ７０３へ移る。
【0106】
ステップＳ６０３において、ツリー合成部２０２０は、対象Ｄｅｐｔｈに含まれる全てのノードの処理が完了したかどうかを判定する。
【0107】
対象Ｄｅｐｔｈの全てのノードの処理が完了したと判定した場合、ツリー合成部２０２０は、ステップＳ６０１へ移り、次のＤｅｐｔｈの処理を行う。
【0108】
一方、対象Ｄｅｐｔｈの全てのノードの処理が完了していない場合、ツリー合成部２０２０は、ステップＳ６０４へ移る。
【0109】
ステップＳ６０４において、ツリー合成部２０２０は、ステップＳ６０２で判定したＴｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの復号の要否について確認する。
【0110】
Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの復号が必要であると判定されている場合は、ツリー合成部２０２０は、ステップＳ６０５へ進み、Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの復号が必要でないと判定されている場合は、ツリー合成部２０２０は、ステップＳ６０８へ移る。
【0111】
ステップＳ６０５において、ツリー合成部２０２０は、Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇを復号する。
【0112】
Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇは、対象ノードにＴｒｉｓｏｕｐを適用するか否かを示す１ビットのフラグ（第２フラグ）である。例えば、かかるフラグの値が「１」の時に対象ノードにＴｒｉｓｏｕｐを適用すると定義し、かかるフラグの値が「０」の時に対象ノードにＴｒｉｓｏｕｐを適用しないと定義してもよい。
【0113】
ツリー合成部２０２０は、Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇを復号した後、ステップＳ６０６へ移る。
【0114】
ステップＳ６０６において、ツリー合成部２０２０は、ステップＳ６０５で復号したＴｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの値を確認する。
【0115】
対象ノードにＴｒｉｓｏｕｐを適用する場合、すなわち、Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの値が「１」の場合は、ツリー合成部２０２０は、ステップＳ６０７へ移る。
【0116】
対象ノードにＴｒｉｓｏｕｐを適用しない場合、すなわち、Ｔｒｉｓｏｕｐ_ａｐｐｌｉｅｄ_ｆｌａｇの値が「０」の場合は、ツリー合成部２０２０は、ステップＳ６０８へ移る。
【0117】
ステップＳ６０７において、ツリー合成部２０２０は、対象ノードを、Ｔｒｉｓｏｕｐを適用するノード、すなわち、Ｔｒｉｓｏｕｐノードとして記憶する。かかる対象ノードに対しては、これ以上、「Ｏｃｔｒｅｅ」によるノードの分割を適用しないこととする。その後、ツリー合成部２０２０は、ステップＳ６０３に進み、次のノードの処理へ移る。
【0118】
ステップＳ６０８において、ツリー合成部２０２０は、ｏｃｃｐａｎｃｙ ｃｏｄｅと呼ばれる情報を復号する。
【0119】
ｏｃｃｐａｎｃｙ ｃｏｄｅは、「Ｏｃｔｒｅｅ」の場合は、対象ノードをｘ、ｙ、ｚ軸方向にそれぞれ半分に分割して、８つのノード（子ノードと呼ぶ）に分割した際に、それぞれの子ノード内に復号対象の点が含まれているか否かを示す情報である。
【0120】
例えば、ｏｃｃｐａｎｃｙ ｃｏｄｅは、各子ノードに対して１ビットの情報を割り当て、かかる１ビットの情報が「１」の場合は、かかる子ノード内に復号対象の点が含まれると定義され、かかる１ビットの情報が「０」の場合は、かかる子ノード内に復号対象の点が含まれないと定義されてもよい。
【0121】
ツリー合成部２０２０は、かかるｏｃｃｐａｎｃｙ ｃｏｄｅを復号する際に、各子ノードに復号対象の点が存在する確率を予め推定し、その確率に基づいて各子ノードに対応するビットをエントロピー復号してもよい。
【0122】
同様に、点群符号化装置１００においては、エントロピー符号化してもよい。更に、かかる確率の推定に、インター予測を用いてもよい。インター予測の具体的な方法としては、例えば、上述の文献１に記載の方法を適用できる。更に、インター予測を行う際の参照点群に、アップサンプルした点群を用いてもよい。
【0123】
図７～８を用いて、インター予測を用いる場合のｏｃｃｐａｎｃｙ ｃｏｄｅの復号処理の具体例について説明する。
【0124】
【0125】
図７に示すように、ステップＳ７０１において、ツリー合成部２０２０は、コンテクストの選択を行う。コンテクストは、後段の占有情報復号の際のエントロピー復号において使用する確率分布に対応している。
【0126】
図８は、インター予測を用いて４種類のコンテクスト（ｎｏ ｐｒｅｄ/ｐｒｅｄ０/ｐｒｅｄ１/ｐｒｅｄＬ）からいずれか１つを選択する場合のフローチャートの一例である。
【0127】
【0128】
図８に示すように、ステップＳ８０１において、ツリー合成部２０２０は、インター予測の精度を判定する。
【0129】
インター予測の精度については、例えば、対象ノードの親ノードにおける子ノード（Ｏｃｔｒｅｅの場合、８つの子ノード）について、選択したコンテクスト及び実際の点の有無によって判断できる。
【0130】
例えば、ｐｒｅｄ０のコンテクストを選択した子ノードについて、実際に点が存在しなかった場合を正解とし、実際に点が存在した場合を不正解とする。一方、ｐｒｅｄ１又はｐｒｅｄＬを選択した子ノードについては、実際に点が存在した場合を正解とし、実際に点が存在しなかった場合を不正解とする。
【0131】
ここで、親ノードに属する子ノードについて、正解となった子ノードの数が予め定めた閾値より大きい場合、インター予測の精度は「良い」と判断できる。一方、親ノードに属する子ノードについて、正解となった子ノードの数が予め定めた閾値以下の場合、インター予測の精度は「悪い」と判断できる。
【0132】
インター予測の精度が「良い」と判断された場合、ツリー合成部２０２０は、ステップＳ８０２へ進む。インター予測の精度が「悪い」と判断された場合、ツリー合成部２０２０は、ステップＳ８０５へ進み、対象ノードに属する全ての子ノードについてコンテクストを「ｎｏ ｐｒｅｄ」とし、処理を終了する。
【0133】
ステップＳ８０２において、ツリー合成部２０２０は、動き補償した参照フレームにおいて、対象ノードと同じ位置の領域に少なくとも１点の参照点が存在するか否かを確認する。
【0134】
対象ノードと同じ位置の領域に少なくとも１点の参照点が存在する場合、ツリー合成部２０２０は、ステップＳ８０３へ進む。一方、対象ノードと同じ位置の領域に参照点が１点もない場合、ツリー合成部２０２０は、ステップＳ８０５へ進み、対象ノードに属する全ての子ノードについてコンテクストを「ｎｏ ｐｒｅｄ」とし、処理を終了する。
【0135】
ステップＳ８０３以降では、ツリー合成部２０２０は、対象ノードに属する子ノード毎に判定を行う。
【0136】
ステップＳ８０３において、ツリー合成部２０２０は、動き補償した参照フレームにおいて、対象子ノードと同じ位置の領域に少なくとも１点の参照点が存在するか否かを確認する。
【0137】
対象子ノードと同じ位置の領域に少なくとも１点の参照点が存在する場合、ツリー合成部２０２０は、ステップＳ８０４へ進む。一方、対象子ノードと同じ位置の領域に参照点が１点もない場合、ツリー合成部２０２０は、ステップＳ８０６へ進み、対象子ノードのコンテクストを「ｐｒｅｄ０」とする。
【0138】
対象ノードの全ての子ノードについてコンテクスト選択が完了していない場合、ツリー合成部２０２０は、ステップＳ８０３へ戻り、次の子ノードについて同様の処理を行う。
【0139】
対象ノードの全ての子ノードについてコンテクスト選択が完了した場合、ツリー合成部２０２０は、処理を終了する。
【0140】
ステップＳ８０４において、ツリー合成部２０２０は、動き補償した参照フレームにおいて、対象子ノードと同じ位置の領域に予め定めた閾値以上の数の参照点が存在するか否かを確認する。
【0141】
対象子ノードと同じ位置の領域に予め定めた閾値以上の数の参照点が存在する場合、ツリー合成部２０２０は、ステップＳ８０８へ進み、対象子ノードのコンテクストを「ｐｒｅｄＬ」とする。
【0142】
一方、対象子ノードと同じ位置の領域に予め定めた閾値未満の数の参照点しか存在しない場合、ツリー合成部２０２０は、ステップＳ８０７へ進み、対象子ノードのコンテクストを「ｐｒｅｄ１」とする。
【0143】
ステップＳ８０７又はＳ８０８の処理の後、対象ノードの全ての子ノードについてコンテクスト選択が完了していない場合、ツリー合成部２０２０は、ステップＳ８０４へ戻り、次の子ノードについて同様の処理を行う。
【0144】
対象ノードの全ての子ノードについてコンテクスト選択が完了した場合、ツリー合成部２０２０は、処理を終了する。
【0145】
以上のようにコンテクストを選択した後、ツリー合成部２０２０は、ステップＳ７０２へ進む。
【0146】
ステップＳ７０２において、ツリー合成部２０２０は、ステップＳ７０１で選択したコンテクストに基づいて、対象ノードの各子ノードの占有情報、すなわち、ｏｃｃｐａｎｃｙ ｃｏｄｅを復号する。
【0147】
ここで、コンテクストは、それぞれ独立した確率分布に対応している。後述するステップＳ７０３のコンテクスト更新によって、コンテクストごとに復号対象の点が存在する確率が学習される。
【0148】
なお、各コンテクストにおける確率分布の初期値は、例えば、点が存在する確率５０％（＝存在しない確率も５０％）と定義することができる。
【0149】
ステップＳ７０２において、ツリー合成部２０２０は、コンテクストに対応する確率分布を基にエントロピー復号を行い、各子ノードに点が存在するか（「１」であるか）否か（「０」であるか）を復号する。ｏｃｃｐａｎｃｙ ｃｏｄｅの復号完了後、ツリー合成部２０２０は、ステップＳ７０３へ進む。
【0150】
ステップＳ７０３において、ツリー合成部２０２０は、コンテクストを更新する。
【0151】
例えば、ツリー合成部２０２０は、ステップＳ７０３において、各コンテクストにおいて、占有情報を復号した結果点が存在した場合、各コンテクストに紐づく確率分布を、点が存在する確率が高くなるように更新する。
【0152】
一方、ツリー合成部２０２０は、ステップＳ７０３において、各コンテクストにおいて、占有情報を復号した結果点が存在しなかった場合、各コンテクストに紐づく確率分布を、点が存在する確率が低くなるように更新する。
【0153】
コンテクストの更新が完了したら、ツリー合成部２０２０は、ステップＳ７０４へ進み、処理を終了する。
【0154】
ツリー合成部２０２０は、ｏｃｃｐａｎｃｙ ｃｏｄｅを復号した後、ステップＳ６０３へ進み、次のノードの処理へ移る。
【0155】
（近似表面合成部２０３０）
近似表面合成部２０３０は、図６で説明したようにツリー合成部２０２０にてＴｒｉｓｏｕｐノードと判定された各ノードについて、復号処理を行うように構成されている。
近似表面合成部２０３０は、図６で説明したようにツリー合成部２０２０にてＴｒｉｓｏｕｐノードと判定された各ノードについて、復号処理を行うように構成されている。
【0156】
【0157】
図９は、近似表面合成部２０３０の処理の一例を示すフローチャートである。
【0158】
図９に示すように、ステップＳ９０１において、近似表面合成部２０３０は、ノード毎の頂点位置を復号する。
【0159】
ここで、近似表面合成部２０３０は、複数レベルでのＴｒｉｓｏｕｐを許可するとき、すなわち、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時は、最小Ｔｒｉｓｏｕｐノードサイズにおけるノード毎に頂点位置を復号する。
【0160】
一方、近似表面合成部２０３０は、複数レベルでのＴｒｉｓｏｕｐを許可しないとき、すなわち、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時は、Ｔｒｉｓｏｕｐノードサイズにおけるノード毎に頂点位置を復号する。具体的な処理については後述する。
【0161】
頂点位置の復号が完了した後、近似表面合成部２０３０は、ステップＳ９０２へ進む。
【0162】
ステップＳ９０２において、近似表面合成部２０３０は、頂点位置を復号したノード毎（最小Ｔｒｉｓｏｕｐノードサイズ、又は、Ｔｒｉｓｏｕｐノードサイズにおけるノード毎）に、投影面を決定する。
【0163】
例えば、ｘ軸、ｙ軸、ｚ軸の３つの軸があるとき、どれか一つの軸を縮退した平面を投影面と呼ぶ。
【0164】
ステップＳ９０２では、近似表面合成部２０３０は、上述の軸のうちどの軸を縮退するか、すなわち、ｘ-ｙ平面、ｘ-ｚ平面、ｙ-ｚ平面のうちどの平面を投影面とするかを決定する。具体的な処理については後述する。
【0165】
投影面を決定した後、近似表面合成部２０３０は、ステップＳ９０３へ進む。
【0166】
ステップＳ９０３において、近似表面合成部２０３０は、投影面に投影した頂点を、例えば反時計回りの順になるようにソートし、前記の順序に従ってｉｎｄｅｘを付与する。
【0167】
ｉｎｄｅｘを付与した後、近似表面合成部２０３０は、ステップＳ９０４へ進む。
【0168】
ステップＳ９０４において、近似表面合成部２０３０は、上述のｉｎｄｅｘ及び対象ノードに存在する頂点数に基づいて、三角形を生成する。
【0169】
例えば、近似表面合成部２０３０は、予め頂点数毎にどのｉｎｄｅｘから三角形を生成するかを定義した表を作成しておき、それを参照することで三角形を生成できる。具体的な表の例については、例えば、上述の文献１に記載の表を用いることができる。
【0170】
三角形を生成した後、近似表面合成部２０３０は、ステップＳ９０５へ進む。
【0171】
ステップＳ９０５において、近似表面合成部２０３０は、ステップＳ９０４で生成した三角形を基に、点を生成する。具体的な方法は、例えば、上述の文献１に記載の方法を用いることができる。
【0172】
全てのノードについて点の生成が完了した後、近似表面合成部２０３０は、ステップＳ９０６へ進み、処理を終了する。
【0173】
次に、ステップＳ９０１の頂点位置の復号について、処理の具体例を説明する。図１０は、Ｔｒｉｓｏｕｐの頂点位置の復号処理の一例を示すフローチャートである。
【0174】
図１０に示すように、ステップＳ１００１において、近似表面合成部２０３０は、全Ｔｒｉｓｏｕｐ階層の処理が完了したかどうかを判定する。ここで、全Ｔｒｉｓｏｕｐ階層の数は、以下の通り定義できる。
【0175】
複数レベルでのＴｒｉｓｏｕｐを許可するとき、すなわち、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の時は、全Ｔｒｉｓｏｕｐ階層数は、（最大Ｔｒｉｓｏｕｐノードサイズ－最小Ｔｒｉｓｏｕｐノードサイズ＋１）で定義できる。
【0176】
すなわち、かかる場合、全Ｔｒｉｓｏｕｐ階層数は、（ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２－ｌｏｇ２_ｔｒｉｓｏｕｐ_ｍｉｎ_ｎｏｄｅ_ｓｉｚｅ_ｍｉｎｕｓ２＋１）で定義できる。
【0177】
複数レベルでのＴｒｉｓｏｕｐを許可しないとき、すなわち、ｔｒｉｓｏｕｐ_ｍｕｌｔｉｌｅｖｅｌ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の時は、全Ｔｒｉｓｏｕｐ階層数は、１である。
【0178】
全てのＴｒｉｓｏｕｐ階層の処理が完了した場合は、近似表面合成部２０３０は、ステップＳ１００７へ進む。全てのＴｒｉｓｏｕｐ階層の処理が完了していない場合は、近似表面合成部２０３０は、ステップＳ１００２へ移る。
【0179】
ステップＳ１００２において、近似表面合成部２０３０は、対象Ｔｒｉｓｏｕｐ階層に属するユニークセグメント数を確認する。
【0180】
ユニークセグメント数が「０」の場合、すなわち、対象Ｔｒｉｓｏｕｐ階層にはＴｒｉｓｏｕｐノードが１つも含まれない場合は、近似表面合成部２０３０は、ステップＳ１００１へ進み、次のＴｒｉｓｏｕｐ階層の処理へ移る。
【0181】
ユニークセグメント数が「０」より大きい場合は、近似表面合成部２０３０は、ステップＳ１００３へ移る。
【0182】
ステップＳ１００３において、近似表面合成部２０３０は、各ユニークセグメントに対してＴｒｉｓｏｕｐ処理に用いる頂点が含まれるか否かを復号する。
【0183】
なお、各ユニークセグメントに対して存在できる頂点は、１点のみに制限してもよい。この場合、頂点が存在するユニークセグメント数が頂点数と等しいと解釈できる。
【0184】
近似表面合成部２０３０は、対象Ｔｒｉｓｏｕｐ階層の全てのユニークセグメントについて頂点の有無を復号した後、ステップＳ１００４へ移る。
【0185】
ステップＳ１００４において、近似表面合成部２０３０は、ステップＳ１００３において頂点が存在すると判定された各ユニークセグメントに対して、各ユニークセグメント上のどこに頂点が存在するのかという位置情報を復号する。
【0186】
位置情報は、例えば、対象Ｔｒｉｓｏｕｐ階層におけるＴｒｉｓｏｕｐノードサイズがＬ（２のＬ乗）の場合、Ｌビットの等長符号で符号化されていてもよい。
【0187】
近似表面合成部２０３０は、対象Ｔｒｉｓｏｕｐ階層において、頂点が存在する全てのユニークセグメントに対して頂点位置を復号した後、ステップＳ１００６へ進む。
【0188】
ステップＳ１００６において、近似表面合成部２０３０は、対象Ｔｒｉｓｏｕｐ階層におけるノードサイズが最小Ｔｒｉｓｏｕｐノードサイズの場合、何も処理をせずＳ１００１へ進む。
【0189】
同様に、近似表面合成部２０３０は、複数レベルでのＴｒｉｓｏｕｐが許可されていない場合、何も処理をせず、ステップＳ１００１へ進む。
【0190】
そうでない場合、すなわち、複数レベルでのＴｒｉｓｏｕｐが許可されており、かつ、対象Ｔｒｉｓｏｕｐ階層におけるノードサイズが最小Ｔｒｉｓｏｕｐノードサイズより大きい場合は、近似表面合成部２０３０は、ステップＳ１００４で復号した対象Ｔｒｉｓｏｕｐ階層に対応するノードサイズにおける頂点位置に基づいて、最小Ｔｒｉｓｏｕｐノードサイズにおける頂点位置を生成する。具体的な処理例については後述する。
【0191】
最小ノードサイズにおける頂点位置生成が完了した後、近似表面合成部２０３０は、ステップＳ１００１へ進む。
【0192】
ステップＳ１００７において、近似表面合成部２０３０は、頂点位置の統合を行う。
【0193】
例えば、近似表面合成部２０３０は、ステップＳ１００６において、大きなノードサイズでの頂点位置から、最小Ｔｒｉｓｏｕｐノードサイズにおける頂点位置を生成した場合、ノードの各辺に頂点が２点以上生成される可能性がある。
【0194】
もし、頂点が２点以上生成されている辺があった場合、近似表面合成部２０３０は、これを１点に統合して、辺ごとに頂点が１点ずつになるようにする。
【0195】
例えば、近似表面合成部２０３０は、辺上に存在する頂点の座標の平均値をとることで、複数の点を１点に統合することができる。
【0196】
別の例としては、頂点の数が奇数の場合、近似表面合成部２０３０は、座標の中央値を持つ点を選択することで頂点を１つに絞ることができる。
【0197】
また、頂点の数が偶数の場合は、近似表面合成部２０３０は、座標の中央値を持つ２点を抽出した後、かかる２点の座標値の平均をとることで頂点を１つに絞ることができる。
【0198】
全ての辺についてそれぞれ頂点を１つずつに統合した後、近似表面合成部２０３０は、ステップＳ１００８へ進み、処理を終了する。
【0199】
次に、前記ステップＳ１００６の処理の具体例について説明する。
【0200】
【0201】
図１２に、ステップＳ１００４で復号した対象Ｔｒｉｓｏｕｐ階層に対応するノードサイズをＮ（ノードの一辺の長さが２のＮ乗）として、最小のＴｒｉｓｏｕｐノードサイズをＮ－１とした場合の例を示す。
【0202】
ステップＳ１００６の処理の目的は、図１２-１に示す対象Ｔｒｉｓｏｕｐ階層に対応するノードサイズ（図１２では、Ｎ）における頂点（図１２では、４点）から、図１２-３に示す最小のＴｒｉｓｏｕｐノードサイズ（図１２では、Ｎ－１）における頂点（図１２では、９点）を生成することである。
【0203】
図１１は、上述のステップＳ１００６の処理の一例を示すフローチャートである。
【0204】
図１１に示すように、近似表面合成部２０３０は、ステップＳ１００４で復号した対象Ｔｒｉｓｏｕｐ階層に対応するノードサイズにおける頂点位置を入力として、ステップＳ１１０１～Ｓ１１０４の処理を行う。
【0205】
ステップＳ１１０１～Ｓ１１０４の処理については、図９におけるステップＳ９０２～Ｓ９０５と同様な方法で実現できる。
【0206】
【0207】
【0208】
【0209】
ステップＳ１１０５において、近似表面合成部２０３０は、ステップＳ１１０４で生成した点から、最小のＴｒｉｓｏｕｐノードサイズにおける頂点位置を決定する。
【0210】
具体的には、近似表面合成部２０３０は、例えば、ステップＳ１１０４で生成した点の中から、最小のＴｒｉｓｏｕｐノードサイズに対応する各ノードの辺に隣接する点をそれぞれ抽出し、抽出した点の座標の平均値を求めることで、各辺に対する頂点位置を決定できる。
【0211】
例えば、近似表面合成部２０３０は、辺の位置がｘ軸方向に沿っている場合、例えば（ｘ，ｙ，ｚ）＝（ａ～ａ＋２（Ｎ－１），ｂ，ｃ）を満たす位置に辺があった場合、例えば（ａ～ａ＋２（Ｎ－１），ｂ－１～ｂ，ｃ－１～ｃ）の領域に存在する点を抽出し、それらの点のｘ軸座標の平均値ｅを算出することで、（ｅ，ｂ，ｃ）を頂点位置として決定できる。
【0212】
近似表面合成部２０３０は、辺がｙ軸方向及びｚ軸方向に沿っている場合も、上記と同様に計算できる。
【0213】
なお、近似表面合成部２０３０は、辺に隣接する領域に点が存在しない場合は、かかる辺上には頂点を生成しない。
【0214】
以上のようにして、近似表面合成部２０３０は、例えば、図１２-３に示すように、最小Ｔｒｉｓｏｕｐノードサイズにおける頂点位置を生成することができる。
【0215】
【0216】
図１３は、前記ステップＳ１００６の処理の一例を示すフローチャートである。
【0217】
図１３に示すように、近似表面合成部２０３０は、ステップＳ１００４で復号した対象Ｔｒｉｓｏｕｐ階層に対応するノードサイズにおける頂点位置を入力として、ステップＳ１３０１～Ｓ１３０３の処理を行う。
【0218】
ステップＳ１３０１～Ｓ１３０３の処理については、図９におけるステップＳ９０２～Ｓ９０４と同様な方法で実現できる。
【0219】
【0220】
近似表面合成部２０３０は、図１４-１に示すように、三角形を生成した後、ステップＳ１３０４へ進む。
【0221】
ステップＳ１３０４において、近似表面合成部２０３０は、ステップＳ１３０３で生成した各三角形の面と最小Ｔｒｉｓｏｕｐノードサイズに対応するノードの各辺との交点に点を生成する。
【0222】
図１４-２は、ステップＳ１３０４の処理結果の一例を示している。近似表面合成部２０３０は、各辺上に点を生成した後、ステップＳ１３０５へ進む。
【0223】
ステップＳ１３０５において、近似表面合成部２０３０は、ステップＳ１３０４において最小Ｔｒｉｓｏｕｐノードサイズに対応する各辺上に生成された点を統合する。
【0224】
ステップＳ１３０４の処理は、各三角形面と辺との交点に点を生成するため、例えば、ある１つの辺に対して２つ以上の三角面が交差していた場合、同一辺上に２つ以上の頂点が生成される可能性がある。
【0225】
その場合、近似表面合成部２０３０は、同一の辺上に存在する点を統合して、辺ごとに頂点を一点とする様に処理してもよい。
【0226】
具体的には、例えば、辺上に存在する頂点の座標の平均値をとることで、複数の点を１点に統合することができる。
【0227】
別の例としては、頂点の数が奇数の場合、近似表面合成部２０３０は、座標の中央値を持つ点を選択することで頂点を１つに絞ることができる。
【0228】
また、頂点の数が偶数の場合は、近似表面合成部２０３０は、座標の中央値を持つ２点を抽出した後、かかる２点の座標値の平均をとることで頂点を１つに絞ることができる。
【0229】
近似表面合成部２０３０は、上述のように各辺上の点を統合した後、ステップＳ１３０６へ進み、処理を終了する。
【0230】
以上のように、本発明における近似表面合成部２０３０は、複数レベルでのＴｒｉｓｏｕｐを許容する場合、図１０のステップＳ１００４に示すように、頂点位置についてはＴｒｉｓｏｕｐノードサイズ毎に復号し、ステップＳ１００５に示すように、上述の頂点位置から最小Ｔｒｉｓｏｕｐノードサイズにおける頂点位置を生成し、ステップＳ９０５に示すように、最小Ｔｒｉｓｏｕｐノードサイズにおいて点を生成するように構成されていてもよい。
【0231】
言い換えると、近似表面合成部２０３０は、複数のノードサイズ毎に頂点の復号処理を実行し、単一のノードサイズで頂点に基づく点の再構成処理を実行するように構成されていてもよい。
【0232】
また、以上のように、近似表面合成部２０３０は、制御データから復号した最大ノードサイズ及び最小ノードサイズに基づいて、最大と最小との間の各ノードサイズにおいて頂点の復号処理を実行するように構成されており、かかるノードサイズが最小ノードサイズではない場合、復号した頂点に基づいて、最小ノードサイズにおける頂点位置を生成するように構成されており、単一のノードサイズを最小ノードサイズとするように構成されており、最小ノードサイズにおける頂点位置に基づいて、点の再構成処理を行うように構成されていてもよい。
このような構成とすることで、頂点位置の復号単位を可変とすることで点群の幾何的な特性に応じて頂点に係る情報の符号量を削減しつつ、点の再構成については単一且つ小さなノードサイズで実行することで、復号点群の主観品質を高めることができる。
このような構成とすることで、頂点位置の復号単位を可変とすることで点群の幾何的な特性に応じて頂点に係る情報の符号量を削減しつつ、点の再構成については単一且つ小さなノードサイズで実行することで、復号点群の主観品質を高めることができる。
【0233】
また、以上のように、近似表面合成部２０３０は、ノードサイズが最小ノードサイズではない場合、復号した頂点に基づいて点を生成し、生成した点のうち、かかるノードサイズのノードを最小ノードサイズで分割した際の各辺の近傍に存在する点の座標値に基づいて、最小ノードサイズにおける頂点位置を生成するように構成されていてもよい。
【0234】
このように、近似表面合成部２０３０における点の再構成処理の一部を流用して最小ノードサイズにおける頂点位置を生成することで、処理回路及び処理関数が流用できるため設計コストを下げることができる。
【0235】
また、以上のように、近似表面合成部２０３０は、ノードサイズが最小ノードサイズではない場合、復号した頂点に基づいて点を生成する際、かかるノードサイズのノードを最小ノードサイズで分割した際の各辺上にのみ点を生成するように構成されていてもよい。このように、生成する点数を最小限とすることで、当該処理に必要なメモリ量や、処理量を削減することができる。
【0236】
また、以上のように、近似表面合成部２０３０は、ノードサイズが最小ノードサイズではない場合、復号した頂点に基づいて点を生成する際、かかるノードサイズのノードを最小ノードサイズで分割した際の各辺上に複数の点が存在した場合、それらの点を統合し各辺上に頂点が１点ずつとなるように最小ノードサイズにおける頂点位置を生成するように構成されていてもよい。このように、各辺上に頂点数を１点ずつとなるように制限することで、点の再構成処理を簡素化することができる。
【0237】
また、以上のように、近似表面合成部２０３０は、ある辺上に、かかる辺に隣接する異なるノードサイズのノードから生成された複数の頂点が存在する場合、それらの点を統合し、各辺上に頂点が１点ずつとなるように頂点位置を生成するように構成されていてもよい。このような構成とすることで、点の再構成処理を簡素化することができる。
【0238】
また、以上のように、近似表面合成部２０３０は、ある辺上に、かかる辺に隣接する異なるノードサイズのノードから生成された複数の頂点が存在する場合、かかる隣接するノードのうち、最も小さなノードサイズを持つノードによって生成された頂点を、かかる辺の頂点位置とするように構成されていてもよい。このように、小さなノードサイズにおける頂点位置を使用するようにすることで、より局所的な特徴を再現した点群の再構成が可能となり、主観品質が向上する。
【0239】
次に、図９におけるステップＳ９０２の処理の具体例について説明する。
【0240】
【0241】
図１５に示すように、ステップＳ１５０１において、近似表面合成部２０３０は、頂点を各投影面に投影した際の頂点で形成される多角形の面積をそれぞれ算出する。
【0242】
図１６に、ステップＳ１５０１の処理の具体例を示す。
【0243】
例えば、図１６-１に示すように、対象ノードについてＡ～Ｅの五つの頂点がある場合を考える。
【0244】
【0245】
【0246】
具体的には、近似表面合成部２０３０は、各投影面における正方形の中心を原点Ｏとし、原点Ｏ、原点Ｏと隣り合う２つの頂点（例えば、図１６-２における点Ｅ及び点Ｄ）の計３点で構成される三角形の面積Ｓは、以下の式で算出できる。
【0247】
Ｓ＝｜Ｅ×Ｄ｜/２
ここで、Ｅ及びＤは、原点Ｏに対する点Ｅ及び点Ｄの三次元座標を示すベクトルを意味し、×記号は、ベクトルの外積を計算する演算子を意味し、｜・｜は、ベクトルのＬ２ノルムを意味している。
ここで、Ｅ及びＤは、原点Ｏに対する点Ｅ及び点Ｄの三次元座標を示すベクトルを意味し、×記号は、ベクトルの外積を計算する演算子を意味し、｜・｜は、ベクトルのＬ２ノルムを意味している。
【0248】
近似表面合成部２０３０は、上述の事項を応用して、ステップＳ９０３と同様な方法で、各投影面における頂点を、例えば、反時計回りの順になるようにソートし、上述と同様な手法で、全ての隣り合う頂点同士と原点とで作られる三角形の面積を求めたうえで合計することで、図１６-２～図１６-４の網掛け部分の面積をそれぞれ算出することができる。
【0249】
以上では、原点Ｏを各投影面における正方形の中心と定義した場合について説明したが、原点Ｏは、各投影面の平面上であれば、他の位置に定義しても、上述と同様な方法で多角形の面積を算出することができる。
【0250】
例えば、近似表面合成部２０３０は、原点Ｏについて、投影面における正方形の辺上に位置してもよい。また、例えば、近似表面合成部２０３０は、各投影面に投影した頂点のうちの一点を、原点Ｏと定義してもよい。例えば、近似表面合成部２０３０は、各投影面に投影した頂点を反時計回りの順になるようにソートした後、先頭の頂点を原点Ｏとして用いてもよい。
【0251】
近似表面合成部２０３０は、以上のように各投影面における多角形の面積をそれぞれ算出した後、ステップＳ１５０２へ進む。
【0252】
ステップＳ１５０２において、近似表面合成部２０３０は、ステップＳ１５０１で求めた多角形の面積が最も大きい投影面を、投影面として決定する。
【0253】
近似表面合成部２０３０は、投影面を決定した後、ステップＳ１５０３へ進み、処理を終了する。
【0254】
なお、近似表面合成部２０３０は、図１５に示す手法で投影面を決定する場合、既にステップＳ１５０１において頂点をソートしているため、ステップＳ９０３の処理について省略することができる。
【0255】
以上のように、近似表面合成部２０３０は、ノードの各辺上に存在する複数の頂点を複数の投影面候補の各々に投影した際に、かかる頂点で定義される多角形の面積が最大となる投影面を、上述の投影面として選択するように構成されてもよい。
【0256】
このような構成とすることで、投影面上での２次元的な広がりが最も大きな投影面を選択できる。これにより、適切でない投影面を選択することで復号点群の主観画質が劣化することを防止することができる。
【0257】
以上のように、近似表面合成部２０３０は、所定の原点と、上述の投影面候補に投影した頂点のうち１つ（第１頂点）と、かかる第一頂点と隣り合う第２頂点と、の三点で構成される三角形の面積を、隣り合う全ての頂点のペアに対して算出することで、上述の多角形（三角形）の面積を算出するように構成されてもよい。
【0258】
このように、多角形を小領域に分割して面積を求めることで、それぞれの小領域の面積算出処理を並列に実行できるため、処理速度を向上させることができる。
【0259】
また、以上のように、近似表面合成部２０３０は、上述の原点から第１頂点を指す第１ベクトルと、上述の原点から第２頂点を指す第２ベクトルを定義し、かかる第１ベクトルと第２ベクトルとの外積を用いて、上述の三角形の面積を算出するように構成されていてもよい。このように、ベクトルの外積を用いて演算することで、他の処理で外積処理を行う場合は、処理回路又は処理関数を共通化することで設計を簡素化できる。
【0260】
また、以上のように、近似表面合成部２０３０は、上述の投影面候補に投影した頂点を反時計回り或いは時計回りに並べ替え、並べ替えた順に連続する２つの頂点を第１頂点及び第２頂点としてもよい。このように、後段のステップＳ９０３と同様な方法でソートを行うことで、処理を共通化して処理量の増加を防ぐことができる。
【0261】
また、以上のように、近似表面合成部２０３０は、上述の投影面候補に投影した頂点のうち１つ（第３頂点）を、所定の原点とするように構成されていてもよい。このような構成とすることで、所定の原点を頂点以外の位置に設定した場合と比較して、多角形の面積を算出するために計算が必要な三角形の個数が１つ少なくなるため、演算量の増加を防ぐことができる。
【0262】
【0263】
図１７は、ステップＳ９０２の処理の一例を示すフローチャートである。
【0264】
図１７に示すように、ステップＳ１７０１において、近似表面合成部２０３０は、頂点座標のｘ軸、ｙ軸、ｚ軸方向それぞれの最大値と最小値の差分を算出する。
【0265】
例えば、図１９-１に示すように、対象ノードにＡ～Ｅの計５点の頂点があった場合、近似表面合成部２０３０は、図１９-２に示すｘｍａｘ－ｘｍｉｎ（ｘ軸方向の座標値の最大値と最小値の差分）、ｙｍａｘ－ｙｍｉｎ（ｙ軸方向の座標値の最大値と最小値の差分）及び図１９-３に示すｚｍａｘ－ｚｍｉｎ（ｚ軸方向の座標値の最大値と最小値の差分）をそれぞれ算出し、ステップＳ１７０２へ進む。
【0266】
ステップＳ１７０２において、近似表面合成部２０３０は、ステップＳ１７０１で算出した「最大値と最小値の差分」のうちの差分が最小となる軸方向がいくつあるかを確認する。
【0267】
例えば、ｚｍａｘ－ｚｍｉｎ＜ｘｍａｘ－ｘｍｉｎ＜ｙｍａｘ－ｙｍｉｎという関係となっていた場合（或いは、ｚｍａｘ－ｚｍｉｎ＜ｘｍａｘ－ｘｍｉｎ＝ｙｍａｘ－ｙｍｉｎという関係となっていた場合）、「最大値と最小値の差分」の最小値を持つ軸方向は１つのみとなる。この場合は、近似表面合成部２０３０は、ステップＳ１７０３へ進む。
【0268】
一方、例えば、ｚｍａｘ－ｚｍｉｎ＝ｘｍａｘ－ｘｍｉｎ＜ｙｍａｘ－ｙｍｉｎという関係となっていた場合、「最大値と最小値の差分」の最小値を持つ軸方向は２つとなる。この場合は、近似表面合成部２０３０は、ステップＳ１７０４へ進む。
【0269】
ステップＳ１７０３は、差分の最小値を持つ軸方向が一つのみのケースに対応する処理であり、この場合は、近似表面合成部２０３０は、差分が最小となる軸を縮退することで投影面を決定する。
【0270】
例えば、上述の例のように、ｚｍａｘ－ｚｍｉｎ＜ｘｍａｘ－ｘｍｉｎ＜ｙｍａｘ－ｙｍｉｎとなっていた場合、ｚ軸を縮退して、ｘ-ｙ平面を投影面として決定する。
【0271】
近似表面合成部２０３０は、投影面を決定した後、ステップＳ１７０６へ進んで処理を終了する。
【0272】
ステップＳ１７０４において、近似表面合成部２０３０は、各軸方向の辺上の頂点数をカウントする。
【0273】
例えば、図２０-１に示すように、対象ノードにＡ～Ｅの計５点の頂点があった場合、ｘ軸方向の辺上に存在する頂点は、図２０-２に示す点Ａのみであり、ｙ軸方向の辺上に存在する頂点は、図２０-３に示す通り０点であり、ｚ軸方向の辺上に存在する頂点は、図２０-４に示す通りＢ～Ｅの計４点である。
【0274】
なお、この処理は、ｘ、ｙ、ｚ軸のうち全ての軸を対象にしてもよいし、ステップＳ１７０１で求めた「最大値と最小値の差分」の最小値を持つ軸方向のみを対象としてもよい。
【0275】
例えば、ｚｍａｘ－ｚｍｉｎ＝ｘｍａｘ－ｘｍｉｎ＜ｙｍａｘ－ｙｍｉｎという関係となっていた場合、本ステップの処理対象をｚ軸及びｘ軸のみとしてもよい。
【0276】
近似表面合成部２０３０は、上述のように頂点数をカウントした後、ステップＳ１７０５へ進む。
【0277】
ステップＳ１７０５において、近似表面合成部２０３０は、ステップＳ１７０４で算出した各軸方向の頂点数が最も大きい軸を縮退することで、投影面を決定する。
【0278】
例えば、図２０の例では、ｚ軸方向の辺上に存在する頂点が最も多いため、近似表面合成部２０３０は、ｚ軸を縮退して、ｘ－ｙ平面を投影面として決定する。
【0279】
近似表面合成部２０３０は、投影面決定後、ステップＳ１７０６へ進んで、処理を終了する。
【0280】
以上のように、近似表面合成部２０３０は、ノードの各辺を三次元座標のどの座標軸と平行かどうかで分類し、各座標軸に分類された辺上の頂点数をカウントし、カウントした値（頂点数）を用いて、複数の投影面候補の中から、上述の投影面を決定するように構成されていてもよい。
【0281】
また、以上のように、近似表面合成部２０３０は、上述の頂点の数が最も大きい軸を縮退することで定義される面を、上述の投影面と決定するように構成されていてもよい。
【0282】
【0283】
また、以上のように、近似表面合成部２０３０は、上述の三次元座標の座標軸ごとに、各頂点の座標値の最大値と最小値との差分値を算出し、かかる座標軸のうち差分値の最小値を持つ軸が２つ以上ある場合、各座標軸に分類された辺上の頂点数が最も大きい軸を縮退することで定義される面を、上述の投影面とするように構成されていてもよい。
【0284】
また、以上のように、近似表面合成部２０３０は、各座標軸に分類された辺上の頂点数が最も大きい軸が２つ以上ある場合、三次元座標の座標軸ごとに、各頂点の座標値の最大値と最小値との差分値を算出し、座標軸のうち差分値が最小となる軸を縮退することで定義される面を、上述の投影面とするように構成されていてもよい。
【0285】
なお、図１７では、近似表面合成部２０３０は、先にステップＳ１７０１及びＳ１７０２において「最大値と最小値の差分」を評価した後、必要に応じてステップＳ１７０４及びＳ１７０５において各軸方向の辺上の頂点数を評価した。この順番は、例えば、図１８に示すように、逆にすることもできる。
【0286】
例えば、図１８の例に示す通り、近似表面合成部２０３０は、ステップＳ１８０１及びステップＳ１８０２において各軸方向の辺上の頂点数を評価した後、必要に応じてステップＳ１８０４及びステップＳ１８０５において「最大値と最小値の差分」を評価してもよい。
【0287】
図１８の例では、ステップＳ１８０１については、ステップＳ１７０４と同様な処理で実現できる。
【0288】
ステップＳ１８０２において、近似表面合成部２０３０は、ｘ軸、ｙ軸、ｚ軸方向の中で最大の頂点数を持つ軸が１つのみである場合は、ステップＳ１８０３へ進み、頂点数が最大となる軸を縮退することで投影面を決定する。
【0289】
そうでない場合（頂点数の最大値を持つ軸が２つ以上ある場合）は、近似表面合成部２０３０は、ステップＳ１８０４へ進む。
【0290】
ステップＳ１８０４については、ステップＳ１７０１と同様な処理で実現できる。
【0291】
ここで、ステップＳ１８０４の処理対象は、ｘ軸、ｙ軸、ｚ軸の全てとしてもよいし、ステップＳ１８０２で頂点数が最大となった軸方向のみを処理対象としてもよい。
ステップＳ１８０５において、近似表面合成部２０３０は、ステップＳ１８０４の処理対象となった軸の中で、差分値が最も小さい軸を縮退することで、投影面を決定する。
ステップＳ１８０５において、近似表面合成部２０３０は、ステップＳ１８０４の処理対象となった軸の中で、差分値が最も小さい軸を縮退することで、投影面を決定する。
【0292】
【0293】
図２２に示すように、ステップＳ２２０１において、近似表面合成部２０３０は、各投影面に投影した際の各頂点の座標に対して、２×２の直交変換を行う。
【0294】
以下では、直交変換としてアダマール変換を用いる場合を例に説明する。例えば、座標値として（Ｐｘ、Ｐｙ、Ｐｚ）を持つ頂点Ｐをｘ－ｙ平面に投影した際の座標は、（Ｐｘ、Ｐｙ）となる。これに対して２×２のアダマール変換を行って得られる直交変換後の座標（Ｈａ、Ｈｂ）は、以下の式によって算出できる。
【0295】
【数1】
【0296】
ここで、１/√２は、ノルムを正規化するための係数であるが、後述のように、本処理では、各頂点の直交変換後の座標値をその大小関係を比較するために用いるため、正規化係数１/√２は省略してもよい。すなわち、近似表面合成部２０３０は、以下の式によって、（Ｈａ、Ｈｂ）を算出してもよい。
【0297】
【数2】
【0298】
上述のように、近似表面合成部２０３０は、直交変換としてアダマール変換を使用し、正規化係数を省略した場合、座標値ＰxとＰyの加減算のみで直交変換後の座標（Ｈａ、Ｈｂ）を算出できる。
【0299】
このように、まず、近似表面合成部２０３０は、ｘ－ｙ平面に投影した際の各頂点（１～ｎ）座標に直交変換を適用してｎ組の座標（Ｈａ１、Ｈｂ１）、・・・、（Ｈａｎ、Ｈｂｎ）、を得た後、直交変換後の各座標軸（ここではａ軸とｂ軸）における座標値の最大値Ｈａｍａｘ、Ｈｂｍａｘと最小値Ｈａｍｉｎ、Ｈｂｍｉｎをそれぞれ検出する。
【0300】
次に、各軸における最大値と最小値との差分値Ｈａｄ＝Ｈａｍａｘ―Ｈａｍｉｎ、Ｈｂｄ＝Ｈｂｍａｘ―Ｈｂｍｉｎを算出する。
【0301】
最後に、近似表面合成部２０３０は、上述のＨａｄ及びＨｂｄを用いて、ｘ－ｙ平面に投影した場合の頂点座標の広がりの大きさを表す変数Ａｘｙを算出する。
【0302】
近似表面合成部２０３０は、Ａｘｙについて、例えば、Ａｘｙ＝Ｈａｄ＋Ｈｂｄのように、直交変換後の座標値の各軸における最大値と最小値の差分を足し合わせることで算出してもよい。
【0303】
また、近似表面合成部２０３０は、Ａｘｙについて、例えば、Ａｘｙ＝Ｈａｄ×Ｈｂｄのように、直交変換後の座標値の各軸における最大値と最小値の差分を掛け合わせることで算出してもよい。
【0304】
上述と同様に、近似表面合成部２０３０は、他の投影面候補であるｙ－ｚ平面に対応するＡｙｚ及びｘ－ｚ平面に対応するＡｘｚを算出した後、ステップＳ２２０２へ進む。
【0305】
ステップＳ２２０２において、近似表面合成部２０３０は、ステップＳ２２０１で算出したＡｘｙ、Ａｙｚ、Ａｘｚを基に投影面を決定する。
【0306】
例えば、近似表面合成部２０３０は、Ａｘｙ、Ａｙｚ、Ａｘｚのうち、値が最も大きいものに対応する投影面に決定することができる。具体的には、近似表面合成部２０３０は、例えば、Ａｙｚ＞Ａｘｚ＞Ａｘｚの場合、投影面をｙ－ｚ平面と決定することができる。
【0307】
上述のように、近似表面合成部２０３０は、投影面を決定した後、ステップＳ２２０３へ移り、処理を終了する。
【0308】
以上のように、近似表面合成部２０３０は、各投影面に投影した際の頂点座標値に直交変換を適用して得られる直交変換後の座標値を用いて、投影面を決定するように構成されていてもよい。
【0309】
また、以上のように、近似表面合成部２０３０は、直交変換後の各座標軸において座標値の最大値と最小値との差分値を計算し、かかる差分値に基づいて投影面を決定するように構成されていてもよい。
【0310】
また、以上のように、近似表面合成部２０３０は、各投影面候補において、上述の差分値を直交変換後の全ての座標軸について算出し、それらの和或いはそれらの積によって投影面を決定するように構成されていてもよい。
【0311】
このように直交変換によって座標軸を回転した後の座標値を用いることで、頂点の二次元的な広がりを評価しやすくなる。
【0312】
また、以上のように、近似表面合成部２０３０は、直交変換としてアダマール変換を使用するように構成されていてもよい。
【0313】
また、以上のように、近似表面合成部２０３０は、直交変換時の正規化係数を省略するように構成されていてもよい。
【0314】
このような構成とすることで、直交変換前の座標値の加減算のみで直交変換後の座標値を得ることができ、計算量の増加を防ぐことができる。
【0315】
【0316】
図２１に示すように、点群符号化装置１００は、座標変換部１０１０と、幾何情報量子化部１０２０と、ツリー解析部１０３０と、近似表面解析部１０４０と、幾何情報符号化部１０５０と、幾何情報再構成部１０６０と、色変換部１０７０と、属性転移部１０８０と、ＲＡＨＴ部１０９０と、ＬｏＤ算出部１１００と、リフティング部１１１０と、属性情報量子化部１１２０と、属性情報符号化部１１３０と、フレームバッファ１１４０とを有する。
【0317】
座標変換部１０１０は、入力点群の３次元座標系から、任意の異なる座標系への変換処理を行うよう構成されている。座標変換は、例えば、入力点群を回転することにより、入力点群のｘ、ｙ、ｚ座標を任意のs、ｔ、ｕ座標に変換してもよい。また、変換のバリエーションの１つとして、入力点群の座標系をそのまま使用してもよい。
【0318】
幾何情報量子化部１０２０は、座標変換後の入力点群の位置情報の量子化及び座標が重複する点の除去を行うように構成されている。なお、量子化ステップサイズが１の場合は、入力点群の位置情報と量子化後の位置情報とが一致する。すなわち、量子化ステップサイズが１の場合は、量子化を行わない場合と等価になる。
【0319】
ツリー解析部１０３０は、量子化後の点群の位置情報を入力として、後述のツリー構造に基づいて、符号化対象空間のどのノードに点が存在するかについて示すｏｃｃｕｐａｎｃｙ ｃｏｄｅを生成するように構成されている。
【0320】
ツリー解析部１０３０は、本処理において、符号化対象空間を再帰的に直方体で区切ることにより、ツリー構造を生成するように構成されている。
【0321】
ここで、ある直方体内に点が存在する場合、かかる直方体を複数の直方体に分割する処理を、直方体が所定のサイズになるまで再帰的に実行することでツリー構造を生成することができる。なお、かかる各直方体をノードと呼ぶ。また、ノードを分割して生成される各直方体を子ノードと呼び、子ノード内に点が含まれるか否かについて０又は１で表現したものがｏｃｃｕｐａｎｃｙ ｃｏｄｅである。
【0322】
以上のように、ツリー解析部１０３０は、所定のサイズになるまでノードを再帰的に分割しながら、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを生成するように構成されている。
【0323】
本実施形態では、上述の直方体を常に立方体として８分木分割を再帰的に行う「Ｏｃｔｒｅｅ」と呼ばれる手法、及び、８分木分割に加え、４分木分割及び２分木分割を行う「ＱｔＢｔ」と呼ばれる手法を使用することができる。
【0324】
ここで、「ＱｔＢｔ」を使用するか否かについては、制御データとして点群復号装置２００に伝送される。
【0325】
或いは、任意のツリー構成を用いるＰｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを使用するように指定されてもよい。かかる場合、ツリー解析部１０３０が、ツリー構造を決定し、決定されたツリー構造は、制御データとして点群復号装置２００へ伝送される。
【0326】
例えば、ツリー構造の制御データは、図６で説明した手順で復号できるよう構成されていてもよい。
【0327】
近似表面解析部１０４０は、ツリー解析部１０３０によって生成されたツリー情報を用いて、近似表面情報を生成するように構成されている。
【0328】
近似表面情報は、例えば、物体の３次元点群データを復号する際等において、点群が物体表面に密に分布しているような場合に、個々の点群を復号するのではなく、点群の存在領域を小さな平面で近似して表現したものである。
【0329】
具体的には、近似表面解析部１０４０は、例えば、「Ｔｒｉｓｏｕｐ」と呼ばれる手法で、近似表面情報を生成するように構成されていてもよい。また、Ｌｉｄａｒ等で取得した疎な点群を復号する場合は、本処理を省略することができる。
【0330】
幾何情報符号化部１０５０は、ツリー解析部１０３０によって生成されたｏｃｃｕｐａｎｃｙ ｃｏｄｅ及び近似表面解析部１０４０によって生成された近似表面情報等のシンタックスを符号化してビットストリーム（幾何情報ビットストリーム）を生成するように構成されている。ここで、ビットストリームには、例えば、図４及び図５で説明したシンタックスを含まれていてもよい。
【0331】
符号化処理は、例えば、コンテクスト適応二値算術符号化処理である。ここで、例えば、シンタックスは、位置情報の復号処理を制御するための制御データ（フラグやパラメータ）を含む。
【0332】
幾何情報再構成部１０６０は、ツリー解析部１０３０によって生成されたツリー情報及び近似表面解析部１０４０によって生成された近似表面情報に基づいて、符号化対象の点群データの各点の幾何情報（符号化処理が仮定している座標系、すなわち、座標変換部１０１０における座標変換後の位置情報）を再構成するように構成されている。
【0333】
フレームバッファ１１４０は、幾何情報再構成部１０６０によって再構成された幾何情報を入力とし、参照フレームとして保存するように構成されている。
【0334】
保存された参照フレームは、ツリー解析部１０３０において時間的に異なるフレームのインター予測を行う場合に、フレームバッファ１１４０から読み出されて参照フレームとして使用される。
【0335】
ここで、各フレームに対してどの時刻の参照フレームを用いるかどうかが、例えば、符号化効率を表すコスト関数の値に基づいて決定され、使用する参照フレームの情報が制御データとして点群復号装置２００へ伝送されてもよい。
【0336】
色変換部１０７０は、入力の属性情報が色情報であった場合に、色変換を行うように構成されている。色変換は、必ずしも実行する必要は無く、色変換処理の実行の有無については、制御データの一部として符号化され、点群復号装置２００へ伝送される。
【0337】
属性転移部１０８０は、入力点群の位置情報、幾何情報再構成部１０６０における再構成後の点群の位置情報及び色変換部１０７０での色変化後の属性情報に基づいて、属性情報の歪みが最小となるように属性値を補正するように構成されている。具体的な補正方法は、例えば、文献２（Ｔｅｘｔ ｏｆ ＩＳＯ/ＩＥＣ ２３０９０-９ ＤＩＳ Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ＰＣＣ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１ Ｎ１９０８８）に記載の方法を適用できる。
【0338】
ＲＡＨＴ部１０９０は、属性転移部１０８０による転移後の属性情報及び幾何情報再構成部１０６０によって生成された幾何情報を入力とし、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）と呼ばれるＨａａｒ変換の一種を用いて、各点の残差情報を生成するように構成されている。ＲＡＨＴの具体的な処理としては、例えば、上述の文献２に記載の方法を用いることができる。
【0339】
ＬｏＤ算出部１１００は、幾何情報再構成部１０６０によって生成された幾何情報を入力とし、ＬｏＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するように構成されている。
【0340】
ＬｏＤは、ある点の属性情報から、他のある点の属性情報を予測し、予測残差を符号化或いは復号するといった予測符号化を実現するための参照関係（参照する点及び参照される点）を定義するための情報である。
【0341】
言い換えると、ＬｏＤは、幾何情報に含まれる各点を複数のレベルに分類し、下位のレベルに属する点については上位のレベルに属する点の属性情報を用いて属性を符号化或いは復号するといった階層構造を定義した情報である。
【0342】
ＬｏＤの具体的な決定方法としては、例えば、上述の文献２に記載の方法を用いてもよい。
【0343】
リフティング部１１１０は、ＬｏＤ算出部１１００によって生成されたＬｏＤ及び属性転移部１０８０での属性転移後の属性情報を用いて、リフティング処理により残差情報を生成するように構成されている。
【0344】
リフティングの具体的な処理としては、例えば、上述の文献２に記載の方法を用いてもよい。
【0345】
属性情報量子化部１１２０は、ＲＡＨＴ部１０９０又はリフティング部１１１０から出力される残差情報を量子化するように構成されている。ここで、量子化ステップサイズが１の場合は、量子化を行わない場合と等価である。
【0346】
属性情報符号化部１１３０は、属性情報量子化部１１２０から出力される量子化後の残差情報等をシンタックスとして符号化処理を行い、属性情報に関するビットストリーム（属性情報ビットストリーム）を生成するように構成されている。
【0347】
符号化処理は、例えば、コンテクスト適応二値算術符号化処理である。ここで、例えば、シンタックスは、属性情報の復号処理を制御するための制御データ（フラグ及びパラメータ）を含む。
【0348】
点群符号化装置１００は、以上の処理により、点群内の各点の位置情報及び属性情報を入力として符号化処理を行い、幾何情報ビットストリーム及び属性情報ビットストリームを出力するように構成されている。
【0349】
また、上述の点群符号化装置１００及び点群復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。
【0350】
なお、上記の各実施形態では、本発明を点群符号化装置１００及び点群復号装置２００への適用を例にして説明したが、本発明は、かかる例のみに限定されるものではなく、点群符号化装置１００及び点群復号装置２００の各機能を備えた点群符号化/復号システムにも同様に適用できる。
【産業上の利用可能性】
【0351】
なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
【符号の説明】
【0352】
１０…点群処理システム
１００…点群符号化装置
１０１０…座標変換部
１０２０…幾何情報量子化部
１０３０…ツリー解析部
１０４０…近似表面解析部
１０５０…幾何情報符号化部
１０６０…幾何情報再構成部
１０７０…色変換部
１０８０…属性転移部
１０９０…ＲＡＨＴ部
１１００…ＬｏＤ算出部
１１１０…リフティング部
１１２０…属性情報量子化部
１１３０…属性情報符号化部
１１４０…フレームバッファ
２００…点群復号装置
２０１０…幾何情報復号部
２０２０…ツリー合成部
２０３０…近似表面合成部
２０４０…幾何情報再構成部
２０５０…逆座標変換部
２０６０…属性情報復号部
２０７０…逆量子化部
２０８０…ＲＡＨＴ部
２０９０…ＬｏＤ算出部
２１００…逆リフティング部
２１１０…逆色変換部
２１２０…フレームバッファ
１００…点群符号化装置
１０１０…座標変換部
１０２０…幾何情報量子化部
１０３０…ツリー解析部
１０４０…近似表面解析部
１０５０…幾何情報符号化部
１０６０…幾何情報再構成部
１０７０…色変換部
１０８０…属性転移部
１０９０…ＲＡＨＴ部
１１００…ＬｏＤ算出部
１１１０…リフティング部
１１２０…属性情報量子化部
１１３０…属性情報符号化部
１１４０…フレームバッファ
２００…点群復号装置
２０１０…幾何情報復号部
２０２０…ツリー合成部
２０３０…近似表面合成部
２０４０…幾何情報再構成部
２０５０…逆座標変換部
２０６０…属性情報復号部
２０７０…逆量子化部
２０８０…ＲＡＨＴ部
２０９０…ＬｏＤ算出部
２１００…逆リフティング部
２１１０…逆色変換部
２１２０…フレームバッファ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
