特開 2024-58014 点群復号装置、点群復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024058014

(43)【公開日】2024-04-25

(54)【発明の名称】点群復号装置、点群復号方法及びプログラム

(51)【国際特許分類】

   H04N 19/597 20140101AFI20240418BHJP

   H04N 19/573 20140101ALI20240418BHJP

【ＦＩ】

H04N19/597

H04N19/573

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2022165090

(22)【出願日】2022-10-13

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、総務省、「３次元空間データの無線伝送に向けた高能率圧縮技術の研究開発」委託事業、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(72)【発明者】

【氏名】中塚 智尋

(72)【発明者】

【氏名】海野 恭平

(72)【発明者】

【氏名】小森田 賢史

(72)【発明者】

【氏名】河村 圭

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC01

5C159LC09

5C159MA04

5C159MA05

5C159MA12

5C159MA21

5C159MC11

5C159ME11

5C159PP03

5C159PP13

5C159RC12

5C159UA02

5C159UA05

(57)【要約】      （修正有）

【課題】符号化の圧縮性能を向上させるる点群復号装置、点群復号方法及びプログラムを提供する。
【解決手段】点群符号化装置及び点群復号装置を有する点群処理システムにおいて、点群復号装置２００は、幾何情報復号部と、ツリー合成部と、近似表面合成部と、幾何情報再構成部と、逆座標変換部と、属性情報復号部と、逆量子化部と、ＲＡＨＴ部と、ＬｏＤ算出部と、逆リフティング部と、逆色変換部と、フレームバッファとを有する。ツリー合成部は、Ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇにおいて、複数の参照フレームを用いてインター予測を行う。
【選択図】図２

【特許請求の範囲】

【請求項1】

点群復号装置であって、
Ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇにおいて、複数の参照フレームを用いてインター予測を行うツリー合成部を備えることを特徴とする点群復号装置。

【請求項2】

フレームバッファを備え、
前記フレームバッファは、復号されたフレームを最近復号したものから順に複数保持し、保持できる最大数を超えた場合に古いフレームを棄却することを特徴とする請求項１に記載の点群復号装置。

【請求項3】

前記ツリー合成部は、前記インター予測で、前記複数の参照フレームのそれぞれに対して、処理対象フレームに対するグローバル動きベクターを用いたグローバル動き補償を行うことを特徴とする請求項１又は２に記載の点群復号装置。

【請求項4】

前記ツリー合成部は、
１番目の参照フレームに対して、処理対象フレームに対する第１グローバル動きベクターを用いたグローバル動き補償を行い、
２番目の参照フレームに対して、前記第１グローバル動きベクター及び 前記２番目の参照フレームの前記１番目の参照フレームに対する第２グローバル動きベクターを用いたグローバル動き補償を行うことを特徴とする請求項１又は２に記載の点群復号装置。

【請求項5】

前記ツリー合成部は、
前記第１グローバル動きベクター１について保持し、後続の処理において再利用することを特徴とする請求項４に記載の点群復号装置。

【請求項6】

前記ツリー合成部は、
１番目の参照フレームの中から、処理対象ノードの親ノードに対応するノードを選び、
２番目の参照フレームの中から、前記１番目の参照フレームの中から選ばれたノードに対応するノードを選び、
前記１番目の参照フレーム及び前記２番目の参照フレームの中から選ばれたノードの子ノード、又は、前記１番目の参照フレーム及び前記２番目の参照フレームの中から選ばれたノードの子ノード及び孫ノードを、予測器とすることを特徴とする請求項１に記載の点群復号装置。

【請求項7】

前記ツリー合成部は、
１番目の参照フレーム及び２番目の参照フレームの中から、処理対象ノードの親ノードに対応するノードを選び、
前記１番目の参照フレーム及び前記２番目の参照フレームの中から選ばれたノードの子ノード、又は、前記１番目の参照フレーム及び前記２番目の参照フレームの中から選ばれたノードの子ノード及び孫ノードを、予測器とすることを特徴とする請求項１に記載の点群復号装置。

【請求項8】

前記ツリー合成部は、全ての予測器の代わりに、前記全ての予測器の平均を取った新たな予測器を用いて、インター予測を行うことを特徴とする請求項６又は７に記載の点群復号装置。

【請求項9】

前記ツリー合成部は、全ての予測器の代わりに、前記子ノード同士或いは前記孫ノード同士でそれぞれ平均を取った新たな予測器を用いて、インター予測を行うことを特徴とする請求項６又は７に記載の点群復号装置。

【請求項10】

前記ツリー合成部は、処理対象フレームと時間的に近い参照フレームから得た予測器ほど重視するような重み付き平均を取ることを特徴とする請求項８に記載の点群復号装置。

【請求項11】

前記ツリー合成部は、処理対象フレームと時間的に近い参照フレームから得た予測器ほど重視するような重み付き平均を取ることを特徴とする請求項９に記載の点群復号装置。

【請求項12】

前記ツリー合成部は、前記処理対象フレームと時間的に近い参照フレームほど多くの予測器を持つように、前記１番目の参照フレームでは前記子ノード及び前記孫ノードを前記予測器として用い、前記２番目の参照フレームでは前記子ノードのみを予測器として用いることを特徴とする請求項６又は７に記載の点群復号装置。

【請求項13】

前記ツリー合成部は、前記複数の参照フレームから得られた全ての予測器の代わりに、前記全ての予測器の中である基準に基づく順位付けを行い、上位から事前に指定の数の予測器を用いることを特徴とする請求項６又は７に記載の点群復号装置。

【請求項14】

前記ツリー合成部は、
異なる参照フレームに属する予測器間では、前記予測器が属する参照フレームの順に基づいて、前記予測器にインデックスを付与し、
同じ参照フレームに属する予測器間では、ノードの親子関係に基づいて、前記予測器へインデックスを付与することを特徴とする請求項１に記載の点群復号装置。

【請求項15】

前記ツリー合成部は、Ａｎｇｕｌａｒモードにおいて、予測器の方位角に基づいて、複数の予測器のそれぞれにインデックスを付与することを特徴とする請求項１に記載の点群復号装置。

【請求項16】

前記ツリー合成部は、予測器と処理対象ノードの親ノードとの間の類似度に基づいて、複数の予測器のそれぞれにインデックスを付与することを特徴とする請求項１に記載の点群復号装置。

【請求項17】

点群復号方法であって、
Ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇにおいて、複数の参照フレームを用いてインター予測を行う工程を有することを特徴とする点群復号方法。

【請求項18】

コンピュータを、点群復号装置として機能させるプログラムであって、
前記点群復号装置は、
Ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇにおいて、複数の参照フレームを用いてインター予測を行うツリー合成部を備えることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、点群復号装置、点群復号方法及びプログラムに関する。

【背景技術】

【0002】

非特許文献１には、Ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇを行う技術が開示されている。

【0003】

また、非特許文献２では、Ｐｒｅｄｉｃｔｉｖｅ ｃｏｒｄｉｎｇにおいて、１つの参照フレームから選出した予測器を用いてインター予測を行う技術が開示されている

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Ｇ-ＰＣＣ ｃｏｄｅｃ ｄｅｓｃｒｉｐｔｉｏｎ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ７ Ｎ００２７１

【非特許文献2】Ｇ-ＰＣＣ ２ｎｄ Ｅｄｉｔｉｏｎ ｃｏｄｅｃ ｄｅｓｃｒｉｐｔｉｏｎ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ７ Ｎ００３１４

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、非特許文献１で開示されている技術では、インター予測をしないため、符号化の圧縮性能が損なわれることがあるという問題点があった。

【0006】

また、非特許文献２で開示されている技術では、参照フレームが１つだけであるため、参照フレーム上の点にノイズが多い場合や遮蔽等による欠損が含まれていた場合に、適切な予測器を選択できず、符号化の圧縮性能が損なわれることがあるという問題点があった。

【0007】

そこで、本発明は、上述の課題に鑑みてなされたものであり、符号化の圧縮性能を向上させることができる点群復号装置、点群復号方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の第１の特徴は、点群復号装置であって、Ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇにおいて、複数の参照フレームを用いてインター予測を行うツリー合成部を備えることを要旨とする。

【0009】

本発明の第２の特徴は、点群復号方法であって、Ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇにおいて、複数の参照フレームを用いてインター予測を行う工程を有することを要旨とする。

【0010】

本発明の第３の特徴は、コンピュータを、点群復号装置として機能させるプログラムであって、前記点群復号装置は、Ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇにおいて、複数の参照フレームを用いてインター予測を行うツリー合成部を備えることを要旨とする。

【発明の効果】

【0011】

本発明によれば、符号化の圧縮性能を向上させることができる点群復号装置、点群復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、一実施形態に係る点群処理システム１０の構成の一例を示す図である。

【図2】図２は、一実施形態に係る点群復号装置２００の機能ブロックの一例を示す図である。

【図3】図３は、一実施形態に係る点群復号装置２００の幾何情報復号部２０１０で受信する符号化データ（ビットストリーム）の構成の一例を示す図である。

【図4】図４は、ＧＰＳ２０１１のシンタックス構成の一例を示す図である。

【図5】図５は、一実施形態に係る点群復号装置２００のツリー合成部２０２０における処理の一例を示すフローチャートである

【図6】図６は、ステップＳ５０２における処理の一例を示すフローチャートである。

【図7】図７は、フレームバッファ２１２０における復号済みフレームの格納方法の一例を示す図である。

【図8-1】図８－１は、ステップＳ５０４におけるグローバル動き補償の処理の一例を示す図である。

【図8-2】図８－２は、ステップＳ５０４におけるグローバル動き補償の処理の一例を示す図である。

【図9】図９は、ステップＳ５０５におけるスライスデータの復号処理の一例を示すフローチャートである。

【図10】図１０は、ステップＳ９０５における座標予測の処理の一例を示すフローチャートである。

【図11】図１１は、ステップＳ１００２におけるインター予測の処理の一例を示す図である。

【図12-1】図１２－１は、ステップＳ１００２におけるインター予測の処理の一例を示す図である。

【図12-2】図１２－２は、ステップＳ１００２におけるインター予測の処理の一例を示す図である。

【図13-1】図１３－１は、ステップＳ１００４におけるインター予測で求められた予測器へのインデックス付与の処理の一例を示す図である。

【図13-2】図１３－２は、ステップＳ１００４におけるインター予測で求められた予測器へのインデックス付与の処理の一例を示す図である。

【図13-3】図１３－３は、ステップＳ１００４におけるインター予測で求められた予測器へのインデックス付与の処理の一例を示す図である。

【図14】図１４は、本実施形態に係る点群符号化装置１００の機能ブロックの一例について示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0014】

（第１実施形態）
以下、図１～図１４を参照して、本発明の第１実施形態に係る点群処理システム１０について説明する。図１は、本実施形態に係る実施形態に係る点群処理システム１０を示す図である。

【0015】

図１に示すように、点群処理システム１０は、点群符号化装置１００及び点群復号装置２００を有する。

【0016】

点群符号化装置１００は、入力点群信号を符号化することによって符号化データ（ビットストリーム）を生成するように構成されている。点群復号装置２００は、ビットストリームを復号することによって出力点群信号を生成するように構成されている。

【0017】

なお、入力点群信号及び出力点群信号は、点群内の各点の位置情報と属性情報とから構成される。属性情報は、例えば、各点の色情報や反射率である。

【0018】

ここで、かかるビットストリームは、点群符号化装置１００から点群復号装置２００に対して伝送路を介して送信されてもよい。また、ビットストリームは、記憶媒体に格納された上で、点群符号化装置１００から点群復号装置２００に提供されてもよい。

【0019】

（点群復号装置２００）
以下、図２を参照して、本実施形態に係る点群復号装置２００について説明する。図２は、本実施形態に係る点群復号装置２００の機能ブロックの一例について示す図である。

【0020】

図２に示すように、点群復号装置２００は、幾何情報復号部２０１０と、ツリー合成部２０２０と、近似表面合成部２０３０と、幾何情報再構成部２０４０と、逆座標変換部２０５０と、属性情報復号部２０６０と、逆量子化部２０７０と、ＲＡＨＴ部２０８０と、ＬｏＤ算出部２０９０と、逆リフティング部２１００と、逆色変換部２１１０と、フレームバッファ２１２０とを有する。

【0021】

幾何情報復号部２０１０は、点群符号化装置１００から出力されるビットストリームのうち、幾何情報に関するビットストリーム（幾何情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。

【0022】

復号処理は、例えば、コンテクスト適応二値算術復号処理である。ここで、例えば、シンタックスは、位置情報の復号処理を制御するための制御データ（フラグやパラメータ）を含む。

【0023】

ツリー合成部２０２０は、幾何情報復号部２０１０によって復号された制御データ及び後述するツリー内のどのノードに点群が存在するかを示すｏｃｃｕｐａｎｃｙ ｃｏｄｅを入力として、復号対象空間内のどの領域に点が存在するかというツリー情報を生成するように構成されている。

【0024】

なお、ｏｃｃｕｐａｎｃｙ ｃｏｄｅの復号処理をツリー合成部２０２０内部で行うよう構成されていてもよい。

【0025】

本処理は、復号対象空間を直方体で区切り、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照して各直方体内に点が存在するかを判断し、点が存在する直方体を複数の直方体に分割し、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照するという処理を再帰的に繰り返すことで、ツリー情報を生成することができる。

【0026】

ここで、かかるｏｃｃｕｐａｎｃｙ ｃｏｄｅの復号に際して、後述するインター予測を用いてもよい。

【0027】

本実施形態では、上述の直方体を常に立方体として８分木分割を再帰的に行う「Ｏｃｔｒｅｅ」と呼ばれる手法、及び、８分木分割に加え、４分木分割及び２分木分割を行う「ＱｔＢｔ」と呼ばれる手法を使用することができる。ＱｔＢｔ」を使用するか否かは、制御データとして点群符号化装置１００側から伝送される。

【0028】

或いは、制御データによってＰｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇを使用するように指定された場合、ツリー合成部２０２０は、点群符号化装置１００において決定した任意のツリー構成に基づいて各点の座標を復号するように構成されている。

【0029】

近似表面合成部２０３０は、ツリー合成部２０２０によって生成されたツリー情報を用いて近似表面情報を生成し、かかる近似表面情報に基づいて点群を復号するように構成されている。

【0030】

近似表面情報は、例えば、物体の３次元点群データを復号する際等において、点群が物体表面に密に分布しているような場合に、個々の点群を復号するのではなく、点群の存在領域を小さな平面で近似して表現したものである。

【0031】

具体的には、近似表面合成部２０３０は、例えば、「Ｔｒｉｓｏｕｐ」と呼ばれる手法で、近似表面情報を生成し、点群を復号することができる。「Ｔｒｉｓｏｕｐ」の具体的な処理例については後述する。また、Ｌｉｄａｒ等で取得した疎な点群を復号する場合は、本処理を省略することができる。

【0032】

幾何情報再構成部２０４０は、ツリー合成部２０２０によって生成されたツリー情報及び近似表面合成部２０３０によって生成された近似表面情報を元に、復号対象の点群データの各点の幾何情報（復号処理が仮定している座標系における位置情報）を再構成するように構成されている。

【0033】

逆座標変換部２０５０は、幾何情報再構成部２０４０によって再構成された幾何情報を入力として、復号処理が仮定している座標系から、出力点群信号の座標系に変換を行い、位置情報を出力するように構成されている。

【0034】

フレームバッファ２１２０は、幾何情報再構成部２０４０によって再構成された幾何情報を入力として、参照フレームとして保存するように構成されている。保存した参照フレームは、ツリー合成部２０２０において時間的に異なるフレームのインター予測を行う場合に、フレームバッファ２１３０から読み出されて参照フレームとして使用される。

【0035】

ここで、各フレームに対してどの時刻の参照フレームを用いるかどうかは、例えば、点群符号化装置１００からビットストリームとして伝送されてくる制御データに基づいて決定されてもよい。

【0036】

属性情報復号部２０６０は、点群符号化装置１００から出力されるビットストリームのうち、属性情報に関するビットストリーム（属性情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。

【0037】

復号処理は、例えば、コンテクスト適応二値算術復号処理である。ここで、例えば、シンタックスは、属性情報の復号処理を制御するための制御データ（フラグ及びパラメータ）を含む。

【0038】

また、属性情報復号部２０６０は、復号したシンタックスから、量子化済み残差情報を復号するように構成されている。

【0039】

逆量子化部２０７０は、属性情報復号部２０６０によって復号された量子化済み残差情報と、属性情報復号部２０６０によって復号された制御データの一つである量子化パラメータとを元に、逆量子化処理を行い、逆量子化済み残差情報を生成するように構成されている。

【0040】

逆量子化済み残差情報は、復号対象の点群の特徴に応じて、ＲＡＨＴ部２０８０及びＬｏＤ算出部２０９０のいずれかに出力される。いずれに出力されるかは、属性情報復号部２０６０によって復号される制御データによって指定される。

【0041】

ＲＡＨＴ部２０８０は、逆量子化部２０７０によって生成された逆量子化済み残差情報及び幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）と呼ばれるＨａａｒ変換（復号処理においては、逆Ｈａａｒ変換）の一種を用いて、各点の属性情報を復号するように構成されている。ＲＡＨＴの具体的な処理としては、例えば、非特許文献１に記載の方法を用いることができる。

【0042】

ＬｏＤ算出部２０９０は、幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＬｏＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するように構成されている。

【0043】

ＬｏＤは、ある点の属性情報から、他のある点の属性情報を予測し、予測残差を符号化或いは復号するといった予測符号化を実現するための参照関係（参照する点及び参照される点）を定義するための情報である。

【0044】

言い換えると、ＬｏＤは、幾何情報に含まれる各点を複数のレベルに分類し、下位のレベルに属する点については上位のレベルに属する点の属性情報を用いて属性を符号化或いは復号するといった階層構造を定義した情報である。

【0045】

ＬｏＤの具体的な決定方法としては、例えば、上述の非特許文献１に記載の方法を用いてもよい。

【0046】

逆リフティング部２１００は、ＬｏＤ算出部２０９０によって生成されたＬｏＤ及び逆量子化部２０７０によって生成された逆量子化済み残差情報を用いて、ＬｏＤで規定した階層構造に基づいて各点の属性情報を復号するように構成されている。逆リフティングの具体的な処理としては、例えば、上述の非特許文献１に記載の方法を用いることができる。

【0047】

逆色変換部２１１０は、復号対象の属性情報が色情報であり且つ点群符号化装置１００側で色変換が行われていた場合に、ＲＡＨＴ部２０８０又は逆リフティング部２１００から出力される属性情報に逆色変換処理を行うように構成されている。かかる逆色変換処理の実行の有無については、属性情報復号部２０６０によって復号された制御データによって決定される。

【0048】

点群復号装置２００は、以上の処理により、点群内の各点の属性情報を復号して出力するように構成されている。

【0049】

（幾何情報復号部２０１０）
以下、図３～図４を用いて幾何情報復号部２０１０で復号される制御データについて説明する。

【0050】

図３は、幾何情報復号部２０１０で受信する符号化データ（ビットストリーム）の構成の一例である。

【0051】

第１に、ビットストリームは、ＧＰＳ２０１１を含んでいてもよい。ＧＰＳ２０１１は、ジオメトリパラメータセットとも呼ばれ、幾何情報の復号に関する制御データの集合である。具体例については後述する。各ＧＰＳ２０１１は、複数のＧＰＳ２０１１が存在する場合に個々を識別するためのＧＰＳ ｉｄ情報を少なくとも含む。

【0052】

第２に、ビットストリームは、ＧＳＨ２０１２Ａ/２０１２Ｂを含んでいてもよい。ＧＳＨ２０１２Ａ/２０１２Ｂは、ジオメトリスライスヘッダ或いはジオメトリデータユニットヘッダとも呼ばれ、後述するスライスに対応する制御データの集合である。以降では、スライスという呼称を用いて説明するが、スライスをデータユニットと読み替えることもできる。具体例については後述する。ＧＳＨ２０１２Ａ/２０１２Ｂは、各ＧＳＨ２０１２Ａ/２０１２Ｂに対応するＧＰＳ２０１１を指定するためのＧＰＳ ｉｄ情報を少なくとも含む。

【0053】

第３に、ビットストリームは、ＧＳＨ２０１２Ａ/２０１２Ｂの次に、スライスデータ２０１３Ａ/２０１３Ｂを含んでいてもよい。スライスデータ２０１３Ａ/２０１３Ｂには、幾何情報を符号化したデータが含まれている。スライスデータ２０１３Ａ/２０１３Ｂの一例としては、後述するｏｃｃｕｐａｎｃｙ ｃｏｄｅが挙げられる。

【0054】

以上のように、ビットストリームは、各スライスデータ２０１３Ａ/２０１３Ｂに、１つずつＧＳＨ２０１２Ａ/２０１２Ｂ及びＧＰＳ２０１１が対応する構成となる。

【0055】

上述のように、ＧＳＨ２０１２Ａ/２０１２Ｂにて、どのＧＰＳ２０１１を参照するかをＧＰＳ ｉｄ情報で指定するため、複数のスライスデータ２０１３Ａ/２０１３Ｂに対して共通のＧＰＳ２０１１を用いることができる。

【0056】

言い換えると、ＧＰＳ２０１１は、スライスごとに必ずしも伝送する必要がない。例えば、図３のように、ＧＳＨ２０１２Ｂ及びスライスデータ２０１３Ｂの直前では、ＧＰＳ２０１１を符号化しないようなビットストリームの構成とすることもできる。

【0057】

なお、図３の構成は、あくまで一例である。各スライスデータ２０１３Ａ/２０１３Ｂに、ＧＳＨ２０１２Ａ/２０１２Ｂ及びＧＰＳ２０１１が対応する構成となっていれば、ビットストリームの構成要素として、上述以外の要素が追加されてもよい。

【0058】

例えば、図３に示すように、ビットストリームは、シーケンスパラメータセット（ＳＰＳ）２００１を含んでいてもよい。また、同様に、伝送に際して、図３と異なる構成に整形されてもよい。更に、後述する属性情報復号部２０６０で復号されるビットストリームと合成して単一のビットストリームとして伝送されてもよい。

【0059】

図４は、ＧＰＳ２０１１のシンタックス構成の一例である。

【0060】

なお、以下で説明するシンタックス名は、あくまで一例である。以下で説明したシンタックスの機能が同様であれば、シンタックス名は異なっていても差し支えない。

【0061】

ＧＰＳ２０１１は、各ＧＰＳ２０１１を識別するためのＧＰＳ ｉｄ情報（ｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を含んでもよい。

【0062】

なお、図４のＤｅｓｃｒｉｐｔｏｒ欄は、各シンタックスが、どのように符号化されているかを意味している。ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（１）は、１ビットのフラグであることを意味する。

【0063】

ＧＰＳ２０１１は、ツリー合成部２０２０でインター予測を行うか否かを制御するフラグ（ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。

【0064】

例えば、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の場合は、インター予測を行わないと定義し、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の場合は、インター予測を行うと定義してもよい。

【0065】

なお、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇは、ＧＰＳ２０１１ではなくＳＰＳ２００１に含んでいてもよい。

【0066】

ＧＰＳ２０１１は、ツリー合成部２０２０でツリータイプを制御するためのフラグ（ｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅ）を含んでもよい。例えば、ｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅの値が「１」の場合は、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを使用すると定義し、ｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅの値が「０」の場合は、Ｐｒｅｄｉｃｉｔｉｖｅ ｃｏｄｉｎｇを使用しないように定義されていてもよい。

【0067】

なお、ｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅが、ＧＰＳ２０１１ではなくＳＰＳ２００１に含んでいてもよい。

【0068】

ＧＰＳ２０１１は、ツリー合成部２０２０で、Ａｎｇｕｌａｒモードとして処理を行うかどうかを制御するためのフラグ（ｇｅｏｍ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄ）を含んでもよい。

【0069】

例えば、ｇｅｏｍ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄの値が「１」の場合は、ＡｎｇｕｌａｒモードとしてＰｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇを行うと定義し、ｇｅｏｍ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄの値が「０」の場合は、ＡｎｇｕｌａｒモードとしてＰｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇを行わないように定義されていてもよい。

【0070】

なお、ｇｅｏｍ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄが、ＧＰＳ２０１１ではなくＳＰＳ２００１に含んでいてもよい。

【0071】

ＧＰＳ２０１１は、ツリー合成部２０２０でインター予測の参照フレームの数を制御するフラグ（ｒｅｆｅｒｅｎｃｅ_ｍｏｄｅ_ｆｌａｇ）を含んでもよい。

【0072】

例えば、ｒｅｆｅｒｅｎｃｅ_ｍｏｄｅ_ｆｌａｇの値が「０」の場合は、参照フレームの数は１と定義し、ｒｅｆｅｒｅｎｃｅ_ｍｏｄｅ_ｆｌａｇの値が「１」の場合は、参照フレームの数は２と定義してもよい。

【0073】

なお、ｒｅｆｅｒｅｎｃｅ_ｍｏｄｅ_ｆｌａｇが、ＧＰＳ２０１１ではなくＳＰＳ２００１に含んでいてもよい。

【0074】

ＧＰＳ２０１１は、ツリー合成部２０２０のインター予測で使用する参照フレームを規定するシンタックス（ｒｅｆｅｒｅｎｃｅ_ｉｄ）を含んでいてもよい。

【0075】

例えば、ｒｅｆｅｒｅｎｃｅ_ｉｄはフレームバッファ２１２０に含まれるフレームのうち参照フレームとして使用するフレームを示すインデックス番号として表現されていてもよい。インデックス番号は、ｒｅｆｅｒｅｎｃｅ_ｍｏｄｅ_ｆｌａｇで規定される参照フレームの数と同数が含まれるように構成してもよい。

【0076】

なお、ｒｅｆｅｒｅｎｃｅ_ｉｄが、ＧＰＳ２０１１ではなくＳＰＳ２００１に含んでいてもよい。

【0077】

ｒｅｆｅｒｅｎｃｅ_ｉｄの代わりに、現在のフレームの直前に処理されたフレームから、ｒｅｆｅｒｅｎｃｅ_ｍｏｄｅ_ｆｌａｇで規定される数のフレームを参照フレームとして選択してもよい。

【0078】

ＧＰＳ２０１１は、ツリー合成部２０２０でインター予測のためにグローバル動き補償を行うか否かを制御するフラグ（ｇｌｏｂａｌ_ｍｏｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。

【0079】

例えば、ｇｌｏｂａｌ_ｍｏｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の場合は、グローバル動き補償を行わないと定義し、ｇｌｏｂａｌ_ｍｏｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の場合は、グローバル動き補償を行うと定義してもよい。

【0080】

グローバル動き補償を行う場合、各スライスデータには、グローバル動きベクターが含まれていてもよい。

【0081】

なお、ｇｌｏｂａｌ_ｍｏｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇは、ＧＰＳ２０１１ではなくＳＰＳ２００１に含んでいてもよい。
（ツリー合成部２０２０）
以下、図５～図１３を用いてツリー合成部２０２０の処理について説明する。図５は、ツリー合成部２０２０における処理の一例を示すフローチャートである。なお、以下では「Ｐｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇ」を使用してツリーを合成する場合の例について説明する。

【0082】

なお、「Ｐｒｅｄｉｃｔｉｖｅ ｃｏｒｄｉｎｇ」の代わりに「Ｐｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ」、「Ｐｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇ」、「Ｐｒｅｄｉｃｔｉｖｅ ｔｒｅｅ」等の呼称が用いられる場合もある。

【0083】

図５に示すように、ステップＳ５０１において、ツリー合成部２０２０は、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇの値に基づき、インター予測を使用するかどうかを判定する。

【0084】

ツリー合成部２０２０は、インター予測を使用すると判定した場合、ステップＳ５０２へ進み、インター予測を使用しないと判定した場合、ステップＳ５０５へ進む。

【0085】

ステップＳ５０２において、ツリー合成部２０２０は、ｒｅｆｅｒｅｎｃｅ_ｍｏｄｅ_ｆｌａｇの値に基づく数の参照フレームを取得する。ステップＳ５０２の具体的な処理は、後述する。ツリー合成部２０２０は、参照フレームを取得した後、ステップＳ５０３に進む。

【0086】

ステップＳ５０３において、ツリー合成部２０２０は、ｇｌｏｂａｌ_ｍｏｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇに基づき、グローバル動き補償を行うかどうかを判定する。

【0087】

ツリー合成部２０２０は、グローバル動き補償を行うと判定した場合、ステップＳ５０４へ進み、グローバル動き補償を行わないと判定した場合、ステップＳ５０５へ進む。

【0088】

ステップＳ５０４において、ツリー合成部２０２０は、ステップＳ５０２で取得した参照フレームに対してグローバル動き補償を行う。ステップＳ５０４の具体的な処理は、後述する。ツリー合成部２０２０は、グローバル動き補償を行った後、ステップＳ５０５に進む。

【0089】

ステップＳ５０５において、ツリー合成部２０２０は、スライスデータの復号を行う。ステップＳ５０５の具体的な処理は、後述する。ツリー合成部２０２０は、スライスデータを復号した後、ステップＳ５０６へ進む。

【0090】

ステップＳ５０６において、ツリー合成部２０２０は、処理を終了する。なお、ステップＳ５０３及びステップＳ５０４の処理、つまり、グローバル動き補償の判定及び実行は、ステップＳ５０５のスライスデータの復号処理の中で行われてもよい。

【0091】

図６は、ステップＳ５０２における処理の一例を示すフローチャートである。

【0092】

ステップＳ６０１において、ツリー合成部２０２０は、ｒｅｆｅｒｅｎｃｅ_ｉｄで規定される参照フレームＩＤリストが空かどうか判定する。

【0093】

ツリー合成部２０２０は、参照フレームＩＤリストが空であると判定した場合、ステップＳ６０５に進み、参照フレームＩＤリストが空でないと判定した場合、ステップＳ６０２に進む。

【0094】

ステップＳ６０２において、ツリー合成部２０２０は、参照フレームＩＤリストの先頭の要素を取り出し参照フレームＩＤとしてセットする。ツリー合成部２０２０は、参照フレームＩＤのセットが完了した後、ステップＳ６０３に進む。

【0095】

ステップＳ６０３において、ツリー合成部２０２０は、フレームバッファ２１２０から参照フレームＩＤに基づき参照フレームを選択する。フレームバッファ２１２０における復号済みフレームの格納方法については、後述する。ツリー合成部２０２０は、参照フレームを選択した後、ステップＳ６０４に進む。

【0096】

ステップＳ６０４において、ツリー合成部２０２０は、選択した参照フレームを参照フレームリストに追加する。ツリー合成部２０２０は、参照フレームリストへの追加が完了した後、ステップＳ６０１へ進む。

【0097】

ステップＳ６０５において、ツリー合成部２０２０は、ステップＳ５０２の処理を終了する。

【0098】

以上のように、ツリー合成部２０２０は、Ｐｒｅｄｉｃｔｉｖｅ ｃｏｒｄｉｎｇにおいて、複数の参照フレームを用いてインター予測を行うよう構成されていてもよい。これにより、インター予測の性能が向上できる。

【0099】

図７は、フレームバッファ２１２０における復号済みフレームの格納方法の一例を示す図である。

【0100】

フレームバッファ２１２０には、以前に復号されたフレームがリストとして記憶されているとしてもよい。

【0101】

フレームの復号は、時刻t、時刻ｔ＋１、…と時系列順に行われているとしてもよく、復号されたフレームは、フレームバッファ２１２０のリストの先頭から順に追加されるとしてもよい。

【0102】

かかるリスト内では、先頭から順にＩｎｄｅｘ（インデックス）が振られているとしてもよい。

【0103】

リストの長さには、最大数の制限が設けられており、最大数を超えた場合には、リストの末尾の要素から削除されるとしてもよい。

【0104】

復号されたフレームのフレームバッファ２１２０への追加は、全フレームで行われなくともよく、規定の数のフレームの復号が完了する毎に、１或いは規定の数のフレームが追加されるとしてもよい。

【0105】

以上のように、フレームバッファ２１２０は、復号されたフレームを最近復号されたものから順に複数保持し、保持できる最大数を超えた場合に古いフレームを棄却するように構成されてもよい。 これにより、メモリの使用量を抑えながらインター予測で複数の参照フレームを利用することができる。

【0106】

図８は、ステップＳ５０４におけるグローバル動き補償の処理の一例を示す図である。

【0107】

ここで、グローバル動き補償は、フレームごとの大域的な位置ずれを補正する処理である。

【0108】

ステップＳ５０４において、ツリー合成部２０２０は、幾何情報復号部２０１０によって復号されたグローバル動きベクターを用いて、ステップＳ５０２で取得した参照フレームと処理対象フレームとの間の大域的な位置ずれを解消するように参照フレームを補正する。

【0109】

例えば、ツリー合成部２０２０は、参照フレームの全ての座標に対応するグローバル動きベクターを足してもよい。

【0110】

参照フレームが、複数ある場合、ツリー合成部２０２０は、補正の方法として、例えば、図８-１に示す方法、或いは、図８-２に示す方法を用いてもよい。

【0111】

図８-１に示す方法は、複数の参照フレーム１、２のそれぞれに対して、処理対象フレームに対するグローバル動きベクター１、２を足す方法である。これにより、複数の参照フレームにグローバル動き補償を適用することができる。

【0112】

図８-２に示す方法は、参照フレーム１に対しては、処理対象フレームに対するグローバル動きベクター１を足し、参照フレーム２に対しては、グローバル動きベクター１と、参照フレーム２の参照フレーム１に対するグローバル動きベクター２とを足す方法である。これにより、グローバル動きベクターの伝送時のデータ量を抑えながら複数の参照フレームにグローバル動き補償を適用することができる。

【0113】

図８-２に示す方法では、先頭の参照フレーム（参照フレーム１）の処理対象フレームに対するグローバル動きベクター１について保持され、後続の処理において再利用されてもよい 。これにより、グローバル動きベクターの伝送時のデータ量を抑えることができる。

【0114】

例えば、処理対象が、後続のフレームに移り、処理対象フレーム及び参照フレーム１が、それぞれ参照フレーム１及び参照フレーム２として選択されるとき、グローバル動きベクター１は、グローバル動きベクター２として再利用されてもよい。

【0115】

なお、図８-１に示す方法及び図８-２に示す方法を採る場合、グローバル動きベクターは、どの参照フレームに対応するかを示すＩｎｄｅｘ等を含んでいてもよい。

【0116】

図９は、ステップＳ５０５におけるスライスデータの復号処理の一例を示すフローチャートである。

【0117】

図９に示すように、ステップＳ９０１において、ツリー合成部２０２０は、スライスデータに対応する予測木の構築を行う。

【0118】

スライスデータには、予測木の各ノードの子ノードの数が深さ優先順に並んだリストが含まれていてもよい。予測木を構築する方法としては、ルートノードから開始して、深さ優先順で、各ノードに、上述のリストで指定された数の子ノードを追加する方法を採ってもよい。

【0119】

ツリー合成部２０２０は、予測木の構築を完了した後、ステップＳ９０２へ進む。

【0120】

ステップＳ９０２において、ツリー合成部２０２０は、予測木の全ノードの処理が完了したかどうかを判定する。

【0121】

ツリー合成部２０２０は、予測木の全ノードの処理が完了していると判定した場合、ステップＳ９０７へ進み、予測木の全ノードの処理が完了していないと判定した場合、ステップＳ９０３へ進む。

【0122】

ステップＳ９０３において、ツリー合成部２０２０は、予測木から処理対象ノードを選択する。

【0123】

ツリー合成部２０２０は、予測木のノードの処理順序として、ルートノードから開始して深さ優先順としてもよく、直前に処理したノードの次のノードを処理対象ノードとして選択してもよい。

【0124】

ツリー合成部２０２０は、処理対象ノードの選択が完了した後、ステップＳ９０４へ進む。

【0125】

ステップＳ９０４において、ツリー合成部２０２０は、処理対象ノードに対応する点の座標の予測残差を復号する。

【0126】

スライスデータには、予測木の各ノードの予測残差が深さ優先順に並んだリストが含まれていてもよい。

【0127】

ツリー合成部２０２０は、処理対象ノードの予測残差の復号が完了した後、ステップＳ９０５へ進む。

【0128】

ステップＳ９０５において、ツリー合成部２０２０は、処理対象ノードに対応する点の座標を予測する。座標予測の具体的な方法は、後述する。ツリー合成部２０２０は、座標予測が完了した後、ステップＳ９０６へ進む。

【0129】

ステップＳ９０６において、ツリー合成部２０２０は、処理対象ノードに対応する点の座標を再構成する。ツリー合成部２０２０は、点の座標について、ステップＳ９０４において復号された残差と、ステップＳ９０５において予測された座標の和によって求めてもよい。

【0130】

ツリー合成部２０２０は、Ａｎｇｕｌａｒモードが使用されている場合は、予測残差及び予測座標が球面座標系に基づく値であることを考慮し、非特許文献１及び２に記載の方法で、座標の再構成を行ってもよい。

【0131】

ツリー合成部２０２０は、Ａｎｇｕｌａｒモードが使用されている場合は、非特許文献１及び２に記載の方法で、再構成された座標を球面座標系から直交座標系へ変換してもよい。

【0132】

ツリー合成部２０２０は、座標の再構成が完了した後、ステップ９０２へ進む。

【0133】

ステップＳ９０７において、ツリー合成部２０２０は、ステップＳ５０５の処理を終了する。

【0134】

図１０は、ステップＳ９０５における座標予測の処理の一例を示すフローチャートである。

【0135】

図１０に示すように、ステップＳ１００１において、ツリー合成部２０２０は、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇに基づき、インター予測を行うかどうかを判定する。

【0136】

ツリー合成部２０２０は、インター予測を行うと判定した場合、ステップＳ１００２へ進み、インター予測を行わないと判定した場合、ステップＳ１００３へ進む。

【0137】

ステップＳ１００２において、ツリー合成部２０２０は、参照フレームのノードの座標に基づき、処理対象ノードの座標を予測するインター予測を行う。ここで、予測に利用されるノードは、予測器と呼ばれる。予測器は、複数あってもよい。インター予測の具体的な方法は、後述する。

【0138】

ツリー合成部２０２０は、インター予測が完了した後、ステップＳ１００４へ進む。

【0139】

ステップＳ１００３において、ツリー合成部２０２０は、処理対象ノードの親ノードの点に基づき、処理対象ノードの座標を予測するイントラ予測を行う。予測に利用されるノードは、予測器と呼ばれる。予測器は、複数あってもよい。イントラ予測の方法としては、非特許文献１及び２と同様の方法を用いてもよい。

【0140】

ツリー合成部２０２０は、イントラ予測が完了した後、ステップＳ１００４へ進む。

【0141】

ステップＳ１００４において、ツリー合成部２０２０は、インター予測或いはイントラ予測において求めた予測器に、インデックスを付与する。イントラ予測において求めた予測器へのインデックス付与の方法としては、非特許文献１及び２と同様の方法を用いてもよい。インター予測において求めた予測器へのインデックス付与の具体的な方法は、後述する。

【0142】

なお、ツリー合成部２０２０は、予測器が１つしかない場合、ステップＳ１００４の処理はスキップしてもよい。

【0143】

ツリー合成部２０２０は、予測器へのインデックス付与が完了した後、ステップＳ１００５へ進む。

【0144】

ステップＳ１００５において、ツリー合成部２０２０は、使用する予測器を選択する。

【0145】

ここで、ツリー合成部２０２０は、予測器が１つしかない場合、その予測器を選択してもよい。

【0146】

一方、予測器が複数ある場合、スライスデータに予測器のインデックスが１つ含まれていてもよく、ツリー合成部２０２０は、かかるインデックスに対応する予測器を選択してもよい。

【0147】

選択された１つの予測器の座標は、処理対象ノードの座標の予測値とされてもよい。

【0148】

ツリー合成部２０２０は、予測器の選択が完了した後、ステップＳ１００６へ進む。

【0149】

ステップＳ１００６において、ツリー合成部２０２０は、ステップＳ９０５の処理を終了する。

【0150】

図１１及び図１２は、ステップＳ１００２におけるインター予測の処理の一例を示す図である。

【0151】

図１１は、参照フレームが１つの場合のインター予測の処理の一例について示す図である。

【0152】

ツリー合成部２０２０は、参照フレームの中から、処理対象ノードの親ノードに対応するノードを選び、選択したノードの子ノード、又は、かかるノードの子ノード及び孫ノードを、予測器としてもよい。

【0153】

ツリー合成部２０２０は、処理対象フレームの親ノードと参照フレームのノードとの対応付けについては、そのノードに紐づく復号済みの点の情報に基づいて行い、点の情報が同じ或いは点の情報が近いもの同士を対応付けてもよい。

【0154】

ツリー合成部２０２０は、点の情報として、座標を用いてもよく、Ａｎｇｕｌａｒモードの場合は、レーザーＩＤや方位角を用いてもよい。

【0155】

図１２は、参照フレームが複数の場合のインター予測の処理の一例を示す図である。

【0156】

図１２-１の例では、ツリー合成部２０２０は、各参照フレームの中から処理対象ノードの親ノードに対応するノードを選ぶ方法として、参照フレーム１の中からは、処理対象ノードの親ノードに対応するノードを選び、参照フレーム２の中からは、参照フレーム１で選ばれたノードに対応するノードを選ぶ。

【0157】

ツリー合成部２０２０は、各参照フレームの中から選ばれたノードの子ノード、又は、かかるノードの子ノード及び孫ノードを、予測器とする。これにより、複数の参照フレームから予測器を選択できる。

【0158】

図１２-２の例では、ツリー合成部２０２０は、各参照フレームの中から処理対象ノードの親ノードに対応するノードを選ぶ方法として、参照フレーム１及び参照フレーム２の中から処理対象ノードの親ノードに対応するノードを選ぶ。そして、ツリー合成部２０２０は、各参照フレームの中から対応付けられたノードの子ノード、又は、かかるノードの子ノード及び孫ノードを、予測器とする。これにより、複数の参照フレームから予測器を選択できる。

【0159】

ツリー合成部２０２０は、複数の参照フレームで求められた予測器の全てを、予測器としてもよいし、集約或いは選抜してもよい。

【0160】

ツリー合成部２０２０は、集約の方法として、例えば、全ての予測器の代わりに、それらの予測器の平均を取った新たな予測器を用いてもよい。

【0161】

ツリー合成部２０２０は、各参照フレームにおける子ノード同士或いは孫ノード同士でそれぞれ平均を取った新たな予測器を用いてもよい。

【0162】

ここで、ツリー合成部２０２０は、処理対象フレームと時間的に近い参照フレームから得た予測器ほど重視するように、重み付き平均を取ってもよい。

【0163】

ツリー合成部２０２０は、選抜の方法として、例えば、処理対象フレームと時間的に近い参照フレームほど多くの予測器を持つように、参照フレーム１からは子ノード及び孫ノードを予測器として用い、参照フレーム２からは子ノードのみを予測器として用いるようにしてもよい。

【0164】

ツリー合成部２０２０は、複数の参照フレームから得られた全ての予測器に対してある基準に基づく順位付けを行い、上位から事前に指定の数の予測器を選抜するようにしてもよい。ここで、ある基準とは、例えば、Ａｎｇｕｌａｒモードの場合、方位角の値を基準に用いてもよい。

【0165】

図１３は、ステップＳ１００４におけるインター予測で求められた予測器へのインデックス付与の処理の一例を示す図である。

【0166】

図１３-１は、予測器が属する参照フレームの順に予測器へインデックスを付与する方法である。ツリー合成部２０２０は、同じ参照フレームに属する予測器に対しては、子ノード及び孫ノードの順に、インデックスを付与してもよい。

【0167】

図１３-２は、Ａｎｇｕｌａｒモードの場合に、予測器のノードが持つ点の情報のうち、方位角の小さいものから順にインデックスを付与する方法である。

【0168】

図１３-３は、予測器のノードが持つ点の情報が処理対象ノードの親ノードに似ているものから順にインデックスを付与する方法である。

【0169】

（点群符号化装置１００）
以下、図１４を参照して、本実施形態に係る点群符号化装置１００について説明する。図１４は、本実施形態に係る点群符号化装置１００の機能ブロックの一例について示す図である。

【0170】

図１４に示すように、点群符号化装置１００は、座標変換部１０１０と、幾何情報量子化部１０２０と、ツリー解析部１０３０と、近似表面解析部１０４０と、幾何情報符号化部１０５０と、幾何情報再構成部１０６０と、色変換部１０７０と、属性転移部１０８０と、ＲＡＨＴ部１０９０と、ＬｏＤ算出部１１００と、リフティング部１１１０と、属性情報量子化部１１２０と、属性情報符号化部１１３０と、フレームバッファ１１４０とを有する。

【0171】

座標変換部１０１０は、入力点群の３次元座標系から、任意の異なる座標系への変換処理を行うよう構成されている。座標変換は、例えば、入力点群を回転することにより、入力点群のｘ、ｙ、ｚ座標を任意のs、ｔ、ｕ座標に変換してもよい。また、変換のバリエーションの１つとして、入力点群の座標系をそのまま使用してもよい。

【0172】

幾何情報量子化部１０２０は、座標変換後の入力点群の位置情報の量子化及び座標が重複する点の除去を行うように構成されている。なお、量子化ステップサイズが１の場合は、入力点群の位置情報と量子化後の位置情報とが一致する。すなわち、量子化ステップサイズが１の場合は、量子化を行わない場合と等価になる。

【0173】

ツリー解析部１０３０は、量子化後の点群の位置情報を入力として、後述のツリー構造に基づいて、符号化対象空間のどのノードに点が存在するかについて示すｏｃｃｕｐａｎｃｙ ｃｏｄｅを生成するように構成されている。

【0174】

ツリー解析部１０３０は、本処理において、符号化対象空間を再帰的に直方体で区切ることにより、ツリー構造を生成するように構成されている。

【0175】

ここで、ある直方体内に点が存在する場合、かかる直方体を複数の直方体に分割する処理を、直方体が所定のサイズになるまで再帰的に実行することでツリー構造を生成することができる。なお、かかる各直方体をノードと呼ぶ。また、ノードを分割して生成される各直方体を子ノードと呼び、子ノード内に点が含まれるか否かについて０又は１で表現したものがｏｃｃｕｐａｎｃｙ ｃｏｄｅである。

【0176】

以上のように、ツリー解析部１０３０は、所定のサイズになるまでノードを再帰的に分割しながら、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを生成するように構成されている。

【0177】

本実施形態では、上述の直方体を常に立方体として８分木分割を再帰的に行う「Ｏｃｔｒｅｅ」と呼ばれる手法、及び、８分木分割に加え、４分木分割及び２分木分割を行う「ＱｔＢｔ」と呼ばれる手法を使用することができる。

【0178】

ここで、「ＱｔＢｔ」を使用するか否かについては、制御データとして点群復号装置２００に伝送される。

【0179】

或いは、任意のツリー構成を用いるＰｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇを使用するように指定されてもよい。かかる場合、ツリー解析部１０３０が、ツリー構造を決定し、決定されたツリー構造は、制御データとして点群復号装置２００へ伝送される。

【0180】

例えば、ツリー構造の制御データは、図５～図１２で説明した手順で復号できるよう構成されていてもよい。

【0181】

近似表面解析部１０４０は、ツリー解析部１０３０によって生成されたツリー情報を用いて、近似表面情報を生成するように構成されている。

【0182】

近似表面情報は、例えば、物体の３次元点群データを復号する際等において、点群が物体表面に密に分布しているような場合に、個々の点群を復号するのではなく、点群の存在領域を小さな平面で近似して表現したものである。

【0183】

具体的には、近似表面解析部１０４０は、例えば、「Ｔｒｉｓｏｕｐ」と呼ばれる手法で、近似表面情報を生成するように構成されていてもよい。また、Ｌｉｄａｒ等で取得した疎な点群を復号する場合は、本処理を省略することができる。

【0184】

幾何情報符号化部１０５０は、ツリー解析部１０３０によって生成されたｏｃｃｕｐａｎｃｙ ｃｏｄｅ及び近似表面解析部１０４０によって生成された近似表面情報等のシンタックスを符号化してビットストリーム（幾何情報ビットストリーム）を生成するように構成されている。ここで、ビットストリームには、例えば、図４で説明したシンタックスを含まれていてもよい。

【0185】

符号化処理は、例えば、コンテクスト適応二値算術符号化処理である。ここで、例えば、シンタックスは、位置情報の復号処理を制御するための制御データ（フラグやパラメータ）を含む。

【0186】

幾何情報再構成部１０６０は、ツリー解析部１０３０によって生成されたツリー情報及び近似表面解析部１０４０によって生成された近似表面情報に基づいて、符号化対象の点群データの各点の幾何情報（符号化処理が仮定している座標系、すなわち、座標変換部１０１０における座標変換後の位置情報）を再構成するように構成されている。

【0187】

フレームバッファ１１４０は、幾何情報再構成部１０６０によって再構成された幾何情報を入力とし、参照フレームとして保存するように構成されている。

【0188】

例えば、フレームバッファ１１４０は、図７においてフレームバッファ２１２０について説明した方法と同様の方法で参照フレームを保持するよう構成されていてもよい。

【0189】

保存された参照フレームは、ツリー解析部１０３０において時間的に異なるフレームのインター予測を行う場合に、フレームバッファ１１４０から読み出されて参照フレームとして使用される。

【0190】

ここで、各フレームに対してどの時刻の参照フレームを用いるかどうかが、例えば、符号化効率を表すコスト関数の値に基づいて決定され、使用する参照フレームの情報が制御データとして点群復号装置２００へ伝送されてもよい。

【0191】

色変換部１０７０は、入力の属性情報が色情報であった場合に、色変換を行うように構成されている。色変換は、必ずしも実行する必要は無く、色変換処理の実行の有無については、制御データの一部として符号化され、点群復号装置２００へ伝送される。

【0192】

属性転移部１０８０は、入力点群の位置情報、幾何情報再構成部１０６０における再構成後の点群の位置情報及び色変換部１０７０での色変化後の属性情報に基づいて、属性情報の歪みが最小となるように属性値を補正するように構成されている。具体的な補正方法は、例えば、非特許文献２に記載の方法を適用できる。

【0193】

ＲＡＨＴ部１０９０は、属性転移部１０８０による転移後の属性情報及び幾何情報再構成部１０６０によって生成された幾何情報を入力とし、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）と呼ばれるＨａａｒ変換の一種を用いて、各点の残差情報を生成するように構成されている。ＲＡＨＴの具体的な処理としては、例えば、上述の非特許文献２に記載の方法を用いることができる。

【0194】

ＬｏＤ算出部１１００は、幾何情報再構成部１０６０によって生成された幾何情報を入力とし、ＬｏＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するように構成されている。

【0195】

ＬｏＤは、ある点の属性情報から、他のある点の属性情報を予測し、予測残差を符号化或いは復号するといった予測符号化を実現するための参照関係（参照する点及び参照される点）を定義するための情報である。

【0196】

言い換えると、ＬｏＤは、幾何情報に含まれる各点を複数のレベルに分類し、下位のレベルに属する点については上位のレベルに属する点の属性情報を用いて属性を符号化或いは復号するといった階層構造を定義した情報である。

【0197】

ＬｏＤの具体的な決定方法としては、例えば、上述の非特許文献２に記載の方法を用いてもよい。

【0198】

リフティング部１１１０は、ＬｏＤ算出部１１００によって生成されたＬｏＤ及び属性転移部１０８０での属性転移後の属性情報を用いて、リフティング処理により残差情報を生成するように構成されている。

【0199】

リフティングの具体的な処理としては、例えば、上述の非特許文献２に記載の方法を用いてもよい。

【0200】

属性情報量子化部１１２０は、ＲＡＨＴ部１０９０又はリフティング部１１１０から出力される残差情報を量子化するように構成されている。ここで、量子化ステップサイズが１の場合は、量子化を行わない場合と等価である。

【0201】

属性情報符号化部１１３０は、属性情報量子化部１１２０から出力される量子化後の残差情報等をシンタックスとして符号化処理を行い、属性情報に関するビットストリーム（属性情報ビットストリーム）を生成するように構成されている。

【0202】

符号化処理は、例えば、コンテクスト適応二値算術符号化処理である。ここで、例えば、シンタックスは、属性情報の復号処理を制御するための制御データ（フラグ及びパラメータ）を含む。

【0203】

点群符号化装置１００は、以上の処理により、点群内の各点の位置情報及び属性情報を入力として符号化処理を行い、幾何情報ビットストリーム及び属性情報ビットストリームを出力するように構成されている。

【0204】

また、上述の点群符号化装置１００及び点群復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【0205】

なお、上記の各実施形態では、本発明を点群符号化装置１００及び点群復号装置２００への適用を例にして説明したが、本発明は、かかる例のみに限定されるものではなく、点群符号化装置１００及び点群復号装置２００の各機能を備えた点群符号化/復号システムにも同様に適用できる。

【産業上の利用可能性】

【0206】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0207】

１０…点群処理システム
１００…点群符号化装置
１０１０…座標変換部
１０２０…幾何情報量子化部
１０３０…ツリー解析部
１０４０…近似表面解析部
１０５０…幾何情報符号化部
１０６０…幾何情報再構成部
１０７０…色変換部
１０８０…属性転移部
１０９０…ＲＡＨＴ部
１１００…ＬｏＤ算出部
１１１０…リフティング部
１１２０…属性情報量子化部
１１３０…属性情報符号化部
１１４０…フレームバッファ
２００…点群復号装置
２０１０…幾何情報復号部
２０２０…ツリー合成部
２０３０…近似表面合成部
２０４０…幾何情報再構成部
２０５０…逆座標変換部
２０６０…属性情報復号部
２０７０…逆量子化部
２０８０…ＲＡＨＴ部
２０９０…ＬｏＤ算出部
２１００…逆リフティング部
２１１０…逆色変換部
２１２０…フレームバッファ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8-1】

【図8-2】

【図9】

【図10】

【図11】

【図12-1】

【図12-2】

【図13-1】

【図13-2】

【図13-3】

【図14】