知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025009505
(43)【公開日】2025-01-20
(54)【発明の名称】点群復号装置、点群復号方法及びプログラム
(51)【国際特許分類】
G06T 9/40 20060101AFI20250110BHJP
【ＦＩ】
G06T9/40
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023112556
(22)【出願日】2023-07-07
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和５年度、総務省「３次元空間データの無線伝送に向けた高能率圧縮技術の研究開発」、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】110001564
【氏名又は名称】フェリシテ弁理士法人
(72)【発明者】
【氏名】花岡 洋平
(72)【発明者】
【氏名】海野 恭平
(72)【発明者】
【氏名】野中 敬介
(72)【発明者】
【氏名】河村 圭
(57)【要約】
【課題】符号化効率を改善すること。
【解決手段】本発明に係る点群復号装置２００は、Ａｎｇｕｌａｒモードにおいて、同一レーザー内で取得される点の数に基づいて、復号した方位角ステップ数を補正するツリー合成部を備えるツリー合成部２０２０を備える。
【選択図】図２
【解決手段】本発明に係る点群復号装置２００は、Ａｎｇｕｌａｒモードにおいて、同一レーザー内で取得される点の数に基づいて、復号した方位角ステップ数を補正するツリー合成部を備えるツリー合成部２０２０を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
点群復号装置であって、
Ａｎｇｕｌａｒモードにおいて、同一レーザー内で取得される点の数に基づいて、復号した方位角ステップ数を補正するツリー合成部を備えることを特徴とする点群復号装置。
Ａｎｇｕｌａｒモードにおいて、同一レーザー内で取得される点の数に基づいて、復号した方位角ステップ数を補正するツリー合成部を備えることを特徴とする点群復号装置。
【請求項2】
前記ツリー合成部は、前記点の数の最大値の割合を、前記復号した方位角ステップ数に加算することで、前記復号した方位角ステップ数を補正することを特徴とする請求項１に記載の点群復号装置。
【請求項3】
前記ツリー合成部は、前記点の数の最大値の割合を、前記復号した方位角ステップ数に乗算することで、前記復号した方位角ステップ数を補正することを特徴とする請求項１に記載の点群復号装置。
【請求項4】
点群復号装置であって、
Ａｎｇｕｌａｒモードにおいて、同一レーザー内で取得される点の数に基づいて、レーザーの回転速度を補正するツリー合成部を備えることを特徴とする点群復号装置。
Ａｎｇｕｌａｒモードにおいて、同一レーザー内で取得される点の数に基づいて、レーザーの回転速度を補正するツリー合成部を備えることを特徴とする点群復号装置。
【請求項5】
点群復号方法であって、
Ａｎｇｕｌａｒモードにおいて、同一レーザー内で取得される点の数に基づいて、復号した方位角ステップ数を補正する工程を有することを特徴とする点群復号方法。
Ａｎｇｕｌａｒモードにおいて、同一レーザー内で取得される点の数に基づいて、復号した方位角ステップ数を補正する工程を有することを特徴とする点群復号方法。
【請求項6】
コンピュータを、点群復号装置として機能させるプログラムであって、
前記点群復号装置は、
Ａｎｇｕｌａｒモードにおいて、同一レーザー内で取得される点の数に基づいて、復号した方位角ステップ数を補正するツリー合成部を備えることを特徴とするプログラム。
前記点群復号装置は、
Ａｎｇｕｌａｒモードにおいて、同一レーザー内で取得される点の数に基づいて、復号した方位角ステップ数を補正するツリー合成部を備えることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、点群復号装置、点群復号方法及びプログラムに関する。
【背景技術】
【0002】
非特許文献２では、Ｐｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇのＡｎｇｕｌａｒモードかつ適応的方位角量子化モードにおいて、方位角ステップ数を復号する方法が開示されている。。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Ｇ-ＰＣＣ ｃｏｄｅｃ ｄｅｓｃｒｉｐｔｉｏｎ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ７ Ｎ００２７１
【非特許文献2】Ｇ-ＰＣＣ ２ｎｄ Ｅｄｉｔｉｏｎ ｃｏｄｅｃ ｄｅｓｃｒｉｐｔｉｏｎ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ７ Ｎ００３１４
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、非特許文献２の方法では、方位角ステップ数を復号する際に、復号対象ノードがどのレーザーの点であっても同一の方法で復号しているが、同一レーザー内で取得される点の数がレーザーごとに異なることを考慮できていないため、符号化効率が最適ではないという問題点があった。
【0005】
そこで、本発明は、上述の課題に鑑みてなされたものであり、符号化効率を改善することができる点群復号装置、点群復号方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第１の特徴は、点群復号装置であって、Ａｎｇｕｌａｒモードにおいて、同一レーザー内で取得される点の数に基づいて、復号した方位角ステップ数を補正するツリー合成部を備えることを要旨とする。
【0007】
本発明の第２の特徴は、点群復号装置であって、Ａｎｇｕｌａｒモードにおいて、同一レーザー内で取得される点の数に基づいて、レーザーの回転速度を補正するツリー合成部を備えることを要旨とする。
【0008】
本発明の第３の特徴は、点群復号方法であって、Ａｎｇｕｌａｒモードにおいて、同一レーザー内で取得される点の数に基づいて、復号した方位角ステップ数を補正する工程を有することを要旨とする。
【0009】
本発明の第４の特徴は、コンピュータを、点群復号装置として機能させるプログラムであって、前記点群復号装置は、Ａｎｇｕｌａｒモードにおいて、同一レーザー内で取得される点の数に基づいて、復号した方位角ステップ数を補正するツリー合成部を備えることを要旨とする。
【発明の効果】
【0010】
本発明によれば、符号化効率を改善することができる点群復号装置、点群復号方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【0013】
【0014】
図１に示すように、点群処理システム１０は、点群符号化装置１００及び点群復号装置２００を有する。
【0015】
点群符号化装置１００は、入力点群信号を符号化することによって符号化データ（ビットストリーム）を生成するように構成されている。点群復号装置２００は、ビットストリームを復号することによって出力点群信号を生成するように構成されている。
【0016】
なお、入力点群信号及び出力点群信号は、点群内の各点の位置情報と属性情報とから構成される。属性情報は、例えば、各点の色情報や反射率である。
【0017】
ここで、かかるビットストリームは、点群符号化装置１００から点群復号装置２００に対して伝送路を介して送信されてもよい。また、ビットストリームは、記憶媒体に格納された上で、点群符号化装置１００から点群復号装置２００に提供されてもよい。
【0018】
【0019】
図２に示すように、点群復号装置２００は、幾何情報復号部２０１０と、ツリー合成部２０２０と、近似表面合成部２０３０と、幾何情報再構成部２０４０と、逆座標変換部２０５０と、属性情報復号部２０６０と、逆量子化部２０７０と、ＲＡＨＴ部２０８０と、ＬｏＤ算出部２０９０と、逆リフティング部２１００と、逆色変換部２１１０と、フレームバッファ２１２０とを有する。
【0020】
幾何情報復号部２０１０は、点群符号化装置１００から出力されるビットストリームのうち、幾何情報に関するビットストリーム（幾何情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。
【0021】
復号処理は、例えば、コンテクスト適応二値算術復号処理である。ここで、例えば、シンタックスは、位置情報の復号処理を制御するための制御データ（フラグやパラメータ）を含む。
【0022】
ツリー合成部２０２０は、幾何情報復号部２０１０によって復号された制御データ及び後述するツリー内のどのノードに点群が存在するかを示すｏｃｃｕｐａｎｃｙ ｃｏｄｅを入力として、復号対象空間内のどの領域に点が存在するかというツリー情報を生成するように構成されている。
【0023】
なお、ｏｃｃｕｐａｎｃｙ ｃｏｄｅの復号処理をツリー合成部２０２０内部で行うよう構成されていてもよい。
【0024】
本処理は、復号対象空間を直方体で区切り、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照して各直方体内に点が存在するかを判断し、点が存在する直方体を複数の直方体に分割し、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを参照するという処理を再帰的に繰り返すことで、ツリー情報を生成することができる。
【0025】
ここで、かかるｏｃｃｕｐａｎｃｙ ｃｏｄｅの復号に際して、後述するインター予測を用いてもよい。
【0026】
本実施形態では、上述の直方体を常に立方体として８分木分割を再帰的に行う「Ｏｃｔｒｅｅ」と呼ばれる手法、及び、８分木分割に加え、４分木分割及び２分木分割を行う「ＱｔＢｔ」と呼ばれる手法を使用することができる。ＱｔＢｔ」を使用するか否かは、制御データとして点群符号化装置１００側から伝送される。
【0027】
或いは、制御データによってＰｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇを使用するように指定された場合、ツリー合成部２０２０は、点群符号化装置１００において決定した任意のツリー構成に基づいて各点の座標を復号するように構成されている。
【0028】
近似表面合成部２０３０は、ツリー合成部２０２０によって生成されたツリー情報を用いて近似表面情報を生成し、かかる近似表面情報に基づいて点群を復号するように構成されている。
【0029】
近似表面情報は、例えば、物体の３次元点群データを復号する際等において、点群が物体表面に密に分布しているような場合に、個々の点群を復号するのではなく、点群の存在領域を小さな平面で近似して表現したものである。
【0030】
具体的には、近似表面合成部２０３０は、例えば、「Ｔｒｉｓｏｕｐ」と呼ばれる手法で、近似表面情報を生成し、点群を復号することができる。「Ｔｒｉｓｏｕｐ」の具体的な処理例については後述する。また、Ｌｉｄａｒ等で取得した疎な点群を復号する場合は、本処理を省略することができる。
【0031】
幾何情報再構成部２０４０は、ツリー合成部２０２０によって生成されたツリー情報及び近似表面合成部２０３０によって生成された近似表面情報を元に、復号対象の点群データの各点の幾何情報（復号処理が仮定している座標系における位置情報）を再構成するように構成されている。
【0032】
逆座標変換部２０５０は、幾何情報再構成部２０４０によって再構成された幾何情報を入力として、復号処理が仮定している座標系から、出力点群信号の座標系に変換を行い、位置情報を出力するように構成されている。
【0033】
フレームバッファ２１２０は、幾何情報再構成部２０４０によって再構成された幾何情報を入力として、参照フレームとして保存するように構成されている。保存した参照フレームは、ツリー合成部２０２０において時間的に異なるフレームのインター予測を行う場合に、フレームバッファ２１３０から読み出されて参照フレームとして使用される。
【0034】
ここで、各フレームに対してどの時刻の参照フレームを用いるかどうかは、例えば、点群符号化装置１００からビットストリームとして伝送されてくる制御データに基づいて決定されてもよい。
【0035】
属性情報復号部２０６０は、点群符号化装置１００から出力されるビットストリームのうち、属性情報に関するビットストリーム（属性情報ビットストリーム）を入力とし、シンタックスを復号するように構成されている。
【0036】
復号処理は、例えば、コンテクスト適応二値算術復号処理である。ここで、例えば、シンタックスは、属性情報の復号処理を制御するための制御データ（フラグ及びパラメータ）を含む。
【0037】
また、属性情報復号部２０６０は、復号したシンタックスから、量子化済み残差情報を復号するように構成されている。
【0038】
逆量子化部２０７０は、属性情報復号部２０６０によって復号された量子化済み残差情報と、属性情報復号部２０６０によって復号された制御データの一つである量子化パラメータとを元に、逆量子化処理を行い、逆量子化済み残差情報を生成するように構成されている。
【0039】
逆量子化済み残差情報は、復号対象の点群の特徴に応じて、ＲＡＨＴ部２０８０及びＬｏＤ算出部２０９０のいずれかに出力される。いずれに出力されるかは、属性情報復号部２０６０によって復号される制御データによって指定される。
【0040】
ＲＡＨＴ部２０８０は、逆量子化部２０７０によって生成された逆量子化済み残差情報及び幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）と呼ばれるＨａａｒ変換（復号処理においては、逆Ｈａａｒ変換）の一種を用いて、各点の属性情報を復号するように構成されている。ＲＡＨＴの具体的な処理としては、例えば、非特許文献１に記載の方法を用いることができる。
【0041】
ＬｏＤ算出部２０９０は、幾何情報再構成部２０４０によって生成された幾何情報を入力とし、ＬｏＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するように構成されている。
【0042】
ＬｏＤは、ある点の属性情報から、他のある点の属性情報を予測し、予測残差を符号化或いは復号するといった予測符号化を実現するための参照関係（参照する点及び参照される点）を定義するための情報である。
【0043】
言い換えると、ＬｏＤは、幾何情報に含まれる各点を複数のレベルに分類し、下位のレベルに属する点については上位のレベルに属する点の属性情報を用いて属性を符号化或いは復号するといった階層構造を定義した情報である。
【0044】
ＬｏＤの具体的な決定方法としては、例えば、上述の非特許文献１に記載の方法を用いてもよい。
【0045】
逆リフティング部２１００は、ＬｏＤ算出部２０９０によって生成されたＬｏＤ及び逆量子化部２０７０によって生成された逆量子化済み残差情報を用いて、ＬｏＤで規定した階層構造に基づいて各点の属性情報を復号するように構成されている。逆リフティングの具体的な処理としては、例えば、上述の非特許文献１に記載の方法を用いることができる。
【0046】
逆色変換部２１１０は、復号対象の属性情報が色情報であり且つ点群符号化装置１００側で色変換が行われていた場合に、ＲＡＨＴ部２０８０又は逆リフティング部２１００から出力される属性情報に逆色変換処理を行うように構成されている。かかる逆色変換処理の実行の有無については、属性情報復号部２０６０によって復号された制御データによって決定される。
【0047】
点群復号装置２００は、以上の処理により、点群内の各点の属性情報を復号して出力するように構成されている。
【0048】
【0049】
図３は、幾何情報復号部２０１０で受信する符号化データ（ビットストリーム）の構成の一例である。
【0050】
第１に、ビットストリームは、ＧＰＳ２０１１を含んでいてもよい。ＧＰＳ２０１１は、ジオメトリパラメータセットとも呼ばれ、幾何情報の復号に関する制御データの集合である。具体例については後述する。各ＧＰＳ２０１１は、複数のＧＰＳ２０１１が存在する場合に個々を識別するためのＧＰＳ ｉｄ情報を少なくとも含む。
【0051】
第２に、ビットストリームは、ＧＳＨ２０１２Ａ/２０１２Ｂを含んでいてもよい。ＧＳＨ２０１２Ａ/２０１２Ｂは、ジオメトリスライスヘッダ或いはジオメトリデータユニットヘッダとも呼ばれ、後述するスライスに対応する制御データの集合である。以降では、スライスという呼称を用いて説明するが、スライスをデータユニットと読み替えることもできる。具体例については後述する。ＧＳＨ２０１２Ａ/２０１２Ｂは、各ＧＳＨ２０１２Ａ/２０１２Ｂに対応するＧＰＳ２０１１を指定するためのＧＰＳ ｉｄ情報を少なくとも含む。
【0052】
第３に、ビットストリームは、ＧＳＨ２０１２Ａ/２０１２Ｂの次に、スライスデータ２０１３Ａ/２０１３Ｂを含んでいてもよい。スライスデータ２０１３Ａ/２０１３Ｂには、幾何情報を符号化したデータが含まれている。
【0053】
以上のように、ビットストリームは、各スライスデータ２０１３Ａ/２０１３Ｂに、１つずつＧＳＨ２０１２Ａ/２０１２Ｂ及びＧＰＳ２０１１が対応する構成となる。
【0054】
上述のように、ＧＳＨ２０１２Ａ/２０１２Ｂにて、どのＧＰＳ２０１１を参照するかをＧＰＳ ｉｄ情報で指定するため、複数のスライスデータ２０１３Ａ/２０１３Ｂに対して共通のＧＰＳ２０１１を用いることができる。
【0055】
言い換えると、ＧＰＳ２０１１は、スライスごとに必ずしも伝送する必要がない。例えば、図３のように、ＧＳＨ２０１２Ｂ及びスライスデータ２０１３Ｂの直前では、ＧＰＳ２０１１を符号化しないようなビットストリームの構成とすることもできる。
【0056】
なお、図３の構成は、あくまで一例である。各スライスデータ２０１３Ａ/２０１３Ｂに、ＧＳＨ２０１２Ａ/２０１２Ｂ及びＧＰＳ２０１１が対応する構成となっていれば、ビットストリームの構成要素として、上述以外の要素が追加されてもよい。
【0057】
例えば、図３に示すように、ビットストリームは、シーケンスパラメータセット（ＳＰＳ）２００１を含んでいてもよい。また、同様に、伝送に際して、図３と異なる構成に整形されてもよい。更に、後述する属性情報復号部２０６０で復号されるビットストリームと合成して単一のビットストリームとして伝送されてもよい。
【0058】
図４は、ＧＰＳ２０１１のシンタックス構成の一例である。
【0059】
なお、以下で説明するシンタックス名は、あくまで一例である。以下で説明したシンタックスの機能が同様であれば、シンタックス名は異なっていても差し支えない。
【0060】
ＧＰＳ２０１１は、各ＧＰＳ２０１１を識別するためのＧＰＳ ｉｄ情報（ｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を含んでもよい。
【0061】
なお、図４のＤｅｓｃｒｉｐｔｏｒ欄は、各シンタックスが、どのように符号化されているかを意味している。ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（１）は、１ビットのフラグであることを意味する。
【0062】
ＧＰＳ２０１１は、ツリー合成部２０２０でツリータイプを制御するためのフラグ（ｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅ）を含んでもよい。
【0063】
例えば、ｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅの値が「１」の場合は、Ｐｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇを使用すると定義し、ｇｅｏｍ_ｔｒｅｅ_ｔｙｐｅの値が「０」の場合は、Ｏｃｔｒｅｅを使用するように定義されていてもよい。
【0064】
ＧＰＳ２０１１は、ツリー合成部２０２０で、Ａｎｇｕｌａｒモードとして処理を行うかどうかを制御するためのフラグ（ｇｅｏｍ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄ）を含んでもよい。
【0065】
例えば、ｇｅｏｍ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄの値が「１」の場合は、ＡｎｇｕｌａｒモードとしてＰｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇの処理を行うと定義し、ｇｅｏｍ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄの値が「０」の場合は、ＡｎｇｕｌａｒモードとしてＰｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇの処理を行わないように定義されていてもよい。
【0066】
ＧＰＳ２０１１は、ツリー合成部２０２０で、Ａｎｇｕｌａｒモードにおいて、点群取得装置のレーザーＩＤに応じた、同一レーザー内点数に関する値（ａｎｇｕｌａｒＮｕｍＰｈｉＰｅｒＴｕｒｎ）を含んでもよい。同一レーザー内点数とは、同一レーザー内で取得される点の数である。
【0067】
また、同一レーザー内点数は、レーザーごとに固有の値であり、レーザーＩＤの数だけ存在する。例えば、レーザーＩＤが、６４個ある場合、同一レーザー内点数も、６４個存在する。
【0068】
ＧＰＳ２０１１は、ツリー合成部２０２０で、Ａｎｇｕｌａｒモードにおいて、適応的方位角量子化モードであるかどうかを制御するためのフラグ（ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄ）を含んでもよい。適応的方位角量子化モードとは、半径に応じた適応的な方位角の量子化を行うモードである。
【0069】
例えば、ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄの値が「１」の場合は、半径に応じた適応的な方位角の量子化を行うと定義し、ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄの値が「０」の場合は、半径に応じた適応的な方位角の量子化を行わないと定義されていてもとい。
【0070】
また、Ａｎｇｕｌａｒモードにおける予測器の計算（選択）において、予測器リストを使うかどうか制御するためのフラグとして用いてもよい。
【0071】
例えば、ｐｔｒｅｅ_ａｚｉｍｕｔｈ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄの値が「１」の場合は、かかる予測器の計算において、予測器リストを使うと定義し、ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄの値が「０」の場合は、かかる予測器の計算において、予測器リストを使わないと定義されていてもよい。
【0072】
ＧＰＳ２０１１は、ツリー合成部２０２０で、Ａｎｇｕｌａｒモードにおいて、方位角の予測値の計算するために利用するためのレーザーの回転速度に関する値（ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｔｅｐ_ｍｉｎｕｓ１）を含んでもよい。
【0073】
ＧＰＳ２０１１は、ツリー合成部２０２０で、Ａｎｇｕｌａｒモードにおいて、半径残差を復号する際に用いる、方位角ステップ数に関する閾値（ｒｅｓＲ_ｃｏｎｔｅｘｔ_ｑｐｈｉ_ｔｈｒｅｓｈｏｌｄ）を含んでもよい。
【0074】
ＧＰＳ２０１１は、ツリー合成部２０２０で、Ａｎｇｕｌａｒモードにおいて、方位角ステップ数に関する閾値を復号器に伝送するかどうか制御するためのフラグ（ｒｅｓＲ_ｃｏｎｔｅｘｔ_ｑｐｈｉ_ｔｈｒｅｓｈｏｌｄ_ｐｒｅｓｅｎｔ_ｆｌａｇ）を含んでもよい。
【0075】
例えば、ｒｅｓＲ_ｃｏｎｔｅｘｔ_ｑｐｈｉ_ｔｈｒｅｓｈｏｌｄ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が「１」の場合は、閾値を復号器に伝送すると定義し、ｒｅｓＲ_ｃｏｎｔｅｘｔ_ｑｐｈｉ_ｔｈｒｅｓｈｏｌｄ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が「０」の場合は、閾値を復号器に伝送しないと定義されていても良い。
【0076】
【0077】
図５は、ツリー合成部２０２０における処理の一例を示すフローチャートである。なお、以下では「Ｐｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇ」を使用してツリーを合成する場合の例について説明する。
【0078】
Ｐｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇは、Ｐｒｅｄｉｃｔｉｖｅ Ｔｒｅｅとも呼ばれている。Ｐｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇは、点群符号化装置１００側で決めた任意の木構造に基づいて予測した位置情報及び当該点群データの位置情報の残差を復号し、両者を加算することで当該点群データの位置情報を復号する手段である。
【0079】
図５に示すように、ステップＳ５０１において、ツリー合成部２０２０は、当該スライス内に含まれる全ての点群データの位置情報の復号が完了したかどうかを判定する。
【0080】
この処理は、例えば、ＧＳＨに当該スライスに含まれる点群データ数を示す情報を伝送しておき、この点群データ数と既に処理したデータ数とを比較することで、全ての点の処理が完了したか否かを判定することができる。
【0081】
全ての点群データの位置情報の復号が完了した場合は、本動作は、ステップＳ５１３へ進み、処理を終了する。全ての点群データの位置情報の復号が完了していない場合は、本動作は、ステップＳ５０２へ進む。
【0082】
ステップＳ５０２において、ツリー合成部２０２０は、点群データの復号対象ノード（処理対象ノード）の親ノードを設定する。
【0083】
例えば、ツリー合成部２０２０は、各復号対象ノードの子ノードの数を復号し、かかる子ノード数の分だけ復号対象ノードのインデックスを格納しておく。
【0084】
そして、ツリー合成部２０２０は、あるノードの後に復号対象ノードの処理を行う場合、当該ノードのインデックスの配列を参照し、かかる配列の末尾に格納されているインデックスを１つ取得し、取得したインデックスのノードを、かかる復号対象ノードの親ノードに設定してもよい。
【0085】
かかる親ノードの設定が完了した後、本動作は、ステップＳ５０３へ進む。
【0086】
ステップＳ５０３において、ツリー合成部２０２０は、Ａｎｇｕｌａｒモードで処理を行うかを判定する。
【0087】
例えば、ツリー合成部２０２０は、上述のｇｅｏｍ_ａｎｇｕｌａｒ_ｅｎａｂｌｅｄの値を参照して、Ａｎｇｕｌａｒモードで処理を行うかを判定することができる。
【0088】
Ａｎｇｕｌａｒモードで処理を行う場合は、本動作は、ステップＳ５０４へ進み、Ａｎｇｕｌａｒモードで処理を行わない場合は、本動作は、ステップＳ５１０へ進む。
【0089】
ステップＳ５０４において、ツリー合成部２０２０は、予測器情報及び球面座標残差の復号を行う。ここで、球面座標残差は、半径や方位角やレーザーＩＤの残差を示す。かかる復号が完了したら、本動作は、ステップＳ５０５へ進む。
【0090】
ステップＳ５０５において、ツリー合成部２０２０は、ステップＳ５０４で復号した予測器情報に基づいて、位置情報の予測を行う。ここで、予測器情報は、予測器インデックス又は予測モードである。
【0091】
ツリー合成部２０２０は、かかる処理では、最初に、予測に用いる予測器の種類を決定する。
【0092】
例えば、ツリー合成部２０２０は、ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄの値に基づいて、適応的方位角量子化モードで処理を行うか否かを判定し、かかる判定結果に基づいて、利用する予測器の種類を決定してもよい。
【0093】
例えば、ツリー合成部２０２０は、適応的方位角量子化モードの場合、木構造を用いて計算される複数の予測器の中から、復号した予測モードに基づき利用する予測器を選択するものであってもよい。
【0094】
或いは、ツリー合成部２０２０は、適応的方位角量子化モードで処理を行う場合、復号済みノードの位置情報を予測器としてリストに保持しておき、復号した予測器インデックスに割り当てられている予測器を当該リストから参照し、利用する予測器の種類として選択してもよい。
【0095】
ツリー合成部２０２０は、予測器の種類が決定したら、かかる予測器を位置情報の予測値とする。
【0096】
かかる位置情報の予測が完了した後、本動作は、ステップＳ５０６へと進む。
【0097】
ステップＳ５０６において、ツリー合成部２０２０は、球面座標の再構成を行う。ツリー合成部２０２０は、かかる処理では、復号した球面座標残差と予測器とを加算することで、球面座標を再構成する。
【0098】
かかる再構成が完了した後、本動作は、ステップＳ５０７へと進む。
【0099】
ステップＳ５０７において、ツリー合成部２０２０は、直交整数座標の再構成を行う。ツリー合成部２０２０は、かかる処理では、再構成した球面座標に基づいて、球面座標の直交整数座標への変換を行うことができる。具体的な方法としては、例えば、非特許文献１に記載の手法で実現できる。
【0100】
かかる直交整数座標の再構成が完了した後、本動作は、ステップＳ５０８へ進む。
【0101】
ステップＳ５０８において、ツリー合成部２０２０は、直交整数座標残差の復号を行う。
【0102】
直交整数座標残差の復号が完了した後、本動作は、ステップＳ５０９へと進む。
【0103】
ステップＳ５０９において、ツリー合成部２０２０は、元座標の再構成を行う。ツリー合成部２０２０は、かかる処理では、復号した直交整数座標残差と再構成した直交整数座標とを加算することで、元座標の再構成を行う。
【0104】
かかる元座標の再構成が完了した後、本動作は、ステップＳ５０１へと戻る。
【0105】
ステップＳ５１０において、ツリー合成部２０２０は、位置情報の予測を行う。具体的には、ツリー合成部２０２０は、予測器を選択し、かかる予測器を位置情報の予測値とする。
【0106】
例えば、ツリー合成部２０２０は、木構造に基づき計算される複数の予測器の中から、復号した予測器モードに基づき予測器を選択してもよい。
【0107】
かかる位置情報の予測が完了した後、本動作は、ステップＳ５１１へと進む。
【0108】
ステップＳ５１１において、ツリー合成部２０２０は、直交整数座標残差の復号を行う。
【0109】
直交整数座標残差の復号が完了した後、本動作は、ステップＳ５１２へと進む。
【0110】
ステップＳ５１２において、ツリー合成部２０２０は、元座標の再構成を行う。ツリー合成部２０２０は、かかる処理では、ステップＳ５１１で復号した直交整数座標の残差とステップＳ５１０で予測した位置情報とを加算することで、元座標を再構成する。
【0111】
かかる元座標の再構成が完了した後、本動作は、ステップＳ５０１へと戻る。
【0112】
図６は、ステップＳ５０４における予測器情報及び球面座標残差の復号処理の一例を示すフローチャートである。
【0113】
図６に示すように、ステップＳ６０１において、ツリー合成部２０２０は、ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｃａｌｉｎｇ_ｅｎａｂｌｅｄの値に基づいて、適応的方位角量子化モードであるか否かを判定する。
【0114】
適応的方位角量子化モードである場合、本動作は、ステップＳ６０２へ進む。一方、適応的方位角量子化モードではない場合、本動作は、ステップＳ６０３へ進む。
【0115】
ステップＳ６０２において、ツリー合成部２０２０は、予測器インデックスを復号する。予測器インデックスの復号が完了後、本動作は、ステップＳ６０４へ進む。
【0116】
ステップＳ６０３において、ツリー合成部２０２０は、予測モードを復号する。予測モードの復号が完了後、本動作は、ステップＳ６０４へ進む。
【0117】
ステップＳ６０４において、ツリー合成部２０２０は、方位角ステップ数の復号を行う。方位角ステップ数の復号が完了後、本動作は、ステップＳ６０５へ進む。
【0118】
ステップＳ６０５において、ツリー合成部２０２０は、球面座標残差を復号する。ツリー合成部２０２０は、非特許文献２に記載の方法を用いて、かかる復号を行ってもよい。復号が完了後、本動作は、ステップＳ６０６へ進み、処理を終了する。
【0119】
以上では、方位角ステップ数をそのまま復号する例を示したが、例えば、ツリー合成部２０２０は、同一レーザー内で取得される点の数に基づいて、復号した方位角ステップ数を補正してもよい。
【0120】
例えば、図７に示すように、ツリー合成部２０２０は、ステップＳ７０１において、復号した方位角ステップ数に対して、点群の間隔に基づく補正を行ってもよい。
【0121】
具体的には、ツリー合成部２０２０は、ａｎｇｕｌａｒＮｕｍＰｈｉＰｅｒＴｕｒｎに基づいて、方位角ステップ数を補正してもよい。
【0122】
第１に、ツリー合成部２０２０は、同一レーザー内点数の最大値割合を計算する。
【0123】
ここで、同一レーザー内点数の最大値割合とは、復号対象ノードの親ノードのレーザーＩＤに対応する同一レーザー内点数を、同一レーザー内点数の最大値から除した値である。また、同一レーザー内点数の最大値とは、レーザーＩＤの数だけ存在する同一レーザー内点数の値の中で、最大の値である。
【0124】
例えば、同一レーザー内点数の最大値が４０００であり、復号対象ノードの親ノードのレーザーＩＤに対応する同一レーザー内点数が８００であった場合、同一レーザー内点数の最大値割合は５となる。
【0125】
なお、ツリー合成部２０２０は、ステップＳ７０１において、同一レーザー内点数の最大値割合について計算してもよい。
【0126】
或いは、ツリー合成部２０２０は、ａｎｇｕｌａｒＮｕｍＰｈｉＰｅｒＴｕｒｎを復号後、ステップＳ７０１の前に、各レーザーＩＤに対応する同一レーザー内点数の最大値割合を計算しておき、ステップＳ７０１において、復号対象ノードの親ノードのレーザーＩＤに対応する同一レーザー内点数の最大値割合を取得してもよい。
【0127】
例えば、ツリー合成部２０２０は、同一レーザー内点数の最大値割合を、復号した方位角ステップ数に加算することによって、上述の補正を行ってもよい。
【0128】
或いは、ツリー合成部２０２０は、同一レーザー内点数の最大値割合を、復号した方位角ステップ数に乗算することによって、上述の補正を行ってもよい。
【0129】
以上のように、ツリー合成部２０２０は、同一レーザー内で取得される点の数に基づいて、復号した方位角ステップ数を補正する構成としてもよい。
【0130】
かかる構成とすることで、方位角ステップ数の符号化効率を改善することができる。
【0131】
或いは、ツリー合成部２０２０は、例えば、同一レーザー内で取得される点の数に基づいて、レーザーの回転速度を補正してもよい。
【0132】
例えば、図８に示すように、ツリー合成部２０２０は、ステップＳ８０１において、上述の方法で同一レーザー内点数の最大値割合を計算し、ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｔｅｐ_ｍｉｎｕｓ１を、同一レーザー内点数の最大値割合で除算することで補正してもよい。
【0133】
ツリー合成部２０２０は、ステップＳ８０１において、同一レーザー内点数の最大値割合について計算してもよい
或いは、ツリー合成部２０２０は、ａｎｇｕｌａｒＮｕｍＰｈｉＰｅｒＴｕｒｎを復号後、ステップＳ８０１の前に、各レーザーＩＤに対応する同一レーザー内点数の最大値割合を計算しておき、ステップＳ８０１で、復号対象ノードの親ノードのレーザーＩＤに対応する同一レーザー内点数の最大値割合を取得してもよい。
或いは、ツリー合成部２０２０は、ａｎｇｕｌａｒＮｕｍＰｈｉＰｅｒＴｕｒｎを復号後、ステップＳ８０１の前に、各レーザーＩＤに対応する同一レーザー内点数の最大値割合を計算しておき、ステップＳ８０１で、復号対象ノードの親ノードのレーザーＩＤに対応する同一レーザー内点数の最大値割合を取得してもよい。
【0134】
ｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｔｅｐ_ｍｉｎｕｓ１は、ステップＳ５０５において、球面座標残差の復号で利用される。
【0135】
以上のように、ツリー合成部２０２０は、同一レーザー内で取得される点の数に基づいて、レーザーの回転速度を補正する構成としてもよい。
【0136】
かかる構成とすることで、方位角ステップ数の符号化効率を改善することができる。
【0137】
ステップＳ６０５において、ツリー合成部２０２０は、半径残差の復号に利用するコンテクストを決定する際、方位角ステップ数に関する閾値を使用し、閾値と復号した方位角ステップ数による判定を行い、その結果に基づきコンテクストを決定してもよい。
【0138】
コンテクストは、例えば、復号した予測器インデックス及び復号した方位角ステップ数を用いて、以下のように、方位角ステップ数に関する閾値を１つ用いて、４つのコンテクストインデックスｃｔｘＩｄｘの中から、条件に当てはまるコンテクストインデックスを１つ選び、そのコンテクストインデックスを基に決定されてもよい。
【0139】
【数A】
【0140】
例えば、閾値ｘとして、０等の特定の値をハードコーディングして用いてもよい。若しくは、ｒｅｓＲ_ｃｏｎｔｅｘｔ_ｑｐｈｉ_ｔｈｒｅｓｈｏｌｄを参照し、その値を用いてもよい。
【0141】
若しくは、例えば、ｒｅｓＲ_ｃｏｎｔｅｘｔ_ｑｐｈｉ_ｔｈｒｅｓｈｏｌｄ_ｐｒｅｓｅｎｔ_ｆｌａｇの値を参照し、閾値を復号器に伝送しないと判定した場合、ＧＰＳ２０１１が保持するシンタックスを用いて導出してもよい。例えば、方位角の予測値の計算するために利用するためのレーザーの回転速度に関する値であるｐｔｒｅｅ_ａｎｇ_ａｚｉｍｕｔｈ_ｓｔｅｐ_ｍｉｎｕｓ１の値を基に、閾値ｘを導出してもよい。例えば、以下のように、閾値ｘを計算してもよい。
【0142】
【数B】
【0143】
【0144】
【0145】
なお、以下で説明するシンタックス名は、あくまで一例である。以下で説明したシンタックスの機能が同様であれば、シンタックス名は異なっていても差し支えない。
【0146】
ＡＰＳ２６１１は、各ＡＰＳ２６１１を識別するためのＡＰＳ ｉｄ情報（ａｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を含んでもよい。
【0147】
なお、図１０のＤｅｓｃｒｉｐｔｏｒ欄は、各シンタックスが、どのように符号化されているかを意味している。ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（１）は、１ビットのフラグであることを意味する。
【0148】
ＡＰＳ２６１１は、逆量子化部２０７０において、逆量子化済み残差情報を、ＲＡＨＴ部２０８０及びＬｏＤ算出部２０９０のいずれに出力するかを制御するためのフラグ（ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅ）を含んでもよい。
【0149】
例えば、ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅの値が「１」の場合は、ＬｏＤ算出部２０９０に出力するように定義され、ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅの値が「０」の場合は、ＲＡＨＴ部２０８０に出力するように定義されていてもよい。
【0150】
ＡＰＳ２６１１は、ＲＡＨＴ部２０８０において、属性情報の予測を行うか否かを制御するためのフラグ（ｒａｈｔ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ）を含んでもよい。
【0151】
例えば、ｒａｈｔ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄの値が「１」の場合、属性情報の予測を行うと定義されし、ｒａｈｔ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄの値が「０」の場合、属性情報の予測を行わないと定義されていてもよい。
【0152】
ＡＰＳ２６１１は、ＲＡＨＴ部２０８０において、属性情報の予測にサブノードを使うか否かを制御するフラグ（ｒａｈｔ_ｓｕｂｎｏｄｅ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅ_ｆｌａｇ）を含んでもよい。
【0153】
例えば、ｒａｈｔ_ｓｕｂｎｏｄｅ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅ_ｆｌａｇの値が「１」の場合、属性情報の予測にサブノードを使うと定義され、ｒａｈｔ_ｓｕｂｎｏｄｅ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅ_ｆｌａｇの値が「０」の場合、属性情報の予測にサブノードを使わないと定義されていてもよい。
【0154】
ＡＰＳ２６１１は、ＲＡＨＴ部２０８０において、属性情報のイントラ予測を行う際の重みパラメータ（ｒａｈｔ_ｐｒｅｄｉｃｔｉｏｎ_ｗｅｉｇｈｔｓ）を含んでもよい。
【0155】
例えば、ｒａｈｔ_ｐｒｅｄｉｃｔｉｏｎ_ｗｅｉｇｈｔｓの値は、復号対象ノードとイントラ予測に用いる隣接ノードとの隣接の仕方に応じて定義されていてもよい。
【0156】
ＡＰＳ２６１１は、ＲＡＨＴ部２０８０において、属性情報のイントラ予測を行った後に、平滑化を行うか否かを制御するフラグ（ｒａｈｔ_ｓｍｏｏｔｈｉｎｇ_ｅｎａｂｌｅ_ｆｌａｇ）を含んでもよい。
【0157】
例えば、ｒａｈｔ_ｓｍｏｏｔｈｉｎｇ_ｅｎａｂｌｅ_ｆｌａｇの値が「１」の場合、属性情報の予測を行った後に平滑化を行うと定義され、ｒａｈｔ_ｓｍｏｏｔｈｉｎｇ_ｅｎａｂｌｅ_ｆｌａｇの値が「０」の場合、平滑化を行わないと定義されていてもよい。
【0158】
ＡＰＳ２６１１は、ＲＡＨＴ部２０８０において、属性情報のイントラ予測を行った後に、加重平均による平滑化を行うための重みパラメータ（ｒａｈｔ_ｓｍｏｏｔｈｉｎｇ_ｗｅｉｇｈｔｅｄ_ａｖｅｒａｇｅ_ｗｅｉｇｈｔｓ）を含んでもよい。
【0159】
例えば、かかる重みパラメータは、復号対象ノードと復号対象ノードの同一親ノードの各サブノードとの隣接の仕方に応じて、最大８個定義されていてもよい。
【0160】
ＡＰＳ２６１１は、ＲＡＨＴ部２０８０において、属性情報のイントラ予測を行った後に、クリッピングによる平滑化を行うための重みパラメータ（ｒａｈｔ_ｓｍｏｏｔｈｉｎｇ_ｃｌｉｐｐｉｎｇ_ｗｅｉｇｈｔｓ）を含んでもよい。
【0161】
例えば、かかる重みパラメータは、復号対象ノードと復号対象ノードの同一親ノードの各サブノードとの隣接の仕方に応じて、最大８個定義されていてもよい。
【0162】
ＡＰＳ２６１１は、ＲＡＨＴ部２０８０において、属性情報のイントラ予測を行った後に、クリッピングによる平滑化を行うための閾値（ｒａｈｔ_ｓｍｏｏｔｈｉｎｇ_ｃｌｉｐｐｉｎｇ_ｔｈｒｅｓｈｏｌｄ）を含んでもよい。
【0163】
ＡＰＳ２６１１は、ＲＡＨＴ部２０８０において、属性情報のインター予測を行うか否かを制御するためのフラグ（ｒａｈｔ_ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ）を含んでもよい。
【0164】
例えば、ｒａｈｔ_ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄの値が「１」の場合、属性情報の予測を行うと定義され、ｒａｈｔ_ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄの値が「０」の場合、属性情報の予測を行わないと定義されていてもよい。
【0165】
ＡＰＳ２６１１は、ＲＡＨＴ部２０８０において、属性情報のインター予測を有効化する階層を示す値（ｒａｈｔ_ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ_ｄｅｐｔｈ_ｍｉｎｕｓ１）を含んでもよい。
【0166】
例えば、ｒａｈｔ_ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ_ｄｅｐｔｈ_ｍｉｎｕｓ１が「Ｎ－１」の場合、インター予測は、Ｏｃｔｒｅｅ構造の上位Ｎ階層までにおいて有効化してもよい。
（ＲＡＨＴ部２０８０）
図１１～図１９を用いて、ＲＡＨＴ部２０８０の処理の一例を説明する。
（ＲＡＨＴ部２０８０）
図１１～図１９を用いて、ＲＡＨＴ部２０８０の処理の一例を説明する。
【0167】
図１１は、ＲＡＨＴ部２０８０の処理の一例を示すフローチャートである。
【0168】
図１１に示すように、ステップＳ２８００１において、ＲＡＨＴ部２０８０は、Ｏｃｔｒｅｅと呼ばれる手法を用いて、所定のサイズになるまでノードを再帰的に８分木分割する。かかる分割が完了後、本動作は、ステップＳ２８００２へ進む。
【0169】
ステップＳ２８００２において、ＲＡＨＴ部２０８０は、Ｏｃｔｒｅｅによって分割された各ノードにおいて、ノードの下位の階層に属する点の総数を集計する。
【0170】
具体的には、ＲＡＨＴ部２０８０は、ある階層のノードを順番に走査し、各ノードに属する点の数を記録する。次に、ＲＡＨＴ部２０８０は、１つ上の階層のノードにおいて、各ノードの子ノードにおいて記録された点の数を合算し、各ノードに属する点の数を算出する。
【0171】
ＲＡＨＴ部２０８０は、以上の走査を最下層から最上位の階層まで順に繰り返す。取得した点の総数は、後述のステップＳ２８００５において、ＲＡＨＴの逆変換の重みとして利用される。かかる算出が完了後、本動作は、ステップＳ２８００３へ進む。
【0172】
ステップＳ２８００３において、ＲＡＨＴ部２０８０は、Ｏｃｔｒｅｅの最上位の階層に属するノードのＤＣ係数を復号する。或いは、ＲＡＨＴ部２０８０は、イントラ予測を用いてＤＣ係数を予測し、ＤＣ係数の予測残差を復号して足し合わせることで、ＤＣ係数を算出してもよい。
【0173】
ＲＡＨＴ部２０８０は、かかるＤＣ係数の復号が完了後、以下の式で、ステップＳ２８００２で取得したルートノードに属する点の総数ｗｒｏｏｔと、復号したＤＣ係数ＤＣｒｏｏｔを用いて、ルートノードの属性値Ａｒｏｏｔを算出する。
【0174】
【数1】
【0175】
ステップＳ２８００４において、ＲＡＨＴ部２０８０は、当該階層内に含まれる全てのノードの属性情報の復号が完了したかどうかを判定する。
【0176】
完了していない場合、本動作は、ステップＳ２８００５へ進み、完了した場合、本動作は、ステップＳ２８００７へ進む。
【0177】
ステップＳ２８００５において、ＲＡＨＴ部２０８０は、ＡＣ係数を復号する。具体的には後述する。かかる復号が完了後、本動作は、ステップＳ２８００６へ進む。
【0178】
ステップＳ２８００６において、ＲＡＨＴ部２０８０は、集計した各ノードの下位の階層に属する点の総数と、復号したＡＣ係数と、後述する方法で上位階層のノードから算出したＤＣ係数とに基づいて、ＲＡＨＴの逆変換を用いて、属性値を算出する。
【0179】
ここで、ＲＡＨＴの逆変換は、Ｏｃｔｒｅｅによって８分木分割された、２×２×２個の８個のノード単位で行われる。
【0180】
具体的には、属性値Ａ１，Ａ２，…Ａｋは、ｋ個のサブノードを保持するノードのＤＣ係数ＤＣと、ＡＣ係数ＡＣ１，ＡＣ２，…ＡＣｋ－１及び各サブノードの下位の階層に属する点の総数ｗ＝ｗ１，ｗ２，…ｗｋを用いて、以下の式（１）によって求められる。
【0181】
【数2】
【0182】
かかる変換処理は、上位階層のノードから下位階層のノードの順に繰り返し行うことを想定しており、
【0183】
【数3】
【0184】
ステップＳ２８００７において、ＲＡＨＴ部２０８０は、全階層のノードの復号が完了したかを判定する。
【0185】
完了していない場合、本動作は、処理対象階層を１つ下の階層へ移し、ステップＳ２８００４へ進む。完了した場合、本動作は、ステップＳ２８００８へ進み、処理を終了する。
【0186】
図１２は、ステップＳ２８００４の処理の一例を示すフローチャートである。
【0187】
図１２に示すように、ステップＳ２８１０１において、ＲＡＨＴ部２０８０は、ＡＣ係数を予測するかを判定する。ＲＡＨＴ部２０８０は、かかる判定を行う際に、ｒａｈｔ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄを参照し、その値を用いてもよい。
【0188】
ＲＡＨＴ部２０８０は、現在の処理対象ノードにおいて、ＡＣ係数の予測を行うか否かを示すフラグを復号し、かかるフラグの値を用いてもよい。
【0189】
かかるフラグは、ノードごとに復号されてもよいし、階層ごとに復号されてもよい。かかるフラグは、ｒａｈｔ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄの値が予測が有効であることを示す値「１」であった場合のみ復号されるとしてもよい。かかるフラグは、スライスデータに含まれていてもよい。
【0190】
判定の結果、ＡＣ係数を予測しない場合、本動作は、ステップＳ２８１０２へ進み、ＡＣ係数を予測する場合、本動作は、ステップＳ２８１０３及びＳ２８１０４へ進む。
【0191】
ステップＳ２８１０２において、ＲＡＨＴ部２０８０は、ＡＣ係数を復号する。かかる復号が完了後、本動作は、ステップＳ２８１０６へ進み、処理を終了する。
【0192】
ステップＳ２８１０３において、ＲＡＨＴ２０８０は、ＡＣ係数残差を復号する。かかる復号が完了後、本動作は、ステップＳ２８１０５へ進む。
【0193】
ステップＳ２８１０４において、ＲＡＨＴ部２０８０は、ＡＣ係数を予測する。ＡＣ係数の予測には、インター（Ｉｎｔｅｒ）予測が用いられてもよいし、イントラ（Ｉｎｔｒａ）予測が用いられてもよい。
【0194】
ＲＡＨＴ部２０８０は、まず属性値を予測し、その後、ＲＡＨＴによってＡＣ係数の予測値を算出してもよい。具体的には、後述する。かかるＡＣ係数の予測が完了後、本動作は、ステップＳ２８１０５へ進む。
【0195】
ステップＳ２８１０５において、ＲＡＨＴ部２０８０は、復号したＡＣ係数の残差と予測したＡＣ係数とを加算し、ＡＣ係数の再構成を行う。かかる再構成が完了後、本動作は、ステップＳ２８１０６へと進み、処理を終了する。
【0196】
図１３は、ステップＳ２８１０４の処理の一例を示すフローチャートである。
【0197】
図１３に示すように、ステップＳ２８１０７において、ＲＡＨＴ部２０８０は、インター予測が有効かどうかを判定する。、ＲＡＨＴ部２０８０は、判定には、ｒａｈｔ_ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄを参照し、その値を用いてもよい。判定の結果、インター予測が有効の場合、本動作は、ステップＳ２８１０９へ進み、インター予測が無効の場合、本動作は、ステップＳ２８１１２へ進む。
【0198】
ステップＳ２８１０９において、ＲＡＨＴ部２０８０は、処理対象ノードが含まれる階層の深さが閾値以下であるかを判定する。ＲＡＨＴ部２０８０は、閾値として、ｒａｈｔ_ｉｎｔｅｒ_ｐｒｅｄｉｃｔｉｏｎ_ｄｅｐｔｈ_ｍｉｎｕｓ１を参照し、その値を用いてもよい。
【0199】
判定の結果、深さが閾値以下の場合、本動作は、ステップＳ２８１１０へ進み、深さが閾値より大きい場合、本動作は、ステップＳ２８１１２へ進む。
【0200】
ステップＳ２８１１０において、ＲＡＨＴ部２０８０は、処理対象ノードのＡＣ係数をインター予測するか否かを判定する。
【0201】
ＲＡＨＴ部２０８０は、判定には、インター予測が実行可能かどうかを調べ、実行可能な場合にインター予測し、実行不可能な場合にはインター予測しないとしてもよい。具体的には後述する。
【0202】
ＲＡＨＴ部２０８０は、判定には、処理対象ノードのＡＣ係数をインター予測するか否かを示すフラグを復号し、かかるフラグの値を用いてもよい。かかるフラグは、ノードごとに復号されてもよいし、階層ごとに復号されてもよい。かかるフラグは、インター予測が実行可能と判定された場合にのみ復号され、判定が行われるとしてもよい。かかるフラグは、スライスデータに含まれていてもよい。
【0203】
ステップＳ２８１１１において、ＲＡＨＴ部２０８０は、処理対象ノードのＡＣ係数のインター予測を行う。具体的には後述する。
【0204】
ステップＳ２８１１２において、ＲＡＨＴ部２０８０は、処理対象ノードのＡＣ係数のイントラ予測を行う。具体的には後述する。
【0205】
ステップＳ２８１１３において、ステップＳ２８１０４の処理を終了する。なお、ステップＳ２８１０９の条件分岐は、省略されてもよい。
【0206】
ステップＳ２８１１１のインター予測の処理において、ステップＳ２８１１２のイントラ予測と同等の処理も一緒に行い、インター予測及びイントラ予測の結果を組み合わせて予測してもよい。具体的には後述する。
【0207】
図１４は、ステップＳ２８１１２のイントラ予測の処理の一例を示すフローチャートである。
【0208】
図１４に示すように、ステップＳ２８２０１において、ＲＡＨＴ部２０８０は、サブノード階層の隣接ノードを使ってイントラ予測を行うか否かを判定する。ＲＡＨＴ部２０８０は、判定には、ｒａｈｔ_ｓｕｂｎｏｄｅ_ｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅ_ｆｌａｇを参照し、その値を用いてもよい。
【0209】
ＲＡＨＴ部２０８０は、サブノード階層の隣接ノードを使わない場合、上位の階層の隣接ノードのみを使ってイントラ予測を行う。
【0210】
ここで、上位の階層の隣接ノードとは、復号対象ノードの親ノードが隣接するノードのうち面を隣接する６個のノードと、エッジを隣接する１２個のノード及び親ノード自身の合計１９個のノードのうち復号対象ノードが面を隣接している３個のノードと、エッジを隣接している３個のノードと、親ノード自身の７個のノードとである。
【0211】
図１５は、復号対象ノードと上位の階層の隣接ノードとの関係を示す図である。
【0212】
ＲＡＨＴ部２０８０は、サブノード階層の隣接ノードを使う場合、上位の階層の隣接ノードとサブノード階層の隣接ノードとを使ってイントラ予測を行う。
【0213】
ここで、サブノード階層の隣接ノードとは、上位の階層の隣接ノードのサブノードのうち復号対象ノードが面若しくはエッジを隣接しており且つ復号済のノードである。
【0214】
図１６は、復号対象ノードとサブノード階層の隣接ノードとの関係を示す図である。
【0215】
判定の結果、サブノード階層の隣接ノードを使わずにイントラ予測を行う場合、本動作は、ステップＳ２８２０２へ進み、サブノード階層の隣接ノードを使ってイントラ予測を行う場合、本動作は、ステップＳ２８２０４へ進む。
【0216】
ステップＳ２８２０２において、ＲＡＨＴ部２０８０は、上位の階層の隣接ノードの属性値を取得する。上位の階層の隣接ノードの属性値を取得した後、本動作は、ステップＳ２８２０３へ進む。
【0217】
ステップＳ２８２０３において、ＲＡＨＴ部２０８０は、復号対象ノードの属性値を予測する。
【0218】
ＲＡＨＴ部２０８０は、取得したｋ個の上位の階層の隣接ノードの属性値ａｔｔｒｉと、隣接ノードｉの種類に応じた重みｗｉとを利用して、以下の式で、属性値ａｔｔｒの予測を行ってもよい。
【0219】
【数4】
【0220】
かかる属性値の予測が完了後、本動作は、ステップＳ２８２０７へ進む。
【0221】
ステップＳ２８２０４において、ＲＡＨＴ部２０８０は、上位階層の隣接ノードの属性値を取得する。
【0222】
ここで、属性値を取得する対象は、上位の階層の隣接ノードのうち、各隣接ノードのサブノードが復号済でないノード、或いは、上位の階層の隣接ノードのうち、サブノードが復号済であっても、復号対象ノードと面又はエッジを隣接しているサブノードが存在しないノードである。
【0223】
かかる属性値の取得が完了後、本動作は、ステップＳ２８２０５へ進む。
【0224】
ステップＳ２８２０５において、ＲＡＨＴ部２０８０は、サブノード階層の隣接ノードの属性値を取得する。サブノード階層の隣接ノードの属性値を取得後、本動作は、ステップＳ２８２０６へ進む。
【0225】
ステップＳ２８２０６において、ＲＡＨＴ部２０８０は、復号対象ノードの属性値を予測する。
【0226】
ＲＡＨＴ部２０８０は、取得したｋ個の上位の階層の隣接ノード及びサブノード階層の隣接ノードの属性値ａｔｔｒｉと、隣接ノードの種類ｉに応じた重みｗｉとを利用して、以下の式で、属性値ａｔｔｒの予測を行ってもよい。
【0227】
【数5】
【0228】
かかる属性値の予測の完了後、本動作は、ステップＳ２８２０７へ進む。
【0229】
ステップＳ２８２０７において、ＲＡＨＴ部２０８０は、予測した属性値をＡＣ係数に変換する。ＡＣ係数は、予測した属性値をＲＡＨＴすることで生成される。例えば、ＲＡＨＴ部２０８０は、かかる変換方法として、非特許文献１に記載の方法を用いてもよい。
【0230】
以上では、ＲＡＨＴ部２０８０が、ステップＳ２８２０６で予測した属性値を、そのままステップＳ２８２０７でＡＣ係数の変換に使う例について説明したが、ＲＡＨＴ部２０８０は、予測した属性値の平滑化を行った上で、ＡＣ係数の変換を行ってもよい。
【0231】
例えば、図１７に示すように、ＲＡＨＴ部２０８０は、属性値を予測した後、ステップＳ１３０１において、平滑化を行うか否かを判定してもよい。
【0232】
ＲＡＨＴ部２０８０は、かかる判定において、ｒａｈｔ_ｓｍｏｏｔｈｉｎｇ_ｅｎａｂｌｅ_ｆｌａｇを参照し、その値を用いてもよい。
【0233】
平滑化を行う場合、本動作は、ステップＳ１３０２へ進む。平滑化を行わない場合、本動作は、ステップＳ２８２０７へ進む。
【0234】
ステップＳ１３０２において、ＲＡＨＴ部２０８０は、属性値の平滑化を行ってもよい。
【0235】
例えば、ＲＡＨＴ部２０８０は、復号対象ノードの平滑化後の属性値Ａｔｔｒｓｍｏｏｔｈｉｎｇについて、復号対象ノードと同一の親ノード内のサブノードｉにて予測した属性値Ａｔｔｒｉ及び重みαｉを用いて、以下のように加重平均を計算することで求めてもよい。
【0236】
【数6】
【0237】
また、ＲＡＨＴ部２０８０は、重みαｉとして、ハードコーディングされた値を用いてもよいし、ｒａｈｔ_ｓｍｏｏｔｈｉｎｇ_ｗｅｉｇｈｔｅｄ_ａｖｅｒａｇｅ_ｗｅｉｇｈｔｓを参照し、その値を用いてもよい。
【0238】
また、ＲＡＨＴ部２０８０は、例えば、復号対象ノードの平滑化後の属性値Ａｔｔｒｓｍｏｏｔｈｉｎｇについて、復号対象ノード自身の予測値Ａｔｔｒ０、復号対象ノードと同一の親ノード内のサブノードのうち、復号対象ノード以外のサブノードｉにて予測した属性値Ａｔｔｒｉ、重みβｉ及び閾値Ｔｈｒを用いて、以下のように、クリッピングを行うことで求めてもよい。
【0239】
【数7】
【0240】
クリッピングを行う関数Ｃｌｉｐ３は、
【0241】
【数8】
【0242】
ここで、ＲＡＨＴ部２０８０は、対象とするサブノードｉについて、復号対象ノードが面隣接するノードとしてもよいし、面隣接するノード及びエッジ隣接するノードとしてもよいし、同一親ノード内の全てのサブノードとしてもよい。
【0243】
また、ＲＡＨＴ部２０８０は、重みβｉとして、ハードコーディングされた値を用いてもよいし、ｒａｈｔ_ｓｍｏｏｔｈｉｎｇ_ｃｌｉｐｐｉｎｇ_ｗｅｉｇｈｔｓを参照し、その値を用いてもよい。
【0244】
また、ＲＡＨＴ部２０８０は、閾値Ｔｈｒとして、ハードコーディングされた値を用いてもよい し、ｒａｈｔ_ｓｍｏｏｔｈｉｎｇ_ｃｌｉｐｐｉｎｇ_ｔｈｒｅｓｈｏｌｄを参照し、その値を用いてもよい 。
【0245】
以上では、ＲＡＨＴ部２０８０が色差信号及び輝度信号共にＡＣ係数の復号を行う例について説明したが、ＲＡＨＴ部２０８０は、Ｏｃｔｒｅｅの最下層のみ、色差信号のＡＣ係数の復号をスキップしてもよい。
【0246】
例えば、図１８に示すように、ＲＡＨＴ部２０８０は、ステップＳ１４０１において、Ｏｃｔｒｅｅの最下層のみ色差信号のＡＣ係数の復号をスキップするか否かを判定してもよい。
【0247】
スキップする場合、本動作は、ステップＳ１４０２へ進む。スキップしない場合、本動作は、ステップＳ２８００４へ進む。
【0248】
ステップＳ１４０２において、ＲＡＨＴ部２０８０は、復号対象ノードがＯｃｔｒｅｅの最下層か否かを判定する。
【0249】
最下層の場合、本動作は、ステップＳ１４０３へ進む。最下層ではない場合、本動作は、ステップＳ２８００４へ進む。
【0250】
ステップＳ１４０３において、ＲＡＨＴ部２０８０は、色差信号以外のＡＣ係数の復号を行う。
【0251】
ＲＡＨＴ部２０８０は、色差信号以外のＡＣ係数の復号については、ステップＳ２８００４と同様の処理を行い、色差信号のＡＣ係数を０として、後続のステップＳ２８００５の属性値の算出を行う。
【0252】
色差信号以外のＡＣ係数の復号が完了した後、本動作は、ステップＳ２８００６へ進む。
【0253】
図１９は、ステップＳ２８１１１のインター予測処理の一例を示す図である。
【0254】
ＲＡＨＴ部２０８０は、処理対象ノードのＡＣ係数について、参照フレーム内の対応するノードである参照ノードの情報を用いて予測する。ここで、参照ノードの情報は、その属性値やＡＣ係数であってもよい。また、参照フレームは、別の復号済みのフレームを指し、その情報は、前レームバッファ２１２０に含まれるとしてもよい。
【0255】
ＲＡＨＴ部２０８０は、参照フレームには、処理対象フレームと同じＯｃｔｒｅｅ構造を当てはめてもよい。かかる場合、点がない位置にノードが設定される可能性がある。そのようなノードを空ノードと呼ぶ。参照ノードが空ノードだった場合、ＲＡＨＴ部２０８０は、ステップＳ２８１１０で、インター予測を実行不可としてもよい。
【0256】
ＲＡＨＴ部２０８０は、参照フレームに対して、処理対象フレームと独立にＯｃｔｒｅｅを適用し、処理対象フレームと異なるＯｃｔｒｅｅ構造を設定してもよい。かかる場合、必ずしも処理対象フレームと同じ位置にノードが存在しない可能性がある。処理対象ノードに対応する位置に参照ノードが見つからない場合、ＲＡＨＴ部２０８０は、ステップＳ２８１４３で、インター予測を実行不可としてもよい。
【0257】
参照ノードが空ノードだった場合、或いは、参照ノードが見つからなかった場合、ＲＡＨＴ部２０８０は、参照フレーム内の近傍位置のノードの情報を用いて参照ノードの情報を推定して補間してもよい。
【0258】
例えば、ＲＡＨＴ部２０８０は、参照ノード位置に対する隣接ノード、最近傍ノード或いはｋ近傍ノードの属性値又はＡＣ係数の平均値を、それぞれ参照ノードの属性値又はＡＣ係数として推定して補間してもよい。
【0259】
ＲＡＨＴ部２０８０は、処理対象ノードのＡＣ係数について、例えば、参照ノードの属性値から予測してもよい。
【0260】
具体的には、ＲＡＨＴ部２０８０は、参照ノードの復号済みの属性値の値Ａｔｔｒｉｎｔｅｒを用いて処理対象ノードの属性値の予測値Ａｔｔｒｐｒｅｄを求め、かかる処理対象ノードの属性値の予測値Ａｔｔｒｐｒｅｄに対してＲＡＨＴを適用することで処理対象ノードのＡＣ係数の予測値ＡＣｐｒｅｄを求めるとしてもよい。
【0261】
Ａｔｔｒｐｒｅｄ＝Ａｔｔｒｉｎｔｅｒ
ＡＣｐｒｅｄ＝ＲＡＨＴ（Ａｔｔｒｐｒｅｄ）
ＲＡＨＴ部２０８０は、処理対象ノードのＡＣ係数について、例えば、参照ノードのＡＣ係数から直接予測してもよい。
ＡＣｐｒｅｄ＝ＲＡＨＴ（Ａｔｔｒｐｒｅｄ）
ＲＡＨＴ部２０８０は、処理対象ノードのＡＣ係数について、例えば、参照ノードのＡＣ係数から直接予測してもよい。
【0262】
具体的には、ＲＡＨＴ部２０８０は、参照フレームにおいてＲＡＨＴを用いて参照ノードのＡＣ係数の値ＡＣｉｎｔｅｒを算出し、その値を処理対象ノードのＡＣ係数の予測値ＡＣｐｒｅｄとしてもよい。
【0263】
ＡＣｐｒｅｄ＝ＡＣｉｎｔｅｒ
ＲＡＨＴ部２０８０は、参照ノードのＡＣ係数について、参照フレームの各ノードのＡＣ係数をフレームバッファ２１２０内に記録しておき、フレームバッファ２１２０内の値を参照することで得てもよい。かかる場合、ＲＡＨＴ部２０８０は、フレームバッファ２１２０内で参照ノードのＡＣ係数が存在しない場合に、ステップＳ２８１１０で、インター予測が実行不可としてもよい。
ＲＡＨＴ部２０８０は、参照ノードのＡＣ係数について、参照フレームの各ノードのＡＣ係数をフレームバッファ２１２０内に記録しておき、フレームバッファ２１２０内の値を参照することで得てもよい。かかる場合、ＲＡＨＴ部２０８０は、フレームバッファ２１２０内で参照ノードのＡＣ係数が存在しない場合に、ステップＳ２８１１０で、インター予測が実行不可としてもよい。
【0264】
なお、ＲＡＨＴ部２０８０は、Ａｔｔｒｉｎｔｅｒ及びＡＣｉｎｔｅｒについて、それぞれスケーリングファクタαによってα倍してもよい。
【0265】
Ａｔｔｒｐｒｅｄ＝αＡｔｔｒｉｎｔｅｒ
或いは
ＡＣｐｒｅｄ＝αＡＣｉｎｔｅｒ
係数αは、任意の実数をとってよい。係数αは、ノードごとに復号されてもよいし、階層ごとに復号されてもよい。係数αは、スライスデータに含まれていてもよい。
或いは
ＡＣｐｒｅｄ＝αＡＣｉｎｔｅｒ
係数αは、任意の実数をとってよい。係数αは、ノードごとに復号されてもよいし、階層ごとに復号されてもよい。係数αは、スライスデータに含まれていてもよい。
【0266】
例えば、係数αを、以下のように階層の深さｄｅｐｔｈを用いて定義し、係数αの代わりにα’が復号されてもよい。
【0267】
α＝１＋α’・２－ｄｅｐｔｈ
例えば、整数βを、整数aから整数bまでの範囲を取る整数を定義し、βを復号してもよい。係数αは、以下のように、復号したβに整数cを加算した後、整数cで除算した値として算出してもよい。
例えば、整数βを、整数aから整数bまでの範囲を取る整数を定義し、βを復号してもよい。係数αは、以下のように、復号したβに整数cを加算した後、整数cで除算した値として算出してもよい。
【0268】
α＝（β+c）/c
整数βは、指数ゴロム符号を用いて復号してもよい。
整数βは、指数ゴロム符号を用いて復号してもよい。
【0269】
あるいは、係数αは復号器で導出してもよい。
【0270】
例えば、復号対象ノードの親ノードのＡＣ係数ＡＣｐａｒｅｎｔと、親ノードを復号した際のインター予測値ＡＣｐａｒｅｎｔ＿ｉｎｔｅｒを用いて、以下のように算出してもよい。
【0271】
α＝ＡＣｐａｒｅｎｔ／ＡＣｐａｒｅｎｔ＿ｉｎｔｅｒ
例えば、復号対象ノードのＮ個の隣接ノードのＡＣ係数ＡＣｎｅｉｇｈｂｏｒ１、ＡＣｎｅｉｇｈｂｏｒ２、…、ＡＣｎｅｉｇｈｂｏｒＮと、各隣接ノードを復号した際のインター予測値ＡＣｎｅｉｇｈｂｏｒ＿ｉｎｔｅｒ１、ＡＣｎｅｉｇｈｂｏｒ＿ｉｎｔｅｒ２、…、ＡＣｎｅｉｇｈｂｏｒ＿ｉｎｔｅｒＮを用いて、コストが最小になるようにαを算出してもよい。コストとは、例えば、各隣接ノードのＡＣ係数とＡＣ係数の予測器の二乗誤差の総和としてもよい。隣接ノードは、例えば、面を隣接するノードのみを対象としてもよいし、面を隣接するノードとエッジを隣接するノードを対象としてもよい。
例えば、復号対象ノードのＮ個の隣接ノードのＡＣ係数ＡＣｎｅｉｇｈｂｏｒ１、ＡＣｎｅｉｇｈｂｏｒ２、…、ＡＣｎｅｉｇｈｂｏｒＮと、各隣接ノードを復号した際のインター予測値ＡＣｎｅｉｇｈｂｏｒ＿ｉｎｔｅｒ１、ＡＣｎｅｉｇｈｂｏｒ＿ｉｎｔｅｒ２、…、ＡＣｎｅｉｇｈｂｏｒ＿ｉｎｔｅｒＮを用いて、コストが最小になるようにαを算出してもよい。コストとは、例えば、各隣接ノードのＡＣ係数とＡＣ係数の予測器の二乗誤差の総和としてもよい。隣接ノードは、例えば、面を隣接するノードのみを対象としてもよいし、面を隣接するノードとエッジを隣接するノードを対象としてもよい。
【0272】
ＲＡＨＴ部２０８０は、同様の操作を、ステップＳ２８００３におけるＤＣ係数のインター予測で行ってもよい。
【0273】
ＤＣｐｒｅｄ＝αＤＣｉｎｔｅｒ
ここで、参照ノードのＤＣ係数をＤＣｉｎｔｅｒとし、ルートノードのＤＣ係数の予測値をＤＣｐｒｅｄとする。
ここで、参照ノードのＤＣ係数をＤＣｉｎｔｅｒとし、ルートノードのＤＣ係数の予測値をＤＣｐｒｅｄとする。
【0274】
また、ＲＡＨＴ部２０８０は、インター予測及びイントラ予測を組み合わせて属性値或いはＡＣ係数の予測値を算出してもよい。
【0275】
例えば、ＲＡＨＴ部２０８０が属性値の予測を求める場合の例について以下に示す。
【0276】
Ａｔｔｒｐｒｅｄ＝Ｗｉｎｔｅｒ・Ａｔｔｒｉｎｔｅｒ＋Ｗｉｎｔｒａ・Ａｔｔｒｉｎｔｒａ
ここで、Ａｔｔｒｉｎｔｅｒ及びＡｔｔｒｉｎｔｒａは、それぞれ属性値のインター予測及びイントラ予測とする。また、Ｗｉｎｔｅｒ及びＷｉｎｔｒａは、それぞれインター予測及びイントラ予測の重みとする。Ｗｉｎｔｅｒ及びＷｉｎｔｒａは、処理対象階層の深さｄｅｐｔｈによって深い層ほどイントラ予測が重視されるように定めてもよい。例えば、
Ｗｉｎｔｅｒ＝１－ｄｅｐｔｈ/Ｎ
Ｗｉｎｔｒａ＝ｄｅｐｔｈ/Ｎ
Ｎは、インター予測が有効な階層の深さの最大値とする。インター予測及びイントラ予測の組み合わせは、特定の階層でのみ有効としてもよい。例えば、Ｍ＜ｄｅｐｔｈ＜Ｎでのみ、インター予測及びイントラ予測の組み合わせは、有効としてもよい。Ｍは、Ｎ未満の任意の実数とし、ＡＰＳ等のヘッダ情報として復号されてもよい。
ここで、Ａｔｔｒｉｎｔｅｒ及びＡｔｔｒｉｎｔｒａは、それぞれ属性値のインター予測及びイントラ予測とする。また、Ｗｉｎｔｅｒ及びＷｉｎｔｒａは、それぞれインター予測及びイントラ予測の重みとする。Ｗｉｎｔｅｒ及びＷｉｎｔｒａは、処理対象階層の深さｄｅｐｔｈによって深い層ほどイントラ予測が重視されるように定めてもよい。例えば、
Ｗｉｎｔｅｒ＝１－ｄｅｐｔｈ/Ｎ
Ｗｉｎｔｒａ＝ｄｅｐｔｈ/Ｎ
Ｎは、インター予測が有効な階層の深さの最大値とする。インター予測及びイントラ予測の組み合わせは、特定の階層でのみ有効としてもよい。例えば、Ｍ＜ｄｅｐｔｈ＜Ｎでのみ、インター予測及びイントラ予測の組み合わせは、有効としてもよい。Ｍは、Ｎ未満の任意の実数とし、ＡＰＳ等のヘッダ情報として復号されてもよい。
【0277】
【0278】
図２０に示すように、点群符号化装置１００は、座標変換部１０１０と、幾何情報量子化部１０２０と、ツリー解析部１０３０と、近似表面解析部１０４０と、幾何情報符号化部１０５０と、幾何情報再構成部１０６０と、色変換部１０７０と、属性転移部１０８０と、ＲＡＨＴ部１０９０と、ＬｏＤ算出部１１００と、リフティング部１１１０と、属性情報量子化部１１２０と、属性情報符号化部１１３０と、フレームバッファ１１４０とを有する。
【0279】
座標変換部１０１０は、入力点群の３次元座標系から、任意の異なる座標系への変換処理を行うよう構成されている。座標変換は、例えば、入力点群を回転することにより、入力点群のｘ、ｙ、ｚ座標を任意のs、ｔ、ｕ座標に変換してもよい。また、変換のバリエーションの１つとして、入力点群の座標系をそのまま使用してもよい。
【0280】
幾何情報量子化部１０２０は、座標変換後の入力点群の位置情報の量子化及び座標が重複する点の除去を行うように構成されている。なお、量子化ステップサイズが１の場合は、入力点群の位置情報と量子化後の位置情報とが一致する。すなわち、量子化ステップサイズが１の場合は、量子化を行わない場合と等価になる。
【0281】
ツリー解析部１０３０は、量子化後の点群の位置情報を入力として、後述のツリー構造に基づいて、符号化対象空間のどのノードに点が存在するかについて示すｏｃｃｕｐａｎｃｙ ｃｏｄｅを生成するように構成されている。
【0282】
ツリー解析部１０３０は、本処理において、符号化対象空間を再帰的に直方体で区切ることにより、ツリー構造を生成するように構成されている。
【0283】
ここで、ある直方体内に点が存在する場合、かかる直方体を複数の直方体に分割する処理を、直方体が所定のサイズになるまで再帰的に実行することでツリー構造を生成することができる。なお、かかる各直方体をノードと呼ぶ。また、ノードを分割して生成される各直方体を子ノードと呼び、子ノード内に点が含まれるか否かについて０又は１で表現したものがｏｃｃｕｐａｎｃｙ ｃｏｄｅである。
【0284】
以上のように、ツリー解析部１０３０は、所定のサイズになるまでノードを再帰的に分割しながら、ｏｃｃｕｐａｎｃｙ ｃｏｄｅを生成するように構成されている。
【0285】
本実施形態では、上述の直方体を常に立方体として８分木分割を再帰的に行う「Ｏｃｔｒｅｅ」と呼ばれる手法、及び、８分木分割に加え、４分木分割及び２分木分割を行う「ＱｔＢｔ」と呼ばれる手法を使用することができる。
【0286】
ここで、「ＱｔＢｔ」を使用するか否かについては、制御データとして点群復号装置２００に伝送される。
【0287】
或いは、任意のツリー構成を用いるＰｒｅｄｉｃｔｉｖｅ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇを使用するように指定されてもよい。かかる場合、ツリー解析部１０３０が、ツリー構造を決定し、決定されたツリー構造は、制御データとして点群復号装置２００へ伝送される。
【0288】
【0289】
近似表面解析部１０４０は、ツリー解析部１０３０によって生成されたツリー情報を用いて、近似表面情報を生成するように構成されている。
【0290】
近似表面情報は、例えば、物体の３次元点群データを復号する際等において、点群が物体表面に密に分布しているような場合に、個々の点群を復号するのではなく、点群の存在領域を小さな平面で近似して表現したものである。
【0291】
具体的には、近似表面解析部１０４０は、例えば、「Ｔｒｉｓｏｕｐ」と呼ばれる手法で、近似表面情報を生成するように構成されていてもよい。また、Ｌｉｄａｒ等で取得した疎な点群を復号する場合は、本処理を省略することができる。
【0292】
幾何情報符号化部１０５０は、ツリー解析部１０３０によって生成されたｏｃｃｕｐａｎｃｙ ｃｏｄｅ及び近似表面解析部１０４０によって生成された近似表面情報等のシンタックスを符号化してビットストリーム（幾何情報ビットストリーム）を生成するように構成されている。ここで、ビットストリームには、例えば、図４で説明したシンタックスを含まれていてもよい。
【0293】
符号化処理は、例えば、コンテクスト適応二値算術符号化処理である。ここで、例えば、シンタックスは、位置情報の復号処理を制御するための制御データ（フラグやパラメータ）を含む。
【0294】
幾何情報再構成部１０６０は、ツリー解析部１０３０によって生成されたツリー情報及び近似表面解析部１０４０によって生成された近似表面情報に基づいて、符号化対象の点群データの各点の幾何情報（符号化処理が仮定している座標系、すなわち、座標変換部１０１０における座標変換後の位置情報）を再構成するように構成されている。
【0295】
フレームバッファ１１４０は、幾何情報再構成部１０６０によって再構成された幾何情報を入力とし、参照フレームとして保存するように構成されている。
【0296】
保存された参照フレームは、ツリー解析部１０３０において時間的に異なるフレームのインター予測を行う場合に、フレームバッファ１１４０から読み出されて参照フレームとして使用される。
【0297】
ここで、各フレームに対してどの時刻の参照フレームを用いるかどうかが、例えば、符号化効率を表すコスト関数の値に基づいて決定され、使用する参照フレームの情報が制御データとして点群復号装置２００へ伝送されてもよい。
【0298】
色変換部１０７０は、入力の属性情報が色情報であった場合に、色変換を行うように構成されている。色変換は、必ずしも実行する必要は無く、色変換処理の実行の有無については、制御データの一部として符号化され、点群復号装置２００へ伝送される。
【0299】
属性転移部１０８０は、入力点群の位置情報、幾何情報再構成部１０６０における再構成後の点群の位置情報及び色変換部１０７０での色変化後の属性情報に基づいて、属性情報の歪みが最小となるように属性値を補正するように構成されている。具体的な補正方法は、例えば、非特許文献１に記載の方法を適用できる。
【0300】
ＲＡＨＴ部１０９０は、属性転移部１０８０による転移後の属性情報及び幾何情報再構成部１０６０によって生成された幾何情報を入力とし、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）と呼ばれるＨａａｒ変換の一種を用いて、各点の残差情報を生成するように構成されている。
【0301】
復号される情報は、符号化処理においてＲＡＨＴを用いることで生成された属性情報の直流成分（ＤＣ係数）及び交流成分（ＡＣ係数）であり、復号処理において、ＲＡＨＴの逆変換を用いることで属性情報に変換される。
【0302】
ＲＡＨＴの具体的な処理としては、例えば、上述の非特許文献１に記載の方法を用いることができる。
【0303】
ＬｏＤ算出部１１００は、幾何情報再構成部１０６０によって生成された幾何情報を入力とし、ＬｏＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するように構成されている。
【0304】
ＬｏＤは、ある点の属性情報から、他のある点の属性情報を予測し、予測残差を符号化或いは復号するといった予測符号化を実現するための参照関係（参照する点及び参照される点）を定義するための情報である。
【0305】
言い換えると、ＬｏＤは、幾何情報に含まれる各点を複数のレベルに分類し、下位のレベルに属する点については上位のレベルに属する点の属性情報を用いて属性を符号化或いは復号するといった階層構造を定義した情報である。
【0306】
ＬｏＤの具体的な決定方法としては、例えば、上述の非特許文献１に記載の方法を用いてもよい。
【0307】
リフティング部１１１０は、ＬｏＤ算出部１１００によって生成されたＬｏＤ及び属性転移部１０８０での属性転移後の属性情報を用いて、リフティング処理により残差情報を生成するように構成されている。
【0308】
リフティングの具体的な処理としては、例えば、上述の非特許文献１に記載の方法を用いてもよい。
【0309】
属性情報量子化部１１２０は、ＲＡＨＴ部１０９０又はリフティング部１１１０から出力される残差情報を量子化するように構成されている。ここで、量子化ステップサイズが１の場合は、量子化を行わない場合と等価である。
【0310】
属性情報符号化部１１３０は、属性情報量子化部１１２０から出力される量子化後の残差情報等をシンタックスとして符号化処理を行い、属性情報に関するビットストリーム（属性情報ビットストリーム）を生成するように構成されている。
【0311】
符号化処理は、例えば、コンテクスト適応二値算術符号化処理である。ここで、例えば、シンタックスは、属性情報の復号処理を制御するための制御データ（フラグ及びパラメータ）を含む。
【0312】
点群符号化装置１００は、以上の処理により、点群内の各点の位置情報及び属性情報を入力として符号化処理を行い、幾何情報ビットストリーム及び属性情報ビットストリームを出力するように構成されている。
【0313】
また、上述の点群符号化装置１００及び点群復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。
【0314】
なお、上記の各実施形態では、本発明を点群符号化装置１００及び点群復号装置２００への適用を例にして説明したが、本発明は、かかる例のみに限定されるものではなく、点群符号化装置１００及び点群復号装置２００の各機能を備えた点群符号化/復号システムにも同様に適用できる。
【産業上の利用可能性】
【0315】
なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
【符号の説明】
【0316】
１０…点群処理システム
１００…点群符号化装置
１０１０…座標変換部
１０２０…幾何情報量子化部
１０３０…ツリー解析部
１０４０…近似表面解析部
１０５０…幾何情報符号化部
１０６０…幾何情報再構成部
１０７０…色変換部
１０８０…属性転移部
１０９０…ＲＡＨＴ部
１１００…ＬｏＤ算出部
１１１０…リフティング部
１１２０…属性情報量子化部
１１３０…属性情報符号化部
１１４０…フレームバッファ
２００…点群復号装置
２０１０…幾何情報復号部
２０２０…ツリー合成部
２０３０…近似表面合成部
２０４０…幾何情報再構成部
２０５０…逆座標変換部
２０６０…属性情報復号部
２０７０…逆量子化部
２０８０…ＲＡＨＴ部
２０９０…ＬｏＤ算出部
２１００…逆リフティング部
２１１０…逆色変換部
２１２０…フレームバッファ
１００…点群符号化装置
１０１０…座標変換部
１０２０…幾何情報量子化部
１０３０…ツリー解析部
１０４０…近似表面解析部
１０５０…幾何情報符号化部
１０６０…幾何情報再構成部
１０７０…色変換部
１０８０…属性転移部
１０９０…ＲＡＨＴ部
１１００…ＬｏＤ算出部
１１１０…リフティング部
１１２０…属性情報量子化部
１１３０…属性情報符号化部
１１４０…フレームバッファ
２００…点群復号装置
２０１０…幾何情報復号部
２０２０…ツリー合成部
２０３０…近似表面合成部
２０４０…幾何情報再構成部
２０５０…逆座標変換部
２０６０…属性情報復号部
２０７０…逆量子化部
２０８０…ＲＡＨＴ部
２０９０…ＬｏＤ算出部
２１００…逆リフティング部
２１１０…逆色変換部
２１２０…フレームバッファ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】