特許 7557406 点群復号装置、点群復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-18

(45)【発行日】2024-09-27

(54)【発明の名称】点群復号装置、点群復号方法及びプログラム

(51)【国際特許分類】

   G06T 9/00 20060101AFI20240919BHJP

   H04N 19/597 20140101ALI20240919BHJP

   H04N 19/96 20140101ALI20240919BHJP

   G06T 19/00 20110101ALI20240919BHJP

【ＦＩ】

G06T9/00 100

H04N19/597

H04N19/96

G06T19/00

【請求項の数】 8

(21)【出願番号】P 2021052710

(22)【出願日】2021-03-26

(65)【公開番号】P2022150216

(43)【公開日】2022-10-07

【審査請求日】2023-03-02

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】松▲崎▼ 康平

(72)【発明者】

【氏名】海野 恭平

(72)【発明者】

【氏名】河村 圭

【審査官】佐田 宏史

(56)【参考文献】

【文献】国際公開第２０２１／００２４４４（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０１０４４６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ９／００－９／４０，１７／００，１９／００

Ｈ０４Ｎ １３／１６１，１３／１９４，１９／５９７，１９／９６，２１／８５４

Ｈ０３Ｍ ７／３０

(57)【特許請求の範囲】

【請求項1】

ビットストリームから点群を復号するように構成されている点群復号装置であって、
参照幾何情報の点をアップサンプリングするように構成されているアップサンプリング部と、
アップサンプリングされた前記参照幾何情報を用いて占有情報を予測するように構成されている占有予測部とを有することを特徴とする点群復号装置。

【請求項2】

前記点のアップサンプリング方法を表すモデルを生成するように構成されているモデル生成部を更に有し、
前記アップサンプリング部は、前記モデル生成部によって生成された前記モデルを用いて、前記点をアップサンプリングするように構成されていることを特徴とする請求項１に記載の点群復号装置。

【請求項3】

前記アップサンプリング部は、規則的な方法に基づいて生成されたモデルを用いて、前記点をアップサンプリングするように構成されていることを特徴とする請求項１又は２に記載の点群復号装置。

【請求項4】

前記アップサンプリング部は、最尤推定に基づいて生成されたモデルを用いて、前記点をアップサンプリングするように構成されていることを特徴とする請求項１～３のいずれか一項に記載の点群復号装置。

【請求項5】

前記最尤推定は、訓練用の点群において符号化効率が最大となるように前記点をアップサンプリングする位置と個数を推定することを特徴とする請求項４に記載の点群復号装置。

【請求項6】

前記アップサンプリング部は、前記点の属性情報によって、前記点のアップサンプリング方法を変更するように構成されていることを特徴とする請求項１～５のいずれか一項に記載の点群復号装置。

【請求項7】

点群復号装置が、ビットストリームから点群を復号する点群復号方法であって、
前記点群復号装置が、参照幾何情報の点をアップサンプリングする工程と、
前記点群復号装置が、アップサンプリングされた前記参照幾何情報を用いて占有情報を予測する工程とを有することを特徴とする点群復号方法。

【請求項8】

コンピュータを、ビットストリームから点群を復号するように構成されている点群復号装置として機能させるプログラムであって、
前記点群復号装置は、
参照幾何情報の点をアップサンプリングするように構成されているアップサンプリング部と、
アップサンプリングされた前記参照幾何情報を用いて占有情報を予測するように構成されている占有予測部とを有することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、点群復号装置、点群復号方法及びプログラムに関する。

【背景技術】

【0002】

非特許文献１には、インター予測を用いた点群の幾何的情報の符号化及び復号技術が開示されている。かかるインター予測は、複数の要素技術によって構成される。

【0003】

非特許文献２には、時系列的に連続する２つの点群の間で、八分木 （Ｏｃｔｒｅｅ） 法によって分割された小領域（ノード）を対応付け、ノード単位で動き補償を実現する技術が開示されている。

【0004】

非特許文献３には、対応付けられたノードを８つの子ノードに分割する場合に、各子ノードに点が存在するか否か（占有情報）を判定し、時系列的に前の点群（参照フレーム）のノードの占有情報を、時系列的に現在の点群（現フレーム）のノードの占有情報の予測とする技術が開示されている。

【0005】

かかる占有情報の予測は、予測不可能を表すｎｏ ｐｒｅｄ、非占有を表すｐｒｅｄ０、占有を表すｐｒｅｄ１、強い占有を表すｐｒｅｄＬという分類で表現される。

【0006】

ｐｒｅｄ１及びｐｒｅｄＬについては、子ノード内に存在する点の個数が固定値の閾値未満であればｐｒｅｄ１に分類され、そうでなければｐｒｅｄＬに分類される。

【0007】

ここでは、現フレームのノードの占有情報を算術符号化する場合に、かかる予測を用いて各ビットのコンテキストを選択し、コンテキスト毎に異なる生起確率を選択することによって符号化性能を改善することができる。

【0008】

非特許文献４には、時系列的に連続する２つの点群の間で点群全体の動きパラメータ（回転，並進）を推定し、整列させることによって、非特許文献２及び３に基づく符号化の性能を改善する技術が開示されている。

【先行技術文献】

【非特許文献】

【0009】

【文献】Ｅｘｐｌｏｒａｔｏｒｙ ｍｏｄｅｌ ｆｏｒ ｉｎｔｅｒ-ｐｒｅｄｉｃｔｉｏｎ ｉｎ Ｇ－ＰＣＣ、ＩＳＯ／ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１ Ｎ１８０９６

【文献】［ＰＣＣ］Ｏｎ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｓｔｉｏｎ ｆｏｒ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇ ｉｎ ＴＭ３、ＩＳＯ／ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１ ＭＰＥＧ２０１８/ｍ４２５２１

【文献】［ＰＣＣ］Ｈｏｗ ｔｏ ｕｓｅ ａ ｐｒｅｄｉｃｔｉｖｅ ｓｅｔ ｏｆ ｐｏｉｎｔｓ ｆｏｒ ｇｅｏｍｅｔｒｙ ｃｏｄｉｎｇ ｉｎ ＴＭＣ３、ＩＳＯ／ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１ ＭＰＥＧ２０１８/ｍ４２５２０

【文献】［ＰＣＣ］Ｇｌｏｂａｌ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ ｆｏｒ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｅｎｓａｔｉｏｎ ｉｎ ＴＭ３、ＩＳＯ／ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１ ＭＰＥＧ２０１８/ｍ４４７５１

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、非特許文献１～４におけるインター予測では、点群の空間方向の密度が低く時間方向の相関が低い場合に、予測精度が低くなり、符号化効率が低下するという問題点があった。

【0011】

そこで、本発明は、上述の課題に鑑みてなされたものであり、点群のインター予測精度を改善し、符号化効率を改善することができる点群復号装置、点群復号方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明の第１の特徴は、ビットストリームから点群を復号するように構成されている点群復号装置であって、参照幾何情報の点をアップサンプリングするように構成されているアップサンプリング部と、アップサンプリングされた前記参照幾何情報を用いて占有情報を予測するように構成されている占有予測部とを有することを要旨とする。

【0013】

本発明の第２の特徴は、ビットストリームから点群を復号するように構成されている点群復号方法であって、参照幾何情報の点をアップサンプリングする工程と、アップサンプリングされた前記参照幾何情報を用いて占有情報を予測する工程とを有することを要旨とする。

【0014】

本発明の第３の特徴は、コンピュータを、ビットストリームから点群を復号するように構成されている点群復号装置として機能させるプログラムであって、前記点群復号装置は、参照幾何情報の点をアップサンプリングするように構成されているアップサンプリング部と、アップサンプリングされた前記参照幾何情報を用いて占有情報を予測するように構成されている占有予測部とを有することを要旨とする。

【発明の効果】

【0015】

本発明によれば、点群のインター予測精度を改善し、符号化効率を改善することができる点群復号装置、点群復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0016】

【図1】図１は、一実施形態に係る点群処理システム１０の構成の一例を示す図である。

【図2】図２は、一実施形態に係る点群復号装置２００の機能ブロックの一例を示す図である。

【図3A】図３Ａは、一実施形態における階層ごとのノードの概要の一例を示す図である。

【図3B】図３Ｂは、一実施形態における階層ごとのノードの概要の一例を示す図である。

【図4】図４は、Ｌ１距離が１となる箇所にアップサンプリングする場合の模式図である。

【図5】図５は、一実施形態に係る点群復号装置２００においてモデルを生成する処理の一例を示すフローチャートである。

【図6】図６は、一実施形態に係る点群復号装置２００においてモデルを生成する処理の一例を示すフローチャートである。

【図7】図７は、最尤推定によって得られたベクトル集合を用いてアップサンプリングする場合の模式図である。

【図8】図８は、属性情報として方位角を利用する場合の一例を示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施
形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0018】

（第１実施形態）
以下、図１～図８を参照して、本発明の第１実施形態に係る点群処理システム１０について説明する。図１は、本実施形態に係る実施形態に係る点群処理システム１０を示す図である。

【0019】

図１に示すように、点群処理システム１０は、点群符号化装置１００及び点群復号装置２００を有する。

【0020】

点群符号化装置１００は、入力点群信号を符号化することによって符号化データ（ビットストリーム）を生成するように構成されている。点群復号装置２００は、ビットストリームを復号することによって出力点群信号を生成するように構成されている。

【0021】

なお、入力点群信号及び出力点群信号は、点群内の各点の位置情報と属性情報とから構成される。属性情報は、例えば、各点の色情報や反射率である。

【0022】

ここで、かかるビットストリームは、点群符号化装置１００から点群復号装置２００に対して伝送路を介して送信されてもよい。また、ビットストリームは、記憶媒体に格納された上で、点群符号化装置１００から点群復号装置２００に提供されてもよい。

【0023】

（点群復号装置２００）
以下、図２を参照して、本実施形態に係る点群復号装置２００について説明する。図２は、本実施形態に係る点群復号装置２００の機能ブロックの一例について示す図である。

【0024】

図２に示すように、点群復号装置２００は、動き復号部２１と、算術復号部２２と、八分木復号部２３と、動き補償部２４と、アップサンプリング部２５と、占有予測部２６と、確率取得部２７と、モデル生成部２８とを有する。

【0025】

なお，本実施形態においては、モデル生成部２８における処理は、復号処理を行う前に予め実行されてもよい。

【0026】

以下、本実施形態に係る点群復号装置２００の各機能ブロックについて説明する。動き復号部２１、算術復号部２２、八分木復号部２３、動き補償部２４、占有予測部２６及び確率取得部２７における具体的な処理については、例えば、上述の非特許文献１～４に記載の方法を用いることができる．
動き復号部２１は、入力ビットストリームに含まれる符号化された動きパラメータを復号するように構成されている。ここで、動きパラメータは、点群全体又は点群の一部のみを姿勢変換させる回転行列や並進ベクトルとして表現される。

【0027】

算術復号部２２は、入力ビットストリーム及び与えられたデータの生起確率を用いて八分木データ（ビット列）を復号するように構成されている。かかるデータは、０又は１の二値であってもよいし、それ以外であってもよい。かかるデータの生起確率は、確率取得部２４から与えられる。

【0028】

後述する八分木復号部２３が、ノード単位で処理を行うため、１つのノードに含まれる８つの子ノードの占有情報を表す８つのビットを復号した時点で、算術復号部２２は、一
度処理を停止するように構成されている。

【0029】

そして、算術復号部２２は、八分木復号部２３が、この８つのビットに対する処理を完了した後に、処理を再開するように構成されている。

【0030】

このようにして、入力ビットストリームの全てを処理するまで、算術復号部２２及び八分木復号部２３は、交互に処理を行うように構成されている。

【0031】

なお、本実施形態においては、全て又は一部のノードにおいて八分木データについて、公知の四分木 (Ｑｕａｄ ｔｒｅｅ) データや二分木 Ｂｉｎａｒｙ ｔｒｅｅ） データに置き換えてもよい。

【0032】

八分木復号部２３は、公知の八分木法に基づく復号手法を用いてビット列から幾何情報を復号するように構成されている。

【0033】

すなわち、八分木復号部２３は、あるノードに含まれる８つの子ノードの占有情報を表す８つのビットが与えられた場合、ビットが１となる位置に子ノードを生成するように構成されている。

【0034】

八分木復号部２３は、かかる処理を上層から下層に向かって階層的に行い、最下層のノードの座標を、点群を表す幾何情報として出力するように構成されている。

【0035】

八分木法は、ノード単位で処理を行う手法であるため、現在のノードに含まれる８つの子ノードの生成処理が完了した時点で、八分木復号部２３は、一度処理を停止するように構成されている。

【0036】

そして、八分木復号部２３は、算術復号部２２が次に処理するノードの８つの子ノードの占有情報を表す８つのビットを復号した後に、処理を再開するように構成されている。

【0037】

このようにして、入力ビットストリームの全てを処理するまで、算術復号部２２及び八分木復号部２３は、交互に処理を行うように構成されている。

【0038】

ここでは，ノードは、３次元空間を分割するボクセルとして表現されるため、現在処理しているノード又は当該ノードの子ノードの領域に対応する参照幾何情報を選別することができる。かかる選別は、点群として表現される参照幾何情報から、当該領域の内部に含まれる一部のみを取り出す処理である．
本実施形態においては、八分木復号部２３は、現在処理しているノードの８つの子ノードが表すボクセルの領域を、アップサンプリング部２５へ出力するように構成されている。

【0039】

なお、本実施形態においては、全て又は一部のノードにおいて八分木法について、公知の四分木法や二分木法に置き換えてもよい．
動き補償部２４は、点群として表現される参照幾何情報を、動きパラメータを用いて姿勢変換し、参照幾何情報を出力するように構成されている。かかる姿勢変換は、点群全体であってもよいし、点群の一部のみであってもよい。

【0040】

すなわち、動き補償部２４は、点群全体の場合には、全ての点に対して共通の動きパラメータを用いて姿勢変換を行い、点群の一部のみの場合には、一部の点に対して個別の動きパラメータを用いて姿勢変換を行うように構成されている。動きパラメータは，動き復号部２１から与えられる。

【0041】

アップサンプリング部２５は、点群として表現される参照幾何情報に対してアップサンプリングを施すように構成されている。かかる参照幾何情報は、動き補償部２４で姿勢変換されたものであってもよいし、動き補償部２４で姿勢変換されていないものであってもよい。

【0042】

アップサンプリング部２５は、参照幾何情報の各点に対して、所与のモデルを用いて、各点の周囲に新たな点を生成するように構成されている。かかるモデルは、モデル生成部２８から与えられる。

【0043】

アップサンプリング部２５は、モデルが図示していない点の属性情報（例えば、ＬｉＤＡＲセンサとの距離）を必要とする場合には、かかる属性情報を使用若しくは計算することによって、点を生成する。

【0044】

換言すると、アップサンプリング部２５は、属性情報ごとに異なるモデルを用いてアップサンプリングを行うように構成されている。すなわち、アップサンプリング部２５は、点の属性情報によって、点のアップサンプリング方法を変更するように構成されている。

【0045】

ここで、属性情報は、参照幾何情報の各点に予め付与されている場合には、そのまま使用され、参照幾何情報の各点に予め付与されていない場合には、新たに計算される。

【0046】

本実施形態において、アップサンプリング部２５は、八分木復号部２３から出力されたノードの８つの子ノードが表すボクセルの領域を用いて、参照幾何情報を選別するように構成されている。

【0047】

そして、アップサンプリング部２５は、選別された参照幾何情報に対して、アップサンプリングを施すように構成されている。

【0048】

ただし、かかるアップサンプリングは、入力された参照幾何情報又は動き補償部２４から出力された参照幾何情報に対して行ってもよい。

【0049】

また、アップサンプリング部２５は、モデル生成部２８からシンタックスを受け取り、かかるシンタックスに基づいて、アップサンプリングをするか否かについての情報や、アップサンプリングの方法について決定するように構成されていてもよい。

【0050】

また、アップサンプリング部２５は、与えられた点群の中で、疎な点及び密な点を判別し、疎な点に対してのみ、アップサンプリングを施すように構成されていてもよい。

【0051】

ここで、疎な点を判別する方法としては、例えば、各点の最近傍に位置する点との距離が閾値以上になるか否か、各点の半径ｒ[ｍ] 以内に位置する点の個数が閾値以下になるか否か、各点の属するボクセルの内部に位置する点の個数が閾値以下になるか否か等を用いてもよいし、他の方法を用いてもよい。

【0052】

占有予測部２６は、アップサンプリング部２５によってアップサンプリングされた参照幾何情報を表す点群を用いて占有情報を予測するように構成されている。

【0053】

すなわち、占有予測部２６は、これから算術復号部２２が復号するビット列に対応する８つの子ノードが表すボクセル内の点群として表現される参照幾何情報から、例えば、ｎｏ ｐｒｅｄ（予測不可能）、ｐｒｅｄ０（非占有）、ｐｒｅｄ１（占有）及びｐｒｅｄＬ（強い占有）という分類を得る。かかるボクセルの領域は、八分木復号部２３から与え
られる。

【0054】

占有予測部２６は、この８つの子ノードの占有情報の予測を、確率取得部２７へ出力するように構成されている。

【0055】

本実施形態においては、八分木復号部から出力されたノードの8つの子ノードが表すボクセルの領域に含まれる参照幾何情報を，アップサンプリング部でアップサンプリングした結果に基づいて，占有情報を予測する．
ただし、占有予測部２６は、入力された参照幾何情報又は動き補償部２４から出力された参照幾何情報をアップサンプリングした後に、八分木復号部２３から出力されたノードの８つの子ノードが表すボクセルの領域に含まれる参照幾何情報を選別した結果に基づいて、この占有情報の予測について行うように構成されていてもよい。

【0056】

また、八分木法では、ノードの内部に含まれる点の個数が上層ほど多く下層ほど少なくなることが予想される。そのため，ｐｒｅｄ１及びｐｒｅｄＬの分類に用いる閾値ｔｈを、固定値の代わりに、ｔｈ＝λ×ｎとしてもよい。ここで、ｎは、八分木法における階層番号（最下層を１とし、上層ほど大きくなる番号とする）であり、λは、任意の係数である。

【0057】

図３Ａ及び図３Ｂに、階層ごとのノードの概要について示す。ノードは、実際には３次元の格子で表されるが、ここでは、図を単純化するために２次元の格子で表現する。

【0058】

図３Ａは、上層（ｎ＝４）における４つのノードの模式図を示している。各ノード内の四角形は、点を表現可能な最小単位を表し、黒色で塗りつぶされた四角形は、点が存在することを意味する。図３Ｂは、より下層（ｎ＝２）における４つのノードの模式図を示している。

【0059】

上層のノードほど、ボクセルの体積が大きいため、より多くの点が含まれる可能性がある。一方、下層のノードは、上層のノードを分割したものであるため、相対的に点の個数が少なくなる。

【0060】

そのため、固定値の閾値ｔｈを用いた場合には、上層ほどｐｒｅｄＬに分類される可能性が高く、下層ほどｐｒｅｄ１に分類される可能性が高くなる。例えば、ｔｈ＝３とした場合、図３Ａに示す上層のノードは、全てｐｒｅｄＬに分類され、図３Ｂに示す下層のノードは、全てｐｒｅｄ１に分類される。

【0061】

一方、例えば、λ＝１、ｔｈ＝λ×ｎとした場合、上層のノード及び下層のノードは、図３Ａ及び図３Ｂに示す左上の１つのノードが、ｐｒｅｄＬに分類され、他のノードが、ｐｒｅｄ１に分類される。

【0062】

このように、階層に応じて閾値を変動させることにより、同一階層におけるノードを点の密度に応じて分類する効果が得られる。

【0063】

或いは、階層番号の代わりに任意の統計量を用いてもよい。例えば、ある階層における占有ノード内の点の個数の平均値ｍを数え、その１つ下の階層で用いる閾値をｔｈ＝λ×ｍとしてもよい。或いは、統計量は、ある階層における占有ノード内の点の個数の中央値や、最上階層からの累積移動平均値であってもよい。これにより、入力点群の密度に対して適応的に閾値を変動させることができる。

【0064】

確率取得部２７は、占有予測部２６から与えられる占有情報の予測等を用いて、算術復
号部２２によって復号されるノードに対応するデータの生起確率を取得するように構成されている。かかる生起確率は、固定値であってもよいし、適応的な変動値であってもよい。

【0065】

確率取得部２７は、生起確率を取得する際に、算術復号部２２によって復号されるノードの親ノードの近傍ノードの占有情報や、共通の親ノードを持つ８つの子ノードの占有情報のような他の情報を用いるように構成されていてもよい。

【0066】

確率取得部２７は、取得された生起確率を算術復号部２２へ出力するように構成されている。

【0067】

モデル生成部２８は、点をアップサンプリングするためのモデルを生成するように構成されている。モデル生成部２８は、規則的な方法に基づいて、かかるモデルを生成するように構成されていてもよい。

【0068】

例えば、モデル生成部２８は、点の位置を基準として３次元空間上でＬ１距離が１となる６か所にアップサンプリングするモデルを生成するように構成されていてもよいし、点を中心に配置した場合のＧｅｏｄｅｓｉｃ ｄｏｍｅの頂点位置にアップサンプリングするモデルを生成するように構成されていてもよいし、他の方法でアップサンプリングするモデルを生成するように構成されていてもよい。

【0069】

図４に、Ｌ１距離が１となる箇所にアップサンプリングする場合の模式図を示す。点は、実際には３次元で表されるが、ここでは、図を単純化するために２次元で表現する。

【0070】

図４において、黒色の四角形は、参照フレーム内の１点を表し、黒色の丸は、この点からアップサンプリングされた点を表す。図４においては，２次元格子上でＬ１距離が１となる４か所に点がアップサンプリングされる。

【0071】

また、モデル生成部２８は、訓練用の点群を用いて最尤推定に基づいて、かかるモデルを生成するように構成されていてもよい。図５に、かかるケースにおける処理のフローチャートを示す。

【0072】

図５に示すように、ステップＳ１０１において、訓練用の点群が入力されると、ステップＳ１０２において、動き補償部２４は、ＬｉＤＡＲで計測した時系列的に連続する複数の点群を、訓練用の点群、すなわち、参照フレーム及び現フレームのペアとし、参照フレームの姿勢変換を行う。

【0073】

ステップＳ１０３において、モデル生成部２８は、最近傍探索によって参照フレームの各点と現フレームの点を対応付け、対応する点の位置誤差を表すベクトルを計算する。

【0074】

ステップＳ１０４において、モデル生成部２８は、出現頻度を高めるために、かかるベクトルを量子化してもよい。

【0075】

例えば、モデル生成部２８は、ベクトルの向きや大きさを空間的に等間隔になるように離散化された代表値に置き換えてもよいし、ｋ-ｍｅａｎｓ法によってｋ通りに分類されたベクトル群の代表値に置き換えてもよいし、他の方法を用いてもよい。

【0076】

ステップＳ１０５において、モデル生成部２８は、同一のベクトルが出現した回数をカウントし、出現頻度の高い上位Ｎ個のベクトルを選択する。モデル生成部２８は、点の位置を基準として、かかるベクトルが指し示す先に点をアップサンプリングするモデルを生
成してもよい。

【0077】

ステップＳ１０６において、モデル生成部２８は、選択済みベクトル集合を出力する。

【0078】

図６に、上述のモデルを生成する処理の別のケースのフローチャートを示す。

【0079】

図６に示すように、ステップＳ２０１において、訓練用の点群及びベクトル集合が入力されると、ステップＳ２０２において、モデル生成部２８は、アップサンプリングなしの参照フレームを用いて現フレームを符号化し、符号量を取得する。

【0080】

ステップＳ２０３において、モデル生成部２８は、ベクトル集合の要素数が０になるまで、ステップＳ２０４～Ｓ２０９の処理を繰り返す。

【0081】

ステップＳ２０４において、モデル生成部２８は、ベクトル集合内の残りのベクトルのそれぞれについて、ステップＳ２０５～Ｓ２０９の動作を繰り返す。

【0082】

ステップＳ２０５において、モデル生成部２８は、選択済みベクトル集合及びステップＳ２０４において選択された１つのベクトルを用いて、参照フレームをアップサンプリングする。

【0083】

ステップＳ２０６において、モデル生成部２８は、アップサンプリングされた参照フレームを用いて現フレームを符号化し、符号量を取得する。

【0084】

ステップＳ２０７において、モデル生成部２８は、ステップＳ２０６において取得された符号量が過去最低であるか否かについて判定する。Ｙｅｓの場合、本処理は、ステップＳ２０８に進み、Ｎｏの場合は、本処理は、ステップＳ２０９に進む。

【0085】

ステップＳ２０８において、モデル生成部２８は、ステップＳ２０４において選択された１つのベクトルを選択済みベクトル集合に追加する。

【0086】

ステップＳ２０９において、モデル生成部２８は、ステップＳ２０４において選択された１つのベクトルをベクトル集合から除外する。

【0087】

ステップＳ２１０において、モデル生成部２８は、選択済みベクトル集合を出力する。

【0088】

モデル生成部２８は、ベクトルの個数Ｎを決定する際には、訓練用の点群を実際に符号化した場合に符号化効率が最大となるＮを選択するように構成されていてもよい。

【0089】

或いは、モデル生成部２８は、Ｎ個のベクトルを出現頻度の高い順に選ぶ代わりに、訓練用の点群の符号化効率が良くなる順に選択するように構成されていてもよい。

【0090】

すなわち、モデル生成部２８は、選択する候補となる全てのベクトルについて、それらをモデルに含めた場合の符号化効率を調査した後に、最も改善効果の大きい１つのベクトルをモデルに含めるように構成されていてもよい。そして、モデル生成部２８は、かかるベクトルを候補から除外し、符号化効率が改善しなくなるまで同じ処理を繰り返すように構成されていてもよい。このようにして、モデル生成部２８は、モデルに含めるベクトルの集合を選んでもよい。

【0091】

或いは、モデル生成部２８は、初めに図５に示す処理で出現頻度の高いＮ個のベクトル集合を選択した後に、出現頻度の高い順に１つずつベクトルを選択し、図６に示す内側の
反復処理（ステップＳ２０４～Ｓ２０９）を行うことによって、Ｎ回の反復のみでモデルに含めるベクトルの集合を選択するように構成されていてもよい。

【0092】

図７に、最尤推定によって得られたベクトル集合を用いてアップサンプリングする場合の模式図を示す。点は、実際には３次元で表されるが、ここでは、図を単純化するために２次元で表現する．
図７において、黒色の四角形は、参照フレーム内の１点を表し、黒色の丸は、かかる点からアップサンプリングされた点を表す。

【0093】

ここで、得られるベクトル集合の例として、ｖ１＝（１，１）、ｖ２＝（２，-２）、ｖ３＝（-１，２）、ｖ４＝（-２，０）、ｖ５＝（-１，-２）を想定する。図７においては、参照フレーム内の１点の位置を基準に、これらのベクトルが指し示す先の位置に、点がアップサンプリングされる。

【0094】

また、モデル生成部２８は、点の属性情報毎に、個別に、かかるモデルを作成するように構成されていてもよい。

【0095】

かかる属性情報は、点の持つ任意の特徴であり、例えば、点の座標を３次元極座標系で表現した場合の中心からの距離や仰角や方位角である。或いは、かかる属性情報は、点からその２近傍点へのベクトルのなす角であってもよいし、点からその２近傍点の中心へ向かうベクトルの大きさや向きであってもよい。或いは、かかる属性情報は、非特許文献５（Ｓｔｏｙａｎｏｖ、Ｔｏｄｏｒ等、「Ｆａｓｔ ａｎｄ ａｃｃｕｒａｔｅ ｓｃａｎ
ｒｅｇｉｓｔｒａｔｉｏｎ ｔｈｒｏｕｇｈ ｍｉｎｉｍｉｚａｔｉｏｎ ｏｆ ｔｈｅ ｄｉｓｔａｎｃｅ ｂｅｔｗｅｅｎ ｃｏｍｐａｃｔ ３Ｄ ＮＤＴ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ．」、Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ
Ｒｏｂｏｔｉｃｓ Ｒｅｓｅｒｃｈ ３１.１２（２０１２）：１３７７-１３９３）に記載されるように点の周囲の点を用いて計算した分散共分散行列を特異値分解し、その特異値の関係性から得られる球や平面や線という分類であってもよいし、他の特徴であってもよい。

【0096】

上述した最尤推定は、かかる属性情報によって分類された点群毎に行われてもよい。すなわち、モデル生成部２８は、属性情報毎に異なるモデルを生成するように構成されていてもよい。

【0097】

この際、参照フレームの点と現フレームの点との間で属性情報が一致する頻度を高めるために、属性情報の値について量子化してもよい。例えば，中心からの距離は、１０メートル間隔のビンで表現し、同一のビンに属する点は、同一の距離であるとみなしてよい。

【0098】

また、属性情報によって分類を行う際には、複数の属性情報を組み合わせて分類のパターンを増やしてもよい。

【0099】

図８に、属性情報として方位角を利用する場合の例を示す。図８の例では、黒色の丸は、原点を表し、三角形及び菱形は、それぞれ参照フレーム内の点を表す。

【0100】

参照フレーム内の点の位置は、一般に、３次元直交座標系における原点を基準とした（ｘ，ｙ，ｚ）座標で表現されるため、３次元極座標系表現に変換され得る。

【0101】

図８の例は、三角形の点は、方位角４５°となり、菱形の点は、方位角１５０°となる場合を示している。このようにして，各点に属性情報を付与し、属性情報に応じて点を分類することができる。

【0102】

また、モデル生成部２８は、アップサンプリング部２５によってアップサンプリングを行うか否かについての情報や、アップサンプリングの方法をシンタックスとして出力するように構成されていてもよい。

【0103】

かかるシンタックスは、例えば、０がアップサンプリングを実施しないというルールを表し、１が規則的な方法に基づいてアップサンプリングを実施するというルールを表し、２が最尤推定に基づいてアップサンプリングを実施するというルールを表す情報である。

【0104】

また、上述の点群符号化装置１００及び点群復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【0105】

なお、上記の各実施形態では、本発明を点群符号化装置１００及び点群復号装置２００への適用を例にして説明したが、本発明は、かかる例のみに限定されるものではなく、点群符号化装置１００及び点群復号装置２００の各機能を備えた点群符号化/復号システムにも同様に適用できる。

【産業上の利用可能性】

【0106】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0107】

１０…点群処理システム
１００…点群符号化装置
２００…点群復号装置
２１…動き復号部
２２…算術復号部
２３…八分木復号部
２４…動き補償部
２５…アップサンプリング部
２６…占有予測部
２７…確率取得部
２８…モデル生成部

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】