(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-08
(45)【発行日】2024-10-17
(54)【発明の名称】復号方法、復号装置及び復号プログラム
(51)【国際特許分類】
G06T 9/40 20060101AFI20241009BHJP
【FI】
G06T9/40
(21)【出願番号】P 2022570956
(86)(22)【出願日】2020-12-25
(86)【国際出願番号】 JP2020048778
(87)【国際公開番号】W WO2022137515
(87)【国際公開日】2022-06-30
【審査請求日】2023-05-22
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】杉本 志織
(72)【発明者】
【氏名】渡邊 真由子
(72)【発明者】
【氏名】谷田 隆一
(72)【発明者】
【氏名】木全 英明
【審査官】松浦 功
(56)【参考文献】
【文献】国際公開第2020/075781(WO,A1)
【文献】特表2018-534881(JP,A)
【文献】米国特許出願公開第2019/0311502(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 9/00 - 9/40
H04N 1/41 - 1/419
H04N 1/64
H04N 13/00 -13/194
H04N 19/00 -19/98
Google Scholar
(57)【特許請求の範囲】
【請求項1】
コンピュータが、異なるフレームに属する点群を併合した併合点群データを復号する復号方法であって、
前記コンピュータが、フレームごとに定められた基準値を特定するステップと、
前記コンピュータが、前記併合点群データの複数の点の前記基準値に対する属性値の残差である属性残差を符号化した符号化残差データから前記複数の点の属性残差を復号するステップと、
前記コンピュータが、前記複数の点それぞれについて、
属するフレームに対応する前記基準値と、前記点の属性残差
とから前記点の属性値を算出するステップと
を有する復号方法。
【請求項2】
前記コンピュータが、前記複数の点それぞれが属する
フレームを示す値を符号化した符号化属性データから前記複数の点それぞれが属する
フレームを復号するステップを有し、
前記基準値を特定するステップにおいて、
前記コンピュータが、前記複数の点それぞれについて、復号された前記
フレームに対応する基準値を特定する
請求項1に記載の復号方法。
【請求項3】
コンピュータが、異なるフレームに属する点群を併合した併合点群データに含まれる複数の点のそれぞれについて、前記点が属する前記フレームを示すフレームインデックスを符号化した符号化インデックスデータと、基準値に対する属性値の残差である属性残差を符号化した符号化残差データと
、前記フレームインデックスと前記基準値との対応関係を示す基準データとを含む符号化点群データとから、前記複数の点それぞれの前記フレームインデックスと前記属性残差とを復号するステップと、
前記コンピュータが、前記符号化点群データから前記基準データを取得するステップと、
前記コンピュータが、前記複数の点それぞれについて、復号された前記フレームインデックスに対応する前記基準値を前記基準データから特定するステップと、
前記コンピュータが、前記複数の点それぞれについて、復号された前記属性残差と特定された前記基準値とから前記属性値を算出するステップと
を含む復号方法。
【請求項4】
異なるフレームに属する点群を併合した併合点群データを復号する復号装置であって、
フレームごとに定められた基準値を特定する基準特定部と、
前記併合点群データの複数の点の前記基準値に対する属性値の残差である属性残差を符号化した符号化残差データから前記複数の点の属性残差を復号する残差復号部と、
前記複数の点それぞれについて、
属するフレームに対応する前記基準値と、前記点の属性残差
とから前記点の属性値を算出する属性値算出部と
を有する復号装置。
【請求項5】
異なるフレームに属する点群を併合した併合点群データを復号するコンピュータに、
複数の点と基準値との対応関係を示す基準データから
フレームごとに定められた基準値を特定するステップと、
前記併合点群データの複数の点の前記基準値に対する属性値の残差である属性残差を符号化した符号化残差データから前記複数の点の属性残差を復号するステップと、
前記複数の点それぞれについて、
属するフレームに対応する前記基準値と、前記点の属性残差
とから前記点の属性値を算出するステップと
を実行させるための復号プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、復号方法、復号装置及び復号プログラムに関する。
【背景技術】
【0002】
点群データによって表される動画像を符号化する方法として、combine frame codingが提案されている(非特許文献1を参照)。combine frame codingは、複数のフレームに属する点群を併合してから符号化する手法である。点群データの符号化方式として8分木が知られている。動画像において連続するフレームに表される点群同士は互いにその位置について高い相関を有するため、8分木の上位レベル(ルートに近いレベル)において同様の構造を有している。そのため、combine frame codingを用いることで、符号化効率を高めることができる。なお、併合された複数の点それぞれには、フレームインデックスが付与されることで、復号時にフレーム別に点群を取り出すことができる。
【先行技術文献】
【非特許文献】
【0003】
【文献】N19525、ISO/IEC JTC 1/SC 29/WG 11“Coding of moving pictures and audio”、2020年10月2日
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、点の位置(Geometry)以外の属性(Attribute)は、必ずしもフレーム間で高い相関を有するとは限らない。そのため、combine frame codingを用いる場合、少なくとも点の位置については符号化効率を高めることができる一方、他の属性については符号化効率を高めることができない可能性がある。
本発明の目的は、点群の属性について符号化効率を高めたデータから、点群を復号することができる復号方法、復号装置及び復号プログラムを提供することにある。
【課題を解決するための手段】
【0005】
本発明の一態様は、点群データを復号する復号方法であって、複数の点それぞれに対応する基準値を特定するステップと、前記複数の点の前記基準値に対する属性値の残差である属性残差を符号化した符号化残差データから前記複数の点の属性残差を復号するステップと、前記複数の点それぞれについて、前記点の属性残差と前記点に対応する基準値とから前記点の属性値を算出するステップとを有する復号方法である。
【0006】
本発明の一態様は、異なるフレームに属する点群を併合した併合点群データに含まれる複数の点のそれぞれについて、前記点が属する前記フレームを示すフレームインデックスと前記基準値に対する属性値の残差である属性残差とを含む属性データを符号化した符号化属性データから、前記複数の点それぞれの前記フレームインデックスと前記属性残差とを復号するステップと、前記フレームインデックスと前記基準値との対応関係を示す基準データを取得するステップと、前記複数の点それぞれについて、復号された前記フレームインデックスに対応する前記基準値を前記基準データから特定するステップと、前記複数の点それぞれについて、復号された前記属性残差と特定された前記基準値とから前記属性値を算出するステップとを含む復号方法である。
【0007】
本発明の一態様は、点群データを復号する復号装置であって、複数の点それぞれに対応する基準値を特定する基準特定部と、前記複数の点の前記基準値に対する属性値の残差である属性残差を符号化した符号化残差データから前記複数の点の属性残差を復号する残差復号部と、前記複数の点それぞれについて、前記点の属性残差と前記点に対応する基準値とから前記点の属性値を算出する属性値算出部56とを有する復号装置である。
【0008】
本発明の一態様は、コンピュータに、複数の点と基準値との対応関係を示す基準データから前記複数の点それぞれに対応する基準値を特定するステップと、前記複数の点の前記基準値に対する属性値の残差である属性残差を符号化した符号化残差データから前記複数の点の属性残差を復号するステップと、前記複数の点それぞれについて、前記点の属性残差と前記点に対応する基準値とから前記点の属性値を算出するステップとを実行させる復号プログラムである。
【0009】
本発明の一態様は、複数の点の前記基準値に対する属性値の残差である属性残差を符号化したデータであって、前記コンピュータによって前記属性残差を復号する処理に用いられる符号化残差データと、前記複数の点と基準値との対応関係を示すデータであって、前記コンピュータによって、前記複数の点それぞれについて、前記属性残差と前記基準値とから前記属性値を算出する処理に用いられる基準データとを含む符号化点群データのデータ構造である。
【発明の効果】
【0010】
上記態様によれば、点群の属性について符号化効率を高めたデータから、点群を復号することができる。
【図面の簡単な説明】
【0011】
【
図1】第1の実施形態に係る動画像処理システムの構成を示す概略図である。
【
図2】第1の実施形態に係る符号化装置の構成を示す概略ブロック図である。
【
図3】第1の実施形態に係る符号化点群データのデータ構造の例を示す図である。
【
図4】第1の実施形態に係る符号化装置による動的点群データの符号化方法を示すフローチャートである。
【
図5】第1の実施形態に係る復号装置の構成を示す概略ブロック図である。
【
図6】第1の実施形態に係る復号装置による符号化点群データの復号方法を示すフローチャートである。
【
図7】少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0012】
〈第1の実施形態〉
《動画像処理システム1の構成》
以下、図面を参照しながら実施形態について詳しく説明する。
図1は、第1の実施形態に係る動画像処理システムの構成を示す概略図である。動画像処理システム1は、点群生成装置10と、符号化装置30と復号装置50とを備える。
【0013】
点群生成装置10は、対象空間に存在する物体の三次元形状を表す点群データを生成する。点群生成装置10は、所定のフレーム時間ごとに点群データを生成することで、動的点群データを生成する。点群生成装置10の例としては、LiDAR(Light Detection and Ranging)装置が挙げられる。点群生成装置10は、GNSS(Global Navigation Satellite System)により特定されるグローバル位置と、慣性センサにより特定される姿勢とを用いて、計測された各点のグローバル位置を特定する。点群データには、特定された位置を示すデータ(Geometry data)と、色、計測時刻、各種計測器の計測値などの属性データ(Attribute data)とが含まれる。
【0014】
符号化装置30は、点群生成装置10が生成した動的点群データを符号化した符号化点群データを生成する。動的点群データにおいて、連続するフレームに表される点群同士は互いにその位置について高い相関を有する。一方で、点の位置以外の属性は、必ずしもフレーム間における近い位置の点同士で高い相関を有するとは限らない。属性によっては、同じフレームの異なる位置の点、異なるフレームの異なる位置の点等において、近しい値、若しくは高い相関を有する値を取る場合がある。例えば、上記で例示した計測時刻は、異なるフレームの近い位置の点同士より、同じフレームの異なる位置の点同士において、近い値をとる可能性が高い。また、点群生成装置10が定期的に現実空間における同じ位置の点を取得するような場合、異なるフレームにおける近傍の位置の点同士や、異なるフレームにおける異なる位置の点同士において、近い値をとる可能性がある。第1の実施形態に係る符号化装置30は、この性質を利用して動的点群データの符号化効率を高める。
【0015】
復号装置50は、符号化点群データを復号し、動的点群データを再生する。符号化装置30は、例えばネットワークを介して符号化点群データを復号装置50に出力する。
【0016】
《符号化装置30の構成》
図2は、第1の実施形態に係る符号化装置30の構成を示す概略ブロック図である。符号化装置30は、点群取得部31、併合部32、幾何符号化部33、基準決定部34、残差算出部35、属性符号化部36、出力部37を備える。
【0017】
点群取得部31は、点群生成装置10から動的点群データを取得する。併合部32は、動的点群データを構成する複数のフレームを併合する。幾何符号化部33は、併合された動的点群データに含まれる複数の点の位置を符号化することで、符号化幾何データを生成する。点群データの符号化方式としては、8分木符号化が挙げられる。
【0018】
基準決定部34は、併合された動的点群データの複数の属性項目のうち、属性残差を符号化すべき属性項目に係る基準値を決定する。属性残差を符号化すべき属性項目は予め定められる。少なくともフレームインデックスは、属性残差を符号化すべき属性項目に含めない。属性残差を符号化すべき属性項目として、レーザ照射点からの距離や受光角度など、時間に応じて値が変化する属性項目を選択すると、符号化効率を高めることができる。
【0019】
属性残差を符号化すべき属性項目の例としては、例えば、サーモグラフィデータ、スキャン時の点群生成装置10の三次元位置及び姿勢、セグメンテーションラベル、パーティクルシミュレーションのパラメータ(例えば、速度ベクトル)、法線、レーザーの反射強度、透明度、マテリアルIDなどが挙げられる。サーモグラフィデータは、外気温の影響を受けて時間に応じて値が変化する。点群生成装置10の三次元位置及び姿勢は、点群生成装置10が車両などの移動体に設けられる場合、時間に応じて変化する。セグメンテーションラベルは、例えばセマンティックセグメンテーションなどにより付される、点が属するカテゴリを示すラベルである。フレームごとにセマンティックセグメンテーションを行う場合、フレーム間で付されるセグメンテーションラベルが変化する可能性がある。
【0020】
基準決定部34は、フレーム間の属性値の乖離が小さくなるように基準値を決定する。基準決定部34は、例えばフレームごとの属性値の平均値を基準値として算出する。基準決定部34は、フレームを示すフレームインデックスと、属性項目と、基準値とを関連付けた基準データを生成する。基準決定部34は、基準データを符号化してもよい。
【0021】
残差算出部35は、併合された動的点群データに含まれる複数の点それぞれについて、基準値を決定した属性項目の属性値と基準値の残差である属性残差を算出する。属性符号化部36は、併合された動的点群データに含まれる複数の点の属性残差を符号化することで、符号化残差データを生成する。属性符号化部36は、併合された動的点群データに含まれる複数の点の属性残差を符号化しない属性項目に係る属性値を符号化することで、符号化属性データを生成する。属性符号化部36は、各点の属性残差を変換符号化する。一方で、属性符号化部36は、各点のフレームインデックスをロスレス符号化する。フレームインデックスに係る符号化属性データは、符号化インデックスデータともよぶ。
【0022】
出力部37は、符号化幾何データ、符号化属性データ、符号化残差データ及び基準データを含む符号化点群データを、復号装置50へ出力する。
図3は、第1の実施形態に係る符号化点群データのデータ構造の例を示す図である。
図3に示す例では、符号化点群データは、ヘッダに基準データを含み、ボディに符号化幾何データ、符号化属性データ及び符号化残差データを含む。符号化幾何データ、符号化属性データ及び符号化残差データは、それぞれ複数のスライスに分割されて格納されてもよい。なお、他の実施形態においては、基準データがadditional messageとして出力されてもよい。
【0023】
《符号化装置30の動作》
図4は、第1の実施形態に係る符号化装置30による動的点群データの符号化方法を示すフローチャートである。符号化装置30の点群取得部31は、点群生成装置10から動的点群データを取得する(ステップS1)。点群取得部31が取得する動的点群データは、大量のフレームを有する動的点群データの一部を構成するものであってもよい。
【0024】
併合部32は、ステップS1で取得した動的点群データを構成する複数のフレームを併合する(ステップS2)。幾何符号化部33は、併合された動的点群データに含まれる複数の点の位置について符号化幾何データを生成する(ステップS3)。
【0025】
基準決定部34は、属性残差を符号化すべき属性項目について、フレームごとの基準値を決定し、基準データを生成する(ステップS4)。残差算出部35は、ステップS4で決定した基準値に基づいて、属性残差を符号化すべき属性項目の属性値から属性残差を算出する(ステップS5)。属性符号化部36は、ステップS5で算出された属性残差を符号化することで、符号化残差データを生成する(ステップS6)。また、属性符号化部36は、属性残差を算出しない属性項目の属性値を符号化することで、符号化属性データを生成する(ステップS7)。属性残差を算出しない属性項目には、フレームインデックスが含まれる。
【0026】
出力部37は、符号化幾何データ、符号化属性データ、符号化残差データ及び基準データを含む符号化点群データを、復号装置50へ出力する(ステップS8)。
【0027】
上述したように、レーザ照射点からの距離や受光角度など、時間に応じて値が変化する属性項目は、フレーム間で値が大きく変化する。一方で、各点が表す物体はフレーム間で変わらないため、属性項目におけるフレーム内の点同士の相対的な関係は、フレーム間で大きく変化しない。したがって、符号化装置30は、フレームごとの基準値と属性値との残差を符号化することで、符号化効率の良い符号化点群データを生成することができる。
【0028】
《復号装置50の構成》
図5は、第1の実施形態に係る復号装置50の構成を示す概略ブロック図である。復号装置50は、入力部51、幾何復号部52、属性復号部53、残差復号部54、基準特定部55、属性値算出部56、分解部57、表示部58を備える。
【0029】
入力部51は、復号装置50から符号化点群データの入力を受け付ける。幾何復号部52は、符号化点群データに含まれる符号化幾何データを復号する。属性復号部53は、符号化点群データに含まれる符号化属性データを復号する。これにより、属性復号部53は、フレームインデックスを含む各点の属性値を取得する。
【0030】
残差復号部54は、符号化点群データに含まれる符号化残差データを復号する。これにより、残差復号部54は、各点の属性残差を取得する。基準特定部55は、符号化点群データに含まれる基準データから、フレームインデックス別の基準値を特定する。属性値算出部56は、各点の属性残差に基準値を加算することで、各点の属性を算出する。分解部57は、複数の点をフレーム別に分解することで、動的点群データを再生する。表示部58は、動的点群データに基づいて、表示装置に動画像を表示させる。
【0031】
《復号装置50の動作》
図6は、第1の実施形態に係る復号装置50による符号化点群データの復号方法を示すフローチャートである。入力部51は、復号装置50から符号化点群データの入力を受け付ける(ステップS31)。幾何復号部52は、ステップS31で入力された符号化点群データに含まれる符号化幾何データを復号する(ステップS32)。これにより、幾何復号部52は、複数の点の位置を特定する。
【0032】
属性復号部53は、ステップS31で入力された符号化点群データに含まれる符号化属性データを復号する(ステップS33)。これにより、属性復号部53は、フレームインデックスを含む各点の属性値を取得する。残差復号部54は、符号化点群データに含まれる符号化残差データを復号する(ステップS34)。これにより、残差復号部54は、各点の属性残差を取得する。
【0033】
復号装置50は、符号化点群が表す点を1つずつ選択し(ステップS35)、選択した点について以下のステップS36からステップS38の処理を実行する。基準特定部55は、ステップS33で取得した複数の点の属性値から、ステップS35で特定した点のフレームインデックスを特定する(ステップS36)。基準特定部55は、ステップS31で入力された符号化点群データに含まれる基準データから、ステップS36で特定したフレームインデックスに対応する基準値を特定する(ステップS37)。属性値算出部56は、ステップS35で特定した点の属性残差にステップS37で特定した基準値を加算することで、属性値を算出する(ステップS38)。
【0034】
復号装置50がすべての点の属性値を算出すると、分解部57は、複数の点をフレーム別に分解することで、動的点群データを再生する(ステップS39)。表示部58は、動的点群データに基づいて、表示装置に動画像を表示させる(ステップS40)。つまり、表示部58は、再生された動的点群データを表示装置に出力する。
【0035】
このように、第1の実施形態に係る復号装置50は、基準データから複数の点それぞれに対応する基準値を特定し、符号化残差データから復号された複数の点の属性残差と基準値とから複数の点それぞれの属性値を算出する。これにより、復号装置50は、点群の属性について符号化効率を高めた符号化幾何データを復号し、動的点群データを得ることができる。
【0036】
〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
【0037】
上述した実施形態に係る符号化装置30及び復号装置50は、それぞれ単独のコンピュータによって構成されるものであってもよいし、符号化装置30又は復号装置50の構成を複数のコンピュータに分けて配置し、複数のコンピュータが互いに協働することで符号化装置30又は復号装置50として機能するものであってもよい。また、他の実施形態においては符号化装置30及び復号装置50同一のコンピュータによって構成されるものであってもよい。
【0038】
上述した実施形態に係る符号化点群データは、フレームインデックスと基準値との関係を示す基準データを有するが、これに限られない。例えば、他の実施形態に係る符号化点群データは、フレームとは別のグループについて基準値を持ってもよい。例えば、他の実施形態においては、異なる点群生成装置10によって生成された点群データを併合したものについて、点群生成装置10に対応する基準値を持ってもよい。
【0039】
また例えば、点の属性のうちGPS timeは、LiDARによるレーザの走査中にリセットされる場合があり、フレーム単位で相関を有しない場合がある。例えば、他の実施形態に係る符号化点群データの基準データは、グループインデックスと基準値とを関連付けたルックアップテーブルを表すものであってよい。この場合、符号化残差データが表す属性残差は、グループに対応する基準値と属性値との残差を表す。また符号化属性データは、フレームインデックスに加えグループインデックスを含む属性値を表す。これにより、フレーム内の値についても異なる基準値を持たせることができる。
上述した変形例の場合、符号化される点群データは、必ずしも動的点群データでなくてもよい。
【0040】
また、他の実施形態に係る符号化点群データは、フレームインデックスに代えて、参照先の点を示すポインタを含み、当該ポインタが示す点と同じ基準値を用いることを表してもよい。
【0041】
上述した実施形態に係る点群生成装置10は、LiDARであるが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係る点群生成装置10はステレオカメラ装置などの他の装置であってもよい。
【0042】
〈コンピュータ構成〉
図7は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ90は、プロセッサ91、メインメモリ93、ストレージ95、インタフェース97を備える。
上述の符号化装置30及び復号装置50は、コンピュータ90に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ95に記憶されている。プロセッサ91は、プログラムをストレージ95から読み出してメインメモリ93に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ91は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ93に確保する。プロセッサ91の例としては、CPU(Central Processing Unit)、GPU(Graphic Processing Unit)、マイクロプロセッサなどが挙げられる。
【0043】
プログラムは、コンピュータ90に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータ90は、上記構成に加えて、または上記構成に代えてPLD(Programmable Logic Device)などのカスタムLSI(Large Scale Integrated Circuit)を備えてもよい。PLDの例としては、PAL(Programmable Array Logic)、GAL(Generic Array Logic)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)が挙げられる。この場合、プロセッサ91によって実現される機能の一部または全部が当該集積回路によって実現されてよい。このような集積回路も、プロセッサの一例に含まれる。
【0044】
ストレージ95の例としては、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリ等が挙げられる。ストレージ95は、コンピュータ90のバスに直接接続された内部メディアであってもよいし、インタフェース97または通信回線を介してコンピュータ90に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ90に配信される場合、配信を受けたコンピュータ90が当該プログラムをメインメモリ93に展開し、上記処理を実行してもよい。少なくとも1つの実施形態において、ストレージ95は、一時的でない有形の記憶媒体である。
【0045】
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ95に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【符号の説明】
【0046】
1…動画像処理システム 10…点群生成装置 30…符号化装置 31…点群取得部 32…併合部 33…幾何符号化部 34…基準決定部 35…残差算出部 36…属性符号化部 37…出力部 50…復号装置 51…入力部 52…幾何復号部 53…属性復号部 54…残差復号部 55…基準特定部 56…属性値算出部 57…分解部 58…表示部 90…コンピュータ 91…プロセッサ 93…メインメモリ 95…ストレージ 97…インタフェース