特開 2024-152412 メッシュ復号装置、メッシュ復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024152412

(43)【公開日】2024-10-25

(54)【発明の名称】メッシュ復号装置、メッシュ復号方法及びプログラム

(51)【国際特許分類】

   G06T 9/00 20060101AFI20241018BHJP

【ＦＩ】

G06T9/00 100

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023066595

(22)【出願日】2023-04-14

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和５年度、総務省「３次元空間データの無線伝送に向けた高能率圧縮技術の研究開発」、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(72)【発明者】

【氏名】西村 仁志

(72)【発明者】

【氏名】河村 圭

(57)【要約】

【課題】符号化効率を向上させること。
【解決手段】本発明に係るメッシュ復号装置２００の変位量復号部２０５は、 変位量ビットストリームに対してバイパス有り算術復号を行うことによって係数レベル値を生成するバイパス有り算術復号部２０５Ａと、係数レベル値に対して逆量子化を行うことによって第１変換係数を生成する逆量子化部２０５Ｂと、予測変換係数と予測残差とを加算することによって第２変換係数を生成する加算器２０５Ｄと、フレームバッファ２０５Ｅから読み出された参照フレームの第２変換係数を用いてインター予測を行うことによって予測変換係数を生成するインター予測部２０５Ｆと、第２変換係数に対して第２逆変換を行うことによって復号変位量を生成する第２逆変換部２０５Ｇとを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

メッシュ復号装置であって、
変位量ビットストリームを復号して変位量を生成して出力するように構成されている変位量復号部を備え、
前記変位量復号部は、
前記変位量ビットストリームに対してバイパス有り算術復号を行うことによって係数レベル値を生成するように構成されているバイパス有り算術復号部と、
前記係数レベル値に対して逆量子化を行うことによって第１変換係数を生成するように構成されている逆量子化部と、
予測変換係数と予測残差とを加算することによって第２変換係数を生成するように構成されている加算器と、
前記加算器から出力された前記第２変換係数を取得して蓄積するように構成されているフレームバッファと、
前記フレームバッファから読み出された参照フレームの前記第２変換係数を用いてインター予測を行うことによって前記予測変換係数を生成するように構成されているインター予測部と、
前記第２変換係数に対して第２逆変換を行うことによって復号変位量を生成するように構成されている第２逆変換部と、を備えることを特徴とするメッシュ復号装置。

【請求項2】

前記逆量子化部の直後に、前記第１変換係数に対して第１逆変換を行うことによって前記予測残差を生成する第１逆変換部を更に備えることを特徴とする請求項１に記載のメッシュ復号装置。

【請求項3】

前記バイパス有り算術復号部は、コンテキスト値の更新をバイパスするかどうかをシンタックスごとに設定するように構成されていることを特徴とする請求項１に記載のメッシュ復号装置。

【請求項4】

メッシュ復号方法であって、
変位量ビットストリームを復号して変位量を生成して出力する工程を有し、
前記工程は、
前記変位量ビットストリームに対してバイパス有り算術復号を行うことによって係数レベル値を生成する工程Ａと、
前記係数レベル値に対して逆量子化を行うことによって第１変換係数を生成する工程Ｂと、
予測変換係数と予測残差とを加算することによって第２変換係数を生成する工程Ｃと、
前記工程Ｃによって生成された前記第２変換係数を取得してフレームバッファに蓄積する工程Ｄと、
前記フレームバッファから読み出された参照フレームの前記第２変換係数を用いてインター予測を行うことによって前記予測変換係数を生成する工程Ｅと、
前記第２変換係数に対して第２逆変換を行うことによって復号変位量を生成する工程Ｆと、を有することを特徴とするメッシュ復号方法。

【請求項5】

コンピュータを、メッシュ復号装置として機能させるプログラムであって、
前記メッシュ復号装置は、変位量ビットストリームを復号して変位量を生成して出力するように構成されている変位量復号部を備え、
前記変位量復号部は、
前記変位量ビットストリームに対してバイパス有り算術復号を行うことによって係数レベル値を生成するように構成されているバイパス有り算術復号部と、
前記係数レベル値に対して逆量子化を行うことによって第１変換係数を生成するように構成されている逆量子化部と、
予測変換係数と予測残差とを加算することによって第２変換係数を生成するように構成されている加算器と、
前記加算器から出力された前記第２変換係数を取得して蓄積するように構成されているフレームバッファと、
前記フレームバッファから読み出された参照フレームの前記第２変換係数を用いてインター予測を行うことによって前記予測変換係数を生成するように構成されているインター予測部と、
前記第２変換係数に対して第２逆変換を行うことによって復号変位量を生成するように構成されている第２逆変換部と、を備えることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、メッシュ復号装置、メッシュ復号方法及びプログラムに関する。

【背景技術】

【0002】

非特許文献１には、メッシュを大まかな基本メッシュと詳細な変位量とに分けて復号し、変位量について２次元映像に変換した後で映像コーデックによって復号する技術について開示されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Khaled Mammou, Jungsun Kim, Alexis Tourapis, Dimitri Podborski, Krasimir Kolarov, “[V-CG] Apple’s Dynamic Mesh Coding CfP Response,” ISO/IEC JTC 1/SC 29/WG 7 m5928, April 2022.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、非特許文献１に開示されている技術では、生成された２次元映像が映像コーデックによる符号化には適しておらず、符号化効率が低下するという問題点があった。 そこで、本発明は、上述の課題に鑑みてなされたものであり、符号化効率を向上させることができるメッシュ復号装置、メッシュ復号方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の第１の特徴は、メッシュ復号装置であって、変位量ビットストリームを復号して変位量を生成して出力するように構成されている変位量復号部を備え、前記変位量復号部は、前記変位量ビットストリームに対してバイパス有り算術復号を行うことによって係数レベル値を生成するように構成されているバイパス有り算術復号部と、前記係数レベル値に対して逆量子化を行うことによって第１変換係数を生成するように構成されている逆量子化部と、予測変換係数と予測残差とを加算することによって第２変換係数を生成するように構成されている加算器と、前記加算器から出力された前記第２変換係数を取得して蓄積するように構成されているフレームバッファと、前記フレームバッファから読み出された参照フレームの前記第２変換係数を用いてインター予測を行うことによって前記予測変換係数を生成するように構成されているインター予測部と、前記第２変換係数に対して第２逆変換を行うことによって復号変位量を生成するように構成されている第２逆変換部と、を備えることを要旨とする。

【0006】

本発明の第２の特徴は、メッシュ復号方法であって、変位量ビットストリームを復号して変位量を生成して出力する工程を有し、前記工程は、前記変位量ビットストリームに対してバイパス有り算術復号を行うことによって係数レベル値を生成する工程Ａと、前記係数レベル値に対して逆量子化を行うことによって第１変換係数を生成する工程Ｂと、予測変換係数と予測残差とを加算することによって第２変換係数を生成する工程Ｃと、前記工程Ｃによって生成された前記第２変換係数を取得してフレームバッファに蓄積する工程Ｄと、前記フレームバッファから読み出された参照フレームの前記第２変換係数を用いてインター予測を行うことによって前記予測変換係数を生成する工程Ｅと、前記第２変換係数に対して第２逆変換を行うことによって復号変位量を生成する工程Ｆと、を有することを要旨とするメ。

【0007】

本発明の第３の特徴は、コンピュータを、メッシュ復号装置として機能させるプログラムであって、前記メッシュ復号装置は、変位量ビットストリームを復号して変位量を生成して出力するように構成されている変位量復号部を備え、前記変位量復号部は、前記変位量ビットストリームに対してバイパス有り算術復号を行うことによって係数レベル値を生成するように構成されているバイパス有り算術復号部と、前記係数レベル値に対して逆量子化を行うことによって第１変換係数を生成するように構成されている逆量子化部と、予測変換係数と予測残差とを加算することによって第２変換係数を生成するように構成されている加算器と、前記加算器から出力された前記第２変換係数を取得して蓄積するように構成されているフレームバッファと、前記フレームバッファから読み出された参照フレームの前記第２変換係数を用いてインター予測を行うことによって前記予測変換係数を生成するように構成されているインター予測部と、前記第２変換係数に対して第２逆変換を行うことによって復号変位量を生成するように構成されている第２逆変換部と、を備えることを要旨とする。

【発明の効果】

【0008】

本発明によれば、符号化効率を向上させることができるメッシュ復号装置、メッシュ復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、一実施形態に係るメッシュ処理システム１の構成の一例を示す図である。

【図2】図２は、一実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。

【図3】図３は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０５の機能ブロックの一例を示す図である。

【図4】図４は、変位量ビットストリームの構成の一例について示す図である。

【図5】図５は、ＤＰＳのシンタックス構成の一例について示す図である。

【図6】図６は、ＤＦＨのシンタックス構成の一例について示す図である。

【図7】図７は、ＤＤＵのシンタックス構成の一例について示す図である。

【図8】図８は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０５の動作の一例について示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0011】

＜第１実施形態＞
以下、図１～図７を参照して、本実施形態に係るメッシュ処理システムについて説明する。

【0012】

図１は、本実施形態に係るメッシュ処理システム１の構成の一例を示す図である。図１に示すように、メッシュ処理システム１は、メッシュ符号化装置１００及びメッシュ復号装置２００を備えている。

【0013】

図２は、本実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。

【0014】

図２に示すように、メッシュ復号装置２００は、多重分離部２０１と、基本メッシュ復号部２０２と、細分割部２０３と、メッシュ復号部２０４と、変位量復号部２０５と、映像復号部２０６とを有する。

【0015】

多重分離部２０１は、多重化されたビットストリームを、基本メッシュビットストリームと変位量ビットストリームとテクスチャビットストリームとに分離するように構成されている。

【0016】

基本メッシュ復号部２０２は、基本メッシュビットストリームを復号し、基本メッシュを生成して出力するように構成されている。

【0017】

細分割部２０３は、制御情報によって示された細分割手法により、基本メッシュ復号部２０２によって復号された基本メッシュから、追加された細分割頂点及びそれらの接続情報を生成して出力するように構成されている。

【0018】

ここで、基本メッシュ、追加された細分割頂点、及び、それらの接続情報を、併せて「細分割メッシュ」と呼ぶ。

【0019】

メッシュ復号部２０４は、細分割部２０３で生成された細分割メッシュ及び変位量復号部２０５で復号された変位量を用いて、復号メッシュを生成して出力するように構成されている。

【0020】

変位量復号部２０５は、変位量ビットストリームを復号して変位量を生成して出力するように構成されている。

【0021】

映像復号部２０６は、映像符号化によってテクスチャを復号して出力するように構成されている。例えば、映像復号部２０６は、非特許文献１のＨＥＶＣを用いてもよい。

【0022】

（変位量復号部２０５）
図３に示すように、変位量復号部２０５は、バイパス有り算術復号部２０５Ａと、逆量子化部２０５Ｂと、第１逆変換部２０５Ｃと、加算器２０５Ｄと、フレームバッファ２０５Ｅと、インター予測部２０５Ｆと、第２逆変換部２０５Ｇとを備えている。

【0023】

バイパス有り算術復号部２０５Ａは、受信した変位量ビットストリームに対してバイパス有り算術復号を行うことによって、係数レベル値を生成して出力するように構成されている。

【0024】

バイパス有り算術復号部２０５Ａは、後述する図７のようなシンタックスを用いて効率的に係数レベル値を生成してもよい。

【0025】

バイパス有り算術復号部２０５Ａによって生成される係数レベル値は、各フレームにおいて３×Ｎサイズの行列で表されてもよい。ここで、３は、次元数を示し、Ｎは、細分割頂点の総数を示す。各細分割頂点には、細分割レベルが定義されている。

【0026】

バイパス有り算術復号部２０５Ａは、入力された２進数小数が数直線上のどの区間に含まれるかによって元の値を復号する。

【0027】

バイパス有り算術復号部２０５Ａは、０から１までの数直線を定義し、その区間を２値の発生確率（以降、コンテキスト値と呼ぶ）によって分割して利用する。

【0028】

ここで、バイパス有り算術復号部２０５Ａは、コンテキスト値を常に０.５に固定することでコンテキスト値の更新をバイパスしてもよい。コンテキスト値の更新をバイパスすることによって、高速な復号が可能となる。

【0029】

バイパス有り算術復号部２０５Ａは、コンテキスト値の更新をバイパスするかどうかをシンタックスごとに設定してもよい。

【0030】

また、バイパス有り算術復号部２０５Ａは、１ビットを復号する度にコンテキスト値を更新してもよい。

【0031】

バイパス有り算術復号部２０５Ａは、０及び１のうち、発生確率が高いシンボルが発生した場合は少しコンテキスト値を更新し、発生確率が低いシンボルが発生した場合は大きくコンテキスト値を更新するような更新テーブルを用いてもよい。

【0032】

また、バイパス有り算術復号部２０５Ａは、複数種類のコンテキスト値を用いて算術復号してもよい。

【0033】

例えば、コンテキスト値としては、次元ごとに分割して定義してもよいし、細分割レベルごとに分割して定義してもよいし、シンタックスごとに分割して定義してもよい。

【0034】

なお、バイパス有り算術復号部２０５Ａは、上述したように、二値算術復号に基づいて係数レベル値を生成してもよいし、ＲａｎｇｅＣｏｄｅｒのような多値算術復号に基づいて係数レベル値を生成してもよい。

【0035】

逆量子化部２０５Ｂは、受信した係数レベル値に対して逆量子化を行うことによって、第１の変換係数を生成して出力するように構成されている。

【0036】

第１逆変換部２０５Ｃは、受信した第１の変換係数に対して第１逆変換を行うことによって、予測残差を生成して出力するように構成されている。

【0037】

例えば、第１逆変換部２０５Ｃは、逆ＤＣＴを用いて第１逆変換を行ってもよいし、逆ウェーブレット変換を用いて第１逆変換を行ってもよい。

【0038】

このように、逆量子化の後に逆変換を行うことによって、符号化時には量子化前に変換することが可能となり、符号化効率の向上が期待できる。

【0039】

加算器２０５Ｄは、インター予測部２０５Ｆから予測変換係数を取得し、第１逆変換部から予測残差を取得し、両者を加算して第２変換係数を生成して出力するように構成されている。

【0040】

生成された第２変換係数は、第２逆変換部２０５Ｇ及びフレームバッファ２０５Ｅに出力される。

【0041】

フレームバッファ２０５Ｅは、加算器２０５Ｄから第２変換係数を取得して蓄積するように構成されている。また、フレームバッファ２０５Ｅは、第１逆変換部２０５Ｃ予測残差を取得して第２変換係数として蓄積するように構成されている。

【0042】

フレームバッファ２０５Ｅは、図示しない制御情報に応じて、参照フレームにおいて対応する頂点における第２変換係数を出力するように構成されている。

【0043】

インター予測部２０５Ｆは、フレームバッファ２０５Ｅから読み出された参照フレームの第２変換係数を用いてインター予測を行うことによって、予測変換係数を生成して出力するように構成されている。

【0044】

例えば、インター予測部２０５Ｅは、参照フレームにおいて対応する周波数の第２変換係数をそのまま参照して、復号対象フレームにおいて各周波数の予測変換係数を決定してもよい。

【0045】

このように、逆量子化の後にインター予測を行うことによって、符号化時には量子化前にインター予測することが可能となり、符号化効率の向上が期待できる。

【0046】

第２逆変換部２０５Ｇは、受信した第２変換係数（或いは、予測残差）に対して第２逆変換を行うことによって、復号変位量を生成して出力するように構成されている。

【0047】

例えば、第２逆変換部２０５Ｇは、逆ＤＣＴを用いて第２逆変換を行ってもよいし、逆ウェーブレット変換を用いて第２逆変換を行ってもよい。

【0048】

（変位量ビットストリームの構成）
以下、図４～図７を参照して、変位量ビットストリームの構成の一例について説明する。

【0049】

なお、図５～図７において、Ｄｅｓｃｒｉｐｔｏｒ欄は、各シンタックスがどのように符号化されているかを意味している。また、図５～図７において、ｕ（ｖ）は、符号無し可変長符号であることを意味し、ｕｅ（ｖ）は、符号無し可変長０次指数ゴロム符号であることを意味し、ｕ（ｎ）は、ｎビットの符号であることを意味する。

【0050】

図４は、変位量ビットストリームの構成の一例について示す図である。

【0051】

図４に示すように、第１に、変位量ビットストリームは、変位量の復号に関する制御情報の集合であるＤＰＳ（Ｄｉｓｐｌａｃｅｍｅｎｔ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ディスプレイスメントパラメータセット）を含んでいてもよい。

【0052】

第２に、変位量ビットストリームは、フレームに対応する制御情報の集合であるＤＦＨ（Ｄｉｓｐｌａｃｅｍｅｎｔ Ｆｒａｍｅ Ｈｅａｄｅｒ：ディスプレイスメントフレームヘッダ）を含んでいてもよい。

【0053】

第３に、変位量ビットストリームは、ＤＦＨの次に、フレームに対応する符号化された変位量であるＤＤＵ（Ｄｉｓｐｌａｃｅｍｅｎｔ Ｄａｔａ Ｕｎｉｔ：ディスプレイスメントデータユニット）を含んでいてもよい。

【0054】

図５は、ＤＰＳのシンタックス構成の一例について示す図である。

【0055】

ＤＰＳは、変換を行うか否かを制御するフラグ（ｔｒａｎｓｆｏｒｍ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。例えば、ｔｒａｎｓｆｏｒｍ_ｅｎａｂｌｅｄ_ｆｌａｇが１のときは変換を行うと定義し、ｔｒａｎｓｆｏｒｍ_ｅｎａｂｌｅｄ_ｆｌａｇが０のときは変換を行わないと定義してもよい。

【0056】

図６は、ＤＦＨのシンタックス構成の一例について示す図である。

【0057】

ＤＦＨは、フレーム種別（ｆｒａｍｅ_ｔｙｐｅ）を含んでもよい。例えば、ｆｒａｍｅ_ｔｙｐｅが１のときは対応するフレームにおいてインター予測を行うと定義し、ｆｒａｍｅ_ｔｙｐｅが０のときは対応するフレームにおいてインター予測を行わないと定義してもよい。

【0058】

図７は、ＤＤＵのシンタックス構成の一例について示す図である。

【0059】

ＤＤＵは、係数レベル値が有意かどうかを示すフラグ（ｓｉｇ_ｃｏｅｆｆ_ｆｌａｇ）、係数レベル値の絶対値が２以上かどうかを示すフラグ（ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｇｒｅａｔｅｒ１_ｆｌａｇ）、係数レベル値の正負符号を示すフラグ（ｃｏｅｆｆ_ｓｉｇｎ _ｆｌａｇ）、係数レベル値の絶対値（ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｒｅｍａｉｎｉｎｇ）を含んでいてもよい。

【0060】

（変位量復号部２０５の動作）
以下、図８を参照して、変位量復号部２０５の動作の一例について説明する。図８は、変位量復号部２０５の動作の一例について示す図である。

【0061】

ステップＳ１０１において、バイパス有り算術復号部２０５Ａは、バイパス有り算術復号を行うことによって係数レベル値を生成する。

【0062】

ステップＳ１０２において、逆量子化部２０５Ｂは、逆量子化を行うことによって第一の変換係数を生成する。

【0063】

ステップＳ１０３において、第１逆変換部２０５Ｃは、ｔｒａｎｓｆｏｒｍ_ｅｎａｂｌｅｄ_ｆｌａｇが１であるか否かの判定を行う。Ｙｅｓの場合、本動作は、ステップＳ１０４に進み、Ｎｏの場合、本動作は、ステップＳ１０５に進む。

【0064】

ステップＳ１０４において、第１逆変換部２０５Ｃは、第１逆変換を行うことによって予測残差を生成する。

【0065】

ステップＳ１０５において、インター予測部２０５Ｆは、ｆｒａｍｅ_ｔｙｐｅが１であるか否かの判定を行う。Ｙｅｓの場合、本動作は、ステップＳ１０６に進み、Ｎｏの場合、本動作は、ステップＳ１０７に進む。

【0066】

ステップＳ１０６において、インター予測部２０５Ｆ及び加算器２０５Ｄは、インター予測を行うことによって予測変換係数を生成した後、予測残差と加算することによって、第２変換係数を生成する。

【0067】

ステップＳ１０７において、第２逆変換部２０５Ｇは、第２逆変換を行うことによって復号変位量を生成する。

【0068】

ステップＳ１０８において、バイパス有り算術復号部２０５Ａは、現在処理しているフレームが最終フレームであるか否かの判定を行う。Ｙｅｓの場合、本動作は、終了し、Ｎｏの場合、本動作は、ステップＳ１０９に進む。

【0069】

ステップＳ１０９において、バイパス有り算術復号部２０５Ａは、次のフレームの処理に進む。

【0070】

本実施形態に係るメッシュ復号装置２００によれば、バイパス有り算術復号の直後に逆量子化を行い、その後に逆変換及びインター予測を行うことによって、符号化時には量子化前に逆変換及びインター予測することが可能となり、符号化効率を向上させることができる。

【0071】

上述のメッシュ符号化装置１００及びメッシュ復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【産業上の利用可能性】

【0072】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0073】

１…メッシュ処理システム
１００…メッシュ符号化装置
２００…メッシュ復号部
２０１…多重分離部
２０２…基本メッシュ復号部
２０３…細分割部
２０４…メッシュ復号部
２０５…変位量復号部
２０５Ａ…バイパス有り算術復号部
２０５Ｂ…逆量子化部
２０５Ｃ…第１逆変換部
２０５Ｄ…加算器
２０５Ｅ…フレームバッファ
２０５Ｆ…インター予測部
２０５Ｇ…第２逆変換部
２０６…映像復号部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】