特開 2025-9503 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025009503

(43)【公開日】2025-01-20

(54)【発明の名称】メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム

(51)【国際特許分類】

   H04N 19/107 20140101AFI20250110BHJP

   H04N 19/54 20140101ALI20250110BHJP

   H04N 19/176 20140101ALI20250110BHJP

【ＦＩ】

H04N19/107

H04N19/54

H04N19/176

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023112549

(22)【出願日】2023-07-07

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和５年度、総務省、「３次元空間データの無線伝送に向けた高能率圧縮技術の研究開発」委託事業、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(72)【発明者】

【氏名】ジン シュトウ

(72)【発明者】

【氏名】徐 建鋒

(72)【発明者】

【氏名】河村 圭

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC08

5C159LC09

5C159MA04

5C159MA05

5C159MC11

5C159NN31

5C159PP04

5C159TA18

5C159TB08

5C159TB18

5C159UA02

5C159UA05

(57)【要約】

【課題】符号化効率を向上させること。
【解決手段】本発明に係るメッシュ復号装置２００の基本メッシュ復号部２０２のイントラ基本メッシュ復号ブロック２０２Ａは、イントラフレームのビットストリームを追跡基本メッシュのビットストリームと非追跡基本メッシュのビットストリームとに分離する多重分離ブロック２０２Ａ０１と、追跡基本メッシュのビットストリーム及び追跡基本メッシュのビットストリームのそれぞれを復号し、再構築された追跡基本メッシュ及び非追跡基本メッシュを取得する静的メッシュ復号ブロック２０２Ａ０２と、追跡基本メッシュ及び非追跡基本メッシュを１つの基本メッシュにマージするメッシュマージブロック２０２Ａ０３とを備える。
【選択図】図１３

【特許請求の範囲】

【請求項1】

メッシュ復号装置であって、
基本メッシュのビットストリームの一方をイントラモードで復号し、前記基本メッシュのビットストリームの他方を部分インターモードで復号するように構成されている基本メッシュ復号部を備え、
前記基本メッシュ復号部は、
前記基本メッシュのビットストリームをイントラフレームのビットストリームと部分インターフレームのビットストリームとに分離するように構成されている多重分離ブロックと、
前記イントラフレームのビットストリームをイントラモードで復号するように構成されているイントラ基本メッシュ復号ブロックと、
前記部分インターフレームのビットストリームを部分インターモードで復号するように構成されている部分インター基本メッシュ復号ブロックと、を備え、
前記イントラ基本メッシュ復号ブロックは、
前記イントラフレームのビットストリームを追跡基本メッシュのビットストリームと非追跡基本メッシュのビットストリームとに分離するように構成されている多重分離ブロックと、
前記追跡基本メッシュのビットストリーム及び前記非追跡基本メッシュのビットストリームのそれぞれを復号し、再構築された追跡基本メッシュ及び非追跡基本メッシュを取得するように構成されている静的メッシュ復号ブロックと、
前記追跡基本メッシュ及び前記非追跡基本メッシュを１つの基本メッシュにマージするように構成されているメッシュマージブロックと、を備えることを特徴とするメッシュ復号装置。

【請求項2】

メッシュ復号装置であって、
基本メッシュのビットストリームの一方をイントラモードで復号し、前記基本メッシュのビットストリームの他方を部分インターモードで復号するように構成されている基本メッシュ復号部を備え、
前記基本メッシュ復号部は、
前記基本メッシュのビットストリームをイントラフレームのビットストリームと部分インターフレームのビットストリームとに分離するように構成されている多重分離ブロックと、
前記イントラフレームのビットストリームをイントラモードで復号するように構成されているイントラ基本メッシュ復号ブロックと、
前記部分インターフレームのビットストリームを部分インターモードで復号するように構成されている部分インター基本メッシュ復号ブロックと、を備え、
前記部分インター基本メッシュ復号ブロックは、
部分インターフレームのビットストリームを、動きビットストリームと基本メッシュビットストリームとに分離するように構成されている多重分離ブロックと、
前記動きビットストリームを復号し、追跡基本メッシュの頂点位置を更新する動き復号ブロックと、
前記基本メッシュビットストリームを復号し、非追跡基本メッシュを生成するように構成されている静的メッシュ復号ブロックと、
前記追跡基本メッシュ及び前記非追跡基本メッシュを１つの基本メッシュにマージするように構成されているメッシュマージブロックと、を備えることを特徴とするメッシュ復号装置。

【請求項3】

メッシュ符号化装置であって、
非追跡基本メッシュ及び追跡基本メッシュの２つの基本メッシュを生成するように構成されている前処理ブロックと、
前記非追跡基本メッシュをイントラ符号化モードで符号化するように構成されているイントラ符号化ブロックと、
前記追跡基本メッシュを部分インター符号化モードで符号化するように構成されている部分インター符号化ブロックと、を備え、
前記イントラ符号化ブロックは、
前記非追跡基本メッシュ及び前記追跡基本メッシュを別々に符号化するように構成されている静的メッシュ符号化ブロックと、
再構成された前記非追跡基本メッシュ及び再構成された前記追跡基本メッシュを１つの基本メッシュにマージするように構成されているメッシュマージブロックと、
前記マージされた基本メッシュに応じて、変位量を更新するように構成されている変位量更新ブロックと、を備えることを特徴とするメッシュ符号化装置。

【請求項4】

前記前処理ブロックは、前記基本メッシュを前記非追跡基本メッシュと前記追跡基本メッシュとに分離できるメッシュ分離サブブロックを含むことを特徴とする請求項３に記載のメッシュ符号化装置。

【請求項5】

前記部分インター符号化ブロックは、
前記非追跡基本メッシュを符号化するように構成されている静的メッシュ符号化ブロックと、
前記追跡基本メッシュを符号化するように構成されている動き符号化ブロックと、
再構成された非追跡基本メッシュ及び再構成された追跡基本メッシュを１つの基本メッシュにマージするように構成されているメッシュマージブロックと、
前記マージされた基本メッシュに応じて、変位量を更新するように構成されている変位量更新ブロックと、を備えることを特徴とする請求項３に記載のメッシュ符号化装置。

【請求項6】

メッシュ復号方法であって、
基本メッシュのビットストリームの一方をイントラモードで復号し、前記基本メッシュのビットストリームの他方を部分インターモードで復号する工程を有し、
前工程において、
前記基本メッシュのビットストリームをイントラフレームのビットストリームと部分インターフレームのビットストリームとに分離する工程Ａと、
前記イントラフレームのビットストリームをイントラモードで復号する工程Ｂと、
前記部分インターフレームのビットストリームを部分インターモードで復号する工程Ｃと、を有し、
前記工程Ｂにおいて、
前記イントラフレームのビットストリームを追跡基本メッシュのビットストリームと非追跡基本メッシュのビットストリームに分離し、
前記追跡基本メッシュのビットストリーム及び前記非追跡基本メッシュのビットストリームのそれぞれを復号し、再構築された追跡基本メッシュ及び非追跡基本メッシュを取得し、
前記追跡基本メッシュ及び前記非追跡基本メッシュを１つの基本メッシュにマージすることを特徴とするメッシュ復号方法。

【請求項7】

コンピュータを、メッシュ復号装置として機能させるプログラムであって、
前記メッシュ復号装置は、
基本メッシュのビットストリームの一方をイントラモードで復号し、前記基本メッシュのビットストリームの他方を部分インターモードで復号するように構成されている基本メッシュ復号部を備え、
前記基本メッシュ復号部は、
前記基本メッシュのビットストリームをイントラフレームのビットストリームと部分インターフレームのビットストリームとに分離するように構成されている多重分離ブロックと、
前記イントラフレームのビットストリームをイントラモードで復号するように構成されているイントラ基本メッシュ復号ブロックと、
前記部分インターフレームのビットストリームを部分インターモードで復号するように構成されている部分インター基本メッシュ復号ブロックと、を備え、
前記イントラ基本メッシュ復号ブロックは、
前記イントラフレームのビットストリームを追跡基本メッシュのビットストリームと非追跡基本メッシュのビットストリームとに分離するように構成されている多重分離ブロックと、
前記追跡基本メッシュのビットストリーム及び前記非追跡基本メッシュのビットストリームのそれぞれを復号し、再構築された追跡基本メッシュ及び非追跡基本メッシュを取得するように構成されている静的メッシュ復号ブロックと、
前記追跡基本メッシュ及び前記非追跡基本メッシュを１つの基本メッシュにマージするように構成されているメッシュマージブロックと、を備えることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムに関する。

【背景技術】

【0002】

現在のビデオベースのダイナミックメッシュ符号化（Ｖ-ＤＭＣ）モデルには、（１）イントラフレーム符号化モードと（２）インターフレーム符号化モードという２つの符号化モードが存在する（例えば、非特許文献１参照）。

【0003】

異なるモードの選択は、入力されるダイナミックメッシュが追跡されるか否かによって決定される。

【0004】

追跡されたメッシュ（Ｔｒａｃｋｅｄ ｍｅｓｈ：追跡メッシュ）は、図１（ａ）に示すように、フレーム間で１対１の頂点（ｖｅｒｔｅｘ）の対応関係及び１対１のエッジの対応関係の両方を持つが、追跡されていないメッシュ（Ｎｏｎ-ｔｒａｃｋｅｄ ｍｅｓｈ：非追跡メッシュ）は、図１（ｂ）に示すように、それらの対応関係を持たない。

【0005】

Ｖ-ＤＭＣは、追跡メッシュの場合、現在の基本メッシュの符号化をスキップし、現在の基本メッシュと以前の基本メッシュとの差分を符号化することで、より優れた時間予測を可能にする。

【0006】

一方、Ｖ-ＤＭＣにおいて、非追跡メッシュは、個別に符号化されるため、符号化効率が悪い。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】Khaled Mammou, Jungsun Kim, Alexis M Tourapis, Dimitri Podborski, and Krasimir Kolarov, “[V-CG] Apple’s Dynamic Mesh Coding CfP Response,” April 2022, ISO/IEC JTC 1/SC 29/WG 7.

【発明の概要】

【発明が解決しようとする課題】

【0008】

上述の従来技術では、入力されたダイナミックメッシュが追跡されているか否かに応じたイントラフレーム符号化モード及びインターフレーム符号化モードの２つの符号化モードしかない。

【0009】

しかしながら、図２（ａ）に示す非追跡メッシュにおいて、図２（ｂ）に示すように、一部は追跡され（図２（ｂ）におけるＴｒａｃｋｅｄ ｐａｒｔ）、一部は追跡されないことがある（図２（ｂ）におけるＮｏｎ-ｔｒａｃｋｅｄ ｐａｒｔ）。

【0010】

このような場合、従来技術では、イントラフレーム符号化しか適用できず、符号化効率が低いという問題点があった。

【0011】

そこで、本発明は、上述の課題に鑑みてなされたものであり、符号化効率を向上させることができるメッシュ符号化装置、メッシュ復号装置、メッシュ符号化方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明の第１の特徴は、メッシュ復号装置であって、基本メッシュのビットストリームの一方をイントラモードで復号し、前記基本メッシュのビットストリームの他方を部分インターモードで復号するように構成されている基本メッシュ復号部を備え、前記基本メッシュ復号部は、前記基本メッシュのビットストリームをイントラフレームのビットストリームと部分インターフレームのビットストリームとに分離するように構成されている多重分離ブロックと、前記イントラフレームのビットストリームをイントラモードで復号するように構成されているイントラ基本メッシュ復号ブロックと、前記部分インターフレームのビットストリームを部分インターモードで復号するように構成されている部分インター基本メッシュ復号ブロックと、を備え、前記イントラ基本メッシュ復号ブロックは、前記イントラフレームのビットストリームを追跡基本メッシュのビットストリームと非追跡基本メッシュのビットストリームとに分離するように構成されている多重分離ブロックと、前記追跡基本メッシュのビットストリーム及び前記非追跡基本メッシュのビットストリームのそれぞれを復号し、再構築された追跡基本メッシュ及び非追跡基本メッシュを取得するように構成されている静的メッシュ復号ブロックと、前記追跡基本メッシュ及び前記非追跡基本メッシュを１つの基本メッシュにマージするように構成されているメッシュマージブロックと、を備えることを要旨とする。

【0013】

本発明の第２の特徴は、メッシュ復号装置であって、基本メッシュのビットストリームの一方をイントラモードで復号し、前記基本メッシュのビットストリームの他方を部分インターモードで復号するように構成されている基本メッシュ復号部を備え、前記基本メッシュ復号部は、前記基本メッシュのビットストリームをイントラフレームのビットストリームと部分インターフレームのビットストリームとに分離するように構成されている多重分離ブロックと、前記イントラフレームのビットストリームをイントラモードで復号するように構成されているイントラ基本メッシュ復号ブロックと、前記部分インターフレームのビットストリームを部分インターモードで復号するように構成されている部分インター基本メッシュ復号ブロックと、を備え、前記部分インター基本メッシュ復号ブロックは、部分インターフレームのビットストリームを、動きビットストリームと基本メッシュビットストリームとに分離するように構成されている多重分離ブロックと、前記動きビットストリームを復号し、追跡基本メッシュの頂点位置を更新する動き復号ブロックと、前記基本メッシュビットストリームを復号し、非追跡基本メッシュを生成するように構成されている静的メッシュ復号ブロックと、前記追跡基本メッシュ及び前記非追跡基本メッシュを１つの基本メッシュにマージするように構成されているメッシュマージブロックと、を備えることを要旨とする。

【0014】

本発明の第３の特徴は、メッシュ符号化装置であって、非追跡基本メッシュ及び追跡基本メッシュの２つの基本メッシュを生成するように構成されている前処理ブロックと、前記非追跡基本メッシュをイントラ符号化モードで符号化するように構成されているイントラ符号化ブロックと、前記追跡基本メッシュを部分インター符号化モードで符号化するように構成されている部分インター符号化ブロックと、を備え、前記イントラ符号化ブロックは、前記非追跡基本メッシュ及び前記追跡基本メッシュを別々に符号化するように構成されている静的メッシュ符号化ブロックと、再構成された前記非追跡基本メッシュ及び再構成された前記追跡基本メッシュを１つの基本メッシュにマージするように構成されているメッシュマージブロックと、前記マージされた基本メッシュに応じて、変位量を更新するように構成されている変位量更新ブロックと、を備えることを要旨とする。

【0015】

本発明の第４の特徴は、メッシュ復号方法であって、基本メッシュのビットストリームの一方をイントラモードで復号し、前記基本メッシュのビットストリームの他方を部分インターモードで復号する工程を有し、前工程は、前記基本メッシュのビットストリームをイントラフレームのビットストリームと部分インターフレームのビットストリームとに分離する工程Ａと、前記イントラフレームのビットストリームをイントラモードで復号する工程Ｂと、前記部分インターフレームのビットストリームを部分インターモードで復号する工程Ｃと、を有し、前記工程Ｂにおいて、前記イントラフレームのビットストリームを追跡基本メッシュのビットストリームと非追跡基本メッシュのビットストリームとに分離し、前記追跡基本メッシュのビットストリーム及び前記非追跡基本メッシュのビットストリームのそれぞれを復号し、再構築された追跡基本メッシュ及び非追跡基本メッシュを取得し、前記追跡基本メッシュ及び前記非追跡基本メッシュを１つの基本メッシュにマージすることを要旨とする。

【0016】

本発明の第５の特徴は、コンピュータを、メッシュ復号装置として機能させるプログラムであって、前記メッシュ復号装置は、基本メッシュのビットストリームの一方をイントラモードで復号し、前記基本メッシュのビットストリームの他方を部分インターモードで復号するように構成されている基本メッシュ復号部を備え、前記基本メッシュ復号部は、前記基本メッシュのビットストリームをイントラフレームのビットストリームと部分インターフレームのビットストリームとに分離するように構成されている多重分離ブロックと、前記イントラフレームのビットストリームをイントラモードで復号するように構成されているイントラ基本メッシュ復号ブロックと、前記部分インターフレームのビットストリームを部分インターモードで復号するように構成されている部分インター基本メッシュ復号ブロックと、を備え、前記イントラ基本メッシュ復号ブロックは、前記イントラフレームのビットストリームを追跡基本メッシュのビットストリームと非追跡基本メッシュのビットストリームとに分離するように構成されている多重分離ブロックと、前記追跡基本メッシュのビットストリーム及び前記非追跡基本メッシュのビットストリームのそれぞれを復号し、再構築された追跡基本メッシュ及び非追跡基本メッシュを取得するように構成されている静的メッシュ復号ブロックと、前記追跡基本メッシュ及び前記非追跡基本メッシュを１つの基本メッシュにマージするように構成されているメッシュマージブロックと、を備えることを要旨とする。

【発明の効果】

【0017】

本発明によれば、符号化効率を向上させることができるメッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0018】

【図1】図１は、従来技術を説明するための図である。

【図2】図２は、従来技術を説明するための図である。

【図3】図３は、一実施形態に係るメッシュ処理システム１の構成の一例を示す図である。

【図4】図４は、一実施形態に係るメッシュ符号化装置１００の機能ブロックの一例を示す図である。

【図5】図５は、一実施形態に係るメッシュ符号化装置１００の前処理部１０１の機能ブロックの一例について示す図である。

【図6】図６は、一実施形態に係るメッシュ符号化装置１００の前処理部１０１の前処理サブブロック１０１Ａの一例について説明するための図である。

【図7】図７は、一実施形態に係るメッシュ符号化装置１００の前処理部１０１のメッシュ分離サブブロック１０１Ｂの動作の一例を示すフローチャートである。

【図8】図８は、一実施形態に係るメッシュ符号化装置１００のイントラ符号化ブロック１０２の機能ブロックの一例を示す図である。

【図9】図９は、一実施形態に係るメッシュ符号化装置１００のイントラ符号化ブロック１０２のメッシュマージブロック１０２Ｃの動作の一例について説明するための図である。

【図10】図１０は、一実施形態に係るメッシュ符号化装置１００の部分インター符号化ブロック１０３の機能ブロックの一例を示す図である。

【図11】図１１は、本実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。

【図12】図１２は、本実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２の機能ブロックの一例を示す図である。

【図13】図１３は、本実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のイントラ基本メッシュ復号ブロック２０２Ａの機能ブロックの一例を示す図である。

【図14】図１４は、本実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２の部分インター基本メッシュ復号ブロック２０２Ｂの機能ブロックの一例を示す図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0020】

＜第１実施形態＞
以下、図３～図１３を参照して、本実施形態に係るメッシュ処理システム１について説明する。

【0021】

図３は、本実施形態に係るメッシュ処理システム１の構成の一例を示す図である。図３に示すように、メッシュ処理システム１は、メッシュ符号化装置１００及びメッシュ復号装置２００を備えている。

【0022】

以下、本実施形態において、フレームは、メッシュと同義であるものとする。

【0023】

＜メッシュ符号化装置１００＞
図４は、本実施形態に係るメッシュ符号化装置１００の機能ブロックの一例を示す図である。

【0024】

図４に示すように、メッシュ符号化装置１００は、前処理ブロック１０１と、イントラ符号化ブロック１０２と、部分インター符号化ブロック１０３とを備える。

【0025】

前処理ブロック１０１は、非追跡基本メッシュ及び追跡基本メッシュの２つの基本メッシュを生成するように構成されている。

【0026】

ここで、図４に示すように、参照メッシュＭ（ｊ）から生成された追跡基本メッシュｑ（ｊ）は、インターフレーム符号化のために、部分インター符号化ブロック１０３に伝送される。
（前処理ブロック１０１）
以下、図５～図７を参照して、前処理ブロック１０１の一例について説明する。

【0027】

図５に示すように、前処理ブロック１０１は、前処理サブブロック１０１Ａと、メッシュ分離サブブロック１０１Ｂとを備える。

【0028】

前処理サブブロック１０１Ａは、非特許文献１に開示されているものと同じであり、図５及び図６に示すように、入力されるメッシュＭ（ｉ）/Ｍ（ｊ）から基本メッシュｍ（ｉ）/ｍ（ｊ）及び変位量ｄ（ｉ）/ｄ（ｊ）を生成するように構成されている。

【0029】

メッシュ分離サブブロック１０１Ｂは、図５に示すように、基本メッシュｍ（ｉ）/ｍ（ｊ）を入力とし、かかる基本メッシュｍ（ｉ）/ｍ（ｊ）を非追跡基本メッシュｐ（ｉ）/ｐ（ｊ）及び追跡基本メッシュｑ（ｉ）/ｑ（ｊ）の２つに分離するように構成されている。

【0030】

以下、図７を参照して、メッシュ分離サブブロック１０１Ｂの一例について説明する。

【0031】

図７に示すように、ステップＳ１０１Ｂ-１において、メッシュ分離ブロック１０１Ｂは、基本メッシュｍ（ｉ）/ｍ（ｊ）の面が全て処理されたか否かを判定する。

【0032】

Ｙｅｓであれば、メッシュ分離ブロック１０１Ｂは、本処理を終了する。Ｎｏであれば、メッシュ分離ブロック１０１Ｂは、ステップＳ１０１Ｂ－２に進む。

【0033】

ステップＳ１０１Ｂ-２において、メッシュ分離ブロック１０１Ｂは、現在の面の３つの頂点の平均の高さｈ_ｃを計算する。

【0034】

例えば、現在の面の３つの頂点の座標が、（ｘ_１，ｙ_１，ｚ_１）、（ｘ_２，ｙ_２，ｚ_２）及び（ｘ_３，ｙ_３，ｚ_３）である場合、かかる３つの頂点の平均の高さｈ_ｃは、（ｚ_１＋ｚ_２＋ｚ_３）/３である。

【0035】

ステップＳ１０１Ｂ-３において、メッシュ分離ブロック１０１Ｂは、上述の平均の高さｈ_ｃが、閾値ｈ_ｔよりも大きいか否かについて判定する。

【0036】

Ｙｅｓの場合、メッシュ分離ブロック１０１Ｂは、ステップＳ１０１Ｂ-４において、現在の面を追跡基本メッシュｑ（ｉ）/ｑ（ｊ）に追加する。

【0037】

一方、Ｎｏの場合、メッシュ分離ブロック１０１Ｂは、ステップＳ１０１Ｂ-５において、現在の面を非追跡基本メッシュｐ（ｉ）/ｐ（ｊ）に追加する。

【0038】

その後、メッシュ分離ブロック１０１Ｂは、ステップＳ１０１Ｂ-６において、次の面に対する処理に進む。

【0039】

（イントラ符号化ブロック１０２）
図８に、イントラ符号化ブロック１０２の機能ブロックの一例を示す。

【0040】

図８に示すように、イントラ符号化ブロック１０２は、量子化ブロック１０２Ａと、静的メッシュ符号化ブロック１０２Ｂと、静的メッシュ復号ブロック１０２Ｃと、メッシュマージブロック１０２Ｄ、変位量更新ブロック１０２Ｅと、変位量符号化ブロック１０２Ｆと、テクスチャ符号化ブロック１０２Ｇと、ＭＵＸ１０２Ｈとを備える。

【0041】

非追跡基本メッシュｐ（ｊ）は、量子化ブロック１０２Ａ及び静的メッシュ符号化ブロック１０２Ｂによって、圧縮された非追跡基本メッシュビットストリームに圧縮される。

【0042】

同様に、追跡基本メッシュq（ｊ）は、量子化ブロック１０２Ａ及び静的メッシュ符号化ブロック１０２Ｂによって、圧縮された追跡基本メッシュビットストリームに圧縮される。

【0043】

次に、静的メッシュ復号部１０２Ｃは、圧縮された非追跡基本メッシュビットストリームを、再構成された非追跡基本メッシュｐ''（ｊ）に再構成する。

【0044】

また、静的メッシュ復号部１０２Ｃは、圧縮された追跡基本メッシュビットストリームを、再構成された追跡基本メッシュｑ''（ｊ）に再構成する。

【0045】

図９に示すように、基本メッシュマージブロック１０２Ｄは、再構成された非追跡基本メッシュｐ''（ｊ）及び追跡基本メッシュｑ''（ｊ）を単一の基本メッシュｍ'（ｊ）にマージする。

【0046】

変位量更新ブロック１０２Ｅは、マージされた基本メッシュｍ'（ｊ）に従って、変位量ｄ（ｊ）を更新する。

【0047】

なお、量子化ブロック１０２Ａ、静的メッシュ符号化ブロック１０２Ｂ、静的メッシュ復号ブロック１０２Ｃ、変位量更新ブロック１０２Ｅ、変位量符号化ブロック１０２Ｆ、テクスチャ符号化ブロック１０２Ｇ及びＭＵＸ１０２Ｈは、非特許文献１に記載されているものと同じである。

【0048】

メッシュマージブロック１０２Ｄは、分離されたメッシュ（非追跡基本メッシュｐ（ｊ）及び追跡基本メッシュq（ｊ））を、単一のメッシュ（マージされた基本メッシュｍ’（ｊ））にマージする。

【0049】

ここで、メッシュマージブロック１０２Ｄに入力されるメッシュが、｛Ｖ_１，Ｆ_１｝及び｛Ｖ_２，Ｆ_２｝であり、Ｖ_１及びＶ_２が頂点の集合であり、Ｆ_１及びＦ_２が面の集合である場合、メッシュマージブロック１０２Ｄによって生成されるマージされた基本メッシュｍ’（ｊ）は、｛Ｖ_１∪Ｖ_２，Ｆ_１∪（Ｆ_２＋｜Ｖ_１｜）｝である。ここで、｜Ｖ_１｜は、Ｖ_１の全頂点数である。

【0050】

（部分インター符号化ブロック１０３）
図１０は、部分インター符号化ブロック１０３の機能ブロックの一例を示す図である。

【0051】

図１０に示すように、部分インター符号化ブロック１０３は、量子化ブロック１０３Ａと、静的メッシュ符号化ブロック１０３Ｂと、動き符号化ブロック１０３Ｃと、静的メッシュ復号ブロック１０３Ｄと、メッシュマージブロック１０３Ｅと、変位量更新ブロック１０３Ｆと、変位量符号化ブロック１０３Ｇと、テクスチャ符号化ブロック１０３Ｈと、ＭＵＸ１０３Ｉとを備える。

【0052】

動き符号化ブロック１０３Ｃは、非特許文献１に記載されているのものと同じである。また、図１０におけるブロックは、基本的に、図８において同じ名称を有するブロックと同一の機能を有する。

【0053】

部分インター符号化ブロック１０３の特徴は、現在の非追跡基本メッシュｐ（ｉ）が、静的メッシュ符号化ブロック１０３Ｂによって圧縮される一方、追跡基本q（ｉ）が、動き符号化ブロック１０３Ｃによって用いて圧縮されることである。

【0054】

＜メッシュ復号装置２００＞
図１１は、本実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。

【0055】

図１１に示すように、メッシュ復号装置２００は、多重分離部２０１と、基本メッシュ復号部２０２と、変位量復号部２０３と、映像復号部２０４と、細分割部２０５と、メッシュ復号部２０６とを備える。

【0056】

多重分離部２０１は、ビットストリームを基本メッシュビットストリーム、変位量ビットストリーム及びテクスチャビットストリームの３つに分離するように構成されている。

【0057】

（基本メッシュ復号部２０２）
図１２は、基本メッシュ復号部２０２の機能ブロックの一例を示す図である。

【0058】

図１２に示すように、基本メッシュ復号部２０２は、イントラ基本メッシュ復号ブロック２０２Ａと、部分インター基本メッシュ復号ブロック２０２Ｂとを備える。

【0059】

イントラ基本メッシュ復号ブロック２０２Ａは、イントラフレームイントラフレームの基本メッシュのビットストリームを復号し、再構成されたイントラフレームの基本メッシュを出力するように構成されている。

【0060】

部分インター基本メッシュ復号ブロック２０２Ｂは、現在のフレームの基本メッシュのビットストリームを復号し、再構成された現在のフレームの基本メッシュのビットストリームを出力するように構成されている。

【0061】

図１３は、イントラ基本メッシュ復号ブロック２０２Ａの機能ブロックの一例を示す図である。

【0062】

図１３に示すように、イントラ基本メッシュ復号ブロック２０２Ａは、多重分離ブロック２０２Ａ０１と、静的メッシュ復号ブロック２０２Ａ０２と、メッシュマージブロック２０２Ａ０３とを備える。

【0063】

多重分離ブロック２０２Ａ０１は、イントラフレームのビットストリームを、追跡基本メッシュビットストリームと非追跡基本メッシュビットストリームとの２つに分離するように構成されている。

【0064】

静的メッシュ復号ブロック２０２Ａ０２は、追跡基本メッシュビットストリームと非追跡基本メッシュビットストリームとを別々に復号し、再構成された追跡基本メッシュ及び再構成された非追跡基本メッシュを得る。

【0065】

メッシュマージブロック２０２Ａ０３は、再構成された追跡基本メッシュと非追跡基本メッシュとマージして、マージされた基本メッシュｍ'（ｊ）として出力する。

【0066】

ここで、イントラ基本メッシュ復号ブロック２０２Ａの出力は、再構成された追跡基本メッシュｑ''（ｊ）及びマージされた基本メッシュｍ'（ｊ）である。

【0067】

図１４は、部分インター基本メッシュ復号ブロック２０２Ｂの機能ブロックの一例を示す図である。

【0068】

図１４に示すように、部分インター基本メッシュ復号ブロック２０２Ｂは、多重分離ブロック２０２Ｂ０１と、動き復号ブロック２０２Ｂ０２と、静的メッシュ復号ブロック２０２Ｂ０３と、メッシュマージブロック２０２Ｂ０４とを備える。

【0069】

多重分離ブロック２０２Ｂ０１は、部分インターフレームのビットストリームを、動きビットストリームと基本メッシュビットストリームとの２つに分離するように構成されている。

【0070】

動き復号ブロック２０２Ｂ０２は、動きビットストリームを動きベクトルとして復号し、動きベクトルをイントラフレームの追跡基本メッシュq''（ｊ）に加算して、現在のフレームの追跡基本メッシュq''（ｉ）を得るように構成されている。

【0071】

動き復号ブロック２０２Ｂ０２は、非特許文献１に記載されているものと同じである。

【0072】

静的メッシュ復号ブロック２０２Ｂ０３は、基本メッシュビットストリームを復号し、現在のフレームの非追跡基本メッシュp''（ｉ）を得る。

【0073】

メッシュマージブロック２０２Ｂ０４は、現在のフレームの追跡基本メッシュq''（ｉ）（再構成された追跡基本メッシュ）及び現在のフレームの非追跡基本メッシュp''（ｉ）（再構成された非追跡基本メッシュ）を単一のメッシュｍ'（ｉ）としてマージする。

【0074】

上述のメッシュ符号化装置１００及びメッシュ復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【産業上の利用可能性】

【0075】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0076】

１…メッシュ処理システム
１００…メッシュ符号化装置
１０１…前処理ブロック
１０１Ａ…前処理サブブロック
１０１Ｂ…メッシュ分離サブブロック
１０２…イントラ符号化ブロック
１０２Ａ、１０３Ａ…量子化ブロック
１０２Ｂ、１０３Ｂ…静的メッシュ符号化ブロック
１０２Ｃ、１０３Ｄ…静的メッシュ復号ブロック
１０２Ｄ、１０３Ｅ、２０２Ｂ０４…メッシュマージブロック
１０２Ｅ、１０３Ｆ…変位量更新ブロック
１０２Ｆ、１０３Ｇ…変位量符号化ブロック
１０２Ｇ、１０３Ｈ…テクスチャ符号化ブロック
１０２Ｈ、１０３Ｉ…ＭＵＸ
１０３…部分インター符号化ブロック
１０３Ｃ…動き符号化ブロック
２００…メッシュ復号装置
２０１…多重分離部
２０２…基本メッシュ復号部
２０２Ａ…イントラ基本メッシュ復号ブロック
２０２Ａ０１、２０２Ｂ０１…多重分離ブロック
２０２Ａ０２、２０２Ｂ０３…静的メッシュ復号ブロック
２０２Ｂ…部分インター基本メッシュ復号ブロック
２０２Ｂ０２…動き復号ブロック
２０３…変位量復号部
２０４…映像復号部
２０５…細分割部
２０６…メッシュ復号部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】