特開 2025-9502 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025009502

(43)【公開日】2025-01-20

(54)【発明の名称】メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム

(51)【国際特許分類】

   H04N 19/107 20140101AFI20250110BHJP

   H04N 19/176 20140101ALI20250110BHJP

   H04N 19/54 20140101ALI20250110BHJP

【ＦＩ】

H04N19/107

H04N19/176

H04N19/54

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023112548

(22)【出願日】2023-07-07

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和５年度、総務省、「３次元空間データの無線伝送に向けた高能率圧縮技術の研究開発」委託事業、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(72)【発明者】

【氏名】ジン シュトウ

(72)【発明者】

【氏名】徐 建鋒

(72)【発明者】

【氏名】河村 圭

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC08

5C159LC09

5C159MA04

5C159MA05

5C159MC11

5C159NN31

5C159PP04

5C159TA18

5C159TB08

5C159TB18

5C159UA02

5C159UA05

(57)【要約】

【課題】符号化効率を向上させること。
【解決手段】本発明に係るメッシュ復号装置２００の基本メッシュ復号部２０２は、基本メッシュのビットストリームをイントラフレームのビットストリームと部分インターフレームのビットストリームに分離する多重分離ブロックと、イントラフレームのビットストリームをイントラモードで復号するイントラ基本メッシュ復号ブロック２０２Ａと、部分インターフレームのビットストリームを部分インターモードで復号する部分インター基本メッシュ復号ブロック１０３とを備える。
【選択図】図１７

【特許請求の範囲】

【請求項1】

メッシュ復号装置であって、
基本メッシュのビットストリームの一方をイントラモードで復号化し、前記基本メッシュのビットストリームの他方を部分インターモードで復号するように構成されている基本メッシュ復号部を備え、
前記基本メッシュ復号部は、
前記基本メッシュのビットストリームをイントラフレームのビットストリームと部分インターフレームのビットストリームに分離するように構成されている多重分離ブロックと、
前記イントラフレームのビットストリームをイントラモードで復号するように構成されているイントラ基本メッシュ復号ブロックと、
前記部分インターフレームのビットストリームを部分インターモードで復号するように構成されている部分インター基本メッシュ復号ブロックと、を備えることを特徴とするメッシュ復号装置。

【請求項2】

前記イントラ基本メッシュ復号ブロックは、
イントラフレームのビットストリームを、分離インデックスビットストリームと基本メッシュビットストリームとに分離するように構成されている多重分離ブロックと、
前記分離インデックスビットストリームを復号して、分離インデックスを生成するように構成されている分離インデックス復号ブロックと、
前記基本メッシュビットストリームを復号して、マージされた基本メッシュを生成するように構成されている静的メッシュ復号ブロックと、
前記マージされた基本メッシュの頂点及び面の順序変更を行い、イントラフレームの基本メッシュを出力するように構成されているメッシュ順序変更ブロックと、
前記分離インデックスを用いて、前記イントラフレームの基本メッシュを、追跡基本メッシュと非追跡基本メッシュに分離するように構成されているメッシュ分離ブロックと、を備えることを特徴とする請求項１に記載のメッシュ復号装置。

【請求項3】

前記メッシュ分離ブロックは、
前記イントラフレームの基本メッシュの頂点を、切断されたコンポーネントに分離し、前記コンポーネントのうちの前記分離インデックスに対応する数のコンポーネントを非追跡頂点に割り当て、前記コンポーネントのうちの残りのコンポーネントを追跡頂点に割り当てるように構成されている頂点分割ブロックと、
選択された頂点に従って、前記イントラフレームの基本メッシュの面を分離するように構成されている面選択ブロックと、を備えることを特徴とする請求項２に記載のメッシュ復号装置。

【請求項4】

前記部分インター基本メッシュ復号ブロックは、
部分インターフレームのビットストリームを、動きビットストリームと基本メッシュビットストリームとに分離するように構成されている多重分離ブロックと、
前記動きビットストリームを復号して、前記追跡基本メッシュの頂点位置を更新するように構成されている動き復号ブロックと、
前記基本メッシュビットストリームを復号して、非追跡基本メッシュを生成するように構成されている静的メッシュ復号ブロックと、
前記追跡基本メッシュ及び前記非追跡基本メッシュを単一の基本メッシュにマージするように構成されているメッシュマージブロックと、
前記マージされた基本メッシュの頂点及び面の順序変更を行い、イントラフレームの基本メッシュを出力するように構成されているメッシュ順序変更ブロックと、を備えることを特徴とする請求項１に記載のメッシュ復号装置。

【請求項5】

メッシュ符号化装置であって、
非追跡基本メッシュ及び追跡基本メッシュの２つの基本メッシュを生成するように構成されている前処理ブロックと、
前記非追跡基本メッシュをイントラ符号化モードで符号化するように構成されているイントラ符号化ブロックと、
前記追跡基本メッシュを部分インター符号化モードで符号化するように構成されている部分インター符号化ブロックと、を備えることを特徴とするメッシュ符号化装置。

【請求項6】

前記前処理ブロックは、基本メッシュを前記非追跡基本メッシュと前記追跡基本メッシュとに分離できるメッシュ分離サブブロックを含むことを特徴とする請求項５に記載のメッシュ符号化装置。

【請求項7】

前記イントラ符号化ブロックは、
分離インデックスを生成するように構成されているメッシュ計数ブロックと、
非追跡メッシュ及び追跡メッシュがマージされた基本メッシュを生成するように構成されているメッシュマージブロックと、
前記マージされた基本メッシュの頂点及び面の順序変更を行うように構成されているメッシュ順序変更ブロックと、
前記順序変更された基本メッシュを用いて変位量を更新するように構成されている変位量更新ブロックと、を備える請求項５に記載のメッシュ符号化装置。

【請求項8】

前記部分インター符号化ブロックは、
前記非追跡基本メッシュを符号化するように構成されている静的メッシュ符号化ブロックと、
前記追跡基本メッシュを符号化するように構成されている動き符号化ブロックと、
再構成された前記非追跡基本メッシュ及び前記追跡基本メッシュを単一のメッシュにマージするように構成されているメッシュマージブロックと、
前記マージされた基本メッシュの頂点及び面の順序変更を行うように構成されているメッシュ順序変更ブロックと、
前記順序変更された基本メッシュを用いて変位量を更新するように構成されている変位量更新ブロックと、を備えることを特徴とする請求項５に記載のメッシュ符号化装置。

【請求項9】

メッシュ復号方法であって、
基本メッシュのビットストリームの一方をイントラモードで復号化し、前記基本メッシュのビットストリームの他方を部分インターモードで復号する工程を有し、
前工程において、
前記基本メッシュのビットストリームをイントラフレームのビットストリームと部分インターフレームのビットストリームに分離し、
前記イントラフレームのビットストリームをイントラモードで復号し、
前記部分インターフレームのビットストリームを部分インターモードで復号することを特徴とするメッシュ復号方法。

【請求項10】

コンピュータを、メッシュ復号装置として機能させるプログラムであって、
前記メッシュ復号装置は、
基本メッシュのビットストリームの一方をイントラモードで復号化し、前記基本メッシュのビットストリームの他方を部分インターモードで復号するように構成されている基本メッシュ復号部を備え、
前記基本メッシュ復号部は、
前記基本メッシュのビットストリームをイントラフレームのビットストリームと部分インターフレームのビットストリームに分離するように構成されている多重分離ブロックと、
前記イントラフレームのビットストリームをイントラモードで復号するように構成されているイントラ基本メッシュ復号ブロックと、
前記部分インターフレームのビットストリームを部分インターモードで復号するように構成されている部分インター基本メッシュ復号ブロックと、を備えることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムに関する。

【背景技術】

【0002】

現在のビデオベースのダイナミックメッシュ符号化（Ｖ-ＤＭＣ）モデルには、（１）イントラフレーム符号化モードと（２）インターフレーム符号化モードという２つの符号化モードが存在する（例えば、非特許文献１参照）。

【0003】

異なるモードの選択は、入力されるダイナミックメッシュが追跡されるか否かによって決定される。

【0004】

追跡されたメッシュ（Ｔｒａｃｋｅｄ ｍｅｓｈ：追跡メッシュ）は、図１（ａ）に示すように、フレーム間で１対１の頂点（ｖｅｒｔｅｘ）の対応関係及び１対１のエッジの対応関係の両方を持つが、追跡されていないメッシュ（Ｎｏｎ-ｔｒａｃｋｅｄ ｍｅｓｈ：非追跡メッシュ）は、図１（ｂ）に示すように、それらの対応関係を持たない。

【0005】

Ｖ-ＤＭＣは、追跡メッシュの場合、現在の基本メッシュの符号化をスキップし、現在の基本メッシュと以前の基本メッシュとの差分を符号化することで、より優れた時間予測を可能にする。

【0006】

一方、Ｖ-ＤＭＣにおいて、非追跡メッシュは、個別に符号化されるため、符号化効率が悪い。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】Khaled Mammou, Jungsun Kim, Alexis M Tourapis, Dimitri Podborski, and Krasimir Kolarov, “[V-CG] Apple’s Dynamic Mesh Coding CfP Response,” April 2022, ISO/IEC JTC 1/SC 29/WG 7.

【発明の概要】

【発明が解決しようとする課題】

【0008】

上述の従来技術では、入力されたダイナミックメッシュが追跡されているか否かに応じたイントラフレーム符号化モード及びインターフレーム符号化モードの２つの符号化モードしかない。

【0009】

しかしながら、図２（ａ）に示す非追跡メッシュにおいて、図２（ｂ）に示すように、一部は追跡され（図２（ｂ）におけるＴｒａｃｋｅｄ ｐａｒｔ）、一部は追跡されないことがある（図２（ｂ）におけるＮｏｎ-ｔｒａｃｋｅｄ ｐａｒｔ）。

【0010】

このような場合、従来技術では、イントラフレーム符号化しか適用できず、符号化効率が低いという問題点があった。

【0011】

そこで、本発明は、上述の課題に鑑みてなされたものであり、符号化効率を向上させることができるメッシュ符号化装置、メッシュ復号装置、メッシュ符号化方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明の第１の特徴は、メッシュ復号装置であって、基本メッシュのビットストリームの一方をイントラモードで復号化し、前記基本メッシュのビットストリームの他方を部分インターモードで復号するように構成されている基本メッシュ復号部を備え、前記基本メッシュ復号部は、前記基本メッシュのビットストリームをイントラフレームのビットストリームと部分インターフレームのビットストリームに分離するように構成されている多重分離ブロックと、前記イントラフレームのビットストリームをイントラモードで復号するように構成されているイントラ基本メッシュ復号ブロックと、前記部分インターフレームのビットストリームを部分インターモードで復号するように構成されている部分インター基本メッシュ復号ブロックと、を備えることを要旨とする。

【0013】

本発明の第２の特徴は、メッシュ符号化装置であって、非追跡基本メッシュ及び追跡基本メッシュの２つの基本メッシュを生成するように構成されている前処理ブロックと、前記非追跡基本メッシュをイントラ符号化モードで符号化するように構成されているイントラ符号化ブロックと、前記追跡基本メッシュを部分インター符号化モードで符号化するように構成されている部分インター符号化ブロックと、を備えることを要旨とする。

【0014】

本発明の第３の特徴は、メッシュ復号方法であって、基本メッシュのビットストリームの一方をイントラモードで復号化し、前記基本メッシュのビットストリームの他方を部分インターモードで復号する工程を有し、前工程において、前記基本メッシュのビットストリームをイントラフレームのビットストリームと部分インターフレームのビットストリームに分離し、前記イントラフレームのビットストリームをイントラモードで復号し、前記部分インターフレームのビットストリームを部分インターモードで復号することを要旨とする。

【0015】

本発明の第４の特徴は、コンピュータを、メッシュ復号装置として機能させるプログラムであって、基本メッシュのビットストリームの一方をイントラモードで復号化し、前記メッシュ復号装置は、前記基本メッシュのビットストリームの他方を部分インターモードで復号するように構成されている基本メッシュ復号部を備え、前記基本メッシュ復号部は、前記基本メッシュのビットストリームをイントラフレームのビットストリームと部分インターフレームのビットストリームに分離するように構成されている多重分離ブロックと、前記イントラフレームのビットストリームをイントラモードで復号するように構成されているイントラ基本メッシュ復号ブロックと、前記部分インターフレームのビットストリームを部分インターモードで復号するように構成されている部分インター基本メッシュ復号ブロックと、を備えることを要旨とする。

【発明の効果】

【0016】

本発明によれば、符号化効率を向上させることができるメッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0017】

【図1】図１は、従来技術を説明するための図である。

【図2】図２は、従来技術を説明するための図である。

【図3】図３は、一実施形態に係るメッシュ処理システム１の構成の一例を示す図である。

【図4】図４は、一実施形態に係るメッシュ符号化装置１００の機能ブロックの一例を示す図である。

【図5】図５は、一実施形態に係るメッシュ符号化装置１００の前処理部１０１の機能ブロックの一例について示す図である。

【図6】図６は、一実施形態に係るメッシュ符号化装置１００の前処理部１０１の前処理サブブロック１０１Ａの一例について説明するための図である。

【図7】図７は、一実施形態に係るメッシュ符号化装置１００の前処理部１０１のメッシュ分離サブブロック１０１Ｂの動作の一例を示すフローチャートである。

【図8】図８は、一実施形態に係るメッシュ符号化装置１００のイントラ符号化ブロック１０２の機能ブロックの一例を示す図である。

【図9】図９は、一実施形態に係るメッシュ符号化装置１００のイントラ符号化ブロック１０２のメッシュマージブロック１０２Ｃの動作の一例について説明するための図である。

【図10】図１０は、一実施形態に係るメッシュ符号化装置１００のイントラ符号化ブロック１０２のメッシュ計数ブロック１０２Ａの動作の一例について説明するための図である。

【図11】図１１は、非追跡基本メッシュｐ（ｊ）及び追跡基本メッシュq（ｊ）から、圧縮されたビットストリームｂ（ｊ）が生成されるまでの大まかなイメージを示す図である。

【図12】図１２は、一実施形態に係るメッシュ符号化装置１００のイントラ符号化ブロック１０２のメッシュ計数ブロック１０２Ａの動作の一例について示すフローチャートである。

【図13】図１３は、一実施形態に係るメッシュ符号化装置１００のイントラ符号化ブロック１０２のメッシュ順序変更ブロック１０２Ｇの機能ブロックの一例を示す図である。

【図14】図１４は、一実施形態に係るメッシュ符号化装置１００のイントラ符号化ブロック１０２のメッシュ順序変更ブロック１０２Ｇの面選択ブロック１０２Ｇ０２の動作の一例について示すフローチャートである。

【図15】図１５は、一実施形態に係るメッシュ符号化装置１００の部分インター符号化ブロック１０３の機能ブロックの一例を示す図である。

【図16】図１６は、本実施形態に係るメッシュ復号化装置２００の機能ブロックの一例を示す図である。

【図17】図１７は、本実施形態に係るメッシュ復号化装置２００の基本メッシュ復号部２０２の機能ブロックの一例を示す図である。

【図18】図１８は、本実施形態に係るメッシュ復号化装置２００の基本メッシュ復号部２０２のイントラ基本メッシュ復号ブロック２０２Ａの機能ブロックの一例を示す図である。

【図19】図１９は、本実施形態に係るメッシュ復号化装置２００の基本メッシュ復号部２０２のイントラ基本メッシュ復号ブロック２０２Ａのメッシュ分離ブロック２０２Ａ０５の機能ブロックの一例を示す図である。

【図20】図２０は、本実施形態に係るメッシュ復号化装置２００の基本メッシュ復号部２０２のイントラ基本メッシュ復号ブロック２０２Ａのメッシュ分離ブロック２０２Ａ０５の頂点分割サブブロック２０２Ａ０５Ａの動作の一例について示すフローチャートである。

【図21】図２１は、本実施形態に係るメッシュ復号化装置２００の基本メッシュ復号部２０２の部分インター基本メッシュ復号ブロック２０２Ｂの機能ブロックの一例を示す図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0019】

＜第１実施形態＞
以下、図３～図２１を参照して、本実施形態に係るメッシュ処理システム１について説明する。

【0020】

図３は、本実施形態に係るメッシュ処理システム１の構成の一例を示す図である。図３に示すように、メッシュ処理システム１は、メッシュ符号化装置１００及びメッシュ復号装置２００を備えている。

【0021】

以下、本実施形態において、フレームは、メッシュと同義であるものとする。

【0022】

＜メッシュ符号化装置１００＞
図４は、本実施形態に係るメッシュ符号化装置１００の機能ブロックの一例を示す図である。

【0023】

図４に示すように、メッシュ符号化装置１００は、前処理ブロック１０１と、イントラ符号化ブロック１０２と、部分インター符号化ブロック１０３とを備える。

【0024】

前処理ブロック１０１は、非追跡基本メッシュ及び追跡基本メッシュの２つの基本メッシュを生成するように構成されている。

【0025】

ここで、図４に示すように、参照メッシュＭ（ｊ）から生成された追跡基本メッシュｑ（ｊ）は、インターフレーム符号化のために、部分インター符号化ブロック１０３に伝送される。

【0026】

（前処理ブロック１０１）
以下、図５～図１４を参照して、前処理ブロック１０１の一例について説明する。

【0027】

図５に示すように、前処理ブロック１０１は、前処理サブブロック１０１Ａと、メッシュ分離サブブロック１０１Ｂとを備える。

【0028】

前処理サブブロック１０１Ａは、非特許文献１に開示されているものと同じであり、図５及び図６に示すように、入力されるメッシュＭ（ｉ）/Ｍ（ｊ）から基本メッシュｍ（ｉ）/ｍ（ｊ）及び変位量ｄ（ｉ）/ｄ（ｊ）を生成するように構成されている。

【0029】

メッシュ分離サブブロック１０１Ｂは、図５に示すように、基本メッシュｍ（ｉ）/ｍ（ｊ）を入力とし、かかる基本メッシュｍ（ｉ）/ｍ（ｊ）を非追跡基本メッシュｐ（ｉ）/ｐ（ｊ）及び追跡基本メッシュｑ（ｉ）/ｑ（ｊ）の２つに分離するように構成されている。

【0030】

以下、図７を参照して、メッシュ分離サブブロック１０１Ｂの一例について説明する。

【0031】

図７に示すように、ステップＳ１０１Ｂ-１において、メッシュ分離ブロック１０１Ｂは、基本メッシュｍ（ｉ）/ｍ（ｊ）の面が全て処理されたか否かを判定する。

【0032】

Ｙｅｓであれば、メッシュ分離ブロック１０１Ｂは、本処理を終了する。Ｎｏであれば、メッシュ分離ブロック１０１Ｂは、ステップＳ１０１Ｂ－２に進む。

【0033】

ステップＳ１０１Ｂ-２において、メッシュ分離ブロック１０１Ｂは、現在の面の３つの頂点の平均の高さｈ_ｃを計算する。

【0034】

例えば、現在の面の３つの頂点の座標が、（ｘ_１，ｙ_１，ｚ_１）、（ｘ_２，ｙ_２，ｚ_２）及び（ｘ_３，ｙ_３，ｚ_３）である場合、かかる３つの頂点の平均の高さｈ_ｃは、（ｚ_１＋ｚ_２＋ｚ_３）/３である。

【0035】

ステップＳ１０１Ｂ-３において、メッシュ分離ブロック１０１Ｂは、上述の平均の高さｈ_ｃが、閾値ｈ_ｔよりも大きいか否かについて判定する。

【0036】

Ｙｅｓの場合、メッシュ分離ブロック１０１Ｂは、ステップＳ１０１Ｂ-４において、現在の面を追跡基本メッシュｑ（ｉ）/ｑ（ｊ）に追加する。

【0037】

一方、Ｎｏの場合、メッシュ分離ブロック１０１Ｂは、ステップＳ１０１Ｂ-５において、現在の面を非追跡基本メッシュｐ（ｉ）/ｐ（ｊ）に追加する。

【0038】

その後、メッシュ分離ブロック１０１Ｂは、ステップＳ１０１Ｂ-６において、次の面に対する処理に進む。

【0039】

（イントラ符号化ブロック１０２）
図８に、イントラ符号化ブロック１０２の機能ブロックの一例を示す。

【0040】

図８に示すように、イントラ符号化ブロック１０２は、メッシュ計数ブロック１０２Ａと、分離インデックス符号化ブロック１０２Ｂと、メッシュマージブロック１０２Ｃと、量子化ブロック１０２Ｄと、静的メッシュ符号化ブロック１０２Ｅと、静的メッシュ復号ブロック１０２Ｆと、メッシュ順序変更ブロック１０２Ｇと、変位量更新ブロック１０２Ｈと、変位量符号化ブロック１０２Ｉと、テクスチャ符号化ブロック１０２Ｊと、ＭＵＸ１０２Ｋとを備える。

【0041】

図９に示すように、非追跡基本メッシュｐ（ｊ）及び追跡基本メッシュq（ｊ）は、メッシュマージブロック１０２Ｃによって、マージされた基本メッシュｍ'（ｊ）としてマージされる。

【0042】

マージされた基本メッシュｍ'（ｊ）は、量子化ブロック１０２Ｄ及び静的メッシュ符号化ブロック１０２Ｅによって、圧縮された基本メッシュビットストリームに圧縮される。

【0043】

さらに、図１０に示すように、メッシュ計数ブロック１０２Ａは、入力されたメッシュにおける切断されたコンポーネントの数を計数するように構成されている。

【0044】

図１０（ａ）の例では、メッシュ計数ブロック１０２Ａは、入力されたメッシュにおける切断されたコンポーネント１～５の数を計数して「５」を出力する。

【0045】

一方、図１０（ｂ）の例では、メッシュ計数ブロック１０２Ａは、入力されたメッシュにおける切断されたコンポーネント１～３の数を計数して「３」を出力する。

【0046】

本実施形態では、メッシュ計数ブロック１０２Ａは、非追跡基本メッシュにおける切断されたコンポーネントの数を計数し、かかる計数結果を分離インデックスｈ（ｊ）として分離インデックス符号化ブロック１０２Ｂに送り、分離インデックス符号化ブロック１０２Ｂは、分離インデックスｈ（ｊ）を符号化して圧縮された分離インデックスビットストリームとしてＭＵＸ１０２Ｋに送信する。

【0047】

さらに、メッシュ順序変更ブロック１０２Ｇは、再構成された基本メッシュｍ''（ｊ）の頂点及び面の順序を変更して再順位付け基本メッシュｍ'''（ｊ）として変位量更新ブロック１０２Ｈに送信し、変位量更新ブロック１０２Ｈは、再順位付け基本メッシュｍ'''（ｊ）に応じて変位量の順序を更新する。

【0048】

なお、量子化ブロック１０２Ｄ、静的メッシュ符号化ブロック１０２Ｅ、静的メッシュ復号ブロック１０２Ｆ、変位量更新ブロック１０２Ｈ、変位量符号化ブロック１０２Ｉ、テクスチャ符号化ブロック１０２Ｊ及びＭＵＸ１０２Ｋは、非特許文献１に記載されているものと同じである。

【0049】

図１１に、非追跡基本メッシュｐ（ｊ）及び追跡基本メッシュq（ｊ）から、圧縮されたビットストリームｂ（ｊ）が生成されるまでの大まかなイメージを示す。

【0050】

図１２を参照して、メッシュ計数ブロック１０２Ａの動作の一例について説明する。

【0051】

図１２に示すように、ステップＳ１０２Ａ-１において、メッシュ計数ブロック１０２Ａは、Ｑ及びＶ’を空集合とし、Ｃｏｕｎｔを０とする。ここで、Ｖ’は、頂点の集合であり、Ｃｏｕｎｔは、入力されたメッシュにおける切断されたコンポーネント数である。

【0052】

ステップＳ１０２Ａ-２において、メッシュ計数ブロック１０２Ａは、全ての頂点を訪れたか否かについて判定する。

【0053】

Ｙｅｓの場合、メッシュ計数ブロック１０２Ａは、本動作を終了する。一方、Ｎｏの場合、メッシュ計数ブロック１０２Ａは、ステップＳ１０２Ａ-３に進む。

【0054】

ステップＳ１０２Ａ-３において、メッシュ計数ブロック１０２Ａは、現在の頂点が既に訪問済みであるか否かについて判定する。

【0055】

Ｙｅｓの場合、メッシュ計数ブロック１０２Ａは、ステップＳ１０２Ａ-２に戻る。一方、Ｎｏの場合、メッシュ計数ブロック１０２Ａは、ステップＳ１０２Ａ-４に進む。

【0056】

ステップＳ１０２Ａ-４において、メッシュ計数ブロック１０２Ａは、現在の頂点をＱの末尾に追加する。

【0057】

ステップＳ１０２Ａ-５において、メッシュ計数ブロック１０２Ａは、Ｑが空か否かについて判定する。

【0058】

Ｙｅｓの場合、メッシュ計数ブロック１０２Ａは、ステップＳ１０２Ａ-６に進む。一方、Ｎｏの場合、メッシュ計数ブロック１０２Ａは、ステップＳ１０２Ａ-７に進む。

【0059】

ステップ１０２Ａ-６において、メッシュ計数ブロック１０２Ａは、Ｃｏｕｎｔに１を加える。

【0060】

ステップ１０２Ａ-７において、メッシュ計数ブロック１０２Ａは、Ｑの最初の要素に接続されている全ての頂点を探索する。

【0061】

ステップ１０２Ａ-８において、メッシュ計数ブロック１０２Ａは、Ｑの最初の要素に接続されている全ての頂点を訪問しているか否かについて判定する。

【0062】

Ｙｅｓの場合、メッシュ計数ブロック１０２Ａは、ステップＳ１０２Ａ-９に進む。一方、Ｎｏの場合、メッシュ計数ブロック１０２Ａは、ステップＳ１０２Ａ-１０に進む。

【0063】

ステップ１０２Ａ-９において、メッシュ計数ブロック１０２Ａは、Ｑから最初の要素を削除してＶ’に追加する。

【0064】

ステップ１０２Ａ-１０において、メッシュ計数ブロック１０２Ａは、現在の頂点に隣接する頂点が訪問済みであるか否かについて判定する。

【0065】

Ｙｅｓの場合、メッシュ計数ブロック１０２Ａは、ステップＳ１０２Ａ-８に戻る。一方、Ｎｏの場合、メッシュ計数ブロック１０２Ａは、ステップＳ１０２Ａ-１１に進む。

【0066】

ステップ１０２Ａ-１０において、メッシュ計数ブロック１０２Ａは、現在の頂点に隣接する頂点をＱの末尾に追加する。

【0067】

メッシュ計数ブロック１０２Ａは、Ｃｏｕｎｔの値を出力する。

【0068】

分離インデックス符号化ブロック１０２Ｂは、分離インデックスｈ（ｊ）を圧縮された分離インデックスビットストリームに圧縮するように構成されている。

【0069】

メッシュマージブロック１０２Ｃは、分離されたメッシュ（非追跡基本メッシュｐ（ｊ）及び追跡基本メッシュq（ｊ））を、単一のメッシュ（マージされた基本メッシュｍ’（ｊ））にマージする。

【0070】

ここで、メッシュマージブロック１０２Ｃに入力されるメッシュが、｛Ｖ_１，Ｆ_１｝及び｛Ｖ_２，Ｆ_２｝であり、Ｖ_１及びＶ_２が頂点の集合であり、Ｆ_１及びＦ_２が面の集合である場合、メッシュマージブロック１０２Ｃによって生成されるマージされた基本メッシュｍ’（ｊ）は、｛Ｖ_１∪Ｖ_２，Ｆ_１∪（Ｆ_２＋｜Ｖ_１｜）｝である。ここで、｜Ｖ_１｜は、Ｖ_１の全頂点数である。

【0071】

メッシュ順序変更ブロック１０２Ｇは、頂点及び面の順序を変更するように構成されている。

【0072】

図１３は、メッシュ順序変更ブロック１０２Ｇの機能ブロックの一例を示す図である。

【0073】

図１３に示すように、メッシュ順序変更ブロック１０２Ｇは、メッシュ計数ブロック１０２Ｇ０１と、面選択ブロック１０２Ｇ０２とを備える。

【0074】

ここで、メッシュ計数ブロック１０２Ｇ０１は、出力がステップ１０２Ａ-１に示すＶ’であることを除いて、図１２に示すメッシュ計数ブロック１０２Ａと同じ動作を行う。

【0075】

図１４を参照して、面選択ブロック１０２Ｇ０２の動作の一例について説明する。

【0076】

図１４に示すように、ステップＳ１０２Ｇ０２-１において、面選択ブロック１０２Ｇ０２は、新しい面集合Ｆ’を空集合として初期化する。

【0077】

ステップＳ１０２Ｇ０２-２において、面選択ブロック１０２Ｇ０２は、全ての頂点が既に訪問済みか否かについて判定する。

【0078】

Ｙｅｓの場合、面選択ブロック１０２Ｇ０２は、本動作を終了する。一方、Ｎｏの場合、面選択ブロック１０２Ｇ０２は、ステップＳ１０２Ｇ０２-３に進む。

【0079】

ステップＳ１０２Ｇ０２-３において、面選択ブロック１０２Ｇ０２は、現在の頂点に接続している全ての面を探索する。

【0080】

ステップＳ１０２Ｇ０２-４において、面選択ブロック１０２Ｇ０２は、全ての面が既に訪問済みか否かについて判定する。

【0081】

Ｙｅｓの場合、面選択ブロック１０２Ｇ０２は、ステップＳ１０２Ｇ０２-２に戻る。一方、Ｎｏの場合、面選択ブロック１０２Ｇ０２は、ステップＳ１０２Ｇ０２-５に進む。

【0082】

ステップＳ１０２Ｇ０２-４において、面選択ブロック１０２Ｇ０２は、現在の面が既に訪問済みか否かについて判定する。

【0083】

Ｙｅｓの場合、面選択ブロック１０２Ｇ０２は、ステップＳ１０２Ｇ０２-７に進み。一方、Ｎｏの場合、面選択ブロック１０２Ｇ０２は、ステップＳ１０２Ｇ０２-６に進む。

【0084】

ステップＳ１０２Ｇ０２-６において、面選択ブロック１０２Ｇ０２は、現在の面をＦ’に追加する。

【0085】

ステップＳ１０２Ｇ０２-７において、面選択ブロック１０２Ｇ０２は、次の面に進む。

【0086】

（部分インター符号化ブロック１０３）
図１５は、部分インター符号化ブロック１０３の機能ブロックの一例を示す図である。

【0087】

図１５に示すように、部分インター符号化ブロック１０３は、量子化ブロック１０３Ａと、静的メッシュ符号化ブロック１０３Ｂと、動き符号化ブロック１０３Ｃと、静的メッシュ復号ブロック１０３Ｄと、メッシュマージブロック１０３Ｅと、メッシュ順序変更ブロック１０３Ｆと、変位量更新ブロック１０３Ｇと、変位量符号化ブロック１０３Ｈと、テクスチャ符号化ブロック１０３Ｉと、ＭＵＸ１０３Ｊとを備える。

【0088】

動き符号化ブロック１０３Ｃは、非特許文献１に記載されているのものと同じである。また、図１５におけるブロックは、基本的に、図８において同じ名称を有するブロックと同一の機能を有する。

【0089】

部分インター符号化ブロック１０３の特徴は、現在の非追跡基本メッシュｐ（ｉ）が、静的メッシュ符号化ブロック１０３Ｂによって圧縮される一方、追跡基本q（ｉ）が、動き符号化ブロック１０３Ｃによって用いて圧縮されることである。

【0090】

＜メッシュ復号化装置２００＞
図１６は、本実施形態に係るメッシュ復号化装置２００の機能ブロックの一例を示す図である。

【0091】

図１６に示すように、メッシュ復号化装置２００は、多重分離部２０１と、基本メッシュ復号部２０２と、変位量復号部２０３と、映像復号部２０４と、細分割部２０５と、メッシュ復号部２０６とを備える。

【0092】

多重分離部２０１は、ビットストリームを基本メッシュビットストリーム、変位量ビットストリーム及びテクスチャビットストリームの３つに分離するように構成されている。

【0093】

（基本メッシュ復号部２０２）
図１７は、基本メッシュ復号部２０２の機能ブロックの一例を示す図である。

【0094】

図１７に示すように、基本メッシュ復号部２０２は、イントラ基本メッシュ復号ブロック２０２Ａと、部分インター基本メッシュ復号ブロック２０２Ｂとを備える。

【0095】

イントラ基本メッシュ復号ブロック２０２Ａは、イントラフレームの基本メッシュのビットストリームを復号し、再構成されたイントラフレームの基本メッシュを出力するように構成されている。

【0096】

部分インター基本メッシュ復号ブロック２０２Ｂは、現在のフレームの基本メッシュのビットストリームを復号し、再構成された現在のフレームの基本メッシュのビットストリームを出力するように構成されている。

【0097】

図１８は、イントラ基本メッシュ復号ブロック２０２Ａの機能ブロックの一例を示す図である。

【0098】

図１８に示すように、イントラ基本メッシュ復号ブロック２０２Ａは、多重分離ブロック２０２Ａ０１と、分離インデックス復号ブロック２０２Ａ０２と、静的メッシュ復号ブロック２０２Ａ０３と、メッシュ順序変更ブロック２０２Ａ０４と、メッシュ分離ブロック２０２Ａ０５とを備える。

【0099】

多重分離ブロック２０２Ａ０１は、イントラフレームのビットストリームを、分離インデックスビットストリームと基本メッシュビットストリームとの２つに分離するように構成されている。

【0100】

分離インデックス復号ブロック２０２Ａ０２は、分離インデックスビットストリームを復号し、分離インデックスｊ（ｊ）を得るように構成されている。

【0101】

静的メッシュ復号ブロック２０２Ａ０３は、基本メッシュビットストリームを復号し、マージされた基本ベースメッシュｍ'（ｊ）を得るように構成されている。

【0102】

メッシュ順序変更ブロック２０２Ａ０４は、図１３に示すメッシュ順序変更ブロック１０２Ｇと同様に、マージされた基本メッシュｍ’（ｊ）の頂点の順序及び面の順序を変更するように構成されている。

【0103】

図１９は、メッシュ分離ブロック２０２Ａ０５の機能ブロックの一例を示す図である。

【0104】

図１９に示すように、メッシュ分離ブロック２０２Ａ０５は、頂点分割サブブロック２０２Ａ０５Ａと、面選択ブロック２０２Ａ０５Ｂとを備える。

【0105】

図２０を参照して、頂点分割サブブロック２０２Ａ０５Ａの動作の一例について説明する。

【0106】

図２０に示すように、ステップＳ２０２Ａ０５-１において、頂点分割サブブロック２０２Ａ０５Ａは、Ｖ’、Ｖ’’、Ｑ及びＣｏｕｎｔを初期化する。ここで、Ｖ’は、初期頂点間集合で、Ｖ’’は、初期頂点内集合である。

【0107】

なお、ステップＳ２０２Ａ０５-２～ステップＳ２０２Ａ０５-８、ステップＳ２０２Ａ０５-９～ステップＳ２０２Ａ０５-１０の動作は、それぞれ図１２に示すステップＳ１０２Ａ０５-２～ステップＳ１０２Ａ０５-８、ステップＳ１０２Ａ０５-１０～ステップＳ１０２Ａ０５-１１の動作と同じである。

【0108】

ステップＳ２０２Ａ０５-１１において、頂点分割サブブロック２０２Ａ０５Ａは、Ｃｏｕｎｔが分離インデックスｈ（ｊ）より大きいか否かについて判定する。

【0109】

Ｙｅｓの場合、頂点分割サブブロック２０２Ａ０５Ａは、ステップＳ２０２Ａ０５-１３に進む。一方、Ｎｏの場合、頂点分割サブブロック２０２Ａ０５Ａは、ステップＳ２０２Ａ０５-１２に進む。

【0110】

ステップＳ２０２Ａ０５-１２において、頂点分割サブブロック２０２Ａ０５Ａは、Ｑから最初の要素を削除してＶ’に追加する。

【0111】

ステップＳ２０２Ａ０５-１３において、頂点分割サブブロック２０２Ａ０５Ａは、Ｑから最初の要素を削除してＶ’’に追加する。

【0112】

面選択ブロック２０２Ａ０５Ｂの動作は、図１４に示す面選択ブロック１０２Ｇ０２の動作と同一である。面選択ブロック２０２Ａ０５Ｂは、再構成された基本メッシュから、入力された頂点に接続されている全ての面を選択する。

【0113】

図２１は、部分インター基本メッシュ復号ブロック２０２Ｂの機能ブロックの一例を示す図である。

【0114】

図２１に示すように、部分インター基本メッシュ復号ブロック２０２Ｂは、多重分離ブロック２０２Ｂ０１と、動き復号ブロック２０２Ｂ０２と、静的メッシュ復号ブロック２０２Ｂ０３と、メッシュマージブロック２０２Ｂ０４と、メッシュ順序変更ブロック２０２Ｂ０５とを備える。

【0115】

多重分離ブロック２０２Ｂ０１は、部分インターフレームのビットストリームを、動きビットストリームと基本メッシュビットストリームとの２つに分離するように構成されている。

【0116】

動き復号ブロック２０２Ｂ０２は、動きビットストリームを動きベクトルとして復号し、動きベクトルをイントラフレームの追跡基本メッシュq''（ｊ）に加算して、現在のフレームの追跡基本メッシュq''（ｉ）を得るように構成されている。

【0117】

動き復号ブロック２０２Ｂ０２は、非特許文献１に記載されているものと同じである。

【0118】

静的メッシュ復号ブロック２０２Ｂ０３は、基本メッシュビットストリームを復号し、現在のフレームの非追跡基本メッシュp''（ｉ）を得る。

【0119】

メッシュマージブロック２０２Ｂ０４は、現在のフレームの追跡基本メッシュq''（ｉ）（再構成された追跡基本メッシュ）及び現在のフレームの非追跡基本メッシュp''（ｉ）（再構成された非追跡基本メッシュ）を単一のメッシュｍ'（ｉ）としてマージする。

【0120】

メッシュ順序変更ブロック２０２Ｂ０５は、頂点及び面の順序を変更し、現在のフレームの再構成された基本メッシュｍ''（ｉ）を得る。

【0121】

上述のメッシュ符号化装置１００及びメッシュ復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【産業上の利用可能性】

【0122】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0123】

１…メッシュ処理システム
１００…メッシュ符号化装置
１０１…前処理ブロック
１０１Ａ…前処理サブブロック
１０１Ｂ…メッシュ分離サブブロック
１０２…イントラ符号化ブロック
１０２Ａ…メッシュ計数ブロック
１０２Ｂ…分離インデックス符号化ブロック
１０２Ｃ、１０３Ｅ、２０２Ｂ０４…メッシュマージブロック
１０２Ｄ、１０３Ａ…量子化ブロック
１０２Ｅ、１０３Ｂ…静的メッシュ符号化ブロック
１０２Ｆ、１０３Ｄ…静的メッシュ復号ブロック
１０２Ｇ、１０３Ｆ、２０２Ｂ０５…メッシュ順序変更ブロック
１０２Ｇ０１…メッシュ計数ブロック
１０２Ｇ０２…面選択ブロック
１０２Ｈ、１０３Ｇ…変位量更新ブロック
１０２Ｉ、１０３Ｈ…変位量符号化ブロック
１０２Ｊ、１０３Ｉ…テクスチャ符号化ブロック
１０２Ｋ、１０３Ｊ…ＭＵＸ
１０３…部分インター符号化ブロック
１０３Ｃ…動き符号化ブロック
２００…メッシュ復号装置
２０１…多重分離部
２０２…基本メッシュ復号部
２０２Ａ…イントラ基本メッシュ復号ブロック
２０２Ａ０１、２０２Ｂ０１…多重分離ブロック
２０２Ａ０２…分離インデックス復号ブロック
２０２Ａ０３、２０２Ｂ０３…静的メッシュ復号ブロック
２０２Ａ０４…メッシュ順序変更ブロック
２０２Ａ０５…メッシュ分離ブロック
２０２Ａ０５Ａ…頂点分割サブブロック
２０２Ａ０５Ｂ…面選択ブロック
２０２Ｂ…部分インター基本メッシュ復号ブロック
２０２Ｂ０２…動き復号ブロック
２０３…変位量復号部
２０４…映像復号部
２０５…細分割部
２０６…メッシュ復号部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】