特開 2025-9507 メッシュ復号装置、メッシュ復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025009507

(43)【公開日】2025-01-20

(54)【発明の名称】メッシュ復号装置、メッシュ復号方法及びプログラム

(51)【国際特許分類】

   G06T 9/00 20060101AFI20250110BHJP

   H04N 19/597 20140101ALI20250110BHJP

【ＦＩ】

G06T9/00 100

H04N19/597

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023112558

(22)【出願日】2023-07-07

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和５年度、総務省「３次元空間データの無線伝送に向けた高能率圧縮技術の研究開発」、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(72)【発明者】

【氏名】明堂 絵美

(72)【発明者】

【氏名】徐 建鋒

(72)【発明者】

【氏名】岸本 広輝

(72)【発明者】

【氏名】河村 圭

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159PP03

(57)【要約】

【課題】設計を容易にすること。
【解決手段】本発明に係るメッシュ復号装置２００は、細分割の繰り返し回数の最大値を規定するシンタックスを復号するように構成されるアトラスデータ復号部２０７を備え、アトラスデータ復号部２０７によって復号されるシンタックスの値は、１５以下となる。
【選択図】図２

【特許請求の範囲】

【請求項1】

メッシュ復号装置であって、
細分割の繰り返し回数の最大値を規定するシンタックスを復号するように構成されるアトラスデータ復号部を備え、
前記アトラスデータ復号部によって復号される前記シンタックスの値は、１５以下となることを特徴とするメッシュ復号装置。

【請求項2】

メッシュ復号装置であって、
細分割の繰り返し回数の最大値を規定するシンタックスを復号するように構成されるアトラスデータ復号部を備え、
前記アトラスデータ復号部によって復号される前記シンタックスの値は、７以下となることを特徴とするメッシュ復号装置。

【請求項3】

メッシュ復号装置であって、
細分割の繰り返し回数の最大値を規定するシンタックスを復号するように構成されるアトラスデータ復号部を備え、
高品質と設定されている場合、前記アトラスデータ復号部によって復号される前記シンタックスの値は、７以下となり、
一般品質と設定されている場合、前記アトラスデータ復号部によって復号される前記シンタックスの値は、１５以下となることを特徴とするメッシュ復号装置。

【請求項4】

メッシュ復号方法であって、
細分割の繰り返し回数の最大値を規定するシンタックスを復号する工程を有し、
前記工程において復号される前記シンタックスの値は、１５以下となることを特徴とするメッシュ復号方法。

【請求項5】

コンピュータを、メッシュ復号装置として機能させるプログラムであって、
前記メッシュ復号装置は、細分割の繰り返し回数の最大値を規定するシンタックスを復号するように構成されるアトラスデータ復号部を備え、
前記アトラスデータ復号部によって復号される前記シンタックスの値は、１５以下となることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、メッシュ復号装置、メッシュ復号方法及びプログラムに関する。

【背景技術】

【0002】

非特許文献１には、メッシュを大まかな基本メッシュと詳細な変位量とに分けて符号化及び復号を行う技術が開示されている。

【0003】

具体的には、かかる技術では、復号時、ビットストリームは、基本メッシュビットストリームと変位量ビットストリームとに多重分離される。基本メッシュビットストリームは、基本メッシュ復号部で復号された後、細分割部で細分割を繰り返され細かなメッシュが復号される。その後、変位量が加算・減算されて復号メッシュが出力される。

【0004】

非特許文献２では、非特許文献１に開示されている技術を実現するための設計がなされている。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Khaled Mammou, Jungsun Kim, Alexis Tourapis, Dimitri Podborski, Krasimir Kolarov, “[V-CG] Apple’s Dynamic Mesh Coding CfP Response,” ISO/IEC JTC 1/SC 29/WG 7 m59281, April 2022.

【非特許文献2】”WD 3.0 of V-DMC,” ISO/IEC JTC 1/SC 29/WG7 w22775, April 2023

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、非特許文献２では、合理的でない細分割の繰り返し回数が設定されており設計を難しくしているという問題点があった。 そこで、本発明は、上述の課題に鑑みてなされたものであり、容易な設計で実現できるメッシュ復号装置、メッシュ復号方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の特徴は、メッシュ復号装置であって、細分割の繰り返し回数の最大値を規定するシンタックスを復号するように構成されるアトラスデータ復号部を備え、前記アトラスデータ復号部によって復号される前記シンタックスの値は、１５以下となることを要旨とする。

【0008】

本発明の第２の特徴は、メッシュ復号装置であって、細分割の繰り返し回数の最大値を規定するシンタックスを復号するように構成されるアトラスデータ復号部を備え、前記アトラスデータ復号部によって復号される前記シンタックスの値は、７以下となることを要旨とする。

【0009】

本発明の第３の特徴は、メッシュ復号装置であって、細分割の繰り返し回数の最大値を規定するシンタックスを復号するように構成されるアトラスデータ復号部を備え、高品質と設定されている場合、前記アトラスデータ復号部によって復号される前記シンタックスの値は、７以下となり、一般品質と設定されている場合、前記アトラスデータ復号部によって復号される前記シンタックスの値は、１５以下となることを要旨とする。

【0010】

本発明の第４の特徴は、メッシュ復号方法であって、細分割の繰り返し回数の最大値を規定するシンタックスを復号する工程を有し、前記工程において復号される前記シンタックスの値は、１５以下となることを要旨とする。

【0011】

本発明の第５の特徴は、コンピュータを、メッシュ復号装置として機能させるプログラムであって、前記メッシュ復号装置は、細分割の繰り返し回数の最大値を規定するシンタックスを復号するように構成されるアトラスデータ復号部を備え、前記アトラスデータ復号部によって復号される前記シンタックスの値は、１５以下となることを要旨とする。

【発明の効果】

【0012】

本発明によれば、容易な設計で実現できるメッシュ復号装置、メッシュ復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0013】

【図1】図１は、一実施形態に係るメッシュ処理システム１の構成の一例を示す図である。

【図2】図２は、一実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。

【図3】図３は、細分割部２０３の動作の一例を示すフローチャートである。

【図4】図４は、細分割が関係するパラメータセット及びデータユニットの一例である。

【図5】図５は、ＡＳＰＳシンタックス構成の一例について示す図である。

【図6】図６は、ＡＦＰＳシンタックス構成の一例について示す図である。

【図7】図７は、ＰＤＵシンタックス構成の一例について示す図である。

【図8A】図８Ａは、細分割部２０３に入力される基本メッシュを示す図である。

【図8B】図８Ｂは、１度の細分割時の細分割メッシュを示す図である。

【図9A】図９Ａは、細分割対象の四面体の一例を示す図である。

【図9B】図９Ｂは、図９Ａに示す四面体を細分割した際の細分割の繰り返し回数、必要なビット数、面数及び頂点数をまとめた表である。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0015】

＜第１実施形態＞
以下、図１～図９を参照して、本実施形態に係るメッシュ処理システムについて説明する。

【0016】

図１は、本実施形態に係るメッシュ処理システム１の構成の一例を示す図である。図１に示すように、メッシュ処理システム１は、メッシュ符号化装置１００及びメッシュ復号装置２００を備えている。

【0017】

図２は、本実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。

【0018】

図２に示すように、メッシュ復号装置２００は、多重分離部２０１と、基本メッシュ復号部２０２と、細分割部２０３と、メッシュ復号部２０４と、変位量復号部２０５と、映像復号部２０６と、アトラスデータ復号部２０７とを有する。

【0019】

多重分離部２０１は、多重化されたビットストリームを、基本メッシュビットストリームと変位量ビットストリームとテクスチャビットストリームとアトラスビットストリームとに分離するように構成されている。

【0020】

基本メッシュ復号部２０２は、基本メッシュビットストリームを復号し、基本メッシュを生成して出力するように構成されている。

【0021】

細分割部２０３は、制御情報によって示された細分割手法により、基本メッシュ復号部２０２によって復号された基本メッシュから、追加された細分割頂点及びそれらの接続情報を生成して出力するように構成されている。

【0022】

ここで、基本メッシュ、追加された細分割頂点、及び、それらの接続情報を、併せて「細分割メッシュ」と呼ぶ。

【0023】

メッシュ復号部２０４は、細分割部２０３で生成された細分割メッシュ及び変位量復号部２０５で復号された変位量を用いて、復号メッシュを生成して出力するように構成されている。

【0024】

変位量復号部２０５は、変位量ビットストリームを復号して変位量を生成して出力するように構成されている。

【0025】

映像復号部２０６は、映像符号化によってテクスチャを復号して出力するように構成されている。例えば、映像復号部２０６は、非特許文献１のＨＥＶＣを用いてもよい。

【0026】

アトラスデータ復号部２０７は、アトラスビットストリームを復号し、制御情報を出力するように構成されている。

【0027】

（細分割部２０３）
図３は、細分割部２０３の動作の一例を示すフローチャートである。

【0028】

図３のステップＳ２０３１～Ｓ２０３３に示すように、細分割部２０５は、決められた細分割の繰り返し回数だけ細分割を繰り返す。

【0029】

（変位量ビットストリームの構成）
以下、図４～図７を参照して、細分割に関連するビットストリームの構成の一例について説明する。

【0030】

図４は、細分割を制御する情報を含めアトラスが関係するパラメータセット及びデータユニットの一例である。これは、非特許文献２では、アトラスデータ復号部２０７によって得られる制御情報であるが、意味が同じであれば、別のビットストリームに移動しそこで復号されてもよい。

【0031】

図４に示すように、第１に、アトラスビットストリームは、シーケンスのアトラス情報の復号に関する制御情報の集合であるＡＳＰＳ（Ａｔｌａｓ Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：アトラスシーケンスパラメータセット）を含んでいてもよい。

【0032】

第２に、アトラスビットストリームは、ＡＳＰＳの後にフレームに対応する制御情報の集合であるＡＦＰＳ（Ａｔｌａｓ Ｆｒａｍｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：アトラスフレームパラメータセット）を含んでいてもよい。

【0033】

第３に、アトラスビットストリームは、AＦＰＳの後に、パッチ単位のデータユニットであるＰＤＵ（Ｐａｔｃｈ Ｄａｔａ Ｕｎｉｔ：パッチデータユニット）を含んでいてもよい。

【0034】

図５～図７は、シンタックスの一例について示す図である。なお、図５～図７において、Ｄｅｓｃｒｉｐｔｏｒ欄は、各シンタックスがどのように符号化されているかを意味している。図５～図７において、ｕ（ｎ）は、ｎビットの符号であることを意味する。

【0035】

図５は、ＡＳＰＳシンタックス構成の一例について示す図である。

【0036】

図５において、ＡＳＰＳは、細分割手法（ａｆｐｓ_ｖｄｍｃ_ｅｘｔ_ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄ）を含む。

【0037】

例えば、ａｆｐｓ_ｖｄｍｃ_ｅｘｔ_ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄが０以外のときは、細分割が行われると定義されており、ＡＳＰＳが、細分割の繰り返し回数（ａｆｐｓ_ｖｄｍｃ_ｅｘｔ_ｓｕｂｄｉｖｉｓｉｏｎ_ｉｔｅｒａｔｉｏｎ_ｃｏｕｎｔ）を含む。これは、非特許文献２では、ｕ（８）で与えられている。

【0038】

図６は、ＡＦＰＳシンタックス構成の一例について示す図である。

【0039】

ＡＦＰＳは、上書きするか否かのフラグ（ａｆｐｓ_ｖｄｍｃ_ｅｘｔ_ｏｖｅｒｒｉｄｅｎ_ｆｌａｇ）を含む。

【0040】

例えば、ａｆｐｓ_ｖｄｍｃ_ｅｘｔ_ｏｖｅｒｒｉｄｅｎ_ｆｌａｇが１のときは、ＡＦＰＳは、細分割を有効にするか否かのフラグ（ａｆｐｓ_ｖｄｍｃ_ｅｘｔ_ｓｕｂｄｉｖｉｓｉｏｎ_ｅｎａｂｌｅ_ｆｌａｇ）を含む。

【0041】

例えば、ａｆｐｓ_ｖｄｍｃ_ｅｘｔ_ｓｕｂｄｉｖｉｓｉｏｎ_ｅｎａｂｌｅ_ｆｌａｇが１のときは、細分割が有効化される。

【0042】

細分割が有効化されたときは、ＡＦＰＳは、細分割を示す手法（ａｆｐｓ_ｖｄｍｃ_ｅｘｔ_ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄ）を含む。

【0043】

例えば、ａｆｐｓ_ｖｄｍｃ_ｅｘｔ_ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄが０以外となり何らか細分割手法が指定されているときは、ＡＦＰＳは、細分割の繰り返し回数（ａｆｐｓ_ｖｄｍｃ_ｅｘｔ_ｓｕｂｄｉｖｉｓｉｏｎ_ｉｔｅｒａｔｉｏｎ_ｃｏｕｎｔ）を含む。これは、非特許文献２では、ｕ（８）で与えられている。

【0044】

図７は、ＰＤＵシンタックス構成の一例について示す図である。ＰＤＦは、パッチインデックスごとのデータである。

【0045】

ＰＤＵは、ＰＤＵパラメータを有効にするか否かのフラグ（ｐｄｕ_ｐａｒａｍｅｔｅｒｓ_ｅｎａｂｌｅ_ｆｌａｇ）を含む。

【0046】

例えば、ｐｄｕ_ｐａｒａｍｅｔｅｒｓ_ｅｎａｂｌｅ_ｆｌａｇが１のとき、ＰＤＵは、細分割を有効にするか否かのフラグ（ｐｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｅｎａｂｌｅ_ｆｌａｇ）を含む。

【0047】

例えば、ｐｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｅｎａｂｌｅ_ｆｌａｇが１のときは、細分割が有効化される。

【0048】

細分割が有効化されたとき、ＰＤＵは、細分割を示す手法（ｐｄｕ__ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄ）を含む。

【0049】

例えば、ｐｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄが０以外となり何らか細分割手法が指定されているとき、ＰＤＵは、細分割の繰り返し回数（ｐｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｉｔｅｒａｔｉｏｎ_ｃｏｕｎｔ）を含む。これは、非特許文献２では、ｕ（８）で与えられている。

【0050】

（細分割部２０３２）
図８Ａ及び図８Ｂは、１度の細分割で頂点数や面数がどのように変化するかを示したものである。

【0051】

図８Ａは、細分割部２０３に入力される基本メッシュを示し、図８Ｂは、１度の細分割時の細分割メッシュを示す。

【0052】

一般的に、３角形のメッシュにＭｉｄｐｏｉｎｔ等の細分割手法を用いた場合、１度の細分割で細分割メッシュ数は、約４倍となる。

【0053】

図８Ｂにおいても、図８Ａに対して面数が基本面数の４倍となっていることが分かる。つまり、１度細分割するごとに、面数は、分割前の面数×４となる。

【0054】

また、１度細分割するごとに、辺数は、分割前の辺数×２＋面数×３となる。これは、分割前の辺が２つに分かれ、１つの面の内側に新たな辺が３つ作成されるからである。

【0055】

また、１度細分割するごとに、頂点数は、分割前の辺数＋分割前の頂点数となる。これは、新たな頂点は分割前の辺の中点に１つでき、分割前の頂点と足した頂点数が新たな頂点数となるからである。面数は、頂点数の約２倍程度である。

【0056】

ここで、図９Ａのような極端に小さい基本メッシュ（例えば、４つ面しかない四面体）を想定する。

【0057】

図９Ｂに、図９Ａに示す四面体を細分割した際の細分割の繰り返し回数、必要なビット数、面数、頂点数及び頂点表現に必要なメモリをまとめた表を示す。

【0058】

図９Ｂに示すように、一般的な３回までの分割では細分割の繰り返し回数は２ビットで表せ、面数は２５６となり、頂点数は１３０となる。

【0059】

細分割の繰り返し回数を３ビットで表せる上限の７回とすると、面数は６５,５３６となり、頂点数は３２,７７０となる。

【0060】

細分割の繰り返し回数を４ビットで表す上限の１５回とすると、面数は４,２９４,９６７,２９６（約４.３ギガ）となり、頂点数は２,１４７,４８３,６５０（約２.２ギガ）となる（少数点第２位を繰り上げ）。

【0061】

細分割の繰り返し回数を１５回より１回多く表現に５ビット必要な１６回とすると、面数は１７,１７９,８６９,１８４（約１７.２ギガ）となり、頂点数は８,５８９,９３４,５９４（約８.６ギガ）となる（少数点第２位を繰り上げ）。

【0062】

ここで、図９Ｂの条件で圧縮したメッシュデータを復号した際の１フレームのメッシュ表現に必要なメモリを、特定の細分割の繰り返し回数に対して概算する。

【0063】

実際には、メモリにロードしたデータや復号プロセスに関係するメモリも必要であるが、復号して１フレーム保持するメモリが大きいと想定されるため、こちらを概算する。

【0064】

＜１６回＞
５ビットで細分割の繰り返し回数を表現する場合の最小の繰り返し回数である１６回の場合、頂点数は約８.６ギガである。

【0065】

頂点のｘｙｚ座標は、それぞれ３２ビットの小数で表されることが多い。つまり、１つの頂点に１２バイト必要である。頂点の表現のみで１フレームで１０３.１ＧＢが必要となる。

【0066】

また、メッシュ表現では、頂点を接続したコネクティビティ情報も必要であり、コネクティビティ情報を表現するのに各頂点で最低１回は頂点インデックスを出力する必要がある。

【0067】

頂点数が８.６ギガの場合、各頂点のインデックス表現に３３ビット必要となり、約４バイト必要となる。

【0068】

コネクティビティ情報の表現に１フレームでは８.６×４＝３４.４ＧＢが必要である。よって、テクスチャ等を含まないメッシュ表現に１フレームあたり１０３.１＋３４.４＝１３７.５ＧＢが最低でも必要となる。

【0069】

現在のハイエンドなデスクトップパソコンでも最大１２８ＧＢのメモリが一般的であり、１６回の細分割の繰り返し回数は現実的でない。

【0070】

このように、メッシュの表現では、面や頂点に対して様々な情報を取り扱う必要があるため、メモリの量が膨大となり、メモリの観点で実装が非常に難しい。

【0071】

＜１５回＞
４ビットで細分割の繰り返し回数を表現する場合の最大の繰り返し回数である１５回の場合、頂点数は約２.２ギガである。

【0072】

頂点のｘｙｚ座標は、それぞれ３２ビットの小数で表されることが多い。つまり、1つの頂点に１２バイト必要である。頂点の表現のみで１フレームで２５.８ＧＢ必要となる。

【0073】

また、メッシュ表現では、頂点を接続したコネクティビティ情報も必要であり、コネクティビティ情報を表現するのに各頂点で最低１回は頂点インデックスを出力する必要がある。

【0074】

頂点数が２.２ギガの場合、各頂点のインデックス表現に３１ビット必要となり、約４バイト必要となる。

【0075】

コネクティビティ情報の表現に１フレームでは２.２×４＝８.８ＧＢが必要である。よって、テクスチャ等を含まないメッシュ表現に1フレームあたり２５.８＋８.８＝３４.６ＧＢが最低でも必要となる。

【0076】

ただし、６４ＧＢ～１２８ＧＢのメモリであれば、その表現は可能である。細分割の繰り返し回数は合理的な範囲で設定することが重要であり、１５回以下が望ましい。

【0077】

しかし、６４ＧＢ以上のメモリは、ハイエンドな端末であり、一般に普及させるには問題がある。また、テクスチャやバッファや自由な形状等を想定すると１５回の細分割では難しい場合がある。

【0078】

＜８回＞
４ビットで細分割の繰り返し回数を表現する場合の最小の繰り返し回数である８回の場合、頂点数は１３１,０７４である。

【0079】

頂点のｘｙｚ座標は、それぞれ３２ビットの小数で表されることが多い。つまり1つの頂点に１２バイト必要である。頂点の表現のみで１フレームで１,５７２,８８８Ｂ必要となる。

【0080】

また、メッシュ表現では、頂点を接続したコネクティビティ情報も必要であり、コネクティビティ情報を表現するのに各頂点で最低1回は頂点インデックスを出力する必要がある。

【0081】

頂点数が１３１,０７４の場合、各頂点のインデックス表現に１８ビット必要となり、約２バイト必要となる。

【0082】

コネクティビティ情報の表現に１フレームでは１３１,０７４×２＝２６２,１４８Ｂが必要である。よって、テクスチャ等を含まないメッシュ表現に１フレームあたり１,５７２,８８８＋２６２,１４８＝１,８３５,０３６≒１.８ＭＢが最低でも必要となる。

【0083】

以上のように、形状が複雑でなくテクスチャ情報も含まない場合は、一般的に最小限となる１ＧＢ程度のメモリでも表現可能である。

【0084】

しかし、細分割をしない場合の基本的なメッシュの形状がある程度複雑で、頂点数が４ではなく５１４とする。

【0085】

これは、ＭＰＥＧテストシーケンスで用いられる細分割前のフレーム辺り頂点数でも見られる値であり、細分割の繰り返し回数が３回で面数約６５,００００となる。

【0086】

もしも細分割の繰り返し回数を８回とした場合、面数は６７,１０８,８６４となり、頂点数は約３３,５５４,４３４となる。頂点の表現のみで1フレーム３３,５５４,４３４×１２＝４０２,６５３,２０８Ｂとなる。

【0087】

コネクティビティ情報を表現するには、各頂点のインデックス表現に２６ビット必要となり、約３バイト必要となる。つまり、３３,５５４,４３４×３＝１００,６６３,３０２Ｂとなる。メッシュ表現に１フレームあたり５０３,３１６,５１０Ｂ（約５０３ＭＢ）必要となる。

【0088】

復号プロセスで過去の複数フレームデータを参照する場合等を考慮すると、テクスチャがない場合においても、一部のパッチのみに細分割の繰り返し回数を限定する必要がある場合がある。

【0089】

また、テクスチャを考慮すると、ｘｙｚ座標の頂点をｕｖ座標にマッピングする必要がある。ｕ及びｖのそれぞれを３２ビット小数とする場合、３３,５５４,４３４×８＝２６８,４３５,４７２Ｂとなる。合計して約７５０ＭＢのメモリが１フレームあたり必要である。

【0090】

メモリが最近のＰＣメモリの最小単位でありエッジ端末でも問題ない１ＧＢ程度である場合、ほぼテクスチャを表現するメモリはなく、過去のフレームをバッファに持つ等の複雑な復号プロセスも難しい。

【0091】

＜７回＞
３ビットで細分割の繰り返し回数を表現する場合の最大の繰り返し回数である７回の場合、頂点数は約３２,７７０である。頂点のｘｙｚ座標は、それぞれ３２ビットの小数で表されることが多い。つまり、1つの頂点で１２バイト必要である。頂点の表現のみで1フレーム３９３,２４０Ｂ（約３９４ｋＢ）必要となる。

【0092】

また、メッシュ表現では、頂点を接続したコネクティビティ情報も必要であり、コネクティビティ情報を表現するのに各頂点で最低１回は頂点インデックスを出力する必要がある。

【0093】

頂点数が３２,７７０の場合、各頂点のインデックス表現に１６ ビット必要となり、約２バイト必要となる。コネクティビティ情報の表現に１フレームでは３２,７７０×２＝６５,５４０Ｂ（約６６ｋＢ）が必要である。

【0094】

よって、テクスチャ等を含まないメッシュ表現に１フレームあたり３９３,２４０＋６５,５４０＝４５８,７８０Ｂ（約４５８ｋＢ）が最低でも必要となる。

【0095】

ロードしたデータの保持やデコーディングプロセスやテクスチャにかかるメモリ、細分割前の頂点数を含めて自由度は高くなる。

【0096】

ここで、細分割の繰り返し回数が８回のときと同様に、細分割前の基本的なメッシュ頂点数が４ではなく５１４を想定する。

【0097】

８回の時の約１/４となるので、１フレームあたりのテクスチャの座標を入れても約１９０ＭＢとなる。

【0098】

１ＧＢメモリでも過去のフレームを保持する複雑な復号プロセスやカラーのテクスチャ情報を表現することが可能になってくる。

【0099】

＜３回＞
２ビットで細分割の繰り返し回数を表現する場合の最大の繰り返し回数である３回の場合、これは、現在の参照ソフトウェアのデフォルト値として使われ、複雑なテクスチャを持つ場合でも復号でき、ベースラインとなっている。ベースラインであるため、メモリを含め設計が容易である。

【0100】

一方、ユースケースによっては凸凹が主観的に目立つ場合もあり、ユースケースに応じて細分割繰り返し回数を４回以上に増やせることも望ましい。

【0101】

以上をまとめると、表現に５ビット必要な細分割の繰り返し回数（１６回）は、メモリの観点でほぼどの端末でも不能であり、４ビット以下（１５回以下）が望ましい。

【0102】

しかしながら、４ビットの場合は、ハイスペックなメモリ要求（１５回）や複雑な形状の表現や複雑な復号プロセスや複雑なテクスチャの両立が難しい（８回）等の制約があるため、３ビット以下の細分割の繰り返し回数（７回以下）がより望ましい。

【0103】

また、求めるレベルにより細分割の繰り返し回数の上限を変更してもよい。例えば、３つのレベルを想定した場合、一般品質となる低レベル用には細分割の繰り返し回数を２ビットで表現できる範囲までとし、高品質となる中レベル用には細分割の繰り返し回数を３ビットで表現できる範囲までとし、超高品質となる高レベル用には細分割の繰り返し回数を４ビットで表現できる範囲までとしてもよい。

【0104】

本実施形態によれば、細分割の繰り返し回数に関して合理的な制約を規定することで設計を容易にすることができる。

【0105】

上述のメッシュ符号化装置１００及びメッシュ復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【産業上の利用可能性】

【0106】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0107】

１…メッシュ処理システム
１００…メッシュ符号化装置
２００…メッシュ復号部
２０１…多重分離部
２０２…基本メッシュ復号部
２０３…細分割部
２０４…メッシュ復号部
２０５…変位量復号部
２０６…映像復号部
２０７…アトラスデータ復号部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9A】

【図9B】

【手続補正書】

【提出日】2024-03-12

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

メッシュ復号装置であって、
細分割の繰り返し回数の最大値を規定するシンタックスを復号するように構成されるアトラスデータ復号部を備え、
前記アトラスデータ復号部によって復号される前記シンタックスの値は、７以下となることを特徴とするメッシュ復号装置。

【請求項2】

メッシュ復号装置であって、
細分割の繰り返し回数の最大値を規定するシンタックスを復号するように構成されるアトラスデータ復号部を備え、
高品質と設定されている場合、前記アトラスデータ復号部によって復号される前記シンタックスの値は、７以下となり、
一般品質と設定されている場合、前記アトラスデータ復号部によって復号される前記シンタックスの値は、１５以下となることを特徴とするメッシュ復号装置。

【請求項3】

メッシュ復号方法であって、
細分割の繰り返し回数の最大値を規定するシンタックスを復号する工程を有し、
前記工程において復号される前記シンタックスの値は、７以下となることを特徴とするメッシュ復号方法。

【請求項4】

コンピュータを、メッシュ復号装置として機能させるプログラムであって、
前記メッシュ復号装置は、細分割の繰り返し回数の最大値を規定するシンタックスを復号するように構成されるアトラスデータ復号部を備え、
前記アトラスデータ復号部によって復号される前記シンタックスの値は、７以下となることを特徴とするプログラム。