特開 2025-8072 メッシュ復号装置、メッシュ復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025008072

(43)【公開日】2025-01-20

(54)【発明の名称】メッシュ復号装置、メッシュ復号方法及びプログラム

(51)【国際特許分類】

   H04N 19/70 20140101AFI20250109BHJP

   H04N 19/597 20140101ALI20250109BHJP

【ＦＩ】

H04N19/70

H04N19/597

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023109929

(22)【出願日】2023-07-04

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和５年度、総務省、「３次元空間データの無線伝送に向けた高能率圧縮技術の研究開発」委託事業、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(72)【発明者】

【氏名】岸本 広輝

(72)【発明者】

【氏名】河村 圭

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA41

5C159MC11

5C159ME11

5C159PP03

5C159PP13

5C159RC12

5C159UA02

5C159UA05

(57)【要約】

【課題】効率の良い圧縮を行うこと。
【解決手段】本発明に係るメッシュ復号装置２００は、アトラスビットストリームを復号して第１制御情報を生成して出力するアトラスデータ復号部２０７と、基本メッシュビットストリームを復号して第２制御情報及び基本メッシュを生成して出力する基本メッシュ復号部２０２と、第１制御情報と第２制御情報と基本メッシュとを復号して細分割メッシュ及び細分割頂点法線を出力する細分割部２０３と、第１制御情報と変位量と細分割メッシュと細分割頂点法線を入力として復号メッシュを生成するメッシュ復号部２０４とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

メッシュ復号装置であって、
アトラスビットストリームを復号して第１制御情報を生成して出力するように構成されているアトラスデータ復号部と、
基本メッシュビットストリームを復号して第２制御情報及び基本メッシュを生成して出力するように構成されている基本メッシュ復号部と、
前記第１制御情報と前記第２制御情報と前記基本メッシュとを入力として細分割メッシュ及び細分割頂点法線を出力するように構成されている細分割部と、
前記第１制御情報と変位量と前記細分割メッシュと前記細分割頂点法線を入力として復号メッシュを生成するように構成されているメッシュ復号部とを備えることを特徴とするメッシュ復号装置。

【請求項2】

前記アトラスデータ復号部は、前記第１制御情報として、サブメッシュごとの処理を定義するかどうかを表す制御信号を復号することを特徴とする請求項１に記載のメッシュ復号装置。

【請求項3】

前記アトラスデータ復号部は、前記第１制御情報として、サブメッシュごとに細分割を行うかどうかを表す制御信号を復号することを特徴とする請求項１に記載のメッシュ復号装置。

【請求項4】

前記細分割部は、前記制御信号に基づきサブメッシュごとに細分割を行うかどうかを判定することを特徴とする請求項３に記載のメッシュ装置。

【請求項5】

前記アトラスデータ復号部は、前記第１制御情報として、サブメッシュごとに変位量を定義する座標系を設定するかどうかを表す制御信号を復号することを特徴とする請求項１に記載のメッシュ復号装置。

【請求項6】

前記アトラスデータ復号部は、前記第１制御情報として、サブメッシュごとに定義される変位量の座標系を表す制御信号を復号することを特徴とする請求項１に記載のメッシュ復号装置。

【請求項7】

前記メッシュ復号部は、前記制御信号に基づき、変位量の座標系を設定して、設定した座標系の変位量を細分割頂点に加算することで、復号メッシュを計算して出力するように構成されている請求項６に記載のメッシュ復号装置。

【請求項8】

前記アトラスデータ復号部は、前記第１制御情報として、サブメッシュごとに変位量の符号化手法を設定するかどうかを表す制御信号を復号することを特徴とする請求項１に記載のメッシュ復号装置。

【請求項9】

前記アトラスデータ復号部は、前記第１制御情報として、サブメッシュごとに変位量の符号化パラメータを設定するかどうかを表す制御信号を復号することを特徴とする請求項１に記載のメッシュ復号装置。

【請求項10】

前記アトラスデータ復号部は、前記第１制御情報として、サブメッシュごとに細分割手法を表す制御信号を復号することを特徴とする請求項１に記載のメッシュ復号装置。

【請求項11】

前記細分割部は、前記制御信号に基づき、サブメッシュを細分割することを特徴とする請求項１０に記載のメッシュ復号装置

【請求項12】

前記アトラスデータ復号部は、前記第１制御情報として、サブメッシュごとに細分割の回数を表す制御信号を復号することを特徴とする請求項１に記載のメッシュ復号装置。

【請求項13】

前記細分割部は、前記制御信号と同じ細分割回数だけ基本メッシュを細分割することを特徴とする請求項１２に記載のメッシュ復号装置。

【請求項14】

前記アトラスデータ復号部は、前記第１制御情報として、サブメッシュごとに変位量の符号化手法を表す制御信号を復号することを特徴とする請求項１に記載のメッシュ復号装置。

【請求項15】

前記変位量復号部は、前記制御信号に基づき、変位量を逆係数変換することを特徴とする請求項１４に記載のメッシュ復号装置。

【請求項16】

メッシュ復号方法であって、
アトラスビットストリームを復号して第１制御情報を生成して出力する工程と、
基本メッシュビットストリームを復号して第２制御情報及び基本メッシュを生成して出力する工程と、
前記第１制御情報と前記第２制御情報と前記基本メッシュとを復号して細分割メッシュ及び細分割頂点法線を出力する工程と、
前記第１制御情報と変位量と前記細分割メッシュと前記細分割頂点法線を入力として復号メッシュを生成する工程とを有することを特徴とするメッシュ復号方法。

【請求項17】

コンピュータを、メッシュ復号装置として機能させるプログラムであって、
前記メッシュ復号装置は、
アトラスビットストリームを復号して第１制御情報を生成して出力するように構成されているアトラスデータ復号部と、
基本メッシュビットストリームを復号して第２制御情報及び基本メッシュを生成して出力するように構成されている基本メッシュ復号部と、
前記第１制御情報と前記第２制御情報と前記基本メッシュとを復号して細分割メッシュ及び細分割頂点法線を出力するように構成されている細分割部と、
前記第１制御情報と変位量と前記細分割メッシュと前記細分割頂点法線を入力として復号メッシュを生成するように構成されているメッシュ復号部とを備えることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、メッシュ復号装置、メッシュ復号方法及びプログラムに関する。

【背景技術】

【0002】

非特許文献１では、メッシュを大まかな情報を表す基本メッシュと詳細な情報を表す変位量に分けて復号しており、変位量は映像コーデックによって復号している。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Ｋｈａｌｅｄ Ｍａｍｍｏｕ， Ｊｕｎｇｓｕｎ Ｋｉｍ， Ａｌｅｘｉｓ Ｔｏｕｒａｐｉｓ， Ｄｉｍｉｔｒｉ Ｐｏｄｂｏｒｓｋｉ， Ｋｒａｓｉｍｉｒ Ｋｏｌａｒｏｖ， “［Ｖ－ＣＧ］ Ａｐｐｌｅ’ｓ Ｄｙｎａｍｉｃ Ｍｅｓｈ Ｃｏｄｉｎｇ ＣｆＰ Ｒｅｓｐｏｎｓｅ，” ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ ７ ｍ５９２８１， Ａｐｒｉｌ ２０２２．

【非特許文献2】Ｇｏｏｇｌｅ Ｄｒａｃｏ、２０２２年５月２６日アクセス［Ｏｎｌｉｎｅ］、https://google.github.io/draco

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、非特許文献１では、メッシュの一部に対して、別々に復号する機能や品質を制御する方法が実装されておらず、メッシュ全体に対して同一の処理を行うため、メッシュデータの局所的な特徴に応じた符号化を行うことができないという問題点があった。 そこで、本発明は、上述の課題に鑑みてなされたものであり、効率の良い圧縮を行うことができるメッシュ復号装置、メッシュ復号方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の第１の特徴は、メッシュ復号装置であって、アトラスビットストリームを復号して第１制御情報を生成して出力するように構成されているアトラスデータ復号部と、基本メッシュビットストリームを復号して第２制御情報及び基本メッシュを生成して出力するように構成されている基本メッシュ復号部と、前記第１制御情報と前記第２制御情報と前記基本メッシュとを入力として細分割メッシュ及び細分割頂点法線を出力するように構成されている細分割部と、前記第１制御情報と変位量と前記細分割メッシュと前記細分割頂点法線を入力として復号メッシュを生成するように構成されているメッシュ復号部とを備えることを要旨とする。

【0006】

本発明の第２の特徴は、メッシュ復号方法であって、アトラスビットストリームを復号して第１制御情報を生成して出力する工程と、基本メッシュビットストリームを復号して第２制御情報及び基本メッシュを生成して出力する工程と、前記第１制御情報と前記第２制御情報と前記基本メッシュとを復号して細分割メッシュ及び細分割頂点法線を出力する工程と、前記第１制御情報と変位量と前記細分割メッシュと前記細分割頂点法線を入力として復号メッシュを生成する工程とを有することを要旨とする。

【0007】

本発明の第３の特徴は、コンピュータを、メッシュ復号装置として機能させるプログラムであって、前記メッシュ復号装置は、アトラスビットストリームを復号して第１制御情報を生成して出力するように構成されているアトラスデータ復号部と、基本メッシュビットストリームを復号して第２制御情報及び基本メッシュを生成して出力するように構成されている基本メッシュ復号部と、前記第１制御情報と前記第２制御情報と前記基本メッシュとを復号して細分割メッシュ及び細分割頂点法線を出力するように構成されている細分割部と、前記第１制御情報と変位量と前記細分割メッシュと前記細分割頂点法線を入力として復号メッシュを生成するように構成されているメッシュ復号部とを備えることを要旨とする。

【発明の効果】

【0008】

本発明によれば、効率の良い圧縮を行うことができるメッシュ復号装置、メッシュ復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、一実施形態に係るメッシュ処理システム１の構成の一例を示す図である。

【図2】図２は、一実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。

【図3】図３は、アトラスビットストリームのシンタックス構成の一例を示す図である。

【図4A】図４Ａは、ＰＤＵのシンタックス構成の一例を示す図である。

【図4B】図４Ｂは、ＳＤＵのシンタックス構成の一例を示す図である。

【図4C】図４Ｃは、ｖｄｍｃ_ｌｉｆｔｉｎｇ_ｔｒａｎｓｆｏｒｍ_ｐａｒａｍｅｔｅｒｓのシンタックス構成の一例を示す図である。

【図5A】図５Ａは、基本メッシュの一例を示す図である。

【図5B】図５Ｂは、細分割メッシュの一例を示す図である。

【図6】図６は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の機能ブロックの一例について示す図である。

【図7】図７は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の基本メッシュ細分割部２０３Ａの処理の一例を示すフローチャートである。

【図8】図８は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０５の機能ブロックの一例について示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0011】

＜第１実施形態＞
以下、図１～図８を参照して、本実施形態に係るメッシュ処理システム１について説明する。

【0012】

図１は、本実施形態に係るメッシュ処理システム１の構成の一例を示す図である。図１に示すように、メッシュ処理システム１は、メッシュ符号化装置１００及びメッシュ復号装置２００を備えている。

【0013】

図２は、本実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。

【0014】

図２に示すように、メッシュ復号装置２００は、多重分離部２０１と、基本メッシュ復号部２０２と、細分割部２０３と、メッシュ復号部２０４と、変位量復号部２０５と、映像復号部２０６と、アトラスデータ復号部２０７とを有する。

【0015】

多重分離部２０１は、多重化されたビットストリームを、アトラスビットストリームと基本メッシュビットストリームと変位量ビットストリームとテクスチャビットストリームとに分離するように構成されている。

【0016】

アトラスデータ復号部２０７は、アトラスビットストリームを復号して制御情報（第１制御情報）を出力するように構成されている。

【0017】

基本メッシュ復号部２０２は、基本メッシュビットストリームを復号して制御情報（第２制御情報）及び基本メッシュを生成して出力するように構成されている。

【0018】

細分割部２０３は、アトラスデータ復号部２０７から出力された制御情報と基本メッシュ復号部２０２から出力された制御情報と基本メッシュとを復号して細分割メッシュ及び細分割頂点法線を出力するように構成されている。

【0019】

具滝的には、細分割部２０３は、上述の制御情報によって示された細分割手法により、基本メッシュ復号部２０２によって復号された基本メッシュから、追加された細分割頂点及びそれらの接続情報を生成して出力するように構成されている。

【0020】

ここで、基本メッシュ、追加された細分割頂点、及び、それらの接続情報を、併せて「細分割メッシュ」と呼ぶ。

【0021】

メッシュ復号部２０４は、アトラスデータ復号部２０７から出力された制御情報と変位量と細分割メッシュと細分割頂点法線を入力として復号メッシュを生成するように構成されている。

【0022】

具体的には、メッシュ復号部２０４は、細分割部２０３で生成された細分割メッシュ及び細分割頂点法線及び変位量復号部２０５で復号された変位量を用いて、復号メッシュを生成して出力するように構成されている。

【0023】

変位量復号部２０５は、変位量ビットストリームを復号して変位量を生成して出力するように構成されている。

【0024】

映像復号部２０６は、映像コーデックによってテクスチャを復号して出力するように構成されている。

【0025】

（アトラスデータ復号部２０７）
以下、図３～図４を参照して、アトラスデータ復号部２０７で復号される制御情報について説明する。

【0026】

図３は、アトラスビットストリームのシンタックス構成の一例を示す図である。

【0027】

図３に示すように、第１に、アトラスビットストリームは、サブメッシュのヘッダ情報の集合である、ＳＤＨ（Ｓｕｂｍｅｓｈ ｄａｔａ ｈｅａｄｅｒ：サブメッシュヘッダ）を含んでもよい。

【0028】

第２に、アトラスビットストリームは、サブメッシュに関する制御情報のデータを表すＳＤＵ（Ｓｕｂｍｅｓｈ ｄａｔａ ｕｎｉｔ：サブメッシュデータユニット）を含んでもよい。

【0029】

第３に、アトラスビットストリームは、パッチのヘッダ情報の集合であるＰＤＨ（Ｐａｔｃｈ ｄａｔａ ｈｅａｄｅｒ：パッチデータヘッダ）を含んでもよい。

【0030】

第４に、アトラスビットストリームは、パッチに関する制御情報のデータを表すＰＤＵ（Ｐａｔｃｈ ｄａｔａ ｕｎｉｔ：パッチデータユニット）を含んでもよい。

【0031】

ここで、サブメッシュは、単一で符号化/復号することが可能なメッシュの単位である。サブメッシュごとに基本メッシュ及び変位量が独立に定義されている。また、パッチは、サブメッシュに含まれる１領域として定義される。

【0032】

以下、図４Ｂを参照して、ＳＤＵのシンタックス構成の一例について説明する。図４Ｂは、ＳＤＵのシンタックス構成の一例を示す図である。ここで、シンタックスの機能が同様であれば、図４Ｂに示すシンタックス名と異なるシンタックス名を用いてもよい。

【0033】

図４Ｂに示すＳＤＵのシンタックス構成において、Ｄｅｓｃｒｉｐｔｉｏｎ欄は、各シンタックスが、どのように符号化されているかを意味している。また、ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（ｎ）は、ｎビットのフラグであることを意味する。

【0034】

ＳＤＵは、ｓｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｅｎａｂｌｅ_ｆｌａｇ、ｓｄｕ_ｄｉｓｐｌａｃｅｍｅｎｔ_ｃｏｏｒｄｉｎａｔｅ_ｓｙｓｔｅｍ_ｅｎａｂｌｅ_ｆｌａｇ、ｓｄｕ_ｔｒａｎｓｆｏｒｍ_ｍｅｔｈｏｄ_ｅｎａｂｌｅ_ｆｌａｇ、ｓｄｕ_ｔｒａｎｓｆｏｒｍ_ｐａｒａｍｅｔｅｒｓ__ｅｎａｂｌｅ_ｆｌａｇ、ｓｄｕ_ａｔｔｒｉｂｕｔｅ_ｐａｒａｍｅｔｅｒ_ｏｖｅｒｗｒｉｔｅ_ｆｌａｇについて、サブメッシュごとに定義するかどうかを表す制御信号ｓｄｕ_ｐａｒａｍｅｔｅｒｓ_ｅｎａｂｌｅ_ｆｌａｇを含む。

【0035】

ｓｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｅｎａｂｌｅ_ｆｌａｇは、サブメッシュごとに細分割を行うかどうかを表す制御信号である。

【0036】

ｓｄｕ_ｄｉｓｐｌａｃｅｍｅｎｔ_ｃｏｏｒｄｉｎａｔｅ_ｓｙｓｔｅｍ_ｅｎａｂｌｅ_ｆｌａｇは、サブメッシュごとに変位量を定義する座標系を設定するかどうかを表す制御信号である。例えば、ｓｄｕ_ｄｉｓｐｌａｃｅｍｅｎｔ_ｃｏｏｒｄｉｎａｔｅ_ｓｙｓｔｅｍ_ｅｎａｂｌｅ_ｆｌａｇの値が「１」のとき、サブメッシュごとに変位量の座標系を定義するように構成されていてもよいし、ｓｄｕ_ｄｉｓｐｌａｃｅｍｅｎｔ_ｃｏｏｒｄｉｎａｔｅ_ｓｙｓｔｅｍ_ｅｎａｂｌｅ_ｆｌａｇの値が「０」のとき、デフォルトの座標系で変位量を定義するように構成されていてもよい。デフォルトの座標系は、直交座標系等の既知の座標系を使用してもよい。

【0037】

ｓｄｕ_ｔｒａｎｓｆｏｒｍ_ｍｅｔｈｏｄ_ｅｎａｂｌｅ_ｆｌａｇは、サブメッシュごとに変位量の符号化手法を設定するかどうかを表す制御信号である。例えば、ｓｄｕ_ｔｒａｎｓｆｏｒｍ_ｍｅｔｈｏｄ_ｅｎａｂｌｅ_ｆｌａｇの値が「１」のとき、サブメッシュごとに変位量の符号化手法を定義してもよいし、ｓｄｕ_ｔｒａｎｓｆｏｒｍ_ｍｅｔｈｏｄ_ｅｎａｂｌｅ_ｆｌａｇの値が「０」のとき、デフォルトの変位量の符号化手法を使用するように構成されていてもよい。デフォルトの変位量の符号化手法は、リニアウェーブレット変換等の既知の変位量の符号化手法を使用してもよい。

【0038】

ｓｄｕ_ｔｒａｎｓｆｏｒｍ_ｐａｒａｍｅｔｅｒｓ__ｅｎａｂｌｅ_ｆｌａｇは、サブメッシュごとに変位量の符号化パラメータを定義するかどうかを表す制御信号である。例えば、ｓｄｕ_ｔｒａｎｓｆｏｒｍ_ｐａｒａｍｅｔｅｒｓ__ｅｎａｂｌｅ_ｆｌａｇの値が「１」のとき、サブメッシュごとに変位量の符号化パラメータに関する制御信号を定義してもよいし、ｓｄｕ_ｔｒａｎｓｆｏｒｍ_ｐａｒａｍｅｔｅｒｓ__ｅｎａｂｌｅ_ｆｌａｇの値が「０」のとき、変位量のデフォルトの符号化パラメータを使用するように構成されていてもよい。

【0039】

ＳＤＵは、ｓｄｕ_ａｔｔｒｉｂｕｔｅ_ｔｒａｎｓｆｏｒｍ_ｍｅｔｈｏｄ_ｅｎａｂｌｅ_ｆｌａｇ、ｓｄｕ_ａｔｔｒｉｂｕｔｅ_ｔｒａｎｓｆｏｒｍ_ｐａｒａｍｅｔｅｒｓ_ｅｎａｂｌｅ_ｆｌａｇ、ｓｄｕ_ａｔｔｒｉｂｕｔｅ_ｔｒａｎｓｆｏｒｍ_ｍｅｔｈｏｄについて、サブメッシュごとに定義するかどうかを表す制御信号ｓｄｕ__ａｔｔｒｉｂｕｔｅ_ｐａｒａｍｅｔｅｒ_ｏｖｅｒｗｒｉｔｅ__ｆｌａｇを含む。

【0040】

ＳＤＵは、サブメッシュごとに細分割手法を表す制御信号であるｓｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄを含む。例えば、ｓｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄの値が「１」のとき、サブメッシュごとにＭｉｄ-ｅｄｇｅ分割法で分割するように定義してもよいし、ｓｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄの値が「０」のとき、その他の既知の細分割手法を定義するように構成されていてもよい。

【0041】

ＳＤＵは、サブメッシュごとに細分割の回数を表す制御信号であるｓｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｉｔｅｒａｔｉｏｎ_ｃｏｕｎｔを含む。

【0042】

ＳＤＵは、サブメッシュごとに変位量の符号化手法を表す制御信号であるｓｄｕ_ｔｒａｎｓｆｏｒｍ_ｍｅｔｈｏｄを含む。例えば、ｓｄｕ_ｔｒａｎｓｆｏｒｍ_ｍｅｔｈｏｄの値が「１」のとき、サブメッシュごとにリニアウェーブレット変換を用いて変位量を符号化するように構成されていてもよいし、ｓｄｕ_ｔｒａｎｓｆｏｒｍ_ｍｅｔｈｏｄの値が「０」のとき、その他の既知の変位量符号化手法を定義するように構成されていてもよい。

【0043】

ＳＤＵは、サブメッシュごとに属性情報における符号化手法を設定するかどうかを表す制御信号であるｓｄｕ_ａｔｔｒｉｂｕｔｅ_ｔｒａｎｓｆｏｒｍ_ｍｅｔｈｏｄ_ｅｎａｂｌｅ_ｆｌａｇを含む。例えば、ｓｄｕ_ａｔｔｒｉｂｕｔｅ_ｔｒａｎｓｆｏｒｍ_ｍｅｔｈｏｄ_ｅｎａｂｌｅ_ｆｌａｇの値が「１」のとき、サブメッシュごとに属性情報の変位量をリニアウェーブレット変換で定義するように構成されていてもよいし、ｓｄｕ_ａｔｔｒｉｂｕｔｅ_ｔｒａｎｓｆｏｒｍ_ｍｅｔｈｏｄ_ｅｎａｂｌｅ_ｆｌａｇの値が「０」のとき、デフォルトの符号化手法を使用するように構成されていてもよい。

【0044】

ＳＤＵは、サブメッシュごとに属性情報における変位量の符号化手法に関する制御信号を設定するかどうかを表す制御信号であるｓｄｕ_ａｔｔｒｉｂｕｔｅ_ｔｒａｎｓｆｏｒｍ_ｐａｒａｍｅｔｅｒｓ_ｅｎａｂｌｅ_ｆｌａｇを含む。例えば、ｓｄｕ_ａｔｔｒｉｂｕｔｅ_ｔｒａｎｓｆｏｒｍ_ｐａｒａｍｅｔｅｒｓ_ｅｎａｂｌｅ_ｆｌａｇの値が「１」のとき、サブメッシュごとに属性情報における変位量の符号化に関する制御信号を定義してもよいし、ｓｄｕ_ａｔｔｒｉｂｕｔｅ_ｔｒａｎｓｆｏｒｍ_ｐａｒａｍｅｔｅｒｓ_ｅｎａｂｌｅ_ｆｌａｇの値が「０」のとき、デフォルトの変位量の符号化に関する制御信号を定義するように構成されていてもよい。

【0045】

ＳＤＵは、サブメッシュごとに属性情報における変位量の符号化手法を表す制御信号であるｓｄｕ_ａｔｔｒｉｂｕｔｅ_ｔｒａｎｓｆｏｒｍ_ｍｅｔｈｏｄを含む。例えば、ｓｄｕ_ａｔｔｒｉｂｕｔｅ_ｔｒａｎｓｆｏｒｍ_ｍｅｔｈｏｄの値が「１」のとき、サブメッシュごとにリニアウェーブレット変換を用いて変位量を符号化するように構成されていてもよいし、ｓｄｕ_ａｔｔｒｉｂｕｔｅ_ｔｒａｎｓｆｏｒｍ_ｍｅｔｈｏｄの値が「０」のとき、その他の既知の符号化手法を定義するように構成されていてもよい。

【0046】

ＳＤＵは、サブメッシュごとに一次元変位量符号化を行うかどうかを表す制御信号であるｖｄｍｃ_ｅｘｔ_ｌｄ_ｄｉｓｐｌａｃｅｍｅｎｔ_ｆｌａｇを含む。例えば、ｖｄｍｃ_ｅｘｔ_ｌｄ_ｄｉｓｐｌａｃｅｍｅｎｔ_ｆｌａｇの値が「１」のとき、一次元変位量符号化を行うように構成されていてもよい。

【0047】

ＳＤＵは、サブメッシュごとに細分割レベル０の頂点における変位量の量子化値を表す制御信号であるｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｉｆｔｉｎｇ_ｑｕａｎｔｉｚａｔｉｏｎ_ｐａｒａｍｅｔｅｒｓを含む。

【0048】

ＳＤＵは、サブメッシュごとに細分割レベル間の変位量の量子化スケール値を表す制御信号であるｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｏｇ２_ｌｉｆｔｉｎｇ_ｌｏｄ_ｉｎｖｅｒｓｅ_ｓｃａｌｅを含む。

【0049】

このとき、ｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｉｆｔｉｎｇ_ｑｕａｎｔｉｚａｔｉｏｎ_ｐａｒａｍｅｔｅｒｓ及びｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｏｇ２_ｌｉｆｔｉｎｇ_ｌｏｄ_ｉｎｖｅｒｓｅ_ｓｃａｌｅは、一次元変位量符号化を行うかどうかを表す制御信号に基づき、パラメータの次元数を変更してもよい。例えば、一次元変位量符号化によって変位量を符号化する場合は、上述のパラメータの次元数を１に、そうでない場合は、上述のパラメータの次元数を３にしてもよい。

【0050】

ＳＤＵは、サブメッシュごとに細分割レベルごとの量子化値を表す制御信号であるｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｏｄ_ｑｕａｎｔｉｚａｔｉｏｎを含む。

【0051】

このとき、ｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｏｄ_ｑｕａｎｔｉｚａｔｉｏｎは、一次元変位量符号化を行うかどうかを表す制御信号に基づきパラメータの次元数を変更してもよい。例えば、一次元変位量符号化によって変位量を符号化するとき、ｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｏｄ_ｑｕａｎｔｉｚａｔｉｏｎのパラメータの次元数を１に、そうでない場合は、ｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｏｄ_ｑｕａｎｔｉｚａｔｉｏｎの次元数を３にしてもよい。

【0052】

図４Ａを参照して、アトラスデータ復号部２０７で復号されるパッチに関する制御情報について説明する。図４Ａは、アトラスビットストリームのパッチ関連のシンタックスであるＰＤＵの構成の一例を示す図である。

【0053】

ＰＤＵは、パッチごとに細分割レベル０の頂点における変位量の量子化値を表す制御信号であるｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｉｆｔｉｎｇ_ｑｕａｎｔｉｚａｔｉｏｎ_ｐａｒａｍｅｔｅｒｓを含む。

【0054】

ＰＤＵは、パッチごとに細分割レベル間の変位量の量子化スケール値を表す制御信号であるｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｏｇ２_ｌｉｆｔｉｎｇ_ｌｏｄ_ｉｎｖｅｒｓｅ_ｓｃａｌｅを含む。

【0055】

このとき、ｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｉｆｔｉｎｇ_ｑｕａｎｔｉｚａｔｉｏｎ_ｐａｒａｍｅｔｅｒｓ及びｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｏｇ２_ｌｉｆｔｉｎｇ_ｌｏｄ_ｉｎｖｅｒｓｅ_ｓｃａｌｅは、一次元変位量符号化を行うかどうかを表す制御信号に基づき、パラメータの次元数を変更してもよい。例えば、一次元変位量符号化によって変位量を符号化する場合は、上述のパラメータの次元数を１に、そうでない場合は、上述のパラメータの次元数を３にしてもよい。

【0056】

ＰＤＵは、サブメッシュごとに細分割レベルごとの量子化値を表す制御信号ｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｏｄ_ｑｕａｎｔｉｚａｔｉｏｎを含む。

【0057】

ｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｏｄ_ｑｕａｎｔｉｚａｔｉｏｎは、一次元変位量符号化を行うかどうかを表す制御信号に基づきパラメータの次元数を変更してもよい。例えば、一次元変位量符号化によって変位量を符号化するとき、ｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｏｄ_ｑｕａｎｔｉｚａｔｉｏｎのパラメータの次元数を１に、そうでない場合は、ｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｏｄ_ｑｕａｎｔｉｚａｔｉｏｎの次元数を３にしてもよい。

【0058】

ｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｏｄ_ｑｕａｎｔｉｚａｔｉｏｎは、現在のレベルより小さい細分割レベルに基づき、差分や乗算によって算出されるように構成されていてもよい。

【0059】

（基本メッシュ復号部２０２）
上述のように、基本メッシュ復号部２０２は、基本メッシュビットストリームを復号して、基本メッシュを生成して出力するように構成されている。

【0060】

ここで、基本メッシュは、３次元空間における複数の頂点と、かかる複数の頂点を接続する辺とで構成される。このとき、基本メッシュは、１つでもよいし、複数でもよい。

【0061】

なお、図５Ａに示すように、基本メッシュは、３つの頂点で表現される基本面を組み合わせて構成される。

【0062】

基本メッシュ復号部２０２は、例えば、非特許文献２に示すＤｒａｃｏを用いて、基本メッシュビットストリームを復号するように構成されていてもよい。

【0063】

基本メッシュが、複数である場合は、基本メッシュ復号部２０２は、Ｄｒａｃｏを用いて、複数の基本メッシュを独立に復号するように構成されていてもよい。

【0064】

（細分割部２０３）
図５～図７を参照して、細分割部２０３における細分割メッシュの復号方法について説明する。

【0065】

細分割部２０３は、基本メッシュに基づき、細分割メッシュ及び細分割頂点法線を計算して出力するように構成されている。

【0066】

図６は、細分割部２０３の機能ブロックの一例を示す図である。

【0067】

図６に示すように、細分割部２０３は、基本メッシュ細分割部２０３Ａと、細分割頂点法線計算部２０３Ｂとを有する。

【0068】

（基本メッシュ細分割部２０３Ａ）
基本メッシュ細分割部２０３Ａは、基本メッシュ復号部２０２から入力された制御情報と基本メッシュとに基づき、基本メッシュを細分割して、細分割メッシュを出力するように構成されている。

【0069】

基本メッシュが、複数である場合、基本メッシュ細分割部２０３Ａは、それぞれの基本メッシュに対して独立に細分割するように構成されていてもよい。

【0070】

図７は、基本メッシュ細分割部２０３Ａの処理の一例を示すフローチャートである。以下、図７を用いて、基本メッシュ細分割部２０３Ａの処理の一例について説明する。

【0071】

図７に示すように、ステップＳ２０３Ａ-１において、基本メッシュ細分割部２０３Ａは、変数ｉに対して、ｉ＝０として、ステップＳ２０３Ａ-２に進む。

【0072】

ステップＳ２０３Ａ-２において、基本メッシュ細分割部２０３Ａは、変数ｉが不等式ｉ≦ｂｓｍｉ_ｎｕｍ_ｓｕｂｍｅｓｈｅｓ_ｍｉｎｕｓ１を満たすかどうかについて判定する。Ｙｅｓのとき、本処理は、ステップＳ２０３Ａ-３に進み、Ｎｏのとき、本処理は終了する。ここで、ｂｓｍｉ_ｎｕｍ_ｓｕｂｍｅｓｈｅｓ_ｍｉｎｕｓ１は、メッシュを構成するサブメッシュから１を差し引いた数である。

【0073】

ステップＳ２０３Ａ-３において、基本メッシュ細分割部２０３Ａは、変数ｉに対して１を加算する。

【0074】

ステップＳ２０３Ａ-４において、基本メッシュ細分割部２０３Ａは、細分割を行うかどうかを表す制御信号であるｓｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｅｎａｂｌｅ_ｆｌａｇがｓｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｅｎａｂｌｅ_ｆｌａｇ＝１を満たすかどうかを判定する。Ｙｅｓのとき、本処理は、ステップＳ２０３Ａ-５に進み、Ｎｏのとき、本処理は、ステップＳ２０３Ａ-２に進む。

【0075】

ステップＳ２０３Ａ-５において、基本メッシュ細分割部２０３Ａは、未処理サブメッシュを選択する。ここで、未処理サブメッシュは、細分割処理を行っていないメッシュである。

【0076】

ステップＳ２０３Ａ-６において、基本メッシュ細分割部２０３Ａは、変数ｊに対して、ｊ＝０としてステップＳ２０３Ａ-７に進む。

【0077】

ステップＳ２０３Ａ-７において、基本メッシュ細分割部２０３Ａは、変数ｊ及び細分割回数ｓｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｉｔｅｒａｔｉｏｎ_ｃｏｕｎｔに対して、ｊ＜ｓｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｉｔｅｒａｔｉｏｎ_ｃｏｕｎｔを満たすかどうかを判定する。Ｙｅｓのとき、本処理は、ステップＳ２０３Ａ-２に進み、ＮｏのときステップＳ２０３Ａ-８に進む。

【0078】

ステップＳ２０３Ａ-８において、基本メッシュ細分割部２０３Ａは、変数ｊに対して１を加算し、ステップＳ２０３Ａ-９に進む。

【0079】

ステップＳ２０３Ａ-９において、基本メッシュ細分割部２０３Ａは、サブメッシュ内の全ての面に対して面の細分割が完了したかを判定する。Ｙｅｓのとき、本処理は、ステップＳ２０３Ａ-７に進み、Ｎｏのとき、本処理は、ステップＳ２０３Ａ-１０に進む。

【0080】

ステップＳ２０３Ａ-１０において、基本メッシュ細分割部２０３Ａは、未細分割面を選択し、面を細分割する。その後、本処理は、ステップＳ２０３Ａ-９に進む。

【0081】

このとき、基本メッシュ細分割部２０３Ａは、Ｍｉｄ-ｅｄｇｅ分割法を用いて細分割してもよいし、その他の既知の細分割方法を用いて面を細分割してもよい。

【0082】

ここで、基本メッシュ細分割部２０３Ａは、ｓｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄの値に基づき、サブメッシュに対する細分割方法を決定してもよい。

【0083】

図５Ｂは、Ｍｉｄ-ｅｄｇｅ分割法による細分割の一例である。Ｍｉｄ-ｅｄｇｅ分割法では、メッシュ構成する辺の中点を分割することで、細分割メッシュを生成する。

【0084】

（細分割頂点法線部計算部２０３Ｂ）
細分割頂点法線計算部２０３Ｂは、入力された細分割メッシュを構成する細分割頂点に対して、細分割頂点ごとに定義される法線（細分割頂点法線）を出力するように構成されている。

【0085】

入力される細分割メッシュは、複数でもよく、かかる場合、細分割頂点法線計算部２０３Ｂは、複数の細分割メッシュに対して独立にそれぞれの細分割頂点法線を計算して、出力するように構成されていてもよい。

【0086】

サブメッシュごとに、細分割を行うかどうかを表す制御信号であるｓｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｅｎａｂｌｅ_ｆｌａｇの値が「０」のとき、細分割頂点法線計算部２０３Ｂは、該当のサブメッシュに対して、細分割頂点法線を計算しないように構成されていてもよい。

【0087】

（変位量復号部２０５）
図８に示すように、変位量復号部２０５は、算術復号部２０５Ａと、逆量子化部２０５Ｂと、逆係数変換部２０５Ｃとを備えている。

【0088】

ここで、変位量は、サブメッシュごとに独立に計算するように定義されていてもよい。

【0089】

（算術復号部２０５Ａ）
算術復号部２０５Ａは、入力された変位量ビットストリームを既存の算術符号化技術を用いて復号して、量子化変位量係数を出力するように構成されている。

【0090】

サブメッシュが、複数存在するとき、算術復号部２０５Ａは、変位量をサブメッシュごとに独立に変位量を復号するように構成されていてもよい。

【0091】

また、変位量ビットストリームは、既存のビデオコーデックを用いて復号されるように構成されていてもよい。

【0092】

（逆量子化部２０５Ｂ）
逆量子化部２０５Ｂは、入力された量子化変位量係数を復号して、変位量係数を出力するように構成されている。

【0093】

変位量符号化手法が、一次元変位量符号化であるとき、逆量子化部２０５Ｂは、法線方向に直交する二つの変位量成分に対して逆量子化処理をスキップし、変位量法線方向成分のみに対して逆量子化処理を行ってもよい。

【0094】

サブメッシュに対してＬｏＤごとに変位量の量子化値が設定されるとき、逆量子化部２０５Ｂは、サブメッシュごとに定義されている変位量量子化値であるｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｏｄ_ｑｕａｎｔｉｚａｔｉｏｎに設定されている各ＬｏＤの変位量の量子化値に基づき、変位量を逆量子化してもよい。

【0095】

また、逆量子化部２０５Ｂは、ｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｉｆｔｉｎｇ_ｑｕａｎｔｉｚａｔｉｏｎ_ｐａｒａｍｅｔｅｒｓに設定されている量子化値に基づき、ＬｏＤ_０の変位量を逆量子化してもよい。

【0096】

また、逆量子化部２０５Ｂは、ＬｏＤ_ｉのサブメッシュごとに定義されている変位量をｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｏｇ２_ｌｉｆｔｉｎｇ_ｌｏｄ_ｉｎｖｅｒｓｅ_ｓｃａｌｅ及びｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｉｆｔｉｎｇ_ｑｕａｎｔｉｚａｔｉｏｎ_ｐａｒａｍｅｔｅｒｓの乗算によって量子化値を算出して、算出した量子化値によって、ＬｏＤ_ｉの変位量を逆量子化してもよい。

【0097】

パッチに対してＬｏＤごとに変位量の量子化値を設定するとき、パッチごとに定義されているｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｏｄ_ｑｕａｎｔｉｚａｔｉｏｎに設定されている各ＬｏＤの変位量の量子化値に基づき、各ＬｏＤの変位量を逆量子化してもよい。

【0098】

また、逆量子化部２０５Ｂは、ｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｉｆｔｉｎｇ_ｑｕａｎｔｉｚａｔｉｏｎ_ｐａｒａｍｅｔｅｒｓに設定されている量子化値に基づき、ＬｏＤ_０の変位量を逆量子化してもよい。

【0099】

また、パッチごとに定義されているｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｏｇ２_ｌｉｆｔｉｎｇ_ｌｏｄ_ｉｎｖｅｒｓｅ_ｓｃａｌｅ及びｖｄｍｃ_ｔｒａｎｓｆｏｒｍ_ｌｉｆｔｉｎｇ_ｑｕａｎｔｉｚａｔｉｏｎ_ｐａｒａｍｅｔｅｒｓの乗算によって量子化値を算出して、算出した量子化値によって、ＬｏＤ_ｉの変位量を逆量子化してもよい。

【0100】

このとき、逆量子化部２０５Ｂは、参考文献（Ｊｉｎｈｕａ Ｙｕ， “Ａｄｖａｎｔａｇｅｓ ｏｆ ｕｎｉｆｏｒｍ ｓｃａｌａｒ ｄｅａｄ－ｚｏｎｅ ｑｕａｎｔｉｚａｔｉｏｎ ｉｎ ｉｍａｇｅ ｃｏｄｉｎｇ ｓｙｓｔｅｍ，” ｉｎ ２００４ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ， Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ （ＩＥＥＥ Ｃａｔ． Ｎｏ． ０４ＥＸ９１４）． ＩＥＥＥ， ２００４， ｖｏｌ． ２， ｐｐ． ８０５-８０８．）の均一量子化を用いて逆量子化を行ってもよいし、その他の既存の逆量子化手法を用いて逆量子化を行ってもよい。

【0101】

（逆係数変換部２０５Ｃ）
逆係数変換部２０５Ｃは、逆量子化部２０５Ｂで出力された変位量係数に対して逆係数変換を行い、復号変位量を出力するように構成されている。

【0102】

このとき、係数変換方法は、サブメッシュごとに変位量の符号化手法を表す制御信号であるｓｄｕ_ｔｒａｎｓｆｏｒｍ_ｍｅｔｈｏｄに基づき決定されてもよい。

【0103】

逆係数変換部２０５Ｃは、逆係数変換を行うとき、法線方向に直交する２つの変位量成分に対して逆係数変換処理をスキップし、変位量法線方向成分のみに対して逆係数変換を行ってもよい。

【0104】

（メッシュ復号部２０４）
メッシュ復号部２０４は、入力された制御情報、細分割メッシュ及び変位量に基づき、復号メッシュを出力するように構成されている。

【0105】

メッシュ復号部２０４は、入力された細分割メッシュの頂点に対して変位量を加算して、復号メッシュを復号する。

【0106】

このとき、メッシュ復号部２０４は、サブメッシュに対応する変位量と細分割メッシュとに基づき、サブメッシュごとに複数の復号メッシュを出力してもよい。

【0107】

また、メッシュ復号部２０４は、サブメッシュごとに定義されている変位量の座標系を表す制御信号に基づき、変位量の座標系を設定して、設定した座標系上で変位量を細分割頂点に加算することで、復号メッシュを計算して出力するように構成されていてもよい。

【0108】

（テクスチャ復号部２０６）
テクスチャ復号部２０６は、入力されたテクスチャビットストリームを復号して復号テクスチャを出力するように構成されている。

【0109】

テクスチャ復号部２０６は、サブメッシュに対応するテクスチャビットストリームに対して既知の映像コーデックを用いて独立に復号して複数の復号テクスチャを生成するように構成されていてもよい。

【0110】

テクスチャ復号部２０６は、入力された制御情報に基づいて、復号テクスチャの一部を独立に復号できるように構成されていてもよい。

【0111】

本実施形態によれば、サブメッシュごとにパラメータ制御を行うことで、効率の良い圧縮を行うことができる。

【0112】

また、本実施形態によれば、サブメッシュ又はパッチ単位でＬｏＤごとの量子化を行うことで、効率よく変位量を圧縮できる。

【0113】

上述のメッシュ符号化装置１００及びメッシュ復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【産業上の利用可能性】

【0114】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0115】

１…メッシュ処理システム
１００…メッシュ符号化装置
２００…メッシュ復号装置
２０１…多重分離部
２０２…基本メッシュ復号部
２０３…細分割部
２０３Ａ…基本メッシュ細分割部
２０３Ｂ…細分割頂点法線計算部
２０４…メッシュ復号部
２０５…変位量復号部
２０５Ａ…算術復号部
２０５Ｂ…逆量子化部
２０５Ｃ…逆係数変換部
２０６…映像復号部
２０７…アトラスデータ復号部

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図6】

【図7】

【図8】