特開 2024-152414 メッシュ復号装置、メッシュ復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024152414

(43)【公開日】2024-10-25

(54)【発明の名称】メッシュ復号装置、メッシュ復号方法及びプログラム

(51)【国際特許分類】

   H04N 19/463 20140101AFI20241018BHJP

   H04N 19/503 20140101ALI20241018BHJP

【ＦＩ】

H04N19/463

H04N19/503

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023066597

(22)【出願日】2023-04-14

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和５年度、総務省、「３次元空間データの無線伝送に向けた高能率圧縮技術の研究開発」、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(72)【発明者】

【氏名】岸本 広輝

(72)【発明者】

【氏名】河村 圭

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA01

5C159MC11

5C159ME01

5C159NN32

5C159PP04

5C159RC11

5C159RC40

5C159UA02

5C159UA05

(57)【要約】

【課題】効率的に符号化すること。
【解決手段】本発明に係るメッシュ復号装置２００のアトラスデータ復号部２０７は、アトラスビットストリームを分離してパッチ情報ビットストリームとパッチ制御情報ビットストリームと制御情報ビットストリームとを生成して出力する分離部２０７Ａと、パッチ情報ビットストリームを復号して復号済みのパッチ情報インデックスと差分インデックスとを加算して前記パッチ情報を復号するパッチ情報復号部２０７Ｂと、パッチ制御情報ビットストリームを復号してパッチ制御情報を出力するパッチ制御情報復号部２０７Ｃと、制御情報ビットストリームを復号して前記制御情報を出力する制御情報復号部２０７Ｄとを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

メッシュ復号装置であって、
アトラスビットストリームを復号して、パッチ情報とパッチ制御情報と制御情報とを生成して出力するように構成されているアトラスデータ復号部を備え、
前記アトラスデータ復号部は、
前記アトラスビットストリームを分離してパッチ情報ビットストリームとパッチ制御情報ビットストリームと制御情報ビットストリームとを生成して出力するように構成されている分離部と、
前記パッチ情報ビットストリームを復号して復号済みのパッチ情報インデックスと差分インデックスとを加算して、前記パッチ情報を復号するように構成されているパッチ情報復号部と、
前記パッチ制御情報ビットストリームを復号して前記パッチ制御情報を出力するように構成されているパッチ制御情報復号部と、
前記制御情報ビットストリームを復号して前記制御情報を出力するように構成されている制御情報復号部と、を備えることを特徴とするメッシュ復号装置。

【請求項2】

前記パッチ情報復号部は、
前記パッチ情報ビットストリームを復号して差分パッチ情報を出力するように構成されている可変長復号部と、
前記差分パッチ情報に基づいて、前記パッチ情報を復号して出力するように構成されている差分パッチ情報復号部を備えることを特徴とする請求項１に記載のメッシュ復号装置。

【請求項3】

前記差分パッチ情報復号部は、前記復号済みのパッチ情報インデックスと前記差分インデックスとを加算することで、再帰的に全ての前記パッチ情報を計算して出力することを特徴とする請求項２に記載のメッシュ復号装置。

【請求項4】

前記差分パッチ情報復号部は、開始インデックスと末尾インデックスとによって、前記パッチ情報を表現することを特徴とする請求項２に記載のメッシュ復号装置。

【請求項5】

前記パッチ制御情報復号部は、
前記パッチ制御情報ビットストリームに含まれる前記パッチ制御情報を格納するように構成されているパッチ制御情報バッファ部と、
前記パッチ制御情報バッファ部を参照して前記パッチ制御情報を取得するように構成されているパッチ制御情報参照部と、
前記パッチ制御情報参照部から入力された前記パッチ制御情報に基づいて、復号対象パッチの前記パッチ制御情報を予測して予測制御情報を生成して出力するように構成されているパッチ制御情報予測部と、
前記パッチ制御情報ビットストリームを復号して前記パッチ制御情報残差を出力する可変長復号部と、
前記パッチ制御情報残差と前記パッチ制御情報予測部から取得した前記予測制御情報とを加算することによって、前記パッチ制御情報を計算して出力するように構成されている特徴とする加算部を備えることを特徴とする請求項１に記載のメッシュ復号装置。

【請求項6】

メッシュ復号方法であって、
アトラスビットストリームを復号して、パッチ情報とパッチ制御情報と制御情報とを生成して出力する工程を備え、
前記工程は、
前記アトラスビットストリームを分離してパッチ情報ビットストリームとパッチ制御情報ビットストリームと制御情報ビットストリームとを生成して出力する工程と、
前記パッチ情報ビットストリームを復号して復号済みのパッチ情報インデックスと差分インデックスとを加算して、前記パッチ情報を復号する工程と、
前記パッチ制御情報ビットストリームを復号して前記パッチ制御情報を出力する工程と、
前記制御情報ビットストリームを復号して前記制御情報を出力する工程と、を有することを特徴とするメッシュ復号方法。

【請求項7】

コンピュータを、メッシュ復号装置として機能させるプログラムであって、
前記メッシュ復号装置は、アトラスビットストリームを復号して、パッチ情報とパッチ制御情報と制御情報とを生成して出力するように構成されているアトラスデータ復号部を備え、
前記アトラスデータ復号部は、
前記アトラスビットストリームを分離してパッチ情報ビットストリームとパッチ制御情報ビットストリームと制御情報ビットストリームとを生成して出力するように構成されている分離部と、
前記パッチ情報ビットストリームを復号して復号済みのパッチ情報インデックスと差分インデックスとを加算して、前記パッチ情報を復号するように構成されているパッチ情報復号部と、
前記パッチ制御情報ビットストリームを復号して前記パッチ制御情報を出力するように構成されているパッチ制御情報復号部と、
前記制御情報ビットストリームを復号して前記制御情報を出力するように構成されている制御情報復号部と、を備えることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、メッシュ復号装置、メッシュ復号方法及びプログラムに関する。

【背景技術】

【0002】

非特許文献１では、メッシュを大まかな情報を表す基本メッシュと詳細な情報を表す変位量とに分けて復号しており、かかる変位量は、映像コーデックによって復号されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Khaled Mammou, Jungsun Kim, Alexis Tourapis, Dimitri Podborski, Krasimir Kolarov, “[V-CG] Apple’s Dynamic Mesh Coding CfP Response,” ISO/IEC JTC 1/SC 29/WG 7 m59281, April 2022.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、非特許文献１では、メッシュの一部に対して別々に復号する機能や品質を制御する機能が実装されておらず、メッシュ全体に対して同一の処理を行うため、メッシュデータの局所的な特徴に応じた符号化を行うことができないという問題点があった。

【0005】

そこで、本発明は、上述の課題に鑑みてなされたものであり、効率的に符号化することができるメッシュ復号装置、メッシュ復号方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の特徴は、メッシュ復号装置であって、アトラスビットストリームを復号して、パッチ情報とパッチ制御情報と制御情報とを生成して出力するように構成されているアトラスデータ復号部を備え、前記アトラスデータ復号部は、前記アトラスビットストリームを分離してパッチ情報ビットストリームとパッチ制御情報ビットストリームと制御情報ビットストリームとを生成して出力するように構成されている分離部と、前記パッチ情報ビットストリームを復号して復号済みのパッチ情報インデックスと差分インデックスとを加算して、前記パッチ情報を復号するように構成されているパッチ情報復号部と、前記パッチ制御情報ビットストリームを復号して前記パッチ制御情報を出力するように構成されているパッチ制御情報復号部と、前記制御情報ビットストリームを復号して前記制御情報を出力するように構成されている制御情報復号部と、を備えることを要旨とする。

【0007】

本発明の第２の特徴は、メッシュ復号方法であって、アトラスビットストリームを復号して、パッチ情報とパッチ制御情報と制御情報とを生成して出力する工程を備え、前記工程は、前記アトラスビットストリームを分離してパッチ情報ビットストリームとパッチ制御情報ビットストリームと制御情報ビットストリームとを生成して出力する工程と、前記パッチ情報ビットストリームを復号して復号済みのパッチ情報インデックスと差分インデックスとを加算して、前記パッチ情報を復号する工程と、前記パッチ制御情報ビットストリームを復号して前記パッチ制御情報を出力する工程と、前記制御情報ビットストリームを復号して前記制御情報を出力する工程と、を有することを要旨とする。

【0008】

本発明の第３の特徴は、コンピュータを、メッシュ復号装置として機能させるプログラムであって、前記メッシュ復号装置は、アトラスビットストリームを復号して、パッチ情報とパッチ制御情報と制御情報とを生成して出力するように構成されているアトラスデータ復号部を備え、前記アトラスデータ復号部は、前記アトラスビットストリームを分離してパッチ情報ビットストリームとパッチ制御情報ビットストリームと制御情報ビットストリームとを生成して出力するように構成されている分離部と、前記パッチ情報ビットストリームを復号して復号済みのパッチ情報インデックスと差分インデックスとを加算して、前記パッチ情報を復号するように構成されているパッチ情報復号部と、前記パッチ制御情報ビットストリームを復号して前記パッチ制御情報を出力するように構成されているパッチ制御情報復号部と、前記制御情報ビットストリームを復号して前記制御情報を出力するように構成されている制御情報復号部と、を備えることを要旨とする。

【発明の効果】

【0009】

本発明によれば、効率的に符号化することができるメッシュ復号装置、メッシュ復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、一実施形態に係るメッシュ処理システム１の構成の一例を示す図である。

【図2】図２は、一実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。

【図3】図３は、一実施形態に係るメッシュ復号装置２００のアトラスデータ復号部２０７の機能ブロックの一例を示す図である。

【図4】図４は、一実施形態に係るメッシュ復号装置２００のアトラスデータ復号部２０７のパッチ情報復号部２０７Ｂの機能ブロックの一例を示す図である。

【図5】図５は、一実施形態に係るメッシュ復号装置２００のアトラスデータ復号部２０７のパッチ制御情報復号部２０７Ｃの機能ブロックの一例を示す図である。

【図6】図６は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の機能ブロックの一例を示す図である。

【図7】図７は、細分割頂点法線計算部２０３Ｃの動作の一例について説明するフローチャートである。

【図8A】図８Ａは、細分割頂点法線部計算部２０３Ｃによる細分割頂点法線の計算方法の一例について説明するための図である。

【図8B】図８Ｂは、細分割頂点法線部計算部２０３Ｃによる細分割頂点法線の計算方法の一例について説明するための図である。

【図9】図９は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０５の機能ブロックの一例を示す図である。

【図10】図１０は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０５で用いられる制御信号と変位量符号化方法との対応表の一例を示す図である。

【図11】図１１は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０５の逆量子化部２０５Ｄの動作の一例を示すフローチャートである。

【図12】図１２は、一実施形態に係るメッシュ復号装置２００のメッシュ復号部２０４の動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0012】

＜第１実施形態＞
以下、図１～図１２を参照して、本実施形態に係るメッシュ処理システム１について説明する。

【0013】

図１は、本実施形態に係るメッシュ処理システム１の構成の一例を示す図である。図１に示すように、メッシュ処理システム１は、メッシュ符号化装置１００及びメッシュ復号装置２００を備えている。

【0014】

図２は、本実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。

【0015】

図２に示すように、メッシュ復号装置２００は、多重分離部２０１と、サブメッシュ復号部２０２と、細分割部２０３と、メッシュ復号部２０４と、変位量復号部２０５と、映像復号部２０６と、アトラスデータ復号部２０７とを有する。

【0016】

多重分離部２０１は、多重化されたビットストリームを、アトラスビットストリームとサブメッシュビットストリームと変位量ビットストリームとテクスチャビットストリームとアトラスビットストリームとに分離するように構成されている。

【0017】

サブメッシュ復号部２０２は、サブメッシュビットストリームを復号して基本サブメッシュを生成して出力するように構成されている。

【0018】

細分割部２０３は、パッチ制御情報によって示された細分割手法により、サブメッシュ復号部２０２によって復号された基本サブメッシュから、追加された細分割頂点及びそれらの接続情報を生成して出力するように構成されている。

【0019】

ここで、基本サブメッシュ、追加された細分割頂点、及び、それらの接続情報を、併せて「細分割メッシュ」と呼ぶ。

【0020】

また、サブメッシュは、単体で復号可能なメッシュデータの一部であり、１つのサブメッシュは、いくつかのパッチを含む。パッチは、メタデータであり、サブメッシュの一部の領域を表すパッチ情報及びパッチに関する各種制御情報の集合である。

【0021】

メッシュ復号部２０４は、細分割部２０３で生成された細分割メッシュ及び変位量復号部２０５で復号された変位量を用いて、復号メッシュを生成して出力するように構成されている。

【0022】

変位量復号部２０５は、変位量ビットストリームを復号して変位量を生成して出力するように構成されている。

【0023】

映像復号部２０６は、映像コーデックによってテクスチャを復号して出力するように構成されている。例えば、映像復号部２０６は、参考文献１「Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ - Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｃｏｄｉｎｇ ａｎｄ ｍｅｄｉａ ｄｅｌｉｖｅｒｙ ｉｎ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｅｎｖｉｒｏｎｍｅｎｔｓ - Ｐａｒｔ ２： Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ， ＩＳＯ／ＩＥＣ ２３００８－２：２０１３．」に開示されているＨＥＶＣを用いてもよい。

【0024】

アトラスデータ復号部２０７は、アトラスビットストリームを復号してパッチ情報とパッチ制御情報と制御情報とを出力するように構成されている。

【0025】

（アトラスデータ復号部２０７）
アトラスデータ復号部２０７は、アトラスビットストリームを復号してパッチ情報とパッチ制御情報と制御情報とを出力するように構成されている。

【0026】

図３は、アトラスデータ復号部２０７の機能ブロックの一例を示す図である。

【0027】

図３に示すように、アトラスデータ復号部２０７は、分離部２０７Ａと、パッチ情報復号部２０７Ｂと、パッチ制御情報復号部２０７Ｃと、制御情報復号部２０７Ｄとを有する。

【0028】

分離部２０７Ａは、入力されたアトラスビットストリームを、パッチ情報ビットストリームとパッチ制御情報ビットストリームと制御情報ビットストリームとに分離して、それぞれを出力する。

【0029】

（パッチ情報復号部２０７Ｂ）
パッチ情報復号部２０７Ｂは、入力されたパッチ情報ビットストリームに基づき、パッチ情報を算出して出力するように構成されている。

【0030】

ここで、パッチ情報は、サブメッシュ内に存在する基本面がどのパッチに属するかを表す情報である。

【0031】

図４は、パッチ情報復号部２０７Ｂの機能ブロックの一例を示す図である。

【0032】

図４に示すように、パッチ情報復号部２０７Ｂは、可変長復号部２０７Ｂ１と、差分パッチ情報復号部２０７Ｂ２とを有する。

【0033】

以下、具体的なパッチ情報の復号方法について説明する。

【0034】

可変長復号部２０７Ｂ１は、入力されたパッチ情報ビットストリームから指数ゴロム符号化アルゴリズムを用いて差分パッチ情報を計算して出力するように構成されている。

【0035】

また、可変長復号部２０７Ｂ１は、基本面ごとのパッチ番号を表す一次元のベクトルを出力するように構成されていてもよい。

【0036】

例えば、基本面１，２，３，４，５に対して、基本面１～３がパッチ０に属し、基本面４，５がパッチ１に属する場合、一次元のベクトルは、［０，０，０，１，１］のように表せる。

【0037】

また、可変長復号部２０７Ｂ１は、各パッチに含まれる全ての面のインデックス番号を出力してもよいし、各パッチに含まれる先頭インデックス及び末尾インデックスをそのまま出力するように構成されていてもよい。

【0038】

このとき、可変長復号部２０７Ｂ１は、算術符号化やランレングス符号化等の既存の整数符号化手法を用いて、差分パッチ情報を計算してもよい。

【0039】

差分パッチ情報復号部２０７Ｂ２は、入力された差分パッチ情報に基づき、パッチ情報を算出して出力するように構成されている。

【0040】

なお、差分パッチ情報は、先頭差分インデックスｓ’と、末尾差分インデックスｅ’とによって構成される。

【0041】

ここで、差分パッチ情報は、パッチｉのｊ番目先頭差分インデックスをｓ’［ｉ］［ｊ］とし、末尾差分インデックスを、ｅ’［ｉ］［ｊ］とする。

【0042】

また、パッチ情報は、先頭インデックスｓと末尾インデックスｅとによって構成される。

【0043】

ここで、パッチ情報は、差分パッチ情報と同様に、パッチｉのｊ番目先頭インデックスをｓ［ｉ］［ｊ］とし、末尾インデックスをｅ［ｉ］［ｊ］とする。

【0044】

なお、先頭インデックス及び末尾インデックスは、各パッチに含まれている面の数を表す。

【0045】

例えば、ｓ［０］［０］＝１，ｅ［０］［０］＝４，ｓ［０］［１］＝７，ｅ［０］［１］＝８のとき、面１～４及び面７～８が、パッチ０に含まれてい ることを示す。

【0046】

ｊ＝０のとき、先頭インデックスｓ［ｉ］［ｊ］及び末尾インデックスｅ［ｉ］［ｊ］は、次のように算出される。

【0047】

ｓ［ｉ］［０］＝ｓ’［ｉ］［０］
ｅ［ｉ］［０］＝ｅ’［ｉ］［０］＋ｓ［ｉ］［０］
ｊ＞０のとき、先頭インデックスｓ［ｉ］［ｊ］及び末尾インデックスｅ［ｉ］［ｊ］は、次のように算出される。

【0048】

ｓ［ｉ］［ｊ］＝ｓ’［ｉ］［ｊ］＋ｅ［ｉ］［ｊ－１］＋２
ｅ［ｉ］［ｊ］＝ｅ’［ｉ］［ｊ］＋ｓ［ｉ］［ｊ］
また、可変長復号部２０７Ｂ１で、パッチ情報が既に算出されているとき、差分パッチ情報復号部２０７Ｂ２は、上述の処理を行わず、入力情報をそのままパッチ情報として出力してもよい。

【0049】

（パッチ制御情報復号部２０７Ｃ）
図５は、パッチ制御情報復号部２０７Ｃの機能ブロックの一例を示す図である。

【0050】

図５に示すように、パッチ情報復号部２０７Ｃは、パッチ制御情報バッファ部２０７Ｃ１と、パッチ制御情報参照部２０７Ｃ２と、パッチ制御情報予測部２０７Ｃ３と、可変長復号部２０７Ｃ４と、加算部２０７Ｃ５と、を有する。

【0051】

パッチ情報復号部２０７Ｃは、入力されたパッチ情報と基本サブメッシュとパラメータ制御情報残差とに基づいて、パッチ制御情報を計算して出力するように構成されている。

【0052】

パッチ制御情報は、パッチごとに定義されているパッチ情報以外の制御情報である。例えば、パッチ制御情報は、細分割数や法線方向の算出方法等を含む。

【0053】

パッチ制御情報バッファ部２０７Ｃ１は、パッチごとのパッチ制御情報を格納しており、かかるパッチ制御信号をパッチ制御情報参照部に出力するように構成されている。

【0054】

具体的には、パッチ制御情報バッファ部２０７Ｃ１は、パッチ制御情報ビットストリームに含まれるパッチ制御情報を格納するように構成されている。

【0055】

ここで、パッチ制御情報バッファ部２０７Ｃ１のサイズは「１」であり、パッチ制御情報バッファ部２０７Ｃ１は、パッチ制御情報参照部２０７Ｃ２に対して、直前に蓄積されたパッチ制御情報を出力するように構成されていてもよい。

【0056】

パッチ制御情報参照部２０７Ｃ２は、復号対象パッチに対して隣接するパッチが存在していない場合、或いは、復号対象パッチに対して隣接するパッチが存在しているがパラメータが確定していない場合は、パッチ制御情報予測部２０７Ｃ３に対して、参照不可を出力するように構成されている。

【0057】

ここで、隣接パッチの情報は、基本サブメッシュ及びパッチ情報から算出される。

【0058】

一方、パッチ制御情報参照部２０７Ｃ２は、復号対象パッチに対して隣接するパッチが存在し且つパッチ制御情報が確定している場合は、パッチ制御情報予測部２０７Ｃ３に対して、かかるパッチ制御情報を出力するように構成されている。

【0059】

パッチ制御情報予測部２０７Ｃ３は、入力された１つ以上のパラメータに基づいて復号対象パッチのパッチ制御情報を予測し、加算部２０７Ｃ５に対して、予測したパッチ制御情報（予測制御情報）を出力するように構成されている。

【0060】

ここで、パッチ制御情報予測部２０７Ｃ３は、パッチ制御情報参照部２０７Ｃ２から参照不可のみが入力された場合は、加算部２０７Ｃ５に対して「０」を出力するように構成されている。

【0061】

なお、パッチ制御情報予測部２０７Ｃ３は、１つ以上のパラメータが入力された場合、入力されたパラメータの平均値や最大値や最小値や最頻値等の統計値のいずれかを用いて、予測制御情報を生成するように構成されていてもよい。

【0062】

なお、パッチ制御情報予測部２０７Ｃ３は、１つ以上のパッチ制御情報が入力された場合、隣接するパッチのいずれかのパッチ情報を予測して、予測制御情報として生成するように構成されていてもよい。

【0063】

可変長復号部２０７Ｃ４は、入力されたパッチ制御情報ビットストリームから指数ゴロム符号化アルゴリズムを用いてパッチ制御情報残差を計算して出力するように構成されている。

【0064】

このとき、可変長復号部２０７Ｃ４は、算術符号化等の既存の整数符号化手法を用いてパッチ制御情報残差を計算してもよい。

【0065】

加算部２０７Ｃ５は、可変長復号部２０７Ｃ４から取得したパッチ制御情報残差とパッチ制御情報予測部２０７Ｃ３から取得した予測制御情報とを加算することによって得られたパッチ制御情報を出力するように構成されている。

【0066】

（細分割部２０３）
図６は、細分割部２０３の機能ブロックの一例を示す図である。

【0067】

図６に示すように、細分割部２０３は、基本メッシュ細分割部２０３Ａと、細分割メッシュ調整部２０３Ｂと、細分割頂点法線計算部２０３Ｃとを有する。

【0068】

基本メッシュ細分割部２０３Ａは、入力された基本サブメッシュに基づき、初期細分割メッシュを出力するように構成されている。

【0069】

細分割メッシュ調整部２０３Ｂは、初期細分割メッシュを調整するように構成されている。

【0070】

ここで、調整とは、メッシュ復号部２０４によってメッシュを復号する際に、メッシュに穴が空かないような細分割メッシュを生成する操作である。

【0071】

（細分割頂点法線部計算部２０３Ｃ）
細分割頂点法線計算部２０３Ｃは、入力された細分割面を構成する細分割頂点に対して、細分割頂点ごとに定義される法線（細分割頂点法線）を出力するように構成されている。

【0072】

以下、図７及び図８を用いて細分割頂点法線部計算部２０３Ｃによって行われる処理の一例について説明する。

【0073】

図７は、細分割頂点法線計算部２０３Ｃの動作の一例について説明するフローチャートである。

【0074】

図７に示すように、ステップＳ２０３Ｃ-１において、細分割頂点法線計算部２０３Ｃは、全てのパッチに対して細分割頂点計算処理が完了しているかどうかを判定する。

【0075】

Ｙｅｓの場合、本動作は、終了し、Ｎｏの場合、本動作は、ステップＳ２０３Ｃ-２に進む。

【0076】

ステップＳ２０３Ｃ-２において、細分割頂点法線計算部２０３Ｃは、パッチ内の全ての基本面に対して細分割頂点法線の計算処理が完了しているかを判定する。

【0077】

Ｙｅｓの場合、本動作は、ステップＳ２０３Ｃ-１に進み、Ｎｏの場合、本動作は、ステップＳ２０３Ｃ-３に進む。

【0078】

ステップＳ２０３Ｃ-３において、細分割頂点法線計算部２０３Ｃは、基本面内の全ての細分割頂点に対して細分割頂点法線の計算処理が完了しているかを判定する。

【0079】

Ｙｅｓのとき、本動作は、ステップＳ２０３Ｃ-２に進み、Ｎｏのとき、本動作は、ステップＳ２０３Ｃ-４に進む。

【0080】

ステップＳ２０３Ｃ-４において、細分割頂点法線計算部２０３Ｃは、未処理細分割頂点を選択し、本動作は、ステップＳ２０３Ｃ-５に進む。

【0081】

ステップＳ２０３-５において、細分割頂点法線計算部２０３Ｃは、選択した細分割頂点がパッチ境界の細分割頂点であるかどうかを判定する。

【0082】

Ｙｅｓのとき、本動作は、ステップＳ２０３Ｃ-６に進み、Ｎｏのとき、本動作は、ステップＳ２０３Ｃ-８に進む。

【0083】

ステップＳ２０３Ｃ-６において、細分割頂点法線計算部２０３Ｃは、隣接パッチと細分割頂点算出方法が異なるかどうかを判定する。

【0084】

Ｙｅｓのとき、本動作は、ステップＳ２０３Ｃ-７に進み、Ｎｏのとき、本動作は、ステップＳ２０３Ｃ-８に進む。

【0085】

ステップＳ２０３Ｃ-７において、細分割頂点法線計算部２０３Ｃは、選択した細分割頂点に対して細分割頂点法線を計算し、細分割頂点法線を補正する。

【0086】

以下に、細分割頂点法線の計算方法について説明する。

【0087】

第１に、細分割頂点法線計算部２０３Ｃは、選択した細分割頂点法線に対して、復号対象パッチで指定されている細分割頂点法線の計算方法の種別を指定する制御信号に基づき、細分割頂点法線を計算する。

【0088】

図８Ａ及び図８Ｂは、ステップＳ２０３Ｃ-７において、基本面ＡＢＣ内の細分割頂点Ｘに対して、細分割頂点法線を計算したものである。

【0089】

図８Ａを参照して、細分割頂点法線の計算方法について説明する。

【0090】

細分割頂点法線部計算部２０３Ｃは、以下の（式１）に示すように、基本点法線の合計値に基づいて、基本面ＡＢＣ上の細分割頂点Ｘの法線ｎ（ベクトル）を計算するように構成されていてもよい。

【0091】

【数1】

このとき、ａ，ｂ，ｃ（ベクトル）は、基本点（基本面を構成する頂点）ごとに定義されている法線（基本点法線）である。

【0092】

また、図８Ｂを参照して、細分割頂点法線の計算方法の他の一例について説明する。

【0093】

細分割頂点法線部計算部２０３Ｃは、以下の（式２）に示すように、基本面ＡＢＣに隣接する基本面の法線の合計値に基づいて、基本面ＡＢＣ上の細分割頂点Ｘの法線ｎ（ベクトル）を計算するように構成されていてもよい。

【0094】

【数2】

このとき、ａ，ｂ，ｃ，ｄ，ｅ（ベクトル）は、基本面ＡＢＣに隣接する基本面の面法線（ベクトル）である。

【0095】

また、細分割頂点法線部計算部２０３Ｃは、単純に基本面ＡＢＣの面法線を細分割頂点Ｘの法線（細分割点法線）として使用してもよい。

【0096】

このように計算することで、同一基本面上に存在する細分割点法線は、基本的には同一の法線が使用される。

【0097】

また、細分割頂点法線部計算部２０３Ｃは、基本点法線についても同様に、上述の細分割頂点法線の計算手法を用いて、計算してもよい。

【0098】

このとき、同一基本面上に存在する細分割点法線及び基本点法線としては、基本的には、同一の法線が使用される。

【0099】

第２に、細分割頂点法線部計算部２０３Ｃは、選択した細分割頂点法線に対して、隣接パッチで指定されている細分割頂点法線の計算方法の種別を指定する制御信号に基づいて、細分割頂点法線を計算する。

【0100】

基本点法線及び細分割頂点法線の算出方法は、上述と同様である。

【0101】

以下に、細分割頂点法線の補正方法について説明する。

【0102】

細分割頂点法線部計算部２０３Ｃは、求めた２つの細分割頂点法線のどちらか一方を使用することで、細分割頂点法線について補正する。

【0103】

また、細分割頂点法線部計算部２０３Ｃは、求めた２つの細分割頂点法線の平均値を用いて、細分割頂点法線について補正してもよい。

【0104】

ステップＳ２０３-Ｃ８において、細分割頂点法線部計算部２０３Ｃは、選択した細分割頂点に対して細分割頂点法線を計算し、本動作は、ステップＳ２０３Ｃ-３に進む。

【0105】

細分割頂点の法線の計算方法に関しては、上述の通りである。

【0106】

（変位量復号部２０５）
図９に示すように、変位量復号部２０５は、変位量符号化次元数判定部２０５Ａと、映像復号部２０５Ｂと、変位量再構成部２０５Ｃと、逆量子化部２０５Ｄと、逆ウェーブレット変換部２０５Ｅとを備えている。

【0107】

変位量符号化次元数判定部２０５Ａは、変位量ビットストリームに定義されている制御情報を用いて、変位量の符号化方法（復号方法）を示す変位量符号化手法を決定して出力するように構成されている。

【0108】

ここで、変位量符号化次元数判定部２０５Ａは、ＹＵＶフォーマットを表す制御情報ｃｈｒｏｍａ_ｆｏｒｍａｔ_ｉｄｃ及びＣｈｒｏｍａサンプルを全て同じ値で復号することを表す制御情報ｎｅｕｔｒａｌ_ｃｈｒｏｍａ_ｉｎｄｉｃａｔｉｏｎ_ｆｌａｇの値に基づき、変位量復号化手法を決定して出力するように構成されている。

【0109】

図１０に、かかる制御信号と変位量符号化方法との対応表の一例を示す。

【0110】

映像復号部２０５Ｂは、入力された変位量ビットストリーム及び変位量符号化手法に基づき、変位量ビットストリームを既存の映像コーデック技術を用いて復号して変位量ビデオフレームを出力するように構成されている。

【0111】

変位量再構成部２０５Ｃは、入力された変位量ビデオフレームから変位量を抽出し、出力するように構成されている。

【0112】

ここで、変位量再構成部２０５Ｃは、上述の変位量符号化手法が一次元変位量符号化であるとき、法線方向に直交する成分に対応する変位量ビデオフレームのチャンネルに対する処理を行わず、法線方向に対応するチャンネルのみに対して処理を行うように構成されていてもよい。

【0113】

（逆量子化部２０５Ｄ）
図１１は、逆量子化部２０５Ｄの動作の一例を示すフローチャートである。

【0114】

図１１に示すように、ステップＳ２０３Ｊ-１において、逆量子化部２０５Ｄは、全てのパッチに対して処理が完了したかどうかを判定する。

【0115】

Ｙｅｓのとき、本動作は、処理を終了し、Ｎｏのとき、本動作は、ステップＳ２０３Ｊ-２に進む。

【0116】

ステップＳ２０３Ｊ-２において、逆量子化部２０５Ｄは、パッチ内の全ての細分割レベルの頂点に対して処理が完了したかどうかを判定する。

【0117】

ここで、細分割レベルは、細分割を行った回数を表しており、細分割レベルが０のときは、基本点を表す。

【0118】

Ｙｅｓのとき、本動作は、ステップＳ２０３Ｊ-１に進み、Ｎｏのとき、本動作は、ステップＳ２０３Ｊ-３に進む。

【0119】

ステップＳ２０３Ｊ-３において、逆量子化部２０５Ｄは、現在の細分割レベルの量子化値をパッチ制御情報に基づき決定し、本動作は、ステップＳ２０３Ｊ-４に進む。

【0120】

ステップＳ２０３Ｊ-４において、逆量子化部２０５Ｄは、現在の細分割レベルの全ての変位量に対して逆量子化処理が完了したかどうかを判定する。

【0121】

Ｙｅｓのとき、本動作は、ステップＳ２０３Ｊ-２に進み、Ｎｏのとき、本動作は、ステップＳ２０３Ｊ-５に進む。

【0122】

ステップＳ２０３Ｊ-５において、逆量子化部２０５Ｄは、パッチ境界の頂点であるかを判定する。

【0123】

Ｙｅｓのとき、本動作は、ステップＳ２０３Ｊ-６に進み、Ｎｏのとき、本動作は、ステップＳ２０３Ｊ-８に進む。

【0124】

ステップＳ２０３Ｊ-６において、逆量子化部２０５Ｄは、現在のパッチより隣接パッチの細分割レベル量子化値が小さいかどうかを判定する。

【0125】

Ｙｅｓのとき、本動作は、ステップＳ２０３Ｊ-７に進み、Ｎｏのとき、本動作は、ステップＳ２０３Ｊ-８に進む。

【0126】

ステップ２０３Ｊ-７において、逆量子化部２０５Ｄは、隣接パッチの細分割レベル量子化値で変位量を逆量子化する。

【0127】

逆量子化部２０５Ｄは、上述の変位量符号化手法が一次元変位量符号化であるとき、法線方向に直交する２つの変位量成分に対して逆量子化処理をスキップし、法線方向の変位量成分のみに対して逆量子化処理を行うように構成されていてもよい。

【0128】

このとき、逆量子化部２０５Ｄは、参考文献２「Ｊｉｎｈｕａ Ｙｕ， “Ａｄｖａｎｔａｇｅｓ ｏｆ ｕｎｉｆｏｒｍ ｓｃａｌａｒ ｄｅａｄ－ｚｏｎｅ ｑｕａｎｔｉｚａｔｉｏｎ ｉｎ ｉｍａｇｅ ｃｏｄｉｎｇ ｓｙｓｔｅｍ，” ｉｎ ２００４ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ， Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ （ＩＥＥＥ Ｃａｔ． Ｎｏ． ０４ＥＸ９１４）． ＩＥＥＥ， ２００４， ｖｏｌ． ２， ｐｐ． ８０５-８０８．」の均一量子化を用いて逆量子化を行ってもよいし、その他の既存の逆量子化手法を用いて逆量子化を行ってもよい。

【0129】

ステップ２０３Ｊ-８において、逆量子化部２０５Ｄは、ステップＳ２０３Ｊ-３で計算した細分割レベル量子化値で変位量を逆量子化する。ここで、逆量子化の手法は、ステップＳ２０３Ｊ-７と同様である。

【0130】

また、逆量子化部２０５Ｄは、選択している頂点がサブメッシュ境界であるとき、変位量を０として復号してもよい。

【0131】

逆ウェーブレット変換部２０５Ｅは、逆量子化部２０５Ｄで出力された変位量係数に対して逆ウェーブレット変換を行い、復号変位量を出力するように構成されている。

【0132】

逆ウェーブレット変換部２０５Ｅは、法線方向に直交する２つの変位量成分に対して逆ウェーブレット変換処理をスキップし、法線方向の変位量成分のみに対して逆ウェーブレット変換を行うように構成されていてもよい。

【0133】

また、逆ウェーブレット変換部２０５Ｅは、法線方向成分のみを有する変位量を出力するように構成されていてもよい。

【0134】

（メッシュ復号部２０４）
メッシュ復号部２０４は、入力されたパッチ情報と細分割メッシュと変位量とに基づいて、復号メッシュを出力するように構成されている。

【0135】

図１２は、メッシュ復号部２０４の動作の一例を示すフローチャートである。

【0136】

図１２に示すように、ステップＳ２０４-１において、メッシュ復号部２０４は、全てのサブメッシュに対して処理が完了したかを判定する。

【0137】

Ｙｅｓのとき、本動作は、処理を終了し、Ｎｏのとき、本動作は、ステップＳ２０４-２に進む。

【0138】

ステップＳ２０４-２において、メッシュ復号部２０４は、サブメッシュ内の全ての細分割頂点に対して処理が完了したかを判定する。

【0139】

Ｙｅｓのとき、本動作は、ステップＳ２０４-３に進み、Ｎｏのとき、本動作は、ステップＳ２０４-１に進む。

【0140】

ステップＳ２０４-３において、メッシュ復号部２０４は、サブメッシュ内の頂点を選択し、本動作は、ステップＳ２０４-４に進む。

【0141】

ステップＳ２０４-４において、メッシュ復号部２０４は、サブメッシュ境界の頂点かを判定する。

【0142】

Ｙｅｓのとき、本動作は、ステップＳ２０４-５に進み、Ｎｏのとき、本動作は、ステップＳ２０４-７に進む。

【0143】

ステップＳ２０４-５において、メッシュ復号部２０４は、選択した頂点の変位量と隣接サブメッシュの同一頂点の変位量とが異なるかを判定する。

【0144】

ここで、メッシュ復号部２０４は、かかる頂点間の距離が閾値以下のとき、同一頂点と判定する。

【0145】

また、メッシュ復号部２０４は、パッチ情報、パッチ制御情報、制御情報のいずれかに隣接するサブメッシュ境界の頂点情報が与えられている場合は、サブメッシュ境界の頂点情報に基づき、同一頂点を判定してもよい。

【0146】

Ｙｅｓのとき、本動作は、ステップＳ２０４-６に進み、Ｎｏのとき、本動作は、ステップＳ２０４-７に進む。

【0147】

ステップＳ２０４-６において、メッシュ復号部２０４は、選択した細分割頂点における変位量の補正を行い、補正後の変位量を細分割頂点に加算する。

【0148】

メッシュ復号部２０４は、２つの異なる変位量の平均値を用いて、かかる変位量を補正してもよいし、２つの異なる変位量のうちのいずれかの変位量を用いることで、かかる変位量を補正してもよい。

【0149】

ステップＳ２０４-７において、メッシュ復号部２０４は、細分割頂点に対して変位量を加算し、本動作は、ステップＳ２０４-２に進む。

【0150】

メッシュ復号部２０４は、上記と同様の手順でサブメッシュ間の同一頂点を求め、変位量加算後の同一頂点に対して補正を行ってもよい。 補正方法は、上述の通り、同一頂点座標の平均値として補正してもよいし、そのいずれかを使用して補正してもよい。

【0151】

本実施形態によれば、パッチに含まれる基本面のインデックスを先頭インデックスと末尾インデックスとの差分として符号化することで、効率的に符号化することができる。

【0152】

また、本実施形態によれば、サブメッシュやパッチ境界上の頂点に定義される変位量を補正することで、連続するメッシュデータの復号することを可能とする。

【0153】

さらに、本実施形態によれば、変位量の法線方向成分のみを符号化することで、効率的に変位量を圧縮することができる。

【0154】

上述のメッシュ符号化装置１００及びメッシュ復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【産業上の利用可能性】

【0155】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0156】

１…メッシュ処理システム
１００…メッシュ符号化装置
２００…メッシュ復号装置
２０１…多重分離部
２０２…サブメッシュ復号部
２０３…細分割部
２０３Ａ…基本メッシュ再分割部
２０３Ｂ…細分割メッシュ調整部
２０３Ｃ…細分割頂点法線計算部
２０４…メッシュ復号部
２０５…変位量復号部
２０５Ａ…変位量符号化次元数判定部
２０５Ｂ…映像復号部
２０５Ｃ…変位量再構成部
２０５Ｄ…逆量子化部
２０５Ｅ…逆ウェーブレット変換部
２０６…映像復号部
２０７…アトラスデータ復号部
２０７Ａ…分離部
２０７Ｂ…パッチ情報復号部
２０７Ｂ１…可変長復号部
２０７Ｂ２…差分パッチ情報復号部
２０７Ｃ…バッチ制御情報復号部
２０７Ｃ１…パッチ制御情報バッファ部
２０７Ｃ２…パッチ制御情報参照部
２０７Ｃ３…パッチ制御情報予測部
２０７Ｃ４…可変長復号部
２０７Ｃ５…加算部
２０７Ｄ…制御情報復号部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】