特開 2025-9038 メッシュ復号装置、メッシュ復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025009038

(43)【公開日】2025-01-20

(54)【発明の名称】メッシュ復号装置、メッシュ復号方法及びプログラム

(51)【国際特許分類】

   H04N 19/52 20140101AFI20250109BHJP

【ＦＩ】

H04N19/52

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023111754

(22)【出願日】2023-07-06

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和５年度、総務省、「３次元空間データの無線伝送に向けた高能率圧縮技術の研究開発」、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(72)【発明者】

【氏名】徐 建鋒

(72)【発明者】

【氏名】河村 圭

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA23

5C159MC11

5C159ME11

5C159PP04

5C159TA62

5C159TB10

5C159TC12

5C159TC42

5C159UA02

5C159UA05

(57)【要約】

【課題】メッシュの符号化効率を向上させること。
【解決手段】本発明に係るメッシュ復号装置２００において、モード１では、動きベクトル算出部２０２Ｅ４は、動きベクトル残差と動きベクトル予測値とを加算して復号対象の頂点の動きベクトルを出力し、モード０では、動きベクトル算出部２０２Ｅ４は、動きベクトル残差を復号対象の頂点の動きベクトルとして出力する。
【選択図】図７

【特許請求の範囲】

【請求項1】

メッシュ復号装置であって、
参照フレームの頂点の座標とＰフレームのビットストリームから復号した動きベクトルとを加算することによって、前記Ｐフレームの頂点の座標を復号するインター復号部を備え、
前記インター復号部は、
インターフレームのビットストリームから動きベクトル残差を生成する動きベクトル残差復号部と、
復号対象の頂点及び前記復号対象の頂点と接続している周囲の頂点から復号済みの動きベクトルを予測し、最大の利用数を超えないように前記復号対象の頂点の周りにある頂点の前記復号済みの動きベクトルの全部又は一部を利用して動きベクトル予測値を算出し、最大隣接頂点数を算出できる制御信号をビットストリームから復号する動きベクトル予測部と、
前記復号対象の頂点の動きベクトルを出力する動きベクトル算出部と、を備え、
モード１では、前記動きベクトル算出部は、前記動きベクトル残差と前記動きベクトル予測値とを加算して前記復号対象の頂点の動きベクトルを出力し、
モード０では、前記動きベクトル算出部は、前記動きベクトル残差を前記復号対象の頂点の動きベクトルとして出力することを特徴とするメッシュ復号装置。

【請求項2】

前記動きベクトル予測部は、前記最大隣接頂点数の値を予め定めた最大値以下となるように復号することを特徴とする請求項１に記載のメッシュ復号装置。

【請求項3】

前記最大値は、統計的な隣接頂点数の平均の一定比率或いはＮビットまでカバーできるような自然数より大きくない値とすることを特徴とする請求項２に記載のメッシュ復号装置。

【請求項4】

前記最大値は、８又は３ビットであることを特徴とする請求項２に記載のメッシュ復号装置。

【請求項5】

前記最大隣接頂点数として設定可能な範囲は、明確な値である、或いは、他の制御信号又はデータから算出されることを特徴とする請求項１に記載のメッシュ復号装置。

【請求項6】

メッシュ復号方法であって、
参照フレームの頂点の座標とＰフレームのビットストリームから復号した動きベクトルとを加算することによって、前記Ｐフレームの頂点の座標を復号する工程を有し、
前記工程は、
インターフレームのビットストリームから動きベクトル残差を生成する工程Ａと、
復号対象の頂点及び前記復号対象の頂点と接続している周囲の頂点から復号済みの動きベクトルを予測し、最大の利用数を超えないように前記復号対象の頂点の周りにある頂点の前記復号済みの動きベクトルの全部又は一部を利用して動きベクトル予測値を算出し、最大隣接頂点数を算出できる制御信号をビットストリームから復号する工程Ｂと、
前記復号対象の頂点の動きベクトルを出力する工程Ｃと、を有し、
前記工程Ｃにおいて、
モード１では、前記動きベクトル残差と前記動きベクトル予測値とを加算して前記復号対象の頂点の動きベクトルを出力し、
モード０では、前記動きベクトル残差を前記復号対象の頂点の動きベクトルとして出力することを特徴とするメッシュ復号方法。

【請求項7】

コンピュータを、メッシュ復号装置として機能させるプログラムであって、
前記メッシュ復号装置は、参照フレームの頂点の座標とＰフレームのビットストリームから復号した動きベクトルとを加算することによって、前記Ｐフレームの頂点の座標を復号するインター復号部を備え、
前記インター復号部は、
インターフレームのビットストリームから動きベクトル残差を生成する動きベクトル残差復号部と、
復号対象の頂点及び前記復号対象の頂点と接続している周囲の頂点から復号済みの動きベクトルを予測し、最大の利用数を超えないように前記復号対象の頂点の周りにある頂点の前記復号済みの動きベクトルの全部又は一部を利用して動きベクトル予測値を算出し、最大隣接頂点数を算出できる制御信号をビットストリームから復号する動きベクトル予測部と、
前記復号対象の頂点の動きベクトルを出力する動きベクトル算出部と、を備え、
モード１では、前記動きベクトル算出部は、前記動きベクトル残差と前記動きベクトル予測値とを加算して前記復号対象の頂点の動きベクトルを出力し、
モード０では、前記動きベクトル算出部は、前記動きベクトル残差を前記復号対象の頂点の動きベクトルとして出力することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、メッシュ復号装置、メッシュ復号方法及びプログラムに関する。

【背景技術】

【0002】

非特許文献１には、非特許文献２又は３を用いてメッシュを符号化する技術が開示されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Khaled Mammou, Jungsun Kim, Alexis M Tourapis, Dimitri Podborski, and Krasimir Kolarov, “[V-CG] Apple’s Dynamic Mesh Coding CfP Response,” April 2022, ISO/IEC JTC 1/SC 29/WG 7.

【非特許文献2】Ｇｏｏｇｌｅ Ｄｒａｃｏ、２０２２年５月２６日アクセス［Ｏｎｌｉｎｅ］、https://google.github.io/draco

【非特許文献3】Jean-Eudes Marvie, Olivier Mocquard, “[V-DMC][EE4.4-related] An efficient EdgeBreaker implementation,” April 2023, ISO/IEC JTC 1/SC 29/WG 7 m63344.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、動きベクトルの符号化効率が低いという問題点があった。 そこで、本発明は、上述の課題に鑑みてなされたものであり、メッシュの符号化効率を向上させることができるメッシュ復号装置、メッシュ復号方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の第１の特徴は、メッシュ復号装置であって、参照フレームの頂点の座標とＰフレームのビットストリームから復号した動きベクトルとを加算することによって、前記Ｐフレームの頂点の座標を復号するインター復号部を備え、前記インター復号部は、インターフレームのビットストリームから動きベクトル残差を生成する動きベクトル残差復号部と、復号対象の頂点及び前記復号対象の頂点と接続している周囲の頂点から復号済みの動きベクトルを予測し、最大の利用数を超えないように前記復号対象の頂点の周りにある頂点の前記復号済みの動きベクトルの全部又は一部を利用して動きベクトル予測値を算出し、最大隣接頂点数を算出できる制御信号をビットストリームから復号する動きベクトル予測部と、前記復号対象の頂点の動きベクトルを出力する動きベクトル算出部と、を備え、モード１では、前記動きベクトル算出部は、前記動きベクトル残差と前記動きベクトル予測値とを加算して前記復号対象の頂点の動きベクトルを出力し、モード０では、前記動きベクトル算出部は、前記動きベクトル残差を前記復号対象の頂点の動きベクトルとして出力することを要旨とする。

【0006】

本発明の第２の特徴は、メッシュ復号方法であって、参照フレームの頂点の座標とＰフレームのビットストリームから復号した動きベクトルとを加算することによって、前記Ｐフレームの頂点の座標を復号する工程を有し、前記工程は、インターフレームのビットストリームから動きベクトル残差を生成する工程Ａと、復号対象の頂点及び前記復号対象の頂点と接続している周囲の頂点から復号済みの動きベクトルを予測し、最大の利用数を超えないように前記復号対象の頂点の周りにある頂点の前記復号済みの動きベクトルの全部又は一部を利用して動きベクトル予測値を算出し、最大隣接頂点数を算出できる制御信号をビットストリームから復号する工程Ｂと、前記復号対象の頂点の動きベクトルを出力する工程Ｃと、を有し、前記工程Ｃにおいて、モード１では、前記動きベクトル残差と前記動きベクトル予測値とを加算して前記復号対象の頂点の動きベクトルを出力し、モード０では、前記動きベクトル残差を前記復号対象の頂点の動きベクトルとして出力することを要旨とする。

【0007】

本発明の第３の特徴は、コンピュータを、メッシュ復号装置として機能させるプログラムであって、前記メッシュ復号装置は、参照フレームの頂点の座標とＰフレームのビットストリームから復号した動きベクトルとを加算することによって、前記Ｐフレームの頂点の座標を復号するインター復号部を備え、前記インター復号部は、インターフレームのビットストリームから動きベクトル残差を生成する動きベクトル残差復号部と、復号対象の頂点及び前記復号対象の頂点と接続している周囲の頂点から復号済みの動きベクトルを予測し、最大の利用数を超えないように前記復号対象の頂点の周りにある頂点の前記復号済みの動きベクトルの全部又は一部を利用して動きベクトル予測値を算出し、最大隣接頂点数を算出できる制御信号をビットストリームから復号する動きベクトル予測部と、前記復号対象の頂点の動きベクトルを出力する動きベクトル算出部と、を備え、モード１では、前記動きベクトル算出部は、前記動きベクトル残差と前記動きベクトル予測値とを加算して前記復号対象の頂点の動きベクトルを出力し、モード０では、前記動きベクトル算出部は、前記動きベクトル残差を前記復号対象の頂点の動きベクトルとして出力することを要旨とする。

【発明の効果】

【0008】

本発明によれば、メッシュの符号化効率を向上させることができるメッシュ復号装置、メッシュ復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、一実施形態に係るメッシュ処理システム１の構成の一例を示す図である。

【図2】図２は、一実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。

【図3A】図３Ａは、基本メッシュ及び細分割メッシュの一例を示す図である。

【図3B】図３Ｂは、基本メッシュ及び細分割メッシュの一例を示す図である。

【図4】図４は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２の機能ブロックの一例を示す図である。

【図5】図５は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のイントラ復号部２０２Ｂの機能ブロックの一例を示す図である。

【図6】図６は、Ｐフレームの基本メッシュの頂点とＩフレームの基本メッシュの頂点との間の対応関係の一例を示す図である。

【図7】図７は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの機能ブロックの一例を示す図である。

【図8】図８は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３による復号対象の頂点のＭＶＰの算出方法の一例を説明するための図である。

【図9】図９は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３の動作の一例を示すフローチャートを示す。

【図10A】図１０Ａは、メッシュに対する復号順の一例を示す図である。

【図10B】図１０Ｂは、復号対象の頂点の周りにある頂点のリストの一例である。

【図11】図１１は、復号済みの動きベクトル数と復号対象の頂点の周りにある頂点の数との関係を示す統計データの一例を示す図である。

【図12】図１２は、Ｗｏｒｓｔ ｃａｓｅの一例を説明するための図である。

【図13】図１３は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの変更例２について説明するための図である。

【図14】図１４は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの変更例２について説明するための図である。

【図15】図１５は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２の変更例１の機能ブロックの変更例を示す図である。

【図16】図１６は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２の変更例１について説明するための図である。

【図17】図１７は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のメッシュバッファ部２０２Ｃについて説明するための図である。

【図18】図１８は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のメッシュバッファ部２０２Ｃについて説明するための図である。

【図19】図１９は、変更例２に係るメッシュ復号装置２００の基本メッシュ復号部２０２の変更例について説明するための図である。

【図20】図２０は、変更例２に係るメッシュ復号装置２００の基本メッシュ復号部２０２の変更例について説明するための図である。

【図21】図２１は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の機能ブロックの一例について示す図である。

【図22】図２２は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の基本メッシュ細分割部２０３Ａの機能ブロックの一例を示す図である。

【図23】図２３は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の基本メッシュ細分割部２０３Ａの基本面分割部２０３Ａ５による基本面の分割方法の一例について説明するための図である。

【図24】図２４は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の基本メッシュ細分割部２０３Ａの動作の一例を示すフローチャートである。

【図25】図２５は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの機能ブロックの一例を示す図である。

【図26】図２６は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの辺分割点移動部７０１によって基本面ＡＢＣ上の辺分割点が移動されたケースの一例を示す図である。

【図27】図２７は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの細分割面分割部７０２によって基本面内の細分割面Ｘに対して再度細分割が行われたケースの一例を示す図である。

【図28】図２８は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの細分割面分割部７０２によって全ての細分割面に対して再度細分割が行われたケースの一例を示す図である。

【図29】図２９は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０６の機能ブロックの一例について示す図である（空間領域でインター予測が行われる場合）。

【図30】図３０は、変位量ビットストリームの構成の一例について示す図である。

【図31】図３１は、ＤＰＳのシンタックス構成の一例について示す図である。

【図32】図３２は、ＤＰＨのシンタックス構成の一例について示す図である。

【図33】図３３は、空間領域でインター予測が行われる場合の参照フレームと復号対象フレームとの間の周波数の対応関係の一例について説明するための図である。

【図34】図３４は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０６の機能ブロックの一例について示す図である（周波数領域でインター予測が行われる場合）。

【図35】図３５は、周波数領域でインター予測が行われる場合の参照フレームと復号対象フレームとの間の周波数の対応関係の一例について説明するための図である。

【図36】図３６は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０６の動作の一例を示すフローチャートである。

【図37】図３７は、変形例１に係る変位量復号部２０６の機能ブロックの一例を示す図である。

【図38】図３８は、変形例２に係る変位量復号部２０６の機能ブロックの一例を示す図である。

【図39】図３９は、ＮＡＬヘッダの一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0011】

＜第１実施形態＞
以下、図１～図３８を参照して、本実施形態に係るメッシュ処理システムについて説明する。

【0012】

図１は、本実施形態に係るメッシュ処理システム１の構成の一例を示す図である。図１に示すように、メッシュ処理システム１は、メッシュ符号化装置１００及びメッシュ復号装置２００を備えている。

【0013】

図２は、本実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。

【0014】

図２に示すように、メッシュ復号装置２００は、多重分離部２０１と、基本メッシュ復号部２０２と、細分割部２０３と、メッシュ復号部２０４と、パッチ統合部２０５と、変位量復号部２０６と、映像復号部２０７とを有する。

【0015】

ここで、基本メッシュ復号部２０２、細分割部２０３、メッシュ復号部２０４及び変位量復号部２０６は、メッシュを分割したパッチ単位で処理を行うように構成されており、その後、これらの処理結果についてパッチ統合部２０５で統合されるように構成されていてもよい。

【0016】

図３Ａの例では、メッシュが、基本面１及び２で構成されるパッチ１と、基本面３及び４で構成されるパッチ２とに分割されている。

【0017】

多重分離部２０１は、多重化されたビットストリームを、基本メッシュビットストリームと変位量ビットストリームとテクスチャビットストリームとに分離するように構成されている。

【0018】

＜基本メッシュ復号部２０２＞
基本メッシュ復号部２０２は、基本メッシュビットストリームを復号し、基本メッシュを生成して出力するように構成されている。

【0019】

ここで、基本メッシュは、３次元空間における複数の頂点と、かかる複数の頂点を接続する辺とで構成される。

【0020】

なお、図３Ａに示すように、基本メッシュは、３つの頂点で表現される基本面を組み合わせて構成される。

【0021】

基本メッシュ復号部２０２は、例えば、非特許文献２に示すＤｒａｃｏ又は非特許文献３に記載されている技術を用いて、基本メッシュビットストリームを復号するように構成されていてもよい。

【0022】

また、基本メッシュ復号部２０２は、細分割手法の種別を制御する制御情報として、後述の「ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄ_ｉｄ」を生成するように構成されていてもよい。

【0023】

図４に示すように、基本メッシュ復号部２０２は、分離部２０２Ａと、イントラ復号部２０２Ｂと、メッシュバッファ部２０２Ｃと、接続情報復号部２０２Ｄと、インター復号部２０２Ｅとを備える。

【0024】

分離部２０２Ａは、基本メッシュビットストリームを、ＩフレームのビットストリームとＰフレームのビットストリームとに分類するように構成されている。

【0025】

（イントラ復号部２０２Ｂ）
イントラ復号部２０２Ｂは、例えば、非特許文献２に示すＤｒａｃｏ又は非特許文献３に記載されている技術を用いて、Ｉフレームのビットストリームから、Ｉフレームの頂点の座標及び接続情報を復号するように構成されている。

【0026】

図５は、イントラ復号部２０２Ｂの機能ブロックの一例を示す図である。

【0027】

図５に示すように、イントラ復号部２０２Ｂは、任意イントラ復号部２０２Ｂ１と、整列部２０２Ｂ２とを有する。

【0028】

任意イントラ復号部２０２Ｂ１は、非特許文献２に示すＤｒａｃｏ又は非特許文献３に記載されている技術を含む任意の方式を用いて、Ｉフレームのビットストリームから、Ｉフレームの順序無し頂点の座標及び接続情報を復号するように構成されている。

【0029】

整列部２０２Ｂ２は、順序無し頂点を所定の順序に並び替えることによって頂点を出力するように構成されている。

【0030】

所定の順序として、例えば、モートンコード順を用いてもよく、ラスタスキャン順を用いてもよい。

【0031】

また、整列部２０２Ｂ２は、復号された基本メッシュにおいて座標が一致する複数の頂点である重複頂点をまとめて、単一頂点としてから、所定の順序に並び替えてもよい。

【0032】

メッシュバッファ部２０２Ｃは、イントラ復号部２０２Ｂによって復号されたＩフレームの頂点の座標及び接続情報を蓄積するように構成されている。ここで、重複頂点として存在する頂点のインデックスＡ（ｋ）及びＢ（ｋ）のペアを所定順で保存する特定バッファが設けられていてもよい。

【0033】

接続情報復号部２０２Ｄは、メッシュバッファ部２０２Ｃから取り出したＩフレーム又は参照フレームの接続情報をＰフレームの接続情報にするように構成されている。

【0034】

インター復号部２０２Ｅは、メッシュバッファ部２０２Ｃから取り出した参照フレームの頂点の座標とＰフレームのビットストリームから復号した動きベクトルとを加算することによって、Ｐフレームの頂点の座標を復号するように構成されている。

【0035】

更に、インター復号部２０２Ｅは、かかる特定バッファに保存されている重複頂点として存在する頂点のインデックスＡ（ｋ）及びＢ（ｋ）のペアにより、Ｐフレームの頂点のインデックスを調整することが可能である。

【0036】

ここで、上述のインデックスの全部又は一部は、ビットストリームから復号される。かかる復号方法は、算術符号化でもよい。この結果、算術符号化を用いて復号対象のインデックスの最大値に制限が無くなるという効果が期待できる。

【0037】

例えば、ｕｅ（ｖ）という算術符号化を使ってもよい。ｕｅ（ｖ）は、左端ビットファーストで符号なし整数０次の指数ゴロム符号化（Ｅｘｐ-Ｇｏｌｏｍｂ）を示す。

【0038】

具体的には、ｕｅ（ｖ）の構文要素の解析プロセスは、ビットストリーム内の現在の位置から始まり、最初の非ゼロビットを含むビットを読み取って、０に等しい先行ビット数を数えることから始まる。このプロセスは、次のように指定される。
ｌｅａｄｉｎｇＺｅｒｏＢｉｔｓ＝－１
ｆｏｒ（ｂ＝０；！ｂ；ｌｅａｄｉｎｇＺｅｒｏＢｉｔｓ＋＋
ｂ＝ｒｅａｄ_ｂｉｔｓ（ｌ）
次に、変数ｃｏｄｅＮｕｍが、次のように割り当てられる。

【0039】

ｃｏｄｅＮｕｍ＝２^{ｌｅａｄｉｎｇＺｅｒｏＢｉｔｓ}－１＋ｒｅａｄ_ｂｉｔｓ（ｌｅａｄｉｎｇＺｅｒｏＢｉｔｓ）
ただし、ｒｅａｄ_ｂｉｔｓ（ｌｅａｄｉｎｇＺｅｒｏＢｉｔｓ）の返す値は、最上位ビットが先に書かれた符号なし整数の２進表現として解釈される。また、ｕｅ（ｖ）の値は、ｃｏｄｅＮｕｍの値に等しい。

【0040】

表１は、ビット列を「接頭辞」ビットと「接尾辞」ビットとに分離して、Ｅｘｐ-Ｇｏｌｏｍｂコードの構造を示している。

【0041】

【表1】

ここで、「接頭辞」ビットは、ｌｅａｄｉｎｇＺｅｒｏＢｉｔｓの計算で指定されたように解析されるビットであり、表１のビット列の列に０又は１として表示される。

【0042】

「接尾辞」ビットは、ｃｏｄｅＮｕｍの計算で解析されるビットであり、表１においてｘ_ｉとして表示される。ｉは、０からｌｅａｄｉｎｇＺｅｒｏＢｉｔｓ－１までの範囲にある。各ｘ_ｉは、０又は１のいずれかに等しい。

【0043】

表２は、ビット列をｃｏｄｅＮｕｍの値に明示的に割り当てる方法を示す。ここで、ｕｅ（ｖ）の値は、ｃｏｄｅＮｕｍの値に等しい。

【0044】

【表2】

本実施形態では、図６に示すように、Ｐフレームの基本メッシュの頂点と参照フレーム（Ｉフレーム又はＰフレーム）の基本メッシュの頂点との間で対応関係が存在する。ここで、インター復号部２０２Ｅによって復号される動きベクトルは、Ｐフレームの基本メッシュの頂点の座標とＩフレームの基本メッシュの頂点の座標との差分ベクトルである。

【0045】

（インター復号部２０２Ｅ）
図７は、インター復号部２０２Ｅの機能ブロックの一例を示す図である。

【0046】

図７に示すように、インター復号部２０２Ｅは、動きベクトル残差復号部２０２Ｅ１と、動きベクトルバッファ部２０２Ｅ２と、動きベクトル予測部２０２Ｅ３と、動きベクトル算出部２０２Ｅ４と、加算器２０２Ｅ５とを有する。

【0047】

動きベクトル残差復号部２０２Ｅ１は、ＰフレームのビットストリームからＭＶＲ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｉｄｕａｌ）を生成するように構成されている。

【0048】

ここで、ＭＶＲは、ＭＶ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）とＭＶＰ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）との差分を示す動きベクトル残差である。ＭＶは、対応するＩフレームの頂点の座標とＰフレームの頂点の座標との間の差分ベクトル（動きベクトル）である。ＭＶＰは、ＭＶを用いて対象の頂点のＭＶの予測した値（動きベクトルの予測値）である。

【0049】

動きベクトルバッファ部２０２Ｅ２は、動きベクトル算出部２０２Ｅ４によって出力されたＭＶを順次に保存するように構成されている。

【0050】

動きベクトル予測部２０２Ｅ３は、復号対象の頂点と接続している頂点について、動きベクトルバッファ部２０２Ｅ２から復号済みのＭＶを取得し、図８に示すように、取得された復号済みのＭＶの全部又は一部を用いて、復号対象の頂点のＭＶＰを出力するように構成されている。

【0051】

動きベクトル算出部２０２Ｅ４は、動きベクトル残差復号部２０２Ｅ１で生成されたＭＶＲと動きベクトル予測部２０２Ｅ３から出力されたＭＶＰとを加算し、復号対象の頂点のＭＶを出力するように構成されている。

【0052】

加算器２０２Ｅ５は、対応関係を持つ参照フレーム（Ｉフレーム又はＰフレーム）の復号済みの基本メッシュから得られた復号対象の頂点に対応する頂点の座標と、動きベクトル算出部２０２Ｅ３から出力された動きベクトルＭＶとを加算し、復号対象の頂点の座標を出力するように構成されている。

【0053】

以下、インター復号部２０２Ｅの各部の詳細について説明する。

【0054】

図９に、動きベクトル予測部２０２Ｅ３の動作の一例を示すフローチャートを示す。以下、動きベクトル予測部２０２Ｅ３の動作を「平均予測法」と呼ぶ。

【0055】

図９に示すように、ステップＳ１００１において、動きベクトル予測部２０２Ｅ３は、ＭＶＰ及びＮに０を設定する。

【0056】

ステップＳ１００２において、動きベクトル予測部２０２Ｅ３は、動きベクトルバッファ部２０２Ｅ２から、復号対象の頂点の周りの頂点のＭＶの集合を取得し、後続の処理が終わっていない頂点を特定し、Ｎｏに遷移し、全ての頂点について後続の処理が終わっている場合は、Ｙｅｓに遷移する。

【0057】

ステップＳ１００３において、動きベクトル予測部２０２Ｅ３は、処理対象の頂点のＭＶが、復号済みでなければ、Ｎｏに遷移し、処理対象の頂点のＭＶが、復号済みであれば、Ｙｅｓに遷移する。

【0058】

ステップＳ１００４において、動きベクトル予測部２０２Ｅ３は、ＭＶＰにＭＶを加算し、Ｎに１を加算する。

【0059】

ステップＳ１００５において、動きベクトル予測部２０２Ｅ３は、Ｎが０より大きければ、ＭＶＰをＮで除した結果を出力し、Ｎが０であれば、０を出力し、処理を終了する。

【0060】

すなわち、動きベクトル予測部２０２Ｅ３は、復号対象の頂点の周りにある頂点の復号済みの動きベクトルを平均することによって、復号対象のＭＶＰを出力するように構成されている。

【0061】

なお、動きベクトル予測部２０２Ｅ３は、かかる復号済みの動きベクトルの集合が空集合の場合、ＭＶＰを０とするように構成されていてもよい。

【0062】

動きベクトル算出部２０２Ｅ４は、式（１）によって、動きベクトル予測部２０２Ｅ３によって出力されたＭＶＰ及び動きベクトル残差復号部２０２Ｅ１によって生成されたＭＶＲから、復号対象の頂点のＭＶを算出するように構成されていてもよい。

【0063】

ＭＶ（ｋ）＝ＭＶＰ（ｋ）＋ＭＶＲ（ｋ） … （１）
ここで、ｋは、頂点のインデックスである。ＭＶ、ＭＶＲ及びＭＶＰは、ｘ成分、ｙ成分及びｚ成分を有するベクターである。

【0064】

かかる構成によれば、ＭＶＰを用いて、ＭＶの代わりにＭＶＲのみを符号化するため、符号化効率を高める効果が期待できる。

【0065】

加算器２０２Ｅ５は、動きベクトル算出部２０２Ｅ４によって算出された頂点のＭＶと、かかる頂点に対応する参照フレームの頂点の座標とを加算することによって、かかる頂点の座標を算出し、接続情報（Ｃｏｎｎｅｃｔｉｖｉｔｙ）を参照フレームのままにするように構成されている。

【0066】

具体的には、加算器２０２Ｅ５は、式（２）を用いて、ｋ番目の頂点の座標ｖ’_ｉ（ｋ）を算出するように構成されていてもよい。

【0067】

ｖ’_ｉ（ｋ）＝ｖ’_ｊ（ｋ）＋ＭＶ（ｋ） … （２）
ここで、ｖ’_ｉ（ｋ）は、復号対象のフレームで復号するｋ番目の頂点の座標であり、ｖ’_ｊ（ｋ）は、参照フレームの復号したｋ番目の頂点の座標であり、ＭＶ（ｋ）は、復号対象のフレームのｋ番目のＭＶであり、ｋ＝１，２…，Ｋである。

【0068】

また、復号対象のフレームの接続情報は、参照フレームの接続情報と同一にされる。

【0069】

なお、動きベクトル予測部２０２Ｅ３は、復号済みのＭＶを用いてＭＶＰを算出するため、復号の順番がＭＶＰに影響を及ぼす。

【0070】

かかる復号の順番は、参照フレームの基本メッシュの頂点の復号の順番にする。一般的に、一定の繰り返しパターンを用いて、起点となるエッジから基本面を１つずつ増やす復号手法であれば、復号した基本メッシュの頂点の順番が復号の過程で決められる。

【0071】

例えば、動きベクトル予測部２０２Ｅ３は、参照フレームの基本メッシュにおいて、Ｅｄｇｅｂｒｅａｋｅｒを用いて、頂点の復号の順番を決めてもよい。

【0072】

かかる構成によれば、頂点の座標の代わりに参照フレームからのＭＶを符号化するため、符号化効率を高める効果が期待できる。

【0073】

（インター復号部２０２Ｅの変更例１）
以下、インター復号部２０２Ｅの変更例１について説明する。

【0074】

インター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３は、復号対象の頂点の周りにある頂点の復号済みの動きベクトルを平均するという「平均予測法」において、事前に決めた最大の利用数を超えないように、復号対象の頂点の周りにある頂点の復号済みの動きベクトルを全部又は一部のみ利用してＭＶＰを算出する。

【0075】

なお、事前に決めた最大の利用数は、制御信号としてビットストリームから復号される。

【0076】

また、動きベクトル予測部２０２Ｅ３は、復号対象の頂点の周りにある頂点の復号済みの動きベクトル数が最大の利用数を超える場合、一定のルールで最大の利用数までピックアップする。

【0077】

例えば、動きベクトル予測部２０２Ｅ３は、かかるルールとして、復号順で最初又は最後の頂点を選ぶことにする。

【0078】

図１０Ａに示すようなメッシュに対する復号順は、矢印によって示されるように、頂点ｖ_Ｄ→ｖ_Ｃ→ｖ_Ａ→ｖ_Ｂである。

【0079】

図１０Ｂは、復号済みの隣接頂点数の最大値を３にする時に、各頂点ｖ_Ａ～ｖ_ＤのＭＶＰを算出する際に利用する復号対象の頂点の周りにある頂点のリストである。

【0080】

かかる構成によれば、最大隣接頂点数を決めることによって、符号化効率を維持又は微減しながら計算量及びメモリー量を削減する効果が期待できる。

【0081】

ただし、上述の効果を発揮するため、メッシュ符号化装置１００で適切な最大隣接頂点数を設定し、関連の制御信号としてビットストリームに書き込む必要がある。

【0082】

よって、上述の最大隣接頂点数として設定可能な範囲は、メッシュ復号装置２００で用意するメモリー量を決めるため、最大隣接頂点数に関して合理的な制約として最大隣接頂点数は、予め定めた最大値以下となるように符号化/復号される。

【0083】

このように、最大隣接頂点数に関して合理的な制約を規定することでメッシュ復号装置２００の設計を容易にする効果が期待できる。

【0084】

一般的に、Ｃｌｏｓｅｄ ２-ｍａｎｉｆｏｌｄ ｔｒｉａｎｇｌｅ ｍｅｓｈにおける隣接頂点数の平均は、約６であるが、統計的には、最大隣接頂点数は、７～８である場合が多い。なお、図１１に示すように、復号対象の頂点の周りにある頂点の数（横軸）に応じて、復号済みの動きベクトル数（縦軸）が動的に変化する。

【0085】

よって、上述の最大隣接頂点数として設定可能な範囲を絞ることが望ましい。

【0086】

例えば、図１１に示すように、統計上、復号済みの動きベクトル数が最も多い復号対象の頂点の周りにある頂点の数である「３」を、上述の制御信号において最大隣接頂点数として設定可能な範囲内に含めるようにしたり、統計的な隣接頂点数の平均の一定比率（例えば、５０％や１２０％）或いはＮビット（例えば、３ビット）までカバーできる自然数より大きくない値を、上述の制御信号において最大隣接頂点数として設定可能な範囲の上限（最大値）にしたりすることで、計算量及びメモリー量を削減する効果が発揮できる。

【0087】

一方、最大隣接頂点数として設定可能な範囲を、大きい値、例えば、Ｗｏｒｓｔ ｃａｓｅの２５６或いは８ビットにすると、メモリー量だけではなく、計算量も削減する効果が発揮できない可能性がある。

【0088】

図１２は、Ｗｏｒｓｔ ｃａｓｅの一例であり、ｎ≧２５６のときに、復号済みの隣接頂点数が２５６を超える。図１２において、頂点ｎ＋１における復号済みの隣接頂点数はｎである。

【0089】

仮に、最大隣接頂点数の上限を２５６に設定した場合、メッシュ復号装置２００では、図１０Ｂに示すように、膨大なメモリーだけではなく、膨大な計算量が必要となる。よって、上述の最大隣接頂点数として設定可能な範囲の上限（最大値）は、８であることにしてもよい。

【0090】

さらに、上述の制御信号において最大隣接頂点数として設定可能な範囲は、明確な値にしてもよいし、他の制御信号やデータから算出されてもよい。

【0091】

例えば、Ｌｅｖｅｌ１により、制御信号において最大隣接頂点数として設定可能な範囲が規定されてもよい。

【0092】

或いは、以下の式（３）で、基本メッシュの頂点数から、制御信号において最大隣接頂点数として設定可能な範囲の上限が算出されてもよい。

【0093】

制御信号において最大隣接頂点数として設定可能な範囲の上限＝ｌｏｇ２（基本メッシュの頂点数） … 式（３）
かかる構成によれば、適正に最大隣接頂点数の設定可能な範囲を決めることができ、Ｗｏｒｓｔ ｃａｓｅでも、確実に計算量及びメモリー量の両方を削減する効果が期待できる。

【0094】

（インター復号部２０２Ｅの変更例２）
以下、図１３を参照して、インター復号部２０２Ｅの変更例２について説明する。

【0095】

インター復号部２０２Ｅの動きベクトル算出部２０２Ｅ４は、モード１及びモード０を有する。

【0096】

モード１では、動きベクトル算出部２０２Ｅ４は、動きベクトル残差復号部２０２Ｅ１で生成されたＭＶＲと動きベクトル予測部２０２Ｅ３から出力されたＭＶＰとを加算し、復号対象の頂点のＭＶを出力する（図１３のＡ参照）。

【0097】

一方、モード０では、動きベクトル算出部２０２Ｅ４は、動きベクトル残差復号部２０２Ｅ１で生成されたＭＶＲを復号対象の頂点のＭＶとして出力する（図１３のＢ参照）。

【0098】

なお、モード０における動きベクトル算出部２０２Ｅ４の動作は、動きベクトル予測部２０２Ｅ３から出力されたＭＶＰをゼロにするという動作に相当する。

【0099】

さらに、動きベクトル算出部２０２Ｅ４は、復号順で連続のＮ（Ｎ≧１）個の頂点のＭＶのモードを同一にしてもよい。

【0100】

動きベクトル算出部２０２Ｅ４は、上述のＮ個の頂点を１つのグループにする。かかるグループのサイズ（グループサイズ）Ｎは、１以上である。動きベクトル算出部２０２Ｅ４は、ビットストリームから、かかるグループサイズを算出できる制御信号（図１３に示すｇｒｏｕｐ ｓｉｚｅ）を復号する。

【0101】

ただし、最後のグループに残った頂点の数がグループサイズより小さい場合、動きベクトル算出部２０２Ｅ４は、残った頂点の全部をグループに入れることにする。

【0102】

このように、連続するＮ個の頂点を同じモードにすると、モードの符号量を削減できるため、符号化効率を向上させる効果が期待できる。

【0103】

ここで、同じモードを持つ連続する頂点の数が多いほど、モードの符号量の削減効果が大きい。したがって、メッシュ符号化装置１００で適切なｇｒｏｕｐ ｓｉｚｅを設定し、メッシュ復号装置２００で制御信号としてビットストリームから復号する必要がある。

【0104】

よって、かかる制御信号において設定可能な範囲は、実際に同じモードを持つ連続する頂点の数より小さくないことが望ましい。

【0105】

例えば、全頂点がほとんど同じモードを選択した場合は、ｇｒｏｕｐ ｓｉｚｅを全頂点数にしてもよい。

【0106】

表１は、モード０を選択した頂点の数が８割以上である場合や、モード１を選択した頂点の数が９割以上である場合の例を示す。

【0107】

よって、上述の制御信号において設定可能な範囲が１から予め定めた最大値までカバーできるようにする。かかる最大値は、基本メッシュの全頂点数以上にする。

【0108】

【表3】

なお、上述の制御信号（ｇｒｏｕｐ ｓｉｚｅ）を自然数にすると、全頂点数以上に設定する場合、絶対値が大きいので、符号量が大きくなる。

【0109】

したがって、上述の制御信号を対数にすることも可能である。具体的に、制御信号をｌｏｇ２_ｇｒｏｕｐ_ｓｉｚｅとして、以下の式（４）で、グループサイズが算出されてもよい。

【0110】

ｇｒｏｕｐ ｓｉｚｅ＝２ｌｏｇ２_ｇｒｏｕｐ_ｓｉｚｅ … 式（４）
ここで、フレームの中にグループが１つのみであれば、そのグループを最後のグループにする。つまり、ｇｒｏｕｐ ｓｉｚｅが頂点の数より大きいと、全頂点をグループに入れることにする。

【0111】

さらに、上述の制御信号において設定可能な範囲は、明確な値にしてもよいし、他の制御信号やデータから算出されてもよい。

【0112】

例えば、Ｌｅｖｅｌ１により、かかる制御信号において設定可能な範囲は、規定されてもよい。

【0113】

或いは、かかる制御信号において設定可能な範囲は、基本メッシュの頂点数から算出されてもよい。

【0114】

例えば、かかる制御信号において設定可能な範囲について、基本メッシュの頂点数をカバーできる２の冪乗である最小の自然数にしてもよい。

【0115】

さらに、上述の制御信号において設定可能な範囲について、小さい範囲にした上で、図１４に示すように、別の制御信号の所定フラグ（Ｍｏｄｅ ｆｌａｇ）を導入してもよい。かかる場合、図１４に示すように、動きベクトル算出部２０２Ｅ４は、かかる所定フラグがＴＲＵＥ（Ｍｏｄｅ ｆｌａｇ＝１）であれば、全ての頂点を１つのグループにし（すなわち、全ての頂点の数をグループサイズとし）、ＦＡＬＳＥであれば、上述の制御信号から算出したグループサイズのままにする。

【0116】

なお、上述の制御信号は、シーケンス毎で設定されてもよいし、フレーム毎で設定されてもよい。上述の制御信号が、シーケンス毎で設定されると、全フレームのグループサイズが同じである。

【0117】

かかる構成によれば、適正にグループサイズの設定可能な範囲を決めることで、あらゆる状況を対応でき、確実にモードの符号量を削減し、符号化効率を向上させる効果が期待できる。

【0118】

（基本メッシュ復号部２０２の変更例１）
以下、図１５及び図１６を参照して、基本メッシュ復号部２０２の変更例１について説明する 。

【0119】

図１５に示すように、本変更例１に係る基本メッシュ復号部２０２は、分離部２０２Ａと、イントラ復号部２０２Ｂと、メッシュバッファ部２０２Ｃと、インター復号部２０２Ｅと、スキップ復号部２０２Ｆとを備える。

【0120】

スキップ復号部２０２Ｆは、指定された参照フレームの復号基本メッシュをそのまま用いて、復号対象フレームの基本メッシュを復号するように構成されている。

【0121】

なお、本実施形態において、フレームは、メッシュ（Ｍｅｓｈ）又はサブメッシュ（Ｓｕｂｍｅｓｈ）のいずれであってもよい。

【0122】

例えば、図１６に示すように、ｓｍｈ_ｔｙｐｅにおける「Ｐ_ＳＵＢＭＥＳＨ」は、Ｐフレームに対応し、ｓｍｈ_ｔｙｐｅにおける「Ｉ_ＳＵＢＭＥＳＨ」は、Ｉフレームに対応し、ｓｍｈ_ｔｙｐｅにおける「ＳＫＩＰ_ＳＵＢＭＥＳＨ」は、Ｓフレームに対応してもよい。

【0123】

（スキップ復号部２０２Ｆ）
スキップ復号部２０２Ｆは、メッシュバッファ部２０２Ｃから指定された参照フレームの復号基本メッシュ（参照用の復号基本メッシュ）を取り出し、取り出した参照用の復号基本メッシュの頂点の座標及び当該頂点のインデックスをそのまま用いて、復号対象フレームの基本メッシュの頂点の座標及び当該頂点のインデックスを復号するように構成されている。

【0124】

ここで、メッシュバッファ部２０２Ｃは、少なくとも１枚の参照フレームを持ち、参照フレーム毎で少なくとも１枚の復号された基本メッシュを保存するように構成されている。

【0125】

スキップ復号部２０２Ｆは、ビットストリームから復号した制御信号又は所定ルールを用いて、指定された参照用の復号基本メッシュについて特定してもよい。

【0126】

例えば、かかる所定ルールは、メッシュバッファ部２０２Ｃから参照フレームリストの１番目の参照フレームを取り出すこと、或いは、復号対象フレームにフレームインデックスが最も近い参照フレームを取り出すこと等であってもよい。

【0127】

本実施形態では、参照用の復号基本メッシュの頂点の座標及び当該頂点のインデックスをそのまま用いて基本メッシュの頂点の座標を復号するフレームを「Ｓフレーム」と呼ぶ。

【0128】

かかる構成によれば、スキップ復号部２０２Ｆにおいて動きベクトルを不要とすることができるため、符号量の大幅な削減効果及び計算量の大幅な削減効果が期待できる。

【0129】

（メッシュバッファ部２０２Ｃ）
メッシュバッファ部２０２Ｃは、１枚又は複数枚の参照用の復号基本メッシュを、所定順番で保存するように構成されている。

【0130】

なお、かかる基本メッシュは、フレーム番号やサブメッシュ番号等のメタデータや少なくとも各頂点の座標及び当該頂点のインデックスを有しており、参照フレームリストで決められた所定順番でメッシュバッファ部２０２Ｃに保存される。

【0131】

ここで、図１７に示すように、かかる参照フレームリスト（ｒｅｆ_ｌｉｓｔ０）は、メッシュバッファ部２０２Ｃに保存されている全ての参照用の復号基本メッシュを特定する情報のリストである。

【0132】

参照フレームリストは、図１７に示すように、ビットストリームから復号された制御信号によって決められてもよいし、自然にフレームの復号順から算出されてもよい。

【0133】

なお、ビットストリームから復号された制御信号は、復号対象フレームとの相対的な距離で示されていてもいし、絶対値であるのフレームインデックスであってもよい。

【0134】

さらに、制御信号により、短期的な参照フレーム又は長期的な参照フレームが使われてもよい。

【0135】

例えば、短期的な参照フレームを使うと、当フレーム（ｃｕｒ）及び参照フレーム（ｒｅｆ）の表示順（Ｄｉｓｐｌａｙ Ｏｒｄｅｒ）の差の絶対値（ａｂｓ_ｄｅｌｔａ_ｍｆｏｃ_ｓｔ）及びその符号（ｓｉｇｎ_ｆｌａｇ）をビットストリームから復号し、参照フレームの表示順（Ｄｉｓｐｌａｙ Ｏｒｄｅｒ）を下式で指定してもよい。
Ｉｆ（ｓｉｇｎ_ｆｌａｇ）｛
Ｄｉｓｐｌａｙ Ｏｒｄｅｒ（ｒｅｆ）＝Ｄｉｓｐｌａｙ Ｏｒｄｅｒ（ｃｕｒ）＋ａｂｓ_ｄｅｌｔａ_ｍｆｏｃ_ｓｔ
｝ｅｌｓｅ｛
Ｄｉｓｐｌａｙ Ｏｒｄｅｒ（ｒｅｆ）＝Ｄｉｓｐｌａｙ Ｏｒｄｅｒ（ｃｕｒ）－ａｂｓ_ｄｅｌｔａ_ｍｆｏｃ_ｓｔ
｝
また、自然にフレームの復号順から算出する方法が用いられる場合、例えば、参照フレームリストにおいて、制御信号が存在していない時に、直前に復号済みのフレームから一定のフレーム数で順次に並べられてもよい。つまり、参照フレームリストは、｛０, －１, －２,…, －（Ｎ―１）｝とされてもよい。

【0136】

基本的に、参照フレームリストは、特別な事情（例えば、Ｒｅ-ｏｒｄｅｒｉｎｇ指示を受ける時）以外に各フレームで変化しない。

【0137】

メッシュバッファ部２０２Ｃは、以下のように更新されてもよい。

【0138】

メッシュバッファ部２０２Ｃは、基本メッシュが復号された時に、Ｉフレーム及びＰフレームの場合、参照フレームリストで決められた所定順番により１枚又は複数枚の既存の参照フレームを削除し、復号済みのフレームの基本メッシュを含めて１枚又は複数枚の基本メッシュを入れて、又は、複数枚の基本メッシュから１枚の基本メッシュを作成して入れて、参照フレームの順番を調整する。

【0139】

かかる削除作業は、メッシュバッファ部２０２Ｃが満了する時のみに実施されてもよい。なお、メッシュバッファ部２０２Ｃで保存できる基本メッシュの数は、事前に決められている。ここで、本実施形態では、かかる基本メッシュの数に到達すると、メッシュバッファ部２０２Ｃが満了すると定義するものとする
上述の作成作業では、復号済みのフレームの基本メッシュ及びメッシュバッファ部２０２Ｃに保存されている既存の基本メッシュに対応する頂点の座標について重み付け平均して１枚の基本メッシュにしてもよい。

【0140】

かかる重み付け平均で用いられる重みは、事前に決められていてもよいし、フレームインデックスを用いて算出されてもよいし、制御信号から復号されてもよい。

【0141】

ただし、メッシュバッファ部２０２Ｃは、Ｓフレームである時には、かかる更新を実施してもよいし、かかる更新を実施しなくてもよい。

【0142】

なお、メッシュバッファ部２０２Ｃは、ビットストリームから復号された制御信号によりＲｅ-ｏｒｄｅｒｉｎｇの指示を示す制御信号を受けた時に、図１８に示すように、参照フレームリストを更新し、更新した参照フレームリスト（ｒｅｆ_ｌｉｓｔ０）で決められた所定順番により参照フレームの順番を調整する。

【0143】

（インター復号部２０２Ｅ）
インター復号部２０２Ｅは、メッシュバッファ部２０２Ｃから取り出した参照フレームの頂点の座標とＰフレームのビットストリームから復号した動きベクトルとを加算することによって、Ｐフレームの頂点の座標を復号するように構成されている。

【0144】

さらに、インター復号部２０２Ｅは、かかる特定バッファに保存されている重複頂点として存在する頂点のインデックスＡ（ｋ）及びＢ（ｋ）のペアにより、Ｐフレームの頂点のインデックスを調整することが可能である。かかるインデックスの全部又は一部は、ビットストリームから復号される。かかる復号方法は、算術符号化でもよい。かかる構成によれば、算術符号化を用いて復号対象のインデックスの最大値に制限が無くなるという効果が期待できる。例えば、ｕｅ（ｖ）という算術符号化を使ってもよい。

【0145】

（基本メッシュ復号部２０２の変更例２）
以下、図１９を参照して、基本メッシュ復号部２０２の変更例２について説明する。

【0146】

以下、スキップ復号部２０２Ｆについて説明するが、インター復号部２０２Ｅへ適用してもよい。

【0147】

図１９に示すように、スキップ復号部２０２Ｆでは、後続フレームを参照することが可能にするため、復号順（Ｄｅｃｏｄｅ Ｏｒｄｅｒ）と表示順（Ｄｉｓｐｌａｙ Ｏｒｄｅｒ）とが異なる。

【0148】

ここで、表示順は、符号化する際の入力の順番と同じであり、復号する際の出力の順番と同じである。

【0149】

一方、復号順は、符号化する際の出力の順番と同じであり、復号する際の入力の順番と同じである。

【0150】

なお、かかる参照フレームは、後続フレームと１枚又は複数枚の他フレームとを重み付け平均して算出されてもよい。

【0151】

ただし、後続フレームを含めて複数枚のフレームを参照する場合、図１４における新しいフレームタイプ（ｓｍｈ_ｔｙｐｅ）として、ＭＲ_ＳＵＢＭＥＳＨ（ＭＲフレームやＢフレーム）を定義し、ＭＲ_ＳＵＢＭＥＳＨは、ビットストリームから復号される。

【0152】

また、かかる他フレームは、図２０に示すように、対象フレームの直前の復号済のフレームであってもよい。

【0153】

かかる重みは、対象フレームと後続フレームと間のフレーム間隔及び対象フレームと他フレームとの間のフレーム間隔を用いて算出されてもよいし、事前に決められてもよい。

【0154】

基本メッシュ復号部２０２は、ビットストリームから制御信号（ｓｍｈ_ｍｅｓｈ_ｆｒｍ_ｏｒｄｅｒ_ｃｎｔ_ｌｓｂ）を復号し、かかる出力の順番を復号する。

【0155】

なお、上述の非特許文献４で定義したサブメッシュが存在するときに、全てのサブメッシュを同じ制御信号（ｓｍｈ_ｍｅｓｈ_ｆｒｍ_ｏｒｄｅｒ_ｃｎｔ_ｌｓｂ）にすること又は制御信号（ｓｍｈ_ｍｅｓｈ_ｆｒｍ_ｏｒｄｅｒ_ｃｎｔ_ｌｓｂ）を全てのサブメッシュに適用させることにする。

【0156】

かかる制御信号（ｓｍｈ_ｍｅｓｈ_ｆｒｍ_ｏｒｄｅｒ_ｃｎｔ_ｌｓｂ）によって示される値は、復号対象フレームの表示順との差分であってもよいし、事前に決めたフレーム集団ＭａｘＭｅｓｈＦｒｍＯｒｄｅｒＣｎｔＬｓｂの中の順番であってもよい。

【0157】

なお、復号順（Ｄｅｃｏｄｅ Ｏｒｄｅｒ）と表示順（Ｄｉｓｐｌａｙ Ｏｒｄｅｒ）とが異なる時に、復号済みの基本メッシュが復号順（Ｄｅｃｏｄｅ Ｏｒｄｅｒ）で並んでいると、基本メッシュ復号部２０２は、復号済みの基本メッシュを表示順（Ｄｉｓｐｌａｙ Ｏｒｄｅｒ）に並び替えてもよい。

【0158】

なお、後続フレームを参照できるＳフレームにおいて、２つのメッシュバッファ２０２Ｃが設けられていてもよいし、１つのメッシュバッファ部２０２のみが設けられている際には、表示順が復号対象フレームよりも後になる参照フレームを含めて少なくとも１枚の参照フレームが存在する。

【0159】

スキップ復号部２０２Ｆは、ビットストリームから復号した制御信号又は所定ルール又はＲｅ-ｏｒｄｅｒｉｎｇ指示を受けることにより、参照フレームを指定する。

【0160】

具体的には、スキップ復号部２０２Ｆは、かかる制御信号により参照フレームリストの中に参照フレームを指定する。

【0161】

或いは、スキップ復号部２０２Ｆは、参照フレームリストの１番目の参照フレームを指定する。

【0162】

或いは、スキップ復号部２０２Ｆは、Ｒｅ-ｏｒｄｅｒｉｎｇ指示を受けで、参照フレームリスト及びメッシュバッファ部２０２Ｃの参照フレーム順番を更新し、かかる参照フレームリストの１番目の参照フレームを指定する。

【0163】

なお、本実施形態では、Ｓフレームを復号しなくても他のフレームの復号に影響を及ぼさない。よって、Ｓフレームを一部又は全部を復号しない場合、Ｔｅｍｐｏｒａｌ ｓｃａｌａｂｉｌｉｔｙを実現できる。

【0164】

さらに、基本メッシュ復号部２０２は、制御信号により、複数の参照フレームを統合してＳフレームの基本メッシュを復号してもよい。

【0165】

例えば、基本メッシュ復号部２０２は、前後２枚の参照フレームの基本メッシュにおいて、対応する頂点の座標を平均して、平均座標及び頂点のインデックスをそのまま用いて、復号対象フレームの基本メッシュの頂点の座標及び当該頂点のインデックスを復号するように構成されていてもよい。

【0166】

かかる構成によれば、スキップ復号部２０２Ｆ又はインター復号部２０２Ｅにおいて動きベクトルを不要としながらも高品質な基本メッシュにすることができるため、復号メッシュの質を向上させる効果が期待できる。さらに、Ｔｅｍｐｏｒａｌ ｓｃａｌａｂｉｌｉｔｙを実現できる効果が期待できる。

【0167】

ただし、Ｔｅｍｐｏｒａｌ ｓｃａｌａｂｉｌｉｔｙを実現するため、各フレームにおいて該当基本メッシュと変位量とテクスチャとをそれぞれ復号するかどうかを示す制御信号Ｔｅｍｐｏｒａｌ_ＩＤをそれぞれ定義し、ビットストリームからそれぞれ復号する。

【0168】

また、同じフレームであれば、基本メッシュと変位量とテクスチャの制御信号Ｔｅｍｐｏｒａ_ＩＤを一致させる。復号対象の基本メッシュ、変位量及びテクスチャのＴｅｍｐｏｒａ_ＩＤが一致すれば、フレームが復号できないことや無駄なデータを回避することができるという効果が期待できる。

【0169】

なお、同じＴｅｍｐｏｒａ_ＩＤを持つ隣接するフレームの間隔が一定であることが望ましい。

【0170】

同じＴｅｍｐｏｒａ_ＩＤを持つ隣接するフレームは、ＰＯＣが最も近い。

【0171】

上述のようにフレームの間隔を一定にすることで、復号したフレームを表示する際に一定のフレームレートを保つ効果が期待できる。

【0172】

さらに、同じ表示順を持つ基本メッシュ、変位量及びテクスチャの復号順を一致させる。

【0173】

このように、復号順を一致させると、基本メッシュ、変位量及びテクスチャをそれぞれ復号する際に、互いの復号を待つことなく、メッシュを再現できるという効果が期待できる。

【0174】

仮に、基本メッシュ、変位量及びテクスチャの復号順が異なると、最も遅く復号された成分を待つ必要があるため、バッファ使用量の増大や復号遅延が発生するという問題がある。

【0175】

さらに、復号対象フレームの制御信号Ｔｅｍｐｏｒａｌ＿ＩＤよりも高いＴｅｍｐｏｒａｌ＿ＩＤを持つフレームは、かかる復号対象フレームの参照フレームにしない。

【0176】

これによって、参照フレームが捨てられる可能性が無くなるという効果が期待できる。

【0177】

以下に、上述のＴｅｍｐｏｒａｌ_ＩＤを用いてＴｅｍｐｏｒａｌ ｓｃａｌａｂｉｌｉｔｙを実現する一例について述べる。

【0178】

基本メッシュ、変位量及びテクスチャのビットストリームは、ネットワーク抽象レイヤ（ＮＡＬ）ユニットによりカプセル化される。ＮＡＬユニットは、図３９のようなＮＡＬヘッダを持ってもよい。

【0179】

ＮＡＬヘッダ内の最後の３ビットとして定義したＴＩＤは、Ｔｅｍｐｏｒａｌ_ＩＤプラス１である。ＴＩＤの範囲は、１から７までとし、ゼロを禁止する。

【0180】

なお、非特許文献４で定義されたサブメッシュが存在するときは、全てのサブメッシュを同じＴＩＤにすること又はＴＩＤを全てのサブメッシュに適用させることにする。

【0181】

変位量及びテクスチャについては、映像符号化方式のＨＥＶＣやＶＶＣを利用するため、以下は、基本メッシュのみについて説明する。

【0182】

ＮＡＬＴｙｐｅが、非特許文献４で定義されたＮＡＬ_ＢＬＡ_Ｗ_ＬＰからＮＡＬ_ＲＳＶ_ＢＭＣＬ_２９までの範囲にある場合、つまり、ＩＲＡＰコード化された基本メッシュフレームに属する場合、Ｔｅｍｐｏｒａｌ_ＩＤは、０でなければならない。

【0183】

ＮＡＬＴｙｐｅが、ＮＡＬ_ＴＳＡ_Ｒ又はＮＡＬ_ＴＳＡ_Ｎに等しい場合、Ｔｅｍｐｏｒａｌ_ＩＤは、０に等しくてはならない。

【0184】

ＮＡＬＴｙｐｅが０に等しく、ＮＡＬＴｙｐｅがＮＡＬ_ＳＴＳＡ_Ｒ又はＮＡＬ_ＳＴＳＡ_Ｎに等しい場合、Ｔｅｍｐｏｒａｌ_ＩＤは、０に等しくてはならない。

【0185】

Ｔｅｍｐｏｒａｌ_ＩＤの値は、アクセスユニット内の全てのＢＭＣＬ ＮＡＬユニットについて同じでなければならない。

【0186】

コード化された基本メッシュフレーム又はアクセスユニットのＴｅｍｐｏｒａｌ_ＩＤの値は、コード化された基本メッシュフレーム又はアクセスユニットのＢＭＣＬ ＮＡＬユニットのＴｅｍｐｏｒａｌ_ＩＤの値である。

【0187】

サブレイヤ表現のＴｅｍｐｏｒａｌ_ＩＤの値は、サブレイヤ表現内の全てのＢＭＣＬ ＮＡＬユニットのＴｅｍｐｏｒａｌ_ＩＤの最大値である。

【0188】

非ＢＭＣＬ ＮＡＬユニットのＴｅｍｐｏｒａｌ_ＩＤの値は、以下のように制限される。
- ＮＡＬＴｙｐｅがＮＡＬ_ＢＭＳＰＳに等しい場合、Ｔｅｍｐｏｒａｌ_ＩＤは０でなければならず、ＮＡＬユニットを含むアクセスユニットのＴｅｍｐｏｒａｌ_ＩＤは、０でなければならない。
- それ以外の場合で、ＮＡＬＴｙｐｅがＮＡＬ_ＥＯＳ又はＮＡＬ_ＥＯＢに等しい場合、Ｔｅｍｐｏｒａｌ_ＩＤは、０でなければならない。
- それ以外の場合で、ＮＡＬＴｙｐｅがＮＡＬ_ＡＵＤ又はＮＡＬLＦＤDに等しい場合、Ｔｅｍｐｏｒａｌ_ＩＤは、ＮＡＬLユニットを含むアクセスユニットのＴｅｍｐｏｒａｌ_ＩＤに等しくなければならない。
- それ以外の場合、Ｔｅｍｐｏｒａｌ_ＩＤは、ＮＡＬユニットを含むアクセスユニットのＴｅｍｐｏｒａｌ_ＩＤ以上でなければならない。

【0189】

なお、ＮＡＬユニットがＢＭＣＬでない場合、Ｔｅｍｐｏｒａｌ_ＩＤの値は、非ＢＭＣＬ ＮＡＬユニットが適用される全てのアクセスユニットのＴｅｍｐｏｒａｌ_ＩＤ値の最小値に等しくなる。

【0190】

ＮＡＬＴｙｐｅがＮＡＬ_ＢＭＦＰＳに等しい場合、Ｔｅｍｐｏｒａｌ_ＩＤは、最初の符号化基本メッシュフレームのＴｅｍｐｏｒａｌ_ＩＤが０であるビットストリームの先頭に全ての基本メッシュフレームパラメータセット（ＢＭＦＰＳ）が含まれるため、含まれるアクセスユニットのＴｅｍｐｏｒａｌ_ＩＤ以上であることができる。

【0191】

＜細分割部２０３＞
細分割部２０３は、制御情報によって示された細分割手法により、基本メッシュ復号部２０２によって復号された基本メッシュから、追加された細分割頂点及びそれらの接続情報を生成して出力するように構成されている。

【0192】

ここで、基本メッシュ、追加された細分割頂点、及び、それらの接続情報を、併せて「細分割メッシュ」と呼ぶ。

【0193】

細分割部２０２は、基本メッシュビットストリームを復号して生成した制御情報であるｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄ_ｉｄから、細分割手法の種別を特定するように構成されている。

【0194】

以下、図３Ａ及び図３Ｂを参照して、細分割部２０２について説明する。

【0195】

図３Ａ及び図３Ｂは、基本メッシュから細分割頂点を生成する動作の一例について説明するための図である。

【0196】

図３Ａは、５つの頂点で構成された基本メッシュの一例について示す図である。

【0197】

ここで、細分割には、例えば、各基本面において各辺の中点同士を接続するＭｉｄ-ｅｄｇｅ分割法を用いてもよい。これによって、ある基本面は、４つの面に分割されることになる。

【0198】

図３Ｂは、５つの頂点で構成された基本メッシュを分割した細分割メッシュの一例を示す。図３Ｂに示す細分割メッシュでは、元の５つの頂点（黒丸）に加えて８つの細分割頂点（白丸）が生成されている。

【0199】

このように生成した細分割頂点ごとに、変位量復号部２０６で変位量を復号することによって、符号化性能の向上が期待できる。

【0200】

また、各パッチで異なる細分割方法を適用してもよい。これによって、変位量復号部２０６で復号される変位量をパッチごとに適応的に変化させ、符号化性能の向上が期待できる。分割したパッチの情報は、制御情報であるｐａｔｃｈ_ｉｄとして受け取られる。

【0201】

以下、図２１を参照して、細分割部２０３について説明する。図２１は、細分割部２０３の機能ブロックの一例について示す図である。

【0202】

図２１に示すように、細分割部２０３は、基本メッシュ細分割部２０３Ａと細分割メッシュ調整部２０３Ｂとを有する。

【0203】

（基本メッシュ細分割部２０３Ａ）
基本メッシュ細分割部２０３Ａは、入力された基本メッシュ及び基本メッシュの分割情報に基づき、基本面及び基本パッチごとの分割数（細分割数）を算出し、かかる分割数に基づいて基本メッシュを細分割し、細分割面を出力するように構成されている。

【0204】

すなわち、基本メッシュ細分割部２０３Ａは、基本面及び基本パッチ単位で、上述の分割数を変えることができるように構成されていてもよい。

【0205】

ここで、基本面は、基本メッシュを構成する面であり、基本パッチは、いくつかの基本面の集合である。

【0206】

また、基本メッシュ細分割部２０３Ａは、基本面の細分割数を予測し、予測した基本面の細分割数に対して予測分割数残差を加算することで、基本面の細分割数を算出するように構成されていてもよい。

【0207】

また、基本メッシュ細分割部２０３Ａは、基本面の隣接基本面の細分割数に基づいて、基本面の細分割数を算出するように構成されていてもよい。

【0208】

また、基本メッシュ細分割部２０３Ａは、直前に蓄積された基本面の細分割数に基づき、基本面の細分割数を算出するように構成されていてもよい。

【0209】

また、基本メッシュ細分割部２０３Ａは、基本面を構成する３辺を分割する頂点を生成し、生成した頂点を接続することで、基本面を細分割するように構成されていてもよい。

【0210】

図２１に示すように、基本メッシュ細分割部２０３Ａの後段に、後述の細分割メッシュ調整部を備える２０３Ｂを備えている。

【0211】

以下、図２２～図２４を用いて、基本メッシュ細分割部２０３Ａの処理の一例について説明する。

【0212】

図２２は、基本メッシュ細分割部２０３Ａの機能ブロックの一例を示す図であり、図２４は、基本メッシュ細分割部２０３Ａの動作の一例を示すフローチャートである。

【0213】

図２２に示すように、基本メッシュ細分割部２０３Ａは、基本面分割数バッファ部２０３Ａ１と、基本面分割数参照部２０３Ａ２と、基本面分割数予測部２０３Ａ３と、加算部２０３Ａ４と、基本面分割部２０３Ａ５とを有する。

【0214】

基本面分割数バッファ部２０３Ａ１は、基本面の分割数を含む基本面の分割情報を格納しており、基本面分割数参照部２０３Ａ２に対して基本面の分割情報を出力するように構成されている。

【0215】

ここで、基本面分割数バッファ部２０３Ａ１のサイズは、１とし、基本面分割数参照部２０３Ａ２に対して、直前に蓄積された基本面の分割数を出力するように構成されていてもよい。

【0216】

すなわち、基本面分割数バッファ部２０３Ａ１のサイズを１にすることで、最後に復号した細かい分割数（直前に復号した細分割数）のみを参照するように構成されていてもよい。

【0217】

基本面分割数参照部２０３Ａ２は、復号対象の基本面に対して隣接する基本面が存在していない場合、或いは、復号対象の基本面に対して隣接する基本面が存在しているが分割数が確定していない場合は、基本面分割数予測部２０３Ａ３に対して、参照不可を出力するように構成されている。

【0218】

一方、基本面分割数参照部２０３Ａ２は、復号対象の基本面に対して隣接する基本面が存在し且つ分割数が確定している場合は、基本面分割数予測部２０３Ａ３に対して、かかる分割数を出力するように構成されている。

【0219】

基本面分割数予測部２０３Ａ３は、入力された１つ以上の分割数に基づいて基本面の分割数（細分割数）を予測し、加算部２０３Ａ４に対して、予測した分割数（予測分割数）を出力するように構成されている。

【0220】

ここで、基本面分割数予測部２０３Ａ３は、基本面分割数参照部２０３Ａ２から参照不可のみが入力された場合は、加算部２０３Ａ４に対して、０を出力するように構成されている。

【0221】

なお、基本面分割数予測部２０３Ａ３は、１つ以上の分割数が入力された場合、入力された分割数の平均値や最大値や最小値や最頻値等の統計値のいずれかを用いて、予測分割数を生成するように構成されていてもよい。

【0222】

なお、基本面分割数予測部２０３Ａ３は、１つ以上の分割数が入力された場合、最も隣接する面の分割数を予測分割数として生成するように構成されていてもよい。

【0223】

加算部２０３Ａ４は、予測残差ビットストリームから復号した予測分割数残差と基本面分割数予測部２０３Ａ３から取得した予測分割数とを加算することによって得られた分割数を、基本面分割部２０３Ａ５に対して出力するように構成されている。

【0224】

基本面分割部２０３Ａ５は、加算部２０３Ａ４から入力された分割数に基づき、基本面を細分割するように構成されている。

【0225】

図２３は、基本面を９分割したケースの一例である。図２３を参照して、基本面分割部２０３Ａ５による基本面の分割方法について説明する。

【0226】

基本面分割部２０３Ａ５は、基本面を構成する辺ＡＢに対してＮ等分（Ｎ＝３）する点Ａ_１，…，Ａ_（Ｎ－１）を生成する。

【0227】

同様に、基本面分割部２０３Ａ５は、辺ＢＣや辺ＣＡについてもＮ等分し、それぞれ点Ｂ_１，…，Ｂ_（Ｎ－１）、Ｃ_１，…，Ｃ_（Ｎ－１）を生成する。

【0228】

以降、辺ＡＢ、辺ＢＣ及び辺ＣＡ上の点を「辺分割点」と呼ぶ。

【0229】

基本面分割部２０３Ａ５は、全てのｉ（ｉ＝１，２，…，Ｎ－１）に対して、辺Ａ_ｉ Ｂ_（Ｎ-ｉ），Ｂ_ｉ Ｃ_（Ｎ－ｉ），Ｃ_ｉ Ａ_（Ｎ－ｉ）を生成し、Ｎ^２個の細分割面を生成する。

【0230】

次に、図２４を参照して、基本メッシュ細分割部２０３Ａの処理手順について説明する。

【0231】

ステップＳ２２０１において、基本メッシュ細分割部２０３Ａは、最後の基本面に対して細分割処理が完了したか否かを判定する。処理が完了した場合終了し、そうでない場合はステップＳ２２０２に進む。

【0232】

ステップＳ２２０２において、基本メッシュ細分割部２０３Ａは、Ｄｅｐｔｈ＜ｍｄｕ_ｍａｘ_ｄｅｐｔｈの判定を行う。

【0233】

ここで、Ｄｅｐｔｈは、現在の深度を表す変数で、初期値は０であり、ｍｄｕ_ｍａｘ_ｄｅｐｔｈは、基本面ごとに決められた最大深度を表す。

【0234】

ステップＳ２２０２における条件を満たす場合は、本処理手順は、ステップＳ２２０３に進み、かかる条件を満たさない場合は、本処理手順は、ステップＳ２２０１に戻る。

【0235】

ステップＳ２２０３において、基本メッシュ細分割部２０３Ａは、現在の深度におけるｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｆｌａｇが１であるか否かについて判定する。

【0236】

Ｙｅｓの場合、本処理手順は、ステップＳ２２０１に戻り、Ｎｏの場合、本処理手順は、ステップＳ２２０４に進む。

【0237】

ステップＳ２２０４において、基本メッシュ細分割部２０３Ａは、基本面内の全ての細分割面をさらに細分割する。

【0238】

ここで、基本メッシュ細分割部２０３Ａは、基本面に対して一度も細分割処理が行われていない場合は、基本面を細分割する。

【0239】

なお、細分割の方法については、ステップＳ２２０４で説明した方法と同様である。

【0240】

具体的には、基本面が一度も細分割されていない場合は、基本面に対して図２３のように細分割を行う。少なくとも１回は細分割されている場合は、細分割面をＮ^２個に細分割する。図２３を例にすると、頂点Ａ_２と頂点Ｂと頂点Ｂ_１とからなる面を、基本面の分割のときと同様の方法で、更に分割してＮ^２個の面を生成する。

【0241】

細分割処理が終了したとき、本処理手順は、ステップＳ２２０５に進む。

【0242】

ステップＳ２２０５において、基本メッシュ細分割部２０３Ａは、Ｄｅｐｔｈに１を加算し、本処理手順は、ステップＳ２２０２に戻る。

【0243】

（細分割メッシュ調整部２０３Ｂ）
次に、細分割メッシュ調整部２０３Ｂによって行われる処理の具体例について説明する。以下、図２５～図２８を用いて細分割メッシュ調整部２０３Ｂよって行われる処理の一例について説明する。

【0244】

図２５は、細分割メッシュ調整部２０３Ｂの機能ブロックの一例を示す図である。

【0245】

図２５に示すように、細分割メッシュ調整部２０３Ｂは、辺分割点移動部７０１と、細分割面分割部７０２とを有する。

【0246】

（辺分割点移動部７０１）
辺分割点移動部７０１は、入力された初期細分割面に対して、基本面の辺分割点を隣接基本面の辺分割点のいずれかに移動し、細分割面を出力するように構成されている。

【0247】

図２６は、基本面ＡＢＣ上の辺分割点を移動した例である。例えば、図２６に示すように、辺分割点移動部７０１は、基本面ＡＢＣの辺分割点を最も近い隣接基本面の辺分割点に移動するように構成されていてもよい。

【0248】

（細分割面分割部７０２）
細分割面分割部７０２は、入力された細分割面を再度細分割し、復号細分割面を出力するように構成されている。

【0249】

図２７は、基本面内の細分割面Ｘに対して再度細分割が行われたケースの一例を示す図である。

【0250】

図２７に示すように、細分割面分割部７０２は、細分割面を構成する頂点と隣接基本面の辺分割点とを接続することで、基本面内に新たな細分割面を生成するように構成されていてもよい。

【0251】

図２８は、全ての細分割面に対して、上述の細分割処理を行ったケースの一例を示す図である。

【0252】

メッシュ復号部２０４は、細分割部２０３で生成された細分割メッシュ及び変位量復号部２０６で復号された変位量を用いて、復号メッシュを生成して出力するように構成されている。

【0253】

具体的には、メッシュ復号部２０４は、各細分割頂点に対して、対応する変位量を加算することによって、復号メッシュを生成するように構成されている。ここで、各変位量がどの細分割頂点に対応するかについての情報は、制御情報によって示される。

【0254】

パッチ統合部２０５は、メッシュ復号部２０６で生成された復号メッシュを、複数のパッチ分だけ統合して出力するように構成されている。

【0255】

ここで、パッチの分割方法は、メッシュ符号化装置１００によって定義される。例えば、パッチの分割方法は、各基本面に対して法線ベクトルを算出しておき、隣接する基本面の中で最も法線ベクトルが類似した基本面を選択し、両基本面を同じパッチとしてまとめ、かかる手順を、次の基本面に対して順次繰り返すように構成されていてもよい。

【0256】

映像復号部２０７は、映像符号化によってテクスチャを復号して出力するように構成されている。例えば、映像復号部２０７は、ＨＥＶＣを用いてもよい。

【0257】

＜変位量復号部２０６＞
変位量復号部２０６は、変位量ビットストリームを復号して変位量を生成して出力するように構成されている。

【0258】

図３Ｂは、ある細分割頂点に対する変位量の一例について示す図である。図３Ｂの例では、８個の細分割頂点が存在するため、変位量復号部２０６は、各細分割頂点に対してスカラー或いはベクトルで表現される変位量を８個定義するように構成されている。

【0259】

以下、図２９を参照して、変位量復号部２０６について説明する。図２９は、変位量復号部２０６の機能ブロックの一例について示す図である。

【0260】

図２９に示すように、変位量復号部２０６は、復号部２０６Ａと、逆量子化部２０６Ｂと、逆ウェーブレット変換部２０６Ｃと、加算器２０６Ｄと、インター予測部２０６Ｅと、フレームバッファ２０６Ｆとを有する。

【0261】

復号部２０６Ａは、受信した変位量ビットストリームに対して可変長復号を行うことでレベル値及び制御情報を復号して出力するように構成されている。ここで、可変長復号によって得られたレベル値は、逆量子化部２０６Ｂに出力され、制御情報は、インター予測部２０６Ｅに出力される。

【0262】

以下、図３０を参照して、変位量ビットストリームの構成の一例について説明する。図３０は、変位量ビットストリームの構成の一例について示す図である。

【0263】

図３０に示すように、第１に、変位量ビットストリームは、変位量の復号に関する制御情報の集合であるＤＰＳ（Ｄｉｓｐｌａｃｅｍｅｎｔ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ディスプレイスメントパラメータセット）を含んでいてもよい。

【0264】

第２に、変位量ビットストリームは、パッチに対応する制御情報の集合であるＤＰＨ（Ｄｉｓｐｌａｃｅｍｅｎｔ Ｐａｔｃｈ Ｈｅａｄｅｒ：ディスプレイスメントパッチヘッダ）を含んでいてもよい。

【0265】

第３に、変位量ビットストリームは、ＤＰＨの次に、パッチを構成する符号化された変位量を含んでいてもよい。

【0266】

以上のように、変位量ビットストリームは、各符号化された変位量に、１つずつＤＰＨ及びＤＰＳが対応する構成となる。

【0267】

なお、図３０の構成は、あくまで一例である。各符号化された変位量に、ＤＰＨ及びＤＰＳが対応する構成となっていれば、変位量ビットストリームの構成要素として、上述以外の要素が追加されてもよい。

【0268】

例えば、図３０に示すように、変位量ビットストリームは、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：シーケンスパラメータセット）を含んでいてもよい。

【0269】

図３１は、ＤＰＳのシンタックス構成の一例について示す図である。

【0270】

図３１において、Ｄｅｓｃｒｉｐｔｏｒ欄は、各シンタックスが、どのように符号化されているかを意味している。

【0271】

また、図３１において、ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（ｎ）は、ｎビットのフラグであることを意味する。

【0272】

ＤＰＳは、複数のＤＰＳが存在する場合に、各ＤＰＳを識別するためのＤＰＳ ｉｄ情報（ｄｐｓ_ｄｉｓｐｌａｃｅｍｅｎｔ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を少なくとも含む。

【0273】

また、ＤＰＳは、インター予測を行うか否かを制御するフラグ（ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。

【0274】

例えば、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが０のときは、インター予測を行わないと定義し、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが１のときは、インター予測を行うと定義してもよい。ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが含まれないときは、インター予測を行わないと定義してもよい。

【0275】

ＤＰＳは、逆ＤＣＴを行うか否かを制御するフラグ（ｄｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。

【0276】

例えば、ｄｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇが０のときは、逆ＤＣＴを行わないと定義し、ｄｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇが１のときは、逆ＤＣＴを行うと定義してもよい。ｄｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが含まれないときは、逆ＤＣＴを行わないと定義してもよい。

【0277】

図３２は、ＤＰＨのシンタックス構成の一例について示す図である。

【0278】

図３２に示すように、ＤＰＨは、各ＤＰＨに対応するＤＰＳを指定するためのＤＰＳ ｉｄ情報を少なくとも含む。

【0279】

逆量子化部２０６Ｂは、復号部２０６Ａによって復号されたレベル値を逆量子化することによって変換係数を生成して出力するように構成されている。

【0280】

逆ウェーブレット変換部２０６Ｃは、逆量子化部２０６Ｂによって生成された変換係数に対して逆ウェーブレット変換を施すことによって予測残差を生成して出力するように構成されている。

【0281】

（インター予測部２０６Ｅ）
インター予測部２０６Ｅは、フレームバッファ２０６Ｆから読み出された参照フレームの復号変位量を用いてインター予測を行うことによって、予測変位量を生成して出力するように構成されている。

【0282】

インター予測部２０６Ｅは、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが１の場合のみ、かかるインター予測を行うように構成されている。

【0283】

インター予測部２０６Ｅは、空間領域でインター予測を行ってもよいし、周波数領域でインター予測を行ってもよい。インター予測は、時間的に過去の参照フレームと未来の参照フレームとを用いて、双方向予測を行ってもよい。

【0284】

図３３は、空間領域でインター予測が行われる場合の参照フレームと復号対象フレームとの間の細分割頂点の対応関係の一例について説明するための図である。

【0285】

図３４は、周波数領域でインター予測を行う場合のインター予測部２０６Ｅの機能ブロックの一例である。

【0286】

インター予測部２０６Ｅは、周波数領域でインター予測を行う場合は、復号対象フレームにおける周波数の予測ウェーブレット変換係数について、参照フレームにおける対応する周波数の復号ウェーブレット変換係数をそのまま参照して決定してもよい。

【0287】

インター予測部２０６Ｅは、複数の参照フレームにおける細分割頂点の復号変位量或いは復号ウェーブレット変換係数を用いて、平均と分散を推定した正規分布に従って確率的にインター予測してもよい。

【0288】

インター予測部２０６Ｅは、複数の参照フレームにおける細分割頂点の復号変位量あるいは復号ウェーブレット変換係数を用いて、時間を説明変数、変位量を目的変数として推定した回帰曲線をもとにインター予測してもよい。

【0289】

インター予測部２０６Ｅは、時間的に過去の参照フレームと未来の参照フレームとを用いて双方向でインター予測するように構成されていてもよい。

【0290】

メッシュ符号化装置１００において、フレームごとに符号化効率向上のために、かかる復号ウェーブレット変換係数の順番が並び替えられていてもよい。

【0291】

参照フレームと復号対象フレームとの間の周波数の対応関係は、制御情報によって示される。

【0292】

図３５は、周波数領域でインター予測が行われる場合の参照フレームと復号対象フレームとの間の周波数の対応関係の一例について説明するための図である。

【0293】

また、細分割部２０３が、基本メッシュを複数のパッチに分割した場合は、インター予測部２０６Ｅも、分割したパッチごとにインター予測を行うように構成されている。これによって、フレーム間の時間相関が高くなり、符号化性能の向上が期待できる。

【0294】

加算器２０６Ｄには、逆ウェーブレット変換部２０６Ｃから予測残差が入力され、インター予測部２０６Ｅから予測変位量が入力される。

【0295】

加算器２０６Ｄは、かかる予測残差と予測変位量とを加算することによって、復号変位量を算出して出力するように構成されている。

【0296】

加算器２０６Ｄによって算出された復号変位量は、フレームバッファ２０６Ｆにも出力される。

【0297】

フレームバッファ２０６Ｆは、加算器２０６Ｄから復号変位量を取得して蓄積するように構成されている。

【0298】

ここで、フレームバッファ２０６Ｆは、図示しない制御情報に応じて、参照フレームにおいて対応する頂点における復号変位量を出力する。

【0299】

図３６は、変位量復号部２０６の動作の一例を示すフローチャートである。

【0300】

図３６に示すように、ステップＳ３５０１において、変位量復号部２０６は、全てのパッチに対して、本処理が完了しているか否かについて判定する。

【0301】

Ｙｅｓの場合、本動作は、終了し、Ｎｏの場合、本動作は、ステップＳ３５０２に進む。

【0302】

ステップＳ３５０２において、変位量復号部２０６は、復号対象のパッチに対して、逆ＤＣＴを行ってから逆量子化及び逆ウェーブレット変換を行う。

【0303】

ステップＳ３５０３において、変位量復号部２０６は、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが１であるか否かについて判定する。

【0304】

Ｙｅｓの場合、本動作は、ステップＳ３５０４に進み、Ｎｏの場合、本動作は、ステップＳ３５０１に戻る。

【0305】

ステップＳ３５０４において、変位量復号部２０６は、上述のインター予測及び加算を行う。

【0306】

＜変形例１＞
以下、図３７を参照して、上述の第１実施形態の変形例１について、上述の第１実施形態との相違点に着目して説明する。

【0307】

図３７は、本変形例１に係る変位量復号部２０６の機能ブロックの一例を示す図である。

【0308】

図３７に示すように、本変形例１に係る変位量復号部２０６は、復号部２０６Ａの後段に、すなわち、復号部２０６Ａと逆量子化部２０６Ｂとの間に、逆ＤＣＴ部２０６Ｇを備えている。

【0309】

すなわち、本変形例１では、逆量子化部２０６Ｂは、逆ＤＣＴ部２０２Ｇから出力されたレベル値に対して逆ウェーブレット変換を施すことによって予測残差を生成するように構成されている。

【0310】

＜変形例２＞
以下、図３８を参照して、上述の第１実施形態の変形例２について、上述の第１実施形態との相違点に着目して説明する。

【0311】

図３８に示すように、本変形例２に係る変位量復号部２０６は、映像復号部２０６１と、画像展開部２０６２と、逆量子化部２０６３と、逆ウェーブレット変換部２０６４と有する。

【0312】

映像復号部２０６１は、受信した変位量ビットストリームを、映像符号化によって復号することで映像を出力するように構成されている。

【0313】

例えば、映像復号部２０６１は、非特許文献１のＨＥＶＣを用いてもよい。

【0314】

また、映像復号部２０６１は、動きベクトルを常にゼロとした映像符号化方式を用いてもよい。例えば、映像復号部２０６１は、ＨＥＶＣの動きベクトルを常にゼロとし、常に同一位置でのインター予測を用いてもよい。

【0315】

また、映像復号部２０６１は、変換を常にスキップするとした映像符号化方式を用いてもよい。例えば、映像復号部２０６１は、ＨＥＶＣの変換を常に変換スキップモードとし、変換せずに映像符号化方式を用いてもよい。

【0316】

画像展開部２０６２は、映像復号部２０６１で復号された映像を、画像（フレーム）ごとにレベル値として展開して出力するように構成されている。

【0317】

かかる展開方法において、画像展開部２０６２は、制御情報によって示された画像へのレベル値の並べ方から、逆算して特定できる。

【0318】

画像展開部２０６２は、レベル値の並べ方として、例えば、高周波成分から低周波成分のレベル値が画像中にラスタ操作順に並べてもよい。

【0319】

逆量子化部２０６３は、画像展開部２０６２で生成されたレベル値を逆量子化することによって変換係数を生成して出力するように構成されている。

【0320】

逆ウェーブレット変換部２０６４は、逆量子化部２０６３で生成された変換係数に対して逆ウェーブレット変換を施すことによって復号変位量を生成して出力するように構成されている。

【0321】

上述のメッシュ符号化装置１００及びメッシュ復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【産業上の利用可能性】

【0322】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0323】

１…メッシュ処理システム
１００…メッシュ符号化装置
２００…メッシュ復号部
２０１…多重分離部
２０２…基本メッシュ復号部
２０２Ａ…分離部
２０２Ｂ…イントラ復号部
２０２Ｂ１…任意イントラ復号部
２０２Ｂ２…整列部
２０２Ｃ…メッシュバッファ部
２０２Ｄ…接続情報復号部
２０２Ｅ…インター復号部
２０２Ｅ１…動きベクトル復号部
２０２Ｅ２…動きベクトルバッファ部
２０２Ｅ３…動きベクトル予測部
２０２Ｅ４…動きベクトル算出部
２０２Ｅ５…加算器
２０２Ｆ…スキップ復号部
２０３…細分割部
２０３Ａ…基本メッシュ細分割部
２０３Ａ１…基本面分割数バッファ部
２０３Ａ２…基本面分割数参照部
２０３Ａ３…基本面分割数予測部
２０３Ａ４…加算部
２０３Ａ５…基本面分割部
２０３Ｂ…細分割メッシュ調整部
７０１…辺分割点移動部
７０２…細分割面分割部
２０４…メッシュ復号部
２０５…パッチ統合部
２０６…変位量復号部
２０６Ａ…復号部
２０６Ｂ、２０６３…逆量子化部
２０６Ｃ、２０６４…逆ウェーブレット変換部
２０６Ｄ…加算器
２０６Ｅ…インター予測部
２０６Ｆ…フレームバッファ
２０６Ｇ…逆ＤＣＴ部
２０６２…画像展開部
２０７、２０６１…映像復号部

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】