特開 2024-58008 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024058008

(43)【公開日】2024-04-25

(54)【発明の名称】メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム

(51)【国際特許分類】

   H04N 19/54 20140101AFI20240418BHJP

   H04N 19/593 20140101ALI20240418BHJP

   H04N 19/70 20140101ALI20240418BHJP

【ＦＩ】

H04N19/54

H04N19/593

H04N19/70

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022165084

(22)【出願日】2022-10-13

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、総務省、「３次元空間データの無線伝送に向けた高能率圧縮技術の研究開発」委託事業、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(72)【発明者】

【氏名】岸本 広輝

(72)【発明者】

【氏名】河村 圭

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA41

5C159MC11

5C159NN32

5C159PP04

5C159RC11

5C159UA02

5C159UA05

(57)【要約】      （修正有）

【課題】メッシュの符号化効率を向上させるメッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムを提供する。
【解決手段】メッシュ符号化装置及びメッシュ復号装置を備えるメッシュ処理システムにおいて、メッシュ復号装置の変位量復号部２０６は、基本メッシュ復号部から出力された基本メッシュに基づいて細分割頂点の変位量をイントラ予測してイントラ予測値を算出し、算出したイントラ予測値と逆量子化ウェーブレット変換部２０６Ｌから出力されたイントラ予測残差とを加算することで、変位量を復号する変位量予測加算部２０６Ｋを備える。
【選択図】図４９

【特許請求の範囲】

【請求項1】

メッシュ復号装置であって、
基本メッシュ復号部から出力された基本メッシュに基づいて細分割頂点の変位量をイントラ予測してイントラ予測値を算出し、算出した前記イントラ予測値と逆量子化ウェーブレット変換部から出力されたイントラ予測残差とを加算することで、変位量を復号するように構成されている変位量予測加算部を備えることを特徴とするメッシュ復号装置。

【請求項2】

前記変位量予測加算部は、前記細分割頂点の両端の点の法線ベクトルに基づいて、前記変位量を復号するように構成されている請求項１に記載のメッシュ復号装置。

【請求項3】

前記変位量加算部は、復号済みの細分割頂点の変位量に基づいて、前記変位量を復号するように構成されている請求項１に記載のメッシュ復号装置。

【請求項4】

メッシュ復号方法であって、
基本メッシュビットストリームを復号し、基本メッシュを生成して出力する工程Ａと、
量子化イントラ予測残差に対して逆量子化ウェーブレット変換を行い、イントラ予測残差を生成する工程Ｂと、
前記工程Ａにおいて出力された前記基本メッシュに基づいて細分割頂点の変位量を予測してイントラ予測値を算出する工程Ｃと、
前記工程Ｂにおいて出力されたイントラ予測残差と前記工程Ｃにおいて算出された前記イントラ予測値とを加算することで、変位量を復号する工程とを有することを特徴とするメッシュ復号方法。

【請求項5】

コンピュータを、メッシュ復号装置として機能させるプログラムであって、
前記メッシュ復号装置は、
基本メッシュ復号部から出力された基本メッシュに基づいて細分割頂点の変位量をイントラ予測してイントラ予測値を算出し、算出した前記イントラ予測値と逆量子化ウェーブレット変換部から出力された予測残差とを加算することで、変位量を復号するように構成されている変位量予測加算部を備えることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムに関する。

【背景技術】

【0002】

非特許文献１には、非特許文献２を用いてメッシュを符号化する技術が開示されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Ｃｆｐ ｆｏｒ Ｄｙｎａｍｉｃ Ｍｅｓｈ Ｃｏｄｉｎｇ、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ７ Ｎ００２３１、ＭＰＥＧ１３６ - Ｏｎｌｉｎｅ

【非特許文献2】Ｇｏｏｇｌｅ Ｄｒａｃｏ、２０２２年５月２６日アクセス［Ｏｎｌｉｎｅ］、https://google.github.io/draco

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、動的メッシュを構成する全ての頂点の座標や接続情報を可逆符号化するため、損失が許容される条件下であっても情報量を削減できず、符号化効率が低いという問題点があった。 そこで、本発明は、上述の課題に鑑みてなされたものであり、メッシュの符号化効率を向上させることができるメッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の第１の特徴は、基本メッシュ復号部から出力された基本メッシュに基づいて細分割頂点の変位量をイントラ予測してイントラ予測値を算出し、算出した前記イントラ予測値と逆量子化ウェーブレット変換部から出力されたイントラ予測残差とを加算することで、変位量を復号するように構成されている変位量予測加算部を備えることを要旨とする。

【0006】

本発明の第２の特徴は、メッシュ復号方法であって、基本メッシュビットストリームを復号し、基本メッシュを生成して出力する工程Ａと、量子化イントラ予測残差に対して逆量子化ウェーブレット変換を行い、イントラ予測残差を生成する工程Ｂと、前記工程Ａにおいて出力された前記基本メッシュに基づいて細分割頂点の変位量を予測してイントラ予測値を算出する工程Ｃと、前記工程Ｂにおいて出力されたイントラ予測残差と前記工程Ｃにおいて算出された前記イントラ予測値とを加算することで、変位量を復号する工程とを有することを要旨とする。

【0007】

本発明の第３の特徴は、コンピュータを、メッシュ復号装置として機能させるプログラムであって、前記メッシュ復号装置は、基本メッシュ復号部から出力された基本メッシュに基づいて細分割頂点の変位量をイントラ予測してイントラ予測値を算出し、算出した前記イントラ予測値と逆量子化ウェーブレット変換部から出力された予測残差とを加算することで、変位量を復号するように構成されている変位量予測加算部を備えることを要旨とする。

【発明の効果】

【0008】

本発明によれば、メッシュの符号化効率を向上させることができるメッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、一実施形態に係るメッシュ処理システム１の構成の一例を示す図である。

【図2】図２は、一実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。

【図3A】図３Ａは、基本メッシュ及び細分割メッシュの一例を示す図である。

【図3B】図３Ｂは、基本メッシュ及び細分割メッシュの一例を示す図である。

【図4】図４は、基本メッシュビットストリームのシンタックス構成の一例を示す図である。

【図5】図５は、図５は、ＢＰＨのシンタックス構成の一例を示す図である。

【図6】図６は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２の機能ブロックの一例を示す図である。

【図7】図７は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のイントラ復号部２０２Ｂの機能ブロックの一例を示す図である。

【図8】図８は、Ｐフレームの基本メッシュの頂点とＩフレームの基本メッシュの頂点との間の対応関係の一例を示す図である。

【図9】図９は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの機能ブロックの一例を示す図である。

【図10】図１０は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３による復号対象の頂点のＭＶＰの算出方法の一例を説明するための図である。

【図11】図１１は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３の動作の一例を示すフローチャートを示す。

【図12】図１２は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３が、復号済みの周りの頂点との距離の和Ｔｏｔａｌ_Ｄを算出する動作の一例を示すフローチャートを示す。

【図13】図１３は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３が、重み付け平均を用いてＭＶＰを算出する動作の一例を示すフローチャートである。

【図14】図１４は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３が、ＭＶＰとして候補ＭＶの集合からＭＶを選択する動作の一例を示すフローチャートである。

【図15】図１５は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３が、候補ＭＶの集合を作成する動作の一例を示すフローチャートである。

【図16】図１６は、平行四辺形予測の一例について説明するための図である。

【図17】図１７は、基本メッシュビットストリームを復号して生成した制御情報であるａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇ、ａｄａｐｔｉｖｅ_ｂｉｔ_ｆｌａｇ及び精度制御パラメータから、ＭＶＲの精度を元のビット精度に戻す動作の一例を示すフローチャートである。

【図18】図１８は、ＭＶＲの符号化の一例を説明するための意図である。

【図19】図１９は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの機能ブロックの一例を示す図である。

【図20】図２０は、Ｅｄｇｅｂｒｅａｋｅｒを用いて、接続情報及び頂点の順番を決める動作の一例を示す図である。

【図21】図２１は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の機能ブロックの一例について示す図である。

【図22】図２２は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の基本メッシュ細分割部２０３Ａの機能ブロックの一例を示す図である。

【図23】図２３は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の基本メッシュ細分割部２０３Ａの基本面分割部２０３Ａ５による基本面の分割方法の一例について説明するための図である。

【図24】図２４は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の基本メッシュ細分割部２０３Ａの動作の一例を示すフローチャートである。

【図25】図２５は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの機能ブロックの一例を示す図である。

【図26】図２６は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの辺分割点移動部７０１によって基本面ＡＢＣ上の辺分割点が移動されたケースの一例を示す図である。

【図27】図２７は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの細分割面分割部７０２によって基本面内の細分割面Ｘに対して再度細分割が行われたケースの一例を示す図である。

【図28】図２８は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの細分割面分割部７０２によって全ての細分割面に対して再度細分割が行われたケースの一例を示す図である。

【図29】図２９は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０６の機能ブロックの一例について示す図である。

【図30】図２９は、変位量ビットストリームの構成の一例について示す図である。

【図31】図３１は、ＤＰＳのシンタックス構成の一例について示す図である。

【図32】図３２は、シンタックス構成の一例について示す図である。

【図33】図３３は、最大値が３２である場合のプリフィックス符号列及びサフィックス符号列を示す図である。

【図34】図３４は、ｋ次指数ゴロム符号によるプリフィックス符号列及びサフィックス符号列を示す図である。

【図35】図３５は、シンタックス構成の具体例について示す図である。

【図36】図３６は、シンタックス構成の具体例について示す図である。

【図37】図３７は、ＤＰＨのシンタックス構成の一例について示す図である。

【図38】図３８は、一実施形態に係るメッシュ復号装置２００のコンテキスト選択部２０６Ｅの動作を説明するための図である。

【図39】図３９は、一実施形態に係るメッシュ復号装置２００のコンテキスト選択部２０６Ｅの動作を説明するための図である。

【図40】図４０は、一実施形態に係るメッシュ復号装置２００のコンテキスト選択部２０６Ｅの動作を説明するための図である。

【図41】図４１は、係数レベル値復号部２０６Ｆ２の動作の一例について示すフローチャートである。

【図42】図４２は、算術復号部２０６Ｂ、コンテキスト選択部２０６Ｅ、コンテキスト値更新部２０６Ｃ及び多値化部２０６Ｆの動作の一例について示すフローチャートである。

【図43】図４３は、空間領域でインター予測が行われる場合の参照フレームと復号対象フレームとの間の細分割頂点の対応関係の一例について説明するための図である。

【図44】図４４は、変位量予測加算部２０６Ｋの動作の一例を示すフローチャートである。

【図45】図４５は、Ｍｉｄ-ｅｄｇｅ分割法によって線分ＡＢを分割して細分割頂点Ｃ生成する例を模式的に示す図である。

【図46】図４６は、細分割頂点Ｃの変位量を算出する例を模式的に示した図である。

【図47】図４７は、キュービック補完を用いて細分割頂点Ｄの変位量を予測する例を示す図である。

【図48】図４８は、辺ＫＢ、辺ＢＪ、辺ＪＫ、辺ＢＦ、辺ＦＡをそれぞれＭｉｄ-ｅｄｇｅ分割法で分割した後に、辺ＡＢを分割し細分割頂点Ｃを生成する例を示す図である。

【図49】図４９は、変形例１に係る変位量復号部２０６の機能ブロックの一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0011】

＜第１実施形態＞
以下、図１～図４８を参照して、本実施形態に係るメッシュ処理システムについて説明する。

【0012】

図１は、本実施形態に係るメッシュ処理システム１の構成の一例を示す図である。図１に示すように、メッシュ処理システム１は、メッシュ符号化装置１００及びメッシュ復号装置２００を備えている。

【0013】

図２は、本実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。

【0014】

図２に示すように、メッシュ復号装置２００は、多重分離部２０１と、基本メッシュ復号部２０２と、細分割部２０３と、メッシュ復号部２０４と、パッチ統合部２０５と、変位量復号部２０６と、映像復号部２０７とを有する。

【0015】

ここで、基本メッシュ復号部２０２、細分割部２０３、メッシュ復号部２０４及び変位量復号部２０６は、メッシュを分割したパッチ単位で処理を行うように構成されており、その後、これの処理結果についてパッチ統合部２０５で統合されるように構成されていてもよい。

【0016】

図３Ａの例では、メッシュが、基本面１及び２で構成されるパッチ１と、基本面３及び４で構成されるパッチ２とに分割されている。

【0017】

多重分離部２０１は、多重化されたビットストリームを、基本メッシュビットストリームと変位量ビットストリームとテクスチャビットストリームとに分離するように構成されている。

【0018】

＜基本メッシュ復号部２０２＞
基本メッシュ復号部２０２は、基本メッシュビットストリームを復号し、基本メッシュを生成して出力するように構成されている。

【0019】

ここで、基本メッシュは、３次元空間における複数の頂点と、かかる複数の頂点を接続する辺とで構成される。

【0020】

なお、図３Ａに示すように、基本メッシュは、３つの頂点で表現される基本面を組み合わせて構成される。

【0021】

基本メッシュ復号部２０２は、例えば、非特許文献２に示すＤｒａｃｏを用いて、基本メッシュビットストリームを復号するように構成されていてもよい。

【0022】

また、基本メッシュ復号部２０２は、細分割手法の種別を制御する制御情報として、後述の「ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄ_ｉｄ」を生成するように構成されていてもよい。

【0023】

以下、図４～図５を参照して、基本メッシュ復号部２０２で復号される制御情報について説明する。

【0024】

図４は、基本メッシュビットストリームのシンタックス構成の一例を示す図である。

【0025】

図４に示すように、第１に、基本メッシュビットストリームは、基本メッシュパッチに対応する制御情報の集合であるＢＰＨ（Ｂａｓｅ Ｐａｔｃｈ ｈｅａｄｅｒ：ベースパッチヘッダ）を含んでいてもよい。第２に、基本メッシュビットストリームは、ＢＰＨの次に、基本メッシュパッチを符号化した基本メッシュパッチデータを含んでいてもよい。

【0026】

以上のように、基本メッシュビットストリームは、各パッチデータに、１つずつＢＰＨが対応する構成となる。なお、図４の構成は、あくまで一例であり、各パッチデータに、ＢＰＨが対応する構成となっていれば、基本メッシュビットストリームの構成要素として、上述以外の要素が追加されてもよい。

【0027】

例えば、図４に示すように、基本メッシュビットストリームは、ＳＰＳ（シーケンスパラメータセット：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を含んでいてもよいし、フレームに対応する制御情報の集合であるＦＨ（Ｆｒａｍｅ Ｈｅａｄｅｒ：フレームヘッダ）を含んでもよいし、メッシュに対応する制御情報であるＭＨ（Ｍｅｓｈ Ｈｅａｄｅｒ：メッシュヘッダ）を含んでもよい。

【0028】

図５は、ＢＰＨのシンタックス構成の一例を示す図である。ここで、シンタックスの機能が同様であれば、図５に示すシンタックスメイト異なるシンタックス名が用いられても差し支えない。

【0029】

図５に示すＢＰＨのシンタックス構成において、Ｄｅｓｃｒｉｐｔｉｏｎ欄は、各シンタックスが、どのように符号化されているかを意味している。また、ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（ｎ）は、ｎビットのフラグであることを意味する。

【0030】

ＢＰＨは、基本メッシュパッチに含まれる基本面の個数を指定する制御信号（ｍｄｕ_ｆａｃｅ_ｃｏｕｎｔ_ｍｉｎｕｓ１）を少なくとも含む。

【0031】

また、ＢＰＨは、基本パッチごとに基本メッシュの細分割手法の種別を指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄ_ｉｄ）を少なくとも含む。

【0032】

また、ＢＰＨは、基本メッシュパッチごとに細分割数生成手法の種別を指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｎｕｍ_ｍｅｔｈｏｄ_ｉｄ）を含んでもよい。

【0033】

例えば、ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｎｕｍ_ｍｅｔｈｏｄ_ｉｄ＝０のとき、予測分割残差により基本面の細分割数を生成することと定義し、ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｎｕｍ_ｍｅｔｈｏｄ_ｉｄ＝１のとき、再帰的に基本面の細分割数を生成することと定義し、ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｎｕｍ_ｍｅｔｈｏｄ_ｉｄ＝２のとき、全ての基本面に対して同じ上限細分割回数だけ、再帰的に細分割を行うように定義してもよい。

【0034】

ＢＰＨは、予測分割残差により基本面の細分割数を生成するとき、インデックスｉ（ｉ＝０，…，ｍｄｕ_ｆａｃｅ_ｃｏｕｎｔ_ｍｉｎｕｓ１）ごとに基本面の予測分割残差を指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｒｅｓｕｉｄｕａｌｓ）を含んでもよい。

【0035】

ＢＰＨは、再帰的に基本面の細分割数を生成するとき、基本メッシュパッチごとに再帰的に行う細分割回数の上限を識別するための制御信号（ｍｄｕ_ｍａｘ_ｄｅｐｔｈ）を含んでもよい。

【0036】

ＢＰＨは、インデックスｉ（ｉ＝０，…，ｍｄｕ_ｆａｃｅ_ｃｏｕｎｔ_ｍｉｎｕｓ１）及びｊ（ｊ＝０，…，ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｄｅｐｔｈ_ｉｎｄｅｘ）ごとに、基本面を再帰的に細分割するか否かを指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｆｌａｇ）を含んでもよい。

【0037】

ＢＰＨは、一度の細分割あたりの再分割数を指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｎｕｍ）を含んでいてもよい。

【0038】

図６に示すように、基本メッシュ復号部２０２は、分離部２０２Ａと、イントラ復号部２０２Ｂと、メッシュバッファ部２０２Ｃと、接続情報復号部２０２Ｄと、インター復号部２０２Ｅとを備える。

【0039】

分離部２０２Ａは、基本メッシュビットストリームを、Ｉフレーム（参照フレーム）のビットストリームとＰフレームのビットストリームとに分類するように構成されている。

【0040】

（イントラ復号部２０２Ｂ）
イントラ復号部２０２Ｂは、例えば、非特許文献２に示すＤｒａｃｏを用いて、Ｉフレームのビットストリームから、Ｉフレームの頂点の座標及び接続情報を復号するように構成されている。

【0041】

図７は、イントラ復号部２０２Ｂの機能ブロックの一例を示す図である。

【0042】

図７に示すように、イントラ復号部２０２Ｂは、分離部２０２Ａと、任意イントラ復号部２０２Ｂ１と、整列部２０２Ｂ２とを有する。

【0043】

任意イントラ復号部２０２Ｂ１は、非特許文献２に示すＤｒａｃｏを含む任意の方式を用いて、Ｉフレームのビットストリームから、Ｉフレームの順序無し頂点の座標及び接続情報を復号するように構成されている。

【0044】

整列部２０２Ｂ２は、順序無し頂点を所定の順序に並び替えることによって頂点を出力するように構成されている。

【0045】

所定の順序として、例えば、モートンコード順を用いてもよく、ラスタスキャン順を用いてもよい。

【0046】

また、座標が一致する複数の頂点、すなわち重複頂点をまとめて、単一頂点としてから、所定の順序に並び替えてもよい。

【0047】

メッシュバッファ部２０２Ｃは、イントラ復号部２０２Ｂによって復号されたＩフレームの頂点の座標及び接続情報を蓄積するように構成されている。

【0048】

接続情報復号部２０２Ｄは、メッシュバッファ部２０２Ｃから取り出したＩフレームの接続情報をＰフレームの接続情報にするように構成されている。

【0049】

インター復号部２０２Ｅは、メッシュバッファ部２０２Ｃから取り出したＩフレームの頂点の座標とＰフレームのビットストリームから復号した動きベクトルとを加算することによって、Ｐフレームの頂点の座標を復号するように構成されている。

【0050】

本実施形態では、図８に示すように、Ｐフレームの基本メッシュの頂点とＩフレーム（参照フレーム）の基本メッシュの頂点との間で対応関係が存在する。ここで、インター復号部２０２Ｅによって復号される動きベクトルは、Ｐフレームの基本メッシュの頂点の座標とＩフレームの基本メッシュの頂点の座標との差分ベクトルである。

【0051】

（インター復号部２０２Ｅ）
図９は、インター復号部２０２Ｅの機能ブロックの一例を示す図である。

【0052】

図９に示すように、インター復号部２０２Ｅは、動きベクトル残差復号部２０２Ｅ１と、動きベクトルバッファ部２０２Ｅ２と、動きベクトル予測部２０２Ｅ３と、動きベクトル算出部２０２Ｅ４と、加算器２０２Ｅ５とを有する。

【0053】

動きベクトル残差復号部２０２Ｅ１は、ＰフレームのビットストリームからＭＶＲ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｉｄｕａｌ）を生成するように構成されている。

【0054】

ここで、ＭＶＲは、ＭＶ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）とＭＶＰ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）との差分を示す動きベクトル残差である。ＭＶは、対応するＩフレームの頂点の座標とＰフレームの頂点の座標との間の差分ベクトル（動きベクトル）である。ＭＶＰは、ＭＶを用いて対象の頂点のＭＶの予測した値（動きベクトルの予測値）である。

【0055】

動きベクトルバッファ部２０２Ｅ２は、動きベクトル算出部２０２Ｅ４によって出力されたＭＶを順次に保存するように構成されている。

【0056】

動きベクトル予測部２０２Ｅ３は、復号対象の頂点と接続している頂点について、動きベクトルバッファ部２０２Ｅ２から復号済みのＭＶを取得し、図１０に示すように、取得された復号済みのＭＶの全部又は一部を用いて、復号対象の頂点のＭＶＰを出力するように構成されている。

【0057】

動きベクトル算出部２０２Ｅ４は、動きベクトル残差復号部２０２Ｅ１で生成されたＭＶＲと動きベクトル予測部２０２Ｅ３から出力されたＭＶＰとを加算し、復号対象の頂点のＭＶを出力するように構成されている。

【0058】

加算器２０２Ｅ５は、対応関係を持つＩフレーム（参照フレーム）の復号済みの基本メッシュから得られた復号対象の頂点に対応する頂点の座標と、動きベクトル算出部２０２Ｅ３から出力された動きベクトルＭＶとを加算し、復号対象の頂点の座標を出力するように構成されている。

【0059】

以下、インター復号部２０２Ｅの各部の詳細について説明する。

【0060】

図１１に、動きベクトル予測部２０２Ｅ３の動作の一例を示すフローチャートを示す。

【0061】

図１１に示すように、ステップＳ１００１において、動きベクトル予測部２０２Ｅ３は、ＭＶＰ及びＮに０を設定する。

【0062】

ステップＳ１００２において、動きベクトル予測部２０２Ｅ３は、動きベクトルバッファ部２０２Ｅ２から、復号対象の頂点の周りの頂点のＭＶの集合を取得し、後続の処理が終わっていない頂点を特定し、Ｎｏに遷移し、全ての頂点について後続の処理が終わっている場合は、Ｙｅｓに遷移する。

【0063】

ステップＳ１００３において、動きベクトル予測部２０２Ｅ３は、処理対象の頂点のＭＶが、復号済みでなければ、Ｎｏに遷移し、処理対象の頂点のＭＶが、復号済みであれば、Ｙｅｓに遷移する。

【0064】

ステップＳ１００４において、動きベクトル予測部２０２Ｅ３は、ＭＶＰにＭＶを加算し、Ｎに１を加算する。

【0065】

ステップＳ１００５において、動きベクトル予測部２０２Ｅ３は、Ｎが０より大きければ、ＭＶＰをＮで除した結果を出力し、Ｎが０であれば、０を出力し、処理を終了する。

【0066】

すなわち、動きベクトル予測部２０２Ｅ３は、復号対象の頂点の周りにある頂点の復号済みの動きベクトルを平均することによって、復号対象のＭＶＰを出力するように構成されている。

【0067】

なお、動きベクトル予測部２０２Ｅ３は、かかる復号済みの動きベクトルの集合が空集合の場合、ＭＶＰを０とするように構成されていてもよい。

【0068】

動きベクトル算出部２０２Ｅ４は、式（１）によって、動きベクトル予測部２０２Ｅ３によって出力されたＭＶＰ及び動きベクトル残差復号部２０２Ｅ１によって生成されたＭＶＲから、復号対象の頂点のＭＶを算出するように構成されていてもよい。

【0069】

ＭＶ（ｋ）＝ＭＶＰ（ｋ）＋ＭＶＲ（ｋ） … （１）
ここで、ｋは、頂点のインデックスである。ＭＶ、ＭＶＲ及びＭＶＰは、ｘ成分、ｙ成分及びｚ成分を有するベクターである。

【0070】

かかる構成によれば、ＭＶＰを用いて、ＭＶの代わりにＭＶＲのみを符号化するため、符号化効率を高める効果が期待できる。

【0071】

加算器２０２Ｅ５は、動きベクトル算出部２０２Ｅ４によって算出された頂点のＭＶと、かかる頂点に対応する参照フレームの頂点の座標とを加算することによって、かかる頂点の座標を算出し、接続情報（Ｃｏｎｎｅｃｔｉｖｉｔｙ）を参照フレームのままにするように構成されている。

【0072】

具体的には、加算器２０２Ｅ５は、式（２）を用いて、ｋ番目の頂点の座標ｖ’_ｉ（ｋ）を算出するように構成されていてもよい。

【0073】

ｖ’_ｉ（ｋ）＝ｖ’_ｊ（ｋ）＋ＭＶ（ｋ） … （２）
ここで、ｖ’_ｉ（ｋ）は、復号対象のフレームで復号するｋ番目の頂点の座標であり、ｖ’_ｊ（ｋ）は、参照フレームの復号したｋ番目の頂点の座標であり、ＭＶ（ｋ）は、復号対象のフレームのｋ番目のＭＶであり、ｋ＝１，２…，Ｋである。

【0074】

また、復号対象のフレームの接続情報は、参照フレームの接続情報と同一にされる。

【0075】

なお、動きベクトル予測部２０２Ｅ３は、復号済みのＭＶを用いてＭＶＰを算出するため、復号の順番がＭＶＰに影響を及ぼす。

【0076】

かかる復号の順番は、参照フレームの基本メッシュの頂点の復号の順番にする。一般的に、一定の繰り返しパターンを用いて、起点となるエッジから基本面を１つずつ増やす復号手法であれば、復号した基本メッシュの頂点の順番が復号の過程で決められる。

【0077】

例えば、動きベクトル予測部２０２Ｅ３は、参照フレームの基本メッシュにおいて、Ｅｄｇｅｂｒｅａｋｅｒを用いて、頂点の復号の順番を決めてもよい。

【0078】

かかる構成によれば、頂点の座標の代わりに参照フレームからのＭＶを符号化するため、符号化効率を高める効果が期待できる。

【0079】

（インター復号部２０２Ｅの変更例１）
図１１に示すフローチャートで算出したＭＶＰは、復号済みの周りのＭＶの単純平均によって算出されているがが、重み付け平均によって算出されてもよい。

【0080】

すなわち、動きベクトル予測部２０２Ｅ３は、復号対象の頂点の周りにある頂点の復号済みの動きベクトルに対して、復号対象の頂点及び復号対象の頂点の周りにある頂点に対応する参照フレームの頂点間の距離に応じた重みで加重平均することで、復号対象の動きベクトルの予測値を出力するように構成されていてもよい。

【0081】

なお、動きベクトル予測部２０２Ｅ３は、復号対象の頂点の周りにある頂点の復号済みの動きベクトルの一部に対して、復号対象の頂点及び復号対象の頂点の周りにある頂点に対応する参照フレームの頂点間の距離に応じた重みで加重平均することで、復号対象の動きベクトルの予測値を出力するように構成されていてもよい。

【0082】

本変更例１では、インター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３は、以下の手順で、ＭＶＰを算出するように構成されている。

【0083】

第１に、動きベクトル予測部２０２Ｅ３は、重みを算出するように構成されている。

【0084】

図１２に、復号済みの周りの頂点との距離の和Ｔｏｔａｌ_Ｄを算出する動作の一例を示すフローチャートを示す。

【0085】

図１２に示すように、ステップＳ１１０１において、動きベクトル予測部２０２Ｅ３は、Ｔｏｔａｌ_Ｄに０を設定する。

【0086】

ステップＳ１１０２は、ステップＳ１００２と同じである。

【0087】

ステップＳ１１０３は、ステップＳ１００３と同じである。

【0088】

ステップＳ１１０４において、動きベクトル予測部２０２Ｅ３は、Ｔｏｔａｌ_Ｄに対してｅ（ｋ）を加算する。

【0089】

すなわち、動きベクトル予測部２０２Ｅ３は、復号対象の頂点の周りにある頂点の集合を参照して、復号済みの頂点の距離を加算する。

【0090】

本変更例１では、動きベクトル予測部２０２Ｅ３は、頂点間の対応関係が既知である参照フレームにおける距離を利用して重みを算出するように構成されている。

【0091】

つまり、図１２のステップＳ１１０４におけるｅ（ｋ）は、参照フレームにおける対応する頂点間の距離である。

【0092】

そして、動きベクトル予測部２０２Ｅ３は、式（３）及び（４）によって、重みｗ（ｋ）を算出するように構成されていてもよい。

【0093】

【数1】

ここで、Θは、復号対象の頂点を含んでいるメッシュの面における復号済みの各頂点の集合であり、ｅ（ｐ/ｋ）は、参照フレームで復号対象の頂点と頂点ｐ/ｋと対応する頂点との間の距離であり、ｗ（ｋ）は、頂点ｋにおける重みである。

【0094】

なお、動きベクトル予測部２０２Ｅ３は、距離に応じて事前に決めたルールで、重みを設定するように構成されていてもよい。

【0095】

例えば、動きベクトル予測部２０２Ｅ３は、ｅ（ｋ）が閾値ＴＨ１よりも小さい場合、重みを１に設定し、ｅ（ｋ）が閾値ＴＨ２よりも小さい場合、重みを０.５に設定しし、それ以外の場合、重みを０に設定する（重みを利用しない）ように構成されていてもよい。

【0096】

かかる構成によれば、復号対象の頂点との距離が近い場合に重みを大きくすることで、より高い精度でＭＶＰを算出することができるという効果が期待できる。

【0097】

第２に、動きベクトル予測部２０２Ｅ３は、ＭＶＰを参照するように構成されている。

【0098】

図１３に、重み付け平均を用いてＭＶＰを算出する動作の一例を示すフローチャートを示す。

【0099】

図１３に示すように、ステップＳ１２０１において、動きベクトル予測部２０２Ｅ３は、ＭＶＰ及びＮに０を設定する。

【0100】

ステップＳ１２０２は、ステップＳ１００２と同じである。

【0101】

ステップＳ１２０３は、ステップＳ１００３と同じである。

【0102】

ステップＳ１２０４において、動きベクトル予測部２０２Ｅ３は、ＭＶＰにｗ（ｋ）×ＭＶ（ｋ）を加算し、Ｎに１を加算する。

【0103】

ステップＳ１２０５は、ステップＳ１００５と同じである。

【0104】

或いは、動きベクトル予測部２０２Ｅ３は、式（５）によって、ＭＶＰを算出するように構成されていてもよい。

【0105】

【数2】

ここで、Θは、復号対象の頂点を含んでいるメッシュの面における復号済みの各頂点の集合である。

【0106】

かかる構成によれば、重み付け平均で、より高い精度のＭＶＰを算出することができるため、ＭＶＲの値を小さくしてゼロ付近に集中させることにより、符号化効率を高めるという効果が期待できる。

【0107】

（インター復号部２０２Ｅの変更例２）
本変更例２では、動きベクトル予測部２０２Ｅ３は、周りの複数のＭＶを用いてＭＶＰを算出するのではなく、１つのＭＶを選択するように構成されている。

【0108】

すなわち、動きベクトル予測部２０２Ｅ３は、復号対象の頂点と接続している頂点のＭＶとして、動きベクトルバッファ部２０２Ｅ２に蓄積されている復号済みのＭＶのうち最近傍の頂点のＭＶを選択するように構成されていてもよい。

【0109】

ここで、動きベクトル予測部２０２Ｅ３は、動きベクトルバッファ部２０２Ｅ２に蓄積されている復号済みのＭＶの中から、復号対象の頂点と接続している頂点のＭＶから成る候補リストを構築し、Ｐフレーム（復号対象のフレーム）のビットストリームから復号したインデックスに基づいて、候補リストから動きベクトルを選択するように構成されていてもよい。

【0110】

図１４に、ＭＶＰとして候補ＭＶの集合からＭＶを選択する動作の一例を示すフローチャートを示す。

【0111】

図１４に示すように、ステップＳ１３０１において、動きベクトル予測部２０２Ｅ３は、ＰフレームのビットストリームからリストＩＤを復号する。

【0112】

ステップＳ１３０２において、動きベクトル予測部２０２Ｅ３は、候補ＭＶの中から、リストＩＤを付けるＭＶをＭＶＰとして選択する。

【0113】

なお、図１３における候補ＭＶの集合では、復号済みの周りのＭＶ及びその組み合わせで算出されたＭＶが一定の順番で並んでいる。

【0114】

図１５に、かかる候補ＭＶの集合を作成する動作の一例を示すフローチャートを示す。

【0115】

図１５に示すように、ステップＳ１４０１において、動きベクトル予測部２０２Ｅ３は、復号対象の頂点の周りの頂点のＭＶの集合を参照して、復号対象の頂点の周りの全ての頂点に対する処理が完了しているか否かについて判定する。

【0116】

かかる処理が完了している場合、本動作は、終了し、かかる処理が完了していない場合、本動作は、ステップＳ１４０２に進む。

【0117】

ステップＳ１４０２において、動きベクトル予測部２０２Ｅ３は、対象の頂点のＭＶが復号されているか否かについて判定する。

【0118】

かかるＭＶが復号されている場合、本動作は、ステップＳ１４０３に進み、かかるＭＶが復号されていない場合、本動作は、ステップＳ１４０１に戻る。

【0119】

ステップＳ１４０３において、動きベクトル予測部２０２Ｅ３は、かかるＭＶが他の復号済みのＭＶと重複するか否かについて判定する。

【0120】

重複する場合、本動作は、ステップＳ１４０１に戻り、重複していない場合、本動作は、ステップS１４０４に進む。

【0121】

動きベクトル予測部２０２Ｅ３は、ステップＳ１４０４において、かかるＭＶに対して付与するリストＩＤを決定し、ステップＳ１４０５において、候補ＭＶの集合に含める。

【0122】

なお、図１５において、動きベクトル予測部２０２Ｅ３は、リストＩＤを決定する際に、リストＩＤを順番に１つずつ増やしてもよいし、参照フレームで復号対象の頂点と頂点ｋに対応する頂点との間の距離（式（３）のｅ（ｋ））の順でリストＩＤを決定してもよい。

【0123】

かかる構成によれば、候補ＭＶの１つをＭＶＰとして選択することが、場合によって平均よりＭＶと近いことがあるため、その場合には、符号化効率を高めるという効果が期待できる。

【0124】

更に、動きベクトル予測部２０２Ｅ３は、上述の候補ＭＶの中から、連続するＭＶ０及びＭＶ１を平均したＭＶを、新たな候補ＭＶとしてリストの中に追加するように構成されていてもよい。動きベクトル予測部２０２Ｅ３は、かかるＭＶの追加先としては、表１に示すように、ＭＶ０及びＭＶ１の後にする。

【0125】

【表1】

かかる構成によれば、選択した候補ＭＶが、復号対象の頂点のＭＶとより近い可能性を高めるという効果が期待できる。

【0126】

更に、動きベクトル予測部２０２Ｅ３は、リストＩＤを符号化せず、候補ＭＶの集合から最も近傍の頂点のＭＶを選択するように構成されていてもよい。かかる構成によれば、符号化効率を更に高めるという効果が期待できる。

【0127】

（インター復号部２０２Ｅの変更例３）
上述の実施例及び変更例１～２では、周りの頂点は、復号対象の頂点と接続している頂点であった。

【0128】

これに対して、本変更例３では、動きベクトル予測部２０２Ｅ３は、平行四辺形予測によって、すなわち、復号対象の頂点と直接に接続していない頂点も利用して、ＭＶＰを算出するように構成されている。

【0129】

図１６に示すように、平行四辺形予測では、復号対象の頂点Ａと共有エッジＢＣを持つ復号済みの面の反対側の頂点Ｄも利用する。

【0130】

また、復号対象の頂点Ａの共有エッジは、ＡＢ以外に、ＣＥ及びＢＧがある。したがって、平行四辺形予測では、同様に、頂点Ｆ及びＨも利用できる。

【0131】

例えば、動きベクトル予測部２０２Ｅ３は、図１６に示す面ＢＣＤを用いて、式（６）で、ＭＶＰを算出するように構成されていてもよい。

【0132】

ＭＶＰ＝ＭＶ（Ｂ）＋ＭＶ（Ｃ）－ＭＶ（Ｄ） … （６）
ここで、ＭＶ（Ｘ）は、頂点Ｘの動きベクトルであり、ＭＶＰは、復号対象の頂点Ａの動きベクトル予測値である。

【0133】

また、上述の共有エッジが複数ある時に、動きベクトル予測部２０２Ｅ３は、それぞれのＭＶＰを平均してもよいし、面の重心が最も近い面を選択してもよい。

【0134】

（インター復号部２０２Ｅの変更例４）
本変更例では、動きベクトル残差復号部２０２Ｅ１によって生成されたＭＶＲは、そのままではなく、ＭＶＲを整数表現する際の量子化幅が制御されるように構成されている。

【0135】

本変更例では、動きベクトル残差復号部２０２Ｅ１は、ＭＶＲの量子化幅を制御する制御情報として、ａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇ、ａｄａｐｔｉｖｅ_ｂｉｔ_ｆｌａｇ及び精度制御パラメータを復号するように構成されている。

【0136】

すなわち、動きベクトル残差復号部２０２Ｅ１は、基本メッシュ全体のａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇ及び基本パッチ毎のａｄａｐｔｉｖｅ_ｂｉｔ_ｆｌａｇを復号するように構成されている。

【0137】

ここで、ａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇ及びａｄａｐｔｉｖｅ_ｂｉｔ_ｆｌａｇは、上述のＭＶＲの量子化幅の調整を行うか否かについて示すフラグであり、０又は１のいずれかの値を採る。

【0138】

ここで、動きベクトル残差復号部２０２Ｅ１は、ａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇが有効（すなわち、１）である場合のみ、ａｄａｐｔｉｖｅ_ｂｉｔ_ｆｌａｇを復号する。

【0139】

また、動きベクトル残差復号部２０２Ｅ１は、ａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇが無効（すなわち、０）である場合、ａｄａｐｔｉｖｅ_ｂｉｔ_ｆｌａｇは無効（すなわち、０）とみなす。

【0140】

図１７に、に基本メッシュビットストリームを復号して生成した制御情報であるａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇ、ａｄａｐｔｉｖｅ_ｂｉｔ_ｆｌａｇ及び精度制御パラメータから、復号されたＭＶＲの量子化幅を制御する動作の一例を示すフローチャートを示す。

【0141】

図１７に示すように、ステップＳ１６０１において、動きベクトル予測部２０２Ｅ３は、ａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇが０であるか否かについて判定する。

【0142】

メッシュ全体のａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇが０であると判定された場合、本動作は、終了する。

【0143】

一方、メッシュ全体のａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇが１であると判定された場合、本動作は、ステップＳ１６０２に進む。

【0144】

ステップＳ１６０２において、動きベクトル予測部２０２Ｅ３は、フレーム内に未処理のパッチが存在するか否かについて判定する。

【0145】

ステップＳ１６０３において、動きベクトル予測部２０２Ｅ３は、パッチごとに復号されるａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇが０であるか否かについて判定する。

【0146】

ａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇが０であると判定された場合、本動作は、ステップＳ１６０１に戻る。

【0147】

一方、ａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇが１であると判定された場合、本動作は、ステップＳ１６０４に進む。

【0148】

ステップＳ１６０４において、動きベクトル予測部２０２Ｅ３は、後述の精度制御パラメータに基づいて、ＭＶＲの量子化幅を制御する。

【0149】

なお、このように量子化幅を制御されたＭＶＲの値を「ＭＶＲＱ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｉｄｕａｌ Ｑｕａｎｔｉｚａｔｉｏｎ）」と呼ぶ。

【0150】

ここで、動きベクトル予測部２０２Ｅ３は、例えば、表２のような表を参照して、基本メッシュビットストリーム復号して生成した量子化幅制御パラメータに対応するＭＶＲの量子化幅を用いるように構成されていてもよい。

【0151】

【表2】

かかる構成によれば、ＭＶＲ量子化幅の制御により、符号化効率を高めることができるという効果が期待できる。更に、メッシュレベルのａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇ及びパッチレベルのａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇの階層的な仕組みにより、ＭＶＲ量子化幅の制御をしない時に無駄なビットを最小化することができるという効果が期待できる。

【0152】

（インター復号部２０２Ｅの変更例５）
動きベクトル残差復号部２０２Ｅ１によって生成されたＭＶＲを符号化しない場合、誤差が生じる。本変更例５では、かかる誤差を補正するため、離散的な動きベクトル差分を符号化する。

【0153】

具体的には、図１８に示すように、ＭＶＲは、ｘ軸、ｙ軸及びｚ軸の６方向において、１、２、４及び８の大きさを採り得る。かかる符号化の一例について、表３及び表４に示す。

【0154】

また、複数の方向の組み合わせで、ＭＶＲの符号化を行ってもよい。例えば、ｘ軸の＋方向の２、ｙ軸の＋方向の１の順番で補正してもよい。

【0155】

【表3】

【0156】

【表4】

かかる構成によれば、ＭＶＲの符号化よりも離散的な動きベクトル差分の符号化効率が高いという効果が期待できる。

【0157】

以降で、インター復号部２０２Ｅの更なる変更例について説明する。

【0158】

上述のインター復号部２０２Ｅの更なる変更例では、上述のインター復号部２０２Ｅを実施する前に、以下の機能ブロックを追加するように構成されている。

【0159】

具体的には、図１９に示すように、インター復号部２０２Ｅは、図９に示す構成に加えて、重複頂点探索部２０２Ｅ６と、重複頂点判別部２０２Ｅ７と、動きベクトル取得部２０２Ｅ８と、Ａｌｌ ｓｋｉｐ ｍｏｄｅシングル判別部２０２Ｅ９と、Ｓｋｉｐ ｍｏｄｅシングル判別部２０２Ｅ１０とを備えている。

【0160】

Ａｌｌ ｓｋｉｐ ｍｏｄｅシングル判別部２０２Ｅ９は、Ａｌｌ ｓｋｉｐ ｍｏｄｅシングルがＹｅｓ及びＮｏのいずれを示すかについて判別するように構成されており、Ｓｋｉｐ ｍｏｄｅシングル判別部２０２Ｅ１０は、ｓｋｉｐ ｍｏｄｅシングルＹｅｓ及びＮｏのいずれを示すかについて判別するように構成されている。

【0161】

ここで、Ａｌｌ ｓｋｉｐ ｍｏｄｅシグナルが、Ｐフレームのビットストリームの最初にあり、少なくとも２値を持ち、１ビット又は１ビット以上である。

【0162】

その１つ（Ａｌｌ ｓｋｉｐ ｍｏｄｅシグナルが、Ｙｅｓを示す場合、例えば、１である場合）は、Ｐフレームの全ての重複頂点の動きベクトルをビットストリームから復号せず、重複された頂点の動きベクトルをコピーするシグナルである。

【0163】

もう１つ（Ａｌｌ ｓｋｉｐ ｍｏｄｅシグナルが、Ｎｏを示す場合、例えば、０である場合）は、Ｐフレームの各頂点で異なる処理を行うシグナルである。更に、もう１つは、他の値を持ってもよい。例えば、もう１つは、全ての重複頂点の動きベクトルについて、動きベクトル取得部２０２Ｅ８における処理を実施せず、図９に示すインター復号部２０２Ｅと同様の処理を行うシングルである。

【0164】

ここで、Ｓｋｉｐ ｍｏｄｅシグナルは、Ａｌｌ ｓｋｉｐ ｍｏｄｅシグナルがＮｏを示す場合、重複頂点毎に２値を持ち、１ビットである。

【0165】

Ｓｋｉｐ ｍｏｄｅシグナルは、Ａｌｌ ｓｋｉｐ ｍｏｄｅシグナルがＹｅｓを示す場合（例えば、１である場合）、当該頂点の動きベクトルをビットストリームから復号せず、重複された頂点の動きベクトルをコピーするシグナルルである。

【0166】

Ｓｋｉｐ ｍｏｄｅシグナルは、Ａｌｌ Ｓｋｉｐ ｍｏｄｅシグナルがＮｏを示す場合（例えば、０である場合）、当該頂点の動きベクトルについて動きベクトル取得部２０２Ｅ８における処理を実施せず、図９に示すインター復号部２０２Ｅと同様の処理を行うシングルである。

【0167】

なお、上述のＳｋｉｐ ｍｏｄｅシグナルは、ビットストリームから直接に復号されてもよいし、ビットストリームから図９に示すインター復号部２０２Ｅと同様の処理を行う重複頂点を特定するデータ（例えば、当該重複頂点のインデックス）を復号し、かかるデータからＳｋｉｐ ｍｏｄｅシグナルを算出してもよい。

【0168】

更に、Ｓｋｉｐ ｍｏｄｅシグナルを算出せず、上述の図９に示すインター復号部２０２Ｅと同様の処理を行う重複頂点を特定するデータ（例えば、重複頂点のインデックス）を用いて、上述の場合と同様に、当該頂点の動きベクトル復号方法を決めてもよい。

【0169】

重複頂点探索部２０２Ｅ６は、復号した参照フレームの基本メッシュの幾何情報から、座標が一致する頂点（以下、重複頂点と呼ぶ）のインデックスを探索してバッファ（図示せず）に保存するように構成されている。

【0170】

具体的には、重複頂点探索部２０２Ｅ６の入力は、復号した参照フレームの基本メッシュの各頂点のインデックス（復号順）及び位置座標である。

【0171】

また、重複頂点探索部２０２Ｅ６の出力は、重複頂点が存在する頂点のインデックス（ｖｉｎｄｅｘ０）及びかかる重複頂点のインデックス（ｖｉｎｄｅｘ１）のペアのリストである。ここで、かかるペアのリストは、ｉｎｄｅｘ０の順で、バッファｒｅｐＶｅｒｔに保存される。

【0172】

また、ｖｉｎｄｅｘ１の頂点が、ｖｉｎｄｅｘ０の前に復号されたため、ｖｉｎｄｅｘ０＞ｖｉｎｄｅｘ１の関係となる。

【0173】

なお、参照フレームの基本メッシュで重複頂点が分かる方法として、重複頂点が存在する頂点に対して、特別なシグナルにより、位置座標ではなく、重複頂点のインデックスを復号する。かかる特別なシグナルにより、該当頂点のインデックス及び重複頂点のインデックスのペアを復号順で保存できる。

【0174】

重複頂点判別部２０２Ｅ７は、該当頂点が復号した頂点の中に重複頂点があるかどうかを判別するように構成されている。

【0175】

ここで、重複頂点判別部２０２Ｅ７は、該当頂点のインデックスが、重複頂点が存在する頂点のインデックスの中のものであれば、復号した頂点の中に重複頂点があると判別する。なお、復号順で該当頂点が来るので、上述の探索が不要である。

【0176】

ここで、重複頂点判別部２０２Ｅ７が、該当頂点の重複頂点が存在しないと判断する場合は、図９に示すインター復号部２０２Ｅと同様の処理が行われる。

【0177】

動きベクトル取得部２０２Ｅ８は、該当頂点の重複頂点が存在する場合に、Ａｌｌ ｓｋｉｐ ｍｏｄｅシグナルがＹｅｓを示す場合、或いは、Ａｌｌ ｓｋｉｐ ｍｏｄｅシグナルがＮｏを示す場合、該当頂点のＳｋｉｐ ｍｏｄｅシグナルがＹｅｓを示す場合、復号した動きベクトルを保存する動きベクトルバッファ部２０２Ｅ２から重複頂点と同じインデックスを持つ頂点の動きベクトルを取得し、該当頂点の動きベクトルにするように構成されている。

【0178】

ここで、Ａｌｌ ｓｋｉｐ ｍｏｄｅシグナルがＮｏを示し、該当頂点のＳｋｉｐ ｍｏｄｅシグナルがＮｏを示す場合は、動きベクトル取得部２０２Ｅ８の代わりに、図９に示すインター復号部２０２Ｅと同様の処理が行われる。

【0179】

かかる構成によれば、重複頂点が存在する頂点に対して動きベクトルの復号計算及び符号量の削減効果が期待できる。

【0180】

上述のインター復号部２０２Ｅの更なる変更例では、インター復号部２０２Ｅは、参照フレームの復号済みの基本メッシュから、参照フレームの頂点と復号対象のフレームの頂点との間の対応関係を取得する。

【0181】

そして、インター復号部２０２Ｅは、かかる対応関係に基づいて、復号対象のフレームの頂点の接続情報について符号化せずに参照フレームの復号済みの頂点の接続情報と同一とするように構成されている。

【0182】

また、インター復号部２０２Ｅは、参照フレームの頂点の復号順で、復号対象のフレームの基本メッシュをシグナルに基づいて２種類の領域に分割する。第１領域では、インター処理を用いて復号し、第２領域では、イントラ処理を用いて復号する。

【0183】

なお、上述の領域は、参考フレームの基本メッシュを復号する際に、復号順上に連続する複数の頂点によって形成される領域であると定義する。

【0184】

また、シグナルを用いて、復号対象のフレームの基本メッシュの頂点の座標を復号する手段は、以下の２つの実装が想定される。

【0185】

（手段１）
手段１では、シグナルは、ｖｅｒｔｅｘ_ｉｄｘ１、ｖｅｒｔｅｘ_ｉｄｘ２及びｉｎｔｒａ_ｆｌａｇになる。

【0186】

ここで、ｖｅｒｔｅｘ_ｉｄｘ１及びｖｅｒｔｅｘ_ｉｄｘ２は、頂点の復号順のインデックス（頂点インデックス）であり、ｉｎｔｒａ_ｆｌａｇは、上述のインター復号手法であるかイントラ復号手法であるかについて示すフラグである。かかるシグナルは、複数あってもよい。

【0187】

すなわち、ｖｅｒｔｅｘ_ｉｄｘ１及びｖｅｒｔｅｘ_ｉｄｘ２は、上述の一部の領域（第１領域及び第２領域）の開始位置及び終了位置を規定する頂点インデックスである。

【0188】

（手段２）
手段２では、Ｅｄｇｅｂｒｅａｋｅｒで参照フレームの基本メッシュの接続情報を復号し、頂点の座標の復号順をＥｄｇｅｂｒｅａｋｅｒで決めた順番にするという前提がある。

【0189】

図２０は、Ｅｄｇｅｂｒｅａｋｅｒを用いて、接続情報及び頂点の順番を決める動作の一例を示す図である。

【0190】

図２０において、矢印は、接続情報の復号順を示し、数字は、頂点の復号順を示し、同じ線種の矢印によって同じ領域を規定している。

【0191】

手段２では、シグナルは、インター復号手法であるかイントラ復号手法であるかについて示すフラグであるｉｎｔｒａ_ｆｌａｇのみになる。

【0192】

すなわち、手段２では、インター復号部２０２Ｅは、Ｅｄｇｅｂｒｅａｋｅｒを用いて、第１領域及び第２領域に分割するように構成されている。

【0193】

＜細分割部２０３＞
細分割部２０３は、制御情報によって示された細分割手法により、基本メッシュ復号部２０２によって復号された基本メッシュから、追加された細分割頂点及びそれらの接続情報を生成して出力するように構成されている。

【0194】

ここで、基本メッシュ、追加された細分割頂点、及び、それらの接続情報を、併せて「細分割メッシュ」と呼ぶ。

【0195】

細分割部２０２は、基本メッシュビットストリームを復号して生成した制御情報であるｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄ_ｉｄから、細分割手法の種別を特定するように構成されている。

【0196】

以下、図３Ａ及び図３Ｂを参照して、細分割部２０２について説明する。

【0197】

図３Ａ及び図３Ｂは、基本メッシュから細分割頂点を生成する動作の一例について説明するための図である。

【0198】

図３Ａは、５つの頂点で構成された基本メッシュの一例について示す図である。

【0199】

ここで、細分割には、例えば、各基本面において各辺の中点同士を接続するＭｉｄ-ｅｄｇｅ分割法を用いてもよい。これによって、ある基本面は、４つの面に分割されることになる。

【0200】

図３Ｂは、５つの頂点で構成された基本メッシュを分割した細分割メッシュの一例を示す。図３Ｂに示す細分割メッシュでは、元の５つの頂点（黒丸）に加えて８つの細分割頂点（白丸）が生成されている。

【0201】

このように生成した細分割頂点ごとに、変位量復号部２０６で変位量を復号することによって、符号化性能の向上が期待できる。

【0202】

また、各パッチで異なる細分割方法を適用してもよい。これによって、変位量復号部２０６で復号される変位量をパッチごとに適応的に変化させ、符号化性能の向上が期待できる。分割したパッチの情報は、制御情報であるｐａｔｃｈ_ｉｄとして受け取られる。

【0203】

以下、図２１を参照して、細分割部２０３について説明する。図２２は、細分割部２０３の機能ブロックの一例について示す図である。

【0204】

図２２に示すように、細分割部２０３は、基本メッシュ細分割部２０３Ａと細分割メッシュ調整部２０３Ｂとを有する。

【0205】

（基本メッシュ細分割部２０３Ａ）
基本メッシュ細分割部２０３Ａは、入力された基本メッシュ及び基本メッシュの分割情報に基づき、基本面及び基本パッチごとの分割数（細分割数）を算出し、かかる分割数に基づいて基本メッシュを細分割し、細分割面を出力するように構成されている。

【0206】

すなわち、基本メッシュ細分割部２０３Ａは、基本面及び基本パッチ単位で、上述の分割数を変えることができるように構成されていてもよい。

【0207】

ここで、基本面は、基本メッシュを構成する面であり、基本パッチは、いくつかの基本面の集合である。

【0208】

また、基本メッシュ細分割部２０３Ａは、基本面の細再分割数を予測し、予測した基本面の細分割数に対して予測分割数残差を加算することで、基本面の細分割数を算出するように構成されていてもよい。

【0209】

また、基本メッシュ細分割部２０３Ａは、基本面の隣接基本面の細分割数に基づいて、基本面の細分割数を算出するように構成されていてもよい。

【0210】

また、基本メッシュ細分割部２０３Ａは、直前に蓄積された基本面の細分割数に基づき、基本面の細分割数を算出するように構成されていてもよい。

【0211】

また、基本メッシュ細分割部２０３Ａは、基本面を構成する３辺を分割する頂点を生成し、生成した頂点を接続することで、基本面を細分割するように構成されていてもよい。

【0212】

図２２に示すように、基本メッシュ細分割部２０３Ａの後段に、後述の細分割メッシュ調整部を備える２０３Ｂを備えている。

【0213】

以下、図２２～図２４を用いて、基本メッシュ細分割部２０３Ａの処理の一例について説明する。

【0214】

図２２は、基本メッシュ細分割部２０３Ａの機能ブロックの一例を示す図であり、図２４は、基本メッシュ細分割部２０３Ａの動作の一例を示すフローチャートである。

【0215】

図２２に示すように、基本メッシュ細分割部２０３Ａは、基本面分割数バッファ部２０３Ａ１と、基本面分割数参照部２０３Ａ２と、基本面分割数予測部２０３Ａ３と、加算部２０３Ａ４と、基本面分割部２０３Ａ５とを有する。

【0216】

基本面分割数バッファ部２０３Ａ１は、基本面の分割数を含む基本面の分割情報を格納しており、基本面分割数参照部２０３Ａ２に対して基本面の分割情報を出力するように構成されている。

【0217】

ここで、基本面分割数バッファ部２０３Ａ１のサイズは、１とし、基本面分割数参照部２０３Ａ２に対して、直前に蓄積された基本面の分割数を出力するように構成されていてもよい。

【0218】

すなわち、基本面分割数バッファ部２０３Ａ１のサイズを１にすることで、最後に復号した細かい分割数（直前に復号した細分割数）のみを参照するように構成されていてもよい。

【0219】

基本面分割数参照部２０３Ａ２は、復号対象の基本面に対して隣接する基本面が存在していない場合、或いは、復号対象の基本面に対して隣接する基本面が存在しているが分割数が確定していない場合は、基本面分割数予測部２０３Ａ３に対して、参照不可を出力するように構成されている。

【0220】

一方、基本面分割数参照部２０３Ａ２は、復号対象の基本面に対して隣接する基本面が存在し且つ分割数が確定している場合は、基本面分割数予測部２０３Ａ３に対して、かかる分割数を出力するように構成されている。

【0221】

基本面分割数予測部２０３Ａ３は、入力された１つ以上の分割数に基づいて基本面の分割数（細分割数）を予測し、加算部２０３Ａ４に対して、予測した分割数（予測分割数）を出力するように構成されている。

【0222】

ここで、基本面分割数予測部２０３Ａ３は、基本面分割数参照部２０３Ａ２から参照不可のみが入力された場合は、加算部２０３Ａ４に対して、０を出力するように構成されている。

【0223】

なお、基本面分割数予測部２０３Ａ３は、１つ以上の分割数が入力された場合、入力された分割数の平均値や最大値や最小値や最頻値等の統計値のいずれかを用いて、予測分割数を生成するように構成されていてもよい。

【0224】

なお、基本面分割数予測部２０３Ａ３は、１つ以上の分割数が入力された場合、最も隣接する面の分割数を予測分割数として生成するように構成されていてもよい。

【0225】

加算部２０３Ａ４は、予測残差ビットストリームから復号した予測分割数残差と基本面分割数予測部２０３Ａ３から取得した予測分割数とを加算することによって得られた分割数を、基本面分割部２０３Ａ５に対して出力するように構成されている。

【0226】

基本面分割部２０３Ａ５は、加算部２０３Ａ４から入力された分割数に基づき、基本面を細分割するように構成されている。

【0227】

図２３は、基本面を９分割したケースの一例である。図２３を参照して、基本面分割部２０３Ａ５による基本面の分割方法について説明する。

【0228】

基本面分割部２０３Ａ５は、基本面を構成する辺ＡＢに対してＮ等分（Ｎ＝３）する点Ａ_１，…，Ａ_（Ｎ－１）を生成する。

【0229】

同様に、基本面分割部２０３Ａ５は、辺ＢＣや辺ＣＡについてもＮ等分し、それぞれ点Ｂ_１，…，Ｂ_（Ｎ－１）、Ｃ_１，…，Ｃ_（Ｎ－１）を生成する。

【0230】

以降、辺ＡＢ、辺ＢＣ及び辺ＣＡ上の点を「辺分割点」と呼ぶ。

【0231】

基本面分割部２０３Ａ５は、全てのｉ（ｉ＝１，２，…，Ｎ－１）に対して、辺Ａ_ｉ Ｂ_（Ｎ-ｉ），Ｂ_ｉ Ｃ_（Ｎ－ｉ），Ｃ_ｉ Ａ_（Ｎ－ｉ）を生成し、Ｎ^２個の細分割面を生成する。この分割方法を、以降、Ｎ^２分割法と呼ぶ。Ｎ^２分割法は、Ｎ＝２のときＭｉｄ－ｅｄｇｅ分割法と等価となる。
次に、図２４を参照して、基本メッシュ細分割部２０３Ａの処理手順について説明する。

【0232】

ステップＳ２２０１において、最後の基本面に対して再分割処理が完了したか否かを判定する。処理が完了した場合終了し、そうでない場合はステップS２２０２に進む。

【0233】

ステップＳ２２０２において、基本メッシュ細分割部２０３Ａは、Ｄｅｐｔｈ＜ｍｄｕ_ｍａｘ_ｄｅｐｔｈの判定を行う。

【0234】

ここで、Ｄｅｐｔｈは、現在の深度を表す変数で、初期値は０であり、ｍｄｕ_ｍａｘ_ｄｅｐｔｈは、基本面ごとに決められた最大深度を表す。

【0235】

ステップＳ２２０２における条件を満たす場合は、本処理手順は、ステップＳ２２０３に進み、かかる条件を満たさない場合は、本処理手順は、ステップＳ２２０１に戻る。

【0236】

ステップＳ２２０３において、基本メッシュ細分割部２０３Ａは、現在の深度におけるｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｆｌａｇが１であるか否かについて判定する。

【0237】

Ｙｅｓの場合、本処理手順は、ステップＳ２２０１に戻り、Ｎｏの場合、本処理手順は、ステップＳ２２０４に進む。

【0238】

ステップＳ２２０４において、基本メッシュ細分割部２０３Ａは、基本面内の全ての細分割面をさらに細分割する。

【0239】

ここで、基本メッシュ細分割部２０３Ａは、基本面に対して一度も細分割処理が行われていない場合は、基本面を細分割する。

【0240】

なお、細分割の方法については、ステップＳ２２０４で説明した方法と同様である。

【0241】

具体的には、基本面が一度も細分割されていない場合は、基本面に対して図２３のように細分割を行う。少なくとも１回は細分割されている場合は、細分割面をＮ^２個に細分割する。図２３を例にすると、頂点Ａ_２と頂点Ｂと頂点Ｂ_１とからなる面を、基本面の分割のときと同様にＮ^２分割法を用いて、Ｎ^２個の面を生成する。

【0242】

細分割処理が終了したとき、本処理手順は、ステップＳ２２０５に進む。

【0243】

ステップＳ２２０５において、基本メッシュ細分割部２０３Ａは、Ｄｅｐｔｈに１を加算し、本処理手順は、ステップＳ２２０２に戻る。

【0244】

また、基本メッシュ細分割部２０３Ａは、全ての基本面に対して同じ上限細分割回数ｍｄｕ_ｍａｘ_ｄｅｐｔｈだけ細分割するように細分割処理を行ってもよい。このとき、一回あたりの細分割処理は、細分割数ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｎｕｍに基づき、Ｎ^２分割法を用いて細分割を行うように構成されていてもよい。（細分割メッシュ調整部２０３Ｂ）
次に、細分割メッシュ調整部２０３Ｂによって行われる処理の具体例について説明する。以下、図２４～２８を用いて細分割メッシュ調整部２０３Ｂによって行われる処理の一例について説明する。

【0245】

図２５は、細分割メッシュ調整部２０３Ｂの機能ブロックの一例を示す図である。

【0246】

図２５に示すように、細分割メッシュ調整部２０３Ｂは、辺分割点移動部７０１と、細分割面分割部７０２とを有する。

【0247】

（辺分割点移動部７０１）
辺分割点移動部７０１は、入力された初期細分割面に対して、基本面の辺分割点を隣接基本面の辺分割点のいずれかに移動し、細分割面を出力するように構成されている。

【0248】

図２６は、基本面ＡＢＣ上の辺分割点を移動した例である。例えば、図２６に示すように、辺分割点移動部７０１は、基本面ＡＢＣの辺分割点を最も近い隣接基本面の辺分割点に移動するように構成されていてもよい。

【0249】

（細分割面分割部７０２）
細分割面分割部７０２は、入力された細分割面を再度細分割し、復号細分割面を出力するように構成されている。

【0250】

図２７は、基本面内の細分割面Ｘに対して再度細分割が行われたケースの一例を示す図である。

【0251】

図２７に示すように、細分割面分割部７０２は、細分割面を構成する頂点と隣接基本面の辺分割点とを接続することで、基本面内に新たな細分割面を生成するように構成されていてもよい。

【0252】

図２８は、全ての細分割面に対して、上述の細分割処理を行ったケースの一例を示す図である。

【0253】

メッシュ復号部２０４は、細分割部２０３で生成された細分割メッシュ及び変位量復号部２０６で復号された変位量を用いて、復号メッシュを生成して出力するように構成されている。

【0254】

具体的には、メッシュ復号部２０４は、各細分割頂点に対して、対応する変位量を加算することによって、復号メッシュを生成するように構成されている。ここで、各変位量がどの細分割頂点に対応するかについての情報は、制御情報によって示される。

【0255】

パッチ統合部２０５は、メッシュ復号部２０６で生成された復号メッシュを、複数のパッチ分だけ統合して出力するように構成されている。

【0256】

ここで、パッチの分割方法は、メッシュ符号化装置１００によって定義される。例えば、パッチの分割方法は、各基本面に対して法線ベクトルを算出しておき、隣接する基本面の中で最も法線ベクトルが類似した基本面を選択し、両基本面を同じパッチとしてまとめ、かかる手順を、次の基本面に対して順次繰り返すように構成されていてもよい。

【0257】

映像復号部２０７は、映像符号化によってテクスチャを復号して出力するように構成されている。例えば、映像復号部２０７は、非特許文献１のＨＥＶＣを用いてもよい。

【0258】

＜変位量復号部２０６＞
変位量復号部２０６は、変位量ビットストリームを復号して変位量を生成して出力するように構成されている。

【0259】

図３Ｂの例では、８個の細分割頂点が存在するため、変位量復号部２０６は、各細分割頂点に対してスカラー或いはベクトルで表現される変位量を８個定義するように構成されている。

【0260】

以下、図２９を参照して、変位量復号部２０６について説明する。図２９は、変位量復号部２０６の機能ブロックの一例について示す図である。
図２９に示すように、変位量復号部２０６は、制御情報復号部２０６Ａと、算術復号部２０６Ｂと、コンテキスト値更新部２０６Ｃと、コンテキストバッファ…２０６Ｄと、コンテキスト選択部２０６Ｅと、多値化部２０６Ｆと、係数レベル値復号部Ｆ２と、インター予測部２０６Ｇと、フレームバッファ２０６Ｈと、加算器２０６Ｉと、逆量子化部２０６Ｊと、変位量予測加算部２０６Ｋとを備えている。

【0261】

以下、図３０を参照して、変位量ビットストリームの構成の一例について説明する。図３０は、変位量ビットストリームの構成の一例について示す図である。

【0262】

図３０に示すように、第１に、変位量ビットストリームは、変位量の復号に関する制御情報の集合であるＤＰＳ（Ｄｉｓｐｌａｃｅｍｅｎｔ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ディスプレイスメントパラメータセット）を含んでいてもよい。

【0263】

第２に、変位量ビットストリームは、パッチに対応する制御情報の集合であるＤＰＨ（Ｄｉｓｐｌａｃｅｍｅｎｔ Ｐａｔｃｈ Ｈｅａｄｅｒ：ディスプレイスメントパッチヘッダ）を含んでいてもよい。

【0264】

第３に、変位量ビットストリームは、ＤＰＨの次に、パッチを構成する符号化された変位量を含んでいてもよい。

【0265】

以上のように、変位量ビットストリームは、各符号化された変位量に、１つずつＤＰＨ及びＤＰＳが対応する構成となる。

【0266】

なお、図３０の構成は、あくまで一例である。各符号化された変位量に、ＤＰＨ及びＤＰＳが対応する構成となっていれば、変位量ビットストリームの構成要素として、上述以外の要素が追加されてもよい。

【0267】

例えば、図３０に示すように、変位量ビットストリームは、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：シーケンスパラメータセット）を含んでいてもよい。

【0268】

図３１は、ＤＰＳのシンタックス構成の一例について示す図である。

【0269】

図３１において、Ｄｅｓｃｒｉｐｔｏｒ欄は、各シンタックスが、どのように符号化されているかを意味している。

【0270】

また、図３１において、ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（ｎ）は、ｎビットのフラグであることを意味する。

【0271】

ＤＰＳは、複数のＤＰＳが存在する場合に、各ＤＰＳを識別するためのＤＰＳ ｉｄ情報（ｄｐｓ_ｄｉｓｐｌａｃｅｍｅｎｔ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を少なくとも含む。

【0272】

また、ＤＰＳは、インター予測を行うか否かを制御するフラグ（ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。

【0273】

例えば、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが０のときは、インター予測を行わないと定義し、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが１のときは、インター予測を行うと定義してもよい。ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが含まれないときは、インター予測を行わないと定義してもよい。

【0274】

また、ＤＰＳは、ウェーブレット変換を行うか否かを制御するフラグ（ｗａｖｅｌｅｔ_ｔｒａｎｓｆｏｒｍ_ｆｌａｇ）を含んでもよい。

【0275】

例えば、ｗａｖｅｌｅｔ_ｔｒａｎｓｆｏｒｍ_ｆｌａｇが０のときは、ウェーブレット変換を行わないと定義し、ｗａｖｅｌｅｔ_ｔｒａｎｓｆｏｒｍ_ｆｌａｇが１のときは、ウェーブレット変換を行うと定義してもよい。ｗａｖｅｌｅｔ_ｔｒａｎｓｆｏｒｍ_ｆｌａｇが含まれないときは、ウェーブレット変換を行うと定義してもよい。

【0276】

また、ＤＰＳは、変位量予測加算を行うか否かを制御するフラグ（ｄｉｓｐｌａｃｅｍｅｎｔ_ｐｒｅｄｉｃｔｉｏｎ_ａｄｄｉｔｉｏｎ_ｆｌａｇ）を含んでもよい。

【0277】

例えば、ｄｉｓｐｌａｃｅｍｅｎｔ_ｐｒｅｄｉｃｔｉｏｎ_ａｄｄｉｔｉｏｎ_ｆｌａｇが０のときは、変位量予測加算を行わないと定義し、ｄｉｓｐｌａｃｅｍｅｎｔ_ｐｒｅｄｉｃｔｉｏｎ_ａｄｄｉｔｉｏｎ_ｆｌａｇが１のときは、変位量予測加算を行うと定義してもよい。ｄｉｓｐｌａｃｅｍｅｎｔ_ｐｒｅｄｉｃｔｉｏｎ_ａｄｄｉｔｉｏｎ_ｆｌａｇが含まれないときは、変位量予測加算を行わないと定義してもよい。

【0278】

ＤＰＳは、逆ＤＣＴを行うか否かを制御するフラグ（ｄｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。

【0279】

例えば、ｄｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇが０のときは、逆ＤＣＴを行わないと定義し、ｄｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇが１のときは、逆ＤＣＴを行うと定義してもよい。ｄｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇが含まれないときは、逆ＤＣＴを行わないと定義してもよい。

【0280】

以下、図３４～図３６を参照して、シンタックス構成について説明する。

【0281】

まず、符号化時は、変位量の係数レベル値は、各フレームにおいて３×Ｎサイズの行列で表される。３は、空間領域における次元を示し、Ｎは、細分割頂点の総数を示す。かかる行列がブロックに分割され、ブロック単位で符号化される。

【0282】

ブロックサイズは、３×ｎサイズ（ｎ＜Ｎ）であってもよいし、１×ｎサイズであってもよい。或いは、ブロックサイズとして、１×ｎサイズ及び２×ｎサイズを併用してもよい。ブロックサイズに満たない行列要素については、最大となるｄ×ｍサイズ（ｄ＝１，２，３， ｍ＜ｎ）でブロックを構成する。

【0283】

図３２は、シンタックス構成の一例について示す図である。シンタックスは、行列単位で定義されるものとブロック単位で定義されるものがある。

【0284】

第１に、行列単位で定義されるシンタックスについて説明する。

【0285】

ｌａｓｔｔ_ｓｉｇ_ｃｏｅｆｆ_ｐｒｅｆｉｘは、スキャン順で先頭の非零係数の座標位置のプリフィックスを表す。ｌａｓｔｔ_ｓｉｇ_ｃｏｅｆｆ_ｓｕｆｆｉｘは、スキャン順で先頭の非零係数の座標位置のサフィックスを表す。

【0286】

例えば、プリフィックスは、トランケーテッド・ライス二値化によって表現され、サフィックスは、固定長で表現される。図３３は、最大値が３２である場合のプリフィックス符号列及びサフィックス符号列を示す図である。

【0287】

第２に、ブロック単位で定義されるシンタックスについて説明する。

【0288】

ｃｏｄｅｄ_ｂｌｏｃｋ_ｆｌａｇは、ブロック内に非零係数があることを示すフラグである。かかるフラグは、各ブロックに1個だけ定義される。

【0289】

ｌａｓｔ_ｓｉｇ_ｃｏｅｆｆ_ｂｌｏｃｋ_ｐｒｅｆｉｘは、ブロック内においてスキャン順で先頭の非零係数の座標位置のプリフィックスを表す。ｌａｓｔ_ｓｉｇ_ｃｏｅｆｆ_ｂｌｏｃｋ_ｓｕｆｆｉｘは、ブロック内においてスキャン順で先頭の非零係数の座標位置のサフィックスを表す。ｓｉｇ_ｃｏｅｆｆ_ｆｌａｇは、非零係数かであるかどうかを示すフラグである。

【0290】

ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｇｒｅａｔｅｒ１_ｆｌａｇは、係数（非零係数）の絶対値が２以上であるかどうかを示すフラグである。かかるフラグで表す係数の総数には、例えば、８個のような上限を設けてもよい。

【0291】

ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｇｒｅａｔｅｒ２_ｆｌａｇは、スキャン順で先頭の絶対値が２以上の係数（非零係数）の絶対値が３以上であるかどうかを示すフラグである。ｃｏｅｆｆ_ｓｉｇｎ_ｆｌａｇは、係数の正負符号を示すフラグである。

【0292】

ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｒｅｍａｉｎｉｎｇは、係数の絶対値から上述のフラグで表現した値を引いた値を表す。ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｒｅｍａｉｎｉｎｇは、例えば、ｋ次指数ゴロム符号によって表現される。

【0293】

図３４は、ｋ次指数ゴロム符号によるプリフィックス符号列及びサフィックス符号列を示す図である。

【0294】

図３５及び図３６は、シンタックス構成の具体例について示す図である。図３５に示すように、各シンタックスから係数レベル値が復号され、その後、図３６に示すように、復号された係数レベル値が並び替えられる。

【0295】

図３７は、ＤＰＨのシンタックス構成の一例について示す図である。

【0296】

図３７に示すように、ＤＰＨは、各ＤＰＨに対応するＤＰＳを指定するためのＤＰＳ ｉｄ情報を少なくとも含む。

【0297】

制御情報復号部２０６Ａは、受信した変位量ビットストリームに対して可変長復号を行うことで、制御情報を出力するように構成されている。

【0298】

（算術復号部２０６Ｂ）
算術復号部２０６Ｂは、受信した変位量ビットストリームに対して算術復号を行うことで、２値化係数レベル値を出力するように構成されている。詳細については後述する。

【0299】

算術復号部２０６Ｂは、２値を対象とする。算術復号部２０６Ｂは、０から１までの数直線を定義し、その区間を分割して利用する。区間は、2値の発生確率（以降、コンテキスト値と呼ぶ）によって分割される。

【0300】

算術復号部２０６Ｂには、２進数小数が入力され、算術復号部２０６Ｂは、かかる２進数少数が数直線上のどの区間に含まれるかによって元の値を復号する。

【0301】

ここで、コンテキスト値は、常に固定とされてもよいし、入力信号1ビットごとに変更されてもよい。コンテキスト値が、１ビットごとに変更される場合は、算術復号部２０６Ｂは、コンテキスト選択部２０６Ｅからコンテキスト値を受け取る。

【0302】

（コンテキスト値更新部２０６Ｃ）
コンテキスト値更新部２０６Ｃは、２値化係数レベル値を用いて、コンテキスト値を更新し、フレームバッファ２０６Ｄに出力するように構成されている。

【0303】

コンテキスト値更新部２０６Ｃは、1ビットを復号する度にコンテキスト値を更新する。

【0304】

ここで、コンテキスト値更新部２０６Ｃは、０及び１のうち、発生確率が高いシンボルをＭＰＳ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｓｙｍｂｏｌ）とし、発生確率が低いシンボルをＬＰＳ（Ｌｅａｓｔ Ｐｒｏｂａｂｌｅ Ｓｙｍｂｏｌ）とする。

【0305】

コンテキスト値更新部２０６Ｃは、ＭＰＳが発生した場合は、少し確率値を更新し、ＬＰＳが発生した場合は、大きく確率値を更新するような確率更新テーブルを用いてもよい。

【0306】

（コンテキスト選択部２０６Ｅ）
コンテキスト選択部２０６Ｅは、コンテキストバッファ２０６Ｄから読み出されたコンテキスト値、ビット位置及びシンタックスを用いて、コンテキスト値（出力用コンテキスト値）を生成して出力するように構成されている。詳細については後述する。

【0307】

ｌａｓｔ_ｓｉｇ_ｃｏｅｆｆ_ｐｒｅｆｉｘ：コンテキスト選択部２０６Ｅは、図３８に示すように、行列サイズやビット位置に応じたコンテキスト番号表を作成してもよい。

【0308】

ｌａｓｔ_ｓｉｇ_ｃｏｅｆｆ_ｂｌｏｃｋ_ｐｒｅｆｉｘ：コンテキスト選択部２０６Ｅは、図３８に示すように、ブロックサイズやビット位置に応じたコンテキスト番号表を作成してもよい。

【0309】

ｃｏｄｅｄ_ｂｌｏｃｋ_ｆｌａｇ：コンテキスト選択部２０６Ｅは、図３９に示すような復号済みの右隣接ブロックで、ｃｏｄｅｄ_ｂｌｏｃｋ_ｆｌａｇ＝０であればコンテキスト番号を０とし、ｃｏｄｅｄ_ｂｌｏｃｋ_ｆｌａｇ＝１コンテキスト番号を１としてもよい。

【0310】

ｓｉｇ_ｃｏｅｆｆ_ｆｌａｇ：コンテキスト選択部２０６Ｅは、ある基準値を、係数の位置や復号済みの右隣接ブロックのｃｏｄｅｄ_ｂｌｏｃｋ_ｆｌａｇによって補正した値をコンテキスト番号とする。例えば、コンテキスト選択部２０６Ｅは、基準値について、例えば、最も左のブロックでは０とし、それ以外のブロックでは３とする。コンテキスト選択部２０６Ｅは、コンテキスト番号の補正には、復号済みの右隣接ブロックでｃｏｄｅｄ_ｂｌｏｃｋ_ｆｌａｇ＝０の場合は、図４０-１及び図４０-３に示すような表を用い、ｃｏｄｅｄ_ｂｌｏｃｋ_ｆｌａｇ＝１の場合には、図４０-２に示すような表を用いてもよい。

【0311】

ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｇｒｅａｔｅｒ１_ｆｌａｇ、ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｇｒｅａｔｅｒ２_ｆｌａｇ：コンテキスト選択部２０６Ｅは、復号済みの右隣接ブロックで、絶対値（レベル値）が２以上の係数がある場合は、コンテキスト番号を０とし、そうでない場合は、コンテキスト番号を１としてもよい。

【0312】

コンテキストバッファ２０６Ｄは、図示しない制御情報に応じてこれらを出力するように構成されている。

【0313】

多値化部２０６Ｆは、２値化係数レベル値を多値化することによって係数レベル値を生成して出力するように構成されている。生成（算出）された係数レベル値は、ビット位置及びシンタックスとしてコンテキストバッファ２０６Ｄにも出力される。

【0314】

インター予測部Ｇは、フレームバッファ２０６Ｄから読み出された参照フレームを用いて、予測変位量を生成して出力するように構成されている。

【0315】

フレームバッファＨは、復号変位量を取得して蓄積するように構成されている。フレームバッファＨは、図示しない制御情報に応じて、参照フレームにおいて対応する頂点における復号変位量を出力するように構成されている。

【0316】

（係数レベル値復号部２０６Ｆ２の動作）
以下、図４１を参照して、係数レベル値復号部２０６Ｆ２の動作の一例について説明する。

【0317】

図４１に示すように、ステップＳ１０１において、係数レベル値復号部２０６Ｆ２は、ｌａｓｔ_ｓｉｇ_ｃｏｅｆｆ_ｐｒｅｆｉｘとｌａｓｔ_ｓｉｇ_ｃｏｅｆｆ_ｓｕｆｆｉｘが示す位置以降の係数は全て０として復号する。この後の処理は、ブロック単位で行われる。

【0318】

ステップＳ１０２において、係数レベル値復号部２０６Ｆ２は、ｃｏｄｅｄ_ｂｌｏｃｋ_ｆｌａｇについての復号を行う。

【0319】

ステップＳ１０３において、係数レベル値復号部２０６Ｆ２は、ｃｏｄｅｄ_ｂｌｏｃｋ_ｆｌａｇが０であるか１であるかの判定を行う。

【0320】

ｃｏｄｅｄ_ｂｌｏｃｋ_ｆｌａｇ＝０の場合は、係数レベル値復号部２０６Ｆ２は、現在処理しているブロック内の係数については全て０として復号し、本動作は、ステップＳ１１６に進み、ｃｏｄｅｄ_ｂｌｏｃｋ_ｆｌａｇ＝１の場合は、本動作は、ステップＳ１０４に進む。

【0321】

ステップＳ１０４において、係数レベル値復号部２０６Ｆ２は、現在処理しているブロック内で、ｌａｓｔ_ｓｉｇ_ｃｏｅｆｆ_ｂｌｏｃｋ_ｐｒｅｆｉｘとｌａｓｔ_ｓｉｇ_ｃｏｅｆｆ_ｂｌｏｃｋ_ｓｕｆｆｉｘが示す位置以降の係数は全て０として復号する。

【0322】

ステップＳ１０５において、係数レベル値復号部２０６Ｆ２は、ｓｉｇ_ｃｏｅｆｆ_ｆｌａｇについての復号を行う。

【0323】

ステップＳ１０６において、係数レベル値復号部２０６Ｆ２は、ｓｉｇ_ｃｏｅｆｆ_ｆｌａｇが０であるか１であるかの判定を行う。

【0324】

ｓｉｇ_ｃｏｅｆｆ_ｆｌａｇ＝０の場合は、本動作は、ステップＳ１１６に進み、ｓｉｇ_ｃｏｅｆｆ_ｆｌａｇ＝１の場合は、本動作は、ステップＳ１０７に進む。

【0325】

ステップＳ１０７において、係数レベル値復号部２０６Ｆ２は、ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｇｒｅａｔｅｒ１_ｆｌａｇについての復号を行う。

【0326】

ステップＳ１０８において、係数レベル値復号部２０６Ｆ２は、ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｇｒｅａｔｅｒ１_ｆｌａｇが０であるか１であるかの判定を行う。

【0327】

ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｇｒｅａｔｅｒ１_ｆｌａｇ＝０の場合は、本動作は、ステップＳ１１３に進み、ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｇｒｅａｔｅｒ１_ｆｌａｇ＝１の場合は、本動作は、ステップＳ１０９に進む。

【0328】

ステップＳ１０９において、係数レベル値復号部２０６Ｆ２は、ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｇｒｅａｔｅｒ２_ｆｌａｇについての復号を行う。

【0329】

ステップＳ１１０において、係数レベル値復号部２０６Ｆ２は、ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｇｒｅａｔｅｒ２_ｆｌａｇが０であるか１であるかの判定を行う。

【0330】

ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｇｒｅａｔｅｒ２_ｆｌａｇ＝０の場合は、本動作は、ステップＳ１１３に進み、ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｇｒｅａｔｅｒ１_ｆｌａｇ＝１の場合は、本動作は、ステップＳ１１２に進む。

【0331】

ステップＳ１１２において、係数レベル値復号部２０６Ｆ２は、ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｒｅｍａｉｎｉｎｇについての復号を行う。ここで、係数レベル値復号部２０６Ｆ２は、ｃｏｅｆｆ_ａｂｓ_ｌｅｖｅｌ_ｒｅｍａｉｎｉｎｇの復号については、指数ゴロム復号を行った後に３を加算したものを復号後の係数レベル値とする。

【0332】

ステップＳ１１３において、係数レベル値復号部２０６Ｆ２は、ｃｏｅｆｆ_ｓｉｇｎ_ｆｌａｇについての復号を行う。

【0333】

ステップＳ１１４において、係数レベル値復号部２０６Ｆ２は、ｃｏｅｆｆ_ｓｉｇｎ_ｆｌａｇが０であるか１であるかの判定を行う。

【0334】

ｃｏｅｆｆ_ｓｉｇｎ_ｆｌａｇ＝０の場合は、本動作は、ステップＳ１１６に進み、ｃｏｅｆｆ_ｓｉｇｎ_ｆｌａｇ＝１の場合は、本動作は、ステップＳ１１５に進む。

【0335】

ステップＳ１１５において、係数レベル値復号部２０６Ｆ２は、復号済みの係数を負値化する。

【0336】

ステップＳ１１６において、係数レベル値復号部２０６Ｆ２は、現在処理しているブロックが最終ブロックであるか否かについて判定する。

【0337】

Ｙｅｓの場合、本動作は、終了し、Ｎｏの場合、本動作は、ステップＳ１１１に進む。

【0338】

ステップＳ１１１において、係数レベル値復号部２０６Ｆ２は、次のブロックへの処理に進み、本動作は、ステップＳ１０２に戻る。

【0339】

次に、図４２を参照して、算術復号部２０６Ｂ、コンテキスト選択部２０６Ｅ、コンテキスト値更新部２０６Ｃ及び多値化部２０６Ｆの動作の一例について説明する。

【0340】

次に、図４２を参照して、算術復号部２０６Ｂ、コンテキスト選択部２０６Ｅ、コンテキスト値更新部２０６Ｃ及び多値化部２０６Ｆの動作の一例について説明する。

【0341】

図４２に示すように、算術復号部２０６Ｂは、ステップＳ２０１において、算術復号部２０６Ｂは、初期化され、ステップＳ２０２において、初期コンテキスト値を設定する。

【0342】

算術復号部２０６Ｂは、ステップＳ２０３において、コンテキストを選択し、ステップＳ２０４において、算術復号を行う。

【0343】

ステップＳ２０５において、コンテキスト値更新部２０６Ｃ及びコンテキスト選択部２０６Ｅは、コンテキスト値を更新し、ステップＳ２０６において、多値化部２０６Ｆは、多値化を行う。

【0344】

多値化部２０６Ｆは、ステップＳ２０７において、全ての復号が完了したか否かについて判定する。Ｙｅｓの場合、本動作は、ステップＳ２０８に進み、Ｎｏの場合、本動作は、ステップＳ２０３に戻る。

【0345】

ステップＳ２０８において、多値化部２０６Ｆは、コンテキスト値を退避させる。

【0346】

（インター予測部２０６Ｇ）
インター予測部２０６Ｇは、フレームバッファ２０６Ｈから読み出された参照フレームの復号変位量を用いてインター予測を行うことによって、インター予測残差及びインター予測変位量を生成して出力するように構成されている。

【0347】

インター予測部２０６Ｇは、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが１の場合のみ、かかるインター予測を行うように構成されている。

【0348】

インター予測部２０６Ｇは、空間領域でインター予測を行ってもよいし、周波数領域でインター予測を行ってもよい。インター予測は、時間的に過去の参照フレームと未来の参照フレームとを用いて、双方向予測を行ってもよい。

【0349】

インター予測部２０６Ｇは、空間領域でインター予測を行う場合は、対象フレームにおける細分割頂点の予測変位量について、参照フレームにおける対応する細分割頂点の復号変位量をそのまま参照して決定してもよい。

【0350】

或いは、対象フレームにおけるある細分割頂点の予測変位量は、複数の参照フレームにおける対応する細分割頂点の復号変位量を用いて、平均と分散を推定した正規分布に従って確率的に決定してもよい。その際は、分散はゼロとして一意的に平均のみで決定してもよい。

【0351】

或いは、対象フレームにおけるある細分割頂点の予測変位量は、複数の参照フレームにおける対応する細分割頂点の復号変位量を用いて、時間を説明変数、変位量を目的変数として推定した回帰曲線に基づいて決定してもよい。

【0352】

メッシュ符号化装置１００において、フレームごとに符号化効率向上のために、かかる復号変位量の順番が並び替えられていてもよい。

【0353】

かかる場合、インター予測部２０６Ｇは、並び替えられた復号変位量に対してインター予測を行うように構成されていてもよい。

【0354】

参照フレームと復号対象フレームとの間の細分割頂点の対応関係は、制御情報によって示される。

【0355】

図４３は、空間領域でインター予測が行われる場合の参照フレームと復号対象フレームとの間の細分割頂点の対応関係の一例について説明するための図である。

【0356】

加算器２０６Ｉは、インター予測部２０６Ｇから、インター予測残差及びインター予測変位量を取得するように構成されている。加算器２０６Ｉは、これらを加算して、量子化イントラ予測残差を生成して出力するように構成されている。生成（算出）された量子化イントラ予測残差は、フレームバッファ２０６Ｈにも出力される。

【0357】

逆量子化部２０６Ｊは、加算部２０６Ｉから取得した量子化イントラ予測残差に対して逆量子化を行い、イントラ予測残差を出力するように構成されている。

【0358】

（変位量予測加算部２０６Ｋ）
変位量予測加算部２０６Ｋは、基本メッシュ復号部２０２から出力された基本メッシュに基づき細分割頂点の変位量をイントラ予測してイントラ予測値を算出し、算出したイントラ予測値と逆量子化部２０６Ｊから出力されたイントラ予測残差とを加算することで、変位量を復号するように構成されている。

【0359】

図４４は、変位量予測加算部２０６Ｋの動作の一例を示すフローチャートである。

【0360】

図４４に示すように、ステップＳ１において、変位量予測加算部２０６Ｋ現在の細分割回数ｉｔを１に設定する。

【0361】

ステップＳ２において、変位量予測加算部２０６Ｋは、現在の細分割回数ｉｔが上限細分割回数ｍｄｕ_ｍａｘ_ｄｅｐｔｈ未満かどうかを判定する。

【0362】

Ｙｅｓの場合、本動作は、ステップＳ３に進み、Ｎｏの場合、本動作は、終了する。

【0363】

ステップＳ３において、変位量予測加算部２０６Ｋは、全ての辺に対して分割が終了したかを判定する。

【0364】

Ｙｅｓの場合、本動作は、ステップＳ８に進み、Ｎｏの場合、本動作は、ステップＳ４に進む。

【0365】

ステップＳ４において、変位量予測加算部２０６Ｋは、未分割辺を選択し、ステップＳ５に進む。

【0366】

ステップＳ５において、変位量予測加算部２０６Ｋは、選択辺を細分割数ｍｄｕ＿ｓｕｂｄｉｖｉｓｉｏｎ＿ｎｕｍに基づき分割し、細分割頂点を生成する。

【0367】

ステップＳ６において、変位量予測加算部２０６Ｋは、両端の頂点の変位量から細分割頂点の変位量を予測し、ステップＳ７に進む。

【0368】

以下に、細分割頂点の変位量を予測する方法について説明する。

【0369】

図４５及び図４６は、それぞれ、Ｍｉｄ-ｅｄｇｅ分割法によって線分ＡＢを分割して細分割頂点Ｃ生成する例、及び、細分割頂点Ｃの変位量を算出する例を模式的に示した図である。

【0370】

図４５及び図４６を参照して、変位量を予測する方法について説明する。

【0371】

第１に、端点Ａ（ｔ＝０）と端点Ｂ（ｔ＝１）との間の頂点Ｐ（ｔ＝ｘ）の法線ベクトルを計算する。ここで、端点Ａ、Ｂの法線ベクトルをそれぞれ（ａ_ｘ，ａ_ｙ）、（ｂ_ｘ，ｂ_ｙ）とし、頂点Ｐの法線ベクトルを線形補完によって計算する。その際、頂点Ｐの法線ベクトルは、（（１－ｔ）ａ_ｘ＋ｔｂ_ｘ，（１－ｔ）ａ_ｙ＋ｔｂ_ｙ）と計算できる。このとき、法線ベクトルについては、球面線型補間等の他の補完方法を用いて計算してもよい。

【0372】

端点Ａ及び端点Ｂが、基本メッシュ上の頂点のとき、端点Ａ及び端点Ｂの法線ベクトルは、それぞれの頂点に隣接する基本面の法線の平均値で算出される。細分割を行わない場合、基本面の法線ベクトルについて、計算しなくてもよい。

【0373】

第２に、計算した法線ベクトルと直交する傾きを計算し、細分割頂点Ｃの変位量を、端点Ａから細分割頂点Ｃの区間で積分することで予測する。すなわち、細分割頂点Ｃの変位量を予測する場合の変位量は、以下の式で計算できる。

【0374】

【数3】

或いは、細分割頂点Ｃの変位量を周囲の基本メッシュの頂点や復号済みの細分割頂点を入力として、コサイン補完、キュービック補完、エルミート補完などの既知の補完方法を用いて変位量を予測してもよい。

【0375】

図４７は、キュービック補完を用いて細分割頂点Ｄの変位量を予測する例である。図４７に示すように、細分割頂点Ｄ周辺の頂点４つから三次曲線を計算し、細分割頂点Ｄの変位量を、曲線上の点と細分割頂点Ｄを結ぶベクトルとして予測してもよい。

【0376】

或いは、既に復号済みの基本面上の頂点や細分割頂点の変位量の平均値や最頻値、最大値、最小値等の統計値を用いて、細分割頂点の変位量を予測してもよい。

【0377】

図４８は、辺ＫＢ、辺ＢＪ、辺ＪＫ、辺ＢＦ、辺ＦＡをそれぞれＭｉｄ-ｅｄｇｅ分割法で分割した後に、辺ＡＢを分割し細分割頂点Ｃを生成する例である。

【0378】

例えば、細分割頂点Ｃの変位量を予測するときに、最も距離が小さい点上の変位量を予測値としてもよいし、細分割頂点Ａ、Ｂ、Ｄ、Ｅ、Ｇ、Ｉのように周囲の頂点の変位量の平均値を変位量の予測値としてもよいし、周囲の頂点の変位量の重み付け平均値を変位量の予測値としてもよい。

【0379】

ステップＳ７において、変位量予測加算部２０６Ｋは、予測値と変位量誤差とを加算し、変位量を復号する。その後、ステップＳ３に進む。

【0380】

ステップＳ８において、変位量予測加算部２０６Ｋは、現在の細分割数ｉｔを１加算して、ステップＳ２に進む。

【0381】

＜変形例１＞
以下、図４９を参照して、上述の第１実施形態の変形例１について、上述の第１実施形態との相違点に着目して説明する。

【0382】

図４９は、本変形例１に係る変位量復号部２０６の機能ブロックの一例を示す図である。

【0383】

図４９に示すように、本変形例１に係る変位量復号部２０６は、逆量子化部２０６Ｊの代わりに、逆量子化ウェーブレット変換部２０６Ｌを備える。

【0384】

すなわち、本変形例１では、逆量子化ウェーブレット変換部２０６Ｌは、加算器２０６Ｉから出力された量子化イントラ予測残差に対して逆量子化ウェーブレット変換を行い、イントラ予測残差を生成するように構成されている。

【0385】

上述のメッシュ符号化装置１００及びメッシュ復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【産業上の利用可能性】

【0386】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0387】

１…メッシュ処理システム
１００…メッシュ符号化装置
２００…メッシュ復号装置
２０１…多重分離部
２０２…基本メッシュ復号部
２０２Ａ…分離部
２０２Ｂ…イントラ復号部
２０２Ｂ１…任意イントラ復号部
２０２Ｂ２…整列部
２０２Ｃ…メッシュバッファ部
２０２Ｄ…接続情報復号部
２０２Ｅ…インター復号部
２０２Ｅ１…動きベクトル復号部
２０２Ｅ２…動きベクトルバッファ部
２０２Ｅ３…動きベクトル予測部
２０２Ｅ４…動きベクトル算出部
２０２Ｅ５…加算器
２０２Ｅ６…重複頂点探索部
２０２Ｅ７…重複頂点判別部
２０２Ｅ８…動きベクトル取得部
２０２Ｅ９…Ａｌｌ ｓｋｉｐ ｍｏｄｅ判別部
２０２Ｅ１０…Ｓｋｉｐ ｍｏｄｅ判別部
２０３…細分割部
２０３Ａ…基本メッシュ細分割部
２０３Ａ１…基本面分割数バッファ部
２０３Ａ２…基本面分割数参照部
２０３Ａ３…基本面分割数予測部
２０３Ａ４…加算部
２０３Ａ５…基本面分割部
２０３Ｂ…細分割メッシュ調整部
７０１…辺分割点移動部
７０２…細分割面分割部
２０４…メッシュ復号部
２０５…パッチ統合部
２０６…変位量復号部
２０６Ａ…制御情報復号部
２０６Ｂ…算術復号部
２０６Ｃ…コンテキスト値更新部
２０６Ｄ…コンテキストバッファ
２０６Ｅ…コンテキスト選択部
２０６Ｆ…多値化部
２０６Ｆ２…係数レベル値復号部
２０６Ｇ…インター予測部
２０６Ｈ…フレームバッファ
２０６Ｉ…加算器
２０６Ｊ…逆量子化部
２０６Ｋ…変位量予測加算部
２０６Ｌ…逆量子化ウェーブレット変換部
２０７…映像復号部

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】