特表 2024-513431 動的メッシュコーディングのための装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-25

(54)【発明の名称】動的メッシュコーディングのための装置及び方法

(51)【国際特許分類】

   G06T 9/20 20060101AFI20240315BHJP

【ＦＩ】

G06T9/20

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023561045

(86)(22)【出願日】2022-03-29

(85)【翻訳文提出日】2023-09-29

(86)【国際出願番号】 KR2022004439

(87)【国際公開番号】W WO2022211462

(87)【国際公開日】2022-10-06

(31)【優先権主張番号】10-2021-0043654

(32)【優先日】2021-04-02

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0038209

(32)【優先日】2022-03-28

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】512297583

【氏名又は名称】ヒョンダイ モーター カンパニー

(71)【出願人】

【識別番号】512297594

【氏名又は名称】キア コーポレーション

(71)【出願人】

【識別番号】523375157

【氏名又は名称】デジタルインサイト インコーポレイテッド

(74)【代理人】

【識別番号】110000051

【氏名又は名称】弁理士法人共生国際特許事務所

(72)【発明者】

【氏名】アン， ヨン ジョ

(72)【発明者】

【氏名】イ， ジョン ソク

(72)【発明者】

【氏名】パク， スン ウク

(57)【要約】

【課題】動的メッシュコーディングのための装置及び方法を提供する。
【解決手段】本発明の動的メッシュ符号化／復号化方法及び装置は、動的メッシュの時間的冗長性（ｔｅｍｐｏｒａｌ ｒｅｄｕｎｄａｎｃｙ）を除去して符号化効率を向上させるために、動的メッシュを構成する多数のフレーム間に存在する動き（ｍｏｔｉｏｎ）情報を追加的に用いる。
【選択図】図１

【特許請求の範囲】

【請求項1】

動的メッシュ復号化装置によって遂行される動的メッシュ（ｄｙｎａｍｉｃ ｍｅｓｈ）を復号化する復号化方法であって、
ビットストリームを獲得した後、前記ビットストリームから第１のビットストリームと第２のビットストリームとを分離するステップと、
前記ビットストリームを復号化するステップと、を有し、
前記第１のビットストリームは、前記動的メッシュを表す多数のフレームの中の予め設定されたキーフレーム（ｋｅｙ－ｆｒａｍｅ）が符号化されたビットストリームであり、
前記第２のビットストリームは、前記多数のフレームの中の前記キーフレームを除く残りのフレームの中の１つが符号化されたビットストリームであり、
前記復号化するステップは、
前記ビットストリームが前記第１のビットストリームである場合、
前記第１のビットストリームを復号化して前記キーフレームのメッシュを復元するステップと、
前記キーフレームのメッシュをメッシュ保存部に直前フレームとして保存するステップと、を含み、
前記ビットストリームが前記第２のビットストリームである場合、
前記第２のビットストリームを復号化して現在フレームの動きデータ（ｍｏｔｉｏｎ ｄａｔａ）を復元するステップと、
前記直前フレームに前記動きデータを適用して前記現在フレームのメッシュを復元するステップと、
前記現在フレームのメッシュを前記メッシュ保存部に前記直前フレームとして保存するステップと、を含むことを特徴とする復号化方法。

【請求項2】

前記動きデータを復元するステップは、前記現在フレームのメッシュの頂点（ｖｅｒｔｅｘ）毎に前記動きデータを復元することを特徴とする請求項１に記載の復号化方法。

【請求項3】

前記動きデータを復元するステップは、前記現在フレームのメッシュの１つの面に対して少なくとも１つの動きデータを復元することを特徴とする請求項１に記載の復号化方法。

【請求項4】

前記動きデータを復元するステップは、前記動きデータとして３次元の動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を復元することを特徴とする請求項１に記載の復号化方法。

【請求項5】

前記動きデータを復元するステップは、
動的メッシュ符号化装置で使用された符号化方法に対応する復号化方法を用い、前記第２のビットストリームを復号化して動きマップ（ｍｏｔｉｏｎ ｍａｐ）を復元するステップと、
前記復元された動きマップをアップサンプリングするステップと、
前記アップサンプリングされた動きマップを前記動きベクトルに変換するステップと、を含むことを特徴とする請求項４に記載の復号化方法。

【請求項6】

動的メッシュ（ｄｙｎａｍｉｃ ｍｅｓｈ）を復号化する動的メッシュ復号化装置であって、
ビットストリームを獲得した後、前記ビットストリームから第１のビットストリームと第２のビットストリームとを分離するビットストリーム分離部を備え、
前記第１のビットストリームは、前記動的メッシュを表す多数のフレームの中の予め設定されたキーフレーム（ｋｅｙ－ｆｒａｍｅ）が符号化されたビットストリームであり、
前記第２のビットストリームは、前記多数のフレームの中の前記キーフレームを除く残りのフレームの中の１つが符号化されたビットストリームであり、
前記動的メッシュ復号化装置は、
前記ビットストリームが前記第１のビットストリームである場合、前記第１のビットストリームを復号化して前記キーフレームのメッシュを復元するメッシュ復号化部と、
前記ビットストリームが前記第２のビットストリームである場合、前記第２のビットストリームを復号化して現在フレームの動きデータ（ｍｏｔｉｏｎ ｄａｔａ）を復元する動き復号化部と、
直前フレームに前記動きデータを適用して前記現在フレームのメッシュを復元する動き補償部と、
前記キーフレームのメッシュ及び前記現在フレームのメッシュを前記直前フレームとして保存するメッシュ保存部と、を更に含むことを特徴とする動的メッシュ復号化装置。

【請求項7】

前記動き復号化部は、前記動きデータとして３次元の動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を復元することを特徴とする請求項６に記載の動的メッシュ復号化装置。

【請求項8】

前記動き復号化部は、
前記第２のビットストリームを復号化して動きマップ（ｍｏｔｉｏｎ ｍａｐ）を復元する動きマップ復号化部と、
前記復元された動きマップをアップサンプリングする動きマップアップサンプリング部と、
前記アップサンプリングされた動きマップを前記動きベクトルに変換する動きベクトル生成部と、を含むことを特徴とする請求項７に記載の動的メッシュ復号化装置。

【請求項9】

動的メッシュ符号化装置によって遂行される動的メッシュ（ｄｙｎａｍｉｃ ｍｅｓｈ）を符号化する符号化方法であって、
前記動的メッシュを構成する現在フレームを獲得し、前記現在フレームが予め設定されたキーフレーム（ｋｅｙ－ｆｒａｍｅ）であるか否かを確認するステップと、
前記現在フレームを符号化するステップと、を有し、
前記符号化するステップは、
前記現在フレームが前記キーフレームである場合、
前記キーフレームを符号化して第１のビットストリームを生成し、前記第１のビットストリームから前記キーフレームの復元メッシュを生成するステップと、
前記キーフレームの復元メッシュをメッシュ保存部に直前フレームとして保存するステップと、を含み、
前記現在フレームが前記キーフレームでない場合、
前記現在フレームのメッシュ及び前記直前フレームの復元メッシュを用いて動きデータ（ｍｏｔｉｏｎ ｄａｔａ）を抽出するステップと、
前記動きデータを符号化して第２のビットストリームを生成し、前記第２のビットストリームから復元動きデータを生成するステップと、
前記直前フレームに前記復元動きデータを適用して復元現在フレームを生成するステップと、
前記復元現在フレームを前記メッシュ保存部に前記直前フレームとして保存するステップと、を含むことを特徴とする符号化方法。

【請求項10】

前記第１のビットストリームと前記第２のビットストリームとをつないで１つのビットストリームを合成するステップを更に含むことを特徴とする請求項９に記載の符号化方法。

【請求項11】

前記動きデータを抽出するステップは、前記現在フレームのメッシュの頂点（ｖｅｒｔｅｘ）毎に前記動きデータを抽出することを特徴とする請求項９に記載の符号化方法。

【請求項12】

前記動きデータを抽出するステップは、前記現在フレームのメッシュの１つの面に対して少なくとも１つの動きデータを抽出し、前記１つの面を構成する頂点の動きデータを補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）して前記少なくとも１つの動きデータを抽出することを特徴とする請求項９に記載の符号化方法。

【請求項13】

前記動きデータを抽出するステップは、前記動きデータとして３次元の動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を抽出することを特徴とする請求項９に記載の符号化方法。

【請求項14】

前記復元動きデータを生成するステップは、
前記動きベクトルを２次元にマッピングして少なくとも１つの動きマップ（ｍｏｔｉｏｎ ｍａｐ）を生成するステップと、
前記動きマップをダウンサンプリングするステップと、
前記ダウンサンプリングされた動きマップをビデオ又はイメージ圧縮方法を用いて符号化することで、前記第２のビットストリームを生成するステップと、を含むことを特徴とする請求項１３に記載の符号化方法。

【請求項15】

前記動きマップを生成するステップは、前記動きベクトルをｘ、ｙ、ｚ軸上に射影（ｐｒｏｊｅｃｔｉｏｎ）することで、３つの動きマップを生成することを特徴とする請求項１４に記載の符号化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動的メッシュコーディングのための装置及び方法に関する。

【背景技術】

【0002】

以下に記述する内容は、単に本発明に関連する背景情報のみを提供するだけであって、従来技術を構成するものではない。

【0003】

一般に、メッシュは静的（ｓｔａｔｉｃ）メッシュと動的（ｄｙｎａｍｉｃ）メッシュとに分類される。静的メッシュは、一瞬の３次元情報を意味し、１つの単一フレームにメッシュ情報を含む。一方、動的メッシュは、特定時間の間のメッシュ情報を意味し、時間変化に応じて多数のフレームに分散されたままでメッシュ情報を含む。

【0004】

従来のメッシュ圧縮方法は、前のフレームと現在フレームと間の依存性に関係なく、フレーム単位でメッシュを符号化及び復号化する。即ち、動的メッシュを構成する多数のフレームに対しても、それぞれのフレームが個別的に符号化及び復号化される。従って、動的メッシュを符号化／復号化する際に、フレーム間依存性を用いるコーディング方法及び装置が考慮されるべきである。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、フレーム間に存在する動き（ｍｏｔｉｏｎ）情報を追加的に用いる動的メッシュ符号化／復号化方法及び装置を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するためになされた本発明の一態様による動的メッシュ復号化装置によって遂行される動的メッシュ（ｄｙｎａｍｉｃ ｍｅｓｈ）を復号化する復号化方法は、ビットストリームを獲得した後、前記ビットストリームから第１のビットストリームと第２のビットストリームとを分離するステップと、前記ビットストリームを復号化するステップと、を有し、前記第１のビットストリームは、前記動的メッシュを表す多数のフレームの中の予め設定されたキーフレーム（ｋｅｙ－ｆｒａｍｅ）が符号化されたビットストリームであり、前記第２のビットストリームは、前記多数のフレームの中の前記キーフレームを除く残りのフレームの中の１つが符号化されたビットストリームであり、前記復号化するステップは、前記ビットストリームが前記第１のビットストリームである場合、前記第１のビットストリームを復号化して前記キーフレームのメッシュを復元するステップと、前記キーフレームのメッシュをメッシュ保存部に直前フレームとして保存するステップと、を含み、前記ビットストリームが前記第２のビットストリームである場合、前記第２のビットストリームを復号化して現在フレームの動きデータ（ｍｏｔｉｏｎ ｄａｔａ）を復元するステップと、前記直前フレームに前記動きデータを適用して前記現在フレームのメッシュを復元するステップと、前記現在フレームのメッシュを前記メッシュ保存部に前記直前フレームとして保存するステップと、を含むことを特徴とする。

【0007】

上記目的を達成するためになされた本発明の一態様による動的メッシュ（ｄｙｎａｍｉｃ ｍｅｓｈ）を復号化する動的メッシュ復号化装置は、ビットストリームを獲得した後、前記ビットストリームから第１のビットストリームと第２のビットストリームとを分離するビットストリーム分離部を備え、前記第１のビットストリームは、前記動的メッシュを表す多数のフレームの中の予め設定されたキーフレーム（ｋｅｙ－ｆｒａｍｅ）が符号化されたビットストリームであり、前記第２のビットストリームは前記多数のフレームの中の前記キーフレームを除く残りのフレームの中の１つが符号化されたビットストリームであり、前記動的メッシュ復号化装置は、前記ビットストリームが前記第１のビットストリームである場合、前記第１のビットストリームを復号化して前記キーフレームのメッシュを復元するメッシュ復号化部と、前記ビットストリームが前記第２のビットストリームである場合、前記第２のビットストリームを復号化して現在フレームの動きデータ（ｍｏｔｉｏｎ ｄａｔａ）を復元する動き復号化部と、直前フレームに前記動きデータを適用して前記現在フレームのメッシュを復元する動き補償部と、前記キーフレームのメッシュ及び前記現在フレームのメッシュを前記直前フレームとして保存するメッシュ保存部と、を更に含むことを特徴とする。

【0008】

上記目的を達成するためになされた本発明の一態様による動的メッシュ符号化装置によって遂行される動的メッシュ（ｄｙｎａｍｉｃ ｍｅｓｈ）を符号化する符号化方法は、前記動的メッシュを構成する現在フレームを獲得し、前記現在フレームが予め設定されたキーフレーム（ｋｅｙ－ｆｒａｍｅ）であるか否かを確認するステップと、前記現在フレームを符号化するステップと、を有し、前記符号化するステップは、前記現在フレームが前記キーフレームである場合、前記キーフレームを符号化して第１のビットストリームを生成し、前記第１のビットストリームから前記キーフレームの復元メッシュを生成するステップと、前記キーフレームの復元メッシュをメッシュ保存部に直前フレームとして保存するステップと、を含み、前記現在フレームが前記キーフレームでない場合、前記現在フレームのメッシュ及び前記直前フレームの復元メッシュを用いて動きデータ（ｍｏｔｉｏｎ ｄａｔａ）を抽出するステップと、前記動きデータを符号化して第２のビットストリームを生成し、前記第２のビットストリームから復元動きデータを生成するステップと、前記直前フレームに前記復元動きデータを適用して復元現在フレームを生成するステップと、前記復元現在フレームを前記メッシュ保存部に前記直前フレームとして保存するステップ、とを含むことを特徴とする。

【発明の効果】

【0009】

本発明によると、動的メッシュを構成する多数のフレーム間に存在する動き情報を追加的に用いる動的メッシュ符号化／復号化方法及び装置を提供することで、動的メッシュの時間的冗長性（ｔｅｍｐｏｒａｌ ｒｅｄｕｎｄａｎｃｙ）を除去して符号化効率を向上させることが可能になる効果がある。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態による動的メッシュ符号化装置を概念的に示すブロック図である。

【図2】本発明の一実施形態による動的メッシュ復号化装置を概念的に示すブロック図である。

【図3】本発明の他の実施形態による座標系変換を用いる動的メッシュ符号化装置を概念的に示すブロック図である。

【図4】本発明の他の実施形態による座標系逆変換を用いる動的メッシュ復号化装置を概念的に示すブロック図である。

【図5】本発明の更に他の実施形態による座標系変換を用いる動的メッシュ符号化装置を概念的に示すブロック図である。

【図6】本発明の更に他の実施形態による座標系逆変換を用いる動的メッシュ復号化装置を概念的に示すブロック図である。

【図7】本発明の一実施形態による符号化装置内の動き符号化部を示すブロック図である。

【図8】本発明の一実施形態による動きマップ生成及びダウンサンプリングを示す例示図である。

【図9】本発明の一実施形態による復号化装置内の動き復号化部を示すブロック図である。

【図10】本発明の一実施形態による動的メッシュ符号化方法を示すフローチャートである。

【図11】本発明の一実施形態による動的メッシュ復号化方法を示すフローチャートである。

【図12】本発明の他の実施形態による動的メッシュ符号化方法を示すフローチャートである。

【図13】本発明の他の実施形態による動的メッシュ復号化方法を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。各図面の構成要素に参照符号を付加するにあたり、同一の構成要素に対しては、たとえ他の図面上に表示される場合も可能な限り同一の符号を有するようにしていることに留意されたい。なお、本実施形態を説明するにあたり、関連する公知の構成又は機能に関する具体的な説明が本発明の要旨を曖昧にすると判断される場合には、その詳しい説明は省く。

【0012】

本実施形態は、動的メッシュコーディングのための装置及び方法に関する内容を開示する。より詳しくは、動的メッシュの時間的冗長性（ｔｅｍｐｏｒａｌ ｒｅｄｕｎｄａｎｃｙ）を排除するために、動的メッシュを構成する多数のフレーム間に存在する動き（ｍｏｔｉｏｎ）情報を追加的に用いる動的メッシュ符号化／復号化方法及び装置を提供する。

【0013】

以下の説明で、メッシュは１つのフレームを含む静的メッシュを示す。従って、メッシュとフレームとは互換的に用いられる。一方、動的メッシュは多数のフレームを含み、事前に設定された少なくとも１つのキーフレーム（ｋｅｙ ｆｒａｍｅ）を含む。例えば、キーフレームは、符号化／復号化の遂行時に他のフレームを参照しないフレームを表す。キーフレームを除く残りのフレームを非キーフレーム（ｎｏｎ－ｋｅｙ ｆｒａｍｅｓ）として表す。

【0014】

以下、動き情報と動きデータ（ｍｏｔｉｏｎ ｄａｔａ）とは互換的に用いられる。

【0015】

以下、図１及び図２に示した図を用いて、動的メッシュを符号化する動的メッシュ符号化装置（以下、「符号化装置」）、及び動的メッシュを復号化する動的メッシュ復号化装置（以下、「復号化装置」）を記述する。

【0016】

図１は、本発明の一実施形態による動的メッシュ符号化装置を概念的に示すブロック図である。

【0017】

本実施形態による符号化装置は、元本動的メッシュを獲得した後、これを符号化してビットストリームを生成する。符号化装置は、メッシュ符号化部１０２、メッシュ保存部１０４、動き抽出部１０６、動き符号化部１０８、動き補償部１１０、及びビットストリーム合成部１１２の全部又は一部を含む。

【0018】

符号化装置は、入力される動的メッシュを構成するフレームに対して、現在フレームがキーフレームであるか否かを確認する。現在フレームがキーフレームである場合に該当するメッシュがメッシュ符号化部１０２に伝達され、非キーフレームである場合に該当するメッシュが動き抽出部１０６に伝達される。

【0019】

メッシュ符号化部１０２は、伝達されたメッシュを符号化してビットストリームを生成し、ビットストリームから復元されたメッシュを生成する。ビットストリームはビットストリーム合成部１１２に伝達され、復元されたメッシュはメッシュ保存部１０４に保存される。メッシュを符号化するために、メッシュ符号化部１０２は既存のメッシュ符号化方法を用いる。例えば、メッシュを構成する頂点（ｖｅｒｔｉｃｅｓ）、エッジ（ｅｄｇｅｓ）、及び属性情報のそれぞれを符号化する方法が使用される。一方、復元されたメッシュが次のフレームによって参照されるように、メッシュ符号化部１０２は、符号化方法に対応する復号化方法を用いて、メッシュに関連する最終ビットストリームを生成する前にメッシュを復元する。

【0020】

メッシュ保存部１０４は、直前フレームの復元メッシュを保存する。ここで、直前フレームは、復元キーフレーム又は復元非キーフレームの中の１つである。現在フレームが非キーフレームである場合、現在フレームの動き抽出及び現在フレームの復元において保存されたメッシュが使用される。従って、保存されたメッシュは、動き抽出部１０６及び動き補償部１１０によって用いられる。

【0021】

動き抽出部１０６は、入力された現在フレームのメッシュ及びメッシュ保存部１０４に保存された直前フレームの復元メッシュを用いて動き情報を抽出する。例えば、動き抽出部１０６は、メッシュの頂点毎に動きデータを抽出する。他の例として、動き抽出部１０６は、メッシュの１つの面に対して少なくとも１つの動きデータを抽出する。このとき、１つの面を構成する頂点の動きデータを補間して、頂点の補間点（ｉｎｔｅｒｐｏｌａｔｅｄ ｐｏｉｎｔｓ）に対して動きデータを抽出する。従って、補間点の個数及び解像度によって動きデータの個数及び解像度が決定される。更に他の例として、動き抽出部１０６は、多数の面及び頂点を含むパッチ（ｐａｔｃｈ）単位で動きデータを抽出する。ここで、頂点、面、又はパッチの動きデータは、それらがどのように動くかを示す３次元の動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）である。抽出された動き情報は動き符号化部１０８に伝達される。

【0022】

動き符号化部１０８は、伝達された動き情報を符号化してビットストリームを生成する。生成されたビットストリームはビットストリーム合成部１１２に伝達される。また、動き符号化部１０８は、ビットストリームから復元された動き情報を生成する。生成された復元動き情報は動き補償部１１０に伝達される。動き符号化部１０８の詳しい動作は後述する。

【0023】

動き補償部１１０は、メッシュ保存部１０４に保存された直前フレームに復元動き情報を適用して動きを補償することで、現在フレームを復元する。復元された現在フレームは、次のフレームの符号化のためにメッシュ保存部１０４に保存される。

【0024】

ビットストリーム合成部１１２は、入力されたビットストリームをつないで１つのビットストリームを合成する。符号化装置は、合成されたビットストリームを保存するか、又は復号化装置に伝達する。

【0025】

図２は、本発明の一実施形態による動的メッシュ復号化装置を概念的に示すブロック図である。

【0026】

本実施形態による復号化装置は、ビットストリームを獲得した後、これを復号化して元本動的メッシュを復元する。復号化装置は、ビットストリーム分離部２０２、メッシュ復号化部２０４、メッシュ保存部２０６、動き復号化部２０８、及び動き補償部２１０の全部又は一部を含む。

【0027】

ビットストリーム分離部２０２は、入力されたビットストリームのヘッダ情報に基づいてビットストリームを分離する。キーフレームに該当するビットストリームはメッシュ復号化部２０４に伝達され、非キーフレームに該当するビットストリームは動き復号化部２０８に伝達される。

【0028】

メッシュ復号化部２０４は、キーフレームに該当するビットストリームを復号化してメッシュを復元する。メッシュ復号化部２０４は、メッシュを復号化するために、符号化装置内のメッシュ符号化部１０２によって用いられた符号化方法に対応する復号化方法を用いる。復元されたメッシュはメッシュ保存部２０６に保存される。

【0029】

メッシュ保存部２０６は、直前フレームの復元メッシュを保存する。ここで、直前フレームは、復元キーフレーム又は復元非キーフレームの中の１つである。メッシュ保存部２０６は、例えばディスプレイのために保存されたメッシュを出力する。更に、現在フレームが非キーフレームである場合、保存されたメッシュが現在フレームの復元に使用される。従って、保存されたメッシュは動き補償部２１０によって用いられる。

【0030】

動き復号化部２０８は、非キーフレームに該当するビットストリームを復号化して現在フレームの動き情報を復元する。復元された動き情報は動き補償部２１０に伝達される。動き復号化部２０８の詳しい動作は後述する。

【0031】

動き補償部２１０は、メッシュ保存部２０６に保存された直前フレームに復元動き情報を適用して現在フレームを復元する。復元された現在フレームは、次のフレームの復元のためにメッシュ保存部２０６に保存される。

【0032】

一方、入力された動的メッシュが存在する座標系は、メッシュ符号化効率の側面で最適な座標系ではない場合がある。従って、符号化遂行の前に、入力されたメッシュの元本座標系はメッシュ符号化に適合した第１の座標系に変換される。例えば、座標系変換は、元本座標系である直交座標系（ｏｒｔｈｏｇｏｎａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）から円筒座標系（ｃｙｌｉｎｄｒｉｃａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）への変換である。或いは、直交座標系から球形座標系（ｓｐｈｅｒｉｃａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）への変換である。他の例として、元本座標系が円筒座標系である場合、座標系変換は、円筒座標系から直交座標系への変換、又は円筒座標系から球形座標系への変換である。更に他の例として、元本座標系が球形座標系である場合、座標系変換は、球形座標系から直交座標系への変換、又は球形座標系から円筒座標系への変換である。

【0033】

以下、図３及び図４に示した図を用いて、座標系変換を用いる符号化装置及び復号化装置を記述する。

【0034】

図３は、本発明の他の実施形態による座標系変換を用いる動的メッシュ符号化装置を概念的に示すブロック図である。

【0035】

他の実施形態として、符号化装置は座標系変換を用いて動的メッシュを符号化する。このため、図３に例示したように、符号化装置は追加的に第１の座標系変換部３０２を含む。

【0036】

第１の座標系変換部３０２は、入力された動的メッシュの頂点に対して、元本座標系を第１の座標系に変換する。このとき、符号化装置は、このような座標系変換に関連する情報をビットストリームの形態で復号化装置に伝達する。或いは、上位ステップの情報を用いて符号化装置と復号化装置との間で座標系変換方法が共有される。

【0037】

座標系が第１の座標系に変換された現在フレームを符号化する残りの構成要素の動作は、図１に例示した符号化装置内の構成要素と同一であるため、詳しい説明は省く。

【0038】

図４は、本発明の他の実施形態による座標系逆変換を用いる動的メッシュ復号化装置を概念的に示すブロック図である。

【0039】

他の実施形態として、復号化装置は座標系逆変換を用いて動的メッシュを復号化する。このため、図４に例示したように、復号化装置は追加的に第１の座標系逆変換部４０２を含む。

【0040】

ビットストリームから第１の座標系上の現在フレームを復号化する残りの構成要素の動作は、図２に例示した復号化装置内の構成要素と同一であるため、詳しい説明は省く。

【0041】

第１の座標系逆変換部４０２は、メッシュ保存部２０６に保存されたメッシュを出力する前に、メッシュの第１の座標系を元本座標系に逆変換する。このとき、復号化装置は、座標系変換に関連する情報を符号化装置からビットストリームの形態で獲得する。又は、上位ステップから伝達された情報を用いて、復号化装置は復元メッシュの座標系変換を遂行する。或いは、符号化装置で用いられた元本座標系及び第１の座標系とは無関係の新規座標系を用いて、復号化装置は復元メッシュの座標系変換を遂行する。

【0042】

上述したような一回の座標系変換を適用しても、動き情報の抽出及び動き補償を考慮した符号化効率の側面から第１の座標系が最適ではない場合がある。従って、動き情報を抽出する前に、メッシュの第１の座標系は第２の座標系に変換される。ここで、第２の座標系は、元本座標系及び第１の座標系とは異なり、符号化効率の側面から動き予測及び補償に適合した座標系である。

【0043】

以下、図５及び図６の図示を用い、２回の座標系変換を用いる符号化装置及び復号化装置を記述する。

【0044】

図５は、本発明の更に他の実施形態による座標系変換を用いる動的メッシュ符号化装置を概念的に示すブロック図である。

【0045】

更に他の実施形態として、符号化装置は、２回の座標系変換を用いて動的メッシュを符号化する。このために、図５に例示したように、符号化装置は、追加的に第１の座標系変換部３０２、第２の座標系変換部５０２、及び第２の座標系逆変換部５０４を含む。

【0046】

上述したように、第１の座標系変換部３０２は、入力された動的メッシュの頂点に対して、元本座標系を第１の座標系に変換する。

【0047】

符号化装置は、座標系が変換されたフレームに対して、現在フレームがキーフレームであるか否かを確認する。現在フレームがキーフレームである場合に該当するメッシュがメッシュ符号化部１０２に伝達され、非キーフレームである場合に該当するメッシュが第２の座標系変換部５０２に伝達される。

【0048】

メッシュ符号化部１０２は、伝達されたメッシュを符号化してビットストリームを生成する。生成されたビットストリームはビットストリーム合成部１１２に伝達される。また、メッシュ符号化部１０２は、ビットストリームから復元されたメッシュを生成する。復元されたメッシュはメッシュ保存部１０４に保存される。

【0049】

メッシュ保存部１０４は、直前フレームの復元メッシュを保存する。ここで、直前フレームは、復元キーフレーム又は復元非キーフレームの中の１つである。現在フレームが非キーフレームである場合、現在フレームの動き抽出及び現在フレームの復元において保存されたメッシュが使用される。従って、保存されたメッシュは、動き抽出及び動き補償に用いられ、その前に座標系変換のために第２の座標系変換部５０２に伝達される。

【0050】

第２の座標系変換部５０２は、動き抽出及び補償に先立ち、非キーフレームに該当する現在フレームの第１の座標系を第２の座標系に変換する。また、第２の座標系変換部５０２は、メッシュ保存部１０４に保存された直前フレームの第１の座標系も第２の座標系に変換する。座標系が第２の座標系に変換された現在フレームは動き抽出部１０６に伝達され、座標系が変換された直前フレームは動き抽出部１０６及び動き補償部１１０に伝達される。

【0051】

動き抽出部１０６は、伝達された現在フレーム及び直前フレームを用いて動きデータを抽出する。抽出された動き情報は動き符号化部１０８に伝達される。

【0052】

動き符号化部１０８は、伝達された動き情報を符号化してビットストリームを生成する。生成されたビットストリームはビットストリーム合成部１１２に伝達される。また、動き符号化部１０８は、ビットストリームから復元された動きデータを生成する。生成された復元動き情報は動き補償部１１０に伝達される。

【0053】

動き補償部１１０は、座標系が変換された直前フレームに復元動き情報を適用して動きを補償することで、現在フレームを復元する。メッシュ保存部１０４に保存される前に、復元された現在フレームは、座標系逆変換のために第２の座標系逆変換部５０４に伝達される。

【0054】

第２の座標系逆変換部５０４は、復元現在フレームの第２の座標系を第１の座標系に逆変換する。座標系が第１の座標系に逆変換された復元現在フレームは、次のフレームの符号化のためにメッシュ保存部１０４に保存される。

【0055】

ビットストリーム合成部１１２は、入力されたビットストリームをつないで１つのビットストリームを合成する。符号化装置は、合成されたビットストリームを保存するか、又は復号化装置に伝達する。

【0056】

図６は、本発明の更に他の実施形態による座標系逆変換を用いる動的メッシュ復号化装置を概念的に示すブロック図である。

【0057】

他の実施形態として、復号化装置は、２回の座標系逆変換を使用して動的メッシュを復号化する。このため、図６に例示したように、復号化装置は、追加的に第１の座標系逆変換部４０２、第２の座標系変換部６０２、及び第２の座標系逆変換部６０４を含む。

【0058】

ビットストリーム分離部２０２は、入力されたビットストリームのヘッダ情報に基づいてビットストリームを分離する。キーフレームに該当するビットストリームはメッシュ復号化部２０４に伝達され、非キーフレームに該当するビットストリームは動き復号化部２０８に伝達される。上述したように、ビットストリームは、第１の座標系上で符号化装置によって生成された後、復号化装置に伝達される。

【0059】

メッシュ復号化部２０４は、キーフレームに該当するビットストリームを復号化してメッシュを復元する。メッシュ復号化部２０４は、メッシュを復号化するために、符号化装置内のメッシュ符号化部１０２によって用いられた符号化方法に対応する復号化方法を用いる。復元されたメッシュはメッシュ保存部２０６に保存される。

【0060】

メッシュ保存部２０６は、伝達された復元メッシュを保存する。ここで、直前フレームは、復元キーフレーム又は復元非キーフレームの中の１つである。メッシュ保存部２０６は、例えばディスプレイのために保存されたメッシュを出力し、その前に座標系変換のために保存されたメッシュを第１の座標系逆変換部４０２に伝達する。更に、現在フレームが非キーフレームである場合、保存されたメッシュが現在フレームの復元に使用される。従って、保存されたメッシュは、動き補償に用いられ、その前に座標系変換のために第２の座標系変換部６０２に伝達される。

【0061】

第２の座標系変換部６０２は、動き補償に先立ち、直前フレームの第１の座標系を第２の座標系に変換する。座標系が第２の座標系に変換された直前フレームは、動き補償部２１０に伝達される。

【0062】

動き復号化部２０８は、非キーフレームに該当するビットストリームを復号化して現在フレームの動き情報を復元する。上述したように、動き情報は第２の座標系上で符号化装置によって生成された後に復号化装置に伝達される。復元された動き情報は動き補償部２１０に伝達される。

【0063】

動き補償部２１０は、座標系が変換された直前フレームに復元動き情報を適用して現在フレームを復元する。メッシュ保存部２０６に保存される前に、復元された現在フレームは、座標系逆変換のために第２の座標系逆変換部６０４に伝達される。

【0064】

第２の座標系逆変換部６０４は、復元現在フレームの第２の座標系を第１の座標系に逆変換する。座標系が第１の座標系に逆変換された復元現在フレームは、次のフレームの復元のためにメッシュ保存部２０６に保存される。

【0065】

第１の座標系逆変換部４０２は、メッシュ保存部２０６に保存されたメッシュを出力する前に、メッシュの座標系を第１の座標系から元本座標系に逆変換することで、復元動的メッシュを生成する。

【0066】

以下、図７～図９に示した図を用いて、動き符号化部１０８及び動き復号化部２０８の動作を記述する。

【0067】

図７は、本発明の一実施形態による符号化装置内の動き符号化部を示すブロック図である。

【0068】

上述したように、動き符号化部１０８は、動き情報を符号化してビットストリームを生成し、生成されたビットストリームから復元された動き情報を生成する。このとき、動き情報は、メッシュの全ての頂点に対する３次元の動きベクトルである。或いは、動き情報は、３次元空間上の全ての位置に対する動き空間である。動き符号化部１０８は、動きマップ（ｍｏｔｉｏｎ ｍａｐ）生成部７０２、動きマップダウンサンプリング部７０４、及び動きマップ符号化部７０６の全部又は一部を含む。

【0069】

動きマップ生成部７０２は、伝達された動き情報を２次元にマッピングして１つ又は多数の動きマップを生成する。生成された１つ又は多数の動きマップは、動きマップダウンサンプリング部７０４に伝達される。

【0070】

動きマップダウンサンプリング部７０４は、伝達された動きマップをより小さいサイズにダウンサンプリングする。このとき、ダウンサンプリングに使用されるフィルタとして、４－ｔａｐ、６－ｔａｐ、８－ｔａｐなどの多様な長さを有するフィルタの中の１つが用いられる。或いは、一般的な方法であるバイキュービック（ｂｉｃｕｂｉｃ）フィルタ、サブサンプリング（ｓｕｂ－ｓａｍｐｌｉｎｇ）フィルタなどが使用される。ダウンサンプリングされた動きマップは、動きマップ符号化部７０６に伝達される。

【0071】

動きマップ符号化部７０６は、伝達された動きマップを符号化してビットストリームを生成する。動きマップを符号化するために、動きマップ符号化部７０６は既存のイメージ又はビデオ圧縮方法を使用する。例えば、ＪＰＥＧ、ＪＰＥＧ２０００、ＨＥＩＦ、ＰＮＧなどのような画像圧縮方法が使用される。或いは、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、Ｈ．２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、Ｈ．２６６／ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などのビデオ圧縮方法が使用される。このとき、上位ステップで符号化されたまま、使用された動きマップ圧縮方法が符号化装置から復号化装置に伝達される。伝達された動きマップ圧縮方法により、復号化装置は符号化装置で使用された符号化方法に対応する復号化方法を用いて動きマップを復元する。

【0072】

図８は、本発明の一実施形態による動きマップ生成及びダウンサンプリングを示す例示図である。

【0073】

メッシュは３次元空間上の頂点とテクスチャマップとの関係を表しているため、３次元の動き情報に対応する動きマップもまたテクスチャマップと類似の２次元マップを有する。例えば、メッシュの頂点別に抽出された動きデータは動きマップにマッピングされる。他の例として、頂点の動きデータを補間してメッシュの多角形面に対して少なくとも１つの動きデータを生成した後、そのような動きデータが動きマップにマッピングされる。上述したように、動きデータは３次元ベクトルであるため、ｘ、ｙ、ｚの軸毎に３次元ベクトルのサイズ値を用いて動きマップが生成される。その後、軸毎にマッピングされた各動きマップは、図８に示した例のように、３つのチャネルを有するイメージの形態で結合される。

【0074】

一方、頂点に動きデータがマッピングされた場合、動きマップが希少（ｓｐａｒｓｅ）特性を有するため、動きマップ符号化部７０６による符号化効率を向上させるために動きマップダウンサンプリング部７０４によってダウンサンプリングが遂行される。

【0075】

メッシュの面に動きデータがマッピングされた場合、補間プロセスでダウンサンプリングが暗黙的に（ｉｍｐｌｉｃｉｔｌｙ）並行されるため、動きマップダウンサンプリング部７０４の動作が省略される。

【0076】

図９は、本発明の一実施形態による復号化装置内の動き復号化部を示すブロック図である。

【0077】

上述したように、動き復号化部２０８は、非キーフレームに該当するビットストリームを復号化して現在フレームの動き情報を復元する。動き復号化部２０８は、動きマップ復号化部９０２、動きマップアップサンプリング部９０４、及び動きベクトル生成部９０６の全部又は一部を含む。

【0078】

動きマップ復号化部９０２は、伝達されたビットストリームを復号化して動きマップを復元する。このとき、上位ステップから伝達された動きマップ圧縮方法により、復号化装置は符号化装置で使用された符号化方法に対応する復号化方法を用いて動きマップを復元する。復元された動きマップは、動きマップアップサンプリング部９０４に伝達される。

【0079】

動きマップアップサンプリング部９０４は、伝達された復元動きマップをアップサンプリングして元のサイズの動きマップに復元する。アップサンプリングされた動きマップは動きベクトル生成部９０６に伝達される。

【0080】

動きベクトル生成部９０６は、以降の動き補償ステップで用いることができるように、伝達された動きマップを動きベクトルに変換する。

【0081】

以下、図１０及び図１１に示した図を用いて、動的メッシュ符号化方法及び動的メッシュ復号化方法を記述する。

【0082】

図１０は、本発明の一実施形態による動的メッシュ符号化方法を示すフローチャートである。

【0083】

符号化装置は、動的メッシュを構成する現在フレームを獲得する（Ｓ１０００）。

【0084】

符号化装置は、現在フレームが予め設定されたキーフレームであるか否かを確認する（Ｓ１００４）。

【0085】

現在フレームがキーフレームである場合、符号化装置は次のようなステップを遂行する。

【0086】

符号化装置は、キーフレームを符号化して第１のビットストリームを生成し、第１のビットストリームからキーフレームの復元メッシュを生成する（Ｓ１００６）。メッシュを符号化するために、符号化装置は既存のメッシュ符号化方法を使用する。更に、復元されたメッシュが次のフレームによって参照されるように、符号化装置は、符号化方法に対応する復号化方法を用いてメッシュに関連する最終ビットストリームを生成する前にメッシュを復元する。

【0087】

符号化装置は、キーフレームの復元メッシュをメッシュ保存部に直前フレームとして保存する（Ｓ１００８）。後に、メッシュ保存部１０４に保存されたキーフレームは、次のフレームの符号化のために用いられる。

【0088】

現在フレームがキーフレームではなく、非キーフレームの中の１つである場合、符号化装置は次のようなステップを遂行する。

【0089】

符号化装置は、現在フレームのメッシュ及び直前フレームの復元メッシュを用いて動きデータを抽出する（Ｓ１０１０）。例えば、符号化装置は、メッシュの頂点毎に動きデータを抽出する。他の例として、符号化装置は、メッシュの１つの面に対して少なくとも１つの動きデータを抽出する。更に他の例として、符号化装置は、多数の面及び頂点を含むパッチ単位で動きデータを抽出する。ここで、頂点、面、又はパッチの動きデータは、それらがどのように動くかを示す３次元の動きベクトルである。

【0090】

符号化装置は、動きデータを符号化して第２のビットストリームを生成し、第２のビットストリームから復元動きデータを生成する（Ｓ１０１２）。

【0091】

符号化装置は、動きベクトルを２次元にマッピングして少なくとも１つの動きマップを生成し、動きマップをダウンサンプリングした後、ダウンサンプリングされた動きマップをビデオ又はイメージ圧縮方法を用いて符号化することで、第２のビットストリームを生成する。更に、符号化装置は、上述したステップを逆に適用して第２のビットストリームから復元動きデータを生成する。

【0092】

符号化装置は直前フレームに復元動きデータを適用して復元現在フレームを生成する（Ｓ１０１４）。符号化装置は、直前フレームに復元動きデータを適用して動きを補償することで、現在フレームを復元する。

【0093】

符号化装置は、復元現在フレームをメッシュ保存部に直前フレームとして保存する（Ｓ１０１６）。後に、メッシュ保存部１０４に保存された現在フレームは、次のフレームの符号化のために用いられる。

【0094】

最終的に、符号化装置は、第１のビットストリームと第２のビットストリームとをつないで１つのビットストリームを合成する（Ｓ１０１８）。符号化装置は、合成されたビットストリームを保存するか、又は復号化装置に伝達する。

【0095】

図１１は、本発明の一実施形態による動的メッシュ復号化方法を示すフローチャートである。

【0096】

復号化装置は、ビットストリームを獲得した後、ビットストリームから第１のビットストリームと第２のビットストリームとを分離する（Ｓ１１００）。ここで、第１のビットストリームは動的メッシュを表する数のフレームの中の予め設定されたキーフレームが符号化されたビットストリームであり、第２のビットストリームは、多数のフレームの中のキーフレームを除く残りのフレーム、即ち非キーフレームの中の１つが符号化されたビットストリームを表す。復号化装置は、ビットストリームを分離するためにビットストリームのヘッダ情報を用いる。

【0097】

復号化装置は、ビットストリームが第１のビットストリームであるか否かを確認し（Ｓ１１０２）、第１のビットストリームである場合、次のステップを遂行する。

【0098】

復号化装置は、第１のビットストリームを復号化してキーフレームのメッシュを復元する（Ｓ１１０４）。復号化装置は、メッシュを復号化するために、符号化装置によって用いられた符号化方法に対応する復号化方法を用いる。

【0099】

復号化装置は、キーフレームのメッシュをメッシュ保存部に直前フレームとして保存する（Ｓ１１０６）。後に、メッシュ保存部２０６に保存されたキーフレームは、次のフレームを復号化するために用いられる。

【0100】

ビットストリームが第２のビットストリームである場合、復号化装置は次のようなステップを実行する。

【0101】

復号化装置は、第２のビットストリームを復号化して現在フレームの動きデータを復元する（Ｓ１１０８）。上述したように、復元動きデータは３次元の動きベクトルである。

【0102】

復号化装置は、動的メッシュ符号化装置で使用された符号化方法に対応する復号化方法を用い、第２のビットストリームを復号化して動きマップを復元する。復号化装置は、復元された動きマップをアップサンプリングした後、アップサンプリングされた動きマップを動きベクトルに変換する。

【0103】

復号化装置は、直前フレームに動きデータを適用して、現在フレームのメッシュを復元する（Ｓ１１１０）。復号化装置は、直前フレームに復元動きデータを適用して動きを補償することによって現在フレームを復元する。

【0104】

復号化装置は、現在フレームのメッシュを直前フレームでメッシュ保存部に保存する（Ｓ１１１２）。後に、メッシュ保存部２０６に保存された現在フレームは、次のフレームの復号化のために用いられる。

【0105】

以下、図１２及び図１３に示した図を用いて、２回の座標系変換を用いる動的メッシュ符号化方法及び動的メッシュ復号化方法を記述する。

【0106】

図１２は、本発明の他の実施形態による動的メッシュ符号化方法を示すフローチャートである。

【0107】

符号化装置は、動的メッシュを構成する現在フレームを獲得する（Ｓ１２００）。

【0108】

符号化装置は、現在フレームの頂点に対して、頂点の元本座標系を元本座標系とは異なる第１の座標系に変換する（Ｓ１２０２）。

【0109】

符号化装置は、現在フレームが予め設定されたキーフレームであるか否かを確認する（Ｓ１２０４）。

【0110】

現在フレームがキーフレームである場合、符号化装置は次のようなステップを遂行する。

【0111】

符号化装置は、キーフレームを符号化して第１のビットストリームを生成し、第１のビットストリームからキーフレームの復元メッシュを生成する（Ｓ１２０６）。メッシュを符号化するために、符号化装置は既存のメッシュ符号化方法を使用する。更に、復元されたメッシュが次のフレームによって参照されるように、符号化装置は、メッシュに関連する最終ビットストリームを生成する前にメッシュを復元する。

【0112】

符号化装置は、キーフレームの復元メッシュをメッシュ保存部に直前フレームとして保存する（Ｓ１２０８）。後に、メッシュ保存部１０４に保存されたキーフレームは、次のフレームの符号化のために用いられる。

【0113】

現在フレームがキーフレームではなく、非キーフレームの中の１つである場合、符号化装置は次のようなステップを遂行する。

【0114】

符号化装置は、現在フレームの第１の座標系を第２の座標系に変換し、メッシュ保存部に保存された直前フレームの第１の座標系も第２の座標系に変換する（Ｓ１２１０）。

【0115】

符号化装置は、現在フレームのメッシュ及び直前フレームの復元メッシュを用いて動きデータを抽出する（Ｓ１２１２）。上述したように、動きデータは３次元の動きベクトルである。

【0116】

符号化装置は、動きデータを符号化して第２のビットストリームを生成し、第２のビットストリームから復元動きデータを生成する（Ｓ１２１４）。

【0117】

符号化装置は、動きベクトルを２次元にマッピングして少なくとも１つの動きマップを生成し、動きマップをダウンサンプリングした後、ダウンサンプリングされた動きマップをビデオ又はイメージ圧縮方法を用いて符号化することで、第２のビットストリームを生成する。更に、符号化装置は、上述したステップを逆に適用して第２のビットストリームから復元動きデータを生成する。

【0118】

符号化装置は、座標系が変換された直前フレームに復元動きデータを適用して復元現在フレームを生成する（Ｓ１２１６）。符号化装置は、直前フレームに復元動きデータを適用して動きを補償することによって現在フレームを復元する。

【0119】

符号化装置は、復元現在フレームの第２の座標系を第１の座標系に逆変換する（Ｓ１２１８）。

【0120】

符号化装置は、復元現在フレームをメッシュ保存部に直前フレームとして保存する（Ｓ１２２０）。後に、メッシュ保存部１０４に保存された現在フレームは、次のフレームの符号化のために用いられる。

【0121】

最終的に、符号化装置は、第１のビットストリームと第２のビットストリームとをつないで１つのビットストリームを合成する（Ｓ１２２２）。符号化装置は、合成されたビットストリームを保存するか、又は復号化装置に伝達する。

【0122】

図１３は、本発明の他の実施形態による動的メッシュ復号化方法を示すフローチャートである。

【0123】

復号化装置は、ビットストリームを獲得した後、ビットストリームから第１のビットストリームと第２のビットストリームとを分離する（Ｓ１３００）。復号化装置は、ビットストリームを分離するためにビットストリームのヘッダ情報を用いる。

【0124】

復号化装置は、ビットストリームが第１のビットストリームであるか否かを確認し（Ｓ１３０２）、第１のビットストリームである場合、次のようなステップを遂行する。

【0125】

復号化装置は、第１のビットストリームを復号化してキーフレームのメッシュを復元する（Ｓ１３０４）。復号化装置はメッシュを復号化するために、符号化装置によって用いられた符号化方法に対応する復号化方法を用いる。

【0126】

復号化装置は、キーフレームのメッシュをメッシュ保存部に直前フレームとして保存する（Ｓ１３０６）。後に、メッシュ保存部２０６に保存されたキーフレームは、次のフレームを復号化するために用いられる。

【0127】

ビットストリームが第２のビットストリームである場合、復号化装置は次のようなステップを遂行する。

【0128】

復号化装置は直前フレームの第１の座標系を第２の座標系に変換する（Ｓ１３０８）。

【0129】

復号化装置は、第２のビットストリームを復号化して現在フレームの動きデータを復元する（Ｓ１３１０）。上述したように、復元動きデータは３次元の動きベクトルである。

【0130】

復号化装置は、動的メッシュ符号化装置で使用された符号化方法に対応する復号化方法を用い、第２のビットストリームを復号化して動きマップを復元する。復号化装置は、復元された動きマップをアップサンプリングした後、アップサンプリングされた動きマップを動きベクトルに変換する。

【0131】

復号化装置は直前フレームに動きデータを適用して現在フレームのメッシュを復元する（Ｓ１３１２）。復号化装置は、直前フレームに復元動きデータを適用して動きを補償することによって現在フレームを復元する。

【0132】

復号化装置は、復元現在フレームの第２の座標系を第１の座標系に逆変換する（Ｓ１３１４）。

【0133】

復号化装置は、現在フレームのメッシュを直前フレームでメッシュ保存部に保存する（Ｓ１３１６）。後に、メッシュ保存部２０６に保存された現在フレームは、次のフレームの復号化のために用いられる。

【0134】

最終的に、復号化装置は、メッシュ保存部に保存されたフレームに対して、第１の座標系から元本座標系に座標系を逆変換する（Ｓ１３１８）。

【0135】

本明細書のフローチャート／タイミング図では、各プロセスを順次実行するものとして記載しているが、これは、本発明の実施形態の技術思想を例示的に説明したに過ぎない。言い換えると、本発明が属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲でフローチャート／タイミング図に記載された順序を変更して実行するか、或いは各プロセスの中の１つ以上のプロセスを並列に実行することによって多様に修正及び変形して適用可能であるため、フローチャート／タイミング図は時系列的な順序に限定されるものではない。

【0136】

以上の説明における例示的な実施形態は、多くの異なる方法で具現できることを理解されたい。１つ以上に示した例で説明した機能又は方法は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで具現される。本明細書で説明した機能的コンポーネントは、それらの具現独立性を特により強調するために「…部（ｕｎｉｔ）」とラベル付けされていることを理解されたい。

【0137】

一方、本実施形態で説明した様々な機能又は方法は、１つ以上のプロセッサによって読み取られて実行される非一時的記録媒体に保存された命令語で具現される。非一時的記録媒体は、例えばコンピュータシステムによって読み取り可能な形態でデータが保存されるあらゆる種類の記録装置を含む。例えば、非一時的記録媒体は、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、フラッシュドライブ、光学ドライブ、磁気ハードドライブ、ソリッドステートドライブ（ＳＳＤ）のような保存媒体を含む。

【0138】

以上の説明は、本発明の技術思想を例示的に説明したものに過ぎず、本実施形態が属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲で様々な修正及び変形が可能であろう。従って、本実施形態は、本発明の技術思想を限定するものではなく説明するためのものであり、このような実施形態によって本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は、特許請求の範囲によって解釈するべきであり、それと均等の範囲内にある全ての技術思想は、本発明の権利範囲に含まれるものと解釈すべきである。

【0139】

ＣＲＯＳＳ－ＲＥＦＥＲＥＮＣＥ ＴＯ ＲＥＬＡＴＥＤ ＡＰＰＬＩＣＡＴＩＯＮ
本特許出願は、２０２１年４月２日付で韓国に出願した特許出願番号第１０－２０２１－００４３６５４号、２０２２年３月２８日付で韓国に出願した特許出願番号第１０－２０２２－００３８２０９号に対して優先権を主張し、その全ての内容は参考文献として本特許出願に併合される。

【符号の説明】

【0140】

１０２ メッシュ符号化部
１０４、２０６ メッシュ保存部
１０６ 動き抽出部
１０８ 動き符号化部
１１０、２１０ 動き補償部
１１２ ビットストリーム合成部
２０２ ビットストリーム分離部
２０４ メッシュ復号化部
２０８ 動き復号化部
３０２ 第１の座標系変換部
４０２ 第１の座標系逆変換部
５０２、６０２ 第２の座標系変換部
５０４、６０４ 第２の座標系逆変換部
７０２ 動きマップ生成部
７０４ 動きマップダウンサンプリング部
７０６ 動きマップ符号化部
９０２ 動きマップ復号化部
９０４ 動きマップアップサンプリング部
９０６ 動きベクトル生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2023-10-03

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

動的メッシュ復号化装置によって遂行される動的メッシュ（ｄｙｎａｍｉｃ ｍｅｓｈ）を復号化する復号化方法であって、
ビットストリームを獲得した後、前記ビットストリームから第１のビットストリームと第２のビットストリームとを分離するステップと、
前記ビットストリームを復号化するステップと、を有し、
前記第１のビットストリームは、前記動的メッシュを表す多数のフレームの中の予め設定されたキーフレーム（ｋｅｙ－ｆｒａｍｅ）が符号化されたビットストリームであり、
前記第２のビットストリームは、前記多数のフレームの中の前記キーフレームを除く残りのフレームの中の１つが符号化されたビットストリームであり、
前記復号化するステップは、
前記ビットストリームが前記第１のビットストリームである場合、
前記第１のビットストリームを復号化して前記キーフレームのメッシュを復元するステップと、
前記キーフレームのメッシュをメッシュ保存部に直前フレームとして保存するステップと、を含み、
前記ビットストリームが前記第２のビットストリームである場合、
前記第２のビットストリームを復号化して現在フレームの動きデータ（ｍｏｔｉｏｎ ｄａｔａ）を復元するステップと、
前記直前フレームに前記動きデータを適用して前記現在フレームのメッシュを復元するステップと、
前記現在フレームのメッシュを前記メッシュ保存部に前記直前フレームとして保存するステップと、を含むことを特徴とする復号化方法。

【請求項2】

前記動きデータを復元するステップは、前記現在フレームのメッシュの頂点（ｖｅｒｔｅｘ）毎に前記動きデータを復元することを特徴とする請求項１に記載の復号化方法。

【請求項3】

前記動きデータを復元するステップは、前記現在フレームのメッシュの１つの面に対して少なくとも１つの動きデータを復元することを特徴とする請求項１に記載の復号化方法。

【請求項4】

前記動きデータを復元するステップは、前記動きデータとして３次元の動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を復元することを特徴とする請求項１に記載の復号化方法。

【請求項5】

前記動きデータを復元するステップは、
動的メッシュ符号化装置で使用された符号化方法に対応する復号化方法を用い、前記第２のビットストリームを復号化して動きマップ（ｍｏｔｉｏｎ ｍａｐ）を復元するステップと、
前記復元された動きマップをアップサンプリングするステップと、
前記アップサンプリングされた動きマップを前記動きベクトルに変換するステップと、を含むことを特徴とする請求項４に記載の復号化方法。

【請求項6】

動的メッシュ符号化装置によって遂行される動的メッシュ（ｄｙｎａｍｉｃ ｍｅｓｈ）を符号化する符号化方法であって、
前記動的メッシュを構成する現在フレームを獲得し、前記現在フレームが予め設定されたキーフレーム（ｋｅｙ－ｆｒａｍｅ）であるか否かを確認するステップと、
前記現在フレームを符号化するステップと、を有し、
前記符号化するステップは、
前記現在フレームが前記キーフレームである場合、
前記キーフレームを符号化して第１のビットストリームを生成し、前記第１のビットストリームから前記キーフレームの復元メッシュを生成するステップと、
前記キーフレームの復元メッシュをメッシュ保存部に直前フレームとして保存するステップと、を含み、
前記現在フレームが前記キーフレームでない場合、
前記現在フレームのメッシュ及び前記直前フレームの復元メッシュを用いて動きデータ（ｍｏｔｉｏｎ ｄａｔａ）を抽出するステップと、
前記動きデータを符号化して第２のビットストリームを生成し、前記第２のビットストリームから復元動きデータを生成するステップと、
前記直前フレームに前記復元動きデータを適用して復元現在フレームを生成するステップと、
前記復元現在フレームを前記メッシュ保存部に前記直前フレームとして保存するステップと、を含むことを特徴とする符号化方法。

【請求項7】

前記第１のビットストリームと前記第２のビットストリームとをつないで１つのビットストリームを合成するステップを更に含むことを特徴とする請求項６に記載の符号化方法。

【請求項8】

前記動きデータを抽出するステップは、前記現在フレームのメッシュの頂点（ｖｅｒｔｅｘ）毎に前記動きデータを抽出することを特徴とする請求項６に記載の符号化方法。

【請求項9】

前記動きデータを抽出するステップは、前記現在フレームのメッシュの１つの面に対して少なくとも１つの動きデータを抽出し、前記１つの面を構成する頂点の動きデータを補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）して前記少なくとも１つの動きデータを抽出することを特徴とする請求項６に記載の符号化方法。

【請求項10】

前記動きデータを抽出するステップは、前記動きデータとして３次元の動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を抽出することを特徴とする請求項６に記載の符号化方法。

【請求項11】

前記復元動きデータを生成するステップは、
前記動きベクトルを２次元にマッピングして少なくとも１つの動きマップ（ｍｏｔｉｏｎ ｍａｐ）を生成するステップと、
前記動きマップをダウンサンプリングするステップと、
前記ダウンサンプリングされた動きマップをビデオ又はイメージ圧縮方法を用いて符号化することで、前記第２のビットストリームを生成するステップと、を含むことを特徴とする請求項１０に記載の符号化方法。

【請求項12】

前記動きマップを生成するステップは、前記動きベクトルをｘ、ｙ、ｚ軸上に射影（ｐｒｏｊｅｃｔｉｏｎ）することで、３つの動きマップを生成することを特徴とする請求項１１に記載の符号化方法。

【請求項13】

動的メッシュを符号化する符号化方法を符号化装置に実行させることによって生成されたビットストリームを保存するコンピュータ読み取り可能な記録媒体であって、
前記符号化方法は、
前記動的メッシュを構成する現在フレームを獲得し、前記現在フレームが予め設定されたキーフレーム（ｋｅｙ－ｆｒａｍｅ）であるか否かを確認するステップと、
前記現在フレームを符号化するステップと、を有し、
前記符号化するステップは、
前記現在フレームが前記キーフレームである場合、
前記キーフレームを符号化して第１のビットストリームを生成し、前記第１のビットストリームから前記キーフレームの復元メッシュを生成するステップと、
前記キーフレームの復元メッシュをメッシュ保存部に直前フレームとして保存するステップと、を含み、
前記現在フレームが前記キーフレームでない場合、
前記現在フレームのメッシュ及び前記直前フレームの復元メッシュを用いて動きデータ（ｍｏｔｉｏｎ ｄａｔａ）を抽出するステップと、
前記動きデータを符号化して第２のビットストリームを生成し、前記第２のビットストリームから復元動きデータを生成するステップと、
前記直前フレームに前記復元動きデータを適用して復元現在フレームを生成するステップと、
前記復元現在フレームを前記メッシュ保存部に前記直前フレームとして保存するステップと、を含むことを特徴とする記録媒体。

【国際調査報告】