特表 2024-533801 コーデック方法、符号化装置、復号化装置、および記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-12

(54)【発明の名称】コーデック方法、符号化装置、復号化装置、および記憶媒体

(51)【国際特許分類】

   H04N 19/70 20140101AFI20240905BHJP

   H04N 19/597 20140101ALI20240905BHJP

【ＦＩ】

H04N19/70

H04N19/597

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024519647

(86)(22)【出願日】2021-09-30

(85)【翻訳文提出日】2024-04-03

(86)【国際出願番号】 CN2021122472

(87)【国際公開番号】W WO2023050432

(87)【国際公開日】2023-04-06

(81)【指定国・地域】

(71)【出願人】

【識別番号】514272830

【氏名又は名称】チェジアン ユニバーシティ

(71)【出願人】

【識別番号】516227559

【氏名又は名称】オッポ広東移動通信有限公司

【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100126000

【弁理士】

【氏名又は名称】岩池 満

(74)【代理人】

【識別番号】100203105

【弁理士】

【氏名又は名称】江口 能弘

(72)【発明者】

【氏名】ユー ルー

(72)【発明者】

【氏名】リー シーチェン

(72)【発明者】

【氏名】ワン チューチュー

(72)【発明者】

【氏名】ダイ チェンユー

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159PP03

5C159PP13

5C159RC12

5C159UA02

5C159UA05

(57)【要約】

本願の実施例は、コーデック方法、符号化装置、復号化装置、および記憶媒体を提供し、復号化装置は、コードストリームを復号化して、第１指示パラメータを決定し、第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、パッチデータユニットに対応する第２指示パラメータを決定し、第２指示パラメータが、パッチデータユニットがジオメトリ情報を含まないことを指示する場合、パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

復号化装置に適用される復号化方法であって、
コードストリームを復号化して、第１指示パラメータを決定するステップと、
前記第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、前記パッチデータユニットに対応する第２指示パラメータを決定するステップと、
前記第２指示パラメータが、前記パッチデータユニットがジオメトリ情報を含まないことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行うステップと、を含む、復号化方法。

【請求項2】

前記第１指示パラメータが、現在のアトラスシーケンス内に、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、前記現在のアトラスシーケンスのパッチデータユニットに対応する第２指示パラメータを決定する、
請求項１に記載の復号化方法。

【請求項3】

前記第１指示パラメータが、現在のアトラス内に、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、前記現在のアトラスのパッチデータユニットに対応する第２指示パラメータを決定する、
請求項１に記載の復号化方法。

【請求項4】

前記第２指示パラメータが、前記パッチデータユニットがジオメトリ情報を含まないことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行うステップは、
前記第２指示パラメータが、前記パッチデータユニットがジオメトリ情報を含まないことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報を決定するステップと、
前記テクスチャ情報に基づいて、前記パッチデータユニットに対して再構成処理を行うステップと、を含む、
請求項２または３に記載の復号化方法。

【請求項5】

前記第２指示パラメータが、前記パッチデータユニットがジオメトリ情報を含まないことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行うステップは、
前記第２指示パラメータが、前記パッチデータユニットがジオメトリ情報を含まないことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報および参照パッチデータユニットの識別情報を決定するステップと、
前記識別情報に基づいて、前記パッチデータユニットに対応する第１ジオメトリ情報を決定するステップと、
前記テクスチャ情報および前記第１ジオメトリ情報に基づいて、前記パッチデータユニットに対して再構成処理を行うステップと、を含む、
請求項２または３に記載の復号化方法。

【請求項6】

前記識別情報に基づいて、前記パッチデータユニットに対応する第１ジオメトリ情報を決定するステップは、
前記識別情報に基づいて、前記参照パッチデータユニットの第２ジオメトリ情報を決定するステップと、
前記第２ジオメトリ情報を利用して前記第１ジオメトリ情報を再構成するステップと、を含む、
請求項５に記載の復号化方法。

【請求項7】

前記復号化方法は、
前記第１指示パラメータが、すべてのパッチデータユニットがジオメトリ情報を含むことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を決定するステップと、
前記テクスチャ情報および前記第１ジオメトリ情報に基づいて、前記パッチデータユニットに対して再構成処理を行うステップと、をさらに含む、
請求項２または３に記載の復号化方法。

【請求項8】

前記復号化方法は、
前記第２指示パラメータが、前記パッチデータユニットがジオメトリ情報を含むことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を決定するステップと、
前記テクスチャ情報および前記第１ジオメトリ情報に基づいて、前記パッチデータユニットに対して再構成処理を行うステップと、をさらに含む、
請求項２または３に記載の復号化方法。

【請求項9】

前記復号化方法は、
ジオメトリ情報を含む前記パッチデータユニットに基づいてターゲットウィンドウを構築するステップと、
前記パッチデータユニットのテクスチャ情報に基づいて、前記ターゲットウィンドウに対してシェーディング処理を行い、レンダリングされた画像を取得するステップと、をさらに含む、
請求項４に記載の復号化方法。

【請求項10】

前記復号化方法は、
前記参照パッチデータユニットに基づいて、ジオメトリ情報を含まないパッチデータユニットに対してジオメトリ欠落パッチデータユニット再構成処理を行うステップと、
前記パッチデータユニットのジオメトリ情報に基づいて、ターゲットウィンドウを構築するステップと、
前記パッチデータユニットのテクスチャ情報に基づいて、前記ターゲットウィンドウに対してシェーディング処理を行い、レンダリングされた画像を取得するステップと、をさらに含む、
請求項５に記載の復号化方法。

【請求項11】

前記第１指示パラメータの値が第１の値である場合、前記第１指示パラメータは、ジオメトリ情報を含まないパッチデータユニットが存在することを指示し、
前記第１指示パラメータの値が第２の値である場合、前記第１指示パラメータによって指示されるパッチデータユニットは、いずれもジオメトリ情報を含む、
請求項１に記載の復号化方法。

【請求項12】

前記第２指示パラメータの値が第１の値である場合、前記第２指示パラメータは、前記パッチデータユニットがジオメトリ情報を含まないことを指示し、
前記第２指示パラメータの値が第２の値である場合、前記第２指示パラメータは、前記パッチデータユニットがジオメトリ情報を含むことを指示する、
請求項１に記載の復号化方法。

【請求項13】

前記第１の値は１であり、前記第２の値は０であり、または、
前記第１の値はｔｒｕｅに設定され、前記第２の値はｆａｌｓｅに設定される、
請求項１１または１２に記載の復号化方法。

【請求項14】

符号化装置に適用される符号化方法であって、
パッチデータユニットがジオメトリ情報を含まない場合、前記パッチデータユニットを符号化して、コードストリームを生成し、同時に、第１指示パラメータと、前記パッチデータユニットの第２指示パラメータとを決定するステップであって、前記第１指示パラメータは、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定するために使用され、前記第２指示パラメータは、前記パッチデータユニットがジオメトリ情報を含むか否かを決定するために使用される、ステップと、
前記第１指示パラメータおよび前記第２指示パラメータを前記コードストリームに書き込むステップと、を含む、符号化方法。

【請求項15】

前記符号化方法は、
前記パッチデータユニットがジオメトリ情報を含まない場合、前記パッチデータユニットに対応するテクスチャ情報を決定するステップと、
前記テクスチャ情報に基づいて、前記パッチデータユニットに対して符号化処理を行い、前記コードストリームを生成するステップと、をさらに含む、
請求項１４に記載の符号化方法。

【請求項16】

前記符号化方法は、
前記パッチデータユニットがジオメトリ情報を含まない場合、前記パッチデータユニットに対応するテクスチャ情報および参照パッチデータユニットを決定するステップと、
前記参照パッチデータユニットに基づいて、前記パッチデータユニットに対応する第１ジオメトリ情報を決定するステップと、
前記テクスチャ情報および前記第１ジオメトリ情報に基づいて、前記パッチデータユニットに対して符号化処理を行い、前記コードストリームを生成するステップと、
前記参照パッチデータユニットの識別情報を前記コードストリームに書き込むステップと、をさらに含む、
請求項１４に記載の符号化方法。

【請求項17】

前記参照パッチデータユニットに基づいて、前記パッチデータユニットに対応する第１ジオメトリ情報を決定するステップは、
前記参照パッチデータユニットの第２ジオメトリ情報を決定するステップと、
前記第２ジオメトリ情報を利用して前記第１ジオメトリ情報を決定するステップと、含む、
請求項１６に記載の符号化方法。

【請求項18】

前記符号化方法は、
すべての前記パッチデータユニットがジオメトリ情報を含む場合、前記パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を決定するステップと、
前記テクスチャ情報および前記第１ジオメトリ情報に基づいて、前記パッチデータユニットに対して符号化処理を行い、前記コードストリームを生成するステップと、をさらに含む、
請求項１４～１７のいずれか一項に記載の符号化方法。

【請求項19】

前記符号化方法は、
前記パッチデータユニットがジオメトリ情報を含む場合、前記パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を決定するステップと、
前記テクスチャ情報および前記第１ジオメトリ情報に基づいて、前記パッチデータユニットに対して符号化処理を行い、前記コードストリームを生成するステップと、をさらに含む、
請求項１４～１７のいずれか一項に記載の符号化方法。

【請求項20】

前記符号化方法は、
ジオメトリ情報を含む前記パッチデータユニットに基づいてターゲットウィンドウを構築するステップと、
前記パッチデータユニットのテクスチャ情報に基づいて、前記ターゲットウィンドウに対してシェーディング処理を行い、レンダリングされた画像を取得するステップと、をさらに含む、
請求項１５に記載の符号化方法。

【請求項21】

前記符号化方法は、
前記参照パッチデータユニットに基づいて、ジオメトリ情報を含まないパッチデータユニットに対してジオメトリ欠落パッチデータユニット再構成処理を行うステップと、
前記パッチデータユニットのジオメトリ情報に基づいて、ターゲットウィンドウを構築するステップと、
前記パッチデータユニットのテクスチャ情報に基づいて、前記ターゲットウィンドウに対してシェーディング処理を行い、レンダリングされた画像を取得するステップと、をさらに含む、
請求項１６に記載の符号化方法。

【請求項22】

現在のアトラスシーケンス内に、ジオメトリ情報を含まないパッチデータユニットが存在する場合、前記第１指示パラメータの値が第１の値であると決定し、
現在のアトラスシーケンスのすべてのパッチデータユニットがジオメトリ情報を含む場合、前記第１指示パラメータの値が第２の値であると決定する、
請求項１４に記載の符号化方法。

【請求項23】

現在のアトラス内にジオメトリ情報を含まないパッチデータユニットが存在する場合、前記第１指示パラメータの値が第１の値であると決定し、
現在のアトラスのすべてのパッチデータユニットがジオメトリ情報を含む場合、前記第１指示パラメータの値が第２の値であると決定する、
請求項１４に記載の符号化方法。

【請求項24】

前記パッチデータユニットがジオメトリ情報を含まない場合、前記第２指示パラメータの値が第１の値であると決定し、
前記パッチデータユニットがジオメトリ情報を含む場合、前記第２指示パラメータの値が第２の値であると決定する、
請求項１４に記載の符号化方法。

【請求項25】

前記第１の値は１であり、前記第２の値は０であり、または、
前記第１の値はｔｒｕｅに設定され、前記第２の値はｆａｌｓｅに設定される、
請求項２２～２４のいずれか一項に記載の符号化方法。

【請求項26】

前記符号化方法は、
前記第１指示パラメータを前記コードストリームに書き込むステップと、
ジオメトリ情報を含まないパッチデータユニットが存在する場合、前記第２指示パラメータを前記コードストリームに書き込むステップと、
前記パッチデータユニットがジオメトリ情報を含まない場合、前記識別情報を前記コードストリームに書き込むステップと、をさらに含む、
請求項１６に記載の符号化方法。

【請求項27】

復号化装置であって、復号化部と、第１決定部と、再構成部と、を備え、
前記復号化部は、コードストリームを復号化するように構成され、
前記第１決定部は、第１指示パラメータを決定し、前記第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、前記パッチデータユニットに対応する第２指示パラメータを決定するように構成され、
前記再構成部は、前記第２指示パラメータが、前記パッチデータユニットがジオメトリ情報を含まないことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行うように構成される、復号化装置。

【請求項28】

復号化装置であって、第１プロセッサと、前記第１プロセッサによって実行可能な命令を記憶する第１メモリと、を備え、前記命令は、前記第１プロセッサに、請求項１～１３のいずれか一項に記載の方法を実行させる、復号化装置。

【請求項29】

符号化装置であって、符号化部を備え、
前記符号化部は、パッチデータユニットがジオメトリ情報を含まない場合、前記パッチデータユニットを符号化して、コードストリームを生成し、同時に、第１指示パラメータと、前記パッチデータユニットの第２指示パラメータとを決定するステップであって、前記第１指示パラメータは、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定するために使用され、前記第２指示パラメータは、前記パッチデータユニットがジオメトリ情報を含むか否かを決定するために使用される、ステップと、前記第１指示パラメータおよび前記第２指示パラメータを前記コードストリームに書き込むステップと、を実行するように構成される、符号化装置。

【請求項30】

符号化装置であって、第２プロセッサと、前記第２プロセッサによって実行可能な命令を記憶する第２メモリと、を備え、前記命令は、前記第２プロセッサに、請求項１４～２６のいずれか一項に記載の方法を実行させる、符号化装置。

【請求項31】

コンピュータ記憶媒体であって、前記コンピュータ記憶媒体には、コンピュータプログラムが記憶されており、前記コンピュータプログラムは、第１プロセッサに請求項１～１３のいずれか一項に記載の方法を実行させ、または、第２プロセッサに請求項１４～２６のいずれか一項に記載の方法を実行させる、コンピュータ記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、画像処理の技術分野に関し、特に、コーデック方法、符号化装置、復号化装置、および記憶媒体に関する。

【背景技術】

【0002】

ビデオコーデック分野において、画像ベースのレンダリング法を使用して非拡散反射表面をレンダリングするプロセスにおいて、最初に、カメラによって異なる観察方向における前記表面の色を収集する必要があり、その後、レンダリングする際、レンダリングウィンドウの位置および観察方向に応じて、異なる観察方向のカメラによって収集された前記表面の色を重み付け融合して、レンダリングウィンドウの姿勢における前記表面の色を形成する。

【0003】

現在、３次元空間における同じ領域に対して、複数のテクスチャパッチデータユニット（ＰＤＵ：Ｐａｔｃｈ Ｄａｔａ Ｕｎｉｔ）を使用して表現し、テクスチャアトラスに配置することが許可されているが、同時に、これらのテクスチャパッチに対応するジオメトリパッチも、ジオメトリアトラスに配置して符号化・伝送しなければならない。

【0004】

このように、現在サポートされている３次元空間における非拡散反射表面の表現方法では、非拡散反射特性の表現と圧縮性能の両方を考慮できないことが分かる。したがって、表面の非拡散反射特性を十分に表現できる上で、コーデック効率および圧縮性能をどのように向上させるかが、解決すべき重要な課題となっている。

【発明の概要】

【0005】

本願の実施例は、復号化の精度を向上させながら複雑さを低減し、簡単で効率的なコーデック方法を実現することで、圧縮性能を向上させることができる、コーデック方法、符号化装置、復号化装置、および記憶媒体を提供する。

【0006】

本願の実施例の技術的解決策は、以下のように実現できる。

【0007】

第１態様では、本願の実施例は、復号化装置に適用される復号化方法を提供し、前記方法は、
コードストリームを復号化して、第１指示パラメータを決定するステップと、
前記第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、前記パッチデータユニットに対応する第２指示パラメータを決定するステップと、
前記第２指示パラメータが、前記パッチデータユニットがジオメトリ情報を含まないことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行うステップと、を含む。

【0008】

第２態様では、本願の実施例は、符号化装置に適用される符号化方法を提供し、前記方法は、
パッチデータユニットがジオメトリ情報を含まない場合、前記パッチデータユニットを符号化して、コードストリームを生成し、同時に、第１指示パラメータと、前記パッチデータユニットの第２指示パラメータとを決定するステップであって、前記第１指示パラメータは、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定するために使用され、前記第２指示パラメータは、前記パッチデータユニットがジオメトリ情報を含むか否かを決定するために使用される、ステップと、
前記第１指示パラメータおよび前記第２指示パラメータを前記コードストリームに書き込むステップと、を含む。

【0009】

第３態様では、本願の実施例は、復号化装置を提供し、前記復号化装置は、復号化部と、第１決定部と、再構成部と、を備え、
前記復号化部は、コードストリームを復号化するように構成され、
前記第１決定部は、第１指示パラメータを決定し、前記第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、前記パッチデータユニットに対応する第２指示パラメータを決定するように構成され、
前記再構成部は、前記第２指示パラメータが、前記パッチデータユニットがジオメトリ情報を含まないことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行うように構成される。

【0010】

第４態様では、本願の実施例は、復号化装置を提供し、前記復号化装置は、第１プロセッサと、前記第１プロセッサによって実行可能な命令を記憶する第１メモリと、を備え、前記命令は、前記第１プロセッサに、上記の復号化方法を実行させる。

【0011】

第５態様では、本願の実施例は、符号化装置を提供し、前記符号化装置は、符号化部を備え、
前記符号化部は、パッチデータユニットがジオメトリ情報を含まない場合、前記パッチデータユニットを符号化して、コードストリームを生成し、同時に、第１指示パラメータと、前記パッチデータユニットの第２指示パラメータとを決定するステップであって、前記第１指示パラメータは、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定するために使用され、前記第２指示パラメータは、前記パッチデータユニットがジオメトリ情報を含むか否かを決定するために使用される、ステップと、前記第１指示パラメータおよび前記第２指示パラメータを前記コードストリームに書き込むステップと、を実行するように構成される。

【0012】

第６態様では、本願の実施例は、符号化装置を提供し、前記符号化装置は、第２プロセッサと、前記第２プロセッサによって実行可能な命令を記憶する第２メモリと、を備え、前記命令は、前記第２プロセッサに、上記の符号化方法を実行させる。

【0013】

第７態様では、本願の実施例は、コンピュータ記憶媒体を提供し、前記コンピュータ記憶媒体には、コンピュータプログラムが記憶されており、前記コンピュータプログラムは、第１プロセッサに第１態様に記載の復号化方法を実行させ、または、第２プロセッサに第２態様に記載の符号化方法を実行させる。

【0014】

本願の実施例は、コーデック方法、符号化装置、復号化装置、および記憶媒体を提供し、復号化装置は、コードストリームを復号化して、第１指示パラメータを決定し、第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、パッチデータユニットに対応する第２指示パラメータを決定し、第２指示パラメータが、パッチデータユニットがジオメトリ情報を含まないことを指示する場合、パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行う。パッチデータユニットがジオメトリ情報を含まない場合、パッチデータユニットを符号化して、コードストリームを生成し、同時に、第１指示パラメータと、パッチデータユニットの第２指示パラメータとを決定し、第１指示パラメータは、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定するために使用され、第２指示パラメータは、パッチデータユニットがジオメトリ情報を含むか否かを決定するために使用され、第１指示パラメータおよび第２指示パラメータをコードストリームに書き込む。つまり、本願の実施例では、第１指示パラメータによって、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定することができ、第２指示パラメータによって、パッチデータユニットがジオメトリ情報を含まないかどうかを決定することができ、それにより、異なる数のテクスチャ情報およびジオメトリ情報の伝送をサポートすることができ、十分なテクスチャ情報によってレンダリング品質を効果的に向上させながら、ジオメトリデータの冗長性を低減し、それにより、表面の非拡散反射特性を十分に表現できる上で、コーデック効率および圧縮性能を向上させることができる。

【図面の簡単な説明】

【0015】

【図1】復号化方法の実現フローチャート１である。

【図2】復号化方法の実現フローチャート２である。

【図3】復号化方法の実現フローチャート３である。

【図4】符号化方法の実現フローチャートである。

【図5】本願の実施例で提案される復号化装置の構成を示す模式図１である。

【図6】本願の実施例で提案される復号化装置の構成を示す模式図２である。

【図7】本願の実施例で提案される符号化装置の構成を示す模式図１である。

【図8】本願の実施例で提案される符号化装置の構成を示す模式図２である。

【発明を実施するための形態】

【0016】

以下では、本願の実施例における図面を参照して、本願の実施例の技術的解決策について、明確且つ完全に説明する。なお、本明細書で説明される特定の実施例は、関連する出願を解釈するためのものであり、本願を限定するものではない。さらに、説明の便宜上、図面には本願に関する部分のみが図示されている。

【0017】

実生活では、物体の材質の影響を受けて、同じ物体の同じ表面上の同じ点を異なる角度から観察すると、異なる色を呈することがよくある。このような観察角度の変化によって物体表面の色が変化する現象は、物体表面の非拡散反射現象と呼ばれ、このような表面は非拡散反射表面とも呼ばれる。

【0018】

ＭＩＶ（ＭＰＥＧ Ｉｍｍｅｒｓｉｖｅ Ｖｉｄｅｏ）では、伝送画素率を低減して、圧縮効率を向上させるために、当該システムに入力される多視点の深度ビデオに対して、フレームごとに視点間の冗長性除去を行い、最終的には、単一のタイムスライスにおいて、３次元空間上の１つの領域を、当該領域のジオメトリ情報を記述する１つのジオメトリパッチ（Ｐａｔｃｈ、サブブロック画像とも呼ばれる）と、当該ジオメトリパッチに対応する１つのテクスチャパッチのみを使用して表現する。これらのパッチは、アトラス（Ａｔｌａｓ、結合画像とも呼ばれる）と呼ばれるキャンバス上に配置され、異なるタイプのパッチは、異なるＡｔｌａｓ上に配置され、ジオメトリパッチが配置されたＡｔｌａｓは、ジオメトリＡｔｌａｓ、即ち、ジオメトリ結合画像と呼ばれ、テクスチャパッチが配置されたＡｔｌａｓは、テクスチャＡｔｌａｓ、即ち、テクスチャ結合画像と呼ばれる。これらのＡｔｌａｓは、時間的に積み重ねられてＡｔｌａｓシーケンスを形成した後、ビデオコーデックを使用してＡｔｌａｓシーケンスを符号化してコードストリームを形成して伝送する。

【0019】

既存のＭＩＶの実現方法であるＴＭＩＶ（Ｔｅｓｔ ｍｏｄｅｌ ｏｆ ＭＰＥＧ Ｉｍｍｅｒｓｉｖｅ Ｖｉｄｅｏ）では、視点間の冗長性を除去するプロセスにおいて、３次元空間内の１つの領域に対して、１つのジオメトリパッチおよび１つのテクスチャパッチのみを使用して表現する。このような表現方法は、非拡散反射表面の表現に使用される場合、実現可能で効率的である。これは、各観測方向における拡散反射表面の色は非常に類似しており、ほとんど一致しているからである。しかしながら、このような表現方法は、非拡散反射表面の表現に使用される場合には、１つの領域に対して１つのテクスチャパッチしか伝送されないため、異なる観測方向における異なる色の非拡散反射特性を実現することはできない。

【0020】

画像ベースのレンダリング法を使用して非拡散反射表面をレンダリングするプロセスでは、最初に、カメラによって異なる観察方向における当該表面の色を収集する必要があり、その後、レンダリングする際、レンダリングウィンドウの位置および観察方向に応じて、異なる観察方向のカメラによって収集された当該表面の色を重み付け融合して、レンダリングウィンドウの姿勢における当該表面の色を形成する。つまり、非拡散反射表面の表現を実現するためには、異なる観察方向における当該表面の複数の観察テクスチャ画像を使用する必要がある。したがって、非拡散反射表面の効率的な表現は、１つのジオメトリパッチおよび異なる方向から観察された複数のテクスチャパッチを使用して表現することである。

【0021】

既存のＭＩＶ規格では、３次元空間内の同じ領域に対して複数のテクスチャパッチを使用して表現し、テクスチャＡｔｌａｓに配置することが許可されているが、同時に、現在のＭＩＶ規格では、これらのテクスチャパッチに対応するジオメトリパッチも、ジオメトリＡｔｌａｓに配置して符号化・伝送しなければならない。

【0022】

つまり、現在のＭＩＶ規格でサポートされている３次元空間における非拡散反射表面の表現方法は、主に１つのジオメトリパッチおよび１つのテクスチャパッチを使用して表現する方法、または、複数のジオメトリパッチおよび同数の複数のテクスチャパッチを使用して表現する方法を含む。

【0023】

しかしながら、１つのジオメトリパッチおよび１つのテクスチャパッチのみを使用する表現方法は、当該表面の非拡散反射特性を十分に表現することができないため、後続のレンダリング品質に影響を与える。複数のジオメトリパッチおよび複数のテクスチャパッチを使用する表現方法は、当該表面の非拡散反射特性を十分に表現することができるが、複数のジオメトリパッチは同じ表面を繰り返し表現するため、ジオメトリ情報の表現効率が低く、符号化効率が低下する。

【0024】

このように、現在のＭＩＶ規格でサポートされている３次元空間における非拡散反射表面の表現方法では、非拡散反射特性の表現と圧縮性能の両方を考慮できないことが分かる。したがって、表面の非拡散反射特性を十分に表現できる上で、コーデック効率および圧縮性能をどのように向上させるかが、解決すべき重要な課題となっている。

【0025】

上記の問題を解決するために、本願の実施例では、第１指示パラメータによって、ジオメトリ情報を含まないパッチデータユニット（ＰＤＵ：Ｐａｔｃｈ Ｄａｔａ Ｕｎｉｔ）が存在するか否かを決定することができ、第２指示パラメータによって、パッチデータユニットがジオメトリ情報を含まないかどうかを決定することができ、それにより、異なる数のテクスチャ情報およびジオメトリ情報の伝送をサポートすることができ、十分なテクスチャ情報によってレンダリング品質を効果的に向上させながら、ジオメトリデータの冗長性を低減し、それにより、表面の非拡散反射特性を十分に表現できる上で、コーデック効率および圧縮性能を向上させることができる。

【0026】

さらに、本願で提案されるコーデック方法は、複数のジオメトリパッチを使用して３次元空間内の同じ領域を繰り返し表現することなく、少なくとも１つのジオメトリパッチデータのみを使用して、３次元空間内の１つの領域を表現することができる。したがって、非拡散反射物体の効率的な符号化とレンダリングを実現するために、１つの非拡散反射表面に対して、Ｇ個のジオメトリパッチとＴ個のテクスチャパッチを使用して表現および伝送（Ｇ、Ｔはいずれも整数であり、１≦Ｇ＜Ｔである）を行う。このようにして、同じ領域に対して、異なる視点からの複数のテクスチャ情報を提供しつつ、当該領域を表現するのに十分な少量のジオメトリ情報を伝送することができる。ＭＩＶ規格でサポートされている既存の解決策と比較して、この解決策は、非拡散反射表面の十分且つ効率的な表現をサポートすることができ、当該表面のレンダリング品質を効果的に向上させながら、ジオメトリデータの情報の冗長性を低減し、それにより、非拡散反射表面を圧縮する際の当該システムの符号化効率を向上させることができる。

【0027】

本願の実施例におけるコーデック方法は、ビデオ符号化システムに適用されてもよく、ビデオ復号化システムに適用されてもよく、ビデオ符号化システムおよびビデオ復号化システムの両方に適用されてもよく、本願の実施例では特に限定されない。

【0028】

以下では、本願の実施例における図面を参照して、本願の実施例の技術的解決策について、明確且つ完全に説明する。

【0029】

本願の１つの実施例は、復号化装置に適用される復号化方法を提案し、図１は、復号化方法の実現フローチャート１であり、図１に示すように、復号化装置による復号化方法は、以下のステップを含み得る。

【0030】

ステップ１０１において、コードストリームを復号化して、第１指示パラメータを決定する。

【0031】

本願の実施例では、復号化装置は、コードストリームを復号化することにより、第１指示パラメータを決定することができる。

【0032】

さらに、本願の実施例では、第１指示パラメータは、シーケンスレベルの指示パラメータであってもよく、画像レベルの指示パラメータであってもよい。

【0033】

なお、本願の実施において、第１指示パラメータは、現在のアトラスシーケンスに対応するすべてのパッチデータユニットのうち、ジオメトリ情報を含まない少なくとも１つのパッチデータユニットが存在するか否かを指示することができる。

【0034】

なお、本願の実施において、第１指示パラメータは、現在のアトラスに対応するすべてのパッチデータユニットのうち、ジオメトリ情報を含まない少なくとも１つのパッチデータユニットが存在するか否かを指示することができる。

【0035】

理解可能なこととして、本願の実施例では、第１指示パラメータは、ジオメトリ情報を含まず且つテクスチャ情報のみを含むパッチデータユニットが存在するか否かを示すフラグビットとして理解され得る。具体的には、復号化装置は、コードストリームを復号化して、第１指示パラメータとした１つの変数を決定でき、それにより、当該変数の値によって、第１指示パラメータを決定することができる。ここで、第１指示パラメータの値は、第１の値または第２の値であり得る。

【0036】

なお、本願の実施例では、第１指示パラメータの値が第１の値である場合、ジオメトリ情報を含まないパッチデータユニットが存在すると決定でき、第１指示パラメータの値が第２の値である場合、ジオメトリ情報を含まないパッチデータユニットが存在しない、即ち、すべてのパッチデータユニットがジオメトリ情報を含むと決定することができる。

【0037】

理解可能なこととして、本願の実施例では、第１の値を１に、第２の値を０に設定してもよいし、第１の値をｔｒｕｅに、第２の値をｆａｌｓｅに設定してもよい。本願では特に限定されない。

【0038】

さらに、本願の実施例では、フラグａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇを使用して第１指示パラメータを表すことができる。例えば、本願では、ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値が１である場合、ジオメトリパッチを含まないパッチデータユニットが存在すること、即ち、ジオメトリ情報を含まず且つテクスチャ情報のみを含む少なくとも１つのパッチデータユニットが存在することを示すことができ、ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値が０である場合、ジオメトリパッチを含まないパッチデータユニットが存在しないこと、即ち、すべてのパッチデータユニットがテクスチャ情報およびジオメトリ情報を含むことを示すことができる。

【0039】

さらに、本願の実施例では、現在のアトラスシーケンスは、現在復号化されるべきアトラス（Ａｔｌａｓ）シーケンスであり得る。具体的には、Ａｔｌａｓシーケンスは、１つまたは複数のパッチデータユニットに対応するジオメトリ情報またはテクスチャ情報を含み得、即ち、１つまたは複数のパッチデータユニットに対応するジオメトリパッチまたはテクスチャパッチを含み得る。

【0040】

理解可能なこととして、本願の実施例では、現在のアトラスシーケンスの任意のパッチデータユニットについて、当該パッチデータユニットは、ジオメトリ情報およびテクスチャ情報の両方を含んでもよく、ジオメトリ情報を含まず且つテクスチャ情報のみを含んでもよい。

【0041】

理解可能なこととして、本願の実施例では、現在のアトラスの任意のパッチデータユニットについて、当該パッチデータユニットは、ジオメトリ情報およびテクスチャ情報の両方を含んでもよく、ジオメトリ情報を含まず且つテクスチャ情報のみを含んでもよい。

【0042】

さらに、本願の実施例では、１つのパッチデータユニットが、ジオメトリ情報を含むかジオメトリ情報を含まないかの異なる状況に対して、異なる方法を選択して当該パッチデータユニットを再構成することができる。したがって、最初に、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを指示するための第１指示パラメータを決定することができる。

【0043】

ステップ１０２において、第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、パッチデータユニットに対応する第２指示パラメータを決定する。

【0044】

本願の実施例では、復号化装置は、第１指示パラメータを決定した後、第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、各パッチデータユニットに対応する第２指示パラメータをさらに決定することができ、第２指示パラメータに基づいて、ジオメトリ情報を含まないパッチデータユニットを決定することができる。

【0045】

さらに、本願の実施例では、第１指示パラメータは、シーケンスレベルの指示パラメータまたは画像レベルの指示パラメータであってもよいため、第１指示パラメータが、現在のアトラスシーケンス内にジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、現在のアトラスシーケンスのパッチデータユニットに対応する第２指示パラメータを決定する。または、第１指示パラメータが、現在のアトラス内にジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、現在のアトラスのパッチデータユニットに対応する第２指示パラメータを決定する。

【0046】

なお、本願の実施において、第２指示パラメータは、対応するパッチデータユニットがジオメトリ情報を含まないかどうかを指示することができる。

【0047】

理解可能なこととして、本願の実施例では、第２指示パラメータは、ジオメトリ情報を含まず且つテクスチャ情報のみを含むか否かを示すフラグビットとして理解され得る。具体的には、復号化装置は、コードストリームを復号化して、第２指示パラメータとした１つの変数を決定でき、それにより、当該変数の値によって、第２指示パラメータを決定することができる。ここで、第２指示パラメータの値は、第１の値または第２の値であり得る。

【0048】

なお、本願の実施例では、第２指示パラメータの値が第１の値である場合、対応するパッチデータユニットがジオメトリ情報を含まないと決定することができ、第２指示パラメータの値が第２の値である場合、対応するパッチデータユニットがジオメトリ情報を含むと決定することができる。

【0049】

理解可能なこととして、本願の実施例では、第１の値を１に、第２の値を０に設定してもよいし、第１の値をｔｒｕｅに、第２の値をｆａｌｓｅに設定してもよい。本願では特に限定されない。

【0050】

さらに、本願の実施例では、フラグｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇを使用して第２指示パラメータを表すことができる。例えば、本願では、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値が１である場合、対応するパッチデータユニットがジオメトリパッチを含まないこと、即ち、対応するパッチデータユニットがジオメトリ情報を含まず且つテクスチャ情報のみを含むことを示すことができ、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値が０である場合、対応するパッチデータユニットがジオメトリパッチを含むこと、即ち、対応するパッチデータユニットがテクスチャ情報およびジオメトリパッチを含むことを示すことができる。

【0051】

なお、本願の実施例では、現在のアトラスシーケンスは、少なくとも１つのサブアトラスを含み得、ここで、各サブアトラスには、少なくとも１つのパッチデータユニットが含まれる。これに対応して、フラグｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］を使用して第２指示パラメータを表すことができ、ここで、ｔｉｌｅＩＤおよびｐは、パッチデータユニットの識別子であり得る。例えば、本願では、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］の値が１である場合、ｔｉｌｅＩＤのサブアトラス内のｐ番目のパッチデータユニットがジオメトリパッチを含まないこと、即ち、ｔｉｌｅＩＤのサブアトラス内のｐ番目のパッチデータユニットがジオメトリ情報を含まず且つテクスチャ情報のみを含むことを示し、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］の値が０である場合、ｔｉｌｅＩＤのサブアトラス内のｐ番目のパッチデータユニットがジオメトリパッチを含むこと、即ち、ｔｉｌｅＩＤのサブアトラス内のｐ番目のパッチデータユニットがテクスチャ情報およびジオメトリ情報を含むことを示すことができる。

【0052】

ステップ１０３において、第２指示パラメータが、パッチデータユニットがジオメトリ情報を含まないことを指示する場合、パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行う。

【0053】

本願の実施例では、第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、パッチデータユニットに対応する第２指示パラメータを決定した後、第２指示パラメータが、パッチデータユニットがジオメトリ情報を含まないことを指示すると決定した場合、さらに、パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行うことができる。

【0054】

なお、本願の実施例では、第２指示パラメータに基づいて、対応するパッチデータユニットがジオメトリ情報を含まず且つテクスチャ情報のみを含むと決定した場合、最初に、当該パッチデータユニットに対応するテクスチャ情報を決定し、次に、当該テクスチャ情報を利用して当該パッチデータユニットを再構成することができ、最終的に、当該パッチデータユニットに対応する再構成パッチデータユニットを決定することができる。

【0055】

さらに、本願の実施例では、パッチデータユニットに対応するテクスチャ情報に基づいて、パッチデータユニットに対応する再構成パッチデータユニットを決定する際に、テクスチャ情報のみを使用して再構成処理を完了してもよく、または、最初に、参照パッチデータユニットのジオメトリ情報を使用して当該パッチデータユニットのジオメトリ情報を再構成し、次に、当該パッチデータユニットのテクスチャ情報と組み合わせて画像再構成処理を完了してもよい。

【0056】

理解可能なこととして、本願では、１つの実施形態によれば、第２指示パラメータが、パッチデータユニットがジオメトリ情報を含まないことを指示する場合、最初に、パッチデータユニットに対応するテクスチャ情報を決定し、次に、テクスチャ情報に基づいて、パッチデータユニットに対して再構成処理を行う。ここで、再構成されたパッチデータユニットは、テクスチャ情報のみを含み、ジオメトリ情報を含まない。

【0057】

なお、本願の実施例では、第２指示パラメータが、対応するパッチデータユニットがテクスチャパッチ（テクスチャ情報）のみを含み、ジオメトリパッチ（ジオメトリ情報）を含まないことを示す場合、即ち、第２指示パラメータに基づいて、対応するパッチデータユニットがジオメトリ情報を含まないと決定できる場合、ジオメトリ情報の復号化処理を行う必要がなく、復号化により対応するテクスチャ情報を取得するだけでよい。これに対応して、後続の画像再構成処理においても、当該パッチデータユニットのジオメトリ情報を考慮する必要がなく、対応するテクスチャ情報のみに基づいて、対応する再構成パッチデータユニットを決定する。

【0058】

つまり、本願で提案される復号化方法では、復号化プロセスにおいて、１つのＡｔｌａｓシーケンス（現在のアトラスシーケンス）を処理する度に、最初に、当該Ａｔｌａｓシーケンスに対応するａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ（第１指示パラメータ）を決定し、次に、ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇに基づいて、当該Ａｔｌａｓシーケンス内に、ジオメトリパッチ（ジオメトリ情報）を含まないパッチデータユニットが存在するか否かを判断することができる。

【0059】

なお、ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値が１である場合、当該Ａｔｌａｓシーケンス内に、ジオメトリパッチを含まないパッチデータユニットが存在すると決定することができ、この場合、具体的にどのパッチデータユニットがジオメトリパッチを含まないかを決定するために、各パッチデータユニットに対応するｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ（第２指示パラメータ）をさらに決定する必要がある。ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値が０である場合、当該Ａｔｌａｓシーケンス内に、ジオメトリパッチを含まないパッチデータユニットが存在しないと決定することができ、この場合、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇを決定せずに、各パッチデータユニットのジオメトリパッチ（第１ジオメトリ情報）およびテクスチャパッチ（テクスチャ情報）を復号化によって直接取得することができ、これにより、ジオメトリパッチおよびテクスチャパッチに基づいて、再構成処理を行う。

【0060】

さらに、本願の実施例では、当該Ａｔｌａｓシーケンス内に、ジオメトリパッチを含まないパッチデータユニットが存在すると決定した場合、当該Ａｔｌａｓシーケンス内のすべてのパッチデータユニットを１つずつ復号化するプロセスにおいて、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇに基づいて、対応するパッチデータユニットがジオメトリパッチを含むか否かをさらに判断することができる。具体的には、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値が１である場合、対応するパッチデータユニットがジオメトリパッチを含まないと決定することができ、この場合、復号化する際に、ジオメトリＡｔｌａｓから対応するパッチデータユニット内のジオメトリパッチを取得しなくなり、テクスチャＡｔｌａｓから対応するパッチデータユニット内のテクスチャパッチのみを取得し、最終的には、当該テクスチャパッチに基づいて、対応する再構成パッチデータユニットを決定することができる。ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値が０である場合、対応するパッチデータユニットがジオメトリパッチを含むと決定することができ、この場合、復号化する際、依然としてジオメトリＡｔｌａｓから対応するパッチデータユニット内のジオメトリパッチを取得する必要があり、同時に、テクスチャＡｔｌａｓから対応するパッチデータユニット内のテクスチャパッチを取得する必要があり、最終的には、当該ジオメトリパッチと当該テクスチャパッチに基づいて、対応する再構成パッチデータユニットを決定することができる。

【0061】

理解可能なこととして、本願では、１つの実施形態によれば、第２指示パラメータが、パッチデータユニットがジオメトリ情報を含まないことを指示する場合、最初に、パッチデータユニットに対応するテクスチャ情報および参照パッチデータユニットの識別情報を決定し、次に、識別情報に基づいて、パッチデータユニットに対応する第１ジオメトリ情報を決定することができ、最終的には、テクスチャ情報および第１ジオメトリ情報に基づいてパッチデータユニットに対して再構成処理を行うことができる。ここで、再構成されたパッチには、テクスチャ情報とジオメトリ情報の両方を含む。

【0062】

なお、本願の実施例では、第２指示パラメータが、対応するパッチデータユニットがテクスチャパッチ（テクスチャ情報）のみを含み、ジオメトリパッチ（ジオメトリ情報）を含まないことを示す場合、即ち、第２指示パラメータに基づいて、対応するパッチデータユニットがジオメトリ情報を含まないと決定した場合、最初に、ジオメトリ情報の再構成処理を行い、同時に、対応するテクスチャ情報を復号化によって取得する必要がある。これに対応して、後続の画像再構成処理において、当該パッチデータユニットのテクスチャ情報と再構成されたジオメトリ情報（第１ジオメトリ情報）とに基づいて、対応する再構成パッチデータユニットを決定することができる。

【0063】

さらに、本願の実施例では、最初に、パッチデータユニットに対応する参照パッチデータユニットの識別情報を決定し、次に、識別情報に基づいて、パッチデータユニットに対応する第１ジオメトリ情報を決定することができる。ここで、当該識別情報は、参照パッチデータユニットを決定するために使用され得る。例えば、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ｒｅｆｅｒｅｎｃｅ＿ｐａｔｃｈ＿ｉｄ［ｔｉｌｅＩＤ］［ｐ］を使用して識別情報を表すことができる。ここで、ｔｉｌｅＩＤおよびｐは、参照パッチデータユニットのインデックスであり得、識別情報ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］によって、参照パッチデータユニットとして、ｔｉｌｅＩＤのサブアトラス内のｐ番目のパッチデータユニットを指定することができる
理解可能なこととして、本願の実施例では、識別情報に基づいて、対応する参照パッチデータユニットを決定した後、参照パッチデータユニットに対応する第２ジオメトリ情報をさらに決定することができ、さらに、第２ジオメトリ情報を利用してパッチデータユニットのジオメトリ情報の再構成を完了し、パッチデータユニットに対応する第１ジオメトリ情報を決定することができる。

【0064】

つまり、本願の実施例では、第２指示パラメータに基づいて、対応するパッチデータユニットがジオメトリ情報を含まないと決定した場合、参照パッチデータユニットの第２ジオメトリ情報を使用して、当該パッチデータユニットの第１ジオメトリ情報を再構成することができ、それにより、当該パッチデータユニットのテクスチャ情報および第１ジオメトリ情報に基づいて、対応する再構成パッチデータユニットを決定することができる。

【0065】

つまり、本願で提案される復号化方法では、復号化プロセスにおいて、１つのＡｔｌａｓシーケンス（現在のアトラスシーケンス）を処理する度に、最初に、当該Ａｔｌａｓシーケンスに対応するａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ（第１指示パラメータ）を決定し、次に、ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇに基づいて、当該Ａｔｌａｓシーケンス内に、ジオメトリパッチ（ジオメトリ情報）を含まないパッチデータユニットが存在するか否かを判断することができる。

【0066】

なお、ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値が１である場合、当該Ａｔｌａｓシーケンス内に、ジオメトリパッチを含まないパッチデータユニットが存在すると決定することができ、この場合、具体的にどのパッチデータユニットがジオメトリパッチを含まないかを決定するために、各パッチデータユニットに対応するｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ（第２指示パラメータ）をさらに決定する必要がある。ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値が０である場合、当該Ａｔｌａｓシーケンスにジオメトリパッチを含まないパッチデータユニットが存在しないと決定することができ、この場合、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇを決定せずに、各パッチデータユニットのジオメトリパッチ（第１ジオメトリ情報）およびテクスチャパッチ（テクスチャ情報）を復号化によって直接取得することができ、これにより、ジオメトリパッチおよびテクスチャパッチに基づいて、再構成処理を行う。

【0067】

さらに、本願の実施例では、当該Ａｔｌａｓシーケンス内に、ジオメトリパッチを含まないパッチデータユニットが存在すると決定した場合、当該Ａｔｌａｓシーケンス内のすべてのパッチデータユニットを１つずつ復号化するプロセスにおいて、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇに基づいて、対応するパッチデータユニットがジオメトリパッチを含むか否かをさらに判断することができる。具体的には、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値が１である場合、対応するパッチデータユニットがジオメトリパッチを含まないと決定することができ、この場合、復号化する際に、ジオメトリＡｔｌａｓから対応するパッチデータユニット内のジオメトリパッチを取得しなくなり、対応するパッチデータユニットのジオメトリ再構成参照パッチデータユニット（参照パッチデータユニット）のインデックス番号ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ｒｅｆｅｒｅｎｃｅ＿ｐａｔｃｈ＿ｉｄ（識別情報）をさらに決定する必要があり、さらに、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ｒｅｆｅｒｅｎｃｅ＿ｐａｔｃｈ＿ｉｄに基づいて、それによって指定された参照パッチデータユニットのジオメトリパッチ（第２ジオメトリ情報）を取得し、次に、参照パッチデータユニットのジオメトリパッチを利用して、パッチデータユニットのジオメトリパッチを再構成することができ、最終的には、テクスチャＡｔｌａｓから取得したテクスチャパッチ（テクスチャ情報）と組み合わせて、再構成処理を完了し、対応する再構成パッチデータユニットを決定することができる。ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値が０である場合、対応するパッチデータユニットがジオメトリパッチを含むと決定することができ、この場合、復号化する際、依然としてジオメトリＡｔｌａｓから対応するパッチデータユニット内のジオメトリパッチを取得する必要があり、同時に、テクスチャＡｔｌａｓから対応するパッチデータユニット内のテクスチャパッチを取得する必要があり、最終的には、当該ジオメトリパッチと当該テクスチャパッチとに基づいて、対応する再構成パッチデータユニットを決定することができる。

【0068】

さらに、本願の実施例では、図２は、復号化方法の実現フローチャート２であり、図２に示すように、コードストリームを復号化して、第１指示パラメータを決定した後、即ち、ステップ１０１の後、復号化装置による復号化方法は、以下のステップをさらに含み得る。

【0069】

ステップ１０４において、第１指示パラメータが、すべてのパッチデータユニットがジオメトリ情報を含むことを指示する場合、パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を決定する。

【0070】

本願の実施例では、復号化装置は、第１指示パラメータを決定した後、第１指示パラメータが、すべてのパッチデータユニットがジオメトリ情報を含むことを指示する場合、各パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報をさらに決定することができる。

【0071】

理解可能なこととして、本願の実施例では、第１指示パラメータに基づいて、各パッチデータユニットがいずれもジオメトリパッチ（ジオメトリ情報）およびテクスチャパッチ（テクスチャ情報）を含むと決定した場合、パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を復号化によって直接取得することができる。

【0072】

つまり、本願の実施例では、第１指示パラメータが、すべてのパッチデータユニットがジオメトリ情報を含むことを指示する場合、第２指示パラメータを決定せずに、パッチデータユニットのテクスチャ情報および第１ジオメトリ情報を直接取得することができる。

【0073】

ステップ１０５において、テクスチャ情報および第１ジオメトリ情報に基づいて、パッチデータユニットに対して再構成処理を行う。

【0074】

本願の実施例では、パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を決定した後、テクスチャ情報および第１ジオメトリ情報に基づいて、パッチデータユニットに対して再構成処理を行うことができ、最終的には、対応する再構成パッチデータユニットを取得することができる。

【0075】

なお、本願の実施例では、テクスチャ情報および第１ジオメトリ情報の両方を含むパッチデータユニットについて、対応するテクスチャ情報および第１ジオメトリ情報を直接利用して、再構成パッチデータユニットの決定を完了することができる。

【0076】

さらに、本願の実施例では、図３は、復号化方法の実現フローチャート３であり、図３に示すように、第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、パッチデータユニットに対応する第２指示パラメータを決定した後、即ち、ステップ１０２の後、復号化装置による復号化方法は、以下のステップをさらに含み得る。

【0077】

ステップ１０６において、第２指示パラメータが、パッチデータユニットがジオメトリ情報を含むことを指示する場合、パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を決定する。

【0078】

本願の実施例では、第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、パッチデータユニットに対応する第２指示パラメータを決定した後、第２指示パラメータが、パッチデータユニットがジオメトリ情報を含むことを指示する場合、パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報をさらに決定することができる。

【0079】

理解可能なこととして、本願の実施例では、第２指示パラメータに基づいて、対応するパッチデータユニットがジオメトリパッチ（ジオメトリ情報）およびテクスチャパッチ（テクスチャ情報）の両方を含むと決定した場合、当該パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を復号化によって直接取得することができる。

【0080】

つまり、本願の実施例では、第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、決定された第２指示パラメータに基づいて、各パッチデータユニットがジオメトリ情報を含むか否かという具体的な状況をさらに決定することができる。ここで、第２指示パラメータが、対応するパッチデータユニットがジオメトリ情報を含むことを指示する場合、即ち、ジオメトリ情報およびテクスチャ情報の両方を含むパッチデータユニットの場合、パッチデータユニットのテクスチャ情報および第１ジオメトリ情報の取得を直接行うことができる。

【0081】

ステップ１０５において、テクスチャ情報および第１ジオメトリ情報に基づいて、パッチデータユニットに対して再構成処理を行う。

【0082】

本願の実施例では、パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を決定した後、テクスチャ情報および第１ジオメトリ情報に基づいて、パッチデータユニットに対して再構成処理を行うことができ、最終的には、対応する再構成パッチデータユニットを取得することができる。

【0083】

さらに、本願の実施例では、第２指示パラメータが、パッチデータユニットがジオメトリ情報を含まないことを指示する場合、パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行った後、即ち、ステップ１０３の後、復号化装置によるレンダリング処理の方法は、以下のステップを含み得る。

【0084】

ステップ１０７において、ジオメトリ情報を含むパッチデータユニットに基づいて、ターゲットウィンドウを構築する。

【0085】

ステップ１０８において、パッチデータユニットのテクスチャ情報に基づいて、ターゲットウィンドウに対してシェーディング処理を行い、レンダリングされた画像を取得する。

【0086】

本願の実施例では、ジオメトリ情報を含まないパッチデータユニットについて、テクスチャ情報のみを使用して再構成処理を完了する場合、ジオメトリ情報を含むパッチデータユニットに基づいて、ターゲットウィンドウをさらに構築し、次に、パッチデータユニットのテクスチャ情報に基づいて、ターゲットウィンドウに対してシェーディング処理を行い、レンダリングされた画像を取得することができる。

【0087】

さらに、本願の実施例では、復号化処理が完了した後、さらに、復号化後に取得された画像情報を利用してレンダリング処理を行うことができる。ここで、レンダリング処理は、視点ビュー復元処理と、ターゲットウィンドウジオメトリ再構築および画素シェーディング処理の２つの処理を含み得る。

【0088】

なお、視点ビュー復元のプロセスについて、一般的な方法として、すべてのパッチデータユニットについて、パッチデータユニット内のテクスチャパッチを、それらが属するオリジナル視点のテクスチャビューのオリジナル位置に順次復元し、また、パッチデータユニット内のジオメトリパッチを、それらが属するオリジナル視点のジオメトリビューのオリジナル位置に順次復元する。一方、本願では、すべてのパッチデータユニットを走査してビュー復元を行うプロセスにおいて、第１指示パラメータが、すべてのパッチデータユニットがジオメトリ情報およびテクスチャ情報の両方を含むことを指示する場合、または、第２指示パラメータが、対応するパッチデータユニットがジオメトリ情報およびテクスチャ情報の両方を含むことを指示する場合、上述した一般的な方法に従って、パッチデータユニットに対して視点ビュー復元処理を行うことができる。第２指示パラメータによって指示される、ジオメトリ情報を含まず且つテクスチャ情報のみを含むパッチデータユニット、即ち、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値が１であるパッチデータユニットについて、ジオメトリパッチの復元動作を伴わずに、当該パッチデータユニットのテクスチャパッチのみを、それらが属するオリジナル視点のテクスチャビューのオリジナル位置に復元することができる。

【0089】

さらに、本願の実施例では、ターゲットウィンドウのジオメトリ再構築と画素シェーディング処理を行う際に、最初に、視点ビュー復元処理によって復元された既存の多視点ジオメトリ画像を利用して、ターゲットウィンドウのジオメトリ画像を再構築し、次に、ターゲットウィンドウ内の各画素点を走査し、ターゲットウィンドウ内の画素点の３次元空間内の位置に基づいて、多視点テクスチャ画像から各画素の候補画素を取得し、各候補画素とターゲットウィンドウとの相対位置、姿勢関係に基づいて、各候補画素の画素値を重み付け融合して、ターゲットウィンドウ内の各画素点の画素値を得ることができる。

【0090】

つまり、本願の実施例では、すべてのパッチデータユニットについて、一部のパッチデータユニットがジオメトリ情報およびテクスチャ情報の両方を含み、残りのパッチデータユニットがテクスチャ情報のみを含む場合が存在する場合、ターゲットウィンドウをレンダリングする際、すべてのパッチデータユニットのうち、ジオメトリ情報を含む一部のパッチデータユニットのみを使用して、ターゲットウィンドウジオメトリ画像を再構築し、使用可能なすべてのパッチデータユニットのテクスチャ情報を使用してターゲットウィンドウをシェーディングすることができる。

【0091】

さらに、本願の実施例では、第２指示パラメータが、パッチデータユニットがジオメトリ情報を含まないことを指示する場合、パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行った後、即ち、ステップ１０３の後、復号化装置によるレンダリング処理の方法は、以下のステップを含み得る。

【0092】

ステップ１０９において、参照パッチデータユニットに基づいて、ジオメトリ情報を含まないパッチデータユニットに対してジオメトリ欠落パッチデータユニット再構成処理を行う。

【0093】

ステップ１１０において、パッチデータユニットのジオメトリ情報に基づいて、ターゲットウィンドウを構築する。

【0094】

ステップ１０８において、パッチデータユニットのテクスチャ情報に基づいて、ターゲットウィンドウに対してシェーディング処理を行い、レンダリングされた画像を取得する。

【0095】

本願の実施例では、ジオメトリ情報を含まないパッチデータユニットについて、最初に、参照パッチデータユニットのジオメトリ情報を使用して、当該パッチデータユニットのジオメトリ情報を再構築し、次に、当該パッチデータユニットのテクスチャ情報と組み合わせて画像再構成処理を完了する場合、最初に、参照パッチデータユニットに基づいて、ジオメトリ情報を含まないパッチデータユニットに対してジオメトリ欠落パッチデータユニット再構成処理を行うことにより、すべてのパッチデータユニットがいずれもジオメトリ情報およびテクスチャ情報の両方を含むようにし、さらに、パッチデータユニットのジオメトリ情報に基づいて、ターゲットウィンドウを構築し、次に、パッチデータユニットのテクスチャ情報に基づいて、ターゲットウィンドウに対してシェーディング処理を行い、レンダリングされた画像を取得することができる。

【0096】

さらに、本願の実施例では、復号化処理が完了した後、復号化後に取得された画像情報を利用してレンダリング処理を行うことができる。ここで、レンダリング処理は、欠落ジオメトリパッチ再構成と、視点ビュー復元と、ターゲットウィンドウジオメトリ再構築および画素シェーディングとのプロセスを含み得る。

【0097】

なお、欠落ジオメトリパッチ再構成プロセスでは、すべてのパッチデータユニットを走査することができる。１つのパッチデータユニットのｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値が１である場合、当該パッチデータユニットにジオメトリパッチ（ジオメトリ情報）が欠落していると決定し、欠落ジオメトリパッチ再構成を開始することができる。具体的には、インデックス番号がｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ｒｅｆｅｒｅｎｃｅ＿ｐａｔｃｈ＿ｉｄである参照パッチデータユニット内のジオメトリパッチおよび視点パラメータ情報を利用して、当該パッチデータユニットのジオメトリパッチを再構成することができる。上記の処理の後、すべてのパッチデータユニットには、テクスチャパッチおよびジオメトリパッチが含まれる。

【0098】

さらに、本願の実施例では、欠落ジオメトリパッチ再構成が完了した後、すべてのパッチデータユニットについて、パッチデータユニット内のテクスチャパッチを、それらが属するオリジナル視点のテクスチャビューのオリジナル位置に順次復元してもよく、パッチデータユニット内のジオメトリパッチを、それらが属するオリジナル視点のジオメトリビューのオリジナル位置に順次復元してもよい。

【0099】

さらに、本願の実施例では、ターゲットウィンドウのジオメトリ再構築と画素シェーディング処理を行う際に、最初に、視点ビュー復元処理によって復元された既存の多視点ジオメトリ画像を利用して、ターゲットウィンドウのジオメトリ画像を再構築し、次に、ターゲットウィンドウ内の各画素点を走査し、ターゲットウィンドウ内の画素点の３次元空間における位置に基づいて、多視点テクスチャ画像から各画素の候補画素を取得し、各候補画素とターゲットウィンドウとの相対位置、姿勢関係に基づいて、各候補画素の画素値を重み付け融合して、ターゲットウィンドウ内の各画素点の画素値を得ることができる。

【0100】

つまり、本願の実施例では、すべてのパッチデータユニットについて、一部のパッチデータユニットがジオメトリ情報およびテクスチャ情報の両方を含み、残りのパッチデータユニットがテクスチャ情報のみを含む場合が存在する場合、ターゲットウィンドウをレンダリングする際、最初に、ジオメトリ欠落パッチデータユニット再構成処理を行い、それにより、ジオメトリ欠落パッチデータユニット再構成処理後のすべてのパッチデータユニットがジオメトリパッチおよびテクスチャパッチを含むようにすることができ、最終的には、すべてのパッチデータユニットのジオメトリ情報を使用して、ターゲットウィンドウジオメトリ画像を再構築し、すべてのパッチデータユニットのテクスチャ情報を使用してターゲットウィンドウをシェーディングすることができる。

【0101】

上記に記載されたように、上記のステップ１０１～ステップ１１０で提案された復号化方法により、ジオメトリ情報を含まず且つテクスチャ情報のみを含むパッチデータユニットの復号化をサポートすることができ、それにより、１つの非拡散反射表面に対して、Ｇ個のジオメトリパッチとＴ個のテクスチャパッチを使用して表現および伝送（Ｇ、Ｔはいずれも整数であり、１≦Ｇ＜Ｔである）を行うことができ、つまり、同じ領域に対して、異なる視点からの複数のテクスチャ情報を提供しつつ、当該領域を表現するのに十分な少量のジオメトリ情報を伝送することができ、それにより、非拡散反射表面の十分且つ効率的な表現をサポートすることができ、当該表面のレンダリング品質を効果的に向上させながら、ジオメトリデータの情報の冗長性を低減し、それにより、非拡散反射表面を圧縮する際の符号化効率を向上させることができる。

【0102】

なお、本願で提案される復号化方法は、ＭＩＶ規格が非拡散反射コンテンツの効率的な符号化をサポートできるようにするために、パッチデータユニット内にジオメトリパッチを含まなくてもよいメカニズムを導入する。

【0103】

これに対応して、本願で提案される復号化方法は、既存のＭＩＶ規格構文構造に基づいて、アトラスシーケンスレベルとパッチデータユニットレベルで、ジオメトリパッチを含まないパッチデータユニットをサポートする構文要素を設定して、ジオメトリパッチを含まないパッチデータユニットも正確に復号化できるようにする。ここで、ジオメトリパッチを含まないパッチデータユニットのジオメトリ情報は、ジオメトリパッチを含む特定のパッチデータユニットの再構成によって得られる。

【0104】

本願の実施例は、復号化方法を提供し、復号化装置は、コードストリームを復号化して、第１指示パラメータを決定し、第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、パッチデータユニットに対応する第２指示パラメータを決定し、第２指示パラメータが、パッチデータユニットがジオメトリ情報を含まないことを指示する場合、パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行う。つまり、本願の実施例では、第１指示パラメータによって、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定することができ、第２指示パラメータによって、パッチデータユニットがジオメトリ情報を含まないかどうかを決定することができ、それにより、異なる数のテクスチャ情報およびジオメトリ情報の伝送をサポートすることができ、十分なテクスチャ情報によってレンダリング品質を効果的に向上させながら、ジオメトリデータの冗長性を低減し、それにより、表面の非拡散反射特性を十分に表現できる上で、コーデック効率および圧縮性能を向上させることができる。

【0105】

上記の実施例に基づき、本願の別の実施例で提供される復号化方法は、非拡散反射物体の効率的な符号化とレンダリングを実現するために使用される。具体的には、１つの非拡散反射表面に対して、Ｇ個のジオメトリパッチとＴ個のテクスチャパッチを使用して表現および伝送（Ｇ、Ｔはいずれも整数であり、１≦Ｇ＜Ｔである）を行う。それにより、同じ領域に対して異なる視点からの複数のテクスチャ情報を提供しつつ、当該領域を表現するのに十分な少量のジオメトリ情報を伝送することができる。

【0106】

さらに、本願の実施例では、復号化側において、復号化装置は、ジオメトリパッチを含まないパッチデータユニットの正確な復号化を可能にすることができる。具体的には、現在のＭＩＶ規格を基に、関連する構文構造を修正することにより、修正されたＭＩＶ規格は、１つの非拡散反射表面に対して、Ｇ個のジオメトリパッチとＴ個のテクスチャパッチを使用して表現および伝送する（Ｇ、Ｔはいずれも整数であり、１≦Ｇ＜Ｔである）ことをサポートするようになる。

【0107】

なお、本願の実施例では、構文を修正することによって、現在のパッチデータユニット内にジオメトリパッチが存在しないことを宣言することができる。

【0108】

理解可能なこととして、本願の実施例では、ＭＩＶ規格の構文構造「アトラスシーケンスパラメータセットのＭＩＶ拡張構文」（「Ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ ＭＩＶ ｅｘｔｅｎｓｉｏｎ ｓｙｎｔａｘ」）において、１つの構文要素ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇを追加することで、現在のアトラスシーケンス内に、ジオメトリパッチを含まず且つテクスチャパッチのみを含むパッチデータユニットが存在することを示す。ここで、表１は、現在の構文構造１であり、表２は、修正された構文構造１であり、表１に基づき、表２には、現在のアトラスシーケンス内に、ジオメトリパッチを含まず且つテクスチャパッチのみを含むパッチデータユニットが存在するか否かを指示する構文要素ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇが追加される。

【0109】

【表1】

【0110】

【表2】

【0111】

なお、本願の実施例では、上記の表２に基づいて、コードストリームを復号化した後、ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇが１に等しいと決定した場合、ｐａｔｃｈ＿ｄａｔａ＿ｕｎｉｔ（）構文構造内にｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ構文要素が存在することを指示することができ、即ち、現在のアトラスシーケンス内に、ジオメトリ情報を含まず且つテクスチャ情報のみを含むパッチデータユニットが存在することを示すことができる。ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇが０に等しいと決定した場合、ｐａｔｃｈ＿ｄａｔａ＿ｕｎｉｔ（）構文構造内にｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ構文要素が存在しないことを指示することができ、即ち、現在のアトラスシーケンスのすべてのパッチデータユニットがテクスチャ情報およびジオメトリ情報を含むことを示すことができる。

【0112】

さらに、本願の実施例では、現在のアトラスシーケンス内に、ジオメトリ情報を含まず且つテクスチャ情報のみを含むパッチデータユニットが存在すると決定した場合、さらに、復号化によって、各パッチデータユニットに対応するｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ構文要素を決定することができる。

【0113】

理解可能なこととして、本願の実施例では、ＭＩＶ規格の構文構造「パッチデータデータユニットのＭＩＶ拡張構文」（「Ｐａｔｃｈ ｄａｔａ ｕｎｉｔ ＭＩＶ ｅｘｔｅｎｓｉｏｎ ｓｙｎｔａｘ」）において、１つの構文要素ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］を追加することで、現在のパッチデータユニットがテクスチャパッチを含む一方でジオメトリパッチも含むか否かを示すことができ、これにより、復号化装置は、ジオメトリパッチを含まないパッチデータユニットを認識することができ、そのため、後続の動作では、当該パッチデータユニットのジオメトリ情報を考慮する必要がない。ここで、表３は、現在の構文構造２であり、表４は、修正された構文構造２であり、表３に基づき、表４には、現在のパッチデータユニットがジオメトリパッチを含まず且つテクスチャパッチのみを含むか否かを指示する構文要素ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］が追加される。

【0114】

【表3】

【0115】

【表4】

【0116】

なお、本願の実施例では、上記の表４に基づいて、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］が１に等しいと決定した場合、ジオメトリパッチデータ（Ｐａｔｃｈ）に有効なジオメトリ情報が存在しないことを指示することができ、即ち、パッチデータユニットがジオメトリ情報を含まないことを示すことができる。ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］が０に等しいと決定した場合、ジオメトリパッチデータ（Ｐａｔｃｈ）に有効なジオメトリ情報が存在することを指示することができ、即ち、パッチデータユニットがジオメトリ情報を含むことを示すことができる。

【0117】

さらに、本願の実施例では、現在のアトラスシーケンス内に、ジオメトリ情報を含まず且つテクスチャ情報のみを含むパッチデータユニットが存在すると決定した場合、さらに、各パッチデータユニットに対応するｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ構文要素を復号化によって決定することができる。

【0118】

このように、本願の実施例では、復号化プロセスにおいて、１つのＡｔｌａｓシーケンスを処理する度に、ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇに基づいて、当該Ａｔｌａｓシーケンス内に、ジオメトリパッチを含まないパッチデータユニットが存在するか否かを判断する。ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇが１である場合、当該Ａｔｌａｓシーケンス内に、ジオメトリパッチを含まないパッチデータユニットが存在することを意味する。ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇが０である場合、当該Ａｔｌａｓシーケンス内に、ジオメトリパッチを含まないパッチデータユニットが存在しないことを意味する。次に、当該Ａｔｌａｓシーケンス内のすべてのパッチデータユニットを１つずつ復号化するプロセスにおいて、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇに基づいて、現在のパッチデータユニットがジオメトリパッチを含むか否かを判断することができる。ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇが１である場合、現在のパッチデータユニットはジオメトリパッチを含まないことを意味する。この場合、復号化する際に、ジオメトリＡｔｌａｓから現在のパッチデータユニット内のジオメトリパッチを取得しなくなる。ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇが０である場合、現在のパッチデータユニットはジオメトリパッチを含むことを意味する。

【0119】

なお、本願の実施例では、現在のレンダリングプロセスにおいて、すべてのパッチデータユニットについて、パッチデータユニット内のテクスチャパッチを、それらが属するオリジナル視点のテクスチャビューのオリジナル位置に順次復元し、また、パッチデータユニット内のジオメトリパッチを、それらが属するオリジナル視点のジオメトリビューのオリジナル位置に復元する。一方、本願では、すべてのパッチデータユニットを走査してビュー復元を行うプロセスにおいて、パッチデータユニットのｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇが１である場合、ジオメトリパッチの復元動作を伴わずに、ブロック画像ユニットのテクスチャパッチのみを、それらが属する視点のテクスチャビューのオリジナル位置に復元する。

【0120】

さらに、本願の実施例では、ターゲットウィンドウのジオメトリ再構築と画素シェーディング処理を行う際に、前のステップで復元された既存の多視点ジオメトリ画像を利用して、ターゲットウィンドウのジオメトリ画像を再構築し、次に、ターゲットウィンドウ内の各画素点を走査し、ターゲットウィンドウ内の画素点の３次元空間内の位置に基づいて、復元された多視点テクスチャ画像から各画素の候補画素を取得し、各候補画素とターゲットウィンドウとの相対位置、姿勢関係に基づいて、各候補画素の画素値を重み付け融合して、ターゲットウィンドウ内の各画素点の画素値を得ることができる。

【0121】

つまり、本願の実施例では、パッチデータユニットリストにおいて、一部のパッチデータユニットのみがジオメトリ情報およびテクスチャ情報の両方を含み、残りのパッチデータユニットはテクスチャ情報のみを含む。ターゲットウィンドウをレンダリングする際、パッチデータユニットリスト内の、ジオメトリ情報を含む一部のパッチデータユニットのみを使用して、ターゲットウィンドウジオメトリ画像を再構築し、使用可能なすべてのパッチデータユニットのテクスチャ情報を使用してターゲットウィンドウをシェーディングする。

【0122】

本願の実施例は、復号化方法を提供し、復号化装置は、コードストリームを復号化して、第１指示パラメータを決定し、第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、パッチデータユニットに対応する第２指示パラメータを決定し、第２指示パラメータが、パッチデータユニットがジオメトリ情報を含まないことを指示する場合、パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行う。つまり、本願の実施例では、第１指示パラメータによって、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定することができ、第２指示パラメータによって、パッチデータユニットがジオメトリ情報を含まないかどうかを決定することができ、それにより、異なる数のテクスチャ情報およびジオメトリ情報の伝送をサポートすることができ、十分なテクスチャ情報によってレンダリング品質を効果的に向上させながら、ジオメトリデータの冗長性を低減し、それにより、表面の非拡散反射特性を十分に表現できる上で、コーデック効率および圧縮性能を向上させることができる。

【0123】

上記の実施例に基づき、本願の別の実施例で提供される復号化方法は、非拡散反射物体の効率的な符号化とレンダリングを実現するために使用される。具体的には、１つの非拡散反射表面に対して、Ｇ個のジオメトリパッチとＴ個のテクスチャパッチを使用して表現および伝送（Ｇ、Ｔはいずれも整数であり、１≦Ｇ＜Ｔである）を行う。それにより、同じ領域に対して異なる視点からの複数のテクスチャ情報を提供しつつ、当該領域を表現するのに十分な少量のジオメトリ情報を伝送することができる。

【0124】

さらに、本願の実施例では、復号化側において、復号化装置は、ジオメトリパッチを含まないパッチデータユニットの正確な復号化を可能にすることができる。具体的には、現在のＭＩＶ規格を基に、関連する構文構造を修正することにより、修正されたＭＩＶ規格は、１つの非拡散反射表面に対して、Ｇ個のジオメトリパッチとＴ個のテクスチャパッチを使用して表現および伝送する（Ｇ、Ｔはいずれも整数であり、１≦Ｇ＜Ｔである）ことをサポートするようになる。

【0125】

なお、本願の実施例では、構文を修正することによって、現在のパッチデータユニット内にジオメトリパッチが存在しないことを宣言することができ、同時に、現在のパッチデータユニットのジオメトリ情報が、ジオメトリパッチを含む特定のパッチデータユニットの再構成によって得られることを指示し、ジオメトリ再構成情報を提供するパッチデータユニットのインデックスを与える。

【0126】

理解可能なこととして、本願の実施例では、ＭＩＶ規格の構文構造「アトラスシーケンスパラメータセットのＭＩＶ拡張構文」（「Ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ ＭＩＶ ｅｘｔｅｎｓｉｏｎ ｓｙｎｔａｘ」）において、１つの構文要素ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇを追加することで、現在のアトラスシーケンス内に、ジオメトリパッチを含まず且つテクスチャパッチのみを含むパッチデータユニットが存在することを示す。上記の表２に示すように、現在のアトラスシーケンス内に、ジオメトリパッチを含まず且つテクスチャパッチのみを含むパッチデータユニットが存在するか否かを指示する構文要素ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇが追加される。

【0127】

なお、本願の実施例では、上記の表２に基づいて、コードストリームを復号化した後、ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇが１に等しいと決定した場合、ｐａｔｃｈ＿ｄａｔａ＿ｕｎｉｔ（）構文構造内にｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ構文要素が存在することを指示することができ、即ち、現在のアトラスシーケンス内に、ジオメトリ情報を含まず且つテクスチャ情報のみを含むパッチデータユニットが存在することを示すことができる。ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇが０に等しいと決定した場合、ｐａｔｃｈ＿ｄａｔａ＿ｕｎｉｔ（）構文構造内にｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ構文要素が存在しないことを指示することができ、即ち、すべてのパッチデータユニットがテクスチャ情報およびジオメトリ情報を含むことを示すことができる。

【0128】

さらに、本願の実施例では、現在のアトラスシーケンス内に、ジオメトリ情報を含まず且つテクスチャ情報のみを含むパッチデータユニットが存在すると決定した場合、さらに、各パッチデータユニットに対応するｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ構文要素を復号化によって決定することができる。

【0129】

理解可能なこととして、本願の実施例では、ＭＩＶ規格の構文構造「パッチデータデータユニットのＭＩＶ拡張構文」（「Ｐａｔｃｈ ｄａｔａ ｕｎｉｔ ＭＩＶ ｅｘｔｅｎｓｉｏｎ ｓｙｎｔａｘ」）において、１つの構文要素ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］を追加することで、現在のパッチデータユニットがテクスチャパッチを含む一方でジオメトリパッチも含むか否かを示すことができ、これにより、復号化装置は、ジオメトリパッチを含まないパッチデータユニットを認識することができ、そのため、後続の動作では、当該パッチデータユニットのジオメトリ情報を考慮する必要がない。ここで、表５は、修正された構文構造３であり、表３に基づき、表５には、現在のパッチデータユニットがジオメトリパッチを含まず且つテクスチャパッチのみを含むか否かを指示する構文要素ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］が追加される。

【0130】

【表5】

【0131】

なお、本願の実施例では、上記の表５に基づいて、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］が１に等しいと決定した場合、ジオメトリパッチデータ（Ｐａｔｃｈ）に有効なジオメトリ情報が存在しないことを指示することができ、即ち、パッチデータユニットがジオメトリ情報を含まないことを示すことができる。ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］が０に等しいと決定した場合、ジオメトリパッチデータ（Ｐａｔｃｈ）に有効なジオメトリ情報が存在することを指示することができ、即ち、パッチデータユニットがジオメトリ情報を含むことを示すことができる。

【0132】

理解可能なこととして、本願の実施例では、ＭＩＶ規格の構文構造「パッチデータデータユニットのＭＩＶ拡張構文」（「Ｐａｔｃｈ ｄａｔａ ｕｎｉｔ ＭＩＶ ｅｘｔｅｎｓｉｏｎ ｓｙｎｔａｘ」）において、現在のパッチデータユニットがジオメトリパッチを含まないことが明らかになった後、即ち、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］が１に等しいと決定した場合、１つの構文要素ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ｒｅｆｅｒｅｎｃｅ＿ｐａｔｃｈ＿ｉｄ［ｔｉｌｅＩＤ］［ｐ］をさらに追加して、ジオメトリ再構成参照パッチデータユニットのインデックス番号を与える。当該インデックス番号によって指定されるパッチデータユニット内のジオメトリパッチを利用して、現在のパッチデータユニットに欠落しているジオメトリ情報を再構成することができる。

【0133】

このように、本願の実施例では、復号化プロセスにおいて、１つのＡｔｌａｓシーケンスを処理する度に、ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇに基づいて、当該Ａｔｌａｓシーケンス内に、ジオメトリパッチを含まないパッチデータユニットが存在するか否かを判断する。ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇが１である場合、当該Ａｔｌａｓシーケンス内に、ジオメトリパッチを含まないパッチデータユニットが存在することを意味する。ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇが０である場合、当該Ａｔｌａｓシーケンス内に、ジオメトリパッチを含まないパッチデータユニットが存在しないことを意味する。次に、当該Ａｔｌａｓシーケンス内のすべてのパッチデータユニットを１つずつ復号化するプロセスにおいて、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇに基づいて、現在のパッチデータユニットがジオメトリパッチを含むか否かを判断することができる。ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇが１である場合、現在のパッチデータユニットはジオメトリパッチを含まないことを意味する。この場合、復号化する際に、ジオメトリＡｔｌａｓから現在のパッチデータユニット内のジオメトリパッチを取得する代わりに、現在のパッチデータユニットのジオメトリ再構成参照パッチデータユニットのインデックス番号ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ｒｅｆｅｒｅｎｃｅ＿ｐａｔｃｈ＿ｉｄを決定する。このとき、インデックス番号に従って、それが指定する参照パッチデータユニットのジオメトリパッチを取得する。ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇが０である場合、現在のパッチデータユニットはジオメトリパッチを含むことを意味する。

【0134】

なお、本願の実施例では、すべてのパッチデータユニットを走査し、現在のパッチデータユニットのｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇが１である場合、現在のパッチデータユニットにジオメトリパッチが欠落していることを意味し、欠落ジオメトリパッチ再構成が開始され、即ち、インデックス番号がｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ｒｅｆｅｒｅｎｃｅ＿ｐａｔｃｈ＿ｉｄであるパッチデータユニット内のジオメトリパッチおよび視点パラメータ情報を利用して、現在のパッチデータユニットのジオメトリパッチを再構成する。この処理の後、すべてのパッチデータユニットには、テクスチャパッチおよびジオメトリパッチが含まれる。

【0135】

さらに、本願の実施例では、ジオメトリ欠落パッチデータユニット再構成処理の後、すべてのパッチデータユニットについて、パッチデータユニット内のテクスチャパッチを、それらが属するオリジナル視点のテクスチャビューのオリジナル位置に順次復元し、また、パッチデータユニット内のジオメトリパッチを、それらが属するオリジナル視点のジオメトリビューのオリジナル位置に復元する。

【0136】

さらに、本願の実施例では、ターゲットウィンドウのジオメトリ再構築と画素シェーディング処理を行う際に、前のステップで復元された既存の多視点ジオメトリ画像を利用して、ターゲットウィンドウのジオメトリ画像を再構築し、次に、ターゲットウィンドウ内の各画素点を走査し、ターゲットウィンドウ内の画素点の３次元空間内の位置に基づいて、復元された多視点テクスチャ画像から各画素の候補画素を取得し、各候補画素とターゲットウィンドウとの相対位置、姿勢関係に基づいて、各候補画素の画素値を重み付け融合して、ターゲットウィンドウ内の各画素点の画素値を得ることができる。

【0137】

つまり、本願の実施例では、ジオメトリ欠落パッチデータユニット再構成処理後のパッチデータユニットリスト内のすべてのパッチデータユニットには、ジオメトリパッチおよびテクスチャパッチが含まれている。ターゲットウィンドウをレンダリングする際、使用可能なすべてのパッチデータユニット内のジオメトリ情報を使用して、ターゲットウィンドウジオメトリ画像を再構築し、使用可能なすべてのパッチデータユニット内のテクスチャ情報を使用して、ターゲットウィンドウをシェーディングすることができる。

【0138】

本願の実施例は、復号化方法を提供し、復号化装置は、コードストリームを復号化して、第１指示パラメータを決定し、第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、パッチデータユニットに対応する第２指示パラメータを決定し、第２指示パラメータが、パッチデータユニットがジオメトリ情報を含まないことを指示する場合、パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行う。つまり、本願の実施例では、第１指示パラメータによって、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定することができ、第２指示パラメータによって、パッチデータユニットがジオメトリ情報を含まないかどうかを決定することができ、それにより、異なる数のテクスチャ情報およびジオメトリ情報の伝送をサポートすることができ、十分なテクスチャ情報によってレンダリング品質を効果的に向上させながら、ジオメトリデータの冗長性を低減し、それにより、表面の非拡散反射特性を十分に表現できる上で、コーデック効率および圧縮性能を向上させることができる。

【0139】

上記の実施例に基づき、本願で提案される符号化方法は、符号化時に、１つの非拡散反射表面に対して、Ｇ個のジオメトリパッチとＴ個のテクスチャパッチを使用して表現および伝送（Ｇ、Ｔはいずれも整数であり、１≦Ｇ＜Ｔである）を行う。これは、符号化時に、ジオメトリパッチを含まないパッチデータユニットが存在することを意味する。

【0140】

本願の１つの実施例は、符号化装置に適用される符号化方法を提案し、図４は、符号化方法の実現フローチャートであり、図４に示すように、符号化装置による符号化方法は、以下のステップを含み得る。

【0141】

ステップ２０１において、パッチデータユニットがジオメトリ情報を含まない場合、パッチデータユニットを符号化して、コードストリームを生成し、同時に、第１指示パラメータと、パッチデータユニットの第２指示パラメータとを決定し、第１指示パラメータは、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定するために使用され、第２指示パラメータは、パッチデータユニットがジオメトリ情報を含むか否かを決定するために使用される。

【0142】

ステップ２０２において、第１指示パラメータおよび第２指示パラメータをコードストリームに書き込む。

【0143】

本願の実施例では、ジオメトリ情報を含まないパッチデータユニットが存在する場合、符号化装置は、パッチデータユニットを符号化して、コードストリームを生成し、同時に、符号化装置は、第１指示パラメータと、各パッチデータユニットの第２指示パラメータとを決定し、次に、第１指示パラメータおよび第２指示パラメータをコードストリームに書き込むことができる。

【0144】

さらに、本願の実施例では、第１指示パラメータは、シーケンスレベルの指示パラメータであってもよく、画像レベルの指示パラメータであってもよい。

【0145】

なお、本願の実施において、第１指示パラメータは、現在のアトラスシーケンスに対応するすべてのパッチデータユニットのうち、ジオメトリ情報を含まない少なくとも１つのパッチデータユニットが存在するか否かを指示することができる。即ち、第１指示パラメータは、現在のアトラスシーケンス内に、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定するために使用され得る。

【0146】

なお、本願の実施において、第１指示パラメータは、現在のアトラスに対応するすべてのパッチデータユニットのうち、ジオメトリ情報を含まない少なくとも１つのパッチデータユニットが存在するか否かを指示することができる。即ち、第１指示パラメータは、現在のアトラス内に、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定するために使用され得る。

【0147】

理解可能なこととして、本願の実施例では、第１指示パラメータは、ジオメトリ情報を含まず且つテクスチャ情報のみを含むパッチデータユニットが存在するか否かを示すフラグビットとして理解され得る。具体的には、符号化装置は、第１指示パラメータとした１つの変数を決定でき、それにより、当該変数の値によって、第１指示パラメータを決定することができる。ここで、第１指示パラメータの値は、第１の値または第２の値であり得る。

【0148】

なお、本願の実施例では、現在のアトラスシーケンス内に、ジオメトリ情報を含まないパッチデータユニットが存在すると決定した場合、第１指示パラメータの値は第１の値であると決定することができ、現在のアトラスシーケンス内に、ジオメトリ情報を含まないパッチデータユニットが存在しないと決定した場合、即ち、現在のアトラスシーケンスのすべてのパッチデータユニットがジオメトリ情報を含むと決定した場合、第１指示パラメータの値は第２の値であると決定することができる。

【0149】

なお、本願の実施例では、現在のアトラス内に、ジオメトリ情報を含まないパッチデータユニットが存在しないと決定した場合、第１指示パラメータの値は第１の値であると決定することができ、現在のアトラス内に、ジオメトリ情報を含まないパッチデータユニットが存在しないと決定した場合、即ち、現在のアトラスのすべてのパッチデータユニットがジオメトリ情報を含むと決定した場合、第１指示パラメータの値は第２の値であると決定することができる。

【0150】

理解可能なこととして、本願の実施例では、第１の値を１に、第２の値を０に設定してもよいし、第１の値をｔｒｕｅに、第２の値をｆａｌｓｅに設定してもよい。本願では特に限定されない。

【0151】

さらに、本願の実施例では、フラグａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇを使用して第１指示パラメータを表すことができる。例えば、本願では、ジオメトリパッチを含まないパッチデータユニットが存在する場合、即ち、ジオメトリ情報を含まず且つテクスチャ情報のみを含む少なくとも１つのパッチデータユニットが存在する場合、ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値は１であると設定することができ、ジオメトリパッチを含まないパッチデータユニットが存在しない場合、即ち、すべてのパッチデータユニットがテクスチャ情報およびジオメトリ情報を含む場合、ａｓｍｅ＿ｐａｔｃｈ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値は０であると設定することができる。

【0152】

さらに、本願の実施例では、現在のアトラスシーケンスは、現在符号化されるべきアトラス（Ａｔｌａｓ）シーケンスであり得る。具体的には、Ａｔｌａｓシーケンスは、１つまたは複数のパッチデータユニットに対応するジオメトリ情報またはテクスチャ情報を含み得、即ち、１つまたは複数のパッチデータユニットに対応するジオメトリパッチまたはテクスチャパッチを含み得る。

【0153】

理解可能なこととして、本願の実施例では、現在のアトラスシーケンスの任意のパッチデータユニットについて、当該パッチデータユニットは、ジオメトリ情報およびテクスチャ情報の両方を含んでもよく、ジオメトリ情報を含まず且つテクスチャ情報のみを含んでもよい。

【0154】

理解可能なこととして、本願の実施例では、現在のアトラスの任意のパッチデータユニットについて、当該パッチデータユニットは、ジオメトリ情報およびテクスチャ情報の両方を含んでもよく、ジオメトリ情報を含まず且つテクスチャ情報のみを含んでもよい。

【0155】

さらに、本願の実施例では、１つのパッチデータユニットがジオメトリ情報を含むかジオメトリ情報を含まないかの異なる状況に対して、異なる方法を選択して当該パッチデータユニットを符号化することができる。したがって、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを指示するための第１指示パラメータを決定する必要がある。

【0156】

なお、本願の実施において、第２指示パラメータは、対応するパッチデータユニットがジオメトリ情報を含まないかどうかを指示することができる。即ち、第２指示パラメータは、パッチデータユニットがジオメトリ情報を含むか否かを決定するために使用され得る。ここで、各パッチデータユニットは、１つの第２指示パラメータに対応する。

【0157】

理解可能なこととして、本願の実施例では、第２指示パラメータは、ジオメトリ情報を含まず且つテクスチャ情報のみを含むか否かを示すフラグビットとして理解され得る。具体的には、符号化装置は、第２指示パラメータとした１つの変数を決定でき、それにより、当該変数の値によって、第２指示パラメータを決定することができる。ここで、第２指示パラメータの値は、第１の値または第２の値であり得る。

【0158】

なお、本願の実施例では、対応するパッチデータユニットがジオメトリ情報を含まないと決定した場合、第２指示パラメータの値が第１の値であると決定することができ、対応するパッチデータユニットがジオメトリ情報を含むと決定した場合、第２指示パラメータの値が第２の値であると決定することができる。

【0159】

理解可能なこととして、本願の実施例では、第１の値を１に、第２の値を０に設定してもよいし、第１の値をｔｒｕｅに、第２の値をｆａｌｓｅに設定してもよい。本願では特に限定されない。

【0160】

さらに、本願の実施例では、フラグｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇを使用して第２指示パラメータを表すことができる。例えば、本願では、対応するパッチデータユニットがジオメトリパッチを含まない場合、即ち、対応するパッチデータユニットがジオメトリ情報を含まず且つテクスチャ情報のみを含む場合、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値は１であると設定することができ、対応するパッチデータユニットがジオメトリパッチを含む場合、即ち、対応するパッチデータユニットがテクスチャ情報およびジオメトリパッチを含む場合、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値は０であると設定することができる。

【0161】

なお、本願の実施例では、現在のアトラスシーケンスは、少なくとも１つのサブアトラスを含み得、ここで、各サブアトラスには、少なくとも１つのパッチデータユニットが含まれる。これに対応して、フラグｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］を使用して第２指示パラメータを表すことができ、ここで、ｔｉｌｅＩＤおよびｐは、パッチデータユニットの識別子であり得る。例えば、本願では、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］の値が１である場合、ｔｉｌｅＩＤのサブアトラス内のｐ番目のパッチデータユニットがジオメトリパッチを含まないこと、即ち、ｔｉｌｅＩＤのサブアトラス内のｐ番目のパッチデータユニットがジオメトリ情報を含まず且つテクスチャ情報のみを含むことを示し、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］の値が０である場合、ｔｉｌｅＩＤのサブアトラス内のｐ番目のパッチデータユニットがジオメトリパッチを含むこと、即ち、ｔｉｌｅＩＤのサブアトラス内のｐ番目のパッチデータユニットがテクスチャ情報およびジオメトリ情報を含むことを示すことができる。

【0162】

さらに、本願の実施例では、ジオメトリ情報を含まないパッチデータユニットが存在する場合、さらに、パッチデータユニットに対応するテクスチャ情報に基づいて符号化処理を行い、コードストリームを生成することができる。

【0163】

なお、本願の実施例では、パッチデータユニットがジオメトリ情報を含まず且つテクスチャ情報のみを含むと決定した場合、最初に、当該パッチデータユニットに対応するテクスチャ情報を決定し、次に、当該テクスチャ情報を利用して当該パッチデータユニットに対して符号化処理を行い、コードストリームを生成することができる。

【0164】

さらに、本願の実施例では、パッチデータユニットに対応するテクスチャ情報に基づいて、パッチデータユニットに対応する符号化パッチデータユニットを決定する際に、テクスチャ情報のみを使用して符号化処理を完了してもよく、または、最初に、参照パッチデータユニットのジオメトリ情報を使用して当該パッチデータユニットのジオメトリ情報を決定し、次に、当該パッチデータユニットのテクスチャ情報と結合して画像符号化処理を完了してもよい。

【0165】

理解可能なこととして、本願では、１つの実施形態によれば、パッチデータユニットがジオメトリ情報を含まない場合、最初に、パッチデータユニットに対応するテクスチャ情報を決定し、次に、テクスチャ情報に基づいて、パッチデータユニットに対して符号化処理を行い、コードストリームを生成することができる。ここで、符号化処理時には、パッチデータユニットに含まれるテクスチャ情報に対してのみ符号化処理が行われる。

【0166】

なお、本願の実施例では、パッチデータユニットがテクスチャパッチ（テクスチャ情報）のみを含み、ジオメトリパッチ（ジオメトリ情報）を含まない場合、即ち、パッチデータユニットがジオメトリ情報を含まないと決定した場合、ジオメトリ情報を取得する必要はなく、対応するテクスチャ情報のみを取得する。これに対応して、後続の画像符号化処理では、当該パッチデータユニットのジオメトリ情報を考慮する必要はなく、対応するテクスチャ情報のみに基づいて符号化処理を行う。

【0167】

理解可能なこととして、本願では、１つの実施形態によれば、パッチデータユニットがジオメトリ情報を含まない場合、最初に、パッチデータユニットに対応するテクスチャ情報および参照パッチデータを決定し、次に、参照パッチに基づいて、パッチデータユニットに対応する第１ジオメトリ情報を決定することができ、最終的には、テクスチャ情報および第１ジオメトリ情報に基づいて、パッチデータユニットに対して符号化処理を行い、コードストリームを生成することができる。ここで、符号化処理時には、パッチデータユニットに含まれるテクスチャ情報およびジオメトリ情報に対して符号化処理が行われる。

【0168】

なお、本願の実施例では、パッチデータユニットがテクスチャパッチ（テクスチャ情報）のみを含み、ジオメトリパッチ（ジオメトリ情報）を含まない場合、即ち、パッチデータユニットがジオメトリ情報を含まないと決定した場合、最初に、参照パッチデータユニットに基づいて、ジオメトリ情報を決定し、同時に、対応するテクスチャ情報を決定する必要がある。これに対応して、後続の画像符号化処理において、当該パッチデータユニットのテクスチャ情報と決定されたジオメトリ情報（第１ジオメトリ情報）とを組み合わせて、符号化処理を行うことができる。

【0169】

さらに、本願の実施例では、最初に、パッチデータユニットに対応する参照パッチデータユニットを決定し、次に、参照パッチデータユニットに基づいて、パッチデータユニットに対応する第１ジオメトリ情報を決定することができる。

【0170】

なお、本願の実施例では、符号化装置は、参照パッチデータユニットの識別情報を決定し、当該識別情報をコードストリームに書き込むこともできる。ここで、当該識別情報は、参照パッチデータユニットのインデックス番号を表すことができる。例えば、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ｒｅｆｅｒｅｎｃｅ＿ｐａｔｃｈ＿ｉｄ［ｔｉｌｅＩＤ］［ｐ］を使用して識別情報を表すことができる。ここで、ｔｉｌｅＩＤおよびｐは、参照パッチデータユニットのインデックスであり得、識別情報ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］によって、参照パッチデータユニットとして、ｔｉｌｅＩＤのサブアトラス内のｐ番目のパッチデータユニットを指定することができる。

【0171】

理解可能なこととして、本願の実施例では、対応する参照パッチデータユニットを決定した後、参照パッチデータユニットに対応する第２ジオメトリ情報をさらに決定することができ、さらに、第２ジオメトリ情報を利用して、パッチデータユニットのジオメトリ情報、即ち、パッチデータユニットに対応する第１ジオメトリ情報を決定することができる。

【0172】

つまり、本願の実施例では、パッチデータユニットがジオメトリ情報を含まないと決定した場合、参照パッチデータユニットの第２ジオメトリ情報を使用して、当該パッチデータユニットの第１ジオメトリ情報を決定することができ、それにより、当該パッチデータユニットのテクスチャ情報および第１ジオメトリ情報に基づいて、符号化処理を行い、コードストリームを生成することができる。

【0173】

理解可能なこととして、本願の実施例では、符号化装置は、第１指示パラメータをコードストリームに書き込むことができ、第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、符号化装置はさらに、第２指示パラメータをコードストリームに書き込むことができ、第２指示パラメータが、パッチデータユニットがジオメトリ情報を含まないことを指示する場合、符号化装置はさらに、識別情報をコードストリームに書き込むことができる。

【0174】

さらに、本願の実施例では、符号化装置による符号化方法は、以下のステップをさらに含み得る。

【0175】

ステップ２０４において、すべてのパッチデータユニットがジオメトリ情報を含む場合、パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を決定する。

【0176】

本願の実施例では、すべてのパッチデータユニットがジオメトリ情報を含む場合、各パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報をさらに決定することができる。

【0177】

理解可能なこととして、本願の実施例では、各パッチデータユニットがいずれもジオメトリパッチ（ジオメトリ情報）およびテクスチャパッチ（テクスチャ情報）を含むと決定した場合、パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を直接決定することができる。

【0178】

つまり、本願の実施例では、すべてのパッチデータユニットがジオメトリ情報を含む場合、パッチデータユニットのテクスチャ情報および第１ジオメトリ情報の取得を直接行うことができる。

【0179】

ステップ２０５において、テクスチャ情報および第１ジオメトリ情報に基づいて、パッチデータユニットに対して符号化処理を行い、コードストリームを生成する。

【0180】

本願の実施例では、パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を決定した後、テクスチャ情報および第１ジオメトリ情報に基づいて、パッチデータユニットに対して符号化処理を行い、コードストリームを生成することができる。

【0181】

なお、本願の実施例では、テクスチャ情報および第１ジオメトリ情報の両方を含むパッチデータユニットについて、対応するテクスチャ情報および第１ジオメトリ情報を直接利用して、符号化処理を完了することができる。

【0182】

さらに、本願の実施例では、符号化装置による符号化方法は、以下のステップをさらに含み得る。

【0183】

ステップ２０６において、パッチデータユニットがジオメトリ情報を含む場合、パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を決定する。

【0184】

本願の実施例では、パッチデータユニットがジオメトリ情報を含むと決定した場合、パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報をさらに決定することができる。

【0185】

理解可能なこととして、本願の実施例では、パッチデータユニットがジオメトリパッチ（ジオメトリ情報）およびテクスチャパッチ（テクスチャ情報）の両方を含むと決定した場合、当該パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を直接決定することができる。

【0186】

つまり、本願の実施例では、ジオメトリ情報を含まないパッチデータユニットが存在する場合、各パッチデータユニットがジオメトリ情報を含むか否かという具体的な状況をさらに決定することができる。ここで、パッチデータユニットがジオメトリ情報を含む場合、即ち、ジオメトリ情報およびテクスチャ情報の両方を含むパッチデータユニットの場合、パッチデータユニットのテクスチャ情報および第１ジオメトリ情報の取得を直接行うことができる。

【0187】

ステップ２０５において、テクスチャ情報および第１ジオメトリ情報に基づいて、パッチデータユニットに対して符号化処理を行い、コードストリームを生成する。

【0188】

本願の実施例では、パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を決定した後、テクスチャ情報および第１ジオメトリ情報に基づいて、パッチデータユニットに対して符号化処理を行い、コードストリームを生成することができる。

【0189】

さらに、本願の実施例では、符号化装置によるレンダリング処理の方法は、以下のステップを含み得る。

【0190】

ステップ２０７において、ジオメトリ情報を含むパッチデータユニットに基づいて、ターゲットウィンドウを構築する。

【0191】

ステップ２０８において、パッチデータユニットのテクスチャ情報に基づいて、ターゲットウィンドウに対してシェーディング処理を行い、レンダリングされた画像を取得する。

【0192】

本願の実施例では、ジオメトリ情報を含まないパッチデータユニットについて、テクスチャ情報のみを使用して符号化処理を完了する場合、さらに、ジオメトリ情報を含むパッチデータユニットに基づいてターゲットウィンドウを構築し、次に、パッチデータユニットのテクスチャ情報に基づいて、ターゲットウィンドウに対してシェーディング処理を行い、レンダリングされた画像を取得することができる。

【0193】

さらに、本願の実施例では、符号化処理が完了した後、さらに、符号化後に取得された画像情報を利用してレンダリング処理を行うことができる。ここで、レンダリング処理は、視点ビュー復元処理と、ターゲットウィンドウジオメトリ再構築および画素シェーディング処理の２つの処理を含み得る。

【0194】

なお、視点ビュー復元のプロセスについて、一般的な方法として、すべてのパッチデータユニットについて、パッチデータユニット内のテクスチャパッチを、それらが属するオリジナル視点のテクスチャビューのオリジナル位置に順次復元し、また、パッチデータユニット内のジオメトリパッチを、それらが属するオリジナル視点のジオメトリビューのオリジナル位置に順次復元する。一方、本願では、すべてのパッチデータユニットを走査してビュー復元を行うプロセスにおいて、第１指示パラメータが、すべてのパッチデータユニットがジオメトリ情報およびテクスチャ情報の両方を含むことを指示する場合、または、第２指示パラメータが、対応するパッチデータユニットがジオメトリ情報およびテクスチャ情報の両方を含むことを指示する場合、上述した一般的な方法に従って、パッチデータユニットに対して視点ビュー復元処理を行うことができる。第２指示パラメータによって指示される、ジオメトリ情報を含まず且つテクスチャ情報のみを含むパッチデータユニット、即ち、ｐｄｕ＿ｇｅｏｍｅｔｒｙ＿ａｂｓｅｎｔ＿ｆｌａｇの値が１であるパッチデータユニットについて、ジオメトリパッチの復元動作を伴わずに、当該パッチデータユニットのテクスチャパッチのみを、それらが属するオリジナル視点のテクスチャビューのオリジナル位置に復元することができる。

【0195】

さらに、本願の実施例では、ターゲットウィンドウのジオメトリ再構築と画素シェーディング処理を行う際に、最初に、視点ビュー復元処理によって復元された既存の多視点ジオメトリ画像を利用して、ターゲットウィンドウのジオメトリ画像を再構築し、次に、ターゲットウィンドウ内の各画素点を走査し、ターゲットウィンドウ内の画素点の３次元空間内の位置に基づいて、多視点テクスチャ画像から各画素の候補画素を取得し、各候補画素とターゲットウィンドウとの相対位置、姿勢関係に基づいて、各候補画素の画素値を重み付け融合して、ターゲットウィンドウ内の各画素点の画素値を得ることができる。

【0196】

つまり、本願の実施例では、すべてのパッチデータユニットについて、一部のパッチデータユニットがジオメトリ情報およびテクスチャ情報の両方を含み、残りのパッチデータユニットがテクスチャ情報のみを含む場合が存在する場合、ターゲットウィンドウをレンダリングする際、すべてのパッチデータユニットのうち、ジオメトリ情報を含む一部のパッチデータユニットのみを使用して、ターゲットウィンドウジオメトリ画像を再構築し、使用可能なすべてのパッチデータユニットのテクスチャ情報を使用してターゲットウィンドウをシェーディングすることができる。

【0197】

さらに、本願の実施例では、符号化装置によるレンダリング処理の方法は、以下のステップを含み得る。

【0198】

ステップ２０９において、参照パッチデータユニットに基づいて、ジオメトリ情報を含まないパッチデータユニットに対してジオメトリ欠落パッチデータユニット再構成処理を行う。

【0199】

ステップ２１０において、パッチデータユニットのジオメトリ情報に基づいて、ターゲットウィンドウを構築する。

【0200】

ステップ２０８において、パッチデータユニットのテクスチャ情報に基づいて、ターゲットウィンドウに対してシェーディング処理を行い、レンダリングされた画像を取得する。

【0201】

本願の実施例では、ジオメトリ情報を含まないパッチデータユニットについて、最初に、参照パッチデータユニットのジオメトリ情報を使用して、当該パッチデータユニットのジオメトリ情報を復元し、次に、当該パッチデータユニットのテクスチャ情報と組み合わせて画像符号化処理を完了する場合、最初に、参照パッチデータユニットに基づいて、ジオメトリ情報を含まないパッチデータユニットに対してジオメトリパッチ欠落の復元処理を行うことにより、すべてのパッチデータユニットがいずれもジオメトリ情報およびテクスチャ情報の両方を含むようにし、さらに、パッチデータユニットのジオメトリ情報に基づいて、ターゲットウィンドウを構築し、次に、パッチデータユニットのテクスチャ情報に基づいて、ターゲットウィンドウに対してシェーディング処理を行い、レンダリングされた画像を取得することができる。

【0202】

さらに、本願の実施例では、符号化処理が完了した後、さらに、符号化後に取得された画像情報を利用してレンダリング処理を行うことができる。ここで、レンダリング処理は、欠落ジオメトリパッチ再構成と、視点ビュー復元と、ターゲットウィンドウジオメトリ再構築および画素シェーディングとのプロセスを含み得る。

【0203】

なお、欠落ジオメトリパッチ再構成プロセスでは、すべてのパッチデータユニットを走査することができる。パッチデータユニットに、ジオメトリパッチ（ジオメトリ情報）が欠落していると決定した場合、ジオメトリパッチ欠落の復元を開始する。具体的には、参照パッチデータユニット内のジオメトリパッチおよび視点パラメータ情報を利用して、当該パッチデータユニットのジオメトリパッチを復元することができる。上記の処理の後、すべてのパッチデータユニットには、テクスチャパッチおよびジオメトリパッチが含まれる。

【0204】

さらに、本願の実施例では、ジオメトリパッチ欠落の決定が完了した後、すべてのパッチデータユニットについて、パッチデータユニット内のテクスチャパッチを、それらが属するオリジナル視点のテクスチャビューのオリジナル位置に順次復元してもよく、パッチデータユニット内のジオメトリパッチを、それらが属するオリジナル視点のジオメトリビューのオリジナル位置に順次復元してもよい。

【0205】

さらに、本願の実施例では、ターゲットウィンドウのジオメトリ再構築と画素シェーディング処理を行う際に、最初に、視点ビュー復元処理によって復元された既存の多視点ジオメトリ画像を利用して、ターゲットウィンドウのジオメトリ画像を再構築し、次に、ターゲットウィンドウ内の各画素点を走査し、ターゲットウィンドウ内の画素点の３次元空間における位置に基づいて、多視点テクスチャ画像から各画素の候補画素を取得し、各候補画素とターゲットウィンドウとの相対位置、姿勢関係に基づいて、各候補画素の画素値を重み付け融合して、ターゲットウィンドウ内の各画素点の画素値を得ることができる。

【0206】

つまり、本願の実施例では、すべてのパッチデータユニットについて、一部のパッチデータユニットがジオメトリ情報およびテクスチャ情報の両方を含み、残りのパッチデータユニットがテクスチャ情報のみを含む場合が存在する場合、ターゲットウィンドウをレンダリングする際、最初に、ジオメトリ欠落パッチデータユニット再構成処理を行い、それにより、ジオメトリ欠落パッチデータユニット再構成処理後のすべてのパッチデータユニットがジオメトリパッチおよびテクスチャパッチを含むようにすることができ、最終的には、すべてのパッチデータユニットのジオメトリ情報を使用して、ターゲットウィンドウジオメトリ画像を再構築し、すべてのパッチデータユニットのテクスチャ情報を使用してターゲットウィンドウをシェーディングすることができる。

【0207】

上記に記載されたように、上記のステップ２０１～ステップ２１０で提案された符号化方法により、符号化時に、１つの非拡散反射表面に対して、Ｇ個のジオメトリパッチとＴ個のテクスチャパッチを使用して表現および伝送（Ｇ、Ｔはいずれも整数であり、１≦Ｇ＜Ｔである）を行う。これは、符号化時に、ジオメトリパッチを含まないパッチデータユニットが存在し得ることを意味する。つまり、同じ領域に対して、異なる視点からの複数のテクスチャ情報を提供しつつ、当該領域を表現するのに十分な少量のジオメトリ情報を伝送することができ、それにより、非拡散反射表面の十分且つ効率的な表現をサポートすることができ、当該表面のレンダリング品質を効果的に向上させながら、ジオメトリデータの情報の冗長性を低減し、それにより、非拡散反射表面を圧縮する際の符号化効率を向上させることができる。

【0208】

なお、本願で提案される符号化方法は、ＭＩＶ規格が非拡散反射コンテンツの効率的な符号化をサポートできるようにするために、パッチデータユニット内にジオメトリパッチを含まなくてもよいメカニズムを導入する。

【0209】

これに対応して、本願で提案される符号化方法は、既存のＭＩＶ規格構文構造に基づいて、アトラスシーケンスレベルとパッチデータユニットレベルで、ジオメトリパッチを含まないパッチデータユニットをサポートする構文要素を設定して、ジオメトリパッチを含まないパッチデータユニットも正確に復号化できるようにする。

【0210】

本願の実施例に係る符号化方法によれば、パッチデータユニットがジオメトリ情報を含まない場合、パッチデータユニットを符号化して、コードストリームを生成し、同時に、第１指示パラメータと、パッチデータユニットの第２指示パラメータとを決定し、第１指示パラメータは、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定するために使用され、第２指示パラメータは、パッチデータユニットがジオメトリ情報を含むか否かを決定するために使用され、第１指示パラメータおよび第２指示パラメータをコードストリームに書き込む。つまり、本願の実施例では、第１指示パラメータによって、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定することができ、第２指示パラメータによって、パッチデータユニットがジオメトリ情報を含まないかどうかを決定することができ、それにより、異なる数のテクスチャ情報およびジオメトリ情報の伝送をサポートすることができ、十分なテクスチャ情報によってレンダリング品質を効果的に向上させながら、ジオメトリデータの冗長性を低減し、それにより、表面の非拡散反射特性を十分に表現できる上で、コーデック効率および圧縮性能を向上させることができる。

【0211】

上記の実施例に基づき、本願の別の実施例によれば、図５は、本願の実施例で提案される復号化装置の構成を示す模式図１であり、図５に示すように、本願の実施例で提案される復号化装置３００は、復号化部３０１と、第１決定部３０２と、再構成部３０３と、を備えることができる。

【0212】

前記復号化部３０１は、コードストリームを復号化するように構成され、
前記第１決定部３０２は、第１指示パラメータを決定し、前記第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、前記パッチデータユニットに対応する第２指示パラメータを決定するように構成され、
前記再構成部３０３は、前記第２指示パラメータが、前記パッチデータユニットがジオメトリ情報を含まないことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行うように構成される。

【0213】

図６は、本願の実施例で提案される復号化装置の構成を示す模式図２であり、図６に示すように、本願の実施例で提案される復号化装置３００は、第１プロセッサ３０４と、第１プロセッサ３０４によって実行可能な命令を記憶する第１メモリ３０５と、第１通信インターフェース３０６と、第１プロセッサ３０４、第１メモリ３０５および第１通信インターフェース３０６を接続するための第１バス３０７と、を備えることができる。

【0214】

さらに、本願の実施例では、前記第１プロセッサ３０４は、コードストリームを復号化して、第１指示パラメータを決定し、前記第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニット（ＰＤＵ）が存在することを指示する場合、前記パッチデータユニットに対応する第２指示パラメータを決定し、前記第２指示パラメータが、前記パッチデータユニットがジオメトリ情報を含まないことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行うように構成される。

【0215】

図７は、本願の実施例で提案される符号化装置の構成を示す模式図１であり、図７に示すように、本願の実施例で提案される符号化装置４００は、符号化部４０１を備えることができる。

【0216】

前記符号化部４０１は、パッチデータユニットがジオメトリ情報を含まない場合、前記パッチデータユニットを符号化して、コードストリームを生成し、同時に、第１指示パラメータと、前記パッチデータユニットの第２指示パラメータとを決定するステップであって、前記第１指示パラメータは、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定するために使用され、前記第２指示パラメータは、前記パッチデータユニットがジオメトリ情報を含むか否かを決定するために使用される、ステップと、前記第１指示パラメータおよび前記第２指示パラメータを前記コードストリームに書き込むステップと、を実行するように構成される。

【0217】

図８は、本願の実施例で提案される符号化装置の構成を示す模式図２であり、図８に示すように、本願の実施例で提案される符号化装置４００は、第２プロセッサ４０２と、第２プロセッサ４０２によって実行可能な命令を記憶する第２メモリ４０３と、第２通信インターフェース４０４と、第２プロセッサ４０２、第２メモリ４０３および第２通信インターフェース４０４を接続するための第２バス４０５と、を備えることができる。

【0218】

さらに、本願の実施例では、前記第２プロセッサ４０２は、パッチデータユニットがジオメトリ情報を含まない場合、前記パッチデータユニットを符号化して、コードストリームを生成し、同時に、第１指示パラメータと、前記パッチデータユニットの第２指示パラメータとを決定し、前記第１指示パラメータは、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定するために使用され、前記第２指示パラメータは、前記パッチデータユニットがジオメトリ情報を含むか否かを決定するために使用され、前記第１指示パラメータおよび前記第２指示パラメータを前記コードストリームに書き込むように構成される。

【0219】

さらに、本実施例における各機能モジュールは、１つの処理ユニットに統合されてもよく、または各ユニットが物理的に別々に存在してもよく、２つまたは２つ以上のユニットが１つのユニットに統合されてもよい。上記統合されたユニットは、ハードウェアの形で実現されてもよく、ソフトウェア機能モジュールの形で実現されてもよい。

【0220】

統合されたユニットが、ソフトウェア機能モジュールの形で実装され、独立した製品として販売または使用されない場合、１つのコンピュータ可読記憶媒体に記憶することができる。このような理解に基づき、本実施例の技術的解決策の本質的な部分、または、先行技術に貢献のある部分、または当該技術の解決策の全部または一部は、ソフトウェア製品の形で具現されることができ、前記コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、一台のコンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器などであリ得る）またはｐｒｏｃｅｓｓｏｒ（プロセッサ）に、本実施例の方法のステップの全部または一部を実行させるためのいくつかの命令を含む。前述した記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスクなど、プログラムコードを記憶できる様々な媒体を含む。

【0221】

本願の実施例は、符号化装置および復号化装置を提供し、第１指示パラメータによって、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定することができ、第２指示パラメータによって、パッチデータユニットがジオメトリ情報を含まないかどうかを決定することができ、それにより、異なる数のテクスチャ情報およびジオメトリ情報の伝送をサポートすることができ、十分なテクスチャ情報によってレンダリング品質を効果的に向上させながら、ジオメトリデータの冗長性を低減し、それにより、表面の非拡散反射特性を十分に表現できる上で、コーデック効率および圧縮性能を向上させることができる。

【0222】

本願の実施例は、プログラムが記憶されたコンピュータ可読記憶媒体を提供し、前記プログラムは、プロセッサに上記の実施例に記載の方法を実行させる。

【0223】

具体的には、本実施例における復号化方法に対応するプログラム命令は、光ディスク、ハードディスク、Ｕディスクなどの記憶媒体に記憶され得、記憶媒体内の復号化方法に対応するプログラム命令が、電子機器によって読み取られるか実行されるときに、前記電子機器に、
コードストリームを復号化して、第１指示パラメータを決定するステップと、
前記第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、前記パッチデータユニットに対応する第２指示パラメータを決定するステップと、
前記第２指示パラメータが、前記パッチデータユニットがジオメトリ情報を含まないことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行うステップと、を含む処理を実行させる。

【0224】

記憶媒体内の符号化方法に対応するプログラム命令が、電子機器によって読み取られるか実行されるときに、前記電子機器に、
パッチデータユニットがジオメトリ情報を含まない場合、前記パッチデータユニットを符号化して、コードストリームを生成し、同時に、第１指示パラメータと、前記パッチデータユニットの第２指示パラメータとを決定するステップであって、前記第１指示パラメータは、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定するために使用され、前記第２指示パラメータは、前記パッチデータユニットがジオメトリ情報を含むか否かを決定するために使用される、ステップと、
前記第１指示パラメータおよび前記第２指示パラメータを前記コードストリームに書き込むステップと、を含む処理を実行させる。

【0225】

当業者には、本願の実施例が、方法、システム、またはコンピュータプログラム製品として提供され得ることが理解されるべきである。したがって、本願は、ハードウェアの実施例、ソフトウェアの実施例、またはソフトウェアおよびハードウェアの態様を組み合わせた実施例の形態を取ることができる。さらに、本願は、コンピュータ使用可能なプログラムコードを含む１つまたは複数のコンピュータ使用可能な記憶媒体（ディスクメモリ、光メモリなどを含むが、これらに限定されない）で実施されるコンピュータプログラム製品の形態を取ることができる。

【0226】

本願は、本願の実施例による方法、装置（システム）、およびコンピュータプログラム製品の実現フローチャートおよび／またはブロック図を参照して説明される。なお、実現フローチャートおよび／またはブロック図における各プロセスおよび／またはブロック、および実現フローチャートおよび／またはブロック図におけるプロセスおよび／またはブロックの組み合わせは、コンピュータプログラム命令によって実現することができる。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、またはその他のプログラマブルデータ処理装置のプロセッサに提供されて、１つのマシンを生成することができる。これにより、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行される命令によって、実現フローチャートの１つまたは複数のプロセス、および／またはブロック図の１つまたは複数のブロックで指定された機能を実現するための装置が生成される。

【0227】

これらのコンピュータプログラム命令はさらに、コンピュータまたは他のプログラマブルデータ処理装置を特定の方式で動作するように導くことができるコンピュータ可読メモリに記憶され得る。これにより、当該コンピュータ可読メモリに記憶された命令によって、命令装置を含む製品を生成することができ、当該命令装置は、実現フローチャートの１つまたは複数のプロセスおよび／またはブロック図の１つまたは複数のブロックで指定された機能を実現する。

【0228】

これらのコンピュータプログラム命令は、さらにコンピュータまたは他のプログラム可能なデータ処理装置にロードすることもでき、これにより、コンピュータまたは他のプログラム可能なデータ処理装置で一連の操作ステップを実行することにより、コンピュータによって実装されるプロセスを生成し、これにより、コンピュータまたは他のプログラム可能なデータ処理装置で実行される命令によって、実現フローチャートの１つまたは複数のプロセス、および／またはブロック図の１つまたは複数のブロックで、指定された機能を実現するためのステップを提供する。

【0229】

上記の説明は、本願の好ましい実施例に過ぎず、本願の保護範囲を限定することを意図するものではない。

【産業上の利用可能性】

【0230】

本願の実施例は、コーデック方法、符号化装置、復号化装置、および記憶媒体を提供し、復号化装置は、コードストリームを復号化して、第１指示パラメータを決定し、第１指示パラメータが、ジオメトリ情報を含まないパッチデータユニットが存在することを指示する場合、パッチデータユニットに対応する第２指示パラメータを決定し、第２指示パラメータが、パッチデータユニットがジオメトリ情報を含まないことを指示する場合、パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行う。パッチデータユニットがジオメトリ情報を含まない場合、パッチデータユニットを符号化して、コードストリームを生成し、同時に、第１指示パラメータと、パッチデータユニットの第２指示パラメータとを決定し、第１指示パラメータは、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定するために使用され、第２指示パラメータは、パッチデータユニットがジオメトリ情報を含むか否かを決定するために使用され、第１指示パラメータおよび第２指示パラメータをコードストリームに書き込む。つまり、本願の実施例では、第１指示パラメータによって、ジオメトリ情報を含まないパッチデータユニットが存在するか否かを決定することができ、第２指示パラメータによって、パッチデータユニットがジオメトリ情報を含まないかどうかを決定することができ、それにより、異なる数のテクスチャ情報およびジオメトリ情報の伝送をサポートすることができ、十分なテクスチャ情報によってレンダリング品質を効果的に向上させながら、ジオメトリデータの冗長性を低減し、それにより、表面の非拡散反射特性を十分に表現できる上で、コーデック効率および圧縮性能を向上させることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2024-09-02

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

復号化装置に適用される復号化方法であって、
コードストリームを復号化して、第１指示パラメータを決定するステップと、
前記第１指示パラメータが、複数のパッチデータユニットのうち、ジオメトリ情報を含まない少なくとも１つのパッチデータユニットが存在することを指示する場合、前記複数のパッチデータユニットの１つのパッチデータユニットに対応する第２指示パラメータを決定するステップと、
前記第２指示パラメータが、前記パッチデータユニットがジオメトリ情報を含まないことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行うステップと、を含む、復号化方法。

【請求項2】

前記第１指示パラメータが、現在のアトラスシーケンス内に、複数のパッチデータユニットのうち、ジオメトリ情報を含まない少なくとも１つのパッチデータユニットが存在することを指示する場合、前記現在のアトラスシーケンスの前記複数のパッチデータユニットの１つのパッチデータユニットに対応する第２指示パラメータを決定し、または
前記第１指示パラメータが、現在のアトラス内に、複数のパッチデータユニットのうち、ジオメトリ情報を含まない少なくとも１つのパッチデータユニットが存在することを指示する場合、前記現在のアトラスの前記複数のパッチデータユニットの１つのパッチデータユニットに対応する第２指示パラメータを決定する、
請求項１に記載の復号化方法。

【請求項3】

前記第２指示パラメータが、前記パッチデータユニットがジオメトリ情報を含まないことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報に基づいて再構成処理を行うステップは、
前記第２指示パラメータが、前記パッチデータユニットがジオメトリ情報を含まないことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報および参照パッチデータユニットの識別情報を決定するステップと、
前記識別情報に基づいて、前記パッチデータユニットに対応する第１ジオメトリ情報を決定するステップと、
前記テクスチャ情報および前記第１ジオメトリ情報に基づいて、前記パッチデータユニットに対して再構成処理を行うステップと、を含む、
請求項２に記載の復号化方法。

【請求項4】

前記復号化方法は、
前記第１指示パラメータが、すべてのパッチデータユニットがジオメトリ情報を含むことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を決定し、
前記テクスチャ情報および前記第１ジオメトリ情報に基づいて、前記パッチデータユニットに対して再構成処理を行うステップをさらに含み、または
前記復号化方法は、
前記第２指示パラメータが、前記パッチデータユニットがジオメトリ情報を含むことを指示する場合、前記パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を決定し、
前記テクスチャ情報および前記第１ジオメトリ情報に基づいて、前記パッチデータユニットに対して再構成処理を行うステップをさらに含む、
請求項２に記載の復号化方法。

【請求項5】

前記復号化方法は、
ジオメトリ情報を含む前記パッチデータユニットに基づいてターゲットウィンドウを構築するステップと、
前記パッチデータユニットのテクスチャ情報に基づいて、前記ターゲットウィンドウに対してシェーディング処理を行い、レンダリングされた画像を取得するステップと、をさらに含む、
請求項４に記載の復号化方法。

【請求項6】

前記復号化方法は、
前記参照パッチデータユニットに基づいて、ジオメトリ情報を含まないパッチデータユニットに対してジオメトリ欠落パッチデータユニット再構成処理を行うステップと、
前記パッチデータユニットのジオメトリ情報に基づいて、ターゲットウィンドウを構築するステップと、
前記パッチデータユニットのテクスチャ情報に基づいて、前記ターゲットウィンドウに対してシェーディング処理を行い、レンダリングされた画像を取得するステップと、をさらに含む、
請求項３に記載の復号化方法。

【請求項7】

前記第１指示パラメータの値が第１の値である場合、前記第１指示パラメータは、前記複数のパッチデータユニットのうち、ジオメトリ情報を含まない少なくとも１つのパッチデータユニットが存在することを指示し、
前記第１指示パラメータの値が第２の値である場合、前記第１指示パラメータによって指示されるパッチデータユニットは、いずれもジオメトリ情報を含み、
前記第２指示パラメータの値が前記第１の値である場合、前記第２指示パラメータは、前記パッチデータユニットがジオメトリ情報を含まないことを指示し、
前記第２指示パラメータの値が前記第２の値である場合、前記第２指示パラメータは、前記パッチデータユニットがジオメトリ情報を含むことを指示する、
請求項１に記載の復号化方法。

【請求項8】

符号化装置に適用される符号化方法であって、
複数のパッチデータユニットの少なくとも１つのパッチデータユニットがジオメトリ情報を含まない場合、第１指示パラメータと、前記複数のパッチデータユニットの１つのパッチデータユニットの第２指示パラメータとを決定するステップであって、前記第１指示パラメータは、前記複数のパッチデータユニットのうち、ジオメトリ情報を含まない少なくとも１つのパッチデータユニットが存在するか否かを決定するために使用され、前記第２指示パラメータは、前記パッチデータユニットがジオメトリ情報を含むか否かを決定するために使用される、ステップと、
前記第１指示パラメータおよび前記第２指示パラメータをコードストリームに書き込むステップと、を含む、符号化方法。

【請求項9】

前記符号化方法は、
前記パッチデータユニットがジオメトリ情報を含まない場合、前記パッチデータユニットに対応するテクスチャ情報を決定するステップと、
前記テクスチャ情報に基づいて、前記パッチデータユニットに対して符号化処理を行い、前記コードストリームを生成するステップと、をさらに含む、
請求項８に記載の符号化方法。

【請求項10】

前記符号化方法は、
前記パッチデータユニットがジオメトリ情報を含まない場合、前記パッチデータユニットに対応するテクスチャ情報および参照パッチデータユニットを決定するステップと、
前記参照パッチデータユニットに基づいて、前記パッチデータユニットに対応する第１ジオメトリ情報を決定するステップと、
前記テクスチャ情報および前記第１ジオメトリ情報に基づいて、前記パッチデータユニットに対して符号化処理を行い、前記コードストリームを生成するステップと、
前記参照パッチデータユニットの識別情報を前記コードストリームに書き込むステップと、をさらに含む、
請求項８に記載の符号化方法。

【請求項11】

前記符号化方法は、
すべての前記パッチデータユニットがジオメトリ情報を含む場合、前記パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を決定し、
前記テクスチャ情報および前記第１ジオメトリ情報に基づいて、前記パッチデータユニットに対して符号化処理を行い、前記コードストリームを生成するステップをさらに含み、または
前記符号化方法は、
前記パッチデータユニットがジオメトリ情報を含む場合、前記パッチデータユニットに対応するテクスチャ情報および第１ジオメトリ情報を決定し、前記テクスチャ情報および前記第１ジオメトリ情報に基づいて、前記パッチデータユニットに対して符号化処理を行い、前記コードストリームを生成するステップをさらに含む、
請求項８～１０のいずれか一項に記載の符号化方法。

【請求項12】

前記符号化方法は、
ジオメトリ情報を含む前記パッチデータユニットに基づいてターゲットウィンドウを構築するステップと、
前記パッチデータユニットのテクスチャ情報に基づいて、前記ターゲットウィンドウに対してシェーディング処理を行い、レンダリングされた画像を取得するステップと、をさらに含む、
請求項９に記載の符号化方法。

【請求項13】

前記符号化方法は、
前記参照パッチデータユニットに基づいて、ジオメトリ情報を含まないパッチデータユニットに対してジオメトリ欠落パッチデータユニット再構成処理を行うステップと、
前記パッチデータユニットのジオメトリ情報に基づいて、ターゲットウィンドウを構築するステップと、
前記パッチデータユニットのテクスチャ情報に基づいて、前記ターゲットウィンドウに対してシェーディング処理を行い、レンダリングされた画像を取得するステップと、をさらに含む、
請求項１０に記載の符号化方法。

【請求項14】

復号化装置であって、第１プロセッサと、前記第１プロセッサによって実行可能な命令を記憶する第１メモリと、を備え、前記命令は、前記第１プロセッサに、請求項１～７のいずれか一項に記載の方法を実行させる、復号化装置。

【請求項15】

符号化装置であって、第２プロセッサと、前記第２プロセッサによって実行可能な命令を記憶する第２メモリと、を備え、前記命令は、前記第２プロセッサに、請求項８～１３のいずれか一項に記載の方法を実行させる、符号化装置。

【国際調査報告】