特表 2024-535339 マルチプレーン画像の生成、データ処理、符号化および復号化方法、並びにその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-30

(54)【発明の名称】マルチプレーン画像の生成、データ処理、符号化および復号化方法、並びにその装置

(51)【国際特許分類】

   G06T 7/50 20170101AFI20240920BHJP

   G06T 9/00 20060101ALI20240920BHJP

【ＦＩ】

G06T7/50

G06T9/00

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024518264

(86)(22)【出願日】2021-09-30

(85)【翻訳文提出日】2024-03-21

(86)【国際出願番号】 CN2021122390

(87)【国際公開番号】W WO2023050396

(87)【国際公開日】2023-04-06

(81)【指定国・地域】

(71)【出願人】

【識別番号】516227559

【氏名又は名称】オッポ広東移動通信有限公司

【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100126000

【弁理士】

【氏名又は名称】岩池 満

(74)【代理人】

【識別番号】100203105

【弁理士】

【氏名又は名称】江口 能弘

(72)【発明者】

【氏名】ヤン ヨウ

(72)【発明者】

【氏名】ジャン シャオグァン

(72)【発明者】

【氏名】リュウ チオン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA09

5L096DA01

(57)【要約】

本開示は、マルチプレーン画像の生成、データ処理、符号化および復号化方法並びにその装置を提供し、前記方法は、パッチマルチプレーン画像（ＰＭＰＩ）を使用して３次元場面を表現し、前記ＰＭＰＩは、３次元場面を分割して得られた複数の場面領域をそれぞれ表現するために、複数のサブマルチプレーン画像（ｓＭＰＩ）を含み、複数のｓＭＰＩの開始深度は、それによって表現される３次元場面領域の深度情報に基づいて決定され、各ｓＭＰＩは、表現される場面領域の異なる深度でサンプリングされた複数の層を含む。本開示の方法と装置は、サンプリング効率とビデオ解像度を向上させることができる。
【選択図】図７

【特許請求の範囲】

【請求項1】

マルチプレーン画像の生成方法であって、
３次元場面を複数の場面領域に分割することと、
パッチマルチプレーン画像（ＰＭＰＩ）を生成することと、を含み、前記ＰＭＰＩは、複数の前記場面領域をそれぞれ表現するための複数のサブマルチプレーン画像（ｓＭＰＩ）を含み、前記ｓＭＰＩの開始深度は少なくとも、前記ｓＭＰＩによって表現される場面領域の深度情報に基づいて決定される、マルチプレーン画像の生成方法。

【請求項2】

前記ｓＭＰＩの開始深度は少なくとも、前記ｓＭＰＩによって表現される場面領域の深度情報に基づいて決定されることは、
前記ｓＭＰＩの開始深度は、第１領域の最小深度に基づいて決定されることを含み、前記第１領域は、前記ｓＭＰＩによって表現される場面領域であり、または、前記第１領域は、前記ｓＭＰＩによって表現される場面領域と、前記ｓＭＰＩによって表現される場面領域の隣接領域からなる領域である、
請求項１に記載のマルチプレーン画像の生成方法。

【請求項3】

前記ｓＭＰＩの開始深度は、第１領域の最小深度に基づいて決定されることは、前記ｓＭＰＩの開始深度は、前記第１領域の最小深度として設定されることを含む、
請求項２に記載のマルチプレーン画像の生成方法。

【請求項4】

前記ｓＭＰＩによって表現される場面領域の隣接領域は、前記３次元場面において、前記ｓＭＰＩによって表現される場面領域の周辺に位置する１つまたは複数の場面領域を含む、
請求項２または３に記載のマルチプレーン画像の生成方法。

【請求項5】

前記ｓＭＰＩは、表現される場面領域の異なる深度でサンプリングされた複数の層を含み、前記複数の層はいずれも、カラーフレームと透明度フレームとを含む、
請求項１に記載のマルチプレーン画像の生成方法。

【請求項6】

前記ＰＭＰＩを生成することは、
複数の前記ｓＭＰＩの開始深度と終了深度を決定することであって、複数の前記ｓＭＰＩの開始深度は少なくとも、複数の前記ｓＭＰＩのそれぞれによって表現される場面領域の深度情報に基づいてそれぞれ決定され、複数の前記ｓＭＰＩの終了深度は、同一に設定される、ことと、
複数の前記ｓＭＰＩの各ｓＭＰＩについて、当該ｓＭＰＩの開始深度と終了深度、および当該ｓＭＰＩの層数と層の分布規則に基づいて、当該ｓＭＰＩに含まれる各層の深度を決定し、当該ｓＭＰＩによって表現しる場面領域の前記各層の深度でサンプリングして、当該ｓＭＰＩに含まれる各層のカラーフレームと透明度フレームを得ることと、を含む、
請求項５に記載のマルチプレーン画像の生成方法。

【請求項7】

複数の前記ｓＭＰＩは、複数の前記場面領域と一対一に対応し、複数の前記ｓＭＰＩの層数は、層の分布規則と同一に設定される、
請求項６に記載のマルチプレーン画像の生成方法。

【請求項8】

前記３次元場面を複数の場面領域に分割することは、予め設定された場面分割規則に基づいて３次元場面を複数の場面領域に分割することであって、前記場面分割規則に基づいて、分割された複数の場面領域の、場面領域の数、場面領域の形状、場面領域のサイズ、場面領域の位置、のうちの１つまたは任意の組み合わせ情報を決定することを含み、
複数の前記場面領域のサイズは、同じであるか、または異なり、複数の前記場面領域の形状は、規則的な形状または不規則な形状のうちの１つまたはそれらの組み合わせであり、前記規則的な形状は、三角形、四角形、五角形、六角形のうちの１つまたは任意の組み合わせを含む、
請求項１に記載のマルチプレーン画像の生成方法。

【請求項9】

予め設定された場面分割規則に基づいて前記３次元場面を複数の場面領域に分割することは、Ｍ×Ｎ（Ｍ、Ｎは正の整数であり、Ｍ×Ｎ≧２である）個のグリッドを用いて、前記３次元場面をＭ×Ｎ個の場面領域に分割することを含む、
請求項１または８に記載のマルチプレーン画像の生成方法。

【請求項10】

前記生成されたＰＭＰＩの生の記憶データは、ＰＭＰＩフレームのフレームパラメータとフレームデータを含み、
前記生の記憶データのＰＭＰＩフレームのフレームパラメータは、
ＰＭＰＩフレームの解像度、
ＰＭＰＩフレーム内のｓＭＰＩの数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層の分布規則、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された終了深度、
Ｍ×Ｎのグリッドを用いて３次元場面を分割するときのＭ、Ｎの値、というパラメータのうちの１つまたは任意の組み合わせを含み、
前記生の記憶データの各ＰＭＰＩフレームのフレームデータは、当該ＰＭＰＩフレームに含まれる各ｓＭＰＩ内の各層のカラーフレームデータと透明度フレームデータを含む、
請求項１に記載のマルチプレーン画像の生成方法。

【請求項11】

マルチプレーン画像のデータ処理方法であって、
パッチマルチプレーン画像（ＰＭＰＩ）の生の記憶データを取得することであって、前記ＰＭＰＩは、３次元場面を分割して得られた複数の場面領域をそれぞれ表現するために、複数のサブマルチプレーン画像（ｓＭＰＩ）を含む、ことと、
前記ＰＭＰＩの生の記憶データをパッケージ圧縮記憶（ＰＣＳ）データに変換することであって、前記ＰＣＳデータは、前記ＰＭＰＩの画素の有効層の深度および有効層における画素のカラーと透明度を決定するために使用される、ことと、を含む、マルチプレーン画像のデータ処理方法。

【請求項12】

前記ＰＭＰＩは、請求項１ないし１０のいずれか一項に記載のマルチプレーン画像の生成方法を採用して生成される、
請求項１１に記載のマルチプレーン画像のデータ処理方法。

【請求項13】

前記ＰＣＳデータは、ＰＭＰＩフレームのフレームデータを含み、前記ＰＣＳデータ内の１つのＰＭＰＩフレームのフレームデータは、
当該ＰＭＰＩフレームの各ｓＭＰＩの開始深度および、当該ＰＭＰＩフレームの各画素の、当該画素の各有効層におけるカラーデータと、透明度データと、当該画素が所在するｓＭＰＩにおける当該有効層の層インデックスを含み、または
当該ＰＭＰＩフレームの各ｓＭＰＩの開始深度および、当該ＰＭＰＩフレームの各画素の、当該画素の所在するｓＭＰＩのインデックス、各有効層における当該画素のカラーデータと、透明度データと、当該画素が所在するｓＭＰＩにおける当該有効層の層インデックスを含み、または
当該ＰＭＰＩフレームの各画素の、当該画素の所在するｓＭＰＩの開始深度および、各有効層における当該画素のカラーデータと、透明度データと、当該画素が所在するｓＭＰＩにおける当該有効層の層インデックスを含む、
請求項１１に記載のマルチプレーン画像のデータ処理方法。

【請求項14】

前記ＰＣＳデータ内の１つのＰＭＰＩフレームのフレームデータは、当該ＰＭＰＩフレームの各画素の有効層の数をさらに含む、
請求項１３に記載のマルチプレーン画像のデータ処理方法。

【請求項15】

前記ＰＣＳデータは、ＰＭＰＩフレームのフレームパラメータをさらに含み、前記ＰＣＳデータ内のＰＭＰＩフレームのフレームパラメータは、
ＰＭＰＩフレームの解像度、
ＰＭＰＩフレーム内のｓＭＰＩの数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層の分布規則、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された終了深度、
Ｍ×Ｎのグリッドを用いて３次元場面を分割するときのＭ、Ｎの値、というパラメータのうちの１つまたは任意の組み合わせを含む、
請求項１１または１２または１３に記載のマルチプレーン画像のデータ処理方法。

【請求項16】

マルチプレーン画像の符号化方法であって、
パッチマルチプレーン画像（ＰＭＰＩ）のパッケージ圧縮記憶（ＰＣＳ）データを受信することであって、前記ＰＭＰＩは、３次元場面を分割して得られた複数の場面領域をそれぞれ表現するために、複数のサブマルチプレーン画像（ｓＭＰＩ）を含み、前記ＰＣＳデータは、画像パラメータおよび、テクスチャ属性成分と透明度属性成分のデータを含む、ことと、
前記ＰＣＳデータに基づいて前記ＰＭＰＩを符号化して、符号化された画像パラメータとアトラスデータを得ることと、を含む、マルチプレーン画像の符号化方法。

【請求項17】

前記ＰＣＳデータに基づいて前記ＰＭＰＩを符号化することは、前記ＰＭＰＩに含まれる複数のｓＭＰＩの各々に対して符号化処理を行うことを含む、
請求項１６に記載のマルチプレーン画像の符号化方法。

【請求項18】

前記ＰＭＰＩのＰＣＳデータは、請求項１１ないし１５のいずれか一項に記載のマルチプレーン画像のデータ処理方法に従って、前記ＰＭＰＩの生の記憶データから変換して得られるものである、
請求項１６または１７に記載のマルチプレーン画像の符号化方法。

【請求項19】

前記ＰＣＳデータの画像パラメータと前記符号化された画像パラメータは何れも、前記ＰＣＳデータ内のＰＭＰＩフレームの一部またはすべてのフレームパラメータと、ＰＭＰＩフレームの各ｓＭＰＩの開始深度と、のうちの少なくとも１つを含み、
前記ＰＣＳデータ内のテクスチャ属性成分と透明度属性成分のデータは、前記ＰＣＳデータ内のＰＭＰＩフレームの一部またはすべてのフレームデータを含み、前記テクスチャ属性成分のデータは、カラーデータを含み、
前記アトラスデータは、符号化のときに決定されたパッチのデータとパラメータを含み、前記データは、カラーデータと透明度データを含み、前記パラメータは、データが属する層の標識情報、データが属する層の開始深度、データが属するｓＭＰＩの標識情報、データが属するｓＭＰＩの開始深度およびデータが属するＰＭＰＩの標識情報のうちの１つまたは任意の組み合わせを含む、
請求項１８に記載のマルチプレーン画像の符号化方法。

【請求項20】

マルチプレーン画像の復号化方法であって、
パッチマルチプレーン画像（ＰＭＰＩ）の符号化ビットストリームを復号化して、前記ＰＭＰＩの画像パラメータおよび、テクスチャ属性成分と透明度属性成分のデータを取得することを含み、
前記ＰＭＰＩは、３次元場面を分割して得られた複数の場面領域をそれぞれ表現するために、複数のサブマルチプレーン画像（ｓＭＰＩ）を含み、前記符号化ビットストリームには、ＰＭＰＩの画像パラメータとアトラスデータが含まれる、マルチプレーン画像の復号化方法。

【請求項21】

前記ＰＭＰＩの画像パラメータは、
ＰＭＰＩフレームの解像度、
ＰＭＰＩフレーム内のｓＭＰＩの数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層の分布規則、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された終了深度、
Ｍ×Ｎのグリッドを用いて３次元場面を分割するときのＭ、Ｎの値、
ＰＭＰＩフレーム内の各ｓＭＰＩの開始深度、というパラメータのうちの１つまたは任意の組み合わせを含む、
請求項２０に記載のマルチプレーン画像の復号化方法。

【請求項22】

前記アトラスデータは、符号化のときに決定されたパッチのデータとパラメータを含み、前記データは、カラーデータと透明度データを含み、前記パラメータは、データが属する層の標識情報、データが属する層の開始深度、データが属するｓＭＰＩの標識情報、データが属するｓＭＰＩの開始深度およびデータが属するＰＭＰＩの標識情報のうちの１つまたは任意の組み合わせを含む、
請求項２０または２１に記載のマルチプレーン画像の復号化方法。

【請求項23】

パッチマルチプレーン画像（ＰＭＰＩ）を符号化することにより生成されるビットストリームであって、前記ビットストリームには、前記ＰＭＰＩの画像パラメータとアトラスデータが含まれ、前記ＰＭＰＩは、３次元場面を分割して得られた複数の場面領域をそれぞれ表現するために、複数のサブマルチプレーン画像（ｓＭＰＩ）を含む、ビットストリーム。

【請求項24】

前記ＰＭＰＩの画像パラメータは、
ＰＭＰＩフレームの解像度、
ＰＭＰＩフレーム内のｓＭＰＩの数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層の分布規則、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された終了深度、
Ｍ×Ｎのグリッドを用いて３次元場面を分割するときのＭ、Ｎの値、
ＰＭＰＩフレーム内の各ｓＭＰＩの開始深度、というパラメータのうちの１つまたは任意の組み合わせを含む、
請求項２３に記載のビットストリーム。

【請求項25】

前記アトラスデータは、符号化のときに決定されたパッチのデータとパラメータを含み、前記データは、カラーデータと透明度データを含み、前記パラメータは、データが属する層の標識情報、データが属する層の開始深度、データが属するｓＭＰＩの標識情報、データが属するｓＭＰＩの開始深度およびデータが属するＰＭＰＩの標識情報のうちの１つまたは任意の組み合わせを含む、
請求項２３または２４に記載のビットストリーム。

【請求項26】

プロセッサと、コンピュータプログラムが記憶されたメモリとを備える、マルチプレーン画像の生成装置であって、前記プロセッサは、前記コンピュータプログラムを実行することにより、請求項１ないし１０のいずれか一項に記載のマルチプレーン画像の生成方法を実現する、マルチプレーン画像の生成装置。

【請求項27】

プロセッサと、コンピュータプログラムが記憶されたメモリとを備える、マルチプレーン画像のデータ処理装置であって、前記プロセッサは、前記コンピュータプログラムを実行することにより、請求項１１ないし１５のいずれか一項に記載のマルチプレーン画像のデータ処理方法を実現する、マルチプレーン画像のデータ処理装置。

【請求項28】

プロセッサと、コンピュータプログラムが記憶されたメモリとを備える、マルチプレーン画像の符号化装置であって、前記プロセッサは、前記コンピュータプログラムを実行することにより、請求項１６ないし１９のいずれか一項に記載のマルチプレーン画像の符号化方法を実現する、マルチプレーン画像の符号化装置。

【請求項29】

プロセッサと、コンピュータプログラムが記憶されたメモリとを備える、マルチプレーン画像の復号化装置であって、前記プロセッサは、前記コンピュータプログラムを実行することにより、請求項２０ないし２２のいずれか一項に記載のマルチプレーン画像の復号化方法を実現する、マルチプレーン画像の復号化装置。

【請求項30】

プロセッサによって実行されるとき、前記プロセッサに、請求項１ないし２２のいずれか一項に記載の方法を実現させるコンピュータプログラムが記憶された、非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施例は、画像処理技術に関するが、これに限定されなく、具体的には、マルチプレーン画像の生成、データ処理、符号化および復号化方法、並びにその装置に関する。

【背景技術】

【0002】

マルチプレーン画像（ＭＰＩ：Ｍｕｌｔｉｐｌａｎｅ ｉｍａｇｅ）は、非冗長の場面表現方式である。与えられた参照視点を座標原点とする空間座標系において、ＭＰＩは、場面を一連の層に分解し、これらの層は、平面層または球面層である。平面層からなるＭＰＩを例にとると、図１に示すように、複数の平面層は、参照視点に対して正方向において平行であり、異なる深度に位置する。ＭＰＩの深度範囲［ｄｍｉｎ，ｄｍａｘ］は、場面の被写界深度データに応じて事前に設定する必要があり、ここで、ｄｍｉｎは、最小深度、即ち、参照視点に最も近い層から参照視点までの距離であり、ｄｍａｘは、最大深度、即ち、参照視点に最も遠い層から参照視点までの距離である。ＭＰＩの各層は、カラーフレーム（Ｃｏｌｏｒ ｆｒａｍｅ）と透明度フレーム（Ｔｒａｎｓｐａｒｅｎｃｙ ｆｒａｍｅ）の２つの部分に分けられる。１つの層におけるカラーフレームと透明度フレームにはそれぞれ、当該平面層の位置での場面のテクスチャ情報と透明度情報が含まれ、ＭＰＩは、イマージブビデオに使用できるが、その効果を向上させる必要がある。

【発明の概要】

【0003】

以下は、本開示で詳細に説明される主題の概要である。この概要は、特許請求の範囲を限定するためのものではない。

【0004】

本開示の１つの実施例は、マルチプレーン画像の生成方法を提供し、前記方法は、
３次元場面を複数の場面領域に分割することと、
パッチマルチプレーン画像（ＰＭＰＩ：Ｐａｔｃｈ ｍｕｌｔｉｐｌａｎｅ ｉｍａｇｅ）を生成することと、を含み、前記ＰＭＰＩは、複数の前記場面領域をそれぞれ表現するための複数のサブマルチプレーン画像（ｓＭＰＩ：ｓｕｂ ｍｕｌｔｉｐｌａｎｅ ｉｍａｇｅ）を含み、前記ｓＭＰＩの開始深度は少なくとも、前記ｓＭＰＩによって表現される場面領域の深度情報に基づいて決定される。

【0005】

本開示の実施例はさらに、マルチプレーン画像のデータ処理方法を提供し、前記方法は、
パッチマルチプレーン画像（ＰＭＰＩ：Ｐａｔｃｈ ｍｕｌｔｉｐｌａｎｅ ｉｍａｇｅ）の生の記憶データを取得することであって、前記ＰＭＰＩは、３次元場面を分割して得られた複数の場面領域をそれぞれ表現するために、複数のサブマルチプレーン画像（ｓＭＰＩ：ｓｕｂ ｍｕｌｔｉｐｌａｎｅ ｉｍａｇｅ）を含む、ことと、
前記ＰＭＰＩの生の記憶データをパッケージ圧縮記憶（ＰＣＳ）データに変換することであって、前記ＰＣＳデータは、前記ＰＭＰＩの画素の有効層の深度および有効層における画素のカラーと透明度を決定するために使用される、ことと、を含む。

【0006】

本開示の１つの実施例はさらに、マルチプレーン画像の符号化方法を提供し、前記方法は、
パッチマルチプレーン画像（ＰＭＰＩ：Ｐａｔｃｈ ｍｕｌｔｉｐｌａｎｅ ｉｍａｇｅ）のパッケージ圧縮記憶（ＰＣＳ）データを受信することであって、前記ＰＭＰＩは、３次元場面を分割して得られた複数の場面領域をそれぞれ表現するために、複数のサブマルチプレーン画像（ｓＭＰＩ：ｓｕｂ ｍｕｌｔｉｐｌａｎｅ ｉｍａｇｅ）を含み、前記ＰＣＳデータは、画像パラメータおよび、テクスチャ属性成分と透明度属性成分のデータを含む、ことと、
前記ＰＣＳデータに基づいて前記ＰＭＰＩを符号化して、符号化された画像パラメータとアトラスデータを得ることと、を含む。

【0007】

本開示の１つの実施例はさらに、マルチプレーン画像の復号化方法を提供し、前記方法は、
パッチマルチプレーン画像（ＰＭＰＩ：Ｐａｔｃｈ ｍｕｌｔｉｐｌａｎｅ ｉｍａｇｅ）の符号化ビットストリームを復号化して、前記ＰＭＰＩの画像パラメータおよび、テクスチャ属性成分と透明度属性成分のデータを取得することを含み、
前記ＰＭＰＩは、３次元場面を分割して得られた複数の場面領域をそれぞれ表現するために、複数のサブマルチプレーン画像（ｓＭＰＩ：ｓｕｂ ｍｕｌｔｉｐｌａｎｅ ｉｍａｇｅ）を含み、前記符号化ビットストリームには、ＰＭＰＩの画像パラメータとアトラスデータが含まれる。

【0008】

本開示の１つの実施例はさらに、パッチマルチプレーン画像（ＰＭＰＩ：Ｐａｔｃｈ ｍｕｌｔｉｐｌａｎｅ ｉｍａｇｅ）を符号化することにより生成されるビットストリームを提供し、前記ビットストリームには、前記ＰＭＰＩの画像パラメータとアトラスデータが含まれ、前記ＰＭＰＩは、３次元場面を分割して得られた複数の場面領域をそれぞれ表現するために、複数のサブマルチプレーン画像（ｓＭＰＩ：ｓｕｂ ｍｕｌｔｉｐｌａｎｅ ｉｍａｇｅ）を含む。

【0009】

本開示の１つの実施例はさらに、プロセッサと、コンピュータプログラムが記憶されたメモリと、を備えるマルチプレーン画像の生成装置を提供し、ここで、前記プロセッサは、前記コンピュータプログラムを実行することにより、本開示の任意の１つの実施例に記載のマルチプレーン画像の生成方法を実現する。

【0010】

本開示の１つの実施例はさらに、プロセッサと、コンピュータプログラムが記憶されたメモリと、を備えるマルチプレーン画像のデータ処理装置を提供し、ここで、前記プロセッサは、前記コンピュータプログラムを実行することにより、本開示の任意の１つの実施例に記載のマルチプレーン画像のデータ処理方法を実現する。

【0011】

本開示の１つの実施例はさらに、プロセッサと、コンピュータプログラムが記憶されたメモリと、を備えるマルチプレーン画像の符号化装置を提供し、ここで、前記プロセッサは、前記コンピュータプログラムを実行することにより、本開示の任意の１つの実施例に記載のマルチプレーン画像の符号化方法を実現する。

【0012】

本開示の１つの実施例はさらに、プロセッサと、コンピュータプログラムが記憶されたメモリと、を備えるマルチプレーン画像の復号化装置を提供し、ここで、前記プロセッサは、前記コンピュータプログラムを実行することにより、本開示の任意の１つの実施例に記載のマルチプレーン画像の復号化方法を実現する。

【0013】

本開示の１つの実施例はさらに、プロセッサによって実行されるとき、前記プロセッサに本開示の任意の実施例に記載のマルチプレーン画像の生成方法、データ処理方法、復号化方法または符号化方法を実現させるコンピュータプログラムが記憶された、非一時的なコンピュータ可読記憶媒体を提供する。

【0014】

添付の図面と詳細な説明を読み理解することにより、他の側面を理解できる。

【図面の簡単な説明】

【0015】

【図1】４つの平面層からなる１つの例示的なＭＰＩの概略構造図である。

【図2】１つの例示的なＭＰＩ内の連続する６個の平面層の概略図であり、各平面層のカラーフレームと透明度フレームを示す。

【図3】通常のＭＰＩを用いて３次元場面を表現する概略図である。

【図4】本開示の実施例のＰＭＰＩを用いて１つの３次元場面を表現する概略図である。

【図5】本開示の１つの実施例のＰＭＰＩ生成方法のフローチャートである。

【図6】本開示の１つの実施例の、プーリングによるｓＭＰＩの開始深度の決定の概略図である。

【図7】本開示の実施例を用いて生成された１つの例示的なＰＭＰＩの概略図である。

【図8】ビデオ圧縮処理プロセスの概略図である。

【図9】ＭＰＩの生の記憶データから変換された１つのＰＣＳデータの概略図である。

【図10】本開示の１つの実施例の、ＰＭＰＩのデータ処理方法のフローチャートである。

【図11】本開示の実施例の、ＰＭＰＩの生の記憶データから変換された１つのＰＣＳデータの概略図である。

【図12】本開示の実施例の、ＰＭＰＩの生の記憶データから変換された別のＰＣＳデータの概略図である。

【図13】本開示の実施例の、ＰＭＰＩの生の記憶データから変換されたさらに別のＰＣＳデータの概略図である。

【図14】本開示の１つの実施例の、ＰＭＰＩの符号化装置の概略構造図である。

【図15】本開示の１つの実施例のＰＭＰＩ符号化方法のフローチャートである。

【図16】本開示の１つの実施例のＰＭＰＩ復号化方法のフローチャートである。

【図17】本開示の１つの実施例の、ＰＭＰＩの生成装置の概略図である。

【発明を実施するための形態】

【0016】

図面は、本開示の実施例を理解するために提供され、明細書の一部となり、本開示の実施例と共に、本開示の技術的解決策を説明するために使用され、本開示の技術的解決策を限定するものではない。

【0017】

本開示では、複数の実施例が説明されているが、当該説明は、例示的なものに過ぎず、限定のためのものではなく、当業者にとって容易になし得ることとして、より多くの実施例と実施形態が本開示で説明される実施例の範囲に含まれる。

【0018】

本開示の説明において、「例示的に」または「例えば」などの用語は、一例、実例または説明を表現するために使用される。本開示において「例示的に」または「例えば」として説明されるいかなる実施例は、他の実施例よりも好ましいか有利であると解釈されるべきではない。本明細書における「および／または」という用語は、関連付けられる対象の関連関係を示すためのものにすぎず、３つの関係が存在できることを示し、例えば、Ａおよび／またはＢは、Ａのみが存在する場合、ＡとＢの両方が存在する場合、Ｂのみが存在する場合という３つの場合があることを示す。「複数」は、２つまたは２つ以上を意味する。さらに、本開示の実施例の技術的解決策を明確に説明するために、「第１」、「第２」などの用語を使用して、ほとんど同じである機能と作用の同じ項目または類似する小目を区別する。当業者であれば、「第１」、「第２」等の用語は、数および実行順序に対して限定しなく、「第１」、「第２」等の用語は、必ずしも異なることを限定しないことを理解することができる。

【0019】

代表的な実施例を説明する際に、本明細書では、方法および／またはプロセスを特定の一連のステップとして提示した場合がある。しかし、この方法またはプロセスが本明細書に記載されるステップの特定の順序に依存しない限り、この方法またはプロセスは、前記特定の順序のステップに限定されるべきではない。当業者であれば理解できるように、他のステップ順序も可能である。したがって、本明細書で説明されるステップの特定の順序は、特許請求を限定するものとして解釈されるべきではない。さらに、当該方法および／またはプロセスに関する特許請求は、記載された順序に従ってそれらのステップを実行することに限定されるべきではない。当業者であれば理解できるように、これらの順序は変化可能であり、これらの変化は、依然として本開示の実施例の趣旨および範囲内にある。

【0020】

マルチプレーン画像（ＭＰＩ）とは、非冗長の３次元場面の階層表現方式である。３次元場面は、与えられた参照点の異なる深度でサンプリングされた一連の平面または球面層に分解される。各層は、層の周囲の３Ｄ場面を同じ参照カメラに投影することで得られる。この参照カメラは、与えられた参照視点に位置する。平面層を用いる場合、参照カメラは透視カメラであり、球面層を用いる場合、参照カメラは、球面（通常は矩形）カメラである。

【0021】

図１を参照すると、与えられた参照視点（例えば参照カメラ）を座標原点とする空間座標系において、ＭＰＩは、場面を一連の平面層または球面層に分解する。平面層からなるＭＰＩを例にとると、平面層は、参照視点に対して正方向において平行であり、異なる深度に位置する。平面層の深度範囲［ｄｍｉｎ，ｄｍａｘ］は、実際の場面の深度範囲に応じて事前に設定する必要がある。ＭＰＩにＳ個の平面層が含まれ、各平面層のサイズがＷ×Ｈであると仮定すると、ＭＰＩのサイズは、Ｗ×Ｈ×Ｓと示すことができる。ここで、Ｗは、ＭＰＩの幅方向における画素数であり、Ｈは、ＭＰＩの高さ方向における画素数であり、当該ＭＰＩは、Ｗ×Ｈ個の画素を含み、平面画像の解像度はＷ×Ｈである。図１に示す例示的なＭＰＩは４つの層を含むが、ＭＰＩに含まれる平面層または球面層の数、即ち層数は、２つ、３つ、５個または５個以上例えば、１００個、２００個などであってもよい。ＭＰＩの各層はいずれも、当該層における画素のカラーと透明度を記録するための１つのカラーフレームと１つの透明度フレームを含み、１つの画素は、異なる層において異なるカラーと透明度を有することができる。

【0022】

現実の場面では、ほとんどの空間領域は、通常、可視表面、即ち、有効領域を有しない。ＭＰＩでは、ＭＰＩ複数の層のカラーフレームや透明度フレームにおけるほとんどの領域が無効値であることを直観的に表され、即ち、可視情報が含まれることがなく、図２Ａ～図２Ｆは、１つのＭＰＩの４０番目の平面層から４５番目の平面層の合計６個の連続する平面層を示しており、ここで、図２Ａ－１は、４０番目の平面層のカラーフレームを示しており、図２Ａ－２は、４０番目の平面層の透明度フレームを示しており、図２Ｂ－１は、４１番目の平面層のカラーフレームを示しており、図２Ｂ－２は、４１番目の平面層の透明度フレームを示しており、他の図についてもこれによって類推する。ここで、各透明度フレームにおける黒い部分は、無効領域である。

【0023】

ＭＰＩは、３次元場面の階層表現、即ち、３次元場面のサンプリングであり、ＭＰＩ平面層上の点はサンプリング点であり、図２Ａ～図２Ｆの例から分かるように、当該ＭＰＩ内のほとんどのサンプリング点は、３次元場面の無効位置に位置し、これらの位置は、可視表面がなく透明度が０であり、サンプリング点のごく一部は、３次元場面の有効領域に位置し、これらの有効領域の所在位置に可視表面が存在し、透明度が０でない。ＭＰＩは、イマージブビデオに使用することができ、イマージブ体験の観点から、３次元場面における有効領域が決定的な役割を果たし、ＭＰＩのほとんどのサンプリング点が無駄になり、その結果、サンプリング効率が低くなり、最終的に表示されるイマージブビデオの解像度も低くなる。

【0024】

ＭＰＩの深度範囲［ｄｍｉｎ，ｄｍａｘ］は、場面のグローバル深度に基づいて設定され、深度範囲は、場面の有効情報の大部分を網羅できればよく、ここで、参照視点に最も近い層の深度は、ＭＰＩの開始深度ｄｍｉｎと呼ばれ、参照視点に最も遠い層の深度は、ＭＰＩの終了深度ｄｍａｘとも呼ばれる。図３に示す簡単な場面を例にとると、図内の平行線は、３次元場面におけるＭＰＩの各層の深度位置を示すためのものである。当該場面には、他の幾何形状から遠く離れた１つの幾何形状があるため、当該場面の主要な情報（４つの幾何形状）を表現するために、ＭＰＩは大きい深度範囲を使用する必要があり、それによって得られた平面層（図では、４つを例にとっている）は疎である。遠景領域に位置する３つの幾何形状は、その有効情報が、ＭＰＩの深度が深い２つの平面層のみにある。ＭＰＩのサンプリング効率が低い。

【0025】

ＭＰＩのサンプリング効率が低いという課題を解決するために、本開示の実施例は、深度が自己適応的に変化する特性を有するＭＰＩを提案し、図１、図３に示すＭＰＩと区別するために、本文では、図１、図３に示すＭＰＩを通常のＭＰＩ、即ち、３次元場面の全体を表現するＭＰＩと呼び、本開示の実施例に提案されるＭＰＩをパッチマルチプレーン画像（ＰＭＰＩ：Ｐａｔｃｈ ｍｕｌｔｉｐｌａｎｅ ｉｍａｇｅ）と呼ぶ。本開示の実施例のＰＭＰＩは、３次元場面を分割して得られた複数の場面領域をそれぞれ表現するために、複数のサブマルチプレーン画像（ｓＭＰＩ：ｓｕｂ ｍｕｌｔｉｐｌａｎｅ ｉｍａｇｅ）を含むようなＭＰＩであり、各ｓＭＰＩは、当該ｓＭＰＩによって表現される場面領域の異なる深度でサンプリングされた複数の層を含み、各ｓＭＰＩの開始深度は少なくとも、当該ｓＭＰＩによって表現される場面領域の深度情報に基づいて決定される。ＰＭＰＩが通常のＭＰＩを拡張したものであると見なしてもよく、通常のＭＰＩの基本単位は、同じサイズの複数の層であり、これらは、１つの完全な３次元場面を表現するために使用され、それに対して、ＰＭＰＩは、複数のｓＭＰＩを用いて１つの３次元場面を分割して得られた複数の場面領域をそれぞれ表現し、各場面領域が３次元場面の１つのパッチであると見なしてもよく、各ｓＭＰＩがＰＭＰＩの１つのパッチであると見なしてもよいため、ＰＭＰＩは、３次元場面の階層パッチ分割表現である。

【0026】

単独のｓＭＰＩもＭＰＩの一種であり、単にそれで表現されるのが３次元場面から分割された場面領域であり、場面領域も３次元場面の一種として見なしても良く、単にサイズと形状がオリジナルの３次元場面と異なることである。ｓＭＰＩで場面領域を表現する方式は、通常のＭＰＩで３次元場面を表現する方式を採用することができ、例えば、１つのｓＭＰＩは、場面領域の異なる深度でサンプリングされた複数の層を含み、複数の層のサイズと形状が同じであり、各層は、１つのカラーフレームと１つの透明度フレームを含み、複数の層は、設定された規則（例えば、等間隔または等視距離）に従って分布してもよい。ＭＰＩと同様に、ｓＭＰＩの深度範囲は、場面領域内の有効情報の大部分を含む原則に従って設定されてもよい。

【0027】

ＰＭＰＩ内の複数のｓＭＰＩの終了深度は、同一に設定されてもよく、開始深度は、表現される場面領域の深度情報に基づいて異なるように設定し、それにより、場面の深度情報を導入し、場面深度に対する自己適応能力を高め、より多くのサンプリング点を場面の有効位置に配置することができる。

【0028】

図４に示す３次元場面と参照視点は、図３と同じである。本開示の実施例のＰＭＰＩを用いて当該３次元場面を表現する場合、場面領域の数を２に設定すると、縦方向平面を用いて３次元場面を２つの場面領域に分割し、一方の場面領域は、参照視点の左側に位置する２つの幾何形状を含み、以下では、当該場面領域を第１場面領域と呼び、第１場面領域における１つの幾何形状は、参照視点に最も近く、他方の幾何形状は、参照視点から遠い。他方の場面領域は、参照視点の右側に位置する２つの幾何形状を含み、以下では、当該場面領域を第２場面領域と呼び、第２場面領域における２つの幾何形状は両方とも参照視点から遠い。

【0029】

ＰＭＰＩでは、上記の第１場面領域と第２場面領域はそれぞれ、１つのｓＭＰＩを用いて表現され、各ｓＭＰＩは、４つの平面層を含み、第１場面領域における２つの幾何形状の深度差が大きいため、当該第１場面領域を表現するためのｓＭＰＩの場面深度範囲を、大きく設定する必要がある。第２場面領域における２つの幾何形状の深度差が小さくかつ後方に近いため、当該第２場面領域を表現するためのｓＭＰＩの深度範囲を、小さく設定することができる。異なるｓＭＰＩの終了深度が同一に設定された場合、第１場面領域を表現するためのｓＭＰＩの開始深度が小さく、第２場面領域を表現するためのｓＭＰＩの開始深度が大きい。よって、得られた３次元場面のＰＭＰＩ表現は、図４に示すとおりである。当該図から分かるように、第２場面領域を表現するためのｓＭＰＩの４層は密になり、且つすべて幾何形状付近に位置するため、図３のＭＰＩと比較して、ＰＭＰＩは、有効位置に位置するサンプリング点がより多い。つまり、通常のＭＰＩの階層表現方式と比較して、階層パッチ分割のＰＭＰＩを用いて当該場面を表現する方式は、サンプリング効率がより高い。なお、図４に示す例は、３次元場面の分割方式において例示的なものに過ぎず、ＰＭＰＩと通常のＭＰＩとの違いを１つの簡単な例で説明するためのものである。

【0030】

本開示の１つの実施例は、マルチプレーン画像の生成方法を提供し、図５に示すように、前記方法は、以下のステップを含む。

【0031】

ステップ３１０において、３次元場面を複数の場面領域に分割する。

【0032】

ステップ３２０において、パッチマルチプレーン画像（ＰＭＰＩ）を生成し、前記ＰＭＰＩは、複数の前記場面領域をそれぞれ表現するための複数のサブマルチプレーン画像（ｓＭＰＩ）を含み、前記ｓＭＰＩの開始深度は少なくとも、前記ｓＭＰＩによって表現される場面領域の深度情報に基づいて決定される。

【0033】

本開示の１つの例示的な実施例において、前記ｓＭＰＩの開始深度は少なくとも、前記ｓＭＰＩによって表現される場面領域の深度情報に基づいて決定されることは、前記ｓＭＰＩの開始深度は、第１領域の最小深度に基づいて決定されることを含み、前記第１領域は、前記ｓＭＰＩによって表現される場面領域であり、または、前記第１領域は、前記ｓＭＰＩによって表現される場面領域と、前記ｓＭＰＩによって表現される場面領域の隣接領域からなる領域である。ここで、前記ｓＭＰＩによって表現される場面領域の隣接領域は、前記３次元場面において、前記ｓＭＰＩによって表現される場面領域の周辺に位置する１つまたは複数の場面領域を含んでもよく、または、隣接領域は、前記３次元場面において、前記ｓＭＰＩによって表現される場面領域の周辺に位置する複数行の画素および／または複数列の画素からなる領域を含んでもよく、完全な場面領域である必要はない。

【0034】

本実施例の１つの例において、第１領域の最小深度に基づいて前記ｓＭＰＩの開始深度を決定する場合、前記ｓＭＰＩの開始深度を前記第１領域の最小深度として設定する。本実施例の別の１つの例において、第１領域の最小深度に基づいて前記ｓＭＰＩの開始深度を決定する場合、第１領域の最小深度に基づいて、当該最小深度よりわずかに浅い深度を前記ｓＭＰＩの開始深度とすることもでき、例えば、当該最小深度の値から１つの設定された値を減算し、又は、当該最小深度の値から、当該値に設定比率を乗算して得られた値を減算し、それによって決定された前記ｓＭＰＩの開始深度が一定のマージンを有するようにしてもよい。上記の最小深度の値は、３次元場面の深度マップ内の前記ｓＭＰＩによって表現される場面領域の最小深度値であってもよいし、符号化のために、深度マップ内の当該最小深度値に対して四捨五入、正規化などの変換を行ってもよい。３次元場面の深度値は、グレー値で示してもよい。

【0035】

本実施例の１つの例において、第１領域は、前記ｓＭＰＩによって表現される場面領域であり、前記ｓＭＰＩの開始深度は、前記ｓＭＰＩによって表現される場面領域の最小深度に基づいて決定される。３次元場面の深度マップにおける深度値に偏差が存在する可能性があるため、本実施例の別の１つの例では、前記ｓＭＰＩによって表現される場面領域と前記ｓＭＰＩによって表現される場面領域の隣接領域からなる領域の最小深度に基づいて、前記ｓＭＰＩの開始深度を決定し、この場合、決定された開始深度は、常に前記ｓＭＰＩによって表現される場面領域の最小深度に基づいてのみ決定された開始深度以下である。それにより、上記の偏差による影響をできるだけ回避することができ、ｓＭＰＩによって、表現される場面領域における有効領域を完全にサンプリングすることができるようにする。

【0036】

当該別の１つの例において、実際に演算するとき、プーリングの方式を採用して各ｓＭＰＩの開始深度を計算することができる。図６に示すように、１つの３次元場面を６×６のグリッドを用いて３６個の場面領域に分割すると仮定すると、図６の左側の実線領域は、３次元場面のオリジナル深度マップを表し、当該深度マップも前記３６個の場面領域に分割され、図内の各グリッドは、１つの場面領域を表す。各場面領域の最小深度は何れも深度マップ内の当該場面領域の深度情報に基づいて決定されることができる。本例では、プーリングするときのプーリング寸法は、５×５であり、プーリングステップサイズは１である。プーリングされた深度マップのグリッド数が依然として６×６であるようにするために、オリジナル深度マップを中心にして拡張を行う。図６に示すように、拡張された深度マップは、１０×１０個のグリッドを含み、拡張されたグリッドは破線で示しており、拡張された各グリッドの最小深度は、当該グリッドに最も近いオリジナル深度マップのグリッドの最小深度としてコピーされる（２つのグリッド間の距離は、２つのグリッドの中心の接続線の長さとしてもよい）。グリッドの最小深度に対して最小プーリング動作を行い、図６の右側のプーリングされた深度マップを得、当該深度マップ内の各グリッドの最小深度は、オリジナル深度マップ内の、当該グリッドを中心とする５×５個のグリッドの最小深度に等しく、当該最小深度を、当該グリッド（即ち、当該場面領域）を表現するｓＭＰＩの開始深度に設定する。つまり、前記ｓＭＰＩによって表現される場面領域と前記ｓＭＰＩによって表現される場面領域の隣接領域からなる領域の最小深度に基づいて前記ｓＭＰＩの開始深度を決定する演算を実現する。

【0037】

本開示の１つの例示的な実施例において、前記ｓＭＰＩは、表現される場面領域の異なる深度でサンプリングされた複数の層を含み、前記複数の層はいずれも、カラーフレームと透明度フレームとを含む。

【0038】

本実施例において、以下のステップを採用してＰＭＰＩを生成する。

【0039】

ステップ１において、分割された複数の前記ｓＭＰＩの開始深度と終了深度を決定し、複数の前記ｓＭＰＩの開始深度は少なくとも、複数の前記ｓＭＰＩのそれぞれによって表現される場面領域の深度情報に基づいてそれぞれ決定され、複数の前記ｓＭＰＩの終了深度は、同一に設定される。

【0040】

ＰＭＰＩを通常のＭＰＩとして見なし、通常のＭＰＩの終了深度の設定方式に従って、ＰＭＰＩ内の複数のｓＭＰＩに１つの終了深度を設定することができる。

【0041】

ステップ２において、複数の前記ｓＭＰＩの各ｓＭＰＩについて、当該ｓＭＰＩの開始深度と終了深度、および当該ｓＭＰＩの層数と層の分布規則に基づいて、当該ｓＭＰＩに含まれる各層の深度を決定し、当該ｓＭＰＩによって表現しる場面領域の前記各層の深度でサンプリングして、当該ｓＭＰＩに含まれる各層のカラーフレームと透明度フレームを得る。

【0042】

本実施例において、処理を簡略化し、符号化効率を向上させるために、複数の前記ｓＭＰＩは、複数の前記場面領域と一対一に対応し、複数の前記ｓＭＰＩの層数は、層の分布規則と同一に設定される。前記層の分布規則は、例えば、等間隔分布または等視距離分布であってもよいが、本開示は、これらに限定されなく、他の実施例では、ＰＭＰＩ内の複数のｓＭＰＩの層数と層の分布規則は異なってもよく、この場合、符号化の複雑さが多少増加するかもしれないが、３次元場面をより柔軟に表現することができる。

【0043】

本実施例において、前記複数の層は、平面層または球面層であってもよい。

【0044】

本開示の１つの例示的な実施例において、前記３次元場面を複数の場面領域に分割することは、予め設定された場面分割規則に基づいて３次元場面を複数の場面領域に分割することであって、前記場面分割規則に基づいて、分割された複数の場面領域の、場面領域の数、場面領域の形状、場面領域のサイズ、場面領域の位置、のうちの１つまたは任意の組み合わせ情報を決定することを含み、ここで、複数の前記場面領域のサイズは、同じであるか、または異なり、複数の前記場面領域の形状は、規則的な形状または不規則な形状のうちの１つまたはそれらの組み合わせであり、前記規則的な形状は、三角形、四角形、五角形、六角形のうちの１つまたは任意の組み合わせを含む。

【0045】

本実施例の１つの例において、予め設定された場面分割規則に基づいて前記３次元場面を複数の場面領域に分割することは、Ｍ×Ｎ（Ｍ、Ｎは正の整数であり、Ｍ×Ｎ≧２である）個のグリッドを用いて、前記３次元場面をＭ×Ｎ個の場面領域に分割することを含む。当該例において、分割されたＭ×Ｎ個の場面領域は、同じサイズの四角形領域である。このような分割方式は、画素が所在する場面領域または属するｓＭＰＩに余分な標識を追加する必要がなく、画素の座標に基づいて、ＰＭＰＩ内の各画素が所在する場面領域を容易に決定することができる（例えば、ルックアップテーブルまたは簡単な計算式によって計算され得る）が、本開示は、このような分割方式に限定されない。

【0046】

本開示の１つの例示的な実施例において、前記生成されたＰＭＰＩの生の記憶データは、ＰＭＰＩフレームのフレームパラメータとフレームデータを含み、
前記生の記憶データのＰＭＰＩフレームのフレームパラメータは、
ＰＭＰＩフレームの解像度、
ＰＭＰＩフレーム内のｓＭＰＩの数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層の分布規則、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された終了深度、
Ｍ×Ｎのグリッドを用いて３次元場面を分割するときのＭ、Ｎの値、というパラメータのうちの１つまたは任意の組み合わせを含み、
前記生の記憶データの各ＰＭＰＩフレームのフレームデータは、当該ＰＭＰＩフレームに含まれる各ｓＭＰＩ内の各層のカラーフレームデータと透明度フレームデータを含む。

【0047】

通常のＭＰＩと比較して、本開示の実施例によって生成されるＰＭＰＩの開始深度は、より柔軟であり、場面の異なる領域の被写界深度が変化するときに自己適応的に変化することができる。その結果、ＰＭＰＩのサンプリング点は、場面の可視表面に集められ、サンプリング効率が向上する。ＰＭＰＩ内のｓＭＰＩの層数が、通常のＭＰＩの層数と同じである場合、ＰＭＰＩの平面層の分布は、全体的により密になり、通常のＭＰＩの総数を増やした場合と同等の効果が得られるが、サンプリング点数は増加しない。図７を参照すると、より密な深度層は、ＰＭＰＩに基づいて生成された最終的なイマージブビデオの詳細がより多く保持され、品質が向上する。

【0048】

ＭＰＩは、ビデオ圧縮の後、イマージブビデオとして表示されることができる。図８は、対応するビデオ処理プロセスを示している。符号化側では、ビデオ収集装置によって収集された３次元場面画像（例えば、３Ｄカメラによって撮影された画像）は前処理されてＭＰＩが得られ、ＭＰＩは、圧縮、符号化された後、ビットストリームとして伝送される。復号化側では、ビットストリームを復号化して後処理し、イマージブビデオの形で表示し再生する。

【0049】

動画エキスパートグループ（ＭＰＥＧ：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）のイマージブビデオに関する標準ＭＰＥＧ－Ｉでは、ＭＰＩのカラーフレームや透明度フレームなどの生の記憶（Ｒａｗ ｓｔｏｒｇｅ）データを圧縮して得られたパッケージ圧縮記憶（ＰＣＳ）データおよび参照視点カメラパラメータなどの画像データは、ＭＰＥＧにおけるイマージブビデオテストモデル（ＴＭＩＶ：Ｔｅｓｔ ｍｏｄｅｌ ｏｆ ｉｍｍｅｒｓｉｖｅ ｖｉｄｅｏ）の入力として使用することができる。ＴＭＩＶに入力する前に、ＭＰＩに対して前処理を行い、それをＰＣＳデータに変換する必要がある。

【0050】

画像解像度がＷ×Ｈであり、層数がＳであるＭＰＩ、即ち、Ｗ×Ｈ×Ｓの寸法のＭＰＩフレームを例にとると、ＰＣＳデータの形に変換することができ、ＰＣＳデータには記録されるＭＰＩ内の各画素の関連パラメータが下記を含み、即ち、
画素（ｉ，ｊ）の有効層の数であるＮ_ｉ，ｊと、
画素（ｉ，ｊ）のｋ番目の有効層の位置におけるカラー値などのカラーデータであるＣ_{ｉ，ｊ，ｋ}と、
画素（ｉ，ｊ）のｋ番目の有効層のインデックス（ｉｎｄｅｘ）であるＤ_{ｉ，ｊ，ｋ}（（Ｄ_{ｉ，ｊ，ｋ}∈［１，Ｓ］））と、
画素（ｉ，ｊ）のｋ番目の有効層の位置における透明度値であるＴ_{ｉ，ｊ，ｋ}と、を含む。

【0051】

通常のＭＰＩの場合、画素（ｉ，ｊ）は、ＭＰＩのＳ個の層に含まれ、画素（ｉ，ｊ）の透明度値が０でない層が画素（ｉ，ｊ）の有効層である。

【0052】

図９は、上記のパラメータに基づいてパッケージングされたＭＰＩのＰＣＳデータの１つの例を示している。

【0053】

これから分かるように、寸法がＷ×Ｈ×ＳであるのＭＰＩの生の記憶データは、ＰＣＳデータには完全に保持されない。実際の場合、１つの画素（ｐｉｘｅｌ）のいくつかの平面層上の値は無効である（即ち、当該画素は完全に透明であり、有効情報がない）。よって、画素（ｉ，ｊ）について、Ｓ個の平面層における画素（ｉ，ｊ）のＮ_ｉ，ｊ個の有効平面層の情報のみを保持すればよい。注意すべきこととして、各画素に対応する有効平面層数は、不明である。明らかに、圧縮されたＰＣＳデータにより、ＭＰＩが占有する記憶スペースが削減される。それに加えて、ＰＣＳデータの記憶方式により、後続の復号化プロセスにおけるメモリアクセスの回数が削減される。ＭＰＩの各平面の寸法がＷ×Ｈであるとすれば、２回のメモリアクセス動作でＭＰＩフレーム全体をメモリに読み取ることができる。

【0054】

通常のＭＰＩの場合、設定時間内の複数のＭＰＩフレームの開始深度と終了深度は同じであり、且つＭＰＩ内の複数の層の分布規則は既知である。開始深度と終了深度に基づいて、ＭＰＩ内の各層の深度を計算することができる。ＭＰＩフレームの開始深度と終了深度は、ＭＰＩフレームのフレームパラメータに記録されることができ、各ＭＰＩフレームのＰＣＳデータに書き込む必要がないため、単一のＭＰＩのＰＣＳデータに、画素の有効層の深度情報を追加記録する必要はない。

【0055】

通常のＭＰＩと同様に、ＰＭＰＩもビデオフレームとして圧縮、符号化することができ、ＰＭＰＩは、３次元場面の画像に基づいて、直接生成されてもよいし、通常のＭＰＩに基づいて生成されてもよい。ＰＭＰＩを符号化する前に、同様にＰＭＰＩの生の記憶データをＰＣＳデータに変換する必要がある。

【0056】

上から分かるように、ＰＭＰＩは、複数のｓＭＰＩを含み、各ｓＭＰＩに含まれる複数の層において、参照視点に最も近い１つの層の深度が当該ｓＭＰＩの開始深度であり、参照視点に最も遠い１つの層の深度が当該ｓＭＰＩの終了深度であり、他の層の深度は、当該ｓＭＰＩの開始深度と終了深度との間に介在し、複数の層は、設定された規則、例えば等間隔または等視距離に従って分布されてもよい。よって、ｓＭＰＩの開始深度と終了深度が分かれば、ｓＭＰＩの各層の深度を計算することができる。異なるＰＭＰＩ内のｓＭＰＩの終了深度は、同一に設定される。しかし、異なるＰＭＰＩ内のｓＭＰＩの開始深度は、それによって表現される場面領域の深度情報に関連しており、予め設定されて固定されていない。したがって、本開示の実施例のＰＭＰＩの生の記憶データをＰＣＳデータに変換するとき、復号化側に画素の有効層の深度を正確に計算させるために、開始深度情報を提供する必要がある。

【0057】

そのため、本開示の１つの実施例は、マルチプレーン画像のデータ処理方法を提供し、図１０に示すように、前記方法は、次のステップを含む。

【0058】

ステップ４１０において、パッチマルチプレーン画像（ＰＭＰＩ）の生の記憶データを取得し、前記ＰＭＰＩは、３次元場面を分割して得られた複数の場面領域をそれぞれ表現するために、複数のサブマルチプレーン画像（ｓＭＰＩ）を含む。

【0059】

ステップ４２０において、前記ＰＭＰＩの生の記憶データをパッケージ圧縮記憶（ＰＣＳ）データに変換し、前記ＰＣＳデータは、前記ＰＭＰＩの画素の有効層の深度および有効層における画素のカラーと透明度を決定するために使用される。

【0060】

本開示の１つの例示的な実施例において、前記ＰＭＰＩは、本開示の任意の実施例に記載の生成方法を採用して生成され、前記ＰＭＰＩ内の各画素は、１つのｓＭＰＩに含まれ、且つ当該ｓＭＰＩに含まれる複数の層にはすべて、当該画素のカラー値と透明度値が記録されている。通常のＭＰＩの画素は、通常のＭＰＩのすべての層に含まれ、それに対してＰＭＰＩはパッチに分割されているため、ＰＭＰＩの画素は、１つのｓＭＰＩのすべての層に含まれ、本文では、当該画素を含むｓＭＰＩを当該画素が所在するｓＭＰＩと呼んでいる。画素が所在するｓＭＰＩのすべての層にはいずれも当該画素のカラー値と透明度値が記録されているが、これらの層は、一部のみが当該画素の有効層である可能性がある。ＭＰＩの関連ビデオ標準（例えば、ＭＰＥＧのイマージブビデオの関連標準）において、ＭＰＩの画素の有効層は、ＭＰＩにおける当該画素の透明度が設定閾値（例えば、０）より大きい層であってもよい。本開示の実施例のＰＭＰＩの画素の有効層は、上記の標準における規定に従っても良く、例えば、ＰＭＰＩの画素の有効層は、ＰＭＰＩにおいて、当該画素を含むｓＰＭＩのうち、当該画素の透明度が設定閾値（例えば、０）より大きい層を指す。１つの画素の有効層は、一層または多層を有してもよく、実際の場合によって設定される。

【0061】

本開示の１つの例示的な実施例において、前記ＰＣＳデータは、ＰＭＰＩフレームのフレームデータとフレームパラメータを含む。

【0062】

本実施例の１つの例において、前記ＰＣＳデータ内の１つのＰＭＰＩフレームのフレームデータは、
当該ＰＭＰＩフレーム内の各ｓＭＰＩの開始深度、及び、
当該ＰＭＰＩフレームの各画素の、当該画素の各有効層におけるカラーデータと、透明度データと、当該画素が所在するｓＭＰＩにおける当該有効層の層インデックスを含む。

【0063】

本実施例の別の１つの例において、前記ＰＣＳデータ内の１つのＰＭＰＩフレームのフレームデータは、
当該ＰＭＰＩフレーム内の各ｓＭＰＩの開始深度、及び、
当該ＰＭＰＩフレームの各画素の、当該画素の所在するｓＭＰＩのインデックス、各有効層における当該画素のカラーデータと、透明度データと、当該画素が所在するｓＭＰＩにおける当該有効層の層インデックスを含む。

【0064】

本実施例のまた別の例において、前記ＰＣＳデータ内の１つのＰＭＰＩフレームのフレームデータは、当該ＰＭＰＩフレームの各画素の、当該画素の所在するｓＭＰＩの開始深度および、各有効層における当該画素のカラーデータと、透明度データと、当該画素が所在するｓＭＰＩにおける当該有効層の層インデックスを含む。

【0065】

上記の３つの例において、前記ＰＣＳデータ内の１つのＰＭＰＩフレームのフレームデータに、いずれも、当該ＰＭＰＩフレーム内の各画素の有効層の数というパラメータを増加することができる。当該パラメータを増加することは、データ符号化と解析の効率を向上させることに有益である。

【0066】

本実施例の１つの例において、前記ＰＣＳデータは、ＰＭＰＩフレームのフレームパラメータをさらに含み、前記ＰＣＳデータ内のＰＭＰＩフレームのフレームパラメータは、
ＰＭＰＩフレームの解像度、
ＰＭＰＩフレーム内のｓＭＰＩの数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層の分布規則、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された終了深度、
Ｍ×Ｎのグリッドを用いて３次元場面を分割するときのＭ、Ｎの値、というパラメータのうちの１つまたは任意の組み合わせを含む。

【0067】

本例のＰＭＰＩフレームのフレームパラメータは、図１１、図１２および図１３に示す実施例に適することができ、以下では繰り返して説明しない。

【0068】

本開示の１つの例示的な実施例において、本開示の実施例のＰＭＰＩに適用する第１種のＰＣＳデータフォーマットが提案され、前記ＰＣＳデータ内の１つのＰＭＰＩのフレームデータは、
前記ＰＭＰＩ内の各ｓＭＰＩの開始深度と、
前記ＰＭＰＩ内の各画素の以下のようなパラメータと、を含み、即ち、
当該画素の有効層の数、
当該画素の各有効層におけるカラーデータ、透明度データおよび当該画素が所在するｓＭＰＩにおける当該有効層の層インデックスを含む。

【0069】

本実施例において、ＰＭＰＩの画像解像度がＷ×Ｈであり、Ｍ×Ｎのグリッドを用いて分割され、ＰＭＰＩに含まれるｓＭＰＩの数がＭ×Ｎであり、各ｓＭＰＩの層数がいずれもＳであると仮定する。すると、当該ＰＭＰＩのＰＣＳデータフォーマットは、図１１に示す通りであり、ＰＭＰＩ内の１つのＰＭＰＩフレームのフレームデータは、
グリッド（ｘ，ｙ）（ｘ∈［１，Ｍ］、ｙ∈［１，Ｎ］）によって表される場面領域のｓＭＰＩの開始深度を表すためのＤＰ_ｘ，ｙと、
画素（ｉ，ｊ）（ｉ∈［１，Ｈ］、ｊ∈［１，Ｗ］）の有効層の数であるＮ_ｉ，ｊと、
画素（ｉ，ｊ）のｋ番目の有効層の位置におけるカラー値などのカラーデータであるＣ_{ｉ，ｊ，ｋ}と、
画素（ｉ，ｊ）のｋ番目の有効層のインデックス（ｉｎｄｅｘ）であるＤ_{ｉ，ｊ，ｋ}（（Ｄ_{ｉ，ｊ，ｋ}∈［１，Ｓ］））と、
画素（ｉ，ｊ）のｋ番目の有効層の位置における透明度値などの透明度データであるＴ_{ｉ，ｊ，ｋ}と、を含む。

【0070】

本実施例では、ＰＭＰＩフレームのフレームデータにＰＭＰＩフレーム内の各ｓＭＰＩの開始深度が書き込まれており、画素（ｉ，ｊ）が所在するｓＭＰＩは、ｉ，ｊおよび分割規則に基づいて決定されることができ、フレームパラメータ内のｓＭＰＩの終了深度、層数および層の分布規則を参照して、画素（ｉ，ｊ）が所在するｓＭＰＩの各層の深度を計算することができ、そして、画素（ｉ，ｊ）のすべての有効層のインデックスに基づいて、後続の符号化処理のための画素（ｉ，ｊ）の各有効層の深度を決定することができる。

【0071】

本開示の１つの例示的な実施例において、本開示の実施例のＰＭＰＩに適用する第２種のＰＣＳデータフォーマットが提案され、前記ＰＣＳデータ内の１つのＰＭＰＩのフレームデータは、
前記ＰＭＰＩ内の各ｓＭＰＩの開始深度と、
前記ＰＭＰＩ内の各画素の以下のようなパラメータと、を含み、即ち、
画素（ｉ，ｊ）の有効層の数、
当該画素が所在するｓＭＰＩのインデックス、
当該画素の各有効層におけるカラーデータ、透明度データおよび当該画素が所在するｓＭＰＩにおける当該有効層の層インデックスを含む。

【0072】

本実施例において、ＰＭＰＩの画像解像度がＷ×Ｈであり、分割されたｓＭＰＩの数がＭであり、各ｓＭＰＩの層数がすべてＳであると仮定する。すると、当該ＰＭＰＩのＰＣＳデータフォーマットは、図１２に示す通りであり、ＰＭＰＩ内の１つのＰＭＰＩフレームのフレームデータは、
ｍ番目（ｍ∈［１，Ｍ］）のｓＭＰＩの開始深度であるＤＰ_ｍと、
画素（ｉ，ｊ）（ｉ∈［１，Ｈ］、ｊ∈［１，Ｗ］）の有効層の数であるＮ_ｉ，ｊと、
画素（ｉ，ｊ）が所在するｓＭＰＩのインデックスであるＩ_ｉ，ｊと、
画素（ｉ，ｊ）のｋ番目の有効層の位置におけるカラー値などのカラーデータであるＣ_{ｉ，ｊ，ｋ}と、
画素（ｉ，ｊ）のｋ番目の有効層のインデックス（ｉｎｄｅｘ）であるＤ_{ｉ，ｊ，ｋ}（（Ｄ_{ｉ，ｊ，ｋ}∈［１，Ｓ］））と、
画素（ｉ，ｊ）のｋ番目の有効層の位置における透明度値などの透明度データであるＴ_{ｉ，ｊ，ｋ}と、を含む。

【0073】

先の実施例と比較して、本実施例は、ＰＭＰＩフレームのフレームデータにＰＭＰＩフレーム内の各ｓＭＰＩの開始深度だけではなく、画素（ｉ，ｊ）が所在するｓＭＰＩのインデックスも書き込み、よって、３次元場面に対してグリッド分割を用いる場合だけではなく、３次元場面に対して非グリッド分割を用いる場合にも適する。

【0074】

本開示の１つの例示的な実施例において、本開示の実施例のＰＭＰＩに適用する第２種のＰＣＳデータフォーマットが提案され、前記ＰＣＳデータ内の１つのＰＭＰＩフレームのフレームデータは、当該ＰＭＰＩ内の各画素の次のようなパラメータを含み、即ち、
画素（ｉ，ｊ）の有効層の数、
当該画素が所在するｓＭＰＩの開始深度、
当該画素の各有効層におけるカラーデータ、透明度データおよび当該画素が所在するｓＭＰＩにおける当該有効層の層インデックスを含む。

【0075】

本実施例において、ＰＭＰＩの画像解像度がＷ×Ｈであり、ＰＭＰＩに含まれるｓＭＰＩの数がＭであり、各ｓＭＰＩの層数がいずれもＳであると仮定する。すると、当該ＰＭＰＩのＰＣＳデータフォーマットは、図１３に示す通りであり、ＰＭＰＩ内の１つのＰＭＰＩフレームのフレームデータは、
画素（ｉ，ｊ）（ｉ∈［１，Ｈ］、ｊ∈［１，Ｗ］）の有効層の数であるＮ_ｉ，ｊと、
画素（ｉ，ｊ）が所在するｓＭＰＩの開始深度であるＥ_ｉ，ｊと、
画素（ｉ，ｊ）のｋ番目の有効層の位置におけるカラー値などのカラーデータであるＣ_{ｉ，ｊ，ｋ}と、
画素（ｉ，ｊ）のｋ番目の有効層のインデックス（ｉｎｄｅｘ）であるＤ_{ｉ，ｊ，ｋ}（（Ｄ_{ｉ，ｊ，ｋ}∈［１，Ｓ］））と、
画素（ｉ，ｊ）のｋ番目の有効層の位置における透明度値であるＴ_{ｉ，ｊ，ｋ}と、を含む。

【0076】

本実施例において、前記複数のｓＭＰＩの開始深度のデータは、ＰＭＰＩ内の各画素が所在するｓＭＰＩの開始深度として示され、即ち、画素が所在するｓＭＰＩの開始深度は、ＰＭＰＩフレームのフレームデータに直接書き込まれ、それは、画素の有効層の深度を決定することに容易であるが、符号化の効率に影響を与える。

【0077】

ＰＭＰＩのＰＣＳデータは、前記ＰＭＰＩの画素の有効層の深度および有効層における画素のカラーと透明度を決定するために使用され、上記の実施例によるデータフォーマットに加えて、他のデータフォーマットを参照してもよいが、本開示はこれに対して限定しない。

【0078】

以上のＰＭＰＩに適するＰＣＳデータフォーマットは、ＰＣＳデータにｓＭＰＩの開始深度の関連情報を追加することにより、復号化側がｓＭＰＩの開始深度を参照して画素の有効層の深度を計算するようにし、それにより、ＰＭＰＩの画像を正確に復元する。

【0079】

図１４は、本開示の実施例における１つのＭＰＩ符号化装置に適用できるアーキテクチャ図を示し、ＭＰＩ符号化装置１０の入力データは、ソースＭＰＩ（例えば、ＰＭＰＩ）のＰＣＳデータであり、ＰＣＳデータは、ビューパラメータ（Ｖｉｅｗ ｐａｒａｍｅｔｅｒｓ）（画像パラメータとも呼ばれ、例えば、参照視点カメラパラメータなど）、テクスチャ属性成分（Ｔｅｘｔｕｒｅ Ａｔｔｒｉｂｕｔｅ ｃｏｍｐｏｎｅｎｔ）のデータと、透明度属性成分（Ｔｒａｎｓｐａｒｅｎｃｙ Ａｔｔｒｉｂｕｔｅ ｃｏｍｐｏｎｅｎｔ）のデータなどを含むが、これらに限定されない。

【0080】

図１４に示すように、ＭＰＩ符号化装置１０は、ＭＰＩマスク生成（Ｃｒｅａｔｅ ｍａｓｋ ｆｒｏｍ ＭＰＩ）ユニット１０１と、ＭＰＩマスク集約（Ａｇｇｒｅｇａｔｅ ＭＰＩ ｍａｓｋｓ）ユニット１０３と、有効画素クラスタ（Ｃｌｕｓｔｅｒ Ａｃｔｉｖｅ ｐｉｘｅｌｓ）ユニット１０５と、クラスタ分割（Ｓｐｌｉｔ Ｃｌｕｓｔｅｒｓ）ユニット１０７と、パッチパック（Ｐａｃｋ ｐａｔｃｈｅｓ）ユニット１０９と、ビデオデータ生成（Ｇｅｎｅｒａｔｅ ｖｉｄｅｏ ｄａｔａ）ユニット１１１と、パラメータ符号化ユニット１１３と、を備える。

【0081】

ＭＰＩマスク生成ユニット１０１は、入力データに基づいてＭＰＩマスクを生成するように構成される。１つの例において、透明度の閾値に基づいてＭＰＩ層内の画素点（サンプリング点とも呼ばれる）をスクリーニングして、各層のマスク（ｍａｓｋ）を得ることができる。これは、各層の透明度が大きい位置（画素とも呼ばれる）と透明度が小さい位置（画素とも呼ばれる）を区別し、透明度が大きい位置を遮蔽して、データ量を削減するためである。ＭＰＩマスク生成ユニット１０１は、一定期間（ｉｎｔｒａ－ｐｅｒｉｏｄ）内のすべてのＭＰＩフレームに対して、上記の動作を実施する。ＭＰＩフレームの寸法がＷ×Ｈ×Ｓであり、一定期間（ｉｎｔｒａ－ｐｅｒｉｏｄ）内に含まれるフレーム数がＭであると仮定する。すると、ＭＰＩマスク生成ユニット１０１によって処理された後、Ｍ個のＷ×Ｈ×Ｓのマスク（ｍａｓｋ）が得られる。

【0082】

ＭＰＩマスク集約ユニット１０３は、Ｍ個のＷ×Ｈ×Ｓのマスクのうち、同じ層に位置する複数のマスクの和集合をとり、１つのＷ×Ｈ×Ｓのマスクを得るように構成される。

【0083】

有効画素クラスタリングユニット１０５は、各層のマスク内の透明度が閾値より大きい領域（有効情報領域）を一連のクラスタ（ｃｌｕｓｔｅｒ）にクラスタリングするように構成される。

【0084】

クラスタ分割ユニット１０７は、有効画素クラスタリングユニット１０５によってクラスタリングされたクラスタを分割して、分割処理されたクラスタを得るように構成される。

【0085】

パッチパックユニット１０９は、各パッチ（ｐａｔｃｈ、例えば、クラスタを含む四角形領域）に対応するテクスチャフレームと透明度フレームを改めて１つの図に組み合わせ、アトラス（ａｔｌａｓ）データに符号化して伝送するように構成される。

【0086】

ビデオデータ生成ユニット１１１は、パッチパックユニット１０９によって出力されたａｔｌａｓデータに基づいてビデオデータを生成して伝送するように構成され、前記ビデオデータは、テクスチャ属性ビデオデータ（Ｔｅｘｔｕｒｅ ａｔｔｒｉｂｕｔｅ ｖｉｄｅｏ ｄａｔａ（ｒａｗ））、透明度属性ビデオデータ（Ｔｒａｎｓｐａｒｅｎｃｙ ａｔｔｒｉｂｕｔｅ ｖｉｄｅｏ ｄａｔａ（ｒａｗ））などを含む。

【0087】

パラメータ符号化ユニット１１３は、ソースＭＰＩデータに基づいて符号化して、符号化された画像パラメータを得るように構成され、前記符号化された画像パラメータは、画像パラメータリスト（Ｖｉｅｗ ｐａｒａｍｅｔｅｒｓ ｌｉｓｔ）、パラメータセット（Ｐａｒａｍｅｔｅｒ ｓｅｔ）などを含んでもよい。

【0088】

上記の符号化装置アーキテクチャに基づいてＭＰＩを符号化するとき、まず、透明度の閾値に基づいて、ＭＰＩ内のサンプリング点をスクリーニングして、各平面層のマスク（ｍａｓｋ）を得る。ＭＰＩの寸法がＷ×Ｈ×Ｓであり、設定された一定期間（ｉｎｔｒａ－ｐｅｒｉｏｄ）内に含まれるフレーム数がＭであると仮定すると、前記一定期間内のすべてのＭＰＩフレームに対して上記の動作を実施して、Ｍ個のＷ×Ｈ×Ｓのマスク（ｍａｓｋ）が得られる。次に、同じ平面層におけるマスクの和集合をとって、１つのＷ×Ｈ×Ｓのマスクを得る。そして、各層のマスク内の透明度が閾値より大きい領域（有効情報領域）を一連のクラスタ（ｃｌｕｓｔｅｒ）にクラスタリング、分割する。Ｃｌｕｓｔｅｒを融合、分解などのステップにより、小さなパッチ（ｐａｔｃｈ）が得られる。そして、各パッチ（ｐａｔｃｈ）に対応するテクスチャフレーム（即ち、カラーフレーム）と透明度フレームを改めてそれぞれ１つの図に組み合わせて、ａｔｌａｓデータに符号化して伝送する。

【0089】

本開示の１つの実施例は、ＰＭＰＩの符号化に使用されることができるマルチプレーン画像の符号化方法を提供し、図１５に示すように、前記符号化方法は、次のステップを含む。

【0090】

ステップ５１０において、ＰＭＰＩのＰＣＳデータを受信し、前記ＰＭＰＩは、３次元場面を分割して得られた複数の場面領域をそれぞれ表現するために、複数のｓＭＰＩを含み、前記ＰＣＳデータは、画像パラメータおよび、テクスチャ属性成分と透明度属性成分のデータを含む。

【0091】

ステップ５２０において、前記ＰＣＳデータに基づいて前記ＰＭＰＩを符号化して、符号化された画像パラメータとａｔｌａｓデータを得る。

【0092】

本実施例において、前記ＰＣＳデータは、ｓＭＰＩの開始深度情報を含み、画像パラメータおよび／またはテクスチャ属性成分と透明度属性成分のデータにパッケージングされることができ、符号化のとき、ｓＭＰＩの開始深度情報をビットストリームに書き込み、符号化された画像パラメータおよび／またはａｔｌａｓデータにパッケージングされることができる。

【0093】

本開示の１つの例示的な実施例において、前記ＰＣＳデータに基づいて前記ＰＭＰＩを符号化することは、前記ＰＭＰＩに含まれる複数のｓＭＰＩの各々に対して符号化処理を行うことを含み、ここで、各ｓＭＰＩの符号化は、通常のＭＰＩ（即ち、３次元場面全体を表現する）と同じ符号化方式を用いて符号化処理を行うことができ、通常のＭＰＩの符号化方式は、関連標準の規定に従うことができる。

【0094】

本開示の１つの例示的な実施例において、前記ＰＭＰＩのＰＣＳデータは、本開示の任意の実施例に記載のデータ処理方法に従って、前記ＰＭＰＩの生の記憶データから変換して得られるものである。

【0095】

本開示の１つの例示的な実施例において、
前記ＰＣＳデータの画像パラメータと前記符号化された画像パラメータは何れも、前記ＰＣＳデータ内のＰＭＰＩフレームの一部またはすべてのフレームパラメータと、ＰＭＰＩフレームの各ｓＭＰＩの開始深度と、のうちの少なくとも１つを含み、
前記ＰＣＳデータ内のテクスチャ属性成分と透明度属性成分のデータは、前記ＰＣＳデータ内のＰＭＰＩフレームの一部またはすべてのフレームデータを含み、前記テクスチャ属性成分のデータは、カラーデータを含み、
前記ａｔｌａｓデータは、符号化のときに決定されたパッチ（ｐａｔｃｈ）のデータとパラメータを含み、前記データは、カラーデータと透明度データを含み、前記パラメータは、データが属する層の標識情報、データが属する層の開始深度、データが属するｓＭＰＩの標識情報、データが属するｓＭＰＩの開始深度およびデータが属するＰＭＰＩの標識情報のうちの１つまたは任意の組み合わせを含む。

【0096】

本開示の実施例において、ＰＭＰＩ内のｓＭＰＩの開始深度は、符号化された画像パラメータおよび／またはａｔｌａｓデータに書き込まれることができる。

【0097】

本開示の１つの実施例は、マルチプレーン画像の復号化方法を提供し、図１６に示すように、前記方法は、以下のステップを含む。

【0098】

ステップ６１０において、パッチマルチプレーン画像（ＰＭＰＩ）の符号化ビットストリームを受信し、前記符号化ビットストリームには、ＰＭＰＩの画像パラメータとａｔｌａｓデータが含まれる。

【0099】

本実施例において、符号化ビットストリーム内の前記ＰＭＰＩの画像パラメータおよび／またはアトラスデータは、ｓＭＰＩの開始深度情報を含む。

【0100】

ステップ６２０において、前記符号化ビットストリームを復号化して、前記ＰＭＰＩの画像パラメータおよび、テクスチャ属性成分と透明度属性成分のデータを取得する。

【0101】

前記ＰＭＰＩは、３次元場面を分割して得られた複数の場面領域をそれぞれ表現するために、複数のサブマルチプレーン画像（ＳＭＰＩ）を含む。

【0102】

本開示の１つの例示的な実施例において、前記ＰＭＰＩの画像パラメータは、
ＰＭＰＩフレームの解像度、
ＰＭＰＩフレーム内のｓＭＰＩの数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層の分布規則、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された終了深度、
Ｍ×Ｎのグリッドを用いて３次元場面を分割するときのＭ、Ｎの値、
ＰＭＰＩフレーム内の各ｓＭＰＩの開始深度、というパラメータのうちの１つまたは任意の組み合わせを含む。

【0103】

本開示の１つの例示的な実施例において、前記ａｔｌａｓデータは、符号化のときに決定されたパッチのデータとパラメータを含み、前記データは、カラーデータと透明度データを含み、前記パラメータは、データが属する層の標識情報、データが属する層の開始深度、データが属するｓＭＰＩの標識情報、データが属するｓＭＰＩの開始深度およびデータが属するＰＭＰＩの標識情報のうちの１つまたは任意の組み合わせを含む。

【0104】

本開示の１つの実施例はさらに、パッチマルチプレーン画像（ＰＭＰＩ：Ｐａｔｃｈ ｍｕｌｔｉｐｌａｎｅ ｉｍａｇｅ）を符号化することにより生成されるビットストリームを提供し、前記ビットストリームには、前記ＰＭＰＩの画像パラメータとａｔｌａｓデータが含まれ、前記ＰＭＰＩは、３次元場面を分割して得られた複数の場面領域をそれぞれ表現するために、複数のサブマルチプレーン画像（ｓＭＰＩ：ｓｕｂ ｍｕｌｔｉｐｌａｎｅ ｉｍａｇｅ）を含む。本実施例において、ビットストリーム内の前記ＰＭＰＩの画像パラメータおよび／またはアトラスデータは、ｓＭＰＩの開始深度情報を含む。

【0105】

本開示の１つの例示的な実施例において、前記ＰＭＰＩの画像パラメータは、
ＰＭＰＩフレームの解像度、
ＰＭＰＩフレーム内のｓＭＰＩの数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層の分布規則、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された終了深度、
Ｍ×Ｎのグリッドを用いて３次元場面を分割するときのＭ、Ｎの値、
ＰＭＰＩフレーム内の各ｓＭＰＩの開始深度、というパラメータのうちの１つまたは任意の組み合わせを含む。

【0106】

本開示の１つの例示的な実施例において、前記ａｔｌａｓデータは、符号化のときに決定されたパッチのデータとパラメータを含み、前記データは、カラーデータと透明度データを含み、前記パラメータは、データが属する層の標識情報、データが属する層の開始深度、データが属するｓＭＰＩの標識情報、データが属するｓＭＰＩの開始深度およびデータが属するＰＭＰＩの標識情報のうちの１つまたは任意の組み合わせを含む。

【0107】

本開示の１つの実施例はさらに、図１７に示すように、プロセッサ５と、前記プロセッサ５で実行可能なコンピュータプログラムが記憶されたメモリ６と、を備えるマルチプレーン画像の生成装置を提供し、ここで、前記プロセッサ５は、前記コンピュータプログラムを実行することにより、本開示の任意の実施例に記載のマルチプレーン画像の生成方法を実現する。

【0108】

本開示の１つの実施例はさらに、図１７を参照して、プロセッサと、コンピュータプログラムが記憶されたメモリと、を備えるマルチプレーン画像のデータ処理装置を提供し、ここで、前記プロセッサは、前記コンピュータプログラムを実行することにより、本開示の任意の１つの実施例に記載のマルチプレーン画像のデータ処理方法を実現する。

【0109】

本開示の１つの実施例はさらに、図１７を参照して、プロセッサと、コンピュータプログラムが記憶されたメモリと、を備えるマルチプレーン画像の符号化装置を提供し、ここで、前記プロセッサは、前記コンピュータプログラムを実行することにより、本開示の任意の１つの実施例に記載のマルチプレーン画像の符号化方法を実現する。

【0110】

本開示の１つの実施例はさらに、図１７を参照して、プロセッサと、コンピュータプログラムが記憶されたメモリと、を備えるマルチプレーン画像の復号化装置を提供し、ここで、前記プロセッサは、前記コンピュータプログラムを実行することにより、本開示の任意の１つの実施例に記載のマルチプレーン画像の復号化方法を実現する。

【0111】

本開示の１つの実施例はさらに、プロセッサによって実行されるとき、前記プロセッサに本開示の任意の実施例に記載のマルチプレーン画像の生成方法、データ処理方法、符号化方法または復号化方法を実現させるコンピュータプログラムが記憶された、非一時的なコンピュータ可読記憶媒体を提供する。

【0112】

１つまたは複数の例示的な実施例において、説明される機能は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせによって実施されることができる。ソフトウェアによって実施される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体に記憶されるか、またはコンピュータ可読媒体によって伝送され、ハードウェアに基づく処理ユニットによって実行されることができる。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含んでもよく、または通信プロトコルに従って、ある場所から別の場所へコンピュータプログラムを転送する通信媒体を含む。これにより、コンピュータ可読媒体は通常、非一時的な有形コンピュータ可読記憶媒体、または信号またはキャリアなどの通信媒体に対応することができる。データ記憶媒体は、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされて、本開示に説明される技術を実施するための命令、コードおよび／またはデータ構造を検索できる任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。

【0113】

限定のためではない例として、このようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶装置、フラッシュメモリ、または命令またはデータ構造の形でプログラムされるコードを記憶し、コンピュータによってアクセス可能な任意の他の媒体を含んでもよい。また、任意の接続をコンピュータ可読媒体と呼ぶことができ、例を挙げると、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）または、赤外線、無線およびマイクロ波などの無線技術を使用して、Ｗｅｂ、サーバまたは他の遠隔ソースで命令を伝送する場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬまたは、赤外線、無線およびマイクロ波などの無線技術は、媒体の定義に含まれる。しかし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、キャリア、信号、または他の一時的な媒体を含まず、非一時的な有形記憶媒体を対象としていることを理解されたい。本明細書で使用される場合、磁気ディスクおよび光ディスクは、コンパクトディスク（ＣＤ）、レーザ光ディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスクまたはブルーレイディスクなどを含み、ここで、磁気ディスクは通常、データを磁気的に再生し、光ディスクは、レーザを使用してデータを光学的に再生する。上記の組み合わせもコンピュータ可読媒体の範囲内に含まれるべきである。

【0114】

例えば、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他の同等の集積回路またはディスクリート論理回路などの１つまたは複数のプロセッサによって、命令を実行することができる。したがって、本明細書で使用される用語「プロセッサ」は、上記の構造または本明細書で説明される技術の実施に適する任意の他の構造を指すことができる。さらに、いくつかの態様では、本明細書で説明される機能は、符号化および復号化用に構成された専用のハードウェアおよび／またはソフトウェアモジュール内に適用されてもよく、または組み合わせられたコーデックに組み込まれてもよい。さらに、上記の技術は、１つまたは複数の回路または論理要素に完全に実装されることができる。

【0115】

本開示の実施例の技術的解決策は、携帯電話、集積回路（ＩＣ）または１セットのＩＣ（例えば、チップセット）を含む、様々な装置または機器で実施されることができる。本開示の実施例では、説明される技術を実行するように構成された装置の機能的側面を強調するために、様々なコンポーネント、モジュールまたはユニットが説明されるが、必ずしも異なるハードウェアユニットによる実装を必要とするわけではない。むしろ、上記のしたように、様々なユニットは、コーデックのハードウェアユニット内に組み合わされてもよく、あるいは、適切なソフトウェアおよび／またはファームウェアと連携して、相互運用可能なハードウェアユニット（上記の１つまたは複数のプロセッサを含む）の集合によって提供されてもよい。

【図1】

【図2A-1】

【図2A-2】

【図2B-1】

【図2B-2】

【図2C-1】

【図2C-2】

【図2D-1】

【図2D-2】

【図2E-1】

【図2E-2】

【図2F-1】

【図2F-2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【手続補正書】

【提出日】2024-09-06

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

マルチプレーン画像の生成方法であって、
３次元場面を複数の場面領域に分割することと、
パッチマルチプレーン画像（ＰＭＰＩ）を生成することと、を含み、前記ＰＭＰＩは、複数の前記場面領域をそれぞれ表現するための複数のサブマルチプレーン画像（ｓＭＰＩ）を含み、前記ｓＭＰＩの開始深度は少なくとも、前記ｓＭＰＩによって表現される場面領域の深度情報に基づいて決定される、マルチプレーン画像の生成方法。

【請求項2】

前記ｓＭＰＩの開始深度は少なくとも、前記ｓＭＰＩによって表現される場面領域の深度情報に基づいて決定されることは、
前記ｓＭＰＩの開始深度は、第１領域の最小深度に基づいて決定されることを含み、前記第１領域は、前記ｓＭＰＩによって表現される場面領域であり、または、前記第１領域は、前記ｓＭＰＩによって表現される場面領域と、前記ｓＭＰＩによって表現される場面領域の隣接領域からなる領域である、
請求項１に記載のマルチプレーン画像の生成方法。

【請求項3】

前記ｓＭＰＩの開始深度は、第１領域の最小深度に基づいて決定されることは、前記ｓＭＰＩの開始深度は、前記第１領域の最小深度として設定されることを含み、
前記ｓＭＰＩによって表現される場面領域の隣接領域は、前記３次元場面において、前記ｓＭＰＩによって表現される場面領域の周辺に位置する１つまたは複数の場面領域を含み、
前記ｓＭＰＩは、表現される場面領域の異なる深度でサンプリングされた複数の層を含み、前記複数の層はいずれも、カラーフレームと透明度フレームとを含む、
請求項２に記載のマルチプレーン画像の生成方法。

【請求項4】

前記ＰＭＰＩを生成することは、
複数の前記ｓＭＰＩの開始深度と終了深度を決定することであって、複数の前記ｓＭＰＩの開始深度は少なくとも、複数の前記ｓＭＰＩのそれぞれによって表現される場面領域の深度情報に基づいてそれぞれ決定され、複数の前記ｓＭＰＩの終了深度は、同一に設定される、ことと、
複数の前記ｓＭＰＩの各ｓＭＰＩについて、当該ｓＭＰＩの開始深度と終了深度、および当該ｓＭＰＩの層数と層の分布規則に基づいて、当該ｓＭＰＩに含まれる各層の深度を決定し、当該ｓＭＰＩによって表現しる場面領域の前記各層の深度でサンプリングして、当該ｓＭＰＩに含まれる各層のカラーフレームと透明度フレームを得ることと、を含む、
請求項３に記載のマルチプレーン画像の生成方法。

【請求項5】

マルチプレーン画像のデータ処理方法であって、
パッチマルチプレーン画像（ＰＭＰＩ）の生の記憶データを取得することであって、前記ＰＭＰＩは、３次元場面を分割して得られた複数の場面領域をそれぞれ表現するために、複数のサブマルチプレーン画像（ｓＭＰＩ）を含む、ことと、
前記ＰＭＰＩの生の記憶データをパッケージ圧縮記憶（ＰＣＳ）データに変換することであって、前記ＰＣＳデータは、前記ＰＭＰＩの画素の有効層の深度および有効層における画素のカラーと透明度を決定するために使用される、ことと、を含む、マルチプレーン画像のデータ処理方法。

【請求項6】

前記ＰＭＰＩは、請求項１ないし４のいずれか一項に記載のマルチプレーン画像の生成方法を採用して生成される、
請求項５に記載のマルチプレーン画像のデータ処理方法。

【請求項7】

マルチプレーン画像の符号化方法であって、
パッチマルチプレーン画像（ＰＭＰＩ）のパッケージ圧縮記憶（ＰＣＳ）データを受信することであって、前記ＰＭＰＩは、３次元場面を分割して得られた複数の場面領域をそれぞれ表現するために、複数のサブマルチプレーン画像（ｓＭＰＩ）を含み、前記ＰＣＳデータは、画像パラメータおよび、テクスチャ属性成分と透明度属性成分のデータを含む、ことと、
前記ＰＣＳデータに基づいて前記ＰＭＰＩを符号化して、符号化された画像パラメータとアトラスデータを得ることと、を含む、マルチプレーン画像の符号化方法。

【請求項8】

前記ＰＣＳデータに基づいて前記ＰＭＰＩを符号化することは、前記ＰＭＰＩに含まれる複数のｓＭＰＩの各々に対して符号化処理を行うことを含む、
請求項７に記載のマルチプレーン画像の符号化方法。

【請求項9】

前記ＰＭＰＩのＰＣＳデータは、請求項５または６に記載のマルチプレーン画像のデータ処理方法に従って、前記ＰＭＰＩの生の記憶データから変換して得られるものである、
請求項７または８に記載のマルチプレーン画像の符号化方法。

【請求項10】

マルチプレーン画像の復号化方法であって、
パッチマルチプレーン画像（ＰＭＰＩ）の符号化ビットストリームを復号化して、前記ＰＭＰＩの画像パラメータおよび、テクスチャ属性成分と透明度属性成分のデータを取得することを含み、
前記ＰＭＰＩは、３次元場面を分割して得られた複数の場面領域をそれぞれ表現するために、複数のサブマルチプレーン画像（ｓＭＰＩ）を含み、前記符号化ビットストリームには、ＰＭＰＩの画像パラメータとアトラスデータが含まれる、マルチプレーン画像の復号化方法。

【請求項11】

前記ＰＭＰＩの画像パラメータは、
ＰＭＰＩフレームの解像度、
ＰＭＰＩフレーム内のｓＭＰＩの数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層数、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された層の分布規則、
ＰＭＰＩフレーム内のｓＭＰＩに対して統一に設定された終了深度、
Ｍ×Ｎのグリッドを用いて３次元場面を分割するときのＭ、Ｎの値、
ＰＭＰＩフレーム内の各ｓＭＰＩの開始深度、というパラメータのうちの１つまたは任意の組み合わせを含む、
請求項１０に記載のマルチプレーン画像の復号化方法。

【請求項12】

前記アトラスデータは、符号化のときに決定されたパッチのデータとパラメータを含み、前記データは、カラーデータと透明度データを含み、前記パラメータは、データが属する層の標識情報、データが属する層の開始深度、データが属するｓＭＰＩの標識情報、データが属するｓＭＰＩの開始深度およびデータが属するＰＭＰＩの標識情報のうちの１つまたは任意の組み合わせを含む、
請求項１０または１１に記載のマルチプレーン画像の復号化方法。

【請求項13】

プロセッサと、コンピュータプログラムが記憶されたメモリとを備える、マルチプレーン画像の符号化装置であって、前記プロセッサは、前記コンピュータプログラムを実行することにより、請求項７ないし９のいずれか一項に記載のマルチプレーン画像の符号化方法を実現する、マルチプレーン画像の符号化装置。

【請求項14】

プロセッサと、コンピュータプログラムが記憶されたメモリとを備える、マルチプレーン画像の復号化装置であって、前記プロセッサは、前記コンピュータプログラムを実行することにより、請求項１０ないし１２のいずれか一項に記載のマルチプレーン画像の復号化方法を実現する、マルチプレーン画像の復号化装置。

【請求項15】

プロセッサによって実行されるとき、前記プロセッサに、請求項１ないし１２のいずれか一項に記載の方法を実現させるコンピュータプログラムが記憶された、非一時的なコンピュータ可読記憶媒体。

【国際調査報告】