特許 7518071 ビュー合成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】ビュー合成

(51)【国際特許分類】

   H04N 19/597 20140101AFI20240709BHJP

【ＦＩ】

H04N19/597

【請求項の数】 14

(21)【出願番号】P 2021524431

(86)(22)【出願日】2019-10-22

(65)【公表番号】

(43)【公表日】2022-01-17

(86)【国際出願番号】 FR2019052509

(87)【国際公開番号】W WO2020094942

(87)【国際公開日】2020-05-14

【審査請求日】2022-08-26

(31)【優先権主張番号】1860351

(32)【優先日】2018-11-09

(33)【優先権主張国・地域又は機関】FR

(73)【特許権者】

【識別番号】591034154

【氏名又は名称】オランジュ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】パトリック・ボワソナード

(72)【発明者】

【氏名】ジョエル・ジュン

【審査官】間宮 嘉誉

(56)【参考文献】

【文献】特開平９－２３１３７０（ＪＰ，Ａ）

【文献】特開２０１５－８７８５１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０３０９９７４（ＵＳ，Ａ１）

【文献】国際公開第２０１２／０６３５４０（ＷＯ，Ａ１）

【文献】国際公開第２０１３／０３０４５２（ＷＯ，Ａ１）

【文献】特表２０１９－５０６０４１（ＪＰ，Ａ）

【文献】特開２０１６－８５６３７（ＪＰ，Ａ）

【文献】特開２０００－３４１７２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－ １／４０

Ｇ０６Ｔ ３／００－ ７／９０

Ｇ０６Ｔ １１／００－１１／４０

Ｇ０６Ｔ １５／００－１７／００

Ｇ０６Ｔ １７／１０－１７／３０

Ｇ０６Ｖ １０／００－２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １３／００－１９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

画像合成デバイスによって実施される、Ｎ（Ｎ≧２）個のビューの画像（Ｔ_１、Ｄ_１；Ｔ_２、Ｄ_２；．．．；Ｔ_Ｎ、Ｄ_Ｎ）に基づいて、ビューの画像（Ｉ_ｓｔｈ）を合成する方法であって、以下：
合成される前記ビューの前記画像に対応する位置に、前記Ｎ個のビューにそれぞれ関連付けられたＮ個のデプスマップを投影すること（Ｓ１）と、
投影の完了時に深度値（ｄｉ^ｖ _ｊ）が関連付けられた少なくとも１つの投影デプスマップ（Ｄ_ｊ ^ｖ）の少なくとも１つの特定の画素（ｐｉ_ｊ）に関して、
前記Ｎ個の投影デプスマップのうち、１つの投影デプスマップの、前記少なくとも１つの特定の画素と同一の位置を有する画素の最大深度値と、
前記Ｎ個の投影デプスマップのうち、１つの投影デプスマップの、前記少なくとも１つの特定の画素と同一の位置を有する別の画素の最小深度値と、に基づいて、
前記深度値の１つの信頼性情報を生成することと、
前記深度値に関連付けられた前記１つの信頼性情報（Ｆｉ_ｊ）が特定の値を有する場合に、前記少なくとも１つの特定の画素の前記深度値を修正すること（Ｓ２）であって、前記修正が、少なくとも１つの他の投影デプスマップにおける前記少なくとも１つの特定の画素の位置に対応する位置を有する画素の深度値を使用し、前記修正が、少なくとも１つの修正された投影デプスマップ

【数1】

を生成する、修正することと、
を含むことを特徴とする、方法。

【請求項2】

前記修正（Ｓ２）が、前記少なくとも１つの他の投影デプスマップにおける前記少なくとも１つの特定の画素に対応する位置を有する前記画素の前記深度値の重み付けを使用する、請求項１に記載の方法。

【請求項3】

ある特定のデプスマップの画素の信頼度が、前記画素の前記深度値の変動として計算され（Ｓ１２）、前記変動が、許容画素数で表した投影誤差に対応する、請求項２に記載の方法。

【請求項4】

画素の信頼度が、前記画素を含む前記デプスマップが関連付けられた前記ビューの前記画像の符号化パラメータ（ｐａｒ_ＣＯＭＰ）によって重み付けられる、請求項３に記載の方法。

【請求項5】

前記特定の画素の前記深度値の前記修正が、前記深度値を、前記深度値と、前記少なくとも１つの他の投影デプスマップにおける前記少なくとも１つの特定の画素の位置に対応する位置を有する前記画素の前記深度値とに基づいて計算された値に置き換えること（Ｓ２３）で構成され、これらの前記深度値のそれぞれが、それぞれの信頼度によって重み付けられる、請求項１～４の何れか一項に記載の方法。

【請求項6】

前記１つの信頼性情報が、以下：
１組の前記Ｎ個の投影された前記デプスマップにおいて、前記特定の画素の位置と全く同一の位置に関して、どの画素が最大深度値を有し、及びどの画素が最小深度値を有するかを決定すること（Ｓ１０１、Ｓ１０２）と、
前記最大深度値と前記最小深度値の差を計算すること（Ｓ１０３）と、
前記計算された差を閾値（ｄｅｐｔｈ_ＴＨ）と比較すること（Ｓ１０３）と、
１つの信頼性情報を生成すること（Ｓ１０４又はＳ１０５）であって、前記信頼性情報の値が、前記比較の結果に依存する、生成することと、
によって生成される、請求項１～５の何れか一項に記載の方法。

【請求項7】

前記１つの信頼性情報が、以下：
１組の前記Ｎ個の投影された前記デプスマップにおいて、前記特定の画素の位置と全く同一の位置に関して、どの画素が最大深度値を有し、及びどの画素が最小深度値を有するかを決定することと、
前記特定の画素の前記深度値と、前記決定された最小深度値の差を計算することと、
前記計算された差を閾値（ｄｅｐｔｈ_ＴＨ）と比較することと、
前記決定された最小深度値に対する１つの信頼性情報を生成することであって、前記信頼性情報の値が、前記比較の結果に依存する、生成することと、
前記決定された最大深度値と、前記特定の画素の前記深度値の別の差を計算することと、
前記計算された別の差を前記閾値（ｄｅｐｔｈ_ＴＨ）と比較することと、
前記決定された最大深度値に対する１つの信頼性情報を生成することであって、前記信頼性情報の値が、前記比較の結果に依存する、生成することと、
によって生成される、請求項１～５の何れか一項に記載の方法。

【請求項8】

前記閾値が、それぞれのデプスマップにおける前記特定の画素の位置に対応する位置を有する各画素の前記深度値の前記Ｎ個の変動の平均に等しい、請求項６又は７に記載の方法。

【請求項9】

前記閾値が、それぞれのデプスマップにおける前記特定の画素の位置に対応する位置を有する各画素の前記深度値の前記Ｎ個の分散の平均に等しい、請求項６又は７に記載の方法。

【請求項10】

Ｎ（Ｎ≧２）個のビューの画像（Ｔ_１、Ｄ_１；Ｔ_２、Ｄ_２；．．．；Ｔ_Ｎ、Ｄ_Ｎ）に基づいて、ビューの画像を合成するデバイス（ＳＹＮＴ）であって、前記合成デバイスが、以下：
合成される前記ビューの前記画像に対応する位置に、前記Ｎ個のビューにそれぞれ関連付けられたＮ個のデプスマップを投影することと、
投影の完了時に深度値が関連付けられた少なくとも１つの投影デプスマップ（Ｄ_ｊ ^ｖ）の少なくとも１つの特定の画素（ｐｉ_ｊ）に関して、
前記Ｎ個の投影デプスマップのうち、１つの投影デプスマップの、前記少なくとも１つの特定の画素と同一の位置を有する画素の最大深度値と、
前記Ｎ個の投影デプスマップのうち、１つの投影デプスマップの、前記少なくとも１つの特定の画素と同一の位置を有する別の画素の最小深度値と、に基づいて、
前記深度値の１つの信頼性情報を生成することと、
前記深度値に関連付けられた前記１つの信頼性情報（Ｆｉ_ｊ）が特定の値（Ｖ２）を有する場合に、前記少なくとも１つの特定の画素の前記深度値を修正することであって、前記修正が、少なくとも１つの他の投影デプスマップにおける前記少なくとも１つの特定の画素の位置に対応する位置を有する画素の深度値を使用し、前記修正が、少なくとも１つの修正された投影デプスマップ

【数2】

を生成する、修正することと、
を実施するように構成されたプロセッサを含むことを特徴とする、デバイス。

【請求項11】

Ｎ（Ｎ≧２）個の符号化されたビューの１組の画像を表すデータ信号を復号する方法であって、以下：
前記Ｎ個の符号化されたビューの前記画像を復号し、それによって、Ｎ個の復号されたビューの１組の画像を生成することと、
請求項１～９の何れか一項に記載の合成方法に従って、前記Ｎ個の復号されたビューの１組の画像に基づいて、ビューの画像を合成することと、
を含む、方法。

【請求項12】

Ｎ（Ｎ≧２）個の符号化されたビューの１組の画像を表すデータ信号を復号するデバイスであって、前記復号デバイスが、以下：
前記Ｎ個の符号化されたビューの前記画像を復号し、それによって、Ｎ個の復号されたビューの１組の画像を生成することと、
請求項１～９の何れか一項に記載の合成方法に従って、前記Ｎ個の復号されたビューの１組の画像に基づいて、ビューの画像を合成することと、
を実施するように構成されたプロセッサを含む、デバイス。

【請求項13】

コンピュータ上で実行されると、請求項１～９の何れか一項に記載の合成方法、又は請求項１１に記載の復号方法を前記コンピュータに実行させるためのプログラムコード命令を含む命令を含む、コンピュータプログラム。

【請求項14】

コンピュータによって可読であり、請求項１３に記載のコンピュータプログラムの命令を含む、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に、画像合成の分野に関する。

【0002】

本発明は、より詳細には、特に３６０度ビデオ、１８０度ビデオなどの没入型ビデオを生成するために捕捉された、３６０度、１８０度などにわたる複数の２Ｄ（２次元）ビューの画像に基づいた、捕捉されていない中間ビューポイントの合成に関する。

【0003】

本発明は、特に（但し、限定されない）、現在のＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇの略語）ビデオデコーダ、及びそれらのＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇの略語）拡張規格（３Ｄ－ＡＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなど）で実施されるビデオ復号に適用され得る。

【背景技術】

【0004】

没入型ビデオ（すなわち、その中では、見る者が、３Ｄ（３次元）シーンに没入した感覚を持つ）の文脈では、シーンは、従来、１組のカメラによって捕捉される。これらのカメラは、
－ある特定の角度のシーンを捕捉するために２Ｄタイプのもの、及び／又は
－カメラを中心に、３６０度、１８０度、又は他の角度にわたるシーンの全てを捕捉するために、３６０度、１８０度、又は他の角度のタイプのものでもよい。

【0005】

このような捕捉されたビューの画像は、従来、符号化され、その後、見る者の端末によって復号される。しかし、十分な品質のエクスペリエンス、したがって、視覚的な品質及び良好な没入度を提供するためには、捕捉されたビューを表示するだけでは十分ではない。中間ビューと呼ばれる多数のビューの画像が、ビューの復号画像に基づいて計算されなければならない。

【0006】

これらの中間ビューの画像は、ビュー「合成」アルゴリズムによって計算される。合成アルゴリズムは、Ｎ個のビュー（Ｎ≧２）の画像に基づいて、空間内のどこかに位置する中間ビューポイントの画像を合成することができる。Ｎ個の中のある特定のビューの画像は、テクスチャ成分と、このビューの画像を捕捉したカメラから、シーンの様々な要素を分離する距離を示すデプスマップとを含む。したがって、合成によって取得された中間ビューの画像は、同様に、Ｎ個のビューの画像のＮ個のテクスチャ成分に基づいて合成されたテクスチャ成分と、Ｎ個のビューの画像のＮ個のデプスマップに基づいて合成されたデプスマップとを含む。

【0007】

Ｎ個の中のある特定のビューに関して、デプスマップは、捕捉されるか、或いはＮ個のテクスチャ成分に基づいて計算される。しかし、どちらのケースでも、このようなデプスマップは、捕捉に関連し、計算に関連し、又はＮ個のビューの画像の圧縮に関連した多数の誤差を含み得る。

【0008】

したがって、このような誤差は、これらのＮ個のビューのそれぞれの画像に基づいて合成されたビューの画像に必然的に影響を与え、これは、現在の合成アルゴリズムの性能を著しく低下させる。

【0009】

上述のタイプの周知の合成アルゴリズムの１つは、例えば、ＶＳＲＳ（Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｒｅｆｅｒｅｎｃｅ Ｓｏｆｔｗａｒｅ）アルゴリズムである。このアルゴリズムは、単一の合成デプスマップを決定するために、生成されるビデオにおける合成されるビューの画像に対応する位置に対して、Ｎ個のデプスマップの投影を実施する。その後、Ｎ個のテクスチャ成分の各画素に関連付けられたテクスチャ情報を回復するために、このデプスマップが使用される。

【0010】

この投影の欠陥の１つは、一部の画素が、投影前のＮ個のデプスマップの画素の何れとも対応しないため、Ｎ個の投影されたデプスマップにおいて欠落しているという事実にある。この対応の欠如は、投影に使用されるＮ個のデプスマップに含まれる画素の精度の欠如に起因するか、或いは欠落している画素が、Ｎ個のデプスマップを含むＮ個のビューの画像において見えない領域に対応する（オクルージョン）ための場合がある。

【0011】

したがって、このような投影誤差は、これらのＮ個のビューのそれぞれの画像に基づいて合成されたビューの画像に必然的に影響を与える。

【0012】

デプスマップの初期計算で生じる誤差も、この情報の量子化、すなわち、このデプスマップが取り得る値の数、並びに適用される圧縮のレベルに左右され、デプスマップにおいて、２種類の欠陥：
－誤差が小さければ、ぼけ、
－これらの誤差が大きければ、全体的な欠陥、
として現れる。

【0013】

ビューの画像を捕捉したカメラが見ることができるものと、仮想カメラが見ることができるものとの差が大きくなるにつれて、合成欠陥は、ますます大きくなり、ぼけから全体的な欠陥へと遷移し、後者は、見る者の没入感覚に悪影響を与えないように、絶対に避けられなければならない。

【0014】

既知の発明の技術は、中間ビューの画像の合成において投影されることが意図された、利用可能なデプスマップが、誤差を特徴として備えているという事実を考慮していない。その結果、利用可能なデプスマップの投影の完了時に得られるデプスマップも、誤差を含む。

【発明の概要】

【発明が解決しようとする課題】

【0015】

本発明の目的の１つは、前述の先行技術の欠点を是正することである。

【課題を解決するための手段】

【0016】

そのために、本発明の１つの主題は、画像合成デバイスによって実施される、Ｎ（Ｎ≧２）個のビューの画像に基づいて、ビューの画像を合成する方法であって、この方法が、以下：
－合成されるビューの画像に対応する位置に、Ｎ個のビューにそれぞれ関連付けられたＮ個のデプスマップを投影すること、
を含むことを特徴とし、
このような方法が、以下：
－投影の完了時に深度値が関連付けられた少なくとも１つの投影デプスマップの少なくとも１つの特定の画素に関して、深度値に関連付けられた１つの信頼性情報が特定の値を有する場合に、前記少なくとも１つの特定の画素の深度値を修正することであって、この修正が、少なくとも１つの他の投影デプスマップにおける前記少なくとも１つの特定の画素の位置に対応する位置を有する画素の深度値を使用し、この修正が、少なくとも１つの修正された投影デプスマップを生成する、修正すること、
を含むことを特徴とする、方法に関する。

【0017】

投影デプスマップの少なくとも１つの１つ又は複数の投影画素に条件付き修正が適用される事実を考慮することにより、本発明は、前記少なくとも１つの投影デプスマップにおける誤差を補正することを有利に可能にする。このような投影デプスマップのある特定の画素に関して、これらの投影誤差は、
－複数のビットにわたる、それに基づいて投影デプスマップが取得された、ビューの画像のデプスマップの各画素の深度値のデジタル量子化中に導入された量子化ノイズ、
－ＨＥＶＣ、３Ｄ－ＨＥＶＣなどのタイプのコーダによるデプスマップの圧縮中に導入された誤差、
－実空間へのビューの画像のデプスマップの投影中に導入された誤差、
をもたらし得る。

【0018】

投影デプスマップの画素の全てが、強制的に修正されるわけではない。それらは、これらの画素のそれぞれに割り当てられた１つの信頼性情報が特定の値を有する場合に修正される。

【0019】

加えて、このような修正は、別の投影デプスマップにおける、ある特定の画素の位置に対応する位置を有する画素の深度値を使用し、このような深度値は、上記ある特定の画素の誤った深度値を補正するのに適していると考えられる。

【0020】

したがって、本発明により、ある特定の投影デプスマップは、先行技術の投影デプスマップよりもはるかに少ない誤差によって損なわれる。これは、複数のビューの複数の画像の少なくとも１つが、投影前及び／又は投影後に、誤差を含むデプスマップに関連付けられる場合に、これらの画像に基づいて合成されたビューの画像の品質に、非常に明白な改善をもたらす。

【0021】

本発明の一実施形態によれば、修正は、前記少なくとも１つの他の投影デプスマップにおける前記少なくとも１つの特定の画素に対応する位置を有する画素の深度値の重み付けを使用する。

【0022】

このような実施形態は、別の投影デプスマップにおける上記特定の画素の位置に対応する位置を有する画素に対して、より高い又はより低い重要度を割り当てることを可能にし、このことは、結果として、上記特定の画素の深度値の修正に対して、より大きな又はより小さな影響を持つ。

【0023】

本発明のある実施形態によれば、ある特定のデプスマップの画素の信頼度が、前記画素の深度値の変動として計算され、前記変動が、許容画素数で表した投影誤差に対応する。

【0024】

このような信頼度の計算は、それに関してデプスマップの投影が上記特定の投影デプスマップを生成した、ビューの画像を捕捉したカメラと、それに関してデプスマップの投影が上記他の投影デプスマップを生成した、前記少なくとも１つの他のビューの画像を捕捉したカメラとの間のポジショニング距離に加えて、前記少なくとも１つの他のデプスマップの実際の投影品質を考慮することを有利に可能にする。

【0025】

本発明の一実施形態によれば、画素の信頼度は、この画素を含むデプスマップが関連付けられたビューの画像の符号化パラメータによって重み付けられる。

【0026】

このような実施形態は、ある特定の画素の信頼度の計算を、例えば、前記画素を含むデプスマップが関連付けられたビューの画像の符号化中に使用された量子化ステップの値、又は符号化階層におけるこの画像の位置などの圧縮品質レベルを考慮することによって改良することを可能にする。

【0027】

本発明の一実施形態によれば、上記特定の画素の深度値の修正が、前記深度値を、前記深度値と、前記少なくとも１つの他の投影デプスマップにおける前記少なくとも１つの特定の画素の位置に対応する位置を有する画素の深度値とに基づいて計算された値に置き換えることで構成され、これらの前記深度値のそれぞれが、それぞれの信頼度によって重み付けられる。

【0028】

本発明の一実施形態によれば、１つの信頼性情報は、以下：
－１組のＮ個の投影デプスマップにおいて、上記特定の画素の位置と全く同一の位置に関して、どの画素が最大深度値を有し、及びどの画素が最小深度値を有するかを決定することと、
－最大深度値と最小深度値の差を計算することと、
－計算された差を閾値と比較することと、
－１つの信頼性情報を生成することであって、この信頼性情報の値が、比較の結果に依存する、生成することと、
によって生成される。

【0029】

本発明の一実施形態によれば、１つの信頼性情報は、ある特定のデプスマップのある特定の画素の値に適用され、この１つの信頼性情報を条件とする修正が、合成されたビューの画像において、ぼけタイプのアーチファクトのみをもたらすように、有利に計算される。

【0030】

本発明の一実施形態によれば、１つの信頼性情報は、以下：
－１組のＮ個の投影デプスマップにおいて、上記特定の画素の位置と全く同一の位置に関して、どの画素が最大深度値を有し、及びどの画素が最小深度値を有するかを決定することと、
－前記特定の画素の深度値と、決定された最小深度値の差を計算することと、
－計算された差を閾値と比較することと、
－決定された最小深度値に対する１つの信頼性情報を生成することであって、この信頼性情報の値が、比較の結果に依存する、生成することと、
－決定された最大深度値と、前記特定の画素の深度値の別の差を計算することと、
－他方の計算された差を前記閾値と比較することと、
－決定された最大深度値に対する１つの信頼性情報を生成することであって、この信頼性情報の値が、比較の結果に依存する、生成することと、
によって生成される。

【0031】

一実施形態によれば、ある特定の投影デプスマップのある特定の画素に関する１つの信頼性情報は、２つのレベル：
－上記投影デプスマップにおける上記特定の画素の深度値と、Ｎ個の投影デプスマップについて、上記特定の画素の位置に対応する位置を有するＮ個の画素に関して決定された最小深度値の差を考慮する第１のレベル、
－Ｎ個の投影デプスマップについて、上記特定の画素の位置に対応する位置を有するＮ個の画素に関して決定された最大深度値と、上記投影デプスマップにおける上記特定の画素の深度値の差を考慮する第２のレベル、
にわたり有利に量子化される。

【0032】

このようにして、ある投影デプスマップのある特定の画素に関して、この特定の画素に関連付けられた２つの信頼性情報に従って、Ｎ個の投影デプスマップにおける上記特定の画素の位置に対応する位置を有する画素の各深度値が、上記特定の画素の深度値を修正する２つの異なるやり方で選択され得る。したがって、上記特定の画素の深度値の修正は、より正確となる。

【0033】

本発明の一実施形態によれば、比較閾値は、それぞれのデプスマップにおける前記特定の画素の位置に対応する位置を有する各画素の深度値のＮ個の変動の平均に等しい。

【0034】

このような比較閾値を計算する実施形態は、合成されたビューの画像において、ぼけタイプのアーチファクトの減少を最適化することを可能にする。

【0035】

本発明の一実施形態によれば、比較閾値は、それぞれのデプスマップにおける前記特定の画素の位置に対応する位置を有する各画素の深度値のＮ個の分散の平均に等しい。

【0036】

このような比較閾値を計算する実施形態は、Ｎ個の投影デプスマップの固有の品質を考慮しながら、合成されたビューの画像において、ぼけタイプのアーチファクトの減少を最適化することを可能にする。

【0037】

様々な上述の実施形態又は実施の特徴は、個々に、又は互いに組み合わせて、上記で定義された合成方法に追加され得る。

【0038】

本発明は、Ｎ（Ｎ≧２）個のビューの画像に基づいて、ビューの画像を合成するデバイスにも関し、このような合成デバイスは、以下：
－合成されるビューの画像に対応する位置に、Ｎ個のビューにそれぞれ関連付けられたＮ個のデプスマップを投影することと、
－投影の完了時に深度値が関連付けられた少なくとも１つの投影デプスマップの少なくとも１つの特定の画素に関して、前記深度値に関連付けられた１つの信頼性情報が特定の値を有する場合に、前記少なくとも１つの特定の画素の深度値を修正することであって、前記修正が、少なくとも１つの他の投影デプスマップにおける前記少なくとも１つの特定の画素の位置に対応する位置を有する画素の深度値を使用し、この修正が、少なくとも１つの修正された投影デプスマップを生成する、修正することと、
を実施するように構成されたプロセッサを含むことを特徴とする。

【0039】

このような合成デバイスは、特に、上述の実施形態の何れか１つによる上述の合成方法を実施可能である。

【0040】

本発明は、Ｎ（Ｎ≧２）個の符号化されたビューの１組の画像を表すデータ信号を復号する方法であって、以下：
－Ｎ個の符号化されたビューの画像を復号し、それによって、Ｎ個の復号されたビューの１組の画像を生成することと、
－上述の実施形態の何れか１つによる上述の合成方法に従って、Ｎ個の復号されたビューの１組の画像に基づいて、ビューの画像を合成することと、
を含む、方法にも関する。

【0041】

本発明は、Ｎ（Ｎ≧２）個の符号化されたビューの１組の画像を表すデータ信号を復号するデバイスにも関し、このような復号デバイスは、以下：
－Ｎ個の符号化されたビューの画像を復号し、それによって、Ｎ個の復号されたビューの１組の画像を生成することと、
－上述の実施形態の何れか１つによる上述の合成方法に従って、Ｎ個の復号されたビューの前記１組の画像に基づいて、ビューの画像を合成することと、
を実施するように構成されたプロセッサを含む。

【0042】

本発明は、プロセッサによって実行されると、上記の特定の実施形態の何れか１つによる、合成方法又は本発明の合成方法を組み込む復号方法を実施するための命令を含むコンピュータプログラムにも関する。

【0043】

このプログラムは、任意のプログラミング言語を使用することができ、ソースコード、オブジェクトコード、又は部分的にコンパイルされた形、若しくはその他の所望の形などの、ソースコードとオブジェクトコードの中間のコードの形でもよい。

【0044】

本発明は、コンピュータによって可読であり、上述のようなコンピュータプログラムの命令を含む、記録媒体又は情報媒体も対象とする。

【0045】

記録媒体は、プログラムを保存可能な、どのようなエンティティ又はデバイスでもよい。例えば、媒体は、ＲＯＭ（例えば、ＣＤ－ＲＯＭ又は超小型電子回路ＲＯＭ）などのストレージ手段、或いは磁気記録手段（例えばＵＳＢキー又はハードディスク）を含み得る。

【0046】

また、記録媒体は、無線によって、又は他の手段によって、電気ケーブル又は光ケーブルを用いて伝送され得る電気信号又は光信号などの伝送可能媒体でもよい。本発明によるプログラムは、具体的には、インターネットタイプのネットワークからダウンロードされ得る。

【0047】

代替的に、記録媒体は、プログラムが組み込まれた集積回路でもよく、この回路は、上述の合成方法又は復号方法を実行するように、又は上述の合成方法又は復号方法の実行で使用されるように構成される。

【0048】

他の特徴及び利点は、単に例示的及び非限定的な例として提供され、添付の図面を参照して以下で説明される、いくつかの好適な実施形態を読めば、よりはっきりと明白になるだろう。

【図面の簡単な説明】

【0049】

【図1】本発明の一実施形態による合成方法によって行われる主なアクションを示す。

【図2】図１の合成方法で使用される例示的画像を示す。

【図3A】図１の合成方法で使用される信頼度の例示的計算を示す。

【図3B】図１の合成方法で使用される信頼度の例示的計算を示す。

【図3C】図１の合成方法で使用される信頼度の例示的計算を示す。

【図4】図１の合成方法で使用される１つの信頼性情報の例示的計算を示す。

【図5】図１の合成方法を実施する合成デバイスを示す。

【図6A】画像合成に使用される画像が事前に復号されている場合の図５の合成デバイスの例示的配置を示す。

【図6B】画像合成に使用される画像が事前に復号されている場合の図５の合成デバイスの例示的配置を示す。

【発明を実施するための形態】

【0050】

本発明は、複数のビューそれぞれの複数の画像に基づいて、中間ビューの画像を合成するスキームを主に提案し、各ビューは、現時点では、ある特定の位置又はある特定の視野角による３Ｄシーンを表す。

【0051】

複数の画像の中のビューの画像ごとに、従来、ビューの画像のデプスマップが、合成されるビューの画像に対応する位置に投影される。

【0052】

本発明は、ある特定の投影デプスマップにおける各特定の画素の深度値の条件付き修正の適用によって特徴付けられる。このような修正は、
－それに基づいて、上記のある特定の投影デプスマップが取得された、ビューの画像のデプスマップの深度値の計算中に導入された誤差、
－ビューの画像のデータの圧縮中に導入された誤差、
－実空間へのビューの画像のデプスマップの投影中に導入された誤差、
に起因し得る、深度値の誤差を補償することを可能にする。

【0053】

６．例示的合成スキームの実施
複数のビューの画像に基づいて、ビューの画像を合成する方法を以下に説明し、このような方法は、とりわけ、現在のビデオデコーダＡＶＣ及びＨＥＶＣ、並びにそれらの拡張規格（ＭＶＣ、３Ｄ－ＡＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなど）の何れのタイプにおいても、又はそれと共に使用することができる。

【0054】

図１を参照して、このような合成方法は、それぞれ１≦ｊ≦Ｎ及びＮ≧２である、Ｎ個のビューのＮ個の画像Ｉ_１、Ｉ_２、．．．、Ｉ_ｊ、．．．、Ｉ_Ｎを使用し、複数のビューは、それぞれ複数の視野角又は複数の位置／方位に応じた３Ｄシーンを表す。従来、
－画像Ｉ_１は、テクスチャ成分Ｔ_１及びデプスマップＤ_１を含み、
－画像Ｉ_２は、テクスチャ成分Ｔ_２及びデプスマップＤ_２を含み、
－．．．、
－画像Ｉ_ｊは、テクスチャ成分Ｔ_ｊ及びデプスマップＤ_ｊを含み、
－．．．、
－画像Ｉ_Ｎは、テクスチャ成分Ｔ_Ｎ及びデプスマップＤ_Ｎを含む。

【0055】

ある特定の画像Ｉ_ｊに関して、図２に示すように、
－そのテクスチャ成分Ｔ_ｊは、対応するテクスチャ値ｔ１_ｊ、ｔ２_ｊ、．．．、ｔＱ_ｊがそれぞれ割り当てられた、Ｑ（Ｑ≧１）個の点ｐ１_ｊ、ｐ２_ｊ、．．．、ｐＱ_ｊを含み、
－そのデプスマップＤ_ｊは、対応する深度値ｄ１_ｊ、ｄ２_ｊ、．．．、ｄＱ_ｊがそれぞれ割り当てられた、Ｑ個の点ｐ１_ｊ、ｐ２_ｊ、．．．、ｐＱ_ｊを含む。

【0056】

図１のＳ１では、デプスマップＤ_１、Ｄ２、．．．、Ｄ_ｊ、．．．、Ｄ_Ｎが、合成されるビューの画像Ｉ_ｓｔｈに対応する位置に投影される。

【0057】

このような投影は、例えばＤＩＢＲ（Ｄｅｐｔｈ Ｉｍａｇｅ Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇの略語）タイプの投影アルゴリズムによって実施される。

【0058】

このような投影の完了時に、Ｎ個の投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、．．．、Ｄ_ｊ ^ｖ、．．．、Ｄ_Ｎ ^ｖが取得される。Ｎ個の中のある特定のデプスマップＤ_ｊは、対応する深度値ｄ１^ｖ _ｊ、ｄ２^ｖ _ｊ、．．．、ｄＱ^ｖ _ｊがそれぞれ割り当てられた、Ｑ個の点ｐ１_ｊ、ｐ２_ｊ、．．．、ｐＱ_ｊを含む。

【0059】

このような深度値は、特に、
－深度値ｄ１_ｊ、ｄ２_ｊ、．．．、ｄＱ_ｊのそれぞれの複数のビットにわたるデジタル量子化中に導入される量子化ノイズ、及び／又は
－デプスマップＤ_ｊが、ＨＥＶＣ、３Ｄ－ＨＥＶＣなどのタイプのコーダによる圧縮を受けた場合に、この圧縮中に導入された誤差、及び／又は
－実空間へのデプスマップＤ_ｊの投影中に導入された誤差、
を前提として、系統的に正しくない。

【0060】

それ自体が知られているように、Ｎ個の投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、．．．、Ｄ_ｊ ^ｖ、．．．、Ｄ_Ｎ ^ｖは、Ｎ個の属性マップＡ_１、Ａ_２、．．．、Ａ_ｊ、．．．、Ａ_Ｎにそれぞれ関連付けられる。

【0061】

いかなる投影デプスマップＤ_ｊ ^ｖ（１≦ｊ≦Ｎ）に関しても、属性マップは、デプスマップＤ_ｊの各点／画素ｐ１_ｊ～ｐＱ_ｊについて、その投影が有効か否かを示す。

【0062】

例えば、デプスマップＤ_ｊの点ｐ１_ｊの場合、
－属性値Ａ１_ｊ＝Ｖ１が、点ｐ１_ｊに深度値が割り当てられていないことを示すために、投影デプスマップＤ_ｊ ^ｖの点ｐ１_ｊに関連付けられ、
－属性値Ａ１_ｊ＝Ｖ２が、点ｐ１_ｊに深度値が割り当てられたことを示すために、投影デプスマップＤ_ｊ ^ｖの点ｐ１_ｊに関連付けられる。

【0063】

投影デプスマップの点／画素に帰する深度値の欠如は、このデプスマップの投影Ｓ１中に生じる場合があり、その完了時に、投影に由来する点に深度値が割り当てられないこともあり得る。関連付けられた深度値を持たないこの点は、「穴」領域を構成する。

【0064】

この例では、属性マップＡ_１、Ａ_２、．．．、Ａ_ｊ、．．．、Ａ_Ｎの各属性値は、二進数である。このため、Ｖ１＝０及びＶ２＝１、又はその逆である。別の例によれば、属性マップＡ_１、Ａ_２、．．．、Ａ_ｊ、．．．、Ａ_Ｎの値は、［０，＋∞］の範囲内の整数値である。

【0065】

図１のＳ２では、少なくとも１つの特定の投影デプスマップＤ_ｊ ^ｖに関して、深度値ｄ１^ｖ _ｊ、ｄ２^ｖ _ｊ、．．．、ｄＱ^ｖ _ｊに対して、条件付き修正が適用される。

【0066】

このような条件付き修正は、以下のように行われる。

【0067】

Ｓ２１において、投影デプスマップＤ_ｊ ^ｖのある特定の画素ｐｉ_ｊ（１≦ｉ≦Ｑ）に関して、画素ｐｉ_ｊに関連付けられた属性Ａｉ_ｊが、第１の値Ｖ１であるか、或いは第２の値Ｖ２であるかが決定される。

【0068】

属性Ａｉ_ｊが、Ｖ１の値を有する場合、条件付き修正方法は、実施されず、投影デプスマップＤ_ｊ ^ｖの以下の画素が考慮される。

【0069】

属性Ａｉ_ｊが、Ｖ２の値を有する場合、Ｓ２２において、画素ｐｉ_ｊに関連付けられた１つの信頼性情報Ｆｉ_ｊが、第１の値Ｖ３であるか、或いは第２の値Ｖ４であるかが決定される。

【0070】

ある包括的でない例示的な実施形態によれば、Ｖ３＝０及びＶ４＝１、又はその逆である。

【0071】

１つの信頼性情報Ｆｉ_ｊが、第１の値Ｖ３であれば、投影デプスマップＤ_ｊ ^ｖの画素ｐｉ_ｊの深度値ｄｉ^ｖ _ｊは、修正されない。

【0072】

１つの信頼性情報Ｆｉ_ｊが、第２の値Ｖ４であれば、投影デプスマップＤ_ｊ ^ｖの画素ｐｉ_ｊの深度値ｄｉ^ｖ _ｊは、Ｓ２３において修正される。本発明によれば、深度値ｄｉ^ｖ _ｊは、少なくとも１つの他の投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、．．．、Ｄ_Ｎ ^ｖにおける画素ｐｉ_ｊの位置と同じ位置にある画素の深度値に応じて修正される。したがって、深度値は、
－投影デプスマップＤ_１ ^ｖの画素ｐｉ_１に関連付けられた深度値ｄｉ^ｖ _１、及び／又は
－深度値ｄｉ^ｖ _２が存在する場合（Ａｉ_２＝Ｖ２）、投影デプスマップＤ_２ ^ｖの画素ｐｉ_２に関連付けられた深度値ｄｉ^ｖ _２、及び／又は
－．．．、
－深度値ｄｉ^ｖ _Ｎが存在する場合（Ａｉ_Ｎ＝Ｖ２）、投影デプスマップＤ_Ｎ ^ｖの画素ｐｉ_Ｎに関連付けられた深度値ｄｉ^ｖ _Ｎ、
に応じて修正される。

【0073】

本発明によれば、修正Ｓ２３は、深度値ｄ１^ｖ _ｊ、ｄ２^ｖ _ｊ、．．．、ｄＱ^ｖ _ｊの重み付けを使用する。したがって、
－深度値ｄｉ^ｖ _１は、係数Ｃｉ_１によって重み付けられ、
－深度値ｄｉ^ｖ _２は、係数Ｃｉ_２によって重み付けられ、
－．．．、
深度値ｄｉ^ｖ _Ｎは、係数Ｃｉ_Ｎによって重み付けられる。

【0074】

本明細書において、以下にさらに説明されるように、
－係数Ｃｉ_１は、投影デプスマップＤ^ｖ _１の画素ｐｉ_１の深度値ｄｉ^ｖ _１に帰した信頼度に対応し、
－係数Ｃｉ_２は、投影デプスマップＤ^ｖ _２の画素ｐｉ_２の深度値ｄｉ^ｖ _２に帰した信頼度に対応し、
－．．．、
－係数Ｃｉ_Ｎは、投影デプスマップＤ^ｖ _Ｎの画素ｐｉ_Ｎの深度値ｄｉ^ｖ _Ｎに帰した信頼度に対応する。

【0075】

もちろん、信頼度は、ある特定の投影デプスマップの上記特定の画素が、まだ投影されていない、対応するデプスマップにおいて位置が同じ画素の深度値に対応する深度値を有する場合にのみ帰する。

【0076】

修正Ｓ２３の完了時に、以下の関係に従って、投影デプスマップＤ_ｊ ^ｖの画素ｐｉ_ｊの修正深度値

【数1】

が取得される：
Ａｉ_１＝Ｖ２、Ａｉ_２＝Ｖ２、．．．、Ａｉ_Ｎ＝Ｖ２という条件で、

【数2】

【0077】

上記の条件付き修正Ｓ２は、投影デプスマップＤｊ^ｖの画素ｐ１_ｊ、ｐ２_ｊ、．．．、ｐＱ_ｊのそれぞれの深度値に適用され、投影デプスマップＤ_１ ^ｖ～Ｄ_Ｎ ^ｖの全てに対して繰り返される。

【0078】

条件付き修正Ｓ２の完了時に、以下が取得される：
－少なくとも１つの修正された投影デプスマップ

【数3】

、
－未修正の投影デプスマップＤ_１ ^ｖ又は修正された投影デプスマップ

【数4】

、
－未修正の投影デプスマップＤ_２ ^ｖ又は修正された投影デプスマップ

【数5】

、
－．．．、
－未修正の投影デプスマップＤ_Ｎ ^ｖ又は修正された投影デプスマップ

【数6】

。

【0079】

それ自体が知られているように、Ｓ３において、デプスマップＤ_１ ^ｖ又は

【数7】

、Ｄ_２ ^ｖ又は

【数8】

Ｄ_Ｎ ^ｖ又は

【数9】

が、例えば、テクスチャ後方ワーピングアルゴリズムを用いて、テクスチャ成分Ｔ_１、Ｔ_２、．．．、Ｔ_Ｎでそれぞれ補間されることにより、合成されたビューの画像Ｉ_ｓｔｈを提供する。

【0080】

この画像合成方法は、符号化されていない画像、符号化された画像、又は復号された画像Ｉ_１～Ｉ_Ｎに等しく適用される。画像Ｉ_１～Ｉ_Ｎが、復号されている場合、合成方法は、復号方法の一部を成してもよく、デコーダによって実施されるか、或いはデコーダの出力に配置された合成デバイスにおいて実施されてもよい。

【0081】

図３Ａ～３Ｂを参照して、上述の信頼度の計算の一実施形態をこれより説明する。

【0082】

デプスマップＤ_１～Ｄ_Ｎの全てが考慮される。

【0083】

Ｓ１０では、デプスマップ、例えばデプスマップＤ_ｊが選択される。

【0084】

Ｓ１１では、デプスマップＤ_ｊの画素ｐｉ_ｊが選択される。

【0085】

Ｓ１２では、画素ｐｉ_ｊが、デプスマップＤ_ｊの画素ｐｉ_ｊの位置と同一の位置において、投影デプスマップＤ_ｊ ^ｖ上に投影される。投影Ｓ１２中に、画素ｐｉ_ｊの深度値ｄｉ_ｊの変動が、
Δｄｉ_ｊ＝ｄｉ_ｊｍａｘ－ｄｉ_ｊ＜Ｅ_ｐｒｏｊ
となる（式中、Ｅ_ｐｒｏｊは、投影デプスマップＤ_ｊ ^ｖ上の画素ｐｉ_ｊの許容投影誤差である）ように、最大深度値ｄｉ_ｊｍａｘに達するまで、実施される。

【0086】

ある例示的な実施形態によれば、Ｅ_ｐｒｏｊは、画素数での画素ｐｉ_ｊの投影偏差（例えば、３つの画素）である。

【0087】

Ｓ１３では、信頼度Ｃｉ_ｊが、関係：
Ｃｉ_ｊ＝ｇ（Δｄｉ_ｊ）
に従って計算され、式中、ｇは、例えば、べき関数又は指数関数などの所定の数学関数を表す。

【0088】

したがって、Δｄｉ_ｊへの関数の適用によって、合成されるビューに最も近いデプスマップに対して、より高い重要度を与えることが可能となる。

【0089】

動作Ｓ１１～Ｓ１３は、選択されたデプスマップＤ_ｊの画素の全て対して、各信頼度Ｃ１_ｊ、Ｃ２_ｊ、．．．、ＣＱ_ｊがこれらの画素のそれぞれに帰するように、適用される。

【0090】

これらの動作の完了時に、図３Ｃを参照して、信頼度のマップＣｉ_ｊが、投影デプスマップＤ_ｊ ^ｖに対して帰する。

【0091】

次いで、動作Ｓ１０～Ｓ１３の全てが、デプスマップＤ_１～Ｄ_Ｎのそれぞれに適用される。

【0092】

ある実施形態によれば、画像Ｉ_１～Ｉ_Ｎが、符号化されている場合、信頼度Ｃｉ_ｊの計算も、画像Ｉ_ｊに関連付けられた少なくとも１つの符号化パラメータｐａｒ_ＣＯＭＰに依存する。このような符号化パラメータは、例えば、画像Ｉ_ｊの符号化中に使用された量子化ステップの値、又は符号化階層におけるこの画像の位置である。

【0093】

より一般的に、信頼度Ｃｉ_ｊの計算は、テクスチャは別として、画像Ｉ_ｊのパラメータ（固有パラメータ及び外因性パラメータ）の全て、つまり、
－それぞれがＮ個の画像Ｉ_１～Ｉ_Ｎの中からある特定の画像を捕捉する２つのカメラ間のポジショニング距離だけでなく、投影の実際の品質、
－デジタル量子化レベル：８ビットに量子化されたデプスマップ（したがって、ダイナミックレンジの４分の１のみが使用される）は、３つの画素分の変位を与える深度の変動Δｄｉ_ｊが小さくなるため、３２ビットに量子化された、このデプスマップの信頼度よりも低い信頼度を有する、
－画像Ｉ_ｊの１つ又は複数の圧縮パラメータ（量子化ステップ、時間的構造）、
－デプスマップＤ_ｊの固有品質、すなわち、デプスマップＤ_ｊの各点／画素の深度値と、３Ｄシーンにおける各対応点の実際の深度値との間の小さな偏差、
－合成される画像Ｉ_ｓｔｈに対する画像Ｉ_ｊの位置に結び付けられたデプスマップＤ_ｊに与えられた重要度、
を考慮し得る。

【0094】

図４を参照して、上述の１つの信頼性情報の計算の一実施形態をこれより説明する。

【0095】

投影デプスマップＤ_１ ^ｖ～Ｄ_Ｎ ^ｖの全てが考慮される。

【0096】

Ｓ１００では、投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、．．．、Ｄ_ｊ ^ｖ、．．．、Ｄ_Ｎ ^ｖのそれぞれにおいて同じ位置（左から１列目の第１の画素）に位置する画素ｐ１_１、ｐ１_２、．．．、ｐ１_Ｎが選択される。

【0097】

Ｓ１０１では、画素ｐ１_１、ｐ１_２、．．．、ｐ１_Ｎの中から、どの画素が最大深度値ｄ１^ｖ _ｍａｘを有するかが決定される。

【0098】

Ｓ１０２では、画素ｐ１_１、ｐ１_２、．．．、ｐ１_Ｎの中から、どの画素が最小深度値ｄ１^ｖ _ｍｉｎを有するかが決定される。

【0099】

動作Ｓ１０１及びＳ１０２の間に、投影デプスマップにおいて、ある特定の画素に関連する深度値が見つからなければ、この投影デプスマップは、考慮されない。既に上記で説明したように、深度値の欠如は、各デプスマップＤ_１～Ｄ_Ｎの投影Ｓ１（図１）中に生じ得る（投影の完了時に、合成された画像Ｉ_ｓｔｈの画素の全ては、必ずしも深度値に関連付けられない）。関連付けられた深度値を持たないこれらの画素は、「穴」領域を構成する。

【0100】

Ｓ１０３では、差Δｄ１^ｖ＝ｄ１^ｖ _ｍａｘ－ｄ１^ｖ _ｍｉｎが、所定の閾値ｄｅｐｔｈ_ＴＨと比較される。

【0101】

Δｄ１^ｖ＝ｄ１^ｖ _ｍａｘ－ｄ１^ｖ _ｍｉｎ≧ｄｅｐｔｈ_ＴＨである場合、Ｓ１０４において、１つの信頼性情報Ｆ１が、それぞれ投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、．．．、Ｄ_ｊ ^ｖ、．．．、Ｄ_Ｎ ^ｖにおいて同じ位置に投影された画素ｐ１_１、ｐ１_２、．．．、ｐ１_Ｎの深度値が信頼できないことを示すために、第１の値Ｖ３に設定される（例えば、Ｖ３＝０となるように）。

【0102】

別形態として、比較Ｓ１０４は、Δｄ１^ｖ＝ｄ１^ｖ _ｍａｘ－ｄ１^ｖ _ｍｉｎ＞ｄｅｐｔｈ_ＴＨである。

【0103】

Δｄ１^ｖ＝ｄ１^ｖ _ｍａｘ－ｄ１^ｖ _ｍｉｎ＜ｄｅｐｔｈ_ＴＨである場合、Ｓ１０５において、１つの信頼性情報Ｆ１が、それぞれ投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、．．．、Ｄ_ｊ ^ｖ、．．．、Ｄ_Ｎ ^ｖにおいて同じ位置に投影された画素ｐ１_１、ｐ１_２、．．．、ｐ１_Ｎの深度値が信頼できることを示すために、第２の値Ｖ４に設定される（例えば、Ｖ４＝１となるように）。

【0104】

別形態として、比較Ｓ１０５は、Δｄ１^ｖ＝ｄ１^ｖ _ｍａｘ－ｄ１^ｖ _ｍｉｎ≦ｄｅｐｔｈ_ＴＨである。

【0105】

閾値ｄｅｐｔｈ_ＴＨは、３Ｄシーンの前景と背景を区別するための閾値である。閾値ｄｅｐｔｈ_ＴＨは、例えば、画素ｐ１_１の信頼度Ｃ１_１、画素ｐ１_２の信頼度Ｃ１_２、．．．、画素ｐ１_ｊの信頼度Ｃ１_ｊ、．．．、画素ｐ１_Ｎの信頼度Ｃ１_Ｎを生成するためにＳ１２（図３Ａ）で計算された深度値の変動Δｄ１_１、Δｄ１_２、．．．、Δｄ１_ｊ、．．．、Δｄ１_Ｎに依存する。

【0106】

ある特定の例によれば、

【数10】

である。

【0107】

別の特定の例によれば、

【数11】

であり、

【数12】

で、（ｘ，ｙ）は、各デプスマップの画素／点の座標である。

【0108】

動作Ｓ１００～Ｓ１０３及びＳ１０４又はＳ１０５は、投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、．．．、Ｄ_ｊ ^ｖ、．．．、Ｄ_Ｎ ^ｖのそれぞれにおいて同じ位置（例えば、左から１列目の第２の画素）に位置する画素ｐ２_１、ｐ２_２、．．．、ｐ２_Ｎなどに対して、投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、．．．、Ｄ_ｊ ^ｖ、．．．、Ｄ_Ｎ ^ｖのそれぞれにおいて同じ位置（例えば、左から最後の列の最後の画素）に位置する画素ｐＱ_１、ｐＱ_２、．．．、ｐＱ_Ｎに至るまで、繰り返される。

【0109】

７．合成方法の具体的な実施形態
上記の合成方法の３つの実施形態をこれより説明する。

【0110】

これらの３つの実施形態によれば、合成されたビューの画像Ｉ_ｓｔｈは、４つのビューそれぞれの画像Ｉ_１、Ｉ_２、Ｉ_３、Ｉ_４に基づいて取得される。

【0111】

図１を参照して、各画像Ｉ_１、Ｉ_２、Ｉ_３、Ｉ_４それぞれのデプスマップＤ_１、Ｄ_２、Ｄ_３、Ｄ_４が、Ｓ１において、合成されるビューの画像Ｉ_ｓｔｈに対応する位置に投影される。この場合、４つの投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、Ｄ_３ ^ｖ、Ｄ_４ ^ｖが取得される。

【0112】

以下は、入力として合成方法に提供される：
－Ｓ１で取得された４つの投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、Ｄ_３ ^ｖ、Ｄ_４ ^ｖ、
－Ｓ１で取得された対応する４つの属性マップＡ_１、Ａ_２、Ａ_３、Ａ_４、
－所定の閾値ｄｅｐｔｈ_ＴＨ。

【0113】

７．１ 第１の実施形態
図１の条件付き修正動作Ｓ２を実施するために、本方法は、図３Ａに示すように、投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、Ｄ_３ ^ｖ、Ｄ_４ ^ｖそれぞれの各画素において、それぞれの信頼度の計算を行う。

【0114】

デプスマップＤ_１～Ｄ_４の全てが考慮される。

【0115】

Ｓ１０では、デプスマップ、例えばデプスマップＤ_１が選択される。

【0116】

Ｓ１１では、デプスマップＤ_１の画素ｐｉ_１が選択される。

【0117】

Ｓ１２では、画素ｐｉ_１が、デプスマップＤ_１の画素ｐｉ_１の位置と同一の位置において、投影デプスマップＤ_１ ^ｖ上に投影される。投影Ｓ１２中に、画素ｐｉ_１の深度値ｄｉ_１の変動が、
Δｄｉ_１＝ｄｉ_１ｍａｘ－ｄｉ_１≦Ｅ_ｐｒｏｊ
となる（式中、Ｅ_ｐｒｏｊは、投影デプスマップＤ_１ ^ｖ上の画素ｐｉ_１の許容投影誤差である）ように、最大深度値ｄｉ_１ｍａｘに達するまで、実施される。

【0118】

ある好適な例示的実施形態によれば、Ｅ_ｐｒｏｊは、画素数での画素ｐｉ_１の投影偏差（例えば、３つの画素）である。最大で３つの画素の誤差により、ぼけタイプのアーチファクトが主にもたらされることが考慮される。

【0119】

Δｄｉ_１の計算は、反復的である。そのため、深度値ｄｉ_１は、最大で深度値ｄｉ_１ｍａｘ（この値に関して、３つの画素の投影偏差Ｅ_ｐｒｏｊが取得される）まで増加する。

【0120】

Ｓ１３では、信頼度Ｃｉ_１が、関係Ｃｉ_１＝（Δｄｉ_１）^２に従って計算され、それによって、合成されるビューの画像Ｉ_ｓｔｈに最も近いビューの画像に対して、より高い重要度が与えられる。

【0121】

動作Ｓ１１～Ｓ１３は、選択されたデプスマップＤ_１の画素の全て対して、各信頼度Ｃ１_１、Ｃ２_１、．．．、ＣＱ_１がこれらの画素のそれぞれに帰するように、適用される。

【0122】

次いで、動作Ｓ１０～Ｓ１３の全てが、デプスマップＤ_２、Ｄ_３、Ｄ_４のそれぞれに適用される。

【0123】

このような信頼度の計算は、（テクスチャは別として）ビューの画像のパラメータの全て（すなわち、画像Ｉ_１～Ｉ_４の中から２つの画像を捕捉した２つのカメラ間のポジショニング距離だけでなく、デプスマップの投影の実際の品質、この画像の量子化レベル）を考慮に入れる。

【0124】

また、このような信頼度の計算は、例えば量子化ステップのような、ビデオコーダからのデータを入力として取り込み得る。

【0125】

図１の条件付き修正動作Ｓ２を実施するために、本方法は、図４に示すように、投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、Ｄ_３ ^ｖ、Ｄ_４ ^ｖそれぞれの各画素において、１つの信頼性情報の計算も行う。

【0126】

投影デプスマップＤ_１ ^ｖ～Ｄ_４ ^ｖの全てが考慮される。

【0127】

Ｓ１００では、投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、Ｄ_３ ^ｖ、Ｄ_４ ^ｖのそれぞれにおいて同じ位置（左から１列目の第１の画素）に位置する画素ｐ１_１、ｐ１_２、．．．、ｐ１_Ｎが選択される。

【0128】

Ｓ１０１では、４つの画素ｐ１_１、ｐ１_２、ｐ１_３、ｐ１_４の中から、どの画素が最大深度値ｄ１^ｖ _ｍａｘを有するかが決定される。

【0129】

第１の実施形態によれば、
ｄ１^ｖ _ｍａｘ＝Ｍａｘ（（Ａ１_１，Ｄ_１ ^ｖ），（Ａ１_２，Ｄ_２ ^ｖ），（Ａ１_３，Ｄ_３ ^ｖ），（Ａ１_４，Ｄ_４ ^ｖ））である。

【0130】

Ｓ１０２では、４つの画素ｐ１_１、ｐ１_２、ｐ１_３、ｐ１_４の中から、どの画素が最小深度値ｄ１^ｖ _ｍｉｎを有するかが決定される。

【0131】

第１の実施形態によれば、
ｄ１^ｖ _ｍｉｎ＝Ｍｉｎ（（Ａ１_１，Ｄ_１ ^ｖ），（Ａ１_２，Ｄ_２ ^ｖ），（Ａ１_３，Ｄ_３ ^ｖ），（Ａ１_４，Ｄ_４ ^ｖ））である。

【0132】

動作Ｓ１０１及びＳ１０２では、Ａ１_１は、投影デプスマップＤ_１ ^ｖにおける画素ｐ１_１の投影に関係した属性であり、Ａ１_２は、投影デプスマップＤ_２ ^ｖにおける画素ｐ１_２の投影に関係した属性であり、Ａ１_３は、投影デプスマップＤ_３ ^ｖにおける画素ｐ１_３の投影に関係した属性であり、Ａ１_４は、投影デプスマップＤ_４ ^ｖにおける画素ｐ１_４の投影に関係した属性であり、
－Ａ１_１＝Ｖ１又はＡ１_１＝Ｖ２、及び／又は
－Ａ１_２＝Ｖ１又はＡ１_２＝Ｖ２、及び／又は
－Ａ１_３＝Ｖ１又はＡ１_３＝Ｖ２、及び／又は
－Ａ１_４＝Ｖ１又はＡ１_４＝Ｖ２、
を考慮することによって、Ａ１_１＝Ｖ１（又はＡ１_２＝Ｖ１、Ａ１_３＝Ｖ１、Ａ１_４＝Ｖ１）の場合に、画素ｐ１_１（又はｐ１_２、ｐ１_３、ｐ１_４）の深度値が、投影デプスマップＤ_１ ^ｖ（又はＤ_２ ^ｖ、Ｄ_３ ^ｖ、Ｄ_４ ^ｖ）上に投影されておらず、したがって、この値が、最大深度値ｄ１^ｖ _ｍａｘ又は最小深度値ｄ１^ｖ _ｍｉｎの計算において生じていないことが分かる。

【0133】

Ｓ１０３では、差Δｄ１^ｖ＝ｄ１^ｖ _ｍａｘ－ｄ１^ｖ _ｍｉｎが、

【数13】

である、以下の関係：
Δｄ１^ｖ＝ｄ１^ｖ _ｍａｘ－ｄ１^ｖ _ｍｉｎ＜ｄｅｐｔｈ_ＴＨ
に従って、所定の閾値ｄｅｐｔｈ_ＴＨと比較される。

【0134】

Δｄ１^ｖ＝ｄ１^ｖ _ｍａｘ－ｄ１^ｖ _ｍｉｎ≧ｄｅｐｔｈ_ＴＨである場合、Ｓ１０４において、１つの信頼性情報Ｆ_１が、それぞれ４つの投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、Ｄ_３ ^ｖ、Ｄ_４ ^ｖにおいて同じ位置に投影された画素ｐ１_１、ｐ１_２、ｐ１_３、ｐ１_４の深度値が信頼できないことを示すために、第１の値Ｖ３に設定される（例えば、Ｖ３＝０となるように）。

【0135】

Δｄ１^ｖ＝ｄ１^ｖ _ｍａｘ－ｄ１^ｖ _ｍｉｎ＜ｄｅｐｔｈ_ＴＨである場合、Ｓ１０５において、１つの信頼性情報Ｆ_１が、それぞれ４つの投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、Ｄ_３ ^ｖ、Ｄ_４ ^ｖにおいて同じ位置に投影された画素ｐ１_１、ｐ１_２、ｐ１_３、ｐ１_４の深度値が信頼できることを示すために、第２の値Ｖ４に設定される（例えば、Ｖ４＝１となるように）。

【0136】

動作Ｓ１００～Ｓ１０３及びＳ１０４又はＳ１０５は、投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、Ｄ_３ ^ｖ、Ｄ_４ ^ｖのそれぞれにおいて同じ位置（例えば、左から１列目の第２の画素）に位置する画素ｐ２_１、ｐ２_２、．．．、ｐ２_Ｎなどに対して、投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、Ｄ_３ ^ｖ、Ｄ_４ ^ｖのそれぞれにおいて同じ位置（例えば、左から最後の列の最後の画素）に位置する画素ｐＱ_１、ｐＱ_２、．．．、ｐＱ_Ｎに至るまで、繰り返される。

【0137】

図１を参照して、少なくとも１つの特定の投影デプスマップＤ_ｊ ^ｖに関して、条件付き修正Ｓ２が、深度値ｄ１^ｖ _ｊ、ｄ２^ｖ _ｊ、．．．、ｄＱ^ｖ _ｊに適用される。

【0138】

このような条件付き修正Ｓ２は、以下のように行われる。

【0139】

Ｓ２１において、投影デプスマップＤ_１ ^ｖのある特定の画素ｐｉ_１（１≦ｉ≦Ｑ）に関して、画素ｐｉ_１に関連付けられた属性Ａｉ_１が、第１の値Ｖ１であるか、或いは第２の値Ｖ２であるかが決定される。

【0140】

属性Ａｉ_１がＶ１の値を有する場合、条件付き修正方法は、実施されず、投影デプスマップＤ_１ ^ｖの以下の画素が考慮される。

【0141】

属性Ａｉ_１がＶ２の値を有する場合、Ｓ２２において、画素ｐｉ_１に関連付けられた１つの信頼性情報Ｆｉ_１が、第１の値Ｖ３であるか、或いは第２の値Ｖ４であるかが決定される。

【0142】

Ｆｉ_１＝Ｖ３であれば、投影デプスマップＤ_１ ^ｖの画素ｐｉ_１の深度値ｄｉ^ｖ _１は、修正されない。

【0143】

Ｆｉ_１＝Ｖ４であれば、投影デプスマップＤ_１ ^ｖの画素ｐｉ_１の深度値ｄｉ^ｖ _１は、Ｓ２３において修正される。

【0144】

第１の実施形態によれば、修正Ｓ２３の完了時に、以下の関係：

【数14】

に従って、投影デプスマップＤ_１ ^ｖの画素ｐｉ_１の修正深度値

【数15】

が取得される。

【0145】

上記の条件付き修正Ｓ２は、投影デプスマップＤ_１ ^ｖの画素ｐ１_ｊ、ｐ２_ｊ、．．．、ｐＱ_ｊのそれぞれの深度値に適用され、他の投影デプスマップＤ_２ ^ｖ、Ｄ_３ ^ｖ、Ｄ_４ ^ｖのそれぞれの各画素に対して繰り返される。

【0146】

７．２ 第２の実施形態
この第２の実施形態によれば、信頼度の計算は、第１の実施形態と同じやり方で行われる。

【0147】

信頼性情報の計算は、Ｓ１０２まで（Ｓ１０２を含む）は、第１の実施形態と同じやり方で行われる。

【0148】

次いで、以下の計算が行われる。

【0149】

投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、Ｄ_３ ^ｖ、Ｄ_４ ^ｖのそれぞれにおいて同じ位置（左から１列目の第１の画素）に位置する画素ｐ１_１、ｐ１_２、．．．、ｐ１_Ｎ。

【0150】

対応する投影深度値ｄ１^ｖ _１、ｄ１^ｖ _２、ｄ１^ｖ _３、ｄ１^ｖ _４の平均分散Ｖａｒ_ｍｏｙの計算が行われる。

【0151】

Ｖａｒ_ｍｏｙ＞ｄｅｐｔｈ_ＴＨの場合、Ｓ１０３において、差Δｄ１^ｖ＝ｄ１^ｖ _ｍａｘ－ｄ１^ｖ _ｍｉｎが、以下の関係：
Δｄ１^ｖ＝ｄ１^ｖ _ｍａｘ－ｄ１^ｖ _ｍｉｎ＜Ｖａｒ_ｍｏｙ
に従って、所定の閾値と比較される。

【0152】

図４の動作Ｓ１０４又はＳ１０５は、第１の実施形態と同じやり方で行われる。

【0153】

動作Ｓ１００～Ｓ１０３及びＳ１０４又はＳ１０５は、投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、Ｄ_３ ^ｖ、Ｄ_４ ^ｖのそれぞれにおいて同じ位置（例えば、左から１列目の第２の画素）に位置する画素ｐ２_１、ｐ２_２、．．．、ｐ２_Ｎなどに対して、投影デプスマップＤ_１ ^ｖ、Ｄ_２ ^ｖ、Ｄ_３ ^ｖ、Ｄ_４ ^ｖのそれぞれにおいて同じ位置（例えば、左から最後の列の最後の画素）に位置する画素ｐＱ_１、ｐＱ_２、．．．、ｐＱ_Ｎに至るまで、繰り返される。

【0154】

条件付き修正Ｓ２は、第１の実施形態と同じやり方で実施される。

【0155】

７．３ 第３の実施形態
この第３の実施形態によれば、信頼度の計算は、第１の実施形態と同じやり方で行われる。

【0156】

信頼性情報の計算は、Ｓ１０２まで（Ｓ１０２を含む）は、第１の実施形態と同じやり方で行われる。動作Ｓ１０３～Ｓ１０４又はＳ１０５は、以下に置き換えられる。

【0157】

投影デプスマップＤ_１ ^ｖの画素ｐ１_１の場合、差ｄ１^ｖ _１－ｄ１^ｖ _ｍｉｎ及びｄ１^ｖ _ｍａｘ－ｄ１^ｖ _１がそれぞれ、

【数16】

であるような所定の閾値ｄｅｐｔｈ_ＴＨと比較される。

【0158】

ｄ１^ｖ _１－ｄ１^ｖ _ｍｉｎ≧ｄｅｐｔｈ_ＴＨの場合、１つの信頼性情報Ｆ１_１が、投影デプスマップＤ_１ ^ｖの画素ｐ１_１の深度値が、最小深度値ｄ１^ｖ _ｍｉｎに対して信頼できないことを示すために、第１の値Ｖ３に設定される（例えば、Ｖ３＝０となるように）。

【0159】

別形態として、比較は、ｄ１^ｖ _１－ｄ１^ｖ _ｍｉｎ＞ｄｅｐｔｈ_ＴＨである。

【0160】

ｄ１^ｖ _１－ｄ１^ｖ _ｍｉｎ＜ｄｅｐｔｈ_ＴＨである場合、１つの信頼性情報Ｆ１_１が、投影デプスマップＤ_１ ^ｖの画素ｐ１_１の深度値が、最小深度値ｄ１^ｖ _ｍｉｎに対して信頼できることを示すために、第２の値Ｖ４に設定される（例えば、Ｖ４＝１となるように）。

【0161】

別形態として、比較は、ｄ１^ｖ _１－ｄ１^ｖ _ｍｉｎ≦ｄｅｐｔｈ_ＴＨである。

【0162】

ｄ１^ｖ _ｍａｘ－ｄ１^ｖ _１≧ｄｅｐｔｈ_ＴＨの場合、１つの信頼性情報Ｆ１_１ｍｉｎが、投影デプスマップＤ_１ ^ｖの画素ｐ１_１の深度値が、最大深度値ｄ１^ｖ _ｍａｘに対して信頼できないことを示すために、第１の値Ｖ３に設定される（例えば、Ｖ３＝０となるように）。

【0163】

別形態として、比較は、ｄ１^ｖ _ｍａｘ－ｄ１^ｖ _１＞ｄｅｐｔｈ_ＴＨである。

【0164】

ｄ１^ｖ _ｍａｘ－ｄ１^ｖ _１＜ｄｅｐｔｈ_ＴＨである場合、１つの信頼性情報Ｆ１_１ｍａｘが、投影デプスマップＤ_１ ^ｖの画素ｐ１_１の深度値が、最大深度値ｄ１^ｖ _ｍａｘに対して信頼できることを示すために、第２の値Ｖ４に設定される（例えば、Ｖ４＝１となるように）。

【0165】

別形態として、比較は、ｄ１^ｖ _ｍａｘ－ｄ１^ｖ _１≦ｄｅｐｔｈ_ＴＨである。

【0166】

上記の計算が、投影デプスマップＤ_２ ^ｖの画素ｐ１_２などに対して、投影デプスマップＤ_４ ^ｖの画素ｐ１_４に至るまで、繰り返される。

【0167】

次いで、この計算は、投影デプスマップＤ_１ ^ｖの各後続の画素ｐ２_１～ｐＱ_１に対して、投影デプスマップＤ_２ ^ｖの各後続の画素ｐ２_２～ｐＱ_２に対して、投影デプスマップＤ_３ ^ｖの各後続の画素ｐ２_３～ｐＱ_３に対して、投影デプスマップＤ_４ ^ｖの各後続の画素ｐ２_４～ｐＱ_４に対して、繰り返される。

【0168】

次いで、条件付き修正Ｓ２が以下のやり方で実施される。

【0169】

投影デプスマップＤ_１ ^ｖのある特定の画素ｐｉ_１（１≦ｉ≦Ｑ）に関して、
－画素ｐｉ_１に関連付けられた信頼性情報Ｆｉ_１ｍｉｎが０であるか、或いは１であるか、
－画素ｐｉ_１に関連付けられた信頼性情報Ｆｉ_１ｍａｘが０であるか、或いは１であるか、
が決定される。

【0170】

Ｆｉ_１ｍｉｎ＝０及びＦｉ_１ｍａｘ＝０であれば、投影デプスマップＤ_１ ^ｖの画素ｐｉ_１の深度値ｄｉ^ｖ _１は、修正されない。

【0171】

Ｆｉ_１ｍｉｎ＝１及びＦｉ_１ｍａｘ＝０であれば、投影デプスマップＤ_１ ^ｖの画素ｐｉ_１の深度値ｄｉ^ｖ _１ｍｉｎは、以下の関係：
Ａｉ_２＝Ｖ１或いはＡｉ_２＝Ｖ２であるか、Ａｉ_３＝Ｖ１或いはＡｉ_３＝Ｖ２であるか、Ａｉ_４＝Ｖ１或いはＡｉ_４＝Ｖ２であるかに応じて、

【数17】

及び／又は（Ａｉ_２，Ｃｉ_２，ｄｉ^ｖ _２）及び／又は（Ａｉ_３，Ｃｉ_３，ｄｉ^ｖ _３）及び／又は（Ａｉ_４，Ｃｉ_４，ｄｉ^ｖ _４））
に従ってＳ２３において修正される。

【0172】

ある特定の例によれば、ｄｉ^ｖ _１ｍｉｎの修正において、深度値ｄｉ^ｖ _１及びｄｉ^ｖ _２のみが考慮される。次いで、投影デプスマップＤ_１ ^ｖの画素ｐｉ_１の深度値ｄｉ^ｖ _１ｍｉｎが、以下の関係：

【数18】

に従って修正される。

【0173】

Ｆｉ_１ｍｉｎ＝０及びＦｉ_１ｍａｘ＝１であれば、投影デプスマップＤ_１ ^ｖの画素ｐｉ_１の深度値ｄｉ^ｖ _１ｍａｘは、以下の関係：
Ａｉ_２＝Ｖ１或いはＡｉ_２＝Ｖ２であるか、Ａｉ_３＝Ｖ１或いはＡｉ_３＝Ｖ２であるか、Ａｉ_４＝Ｖ１或いはＡｉ_４＝Ｖ２であるかに応じて、

【数19】

及び／又は（Ａｉ_２，Ｃｉ_２，ｄｉ^ｖ _２）及び／又は（Ａｉ_３，Ｃｉ_３，ｄｉ^ｖ _３）及び／又は（Ａｉ_４，Ｃｉ_４，ｄｉ^ｖ _４））
に従って修正される。

【0174】

ある特定の例によれば、ｄｉ^ｖ _１ｍａｘの修正において、深度値ｄｉ^ｖ _１、ｄｉ^ｖ _３、及びｄｉ^ｖ _４のみが考慮される。次いで、投影デプスマップＤ_１ ^ｖの画素ｐｉ_１の深度値ｄｉ^ｖ _１ｍａｘが、以下の関係：

【数20】

に従って修正される。

【0175】

Ｆｉ_１ｍｉｎ＝１及びＦｉ_１ｍａｘ＝１であれば、
－投影デプスマップＤ_１ ^ｖの画素ｐｉ_１の深度値ｄｉ^ｖ _１ｍｉｎは、以下の関係：

【数21】

に従って修正され、
－投影デプスマップＤ_１ ^ｖの画素ｐｉ_１の深度値ｄｉ^ｖ _１ｍａｘは、以下の関係：

【数22】

に従って修正される。

【0176】

上記の条件付き修正Ｓ２は、投影デプスマップＤ_１ ^ｖの画素ｐ１_ｊ、ｐ２_ｊ、．．．、ｐＱ_ｊのそれぞれの最大深度値及び／又は最小深度値に適用され、他の投影デプスマップＤ_２ ^ｖ、Ｄ_３ ^ｖ、Ｄ_４ ^ｖのそれぞれの各画素に対して繰り返される。

【0177】

条件付き修正Ｓ２の完了時に、信頼性情報Ｆｉ_ｊｍｉｎ及びＦｉ_ｊｍａｘの値に応じて、以下が取得される：
－未修正の投影デプスマップＤ_１ ^ｖ又は修正された投影デプスマップ

【数23】

及び／又は修正された投影デプスマップ

【数24】

、
－未修正の投影デプスマップＤ_２ ^ｖ又は修正された投影デプスマップ

【数25】

及び／又は修正された投影デプスマップ

【数26】

、
－未修正の投影デプスマップＤ_３ ^ｖ又は修正された投影デプスマップ

【数27】

及び／又は修正された投影デプスマップ

【数28】

、
－未修正の投影デプスマップＤ_４ ^ｖ又は修正された投影デプスマップ

【数29】

及び／又は修正された投影デプスマップ

【数30】

。

【0178】

８．合成デバイスの例示的実施
図５は、本発明の特定の実施形態の何れか１つによる合成方法を実施するように設計された合成デバイスＳＹＮＴの単純化構造を示す。

【0179】

本発明のある特定の実施形態によれば、合成方法によって行われるアクションは、コンピュータプログラム命令によって実施される。そのため、合成デバイスＳＹＮＴは、コンピュータの従来のアーキテクチャを有し、具体的には、メモリＭＥＭと、例えばプロセッサＰＲＯＣを備え、メモリＭＥＭに保存されたコンピュータプログラムＰＧによって駆動される処理装置ＵＴとを含む。コンピュータプログラムＰＧは、プログラムがプロセッサＰＲＯＣによって実行されると、上記のような合成方法のアクションを実施するための命令を含む。

【0180】

初期化に際して、コンピュータプログラムＰＧのコード命令が、プロセッサＰＲＯＣによって実行される前に、例えばＲＡＭメモリ（図示されない）にロードされる。処理装置ＵＴのプロセッサＰＲＯＣは、具体的には、コンピュータプログラムＰＧの命令に従って、上記の合成方法のアクションを実施する。

【0181】

適宜の復号方法に従って、画像Ｉ_１～Ｉ_ＮがデコーダＤＥＣによって事前に復号されている場合、
－合成デバイスＳＹＮＴは、図６Ａに示されるように、デコーダＤＥＣの出力に配置され、又は
－合成デバイスＳＹＮＴは、図６Ｂに示されるように、デコーダＤＥＣの一部を成す。

【0182】

上記で説明した実施形態は、単に、完全に非限定的な記載として提供されたものであり、本発明の範囲から逸脱することなく、多数の変更形態が当業者によって簡単に行われ得ることは言うまでもない。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6A】

【図6B】