知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-12
(45)【発行日】2024-07-23
(54)【発明の名称】全方位映像の符号化及び復号
(51)【国際特許分類】
H04N 19/597 20140101AFI20240716BHJP
H04N 19/70 20140101ALI20240716BHJP
H04N 19/46 20140101ALI20240716BHJP
【ＦＩ】
H04N19/597
H04N19/70
H04N19/46
【請求項の数】
16
(21)【出願番号】P 2021517806
(86)(22)【出願日】2019-09-25
(65)【公表番号】
(43)【公表日】2022-01-12
(86)【国際出願番号】 FR2019052254
(87)【国際公開番号】W WO2020070409
(87)【国際公開日】2020-04-09
【審査請求日】2022-08-01
(31)【優先権主張番号】1859067
(32)【優先日】2018-10-01
(33)【優先権主張国・地域又は機関】FR
(73)【特許権者】
【識別番号】591034154
【氏名又は名称】オランジュ
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ジョエル・ジュン
【審査官】間宮 嘉誉
(56)【参考文献】
【文献】国際公開第２０１８／１５０９３３（ＷＯ，Ａ１）
【文献】特開２０１７－１５２９０５（ＪＰ，Ａ）
【文献】特開２０１４－１３２７２１（ＪＰ，Ａ）
【文献】特表２０１４－５２４７０７（ＪＰ，Ａ）
【文献】国際公開第２０１３／０２２５４０（ＷＯ，Ａ１）
【文献】JEONG, JongBeom et al.，3DoF+ 360 Video Location-Based Asymmetric Down-Sampling for View Synthesis to Immersive VR Video Streaming，Sensors 2018，Vol.18, No.9，MDPI，2018年09月18日，pp.1-20，[online]，[retrieved on 2023-10-27]，Retrieved from the Internet: <URL: https://www.mdpi.com/1424-8220/18/9/3148>，https://doi.org/10.3390/s18093148
【文献】DOMANSKI, Marek et al.，3D Video Compression by Coding of Disoccluded Regions，Proc. 19th IEEE International Conference on Image Processing 2012，米国，IEEE，2013年02月21日，pp.1317-1320，[online]，[retrieved on 2023-10-27]，Retrieved from the Internet: <URL: https://ieeexplore.ieee.org/document/6467110>，https://doi.org/10.1109/ICIP.2012.6467110
【文献】FEHN, Christoph et al.，Asymmetric Coding of Stereoscopic Video for Transmission over T-DMB，Proc. 3DTV Conference 2007，ギリシャ，IEEE，2007年11月12日，pp.1-4，[online]，[retrieved on 2023-10-27]，Retrieved from the Internet: <URL: https://ieeexplore.ieee.org/document/4379449>，https://doi.org/10.1109/3DTV.2007.4379449
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００－１９／９８
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
符号化デバイスによって実施される、多数のビューのビュー形成部分の画像を符号化するための方法であって、前記多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、方法であり、－ 前記ビューの前記画像を符号化するために第１の符号化方法又は第２の符号化方法を選択すること（Ｃ１）であって、前記第１の符号化方法は、前記ビューの前記画像のオリジナルデータを符号化し、前記第２の符号化方法は、前記ビューの前記画像の処理から得られるデータを符号化する、選択することと、
－ 選択されたものが前記第１の符号化方法か又は前記第２の符号化方法かを示す情報（ｆｌａｇ＿ｐｒｏｃ）を含むデータ信号を生成すること（Ｃ１０、Ｃ１２ａ；Ｃ１０、Ｃ１２ｂ；Ｃ１０、Ｃ１２ｃ）と、
－ 前記第１の符号化方法が選択された場合は、前記ビューの前記画像のオリジナルデータを符号化すること（Ｃ１１ａ）であって、前記第１の符号化方法が、符号化済みのオリジナルデータを提供する、符号化すること（Ｃ１１ａ）と、
－ 前記第２の符号化方法が選択された場合は、
－ 前記ビューの前記画像の処理済みのデータを符号化すること（Ｃ１１ｂ）であって、前記データが、前記ビューの前記画像の前記処理によって得られ、前記符号化が、処理済み且つ符号化済みのデータを提供する、符号化すること（Ｃ１１ｂ）と、
－ 適用された前記処理の説明情報を符号化すること（Ｃ１１ｂ）と
を含む、方法であり、
－ 前記生成されたデータ信号が、
－ 前記第１の符号化方法が選択された場合は、前記ビューの前記画像の前記符号化済みのオリジナルデータ、
－ 前記第２の符号化方法が選択された場合は、前記ビューの前記画像の前記処理済み且つ符号化済みのデータ及び前記処理の前記符号化済みの説明情報
をさらに含む、方法。
【請求項2】
－ 前記ビューの前記画像の前記処理済みのデータが、前記ビューの前記画像のクロッピングの適用後の削除されなかった前記ビューの前記画像のデータであり、
－ 前記処理の前記説明情報が、前記ビューの前記画像における１つ又は複数のクロッピング済みの領域の場所についての情報である、請求項１に記載の方法。
【請求項3】
－ 前記ビューの前記画像の前記処理済みのデータが、所定のサンプリングファクタに従って及び少なくとも１つの所定の方向においてサンプリングが行われた前記ビューの前記画像の少なくとも１つの領域の前記データであり、
－ 前記処理の前記説明情報が、前記ビューの前記画像における前記少なくとも１つのサンプリング済みの領域の場所についての情報の少なくとも１つのアイテムを含む、請求項１に記載の方法。
【請求項4】
－ 前記ビューの前記画像の前記処理済みのデータが、フィルタリングが行われた前記ビューの前記画像の少なくとも１つの領域の前記データであり、
－ 前記処理の前記説明情報が、前記ビューの前記画像における前記少なくとも１つのフィルタリング済みの領域の場所についての情報の少なくとも１つのアイテムを含む、請求項１に記載の方法。
【請求項5】
－ 前記ビューの前記画像の前記処理済みのデータが、前記多数のビューのうちの別のビューの画像を使用して検出されたオクルージョン領域に対応する前記ビューの前記画像の画素であり、
－ 前記処理の前記説明情報が、別のビューの前記画像に見られる前記ビューの前記画像の前記画素のインジケータを含む、請求項１に記載の方法。
【請求項6】
復号デバイスによって実施される、多数のビューのビュー形成部分の画像を表すデータ信号を復号するための方法であって、前記多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、方法であり、－ 前記データ信号において、前記ビューの前記画像を第１の復号方法に従って復号すべきか又は第２の復号方法に従って復号すべきかを示す情報（ｆｌａｇ＿ｐｒｏｃ）のアイテムを読み取ること（Ｄ１）であって、前記第１の復号方法は、前記ビューの前記画像の符号化されたオリジナルデータを復号し、前記第２の復号方法は、符号化された前記ビューの前記画像の処理から得られるデータを復号する、読み取ることと、
－ 前記第１の復号方法である場合は、
－ 前記データ信号において、前記ビューの前記画像と関連付けられた符号化済みのデータを読み取ること（Ｄ１１ａ）と、
－ 前記符号化済みのデータに基づいて、前記ビューの画像を再構築すること（Ｄ１２ａ）であって、前記再構築済みのビューの前記画像が、前記ビューの前記画像の前記オリジナルデータを含む、再構築すること（Ｄ１２ａ）と、
－ 前記第２の復号方法である場合は、
－ 前記データ信号において、前記ビューの前記画像と関連付けられた符号化済みのデータを読み取ること（Ｄ１１ｂ；Ｄ１１ｃ）と、
－ 読み取られた前記符号化済みのデータに基づいて、前記ビューの前記画像の処理済みのデータ及び前記ビューの前記画像の前記オリジナルデータに適用された前記ビューの前記画像の前記処理の説明情報を再構築すること（Ｄ１２ｂ）と、
を含む、方法。
【請求項7】
－ 前記ビューの前記画像の前記処理済みのデータが、前記ビューの前記画像のクロッピングの適用後の削除されなかった前記ビューの前記画像のデータであり、－ 前記処理の前記説明情報が、前記ビューの前記画像における１つ又は複数のクロッピング済みの領域の場所についての情報である、請求項６に記載の方法。
【請求項8】
－ 前記ビューの前記画像の前記処理済みのデータが、所定のサンプリングファクタに従って及び少なくとも１つの所定の方向においてサンプリングが行われた前記ビューの前記画像の少なくとも１つの領域の前記データであり、－ 前記処理の前記説明情報が、前記ビューの前記画像における前記少なくとも１つのサンプリング済みの領域の場所についての情報の少なくとも１つのアイテムを含む、請求項６に記載の方法。
【請求項9】
－ 前記ビューの前記画像の前記処理済みのデータが、フィルタリングが行われた前記ビューの前記画像の少なくとも１つの領域の前記データであり、－ 前記処理の前記説明情報が、前記ビューの前記画像における前記少なくとも１つのフィルタリング済みの領域の場所についての情報の少なくとも１つのアイテムを含む、請求項６に記載の方法。
【請求項10】
－ 前記ビューの前記画像の前記処理済みのデータが、前記多数のビューのうちの別のビューの画像を使用して検出されたオクルージョン領域に対応する前記ビューの前記画像の画素であり、－ 前記処理の前記説明情報が、別のビューの前記画像に見られる前記ビューの前記画像の前記画素のインジケータを含む、請求項６に記載の方法。
【請求項11】
多数のビューのビュー形成部分の画像を符号化するためのデバイスであって、前記多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、符号化デバイスであり、－ 前記ビューの前記画像のデータを符号化するために第１の符号化方法又は第２の符号化方法を選択することであって、前記第１の符号化方法は、前記ビューの前記画像のオリジナルデータを符号化し、前記第２の符号化方法は、前記ビューの前記画像の処理から得られるデータを符号化する、選択することと、
－ 選択されたものが前記第１の符号化方法か又は前記第２の符号化方法かを示す情報を含むデータ信号を生成することと、
－ 前記第１の符号化方法が選択された場合は、前記ビューの前記画像のオリジナルデータを符号化することであって、前記第１の符号化方法が、符号化済みのオリジナルデータを提供する、符号化することと、
－ 前記第２の符号化方法が選択された場合は、
－ 前記ビューの前記画像の処理済みのデータを符号化することであって、前記データが、前記ビューの前記画像の前記処理によって得られ、前記符号化が、処理済み且つ符号化済みのデータを提供する、符号化することと、
－ 適用された前記処理の説明情報を符号化することと
を実施するように構成されたプロセッサを含む、符号化デバイスであり、
－ 前記生成されたデータ信号が、
－ 前記第１の符号化方法が選択された場合は、前記ビューの前記画像の前記符号化済みのオリジナルデータ、
－ 前記第２の符号化方法が選択された場合は、前記ビューの前記画像の前記処理済み且つ符号化済みのデータ及び前記処理の前記符号化済みの説明情報
をさらに含む、符号化デバイス。
【請求項12】
多数のビューのビュー形成部分の画像を表すデータ信号を復号するためのデバイスであって、前記多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、復号デバイスであり、－ 前記データ信号において、前記ビューの前記画像を第１の復号方法に従って復号すべきか又は第２の復号方法に従って復号すべきかを示す情報（ｆｌａｇ＿ｐｒｏｃ）のアイテムを読み取ることであって、前記第１の復号方法は、前記ビューの前記画像の符号化されたオリジナルデータを復号し、前記第２の復号方法は、符号化された前記ビューの前記画像の処理から得られるデータを復号する、読み取ることと、
－ 前記第１の復号方法である場合は、
－ 前記データ信号において、前記ビューの前記画像と関連付けられた符号化済みのデータを読み取ることと、
－ 読み取られた前記符号化済みのデータに基づいて、前記ビューの画像を再構築することであって、前記再構築済みのビューの前記画像が、前記ビューの前記画像の前記オリジナルデータを含む、再構築することと、
－ 前記第２の復号方法である場合は、
－ 前記データ信号において、前記ビューの前記画像と関連付けられた符号化済みのデータを読み取ることと、
－ 読み取られた前記符号化済みのデータに基づいて、前記ビューの画像を再構築することであって、前記ビューの前記再構築済みの画像が、前記処理済みのデータを得るために使用された前記ビューの前記画像の前記処理の説明情報と関連付けられた前記ビューの前記画像の処理済みのデータを含む、再構築することと、
を実施するように構成されたプロセッサを含む、復号デバイス。
【請求項13】
コンピュータ上で実行されると、請求項１～５のいずれか一項に記載の符号化方法のステップを実行するためのプログラムコード命令を含む命令を含むコンピュータプログラム。
【請求項14】
コンピュータによって読み取ることができ、請求項１３に記載のコンピュータプログラムの命令を含むコンピュータ可読記録媒体。
【請求項15】
コンピュータ上で実行されると、請求項６～１０のいずれか一項に記載の復号方法のステップを実行するためのプログラムコード命令を含む命令を含むコンピュータプログラム。
【請求項16】
コンピュータによって読み取ることができ、請求項１５に記載のコンピュータプログラムの命令を含むコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、全方位映像の分野に関し、具体的には、３６０°、１８０°などの映像に関する。より具体的には、本発明は、そのような映像を生成するために捕捉された３６０°、１８０°などのビューの符号化及び復号と、非捕捉中間視点の合成とに関する。
【0002】
本発明は、特に（ただし、排他的ではない）、現在のＡＶＣ及びＨＥＶＣ映像コーダ並びにそれらの拡張（ＭＶＣ、３Ｄ－ＡＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなど）において実施される映像符号化並びに対応する映像復号に適用することができる。
【背景技術】
【0003】
全方位映像（例えば、３６０°映像など）を生成するため、３６０°カメラを使用することは一般的なことである。そのような３６０°カメラは、球形プラットフォームに設置された多数の２Ｄ（二次元）カメラで形成されている。各２Ｄカメラは、３Ｄ（三次元）シーンの特定の角度を捕捉し、カメラによって捕捉されたビューのセットにより、３６０°×１８０°視野の３Ｄシーンを表す映像の生成が可能になる。また、単一の３６０°カメラを使用して３６０°×１８０°視野の３Ｄシーンを捕捉することも可能である。当然ながら、そのような視野は、より小さなもの（例えば、２７０°×１３５°）であり得る。
【0004】
次いで、そのような３６０°映像により、ユーザは、まるでユーザがその中心に位置付けられているかのようにシーンを見たり、ユーザの周囲全体を（３６０°にわたって）見渡したりすることができ、それにより、新しい映像鑑賞方法が提供される。そのような映像は、一般に、「頭部装着型デバイス」に相当するＨＭＤとしても知られているバーチャルリアリティヘッドセットにおいて再生される。しかし、それらの映像は、適切なユーザ対話手段が装備された２Ｄスクリーン上に表示することもできる。３６０°シーンを捕捉するための２Ｄカメラの数は、使用されるプラットフォームによって異なる。
【0005】
３６０°映像を生成するため、様々な２Ｄカメラによって捕捉された多様なビューは、パノラマ２Ｄ画像を作成するために、ビュー間の重複を考慮した上で、端と端をつなげて並べられる。このステップは、「スティッチング」としても知られている。例えば、正距円筒投影（ＥＲＰ）は、そのようなパノラマ画像を得るための考えられる投影の１つである。この投影によれば、２Ｄカメラの各々によって捕捉されたビューは、球面に投影される。キューブマッピングタイプの投影（立方体の面への投影）など、他のタイプの投影も可能である。次いで、表面に投影されたビューは、２Ｄパノラマ画像を得るために２Ｄ平面に投影され、２Ｄパノラマ画像は、所定の時刻における捕捉されたシーンのビューのすべてを含むものである。
【0006】
没入感を増大させるため、前述のタイプの多数の３６０°カメラを同時に使用してシーンを捕捉することができ、これらのカメラは、任意の方法でシーンに位置付けられる。３６０°カメラは、実際のカメラ（すなわち、物理的物体）でも、バーチャルカメラでもよく、バーチャルカメラの場合は、ビューは、ビュー生成ソフトウェアによって得られる。具体的には、そのようなバーチャルカメラは、実際のカメラによって捕捉されなかった３Ｄシーンの視点を表すビューの生成を可能にする。
【0007】
次いで、単一の３６０°カメラを使用して得られた３６０°ビューの画像又は多数の３６０°カメラ（実際のカメラ及びバーチャルカメラ）を使用して得られた３６０°ビューの画像は、例えば、
－ 従来の２Ｄ映像コーダ（例えば、ＨＥＶＣ（「高効率映像符号化」の略語）規格に適合するコーダ）
－ 従来の３Ｄ映像コーダ（例えば、ＭＶ－ＨＥＶＣ及び３Ｄ－ＨＥＶＣ規格に適合するコーダ）
を使用して符号化される。
－ 従来の２Ｄ映像コーダ（例えば、ＨＥＶＣ（「高効率映像符号化」の略語）規格に適合するコーダ）
－ 従来の３Ｄ映像コーダ（例えば、ＭＶ－ＨＥＶＣ及び３Ｄ－ＨＥＶＣ規格に適合するコーダ）
を使用して符号化される。
【発明の概要】
【発明が解決しようとする課題】
【0008】
そのようなコーダは、多数の３６０°ビューの画像及びそのような３６０°ビューを使用した３Ｄシーンの３６０°表現の特定の幾何学が符号化されることは言うまでもなく、１つの３６０°ビューにおいて非常に大量のデータの画像が符号化されることを考慮すると、圧縮の観点から十分に効率的とは言えない。その上、３６０°カメラの２Ｄカメラによって捕捉されたビューは多様であるため、これらのコーダによってインター画像予測はほとんど又は全く使用されないことを理由に、前述のコーダは、３６０°ビューの異なる画像の符号化には適さない。特に、２つの２Ｄカメラによってそれぞれ捕捉された２つのビューの間では、予測できる同様のコンテンツはほとんどない。従って、３６０°ビューの画像はすべて、同じ方法で圧縮される。具体的には、これらのコーダでは、符号化予定の現在の３６０°ビューの画像に関して、符号化に次いで復号されるビューのこの画像を使用することになる非捕捉中間ビュー画像の合成の一環として、この画像のデータのすべてを符号化することが理にかなっているか又はこの画像のデータのほんの一部を符号化することが理にかなっているかを判断するための分析は実行されない。
【0009】
本発明の目的の１つは、前述の先行技術の欠点を修正することである。
【課題を解決するための手段】
【0010】
その目的のため、本発明の一対象は、符号化デバイスによって実施される、多数のビューのビュー形成部分の画像を符号化するための方法であって、多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、方法であり、
－ ビューの画像を符号化するために第１の符号化方法又は第２の符号化方法を選択することと、
－ 選択されたものが第１の符号化方法か又は第２の符号化方法かを示す情報を含むデータ信号を生成することと、
－ 第１の符号化方法が選択された場合は、ビューの画像のオリジナルデータを符号化することであって、第１の符号化方法が、符号化済みのオリジナルデータを提供する、符号化することと、
－ 第２の符号化方法が選択された場合は、
－ ビューの画像の処理済みのデータを符号化することであって、これらのデータが、ビューの画像のオリジナルデータに適用された画像処理によって得られ、符号化が、処理済み且つ符号化済みのデータを提供する、符号化することと、
－ 適用された画像処理の説明情報を符号化することと
を含む、方法であり、
－ 生成されたデータ信号が、
－ 第１の符号化方法が選択された場合は、ビューの画像の符号化済みのオリジナルデータ、
－ 第２の符号化方法が選択された場合は、ビューの画像の処理済み且つ符号化済みのデータ及び画像処理の符号化済みの説明情報
をさらに含む、方法に関する。
－ ビューの画像を符号化するために第１の符号化方法又は第２の符号化方法を選択することと、
－ 選択されたものが第１の符号化方法か又は第２の符号化方法かを示す情報を含むデータ信号を生成することと、
－ 第１の符号化方法が選択された場合は、ビューの画像のオリジナルデータを符号化することであって、第１の符号化方法が、符号化済みのオリジナルデータを提供する、符号化することと、
－ 第２の符号化方法が選択された場合は、
－ ビューの画像の処理済みのデータを符号化することであって、これらのデータが、ビューの画像のオリジナルデータに適用された画像処理によって得られ、符号化が、処理済み且つ符号化済みのデータを提供する、符号化することと、
－ 適用された画像処理の説明情報を符号化することと
を含む、方法であり、
－ 生成されたデータ信号が、
－ 第１の符号化方法が選択された場合は、ビューの画像の符号化済みのオリジナルデータ、
－ 第２の符号化方法が選択された場合は、ビューの画像の処理済み且つ符号化済みのデータ及び画像処理の符号化済みの説明情報
をさらに含む、方法に関する。
【0011】
本発明により、前述のタイプの符号化予定の現在のビューからの多数の画像の中から（上記画像は、符号化予定の延いては信号伝達予定の非常に大量のデータを表す）、符号化予定の各ビューの各画像に対して、２つの符号化技法、すなわち、
－ 第１の符号化技法（それにより、１つ又は複数のビューの画像が従来方式（例えば、ＨＥＶＣ、ＭＶＣ－ＨＥＶＣ、３Ｄ－ＨＥＶＣ）で符号化され、非常に優れた品質のビューを形成する再構築済みの画像がそれぞれ得られる）
－ 第２の革新的な符号化技法（それにより、１つ又は複数の他のビューの画像の処理済みのデータが符号化され、処理済みの画像データが復号側で得られる。従って、処理済みの画像データは、これらの画像のオリジナルデータとは一致しないが、これらの画像の処理済み且つ符号化済みのデータの信号伝達コストがかなり減少するという利益が得られる）
を組み合わせることが可能である。
－ 第１の符号化技法（それにより、１つ又は複数のビューの画像が従来方式（例えば、ＨＥＶＣ、ＭＶＣ－ＨＥＶＣ、３Ｄ－ＨＥＶＣ）で符号化され、非常に優れた品質のビューを形成する再構築済みの画像がそれぞれ得られる）
－ 第２の革新的な符号化技法（それにより、１つ又は複数の他のビューの画像の処理済みのデータが符号化され、処理済みの画像データが復号側で得られる。従って、処理済みの画像データは、これらの画像のオリジナルデータとは一致しないが、これらの画像の処理済み且つ符号化済みのデータの信号伝達コストがかなり減少するという利益が得られる）
を組み合わせることが可能である。
【0012】
その結果、他の各ビューの各画像に対して復号側で得られるもの（第２の符号化方法に従って符号化された処理済みのデータ）は、ビューの画像の対応する処理済みのデータと、符号化側でビューの画像のオリジナルデータに適用された画像処理の説明情報である。次いで、そのような処理済みのデータは、ビューの画像を形成するために対応する画像処理説明情報を使用して処理することができ、そのビューにより、従来の第１の復号方法に従って再構築されたビューの画像の少なくとも１つと共に使用して、特に効率的且つ効果的な方法での非捕捉中間ビューの画像の合成が可能になる。
【0013】
また、本発明は、復号デバイスによって実施される、多数のビューのビュー形成部分の画像を表すデータ信号を復号するための方法であって、多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、方法であり、
－ データ信号に基づいて、ビューの画像を第１の復号方法に従って復号すべきか又は第２の復号方法に従って復号すべきかを示す情報のアイテムを読み取ることと、
－ 第１の復号方法である場合は、
－ データ信号において、ビューの画像と関連付けられた符号化済みのデータを読み取ることと、
－ 読み取られた符号化済みのデータに基づいて、ビューの画像を再構築することであって、再構築済みのビューの画像が、ビューの画像のオリジナルデータを含む、再構築することと、
－ 第２の復号方法である場合は、
－ データ信号において、ビューの画像と関連付けられた符号化済みのデータを読み取ることと、
－ 読み取られた符号化済みのデータに基づいて、ビューの画像を再構築することであって、ビューの再構築済みの画像が、処理済みのデータを得るために使用された画像処理の説明情報と関連付けられたビューの画像の処理済みのデータを含む、再構築することと、
を含む、方法にも関する。
－ データ信号に基づいて、ビューの画像を第１の復号方法に従って復号すべきか又は第２の復号方法に従って復号すべきかを示す情報のアイテムを読み取ることと、
－ 第１の復号方法である場合は、
－ データ信号において、ビューの画像と関連付けられた符号化済みのデータを読み取ることと、
－ 読み取られた符号化済みのデータに基づいて、ビューの画像を再構築することであって、再構築済みのビューの画像が、ビューの画像のオリジナルデータを含む、再構築することと、
－ 第２の復号方法である場合は、
－ データ信号において、ビューの画像と関連付けられた符号化済みのデータを読み取ることと、
－ 読み取られた符号化済みのデータに基づいて、ビューの画像を再構築することであって、ビューの再構築済みの画像が、処理済みのデータを得るために使用された画像処理の説明情報と関連付けられたビューの画像の処理済みのデータを含む、再構築することと、
を含む、方法にも関する。
【0014】
特定の一実施形態によれば、
－ ビューの画像の処理済みのデータは、ビューの画像のクロッピングの適用後の削除されなかったビューの画像のデータである。
－ 画像処理の説明情報は、ビューの画像における１つ又は複数のクロッピング済みの領域の場所についての情報である。
－ ビューの画像の処理済みのデータは、ビューの画像のクロッピングの適用後の削除されなかったビューの画像のデータである。
－ 画像処理の説明情報は、ビューの画像における１つ又は複数のクロッピング済みの領域の場所についての情報である。
【0015】
上記ビューの画像に適用されるそのようなクロッピング処理により、そのオリジナルデータの一部分の符号化を回避することができ、クロッピングされた１つ又は複数の領域に属するデータは符号化もデコーダへの信号伝達も行われないという理由で、上記ビューの画像と関連付けられた符号化済みのデータの伝送レートがかなり減少するという利益が得られる。レートの減少は、クロッピングされる１つ又は複数の領域のサイズに依存する。従って、復号後に再構築され、次いで、潜在的には、対応する画像処理説明情報を使用してその処理済みのデータが処理されることになるビューの画像は、そのオリジナルデータのすべてを含むものではないか、又は、少なくともビューのオリジナル画像とは異なるものである。しかし、このようにクロッピングされたビューのそのような画像を得ることにより、再構築された時点で、上記クロッピング済みのビューのそのような画像を使用することになる中間画像の合成の効果が害されることはない。現に、従来のデコーダ（例えば、ＨＥＶＣ、ＭＶＣ－ＨＥＶＣ、３Ｄ－ＨＥＶＣ）を使用して再構築された１つ又は複数の画像を使用するそのような合成、上記ビューの画像及び従来方式で再構築された画像によって、中間ビューのオリジナル領域を回収することができる。
【0016】
別の特定の実施形態によれば、
－ ビューの画像の処理済みのデータは、所定のサンプリングファクタに従って及び少なくとも１つの所定の方向においてサンプリングが行われたビューの画像の少なくとも１つの領域のデータである。
－ 画像処理の説明情報は、ビューの画像における少なくとも１つのサンプリング済みの領域の場所についての情報の少なくとも１つのアイテムを含む。
－ ビューの画像の処理済みのデータは、所定のサンプリングファクタに従って及び少なくとも１つの所定の方向においてサンプリングが行われたビューの画像の少なくとも１つの領域のデータである。
－ 画像処理の説明情報は、ビューの画像における少なくとも１つのサンプリング済みの領域の場所についての情報の少なくとも１つのアイテムを含む。
【0017】
そのような処理は、この場合も、サンプリングの適用に次いで符号化されることから生じるデータのレートの減少を最適化することを目的として、上記ビューの画像の均一デグラデーションに助力する。このようにサンプリングされたビューのそのような画像の後続の再構築により、それがビューのオリジナル画像からデグラデーションした／オリジナル画像とは異なるビューの再構築済みの画像を提供するとしても（オリジナルデータはサンプリングに次いで符号化されている）、上記サンプリング済み且つ再構築済みのビューのそのような画像を使用することになる中間画像の合成の効果が害されることはない。現に、従来のデコーダ（例えば、ＨＥＶＣ、ＭＶＣ－ＨＥＶＣ、３Ｄ－ＨＥＶＣ）を使用して再構築された１つ又は複数の画像を使用するそのような合成、これらの１つ又は複数の従来方式で再構築された画像において、上記ビューの画像のフィルタリング済みの領域に対応するオリジナル領域を回収することができる。
【0018】
別の特定の実施形態によれば、
－ ビューの画像の処理済みのデータは、フィルタリングが行われたビューの画像の少なくとも１つの領域のデータである。
－ 画像処理の説明情報は、ビューの画像における少なくとも１つのフィルタリング済みの領域の場所についての情報の少なくとも１つのアイテムを含む。
－ ビューの画像の処理済みのデータは、フィルタリングが行われたビューの画像の少なくとも１つの領域のデータである。
－ 画像処理の説明情報は、ビューの画像における少なくとも１つのフィルタリング済みの領域の場所についての情報の少なくとも１つのアイテムを含む。
【0019】
そのような処理は、符号化済みのデータのレートの減少を最適化することを目的として、符号化に不要と考えられる上記ビューの画像のデータの削除に助力し、符号化済みのデータは、有利には、画像のフィルタリング済みのデータのみで形成される。
【0020】
このようにフィルタリングされたビューのそのような画像の後続の再構築により、それがビューのオリジナル画像からデグラデーションした／オリジナル画像とは異なるビューの再構築済みの画像を提供するとしても（オリジナルデータはフィルタリングに次いで符号化されている）、上記フィルタリング済み且つ再構築済みのビューのそのような画像を使用することになる中間画像の合成の効果が害されることはない。現に、従来のデコーダ（例えば、ＨＥＶＣ、ＭＶＣ－ＨＥＶＣ、３Ｄ－ＨＥＶＣ）を使用して再構築された１つ又は複数の画像を使用するそのような合成、上記ビューの画像のフィルタリング済みの領域及び従来方式で再構築された画像によって、中間ビューのオリジナル領域を回収することができる。
【0021】
別の特定の実施形態によれば、
－ ビューの画像の処理済みのデータは、多数のビューのうちの別のビューの画像を使用して検出されたオクルージョンに対応するビューの画像の画素である。
－ 画像処理の説明情報は、別のビューの画像に見られるビューの画像の画素のインジケータを含む。
－ ビューの画像の処理済みのデータは、多数のビューのうちの別のビューの画像を使用して検出されたオクルージョンに対応するビューの画像の画素である。
－ 画像処理の説明情報は、別のビューの画像に見られるビューの画像の画素のインジケータを含む。
【0022】
先行する実施形態と同様に、そのような処理は、符号化済みのデータのレートの減少を最適化することを目的として、符号化に不要と考えられる上記ビューの画像のデータの削除に助力し、符号化済みのデータは、有利には、上記ビューの画像の画素のみで形成され、その欠如は、上記多数のビューのうちの現在のビューの別の画像において検出されている。
【0023】
ビューのそのような画像の後続の再構築により、それがビューのオリジナル画像からデグラデーションした／オリジナル画像とは異なるビューの再構築済みの画像を提供するとしても（オクルージョン領域のみが符号化されている）、上記ビューのそのような再構築済みの画像を使用することになる中間画像の合成の効果が害されることはない。現に、従来のデコーダ（例えば、ＨＥＶＣ、ＭＶＣ－ＨＥＶＣ、３Ｄ－ＨＥＶＣ）を使用して再構築された１つ又は複数の画像を使用するそのような合成、現在のビューの画像及び従来方式で再構築された画像によって、中間ビューのオリジナル領域を回収することができる。
【0024】
別の特定の実施形態によれば、
－ 符号化／復号されたビューの画像の処理済みのデータは、
－ ビューの画像のオリジナルデータに基づいて、
－ 第１の符号化／復号方法を使用して符号化／復号された少なくとも１つの他のビューの画像のオリジナルデータに基づいて、
－ 潜在的には、処理済みのデータが第２の符号化／復号方法を使用して符号化／復号された少なくとも１つの他のビューの画像のオリジナルデータに基づいて、
計算された画素である。
－ 上記画像処理の説明情報は、
－ 計算されたビューの画像の画素のインジケータ、
－ 第１の符号化／復号方法を使用して符号化／復号された少なくとも１つの他のビューの画像における、ビューの画像の画素を計算するために使用されたオリジナルデータの場所についての情報、
－ 潜在的には、処理済みのデータが符号化／復号された少なくとも１つの他のビューの画像における、ビューの画像の画素を計算するために使用されたオリジナルデータの場所についての情報
を含む。
－ 符号化／復号されたビューの画像の処理済みのデータは、
－ ビューの画像のオリジナルデータに基づいて、
－ 第１の符号化／復号方法を使用して符号化／復号された少なくとも１つの他のビューの画像のオリジナルデータに基づいて、
－ 潜在的には、処理済みのデータが第２の符号化／復号方法を使用して符号化／復号された少なくとも１つの他のビューの画像のオリジナルデータに基づいて、
計算された画素である。
－ 上記画像処理の説明情報は、
－ 計算されたビューの画像の画素のインジケータ、
－ 第１の符号化／復号方法を使用して符号化／復号された少なくとも１つの他のビューの画像における、ビューの画像の画素を計算するために使用されたオリジナルデータの場所についての情報、
－ 潜在的には、処理済みのデータが符号化／復号された少なくとも１つの他のビューの画像における、ビューの画像の画素を計算するために使用されたオリジナルデータの場所についての情報
を含む。
【0025】
別の特定の実施形態によれば、第１のビューの画像の処理済みのデータ及び少なくとも１つの第２のビューの画像の処理済みのデータは、単一の画像に組み合わされる。
【0026】
上記の実施形態に応じて、第２の復号方法に従って得られるビューの画像の処理済みのデータは、第１のビューの画像の処理済みのデータ及び少なくとも１つの第２のビューの画像の処理済みのデータを含む。
【0027】
特定の一実施形態によれば、
－ ビューの画像の処理済み且つ符号化／復号済みのデータは、画像タイプのデータである。
－ 画像処理の符号化／復号済みの説明情報は、画像タイプ及び／又はテキストタイプのデータである。
－ ビューの画像の処理済み且つ符号化／復号済みのデータは、画像タイプのデータである。
－ 画像処理の符号化／復号済みの説明情報は、画像タイプ及び／又はテキストタイプのデータである。
【0028】
また、本発明は、多数のビューのビュー形成部分の画像を符号化するためのデバイスであって、多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、符号化デバイスであり、現在の時刻において、
－ ビューの画像を符号化するために第１の符号化方法又は第２の符号化方法を選択することと、
－ 選択されたものが第１の符号化方法か又は第２の符号化方法かを示す情報を含むデータ信号を生成することと、
－ 第１の符号化方法が選択された場合は、ビューの画像のオリジナルデータを符号化することであって、第１の符号化方法が、符号化済みのオリジナルデータを提供する、符号化することと、
－ 第２の符号化方法が選択された場合は、
－ ビューの画像の処理済みのデータを符号化することであって、処理済みのデータが、ビューの画像のオリジナルデータに適用された画像処理によって得られ、符号化が、処理済み且つ符号化済みのデータを提供する、符号化することと、
－ 適用された画像処理の説明情報を符号化することと
を実施するように構成されたプロセッサを含む、符号化デバイスであり、
－ 生成されたデータ信号が、
－ 第１の符号化方法が選択された場合は、ビューの画像の符号化済みのオリジナルデータ、
－ 第２の符号化方法が選択された場合は、ビューの画像の処理済み且つ符号化済みのデータ及び画像処理の符号化済みの説明情報
をさらに含む、符号化デバイスにも関する。
－ ビューの画像を符号化するために第１の符号化方法又は第２の符号化方法を選択することと、
－ 選択されたものが第１の符号化方法か又は第２の符号化方法かを示す情報を含むデータ信号を生成することと、
－ 第１の符号化方法が選択された場合は、ビューの画像のオリジナルデータを符号化することであって、第１の符号化方法が、符号化済みのオリジナルデータを提供する、符号化することと、
－ 第２の符号化方法が選択された場合は、
－ ビューの画像の処理済みのデータを符号化することであって、処理済みのデータが、ビューの画像のオリジナルデータに適用された画像処理によって得られ、符号化が、処理済み且つ符号化済みのデータを提供する、符号化することと、
－ 適用された画像処理の説明情報を符号化することと
を実施するように構成されたプロセッサを含む、符号化デバイスであり、
－ 生成されたデータ信号が、
－ 第１の符号化方法が選択された場合は、ビューの画像の符号化済みのオリジナルデータ、
－ 第２の符号化方法が選択された場合は、ビューの画像の処理済み且つ符号化済みのデータ及び画像処理の符号化済みの説明情報
をさらに含む、符号化デバイスにも関する。
【0029】
そのような符号化デバイスは、具体的には、前述の符号化方法を実施することができる。
【0030】
また、本発明は、多数のビューのビュー形成部分の画像を表すデータ信号を復号するためのデバイスであって、多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、復号デバイスであり、現在の時刻において、
－ データ信号において、ビューの画像を第１の復号方法に従って復号すべきか又は第２の復号方法に従って復号すべきかを示す情報のアイテムを読み取ることと、
－ 第１の復号方法である場合は、
－ データ信号において、ビューの画像と関連付けられた符号化済みのデータを読み取ることと、
－ 読み取られた符号化済みのデータに基づいて、ビューの画像を再構築することであって、再構築済みのビューの画像が、ビューの画像のオリジナルデータを含む、再構築することと、
－ 第２の復号方法である場合は、
－ データ信号において、ビューの画像と関連付けられた符号化済みのデータを読み取ることと、
－ 読み取られた符号化済みのデータに基づいて、ビューの画像を再構築することであって、ビューの再構築済みの画像が、処理済みのデータを得るために使用された画像処理の説明情報と関連付けられたビューの画像の処理済みのデータを含む、再構築することと、
を実施するように構成されたプロセッサを含む、復号デバイスにも関する。
－ データ信号において、ビューの画像を第１の復号方法に従って復号すべきか又は第２の復号方法に従って復号すべきかを示す情報のアイテムを読み取ることと、
－ 第１の復号方法である場合は、
－ データ信号において、ビューの画像と関連付けられた符号化済みのデータを読み取ることと、
－ 読み取られた符号化済みのデータに基づいて、ビューの画像を再構築することであって、再構築済みのビューの画像が、ビューの画像のオリジナルデータを含む、再構築することと、
－ 第２の復号方法である場合は、
－ データ信号において、ビューの画像と関連付けられた符号化済みのデータを読み取ることと、
－ 読み取られた符号化済みのデータに基づいて、ビューの画像を再構築することであって、ビューの再構築済みの画像が、処理済みのデータを得るために使用された画像処理の説明情報と関連付けられたビューの画像の処理済みのデータを含む、再構築することと、
を実施するように構成されたプロセッサを含む、復号デバイスにも関する。
【0031】
そのような復号デバイスは、具体的には、前述の復号方法を実施することができる。
【0032】
また、本発明は、前述の符号化方法に従って符号化されたデータを含むデータ信号にも関する。
【0033】
また、本発明は、コンピュータプログラムがプロセッサによって実行されると、上記で説明される特定の実施形態のいずれか１つに従って、本発明による復号方法又は符号化方法を実施するための命令を含む上記プログラムにも関する。
【0034】
このプログラムは、いかなるプログラミング言語も使用することができ、部分的にコンパイルされた形態又は他の任意の望ましい形態など、ソースコード、オブジェクトコード、又は、ソースコードとオブジェクトコードとの間の中間コードの形態であり得る。
【0035】
また、本発明は、上記で言及したものなどのコンピュータプログラム命令を含むコンピュータ可読記録媒体又は情報媒体も対象とする。
【0036】
記録媒体は、プログラムの格納が可能ないかなるエンティティ又はデバイスでもあり得る。例えば、媒体は、ＲＯＭなどの記憶手段（例えば、ＣＤ－ＲＯＭ若しくは超小型電子回路ＲＯＭ）又は磁気記録手段（例えば、ＵＳＢキー若しくはハードディスク）を含み得る。
【0037】
その上、記録媒体は、無線又は他の手段によって、電気又は光ケーブルを介して伝達することができる電気又は光信号など、伝送可能媒体でもあり得る。本発明によるプログラムは、具体的には、インターネットタイプのネットワークからダウンロードすることができる。
【0038】
或いは、記録媒体は、プログラムが組み込まれた集積回路であり得、回路は、前述の符号化又は復号方法を実行するか又は実行する際に使用するように適応させる。
【0039】
他の特徴及び利点は、添付の図面を参照して以下で説明されている、純粋に説明に役立つ及び非限定的な例として提供されるいくつかの好ましい実施形態を読み進めることで、より明確に明らかになるであろう。
【図面の簡単な説明】
【0040】
【図1】本発明の一実施形態による符号化方法によって実行される主要なアクションを示す。
【図3A】現在の時刻において利用可能なビューの画像のすべてを符号化するための方法の第１の実施形態を示す。
【図3B】現在の時刻において利用可能なビューの画像のすべてを符号化するための方法の第２の実施形態を示す。
【図4A】第１の実施形態による、ビューの画像に適用される処理の例の各々を示す。
【図4B】第１の実施形態による、ビューの画像に適用される処理の例の各々を示す。
【図4C】第１の実施形態による、ビューの画像に適用される処理の例の各々を示す。
【図4D】第１の実施形態による、ビューの画像に適用される処理の例の各々を示す。
【図4E】第１の実施形態による、ビューの画像に適用される処理の例の各々を示す。
【図5A】第２の実施形態による、ビューの画像に適用される処理の例の各々を示す。
【図5B】第２の実施形態による、ビューの画像に適用される処理の例の各々を示す。
【図5C】第２の実施形態による、ビューの画像に適用される処理の例の各々を示す。
【図5D】第２の実施形態による、ビューの画像に適用される処理の例の各々を示す。
【図6】第３の実施形態による、ビューの画像に適用される処理の例を示す。
【図7】第４の実施形態による、ビューの画像に適用される処理の例を示す。
【図8】第５の実施形態による、ビューの画像に適用される処理の例を示す。
【図9】第６の実施形態による、ビューの画像に適用される処理の例を示す。
【図11】本発明の一実施形態による復号方法によって実行される主要なアクションを示す。
【図12A】現在の時刻において利用可能なビューの画像のすべてを復号するための方法の第１の実施形態を示す。
【図12B】現在の時刻において利用可能なビューの画像のすべてを復号するための方法の第２の実施形態を示す。
【図15A】第１の実施形態による、その再構築の後にビューの画像に適用される処理の例の各々を示す。
【図15B】第１の実施形態による、その再構築の後にビューの画像に適用される処理の例の各々を示す。
【図15C】第１の実施形態による、その再構築の後にビューの画像に適用される処理の例の各々を示す。
【図15D】第１の実施形態による、その再構築の後にビューの画像に適用される処理の例の各々を示す。
【図16】第２の実施形態による、その再構築の後にビューの画像に適用される処理の例を示す。
【図17】第３の実施形態による、その再構築の後にビューの画像に適用される処理の例を示す。
【図18】第４の実施形態による、その再構築の後にビューの画像に適用される処理の例を示す。
【発明を実施するための形態】
【0041】
本発明は、主に、多数のビューの多数の現在の画像をそれぞれ符号化するためのスキームを提案し、多数のビューは、現在の時刻における、所定の位置又は所定の視野角による３Ｄシーンを表し、２つの符号化技法、すなわち、
－ 第１の符号化技法（それにより、ビューの少なくとも１つの現在の画像が従来の符号化モード（例えば、ＨＥＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなど）を使用して符号化される）
－ 第２の革新的な符号化技法（それにより、前述のタイプの従来の符号化モード及び／又は他の任意の適切な符号化モードを使用して、ビューの少なくとも１つの現在の画像の処理データ（特定の画像処理を使用してこの画像のオリジナルデータの処理の適用から得られたもの）が符号化され、それにより、符号化ステップの前に実施された処理から得られるこの画像の符号化済みのデータの信号伝達コストがかなり減少する）
が利用可能である。
－ 第１の符号化技法（それにより、ビューの少なくとも１つの現在の画像が従来の符号化モード（例えば、ＨＥＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなど）を使用して符号化される）
－ 第２の革新的な符号化技法（それにより、前述のタイプの従来の符号化モード及び／又は他の任意の適切な符号化モードを使用して、ビューの少なくとも１つの現在の画像の処理データ（特定の画像処理を使用してこの画像のオリジナルデータの処理の適用から得られたもの）が符号化され、それにより、符号化ステップの前に実施された処理から得られるこの画像の符号化済みのデータの信号伝達コストがかなり減少する）
が利用可能である。
【0042】
それに応じて、本発明は、２つの復号技法、すなわち、
－ 第１の復号技法（それにより、符号化の際に使用され且つデコーダに信号伝達された従来の符号化モードに対応する従来の復号モード（例えば、ＨＥＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなど）を使用して、符号化済みのビューの少なくとも１つの現在の画像が再構築され、それにより、非常に優れた品質のビューの少なくとも１つの再構築済みの画像が得られる）
－ 第２の革新的な復号技法（それにより、デコーダに信号伝達された符号化モード（すなわち、従来の符号化モード及び／又は他の適切な符号化モード）に対応する復号モードを使用して、ビューの少なくとも１つの画像の符号化済みの処理データが復号され、それにより、処理済みの画像データ及び得られた処理済みのデータの発生源である画像処理の説明情報が得られる。従って、この画像に対して復号側で得られた処理済みのデータは、第１の復号技法に従って復号された画像データとは異なり、そのオリジナルデータとは一致しない）
を組み合わせられるようにする復号スキームを提案する。
－ 第１の復号技法（それにより、符号化の際に使用され且つデコーダに信号伝達された従来の符号化モードに対応する従来の復号モード（例えば、ＨＥＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなど）を使用して、符号化済みのビューの少なくとも１つの現在の画像が再構築され、それにより、非常に優れた品質のビューの少なくとも１つの再構築済みの画像が得られる）
－ 第２の革新的な復号技法（それにより、デコーダに信号伝達された符号化モード（すなわち、従来の符号化モード及び／又は他の適切な符号化モード）に対応する復号モードを使用して、ビューの少なくとも１つの画像の符号化済みの処理データが復号され、それにより、処理済みの画像データ及び得られた処理済みのデータの発生源である画像処理の説明情報が得られる。従って、この画像に対して復号側で得られた処理済みのデータは、第１の復号技法に従って復号された画像データとは異なり、そのオリジナルデータとは一致しない）
を組み合わせられるようにする復号スキームを提案する。
【0043】
そのような処理済み且つ復号済みの画像データ及び画像処理説明情報に基づいてその後に再構築されるビューの画像は、ビューのオリジナル画像（すなわち、そのオリジナルデータの処理に次いで符号化される前のもの）とは異なるものとなる。しかし、ビューのそのような再構築済みの画像は、第１の従来の復号技法に従って再構築された他のビューの画像と共に使用して、特に効率的且つ効果的な方法での中間ビューの画像の合成を可能にするビューの画像を構成する。
【0044】
６．例示的な符号化スキームの実装
以下では、例えば、３Ｄ－ＨＥＶＣ若しくはＭＶ－ＨＥＶＣ規格又は同様のものに適合するいかなるタイプのマルチビュー映像コーダも使用することができる３６０°、１８０°又は他の全方位映像を符号化するための方法について説明する。
以下では、例えば、３Ｄ－ＨＥＶＣ若しくはＭＶ－ＨＥＶＣ規格又は同様のものに適合するいかなるタイプのマルチビュー映像コーダも使用することができる３６０°、１８０°又は他の全方位映像を符号化するための方法について説明する。
【0045】
図１を参照すると、そのような符号化方法は、多数のビューＶ１、…、ＶＮの一部を形成するビューの現在の画像に適用され、多数のビューは、多数の視野角又は多数の位置／向きによる３Ｄシーンをそれぞれ表す。
【0046】
共通の例によれば、映像（例えば、３６０°映像）を生成するために３つの全方位カメラが使用される事例では、
－ 第１の全方位カメラは、例えば、３６０°×１８０°視野角で３Ｄシーンの中心に置くことができ、
－ 第２の全方位カメラは、例えば、３６０°×１８０°視野角で３Ｄシーンの左側に置くことができ、
－ 第３の全方位カメラは、例えば、３６０°×１８０°視野角で３Ｄシーンの右側に置くことができる。
－ 第１の全方位カメラは、例えば、３６０°×１８０°視野角で３Ｄシーンの中心に置くことができ、
－ 第２の全方位カメラは、例えば、３６０°×１８０°視野角で３Ｄシーンの左側に置くことができ、
－ 第３の全方位カメラは、例えば、３６０°×１８０°視野角で３Ｄシーンの右側に置くことができる。
【0047】
別のより非定型的な例によれば、α°映像（０°＜α≦３６０°）を生成するために３つの全方位カメラが使用される事例では、
－ 第１の全方位カメラは、例えば、３６０°×１８０°視野角で３Ｄシーンの中心に置くことができ、
－ 第２の全方位カメラは、例えば、２７０°×１３５°視野角で３Ｄシーンの左側に置くことができ、
－ 第３の全方位カメラは、例えば、１８０°×９０°視野角で３Ｄシーンの右側に置くことができる。
－ 第１の全方位カメラは、例えば、３６０°×１８０°視野角で３Ｄシーンの中心に置くことができ、
－ 第２の全方位カメラは、例えば、２７０°×１３５°視野角で３Ｄシーンの左側に置くことができ、
－ 第３の全方位カメラは、例えば、１８０°×９０°視野角で３Ｄシーンの右側に置くことができる。
【0048】
当然ながら、他の構成も可能である。
【0049】
上記多数のビューの少なくとも２つのビューは、同じ視野角からの３Ｄシーンを表すものでも、そうではないものでもよい。
【0050】
本発明による符号化方法は、現在の時刻において、
－ ビューＶ１の画像ＩＶ１、
－ ビューＶ２の画像ＩＶ２、
－…、
－ ビューＶｋの画像ＩＶｋ、
－…、
－ ビューＶＮの画像ＩＶＮ
を符号化するものである。
－ ビューＶ１の画像ＩＶ１、
－ ビューＶ２の画像ＩＶ２、
－…、
－ ビューＶｋの画像ＩＶｋ、
－…、
－ ビューＶＮの画像ＩＶＮ
を符号化するものである。
【0051】
対象のビューの画像は、同様に、テクスチャ画像又は深度画像であり得る。対象のビューの画像（例えば、画像ＩＶｋ）は、例えば、Ｑ個の画素など、数量Ｑ（Ｑ≧１）のオリジナルデータ（ｄ１ｋ…、ｄＱｋ）を含む。
【0052】
次いで、符号化方法は、符号化予定のビューＶｋの少なくとも１つの画像ＩＶｋに対して、以下を含む。
【0053】
Ｃ１では、画像ＩＶｋに対して、第１の符号化方法ＭＣ１又は第２の符号化方法ＭＣ２が選択される。
【0054】
第１の符号化方法ＭＣ１が選択された場合は、Ｃ１０において、符号化方法ＭＣ１が選択されたことを示すために、例えば、ビットを０に設定して、ｆｌａｇ＿ｐｒｏｃという情報が符号化される。
【0055】
Ｃ１１ａでは、例えば、ＨＥＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなどの規格に適合するものなどの従来のコーダを使用して、画像ＩＶｋのＱ個のオリジナルデータ（画素）ｄ１ｋ、…、ｄＱｋが符号化される。符号化Ｃ１１ａが完了すると、ビューＶｋの符号化済みの画像ＩＶＣｋが得られる。次いで、符号化済みの画像ＩＶＣｋは、Ｑ個の符号化済みのオリジナルデータｄｃ１ｋ、ｄｃ２ｋ、…、ｄｃＱｋを含む。
【0056】
Ｃ１２ａでは、データ信号Ｆ１ｋが生成される。図２Ａに示されるように、データ信号Ｆ１ｋは、第１の符号化方法ＭＣ１の選択に関連するｆｌａｇ＿ｐｒｏｃ＝０という情報と、符号化済みのオリジナルデータｄｃ１ｋ、ｄｃ２ｋ、…、ｄｃＱｋとを含む。
【0057】
第２の符号化方法ＭＣ２が選択された場合は、Ｃ１０において、符号化方法ＭＣ２が選択されたことを示すために、例えば、ビットを１に設定して、ｆｌａｇ＿ｐｒｏｃという情報が符号化される。
【0058】
Ｃ１１ｂでは、符号化ステップの前に行われた画像ＩＶｋの処理から生じたデータＤＴｋに符号化方法ＭＣ２が適用される。
【0059】
そのようなデータＤＴｋは、
－ 符号化ステップの前に特定の画像処理を使用して処理された画像ＩＶｋのオリジナルデータのすべて又は一部に相当する画像タイプ（画素）のデータ（その様々な詳細な例については、説明においてさらに記載する）、
－ 符号化ステップＣ１１ｂの前に画像ＩＶｋに適用された画像処理の説明情報（そのような説明情報は、例えば、テキスト及び／又は画像タイプである）
を含む。
－ 符号化ステップの前に特定の画像処理を使用して処理された画像ＩＶｋのオリジナルデータのすべて又は一部に相当する画像タイプ（画素）のデータ（その様々な詳細な例については、説明においてさらに記載する）、
－ 符号化ステップＣ１１ｂの前に画像ＩＶｋに適用された画像処理の説明情報（そのような説明情報は、例えば、テキスト及び／又は画像タイプである）
を含む。
【0060】
符号化Ｃ１１ｂが完了すると、処理済み且つ符号化済みのデータＤＴＣｋが得られる。それらの処理済み且つ符号化済みのデータＤＴＣｋは、処理済み且つ符号化済みの画像ＩＶＴＣｋを表す。
【0061】
従って、処理済みのデータＤＴｋは、画像ＩＶｋのオリジナルデータとは一致しない。
【0062】
例えば、これらの処理済みのデータＤＴｋは、その解像度が処理前の画像ＩＶｋの解像度より高いか又は低い画像に相当する。従って、処理済みの画像ＩＶｋは、例えば、他のビューの画像に基づいて得られることを理由に、より大きなものでも、逆に、画像ＩＶｋから１つ又は複数のオリジナル画素を削除して得られることを理由に、より小さなものでもあり得る。
【0063】
別の例によれば、これらの処理済みのデータＤＴｋは、処理済みの画像ＩＶｋの表現（ＹＵＶ、ＲＧＢなど）のフォーマットが処理前の画像ＩＶｋのオリジナルフォーマットとは異なる画像や、画素を表すためのビット数（１６ビット、１０ビット、８ビットなど）が異なる画像に相当する。
【0064】
さらなる別の例によれば、これらの処理済みのデータＤＴｋは、処理前の画像ＩＶｋのオリジナルテクスチャ又は色成分に対してデグラデーションした色又はテクスチャ成分に相当する。
【0065】
さらなる別の例によれば、これらの処理済みのデータＤＴｋは、処理前の画像ＩＶｋのオリジナルコンテンツの特定の表現（例えば、画像ＩＶｋのフィルタリング済みのオリジナルコンテンツの表現）に相当する。
【0066】
処理済みのデータＤＴｋが単なる画像データである（すなわち、例えば、画素のグリッドの形態である）事例では、符号化方法ＭＣ２は、第１の符号化方法ＭＣ１を実施するコーダと同様のコーダによって実施することができる。それは、ロッシー又はロスレスコーダであり得る。処理済みのデータＤＴｋが画像データとは異なる（例えば、テキストタイプのデータなど）か、又は、画像データと画像データ以外のタイプのデータの両方を含む事例では、符号化方法ＭＣ２は、
－ 特にテキストタイプのデータを符号化するために、ロスレスコーダによって、
－ 特に画像データを符号化するために、ロッシー又はロスレスコーダによって（そのようなコーダは、第１の符号化方法ＭＣ１を実施するコーダと同一である可能性も、異なる可能性もある）
実施することができる。
－ 特にテキストタイプのデータを符号化するために、ロスレスコーダによって、
－ 特に画像データを符号化するために、ロッシー又はロスレスコーダによって（そのようなコーダは、第１の符号化方法ＭＣ１を実施するコーダと同一である可能性も、異なる可能性もある）
実施することができる。
【0067】
Ｃ１２ｂでは、データ信号Ｆ２ｋが生成される。図２Ｂに示されるように、データ信号Ｆ２ｋは、これらのデータがすべて画像データである事例では、第２の符号化方法ＭＣ２の選択に関連するｆｌａｇ＿ｐｒｏｃ＝１という情報と、処理済み且つ符号化済みのデータＤＴＣｋとを含む。
【0068】
代替として、Ｃ１２ｃでは、処理済み且つ符号化済みのデータＤＴＣｋが画像データとテキストタイプのデータの両方を含む事例では、２つの信号Ｆ３ｋ、Ｆ’３ｋが生成される。
【0069】
図２Ｃに示されるように、
－ データ信号Ｆ’３は、第２の符号化方法ＭＣ２の選択に関連するｆｌａｇ＿ｐｒｏｃ＝１という情報と、画像タイプの処理済み且つ符号化済みのデータＤＴＣｋとを含み、
－ データ信号Ｆ’３ｋは、テキストタイプの処理済み且つ符号化済みのデータＤＴＣｋを含む。
－ データ信号Ｆ’３は、第２の符号化方法ＭＣ２の選択に関連するｆｌａｇ＿ｐｒｏｃ＝１という情報と、画像タイプの処理済み且つ符号化済みのデータＤＴＣｋとを含み、
－ データ信号Ｆ’３ｋは、テキストタイプの処理済み且つ符号化済みのデータＤＴＣｋを含む。
【0070】
たった今上記で説明した符号化方法は、次いで、利用可能な符号化予定のＮ個のビューの各画像ＩＶ１、ＩＶ２、…、ＩＶＮに対して、それらのいくつかのみに対して、又は、画像ＩＶｋ（例えば、ｋ＝１）に限定して、実施することができる。
【0071】
図３Ａ及び３Ｂに示される２つの例示的な実施形態によれば、例えば、符号化予定のＮ個の画像ＩＶ１、…、ＩＶＮの中で、以下のように想定される。
－ ｎ個の最初の画像ＩＶ１、…、ＩＶｎは、第１の符号化技法ＭＣ１を使用して符号化される。ｎ個の最初のビューＶ１～Ｖｎは、マスタビューと呼ばれるが、その理由は、再構築された時点で、ｎ個のマスタビューの画像は、それらのオリジナルデータのすべてを含み、ユーザに必要な任意のビューの画像を合成するためにＮ－ｎ個の他のビューのうちの１つ又は複数と共に使用するのに適しているためである。
－ Ｎ－ｎ個の他の画像ＩＶｎ＋１、…、ＩＶＮは、第２の符号化方法ＭＣ２を使用して符号化する前に処理される。これらの処理されたＮ－ｎ個の他の画像は、追加のビューと呼ばれるものに属する。
－ ｎ個の最初の画像ＩＶ１、…、ＩＶｎは、第１の符号化技法ＭＣ１を使用して符号化される。ｎ個の最初のビューＶ１～Ｖｎは、マスタビューと呼ばれるが、その理由は、再構築された時点で、ｎ個のマスタビューの画像は、それらのオリジナルデータのすべてを含み、ユーザに必要な任意のビューの画像を合成するためにＮ－ｎ個の他のビューのうちの１つ又は複数と共に使用するのに適しているためである。
－ Ｎ－ｎ個の他の画像ＩＶｎ＋１、…、ＩＶＮは、第２の符号化方法ＭＣ２を使用して符号化する前に処理される。これらの処理されたＮ－ｎ個の他の画像は、追加のビューと呼ばれるものに属する。
【0072】
ｎ＝０の場合は、すべてのビューのすべての画像ＩＶ１、…、ＩＶＮが処理される。ｎ＝Ｎ－１の場合は、Ｎ個の中の単一のビューの画像（例えば、第１のビューの画像）が処理される。
【0073】
Ｎ－ｎ個の他の画像ＩＶｎ＋１、…、ＩＶＮの処理が完了すると、Ｍ－ｎ個の処理済みのデータが得られる。Ｍ＝Ｎの場合は、処理すべきビューの数だけ処理済みのデータが存在する。Ｍ＜Ｎの場合は、処理の間に、Ｎ－ｎ個のビューの少なくとも１つが削除されている。この事例では、第２の符号化方法ＭＣ２による符号化Ｃ１１ｂが完了すると、削除されたビューのこの画像に関連する処理済みのデータは、ロスレスコーダを使用して符号化されるものであり、この画像及びこのビューの欠如を示す情報のみを含む。次いで、処理によって削除されたこの画像に対しては、どの画素も、ＨＥＶＣ、ＭＶＣ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなどのタイプのコーダを使用した第２の符号化方法ＭＣ２を使用して符号化されることはない。
【0074】
図３Ａの例では、Ｃ１１ａにおいて、ＨＥＶＣタイプの従来のコーダを使用して、ｎ個の最初の画像ＩＶ１、…、ＩＶｎが互いに独立して符号化される。符号化Ｃ１１ａが完了すると、ｎ個の符号化済みの画像ＩＶＣ１、…、ＩＶＣｎがそれぞれ得られる。Ｃ１２ａでは、ｎ個のデータ信号Ｆ１１、…、Ｆ１ｎがそれぞれ生成される。Ｃ１３ａでは、これらのｎ個のデータ信号Ｆ１１、…、Ｆ１ｎが連結され、データ信号Ｆ１が生成される。
【0075】
破線矢印によって表されるように、画像ＩＶ１、…、ＩＶｎは、Ｎ－ｎ個の他の画像ＩＶｎ＋１、…、ＩＶＮの処理の間に使用することができる。
【0076】
依然として図３Ａを参照すると、Ｃ１１ｂにおいて、ＨＥＶＣタイプの従来のコーダを使用して、Ｍ－ｎ個の処理済みのデータＤＴｎ＋１、…、ＤＴＭが互いに独立して符号化されるか（これらのＭ－ｎ個の処理済みのデータがすべて画像タイプである場合）、或いは、画像タイプの処理済みのデータに対しては、ＨＥＶＣタイプの従来のコーダを使用して互いに独立して符号化され、テキストタイプの処理済みのデータに対しては、ロスレスコーダによって符号化される（それらのデータが画像タイプとテキストタイプの両方である場合）。符号化Ｃ１１ｂが完了すると、Ｎ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮが、Ｎ－ｎ個の画像ＩＶｎ＋１、…、ＩＶＮのそれぞれと関連付けられたＮ－ｎ個の符号化済みのデータとしてそれぞれ得られる。Ｃ１２ｂでは、Ｍ－ｎ個の処理済みのデータがすべて画像タイプである事例では、Ｎ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮをそれぞれ含むＮ－ｎ個のデータ信号Ｆ２ｎ＋１、…、Ｆ２Ｎがそれぞれ生成される。Ｃ１２ｃでは、Ｍ－ｎ個の処理済みのデータが画像タイプとテキストタイプの両方である事例では、
－ 画像タイプのＮ－ｎ個の処理済み且つ符号化済みのデータをそれぞれ含むＮ－ｎ個のデータ信号Ｆ３ｎ＋１、…、Ｆ３Ｎが生成され、
－ テキストタイプのＮ－ｎ個の処理済み且つ符号化済みのデータをそれぞれ含むＮ－ｎ個のデータ信号Ｆ’３ｎ＋１…、Ｆ’３Ｎが生成される。
－ 画像タイプのＮ－ｎ個の処理済み且つ符号化済みのデータをそれぞれ含むＮ－ｎ個のデータ信号Ｆ３ｎ＋１、…、Ｆ３Ｎが生成され、
－ テキストタイプのＮ－ｎ個の処理済み且つ符号化済みのデータをそれぞれ含むＮ－ｎ個のデータ信号Ｆ’３ｎ＋１…、Ｆ’３Ｎが生成される。
【0077】
Ｃ１３ｃでは、データ信号Ｆ３ｎ＋１、…Ｆ３Ｎ及びＦ’３ｎ＋１、…、Ｆ’３Ｎが連結され、データ信号Ｆ３が生成される。
【0078】
Ｃ１４では、信号Ｆ１とＦ２が連結されるか、又は、信号Ｆ１とＦ３が連結され、復号方法によって復号することができるデータ信号Ｆが提供される。復号方法については、説明においてさらに記載する。
【0079】
図３Ｂの例では、Ｃ１１ａにおいて、ＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプの従来のコーダを使用して、ｎ個の最初の画像ＩＶ１、…、ＩＶｎが同時に符号化される。符号化Ｃ１１ａが完了すると、ｎ個の符号化済みの画像ＩＶＣ１、…、ＩＶＣｎがそれぞれ得られる。Ｃ１２ａでは、単一の信号Ｆ１が生成され、単一の信号Ｆ１は、これらのｎ個の符号化済みの画像の各々と関連付けられた符号化済みのオリジナルデータを含む。
【0080】
破線矢印によって表されるように、最初の画像ＩＶ１、…、ＩＶｎは、Ｎ－ｎ個の他の画像ＩＶｎ＋１、…、ＩＶＮの処理の間に使用することができる。
【0081】
依然として図３Ｂを参照すると、Ｃ１１ｂにおいて、ＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプの従来のコーダを使用して、画像タイプのＭ－ｎ個の処理済みのデータＤＴｎ＋１、…、ＤＴＭが同時に符号化されるか（これらのＭ－ｎ個の処理済みのデータがすべて画像タイプである場合）、或いは、画像タイプの処理済みのデータに対しては、ＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプの従来のコーダを使用して同時に符号化され、テキストタイプの処理済みのデータに対しては、ロスレスコーダによって符号化される（それらのデータが画像タイプとテキストタイプの両方である場合）。符号化Ｃ１１ｂが完了すると、Ｎ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮが、処理されたＮ－ｎ個の画像ＩＶｎ＋１、…、ＩＶＮのそれぞれと関連付けられたＮ－ｎ個の処理済み且つ符号化済みのデータとしてそれぞれ得られる。Ｃ１２ｂでは、Ｍ－ｎ個の処理済みのデータがすべて画像タイプである事例では、画像タイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮを含む単一の信号Ｆ２が生成される。Ｃ１２ｃでは、Ｍ－ｎ個の処理済みのデータが画像タイプとテキストタイプの両方である事例では、
－ 画像タイプの処理済み且つ符号化済みのデータを含む信号Ｆ３が生成され、
－ テキストタイプの処理済み且つ符号化済みのデータを含む信号Ｆ’３が生成される。
－ 画像タイプの処理済み且つ符号化済みのデータを含む信号Ｆ３が生成され、
－ テキストタイプの処理済み且つ符号化済みのデータを含む信号Ｆ’３が生成される。
【0082】
Ｃ１４では、信号Ｆ１とＦ２が連結されるか、又は、信号Ｆ１とＦ３とＦ’３が連結され、復号方法によって復号することができるデータ信号Ｆが提供される。復号方法については、説明においてさらに説明する。
【0083】
当然ながら、符号化方法の他の組合せも可能である。
【0084】
図３Ａの１つの可能な変形形態によれば、符号化方法ＭＣ１を実施するコーダがＨＥＶＣタイプのコーダであり、符号化方法ＭＣ２を実施するコーダがＭＶ－ＨＥＶＣ若しくは３Ｄ－ＨＥＶＣタイプのコーダであるか又はＭＶ－ＨＥＶＣ若しくは３Ｄ－ＨＥＶＣタイプのコーダ及びロッシーコーダを含むことも可能である。
【0085】
図３Ｂの１つの可能な変形形態によれば、符号化方法ＭＣ１を実施するコーダがＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプのコーダであり、符号化方法ＭＣ２を実施するコーダがＨＥＶＣタイプのコーダであるか又はＨＥＶＣタイプのコーダ及びロスレスコーダを含むことも可能である。
【0086】
【0087】
これらの図に示される例では、画像ＩＶｋのオリジナルデータに適用される処理は、この画像の１つ又は複数の領域の水平方向若しくは垂直方向の又は両方向同時のクロッピングである。
【0088】
図４Ａの例では、画像ＩＶｋの左側の境界Ｂ１及び右側の境界Ｂ２がクロッピングされている。そのクロッピングは、境界Ｂ１及びＢ２の各々によって形成された画像ＩＶｋの長方形領域の画素の削除を意味する。
【0089】
図４Ｂの例では、画像ＩＶｋの上側の境界Ｂ３及び下側の境界Ｂ４がクロッピングされている。そのクロッピングは、境界Ｂ３及びＢ４の各々によって形成された画像ＩＶｋの長方形領域の画素の削除を意味する。
【0090】
図４Ｃの例では、クロッピングは、画像ＩＶｋに位置する長方形領域Ｚ１に垂直方向に適用されている。
【0091】
図４Ｄの例では、クロッピングは、画像ＩＶｋに位置する長方形領域Ｚ２に水平方向に適用されている。
【0092】
図４Ｅの例では、クロッピングは、画像ＩＶｋに位置する領域Ｚ３に水平方向と垂直方向の両方に適用されている。
【0093】
次いで、符号化予定の処理済みのデータＤＴｋは、
－ クロッピング（図４Ａ、４Ｂ、４Ｅ）後の削除されなかった画像ＩＶｋの残りの領域ＺＲの画素、又は、クロッピング後の削除されなかった画像ＩＶｋの残りの領域Ｚ１Ｒ及びＺ２Ｒ（図４Ｃ、４Ｄ）の画素と、
－ 適用されたクロッピングについて説明する情報と
を含む。
－ クロッピング（図４Ａ、４Ｂ、４Ｅ）後の削除されなかった画像ＩＶｋの残りの領域ＺＲの画素、又は、クロッピング後の削除されなかった画像ＩＶｋの残りの領域Ｚ１Ｒ及びＺ２Ｒ（図４Ｃ、４Ｄ）の画素と、
－ 適用されたクロッピングについて説明する情報と
を含む。
【0094】
例えば、図４Ａ、４Ｂ、４Ｅの事例では、適用されたクロッピングについて説明する情報は、テキストタイプのものであり、
－ 画像ＩＶｋの残りの領域ＺＲの一番左上に位置する画素の座標と、
－ 画像ＩＶｋの残りの領域ＺＲの一番右下に位置する画素の座標と
を含む。
－ 画像ＩＶｋの残りの領域ＺＲの一番左上に位置する画素の座標と、
－ 画像ＩＶｋの残りの領域ＺＲの一番右下に位置する画素の座標と
を含む。
【0095】
例えば、図４Ｃ及び４Ｄの事例では、適用されたクロッピングについて説明する情報は、
－ 画像ＩＶｋの残りの領域Ｚ１Ｒの一番左上に位置する画素の座標と、
－ 画像ＩＶｋの残りの領域Ｚ１Ｒの一番右下に位置する画素の座標と、
－ 画像ＩＶｋの残りの領域Ｚ２Ｒの一番左上に位置する画素の座標と、
－ 画像ＩＶｋの残りの領域Ｚ２Ｒの一番右下に位置する画素の座標と
を含む。
－ 画像ＩＶｋの残りの領域Ｚ１Ｒの一番左上に位置する画素の座標と、
－ 画像ＩＶｋの残りの領域Ｚ１Ｒの一番右下に位置する画素の座標と、
－ 画像ＩＶｋの残りの領域Ｚ２Ｒの一番左上に位置する画素の座標と、
－ 画像ＩＶｋの残りの領域Ｚ２Ｒの一番右下に位置する画素の座標と
を含む。
【0096】
次いで、Ｃ１１ｂ（図１）において、ＨＥＶＣ、３Ｄ－ＨＥＶＣ、ＭＶ－ＨＥＶＣなどのタイプのコーダによって、残りの領域ＺＲ（Ｚ１ＲとＺ２Ｒのそれぞれ）の一番左上に位置する画素の座標と、残りの領域ＺＲ（Ｚ１ＲとＺ２Ｒのそれぞれ）の一番右下に位置する画素の座標とによって定義される長方形領域のオリジナルデータ（画素）が符号化される。適用されたクロッピングの説明情報は、その部分に対して、Ｃ１１ｂ（図１）において、ロスレスコーダによって符号化される。
【0097】
変形形態として、適用されたクロッピングについて説明する情報は、削除される画素の行及び／又は列の数と、画像ＩＶｋにおけるこれらの行及び／又は列の位置を含む。
【0098】
一実施形態によれば、クロッピングによって削除されるデータ量は固定される。例えば、その量は、対象のビューの画像からＸ行及び／又はＹ列を体系的に削除するように決定することができる。この事例では、説明情報は、クロッピングについての情報のみ（又は各ビューに対するものではない）を含む。
【0099】
別の実施形態によれば、クロッピングによって削除されるデータ量は、ビューＶｋの画像ＩＶｋと利用可能な別のビューの画像との間で変更することができる。
【0100】
また、クロッピングによって削除されるデータ量は、例えば、画像ＩＶｋを捕捉したカメラの３Ｄシーンの位置にも依存し得る。従って、例えば、上記Ｎ個のビューの中の別のビューの画像が、画像ＩＶｋを捕捉したカメラの位置／向きとは異なる３Ｄシーンにおける位置／向きを有するカメラによって捕捉されている場合は、例えば、画像ＩＶｋに対して削除されたデータ量とは異なる削除されるデータ量が使用される。
【0101】
クロッピングの適用は、画像ＩＶｋが符号化される時刻にさらに依存し得る。例えば、現在の時刻では、画像ＩＶｋにクロッピングを適用することを決定する一方で、現在の時刻の前後の時刻では、画像ＩＶｋにそのようなクロッピング又はその件に関する任意の処理を適用しないことを決定することができる。
【0102】
最後に、クロッピングは、現在の時刻において１つ又は複数のビューの画像に適用することができる。ビューＶｋの画像ＩＶｋのクロッピング済みの領域は、現在の時刻において符号化予定の別のビューの画像のクロッピング済みの領域と同じであっても、同じでなくともよい。
【0103】
【0104】
これらの図に示される例では、画像ＩＶｋのオリジナルデータに適用される処理は、この画像の１つ又は複数の領域の水平方向又は垂直方向のダウンサンプリングである。
【0105】
図５Ａの例では、ダウンサンプリングは、画像ＩＶｋの領域Ｚ４に垂直方向に適用されている。
【0106】
図５Ｂの例では、ダウンサンプリングは、画像ＩＶｋの領域Ｚ５に水平方向に適用されている。
【0107】
図５Ｃの例では、ダウンサンプリングは、画像ＩＶｋ全体に適用されている。
【0108】
図５Ｄの例では、ダウンサンプリングは、画像ＩＶｋの領域Ｚ６に水平方向と垂直方向の両方に適用されている。
【0109】
次いで、符号化予定の処理済みのデータＤＴｋは、
－ ダウンサンプリング済みの画像データ（画素）と、
－ 適用されたダウンサンプリングについて説明する情報と
を含み、適用されたダウンサンプリングについて説明する情報は、例えば、
－ 使用されたダウンサンプリングファクタ、
－ 使用されたダウンサンプリング方向、
－ 図５Ａ、５Ｂ、５Ｄの事例では、画像ＩＶｋのフィルタリング済みの領域Ｚ４、Ｚ５、Ｚ６の場所、又は、
－ 図５Ｃの事例では、画像ＩＶｋの一番左上に位置する画素の座標、及び、画像ＩＶｋの一番右下に位置する画素の座標（従って、この画像の完全なエリアを定義する）
などである。
－ ダウンサンプリング済みの画像データ（画素）と、
－ 適用されたダウンサンプリングについて説明する情報と
を含み、適用されたダウンサンプリングについて説明する情報は、例えば、
－ 使用されたダウンサンプリングファクタ、
－ 使用されたダウンサンプリング方向、
－ 図５Ａ、５Ｂ、５Ｄの事例では、画像ＩＶｋのフィルタリング済みの領域Ｚ４、Ｚ５、Ｚ６の場所、又は、
－ 図５Ｃの事例では、画像ＩＶｋの一番左上に位置する画素の座標、及び、画像ＩＶｋの一番右下に位置する画素の座標（従って、この画像の完全なエリアを定義する）
などである。
【0110】
次いで、Ｃ１１ｂ（図１）において、ＨＥＶＣ、３Ｄ－ＨＥＶＣ、ＭＶ－ＨＥＶＣなどのタイプのコーダによって、ダウンサンプリング済みの画像データ（画素）が符号化される。適用されたダウンサンプリングの説明情報は、その部分に対して、Ｃ１１ｂ（図１）において、ロスレスコーダによって符号化される。
【0111】
ダウンサンプリングファクタの値は、固定することも、画像ＩＶｋを捕捉したカメラの３Ｄシーンの位置に依存することも可能である。従って、例えば、上記Ｎ個のビューの中の別のビューの画像が、画像ＩＶｋを捕捉したカメラの位置／向きとは異なる３Ｄシーンにおける位置／向きを有するカメラによって捕捉されている場合は、例えば、別のダウンサンプリングファクタが使用される。
【0112】
ダウンサンプリングの適用は、ビューＶｋの画像が符号化される時刻にさらに依存し得る。例えば、現在の時刻では、画像ＩＶｋにダウンサンプリングを適用することを決定する一方で、現在の時刻の前後の時刻では、ビューＶｋの画像にそのようなダウンサンプリング又はその件に関する任意の処理を適用しないことを決定することができる。
【0113】
最後に、ダウンサンプリングは、現在の時刻において１つ又は複数のビューの画像に適用することができる。画像ＩＶｋのダウンサンプリング済みの領域は、現在の時刻において符号化予定の別のビューの画像のダウンサンプリング済みの領域と同じであっても、同じでなくともよい。
【0114】
【0115】
図６に示される例では、画像ＩＶｋのオリジナルデータに適用された処理は、この画像のフィルタリングによる輪郭の検出である。例えば、２つの輪郭ＥＤ１及びＥＤ２が画像ＩＶｋに存在する。それ自体周知の方法では、そのようなフィルタリングは、例えば、
－ 輪郭ＥＤ１及びＥＤ２に輪郭検出フィルタを適用することと、
－ 輪郭ＥＤ１及びＥＤ２の各々を取り囲む領域（図６のハッチングによって表されている領域など）を増大するために輪郭ＥＤ１及びＥＤ２の拡大を適用することと、
－ 斜線の入った領域の部分を形成しない（従って、符号化は不要であると考えられる）オリジナルデータのすべてを画像ＩＶｋから削除することと
を含む。
－ 輪郭ＥＤ１及びＥＤ２に輪郭検出フィルタを適用することと、
－ 輪郭ＥＤ１及びＥＤ２の各々を取り囲む領域（図６のハッチングによって表されている領域など）を増大するために輪郭ＥＤ１及びＥＤ２の拡大を適用することと、
－ 斜線の入った領域の部分を形成しない（従って、符号化は不要であると考えられる）オリジナルデータのすべてを画像ＩＶｋから削除することと
を含む。
【0116】
次いで、符号化予定の処理済みのデータＤＴｋは、そのようなフィルタリングの事例では、
－ 斜線の入った領域に含まれるオリジナル画素と、
－ 適用されたフィルタリングについて説明する情報（例えば、斜線の入った領域に含まれない各画素に対して事前に定義された値など、例えば、事前に定義された値ＹＵＶ＝０００によって表される）と
を含む。
－ 斜線の入った領域に含まれるオリジナル画素と、
－ 適用されたフィルタリングについて説明する情報（例えば、斜線の入った領域に含まれない各画素に対して事前に定義された値など、例えば、事前に定義された値ＹＵＶ＝０００によって表される）と
を含む。
【0117】
次いで、Ｃ１１ｂ（図１）において、ＨＥＶＣ、３Ｄ－ＨＥＶＣ、ＭＶ－ＨＥＶＣなどのタイプのコーダによって、斜線の入った領域に対応する画像データ（画素）が符号化される。適用されたフィルタリングの説明情報は、その部分に対して、Ｃ１１ｂ（図１）において、ロスレスコーダによって符号化される。
【0118】
画像ＩＶｋに関連してたった今説明したフィルタリングは、上記Ｎ個のビューの中の他のビューの１つ又は複数の画像（ビューの画像によって異なり得るこれらの１つ又は複数の画像の領域）に適用することができる。
【0119】
【0120】
図７に示される例では、画像ＩＶｋのオリジナルデータに適用された処理は、Ｎ個のビューの中の別のビューＶｐの少なくとも１つの画像ＩＶｐを使用した画像ＩＶｋの少なくとも１つの領域ＺＯＣのオクルージョンの検出である（１≦ｐ≦Ｎ）。
【0121】
それ自体周知の方法では、そのようなオクルージョン検出は、例えば、視差推定を使用して、画像ＩＶｐに基づいて画像ＩＶｋの領域ＺＯＣを探すものである。次いで、オクルージョン領域ＺＯＣは、例えば、数理形態学アルゴリズムを使用して拡大される。こうして拡大された領域ＺＯＣは、図７では、ハッチングによって表されている。斜線の入った領域ＺＯＣの部分を形成しない（従って、符号化は不要であると考えられる）画像ＩＶｋのオリジナルデータはすべて削除される。
【0122】
次いで、符号化予定の処理済みのデータＤＴｋは、そのようなオクルージョン検出の事例では、
－ 斜線の入った領域に含まれるオリジナル画素と、
－ 適用されたオクルージョン検出について説明する情報（例えば、斜線の入った領域に含まれない各画素に対して事前に定義された値など、例えば、事前に定義された値ＹＵＶ＝０００によって表される）と
を含む。
－ 斜線の入った領域に含まれるオリジナル画素と、
－ 適用されたオクルージョン検出について説明する情報（例えば、斜線の入った領域に含まれない各画素に対して事前に定義された値など、例えば、事前に定義された値ＹＵＶ＝０００によって表される）と
を含む。
【0123】
次いで、Ｃ１１ｂ（図１）において、ＨＥＶＣ、３Ｄ－ＨＥＶＣ、ＭＶ－ＨＥＶＣなどのタイプのコーダによって、斜線の入った領域に対応する画像データ（画素）が符号化される。適用されたオクルージョン検出の説明情報は、その部分に対して、Ｃ１１ｂ（図１）において、ロスレスコーダによって符号化される。
【0124】
【0125】
図８に示される例では、画像ＩＶｋのオリジナルデータに適用された処理は、
－ 画像ＩＶｋのオリジナル画素に基づいて、
－ Ｃ１１ａ（図１）において第１の符号化方法ＭＣ１を使用して符号化される１つ又は複数の他のビューの画像ＩＶｊ（１≦ｊ≦ｎ）のオリジナル画素に基づいて、
－ 潜在的には、Ｃ１１ｂ（図１）において処理済みの画素が第２の符号化方法ＭＣ２を使用して符号化される少なくとも１つの他のビューの画像ＩＶｌ（ｎ＋１≦ｌ≦Ｎ）のオリジナル画素に基づいて、
画素を計算するものである。
－ 画像ＩＶｋのオリジナル画素に基づいて、
－ Ｃ１１ａ（図１）において第１の符号化方法ＭＣ１を使用して符号化される１つ又は複数の他のビューの画像ＩＶｊ（１≦ｊ≦ｎ）のオリジナル画素に基づいて、
－ 潜在的には、Ｃ１１ｂ（図１）において処理済みの画素が第２の符号化方法ＭＣ２を使用して符号化される少なくとも１つの他のビューの画像ＩＶｌ（ｎ＋１≦ｌ≦Ｎ）のオリジナル画素に基づいて、
画素を計算するものである。
【0126】
次いで、符号化予定の処理済みのデータＤＴｋは、そのような計算の事例では、
－ 計算された上記ビューの画像ＩＶｋの画素のインジケータ、
－ 画像ＩＶｊにおける、画像ＩＶｋの画素を計算するために使用されたオリジナル画素の場所についての情報、
－ 潜在的には、画像ＩＶｌにおける、画像ＩＶｋの画素を計算するために使用されたオリジナル画素の場所についての情報
を含む。
－ 計算された上記ビューの画像ＩＶｋの画素のインジケータ、
－ 画像ＩＶｊにおける、画像ＩＶｋの画素を計算するために使用されたオリジナル画素の場所についての情報、
－ 潜在的には、画像ＩＶｌにおける、画像ＩＶｋの画素を計算するために使用されたオリジナル画素の場所についての情報
を含む。
【0127】
前述の計算は、例えば、画像ＩＶｊのオリジナル画素からビューの画像ＩＶｋのオリジナル画素及び潜在的には画像ＩＶｌのオリジナル画素を差し引くものである。
【0128】
【0129】
図９に示される例では、画像ＩＶｋのオリジナルデータに適用された処理は、
－ 画像ＩＶｋのオリジナル画素を処理して、処理済みのデータＤＴ’ｋを提供し、
－ ビューＶｓ（１≦ｓ≦Ｎ）の画像ＩＶｓのオリジナル画素を処理して、処理済みのデータＤＴｓを提供し、
－ 画像ＩＶｋの処理済みのデータＤＴ’ｋと画像ＩＶｓの処理済みのデータＤＴｓをまとめて単一の画像ＩＶｏｎｅにするもの（得られたオリジナルの処理済みのデータＤＴｋは、Ｃ１１ｂ（図１）において第２の符号化方法ＭＣ２を使用して符号化される）
である。
－ 画像ＩＶｋのオリジナル画素を処理して、処理済みのデータＤＴ’ｋを提供し、
－ ビューＶｓ（１≦ｓ≦Ｎ）の画像ＩＶｓのオリジナル画素を処理して、処理済みのデータＤＴｓを提供し、
－ 画像ＩＶｋの処理済みのデータＤＴ’ｋと画像ＩＶｓの処理済みのデータＤＴｓをまとめて単一の画像ＩＶｏｎｅにするもの（得られたオリジナルの処理済みのデータＤＴｋは、Ｃ１１ｂ（図１）において第２の符号化方法ＭＣ２を使用して符号化される）
である。
【0130】
図１０は、本発明の特定の実施形態のいずれか１つによる符号化方法を実施するように設計された符号化デバイスＣＯＤの簡単な構造を示す。
【0131】
本発明の特定の一実施形態によれば、符号化方法によって実行されるアクションは、コンピュータプログラム命令によって実施される。その目的のため、符号化デバイスＣＯＤは、コンピュータの従来のアーキテクチャを有し、具体的には、メモリＭＥＭ＿Ｃと、処理ユニットＵＴ＿Ｃとを含み、処理ユニットＵＴ＿Ｃは、例えば、プロセッサＰＲＯＣ＿Ｃが装備され、メモリＭＥＭ＿Ｃに格納されたコンピュータプログラムＰＧ＿Ｃによって駆動される。コンピュータプログラムＰＧ＿Ｃは、プログラムがプロセッサＰＲＯＣ＿Ｃによって実行されると、上記で説明されるものなどの符号化方法のアクションを実施するための命令を含む。
【0132】
初期化において、コンピュータプログラムＰＧ＿Ｃのコード命令は、プロセッサＰＲＯＣ＿Ｃによって実行される前に、例えば、ＲＡＭメモリ（図示せず）にロードされる。処理ユニットＵＴ＿ＣのプロセッサＰＲＯＣ＿Ｃは、具体的には、コンピュータプログラムＰＧ＿Ｃの命令に従って、上記で説明される符号化方法のアクションを実施する。
【0133】
７．例示的な復号スキームの実装
以下では、例えば、３Ｄ－ＨＥＶＣ若しくはＭＶ－ＨＥＶＣ規格又は同様のものに適合するいかなるタイプのマルチビュー映像デコーダも使用することができる３６０°、１８０°又は他の全方位映像を復号するための方法について説明する。
以下では、例えば、３Ｄ－ＨＥＶＣ若しくはＭＶ－ＨＥＶＣ規格又は同様のものに適合するいかなるタイプのマルチビュー映像デコーダも使用することができる３６０°、１８０°又は他の全方位映像を復号するための方法について説明する。
【0134】
図１１を参照すると、そのような復号方法は、上記多数のビューＶ１、…、ＶＮの一部を形成するビューの現在の画像を表すデータ信号に適用される。
【0135】
本発明による復号方法は、
－ ビューＶ１の画像ＩＶ１と関連付けられた符号化済みのデータを表すデータ信号、
－ ビューＶ２の画像ＩＶ２と関連付けられた符号化済みのデータを表すデータ信号、
－…、
－ ビューＶｋの画像ＩＶｋと関連付けられた符号化済みのデータを表すデータ信号、
－…、
－ ビューＶＮの画像ＩＶＮと関連付けられた符号化済みのデータを表すデータ信号
を復号するものである。
－ ビューＶ１の画像ＩＶ１と関連付けられた符号化済みのデータを表すデータ信号、
－ ビューＶ２の画像ＩＶ２と関連付けられた符号化済みのデータを表すデータ信号、
－…、
－ ビューＶｋの画像ＩＶｋと関連付けられた符号化済みのデータを表すデータ信号、
－…、
－ ビューＶＮの画像ＩＶＮと関連付けられた符号化済みのデータを表すデータ信号
を復号するものである。
【0136】
前述の復号方法を使用して再構築予定の対象のビューの画像は、同様に、テクスチャ画像又は深度画像であり得る。
【0137】
復号方法は、再構築予定のビューＶｋの少なくとも１つの画像ＩＶｋを表すデータ信号Ｆ１ｋ、Ｆ２ｋ又はＦ３ｋ及びＦ’３ｋに対して、以下を含む。
【0138】
Ｄ１では、図２Ａ、２Ｂ、２Ｃにそれぞれ示されるような、データ信号Ｆ１ｋ、Ｆ２ｋ又はＦ３ｋ及びＦ’３ｋにおいて、画像ＩＶｋが第１の符号化方法ＭＣ１を使用して符号化されているか、又は、第２の符号化方法ＭＣ２を使用して符号化されているかを示すｆｌａｇ＿ｐｒｏｃという情報が読み取られる。
【0139】
信号Ｆ１ｋの場合は、ｆｌａｇ＿ｐｒｏｃという情報は、０である。
【0140】
Ｄ１１ａでは、データ信号Ｆ１ｋにおいて、符号化済みの画像ＩＶＣｋと関連付けられた符号化済みのデータｄｃ１ｋ、ｄｃ２ｋ、…、ｄｃＱｋが読み取られる。
【0141】
Ｄ１２ａでは、Ｄ１１ａにおいて読み取られた符号化済みのデータｄｃ１ｋ、ｄｃ２ｋ、…、ｄｃＱｋに基づいて、図１のＣ１１ａにおいて符号化に適用された符号化方法ＭＣ１に対応する復号方法ＭＤ１を使用して、画像ＩＶＤｋが再構築される。その目的のため、画像ＩＶｋは、例えば、ＨＥＶＣ、ＭＶＣ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなどの規格に適合するものなど、従来のデコーダを使用して再構築される。
【0142】
復号Ｄ１２ａが完了すると、こうして再構築された画像ＩＶＤｋは、図１のＣ１１ａにおいて符号化された画像ＩＶｋのオリジナルデータｄ１ｋ、ｄ２ｋ、…、ｄＱｋを含む。
【0143】
画像ＩＶＤｋはオリジナル画像ＩＶｋと一致するため、例えば、中間ビューの合成の文脈において、使用に適したマスタ画像を構成する。
【0144】
Ｄ１では、信号Ｆ２ｋ又はＦ３ｋの場合は、決定されたｆｌａｇ＿ｐｒｏｃという情報は、１である。
【0145】
信号Ｆ２ｋの場合は、Ｄ１１ｂでは、データ信号Ｆ２ｋにおいて、図１のＣ１１ｂにおいて得られるような処理済み且つ符号化済みの画像ＩＶＴＣｋと関連付けられた処理済み且つ符号化済みのデータＤＴＣｋが読み取られる。
【0146】
読み取られたこれらの処理済み且つ符号化済みのデータＤＴＣｋは、画像タイプのデータのみである。
【0147】
Ｄ１２ｂでは、Ｄ１１ｂにおいて読み取られた符号化済みのデータＤＴＣｋに基づいて、図１のＣ１１ｂにおいて符号化に適用された符号化方法ＭＣ２に対応する復号方法ＭＤ２を使用して、処理済みの画像ＩＶＴＤｋが再構築される。その目的のため、符号化済みのデータＤＴＣｋは、例えば、ＨＥＶＣ、ＭＶＣ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなどの規格に適合するものなど、従来のデコーダを使用して復号される。
【0148】
復号Ｄ１２ｂが完了すると、こうして再構築された処理済みの画像ＩＶＴＤｋは、復号済みのデータＤＴＣｋに相当するものであり、図１のＣ１１ｂにおけるそれらの符号化前の画像ＩＶｋの処理済みのデータＤＴｋを含む。
【0149】
処理済み且つ再構築済みの画像ＩＶＴＤｋは、特定の画像処理を使用して処理された画像ＩＶｋのオリジナルデータのすべて又は一部に相当する画像データ（画素）を含み、その様々な詳細な例については、図４～９を参照して説明している。
【0150】
信号Ｆ３ｋの場合は、Ｄ１１ｃにおいて、処理済み且つ符号化済みの画像ＩＶＴＣｋと関連付けられた処理済み且つ符号化済みのデータＤＴＣｋが読み取られる。
【0151】
その目的のため、
－ 信号Ｆ３ｋにおいて、画像タイプの処理済み且つ符号化済みのデータＤＴＣｋが読み取られ、
－ 信号Ｆ’３ｋにおいて、例えば、テキストタイプのデータ、又は、画像データと画像データ以外のタイプのデータの両方を含むものなど、画像データとは異なる処理済み且つ符号化済みのデータＤＴＣｋが読み取られる。
－ 信号Ｆ３ｋにおいて、画像タイプの処理済み且つ符号化済みのデータＤＴＣｋが読み取られ、
－ 信号Ｆ’３ｋにおいて、例えば、テキストタイプのデータ、又は、画像データと画像データ以外のタイプのデータの両方を含むものなど、画像データとは異なる処理済み且つ符号化済みのデータＤＴＣｋが読み取られる。
【0152】
処理済み且つ符号化済みのデータＤＴＣｋは、Ｄ１２ｂにおいて復号方法ＭＤ２を使用して復号され、復号方法ＭＤ２は、
－ 特に画像データを復号するために、ロッシー又はロスレスデコーダによって（そのようなデコーダは、第１の復号方法ＭＤ１を実施するデコーダと同一である可能性も、異なる可能性もある）、
－ 特にテキストタイプのデータを復号するために、ロスレスデコーダによって
実施することができる。
－ 特に画像データを復号するために、ロッシー又はロスレスデコーダによって（そのようなデコーダは、第１の復号方法ＭＤ１を実施するデコーダと同一である可能性も、異なる可能性もある）、
－ 特にテキストタイプのデータを復号するために、ロスレスデコーダによって
実施することができる。
【0153】
復号Ｄ１２ｂが完了すると、
－ 復号された画像タイプのデータＤＴＣｋに相当する、こうして再構築された処理済みの画像ＩＶＴＤｋ、
－ 符号化Ｃ１１ｂ（図１）の前に画像ＩＶｋに適用された処理の説明情報に相当するテキストタイプの処理済みのデータ
が得られる。
－ 復号された画像タイプのデータＤＴＣｋに相当する、こうして再構築された処理済みの画像ＩＶＴＤｋ、
－ 符号化Ｃ１１ｂ（図１）の前に画像ＩＶｋに適用された処理の説明情報に相当するテキストタイプの処理済みのデータ
が得られる。
【0154】
第２の復号方法ＭＤ２によるそのような処理済み且つ再構築済みの画像ＩＶＴＤｋは、処理に次いでＣ１１ｂで符号化される前の画像ＩＶｋのオリジナルデータのすべてを含むわけではない。しかし、第２の復号方法ＭＤ２によるビューのそのような再構築済みの画像は、優れた品質のビューの合成画像を得るために、例えば、中間画像の合成の文脈において、第１の復号方法ＭＤ１を使用して再構築されるマスタビューの画像に加えて使用することができる。
【0155】
たった今上記で説明した復号方法は、次いで、現在の時刻において、利用可能な再構築予定の符号化済みの画像ＩＶＣ１、ＩＶＣ２、…、ＩＶＣＮの各々に対して、それらのいくつかのみに対して、又は、画像ＩＶｋ（例えば、ｋ＝１）に限定して、実施することができる。
【0156】
図１２Ａ及び１２Ｂに示される２つの例示的な実施形態によれば、例えば、再構築予定のＮ個の符号化済みの画像ＩＶＣ１、…、ＩＶＣＮの中で、以下のように想定される。
－ ｎ個の最初の符号化済みの画像ＩＶＣ１、…、ＩＶＣｎは、ｎ個のマスタビューの各々の画像をそれぞれ得るために、第１の復号技法ＭＤ１を使用して再構築される。
－ Ｎ－ｎ個の他の符号化済みの画像ＩＶＣｎ＋１、…、ＩＶＣＮは、Ｎ－ｎ個の追加のビューの各々の画像をそれぞれ得るために、第２の復号方法ＭＤ２を使用して再構築される。
－ ｎ個の最初の符号化済みの画像ＩＶＣ１、…、ＩＶＣｎは、ｎ個のマスタビューの各々の画像をそれぞれ得るために、第１の復号技法ＭＤ１を使用して再構築される。
－ Ｎ－ｎ個の他の符号化済みの画像ＩＶＣｎ＋１、…、ＩＶＣＮは、Ｎ－ｎ個の追加のビューの各々の画像をそれぞれ得るために、第２の復号方法ＭＤ２を使用して再構築される。
【0157】
ｎ＝０の場合は、第２の復号方法ＭＤ２を使用して、１～Ｎ個のビューの画像ＩＶＣ１、…、ＩＶＣＮが再構築される。ｎ＝Ｎ－１の場合は、第２の復号方法ＭＤ２を使用して、単一のビューの画像が再構築される。
【0158】
図１２Ａの例では、Ｄ１００において、図３ＡのＣ１４において生成されるようなデータ信号Ｆは、
－ ２つのデータ信号（図３ＡのＣ１３ａにおいて生成されるようなデータ信号Ｆ１、図３ＡのＣ１３ｂにおいて生成されるようなデータ信号Ｆ２）に、又は、
－ ３つのデータ信号（図３ＡのＣ１３ａにおいて生成されるようなデータ信号Ｆ１、図３ＡのＣ１３ｃにおいて生成されるようなデータ信号Ｆ３とＦ’３）に
分離される。
－ ２つのデータ信号（図３ＡのＣ１３ａにおいて生成されるようなデータ信号Ｆ１、図３ＡのＣ１３ｂにおいて生成されるようなデータ信号Ｆ２）に、又は、
－ ３つのデータ信号（図３ＡのＣ１３ａにおいて生成されるようなデータ信号Ｆ１、図３ＡのＣ１３ｃにおいて生成されるようなデータ信号Ｆ３とＦ’３）に
分離される。
【0159】
信号Ｆ１及びＦ２の事例では、Ｄ１１０ａにおいて、データ信号Ｆ１は、次に、ビューのｎ個の符号化済みの画像ＩＶＣ１、…、ＩＶＣｎをそれぞれ表すｎ個のデータ信号Ｆ１１、…、Ｆ１ｎに分離される。
【0160】
Ｄ１１ａでは、ｎ個のデータ信号Ｆ１１、…、Ｆ１ｎの各々において、これらのｎ個の符号化済みの画像の各々と関連付けられた符号化済みのオリジナルデータｄｃ１１、…、ｄｃＱ１、…、ｄｃ１ｎ、…、ｄｃＱｎがそれぞれ決定される。
【0161】
Ｄ１２ａでは、Ｄ１１ａにおいて読み取られたそれらのそれぞれの符号化済みのオリジナルデータに基づいて、ＨＥＶＣタイプの従来のデコーダを使用して、画像ＩＶＤ１、…、ＩＶＤｎが互いに独立して再構築される。
【0162】
依然として図１２Ａを参照すると、Ｄ１１０ｂにおいて、データ信号Ｆ２は、次に、Ｎ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮをそれぞれ表すＮ－ｎ個のデータ信号Ｆ２ｎ＋１、…、Ｆ２Ｎに分離される。
【0163】
Ｄ１１ｂでは、Ｎ－ｎ個のデータ信号Ｆ２ｎ＋１、…、Ｆ２Ｎの各々において、再構築予定のＮ－ｎ個の画像ＩＶｎ＋１、…、ＩＶＮの各々にそれぞれ相当するＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮがそれぞれ読み取られる。
【0164】
Ｄ１２ｂでは、Ｄ１１ｂにおいて読み取られたＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮに基づいて、ＨＥＶＣタイプの従来のデコーダを使用して、処理済みの画像がそれぞれ互いに独立して再構築される。次いで、処理済み且つ再構築済みの画像ＩＶＴＤｎ＋１、…、ＩＶＴＤＮが得られる。
【0165】
信号Ｆ１、Ｆ３及びＦ’３の事例では、Ｄ１１０ａにおいて、データ信号Ｆ１は、次に、ｎ個の符号化済みの画像ＩＶＣ１、…、ＩＶＣｎをそれぞれ表すｎ個のデータ信号Ｆ１１、…、Ｆ１ｎに分離される。
【0166】
Ｄ１１ａでは、ｎ個のデータ信号Ｆ１１、…、Ｆ１ｎの各々において、これらのｎ個の符号化済みの画像の各々と関連付けられた符号化済みのオリジナルデータｄｃ１１、…、ｄｃＱ１、…、ｄｃ１ｎ、…、ｄｃＱｎがそれぞれ読み取られる。
【0167】
Ｄ１２ａでは、Ｄ１１ａにおいて読み取られたそれらのそれぞれの符号化済みのオリジナルデータに基づいて、ＨＥＶＣタイプの従来のデコーダを使用して、画像ＩＶＤ１、…、ＩＶＤｎが互いに独立して再構築される。
【0168】
Ｄ１１０ｃでは、
－ データ信号Ｆ３は、次に、画像タイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮをそれぞれ表すＮ－ｎ個のデータ信号Ｆ３ｎ＋１、…、Ｆ３Ｎに分離され、
－ データ信号Ｆ’３は、次に、テキスト又は別のタイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮをそれぞれ表すＮ－ｎ個のデータ信号Ｆ’３ｎ＋１、…、Ｆ’３Ｎに分離される。
－ データ信号Ｆ３は、次に、画像タイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮをそれぞれ表すＮ－ｎ個のデータ信号Ｆ３ｎ＋１、…、Ｆ３Ｎに分離され、
－ データ信号Ｆ’３は、次に、テキスト又は別のタイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮをそれぞれ表すＮ－ｎ個のデータ信号Ｆ’３ｎ＋１、…、Ｆ’３Ｎに分離される。
【0169】
Ｄ１１ｃでは、
－ Ｎ－ｎ個のデータ信号Ｆ３ｎ＋１、…、Ｆ３Ｎの各々において、再構築予定のＮ－ｎ個の画像ＩＶｎ＋１、…、ＩＶＮの各々にそれぞれ相当する画像タイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮがそれぞれ読み取られ、
－ Ｎ－ｎ個のデータ信号Ｆ’３ｎ＋１、…、Ｆ’３Ｎの各々において、再構築予定のＮ－ｎ個の画像ＩＶｎ＋１、…、ＩＶＮの各々に対する処理の説明情報にそれぞれ相当するテキスト又は別のタイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮがそれぞれ読み取られる。
－ Ｎ－ｎ個のデータ信号Ｆ３ｎ＋１、…、Ｆ３Ｎの各々において、再構築予定のＮ－ｎ個の画像ＩＶｎ＋１、…、ＩＶＮの各々にそれぞれ相当する画像タイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮがそれぞれ読み取られ、
－ Ｎ－ｎ個のデータ信号Ｆ’３ｎ＋１、…、Ｆ’３Ｎの各々において、再構築予定のＮ－ｎ個の画像ＩＶｎ＋１、…、ＩＶＮの各々に対する処理の説明情報にそれぞれ相当するテキスト又は別のタイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮがそれぞれ読み取られる。
【0170】
Ｄ１２ｂでは、Ｄ１１ｂにおいて読み取られたＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮに基づいて、ＨＥＶＣタイプの従来のデコーダを使用して、Ｎ－ｎ個の処理済みの画像がそれぞれ互いに独立して再構築される。次いで、処理済み且つ再構築済みの画像ＩＶＴＤｎ＋１、…、ＩＶＴＤＮが得られる。
【0171】
また、Ｄ１２ｂでは、Ｄ１１ｃにおいて読み取られたテキスト又は他のタイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮに基づいて、符号化において使用されたロスレスコーダに対応するデコーダを使用して、Ｃ１１ｂ（図３Ａ）におけるそれらの符号化前の画像ＩＶｎ＋１、…、ＩＶＮの各々に適用された処理の再構築済みの説明情報も存在する。
【0172】
図１２Ｂの例では、Ｄ１００において、図３ＢのＣ１４において生成されるようなデータ信号Ｆは、
－ ２つのデータ信号（図３ＢのＣ１２ａにおいて生成されるようなデータ信号Ｆ１、図３ＢのＣ１２ｂにおいて生成されるようなデータ信号Ｆ２）に、又は、
－ ３つのデータ信号（図３ＢのＣ１２ａにおいて生成されるようなデータ信号Ｆ１、図３ＢのＣ１２ｃにおいて生成されるようなデータ信号Ｆ３とＦ’３）に
分離される。
－ ２つのデータ信号（図３ＢのＣ１２ａにおいて生成されるようなデータ信号Ｆ１、図３ＢのＣ１２ｂにおいて生成されるようなデータ信号Ｆ２）に、又は、
－ ３つのデータ信号（図３ＢのＣ１２ａにおいて生成されるようなデータ信号Ｆ１、図３ＢのＣ１２ｃにおいて生成されるようなデータ信号Ｆ３とＦ’３）に
分離される。
【0173】
信号Ｆ１及びＦ２の事例では、Ｄ１１ａでは、データ信号Ｆ１において、ｎ個の符号化済みのビューの画像ＩＶＣ１，ｉ、…、ＩＶＣｎ，ｉの各々とそれぞれ関連付けられた符号化済みのオリジナルデータｄｃ１１、…、ｄｃＱ１、…、ｄｃ１ｎ、…、ｄｃＱｎが読み取られる。
【0174】
Ｄ１２ａでは、Ｄ１１ａにおいて読み取られたそれらのそれぞれの符号化済みのオリジナルデータに基づいて、ＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプの従来のデコーダを使用して、同時に、画像ＩＶＤ１，ｉ、…、ＩＶＤｎ，ｉが再構築される。
【0175】
図１２ＢのＤ１１ｂでは、データ信号Ｆ２において、再構築予定のＮ－ｎ個のビューの画像ＩＶｎ＋１、…、ＩＶＮの各々とそれぞれ関連付けられたＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮが読み取られる。
【0176】
Ｄ１２ｂでは、Ｄ１１ｂにおいて読み取られたＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮに基づいて、ＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプの従来のデコーダを使用して、同時に、Ｎ－ｎ個の処理済みの画像がそれぞれ再構築される。次いで、処理済み且つ再構築済みの画像ＩＶＴＤｎ＋１、…、ＩＶＴＤＮが得られる。
【0177】
信号Ｆ１、Ｆ３及びＦ’３の事例では、Ｄ１１ａでは、データ信号Ｆ１において、ｎ個の符号化済みのビューの画像ＩＶＣ１、…、ＩＶＣｎの各々とそれぞれ関連付けられた符号化済みのオリジナルデータｄｃ１１、…、ｄｃＱ１、…、ｄｃ１ｎ、…、ｄｃＱｎが読み取られる。
【0178】
Ｄ１２ａでは、Ｄ１１ａにおいて読み取られたそれらのそれぞれの符号化済みのオリジナルデータに基づいて、ＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプの従来のデコーダを使用して、同時に、画像ＩＶＤ１、…、ＩＶＤｎが再構築される。
【0179】
図１２ＢのＤ１１ｃでは、データ信号Ｆ３において、再構築予定のＮ－ｎ個の画像ＩＶｎ＋１、…、ＩＶＮの各々とそれぞれ関連付けられた画像タイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮが読み取られる。
【0180】
Ｄ１２ｂでは、Ｄ１１ｃにおいて読み取られたＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮに基づいて、ＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプの従来のデコーダを使用して、同時に、処理済みの画像がそれぞれ再構築される。次いで、ビューＩＶＴＤｎ＋１、…、ＩＶＴＤＮの処理済み且つ再構築済みの画像が得られる。
【0181】
また、図１２ＢのＤ１２ｂでは、Ｄ１１ｃにおいて読み取られたテキスト又は他のタイプのＮ－ｎ個の処理済み且つ符号化済みのデータＤＴＣｎ＋１、…、ＤＴＣＮに基づいて、符号化において使用されたロスレスコーダに対応するデコーダを使用して復号された、Ｃ１１ｂ（図３Ｂ）におけるそれらの符号化前の画像ＩＶｎ＋１、…、ＩＶＮの各々に適用された処理の再構築済みの説明情報も存在する。
【0182】
当然ながら、復号方法の他の組合せも可能である。
【0183】
図１２Ａの１つの可能な変形形態によれば、復号方法ＭＤ１を実施するデコーダがＨＥＶＣタイプのデコーダであり、復号方法ＭＤ２を実施するデコーダがＭＶ－ＨＥＶＣ若しくは３Ｄ－ＨＥＶＣタイプのデコーダであることも可能である。
【0184】
図１２Ｂの１つの可能な変形形態によれば、復号方法ＭＤ１を実施するデコーダがＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣタイプのデコーダであり、復号方法ＭＤ２を実施するデコーダがＨＥＶＣタイプのコーダであることも可能である。
【0185】
図１３は、本発明の特定の実施形態のいずれか１つによる復号方法を実施するように設計された復号デバイスＤＥＣの簡単な構造を示す。
【0186】
本発明の特定の一実施形態によれば、復号方法によって実行されるアクションは、コンピュータプログラム命令によって実施される。その目的のため、復号デバイスＤＥＣは、コンピュータの従来のアーキテクチャを有し、具体的には、メモリＭＥＭ＿Ｄと、処理ユニットＵＴ＿Ｄとを含み、処理ユニットＵＴ＿Ｄは、例えば、プロセッサＰＲＯＣ＿Ｄが装備され、メモリＭＥＭ＿Ｄに格納されたコンピュータプログラムＰＧ＿Ｄによって駆動される。コンピュータプログラムＰＧ＿Ｄは、プログラムがプロセッサＰＲＯＣ＿Ｄによって実行されると、上記で説明されるものなどの復号方法のアクションを実施するための命令を含む。
【0187】
初期化において、コンピュータプログラムＰＧ＿Ｄのコード命令は、プロセッサＰＲＯＣ＿Ｄによって実行される前に、例えば、ＲＡＭメモリ（図示せず）にロードされる。処理ユニットＵＴ＿ＤのプロセッサＰＲＯＣ＿Ｄは、具体的には、コンピュータプログラムＰＧ＿Ｄの命令に従って、上記で説明される復号方法のアクションを実施する。
【0188】
一実施形態によれば、復号デバイスＤＥＣは、例えば、端末に含まれる。
【0189】
８．画像処理への本発明の例示的な適用
上記で既に説明したように、Ｎ個の再構築済みの画像ＩＶＤ１、…、ＩＶＤｎ及びＩＶＴＤｎ＋１、…、ＩＶＴＤＮは、ユーザに必要な中間ビューの画像を合成するために使用することができる。
上記で既に説明したように、Ｎ個の再構築済みの画像ＩＶＤ１、…、ＩＶＤｎ及びＩＶＴＤｎ＋１、…、ＩＶＴＤＮは、ユーザに必要な中間ビューの画像を合成するために使用することができる。
【0190】
図１４に示されるように、ユーザが任意のビューの画像の合成を必要とする事例では、マスタビューと見なされるビューＩＶＤ１、…、ＩＶＤｎのｎ個の最初の再構築済みの画像は、Ｓ１において、画像合成モジュールに送信される。
【0191】
ビューのＮ－ｎ個の処理済み且つ再構築済みの画像ＩＶＴＤｎ＋１、…、ＩＶＴＤＮは、ビューの追加の画像として、画像の合成において使用できるようにするため、Ｓ２において、それらの画像とそれぞれ関連付けられた復号済みの画像処理説明情報を使用して、処理する必要があり得る。
【0192】
処理Ｓ２が完了すると、ビューのＮ－ｎ個の再構築済みの画像ＩＶＤｎ＋１、…、ＩＶＤＮが得られる。
【0193】
次いで、Ｎ－ｎ個の再構築済みの画像ＩＶＤｎ＋１、…、ＩＶＤＮは、Ｓ３において、画像合成モジュールに送信される。
【0194】
Ｓ４では、ｎ個の最初の再構築済みのビューの画像ＩＶＤ１、…、ＩＶＤｎの少なくとも１つ及び潜在的にはＮ－ｎ個の再構築済みのビューのＮ－ｎ個の画像ＩＶＤｎ＋１、…、ＩＶＤＮの少なくとも１つを使用して、ビューの画像が合成される。
【0195】
次いで、合成Ｓ４が完了すると、合成ビューの画像ＩＶＳＹが得られる。
【0196】
ｎ個の再構築済みの画像ＩＶＤ１、…、ＩＶＤｎもまた処理Ｓ２を行えることに留意すべきである。そのような処理Ｓ２は、表される視野角がｎ個の再構築済みの画像ＩＶＤ１、…、ＩＶＤｎの１つ又は複数の視野角と一致しないビューの画像をユーザＵＴが必要とする事例において必要であることが分かる。例えば、ユーザＵＴが１２０×９０の視野を表すビューの画像を要求する一方で、ｎ個の再構築済みの画像ＩＶＤ１、…、ＩＶＤｎの各々は３６０×１８０の視野角を表す場合がある。再構築済みの画像ＩＶＤ１、…、ＩＶＤｎに対する処理のそのような可能性は、図１４の破線矢印によって表されている。それに加えて、図８及び９を参照して説明される処理のタイプに関連して、再構築済みの画像ＩＶＤ１、…、ＩＶＤｎは、Ｎ－ｎ個の他の画像ＩＶｎ＋１、…、ＩＶＮの処理の間に使用することができる。
【0197】
ここでは、図１５Ａ～１５Ｃを参照して、処理済み且つ再構築済みの画像ＩＶＴＤｋのデータに適用された処理の第１の実施形態について説明する。そのような処理は、図１のＣ１１ｂにおける符号化前にサンプリングされた対応するビューの画像ＩＶｋの初期の解像度を得るものである。
【0198】
【0199】
処理済み且つ再構築済みの画像ＩＶＴＤｋに適用された処理は、画像ＩＶｋの初期の解像度に戻すために、適用されたダウンサンプリングについて説明する情報を使用して、具体的には、
－ 使用されたダウンサンプリングファクタ（それにより、対応するアップサンプリングファクタを決定することができる）、
－ 使用されたダウンサンプリング方向（それにより、対応するアップサンプリング方向を決定することができる）、
－ 画像ＩＶｋのダウンサンプリング済みの領域Ｚ４の場所
などを使用して、図５Ａにおいて適用されたダウンサンプリングに対応するアップサンプリングを領域Ｚ４に適用するものである。
－ 使用されたダウンサンプリングファクタ（それにより、対応するアップサンプリングファクタを決定することができる）、
－ 使用されたダウンサンプリング方向（それにより、対応するアップサンプリング方向を決定することができる）、
－ 画像ＩＶｋのダウンサンプリング済みの領域Ｚ４の場所
などを使用して、図５Ａにおいて適用されたダウンサンプリングに対応するアップサンプリングを領域Ｚ４に適用するものである。
【0200】
【0201】
処理済み且つ再構築済みの画像ＩＶＴＤｋに適用された処理は、画像ＩＶｋの初期の解像度に戻すために、適用されたダウンサンプリングについて説明する情報を使用して、具体的には、
－ 使用されたダウンサンプリングファクタ（それにより、対応するアップサンプリングファクタを決定することができる）、
－ 使用されたダウンサンプリング方向（それにより、対応するアップサンプリング方向を決定することができる）、
－ 画像ＩＶｋのダウンサンプリング済みの領域Ｚ５の場所
などを使用して、図５Ｂにおいて適用されたダウンサンプリングに対応するアップサンプリングを領域Ｚ５に適用するものである。
－ 使用されたダウンサンプリングファクタ（それにより、対応するアップサンプリングファクタを決定することができる）、
－ 使用されたダウンサンプリング方向（それにより、対応するアップサンプリング方向を決定することができる）、
－ 画像ＩＶｋのダウンサンプリング済みの領域Ｚ５の場所
などを使用して、図５Ｂにおいて適用されたダウンサンプリングに対応するアップサンプリングを領域Ｚ５に適用するものである。
【0202】
【0203】
処理済み且つ再構築済みの画像ＩＶＴＤｋに適用された処理は、画像ＩＶｋの初期の解像度に戻すために、適用されたダウンサンプリングについて説明する情報を使用して、具体的には、
－ 使用されたダウンサンプリングファクタ（それにより、対応するアップサンプリングファクタを決定することができる）、
－ 使用されたダウンサンプリング方向（それにより、対応するアップサンプリング方向を決定することができる）
などを使用して、図５Ｃにおいて適用されたダウンサンプリングに対応するアップサンプリングを画像ＩＶＴＤｋの画像データのすべてに適用するものである。
－ 使用されたダウンサンプリングファクタ（それにより、対応するアップサンプリングファクタを決定することができる）、
－ 使用されたダウンサンプリング方向（それにより、対応するアップサンプリング方向を決定することができる）
などを使用して、図５Ｃにおいて適用されたダウンサンプリングに対応するアップサンプリングを画像ＩＶＴＤｋの画像データのすべてに適用するものである。
【0204】
【0205】
処理済み且つ再構築済みの画像ＩＶＴＤｋに適用された処理は、画像ＩＶｋの初期の解像度に戻すために、適用されたダウンサンプリングについて説明する情報を使用して、具体的には、
－ 使用されたダウンサンプリングファクタ（それにより、対応するアップサンプリングファクタを決定することができる）、
－ 使用されたダウンサンプリング方向（それにより、対応するアップサンプリング方向を決定することができる）、
－ 画像ＩＶｋのダウンサンプリング済みの領域Ｚ６の場所
などを使用して、図５Ｄにおいて適用されたダウンサンプリングに対応するアップサンプリングを領域Ｚ６に適用するものである。
－ 使用されたダウンサンプリングファクタ（それにより、対応するアップサンプリングファクタを決定することができる）、
－ 使用されたダウンサンプリング方向（それにより、対応するアップサンプリング方向を決定することができる）、
－ 画像ＩＶｋのダウンサンプリング済みの領域Ｚ６の場所
などを使用して、図５Ｄにおいて適用されたダウンサンプリングに対応するアップサンプリングを領域Ｚ６に適用するものである。
【0206】
ここでは、図１６を参照して、処理済み且つ再構築済みの画像ＩＶＴＤｋのデータに適用された処理の第２の実施形態について説明する。そのような処理は、画像ＩＶｋの符号化前にフィルタリングされているビューの画像ＩＶｋの１つ又は複数の輪郭を復元するものである。
【0207】
【0208】
次いで、処理済み且つ再構築済みのビューの画像ＩＶＴＤｋに適用された処理は、適用されたフィルタリングについて説明する情報を使用して、具体的には、フィルタリングされなかった各画素に対する事前に定義された値（具体的には、事前に定義された値ＹＵＶ＝０００）などを使用して、画像ＩＶｋの輪郭ＥＤ１及びＥＤ２を復元するものである。
【0209】
ここでは、図１７を参照して、処理済み且つ再構築済みの画像ＩＶＴＤｋのデータに適用された処理の第３の実施形態について説明する。そのような処理は、図８の処理の実施形態に従って符号化前に計算されたビューの画像ＩＶｋの画素を再構築するものである。
【0210】
次いで、処理済み且つ再構築済みの画像ＩＶＴＤｋに適用された処理は、
－ データ信号において読み取られたインジケータなど、計算されたビューの画像ＩＶｋの画素のインジケータを使用して、符号化において計算された上記ビューの画像ＩＶｋの画素を回収するもの、
－ 画像ＩＶｋの画素を計算するために使用された画像ＩＶｊにおける画素の場所についての情報を使用して、第１の復号方法ＭＤ１を使用して再構築された少なくとも１つの他のビューの画像ＩＶｊ（１≦ｊ≦ｎ）の画素を回収するもの、
－ 潜在的には、処理済みの画素が第２の復号方法ＭＤ２を使用して復号された少なくとも１つの他のビューの画像ＩＶｌ（ｎ＋１≦ｌ≦Ｎ）の画素を回収するもの
である。
－ データ信号において読み取られたインジケータなど、計算されたビューの画像ＩＶｋの画素のインジケータを使用して、符号化において計算された上記ビューの画像ＩＶｋの画素を回収するもの、
－ 画像ＩＶｋの画素を計算するために使用された画像ＩＶｊにおける画素の場所についての情報を使用して、第１の復号方法ＭＤ１を使用して再構築された少なくとも１つの他のビューの画像ＩＶｊ（１≦ｊ≦ｎ）の画素を回収するもの、
－ 潜在的には、処理済みの画素が第２の復号方法ＭＤ２を使用して復号された少なくとも１つの他のビューの画像ＩＶｌ（ｎ＋１≦ｌ≦Ｎ）の画素を回収するもの
である。
【0211】
次いで、処理済みのデータＤＴｋの復号は、
－ 少なくとも１つの他のビューの画像ＩＶｊ（１≦ｊ≦ｎ）の画素に基づいて、
－ 潜在的には、少なくとも１つの他のビューの画像ＩＶｌ（ｎ＋１≦ｌ≦Ｎ）の画素に基づいて、
画像ＩＶｋの画素を計算するものである。
－ 少なくとも１つの他のビューの画像ＩＶｊ（１≦ｊ≦ｎ）の画素に基づいて、
－ 潜在的には、少なくとも１つの他のビューの画像ＩＶｌ（ｎ＋１≦ｌ≦Ｎ）の画素に基づいて、
画像ＩＶｋの画素を計算するものである。
【0212】
前述の計算は、例えば、画像ＩＶｋの画素を、再構築済みの画像ＩＶｊの画素と、そして潜在的には再構築済みの画像ＩＶｌの画素と組み合わせるものである。
【0213】
ここでは、図１８を参照して、処理済み且つ再構築済みの画像ＩＶＴＤｋのデータに適用された処理の第４の実施形態について説明する。そのような処理は、図９の処理の実施形態に従って符号化前に計算されたビューの画像ＩＶｋの画素を再構築するものである。
【0214】
処理は、最初に、第２の復号方法ＭＤ２による再構築済みの画像ＩＶＤｏｎｅに適用される。次いで、その処理は、画像ＩＶＤｏｎｅに基づいて、
－ 第２の復号方法ＭＤ２に従って復号された画像ＩＶｋの処理済みのデータＤＴ’ｋに基づいて、
－ 復号されたビューＶｓ（１≦ｓ≦Ｎ）の画像ＩＶＤｓの処理済みのデータＤＴｓに基づいて、
画像ＩＶｋの画素を再構築するものである。
－ 第２の復号方法ＭＤ２に従って復号された画像ＩＶｋの処理済みのデータＤＴ’ｋに基づいて、
－ 復号されたビューＶｓ（１≦ｓ≦Ｎ）の画像ＩＶＤｓの処理済みのデータＤＴｓに基づいて、
画像ＩＶｋの画素を再構築するものである。
【0215】
９．本発明の例示的な具体的な応用
第１の例によれば、４０９６×２０４８の画素の解像度を有するビューの６つの画像が３６０°タイプの６つのカメラによってそれぞれ捕捉されることが考慮される。６つの対応する３６０°深度マップを提供するため、深度推定方法が適用される。
第１の例によれば、４０９６×２０４８の画素の解像度を有するビューの６つの画像が３６０°タイプの６つのカメラによってそれぞれ捕捉されることが考慮される。６つの対応する３６０°深度マップを提供するため、深度推定方法が適用される。
【0216】
ビューＶ０の画像ＩＶ０は、従来方式で、第１の符号化方法ＭＣ１を使用して符号化され、ビューＶ１、Ｖ２、Ｖ３、Ｖ４、Ｖ５の５つの他の画像ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５は、符号化前にクロッピングが行われる。画像ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５の各々に適用された処理は、これらの画像の各々の右側及び左側の定数（例えば、２００）の列を除去するものである。除去される列の数は、視野角が３６０°から１２０°に低減されるように選択されている。同様に、画像ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５の各々に適用された処理は、これらの画像の各々の上部及び下部からそれぞれ定数（例えば、１００）の行を削除するものである。削除される行の数は、視野角が１８０°から１２０°に低減されるように選択されている。
【0217】
ｆｌａｇ＿ｐｒｏｃという情報のアイテムは、画像ＩＶ０に関連しては、０に設定され、ｆｌａｇ＿ｐｒｏｃという情報のアイテムは、画像ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５に関連しては、１に設定される。
【0218】
ビューの画像ＩＶ０は、ＨＥＶＣコーダを使用して符号化される。単一のデータ信号Ｆ１０が生成され、上記データ信号は、画像ＩＶ０の符号化済みのオリジナルデータ及びｆｌａｇ＿ｐｒｏｃ＝０という情報を含む。
【0219】
画像ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５の各々のクロッピング後の残りの領域のデータは、ＨＥＶＣコーダを使用して符号化される。５つのデータ信号Ｆ２１、Ｆ２２、Ｆ２３、Ｆ２４、Ｆ２５が生成され、データ信号はそれぞれ、ｆｌａｇ＿ｐｒｏｃ＝１という情報と関連付けられた画像ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５の各々のクロッピング後の残りの領域の符号化済みのデータを含む。データ信号Ｆ１０、Ｆ２１、Ｆ２２、Ｆ２３、Ｆ２４、Ｆ２５は、連結され、次いで、デコーダに送信される。
【0220】
５つのデータ信号Ｆ２１、Ｆ２２、Ｆ２３、Ｆ２４、Ｆ２５は、以下の方法で、クロッピング済みの領域の座標をさらに含み得る。
ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５：ｆｌａｇ＿ｐｒｏｃ＝１、左上のポイント（ｈ，ｖ）＝（０＋２００，０＋１００）、右下のポイント（ｈ，ｖ）＝（４０９６－２００，２０４８－１００）、「ｈ」は水平方向、「ｖ」は垂直方向。
ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５：ｆｌａｇ＿ｐｒｏｃ＝１、左上のポイント（ｈ，ｖ）＝（０＋２００，０＋１００）、右下のポイント（ｈ，ｖ）＝（４０９６－２００，２０４８－１００）、「ｈ」は水平方向、「ｖ」は垂直方向。
【0221】
デコーダ側では、ｆｌａｇ＿ｐｒｏｃという情報が読み取られる。
【0222】
ｆｌａｇ＿ｐｒｏｃ＝０の場合は、ビューの画像ＩＶ０は、ＨＥＶＣデコーダを使用して再構築される。
【0223】
ｆｌａｇ＿ｐｒｏｃ＝１の場合は、処理済み且つ符号化済みのデータに相当する画像ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５は、ＨＥＶＣデコーダを使用して再構築される。クロッピングによって削除されたこれらの画像のデータの再構築は不可能であるため、再構築された画像ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５には、処理は適用されない。しかし、合成アルゴリズムは、ユーザに必要な任意のビューの画像を生成するために、再構築された６つの画像ＩＶ０、ＩＶ１、ＩＶ２、ＩＶ３、ＩＶ４、ＩＶ５を使用する。
【0224】
５つのデータ信号Ｆ２１、Ｆ２２、Ｆ２３、Ｆ２４、Ｆ２５がクロッピング済みの領域の座標をさらに含む事例では、これらの座標は、ユーザに必要なビューの画像を生成するために、合成アルゴリズムによって使用される。
【0225】
第２の例によれば、３６０°タイプの１０個のカメラをシミュレーションするためにコンピュータによって生成された４０９６×２０４８のそれぞれの画素の解像度を有する１０個の画像ＩＶ０、…、ＩＶ９が考慮される。画像ＩＶ０とＩＶ９は処理しないことが決定されている。画像ＩＶ１～ＩＶ８のテクスチャ成分は、その部分に対して、水平方向に２倍及び垂直方向に２倍のダウンサンプリングが行われ、対応する深度成分は、その部分に対して、水平方向に４倍及び垂直方向に４倍のダウンサンプリングが行われる。その結果、画像ＩＶ１～ＩＶ８のテクスチャ成分の解像度は２０４８×１０２４になり、画像ＩＶ１～ＩＶ８の深度成分の解像度は１０２４×５１２になる。
【0226】
画像ＩＶ１～ＩＶ８に関連する画像データなどの処理データは、画像ＩＶ１～ＩＶ８の解像度２０４８×１０２４の８つのダウンサンプリング済みのテクスチャ成分と、画像ＩＶ１～ＩＶ８の解像度１０２５×５１２の８つのダウンサンプリング済みの深度成分とを含む。
【0227】
それに加えて、前述の処理データは、ビュー１～８の各画像ＩＶ１～ＩＶ８に対するダウンサンプリングファクタを示すテキストタイプのデータを含む。それらのデータは、
－ ＩＶ１～ＩＶ８のテクスチャ：ｓｅ＿ｈ＝２、ｓｅ＿ｖ＝２（「ｓｅ」はダウンサンプリング、「ｈ」は水平方向、「ｖ」は垂直方向）
－ ＩＶ１～ＩＶ８の深度：ｓｅ＿ｈ＝４、ｓｓ＿ｖ＝４
のように記載される。
－ ＩＶ１～ＩＶ８のテクスチャ：ｓｅ＿ｈ＝２、ｓｅ＿ｖ＝２（「ｓｅ」はダウンサンプリング、「ｈ」は水平方向、「ｖ」は垂直方向）
－ ＩＶ１～ＩＶ８の深度：ｓｅ＿ｈ＝４、ｓｓ＿ｖ＝４
のように記載される。
【0228】
ｆｌａｇ＿ｐｒｏｃという情報のアイテムは、画像ＩＶ０及びＩＶ９に関連しては、０に設定され、ｆｌａｇ＿ｐｒｏｃという情報のアイテムは、画像ＩＶ１～ＩＶ８に関連しては、１に設定される。
【0229】
画像ＩＶ０及びＩＶ９は、ＭＶ－ＨＥＶＣタイプのコーダを使用して同時に符号化され、それにより、ｆｌａｇ＿ｐｒｏｃ＝０という情報及び画像ＩＶ０及びＩＶ９の符号化済みのオリジナルデータを含む単一のデータ信号Ｆ１が生成される。
【0230】
また、画像ＩＶ１～ＩＶ８の２０４８×１０２４の解像度の８つのダウンサンプリング済みのテクスチャ成分及び画像ＩＶ１～ＩＶ８の１０２５×５１２の解像度の８つのダウンサンプリング済みの深度成分を含む画像ＩＶ１～ＩＶ８に関連する画像データなどの処理データも、ＭＶ－ＨＥＶＣタイプのコーダを使用して同時に符号化され、それにより、ダウンサンプリング済み且つ符号化済みのテクスチャ及び深度データと関連付けられたｆｌａｇ＿ｐｒｏｃ＝１という情報を含む単一のデータ信号Ｆ２が生成される。ビュー１～８の各画像ＩＶ１～ＩＶ８に対するダウンサンプリングファクタを示すテキストタイプのデータは、その部分に対して、ロスレス符号化される。データ信号Ｆ１とＦ２は、連結され、次いで、デコーダに送信される。
【0231】
デコーダ側では、ｆｌａｇ＿ｐｒｏｃという情報が読み取られる。
【0232】
ｆｌａｇ＿ｐｒｏｃ＝０の場合は、画像ＩＶ０及びＩＶ９は、ＭＶ－ＨＥＶＣデコーダを使用して、同時に再構築される。次いで、それらの初期の解像度である再構築済みの画像ＩＶＤ０及びＩＶＤ９が得られる。
【0233】
ｆｌａｇ＿ｐｒｏｃ＝１の場合は、それらのそれぞれのダウンサンプリング済み且つ符号化済みのテクスチャ及び深度データに相当する画像ＩＶ１～ＩＶ８は、ＭＶ－ＨＥＶＣデコーダを使用して、同時に再構築される。次いで、ダウンサンプリング済み且つ再構築済みの画像ＩＶＤＴ１～ＩＶＤＴ８が得られる。８つの画像ＩＶ１～ＩＶ８の各々に相当するテキストタイプのデータも復号され、各画像ＩＶ１～ＩＶ８に対して使用されたダウンサンプリングファクタが提供される。
【0234】
次いで、ダウンサンプリング済み且つ再構築済みの画像ＩＶＤＴ１～ＩＶＤＴ８は、それらの対応するダウンサンプリングファクタを使用して処理される。処理が完了すると、再構築済みの画像ＩＶＤ１～ＩＶＤ８が得られ、それらの８つのそれぞれのテクスチャ成分は、４０９６×２０４８のそれらの初期の解像度であり、それらの８つのそれぞれの深度成分は、４０９６×２０４８のそれらの初期の解像度である。
【0235】
合成アルゴリズムは、ユーザに必要なビューの画像を生成するために、それらの初期の解像度のこうして構築された１０個のビューの画像を使用する。
【0236】
第３の例によれば、３６０°タイプの４つのカメラをシミュレーションするためにコンピュータによって生成された４０９６×２０４８のそれぞれの画素の解像度を有する３つの画像ＩＶ０～ＩＶ２が考慮される。次いで、３つのテクスチャ成分及び３つの対応する深度成分が得られる。画像ＩＶ０は処理せず、画像ＩＶ１及びＩＶ２のそれぞれに対するオクルージョンマップを抽出することが決定されている。その目的のため、画像ＩＶ１と画像ＩＶ０との間の視差推定が行われ、画像ＩＶ１のオクルージョンマスク（すなわち、画像ＩＶ０には見られない画像ＩＶ１の画素）が生成される。また、画像ＩＶ２と画像ＩＶ０との間でも視差推定が行われ、画像ＩＶ２のオクルージョンマスクが生成される。
【0237】
画像ＩＶ１及びＩＶ２に関連する画像データなどの処理データは、画像ＩＶ１及びＩＶ２のオクルージョンマスクの２つのテクスチャ成分と、画像ＩＶ１及びＩＶ２のオクルージョンマスクの２つの深度成分とを含む。
【0238】
ｆｌａｇ＿ｐｒｏｃという情報のアイテムは、画像ＩＶ０に関連しては、０に設定され、ｆｌａｇ＿ｐｒｏｃという情報のアイテムは、画像ＩＶ１及びＩＶ２に関連しては、１に設定される。
【0239】
画像ＩＶ０は、ＨＥＶＣコーダを使用して符号化される。単一のデータ信号Ｆ１０が生成され、上記データ信号は、画像ＩＶ０の符号化済みのオリジナルデータ及びｆｌａｇ＿ｐｒｏｃ＝０という情報を含む。
【0240】
画像ＩＶ１、ＩＶ２の各々のオクルージョンマスクの画像データ（テクスチャと深度）は、ＨＥＶＣコーダを使用して符号化される。２つのデータ信号Ｆ２１、Ｆ２２が生成され、データ信号はそれぞれ、ｆｌａｇ＿ｐｒｏｃ＝１という情報と関連付けられた画像ＩＶ１、ＩＶ２の各々のオクルージョンマスクの符号化済みの画像データを含む。データ信号Ｆ１０、Ｆ２１、Ｆ２２は、連結され、次いで、デコーダに送信される。
【0241】
デコーダ側では、ｆｌａｇ＿ｐｒｏｃという情報が読み取られる。
【0242】
ｆｌａｇ＿ｐｒｏｃ＝０の場合は、画像ＩＶ０は、ＨＥＶＣデコーダを使用して再構築される。
【0243】
ｆｌａｇ＿ｐｒｏｃ＝１の場合は、画像ＩＶ１、ＩＶ２の各々のオクルージョンマスクの符号化済みの画像データ（テクスチャと深度）に相当する画像ＩＶ１、ＩＶ２は、ＨＥＶＣデコーダを使用して再構築される。オクルージョン検出の完了において削除されたこれらの画像のデータの再構築は不可能であるため、再構築された画像ＩＶ１、ＩＶ２には、処理は適用されない。しかし、合成アルゴリズムは、ユーザに必要なビューの画像を生成するために、再構築された画像ＩＶ０、ＩＶ１、ＩＶ２を使用することができる。
【0244】
第４の例によれば、４０９６×２０４８の画素の解像度を有する２つの画像ＩＶ０及びＩＶ１が３６０°タイプの２つのカメラによってそれぞれ捕捉されることが考慮される。第１のビューの画像ＩＶ０は、従来方式で、第１の符号化方法ＭＣ１を使用して符号化され、第２のビューの画像ＩＶ１は、第２の符号化方法ＭＣ２による符号化前に処理される。そのような処理は、
－ フィルタ（例えば、ソーベルフィルタなど）を使用して画像ＩＶ１の輪郭を抽出することと、
－ 輪郭の周りの領域を増大するために、例えば、数理形態学作用素を使用して、輪郭の拡大を適用することと
を含む。
－ フィルタ（例えば、ソーベルフィルタなど）を使用して画像ＩＶ１の輪郭を抽出することと、
－ 輪郭の周りの領域を増大するために、例えば、数理形態学作用素を使用して、輪郭の拡大を適用することと
を含む。
【0245】
画像ＩＶ１に関連する画像データなどの処理データは、輪郭の周りの領域内の画素と、輪郭の周りの領域外に位置する画素のそれぞれに相当する０に設定された画素とを含む。
【0246】
それに加えて、例えば、輪郭の周りの領域外に位置する画素が０に設定されることを示すマーキング情報（例えば、ＹＵＶ＝０００）の形態で、テキストタイプのデータが生成される。０に設定された画素は、符号化も、デコーダへの信号伝達も行われない。
【0247】
画像ＩＶ０は、ＨＥＶＣコーダを使用して符号化され、それにより、ｆｌａｇ＿ｐｒｏｃ＝０という情報及び画像ＩＶ０の符号化済みのオリジナルデータを含むデータ信号Ｆ１が生成される。
【0248】
画像ＩＶ１の輪郭の周りの領域の画像データは、ＨＥＶＣコーダを使用して符号化され、マーキング情報は、ロスレスコーダを使用して符号化される。次いで、データ信号Ｆ２が生成され、上記信号は、ｆｌａｇ＿ｐｒｏｃ＝１という情報と、画像ＩＶ１の輪郭の周りの領域の符号化済みの画素と、符号化済みのマーキング情報のアイテムとを含む。
【0249】
デコーダ側では、ｆｌａｇ＿ｐｒｏｃという情報が読み取られる。
【0250】
ｆｌａｇ＿ｐｒｏｃ＝０の場合は、画像ＩＶ０は、ＨＥＶＣデコーダを使用して、そのオリジナル解像度で再構築される。
【0251】
ｆｌａｇ＿ｐｒｏｃ＝１の場合は、画像ＩＶ１の輪郭の周りの領域の画像データに相当する画像ＩＶ１は、ＨＥＶＣデコーダによって、０に設定された値の上記領域を取り囲む画素の復元を可能にするマーキング情報を使用して、再構築される。
【0252】
合成アルゴリズムは、ユーザに必要なビューの画像を生成するために、再構築された２つの画像ＩＶ０及びＩＶ１を使用することができる。
【0253】
第５の例によれば、４０９６×２０４８の画素の解像度を有する４つの画像ＩＶ０～ＩＶ３が３６０°タイプの４つのカメラによってそれぞれ捕捉されることが考慮される。画像ＩＶ０は、従来方式で、第１の符号化方法ＭＣ１を使用して符号化され、画像ＩＶ１～ＩＶ３は、第２の符号化方法ＭＣ２による符号化前に処理される。そのような処理は、画像ＩＶ１～ＩＶ３のフィルタリングであり、その間、関心領域ＲＯＩが計算される。関心領域は、例えば、それらが多くの詳細を含むことを理由に最も関連性があると考えられる各画像ＩＶ１～ＩＶ３の１つ又は複数の領域を含む。
【0254】
そのようなフィルタリングは、例えば、以下の２つの方法のうちの１つに従って実行される。
－ フィルタリングによって各画像ＩＶ１～ＩＶ３の顕著性マップを計算する。
－ 各画像ＩＶ１～ＩＶ３の深度マップをフィルタリングする。深度マップは、各テクスチャ画素に対して、３Ｄシーンにおいて近距離深度値であるか又は遠距離深度値であるかによって特徴付けられる。閾値が定義され、この閾値を下回って位置する画像ＩＶ１、ＩＶ２、ＩＶ３の各画素は、カメラに近いシーンの物体と関連付けられる。次いで、この閾値を下回って位置する画素はすべて、関心領域であると考えられる。
－ フィルタリングによって各画像ＩＶ１～ＩＶ３の顕著性マップを計算する。
－ 各画像ＩＶ１～ＩＶ３の深度マップをフィルタリングする。深度マップは、各テクスチャ画素に対して、３Ｄシーンにおいて近距離深度値であるか又は遠距離深度値であるかによって特徴付けられる。閾値が定義され、この閾値を下回って位置する画像ＩＶ１、ＩＶ２、ＩＶ３の各画素は、カメラに近いシーンの物体と関連付けられる。次いで、この閾値を下回って位置する画素はすべて、関心領域であると考えられる。
【0255】
画像ＩＶ１～ＩＶ３に関連する画像データなどの処理データは、それらのそれぞれの関心領域内の画素を含み、これらの関心領域外に位置する画素にそれぞれ相当する画素は、０に設定される。
【0256】
それに加えて、例えば、関心領域外に位置する画素が０に設定されることを示すマーキング情報の形態で、テキストタイプのデータが生成される。０に設定された画素は、符号化も、デコーダへの信号伝達も行われない。
【0257】
画像ＩＶ０は、ＨＥＶＣコーダを使用して符号化され、それにより、ｆｌａｇ＿ｐｒｏｃ＝０という情報及び画像ＩＶ０の符号化済みのオリジナルデータを含むデータ信号Ｆ１０が生成される。
【0258】
各画像ＩＶ１、ＩＶ２、ＩＶ３の関心領域の画像データは、ＨＥＶＣコーダを使用して符号化され、マーキング情報は、ロスレスコーダを使用して符号化される。３つのデータ信号Ｆ２１、Ｆ２２、Ｆ２３が生成され、これらの信号はそれぞれ、ｆｌａｇ＿ｐｒｏｃ＝１という情報と関連付けられた画像ＩＶ１、ＩＶ２、ＩＶ３の各々の関心領域の符号化済みの画像データと、符号化済みのマーキング情報の対応するアイテムとを含む。データ信号Ｆ１０、Ｆ２１、Ｆ２２、Ｆ２３は、連結され、次いで、デコーダに送信される。
【0259】
デコーダ側では、ｆｌａｇ＿ｐｒｏｃという情報が読み取られる。
【0260】
ｆｌａｇ＿ｐｒｏｃ＝０の場合は、画像ＩＶ０は、ＨＥＶＣデコーダを使用して、そのオリジナル解像度で再構築される。
【0261】
ｆｌａｇ＿ｐｒｏｃ＝１の場合は、そのそれぞれの関心領域の画像データに相当する各画像ＩＶ１～ＩＶ３は、ＨＥＶＣデコーダによって、０に設定された値の上記領域を取り囲む画素の復元を可能にするマーキング情報を使用して、再構築される。
【0262】
合成アルゴリズムは、ユーザに必要なビューの画像を生成するために、再構築された４つの画像ＩＶ０、ＩＶ１、ＩＶ２、ＩＶ３を直接使用することができる。
【0263】
言うまでもなく、上記で説明される実施形態は、完全に非限定的な指摘として純粋に提供され、当業者によって、本発明の範囲から逸脱することなく、多くの変更を容易に行うことができる。
【図1】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図15D】
【図16】
【図17】
【図18】