特開 2024-112926 符号化及び復号化方法並びに装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024112926

(43)【公開日】2024-08-21

(54)【発明の名称】符号化及び復号化方法並びに装置

(51)【国際特許分類】

   H04N 19/597 20140101AFI20240814BHJP

【ＦＩ】

H04N19/597

【審査請求】有

【請求項の数】16

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024083084

(22)【出願日】2024-05-22

(62)【分割の表示】P 2022538281の分割

【原出願日】2020-11-30

(31)【優先権主張番号】19306707.1

(32)【優先日】2019-12-19

(33)【優先権主張国・地域又は機関】EP

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

２．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ドイエン、ディディエ

(72)【発明者】

【氏名】ガルピン、フランク

(72)【発明者】

【氏名】ボワソン、ギヨーム

(57)【要約】      （修正有）

【課題】ＭＶＤ（マルチビュー＋深度）データのビデオ符号化又は復号化のための方法及び装置を提供する。
【解決手段】復号化方法は、マルチビュービデオコンテンツの少なくとも１つの基準ビュー及び現在のビューを含むビューのセットに関するビューパラメータを取得すること及びビューのセットの基準ビューと現在のビューの少なくとも１つの対について、基準ビューのピクセルに順投影方法を適用して中間予測画像を生成して、基準ビューのカメラ座標系から現在のビューのカメラ座標系にこれらのピクセルを投影することを含む。予測画像は、画像データを再構成することを可能にする情報を含む。方法はまた、現在のビューの再構成画像のバッファ内の少なくとも１つの中間予測画像から得られた少なくとも１つの最終予測画像を記憶すること及び少なくとも１つの最終予測画像を含むバッファに記憶された画像から現在のビューの現在の画像を再構成することを含む。
【選択図】図１４Ａ

【特許請求の範囲】

【請求項1】

復号化のための方法であって、
マルチビュービデオコンテンツの少なくとも１つの基準ビュー及び現在のビューを含むビューのセットに関するビューパラメータを取得することであって、各ビューがテクスチャ層及び深度層を含む、こと（１４０）と、
前記ビューのセットの基準ビューと前記現在のビューの少なくとも１つの対について、前記基準ビューのピクセルに順投影方法を適用して中間予測画像を生成して、前記基準ビューのカメラ座標系から前記現在のビューのカメラ座標系にこれらのピクセルを投影することであって、前記予測画像が、画像データを再構成することを可能にする情報を含む、こと（１４１）と、
前記現在のビューの再構成画像のバッファ内の少なくとも１つの中間予測画像から得られた少なくとも１つの最終予測画像を記憶すること（１４３）と、
前記バッファに記憶された前記画像から前記現在のビューの現在の画像を再構成することであって、前記バッファが、前記少なくとも１つの最終予測画像を含む、こと（１４４）と、を含む、方法。

【請求項2】

符号化のための方法であって、
マルチビュービデオコンテンツの少なくとも１つの基準ビュー及び現在のビューを含むビューのセットに関するビューパラメータを取得することであって、各ビューがテクスチャ層及び深度層を含む、こと（１４０）と、
前記ビューのセットの基準ビューと前記現在のビューの少なくとも１つの対について、前記基準ビューのピクセルに順投影方法を適用して中間予測画像を生成して、前記基準ビューのカメラ座標系から前記現在のビューのカメラ座標系にこれらのピクセルを投影することであって、前記予測画像が、画像データを再構成することを可能にする情報を含む、こと（１４１）と、
前記現在のビューの再構成画像のバッファ内の少なくとも１つの中間予測画像から得られた少なくとも１つの最終予測画像を記憶すること（１４３）と、
前記バッファに記憶された前記画像から前記現在のビューの現在の画像を再構成することであって、前記バッファが、前記少なくとも１つの最終予測画像を含む、こと（１４４）と、を含む、方法。

【請求項3】

画像データを再構成することを可能にする前記情報が、テクスチャデータ及び深度データを含む、請求項１又は２に記載の方法。

【請求項4】

前記順投影方法が、
前記基準ビューの前記カメラ座標系から世界座標系への前記基準ビューの現在のピクセルへの逆投影を適用して、逆投影ピクセルを取得することであって、前記逆投影が、基準カメラと呼ばれる前記基準ビューを取得するカメラのポーズ行列、前記基準カメラの逆内部行列、及び前記現在のピクセルに関連付けられた深度値を使用する、こと（１３０）と、
前記逆投影ピクセルを前記現在のビューの前記座標系に投影して、現在のカメラと呼ばれる前記現在のビューを取得するカメラの内部行列及び外部行列を使用して順投影ピクセルを取得することであって、各行列が前記ビューパラメータから取得される、こと（１３１）と、
前記取得された順投影ピクセルが、前記現在のカメラのピクセルのグリッド上のピクセルに対応していない場合、前記順投影ピクセルに最も近いピクセルの前記グリッドのピクセルを選択して、補正された順投影ピクセルを取得すること（１３２）と、を含む、請求項３に記載の方法。

【請求項5】

前記方法が、各中間投影画像に、又は前記最終投影画像内に分離された欠落ピクセルを充填することを含む、請求項３又は４に記載の方法。

【請求項6】

画像データを再構成することを可能にする前記情報が、動き情報を含む、請求項１又は２に記載の方法。

【請求項7】

前記順投影方法が、
前記基準ビューの前記カメラ座標系から世界座標系への前記基準ビューの現在のピクセルへの逆投影を適用して、逆投影ピクセルを取得することであって、前記逆投影が、基準カメラと呼ばれる前記基準ビューを取得するカメラのポーズ行列、前記基準カメラの逆内部行列、及び前記現在のピクセルに関連付けられた深度値を使用する、こと（１３０）と、
前記逆投影ピクセルを前記現在のビューの前記座標系に投影して、現在のカメラと呼ばれる前記現在のビューを取得するカメラの内部行列及び外部行列を使用して順投影ピクセルを取得することであって、各行列が前記ビューパラメータから取得される、こと（１３１）と、
前記取得された順投影ピクセルが、前記現在のカメラのピクセルのグリッド上のピクセルに対応していない場合、前記順投影ピクセルに最も近いピクセルの前記グリッドのピクセルを選択して、補正された順投影ピクセルを取得すること（１３２）と、
前記順投影ピクセル又は前記補正された順投影ピクセルと前記基準ビューの前記現在のピクセルとの間の変位を表す動きベクトルを計算すること（１３３）と、を含む、請求項６に記載の方法。

【請求項8】

前記方法が、各中間投影画像に、又は前記最終投影画像内に分離された欠落動き情報を充填することを含む、請求項６又は７に記載の方法。

【請求項9】

少なくとも１つの最終投影画像が、中間投影画像である、請求項１～８のいずれか一項に記載の方法。

【請求項10】

少なくとも１つの最終投影画像が、少なくとも２つの中間予測画像の集約から生じる、請求項１～８のいずれか一項に記載の方法。

【請求項11】

前記方法が、基準ビューと現在のビューの少なくとも１つの対に関して、前記順投影方法を前記基準ビューのピクセルに適用する前に、前記基準ビューの前記深度層をサブサンプリングすることを含む、請求項１～１０のいずれか一項に記載の方法。

【請求項12】

前記方法が、２つの一方向予測子ブロックの加重和として計算された双方向予測子ブロックから前記現在の画像の現在のブロックを再構成することであって、各一方向予測子ブロックが、前記現在のビューの再構成画像の前記バッファに記憶された１つの画像から抽出され、前記一方向予測子ブロックの少なくとも１つが、前記バッファに記憶された最終予測画像から抽出される、ことを含む、請求項１～１１のいずれか一項に記載の方法。

【請求項13】

前記加重和に使用される少なくとも１つの重みが、一方向予測子ブロックのピクセルの信頼度の関数で修正される、請求項１２に記載の方法。

【請求項14】

請求項１に従属する場合、各ビューの前記ビューパラメータが、ＳＥＩメッセージによって提供される、請求項３～１３のいずれか１項に記載の方法。

【請求項15】

現在のビューの各最終予測画像を再構成することを可能にする情報を表すシンタックス要素が、スライスヘッダ又はシーケンシングヘッダ内、又は画像ヘッダ、又は同期点若しくは画像のレベルで含まれる、先行する請求項のいずれか一項に記載の方法。

【請求項16】

前記マルチビュービデオコンテンツが、符号化ビデオストリーム内で符号化される、又は符号化ビデオストリームから復号化され、ＶＳＰモードと呼ばれる、現在のビューが最終予測画像を使用して予測モードに従って符号化されて、前記現在のブロックに関して予測ブロックを生成するとき、前記ＶＳＰモードによる前記現在のブロックの前記符号化が、前記現在のブロックに対応する前記符号化ビデオストリームの一部内のフラグによって明示的にシグナリングされる、又は前記現在のビューの再構成画像の前記バッファに記憶された再構成画像のリスト内の最終予測画像のインデックスを表すシンタックス要素によって暗黙的にシグナリングされる、請求項１又は請求項３から１５のいずれか一項に記載の復号化のための方法、又は請求項２から１５のいずれか一項に記載の符号化のための方法。

【請求項17】

前記現在のブロックに対応する前記符号化ビデオストリームの一部が、動き情報を表すシンタックス要素を含む、請求項１６に記載の復号化のための方法又は請求項１６に記載の符号化のための方法。

【請求項18】

前記動き情報が、動きベクトル精密化及び／又は前記現在のビューの再構成画像の前記バッファに記憶された最終予測画像のリスト内の最終予測画像のインデックスを表す、請求項１７に記載の復号化のための方法、又は請求項１７に記載の符号化のための方法。

【請求項19】

マージモード又はスキップモードで符号化される現在のブロックが、ＶＳＰモードで符号化されたブロックから符号化パラメータを受け継ぐとき、前記現在のブロックがＶＳＰパラメータも受け継ぐ、請求項１又は請求項３～１８のいずれか一項による復号化のための方法、又は請求項２から１８のいずれかに記載の符号化のための方法。

【請求項20】

復号化のためのデバイスであって、
マルチビュービデオコンテンツの少なくとも１つの基準ビュー及び現在のビューを含むビューのセットに関するビューパラメータを取得する手段であって、各ビューがテクスチャ層及び深度層を含む、手段（１４０）と、
前記ビューのセットの基準ビューと前記現在のビューの少なくとも１つの対について、前記基準ビューのピクセルに順投影方法を適用して中間予測画像を生成して、前記基準ビューのカメラ座標系から前記現在のビューのカメラ座標系にこれらのピクセルを投影する手段であって、前記予測画像が、画像データを再構成することを可能にする情報を含む、手段（１４１）と、
前記現在のビューの再構成画像のバッファ内の少なくとも１つの中間予測画像から得られた少なくとも１つの最終予測画像を記憶する手段（１４３）と、
前記バッファに記憶された前記画像から前記現在のビューの現在の画像を再構成する手段であって、前記バッファが、前記少なくとも１つの最終予測画像を含む、手段（１４４）と、を含む、デバイス。

【請求項21】

復号化のためのデバイスであって、
マルチビュービデオコンテンツの少なくとも１つの基準ビュー及び現在のビューを含むビューのセットに関するビューパラメータを取得することであって、各ビューがテクスチャ層及び深度層を含む、手段（１４０）と、
前記ビューのセットの基準ビューと前記現在のビューの少なくとも１つの対について、前記基準ビューのピクセルに順投影方法を適用して中間予測画像を生成して、前記基準ビューのカメラ座標系から前記現在のビューのカメラ座標系にこれらのピクセルを投影する手段であって、前記予測画像が、画像データを再構成することを可能にする情報を含む、手段（１４１）と、
前記現在のビューの再構成画像のバッファ内の少なくとも１つの中間予測画像から得られた少なくとも１つの最終予測画像を記憶する手段（１４３）と、
前記バッファに記憶された前記画像から前記現在のビューの現在の画像を再構成する手段であって、前記バッファが、前記少なくとも１つの最終予測画像を含む、手段（１４４）と、を含む、デバイス。

【請求項22】

請求項２０又は２１に記載のデバイス又は請求項２０及び２１に記載のデバイスを備える、装置。

【請求項23】

請求項２～１９のいずれか一項に記載の符号化のための方法に従って、又は請求項２１に記載の符号化のためのデバイスによって、又は請求項２２の装置によって生成されたデータを含む信号。

【請求項24】

請求項２～１９のいずれか１項に記載の方法を実施するためのプログラムコード命令を含む、コンピュータプログラム。

【請求項25】

請求項２～１９のいずれか１項に記載の方法を実施するためのプログラムコード命令を記憶する情報記憶手段。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態のうちの少なくとも１つは、概して、ビデオ符号化若しくは復号化のための方法及び装置に関し、より具体的には、ＭＶＤ（マルチビュー＋深度）データのビデオ符号化又は復号化のための方法及び装置に関する。

【背景技術】

【0002】

マルチビュー画像又はビデオコンテンツ（複数のカメラからの複数のビュー）の圧縮は、画像及びビデオ専門家によって数年間調査されている。２つのタイプのコンテンツは、一般に、同期画像を含む、マルチビュー（ＭＶ）コンテンツと呼ばれ、各画像が、同じシーン上の異なる視点に対応するコンテンツと、ＭＶコンテンツがマルチビュー＋深度コンテンツ（ＭＶＤ）と呼ばれるシーンの深度情報によって補完されるコンテンツである。

【0003】

２０１５年、マルチビューコンテンツの符号化効率を改善するために、ＨＥＶＣの２つの延長（ＩＳＯ／ＩＥＣ ２３００８－２－ＭＰＥＧ－Ｈ Ｐａｒｔ ２、高効率ビデオ符号化／ＩＴＵ－Ｔ Ｈ．２６５）が採用された：
・ＭＶコンテンツのためのＭＶ－ＨＥＶＣ、
・ＭＶＤコンテンツのための３Ｄ－ＨＥＶＣ。

【0004】

ＭＶ－ＨＥＶＣでは、ＨＥＶＣ空間イントラ画像予測（すなわち、イントラ予測）及び時間的インター画像予測（すなわち、インター予測）に加えて、ビュー間の類似点を利用するビュー間予測モードが導入された。第１のビューは、基準として選択され、少なくとも第２のビューは、視差ベースの動き予測を使用して、この基準ビューに関して符号化される。図１１は、時間的及びビュー間の両方の方向におけるＭＶコンテンツの画像間の相互依存性の例を示す。ビューＶｉｅｗ０は、ＨＥＶＣとの後方互換性を維持するためのビュー間予測なしに復号化可能な基準ビューを表す。時刻Ｔ０において、ビューＶｉｅｗ１及びＶｉｅｗ２は、全てのイントラ画像（Ｉ画像）として符号化されず、Ｔ０におけるビューＶｉｅｗ０の再構成画像を予測のための基準画像として使用して符号化／復号化される。時刻Ｔ１のビューＶｉｅｗ１の画像は、ビューＶｉｅｗ１の画像を基準画像として使用するだけでなく、時刻Ｔ１のビューＶｉｅｗ０の画像も使用して符号化／復号化される。

【0005】

ＭＶ－ＨＥＶＣが試験されたコンテンツは、ステレオコンテンツ又はマルチビューコンテンツのみであるが、位置合わせされたカメラによって取得された「３」ビューのみを用いている。しかし、このＭＶ－ＨＥＶＣアプローチに従うと、ビュー間予測は、隣接するビュー間の視差推定に基づいて、隣接するビューとの冗長性を利用しているだけである。このアプローチは、カメラアレイによって捕捉されるコンテンツに適合していない。

【0006】

３Ｄ－ＨＥＶＣでは、ＭＶ－ＨＥＶＣと同じアプローチが採用されているが、高密度深度情報（すなわち、各ビューのピクセル当たりの深度情報）の送信も考慮している。コンテンツは同じであるため、隣接するビューと同じビュー間アプローチが採用されている。追加の深度情報の使用を含む、ビュー間予測のより複雑な組み合わせが導入されている。

【0007】

予測モード選択の深度情報を使用するために、ビュー基本合成予測モード（ＶＳＰ）が導入されている。基本ＶＳＰモードは、現在のブロックに関して、現在のブロックに隣接するブロックの深度情報に対応する視差動きベクトル（ＤＭＶ）情報を使用する。深度情報は、現在のブロックの予測子としてテクスチャのブロックを基準ビューから取得するために使用される。現在のブロックの深度がテクスチャの後に復号化されるため、使用される深度情報は、既に再構成された隣接するブロックのうちの１つである。再構成された隣接ブロックの深度値は、一般に、ビュー間予測のためのサブ最適深度値とみなされる。

【0008】

改善されたＶＳＰモードの提供を可能にする解決策を提案することが望ましい。

【発明の概要】

【0009】

第１の態様では、本実施形態のうちの１つ又は複数は復号化のための方法を提供し、方法は、
マルチビュービデオコンテンツの少なくとも１つの基準ビュー及び現在のビューを含むビューのセットに関するビューパラメータを取得することであって、各ビューがテクスチャ層及び深度層を含む、ことと、
ビューのセットの基準ビューと現在のビューの少なくとも１つの対について、基準ビューのピクセルに順投影方法を適用して中間予測画像を生成して、基準ビューのカメラ座標系から現在のビューのカメラ座標系にこれらのピクセルを投影することであって、予測画像が、画像データを再構成することを可能にする情報を含む、ことと、
現在のビューの再構成画像のバッファ内の少なくとも１つの中間予測画像から得られた少なくとも１つの最終予測画像を記憶することと、
当該バッファに記憶された画像から現在のビューの現在の画像を再構成することであって、当該バッファが、当該少なくとも１つの最終予測画像を含む、ことと、を含む。

【0010】

第２の態様では、本実施形態のうちの１つ又は複数は符号化のための方法を提供し、方法は、
マルチビュービデオコンテンツの少なくとも１つの基準ビュー及び現在のビューを含むビューのセットに関するビューパラメータを取得することであって、各ビューがテクスチャ層及び深度層を含む、ことと、
ビューのセットの基準ビューと現在のビューの少なくとも１つの対について、基準ビューのピクセルに順投影方法を適用して中間予測画像を生成して、基準ビューのカメラ座標系から現在のビューのカメラ座標系にこれらのピクセルを投影することであって、予測画像が、画像データを再構成することを可能にする情報を含む、ことと、
現在のビューの再構成画像のバッファに少なくとも１つの中間予測画像から得られた少なくとも１つの最終予測画像を記憶することと、
当該バッファに記憶された画像から現在のビューの現在の画像を再構成することであって、当該バッファが、少なくとも１つの最終予測画像を含む、ことと、を含む。

【0011】

第３の態様では、本実施形態のうちの１つ又は複数は復号化のためのデバイスを提供し、デバイスは、
マルチビュービデオコンテンツの少なくとも１つの基準ビュー及び現在のビューを含むビューのセットに関するビューパラメータを取得することであって、各ビューがテクスチャ層及び深度層を含む、手段と、
ビューのセットの基準ビューと現在のビューの少なくとも１つの対について、基準ビューのピクセルに順投影方法を適用して中間予測画像を生成して、基準ビューのカメラ座標系から現在のビューのカメラ座標系にこれらのピクセルを投影する手段であって、予測画像が、画像データを再構成することを可能にする情報を含む、手段と、
現在のビューの再構成画像のバッファ内の少なくとも１つの中間予測画像から得られた少なくとも１つの最終予測画像を記憶する手段と、
当該バッファに記憶された画像から現在のビューの現在の画像を再構成することであって、当該バッファが、当該少なくとも１つの最終予測画像を含む、手段と、を含む。

【0012】

第４の態様では、本実施形態のうちの１つ又は複数は符号化のためのデバイスを提供し、デバイスは、
マルチビュービデオコンテンツの少なくとも１つの基準ビュー及び現在のビューを含むビューのセットに関するビューパラメータを取得することであって、各ビューがテクスチャ層及び深度層を含む、手段と、
ビューのセットの基準ビューと現在のビューの少なくとも１つの対について、基準ビューのピクセルに順投影方法を適用して中間予測画像を生成して、基準ビューのカメラ座標系から現在のビューのカメラ座標系にこれらのピクセルを投影する手段であって、予測画像が、画像データを再構成することを可能にする情報を含む、手段と、
現在のビューの再構成画像のバッファ内の少なくとも１つの中間予測画像から得られた少なくとも１つの最終予測画像を記憶する手段と、
当該バッファに記憶された画像から現在のビューの現在の画像を再構成することであって、当該バッファが、当該少なくとも１つの最終予測画像を含む、手段と、を含む。

【0013】

第５の態様では、本実施形態のうちの１つ又は複数は、第３及び／又は第４の態様によるデバイスを含む装置を提供する。

【0014】

第６の態様では、本実施形態の１つ又は複数は、第２の態様による符号化のための方法に従って、又は第４の態様による符号化のためのデバイスによって生成されたデータを含む信号を提供する。

【0015】

第７の態様では、本実施形態のうちの１つ又は複数は、第１又は第２の態様による方法を実施するためのプログラムコード命令を含むコンピュータプログラムを提供する。

【0016】

第８の態様では、本実施形態のうちの１つ又は複数は、第１又は第２の態様による方法を実施するためのプログラムコード命令を記憶する情報記憶手段を提供する。

【0017】

第９の態様では、１つ又は複数の実施形態はまた、第６の態様による信号を送信又は受信するための方法及び装置を提供する。

【0018】

第１０の態様では、１つ又は複数の実施形態はまた、上述の方法のうちのいずれかの少なくとも一部を実行するための命令を含むコンピュータプログラム製品を提供する。

【0019】

前述の態様のいずれかの実施形態では、画像データを再構成することを可能にする情報は、テクスチャデータ及び深度データを含む。

【0020】

前述の態様のいずれかの実施形態では、順投影方法は、
基準ビューのカメラ座標系から世界座標系への基準ビューの現在のピクセルへの逆投影を適用して、逆投影ピクセルを取得することであって、逆投影が、基準カメラと呼ばれる基準ビューを取得するカメラのポーズ行列、基準カメラの逆内部行列、及び現在のピクセルに関連付けられた深度値を使用する、ことと、
逆投影ピクセルを現在のビューの座標系に投影して、現在のカメラと呼ばれる現在のビューを取得するカメラの内部行列及び外部行列を使用して順投影ピクセルを取得することであって、各行列がビューパラメータから取得される、ことと、
取得された順投影ピクセルが、現在のカメラのピクセルのグリッド上のピクセルに対応していない場合、順投影ピクセルに最も近いピクセルの当該グリッドのピクセルを選択して、補正された順投影ピクセルを取得することと、を含む。

【0021】

前述の態様のいずれかの実施形態では、方法は、各中間投影画像内又は最終投影画像内に分離された欠落ピクセルを充填することを含む。

【0022】

前述の態様のいずれかの実施形態では、画像データを再構成することを可能にする情報は、動き情報を含む。

【0023】

前述の態様のいずれかの実施形態では、順投影方法は、
基準ビューのカメラ座標系から世界座標系への基準ビューの現在のピクセルへの逆投影を適用して、逆投影ピクセルを取得することであって、逆投影が、基準カメラと呼ばれる基準ビューを取得するカメラのポーズ行列、基準カメラの逆内部行列、及び現在のピクセルに関連付けられた深度値を使用する、ことと、
逆投影ピクセルを現在のビューの座標系に投影して、現在のカメラと呼ばれる現在のビューを取得するカメラの内部行列及び外部行列を使用して順投影ピクセルを取得することであって、各行列がビューパラメータから取得される、ことと、
取得された順投影ピクセルが、現在のカメラのピクセルのグリッド上のピクセルに対応していない場合、順投影ピクセルに最も近いピクセルの当該グリッドのピクセルを選択して、補正された順投影ピクセルを取得することと、
順投影ピクセル又は補正された順投影ピクセルと基準ビューの現在のピクセルとの間の変位を表す動きベクトルを計算することと、を含む。

【0024】

前述の態様のいずれかの実施形態では、方法は、各中間投影画像内又は最終投影画像内に分離された欠落動き情報を充填することを含む。

【0025】

前述の態様のいずれかの実施形態では、少なくとも１つの最終投影画像は、中間投影画像である。

【0026】

前述の態様のいずれかの実施形態では、少なくとも１つの最終投影画像は、少なくとも２つの中間予測画像の集約から生じる。

【0027】

前述の態様のいずれかの実施形態では、方法が、基準ビューと現在のビューの少なくとも１つの対に関して、順投影方法を基準ビューのピクセルに適用する前に、基準ビューの深度層をサブサンプリングすることを含む。

【0028】

前述の態様のいずれかの実施形態では、方法が、２つの一方向予測子ブロックの加重和として計算された双方向予測子ブロックから現在の画像の現在のブロックを再構成することであって、各一方向予測子ブロックが、現在のビューの再構成画像のバッファに記憶された１つの画像から抽出され、一方向予測子ブロックの少なくとも１つが、当該バッファに記憶された最終予測画像から抽出される、ことを含む。

【0029】

前述の態様のいずれかの実施形態では、加重和に使用される少なくとも１つの重みが、一方向予測子ブロックのピクセルの信頼度の関数で修正される。

【0030】

前述の態様のいずれかの実施形態では、各ビューのビューパラメータは、ＳＥＩメッセージによって提供される。

【0031】

前述の態様のいずれかの実施形態では、現在のビューの各最終予測画像を再構成することを可能にする情報を表すシンタックス要素が、スライスヘッダ又はシーケンシングヘッダ内、又は画像ヘッダ、又は同期点若しくは画像のレベルで含まれる。

【0032】

前述の態様のいずれかの実施形態では、マルチビュービデオコンテンツが、符号化ビデオストリーム内で符号化される、又は符号化ビデオストリームから復号化され、ＶＳＰモードと呼ばれる、現在のブロックが最終予測画像を使用して予測モードに従って符号化されて、現在のブロックに関して予測ブロックを生成するとき、ＶＳＰモードによる現在のブロックの符号化が、当該現在のブロックに対応する符号化ビデオストリームの一部内のフラグによって明示的にシグナリングされる、又は現在のビューの再構成画像のバッファに記憶された再構成画像のリスト内の最終予測画像のインデックスを表すシンタックス要素によって暗黙的にシグナリングされる。

【0033】

前述の態様のいずれかの実施形態では、当該現在のブロックに対応する符号化ビデオストリームの一部は、動き情報を表すシンタックス要素を含む。

【0034】

前述の態様のいずれかの実施形態では、動き情報が、動きベクトル精密化及び／又は現在のビューの再構成画像のバッファに記憶された最終予測画像のリスト内の最終予測画像のインデックスを表す。

【0035】

前述の態様のいずれかの実施形態では、マージモード又はスキップモードで符号化される現在のブロックが、ＶＳＰモードで符号化されたブロックから符号化パラメータを受け継ぐとき、当該現在のブロックがＶＳＰパラメータも受け継ぐ。

【図面の簡単な説明】

【0036】

【図1】ＭＶＤコンテンツを取得するように適合されたカメラアレイの例を概略的に示す。

【図2】カメラアレイによって提供されるＭＶＤコンテンツを符号化するように適合された処理モジュールを概略的に表す。

【図3】ＭＶＤコンテンツを表す符号化ビデオストリームを復号化するように適合された処理モジュールを概略的に表す。

【図4】様々な態様及び実施形態が実装される、符号化モジュール又は復号化モジュールを実装することができる処理モジュールのハードウェアアーキテクチャの例を概略的に示す。

【図5】様々な態様及び実施形態が実装されているシステムの一例のブロック図を示す。

【図6】画像を分割するための方法を概略的に示す。

【図7】１つのビューを表す符号化ビデオストリームを符号化するための方法の例を概略的に示す。

【図8】１つのビューを表す符号化ビデオストリームを復号化するための方法の例を概略的に示す。

【図9】マルチビューコンテンツを表す符号化ビデオストリームを符号化するための方法の例を概略的に示す。

【図10】マルチビューコンテンツを表す符号化ビデオストリームを復号化するための方法の例を概略的に示す。

【図11】ＭＶコンテンツのビュー間依存性の例を概略的に示す。

【図12】世界座標系とカメラ座標系との間の概略的な遷移を示す。

【図13A】予測画像生成プロセスで使用される順投影方法の例を概略的に示す。

【図13B】図１３Ａに示される順投影方法の例の別の表現を概略的に示す。

【図14A】予測画像生成プロセスの第１の実施形態を示す。

【図14B】予測画像生成プロセスの第２の実施形態の詳細を示す。

【図15】予測画像生成プロセスの第３の実施形態を示す。

【図16】予測画像生成プロセスの第４の実施形態を示す。

【図17】ビュー間予測を使用しないビデオ圧縮方法のシンタックス解析プロセスの基本的な実施形態を概略的に示す。

【図18】新しいＶＳＰモードを使用したビデオ圧縮方法のシンタックス解析プロセスの第１の実施形態を概略的に示す。

【図19】新しいＶＳＰモードを使用したビデオ圧縮方法のシンタックス解析プロセスの第２の実施形態を概略的に示す。

【図20】新しいＶＳＰモードを使用したビデオ圧縮方法のシンタックス解析プロセスの第３の実施形態を概略的に示す。

【図21】新しいＶＳＰモードを使用したビデオ圧縮方法のシンタックス解析プロセスの第４の実施形態を概略的に示す。

【図22A】予測画像生成プロセスの第５の実施形態を示す。

【図22B】予測画像生成プロセスの第６の実施形態の詳細を示す。

【図23】予測画像生成プロセスの第７の実施形態を示す。

【図24】ＭＶ－ＨＥＶＣ及び３Ｄ－ＨＥＶＣコーデックの典型的な符号化構造及び画像依存性を概略的に示す。

【図25】予測画像生成プロセスの第８の実施形態を示す。

【発明を実施するための形態】

【0037】

以下の説明では、いくつかの実施形態は、ジョイントビデオエキスパートチーム（ＪＶＥＴ）として知られるＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣ専門家らの共同作業チームによる開発下での国際基準である汎用ビデオ符号化（ＶＶＣ）のコンテキストで、又はＨＥＶＣ、ＭＶ－ＨＥＶＣ、若しくは３Ｄ－ＨＥＶＣのコンテキストで開発されたツールを使用する。しかしながら、これらの実施形態は、ＶＶＣ、ＨＥＶＣ、ＭＶ－ＨＥＶＣ、又は３Ｄ－ＨＥＶＣに対応するビデオ符号化／復号化方法に限定されず、他のビデオ符号化／復号化方法だけでなく、ＭＶＤコンテンツに適合された他の画像符号化／復号化方法にも適用される。

【0038】

以下に記載される実施形態では、新しいＶＳＰモードが提案される。

【0039】

以下、図２４、６、７、及び８は、いくつかの用語を紹介することを可能にする基本的な実施形態を説明する。

【0040】

図２４は、ＭＶ－ＨＥＶＣ及び３Ｄ－ＨＥＶＣコーデックの典型的な符号化構造及び画像依存性を概略的に示す。

【0041】

ＭＶ及び３Ｄ－ＨＥＶＣは、層が１つのビットストリームに多重化され、互いに依存し得る多層アプローチを用いることが知られている。ＭＶ及び３Ｄ－ＨＥＶＣでは、層は、特定のカメラに関連するシーンのテクスチャ、深度、又は他の補助情報を表すことができる。同じカメラに属する全ての層は、ビューとして称され、同じタイプの情報（例えば、テクスチャ又は深度）を保有する層は、通常、３Ｄビデオの範囲内のコンポーネントと呼ばれる。

【0042】

図２４は、ビュー「０」（ベースビューとも呼ばれる）２４０９及びビュー１ ２４１０の２つのビューを含む典型的な符号化構造を示す。各ビューは、２つの層を含む。ビュー０ ２４０９は、テクスチャの画像２４０１及びテクスチャの画像２４０５から成る第１の層と、深度の画像２４０３及び深度の画像２４０７を含む第２の層とを含む。ビュー１ ２４１０は、テクスチャの画像２４０２及び２４０６から成る第１の層と、深度の画像２４０４及び２４０８を含む第２の層とを備える。

【0043】

２つの連続した時刻が示され、設計選択によって、同じ捕捉時間又は表示時間インスタンスに関連付けられた全ての画像が１つのアクセスユニット（ＡＵ）に含まれる。画像２４０１、２４０２、２４０３、及び２４０４は、同じＡＵ ０ ２４１１にある。画像２４０５、２４０６、２４０７及び２４０８は、同じＡＵ １ ２４１２にある。ベース層は、一般に、ＨＥＶＣ単層プロファイルに適合するために必要とされ、したがって、ベースビューのテクスチャコンポーネントである。

【0044】

ＡＵのベース層画像に続く画像の層は、エンハンスメント層と称され、ベースビュー以外のビューは、エンハンスメントビューと称される。ＡＵでは、全てのコンポーネントについて、ビューの順序が同じである必要がある。符号化の組み合わせを容易にするために、３Ｄ－ＨＥＶＣでは、特定のビューの深度コンポーネントがそのテクスチャコンポーネントに直接続くことが更に必要とされる。異なる層及びＡＵ内の画像間の依存関係の概要を図２４に示し、以下で更に論じる。

【0045】

しかしながら、ＭＶ－ＨＥＶＣでは、同じビュー及びコンポーネントの画像を使用する従来の時間的画像間予測（図２４の頭字語ＴＩＩＰに関連付けられた矢印で表される）を超えて、ＭＶ－ＨＥＶＣは、同じＡＵ及びコンポーネントだが異なるビュー内の画像からの予測を可能にし、以下、この予測は、ビュー間予測（図２４の頭字語ＩＶＰに関連付けられた矢印で表される矢印で表される）と称する。ビュー間予測のために、他のビューからの復号化画像を、現在の画像の基準画像として使用することができる。

【0046】

現在の画像の現在のブロックに関連付けられた動きベクトルは、同じビューの時間的基準画像に関連する場合には時間的であり得（以下ＴＭＶと称する）、又はビュー間基準画像に関連する場合には視差ＭＶであり得る（以下ＤＭＶと称する）。ＭＶがＴＭＶ又はＤＭＶであるかどうかに関係なく、同じように動作する既存のブロックレベルＨＥＶＣ動き補償モジュールを使用することができる。

【0047】

圧縮性能の向上のために、３Ｄ－ＨＥＶＣは、新しいタイプの層間予測を可能にすることによってＭＶ－ＨＥＶＣを拡張する。図２４に示すように、新しい予測タイプは以下の通りである。
・同じコンポーネント内だが、異なるＡＵ及び異なるビューにおける画像を参照する、時間的及びビュー間予測の組み合わせ（図２４の頭字語ＴＩＩ＋ＩＶＰを有する矢印で表される）；
・同じＡＵ及びビュー内だが、異なるコンポーネント内の画像を参照する、コンポーネント間予測（図２４の頭字語ＩＣＰを有する矢印で表される）；
・同じＡＵ内だが、異なるビュー及びコンポーネント内の画像を参照する、コンポーネント間とビュー間予測の組み合わせ（図２４の頭字語ＩＣＩＰを有する矢印で表される）。

【0048】

ＭＶ－ＨＥＶＣと比較した更なる設計変更は、サンプル及び動き情報、に加えて、残差、視差、及び分割情報も予測又は推測することができることである。テクスチャ及び深度符号化ツールの詳細な概要は、文献「Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｍｕｌｔｉｖｉｅｗ ａｎｄ ３Ｄ Ｅｘｔｅｎｓｉｏｎｓ ｏｆ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｃｉｒｃｕｉｔｓ ａｎｄ ｓｙｓｔｅｍｓ ｆｏｒ ｖｉｄｅｏ ｔｅｃｈｎｏｌｏｇｙ、第２６巻、第１号、２０１６年１月、Ｇ．Ｔｅｃｈ；Ｙ．Ｃｈｅｎ；Ｋ．Ｍｕｌｌｅｒ；Ｊ－Ｒ．Ｏｈｍ；Ａ．Ｖｅｔｒｏ；Ｙ－Ｋ．Ｗａｎｇ」で提供される。

【0049】

ＨＥＶＣとＶＶＣとの間の類似性のために、ＭＶ及び３Ｄ－ＨＥＶＣの文脈において定義された圧縮ツールをＶＶＣのコンテキストに適合させて、（深度情報の有無にかかわらず）マルチビューコンテンツを扱うことができるコーデックを取得することができるはずである。ＨＥＶＣのコンテキストにおけるように、ＶＶＣのコンテキストにおいて、テクスチャ情報のみを含むマルチビューコンテンツのベース層は、ＶＶＣと完全に互換性があるはずである。

【0050】

図６、７、及び８は、マルチビューコンテンツのベース層を符号化するために使用することができる基本的な圧縮方法のいくつかの主要な特徴を想起させる。

【0051】

図６は、元のビデオ１０のピクセル１１の画像による分割の例を示す。ここでは、ピクセルは、マルチビューコンテンツのベース層に対応する３つの成分、すなわち輝度成分と２つのクロミナンス成分からなると考えられる。同じ分割を、マルチビューコンテンツの全ての層、すなわちテクスチャ層及び深度層に適用することができる。加えて、同じ分割を、別の数のコンポーネント又は層、例えば、４つの成分（輝度成分、２つのクロミナンス成分、及び透明性成分）を含むテクスチャ層と深度層とに適用することができる。

【0052】

画像は、複数の符号化エンティティに分割される。まず、図６の参照番号１３で示すように、画像が符号化ツリーユニット（ＣＴＵ）と呼ばれるブロックのグリッドに分割される。ＣＴＵは、輝度サンプルのＮ×Ｎブロックと、クロミナンスサンプルの２つの対応するブロックとで構成される。Ｎは、一般に、例えば、「１２８」の最大値を有する２のべき乗である。第２に、画像は１つ又は複数のタイル行及びタイル列に分割することができ、タイルは画像の矩形領域をカバーするＣＴＵのシーケンスである。いくつかのビデオ圧縮スキームによっては、タイルを１つ又は複数のブリックに分割することができ、その各々はタイル内の少なくとも１つのＣＴＵ行からなる。タイル及びブリックの概念の上には、画像の少なくとも１つのタイル又はタイルの少なくとも１つのブリックを含むことができるスライスと呼ばれる別の符号化エンティティが存在する。

【0053】

図６の例では、参照番号１２で示すように、画像１１は、３つのスライスＳ１、Ｓ２、及びＳ３に分割され、各スライスは複数のタイル（図示せず）を含む。

【0054】

図６の参照番号１４で示すように、ＣＴＵは、符号化ユニット（ＣＵ）と呼ばれる１つ又は複数のサブブロックの階層ツリーの形態に分割され得る。ＣＴＵは、階層ツリーのルート（すなわち、親ノード）であり、複数のＣＵ（すなわち、子ノード）に分割され得る。各ＣＵは、より小さいＣＵに更に分割されていない場合は階層ツリーのリーフになり、更に分割されている場合はより小さいＣＵ（すなわち、子ノード）の親ノードになる。異なるタイプの階層ツリーを使用することができ、ここで、ＣＴＵ又はＣＵが４つの正方形ＣＵ又は等しいサイズに分割されている四分木であり、二分木では、ＣＴＵ（ＣＵ）は、等しいサイズの「２」つの矩形ＣＵに水平又は垂直に分割することができる。三分木では、ＣＴＵ（ＣＵ）は、「３」つの矩形ＣＵに水平又は垂直に分割することができる。

【0055】

図６の例では、ＣＴＵ １４は、四分木タイプの分割を使用して、最初に「４」つの正方形ＣＵに分割される。左上のＣＵは、更に分割されていないため、階層ツリーのリーフであり、すなわち、他のＣＵの親ノードではない。右上のＣＵは、やはり四分木タイプの分割を使用して、「４」つのより小さい正方形ＣＵに更に分割される。右下のＣＵは、二分木タイプの分割を使用して「２」つの矩形ＣＵに垂直に分割される。左下のＣＵは、三分木タイプの分割を使用して「３」つの矩形ＣＵに垂直に分割される。

【0056】

画像の符号化中、分割は適応的であり、各ＣＴＵは、圧縮効率基準を最適化するように分割される。

【0057】

いくつかのビデオ圧縮スキームでは、予測ユニット（ＰＵ）及び変換ユニット（ＴＵ）の概念が登場した。実際、この場合、予測（すなわち、ＰＵ）及び変換（すなわち、ＴＵ）に使用される符号化エンティティは、ＣＵの部分であり得る。例えば、図６に示すように、サイズ２Ｎ×２ＮのＣＵは、サイズＮ×２Ｎ又はサイズ２Ｎ×ＮのＰＵ １４１１に分割することができる。更に、当該ＣＵは、サイズＮ×Ｎの「４」つのＴＵ １４１２又はサイズ

【0058】

【数1】

の「１６」個のＴＵに分割することができる。

【0059】

本出願では、「ブロック」又は「画像ブロック」という用語は、ＣＴＵ、ＣＵ、ＰＵ、及びＴＵのうちのいずれか１つを指すために使用することができる。更に、「ブロック」又は「画像ブロック」という用語は、マクロブロック、パーティション、及びサブブロックを指すために使用することができ、より一般的には、多数のサイズのサンプルのアレイを指すために使用することができる。

【0060】

本出願では、「再構成（reconstructed）」及び「復号化（decoded）」という用語は、交換可能に使用され得、「ピクセル（pixel）」及び「サンプル（sample）」という用語は、交換可能に使用され得、「画像（image）」及び「ピクチャ（picture）」という用語は、交換可能に使用され得る。ＭＶＤデータの特定のコンテキストでは、図２４のＡＵと同様に、時間Ｔにおけるフレームは、各ビューに関して、時間Ｔに対応する画像（テクスチャ及び深度）を含むエンティティとみなされる。通常、「再構成」という用語は、エンコーダ側で使用され、「復号化」は、デコーダ側で使用される。

【0061】

図７は、符号化モジュールによって実行されるビデオストリームを符号化するための方法を概略的に示す。符号化のためのこの方法の変形形態が考えられるが、明確さを目的として、以下では予想される全ての変形形態を記載することなく、図７の符号化のための方法について説明する。特に、符号化のための記載された方法は、マルチビューコンテンツのベース層に適用され、当該ベース層の各ピクセルは、輝度成分及び２つのクロミナンス成分を含む。マルチビューコンテンツ、特に深度層の符号化に適合された特定の符号化ツールは、これ以上説明しない。

【0062】

現在の元の画像５０１の符号化は、図６に関連して説明したように、ステップ５０２中の現在の元の画像５０１の分割から始まる。したがって、現在の画像５０１は、ＣＴＵ、ＣＵ、ＰＵ、ＴＵなどに分割される。各ブロックについて、符号化モジュールは、イントラ予測とインター予測との間の符号化モードを決定する。

【0063】

イントラ予測は、イントラ予測方法に従って、ステップ５０３中に、符号化される現在のブロックの因果的近傍に位置する再構成ブロックのピクセルから導出された予測ブロックから現在のブロックのピクセルを予測することからなる。イントラ予測の結果は、近傍のブロックのどのピクセルを使用するかを示す予測方向と、現在のブロックと予測ブロックとの差の計算から生じる残差ブロックである。

【0064】

インター予測は、基準ブロックと呼ばれる、現在の画像の前又は後の画像のピクセルのブロックから現在のブロックのピクセルを予測することからなり、この画像は基準画像と呼ばれる。インター予測方法による現在のブロックの符号化中に、類似性基準による、現在のブロックに最も近い基準画像のブロックが、動き推定ステップ５０４によって決定される。ステップ５０４中に、インデックスによって特定された基準画像内の基準ブロックの位置を示す動きベクトルが決定される。当該動きベクトルと基準画像の当該インデックスは、動き補償ステップ５０５中に使用され、その間に残差ブロックは、現在のブロックと基準ブロックとの間の差の形態で計算される。ここでは、１予測インター予測のみが説明されることに留意されたい。また、現在のブロックが２つの動きベクトルと関連付けられ、２つの異なる画像（各々が基準画像インデックスによって指定される）に２つの基準ブロックを指定し、このブロックの残差ブロックが、２つの残差ブロックの平均である二予測インター予測（又はＢモード）が存在する。

【0065】

イントラ予測及びインター予測は、空間的及び時間的予測の一般的な原理に基づいて多くのモードを含む一般的な用語であることに留意されたい。

【0066】

選択ステップ５０６中、試験された予測モードの中で、レート／歪み基準に従って圧縮性能を最適化する予測モードが、符号化モジュールによって選択される。予測モードが選択されると、残差ブロックはステップ５０７中に変換され、ステップ５０９中に量子化される。符号化モジュールは、変換をスキップして、変換されていない残差信号に量子化を直接適用することができることに留意されたい。現在のブロックがイントラ予測に従って符号化されるとき、予測方向と、変換され量子化される残差ブロックとは、ステップ５１０中にエントロピエンコーダによって符号化される。現在のブロックがインター予測に従って符号化されると、ブロックの動きベクトルは、符号化されるブロックの近くに位置する再構成ブロックに対応する動きベクトルのセットから選択された予測ベクトルから予測される。動き情報（動きベクトル残差、動きベクトル予測子のインデックス、基準画像のインデックスを含む）は、次に、ステップ５１０中にエントロピエンコーダによって、動き残差及び予測ベクトルを識別するためのインデックスの形態で符号化される。変換され量子化された残差ブロックは、ステップ５１０中にエントロピエンコーダによって符号化される。符号化モジュールは、変換及び量子化の両方をバイパスすることができ、すなわちエントロピ符号化は、変換処理又は量子化処理を適用することなく残差に適用されることに留意されたい。エントロピ符号化の結果は、符号化ビデオストリーム５１１に挿入される。

【0067】

量子化ステップ５０９の後、現在のブロックは、そのブロックに対応するピクセルが将来の予測に使用され得るように再構成される。この再構成段階は、予測ループとも呼ばれる。したがって、逆量子化は、ステップ５１２中に変換され量子化された残差ブロックに適用され、ステップ５１３中に逆変換が適用される。ステップ５１４中に取得されたブロックに使用される予測モードによって、ブロックの予測ブロックが再構成される。現在のブロックがインター予測に従って符号化される場合、符号化モジュールは、ステップ５１６中に、現在のブロックの基準ブロックを識別するために、現在のブロックの動きベクトルを使用する動き補償を適用する。現在のブロックがイントラ予測に従って符号化される場合、ステップ５１５中に、現在のブロックに対応する予測方向が、現在のブロックの基準ブロックを再構成するために使用される。再構成された現在のブロックを取得するために、基準ブロック及び再構成された残差ブロックが追加される。

【0068】

再構成後、ステップ５１７中に、符号化アーチファクトを低減することを意図したインループポストフィルタリングが、再構成ブロックに適用される。このポストフィルタリングは、デコーダと同じ基準画像の符号化を取得し、したがって符号化と復号化との間のドリフトを回避するために予測ループで行われるので、インループポストフィルタリングと呼ばれる。例えば、インループポストフィルタリングは、デブロッキングフィルタリング及びＳＡＯ（サンプル適応オフセット）フィルタリングを含む。インループデブロッキングフィルタのアクティブ化又は非アクティブ化を表すパラメータ、及びアクティブ化されると、当該インループデブロッキングフィルタの特性は、エントロピ符号化ステップ５１０中に、符号化ビデオストリーム５１１に導入される。

【0069】

ブロックが再構成されると、ブロックは、ステップ５１８中に、再構成画像のメモリ５１９に記憶された再構成画像に挿入され、このメモリは、基準画像メモリ、基準画像バッファ、又は復号化ピクチャバッファ（ＤＰＢ）とも呼ばれる。そのように記憶された再構成画像は、符号化される他の画像の基準画像として機能することができる。

【0070】

図８は、復号化モジュールによって実行される、図７に関連して説明された方法に従って符号化された符号化ビデオストリーム５１１を復号化するための方法を概略的に示す。復号化のためのこの方法の変形形態が考えられるが、明確さを目的として、以下では予想される全ての変形形態を記載することなく、図８の復号化のための方法について説明する。

【0071】

復号化はブロック毎に行われる。現在のブロックの場合、これはステップ６１０中に現在のブロックのエントロピ復号化から始まる。エントロピ復号化は、ブロックの予測モードを取得することを可能にする。

【0072】

ブロックがインター予測に従って符号化されている場合、エントロピ復号化は、予測ベクトルインデックス、動き残差、基準画像のインデックス、及び残差ブロックを取得することを可能にする。ステップ６０８中に、予測ベクトルインデックス及び動き残差を使用して、現在のブロックに対して動きベクトルが再構成される。

【0073】

ブロックがイントラ予測に従って符号化されている場合、エントロピ復号化は、予測方向及び残差ブロックを取得することを可能にする。復号化モジュールによって実装されるステップ６１２、６１３、６１４、６１５、６１６及び６１７は、全て、符号化モジュールによって実装されるステップ５１２、５１３、５１４、５１５、５１６、及び５１７とそれぞれ同一である。復号化ブロックは、復号化画像に保存され、復号化画像は、ステップ６１８でＤＰＢ ６１９に記憶される。復号化モジュールが所与の画像を復号化するとき、ＤＰＢ ６１９に記憶された画像は、当該所与の画像の符号化中に符号化モジュールによってＤＰＢ ５１９に記憶された画像と同一である。符号化された画像はまた、例えば表示のために復号化モジュールによって出力され得る。

【0074】

図１は、ＭＶＤコンテンツを取得するように適合されたカメラアレイの例を概略的に示す。

【0075】

図１は、４×４グリッド上に位置付けられた「１６」個のカメラ１０Ａ～１０Ｐを含むカメラアレイ１０を表す。カメラアレイ１０の各カメラは、同じシーンに焦点を合わせ、例えば、ピクセルが輝度成分及び２つのクロミナンス成分を含む画像の例示的な画像を取得することができる。例えば、カメラアレイ１０に接続された計算手段又は測定手段（図示せず）は、カメラアレイ１０のカメラによって生成された各画像の深度マップを生成するために使用される。図１の例では、画像に関連付けられた各深度マップは、当該画像と同じ解像度を有する（すなわち、深度マップは、当該画像の各ピクセルの深度値を含む）。したがって、カメラアレイ１０は、「１６」個のテクスチャ層及び「１６」個の深度層を含むＭＶＤコンテンツを生成する。そのようなタイプのカメラアレイでは、捕捉されたビュー間の重なりが重要である。そのようなマルチビューコンテンツで達成され得る全体的な圧縮率を改善することが、以下の実施形態の目標である。

【0076】

カメラアレイ１０の各カメラは、内部及び外部カメラパラメータに関連付けられている。本明細書で後述するように、これらのパラメータは、予測画像を作成するためにデコーダによって必要とされる。一実施形態では、内部及び外部パラメータは、ＳＥＩ（補足エンハンスメント情報）メッセージの形態でデコーダに提供される。ＳＥＩメッセージは、メタデータを伝達するためにＨ．２６４／ＡＶＣ及びＨＥＶＣで定義された。

【0077】

表 ＴＡＢ１は、カメラアレイの内部及び外部パラメータを伝達するように適合されたＳＥＩメッセージのシンタックスを記載している。このシンタックスは、ＨＥＶＣ（セクションＧ．１４．２．６）におけるマルチビュー取得情報ＳＥＩメッセージシンタックスのシンタックスと同一である。

【0078】

【表1】

【0079】

以下に記載される実施形態の目標の１つは、少なくとも１つの他のビューに基づいて１つのビューの予測を改善することである。上述のようにカメラアレイによって捕捉されたマルチビューコンテンツを標的とするため、カメラのいずれかは、近隣ビューの一部又は全部に対して良好な予測を提供することができる。現在のビューの現在の画像の予測画像を作成するために、以前に復号化されたビュー及びそれらの関連するカメラパラメータ並びに現在のビューに関連付けられたカメラパラメータが使用される。ビュー内のテクスチャ層又は深度層のいずれかが、新しいｖｓｐモードを使用することができることに留意されたい。

【0080】

プレーンピンホールとして較正されたカメラと

【0081】

【数2】

当該カメラの内部行列について考える。
・ｆは、射出瞳からカメラのセンサまでの距離を指し、ピクセルで表され、文献では誤って「焦点距離」と呼ばれることが多い。表 ＴＡＢ１では、この情報は、以下のパラメータのセットで説明される。

【0082】

【表2】

・

【0083】

【数3】

は、いわゆる「主点」、すなわちセンサ上へのピンホールの正射影のピクセル座標を示す。表１では、この情報は、以下のパラメータのセットで説明される。

【0084】

【表3】

・α及びγはそれぞれ、ピクセルのアスペクト比及びセンサのスキュー係数を示す。α値は表１では直接表されていないが、αｆ値は以下のように表されている。

【0085】

【表4】

・γ値は、以下のように表１に記載されている。

【0086】

【表5】

【0087】

【数4】

がカメラの座標系（ＣＳ）における所与の点の座標である場合、画像

【0088】

【数5】

内の投影の座標は、次のように（ピクセルで）与えられる。

【0089】

【数6】

ここで、記号≡は均質ベクトル間の等価関係を示す。

【0090】

【数7】

【0091】

【数8】

は、カメラのポーズ行列を表し、

【0092】

【数9】

はそれぞれ、基準座標系（ＣＳ）におけるカメラの配向及び位置を表す。カメラの外部行列は、以下のように定義される。

【0093】

【数10】

【0094】

各カメラについて、表 ＴＡＢ１では、Ｒ及びＴ行列は、以下によって記述される。

【0095】

【表6】

【0096】

【数11】

がそれぞれカメラＣＳと基準ＣＳ内の同じ点を指す場合、

【0097】

【数12】

である。図１２は、基準ＣＳからカメラＣＳへの、及びカメラＣＳから基準ＣＳへの投影を表す。

【0098】

ここで、所与のカメラｃが現在のビューを提供していると考える。カメラｃは、内部行列Ｋ_ｃ及びポーズ行列Ｐ_ｃに関連付けられている。

【0099】

【数13】

はカメラｃよって取得された現在のビューの画像内の現在のピクセル、ｚはその推定深度とする。現在のピクセル

【0100】

【数14】

に対応する内部行列Ｋ_ｃ’と外部行列Ｑ_ｃ’とに関連付けられたカメラｃ´によって提供された基準ビューの画像のピクセル

【0101】

【数15】

は、以下によって与えられる。

【0102】

【数16】

【0103】

図９は、ＭＶＤコンテンツを表す符号化ビデオストリームを符号化するための方法の例を概略的に示す。

【0104】

図９の方法は、第１のビュー５０１及び第２のビュー５０１Ｂを符号化することを可能にする方法である。この例では、図２４のように、第１のビューは、テクスチャデータを含むベース層（層「０」）と、深度データを含む層「１」とを含む。第２のビューは、テクスチャデータを含む層「２」と、深度データを含む層「３」とを含む。表現を簡略化するため、２つのビューのみを符号化することが表されているが、図９の方法によってより多くのビューを符号化することができる。例えば、カメラアレイ１０によって生成された「１６」個のビューを、図９の符号化のための方法によって符号化することができる。

【0105】

実施形態（９ａ）では、第１のビュー５０１は、他の全てのビューが直接的又は間接的に予測されるルートビューとみなされる。第１のビュー５０１は、任意のビュー間又は層間予測なしで符号化される。一実施形態では、層「０」及び層「１」は、並列に又は順次のいずれかで別々に符号化される。一実施形態では、層「０」及び層「１」は、図７を参照して記載された同じステップ５０２、５０３、５０４、５０５、５０６、５０７、５０８、５０９、５１０、５１２、５１３、５１４、５１５、５１６、５１７、５１８、及び５１９を使用して符号化される。言い換えれば、第１のビュー５０１のテクスチャ及び深度データは、図７の方法を使用して符号化される（図２４の矢印ＴＩＩＰに対応する）。

【0106】

実施形態（９ｂ）では、層「０」は、図７の方法を使用して符号化されているが、当該方法は、層「１」に対してわずかに修正されて、３Ｄ ＨＥＶＣに定義されたモードを組み込み、当該ビューのテクスチャ層からビューの深度層を予測する（図２４の矢印ＩＣＰに対応する）。

【0107】

実施形態（９ｃ）では、第２のビュー５０１Ｂのテクスチャ層（層「２」）は、ステップ５０２、５０３、５０４、５０５Ｂ、５０７、５０８、５０９、５１０、５１２、５１３、５１４、５１５、５１６、５１７、５１８、及び５１９とそれぞれ同一のステップ５０２Ｂ、５０３Ｂ、５０４Ｂ、５０５Ｂ、５０７Ｂ、５０８Ｂ、５０９Ｂ、５１０Ｂ、５１２Ｂ、５１３Ｂ、５１５Ｂ、５１６Ｂ、５１７Ｂ、５１８Ｂ、及び５１９Ｂを含むプロセスによって符号化される。

【0108】

新しい予測画像は、ステップ５２１で処理モジュール２０によって生成され、ＤＰＢ ５１９Ｂに導入される。この新しい予測画像は、ステップ５２２で処理モジュール２０によって使用されて、第２のビュー５０１Ｂのテクスチャ層の現在の画像の現在のブロックについて、ＶＳＰ予測子の信号と呼ばれる予測子を決定する。ＶＳＰ予測子による予測は、以下単にＶＳＰモードとも呼ばれる新しいＶＳＰモードに対応する。

【0109】

ＶＳＰモードは、従来のインターモードと非常に類似している。実際、ＤＰＢ ５１９Ｂに導入されると、ステップ５２１中に生成された新しい予測画像は、（ステップ５２１中に生成された予測画像が、第２のビュー５０１Ｂのテクスチャ層の現在の画像と時間的に同じ場所に配置される場合でも）時間的予測のための通常の基準画像として扱われる。したがって、新しいＶＳＰモードは、ビュー間予測によって生成された特定の基準画像を使用するインターモードとして考慮され得る。ステップ５２２は、動き推定ステップ及び動き補償ステップを含む。ＶＳＰモードを使用して符号化されるブロックは、動き情報及び残差の形態で符号化され、動き情報は、ステップ５２１中に生成された予測画像の識別子を含む。

【0110】

ステップ５０６Ｂ中、処理モジュール２０は、ステップ５２２中に生成されたＶＳＰ予測子が、通常のイントラ及びインター予測子に加えて考慮されるという点で、ステップ５０６とは異なるステップを実行する。同様に、処理モジュール２０は、新しいＶＳＰモードが現在のブロックに可能性として適用され得る予測モードのセットに属するという点で、ステップ５１４とは異なるステップ５１４Ｂを実行する。ステップ５０６Ｂ中に現在のブロックに対して新しいＶＳＰモードが選択された場合、処理モジュール２０は、ステップ５２３中に対応するＶＳＰ予測子を再構成する。

【0111】

実施形態（９ｄ）では、第２のビュー５０１Ｂの深度層（層「３」）は、同じステップ５０２Ｂ、５０３Ｂ、５０４Ｂ、５０５Ｂ、５０６Ｂ、５０７Ｂ、５０８Ｂ、５０９Ｂ、５１０Ｂ、５１２Ｂ、５１３Ｂ、５１４Ｂ、５１５Ｂ、５１６Ｂ、５１７Ｂ、５１８Ｂ、５１９Ｂ、５２１、５２２、及び５２３を使用して符号化される。したがって、新しいＶＳＰモードは、第２のビュー５０１Ｂの深度層（層「３」）に適用される。より一般的には、ＶＳＰモードは、別のビューから予測されるビューの深度層に適用することができる。

【0112】

実施形態（９ｅ）では、層「３」の符号化は、３Ｄ ＨＥＶＣに定義されたモードを組み込み、当該ビューからビューの深度層を予測する（図２４の矢印ＩＣＰに対応する）。

【0113】

図９の例では、第２のビュー５０１Ｂは、少なくともテクスチャ層「０」がいかなるビュー間予測も伴わずに符号化されている第１のビュー５０１から符号化される。２つ以上のビューが図９の方法によって符号化されるとき、任意の第３のビューは、少なくともテクスチャ層が任意のビュー間予測なしで（例えば、第１のビュー５０１から）符号化されるビューから、又はテクスチャ層がビュー間予測で符号化されるビューから（例えば、第２のビュー５０１Ｂから）、符号化することができる。

【0114】

図示されるように、図９の符号化方法は、ビュー毎に１つずつの２つの符号化層を含む。当然のことながら、３つ以上のビューが符号化された場合、図９の符号化方法は、ビューの数と同数の符号化層を含むものとする。図９の例では、各符号化層は、自身のＤＰＢを有する。言い換えれば、各ビューは、自身のＤＰＢに関連付けられる。

【0115】

以下に記載されるように、ＤＰＢの画像は、複数の基準インデックスによってインデックス付けされる：
・ｒｅｆ＿ｉｄｘ：ＤＰＢで使用する基準画像のインデックス、
・ｒｅｆ＿ｉｄｘ＿ｌ０：ＤＰＢに記憶された基準画像のリストｌ０で使用する基準画像のインデックス。フレームＴでビューｉを復号化するために、ｒｅｆ＿ｉｄｘ＿ｌ０によって言及されるリストは異なるフレームのビューｉを含む、
・ｒｅｆ＿ｉｄｘ＿ｌ１：ＤＰＢに記憶された基準画像のリストｌ１で使用する基準画像のインデックス。フレームＴでビューｉを復号化するために、ｒｅｆ＿ｉｄｘ＿ｌ１によって言及されるリストは異なるフレームのビューｉを含む、
・ｒｅｆ＿ｉｄｘ２：現在の画像に時間的に対応する基準画像のうち、使用する基準画像のインデックス。インデックスｒｅｆ＿ｉｄｘ２は、順投影によって生成された画像のみを指す。フレームＴでビューｉを復号化するため、ｒｅｆ＿ｉｄｘ２によって言及されるリストは、フレームＴに対応する基準画像を含む。

【0116】

図１０は、マルチビューコンテンツを表す符号化ビデオストリームを復号化するための方法の例を概略的に示す。

【0117】

実施形態（９ａ）に対応する実施形態（１０ａ）では、層「０」及び層「１」は、並列に又は順次のいずれかで別々に復号化される。一実施形態では、「０」及び層「１」は、図８に関連して記載された同じステップ６０８、６１０、６１２、６１３、６１４、６１５、６１６、６１７、６１８、６１９を使用して復号化される。言い換えれば、第１のビュー５０１のテクスチャ及び深度データは、図８の方法を使用して符号化される（図２４の矢印ＴＩＩＰに対応する）。

【0118】

実施形態（９ｂ）に対応する実施形態（１０ｂ）では、層「０」は、図８の方法を使用して復号化されるが、当該方法は、層「１」に対してわずかに修正されて、３Ｄ ＨＥＶＣに定義されたモードを組み込む（図２４の矢印ＩＣＰに対応する）。

【0119】

実施形態（９ｃ）に対応する実施形態（１０ｃ）では、第２のビュー５０１Ｂのテクスチャ層（層「２」）は、それぞれステップ６０８、６１０、６１２、６１３、６１５、６１６、６１７、６１８、６１９と同一であるステップ６０８Ｂ、６１０Ｂ、６１２Ｂ、６１３Ｂ、６１５Ｂ、６１６Ｂ、６１７Ｂ、６１８Ｂ、６１９Ｂを含むプロセスによって復号化される。ステップ６２１では、処理モジュール２０は、ステップ５２１中に生成された画像と同一の新しい予測画像を生成し、この画像をＤＰＢ ６１９Ｂに導入する。処理モジュール２０は、新しいＶＳＰモードが現在のブロックに可能性として適用され得る予測モードのセットに属するという点で、ステップ６１４とは異なるステップ６１４Ｂを実行する。ステップ５０６Ｂ中に現在のブロックに対して新しいＶＳＰモードが選択された場合、処理モジュール２０は、ステップ６２３中に対応するＶＳＰ予測子を再構成する。

【0120】

実施形態（９ｄ）に対応する実施形態（１０ｄ）では、第２のビュー５０１Ｂの深度層（層「３」）は、同じステップ６０８Ｂ、６１０Ｂ、６１２Ｂ、６１３Ｂ、６１４Ｂ、６１５Ｂ、６１６Ｂ、６１７Ｂ、６１８Ｂ、６１９Ｂ、６２１、及び６２３を使用して復号化される。

【0121】

図示されるように、図１０の復号化方法は、ビュー毎に１つずつの２つの符号化層を含む。当然のことながら、３つ以上のビューが復号化された場合、図９の復号化方法は、ビューの数と同数の復号化層を含むものとする。図９の例では、各復号化層は、それ自体のＤＰＢを有する。言い換えれば、各ビューは、自身のＤＰＢに関連付けられる。

【0122】

図２は、カメラアレイによって提供されるＭＶＤコンテンツを符号化するように適合された処理モジュールを概略的に表す。

【0123】

図２では、２つのカメラ１０Ａ及び１０Ｂのみを含むカメラアレイ１０の簡略化された表現が示されている。カメラアレイ１０の各カメラは、有線又は無線であり得る通信リンクを使用して、処理モジュール２０と通信する。図２では、処理モジュール２０は、符号化ビデオストリーム内で、以下に記載される新しいＶＳＰモードを使用して、カメラアレイ１０によって生成されたマルチビューコンテンツを符号化する。

【0124】

図３は、ＭＶＤコンテンツを表す符号化ビデオストリームを復号化するように適合された処理モジュールを概略的に表す。

【0125】

図３では、処理モジュール２０は、符号化ビデオストリームを復号化する。処理モジュール２０は、復号化から生じる画像を表示することができる表示デバイス２６に有線又は無線であり得る通信リンクによって接続される。表示デバイスは、例えば、仮想現実ヘッドセット、３Ｄ ＴＶ、又はコンピュータディスプレイである。

【0126】

図４は、以下に記載される様々な実施形態を実施することができる符号化モジュール又は復号化モジュールを実装することができる処理モジュール２０のハードウェアアーキテクチャの例を概略的に示す。処理モジュール２０は、非限定的な例として、通信バス２０５によって接続された、１つ又は複数のマイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサを包含するプロセッサ又はＣＰＵ（中央処理装置）２００と、ランダムアクセスメモリ（ＲＡＭ）２０１と、読み出し専用メモリ（ＲＯＭ）２０２と、限定するものではないが、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、及び／又は光ディスクドライブを含む、不揮発性メモリ及び／又は揮発性メモリを含み得る、記憶デバイス２０３、又はＳＤ（セキュアデジタル）カードリーダ及び／又はハードディスクドライブ（ＨＤＤ）などの記憶媒体リーダ及び／又はネットワークアクセス可能な記憶装置と、データを他のモジュール、デバイス、又は機器と交換するための少なくとも１つの通信インターフェース２０４と、を含む。通信インターフェース２０４は、通信チャネルを介してデータを送信及び受信するように構成された送受信機を含むことができるが、これらに限定されない。通信インターフェース２０４は、モデム又はネットワークカードを含むことができるが、これらに限定されない。

【0127】

処理モジュール２０が復号化モジュールを実装する場合、通信インターフェース２０４は、例えば、処理モジュール２０が、符号化ビデオストリームを受信し、復号化ビデオストリームを提供することを可能にする。

【0128】

処理モジュールが符号化モジュールを実装する場合、通信インターフェース２０４は、例えば、処理モジュール２０が元の画像データを受信して、符号化ビデオストリームを符号化及び提供することを可能にする。

【0129】

プロセッサ２００は、ＲＯＭ ２０２、外部メモリ（図示せず）、記憶媒体、又は通信ネットワークからＲＡＭ ２０１にロードされた命令を実行することができる。処理モジュール２０の電源が投入されると、プロセッサ２００は、ＲＡＭ ２０１から命令を読み出し、それらを実行することができる。これらの命令は、例えば、図９に関連して説明した復号化方法又は図１０に関連して説明した符号化方法のプロセッサ２００による実施を引き起こすコンピュータプログラムを形成し、復号化方法及び符号化方法は、本明細書において後述する様々な態様及び実施形態を含む。

【0130】

当該符号化又は復号化方法のアルゴリズム及びステップの全て又は一部は、ＤＳＰ（デジタル信号プロセッサ）又はマイクロコントローラなどのプログラマブルマシンによる命令セットの実行によってソフトウェア形式で実装されてもよく、又はＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）などのマシン又は専用コンポーネントによってハードウェア形式で実装されてもよい。

【0131】

図５は、様々な態様及び実施形態が実装されているシステム２の一例のブロック図を示す。システム２は、以下に説明する様々な構成要素を含むデバイスとして具現化することができ、本文書に説明する態様及び実施形態のうちの１つ以上を実行するように構成されている。このようなデバイスの例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続型家電、仮想現実ヘッドセット、及びサーバなどの様々な電子デバイスが挙げられるが、これらに限定されない。システム２の要素は、単独で、又は組み合わせて、単一の集積回路（ＩＣ）、複数のＩＣ、及び／又は別個の構成要素で具体化され得る。例えば、少なくとも１つの実施形態では、システム２は、復号化モジュール又は符号化モジュールを実装する１つの処理モジュール２０を含む。しかし、別の実施形態では、システム２は、復号化モジュールを実装する１つの処理モジュール２０と復号化モジュールを実装する１つの処理モジュール２０、又は復号化モジュール及び符号化モジュールを実装する１つの処理モジュール２０を備えることができる。様々な実施形態では、システム２は、例えば、通信バスを経由して、又は専用の入力ポート及び／若しくは出力ポートを介して、１つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム２は、本文書に記載されている態様及び実施形態のうちの１つ又は複数を実装するように構成されている。

【0132】

一実施形態では、システム２は、符号化モジュール又は復号化モジュールのうちの１つ又はその両方を実装することができる少なくとも１つの処理モジュール２０を含む。

【0133】

処理モジュール２０への入力は、ブロック２２に示されるように様々な入力モジュールを通して提供され得る。そのような入力モジュールとしては、限定するものではないが、（ｉ）例えば、放送局から無線で送信されるＲＦ信号を受信する無線周波数（ＲＦ）モジュール、（ｉｉ）構成要素（ＣＯＭＰ）入力モジュール（又はＣＯＭＰ入力モジュールのセット）、（ｉｉｉ）ユニバーサルシリアルバス（ＵＳＢ）入力モジュール、及び／又は（ｉｖ）高精細度マルチメディアインターフェース（High Definition Multimedia Interface（ＨＤＭＩ）入力モジュールが挙げられる。他の実施例は、図５に示されていないが、複合ビデオを含む。

【0134】

様々な実施形態において、ブロック２２の入力モジュールは、技術分野で既知であるように、関連するそれぞれの入力処理要素を有する。例えば、ＲＦモジュールは、（ｉ）所望の周波数を選択する（信号を選択する、又は信号を周波数帯域に帯域制限するとも称される）、（ｉｉ）選択された信号をダウンコンバートする、（ｉｉｉ）特定の実施形態で、（例えば）チャネルと称され得る信号周波数帯域を選択するために、再びより狭い周波数帯域に帯域制限する、（ｉｖ）ダウンコンバート及び帯域制限された信号を復調する、（ｖ）誤り訂正を実施する、及び（ｖｉ）データパケットの所望のストリームを選択するために多重分離する、ために適切な要素と関連付けられ得る。様々な実施形態のＲＦモジュールは、これらの機能を実行する１つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。ＲＦ部分は、例えば、受信信号をより低い周波数（例えば、中間周波数又はベースバンドに近い周波数）又はベースバンドにダウンコンバートすることを含む、これらの機能のうちの様々な機能を実行するチューナを含むことができる。セットトップボックスの一実施形態では、ＲＦモジュール及びその関連する入力処理要素は、有線（例えば、ケーブル）媒体を介して送信されるＲＦ信号を受信し、所望の周波数帯域にフィルタリング、ダウンコンバート、及び再フィルタリングすることによって周波数選択を実行する。様々な実施形態では、上述した（及び他の）要素の順序を並べ替える、これらの要素の一部を削除する、及び／又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ－デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施形態において、ＲＦモジュールは、アンテナを含む。

【0135】

更に、ＵＳＢモジュール及び／又はＨＤＭＩモジュールは、システム２をＵＳＢ接続及び／又はＨＤＭＩ接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な側面、例えば、リード－ソロモンエラー訂正は、例えば、必要に応じて、別個の入力処理ＩＣ内で実装する、又は処理モジュール２０内で実装することができることを理解されたい。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の側面は、必要に応じて、別個のインターフェースＩＣ内で、又は処理モジュール２０内で実装することができる。復調され、誤り訂正され、逆多重化されたストリームは、処理モジュール２０に提供される。

【0136】

システム２の様々な要素は、一体型ハウジング内に提供され得る。一体型ハウジング内では、様々な要素が相互接続され、適切な接続配列、例えば、Ｉｎｔｅｒ－ＩＣ（Ｉ２Ｃ）バス、配線、及びプリント回路基板を含む当技術分野で知られている内部バスを使用して、それらの間でデータを送信し得る。例えば、システム２では、処理モジュール２０は、バス２０５によって当該システム２の他の要素に相互接続される。

【0137】

処理モジュール２０の通信インターフェース２０４は、システム２が通信チャネル２１上で通信することを可能にする。通信チャネル２１は、例えば、有線及び／又は無線媒体内に実装することができる。

【0138】

データは、様々な実施例において、Ｗｉ－Ｆｉネットワーク、例えば、ＩＥＥＥ ８０２．１１（ＩＥＥＥは、ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓを指す）などの無線ネットワークを使用して、システム２にストリーミングされるか、又は他の方法で提供される。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信のために適合された通信チャネル２１及び通信インターフェース２０４を介して受信される。これらの実施形態の通信チャネル２１は、一般には、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするためにインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。別の実施形態では、入力ブロック２２のＨＤＭＩ接続を介してデータを配信するセットトップボックスを使用して、システム２にストリーミングデータを提供する。更に別の実施形態では、入力ブロック２２のＲＦ接続を使用してシステム２にストリーミングデータを提供する。上記のように、様々な実施形態は、データをストリーミング以外の方法で提供する。加えて、様々な実施形態は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラーネットワーク又はＢｌｕｅｔｏｏｔｈネットワークを使用する。システム２に提供されるデータは、例えば、カメラ１０のアレイによって提供されるＭＶＤ信号を含む。

【0139】

システム２は、ディスプレイインターフェース２３を介したディスプレイ２６、オーディオインターフェース２４を介したスピーカ２７、及びインターフェース２５を介した他の周辺デバイス２８を含む、様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ２６は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ、及び／又は折り畳み可能なディスプレイのうちの１つ以上を含む。ディスプレイ２６は、テレビジョン、タブレット、ラップトップ、携帯電話（移動電話）、スマートフォン、仮想現実ヘッドセット、又は他のデバイス用であり得る。ディスプレイ２６はまた、他の構成要素に統合されていてもよく（例えば、スマートフォンのように）、又は別個（例えば、ラップトップの外部モニタ）であってもよい。他の周辺デバイス２８としては、実施形態の様々な例において、スタンドアロンデジタルビデオディスク（又はデジタル多用途ディスク）（両方の用語の略称としてＤＶＲ）、ディスクプレーヤ、ステレオシステム、及び／又は照明システムのうちの１つ以上が挙げられる。様々な実施形態は、システム２の出力に基づいて機能を提供する１つ以上の周辺デバイス２８を使用する。例えば、ディスクプレーヤは、システム２の出力を再生する機能を実行する。

【0140】

様々な実施形態では、制御信号は、システム２とディスプレイ２６、スピーカ２７、又は他の周辺デバイス２８との間で、ＡＶ．Ｌｉｎｋ、Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ（ＣＥＣ）、又はユーザ介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルなどの信号伝達を使用して通信される。出力デバイスは、それぞれのインターフェース２３、２４、及び２５を通じた専用接続を介してシステム２に通信可能に結合することができる。代替的に、出力デバイスは、通信インターフェース２０４を介して通信チャネル２１を使用してシステム２に接続することができる。ディスプレイ２６及びスピーカ２７は、例えば、テレビジョンなどの電子デバイス内のシステム２の他の構成要素と単一のユニットに統合され得る。様々な実施形態において、ディスプレイインターフェース２３は、ディスプレイドライバ、例えば、タイミングコントローラ（Ｔ Ｃｏｎ）チップなどを含む。

【0141】

代替的に、例えば、入力２２のＲＦモジュールが個別のセットトップボックスの一部である場合、ディスプレイ２６及びスピーカ２７を他の構成要素のうちの１つ以上から分離することができる。ディスプレイ２６及びスピーカ２７が外部構成要素である様々な実施形態では、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート、又はＣＯＭＰ出力を含む専用の出力接続を介して提供することができる。

【0142】

様々な実装形態は、復号化することを含む。本出願で使用される場合、「復号」は、例えば、ディスプレイに適した最終出力を生成するために、受信された符号化ビデオストリームに対して実行されるプロセスの全て又は一部を包含し得る。様々な実施形態において、このような処理は、例えば、エントロピ復号化、逆量子化、逆変換、及び予測など、デコーダによって一般的に実行される処理のうちの１つ以上を含む。様々な実施形態では、そのようなプロセスにはまた、若しくは代替的に、例えば、本出願に記載される、例えば、新たなＶＳＰモードを復号化するための様々な実装形態のデコーダによって実施されるプロセスも含まれる。

【0143】

「復号化処理」という句が、操作のサブセットを具体的に指すことを意図しているか、又はより広範な復号化処理を一般的に指すことを意図しているかは、特定の説明の文脈に基づいて明らかになり、当業者にはよく理解されると考えられる。

【0144】

様々な実装形態は、符号化することを含む。「復号」に関する上記の考察と同様に、本出願で使用される場合、「符号化」は、例えば、符号化ビデオストリームを生成するために入力ビデオシーケンスで実行されるプロセスの全部又は一部を包含し得る。様々な実施形態において、このような処理は、例えば、分割、予測、変換、量子化、及びエントロピ符号化など、エンコーダによって一般的に実行される処理のうちの１つ以上を含む。様々な実施形態において、このような処理は、これらに加えて、又は代替的に、本出願に説明される、例えば、新たなＶＳＰモードにより復号化するための様々な実装形態のエンコーダによって実行される処理を含む。

【0145】

「符号化処理」という句が、操作のサブセットを具体的に指すことを意図しているか、又はより広範な符号化処理を一般的に指すことを意図しているかは、特定の説明の文脈に基づいて明らかになり、当業者にはよく理解されると考えられる。

【0146】

例えば、フラグＶＳＰ及びインデックスｒｅｆ＿ｉｄｘ２などの本明細書で使用されるシンタックス要素は記述的な用語であることに留意されたい。したがって、これらは他のシンタックス要素名の使用を排除するものではない。

【0147】

図がフローチャートとして提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法／処理のフローチャートも提供するものと理解されたい。

【0148】

様々な実施形態は、速度歪み最適化を指す。特に、符号化プロセス中に、レートと歪みとの間のバランス又はトレードオフは、通常、多くの場合は計算の複雑さの制約を与えるものと考えられる。レート歪み最適化は、通常、レートと歪みの加重和であるレート歪み関数を最小化するように定式化される。レート歪み最適化問題を解くには、様々なアプローチがある。例えば、これらのアプローチは、全ての考慮されるモード又は符号化パラメータ値を含む全ての符号化オプションの広範なテストに基づき得、それらの符号化コスト、並びに符号化及び復号化後の再構成された信号の関連する歪みの完全な評価を伴う。また、符号化の複雑さを軽減するために、より高速なアプローチ、特に、再構成された信号ではなく、予測又は予測残差信号に基づく近似歪みの計算を使用することもできる。これらの２つのアプローチを組み合わせて使用することもでき、例えば、可能な符号化オプションの一部のみに対して近似歪みを使用し、他の符号化オプションに対しては完全な歪みを使用することができる。別のアプローチでは、可能な符号化オプションのサブセットのみを評価する。より一般的には、多くのアプローチは、最適化を実行するために様々な技術のいずれかを採用するが、最適化は、必ずしも符号化コスト及び関連する歪みの両方の完全な評価ではない。

【0149】

本明細書に記載された実装形態及び態様は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形式の実装形態の文脈でのみ説明されている場合でも（例えば、方法としてのみ説明されている）、説明された特徴の実装形態は、他の形式（例えば、装置又はプログラム）でも実装することができる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装することができる。方法は、例えば、プロセッサにおいて実装することができ、プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む一般的な処理デバイスを指す。プロセッサはまた、例えば、コンピュータ、携帯電話、携帯型／パーソナルデジタルアシスタント（「ＰＤＡ」）及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。

【0150】

「一実施形態」又は「実施形態」又は「一実装形態」又は「実装形態」、及びそれらの他の変形形態の言及は、実施形態に関連して説明される特定の特徴、構造、特性などが、少なくとも一実施形態に含まれることを意味する。したがって、本明細書の様々な場所に現れる「一実施形態では」又は「実施形態では」又は「一実装形態では」又は「実装形態では」という語句の出現、並びに任意の他の変形例は、必ずしも全てが同じ実施形態を指すものではない。

【0151】

加えて、本出願は、様々な情報を「決定する」ことに言及する場合がある。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの１つ以上を含むことができる。

【0152】

更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、（例えば、メモリから）情報を取得すること、情報を格納すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定することのうちの１つ以上を含むことができる。

【0153】

加えて、本出願は、様々な情報を「受信する」ことに言及する場合がある。受信することは、「アクセスする」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は（例えば、メモリから）情報を取得することのうちの１つ以上を含むことができる。更に、「受信する」は、一般には、例えば、情報を格納する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を決定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの形で関与する。

【0154】

「／」、「及び／又は」、「のうちの少なくとも１つ」、「１つ又は複数」のいずれかの使用、例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」、「Ａ及びＢのうちの少なくとも１つ」、「Ａ及びＢの１つ又は複数」の場合、最初にリストされた選択肢（Ａ）のみの選択、又は２番目にリストされた選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することを意図しているものと理解されたい。更なる例として、「Ａ、Ｂ、及び／又はＣ」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ」、「Ａ、Ｂ及びＣのうちの１つ又は複数」の場合、このような句は、最初にリストされた選択肢（Ａ）のみの選択、又は２番目にリストされた選択肢（Ｂ）のみの選択、又は３番目にリストされた選択肢（Ｃ）のみの選択、又は、最初及び２番目にリストされた選択肢（Ａ及びＢ）のみの選択、又は、最初及び３番目にリストされた選択肢（Ａ及びＣ）のみの選択、又は、２番目及び３番目にリストされた選択肢（Ｂ及びＣ）のみの選択、又は３つの選択肢（Ａ及びＢ及びＣ）全ての選択、を包含するように意図されている。このことは、技術分野及び関連技術分野の通常の技術を有する者に明らかであるように、リストされた項目の数だけ拡張することができる。

【0155】

また、本明細書で使用される「シグナリングする」という語は、特に、対応するデコーダに対して何かを示すことを意味する。例えば、特定の実施形態では、エンコーダは、新しいＶＳＰモードを表す情報を信号伝達する。このように、ある実施形態では、同じパラメータがエンコーダ側とデコーダ側の両方で使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信する（明示的なシグナリング）ことができる。逆に、デコーダが既にその特定のパラメータ及び他のパラメータを有する場合は、単にデコーダがその特定のパラメータを認識及び選択することを可能にするように、送信を行わないシグナリング（暗黙的なシグナリング）を使用することができる。実際の機能の送信を回避することにより、様々な実施形態において、ビットの節約が実現される。シグナリングは、様々な方法で達成できることを理解されたい。例えば、１つ以上のシンタックス要素、フラグなどが、様々な実施形態において、対応するデコーダに情報をシグナリングするために使用される。上の説明は、語「信号（signal）」の動詞形に関するものであるが、語「信号」は、本明細書では名詞としても使用され得る。

【0156】

この当業者には明らかであるように、実装形態では、例えば、格納又は送信することができる情報を伝えるようにフォーマットされた様々な信号を生成することができる。これらの情報は、例えば、方法を実行するための命令、又は説明されている実装形態の１つによって生成されるデータを含むことができる。例えば、説明されている実施形態の符号化ビデオストリームを伝えるように信号をフォーマットすることができる。このような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用する）、又はベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、符号化ビデオストリームを符号化すること、及び符号化ビデオストリームで搬送波を変調することを含むことができる。信号が伝える情報は、例えば、アナログ情報又はデジタル情報とすることができる。信号は、既知であるように、様々な異なる有線リンク又は無線リンクを介して送信することができる。信号は、プロセッサ可読媒体に格納することができる。

【0157】

図１３Ａは、予測画像生成プロセスで使用される順投影方法の例を概略的に示す。図１３Ｂは、図１３Ａの順投影方法の別の表現である。図１３Ａ及び図１３Ｂの順投影プロセスは、ステップ５２１及び６２１中に使用される。順投影プロセスは、カメラｍの第１のビューによって取得された第１のビューのピクセルに適用されて、これらのピクセルを第１のビューのカメラ座標系からカメラｎによって取得された第２のビューのカメラ座標系に投影する。各ピクセルは、テクスチャ情報及び深度情報を含むとみなされる。

【0158】

ステップ１３０では、処理モジュール２０は、第１のビューのカメラ座標系から基準座標系（すなわち、世界座標系）へ第１のビューの現在のピクセルＰ（ｕ，ｖ）を逆投影して、図１３Ｂに示されるように逆投影されたピクセルＰ_ｗを取得する。逆投影は、カメラｍのポーズ行列Ｐ_ｍ、カメラｍ，の逆内部行列

【0159】

【数17】

現在のピクセルに関連付けられる深度値を使用する。ポーズ行列Ｐ_ｍと内部行列Ｋ_ｍは、例えば、表 ＴＡＢ１に記載されているＳＥＩメッセージから、処理モジュール２０によって取得されたカメラパラメータを使用して定義される。

【0160】

ステップ１３１では、処理モジュール２０は、逆投影されたピクセルＰ_ｗを、カメラｎの内部行列Ｋ_ｎと外部行列Ｑ_ｎを用いて第２のビューの座標系に投影する。再度、内部行列Ｋ_ｎ及び外部行列Ｑ_ｎは、例えば、表 ＴＡＢ１に記載されているＳＥＩメッセージから、処理モジュール２０によって取得されたカメラパラメータを使用して定義される。この投影がカメラｎ領域に入っていないとき、この投影は拒否される。カメラｎの領域に入っているとき、この投影は、ほぼ確実に現実のピクセルにほとんど入っておらず、「４」つのピクセルの間にある。

【0161】

ステップ１３２では、処理モジュール２０は、逆投影ピクセルＰ_ｗの投影に最も近いカメラｎのピクセルのグリッドのピクセルＰ’（ｕ’、ｖ’）を選択する。例えば、最も近いピクセルは、例えば、カメラｎのピクセルのグリッドのピクセルであり、逆投影ピクセルＰ_ｗの投影に対する距離を最小化することである。この距離は、例えば、グリッドのピクセルの座標と逆投影ピクセルＰ_ｗの投影との間の平方根の合計（又は絶対差の合計）の平方根として計算される。

【0162】

図１３Ａ及び図１３Ｂの順投影プロセスによって取得されたピクセルＰ’（ｕ’、ｖ’）は、投影ピクセルＰ（ｕ，ｖ）のテクスチャ値及び深度値を保持する。ピクセルＰ’（ｕ’、ｖ’）のセットは、投影画像を形成する。

【0163】

図１４Ａは、予測画像生成プロセスの第１の実施形態を示す。

【0164】

実施形態（１４Ａ）とも呼ばれる図１４Ａの実施形態では、１つのビューは、現在のビューを再構成するための可能な予測子として使用されるようにシグナリングされている。

【0165】

図１４Ａに記載のプロセスは、図９の符号化方法のステップ５２１中、及び図１０の復号化方法のステップ６２１中に実行されて、第１のビュー５０１から基準画像を生成して、第２のビュー５０１Ｂの現在の画像を符号化するステップ１４０～１４３を含む。

【0166】

ステップ１４０では、処理モジュール２０は、基準ビュー（例えば、第１のビュー５０１）及び現在のビュー（例えば、第２のビュー５０１Ｂ）のためのカメラパラメータ（すなわち、ビューパラメータ）を取得する。図１４Ａのプロセスがステップ５２１中に実行されるとき、処理モジュール２０は、これらのパラメータをカメラアレイ１０のカメラから直接、又はユーザから取得する。図１４Ａのプロセスがステップ６２１中に実行されるとき、処理モジュール２０は、ＳＥＩメッセージ（例えば、表 ＴＡＢ１に記載のＳＥＩメッセージ）又はユーザからこれらのパラメータを取得する。

【0167】

ステップ１４１では、処理モジュール２０は、基準ビュー（例えば、第１のビュー５０１）と現在のビュー（例えば、第２のビュー５０１Ｂ）の間で、図１３Ａ及び図１３Ｂに記載された順投影方法を適用して予測画像Ｇ（ｋ）を生成する。予測画像Ｇ（ｋ）は、現在のビューのＤＰＢ（例えば、ＤＰＢ５１９Ｂ（６１９Ｂ））に導入されて、現在のビューの現在の画像についての第Ｋ^ｔｈの予測画像のうちの１つになることを意図している。

【0168】

成功した予測から生じる予測画像Ｇ（ｋ）の各ピクセルは、基準ビューの対応する投影ピクセルのテクスチャ値及び深度値を保持する。順投影後、分離された欠落ピクセルは（第２のビュー領域に入らない失敗した投影に起因して）留まり得る。

【0169】

ステップ１４２では、処理モジュール２０は、分離された欠落ピクセルを満たす。一実施形態では、分離された欠落ピクセルは、隣接するピクセル値の平均で満たされる。別の実施形態では、分離された欠落ピクセルは、隣接するピクセル値の中央値で満たされる。別の実施形態では、分離された欠落ピクセルは、デフォルト値（典型的には、８ビットで符号化された値の場合、１２８）で満たされる。

【0170】

ステップ１４３では、処理モジュール２０は、現在のビューのＤＰＢに予測画像Ｇ（ｋ）を記憶する。

【0171】

ステップ１４４では、処理モジュール２０は、現在のビューのＤＰＢに含まれる基準画像を使用して現在のビューの現在の画像を再構成し、ＤＰＢは予測画像Ｇ（ｋ）を含む。

【0172】

図１４Ａのプロセスが図９の符号化方法に適用される場合、生成は、ステップ５０２Ｂ、５０３Ｂ、５０４Ｂ、５０５Ｂ、５０６Ｂ、５０７Ｂ、５０８Ｂ、５０９Ｂ、５１０Ｂ、５１２Ｂ、５１３Ｂ、５１４Ｂ、５１５Ｂ、５１６Ｂ、５１７Ｂ、５１８Ｂ、５１９Ｂ、５２２、及び５２３を含む。

【0173】

図１４Ａのプロセスが図１０の復号化方法に適用されるとき、生成は、ステップ６０８Ｂ、６１０Ｂ、６１２Ｂ、６１３Ｂ、６１４Ｂ、６１５Ｂ、６１６Ｂ、６１７Ｂ、６１８Ｂ、６１９Ｂ、及び６２３を含む。

【0174】

図１４Ｂは、予測画像生成プロセスの第２の実施形態の詳細を示す。

【0175】

図１４Ｂの実施形態では、実施形態（１４Ｂ）とも呼ばれ、現在のビューを予測するためにいくつかの図が利用可能である。例えば、図９に戻ると、時点Ｔにおいて、第１のビューの画像（テクスチャ及び深度）及び第２のビューの画像が符号化及び再構成され、第３のビューの画像は、第１及び第２のビューの再構成画像から生成された予測画像を使用して符号化される準備が整っている。同様に、本発明者らが図１０に戻ると、時点Ｔにおいて、第１のビュー（テクスチャ及び深度）及び第２のビューの画像が再構成され、第３のビューの画像が、第１及び第２のビューの再構成画像から生成された予測画像を使用して復号化される準備が整っている。

【0176】

実施形態（１４Ｂ）では、複数のビューが使用されて、現在のビューを再構成するために１つの集約予測画像を生成する。より正確には、実施形態（１４Ｂ）では、複数のビューの各ビューに対して予測画像が生成され、集約予測画像は、複数の予測画像から生成される。

【0177】

ステップ１４０では、処理モジュール２０は、複数のビューの各ビュー及び現在のビューのカメラパラメータ（すなわち、ビューパラメータ）を取得する。

【0178】

実施形態（１４Ａ）と比較すると、ステップ１４１は、ステップ１４１１～１４１５に置き換えられる。

【0179】

ステップ１４１１では、処理モジュール２０は、変数ｊを「０」に初期化する。変数ｊは、複数のビューの全てのビューを列挙するために使用される。

【0180】

ステップ１４１２では、処理モジュール２０は、ビューｊと現在のビューとの間で図１３Ａ及び図１３Ｂに記載される順投影方法を適用する予測画像Ｇ（ｋ）_ｊを生成する。例えば、ビューｊは、第１のビュー５０１又は第２のビュー５０１Ｂであり、現在のビューは第３のビューである。

【0181】

ステップ１４１３では、処理モジュール２０は、変数ｊの値を、複数のビュー内のビューＮｂ＿ｖｉｅｗｓの数と比較する。ｊ＜Ｎｂ＿ｖｉｅｗｓである場合、ステップ１４１３の後にステップ１４１４が続き、ｊは１単位インクリメントされる。

【0182】

ステップ１４１４の後にステップ１４１２が続き、新しい予測画像Ｇ（ｋ）_ｊが生成される。

【0183】

ｊ＝Ｎｂ＿ｖｉｅｗｓである場合、ステップ１４１３の後にステップ１４１５が続き、予測画像Ｇ（ｋ）_ｊが集約されて、現在のビューのＤＰＢに記憶されることを意図した集約予測画像Ｇ（ｋ）を生成する。

【0184】

集約プロセスの一実施形態では、複数の予測画像の第１の予測画像Ｇ（ｋ）_ｊのピクセル値（テクスチャ値及び深度値）を保持することによって、複数の予測画像Ｇ（ｋ）_ｊが集約される。第１の予測画像は、例えば、予測画像Ｇ（ｋ）_ｊ＝０である。

【0185】

集約プロセスの一実施形態では、予測画像Ｇ（ｋ）_ｊは、現在のビューに最も近いビューｊから生成されたＧ（ｋ）_ｊのピクセル値（テクスチャ値及び深度値）を保持することによって集約される。いくつかのビューが現在のビューから同じ距離にある場合（すなわち、いくつかの最も近いビューがある）、いくつかの最も近いビューのうちの最も近いビューがランダムに選択される。例えば、カメラアレイ１０では、カメラ１０Ａによって生成された第１のビュー及びカメラ１０Ｃによって生成された第２のビューのみが、カメラ１０Ｂによって生成された現在のビューを予測するために利用可能であると仮定する。次いで、第１及び第２のビューは、現在のビューに最も近いビューであり、現在のビューまで同じ距離にある。第１及び第２のビューのうちの１つをランダムに選択して、ピクセル値を集約予測画像Ｇ（ｋ）に提供する。

【0186】

集約プロセスの一実施形態では、予測画像のサイズＧ（ｋ）_ｊは、最良品質を有する予測画像Ｇ（ｋ）_ｊピクセル値（テクスチャ値及び深度値）を保持することによって集約される。例えば、ピクセルの質を表す情報は、当該ピクセルを含む変換ブロックに適用される量子化パラメータの値である。予測画像Ｇ（ｋ）_ｊのピクセルの質は、予測画像Ｇ（ｋ）_ｊを取得するために順投影が適用された画像のピクセル（すなわち、量子化パラメータ）の品質に依存する。

【0187】

集約プロセスの一実施形態では、予測画像Ｇ（ｋ）_ｊは、最も近い深度値（ｚバッファアルゴリズム）を有する予測画像Ｇ（ｋ）_ｊのピクセル値（テクスチャ値及び深度値）を保持することによって集約される。

【0188】

集約プロセスの一実施形態では、予測画像Ｇ（ｋ）_ｊは、集約予測画像Ｇ（ｋ）_ｊの隣接ピクセルが既に予測画像から予測されるときに、予測画像Ｇ（ｋ）_ｊのピクセル値（テクスチャ値及び深度値）を保持することによって集約される。

【0189】

集約プロセスの一実施形態では、予測画像Ｇ（ｋ）_ｊは、予測画像Ｇ（ｋ）_ｊのピクセル値（テクスチャ値及び深度値）の平均、加重平均、中央値を計算することによって、予測画像のディメンションを計算することによって集約される。

【0190】

ステップ１４１５の後にステップ１４２が続き、処理モジュール２０が、集約予測画像Ｇ（ｋ）内の分離された欠落ピクセルを満たす。

【0191】

ステップ１４３では、集約予測画像Ｇ（ｋ）は、現在のビューのＤＰＢに記憶される。

【0192】

ステップ１４４では、処理モジュール２０は、現在のビューのＤＰＢに含まれる基準画像を使用して現在のビューの現在の画像を再構成し、ＤＰＢは、集約予測画像Ｇ（ｋ）を含む。

【0193】

図１５は、予測画像生成プロセスの第３の実施形態を示す。

【0194】

実施形態（１５）とも呼ばれる図１５の実施形態では、実施形態（１４Ｂ）と同様に、現在のビューを予測するためにいくつかの図が利用可能である。

【0195】

実施形態（１５）では、複数のビューの各ビューに対して予測画像が生成される。しかしながら、実施形態１４Ｂのように、集約予測画像を生成し、当該集約予測画像を現在のビューのＤＰＢに挿入する代わりに、実施形態（１５）では、生成された各予測画像がＤＰＢに挿入される。

【0196】

ステップ１４０では、処理モジュール２０は、複数のビューの各ビュー及び現在のビューのカメラパラメータ（すなわち、ビューパラメータ）を取得する。

【0197】

ステップ１５０１では、処理モジュール２０は、変数ｊを「０」に初期化する。変数ｊは、複数のビューの全てのビューを列挙するために使用される。

【0198】

ステップ１５０２では、処理モジュール２０は、ビューｊと現在のビューとの間で図１３Ａ及び図１３Ｂに記載される順投影方法を適用する予測画像Ｇ（ｋ）_ｊを生成する。

【0199】

ステップ１５０３では、処理モジュール２０は、集約予測画像Ｇ（ｋ）内の分離された欠落ピクセルを満たす。

【0200】

このステップ１５０４では、処理モジュール２０は、現在のビューのＤＰＢに予測画像Ｇ（ｋ）_ｊを記憶する。

【0201】

ステップ１５０５では、処理モジュール２０は、変数ｊの値を、複数のビュー内のビューの数Ｎｂ＿ｖｉｅｗｓと比較する。ｊ＜Ｎｂ＿ｖｉｅｗｓである場合、ステップ１５０５の後にステップ１５０６が続き、ｊは１単位インクリメントされる。

【0202】

ステップ１５０６の後にステップ１５０２が続き、新しい予測画像Ｇ（ｋ）_ｊが生成される。

【0203】

ｊ＝Ｎｂ＿ｖｉｅｗｓである場合、ステップ１５０５の後にステップ１４４が続く。ステップ１４４では、処理モジュール２０は、現在のビューのＤＰＢに含まれる基準画像を使用して現在のビューの現在の画像を再構成し、ＤＰＢは、複数の予測画像Ｇ（ｋ）_ｊを含む。

【0204】

実施形態１５の変形例において、予測画像Ｇ（ｋ）_ｊに加えて、予測画像Ｇ（ｋ）_ｊから生成された集約予測画像及び／又は予測画像Ｇ（ｋ）_ｊのサブセットから生成された集約予測画像が、現在のビューのＤＰＢに挿入される。

【0205】

実施形態１５の変形例において、予測画像Ｇ（ｋ）_ｊの代わりに、予測画像Ｇ（ｋ）_ｊから生成された集約予測画像と予測画像Ｇ（ｋ）_ｊのサブセットから生成された集約予測画像が現在のビューのＤＰＢに挿入される、又は予測画像Ｇ（ｋ）_ｊのサブセットから生成された集約予測画像のみが現在のビューのＤＰＢに挿入される。

【0206】

図１６は、予測画像生成プロセスの第４の実施形態を示す。

【0207】

実施形態（１６）とも呼ばれる図１６の実施形態の目的は、予測画像の生成の複雑さを低減することである。実施形態（１６）では、現在のビューの画像についての予測画像を生成するために使用される基準ビューの各画像がブロックに分割される。次いで、ブロック当たり１つのみの深度値を保持するために、基準ビューの画像の深度層がサブサンプリングされる。その結果、ブロックの全てのピクセルは、順投影に同じ深度値を使用する。ブロックと関連付けられた深度値を選択するためのポリシーが定義される。それは、以下のアプローチのうちの１つを含むことができる。
・ブロックのうちの１つの特定のピクセルの深度値が、ブロック、例えば、左上のブロック又は中間の１つを表す。
・（平均位置を有する）ブロックの平均又は中央深度値が、ブロックを表す。
・（関連付けられた位置又は中央位置を有する）より頻繁な深度値が、ブロックを表す。

【0208】

実施形態（１６）は、処理モジュール２０が基準ビュー及び現在のビューのカメラパラメータ（すなわち、ビューパラメータ）を取得するステップ１４０から始まる。

【0209】

ステップ１６１では、処理モジュール２０は、変数ｎを「１」に初期化する。

【0210】

ステップ１６２では、処理モジュール２０は、変数Ｎ＿ｓｕｂの値をチェックして、サブサンプリングが基準ビューの画像に適用されるかどうかを判定する。Ｎ＿ｓｕｂが＝１である場合、サブサンプリングが基準ビューの深度層に適用されない。その場合、ステップ１６２の後にステップ１４１が続き、処理モジュール２０が、基準ビューと現在のビューとの間に、図１３Ａ及び図１３Ｂに記載された順投影方法を適用する予測画像Ｇ（ｋ）を生成する。

【0211】

ステップ１４３では、予測画像Ｇ（ｋ）は、現在のビューのＤＰＢに記憶される。

【0212】

ステップ１４３の後にステップ１４２が続き、処理モジュール２０が分離された欠落ピクセルを満たす。

【0213】

ステップ１４４では、処理モジュール２０は、現在のビューのＤＰＢに含まれる基準画像を使用して現在のビューの現在の画像を再構成し、ＤＰＢは、予測画像Ｇ（ｋ）を含む。

【0214】

Ｎ＿ｓｕｂ＞１である場合、サブサンプリングが基準ビューの深度層に適用される。一実施形態では、Ｎ＿ｓｕｂ＞１である場合、Ｎ＿ｓｕｂは２の倍数である。この基準ビューの画像が幅ｗと高さｈを有する場合、当該画像は、例えば、同じサイズの

【0215】

【数18】

ブロックに分割される。

【0216】

ステップ１６２の後にステップ１６３が続き、処理モジュール２０は、選択のために定義されたポリシーを使用して、基準ビューの画像のブロック番号ｎに対して深度値を選択する。

【0217】

ステップ１６４では、処理モジュール２０は、基準ビューの画像のブロック番号ｎについて、基準ビューと現在のビューとの間に、図１３Ａ及び図１３Ｂに記載の順投影方法を適用する予測ブロックＧｂｌｏｃｋ（ｎ，ｋ）を生成する。

【0218】

ステップ１６５では、処理モジュール２０は、基準ビューの画像のブロック番号ｎの位置と同じ位置に、現在のビューのＤＰＢに予測ブロックＧｂｌｏｃｋ（ｎ，ｋ）を記憶する。

【0219】

ステップ１６６では、処理モジュール２０は、変数ｎの値を基準ビューＮＢ＿Ｂｌｏｃｋｓの画像内のブロック数と比較する。ｎ＜Ｎｂ＿ｂｌｏｃｋｓの場合、ステップ１６６の後にステップ１６７が続き、変数ｎが１単位インクリメントされる。ステップ１６７の後にステップ１６２が続き、順投影が新しいブロックに適用される。

【0220】

ｎ＝Ｎｂ＿ｂｌｏｃｋｓの場合、ステップ１６６の後に上述したステップ１４２及び１４４が続く。基準ビューの画像のＮＢ＿Ｂｌｏｃｋｓ上のループの終了時に、ブロックＧｂｌｏｃｋ（ｎ、ｋ）の組み合わせは、予測画像Ｇ（ｋ）を形成することに留意されたい。

【0221】

実施形態（１６）の変形例では、実施形態（１４Ｂ）及び（１５）と同様に、実施形態（１６）を複数の基準ビューの画像に適用して、複数の予測画像を得ることができる。

【0222】

この変形例の実施形態では、複数の予測画像は、現在のビューのＤＰＢに記憶される。

【0223】

この変形例の実施形態では、複数の予測画像が集約されて、集約予測画像を形成し、集約予測画像は、現在のビューのＤＰＢに記憶される。

【0224】

この変形例の実施形態では、複数の予測画像の少なくとも１つのサブセットが集約されて集約予測画像を形成し、各集約予測画像は、現在のビューのＤＰＢに記憶される。

【0225】

この変形例の実施形態では、複数の予測画像の少なくとも１つのサブセットが集約されて、集約予測画像を形成し、各集約予測画像は、複数の予測画像、及び複数の予測画像の全てを集約する集約予測画像に加えて、現在のビューのＤＰＢに記憶される。

【0226】

実施形態（１６）の変形例では、基準ビューの画像は、等しくないサイズのブロックに分割される。例えば、当該画像は、深度値が均一である（例えば、最小深度値と最大深度値の差が最小深度値の±１０％を超えていない領域）大きなブロック（１２８×１２８、６４×６４、３２×３２、１６×１６、又は８×８）と、深度値が不均一である（例えば、最小深度値と最大深度値の差が最小深度値の±１０％を超える領域）小さいブロック（４×４又は２×２）に分割される。

【0227】

双方向実施形態と称される一実施形態では、実施形態（１４Ａ）、（１４Ｂ）、（１５）、及び（１６）の少なくとも１つの予測画像を使用して、基準ブロック（すなわち、ＶＳＰ予測子ブロック）を、双予測（すなわち、双予測間予測）を使用して予測される現在の画像の現在のブロックに提供する。その場合、現在のブロックは２つの動き情報と関連付けられ、２つの異なる画像内の２つの基準ブロックを指定し、このブロックの残差ブロック、すなわち、重みｗ_０＝１／２によって重み付けされる第１の基準ブロックと重みｗ_１＝１／２によって重み付けされる第２の基準ブロックは、２つの残留ブロックの平均である。この現在のブロックのサンプルＳ_ｃｕｒｒは、次のようにして取得される。

【0228】

【数19】

ただし、Ｓ_０は第１の基準ブロックのサンプルであり、Ｓ_１は第２の基準ブロックのサンプルである。

【0229】

実施形態ＷＰと呼ばれる一実施形態では、実施形態（１４Ａ）、（１４Ｂ）、（１５）、及び（１６）の少なくとも１つの予測画像を使用して、加重予測（ＷＰ）を使用して予測される現在の画像の現在のブロックに基準ブロック（すなわち、ＶＳＰ予測子ブロック）を提供する。その場合、現在のブロックは２つの動き情報と関連付けられ、２つの異なる画像内の２つの基準ブロックを指定し、このブロックの残差ブロック、すなわち、重みｗ_０によって重み付けされる第１の基準ブロックと重みｗ_１によって重み付けされる第２の基準ブロックは、２つの残留ブロックの加重平均である。再度、現在のブロックのサンプルＳ_ｃｕｒｒは、次のように取得される。

【0230】

【数20】

【0231】

実施形態ＷＰは、サンプルの重み付け、例えば三角形モードを使用して、全てのモードに一般化することができることに留意されたい。

【0232】

上述するように、順方向予測は、分離された欠落ピクセルを含む予測画像を生成し得る。現在まで、ホール充填プロセスを使用して、分離された欠落ピクセルを充填した。しかしながら、ホール充填プロセスは、実ピクセルの近似のみを提供する。

【0233】

実施形態の変形例では、双方向実施形態と修正された重み付けを有する実施形態と呼ばれる実施形態ＷＰの変形例では、重み付けプロセスは、予測画像のサンプル（すなわち、ピクセル）の信頼度を表す値を考慮に入れるように修正される。この変形例では、現在のブロックのサンプルＳ_ｃｕｒｒは、次のようにして取得される。

【0234】

【数21】

ここで、Ｍａｓｋ_０は、サンプルｗ_０の信頼度に依存し、Ｍａｓｋ_１はサンプルｗ_１の信頼度に依存する。

【0235】

修正された重み付けを有する実施形態の第１の変形例では、Ｍａｓｋ_０（Ｍａｓｋ_１）は、サンプルＳ_０（Ｓ_１）がホール充填によって取得される場合にはゼロに等しく、そうでなければ「１」に等しい。Ｍａｓｋ_０＝Ｍａｓｋ_１＝０の場合、処理モジュール２０は、デフォルト値をＳ_ｃｕｒｒに提供する。

【0236】

修正された重み付けを有する実施形態の第２の変形例では、Ｍａｓｋ_０（Ｍａｓｋ_１）は、サンプルＳ_０（Ｓ_１）がホール充填によって取得される場合には低い正の値（例えば「１」に設定され、そうでなければ高い正の値（例えば「１００００」）に設定される。言い換えれば、サンプルＳ_０（Ｓ_１）がホール充填によって取得される場合の値Ｍａｓｋ_０（Ｍａｓｋ_１）は、サンプルＳ_０（Ｓ_１）が順投影によって取得される場合のＭａｓｋ_０（Ｍａｓｋ_１）よりも低い。

【0237】

修正された重み付けを有する実施形態の第３の変形例では、サンプルの信頼度は、当該サンプルとその近傍のサンプルとの類似性に依存する。例えば、近傍のサンプルと類似するサンプルＳ_０（Ｓ_１）は、近傍のサンプルと異なるサンプルＳ_０（Ｓ_１）に関連付けられたＭａｓｋ_０（Ｍａｓｋ_１）の値よりも高いＭａｓｋ_０（Ｍａｓｋ_１）の値に関連付けられる。２つのサンプル間の差は、例えば、２つのサンプルの値間の差の平方根として計算される。

【0238】

修正された重み付けを有する実施形態の第４の変形例では、サンプルの信頼度は、当該サンプルと近傍のサンプルとの類似性、及び当該サンプル（ホール充填又は直接順投影）を得るために適用されるプロセスに依存する。

【0239】

修正された重み付けを有する実施形態の第５の変形例では、予測画像のサンプルの信頼度は、ピクセルレベルの代わりにブロックレベル（典型的にはサイズ４×４）で計算される。ブロックのサンプルに関連付けられた値Ｍａｓｋ_０（Ｍａｓｋ_１）は、当該ブロックのサンプルの平均信頼度に依存する。

【0240】

修正された重み付けを有する実施形態の第６の変形例では、予測画像のサンプルの信頼度は、その深度値の他の深度マップとの一致に依存する。ビューｎの深度Ｄｎでのサンプル位置Ｐｎのビューｍへの順投影は、深度Ｄｍでのサンプル位置Ｐｍに対応している。サンプル位置Ｐｎにおける深度Ｄｎは、深度Ｄｍでのサンプル位置Ｐｍのビューｎへの順投影がサンプル位置Ｐｎに達している場合、一致した深度とみなされる。そうでなければ、サンプル位置における深度Ｄｎは、ビューｍと一致しているとはみなされない。同じプロセスが他のビューにも適用され、次いで、同じ位置Ｐｎにおける深度Ｄｎについてのスコアが、不一致と完全一致との間で確立され得る。サンプルの信頼度は、その深度の一致に比例する。

【0241】

場合によっては、双方向インター予測モード又は加重予測を使用して予測されるブロックは、予測画像からの１つの基準ブロックと、順方向予測によって取得されない画像からの１つの基準ブロックとを使用することができる。修正された加重を有する実施形態の第３、第４、第５、及び第６の変形例では、順方向予測によって取得されない画像のサンプルは、可能な限り最も高い信頼度を有するサンプルとみなされる。例えば、Ｍａｓｋ_０（Ｍａｓｋ_１）の可能な値が、
・「０」及び「１」の場合、順予測によって取得されない画像のサンプルは、「１」に等しい値Ｍａｓｋ_０（Ｍａｓｋ_１）と関連付けられる、
・「１」と「１００００」の場合、順予測によって取得されない画像のサンプルは、と「１００００」に等しい値Ｍａｓｋ_０（Ｍａｓｋ_１）と関連付けられる、
・「０」と「１」との間の場合、順予測によって取得されない画像のサンプルは、「１」に等しい値Ｍａｓｋ_０（Ｍａｓｋ_１）と関連付けられる、
・「１」と「１００００」との間の場合、順予測によって取得されない画像のサンプルは、「１００００」に等しい値Ｍａｓｋ_０（Ｍａｓｋ_１）と関連付けられる。

【0242】

デコーダ側の負担を軽減し、ビュー間予測を使用する準拠デコーダの最大複雑さの上限を定めるため、現在のビューと予測画像を生成するために使用されるビューとの間の関係は、符号化ＭＶＤデータに対応する符号化ビデオストリーム（例えば、符号化ビデオストリーム５１１及び／又は５１１Ｂ）でシグナリングされる。このシグナリングから、デコーダは、有利なことに、予測画像を予め計算することができる。そのようなアプローチの利点は、基準ピクチャバッファ充填（すなわち、ＤＰＢ充填）のみが修正されるため、非常に少ない変更でのレガシーデコーダの使用を可能にすることである。

【0243】

以下では、予測画像又は集約予測画像を再構成することを可能にし、上記の実施形態に適合された情報を表す、ｖｉｅｗ＿ｐａｒａｍｅｔｅｒと呼ばれるシンタックス要素を提案する。一実施形態では、当該シンタックス要素ｖｉｅｗ＿ｐａｒａｍｅｔｅｒは、スライスヘッダのレベルで符号化ビデオストリームに挿入される。別の実施形態では、シンタックス要素ｖｉｅｗ＿ｐａｒａｍｅｔｅｒは、シーケンスヘッダ（すなわち、シーケンスパラメータセット（ＳＰＳ））、１つの画像の又は複数の画像によって共有される画像ヘッダ（すなわち、ピクチャパラメータセット（ＰＰＳ））に、又は同期点若しくは画像のレベルで、符号化ビデオストリーム（例えば、ＩＤＲ（瞬時復号化リフレッシュ）画像のヘッダ）に挿入される。当該シンタックス要素を受信するたびに、デコーダは、ビュー間の関係の知識を更新することができる。

【0244】

【表7】

【0245】

表 ＴＡＢ２は、１つの予測画像のみ又は１つの集約予測画像のみが、１つの予測画像のみが現在のビューのＤＰＢに挿入される実施形態（典型的には、１つの予測画像のみが生成される、又は１つの集約予測画像のみが生成される実施形態（１４Ａ）、（１４Ｂ）、（１６）に適合されたシンタックス要素ｖｉｅｗ＿ｐａｒａｍｅｔｅｒの第１のバージョンを表す。

【0246】

シンタックス要素ｖｉｅｗ＿ｐａｒａｍｅｔｅｒの第１のバージョンは、現在のビューの一意の識別子を表すパラメータｖｉｅｗ＿ｉｄを含む。現在のビューがフレームについて復号された第１のビューではない場合、フラグｖｓｐ＿ｆｌａｇは、ｖｓｐモードが現在のビューに使用されているか否かを示す。パラメータｎｕｍｂｅｒ＿ｏｆ＿ｉｎｔｅｒ＿ｖｉｅｗ＿ｐｒｅｄｉｃｔｏｒ＿ｕｓｅｄは、現在のビューを復号化するために使用された（既に復号化された）最大数のビューを表す。パラメータｐｒｅｄｉｃｔｏｒ＿ｉｄ［ｖｉｅｗ＿ｉｄ］［ｉ］は、現在のビューの予測画像を作成するために使用される各ビューの識別子を提供する。一実施形態では、現在のビューを復号化するために使用されるビューの最大数は、「８」に固定される。その場合、パラメータｐｒｅｄｉｃｔｏｒ＿ｉｄ［ｖｉｅｗ＿ｉｄ］を符号化するために「３」ビットが必要である。

【0247】

当然のことながら、第１のビューと第２のビューとの間のビュー間予測は、２つのビューのカメラパラメータがデコーダ側で利用可能である場合、すなわち、表 ＴＡＢ１に記載されたＳＥＩメッセージがデコーダによって受信及び符号化された場合にのみ可能である。

【0248】

【表8】

【0249】

表 ＴＡＢ３は、複数の予測画像及び／又は集約予測画像が、現在のビューのＤＰＢに挿入される実施形態（典型的には、複数の予測画像又は集約予測画像が生成される実施形態（１５）及び（１６））に適合されたシンタックス要素ｖｉｅｗ＿ｐａｒａｍｅｔｅｒの第２のバージョンを表す。

【0250】

その場合、現在のビューは、複数の基準ビューに関連付けることができる。シンタックス要素ｖｉｅｗ＿ｐａｒａｍｅｔｅｒの第２のバージョンでは、パラメータｎｕｍｂｅｒ＿ｉｎｔｅｒ＿ｖｉｅｗ＿ｐｒｅｄｉｃｔｏｒ＿ｍｉｎｕｓ１は、パラメータｖｉｅｗ＿ｉｄによって特定された現在のビューのビュー間予測に使用される予測画像又は集約予測画像の数を指定する。パラメータｎｕｍｂｅｒ＿ｉｎｔｅｒ＿ｖｉｅｗ＿ｐｒｅｄｉｃｔｏｒ＿ｕｓｅｄ＿ｍｉｎｕｓ１は、各予測画像又は集約予測画像について、当該予測画像又は集約予測画像を生成するために使用される基準ビューの数を指定する。予測画像の場合、パラメータｐａｒａｍｅｔｅｒ ｎｕｍｂｅｒ＿ｉｎｔｅｒ＿ｖｉｅｗ＿ｐｒｅｄｉｃｔｏｒ＿ｕｓｅｄ＿ｍｉｎｕｓ１は、１つに設定される。パラメータｐｒｅｄｉｃｔｏｒ＿ｉｄは、予測画像又は集約予測画像を生成するためにどのビューが使用されるかを指定する。

【0251】

表 ＴＡＢ２及びＴＡＢ３から分かるように、ＶＳＰモードは、フラグｖｓｐ＿ｆｌａｇによって、シンタックス要素ｖｉｅｗ＿ｐａｒａｍｅｔｅｒのスライスヘッダレベルでアクティブ化することができる。

【0252】

スライスレベルでのシグナリングは、このスライスに含まれるブロックがＶＳＰモードを潜在的に使用することができるかどうかをデコーダに伝えることを可能にする。しかしながら、スライス内のどのブロックが実際にＶＳＰモードを使用するかを指定するものではない。

【0253】

一実施形態では、スライスレベルでアクティブ化されると、ＶＳＰモードの実際の使用がブロックレベルでシグナリングされる。

【0254】

図１７は、ＶＳＰモードを使用しないビデオ圧縮方法のシンタックス解析プロセスの基本的な実施形態を概略的に示す。

【0255】

図１７の基本的な実施形態は、表 ＴＡＢ４に記載されるブロック（予測ユニット（ＰＵ）とも呼ばれる）のシンタックスに基づく。この基本的な実施形態は、現在のブロックを復号化するときにデコーダによって実行される。しかしながら、エンコーダは、デコーダが復号化することができるものに準拠したシンタックスを符号化する。

【0256】

ステップ１７００では、処理モジュール２０は、現在のブロックがスキップモードで符号化されているかどうかを判定する。はいの場合、処理モジュール２０は、現在のブロックについての識別子ｍｅｒｇｅ＿ｉｄｘを復号化する。識別子ｍｅｒｇｅ＿ｉｄｘは、現在のブロックの近傍のどの候補ブロックが現在のブロックを復号化する情報を提供するかを識別する。識別子ｍｅｒｇｅ＿ｉｄｘの復号化の後、スキップモードに適合された復号化プロセスを適用する現在のブロックの復号化が続く。

【0257】

現在のブロックがスキップモードで符号化されていない場合、ステップ１７０１で、処理モジュール２０は、現在のブロックがイントラモードで符号化されているかどうかを判定する。はいの場合、ステップ１７０２で、現在のブロックがイントラモード復号化プロセスを使用して復号化される。

【0258】

現在のブロックがイントラモードで符号化されていない場合、ステップ１７０３で、処理モジュールは、現在のブロックがマージモードに符号化されているかどうかを判定する。現在のブロックがマージモードで符号化されている場合、処理モジュールは、ステップ１７０４で、現在のブロックのための識別子ｍｅｒｇｅ＿ｉｄｘを復号化する。識別子ｍｅｒｇｅ＿ｉｄｘの復号化の後に、マージモードに適合された復号化プロセスを適用する現在のブロックの復号化が続く。

【0259】

現在のブロックがマージモードで符号化されていない場合、ステップ１７０５で、処理モジュール２０は、現在のブロックが双方向又は一方向インター予測モードで符号化されているかどうかを判定する。

【0260】

現在のブロックが一方向インター予測モードで符号化されている場合、ステップ１７０５の後にステップ１７１２が続き、処理モジュール２０は、ＤＰＢに記憶された基準画像のリスト内の１つのインデックス（ｒｅｆ＿ｉｄｘ＿ｌ０又はｒｅｆ＿ｉｄｘ＿ｌ１）を復号化する。このインデックスは、どの基準画像が現在のブロックに対する予測子ブロックを提供するかを示す。

【0261】

ステップ１７１３では、処理モジュール２０は、現在のブロックについて動きベクトル精密化ｍｖｄを復号化する。

【0262】

ステップ１７１４では、処理モジュール２０は、動きベクトル予測子を指定する動きベクトル予測子インデックスを復号化する。この動き情報を用いて、処理モジュール２０は、現在のブロックを復号化する。

【0263】

現在のブロックが双方向予測モードで符号化されるとき、ステップ１７０５に続いてステップ１７０６が続き、その間に処理モジュール２０は、ＤＰＢに記憶された基準画像のリスト内の第１のインデックスを復号化する（ｒｅｆ＿ｉｄｘ＿ｌ０）。

【0264】

ステップ１７０７では、処理モジュール２０は、現在のブロックについて第１の動きベクトル精密化ｍｖｄを復号化する。

【0265】

ステップ１７０８では、処理モジュール２０は、第１の動きベクトル予測子を指定する第１の動きベクトル予測子インデックスを復号化する。

【0266】

ステップ１７０９では、処理モジュール２０は、ＤＰＢに記憶された基準画像のリスト内の第２のインデックス（ｒｅｆ＿ｉｄｘ＿ｌ１）を復号化する。

【0267】

ステップ１７１０では、処理モジュール２０は、現在のブロックについて第２の動きベクトル精密化ｍｖｄを復号化する。

【0268】

ステップ１７１１では、処理モジュール２０は、第２の動きベクトル予測子を指定する第２の動きベクトル予測子インデックスを復号化する。

【0269】

この動き情報を用いて、処理モジュール２０は、２つの予測子を生成し、これら２つの予測子を使用して現在のブロックを復号化する。

【0270】

【表9】

【0271】

図１８は、新しいＶＳＰモードを使用したビデオ圧縮方法のシンタックス解析プロセスの第１の実施形態を概略的に示す。

【0272】

以下で実施形態（１８）と呼ばれる図１８の実施形態は、表 ＴＡＢ５に記載のブロックのシンタックスに基づく。表 ＴＡＢ４及び表 ＴＡＢ５のシンタックス間の違いは太字で表される。この実施形態は、現在のブロックを復号化するときにデコーダによって実行される。しかしながら、エンコーダは、デコーダが復号化することができるものに準拠したシンタックスを符号化する。

【0273】

【表10】

【0274】

以下に記載されるように、実施形態（１８）において、ＶＳＰモードの使用は、ブロックレベルで、フラグＶＳＰによりシグナリングされる。フラグＶＳＰ＝１の場合、ＶＳＰモードが現在のブロックに対してアクティブ化される。そうでなければ、ＶＳＰモードは非アクティブ化される。更に、実施形態（１８）では、ブロックがＶＳＰモードで符号化されるとき、予測子ブロックは、現在のブロックと同じ場所に配置される。その結果、基準画像（その場合の予測画像又は集約予測画像である）からブロック予測子を得るために、動きベクトルは必要ない。更に、図１８に関連して後述するように、２つの予測子ブロックが同じ予測画像又は集約予測画像から抽出される場合、ＶＳＰモードと双方向インター予測との組み合わせは不可能である。実際、ＶＳＰモードでは、各予測子は現在のブロックと同じ位置に配置されるため、双方向インター予測の場合、２つの予測子ブロックは同じである。

【0275】

実施形態（１８）のシンタックス及び解析方法は、１つのみの予測画像又が集約予測画像が現在の層のＤＰＢに挿入されるときの実施形態（１４Ａ）、（１４Ｂ）、及び（１６）に適合される。

【0276】

ステップ１８００では、処理モジュール２０は、現在のブロックがスキップモードで符号化されているかどうかを判定する。はいの場合、処理モジュール２０は、ステップ１８０４で、現在のブロックについての識別子ｍｅｒｇｅ＿ｉｄｘを復号化する。識別子ｍｅｒｇｅ＿ｉｄｘの復号化後、スキップモードに適合された復号化プロセスを適用する現在のブロックの復号化を行う。

【0277】

現在のブロックがスキップモードで符号化されていない場合、ステップ１８０１で、処理モジュール２０は、現在のブロックがイントラモードで符号化されているかどうかを判定する。はいの場合、ステップ１８０２で、現在のブロックがイントラモード復号化プロセスを使用して復号化される。

【0278】

現在のブロックがイントラモードで符号化されていない場合、ステップ１８０３で、処理モジュールは、現在のブロックがマージモードに符号化されているかどうかを判定する。現在のブロックがマージモードで符号化されている場合、処理モジュールは、ステップ１８０６で、現在のブロックのための識別子ｍｅｒｇｅ＿ｉｄｘを復号化する。識別子ｍｅｒｇｅ＿ｉｄｘの復号化の後に、マージモードに適合された復号化プロセスを適用する現在のブロックの復号化が続く。

【0279】

現在のブロックがマージモードで符号化されていない場合、ステップ１８０７で、処理モジュール２０は、現在のブロックが双方向又は一方向インター予測モードで符号化されているかどうかを判定する。

【0280】

現在のブロックが一方向インター予測モードで符号化されている場合、ステップ１８０７の後にステップ１８０８が続き、処理モジュール２０は、フラグＶＳＰを復号化して、現在のブロックがＶＳＰモードで符号化されているかどうかを判定する。現在のブロックがＶＳＰモードで符号化されている場合、処理モジュール２０は、ＶＳＰモード復号化プロセスに従って現在のブロックを復号化する。言い換えれば、現在のブロックは、現在のビューのＤＰＢに記憶された予測画像（又は集約予測画像）のブロックから予測される。その場合、ＤＰＢ内の予測画像（又は集約予測画像）の位置は暗黙的であり、デコーダによって既知である（すなわち、予測画像（又は集約予測画像）は、体系的にＤＰＢ内の同じ位置にある）。

【0281】

現在のブロックがＶＳＰモードで符号化されていない場合、ステップ１８０８の後にステップ１８１０が続き、処理モジュール２０は、ＤＰＢに記憶された基準画像のリスト内の１つのインデックス（ｒｅｆ＿ｉｄｘ＿ｌ０又はｒｅｆ＿ｉｄｘ＿ｌ１）を復号化する。

【0282】

ステップ１８１１では、処理モジュール２０は、現在のブロックについて動きベクトル精密化ｍｖｄを復号化する。

【0283】

ステップ１８１２では、処理モジュール２０は、動きベクトル予測子を指定する動きベクトル予測子インデックスを復号化する。この動き情報を用いて、処理モジュール２０は、現在のブロックを復号化する。

【0284】

現在のブロックが双方向予測モードで符号化されるとき、ステップ１８０７の後にステップ１８１３が続き、処理モジュール２０がフラグＶＳＰを復号化して、現在のブロックの第１の予測ブロックが予測画像から（又は集約予測画像から）取得されたかどうかを判定する。現在のブロックの第１の予測ブロックが予測画像から（又は集約予測画像から）取得される場合、ステップ１８０９と同一のステップ１８１４で、第１の予測子ブロックが取得される。ステップ１８１４の後にステップ１８１９が続き、処理モジュール２０が、ＤＰＢに記憶された基準画像のリスト内のインデックス（ｒｅｆ＿ｉｄｘ＿ｌ１）を復号化する。

【0285】

ステップ１８２０では、処理モジュール２０は、現在のブロックについて動きベクトル精密化ｍｖｄを復号化する。

【0286】

ステップ１８２１では、処理モジュール２０は、動きベクトル予測子を指定する動きベクトル予測子インデックスを復号化する。ステップ１８１９、１８２０及び１８２１で取得された動き情報を用いて、処理モジュール２０は、第２の予測子ブロックを決定する。これら２つの予測子を用いて、処理モジュール２０は、現在のブロックを復号化する双方向予測子ａを決定する。

【0287】

現在のブロックの第１の予測ブロックが予測画像から（又は集約予測画像から）取得されない場合、処理モジュールは、ステップ１８１０、１８１１及び１８１２とそれぞれ同一のステップ１８１５、１８１６、及び１８１７を実行して、第１の予測子を取得する。

【0288】

ステップ１８１８では、処理モジュール２０は、フラグＶＳＰを復号化して、現在のブロックの第２の予測ブロックが予測画像から（又は集約予測画像から）取得されるかどうかを判定する。現在のブロックの第２の予測ブロックが予測画像から（又は集約予測画像から）取得される場合、ステップ１８０９と同一のステップ１８２２で、第２の予測子ブロックが取得される。第１及び第２の予測子ブロックを使用して、処理モジュールは、現在のブロックを復号化する。

【0289】

現在のブロックの第２の予測ブロックが予測画像から（又は集約予測画像から）取得されない場合、ステップ１８１９において、処理モジュール２０は、ＤＰＢに記憶された基準画像のリスト内の第２のインデックスを復号化する（ｒｅｆ＿ｉｄｘ＿ｌ１）。

【0290】

ステップ１８２０では、処理モジュール２０は、現在のブロックについて第２の動きベクトル精密化ｍｖｄを復号化する。

【0291】

ステップ１８２１では、処理モジュール２０は、第２の動きベクトル予測子を指定する第２の動きベクトル予測子インデックスを復号化する。

【0292】

ステップ１８１５、１８１６、１８１７、１８１９、１８２０、及び１８２１で取得された動き情報により、処理モジュール２０は、現在のブロックを復号化する。

【0293】

実施形態（１８）の変形例では、ステップ１８０４で、処理モジュール２０は、現在のブロックのＶＳＰフラグを復号化する。ＶＳＰモードが現在のブロックについてアクティブ化される場合、処理モジュール２０は、ステップ１８０９と同一のステップ１８０５を実行する。ＶＳＰモードが現在のブロックに対してアクティブ化されない場合、処理モジュール２０はステップ１８０６を実行する。

【0294】

図１９は、新しいＶＳＰモードを使用したビデオ圧縮方法のシンタックス解析プロセスの第２の実施形態を概略的に示す。

【0295】

以下「実施形態（１９）」と呼ばれる図１９の実施形態は、表 ＴＡＢ６に記載のブロックのシンタックスに基づく。表 ＴＡＢ４及び表 ＴＡＢ６のシンタックス間の違いは太字で表される。この実施形態は、現在のブロックを復号化するときにデコーダによって実行される。しかしながら、エンコーダは、デコーダが復号化することができるものに準拠したシンタックスを符号化する。

【0296】

【表11】

【0297】

実施形態（１９）は、実施形態（１８）と非常に類似している。実施形態（１９）は、ＶＳＰモードで符号化されたブロックのシンタックスが、動きベクトル差ｍｖｄを表すシンタックス要素を含むという点で、実施形態（１８）とは異なる。この特徴の結果は、２つの予測子ブロックが同じ予測画像又は集約予測画像から抽出されるときのＶＳＰモードと双方向インター予測との組み合わせが現在可能であることである。実際、実施形態（１９）では、動きベクトル差ｍｖｄの存在は、２つの異なる予測子ブロックを取得することを可能にする。

【0298】

実施形態（１９）のシンタックス及び解析方法は、１つのみの予測画像又は集約予測画像が現在の層のＤＰＢに挿入されるときの実施形態（１４Ａ）、（１４Ｂ）、及び（１６）に適合される。

【0299】

実施形態（１９）は、ステップ１８００～１８０８、１８１０～１８１３、１８１５～１８２１とそれぞれ同一のステップ１９００～１９０８、１９１０～１９１３、１９１５～１９２１を含む。

【0300】

ＶＳＰモードが現在のブロックに対してアクティブ化されるとき、ステップ１９０８の後にステップ１９０９が続き、動きベクトル差ｍｖｄが現在のブロックに対して計算される。この動きベクトル差ｍｖｄは、予測画像又は集約予測画像内の予測子ブロックを指定することを可能にする。次いで、当該予測子が、現在のブロックを復号化するために使用される。

【0301】

ＶＳＰフラグが、現在のブロックの第１の予測子が予測画像又は集約予測画像から生成されることを指定する場合、ステップ１９１３の後にステップ１９１４が続き、動きベクトル差ｍｖｄが現在のブロックについて計算される。この動きベクトル差ｍｖｄは、予測画像又は集約予測画像内の第１の予測子ブロックを指定することを可能にする。

【0302】

ステップ１９１４の後にステップ１９１８が続く。ＶＳＰフラグが、現在のブロックの第２の予測子が予測画像又は集約予測画像から生成されることを指定する場合、ステップ１９１８の後にステップ１９２２が続き、動きベクトル差ｍｖｄが現在のブロックについて計算される。この動きベクトル差ｍｖｄは、予測画像又は集約予測画像内の第２の予測子ブロックを指定することを可能にする。現在のブロックは、双方向予測モードとして第１及び第２の予測子から復号化される。

【0303】

ステップ１９０５はステップ１９０９と同一であることに留意されたい。

【0304】

図２０は、新しいＶＳＰモードを使用したビデオ圧縮方法のシンタックス解析プロセスの第３の実施形態を概略的に示す。

【0305】

以下の「実施形態（２０）」と呼ばれる図２０の実施形態は、表 ＴＡＢ７に記載のブロックのシンタックスに基づく。表 ＴＡＢ４及び表 ＴＡＢ７のシンタックス間の違いは太字で表される。この実施形態は、現在のブロックを復号化するときにデコーダによって実行される。しかしながら、エンコーダは、デコーダが復号化することができるものに準拠したシンタックスを符号化する。

【0306】

実施形態（２０）は、実施形態（１９）と非常に類似している。実施形態（２０）は、ＶＳＰモードで符号化されたブロックのシンタックスが、動きベクトル差ｍｖｄを表すシンタックス要素を含まないが、ＤＰＢに記憶された基準画像のリストに少なくとも１つのインデックス（ｒｅｆ＿ｉｄｘ２＿ｌ０又はｒｅｆ＿ｉｄｘ２＿ｌ１）を含むという点で、実施形態（１９）とは異なる。このインデックスは、どの予測画像が現在のブロックの予測子ブロックを提供するかを示す。この特徴の結果として、ＶＳＰモードと双方向インター予測との組み合わせが可能となる。実際、実施形態（２０）では、２つの異なる予測画像（又は集約予測画像）を指定する双方向インター予測の場合の２つのインデックスの存在は、２つの異なる予測子ブロックを取得することを可能にする。

【0307】

実施形態（２０）のシンタックス及び解析方法は、複数の予測画像又は集約予測画像が現在の層のＤＰＢに挿入されるときに、実施形態（１５）及び（１６）に適合される。

【0308】

実施形態（２０）は、ステップ１９００～１９０８、１９１０～１９１３、１９１５～１９２１とそれぞれ同一であるステップ２０００～２００８、２０１０～２０１３、２０１５～２０２１を含む。

【0309】

実施形態（１９）のステップ１９０９は、実施形態（２０）のステップ２００９によって置き換えられる。ステップ２００９では、処理モジュール（２０）は、現在のブロックを含む画像に時間的に対応する（すなわち、同じフレーム内の）予測画像又は集約予測画像の中の基準画像のリストｌ０（又はｌ１）内のインデックスを表すシンタックス要素ｒｅｆ＿ｉｄｘ２＿ｌ０（又はｒｅｆ＿ｉｄｘ２＿ｌ１）を復号化する。処理モジュール２０は、インデックスｒｅｆ＿ｉｄｘ２＿ｌ０（又はｒｅｆ＿ｉｄｘ２＿ｌ１）によって指定された予測画像（又は集約予測画像）から、現在のブロックと空間的に同じ位置に配置される予測子ブロックを抽出する。次いで、処理モジュールは、取得された予測子ブロックを使用して現在のブロックを復号化する。

【0310】

実施形態（１９）のステップ１９１４は、実施形態（２０）のステップ２０１４によって置き換えられる。ステップ２０１４では、処理モジュール（２０）は、現在のブロックを含む画像に時間的に対応する（すなわち、同じフレーム内の）予測画像又は集約予測画像のうち使用する基準画像の第１のリストｌ０内のインデックスを表すシンタックス要素ｒｅｆ＿ｉｄｘ２＿ｌ０を復号化する。処理モジュール２０は、インデックスｒｅｆ＿ｉｄｘ２＿ｌ０によって指定された予測画像（又は集約予測画像）から、現在のブロックと空間的に同じ位置に配置される第１の予測子ブロックを抽出する。

【0311】

実施形態（１９）のステップ１９２２は、実施形態（２０）のステップ２０２２によって置き換えられる。ステップ２０２２では、処理モジュール（２０）は、現在のブロックを含む画像に時間的に対応する（すなわち、同じフレーム内の）予測画像又は集約予測画像のうち使用する基準画像の第２のリストｌ１内のインデックスを表すシンタックス要素ｒｅｆ＿ｉｄｘ２＿ｌ１を復号化する。処理モジュール２０は、インデックスｒｅｆ＿ｉｄｘ２＿ｌ１によって指定された予測画像（又は集約予測画像）から、現在のブロックと空間的に同じ位置に配置される第２の予測子ブロックを抽出する。

【0312】

ステップ２０２１又は２０２２の後、処理モジュール２０は、双予測インターモードで、第１及び第２の予測子を使用して現在のブロックを復号化する。

【0313】

ステップ２００５は、ステップ２００９と同一であることに留意されたい。

【0314】

【表12】

【0315】

図２１は、新しいＶＳＰモードを使用したビデオ圧縮方法のシンタックス解析プロセスの第４の実施形態を概略的に示す。

【0316】

以下、実施形態（２１）と呼ばれる図２１の実施形態は、表 ＴＡＢ８に記載されるブロックのシンタックスに基づく。表 ＴＡＢ４及び表 ＴＡＢ８のシンタックス間の違いは太字で表される。この実施形態は、現在のブロックを復号化するときにデコーダによって実行される。しかしながら、エンコーダは、デコーダが復号化することができるものに準拠したシンタックスを符号化する。

【0317】

実施形態（２１）は、実施形態（１８）と非常に類似している。しかしながら、実施形態（２１）では、ブロックレベルでのＶＳＰモードの使用は、フラグＶＳＰによって明示的に指定される代わりに、基準画像のインデックス（ｒｅｆ＿ｉｄｘ＿ｌ０又はｒｅｆ＿ｉｄｘ＿ｌ１）から推測される。

【0318】

実施形態（２１）のシンタックス及び解析方法は、１つのみの予測画像又は集約画像が現在の層のＤＰＢに挿入されるときの実施形態（１４Ａ）、（１４Ｂ）、及び（１６）に適合される。

【0319】

実施形態（２１）は、ステップ１８００～１８０３、１８０５～１８０７、１８０９～１８１２、１８１４～１８１７、１８１９～１８２２とそれぞれ同一であるステップ２１００～２１０３、２１０５～２１０７、２１０９～２１１２、２１１４～２１１７、２１１９～２１２２を含む。

【0320】

ステップ２１０４では、予測画像又は集約予測画像に対応する基準画像のリスト内の基準画像を指定するインデックスｒｅｆ＿ｉｄｘ２＿ｌ０又はインデックスｒｅｆ＿ｉｄｘ２＿ｌ１が識別子ｍｅｒｇｅ＿ｉｄｘによって指定される候補ブロックから受け継がれる場合、処理モジュール２０は、ＶＳＰモードが現在のブロックについてアクティブ化されたと考える。

【0321】

ステップ２１０８では、リストｌ０内の基準画像を指定するインデックスｒｅｆ＿ｉｄｘ＿ｌ０が、予測画像又は集約予測画像を指定する場合、ＶＳＰモードは、現在のブロックについてアクティブ化されたと考える。例えば、ｒｅｆ＿ｉｄｘ＿ｌ０＝０は、予測画像又は集約予測画像に対応する基準画像を示す。

【0322】

ステップ２１１３では、基準画像のリストｌ０内の基準画像を指定するインデックスｒｅｆ＿ｉｄｘ＿ｌ０が予測画像又は集約予測画像を指定する場合、処理モジュール２０は、現在のブロックの第１の予測子が、予測画像又は集約予測画像から取得されると考える。

【0323】

ステップ２１１８では、基準画像のリストｌ１内の基準画像を指定するインデックスｒｅｆ＿ｉｄｘ＿ｌ１が予測画像又は集約予測画像を指定する場合、処理モジュール２０は、現在のブロックの第２の予測子が、予測画像又は集約予測画像から取得されると考える。例えば、ｒｅｆ＿ｉｄｘ＿ｌ１＝０は、予測画像又は集約予測画像に対応する基準画像を指定する。

【0324】

【表13】

【0325】

表 ＴＡＢ８のシンタックスにおいて、動きベクトル差ｍｖｄ及び動きベクトル予測子インデックスｍｖｐは、関数ｉｓ＿ｖｓｐ＿ｇｅｎｅｒａｔｅｄが偽に戻るときにのみ復号化される。この関数ｉｓ＿ｖｓｐ＿ｇｅｎｅｒａｔｅｄは、以下のように定義される。

【0326】

ｉｓ＿ｖｓｐ＿ｇｅｎｅｒａｔｅｄ（ｉｄｘ）は、
・基準インデックスｉｄｘが同じフレーム内のビューから生成されたフレームを指す場合、真に戻り、
・そうでない場合、偽に戻る。

【0327】

以下、実施形態（１８ｂｉｓ）と呼ばれる実施形態（１８）の変形例では、現在のブロックがマージモード又はスキップモードで符号化されている場合、フラグＶＳＰは、現在のブロックについて符号化されない。その場合、処理モジュール２０は、まず識別子ｍｅｒｇｅ＿ｉｄｘを復号化し、識別子ｍｅｒｇｅ＿ｉｄｘによって指定された候補ブロックがＶＳＰモードで符号化されたかどうかを判定する。候補ブロックがＶＳＰモードで符号化された場合、現在のブロックは、候補ブロックからＶＳＰパラメータを受け継ぎ、現在のブロックは、これらのパラメータを使用して復号化される。そうでなければ、現在のブロックは、通常のマージモード復号化プロセスを適用して復号化される。この実施形態（１８ｂｉｓ）は、表 ＴＡＢ９に記載されるブロックのシンタックスに基づく。

【0328】

実施形態（１８）、（１８ｂｉｓ）、（１９）、（２０）、及び（２１）を組み合わせて、追加の実施形態を得ることができる。

【0329】

例えば、ＶＳＰモードで符号化された現在のブロックのシンタックスは、動きベクトル差ｍｖｄと、現在のブロックを含む画像に時間的に対応する（すなわち、同じフレーム内の）予測画像又は集約予測画像のうち使用する基準画像の第１のリストｌ０及び／又は第２のリストｌ１内のインデックスを表すシンタックス要素ｒｅｆ＿ｉｄｘ２＿ｌ０及び／又はｒｅｆ＿ｉｄｘ２＿ｌ１とを復号化する。これは、実施形態（１９）及び（２０）の組み合わせに対応する。

【0330】

別の例では、ＶＳＰモードで符号化された現在のブロックのシンタックスは、動きベクトル差ｍｖｄを含むことができ、ＶＳＰモードの使用は、フラグ表示ＶＳＰによって示される代わりに、シンタックス要素ｒｅｆ＿ｉｄｘ＿ｌ０及び／又はｒｅｆ＿ｉｄｘ＿ｌ１から推測することができる。これは、実施形態（１９）及び（２１）の組み合わせに対応する。

【0331】

別の例では、ＶＳＰモードで符号化された現在のブロックのシンタックスは、シンタックス要素ｒｅｆ＿ｉｄｘ２＿ｌ０及び／又はｒｅｆ＿ｉｄｘ２＿ｌ１を含むことができ、ＶＳＰモードの使用は、フラグ表示ＶＳＰによって示される代わりに、シンタックス要素ｒｅｆ＿ｉｄｘ＿ｌ０及び／又はｒｅｆ＿ｉｄｘ＿ｌ１から推測することができる。これは、実施形態（２０）及び（２１）の組み合わせに対応する。

【0332】

他の例では、
・実施形態（１８）は、実施形態（１９）、（２０）、及び（２１）と組み合わせることができる。
・実施形態（１９）、（２０）、及び（２１）は、組み合わせることができる。
・実施形態（１９）、（２０）、（２１）、及び（２２）は、組み合わせることができる、
・など。

【0333】

【表14】

【0334】

現在まで、ビュー間予測に使用される投影画像（又は集約投影画像）は、各ピクセルテクスチャデータ及び深度データを含むと考えられていた。ＭＩ（動き情報）ベースのＶＳＰ実施形態と呼ばれる別の実施形態では、予測画像（及び集約予測画像）は、各ピクセル又はピクセルのサブセットの動き情報のみを含むＭＩ（動き情報）予測画像（又はＭＩ集約予測画像）と呼ばれる画像によって置き換えられる。

【0335】

ＭＩベースのＶＳＰ実施形態では、図１３Ａの順投影プロセスは、追加のステップ１３３を含む。ステップ１３３では、処理モジュール２０は、ステップ１３０～１３２の順投影によって取得されたピクセルＰ’（ｕ’、ｖ’）と、投影ピクセルＰ（ｕ、ｖ）との間の変位を表す動きベクトルＭＶを計算する。この動きベクトルＭＶは、ＭＩ予測画像に記憶されるように意図される。

【0336】

以下では、実施形態（１４Ａ）、（１４Ｂ）、（１５）、及び（１６）に対するＭＩベースのＶＳＰ実施形態の影響を説明する。

【0337】

ＭＩベースのＶＳＰ実施形態では、実施形態（１４Ａ）は修正され、実施形態（１４Ａ＿ＭＩ）になる。実施形態（１４Ａ＿ＭＩ）は、図２２Ａで表される。

【0338】

実施形態（１４Ａ＿ＭＩ）の第１のステップは、実施形態（１４Ａ）に関連して既に説明されたステップ１４０である。

【0339】

ステップ１４１＿ＭＩでは、処理モジュール２０は、基準ビュー（例えば、第１のビュー５０１）と現在のビュー（例えば、第２のビュー５０１Ｂ）との間でステップ１３０～１３３の順投影を適用してＭＩ予測画像ＭＩ（ｋ）を生成する。ＭＩ予測画像ＭＩ（ｋ）は、現在のビューのＤＰＢ（例えば、ＤＰＢ５１９Ｂ（６１９Ｂ））に導入されて、現在のビューの現在の画像についての第Ｋ^ｔｈの予測画像のうちの１つになることを意図している。

【0340】

ステップ１４２＿ＭＩでは、処理モジュール２０は、分離された欠落動き情報を満たす。一実施形態では、分離された欠落動き情報は、隣接するピクセル動き情報で満たされる。別の実施形態では、分離された欠落動き情報は、デフォルト値（典型的には、動きベクトル＝（０，０））で満たされる。別の実施形態では、分離された欠落動き情報は無効とみなされ、動き情報の有効性を表すフラグは、各動き情報と関連付けられている。

【0341】

ステップ１４３＿ＭＩでは、処理モジュール２０は、現在のビューのＤＰＢにＭＩ予測画像ＭＩ（ｋ）を記憶する。

【0342】

ステップ１４４＿ＭＩでは、処理モジュール２０は、現在のビューのＤＰＢに含まれる基準画像を使用して現在のビューの現在の画像を再構成し、ＤＰＢは、ＭＩ予測画像ＭＩ（ｋ）を含む。ＭＩ予測画像ＭＩ（ｋ）は、処理モジュール２０によって使用されて、予測画像Ｇ（ｋ）を生成する。実際、ＭＩ予測画像ＭＩ（ｋ）に含まれる動き情報は、基準画像内のこの動き情報によって指定された各ピクセルに動き補償を適用するために使用される。

【0343】

任意選択で、実施形態（１４Ａ＿ＭＩ）は、ＭＩ予測画像ＭＩ（ｋ）における動き情報の量を低減することからなるステップ２２０を含む。実際、画像の各ピクセル位置についての動き情報を有することは、大量のデータを表す。一実施形態では、ＭＩ予測画像ＭＩ（ｋ）は、サイズＮ×Ｍのブロックに分割され、Ｎ及びＭは２の倍数であり、当該ＭＩ予測画像ＭＩ（ｋ）の幅及び高さよりも小さい。各Ｎ×Ｍブロックに対して、１つの動き情報のみが保持される。言い換えれば、動き情報は、係数Ｎ×Ｍによってサブサンプリングされる。一実施形態では、Ｎ＝Ｍ＝４であり、１つの動き情報は「１６」個の動き情報から除外される。

【0344】

一実施形態では、サブサンプリングは、各ブロックについて、Ｎ×Ｍ動き情報内の１つの特定の動き情報を選択することからなる。

【0345】

一実施形態では、サブサンプリングは、各ブロックについて、Ｎ×Ｍ動き情報の中央値を選択することからなる（中央値は、動きベクトルのノルムを使用して計算される）。

【0346】

一実施形態では、サブサンプリングは、Ｎ×Ｍ動き情報内で最も良く出現する動き情報を選択することからなる。

【0347】

一実施形態では、サブサンプリングは、サブブロック全体のビュー（ｚバッファアルゴリズム）の最小深度に対応する動き情報を選択することからなる。

【0348】

一実施形態では、サブサンプリングは、Ｎ×Ｍ動き情報のうちの第１の投影値を保持することからなる。

【0349】

ＭＩベースのＶＳＰ実施形態では、実施形態（１４Ｂ）は修正され、実施形態（１４Ｂ＿ＭＩ）になる。実施形態（１４Ｂ＿ＭＩ）は、図２２Ｂに示される。

【0350】

実施形態（１４Ｂ）と比較すると、実施形態（１４Ｂ＿ＭＩ）では、ステップ１４１２は、ステップ１４１２＿ＭＩによって置き換えられ、ステップ１４１５は、ステップ１４１５＿ＭＩによって置き換えられる。

【0351】

ステップ１４１２では、処理モジュール２０は、ビューｊと現在のビューとの間でステップ１３０～１３３の順投影方法を適用してＭＩ予測画像ＭＩ（ｋ）_ｊを生成する。

【0352】

ステップ１４１５＿ＭＩでは、処理モジュール２０は、予測画像ＭＩ（ｋ）_ｊから集約ＭＩ予測画像ＭＩ（ｋ）を計算し、このＭＩ予測画像ＭＩ（ｋ）は、現在のビューのＤＰＢに記憶されることを意図している。

【0353】

集約プロセスの一実施形態では、予測画像ＭＩ（ｋ）_ｊは、複数のＭＩ予測画像のうちの第１のＭＩ予測画像ＭＩ（ｋ）_ｊの動き情報を保持することによって集約される。第１のＭＩ予測画像は、例えば、予測画像ＭＩ（ｋ）_ｊ＝０である。

【0354】

集約プロセスの一実施形態では、ＭＩ予測画像ＭＩ（ｋ）_ｊは、現在のビューに最も近いビューｊから生成されたＭＩ（ｋ）_ｊの動き情報を保持することによって集約される。いくつかのビューが現在のビューから同じ距離にある場合（すなわち、いくつかの最も近いビューがある）、いくつかの最も近いビューのうちの最も近いビューがランダムに選択される。例えば、カメラアレイ１０では、カメラ１０Ａによって生成された第１のビュー及びカメラ１０Ｃによって生成された第２のビューのみが、カメラ１０Ｂによって生成された現在のビューを予測するために利用可能であると仮定する。次いで、第１及び第２のビューは、現在のビューに最も近いビューであり、現在のビューまで同じ距離にある。第１及び第２のビューのうちの１つが、動き情報をＭＩ集約予測画像ＭＩ（ｋ）に提供するように選択される。

【0355】

集約プロセスの一実施形態では、ＭＩ予測画像ＭＩ（ｋ）_ｊは、最良の質を有する予測画像ＭＩ（ｋ）_ｊの動き情報を保持することによって集約される。例えば、ピクセルの質を表す情報は、当該ピクセルを含む変換ブロックに適用される量子化パラメータの値である。

【0356】

集約プロセスの一実施形態において、ＭＩ予測画像ＭＩ（ｋ）_ｊは、最も近い深度値（ｚバッファアルゴリズム）を有する予測画像ＭＩ（ｋ）_ｊの動き情報を保持することによって集約される。

【0357】

集約プロセスの一実施形態では、ＭＩ予測画像ＭＩ（ｋ）_ｊは、集約予測画像ＭＩ（ｋ）_ｊの隣接ピクセルが既に予測画像から予測されるときに、予測画像ＭＩ（ｋ）_ｊのピクセル値（テクスチャ値及び深度値）を保持することによって集約される。

【0358】

集約プロセスの一実施形態では、ＭＩ予測画像ＭＩ（ｋ）_ｊは、ＭＩ予測画像ＭＩ（ｋ）_ｊの動き情報の平均、加重平均、中央値を計算することによって集約される。

【0359】

動き情報は、動きベクトルを表す情報、及び基準画像のリスト内の基準画像のインデックス（例えば、ｒｅｆ＿ｉｄｘ＿ｌ０、ｒｅｆ＿ｉｄｘ＿ｌ１、ｒｅｆ＿ｉｄｘ２＿ｌ０、ｒｅｆ＿ｉｄｘ２＿ｌ１）を表す情報を含むことに留意されたい。

【0360】

上記から分かるように、実施形態（１４Ｂ＿ＭＩ）では、サブサンプリング（ステップ２２０）は、集約ＭＩ予測画像ＭＩ（ｋ）に対して実行される。実施形態（１４Ｂ＿ＭＩ）の変形例において、ステップ２２０のサブサンプリングは、各ＭＩ予測画像ＭＩ（ｋ）_ｊに対して行われる。

【0361】

上記から分かるように、実施形態（１４Ｂ＿ＭＩ）では、サブサンプリング（ステップ２２０）及び集約ステップ１４１５＿ＭＩは、別々のステップである。実施形態（１４Ｂ＿ＭＩ）の変形例では、サブサンプリングは集約ステップ中に実行される。

【0362】

ＭＩベースのＶＳＰ実施形態では、実施形態（１５）は修正され、実施形態（１５＿ＭＩ）になる。実施形態（１５＿ＭＩ）は、図２３に示される。

【0363】

実施形態（１５）と比較すると、実施形態（１５＿ＭＩ）では、ステップ１５０２はステップ１５０２によって置き換えられ、ステップ１５０３はステップ１５０３＿ＭＩによって置き換えられ、ステップ１５０４はステップ１５０４＿ＭＩで置き換えられ、ステップ１４４はステップ１４４＿ＭＩで置き換えられる。

【0364】

ステップ１５０２＿ＭＩは、ステップ１４１２＿ＭＩと同一である。

【0365】

このステップ１５０３＿ＭＩは、ホール充填プロセスがＭＩ予測画像ＭＩ（ｋ）の代わりに、ＭＩ予測画像ＭＩ（ｋ）の代わりにＭＩ予測画像ＭＩ（ｋ）_ｊに適用されることを除いて、ステップ１４２＿ＭＩと同一である。

【0366】

ステップ１５０４＿ＭＩでは、予測画像ＭＩ（ｋ）_ｊが、現在のビューのＤＰＢに格納される。

【0367】

実施形態（１５＿ＭＩ）におけるステップ１４４＿ＭＩは、現在のビューのＤＰＢが、ＭＩ予測画像ＭＩ（ｋ）_ｊの数Ｎｂ＿ｖｉｅｗｓを含むことを除いて、実施形態（１４Ｂ＿ＭＩ）のでステップ１４４＿ＭＩと同一である。

【0368】

実施形態（１５＿ＭＩ）の変形例では、サブサンプリングステップ２２０が、ステップ１５０３＿ＭＩと１５０４＿ＭＩとの間に導入される。

【0369】

実施形態（１５＿ＭＩ）の変形例において、予測画像ＭＩ（ｋ）_ｊに加えて、予測画像ＭＩ（ｋ）_ｊから生成された集約予測画像及び／又は予測画像ＭＩ（ｋ）_ｊのサブセットから生成された集約予測画像が、現在のビューのＤＰＢに挿入される。

【0370】

実施形態（１５＿ＭＩ）の変形例において、予測画像ＭＩ（ｋ）_ｊの代わりに、予測画像ＭＩ（ｋ）_ｊから生成された集約予測画像と予測画像ＭＩ（ｋ）_ｊのサブセットから生成された集約予測画像が現在のビューのＤＰＢに挿入される、又は予測画像ＭＩ（ｋ）_ｊのサブセットから生成された集約予測画像のみが現在のビューのＤＰＢに挿入される。

【0371】

ＭＩベースのＶＳＰ実施形態では、実施形態（１６）は修正され、実施形態（１６＿ＭＩ）になる。実施形態（１６＿ＭＩ）は、図２５に示される。

【0372】

実施形態（１６）と比較すると、実施形態（１６＿ＭＩ）では、ステップ１６４はステップ１６４＿ＭＩで置き換えられ、ステップ１６５はステップ１６５＿ＭＩで置き換えられ、ステップ１４１はステップ１４１＿ＭＩで置き換えられ、ステップ１４３はステップ１４３＿ＭＩで置き換えられ、ステップ１４２はステップ１４２＿ＭＩで置き換えられ、ステップ１４４はステップ１４４＿ＭＩで置き換えられる。

【0373】

実施形態（１６＿ＭＩ）におけるステップ１４１＿ＭＩは、実施形態（１４Ａ＿ＭＩ）のステップ１４１＿ＭＩと同一である。

【0374】

実施形態（１６＿ＭＩ）におけるステップ１４３＿ＭＩは、実施形態（１４Ａ＿ＭＩ）のステップ１４３＿ＭＩと同一である。

【0375】

実施形態（１６＿ＭＩ）におけるステップ１４２＿ＭＩは、実施形態（１４Ａ＿ＭＩ）のステップ１４２＿ＭＩと同一である。

【0376】

実施形態（１６＿ＭＩ）におけるステップ１４４＿ＭＩは、実施形態（１４Ａ＿ＭＩ）のステップ１４４＿ＭＩと同一である。

【0377】

ステップ１６４では、処理モジュール２０は、基準ビューの画像のブロック番号ｎについて、基準ビューと現在のビューとの間に、ステップ１３０～１３３に記載の順投影方法を適用して動き情報の予測ブロックＭＩｂｌｏｃｋ（ｎ，ｋ）を生成する。

【0378】

ステップ１６５＿ＭＩでは、処理モジュール２０は、基準ビューの画像のブロック番号ｎの位置と同じ位置に、現在のビューのＤＰＢにブロックＭＩｂｌｏｃｋ（ｎ，ｋ）を記憶する。

【0379】

実施形態（１６＿ＭＩ）の変形例では、実施形態（１４Ｂ）及び（１５）と同様に、実施形態（１６）を複数の基準ビューの画像に適用して、複数のＭＩ予測画像を取得することができる。

【0380】

この変形例の実施形態では、複数のＭＩ予測画像は、現在のビューのＤＰＢに記憶される。

【0381】

この変形例の実施形態では、複数のＭＩ予測画像は、ＭＩ集約予測画像を形成するように集約され、集約ＭＩ予測画像は、現在のビューのＤＰＢに記憶される。

【0382】

この変形例の実施形態では、複数のＭＩ予測画像の少なくとも１つのサブセットが集約されて、集約ＭＩ予測画像を形成し、各集約ＭＩ予測画像は、現在のビューのＤＰＢに記憶される。

【0383】

この変形例の実施形態では、複数のＭＩ予測画像の少なくとも１つのサブセットが集約されて、集約ＭＩ予測画像を形成し、各集約ＭＩ予測画像は、ＭＩ予測画像、及び複数の予測画像の全てを集約する集約ＭＩ予測画像に加えて、現在のビューのＤＰＢに記憶される。

【0384】

双方向、ＷＰ、及び修正された重み付けを有する実施形態は、全てのＭＩベースのＶＳＰ実施形態（すなわち、実施形態（１４Ａ）、（１４Ｂ）、（１５）、及び（１６））に同じように適用される。

【0385】

ここまで、動き情報は、動きベクトルを表す情報、及び基準画像のリスト内の基準画像のインデックス（例えば、ｒｅｆ＿ｉｄｘ＿ｌ０、ｒｅｆ＿ｉｄｘ＿ｌ１、ｒｅｆ＿ｉｄｘ２＿ｌ０、ｒｅｆ＿ｉｄｘ２＿ｌ１）を表す情報を含むと考えられる。ＭＩベースのＶＳＰ実施形態の変形例では、ＭＩ予測画像ＭＩ（ｋ）がサイズＮ×Ｍのブロックに分割されたとき、各Ｎ×Ｍブロックに関連付けられた動き情報は、動きベクトルを表す情報の代わりに、基準ビューのＮ×Ｍブロックのピクセルから現在のビュー内の現在のブロックのピクセルを決定することを可能にする疑似動きモデルのパラメータを含む。

【0386】

実施形態（１８）及び（１８ｂｉｓ）のシンタックス及び解析方法は、１つのみのＭＩ予測画像又は集約ＭＩ予測画像が現在の層のＤＰＢに挿入されるときの実施形態（１４Ａ＿ＭＩ）、（１４Ｂ＿ＭＩ）、及び（１６＿ＭＩ）に適合される。

【0387】

実施形態（１９）のシンタックス及び解析方法は、１つのみのＭＩ予測画像又は集約ＭＩ予測画像が現在の層のＤＰＢに挿入されるときの実施形態（１４Ａ＿ＭＩ）、（１４Ｂ＿ＭＩ）、及び（１６＿ＭＩ）に適合される。

【0388】

実施形態（２０）のシンタックス及び解析方法は、複数のＭＩ予測画像又は集約ＭＩ予測画像が現在の層のＤＰＢに挿入されるときの実施形態（１５＿ＭＩ）及び（１６＿ＭＩ）に適合される。

【0389】

実施形態（２１）のシンタックス及び解析方法は、１つのみのＭＩ予測画像又は集約ＭＩ予測画像のみが現在の層のＤＰＢに挿入されるときの実施形態（１４Ａ＿ＭＩ）、（１４Ｂ＿ＭＩ）、及び（１６＿ＭＩ）に適合される。

【0390】

実施形態（１８）、（１８ｂｉｓ）、（１９）、（２０）、及び（２１）の特徴を組み合わせた実施形態は、ＭＩベースのＶＳＰ実施形態にも適用される。

【0391】

以上、いくつかの実施形態について説明した。これらの実施形態の特徴は、単独で、又は任意の組み合わせで提供することができる。更に、実施形態は、様々な請求項のカテゴリ及びタイプにわたって、以下の特徴、デバイス、又は態様の１つ以上を、単独で、又は組み合わせで含むことができる。
・記載されたシンタックス要素又はそのバリエーションのうちの１つ又は複数を含むビットストリーム又は信号。
・記載されたシンタックス要素又はそのバリエーションのうちの１つ又は複数を含むビットストリーム又は信号を作成及び／又は送信及び／又は受信及び／又は復号化する。
・記載された実施形態のいずれかに従ってＭＶＤ符号化又は復号化を実行するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・記載された実施形態のいずれかに従ってＭＶＤ符号化を実行し、取得された画像を（例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して）表示するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・記載された実施形態のうちのいずれかに従って符号化ビデオストリームを含む信号を受信するために（例えば、チューナを使用して）チャネルをチューニングし、マルチビュー復号化を実行するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・記載された実施形態のうちのいずれかに従って符号化ビデオストリームを含む無線上の信号を（例えば、アンテナを使用して）受信し、ＭＶＤ復号化を実行するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図14A】

【図14B】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22A】

【図22B】

【図23】

【図24】

【図25】

【手続補正書】

【提出日】2024-06-06

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

復号化のための方法であって、
マルチビュービデオコンテンツの少なくとも１つの基準ビューに関連付けられた第１のカメラパラメータと、現在のビューに関連付けられた第２のカメラパラメータとを得ることであって、各ビューがテクスチャ層及び深度層を含む、ことと、
前記基準ビューのピクセルに順投影方法を適用して、前記第１のカメラパラメータによって定義される前記基準ビューのカメラ座標系から前記第２のカメラパラメータによって定義される前記現在のビューのカメラ座標系に前記ピクセルを投影することにより、中間予測画像を生成することであって、前記中間予測画像の各投影ピクセルが、前記投影ピクセルと前記ピクセルがそこから投影される前記基準ビューの前記ピクセルとの間の変位を表す動き情報値に関連付けられている、ことと、
前記現在のビューの時間的予測に使用される再構成画像の復号化ピクチャバッファに、少なくとも１つの中間予測画像から得られた少なくとも１つの最終予測画像を記憶することと、
前記復号化ピクチャバッファに記憶された画像から前記現在のビューの現在の画像を再構成することと、を含む、方法。

【請求項2】

前記順投影方法が、
前記基準ビューの前記カメラ座標系から世界座標系への逆投影を前記基準ビューの現在のピクセルに適用することで逆投影ピクセルを得ることであって、前記逆投影が、前記基準ビューを取得する基準カメラのポーズ行列、前記基準カメラの逆内部行列、及び前記現在のピクセルに関連付けられた深度値を使用し、前記基準カメラの前記ポーズ行列及び前記逆内部行列が、前記第１のカメラパラメータから得られる、ことと、
前記現在のビューを取得する現在のカメラの内部行列及び外部行列を使用して前記逆投影ピクセルを前記現在のビューの前記カメラ座標系に投影することで順投影ピクセルを得ることであって、前記現在のカメラの前記内部行列及び前記外部行列が、前記第２のカメラパラメータから得られる、ことと、
前記順投影ピクセルが、前記現在のカメラのピクセルグリッド上のピクセルに対応していない場合、前記順投影ピクセルに最も近い前記ピクセルグリッドのピクセルを選択して、補正された順投影ピクセルを得ることと、
前記順投影ピクセルと前記基準ビューの前記現在のピクセルとの間の変位を表す動きベクトルを計算することと、を含む、請求項１に記載の方法。

【請求項3】

前記方法が、各中間予測画像又は前記最終予測画像内の分離された欠落ピクセル動き情報値を、隣接するピクセル動き情報値又はデフォルト値で充填することを含む、請求項１に記載の方法。

【請求項4】

前記少なくとも１つの最終予測画像が、少なくとも２つの中間予測画像を集約することによって得られる、請求項１に記載の方法。

【請求項5】

符号化のための方法であって、
マルチビュービデオコンテンツの少なくとも１つの基準ビューに関連付けられた第１のカメラパラメータと、現在のビューに関連付けられた第２のカメラパラメータとを得ることであって、各ビューがテクスチャ層及び深度層を含む、ことと、
前記基準ビューのピクセルに順投影方法を適用して、前記第１のカメラパラメータによって定義される前記基準ビューのカメラ座標系から前記第２のカメラパラメータによって定義される前記現在のビューのカメラ座標系に前記ピクセルを投影することにより、中間予測画像を生成することであって、前記中間予測画像の各投影ピクセルが、前記投影ピクセルと前記ピクセルがそこから投影される前記基準ビューの前記ピクセルとの間の変位を表す動き情報値に関連付けられている、ことと、
前記現在のビューの時間的予測に使用される再構成画像の復号化ピクチャバッファに、少なくとも１つの中間予測画像から得られた少なくとも１つの最終予測画像を記憶することと、
前記復号化ピクチャバッファに記憶された画像から前記現在のビューの現在の画像を再構成することと、を含む、方法。

【請求項6】

前記順投影方法が、
前記基準ビューの前記カメラ座標系から世界座標系への逆投影を前記基準ビューの現在のピクセルに適用することで逆投影ピクセルを得ることであって、前記逆投影が、前記基準ビューを取得する基準カメラのポーズ行列、前記基準カメラの逆内部行列、及び前記現在のピクセルに関連付けられた深度値を使用し、前記基準カメラの前記ポーズ行列及び前記逆内部行列が、前記第１のカメラパラメータから得られる、ことと、
前記現在のビューを取得する現在のカメラの内部行列及び外部行列を使用して前記逆投影ピクセルを前記現在のビューの前記カメラ座標系に投影することで順投影ピクセルを得ることであって、前記現在のカメラの前記内部行列及び前記外部行列が、前記第２のカメラパラメータから得られる、ことと、
前記順投影ピクセルが、前記現在のカメラのピクセルグリッド上のピクセルに対応していない場合、前記順投影ピクセルに最も近い前記ピクセルグリッドのピクセルを選択して、補正された順投影ピクセルを得ることと、
前記順投影ピクセルと前記基準ビューの前記現在のピクセルとの間の変位を表す動きベクトルを計算することと、を含む、請求項５に記載の方法。

【請求項7】

前記方法が、各中間予測画像又は前記最終予測画像内の分離された欠落ピクセル値を、隣接するピクセル値の平均、隣接するピクセル値の中央値、又はデフォルト値で充填することを含む、請求項５に記載の方法。

【請求項8】

少なくとも１つの最終予測画像が、少なくとも２つの中間予測画像を集約することによって得られる、請求項５に記載の方法。

【請求項9】

復号化のためのデバイスであって、
マルチビュービデオコンテンツの少なくとも１つの基準ビューに関連付けられた第１のカメラパラメータと、現在のビューに関連付けられた第２のカメラパラメータとを得る手段であって、各ビューがテクスチャ層及び深度層を含む、手段と、
前記基準ビューのピクセルに順投影方法を適用して、前記第１のカメラパラメータによって定義される前記基準ビューのカメラ座標系から前記第２のカメラパラメータによって定義される前記現在のビューのカメラ座標系に前記ピクセルを投影するように構成された中間予測画像を生成する手段であって、前記中間予測画像の各投影ピクセルが、前記投影ピクセルと前記ピクセルがそこから投影される前記基準ビューの前記ピクセルとの間の変位を表す動き情報値に関連付けられている、手段と、
前記現在のビューの時間的予測に使用される再構成画像の復号化ピクチャバッファに、少なくとも１つの中間予測画像から得られた少なくとも１つの最終予測画像を記憶する手段と、
前記復号化ピクチャバッファに記憶された画像から前記現在のビューの現在の画像を再構成する手段と、を含む、デバイス。

【請求項10】

前記順投影方法が、
前記基準ビューの前記カメラ座標系から世界座標系への逆投影を前記基準ビューの現在のピクセルに適用することで逆投影ピクセルを取得することであって、前記逆投影が、前記基準ビューを取得する基準カメラのポーズ行列、前記基準カメラの逆内部行列、及び前記現在のピクセルに関連付けられた深度値を使用し、前記基準カメラの前記ポーズ行列及び前記逆内部行列が、前記第１のカメラパラメータから得られる、ことと、
前記現在のビューを取得する現在のカメラの内部行列及び外部行列を使用して前記逆投影ピクセルを前記現在のビューの前記カメラ座標系に投影することで順投影ピクセルを得ることであって、前記現在のカメラの前記内部行列及び前記外部行列が、前記第２のカメラパラメータから得られる、ことと、
前記順投影ピクセルが、前記現在のカメラのピクセルグリッド上のピクセルに対応していない場合、前記順投影ピクセルに最も近い前記ピクセルグリッドのピクセルを選択して、補正された順投影ピクセルを得ることと、
前記順投影ピクセルと前記基準ビューの前記現在のピクセルとの間の変位を表す動きベクトルを計算することと、を含む、請求項９に記載のデバイス。

【請求項11】

前記デバイスが、各中間予測画像又は前記最終予測画像内の分離された欠落ピクセル値を、隣接するピクセル値の平均、隣接するピクセル値の中央値、又はデフォルト値で充填するように構成されている、請求項９に記載のデバイス。

【請求項12】

前記少なくとも１つの最終予測画像が、少なくとも２つの中間予測画像を集約することによって得られる、請求項９に記載のデバイス。

【請求項13】

符号化のためのデバイスであって、
マルチビュービデオコンテンツの少なくとも１つの基準ビューに関連付けられた第１のカメラパラメータと、現在のビューに関連付けられた第２のカメラパラメータとを得る手段であって、各ビューがテクスチャ層及び深度層を含む、手段と、
前記基準ビューのピクセルに順投影方法を適用して、前記第１のカメラパラメータによって定義される前記基準ビューのカメラ座標系から前記第２のカメラパラメータによって定義される前記現在のビューのカメラ座標系に前記ピクセルを投影するように構成された中間予測画像を生成する手段であって、前記中間予測画像の各投影ピクセルが、前記投影ピクセルと前記ピクセルがそこから投影される前記基準ビューの前記ピクセルとの間の変位を表す動き情報値に関連付けられている、手段と、
前記現在のビューの時間的予測に使用される再構成画像の復号化ピクチャバッファに、少なくとも１つの中間予測画像から得られた少なくとも１つの最終予測画像を記憶する手段と、
前記復号化ピクチャバッファに記憶された画像から前記現在のビューの現在の画像を再構成する手段と、を含む、デバイス。

【請求項14】

前記順投影方法が、
前記基準ビューの前記カメラ座標系から世界座標系への逆投影を前記基準ビューの現在のピクセルに適用することで逆投影ピクセルを得ることであって、前記逆投影が、前記基準ビューを取得する基準カメラのポーズ行列、前記基準カメラの逆内部行列、及び前記現在のピクセルに関連付けられた深度値を使用し、前記基準カメラの前記ポーズ行列及び前記逆内部行列が、前記第１のカメラパラメータから得られる、ことと、
前記現在のビューを取得する現在のカメラの内部行列及び外部行列を使用して前記逆投影ピクセルを前記現在のビューの前記カメラ座標系に投影することで順投影ピクセルを得ることであって、前記現在のカメラの前記内部行列及び前記外部行列が、前記第２のカメラパラメータから得られる、ことと、
前記順投影ピクセルが、前記現在のカメラのピクセルグリッド上のピクセルに対応していない場合、前記順投影ピクセルに最も近い前記ピクセルグリッドのピクセルを選択して、補正された順投影ピクセルを得ることと、
前記順投影ピクセルと前記基準ビューの前記現在のピクセルとの間の変位を表す動きベクトルを計算することと、を含む、請求項１３に記載のデバイス。

【請求項15】

前記デバイスが、各中間予測画像又は前記最終予測画像内の分離された欠落ピクセル値を、隣接するピクセル値の平均、隣接するピクセル値の中央値、又はデフォルト値で充填するように構成されている、請求項１３に記載のデバイス。

【請求項16】

前記少なくとも１つの最終予測画像が、少なくとも２つの中間予測画像を集約することによって得られる、請求項１３に記載のデバイス。

【外国語明細書】