特許 7210381 デプスマップの推定および更新を用いる効率的なマルチビュー符号化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-13

(45)【発行日】2023-01-23

(54)【発明の名称】デプスマップの推定および更新を用いる効率的なマルチビュー符号化

(51)【国際特許分類】

   H04N 19/597 20140101AFI20230116BHJP

   H04N 19/52 20140101ALI20230116BHJP

【ＦＩ】

H04N19/597

H04N19/52

【請求項の数】 24

(21)【出願番号】P 2019105062

(22)【出願日】2019-06-05

(62)【分割の表示】P 2017137033の分割

【原出願日】2012-11-09

(65)【公開番号】P2019169972

(43)【公開日】2019-10-03

【審査請求日】2019-07-05

【審判番号】

【審判請求日】2021-06-16

(31)【優先権主張番号】61/558,651

(32)【優先日】2011-11-11

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】515089080

【氏名又は名称】ジーイー ビデオ コンプレッション エルエルシー

【住所又は居所原語表記】１ Ｒｅｓｅａｒｃｈ Ｃｉｒｃｌｅ，Ｎｉｓｋａｙｕｎａ，ＮＹ １２３０９，ＵＳＡ

(74)【代理人】

【識別番号】100079577

【弁理士】

【氏名又は名称】岡田 全啓

(72)【発明者】

【氏名】シュヴァルツ ハイコ

(72)【発明者】

【氏名】ウィーガント トーマス

【合議体】

【審判長】畑中 高行

【審判官】田中 啓介

【審判官】川崎 優

(56)【参考文献】

【文献】特表２０１１－５０９６３１（ＪＰ，Ａ）

【文献】特表２００９－５４３５０８（ＪＰ，Ａ）

【文献】Ｈａｉｔａｏ Ｙａｎｇ ｅｔ ａｌ．，Ｒｅｇｉｏｎａｌ Ｄｉｓｐａｒｉｔｙ Ｂａｓｅｄ Ｍｏｔｉｏｎ ａｎｄ Ｄｉｓｐａｒｉｔｙ Ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ＭＶＣ，Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ＆ ＩＴＵ－Ｔ ＶＣＥＧ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ａｎｄ ＩＴＵ－Ｔ ＳＧ１６ Ｑ．６），２２ｎｄ Ｍｅｅｔｉｎｇ： Ｍａｒｒａｋｅｃｈ， Ｍｏｒｏｃｃｏ，２００７年 １月，ＪＶＴ－Ｖ０７１ｒ１，ｐｐ．１－６

【文献】Ｃｈｒｉｓｔｉａｎ Ｂａｒｔｎｉｋ ｅｔ ａｌ．，ＨＥＶＣ Ｅｘｔｅｎｓｉｏｎ ｆｏｒ Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ａｎｄ Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ ｐｌｕｓ Ｄｅｐｔｈ Ｃｏｄｉｎｇ，ＩＴＵ － Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ ＳＴＵＤＹ ＧＲＯＵＰ １６ Ｑｕｅｓｔｉｏｎ ６ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ，４４ｎｄ Ｍｅｅｔｉｎｇ： Ｓａｎ Ｊｏｓｅ， ＣＡ， ＵＳＡ，２０１２年 ２月，ＶＣＥＧ－ＡＲ１３，ｐｐ．１－４２

(58)【調査した分野】(Int.Cl.，ＤＢ名)

H04N19/00-19/98

(57)【特許請求の範囲】

【請求項1】

データストリームに符号化されたマルチビュー信号を再構成するための方法であって、
前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックに関連する複数の動きベクトル候補のリストを処理するステップであって、前記現在のピクチャは前記ディペンデントビューのテクスチャを運搬し、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに関する視差ベクトルを空間または時間予測により取得するステップであって、前記視差ベクトルは、前記ディペンデントビューの前記現在のピクチャと前記マルチビュー信号の参照ビューの現在のピクチャとの間の視差を表す、ステップと、
前記視差ベクトルに基づいて、前記参照ビューの前記現在のピクチャ内の対応するブロックを特定するステップと、
前記参照ビューの前記現在のピクチャ内の前記対応するブロックに関連する第２の動きベクトルに基づいて第１の動きベクトルを推定するステップと、
前記現在のピクチャの前記符号化ブロックに空間的および／または時間的に隣接する、前記ディペンデントビューの隣接ブロックから別の動きベクトルを空間的および／または時間的に予測するステップと、
前記第１の動きベクトルおよび前記別の動きベクトルを前記複数の動きベクトル候補のリストに追加するステップと、
前記動きベクトル候補のリストのうちのどの動きベクトル候補が動き補償予測に使用されるかを特定するインデックス情報を、可変長符号化を使用して前記データストリームから抽出するステップと、
を含む、前記複数の動きベクトル候補のリストを処理するステップと、
特定された前記動きベクトル候補に基づいて前記動き補償予測を実行することによって前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックを再構成するステップと、
を含む、方法。

【請求項2】

データストリームに符号化されたマルチビュー信号を再構成するための方法であって、
前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックに関連する複数の動きベクトル候補のリストを処理するステップであって、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに関する視差ベクトルを取得するステップであって、前記視差ベクトルは、前記ディペンデントビューの前記現在のピクチャと前記マルチビュー信号の参照ビューの現在のピクチャとの間の視差を表す、ステップと、
前記視差ベクトルに基づいて、前記参照ビューの前記現在のピクチャ内の対応するブロックを特定するステップと、
前記参照ビューの前記現在のピクチャ内の前記対応するブロックに関連する第２の動きベクトルに基づいて第１の動きベクトルを推定するステップと、
前記第１の動きベクトルを前記複数の動きベクトル候補のリストに追加するステップと、
前記動きベクトル候補のリストのうちのどの動きベクトル候補が動き補償予測に使用されるかを特定するインデックス情報を前記データストリームから抽出するステップと、
を含む、複数の動きベクトル候補のリストを処理するステップと、
特定された前記動きベクトル候補に基づいて前記動き補償予測を実行することによって、前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックを再構成するステップと、
を含む、方法であって、
ここで前記視差ベクトルを取得するステップは、
前記参照ビューの前記現在のピクチャに関連する動きデータを取得するステップと、
前記参照ビューの前記現在のピクチャに関連する前記動きデータを前記参照ビューの前のピクチャのデプスマップ推定に適用して、前記参照ビューの前記現在のピクチャのための第１の推定されたデプスマップを生成するステップと、
前記参照ビューの前記現在のピクチャのための前記推定されたデプスマップに基づいて、前記ディペンデントビューの前記現在のピクチャのための第２の推定されたデプスマップを導出するステップと、
前記ディペンデントビューの前記現在のピクチャのための前記第２の推定されたデプスマップに基づいて前記視差ベクトルを決定するステップと
を含む、方法。

【請求項3】

前記ディペンデントビュー内の前記符号化ブロックのための前記視差ベクトルは、前記マルチビュー信号の以前に復号化された１つまたは複数の符号化ブロックに関連する少なくとも１つの視差ベクトルにさらに基づいて決定される、請求項２に記載の方法。

【請求項4】

前記データストリームから、選択された動きベクトルに向けられた動きベクトル残差を抽出するステップと、
選択された動きベクトルおよび前記動きベクトル残差に基づいてリファインされた動きベクトルを取得するステップと、
前記動き補償予測を実行して、前記リファインされた動きベクトルに基づいて前記符号化ブロックを予測するステップと、
をさらに含む、請求項３に記載の方法。

【請求項5】

データストリームに符号化されたマルチビュー信号を再構成するための装置であって、
前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックに関連する複数の動きベクトル候補のリストを処理し、ここで前記現在のピクチャは前記ディペンデントビューのテクスチャを搬送し、
特定された前記動きベクトル候補に基づいて動き補償予測を実行することによって、前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックを再構成する
ように構成されたディペンデントビュー再構成器を備え、
前記複数の動きベクトル候補のリストの処理は、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに関して視差ベクトルを空間または時間予測によって取得するステップであって、前記視差ベクトルは前記ディペンデントビューの前記現在のピクチャと前記マルチビュー信号の参照ビューの現在のピクチャとの間の視差を表す、取得するステップと、
前記視差ベクトルに基づいて、前記参照ビューの前記現在のピクチャ内の対応するブロックを識別するステップと、
前記参照ビューの前記現在のピクチャ内の前記対応するブロックに関連する第２の動きベクトルに基づいて第１の動きベクトルを推定するステップと、
前記現在のピクチャの前記符号化ブロックに空間的および／または時間的に隣接する、前記ディペンデントビューの隣接ブロックから別の動きベクトルを空間的および／または時間的に予測するステップと、
前記第１の動きベクトルおよび前記別の動きベクトルを前記複数の動きベクトル候補のリストに加えるステップと、
前記動きベクトル候補の前記リストのうちのどの動きベクトル候補が動き補償予測に使用されるかを特定するインデックス情報を前記データストリームから可変長符号化を使用して抽出するステップと、
を含む、装置。

【請求項6】

データストリームに符号化されたマルチビュー信号を再構成するための装置であって、
前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックに関連する複数の動きベクトル候補のリストを処理し、
特定された前記動きベクトル候補に基づいて動き補償予測を実行することによって、前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックを再構成する
ように構成されたディペンデントビュー再構成器を備え、
前記複数の動きベクトル候補のリストの処理は、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに関する視差ベクトルを取得するステップであって、前記視差ベクトルは前記ディペンデントビューの前記現在のピクチャと前記マルチビュー信号の参照ビューの現在のピクチャとの間の視差を表す、取得するステップと、
前記視差ベクトルに基づいて、前記参照ビューの前記現在のピクチャ内の対応するブロックを識別するステップと、
前記参照ビューの前記現在のピクチャ内の前記対応するブロックに関連する第２の動きベクトルに基づいて第１の動きベクトルを推定するステップと、
前記第１の動きベクトルを前記複数の動きベクトル候補のリストに加えるステップと、
前記動きベクトル候補の前記リストのうちのどの動きベクトル候補が前記動き補償予測に使用されるかを特定するインデックス情報を前記データストリームから抽出するステップと
を含み、前記装置は、
前記参照ビューの前記現在のピクチャに関連する動きデータを取得し、
前記参照ビューの前記現在のピクチャに関連する前記動きデータを前記参照ビューの前のピクチャのデプスマップ推定に適用して、前記参照ビューの前記現在のピクチャのための第１の推定されたデプスマップを生成し、
前記参照ビューの前記現在のピクチャのための前記推定されたデプスマップに基づいて、前記ディペンデントビューの前記現在のピクチャのための第２の推定されたデプスマップを導出し、
前記ディペンデントビューの前記現在のピクチャのための前記第２の推定されたデプスマップに基づいて前記視差ベクトルを決定する
ように構成されたデプス推定器をさらに備える、装置。

【請求項7】

前記ディペンデントビュー内の前記符号化ブロックのための前記視差ベクトルは、前記マルチビュー信号の以前に復号化された１つまたは複数の符号化ブロックに関連する少なくとも１つの視差ベクトルにさらに基づいて決定される、請求項６に記載の装置。

【請求項8】

前記ディペンデントビュー再構成器は、
前記データストリームから、選択された動きベクトルに向けられた動きベクトル残差を抽出し、
前記選択された動きベクトルと前記動きベクトル残差とに基づいてリファインされた動きベクトルを取得し、
前記動き補償予測を実行して、前記リファインされた動きベクトルに基づいて前記符号化ブロックを予測する
ように構成される、請求項５に記載の装置。

【請求項9】

データストリームに符号化されたマルチビュー信号を再構成するためのプログラムを記憶した機械可読の非一時的媒体であって、
前記プログラムは前記機械によって読み込まれると、前記機械に少なくとも
前記マルチビュー信号のディペンデントビュー内の、前記ディペンデントビューのテクスチャを搬送する現在のピクチャの符号化ブロックに関連する複数の動きベクトル候補のリストの処理と、
特定された前記動きベクトル候補に基づいて動き補償予測を実行することによる、前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックの再構成と、
を実行させ、
前記複数の動きベクトル候補のリストの処理は、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに関する視差ベクトルを空間および／または時間予測によって取得するステップであって、前記視差ベクトルは、前記ディペンデントビューの前記現在のピクチャと前記マルチビュー信号の参照ビューの前記現在のピクチャとの間の視差を表すステップと、
前記視差ベクトルに基づいて前記参照ビューの前記現在のピクチャ内の対応するブロックを識別するステップと、
前記参照ビューの前記現在のピクチャ内の前記対応するブロックに関連する第２の動きベクトルに基づいて第１の動きベクトルを推定するステップと、
前記現在のピクチャの前記符号化ブロックに空間的および／または時間的に隣接する前記ディペンデントビューの隣接ブロックから別の動きベクトルを空間的および／または時間的に予測するステップと、
前記第１の動きベクトルおよび前記別の動きベクトルを前記複数の動きベクトル候補のリストに加えるステップと、
前記動きベクトル候補の前記リストのうちのどの動きベクトル候補が前記動き補償予測に使用されるかを特定するインデックス情報を前記データストリームから可変長符号化を使用して抽出するステップと、
を含む、機械可読の非一時的媒体。

【請求項10】

データストリームに符号化されたマルチビュー信号を再構成するためのプログラムを記憶した機械可読の非一時的媒体であって、
前記プログラムは前記機械によって読み込まれると、前記機械に少なくとも
前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックに関連する複数の動きベクトル候補のリストの処理と、
特定された前記動きベクトル候補に基づいて動き補償予測を実行することによる、前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックの再構成と、
を実行させ、
前記複数の動きベクトル候補のリストの処理は、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに関する視差ベクトルを取得するステップであって、前記視差ベクトルは前記ディペンデントビューの前記現在のピクチャと前記マルチビュー信号の参照ビューの前記現在のピクチャとの間の視差を表す、ステップと、
前記視差ベクトルに基づいて前記参照ビューの前記現在のピクチャ内の対応するブロックを識別するステップと、
前記参照ビューの前記現在のピクチャ内の前記対応するブロックに関連する第２の動きベクトルに基づいて第１の動きベクトルを推定するステップと、
前記第１の動きベクトルを前記複数の動きベクトル候補のリストに加えるステップと、
前記動きベクトル候補の前記リストのうちのどの動きベクトル候補が前記動き補償予測に使用されるかを特定するインデックス情報を前記データストリームから抽出するステップと、
を含み、
前記視差ベクトルを取得するステップは、
前記参照ビューの前記現在のピクチャに関連する動きデータを取得するステップと、
前記参照ビューの前記現在のピクチャに関連する前記動きデータを前記参照ビューの前のピクチャのデプスマップ推定に適用して、前記参照ビューの前記現在のピクチャのための第１の推定されたデプスマップを生成するステップと、
前記参照ビューの前記現在のピクチャのための前記推定されたデプスマップに基づいて、前記ディペンデントビューの前記現在のピクチャのための第２の推定されたデプスマップを導出するステップと、
前記ディペンデントビューの前記現在のピクチャのための前記第２の推定されたデプスマップに基づいて、前記視差ベクトルを決定するステップと
を含む、機械可読の非一時的媒体。

【請求項11】

前記ディペンデントビュー内の前記符号化ブロックのための前記視差ベクトルは、前記マルチビュー信号の以前に復号化された１つまたは複数の符号化ブロックに関連する少なくとも１つの視差ベクトルにさらに基づいて決定される、請求項１０に記載の機械可読の非一時的媒体。

【請求項12】

前記プログラムは、前記機械に読み込まれると、
選択された動きベクトルに向けられた動きベクトル残差の前記データストリームからの抽出、
前記選択された動きベクトルと前記動きベクトル残差とに基づく、リファインされた動きベクトルの取得、
前記リファインされた動きベクトルに基づく前記符号化ブロックの予測のための前記動き補償予測の実行、
を前記機械に実行させる、請求項９に記載の機械可読の非一時的媒体。

【請求項13】

データストリームにマルチビュー信号を符号化するための方法であって、
前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックに関連する複数の動きベクトル候補のリストを処理するステップであって、ここで前記現在のピクチャは前記ディペンデントビューのテクスチャを搬送する、処理するステップを含み、
前記複数の動きベクトル候補のリストを処理するステップは、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに関する視差ベクトルを空間または時間予測によって取得するステップであって、前記視差ベクトルは前記ディペンデントビューの前記現在のピクチャと前記マルチビュー信号の参照ビューの現在のピクチャとの間の視差を表す、ステップと、
前記視差ベクトルに基づいて、前記参照ビューの前記現在のピクチャ内の対応するブロックを識別するステップと、
前記参照ビューの前記現在のピクチャ内の前記対応するブロックに関連する第２の動きベクトルに基づいて第１の動きベクトルを推定するステップと、
前記現在のピクチャの前記符号化ブロックに空間的および／または時間的に隣接する前記ディペンデントビューの隣接ブロックから別の動きベクトルを空間的および／または時間的に予測するステップと、
前記第１の動きベクトルを前記符号化ブロックのための前記複数の動きベクトル候補のリストに加えるステップと、
動き補償予測によって、前記動きベクトル候補のリストのうちのどの動きベクトル候補が前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックを再構成するために使用されるかを決定するステップと、
決定された前記動きベクトル候補を特定するインデックス情報を生成するステップと、
前記インデックス情報を前記データストリームに可変長符号化を使用して挿入するステップと、
を含む、方法。

【請求項14】

データストリームにマルチビュー信号を符号化するための方法であって、
前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックに関連する複数の動きベクトル候補のリストを処理するステップを含み、
前記複数の動きベクトル候補のリストを処理するステップは、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに関する視差ベクトルを取得するステップであって、前記視差ベクトルは前記ディペンデントビューの前記現在のピクチャと前記マルチビュー信号の参照ビューの現在のピクチャとの間の視差を表す、ステップと、
前記視差ベクトルに基づいて前記参照ビューの前記現在のピクチャ内の対応するブロックを識別するステップと、
前記参照ビューの前記現在のピクチャ内の前記対応するブロックに関連する第２の動きベクトルに基づいて第１の動きベクトルを推定するステップと、
前記第１の動きベクトルを前記符号化ブロックのための前記複数の動きベクトル候補のリストに加えるステップと、
動き補償予測によって、前記動きベクトル候補のリストのうちのどの動きベクトル候補が前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックを再構成するために使用されるかを決定するステップと、
決定された前記動きベクトル候補を特定するインデックス情報を生成するステップと、
前記インデックス情報を前記データストリームに挿入するステップと、
を含み、
前記視差ベクトルを取得するステップは、
前記参照ビューの前記現在のピクチャに関連する動きデータを取得するステップと、
前記参照ビューの前記現在のピクチャに関連する前記動きデータを前記参照ビューの前のピクチャのデプスマップ推定に適用して、前記参照ビューの前記現在のピクチャのための第１の推定されたデプスマップを生成するステップと、
前記参照ビューの前記現在のピクチャのための前記推定されたデプスマップに基づいて、前記ディペンデントビューの前記現在のピクチャのための第２の推定されたデプスマップを導出するステップと、
前記ディペンデントビューの前記現在のピクチャのための前記第２の推定されたデプスマップに基づいて、前記視差ベクトルを決定するステップと、
を含む、方法。

【請求項15】

前記ディペンデントビュー内の前記符号化ブロックのための前記視差ベクトルは、前記マルチビュー信号の以前に復号化された１つまたは複数の符号化ブロックに関連する少なくとも１つの視差ベクトルにさらに基づいて決定される、請求項１４に記載の方法。

【請求項16】

選択された動きベクトルに向けられた動きベクトル残差を前記データストリームから抽出するステップと、
前記選択された動きベクトルと前記動きベクトル残差とに基づいてリファインされた動きベクトルを取得するステップと、
前記動き補償予測を実行して、前記リファインされた動きベクトルに基づいて前記符号化ブロックを予測するステップと、
をさらに含む、請求項１３に記載の方法。

【請求項17】

データストリームに符号化されたマルチビュー信号を符号化するための装置であって、
前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックに関連する複数の動きベクトル候補のリストを処理するように構成されるディペンデントビュー再構成符号器であって、前記現在のピクチャは前記ディペンデントビューのテクスチャを搬送する、ディペンデントビュー再構成符号器を備え、
前記複数の動きベクトル候補のリストの処理には、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに関する視差ベクトルを空間または時間予測によって取得するステップであって、前記視差ベクトルは前記ディペンデントビューの前記現在のピクチャと前記マルチビュー信号の参照ビューの現在のピクチャとの間の視差を表す、取得するステップと、
前記視差ベクトルに基づいて、前記参照ビューの前記現在のピクチャ内の対応するブロックを識別するステップと、
前記参照ビューの前記現在のピクチャ内の前記対応するブロックに関連する第２の動きベクトルに基づいて第１の動きベクトルを推定するステップと、
前記現在のピクチャの前記符号化ブロックに空間的および／または時間的に隣接する前記ディペンデントビューの隣接ブロックから別の動きベクトルを空間的および／または時間的に予測するステップと、
前記第１の動きベクトルおよび前記別の動きベクトルを前記複数の動きベクトル候補のリストに加えるステップと、
動き補償予測によって、前記動きベクトル候補のリストのうちのどの動きベクトル候補が前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックを再構成するために使用されるかを決定するステップと、
決定された前記動きベクトル候補を特定するインデックス情報を生成するステップと、
可変長符号化を使用して、前記データストリームに前記インデックス情報を挿入するステップと、
を含む、装置。

【請求項18】

データストリームに符号化されたマルチビュー信号を符号化するための装置であって、
前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックに関連する複数の動きベクトル候補のリストを処理するように構成されたディペンデントビュー再構成符号器を備え、
前記複数の動きベクトル候補のリストの処理には、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに関する視差ベクトルを取得するステップであって、前記視差ベクトルは前記ディペンデントビューの前記現在のピクチャと前記マルチビュー信号の参照ビューの現在のピクチャとの間の視差を表す、取得するステップと、
前記視差ベクトルに基づいて、前記参照ビューの前記現在のピクチャ内の対応するブロックを識別するステップと、
前記参照ビューの前記現在のピクチャ内の前記対応するブロックに関連する第２の動きベクトルに基づいて第１の動きベクトルを推定するステップと、
前記第１の動きベクトルを前記複数の動きベクトル候補のリストに加えるステップと、
動き補償予測によって、前記動きベクトル候補のリストのうちのどの動きベクトル候補が前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックを再構成するために使用されるかを決定するステップと、
決定された前記動きベクトル候補を特定するインデックス情報を生成するステップと、
前記インデックス情報を前記データストリームに挿入するステップと、
を含み、
前記参照ビューの前記現在のピクチャに関連する動きデータを取得すること、
前記参照ビューの前記現在のピクチャに関連する前記動きデータを前記参照ビューの前のピクチャのデプスマップ推定に適用して、前記参照ビューの前記現在のピクチャのための第１の推定されたデプスマップを生成すること、
前記参照ビューの前記現在のピクチャのための前記推定されたデプスマップに基づいて前記ディペンデントビューの前記現在のピクチャのための第２の推定されたデプスマップを導出すること、および、
前記ディペンデントビューの前記現在のピクチャのための前記第２の推定されたデプスマップに基づいて前記視差ベクトルを決定すること、
によって前記視差ベクトルを推定するように構成されたデプス推定器をさらに備えた、装置。

【請求項19】

前記ディペンデントビュー内の前記符号化ブロックのための前記視差ベクトルは、前記マルチビュー信号の以前に復号化された１つまたは複数の符号化ブロックに関連する少なくとも１つの視差ベクトルにさらに基づいて決定される、請求項１８に記載の装置。

【請求項20】

前記ディペンデントビュー再構成符号器は、
選択された動きベクトルに向けられた動きベクトル残差を前記データストリームから抽出し、
前記選択された動きベクトルと前記動きベクトル残差とに基づいてリファインされた動きベクトルを取得し、
前記動き補償予測を実行して、前記リファインされた動きベクトルに基づいて前記符号化ブロックを予測する
ように構成される、請求項１７に記載の装置。

【請求項21】

データストリームにマルチビュー信号を符号化するためのプログラムが格納された機械可読の非一時的媒体であって、
前記プログラムは、機械によって読み込まれると、
前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックに関連する複数の動きベクトル候補のリストの処理を前記機械に実行させ、ここで前記現在のピクチャは前記ディペンデントビューのテクスチャを搬送し、
前記複数の動きベクトル候補のリストの処理は、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに対する視差ベクトルを空間または時間予測によって取得するステップであって、前記視差ベクトルは前記ディペンデントビューの現在のピクチャと前記マルチビュー信号の参照ビューの現在のピクチャとの間の視差を表す、ステップと、
前記視差ベクトルに基づいて前記参照ビューの前記現在のピクチャ内の対応するブロックを識別するステップと、
前記参照ビューの前記現在のピクチャ内の前記対応するブロックに関連する第２の動きベクトルに基づいて第１の動きベクトルを推定するステップと、
前記現在のピクチャの前記符号化ブロックに空間的および／または時間的に隣接する前記ディペンデントビューの隣接ブロックから別の動きベクトルを空間的および／または時間的に予測するステップと、
前記第１の動きベクトルおよび前記別の動きベクトルを前記符号化ブロックのための複数の動きベクトル候補のリストに加えるステップと、
動き補償予測によって、前記動きベクトル候補のリストのうちのどの動きベクトル候補が前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックを再構成するために使用されるかを決定するステップと、
決定された前記動きベクトル候補を特定するインデックス情報を生成するステップと、
前記インデックス情報を前記データストリームに可変長符号化を使用して挿入するステップと、
を含む、機械可読の非一時的媒体。

【請求項22】

前記視差ベクトルを取得するステップは、
前記参照ビューの前記現在のピクチャに関連する動きデータを取得するステップと、
前記参照ビューの前記現在のピクチャに関連する前記動きデータを前記参照ビューの前のピクチャのデプスマップ推定に適用して、前記参照ビューの前記現在のピクチャのための第１の推定されたデプスマップを生成するステップと、
前記参照ビューの前記現在のピクチャのための前記推定されたデプスマップに基づいて、前記ディペンデントビューの前記現在のピクチャのための第２の推定されたデプスマップを導出するステップと、
前記ディペンデントビューの前記現在のピクチャのための前記第２の推定されたデプスマップに基づいて、前記視差ベクトルを決定するステップと
を含む、請求項２１に記載の機械可読の非一時的媒体。

【請求項23】

前記ディペンデントビュー内の前記符号化ブロックのための前記視差ベクトルは、前記マルチビュー信号の以前に復号化された１つまたは複数の符号化ブロックに関連する少なくとも１つの視差ベクトルにさらに基づいて決定される、請求項２２に記載の媒体。

【請求項24】

前記プログラムは前記機械に読み込まれると、
選択された動きベクトルに向けられた動きベクトル残差の前記データストリームからの抽出と、
前記選択された動きベクトルと前記動きベクトル残差とに基づく、リファインされた動きベクトルの取得と、
前記リファインされた動きベクトルに基づく前記符号化ブロックの予測のための前記動き補償予測の実行と、
を前記機械に実行させる、請求項２１に記載の機械可読の非一時的媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチビューコーデックによるマルチビュー符号化に関する。

【背景技術】

【0002】

マルチビュービデオ符号化において、ビデオシーンの２つ以上のビュー（それらは、複数のカメラによって同時にキャプチャされる）は、単一のビットストリームにおいて符号化される。マルチビュービデオ符号化の主要な目的は、３Ｄビューイングインプレッションを提供することによってエンドユーザに高度なマルチメディア体験を提供することである。２つのビューが符号化される場合、２つの再構成されたビデオシーケンスを、従来のステレオディスプレイに（眼鏡をかけて）表示することができる。しかしながら、従来のステレオディスプレイのための眼鏡の必須の使用は、ユーザにとってしばしば面倒である。眼鏡なしで高品質のステレオビューイングインプレッションを可能にすることは、現在、研究開発において重要な課題である。そのようなオートステレオスコピックディスプレイのための有望な技術は、レンチキュラーレンズシステムに基づく。原理的には、円柱レンズのアレイが、ビデオシーンの複数のビューが同時に表示されるように、従来のディスプレイに取り付けられる。それぞれのビューは、小さい円錐状に表示され、その結果、ユーザのそれぞれの目は、異なるイメージを見ることになり、この効果は、特別な眼鏡なしでステレオインプレションをつくることになる。しかしながら、そのようなオートステレオスコピックディスプレイは、典型的に、同じビデオシーンの１０～３０のビューを必要とする（技術がさらに改善される場合、さらに多くのビューが必要とされ得る）。２つを超えるビューを、ユーザにビデオシーンのためのビューポイントをインタラクティブに選択する可能性を提供するためにも用いることができる。しかし、ビデオシーンの複数のビューの符号化は、従来の単一のビュー（２Ｄ）ビデオと比較して必要なビットレートを大幅に増加する。典型的に、必要なビットレートは、近似的に、符号化されたビューの数に比例して直線的に増加する。オートステレオスコピックディスプレイのための送信されたデータの量を低減するための概念は、少数のビュー（おそらく２～５のビュー）だけを送信することに加えて、いわゆるデプスマップを送信することからなり、それは、１つ以上のビューのためのイメージサンプルのデプス（現実世界のオブジェクトからカメラまでの距離）を表す。対応するデプスマップを有する少数の符号化されたビューを考えると、高品質の中間ビュー（符号化されたビュー間にある仮想ビュー）、および、カメラアレイの一端または両端にいくらか拡張する付加的なビューも、適切なレンダリング技術によってレシーバ側でつくることができる。

【0003】

ステレオビデオ符号化および一般のマルチビュービデオ符号化の両方のために（デプスマップの有無にかかわらず）、異なるビュー間の相互依存性を利用することが重要である。すべてのビューが（わずかに異なる視点から）同じビデオシーンを表すので、複数のビュー間にかなりの相互依存性がある。非常に効率的なマルチビュービデオ符号化システムを設計するための目的は、これらの相互依存性を効率的に利用することである。例えばITU-T Rec. H.264 | ISO/IEC 14496-10のマルチビュービデオ符号化（ＭＶＣ）拡張におけるように、マルチビュービデオ符号化のための従来のアプローチにおいて、ビュー相互依存性を利用する唯一の技術は、すでに符号化されたビューからのイメージサンプルの視差補償予測であり、それは、従来の２Ｄビデオ符号化において用いられる動き補償予測と概念的に類似している。しかしながら、典型的にイメージサンプルの小さいサブセットだけがすでに符号化されたビューから予測され、その理由は、時間的な動き補償予測がしばしばより効果的である（２つの時間的に連続したイメージ間の類似性が同じ時刻に隣接したビュー間の類似性よりも大きい）からである。マルチビュービデオ符号化の効果をさらに改善するために、効率的な動き補償予測とインタービュー予測技術を結合することが必要とされる。１つの可能性は、他のビューの動きデータを予測するための１つのビューにおいて符号化される動きデータを再利用することである。すべてのビューが同じビデオシーンを表すので、１つのビューにおける動きは、デプスマップおよびいくつかのカメラパラメータによって表すことができる現実世界のシーンのジオメトリに基づいて他のビューにおける動きに接続される。

【0004】

先端技術のイメージおよびビデオ符号化において、ピクチャまたはピクチャのためのサンプルアレイの特定のセットは、通常、ブロックに分解され、それらは、特定の符号化パラメータと関連している。ピクチャは、通常、複数のサンプルアレイ（輝度およびクロミナンス）からなる。加えて、ピクチャは、付加的な補助サンプルアレイと関連してもよく、それは、例えば、透明度情報またはデプスマップを特定することができる。それぞれのピクチャまたはサンプルアレイは、通常、ブロックに分解される。ブロック（またはサンプルアレイの対応するブロック）は、インターピクチャ予測またはイントラピクチャ予測によって予測される。ブロックを、異なるサイズにすることができ、さらに、正方形または矩形にすることができる。ピクチャのブロックへの分割を、シンタックスによって固定することができ、または、それを、ビットストリーム内に（少なくとも部分的に）信号で送ることができる。しばしば、所定のサイズのブロックのための再分割を信号で送るシンタックスエレメントが送信される。そのようなシンタックスエレメントは、例えば予測の目的のために、ブロックがより小さいブロックに再分割されさらに関連した符号化パラメータであるべきかどうかとどのような方法かを特定することができる。ブロック（またはサンプルアレイの対応するブロック）のすべてのサンプルのために、関連した符号化パラメータの復号化が、特定の方法で特定される。例において、ブロックにおけるすべてのサンプルは、例えば、（すでに符号化されたピクチャのセットにおいて参照ピクチャを確認する）参照インデックス、（参照ピクチャおよび現在のピクチャ間のブロックの動きのための尺度を特定する）動きパラメータ、内挿フィルタを特定するためのパラメータ、イントラ予測モードなどの予測パラメータの同じセットを用いて予測される。動きパラメータを、水平および垂直の成分を有する変位ベクトルによって、または、例えば６つの成分からなるアフィン動きパラメータなどのより高次の動きパラメータによって表すことができる。（例えば参照インデックスおよび動きパラメータなどの）特定の予測パラメータの１つを超えるセットが単一のブロックと関連していることも可能である。その場合、これらの特定の予測パラメータのセットごとに、ブロック（またはサンプルアレイの対応するブロック）のための単一の中間予測信号が生成され、さらに、最終的な予測信号が中間予測信号の重ね合わせを含む結合によって構築される。対応する重み付けパラメータおよび潜在的に一定のオフセット（それは、重み付けられた合計に加えられる）も、ピクチャまたは参照ピクチャまたは参照ピクチャのセットのために固定することができ、または、それらを、対応するブロックのための予測パラメータのセットに含むことができる。残差信号とも呼ばれる、元のブロック（またはサンプルアレイの対応するブロック）およびそれらの予測信号間の差は、通常、変換されさらに量子化される。しばしば、２次元の変換が、残差信号（または残差ブロックのための対応するサンプルアレイ）に適用される。変換符号化のために、予測パラメータの特定のセットが用いられているブロック（またはサンプルアレイの対応するブロック）を、変換を適用する前にさらに分割することができる。変換ブロックを、予測のために用いられるブロックに等しくまたはそれよりも小さくすることができる。変換ブロックが予測のために用いられるブロックの１つを超えるブロックを含むことも可能である。異なる変換ブロックを、異なるサイズにすることができ、さらに、変換ブロックは、正方形または矩形のブロックを表すことができる。変換の後に、結果として生じる変換係数が量子化され、さらに、いわゆる変換係数レベルが得られる。変換係数レベルおよび予測パラメータと、存在する場合、再分割情報とが、エントロピー符号化される。

【0005】

マルチビュービデオ符号化における先端技術は、直接的な方法で２Ｄビデオ符号化技術を拡張する。概念的に、異なるビューに対応する２つ以上のビデオシーケンスが、平行に符号化（または復号化）される。より具体的には、アクセスユニット（または時刻）ごとに、異なるビューに対応するピクチャが、所定のビュー順序で符号化される。ＭＶＣビットストリームは、常に、他のビューに関係なく復号化することができるベースビューを含む。これは、基礎となる２Ｄビデオ符号化標準／スキームとの後方互換性を確かにする。ビットストリームは、通常、ベースビューに対応するサブビットストリーム（さらに、加えて、符号化されたビューの特定のサブセットに対応するサブビットストリーム）を、すべてのビットストリームのいくつかのパケットを廃棄することによって単純な方法で抽出することができる方法で構成される。ビュー間の依存性を利用するために、現在のアクセスユニットのすでに符号化されたビューのピクチャを、現在のビューのブロックの予測のために用いることができる。この予測は、視差補償予測またはインタービュー予測としばしば呼ばれる。それは、基本的に従来の２Ｄビデオ符号化において動き補償予測と同一であり、唯一の違いは、参照ピクチャが、現在のアクセスユニット内で（すなわち、同じ時刻に）異なるビューのピクチャを表し、さらに、異なる時刻に同じビューのピクチャを表さないということである。基礎となる２Ｄビデオ符号化スキームの設計においてインタービュー予測を組み込むために、ピクチャごとに、１つ以上の参照ピクチャリストが構成される。ベースビュー（独立して復号化可能なビュー）のために、従来の時間的な参照ピクチャだけが、参照ピクチャリストに挿入される。しかしながら、すべての他のビューのために、インタービュー参照ピクチャを、時間的な参照ピクチャに加えて（またはその代わりに）参照ピクチャリストに挿入することができる。いずれかのピクチャが、ビデオ符号化標準／スキームによって決定される参照ピクチャリストに挿入されおよび／またはビットストリーム内に（例えば、パラメータセットおよび／またはスライスヘッダ内に）信号で送られる。時間的なまたはインタービュー参照ピクチャが、現在のビューの特定のブロックのために選択され、そして、参照ピクチャインデックスを符号化すること（または推測すること）によって信号で送られる。すなわち、インタービュー参照ピクチャは、わずかに拡張されたものの参照ピクチャリストの構成だけ、従来の時間的な参照ピクチャと同じ方法で正確に用いられる。

【0006】

マルチビュービデオ符号化における現在の先端技術は、ITU-T Rec. H.264 | ISO/IEC JTC 1［１］［２］のマルチビュービデオ符号化（ＭＶＣ）拡張である。ＭＶＣは、ITU-T Rec. H.264 | ISO/IEC JTC 1のマルチビュービデオ符号化への直接的な拡張である。高いレベルのシンタックスのいくらかの拡張のほかに、加えられている唯一のツールは、上述のような視差補償予測である。しかしながら、視差補償予測が典型的にブロックの小さいパーセンテージのために用いられるだけであることに留意されるべきである。シーン内の動きによってカバーされまたはカバーされない領域を除いて、時間的な動き補償予測は、典型的に、特に現在のおよび参照ピクチャ間の時間的な距離が小さい場合、視差補償予測よりも良好な予測信号を提供する。時間的な動き補償予測が適切なインタービュー予測技術と結合できる場合、全体の符号化効率を改善することができる。スケーラブルビデオ符号化において概念的に類似した課題があり、異なる解像度または忠実度を有する同じビデオシーケンスの２つの表現が、単一のビットストリームにおいて符号化される。エンハンスメントレイヤのために、原理的には、すでに符号化されたエンハンスメントレイヤピクチャからの時間的な動き補償予測またはより下のレイヤからのインターレイヤ予測を用いて、（空間イントラ予測を無視する場合）サンプルのブロックを予測する２つの可能性がある。スケーラブルビデオ符号化（ＳＶＣ）拡張［３］において、従来の時間的な動き補償予測は、動きパラメータのインターレイヤ予測と結合されている。エンハンスメントレイヤブロックのために、それは、同じ位置に配置されたベースレイヤブロックの動きデータを再利用するがそれをエンハンスメントレイヤに適用する（すなわち、ベースレイヤ動きデータを有するエンハンスメントレイヤ参照ピクチャを用いる）可能性を提供する。このようにして、レイヤ内の時間的な動き補償予測は、動きデータのインターレイヤ予測と効率的に結合される。この技術の背後にある一般の考えは、スケーラブルビットストリームにおけるすべてのレイヤが同じコンテンツを示し、そのため、それぞれのレイヤ内の動きも同じであるということである。それは、１つのレイヤのための最良の動きパラメータが以下の効果による以下のレイヤのための最良の動きパラメータでもあることを必ずしも意味するというわけではない。（１）参照ピクチャの量子化は、サンプル値を修正し、さらに、異なるレイヤが異なって量子化されるので、最も小さい歪を与える動きパラメータを、異なるレイヤのために異なるようにすることができる。（２）レイヤが異なるビットレートで符号化されるので、動きパラメータの特定のセットは、通常、レートおよび歪間の異なるトレードオフに対応する。そして、レート歪の最適化された符号化（それは、例えば歪Ｄおよび関連したレートＲのラグランジュ関数Ｄ＋λＲの最小化によって達成される）において、異なる動きパラメータを、異なるレイヤのためのレート歪感覚において最適にすることができる（λによって与えられる動作点および関連した歪またはレートを異なるようにすることができる）。それにもかかわらず、ベースおよびエンハンスメントレイヤにおける（最適）動きパラメータは、通常、類似している。そして、ベースレイヤの動きパラメータを再利用するモード（したがって、小さいレートＲと関連している）が、ベースレイヤから独立している最適モードよりも小さいオーバーオールコスト（Ｄ＋λＲ）をもたらすことは、典型的に、可能性が非常に高い。言い換えれば、最適エンハンスメント動きデータを有するモードの代わりにベースレイヤ動きデータを有するモードを選択することによって関連している歪増加ΔＤがレートにおいて低減と関連しているコスト（ΔＤ＋λΔＲ＜０）よりも小さいことは、可能性が高い。

【0007】

概念的に、ＳＶＣに関して類似した概念を、マルチビュービデオ符号化においても用いることができる。複数のカメラは、異なる視点から同じビデオシーンをキャプチャする。しかしながら、現実世界のオブジェクトがシーンにおいて移動する場合、異なるキャプチャされたビューにおける動きパラメータは、独立していない。しかし、スケーラブル符号化とは対照的に、オブジェクトの位置は、すべてのレイヤ（レイヤは、ちょうど同じキャプチャされたビデオの異なる解像度または異なる品質を表す）において同じであり、投影された動きの相互関係は、より複雑であり、さらに、いくつかのカメラパラメータおよび現実世界のシーンにおいて３Ｄ関係に依存する。しかし、すべての関連したカメラパラメータ（例えば焦点距離、カメラの距離およびカメラの光軸の方向など）および投影されたオブジェクトポイントの距離（デプスマップ）が与えられる場合、特定のビュー内の動きは、別のビューの動きに基づいて導出され得る。一般に、ビデオシーケンスまたはビューを符号化するために、オブジェクトポイントの正確な動きを知る必要はなく、代わりに例えばサンプルのブロックのための動きベクトルなどの単純なパラメータで十分である。この趣旨において、異なるビュー間の動きパラメータの関係も、ある程度単純化することができる。

【0008】

しかしながら、好意的に、マルチビュー信号を符号化する際の符号化順序は、それぞれのビューのテクスチャを伝えるピクチャがデプスマップを符号化／復号化する際にピクチャを符号化／復号化することから知られる特徴を効率的に利用することができるようにするために対応するデプスマップの前に符号化されるように、選択される。さらに言い換えれば、デプスマップおよび関連したピクチャ間の冗長性の除去は、その逆よりはむしろピクチャからデプスマップに通じる符号化順序の場合に、より効率的なことがわかる。しかしながら、この符号化順序に従うことは、デコーダがディペンデントビューのピクチャを復号化する時に、復号化側で利用できるデプスマップ情報の欠如をもたらし、その理由は、そのデプスマップがまだ再構成されていないからである。不都合なことに、参照ビューの符号化パラメータは、効率的に利用することができない場合がある。その状況は、ビューのデプスマップが存在しないマルチビューデータストリームの場合に、さらに深刻である。

【先行技術文献】

【非特許文献】

【0009】

【文献】［１］ ITU-T and ISO/IEC JTC 1, "Advanced video coding for g eneric audiovisual services," ITU-T Recommendation H.264 and ISO/IEC 14496-1 0 (MPEG-4 AVC), 2010

【文献】［２］ A. Vetro, T. Wiegand, G. J. Sullivan, "Overview of th e Stereo and Multiview Video Coding Extension of the H.264/MPEG-4 AVC St andard", Proceedings of IEEE, vol. 99, no. 4, pp. 626-642, Apr. 2011

【文献】［３］ H. Schwarz, D. Marpe, T. Wiegand, "Overview of the Sc alable Video Coding Extension of the H.264/AVC Standard", IEEE Transactions on Circuits and Systems for Video Technology, vol. 17, no. 9, pp. 1103-1120, Sep. 2007

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明の目的は、より効率的なマルチビュー符号化概念を提供することである。

【課題を解決するための手段】

【0011】

この目的は、係属中の独立した請求項の主題によって達成される。

【0012】

本発明の第１の態様によれば、考えが利用され、それによれば、とにかく予期されないそれの伝送による、または、テクスチャ／ピクチャおよびそのデプスマップ間の好適な符号化順序による、または、伝送または復号化の間のビットストリームからのデプスデータの予期された廃棄による、参照ビューの現在のピクチャのためのデプスマップの欠如を、参照およびディペンデントビューのピクチャのためのデプスマップを推定し、さらに、それをマルチビューデータストリーム内に信号で送られる動きおよび／または視差データを用いて更新することによって、インタービュー冗長性を低減するために、適切に対処することができる。特に、仮想的にすべてのマルチビューデータストリームは、そこに定義されるランダムアクセスポイントを有し、すなわち、時間インスタンスが、前に符号化されたピクチャに時間的な予測および他の依存性なしで符号化されるマルチビュー信号のビューのピクチャに対応するが、参照ビューに関する限り単にイントラ予測を用い、さらに、ディペンデントビューに関する限りイントラ予測および視差に基づいた予測を用いる。したがって、インタービュー予測のためのマルチビューデータストリーム内に信号で送られる視差データを、ディペンデントビューのためのデプスマップ推定を初期化するために利用することができ、さらに、この主要なデプスマップ推定を、マルチビューデータストリーム内に信号で送られる動きデータおよび／または視差データを用いてマルチビュー符号化のさらなる経過の間に連続的に更新することができる。このように得られた連続的に更新されるデプスマップ推定は、インタービュー冗長性低減の従属したさまざまな方法がこのデプスマップ推定にアクセスしないよりもより効率的な方法で実行されることを可能にする。

【0013】

別の態様によれば、以下の発見が利用され、ディペンデントビューのピクチャのブロックのための動き予測因子候補の拡大したリストと関連するオーバーヘッドは、視差補償感覚において、参照ビューの同じ位置に配置されたブロックから決定される動きベクトル候補の加算から生じる動きベクトル予測品質における利得と比較して比較的少ない。両方のブロック間の視差は、第１の態様を用いて決定されてもよくまたは決定されなくてもよい。

【0014】

本発明の好適な実施態様は、従属した請求項の主題である。

【0015】

本発明の好適な実施形態が、図に関して以下にさらに詳細に記載される。

【図面の簡単な説明】

【0016】

【図1】図１は、実施形態によるマルチビュー信号の再構成のための装置のブロック図を示す。

【図2】図２は、実施形態による図１の装置に適合するマルチビュー信号を符号化するための装置のブロック図を示す。

【図3】図３は、異なるビューおよび時間インスタンスのピクチャにおける投影されたオブジェクトポイント、時間的な動きベクトルおよび視差ベクトル間の一般の関係を示す。

【図4】図４は、（現在のブロック内の特定のサンプル位置を用いて）参照ビューにおいて動きが与えられる現在のブロックのための動きベクトルおよび現在のピクチャのためのデプスマップ推定を導出するための基本的なプロセスを示す。

【図5】図５は、１つのビューのために与えられるデプスマップを別のビューにマッピングするための基本的なプロセスを示し、（左は）ビューのための所定のデプスマップであり、灰色領域は、バックグラウンドを表し、さらに、白色領域は、フォアグラウンドオブジェクトを表し、（中央は）サンプルをデプス値に対応する視差ベクトルで変位し、さらに、１つを超えるサンプルが投影される場所のためのフォアグラウンドオブジェクトを保つことによって、得られる変換されたデプスマップであり、黒色領域は、サンプルが投影されていない非閉塞領域に表し、（右は）バックグラウンドのためのデプス値によって非閉塞領域を満たした後の変換されたデプスマップである。

【図6】図６は、ランダムアクセスユニットのための（視差ベクトルを用いて）デプスマップの生成を示す。

【図7】図７は、ベースビューにおいて符号化される動きパラメータを用いて推定されたデプスマップの時間的な予測を示す。

【図8】図８は、実際に符号化された動きおよび視差ベクトルを用いるデプスマップの更新を示す。

【発明を実施するための形態】

【0017】

図１は、マルチビューデータストリーム１４に符号化されるマルチビュー信号１２を再構成するための装置１０のための実施形態を示す。装置１０は、マルチビューデータストリーム１４のための入力１６と、それぞれ、参照ビュー信号２０およびディペンデントビュー信号２２のための２つの出力１８ａおよび１８ｂとを含む。

【0018】

さらに、装置１０は、入力１６および出力１８ａ間に接続される参照ビュー再構成器２４と、入力１６および出力１８ｂ間に接続されるディペンデントビュー再構成器２６とを含む。装置１０のデプスマップ推定器２８は、参照ビュー再構成器２４のパラメータ出力およびディペンデントビュー再構成器２６の参照入力間に接続され、さらに、ディペンデントビュー再構成器２６のパラメータ出力に接続される。

【0019】

以下にさらに詳細に概説されるように、図１の装置またはデコーダ１０は、それによれば参照信号２０がディペンデントビュー２２の前に処理される符号化／復号化順序に従うことによってマルチビューデータストリーム１４からマルチビュー信号１２を再構成する。マルチビュー信号１２は、図１に示されるように、それぞれのビュー２０および２２と関連する異なるビュー方向またはビューポイントから１つの共通のシーンの空間サンプリングを表すだけでなく、時間軸３０に沿って３つの時刻Ｔ－１、ＴおよびＴ＋１を示すことによって図１に例示的に示されるように、このシーンの時間的なサンプリングも表すことができる。時刻ごとに、それぞれのビュー２０および２２は、ピクチャ３２ｔ₁および３２ｔ₂を含み、それぞれのピクチャ３２ｔ_1,2は、それぞれのテクスチャマップを表す。

【0020】

図１は両方のビュー２０および２１が時間的にアライメントされるそれらのピクチャ３２ｔ_1,2を有することを仮定することに留意されたい。しかしながら、ビュー２０および２２間の時間解像度は、異なることができる。当然、同じことが、ピクチャおよびデプスマップの空間解像度にあてはまる。

【0021】

さらに、デコーダ１０は、時間において連続してマルチビュー信号１２を処理するように構成される。より正確には、デコーダ１０は、次の時間インスタンスＴのピクチャおよびデプスマップを処理することを続ける前に、例えばＴ－１などの特定の時間インスタンスのピクチャ３２ｔ_1,2を再構成するように構成される。この点に関しては、マルチビュー信号１２の時間インスタンス中の時間的な符号化順序が、それぞれ、ピクチャおよびデプスマップの表現時間順序に等しくてもよくまたはそれから異なってもよいことに留意されたい。

【0022】

参照ビュー再構成器２４は、マルチビューデータストリーム１４の参照ビュー部分３６から参照ビュー２０を再構成するように構成され、その一方で、ディペンデントビュー再構成器２６は、マルチビューデータストリーム１４のディペンデントビュー部分３８に基づいてディペンデントビュー２２を再構成するように構成される。実際に、参照ビュー再構成器２４およびディペンデントビュー再構成器２６は、同様の方法で作動するように構成され得る。例えば、参照再構成器２４およびディペンデントビュー再構成器２６は、ブロックごとのベースで作動することができる。両方とも、それぞれ、例えば、ハイブリッドビデオデコーダとして構成され得る。参照ビュー再構成器２４は、例えば、利用できる符号化モードのそれぞれの１つをピクチャが再分割されるブロック４０に割り当てることによって、現在の時刻Ｔのピクチャ３２ｔ₁を再構成する。ピクチャ３２ｔ₁のブロックへの再分割は、デフォルトによって事前に定義され得りまたはマルチビューデータストリーム１４内に信号で送られ得る。再分割は、ピクチャ３２ｔ₁を規則的な方法で同じサイズのブロックまたは異なるサイズのブロックに再分割することができる。さらに、マルチツリー再分割も、ブロック４０のブロックサイズがピクチャコンテンツに局所的に適応され得るように可能である。利用できる符号化モードは、それによれば参照ビュー再構成器２４がピクチャ３２ｔ₁のブロック中で定義される復号化順序で現在のブロックの前にすでに再構成されたブロックのすでに再構成されたサンプルから予測によってそれぞれのブロック４０を満たす１つ以上のイントラ予測モードや、それによれば参照ビュー再構成器２４が例えば動きベクトル、参照ピクチャインデックスなどのような動きデータを用いて補償される動きおよび／または予測によってそれぞれのブロックを再構成する１つ以上のインター予測モードを含むことができる。例えば、説明のために、２つのブロックは、インター予測によって再構成されることが例示的に示される。これらのインター予測されたブロックのための動きデータ４２は、動き参照インデックスによってインデックスが付けられさらに動きデータ４２で構成される参照ピクチャ３２ｔ₁の再構成されたバージョンのそれぞれの部分をコピーするために、参照ビュー再構成器２４によって用いられる動きベクトルを含むことができる。動きデータ４２は、マルチビューデータストリーム１４の参照ビュー部分３６で構成される。

【0023】

ディペンデントビュー再構成器２６は、参照ビュー再構成器２４と全く同じに作動するが、ディペンデントビュー再構成器２６では、ディペンデントビュー部分３８からディペンデントビュー２２を再構成するように構成される。したがって、現在の時刻Ｔの現在のピクチャ３２ｔ₂を再構成する際に、ディペンデントビュー再構成器２６は、マルチビューデータストリーム１４内に固定されまたは信号で送られ得るブロック５０への再分割を用いてブロックごとの処理を用いることもできる。代わりに、以下にさらに詳細に概説されるようにブロック５０への再分割のデプスマップに基づいたインタービュー予測が、ビュー２０のブロック４０への再分割からビュー２２のためのブロック５０への再分割を導出するために、ディペンデントビュー再構成器２６によって用いられ得る。符号化モードに関する限り、ディペンデントビュー再構成器２６は、それらが参照ビュー再構成器２４に関して記載されているように符号化モードをサポートすることができる。したがって、例示的に、２つのブロック５０は、それぞれ、前に再構成されたピクチャ３２ｔ₂の再構成されたバージョンのそれぞれの部分から適切にコピーされるように、それぞれ、動きデータ５４を用いてインター予測を受けることが例示的に示される。全体で、この動きデータ５８は、ビュー２２の現在のピクチャまたは現在の時間インスタンスのための動きデータを表す。しかしながら、これらの符号化モードに加えて、ディペンデントビュー再構成器２６は、いくつかの視差データによって定義されるように、同じ時間インスタンスであるが空間的に変位されるビュー２０の部分からそれぞれのブロックをコピーするために視差補償予測を用いるための１つ以上のインタービュー予測モードをサポートする能力を有する。図１において、ピクチャ３２ｔ₂における１つの視差予測されたブロックは、対応する視差データ６０とともに例示的に示される。視差データ６０は、例えば、ビュー２０および２２間のビューオフセット方向に沿った視差ベクトルまたは少なくとも視差成分と、任意に、インデックスが図１に例示的に示されるように２つを超えるビューの共存の場合に有利であり得るディペンデントビュー２２のそれぞれのブロック５０が従属する参照ビューを示すビューインデックスとを含むことができる。

【0024】

すなわち、参照ビュー再構成器２４およびディペンデントビュー再構成器２６は、できるだけ、時間軸３０に沿いさらにビュー２０および２２間のインタービュー方向における冗長性を低減するような方法で作動する。これは、例えば動きデータおよび視差データなどのサイド情報並びに符号化モードおよび上述の再分割情報の予測にとって真実でもある。この情報のすべては、時間方向における互いの間およびビュー間の冗長性を示す。

【0025】

しかしながら、ディペンデントビュー再構成器２６は、ディペンデントビュー再構成器２６が現在復号化されたピクチャ３２ｔ₂のためのデプスマップにアクセスする場合、ビュー２０および２２間の冗長性をより効率的に利用することができる。したがって、デプス推定器２８は、以下にさらに詳細に記載される方法で現在の時刻Ｔの現在のピクチャ３２ｔ₂のデプスマップのための推定としてデプスマップ推定６４を提供するように構成され、さらに、ディペンデントビュー再構成器２６は、このデプスマップ推定６４を用いてマルチビューデータストリーム１４のディペンデントビュー部分３８からディペンデントビュー２２の現在の時刻の現在のピクチャ３２ｔ₂を再構成するように構成される。例えば、近くにデプスマップ推定６４を有すると、ディペンデントビュー再構成器２６は、現在のビュー２２のデプスマップ推定６４に基づいてディペンデントビュー２２の現在のピクチャの動きデータ５４および参照ビュー２０の現在のピクチャのための動きデータ４２を予測し、さらに、予測された動きデータに基づいて動き補償予測を用いてディペンデントビュー２２の現在のピクチャを再構成することができる。例えば、現在のビュー再構成器２４は、動きデータ５４を予測する際に、参照ビュー２０の現在のピクチャにおいて対応する位置を決めるためにディペンデントビュー２２のデプスデータ推定６４を用い、さらに、ディペンデントビュー２２の現在のピクチャの動きデータ５４を予測するために対応する位置で参照ビュー２０の現在のピクチャのための動きデータ４２を用いるように構成され得る。以下の説明において、デプスデータ推定６４を用いる空間ルックアップが行われる可能な方法が、以下にさらに詳細に記載される。特に、以下の説明において、動きデータ４２が動きデータ５４のための良好な予測因子を形成する事実が、さらに詳細に動機付けられる。当然、リファインメントデータは、動きデータ５４のための予測残差を信号で送るために、ディペンデントビュー部分３８で構成され得る。特に、以下にさらに詳細に述べられるように、ディペンデントビュー再構成器２６は、ディペンデントビュー２２の現在の時刻のピクチャ３２ｔ₂の現在のブロック５０内の１つ以上の所定のサンプル位置のためにデプスデータ推定６４から導出される視差ベクトルを適用し、さらに、現在のブロック５０の動きデータ５４のための予測因子として１つ以上のワープされた位置を含む１つ以上のブロック４０の動きデータ４２を用いてビュー２０の同じ時刻のピクチャ３２ｔ₁において対応しまたはワープされた位置を決めるためにこれらの視差ベクトルを用いるように構成され得る。現在のブロック５０内の１つを超えるそのような参照サンプル位置の場合において、目標とされたブロックまたはブロック４０の結果として生じる１つ以上の参照動きデータの平均またはメジアン値が、予測因子として用いられ得る。

【0026】

さらに、ディペンデントビュー再構成器２６は、ディペンデントビュー２２のデプスデータ推定６４に基づいてディペンデントビュー２２の現在のピクチャのための視差データ６０を予測し、さらに、予測された現在の視差データに基づいて視差補償予測を用いてディペンデントビュー２２の現在のピクチャを再構成するように構成され得る。また、リファインメントは、マルチビューデータストリーム１４のディペンデントビュー部分３８内に信号で送られ、さらに、予測された現在の視差データをリファインするためにディペンデントビュー再構成器２６によって用いられ得る。さらに、上で概説されるように、理論的に、ブロック５０の視差データ６０も、同様に予測され得る。以下にさらに詳細に概説されるように、ディペンデントビュー再構成器２６は、デプスデータを視差ベクトルに変換し、さらに、それぞれ、直接的に、視差データ６０および６２内の視差ベクトルのための予測因子としてこれらの視差ベクトルを用いることによって、現在のビューのデプスデータ推定６４に基づいて視差データ６０および６２を予測するように構成され得る。

【0027】

当然、ディペンデントビュー再構成器２６は、ビュー２０および２２間のインタービュー冗長性を低減するためにデプスデータ推定を用いるように、今述べた可能性のいかなる結合もサポートすることができる。

【0028】

今述べたデプスデータ推定６４を導出するために、デプス推定器２８は、以下のように働く。

【0029】

特に、図１の実施形態によれば、デプス推定器２８は、それぞれのピクチャ３２ｔ_1,2がそれに関連するデプスマップ推定６４を有することを確かにし、それらは、一連の更新において互いに連続的に導出される。以下にさらに詳細に概説されるように、デプス推定器２８は、上で概略された改善されたインタービュー冗長性低減のための基礎として働くために、主にディペンデントビュー２２のそれぞれのピクチャ３２ｔ₂にそのようなデプスマップ推定６４を提供することを目的として、ビュー２０および２２間にピンポンのようにデプスマップ推定６４を連続的に更新するように構成される。

【0030】

事前に、デプス推定器２８は例えば時間インスタンスＴ－１などの参照ビュー２０の１つ以上の前のピクチャ３２ｔ₁のためのそのようなデプス推定にすでにアクセスしていると仮定される。デプス推定器２８が参照ビュー２０の前に復号化されたピクチャ３２ｔ₁のためのこのデプスマップ推定７４にアクセスすることができる方法が、さらに以下に記載される。しかしながら、そのようなデプスマップデータが、明確にいわゆるランダムアクセスユニット内の参照ビュー２０の最初のピクチャ３２ｔ₁、すなわち信号１２のいかなる前の部分に関係なく復号化可能であるピクチャ３２ｔ₁のグループのためのマルチビューデータストリーム１４内に断続的に信号で送られ得ることに留意されるべきである。この可能性を示すために、点線は、デプス推定器２８と入力１６を接続する。以下の説明において、そのような開始デプスマップの余分の伝送が必要でない可能性が示される。むしろ、ランダムアクセスユニット内の符号化順序でディペンデントビュー２２の最初のピクチャ３２ｔ₂のためのデータストリーム部分３８内の視差データは、ランダムアクセスユニット内の符号化順序で参照ビュー２０の最初のピクチャ３２ｔ₁の開始デプスマップを構成するために利用される。

【0031】

特に、デプス推定器２８は、例えば、現在の時間インスタンスＴで参照ビュー２０の現在のピクチャ３２ｔ₁のための動きデータ４２を時刻Ｔ－１で参照ビュー２０のいかなる前のピクチャ３２ｔ₁のデプスマップ推定７４に適用することによってディペンデントビュー２２の現在のピクチャ３２ｔ₂のデプスマップ６４を生成するように構成される。すでに上述のように、参照ビュー再構成器２４は、参照ビュー２０のためのマルチビューデータストリーム１４内に信号で送られる動きデータ４２に基づいて動き補償予測を用いて参照ビュー２０の現在のピクチャ３２ｔ₁を再構成する。デプス推定器２８は、この動きデータ４２にアクセスし、さらに、一連の更新の述べられた更新の１つのためのこの動きデータ４２を用い、すなわち、前の時刻Ｔ－１での参照ピクチャ３２ｔ₁のデプスマップ推定７４から現在の時刻Ｔでの現在のピクチャ３２ｔ₁のデプスマップ推定６４へのトランジション７１を用いる。これが実行され得る方法が、以下にさらに詳細に概説される。事前に、動きデータ４２を前の時間インスタンスＴ－１のためのデプスマップ７４に適用すること７１は、同じ位置に配置されたブロック７２、すなわちこの動きデータ４２がストリーム部分３６において信号で送られているブロック４０と同じ位置に配置される現在のピクチャ３２ｔ₁のデプスマップ推定６４内の部分が、参照されたデプスマップ推定、すなわち動きデータ４２に等しい動きデータ４２´によって示される参照されたデプスマップ推定７４内の部分で前の時間インスタンスＴ－１のピクチャ３２ｔ₁のためのデプスマップ推定７４のコンテンツで更新されすなわちそれからコピーされることを、意味することを十分に留意すべきである。残りのホールは、現在のピクチャ３２ｔ₁のブロック４０中のイントラ符号化されたブロックによって提供される付加的な情報を利用する内挿および／または外挿によって満たされ得る。その結果、デプスマップ推定６４は、更新されている（またはＴ－１からＴへトランジションすることによって生成されている）。

【0032】

また、デプス推定器２８は、単に同じ時刻Ｔのディペンデントビュー２２の現在のピクチャ３２ｔ₂のデプスマップ推定６４を導出するための基礎として働くように以下にさらに記載される一連の更新をさらに行うために、この更新／トランジション７１を実行する。導出を終了するために、デプス推定器２８は、ディペンデントビュー２２の現在のピクチャ３２ｔ₂のデプスマップ推定６４を得るために参照ビュー２０の現在のピクチャ３２ｔ1の更新されたデプスマップ推定６４をディペンデントビュー２２にワープする。すなわち、動きデータ４２が単にブロック粒度で定義されるので、更新／トランジション７１およびワーピング７８から生じるようなビュー２２の結果として生じるデプスマップ推定６４は、デプスの全く粗い推定を表すが、以下に示されるように、そのような粗い推定は、インタービュー冗長性低減を実行する際に効率を著しく増加するために十分である。

【0033】

ワーピング７６に関する可能な詳細が、以下にさらに記載されるにもかかわらず、簡潔に述べると、ディペンデントビュー再構成器２６は、現在のピクチャ３２ｔ₁のデプスマップ推定６４から視差ベクトルを導出し、さらに、ディペンデントビュー２２の現在のピクチャ３２ｔ₂のワープされたデプスマップ推定６４を得るために、導出された視差ベクトルをデプスマップ推定６４自体に適用することによって、ワーピング７８を実行するように構成され得る。

【0034】

このように、デプス推定器２８がディペンデントビュー再構成器２６にワーピング７６の結果、すなわちビュー２２のための現在の時刻Ｔのデプスマップ推定６４を提供するとすぐに、ディペンデントビュー再構成器２６は、可能な実施が以下により詳細に述べられる上で概説されたインタービュー冗長低減を実行するためのこのデプスマップ推定６４を用いることができる。

【0035】

しかしながら、デプス推定器２８は、参照ビュー２２の現在のピクチャ３２ｔ₂のための更新されたデプスマップ推定７４を得るために、このデプスマップ推定６４を更新する７７ことを続け、それによって、次の時間インスタンスＴ＋１のための推定をもたらす一連の更新を維持している。したがって、ディペンデントビュー再構成器２６は、更新ステップ７１に関して上述のように、少なくとも動きデータ５４のために、同様の方法でディペンデントビュー２２のための視差および／または動きデータ５４および６０を用いて、現在の時間インスタンスＴのディペンデントビュー２２の現在のピクチャ３２ｔ₂のデプスマップ推定６４を更新する７７ように構成される。すなわち、ディペンデントビュー再構成器２６は、時間インスタンスＴのためのピクチャ３２ｔ₂のための視差／動作データをこのピクチャ３２ｔ₂を再構成するためのストリーム部分３８内に用いる。視差データ６０に関する限り、デプス推定器２８は、容易に、視差データ５４内に含まれる視差ベクトルをデプス値に変換することができ、さらに、これらのデプス値に基づいて、更新されたデプス値をピクチャ３２ｔ₂においてそれぞれの視差予測されたブロック５０と同じ位置に配置されるディペンデントビュー２２の現在のピクチャ３２ｔ₂の更新されたデプスマップ推定７９ｂのサンプルに割り当てることができる。動きデータ５４は、ディペンデントビュー２２の参照された前の時間インスタンスＴ－１のピクチャ３２ｔ₂のデプスマップ推定７４のコンテンツを、動きデータ５４に等しい動きデータによって示されるそれの部分で、この動きデータ４２がストリーム部分３６において信号で送られているブロック５０と同じ位置に配置される現在のピクチャ３２ｔ₂の更新されたデプスマップ推定７４内の部分にコピーするために用いられ得る。残りのホールは、現在のピクチャ３２ｔ₁のブロック４０中のイントラ符号化されたブロックによって提供される付加的な情報を利用する内挿および／または外挿によって満たされ得る。その結果、現在のピクチャ３２ｔ₂の更新されたデプスマップ推定７４が、更新されている（またはＴ－１からＴへトランジションすることによって生成されている）。ディペンデントビュー２２の参照された前の時間インスタンスＴ－１のピクチャ３２ｔ₂のデプスマップ推定７４がランダムアクセスユニットの開始で導出され得る方法に関する可能性が、以下にさらに記載される。しかしながら、そのようなランダムアクセスユニットの開始でビュー２０のための上述のおそらく明確に送信されたデプスマップは、代わりに、ディペンデントビュー２２の参照された前の時間インスタンスＴ－１のピクチャ３２ｔ₂のデプスマップ推定７４を得るためにビュー２２にワープされ得る。

【0036】

ブロッキングアーチファクトを低減するために、更新７１および７７は、ブロック境界で個々のブロックの更新の影響を低減する重み関数を用いることによって実行され得る。

【0037】

すなわち、ワーピング７６によって得られるようなデプスマップ推定６４に基づいて、ディペンデントビュー再構成器２６は、マルチビューデータストリーム１４のディペンデントビュー部分３８で構成されるディペンデントビュー２２のための視差および／または動きデータ５４および６０に基づいて視差および／または動き補償予測を用いてディペンデントビュー２２の現在のピクチャ３２ｔ₂を再構成し、さらに、この際に、ディペンデントビュー再構成器２６は、デプス推定器２８に視差および／または動きデータ５４、６０を提供し、そして、更新７７を実行するためにデプス推定器６８によって用いられる。

【0038】

この更新７７の後に、デプス推定器２８は、次の時間インスタンスＴ＋１などへのトランジション／更新７９のための基礎／参照として働くことができる時間インスタンスＴのための参照ビュー２０の現在のピクチャ３２ｔ₁の更新されたデプスマップ推定７４を得るために、ディペンデントビュー２２の現在のピクチャ３２ｔ₂の更新されたデプスマップ推定７４を参照ビュー２０にワープバックする７８ことができる。

【0039】

それ以後、デプス推定器２８は、デプスマップ推定６４でディペンデントビュー再構成器２６を連続的にサポートするために時間軸３０に沿ってデプスマップ推定をモデル化するように、単にプロセス７１、７６、７７および７８（ステップ７９は、ステップ７１に対応する）を反復的に繰り返す。

【0040】

これらのステップ７１、７６、７７、７８、および７９のすべてに関するさらなる詳細が、以下にさらに詳細に記載される。これらのさらなる詳細のすべては、図１に関して提案される説明に個々に適用できる。

【0041】

上に概説される概念に関するさらなる詳細を記載する前に、図１のデコーダに適合するエンコーダのための実施形態が、図２に関して記載される。図２は、マルチビュー信号１２をマルチビューデータストリーム１４に符号化するための装置を示し、このために、参照符号９０で一般に示されるエンコーダを有する参照ビューエンコーダ８０、ディペンデントビューエンコーダ８２およびデプス推定器８４を含む。参照ビューエンコーダ８０は、マルチビュー信号１２の参照ビュー２０をデータストリーム１４の参照ビュー部分３６に符号化するように構成され、その一方で、ディペンデントビューエンコーダ８２は、マルチビュー信号１２のディペンデントビュー２２をマルチビューデータストリーム１４のディペンデントビュー部分３８に符号化することに関与している。参照ビューエンコーダ８０およびディペンデントビューエンコーダ８２は、後方予測の方法で作動することができ、さらに、デプス推定器８４は、参照ビューエンコーダ８０およびディペンデントビューエンコーダ８２から利用できる同じ情報を用いることによってデコーダ１０に関して上述の方法でデプスマップ推定およびその連続的な更新を実行するように構成され得る。すなわち、デプス推定器８４は、参照ビューの現在のピクチャを動き補償予測するために用いられている参照ビューのための動きデータ４２を、参照ビュー２０の前のピクチャ３２ｔ₁のデプスマップ推定に適用し、さらに、ディペンデントビュー２２の現在のピクチャ３２ｔ2のデプスマップ推定６４を得るために参照ビュー２０の現在のピクチャ３２ｔ₁のこのようにして得られたデプスマップ推定６４をディペンデントビュー２２にワープすること７６によって、ディペンデントビュー２２の現在のピクチャ３２ｔ₂のデプスマップ推定６４を生成する７１ように構成される。同様に、デプス推定器８４は、次の更新ステップ７７および以下のバックワープステップ７８も実行する。この目的で、参照ビューエンコーダ８０およびディペンデントビューエンコーダ８２は、エンコーダ９０の入力および出力間に平行に接続され得り、その一方で、デプス推定器８４は、参照ビューエンコーダ８０のパラメータ出力およびディペンデントビューエンコーダ８２の参照入力間に接続され、さらに、ディペンデントビューエンコーダ８２のパラメータ出力に接続され得る。参照ビューエンコーダ８０の再構成出力は、例えば内部予測ブロックの出力などの参照ビューエンコーダ８０の予測パラメータ出力に接続され得る。

【0042】

ディペンデントビューエンコーダ８２は、図１に関して上で概説される方法でデプスマップ推定６４を用いてディペンデントビュー２２の現在のピクチャまたは現在の時刻を符号化することができ、すなわち、ディペンデントビュー部３８の部分を形成するために、それぞれの動きまたは視差データのための予測残差データを生成することの有無にかかわらず、動きデータ５８または少なくとも５４を予測し、または、視差データ６０および６２または少なくとも６０、または、少なくともこれらのオプションの部分を予測するために、符号化することができる。

【0043】

以下において、より詳細な実施形態が示され、それは、例えばＨＥＶＣなどにおいて規則的に配置されたツリールートブロックのブロック結合、マルチツリーブロック分割を用いてハイブリッド符号化タイプと結合されるときに、特に有利である。

【0044】

さらなるビューを効率的に符号化するための参照ビューの動きデータを使用するための先端技術の概念は、すべて、ITU-T Rec. H.264 | ISO/IEC 14496-10のＭＶＣ拡張に基づいて開発されている。ＨＥＶＣとも呼ばれるITU-T and ISO/IEC JTC 1/WG 11の新しいビデオ符号化標準化プロジェクトは、従来の２Ｄビデオ符号化技術の非常に有望な改善を示す。ＨＥＶＣの現在のワーキングドラフトは、ITU-T Rec. H.264 | ISO/IEC 14496-10と比較して相当な符号化利得を提供する。これらの利得を達成するために、いくつかの概念が、ITU-T Rec. H.264 | ISO/IEC 14496-10と比較して拡張されている。動きパラメータ符号化および動き補償予測の分野における主要な改善は、以下を含む。

【0045】

・ITU-T Rec. H.264 | ISO/IEC 14496-10において動き補償予測のために用いられるブロックサイズは、４ｘ４から１６ｘ１６の輝度（ｌｕｍａ）サンプルの範囲にわたると同時に、より多くの種類のブロックサイズが、ＨＥＶＣにおいてサポートされ、それは、４ｘ４から６４ｘ６４の輝度（ｌｕｍａ）サンプルの範囲にわたる。加えて、基本的な符号化ユニットは、一定のマクロブロックおよびサブマクロブロックによって与えられないが、適応的に選択される。最大の符号化ユニットは、典型的に、６４ｘ６４の輝度（ｌｕｍａ）サンプルのブロックであるが、最大のブロックサイズは、実際に、ビットストリーム内に信号で送られ得る。ブロックをサブブロックに分割することは、４以上のレベルの再分割階層を確立することができる。
・動きベクトルは、一定の動きベクトル予測因子を用いることによって符号化されない。
その代わりに、動きベクトル予測因子候補のリストが存在し、さらに、これらの予測器の１つは、ブロックベースで適応的に選択される。選択された予測因子は、ビットストリーム内に信号で送られる。
・ITU-T Rec. H.264 | ISO/IEC 14496-10は、動きパラメータ（仮説の数、参照インデックス、動きベクトル）が（残差情報を除いて）いかなる付加的なパラメータも符号化せずに、すでに符号化された情報から完全に導出されるＳＫＩＰおよびＤＩＲＥＣＴを提供する。ＨＥＶＣは、いわゆるマージモードを提供する。このモードのために、空間的におよび時間的に隣接したブロックの動きパラメータによって与えられる動きパラメータ候補のリストが確立される。マージモードにおいて符号化されるブロックのために選択される動きパラメータ（仮説の数、参照インデックスおよび動きベクトルを含む）は、インデックスを候補リストに送信することによって信号で送られる。

【0046】

以下の説明は、上述の実施形態の可能な実施を表すこの概念を用いて、すでに符号化されたビューの動きデータおよびマルチビュービデオ符号化において現在のビューの現在のピクチャを符号化するための現在のビューのすでに符号化されたピクチャのための視差データを使用するための概念を記載する。さらに、上述のおよび以下の実施形態から生じる利点が、さらに詳細に説明される。現在のビューの時間的な動き（または視差）を予測するためのすでに符号化された動きおよび視差情報を使用することによって、現在のビューのための動きデータレートが著しく低減され得り、それは、マルチビュービデオシーケンスの符号化のために節約する全体のビットレートをもたらす。記載された概念は、ブロック（またはサンプルの一般のセット）のためのすべての動きデータを直接的に導出する可能性を提供し、その場合さらなる動き情報がブロックのために送信されない。そして、それは、候補動きベクトル予測因子のリストに加えられる動きベクトル予測因子を導出する可能性も提供する。後の可能性のために、動きベクトル予測因子のリストへのインデックスおよび動きベクトル差は、動き補償予測のために用いられる最終的な動きベクトルを特定するブロックのために送信される。本発明の特定の実施形態において、ブロックのための動きパラメータだけでなく、ブロックのための分割情報も（それは、ブロックをより小さいブロックに分割することができ、さらに、別々の動きパラメータをそれぞれのサブブロックに割り当てることができる）、すでに符号化された動きおよび視差情報に基づいて導出され得る。その概念は、いかなる特定のマクロブロックまたはサブマクロブロック構造を仮定せずに一般のブロックに基づいたハイブリッド符号化アプローチに適用できる。一般のブロックに基づいた動き補償は、修正されないが、動きパラメータを符号化するだけであり、その結果、その概念は、非常に小さい複雑さ増加で一般のブロックに基づいたハイブリッドビデオ符号化スキームに統合され得る。それは、より一般の概念まで直接的に拡張されることもでき、そこにおいて、矩形のブロックでないがサンプルの他のセットが、固有の動きパラメータのために関連している。その概念は、付加的なデプスマップの有無でマルチビュー符号化に適用できる。動きパラメータを計算するための視差情報は、符号化された視差ベクトルに基づく符号化されたデプスマップに基づいて導出され得る。

【0047】

以下の説明は、上述の実施形態の可能な実施を表すこの概念を用いて、すでに符号化されたビューの動きデータおよびマルチビュービデオ符号化において現在のビューの現在のピクチャを符号化するための現在のビューのすでに符号化されたピクチャのための視差データを使用するための概念を記載する。さらに、上述のおよび以下の実施形態から生じる利点が、さらに詳細に説明される。現在のビューの時間的な動き（または視差）を予測するためのすでに符号化された動きおよび視差情報を使用することによって、現在のビューのための動きデータレートが著しく低減され得り、それは、マルチビュービデオシーケンスの符号化のために節約する全体のビットレートをもたらす。本発明は、ブロック（またはサンプルの一般のセット）のためのすべての動きデータを直接的に導出する可能性を提供し、その場合さらなる動き情報がブロックのために送信されない。そして、それは、候補動きベクトル予測因子のリストに加えられる動きベクトル予測因子を導出する可能性も提供する。後の可能性のために、動きベクトル予測因子のリストへのインデックスおよび動きベクトル差は、動き補償予測のために用いられる最終的な動きベクトルを特定するブロックのために送信される。本発明の特定の実施形態において、ブロックのための動きパラメータだけでなく、ブロックのための分割情報も（それは、ブロックをより小さいブロックに分割することができ、さらに、別々の動きパラメータをそれぞれのサブブロックに割り当てることができる）、すでに符号化された動きおよび視差情報に基づいて導出され得る。その概念は、いかなる特定のマクロブロックまたはサブマクロブロック構造を仮定せずに一般のブロックに基づいたハイブリッド符号化アプローチに適用できる。一般のブロックに基づいた動き補償は、修正されないが、動きパラメータを符号化するだけであり、その結果、その概念は、非常に小さい複雑さ増加で一般のブロックに基づいたハイブリッドビデオ符号化スキームに統合され得る。それは、より一般の概念まで直接的に拡張されることもでき、そこにおいて、矩形のブロックでないがサンプルの他のセットは、固有の動きパラメータのために関連している。その概念は、付加的なデプスマップでマルチビュー符号化に適用できる。動きパラメータを計算するための視差情報は、符号化されたデプスマップに基づいて導出され得る。

【0048】

すでに符号化されたビューの動きデータを使用するための従来の技術と比較してこれから示される概念の１つの利点は、視差フィールドのいかなる特定の構造も仮定せずに、動き／視差予測因子が、符号化された動きおよび視差／デプス情報に基づいて完全に導出されるということである。無意味に、視差フィールドがイメージのための一定の並進またはアフィンなパラメータによってよく近似され得ると仮定されなく、その代わりに、実際に符号化された視差情報が、すでに符号化されたビューの動きにアクセスするために用いられる。さらに、マクロブロックの視差は、仮定が安全でない隣接したブロックの視差と類似していると仮定されない。実際に符号化されたデプス／視差情報を用いることによって、その概念は、オブジェクト境界でブロックのために適切な視差推定を提供する。さらに、現在のブロックの動きが隣接したブロックのものと類似しているとの仮定がされないので、オブジェクト境界で改善された動きパラメータ予測因子が提供される。さらに、その概念は、視差補正のいかなる伝送も必要としない。さらに、その概念は、それに組み込まれるためのハイブリッドビデオ符号化設計の実際の動き／視差補償プロセスを修正することを必要としない。動きパラメータおよび／または動きパラメータ予測因子の導出だけが変更され、その結果、それは、いかなる大きい修正なしで従来のビデオ符号化設計に含まれ得り、さらに、小さい複雑さを有する。加えて、その概念がデプスマップの有無で符号化に適用できることに留意されるべきである。デプスマップは、ビットストリームの部分として符号化される必要はない。むしろ、符号化された視差ベクトルは、視差を導出するために用いられ得る。

【0049】

以下に記載される概念は、以下のステップに分解され得る。

【0050】

・現在のビューの現在のピクチャのためのデプス／視差データの導出。
・導出されたデプス／視差データに基づく現在のブロックのための候補動きまたは視差データの導出。
・現在のブロックのための動きまたは視差データの符号化。

【0051】

以下において、好適な実施形態を含むこれらのステップが、さらに詳細に記載される。
すべてのステップは、並進動きベクトルを有するブロックに基づいた動き補償のために記載される。しかしながら、その概念は、サンプルの一般化されたセット（例えばブロックの非矩形の部分または他のいかなる形状）が動きパラメータの固有のセットと関連しているより一般のスキームにも適用でき、さらに、それは、動き補償がより高次の動きモデル（例えばアフィン動きモデルまたは他のＮ－パラメータ動きモデル）を用いることによって行われる符号化スキームのためにも適用できる。

【0052】

その概念の詳細を記載する前に、上述のより一般的な実施形態のためにも有効なその利点および基礎となる考えを簡潔に記載する。異なるビューおよび異なる時間インスタンスにおいて現実世界のオブジェクトポイントの投影間の基本的な関係が、図３に示される。ビュー内の現実の動きおよびビュー間の現実の視差を知っていると仮定すると、対応する動きおよび視差ベクトルは、以下のように与えられる。

【0053】

・現在のビューのための動きベクトルは、現在のビューの参照ピクチャおよび現在のビューの現在のピクチャにおいて投影されたオブジェクトポイントの位置の差によって与えられ、ＭＶ_C（ｘ_C,t）＝ｘ_C,t-1－ｘ_C,tであり、
・参照ビューのための動きベクトルは、参照ビューの参照ピクチャおよび参照ビューの現在のピクチャにおいて投影されたオブジェクトポイントの位置の差によって与えられ、ＭＶ_R（ｘ_R,t）＝ｘ_R,t-1－ｘ_R,tであり、
・現在の時刻のための視差ベクトルは、参照ビューの現在のピクチャおよび現在のビューの現在のピクチャにおいて投影されたオブジェクトポイントの位置の差によって与えられ、ＤＶ_t（ｘ_C,t）＝ｘ_R,t－ｘ_C,tであり、
・時刻のための視差ベクトルは、参照ビューの参照ピクチャおよび現在のビューの参照ピクチャにおいて投影されたオブジェクトポイントの位置の差によって与えられ、ＤＶt-1（ｘ_C,t-1）＝ｘ_R,t-1－ｘ_C,t-1である。

【0054】

そのため、動きおよび視差ベクトル間に以下の関係がある。
ＭＶ_C（ｘ_C,t）＋ＤＶ_t-1（ｘ_C,t-1）－ＭＶ_R（ｘ_R,t）－ＤＶ_t（ｘ_C,t）＝０

【0055】

動きおよび視差ベクトルの３つが与えられる場合、第４のベクトルは、単純な加算によって計算され得る。特に、現在のビューのための時間的な動きベクトルは、参照ピクチャにおける同じオブジェクトポイントの動きベクトルおよび両方の時刻での視差ベクトルが与えられる場合、
ＭＶ_C（ｘ_C,t）＝ＭＶ_R（ｘ_R,t）＋ＤＶ_t（ｘ_C,t）－ＤＶ_t-1（ｘ_C,t-1）
に従って導出され得る。ほとんどの場合、参照ビューのための動きベクトル（または動きパラメータ）は、このビューが動き補償予測を用いてすでに符号化されるので、与えられる。しかし、視差は通常与えられなく、それらは推定され得るだけである。しかしながら、２つの推定値を用いることによって、最終的な結果の精度は、全く不正確であってもよく、さらに、十分に正確な時間的な動きベクトル予測因子を導出することに適していなくてもよい。しかし、一般に、オブジェクトポイントのデプス（カメラからの現実世界のオブジェクトポイントの距離）がほとんど現在のおよび参照ピクチャに対応する時間インスタンス間の定数であると仮定されることは正当化される（２つの連続したピクチャ間のカメラからまたはまでのオブジェクト動きは、通常、オブジェクトからカメラまでの距離よりも非常に小さい）。そして、視差もほとんど定数であり、さらに、動きベクトル間の関係は、
ＭＶ_C（ｘ_C,t）≒ＭＶ_R（ｘ_R,t）＝ＭＶ_R（ｘ_C,t＋ＤＶ_t（ｘ_C,t））
に単純化する。

【0056】

参照ビュー内の動きに基づいて現在のビュー内の動きを予測するために現在のアクセスユニット（現在の時刻）において視差のための推定をまだ必要とすることに留意されるべきである。しかしながら、視差推定の精度は、それが参照ビューにおいて動きデータにアクセスするためだけに用いられるので、あまり重要でない。動き補償動作および動きデータの符号化は、複数のサンプルのブロックに基づいて行われ、さらに、隣接したサンプルまたはブロックの動きは、しばしば非常に類似している。それにもかかわらず、視差の正確な推定は、一般に動きパラメータの予測を改善する。推定された視差ベクトルＤＶt（ｘ_C,t）は、視差補償予測のための視差ベクトルとしても用いられ得り（すなわち、参照ピクチャとして参照ビューにおいて現在のアクセスユニットのピクチャを用い）、それは、動きパラメータの動きおよび視差に基づいた予測の特別なモードを表すことができる。

【0057】

候補動きまたは視差データの導出

【0058】

以下において、図１において例えばビュー２２などの特定のビュー（すなわち後方互換性のベースビューでない）において現在のピクチャの所定のブロックのための動きデータおよびすでに符号化された参照ビューのまたは図１において例えば２０などのすでに符号化された参照ビューのセットの所定の動きデータの基本的な導出を記載する。この説明のために、現在のピクチャのためのデプスデータの推定が図１において例えば６４などのように与えられると仮定する。後に、このデプス推定が導出され得る方法および導出された動きデータが現在のビューの効率的な符号化のために用いられ得る方法を記載する。現在のピクチャのためのデプスデータ６４は、ピクセルごとまたはブロックごとのデプスマップによって与えられる。ピクセルごとのデプスマップが与えられる場合、デプスマップは、関連したピクチャのそれぞれのサンプル（またはそれぞれの輝度サンプル）のためのデプス値を特定する。ブロックごとのデプスマップが与えられる場合、デプスマップは、関連したピクチャのためのサンプル（または輝度サンプル）のＭｘＮのブロックのためのデプス値を特定する。例えば、動き補償のために用いられ得る最も小さい可能なブロックサイズのブロック（例えば４ｘ４または８ｘ８のブロック）ごとにデプス値が特定され得る。概念的に、デプスマップのサンプルによって与えられるデプス値ｄは、現実世界のデプスｚの関数を特定し、それは、関連した現実世界のオブジェクトポイント（現実世界のオブジェクトポイントの投影は、所定の位置のイメージサンプルである）およびカメラ間の距離である。
ｄ＝ｆ_dz（ｚ）

【0059】

デプス値は、特定の精度で与えられる（さらに、デプス値は、実際のデプスが通常知られていないので、しばしば推定される）。ほとんどの場合、デプス値は、整数で与えられる。デプス値および特定のカメラパラメータ（例えば焦点距離、カメラ間の距離、最小および最大のデプス値、または、これらのパラメータの関数など）を考えると、デプス値ｄは、視差ベクトルｖ＝［ｖ_x，ｖ_y］^Tに変換され得り、
ｖ（ｘ）＝ｆ_vd（ｄ（ｘ），ｘ）
ここで、ｆ_vdは、視差ベクトルにサンプル位置ｘ＝［ｘ，ｙ］^Tでデプス値ｄをマッピングする関数を特定する。１次元の並列カメラ構成である特定の重要なセットアップにおいて、それは、以下の特性によって特徴づけられる。

【0060】

・カメラアレイのすべてのカメラは、同じタイプにあり、さらに、同じ焦点距離を有する
・すべてのカメラの光学軸は、平行であり、さらに、同じ平面内にある
・イメージセンサのスキャンラインは、光学軸を含む平面と平行である

【0061】

この場合、視差ベクトルの垂直成分は、常にゼロであり、ｖ＝［ｖ，０］^Tである。それぞれの現実世界のオブジェクトポイントは、すべてのビューにおいて同じ垂直位置を有する。その水平位置は、オブジェクトポイントのデプスに依存する。水平位置間の差は、
視差
ｖ＝ｆ_vd（ｄ）
によって与えられる。

【0062】

【0063】

所定のデプス値および実際の視差間の記載された基本的な関係を用いることによって、
１つ以上の参照ビューにおいてすでに符号化された動き情報に基づいて導出される動き情報および所定の推定されたデプス値を用いるための好適な実施形態を記載する。

【0064】

方法１：切替えられた動き／視差ベクトル予測

【0065】

本発明の好適な実施形態において、例えばモジュール２４、２６、８０および８２などのために基礎となるマルチビュービデオ符号化スキームは、以下のパラメータがビットストリーム２１の部分として送信されるモードを含む。

【0066】

・参照ピクチャの所定のリストの特定の（時間的なまたはインタービュー）参照ピクチャを特定する参照ピクチャインデックス。参照ピクチャの所定のリストが単一の要素を含む場合、このインデックスは、送信されないがデコーダ側で推測される。参照ピクチャは、時間的なおよび／またはインタービュー参照ピクチャを含む。
・動き／視差ベクトル予測因子候補の所定のリストの動き／視差ベクトル予測因子を特定する動き／視差ベクトル予測因子インデックス。動き／視差ベクトル予測因子候補のリストが単一の要素からなる場合、このインデックスは、送信されないがデコーダ側で推測される。
ピクチャの少なくとも１つのブロックのために、動き／視差ベクトル予測因子候補のリストは、すでに符号化されたビューにおいて所定のデプス／視差情報および動き情報に基づいて導出される動き／視差ベクトルを含む。

【0067】

加えて、動き／視差補償予測のために用いられる動き／視差ベクトルおよび選択された予測因子（動き／視差ベクトル予測因子候補リストに、送信されたインデックスによって示される）間の差を特定する動き／視差ベクトル差は、ビットストリームの部分として送信され得る。１つの実施形態において、この動き／視差ベクトル差は、参照インデックスおよび選択された予測因子とは無関係に符号化され得る。本発明の別の実施形態において、動き／視差ベクトル差は、送信された参照インデックスおよび／または選択された予測因子に応じて符号化される。例えば、動き／視差ベクトル差は、特定の動き／視差予測因子が選択される場合、符号化され得るだけである。

【0068】

参照ピクチャリストおよび動き／視差ベクトル予測因子候補リストは、エンコーダおよびデコーダ側で同様に導出される。特定の構成において、１つ以上のパラメータは、参照ピクチャリストおよび／または動き／視差ベクトル予測因子候補リストが導出される方法を特定するために、ビットストリームにおいて送信される。本発明の好適な実施形態について、例えば２２などのディペンデントビューにおいてピクチャのブロックの少なくとも１つのために、動き／視差ベクトル予測因子候補のリストは、所定の（推定された）デプス値に基づいて、または、所定の（推定された）デプス値およびすでに符号化されたビューの動きパラメータに基づいて、導出される動きまたは視差ベクトル予測因子候補を含む。所定のデプス値およびすでに符号化されたビューの動きパラメータに基づいて導出される動き／視差ベクトル予測因子のほかに、動き／視差ベクトル予測因子の候補リストは、空間的に予測された動きベクトル（例えば、直接的に隣接したブロック（左または上のブロック）の動き／視差ベクトル、直接的に隣接したブロックの動き／視差ベクトルに基づいて導出される動き／視差ベクトル）および／または時間的に予測された動き／視差ベクトル（例えば、同じビューのすでに符号化されたピクチャにおいて同じ位置に配置されたブロックの動き／視差ベクトルに基づいて導出される動き／視差ベクトル）を含むことができる。所定のデプスデータ６４を用いることによって得られる動き／視差ベクトル候補および例えば２０などの他のビューの例えば４２などのすでに符号化された動きパラメータの導出は、以下において記載されるように実行され得る。

【0069】

現在のブロックのための代表デプスの導出に基づく導出

【0070】

本発明の好適な第１の実施形態において、最初に、所定のブロック５０のための代表デプス値ｄは、所定のサンプルに基づいたまたはブロックに基づいたデプスマップに基づいて得られる。１つの好適な実施形態において、所定のブロック５０の特定のサンプル位置ｘが考慮され、それは、左上のサンプル、右下のサンプル、中央のサンプルまたは他のいかなる特定のサンプルであってもよい。（所定のブロックごとまたはサンプルごとのデプスマップ６４によって与えられるような）サンプルと関連しているデプス値ｄ＝ｄ（ｘ）が、代表デプス値として用いられる。別の好適な実施形態において、所定のブロック（例えば、コーナーのサンプルまたはすべてのサンプル）の２つ以上のサンプル位置ｘ_iが考慮され、さらに、関連したデプス値ｄ_i＝ｄ（ｘ_i）に基づいて、代表デプスｄがデプス値ｄ_iの関数として計算される。代表デプス値は、デプス値ｄ_iのセットのいかなる関数によっても得られ得る。可能な関数は、デプス値ｄ_iの平均、デプス値ｄ_iのメジアン、デプス値ｄ_iの最小、デプス値ｄ_iの最大または他のいかなる関数である。所定のブロックのための代表デプス値ｄを得た後に、動き／視差ベクトル予測が、以下のように進行する。

【0071】

・ブロック５０のために符号化される参照インデックスがインタービュー参照ピクチャ（すなわち、現在のピクチャと同じ時間インスタンスであるが例えば２０などのすでに符号化されたビューにおいて符号化されたピクチャ）を参照する場合、代表デプス値は、所定のカメラまたは上述のｖ＝ｆ_vd（ｘ）のように変換パラメータに基づいて視差ベクトルｖに変換され、さらに、動き／視差ベクトル予測因子は、この視差ベクトルｖに等しく設定される。
・さもなければ（参照インデックスが時間的な参照ピクチャ（すなわち、同じビュー（例えば２２など）のすでに符号化されたピクチャ）を参照し、動きベクトル予測因子が所定の参照ビューまたは例えば２０などの参照ビューのセットに基づいて導出される。参照ビューまたは参照ビューのセットは、特定のアルゴリズムで決定され、または、ビットストリーム１４において信号で送られる。例えば、参照ビューは、同じ時刻のための前に符号化されたビューであり得り、または、それは、現在のビューに最も小さい距離を有する（同じ時刻のために）すでに符号化されたビューまたは特定のアルゴリズムによって決定されるすでに符号化されたビューの他のいかなるものでもあり得る。すでに符号化されたビューのセットは、現在の時刻のためのすでに符号化されたビューのセットまたはこのセットのいかなるサブセットでもあり得る。

【0072】

単一の参照ビューが用いられる場合、動きベクトル予測因子は、以下のように導出される。現在のビュー２２および参照ビュー２０のためのカメラパラメータまたは対応する変換パラメータに基づいて、代表デプスｄは、視差ベクトルｖ＝ｆ_vd（ｘ）に変換される。
そして、視差ベクトルｖを考えると、参照ビュー２０においてサンプル位置ｘ_rが決定される。したがって、現在のブロック５０の特定のサンプル位置ｘ_rが考慮され、それは、ブロックの左上のサンプル、右下のサンプル、中央のサンプルまたはブロックの他のいかなるサンプルであってもよい。参照サンプル位置ｘ_rは、視差ベクトルｖを現在のブロック内の特定のサンプル位置ｘに加えることによって得られる。視差ベクトルｖがサブサンプル精度で与えられる場合、それがサンプル位置に加えられる前に、それは、サンプル精度にラウンドされる。参照サンプル位置ｘ_rを考えると、参照サンプル位置ｘ_rをカバーする参照ビュー２０の（現在のピクチャとしての現在の時刻で）ピクチャ３２ｔ₁においてブロック４０（ブロックは、固有の予測パラメータと関連しているサンプルのセットである）が決定される。この参照ブロック４０がインター符号化モード（すなわち、ＳＫＩＰまたはＭＥＲＧＥモードを含む動き補償予測を使用するモード）において符号化される場合、参照ピクチャまたはこのブロックを予測するために用いられる参照ピクチャが調べられる。ｔ_C,Rを、現在のブロック５０のために符号化される参照インデックスであると参照される（現在のビューにおいて）参照ピクチャの時刻であるとする。さらに、

【0073】

【0074】

さらなる説明のために、参照ビュー２０において動きが与えられる現在のブロック５０_Cのための動きベクトルおよび（現在のブロック５０_C内の特定のサンプル位置を用いて）現在のピクチャ３２ｔ₂（Ｔ）のためのデプスマップ推定を導出するための基本的なプロセスは、可能な実施のより詳細な説明の可能なソースとして役立つように図１に図４の説明のマッピングを容易にするために図１におけるような類似した参照符号を用いて図４において表される。現在のブロック５０_Cにおけるサンプル位置ｘおよびこのサンプル位置のためのデプス値ｄ（それは、デプスマップの推定６４によって与えられる）を考えると、視差ベクトル１０２が導出され、さらに、この視差ベクトル１０２に基づいて、参照ビュー２０における参照サンプル位置ｘ_Rが導出される。そして、参照サンプル位置ｘ_Rをカバーする参照ビューピクチャ３２ｔ₁（Ｔ）においてブロック４０_Rの動きパラメータ４２_Rが、現在のビュー２２において現在のブロック５０_Cのための動きパラメータのための候補として用いられる。または、代わりに、参照ブロックの動きパラメータのサブセットが、現在のブロック５０_Cのために用いられる。現在のブロック５０_Tのための参照インデックスが与えられる場合、現在のブロック５０_Cのための所定の参照インデックスと同じ時Ｔ（またはピクチャ順序カウントまたは参照インデックス）を参照する参照ブロック４０_Rの動きパラメータ４２_Rだけが考慮される。

【0075】

所定のブロックのための複数のデプス値に基づく導出

【0076】

本発明の第２の好適な実施形態において、現在のブロック５０_Cは、代表デプスによって表されないが、ブロック内の異なるサンプル位置のための異なるデプス値が、導出され、さらに、候補動きベクトル予測因子のセットを導出するために用いられる。現在のブロックを考えると、サンプル位置ｘⁱのセットが考慮される。サンプル位置のセットは、左上のサンプル、右上のサンプル、右下のサンプル、左下のサンプルまたはブロックの中央のサンプルを含むことができる。サンプル位置ｘⁱごとに、デプス値ｄⁱは、所定のデプスマップによって割り当てられる。所定の参照インデックスが時間的またはインタービュー参照を参照するかどうかに応じて、以下のことが適用される。

【0077】

・ブロック５０_Cのために符号化される参照インデックスがインタービュー参照ピクチャ（すなわち、すでに符号化されたビューにおけるが、現在のピクチャと同じ時間インスタンスで符号化されたピクチャ）を参照する場合、デプス値ｄⁱは、上述のように所定のカメラまたは変換パラメータに基づいて視差ベクトルｖⁱに変換され、ｖ^t＝ｆ_vd（ｄⁱ）である。そして、動き／視差ベクトル予測因子は、これらの視差ベクトルｖⁱの関数として導出される。ｖⁱに等しく設定され得り、または、それは、視差ベクトルｖⁱのメジアン（または成分ごとのメジアン）に設定され得り、または、それは、視差ベクトルｖⁱの平均に設定され得り、または、それは、視差ベクトルｖⁱの他のいかなる関数によっても決定され得る。
・さもなければ、（参照インデックスは、時間的な参照ピクチャ（すなわち、同じビューのすでに符号化されたピクチャ）を参照し）、動きベクトル予測因子は、所定の参照ビューまたは参照ビューのセットに基づいて導出される。サンプル位置ｘⁱごとに、デプス値ｄ_iは、導出され、さらに、視差ベクトルｖⁱにマッピングされる。そして、（利用できるようにマークされる）視差ベクトルｖⁱごとに、動きベクトルｍⁱは、（第１の好適な実施形態のために）上に特定されるアルゴリズムのいずれかによって導出される。それから、最終的な動きベクトル予測因子は、動きベクトルｍⁱの関数によって与えられる。動きベクトル予測因子は、ほとんどの場合に発生する動きベクトルｍⁱに等しく設定され得り、または、それは、動きベクトルｍⁱのメジアン（または成分ごとのメジアン）に設定され得り、または、それは、動きベクトルｍⁱの平均に設定され得り、または、それは、動きベクトルｍⁱの他のいかなる関数によっても決定され得る。

【0078】

方法２：すべての関連した動きパラメータが導出されるモード

【0079】

本発明の別の好適な実施形態において、マルチビュービデオ符号化スキームは、符号化モードを含み、そこにおいて、（仮説の数、参照インデックスおよび動きベクトルを含む）すべての動きパラメータは、所定のデプスマップ６４およびすでに符号化されたビュー２０の動きパラメータ４２に基づいて導出される。本発明の特定の実施形態において、このモードは、（それが現在のＨＥＶＣのワーキングドラフトにおいてマージシンタックスに用いられるように）候補動きパラメータのリストの候補として符号化され得る。要するに、エンコーダおよびデコーダが、同様にブロックのための動きパラメータ候補のリストを導出し、そこにおいて、動きパラメータ候補の１つは、すでに符号化されたビュー２０の動きに基づいて導出される動きパラメータである。そして、これらの動きパラメータ候補のどれが用いられるかをデコータに信号で送られるインデックスが符号化される。マージシンタックスとの関連で、現在のブロックが参照ビューにおいて（類似したコンテンツを表す精神で）「同じ位置に配置された」ブロックとマージされることが論じられ得る。
別の実施形態において、特定のシンタックスエレメントは、新しい符号化モードの使用を信号で送る。わずかに修正されたバージョンにおいて、予測信号を生成するために用いられる動き仮説の数がビットストリーム内に明確に信号で送られ得り、さらに、参照インデックスおよび関連した動きベクトルだけが導出される。別の修正されたバージョンにおいて、動きベクトル差は、加えて、導出された動きパラメータをリファインするために送信され得る。

【0080】

複数の潜在的な参照インデックスに基づく導出

【0081】

本発明の第１の好適な実施形態において、現在のブロック５０_Cのための動きパラメータの導出は、上の方法１のために記載される概念のいずれかを用い、さらに、１つを超える潜在的な参照インデックスを考慮する。以下において、最初に、特定の動き仮説（および参照リスト）のための参照インデックスおよび関連した動きベクトルが導出され得る方法を記載する。最初のステップとして、所定の参照リストのための参照インデックスの順序付けられたセットが決定される。これは、例えばちょうど単一の参照インデックス（例えば、参照リストのための最初のインデックスまたは時間的な参照ピクチャを表す最初のインデックス）であり得り、または、それは、参照リストの最初の２つのインデックスからなることができ、または、それは、参照リストのすべての参照インデックスからなることができ、または、それは、時間的な参照ピクチャを表す最初の参照インデックスおよび時間的な参照ピクチャ（すなわち、リストにおける第２の時間的な参照ピクチャまたは第１のインタービュー参照ピクチャ）を表す最初の参照インデックスに等しくない最初の参照インデックスからなることができる。参照インデックスの他のいかなる定義されたセットも可能である。参照インデックスの順序付けられたセットを考えると、最初の参照インデックスが考慮され、さらに、この参照インデックスのための動きベクトルが上の方法１のために記載される実施形態のいずれかによって導出される。導出された動きベクトルが利用できないようにマークされる場合、次の参照インデックスが考慮され、さらに、対応する動きベクトルが導出される。このプロセスは、利用できる動きベクトルがリターンされまたはリストのすべての参照インデックスがテストされているまで続けられる。利用できる動きベクトルが見つからない場合、最終的な動きパラメータが利用できないようにマークされる。１つの構成において、利用できない動きパラメータは、動きパラメータの候補リストに挿入されない。第２の構成において、利用できない動きパラメータは、（ロバスト性を構文解析するために）動きパラメータの候補リストに挿入されるが、エンコーダは、利用できない動きパラメータを選択することが許されない。第３の構成において、利用できない動きパラメータは、特定の動きパラメータに置き換えられ、それは、例えば、ゼロ参照インデックスおよびゼロ動きベクトル、または、現在のブロックの空間的な隣接において動きパラメータに基づいて導出される参照インデックスおよび動きベクトルであってもよい。新しい符号化モードが特定のシンタックスエレメントによって信号で送られ、さらに、導出された動きパラメータが利用できない場合、対応するシンタックスエレメントは送信されなく（さらに、符号化モードが用いられなく）、または、エンコーダは新しい符号化モードの使用を特定するシンタックスエレメントのための値を選択することが許されなく、または、利用できない動きパラメータは特定の動きパラメータに置き換えられる（上を参照）。

【0082】

動き仮説の数または用いられた参照リストの数が明確に符号化される場合、参照インデックスおよび動きベクトルからなる動きパラメータのセットは、上に特定されるように、動き仮説または参照リストごとに決定される。

【0083】

動き仮説の数または用いられた参照リストの数が明確に符号化されない場合、動き仮説の数または使用された参照リストも、参照ビュー（ｓ）において実際に符号化された動きパラメータに基づいて導出される。動き仮説の最大数または用いられ得る参照リストの最大のセットを考えると、動き仮説（参照リスト）のそれぞれのために、動きパラメータのセットが上述のように導出される。そして、動き仮説の数（用いられた参照ピクチャリストのセット）は、導出された動きパラメータが利用できるようにマークされる仮説（参照リスト）によって与えられる。例えば、２つの潜在的な動き仮説を有し、さらに、両方の動き仮説のために動きパラメータ（参照インデックスおよび動きベクトル）の有効なセットが導出される場合、新しい符号化モードは、導出された動きパラメータを有する双方向予測を特定する。しかしながら、仮説（参照リスト）の１つのためだけに、動きパラメータの有効なセットが導出される場合、新しい符号化モードは、有効な動きパラメータのセットを有する一方向予測（１つの仮説）を特定する。動き仮説（参照リスト）のいずれについても、動きパラメータの有効なセットが導出されない場合、動きパラメータの完全なセットが、利用できないようにマークされる。この場合、動きパラメータのセットは、候補動きパラメータのリストに加えられなく、または、それは、（ロバスト性を構文解析するために）加えられるが、エンコーダによって用いられなく、または、それは、動きパラメータの特定の定義されたセット（例えば、１つの動き仮説、０に等しい参照インデックスおよび０に等しい動きベクトル）に置き換えられる。潜在的な動き仮説の１つ以上のための参照インデックスの別のセットをチェックすることも可能である。

【0084】

単一の代表デプス値に基づく導出

【0085】

本発明の第２の好適な実施形態において、最初に、参照ビューにおいて参照ブロックが導出され、そして、このブロックの動きパラメータが現在のブロックのための動きパラメータ候補として用いられる。ここで、動き仮説の数と参照インデックスおよび動きベクトルとが、参照ビューにおいて参照ブロックからコピーされる。この実施形態のための基本的な概念が、図２において示され、さらに、上で簡潔に述べられている。最初に、代表デプス値ｄ、およびこのデプス値に基づいて視差ベクトルｖ、および参照サンプル位置ｘ_Rが、方法１のために記載されるアルゴリズムのいずれかによって導出される。そして、参照サンプル位置ｘ_Rをカバーする参照ビューにおいて（参照ブロックとも呼ばれる）ブロックが考慮される。現在のブロックのための動きパラメータ（または動きパラメータのための１つの候補）が、導出された参照ブロックの動きパラメータに等しく設定される。動きパラメータ（特に参照インデックスおよび動き仮説の数）が、例えば以下のシナリオにおいて修正されることも可能である。

【0086】

・参照ビューのための参照ピクチャリストが現在のビューのための参照ピクチャリストより異なる方法で構成される（すなわち、特定の参照インデックスが両方のリストのための同じアクセスユニットを常に参照しない）場合、現在のブロックのための参照インデックスは、それが参照ビューにおいて対応する参照ピクチャと同じ時刻にピクチャ（または同じピクチャ順序カウントを有するピクチャ）を参照する方法で修正され得る。
・参照ビューにおいて参照インデックスがインタービュー参照ピクチャを参照する場合、現在のビューのための参照インデックスは、それが選択されたインタービュー参照ピクチャ（例えば、現在のビューと同じインタービュー参照ピクチャまたは参照ビューによって表される参照ピクチャ）も参照する方法で修正され得る。この場合、動きベクトルも、視差ベクトルに置き換えられなければならなく、それは、代表デプスｄを視差ベクトルに変換することによって得られ得る。
・参照ブロックにおいて用いられるすべての参照ピクチャのために対応するピクチャ（同じ時刻またはピクチャ順序カウントまたは参照インデックス）が現在のブロックのための参照リストにおいて利用できない場合、現在のブロックに利用できない参照ピクチャを参照する動き仮説が存在しないよう考慮され得る。
・参照ブロックがイントラ符号化される場合、動きパラメータは、視差補償予測のための動きパラメータに置き換えられ得る。例えば、参照インデックスは、それが参照ビューピクチャを参照する方法で設定され得り、さらに、動きベクトルは、代表デプスｄを視差ベクトルに変換することによって得られる視差ベクトルに等しく設定され得る。代案として、動きパラメータは、利用できないようにマークされ得る。

【0087】

方法１との結合

【0088】

実施形態において、方法１（参照インデックスの符号化、動きベクトルまたは動きベクトル予測因子の導出）のための実施形態によって記載される符号化モードは、方法２（動き仮説の数、参照インデックスおよび動きベクトルまたは動きベクトル予測因子を含むすべての動きパラメータの導出）の実施形態によって記載される符号化モードに加えてサポートされ得る。

【0089】

方法３：すべての関連した動きパラメータおよびブロック分割が導出されるモード

【0090】

本発明の別の好適な実施形態において、マルチビュービデオ符号化スキームは、符号化モードを含み、そこにおいて、所定のブロックのサブブロックのための異なる動きパラメータは、例えば２０などのすでに符号化された参照ビューおよび推定されたデプスマップ６４において動きパラメータに基づいて導出される。または、言い換えれば、マルチビュービデオ符号化スキームは、ブロックのための符号化モードを含み、そこにおいて、より小さいサブブロックへのブロック５０_Cの分割およびサブブロックと関連する動きパラメータは、すでに参照ビューおよび推定されたデプスマップにおいて動きパラメータに基づいて導出される。

【0091】

この符号化モードのために、最小のブロックサイズが定義され、それは、動き／視差補償予測のためにサポートされる最小のブロックサイズに等しくてもよくまたは動き／視差補償予測のためにサポートされる最小のブロックサイズの倍数であってもよい。所定の現在のブロック５０_Cが、定義された最小のブロックサイズより小さいかそれに等しい場合、現在のブロック５０_Cは、動き／視差補償の目的のためにより小さいブロックに分割されなく、さらに、関連した動きパラメータは、上の方法２のための実施形態のいずれかのために記載されるように導出される。所定の現在のブロックが定義された最小のブロックサイズよりも大きい場合、それは、定義された最小のブロックサイズに等しいサイズを有するサブブロックに分割される。これらのサブブロックのそれぞれのために、動きパラメータのセットは、上述の方法２のための実施形態のいずれかを用いて導出される。

【0092】

サブブロックのいずれかのための動きパラメータが利用できないようにマークされる場合（例えば、対応する参照ブロック４０_Rがイントラモードで符号化され、または、それがインタービュー予測を用いるだけであるので）、それらは、動きパラメータが利用できる隣接したサブブロックのいずれかの動きパラメータに置き換えられ得る。そのようなアルゴリズムは、隣接したブロックが特定の定義された順序（それは、置き換えられるサブブロックの位置に依存することができる）でテストされる方法で作動することができ、さらに、置き換えられるサブブロックの動きパラメータは、有効な動きパラメータを有する特定された順序で最初のサブブロックの動きパラメータに等しく設定される。

【0093】

本発明の特定の実施形態において、所定の最小のブロックサイズを有する得られたサブブロックは、所定の現在のブロック５０_Cの分割を特定する。本発明の別の実施形態において、得られたサブブロックは、動き／視差補償予測のために用いられるより大きいブロックを形成するために、関連した動きパラメータに基づいて結合され得る。サブブロックの結合は、階層的に進行することができる。したがって、最初の階層ステージにおいて、４つの隣接したブロックのセットが、考慮され得る。動き仮説の数および関連した参照ピクチャおよび動きベクトルが全４つのサブブロックのために同じである場合、４つのサブブロックは、（元のサブブロックの動きパラメータと同一である動きパラメータで）より大きいブロックに要約される。次の階層ステージにおいて、（４つの元のサブブロックからなる）次の階層レベルの４つのブロックが考慮される。全４つのブロックが前の階層ステージにおいてより大きいブロックに要約され、さらに、動き仮説の数および関連した参照ピクチャおよび動きベクトルが全４つのブロックのために同じである場合、これらの４つのブロックは、（元のサブブロックの動きパラメータと同一である動きパラメータで）より大きいブロックに要約される。このアルゴリズムは、所定の現在のブロックのための最高の可能な階層レベルまで続けられる。極端な場合において（すべてのサブブロックの動きパラメータが同じである場合）、すべての現在のブロックは、分割されないが、動きパラメータの固有のセットと関連している。わずかに修正されたバージョンにおいて、４つのブロックは、動きベクトルが正確に同じでない場合に、より大きいブロックに要約されるが、動きベクトル間の差（それは、最大の成分差またはベクトル差の絶対値として定義され得る）は、定義された閾値よりも小さいかそれに等しい（動き仮説の数および使用された参照ピクチャは、まだ同じでなければならない）。この場合、より大きいブロックと関連している動きベクトルは、４つのサブブロックの動きパラメータの関数として決定される。可能な関数は、動きベクトルの平均、動きベクトルのメジアン（または成分ごとのメジアン）、いかなる特定のサブブロックの動きベクトルまたは４つのサブブロックにおいてほとんどの場合に発生する動きベクトル）である。

【0094】

本発明の実施形態において、方法１（参照インデックスの符号化、動きベクトルまたは動きベクトル予測因子の導出）のための実施形態によって記載される符号化モードは、方法３（ブロック分割並びに動き仮説の数、参照インデックスおよび動きベクトルまたは動きベクトル予測因子を含むすべての動きパラメータの導出）の実施形態によって記載される符号化モードに加えてサポートされ得る。加えて、方法２のいかなる実施形態による符号化モードも、サポートされ得る。

【0095】

動きおよび視差データの符号化

【0096】

すでに上述のように、本発明の実施形態を表す符号化モードの使用は、デコーダに信号で送られることを必要とする。これは、異なる方法で実現され得る。１つのバージョンにおいて、特定のシンタックスエレメント（それは、フラグであってもよい）は、シンタックスに挿入され得り、それは、従来に導出された動きベクトル予測因子（または動きベクトルまたは動きパラメータセット）が用いられるかどうか、または、すでに符号化されたビューのデプスマップ推定および動きパラメータを用いて導出されている動きベクトル予測因子（または動きベクトルまたは動きパラメータセット）が用いられるかどうかを信号で送る。別のバージョンにおいて、すでに符号化されたビューのデプスマップ推定および動きパラメータを用いて導出されている動きベクトル予測因子（または動きベクトルまたは動きパラメータセット）は、従来に導出された動きベクトル予測因子（または動きベクトルまたは動きパラメータセット）の候補リストに挿入され得り、さらに、どの動きベクトル予測因子（または動きベクトルまたは動きパラメータセット）が用いられるかを信号で送るインデックスが送信される。特定のシンタックスエレメントまたは候補リストへのインデックスは、固定長の符号化、可変長の符号化、算術符号化（コンテキスト適応バイナリ算術符号化を含む）またはＰＩＰＥ符号化を用いて送信され得る。コンテキスト適応符号化が用いられる場合、コンテキストは、隣接したブロックのパラメータ（例えば、特定のシンタックスエレメントまたは候補リストへのインデックス）に基づいて導出され得る。

【0097】

本発明の好適な実施形態において、マルチビュービデオ符号化スキームは、１つ以上の動き仮説が参照ピクチャインデックス、動きベクトル予測因子インデックスおよび動き仮説ごとの動きベクトル差を送信することによって信号で送られる符号化モードを含む。この符号化モードのために、候補動きベクトル予測因子のリストは、送信された参照ピクチャインデックスに基づいて導出され、さらに、送信されたインデックスは、動きベクトル候補のどの１つが用いられるかを信号で送る。実施形態を用いることによって、（少なくとも１つのブロックのための）動きベクトル候補の１つが、すでに符号化されたビューのデプスマップ推定および動きパラメータに基づいて導出される（上の方法１を参照）。わずかに修正されたバージョンにおいて、動きベクトル差は、送信されないが、（すべての動きベクトル候補のために、または、すでに符号化されたビューのデプスマップ推定および動きパラメータに基づいて導出されている動きベクトル候補のためだけに）０に等しいと推測される。

【0098】

本発明の別の好適な実施形態において、マルチビュービデオ符号化スキームは、１つ以上の動き仮説が動きパラメータインデックス（またはマージインデックス）を送信することによって信号で送られる符号化モードを含む。この符号化モードのために、（動き仮説の数、参照インデックスおよび動きベクトルを含む）動きパラメータの候補セットのリストが、導出される。実施形態を用いることによって、（少なくとも１つのブロックのための）動きパラメータの候補セットの１つは、すでに符号化されたビューのデプスマップ推定および動きパラメータに基づいて導出される（上の方法２および３を参照）。この実施形態の特定のバージョンにおいて、すでに符号化されたビューのデプスマップ推定および動きパラメータに基づいて導出される（少なくとも１つのブロックのための）動きパラメータの候補セットは、現在のブロックのための分割情報を含む（上の方法３を参照）。この実施形態のわずかに修正されたバージョンにおいて、動きベクトル差は、加えて、（潜在的に動きパラメータの選択されたセットに応じて）送信され得る。

【0099】

本発明の別の実施形態において、マルチビュービデオ符号化スキームは、方法２または３に対応する符号化モードを含み、さらに、シンタックスは、この符号化モードが用いられるかどうかを特定するフラグを含む。

【0100】

現在のピクチャのためのデプスマップ推定の導出

【0101】

例えば２０などのすでに符号化されたビューの動きパラメータに基づく現在のピクチャ５０_Cのブロックのための動きパラメータの導出は、今までに記載されるように、現在のピクチャのためのデプスマップの推定６４が利用できることを必要とする。上述のように、このデプスマップ推定６４は、サンプルごとのデプスマップ（デプス値が、現在のピクチャのサンプルごとに特定される）またはブロックごとのデプスマップ（デプス値が、サンプルのブロックのために特定される）を特定することができる。デプスマップ推定６４は、すでに符号化されたパラメータ、例えばデプスマップまたは視差ベクトルおよび動きパラメータなどに基づいて導出され得る。原理的には、現在のピクチャのためのデプスマップ推定６４を導出するための可能性は、２つのクラスに分類され得る。１つのクラスのために、デプスマップ推定は、実際に符号化されたデプスマップに基づいて導出される。
以下に記載される対応する可能性は、符号化されたデプスマップが（それらが用いられる前に）ビットストリームに存在することを含む。第２のクラスの概念は、デプスマップがビットストリームの部分として符号化されることを必要としない。その代わりに、デプスマップ推定は、符号化された視差ベクトルに基づいて導出される。手順の第２のクラスは、デプスマップがビットストリームの部分として符号化されるかどうかとは無関係に適用され得る。これは、以下の説明がこれまでに個々の態様に関する転送可能な詳細を個々に提供する図１および図２に関して上述される場合である。デプスマップが符号化されるときに、方法の両方のクラスが適用され得ることに留意されるべきである。異なるフレームのための異なる方法を選択することも可能である。

【0102】

以下において、（符号化されたデプスマップの有無で）デプスマップ推定を導出するための基本的な概念および好適な実施形態が記載される。

【0103】

クラス１：符号化されたデプスマップに基づく導出

【0104】

現在のピクチャ３２ｔ₂（Ｔ）と関連しているデプスマップが現在のピクチャの前に符号化される場合、再構成されたデプスマップは、現在のピクチャのための現実のデプスマップの推定として直接的に用いられ得る。符号化されたデプスマップを（例えば、それのフィルタリングを適用することによって）前処理し、さらに、動きパラメータを導出するために用いられるデプスマップの推定として前置フィルタリングの結果を用いることも、可能である。

【0105】

大部分の構成において、特定のピクチャと関連しているデプスマップは、ピクチャ３２ｔ₂（Ｔ）の後に（しばしば関連したピクチャの直接的に後に）符号化される。そのような構成は、従来のビデオピクチャを符号化するために送信される符号化パラメータ（例えば動きパラメータなど）が、全体の符号化効率を改善するデプスマップを符号化のために用いられる符号化パラメータを予測するために用いられ得ることを可能にする。しかし、そのような構成において、ピクチャと関連しているデプスマップは、動きパラメータ５４を導出する際にデプスマップのための推定として用いられることができない。しかしながら、例えば２０などの（同じアクセスユニットの）すでに符号化されたビューのためのデプスマップは、通常利用でき、さらに、現在のピクチャのデプスマップの推定を導出するために用いられ得る。少なくとも、ベースビュー（インディペンデントビュー）２０のデプスマップは、いかなるディペンデントビュー２２を符号化する前に利用できる。いかなるビューのデプスマップも、（例えば焦点距離およびカメラ間の距離などのカメラパラメータと結合して）、ある程度、投影されたビデオシーンのジオメトリを表すので、それは、別のビューにマッピングされ得る。したがって、現在のピクチャ３２ｔ₂（Ｔ）のためのデプスマップが利用できない場合、同じアクセスユニット２０のすでに符号化されたビューのための符号化されたデプスマップが、現在のビューにマッピングされ、さらに、このマッピングの結果が、デプスマップ推定として用いられる。

【0106】

以下において、このマッピングを実現するための特定のアルゴリズムを記載する。上述のように、それぞれのデプス値ｄは、２つの所定のビュー間の変位ベクトルｖに対応する。送信されたカメラまたは変換パラメータを考えると、デプス値ｄは、マッピングｖ＝ｆ_vd（ｄ）によって変位ベクトルに変換され得る。そのため、（すでに符号化されている）参照デプスマップにおいて特定のサンプル位置ｘ_Rでデプス値ｄを考えると、現在のデプスマップにおいて同じデプス値のサンプル位置ｘ_Cは、視差ベクトルをｘ_Rに加えることｘ_C＝ｘ_R＋ｖによって得られる。そのため、参照デプスマップのそれぞれのデプス値は、現在のピクチャのためのデプスマップ推定６４を得るために、現在のデプスマップのサンプル位置にマッピングされ得る。しかしながら、１つのビューにおいて見えるオブジェクトの部分が別のビューにおいて見えないので、１つを超えるデプス値が割り当てられる現在のビュー２２のためのデプスマップにおいてサンプル位置があり、さらに、デプス値が割り当てられない現在のビューのためのデプスマップにおいてサンプル位置がある。これらのサンプル位置は、以下のように処理され得る。

【0107】

・１つを超えるデプス値が特定のサンプル位置に割り当てられる場合、それは、フォアグラウンドオブジェクトがバックグラウンドオブジェクトの前に変位されることを意味する。したがって、カメラまでの最も小さい距離を表す（潜在的なデプス値の）デプス値ｄは、そのようなサンプル位置に割り当てられる。
・デプス値が特定のサンプル位置にさらに割り当てられない場合、それは、フォアグラウンドオブジェクトが移動し、さらに、前にカバーされたバックグラウンドが見えることを意味する。そのような領域のために行われ得る最高のものは、非閉塞バックグラウンドが隣接したバックグラウンドサンプルと比べて同じデプスを有すると仮定することである。そのため、デプス値が割り当てられていない領域は、カメラまでの最も大きい距離を表す周囲のサンプルのデプス値で満たされる。

【0108】

このアルゴリズムは、以下においてさらに詳細に特定される。以下の説明を単純化するために、より大きいデプス値がより小さいデプス値よりもカメラまでのより小さい距離を表すと仮定した（しかし、そのアルゴリズムは、逆の仮定のために容易に修正され得る）。

【0109】

１．現在のピクチャのためのデプスマップ（推定）のすべてのサンプルは、定義されていないデプス値（例えば、－１）に設定される。
２．参照デプスマップのサンプル位置ｘ_Rごとに、以下のことが適用される。
ａ．サンプル位置ｘ_Rのデプス値ｄは、所定のカメラまたは変換パラメータを用いて視差ベクトルｖに変換され、視差ベクトルｖは、（該当する場合に）サンプル精度にラウンドされ、さらに、現在のピクチャ内のサンプル位置は、
ｘ_C＝ｘ_R＋ｖ＝ｘ_R＋［ｒｏｕｎｄ（ｆ］_vd（ｄ））
によって導出される。
ｂ．現在のピクチャにおいてサンプル位置ｘ_Cのデプス値が定義されていない値を有する場合、サンプル位置のデプス値は、デプス値ｄに等しく設定される。
ｃ．さもなければ、現在のピクチャにおいてサンプル位置ｘ_Cのデプス値は、ｄ_x＜ｄ
で定義された値ｄ_xを有する場合、サンプル位置のデプス値は、デプス値ｄに等しく修正されさらに設定される。
３．定義されていないデプス値を有する現在のデプスマップの領域は、特定のホールフィルングアルゴリズムによって満たされる。そのようなホールフィリングアルゴリズムのために、現在のビューにおいてカバーされていないバックグラウンドのデプス値は、周囲のデプス値のサンプルに基づいて導出される。例えば、周囲のサンプルの最も小さいデプスマップ値が割り当てられ得る。しかし、より高度なホールフィリングアルゴリズムが可能である。

【0110】

所定のビューのデプスマップを異なるビューにマッピングするためのアルゴリズムは、非常に単純な例に基づいて図５にさらに示される。図５は、１つのビュー２０のために与えられる例えば３２ｔ₁（Ｔ）などのデプスマップを別のビュー２２にマッピングするための可能なプロセスを示す。左側に、参照ビューのための所定のデプスマップが示され、そこにおいて、斜線領域は、バックグラウンドを表し、さらに、白色領域は、フォアグラウンドオブジェクトを表し、図５の中央において、中央に、デプス値に対応する視差ベクトルを有する所定のマップのサンプルを置換し、さらに、１つを超えるサンプルが投影される位置のためのフォアグラウンドオブジェクトを保つことによって得られる変換されたデプスマップが示される。黒色領域は、サンプルが投影されていない非閉塞領域に表す。
図５は、右側に、バックグラウンドのためのデプス値によって非閉塞領域を満たしたすなわちｂａバックグラウンドフィリングの後の変換されたデプスマップを示す。

【0111】

本発明の特定の実施形態において、ホールフィリングは、変換されたデプスマップの線を別々に処理する特に単純なアルゴリズムによって実現され得る。連続した定義されていないデプス値からなる線分ごとに、２つの周囲の値が考慮され、さらに、線分のすべてのデプスサンプルは、これらの２つのデプス値（バックグラウンドデプス）のより小さいものに置き換えられる。線分は、（それがイメージ境界に配置されるので）１つの周囲のデプス値だけを有する場合、線分のデプスサンプルは、この値に置き換えられる。完全な線がこのプロセスの後に定義されていない値を有する場合、同じプロセスは、デプスマップの列のために適用される。

【0112】

上のアルゴリズムがサンプルごとのデプスマップのために記載されているにもかかわらず、それは、（より少ない複雑さをもたらす）ブロックごとのデプスマップに適用され得り、または、参照ビューのための所定のサンプルごとのデプスマップは、最初に、（ダウンサンプリングによって）ブロックごとのデプスマップに変換され得り、そして、そのアルゴリズムは、ブロックごとのデプスマップのために適用され得る。

【0113】

クラス２：符号化された視差および動きベクトルに基づく導出

【0114】

【0115】

デプスマップ推定を生成するという考えは、（それらがデプス推定器２８によって実行されるように、２つのビューでマルチビュー符号化するための処理ステップを示す）いくつかの図によってさらに示される。符号化／復号化は、ランダムアクセスユニットから始まり、それのために、ベースビューピクチャ３２ｔ₁（０）がイントラ符号化され、さらに、非ベースビューピクチャ３２ｔ₂（０）がイントラおよびインタービュー予測（しかし、動き補償予測でない）だけを用いて符号化される。ランダムアクセスユニット「０」において第２のビュー２２を符号化した後に、この第２のビュー２２のためのブロックに基づいたデプスマップ推定は、図６に示されるように、このビュー２２のための符号化された視差ベクトル１２２を用いて生成される１２０。そして、第２のビュー２２のためのこのデプスマップ推定６４₂（０）が第１のビュー（ベースビュー）２０にマッピングされ１２４、さらに、第１のビュー２０のためのデプスマップ推定６４₁（０）が得られる。ランダムアクセスユニットの第２のビュー２２のために、ベースビューの動きパラメータおよび視差推定に基づく動き／視差パラメータの導出が用いられることができないことに留意されるべきであり、その理由は、ランダムアクセスユニットの第２のビュー２２が符号化されるときに、デプスマップの推定が利用できないからである。

【0116】

第３のビューが符号化される場合、最初の２つのビューのいずれか（好ましくは第２のビュー）のデプスマップ推定は、第３のビューのためのデプスマップ推定をもたらす第３のビューにマッピングされ得り、それは、第３のビューのための動きパラメータを導出するために用いられ得る。そして、第３のビューを符号化した後に、ブロックに基づいたデプスマップは、第３のビュー（それは、より後で、以下のいかなるビューのためのデプスマップ推定を生成するために用いられ得る）のための符号化された視差ベクトルを用いて生成され得る。いかなる以下のビューのためにも、基本的に、第３のビューに関して同じプロセスが用いられ得る。

【0117】

非ランダムアクセスユニットにおいてベースビューのピクチャは、主に動き補償予測によって典型的に符号化され、その理由は、動き補償予測が、通常、イントラ符号化よりも良好な符号化効率を与えるからである。ベースビューのピクチャが符号化された後に、このピクチャのためのデプスマップの推定は、図７に示されるように、ピクチャ３２ｔ₁（１）のための動きパラメータ４２（１）を用いて生成される１４０（図１において７１に匹敵）。したがって、新しいデプスマップ推定６４₁（１）のそれぞれのブロックは、対応する参照ピクチャまたはピクチャのためのデプスマップ推定６４₁（０）（図１において７４に匹敵）を動き補償することによってつくられる１４０。用いられる参照ピクチャおよび対応する動きベクトル４２（１）は、関連したピクチャのためのデータストリームにおいて符号化される参照ピクチャおよび動きベクトルである。イントラ符号化されたブロックのためのデプスサンプルは、空間予測によって得られ得る。ベースビューのためのこのデプスマップ推定は、動きパラメータを導出するために用いられ得る第２のビューのためのデプスマップ推定６４₂（１）を得るために、すなわちインタービュー冗長性低減を実行するために、第２のビューのための座標系にマッピングされる１４２（図１において７６に匹敵）。

【0118】

いかなるさらなる符号化されたビューのためにも、デプスマップ推定は、いかなるすでに符号化されたビュー（ベースビュー、第２のビュー、その他）のためのデプスマップ推定も対応するビューにマッピングすることによって生成され得る。

【0119】

第２のビュー（またはいかなる以下のビュー）のピクチャを実際に符号化した後に、関連したデプスマップ推定は、図８に示されるように、実際に符号化された動きおよび視差ベクトルを用いて更新され得る１６０（図１において７７に匹敵）。視差補償を用いて符号化されるブロックのために、デプスマップサンプルは、上述のように符号化された視差ベクトル６０をデプス値に変換すること１６２によって得られ得る。動き補償モードを用いて符号化されるブロックのために、デプスサンプルは、参照フレーム３２ｔ₂（０）のためのデプスマップ推定を動き補償することによって得られ得る。または、代わりに、現在のデプスマップ推定６４₂（１）に加えられるデプス補正値が、現在のおよび参照ビューのための符号化された動きパラメータ４２（１）および５４（１）に基づいて導出され得る。イントラ符号化されたブロックのデプスサンプルは、空間予測を用いてまたは隣接したブロックの動きパラメータを用いて予測され得る。第２のビューのための更新されたデプスマップ推定７４が生成された後に、このデプスマップ推定７４は、ベースビュー２０のためのデプスマップ更新６４´₁（１）（図１において７４に匹敵）を得るためのベースビュー２０にマッピングされる１６４（図１において７８に匹敵）。

【0120】

２つを超えるビューが符号化される場合、これらのビューのためのデプスマップ更新プロセスは、第２のビューに関して同じである。しかしながら、ベースビューデプスマップは、第２のビューが符号化された後に、更新されるだけである。

【0121】

デプスマップのための動き補償動作は、符号化されたサブサンプルの正確な動きベクトルを用いて実行され得る。しかしながら、それは、デプスマップのための動き補償動作がサンプル（またはブロック）精度で実行される場合、（複雑さおよび符号化効率の観点から）しばしば好ましい。したがって、実際に符号化された動きベクトルは、サンプルまたはブロック精度にラウンドされ、さらに、これらのラウンドされたベクトルは、動き補償を実行するために用いられる。さらに、記載された概念は、サンプルごとおよびブロックごとのデプスマップ推定のために適用され得る。ブロックに基づいたデプスマップを用いる利点は、すべての処理ステップのためのより少ない複雑さおよび必要メモリである。ブロックに基づいたデプスマップについて、それぞれのデプスサンプルは、関連したピクチャ（例えば４ｘ４ブロックまたは８ｘ８ブロック）のサンプルのブロックのためのデプスを表す。すべての記載された動作は、直接的な方法で（すなわち、１つのデプスサンプルがちょうど１つのテクスチャサンプルの代わりに倍数を表す、単にデプスマップの低い解像度を考慮することによって）ブロックに基づいたデプスマップのために実行され得る。

【0122】

所定のデプスマップの１つのビューから別のビューへのマッピング（それは、上述されている）の他に、そのアルゴリズムは、以下の基本的なステップを含む。

【0123】

・ランダムアクセスユニットのピクチャのための視差ベクトルに基づいてデプスマップをつくること。
・関連したピクチャの動きパラメータを用いてベースビューデプスマップの時間的な予測。
・関連したピクチャのための実際に符号化された動きおよび視差ベクトルを用いてデプスマップ推定の更新。

【0124】

これらのアルゴリズムのステップのための特定の実施形態が、以下に記載される。

【0125】

ランダムアクセスユニットにおいてピクチャのためのデプスマップの作成

【0126】

本発明の特定の実施形態において、ランダムアクセスユニットにおいてディペンデントビューのピクチャのためのデプスマップの作成は、以下のように進行する。一般に、そのようなピクチャは、視差補償予測を用いて符号化されるブロックおよびイントラ符号化されるブロックを含む。最初に、視差補償予測を用いて符号化されるすべてのブロックが考慮される。視差ベクトルは、デプス値に変換され、さらに、これらのデプス値は、デプスマップの対応するサンプルに割り当てられる。２つ以上の動き仮説が用いられる場合、１つの仮説が選択され、または、最終的なデプス値が個々の動き仮説のためのデプス値の関数に等しく設定される（例えば、平均、メジアン、最大または最小）。すべての視差補償ブロックのためのデプス値を割り当てた後に、イントラ符号化されたブロックのためのデプス値は、空間イントラ予測によって得られる。１つのバージョンにおいて、これらのサンプルは、関連したテクスチャピクチャのために用いられる同じイントラ予測モードを用いることによって得られ得る。別のバージョンにおいて、イントラブロックのデプスは、周囲のサンプル（またはブロック）の重み付けられた平均によって得られるデプス値に等しく設定され得り、そこにおいて、重み付け係数は、用いられたイントラ予測モードに基づいて決定され得る。さらなるバージョンにおいて、イントラブロックのためのデプスは、デプスサンプルを周囲のイントラサンプルの特定の関数によって与えられる値に等しく設定することによって得られ得る（例えば、平均、メジアン、最大、最小）。他の空間予測アルゴリズムも可能である。イントラ符号化されたブロックのためのデプス割り当ては、イメージにおいてブロックをわたる単一のループ内で行われ得る。要するに、ブロックは、特定の順序（例えば、符号化順序）で処理され、さらに、視差補償およびイントラブロックの両方のために、デプス値は、この順序で生成される（すなわち、イントラ符号化されたブロックのためのデプス割り当ては、すべての視差補償ブロックが処理されるまで待つ必要はない）。

【0127】

ベースビューデプスマップの時間的な予測

【0128】

一般に、ベースビューのピクチャは、動き補償ブロックおよびイントラ符号化されたブロックを含む。動き補償ブロックのためのデプス値は、対応する参照ピクチャのためのデプスマップ推定の動き補償予測によって導出される。テクスチャピクチャのブロックが単一の動き仮説を用いて符号化される場合、このブロックのためのデプスサンプルは、送信された（または推測された）動きベクトルによって（信号で送られた参照インデックスによって与えられる）参照ピクチャのためのデプスマップ推定のデプスサンプルを置換することによって得られ得る。この動き補償動作は、送信された動きベクトルの正確さ（それは、通常、サブサンプル精度である）で、または、サンプルまたはブロックの正確な動きベクトルで実行され得る。動き補償がサブサンプル精度で実行される場合、内挿フィルタが、サブサンプル位置でサンプルを生成するために適用される。動き補償がサンプルまたはブロック精度で実行される場合、送信された動きベクトルは、それらが用いられる前にラウンドされる。関連したピクチャのブロックが２つを超える動き仮説で符号化される場合、仮説の１つは、デプスマップの動き補償のために選択され得り、または、すべての動き仮説は、個々の動き仮説のためのデプス予測信号の重み付けられた合計としてブロックのための最終的なデプスマップ推定を生成することによって用いられる。さらに、所定のサイズのブロックのためのデプスサンプルは、代表デプスに等しく設定され得る。この代表デプスは、ブロック内の特定の位置を選択し、さらに、動き補償を用いてこの位置のためのデプス値を導出することによって得られ得り、または、それは、このブロックのための動き補償デプス値の関数を定義することによって得られ得る。そのような関数は、デプスサンプルの平均、デプスサンプルメジアン、デプスサンプルの最小若しくは最大、または、ブロックにおいてほとんどの場合に発生するデプスサンプル値であり得る。

【0129】

符号化された動きおよび視差パラメータを用いるデプスマップの更新

【0130】

上述のように、ピクチャのためのデプスマップ推定は、ピクチャを符号化した後に更新され得る。以下において、そのような更新アルゴリズムのいくつかの実施形態を記載する。ピクチャのブロックは、特定の順序（例えば、符号化順序）で処理され、さらに、ブロックごとに、以下のことが適用される。

【0131】

・ブロックが（関連したテクスチャピクチャにおいて）イントラ符号化されている場合、このブロックのためのデプスサンプル値は、隣接したブロックのサンプルを用いて空間予測によって導出され得る。そのような空間予測技術のためのいくつかの例が上述されている。デプスサンプル値は、隣接したブロックの動きパラメータを用いて動き補償によって得られ得る（以下の動き補償ブロックのための説明を参照）。それは、すべての動きおよび視差補償ブロックが処理された後にイントラブロックが処理される場合、時に好ましく、その理由は、その後により隣接したものが利用でき、さらに、デプスサンプルまたは動きパラメータの空間予測のために用いられ得るからである。
・さもなければ、ブロックが１つ以上の視差ベクトル（視差仮説）を用いて符号化される場合、デプスサンプルは、視差ベクトルをデプス値に変換することによって導出される。１つの視差ベクトル（視差仮説）だけがブロックのために用いられる場合、デプス値は、対応する視差ベクトルによって与えられる。２つ以上の視差ベクトルがブロック用いられる場合、視差ベクトルの１つは、デプス値を導出するために選択され得り、または、視差ベクトルごとに、デプス値は、導出され得り、さらに、最後に割り当てられたデプス値は、個々に導出されたデプス値の関数を適用することによって得られる。可能な関数は、その中で、個々のデプス値の最小または最大、デプス値のメジアン、デプス値の平均、または、ほとんどの場合に発生するデプス値である。

【0132】

視差ベクトルを用いて符号化されるブロックが加えて時間的な動きベクトルと関連していてもよいことに留意されたい。この場合、時間的な動きベクトルは、無視され得る。または、導出されたデプス値は、（例えば、これらの２つの信号を平均することによって）いかなる特定の方法で時間的な動き仮説（下を参照）のために導出されるデプス値と結合され得る。
・さもなければ、ブロックは、時間的な動き仮説だけを用いて符号化され、さらに、時間的な動き仮説は、ブロックのためのデプスサンプルを更新するために用いられる。

【0133】

本発明の第１の実施形態において、デプスマップサンプルは、現在のビューのための参照ピクチャと関連するデプスマップ推定を用いて直接的な動き補償予測によって導出される。この動き補償動作は、上述のベースビューデプスマップの時間的な予測のための実施形態のいずれかによって実現され得る。

【0134】

本発明の第２の実施形態において、デプスマップサンプルは、単に動き補償されないが、その代わりに、デプス補正値は、現在のビューのために符号化される動きベクトルおよび参照ビューにおいて対応するブロックのための符号化される動きベクトルに基づいて導出され、さらに、このデプス補正値は、更新されたデプスマップ推定を得るために推定されるデプスマップに加えられる。そのようなアプローチの利点は、２つのインスタンス間のデプス変化が考慮され得るということである。

【0135】

ｄ_prdを、サンプルまたはブロックのための現在のデプス推定であるとし、ｍ_currを、現在のブロックの動き補償のために実際に用いられる動きベクトルであるとし、さらに、ｍ_refを、参照ビューにおいて参照ブロックのための動きベクトルであるとする（参照ブロックは、上述のようにデプス推定ｄ_prdによって与えられる視差ベクトルを用いることによって導出される）。さらに、ｖ_t-1を、参照アクセスユニットにおいて視差ベクトルであると、さらに、ｖ_tを、現在のアクセスユニットにおいて視差ベクトルであるとする。説明の始まりにおいて導出した動きおよび視差ベクトル間の相互関係のための基本的な式を考えると、
ｍ_curr＋ｖ_t-1－ｍ_ref－ｖ_t＝０
であり、符号化された動きパラメータおよび参照ピクチャにおいて視差が正しいと仮定する場合、現在の視差ベクトルは、
ｖ_t＝ｖ_t-1＋（ｍ_curr－ｍ_ref）
に等しく設定され得る。視差ベクトルは、デプスにおよびその逆に変換され得る。そのため、現在のデプスは、

として表され得る。

【0136】

デプスｄ_t-1は、参照イメージにおいて与えられるデプス値であり、それは、現在のブロックのための動きベクトルを用いてアクセスされ得る。参照イメージにおいてデプスをデプスｄ_prdのための現在の推定に置き換えることも可能であり、その理由は、このデプスが参照イメージにおいてデプスから動き補償を用いて導出されているからである。

【0137】

現在のおよび参照ブロックの動きベクトルを用いて更新されたデプス値を得るための基本的な概念を示した。この基本的な概念は、さまざまな実際の実施において用いられ得る。例えば、１つを超える動きベクトルが現在のブロックおよび／または参照ブロックのために用いられる場合、単一の動きベクトルが選択され得り、または、異なるデプス値が異なる動きベクトルのために導出され得り、さらに、最終的なデプスが個々に導出されたデプス値の平均（または他のいかなる関数）を用いることによって得られる。さらに、現在のおよび参照ブロックにおいてそれらの動き仮説だけが考慮されなければならなく、それは、同じ参照アクセスユニット（または参照時刻または参照ピクチャ順序カウントまたは参照インデックス）を用いる。そのような動き仮説が存在しない場合、上述の従来の動き補償プロセスが用いられ得り、または、デプスサンプルが利用できないようにマークされ得り、さらに、適切な後処理ステップによって後に交換される。さらに、新しいデプス値は、ブロックのための単一のサンプルに基づいて、またはブロックのすべてのサンプルのために、またはブロックのサンプルの選択されたサブセットのために導出され得る。異なるサンプルのための異なるデプス値が導出されるときに、別々のデプス値は、現在のブロックの異なる領域のために（例えば、現在のブロック内のすべての４ｘ４のブロックのために）割り当てられ得り、または、異なるデプス値は、例えば、平均、メジアン、最小、最大値、またはほとんどの場合に発生するデプス値を用いることによって、すべてのブロックのための代表デプスを導出するために用いられる。デプスマップ更新プロセスは、いくつかの前処理ステップと結合され得る。例えば、利用できないデプス値は、隣接したサンプルまたはブロックのデプス値に置き換えられ得る。

【0138】

方法１－３の上に概説された説明に関して、参照ビューのそれぞれのブロック４０_Rを確認するために用いられる視差ベクトルを決定する他のタイプで用いられる場合、参照ビューにおいて例えばブロック４０_Rなどの、ブロックから得られるそれぞれの情報を加えることによって動きまたは動き／視差ベクトル／パラメータ候補リストを洗練するこれらの異なる代案が有利でもあることに留意されるべきである。この実施形態によれば、図１のデコーダにおいてデプス推定器２８は、図２のエンコーダにおいてデプス推定器８４と全く同じように任意である。

【0139】

特に、後の態様によれば、方法１－３の上の説明は、マルチビュー信号をマルチビューデータストリームに再構成するための装置を明らかにし、その装置は、ディペンデントビュー２２を再構成するために以下のことを行うように構成されるディペンデントビュー再構成器２６を含む。機能性を記載するために、図１および図４のマルチビュー信号の概略図を参照する。特に、ディペンデントビュー再構成器２６は、現在のピクチャ３２ｔ₂（Ｔ）の現在のブロック５０ｃおよびディペンデントビュー２２のために、最初に、ディペンデントビュー２２の現在のピクチャ３２ｔ₂（Ｔ）およびブロック５０Ｃでマルチビュー信号の参照ビュー２０の現在のピクチャ３２ｔ₁（Ｔ）間の視差を表す現在のブロック５０ｃのための視差ベクトル１０２を決定することによって、動きベクトル予測因子候補のリストを導出する。そうするために、ディペンデントビュー再構成器２６は、ピクチャ３２ｔ１（Ｔ）および３２ｔ２（Ｔ－１）の例えば動き／視差ベクトルなどのマルチビュー信号の前に復号化された部分と関連する動きおよび視差ベクトルを用いる。上に概説される他の実施形態において、参照ビューの現在のピクチャ３２ｔ₁（Ｔ）と関連する推定されたデプスマップは、推定および上に記載されている参照ビューと同様にディペンデントビューの前に符号化されたピクチャの動きおよび視差ベクトルを用いてデプスマップ推定を更新することと共に、視差ベクトル１０２を決定するための基礎として用いられ、さらに、この点に関して、上の説明は、同様に現在の実施形態のために組み込まれるが、原理的には、他の可能性が同様に存在する。例えば、ディペンデントビュー再構成器２６は、現在のブロック５０ｃのための視差ベクトルを空間的に／時間的に予測することができ、さらに、視差ベクトル１０２としてこの予測された視差ベクトルを用いることができる。

【0140】

そして、ディペンデントビュー再構成器２６は、決定された視差ベクトル１０２を用いて参照ビューの現在のピクチャ内でブロック４０_Rを決定し、さらに、動きベクトルを動きベクトル予測因子候補のリストに加え、それは、決定されたブロック４０Ｒ、すなわち動きベクトル４２_Rと関連する動きベクトルに依存する。

【0141】

上述のように、動きベクトル予測因子候補のリストを導出する際に、ディペンデントビュー再構成器は、ディペンデントビュー２２の空間的におよび／または時間的に隣接したブロック、すなわち、ブロック、空間的におよび／または時間的に隣接した現在のブロック５０_Cから１つ以上のさらなる動きベクトルを空間的におよび／または時間的に予測するように構成され得る。そして、１つ以上のさらなる動きベクトルまたはそれから導出されるバージョンは、ディペンデントビュー再構成器２６によって、動きベクトル予測因子候補のリストに加えられる。

【0142】

ディペンデントビュー再構成器は、ブロック５０_Cのために、マルチビューデータストリームから、さらに、より具体的にするために、それのディペンデントビュー部２２から、動きベクトル予測因子候補のリストの１つを特定するインデックス情報を抽出する。現在のブロック５０_Cが動き補償予測を受けすなわち時間的な予測モードと関連していると仮定されるので、ディペンデントビュー再構成器２６は、特定された動きベクトル候補、すなわち、インデックス情報によってインデックスが付けられまたは特定されるもの、に等しいまたは少なくとも依存する動きベクトルを用いてブロック５０_Cの動き補償予測を実行することによってブロック５０_Cを再構成する。動き予測因子候補の拡大したリストと関連するオーバーヘッドは、参照ビューから決定される動きベクトル候補４２_Rの加算から生じている動きベクトル予測品質における利得と比較して、比較的少ない。

【0143】

上に記載されているように、現在のブロック５０ｃのためのディペンデントビュー再構成器２６によって抽出される動き情報は、インデックス情報に制限される必要はない。むしろ、ディペンデントビュー再構成器２６は、ブロック５０_Cのために、特定された動きベクトル候補に関して動きベクトル差を抽出し、さらに、用いられた動きベクトルがさらに動きベクトル差および特定された動きベクトル候補すなわち動きベクトル予測因子候補のリストからインデックス情報によって特定される１つの合計に依存するように、ブロック５０Cの再構成を実行するようにさらに構成され得る。

【0144】

上記において、動きおよび視差補償予測が、厳格に区別されている。しかしながら、両方の間の差は、例えば、同じモードが両方を信号で送るために用いられる場合、動き／補償予測が実行されるものと比べてピクチャにインデックスを付けるインデックスから単に導出されることができる両方の間の差について、消滅することができる。そして、デコーダディペンデントビュー再構成器の前述の機能性は、差がないように、「動き」を「動き／視差」に置き換えることによって書き換えられ得る。当然、尺度は、実際に特定されるベクトル候補が前に符号化されたピクチャの同じタイプを参照するように、すなわち時間的に前にまたはビュー方向の前に参照するように、または、リストへの加算でさえ、条件つきで制限されそれに従って実行されるように、とられなければならない。

【0145】

上述の方法１によれば、ディペンデントビュー再構成器２６は、ブロック５０_Cのために、参照ビュー２０の現在のピクチャ３２ｔ₁（Ｔ）およびディペンデントビュー２２のすでに復号化されたピクチャ３２ｔ₂（ｔ＜Ｔ）を含む、参照ピクチャのリストの参照ピクチャを特定する参照ピクチャインデックスをさらに抽出するように構成され、さらに、ディペンデントビュー再構成器２６は、ディペンデントビュー２２のすでに復号化されたピクチャの１つとしての参照ピクチャについて、参照として参照ピクチャインデックスによって特定されるようなディペンデントビューの１つのすでに復号化されたピクチャを用いて動き補償予測を実行するように構成され得り、さらに、参照ピクチャが参照ビューの現在のピクチャ３２ｔ₁（Ｔ）である場合、決定された視差ベクトル１０２または決定された視差ベクトル１０２から導出される修正された視差ベクトルを視差ベクトル予測候補のリストに加え、マルチビューデータストリームから視差ベクトル予測因子候補のリストの１つを特定するインデックス情報を抽出し、さらに、参照として参照ビュー２０の現在のピクチャ３２ｔ₁（Ｔ）を用いて指定された視差ベクトル候補に依存する視差ベクトルを用いて、ブロック５０_Cの視差補償予測を実行することによって、ブロック５０_Cを再構成するように構成される。また、動き補償および視差補償予測間の差が、解消され得る。
同じ予測モードが、ブロック５０_Cのために信号で送られ得る。動き補償または視差補償予測がディペンデントビュー再構成器２６によって実際に実行されるかどうかに関して、時間的な前にあったもの、すなわちディペンデントビューの前に復号化されたピクチャと、ビューの前にあったもの、すなわち他のビューの前に復号化されたピクチャとの両方を含む参照ピクチャのバッファまたはリストにインデックスが付けられる参照ピクチャインデックスによって定義される。

【0146】

方法２から明白になるように、ディペンデントビュー再構成器２６は、それぞれが、多数の仮説と、仮説ごとに、動き／視差動きベクトルおよびちょうど概説される参照ピクチャのそのような共通のリストから参照ピクチャを特定する参照インデックスとを含む、動き／視差パラメータ候補のリストである、動き／視差ベクトル予測因子候補のリストを介して、動きベクトル予測因子候補のリストの導出を実行するように構成され得る。そして、ディペンデントビュー再構成器は、動き／視差パラメータを決定されたブロック４０_Rと関連する動き／視差パラメータに依存する動き／視差パラメータ候補のリストに加え、さらに、インデックス情報によって特定される動き／視差パラメータ候補に依存する動き／視差パラメータを用いてブロック５０Ｃに動き／視差補償予測を実行することによってブロック５０_Cを再構成するように構成され得る。動きパラメータは、上述のように、多数の仮説と、仮説ごとに参照インデックスおよび動き／視差ベクトル差とを同時に決定することができる。上述されているように、多数の仮説は、例えばピクチャのタイプなどを経由して事前に決定され得る。

【0147】

そして、方法３において説明されるように、ディペンデントビュー再構成器は、動き／視差予測に関する限り、ブロック５０Ｒからブロック５０Ｃのための分割を加えて採用するように、加えて構成され得る。

【0148】

図２のエンコーダは、後の態様によれば、マルチビュー信号をマルチビューデータストリームに符号化する際にそれに従って働くように構成される。特に、ディペンデントビュー再構成器２６は、ブロック５０_Cのために、同様に動きベクトル予測因子候補のリストを導出する。すなわち、ディペンデントビュー２２の現在のピクチャおよびディペンデントビュー２２の現在のピクチャでマルチビュー信号の参照ビュー２０の現在のピクチャ間の視差を表すブロック５０_Cのための視差ベクトルは、マルチビュー信号の前に符号化された部分と関連する動きおよび視差ベクトルを介して決定される。そして、参照ビューの現在のピクチャ内のブロック５０_Rは、決定された視差ベクトルを用いて決定され、さらに、動きベクトルは、動きベクトル予測因子候補のリストに加えられ、それは、参照ビューのピクチャの決定されたブロックと関連する動きベクトルに依存する。ディペンデントビュー再構成器は、ブロック５０_Cのために、動きベクトル予測因子候補のリストの１つを特定するインデックス情報をマルチビューデータストリームに挿入し、さらに、特定された動きベクトル候補に依存する動きベクトルを用いてブロック５０_Cの動き補償予測を実行することによってブロック５０_Cを符号化する。

【0149】

いくつかの態様が装置との関連で記載されているにもかかわらず、これらの態様は、対応する方法の説明も表すことが明らかであり、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップとの関連で記載されている態様は、対応するブロック若しくはアイテムまたは対応する装置の特徴の説明も表す。方法ステップのいくつかまたはすべては、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（またはそれを用いて）実行されてもよい。いくつかの実施形態において、最も重要な方法ステップのいずれかの１つ以上は、そのような装置によって実行されてもよい。

【0150】

特定の実施要件に応じて、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施は、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する（または協働することができる）電子的に可読の制御信号が格納される、デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ（登録商標）、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリを用いて実行することができる。したがって、デジタル記憶媒体は、コンピュータ可読であってもよい。

【0151】

本発明によるいくつかの実施形態は、ここに記載される方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に可読の制御信号を有するデータキャリアを含む。

【0152】

一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することができ、そのプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに、それらの方法のうちの１つを実行するために働く。プログラムコードは、例えば、機械可読のキャリアに格納されてもよい。

【0153】

他の実施形態は、機械可読のキャリアに格納される、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムを含む。

【0154】

したがって、換言すれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、ここに記載される方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

【0155】

したがって、本発明の方法のさらなる実施形態は、それに記録される、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムを含むデータキャリア（またはデジタル記憶媒体またはコンピュータ可読の媒体）である。データキャリア、デジタル記憶媒体または記録媒体は、典型的に有形でありおよび／または一時的でない。

【0156】

したがって、本発明の方法のさらなる実施形態は、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは一連の信号は、例えば、データ通信接続を介して、例えばインターネットを介して、転送されるように構成されてもよい。

【0157】

さらなる実施形態は、ここに記載される方法のうちの１つを実行するように構成されまたは適している処理手段、例えばコンピュータまたはプログラム可能な論理デバイスを含む。

【0158】

さらなる実施形態は、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムがインストールされているコンピュータを含む。

【0159】

本発明によるさらなる実施形態は、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムをレシーバに（例えば、電子的にまたは光学的に）転送するように構成される装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。装置またはシステムは、例えば、コンピュータプログラムをレシーバに転送するためのファイルサーバを含んでもよい。

【0160】

いくつかの実施形態において、プログラム可能な論理デバイス（例えばフィールドプログラム可能なゲートアレイ）は、ここに記載される方法の機能のいくらかまたはすべてを実行するために用いられてもよい。いくつかの実施形態において、フィールドプログラム可能なゲートアレイは、ここに記載される方法のうちの１つを実行するために、マイクロプロセッサと協働してもよい。一般に、その方法は、好ましくは、いかなるハードウェア装置によっても実行される。

【0161】

上述の実施形態は、本発明の原理のために単に例示するだけである。ここに記載される構成および詳細の修正および変更が他の当業者にとって明らかであるものと理解される。したがって、本発明は、特許請求の範囲によってだけ制限され、ここに実施形態の記述および説明として示される具体的な詳細によって制限されないと意図される。

【0162】

文献
［１］ ITU-T and ISO/IEC JTC 1, "Advanced video coding for generic audiovisual services," ITU-T Recommendation H.264 and ISO/IEC 14496-10 (MPEG-4 AVC), 2010
［２］ A. Vetro, T. Wiegand, G. J. Sullivan, "Overview of the Stereo and Multiview Video Coding Extension of the H.264/MPEG-4 AVC Standard", Proceedings of IEEE, vol. 99, no. 4, pp. 626-642, Apr. 2011
［３］ H. Schwarz, D. Marpe, T. Wiegand, "Overview of the Scalable Video Coding Extension of the H.264/AVC Standard", IEEE Transactions on Circuits and Systems for Video Technology, vol. 17, no. 9, pp. 1103-1120, Sep. 2007

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】