知財求人 - 知財ポータルサイト「IP Force」
▶ ジーイー ビデオ コンプレッション エルエルシーの特許一覧
特開2023-85341深度マップの推定および更新を用いる効率的なマルチビュー符号化
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023085341
(43)【公開日】2023-06-20
(54)【発明の名称】深度マップの推定および更新を用いる効率的なマルチビュー符号化
(51)【国際特許分類】
H04N 19/52 20140101AFI20230613BHJP
H04N 19/597 20140101ALI20230613BHJP
【ＦＩ】
H04N19/52
H04N19/597
【審査請求】有
【請求項の数】19
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023041766
(22)【出願日】2023-03-16
(62)【分割の表示】P 2021100230の分割
【原出願日】2012-11-09
(31)【優先権主張番号】61/558,651
(32)【優先日】2011-11-11
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】515089080
【氏名又は名称】ジーイー ビデオ コンプレッション エルエルシー
【住所又は居所原語表記】１ Ｒｅｓｅａｒｃｈ Ｃｉｒｃｌｅ，Ｎｉｓｋａｙｕｎａ，ＮＹ １２３０９，ＵＳＡ
(74)【代理人】
【識別番号】100079577
【弁理士】
【氏名又は名称】岡田 全啓
(72)【発明者】
【氏名】シュヴァルツ ハイコ
(72)【発明者】
【氏名】ウィーガント トーマス
(57)【要約】 （修正有）
【課題】より効率的なマルチビュー符号化概念を実現する装置、方法及びプログラムを提供する。
【解決手段】マルチビュー信号の再構成のための装置１０において、インタービュー予測についてのマルチビューデータストリーム１４内に信号で送られる視差データ６０は、ディペンデントビュー２２についての深度マップ推定を初期化するために利用され、さらに、この主要な深度マップ推定６４は、マルチビューデータストリーム内にシグナリングされる動きデータおよび／または視差データを用いてマルチビュー符号化のさらなる経過の間に連続的に更新される。
【効果】このように得られた連続的に更新される深度マップ推定は、ビュー間冗長性低減の従属したさまざまな方法がこの深度マップ推定にアクセスせずにより効率的な方法で実行されることを可能にする。
【選択図】図１
【解決手段】マルチビュー信号の再構成のための装置１０において、インタービュー予測についてのマルチビューデータストリーム１４内に信号で送られる視差データ６０は、ディペンデントビュー２２についての深度マップ推定を初期化するために利用され、さらに、この主要な深度マップ推定６４は、マルチビューデータストリーム内にシグナリングされる動きデータおよび／または視差データを用いてマルチビュー符号化のさらなる経過の間に連続的に更新される。
【効果】このように得られた連続的に更新される深度マップ推定は、ビュー間冗長性低減の従属したさまざまな方法がこの深度マップ推定にアクセスせずにより効率的な方法で実行されることを可能にする。
【選択図】図１
【特許請求の範囲】
【請求項1】
マルチビューデータストリームに符号化されるマルチビュー信号を再構成するための装置であって、
前記マルチビュー信号の前に復号化された部分と関連する動きおよび視差ベクトルを介して、ディペンデントビュー（２２）の現在のピクチャおよび前記ディペンデントビュー（２２）の前記現在のピクチャの少なくとも１つのブロックで前記マルチビュー信号の参照ビューの現在のピクチャ間の視差を表す、前記少なくとも１つのブロックのための視差ベクトルを決定し、
決定された視差ベクトルを用いて前記参照ビューの前記現在のピクチャ内のブロックを決定し、
動きベクトルを前記参照ビューの前記ピクチャの決定されたブロックと関連する動きベクトルに依存する動きベクトル予測因子候補のリストに加える
ことによって、前記マルチビュー信号のディペンデントビュー（２２）において現在のピクチャのブロックの少なくとも１つのために、動きベクトル予測因子候補のリストを導出し、
前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックのために、前記マルチビューデータストリームから、動きベクトル予測因子候補の前記リストの１つの動きベクトル予測因子候補を特定するインデックス情報を抽出し、さらに
特定された動きベクトル候補に依存する動きベクトルを用いて前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックの動き補償予測を実行することによって前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックを再構成する
ように構成されるディペンデントビュー再構成器（２６）を含む、装置。
前記マルチビュー信号の前に復号化された部分と関連する動きおよび視差ベクトルを介して、ディペンデントビュー（２２）の現在のピクチャおよび前記ディペンデントビュー（２２）の前記現在のピクチャの少なくとも１つのブロックで前記マルチビュー信号の参照ビューの現在のピクチャ間の視差を表す、前記少なくとも１つのブロックのための視差ベクトルを決定し、
決定された視差ベクトルを用いて前記参照ビューの前記現在のピクチャ内のブロックを決定し、
動きベクトルを前記参照ビューの前記ピクチャの決定されたブロックと関連する動きベクトルに依存する動きベクトル予測因子候補のリストに加える
ことによって、前記マルチビュー信号のディペンデントビュー（２２）において現在のピクチャのブロックの少なくとも１つのために、動きベクトル予測因子候補のリストを導出し、
前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックのために、前記マルチビューデータストリームから、動きベクトル予測因子候補の前記リストの１つの動きベクトル予測因子候補を特定するインデックス情報を抽出し、さらに
特定された動きベクトル候補に依存する動きベクトルを用いて前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックの動き補償予測を実行することによって前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックを再構成する
ように構成されるディペンデントビュー再構成器（２６）を含む、装置。
【請求項2】
前記参照ビュー（２０）についての前記マルチビューデータストリーム（１４）内に送信される動きデータ（４２）に基づいて動き補償予測を用いて前記マルチビュー信号（１２）の前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ１）を再構成するように構成される参照ビュー再構成器（２４）、および
前記参照ビュー（２０）についての前記動きデータ（４２）を前記参照ビュー（２０）の前のピクチャの深度マップ推定（７４）に適用することによって前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ１）の深度マップ推定（６４）を生成し（７１）、さらに
前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ２）の深度マップ推定（６４）を得るために前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ１）の前記更新された深度マップ推定（７４）を前記ディペンデントビュー（２２）にワープする（７６）
ことによって前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ２）の深度マップを推定するように構成される深度推定器（２８）をさらに含み、
前記ディペンデントビュー再構成器（２６）は、前記少なくとも１つのブロックのための前記視差ベクトルを決定する際に、前記決定された視差ベクトルを得るために前記少なくとも１つのブロックで前記深度データ推定を深度対視差変換にさらすように構成される、請求項１に記載の装置。
前記参照ビュー（２０）についての前記動きデータ（４２）を前記参照ビュー（２０）の前のピクチャの深度マップ推定（７４）に適用することによって前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ１）の深度マップ推定（６４）を生成し（７１）、さらに
前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ２）の深度マップ推定（６４）を得るために前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ１）の前記更新された深度マップ推定（７４）を前記ディペンデントビュー（２２）にワープする（７６）
ことによって前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ２）の深度マップを推定するように構成される深度推定器（２８）をさらに含み、
前記ディペンデントビュー再構成器（２６）は、前記少なくとも１つのブロックのための前記視差ベクトルを決定する際に、前記決定された視差ベクトルを得るために前記少なくとも１つのブロックで前記深度データ推定を深度対視差変換にさらすように構成される、請求項１に記載の装置。
【請求項3】
前記ディペンデントビュー再構成器（２６）は、前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックのために、前記特定された動きベクトル候補に関する動きベクトル差をさらに抽出し、さらに、用いられた動きベクトルが前記動きベクトル差および前記特定された動きベクトル候補の合計にさらに依存するように前記現在のピクチャの前記少なくとも１つのブロックの再構成を実行するように構成される、請求項１または請求項２に記載の装置。
【請求項4】
前記ディペンデントビュー再構成器は、前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックのために、前記参照ビューの前記現在のピクチャおよび前記ディペンデントビュー（２２）のすでに復号化されたピクチャを含む参照ピクチャのリストの参照ピクチャを特定する参照ピクチャインデックスをさらに抽出するように構成され、前記ディペンデントビュー再構成器は、前記参照ピクチャが前記ディペンデントビュー（２２）の前記すでに復号化されたピクチャの１つである場合、参照として前記ディペンデントビュー（２２）の１つのすでに復号化されたピクチャを用いて前記動き補償予測を実行し、さらに、前記参照ピクチャが前記参照ビューの前記現在のピクチャである場合、前記決定された視差ベクトルまたは前記決定された視差ベクトルから導出される修正された視差ベクトルを視差ベクトル予測候補のリストに加え、前記マルチビューデータストリームから視差ベクトル予測因子候補の前記リストの１つの視差ベクトル予測因子候補を特定するインデックス情報を抽出し、さらに、参照として前記参照ビューの前記現在のピクチャを用いて特定された視差ベクトル候補に依存する視差ベクトルを用いて前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックの視差補償予測を実行することによって前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックを再構成するように構成される、先行する請求項のいずれかに記載の装置。
【請求項5】
前記ディペンデントビュー再構成器は、動きベクトル予測因子候補の前記リストを導出する際に、前記ディペンデントビュー（２２）の空間的におよび／または時間的に隣接したブロックからさらなる動きベクトルを空間的におよび／または時間的に予測し、さらに、前記さらなる動きベクトルまたは前記さらなる動きベクトルから導出されるバージョンを動きベクトル予測可能な候補の前記リストに加えるようにさらに構成される、先行する請求項のいずれかに記載の装置。
【請求項6】
前記ディペンデントビュー再構成器は、それぞれが、多数の仮説と、仮説ごとに、動き／視差動きベクトルと、参照ビューの前記現在のピクチャおよび前記ディペンデントビュー（２２）の前に復号化されたピクチャを含む参照ピクチャのリストから参照ピクチャを特定する参照インデックスとを含む、動き／視差パラメータ候補のリストである動き／視差ベクトル予測因子候補のリストを介して動きベクトル予測因子候補の前記リストの導出を実行するように構成され、前記ディペンデントビュー再構成器は、動き／視差パラメータを前記参照ビューの前記現在のピクチャの前記決定されたブロックと関連する動き／視差パラメータに依存する動き／視差パラメータ候補の前記リストに加え、さらに、前記インデックス情報によって特定される動き／視差パラメータ候補に依存する動き／視差パラメータを用いて動き／視差補償予測を前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックに実行することによって前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックを再構成するように構成される、先行する請求項のいずれかに記載の装置。
【請求項7】
マルチビューデータストリームにマルチビュー信号を符号化するための装置であって、
前記マルチビュー信号の前に符号化された部分と関連する動きおよび視差ベクトルを介して、ディペンデントビュー（２２）の現在のピクチャおよび前記ディペンデントビュー（２２）の現在のブロックで前記マルチビュー信号の参照ビューの現在のピクチャ間の視差を表す、少なくとも１つのブロックのための視差ベクトルを決定し、
決定された視差ベクトルを用いて前記参照ビューの前記現在のピクチャ内のブロックを決定し、
動きベクトルを前記参照ビューの前記ピクチャの決定されたブロックと関連する動きベクトルに依存する動きベクトル予測因子候補のリストに加える
ことによって、前記マルチビュー信号のディペンデントビュー（２２）において現在のピクチャのブロックの少なくとも１つのために、動きベクトル予測因子候補のリストを導出し、
前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックのために、動きベクトル予測因子候補の前記リストの１つの動きベクトル予測因子候補を特定するインデックス情報を、前記マルチビューデータストリームに挿入し、さらに
特定された動きベクトル候補に依存する動きベクトルを用いて前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックの動き補償予測を実行することによって前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックを符号化する
ように構成されるディペンデントビューエンコーダを含む、装置。
前記マルチビュー信号の前に符号化された部分と関連する動きおよび視差ベクトルを介して、ディペンデントビュー（２２）の現在のピクチャおよび前記ディペンデントビュー（２２）の現在のブロックで前記マルチビュー信号の参照ビューの現在のピクチャ間の視差を表す、少なくとも１つのブロックのための視差ベクトルを決定し、
決定された視差ベクトルを用いて前記参照ビューの前記現在のピクチャ内のブロックを決定し、
動きベクトルを前記参照ビューの前記ピクチャの決定されたブロックと関連する動きベクトルに依存する動きベクトル予測因子候補のリストに加える
ことによって、前記マルチビュー信号のディペンデントビュー（２２）において現在のピクチャのブロックの少なくとも１つのために、動きベクトル予測因子候補のリストを導出し、
前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックのために、動きベクトル予測因子候補の前記リストの１つの動きベクトル予測因子候補を特定するインデックス情報を、前記マルチビューデータストリームに挿入し、さらに
特定された動きベクトル候補に依存する動きベクトルを用いて前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックの動き補償予測を実行することによって前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックを符号化する
ように構成されるディペンデントビューエンコーダを含む、装置。
【請求項8】
マルチビューデータストリームに符号化されるマルチビュー信号を再構成するための装置であって、
参照ビュー（２０）についての前記マルチビューデータストリーム（１４）内に送信される動きデータ（４２）に基づいて動き補償予測を用いて前記マルチビュー信号（１２）の参照ビュー（２０）の現在のピクチャ（３２ｔ1）を再構成するように構成される参照ビュー再構成器（２４）、
前記参照ビュー（２０）についての前記動きデータ（４２）を前記参照ビュー（２０）の前のピクチャの深度マップ推定（７４）に適用することによって前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ1）の深度マップ推定（６４）を生成し（７１）、さらに
ディペンデントビュー（２２）の現在のピクチャ（３２ｔ2）の深度マップ推定（６４）を得るために前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ1）の前記更新された深度マップ推定（７４）を前記ディペンデントビュー（２２）にワープする（７６）
ことによって前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ2）の深度マップを推定するように構成される深度推定器（２８）、および
前記深度マップ推定を用いて前記マルチビューデータストリームのディペンデントビュー部分から前記ディペンデントビューの前記現在のピクチャを再構成するように構成されるディペンデントビュー再構成器（２６）を含む、装置。
参照ビュー（２０）についての前記マルチビューデータストリーム（１４）内に送信される動きデータ（４２）に基づいて動き補償予測を用いて前記マルチビュー信号（１２）の参照ビュー（２０）の現在のピクチャ（３２ｔ1）を再構成するように構成される参照ビュー再構成器（２４）、
前記参照ビュー（２０）についての前記動きデータ（４２）を前記参照ビュー（２０）の前のピクチャの深度マップ推定（７４）に適用することによって前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ1）の深度マップ推定（６４）を生成し（７１）、さらに
ディペンデントビュー（２２）の現在のピクチャ（３２ｔ2）の深度マップ推定（６４）を得るために前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ1）の前記更新された深度マップ推定（７４）を前記ディペンデントビュー（２２）にワープする（７６）
ことによって前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ2）の深度マップを推定するように構成される深度推定器（２８）、および
前記深度マップ推定を用いて前記マルチビューデータストリームのディペンデントビュー部分から前記ディペンデントビューの前記現在のピクチャを再構成するように構成されるディペンデントビュー再構成器（２６）を含む、装置。
【請求項9】
前記動きデータ（４２）は、ブロック粒度で定義される、請求項８に記載の装置。
【請求項10】
前記ディペンデントビュー再構成器（２６）は、前記マルチビューデータストリーム（１４）の前記ディペンデントビュー部分（３８）で構成される前記ディペンデントビュー（２２）についての視差および／または動きデータ（５４、６０）に基づいて視差および／または動き補償予測を用いて前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ2）を再構成するように構成され、
前記深度推定器は、前記ディペンデントビュー（２２）についての前記視差および／または動きデータ（５４、６０）を用いて前記ディペンデントビュー（２２）の前記現在のピクチャの前記深度マップ推定（６４）を更新する（７７）ように構成される、請求項８または請求項９に記載の装置。
前記深度推定器は、前記ディペンデントビュー（２２）についての前記視差および／または動きデータ（５４、６０）を用いて前記ディペンデントビュー（２２）の前記現在のピクチャの前記深度マップ推定（６４）を更新する（７７）ように構成される、請求項８または請求項９に記載の装置。
【請求項11】
前記深度推定器は、前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ1）の更新された深度マップ推定（７４）を得るために前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ2）の前記更新された深度マップ推定（７４）を前記参照ビュー（２０）にワープする（７８）ように構成され、前記深度推定器（２８）は、
前記参照ビュー（２０）の次のピクチャ（３２ｔ1）の動きデータ（４２）を前記参照ビュー（２０）の前記現在のピクチャの前記更新された深度マップ推定（７４）に適用することによって前記参照ビュー（２０）の前記次のピクチャ（３２ｔ1）の深度マップ推定（６４）を生成し（７９）、さらに
前記ディペンデントビュー（２２）の次の現在のピクチャ（３２ｔ2）の前記深度マップ推定（６４）を得るために前記参照ビュー（２０）の前記次のピクチャ（３２ｔ1）の前記更新された深度マップ推定（７４）を前記ディペンデントビュー（２２）にワープする
ことによって前記ディペンデントビュー（２２）の次のピクチャ（３２ｔ2）の前記深度マップを推定するように構成される、請求項１０に記載の装置。
前記参照ビュー（２０）の次のピクチャ（３２ｔ1）の動きデータ（４２）を前記参照ビュー（２０）の前記現在のピクチャの前記更新された深度マップ推定（７４）に適用することによって前記参照ビュー（２０）の前記次のピクチャ（３２ｔ1）の深度マップ推定（６４）を生成し（７９）、さらに
前記ディペンデントビュー（２２）の次の現在のピクチャ（３２ｔ2）の前記深度マップ推定（６４）を得るために前記参照ビュー（２０）の前記次のピクチャ（３２ｔ1）の前記更新された深度マップ推定（７４）を前記ディペンデントビュー（２２）にワープする
ことによって前記ディペンデントビュー（２２）の次のピクチャ（３２ｔ2）の前記深度マップを推定するように構成される、請求項１０に記載の装置。
【請求項12】
前記ディペンデントビュー再構成器は、前記ディペンデントビューの前記現在のピクチャの前記深度データ推定に基づく前記ディペンデントビューの前記現在のピクチャの動きデータおよび前記参照ビューの前記現在のピクチャについての動きデータを予測し、さらに、予測された動きデータに基づいて動き補償予測を用いて前記ディペンデントビューの前記現在のピクチャを再構成するように構成される、請求項８ないし請求項１１のいずれかに記載の装置。
【請求項13】
前記現在のビュー再構成器は、前記ディペンデントビューの前記現在のピクチャの前記動きデータを予測する際に、前記参照ビューの前記現在のピクチャにおいて対応する位置を決めるために前記ディペンデントビューの前記現在のビューの前記深度データ推定を用い、さらに、前記ディペンデントビューの前記現在のピクチャの前記動きデータを予測するために前記対応する位置で前記参照ビューの前記現在のピクチャについての前記動きデータを用いるように構成される、請求項１２のいずれかに記載の装置。
【請求項14】
前記ディペンデントビュー再構成器は、前記ディペンデントビューの前記現在のピクチャの前記深度データ推定に基づいて前記ディペンデントビューの前記現在のピクチャについての視差データを予測し、さらに、予測された視差データに基づいて視差補償予測を用いて前記ディペンデントビューの前記現在のピクチャを再構成するように構成される、請求項８ないし請求項１３のいずれかに記載の装置。
【請求項15】
前記ディペンデントビュー再構成器は、前記深度データを視差ベクトルに変換することによって前記ディペンデントビューの前記現在のピクチャの前記深度データ推定に基づいて前記ディペンデントビューの前記現在のピクチャについての前記視差データを予測するように構成される、請求項１４に記載の装置。
【請求項16】
前記ディペンデントビュー再構成器は、予測参照として前記深度マップ推定を用いて前記マルチビューデータストリームの前記ディペンデントビュー部分のディペンデントビュー深度マップ部分から前記ディペンデントビューの前記現在のピクチャの深度マップを再構成するように構成される、請求項１５に記載の装置。
【請求項17】
マルチビューデータストリームにマルチビュー信号を符号化するための装置であって、
前記マルチビューデータストリームを介して参照ビューのための動きデータを送信することによって前記参照ビューについての動きデータに基づいて動き補償予測を用いて前記マルチビュー信号の参照ビューの現在のピクチャを符号化するように構成される参照ビューエンコーダ、
前記参照ビュー（２０）についての前記動きデータ（４２）を前記参照ビュー（２０）の前のピクチャの深度マップ推定（７４）に適用することによって前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ1）の深度マップ推定（６４）を生成し（７１）、さらに
前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ2）の前記深度マップ推定（６４）を得るために前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ1）の前記更新された深度マップ推定（７４）を前記ディペンデントビュー（２２）にワープする（７６）
ことによって前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ2）の深度マップを推定するように構成される深度推定器、および
前記深度マップ推定を用いて前記ディペンデントビューの前記現在のピクチャを前記マルチビューデータストリームのディペンデントビュー部分に符号化するように構成されるディペンデントビューエンコーダを含む、装置。
前記マルチビューデータストリームを介して参照ビューのための動きデータを送信することによって前記参照ビューについての動きデータに基づいて動き補償予測を用いて前記マルチビュー信号の参照ビューの現在のピクチャを符号化するように構成される参照ビューエンコーダ、
前記参照ビュー（２０）についての前記動きデータ（４２）を前記参照ビュー（２０）の前のピクチャの深度マップ推定（７４）に適用することによって前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ1）の深度マップ推定（６４）を生成し（７１）、さらに
前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ2）の前記深度マップ推定（６４）を得るために前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ1）の前記更新された深度マップ推定（７４）を前記ディペンデントビュー（２２）にワープする（７６）
ことによって前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ2）の深度マップを推定するように構成される深度推定器、および
前記深度マップ推定を用いて前記ディペンデントビューの前記現在のピクチャを前記マルチビューデータストリームのディペンデントビュー部分に符号化するように構成されるディペンデントビューエンコーダを含む、装置。
【請求項18】
マルチビューデータストリームに符号化されるマルチビュー信号を再構成するための方法であって、
前記マルチビュー信号の前に復号化された部分と関連する動きおよび視差ベクトルを介して、ディペンデントビュー（２２）の現在のピクチャおよび前記ディペンデントビュー（２２）の前記現在のピクチャのブロックの少なくとも１つのブロックで前記マルチビュー信号の参照ビューの現在のピクチャ間の視差を表す、前記少なくとも１つのブロックについての視差ベクトルを決定し、
決定された視差ベクトルを用いて前記参照ビューの前記現在のピクチャ内のブロックを決定し、
動きベクトルを前記参照ビューの前記ピクチャの決定されたブロックと関連する動きベクトルに依存する動きベクトル予測因子候補のリストに加える
ことによって、前記マルチビュー信号のディペンデントビュー（２２）において現在のピクチャのブロックの少なくとも１つのために、動きベクトル予測因子候補のリストを導出するステップ、
前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックのために、前記マルチビューデータストリームから、動きベクトル予測因子候補の前記リストの１つの動きベクトル予測因子候補を特定するインデックス情報を抽出するステップ、および
特定された動きベクトル候補に依存する動きベクトルを用いて前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックの動き補償予測を実行することによって前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックを再構成するステップを含む、方法。
前記マルチビュー信号の前に復号化された部分と関連する動きおよび視差ベクトルを介して、ディペンデントビュー（２２）の現在のピクチャおよび前記ディペンデントビュー（２２）の前記現在のピクチャのブロックの少なくとも１つのブロックで前記マルチビュー信号の参照ビューの現在のピクチャ間の視差を表す、前記少なくとも１つのブロックについての視差ベクトルを決定し、
決定された視差ベクトルを用いて前記参照ビューの前記現在のピクチャ内のブロックを決定し、
動きベクトルを前記参照ビューの前記ピクチャの決定されたブロックと関連する動きベクトルに依存する動きベクトル予測因子候補のリストに加える
ことによって、前記マルチビュー信号のディペンデントビュー（２２）において現在のピクチャのブロックの少なくとも１つのために、動きベクトル予測因子候補のリストを導出するステップ、
前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックのために、前記マルチビューデータストリームから、動きベクトル予測因子候補の前記リストの１つの動きベクトル予測因子候補を特定するインデックス情報を抽出するステップ、および
特定された動きベクトル候補に依存する動きベクトルを用いて前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックの動き補償予測を実行することによって前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックを再構成するステップを含む、方法。
【請求項19】
マルチビューデータストリームにマルチビュー信号を符号化するための方法であって、
前記マルチビュー信号の前に符号化された部分と関連する動きおよび視差ベクトルを介して、ディペンデントビュー（２２）の現在のピクチャおよび前記ディペンデントビュー（２２）の現在のブロックで前記マルチビュー信号の参照ビューの現在のピクチャ間の視差を表す、少なくとも１つのブロックのための視差ベクトルを決定し、
決定された視差ベクトルを用いて前記参照ビューの前記現在のピクチャ内のブロックを決定し、
動きベクトルを前記参照ビューの前記ピクチャの決定されたブロックと関連する動きベクトルに依存する動きベクトル予測因子候補のリストに加える
ことによって、前記マルチビュー信号のディペンデントビュー（２２）において現在のピクチャのブロックの少なくとも１つのために、動きベクトル予測因子候補のリストを導出するステップ、
前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックのために、動きベクトル予測因子候補の前記リストの１つの動きベクトル予測因子候補を特定するインデックス情報を、前記マルチビューデータストリームに挿入するステップ、および
特定された動きベクトル候補に依存する動きベクトルを用いて前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックの動き補償予測を実行することによって前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックを符号化するステップを含む、方法。
前記マルチビュー信号の前に符号化された部分と関連する動きおよび視差ベクトルを介して、ディペンデントビュー（２２）の現在のピクチャおよび前記ディペンデントビュー（２２）の現在のブロックで前記マルチビュー信号の参照ビューの現在のピクチャ間の視差を表す、少なくとも１つのブロックのための視差ベクトルを決定し、
決定された視差ベクトルを用いて前記参照ビューの前記現在のピクチャ内のブロックを決定し、
動きベクトルを前記参照ビューの前記ピクチャの決定されたブロックと関連する動きベクトルに依存する動きベクトル予測因子候補のリストに加える
ことによって、前記マルチビュー信号のディペンデントビュー（２２）において現在のピクチャのブロックの少なくとも１つのために、動きベクトル予測因子候補のリストを導出するステップ、
前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックのために、動きベクトル予測因子候補の前記リストの１つの動きベクトル予測因子候補を特定するインデックス情報を、前記マルチビューデータストリームに挿入するステップ、および
特定された動きベクトル候補に依存する動きベクトルを用いて前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックの動き補償予測を実行することによって前記ディペンデントビュー（２２）の前記現在のピクチャの前記少なくとも１つのブロックを符号化するステップを含む、方法。
【請求項20】
マルチビューデータストリームに符号化されるマルチビュー信号を再構成するための方法であって、
参照ビュー（２０）についての前記マルチビューデータストリーム（１４）内に送信される動きデータ（４２）に基づいて動き補償予測を用いて前記マルチビュー信号（１２）の参照ビュー（２０）の現在のピクチャ（３２ｔ1）を再構成するステップ、
前記参照ビュー（２０）についての前記動きデータ（４２）を前記参照ビュー（２０）の前のピクチャの深度マップ推定（７４）に適用することによって前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ1）の深度マップ推定（６４）を生成し（７１）、さらに
ディペンデントビュー（２２）の現在のピクチャ（３２ｔ2）の深度マップ推定（６４）を得るために前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ1）の前記更新された深度マップ推定（７４）を前記ディペンデントビュー（２２）にワープする（７６）
ことによって前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ2）の深度マップを推定するステップ、および
前記深度マップ推定を用いて前記マルチビューデータストリームのディペンデントビュー部分から前記ディペンデントビューの前記現在のピクチャを再構成するステップを含む、方法。
参照ビュー（２０）についての前記マルチビューデータストリーム（１４）内に送信される動きデータ（４２）に基づいて動き補償予測を用いて前記マルチビュー信号（１２）の参照ビュー（２０）の現在のピクチャ（３２ｔ1）を再構成するステップ、
前記参照ビュー（２０）についての前記動きデータ（４２）を前記参照ビュー（２０）の前のピクチャの深度マップ推定（７４）に適用することによって前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ1）の深度マップ推定（６４）を生成し（７１）、さらに
ディペンデントビュー（２２）の現在のピクチャ（３２ｔ2）の深度マップ推定（６４）を得るために前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ1）の前記更新された深度マップ推定（７４）を前記ディペンデントビュー（２２）にワープする（７６）
ことによって前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ2）の深度マップを推定するステップ、および
前記深度マップ推定を用いて前記マルチビューデータストリームのディペンデントビュー部分から前記ディペンデントビューの前記現在のピクチャを再構成するステップを含む、方法。
【請求項21】
マルチビューデータストリームにマルチビュー信号を符号化するための方法であって、
前記マルチビューデータストリームを介して参照ビューについての動きデータを送信することによって前記参照ビューについての動きデータに基づいて動き補償予測を用いて前記マルチビュー信号の参照ビューの現在のピクチャを符号化するステップ、
前記参照ビュー（２０）についての前記動きデータ（４２）を前記参照ビュー（２０）の前のピクチャの深度マップ推定（７４）に適用することによって前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ1）の深度マップ推定（６４）を生成し（７１）、さらに
前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ2）の前記深度マップ推定（６４）を得るために前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ1）の前記更新された深度マップ推定（７４）を前記ディペンデントビュー（２２）にワープする（７６）
ことによって前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ2）の深度マップを推定するステップ、および
前記深度マップ推定を用いて前記ディペンデントビューの前記現在のピクチャを前記マルチビューデータストリームのディペンデントビュー部分に符号化するステップを含む、方法。
前記マルチビューデータストリームを介して参照ビューについての動きデータを送信することによって前記参照ビューについての動きデータに基づいて動き補償予測を用いて前記マルチビュー信号の参照ビューの現在のピクチャを符号化するステップ、
前記参照ビュー（２０）についての前記動きデータ（４２）を前記参照ビュー（２０）の前のピクチャの深度マップ推定（７４）に適用することによって前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ1）の深度マップ推定（６４）を生成し（７１）、さらに
前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ2）の前記深度マップ推定（６４）を得るために前記参照ビュー（２０）の前記現在のピクチャ（３２ｔ1）の前記更新された深度マップ推定（７４）を前記ディペンデントビュー（２２）にワープする（７６）
ことによって前記ディペンデントビュー（２２）の前記現在のピクチャ（３２ｔ2）の深度マップを推定するステップ、および
前記深度マップ推定を用いて前記ディペンデントビューの前記現在のピクチャを前記マルチビューデータストリームのディペンデントビュー部分に符号化するステップを含む、方法。
【請求項22】
コンピュータ上で実行されるときに、請求項１８または請求項２１に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本願発明は、マルチビューコーデックによるマルチビュー符号化に関する。
【背景技術】
【0002】
マルチビュービデオ符号化において、ビデオシーンの２つ以上のビュー（それらは、複数のカメラによって同時にキャプチャされる）は、単一のビットストリームに符号化される。マルチビュービデオ符号化の主な目的は、３Ｄビューイングインプレッションを提供することによってエンドユーザに高度なマルチメディア体験を提供することにある。２つのビューが符号化される場合、２つの再構成されたビデオシーケンスを、従来のステレオディスプレイに（眼鏡をかけて）表示することができる。しかしながら、従来のステレオディスプレイのために眼鏡の使用は必須であり、ユーザにとってしばしば厄介である。眼鏡なしで高品質のステレオビューイングインプレッションを可能にすることは、現在、研究開発において重要な課題である。そのようなオートステレオスコピックディスプレイのための有望な技術は、レンチキュラーレンズシステムに基づく。原理的には、円柱レンズのアレイが、ビデオシーンの複数のビューが同時に表示されるように、従来のディスプレイに取り付けられる。それぞれのビューは、小さい円錐状に表示され、その結果、ユーザのそれぞれの目は、異なるイメージを見ることになり、この効果は、特別な眼鏡なしでステレオインプレションを形成することになる。しかしながら、そのようなオートステレオスコピックディスプレイは、典型的に、同じビデオシーンの１０～３０のビューを必要とする（技術がより進歩した場合、より多くのビューが必要とされ得る）。２つを超えるビューを、ユーザにビデオシーンのためのビューポイントをインタラクティブに選択する可能性を提供するためにも用いることができる。しかし、ビデオシーンの複数のビューの符号化によれば、従来の単一のビュー（２Ｄ）ビデオと比較して必要なビットレートが大幅に増加する。典型的に、必要なビットレートは、近似的に、符号化されたビューの数に比例して直線的に増加する。オートステレオスコピックディスプレイのための送信されたデータ量を低減するための概念は、少数のビュー（おそらく２～５のビュー）だけを送信することに加えて、いわゆる深度マップを送信することからなり、それは、１つ以上のビューのためのイメージサンプルの深度（現実世界のオブジェクトからカメラまでの距離）を表す。対応する深度マップを有する少数の符号化されたビューを考えると、高品質の中間ビュー（符号化されたビュー間にある仮想ビュー）、および、カメラアレイの一端または両端にいくらか拡張する付加的なビューも、適切なレンダリング技術によってレシーバ側で形成することができる。
【0003】
ステレオビデオ符号化および汎用マルチビュービデオ符号化の両方のために（深度マップの有無にかかわらず）、異なるビュー間の相互依存性を利用することが重要である。すべてのビューが（わずかに異なる視点から）同じビデオシーンを表すので、複数のビュー間にかなりの相互依存性がある。非常に効率的なマルチビュービデオ符号化システムを設計するための目標は、これらの相互依存性を効率的に利用することである。マルチビュービデオ符号化のための従来のアプローチにおいて、例えばITU-T Rec. H.264 | ISO/IEC 14496-10のマルチビュービデオ符号化（ＭＶＣ）拡張に関して、ビュー相互依存性を利用する唯一の技術は、すでに符号化されたビューからのイメージサンプルの視差補償予測であり、それは、従来の２Ｄビデオ符号化において用いられる動き補償予測と概念的に類似している。しかしながら、典型的にイメージサンプルの小さいサブセットだけがすでに符号化されたビューから予測され、その理由は、時間的な動き補償予測がしばしばより効果的である（２つの時間的に連続したイメージ間の類似性が同じ時刻に隣接したビュー間の類似性よりも大きい）からである。マルチビュービデオ符号化の効果をさらに改善するために、効率的な動き補償予測とビュー間予測技術を結合することが必要とされる。１つの可能性は、他のビューの動きデータを予測するために１つのビューにおいて符号化される動きデータを再利用することである。すべてのビューが同じビデオシーンを表すので、１つのビューにおける動きは、深度マップおよびいくつかのカメラパラメータによって表すことができる現実世界のシーンのジオメトリに基づいて他のビューにおける動きに接続される。
【0004】
先端技術のイメージおよびビデオ符号化において、ピクチャまたはピクチャのためのサンプルアレイの特定のセットは、通常、ブロックに分解され、それらは、特定の符号化パラメータと関連している。ピクチャは、通常、複数のサンプルアレイ（輝度およびクロミナンス）からなる。加えて、ピクチャは、付加的な補助サンプルアレイと関連してもよく、それは、例えば、透明度情報または深度マップを特定することができる。それぞれのピクチャまたはサンプルアレイは、通常、ブロックに分解される。ブロック（またはサンプルアレイの対応するブロック）は、インターピクチャ予測またはイントラピクチャ予測によって予測される。ブロックを、異なるサイズにすることができ、さらに、正方形または矩形にすることができる。ピクチャのブロックへの分割を、シンタックスによって固定することができ、または、それを、ビットストリーム内に（少なくとも部分的に）シグナリングできる。しばしば、所定のサイズのブロックのための再分割をシグナリングできるシンタックスエレメントが送信される。そのようなシンタックスエレメントは、例えば予測の目的のために、ブロックがより小さいブロックに再分割されさらに関連した符号化パラメータであるべきかどうかとどのような方法かを特定することができる。ブロック（またはサンプルアレイの対応するブロック）のすべてのサンプルのために、関連した符号化パラメータの復号化が、特定の方法で特定される。例において、ブロックにおけるすべてのサンプルは、例えば、（すでに符号化されたピクチャのセットにおいて参照ピクチャを確認する）参照インデックス、（参照ピクチャおよび現在のピクチャ間のブロックの動きについての尺度を特定する）動きパラメータ、内挿フィルタを特定するためのパラメータ、イントラ予測モードなどの予測パラメータの同じセットを用いて予測される。動きパラメータを、水平および垂直の成分を有する変位ベクトルによって、または、例えば６つの成分からなるアフィン動きパラメータなどのより高次の動きパラメータによって表すことができる。（例えば参照インデックスおよび動きパラメータなどの）複数の特定の予測パラメータのセットを単一のブロックと関連していることも可能である。その場合、これらの特定の予測パラメータのセットごとに、ブロック（またはサンプルアレイの対応するブロック）についての単一の中間予測信号が生成され、さらに、最終的な予測信号が中間予測信号の重ね合わせを含む結合によって構築される。対応する重み付けパラメータおよび潜在的に一定のオフセット（それは、重み付けられた合計に加えられる）も、ピクチャまたは参照ピクチャまたは参照ピクチャのセットのために固定することができ、または、それらを、対応するブロックについての予測パラメータのセットに含むことができる。残差信号とも呼ばれる、元のブロック（またはサンプルアレイの対応するブロック）およびそれらの予測信号間の差は、通常、変換されさらに量子化される。しばしば、２次元変換が、残差信号（または残差ブロックに関する対応するサンプルアレイ）に適用される。変換符号化のために、予測パラメータの特定のセットが用いられているブロック（またはサンプルアレイの対応するブロック）を、変換を適用する前にさらに分割することができる。変換ブロックを、予測のために用いられるブロックに等しくまたはそれよりも小さくすることができる。変換ブロックが予測のために用いられるブロックの１つを超えるブロックを含むことも可能である。異なる変換ブロックを、異なるサイズにすることができ、さらに、変換ブロックは、正方形または矩形のブロックを表すことができる。変換後に、結果として得られる変換係数が量子化され、さらに、いわゆる変換係数レベルが得られる。変換係数レベルおよび予測パラメータと、存在する場合、再分割情報とが、エントロピー符号化される。
【0005】
マルチビュービデオ符号化における先端技術は、直接的な方法で２Ｄビデオ符号化技術を拡張する。概念的に、異なるビューに対応する２つ以上のビデオシーケンスが、並行して符号化（または復号化）される。より具体的には、アクセス単位（または時刻）ごとに、異なるビューに対応するピクチャが、所定のビュー順序で符号化される。ＭＶＣビットストリームは、常に、他のビューに関係なく復号化することができるベースビューを含む。これは、基礎となる２Ｄビデオ符号化規格／スキームとの後方互換性を確保する。ビットストリームは、通常、ベースビューに対応するサブビットストリーム（さらに、加えて、符号化されたビューの特定のサブセットに対応するサブビットストリーム）を、すべてのビットストリームのいくつかのパケットを廃棄することによる単純な方法で抽出することができる方法で構成される。ビュー間の依存性を利用するために、現在のアクセスユニットのすでに符号化されたビューのピクチャを、現在のビューのブロックの予測のために用いることができる。この予測は、しばしば視差補償予測またはビュー間予測と呼ばれる。それは、基本的に従来の２Ｄビデオ符号化において動き補償予測と同一であり、唯一の違いは、参照ピクチャが、現在のアクセスユニット内で（すなわち、同じ時刻に）異なるビューのピクチャを表し、さらに、異なる時刻に同じビューのピクチャを表さないということである。基礎となる２Ｄビデオ符号化スキームの設計においてビュー間予測を組み込むために、ピクチャごとに、１つ以上の参照ピクチャリストが構成される。ベースビュー（独立して復号化可能なビュー）のために、従来の時間的な参照ピクチャだけが、参照ピクチャリストに挿入される。しかしながら、すべての他のビューのために、ビュー間参照ピクチャを、時間的な参照ピクチャに加えて（またはその代わりに）参照ピクチャリストに挿入することができる。いずれかのピクチャが、ビデオ符号化規格／スキームによって決定される参照ピクチャリストに挿入されおよび／またはビットストリーム内に（例えば、パラメータセットおよび／またはスライスヘッダ内に）シグナリングされる。そして、時間的なまたはビュー間参照ピクチャが、現在のビューの特定のブロックのために選択されるかどうかが、参照ピクチャインデックスを符号化すること（または推測すること）によってシグナリングされる。すなわち、ビュー間参照ピクチャは、わずかに拡張されたものの参照ピクチャリストの構成だけ、従来の時間的な参照ピクチャと同じ方法で正確に用いられる。
【0006】
【0007】
概念的に、ＳＶＣに関して類似した概念を、マルチビュービデオ符号化においても用いることができる。複数のカメラは、異なる視点から同じビデオシーンをキャプチャする。しかしながら、現実世界のオブジェクトがシーンにおいて移動する場合、異なるキャプチャされたビューにおける動きパラメータは、独立していない。しかし、スケーラブル符号化とは対照的に、オブジェクトの位置は、すべてのレイヤ（レイヤは、ちょうど同じキャプチャされたビデオの異なる解像度または異なる品質を表す）において同じであり、投影された動きの相互関係は、より複雑であり、さらに、いくつかのカメラパラメータおよび現実世界のシーンにおいて３Ｄ関係に依存する。しかし、すべての関連したカメラパラメータ（例えば焦点距離、カメラの距離およびカメラの光軸の方向など）および投影されたオブジェクトポイントの距離（深度マップ）が与えられる場合、特定のビュー内の動きは、別のビューの動きに基づいて導出され得る。一般に、ビデオシーケンスまたはビューを符号化するために、オブジェクトポイントの正確な動きを知る必要はなく、代わりに例えばサンプルのブロックについての動きベクトルなどの単純なパラメータで十分である。この趣旨において、異なるビュー間の動きパラメータの関係も、ある程度単純化することができる。
【0008】
しかしながら、好意的に、マルチビュー信号を符号化する際の符号化順序は、それぞれのビューのテクスチャを伝えるピクチャが深度マップを符号化／復号化する際にピクチャを符号化／復号化することから知られる特徴を効率的に利用することができるようにするために対応する深度マップの前に符号化されるように、選択される。さらに言い換えれば、深度マップおよび関連したピクチャ間の冗長性の除去は、その逆よりはむしろピクチャから深度マップに通じる符号化順序の場合に、より効率的なことがわかる。しかしながら、この符号化順序に従うことは、デコーダがディペンデントビューのピクチャを復号化する時に、復号化側で利用できる深度マップ情報の欠如をもたらし、その理由は、その深度マップがまだ再構成されていないからである。不都合なことに、参照ビューの符号化パラメータは、効率的に利用できない場合がある。その状況は、ビューの深度マップが存在しないマルチビューデータストリームの場合に、さらに深刻である。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本願発明の目的は、より効率的なマルチビュー符号化概念を提供することである。
【課題を解決するための手段】
【0010】
この目的は、係属中の独立した請求項の主題によって達成される。
【0011】
本願発明の第１の態様によれば、アイデアが利用され、それによれば、とにかく予期されないそれの伝送による、または、テクスチャ／ピクチャおよびその深度マップ間の好適な符号化順序による、または、伝送または復号化の間のビットストリームからの深度データの予期された廃棄による、参照ビューの現在のピクチャについての深度マップの欠如を、参照およびディペンデントビューのピクチャについての深度マップを推定し、さらに、それをマルチビューデータストリーム内にシグナリングする動きおよび／または視差データを用いて更新することによって、ビュー間冗長性を低減するために、適切に対処することができる。特に、仮想的にすべてのマルチビューデータストリームは、そこに定義されるランダムアクセスポイントを有し、すなわち、時刻が、前に符号化されたピクチャに時間的予測および他の依存性なしで符号化されるマルチビュー信号のビューのピクチャに対応するが、参照ビューに関する限り単にイントラ予測を用い、さらに、ディペンデントビューに関する限りイントラ予測および視差に基づいた予測を用いる。従って、ビュー間予測についてのマルチビューデータストリーム内にシグナリングされる視差データを、ディペンデントビューについての深度マップ推定を初期化するために利用することができ、さらに、この主要な深度マップ推定を、マルチビューデータストリーム内にシグナリングされる動きデータおよび／または視差データを用いてマルチビュー符号化のさらなる経過の間に連続的に更新することができる。このように得られた連続的に更新される深度マップ推定は、ビュー間冗長性低減の従属したさまざまな方法がこの深度マップ推定にアクセスしないよりもより効率的な方法で実行されることを可能にする。
【0012】
別の態様によれば、以下の発見が利用され、ディペンデントビューのピクチャのブロックについての動き予測因子候補の拡大したリストと関連するオーバーヘッドは、視差補償の意味において、参照ビューの同じ位置に配置されたブロックから決定される動きベクトル候補の加算から生じる動きベクトル予測品質における利得と比較して比較的少ない。両方のブロック間の視差は、第１の態様を用いて決定されてもよく決定されなくてもよい。
【0013】
本願発明の好適な実施態様は、従属した請求項の主題である。
【0014】
本願発明の好適な実施形態が、図に関して以下にさらに詳細に記載される。
【図面の簡単な説明】
【0015】
【図4】図４は、（現在のブロック内の特定のサンプル位置を用いて）参照ビューにおいて動きが与えられる現在のブロックについての動きベクトルおよび現在のピクチャについての深度マップ推定を導出するための基本的なプロセスを示す。
【図5】図５は、１つのビューのために与えられる深度マップを別のビューにマッピングするための基本的なプロセスを示し、（左は）ビューについての所定の深度マップ であり、灰色領域は、バックグラウンドを表し、さらに、白色領域は、フォアグラウンドオブジェクトを表し、（中央は）サンプルを深度値に対応する視差ベクトルで変位し、さらに、１つを超えるサンプルが投影される場所のためのフォアグラウンドオブジェクトを保つことによって、得られる変換された深度マップであり、黒色領域は、サンプルが投影されていない非閉塞領域に表し、（右は）バックグラウンドのための深度値によって非閉塞領域を満たした後の変換された深度マップである。
【発明を実施するための形態】
【0016】
図１は、マルチビューデータストリーム１４に符号化されるマルチビュー信号１２を再構成するための装置１０のための実施形態を示す。装置１０は、マルチビューデータストリーム１４のための入力１６と、それぞれ、参照ビュー信号２０およびディペンデントビュー信号２２のための２つの出力１８ａおよび１８ｂとを含む。
【0017】
さらに、装置１０は、入力１６および出力１８ａ間に接続される参照ビュー再構成器２４と、入力１６および出力１８ｂ間に接続されるディペンデントビュー再構成器２６とを含む。装置１０の深度マップ推定器２８は、参照ビュー再構成器２４のパラメータ出力およびディペンデントビュー再構成器２６の参照入力間に接続され、さらに、ディペンデントビュー再構成器２６のパラメータ出力に接続される。
【0018】
以下にさらに詳細に概説されるように、図１の装置またはデコーダ１０は、それによれば参照信号２０がディペンデントビュー２２の前に処理される符号化／復号化順序に従うことによってマルチビューデータストリーム１４からマルチビュー信号１２を再構成する。マルチビュー信号１２は、図１に示されるように、それぞれのビュー２０および２２と関連する異なるビュー方向またはビューポイントから１つの共通のシーンの空間サンプリングを表すだけでなく、時間軸３０に沿って３つの時刻Ｔ－１、ＴおよびＴ＋１を示すことによって図１に例示的に示されるように、このシーンの時間的なサンプリングも表すことができる。時刻ごとに、それぞれのビュー２０および２２は、ピクチャ３２ｔ1および３２ｔ2を含み、それぞれのピクチャ３２ｔ1,2は、それぞれのテクスチャマップを表す。
【0019】
図１は両方のビュー２０および２１が時間的にアライメントされるそれらのピクチャ３２ｔ1,2を有することを仮定することに留意されたい。しかしながら、ビュー２０および２２間の時間分解能は、異なることができる。当然、同じことが、ピクチャおよび深度マップの空間分解能にあてはまる。
【0020】
さらに、デコーダ１０は、時間において連続してマルチビュー信号１２を処理するように構成される。より正確には、デコーダ１０は、次の時刻Ｔのピクチャおよび深度マップを処理することを続ける前に、例えばＴ－１などの特定の時刻のピクチャ３２ｔ1,2を再構成するように構成される。この点に関しては、マルチビュー信号１２の時刻中の時間的な符号化順序が、それぞれ、ピクチャおよび深度マップの表示時間順序に等しくてもよくまたはそれから異なってもよいことに留意されたい。
【0021】
参照ビュー再構成器２４は、マルチビューデータストリーム１４の参照ビュー部分３６から参照ビュー２０を再構成するように構成され、その一方で、ディペンデントビュー再構成器２６は、マルチビューデータストリーム１４のディペンデントビュー部分３８に基づいてディペンデントビュー２２を再構成するように構成される。実際に、参照ビュー再構成器２４およびディペンデントビュー再構成器２６は、同様の方法で作動するように構成され得る。例えば、参照再構成器２４およびディペンデントビュー再構成器２６は、ブロックごとのベースで作動することができる。両方とも、それぞれ、例えば、ハイブリッドビデオデコーダとして構成され得る。参照ビュー再構成器２４は、例えば、利用できる符号化モードのそれぞれの１つをピクチャが再分割されるブロック４０に割り当てることによって、現在の時刻Ｔのピクチャ３２ｔ1を再構成する。ピクチャ３２ｔ1のブロックへの再分割は、デフォルトによって事前に定義され得てまたはマルチビューデータストリーム１４内にシグナリングされる。再分割は、ピクチャ３２ｔ1を規則的な方法で同じサイズのブロックまたは異なるサイズのブロックに再分割することができる。さらに、マルチツリー再分割も、ブロック４０のブロックサイズがピクチャコンテンツに局所的に適応され得るように可能である。利用できる符号化モードは、それによれば参照ビュー再構成器２４がピクチャ３２ｔ1のブロック中で定義される復号化順序で現在のブロックの前にすでに再構成されたブロックのすでに再構成されたサンプルから予測によってそれぞれのブロック４０を満たす１つ以上のイントラ予測モードや、それによれば参照ビュー再構成器２４が例えば動きベクトル、参照ピクチャインデックスなどのような動きデータを用いて動き補償および／または予測によってそれぞれのブロックを再構成する１つ以上のインター予測モードを含むことができる。例えば、説明のために、２つのブロックは、インター予測によって再構成されることが例示的に示される。これらのインター予測されたブロックについての動きデータ４２は、動き参照インデックスによってインデックスが付けられさらに動きデータ４２で構成される参照ピクチャ３２ｔ1の再構成されたバージョンのそれぞれの部分をコピーするために、参照ビュー再構成器２４によって用いられる動きベクトルを含むことができる。動きデータ４２は、マルチビューデータストリーム１４の参照ビュー部分３６で構成される。
【0022】
ディペンデントビュー再構成器２６は、参照ビュー再構成器２４と全く同じに作動するが、ディペンデントビュー再構成器２６では、ディペンデントビュー部分３８からディペンデントビュー２２を再構成するように構成される。したがって、現在の時刻Ｔの現在のピクチャ３２ｔ2を再構成する際に、ディペンデントビュー再構成器２６は、マルチビューデータストリーム１４内に固定されまたはシグナリングされ得るブロック５０への再分割を用いてブロックごとの処理を用いることもできる。代わりに、以下にさらに詳細に概説されるようにブロック５０への再分割の深度マップに基づいたビュー間予測が、ビュー２０のブロック４０への再分割からビュー２２についてのブロック５０への再分割を導出するために、ディペンデントビュー再構成器２６によって用いられ得る。符号化モードに関する限り、ディペンデントビュー再構成器２６は、それらが参照ビュー再構成器２４に関して記載されているように符号化モードをサポートすることができる。したがって、例示的に、２つのブロック５０は、それぞれ、前に再構成されたピクチャ３２ｔ2の再構成されたバージョンのそれぞれの部分から適切にコピーされるように、それぞれ、動きデータ５４を用いてインター予測を受けることが例示的に示される。全体で、この動きデータ５８は、ビュー２２の現在のピクチャまたは現在の時刻についての動きデータを表す。しかしながら、これらの符号化モードに加えて、ディペンデントビュー再構成器２６は、いくつかの視差データによって定義されるように、同じ時刻であるが空間的に変位されるビュー２０の部分からそれぞれのブロックをコピーするために視差補償予測を用いるための１つ以上のビュー間予測モードをサポートする能力を有する。図１において、ピクチャ３２ｔ2における１つの視差予測されたブロックは、対応する視差データ６０とともに例示的に示される。視差データ６０は、例えば、ビュー２０および２２間のビューオフセット方向に沿った視差ベクトルまたは少なくとも視差成分と、任意に、インデックスが図１に例示的に示されるように２つを超えるビューの共存の場合に有利であり得るディペンデントビュー２２のそれぞれのブロック５０が従属する参照ビューを示すビューインデックスとを含むことができる。
【0023】
すなわち、参照ビュー再構成器２４およびディペンデントビュー再構成器２６は、できるだけ、時間軸３０に沿いさらにビュー２０および２２間のビュー間方向における冗長性を低減するような方法で作動する。これは、例えば動きデータおよび視差データなどのサイド情報並びに符号化モードおよび上述の再分割情報の予測にとって真実でもある。この情報のすべては、時間方向における互いの間およびビュー間の冗長性を示す。
【0024】
しかしながら、ディペンデントビュー再構成器２６は、ディペンデントビュー再構成器２６が現在復号化されたピクチャ３２ｔ2についての深度マップにアクセスする場合、ビュー２０および２２間の冗長性をより効率的に利用することができる。したがって、深度推定器２８は、以下にさらに詳細に記載される方法で現在の時刻Ｔの現在のピクチャ３２ｔ2の深度マップについての推定として深度マップ推定６４を提供するように構成され、さらに、ディペンデントビュー再構成器２６は、この深度マップ推定６４を用いてマルチビューデータストリーム１４のディペンデントビュー部分３８からディペンデントビュー２２の現在の時刻の現在のピクチャ３２ｔ2を再構成するように構成される。例えば、近くに深度マップ推定６４を有すると、ディペンデントビュー再構成器２６は、現在のビュー２２の深度マップ推定６４に基づいてディペンデントビュー２２の現在のピクチャの動きデータ５４および参照ビュー２０の現在のピクチャについての動きデータ４２を予測し、さらに、予測された動きデータに基づいて動き補償予測を用いてディペンデントビュー２２の現在のピクチャを再構成することができる。例えば、現在のビュー再構成器２４は、動きデータ５４を予測する際に、参照ビュー２０の現在のピクチャにおいて対応する位置を決めるためにディペンデントビュー２２の深度データ推定６４を用い、さらに、ディペンデントビュー２２の現在のピクチャの動きデータ５４を予測するために対応する位置で参照ビュー２０の現在のピクチャについての動きデータ４２を用いるように構成され得る。以下の説明において、深度データ推定６４を用いる空間ルックアップが行われる可能な方法が、以下にさらに詳細に記載される。特に、以下の説明において、動きデータ４２が動きデータ５４についての良好な予測因子を形成する事実が、さらに詳細に動機付けられる。当然、リファインメントデータは、動きデータ５４についての予測残差をシグナリングするために、ディペンデントビュー部分３８で構成され得る。特に、以下にさらに詳細に述べられるように、ディペンデントビュー再構成器２６は、ディペンデントビュー２２の現在の時刻のピクチャ３２ｔ2の現在のブロック５０内の１つ以上の所定のサンプル位置のために深度データ推定６４から導出される視差ベクトルを適用し、さらに、現在のブロック５０の動きデータ５４についての予測因子として１つ以上のワープされた位置を含む１つ以上のブロック４０の動きデータ４２を用いてビュー２０の同じ時刻のピクチャ３２ｔ1において対応しまたはワープされた位置を決めるためにこれらの視差ベクトルを用いるように構成され得る。現在のブロック５０内の１つを超えるそのような参照サンプル位置の場合において、目標とされたブロックまたはブロック４０の結果として生じる１つ以上の参照動きデータの平均またはメジアン値が、予測因子として用いられ得る。
【0025】
さらに、ディペンデントビュー再構成器２６は、ディペンデントビュー２２の深度データ推定６４に基づいてディペンデントビュー２２の現在のピクチャについての視差データ６０を予測し、さらに、予測された現在の視差データに基づいて視差補償予測を用いてディペンデントビュー２２の現在のピクチャを再構成するように構成され得る。また、リファインメントは、マルチビューデータストリーム１４のディペンデントビュー部分３８内にシグナリングされ、さらに、予測された現在の視差データをリファインするためにディペンデントビュー再構成器２６によって用いられ得る。さらに、上で概説されるように、理論的に、ブロック５０の視差データ６０も、同様に予測され得る。以下にさらに詳細に概説されるように、ディペンデントビュー再構成器２６は、深度データを視差ベクトルに変換し、さらに、それぞれ、直接的に、視差データ６０および６２内の視差ベクトルについての予測因子としてこれらの視差ベクトルを用いることによって、現在のビューの深度データ推定６４に基づいて視差データ６０および６２を予測するように構成され得る。
【0026】
当然、ディペンデントビュー再構成器２６は、ビュー２０および２２間のビュー間冗長性を低減するために深度データ推定を用いるように、今述べた可能性のいかなる結合もサポートできる。
【0027】
今述べた深度データ推定６４を導出するために、深度推定器２８は、以下のように働く。
【0028】
特に、図１の実施形態によれば、深度推定器２８は、それぞれのピクチャ３２ｔ1,2がそれに関連する深度マップ推定６４を有することを確かにし、それらは、一連の更新において互いに連続的に導出される。以下にさらに詳細に概説されるように、深度推定器２８は、上で概略された改善されたビュー間冗長性低減のための基礎として働くために、主にディペンデントビュー２２のそれぞれのピクチャ３２ｔ2にそのような深度マップ推定６４を提供することを目的として、ビュー２０および２２間にピンポンのように深度マップ推定６４を連続的に更新するように構成される。
【0029】
事前に、深度推定器２８は例えば時刻Ｔ－１などの参照ビュー２０の１つ以上の前のピクチャ３２ｔ1についてのそのような深度推定にすでにアクセスしていると仮定される。深度推定器２８が参照ビュー２０の前に復号化されたピクチャ３２ｔ1についてのこの深度マップ推定７４にアクセスすることができる方法が、さらに以下に記載される。しかしながら、そのような深度マップデータが、明確にいわゆるランダムアクセスユニット内の参照ビュー２０の最初のピクチャ３２ｔ1、すなわち信号１２のいかなる前の部分に関係なく復号化可能であるピクチャ３２ｔ1のグループについてのマルチビューデータストリーム１４内に断続的にシグナリングされ得ることに留意されるべきである。この可能性を示すために、点線は、深度推定器２８と入力１６を接続する。以下の説明において、そのような開始深度マップの余分の伝送が必要でない可能性が示される。むしろ、ランダムアクセスユニット内の符号化順序でディペンデントビュー２２の最初のピクチャ３２ｔ2についてのデータストリーム部分３８内の視差データは、ランダムアクセスユニット内の符号化順序で参照ビュー２０の最初のピクチャ３２ｔ1の開始深度マップを構成するために利用される。
【0030】
特に、深度推定器２８は、例えば、現在の時刻Ｔで参照ビュー２０の現在のピクチャ３２ｔ1についての動きデータ４２を時刻Ｔ－１で参照ビュー２０のいかなる前のピクチャ３２ｔ1の深度マップ推定７４に適用することによってディペンデントビュー２２の現在のピクチャ３２ｔ2の深度マップ６４を生成するように構成される。すでに上述のように、参照ビュー再構成器２４は、参照ビュー２０についてのマルチビューデータストリーム１４内にシグナリングされる動きデータ４２に基づいて動き補償予測を用いて参照ビュー２０の現在のピクチャ３２ｔ1を再構成する。深度推定器２８は、この動きデータ４２にアクセスし、さらに、一連の更新の述べられた更新の１つについてこの動きデータ４２を用い、すなわち、前の時刻Ｔ－１での参照ピクチャ３２ｔ1の深度マップ推定７４から現在の時刻Ｔでの現在のピクチャ３２ｔ1の深度マップ推定６４への遷移７１を用いる。これが実行され得る方法が、以下にさらに詳細に概説される。事前に、動きデータ４２を前の時刻Ｔ－１についての深度マップ７４に適用すること７１は、同じ位置に配置されたブロック７２、すなわちこの動きデータ４２がストリーム部分３６においてシグナリングされるブロック４０と同じ位置に配置される現在のピクチャ３２ｔ1の深度マップ推定６４内の部分が、参照された深度マップ推定、すなわち動きデータ４２に等しい動きデータ４２´によって示される参照された深度マップ推定７４内の部分で前の時刻Ｔ－１のピクチャ３２ｔ1についての深度マップ推定７４のコンテンツで更新されすなわちそれからコピーされることを、意味することに十分に留意すべきである。残りのホールは、現在のピクチャ３２ｔ1のブロック４０中のイントラ符号化されたブロックによって提供される付加的な情報を利用する内挿および／または外挿によって満たされ得る。その結果、深度マップ推定６４は、更新されている（またはＴ－１からＴへ遷移することによって生成されている）。
【0031】
また、深度推定器２８は、単に同じ時刻Ｔのディペンデントビュー２２の現在のピクチャ３２ｔ2の深度マップ推定６４を導出するための基礎として働くように以下にさらに記載される一連の更新をさらに行うために、この更新／遷移７１を実行する。導出を終了するために、深度推定器２８は、ディペンデントビュー２２の現在のピクチャ３２ｔ2の深度マップ推定６４を得るために参照ビュー２０の現在のピクチャ３２ｔ1の更新された深度マップ推定６４をディペンデントビュー２２にワープする。すなわち、動きデータ４２が単にブロック粒度で定義されるので、更新／遷移７１およびワーピング７８から生じるようなビュー２２の結果として生じる深度マップ推定６４は、深度の全く粗い推定を表すが、以下に示されるように、そのような粗い推定は、ビュー間冗長性低減を実行する際に効率を著しく増加ために十分である。
【0032】
ワーピング７６に関する可能な詳細が、以下にさらに記載されるにもかかわらず、簡潔に述べると、ディペンデントビュー再構成器２６は、現在のピクチャ３２ｔ1の深度マップ推定６４から視差ベクトルを導出し、さらに、ディペンデントビュー２２の現在のピクチャ３２ｔ2のワープされた深度マップ推定６４を得るために、導出された視差ベクトルを深度マップ推定６４自体に適用することによって、ワーピング７８を実行するように構成され得る。
【0033】
このように、深度推定器２８がディペンデントビュー再構成器２６にワーピング７６の結果、すなわちビュー２２について現在の時刻Ｔの深度マップ推定６４を提供するとすぐに、ディペンデントビュー再構成器２６は、可能な実施が以下により詳細に述べられる上で概説されたビュー間冗長低減を実行するためのこの深度マップ推定６４を用いることができる。
【0034】
しかしながら、深度推定器２８は、参照ビュー２２の現在のピクチャ３２ｔ2について更新された深度マップ推定７４を得るために、この深度マップ推定６４を更新し７７続け、それによって、次の時刻Ｔ＋１についての推定をもたらす一連の更新を維持している。したがって、ディペンデントビュー再構成器２６は、更新ステップ７１に関して上述のように、少なくとも動きデータ５４のために、同様の方法でディペンデントビュー２２についての視差および／または動きデータ５４および６０を用いて、現在の時刻Ｔのディペンデントビュー２２の現在のピクチャ３２ｔ2の深度マップ推定６４を更新する７７ように構成される。すなわち、ディペンデントビュー再構成器２６は、時刻Ｔに関するピクチャ３２ｔ2についての視差／動作データをこのピクチャ３２ｔ2を再構成するためのストリーム部分３８内に用いる。視差データ６０に関する限り、深度推定器２８は、容易に、視差データ５４内に含まれる視差ベクトルを深度値に変換することができ、さらに、これらの深度値に基づいて、更新された深度値をピクチャ３２ｔ2においてそれぞれの視差予測されたブロック５０と同じ位置に配置されるディペンデントビュー２２の現在のピクチャ３２ｔ2の更新された深度マップ推定７９ｂのサンプルに割り当てることができる。動きデータ５４は、ディペンデントビュー２２の参照された前の時刻Ｔ－１のピクチャ３２ｔ2の深度マップ推定７４のコンテンツを、動きデータ５４に等しい動きデータによって示されるそれの部分で、この動きデータ４２がストリーム部分３６においてシグナリングされているブロック５０と同じ位置に配置される現在のピクチャ３２ｔ2の更新された深度マップ推定７４内の部分にコピーするために用いられ得る。残りのホールは、現在のピクチャ３２ｔ1のブロック４０中のイントラ符号化されたブロックによって提供される付加的な情報を利用する内挿および／または外挿によって満たされ得る。その結果、現在のピクチャ３２ｔ2の更新された深度マップ推定７４が、更新されている（またはＴ－１からＴへ遷移することによって生成されている）。ディペンデントビュー２２の参照された前の時刻Ｔ－１のピクチャ３２ｔ2の深度マップ推定７４がランダムアクセスユニットの開始で導出され得る方法に関する可能性が、以下にさらに記載される。しかしながら、そのようなランダムアクセスユニットの開始でビュー２０についての上述のおそらく明確に送信された深度マップは、ビュー２２にワープされ得て、代わりに、ディペンデントビュー２２の参照された前の時刻Ｔ－１のピクチャ３２ｔ2の深度マップ推定７４を得る。
【0035】
ブロッキングアーチファクトを低減するために、更新７１および７７は、ブロック境界で個々のブロックの更新の影響を低減する重み関数を用いることによって実行され得る。
【0036】
すなわち、ワープ７６によって得られるような深度マップ推定６４に基づいて、ディペンデントビュー再構成器２６は、マルチビューデータストリーム１４のディペンデントビュー部分３８で構成されるディペンデントビュー２２についての視差および／または動きデータ５４および６０に基づいて視差および／または動き補償予測を用いてディペンデントビュー２２の現在のピクチャ３２ｔ2を再構成し、さらに、この際に、ディペンデントビュー再構成器２６は、深度推定器２８に視差および／または動きデータ５４、６０を提供し、そして、深度推定器６８によって使用されて、更新７７を実行する。
【0037】
この更新７７の後に、深度推定器２８は、次の時刻Ｔ＋１などへのトランジション／更新７９についての基礎／参照として働くことができる時刻Ｔについての参照ビュー２０の現在のピクチャ３２ｔ1の更新された深度マップ推定７４を得るために、ディペンデントビュー２２の現在のピクチャ３２ｔ2の更新された深度マップ推定７４を参照ビュー２０にワープバックする７８ことができる。
【0038】
それ以後、深度推定器２８は、深度マップ推定６４でディペンデントビュー再構成器２６を連続的にサポートするために時間軸３０に沿って深度マップ推定をモデル化するように、単にプロセス７１、７６、７７および７８（ステップ７９は、ステップ７１に対応する）を反復的に繰り返す。
【0039】
これらのステップ７１、７６、７７、７８、および７９のすべてに関するさらなる詳細が、以下にさらに詳細に記載される。これらのさらなる詳細のすべては、図１に関して提案される説明に個々に適用できる。
【0040】
上に概説される概念に関するさらなる詳細を記載する前に、図１の復号化器（以下、デコーダと称す）に適合する符号化器（以下、エンコーダと称す）のための実施形態が、図２に関して記載される。図２は、マルチビュー信号１２をマルチビューデータストリーム１４に符号化するための装置を示し、このために、参照符号９０で一般に示されるエンコーダを有する参照ビューエンコーダ８０、ディペンデントビューエンコーダ８２および深度推定器８４を含む。参照ビューエンコーダ８０は、マルチビュー信号１２の参照ビュー２０をデータストリーム１４の参照ビュー部分３６に符号化するように構成され、その一方で、ディペンデントビューエンコーダ８２は、マルチビュー信号１２のディペンデントビュー２２をマルチビューデータストリーム１４のディペンデントビュー部分３８に符号化することに関与している。参照ビューエンコーダ８０およびディペンデントビューエンコーダ８２は、後方予測の態様で作動することができ、さらに、深度推定器８４は、参照ビューエンコーダ８０およびディペンデントビューエンコーダ８２から利用できる同じ情報を用いることによってデコーダ１０に関して上述の方法で深度マップ推定およびその連続的な更新を実行するように構成され得る。すなわち、深度推定器８４は、参照ビューの現在のピクチャを動き補償予測するために用いられている参照ビューについての動きデータ４２を、参照ビュー２０の前のピクチャ３２ｔ1の深度マップ推定に適用し、さらに、ディペンデントビュー２２の現在のピクチャ３２ｔ2の深度マップ推定６４を得るために参照ビュー２０の現在のピクチャ３２ｔ1のこのようにして得られた深度マップ推定６４をディペンデントビュー２２にワープすること７６によって、ディペンデントビュー２２の現在のピクチャ３２ｔ2の深度マップ推定６４を生成する７１ように構成される。同様に、深度推定器８４は、次の更新ステップ７７および以下のバックワープステップ７８も実行する。この目的で、参照ビューエンコーダ８０およびディペンデントビューエンコーダ８２は、エンコーダ９０の入力および出力間に並行に接続され得て、その一方で、深度推定器８４は、参照ビューエンコーダ８０のパラメータ出力およびディペンデントビューエンコーダ８２の参照入力間に接続され、さらに、ディペンデントビューエンコーダ８２のパラメータ出力に接続され得る。参照ビューエンコーダ８０の再構成出力は、例えば内部予測ブロックの出力などの参照ビューエンコーダ８０の予測パラメータ出力に接続され得る。
【0041】
ディペンデントビューエンコーダ８２は、図１に関して上で概説される態様で深度マップ推定６４を用いてディペンデントビュー２２の現在のピクチャまたは現在の時刻を符号化することができ、すなわち、ディペンデントビュー部３８の部分を形成するために、それぞれの動きまたは視差データについての予測残差データを生成することの有無にかかわらず、動きデータ５８または少なくとも５４を予測し、または、視差データ６０および６２または少なくとも６０、または、少なくともこれらのオプションの部分を予測するために、符号化することができる。
【0042】
以下において、より詳細な実施形態が示され、それは、例えばＨＥＶＣなどにおいて規則的に配置されたツリールートブロックのブロック結合、マルチツリーブロック分割を用いてハイブリッド符号化タイプと結合されるときに、特に有利である。
【0043】
さらなるビューを効率的に符号化するための参照ビューの動きデータを使用するための先端技術の概念は、すべて、ITU-T Rec. H.264 | ISO/IEC 14496-10のＭＶＣ拡張に基づいて開発されている。ＨＥＶＣとも呼ばれるITU-T および ISO/IEC JTC 1/WG 11の新しいビデオ符号化標準化プロジェクトは、従来の２Ｄビデオ符号化技術の非常に有望な改善を示す。ＨＥＶＣの現在のワーキングドラフトは、ITU-T Rec. H.264 | ISO/IEC 14496-10と比較して相当な符号化利得を提供する。これらの利得を達成するために、いくつかの概念が、ITU-T Rec. H.264 | ISO/IEC 14496-10と比較して拡張されている。動きパラメータ符号化および動き補償予測の分野における主要な改善は、以下を含む。
【0044】
・ITU-T Rec. H.264 | ISO/IEC 14496-10において動き補償予測のために用いられるブロックサイズは、４ｘ４から１６ｘ１６の輝度（ｌｕｍａ）サンプルの範囲にわたると同時に、より多くの種類のブロックサイズが、ＨＥＶＣにおいてサポートされ、それは、４ｘ４から６４ｘ６４の輝度（ｌｕｍａ）サンプルの範囲にわたる。加えて、基本的な符号化ユニットは、一定のマクロブロックおよびサブマクロブロックによって与えられないが、適応的に選択される。最大の符号化ユニットは、典型的に、６４ｘ６４の輝度（ｌｕｍａ）サンプルのブロックであるが、最大のブロックサイズは、実際に、ビットストリーム内にシグナリングされる。ブロックをサブブロックに分割することは、４以上のレベルの再分割階層を確立することができる。
・動きベクトルは、一定の動きベクトル予測因子を用いることによって符号化されない。その代わりに、動きベクトル予測因子候補のリストが存在し、さらに、これらの予測因子の１つは、ブロックベースで適応的に選択される。選択された予測因子は、ビットストリーム内にシグナリングされる。
・ITU-T Rec. H.264 | ISO/IEC 14496-10は、動きパラメータ（仮説の数、参照インデックス、動きベクトル）が（残差情報を除いて）いかなる付加的なパラメータも符号化せずに、すでに符号化された情報から完全に導出されるＳＫＩＰおよびＤＩＲＥＣＴを提供する。ＨＥＶＣは、いわゆるマージモードを提供する。このモードのために、空間的におよび時間的に隣接したブロックの動きパラメータによって与えられる動きパラメータ候補のリストが確立される。マージモードにおいて符号化されるブロックのために選択される動きパラメータ（仮説の数、参照インデックスおよび動きベクトルを含む）は、インデックスを候補リストに送信することによってシグナリングされる。
・動きベクトルは、一定の動きベクトル予測因子を用いることによって符号化されない。その代わりに、動きベクトル予測因子候補のリストが存在し、さらに、これらの予測因子の１つは、ブロックベースで適応的に選択される。選択された予測因子は、ビットストリーム内にシグナリングされる。
・ITU-T Rec. H.264 | ISO/IEC 14496-10は、動きパラメータ（仮説の数、参照インデックス、動きベクトル）が（残差情報を除いて）いかなる付加的なパラメータも符号化せずに、すでに符号化された情報から完全に導出されるＳＫＩＰおよびＤＩＲＥＣＴを提供する。ＨＥＶＣは、いわゆるマージモードを提供する。このモードのために、空間的におよび時間的に隣接したブロックの動きパラメータによって与えられる動きパラメータ候補のリストが確立される。マージモードにおいて符号化されるブロックのために選択される動きパラメータ（仮説の数、参照インデックスおよび動きベクトルを含む）は、インデックスを候補リストに送信することによってシグナリングされる。
【0045】
以下の説明は、上述の実施形態の可能な実施を表すこの概念を用いて、すでに符号化されたビューの動きデータおよびマルチビュービデオ符号化において現在のビューの現在のピクチャを符号化するための現在のビューのすでに符号化されたピクチャについての視差データを使用するための概念を記載する。さらに、上述のおよび以下の実施形態から生じる利点が、さらに詳細に説明される。現在のビューの時間的な動き（または視差）を予測するためのすでに符号化された動きおよび視差情報を使用することによって、現在のビューについての動きデータレートが著しく低減され得て、それは、マルチビュービデオシーケンスの符号化のために全体のビットレートの節約をもたらす。記載された概念は、ブロック（またはサンプルの一般のセット）についてのすべての動きデータを直接的に導出する可能性を提供し、その場合さらなる動き情報がブロックのために送信されない。そして、それは、候補動きベクトル予測因子のリストに加えられる動きベクトル予測因子を導出する可能性も提供する。後の可能性のために、動きベクトル予測因子のリストへのインデックスおよび動きベクトル差分は、動き補償予測のために用いられる最終的な動きベクトルを特定するブロックのために送信される。本願発明の特定の実施形態において、ブロックについての動きパラメータだけでなく、ブロックについての分割情報も（それは、ブロックをより小さいブロックに分割することができ、さらに、別々の動きパラメータをそれぞれのサブブロックに割り当てることができる）、すでに符号化された動きおよび視差情報に基づいて導出され得る。その概念は、いかなる特定のマクロブロックまたはサブマクロブロック構造を仮定せずに一般のブロックに基づいたハイブリッド符号化アプローチに適用できる。一般のブロックに基づいた動き補償は、修正されないが、動きパラメータを符号化するだけであり、その結果、その概念は、非常に小さい複雑さの増加で一般のブロックに基づいたハイブリッドビデオ符号化スキームに統合され得る。それは、より一般の概念まで直接的に拡張されることもでき、そこにおいて、矩形のブロックでないがサンプルの他のセットが、固有の動きパラメータのために関連している。その概念は、付加的な深度マップの有無の場合のマルチビュー符号化に適用できる。動きパラメータを計算するための視差情報は、符号化された視差ベクトルに基づく符号化された深度マップに基づいて導出され得る。
【0046】
以下の説明は、上述の実施形態の可能な実施を表すこの概念を用いて、すでに符号化されたビューの動きデータおよびマルチビュービデオ符号化において現在のビューの現在のピクチャを符号化するための現在のビューのすでに符号化されたピクチャについての視差データを使用するための概念を記載する。さらに、上述のおよび以下の実施形態から生じる利点が、さらに詳細に説明される。現在のビューの時間的な動き（または視差）を予測するためのすでに符号化された動きおよび視差情報を使用することによって、現在のビューについての動きデータレートが著しく低減され得て、それは、マルチビュービデオシーケンスの符号化のために全体のビットレートの節約をもたらす。本願発明は、ブロック（またはサンプルの一般のセット）についてのすべての動きデータを直接的に導出する可能性を提供し、その場合さらなる動き情報がブロックのために送信されない。そして、それは、候補動きベクトル予測因子のリストに加えられる動きベクトル予測因子を導出する可能性も提供する。後の可能性のために、動きベクトル予測因子のリストへのインデックスおよび動きベクトル差分は、動き補償予測のために用いられる最終的な動きベクトルを特定するブロックのために送信される。本願発明の特定の実施形態において、ブロックについての動きパラメータだけでなく、ブロックについての分割情報も（それは、ブロックをより小さいブロックに分割することができ、さらに、別々の動きパラメータをそれぞれのサブブロックに割り当てることができる）、すでに符号化された動きおよび視差情報に基づいて導出され得る。その概念は、いかなる特定のマクロブロックまたはサブマクロブロック構造を仮定せずに一般のブロックに基づいたハイブリッド符号化アプローチに適用できる。一般のブロックに基づいた動き補償は、修正されないが、動きパラメータを符号化するだけであり、その結果、その概念は、非常に小さい複雑さの増加で一般のブロックに基づいたハイブリッドビデオ符号化スキームに統合され得る。それは、より一般の概念まで直接的に拡張されることもでき、そこにおいて、矩形のブロックでないがサンプルの他のセットは、固有の動きパラメータのために関連している。その概念は、付加的な深度マップでマルチビュー符号化に適用できる。動きパラメータを計算するための視差情報は、符号化された深度マップに基づいて導出され得る。
【0047】
すでに符号化されたビューの動きデータを使用するための従来の技術と比較してこれから示される概念の１つの利点は、視差フィールドのいかなる特定の構造も仮定せずに、動き／視差予測因子が、符号化された動きおよび視差／深度情報に基づいて完全に導出されるということである。いつでも、視差フィールドがイメージについての一定の並進またはアフィンパラメータによってよく近似され得ると仮定されず、その代わりに、実際に符号化された視差情報が、すでに符号化されたビューの動きにアクセスするために用いられる。さらに、マクロブロックの視差は、仮定が安全でない隣接したブロックの視差と類似しているとは仮定されない。実際に符号化された深度／視差情報を用いることによって、その概念は、オブジェクト境界でブロックのために適切な視差推定を提供する。さらに、現在のブロックの動きが隣接したブロックのものと類似していると仮定されないので、オブジェクト境界で改善された動きパラメータ予測因子が提供される。さらに、その概念は、視差補正のいかなる伝送も必要としない。さらに、その概念は、それに組み込まれるためのハイブリッドビデオ符号化設計の実際の動き／視差補償プロセスを修正することを必要としない。動きパラメータおよび／または動きパラメータ予測因子の導出だけが変更され、その結果、それは、いかなる大きい修正なしで従来のビデオ符号化設計に含まれ得て、さらに、複雑さが小さい。加えて、その概念が深度マップの有無で符号化に適用できることに留意されるべきである。深度マップは、ビットストリームの部分として符号化される必要はない。むしろ、符号化された視差ベクトルは、視差を導出するために用いられ得る。
【0048】
以下に記載される概念は、以下のステップに分解され得る。
【0049】
・現在のビューの現在のピクチャについての深度／視差データの導出。
・導出された深度／視差データに基づく現在のブロックについての候補動きまたは視差データの導出。
・現在のブロックについての動きまたは視差データの符号化。
・導出された深度／視差データに基づく現在のブロックについての候補動きまたは視差データの導出。
・現在のブロックについての動きまたは視差データの符号化。
【0050】
以下において、好適な実施形態を含むこれらのステップが、さらに詳細に記載される。すべてのステップは、並進動きベクトルを有するブロックに基づいた動き補償のために記載される。しかしながら、その概念は、サンプルの一般化されたセット（例えばブロックの非矩形の部分または他のいかなる形状）が動きパラメータの固有のセットと関連しているより一般のスキームにも適用でき、さらに、それは、動き補償がより高次の動きモデル（例えばアフィン動きモデルまたは他のＮ－パラメータ動きモデル）を用いることによって行われる符号化スキームのためにも適用できる。
【0051】
その概念の詳細を記載する前に、上述のより一般的な実施形態のためにも有効なその利点および基礎となる考えを簡潔に記載する。異なるビューおよび異なる時刻において現実世界のオブジェクトポイントの投影間の基本的な関係が、図３に示される。ビュー内の現実の動きおよびビュー間の現実の視差を知っていると仮定すると、対応する動きおよび視差ベクトルは、以下のように与えられる。
【0052】
【0053】
【0054】
【0055】
【0056】
候補動きまたは視差データの導出
【0057】
【0058】
【0059】
・カメラアレイのすべてのカメラは、同じタイプであり、さらに、同じ焦点距離を有する
・すべてのカメラの光学軸は、平行であり、さらに、同じ平面内にある
・イメージセンサのスキャンラインは、光学軸を含む平面と平行である
・すべてのカメラの光学軸は、平行であり、さらに、同じ平面内にある
・イメージセンサのスキャンラインは、光学軸を含む平面と平行である
【0060】
【0061】
【0062】
所定の深度値および実際の視差間の記載された基本的な関係を用いることによって、１つ以上の参照ビューにおいてすでに符号化された動き情報に基づいて導出される動き情報および所定の推定された深度値を用いるための好適な実施形態を記載する。
【0063】
方法１：切替えられた動き／視差ベクトル予測
【0064】
本願発明の好適な実施形態において、例えばモジュール２４、２６、８０および８２などのために基礎となるマルチビュービデオ符号化スキームは、以下のパラメータがビットストリーム２１の部分として送信されるモードを含む。
【0065】
・参照ピクチャの所定のリストの特定の（時間的なまたはビュー間）参照ピクチャを特定する参照ピクチャインデックス。参照ピクチャの所定のリストが単一の要素を含む場合、このインデックスは、送信されないがデコーダ側で推測される。参照ピクチャは、時間的なおよび／またはビュー間参照ピクチャを含む。
・動き／視差ベクトル予測因子候補の所定のリストの動き／視差ベクトル予測因子を特定する動き／視差ベクトル予測因子インデックス。動き／視差ベクトル予測因子候補のリストが単一の要素からなる場合、このインデックスは、送信されないがデコーダ側で推測される。ピクチャの少なくとも１つのブロックのために、動き／視差ベクトル予測因子候補のリストは、すでに符号化されたビューにおいて所定の深度／視差情報および動き情報に基づいて導出される動き／視差ベクトルを含む。
・動き／視差ベクトル予測因子候補の所定のリストの動き／視差ベクトル予測因子を特定する動き／視差ベクトル予測因子インデックス。動き／視差ベクトル予測因子候補のリストが単一の要素からなる場合、このインデックスは、送信されないがデコーダ側で推測される。ピクチャの少なくとも１つのブロックのために、動き／視差ベクトル予測因子候補のリストは、すでに符号化されたビューにおいて所定の深度／視差情報および動き情報に基づいて導出される動き／視差ベクトルを含む。
【0066】
加えて、動き／視差補償予測のために用いられる動き／視差ベクトルおよび選択された予測因子（動き／視差ベクトル予測因子候補リストに、送信されたインデックスによって示される）間の差を特定する動き／視差ベクトル差は、ビットストリームの部分として送信され得る。１つの実施形態において、この動き／視差ベクトル差は、参照インデックスおよび選択された予測因子とは無関係に符号化され得る。本願発明の別の実施形態において、動き／視差ベクトル差は、送信された参照インデックスおよび／または選択された予測因子に応じて符号化される。例えば、動き／視差ベクトル差は、特定の動き／視差予測因子が選択される場合、符号化され得るだけである。
【0067】
参照ピクチャリストおよび動き／視差ベクトル予測因子候補リストは、エンコーダおよびデコーダ側で同様に導出される。特定の構成において、１つ以上のパラメータは、参照ピクチャリストおよび／または動き／視差ベクトル予測因子候補リストが導出される方法を特定するために、ビットストリームにおいて送信される。本願発明の好適な実施形態について、例えば２２などのディペンデントビューにおいてピクチャのブロックの少なくとも１つのために、動き／視差ベクトル予測因子候補のリストは、所定の（推定された）深度値に基づいて、または、所定の（推定された）深度値およびすでに符号化されたビューの動きパラメータに基づいて、導出される動きまたは視差ベクトル予測因子候補を含む。所定の深度値およびすでに符号化されたビューの動きパラメータに基づいて導出される動き／視差ベクトル予測因子のほかに、動き／視差ベクトル予測因子の候補リストは、空間的に予測された動きベクトル（例えば、直接的に隣接したブロック（左または上のブロック）の動き／視差ベクトル、直接的に隣接したブロックの動き／視差ベクトルに基づいて導出される動き／視差ベクトル）および／または時間的に予測された動き／視差ベクトル（例えば、同じビューのすでに符号化されたピクチャにおいて同じ位置に配置されたブロックの動き／視差ベクトルに基づいて導出される動き／視差ベクトル）を含むことができる。所定の深度データ６４を用いることによって得られる動き／視差ベクトル候補および例えば２０などの他のビューの例えば４２などのすでに符号化された動きパラメータの導出は、以下において記載されるように実行され得る。
【0068】
現在のブロックのための代表深度の導出に基づく導出
【0069】
【0070】
【0071】
【0072】
【0073】
【0074】
所定のブロックについての複数の深度値に基づく導出
【0075】
【0076】
【0077】
方法２：すべての関連した動きパラメータが導出されるモード
【0078】
本願発明の別の好適な実施形態において、マルチビュービデオ符号化スキームは、符号化モードを含み、そこにおいて、（仮説の数、参照インデックスおよび動きベクトルを含む）すべての動きパラメータは、所定の深度マップ６４およびすでに符号化されたビュー２０の動きパラメータ４２に基づいて導出される。本願発明の特定の実施形態において、このモードは、（それが現在のＨＥＶＣのワーキングドラフトにおいてマージシンタックスに用いられるように）候補動きパラメータのリストの候補として符号化され得る。要するに、エンコーダおよびデコーダが、同様にブロックについての動きパラメータ候補のリストを導出し、そこにおいて、動きパラメータ候補の１つは、すでに符号化されたビュー２０の動きに基づいて導出される動きパラメータである。そして、これらの動きパラメータ候補のどれが用いられるかをデコータにシグナリングされるインデックスが符号化される。マージシンタックスとの関連で、現在のブロックが参照ビューにおいて（類似したコンテンツを表す精神で）「同じ位置に配置された」ブロックとマージされることが論じられ得る。別の実施形態において、特定のシンタックスエレメントは、新しい符号化モードの使用をシグナリングする。わずかに修正されたバージョンにおいて、予測信号を生成するために用いられる動き仮説の数がビットストリーム内に明確にシグナリングされ得て、さらに、参照インデックスおよび関連した動きベクトルだけが導出される。別の修正されたバージョンにおいて、動きベクトル差は、加えて、導出された動きパラメータをリファインするために送信され得る。
【0079】
複数の潜在的な参照インデックスに基づく導出
【0080】
本願発明の第１の好適な実施形態において、現在のブロック５０Cについての動きパラメータの導出は、上の方法１のために記載される概念のいずれかを用い、さらに、１つを超える潜在的な参照インデックスを考慮する。以下において、最初に、特定の動き仮説（および参照リスト）についての参照インデックスおよび関連した動きベクトルが導出され得る方法を記載する。最初のステップとして、所定の参照リストについての参照インデックスの順序付けられたセットが決定される。これは、例えばちょうど単一の参照インデックス（例えば、参照リストについての最初のインデックスまたは時間的な参照ピクチャを表す最初のインデックス）であり得て、または、それは、参照リストの最初の２つのインデックスからなることができ、または、それは、参照リストのすべての参照インデックスからなることができ、または、それは、時間的な参照ピクチャを表す最初の参照インデックスおよび時間的な参照ピクチャ（すなわち、リストにおける第２の時間的な参照ピクチャまたは第１のビュー間参照ピクチャ）を表す最初の参照インデックスに等しくない最初の参照インデックスからなることができる。参照インデックスの他のいかなる定義されたセットも可能である。参照インデックスの順序付けられたセットを考えると、最初の参照インデックスが考慮され、さらに、この参照インデックスについての動きベクトルが上の方法１のために記載される実施形態のいずれかによって導出される。導出された動きベクトルが利用できないようにマークされる場合、次の参照インデックスが考慮され、さらに、対応する動きベクトルが導出される。このプロセスは、利用できる動きベクトルがリターンされまたはリストのすべての参照インデックスがテストされているまで続けられる。利用できる動きベクトルが見つからない場合、最終的な動きパラメータが利用できないようにマークされる。１つの構成において、利用できない動きパラメータは、動きパラメータの候補リストに挿入されない。第２の構成において、利用できない動きパラメータは、（ロバスト性を構文解析するために）動きパラメータの候補リストに挿入されるが、エンコーダは、利用できない動きパラメータを選択することが許されない。第３の構成において、利用できない動きパラメータは、特定の動きパラメータに置き換えられ、それは、例えば、ゼロ参照インデックスおよびゼロ動きベクトル、または、現在のブロックの空間的な隣接において動きパラメータに基づいて導出される参照インデックスおよび動きベクトルであってもよい。新しい符号化モードが特定のシンタックスエレメントによってシグナリングされ、さらに、導出された動きパラメータが利用できない場合、対応するシンタックスエレメントは送信されず（さらに、符号化モードが用いられず）、または、エンコーダは新しい符号化モードの使用を特定するシンタックスエレメントについての値を選択することが許されず、または、利用できない動きパラメータは特定の動きパラメータに置き換えられる（上記を参照）。
【0081】
動き仮説の数または用いられた参照リストの数が明確に符号化される場合、参照インデックスおよび動きベクトルからなる動きパラメータのセットは、上に特定されるように、動き仮説または参照リストごとに決定される。
【0082】
動き仮説の数または用いられた参照リストの数が明確に符号化されない場合、動き仮説の数または使用された参照リストも、参照ビュー（複数）において実際に符号化された動きパラメータに基づいて導出される。動き仮説の最大数または用いられ得る参照リストの最大のセットを考えると、動き仮説（参照リスト）のそれぞれのために、動きパラメータのセットが上述のように導出される。そして、動き仮説の数（用いられた参照ピクチャリストのセット）は、導出された動きパラメータが利用できるようにマークされる仮説（参照リスト）によって与えられる。例えば、２つの潜在的な動き仮説を有し、さらに、両方の動き仮説のために動きパラメータ（参照インデックスおよび動きベクトル）の有効なセットが導出される場合、新しい符号化モードは、導出された動きパラメータを有する双方向予測を特定する。しかしながら、仮説（参照リスト）の１つのためだけに、動きパラメータの有効なセットが導出される場合、新しい符号化モードは、有効な動きパラメータのセットを有する一方向予測（１つの仮説）を特定する。動き仮説（参照リスト）のいずれについても、動きパラメータの有効なセットが導出されない場合、動きパラメータの完全なセットが、利用できないようにマークされる。この場合、動きパラメータのセットは、候補動きパラメータのリストに加えられず、または、それは、（ロバスト性を構文解析するために）加えられるが、エンコーダによって用いられず、または、それは、動きパラメータの特定の定義されたセット（例えば、１つの動き仮説、０に等しい参照インデックスおよび０に等しい動きベクトル）に置き換えられる。潜在的な動き仮説の１つ以上についての参照インデックスの別のセットをチェックすることも可能である。
【0083】
単一の代表深度値に基づく導出
【0084】
【0085】
・参照ビューについての参照ピクチャリストが現在のビューについての参照ピクチャリストより異なる方法で構成される（すなわち、特定の参照インデックスが両方のリストのための同じアクセスユニットを常に参照しない）場合、現在のブロックについての参照インデックスは、それが参照ビューにおいて対応する参照ピクチャと同じ時刻にピクチャ（または同じピクチャ順序カウントを有するピクチャ）を参照する方法で修正され得る。
・参照ビューにおいて参照インデックスがビュー間参照ピクチャを参照する場合、現在のビューについての参照インデックスは、それが選択されたビュー間参照ピクチャ（例えば、現在のビューと同じビュー間参照ピクチャまたは参照ビューによって表される参照ピクチャ）も参照する方法で修正され得る。この場合、動きベクトルも、視差ベクトルに置き換えられなければならず、それは、代表深度ｄを視差ベクトルに変換することによって得られ得る。
・参照ブロックにおいて用いられるすべての参照ピクチャのために対応するピクチャ（同じ時刻またはピクチャ順序カウントまたは参照インデックス）が現在のブロックについての参照リストにおいて利用できない場合、現在のブロックに利用できない参照ピクチャを参照する動き仮説が存在しないよう考慮され得る。
・参照ブロックがイントラ符号化される場合、動きパラメータは、視差補償予測についての動きパラメータに置き換えられ得る。例えば、参照インデックスは、それが参照ビューピクチャを参照する方法で設定され得て、さらに、動きベクトルは、代表深度を視差ベクトルに変換することによって得られる視差ベクトルに等しく設定され得る。代案として、動きパラメータは、利用できないようにマークされ得る。
・参照ビューにおいて参照インデックスがビュー間参照ピクチャを参照する場合、現在のビューについての参照インデックスは、それが選択されたビュー間参照ピクチャ（例えば、現在のビューと同じビュー間参照ピクチャまたは参照ビューによって表される参照ピクチャ）も参照する方法で修正され得る。この場合、動きベクトルも、視差ベクトルに置き換えられなければならず、それは、代表深度ｄを視差ベクトルに変換することによって得られ得る。
・参照ブロックにおいて用いられるすべての参照ピクチャのために対応するピクチャ（同じ時刻またはピクチャ順序カウントまたは参照インデックス）が現在のブロックについての参照リストにおいて利用できない場合、現在のブロックに利用できない参照ピクチャを参照する動き仮説が存在しないよう考慮され得る。
・参照ブロックがイントラ符号化される場合、動きパラメータは、視差補償予測についての動きパラメータに置き換えられ得る。例えば、参照インデックスは、それが参照ビューピクチャを参照する方法で設定され得て、さらに、動きベクトルは、代表深度を視差ベクトルに変換することによって得られる視差ベクトルに等しく設定され得る。代案として、動きパラメータは、利用できないようにマークされ得る。
【0086】
方法１との結合
【0087】
実施形態において、方法１（参照インデックスの符号化、動きベクトルまたは動きベクトル予測因子の導出）のための実施形態によって記載される符号化モードは、方法２（動き仮説の数、参照インデックスおよび動きベクトルまたは動きベクトル予測因子を含むすべての動きパラメータの導出）の実施形態によって記載される符号化モードに加えてサポートされ得る。
【0088】
方法３：すべての関連した動きパラメータおよびブロック分割が導出されるモード
【0089】
本願発明の別の好適な実施形態において、マルチビュービデオ符号化スキームは、符号化モードを含み、そこにおいて、所定のブロックのサブブロックについての異なる動きパラメータは、例えば２０などのすでに符号化された参照ビューおよび推定された深度マップ６４において動きパラメータに基づいて導出される。または、換言すれば、マルチビュービデオ符号化スキームは、ブロックについての符号化モードを含み、そこにおいて、より小さいサブブロックへのブロック５０Cの分割およびサブブロックと関連する動きパラメータは、すでに参照ビューおよび推定された深度マップにおいて動きパラメータに基づいて導出される。
【0090】
この符号化モードのために、最小のブロックサイズが定義され、それは、動き／視差補償予測のためにサポートされる最小のブロックサイズに等しくてもよくまたは動き／視差補償予測のためにサポートされる最小のブロックサイズの倍数であってもよい。所定の現在のブロック５０Cが、定義された最小のブロックサイズより小さいかそれに等しい場合、現在のブロック５０Cは、動き／視差補償の目的のためにより小さいブロックに分割されず、さらに、関連した動きパラメータは、上の方法２のための実施形態のいずれかのために記載されるように導出される。所定の現在のブロックが定義された最小のブロックサイズよりも大きい場合、それは、定義された最小のブロックサイズに等しいサイズを有するサブブロックに分割される。これらのサブブロックのそれぞれのために、動きパラメータのセットは、上述の方法２のための実施形態のいずれかを用いて導出される。
【0091】
サブブロックのいずれかについての動きパラメータが利用できないようにマークされる場合（例えば、対応する参照ブロック４０Rがイントラモードで符号化され、または、それがインタービュー予測を用いるだけであるので）、それらは、動きパラメータが利用できる隣接したサブブロックのいずれかの動きパラメータに置き換えられ得る。そのようなアルゴリズムは、隣接したブロックが特定の定義された順序（それは、置き換えられるサブブロックの位置に依存することができる）でテストされる方法で作動することができ、さらに、置き換えられるサブブロックの動きパラメータは、有効な動きパラメータを有する特定された順序で最初のサブブロックの動きパラメータに等しく設定される。
【0092】
本願発明の特定の実施形態において、所定の最小のブロックサイズを有する得られたサブブロックは、所定の現在のブロック５０Cの分割を特定する。本願発明の別の実施形態において、得られたサブブロックは、動き／視差補償予測のために用いられるより大きいブロックを形成するために、関連した動きパラメータに基づいて結合され得る。サブブロックの結合は、階層的に進行することができる。したがって、最初の階層ステージにおいて、４つの隣接したブロックのセットが、考慮され得る。動き仮説の数および関連した参照ピクチャおよび動きベクトルが全４つのサブブロックのために同じである場合、４つのサブブロックは、（元のサブブロックの動きパラメータと同一である動きパラメータで）より大きいブロックに要約される。次の階層ステージにおいて、（４つの元のサブブロックからなる）次の階層レベルの４つのブロックが考慮される。全４つのブロックが前の階層ステージにおいてより大きいブロックに要約され、さらに、動き仮説の数および関連した参照ピクチャおよび動きベクトルが全４つのブロックのために同じである場合、これらの４つのブロックは、（元のサブブロックの動きパラメータと同一である動きパラメータで）より大きいブロックに再度要約される。このアルゴリズムは、所定の現在のブロックについての最高の可能な階層レベルまで続けられる。極端な場合において（すべてのサブブロックの動きパラメータが同じである場合）、すべての現在のブロックは、分割されないが、動きパラメータの固有のセットと関連している。わずかに修正されたバージョンにおいて、４つのブロックは、動きベクトルが正確に同じでない場合に、より大きいブロックに要約されるが、動きベクトル間の差（それは、最大の成分差またはベクトル差の絶対値として定義され得る）は、定義された閾値よりも小さいかそれに等しい（動き仮説の数および使用された参照ピクチャは、まだ同じでなければならない）。この場合、より大きいブロックと関連している動きベクトルは、４つのサブブロックの動きパラメータの関数として決定される。可能な関数は、動きベクトルの平均、動きベクトルのメジアン（または成分ごとのメジアン）、いかなる特定のサブブロックの動きベクトルまたは４つのサブブロックにおいてほとんどの場合に発生する動きベクトル）である。
【0093】
本願発明の実施形態において、方法１（参照インデックスの符号化、動きベクトルまたは動きベクトル予測因子の導出）についての実施形態によって記載される符号化モードは、方法３（ブロック分割並びに動き仮説の数、参照インデックスおよび動きベクトルまたは動きベクトル予測因子を含むすべての動きパラメータの導出）の実施形態によって記載される符号化モードに加えてサポートされ得る。加えて、方法２のいかなる実施形態による符号化モードも、サポートされ得る。
【0094】
動きおよび視差データの符号化
【0095】
すでに上述のように、本願発明の実施形態を表す符号化モードの使用は、デコーダにシグナリングすることを必要とする。これは、異なる方法で実現され得る。１つのバージョンにおいて、特定のシンタックスエレメント（それは、フラグであってもよい）は、シンタックスに挿入され得て、それは、従来に導出された動きベクトル予測因子（または動きベクトルまたは動きパラメータセット）が用いられるかどうか、または、すでに符号化されたビューの深度マップ推定および動きパラメータを用いて導出されている動きベクトル予測因子（または動きベクトルまたは動きパラメータセット）が用いられるかどうかをシグナリングする。別のバージョンにおいて、すでに符号化されたビューの深度マップ推定および動きパラメータを用いて導出されている動きベクトル予測因子（または動きベクトルまたは動きパラメータセット）は、従来導出された動きベクトル予測因子（または動きベクトルまたは動きパラメータセット）の候補リストに挿入され得て、さらに、どの動きベクトル予測因子（または動きベクトルまたは動きパラメータセット）が用いられるかをシグナリングするインデックスが送信される。特定のシンタックスエレメントまたは候補リストへのインデックスは、固定長の符号化、可変長の符号化、算術符号化（コンテキスト適応バイナリ算術符号化を含む）またはＰＩＰＥ符号化を用いて送信され得る。コンテキスト適応符号化が用いられる場合、コンテキストは、隣接したブロックのパラメータ（例えば、特定のシンタックスエレメントまたは候補リストへのインデックス）に基づいて導出され得る。
【0096】
本願発明の好適な実施形態において、マルチビュービデオ符号化スキームは、１つ以上の動き仮説が参照ピクチャインデックス、動きベクトル予測因子インデックスおよび動き仮説ごとの動きベクトル差を送信することによってシグナリングされる符号化モードを含む。この符号化モードのために、候補動きベクトル予測因子のリストは、送信された参照ピクチャインデックスに基づいて導出され、さらに、送信されたインデックスは、動きベクトル候補のどの１つが用いられるかをシグナリングする。実施形態を用いることによって、（少なくとも１つのブロックについての）動きベクトル候補の１つが、すでに符号化されたビューの深度マップ推定および動きパラメータに基づいて導出される（上の方法１を参照）。わずかに修正されたバージョンにおいて、動きベクトル差は、送信されないが、（すべての動きベクトル候補のために、または、すでに符号化されたビューの深度マップ推定および動きパラメータに基づいて導出されている動きベクトル候補のためだけに）０に等しいと推測される。
【0097】
本願発明の別の好適な実施形態において、マルチビュービデオ符号化スキームは、１つ以上の動き仮説が動きパラメータインデックス（またはマージインデックス）を送信することによってシグナリングされる符号化モードを含む。この符号化モードのために、（動き仮説の数、参照インデックスおよび動きベクトルを含む）動きパラメータの候補セットのリストが、導出される。実施形態を用いることによって、（少なくとも１つのブロックについての）動きパラメータの候補セットの１つは、すでに符号化されたビューの深度マップ推定および動きパラメータに基づいて導出される（上の方法２および３を参照）。この実施形態の特定のバージョンにおいて、すでに符号化されたビューの深度マップ推定および動きパラメータに基づいて導出される（少なくとも１つのブロックについての）動きパラメータの候補セットは、現在のブロックについての分割情報を含む（上の方法３を参照）。この実施形態のわずかに修正されたバージョンにおいて、動きベクトル差は、加えて、（潜在的に動きパラメータの選択されたセットに応じて）送信され得る。
【0098】
本願発明の別の実施形態において、マルチビュービデオ符号化スキームは、方法２または３に対応する符号化モードを含み、さらに、シンタックスは、この符号化モードが用いられるかどうかを特定するフラグを含む。
【0099】
現在のピクチャについての深度マップ推定の導出
【0100】
例えば２０などのすでに符号化されたビューの動きパラメータに基づく現在のピクチャ５０Cのブロックについての動きパラメータの導出は、今までに記載されるように、現在のピクチャについての深度マップの推定６４が利用できることを必要とする。上述のように、この深度マップ推定６４は、サンプルごとの深度マップ（深度値が、現在のピクチャのサンプルごとに特定される）またはブロックごとの深度マップ（深度値が、サンプルのブロックのために特定される）を特定することができる。深度マップ推定６４は、すでに符号化されたパラメータ、例えば深度マップまたは視差ベクトルおよび動きパラメータなどに基づいて導出され得る。原理的には、現在のピクチャについての深度マップ推定６４を導出するための可能性は、２つのクラスに分類され得る。１つのクラスのために、深度マップ推定は、実際に符号化された深度マップに基づいて導出される。以下に記載される対応する可能性は、符号化された深度マップが（それらが用いられる前に）ビットストリームに存在することを含む。第２のクラスの概念は、深度マップがビットストリームの部分として符号化されることを必要としない。その代わりに、深度マップ推定は、符号化された視差ベクトルに基づいて導出される。手順の第２のクラスは、深度マップがビットストリームの部分として符号化されるかどうかとは無関係に適用され得る。これは、以下の説明がこれまでに個々の態様に関する転送可能な詳細を個々に提供する図１および図２に関して上述される場合である。深度マップが符号化されるときに、方法の両方のクラスが適用され得ることにも留意されるべきである。異なるフレームについての異なる方法を選択することも可能である。
【0101】
以下において、（符号化された深度マップの有無で）深度マップ推定を導出するための基本的な概念および好適な実施形態が記載される。
【0102】
クラス１：符号化された深度マップに基づく導出
【0103】
現在のピクチャ３２ｔ2（Ｔ）と関連している深度マップが現在のピクチャの前に符号化される場合、再構成された深度マップは、現在のピクチャについての現実の深度マップの推定として直接的に用いられ得る。符号化された深度マップを（例えば、それのフィルタリングを適用することによって）前処理し、さらに、動きパラメータを導出するために用いられる深度マップの推定として前置フィルタリングの結果を用いることも、可能である。
【0104】
大部分の構成において、特定のピクチャと関連している深度マップは、ピクチャ３２ｔ2（Ｔ）の後に（しばしば関連したピクチャの直接的に後に）符号化される。そのような構成は、従来のビデオピクチャを符号化するために送信される符号化パラメータ（例えば動きパラメータなど）が、全体の符号化効率を改善する深度マップを符号化のために用いられる符号化パラメータを予測するために用いられ得ることを可能にする。しかし、そのような構成において、ピクチャと関連している深度マップは、動きパラメータ５４を導出する際に深度マップについての推定として用いられることができない。しかしながら、例えば２０などの（同じアクセスユニットの）すでに符号化されたビューについての深度マップは、通常利用でき、さらに、現在のピクチャの深度マップの推定を導出するために用いられ得る。少なくとも、ベースビュー（インディペンデントビュー）２０の深度マップは、いかなるディペンデントビュー２２を符号化する前に利用できる。いかなるビューの深度マップも、（例えば焦点距離およびカメラ間の距離などのカメラパラメータと結合して）、ある程度、投影されたビデオシーンのジオメトリを表すので、それは、別のビューにマッピングされ得る。したがって、現在のピクチャ３２ｔ2（Ｔ）についての深度マップが利用できない場合、同じアクセスユニット２０のすでに符号化されたビューについての符号化された深度マップが、現在のビューにマッピングされ、さらに、このマッピングの結果が、深度マップ推定として用いられる。
【0105】
【0106】
・１つを超える深度値が特定のサンプル位置に割り当てられる場合、それは、フォアグラウンドオブジェクトがバックグラウンドオブジェクトの前に変位されることを意味する。したがって、カメラまでの最も小さい距離を表す（潜在的な深度値の）深度値は、そのようなサンプル位置に割り当てられる。
・深度値が特定のサンプル位置にさらに割り当てられない場合、それは、フォアグラウンドオブジェクトが移動し、さらに、前にカバーされたバックグラウンドが見えることを意味する。そのような領域のために行われ得る最高のものは、非閉塞バックグラウンドが隣接したバックグラウンドサンプルと比べて同じ深度を有すると仮定することである。そのため、深度値が割り当てられていない領域は、カメラまでの最も大きい距離を表す周囲のサンプルの深度値で満たされる。
・深度値が特定のサンプル位置にさらに割り当てられない場合、それは、フォアグラウンドオブジェクトが移動し、さらに、前にカバーされたバックグラウンドが見えることを意味する。そのような領域のために行われ得る最高のものは、非閉塞バックグラウンドが隣接したバックグラウンドサンプルと比べて同じ深度を有すると仮定することである。そのため、深度値が割り当てられていない領域は、カメラまでの最も大きい距離を表す周囲のサンプルの深度値で満たされる。
【0107】
このアルゴリズムは、以下においてさらに詳細に特定される。以下の説明を単純化するために、より大きい深度値がより小さい深度値よりもカメラまでのより小さい距離を表すと仮定した（しかし、そのアルゴリズムは、逆の仮定のために容易に修正され得る）。
【0108】
【0109】
所定のビューの深度マップを異なるビューにマッピングするためのアルゴリズムは、非常に単純な例に基づいて図５にさらに示される。図５は、１つのビュー２０のために与えられる例えば３２ｔ1（Ｔ）などの深度マップを別のビュー２２にマッピングするための可能なプロセスを示す。左側に、参照ビューについての所定の深度マップが示され、そこにおいて、斜線領域は、バックグラウンドを表し、さらに、白色領域は、フォアグラウンドオブジェクトを表し、図５の中央において、中央に、深度値に対応する視差ベクトルを有する所定のマップのサンプルを置換し、さらに、１つを超えるサンプルが投影される位置についてのフォアグラウンドオブジェクトを保つことによって得られる変換された深度マップが示される。黒色領域は、サンプルが投影されていない非閉塞領域を表す。図５は、右側に、バックグラウンドのための深度値によって非閉塞領域を満たしたすなわちｂａバックグラウンドフィリングの後の変換された深度マップを示す。
【0110】
本願発明の特定の実施形態において、ホールフィリングは、変換された深度マップの線を別々に処理する特に単純なアルゴリズムによって実現され得る。連続した未定義深度値からなる線分ごとに、２つの周囲の値が考慮され、さらに、線分のすべての深度サンプルは、これらの２つの深度値（バックグラウンド深度）のより小さいものに置き換えられる。線分は、（それがイメージ境界に配置されるので）１つの周囲の深度値だけを有する場合、線分の深度サンプルは、この値に置き換えられる。完全な線がこのプロセスの後に未定義値を有する場合、同じプロセスは、深度マップの列に対し適用される。
【0111】
上のアルゴリズムがサンプルごとの深度マップのために記載されているにもかかわらず、それは、（より少ない複雑さをもたらす）ブロックごとの深度マップに適用され得て、または、参照ビューについての所定のサンプルごとの深度マップは、最初に、（ダウンサンプリングによって）ブロックごとの深度マップに変換され得て、そして、そのアルゴリズムは、ブロックごとの深度マップのために適用され得る。
【0112】
クラス２：符号化された視差および動きベクトルに基づく導出
【0113】
【0114】
深度マップ推定を生成するという考えは、（それらが深度推定器２８によって実行されるように、２つのビューでマルチビュー符号化するための処理ステップを示す）いくつかの図によってさらに示される。符号化／復号化は、ランダムアクセスユニットから始まり、それのために、ベースビューピクチャ３２ｔ1（０）がイントラ符号化され、さらに、非ベースビューピクチャ３２ｔ2（０）がイントラおよびインタービュー予測（しかし、動き補償予測でない）だけを用いて符号化される。ランダムアクセスユニット「０」において第２のビュー２２を符号化した後に、この第２のビュー２２のためのブロックに基づいた深度マップ推定は、図６に示されるように、このビュー２２についての符号化された視差ベクトル１２２を用いて生成される１２０。そして、第２のビュー２２についてのこの深度マップ推定６４2（０）が第１のビュー（ベースビュー）２０にマッピングされ１２４、さらに、第１のビュー２０についての深度マップ推定６４1（０）が得られる。ランダムアクセスユニットの第２のビュー２２のために、ベースビューの動きパラメータおよび視差推定に基づく動き／視差パラメータの導出が用いられることができないことに留意されるべきであり、その理由は、ランダムアクセスユニットの第２のビュー２２が符号化されるときに、深度マップの推定が利用できないからである。
【0115】
第３のビューが符号化される場合、最初の２つのビューのいずれか（好ましくは第２のビュー）の深度マップ推定は、第３のビューについての深度マップ推定をもたらす第３のビューにマッピングされ得て、それは、第３のビューについての動きパラメータを導出するために用いられ得る。そして、第３のビューを符号化した後に、ブロックに基づいた深度マップは、第３のビュー（それは、より後で、以下のいかなるビューについての深度マップ推定を生成するために用いられ得る）についての符号化された視差ベクトルを用いて生成され得る。いかなる以下のビューのためにも、基本的に、第３のビューに関して同じプロセスが用いられ得る。
【0116】
非ランダムアクセスユニットにおいてベースビューのピクチャは、主に動き補償予測によって典型的に符号化され、その理由は、動き補償予測が、通常、イントラ符号化よりも良好な符号化効率を与えるからである。ベースビューのピクチャが符号化された後に、このピクチャについての深度マップの推定は、図７に示されるように、ピクチャ３２ｔ1（１）についての動きパラメータ４２（１）を用いて生成される１４０（図１において７１に匹敵）。したがって、新しい深度マップ推定６４1（１）のそれぞれのブロックは、対応する参照ピクチャまたはピクチャについての深度マップ推定６４1（０）（図１において７４に匹敵）を動き補償することによってつくられる１４０。用いられる参照ピクチャおよび対応する動きベクトル４２（１）は、関連したピクチャについてのデータストリームにおいて符号化される参照ピクチャおよび動きベクトルである。イントラ符号化されたブロックについての深度サンプルは、空間予測によって得られ得る。ベースビューについてのこの深度マップ推定は、動きパラメータを導出するために用いられ得る第２のビューについての深度マップ推定６４2（１）を得るために、すなわちインタービュー冗長性低減を実行するために、第２のビューのための座標系にマッピングされる１４２（図１において７６に匹敵）。
【0117】
いかなるさらなる符号化されたビューのためにも、深度マップ推定は、いかなるすでに符号化されたビュー（ベースビュー、第２のビュー、その他）についての深度マップ推定も対応するビューにマッピングすることによって生成され得る。
【0118】
第２のビュー（またはいかなる以下のビュー）のピクチャを実際に符号化した後に、関連した深度マップ推定は、図８に示されるように、実際に符号化された動きおよび視差ベクトルを用いて更新され得る１６０（図１における７７に匹敵）。視差補償を用いて符号化されるブロックのために、深度マップサンプルは、上述のように符号化された視差ベクトル６０を深度値に変換すること１６２によって得られ得る。動き補償モードを用いて符号化されるブロックのために、深度サンプルは、参照フレーム３２ｔ2（０）についての深度マップ推定を動き補償することによって得られ得る。または、代わりに、現在の深度マップ推定６４2（１）に加えられる深度補正値が、現在のおよび参照ビューについての符号化された動きパラメータ４２（１）および５４（１）に基づいて導出され得る。イントラ符号化されたブロックの深度サンプルは、空間予測を用いてまたは隣接したブロックの動きパラメータを用いて予測され得る。第２のビューについての更新された深度マップ推定７４が生成された後に、この深度マップ推定７４は、ベースビュー２０についての深度マップ更新６４´1（１）（図１における７４に匹敵）を得るためのベースビュー２０にマッピングされる１６４（図１における７８に匹敵）。
【0119】
２つを超えるビューが符号化される場合、これらのビューのための深度マップ更新プロセスは、第２のビューに関して同じである。しかしながら、ベースビュー深度マップは、第２のビューが符号化された後に、更新されるだけである。
【0120】
深度マップのための動き補償動作は、符号化されたサブサンプルの正確な動きベクトルを用いて実行され得る。しかしながら、それは、深度マップのための動き補償動作がサンプル（またはブロック）精度で実行される場合、（複雑さおよび符号化効率の観点から）しばしば好ましい。したがって、実際に符号化された動きベクトルは、サンプルまたはブロック精度に丸められ、さらに、これらの丸められたベクトルは、動き補償を実行するために用いられる。さらに、記載された概念は、サンプルごとおよびブロックごとの深度マップ推定のために適用され得る。ブロックに基づいた深度マップを用いる利点は、すべての処理ステップのためのより少ない複雑さおよび必要メモリである。ブロックに基づいた深度マップについて、それぞれの深度サンプルは、関連したピクチャ（例えば４ｘ４ブロックまたは８ｘ８ブロック）のサンプルのブロックについての深度を表す。すべての記載された動作は、直接的な方法で（すなわち、１つの深度サンプルがちょうど１つのテクスチャサンプルの代わりに倍数を表す、単に深度マップの低い解像度を考慮することによって）ブロックに基づいた深度マップのために実行され得る。
【0121】
所定の深度マップの１つのビューから別のビューへのマッピング（それは、上述されている）の他に、そのアルゴリズムは、以下の基本的なステップを含む。
【0122】
・ランダムアクセスユニットのピクチャについての視差ベクトルに基づいて深度マップをつくること。
・関連したピクチャの動きパラメータを用いたベースビュー深度マップの時間的な予測。
・関連したピクチャについての実際に符号化された動きおよび視差ベクトルを用いた深度マップ推定の更新。
・関連したピクチャの動きパラメータを用いたベースビュー深度マップの時間的な予測。
・関連したピクチャについての実際に符号化された動きおよび視差ベクトルを用いた深度マップ推定の更新。
【0123】
これらのアルゴリズムのステップについての特定の実施形態が、以下に記載される。
【0124】
ランダムアクセスユニットにおけるピクチャについての深度マップの作成
【0125】
本願発明の特定の実施形態において、ランダムアクセスユニットにおいてディペンデントビューのピクチャについての深度マップの作成は、以下のように進行する。一般に、そのようなピクチャは、視差補償予測を用いて符号化されるブロックおよびイントラ符号化されるブロックを含む。最初に、視差補償予測を用いて符号化されるすべてのブロックが考慮される。視差ベクトルは、深度値に変換され、さらに、これらの深度値は、深度マップの対応するサンプルに割り当てられる。２つ以上の動き仮説が用いられる場合、１つの仮説が選択され、または、最終的な深度値が個々の動き仮説についての深度値の関数に等しく設定される（例えば、平均、メジアン、最大または最小）。すべての視差補償ブロックのための深度値を割り当てた後に、イントラ符号化されたブロックのための深度値は、空間イントラ予測によって得られる。１つのバージョンにおいて、これらのサンプルは、関連したテクスチャピクチャのために用いられる同じイントラ予測モードを用いることによって得られ得る。別のバージョンにおいて、イントラブロックの深度は、周囲のサンプル（またはブロック）の重み付けられた平均によって得られる深度値に等しく設定され得て、そこにおいて、重み付け係数は、用いられたイントラ予測モードに基づいて決定され得る。さらなるバージョンにおいて、イントラブロックのための深度は、深度サンプルを周囲のイントラサンプルの特定の関数によって与えられる値に等しく設定することによって得られ得る（例えば、平均、メジアン、最大、最小）。他の空間予測アルゴリズムも可能である。イントラ符号化されたブロックのための深度割り当ては、イメージにおいてブロックをわたる単一のループ内で行われ得る。要するに、ブロックは、特定の順序（例えば、符号化順序）で処理され、さらに、視差補償およびイントラブロックの両方のために、深度値は、この順序で生成される（すなわち、イントラ符号化されたブロックのための深度割り当ては、すべての視差補償ブロックが処理されるまで待つ必要はない）。
【0126】
ベースビュー深度マップの時間的な予測
【0127】
一般に、ベースビューのピクチャは、動き補償ブロックおよびイントラ符号化されたブロックを含む。動き補償ブロックのための深度値は、対応する参照ピクチャについての深度マップ推定の動き補償予測によって導出される。テクスチャピクチャのブロックが単一の動き仮説を用いて符号化される場合、このブロックのための深度サンプルは、送信された（または推測された）動きベクトルによって（シグナリングされた参照インデックスによって与えられる）参照ピクチャについての深度マップ推定の深度サンプルを置換することによって得られ得る。この動き補償動作は、送信された動きベクトルの正確さ（それは、通常、サブサンプル精度である）で、または、サンプルまたはブロックの正確な動きベクトルで実行され得る。動き補償がサブサンプル精度で実行される場合、内挿フィルタが、サブサンプル位置でサンプルを生成するために適用される。動き補償がサンプルまたはブロック精度で実行される場合、送信された動きベクトルは、それらが用いられる前に丸められる。関連したピクチャのブロックが２つを超える動き仮説で符号化される場合、仮説の１つは、深度マップの動き補償のために選択され得て、または、すべての動き仮説は、個々の動き仮説についての深度予測信号の重み付けられた合計としてブロックのための最終的な深度マップ推定を生成することによって用いられる。さらに、所定のサイズのブロックのための深度サンプルは、代表深度に等しく設定され得る。この代表深度は、ブロック内の特定の位置を選択し、さらに、動き補償を用いてこの位置についての深度値を導出することによって得られ得て、または、それは、このブロックのための動き補償深度値の関数を定義することによって得られ得る。そのような関数は、深度サンプルの平均、深度サンプルメジアン、深度サンプルの最小若しくは最大、または、ブロックにおいてほとんどの場合に発生する深度サンプル値であり得る。
【0128】
符号化された動きおよび視差パラメータを用いる深度マップの更新
【0129】
上述のように、ピクチャについての深度マップ推定は、ピクチャを符号化した後に更新され得る。以下において、そのような更新アルゴリズムのいくつかの実施形態を記載する。ピクチャのブロックは、特定の順序（例えば、符号化順序）で処理され、さらに、ブロックごとに、以下のことが適用される。
【0130】
・ブロックが（関連したテクスチャピクチャにおいて）イントラ符号化されている場合、このブロックのための深度サンプル値は、隣接したブロックのサンプルを用いて空間予測によって導出され得る。そのような空間予測技術のためのいくつかの例が上述されている。深度サンプル値は、隣接したブロックの動きパラメータを用いて動き補償によっても得られ得る（以下の動き補償ブロックのための説明を参照）。それは、すべての動きおよび視差補償ブロックが処理された後にイントラブロックが処理される場合、時に好ましく、その理由は、その後により隣接したものが利用でき、さらに、深度サンプルまたは動きパラメータの空間予測のために用いられ得るからである。
・さもなければ、ブロックが１つ以上の視差ベクトル（視差仮説）を用いて符号化される場合、深度サンプルは、視差ベクトルを深度値に変換することによって導出される。１つの視差ベクトル（視差仮説）だけがブロックのために用いられる場合、深度値は、対応する視差ベクトルによって与えられる。２つ以上の視差ベクトルがブロックのために用いられる場合、視差ベクトルの１つは、深度値を導出するために選択され得て、または、視差ベクトルごとに、深度値は、導出され得て、さらに、最後に割り当てられた深度値は、個々に導出された深度値の関数を適用することによって得られる。可能な関数は、その中で、個々の深度値の最小または最大、深度値のメジアン、深度値の平均、または、ほとんどの場合に発生する深度値である。
・さもなければ、ブロックが１つ以上の視差ベクトル（視差仮説）を用いて符号化される場合、深度サンプルは、視差ベクトルを深度値に変換することによって導出される。１つの視差ベクトル（視差仮説）だけがブロックのために用いられる場合、深度値は、対応する視差ベクトルによって与えられる。２つ以上の視差ベクトルがブロックのために用いられる場合、視差ベクトルの１つは、深度値を導出するために選択され得て、または、視差ベクトルごとに、深度値は、導出され得て、さらに、最後に割り当てられた深度値は、個々に導出された深度値の関数を適用することによって得られる。可能な関数は、その中で、個々の深度値の最小または最大、深度値のメジアン、深度値の平均、または、ほとんどの場合に発生する深度値である。
【0131】
視差ベクトルを用いて符号化されるブロックが加えて時間的な動きベクトルと関連していてもよいことに留意されたい。この場合、時間的な動きベクトルは、無視され得る。または、導出された深度値は、（例えば、これらの２つの信号を平均することによって）いかなる特定の方法で時間的な動き仮説（下を参照）のために導出される深度値と結合され得る。
・さもなければ、ブロックは、時間的な動き仮説だけを用いて符号化され、さらに、時間的な動き仮説は、ブロックのための深度サンプルを更新するために用いられる。
・さもなければ、ブロックは、時間的な動き仮説だけを用いて符号化され、さらに、時間的な動き仮説は、ブロックのための深度サンプルを更新するために用いられる。
【0132】
本願発明の第１の実施形態において、深度マップサンプルは、現在のビューについての参照ピクチャと関連する深度マップ推定を用いて直接的な動き補償予測によって導出される。この動き補償動作は、上述のベースビュー深度マップの時間的な予測のための実施形態のいずれかによって実現され得る。
【0133】
本願発明の第２の実施形態において、深度マップサンプルは、単に動き補償されないが、その代わりに、深度補正値は、現在のビューのために符号化される動きベクトルおよび参照ビューにおいて対応するブロックのための符号化される動きベクトルに基づいて導出され、さらに、この深度補正値は、更新された深度マップ推定を得るために推定される深度マップに加えられる。そのようなアプローチの利点は、２つのインスタンス間の深度変化が考慮され得るということである。
【0134】
【0135】
【0136】
現在のおよび参照ブロックの動きベクトルを用いて更新された深度値を得るための基本的な概念を示した。この基本的な概念は、さまざまな実際の実施において用いられ得る。例えば、１つを超える動きベクトルが現在のブロックおよび／または参照ブロックのために用いられる場合、単一の動きベクトルが選択され得て、または、異なる深度値が異なる動きベクトルのために導出され得て、さらに、最終的な深度が個々に導出された深度値の平均（または他のいかなる関数）を用いることによって得られる。さらに、現在のおよび参照ブロックにおいてそれらの動き仮説だけが考慮されなければならず、それは、同じ参照アクセスユニット（または参照時刻または参照ピクチャ順序カウントまたは参照インデックス）を用いる。そのような動き仮説が存在しない場合、上述の従来の動き補償プロセスが用いられ得て、または、深度サンプルが利用できないようにマークされ得て、さらに、適切な後処理ステップによって後に交換される。さらに、新しい深度値は、ブロックについての単一のサンプルに基づいて、またはブロックのすべてのサンプルのために、またはブロックのサンプルの選択されたサブセットのために導出され得る。異なるサンプルについての異なる深度値が導出されるときに、別々の深度値は、現在のブロックの異なる領域のために（例えば、現在のブロック内のすべての４ｘ４のブロックのために）割り当てられ得て、または、異なる深度値は、例えば、平均、メジアン、最小、最大値、またはほとんどの場合に発生する深度値を用いることによって、すべてのブロックのための代表深度を導出するために用いられる。深度マップ更新プロセスは、いくつかの前処理ステップと結合され得る。例えば、利用できない深度値は、隣接したサンプルまたはブロックの深度値に置き換えられ得る。
【0137】
方法１－３の上に概説された説明に関して、参照ビューのそれぞれのブロック４０Rを確認するために用いられる視差ベクトルを決定する他のタイプで用いられる場合、参照ビューにおいて例えばブロック４０Rなどの、ブロックから得られるそれぞれの情報を加えることによって動きまたは動き／視差ベクトル／パラメータ候補リストを洗練するこれらの異なる代案が有利でもあることに留意されるべきである。この実施形態によれば、図１のデコーダにおいて深度推定器２８は、図２のエンコーダにおいて深度推定器８４と全く同じように任意である。
【0138】
特に、後の態様によれば、方法１－３の上の説明は、マルチビュー信号をマルチビューデータストリームに再構成するための装置を明らかにし、その装置は、ディペンデントビュー２２を再構成するために以下のことを行うように構成されるディペンデントビュー再構成器２６を含む。機能性を記載するために、図１および図４のマルチビュー信号の概略図を参照する。特に、ディペンデントビュー再構成器２６は、現在のピクチャ３２ｔ2（Ｔ）の現在のブロック５０ｃおよびディペンデントビュー２２のために、最初に、ディペンデントビュー２２の現在のピクチャ３２ｔ2（Ｔ）およびブロック５０ｃでマルチビュー信号の参照ビュー２０の現在のピクチャ３２ｔ1（Ｔ）間の視差を表す現在のブロック５０ｃのための視差ベクトル１０２を決定することによって、動きベクトル予測因子候補のリストを導出する。そうするために、ディペンデントビュー再構成器２６は、ピクチャ３２ｔ1（Ｔ）および３２ｔ2（Ｔ－１）の例えば動き／視差ベクトルなどのマルチビュー信号の前に復号化された部分と関連する動きおよび視差ベクトルを用いる。上に概説される他の実施形態において、参照ビューの現在のピクチャ３２ｔ1（Ｔ）と関連する推定された深度マップは、推定および上に記載されている参照ビューと同様にディペンデントビューの前に符号化されたピクチャの動きおよび視差ベクトルを用いて深度マップ推定を更新することと共に、視差ベクトル１０２を決定するための基礎として用いられ、さらに、この点に関して、上の説明は、同様に現在の実施形態のために組み込まれるが、原理的には、他の可能性が同様に存在する。例えば、ディペンデントビュー再構成器２６は、現在のブロック５０ｃのための視差ベクトルを空間的に／時間的に予測することができ、さらに、視差ベクトル１０２としてこの予測された視差ベクトルを用いることができる。
【0139】
そして、ディペンデントビュー再構成器２６は、決定された視差ベクトル１０２を用いて参照ビューの現在のピクチャ内でブロック４０Rを決定し、さらに、動きベクトルを動きベクトル予測因子候補のリストに加え、それは、決定されたブロック４０R、すなわち動きベクトル４２Rと関連する動きベクトルに依存する。
【0140】
上述のように、動きベクトル予測因子候補のリストを導出する際に、ディペンデントビュー再構成器は、ディペンデントビュー２２の空間的におよび／または時間的に隣接したブロック、すなわち、ブロック、空間的におよび／または時間的に隣接した現在のブロック５０Cから１つ以上のさらなる動きベクトルを空間的におよび／または時間的に予測するように構成され得る。そして、１つ以上のさらなる動きベクトルまたはそれから導出されるバージョンは、ディペンデントビュー再構成器２６によって、動きベクトル予測因子候補のリストに加えられる。
【0141】
ディペンデントビュー再構成器は、ブロック５０Cのために、マルチビューデータストリームから、さらに、より具体的にするために、それのディペンデントビュー部２２から、動きベクトル予測因子候補のリストの１つを特定するインデックス情報を抽出する。現在のブロック５０Cが動き補償予測を受けすなわち時間的な予測モードと関連していると仮定されるので、ディペンデントビュー再構成器２６は、特定された動きベクトル候補、すなわち、インデックス情報によってインデックスが付けられまたは特定されるもの、に等しいまたは少なくとも依存する動きベクトルを用いてブロック５０Cの動き補償予測を実行することによってブロック５０Cを再構成する。動き予測因子候補の拡大したリストと関連するオーバーヘッドは、参照ビューから決定される動きベクトル候補４２Rの加算から生じている動きベクトル予測品質における利得と比較して、比較的少ない。
【0142】
上に記載されているように、現在のブロック５０ｃのためのディペンデントビュー再構成器２６によって抽出される動き情報は、インデックス情報に制限される必要はない。むしろ、ディペンデントビュー再構成器２６は、ブロック５０Cのために、特定された動きベクトル候補に関して動きベクトル差を抽出し、さらに、用いられた動きベクトルがさらに動きベクトル差および特定された動きベクトル候補すなわち動きベクトル予測因子候補のリストからインデックス情報によって特定される１つの合計に依存するように、ブロック５０Cの再構成を実行するようにさらに構成され得る。
【0143】
上記において、動きおよび視差補償予測が、厳格に区別されている。しかしながら、両方の間の差は、例えば、同じモードが両方をシグナリングするために用いられる場合、動き／補償予測が実行されるものと比べてピクチャにインデックスを付けるインデックスから単に導出されることができる両方の間の差について、消滅することができる。そして、デコーダディペンデントビュー再構成器の前述の機能性は、差がないように、「動き」を「動き／視差」に置き換えることによって書き換えられ得る。当然、尺度は、実際に特定されるベクトル候補が前に符号化されたピクチャの同じタイプを参照するように、すなわち時間的に前にまたはビュー方向の前に参照するように、または、リストへの加算でさえ、条件つきで制限されそれに従って実行されるように、とられなければならない。
【0144】
上述の方法１によれば、ディペンデントビュー再構成器２６は、ブロック５０Cのために、参照ビュー２０の現在のピクチャ３２ｔ1（Ｔ）およびディペンデントビュー２２のすでに復号化されたピクチャ３２ｔ2（ｔ＜Ｔ）を含む、参照ピクチャのリストの参照ピクチャを特定する参照ピクチャインデックスをさらに抽出するように構成され、さらに、ディペンデントビュー再構成器２６は、ディペンデントビュー２２のすでに復号化されたピクチャの１つとしての参照ピクチャについて、参照として参照ピクチャインデックスによって特定されるようなディペンデントビューの１つのすでに復号化されたピクチャを用いて動き補償予測を実行するように構成され得て、さらに、参照ピクチャが参照ビューの現在のピクチャ３２ｔ1（Ｔ）である場合、決定された視差ベクトル１０２または決定された視差ベクトル１０２から導出される修正された視差ベクトルを視差ベクトル予測候補のリストに加え、マルチビューデータストリームから視差ベクトル予測因子候補のリストの１つを特定するインデックス情報を抽出し、さらに、参照として参照ビュー２０の現在のピクチャ３２ｔ1（Ｔ）を用いて指定された視差ベクトル候補に依存する視差ベクトルを用いて、ブロック５０Cの視差補償予測を実行することによって、ブロック５０Cを再構成するように構成される。また、動き補償および視差補償予測間の差が、解消され得る。同じ予測モードが、ブロック５０Cについてシグナリングされ得る。動き補償または視差補償予測がディペンデントビュー再構成器２６によって実際に実行されるかどうかに関して、時間的な前にあったもの、すなわちディペンデントビューの前に復号化されたピクチャと、ビューの前にあったもの、すなわち他のビューの前に復号化されたピクチャとの両方を含む参照ピクチャのバッファまたはリストにインデックスが付けられる参照ピクチャインデックスによって定義される。
【0145】
方法２から明白になるように、ディペンデントビュー再構成器２６は、それぞれが、多数の仮説と、仮説ごとに、動き／視差動きベクトルおよびちょうど概説される参照ピクチャのそのような共通のリストから参照ピクチャを特定する参照インデックスとを含む、動き／視差パラメータ候補のリストである、動き／視差ベクトル予測因子候補のリストを介して、動きベクトル予測因子候補のリストの導出を実行するように構成され得る。そして、ディペンデントビュー再構成器は、動き／視差パラメータを決定されたブロック４０Rと関連する動き／視差パラメータに依存する動き／視差パラメータ候補のリストに加え、さらに、インデックス情報によって特定される動き／視差パラメータ候補に依存する動き／視差パラメータを用いてブロック５０Cに動き／視差補償予測を実行することによってブロック５０Cを再構成するように構成され得る。動きパラメータは、上述のように、多数の仮説と、仮説ごとに参照インデックスおよび動き／視差ベクトル差とを同時に決定することができる。上述されているように、多数の仮説は、例えばピクチャのタイプなどを経由して事前に決定され得る。
【0146】
そして、方法３において説明されるように、ディペンデントビュー再構成器は、動き／視差予測に関する限り、ブロック５０Rからブロック５０Cのための分割をさらに採用するように、さらに構成され得る。
【0147】
図２のエンコーダは、後の態様によれば、マルチビュー信号をマルチビューデータストリームに符号化する際にそれに従って働くように構成される。特に、ディペンデントビュー再構成器２６は、ブロック５０Cのために、同様に動きベクトル予測因子候補のリストを導出する。すなわち、ディペンデントビュー２２の現在のピクチャおよびディペンデントビュー２２の現在のピクチャでマルチビュー信号の参照ビュー２０の現在のピクチャ間の視差を表すブロック５０Cのための視差ベクトルは、マルチビュー信号の前に符号化された部分と関連する動きおよび視差ベクトルを介して決定される。そして、参照ビューの現在のピクチャ内のブロック５０Rは、決定された視差ベクトルを用いて決定され、さらに、動きベクトルは、動きベクトル予測因子候補のリストに加えられ、それは、参照ビューのピクチャの決定されたブロックと関連する動きベクトルに依存する。ディペンデントビュー再構成器は、ブロック５０Cのために、動きベクトル予測因子候補のリストの１つを特定するインデックス情報をマルチビューデータストリームに挿入し、さらに、特定された動きベクトル候補に依存する動きベクトルを用いてブロック５０Cの動き補償予測を実行することによってブロック５０Cを符号化する。
【0148】
いくつかの態様が装置との関連で記載されているにもかかわらず、これらの態様は、対応する方法の説明も表すことが明らかであり、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップとの関連で記載されている態様は、対応するブロック若しくはアイテムまたは対応する装置の特徴の説明も表す。方法ステップのいくつかまたはすべては、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（またはそれを用いて）実行されてもよい。いくつかの実施形態において、最も重要な方法ステップのいずれかの１つ以上は、そのような装置によって実行されてもよい。
【0149】
特定の実施要件に応じて、本願発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施は、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する（または協働することができる）電子的に可読の制御信号が格納される、デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ（登録商標）、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリを用いて実行することができる。したがって、デジタル記憶媒体は、コンピュータ可読であってもよい。
【0150】
本願発明によるいくつかの実施形態は、ここに記載される方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に可読の制御信号を有するデータキャリアを含む。
【0151】
一般に、本願発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することができ、そのプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに、それらの方法のうちの１つを実行するために働く。プログラムコードは、例えば、機械可読のキャリアに格納されてもよい。
【0152】
他の実施形態は、機械可読のキャリアに格納される、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムを含む。
【0153】
したがって、換言すれば、本願発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、ここに記載される方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0154】
したがって、本願発明の方法のさらなる実施形態は、それに記録される、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムを含むデータキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体または記録媒体は、典型的に有形でありおよび／または非一時的である。
【0155】
したがって、本願発明の方法のさらなる実施形態は、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは一連の信号は、例えば、データ通信接続を介して、例えばインターネットを介して、転送されるように構成されてもよい。
【0156】
さらなる実施形態は、ここに記載される方法のうちの１つを実行するように構成されまたは適合している処理手段、例えばコンピュータまたはプログラム可能な論理デバイスを含む。
【0157】
さらなる実施形態は、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムがインストールされているコンピュータを含む。
【0158】
本願発明によるさらなる実施形態は、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムをレシーバに（例えば、電子的にまたは光学的に）転送するように構成される装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。装置またはシステムは、例えば、コンピュータプログラムをレシーバに転送するためのファイルサーバを含んでもよい。
【0159】
いくつかの実施形態において、プログラム可能な論理デバイス（例えばフィールドプログラム可能なゲートアレイ）は、ここに記載される方法の機能のいくらかまたはすべてを実行するために用いられてもよい。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、ここに記載される方法のうちの１つを実行するために、マイクロプロセッサと協働してもよい。一般に、その方法は、好ましくは、いかなるハードウェア装置によっても実行される。
【0160】
上述の実施形態は、本願発明の原理のために単に例示するだけである。ここに記載される構成および詳細の修正および変更が他の当業者にとって明らかであるものと理解される。したがって、本願発明は、差し迫った特許請求の範囲によってだけ制限され、ここに実施形態の記述および説明として示される具体的な詳細によって制限されないことが意図される。
【0161】
文献
［１］ ITU-T and ISO/IEC JTC 1, "Advanced video coding for generic audiovisual s
ervices," ITU-T Recommendation H.264 and ISO/IEC 14496-10 (MPEG-4 AVC), 2010
［２］ A. Vetro, T. Wiegand, G. J. Sullivan, "Overview of the Stereo and Multivi
ew Video Coding Extension of the H.264/MPEG-4 AVC Standard", Proceedings of IEEE
, vol. 99, no. 4, pp. 626-642, Apr. 2011
［３］ H. Schwarz, D. Marpe, T. Wiegand, "Overview of the Scalable Video Coding Extension of the H.264/AVC Standard", IEEE Transactions on Circuits and Systems for Video Technology, vol. 17, no. 9, pp. 1103-1120, Sep. 2007
［１］ ITU-T and ISO/IEC JTC 1, "Advanced video coding for generic audiovisual s
ervices," ITU-T Recommendation H.264 and ISO/IEC 14496-10 (MPEG-4 AVC), 2010
［２］ A. Vetro, T. Wiegand, G. J. Sullivan, "Overview of the Stereo and Multivi
ew Video Coding Extension of the H.264/MPEG-4 AVC Standard", Proceedings of IEEE
, vol. 99, no. 4, pp. 626-642, Apr. 2011
［３］ H. Schwarz, D. Marpe, T. Wiegand, "Overview of the Scalable Video Coding Extension of the H.264/AVC Standard", IEEE Transactions on Circuits and Systems for Video Technology, vol. 17, no. 9, pp. 1103-1120, Sep. 2007
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2023-04-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
データストリームに符号化されたマルチビュー信号を再構成するための装置であって、
既定の符号化モードが適用される、前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックについて、前記データストリームに送信された参照ピクチャインデックスに基づいて、候補動きベクトル予測因子のリストを導出するように構成されるディペンデントビュー再構成器であって、前記導出は、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに対応する、前記マルチビュー信号の参照ビューの現在のピクチャ内の参照ブロックに関連付けられた第２の動きベクトルに基づく、第１の動きベクトルの推定と、
前記第１の動きベクトルの前記候補動きベクトル予測因子のリストへの追加と、
前記候補動きベクトル予測因子のリストのうちの選択された動きベクトル予測因子を示すインデックスの前記データストリームからの抽出と、
前記選択された動きベクトル予測因子、前記参照ピクチャインデックスおよび動きベクトル差に基づいて動き補償予測を実行することによる、前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックの再構成と、
を含むディペンデントビュー再構成器を備える、装置。
既定の符号化モードが適用される、前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックについて、前記データストリームに送信された参照ピクチャインデックスに基づいて、候補動きベクトル予測因子のリストを導出するように構成されるディペンデントビュー再構成器であって、前記導出は、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに対応する、前記マルチビュー信号の参照ビューの現在のピクチャ内の参照ブロックに関連付けられた第２の動きベクトルに基づく、第１の動きベクトルの推定と、
前記第１の動きベクトルの前記候補動きベクトル予測因子のリストへの追加と、
前記候補動きベクトル予測因子のリストのうちの選択された動きベクトル予測因子を示すインデックスの前記データストリームからの抽出と、
前記選択された動きベクトル予測因子、前記参照ピクチャインデックスおよび動きベクトル差に基づいて動き補償予測を実行することによる、前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックの再構成と、
を含むディペンデントビュー再構成器を備える、装置。
【請求項2】
前記符号化モードによれば、多数の動き仮説が各動き仮説に関連付けられた参照ピクチャインデックス、動きベクトル予測因子インデックス、および動きベクトル差と結合され、前記装置は既定の動き仮説についての前記候補動きベクトル予測因子のリストを、前記各動き仮説について前記データストリームに送信された前記参照ピクチャインデックスに基づいて導出し、前記多数の動き仮説に基づいて動き補償予測を実行することによって前記符号化ブロックを再構成するように構成される、請求項１に記載の装置。
【請求項3】
前記ディペンデントビュー再構成器は、前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに関して、前記ディペンデントビューの前記現在のピクチャと前記参照ビューの前記現在のピクチャとの間の視差を表す視差ベクトルを取得して、前記視差ベクトルに基づいて前記参照ビューの前記現在のピクチャ内の前記参照ブロックを識別するように構成される、請求項１または請求項２に記載の装置。
【請求項4】
前記参照ビューの前記現在のピクチャに関連付けられた動きデータを取得し、
前記参照ビューの前記現在のピクチャに関連付けられた前記動きデータを前記参照ビューの前のピクチャの深度マップ推定に適用して前記参照ビューの前記現在のピクチャのための第１の推定デプスマップを生成し、
前記参照ビューの前記現在のピクチャについての第１の推定深度マップに基づいて前記ディペンデントビューの前記現在のピクチャについての第２の推定深度マップを導出し、
前記ディペンデントビューの前記現在のピクチャについての前記第２の推定深度マップに基づいて前記視差ベクトルを決定する
ように構成される深度推定器をさらに備える、請求項３に記載の装置。
前記参照ビューの前記現在のピクチャに関連付けられた前記動きデータを前記参照ビューの前のピクチャの深度マップ推定に適用して前記参照ビューの前記現在のピクチャのための第１の推定デプスマップを生成し、
前記参照ビューの前記現在のピクチャについての第１の推定深度マップに基づいて前記ディペンデントビューの前記現在のピクチャについての第２の推定深度マップを導出し、
前記ディペンデントビューの前記現在のピクチャについての前記第２の推定深度マップに基づいて前記視差ベクトルを決定する
ように構成される深度推定器をさらに備える、請求項３に記載の装置。
【請求項5】
前記ディペンデントビュー内の前記符号化ブロックのための前記視差ベクトルは、前記マルチビュー信号の１つ以上の前に復号化された符号化ブロックに関連付けられた少なくとも１つの視差ベクトルにさらに基づいて決定される、請求項４に記載の装置。
【請求項6】
前記ディペンデントビュー再構成器は、
前記動きベクトル差を前記データストリームから抽出し、
前記選択された動きベクトル予測因子および前記動きベクトル差に基づいてリファインされた動きベクトルを取得する
ようにさらに構成される、請求項１ないし５のいずれかに記載の装置。
前記動きベクトル差を前記データストリームから抽出し、
前記選択された動きベクトル予測因子および前記動きベクトル差に基づいてリファインされた動きベクトルを取得する
ようにさらに構成される、請求項１ないし５のいずれかに記載の装置。
【請求項7】
コンテキスト適応型バイナリ算術符号化に基づいて前記インデックスを復号化するように構成される、請求項１ないし６のいずれかに記載の装置。
【請求項8】
コンテキスト適応型バイナリ算術符号化に基づいて前記インデックスを復号化するように構成される、請求項７に記載の装置。
【請求項9】
マルチビュー信号をデータストリームに符号化するための装置であって、
既定の符号化モードが適用される、前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックについて、参照ピクチャインデックスに基づいて候補動きベクトル予測因子のリストを導出するように構成されたディペンデントビュー符号化器であって、前記候補動きベクトル予測因子のリストの導出は、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに対応する、前記マルチビュー信号の参照ビューの現在のピクチャ内の参照ブロックに関連付けられた第２の動きベクトルに基づく、第１の動きベクトルの推定と、
前記第１の動きベクトルの前記候補動きベクトル予測因子のリストへの追加と、
前記候補動きベクトル予測因子のリストのうちの選択された動きベクトル予測因子の決定と、
前記選択された動きベクトル予測因子、前記参照ピクチャインデックスおよび前記動きベクトル差に基づいて動き補償予測を行うことによる前記符号化ブロックの再構成のための、前記候補動きベクトル予測因子のリストのうちの前記選択された動きベクトル予測因子および前記参照ピクチャを示すインデックスの前記データストリームへの挿入と、
を含む、ディペンデントビュー符号化器を備える、装置。
既定の符号化モードが適用される、前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックについて、参照ピクチャインデックスに基づいて候補動きベクトル予測因子のリストを導出するように構成されたディペンデントビュー符号化器であって、前記候補動きベクトル予測因子のリストの導出は、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに対応する、前記マルチビュー信号の参照ビューの現在のピクチャ内の参照ブロックに関連付けられた第２の動きベクトルに基づく、第１の動きベクトルの推定と、
前記第１の動きベクトルの前記候補動きベクトル予測因子のリストへの追加と、
前記候補動きベクトル予測因子のリストのうちの選択された動きベクトル予測因子の決定と、
前記選択された動きベクトル予測因子、前記参照ピクチャインデックスおよび前記動きベクトル差に基づいて動き補償予測を行うことによる前記符号化ブロックの再構成のための、前記候補動きベクトル予測因子のリストのうちの前記選択された動きベクトル予測因子および前記参照ピクチャを示すインデックスの前記データストリームへの挿入と、
を含む、ディペンデントビュー符号化器を備える、装置。
【請求項10】
前記符号化モードによれば、多数の動き仮説が各動き仮説に関連付けられた参照ピクチャインデックス、動きベクトル予測因子インデックス、および動きベクトル差と結合され、前記装置は既定の動き仮説についての前記候補動きベクトル予測因子のリストを前記参照ピクチャインデックスに基づいて導出し、前記多数の動き仮説に基づいて動き補償予測を実行することによって前記符号化ブロックを再構成するために前記参照ピクチャインデックスを前記データストリームに送信するように構成される、請求項９に記載の装置。
【請求項11】
前記ディペンデントビュー符号化器は、前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに関して、前記ディペンデントビューの前記現在のピクチャと前記参照ビューの前記現在のピクチャとの間の視差を表す視差ベクトルを取得して、前記視差ベクトルに基づいて前記参照ビューの前記現在のピクチャ内の前記参照ブロックを識別するように構成される、請求項９または請求項１０に記載の装置。
【請求項12】
前記参照ビューの前記現在のピクチャに関連付けられた動きデータを取得すること、
前記参照ビューの前記現在のピクチャに関連付けられた前記動きデータを前記参照ビューの前のピクチャの深度マップ推定に適用して、前記参照ビューの前記現在のピクチャについての第１の推定深度マップを生成すること、
前記参照ビューの前記現在のピクチャについての前記第１の推定深度マップに基づいて、前記ディペンデントビューの前記現在のピクチャについての第２の推定深度マップを導出すること、および
前記ディペンデントビューの前記現在のピクチャについての前記第２の推定深度マップに基づいて、前記視差ベクトルを決定すること
によって、前記視差ベクトルを推定するように構成された深度推定器をさらに備える、請求項１１に記載の装置。
前記参照ビューの前記現在のピクチャに関連付けられた前記動きデータを前記参照ビューの前のピクチャの深度マップ推定に適用して、前記参照ビューの前記現在のピクチャについての第１の推定深度マップを生成すること、
前記参照ビューの前記現在のピクチャについての前記第１の推定深度マップに基づいて、前記ディペンデントビューの前記現在のピクチャについての第２の推定深度マップを導出すること、および
前記ディペンデントビューの前記現在のピクチャについての前記第２の推定深度マップに基づいて、前記視差ベクトルを決定すること
によって、前記視差ベクトルを推定するように構成された深度推定器をさらに備える、請求項１１に記載の装置。
【請求項13】
前記ディペンデントビュー内の前記符号化ブロックについての前記視差ベクトルは、前記マルチビュー信号の１つ以上の前に復号された符号化ブロックに関連付けられた少なくとも１つの視差ベクトルにさらに基づいて決定される、請求項１２に記載の装置。
【請求項14】
前記ディペンデントビュー符号化器は、
前記符号化ブロックの元の動きベクトルと前記選択された動きベクトル予測因子との間の差に基づいて、前記動きベクトル差を決定し、
前記動きベクトル差を前記データストリームに挿入する
ようにさらに構成される、請求項９ないし１３に記載の装置。
前記符号化ブロックの元の動きベクトルと前記選択された動きベクトル予測因子との間の差に基づいて、前記動きベクトル差を決定し、
前記動きベクトル差を前記データストリームに挿入する
ようにさらに構成される、請求項９ないし１３に記載の装置。
【請求項15】
コンテキスト適応型バイナリ算術符号化に基づいて前記インデックスを符号化するように構成される、請求項９ないし１４のいずれかに記載の装置。
【請求項16】
コンテキスト適応型バイナリ算術符号化に基づいて前記インデックスを符号化するように構成される、請求項１５に記載の装置。
【請求項17】
データストリームに符号化されたマルチビュー信号を再構成するための方法であって、
既定の符号化モードが適用される、前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックについて、前記データストリームに送信された参照ピクチャインデックスに基づいて候補動きベクトル予測因子のリストを導出するステップを含み、前記導出するステップは、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに対応する、前記マルチビュー信号の参照ビューの現在のピクチャ内の参照ブロックに関連付けられた第２の動きベクトルに基づいて、第１の動きベクトルを推定するステップと、
前記第１の動きベクトルを前記候補動きベクトル予測因子のリストに追加するステップと、
前記候補動きベクトル予測因子のリストのうちの選択された動きベクトル予測因子を示すインデックスを前記データストリームから抽出するステップと、
前記選択された動きベクトル予測因子、前記参照ピクチャインデックスおよび動きベクトル差に基づいて動き補償予測を実行することによって、前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックを再構成するステップと、
を含む、方法。
既定の符号化モードが適用される、前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックについて、前記データストリームに送信された参照ピクチャインデックスに基づいて候補動きベクトル予測因子のリストを導出するステップを含み、前記導出するステップは、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに対応する、前記マルチビュー信号の参照ビューの現在のピクチャ内の参照ブロックに関連付けられた第２の動きベクトルに基づいて、第１の動きベクトルを推定するステップと、
前記第１の動きベクトルを前記候補動きベクトル予測因子のリストに追加するステップと、
前記候補動きベクトル予測因子のリストのうちの選択された動きベクトル予測因子を示すインデックスを前記データストリームから抽出するステップと、
前記選択された動きベクトル予測因子、前記参照ピクチャインデックスおよび動きベクトル差に基づいて動き補償予測を実行することによって、前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックを再構成するステップと、
を含む、方法。
【請求項18】
マルチビュー信号をデータストリームに符号化するための方法であって、
既定の符号化モードが適用される、前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックについて、参照ピクチャインデックスに基づいて候補動きベクトル予測因子のリストを導出するステップを含み、前記導出するステップは、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに対応する前記マルチビュー信号の参照ビューの現在のピクチャ内の参照ブロックに関連付けられた第２の動きベクトルに基づいて、第１の動きベクトルを推定するステップと、
前記第１の動きベクトルを前記候補動きベクトル予測因子のリストに追加するステップと、
前記候補動きベクトル予測子のリストのうちの選択された動きベクトル予測因子を決定するステップと、
前記選択された動きベクトル予測子、前記参照ピクチャインデックスおよび動きベクトル差に基づく動き補償予測を行うことよって前記符号化ブロックを再構成するために、前記候補動きベクトル予測因子のリストのうちの前記選択された動きベクトル予測因子および前記参照ピクチャインデックスを示すインデックスを前記データストリームに挿入するステップと、
を含む、方法。
既定の符号化モードが適用される、前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックについて、参照ピクチャインデックスに基づいて候補動きベクトル予測因子のリストを導出するステップを含み、前記導出するステップは、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに対応する前記マルチビュー信号の参照ビューの現在のピクチャ内の参照ブロックに関連付けられた第２の動きベクトルに基づいて、第１の動きベクトルを推定するステップと、
前記第１の動きベクトルを前記候補動きベクトル予測因子のリストに追加するステップと、
前記候補動きベクトル予測子のリストのうちの選択された動きベクトル予測因子を決定するステップと、
前記選択された動きベクトル予測子、前記参照ピクチャインデックスおよび動きベクトル差に基づく動き補償予測を行うことよって前記符号化ブロックを再構成するために、前記候補動きベクトル予測因子のリストのうちの前記選択された動きベクトル予測因子および前記参照ピクチャインデックスを示すインデックスを前記データストリームに挿入するステップと、
を含む、方法。
【請求項19】
請求項１８に記載の方法でマルチビュー信号が符号化されているデータストリームを格納するデジタル記憶媒体。
【外国語明細書】