特許 6472877 視点合成予測を含む３Ｄまたは多視点映像符号化の方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6472877

(24)【登録日】2019年2月1日

(45)【発行日】2019年2月20日

(54)【発明の名称】視点合成予測を含む３Ｄまたは多視点映像符号化の方法

(51)【国際特許分類】

   H04N 19/52 20140101AFI20190207BHJP

   H04N 19/597 20140101ALI20190207BHJP

   H04N 19/70 20140101ALI20190207BHJP

【ＦＩ】

   H04N19/52

   H04N19/597

   H04N19/70

【請求項の数】6

【全頁数】13

(21)【出願番号】特願2017-518507(P2017-518507)

(86)(22)【出願日】2015年9月25日

(65)【公表番号】特表2017-536017(P2017-536017A)

(43)【公表日】2017年11月30日

(86)【国際出願番号】CN2015090667

(87)【国際公開番号】WO2016054979

(87)【国際公開日】20160414

【審査請求日】2017年4月6日

(31)【優先権主張番号】62/061,834

(32)【優先日】2014年10月9日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】516251901

【氏名又は名称】寰發股▲ふん▼有限公司

【氏名又は名称原語表記】ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ．

(74)【代理人】

【識別番号】110000486

【氏名又は名称】とこしえ特許業務法人

(72)【発明者】

【氏名】リン，ジィエン−リィアン

(72)【発明者】

【氏名】チェン，チーウェン

【審査官】 岩井 健二

(56)【参考文献】

【文献】 国際公開第２０１４／０５４６８４（ＷＯ，Ａ１）

【文献】 国際公開第２０１３／１１１５９６（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１３／０１１４７１７（ＵＳ，Ａ１）

【文献】 Feng Zou et al.，View Synthesis Prediction Using Skip and Merge Candidates for HEVC-based 3D Video Coding，2013 IEEE International Symposium on Circuits and Systems (ISCAS)，IEEE，２０１３年 ８月 １日，pp.57-60

【文献】 Gerhard Tech et al.，3D-HEVC Draft Text 5，JCT3V-I1001-v3，Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 9th Meeting，２０１４年 ８月１３日，pp.1-22,41-56

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

３次元（３Ｄ）もしくは多視点映像符号化または復号化の方法であって、
従属ビューのテクスチャデータ、または、前記従属ビューもしくはベースビューの深度データに対し、現在のブロックに関連した入力データを受信するステップ、
視点合成予測（ＶＳＰ）フラグ、ビュー間動き予測（ＩＶＭＰ）フラグ、および動きパラメータ継承（ＭＰＩ）フラグのいずれかが１の場合に、現在のブロックの１つ以上の追加のマージ候補に関連した追加候補数を１に決定するステップであって、前記ＶＳＰフラグは、視点合成予測が現在のブロックに対して有効にされるかどうかを示し、前記ＩＶＭＰフラグは、ビュー間動き予測が前記現在のブロックに対して有効か否かを示し、前記ＭＰＩフラグは、動きパラメータ継承が前記現在のブロックに対して有効か否かを示し、１つ以上の３Ｄ有効フラグは前記ＶＳＰフラグ、ＩＶＭＰフラグ、及びＭＰＩフラグのうち少なくとも１つを含む、ステップ、
前記追加候補数と、元のリストのサイズとの総和に対応した、３Ｄマージリストの変更されたリストのサイズを決定するステップであり、前記元のリストのサイズは、ベースビューのマージリストのベースビューリストのサイズ、デフォルトのサイズ、または伝送されたサイズに対応する、ステップ、
元のマージ候補及び１つ以上の３Ｄマージ候補に基づき、優先順序に従い、前記変更されたリストのサイズを有する３Ｄマージリストを導出するステップであり、前記元のマージ候補は、ベースビューのビデオデータのために前記ベースビューのマージリストを導出するように用いられ、前記１つ以上の３Ｄマージ候補は、前記１つ以上の３Ｄ有効フラグで有効にされている、ステップ、及び、
前記３Ｄマージリストに基づいたマージモードを用いて前記現在のブロックを符号化または復号化するステップを含む方法。

【請求項2】

前記ベースビューのマージのリストの前記ベースビューリストのサイズは、ビットストリームでシグナリングされる請求項１に記載の方法。

【請求項3】

前記追加候補数は、前記１つ以上の３Ｄ有効フラグのいずれかが１の値を有する場合、１に設定される請求項１に記載の方法。

【請求項4】

前記３Ｄマージリストの前記変更されたリストのサイズは、前記追加候補数と、前記ベースビューのマージリストの前記ベースビューのリストのサイズとの総和に対応する請求項１に記載の方法。

【請求項5】

前記３Ｄマージリストの前記変更されたリストのサイズは、前記追加候補数と、前記ベースビューのマージリストの前記ベースビューのリストのサイズとの総和に対応する請求項１に記載の方法。

【請求項6】

前記３Ｄマージリストは、各符号化ツリーユニット（ＣＴＵ）、最大符号化ユニット（ＬＣＵ）、予測ユニット（ＰＵ）、符号化ユニット（ＣＵ）、スライス、画像、層、ビュー、またはシーケンス用に、更新される請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１４年１０月９日に出願された米国特許仮出願番号第６２／０６１８３４号からの優先権を主張するものであり、これらの全ては引用によって本願に援用される。

【0002】

本発明は、３次元（３Ｄ）および多視点映像符号化に関し、特に、テクスチャデータと深度データの視点合成予測（Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ； ＶＳＰ）を含む３次元符号化のマージ候補リストの導出に関するものである。

【背景技術】

【0003】

３次元（３Ｄ）テレビは、視聴者のセンセーショナルな視聴体験をもたらすことを目的とする、近年の技術である。様々な技術が３Ｄ視聴を可能にするように開発されてきた。その中でも、多視点映像は、３ＤＴＶアプリケーションの中でも鍵となる技術である。従来の映像は、カメラの視点から視聴者に単一のビューのみのシーンを提供する、２次元の（２Ｄ）媒体である。しかしながら、多視点映像符号化は、任意の視点の動的シーンを提供し、視聴者に臨場感を体感させることができる。

【0004】

多視点映像は、通常、同時に複数のカメラを用いてシーンをキャプチャすることによって作られ、複数のカメラは、各カメラが１つの視点からシーンをキャプチャするように、適切に配置される。従って、多数のカメラは、多視点に対応して複数のビデオシーケンスをキャプチャする。より多くの視点を提供するために、より多くのカメラが、視点と関連した大量のビデオシーケンスの多視点映像を生成するように用いられてきた。従って、多視点影像は、保存するための大量の記憶容量および／または伝送するための高帯域幅を必要とする。従って、必要な記憶容量または伝送帯域幅を減少する領域において、多視点影像符号化の技術が開発されている。

【0005】

３Ｄ映像符号化標準化（３Ｄ−ＨＥＶＣ）または多視点映像符号化に準拠した高効率映像符号化（ＨＥＶＣ）では、ベース符号器（ｂａｓｅ ｃｏｄｅｒ）を用いてテクスチャの独立ベースビュー（ｂａｓｅ−ｖｉｅｗ）が符号化される。ベース符号器は、ビデオシーケンス用の標準化ＨＥＶＣ符号器などの一般の影像符号器（ｖｉｄｅｏ ｃｏｄｅｒ）に対応している。一方、深度マップおよび従属ビュー（ｄｅｐｅｎｄｅｎｔ ｖｉｅｗ）のテクスチャは、３Ｄ−ＨＥＶＣ符号器など、３Ｄ強化符号器（ｅｎｈａｎｃｅｍｅｎｔ ｃｏｄｅｒ）を用いて符号化され、テクスチャの符号化された独立ベースビュー（ｃｏｄｅｄ ｉｎｄｅｐｅｎｄｅｎｔ ｂａｓｅ−ｖｉｅｗ）を用いている。

【0006】

３Ｄ映像化符号では、インター予測と関連した予測（即ち、時間予測）および視点間予測は、関連する動き情報、例えば、動きベクトル（ＭＶ）、インター符号化の参照ピクチャインデックスと参照ピクチャリスト、およびビュー間予測の視差ベクトル（ＤＶ）の動き情報のシグナリングを必要とする可能性がある。動き情報を効果的にシグナリングするために、マージモード（Ｍｅｒｇｅ ｍｏｄｅ）と称される符号化モードが用いられてきた。マージモードでは、マージ候補リストが生成される。マージ候補がリストから選択された場合、符号化または復号化された現在のブロックの動き情報は、選択されたマージ候補と同じ動き情報を有する。選択されたマージ候補のマージインデックスは、符号器側でシグナリングされ、複合器側で解析される。

【0007】

JCT3V-I1003 (Chen, et al., “Test Model 9 of 3D-HEVC and MV-HEVC”, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th Meeting: Sapporo, JP, 3-9 July 2014, Document: JCT3V-I1003)に述べられているように、３Ｄ−ＨＥＶＣでは、従属ビューのテクスチャと深度のマージ候補は、表１に示される。イタリック体のフォントで示されたマージ候補は、ベースビューテクスチャデータに用いられるマージ候補である他、３Ｄ−ＨＥＶＣ候補リストにある追加（ｅｘｔｒａ）のマージ候補（追加の３Ｄ候補とも称される）でもある。

【0008】

【表1】

【0009】

表１では、ベースビューテクスチャビデオデータのマージ候補は、５つの空間マージ候補（Ａ０、Ａ１、Ｂ０、Ｂ１、およびＢ２）、および１つの時間マージ候補を含む。５つの空間マージ候補は、空間隣接ブロックから導出されたものであり、ブロックの位置は、図１Ａに示されている。時間マージ候補Ｔ０は、図１Ｂに示されている。空間マージ候補および時間マージ候補は、従来のＨＥＶＣ（非３Ｄ（ｎｏｎ−３Ｄ）−ＨＥＶＣとも称される）および３Ｄ−ＨＥＶＣにも用いられる。

【0010】

表１では、ＭＰＩは、動きパラメータ継承（ＭＰＩ）のマージ候補を示している。この場合、深度ブロックは、その対応するテクスチャブロックの動き特性を継承する。ＤＤＤは、視差導出深度（ｄｉｓｐａｒｉｔｙ ｄｅｒｉｖｅｄ ｄｅｐｔｈ； ＤＤＤ）符号化に基づいて導出されたマージ候補を示しており、インター符号化された測定ユニット（ＰＵ）に用いられる。従って、深度値は、その対応する視差ベクトルから導出されることができる。一方、ＤＶは、視差ベクトル（ＤＶ）に基づいたマージ候補に対応し、ＩＶＭＰは、ビュー間動き予測から導出されたマージ候補を示している。また、シフトされたＩＶＭＰおよびＤＶは、マージリストに含まれることもできる。候補は、優先順序に従ってマージリスト内に挿入される。マージリストのサイズが最大値に達したとき、マージリストは一杯になり、それ以上の候補が挿入されない。表１にリストされた候補は、上から下まで優先順序に従っている。例えば、ＩＶＭＰ候補は、ＩＶＭＰ候補が存在する場合、まずテクスチャマージリストに加えられる。候補Ａ１が存在する場合、候補Ａ１は、ＩＶＭＰ候補の後に挿入される。同様に、候補Ｂ１が存在する場合、候補Ｂ１は、候補Ａ１の後に挿入される、などである。

【0011】

複雑さを減少するために、８×４と４×８のブロックサイズを有する予測ユニット（ＰＵ）に対して、視点合成予測（ＶＳＰ）継承の他、３Ｄ−ＨＥＶＣマージ候補（即ち、表１の追加の候補）が除去される。８×８より大きい、または８×８と等しい予測ユニットを有する３Ｄ−ＨＥＶＣテクスチャ／深度、およびドラフト３Ｄ−ＨＥＶＣ標準バージョン１１．０にある８×４／４×８の予測ユニットを有する３Ｄ−ＨＥＶＣテクスチャのＨＥＶＣのマージ候補セットが、表２に説明される。表２に示されるように、双予測（結合双（ｃｏｍｂｉｎｅｄ−Ｂｉ））候補およびゼロ値ベクトル（ゼロ）候補も用いられる。ＶＳＰ継承候補は、ＶＳＰ符号化されたマージ済み候補に対応する。

【0012】

【表2】

【0013】

従って、現在の３Ｄ−ＨＥＶＣでは、４つの異なるマージ候補セットがある。
１． ８×４または４×８と等しいＰＵのサイズを有する独立ビューテクスチャおよび深度マップ： テクスチャと深度データのＨＥＶＣ候補セット
２． ８×８と等しいまたは８×８より大きいＰＵのサイズを有する独立ビューテクスチャと深度マップ： テクスチャデータのＨＥＶＣ候補セットおよび深度データの３Ｄ−ＨＥＶＣ候補セット
３． ８×８と等しいまたは８×８より大きいＰＵのサイズを有する従属ビューテクスチャと深度マップ： テクスチャと深度データの３Ｄ−ＨＥＶＣ候補セット
４． ８×４または４×８と等しいＰＵのサイズを有する従属ビューテクスチャと深度マップ： テクスチャデータのＨＥＶＣ候補セット＋ＶＳＰ継承、および深度データのＨＥＶＣ候補セット

【0014】

ドラフト３Ｄ−ＨＥＶＣ標準バージョン１１．０にあるマージ候補セットの分類が、表３に説明される。

【0015】

【表3】

【0016】

現在の３Ｄ−ＨＥＶＣ仕様では、ビデオパラメータセット拡張２（ＶＰＳ＿ｅｘｔｅｎｓｉｏｎ２）では３つの制御フラグを有し、以下のように、これらの追加の候補のオン／オフを制御する：
iv_mv_pred_flag： ＩＶＭＰ、 ＤＶ、 シフトＩＶＭＰ、 およびシフトＤＶ候補
mpi_flag： ＭＰＩ候補およびＤＤＤ候補のオン／オフを制御する
view_synthesis_pred_flag： ＶＳＰ制御のオン／オフを制御する

【0017】

現有の３Ｄ−ＨＥＶＣの実行では、３Ｄマージ候補有効フラグは、ビデオパラメータセット（ＶＰＳ）でシグナリングされる。現有の３Ｄ−ＨＥＶＣに基づいたＶＰＳ＿ｅｘｔｅｎｓｉｏｎ２は、表４に示される。ＶＰＳと関連したテクスチャと深度データは、３Ｄマージ候補有効フラグに基づいた各３Ｄマージ候補を有効にする。これらの有効な３Ｄマージ候補は、優先順序に従って、マージリスト内に挿入されることができる。

【0018】

【表4】

【0019】

表４では、iv_mv_pred_flag[layerId] （Note（４−１）に示されるように）は、ビュー間動きパラメータ予測がlayerIdと等しいnuh_layer_idを有する層の符号化プロセスに用いられるかどうかを示している。０と等しいiv_mv_pred_flag[layerId]は、ビュー間動きパラメータ予測がlayerIdと等しいnuh_layer_idを有する層に用いられないことを明示している。１と等しいiv_mv_pred_flag[layerId]は、ビュー間動きパラメータ予測が、layerIdと等しいnuh_layer_idを有する層に用いられる可能性があることを示している。存在しない場合には、iv_mv_pred_flag[layerId]の値は、０と等しいと推定される。NumDirectRefLayers[layerId]が０と等しい場合には、iv_mv_pred_flag[layerId]の値は０と等しい。

【0020】

表４では、０と等しいview_synthesis_pred_flag[layerId]（Note（４−２）に示されるように）は、０視点合成予測マージ候補がlayerIdと等しいnuh_layer_idを有する層に用いられないことを明示している。 １と等しいview_synthesis_pred_flag[layerId]は、視点合成予測マージ候補がlayerIdと等しいnuh_layer_idを有する層に用いられる可能性があることを明示している。存在しない場合には、view_synthesis_pred_flag[layerId]の値は０と等しいと推定される。NumDirectRefLayers[layerId]が０と等しい場合には、view_synthesis_pred_flag[ layerId ] の値は０と等しい。

【0021】

表４では、０と等しいmpi_flag[ layerId ] （Note（４−３）に示されるように）は、動きパラメータ継承がlayerIdと等しいnuh_layer_idを有する層に用いられないことを明示している。１と等しいmpi_flag[ layerId]は、動きパラメータ継承がlayerIdと等しいnuh_layer_idを有する層に用いられる可能性があることを明示している。存在しない場合には、mpi_flag[layerId]の値は０と等しいと推定される。

【0022】

マージ候補リストのサイズは、構文要素、five_minus_max_num_merge_candを用いてビットストリームでシグナリングされ、５から減算されたスライスに支持されたマージＭＶＰ候補の最大数の値を明示している。追加のマージ候補の数を表す、変数NumExtraMergeCandは、以下のように導出される：NumExtraMergeCand = iv_mv_pred_flag[nuh_layer_id] | | mpi_flag[nuh_layer_id]

【0023】

この技術分野ではよく知られているように、“| |” 符号は、論理“OR”演算を表している。言い換えれば、iv_mv_pred_flag[nuh_layer_id]とmpi_flag[nuh_layer_id]のいずれかが１の値を有する場合、NumExtraMergeCandは、１と等しい。マージＭＶＰ候補の最大数、MaxNumMergeCand は、以下のように導出される：
MaxNumMergeCand = 5-five_minus_max_num_merge_cand+NumExtraMergeCand,
その中の、MaxNumMergeCandの値の範囲は、１〜（５＋NumExtraMergeCand）の間である。

【0024】

現有の３Ｄ−ＨＥＶＣ使用に基づいて、候補リストのサイズは、１増加され、より多くのマージ候補がマージリストに含まれるようにさせる。例えば、ベースビューの候補リストのサイズが５であるとき、独立テクスチャビューと深度マップの候補リストのサイズは、６である。候補リストを１で増加させるかどうかは、３Ｄマージ候補有効フラグ、iv_mv_pred_flag と mpi_flagによってのみ決まる。

【発明の概要】

【発明が解決しようとする課題】

【0025】

３次元（３Ｄ）もしくは多視点映像符号化または復号化の方法を提供する。

【課題を解決するための手段】

【0026】

１つ以上の３Ｄ有効フラグに基づいて、変更されたリストのサイズを有するマージモードを用いた独立ビューテクスチャまたは独立／ベースビュー深度データの３次元（３Ｄ）および多視点映像符号化または復号化の方法および装置が提供される。視点合成予測（ＶＳＰ）フラグを含む１つ以上の３Ｄ有効フラグに基づいて、現在のブロックの１つ以上の追加のマージ候補に関連した追加候補数が決定される。ＶＳＰフラグは、視点合成予測が現在のブロックに対して有効にされるかどうかを示している。追加候補数と元のリストのサイズの総和に対応した３Ｄマージリストの変更されたリストのサイズが決定される。元のリストのサイズは、ベースビューのマージのリストのベースビューリストのサイズ、デフォルトのサイズ、または伝送されたサイズに対応する。変更されたリストのサイズを有する３Ｄマージリストは、次いで、優先順序に従って、ベースビューのビデオデータのベースビューのマージのリストを導出するように用いられた元のマージ候補と、３Ｄ有効フラグで有効にされた１つ以上の３Ｄマージ候補に基づいて決定される。次いで現在のブロックは、導出された３Ｄマージリストに基づいたマージモードを用いて符号化または復号化される。

【0027】

ベースビューのマージのリストのベースビューリストのサイズは、ビットストリームでシグナリングされることができる。１つの実施形態では、追加候補数は、３Ｄ有効フラグのいずれかが１の値を有する場合、１に設定される。もう１つの実施形態では、追加候補数は、ＶＳＰフラグ、ビュー間動き予測（ＩＶＭＰ）フラグ、および動きパラメータ継承（ＭＰＩ）フラグのいずれかかが１の場合、１に設定される。もう１つの実施形態では、追加候補数は、１と等しい値を有する３Ｄ有効フラグの総数に設定される。例えば、追加候補数は、ＶＳＰフラグ、ＩＶＭＰフラグ、およびＭＰＩフラグの値の和に設定されることができる。１つの実施形態では、追加候補数は、ＶＳＰフラグが１の場合、１に設定されるか、または１増加される。

【0028】

３Ｄマージリストは、各符号化ツリーユニット（ＣＴＵ）、最大符号化ユニット（ＬＣＵ）、予測ユニット（ＰＵ）、符号化ユニット（ＣＵ）、スライス、画像、層、ビュー、またはシーケンス用に、更新されることができる。

【0029】

もう１つの実施形態では、追加候補数は、現在のブロックの１つ以上の３Ｄ有効フラグによって有効にされた１つ以上の３Ｄマージ候補に基づいて決定される。例えば、追加候補数は、３Ｄマージ候補のいずれかが３Ｄ有効フラグによって有効にされる場合、１に設定されることができる。追加候補数は、３Ｄ有効フラグによって有効にされた３Ｄマージ候補の総数に設定されることができる。

【0030】

またもう１つの実施形態では、追加候補数は、予測ユニット（ＰＵ）レベルで決定される。特に、追加候補数は、非３Ｄマージ候補のみが、または非３Ｄマージ候補と視点合成予測（ＶＳＰ）継承候補のみが、現在の予測ユニットに用いられるかどうかに基づいて決定される。例えば、現在の予測ユニットの追加候補数は、非３Ｄマージ候補のみが現在の予測ユニットに用いられる場合、ゼロに設定される。もう１つの例では、現在の予測ユニットの追加候補数は、非３Ｄマージ候補とＶＳＰ継承候補のみが、現在の予測ユニットに用いられる場合、ゼロに設定される。

【図面の簡単な説明】

【0031】

【図1A】ベースビューテクスチャデータのマージ候補を導出する現在のブロックの各空間隣接ブロックおよび時間隣接ブロックを示している。

【図1B】ベースビューテクスチャデータのマージ候補を導出する現在のブロックの各空間隣接ブロックおよび時間隣接ブロックを示している。

【図2】本発明の実施形態に係る、変更されたリストのサイズを有する３Ｄマージリストを含む従属ビューテクスチャまたは深度データの３次元（３Ｄ）と多視点映像符号化の例示的なフローチャートを示している。

【発明を実施するための形態】

【0032】

以下の説明は、本発明の一般原理を例示する目的のためのもので本発明を限定するものではない。

【0033】

従来の３Ｄ−ＨＥＶＣでは、候補リストのサイズを増加させて追加の候補を含むかどうかに関する決定をする過程において、view_synthesis_pred_flagは考慮されない。候補リストを増加させるかどうかに関する決定のためにview_synthesis_pred_flagを含むことは、更なる設計の柔軟性を提供し、符号化の性能を向上させることができる。従って、本発明の実施形態は、従属ビューテクスチャと深度マップのマージ候補リストのサイズを導出するときにview_synthesis_pred_flagを考慮する。

【0034】

＜実施形態１＞
この実施形態に基づいて、変数NumExtraMergeCand （ “extra-candidate-number”とも称される）とマージＭＶＰ候補の最大数（即ち、MaxNumMergeCand）は以下のように導出される：
NumExtraMergeCand = iv_mv_pred_flag[nuh_layer_id] | | mpi_flag[nuh_layer_id]
|| view_synthesis_pred_flag[nuh_layer_id];
MaxNumMergeCand = 5 - five_minus_max_num_merge_cand + NumExtraMergeCand.

【0035】

iv_mv_pred_flag、mpi_flag、view_synthesis_pred_flagを含む任意の３Ｄ有効フラグが真（ｔｒｕｅ）である場合、NumExtramergeCandは、１に設定される。従属ビューテクスチャまたは深度マップのマージ候補リストのサイズは、１増加される。３つの３Ｄ有効フラグ（即ち、the iv_mv_pred_flag, mpi_flag, view_synthesis_pred_flag）が例として用いられるが、他の３Ｄ有効フラグも用いられることができる。前述のように、元のリストのサイズの他、変数NumExtraMergeCandは、従属ビューの符号化孤立ビューテクスチャデータ、またはベースビューと従属ビューの両方にある深度データで有効な追加のマージ候補の数を表している。元のリストのサイズは、一般のビデオデータの従来のＨＥＶＣ標準のような一般の符号化システムに基づいて、ベースビューテクスチャデータのマージリストのサイズに対応することができ、ベースビューテクスチャデータのマージリストのサイズは、ビットストリームでシグナリングされる。元のリストのサイズは、デフォルトのマージリストのサイズまたは伝送されたマージリストのサイズに対応することもできる。実施形態１に述べられた元のリストのサイズは、本発明のもう１つの実施形態に応用されることもできる。

【0036】

＜実施形態２＞
この実施形態に基づいて、変数NumExtraMergeCandとマージＭＶＰ候補の最大数（即ち、MaxNumMergeCand）は以下のように導出される：
NumExtraMergeCand = iv_mv_pred_flag[nuh_layer_id] + mpi_flag[nuh_layer_id]
+ view_synthesis_pred_flag[nuh_layer_id];
MaxNumMergeCand = 5 - five_minus_max_num_merge_cand + NumExtraMergeCand.

【0037】

上述に示されるように、NumExtraMergeCandは、iv_mv_pred_flag[ nuh_layer_id ], mpi_flag[ nuh_layer_id ] および view_synthesis_pred_flag[ nuh_layer_id ]の値の総和と等しい。各フラグは、０または１の値を有するため、NumExtraMergeCandは、１の値を有する３Ｄ有効フラグの数に対応する。従属ビューテクスチャまたは深度マップのマージ候補リストのサイズは、NumExtramergeCandを加えたベースビューのマージ候補リストのサイズとして導出される。３つの３Ｄ有効フラグ（即ち、the iv_mv_pred_flag, mpi_flag, view_synthesis_pred_flag）が例として用いられるが、他の３Ｄ有効フラグも用いられることができる。

【0038】

＜実施形態３＞
この実施形態に基づいて、現在のスライスまたは画像にあるＶＳＰ候補が有効にされる場合、変数NumExtraMergeCandは、１に設定される。従属ビューテクスチャまたは深度マップのマージ候補リストのサイズは、NumExtramergeCandを加えたベースビューのマージ候補リストのサイズとして導出される。マージＭＶＰ候補の最大数、MaxNumMergeCandは以下のように導出される：
MaxNumMergeCand = 5 - five_minus_max_num_merge_cand + NumExtraMergeCand.

【0039】

＜実施形態４＞
この実施形態に基づいて、現在のスライスまたは画像にあるＶＳＰ候補が有効にされる場合、変数NumExtraMergeCandは、１増加される。例えば、変数NumExtraMergeCandの初期値は、まず、view_synthesis_pred_flagの考慮なく、決定されることができ、次いで、ＶＳＰ候補が、view_synthesis_pred_flagで有効にされた場合、１増加される。従属ビューテクスチャおよび深度マップのマージ候補リストのサイズは、NumExtramergeCandを加えたベースビューのマージ候補リストのサイズとして導出される。マージＭＶＰ候補の最大数、MaxNumMergeCandは以下のように導出される：
MaxNumMergeCand = 5 - five_minus_max_num_merge_cand + NumExtraMergeCand.

【0040】

＜実施形態５＞
この実施形態に基づいて、変数NumExtraMergeCandは、現在のスライスまたは画像の各々の３Ｄ有効フラグで有効にされる、利用可能な追加の候補（例えば、ＩＶＭＰ、 ＤＶ、 シフトＩＶＭＰ、 シフトＤＶ候補、ＭＰＩ候補、ＤＤＤ候補、およびＶＳＰ候補）の総数として導出される。 従属ビューテクスチャおよび深度マップのマージ候補リストのサイズは、NumExtramergeCandを加えたベースビューのマージ候補リストのサイズとして導出される。マージＭＶＰ候補の最大数、MaxNumMergeCandは以下のように導出される：
MaxNumMergeCand = 5 - five_minus_max_num_merge_cand + NumExtraMergeCand.

【0041】

＜実施形態６＞
この実施形態に基づいて、変数NumExtraMergeCandは、追加の候補のいずれか１つが現在のスライスまたは画像の各々の３Ｄ有効フラグで有効にされる場合、１に設定される。追加の候補は、ＩＶＭＰ、 ＤＶ、 シフトＩＶＭＰ、 シフトＤＶ候補、ＭＰＩ候補、ＤＤＤ候補、およびＶＳＰ候補を含むことができる。有効にされない場合、変数NumExtraMergeCandは、０に設定される。従属ビューテクスチャおよび深度マップのマージ候補リストのサイズは、NumExtramergeCandを加えたベースビューのマージ候補リストのサイズとして導出される。マージＭＶＰ候補の最大数、MaxNumMergeCandは以下のように導出される：
MaxNumMergeCand = 5 - five_minus_max_num_merge_cand + NumExtraMergeCand.

【0042】

＜実施形態７＞
この実施形態に基づいて、変数NumExtraMergeCandは、ＰＵ−ａｄａｐｔｉｖｅである。各ＰＵでは、ＨＥＶＣマージ用候補などの非３Ｄマージ候補のみが用いられる場合、NumExtraMergeCandisは、ゼロに設定される。さもなければ、変数NumExtraMergeCandは、前に提案された方法のいずれかに基づいて決定される。各ＰＵでは、マージＭＶＰ候補の最大数、MaxNumMergeCand は、以下のように導出される：
MaxNumMergeCand = 5 - five_minus_max_num_merge_cand + NumExtraMergeCand.

【0043】

＜実施形態８＞
この実施形態に基づいて、変数NumExtraMergeCandは、ＰＵ−ａｄａｐｔｉｖｅである。各ＰＵでは、非３Ｄマージ候補とＶＳＰ継承候補のみが用いられる場合、NumExtraMergeCandisは、ゼロに設定される。ＶＳＰ継承候補は、ＶＳＰ符号化されたマージ済み候補に対応する。従って、現在のブロックは、マージ済み隣接ブロックから動き情報（即ち、ＶＳＰ）を継承する。さもなければ、変数NumExtraMergeCandは、前に提案された方法のいずれかに基づいて決定される。各ＰＵでは、マージＭＶＰ候補の最大数、MaxNumMergeCand は、以下のように導出される：
MaxNumMergeCand = 5 - five_minus_max_num_merge_cand + NumExtraMergeCand.

【0044】

上述の実施形態では、３Ｄマージリストは、各符号化ツリーユニット（ＣＴＵ）、最大符号化ユニット（ＬＣＵ）、予測ユニット（ＰＵ）、符号化ユニット（ＣＵ）、スライス、画像、層、ビュー、またはシーケンス用に、更新されることができる。

【0045】

図２は、本発明の実施形態に係る、変更されたリストのサイズを有する３Ｄマージリストを含む従属ビューテクスチャまたは深度データの３次元（３Ｄ）と多視点映像符号化の例示的なフローチャートを示している。ステップ２１０に示されるように、従属ビューのテクスチャデータ、または従属ビューもしくはベースビューの深度データに対し、前記システムは、現在のブロックに関連した入力データを受信する。符号化では、入力データは、符号化される従属ビューのテクスチャデータ、または、従属ビューもしくはベースビューの深度データに対応する。復号化では、入力データは、符号化される従属ビューの符号化されたテクスチャデータ、または、従属ビューもしくはベースビューの符号化された深度データに対応する。入力データは、メモリ（例えば、コンピュータメモリ、緩衝器（ＲＡＭまたはＤＲＡＭ）、または他の媒体）から、または、プロセッサから得られることができる。ステップ２２０では、視点合成予測（ＶＳＰ）フラグを含む１つ以上の３Ｄ有効フラグに基づいて、現在のブロックの１つ以上の追加のマージ候補に関連した追加候補数が決定される。ＶＳＰフラグは、視点合成予測が現在のブロック用に有効にされるかどうかを示している。ステップ２３０では、追加候補数と元のリストのサイズの総和に対応した３Ｄマージリストの変更されたリストのサイズが決定される。元のリストのサイズは、ベースビューのマージのリストのベースビューリストのサイズ、デフォルトのサイズ、または伝送されたサイズに対応する。ステップ２４０では、変更されたリストのサイズを有する３Ｄマージリストは、優先順序に従って、ベースビューのビデオデータのベースビューのマージのリストを導出するように用いられた元のマージ候補と、上述の１つ以上の３Ｄ有効フラグで有効にされた１つ以上の３Ｄマージ候補に基づいて導出される。次いで現在のブロックは、３Ｄマージリストに基づいたマージモードを用いて符号化または復号化される。

【0046】

上述のフローチャートは、本発明の実施形態に係る、3次元（3D）又はマルチビュー映像符号化もしくは復号化を例示するものである。当業者は、本発明の趣旨から逸脱することなく、各ステップを変更、再構成、分割、または組合せを行うことができる。

【0047】

上述の説明は、特定のアプリケーションおよびその要求の文脈に提供されるように、当業者が本発明を実行できるように示している。本願発明に関する種々の変更は、当業者には明らかであり、ここに定義される一般原理は、他の実施形態に用いられ得る。従って、本発明は、ここで述べられた特定の実施形態を限定することを意図するものではなく、ここで述べられる原理および新しい特徴を包括する最も広い範囲を付与されるものとする。上述の詳細の説明では、各種の特定の詳細が本発明の完全な理解を提供するために述べられる。しかしながら、本発明を実施され得る当業者には理解できるであろう。

【0048】

上述の本発明の実施形態は、さまざまなハードウェア、ソフトウェアコード、またはその組み合わせに行われることができる。例えば、本発明の実施形態は、ここに述べられる処理を行う、画像圧縮チップ内に統合された回路、または画像圧縮ソフトウェア内に統合されたプログラムコードであることができる。本発明の実施形態は、ここで述べられる処理を行う、デジタル信号プロセッサ（ＤＳＰ）で実行されるプログラムコードでもよい。本発明は、コンピュータプロセッサ、デジタル信号プロセッサ、マイクロプロセッサ、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）によって行なわれるいくつかの機能も含むことができる。これらのプロセッサは、発明で実現される特定の方法を定める機械読み取り可能なソフトウェアコードまたはファームウェアコードを実行することによって、発明に応じて特定のタスクを行うように構成されることができる。ソフトウェアコードまたはファームウェアコードは、異なるプログラミング言語と異なるフォーマットまたはスタイルで開発されることができる。ソフトウェアコードは、異なるターゲットプラットホーム用にコンパイルされてもよい。しかしながら、ソフトウェアコードの異なるコードフォーマット、スタイルと、言語、および本発明に応じてタスクを行うコードを設定する他の手段は、本発明の思想および範囲を逸脱しない。

【0049】

本発明は、その思想と基本的な特徴から逸脱することなく他の特定のフォームに統合され得る。上述の実施例は、本明細中に記述される発明を限定するものでなく、あらゆる局面において例示的であると考えられる。

【符号の説明】

【0050】

Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２…空間マージ候補

【図1A】

【図1B】

【図2】