特許 5770277 インターモード、スキップモード及びマージモードについて動きベクトル／動きベクトルの予測子の候補を導出する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5770277

(24)【登録日】2015年7月3日

(45)【発行日】2015年8月26日

(54)【発明の名称】インターモード、スキップモード及びマージモードについて動きベクトル／動きベクトルの予測子の候補を導出する方法及び装置

(51)【国際特許分類】

   H04N 19/52 20140101AFI20150806BHJP

【ＦＩ】

   H04N19/52

【請求項の数】20

【全頁数】14

(21)【出願番号】特願2013-516991(P2013-516991)

(86)(22)【出願日】2011年10月13日

(65)【公表番号】特表2013-529878(P2013-529878A)

(43)【公表日】2013年7月22日

(86)【国際出願番号】CN2011080736

(87)【国際公開番号】WO2012071949

(87)【国際公開日】20120607

【審査請求日】2012年12月27日

(31)【優先権主張番号】61/417,798

(32)【優先日】2010年11月29日

(33)【優先権主張国】US

(31)【優先権主張番号】61/431,454

(32)【優先日】2011年1月11日

(33)【優先権主張国】US

(31)【優先権主張番号】61/452,541

(32)【優先日】2011年3月14日

(33)【優先権主張国】US

(31)【優先権主張番号】13/089,233

(32)【優先日】2011年4月18日

(33)【優先権主張国】US

(31)【優先権主張番号】13/206,891

(32)【優先日】2011年8月10日

(33)【優先権主張国】US

【前置審査】

(73)【特許権者】

【識別番号】504146800

【氏名又は名称】メディアテック インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】リン，ジァン−リァン

(72)【発明者】

【氏名】ツァイ，ユ−パオ

(72)【発明者】

【氏名】チェン，イ−ウェン

(72)【発明者】

【氏名】ファン，ユ−ウェン

(72)【発明者】

【氏名】レイ，シャウ−ミン

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 特開２００８−２８３４９０（ＪＰ，Ａ）

【文献】 特開２０１０−０１６４５４（ＪＰ，Ａ）

【文献】 国際公開第２０１０／００１０４５（ＷＯ，Ａ１）

【文献】 特表２０１０−５１６１５８（ＪＰ，Ａ）

【文献】 国際公開第２００９／１１５９０１（ＷＯ，Ａ１）

【文献】 Jian-Liang Lin, et al.，Improved Advanced Motion Vector Prediction，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 4th Meeting: Daegu, KR，２０１１年 １月２３日，[JCTVC-D125]，pp.1-8，ＵＲＬ，http://phenix.int-evry.fr/jct/

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

インターモード、マージモード又はスキップモードにおいて、現在のピクチャの現在のブロックの動きベクトルについて、ビデオ符号化／復号化装置がＭＶＰ（動きベクトルの予測子）を導出する方法であって、
前記動きベクトルは、前記現在のブロックと、所与の参照リストにおけるターゲット参照ピクチャの中で前記現在のブロックとマッチするブロックとに関連しており、
当該方法は、
時間的なＭＶＰを導出するための同一場所に位置する参照ブロックが少なくとも一つ見つかるまで、１つ以上の同一場所に位置する参照ブロックを前記ビデオ符号化／復号化装置が探索する段階であり、前記１つ以上の同一場所に位置する参照ブロックのうち一つが同一場所に位置するブロックの右下の隣接ブロックからのものである、段階と、
前記１つ以上の同一場所に位置する参照ブロックに関する動き情報を抽出することにより、前記１つ以上の同一場所に位置する参照ブロックに関連する１以上の参照の動きベクトルを前記ビデオ符号化／復号化装置が取得する段階と、
前記１以上の参照の動きベクトルに基づいて、前記現在のブロックについて前記ＭＶＰを前記ビデオ符号化／復号化装置が決定する段階であり、前記右下の隣接ブロックが候補のブロックとして選択された場合に、前記右下の隣接ブロックのうち一つの参照の動きベクトルが前記ＭＶＰとして使用される、段階と、
前記現在のブロックについて前記ＭＶＰを前記ビデオ符号化／復号化装置が提供する段階と、
を含む方法。

【請求項2】

前記同一場所に位置するブロックの右下の隣接ブロックからのものである前記１つ以上の同一場所に位置する参照ブロックのうち一つは、前記同一場所に位置するブロックの前記右下の隣接ブロックの左上の参照ブロックである、
請求項１記載の方法。

【請求項3】

前記１以上の同一場所に位置する参照ブロックは、前記同一場所に位置するブロックの内側の参照ブロックを更に含む、
請求項１記載の方法。

【請求項4】

前記内側の参照ブロックは、前記同一場所に位置するブロックの中央の参照ブロックである、
請求項３記載の方法。

【請求項5】

前記１以上の同一場所に位置する参照ブロックは、前記同一場所に位置するブロックの右の隣接ブロックのうちの最も左にある参照ブロック、前記同一場所に位置するブロックの下の隣接ブロックのうちの上の参照ブロックを更に含む、
請求項４記載の方法。

【請求項6】

前記内側の参照ブロックは、前記同一場所に位置するブロックの左上の参照ブロックであり、
前記１以上の同一場所に位置する参照ブロックは、前記同一場所に位置するブロックの右の隣接ブロックのうちの最も左にある参照ブロック、又は前記同一場所に位置するブロックの下の隣接ブロックのうちの上の参照ブロックを更に含む、
請求項３記載の方法。

【請求項7】

前記同一場所に位置するブロックの前記右下の隣接ブロックの第一の参照ブロックは、前記インターモード又は前記スキップモードにおいて前記ＭＶＰを決定するために使用され、
前記同一場所に位置するブロックの前記右下の隣接ブロックの前記第一の参照ブロックとは異なる前記１以上の同一場所に位置する参照ブロックのうちの１つは、前記マージモード又は前記スキップモードにおいて前記ＭＶＰを決定するために使用される、
請求項１記載の方法。

【請求項8】

前記ＭＶＰを決定する段階は、前記同一場所に位置するブロックの前記右下の隣接ブロックの第一の参照ブロックに関連する前記１以上の参照の動きベクトルに基づいて前記ＭＶＰを決定する前記段階が前記ＭＶＰを発見しない場合、前記同一場所に位置するブロックの前記右下の隣接ブロックの前記第一の参照ブロックとは異なる前記１以上の同一場所に位置する参照ブロックに関連する前記１以上の参照の動きベクトルに基づく、
請求項１記載の方法。

【請求項9】

前記導出された時間的なＭＶＰが前記現在のブロックの隣接ブロックから導出された以前のＭＶＰと同じである場合、前記時間的なＭＶＰを導出するための同一場所に位置する参照ブロックを前記探索する段階は、前記時間的なＭＶＰは無視され、前記ＭＶＰの探索が継続される、
請求項１記載の方法。

【請求項10】

前記１以上の参照の動きベクトルに基づいて前記ＭＶＰを決定する前記段階は、サーチスキームに対応しており、前記サーチスキームは、前記インターモード、前記スキップモード及び前記マージモードからなるグループから選択された予測モードに依存して選択される、
請求項１記載の方法。

【請求項11】

インターモード、マージモード又はスキップモードにおいて、現在のピクチャの現在のブロックの動きベクトルについて、ＭＶＰ（動きベクトルの予測子）を導出するビデオ符号化／復号化装置であって、
前記動きベクトルは、前記現在のブロックと、所与の参照リストにおけるターゲット参照ピクチャの中で前記現在のブロックとマッチするブロックとに関連しており、
当該装置は、
時間的なＭＶＰを導出するための同一場所に位置する参照ブロックが少なくとも一つ見つかるまで、１つ以上の同一場所に位置する参照ブロックを前記ビデオ符号化／復号化装置が探索する手段であり、前記１つ以上の同一場所に位置する参照ブロックのうち一つが同一場所に位置するブロックの右下の隣接ブロックからのものである、手段と、
前記１つ以上の同一場所に位置する参照ブロックに関する動き情報を抽出することにより、前記１つ以上の同一場所に位置する参照ブロックに関連する１以上の参照の動きベクトルを前記ビデオ符号化／復号化装置が取得する手段と、
前記１以上の参照の動きベクトルに基づいて、前記現在のブロックについて前記ＭＶＰを前記ビデオ符号化／復号化装置が決定する手段であり、前記右下の隣接ブロックが候補のブロックとして選択された場合に、前記右下の隣接ブロックのうち一つの参照の動きベクトルが前記ＭＶＰとして使用される、手段と、
前記現在のブロックについて前記ＭＶＰを前記ビデオ符号化／復号化装置が提供する手段と、
を含む装置。

【請求項12】

前記同一場所に位置するブロックの右下の隣接ブロックからのものである前記１つ以上の同一場所に位置する参照ブロックのうち一つは、前記同一場所に位置するブロックの前記右下の隣接ブロックのうちの左上の参照ブロックである、
請求項１１記載の装置。

【請求項13】

前記１以上の同一場所に位置するブロックは、前記同一場所に位置するブロックの内側の参照ブロックを更に含む、
請求項１１記載の装置。

【請求項14】

前記内側の参照ブロックは、前記同一場所に位置するブロックの中央の参照ブロックである、
請求項１３記載の装置。

【請求項15】

前記１以上の同一場所に位置する参照ブロックは、前記同一場所に位置するブロックの右の隣接ブロックのうちの最も左にある参照ブロック、前記同一場所に位置する下の隣接ブロックのうちの上の参照ブロックを更に含む、
請求項１４記載の装置。

【請求項16】

前記内側の参照ブロックは、前記同一場所に位置するブロックの左上の参照ブロックであり、
前記１以上の同一場所に位置する参照ブロックは、前記同一場所に位置するブロックの右の隣接ブロックのうちの最も左にある参照ブロック、又は前記同一場所に位置するブロックの下の隣接ブロックのうちの上の参照ブロックを更に含む、
請求項１３記載の装置。

【請求項17】

前記同一場所に位置するブロックの前記右下の隣接ブロックのうちの第一の参照ブロックは、前記インターモード又は前記スキップモードにおいて前記ＭＶＰを決定する前記手段のために使用され、
前記同一場所に位置するブロックの前記右下の隣接ブロックのうちの前記第一の参照ブロックとは異なる前記１以上の同一場所に位置する参照ブロックのうちの１つは、前記マージモード又は前記スキップモードにおいて前記ＭＶＰを決定する前記手段のために使用される、
請求項１１記載の装置。

【請求項18】

前記ＭＶＰを決定する前記手段は、前記同一場所に位置するブロックの前記右下の隣接ブロックの第一の参照ブロックに関連する前記１以上の参照の動きベクトルに基づいて前記ＭＶＰを決定する前記手段が前記ＭＶＰを発見しない場合、前記同一場所に位置するブロックの前記右下の隣接ブロックのうちの前記第一の参照ブロックとは異なる前記１以上の同一場所に位置する参照ブロックに関連する前記１以上の参照の動きベクトルに基づく、
請求項１１記載の装置。

【請求項19】

前記導出された時間的なＭＶＰが前記現在のブロックの隣接ブロックから導出された以前のＭＶＰと同じである場合、前記時間的なＭＶＰを導出するための同一場所に位置する参照ブロックを前記探索する動作は、前記時間的なＭＶＰは無視され、前記ＭＶＰを探索する動作が継続される、
請求項１１記載の装置。

【請求項20】

前記１以上の参照の動きベクトルに基づいて前記ＭＶＰを決定する前記手段は、サーチスキームに対応しており、前記サーチスキームは、前記インターモード、前記スキップモード及び前記マージモードからなるグループから選択された予測モードに依存して選択される、
請求項１１記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像符号化に関するものであり、より詳細には、本発明は、インターモード、スキップモード及びマージモードについて、時間的な動きベクトルの候補及び動きベクトルの予測子の候補の導出に関連する符号化技術に関するものである。
本発明は、2010年11月9日に提出された“New Motion Vector Prediction Set”と題する米国特許仮出願第61/417,798号、2011年1月11日に提出された“Improved Advanced Motion Vector Prediction”と題する米国特許仮出願第61/431,454号、2011年3月14日に提出された“A Temporal MV/MVP Candidate for Inter, Skip and Merging Prediction Units in Video Compression”と題する米国特許仮出願第61/452,541号、2011年4月18日に提出された“Method and Apparatus of Extended Motion Vector Predictor”と題する米国特許出願、2011年8月10日に提出された“Method and Apparatus for Derivation of MV/MVP Candidate for Inter/Skip/Merge Modes”と題する米国特許出願に対する優先権を主張するものであり、これら米国特許仮出願及び米国特許出願は、これらの完全な形で引用により本明細書に盛り込まれる。

【背景技術】

【0002】

映像符号化システムにおいて、送信される情報を低減するため、空間及び時間予測を使用して空間及び時間の冗長度が利用される。空間及び時間予測は、符号化される現在の画素について予測を形成するため、同じピクチャ及び参照ピクチャからの復号化された画素をそれぞれ利用する。従来の符号化システムでは、空間及び時間予測に関連する副情報が送信される必要があり、この副情報は、圧縮された映像データの幾らかの帯域幅を取る。時間予測の動きベクトルの送信は、特に低ビットレートの用途において、圧縮されたビデオの顕著な部分を必要とする。動きベクトルに関連するビットレートを更に低減するため、最近において映像符号化の分野において、動きベクトル予測（MVP: Motion Vector Prediction）と呼ばれる技術が使用されている。ＭＶＰ技術は、空間的及び時間的に隣接する動きベクトルの間の静的な冗長度を利用する。本明細書の残りにおいて、ＭＶＰは、「動きベクトル予測」を示すことがあり、文脈に応じて「動きベクトル予測子」を示すことがある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

高能率映像符号化（HEVC: High-Efficiency Video Coding）の開発において、高度動きベクトル予測（AMVP: Advanced Motion Vector Prediction）と呼ばれる技術は、標準化段階により現在検討されている。ＡＭＶＰ技術は、ＭＶＰ候補のセットから選択されたＭＶＰを示す明示的な予測子のシグナリングを使用する。ＨＥＶＣテストモデルのバージョン２．０（HM-2.0）では、ＡＭＶＰのＭＶの候補のセットは、空間ＭＶＰ及び時間ＭＶＰを含み、空間ＭＶＰは、現在のブロックの２つのそれぞれの隣接するグループから選択された２つのＭＶＰを含む。時間ＭＶＰは、現在のピクチャから参照ピクチャに現在のブロックをマッピングすることで、参照ピクチャのそれぞれの領域からの動きベクトルに基づいて導出される。それぞれの領域、すなわち参照ピクチャにおける同一場所に位置されるブロックは、現在のブロックと同じブロックサイズ（予測ユニット（PU）のサイズ）を有さない。それぞれの予測の領域が現在のブロックよりも小さいブロックサイズを使用するとき、同一場所に位置するブロックにおけるブロックのうちの１つは、同一場所に位置される参照ブロックとして選択される。ＨＭ−２．０では、時間予測子がそれぞれの領域の現在のブロックと関連される一方、ＨＭの前のバージョンは、同一場所に位置されるブロックの左上の参照ブロックを使用する。同一場所に位置される参照ブロックのＭＶが存在しない場合、ＭＶＰは、利用可能ではない。時間的なＭＶＰの可用性を改善することができるＭＶＰの導出スキームを開発することが望まれる。改善されたＭＶＰの導出スキームにより、小さな動きベクトルの残差が得られ、結果的に良好な符号化効率が得られる。さらに、ＭＶＰの導出スキームにより、更なる副情報が送信される必要がないように、ＭＶＰの候補が復号化された情報に基づいてデコーダで導出されることが望まれる。

【課題を解決するための手段】

【0004】

インターモード、スキップモード又はマージモードにおいて現在のピクチャの現在のブロックの動きベクトル（MV）の動きベクトルの予測子（MVP）を導出する方法が開示され、ＭＶは、現在のブロックと、所与の参照リストにおけるターゲットの参照ピクチャの対応するブロックと関連付けされる。本発明の１実施の形態では、インターモード、スキップモード又はマージモードにおいて現在のブロックのＭＶの動きベクトルの予測子（MVP）を導出する方法は、同一場所に位置するブロックの右下の隣接するブロックの第一の参照ブロックを含む１以上の同一場所に位置する参照ブロックを決定する段階、前記１以上の同一場所に位置する参照ブロックに関連する１以上の参照のＭＶ（動きベクトル）を受信する段階、前記１以上の参照のＭＶに基づいて現在のブロックについてＭＶＰを決定する段階、及び現在のブロックについてＭＶＰを提供する段階を含む。本発明の１態様は、同一場所に位置する参照ブロックのコンフィギュレーションに関連する。１実施の形態では、前記１以上の同一場所に位置する参照ブロックは、同一場所に位置するブロックの内側の参照ブロックを更に含む。例えば、内側の参照ブロックは、同一場所に位置されるブロックの中央の参照ブロックである場合がある。更に、別の実施の形態では、前記１以上の同一場所に位置される参照ブロックは、同一場所に位置されるブロックの中央の参照ブロック、同一場所に位置されるブロックの右の隣接ブロックの最も左の参照ブロック、及び同一場所に位置されるブロックの下の隣接ブロックの上の参照ブロックを更に含む。更に別の実施の形態では、前記１以上の同一場所に位置される参照ブロックは、同一場所に位置されるブロックの左上の参照ブロック、同一場所に位置されるブロックの右の隣接ブロックの最も左にある参照ブロック、及び同一場所に位置するブロックの下の隣接ブロックの上の参照ブロックを更に含む。本発明の別の実施の形態では、右下の隣接ブロックの第一の参照ブロックに関連する前記１以上の参照のＭＶに基づいたＭＶＰの前記判定がＭＶＰを発見しない場合、ＭＶＰの前記判定は、右下の隣接ブロックの第一の参照ブロックとは異なる同一場所に位置する参照ブロックに基づく。

【図面の簡単な説明】

【0005】

【図1】高能率映像符号化テストモデルのバージョン２．０（HM-2.0）に従うインターモード及びスキップモードについて空間的／時間的な動きベクトルの予測子の候補のセットを導出する隣接ブロックのコンフィギュレーションを示す図である。

【図2】ブロックの中央をブロックの原点の代わりに同一の場所に位置されるブロックにマッピングすることによる時間予測子の例を示す図である。

【図3】ＨＭ−２．０に従うマージモードの空間的／時間的動きベクトルの予測の候補のセットを導出する隣接ブロックのコンフィギュレーションを示す図である。

【図4】ＨＭ−２．０に従う第一のＮ×２Ｎ ＰＵのマージモードについて空間的／時間的動きベクトルの予測の候補のセットを導出する隣接ブロックのコンフィギュレーションを示す図である。

【図5】ＨＭ−２．０に従う第一のＮ×２Ｎ ＰＵのマージモードについて空間的／時間的な動きベクトルの予測の候補のセットを導出する隣接ブロックのコンフィギュレーションを示す図である。

【図6】本発明の１実施の形態に係る、インターモードとスキップモードについて空間的及び時間的な動きベクトルの予測の候補のセットを導出する隣接ブロックのコンフィギュレーションを示す図である。

【図7】本発明の１実施の形態に係る、マージモードについて空間的／時間的な動きベクトルの予測の候補を導出する隣接ブロックのコンフィギュレーションを示す図である。

【図8】本発明の別の実施の形態に係る、インターモードとスキップモードについて、空間的／時間的な動きベクトルの予測の候補のセットを導出する隣接ブロックのコンフィギュレーションを示す図である。

【図9】本発明の更に別の実施の形態に係る、インターモードとスキップモードについて、空間的／時間的な動きベクトルの予測の候補のセットを導出する隣接ブロックのコンフィギュレーションを示す図である。

【発明を実施するための形態】

【0006】

映像符号化システムにおいて、送信又は記憶されるビットレートを低減するため、空間及び時間予測を使用して、空間的及び時間的な冗長度が利用される。空間予測は、同じピクチャからの復号化された画素を利用して、符号化される現在の画素の予測を形成する。空間予測は、Ｈ．２６４／ＡＶＣイントラ符号化において輝度信号について１６×１６又は４×４ブロックのようなブロック毎に動作することがある。ビデオ系列において、隣接ピクチャは、大きな類似性をもつことがあり、ピクチャの違いをシンプルに使用することは、静的な背景の領域に関連する送信された情報を効果的に低減する。それにもかかわらず、ビデオ系列における移動するオブジェクトにより、相当な残差が得られ、残差を符号化するために高いビットレートを必要とする。結果的に、ビデオ系列における時間的な相関を利用するため、ＭＣＰ（Motion Compensated Prediction）が使用されることがある。

【0007】

動き補償予測は、前方予測の方式で使用され、現在のブロックは、表示順において現在のピクチャの前にある復号化されたピクチャを使用して予測される。前方予測に加えて、動き補償予測のパフォーマンスを改善するため、後方予測も使用される。後方予測は、表示順において現在のピクチャの後の復号化されたピクチャを利用する。Ｈ．２６４／ＡＶＣの第一のバージョンは２００３年に最終合意されたので、前方予測及び後方予測は、list0の予測及びlist1の予測にそれぞれ拡張され、list0及びlist1の両者は、表示順において現在のピクチャよりも前、及び／又は現在のピクチャの後にある複数の参照ピクチャを含む。以下は、デフォルトの参照ピクチャのリストのコンフィギュレーションを記載する。list0について、現在のピクチャよりも前にある参照ピクチャは、現在のピクチャよりも後のピクチャよりも低い参照ピクチャのインデックスを有する。list1について、現在のピクチャよりも後の参照ピクチャは、現在のピクチャの前のピクチャよりも低い参照ピクチャのインデックスを有する。list0及びlist1の両者について、前のルールを適用した後、時間的な距離は、以下のように考えられる。現在のピクチャに近い参照ピクチャは、低い参照ピクチャのインデックスを有する。list0及びlist1の参照ピクチャのコンフィギュレーションを説明するため、以下の例が提供され、現在のピクチャは、ピクチャ５であり、ピクチャ０，２，４，６及び８は、参照ピクチャであり、符号は、表示の順序を示す。昇順の参照ピクチャのインデックスをもち、且つゼロに等しいインデックスで開始するlist0の参照ピクチャは、４，２，０，６及び８である。昇順の参照ピクチャのインデックスを持ち且つゼロに等しいインデックスで開始するlist1の参照ピクチャは、６，８，４，２及び０である。インデックス０を有する第一の参照ピクチャは、同一場所に位置するピクチャと呼ばれ、この例では現在のピクチャとしてピクチャ５をもち、ピクチャ６は、list1の同一場所に位置するピクチャであり、ピクチャ４は、list0の同一場所に位置するピクチャである。list0又はlist1の同一場所に位置するピクチャにおけるブロックが現在のピクチャにおける現在のブロックと同じブロックの位置を有するとき、list0又はlist1の同一場所に位置するブロックと呼ばれるか、或いは、list0又はlist1における同一場所に位置するブロックと呼ばれる。ＭＰＥＧ−１，ＭＰＥＧ−２及びＭＰＥＧ−４のような初期の映像符号化規格における動き予測について使用された単位は、マクロブロックに主に基づいている。Ｈ．２６４／ＡＶＣについて１６×１６マクロブロックは、動き予測について、１６×１６、１６×８、８×１６及び８×８ブロックに分割される。さらに、８×８ブロックは、動き予測について、８×８、８×４、４×８及び４×４ブロックに分割される。開発中の高能率映像符号化（HEVC）は、動き予測／補償モードの単位は、予測単位（PU: Prediction Unit）と呼ばれ、ＰＵは、最大のブロックサイズから階層的に分割される。ＭＣＰタイプは、Ｈ．２６４／ＡＶＣ規格におけるそれぞれのスライスについて選択される。動き補償予測がlist0予測に制限されるスライスは、Ｐスライスと呼ばれる。Ｂスライスについて、動き補償予測は、list0の予測に加えて、list1の予測を含む。

【0008】

映像符号化システムにおいて、動きベクトル（MV）及び符号化された残差は、デコーダ側で映像を再構成するため、デコーダに送信される。さらに、柔軟な参照ピクチャの構造をもつシステムにおいて、選択された参照ピクチャと関連される情報も送信される必要がある。動きベクトルの送信は、特に低ビットレートの用途又は動きベクトルが小さなブロック又は高い動きの精度と関連されるシステムにおいて、全体の帯域幅のうちの顕著な部分を必要とする。動きベクトルに関連されるビットレートを更に低減するため、近年において映像符号化の分野において、動きベクトル予測（MVP）と呼ばれる技術が使用される。この開示では、ＭＶＰは、動きベクトルの予測子をも示し、曖昧さがないときに略記が使用される。ＭＶＰ技術は、空間的及び時間的に隣接する動きベクトルの間の静的な冗長度を利用する。ＭＶＰが使用されるとき、現在の動きベクトルの予測子が選択され、動きベクトルの残差、すなわち動きベクトルと予測子との間の差が送信される。動きベクトルの残差は、動きベクトルの差（MVD: Motion Vector Difference）と通常呼ばれる。ＭＶＰスキームは、閉ループのアレンジメントで適用することができ、このアレンジメントにおいて、復号化された情報に基づいて予測子がデコーダで導出され、更なる副情報が送信される必要がない。代替的に、副情報は、選択された動きベクトルの予測子に関してデコーダに通知するため、ビットストリームにおいて明示的に送信される。

【0009】

Ｈ．２６４／ＡＶＣ規格において、list0、list1、双方向予測、及びＤＩＲＥＣＴ予測を含む４つの異なるタイプのインター予測がＢスライスについてサポートされており、list0及びlist1は、参照ピクチャグループ０及びグループ１を使用する予測をそれぞれ示す。１つの参照リスト（すなわちlist0又はlist1）からの参照ピクチャのみが使用されるとき、予測は、単予測（uni-direction）モードと呼ばれる。双予測（bi-predictive）モードについて、動き補償されたlist0及びlist1の予測信号の重み付け平均により、予測信号が形成される。ＤＩＲＥＣＴ予測モードは、前に送信されたシンタックスエレメントから推定され、list0又はlist1予測、或いは双予測の何れかとすることができる。従って、ＤＩＲＥＣＴモードにおいて動きベクトルについて情報を送信する必要がない。量子化誤差信号が送信されない場合、ＤＩＲＥＣＴマクロブロックモードは、Ｂ ＳＫＩＰモードと呼ばれ、ブロックは、効果的に符号化される。さらに、良好なＭＶＰスキームにより、より多くのゼロの動きベクトル又はより小さい予測誤差が得られる。結果的に、良好なＭＶＰスキームは、ＤＩＲＥＣＴ符号化されたブロックの数を増加し、符号化効率を改善する。

【0010】

開発されているＨＥＶＣにおいて、Ｈ．２６４／ＡＶＣに対する動きベクトル予測の幾つかの改善が検討されている。ＨＥＶＣテストモデルのバージョン２．０におけるインターモード及びスキップモードにおいて、複数の空間的なＭＶＰは、現在のブロックについて最終的なＭＶＰを選択するため、時間的なＭＶＰと結合される。ＨＭ−２．０におけるマージモードについて、複数の空間的なＭＶＰは、現在のブロックについて最終的なＭＶＰを選択するために時間的なＭＶＰと結合される。マージモード及びスキップモードについて、最終的なＭＶＰは、それらのＭＶＤが定義によりゼロであるため、最終的なＭＶである。ＨＭ−２．０において、インターモード及びスキップモードは、ＭＶＰの候補のセットにおいて、１つの最終的な動きベクトルの予測子（MVP）を選択するため、高度動きベクトル予測（AMVP）アルゴリズムを利用する。ＡＭＶＰは、ＭｃＣａｎｎ等による“Samsung’s Response to the Call for Proposals On Video Compression Technology”, Document JCTVC-A124, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG1, 1^st Meeting: Deresden, Germany, 15-23 April, 2010により提案される。選択されたＭＶＰのインデックスが送信される。ＨＭ−２．０のスキップモードにおいて、参照インデックスは、常に０に設定される。インターモードにおいて、参照インデックスは、デコーダに明示的に送信される。

【0011】

既存のＨＥＶＣにおいて、時間的なＭＶＰは、現在のピクチャから参照ピクチャに現在のブロックをマッピングさせることで、参照ピクチャのそれぞれの領域から動きベクトルに基づいて導出される。参照ピクチャにおけるそれぞれの領域、すなわち同一場所に位置するブロックは、現在のブロックと同じブロックサイズ（すなわち予測単位（PU）サイズ）を有さない。それぞれの領域が現在のブロックよりも小さなブロックサイズを使用するとき、同一場所に位置するブロックにおけるブロックのうちの１つは、同一場所に位置する参照ブロックとして選択される。ＨＭ−２．０において、時間予測子は、それぞれの領域の中央のブロックと関連される。中央のブロックは、現在のブロックの中央にマッピングされるその右下のコーナの座標を有する。しかし、それぞれの領域の左上のコーナにあるブロックは、前のバージョンのＨＭにおけるＡＭＶＰの時間予測と関連される。図１は、２つの空間ＭＶＰと１つの時間ＭＶＰとを含む、ＨＭ−２．０で使用されるＭＶＰの候補のセットを示す。
１．左の予測子（Ｅ，Ａ_m，．．．，Ａ₀から利用可能な第一のＭＶ）。
２．上の予測子（Ｃ，Ｂ_n，．．．，Ｂ₀，Ｄから利用可能な第一のＭＶ）。
３．時間予測子Ｔ_ctr（ブロックの中央をその同一場所に位置するブロックにマッピングすることで発見される時間ＭＶ）。

【0012】

１つのＭＶＰインデックスは、候補のセットからどのＭＶＰが使用されるかを示すために信号伝達される。左予測子について、ＭＶＰは、所与の参照ピクチャのインデックスと同じ参照ピクチャのインデックスを有し（ＨＭ−２．０におけるスキップモードについて０に設定され、インターモードについてデコーダに明示的に送信される）、所与の参照リストと同じ参照リストを有する。下のブロックから上のブロックまでの第一の利用可能なＭＶとして選択される。上の予測子について、所与の参照ピクチャのインデックスと同じ参照ピクチャのインデックスを有し、所与の参照リストと同じ参照ピクチャのリストを有する、ＨＭ−２．０において右のブロックから左のブロックまでの左の予測子に同一でない第一の利用可能なＭＶとして選択される。時間予測子は、ブロックの原点（すなわちそれぞれの領域の左上のブロック）の代わりに、ブックの中央を同一場所に位置するピクチャにマッピングすることで決定される。３２×３２ ＣＵの３タイプの分割、すなわち２Ｎ×２Ｎ ２１０，２Ｎ×２Ｎ ２２０及びＮ×Ｎ ２３０の中央の位置は、図２に示される。ブロックの中央及び原点は、参照符号２１４，２１２，２２４，２２２，２３４及び２３２のそれぞれにより示される。

【0013】

ＨＭ−２．０において、ブロックがマージモードとして符号化される場合、このブロックについて候補のセットからどのＭＶＰがマージされるかを示すため、１つのＭＶＰのインデックスが信号伝達される。図３は、マージモードについてＭＶＰを導出する隣接ブロックのコンフィギュレーションを示す。候補のセットは、４つの空間的なＭＶＰ及び１つの時間的なＭＶＰを含む。
１．左の予測子（Ａ₀）、
２．上の予測子（Ｂ₀）、
３．時間予測子Ｔ_ctr（ブロックの中央を同一場所に位置されるピクチャへのマッピングにより発見される、時間動きベクトル）、
４．右上の予測子（Ｃ）、及び
５．左下の予測子（Ｅ）。

【0014】

マージモードにおける空間的なＭＶＰについて、参照ピクチャのインデックスは、選択されたブロックからの参照ピクチャのインデックスと同じに設定される。例えば、ブロックＣがＭＶＰインデックスに従って選択される場合、ブロックＣからのＭＶ及び参照ピクチャのインデックスは、マージのために使用され、すなわちブロックＣからのＭＶ及び参照ピクチャのインデックスは、現在のＰＵについて使用される。ブロックが２つのＭＶを有する場合、２つのＭＶ及びそれらの参照ピクチャのインデックスは、双予測のために使用される。特に、それぞれのＣＵは、全体としてマージされる（すなわち２Ｎ×２Ｎマージ）か、又は部分的にマージされる。分割タイプＮ×２Ｎ又は２Ｎ×Ｎがインター予測されたＣＵについて選択される場合、このＣＵの第一の分割（すなわちPU）は、ＨＭ−２．０においてマージモードに強制される。すなわち、Ｎ×２Ｎ又は２Ｎ×ＮのＣＵの第一のＰＵは、それ自身の動きベクトルを有さず、代わりに、その隣接ブロックの動きベクトルのうちの１つを共有する必要がある。その間、第二のＮ×２Ｎ又は２Ｎ×ＮのＰＵは、マージモード又はインターモードの何れかである。第一のＮ×２ＮのＰＵのＭＶＰは、図４に示されており、空間的なＭＶＰは、参照符号４１０により示され、時間的なＭＶＰは、参照符号４２０により示される。第一の２Ｎ×ＮのＰＵの部分的なマージについてのＭＶＰは、図５に示されており、空間的なＭＶＰは、参照符号５１０により示されており、時間的なＭＶＰは、参照符号５２０により示される。

【0015】

上述されたように、ＡＭＶＰは、基本の動きベクトルの送信に関連する情報を低減する効果的な手段である。ＡＭＶＰの効率は、ＭＶＰの可用性及びＭＶＰの品質（すなわちＭＶＰの精度）に依存する。ＭＶＰが利用可能でないとき、基本のＭＶは、予測なし、或いは予測値０又は他のデフォルト値で送信される。ＭＶＰの可用性及び品質を改善することが望まれる。従って、本発明の各種実施の形態に係る拡張された時間サーチスキームが開示される。本発明の１実施の形態によれば、現在のピクチャの現在のブロックの動きベクトル（MV）について時間的なＭＶＰは、同一場所に位置するブロックの１以上の同一場所に位置する参照ブロックに基づいて導出され、前記１以上の同一場所に位置する参照ブロックは、同一場所に位置するブロックの右下の隣接ブロックからのブロックを含む。例えば、参照ピクチャの同一場所に位置するブロック６３０の右下の隣接ブロック６２０の左上の参照ブロック６１０は、図６に示されるように、インターモード又はスキップモードにおいて同一場所に位置する参照ブロックとして使用される。同様に、参照ピクチャの同一場所に位置するブロック６３０の右下の隣接ブロック６２０の左上の参照ブロック６１０は、図７に示されるように、マージモードにおいて、同一場所に位置する参照ブロックとして使用される。

【0016】

ＨＭ−２．０及びその前のバージョンは、１つの同一場所に位置する参照ブロックのみを使用する一方、本発明に係る実施の形態は、１を超える同一場所に位置する参照ブロックを使用することを可能にする。図８は、１を超える同一場所に位置する参照ブロックを使用する例を示し、同一場所に位置する参照ブロックは、インターモード及びスクップモードにおいて、左上の参照ブロック６１０、同一場所に位置するブロックの中央の参照ブロック８１０、同一場所に位置するブロック６３０の右の隣接ブロック８３０の最も左の参照ブロック８２０、及び同一場所に位置するブロック６３０の下の隣接ブロック８５０の上の参照ブロック８４０を含む。右の隣接ブロックの最も左にある参照ブロックは、この開示において、右の隣接ブロックの最も左側にある参照ブロックを示す。言い換えれば、右の隣接ブロックの最も左にある参照ブロックは、同一場所に位置するブロックに隣接する右の隣接ブロックにおけるブロックである。図８に示される最も左にある参照ブロック８２０は、最も左にある参照ブロックの上の参照ブロックである。下の隣接ブロックの上の参照ブロックは、この開示において、下の隣接ブロックの上側にある参照ブロックを示す。言い換えれば、下の隣接ブロックの上の参照ブロックは、同一場所に位置するブロックに隣接する下の隣接ブロックにおけるブロックである。図８において示される上の参照ブロック８４０は、上の参照ブロックの最も左にある参照ブロックである。同一場所に位置するブロック６３０内の中央の参照ブロック８２０は同一場所に位置する参照ブロックとして使用される一方、同一場所に位置するブロック６３０内の他の同一場所に位置する参照ブロックも使用される。同一場所に位置するブロック内の同一場所に位置する参照ブロックは、内部参照ブロックと呼ばれる。図９は、１を超える同一場所に位置する参照ブロックを使用する別の例を示し、同一場所に位置する参照ブロックは、インターモード又はスキップモードにおいて、左上の参照ブロック６１０、同一場所に位置するブロックの左上の参照ブロック９１０、同一場所に位置するブロックの右の隣接ブロック８３０の最も左にある参照ブロック８２０、及び同一場所に位置するブロックの下の隣接ブロック８５０の上の参照ブロック８４０を含む。必要とされるときに、２つの左上の参照ブロック６１０及び９１０を区別するため、同一場所に位置するブロック６３０の右下の隣接ブロック６２０の左上の参照ブロック６１０は、第一の左上の参照ブロックと呼ばれ、同一場所に位置するブロック６３０の左上のブロック９１０は、左上の参照ブロックと呼ばれる。図８及び図９に示される同一場所に位置する参照ブロックは、インターモード又はスキップモードにおいて時間的なＭＶＰを導出するために使用され、図８及び図９に示される同一場所に位置する参照ブロックは、マージモードにおいて時間的なＭＶＰを導出するために使用される。

【0017】

本発明に係る別の実施の形態では、２以上の同一場所に位置する参照ブロックが使用されるとき、ＭＶＰの導出は、同一場所に位置するブロック６３０の右下の隣接ブロック６２０の第一の左上の参照ブロック６１０に基づいてＭＶＰのサーチを開始する。ＭＶＰを発見することができない場合、ＭＶＰの導出は、他の同一場所に位置する参照ブロックに基づいてＭＶＰのサーチを継続する。ＭＶＰをなお発見することができないとき、ＭＶＰはゼロ又はデフォルト値に設定される。

【0018】

本発明に係る別の実施の形態では、ＭＶＰの導出により発見されるＭＶＰが前に発見されたＭＶＰと同じであるとき、ＭＶＰの導出は、前に発見されたＭＶＰとは異なるＭＶＰを発見するのを継続する。ＭＶＰをなお発見することができない場合、ＭＶＰはゼロ又はデフォルト値に設定される。前に発見されたＭＶＰが空間的なＭＶＰの候補に対するサーチの間に発見されたＭＶＰであり、ＭＶＰのサーチは、ＭＶＰのサーチが同一場所に位置するブロックに基づいて実行される前に、現在のブロックの上であって、且つ現在のブロックの左にある空間的な隣接ブロックに基づいてはじめに実行される。

【0019】

この開示では、本発明に係る実施の形態を例示するため、同一場所に位置する参照ブロックの例示的なコンフィギュレーションが提供された。個別の例示的なコンフィギュレーションがインターモード／スキップモード及びマージモードについて提供されたが、インターモード／スキップモードの例示的なコンフィギュレーションは、マージモードに適用可能であり、逆に、マージモードの例示的なコンフィギュレーションは、インターモード／スキップモードに適用可能である。さらに、個別の例示的なサーチスキームは、インターモード／スキップモード及びマージモードについて提供される。しかし、インターモード／又はスキップモードのサーチスキームは、マージモードに適用可能であり、逆に、マージモードのサーチスキームは、インターモード／又はスキップモードに適用可能である。さらに、同一場所に位置する参照ブロックの幾つかのコンフィギュレーションが例として示されたが、当業者であれば、本発明の精神から逸脱する他のコンフィギュレーションを使用して本発明を実施する場合がある。

【0020】

上述された本発明に係るＭＶの導出の実施の形態は、様々なハードウェア、ソフトウェアコード、又は両者のコンフィギュレーションにおいて実現される場合がある。例えば、本発明の実施の形態は、本明細書で記載された処理を実行するため、ビデオ圧縮チップに集積される回路であるか、又はビデオ圧縮ソフトウェアに統合されるプログラムコードである。また、本発明の実施の形態は、本明細書で記載された処理を実行するため、デジタルシグナルプロセッサ（DSP）で実行されるプログラムコードである場合がある。また、本発明は、コンピュータプロセッサ、デジタルシグナルプロセッサ、マイクロプロセッサ、又はフィールドプログラマブルゲートアレイ（FPGA）により実行される多数の機能を含む。これらのプロセッサは、本発明により実施される特定の方法を定義するコンピュータ読み取り可能なソフトウェアコード又はファームウェアコードを実行することで、本発明に係る特定のタスクを実行するように構成される。ソフトウェアコード又はファームウェアコードは、異なるプログラミング言語及び異なるフォーマット又はスタイルまた、ソフトウェアは、異なるターゲットプラットフォームについてコンパイルされる場合がある。しかし、ソフトウェアコードの異なるコードフォーマット、スタイル及び言語、及び本発明に係るタスクを実行するためのコードを設定する他の手段は、本発明の精神及び範囲から逸脱しない。

【0021】

本発明は、本発明の精神又は本質的な特性から逸脱することなしに他の特定の形式で実施される場合がある。記載された例は、例示的であって限定的でないものとして全ての観点において考慮されるべきである。従って、本発明の範囲は、上述した説明によるものではなく、特許請求の範囲により示される。請求項の等価な意味及び範囲に含まれる全ての変形は、請求項の範囲に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】