ホーム > 特許ランキング > 聯發科技股▲ふん▼有限公司
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5788979
(24)【登録日】2015年8月7日
(45)【発行日】2015年10月7日
(54)【発明の名称】時間的運動ベクトル予測の方法と装置
(51)【国際特許分類】
H04N 19/105 20140101AFI20150917BHJP
H04N 19/134 20140101ALI20150917BHJP
H04N 19/174 20140101ALI20150917BHJP
H04N 19/51 20140101ALI20150917BHJP
H04N 19/70 20140101ALI20150917BHJP
【ＦＩ】
H04N19/105
H04N19/134
H04N19/174
H04N19/51
H04N19/70
【請求項の数】11
【全頁数】24
(21)【出願番号】特願2013-516972(P2013-516972)
(86)(22)【出願日】2011年4月22日
(65)【公表番号】特表2013-529877(P2013-529877A)
(43)【公表日】2013年7月22日
(86)【国際出願番号】CN2011073167
(87)【国際公開番号】WO2012006889
(87)【国際公開日】20120119
【審査請求日】2012年12月27日
(31)【優先権主張番号】13/039,555
(32)【優先日】2011年3月3日
(33)【優先権主張国】US
(31)【優先権主張番号】61/431,454
(32)【優先日】2011年1月11日
(33)【優先権主張国】US
(31)【優先権主張番号】61/363,557
(32)【優先日】2010年7月12日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】506423280
【氏名又は名称】聯發科技股▲ふん▼有限公司
【氏名又は名称原語表記】ＭＥＤＩＡＴＥＫ ＩＮＣ．
(74)【代理人】
【識別番号】110001494
【氏名又は名称】前田・鈴木国際特許業務法人
(72)【発明者】
【氏名】ツァイ， ユパオ
(72)【発明者】
【氏名】リン， ジエンリアン
(72)【発明者】
【氏名】フアン， ユウェン
(72)【発明者】
【氏名】レイ， シャオミン
【審査官】
山▲崎▼ 雄介
(56)【参考文献】
【文献】
特開２００８−２８３４９０（ＪＰ，Ａ）
【文献】
再公表特許第２００７／１０５５９０（ＪＰ，Ａ１）
【文献】
特開２００８−１５３９０７（ＪＰ，Ａ）
【文献】
特開２００７−０６７７３１（ＪＰ，Ａ）
【文献】
特開２００４−２０８２５９（ＪＰ，Ａ）
【文献】
特開２００４−１２９１９１（ＪＰ，Ａ）
【文献】
特開２０１０−０１０９５０（ＪＰ，Ａ）
【文献】
特開平１０−２２４８００（ＪＰ，Ａ）
【文献】
特開平１１−０７５１８８（ＪＰ，Ａ）
【文献】
Jian-Liang Lin, et al.，Improved Advanced Motion Vector Prediction，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，２０１１年 １月１４日，4th Meeting: Daegu, KR，pp.1-8
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ １９／００−１９／９８
(57)【特許請求の範囲】
【請求項1】
ビデオ符号化システムにおいて、画像中の現在のブロックの運動ベクトル予測または運動ベクトル予測候補または運動ベクトルまたは運動ベクトル候補を導出する方法であって、本方法は、
運動ベクトルを受信する手段において、ひとつ以上のリスト０のリファレンス画像とひとつ以上のリスト１のリファレンス画像を含むリファレンス画像群から、少なくともひとつの時間的ブロックに関連する２個以上の運動ベクトルを受信する工程と、
候補集合を決定する手段において、前記２個以上の運動ベクトルに基づいて、少なくとも二個の要素を含む候補集合を決定する工程と、
候補集合を配置する手段において、優先順位で、前記候補集合を配置する工程と、
運動ベクトル予測、運動ベクトル予測候補、運動ベクトルまたは運動ベクトル候補を決定する手段において、前記優先順位に従って、前記候補集合から、前記現在のブロックの前記運動ベクトル予測または運動ベクトル予測候補または運動ベクトルまたは運動ベクトル候補を決定する工程とを含み、
前記優先順位は、スライスごとに決定され、
前記優先順位に関連する情報は、スライスヘッダーに組み込まれる
ことを特徴とする方法。
運動ベクトルを受信する手段において、ひとつ以上のリスト０のリファレンス画像とひとつ以上のリスト１のリファレンス画像を含むリファレンス画像群から、少なくともひとつの時間的ブロックに関連する２個以上の運動ベクトルを受信する工程と、
候補集合を決定する手段において、前記２個以上の運動ベクトルに基づいて、少なくとも二個の要素を含む候補集合を決定する工程と、
候補集合を配置する手段において、優先順位で、前記候補集合を配置する工程と、
運動ベクトル予測、運動ベクトル予測候補、運動ベクトルまたは運動ベクトル候補を決定する手段において、前記優先順位に従って、前記候補集合から、前記現在のブロックの前記運動ベクトル予測または運動ベクトル予測候補または運動ベクトルまたは運動ベクトル候補を決定する工程とを含み、
前記優先順位は、スライスごとに決定され、
前記優先順位に関連する情報は、スライスヘッダーに組み込まれる
ことを特徴とする方法。
【請求項2】
前記優先順位は所定の優先順位であることを特徴とする請求項１に記載の方法。
【請求項3】
前記候補集合は、前記２個以上の運動ベクトルから選択されることを特徴とする請求項１に記載の方法。
【請求項4】
前記候補集合の決定は、前記２個以上の運動ベクトルに対応するスケール化運動ベクトルを導き出す工程を含み、前記候補集合は、前記スケール化運動ベクトルまたは前記２個以上の運動ベクトルと前記スケール化運動ベクトルの組み合わせから選択されることを特徴とする請求項１に記載の方法。
【請求項5】
前記候補集合は、前記スケール化運動ベクトルから選択されることを特徴とする請求項４に記載の方法。
【請求項6】
前記候補集合は、前記２個以上の運動ベクトルと前記スケール化運動ベクトルから選択されることを特徴とする請求項４に記載の方法。
【請求項7】
前記優先順位は、スケール化運動ベクトルの方向が補間か補外かに基づいて、前記スケール化運動ベクトルの方向が補間の場合に高い優先順位とすることを含むことを特徴とする請求項４に記載の方法。
【請求項8】
画像中の現在のブロックの運動ベクトル予測または運動ベクトル予測候補または運動ベクトルまたは運動ベクトル候補を導出する装置であって、前記装置は、
ひとつ以上のリスト０のリファレンス画像とひとつ以上のリスト１のリファレンス画像から構成されるリファレンス画像群から、少なくともひとつの時間的ブロックに関連する２個以上の運動ベクトルを受信する手段と、
前記２個以上の運動ベクトルに基づいて、少なくとも二個の要素を含む候補集合を決定する手段と、
優先順位で、前記候補集合を配置する手段と、
前記優先順位に従って、前記候補集合から、前記現在のブロックの前記運動ベクトル予測または運動ベクトル予測候補または運動ベクトルまたは運動ベクトル候補を決定する手段とを含み、
前記優先順位は、スライスごとに決定され、
前記優先順位に関連する情報は、スライスヘッダーに組み込まれる
ことを特徴とする装置。
ひとつ以上のリスト０のリファレンス画像とひとつ以上のリスト１のリファレンス画像から構成されるリファレンス画像群から、少なくともひとつの時間的ブロックに関連する２個以上の運動ベクトルを受信する手段と、
前記２個以上の運動ベクトルに基づいて、少なくとも二個の要素を含む候補集合を決定する手段と、
優先順位で、前記候補集合を配置する手段と、
前記優先順位に従って、前記候補集合から、前記現在のブロックの前記運動ベクトル予測または運動ベクトル予測候補または運動ベクトルまたは運動ベクトル候補を決定する手段とを含み、
前記優先順位は、スライスごとに決定され、
前記優先順位に関連する情報は、スライスヘッダーに組み込まれる
ことを特徴とする装置。
【請求項9】
ビデオ符号化システムにおいて、画像中の現在のブロックの運動ベクトル予測または運動ベクトル予測候補または運動ベクトルまたは運動ベクトル候補を導出する方法であって、本方法は、
運動ベクトルを受信する手段において、ひとつ以上のリスト０のリファレンス画像とひとつ以上のリスト１のリファレンス画像を含むリファレンス画像群から、少なくともひとつの時間的ブロックに関連する２個以上の運動ベクトルを受信する工程と、
候補集合を決定する手段において、前記２個以上の運動ベクトルに基づいて、少なくとも二個の要素を含む候補集合を決定する工程と、
候補集合を配置する手段において、優先順位で、前記候補集合を配置する工程と、
運動ベクトル予測、運動ベクトル予測候補、運動ベクトルまたは運動ベクトル候補を決定する手段において、前記優先順位に従って、前記候補集合から、前記現在のブロックの前記運動ベクトル予測または運動ベクトル予測候補または運動ベクトルまたは運動ベクトル候補を決定する工程とを含み、
前記２個以上の運動ベクトルは、同一の時間的ブロックに関する、前記リスト０のリファレンス画像方向の運動ベクトルであるリスト０の運動ベクトル及び前記リスト１のリファレンス画像方向の運動ベクトルであるリスト１の運動ベクトルを有し、前記候補集合は、前記リスト０の運動ベクトル及び前記リスト１の運動ベクトルから導出されたスケール化運動ベクトルを有し、
現在のブロックの現在のリストがリスト０である時に、前記リスト０の運動ベクトルから導出された第１のスケール化運動ベクトルは、前記リスト０の運動ベクトルと同一の時間的ブロックに関する前記リスト１の運動ベクトルから導出された第２のスケール化運動ベクトルよりも高い前記優先順位を有し、
現在のブロックの現在のリストがリスト１である時に、前記リスト１の運動ベクトルから導出された第１のスケール化運動ベクトルは、前記リスト１の運動ベクトルと同一の時間的ブロックに関する前記リスト０の運動ベクトルから導出された第２のスケール化運動ベクトルよりも高い前記優先順位を有することを特徴とする方法。
運動ベクトルを受信する手段において、ひとつ以上のリスト０のリファレンス画像とひとつ以上のリスト１のリファレンス画像を含むリファレンス画像群から、少なくともひとつの時間的ブロックに関連する２個以上の運動ベクトルを受信する工程と、
候補集合を決定する手段において、前記２個以上の運動ベクトルに基づいて、少なくとも二個の要素を含む候補集合を決定する工程と、
候補集合を配置する手段において、優先順位で、前記候補集合を配置する工程と、
運動ベクトル予測、運動ベクトル予測候補、運動ベクトルまたは運動ベクトル候補を決定する手段において、前記優先順位に従って、前記候補集合から、前記現在のブロックの前記運動ベクトル予測または運動ベクトル予測候補または運動ベクトルまたは運動ベクトル候補を決定する工程とを含み、
前記２個以上の運動ベクトルは、同一の時間的ブロックに関する、前記リスト０のリファレンス画像方向の運動ベクトルであるリスト０の運動ベクトル及び前記リスト１のリファレンス画像方向の運動ベクトルであるリスト１の運動ベクトルを有し、前記候補集合は、前記リスト０の運動ベクトル及び前記リスト１の運動ベクトルから導出されたスケール化運動ベクトルを有し、
現在のブロックの現在のリストがリスト０である時に、前記リスト０の運動ベクトルから導出された第１のスケール化運動ベクトルは、前記リスト０の運動ベクトルと同一の時間的ブロックに関する前記リスト１の運動ベクトルから導出された第２のスケール化運動ベクトルよりも高い前記優先順位を有し、
現在のブロックの現在のリストがリスト１である時に、前記リスト１の運動ベクトルから導出された第１のスケール化運動ベクトルは、前記リスト１の運動ベクトルと同一の時間的ブロックに関する前記リスト０の運動ベクトルから導出された第２のスケール化運動ベクトルよりも高い前記優先順位を有することを特徴とする方法。
【請求項10】
前記優先順位は、スケール化運動ベクトルの方向が補間か補外かに基づいて、前記スケール化運動ベクトルの方向が補間の場合に高い優先順位とすることを含むことを特徴とする請求項９に記載の方法。
【請求項11】
画像中の現在のブロックの運動ベクトル予測または運動ベクトル予測候補または運動ベクトルまたは運動ベクトル候補を導出する装置であって、前記装置は、
ひとつ以上のリスト０のリファレンス画像とひとつ以上のリスト１のリファレンス画像から構成されるリファレンス画像群から、少なくともひとつの時間的ブロックに関連する２個以上の運動ベクトルを受信する手段と、
前記２個以上の運動ベクトルに基づいて、少なくとも二個の要素を含む候補集合を決定する手段と、
優先順位で、前記候補集合を配置する手段と、
前記優先順位に従って、前記候補集合から、前記現在のブロックの前記運動ベクトル予測または運動ベクトル予測候補または運動ベクトルまたは運動ベクトル候補を決定する手段とを含み、
前記２個以上の運動ベクトルは、同一の時間的ブロックに関する、前記リスト０のリファレンス画像方向の運動ベクトルであるリスト０の運動ベクトル及び前記リスト１のリファレンス画像方向の運動ベクトルであるリスト１の運動ベクトルを有し、前記候補集合は、前記リスト０の運動ベクトル及び前記リスト１の運動ベクトルから導出されたスケール化運動ベクトルを有し、
現在のブロックの現在のリストがリスト０である時に、前記リスト０の運動ベクトルから導出された第１のスケール化運動ベクトルは、前記リスト０の運動ベクトルと同一の時間的ブロックに関する前記リスト１の運動ベクトルから導出された第２のスケール化運動ベクトルよりも高い前記優先順位を有し、
現在のブロックの現在のリストがリスト１である時に、前記リスト１の運動ベクトルから導出された第１のスケール化運動ベクトルは、前記リスト１の運動ベクトルと同一の時間的ブロックに関する前記リスト０の運動ベクトルから導出された第２のスケール化運動ベクトルよりも高い前記優先順位を有することを特徴とする装置。
ひとつ以上のリスト０のリファレンス画像とひとつ以上のリスト１のリファレンス画像から構成されるリファレンス画像群から、少なくともひとつの時間的ブロックに関連する２個以上の運動ベクトルを受信する手段と、
前記２個以上の運動ベクトルに基づいて、少なくとも二個の要素を含む候補集合を決定する手段と、
優先順位で、前記候補集合を配置する手段と、
前記優先順位に従って、前記候補集合から、前記現在のブロックの前記運動ベクトル予測または運動ベクトル予測候補または運動ベクトルまたは運動ベクトル候補を決定する手段とを含み、
前記２個以上の運動ベクトルは、同一の時間的ブロックに関する、前記リスト０のリファレンス画像方向の運動ベクトルであるリスト０の運動ベクトル及び前記リスト１のリファレンス画像方向の運動ベクトルであるリスト１の運動ベクトルを有し、前記候補集合は、前記リスト０の運動ベクトル及び前記リスト１の運動ベクトルから導出されたスケール化運動ベクトルを有し、
現在のブロックの現在のリストがリスト０である時に、前記リスト０の運動ベクトルから導出された第１のスケール化運動ベクトルは、前記リスト０の運動ベクトルと同一の時間的ブロックに関する前記リスト１の運動ベクトルから導出された第２のスケール化運動ベクトルよりも高い前記優先順位を有し、
現在のブロックの現在のリストがリスト１である時に、前記リスト１の運動ベクトルから導出された第１のスケール化運動ベクトルは、前記リスト１の運動ベクトルと同一の時間的ブロックに関する前記リスト０の運動ベクトルから導出された第２のスケール化運動ベクトルよりも高い前記優先順位を有することを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、２０１０年７月１２日に出願された「Video coding methods for B-frame referencing co-located motion vector」と題された米国特許仮出願番号第６１／３６３５５７号と、２０１１年１月１１日に出願された「Improved advanced motion vector prediction」と題された米国特許仮出願番号第６１／４３１４５４号とから優先権を主張する。米国特許仮出願は引用によって本願に援用される。
【0002】
本発明は、ビデオ符号化に関するものである。特に、本発明は、運動ベクトル予測に関連する符号化技術に関するものである。
【背景技術】
【0003】
ビデオ符号化システムにおいて、空間と時間冗長性が、空間と時間予測を用いて十分に引き出され、伝送される情報を減少させる。空間と時間予測は、それぞれ、同じ画像とリファレンス画像からデコードされた画素を利用して、符号化される現在の画素の予測を生じる。従来のコーディングシステムにおいて、空間と時間予測に関連するサイド情報が伝送されなければならず、これは、圧縮されたビデオデータのあるバンド幅を占用する。時間予測の運動ベクトルの伝送は、特に、低ビットレートアプリケーションで、圧縮されたビデオデータの目立つ部分を必要とする。運動ベクトルに関連するビットレートをさらに減少させるため、近年、運動ベクトル予測(ＭＶＰ)と称される技術がビデオ符号化の領域中に用いられて来た。ＭＶＰ技術は、空間的および時間的に、隣接する運動ベクトル間の統計余剰性を有効に使う。
【0004】
ＭＶＰが用いられる時、現在の運動ベクトルの予測が選択され、運動ベクトル自身に代わって、運動ベクトル剰余が伝送されて、運動ベクトル伝送に関連するビットレートを節約する。ＭＶＰスキームが閉ループ配置に応用され、デコードされた情報に基づいて、予測がデコーダーで導出されており、伝送されなければならないサイド情報がない。あるいは、サイド情報は、明示的に、ビットストリーム中で伝送されて、デコーダーに、選択された運動ベクトル予測のタイプについて通知する。ＭＶＰがインター符号化ブロックに用いられて、バンド幅を節約し、ＳＫＩＰおよびＤＩＲＥＣＴ符号化ブロックが用いられて、実質的に、内在するブロックのビットレートを減少させる。従来の時間的ＭＶＰにおいて、予測は、通常、前のフレーム／画像中の単一候補、たとえば、共同設置された運動ベクトルに基づく。前のフレーム／画像中の共同設置された運動ベクトルが存在しない場合、現在のブロックの予測は可用ではない。ＭＶＰのパフォーマンスを改善して、コーディングシステムのビットレートを減少させることが望ましい。この改善は、さらに精確な予測を提供し、予測の可用性を改善できるＭＶＰを設計することにより達成される。さらに、ＭＶＰは閉ループ方法で操作することが望まれ、よって、サイド情報が不要である、または、最小サイド情報だけが必要である。
【発明の概要】
【課題を解決するための手段】
【0005】
画像中の現在のブロックの運動ベクトル予測装置と方法が開示される。本発明による一具体例において、運動ベクトル予測の装置と方法は、ひとつ以上の将来のリファレンス画像とひとつ以上の過去のリファレンス画像に関連する２個以上の運動ベクトルから構成される群から、少なくともひとつの時間的ブロックを受信する工程と、２個以上の運動ベクトルに基づいて、少なくとも二個の要素を含む候補集合を決定する工程と、優先順位で候補集合を配置する工程と、優先順位に従って、候補集合から、現在のブロックの運動ベクトル予測または運動ベクトル予測候補または運動ベクトルまたは運動ベクトル候補を決定する工程と、を含む。本発明による一具体例で、優先順位は予め定義され、本発明による別の具体例において、優先順位は、適応的方法に従って決定される。本発明の別の具体例において、２個以上の運動ベクトルに基づいて、候補集合を決定する工程は、さらに、２個以上の運動ベクトルに対応するスケール化運動ベクトルを導出する工程を含む。本発明による各種具体例において、候補集合は、２個以上の運動ベクトル、スケール化運動ベクトルまたはそれらの組み合わせから選択される。本発明による各種具体例において、適応的方法は、前のブロックの再構成された運動ベクトルの統計、現在のブロックのパーティションタイプ、運動ベクトルの相互関係、運動ベクトルの方向、運動ベクトルの距離および時間的運動ベクトルの場合、運動ベクトルが現在のブロックを交差するか、から構成される群から選択される基準に基づく。本発明による別の具体例において、スケール化運動ベクトルから用いられる時、適応的方法は、スケール化運動ベクトルの方向が、補間か補外かに基づく。
【0006】
本発明による別の具体例において、運動ベクトル予測の装置と方法は、第一リファレンス画像リストから、少なくともひとつの時間的ブロックに関連する２個以上の運動ベクトルを受信する工程と、２個以上の運動ベクトルに基づいて、少なくとも二個の要素を含む候補集合を決定する工程と、優先順位で候補集合を配置する工程と、優先順位に従って、候補集合から、現在のブロックの運動ベクトル予測または運動ベクトル予測候補または運動ベクトルまたは運動ベクトル候補を決定する工程と、を含む。優先順位に関連する情報は、シーケンスヘッダー、画像ヘッダーまたはスライスヘッダーに取り込まれる。第一リファレンス画像リストは、リスト０リファレンス画像またはリスト１リファレンス画像である。
【図面の簡単な説明】
【0007】
【図1】（従来の技術）Ｂスライス符号化中のＤＩＲＥＣＴモード予測の運動ベクトルスケーリングを示す図である。
【図2】第一前項Ｂ画像の共同設置された運動ベクトルに基づいたＢスライス符号化の運動ベクトルスケーリングを示す図である。
【図3】（従来の技術）所定の優先順位を有するリスト０とリスト１リファレンス画像中、共同設置ブロックの運動ベクトルを用いた運動ベクトル予測の例を示す図である。
【図10A】現在のリストがリスト０に等しく、且つ、RefIdxL0=0リファレンス画像の時、現在のブロックに導出されるスケール化運動ベクトルを用いた運動ベクトル予測の例を示す図である。
【図10B】現在のリストがリスト１に等しく、且つ、RefIdxL1=0リファレンス画像の時、現在のブロックに導出されるスケール化運動ベクトルを用いた運動ベクトル予測の例を示す図である。
【図15A】現在のリストがリスト０に等しく、且つ、RefIdxL0=0リファレンス画像の時、現在のブロックに導出されるスケール化運動ベクトルと、リスト０とリスト１リファレンス画像からの共同設置ブロックの非スケール化運動ベクトルを用いた運動ベクトル予測の例を示す図である。
【図15B】現在のリストがリスト１に等しく、且つ、RefIdxL1=0リファレンス画像の時、現在のブロックに導出されるスケール化運動ベクトルと、リスト０とリスト１リファレンス画像から、共同設置ブロックの非スケール化運動ベクトルを用いた運動ベクトル予測の例を示す図である。
【発明を実施するための形態】
【0008】
ビデオ符号化システムにおいて、空間と時間冗長性は、空間と時間予測を用いて、有効に利用されて、伝送されるビットレートを減少させる。空間予測は、同じ画素からデコードされた画素を利用して、符号化される現在の画素の予測を形成する。空間予測は、多くの場合、H.264/AVCイントラ符号化中の輝度信号のブロックバイブロック原理（block by block basis）、たとえば、16×16または4×4ブロックで操作する。動画像列において、隣接する画像は、通常、多くの類似性を有し、且つ、イメージ差だけの利用は、静的背景領域に関連する伝送情報を効果的に減少させることができる。にもかかわらず、動画像列中の移動物体は実体残留を生じ、また、高いビットレートで、剰余を符号化する必要がある。運動補償予測(ＭＣＰ)は、動画像列で、時間的相互関係を有効に使う一般的技術である。
【0009】
運動補償予測が前向き予測方法に用いられ、デコードされた画像または表示順で、現在の画像より前の画像を用いて、現在の画像ブロックが予測される。前向き予測に加え、後向き予測も用いられて、運動補償予測のパフォーマンスを改善する。後向き予測は、デコードされた画像または表示順で、現在の画像の後の画像を用いる。初版のH.264/AVCは２００３年に成立され、前向き予測および後向き予測は、それぞれ、リスト０予測およびリスト１予測に拡張され、リスト０とリスト１両方は、表示順で、現在の画像より前か後の複数のリファレンス画像を含む。以下で、デフォルトリファレンス画像リスト再構成を記述する。リスト０において、現在の画像より前のリファレンス画像は、現在の画像より後のものより、低いリファレンス画像インデックスを有する。リスト１において、現在の画像の後のリファレンス画像は、現在の画像の前よりも、低いリファレンス画像インデックスを有する。リスト０とリスト１両方に対し、前述の規則を適用後、時間的距離も、リファレンス画像インデックスを決定すると考えられる。一般的に言えば、現在の画像に近いリファレンス画像は、低リファレンス画像インデックスを有する。たとえば、現在の画像が画像５、且つ、画像０、２、４、６および８がリファレンス画像で、数字は表示順を示すと仮定する。リスト０のリファレンス画像は、上行性のリファレンス画像インデックスを有し、インデックスは、０から開始され、４、２、０、６および８である。リスト１リファレンス画像は上行性のリファレンス画像インデックスを有し、インデックスは、０から開始され、６、８、４、２および０である。インデックスが０に等しいリファレンス画像は共同設置画像と称され、画像５を現在の画像とするこの例において、画像６はリスト１の共同設置画像、画像４はリスト０の共同設置画像である。リスト０またはリスト１の共同設置画像中のブロックが、現在の画像中の現在のブロックと同じブロック位置を有する時、リスト０またはリスト１の共同設置ブロックと称されるか、または、リスト０またはリスト１中の共同設置ブロックと称される。早期のビデオ基準、たとえば、MPEG-1、MPEG-2およびMPEG-4中、動き推定モードに用いられるユニットは、最初は、マクロブロックに基づく。H.264/AVCにおいて、１６×１６マクロブロックは、動き推定の１６×１６、１６×８、８×１６および８×８ブロックに区分される。さらに、８×８ブロックは、動き推定のために、８×８、８×４、４×８および４×４ブロックに分割される。開発中の高効率ビデオ符号化(ＨＥＶＣ)基準に対し、動き推定/補償モードのユニットは予測ユニット(ＰＵ)と称され、ＰＵは、階層的に、最大ブロックサイズに区分される。ＭＣＰタイプは、H.264/AVC基準で、各スライスに選択される。運動補償予測がリスト０予測に制限されるスライスはＰ-スライスと称される。Ｂ-スライスに対し、リスト０予測に加え、運動補償予測は、リスト１予測と双方向予測も含む。
【0010】
ビデオ符号化システムにおいて、運動ベクトルおよび符号化剰余がデコーダーに伝送されて、デコーダー側でビデオを再構成する。さらに、フレキシブルなリファレンス画像構造を有するシステムにおいて、選択されたリファレンス画像に関連する情報も伝送されなければならない。運動ベクトルの伝送は、特に、低ビットレートアプリケーションまたは運動ベクトルが小ブロックまたは高運動精度に関連するシステムで、伝送されたビットレートの目立つ部分を要求する。運動ベクトルに関連するビットレートをさらに減少するため、近年、運動ベクトル予測(ＭＶＰ)と称される技術は、ビデオ符号化の領域に用いられている。ＭＶＰ技術は、空間的および時間的に、隣接する運動ベクトル間の統計余剰性を有効に使う。ＭＶＰが用いられる時、現在の運動ベクトルの予測が選択され、運動ベクトル剰余、即ち、運動ベクトルと予測間の差異が伝送される。ＭＶＰスキームは閉ループ配置に適用され、デコードされた情報に基づいて、予測がデコーダーで導出され、伝送されなければならないサイド情報がない。または、サイド情報は、ビットストリームで、明示的に伝送され、デコーダーに、選択される運動ベクトル予測のタイプを通知する。
【0011】
H.264/AVC基準において、Ｐスライス中、マクロブロックの従来のイントラおよびインターモードに加え、ＳＫＩＰモードもある。伝送される量子化されたエラー信号、運動ベクトル、参照インデックスパラメータがないので、ＳＫＩＰモードは、大圧縮を達成する非常に効果的な方法である。ＳＫＩＰモード中で、ただひとつの１６×１６マクロブロックに必要な情報は信号で、用いられるＳＫＩＰモードを示し、これにより、実質的なビットレート還元が達成される。ＳＫＩＰマクロブロックを再構成するのに用いられる運動ベクトルは、マクロブロックの運動ベクトル予測に類似する。H.264/AVC基準において、４個の異なるタイプのインター予測は、リスト０、リスト１、双予測およびＤＩＲＥＣＴ予測を含むＢスライスをサポートし、リスト０とリスト１は、それぞれ、リファレンス画像グループ０とグループ１を用いた予測を参照する。双予測モードに対し、予測信号は、動き補償リスト０とリスト１予測信号の加重平均により形成される。ＤＩＲＥＣＴ予測モードは、前に伝送された構文要素から推定され、リスト０またはリスト１予測または双予測である。よって、ＤＩＲＥＣＴモードにおいて、運動ベクトルの情報を伝送する必要がない。量子化されたエラー信号の伝送がない場合については、ＤＩＲＥＣＴマクロブロックモードはＢＳＫＩＰモードと称され、ブロックは効果的に符号化される。
【0012】
開発中のＨＥＶＣにおいて、H.264/AVC上の運動ベクトル予測のある改善が考慮される。本開示において、過去および／または将来のリファレンス画像における時間的ブロックに基づいたＢフレーム／画像/スライスの運動ベクトル予測システムと方法が開示される。現在のブロックの運動ベクトルは、過去および／または将来のリファレンス画像中の時間的ブロックの運動ベクトルにより効果的に予測され、よって、運動ベクトルの符号化効果が改善される。時間的運動ベクトルは、現在のブロックの予測の候補と見なされ、候補が優先順位で配置される。高い優先順位を有する候補は、低い優先順位を有する候補より前の予測と見なされる。ＭＶＰ導出に基づいた優先の長所は、現在のブロックの時間的ＭＶＰ候補が存在する機会を増加させることである。たとえば、従来のビデオ符号化システムは、前のフレーム／画像中の共同設置された運動ベクトルだけを候補と見なす。候補が存在しない場合、コーディングシステムは、共同設置ブロックのＭＶＰ候補が利用できないと見なす。よって、ＭＶＰ候補の可用性を増加して、コーディングシステムのコーディング効果を改善することが望まれる。
【0013】
H.264/AVC基準において、時間的ＤＩＲＥＣＴモードがＢスライスに用いられ、Ｂスライス中の現在のブロック１１０の運動ベクトルは、図１に示されるように、第一リスト１リファレンス画像中の共同設置ブロック１２０の運動ベクトルから導き出される。時間的ＤＩＲＥＣＴモードの運動ベクトル導出は、Tourapis等により執筆された“Direct Mode Coding for Bipredictive Slices in the H.264 Standard”（IEEE Trans. on Circuits and systems for Video Technology, Vol. 15, No. 1, pp.119-126, Jan. 2005）中に記述されている。第一リスト１参照の共同設置ブロックの運動ベクトルは、ベクトルＭＶとして示される。現在のブロックの運動ベクトルは、リスト０リファレンス画像およびリスト１リファレンス画像に関して、ベクトルＭＶＬ０とベクトルＭＶＬ１として示される。現在の画像およびリスト０リファレンス画像間の時間的距離はTDB、および、リスト０リファレンス画像およびリスト１リファレンス画像間の時間的距離はTDDとして示される。現在のブロックの運動ベクトルは以下に従って導出される。【数1】
【数2】
【数3】
【数4】
【数5】
【数6】
【0014】
その他の従来の技術において、Laroche等による“RD Optimized Coding for Motion Vector Predictor Selection”（IEEE Trans. on Circuits and systems for Video Technology, on Circuits and Systems for Video Technology, Vol. 18, No. 12, pp.1681-1691, Dec. 2008）で、運動ベクトル競合に基づいた運動ベクトル予測選択が開示される。運動ベクトル競合スキームは、ＲＤ最適化を用いて、運動ベクトル予測候補から、最高の運動ベクトル予測を決定する。たとえば、図２に示されるように、時間的運動ベクトル予測候補は、リスト１共同設置画像Ref1中の共同設置ブロックに対応するリスト０の運動ベクトル、および、リスト０共同設置画像、B-1中の共同設置ブロックのリスト０とリスト１の運動ベクトルを含む。リスト１共同設置画像Ref1中の共同設置ブロックに対応するリスト０の運動ベクトルは、H.264/AVC基準で定義されるのと同じ方法で計算される。【数7】
【数8】
【0015】
リスト０の共同設置画像、B-1中の共同設置ブロックのリスト０とリスト１の運動ベクトルは、現在のブロックの運動ベクトル予測を導出するのに用いられる。前向きP-画像を指す画像Ｂ-１中に、共同設置された運動ベクトルｍｖｃｏｌＢ−１Ｌ０だけが存在する場合、動き予測ｍｖ３Ｌ０およびｍｖ３Ｌ１が、以下に従って計算される。【数9】
【数10】
【0016】
運動ベクトルｍｖｃｏｌＢ−１Ｌ１は図２中に示され、ｄＬＯＢ−１は、前向きP-フレームとフレームB-1間の時間的距離である。後向き予測の場合において、予測ｍｖ４Ｌ０ とｍｖ４Ｌ１は以下に従って計算される。【数11】
【数12】
【0017】
運動ベクトルｍｖｃｏｌＢ−１Ｌ０は、図２に示される過去のP-フレームを指す画像Ｂ-１中の共同設置された運動ベクトルである。運動ベクトルｍｖｃｏｌＢ−１Ｌ０とｍｖｃｏｌＢ−１Ｌ１の可用性に基づいて、等式(7)-(12)中の対応する予測は現在のブロックにも用いることができ、ＲＤ最適化が適用されて、最高の運動ベクトル予測を選択する。Laroche等による運動ベクトル予測スキームは、デコーダー側に伝送されるサイド情報を必要とし、選択される特定の運動ベクトル予測を示す。選択された運動ベクトル予測に関連するサイド情報の伝送はあるバンド幅を消耗する。運動ベクトル競合スキームが有効であろうが無効であろうが、時間的運動ベクトル予測は、運動ベクトル剰余の減少に有益である。時間的運動ベクトル予測技術を発展させて、運動ベクトル競合が用いられない時、時間的運動ベクトル予測を増加させ、同時に、運動ベクトル競合が用いられる時、時間的運動ベクトル予測候補を増加させることが望まれる。さらに、増強された時間的運動ベクトル予測が、余分なサイド情報または最小追加サイド情報を有さないことも望まれる。
【0018】
従って、画像中の現在のブロックの運動ベクトル予測技術が開発された。本発明の運動ベクトル予測技術は、現在のブロックの運動ベクトル予測、運動ベクトル予測候補、運動ベクトルまたは運動ベクトル候補の決定に用いることができる。この技術は、将来と過去のリファレンス画像から、時間的ブロックに関連する運動ベクトルを用いて、予測の候補とし、優先順位に従って、予測を選択する。図３は、優先順位に従った過去と将来のリファレンス画像中の共同設置ブロックの運動ベクトルを用いた運動ベクトル予測の例を示す図である。図３に用いられる将来の画像の例は、０に等しいリファレンス画像インデックスRefIdxL1を有するリスト１に属する画像で、この画像は、“l”と表記される。図３中に用いられる過去の画像の例は、０に等しいリファレンス画像インデックスRefIdxL0を有するリスト０に属する画像で、この画像は“j”と表記される。さらに、現在の画像は“k”と表記され、RefIdeL0>1を有するリスト０に属する画像は“i”と表記され、RefIdeL1>1を有するリスト１に属する画像は“m”と表記される。現在のブロック３１０の運動ベクトルmvL0とmvL1は、優先順位に従って、それぞれ、画像jの共同設置ブロック３２０と画像の共同設置ブロック３３０の運動ベクトルmvL0j,mvL1j,mvL0lおよびmvL1lから決定される。運動ベクトルmvL0jとmvL1jは、それぞれ、リスト０中の画像とリスト１中の画像を指す画像jの共同設置ブロック３２０の運動ベクトルを参照する。運動ベクトルmvL0lとmvL1lは、それぞれ、リスト０中の画像とリスト１中の画像を指す画像lの共同設置ブロック３３０の運動ベクトルを参照する。これらの運動ベクトル候補は優先順位で配列されるので、予測が選択される。
【0019】
図４は、図３の４個の運動ベクトル候補の所定の優先順位の例を示す。現在のブロック３１０の将来と過去のリファレンス画像中、共同設置された運動ベクトルに基づいて、リスト０中のリファレンス画像を用いた運動ベクトル予測の決定は以下のようである。mvL0lが存在し、且つ、対応するリファレンス画像(pic.id=i-1)が現在の画像のリスト０の場合、
mvL0=mvL0l(reference pic.id=i-1);
mvL1jが存在し、且つ、対応するリファレンス画像(pic.id=m)が現在の画像のリスト０の場合、
mvL0=mvL1j(reference pic.id=m);
mvL0jが存在し、且つ、対応するリファレンス画像(pic.id=j)が現在の画像のリスト０の場合、
mvL0=mvL0j(reference pic.id=j);
mvL1lが存在し、且つ、対応するリファレンス画像(pic.id=l)が現在の画像のリスト０の場合、
mvL0=mvL1l(reference pic.id=l);
そうでなければ、
mvL0は、可用ではない。
上述の所定の優先順位は、リスト０のリファレンス画像と予測の候補を使用して、現在のブロック３１０の運動ベクトル予測または運動ベクトル予測候補mvL0を決定することが、リスト０とリスト１リファレンス画像中の共同設置された運動ベクトルに基づく例を示す。当業者は、別の所定の優先順位を用いて、同様か同類の目的を達成することができる。
【0020】
図５は、図３の４個の運動ベクトル候補の所定の優先順位の別の例を示す図である。現在のブロック３１０の将来と過去のリファレンス画像中、共同設置された運動ベクトルに基づいて、リスト１中のリファレンス画像を用いた運動ベクトル予測の決定は以下のようである。mvL1jが存在し、且つ、対応するリファレンス画像(pic.id=m)が現在の画像のリスト１の場合、
mvL1=mvL1j(reference pic.id=m);
mvL0lが存在し、且つ、対応するリファレンス画像(pic.id=i-1)が現在の画像のリスト１の場合、
mvL1=mvL0l(reference pic.id=i-1);
mvL1lが存在し、且つ、対応するリファレンス画像(pic.id=l)が現在の画像のリスト１の場合、
mvL1=mvL1l(reference pic.id=l);
mvL0jが存在し、且つ、対応するリファレンス画像(pic.id=j)が現在の画像のリスト１の場合、
mvL1=mvL0j(reference pic.id=j);
そうでなければ、
mvL1は、可用ではない。
上述の所定の優先順位は、リスト１中のリファレンス画像と予測の候補を用いて、現在のブロック３１０の運動ベクトル予測または運動ベクトル予測候補mvL1を決定することが、リスト０とリスト１リファレンス画像中の共同設置された運動ベクトルに基づく例を示す。当業者は、別の所定の優先順位を用いて、同様か同類の目的を達成することができる。
【0021】
全部で４個のベクトルは、現在のブロックの予測または予測候補の候補として見なされるが、全ての運動ベクトル候補が用いられるのではない。たとえば、図６に示されるように、リスト０中のリファレンス画像を用いて、図３中の４個の運動ベクトルの３個が用いられて、現在のブロック３１０の運動ベクトル予測または運動ベクトル予測候補を決定する。mvL0lが存在し、且つ、対応するリファレンス画像が現在の画像のリスト０の場合、
mvL0=mvL0l(reference pic.id=i-1);
mvL1jが存在し、且つ、対応するリファレンス画像が現在の画像のリスト０の場合、
mvL0=mvL1j(reference pic.id=m);
mvL0jが存在し、且つ、対応するリファレンス画像が現在の画像のリスト０の場合、
mvL0=mvL0j(reference pic.id=j);
そうでなければ、
mvL0は、可用ではない。
【0022】
同様に、図７に示されるように、リスト１中のリファレンス画像を用いて、図３中の４個の運動ベクトルの３個が用いられて、現在のブロック３１０の運動ベクトル予測または運動ベクトル予測候補を決定する。mvL1jが存在し、且つ、対応するリファレンス画像が現在の画像のリスト１の場合、
mvL1=mvL1j(reference pic.id=m);
mvL0lが存在し、且つ、対応するリファレンス画像が現在の画像のリスト１の場合、
mvL1=mvL0l(reference pic.id=i-1);
mvL1lが存在し、且つ、対応するリファレンス画像が現在の画像のリスト１の場合、
mvL1=mvL1l(reference pic.id=l);
そうでなければ、
mvL1は、可用ではない。
【0023】
別の例において、図８に示されるように、リスト０中のリファレンス画像を用いて、図３中の４個の運動ベクトルの２個が用いられて、現在のブロック３１０の運動ベクトル予測または運動ベクトル予測候補を決定する。mvL0lが存在し、且つ、対応するリファレンス画像が現在の画像のリスト０の場合、
mvL0=mvL0l(reference pic.id=i-1);
mvL1jが存在し、且つ、対応するリファレンス画像が現在の画像のリスト０の場合、
mvL0=mvL1j(reference pic.id=m);
そうでなければ、
mvL0は、可用ではない。
【0024】
同様に、図９に示されるように、リスト１中のリファレンス画像を用いて、図３中の４個の運動ベクトルの２個が用いられて、現在のブロック３１０の運動ベクトル予測または運動ベクトル予測候補を決定する。mvL1jが存在し、且つ、対応するリファレンス画像が現在の画像のリスト１の場合、
mvL1=mvL1j(reference pic.id=m);
mvL0lが存在し、且つ、対応するリファレンス画像が現在の画像のリスト１の場合、
mvL1=mvL0l(reference pic.id=i-1);
そうでなければ、
mvL1は、可用ではない。
【0025】
リスト０リファレンス画像からの時間的ブロックに関連する少なくともひとつの運動ベクトル、および、リスト１リファレンス画像からの時間的ブロックに関連する少なくともひとつの運動ベクトルを用いて、現在のブロックの運動ベクトル予測または運動ベクトル予測候補を決定することに限定されない。ある別の具体例において、優先順位がビットストリーム、たとえば、シーケンスヘッダー、画像ヘッダーまたはスライスヘッダーに取り込まれる、および、現在のブロック３１０の運動ベクトル予測または運動ベクトル予測候補は、優先順位に従って、リスト１共同設置ブロック３３０に関連する２個の運動ベクトルmvL0lとmvL1lから決定される。別の例において、現在のブロック３１０の運動ベクトル予測または運動ベクトル予測候補は、シーケンスヘッダー、画像ヘッダーまたはスライスヘッダーに取り込まれる優先順位に従って、リスト０共同設置ブロック３２０に関連する２個の運動ベクトルmvL0jとmvL1jから決定される。
【0026】
上述の例は、RefIdxL1=0の未来とRefIdxL0=0の過去のリファレンス画像の共同設置された運動ベクトルを、現在のブロックの運動ベクトル予測の候補または運動ベクトル予測候補の候補値とし、対応リファレンス画像のスケール化の共同設置された運動ベクトルも候補として用いられる。運動ベクトルスケーリングの方法は、図１と図２に既に記述され、関連する文章を有する。同じスケーリング方法は、本発明のスケール化運動ベクトルを導出するのに用いられる。図１０Ａは、現在のリストがリスト０で、且つ、RefIdxL0=0の時のリスト０とリスト１の共同設置ブロックのスケール化運動ベクトルに基づいた運動ベクトル予測の例を示す図である。mvL0l,mvL1j,mvL0j,およびmvL1lに対応するスケール化運動ベクトルは、それぞれ、１００２、１００４、１００６および１００８と表記される。スケール化運動ベクトルは、リスト０またはリスト１共同設置された運動ベクトルをスケーリングすることによる現在のブロックとRefIdxL0=0のリスト０中のリファレンス画像間の運動ベクトルを示す。よって、mvL0l,mvL1j,mvL0jとmvL1lを、運動ベクトル予測の候補または運動ベクトル予測候補の候補値として用いるのに代わって、スケール化運動ベクトル１００２、１００４、１００６および１００８が、運動ベクトル予測の候補または運動ベクトル予測候補の候補値として用いられる。スケール化運動ベクトルは、非スケール化運動ベクトルより、好ましい予測を提供する。図１０Ｂは、現在のリストがリスト１で、且つ、RefIdxL1=0の時のリスト０とリスト１共同設置ブロックのスケール化運動ベクトルに基づいた運動ベクトル予測の例を示す図である。mvL1j,mvL0l,mvL1lおよびmvL0jに対応するスケール化運動ベクトルは、それぞれ、１０１２、１０１４、１０１６および１０１８として表記される。スケール化運動ベクトルは、リスト０またはリスト１の共同設置運動のスケーリングによる現在のブロックとRefIdxL1=0のリスト１中のリファレンス画像間の運動ベクトルを示す。よって、mvL1j,mvL0l,mvL1lとmvL0jを、運動ベクトル予測の候補または運動ベクトル予測候補の候補値とするのに代わって、スケール化運動ベクトル１０１２、１０１４、１０１６および１０１８は、運動ベクトル予測の候補または運動ベクトル予測候補の候補値として用いられる。スケール化運動ベクトルは、非スケール化運動ベクトルよりも好ましい予測を提供する。
【0027】
非スケール化運動ベクトルの場合と類似して、所定の優先順位は、リスト０の運動ベクトル予測のスケール化運動ベクトルに割り当てられる。リスト０のリファレンス画像インデックスRefIdxL0は、黙示的に導出されるかまたは明示的にビットストリームで伝送される。現在のリストが、リスト０およびRefIdxL0=0の場合、図１０Ａのスケール化運動ベクトルの所定の優先順位が図１１に示される。運動ベクトル予測または運動ベクトル予測候補が、以下の優先順位に従って決定される。mvL0lが存在する場合、
mvL0=スケール化mvL0l(motion vector 1002);
mvL1jが存在する場合、
mvL0=スケール化mvL1j(motion vector 1004);
mvL0jが存在する場合、
mvL0=スケール化mvL0j(motion vector 1006);
mvL1lが存在する場合、
mvL0=スケール化mvL1l(motion vector 1008);
そうでなければ、
mvL0は、可用ではない。
【0028】
別の具体例において、現在のブロック３１０の運動ベクトル予測または運動ベクトル予測候補を導出するリスト０運動ベクトル予測(現在のリストはリスト０およびRefIdxL0=0)は、以下の優先順位に従って決定される。mvL0lが存在する場合、
mvL0=スケール化mvL0l(motion vector 1002);
mvL1lが存在する場合、
mvL0=スケール化mvL1l(motion vector 1008);
そうでなければ、
mvL0は、可用ではない。
この場合、リスト１の共同設置ブロック３３０に関連するスケール化運動ベクトルだけが考慮される。優先順位に関連する情報は、シーケンスヘッダー、画像ヘッダーまたはスライスヘッダーに取り込まれる。
【0029】
リスト０の運動ベクトル予測(現在のリストはリスト０およびRefIdxL0=0)のさらに別の具体例は、以下の優先順位に従って、現在のブロック３１０の運動ベクトル予測または運動ベクトル予測候補を決定する。mvL1jが存在する場合、
mvL0=スケール化mvL1j(motion vector 1004);
mvL0jが存在する場合、
mvL0=スケール化mvL0j(motion vector 1006);
そうでなければ、
mvL0は、可用ではない。
この場合、リスト０の共同設置ブロック３２０に関連するスケール化運動ベクトルだけが考慮される。優先順位に関連する情報は、シーケンスヘッダー、画像ヘッダーまたはスライスヘッダーに取り込まれる。
【0030】
所定の優先順位が、リスト１の運動ベクトル予測のスケール化運動ベクトルにも割り当てられる。リスト１のリファレンス画像インデックスRefIdxL1が、黙示的に導出されるかまたは明示的にビットストリーム中で伝送される。現在のリストが、リスト１、且つ、RefIdxL1=0の場合、図１０Ｂのスケール化運動ベクトルの所定の優先順位は図１２に示される。運動ベクトル予測または運動ベクトル予測候補は、以下の優先順位に従って決定される。mvL1jが存在する場合、
mvL1=スケール化mvL1j;
mvL0lが存在する場合、
mvL1=スケール化mvL0l;
mvL1lが存在する場合、
mvL1=スケール化mvL1l;
mvL0jが存在する場合、
mvL1=スケール化mvL0j;
そうでなければ、
mvL1は、可用ではない。
同様に、リスト１の運動ベクトル予測(現在のリストは、リスト１、且つ、RefIdxL1=0)は、ビットストリームに取り込まれる所定の優先順位に従って、リスト０の共同設置ブロック３２０(つまり、運動ベクトル１０１２と１０１８)に関連するスケール化運動ベクトルだけを考慮し、または、ビットストリームに取り込まれる所定の優先順位に従って、リスト１の共同設置ブロック３３０(つまり、運動ベクトル１０１４と１０１６)に関連するスケール化運動ベクトルだけを考慮する。
【0031】
図１１または図１２中、２または３個のスケール化運動ベクトルを、運動ベクトル予測の候補または運動ベクトル予測候補の候補値として選択し、現在のブロックの運動ベクトル予測または運動ベクトル予測候補が、優先順位に従って、候補から決定される可能性がある。たとえば、候補は、図１１の２個の運動ベクトル１００２と１００４を含み、優先順位に従って、運動ベクトル１００４前に、運動ベクトル１００２が考慮される。別の具体例において、候補は、図１２の３個の運動ベクトル１０１２、１０１４および１０１６を含み、優先順位に従って、運動ベクトル１０１２がまず考慮され、次に、運動ベクトル１０１４、最後に、運動ベクトル１０１６が考慮される。
【0032】
前述のように、図１１の例は、リスト０とリスト１の共同設置された運動ベクトルに対応する全スケール化運動ベクトルを、運動ベクトル予測の候補または運動ベクトル予測候補の候補値と見なし、候補は、リスト０またはリスト１中の共同設置ブロックに対応するスケール化運動ベクトルだけに制限される。前述のように、リスト０のリファレンス画像インデックスRefIdxL0は、黙示的に導出されるかまたは明示的にビットストリーム中で伝送される。現在のリストが、リスト０およびRefIdxL0=0の場合、リスト１中の共同設置ブロックに関連するスケール化運動ベクトルだけが、候補と見なされる。この場合の所定の優先順位の例が図１３に示される。各予測ユニット(ＰＵ)中で、現在のリストがリスト０の情報が組み込まれるまたは定義される。運動ベクトル予測または運動ベクトル予測候補は、以下の優先順位に従って決定される。mvL0lが存在する場合、
mvL0=スケール化mvL0l;
mvL1lが存在する場合、
mvL0=スケール化mvL1l;
そうでなければ、
mvL0は、可用ではない。
【0033】
上述の例において、リスト０中の共同設置ブロックに関連する運動ベクトルだけが候補と見なされる場合、この場合の所定の優先順位の例が図１４に示される。運動ベクトル予測または運動ベクトル予測候補は、以下の優先順位に従って決定される。mvL1jが存在する場合、
mvL0=スケール化mvL1j;
mvL0jが存在する場合、
mvL0=スケール化mvL0j;
そうでなければ、
mvL0は、可用ではない。
【0034】
上述の例において、運動ベクトル予測は、リスト０とリスト１の共同設置された運動ベクトルのスケール化運動ベクトルか非スケール化運動ベクトルに基づく。リスト０とリスト１の共同設置された運動ベクトルのスケール化運動ベクトルと非スケール化運動ベクトルが結合されて、運動ベクトル予測に更なる選択を提供する。図１５Ａは、スケール化運動ベクトルと非スケール化運動ベクトルを用いた運動ベクトル予測の例を示す図である。現在のブロック３１０と、画像id=jのリスト０中のリファレンス画像間のスケール化運動ベクトル１００２、１００４、１００６および１００８、および、将来と過去のリファレンス画像中の共同設置ブロックの非スケール化運動ベクトルmvL0l,mvL1j,mvL0jおよびmvL1l両方が、運動ベクトル予測または運動ベクトル予測候補の候補として用いられる。図１５Ｂは、スケール化運動ベクトルと非スケール化運動ベクトルを用いた運動ベクトル予測の例を示す図である。現在のブロック３１０と画像id=lのリスト１中のリファレンス画像間のスケール化運動ベクトル１０１２、１０１４、１０１６および１０１８、および、非スケール化運動ベクトルmvL1j,mvL0l,mvL1lとmvL0jは、運動ベクトル予測または運動ベクトル予測候補の候補として用いられる。
【0035】
図１６は、図１５Ａに示される将来と過去のリファレンス画像中の共同設置ブロックのスケール化運動ベクトルと、非スケール化運動ベクトル両方を、運動ベクトル予測の候補とした運動ベクトル予測の例を示す図である。運動ベクトル予測の候補または運動ベクトル予測候補は、現在のブロック３１０と画像id=jのリスト０中のリファレンス画像間のスケール化運動ベクトル１００２、１００４、１００６および１００８を含み、将来と過去のリファレンス画像中の共同設置ブロックの非スケール化運動ベクトルmvL0l,mvL1j,mvL0jとmvL1lは、運動ベクトル予測の候補または運動ベクトル予測候補の候補値として用いられる。予測または予測候補の決定は、以下の所定の優先順位に従う。mvL0lが存在し、且つ、対応するリファレンス画像(pic.id=i-1)が現在の画像のリスト０の場合、
mvL0=mvL0l(reference pic.id=i-1);
そうでなければ、
mvL0=スケール化mvL0l(reference pic.id=j);
mvL1jが存在し、且つ、対応するリファレンス画像(pic.id=m+1)が現在の画像のリスト０の場合、
mvL0=mvL1j(reference pic.id=m+1);
そうでなければ、
mvL0=スケール化mvL1j(reference pic.id=j);
mvL0jが存在し、且つ、対応するリファレンス画像(pic.id=j)が現在の画像のリスト０の場合、
mvL0=mvL0j(reference pic.id=j);
そうでなければ、
mvL0=スケール化mvL0j(reference pic.id=j);
mvL1lが存在し、且つ、リファレンス画像(pic.id=l)が現在の画像のリスト０の場合、
mvL0=mvL1l(reference pic.id=l);
そうでなければ、
mvL0=スケール化mvL1l(reference pic.id=j);
そうでなければ、
mvL0は、可用ではない。
【0036】
図１７は、図１５Ｂに示される将来と過去のリファレンス画像中の共同設置ブロックのスケール化運動ベクトルと非スケール化運動ベクトル両方を、運動ベクトル予測の候補とする運動ベクトル予測の例を示す図である。運動ベクトル予測の候補または運動ベクトル予測候補の候補値は、現在のブロック３１０と画像id=lのリスト１中のリファレンス画像間のスケール化運動ベクトル１０１２、１０１４、１０１６および１０１８を含み、将来と過去のリファレンス画像中の共同設置ブロックの非スケール化運動ベクトルmvL0l,mvL1j,mvL0j,およびmvL1lは、運動ベクトル予測の候補または運動ベクトル予測候補の候補値として用いられる。予測または予測候補の決定は、以下の所定の優先順位に従う。mvL1jが存在し、且つ、対応するリファレンス画像(id=m+1)が現在の画像のリスト１の場合、
mvL1=mvL1j(reference pic.id=m+1);
そうでなければ、
mvL1=スケール化mvL1j(reference pic.id=l);
mvL0lが存在し、且つ、対応するリファレンス画像(id=i-1)が現在の画像のリスト１の場合、
mvL1=mvL0l(reference pic.id=i-1);
そうでなければ、
mvL1=スケール化mvL0l(reference pic.id=l);
mvL1lが存在し、且つ、対応するリファレンス画像(pic.id=l)が現在の画像のリスト１の場合、
mvL1=mvL1l(reference pic.id=l);
そうでなければ、
mvL1=スケール化mvL1l(reference pic.id=l);
mvL0jが存在し、且つ、対応するリファレンス画像(pic.id=j)が現在の画像のリスト１の場合、
mvL1=mvL0j(reference pic.id=j);
そうでなければ、
mvL1=スケール化mvL0j(reference pic.id=l);
そうでなければ、
mvL1は、可用ではない。
【0037】
所定の優先順位に従った運動ベクトル予測の上述の例において、対応する優先順位が各例に用いられて、運動ベクトル候補から、運動ベクトル予測または運動ベクトル予測候補を決定するプロセスを説明する。用いられる特定の優先順位は、本発明を限定するものではない。当業者は、運動ベクトル候補の異なる優先順位を選択して、本発明を実行することができる。さらに、上述の例は、候補中の運動ベクトルの順序が、所定の優先順位に従って決定され、候補の優先順位は、適応的方法に従って実行されることを説明する。適合優先順位スキームは、前のブロックの再構成された運動ベクトルの統計、現在のブロックのパーティションタイプ、運動ベクトルの相互関係、運動ベクトルの方向、スケール化運動ベクトルの方向が補間か補外か、運動ベクトルの距離または時間的運動ベクトルの場合、運動ベクトルが現在のブロックを横切るか否かに基づく。また、適応的方法は、上述の２個以上の要素の組み合わせにも基づく。
【0038】
前のブロックの再構成された運動ベクトルの統計が適応的方法に用いられる時、例として、統計は運動ベクトル候補の計算に関連する。優先順位は運動ベクトル候補の計算に適合し、高い計数を有する運動ベクトル候補は、運動ベクトル予測に高い優先度を割り当てる。現在のブロックのパーティションタイプが適応的方法に用いられる時、たとえば、サイズ2Nx2Nの現在の符号化ユニットが、サイズNx2Nの２個の長方形の予測ユニットに分割され、且つ、現在のブロックが左予測ユニットの場合、現在の符号化ユニットの左隣接に非常に類似する運動ベクトルは、高い優先性が割り当てられる。サイズ2Nx2Nの現在の符号化ユニットが、２個のサイズNx2Nの長方形の予測ユニットに分割され、現在のブロックが右予測ユニットである場合、現在の符号化ユニットの右隣接に非常に類似する運動ベクトルは、高い優先度が割り当てられる。運動ベクトルの相互関係が適応的方法に用いられる時、高い相互関係を有する運動ベクトルは、高い優先度が割り当てられる。たとえば、優先リスト中の２個の運動ベクトルが厳密に同じである場合、運動ベクトルは、高い相互関係があると見なされる。運動ベクトルの方向が適応的方法に用いられる時、例として、ターゲットリファレンス画像の方向を指す運動ベクトルが高優先度を有するように割り当てられる。補間か補外であるスケール化ＭＶの方向が適応的方法に用いられる時、たとえば、補間のプロセスを有するスケール化運動ベクトルが、高い優先度を有するように割り当てられる。運動ベクトルの距離が適応的方法に用いられる時、たとえば、現在のブロックからターゲットリファレンス画像の運動ベクトルの短い時間的距離は、高い優先度を有するように割り当てられる。時間的運動ベクトルの被覆領域が適応的方法に用いられる時、現在のブロック上の運動ベクトルの被覆領域は、高い優先度を有するように割り当てられる。
【0039】
注意すべきことは、本発明は、インターモードに適用されるだけでなく、ＳＫＩＰ、ＤＩＲＥＣＴおよび融合モードにも適用されることである。インターモードにおいて、現在のリストを与え、運動ベクトル予測が用いられて、ＰＵの運動ベクトルを予測し、運動ベクトル剰余が伝送される。運動ベクトル競合スキームが用いられないとき、本発明は、運動ベクトル予測の導出に適用される、または、運動ベクトルスキームが用いられる時、運動ベクトル予測候補の導出に適用される。ＳＫＩＰ、ＤＩＲＥＣＴおよび融合にとって、それらは、インターモードの特殊なケースと見なされ、運動ベクトル剰余は伝送されず、常に、０と推論される。これらの場合において、運動ベクトル競合スキームが用いられない時、本発明が運動ベクトルの導出に適用される、または、運動ベクトルスキームが用いられない時、運動ベクトル候補の導出に適用される。
【0040】
本発明の具体例による運動ベクトル予測は、各種ハードウェア、ソフトウェアコードまたはそれらの組み合わせで実行される。たとえば、本発明の具体例は、ビデオ圧縮チップに整合される回路またはビデオ圧縮ソフトウェアに整合されるプログラムコードで、記述された処理を実行する。本発明の具体例は、デジタルシグナルプロセッサ(ＤＳＰ)上で実行されるプログラムコードで、記述される処理を実行する。本発明は、コンピュータプロセッサ、デジタル信号プロセッサ、マイクロプロセッサまたはフィールドプログラマブルゲートアレイ(ＦＰＧＡ)により実行される多くの機能を含む。これらのプロセッサが設定されて、本発明により具体化された特定の方法を定義する機械読み取り可能ソフトウェアコードまたはファームウェアコードを実行することにより、本発明に従う特定のタスクを実行する。ソフトウェアコードまたはファームウェアコードは、異なるプログラミング言語および異なるフォーマットやスタイルで発展する。ソフトウェアコードは、異なるターゲットプラットフォームにコンパイルできる。しかし、本発明によるタスクを実行するソフトウェアコードの異なるコードフォーマット、スタイルと言語と設定コードの別の手段は、本発明の精神と領域を逸脱しない。
【0041】
本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変動や潤色を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。