▶ ベイジン ダージャー インターネット インフォメーション テクノロジー カンパニー リミテッドの特許一覧
特許7447322ビデオ符号化復号化における長期参照画像のための制約付き動きベクトル導出
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-01
(45)【発行日】2024-03-11
(54)【発明の名称】ビデオ符号化復号化における長期参照画像のための制約付き動きベクトル導出
(51)【国際特許分類】
H04N 19/577 20140101AFI20240304BHJP
H04N 19/58 20140101ALI20240304BHJP
H04N 19/513 20140101ALI20240304BHJP
H04N 19/109 20140101ALI20240304BHJP
H04N 19/159 20140101ALI20240304BHJP
H04N 19/176 20140101ALI20240304BHJP
【ＦＩ】
H04N19/577
H04N19/58
H04N19/513
H04N19/109
H04N19/159
H04N19/176
【請求項の数】
14
【外国語出願】
(21)【出願番号】P 2023009229
(22)【出願日】2023-01-25
(62)【分割の表示】P 2021548645の分割
【原出願日】2020-02-19
(65)【公開番号】P2023055778
(43)【公開日】2023-04-18
【審査請求日】2023-02-24
(31)【優先権主張番号】62/808,271
(32)【優先日】2019-02-20
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521147444
【氏名又は名称】ベイジン ダージャー インターネット インフォメーション テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＤＡＪＩＡ ＩＮＴＥＲＮＥＴ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100203264
【弁理士】
【氏名又は名称】塩川 未久
(72)【発明者】
【氏名】チェン イーウェン
(72)【発明者】
【氏名】シュウ シャオユウ
(72)【発明者】
【氏名】ワン シエンリン
(72)【発明者】
【氏名】マー ツン－チュアン
【審査官】久保 光宏
(56)【参考文献】
【文献】Jianle Chen, et al.，"Algorithm Description of Joint Exploration Test Model 7 (JEM 7)"，Document: JVET-G1001-v1, [online]，JVET-G1001 (version 1)，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2017年08月19日，Pages 12,13,23-27，[令和4年6月16日検索], インターネット, <URL: http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=3286> and <URL: http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/7_Torino/wg11/JVET-G1001-v1.zip>.
【文献】村上 篤道（外２名）編，「高効率映像符号化技術 HEVC/H.265とその応用」，第１版，日本，株式会社オーム社，2013年02月25日，第１０９～１１６頁，ISBN: 978-4-274-21329-8.
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
ＣＳＤＢ（日本国特許庁）
学術文献等データベース（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
ビデオフレームを複数のブロックに分割することと、
インター予測モードにおける復号化処理に関与するインターモード符号化されたブロックに関連する参照画像の１つまたは複数が長期参照画像であるかどうかを決定することと、
前記決定に基づいて、前記インターモード符号化されたブロックについてインター予測モードにおける復号化処理中の動作を制約することと、
を含み、
ビデオ復号化のための前記インター予測モードにおける復号化処理が双方向光流（ＢＤＯＦ）処理を含み、且つ前記インターモード符号化されたブロックが双方向予測ブロックである場合、
前記決定に基づいて前記インターモード符号化されたブロックについてインター予測モードにおける復号化処理中の動作を制約することは、
前記双方向予測ブロックの一方の参照画像が長期参照画像であり、前記双方向予測ブロックの他方の参照画像が長期参照画像ではないと決定したことに応じて、ＢＤＯＦの実行を禁止すること
を含む、ビデオ符号化のための方法。
【請求項2】
インター予測モードにおける復号化処理がデコーダ側動きベクトル微細化（ＤＭＶＲ）処理を含み、且つ前記インターモード符号化されたブロックが双方向予測ブロックである場合、前記決定に基づいて前記インターモード符号化されたブロックについてインター予測モードにおける復号化処理中の動作を制約することは、
前記双方向予測ブロックの一方の参照画像が長期参照画像であり、前記双方向予測ブロックの他方の参照画像が長期参照画像ではないと決定したことに応じて、ＤＭＶＲの実行を禁止すること
を含む、請求項１に記載の方法。
【請求項3】
インター予測モードにおける復号化処理が、動きベクトル差によるマージモード（ＭＭＶＤ）候補のための導出処理を含む場合、前記決定に基づいて前記インターモード符号化されたブロックについてインター予測モードにおける復号化処理中の動作を制約することは、
前記インターモード符号化されたブロックの少なくとも１つの参照画像が長期参照画像であり、さらに、基本動きベクトルが双方向動きベクトルである場合に、最終的なＭＭＶＤ候補の導出におけるスケーリング処理を禁止すること
を含む、請求項１に記載の方法。
【請求項4】
インター予測モードにおける復号化処理がサブブロックに基づく時間的動きベクトル予測（ＳｂＴＭＶＰ）を含み、且つ前記インターモード符号化されたブロックがＳｂＴＭＶＰ符号化されたブロックである場合、前記決定に基づいて前記インターモード符号化されたブロックについてインター予測モードにおける復号化処理中の動作を制約することは、
前記ＳｂＴＭＶＰ符号化されたブロックについての動きベクトル候補のための導出処理において、時間的動きベクトル予測（ＴＭＶＰ）符号化されたブロックについての動きベクトル候補のための導出処理に対する制限と同じものを使用すること
を含む、請求項１に記載の方法。
【請求項5】
前記ＴＭＶＰ符号化されたブロックおよび前記ＳｂＴＭＶＰ符号化されたブロックの両方について使用される動きベクトル候補のための導出処理に対する制限は、目標参照画像及び時間的隣接ブロックのための参照画像からなる２つの参照画像のうち、一方の参照画像が長期参照画像であり、他方の参照画像が長期参照画像ではない場合に、前記時間的隣接ブロックの動きベクトルを無効と見なすこと、
を含む、請求項４に記載の方法。
【請求項6】
前記ＴＭＶＰ符号化されたブロックおよび前記ＳｂＴＭＶＰ符号化されたブロックの両方について使用される動きベクトル候補のための導出処理に対する制限は、目標参照画像及び時間的隣接ブロックのための参照画像の両方が長期参照画像である場合に、前記時間的隣接ブロックの前記動きベクトルについてスケーリング処理の動作を禁止し、前記時間的隣接ブロックの前記動きベクトルを現在のブロックのための動きベクトル予測として直接使用することと、
を含む、請求項４に記載の方法。
【請求項7】
１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサに接続されている非一時的なメモリと、
前記非一時的なメモリに格納されている複数のプログラムと、
を含み、
前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、コンピューティング装置に、
ビデオフレームを複数のブロックに分割することと、
インター予測モードにおける復号化処理に関与するインターモード符号化されたブロックに関連する参照画像の１つまたは複数が長期参照画像であるかどうかを決定することと、
前記決定に基づいて、前記インターモード符号化されたブロックについて前記インター予測モードにおける復号化処理中の動作を制約することと、
を含むビデオ符号化のための方法を実行させ、
インター予測モードにおける復号化処理がＢＤＯＦ処理を含み、且つ前記インターモード符号化されたブロックが双方向予測ブロックである場合、
前記決定に基づいて前記インターモード符号化されたブロックについてインター予測モードにおける復号化処理中の動作を制約することは、
前記双方向予測ブロックの一方の参照画像が長期参照画像であり、前記双方向予測ブロックの他方の参照画像が長期参照画像ではないと決定したことに応じて、ＢＤＯＦの実行を禁止すること
を含む、コンピューティング装置。
【請求項8】
インター予測モードにおける復号化処理がＤＭＶＲ処理を含み、且つ前記インターモード符号化されたブロックが双方向予測ブロックである場合、前記決定に基づいて前記インターモード符号化されたブロックについてインター予測モードにおける復号化処理中の動作を制約することは、
前記双方向予測ブロックの一方の参照画像が長期参照画像であり、前記双方向予測ブロックの他方の参照画像が長期参照画像ではないと決定した場合に、ＤＭＶＲの実行を禁止すること、
を含む、請求項７に記載のコンピューティング装置。
【請求項9】
インター予測モードにおける復号化処理が、ＭＭＶＤ候補のための導出処理を含む場合、前記決定に基づいて前記インターモード符号化されたブロックについてインター予測モードにおける復号化処理中の動作を制約することは、
前記インターモード符号化されたブロックの少なくとも１つの参照画像が長期参照画像であり、さらに、基本動きベクトルが双方向動きベクトルである場合に、最終的なＭＭＶＤ候補の導出におけるスケーリング処理を禁止すること
を含む、請求項７に記載のコンピューティング装置。
【請求項10】
インター予測モードにおける復号化処理がサブブロックに基づく時間的動きベクトル予測（ＳｂＴＭＶＰ）を含み、且つ前記インターモード符号化されたブロックがＳｂＴＭＶＰ符号化されたブロックである場合、前記決定に基づいて前記インターモード符号化されたブロックについてインター予測モードにおける復号化処理中の動作を制約することは、
前記ＳｂＴＭＶＰ符号化されたブロックについての動きベクトル候補のための導出処理において、従来のＴＭＶＰ符号化されたブロックについての動きベクトル候補のための導出処理に対する制限と同じものを使用すること
を含む、請求項７に記載のコンピューティング装置。
【請求項11】
前記ＴＭＶＰ符号化されたブロックおよび前記ＳｂＴＭＶＰ符号化されたブロックの両方について使用される動きベクトル候補のための導出処理に対する制限は、目標参照画像及び時間的隣接ブロックのための参照画像からなる２つの参照画像のうち、一方の参照画像が長期参照画像であり、他方の参照画像が長期参照画像ではない場合に、前記時間的隣接ブロックの動きベクトルを無効と見なすこと
を含む、請求項１０に記載のコンピューティング装置。
【請求項12】
前記ＴＭＶＰ符号化されたブロックおよび前記ＳｂＴＭＶＰ符号化されたブロックの両方について使用される動きベクトル候補のための導出処理に対する制限は、目標参照画像及び時間的隣接ブロックのための参照画像の両方が長期参照画像である場合に、前記時間的隣接ブロックの前記動きベクトルについてスケーリング処理の動作を禁止し、前記時間的隣接ブロックの前記動きベクトルを現在のブロックのための動きベクトル予測として直接使用することと、
を含む、請求項１０に記載のコンピューティング装置。
【請求項13】
１つまたは複数のプロセッサを有するコンピューティング装置によって実行される複数のプログラムを格納している非一時的なコンピュータ読取可能な記憶媒体であって、前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、前記コンピューティング装置に、ビットストリームを受信し、このビットストリームに基いて請求項１から６のいずれか一項に記載のビデオ符号化のための方法を実行させる、非一時的なコンピュータ読取可能な記憶媒体。
【請求項14】
コンピュータに、請求項１から６のいずれか一項に記載のビデオ符号化のための方法を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本出願は、２０１９年２月２０日に提出された米国仮出願第６２／８０８２７１号に対
する優先権を主張するものであり、この特許出願の明細書全体を参照によって本願明細書
に引用する。
する優先権を主張するものであり、この特許出願の明細書全体を参照によって本願明細書
に引用する。
【技術分野】
【0002】
本開示は、全般的にビデオ符号化復号化及び圧縮に関する。特に、長期参照画像のための
動きベクトル導出に対する制約を使用してビデオ符号化復号化を実行するためのシステム
及び方法に関する。
動きベクトル導出に対する制約を使用してビデオ符号化復号化を実行するためのシステム
及び方法に関する。
【背景技術】
【0003】
ここでは、本開示に関連する背景情報を提供する。ここに含まれる情報は、必ずしも従来
技術として解釈されるべきではない。
技術として解釈されるべきではない。
【0004】
ビデオデータは、各種なビデオ符号化復号化技術のいずれかによって圧縮されることがで
きる。ビデオ符号化復号化は、１つまたは複数のビデオ符号化標準に従って実行すること
ができる。例示的なビデオ符号化復号化標準には、多用途ビデオ符号化（ＶＶＣ：Versat
ile Video Coding）、共同探査試験モデル（ＪＥＭ：Joint Exploration Test Model）符
号化、高効率ビデオ符号化（Ｈ.２６５/ＨＥＶＣ：High Efficiency Video Coding）、高
度なビデオ符号化（Ｈ.２６４/ＡＶＣ：Advanced Video Coding）、及び動画専門家グル
ープ（ＭＰＥＧ：Moving picture Experts Group）を含む。
きる。ビデオ符号化復号化は、１つまたは複数のビデオ符号化標準に従って実行すること
ができる。例示的なビデオ符号化復号化標準には、多用途ビデオ符号化（ＶＶＣ：Versat
ile Video Coding）、共同探査試験モデル（ＪＥＭ：Joint Exploration Test Model）符
号化、高効率ビデオ符号化（Ｈ.２６５/ＨＥＶＣ：High Efficiency Video Coding）、高
度なビデオ符号化（Ｈ.２６４/ＡＶＣ：Advanced Video Coding）、及び動画専門家グル
ープ（ＭＰＥＧ：Moving picture Experts Group）を含む。
【0005】
ビデオ符号化復号化では、一般に、ビデオ画像またはシーケンスに固有の冗長性による予
測方法（例えば、インター予測、イントラ予測など）を利用する。ビデオ符号化復号化技
術の目標の一つは、ビデオ品質の低下を回避または最小限に抑えながら、ビデオデータを
より低ビットレートでのフォームに圧縮することである。
測方法（例えば、インター予測、イントラ予測など）を利用する。ビデオ符号化復号化技
術の目標の一つは、ビデオ品質の低下を回避または最小限に抑えながら、ビデオデータを
より低ビットレートでのフォームに圧縮することである。
【0006】
ビデオ符号化復号化に利用される予測方法は、通常、空間的（フレーム内）予測及び／又
は時間的（フレーム間）予測を実行して、ビデオデータに固有の冗長性を低減または削除
することを含み、ブロックに基づくビデオ符号化復号化に関連付けられている。
は時間的（フレーム間）予測を実行して、ビデオデータに固有の冗長性を低減または削除
することを含み、ブロックに基づくビデオ符号化復号化に関連付けられている。
【0007】
ブロックに基づくビデオ符号化では、入力ビデオ信号がブロックごとに処理される。各ブ
ロック（符号化ユニット（ＣＵ：coding unit）とも呼ばれる）について、空間的予測お
よび／または時間的予測が実行されることができる。
ロック（符号化ユニット（ＣＵ：coding unit）とも呼ばれる）について、空間的予測お
よび／または時間的予測が実行されることができる。
【0008】
空間的予測（「イントラ予測」とも呼ばれる）は、現在のブロックを、同じビデオ画像
／スライス内のすでに符号化された隣接ブロックのサンプル（参照サンプルとも呼ばれる
）からの画素を使用して予測する。空間的予測は、ビデオ信号に固有の空間冗長性を低減
する。
／スライス内のすでに符号化された隣接ブロックのサンプル（参照サンプルとも呼ばれる
）からの画素を使用して予測する。空間的予測は、ビデオ信号に固有の空間冗長性を低減
する。
【0009】
時間的予測（「インター予測」または「動き補償予測」とも呼ばれる）は、現在のブロッ
クを、すでに符号化されたビデオ画像からの再構成の画素を使用して予測する。時間的予
測は、ビデオ信号に固有の時間的冗長性を低減する。特定のＣＵのための時間的予測信号
は、通常、現在のＣＵとその時間的参照との間の動きの量及び方向を示す１つまたは複数
の動きベクトル（ＭＶ：motion vector）によって信号で通知される。また、複数の参照
画像が支持されている場合、時間的予測信号が参照画像記憶部内のどの参照画像からのも
のであるかを識別するための１つの参照画像インデックは、追加的に送信される。
クを、すでに符号化されたビデオ画像からの再構成の画素を使用して予測する。時間的予
測は、ビデオ信号に固有の時間的冗長性を低減する。特定のＣＵのための時間的予測信号
は、通常、現在のＣＵとその時間的参照との間の動きの量及び方向を示す１つまたは複数
の動きベクトル（ＭＶ：motion vector）によって信号で通知される。また、複数の参照
画像が支持されている場合、時間的予測信号が参照画像記憶部内のどの参照画像からのも
のであるかを識別するための１つの参照画像インデックは、追加的に送信される。
【0010】
空間的および／または時間的予測の後、エンコーダにおけるモード決定ブロックは、例え
ば、レート歪み最適化方法に基づいて、最良の予測モードを選択する。次に、予測ブロッ
クが現在のブロックから差し引かれる；予測残差は、変換によって非相関化され、定量化
される。定量化された残差係数は、逆定量化および逆変換されて再構成の残差を形成し、
この再構成の残差は、次に予測ブロックに追加されてこのブロックの再構成された信号を
形成する。
ば、レート歪み最適化方法に基づいて、最良の予測モードを選択する。次に、予測ブロッ
クが現在のブロックから差し引かれる；予測残差は、変換によって非相関化され、定量化
される。定量化された残差係数は、逆定量化および逆変換されて再構成の残差を形成し、
この再構成の残差は、次に予測ブロックに追加されてこのブロックの再構成された信号を
形成する。
【0011】
空間的および／または時間的予測の後、インループフィルタリングを行い、例えば、非ブ
ロック化フィルタ、サンプル適応型オフセット（ＳＡＯ：Sample Adaptive Offset）およ
び適応型インループフィルタ（ＡＬＦ：Adaptive Loop Filter）は、再構成されたＣＵに
適用してから、再構成されたＣＵが参照画像記憶部に入れられ、将来のビデオブロックの
符号化復号化に使用される。出力ビデオビットストリームを形成するために、符号化モー
ド（インターまたはイントラ）、予測モード情報、動き情報、および定量化された残差係
数がすべてエントロピー符号化部に送信され、さらに圧縮およびパックされてビットスト
リームが形成される。
ロック化フィルタ、サンプル適応型オフセット（ＳＡＯ：Sample Adaptive Offset）およ
び適応型インループフィルタ（ＡＬＦ：Adaptive Loop Filter）は、再構成されたＣＵに
適用してから、再構成されたＣＵが参照画像記憶部に入れられ、将来のビデオブロックの
符号化復号化に使用される。出力ビデオビットストリームを形成するために、符号化モー
ド（インターまたはイントラ）、予測モード情報、動き情報、および定量化された残差係
数がすべてエントロピー符号化部に送信され、さらに圧縮およびパックされてビットスト
リームが形成される。
【0012】
復号化処理中、ビデオビットストリームは、最初にエントロピー復号化部でエントロピー
復号化される。符号化モードおよび予測情報は、空間的予測部（イントラ符号化の場合）
または時間的予測部（インター符号化の場合）に送信されて、予測ブロックを形成する。
残差変換係数は、残差ブロックを再構成するために逆定量化部及び逆変換部に送信される
。次に、予測ブロックと残差ブロックとは、一体に追加される。再構成されたブロックは
、さらにインループフィルタリングされたから、参照画像記憶部に格納されることがある
。次に、参照画像記憶部における再構成されたビデオは、送出されて表示装置を駆動した
り、将来のビデオブロックを予測するために使用されたりする。
復号化される。符号化モードおよび予測情報は、空間的予測部（イントラ符号化の場合）
または時間的予測部（インター符号化の場合）に送信されて、予測ブロックを形成する。
残差変換係数は、残差ブロックを再構成するために逆定量化部及び逆変換部に送信される
。次に、予測ブロックと残差ブロックとは、一体に追加される。再構成されたブロックは
、さらにインループフィルタリングされたから、参照画像記憶部に格納されることがある
。次に、参照画像記憶部における再構成されたビデオは、送出されて表示装置を駆動した
り、将来のビデオブロックを予測するために使用されたりする。
【0013】
ＨＥＶＣ、ＶＶＣなどのビデオ符号化標準では、参照画像セット（ＲＰＳ：reference pi
cture set）の概念は、以前に復号化された画像が参照、即ちサンプルデータ予測及び動
きベクトル予測に使用されるために、復号化画像バッファ（ＤＰＢ：decoded picture bu
ffer）でどのように管理されるかを定義する。一般に、参照画像管理のためのＲＰＳの概
念は、各スライス（現在のＶＶＣでは「タイル」（tile）とも呼ばれる）におけるＤＰＢ
のステータスを信号で通知される。
cture set）の概念は、以前に復号化された画像が参照、即ちサンプルデータ予測及び動
きベクトル予測に使用されるために、復号化画像バッファ（ＤＰＢ：decoded picture bu
ffer）でどのように管理されるかを定義する。一般に、参照画像管理のためのＲＰＳの概
念は、各スライス（現在のＶＶＣでは「タイル」（tile）とも呼ばれる）におけるＤＰＢ
のステータスを信号で通知される。
【0014】
ＤＰＢ内の画像は、「短期参照に使用されるもの」、「長期参照に使用されるもの」、ま
たは「参照に使用されないもの」としてマークされることができる。画像は、「参照に使
用されないもの」とマークされていれば、予測に使用できなくなり、出力に必要がなくな
ったときに、ＤＰＢから削除されることが可能である。
たは「参照に使用されないもの」としてマークされることができる。画像は、「参照に使
用されないもの」とマークされていれば、予測に使用できなくなり、出力に必要がなくな
ったときに、ＤＰＢから削除されることが可能である。
【0015】
一般に、長期参照画像は、通常、表示順序（すなわち、画像順序カウント（Picture Orde
r Count）またはＰＯＣと呼ばれる）の点で短期参照画像と比較して現在の画像から遠く
離れている。長期参照画像と短期参照画像との当該区別は、時間的および空間的ＭＶ予測
または暗示的加重予測における動きベクトルスケーリングなどの一部の復号化処理に影響
を与えることが可能である。
r Count）またはＰＯＣと呼ばれる）の点で短期参照画像と比較して現在の画像から遠く
離れている。長期参照画像と短期参照画像との当該区別は、時間的および空間的ＭＶ予測
または暗示的加重予測における動きベクトルスケーリングなどの一部の復号化処理に影響
を与えることが可能である。
【0016】
ＨＥＶＣおよびＶＶＣなどのビデオ符号化復号化標準では、空間的および／または時間的
動きベクトル候補を導出するとき、特定の制約が、空間的および／または時間的動きベク
トル候補の導出の一部を形成するスケーリング処理に、当該処理に関与する特定の参照画
像が長期参照画像であるかどうかに基いて設置される。
動きベクトル候補を導出するとき、特定の制約が、空間的および／または時間的動きベク
トル候補の導出の一部を形成するスケーリング処理に、当該処理に関与する特定の参照画
像が長期参照画像であるかどうかに基いて設置される。
【0017】
しかしながら、現在のＶＶＣ標準化などのビデオコーデック仕様に従って、同様の制約が
、未だインターモード符号化されたブロックの動きベクトル候補導出のためのそのような
ビデオコーデック仕様で採用される新しいインターモードビデオ符号化復号化ツールに設
置されていない。
、未だインターモード符号化されたブロックの動きベクトル候補導出のためのそのような
ビデオコーデック仕様で採用される新しいインターモードビデオ符号化復号化ツールに設
置されていない。
【発明の概要】
【0018】
ここでは、本開示の一般的な概要を提供し、その完全な範囲又はその特徴の全ての包括
的な開示ではない。
的な開示ではない。
【0019】
本開示の第１の方面に従い、ビデオ符号化復号化のための方法は、１つまたは複数のプロ
セッサおよび当該１つまたは複数のプロセッサによって実行される複数のプログラムを格
納するメモリを有するコンピューティング装置で実行される。この方法は、ビデオストリ
ーム内の各画像を複数のブロックまたは符号化ユニット（ＣＵ）に区画することを含む。
この方法は、これらのインターモード符号化されたブロックについてインターモード動き
ベクトル導出を実行することをさらに含む。この方法は、インターモード符号化されたブ
ロックについてインターモード動きベクトル導出を実行する間において特定のインターモ
ード符号化ツールを操作することをさらに含む。この方法は、インターモード符号化復号
化ツールの動作に関与するインターモード符号化されたブロックに関連する参照画像の１
つまたは複数が長期参照画像であるかどうかを決定することと、前記決定に基づいて、前
記インターモード符号化されたブロックについて前記インターモード符号化復号化ツール
の動作を制約することとをさらに含む。
セッサおよび当該１つまたは複数のプロセッサによって実行される複数のプログラムを格
納するメモリを有するコンピューティング装置で実行される。この方法は、ビデオストリ
ーム内の各画像を複数のブロックまたは符号化ユニット（ＣＵ）に区画することを含む。
この方法は、これらのインターモード符号化されたブロックについてインターモード動き
ベクトル導出を実行することをさらに含む。この方法は、インターモード符号化されたブ
ロックについてインターモード動きベクトル導出を実行する間において特定のインターモ
ード符号化ツールを操作することをさらに含む。この方法は、インターモード符号化復号
化ツールの動作に関与するインターモード符号化されたブロックに関連する参照画像の１
つまたは複数が長期参照画像であるかどうかを決定することと、前記決定に基づいて、前
記インターモード符号化されたブロックについて前記インターモード符号化復号化ツール
の動作を制約することとをさらに含む。
【0020】
本願の第２の方面に従い、コンピューティング装置は、１つまたは複数のプロセッサと、
メモリと、前記メモリに格納されている複数のプログラムと、を含む。前記プログラムは
、前記１つまたは複数のプロセッサによって実行されると、当該コンピューティング装置
に、上述のような操作を実行させる。
メモリと、前記メモリに格納されている複数のプログラムと、を含む。前記プログラムは
、前記１つまたは複数のプロセッサによって実行されると、当該コンピューティング装置
に、上述のような操作を実行させる。
【0021】
本願の第３の方面に従い、非一時的なコンピュータ読取可能な記憶媒体は、１つまたは複
数のプロセッサを有するコンピューティング装置によって実行される複数のプログラムを
格納する。前記プログラムは、前記１つまたは複数のプロセッサによって実行されると、
前記コンピューティング装置に、上述のような操作を実行させる。
数のプロセッサを有するコンピューティング装置によって実行される複数のプログラムを
格納する。前記プログラムは、前記１つまたは複数のプロセッサによって実行されると、
前記コンピューティング装置に、上述のような操作を実行させる。
【図面の簡単な説明】
【0022】
以下、本開示の示例的な、非限定的な実施形態セットを、添付の図面と結合して説明する
。当業者は、本明細書に提示された例に基づいて構造、方法、または機能の変形を実施す
ることが可能であり、そのような変形はすべて、本開示の技術的範囲内に含まれ得る。矛
盾が存在しない場合、異なる実施形態の教示は、必ずしもそうする必要はないが、互いに
組み合わせることができる。
。当業者は、本明細書に提示された例に基づいて構造、方法、または機能の変形を実施す
ることが可能であり、そのような変形はすべて、本開示の技術的範囲内に含まれ得る。矛
盾が存在しない場合、異なる実施形態の教示は、必ずしもそうする必要はないが、互いに
組み合わせることができる。
【発明を実施するための形態】
【0023】
本開示で使用される用語は、特定の例を説明しており、本開示を限定することを意図しな
い。本開示および添付の特許請求の範囲で使用される単数形「一」、「１つ」および「こ
の」は、文脈が明確に別段の指示をしない限り、複数形も含むことを意図する。ここで使
用される「および／または」という用語は、１つまたは複数の関連するリストされた項の
任意的なまたはすべての可能な組み合わせを指すことが理解されべきである。
い。本開示および添付の特許請求の範囲で使用される単数形「一」、「１つ」および「こ
の」は、文脈が明確に別段の指示をしない限り、複数形も含むことを意図する。ここで使
用される「および／または」という用語は、１つまたは複数の関連するリストされた項の
任意的なまたはすべての可能な組み合わせを指すことが理解されべきである。
【0024】
ここでは「第１」、「第２」、「第３」などの用語を使用して各種な情報を説明すること
ができるが、これらの情報はこのような用語によって限定されるべきではないことが理解
されべきである。これらの用語は、ある類の情報を別の類と区別するためにのみ使用され
る。例えば、本開示の範囲から逸脱することなく、第１の情報は、第２の情報と呼ばれる
ことが可能であり、同様に、第２の情報は、第１の情報と呼ばれることも可能である。こ
こで使用されるように、「（もし）…たら」または「（もし）…ば」、「（もし）…と」
という用語は、文脈に応じて、「…ときに」または「…に応じて」を意味することが可能
である。
ができるが、これらの情報はこのような用語によって限定されるべきではないことが理解
されべきである。これらの用語は、ある類の情報を別の類と区別するためにのみ使用され
る。例えば、本開示の範囲から逸脱することなく、第１の情報は、第２の情報と呼ばれる
ことが可能であり、同様に、第２の情報は、第１の情報と呼ばれることも可能である。こ
こで使用されるように、「（もし）…たら」または「（もし）…ば」、「（もし）…と」
という用語は、文脈に応じて、「…ときに」または「…に応じて」を意味することが可能
である。
【0025】
本明細書では、単数形または複数形で「１つの実施形態」、「実施形態」、「別の実施形
態」または類似の引用は、実施形態と結合して述べる一つまたは複数の特定の特徴、構造
または特性が本開示の少なくとも１つの実施形態に含まれることを意味する。したがって
、本明細書全体の複数の箇所に単数形または複数形で現れるフレーズ「１つの実施形態に
おいて」、「例において」、「ある実施形態において」および類似の表現は、必ずしもす
べて同じ実施形態を指すわけではない。さらに、１つまたは複数の実施形態における特定
の特徴、構造、または特性は、任意の適切な方法で組み合わせることができる。
態」または類似の引用は、実施形態と結合して述べる一つまたは複数の特定の特徴、構造
または特性が本開示の少なくとも１つの実施形態に含まれることを意味する。したがって
、本明細書全体の複数の箇所に単数形または複数形で現れるフレーズ「１つの実施形態に
おいて」、「例において」、「ある実施形態において」および類似の表現は、必ずしもす
べて同じ実施形態を指すわけではない。さらに、１つまたは複数の実施形態における特定
の特徴、構造、または特性は、任意の適切な方法で組み合わせることができる。
【0026】
概念的には、多くのビデオ符号化標準は、類似的に、背景技術で前述したものを含む。た
とえば、殆どすべてのビデオ符号化標準はブロックに基づく処理を使用し、同様のビデオ
符号化ブロック図を共有してビデオ圧縮を実現する。
とえば、殆どすべてのビデオ符号化標準はブロックに基づく処理を使用し、同様のビデオ
符号化ブロック図を共有してビデオ圧縮を実現する。
【0027】
図１は、多くのビデオ符号化復号化標準と組み合わせて使用されることが可能である例示
的なブロックに基づく混合ビデオエンコーダ１００のブロック図を示す。エンコーダ１０
０には、ビデオフレームが、複数のビデオブロックに区画されて処理を実施する。与えら
れたビデオブロックごとに、予測は、インター予測アプローチまたはイントラ予測アプロ
ーチに基づいて形成される。インター予測では、以前に再構成されたフレームからの画素
に基づいて、動き推定及び動き補償によって１つ又は複数の予測子を形成する。イントラ
予測では、現在のフレームにおける再構成された画素に基づいて予測子を形成する。モー
ド決定を通じて、現在のブロックを予測するための最良の予測子を選択することができる
。
的なブロックに基づく混合ビデオエンコーダ１００のブロック図を示す。エンコーダ１０
０には、ビデオフレームが、複数のビデオブロックに区画されて処理を実施する。与えら
れたビデオブロックごとに、予測は、インター予測アプローチまたはイントラ予測アプロ
ーチに基づいて形成される。インター予測では、以前に再構成されたフレームからの画素
に基づいて、動き推定及び動き補償によって１つ又は複数の予測子を形成する。イントラ
予測では、現在のフレームにおける再構成された画素に基づいて予測子を形成する。モー
ド決定を通じて、現在のブロックを予測するための最良の予測子を選択することができる
。
【0028】
現在のビデオブロックとその予測子との間の差を表す予測残差は、変換回路１０２に送ら
れる。そして、エントロピーの低減のために、変換係数は、変換回路１０２から定量化回
路１０４へ送られる。次に、定量化された係数は、エントロピー符号化回路１０６に供給
されて圧縮されたビデオビットストリームを生成する。図１に示すように、インター予測
回路および／またはイントラ予測回路１１２からのビデオブロック区画情報、動きベクト
ル、参照画像インデックス、およびイントラ予測モードなどの予測関連情報１１０も、エ
ントロピー符号化回路１０６を介して供給され、圧縮ビデオビットストリーム１１４に保
存される。
れる。そして、エントロピーの低減のために、変換係数は、変換回路１０２から定量化回
路１０４へ送られる。次に、定量化された係数は、エントロピー符号化回路１０６に供給
されて圧縮されたビデオビットストリームを生成する。図１に示すように、インター予測
回路および／またはイントラ予測回路１１２からのビデオブロック区画情報、動きベクト
ル、参照画像インデックス、およびイントラ予測モードなどの予測関連情報１１０も、エ
ントロピー符号化回路１０６を介して供給され、圧縮ビデオビットストリーム１１４に保
存される。
【0029】
当該エンコーダ１００では、予測の目的で画素を再構成するために、デコーダ関連回路も
必要である。最初に、予測残差は、逆定量化１１６および逆変換回路１１８を介して再構
成される。この再構成された予測残差は、ブロック予測子１２０と組み合わされて、現在
のビデオブロックのフィルタリングされていない再構成画素を生成する。
必要である。最初に、予測残差は、逆定量化１１６および逆変換回路１１８を介して再構
成される。この再構成された予測残差は、ブロック予測子１２０と組み合わされて、現在
のビデオブロックのフィルタリングされていない再構成画素を生成する。
【0030】
一般的には、符号化復号化効率および視覚的品質を改善するために、インループフィルタ
が使用される。たとえば、ＡＶＣ、ＨＥＶＣ、およびＶＶＣの現在のバージョンは、非ブ
ロック化フィルタを提供している。ＨＥＶＣでは、符号化効率をさらに向上させるために
、ＳＡＯ（サンプル適応型オフセット）と呼ばれる追加的インループフィルターが定義さ
れている。ＶＶＣ標準の現在のバージョンでは、ＡＬＦ（適応型ループフィルタ）と呼ば
れる別のインループフィルターが積極的に研究されており、最終標準に含まれている可能
性が高い。
が使用される。たとえば、ＡＶＣ、ＨＥＶＣ、およびＶＶＣの現在のバージョンは、非ブ
ロック化フィルタを提供している。ＨＥＶＣでは、符号化効率をさらに向上させるために
、ＳＡＯ（サンプル適応型オフセット）と呼ばれる追加的インループフィルターが定義さ
れている。ＶＶＣ標準の現在のバージョンでは、ＡＬＦ（適応型ループフィルタ）と呼ば
れる別のインループフィルターが積極的に研究されており、最終標準に含まれている可能
性が高い。
【0031】
これらのインループフィルター操作は選択可能である。これらの操作を実行すると、符号
化復号化効率及び視覚的な品質が向上する。一方、それらは、計算の複雑さを節約するた
めにエンコーダ１００による決定に従ってオフにされることが可能である。
化復号化効率及び視覚的な品質が向上する。一方、それらは、計算の複雑さを節約するた
めにエンコーダ１００による決定に従ってオフにされることが可能である。
【0032】
なお、これらのフィルタオプションがエンコーダ１００によってオンにされる場合、イン
トラ予測は通常、フィルタリングされていない再構成の画素に基づくものであるが、イン
ター予測はフィルタリングされた再構成の画素に基づくものである。
トラ予測は通常、フィルタリングされていない再構成の画素に基づくものであるが、イン
ター予測はフィルタリングされた再構成の画素に基づくものである。
【0033】
図２は、多くのビデオ符号化復号化標準と組み合わせて使用されることが可能である例示
的なビデオデコーダ２００を示すブロック図である。このデコーダ２００は、図１のエン
コーダ１００に存在する再構成関連部分に類似している。デコーダ２００（図２）では、
入力されたビデオビットストリーム２０１は、最初にエントロピー復号化２０２を介して
復号化されて、定量化された係数レベルおよび予測関連情報が導出される。次に、定量化
された係数レベルは、逆定量化２０４および逆変換２０６を介して処理されて、再構成さ
れた予測残差が取得される。イントラ／インターモード選択部２１２に実現されているブ
ロック予測メカニズムは、復号化された予測情報に基づいて、イントラ予測２０８または
動き補償２１０を実行するように構成される。逆変換２０６から取得された再構成の予測
残差と、ブロック予測子メカニズムによって生成された予測出力とが、加算部２１４によ
って加算されることで、フィルタリングされていない再構成の画素のセットが取得される
。インループフィルタがオンになっている場合には、フィルタリング操作がこれらの再構
成の画素に対して実行され、最終的な再構成のビデオが導出される。次に、参照画像記憶
部における再構成のビデオは、表示装置を駆動するために送出されたり、将来のビデオブ
ロックを予測するために使用されたりする。
的なビデオデコーダ２００を示すブロック図である。このデコーダ２００は、図１のエン
コーダ１００に存在する再構成関連部分に類似している。デコーダ２００（図２）では、
入力されたビデオビットストリーム２０１は、最初にエントロピー復号化２０２を介して
復号化されて、定量化された係数レベルおよび予測関連情報が導出される。次に、定量化
された係数レベルは、逆定量化２０４および逆変換２０６を介して処理されて、再構成さ
れた予測残差が取得される。イントラ／インターモード選択部２１２に実現されているブ
ロック予測メカニズムは、復号化された予測情報に基づいて、イントラ予測２０８または
動き補償２１０を実行するように構成される。逆変換２０６から取得された再構成の予測
残差と、ブロック予測子メカニズムによって生成された予測出力とが、加算部２１４によ
って加算されることで、フィルタリングされていない再構成の画素のセットが取得される
。インループフィルタがオンになっている場合には、フィルタリング操作がこれらの再構
成の画素に対して実行され、最終的な再構成のビデオが導出される。次に、参照画像記憶
部における再構成のビデオは、表示装置を駆動するために送出されたり、将来のビデオブ
ロックを予測するために使用されたりする。
【0034】
ＨＥＶＣなどのビデオ符号化復号化標準では、ブロックは、四分木に基づいて区画される
ことが可能である。現在のＶＶＣなどの新しいビデオ符号化復号化標準では、より多くの
区画方式が採用されており、四分木、二分木、または三分木に基づいて１つの符号化ツリ
ーユニット（ＣＴＵ：coding tree unit）がＣＵに区画されて、各種なローカル特性に適
応させることができる。現在のＶＶＣでは、ＣＵ、予測ユニット（ＰＵ）、および変換ユ
ニット（ＴＵ）の区別は、ほとんどの符号化モードに存在せず、各ＣＵは常に、さらなる
区画せず予測及び変換の両方の基本ユニットとして使用される。ただし、イントラサブ区
画符号化モードなどの特定の符号化モードでは、各ＣＵにまた複数のＴＵが含まれる場合
がある。マルチタイプツリー構造では、１つのＣＴＵが最初に四分木構造によって区画さ
れる。次に、各四分木リーフノードは、二分木及び三分木構造によってさらに区画される
ことができる。
ことが可能である。現在のＶＶＣなどの新しいビデオ符号化復号化標準では、より多くの
区画方式が採用されており、四分木、二分木、または三分木に基づいて１つの符号化ツリ
ーユニット（ＣＴＵ：coding tree unit）がＣＵに区画されて、各種なローカル特性に適
応させることができる。現在のＶＶＣでは、ＣＵ、予測ユニット（ＰＵ）、および変換ユ
ニット（ＴＵ）の区別は、ほとんどの符号化モードに存在せず、各ＣＵは常に、さらなる
区画せず予測及び変換の両方の基本ユニットとして使用される。ただし、イントラサブ区
画符号化モードなどの特定の符号化モードでは、各ＣＵにまた複数のＴＵが含まれる場合
がある。マルチタイプツリー構造では、１つのＣＴＵが最初に四分木構造によって区画さ
れる。次に、各四分木リーフノードは、二分木及び三分木構造によってさらに区画される
ことができる。
【0035】
【0036】
ＨＥＶＣおよび現在のＶＶＣなどのビデオ符号化復号化標準では、以前に復号化された画
像は、参照画像セット（ＲＰＳ）の概念で参照に使用されるように、復号化画像バッファ
（ＤＰＢ）で管理される。ＤＰＢ内の画像は、「短期参照に使用されるもの」、「長期参
照に使用されるもの」、または「参照に使用されないもの」としてマークできる。
像は、参照画像セット（ＲＰＳ）の概念で参照に使用されるように、復号化画像バッファ
（ＤＰＢ）で管理される。ＤＰＢ内の画像は、「短期参照に使用されるもの」、「長期参
照に使用されるもの」、または「参照に使用されないもの」としてマークできる。
【0037】
現在のブロックの所定の目標参照画像が隣接ブロックの参照画像と異なる場合には、空間
的隣接ブロックのスケーリングされた動きベクトルが現在のブロックの動きベクトル予測
子として使用されることができる。空間的動き候補のためのスケーリング処理では、スケ
ーリング係数が、現在の画像と目標参照画像との間の画像順序カウント（ＰＯＣ）距離、
および現在の画像と隣接ブロックの参照画像との間のＰＯＣ距離に基づいて算出される。
的隣接ブロックのスケーリングされた動きベクトルが現在のブロックの動きベクトル予測
子として使用されることができる。空間的動き候補のためのスケーリング処理では、スケ
ーリング係数が、現在の画像と目標参照画像との間の画像順序カウント（ＰＯＣ）距離、
および現在の画像と隣接ブロックの参照画像との間のＰＯＣ距離に基づいて算出される。
【0038】
ＨＥＶＣおよび現在のＶＶＣなどのビデオ符号化復号化標準では、特定の制約が、空間的
動き候補のためのスケーリング処理に、当該処理に関与する特定の参照画像が長期参照画
像であるかどうかに基づいて、設置される。２つの参照画像のうち、一方が長期参照画像
であり、他方が長期参照画像ではない場合には、隣接ブロックのＭＶが無効と見なされる
。２つの参照画像が両方とも長期参照画像である場合には、この２つの長期参照画像の間
のＰＯＣ距離が通常大きいであり、したがってスケーリングされたＭＶが非信頼的である
可能性があるため、空間的隣接ブロックのＭＶが現在のブロックのＭＶＰとして直接使用
され、スケーリング処理が禁止される。
動き候補のためのスケーリング処理に、当該処理に関与する特定の参照画像が長期参照画
像であるかどうかに基づいて、設置される。２つの参照画像のうち、一方が長期参照画像
であり、他方が長期参照画像ではない場合には、隣接ブロックのＭＶが無効と見なされる
。２つの参照画像が両方とも長期参照画像である場合には、この２つの長期参照画像の間
のＰＯＣ距離が通常大きいであり、したがってスケーリングされたＭＶが非信頼的である
可能性があるため、空間的隣接ブロックのＭＶが現在のブロックのＭＶＰとして直接使用
され、スケーリング処理が禁止される。
【0039】
同様に、時間的動き候補のためのスケーリング処理では、現在の画像と目標参照画像との
間のＰＯＣ距離、および並列画像と時間的隣接ブロック（並列ブロックとも呼ばれる）の
参照画像との間のＰＯＣ距離に基づいて、スケーリング係数が算出される。
間のＰＯＣ距離、および並列画像と時間的隣接ブロック（並列ブロックとも呼ばれる）の
参照画像との間のＰＯＣ距離に基づいて、スケーリング係数が算出される。
【0040】
ＨＥＶＣおよび現在のＶＶＣなどのビデオ符号化復号化標準では、特定の制約が、時間的動き候補のためのスケーリング処理に、当該処理に関与する特定の参照画像が長期参照画像であるかどうかに基づいて、設置される。２つの参照画像のうち、一方が長期参照画像であり、他方が長期参照画像ではない場合には、隣接ブロックのＭＶが無効と見なされる。２つの参照画像が両方とも長期参照画像である場合には、この２つの長期参照画像の間のＰＯＣ距離が通常大きいであり、したがってスケーリングされたＭＶが非信頼的である可能性があるため、時間的隣接ブロックのＭＶが現在のブロックのＭＶＰとして直接使用され、スケーリング処理が禁止される。
【0041】
現在のＶＶＣなどの新しいビデオ符号化復号化標準では、新しいインターモード符号化復
号化ツールが導入されており、新しいインターモード符号化ツールのいくつかの例は、双
方向光流（ＢＤＯＦ）、デコーダ側動きベクトル微細化（ＤＭＶＲ）、ＭＶＤによるマー
ジモード（ＭＭＶＤ）、対称的ＭＶＤ（ＳＭＶＤ）、加重平均化による双予測（ＢＷＡ：
Bi-prediction with Weighted Averaging）、ペアワイズ平均化マージ候補導出、および
サブブロックに基づく時間的動きベクトル予測（ＳｂＴＭＶＰ）。
号化ツールが導入されており、新しいインターモード符号化ツールのいくつかの例は、双
方向光流（ＢＤＯＦ）、デコーダ側動きベクトル微細化（ＤＭＶＲ）、ＭＶＤによるマー
ジモード（ＭＭＶＤ）、対称的ＭＶＤ（ＳＭＶＤ）、加重平均化による双予測（ＢＷＡ：
Bi-prediction with Weighted Averaging）、ペアワイズ平均化マージ候補導出、および
サブブロックに基づく時間的動きベクトル予測（ＳｂＴＭＶＰ）。
【0042】
ビデオ符号化復号化における従来の双予測は、すでに再構成された参照画像から得られた
２つの時間的予測ブロックの単純な組み合わせである。ただし、ブロックに基づく動き補
償の制限により、２つの予測ブロックのサンプル間で残りの小さな動きを観察できる可能
性があるので、動き補償された予測の効率が低下する。この課題を解決するために、ＢＤ
ＯＦが現在のＶＶＣに適用されて、１つのブロック内のサンプルごとに対するそのような
動きの影響を低減する。
２つの時間的予測ブロックの単純な組み合わせである。ただし、ブロックに基づく動き補
償の制限により、２つの予測ブロックのサンプル間で残りの小さな動きを観察できる可能
性があるので、動き補償された予測の効率が低下する。この課題を解決するために、ＢＤ
ＯＦが現在のＶＶＣに適用されて、１つのブロック内のサンプルごとに対するそのような
動きの影響を低減する。
【0043】
図４は、ＢＤＯＦ処理の例である。ＢＤＯＦは、双予測が使用されている場合に、ブロッ
クに基く動き補償予測の上で実行されるサンプルごとの動き微細化である。各４×４サブ
ブロックの動き微細化は、ＢＤＯＦが当該サブブロックの周りの１つの６×６窓内に適用
された後、参照画像リスト０（Ｌ０）予測サンプルと参照画像リスト１（Ｌ１）予測サン
プルとの間の差を最小化することで算出される。そのように導出された動き微細化に基づ
いて、ＣＵの最終的な双予測サンプルは、光流モデルに基づいて動き軌跡に沿ってＬ０/
Ｌ１予測サンプルを補間することで算出される。
クに基く動き補償予測の上で実行されるサンプルごとの動き微細化である。各４×４サブ
ブロックの動き微細化は、ＢＤＯＦが当該サブブロックの周りの１つの６×６窓内に適用
された後、参照画像リスト０（Ｌ０）予測サンプルと参照画像リスト１（Ｌ１）予測サン
プルとの間の差を最小化することで算出される。そのように導出された動き微細化に基づ
いて、ＣＵの最終的な双予測サンプルは、光流モデルに基づいて動き軌跡に沿ってＬ０/
Ｌ１予測サンプルを補間することで算出される。
【0044】
ＤＭＶＲは、最初に信号で通知され、さらに双マッチング予測により微細化されることが
できる２つのＭＶを持つマージブロックのための双予測技術である。
できる２つのＭＶを持つマージブロックのための双予測技術である。
【0045】
図５は、ＤＭＶＲで使用される双マッチングの示例である。双マッチングは、２つの異な
る参照画像で現在のＣＵの動き軌跡に沿って２つのブロック間の最も近いマッチを見つけ
ることで、現在のＣＵの動き情報を導出するためのものである。マッチング処理で使用さ
れるコスト関数は、行サブサンプリングされた絶対差の合計（ＳＡＤ：sum of absolute
difference）である。マッチング処理が完了した後、微細化されたＭＶは、予測段階での
動き補償、非ブロックフィルタでの境界強度演算、後続の画像のための時間的動きベクト
ル予測、および後続のＣＵのためのクロスＣＴＵ空間的動きベクトル予測に使用される。
連続的な動き軌跡とすると、２つの参照ブロックへの動きベクトルＭＶ０およびＭＶ１は
、現在の画像と２つの参照画像との間の時間的距離、すなわちＴＤ０およびＴＤ１に比例
するべきである。特別な場合として、現在の画像が２つの参照画像の間に時間的にあり、
現在の画像から当該２つの参照画像までの時間的距離が同じであれば、双マッチングはミ
ラーに基づく双方向ＭＶになる。
る参照画像で現在のＣＵの動き軌跡に沿って２つのブロック間の最も近いマッチを見つけ
ることで、現在のＣＵの動き情報を導出するためのものである。マッチング処理で使用さ
れるコスト関数は、行サブサンプリングされた絶対差の合計（ＳＡＤ：sum of absolute
difference）である。マッチング処理が完了した後、微細化されたＭＶは、予測段階での
動き補償、非ブロックフィルタでの境界強度演算、後続の画像のための時間的動きベクト
ル予測、および後続のＣＵのためのクロスＣＴＵ空間的動きベクトル予測に使用される。
連続的な動き軌跡とすると、２つの参照ブロックへの動きベクトルＭＶ０およびＭＶ１は
、現在の画像と２つの参照画像との間の時間的距離、すなわちＴＤ０およびＴＤ１に比例
するべきである。特別な場合として、現在の画像が２つの参照画像の間に時間的にあり、
現在の画像から当該２つの参照画像までの時間的距離が同じであれば、双マッチングはミ
ラーに基づく双方向ＭＶになる。
【0046】
現在のＶＶＣは、既存のマージモードに加えてＭＭＶＤを導入した。既存のマージモード
では、暗示的に導出された動き情報が、現在のＣＵの予測サンプル生成に直接使用される
。ＭＭＶＤモードでは、あるマージ候補が選択された後、信号で通知されたＭＶＤ情報に
よってこのマージ候補がさらに微細化される。
では、暗示的に導出された動き情報が、現在のＣＵの予測サンプル生成に直接使用される
。ＭＭＶＤモードでは、あるマージ候補が選択された後、信号で通知されたＭＶＤ情報に
よってこのマージ候補がさらに微細化される。
【0047】
ＭＭＶＤフラグは、スキップフラグおよびマージフラグが送信された直後には、ＭＭＶＤ
モードがＣＵに使用されるかどうかを指定するために、信号で通知される。ＭＭＶＤモー
ド情報には、マージ候補フラグ、動きの度合いを指定する距離インデックス、および動き
の方向を示す方向インデックスが含まれる。
モードがＣＵに使用されるかどうかを指定するために、信号で通知される。ＭＭＶＤモー
ド情報には、マージ候補フラグ、動きの度合いを指定する距離インデックス、および動き
の方向を示す方向インデックスが含まれる。
【0048】
ＭＭＶＤモードでは、マージリストの最初の２つの候補のうちの１つだけが先頭ＭＶとし
て選択されることは許可され、マージ候補フラグは、最初の２つの候補のうちのどちらが
使用されるかを指定するように信号で通知される。
て選択されることは許可され、マージ候補フラグは、最初の２つの候補のうちのどちらが
使用されるかを指定するように信号で通知される。
【0049】
図６は、ＭＭＶＤに使用される検索点の示例である。これらの検索点を導出するために、
先頭ＭＶの水平成分または垂直成分にオフセットが追加される。距離インデックスは、動
きの度合いの情報を指定し、開始点からの予め定められたオフセットを示し、方向インデ
ックスは、方向インデックスからオフセット符号への予め定められたマッピングにより、
開始点に対するオフセットの方向を表す。
先頭ＭＶの水平成分または垂直成分にオフセットが追加される。距離インデックスは、動
きの度合いの情報を指定し、開始点からの予め定められたオフセットを示し、方向インデ
ックスは、方向インデックスからオフセット符号への予め定められたマッピングにより、
開始点に対するオフセットの方向を表す。
【0050】
マップされたオフセット符号の意味は、先頭ＭＶの情報に応じて変化し得る。先頭ＭＶは
単一予測ＭＶまたは参照される参照画像が現在の画像の同じ側を指している双予測ＭＶで
ある（つまり、最大２つの参照画像のＰＯＣが両方とも現在の画像のＰＯＣよりも大きく
、または両方とも現在の画像のＰＯＣよりも小さい）場合、マップされたオフセット符号
は、先頭ＭＶに追加されたＭＶオフセットの符号を指定する。先頭ＭＶは２つの動きベク
トルが現在の画像の異なる側を指している双予測ＭＶである（つまり、一方の参照画像の
ＰＯＣが現在の画像のＰＯＣよりも大きく、他方の参照画像のＰＯＣが現在の画像のＰＯ
Ｃよりも小さい）場合、マップされたオフセット符号は、先頭ＭＶのＬ０動きベクトルに
追加されたＭＶオフセットの符号及び先頭ＭＶのＬ１動きベクトルに追加されたＭＶオフ
セットの反対の符号を指定する。
単一予測ＭＶまたは参照される参照画像が現在の画像の同じ側を指している双予測ＭＶで
ある（つまり、最大２つの参照画像のＰＯＣが両方とも現在の画像のＰＯＣよりも大きく
、または両方とも現在の画像のＰＯＣよりも小さい）場合、マップされたオフセット符号
は、先頭ＭＶに追加されたＭＶオフセットの符号を指定する。先頭ＭＶは２つの動きベク
トルが現在の画像の異なる側を指している双予測ＭＶである（つまり、一方の参照画像の
ＰＯＣが現在の画像のＰＯＣよりも大きく、他方の参照画像のＰＯＣが現在の画像のＰＯ
Ｃよりも小さい）場合、マップされたオフセット符号は、先頭ＭＶのＬ０動きベクトルに
追加されたＭＶオフセットの符号及び先頭ＭＶのＬ１動きベクトルに追加されたＭＶオフ
セットの反対の符号を指定する。
【0051】
次に、ＭＶオフセットの両方の成分は、信号で通知されたＭＭＶＤ距離および符号から導
出され、最終的なＭＶＤは、さらにＭＶオフセット成分から導出される。
出され、最終的なＭＶＤは、さらにＭＶオフセット成分から導出される。
【0052】
現在のＶＶＣはまた、ＳＭＶＤモードを導入した。ＳＭＶＤモードでは、Ｌ０及びＬ１の
両方の参照画像インデックス及びＬ１のＭＶＤを含む動き情報が信号で通知されないが、
導出される。エンコーダでは、ＳＭＶＤ動き推定が初期的ＭＶ評価で始まる。初期的ＭＶ
候補のセットは、単一予測検索から取得されたＭＶ、双予測検索から取得されたＭＶ、お
よびＡＭＶＰリストからのＭＶからなる。レート歪みコストが最も低い初期的ＭＶ候補は
、ＳＭＶＤ動き検索の初期的ＭＶとして選択される。
両方の参照画像インデックス及びＬ１のＭＶＤを含む動き情報が信号で通知されないが、
導出される。エンコーダでは、ＳＭＶＤ動き推定が初期的ＭＶ評価で始まる。初期的ＭＶ
候補のセットは、単一予測検索から取得されたＭＶ、双予測検索から取得されたＭＶ、お
よびＡＭＶＰリストからのＭＶからなる。レート歪みコストが最も低い初期的ＭＶ候補は
、ＳＭＶＤ動き検索の初期的ＭＶとして選択される。
【0053】
現在のＶＶＣはまた、ＢＷＡを導入した。ＨＥＶＣでは、双予測信号は、２つの参照画像
から得られた２つの予測信号を平均化すること、および／または、２つの動きベクトルを
使用することで生成される。現在のＶＶＣでは、ＢＷＡにより、双予測モードが、単純な
平均化だけでなく、当該２つの予測信号の加重平均化を許可するように拡張される。
から得られた２つの予測信号を平均化すること、および／または、２つの動きベクトルを
使用することで生成される。現在のＶＶＣでは、ＢＷＡにより、双予測モードが、単純な
平均化だけでなく、当該２つの予測信号の加重平均化を許可するように拡張される。
【0054】
現在のＶＶＣでは、５つの重みがＢＷＡで許可されている。双予測されたＣＵごとに、重
みは２つの方法のいずれかで決定される。非マージＣＵの場合には、重みインデックスが
動きベクトルの差の後に信号で通知され、一方、マージＣＵの場合には、重みインデック
スがマージ候補インデックスに基づいて隣接ブロックから推測される。加重平均化双予測
は、２５６以上の輝度サンプルを持つＣＵにのみ適用される（つまり、ＣＵの幅とＣＵの
高さとの積が２５６以上である）。後方予測を使用しない画像の場合には、５つの重みす
べてが使用される。後方予測を使用する画像の場合には、５つの重みのうちの３つの重み
の予め定められたサブセットのみが使用される。
みは２つの方法のいずれかで決定される。非マージＣＵの場合には、重みインデックスが
動きベクトルの差の後に信号で通知され、一方、マージＣＵの場合には、重みインデック
スがマージ候補インデックスに基づいて隣接ブロックから推測される。加重平均化双予測
は、２５６以上の輝度サンプルを持つＣＵにのみ適用される（つまり、ＣＵの幅とＣＵの
高さとの積が２５６以上である）。後方予測を使用しない画像の場合には、５つの重みす
べてが使用される。後方予測を使用する画像の場合には、５つの重みのうちの３つの重み
の予め定められたサブセットのみが使用される。
【0055】
現在のＶＶＣはまた、ペアワイズ平均化マージ候補の導出を導入した。ペアワイズ平均化
マージ候補の導出では、ペアワイズ平均化候補が、既存のマージ候補リスト内の予め定め
られた候補ペアを平均化することで生成される。平均化された動きベクトルは、参照リス
トごとに個別に算出される。動きベクトルの両方が１つのリストから取得できる場合には
、これら２つの動きベクトルが、異なる参照画像を指しても平均化される；使用可能な動
きベクトルが１つだけの場合には、この１つの動きベクトルが直接使用される；使用可能
な動きベクトルがない場合には、このリストが無効のままになる。ペアワイズ平均化マー
ジ候補が追加された後、マージリストがいっぱいでない場合には、最大マージ候補数に達
するまで、このマージリストの末尾にゼロＭＶＰが挿入される。
マージ候補の導出では、ペアワイズ平均化候補が、既存のマージ候補リスト内の予め定め
られた候補ペアを平均化することで生成される。平均化された動きベクトルは、参照リス
トごとに個別に算出される。動きベクトルの両方が１つのリストから取得できる場合には
、これら２つの動きベクトルが、異なる参照画像を指しても平均化される；使用可能な動
きベクトルが１つだけの場合には、この１つの動きベクトルが直接使用される；使用可能
な動きベクトルがない場合には、このリストが無効のままになる。ペアワイズ平均化マー
ジ候補が追加された後、マージリストがいっぱいでない場合には、最大マージ候補数に達
するまで、このマージリストの末尾にゼロＭＶＰが挿入される。
【0056】
ＶＶＣ試験モデル（ＶＴＭ：VVC Test Model）として知られる、現在のＶＶＣのための現
在の参照ソフトウェアコードベースもまた、ＳｂＴＭＶＰモードを導入した。ＨＥＶＣに
おける時間的動きベクトル予測（ＴＭＶＰ）と同様に、ＳｂＴＭＶＰは、並列画像におけ
る動きフィールドを使用して、現在の画像におけるＣＵのための動きベクトル予測及びマ
ージモードを改善する。ＴＭＶＰで使用される同じ並列画像は、ＳｂＴＭＶＰに使用され
る。ＳｂＴＭＶＰは、次の２つの主な点でＴＭＶＰと異なる。まず、ＴＭＶＰはＣＵレベ
ルで動きを予測するが、ＳｂＴＭＶＰはサブＣＵレベルで動きを予測する。次に、ＴＭＶ
Ｐは並列画像における並列ブロックから時間的動きベクトルから取得する（この並列ブロ
ックが現在のＣＵに対して右下方または中央のブロックである）が、ＳｂＴＭＶＰは、並
列画像から時間的動き情報を取得する前に現在のＣＵの空間的隣接ブロックのうちの１つ
からの動きベクトルから取得された動きシフトを適用する。
在の参照ソフトウェアコードベースもまた、ＳｂＴＭＶＰモードを導入した。ＨＥＶＣに
おける時間的動きベクトル予測（ＴＭＶＰ）と同様に、ＳｂＴＭＶＰは、並列画像におけ
る動きフィールドを使用して、現在の画像におけるＣＵのための動きベクトル予測及びマ
ージモードを改善する。ＴＭＶＰで使用される同じ並列画像は、ＳｂＴＭＶＰに使用され
る。ＳｂＴＭＶＰは、次の２つの主な点でＴＭＶＰと異なる。まず、ＴＭＶＰはＣＵレベ
ルで動きを予測するが、ＳｂＴＭＶＰはサブＣＵレベルで動きを予測する。次に、ＴＭＶ
Ｐは並列画像における並列ブロックから時間的動きベクトルから取得する（この並列ブロ
ックが現在のＣＵに対して右下方または中央のブロックである）が、ＳｂＴＭＶＰは、並
列画像から時間的動き情報を取得する前に現在のＣＵの空間的隣接ブロックのうちの１つ
からの動きベクトルから取得された動きシフトを適用する。
【0057】
図７Ａおよび図７Ｂは、ＳｂＴＭＶＰモードの操作を例示している。ＳｂＴＭＶＰは、現
在のＣＵ内のサブＣＵの動きベクトルを２つのステップで予測する。図７Ａは、空間的隣
がＡ１、Ｂ１、Ｂ０およびＡ０の順序で検査される最初のステップを例示している。並列
画像を参照画像として使用する動きベクトルを有する最初の空間的隣接ブロックが識別さ
れたと、この動きベクトルが、適用される動きシフトとして選択される。そのような動き
が空間的隣から識別されない場合には、動きシフトが（０，０）に設定される。図７Ｂは
、第１のステップで識別された動きシフトが適用されて（すなわち、現在のブロックの座
標に追加されて）、並列画像からサブＣＵレベルの動き情報（動きベクトルおよび参照イ
ンデックス）を取得する第２のステップを例示する。図７Ｂにおいて採用された示例は、
動きシフトがブロックＡ１の動きに設定される例を示している。次に、サブＣＵごとに、
並列画像内の対応するブロック（中央のサンプルをカバーする最小の動きグリッド）の動
き情報を使用して、このサブＣＵの動き情報が導出される。並列サブＣＵの動き情報が識
別された後、ＨＥＶＣのＴＭＶＰ処理と同様に時間的動きスケーリングを使用して時間的
動きベクトルの参照画像と現在のＣＵの時間的動きベクトルの参照画像とを位置合わせる
方法で、この動き情報が現在のサブＣＵの動きベクトル及び参照インデックスに変換され
る。
在のＣＵ内のサブＣＵの動きベクトルを２つのステップで予測する。図７Ａは、空間的隣
がＡ１、Ｂ１、Ｂ０およびＡ０の順序で検査される最初のステップを例示している。並列
画像を参照画像として使用する動きベクトルを有する最初の空間的隣接ブロックが識別さ
れたと、この動きベクトルが、適用される動きシフトとして選択される。そのような動き
が空間的隣から識別されない場合には、動きシフトが（０，０）に設定される。図７Ｂは
、第１のステップで識別された動きシフトが適用されて（すなわち、現在のブロックの座
標に追加されて）、並列画像からサブＣＵレベルの動き情報（動きベクトルおよび参照イ
ンデックス）を取得する第２のステップを例示する。図７Ｂにおいて採用された示例は、
動きシフトがブロックＡ１の動きに設定される例を示している。次に、サブＣＵごとに、
並列画像内の対応するブロック（中央のサンプルをカバーする最小の動きグリッド）の動
き情報を使用して、このサブＣＵの動き情報が導出される。並列サブＣＵの動き情報が識
別された後、ＨＥＶＣのＴＭＶＰ処理と同様に時間的動きスケーリングを使用して時間的
動きベクトルの参照画像と現在のＣＵの時間的動きベクトルの参照画像とを位置合わせる
方法で、この動き情報が現在のサブＣＵの動きベクトル及び参照インデックスに変換され
る。
【0058】
ＶＴＭの第３のバージョン（ＶＴＭ３）では、ＳｂＴＭＶＰ候補及びアフィンマージ候補
の両方を含む結合されたサブブロックに基くマージリストが、サブブロックに基くマージ
モードの信号による通知に使用される。ＳｂＴＭＶＰモードは、シーケンスパラメータセ
ット（ＳＰＳ：Sequence Parameter Set）フラグによって有効または無効になる。ＳｂＴ
ＭＶＰモードが有効になっている場合、ＳｂＴＭＶＰ予測子は、サブブロックに基くマー
ジ候補のリストの最初のエントリとして追加され、その後にアフィンマージ候補が続く。
サブブロックに基くマージリストのサイズはＳＰＳで信号によって通知され、ＶＴＭ３で
は、このサブブロックに基くマージリストの最大許可サイズが５に固定されている。Ｓｂ
ＴＭＶＰで使用されるサブＣＵサイズが８×８に固定されており、アフィンマージモード
の場合と同様に、ＳｂＴＭＶＰモードは、幅及び高さの両方が８以上のＣＵにのみ適用で
きる。追加のＳｂＴＭＶＰマージ候補の符号化ロジックは他のマージ候補と同じであり、
つまり、ＰまたはＢスライス内のＣＵごとに、ＳｂＴＭＶＰ候補を使用するかどうかを決
定するように追加のＲＤ検査を実行する。
の両方を含む結合されたサブブロックに基くマージリストが、サブブロックに基くマージ
モードの信号による通知に使用される。ＳｂＴＭＶＰモードは、シーケンスパラメータセ
ット（ＳＰＳ：Sequence Parameter Set）フラグによって有効または無効になる。ＳｂＴ
ＭＶＰモードが有効になっている場合、ＳｂＴＭＶＰ予測子は、サブブロックに基くマー
ジ候補のリストの最初のエントリとして追加され、その後にアフィンマージ候補が続く。
サブブロックに基くマージリストのサイズはＳＰＳで信号によって通知され、ＶＴＭ３で
は、このサブブロックに基くマージリストの最大許可サイズが５に固定されている。Ｓｂ
ＴＭＶＰで使用されるサブＣＵサイズが８×８に固定されており、アフィンマージモード
の場合と同様に、ＳｂＴＭＶＰモードは、幅及び高さの両方が８以上のＣＵにのみ適用で
きる。追加のＳｂＴＭＶＰマージ候補の符号化ロジックは他のマージ候補と同じであり、
つまり、ＰまたはＢスライス内のＣＵごとに、ＳｂＴＭＶＰ候補を使用するかどうかを決
定するように追加のＲＤ検査を実行する。
【0059】
現在のＶＶＣは、新しいインターモード符号化復号化ツールを導入したが、空間的および
時間的動き候補の導出のためのスケーリング処理のためのＨＥＶＣおよび現在のＶＶＣに
存在する長期参照画像に関する制約が一部の新しいツールでよく定義されていない。本開
示では、新しいインターモード符号化復号化ツールについて長期参照画像に関するいくつ
かの制約を提案する。
時間的動き候補の導出のためのスケーリング処理のためのＨＥＶＣおよび現在のＶＶＣに
存在する長期参照画像に関する制約が一部の新しいツールでよく定義されていない。本開
示では、新しいインターモード符号化復号化ツールについて長期参照画像に関するいくつ
かの制約を提案する。
【0060】
本開示によれば、インターモード符号化されたブロックについてのインターモード符号化
復号化ツールの動作中に、当該インターモード符号化復号化ツールの動作に関与するイン
ターモード符号化されたブロックに関連する参照画像の１つまたは複数が長期参照画像で
あるかどうかを決定し、次に、その決定に基づいて、インターモード符号化されたブロッ
クについてのインターモード符号化復号化ツールの動作に制約を設置する。
復号化ツールの動作中に、当該インターモード符号化復号化ツールの動作に関与するイン
ターモード符号化されたブロックに関連する参照画像の１つまたは複数が長期参照画像で
あるかどうかを決定し、次に、その決定に基づいて、インターモード符号化されたブロッ
クについてのインターモード符号化復号化ツールの動作に制約を設置する。
【0061】
本開示の一実施形態によれば、インターモード符号化復号化ツールは、ペアワイズ平均化
マージ候補の生成を含む。
マージ候補の生成を含む。
【0062】
一例では、ペアワイズ平均化マージ候補の生成に関与する平均化マージ候補が、長期参照
画像である１つの参照画像と長期参照画像ではないもう１つの参照画像とからなる所定の
候補ペアから生成された場合には、当該平均化マージ候補が無効と見なされる。
画像である１つの参照画像と長期参照画像ではないもう１つの参照画像とからなる所定の
候補ペアから生成された場合には、当該平均化マージ候補が無効と見なされる。
【0063】
同じ例において、両方とも長期参照画像である２つの参照画像からなる所定の候補ペアか
ら平均化マージ候補を生成する間において、スケーリング処理は禁止される。
ら平均化マージ候補を生成する間において、スケーリング処理は禁止される。
【0064】
本開示の別の実施形態によれば、インターモード符号化復号化ツールはＢＤＯＦを含み、
インターモード符号化されたブロックは双方向予測ブロックである。
インターモード符号化されたブロックは双方向予測ブロックである。
【0065】
一例では、ＢＤＯＦの動作に関与する双方向予測ブロックの一方の参照画像が長期参照画
像であり、ＢＤＯＦの動作に関与する双方向予測ブロックの他方の参照画像が長期参照画
像ではないと決定した場合には、ＢＤＯＦの実行が禁止される。
像であり、ＢＤＯＦの動作に関与する双方向予測ブロックの他方の参照画像が長期参照画
像ではないと決定した場合には、ＢＤＯＦの実行が禁止される。
【0066】
本開示の別の実施形態によれば、インターモード符号化復号化ツールはＤＭＶＲを含み、
インターモード符号化されたブロックは双方向予測ブロックである。
インターモード符号化されたブロックは双方向予測ブロックである。
【0067】
一例では、ＤＭＶＲの動作に関与する双方向予測ブロックの一方の参照画像が長期参照画
像であり、ＤＭＶＲの動作に関与する双方向予測ブロックの他方の参照画像が長期参照画
像ではないと決定した場合には、ＤＭＶＲの実行が禁止される。
像であり、ＤＭＶＲの動作に関与する双方向予測ブロックの他方の参照画像が長期参照画
像ではないと決定した場合には、ＤＭＶＲの実行が禁止される。
【0068】
別の例では、ＤＭＶＲの動作に関与する双方向予測ブロックの一方の参照画像が長期参照
画像であり、ＤＭＶＲの動作に関与する双方向予測ブロックの他方の参照画像が長期参照
画像ではないと決定した場合には、ＤＭＶＲの実行の範囲が整数画素ＤＭＶＲの実行の範
囲に限定される。
画像であり、ＤＭＶＲの動作に関与する双方向予測ブロックの他方の参照画像が長期参照
画像ではないと決定した場合には、ＤＭＶＲの実行の範囲が整数画素ＤＭＶＲの実行の範
囲に限定される。
【0069】
本開示の別の実施形態によれば、インターモード符号化復号化ツールは、ＭＭＶＤ候補の
導出を含む。
導出を含む。
【0070】
一例では、ＭＭＶＤ候補の導出に関与する動きベクトル候補が、長期参照画像である参照
画像を指する自分の動きベクトルを持つと決定した場合には、当該動きベクトル候補を基
本動きベクトル（先頭動きベクトルとも呼ばれる）として使用することは、禁止される。
画像を指する自分の動きベクトルを持つと決定した場合には、当該動きベクトル候補を基
本動きベクトル（先頭動きベクトルとも呼ばれる）として使用することは、禁止される。
【0071】
第２の例では、ＭＭＶＤ候補の導出に関与するインターモード符号化されたブロックの一
方の参照画像が長期参照画像であり、ＭＭＶＤ候補の導出に関与するインターモード符号
化されたブロックの他方の参照画像が長期参照画像ではなく、さらに基本動きベクトルが
双方向動きベクトルである場合には、当該長期参照画像を指し且つ当該双方向基本動きベ
クトルにも含まれている１つの動きベクトルに対して、信号による通知された動きベクト
ル差（ＭＶＤ）でこの１つの動きベクトルを変更することが禁止される。
方の参照画像が長期参照画像であり、ＭＭＶＤ候補の導出に関与するインターモード符号
化されたブロックの他方の参照画像が長期参照画像ではなく、さらに基本動きベクトルが
双方向動きベクトルである場合には、当該長期参照画像を指し且つ当該双方向基本動きベ
クトルにも含まれている１つの動きベクトルに対して、信号による通知された動きベクト
ル差（ＭＶＤ）でこの１つの動きベクトルを変更することが禁止される。
【0072】
同じ第２の例では、提案されたＭＶＤ変更処理は、代わりに、以下の線枠に示されるようになり、当該文字の強調された部分は、現在のＶＶＣにおける既存のＭＶＤ変更処理からの提案された変更を示す。
【表1】
【0073】
第３の例では、ＭＭＶＤ候補の導出に関与するインターモード符号化されたブロックの少
なくとも１つの参照画像が長期参照画像であり、さらに、基本動きベクトルが双方向動き
ベクトルである場合には、最終的なＭＭＶＤ候補の導出におけるスケーリング処理が禁止
される。
なくとも１つの参照画像が長期参照画像であり、さらに、基本動きベクトルが双方向動き
ベクトルである場合には、最終的なＭＭＶＤ候補の導出におけるスケーリング処理が禁止
される。
【0074】
本開示の１つまたは複数の実施形態によれば、インターモード符号化復号化ツールは、Ｓ
ＭＶＤ候補の導出を含む。
ＭＶＤ候補の導出を含む。
【0075】
一例では、動きベクトル候補が、長期参照画像である参照画像を指している自分の動きベ
クトルを持つと決定した場合には、当該動きベクトル候補を基本動きベクトルとして使用
することは禁止される。
クトルを持つと決定した場合には、当該動きベクトル候補を基本動きベクトルとして使用
することは禁止される。
【0076】
ある例では、ＳＭＶＤ候補の導出に関与するインターモード符号化されたブロックの少な
くとも１つの参照画像が長期参照画像であり、さらに、基本動きベクトルが双方向動きベ
クトルである場合には、当該長期参照画像を指しかつ当該双方向基本動きベクトルに含ま
れている１つの動きベクトルに対して、信号による通知されたＭＶＤによって１つの動き
ベクトルを変更することが禁止される。他の例では、ＳＭＶＤ候補の導出に関与するイン
ターモード符号化されたブロックの１つの参照画像が長期参照画像であり、ＳＭＶＤ候補
の導出に関与するインターモード符号化されたブロックの他方の参照画像が長期参照画像
ではなく、さらに基本動きベクトルが双方向動きベクトルである場合には、当該長期参照
画像を指しかつ当該双方向基本動きベクトルにも含まれている１つの動きベクトルに対し
、信号で通知されたＭＶＤによる当該１つの動きベクトルの変更が禁止される。
くとも１つの参照画像が長期参照画像であり、さらに、基本動きベクトルが双方向動きベ
クトルである場合には、当該長期参照画像を指しかつ当該双方向基本動きベクトルに含ま
れている１つの動きベクトルに対して、信号による通知されたＭＶＤによって１つの動き
ベクトルを変更することが禁止される。他の例では、ＳＭＶＤ候補の導出に関与するイン
ターモード符号化されたブロックの１つの参照画像が長期参照画像であり、ＳＭＶＤ候補
の導出に関与するインターモード符号化されたブロックの他方の参照画像が長期参照画像
ではなく、さらに基本動きベクトルが双方向動きベクトルである場合には、当該長期参照
画像を指しかつ当該双方向基本動きベクトルにも含まれている１つの動きベクトルに対し
、信号で通知されたＭＶＤによる当該１つの動きベクトルの変更が禁止される。
【0077】
本開示の別の実施形態によれば、インターモード符号化復号化ツールは加重平均化による
双予測を含み、インターモード符号化されたブロックは双方向予測ブロックである。
双予測を含み、インターモード符号化されたブロックは双方向予測ブロックである。
【0078】
一例では、加重平均化による双予測に関与する双方向予測ブロックの少なくとも１つの参
照画像が長期参照画像であると決定した場合には、不均等な重み付けの使用が禁止される
。
照画像が長期参照画像であると決定した場合には、不均等な重み付けの使用が禁止される
。
【0079】
本開示の別の実施形態によれば、インターモード符号化復号化ツールは動きベクトル候補
の導出を含み、インターモード符号化されたブロックはＳｂＴＭＶＰ符号化されたブロッ
クである。
の導出を含み、インターモード符号化されたブロックはＳｂＴＭＶＰ符号化されたブロッ
クである。
【0080】
一例では、従来のＴＭＶＰ符号化されたブロックについての動きベクトル候補の導出に対
する制約と同じものは、ＳｂＴＭＶＰ符号化されたブロックについての動きベクトル候補
の導出に使用される。
する制約と同じものは、ＳｂＴＭＶＰ符号化されたブロックについての動きベクトル候補
の導出に使用される。
【0081】
前述べた例の１つの改良では、従来のＴＭＶＰ符号化されたブロックおよびＳｂＴＭＶＰ符号化されたブロックの両方について使用される動きベクトル候補の導出に対する制約が、目標参照画像及び時間的隣接ブロックのための参照画像からなる２つの参照画像のうち、一方の参照画像が長期参照画像であり、他方の参照画像が長期参照画像ではない場合に当該隣接ブロックの動きベクトルを無効と見なすことと、一方、目標参照画像及び隣接ブロックのための参照画像の両方が長期参照画像である場合に当該時間的隣接ブロックの動きベクトルに対するスケーリング処理の操作を禁止し、時間的隣接ブロックの動きベクトルを現在のブロックのための動きベクトル予測として直接使用することと、を含む。
【0082】
本開示の別の実施形態によれば、インターモード符号化復号化ツールは、動きベクトル候
補の導出においてアフィン動きモデルを使用することを含む。
補の導出においてアフィン動きモデルを使用することを含む。
【0083】
一例では、アフィン動きモデルの使用に関与する参照画像が長期参照画像であると決定し
た場合には、動きベクトル候補の導出におけるアフィン動きモデルの使用が禁止される。
た場合には、動きベクトル候補の導出におけるアフィン動きモデルの使用が禁止される。
【0084】
１つまたは複数の例では、上述した機能は、ハードウェア、ソフトウェア、ファームウェ
ア、またはそれらの任意の組み合わせで実現される。ソフトウェアで実現される場合、そ
れらの機能は、１つまたは複数の命令またはコードとして、コンピュータ読取可能な媒体
に格納されまたはこれを介して送信され、ハードウェアによる処理ユニットによって実行
される。コンピュータ読取可能な媒体は、データ記憶媒体などの有形媒体に対応するコン
ピュータ読取可能な記憶媒体、または、例えば、通信プロトコルに従って、ある箇所から
別の箇所へのコンピュータプログラムの転送を役立つ任意の媒体を含む通信媒体を含み得
る。このように、コンピュータ読取可能な媒体は、一般的に、（１）非一時的な有形のコ
ンピュータ読取可能な記憶媒体、または（２）信号または搬送波などの通信媒体、に対応
し得る。データ記憶媒体は、本願で説明された実施形態の実現のための命令、コード、お
よび／またはデータ構造を検索するために、１つまたは複数のコンピュータまたは１つま
たは複数のプロセッサによってアクセスできる任意の利用可能な媒体であり得る。コンピ
ュータプログラム製品は、コンピュータ読取可能な媒体を含み得る。
ア、またはそれらの任意の組み合わせで実現される。ソフトウェアで実現される場合、そ
れらの機能は、１つまたは複数の命令またはコードとして、コンピュータ読取可能な媒体
に格納されまたはこれを介して送信され、ハードウェアによる処理ユニットによって実行
される。コンピュータ読取可能な媒体は、データ記憶媒体などの有形媒体に対応するコン
ピュータ読取可能な記憶媒体、または、例えば、通信プロトコルに従って、ある箇所から
別の箇所へのコンピュータプログラムの転送を役立つ任意の媒体を含む通信媒体を含み得
る。このように、コンピュータ読取可能な媒体は、一般的に、（１）非一時的な有形のコ
ンピュータ読取可能な記憶媒体、または（２）信号または搬送波などの通信媒体、に対応
し得る。データ記憶媒体は、本願で説明された実施形態の実現のための命令、コード、お
よび／またはデータ構造を検索するために、１つまたは複数のコンピュータまたは１つま
たは複数のプロセッサによってアクセスできる任意の利用可能な媒体であり得る。コンピ
ュータプログラム製品は、コンピュータ読取可能な媒体を含み得る。
【0085】
さらに、上記の方法は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（
ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブル論理装置（ＰＬＤ）、フ
ィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラー、マイクロコントロ
ーラー、マイクロプロセッサー、またはその他の電子部品を含む１つまたは複数の回路を
含む装置によって実現してもよい。上記の方法を実現するために、これらの回路を他のハ
ードウェアまたはソフトウェア部品と組み合わせて使用することができる。以上に開示さ
れた各モジュール、サブモジュール、ユニット、またはサブユニットは、１つまたは複数
の回路を使用して少なくとも部分的に実現され得る。
ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブル論理装置（ＰＬＤ）、フ
ィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラー、マイクロコントロ
ーラー、マイクロプロセッサー、またはその他の電子部品を含む１つまたは複数の回路を
含む装置によって実現してもよい。上記の方法を実現するために、これらの回路を他のハ
ードウェアまたはソフトウェア部品と組み合わせて使用することができる。以上に開示さ
れた各モジュール、サブモジュール、ユニット、またはサブユニットは、１つまたは複数
の回路を使用して少なくとも部分的に実現され得る。
【0086】
本発明の他の実施形態は、ここで開示される本発明の明細書および実施を考慮することか
ら当業者にとっては明らかである。本願は、本発明の一般的原理に従う本発明の任意の変
更、使用、または適用をカバーすることを意図しており、そのような本開示からの逸脱を
当技術分野における既知または慣用的実施に入るものとして含む。なお、本説明および実
施形態は、例示としてのみ見なされており、本発明の実質的な範囲および精神は、添付の
特許請求の範囲によって示されている。
ら当業者にとっては明らかである。本願は、本発明の一般的原理に従う本発明の任意の変
更、使用、または適用をカバーすることを意図しており、そのような本開示からの逸脱を
当技術分野における既知または慣用的実施に入るものとして含む。なお、本説明および実
施形態は、例示としてのみ見なされており、本発明の実質的な範囲および精神は、添付の
特許請求の範囲によって示されている。
【0087】
本発明は、上述し添付の図面に例示された具体例に限定されなく、各種な変更および変形
が、その範囲から逸脱しなく実現されることが可能である。本発明の範囲は、添付の特許
請求の範囲のみによって限定されることを意図する。
が、その範囲から逸脱しなく実現されることが可能である。本発明の範囲は、添付の特許
請求の範囲のみによって限定されることを意図する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
