知財求人 - 知財ポータルサイト「IP Force」
▶ インターデイジタル ヴィーシー ホールディングス インコーポレイテッドの特許一覧
特開2024-150785ＭＭＶＤおよびＳＭＶＤと動きモデルおよび予測モデルとの組み合わせ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024150785
(43)【公開日】2024-10-23
(54)【発明の名称】ＭＭＶＤおよびＳＭＶＤと動きモデルおよび予測モデルとの組み合わせ
(51)【国際特許分類】
H04N 19/70 20140101AFI20241016BHJP
H04N 19/52 20140101ALI20241016BHJP
【ＦＩ】
H04N19/70
H04N19/52
【審査請求】有
【請求項の数】28
【出願形態】ＯＬ
(21)【出願番号】P 2024131933
(22)【出願日】2024-08-08
(62)【分割の表示】P 2021535006の分割
【原出願日】2019-12-16
(31)【優先権主張番号】18306708.1
(32)【優先日】2018-12-17
(33)【優先権主張国・地域又は機関】EP
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
２．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】318017914
【氏名又は名称】インターデイジタル ヴィーシー ホールディングス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ファブリス ルルアンネック
(72)【発明者】
【氏名】フランク ガルピン
(72)【発明者】
【氏名】エドゥアルド フランソワ
(57)【要約】
【課題】既存のビデオ圧縮システムと比較して、インター符号化されたブロックにおける、双予測を改善する。
【解決手段】一般的な態様は、動きベクトル差を伴うマージ、および対称動きベクトル差などの、動きモードを、例えば、マージおよび代替時間動きベクトル予測モードと組み合わせて、単純な並進モデルを超える動きモデルに拡張する。実施形態は、全体的な圧縮性能を高めるために、ＭＭＶＤおよびＳＭＶＤ動きベクトル符号化ツールの使用を、提案されるビデオ規格においてサポートされる、すべての動きモデル導出方法および時間予測方法に拡張する。特定の実施形態は、ＭＭＶＤまたはＳＭＶＤを、アフィン動きモデル、ＡＴＭＶＤ動きモデル、平面動きモデル、回帰動き場、三角パーティションベースの動きモデル、ＧＢＩ時間予測方法、ＬＩＣ時間予測方法、および多重仮説予測方法と組み合わせることについて説明する。
【選択図】図３６
【解決手段】一般的な態様は、動きベクトル差を伴うマージ、および対称動きベクトル差などの、動きモードを、例えば、マージおよび代替時間動きベクトル予測モードと組み合わせて、単純な並進モデルを超える動きモデルに拡張する。実施形態は、全体的な圧縮性能を高めるために、ＭＭＶＤおよびＳＭＶＤ動きベクトル符号化ツールの使用を、提案されるビデオ規格においてサポートされる、すべての動きモデル導出方法および時間予測方法に拡張する。特定の実施形態は、ＭＭＶＤまたはＳＭＶＤを、アフィン動きモデル、ＡＴＭＶＤ動きモデル、平面動きモデル、回帰動き場、三角パーティションベースの動きモデル、ＧＢＩ時間予測方法、ＬＩＣ時間予測方法、および多重仮説予測方法と組み合わせることについて説明する。
【選択図】図３６
【特許請求の範囲】
【請求項1】
動きベクトル差を伴うマージモードの使用を示しているシンタックスについて、ビデオビットストリームを解析するステップと、
前記シンタックスから、少なくとも１つの動きベクトル差を取得するステップと、
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップと、
前記精緻化された制御点動きベクトルを使用して、ブロックをデコードするステップと
を備える方法。
前記シンタックスから、少なくとも１つの動きベクトル差を取得するステップと、
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップと、
前記精緻化された制御点動きベクトルを使用して、ブロックをデコードするステップと
を備える方法。
【請求項2】
前記シンタックスから、少なくとも１つの動きベクトル差を取得するステップは、前記シンタックスから、単一の動きベクトル差を取得することを含み、
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップは、前記単一の動きベクトル差で、前記アフィン動きモデルの各制御点動きベクトルを精緻化することを含む請求項１に記載の方法。
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップは、前記単一の動きベクトル差で、前記アフィン動きモデルの各制御点動きベクトルを精緻化することを含む請求項１に記載の方法。
【請求項3】
前記シンタックスから、少なくとも１つの動きベクトル差を取得するステップは、前記シンタックスから、前記アフィン動きモデルの各制御点動きベクトルごとに、１つの動きベクトル差を取得することを含み、
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップは、対応する動きベクトル差で、前記アフィン動きモデルの各制御点動きベクトルを精緻化することを含む請求項１に記載の方法。
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップは、対応する動きベクトル差で、前記アフィン動きモデルの各制御点動きベクトルを精緻化することを含む請求項１に記載の方法。
【請求項4】
前記シンタックスから、前記アフィン動きモデルの各制御点動きベクトルごとに、１つの動きベクトル差を取得することは、各制御点に対して、方向を表しているシンタックス要素および距離を表しているシンタックス要素をデコードすることを含む請求項３に記載の方法。
【請求項5】
前記シンタックスから、前記アフィン動きモデルの各制御点動きベクトルごとに、１つの動きベクトル差を取得することは、第１の制御点に対して、方向を表しているシンタックス要素および距離を表しているシンタックス要素を、並びに、すべての他の制御点に対して、前記第１の制御点に対する前記距離の差分を表しているシンタックス要素および方向を表しているシンタックス要素および方向を表しているシンタックス要素をデコードすることを含む請求項３に記載の方法。
【請求項6】
１つの制御点に対する動きベクトル差の距離の大きさの範囲は、もう１つの制御点に対する動きベクトル差の距離の大きさによって制限される請求項４または５に記載の方法。
【請求項7】
前記精緻化された制御点動きベクトルを使用して、ブロックをデコードするステップは、アフィン近隣ブロックから承継されたアフィンマージ候補のみを含むアフィンマージ候補リストを導出することを含む請求項１乃至６いずれかに記載の方法。
【請求項8】
１つ以上のプロセッサと、前記プロセッサと結合された少なくとも１つのメモリとを備えた装置であって、
前記１つ以上のプロセッサは、
動きベクトル差を伴うマージモードの使用を示しているシンタックスについて、ビデオビットストリームを解析するステップと、
前記シンタックスから、少なくとも１つの動きベクトル差を取得するステップと、
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップと、
前記精緻化された制御点動きベクトルを使用して、ブロックをデコードするステップ
を実施するよう構成された装置。
前記１つ以上のプロセッサは、
動きベクトル差を伴うマージモードの使用を示しているシンタックスについて、ビデオビットストリームを解析するステップと、
前記シンタックスから、少なくとも１つの動きベクトル差を取得するステップと、
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップと、
前記精緻化された制御点動きベクトルを使用して、ブロックをデコードするステップ
を実施するよう構成された装置。
【請求項9】
前記シンタックスから、少なくとも１つの動きベクトル差を取得するステップは、前記シンタックスから、単一の動きベクトル差を取得することを含み、
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップは、前記単一の動きベクトル差で、前記アフィン動きモデルの各制御点動きベクトルを精緻化することを含む請求項８に記載の装置。
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップは、前記単一の動きベクトル差で、前記アフィン動きモデルの各制御点動きベクトルを精緻化することを含む請求項８に記載の装置。
【請求項10】
前記シンタックスから、少なくとも１つの動きベクトル差を取得するステップは、前記シンタックスから、前記アフィン動きモデルの各制御点動きベクトルごとに、１つの動きベクトル差を取得することを含み、
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップは、対応する動きベクトル差で、前記アフィン動きモデルの各制御点動きベクトルを精緻化することを含む請求項８に記載の装置。
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップは、対応する動きベクトル差で、前記アフィン動きモデルの各制御点動きベクトルを精緻化することを含む請求項８に記載の装置。
【請求項11】
前記シンタックスから、前記アフィン動きモデルの各制御点動きベクトルごとに、１つの動きベクトル差を取得することは、各制御点に対して、方向を表しているシンタックス要素および距離を表しているシンタックス要素をデコードすることを含む請求項１０に記載の装置。
【請求項12】
前記シンタックスから、前記アフィン動きモデルの各制御点動きベクトルごとに、１つの動きベクトル差を取得することは、第１の制御点に対して、方向を表しているシンタックス要素および距離を表しているシンタックス要素を、並びに、すべての他の制御点に対して、前記第１の制御点に対する前記距離の差分を表しているシンタックス要素および方向を表しているシンタックス要素および方向を表しているシンタックス要素をデコードすることを含む請求項１０に記載の装置。
【請求項13】
１つの制御点に対する動きベクトル差の距離の大きさの範囲は、もう１つの制御点に対する動きベクトル差の距離の大きさによって制限される請求項１１または１２に記載の装置。
【請求項14】
前記精緻化された制御点動きベクトルを使用して、ブロックをデコードするステップは、アフィン近隣ブロックから承継されたアフィンマージ候補のみを含むアフィンマージ候補リストを導出することを含む請求項８乃至１３いずれかに記載の装置。
【請求項15】
ビデオビットストリームにおいて、シンタックスを経由して、動きベクトル差を伴うマージモードの使用を示すステップと、
少なくとも１つの動きベクトル差を取得するステップと、
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップと、
前記少なくとも１つの動きベクトル差を示すシンタックスを、前記ビデオビットストリームの中にエンコードするステップと、
前記精緻化された制御点動きベクトルを使用して、ブロックをエンコードするステップと
を備える方法。
少なくとも１つの動きベクトル差を取得するステップと、
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップと、
前記少なくとも１つの動きベクトル差を示すシンタックスを、前記ビデオビットストリームの中にエンコードするステップと、
前記精緻化された制御点動きベクトルを使用して、ブロックをエンコードするステップと
を備える方法。
【請求項16】
少なくとも１つの動きベクトル差を取得するステップは、単一の動きベクトル差を取得することを含み、
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップは、前記単一の動きベクトル差で、前記アフィン動きモデルの各制御点動きベクトルを精緻化することを含む請求項１５に記載の方法。
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップは、前記単一の動きベクトル差で、前記アフィン動きモデルの各制御点動きベクトルを精緻化することを含む請求項１５に記載の方法。
【請求項17】
少なくとも１つの動きベクトル差を取得するステップは、前記アフィン動きモデルの各制御点動きベクトルごとに、１つの動きベクトル差を取得することを含み、
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップは、対応する動きベクトル差で、前記アフィン動きモデルの各制御点動きベクトルを精緻化することを含む請求項１５に記載の方法。
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップは、対応する動きベクトル差で、前記アフィン動きモデルの各制御点動きベクトルを精緻化することを含む請求項１５に記載の方法。
【請求項18】
前記少なくとも１つの動きベクトル差を示すシンタックスを前記ビデオビットストリームの中にエンコードするステップは、各制御点に対して、方向を表しているシンタックス要素および距離を表しているシンタックス要素をエンコードすることを含む請求項１７に記載の方法。
【請求項19】
前記少なくとも１つの動きベクトル差を示すシンタックスを前記ビデオビットストリームの中にエンコードするステップは、第１の制御点に対して、方向を表しているシンタックス要素および距離を表しているシンタックス要素を、並びに、すべての他の制御点に対して、前記第１の制御点に対する前記距離の差分を表しているシンタックス要素および方向を表しているシンタックス要素および方向を表しているシンタックス要素をエンコードすることを含む請求項１７に記載の方法。
【請求項20】
１つの制御点に対する動きベクトル差の距離の大きさの範囲は、もう１つの制御点に対する動きベクトル差の距離の大きさによって制限される請求項１８または１９に記載の方法。
【請求項21】
前記精緻化された制御点動きベクトルを使用して、ブロックをエンコードするステップは、アフィン近隣ブロックから承継されたアフィンマージ候補のみを含むアフィンマージ候補リストを導出することを含む請求項１５乃至２０いずれかに記載の方法。
【請求項22】
１つ以上のプロセッサと、前記プロセッサと結合された少なくとも１つのメモリとを備えた装置であって、
前記１つ以上のプロセッサは、
ビデオビットストリームにおいて、シンタックスを経由して、動きベクトル差を伴うマージモードの使用を示すステップと、
少なくとも１つの動きベクトル差を取得するステップと、
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップと、
前記少なくとも１つの動きベクトル差を示すシンタックスを、前記ビデオビットストリームの中にエンコードするステップと、
前記精緻化された制御点動きベクトルを使用して、ブロックをデコードするステップと
を実施するよう構成された装置。
前記１つ以上のプロセッサは、
ビデオビットストリームにおいて、シンタックスを経由して、動きベクトル差を伴うマージモードの使用を示すステップと、
少なくとも１つの動きベクトル差を取得するステップと、
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップと、
前記少なくとも１つの動きベクトル差を示すシンタックスを、前記ビデオビットストリームの中にエンコードするステップと、
前記精緻化された制御点動きベクトルを使用して、ブロックをデコードするステップと
を実施するよう構成された装置。
【請求項23】
少なくとも１つの動きベクトル差を取得するステップは、単一の動きベクトル差を取得することを含み、
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップは、前記単一の動きベクトル差で、前記アフィン動きモデルの各制御点動きベクトルを精緻化することを含む請求項２２に記載の装置。
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップは、前記単一の動きベクトル差で、前記アフィン動きモデルの各制御点動きベクトルを精緻化することを含む請求項２２に記載の装置。
【請求項24】
少なくとも１つの動きベクトル差を取得するステップは、前記アフィン動きモデルの各制御点動きベクトルごとに、１つの動きベクトル差を取得することを含み、
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップは、対応する動きベクトル差で、前記アフィン動きモデルの各制御点動きベクトルを精緻化することを含む請求項２２に記載の装置。
前記少なくとも１つの動きベクトル差で、アフィン動きモデルの少なくとも１つの制御点動きベクトルを精緻化するステップは、対応する動きベクトル差で、前記アフィン動きモデルの各制御点動きベクトルを精緻化することを含む請求項２２に記載の装置。
【請求項25】
前記少なくとも１つの動きベクトル差を示すシンタックスを前記ビデオビットストリームの中にエンコードするステップは、各制御点に対して、方向を表しているシンタックス要素および距離を表しているシンタックス要素をエンコードすることを含む請求項２４に記載の装置。
【請求項26】
前記少なくとも１つの動きベクトル差を示すシンタックスを前記ビデオビットストリームの中にエンコードするステップは、第１の制御点に対して、方向を表しているシンタックス要素および距離を表しているシンタックス要素を、並びに、すべての他の制御点に対して、前記第１の制御点に対する前記距離の差分を表しているシンタックス要素および方向を表しているシンタックス要素および方向を表しているシンタックス要素をエンコードすることを含む請求項２４に記載の装置。
【請求項27】
１つの制御点に対する動きベクトル差の距離の大きさの範囲は、もう１つの制御点に対する動きベクトル差の距離の大きさによって制限される請求項２５または２６に記載の装置。
【請求項28】
前記精緻化された制御点動きベクトルを使用して、ブロックをエンコードするステップは、アフィン近隣ブロックから承継されたアフィンマージ候補のみを含むアフィンマージ候補リストを導出することを含む請求項２２乃至２７いずれかに記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態の少なくとも１つは、一般に、ビデオエンコーディングまたはデコーディング、圧縮または圧縮解除のための方法または装置に関する。
【背景技術】
【0002】
高い圧縮効率を達成するために、画像およびビデオ符号化スキームは、通常、ビデオコンテンツ内の空間的および時間的冗長性を活用ために、動きベクトル予測を含む予測、および変換を利用する。一般に、フレーム内またはフレーム間相関を利用するために、イントラまたはインター予測が使用され、その後、しばしば予測誤差または予測残差と呼ばれる、原画像と予測画像との間の差が、変換、量子化、およびエントロピ符号化される。ビデオを再構築するために、エントロピ符号化、量子化、変換、および予測に対応する逆プロセスによって、圧縮されたデータをデコードする。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明は、ビデオ圧縮の分野にあり、既存のビデオ圧縮システムと比較して、インター符号化されたブロックにおける、双予測を改善することを目的とする。
【課題を解決するための手段】
【0004】
本実施形態の少なくとも１つは、一般に、ビデオエンコーディングまたはデコーディングのための、方法または装置に関し、より詳細には、近隣サンプル依存のパラメトリックモデルに基づいた、符号化モードの簡略化のための、方法または装置に関する。
【0005】
第１の態様に従うと、方法が、提供される。方法は、ビデオビットストリーム内のシンタックスを通して、第１の動きモードを示すためのステップと、ビデオビットストリーム内のシンタックスの存在を通して、第２の動きモードの使用を示すためのステップであって、存在する場合、前記第２の動きモードに関連する情報を含む、ステップと、前記第１の動きモードおよび前記第２の動きモードに対応する動き情報を使用して、ビデオブロックをエンコードするためのステップとを含む。
【0006】
第２の態様に従うと、方法が、提供される。方法は、シンタックスが第１の動きモードを示すかについて、ビデオビットストリームを解析するためのステップと、シンタックスが第２の動きモードの存在を示すかについて、ビデオビットストリームを解析するためのステップであって、存在する場合、前記第２の動きモードに関連する情報を決定する、ステップと、前記第１の動きモードに対応する動き情報を獲得するためのステップと、前記動き情報を使用して、ブロックをデコードするためのステップとを含む。
【0007】
別の態様に従うと、装置が、提供される。装置は、プロセッサを備える。プロセッサは、上述の方法のいずれかを実行することによって、ビデオのブロックをエンコードするように、またはビットストリームをデコードするように構成することができる。
【0008】
少なくとも１つの実施形態の別の一般的な態様に従うと、デコーディング実施形態のいずれかに従った装置と、（ｉ）信号を受信するように構成されたアンテナであって、信号は、ビデオブロックを含む、アンテナ、（ｉｉ）受信された信号を、ビデオブロックを含む周波数の帯域に制限するように構成された帯域リミッタ、または（ｉｉｉ）ビデオブロックを表す出力を表示すように構成されたディスプレイのうちの少なくとも１つとを備えるデバイスが、提供される。
【0009】
少なくとも１つの実施形態の別の一般的な態様に従うと、説明されたエンコーディング実施形態または変形のいずれかに従って生成されたデータコンテンツを含む、非一時的コンピュータ可読媒体が、提供される。
【0010】
少なくとも１つの実施形態の別の一般的な態様に従うと、説明されたエンコーディング実施形態または変形のいずれかに従って生成されたビデオデータを含む、信号が、提供される。
【0011】
少なくとも１つの実施形態の別の一般的な態様に従うと、ビットストリームは、説明されたエンコーディング実施形態または変形のいずれかに従って生成されたデータコンテンツを含むように、フォーマットされる。
【0012】
少なくとも１つの実施形態の別の一般的な態様に従うと、命令を含むコンピュータプログラム製品であって、プログラムがコンピュータによって実行されたとき、説明されたデコーディング実施形態または変形のいずれかをコンピュータに実行させるコンピュータプログラム製品が、提供される。
【0013】
これらおよび他の態様、一般的な態様の特徴および利点は、添付の図面との関連において読まれるべき、例示的な実施形態についての以下の詳細な説明から明らかになる。
【発明の効果】
【0014】
新規なビデオエンコーディングまたはデコーディング、圧縮または圧縮解除のための方法または装置を提供する。
【図面の簡単な説明】
【0015】
【図1】圧縮されたＨＥＶＣピクチャを表す、符号化ツリーユニットおよび符号化ツリー概念例を示す図である。
【図2】符号化ツリーユニットの、符号化ユニット、予測ユニットおよび変換ユニットへの分割例を示す図である。
【図3】標準的で汎用的なビデオ圧縮スキームを示す図である。
【図4】標準的で汎用的なビデオ圧縮解除スキームを示す図である。
【図5】現在のスキームのデコーディングプロセスの簡略化ブロック図である。
【図6】双予測モードのケースにおける、ＭＭＶＤ図である。
【図7】ＳＭＶＤ（対称動きベクトル差）の例を示す図である。
【図8】符号化ユニットのためのＡＴＭＶＰ動き予測の例を示す図である。
【図9】共同調査モデル、ＶＴＭで使用される単純なアフィンモデルの例である。
【図10】４×４サブＣＵベースのアフィン動きベクトル場を示す図である。
【図11】アフィンインター符号化された符号化ユニットのための動きベクトル予測プロセスの例を示す図である。
【図12】アフィンマージモードにおける動きベクトル予測候補を示す図である。
【図13】アフィンマージのケースにおけるアフィン動き場制御点の空間的導出を示す図である。
【図14】例示的な平面動きベクトル予測プロセスを示す図である。
【図15】回帰ベースの動きベクトル場構築を示す図である。
【図16】符号化ユニットを２三角予測ユニット（ＰＵ）に分割する例の図である。
【図17】非長方形パーティショニングおよび関連付けられたＯＢＭＣ対角重み付けを示す図である。
【図18】ＬＩＣパラメータが、（ａ）再構築された近隣サンプル、（ｂ）対応する併置された参照サンプルからどのように導出されるかを示す図である。
【図19】ＬＩＣパラメータ導出に使用される近隣サンプル例を示す図である。
【図20】非サブブロックＳＴＭＶＰマージ候補の計算で検討される空間位置を示す図である。
【図21】ＭＭＶＤと双予測が組み合わされたときの、動きベクトルデコーディングプロセスの簡略化ブロック図である。
【図22】ＣＰＲ制約の例を示す図である。
【図23】ＭＭＶＤモードでのＣＰＲ ＭＶに対する制約の適用を示す図である。
【図24】ＡＴＭＶＰのケースにおけるＭＭＶＤモード適応を示す図である。
【図25】ＭＭＶＤを使用するアフィン動き生成プロセスの第１バージョンの簡略化ブロック図である。
【図26】ＭＭＶＤを使用するアフィン動き生成プロセスの第２バージョンの簡略化ブロック図である。
【図27】検討されるアフィン動き場の第１のＣＰＭＶに使用される、ＭＶＤインデックスに基づいた、差分ＭＶＤについての許容大きさ限界を示す図である。
【図28】ＭＭＶＤと組み合わされた、平面ＭＶＰモードの例を示す図である。
【図29】ＭＭＶＤを使用するＰＭＶＤ動き生成プロセスの第１バージョンの簡略化ブロック図である。
【図30】ＭＭＶＤを使用するＰＭＶＤ動き生成プロセスの第２バージョンの簡略化ブロック図である。
【図31】ＭＭＶＤを使用するＰＭＶＤ動き生成プロセスの第３バージョンの簡略化ブロック図である。
【図32】回帰ベースの動きベクトル場構築を示す図である。
【図33】ＳＭＶＤを使用するアフィン動き生成プロセスのバージョンの簡略化ブロック図である。
【図34】説明された態様のエンコーディング、デコーディングのためのプロセッサベースのシステムを示す図である。
【図35】説明された一般的態様のエンコーディング方法の一実施形態の図である。
【図36】説明された一般的態様のデコーディング方法の一実施形態の図である。
【図37】説明された一般的態様における、装置の一実施形態を示す図である。
【発明を実施するための形態】
【0016】
ここで説明される実施形態は、ビデオ圧縮の分野にあり、一般に、ビデオ圧縮ならびにビデオエンコーディングおよびデコーディングに関する。説明される一般的な態様は、ツール組み合わせの可能なセットを制約するために、高レベルのビデオ符号化シンタックスにおいて、またはビデオ符号化セマンティクスにおいて、制約を操作するためのメカニズムを提供することを目的とする。
【0017】
高い圧縮効率を達成するために、画像およびビデオ符号化スキームは、通常、ビデオコンテンツ内の空間的および時間的冗長性を活用するために、動きベクトル予測を含む予測、および変換を利用する。一般に、フレーム内またはフレーム間相関を利用するために、イントラまたはインター予測が使用され、その後、しばしば予測誤差または予測残差と呼ばれる、原画像と予測画像との間の差が、変換、量子化、およびエントロピ符号化される。ビデオを再構築するために、エントロピ符号化、量子化、変換、および予測に対応する逆プロセスによって、圧縮されたデータをデコードする。
【0018】
ＨＥＶＣ（高効率ビデオ符号化、ＩＳＯ／ＩＥＣ ２３００８－２、ＩＴＵ－Ｔ Ｈ．２６５）ビデオ圧縮規格においては、ビデオの連続するピクチャ間に存在する冗長性を利用するために、動き補償された時間予測が、利用される。
【0019】
そうするために、動きベクトルが、各予測ユニット（ＰＵ）に関連付けられる。各符号化ツリーユニット（ＣＴＵ）は、圧縮領域においては、符号化ツリーによって表される。図１におけるように、これは、ＣＴＵの四分木分割であり、各リーフは、符号化ユニット（ＣＵ）と呼ばれる。
【0020】
各ＣＵは、その後、いくつかのイントラまたはインター予測パラメータ（予測情報）を与えられる。そうするために、それは、１つまたは複数の予測ユニット（ＰＵ）に空間的にパーティションされ、各ＰＵは、いくつかの予測情報を割り当てられる。図２におけるように、イントラまたはインター符号化モードは、ＣＵレベル上において割り当てられる。
【0021】
ＨＥＶＣにおいては、正確に１つの動きベクトルが、各ＰＵに割り当てられる。この動きベクトルは、検討されるＰＵの動き補償された時間予測のために使用される。したがって、ＨＥＶＣにおいては、予測ブロックとそれの参照ブロックとを結びつける動きモデルは、単純に並進(translation)である。
【0022】
ＨＥＶＣにおいては、２つのモードを利用して、動きデータをエンコードする。それらは、それぞれ、ＡＭＶＰ（適応動きベクトル予測）、およびマージと呼ばれる。
【0023】
ＡＭＶＰは、基本的に、現在のＰＵを予測するために使用される参照ピクチャ、（２つのプレディクタからなるリストから取られる）動きベクトルプレディクタインデックス、および動きベクトル差をシグナリングすることに本質がある。本文書は、マージモードを扱い、したがって、以下においては、ＡＭＶＰには取り組まない。
【0024】
マージモードは、動きデータプレディクタのリスト内に収集された、いくつかの動きデータのインデックスをシグナリングおよびデコードすることに本質がある。このリストは、５つの候補から作られ、デコーダ側およびエンコーダ側において、同じ方法で構築される。したがって、マージモードは、マージリストから取得される、いくつかの動き情報を導出することを目的とする。マージリストは、一般に、現在のＰＵが処理されているときに、デコードされた状態において利用可能な、いくつかの空間的および時間的周辺ブロックに関連付けられた、動き情報を含む。
【0025】
ＶＴＭ－３（ＶＶＣドラフト３）においては、ＭＭＶＤ（動きベクトル差を伴うマージ）と呼ばれる、新しいタイプの動きベクトル符号化が、採用された。ＭＭＶＤモードは、基本的に、エンコードまたはデコードするブロックのいくつかの動き情報を生成するために、何らかの従来のマージ候補に追加される、いくつかの動きベクトル差を導入することに本質がある。
【0026】
ＭＭＶＤは、ＶＶＣ符号化システムの符号化効率を向上させる。しかしながら、ＶＶＣドラフト３においては、通常の並進マージモード(translational merge mode)だけにおいて、ＭＭＶＤツールが、適用されることが述べられた。ＭＭＶＤツールを、他のいくつかのインター符号化モードと、特に、ＶＶＣ符号化システムに含まれる、他のいくつかの動きベクトル（またはサブブロックベースの動き場のケースにおいては、動きモデル）生成ツールと組み合わせることは、興味深いことがある。
【0027】
ＶＶＣ標準化に提案されている、別の動きベクトル符号化ツールは、いわゆる対称動きベクトル符号化（ＳＭＶＤ）である。ＭＭＶＤと同様に、ＳＭＶＤは、動きベクトル符号化の効率を向上させるための、新しいモードである。それは、ＡＭＶＰモード内において企てられる。しかしながら、ＳＭＶＤは、並進ＡＭＶＰ(Translational AMVP)ケースに対してだけ適用される。ＭＭＶＤに関しては、単純な並進モデルを超える、いくつかの動きモデル向けに、それを拡張することが、有益なことがある。
【0028】
共同調査モデル（ＪＥＭ）として知られる、新しいビデオ圧縮規格についての、ＪＶＥＴ（共同ビデオ調査チーム）提案においては、高い圧縮性能のために、四分木－二分木（ＱＴＢＴ）ブロックパーティショニング構造を受け入れることが、提案された。二分木（ＢＴ）におけるブロックは、それを中央で水平または垂直に分割することによって、２つの等しいサイズのサブブロックに分割することができる。結果として、ＢＴブロックは、高さと幅が等しい正方形形状をブロックが常に有する、ＱＴにおけるブロックと異なり、幅と高さが等しくない長方形形状を有することができる。ＨＥＶＣにおいては、角度イントラ予測方向は、４５度から－１３５度まで、１８０度にわたって定義され、ＪＥＭにおいては、それらが、維持され、そのことが、角度方向の定義を、目標ブロック形状とは無関係にしている。
【0029】
これらのブロックをエンコードするために、以前再構築された近隣サンプルを使用して、ブロックの推定バージョンを提供するために、イントラ予測が、使用される。その後、ソースブロックと予測との間の差が、エンコードされる。上述の従来のコーデックにおいては、現在のブロックの左側および上側において、１ラインの参照サンプルが、使用される。
【0030】
ＨＥＶＣ（高効率ビデオ符号化、Ｈ．２６５）においては、ビデオシーケンスのフレームのエンコーディングは、四分木（ＱＴ）ブロックパーティショニング構造に基づく。フレームは、正方形の符号化ツリーユニット（ＣＴＵ）に分割され、それらは、すべて、レート－歪み（ＲＤ）基準に基づいて、複数の符号化ユニット（ＣＵ）への四分木ベースの分割を受ける。各ＣＵは、イントラ予測され、すなわち、それは、原因となる近隣ＣＵから、空間的に予測され、またはインター予測され、すなわち、それは、すでにデコードされた参照フレームから、時間的に予測される。Ｉスライスにおいては、すべてのＣＵは、イントラ予測されるが、ＰスライスおよびＢスライスにおいては、ＣＵは、イントラ予測またはインター予測をともに行うことができる。イントラ予測については、ＨＥＶＣは、（モード０としてインデックス付けされた）１つの平面モード、（モード１としてインデックス付けされた）１つのＤＣモード、および（モード２～３４としてインデックス付けされた）３３個の角度モードを含む、３５個の予測モードを定義する。角度モードは、時計回り方向に、４５度から－１３５度の範囲にわたる、予測方向と関連付けられる。ＨＥＶＣは、四分木（ＱＴ）ブロックパーティショニング構造をサポートするので、すべての予測ユニット（ＰＵ）は、正方形形状をする。したがって、４５度から－１３５度までの予測角度の定義は、ＰＵ（予測ユニット）形状の観点から正当化される。サイズがＮ×Ｎピクセルの目標予測ユニットについては、上側参照アレイおよび左側参照アレイは、各々が、サイズが２Ｎ＋１のサンプルであり、それは、すべての目標ピクセルについて、上述の角度範囲をカバーすることを求められる。ＰＵの高さと幅が、等しい長さであることを考えると、２つの参照アレイの長さの等しさも、当然である。
【0031】
本発明は、ビデオ圧縮の分野にある。それは、既存のビデオ圧縮システムと比較して、インター符号化されたブロックにおける、双予測を改善することを目的とする。本発明は、インタースライスについて、ルーマ符号化ツリーとクロマ符号化ツリーを分離することも提案する。
【0032】
ＨＥＶＣビデオ圧縮規格においては、ピクチャは、いわゆる符号化ツリーユニット（ＣＴＵ）に分割され、そのサイズは、一般に、６４×６４、１２８×１２８、または２５６×２５６ピクセルである。各ＣＴＵは、圧縮領域においては、符号化ツリーによって表される。これは、ＣＴＵの四分木分割であり、各リーフは、符号化ユニット（ＣＵ）と呼ばれる。
【0033】
各ＣＵは、その後、いくつかのイントラまたはインター予測パラメータ（予測情報）を与えられる。そうするために、それは、１つまたは複数の予測ユニット（ＰＵ）に空間的にパーティションされ、各ＰＵは、いくつかの予測情報を割り当てられる。イントラまたはインター符号化モードは、ＣＵレベル上において割り当てられる。
【0034】
新たに出現したビデオ圧縮ツールは、圧縮領域において、より柔軟な方法でピクチャデータを表すために、圧縮領域における符号化ツリーユニット表現が、提案されることを含む。符号化ツリーのこのより柔軟な表現の利点は、それが、ＨＥＶＣ規格のＣＵ／ＰＵ／ＴＵ配置と比較して、向上した圧縮効率を提供することである。
【0035】
四分木プラス二分木（ＱＴＢＴ）符号化ツールは、この向上した柔軟性を提供する。それは、符号化ユニットを四分木方式と二分木方式の両方で分割することができる、符号化ツリーであることに本質がある。符号化ツリーユニットのそのような符号化ツリー表現が、例示される。
【0036】
符号化ユニットの分割は、最小のレート歪みコストを有する、ＣＴＵのＱＴＢＴ表現を決定することに本質がある、レート歪み最適化手順を通して、エンコーダ側において決定される。
【0037】
ＱＴＢＴ技術においては、ＣＵは、正方形または長方形形状のどちらかを有する。符号化ユニットのサイズは、常に、２の累乗であり、一般に、４から１２８までである。
【0038】
符号化ユニットについての長方形形状のこの多様性に加えて、この新しいＣＴＵ表現は、ＨＥＶＣと比較して、以下の異なる特性を有する。
【0039】
ＣＴＵのＱＴＢＴ分解は、２つのステージから作られ、最初に、ＣＴＵは、四分木方式で分割され、次に、各四分木リーフは、二分木方式でさらに分割することができる。
【0040】
本発明によって解決される１つの問題は、ＭＭＶＤおよびＳＭＶＤ動きベクトル符号化ツールの使用を、どのように、現在提案されているビデオ規格においてサポートされる、すべての動きモデル導出方法および時間予測方法にまで拡張して、これらの提案されている規格の全体的な圧縮性能を向上させるかである。
【0041】
本開示の基本原理は、２つの側面からなっている。
【0042】
－ ＭＭＶＤ動きベクトル符号化の、ＶＶＣドラフト３においてサポートされる、すべての動きモデルおよび／または時間予測方法、ならびにＶＶＣ標準化プロセスに提案されている他の動きモデルとの使用を拡張すること。特に、本開示においては、ＭＭＶＤを、アフィン動きモデル、ＡＴＭＶＰ動きモデル、平面動きモデル、回帰的動き場、三角パーティションベースの動きモデル、ＧＢＩ時間予測方法、ＬＩＣ時間予測方法、および多重仮説予測方法と、どのように組み合わせるかが、説明される。双予測のケースにおけるＭＭＶＤの強化された使用も、提供される。
【0043】
－ ＳＭＶＤ動きベクトル符号化ツールの、ＶＶＣドラフト３においてサポートされる、すべての動きモデルおよび／または時間予測方法、ならびにＶＶＣ標準化プロセスに提案されている他の動きモデルジェネレータとの使用を拡張すること。特に、本開示においては、ＳＭＶＤを、アフィン動きモデル、ＡＴＭＶＰ動きモデル、平面動きモデル、回帰的動き場、三角パーティションベースの動きモデル、ＧＢＩ時間予測方法、ＬＩＣ時間予測方法、および多重仮説予測方法と、どのように組み合わせるかが、説明される。
【0044】
開発されているＶＶＣビデオ規格においては、複数のインター予測モードが、サポートされ、または提案されている。
【0045】
図５は、ＶＶＣドラフトのバージョン３における、インターデコーディングプロセスの簡略化されたブロック図を示している。プロセスは、ＣＵまたはＰＵの符号化のために使用される、インターモードに従って異なることができる、ＭＶ候補リストの構築（１００１）に基づいた、ＭＶプレディクタ（ｍｖｐ）の導出で開始する。
【0046】
ステップ１００２は、動きベクトル差（ＭＶｄ）デコーディングステップである。デコードされたＭＶｄは、先行するステップ（１００１）において獲得された動きベクトルプレディクタへの、それの追加を通して、検討されるＣＵ／ＰＵの動きベクトルを再構築するために、使用される。
【0047】
次のステップ１００３は、２つの先行するステップから出された動きベクトル値から、動きモデルを導出することに本質がある。モデルは、後で説明されるように、単に並進的(translational)であること、またはより高度なものであることができる。
【0048】
デコードされたＭＶを使用する、ＣＵ内のサンプルの予測は、１つの参照ピクチャについては、ステップ１００４において、双予測モードのケースにおける、他方の参照ピクチャについては、ステップ１００５において、実行される。予測信号は、１つの参照ピクチャについては、ステップ１００６において、双予測モードのケースにおける、他方の参照ピクチャについては、ステップ１００７において、さらに精緻化される。適用可能なときは、ステップ１００８において、双予測、もしくは混合されたイントラ／インター予測の、またはＣＵ内のＰＵの組み合わせが、達成される。ステップ１００９において、予測信号の最終的な精緻化ステップが、実行される。
【0049】
図５は、ＶＴＭ３における、これらの異なるステップに対して適用される、異なるモードも示している。（＊）を用いて示されるツールは、採用を提案されているが、ＶＶＣドラフト３の段階では採用されていない、ツールに対応する。
【0050】
インターにおいては、ＭＶを導出するための２つの基本モードである、マージおよびＡＭＶＰが、使用される。両ケースにおいて、ＭＶ候補リストが、導出される。この導出プロセスは、一般に、これら２つのモードについて異なり、与えられたモードについてさえも、ＣＵに対して適用される他の設定（例えば、マージか、それともＡＭＶＰか、並進モデルか、それともアフィンモデルか）に応じて、変形が、適用される。
【0051】
マージモードにおいては、マージ候補リスト内のＭＶをフェッチするために、プレディクタインデックスが、シグナリングされる。加えて、スキップモードが適用されないケースにおいては、サンプル予測残差が、シグナリングされる。ＡＭＶＰモードにおいては、各参照ピクチャ（単予測のケースにおいては、１つの参照ピクチャ、双予測のケースにおいては、２つ）について、参照フレームインデックス、プレディクタインデックス、および動きベクトル差（ｍｖｄ）が、シグナリングされる。加えて、サンプル予測残差が、シグナリングされる。
【0052】
表１は、現在のＶＴＭにおける、異なる候補リストの内容の概要を提供する。
【0053】
【表1】
【0054】
本発明において考察されるインターモードの要約が、（ｐｓｎｒＹについての、ランダムアクセス構成における、パーセンテージでの、ビットレート変動に関する）性能に関する何らかの表示的な数とともに、以下の表において提供される。
【0055】
【表2】
【0056】
以下のサブセクションは、考察されるインターモードにおけるさらなる詳細を、これらのモードまたはツールに関連付けられた、シンタックス要素とともに提供する。
【0057】
本明細書において説明される一般的な態様は、図５の「Ｍｖｄ導出」および「モデル導出」ステップに焦点を当てている。本開示の目標は、ＭＭＶＤおよびＳＭＶＤ動きベクトル符号化ツールの使用を、単純な並進動きモデルを超えた動きモデルにまで拡張することである。
【0058】
[ＭＭＶＤ動きベクトル差符号化ツール説明]
ＭＭＶＤは、マージモードだけにおいて、適用される。それは、マージ候補リストを使用する。フラグ「ｍｍｖｄ＿ｓｋｉｐ」は、ＭＭＶＤモードが適用されるかどうかを示す。モードが、適用されるとき、ＭＶ差（ｍｍｖｄ）は、以下のように構築される。
－ （ここでは、ｍｍｖｄ＿ｉｄｘと表記される）シンタックス要素が、以下の情報から成る補正ＭＶ ｍｍｖｄを構築するために、シグナリングされる。
○２つの第１の並進マージ候補の中からエンコーダによって選択された、ベースＭＶインデックス。
○（ｘ，ｙ）座標系における方向Ｄ（現在は４つ）に関連する、ｍｍｖｄ＿ｄｉｒ＿ｉｄｘと表記されるインデックス（４つの要素｛（０，１），（１，０），（－１，０），（０，－１）｝からなるテーブルｄｉｒ［］が、指定される）。
○ベースＭＶからの距離ステップＳに関連する、ｍｍｖｄ＿ｄｉｓｔ＿ｉｄｘと表記されるインデックス（現在は最大で８つの距離が可能であり、８つの要素｛１／４ペル，１／２ペル，１ペル，２ペル，４ペル，８ペル，１６ペル，３２ペル｝からなるテーブルｄｉｓｔ［］の指定を伴う）。
ＭＭＶＤは、マージモードだけにおいて、適用される。それは、マージ候補リストを使用する。フラグ「ｍｍｖｄ＿ｓｋｉｐ」は、ＭＭＶＤモードが適用されるかどうかを示す。モードが、適用されるとき、ＭＶ差（ｍｍｖｄ）は、以下のように構築される。
－ （ここでは、ｍｍｖｄ＿ｉｄｘと表記される）シンタックス要素が、以下の情報から成る補正ＭＶ ｍｍｖｄを構築するために、シグナリングされる。
○２つの第１の並進マージ候補の中からエンコーダによって選択された、ベースＭＶインデックス。
○（ｘ，ｙ）座標系における方向Ｄ（現在は４つ）に関連する、ｍｍｖｄ＿ｄｉｒ＿ｉｄｘと表記されるインデックス（４つの要素｛（０，１），（１，０），（－１，０），（０，－１）｝からなるテーブルｄｉｒ［］が、指定される）。
○ベースＭＶからの距離ステップＳに関連する、ｍｍｖｄ＿ｄｉｓｔ＿ｉｄｘと表記されるインデックス（現在は最大で８つの距離が可能であり、８つの要素｛１／４ペル，１／２ペル，１ペル，２ペル，４ペル，８ペル，１６ペル，３２ペル｝からなるテーブルｄｉｓｔ［］の指定を伴う）。
【0059】
ＭＭＶＤモードが、適用されるとき、ＭＶ差が、その後、以下のように計算される。
ｒｅｆｉｎｅｍｅｎｔＭＶ＝ｄｉｒ［ｍｍｖｄ＿ｄｉｒ＿ｉｄｘ］×ｄｉｓｔ［ｍｍｖｄ＿ｄｉｓｔ＿ｉｄｘ］
ｒｅｆｉｎｅｍｅｎｔＭＶ＝ｄｉｒ［ｍｍｖｄ＿ｄｉｒ＿ｉｄｘ］×ｄｉｓｔ［ｍｍｖｄ＿ｄｉｓｔ＿ｉｄｘ］
【0060】
ＣＵが、双予測で符号化される場合であっても、単一のＭＶ差が、シグナリングされる。双予測ケースにおいては、２つの対称ＭＶ差が、単一の符号化されたＭＶから、獲得される。予測ピクチャと参照ピクチャとの間の時間的距離が、参照ピクチャリストＬ０とＬ１との間で異なるとき、デコードされたｍｍｖｄは、最大の時間的距離に関連付けられたＭＶ差（ｍｖｄ）に割り当てられる。最小の距離に関連付けられたｍｖｄは、ＰＯＣ距離の関数としてスケーリングされている。
【0061】
例えば、参照ピクチャｋ（ｋ＝０または１）が、現在のピクチャに最も近いものであるケースについて考察する。ｋｋ＝１－ｋ、またＰＯＣｒｅｆ＿０、ＰＯＣｒｅｆ＿１、およびＰＯＣｃｕｒを、それぞれ、参照ピクチャ０、参照ピクチャ１、および現在のピクチャのピクチャ順序カウントであると定義する。スケーリングファクタは、以下のように導出される。
ｓｃ＝（ＰＯＣｒｅｆ＿ｋｋ－ＰＯＣｃｕｒ）／（ＰＯＣｒｅｆ＿ｋ－ＰＯＣｃｕｒ）
ｓｃ＝（ＰＯＣｒｅｆ＿ｋｋ－ＰＯＣｃｕｒ）／（ＰＯＣｒｅｆ＿ｋ－ＰＯＣｃｕｒ）
【0062】
次に、参照ピクチャの各々についての精緻化ＭＶが、以下のように導出される。
ｒｅｆｉｎｅｍｅｎｔＭＶ＿ｋ＝ｒｅｆｉｎｅｍｅｎｔＭＶ
ｒｅｆｉｎｅｍｅｎｔＭＶ＿ｋｋ＝ｓｃ×ｒｅｆｉｎｅｍｅｎｔＭＶ
ｒｅｆｉｎｅｍｅｎｔＭＶ＿ｋ＝ｒｅｆｉｎｅｍｅｎｔＭＶ
ｒｅｆｉｎｅｍｅｎｔＭＶ＿ｋｋ＝ｓｃ×ｒｅｆｉｎｅｍｅｎｔＭＶ
【0063】
ＶＶＣドラフト３においては、ＭＭＶＤは、並進動きモデルに対してだけ適用される。
【0064】
[ＪＶＥＴ－Ｌ０３７０において提案された対称ＭＶＤ]
対称ＭＶＤ（ＳＭＶＤ）ツールが、ＶＶＣのために検討されている。それの原理は、双予測のケースにおいて、ＣＵの動き情報が、２つの対称な前方動きベクトル差および後方動きベクトル差から作られるという制約下において、いくつかの動きベクトル情報をエンコードすることである。ＶＶＣドラフト３においては、ＳＭＶＤモードは、ＡＭＶＰだけに対して適用される。
対称ＭＶＤ（ＳＭＶＤ）ツールが、ＶＶＣのために検討されている。それの原理は、双予測のケースにおいて、ＣＵの動き情報が、２つの対称な前方動きベクトル差および後方動きベクトル差から作られるという制約下において、いくつかの動きベクトル情報をエンコードすることである。ＶＶＣドラフト３においては、ＳＭＶＤモードは、ＡＭＶＰだけに対して適用される。
【0065】
ＳＭＶＤモードと呼ばれる、この制約下におけるＣＵの符号化は、ＣＵレベルフラグｓｙｍｍｅｔｒｉｃａｌ＿ｍｖｄ＿ｆｌａｇを通して、シグナリングされる。
【0066】
このフラグは、ＳＭＶＤモードが、実現可能である場合に、すなわち、ＣＵの予測モードが、双予測であり、以下のような、ＣＵのための２つの参照ピクチャが、見つかった場合に、符号化される。
【0067】
－ 現在のＣＵのための参照ピクチャが、それぞれ（Ｌ０およびＬ１）または（Ｌ１およびＬ０）参照ピクチャリスト内における、最も近い前方参照ピクチャおよび後方参照ピクチャとして検索される。見つからない場合、ＳＭＶＤモードは、適用可能でなく、ｓｙｍｍｅｔｒｉｃａｌ＿ｍｖｄ＿ｆｌａｇは、省略される。
【0068】
ｓｙｍｍｅｔｒｉｃａｌ＿ｍｖｄ＿ｆｌａｇが、シグナリングされ、真に等しい場合、
－ Ｌ０参照ピクチャのために、１つのｍｖｄが、シグナリングされ、他の参照ピクチャリストのためのｍｖｄは、対称的なものとして、すなわち、最初のものの反対として、導出される。
－ 従来のＡＭＶＰモードにおけるのと同様に、（参照ピクチャリストごとに１つの）２つのＭＶプレディクタインデックスが、シグナリングされる。
－ Ｌ０参照ピクチャのために、１つのｍｖｄが、シグナリングされ、他の参照ピクチャリストのためのｍｖｄは、対称的なものとして、すなわち、最初のものの反対として、導出される。
－ 従来のＡＭＶＰモードにおけるのと同様に、（参照ピクチャリストごとに１つの）２つのＭＶプレディクタインデックスが、シグナリングされる。
【0069】
[ＶＶＣドラフト３においてサポートされる、またはＶＶＣに提案された動きモデル]
＊並進モデル(Translational Model)（ＶＶＣドラフト３）
デフォルトでは、ＣＵ内の動きは、ブロック内のすべてのサンプルに対して適用される、並進ＭＶに基づく。
＊ＡＴＭＶＰ（ＶＶＣドラフト３）
＊並進モデル(Translational Model)（ＶＶＣドラフト３）
デフォルトでは、ＣＵ内の動きは、ブロック内のすべてのサンプルに対して適用される、並進ＭＶに基づく。
＊ＡＴＭＶＰ（ＶＶＣドラフト３）
【0070】
図８によって示される、代替（高度）時間動きベクトル予測（ＡＴＭＶＰ：ａｌｔｅｒｎａｔｉｖｅ （ａｄｖａｎｃｅｄ） ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）方式においては、現在のＣＵのための１つまたは複数の時間動きベクトルプレディクタが、現在のＣＵのための参照ピクチャから取り出される。
【0071】
最初に、現在のＣＵの通常のマージ候補リスト内の最初の候補に関連付けられた動きデータとして、いわゆる時間動きベクトル、および関連付けられた参照ピクチャインデックスが、獲得される。
【0072】
次に、現在のＣＵが、Ｎ×ＮのサブＣＵに分割され、Ｎは、一般に、４に等しい。図８に、これが、示されている。各Ｎ×Ｎサブブロック（サブＣＵ）について、時間ＭＶに関連付けられた参照ピクチャにおいて、時間動きベクトルの助けを借りて、動きベクトル、および参照ピクチャインデックスが、識別される。現在のサブＣＵの位置から、時間ＭＶによってポイントされる、参照ピクチャ内のＮ×Ｎサブブロックが、検討される。それの動きデータが、現在のサブＣＵのためのＡＴＭＶＰ動きデータ予測として、取得される。それは、その後、適切な動きベクトルスケーリングを通して、現在のサブＣＵの動きベクトルおよび参照ピクチャインデックスに変換される。
【0073】
ＶＶＣドラフト３においては、ＡＴＭＶＰ動き情報プレディクタは、サブブロックベースのマージ候補リストの一部であることに留意されたい。
【0074】
＊アフィン動きモデル（ＶＶＣドラフト３）
ＶＶＣにおいて導入された新しい動きモデルの１つは、基本的に、ＣＵ内において動きベクトルを表すために、アフィン動き場を使用することに本質がある、アフィンモードである。
ＶＶＣにおいて導入された新しい動きモデルの１つは、基本的に、ＣＵ内において動きベクトルを表すために、アフィン動き場を使用することに本質がある、アフィンモードである。
【0075】
２つまたは３つの（以下では制御点とも呼ばれる）制御点動きベクトルのために使用される動きモデルが、図９によって例示されている。検討されるブロック内の各位置（ｘ，ｙ）についての、２つの制御点に基づく、４パラメータアフィン動き場は、以下の動きベクトル成分値である。
【0076】
【数1】
【0077】
ここで、（ｖ0x，ｖ0y）および（ｖ1x，ｖ1y）は、アフィン動き場を生成するために使用される、いわゆる制御点運動ベクトル（ＣＰＭＶ）である。（ｖ0x，ｖ0y）は、左上隅の制御点動きベクトルである。（ｖ1x，ｖ1y）は、右上隅の制御点動きベクトルである。ＪＶＥＴ－Ｊ００２１において説明されるように、３つのＣＰＭＶから生成される、６パラメータアフィン場も、可能である。
【0078】
実際には、複雑さを妥当に保つために、アフィン動きは、４×４サブブロックベースで管理され、すなわち、検討されるＣＵの各４×４サブブロック（サブＣＵ）内の各サンプルに対して、同じ動きベクトルが、使用される（図１０を参照）。アフィン動きベクトルは、各サブブロックの中心の位置において、ＣＰＭＶから計算される。獲得されたＭＶは、１／１６ペル精度で表される。
【0079】
結果として、ブロック（ＣＵ）全体が、独自のＭＶを有する各４×４サブブロック（サブＣＵ）の動き補償を通して、時間的に予測される。ＶＴＭにおいては、アフィン動き補償は、以下で説明される、アフィンインター（ＡＦ＿ＩＮＴＥＲ）と、アフィンマージ（またはマージアフィン）の、２つの方法で使用することができる。
【0080】
－アフィンインター（ＡＦ＿ＩＮＴＥＲ）－
それのサイズが８×８よりも大きい、ＡＭＶＰモードにおけるＣＵは、アフィンインターモードで予測することができる。これは、ＣＵレベルで符号化された、フラグｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇを通して、シグナリングされる。そのインターＣＵのためのアフィン動き場の生成は、動きベクトル差プラス制御点動きベクトル予測（ＣＰＭＶＰ）の加算を通して、デコーダによって獲得される、制御点動きベクトル（ＣＰＭＶ）を決定することを含む。ＣＰＭＶＰは、（アフィンマージモードにおけるように）アフィン近隣から継承すること、または図１１に例示される、リスト（Ａ、Ｂ、Ｃ）、（Ｄ、Ｅ）、および／もしくは（Ｆ、Ｇ）からそれぞれ取得される、非アフィン動きベクトルから構築することができる、動きベクトル候補の、（２つのＣＰＭＶを有する４パラメータアフィンモデルについては）ペア、または（３つのＣＰＭＶを有する６パラメータアフィンモデルについては）トリプレットである。これは、表１において述べられた、「仮想候補」に対応する。
それのサイズが８×８よりも大きい、ＡＭＶＰモードにおけるＣＵは、アフィンインターモードで予測することができる。これは、ＣＵレベルで符号化された、フラグｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇを通して、シグナリングされる。そのインターＣＵのためのアフィン動き場の生成は、動きベクトル差プラス制御点動きベクトル予測（ＣＰＭＶＰ）の加算を通して、デコーダによって獲得される、制御点動きベクトル（ＣＰＭＶ）を決定することを含む。ＣＰＭＶＰは、（アフィンマージモードにおけるように）アフィン近隣から継承すること、または図１１に例示される、リスト（Ａ、Ｂ、Ｃ）、（Ｄ、Ｅ）、および／もしくは（Ｆ、Ｇ）からそれぞれ取得される、非アフィン動きベクトルから構築することができる、動きベクトル候補の、（２つのＣＰＭＶを有する４パラメータアフィンモデルについては）ペア、または（３つのＣＰＭＶを有する６パラメータアフィンモデルについては）トリプレットである。これは、表１において述べられた、「仮想候補」に対応する。
【0081】
－アフィンマージ－
アフィンマージモードにおいては、ＣＵレベルフラグは、マージモードにおけるＣＵが、アフィン動き補償を利用するかどうかを示す。そうである場合、ＪＥＭ（ＶＶＣ以前に、ＪＶＥＴによって開発された、探索参照ソフトウェア）においては、図１２の順序付けられた候補位置のリスト（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）の中から、アフィンモードで符号化されている、最初の利用可能な近隣ＣＵが、選択される。
アフィンマージモードにおいては、ＣＵレベルフラグは、マージモードにおけるＣＵが、アフィン動き補償を利用するかどうかを示す。そうである場合、ＪＥＭ（ＶＶＣ以前に、ＪＶＥＴによって開発された、探索参照ソフトウェア）においては、図１２の順序付けられた候補位置のリスト（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）の中から、アフィンモードで符号化されている、最初の利用可能な近隣ＣＵが、選択される。
【0082】
アフィンモードにある最初の近隣ＣＵが、ひとたび獲得されると、近隣ＣＵの左上隅、右上隅、および左下隅からの３つの動きベクトル
【0083】
【数2】
【0084】
が、取り出される（図１３を参照）。これらの３つのベクトルに基づいて、現在のＣＵの左上隅、右上隅、および／または左下隅の２つまたは３つのＣＰＭＶが、以下のように導出される。
【0085】
【数3】
【0086】
現在のＣＵの制御点動きベクトル
【0087】
【数4】
【0088】
が、獲得されたとき、現在のＣＵ内の動き場が、式１のモデルを通して、４×４サブＣＵベースで計算される。
【0089】
並行アプリケーションにおいては、アフィンマージモードのためのより多くの候補が、検討される。その場合、エンコーダにおいて、レート－歪み最適化プロセスを通して、最良の候補が、選択され、この最良の候補のインデックスが、ｍｅｒｇｅ＿ｉｄｘシンタックス要素を通して、ビットストリーム内に符号化される。
【0090】
アフィンマージ候補リストに入れられる、次のアフィン候補は、継承された候補とは対照的に、「構築された」（または「仮想」）アフィンモデル候補である。構築された候補は、アフィンモードで符号化されていない近隣ＣＵからのものを含む、現在のＣＵの周りの利用可能な近隣動きベクトルに基づいて計算される、アフィン動き場である。２つまたは３つの近隣ＭＶが、導出され、現在のＣＵのための候補アフィン動き場を生成するために、使用される。
【0091】
アフィンマージ候補を構築するために使用される近隣ＭＶは、いくつかの空間ＭＶＰと、１つの時間ＭＶＰとを含む。
【0092】
[（ＪＶＥＴ－Ｌ００７０において提案された）平面動きモデル]
ＪＶＥＴ－Ｌ００７０においては、ＶＶＣコーデック設計に対する追加マージモードとして、平面動きベクトル予測（ＰＭＶＰ）が、提案されている。図１４に示される平面動きベクトル予測は、以下のように、４×４ブロックベースで、水平および垂直線形補間を平均することによって、達成される。これらの線形補間は、ＣＵのコーナ（ＡＲ、ＡＬ、ＢＬ）上に配置された、ジェネレータＭＶから実行される。それの原理が、図１４に例示されている。
Ｐ（ｘ，ｙ）＝（Ｈ×Ｐh（ｘ，ｙ）＋Ｗ×Ｐv（ｘ，ｙ）＋Ｈ×Ｗ）／（２×Ｈ×Ｗ）
ＪＶＥＴ－Ｌ００７０においては、ＶＶＣコーデック設計に対する追加マージモードとして、平面動きベクトル予測（ＰＭＶＰ）が、提案されている。図１４に示される平面動きベクトル予測は、以下のように、４×４ブロックベースで、水平および垂直線形補間を平均することによって、達成される。これらの線形補間は、ＣＵのコーナ（ＡＲ、ＡＬ、ＢＬ）上に配置された、ジェネレータＭＶから実行される。それの原理が、図１４に例示されている。
Ｐ（ｘ，ｙ）＝（Ｈ×Ｐh（ｘ，ｙ）＋Ｗ×Ｐv（ｘ，ｙ）＋Ｈ×Ｗ）／（２×Ｈ×Ｗ）
【0093】
[回帰ＭＶＦ（ＲＭＶＦ）モデル]
ＪＶＥＴ－Ｌ０１７１においては、ＶＶＣコーデック設計に対する追加マージモードとして、回帰ベースの動きベクトル予測が、提案されている。
ＪＶＥＴ－Ｌ０１７１においては、ＶＶＣコーデック設計に対する追加マージモードとして、回帰ベースの動きベクトル予測が、提案されている。
【0094】
図１５に示される回帰ベースの動きベクトル場（ＲＭＶＦ）は、以下であることに本質がある。ＲＭＶＦの原理は、サブブロックの動きベクトルを計算するために、６パラメータ動きモデルを使用することである。
【0095】
【数5】
【0096】
動きパラメータは、空間的に近隣する４×４サブブロックの１行および１列に基づき、それらの動きベクトルおよび中心位置を線形回帰法の入力として使用して、計算される。
【0097】
[三角パーティションベースの動きモデル]
ＶＶＣドラフト３においては、三角動きパーティショニングツールが、採用された。それは、図１６によって示されるように、ブロックを２つの予測ユニットに分割する際の、柔軟性を可能にする。基本的に、ＣＵは、対角線または逆対角線方向に、２つの三角予測ユニットに分割される。各三角ＰＵは、専用の単予測候補リストから導出された、独自の単予測動きベクトルおよび参照ピクチャを使用して、インター予測される。
ＶＶＣドラフト３においては、三角動きパーティショニングツールが、採用された。それは、図１６によって示されるように、ブロックを２つの予測ユニットに分割する際の、柔軟性を可能にする。基本的に、ＣＵは、対角線または逆対角線方向に、２つの三角予測ユニットに分割される。各三角ＰＵは、専用の単予測候補リストから導出された、独自の単予測動きベクトルおよび参照ピクチャを使用して、インター予測される。
【0098】
三角予測ユニットを予測した後、適応的重み付けプロセス（図１７を参照）が、対角線エッジに対して実行される。その後、変換および量子化プロセス処理が、ＣＵ全体に対して適用される。三角ＰＵモードは、スキップモードおよびマージモードに対してだけ適用される。
【0099】
[局所照明補償（ＬＩＣ）]
ＬＩＣの目的は、動き補償された（ＭＣ）時間予測を通して利用される、予測ブロックとそれの参照ブロックとの間に発生することがある、照明変化を補償することである。このツールにおいては、デコーダは、現在のブロックの左側列および／または上側行に配置された、いくつかの再構築されたピクチャサンプルと、動き補償ブロックの左側列および／または上側行に配置された、参照ピクチャサンプルとに基づいて、いくつかの予測パラメータを計算する（図１８ａ）。
ＬＩＣの目的は、動き補償された（ＭＣ）時間予測を通して利用される、予測ブロックとそれの参照ブロックとの間に発生することがある、照明変化を補償することである。このツールにおいては、デコーダは、現在のブロックの左側列および／または上側行に配置された、いくつかの再構築されたピクチャサンプルと、動き補償ブロックの左側列および／または上側行に配置された、参照ピクチャサンプルとに基づいて、いくつかの予測パラメータを計算する（図１８ａ）。
【0100】
別の手法においては、左側／上側の近隣する再構築されたブロックの予測サンプル（図１８ｂ）を、使用することができる。
【0101】
双予測のケースにおいては、ＬＩＣの変形（「双方向ＬＩＣ」）は、現在のブロックのためのＬＩＣパラメータを導出するために、現在の２つの参照ブロック間の照明変化を推定することに本質がある。
【0102】
ＬＩＣパラメータは、Ｖｃｕｒ内のサンプルと、Ｖｒｅｆ（ＭＶ）内の補正されたサンプルとの間の平均２乗誤差差（ＭＳＥ）を最小化するように、選択される。一般に、ＬＩＣモデルは、線形、すなわち、ＬＩＣ（ｘ）＝ａ．ｘ＋ｂである。
【0103】
【数6】
【0104】
ｓおよびｒは、図１９に示されるように、それぞれ、Ｖｃｕｒ内およびＶｒｅｆ（ＭＶ）内におけるピクセル位置に対応する。
【0105】
結果として、ＬＩＣが、時間予測のために使用されるとき、現在のブロックの時間予測を提供するために、線形ＬＩＣモデルが、動き補償ブロックに対して適用される。
【0106】
[一般化された双予測（ＧＢＩ）]
ＶＶＣドラフト３においては、ＧＢＩが、採用された。それは、双予測モードにおいて、Ｌ０およびＬ１からのプレディクタに対して、等しくない重みを適用する。インター予測モードにおいては、等しい重みペア（１／２、１／２）を含む、複数の重みペアが、レート－歪み最適化（ＲＤＯ）に基づいて、評価され、選択された重みペアのＧＢＩインデックスが、デコーダにシグナリングされる。
ＶＶＣドラフト３においては、ＧＢＩが、採用された。それは、双予測モードにおいて、Ｌ０およびＬ１からのプレディクタに対して、等しくない重みを適用する。インター予測モードにおいては、等しい重みペア（１／２、１／２）を含む、複数の重みペアが、レート－歪み最適化（ＲＤＯ）に基づいて、評価され、選択された重みペアのＧＢＩインデックスが、デコーダにシグナリングされる。
【0107】
ＡＭＶＰモードにおいては、ＧＢＩ重み情報を搬送するＧＢＩインデックスが、ＣＵレベルでシグナリングされる。
【0108】
マージモードにおいては、ＧＢＩインデックスは、近隣ＣＵから継承される。ＧＢＩモードにおいて予測されるブロックは、以下のように計算される。
ＰGBi＝（ｗ0×ＰL0＋ｗ1×ＰL1）
ここで、ｗ0およびｗ1は、選択されたＧＢＩ重みである。サポートされるｗ1値は、一般に、｛－１／４，３／８，１／２，５／８，５／４｝である。ｗ1とｗ0の合計は、１に等しいので、対応するｗ0値は、｛５／４，５／８，１／２，３／８，－１／４｝である。重みペアは、ＣＵレベルで選択され、シグナリングされる。非低遅延ピクチャについては、重みの数が、減らされる。ｗ1値およびｗ0値は、それぞれ、｛３／８，１／２，５／８｝および｛５／８，１／２，３／８｝である。
ＰGBi＝（ｗ0×ＰL0＋ｗ1×ＰL1）
ここで、ｗ0およびｗ1は、選択されたＧＢＩ重みである。サポートされるｗ1値は、一般に、｛－１／４，３／８，１／２，５／８，５／４｝である。ｗ1とｗ0の合計は、１に等しいので、対応するｗ0値は、｛５／４，５／８，１／２，３／８，－１／４｝である。重みペアは、ＣＵレベルで選択され、シグナリングされる。非低遅延ピクチャについては、重みの数が、減らされる。ｗ1値およびｗ0値は、それぞれ、｛３／８，１／２，５／８｝および｛５／８，１／２，３／８｝である。
【0109】
１．１．１．非サブブロック空間時間マージ動きベクトルプレディクタ（ＳＴＭＶＰ）
このセクションは、ＳＴＭＶＰと呼ばれる、空間時間マージ候補を生成するための、先行技術方法ＪＶＥＴ－Ｌ０３５４について説明する。方法は、基本的に、現在のＰＵの上側および左側の２つの空間近隣動きベクトルと、現在のＣＵの時間動きベクトルプレディクタとを取り出すことに本質がある。
このセクションは、ＳＴＭＶＰと呼ばれる、空間時間マージ候補を生成するための、先行技術方法ＪＶＥＴ－Ｌ０３５４について説明する。方法は、基本的に、現在のＰＵの上側および左側の２つの空間近隣動きベクトルと、現在のＣＵの時間動きベクトルプレディクタとを取り出すことに本質がある。
【0110】
空間的近隣は、図２０に例示されるように、Ａｆａｒと呼ばれる空間位置において、取得される。現在のＰＵの左上位置に関連するＡｆａｒの空間位置は、座標（ｎｂＰＷ×２，－１）によって与えられる。ここで、ｎｂＰＷは、現在のブロックの幅である。動きベクトルが、位置Ａｆａｒにおいて利用可能でない（存在しない、またはイントラ符号化されていない）場合、位置Ｂ１は、現在のブロックの上側近隣動きベクトルと見なされる。
【0111】
左側近隣ブロックの選択も、同様である。利用可能である場合、Ｌｆａｒと表記される、相対的な空間位置（－１，２×ｎｂＰＨ）にある近隣動きベクトルが、選択される。ｎｂＰＨは、現在のブロックの高さである。利用可能でない場合、位置Ａ１（－１，ｎｂＰＨ－１）にある左側近隣動きベクトルが、利用可能であれば、選択される。
【0112】
次に、現在のブロックにおけるＴＭＶＰプレディクタが、ＨＥＶＣの時間動きベクトル予測におけるのと同様に、導出される。
【0113】
最後に、現在のブロックのＳＴＭＶＰマージ候補が、最大で３つの獲得された空間および時間近隣動きベクトルの平均として、計算される。したがって、ここでのＳＴＭＶＰ候補は、ＪＥＭにおけるＳＴＭＶＰのサブブロックベースの手法とは対照的に、参照ピクチャリスト当たり、最大でも１つの動きベクトルから作られる。ＪＶＥＴ－Ｌ０３５４の手法に対するいくつかの変形が、例えば、ＪＶＥＴ－Ｌ０２０７において、提案された。
【0114】
[ＭＭＶＤの使用を拡張するための提案された実施形態]
ＭＭＶＤと双予測との組み合わせ
現在のＭＭＶＤの設計においては、方向インデックスおよび距離インデックスから作られる、ｍｍｖｄデータの単一のセットが、双予測のケースにおいてさえも、シグナリングされる。
ＭＭＶＤと双予測との組み合わせ
現在のＭＭＶＤの設計においては、方向インデックスおよび距離インデックスから作られる、ｍｍｖｄデータの単一のセットが、双予測のケースにおいてさえも、シグナリングされる。
【0115】
[実施形態１]－両方の参照ピクチャのためのｍｍｖｄデータの相互依存シグナリング
実施形態においては、ＣＵが、双予測（ｂｉｐｒｅｄ）モードで符号化され、ＭＭＶＤモードが、ＣＵに対して有効化されるとき、ｍｍｖｄデータの２つのセットが、すなわち、（リストＬ０およびＬ１からの）参照ピクチャの各１つに対して適用される、２つのｍｍｖｄの各１つに対して１つのセットが、シグナリングされる。加えて、ｍｍｖｄデータの第２のセットを、ｍｍｖｄデータの第１のセットから、様々な可能なオプションを伴って、導出することができる。
実施形態においては、ＣＵが、双予測（ｂｉｐｒｅｄ）モードで符号化され、ＭＭＶＤモードが、ＣＵに対して有効化されるとき、ｍｍｖｄデータの２つのセットが、すなわち、（リストＬ０およびＬ１からの）参照ピクチャの各１つに対して適用される、２つのｍｍｖｄの各１つに対して１つのセットが、シグナリングされる。加えて、ｍｍｖｄデータの第２のセットを、ｍｍｖｄデータの第１のセットから、様々な可能なオプションを伴って、導出することができる。
【0116】
図２１の簡略化されたブロック図に、これが、例示されている。ステップ１１０１において、ｍｍｖｄデータが、第１の参照ピクチャのために、デコードされる。双予測が適用される場合（ステップ１１０２のチェック）、第１の参照ピクチャのｍｍｖｄデータを条件として、第２の参照ピクチャのために、ｍｍｖｄデータが、デコードされる（ステップ１１０３）。その後、ステップ１１０４において、双予測ＭＶが、第１および第２の参照ピクチャのｍｍｖｄデータから導出される。双予測が適用されない場合（ステップ１１０２のチェック）、ステップ１１０５において、単予測ＭＶが、第１の参照ピクチャのｍｍｖｄデータから導出される。
【0117】
[実施形態１]－オプション１－第２の参照ピクチャのｍｍｖｄについての推定される方向
１つのオプションにおいては、距離インデックスだけが、両方のｍｍｖｄ（ｍｍｖｄ０＿ｄｉｓｔ＿ｉｄｘおよびｍｍｖｄ１＿ｄｉｓｔ＿ｉｄｘ）のために符号化される。第２のｍｍｖｄの方向は、第１のｍｍｖｄの方向（ｍｍｖｄ０＿ｄｉｒ＿ｉｄｘ）から推測される。両方の参照ピクチャが、現在のピクチャに関して、同じ時間側に配置される場合、ｍｍｖｄ１＿ｄｉｒ＿ｉｄｘは、ｍｍｖｄ０＿ｄｉｒ＿ｉｄｘに等しく設定される。参照ピクチャが、現在のピクチャから両方の時間側に配置される場合、ｍｍｖｄ１＿ｄｉｒ＿ｉｄｘは、－ｍｍｖｄ０＿ｄｉｒ＿ｉｄｘに等しく設定される。
１つのオプションにおいては、距離インデックスだけが、両方のｍｍｖｄ（ｍｍｖｄ０＿ｄｉｓｔ＿ｉｄｘおよびｍｍｖｄ１＿ｄｉｓｔ＿ｉｄｘ）のために符号化される。第２のｍｍｖｄの方向は、第１のｍｍｖｄの方向（ｍｍｖｄ０＿ｄｉｒ＿ｉｄｘ）から推測される。両方の参照ピクチャが、現在のピクチャに関して、同じ時間側に配置される場合、ｍｍｖｄ１＿ｄｉｒ＿ｉｄｘは、ｍｍｖｄ０＿ｄｉｒ＿ｉｄｘに等しく設定される。参照ピクチャが、現在のピクチャから両方の時間側に配置される場合、ｍｍｖｄ１＿ｄｉｒ＿ｉｄｘは、－ｍｍｖｄ０＿ｄｉｒ＿ｉｄｘに等しく設定される。
【0118】
関連する簡略化されたシンタックスの例が、以下に示される。
【0119】
【表3】
【0120】
[実施形態１]－オプション２－第２の参照ピクチャのｍｍｖｄの距離の差分符号化
別のオプションにおいては、第２の参照ピクチャについての距離は、第１の参照ピクチャについての距離に対する差分として、符号化される。ｍｍｖｄ０＿ｄｉｓｔ＿ｉｄｘに対する差分に対応する、インデックスｍｍｖｄｄ１＿ｄｉｓｔ＿ｉｄｘが、符号化される。
別のオプションにおいては、第２の参照ピクチャについての距離は、第１の参照ピクチャについての距離に対する差分として、符号化される。ｍｍｖｄ０＿ｄｉｓｔ＿ｉｄｘに対する差分に対応する、インデックスｍｍｖｄｄ１＿ｄｉｓｔ＿ｉｄｘが、符号化される。
【0121】
関連する簡略化されたシンタックスの例が、以下に示される。
【0122】
【表4】
【0123】
精緻化ＭＶ０についての距離は、
ｄｉｓｔＭＶ０＝ｄｉｓｔ［ｍｍｖｄ０＿ｄｉｓｔ＿ｉｄｘ］
として計算され、精緻化ＭＶ１についての距離は、
ｄｉｓｔＭＶ１＝ｄｉｓｔＭＶ０＋ｄｉｓｔ［ｍｍｖｄｄ１＿ｄｉｓｔ＿ｉｄｘ］
として計算される。
ｄｉｓｔＭＶ０＝ｄｉｓｔ［ｍｍｖｄ０＿ｄｉｓｔ＿ｉｄｘ］
として計算され、精緻化ＭＶ１についての距離は、
ｄｉｓｔＭＶ１＝ｄｉｓｔＭＶ０＋ｄｉｓｔ［ｍｍｖｄｄ１＿ｄｉｓｔ＿ｉｄｘ］
として計算される。
【0124】
[実施形態１]－オプション３－第２の参照ピクチャのｍｍｖｄの可能な距離値の制限
実施形態においては、（ｍｍｖｄ１＿ｄｉｓｔ＿ｉｄｘによってシグナリングされる距離、またはｍｍｖｄｄ１＿ｄｉｓｔ＿ｉｄｘによってシグナリングされる、オプション２におけるような距離差のどちらかである）第２の距離の最大値は、ｍｍｖｄ０＿ｄｉｓｔ＿ｉｄｘのものと比較して、小さくされる。ｍｍｖｄ０＿ｄｉｓｔ＿ｉｄｘのために、Ｎ個の可能な距離が使用されると考える（例えば、８つ、ｄｉｓｔ［］＝｛１／４ペル，１／２ペル，１ペル，２ペル，４ペル，８ペル，１６ペル，３２ペル｝）。ｍｍｖｄｄ１＿ｄｉｓｔ＿ｉｄｘのためには、ｄｉｓｔ［］の最初のＮ’個の値だけを、使用することができ、Ｎ’＜Ｎである。
実施形態においては、（ｍｍｖｄ１＿ｄｉｓｔ＿ｉｄｘによってシグナリングされる距離、またはｍｍｖｄｄ１＿ｄｉｓｔ＿ｉｄｘによってシグナリングされる、オプション２におけるような距離差のどちらかである）第２の距離の最大値は、ｍｍｖｄ０＿ｄｉｓｔ＿ｉｄｘのものと比較して、小さくされる。ｍｍｖｄ０＿ｄｉｓｔ＿ｉｄｘのために、Ｎ個の可能な距離が使用されると考える（例えば、８つ、ｄｉｓｔ［］＝｛１／４ペル，１／２ペル，１ペル，２ペル，４ペル，８ペル，１６ペル，３２ペル｝）。ｍｍｖｄｄ１＿ｄｉｓｔ＿ｉｄｘのためには、ｄｉｓｔ［］の最初のＮ’個の値だけを、使用することができ、Ｎ’＜Ｎである。
【0125】
以下の変形が、考えられる。
－ Ｎ’は、Ｎから計算される（例えば、Ｎ’＝Ｎ／２）。
－ Ｎ’は、ｍｍｖｄ０＿ｄｉｓｔ＿ｉｄｘの値から計算される（例えば、Ｎ’＝ｍｍｖｄ０＿ｄｉｓｔ＿ｉｄｘ、またはＮ’＝ｍｍｖｄ０＿ｄｉｓｔ＿ｉｄｘ／２）。
－ Ｎ’は、（ＭＭＶＤ符号化ツール説明についてのセクションにおいて説明されるような）スケールパラメータ「ｓｃ」の値に依存する。例えば、Ｎ’＝ｓｃ×Ｎ
－ Ｎ’は、Ｎから計算される（例えば、Ｎ’＝Ｎ／２）。
－ Ｎ’は、ｍｍｖｄ０＿ｄｉｓｔ＿ｉｄｘの値から計算される（例えば、Ｎ’＝ｍｍｖｄ０＿ｄｉｓｔ＿ｉｄｘ、またはＮ’＝ｍｍｖｄ０＿ｄｉｓｔ＿ｉｄｘ／２）。
－ Ｎ’は、（ＭＭＶＤ符号化ツール説明についてのセクションにおいて説明されるような）スケールパラメータ「ｓｃ」の値に依存する。例えば、Ｎ’＝ｓｃ×Ｎ
【0126】
[ＭＭＶＤ－ＣＰＲ組み合わせ]
実施形態においては、ＣＰＲ（現在ピクチャ参照）モードが、適用されるとき、ＭＭＶＤモードが、ＣＰＲ固有の適応を伴って、有効化される。
実施形態においては、ＣＰＲ（現在ピクチャ参照）モードが、適用されるとき、ＭＭＶＤモードが、ＣＰＲ固有の適応を伴って、有効化される。
【0127】
ＣＰＲのために使用されるＭＶは、現在のピクチャを参照する。ＶＶＣドラフト３においては、メモリストレージのニーズを制限するために、ＭＶを現在のＣＵに近い制約された領域内のポイントに制限するための制約が、規定された。現在のＶＴＭにおいては、図２２に例示されるように、制約された領域は、現在のＣＵを含むＣＴＵから成る。ＣＰＲ ＭＶの他の制約は、それが整数精度を有することである。
【0128】
[実施形態２ａ]－ＣＰＲの場合の整数精度へのｍｍｖｄ制約
実施形態においては、ｍｍｖｄについての有効化された距離は、ＣＰＲのために有効化されたＭＶ精度に適合するものに制限される。例えば、現在のＶＴＭにおいては、ＣＰＲ ＭＶ精度は、整数であり、本発明は、ＣＰＲモードが使用されるときの、ｍｍｖｄについての距離は、ｍｍｖｄのために通常使用されるフルセット
ｄｉｓｔ［］＝｛１／４ペル，１／２ペル，１ペル，２ペル，４ペル，８ペル，１６ペル，３２ペル｝
の代わりに、以下のセット、すなわち、
｛１ペル，２ペル，４ペル，８ペル，１６ペル，３２ペル｝
内にあると見なす。
実施形態においては、ｍｍｖｄについての有効化された距離は、ＣＰＲのために有効化されたＭＶ精度に適合するものに制限される。例えば、現在のＶＴＭにおいては、ＣＰＲ ＭＶ精度は、整数であり、本発明は、ＣＰＲモードが使用されるときの、ｍｍｖｄについての距離は、ｍｍｖｄのために通常使用されるフルセット
ｄｉｓｔ［］＝｛１／４ペル，１／２ペル，１ペル，２ペル，４ペル，８ペル，１６ペル，３２ペル｝
の代わりに、以下のセット、すなわち、
｛１ペル，２ペル，４ペル，８ペル，１６ペル，３２ペル｝
内にあると見なす。
【0129】
ＣＰＲのケースにおけるｍｍｖｄ＿ｄｉｓｔ＿ｉｄｘの最大値Ｎ’（例えば、５）は、ｍｍｖｄ＿ｄｉｓｔ＿ｉｄｘの最大値Ｎ（例えば、８）よりも小さい。
【0130】
実施形態においては、このソリューションは、以下のように、ｍｍｖｄ＿ｄｉｓｔ＿ｉｄｘに対して適用されるオフセットを使用して、実施される。
－ ＭＭＶＤモードが適用される場合、
○ＣＰＲモードが適用される場合、
□ｄｉｓｔＭＶ＝ｄｉｓｔ［ｍｍｖｄ＿ｄｉｓｔ＿ｉｄｘ＋オフセット］。
－ ＭＭＶＤモードが適用される場合、
○ＣＰＲモードが適用される場合、
□ｄｉｓｔＭＶ＝ｄｉｓｔ［ｍｍｖｄ＿ｄｉｓｔ＿ｉｄｘ＋オフセット］。
【0131】
○それ以外の場合、
□ｄｉｓｔＭＶ＝ｄｉｓｔ［ｍｍｖｄ＿ｄｉｓｔ＿ｉｄｘ］。
□ｄｉｓｔＭＶ＝ｄｉｓｔ［ｍｍｖｄ＿ｄｉｓｔ＿ｉｄｘ］。
【0132】
整数精度に制限するために、オフセットは、２に等しい。
【0133】
[実施形態２ｂ]－ＣＰＲの場合のｍｍｖｄの最大値の制限
実施形態においては、ＣＰＲモードがアクティブ化されたケースにおける、ｍｍｖｄについての最大距離は、従来のｍｍｖｄ使用と比較して、小さくされる。例えば、現在のＶＴＭにおいては、ＣＰＲ ＭＶ精度は、整数であり、本発明は、ＣＰＲモードがアクティブ化されたときの、ｍｍｖｄについての距離は、ｍｍｖｄのために通常使用されるフルセット
ｄｉｓｔ［］＝｛１／４ペル，１／２ペル，１ペル，２ペル，４ペル，８ペル，１６ペル，３２ペル｝
の代わりに、以下のセット、すなわち、
｛１ペル，２ペル，４ペル，８ペル｝
内にあると見なす。
実施形態においては、ＣＰＲモードがアクティブ化されたケースにおける、ｍｍｖｄについての最大距離は、従来のｍｍｖｄ使用と比較して、小さくされる。例えば、現在のＶＴＭにおいては、ＣＰＲ ＭＶ精度は、整数であり、本発明は、ＣＰＲモードがアクティブ化されたときの、ｍｍｖｄについての距離は、ｍｍｖｄのために通常使用されるフルセット
ｄｉｓｔ［］＝｛１／４ペル，１／２ペル，１ペル，２ペル，４ペル，８ペル，１６ペル，３２ペル｝
の代わりに、以下のセット、すなわち、
｛１ペル，２ペル，４ペル，８ペル｝
内にあると見なす。
【0134】
ＣＰＲのケースにおけるｍｍｖｄ＿ｄｉｓｔ＿ｉｄｘの最大値Ｎ’（例えば、３）は、ｍｍｖｄ＿ｄｉｓｔ＿ｉｄｘの最大値Ｎ（例えば、８）よりも小さい。
【0135】
[実施形態２ｃ]－ＣＰＲの場合のｍｍｖｄからのＭＶのクリッピング
実施形態においては、ｍｍｖｄ精緻化からもたらされるＭＶは、予測のために使用される動き補償ブロックが、制約された領域内に留まるように、クリッピングされる。基本プロセスが、図２３に例示されている。
実施形態においては、ｍｍｖｄ精緻化からもたらされるＭＶは、予測のために使用される動き補償ブロックが、制約された領域内に留まるように、クリッピングされる。基本プロセスが、図２３に例示されている。
【0136】
実施形態３：ＭＭＶＤとＡＴＭＶＰとの組み合わせ
[実施形態３．１]－サブブロックベースモードＡＴＭＶＰと組み合わせて使用されるＭＭＶＤ
ＶＶＣドラフト３においては、ＭＭＶＤは、通常の並進マージモードに対してだけ適用される。したがって、与えられたＣＵに対して、サブブロックベースのマージモードが、アクティブ化されるとき、ＭＭＶＤは、使用されない。
[実施形態３．１]－サブブロックベースモードＡＴＭＶＰと組み合わせて使用されるＭＭＶＤ
ＶＶＣドラフト３においては、ＭＭＶＤは、通常の並進マージモードに対してだけ適用される。したがって、与えられたＣＵに対して、サブブロックベースのマージモードが、アクティブ化されるとき、ＭＭＶＤは、使用されない。
【0137】
この実施形態３に従うと、サブブロックベースのマージモードが、アクティブ化されるとき、ＭＭＶＤ動きベクトル表現ツールを、使用することができる。特に、ＭＭＶＤは、ＡＴＭＶＰ動きベクトル予測モードと組み合わせて、使用することができる。
【0138】
ｍｅｒｇｅ＿ｆｌａｇシンタックスが、現在のＣＵに対するマージモードの使用を示すとき、ＭＭＶＤの使用が、ＶＶＣドラフト３におけるのと同じ方法で、シグナリングされる。さらに、サブブロックベースのマージモードの使用を示す、フラグｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｆｌａｇは、現在のブロックに対するＭＭＶＤの使用を示す、シンタックス要素ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇの値に関わらず、符号化される。
【0139】
第１のサブ実施形態３．０に従うと、ＭＭＶＤとの組み合わせにおいて、アフィンモードは、許可されない。したがって、ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇが、オンである場合、使用されるマージモードは、ＡＴＭＶＰモードであると推測される。したがって、ｍｅｒｇｅ＿ｉｄｘシンタックス要素は、符号化されたビットストリームから省略される。
【0140】
別のサブ実施形態に従うと、ＭＭＶＤとの組み合わせにおいて、アフィンモードが、許可される。したがって、ｍｅｒｇｅ＿ｉｄｘシンタックス要素は、ＶＶＣドラフト３において現在行われているように、符号化される。
【0141】
[実施形態３．２]－ＡＴＭＶＰの継承されたサブブロックＭＶの精緻化として使用されるｍｍｖｄ
実施形態においては、ＡＴＭＶＰ候補が、選択され、ＭＭＶＤが、有効化されるとき、ｍｍｖｄ精緻化が、各サブブロックのために継承される、すべてのＭＶに対して適用される。プロセスが、図２４の簡略化されたブロック図に示されている。最初のステップにおいて、ｍｍｖデータが、デコードされる。次のステップにおいて、グローバルＡＴＭＶＰ ＭＶが、識別される。その後、ＣＵの各サブブロックについて、グローバルＭＶによって参照ピクチャ内において識別された、対応するサブブロックからの動きデータが、フェッチされる。これらの動きデータは、従来のＭＭＶＤ精緻化プロセスと同様に、ｍｍｖｄデータを使用して、精緻化される。
実施形態においては、ＡＴＭＶＰ候補が、選択され、ＭＭＶＤが、有効化されるとき、ｍｍｖｄ精緻化が、各サブブロックのために継承される、すべてのＭＶに対して適用される。プロセスが、図２４の簡略化されたブロック図に示されている。最初のステップにおいて、ｍｍｖデータが、デコードされる。次のステップにおいて、グローバルＡＴＭＶＰ ＭＶが、識別される。その後、ＣＵの各サブブロックについて、グローバルＭＶによって参照ピクチャ内において識別された、対応するサブブロックからの動きデータが、フェッチされる。これらの動きデータは、従来のＭＭＶＤ精緻化プロセスと同様に、ｍｍｖｄデータを使用して、精緻化される。
【0142】
[実施形態４]：ＭＭＶＤとアフィンモードとの組み合わせ
実施形態に従うと、ＭＭＶＤは、アフィンモードと組み合わせて、使用される。この実施形態内において、いくつかの変形を、適用することができる。それらが、以下に列挙される。
実施形態に従うと、ＭＭＶＤは、アフィンモードと組み合わせて、使用される。この実施形態内において、いくつかの変形を、適用することができる。それらが、以下に列挙される。
【0143】
[すべてのＣＰＭＶに対して符号化された単一のＭＭＶＤ]
－ 第１の変形に従うと、単一の動きベクトル差ｍｍｖｄが、符号化され、アフィン動き場を生成するために使用される、すべてのＣＰＭＶに対して適用される。これは、一定の動きベクトルをアフィン動きモデル全体に追加することをもたらす。これは、ＭＭＶＤモードがアクティブ化されるときの、アフィン動き場生成プロセスの簡略化されたデコーディングブロック図を示す、以下の図に例示されている。
－ 第１の変形に従うと、単一の動きベクトル差ｍｍｖｄが、符号化され、アフィン動き場を生成するために使用される、すべてのＣＰＭＶに対して適用される。これは、一定の動きベクトルをアフィン動きモデル全体に追加することをもたらす。これは、ＭＭＶＤモードがアクティブ化されるときの、アフィン動き場生成プロセスの簡略化されたデコーディングブロック図を示す、以下の図に例示されている。
【0144】
○双方向アフィン予測のケースにおいては、並進ケース(translational Case)におけるのと同様に、同じ対称動きベクトル差概念が、使用される。
【0145】
[ＣＰＭＶの各々に対して符号化されるｍｍｖｄデータ]
－ 第２の変形に従うと、ＣＰＭＶごとに１つの動きベクトル差ｍｍｖｄが、許可され、それが、候補アフィン動き場を生成するための柔軟性を向上させる。第１のＣＰＭＶに対しては、ＭＭＶＤの通常のｍｍｖｄ符号化を使用することができる。次に、第２および第３のＣＰＭＶに対しては、第１のＣＰＭＶに関連付けられたｍｍｖｄの上において、差分動きベクトル差（ｍｍｖｄｄ）を符号化することができる。そのような手法の利点は、アフィンモードへのＭＭＶＤの適用において、何らかの柔軟性を可能にしながら、ｍｍｖｄシグナリングのレートコストを制限することである。３つのアフィンＣＰＭＶについてのｍｍｖｄ情報の符号化のケースにおける、関連する簡略化されたシンタックスの例が、以下に示される。この実施形態に従うと、差分動きベクトル差の大きさは、第１のＣＰＭＶのｍｍｖｄよりも小さい値に制約すること（例えば、値のフルセットは、ｄｉｓｔ［］＝｛１／４ペル，１／２ペル，１ペル，２ペル，４ペル，８ペル，１６ペル，３２ペル｝であることができるが、ｄｉｓｔ［］＝｛１／４ペル，１／２ペル，１ペル｝に制限すること）ができる。プロセスは、ＭＭＶＤモードがアクティブ化されるときの、アフィン動き場生成プロセスの簡略化されたデコーディングブロック図を示す、以下の図に例示されている。
－ 第２の変形に従うと、ＣＰＭＶごとに１つの動きベクトル差ｍｍｖｄが、許可され、それが、候補アフィン動き場を生成するための柔軟性を向上させる。第１のＣＰＭＶに対しては、ＭＭＶＤの通常のｍｍｖｄ符号化を使用することができる。次に、第２および第３のＣＰＭＶに対しては、第１のＣＰＭＶに関連付けられたｍｍｖｄの上において、差分動きベクトル差（ｍｍｖｄｄ）を符号化することができる。そのような手法の利点は、アフィンモードへのＭＭＶＤの適用において、何らかの柔軟性を可能にしながら、ｍｍｖｄシグナリングのレートコストを制限することである。３つのアフィンＣＰＭＶについてのｍｍｖｄ情報の符号化のケースにおける、関連する簡略化されたシンタックスの例が、以下に示される。この実施形態に従うと、差分動きベクトル差の大きさは、第１のＣＰＭＶのｍｍｖｄよりも小さい値に制約すること（例えば、値のフルセットは、ｄｉｓｔ［］＝｛１／４ペル，１／２ペル，１ペル，２ペル，４ペル，８ペル，１６ペル，３２ペル｝であることができるが、ｄｉｓｔ［］＝｛１／４ペル，１／２ペル，１ペル｝に制限すること）ができる。プロセスは、ＭＭＶＤモードがアクティブ化されるときの、アフィン動き場生成プロセスの簡略化されたデコーディングブロック図を示す、以下の図に例示されている。
【0146】
【表5】
【0147】
－ いくつかの変形に従うと、差分ｍｍｖｄの符号化において、許可される大きさの範囲は、第１のＣＰＭＶのｍｍｖｄに関連付けられた距離インデックスに従って、制限される。例えば、ｍｍｖｄ１＿ｄｉｓｔ＿ｉｄｘ、および適用可能なときの、ｍｍｖｄ２＿ｄｉｓｔ＿ｉｄｘは、ｍｍｖｄ０＿ｄｉｓｔ＿ｉｄｘよりも低くなるように、制約される。水平および垂直方向における、第２のｍｍｖｄの許容される範囲は、図２７に例示的に示されように、制限することができる。
【0148】
－ さらなる変形に従うと、すべてのｍｍｖｄに対して、同じ方向インデックスが、使用され、したがって、第２および第３のＣＰＭＶについては、距離情報だけを符号化することができる。３つのアフィンＣＰＭＶについてのｍｍｖｄ情報の符号化のケースにおける、関連する簡略化されたシンタックスの例が、以下に示される。
【0149】
【表6】
【0150】
[仮想候補の削除によるアフィンマージ候補リストの制約]
－ さらなる変形に従うと、アフィンのために使用されるＭＭＶＤモードは、アフィンマージ候補のセット内に、何らかの多様性をもたらすので、アフィンマージ候補のアフィンリストは、ＶＶＣドラフト３のアフィンマージリストと比較して、縮小され、簡略化された全体的なコーデック設計につながる。例えば、実施形態においては、いくつかの構築された（仮想）アフィンモデル候補が、アフィンマージリストから削除される。実施形態においては、すべての構築された（仮想）アフィンモデル候補が、アフィンマージリストから削除され、アフィンマージリストは、継承されたアフィン候補だけから作られる。
－ さらなる変形に従うと、アフィンのために使用されるＭＭＶＤモードは、アフィンマージ候補のセット内に、何らかの多様性をもたらすので、アフィンマージ候補のアフィンリストは、ＶＶＣドラフト３のアフィンマージリストと比較して、縮小され、簡略化された全体的なコーデック設計につながる。例えば、実施形態においては、いくつかの構築された（仮想）アフィンモデル候補が、アフィンマージリストから削除される。実施形態においては、すべての構築された（仮想）アフィンモデル候補が、アフィンマージリストから削除され、アフィンマージリストは、継承されたアフィン候補だけから作られる。
【0151】
[第１のｍｍｖｄの距離値に基づいた、第２（および第３）のｍｍｖｄの距離値の制約]
－ 追加の特性に従うと、第２ＣＰＭＶ、および（それが適用されるときは）第３ＣＰＭＶについて、第１のＣＰＭＶのｍｍｖｄに対するｍｍｖｄ（動きベクトル差）の差分符号化は、差分動きベクトル差について、距離値０を符号化／デコードする可能性を含む（ｄｉｓｔ［］＝｛０ペル，１／４ペル，．．．｝）。実際には、並進動きケースにおいてだけ適用される、既存のＭＭＶＤにおいては、０に等しい距離は、サポートされず、その訳は、それが、通常のマージのものと重複するＭＶプレディクタを提供するからである。
－ 追加の特性に従うと、第２ＣＰＭＶ、および（それが適用されるときは）第３ＣＰＭＶについて、第１のＣＰＭＶのｍｍｖｄに対するｍｍｖｄ（動きベクトル差）の差分符号化は、差分動きベクトル差について、距離値０を符号化／デコードする可能性を含む（ｄｉｓｔ［］＝｛０ペル，１／４ペル，．．．｝）。実際には、並進動きケースにおいてだけ適用される、既存のＭＭＶＤにおいては、０に等しい距離は、サポートされず、その訳は、それが、通常のマージのものと重複するＭＶプレディクタを提供するからである。
【0152】
[双方向アフィンのケースにおける、アフィンモデルパラメータへの対称制約の賦課]
－ さらなる特性に従うと、双方向アフィンのケースにおいては、（第２の参照ピクチャに付随する）第２のｍｍｖｄの、（第１の参照ピクチャに付随する）第１のものの関数としての導出は、並進ケースにおいて課される、２つの双予測ｍｍｖｄ間の対称制約と同様に、対称性制約を使用する。そうするために、いくつかの手法が、可能であることがある。
○１つの第１の手法においては、第２の参照ピクチャリストに関連付けられたｍｍｖｄのｍｍｖｄは、第１の参照ピクチャリストに関連付けられたｍｍｖｄから直接的に推測される。例えば、第２のｍｍｖｄは、第１のｍｍｄｖをスケーリングすることによって、導出され、スケーリングは、参照ピクチャと現在のピクチャとの間の時間的距離を考慮する。
○別の手法においては、第２の参照ピクチャリストに関連付けられた、アフィンモデルのＭＶＤは、（一般に、角度およびスケーリングファクタに結びつけられる）アフィンモデルパラメータが、第１の参照ピクチャに関連付けられた、アフィンモデルのＭＶＤと比較して、対称であることを課すことによって、第１のものから推定される。そうするために、第１のアフィンモデルに関連付けられた、スケーリングファクタおよび角度値が、計算される。その後、それらは、対称性制約を満たすように変換され、その後、アフィンモードパラメータは、ＣＵの双方向アフィン予測のための、現在のＣＵの第２アフィンモデルを提供するように、逆変換される。これは、以下の形を取る。
－ さらなる特性に従うと、双方向アフィンのケースにおいては、（第２の参照ピクチャに付随する）第２のｍｍｖｄの、（第１の参照ピクチャに付随する）第１のものの関数としての導出は、並進ケースにおいて課される、２つの双予測ｍｍｖｄ間の対称制約と同様に、対称性制約を使用する。そうするために、いくつかの手法が、可能であることがある。
○１つの第１の手法においては、第２の参照ピクチャリストに関連付けられたｍｍｖｄのｍｍｖｄは、第１の参照ピクチャリストに関連付けられたｍｍｖｄから直接的に推測される。例えば、第２のｍｍｖｄは、第１のｍｍｄｖをスケーリングすることによって、導出され、スケーリングは、参照ピクチャと現在のピクチャとの間の時間的距離を考慮する。
○別の手法においては、第２の参照ピクチャリストに関連付けられた、アフィンモデルのＭＶＤは、（一般に、角度およびスケーリングファクタに結びつけられる）アフィンモデルパラメータが、第１の参照ピクチャに関連付けられた、アフィンモデルのＭＶＤと比較して、対称であることを課すことによって、第１のものから推定される。そうするために、第１のアフィンモデルに関連付けられた、スケーリングファクタおよび角度値が、計算される。その後、それらは、対称性制約を満たすように変換され、その後、アフィンモードパラメータは、ＣＵの双方向アフィン予測のための、現在のＣＵの第２アフィンモデルを提供するように、逆変換される。これは、以下の形を取る。
【0153】
検討されるブロックのために、４パラメータモデルが使用されると仮定する。
【0154】
【数7】
【0155】
次に、回転角およびスケーリングパラメータが、以下のように獲得される。
【0156】
【数8】
【0157】
次に、角度およびスケーリングファクタが、以下のように変換される。
【0158】
【数9】
【0159】
ここで、ｋは、現在のピクチャとそれの２つの参照ピクチャとの間の時間的距離に依存する、スケーリングファクタである。最後に、第２の参照ピクチャのためのａ’およびｂ’アフィンモデルパラメータが、ａ’およびｂ’から容易に計算される。
【0160】
簡略化されたバージョンにおいては、スケーリングファクタだけが、変更され、ＭＶｄの単純なスケーリングをもたらす。
【0161】
[実施の形態５]：ＭＭＶＤと平面動きベクトル予測との組み合わせ
実施形態５に従うと、ＭＭＶＤは、平面動きベクトル予測（ＰＭＶＰ）モードと組み合わせて、使用される。
実施形態５に従うと、ＭＭＶＤは、平面動きベクトル予測（ＰＭＶＰ）モードと組み合わせて、使用される。
【0162】
これは、以下の形のうちの１つを取ることができる。
【0163】
[ＰＭＶＰ動き場のＭＶの各々を精緻化する単一のｍｍｖｄ]
－ 第１の基本的な手法に従うと、ＰＭＶＰモードが現在のＣＵのために使用されるケースにおいては、ＭＭＶＤ動きベクトル差が、符号化される。ｍｍｖｄは、最初にそれのジェネレータＭＶから生成される、ＰＭＶＰ生成された動き場に対して適用される。したがって、ｍｍｖｄは、ＰＭＶＰ動き場の各ＭＶに対する加算的オフセットとして、使用される。これは、ＰＭＶＤ動き生成プロセスの簡略化されたデコーディングブロック図を示す、以下の図に例示されている。
－ 第１の基本的な手法に従うと、ＰＭＶＰモードが現在のＣＵのために使用されるケースにおいては、ＭＭＶＤ動きベクトル差が、符号化される。ｍｍｖｄは、最初にそれのジェネレータＭＶから生成される、ＰＭＶＰ生成された動き場に対して適用される。したがって、ｍｍｖｄは、ＰＭＶＰ動き場の各ＭＶに対する加算的オフセットとして、使用される。これは、ＰＭＶＤ動き生成プロセスの簡略化されたデコーディングブロック図を示す、以下の図に例示されている。
【0164】
[ＰＭＶＤ動き場を生成するために使用される、ＭＶの少なくとも１つを精緻化するために使用される、単一のｍｍｖｄ]
－ 別の変形に従うと、平面動き場（ジェネレータＭＶ）を生成するために使用される、少なくとも１つの動きベクトルに対して、１つの動きベクトル差が、適用される。例えば、平面ＭＶ場を生成する前に、単一のＭＶＤを、符号化し、図２８のＡＬ（左上）動きベクトルに対して適用することができる。これは、ＰＭＶＤ動き生成プロセスの簡略化されたデコーディングブロック図を示す、以下の図に例示されている。
－ 別の変形に従うと、平面ＭＶ場を生成する前に、ＭＶＤが、符号化され、ＢＲ動きベクトルに対して適用される。
－ 別の変形に従うと、平面ＭＶ場を生成する前に、ＭＶＤが、符号化され、ＡＲ動きベクトルに対して適用される。
－ 別の変形に従うと、平面ＭＶ場を生成する前に、ＭＶＤが、符号化され、ＢＬ動きベクトルに対して適用される。
－ 別の変形に従うと、平面動き場（ジェネレータＭＶ）を生成するために使用される、少なくとも１つの動きベクトルに対して、１つの動きベクトル差が、適用される。例えば、平面ＭＶ場を生成する前に、単一のＭＶＤを、符号化し、図２８のＡＬ（左上）動きベクトルに対して適用することができる。これは、ＰＭＶＤ動き生成プロセスの簡略化されたデコーディングブロック図を示す、以下の図に例示されている。
－ 別の変形に従うと、平面ＭＶ場を生成する前に、ＭＶＤが、符号化され、ＢＲ動きベクトルに対して適用される。
－ 別の変形に従うと、平面ＭＶ場を生成する前に、ＭＶＤが、符号化され、ＡＲ動きベクトルに対して適用される。
－ 別の変形に従うと、平面ＭＶ場を生成する前に、ＭＶＤが、符号化され、ＢＬ動きベクトルに対して適用される。
【0165】
[ＰＭＶＤ動き場を生成するために使用される、いくつかのＭＶを精緻化するために使用される、いくつかのｍｍｖｄ]
－ 別の実施形態に従うと、平面動き場を生成する前に、いくつかのＭＶＤが、符号化され、ＡＬ、ＢＬ、ＡＲ、およびＢＲ動きベクトルのうちの、１つまたは複数のＭＶに対して適用される。これは、ＰＭＶＤ動き生成プロセスの簡略化されたデコーディングブロック図を示す、以下の図に例示されている。
－ 別の実施形態に従うと、いくつかのＭＶＤが、符号化され、ＡＬ、ＢＬ、ＡＲ、およびＢＲ動きベクトルのうちの、複数のＭＶに対して適用されるとき、最初に符号化されるＭＶＤは、ＭＭＶＤにおけるように、符号化される。次のものは、ＭＶＤ符号化プロセスに関連付けられたレートコストを制限するために、以前に符号化されたものに基づいて、差分的な方法で符号化される。
－ 変形に従うと、平面ケースにおけるＭＶＤのための許容される距離のセットが、ＶＶＣドラフト３において現在使用されるＭＭＶＤツールと比較して、変更される。例えば、許容されるＭＶＤ距離の制約された範囲が、可能である。
－変形に従うと、許容されるＭＶＤ方位の数が、ＶＶＣドラフト３における既存のＭＭＶＤシステムと比較して、変更される。例えば、ＭＭＶＤが、平面ＭＶ予測と組み合わせて、使用されるとき、ＭＶＤ角度の強化されたセットを、サポートすることができる。
－ 別の実施形態に従うと、平面動き場を生成する前に、いくつかのＭＶＤが、符号化され、ＡＬ、ＢＬ、ＡＲ、およびＢＲ動きベクトルのうちの、１つまたは複数のＭＶに対して適用される。これは、ＰＭＶＤ動き生成プロセスの簡略化されたデコーディングブロック図を示す、以下の図に例示されている。
－ 別の実施形態に従うと、いくつかのＭＶＤが、符号化され、ＡＬ、ＢＬ、ＡＲ、およびＢＲ動きベクトルのうちの、複数のＭＶに対して適用されるとき、最初に符号化されるＭＶＤは、ＭＭＶＤにおけるように、符号化される。次のものは、ＭＶＤ符号化プロセスに関連付けられたレートコストを制限するために、以前に符号化されたものに基づいて、差分的な方法で符号化される。
－ 変形に従うと、平面ケースにおけるＭＶＤのための許容される距離のセットが、ＶＶＣドラフト３において現在使用されるＭＭＶＤツールと比較して、変更される。例えば、許容されるＭＶＤ距離の制約された範囲が、可能である。
－変形に従うと、許容されるＭＶＤ方位の数が、ＶＶＣドラフト３における既存のＭＭＶＤシステムと比較して、変更される。例えば、ＭＭＶＤが、平面ＭＶ予測と組み合わせて、使用されるとき、ＭＶＤ角度の強化されたセットを、サポートすることができる。
【0166】
[実施形態６]：ＭＭＶＤと回帰ベースの動きベクトル場との組み合わせ
実施形態６に従うと、ＭＭＶＤは、回帰ＭＶＦモデルのセクションにおいて導入される、回帰ベースの６パラメータ動き場と組み合わせて、使用される。これは、以下の形のうちの１つ取ることができる。
実施形態６に従うと、ＭＭＶＤは、回帰ＭＶＦモデルのセクションにおいて導入される、回帰ベースの６パラメータ動き場と組み合わせて、使用される。これは、以下の形のうちの１つ取ることができる。
【0167】
[ＲＭＶＦ動き場のＭＶの各々を精緻化する単一のｍｍｖｄ]
－ 第一の基本的な手法に従うと、ＭＭＶＤ動きベクトル差は、ＲＭＶＦモードが現在のＣＵのために使用されるケースにおいて符号化され、ＲＭＶＦ生成された動き場に対して適用される。したがって、ＭＶｄは、ＲＭＶＦ動き場に対する加算的オフセットとして、使用される。図２９に示されるような類似のブロック図は、この変形に従ってＲＭＶＦ動き場を生成するための、簡略化されたプロセスを適切に説明することができる。
－ 第一の基本的な手法に従うと、ＭＭＶＤ動きベクトル差は、ＲＭＶＦモードが現在のＣＵのために使用されるケースにおいて符号化され、ＲＭＶＦ生成された動き場に対して適用される。したがって、ＭＶｄは、ＲＭＶＦ動き場に対する加算的オフセットとして、使用される。図２９に示されるような類似のブロック図は、この変形に従ってＲＭＶＦ動き場を生成するための、簡略化されたプロセスを適切に説明することができる。
【0168】
[ＲＭＶＦ動き場を生成するために使用される、ＭＶの少なくとも１つを精緻化するために使用される、単一のｍｍｖｄ]
－ 別の変形に従うと、１つの動きベクトル差が、ＲＭＶＦ動き場を生成するために使用される、少なくとも１つの動きベクトルに対して適用される。例えば、ＲＭＶＦ動き場を生成する前に、単一のＭＶＤを、符号化し、現在のブロックの左側の動きベクトルに対して適用することができる。
－ 別の変形に従うと、回帰ベースのＭＶ場を生成する前に、１つのＭＶＤが、符号化され、上側近隣動きベクトルに対して適用される。図３０に示されるような類似のブロック図は、この変形に従ってＲＭＶＦ動き場を生成するための、簡略化されたプロセスを適切に説明することができる。
－ 別の変形に従うと、１つの動きベクトル差が、ＲＭＶＦ動き場を生成するために使用される、少なくとも１つの動きベクトルに対して適用される。例えば、ＲＭＶＦ動き場を生成する前に、単一のＭＶＤを、符号化し、現在のブロックの左側の動きベクトルに対して適用することができる。
－ 別の変形に従うと、回帰ベースのＭＶ場を生成する前に、１つのＭＶＤが、符号化され、上側近隣動きベクトルに対して適用される。図３０に示されるような類似のブロック図は、この変形に従ってＲＭＶＦ動き場を生成するための、簡略化されたプロセスを適切に説明することができる。
【0169】
[ＲＭＶＦ動き場を生成するために使用される、２つのＭＶを精緻化するために使用される、２つのｍｍｖｄ]
－ 別の実施形態に従うと、回帰ベースの動き場を生成する前に、２つのＭＶＤが、符号化され、それぞれ上側および左側ＭＶに対して適用される。
－ 別の実施形態に従うと、上で述べられたように、２つのＭＶＤが、符号化され、適用されるとき、最初に符号化されるＭＶＤは、ＭＭＶＤにおけるように、符号化される。次のものは、ＭＶＤ符号化プロセスに関連付けられたレートコストを制限するために、第１のものに基づいて、差分的な方法で符号化される。
－ 変形に従うと、回帰ベースケースにおけるＭＶＤのための許容される距離のセットが、ＶＶＣドラフト３において現在使用されるＭＭＶＤツールと比較して、変更される。例えば、許容されるＭＶＤ距離の制約された範囲が、可能である。
－ 変形に従うと、許容されるＭＶＤ方位の数が、ＶＶＣドラフト３における既存のＭＭＶＤシステムと比較して、変更される。例えば、ＭＭＶＤが、ＲＭＶＦと組み合わせて、使用されるとき、ＭＶＤ角度の強化されたセットを、サポートすることができる。
－ 図３１に示されるような類似のブロック図は、それらの変形に従ってＲＭＶＦ動き場を生成するための、簡略化されたプロセスを適切に説明することができる。
－ 別の実施形態に従うと、回帰ベースの動き場を生成する前に、２つのＭＶＤが、符号化され、それぞれ上側および左側ＭＶに対して適用される。
－ 別の実施形態に従うと、上で述べられたように、２つのＭＶＤが、符号化され、適用されるとき、最初に符号化されるＭＶＤは、ＭＭＶＤにおけるように、符号化される。次のものは、ＭＶＤ符号化プロセスに関連付けられたレートコストを制限するために、第１のものに基づいて、差分的な方法で符号化される。
－ 変形に従うと、回帰ベースケースにおけるＭＶＤのための許容される距離のセットが、ＶＶＣドラフト３において現在使用されるＭＭＶＤツールと比較して、変更される。例えば、許容されるＭＶＤ距離の制約された範囲が、可能である。
－ 変形に従うと、許容されるＭＶＤ方位の数が、ＶＶＣドラフト３における既存のＭＭＶＤシステムと比較して、変更される。例えば、ＭＭＶＤが、ＲＭＶＦと組み合わせて、使用されるとき、ＭＶＤ角度の強化されたセットを、サポートすることができる。
－ 図３１に示されるような類似のブロック図は、それらの変形に従ってＲＭＶＦ動き場を生成するための、簡略化されたプロセスを適切に説明することができる。
【0170】
[実施形態７]：ＭＭＶＤのＬＩＣとの組み合わせ
実施形態においては、ＭＭＶＤとＬＩＣは、一緒に有効化することができる。そのケースにおいては、ＶＶＣドラフト３のケースにおけるのと同様に、符号化された動きベクトル差が、検討されるＣＵの動きベクトルに対して適用される。したがって、現在のＬＩＣツールにおけるケースと同様に、現在のＣＵの時間予測に関連付けられたＬＩＣ線形モデルパラメータは、使用されるマージ候補から導出される。
実施形態においては、ＭＭＶＤとＬＩＣは、一緒に有効化することができる。そのケースにおいては、ＶＶＣドラフト３のケースにおけるのと同様に、符号化された動きベクトル差が、検討されるＣＵの動きベクトルに対して適用される。したがって、現在のＬＩＣツールにおけるケースと同様に、現在のＣＵの時間予測に関連付けられたＬＩＣ線形モデルパラメータは、使用されるマージ候補から導出される。
【0171】
変形に従うと、ＭＶＤの大きさが、ある閾値を上回る場合、現在のＣＵのＬＩＣフラグを、偽に設定することができ、すなわち、現在のＣＵに対して、ＬＩＣ時間予測精緻化を、非アクティブ化することができる。実際、直感的には、現在のＣＵの動きベクトルが、現在のＣＵのＭＶを導出するために使用される、マージ候補の動きベクトルと著しく異なる場合、マージ候補ＣＵのために使用されるＬＩＣ線形モデルは、現在のＣＵに関係ないことができる。
【0172】
例えば、ＭＶＤの大きさが、１６または３２以上である場合、現在のＣＵに対して、ＬＩＣモードを強制的に０にすることができる。
【0173】
さらなる変形に従うと、ＭＶＤの大きさに関する上で述べられた閾値は、現在のＣＵサイズに依存することができる。
【0174】
[実施形態８]：ＭＭＶＤのＧＢＩとの組み合わせ
ＶＶＣドラフト３においては、ＣＵが、並進マージモードで符号化されるとき、それの動きベクトルは、選択されたマージ候補から、およびそれのＧＢＩインデックスから、導出される。これは、現在のＣＵ動きデータを導出するための参照としての役割を果たすＣＵのＧＢＩ重みが、ＭＭＶＤが現在のＣＵのためにアクティブ化されるケースを含めて、現在のＣＵのためにも、変わりなく使用されることを意味する。
ＶＶＣドラフト３においては、ＣＵが、並進マージモードで符号化されるとき、それの動きベクトルは、選択されたマージ候補から、およびそれのＧＢＩインデックスから、導出される。これは、現在のＣＵ動きデータを導出するための参照としての役割を果たすＣＵのＧＢＩ重みが、ＭＭＶＤが現在のＣＵのためにアクティブ化されるケースを含めて、現在のＣＵのためにも、変わりなく使用されることを意味する。
【0175】
この現在の実施形態においては、現在のＣＵのためのＧＢＩ重みの適応を、現在のマージＣＵのために使用されるＭＶＤの大きさに基づいて、適用することができる。
【0176】
例えば、ＭＶＤの大きさが、ある閾値を上回る場合、ＧＢＩを、現在のＣＵのためのデフォルトＧＢＩ重み（１／２、１／２）にリセットすることができる。実際、直感的には、現在のＣＵの動きベクトルが、現在のＣＵのＭＶを導出するために使用される、マージ候補の動きベクトルと著しく異なる場合、マージ候補ＣＵのために使用されるＧＢＩ重みは、現在のＣＵに関係ないことができる。
【0177】
例えば、ＭＶＤの大きさが、１６または３２以上である場合、現在のＣＵに対して、ＧＢＩ重みを強制的に（１／２、１／２）にすることができる。
【0178】
さらなる変形に従うと、ＭＶＤの大きさに関する上で述べられた閾値は、現在のＣＵサイズに依存することができる。
【0179】
[実施形態９]：ＭＭＶＤおよび三角動きパーティション
実施形態に従うと、ＭＭＶＤ動きベクトル符号化ツールは、三角動きパーティショニングツールと組み合わせて、使用される。
実施形態に従うと、ＭＭＶＤ動きベクトル符号化ツールは、三角動きパーティショニングツールと組み合わせて、使用される。
【0180】
第１の変形に従うと、ＭＭＶＤのＶＶＣドラフト３ ＭＶＤ符号化システムに従って、各三角パーティションに対して、１つのＭＶＤが、符号化される。
【0181】
別の変形に従うと、単一のＭＶＤが、符号化され、２つの三角動きパーティションによって共通に使用される。
【0182】
別の変形に従うと、２つのＭＶＤが、符号化されるとき、第２のものは、第１のものに対する差分的な方法で、符号化される。そのケースにおいては、第２のＭＶＤは、アフィンケース用と同じ方法で（実施形態４のセクションを参照）、より小さい許容される大きさの範囲に制約されることができる。
【0183】
より高度な実施形態に従うと、各パーティションに対して１つのＭＶＤが、符号化されるケースにおいては、第２のＭＶＤは、第１のおよび第２のパーティションの動きベクトルの相対的な値に基づいて、条件付きの方法で、符号化される。例えば、第２の精緻化ＭＶが、第１の三角パーティションの精緻化されたＭＶに近すぎないように、第２のＭＶＤを制約することができる。実際、近すぎる場合、現在のＣＵの全体的な予測は、長方形ブロック全体の通常の並進動き補償予測(Translational motion compensated prediction)に非常に近い挙動をすることがある。
【0184】
[実施形態１０]：ＭＭＶＤおよび多重仮説（ＭＨ）予測
ＶＶＣドラフト３など、現在のビデオ規格においては、多重仮説と呼ばれる新しい予測モードは、マージ／スキップ時間予測ブロックとイントラ予測ブロックの組み合わされた予測に本質がある。しかしながら、ＶＶＣドラフト３においては、ＭＭＶＤとＭＨ予測は、一緒に使用することができない。
ＶＶＣドラフト３など、現在のビデオ規格においては、多重仮説と呼ばれる新しい予測モードは、マージ／スキップ時間予測ブロックとイントラ予測ブロックの組み合わされた予測に本質がある。しかしながら、ＶＶＣドラフト３においては、ＭＭＶＤとＭＨ予測は、一緒に使用することができない。
【0185】
この実施形態においては、ＭＭＶＤと多重仮説予測モードを、組み合わされた方法で使用することが、可能にされる。基本的に、これは、現在の符号化ユニットの動き情報を導出するために使用されるマージまたはスキップ候補動きベクトルに、マージ動きベクトル差を適用することに本質がある。
【0186】
この実施形態の利点は、さらに向上した符号化効率である。
【0187】
[実施形態１１]：ＭＭＶＤおよび空間－時間動きベクトル予測（ＳＴＭＶＰ）
ＶＶＣドラフト３においては、非サブブロック空間時間マージ動きベクトルプレディクタについてのセクションにおいて説明されように、ＳＴＭＶＰと呼ばれる、動きベクトル予測モードが、提案されている。ＳＴＭＶＰ動きベクトル候補は、一般に、並進マージ候補リストの一部であることができる、追加のマージ候補である。それは、現在のＣＵのために、単一の動きベクトルを予測することに本質がある。したがって、ＭＭＶＤを、直接的な方法で、ＳＴＭＶＰ候補に対して適用することができる。
ＶＶＣドラフト３においては、非サブブロック空間時間マージ動きベクトルプレディクタについてのセクションにおいて説明されように、ＳＴＭＶＰと呼ばれる、動きベクトル予測モードが、提案されている。ＳＴＭＶＰ動きベクトル候補は、一般に、並進マージ候補リストの一部であることができる、追加のマージ候補である。それは、現在のＣＵのために、単一の動きベクトルを予測することに本質がある。したがって、ＭＭＶＤを、直接的な方法で、ＳＴＭＶＰ候補に対して適用することができる。
【0188】
しかしながら、ＭＭＶＤは、ＳＴＭＶＰ候補を計算するために使用される、３つの空間および時間ＭＶプレディクタのうちの１つだけに適用することもできる。
【0189】
実施形態に従うと、ＭＭＶＤの動きベクトル差は、これら２つの空間動きベクトルプレディクタと、時間動きベクトルプレディクタとの間の、平均動きベクトルを計算する前に、１つまたは２つの空間動きベクトルプレディクタに対して適用される。
【0190】
実施形態に従うと、ＭＭＶＤの動きベクトル差は、この時間ＭＶプレディクタと、１つまたは２つの空間動きベクトルプレディクタとの間の、平均動きベクトルを計算する前に、時間動きベクトルプレディクタに対して適用される。
【0191】
[ＳＭＶＤの使用を拡張するための提案される実施形態]
実施形態１２：ＡＭＶＰモードにおいてＭＭＶＤによって置き換えられるＳＭＶＤ
対称ＭＶＣセクションにおいて述べられたように、ＳＭＶＤ動きベクトル符号化モードは、ＡＭＶＰモードにおいてだけ適用されるが、ＭＭＶＤ動きベクトル表現モードは、マージモードにおいてだけ適用される。この実施形態においては、コーデック設計は、調和させらされる。ＭＭＶＤおよびＳＭＶＤのうちのただ１つの動きベクトル符号化モードが、マージとの関連において、対称的な双方向動きのケースと、大きさが小さい動きベクトルのケースの両方を扱うために、全体的な設計のために提案される。以下の２つの変形が、提案される。
実施形態１２：ＡＭＶＰモードにおいてＭＭＶＤによって置き換えられるＳＭＶＤ
対称ＭＶＣセクションにおいて述べられたように、ＳＭＶＤ動きベクトル符号化モードは、ＡＭＶＰモードにおいてだけ適用されるが、ＭＭＶＤ動きベクトル表現モードは、マージモードにおいてだけ適用される。この実施形態においては、コーデック設計は、調和させらされる。ＭＭＶＤおよびＳＭＶＤのうちのただ１つの動きベクトル符号化モードが、マージとの関連において、対称的な双方向動きのケースと、大きさが小さい動きベクトルのケースの両方を扱うために、全体的な設計のために提案される。以下の２つの変形が、提案される。
【0192】
[ＭＭＶＤモードとＳＭＶＤモードの両方における、ＭＶ差を符号化するためのｍｍｖｄシンタックスの使用]
－ ＡＭＶＰモードにおいて、対称モードが、オンであるとき、動きベクトル差は、ＭＭＶＤ動きベクトル差符号化ツール説明セクションに示される、ＭＭＶＤ ＭＶＤ符号化シンタックスを用いて、符号化される。したがって、検討されるＣＵに対して、対称ＭＶＤモードが、アクティブである場合、ＡＭＶＰにおけるＶＶＣドラフト３の従来のＭＶＤ符号化方法が、置き換えられる。
－ ＡＭＶＰモードにおいて、対称モードが、オンであるとき、動きベクトル差は、ＭＭＶＤ動きベクトル差符号化ツール説明セクションに示される、ＭＭＶＤ ＭＶＤ符号化シンタックスを用いて、符号化される。したがって、検討されるＣＵに対して、対称ＭＶＤモードが、アクティブである場合、ＡＭＶＰにおけるＶＶＣドラフト３の従来のＭＶＤ符号化方法が、置き換えられる。
【0193】
[ＭＭＶＤモードとＳＭＶＤモードの両方における、ＭＶ差を符号化するためのＶＴＭ３ ＭＶｄシンタックスの使用]
－ ＡＭＶＰモードにおいて、対称モードが、オンであるとき、動きベクトル差は、ＡＭＶＰにおけるＶＶＣドラフト３において現在行われるように符号化される。しかしながら、マージケースにおいて、ＭＭＶＤモードが、オンである場合、ＭＭＶＤの動きベクトル差は、ＡＭＶＰ方法で符号化される。
－ ＡＭＶＰモードにおいて、対称モードが、オンであるとき、動きベクトル差は、ＡＭＶＰにおけるＶＶＣドラフト３において現在行われるように符号化される。しかしながら、マージケースにおいて、ＭＭＶＤモードが、オンである場合、ＭＭＶＤの動きベクトル差は、ＡＭＶＰ方法で符号化される。
【0194】
[実施形態１３]：アフィン動きモデルと組み合わされるＳＭＶＤ
実施形態に従うと、ＳＭＶＤの使用は、アフィンＡＭＶＰケースに拡張される。これは、以下の形を取ることができる。
実施形態に従うと、ＳＭＶＤの使用は、アフィンＡＭＶＰケースに拡張される。これは、以下の形を取ることができる。
【0195】
検討されるアフィンＣＵの最初のＣＰＭＶは、従来の並進ＡＭＶＰケースにおけるのと同様に、対称ＭＶＤに関するセクションのＳＭＶＤモードに従って、符号化される。次に、検討されるアフィンＣＵの他のＣＰＭＶのＭＶＤは、アフィンＡＭＶＰケースにおいて現在行われるのと同様に、最初のＣＰＭＶのＭＶＤに対して差分的に符号化される。対応する簡略化されたブロック図が、以下の図に示されている。
【0196】
さらなる変形に従うと、第２ＣＰＭＶ、および任意選択で、第３ＣＰＭＶの差分ＭＶＤは、第１のＣＰＭＶのＭＶＤに対して差分的に符号化されるが、対称モード制約の下でも符号化される。これは、第２および第３のＣＰＭＶのレートコストを低減することを可能にする。
【0197】
[実施形態１４]：三角動きパーティションと組み合わされるＳＭＶＤ
ＡＭＶＰにおいて、三角パーティションが、使用される場合、対称ＭＶＤモードを、三角パーティションケースに拡張することができる。
ＡＭＶＰにおいて、三角パーティションが、使用される場合、対称ＭＶＤモードを、三角パーティションケースに拡張することができる。
【0198】
そのようなケースにおいて、実施形態においては、第１のおよび第２の三角パーティションの２つの単方向ＭＶＤは、互いに対称であることができる。
【0199】
[実施形態１５]：多重仮説予測モードと組み合わされるＳＭＶＤ
実施形態においては、マージモードに加えて、ＡＭＶＰモードにおいて、多重仮説を使用することができる。そのケースにおいては、このインター／イントラ複合予測のインター成分が、双予測を使用しているケースにおいて、ＳＭＶＤモードを、多重仮説予測モードと組み合わせて、使用することができる。
実施形態においては、マージモードに加えて、ＡＭＶＰモードにおいて、多重仮説を使用することができる。そのケースにおいては、このインター／イントラ複合予測のインター成分が、双予測を使用しているケースにおいて、ＳＭＶＤモードを、多重仮説予測モードと組み合わせて、使用することができる。
【0200】
[実施形態１６]：平面動きモデルと組み合わされるＳＭＶＤ
実施形態においては、平面動きモデルを、マージモードにおけるそれの現在の使用に加えて、ＡＭＶＰモードにおいて、使用することができる。そのケースにおいては、現在のＣＵを取り囲む動きベクトルに対して、動き差を、使用および適用することができ、現在のＣＵの動き場を生成するために、使用することができる。
実施形態においては、平面動きモデルを、マージモードにおけるそれの現在の使用に加えて、ＡＭＶＰモードにおいて、使用することができる。そのケースにおいては、現在のＣＵを取り囲む動きベクトルに対して、動き差を、使用および適用することができ、現在のＣＵの動き場を生成するために、使用することができる。
【0201】
さらに、ＳＭＶＤモードを、このＡＭＶＰ平面動きモデルケースと組み合わせて、使用することができる。そのケースにおいては、いくつかの対称双方向動きベクトル差を、現在のＣＵの平面ＭＶ場を生成するために使用される、現在のＣＵの周囲の動きベクトルに対して適用することができる。そのような実施形態は、実施形態５をカバーするセクションのそれと類似するが、ＡＭＶＰ＋対称モードケース内にある。
【0202】
[実施形態１７]：回帰ベースの動きモデルと組み合わされるＳＭＶＤ
実施形態においては、回帰ベースの動きモデルを、マージモードにおけるそれの現在の使用に加えて、ＡＭＶＰモードにおいて、使用することができる。そのケースにおいては、現在のＣＵを取り囲む動きベクトルに対して、動き差を、使用し、適用することができ、現在のＣＵの回帰ベースの動き場を生成するために、使用することができる。
実施形態においては、回帰ベースの動きモデルを、マージモードにおけるそれの現在の使用に加えて、ＡＭＶＰモードにおいて、使用することができる。そのケースにおいては、現在のＣＵを取り囲む動きベクトルに対して、動き差を、使用し、適用することができ、現在のＣＵの回帰ベースの動き場を生成するために、使用することができる。
【0203】
さらに、ＳＭＶＤモードを、このＡＭＶＰ回帰ベースの動きモデルケースと組み合わせて、使用することができる。そのケースにおいては、いくつかの対称双方向動きベクトル差を、現在のＣＵの回帰ベースのＭＶ場を生成するために使用される、現在のＣＵの周囲の動きベクトルに対して適用することができる。そのような実施形態は、実施形態５をカバーするセクションのそれと類似するが、ＡＭＶＰ＋対称モードケース内にある。
【0204】
[実施形態１８]：ＡＴＭＶＰ動きモデルと組み合わされるＳＭＶＤ
ＡＭＶＰおよびマージのせいで排他的
実施形態においては、ＡＴＭＶＰ動きモデルを、マージモードにおけるそれの現在の使用に加えて、ＡＭＶＰモードにおいて、使用することができる。そのケースにおいては、現在のＣＵのＡＴＭＶＰ予測動きベクトルに含まれる動きベクトルに対して、動き差を、使用し、適用することができる。
ＡＭＶＰおよびマージのせいで排他的
実施形態においては、ＡＴＭＶＰ動きモデルを、マージモードにおけるそれの現在の使用に加えて、ＡＭＶＰモードにおいて、使用することができる。そのケースにおいては、現在のＣＵのＡＴＭＶＰ予測動きベクトルに含まれる動きベクトルに対して、動き差を、使用し、適用することができる。
【0205】
さらに、ＳＭＶＤモードを、このＡＭＶＰ ＡＴＭＶＰ動きモデルケースと組み合わせて、使用することができる。そのケースにおいては、いくつかの対称双方向動きベクトル差を、現在のＣＵのために導出されたＡＴＭＶＰ動きベクトルに対して適用することができる。そのような実施形態は、実施形態３をカバーするセクションのそれと類似するが、ＡＭＶＰ＋ＡＴＭＶＰモードケース内にある。
【0206】
[実施形態１９]：空間－時間動きベクトル予測（ＳＴＭＶＰ）と組み合わされるＳＭＶＤ
ＶＶＣドラフト３など、現在のビデオ規格案においては、ＳＴＭＶＰ動きベクトルプレディクタ（ＳＴＭＶＰに関するセクションを参照）は、マージケースにおいてだけ、提案されている。しかしながら、ＡＭＶＰモードにおいて、ＳＴＭＶを可能にすることができる。そのケースにおいては、ＳＭＶＤを、直接的な方法で、ＳＴＭＶＰ候補に対して適用することができる。
ＶＶＣドラフト３など、現在のビデオ規格案においては、ＳＴＭＶＰ動きベクトルプレディクタ（ＳＴＭＶＰに関するセクションを参照）は、マージケースにおいてだけ、提案されている。しかしながら、ＡＭＶＰモードにおいて、ＳＴＭＶを可能にすることができる。そのケースにおいては、ＳＭＶＤを、直接的な方法で、ＳＴＭＶＰ候補に対して適用することができる。
【0207】
しかしながら、ＳＭＶＤは、ＳＴＭＶＰ候補を計算するために使用される、３つの空間および時間ＭＶプレディクタのうちの１つだけに適用することもできる。
【0208】
実施形態に従うと、ＳＭＶＤの動きベクトル差は、これら２つの空間動きベクトルプレディクタと、時間動きベクトルプレディクタとの間の、平均動きベクトルを計算する前に、１つまたは２つの空間動きベクトルプレディクタに対して適用される。
【0209】
実施形態に従うと、ＳＭＶＤの動きベクトル差は、この時間ＭＶプレディクタと、１つまたは２つの空間動きベクトルプレディクタとの間の、平均動きベクトルを計算する前に、時間動きベクトルプレディクタに対して適用される。
１．１．２．[実施形態２０]：双方向動きベクトルの最終的な対に対称性を課すための変更されたＳＭＶＤモード。並進ケース
このセクションは、対称性制約が、動きベクトル差ＭＶｄに対してではなく、並進ＡＭＶＰモードにおいてブロックを双方向予測するために使用される、最終的な動きベクトルに対して課されるように、ＳＭＶＤモードが変更される、実施形態を提示する。実際、対称ＭＶＤをカバーするセクションにおいて説明されるように、ＳＭＶＤにおいては、双方向ＭＶの対の第１の動きベクトルのために、ＭＶＤが、符号化され、その後、第２の動きベクトルのＭＶＤが、現在のピクチャとそれの参照ピクチャとの間の時間的距離の関数として、スケーリング可能な、反対ＭＶＤベクトルとして、第１のＭＶＤから推測される。ここで、提案される実施形態においては、変更されたＳＭＶＤモードは、第１のベクトルのＭＶＤが、既存のＳＭＶＤにおけるのと同様に符号化されるようなものである。次に、第１の動きベクトルが、ＭＶプレディクタとデコードされた動きベクトル差の和として、再構築される。最後に、再構築された第２の動きベクトルが、現在のピクチャとそれの参照ピクチャとの間の時間的距離の関数として、スケーリング可能な、反対ＭＶとして、再構築された第１の動きベクトルから推測される。
１．１．２．[実施形態２０]：双方向動きベクトルの最終的な対に対称性を課すための変更されたＳＭＶＤモード。並進ケース
このセクションは、対称性制約が、動きベクトル差ＭＶｄに対してではなく、並進ＡＭＶＰモードにおいてブロックを双方向予測するために使用される、最終的な動きベクトルに対して課されるように、ＳＭＶＤモードが変更される、実施形態を提示する。実際、対称ＭＶＤをカバーするセクションにおいて説明されるように、ＳＭＶＤにおいては、双方向ＭＶの対の第１の動きベクトルのために、ＭＶＤが、符号化され、その後、第２の動きベクトルのＭＶＤが、現在のピクチャとそれの参照ピクチャとの間の時間的距離の関数として、スケーリング可能な、反対ＭＶＤベクトルとして、第１のＭＶＤから推測される。ここで、提案される実施形態においては、変更されたＳＭＶＤモードは、第１のベクトルのＭＶＤが、既存のＳＭＶＤにおけるのと同様に符号化されるようなものである。次に、第１の動きベクトルが、ＭＶプレディクタとデコードされた動きベクトル差の和として、再構築される。最後に、再構築された第２の動きベクトルが、現在のピクチャとそれの参照ピクチャとの間の時間的距離の関数として、スケーリング可能な、反対ＭＶとして、再構築された第１の動きベクトルから推測される。
【0210】
このように、提案される新しいＳＭＶＤモードは、予測ブロックが、それの後方および前方の２つの参照ブロックと同じライン上にあることを保証する。この手法は、対称ＭＶＤをカバーするセクションの既存のＳＭＶＤと比較して、改善された符号化効率を提供することを期待される。
【0211】
[実施形態２１]：最終的なアフィンモデルに対称性を課すための変更されたＳＭＶＤモード（回転、スケーリング／ズーム、および並進(translation)）
実施形態に従うと、ＳＭＶＤモードは、アフィンＡＭＶＰと組み合わせて、使用される。そのケースにおいては、対称性制約を、直接的な方法で、フィンＭＶＤにも課すことができる。
実施形態に従うと、ＳＭＶＤモードは、アフィンＡＭＶＰと組み合わせて、使用される。そのケースにおいては、対称性制約を、直接的な方法で、フィンＭＶＤにも課すことができる。
【0212】
別の手法に従うと、ＭＭＶＤとアフィンとの組み合わせに関連する、実施形態４に関するセクションの対応する特性と同様の方法で、対称性制約を、アフィンモデルパラメータ（角度およびスケーリングファクタ）に課すことができる。
【0213】
ここで説明された一般的な態様の下における、方法３５００の一実施形態が、図３５に示されている。方法は、開始ブロック３５０１において開始し、制御は、ビデオビットストリーム内のシンタックスを通して、第１の動きモードを示すための、ブロック３５１０に進む。制御は、ブロック３５１０から、ビデオビットストリーム内のシンタックスの存在を通して、第２の動きモードの使用を示し、存在する場合、第２の動きモードに関連する情報を含むための、ブロック３５２０に進む。制御は、ブロック３５２０から、第１および第２の動きモードに対応する動き情報を使用して、ビデオブロックをエンコードするための、ブロック３５３０に進む。
【0214】
ここで説明された一般的な態様の下における、方法３６００の別の実施形態が、図３６に示されている。方法は、開始ブロック３６０１において開始し、制御は、シンタックスが第１の動きモードを示すかについて、ビデオビットストリームを解析するための、ブロック３６１０に進む。制御は、ブロック３６１０から、シンタックスが第２の動きモードの存在を示すかについて、ビデオビットストリームを解析し、存在する場合、第２の動きモードに関連する情報を決定するための、ブロック３６２０に進む。制御は、ブロック３６２０から、第１の動きモードに対応する動き情報を獲得するための、ブロック３６３０に進む。制御は、ブロック３６３０から、動き情報を使用して、ブロックをデコードするための、ブロック３６４０に進む。
【0215】
図３７は、近隣サンプル依存のパラメトリックモデルに基づいた、符号化モードの簡略化を使用して、ビデオデータをエンコード、デコード、圧縮、または圧縮解除するための、装置３７００の一実施形態を示している。装置は、プロセッサ３７１０を備え、少なくとも１つのポートを通して、メモリ３７２０に相互接続することができる。プロセッサ３７１０およびメモリ３７２０は、ともに、外部接続への１つまたは複数の追加の相互接続を有することもできる。
【0216】
プロセッサ３７１０はまた、ビットストリーム内に情報を挿入する、またはビットストリーム内の情報を受け取るように、また説明される態様のいずれかを使用して、圧縮、エンコーディング、またはデコーディングを行うように構成される。
【0217】
本出願は、ツール、特徴、実施形態、モデル、手法などを含む、様々な態様を説明する。これらの態様の多くは、具体性をもって説明され、少なくとも、個々の特性を示すために、限定的に聞こえることがある方法で、しばしば説明される。しかしながら、これは、説明における明瞭性のためであり、それらの態様の適用または範囲を限定しない。実際、異なる態様のすべては、さらなる態様を提供するために、組み合わせること、および交換することができる。さらに、態様は、同様に、以前の出願において説明された態様とも、組み合わせること、および交換することができる。
【0218】
本出願において説明され、企図される態様は、多くの異なる形で実施することができる。図３、図４、および図３４は、いくつかの実施形態を提供するが、他の実施形態が、企図され、図３、図４、および図３４の説明は、実施形態の広さを限定しない。態様の少なくとも１つは、一般に、ビデオエンコーディングおよびデコーディングに関し、少なくとも１つの他の態様は、一般に、生成またはエンコードされたビットストリームを送信することに関する。これらおよび他の態様は、方法、装置、説明される方法のいずれかに従ってビデオデータをエンコードもしくはデコードするための命令をその上に記憶した、コンピュータ可読記憶媒体、および／または説明される方法のいずれかに従って生成されたビットストリームをその上に記憶した、コンピュータ可読記憶媒体として、実施することができる。
【0219】
本出願においては、「再構築された」、および「デコーディングされた」という用語は、交換可能に使用することができ、「ピクセル」、および「サンプル」という用語は、交換可能に使用することができ、「画像」、「ピクチャ」、および「フレーム」という用語は、交換可能に使用することができる。必ずではないが、通常は、「再構築された」という用語は、エンコーダ側で使用され、一方、「デコードされた」という用語は、デコーダ側で使用される。
【0220】
本明細書においては、様々な方法が、説明され、方法の各々は、説明される方法を達成するための、１つまたは複数のステップまたはアクションを含む。方法の適切な動作のために、ステップまたはアクションの特定の順序が、必要とされない限り、特定のステップおよび／またはアクションの順序および／または使用は、変更すること、または組み合わせることができる。
【0221】
本出願において説明される様々な方法および他の態様は、図３および図４に示されるような、ビデオエンコーダ１００およびデコーダ２００のモジュール、例えば、イントラ予測、エントロピ符号化、および／またはデコーディングモジュール（１６０、３６０、１４５、３３０）を変更するために、使用することができる。さらに、本態様は、ＶＶＣまたはＨＥＶＣに限定されず、例えば、既存のものか、それとも将来開発されるものかに関わらず、他の規格および勧告、ならびに（ＶＶＣおよびＨＥＶＣを含む）任意のそのような規格および勧告の拡張に対して適用することができる。別段の指摘がない限り、または技術的に除外されない限り、本出願において説明される態様は、個別にまたは組み合わせて、使用することができる。
【0222】
本出願においては、様々な数値が、使用される。特定の値は、例示のためであり、説明される態様は、これらの特定の値に限定されない。
【0223】
図３は、エンコーダ１００を例示している。このエンコーダ１００の変形が、企図されるが、エンコーダ１００は、明瞭にするために、すべての予想される変形を説明することなく、以下で説明される。
【0224】
エンコードされる前に、ビデオシーケンスは、例えば、カラー変換を入力カラーピクチャに対して適用し（例えば、ＲＧＢ ４：４：４からＹＣｂＣｒ ４：２：０への変換）、または（例えば、カラー成分の１つのヒストグラム均等化を使用して）圧縮に対してより回復力のある信号分布を取得するために、入力ピクチャ成分の再マッピングを実行する、プリエンコーディング処理（１０１）を通過することができる。メタデータは、前処理と関連付け、ビットストリームに添付することができる。
【0225】
エンコーダ１００において、ピクチャは、以下で説明されるように、エンコーダ要素によってエンコードされる。エンコードされたピクチャは、パーティションされ（１０２）、例えば、ＣＵの単位で、処理される。各ユニットは、例えば、イントラモードまたはインターモードのどちらかを使用して、エンコードされる。ユニットが、イントラモードでエンコードされるとき、それは、イントラ予測（１６０）を実行する。インターモードにおいては、動き推定（１７５）および補償（１７０）が、実行される。エンコーダは、ユニットをエンコードするために使用する、イントラモードまたはインターモードのどちらか一方を決定し（１０５）、例えば、予測モードフラグによって、イントラ／インター決定を示す。予測残差が、例えば、予測ブロックを元の画像ブロックから減算（１１０）することによって、計算される。
【0226】
その後、予測残差は、変換（１２５）され、量子化（１３０）される。量子化された変換係数、ならびに動きベクトルおよび他のシンタックス要素が、エントロピ符号化（１４５）されて、ビットストリームを出力する。エンコーダは、変換をスキップし、変換されていない残差信号に対して直接的に量子化を適用することができる。エンコーダは、変換および量子化の両方をバイパスすることができ、すなわち、残差は、変換または量子化プロセスの適用なしに、直接的に符号化される。
【0227】
エンコーダは、エンコードされたブロックをデコードして、さらなる予測のための参照を提供する。量子化された変換係数は、予測残差をデコードするために、逆量子化（１４０）および逆変換（１５０）される。デコードされた予測残差と予測ブロックとを組み合わせて（１５５）、画像ブロックが、再構築される。例えば、デブロッキング／ＳＡＯ（サンプル適応オフセット）フィルタリングを実行して、エンコーディングアーチファクトを低減させるために、インループフィルタ（１６５）が、再構築されたピクチャに対して適用される。フィルタリングされた画像は、参照ピクチャバッファ（１８０）に記憶される。
【0228】
図４は、ビデオデコーダ２００のブロック図を例示している。デコーダ２００において、ビットストリームは、以下で説明されるように、デコーダ要素によってデコードされる。ビデオデコーダ２００は、一般に、図３において説明されるようなエンコーディングパスと相反的な、デコーディングパスを実行する。エンコーダ１００も、一般に、ビデオデータをエンコードする一環として、ビデオデコーディングを実行する。
【0229】
特に、デコーダの入力は、ビデオエンコーダ１００によって生成することができる、ビデオビットストリームを含む。ビットストリームは、最初に、エントロピデコード（２３０）されて、変換係数、動きベクトル、および他の符号化された情報を獲得する。ピクチャパーティション情報は、ピクチャがどのようにパーティションされるかを示す。したがって、デコーダは、デコードされたピクチャのパーティショニング情報に従って、ピクチャを分割する（２３５）ことができる。変換係数は、予測残差をデコードするために、逆量子化（２４０）および逆変換（２５０）される。デコードされた予測残差と予測ブロックとを組み合わせて（２５５）、画像ブロックが、再構築される。予測ブロックは、イントラ予測（２６０）または動き補償予測（すなわち、インター予測）（２７５）から、獲得する（２７０）ことができる。インループフィルタ（２６５）が、再構築された画像に対して適用される。フィルタリングされた画像は、参照ピクチャバッファ（２８０）に記憶される。
【0230】
デコードされたピクチャは、さらに、ポストデコーディング処理（２８５）、例えば、逆カラー変換（例えば、ＹＣｂＣｒ ４：２：０からＲＧＢ ４：４：４への変換）、またはプリエンコーディング処理（１０１）において実行された再マッピングプロセスの逆を実行する逆再マッピングを通過することができる。ポストデコーディング処理は、プリエンコーディング処理において導出され、ビットストリームでシグナリングされた、メタデータを使用することができる。
【0231】
図３４は、様々な態様および実施形態が実施されるシステムの例のブロック図を例示している。システム１０００は、以下で説明される様々な構成要素を含むデバイスとして具体化することができ、本文書において説明される態様のうちの１つまたは複数を実行するように構成される。そのようなデバイスの例は、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受像機、パーソナルビデオ録画システム、接続された家電製品、およびサーバなど、様々な電子デバイスを含むが、それらに限定されない。システム１０００の要素は、単独で、または組み合わせて、単一の集積回路（ＩＣ）、複数のＩＣ、および／または個別の構成要素で具体化することができる。例えば、少なくとも１つの実施形態においては、システム１０００の処理およびエンコーダ／デコーダ要素は、複数のＩＣおよび／または個別の構成要素にわたって分散される。様々な実施形態においては、システム１０００は、例えば、通信バスを介して、または専用入力および／もしくは出力ポートを通して、１つもしくは複数の他のシステムに、または他の電子デバイスに通信可能に結合される。様々な実施形態においては、システム１０００は、本文書において説明される態様のうちの１つまたは複数を実施するように構成される。
【0232】
システム１０００は、例えば、本文書において説明される様々な態様を実施するために、そこにロードされた命令を実行するように構成された、少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、組み込みメモリ、入出力インターフェース、および当技術分野において知られた様々な他の回路を含むことができる。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイス、および／または不揮発性メモリデバイス）を含む。システム１０００は、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、リードオンリメモリ（ＲＯＭ）、プログラマブルリードオンリメモリ（ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、および／または光ディスクドライブを含むが、それらに限定されない、不揮発性メモリおよび／または揮発性メモリを含むことができる、ストレージデバイス１０４０を含む。ストレージデバイス１０４０は、非限定的な例として、内部ストレージデバイス、（取り外し可能および取り外し不能なストレージデバイスを含む）取り付けられたストレージデバイス、ならびに／またはネットワークアクセス可能なストレージデバイスを含むことができる。
【0233】
システム１０００は、例えば、データを処理して、エンコードされたビデオまたはデコードされたビデオを提供するように構成された、エンコーダ／デコーダモジュール１０３０を含み、エンコーダ／デコーダモジュール１０３０は、独自のプロセッサおよびメモリを含むことができる。エンコーダ／デコーダモジュール１０３０は、エンコーディングおよび／またはデコーディング機能を実行するために、デバイスに含めることができる、モジュールを表す。知られているように、デバイスは、エンコーディングモジュールおよびデコーディングモジュールの一方または両方を含むことができる。加えて、エンコーダ／デコーダモジュール１０３０は、システム１０００の別々の要素として実施することができ、または当業者に知られているように、ハードウェアおよびソフトウェアの組み合わせとして、プロセッサ１０１０内に組み込むことができる。
【0234】
本文書において説明される様々な態様を実行するために、プロセッサ１０１０またはエンコーダ／デコーダ１０３０上にロードされるプログラムコードは、ストレージデバイス１０４０内に記憶され、その後、プロセッサ１０１０による実行のために、メモリ１０２０上にロードすることができる。様々な実施形態に従うと、プロセッサ１０１０、メモリ１０２０、ストレージデバイス１０４０、およびエンコーダ／デコーダモジュール１０３０のうちの１つまたは複数は、本文書において説明されるプロセスの実行中に、様々なアイテムのうちの１つまたは複数を記憶することができる。そのような記憶されたアイテムは、入力ビデオ、デコードされたビデオまたはデコードされたビデオの一部、ビットストリーム、行列、変数、ならびに方程式、公式、演算、および演算論理の処理からの中間または最終結果を含むことができるが、それらに限定されない。
【0235】
いくつかの実施形態においては、プロセッサ１０１０および／またはエンコーダ／デコーダモジュール１０３０の内部のメモリは、命令を記憶し、エンコーディングまたはデコーディング中に必要とされる処理のための作業メモリを提供するために使用される。しかしながら、他の実施形態においては、処理デバイス（例えば、処理デバイスは、プロセッサ１０１０またはエンコーダ／デコーダモジュール１０３０のどちらかであることができる）の外部のメモリが、これらの機能のうちの１つまたは複数のために使用される。外部メモリは、メモリ１０２０および／またはストレージデバイス１０４０、例えば、動的揮発性メモリおよび／または不揮発性フラッシュメモリであることができる。いくつかの実施形態においては、外部不揮発性フラッシュメモリは、例えば、テレビのオペレーティングシステムを記憶するために使用される。少なくとも１つの実施形態においては、ＲＡＭなどの高速な外部動的揮発性メモリが、ＭＰＥＧ－２（ＭＰＥＧとは、ムービングピクチャエキスパーツグループのことであり、ＭＰＥＧ－２は、ＩＳＯ／ＩＥＣ１３８１８とも呼ばれ、１３８１８－１は、Ｈ．２２２としても知られ、１３８１８－２は、Ｈ．２６２としても知られる）、ＨＥＶＣ（ＨＥＶＣとは、高効率ビデオ符号化のことであり、Ｈ．２６５およびＭＰＥＧ－Ｈパート２としても知られる）、またはＶＶＣ（多用途ビデオ符号化、ＪＶＥＴ、共同ビデオ専門家チームによって開発されている新しい規格）などのための、ビデオ符号化およびデコーディング演算のための作業メモリとして使用される。
【0236】
システム１０００の要素への入力は、ブロック１１３０に示されるような、様々な入力デバイスを通して、提供することができる。そのような入力デバイスは、（ｉ）例えば、放送局によって無線で送信された、ＲＦ信号を受信する無線周波（ＲＦ）部、（ｉｉ）コンポーネント（ＣＯＭＰ）入力端子（もしくはＣＯＭＰ入力端子のセット）、（ｉｉｉ）ユニバーサルシリアルバス（ＵＳＢ）入力端子、および／または（ｉｖ）高精細マルチメディアインターフェース（ＨＤＭＩ）入力端子を含むが、それらに限定されない。図３４に示されていない、他の例は、コンポジットビデオを含む。
【0237】
様々な実施形態においては、ブロック１１３０の入力デバイスは、当技術分野において知られるような、関連付けられたそれぞれの入力処理要素を有する。例えば、ＲＦ部は、（ｉ）所望の周波数を選択し（信号を選択する、または信号を周波数の帯域に帯域制限するとも言われる）、（ｉｉ）選択された信号をダウンコンバートし、（ｉｉｉ）ある実施形態においてはチャネルと呼ぶことができる（例えば）信号周波数帯域を選択するために、周波数のより狭い帯域に再び帯域制限し、（ｉｖ）ダウンコンバートおよび帯域制限された信号を復調し、（ｖ）誤り訂正を実行し、および（ｖｉ）データパケットの所望のストリームを選択するために逆多重化するのに適切な要素と関連付けることができる。様々な実施形態のＲＦ部は、これらの機能を実行するための１つまたは複数の要素、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、およびデマルチプレクサを含む。ＲＦ部は、例えば、受信された信号を、より低い周波数（例えば、中間周波数もしくは近ベースバンド周波数）に、またはベースバンドにダウンコンバートすることを含む、様々なこれらの機能を実行する、チューナを含むことができる。セットトップボックスの一実施形態においては、ＲＦ部およびそれの関連付けられた入力処理要素は、有線（例えば、ケーブル）媒体上において送信されたＲＦ信号を受信し、所望の周波数帯域にフィルタリングし、ダウンコンバートし、および再びフィルタリングすることによって、周波数選択を実行する。様々な実施形態は、上で説明された（および他の）要素の順序を再配置し、これらの要素のいくつかを削除し、および／または類似もしくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器およびアナログ－デジタルコンバータを挿入することなど、既存の要素の間に要素を挿入することを含むことができる。様々な実施形態においては、ＲＦ部は、アンテナを含む。
【0238】
加えて、ＵＳＢおよび／またはＨＤＭＩ端子は、ＵＳＢおよび／またはＨＤＭＩ接続を介して、システム１０００を他の電子デバイスに接続するための、それぞれのインターフェースプロセッサを含むことができる。入力処理の様々な態様、例えば、リード－ソロモン誤り訂正は、必要に応じて、例えば、別個の入力処理ＩＣ内において、またはプロセッサ１０１０内において実施することができることを理解されたい。同様に、ＵＳＢまたはＨＤＭＩインターフェース処理の態様は、必要に応じて、別個のインターフェースＩＣ内において、またはプロセッサ１０１０内において実施することができる。復調され、誤り訂正され、逆多重化されたストリームは、出力デバイス上における提示用に、必要に応じて、データストリームを処理するために、メモリおよびストレージ要素と組み合わされて動作する、例えば、プロセッサ１０１０、およびエンコーダ／デコーダ１０３０を含む、様々な処理要素に提供される。
【0239】
システム１０００の様々な要素は、統合ハウジング内において提供することができる。統合ハウジング内においては、様々な要素は、相互接続され、適切な接続構成、例えば、インターＩＣ（Ｉ２Ｃ）バス、配線、およびプリント回路基板を含む、当技術分野において知られた内部バスを使用して、それらの間でデータを送信することができる。
【0240】
システム１０００は、通信チャネル１０６０を介した他のデバイスとの通信を可能にする、通信インターフェース１０５０を含む。通信インターフェース１０５０は、通信チャネル１０６０上においてデータを送信および受信するように構成された、送受信機を含むことができるが、それに限定されない。通信インターフェース１０５０は、モデムまたはネットワークカードを含むことができるが、それらに限定されず、通信チャネル１０６０は、例えば、有線および／または無線媒体内において実施することができる。
【0241】
様々な実施形態においては、データは、Ｗｉ－Ｆｉネットワーク、例えば、ＩＥＥＥ８０２．１１（ＩＥＥＥとは、電気電子技術者協会のことである）などの無線ネットワークを使用して、システム１０００にストリーミング、または他の方法で提供される。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信のために適合された、通信チャネル１０６０および通信インターフェース１０５０上において受信される。これらの実施形態の通信チャネル１０６０は、典型的には、ストリーミングアプリケーションおよび他のオーバザトップ通信を可能にするための、インターネットを含む外部ネットワークへのアクセスを提供する、アクセスポイントまたはルータに接続される。他の実施形態は、入力ブロック１１３０のＨＤＭＩ接続上においてデータを配信する、セットトップボックスを使用して、ストリーミングされるデータをシステム１０００に提供する。さらに他の実施形態は、入力ブロック１１３０のＲＦ接続を使用して、ストリーミングされるデータをシステム１０００に提供する。上で示されたように、様々な実施形態は、非ストリーム方式で、データを提供する。加えて、様々な実施形態は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラネットワークまたはＢｌｕｅｔｏｏｔｈネットワークを使用する。
【0242】
システム１０００は、出力信号を、ディスプレイ１１００、スピーカ１１１０、および他の周辺デバイス１１２０を含む、様々な出力デバイスに提供することができる。様々な実施形態のディスプレイ１１００は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、曲面ディスプレイ、および／または折り畳み式ディスプレイのうちの１つまたは複数を含む。ディスプレイ１１００は、テレビ、タブレット、ラップトップ、セルフォン（モバイルフォン）、または他のデバイス用であることができる。ディスプレイ１１００は、また、（例えば、スマートフォンにおけるように）他のコンポーネントと統合することができ、または分離していることができる（例えば、ラップトップ用の外部モニタ）。実施形態の様々な例においては、他の周辺デバイス１１２０は、スタンドアロンのデジタルビデオディスク（もしくはデジタル多用途ディスク）（どちらの用語についても、ＤＶＲ）、ディスクプレーヤ、ステレオシステム、および／または照明システムのうちの１つまたは複数を含む。様々な実施形態は、システム１０００の出力に基づいた機能を提供する、1つまたは複数の周辺デバイス１１２０を使用する。例えば、ディスクプレーヤは、システム１０００の出力を再生する機能を実行する。
【0243】
様々な実施形態においては、ＡＶ．Ｌｉｎｋ、家電制御（ＣＥＣ）、またはユーザ介入ありもしくはなしのデバイス間制御を可能にする他の通信プロトコルなどのシグナリングを使用して、制御信号が、システム１０００と、ディスプレイ１１００、スピーカ１１１０、または他の周辺デバイス１１２０との間でシグナリングされる。出力デバイスは、それぞれのインターフェース１０７０、１０８０、および１０９０を通した専用接続を介して、システム１０００に通信可能に結合することができる。あるいは、出力デバイスは、通信インターフェース１０５０を介して、通信チャネル１０６０を使用して、システム１０００に接続することができる。ディスプレイ１１００およびスピーカ１１１０は、電子デバイス、例えば、テレビなどにおいて、システム１０００の他の構成要素とともに、単一のユニット内に統合することができる。様々な実施形態においては、ディスプレイインターフェース１０７０は、例えば、タイミングコントローラ（Ｔ Ｃｏｎ）チップなど、ディスプレイドライバを含む。
【0244】
例えば、入力１１３０のＲＦ部が、別個のセットトップボックスの一部である場合、ディスプレイ１１００およびスピーカ１１１０は、代替として、他の構成要素のうちの１つまたは複数から分離していることができる。ディスプレイ１１００およびスピーカ１１１０が外部コンポーネントである、様々な実施形態においては、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート、またはＣＯＭＰ出力を含む、専用出力接続を介して、提供することができる。
【0245】
実施形態は、プロセッサ１０１０によって実施されるコンピュータソフトウェアによって、もしくはハードウェアによって、またはハードウェアおよびソフトウェアの組み合わせによって、実行することができる。非限定的な例として、実施形態は、１つまたは複数の集積回路によって実施することができる。メモリ１０２０は、技術環境に対して適切な任意のタイプであることができ、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、およびリムーバブルメモリなどの、任意の適切なデータストレージ技術を使用して、実施することができる。プロセッサ１０１０は、技術環境に対して適切な任意のタイプであることができ、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づいたプロセッサのうちの１つまたは複数を包含することができる。
【0246】
様々な実施は、デコーディングを含む。本出願において使用される場合、「デコーディング」は、表示に適した最終出力を生成するために、例えば、受信されたエンコードされたシーケンスに対して実行される、プロセスのすべてまたは一部を包含することができる。様々な実施形態においては、そのようなプロセスは、典型的にはデコーダによって実行されるプロセス、例えば、エントロピデコーディング、逆量子化、逆変換、および差分デコーディングのうちの１つまたは複数を含む。様々な実施形態においては、そのようなプロセスは、本出願において説明される様々な実施のデコーダによって実行されるプロセスも含み、または代替として、それを含む。
【0247】
さらなる例として、一実施形態においては、「デコーディング」とは、エントロピデコーディングだけのことであり、別の実施形態においては、「デコーディング」とは、差分デコーディングだけのことであり、別の実施形態においては、「デコーディング」とは、エントロピデコーディングおよび差分デコーディングの組み合わせのことである。「デコーディングプロセス」という語句が、特定的に操作のサブセットを指すことを意図しているか、それとも一般的により広いデコーディングプロセスを指すことを意図しているかは、具体的な説明の文脈に基づいて明らかであり、当業者によく理解されると信じられる。
【0248】
様々な実施は、エンコーディングを含む。「デコーディング」についての上述の説明と同様に、本出願において使用される場合、「エンコーディング」は、エンコードされたビットストリームを生成するために、例えば、入力ビデオシーケンスに対して実行される、プロセスのすべてまたは一部を包含することができる。様々な実施形態においては、そのようなプロセスは、典型的にはエンコーダによって実行されるプロセス、例えば、パーティショニング、差分エンコーディング、変換、量子化、およびエントロピエンコーディングのうちの１つまたは複数を含む。様々な実施形態においては、そのようなプロセスは、本出願において説明される様々な実施のエンコーダによって実行されるプロセスも含み、または代替として、それを含む。
【0249】
さらなる例として、一実施形態においては、「エンコーディング」とは、エントロピエンコーディングだけのことであり、別の実施形態においては、「エンコーディング」とは、差分エンコーディングだけのことであり、別の実施形態においては、「エンコーディング」とは、差分エンコーディングおよびエントロピエンコーディングの組み合わせのことである。「エンコーディングプロセス」という語句が、特定的に操作のサブセットを指すことを意図しているか、それとも一般的により広いエンコーディングプロセスを指すことを意図しているかは、具体的な説明の文脈に基づいて明らかであり、当業者によく理解されると信じられる。
【0250】
シンタックス要素は、本明細書において使用される場合、記述用語であることに留意されたい。そのため、それらは、他のシンタックス要素名の使用を排除しない。
【0251】
図が、フロー図として提示されるとき、それは、対応する装置のブロック図も提供することを理解されたい。同様に、図が、ブロック図として提示されるとき、それは、対応する方法／プロセスのフロー図も提供することを理解されたい。
【0252】
様々な実施形態は、パラメトリックモデルまたはレート歪み最適化に言及することがある。特に、エンコーディングプロセス中、通常、レートと歪みのバランスまたはトレードオフが、しばしば計算複雑さの制約を与えられて、考慮される。それは、レート歪み最適化（ＲＤＯ）メトリックを通して、または最小平均２乗（ＬＭＳ）、絶対誤差平均（ＭＡＥ）、もしくは他のそのような測定を通して、測定することができる。レート歪み最適化は、通常、レートと歪みの加重和である、レート歪み関数を最小化することとして定式化される。レート歪み最適化問題を解決するための異なる手法が、存在する。例えば、手法は、すべての検討されるモードまたは符号化パラメータ値を含む、すべてのエンコーディングオプションの、それらの符号化コストならびに符号化およびデコーディング後の再構築された信号の関連する歪みの完全な評価を伴った、広範なテストに基づくことができる。エンコーディング複雑さを省くために、特に、再構築されたものではなく、予測または予測残差信号に基づいた、近似された歪みの計算を用いる、より高速な手法を使用することもできる。可能なエンコーディングオプションのいくつかだけに対しては近似された歪みを使用し、他のエンコーディングオプションに対しては完全な歪みを使用することなどによって、これら２つの手法の混合を使用することもできる。他の手法は、可能なエンコーディングオプションのサブセットだけを評価する。より一般には、多くの手法は、様々な技法のいずれかを利用して、最適化を実行するが、最適化は、必ずしも、符号化コストおよび関連する歪みの両方の完全な評価ではない。
【0253】
本明細書において説明される実施および態様は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実施することができる。実施の単一の形態との関連においてのみ説明された（例えば、方法としてのみ説明された）場合であっても、説明された特徴の実施は、他の形態（例えば、装置またはプログラム）でも実施することができる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実施することができる。方法は、例えば、一般に処理デバイスを指す、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理デバイスを含む、プロセッサで実施することができる。プロセッサは、例えば、コンピュータ、セルフォン、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡ」）、およびエンドユーザ間の情報の伝達を容易にする他のデバイスなどの、通信デバイスも含む。
【0254】
「一実施形態」もしくは「実施形態」、または「一実施」もしくは「実施」、およびそれらの他の変形に対する言及は、実施形態との関連において説明される特定の特徴、構造、および特性などが、少なくとも１つの実施形態に含まれることを意味する。したがって、本出願全体の様々な場所に現れる、「一実施形態において」もしくは「実施形態において」という語句、または「一実施において」もしくは「実施において」という語句、および他の任意の変形の出現は、すべてが、必ずしも同じ実施形態に言及しているとは限らない。
【0255】
加えて、本出願は、様々な情報を「決定する」ことに言及することがある。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、またはメモリから情報を取り出すことのうちの１つまたは複数を含むことができる。
【0256】
さらに、本出願は、様々な情報に「アクセスする」ことに言及することがある。情報にアクセスすることは、例えば、情報を受信すること、（例えば、メモリから）情報を取り出すこと、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することのうちの１つまたは複数を含むことができる。
【0257】
加えて、本出願は、様々な情報を「受信する」ことに言及することがある。受信することは、「アクセスする」ことと同様、広義の用語であることが意図されている。情報を受信することは、例えば、情報にアクセスすること、または（例えば、メモリから）情報を取り出すことのうちの１つまたは複数を含むことができる。さらに、「受信する」ことは、一般に、例えば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することなどの操作中に、様々な方法で含まれる。
【0258】
例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、および「ＡおよびＢの少なくとも一方」のケースにおける、以下の「／」、「および／または」、および「少なくとも一方」のいずれかの使用は、第１の列挙された選択肢（Ａ）だけの選択、または第２の列挙された選択肢（Ｂ）だけの選択、または両方の選択肢（ＡおよびＢ）の選択を包含することが意図されていることを理解されたい。さらなる例として、「Ａ、Ｂ、および／またはＣ」、および「Ａ、Ｂ、およびＣのうちの少なくとも１つ」のケースにおいては、そのような言い回しは、第１の列挙された選択肢（Ａ）だけの選択、または第２の列挙された選択肢（Ｂ）だけの選択、または第３の列挙された選択肢（Ｃ）だけの選択、または第１および第２の列挙された選択肢（ＡおよびＢ）だけの選択、または第１および第３の列挙された選択肢（ＡおよびＣ）だけの選択、または第２および第３の列挙された選択肢（ＢおよびＣ）だけの選択、または３つの選択肢すべて（ＡおよびＢおよびＣ）の選択を包含することが意図されている。これは、当業者および関連技術分野の技術者に明らかなように、列挙されたアイテムの数だけ拡張することができる。
【0259】
また、本明細書において使用される場合、「ｓｉｇｎａｌ（シグナリングする）」という語は、とりわけ、対応するデコーダに何かを示すことを指す。例えば、ある実施形態においては、エンコーダは、複数の変換、符号化モード、またはフラグのうちの特定の１つをシグナリングする。このように、実施形態においては、同じ変換、パラメータ、またはモードが、エンコーダ側およびデコーダ側の両方において使用される。したがって、例えば、エンコーダは、デコーダが、同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信することができる（明示的なシグナリング）。逆に、デコーダが、特定のパラメータその他をすでに有する場合、送信せずに、シグナリングを使用して、単にデコーダが特定のパラメータを知り、選択することを可能にすることができる（暗黙のシグナリング）。いずれかの実際の機能の送信を回避することによって、様々な実施形態において、ビット節約が、実現される。シグナリングは、様々な方法で達成することができることを理解されたい。例えば、様々な実施形態においては、情報を対応するデコーダにシグナリングするために、１つまたは複数のシンタックス要素、およびフラグなどが、使用される。上述のことは、「ｓｉｇｎａｌ」という語の動詞形に関するが、「ｓｉｇｎａｌ（信号）」という語は、本明細書において、名詞として使用することもできる。
【0260】
当業者に明らかであるように、実施は、例えば、記憶または送信することができる情報を搬送するようにフォーマットされた、様々な信号を生成することができる。情報は、例えば、方法を実行するための命令、または説明された実施のうちの１つによって生成されたデータを含むことができる。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットすることができる。そのような信号は、例えば、（例えば、スペクトルの無線周波数部分を使用する）電磁波として、またはベースバンド信号として、フォーマットすることができる。フォーマッティングは、例えば、データストリームをエンコードすること、およびエンコードされたデータストリームを用いてキャリアを変調することを含むことができる。信号が搬送する情報は、例えば、アナログ情報、またはデジタル情報であることができる。信号は、知られているように、様々な異なる有線または無線リンク上において送信することができる。信号は、プロセッサ可読媒体上に記憶することができる。
【0261】
我々は、様々な請求項カテゴリおよびタイプにわたる、数々の実施形態を説明した。これらの実施形態の特徴は、単独または任意の組み合わせで、提供することができる。さらに、実施形態は、様々な請求項カテゴリおよびタイプにわたる、以下の特徴、デバイス、または態様のうちの１つまたは複数を、単独または任意の組み合わせで、含むことができる。
●アフィン動きモデルとともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●代替時間動きベクトル予測とともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●双方向オプティカルフローとともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●現在のピクチャへの動きベクトル参照とともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●一般化された双予測とともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●局所照明補償とともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●多重仮説マージ／イントラ組み合わせモードとともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●ＭＶＤを伴うマージ、または究極的ＭＶ表現（Ultimate MV Expression）とともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●回帰モデルに基づいたサブブロックごとの動きベクトル場とともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●双予測で符号化された、対称ＭＶＤ、ただ１つのＭＶＤとともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●三角パーティションとともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●ＭＭＶＤと双予測とを組み合わせる、プロセスまたはデバイス。
●ＭＭＶＤとＣＰＲとを組み合わせる、プロセスまたはデバイス。
●ＭＭＶＤとＡＴＭＶＰとを組み合わせる、プロセスまたはデバイス。
●ＭＭＶＤとアフィンモードとを組み合わせる、プロセスまたはデバイス。
●ＭＭＶＤと平面動きベクトル予測とを組み合わせる、プロセスまたはデバイス。
●ＭＭＶＤと回帰ベースの動きベクトル場とを組み合わせる、プロセスまたはデバイス。
●ＭＭＶＤをＧＢＩと組み合わせる、プロセスまたはデバイス。
●ＭＭＶＤと空間－時間動きベクトル予測とを組み合わせる、プロセスまたはデバイス。
●ＡＭＶＰモードにおいて、ＳＭＶＤをＭＭＶＤによって置き換える、プロセスまたはデバイス。
●ＳＭＶＤをアフィン動きモデルと組み合わせる、プロセスまたはデバイス。
●ＳＭＶＤを平面動きモデルと組み合わせる、プロセスまたはデバイス。
●ＳＭＶＤを回帰ベースの動きモデルと組み合わせる、プロセスまたはデバイス。
●ＳＭＶＤをＡＴＭＶＰ動きモデルと組み合わせる、プロセスまたはデバイス。
●ＳＭＶＤを空間－時間動きベクトル予測と組み合わせる、プロセスまたはデバイス。
●並進ケースにおいて、双方向動きベクトルに対称性を課すように、ＳＭＶＤモードを変更する、プロセスまたはデバイス。
●回転、スケーリング、ズーミング、または並進を含む、最終的なアフィンモデルに対称性を課すように、ＳＭＶＤモードを変更する、プロセスまたはデバイス。
●説明されたシンタックス要素またはそれの変形のうちの１つまたは複数を含む、ビットストリームまたは信号。
●説明された実施形態のいずれかに従って生成された情報をシグナリングするシンタックスを含む、ビットストリームまたは信号。
●説明された実施形態のいずれかに従った、作成および／または送信および／または受信および／またはデコーディング。
●説明された実施形態のいずれかに従った、方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、または信号。
●エンコーダによって使用されたものに対応する方法で、デコーダが符号化モードを決定することを可能にするシンタックス要素の、シグナリングへの挿入。
●説明されたシンタックス要素またはそれの変形のうちの１つまたは複数を含む、ビットストリームまたは信号の、作成および／または送信および／または受信および／またはデコーディング。
●説明された実施形態のいずれかに従った、変換方法を実行する、テレビ、セットトップボックス、セルフォン、タブレット、または他の電子デバイス。
●説明された実施形態のいずれかに従った、変換方法決定を実行し、結果の画像を（例えば、モニタ、スクリーン、または他のタイプのディスプレイを使用して）表示する、テレビ、セットトップボックス、セルフォン、タブレット、または他の電子デバイス。
●エンコードされた画像を含む信号を受信するために、チャネルを選択、帯域制限、または（例えば、チューナを使用して）調整し、説明された実施形態のいずれかに従った、変換方法を実行する、テレビ、セットトップボックス、セルフォン、タブレット、または他の電子デバイス。
●エンコードされた画像を含む信号を、無線で（例えば、アンテナを使用して）受信し、変換方法を実行する、テレビ、セットトップボックス、セルフォン、タブレット、または他の電子デバイス。
●アフィン動きモデルとともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●代替時間動きベクトル予測とともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●双方向オプティカルフローとともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●現在のピクチャへの動きベクトル参照とともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●一般化された双予測とともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●局所照明補償とともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●多重仮説マージ／イントラ組み合わせモードとともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●ＭＶＤを伴うマージ、または究極的ＭＶ表現（Ultimate MV Expression）とともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●回帰モデルに基づいたサブブロックごとの動きベクトル場とともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●双予測で符号化された、対称ＭＶＤ、ただ１つのＭＶＤとともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●三角パーティションとともに、ＭＭＶＤおよび／またはＳＭＶＤを使用する、プロセスまたはデバイス。
●ＭＭＶＤと双予測とを組み合わせる、プロセスまたはデバイス。
●ＭＭＶＤとＣＰＲとを組み合わせる、プロセスまたはデバイス。
●ＭＭＶＤとＡＴＭＶＰとを組み合わせる、プロセスまたはデバイス。
●ＭＭＶＤとアフィンモードとを組み合わせる、プロセスまたはデバイス。
●ＭＭＶＤと平面動きベクトル予測とを組み合わせる、プロセスまたはデバイス。
●ＭＭＶＤと回帰ベースの動きベクトル場とを組み合わせる、プロセスまたはデバイス。
●ＭＭＶＤをＧＢＩと組み合わせる、プロセスまたはデバイス。
●ＭＭＶＤと空間－時間動きベクトル予測とを組み合わせる、プロセスまたはデバイス。
●ＡＭＶＰモードにおいて、ＳＭＶＤをＭＭＶＤによって置き換える、プロセスまたはデバイス。
●ＳＭＶＤをアフィン動きモデルと組み合わせる、プロセスまたはデバイス。
●ＳＭＶＤを平面動きモデルと組み合わせる、プロセスまたはデバイス。
●ＳＭＶＤを回帰ベースの動きモデルと組み合わせる、プロセスまたはデバイス。
●ＳＭＶＤをＡＴＭＶＰ動きモデルと組み合わせる、プロセスまたはデバイス。
●ＳＭＶＤを空間－時間動きベクトル予測と組み合わせる、プロセスまたはデバイス。
●並進ケースにおいて、双方向動きベクトルに対称性を課すように、ＳＭＶＤモードを変更する、プロセスまたはデバイス。
●回転、スケーリング、ズーミング、または並進を含む、最終的なアフィンモデルに対称性を課すように、ＳＭＶＤモードを変更する、プロセスまたはデバイス。
●説明されたシンタックス要素またはそれの変形のうちの１つまたは複数を含む、ビットストリームまたは信号。
●説明された実施形態のいずれかに従って生成された情報をシグナリングするシンタックスを含む、ビットストリームまたは信号。
●説明された実施形態のいずれかに従った、作成および／または送信および／または受信および／またはデコーディング。
●説明された実施形態のいずれかに従った、方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、または信号。
●エンコーダによって使用されたものに対応する方法で、デコーダが符号化モードを決定することを可能にするシンタックス要素の、シグナリングへの挿入。
●説明されたシンタックス要素またはそれの変形のうちの１つまたは複数を含む、ビットストリームまたは信号の、作成および／または送信および／または受信および／またはデコーディング。
●説明された実施形態のいずれかに従った、変換方法を実行する、テレビ、セットトップボックス、セルフォン、タブレット、または他の電子デバイス。
●説明された実施形態のいずれかに従った、変換方法決定を実行し、結果の画像を（例えば、モニタ、スクリーン、または他のタイプのディスプレイを使用して）表示する、テレビ、セットトップボックス、セルフォン、タブレット、または他の電子デバイス。
●エンコードされた画像を含む信号を受信するために、チャネルを選択、帯域制限、または（例えば、チューナを使用して）調整し、説明された実施形態のいずれかに従った、変換方法を実行する、テレビ、セットトップボックス、セルフォン、タブレット、または他の電子デバイス。
●エンコードされた画像を含む信号を、無線で（例えば、アンテナを使用して）受信し、変換方法を実行する、テレビ、セットトップボックス、セルフォン、タブレット、または他の電子デバイス。
【産業上の利用可能性】
【0262】
本発明は、通信に利用することができる。
【符号の説明】
【0263】
１０２、１０２ａ～１０２ｄ ＷＴＲＵ
１０４、１１３ ＲＡＮ
１０６ コアネットワーク
１０８ ＰＳＴＮ
１１０ インターネット
１１２ 他のネットワーク
１６０ａ、１６０ｂ、１６０ｃ ｅノードＢ
１１８ プロセッサ
１２０ トランシーバ（送受信機）
１２２ アンテナ
１０４、１１３ ＲＡＮ
１０６ コアネットワーク
１０８ ＰＳＴＮ
１１０ インターネット
１１２ 他のネットワーク
１６０ａ、１６０ｂ、１６０ｃ ｅノードＢ
１１８ プロセッサ
１２０ トランシーバ（送受信機）
１２２ アンテナ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】