▶ ベイジン バイトダンス ネットワーク テクノロジー カンパニー リミテッドの特許一覧 ▶ バイトダンス インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181441
(43)【公開日】2023-12-21
(54)【発明の名称】効率的なアフィンマージ動きベクトル導出
(51)【国際特許分類】
H04N 19/52 20140101AFI20231214BHJP
【ＦＩ】
H04N19/52
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023187705
(22)【出願日】2023-11-01
(62)【分割の表示】P 2020573104の分割
【原出願日】2019-07-01
(31)【優先権主張番号】PCT/CN2018/093943
(32)【優先日】2018-07-01
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2018/095568
(32)【優先日】2018-07-13
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ
(71)【出願人】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】ＢＹＴＥＤＡＮＣＥ ＩＮＣ．
【住所又は居所原語表記】１２６５５ Ｗｅｓｔ Ｊｅｆｆｅｒｓｏｎ Ｂｏｕｌｅｖａｒｄ， Ｓｉｘｔｈ Ｆｌｏｏｒ， Ｓｕｉｔｅ Ｎｏ． １３７ Ｌｏｓ Ａｎｇｅｌｅｓ， Ｃａｌｉｆｏｒｎｉａ ９００６６ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ザン，カイ
(72)【発明者】
【氏名】ザン，リー
(72)【発明者】
【氏名】リュウ，ホンビン
(72)【発明者】
【氏名】ワン，ユエ
(57)【要約】
【課題】効率的なアフィンマージ動きベクトル導出のためのビデオ処理方法等を提供する。
【解決手段】１つの態様で、ビデオ処理方法は、現在のビデオブロックをサブブロックに分けることと、サブブロックごとに動きベクトルを導出することであり、各サブブロックの動きベクトルがポジション規則に従ってそのサブブロックの位置と関連付けられることと、サブブロックの動きベクトルに基づいて現在のビデオブロックのビットストリーム表現を処理することとを含むよう提供される。
【選択図】図１４
【解決手段】１つの態様で、ビデオ処理方法は、現在のビデオブロックをサブブロックに分けることと、サブブロックごとに動きベクトルを導出することであり、各サブブロックの動きベクトルがポジション規則に従ってそのサブブロックの位置と関連付けられることと、サブブロックの動きベクトルに基づいて現在のビデオブロックのビットストリーム表現を処理することとを含むよう提供される。
【選択図】図１４
【特許請求の範囲】
【請求項1】
ビデオデータを処理する方法であって、
ビデオの現在のビデオブロックと前記ビデオのビットストリームとの間の変換のために、規則に基づいて、前記現在のビデオブロックの制御点での動きベクトル（ＣＰＭＶ）を決定することと、
前記ＣＰＭＶに基づいて、前記現在のビデオブロックと前記ビットストリームとの間の前記変換を実行することと
を有し、
前記規則は、前記現在のビデオブロックのＣＰＭＶ候補が、アフィンマージモードでコーディングされた上隣接ブロックからの動きベクトルから導出される、ことを定め、前記ＣＰＭＶ候補は、前記現在のビデオブロックの前記ＣＰＭＶを導出するために使用される、
方法。
ビデオの現在のビデオブロックと前記ビデオのビットストリームとの間の変換のために、規則に基づいて、前記現在のビデオブロックの制御点での動きベクトル（ＣＰＭＶ）を決定することと、
前記ＣＰＭＶに基づいて、前記現在のビデオブロックと前記ビットストリームとの間の前記変換を実行することと
を有し、
前記規則は、前記現在のビデオブロックのＣＰＭＶ候補が、アフィンマージモードでコーディングされた上隣接ブロックからの動きベクトルから導出される、ことを定め、前記ＣＰＭＶ候補は、前記現在のビデオブロックの前記ＣＰＭＶを導出するために使用される、
方法。
【請求項2】
前記現在のビデオブロックは現在のスライスに属し、前記現在のビデオブロックの１つ以上の空間近傍ブロックの中の空間近傍ブロックは、その空間近傍ブロックが前記現在のスライスとは異なるスライスに属する場合に、妥当でない、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項3】
前記現在のビデオブロックは複数のサブブロックを含み、前記変換を実行することは、
前記複数のサブブロックの中の各サブブロックについて、前記ＣＰＭＶ及び対応するサブブロックの特定の位置に基づいて、動きベクトルを決定することを有する、
請求項１又は２に記載の方法。
前記複数のサブブロックの中の各サブブロックについて、前記ＣＰＭＶ及び対応するサブブロックの特定の位置に基づいて、動きベクトルを決定することを有する、
請求項１又は２に記載の方法。
【請求項4】
前記特定の位置は、前記対応するサブブロックの中心である、
請求項３に記載の方法。
請求項３に記載の方法。
【請求項5】
前記対応するサブブロックは、Ｍ×Ｎのサイズを有し、前記対応するサブブロックの中心は、［（Ｍ＞＞１）＋ａ，（Ｎ＞＞１）＋ｂ］として定義され、Ｍ及びＮは自然数であり、ａ、ｂは０又は－１である、
請求項３に記載の方法。
請求項３に記載の方法。
【請求項6】
前記変換は、前記現在のビデオブロックを前記ビットストリームに符号化することを含む、
請求項１乃至５のうちいずれか一項に記載の方法。
請求項１乃至５のうちいずれか一項に記載の方法。
【請求項7】
前記変換は、前記ビットストリームから前記現在のビデオブロックを復号することを含む、
請求項１乃至５のうちいずれか一項に記載の方法。
請求項１乃至５のうちいずれか一項に記載の方法。
【請求項8】
ビデオデータを処理する装置であって、
プロセッサと、命令を有している非一時的なメモリとを有し、
前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
ビデオの現在のビデオブロックと前記ビデオのビットストリームとの間の変換のために、規則に基づいて、前記現在のビデオブロックの制御点での動きベクトル（ＣＰＭＶ）を決定することと、
前記ＣＰＭＶに基づいて、前記現在のビデオブロックと前記ビットストリームとの間の前記変換を実行することと
を実行させ、
前記規則は、前記現在のビデオブロックのＣＰＭＶ候補が、アフィンマージモードでコーディングされた上隣接ブロックからの動きベクトルから導出される、ことを定め、前記ＣＰＭＶ候補は、前記現在のビデオブロックの前記ＣＰＭＶを導出するために使用される、
装置。
プロセッサと、命令を有している非一時的なメモリとを有し、
前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
ビデオの現在のビデオブロックと前記ビデオのビットストリームとの間の変換のために、規則に基づいて、前記現在のビデオブロックの制御点での動きベクトル（ＣＰＭＶ）を決定することと、
前記ＣＰＭＶに基づいて、前記現在のビデオブロックと前記ビットストリームとの間の前記変換を実行することと
を実行させ、
前記規則は、前記現在のビデオブロックのＣＰＭＶ候補が、アフィンマージモードでコーディングされた上隣接ブロックからの動きベクトルから導出される、ことを定め、前記ＣＰＭＶ候補は、前記現在のビデオブロックの前記ＣＰＭＶを導出するために使用される、
装置。
【請求項9】
プロセッサに、
ビデオの現在のビデオブロックと前記ビデオのビットストリームとの間の変換のために、規則に基づいて、前記現在のビデオブロックの制御点での動きベクトル（ＣＰＭＶ）を決定することと、
前記ＣＰＭＶに基づいて、前記現在のビデオブロックと前記ビットストリームとの間の前記変換を実行することと
を実行させる命令を記憶し、
前記規則は、前記現在のビデオブロックのＣＰＭＶ候補が、アフィンマージモードでコーディングされた上隣接ブロックからの動きベクトルから導出される、ことを定め、前記ＣＰＭＶ候補は、前記現在のビデオブロックの前記ＣＰＭＶを導出するために使用される、
非一時的なコンピュータ可読記憶媒体。
ビデオの現在のビデオブロックと前記ビデオのビットストリームとの間の変換のために、規則に基づいて、前記現在のビデオブロックの制御点での動きベクトル（ＣＰＭＶ）を決定することと、
前記ＣＰＭＶに基づいて、前記現在のビデオブロックと前記ビットストリームとの間の前記変換を実行することと
を実行させる命令を記憶し、
前記規則は、前記現在のビデオブロックのＣＰＭＶ候補が、アフィンマージモードでコーディングされた上隣接ブロックからの動きベクトルから導出される、ことを定め、前記ＣＰＭＶ候補は、前記現在のビデオブロックの前記ＣＰＭＶを導出するために使用される、
非一時的なコンピュータ可読記憶媒体。
【請求項10】
ビデオのビットストリームを記憶する方法であって、
前記ビデオの現在のビデオブロックから前記ビットストリームを生成するために、規則に基づいて、前記現在のビデオブロックの制御点での動きベクトル（ＣＰＭＶ）を決定することと、
前記決定に基づいて、前記現在のビデオブロックから前記ビットストリームを生成することと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することと
を有し、
前記規則は、前記現在のビデオブロックのＣＰＭＶ候補が、アフィンマージモードでコーディングされた上隣接ブロックからの動きベクトルから導出される、ことを定め、前記ＣＰＭＶ候補は、前記現在のビデオブロックの前記ＣＰＭＶを導出するために使用される、
方法。
前記ビデオの現在のビデオブロックから前記ビットストリームを生成するために、規則に基づいて、前記現在のビデオブロックの制御点での動きベクトル（ＣＰＭＶ）を決定することと、
前記決定に基づいて、前記現在のビデオブロックから前記ビットストリームを生成することと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することと
を有し、
前記規則は、前記現在のビデオブロックのＣＰＭＶ候補が、アフィンマージモードでコーディングされた上隣接ブロックからの動きベクトルから導出される、ことを定め、前記ＣＰＭＶ候補は、前記現在のビデオブロックの前記ＣＰＭＶを導出するために使用される、
方法。
【発明の詳細な説明】
【技術分野】
【0001】
本特許文献は、ビデオ符号化及び復号化技術、デバイス、及びシステムに関係がある。
【背景技術】
【0002】
ビデオ圧縮の進歩に関わらず、デジタルビデオは、インターネット及び他のデジタル通信ネットワークで最大のバンド幅使用を依然として占めている。ビデオを受信及び表示可能な被接続ユーザデバイスの数が増えるにつれて、デジタルビデオ利用のためのバンド幅需要は成長し続けると予想される。
【発明の概要】
【0003】
本文書は、サブブロックに基づくコーディング、特に、アフィン動きコーディングモードを使用する場合の性能を改善するためにビデオ符号化及び復号化実施形態で使用され得る技術を開示する。
【0004】
一例となる態様で、ビデオ処理方法は、現在のブロックをサブブロックに分けることと、サブブロックごとに動きベクトルを導出することであり、各サブブロックの動きベクトルがポジション規則に従ってそのサブブロックの位置と関連付けられることと、サブブロックの動きベクトルを用いて現在のブロックのビットストリーム表現を処理することとを含むよう提供される。
【0005】
他の態様では、ビデオ処理方法は、アフィンモードを使用する、現在のブロックと現在のブロックのビットストリーム表現との間の変換のために、ポジション規則に基づいて現在のブロックの制御点での動きベクトルを導出することと、動きベクトルを用いて現在のブロックとビットストリーム表現との間の変換を実行することとを有し、ポジション規則が、導出のための非隣接近傍ブロックの使用を除くことを定めるよう提供される。
【0006】
他の態様では、ビデオ処理の方法は、現在のブロックと現在のブロックのビットストリーム表現との間の変換のために、１つ以上の隣接ブロックの位置に基づいて妥当性基準を満足する１つ以上の隣接ブロックからのマージ候補を含めることによってアフィンマージ候補のリストを決定することと、動きベクトルを用いて現在のブロックとビットストリーム表現との間の変換を実行することとを有するよう提供される。
【0007】
更なる他の例となる態様では、本明細書で記載されるビデオ符号化方法を実装するビデオエンコーダデバイスが開示される。
【0008】
更なる他の代表的な態様では、本明細書で記載される様々な技術は、非一時的なコンピュータ可読媒体に記憶されているコンピュータプログラム製品として具現されてもよい。コンピュータプログラム製品は、本明細書で記載される方法を実行するためのプログラムコードを含む。
【0009】
更なる他の代表的な態様では、ビデオデコーダ装置が、本明細書で記載される方法を実装してもよい。
【0010】
１つ以上の実施の詳細は、添付の書類、図面、及び以下の説明において示される。他の特徴は、明細書及び図面から、並びに特許請求の範囲から明らかである。
【図面の簡単な説明】
【0011】
【図1】サブブロックに基づく予測の例を示す。
【図2】簡単化されたアフィン動きモデルの例を表す。
【図3】サブブロックごとのアフィン動きベクトル場（ＭＶＦ）の例を示す。
【図4】ＡＦ＿ＩＮＴＥＲモードのための動きベクトル予測（ＭＶＰ）の例を示す。
【図5A】ＡＦ＿ＭＥＲＧＥ符号化モードのための候補の例を表す。
【図5B】ＡＦ＿ＭＥＲＧＥ符号化モードのための候補の例を表す。
【図6】コーディングユニット（ＣＵ）のためのアドバンスド時間動きベクトル予測子（ＡＴＭＶＰ）のプロセスの例を示す。
【図7】４つのサブブロック（Ａ～Ｄ）を有する１つのＣＵ及びその隣接ブロック（ａ～ｄ）の例を示す。
【図8】ビデオコーディングにおけるオプティカルフロー軌跡の例を示す。
【図9A】ブロック拡張なしの双方向オプティカル（ＢＩＯ）コーディング技術の例を示し、ブロックの外にあるアクセス位置の例を示す。
【図9B】ブロック拡張なしの双方向オプティカル（ＢＩＯ）コーディング技術の例を示し、余分のメモリアクセス及び計算を回避するために使用されるパディングの例を示す。
【図10】バイラテラルマッチングの例を示す。
【図11】テンプレートマッチングの例を示す。
【図12】フレームレートアップコンバージョン（ＦＲＵＣ）におけるユニラテラル動き推定（ＭＥ）の例を示す。
【図13】織り込み予測の実施例を表す。
【図14】異なるサブブロックごとにＭＶを導出するために異なる位置の例を示し、星は異なる位置を表す。
【図15】ｖ０ｘ及びｖ０ｙを導出するための隣接ブロックの例を示す。
【図16A】アフィンモードでコーディングされた左隣のブロックからアフィンマージモードのためのＭＶを導出する例を示す。
【図16B】アフィンモードでコーディングされた上隣のブロックからアフィンマージモードのためのＭＶを導出する例を示す。
【図17】異なるコーディングツリーユニット（ＣＴＵ）に属する隣接ブロック及び現在のブロックの例を示し、そのような隣接ブロックからのアフィンマージ候補は妥当でないとして扱われる。
【図18】開示されている技術に従う２つの分割パターンによる織り込み予測の例を示す。
【図19A】開示されている技術に従ってブロックが４×４サブブロックに分けられる分割パターンの例を示す。
【図19B】開示されている技術に従ってブロックが８×８サブブロックに分けられる分割パターンの例を示す。
【図19C】開示されている技術に従ってブロックが４×８サブブロックに分けられる分割パターンの例を示す。
【図19D】開示されている技術に従ってブロックが８×４サブブロックに分けられる分割パターンの例を示す。
【図19E】開示されている技術に従ってブロックが一様でないサブブロックに分けられる分割パターンの例を示す。
【図19F】開示されている技術に従ってブロックが一様でないサブブロックに分けられる分割パターンの他の例を示す。
【図19G】開示されている技術に従ってブロックが一様でないサブブロックに分けられる分割パターンの更なる他の例を示す。
【図20】本文書で記載される視覚媒体復号化又は視覚媒体符号化技術を実装するハードウェアプラットフォームの例のブロック図である。
【図21】ビデオ処理の方法の例のフローチャートである。
【図22】ビデオ処理の方法の他の例のフローチャートである。
【図23】ビデオ処理の方法の他の例のフローチャートである。
【発明を実施するための形態】
【0012】
項目見出しは、読みやすさを改善するために本文書中で使用され、項目内で記載されている技術及び実施形態をその項目にのみ制限しない。
【0013】
ビデオの圧縮率を改善するために、研究者は、継続的に、ビデオを符号化するための新しい技術を探している。
【0014】
１．イントロダクション
本特許文献は、ビデオ／イメージコーディング技術に関係がある。具体的に、それは、ビデオ／イメージコーディングにおけるサブブロックに基づく予測に関係がある。それは、ＨＥＶＣのような既存のビデオコーディング規格、又は最終決定されるべき規格（バーサタイルビデオコーディング）に適用されてよい。それはまた、将来のビデオ／イメージコーディング規格又はビデオ／イメージコーデックにも適用可能である。
本特許文献は、ビデオ／イメージコーディング技術に関係がある。具体的に、それは、ビデオ／イメージコーディングにおけるサブブロックに基づく予測に関係がある。それは、ＨＥＶＣのような既存のビデオコーディング規格、又は最終決定されるべき規格（バーサタイルビデオコーディング）に適用されてよい。それはまた、将来のビデオ／イメージコーディング規格又はビデオ／イメージコーデックにも適用可能である。
【0015】
簡潔な解説
サブブロックに基づく予測は、ＨＥＶＣ Ａｎｎｅｘ Ｉ（３Ｄ－ＨＥＶＣ）によってビデオコーディング規格に最初に導入される。サブブロックに基づく予測により、コーディングユニット（Coding Unit，ＣＵ）又は予測ユニット（Prediction Unit，ＰＵ）などのブロックは、いくつかの重なり合わないサブブロックに分けられる。異なるサブブロックは、参照インデックス又は動きベクトル（Motion Vector，ＭＶ）などの異なる動き情報を割り当てられてよく、動き補償（Motion Compensation，ＭＣ）は、サブブロックごとに個別に実行される。図１は、サブブロックに基づく予測の概念を表す。
サブブロックに基づく予測は、ＨＥＶＣ Ａｎｎｅｘ Ｉ（３Ｄ－ＨＥＶＣ）によってビデオコーディング規格に最初に導入される。サブブロックに基づく予測により、コーディングユニット（Coding Unit，ＣＵ）又は予測ユニット（Prediction Unit，ＰＵ）などのブロックは、いくつかの重なり合わないサブブロックに分けられる。異なるサブブロックは、参照インデックス又は動きベクトル（Motion Vector，ＭＶ）などの異なる動き情報を割り当てられてよく、動き補償（Motion Compensation，ＭＣ）は、サブブロックごとに個別に実行される。図１は、サブブロックに基づく予測の概念を表す。
【0016】
ＨＥＶＣを越える将来のビデオコーディング技術を探求すべく、Joint Video Exploration Team（ＪＶＥＴ）は、２０１５年にＶＣＥＧ及びＭＰＥＧによって合同で設立された。それ以来、多くの新しい方法がＪＶＥＴによって採用され、Joint Exploration Model（ＪＥＭ）と名付けられた参照ソフトウェアに入れられた。
【0017】
ＪＥＭでは、サブブロックに基づく予測は、アフィン予測、選択的時間動きベクトル予測（Alternative Temporal Motion Vector Prediction，ＡＴＭＶＰ）、空間時間動きベクトル予測（Spatial-Temporal Motion Vector Prediction，ＳＴＭＶＰ）、双方向オプティカルフロー（Bi-directional Optical flow，ＢＩＯ）及びフレームレートアップコンバージョン（Frame-Rate Up Conversion，ＦＲＵＣ）などのいくつかのコーディングツールにおいて採用される。
【0018】
２．１ アフィン予測
ＨＥＶＣでは、平行移動モデルが動き補償予測（Motion Compensation Prediction，ＭＣＰ）のために適用される。現実世界では、多くの種類の動き、例えば、ズームイン／アウト、回転、視点動作（perspective motions）及び他の不規則な動きがある。ＪＥＭでは、簡単化されたアフィン変換動き補償予測が適用される。図２に示されるように、ブロックのアフィン動き場は、２つの制御点動きベクトルによって記述される。
ＨＥＶＣでは、平行移動モデルが動き補償予測（Motion Compensation Prediction，ＭＣＰ）のために適用される。現実世界では、多くの種類の動き、例えば、ズームイン／アウト、回転、視点動作（perspective motions）及び他の不規則な動きがある。ＪＥＭでは、簡単化されたアフィン変換動き補償予測が適用される。図２に示されるように、ブロックのアフィン動き場は、２つの制御点動きベクトルによって記述される。
【0019】
ブロックの動きベクトル場（Motion Vector field，ＭＶＦ）は、次の式によって記述される：
【数1】
【0020】
式（１）中、ｍ（ｖ０ｘ，ｖ０ｙ）は、左上角の制御点の動きベクトルであり、（ｖ１ｘ，ｖ１ｙ）は、右上角の制御点の動きベクトルである。
【0021】
動き補償予測を更に簡単にするために、サブブロックに基づくアフィン変換予測が適用される。サブブロックサイズＭ×Ｎは、式（２）で見られるように導出される。式（２）中、ＭｖＰｒｅは、動きベクトル分数精度（ＪＥＭでは１／１６）であり、（ｖ２ｘ，ｖ２ｙ）は、式（１）に従って計算される左下制御点の動きベクトルである：
【数2】
【0022】
式（２）によって導出された後、Ｍ及びＮは、夫々ｗ及びｈの約数にするよう、必要に応じて下方に調整されるべきである。
【0023】
各Ｍ×Ｎサブブロックの動きベクトルを導出するために、図３に示されるように、各サブブロックの中心サンプルの動きベクトルは、式（１）に従って計算され、１／１６分数精度に丸められる。次いで、動き補償補間フィルタが、導出された動きベクトルによる各サブブロックの予測を生成するよう適用される。
【0024】
ＭＣＰの後、各サブブロックの高精度の動きベクトルは丸められ、通常の動きベクトルと同じ精度でセーブされる。
【0025】
ＪＥＭでは、２つのアフィン動きモード、すなわちＡＦ＿ＩＮＴＥＲモード及びＡＦ＿ＭＥＲＧＥモードがある。幅及び高さの両方が８よりも大きいＣＵの場合に、ＡＦ＿ＩＮＴＥＲモードが適用され得る。ＣＵレベルでのアフィンフラグは、ＡＦ＿ＩＮＴＥＲモードが使用されるかどうかを示すためにビットストリームにおいて伝送される。このモードでは、動きベクトル対｛（ｖ０，ｖ１）｜ｖ０＝｛ｖＡ，ｖＢ，ｖＣ｝，ｖ１＝｛ｖＤ，ｖＥ｝｝を有する候補リストが、隣接するブロックを用いて構成される。図４に示されるように、ｖ０は、ブロックＡ、Ｂ又はＣの動きベクトルから選択される。隣接するブロックからの動きベクトルは、参照リストと、隣接するブロックのためのリファレンスのＰＯＣと、現在のＣＵのためのリファレンスのＰＯＣ、及び現在のＣＵのＰＯＣの間の関係とに従って、スケーリングされる。そして、隣接するブロックＤ及びＥからｖ１を選択するアプローチは同様である。候補リストの数が２よりも小さい場合に、リストは、ＡＭＶＰ候補の夫々を複製することによって構成された動きベクトル対によってパディングされる。候補リストが２よりも大きい場合には、候補は、最初に、隣接する動きベクトルの一貫性（ペア候補に含まれる２つの動きベクトルの類似性）に従ってソートされ、最初の２つの候補のみが保持される。ＲＤコストチェックは、どの動きベクトル対候補が現在のＣＵの制御点動きベクトル予測（ＣＰＭＶＰ）として選択されるかを決定するために使用される。そして、候補リスト内のＣＰＭＶＰの位置を示すインデックスが、ビットストリームにおいて伝送される。現在のアフィンＣＵのＣＰＭＶＰが決定された後、アフィン動き推定が適用され、制御点動きベクトル（ＣＰＭＶ）が求められる。次いで、ＣＰＭＶとＣＰＭＶＰとの差が、ビットストリームにおいて伝送される。
【0026】
ＣＵがＡＦ＿ＭＥＲＧＥモードにおいて適用される場合に、それは、有効な隣接する再構成されたブロックから、アフィンモードでコーディングされた第１ブロックを得る。そして、候補ブロックの選択順序は図５Ａに示されるように左、上、右上、左下、左上の順である。隣接する左下ブロックＡが図５Ｂに示されるようにアフィンモードでコーディングされる場合に、ブロックＡを含むＣＵの左上角、右上角、及び左下角の動きベクトルｖ２、ｖ３及びｖ４が導出される。そして、現在のＣＵの左上角の動きベクトルｖ０は、ｖ２、ｖ３及びｖ４に従って計算される。次に、現在のＣＵの右上の動きベクトルｖ１が計算される。
【0027】
現在のＣＵのＣＰＭＶ ｖ０及びｖ１が導出された後、簡単化されたアフィン動きモデル式（１）に従って、現在のＣＵのＭＶＦが生成される。現在のＣＵがＡＦ＿ＭＥＲＧＥモードでコーディングされているかどうかを特定するために、少なくとも１つの隣接ブロックがアフィンモードでコーディングされている場合に、アフィンフラグがビットストリームにおいて伝送される。
【0028】
２．２ ＡＴＭＶＰ
選択的時間動きベクトル予測（ＡＴＭＶＰ）法では、動きベクトルの時間動きベクトル予測（ＴＭＶＰ）は、現在のＣＵよりも小さいブロックから複数組の動き情報（動きベクトル及び参照インデックスを含む）をフェッチすることによって変更される。図６に示されるように、サブＣＵは、正方形のＮ×Ｎブロックである（Ｎは、デフォルトで４にセットされる）。
選択的時間動きベクトル予測（ＡＴＭＶＰ）法では、動きベクトルの時間動きベクトル予測（ＴＭＶＰ）は、現在のＣＵよりも小さいブロックから複数組の動き情報（動きベクトル及び参照インデックスを含む）をフェッチすることによって変更される。図６に示されるように、サブＣＵは、正方形のＮ×Ｎブロックである（Ｎは、デフォルトで４にセットされる）。
【0029】
ＡＴＭＶＰは、ＣＵ内のサブＣＵの動きベクトルを２つのステップで予測する。第１ステップは、いわゆる時間ベクトルにより参照ピクチャ内の対応するブロックを識別することである。参照ピクチャは、モーションソースピクチャ（motion source picture）と呼ばれる。第２ステップは、現在のＣＵをサブＣＵに分け、図６に示されるように、各サブＣＵに対応するブロックから各サブＣＵの参照インデックスとともに動きベクトルを取得することである。
【0030】
第１ステップで、参照ピクチャ及び対応するブロックは、現在のＣＵの空間的隣接ブロックの動き情報によって決定される。隣接するブロックの繰り返しの走査プロセスを回避するために、現在のＣＵのマージ候補リスト内の第１マージ候補が使用される。第１の利用可能な動きベクトル及びその関連する参照インデックスは、時間ベクトル及びモーションソースピクチャへのインデックスであるようセットされる。このように、ＡＴＭＶＰでは、対応するブロックは、ＭＴＶＰと比較して、より正確に特定され得る。このとき、対応するブロック（同一位置ブロック（collocated block）と時々呼ばれる）は常に、現在のＣＵに対して右下又は中心の位置にある。
【0031】
第２ステップで、サブＣＵの対応するブロックは、現在のＣＵの座標に時間ベクトルを加えることによって、モーションソースピクチャにおける時間ベクトルによって特定される。サブＣＵごとに、その対応するブロック（中心サンプルをカバーする最小のモーショングリッド）の動き情報が、そのサブＣＵの動き情報を導出するために使用される。対応するＮ×Ｎブロックの動き情報が特定された後、それは、ＨＥＶＣのＴＭＶＰと同じように、現在のサブＣＵの動きベクトル及び参照インデックスに変換される。このとき、モーションスケーリング及び他のプロシージャが適用される。例えば、デコーダは、低遅延条件（すなわち、現在のピクチャの全ての参照ピクチャのＰＯＣが、現在のピクチャのＰＯＣよりも小さい）が満足されるかどうかをチェックし、場合により、サブＣＵごとに動きベクトルＭＶｙを予測するために動きベクトルＭＶｘ（参照ピクチャリストＸに対応する動きベクトル）を使用する（Ｘは０又は１に等しく、Ｙは１－Ｘに等しい）。
【0032】
３．ＳＴＭＶＰ
この方法では、サブＣＵの動きベクトルは、ラスタスキャン順序に従って、再帰的に導出される。図７は、この概念を表す。４つの４×４サブＣＵ Ａ、Ｂ、Ｃ及びＤを含む８×８ＣＵを考える。現在のフレームにおける隣接する４×４ブロックは、ａ、ｂ、ｃ及びｄと表記される。
この方法では、サブＣＵの動きベクトルは、ラスタスキャン順序に従って、再帰的に導出される。図７は、この概念を表す。４つの４×４サブＣＵ Ａ、Ｂ、Ｃ及びＤを含む８×８ＣＵを考える。現在のフレームにおける隣接する４×４ブロックは、ａ、ｂ、ｃ及びｄと表記される。
【0033】
サブＣＵ Ａの動き導出は、その２つの空間的隣接ブロックを特定することによって開始する。第１隣接ブロックは、サブＣＵ Ａの上にあるＮ×Ｎブロック（ブロックｃ）である。このブロックｃが利用可能でないか、又はイントラコーディングされている場合には、サブＣＵ Ａの上にある他のＮ×Ｎブロックが（ブロックｃから開始して左から右へ）チェックされる。第２隣接ブロックは、サブＣＵ Ａの左にあるブロック（ブロックｂ）である。ブロックｂが利用可能でないか、又はイントラコーディングされている場合には、サブＣＵの左にある他のブロックが（ブロックｂから開始して上から下へ）チェックされる。各リストの隣接ブロックから得られた動き情報は、所与のリストの第１参照フレームに合わせて調整される。次に、サブブロックＡの時間動きベクトル予測子（ＴＭＶＰ）が、ＨＥＶＣで定められているＴＭＶＰ導出の同じプロシージャに従うことによって、導出される。位置Ｄにある同一位置ブロックの動き情報は、然るべくフェッチ及びスケーリングされる。最終的に、動き情報を取り出しスケーリングした後、全ての利用可能な動きベクトル（最大で３つまで）は、参照リストごとに別々に平均化される。平均化された動きベクトルは、現在のサブＣＵの動きベクトルとして割り当てられる。
【0034】
４．ＢＩＯ
双方向オプティカルフロー（ＢＩＯ）は、双予測（bi-prediction）のためにブロックワイズの動き補償に加えて実行されるサンプルワイズの動き精緻化である。サンプルレベルの動き精緻化は、シグナリングを使用しない。
双方向オプティカルフロー（ＢＩＯ）は、双予測（bi-prediction）のためにブロックワイズの動き補償に加えて実行されるサンプルワイズの動き精緻化である。サンプルレベルの動き精緻化は、シグナリングを使用しない。
【0035】
Ｉ（ｋ）は、ブロック動き補償後のリファレンスｋ（ｋ＝０，１）からのルーマ値であり、∂Ｉ（ｋ）／∂ｘ、∂Ｉ（ｋ）／∂ｙは、夫々、Ｉ（ｋ）勾配の水平及び垂直成分である、とする。オプティカルフローが有効であるすると、動きベクトル場（ｖｘ，ｖｙ）は、式：
によって与えられる。
【数3】
【0036】
このオプティカルフロー式を各サンプルの動き軌跡のエルミート補間（Hermite interpolation）と組み合わせることで、最後には関数値Ｉ（ｋ）及び導関数∂Ｉ（ｋ）／∂ｘ、∂Ｉ（ｋ）／∂ｙの両方に一致する一意の三次多項式が得られる。ｔ＝０でのこの多項式の値がＢＩＯ予測である：
【数4】
【0037】
ここで、τ０及びτ１は、図８に示されるように参照フレームまでの距離を表す。距離τ０及びτ１は、Ｒｅｆ０及びＲｅｆ１のＰＯＣに基づいて計算される。すなわち、τ０＝ＰＯＣ（現在）－ＰＯＣ（Ｒｅｆ０）、τ１＝ＰＯＣ（Ｒｅｆ１）－ＰＯＣ（現在）である。両方の予測が同じ時間方向から（両方とも過去から又両方とも未来から）もたらされる場合に、符号は異なる（すなわち、τ０・τ１＜０）。この場合に、ＢＩＯは、予測が同じ時点からでない（すなわち、τ０≠τ１）場合にのみ適用され、両方の参照領域は非ゼロの動きを有し（ＭＶｘ０，ＭＶｙ０，ＭＶｘ１，ＭＶｙ１≠０）、ブロック動きベクトルは時間的距離に比例する（ＭＶｘ０／ＭＶｘ１＝ＭＶｙ０／ＭＶｙ１＝－τ０／τ１）。
【0038】
動きベクトル場（ｖｘ，ｖｙ）は、点Ａ及びＢでの値の間の差Δを最小化にすることによって決定される（図９Ａ及び図９Ｂの参照フレーム面及び動き軌跡の交点）。モデルは、Δのために局所テイラー転換の最初の線形項しか使用しない：
【数5】
【0039】
上記の式中の全ての値は、これまで表記から省略されていたサンプル位置（ｉ´，ｊ´）に依存する。動きが局所周囲エリアにおいて一貫しているとすると、Ｍが２に等しいとして、現在予測されている点（ｉ，ｊ）を中心とした（２Ｍ＋１）×（２Ｍ＋１）の正方形窓Ω内でΔを最小化する：
【数6】
【0040】
この最適化問題のために、ＪＥＭは、最初に垂直方向において、次いで水平方向において最小化を行う簡単なアプローチを使用する。これにより、次が得られる：
ここで、
である。
【数7】
【数8】
【0041】
ゼロ又は非常に小さい値による除算を回避するために、正則化パラメータｒ及びｍが式（７）及び式（８）に導入される：
ｒ＝５００・４ｄ－８ （１０）
ｍ＝７００・４ｄ－８ （１１）
ｒ＝５００・４ｄ－８ （１０）
ｍ＝７００・４ｄ－８ （１１）
【0042】
ここで、ｄは、ビデオサンプルのビットデプスである。
【0043】
ＢＩＯのメモリアクセスを通常の双予測動き補償の場合と同じに保つために、全ての予測及び勾配値Ｉ（ｋ）、∂Ｉ（ｋ）／∂ｘ、∂Ｉ（ｋ）／∂ｙは、現在のブロック内の位置についてのみ計算される。式（９）において、予測されているブロックの境界上にある現在予測されている点に中心がある（２Ｍ＋１）×（２Ｍ＋１）の正方形窓Ωは、ブロックの外にある点にアクセスする必要がある（図９Ａに図示）。ＪＥＭでは、ブロックの外にあるＩ（ｋ）、∂Ｉ（ｋ）／∂ｘ、∂Ｉ（ｋ）／∂ｙの値は、ブロック内の最も近い利用可能な値に等しくセットされる。例えば、これは、図９Ｂに示されるように、パディングとして実施され得る。
【0044】
ＢＩＯによれば、動き場はサンプルごとに精緻化され得ることが可能である。計算複雑性を軽減するよう、ＢＩＯのブロックに基づく設計がＪＥＭでは使用される。動き精緻化は、４×４ブロックに基づいて計算される。ブロックに基づくＢＩＯでは、４×４ブロック内の全てのサンプルの式（９）中のｓｎの値は集計され、次いで、ｓｎの集計値は、４×４ブロックのＢＩＯ動きベクトルを導出するために使用される。より具体的に、次の式が、ブロックに基づくＢＩＯ導出のために使用される：
【数9】
【0045】
ここで、ｂｋは、予測されているブロックのｋ番目の４×４ブロックに属するサンプルの組を表し、式（７）及び式（８）中のｓｎは、関連する動きベクトルオフセットを導出するよう（（ｓｎ，ｂｋ）＞＞４）によって置換される。
【0046】
いくつかの場合に、ＢＩＯのＭＶレジメントは、ノイズ又は不規則な動きにより信頼できないことがある。そのため、ＭＶレジメントの大きさは、閾値ｔｈＢＩＯにクリップされる。閾値は、現在のピクチャの参照ピクチャが全て１方向からであるかどうかに基づいて決定される。現在のピクチャの全ての参照ピクチャが１方向からである場合には、閾値の値は１２×２１４－ｄにセットされ、そうでない場合には、それは１２×２１３－ｄにセットされる。
【0047】
ＢＩＯの勾配は、ＨＥＶＣ動き補償プロセス（二次元可分ＦＩＲ）と一致する動作を用いて動き補償補間と同時に計算される。この二次元可分ＦＩＲのための入力は、動き補償プロセスの場合と同じ参照フレームサンプルであり、ブロック動きベクトルの分数部分に応じた分数位置（ｆｒａｃＸ，ｆｒａｃＹ）である。水平勾配∂Ｉ／∂ｘの場合に、信号は、最初に、スケール除去シフトｄ－８で分数位置ｆｒａｃＹに対応するＢＩＯｆｉｌｔｅｒＳを用いて垂直に補間され、次いで、勾配フィルタＢＩＯｆｉｌｔｅｒＧが、１８－ｄによるスケール除去シフトで分数位置ｆｒａｃＸに対応する水平方向において適用される。垂直勾配∂Ｉ／∂ｙの場合に、最初に、勾配フィルタは、スケール除去シフトｄ－８で分数位置ｆｒａｃＹに対応するＢＩＯｆｉｌｔｅｒＧを用いて垂直に適用され、次いで、信号変位が、１８－ｄによるスケール除去シフトで分数位置ｆｒａｃＸに対応する水平方向においてＢＩＯｆｉｌｔｅｒＳを用いて実行される。勾配計算及び信号変位のための補間フィルタＢＩＯｆｉｌｔｅｒＧ、ＢＩＯｆｉｌｔｅｒＦの長さは、合理的な複雑さを保つために、より短い（６タップ）。表は、ＢＩＯにおいてブロック動きベクトルの異なる分数位置ごとに勾配計算に使用されるフィルタを示す。表は、ＢＩＯにおいて予測信号生成のために使用される補間フィルタを示す。
【表1】
【表2】
【0048】
ＪＥＭでは、ＢＩＯは、２つの予測が異なる参照ピクチャからである場合に、全ての双予測されたブロックに適用される。ＬＩＣがＣＵのために有効である場合に、ＢＩＯは無効にされる。
【0049】
ＪＥＭでは、ＯＢＭＣが、通常のＭＣプロセスの後でブロックに適用される。計算複雑性を軽減するよう、ＢＩＯは、ＯＢＭＣプロセス中に適用されない。これは、ＢＩＯが、ブロックのＭＣプロセスにおいて、それ自身のＭＣを使用する場合にのみ適用され、ＯＢＭＣプロセス中に隣接ブロックのＭＶが使用される場合にはＭＣプロセスにおいて適用されないことを意味する。
【0050】
２．５ ＦＲＵＣ
ＦＲＵＣフラグは、ＣＵについて、そのマージフラグが真である場合に伝送される。ＦＲＵＣフラグが偽である場合に、マージインデックスが伝送され、通常のマージモードが使用される。ＦＲＵＣフラグが真である場合には、どの方法（バイラテラルマッチング又はテンプレートマッチング）がブロックの動き情報を導出するために使用されるべきかを示すために、追加的なＦＲＵＣモードフラグが伝送される。
ＦＲＵＣフラグは、ＣＵについて、そのマージフラグが真である場合に伝送される。ＦＲＵＣフラグが偽である場合に、マージインデックスが伝送され、通常のマージモードが使用される。ＦＲＵＣフラグが真である場合には、どの方法（バイラテラルマッチング又はテンプレートマッチング）がブロックの動き情報を導出するために使用されるべきかを示すために、追加的なＦＲＵＣモードフラグが伝送される。
【0051】
エンコーダの側では、通常のマージ候補について行われるように、ＣＵのためにＦＲＵＣマージモードを使用することがＲＦコスト選択に基づくかどうかが決定される。すなわち、２つのマッチングモード（バイラテラルマッチング及びテンプレートマッチング）は両方とも、ＲＦコスト選択を使用することによってＣＵについてチェックされる。最低コストをもたらす１つが、他のＣＵモードと更に比較される。ＦＲＵＣマッチングモードが最も効率的なモードである場合に、ＦＲＵＣフラグは、そのＣＵについて真にセットされ、関連するマッチングモードが使用される。
【0052】
ＦＲＵＣマージモードにおける動き導出プロセスは２つのステップを有する。ＣＵレベル動き探索が最初に行われ、次いで、サブＣＵレベルの動き精緻化が続く。ＣＵレベルでは、バイラテラルマッチング又はテンプレートマッチングに基づいてＣＵ全体について初期動きベクトルが導出される。最初に、ＭＶ候補のリストが生成され、最低マッチングコストをもたらす候補が、更なるＣＵレベル精緻化のための開始点として選択される。次いで、開始点の周りのバイラテラルマッチング又はテンプレートマッチングに基づく局所探索が行われ、最低マッチングコストをもたらすＭＶが、ＣＵ全体のＭＶとなる。その後に、動き情報は、導出されたＣＵ動きベクトルを開始点として用いてサブＣＵレベルで更に精緻化される。
【0053】
例えば、次の導出プロセスが、Ｗ×ＨのＣＵの動き情報導出のために実行される。第１段階で、Ｗ×ＨのＣＵ全体のＭＶが導出される。第２段階で、ＣＵは、Ｍ×ＭのサブＣＵに更に分けられる。Ｍの値は、式（１３）で見られるように計算され、Ｄは、ＪＥＭではデフォルトで３にセットされる予め定義された分割デプスである。次いで、サブＣＵごとのＭＶが導出される。
【数10】
【0054】
図１０に示されるように、バイラテラルマッチングは、２つの異なる参照ピクチャにおいて現在のＣＵの動き軌跡に沿って２つのブロック間の最も近い一致を見つけることによって、現在のＣＵの動き情報を導出するために使用される。連続的な動き軌跡を仮定して、２つの参照ブロックを指す動きベクトルＭＶ０及びＭＶ１は、現在のピクチャと２つの参照ピクチャとの間の時間的距離、すなわち、ＴＤ０及びＴＤ１に比例するはずである。特別な場合として、現在のピクチャが時間的に２つの参照ピクチャの間にあり、現在のピクチャから２つの参照ピクチャまでの時間的距離が同じである場合に、バイラテラルマッチングは、ミラーに基づく双方向ＭＶになる。
【0055】
図１１に示されるように、テンプレートマッチングは、現在のピクチャにおけるテンプレート（現在のＣＵの上及び／又は左隣のブロック）と参照ピクチャにおけるブロック（テンプレートと同じサイズ）との間の最も近い一致を見つけることによって、現在のＣＵの動き情報を導出するために使用される。上記のＦＲＵＣマージモードを除いて、テンプレートマッチングは、ＡＭＶＰモードにも適用される。ＪＥＭでは、ＨＥＶＣで行われるように、ＡＭＶＰは２つの候補を有する。テンプレートマッチング法によれば、新しい候補が導出される。テンプレートマッチングによる新たに導出された候補が、最初に存在しているＡＭＶＰ候補と異なる場合には、それは、ＡＭＶＰ候補リストの初めに挿入され、次いで、リストサイズは２にセットされる（すなわち、２番目に存在するＡＭＶＰ候補を削除する）。ＡＭＶＰモードに適用される場合に、ＣＵレベル探索のみが適用される。
【0056】
［ＣＵレベルのＭＶ候補セット］
ＣＵレベルでのＭＶ候補セットは：
（ｉ）現在のＣＵがＡＭＶＰモードにある場合に、原ＡＭＶＰ候補、
（ｉｉ）全てのマージ候補、
（ｉｉｉ）補間されたＭＶ場におけるいくつかのＭＶ（後述される）、
（ｉｖ）上及び左隣の動きベクトル
から成る。
ＣＵレベルでのＭＶ候補セットは：
（ｉ）現在のＣＵがＡＭＶＰモードにある場合に、原ＡＭＶＰ候補、
（ｉｉ）全てのマージ候補、
（ｉｉｉ）補間されたＭＶ場におけるいくつかのＭＶ（後述される）、
（ｉｖ）上及び左隣の動きベクトル
から成る。
【0057】
バイラテラルマッチングを使用する場合に、マージ候補の夫々の有効なＭＶは、バイラテラルマッチングを仮定して、ＭＶ対を生成するために入力として使用される。例えば、マージ候補の１つの有効なＭＶは、参照リストＡで（ＭＶａ，ｒｅｆａ）である。次いで、その対となるバイラテラルＭＶの参照ピクチャｒｅｆｂは、ｒｅｆａ及びｒｅｆｂが時間的に現在のピクチャの異なる側にあるように、他の参照リストＢで見つけられる。そのようなｒｅｆｂが参照リストＢで利用可能でない場合に、ｒｅｆｂは、ｒｅｆａとは異なるリファレンスとして決定され、現在のピクチャまでのその時間的距離は、リストＢにおける最小距離になる。ｒｅｆｂが決定された後、ＭＶｂは、現在のピクチャとｒｅｆａ、ｒｅｆｂとの間の時間的距離に基づいてＭＶａをスケーリングすることによって導出される。
【0058】
補間されたＭＶ場からの４つのＭＶも、ＣＵレベル候補リストに加えられる。より具体的に、現在のＣＵの位置（０，０）、（Ｗ／２，０）、（０，Ｈ／２）及び（Ｗ／２，Ｈ／２）での補間されたＭＶが加えられる。
【0059】
ＦＲＵＣがＡＭＶＰモードで適用される場合に、原ＡＭＶＰ候補も、ＣＵレベルＭＶ候補セットに加えられる。
【0060】
ＣＵレベルでは、ＡＭＶＰ ＣＵの場合には最大１５個までのＭＶが、マージＣＵの場合には最大１３個までのＭＶが、候補リストに加えられる。
【0061】
［サブＣＵレベルのＭＶ候補セット］
サブＣＵレベルでのＭＶ候補セットは：
（ｉ）ＣＵレベル探索から決定されたＭＶ、
（ｉｉ）上、左、左上及び右上の隣接するＭＶ、
（ｉｉｉ）参照ピクチャからの同一位置ＭＶのスケーリングされたバージョン、
（ｉｖ）最大４個のＡＴＭＶＰ候補、
（ｖ）最大４個のＳＴＭＶＰ候補
から成る。
サブＣＵレベルでのＭＶ候補セットは：
（ｉ）ＣＵレベル探索から決定されたＭＶ、
（ｉｉ）上、左、左上及び右上の隣接するＭＶ、
（ｉｉｉ）参照ピクチャからの同一位置ＭＶのスケーリングされたバージョン、
（ｉｖ）最大４個のＡＴＭＶＰ候補、
（ｖ）最大４個のＳＴＭＶＰ候補
から成る。
【0062】
参照ピクチャからのスケーリングされたＭＶは、次のように導出される。両リスト内の全ての参照ピクチャはトラバースされる。参照ピクチャ内のサブＣＵの同一配置位置でのＭＶは、開始ＣＵレベルＭＶのリファレンスに合わせて調整される。
【0063】
ＡＴＭＶＰ及びＳＴＭＶＰ候補は、最初の４つの候補に限定される。
【0064】
サブＣＵレベルでは、最大１７個のＭＶが、候補リストに加えられる。
【0065】
［補間されたＭＶ場の生成］
フレームのコーディング前に、補間された動き場が、ユニラテラルＭＥに基づいてピクチャ全体について生成される。次いで、動き場は、ＣＵレベル又はサブＣＵレベルのＭＶ候補として後に使用されてよい。
フレームのコーディング前に、補間された動き場が、ユニラテラルＭＥに基づいてピクチャ全体について生成される。次いで、動き場は、ＣＵレベル又はサブＣＵレベルのＭＶ候補として後に使用されてよい。
【0066】
第１に、両参照リストにおける各参照ピクチャの動き場は、４×４ブロックレベルでトラバースされる。４×４のブロックごとに、現在のピクチャの４×４ブロックを通過するブロックに動きが関連付けられ、ブロックが如何なる補間された動きも割り当てられていない場合に、参照ブロックの動きは、時間的な距離ＴＤ０及びＴＤ１に従って現在のピクチャに合わせて調整され（ＨＥＶＣのＴＭＶＰのＭＶスケーリングと同じ方法）、スケーリングされた動きは、現在のフレーム内のブロックに割り当てられる。スケーリングされたＭＶが４×４ブロックに割り当てられない場合に、ブロックの動きは、補間された動き場で使用不可としてマークされる。
【0067】
［補間及びマッチングコスト］
動きベクトルが分数サンプル位置を指す場合に、動き補償された補間が必要とされる。複雑さを軽減するよう、通常の８タップＨＥＶＣ補間の代わりに、双線形補間が、バイラテラルマッチング及びテンプレートマッチングの両方のために使用される。
動きベクトルが分数サンプル位置を指す場合に、動き補償された補間が必要とされる。複雑さを軽減するよう、通常の８タップＨＥＶＣ補間の代わりに、双線形補間が、バイラテラルマッチング及びテンプレートマッチングの両方のために使用される。
【0068】
マッチングコストの計算は、異なるステップで少し異なる。ＣＵレベルでの候補セットから候補を選択する場合に、マッチングコストは、バイラテラルマッチング又はテンプレートマッチングのＳＡＤ（sum of absolute difference）である。開始ＭＶが決定された後、サブＣＵレベル探索でのバイラテラルマッチングのマッチングコストＣは、次のように計算される：
【数11】
【0069】
ここで、ｗは、経験的に４にセットされる重み係数であり、ＭＶ及びＭＶＳは、夫々、現在のＭＶ及び開始ＭＶを示す。ＳＡＤは、サブＣＵレベル探索でのテンプレートマッチングのマッチングコストとしても依然として使用される。
【0070】
ＦＲＵＣモードで、ＭＶは、ルーマサンプルのみを使用することによって導出される。導出された動きは、ＭＣインター予測のためにルーマ及びクロマの両方について使用される。ＭＶが決定された後、最終的なＭＣは、ルーマのための８タップ補間フィルタ及びクロマのための４タップ補間フィルタを用いて実行される。
【0071】
［ＭＶ精緻化］
ＭＶ精緻化は、バイラテラルマッチング又はテンプレートマッチングの基準によるパターンに基づくＭＶ探索である。ＪＥＭでは、２つの探索パターンがサポートされる。夫々ＣＵレベル及びサブＣＵレベルでのＭＶ精緻化のための制約なし中心バイアス化ダイヤモンド探索アルゴリズム（unrestricted center-biased diamond search，ＵＣＢＤＳ）及び適応横断探索（adaptive cross search）である。ＣＵレベル及びサブＣＵレベルの両方の精緻化のために、ＭＶは、４分の１ルーマサンプルＭＶ精度で直接探索され、この後に、８分の１ルーマサンプルＭＶ精緻化が続く。ＣＵ及びサブＣＵステップのためのＭＶ精緻化の探索範囲は、８個のルーマサンプルに等しくセットされる。
ＭＶ精緻化は、バイラテラルマッチング又はテンプレートマッチングの基準によるパターンに基づくＭＶ探索である。ＪＥＭでは、２つの探索パターンがサポートされる。夫々ＣＵレベル及びサブＣＵレベルでのＭＶ精緻化のための制約なし中心バイアス化ダイヤモンド探索アルゴリズム（unrestricted center-biased diamond search，ＵＣＢＤＳ）及び適応横断探索（adaptive cross search）である。ＣＵレベル及びサブＣＵレベルの両方の精緻化のために、ＭＶは、４分の１ルーマサンプルＭＶ精度で直接探索され、この後に、８分の１ルーマサンプルＭＶ精緻化が続く。ＣＵ及びサブＣＵステップのためのＭＶ精緻化の探索範囲は、８個のルーマサンプルに等しくセットされる。
【0072】
［テンプレートマッチングＦＲＵＣマージモードでの予測方向の選択］
バイラテラルマッチングマージモードでは、ＣＵの動き情報が、２つの異なる参照ピクチャにおける現在のＣＵの動き軌跡に沿った２つのブロック間の最も近い一致に基づき導出されるので、双予測が常に適用される。テンプレートマッチングマージモード場合には、そのような制限はない。テンプレートマッチングマージモードでは、エンコーダは、ＣＵのためにリスト０からの片予測（uni-prediction）、リスト１からの片予測、又は双予測から選択することができる。選択は、次のように、テンプレートマッチングコストに基づく：
ｃｏｓｔＢｉ≦ｆａｃｔｏｒ×ｍｉｎ（ｃｏｓｔ０，ｃｏｓｔ１）の場合、
双予測が使用される；
そうではなく、ｃｏｓｔ０≦ｃｏｓｔ１の場合、
リスト０からの片予測が使用される；
上記以外の場合、
リスト１からの片予測が使用される。
バイラテラルマッチングマージモードでは、ＣＵの動き情報が、２つの異なる参照ピクチャにおける現在のＣＵの動き軌跡に沿った２つのブロック間の最も近い一致に基づき導出されるので、双予測が常に適用される。テンプレートマッチングマージモード場合には、そのような制限はない。テンプレートマッチングマージモードでは、エンコーダは、ＣＵのためにリスト０からの片予測（uni-prediction）、リスト１からの片予測、又は双予測から選択することができる。選択は、次のように、テンプレートマッチングコストに基づく：
ｃｏｓｔＢｉ≦ｆａｃｔｏｒ×ｍｉｎ（ｃｏｓｔ０，ｃｏｓｔ１）の場合、
双予測が使用される；
そうではなく、ｃｏｓｔ０≦ｃｏｓｔ１の場合、
リスト０からの片予測が使用される；
上記以外の場合、
リスト１からの片予測が使用される。
【0073】
ｃｏｓｔ０は、リスト０のテンプレートマッチングのＳＡＤであり、ｃｏｓｔ１は、リスト１のテンプレートマッチングのＳＡＤであり、ｃｏｓｔＢｉは、双予測のテンプレートマッチングのＳＡＤである。ｆａｃｔｏｒの値は１．２５に等しく、すなわち、選択プロセスは双予測の方に偏っている。
【0074】
インター予測方向選択は、ＣＵレベルのテンプレートマッチングプロセスにのみ適用される。
【0075】
［織り込み予測の例］
織り込み予測（interweaved prediction）によれば、ブロックは、１つよりも多い分割パターンによりサブブロックに分けられる。分割パターンは、サブブロックのサイズ及びサブブロックの位置を含む、ブロックをサブブロックに分ける方法として定義される。分割パターンごとに、対応する予測ブロックは、分割パターンに基づいて各サブブロックの動き情報を導出することによって生成され得る。従って、１つの予測方向についてさえ、複数の予測ブロックが、多数の分割パターンによって生成され得る。代替的に、予測方向ごとに、ただ１つの分割パターンしか適用されなくてもよい。
織り込み予測（interweaved prediction）によれば、ブロックは、１つよりも多い分割パターンによりサブブロックに分けられる。分割パターンは、サブブロックのサイズ及びサブブロックの位置を含む、ブロックをサブブロックに分ける方法として定義される。分割パターンごとに、対応する予測ブロックは、分割パターンに基づいて各サブブロックの動き情報を導出することによって生成され得る。従って、１つの予測方向についてさえ、複数の予測ブロックが、多数の分割パターンによって生成され得る。代替的に、予測方向ごとに、ただ１つの分割パターンしか適用されなくてもよい。
【0076】
Ｘ個の分割パターンが存在し、Ｐ０，Ｐ１，・・・，ＰＸ－１と表される現在のブロックのＸ個の予測ブロックが、Ｘ個の分割パターンを用いて、サブブロックに基づく予測によって生成されるとする。Ｐと表される現在のブロックの最終的な予測は：
として生成され得る。
【数12】
【0077】
ここで、（ｘ，ｙ）は、ブロック内のピクセルの座標であり、ｗｉ（ｘ，ｙ）は、Ｐｉの重み値である。一般性を失わずに、
であることが考えられ、ここで、Ｎは非負値である。図１３は、２つの分割パターンによる織り込み予測の例を示す。
【数13】
【0078】
３．記載される実施形態によって解決される課題の例
図５に示されるようにアフィンマージＭＶ導出プロセスには２つの潜在的な欠点がある。
図５に示されるようにアフィンマージＭＶ導出プロセスには２つの潜在的な欠点がある。
【0079】
第１に、ＣＵの左上の点の座標及びＣＵのサイズは、ＣＵに属する各４×４ブロックによって保持されるべきである。この情報は、ＨＥＶＣでは保持されるよう求められない。
【0080】
第２に、デコーダは、現在のＣＵに隣接しない４×４ブロックのＭＶにアクセスしなければならない。ＨＥＶＣでは、デコーダは、現在のＣＵに隣接する４×４ブロックのＭＶにアクセスしさえすればよい。
【0081】
４．実施形態の例
織り込み予測及びアフィンマージＭＶ導出プロセスを含むサブブロックに基づく予測を更に改善するいくつかの方法を提案する。
織り込み予測及びアフィンマージＭＶ導出プロセスを含むサブブロックに基づく予測を更に改善するいくつかの方法を提案する。
【0082】
以下の技術及び実施形態の列挙は、一般概念を説明するための例と考えられるべきである。更に、それらの技術は、ビデオ符号化中に、又は相応して符号化プロセス中に、一緒に動作するよう組み合わされ得る。留意すべきは、ここで、「符号化」との語は、非圧縮フォーマットでのソースビデオが他の符号化フォーマットに符号化される「トランスコーディング」を含む点である。
【0083】
サブブロックのＭＶ導出
１．一実施形態で、サブブロックのＭＶは、そのサブブロックの中心について導出される。
ａ．代替的に、サブブロックのＭＶは、そのサブブロック内の如何なる位置についても導出され、その位置は、サブブロックの中心になくてもよい。
ｂ．代替的に、ＭＶが導出される位置は、サブブロックごとに異なってよい。（位置は、各サブブロックに関連する。）
ｃ．ＭＶが導出される位置は、サブブロックの配置に依存してよい。図１４は例を示す。
ｄ．Ｍ×Ｎによってサブブロックを表す。このとき、中心位置は（（Ｍ＞＞１）＋ａ）×（（Ｎ＞＞１）＋ｂ）と表すことができ、ａ、ｂは０又は－１である。
１．一実施形態で、サブブロックのＭＶは、そのサブブロックの中心について導出される。
ａ．代替的に、サブブロックのＭＶは、そのサブブロック内の如何なる位置についても導出され、その位置は、サブブロックの中心になくてもよい。
ｂ．代替的に、ＭＶが導出される位置は、サブブロックごとに異なってよい。（位置は、各サブブロックに関連する。）
ｃ．ＭＶが導出される位置は、サブブロックの配置に依存してよい。図１４は例を示す。
ｄ．Ｍ×Ｎによってサブブロックを表す。このとき、中心位置は（（Ｍ＞＞１）＋ａ）×（（Ｎ＞＞１）＋ｂ）と表すことができ、ａ、ｂは０又は－１である。
【0084】
図１４は、異なるサブブロックごとにＭＶを導出するための異なる位置の例を示す。星は位置を表す。明らかなように、様々な異なる位置が、ＭＶ導出のために使用されてよい。
【0085】
効率的なアフィンマージＭＶ導出
２．一実施形態で、制御点でのＭＶ（例えば、左上の点でのｍｖ０及び右上の点でのｍｖ１）は、アフィンマージＭＶ導出プロセスにおいて、隣接する近傍ブロックの情報によってのみ導出される。一例において、隣接するＣＵのサイズ及び左上の点の座標、並びに現在のＣＵに隣接しない４×４ブロックのＭＶは、アフィンマージモードにより現在のＣＵのＭＶを導出するために必要とされない。
ａ．一実施形態で、アフィンパラメータ（例えば、式（１）中の４パラメータアフィンモードのためのａ、ｂ、ｃ及びｄ）は、アフィンモード（アフィンインターモード及びアフィンマージモードを含む）でコーディングされた各ブロックにおいて保持される。
ｉ．ブロックがアフィンマージモードでコーディングされる場合に、それは、アフィンモードでコーディングされた隣接ブロックからの４つのパラメータを引き継ぐ。
ｉｉ．一例において、４つのパラメータは、リスト０及びリスト１について異なっている。
ｉｉｉ．一例において、両方の参照ピクチャリストのパラメータが保持されてよい。代替的に、ひと組のアフィンパラメータしか、双予測のためでさえ保持されなくてもよい。代替的に、多重仮説（multiple hypothesis）の場合に、２組のアフィンパラメータが保持され、各１つが、双予測のための１つの参照ピクチャリストに対応する。
ｂ．一実施形態で、ひと組のアフィンパラメータの一部（例えば、４パラメータアフィンのための式（１）中の２つのパラメータ（ａ及びｂ））のみが、アフィンモード（アフィンインターモード及びアフィンマージモードを含む）でコーディングされた各ブロックにおいて保持される。ブロックがアフィンマージモードでコーディングされる場合に、それは、アフィンモードでコーディングされた隣接ブロックから、保持されている一部のパラメータを引き継ぐ。
ｉ．一例において、異なる参照ピクチャ又は異なる参照ピクチャリストは、全ての関連する一部のアフィンパラメータを保持してよい。
ｉｉ．２つのパラメータは、リスト０及びリスト１について異なっている。
ｃ．一実施形態で、式（１）中のｖ０ｘ及びｖ０ｙ（ｃ及びｄとも表される）は、現在のブロックの左上角に隣接するブロックから導出される。次の例では、現在のブロックは、アフィンモードでコーディングされた隣接ブロックＧにマージされることが考えられる。
ｉ．一例において、図１５に示される３つの隣接ブロックＲ、Ｓ及びＴは、（ｖ０ｘ，ｖ０ｙ）を導出するために使用される。３つのブロックにおけるＭＶは、ＭＶ（Ｒ）、ＭＶ（Ｓ）及びＭＶ（Ｔ）と表記される。
（ａ）一例において、（ｖ０ｘ，ｖ０ｙ）は、Ｘがインターコーディングされる場合に、ＭＶ（Ｘ）に等しくセットされる（ＸはＲ、Ｓ又はＴであることができる）。
（ｂ）一例において、（ｖ０ｘ，ｖ０ｙ）は、Ｒ、Ｓ及びＴがインターコーディングされる場合に、ＭＶ（Ｒ）、ＭＶ（Ｓ）及びＭＶ（Ｔ）の平均に等しくセットされる。
（ｃ）一例において、（ｖ０ｘ，ｖ０ｙ）は、Ｘ及びＹがインターコーディングされる場合に、ＭＶ（Ｘ）及びＭＶ（Ｙ）の平均に等しくセットされる（Ｘ及びＹはＲ、Ｓ又はＴであることができる）。
（ｄ）一例において、（ｖ０ｘ，ｖ０ｙ）は、ＭＶ（Ｘ）に等しくセットされ、ＭＶ（Ｘ）は、ブロックＧの同じリファレンスを参照する。
ｉｉ．一例において、（ｖ０ｘ，ｖ０ｙ）は、時間的隣接ブロックのＭＶから導出される。
ｉｉｉ．一例において、（ｖ０ｘ，ｖ０ｙ）は、ブロックＧのリファレンスに合わせて調整される。
ｄ．一実施形態で、アフィンマージモードでコーディングされたブロックのＭＶは、アフィンモードでコーディングされたＳ（４パラメータアフィンモードの場合にＳ＝２、６パラメータアフィンモードの場合にＳ＝３）個の左隣のブロックから導出される。図１６Ａは、例を示す。Ｌ０及びＬ１は、アフィンモードでコーディングされた２つの左隣のブロックである。Δは、２つの左隣のブロック間の距離である。２つのブロックの動きベクトルは、夫々（ｍｖＬ０ ｘ，ｍｖＬ０ ｙ）及び（ｍｖＬ１ ｘ，ｍｖＬ１ ｙ）である。（ｍｖ０ ｘ、ｍｖ０ ｙ）は、式（１）中の現在のブロックの左上制御点でのＭＶ（別名、（ｖ０ｘ，ｖ０ｙ））である。２つのブロックの１つ（例えば、Ｌ０）と左上制御点との間のｙ距離は、Φと表記される。留意されるべきは、距離は、ブロックの上、真ん中、又は下から測定され得る点である。図１６Ａでは、それは下から測定されている。
ｉ．一例において、式（１）中のａ及びｂは、ａ＝（ｍｖＬ１ ｙ－ｍｖＬ０ ｙ）／Δ、ｂ＝（ｍｖＬ１ ｘ－ｍｖＬ０ ｘ）／Δとして導出され得る。
ｉｉ．Δは固定数であることができる。
（ａ）それは、１、４、８、１６などの２Ｎの形をとることができる。この場合に、上記のａ及びｂを計算するための除算演算は、シフト演算として実施され得る。
ｉｉｉ．Δは、ブロックの高さに応じた数であることができる。
ｉｖ．Δは、Ｌ０とＬ１との間の全ての左隣のブロック（Ｌ０及びＬ１の両方を含む）がアフィンモードでコーディングされ、同じ参照ピクチャを共有することを満足する最大長さとして導出され得る。
ｖ．（ｍｖ０ ｘ、ｍｖ０ ｙ）は、ｍｖ０ ｘ＝ｍｖＬ０ ｘ＋ｂΦ、ｍｖ０ ｙ＝ｍｖＬ０ ｙ－ａΦとして導出され得る。
ｖｉ．ΦがＬ１と左上制御点との間のｙ距離である場合に、（ｍｖ０ ｘ、ｍｖ０ ｙ）は、ｍｖ０ ｘ＝ｍｖＬ１ ｘ＋ｂΦ、ｍｖ０ ｙ＝ｍｖＬ１ ｙ－ａΦとして導出され得る。
ｅ．一実施形態で、アフィンマージモードでコーディングされたブロックのＭＶは、アフィンモードでコーディングされたＳ（４パラメータアフィンモードの場合にＳ＝２、６パラメータアフィンモードの場合にＳ＝３）個の上隣のブロックから導出される。図１６Ｂは、例を示す。Ｔ０及びＴ１は、アフィンモードでコーディングされた２つの上隣のブロックである。Δは、２つの上隣のブロック間の距離である。２つのブロックの動きベクトルは、夫々（ｍｖＴ０ ｘ，ｍｖＴ０ ｙ）及び（ｍｖＴ１ ｘ，ｍｖＴ１ ｙ）である。（ｍｖ０ ｘ、ｍｖ０ ｙ）は、式（１）中の現在のブロックの左上制御点でのＭＶ（別名、（ｖ０ｘ，ｖ０ｙ））である。２つのブロックの１つ（例えば、Ｔ０）と左上制御点との間のｘ距離は、Φと表記される。留意されるべきは、距離は、ブロックの左、真ん中、又は右から測定され得る点である。図１６Ｂでは、それは右から測定されている。
ｉ．一例において、式（１）中のａ及びｂは、ａ＝（ｍｖＴ１ ｙ－ｍｖＴ０ ｙ）／Δ、ｂ＝（ｍｖＴ１ ｘ－ｍｖＴ０ ｘ）／Δとして導出され得る。
ｉｉ．Δは固定数であることができる。
（ａ）それは、１、４、８、１６などの２Ｎの形をとることができる。この場合に、上記のａ及びｂを計算するための除算演算は、シフト演算として実施され得る。
ｉｉｉ．Δは、ブロックの高さに応じた数であることができる。
ｉｖ．Δは、Ｔ０とＴ１との間の全ての上隣のブロック（Ｔ０及びＴ１の両方を含む）がアフィンモードでコーディングされ、同じ参照ピクチャを共有することを満足する最大長さとして導出され得る。
ｖ．（ｍｖ０ ｘ、ｍｖ０ ｙ）は、ｍｖ０ ｘ＝ｍｖＴ０ ｘ－ａΦ、ｍｖ０ ｙ＝ｍｖＴ０ ｙ－ｂΦとして導出され得る。
ｖｉ．ΦがＴ１と左上制御点との間のｘ距離である場合に、（ｍｖ０ ｘ、ｍｖ０ ｙ）は、ｍｖ０ ｘ＝ｍｖＴ１ ｘ－ａΦ、ｍｖ０ ｙ＝ｍｖＴ１ ｙ－ｂΦとして導出され得る。
２．一実施形態で、制御点でのＭＶ（例えば、左上の点でのｍｖ０及び右上の点でのｍｖ１）は、アフィンマージＭＶ導出プロセスにおいて、隣接する近傍ブロックの情報によってのみ導出される。一例において、隣接するＣＵのサイズ及び左上の点の座標、並びに現在のＣＵに隣接しない４×４ブロックのＭＶは、アフィンマージモードにより現在のＣＵのＭＶを導出するために必要とされない。
ａ．一実施形態で、アフィンパラメータ（例えば、式（１）中の４パラメータアフィンモードのためのａ、ｂ、ｃ及びｄ）は、アフィンモード（アフィンインターモード及びアフィンマージモードを含む）でコーディングされた各ブロックにおいて保持される。
ｉ．ブロックがアフィンマージモードでコーディングされる場合に、それは、アフィンモードでコーディングされた隣接ブロックからの４つのパラメータを引き継ぐ。
ｉｉ．一例において、４つのパラメータは、リスト０及びリスト１について異なっている。
ｉｉｉ．一例において、両方の参照ピクチャリストのパラメータが保持されてよい。代替的に、ひと組のアフィンパラメータしか、双予測のためでさえ保持されなくてもよい。代替的に、多重仮説（multiple hypothesis）の場合に、２組のアフィンパラメータが保持され、各１つが、双予測のための１つの参照ピクチャリストに対応する。
ｂ．一実施形態で、ひと組のアフィンパラメータの一部（例えば、４パラメータアフィンのための式（１）中の２つのパラメータ（ａ及びｂ））のみが、アフィンモード（アフィンインターモード及びアフィンマージモードを含む）でコーディングされた各ブロックにおいて保持される。ブロックがアフィンマージモードでコーディングされる場合に、それは、アフィンモードでコーディングされた隣接ブロックから、保持されている一部のパラメータを引き継ぐ。
ｉ．一例において、異なる参照ピクチャ又は異なる参照ピクチャリストは、全ての関連する一部のアフィンパラメータを保持してよい。
ｉｉ．２つのパラメータは、リスト０及びリスト１について異なっている。
ｃ．一実施形態で、式（１）中のｖ０ｘ及びｖ０ｙ（ｃ及びｄとも表される）は、現在のブロックの左上角に隣接するブロックから導出される。次の例では、現在のブロックは、アフィンモードでコーディングされた隣接ブロックＧにマージされることが考えられる。
ｉ．一例において、図１５に示される３つの隣接ブロックＲ、Ｓ及びＴは、（ｖ０ｘ，ｖ０ｙ）を導出するために使用される。３つのブロックにおけるＭＶは、ＭＶ（Ｒ）、ＭＶ（Ｓ）及びＭＶ（Ｔ）と表記される。
（ａ）一例において、（ｖ０ｘ，ｖ０ｙ）は、Ｘがインターコーディングされる場合に、ＭＶ（Ｘ）に等しくセットされる（ＸはＲ、Ｓ又はＴであることができる）。
（ｂ）一例において、（ｖ０ｘ，ｖ０ｙ）は、Ｒ、Ｓ及びＴがインターコーディングされる場合に、ＭＶ（Ｒ）、ＭＶ（Ｓ）及びＭＶ（Ｔ）の平均に等しくセットされる。
（ｃ）一例において、（ｖ０ｘ，ｖ０ｙ）は、Ｘ及びＹがインターコーディングされる場合に、ＭＶ（Ｘ）及びＭＶ（Ｙ）の平均に等しくセットされる（Ｘ及びＹはＲ、Ｓ又はＴであることができる）。
（ｄ）一例において、（ｖ０ｘ，ｖ０ｙ）は、ＭＶ（Ｘ）に等しくセットされ、ＭＶ（Ｘ）は、ブロックＧの同じリファレンスを参照する。
ｉｉ．一例において、（ｖ０ｘ，ｖ０ｙ）は、時間的隣接ブロックのＭＶから導出される。
ｉｉｉ．一例において、（ｖ０ｘ，ｖ０ｙ）は、ブロックＧのリファレンスに合わせて調整される。
ｄ．一実施形態で、アフィンマージモードでコーディングされたブロックのＭＶは、アフィンモードでコーディングされたＳ（４パラメータアフィンモードの場合にＳ＝２、６パラメータアフィンモードの場合にＳ＝３）個の左隣のブロックから導出される。図１６Ａは、例を示す。Ｌ０及びＬ１は、アフィンモードでコーディングされた２つの左隣のブロックである。Δは、２つの左隣のブロック間の距離である。２つのブロックの動きベクトルは、夫々（ｍｖＬ０ ｘ，ｍｖＬ０ ｙ）及び（ｍｖＬ１ ｘ，ｍｖＬ１ ｙ）である。（ｍｖ０ ｘ、ｍｖ０ ｙ）は、式（１）中の現在のブロックの左上制御点でのＭＶ（別名、（ｖ０ｘ，ｖ０ｙ））である。２つのブロックの１つ（例えば、Ｌ０）と左上制御点との間のｙ距離は、Φと表記される。留意されるべきは、距離は、ブロックの上、真ん中、又は下から測定され得る点である。図１６Ａでは、それは下から測定されている。
ｉ．一例において、式（１）中のａ及びｂは、ａ＝（ｍｖＬ１ ｙ－ｍｖＬ０ ｙ）／Δ、ｂ＝（ｍｖＬ１ ｘ－ｍｖＬ０ ｘ）／Δとして導出され得る。
ｉｉ．Δは固定数であることができる。
（ａ）それは、１、４、８、１６などの２Ｎの形をとることができる。この場合に、上記のａ及びｂを計算するための除算演算は、シフト演算として実施され得る。
ｉｉｉ．Δは、ブロックの高さに応じた数であることができる。
ｉｖ．Δは、Ｌ０とＬ１との間の全ての左隣のブロック（Ｌ０及びＬ１の両方を含む）がアフィンモードでコーディングされ、同じ参照ピクチャを共有することを満足する最大長さとして導出され得る。
ｖ．（ｍｖ０ ｘ、ｍｖ０ ｙ）は、ｍｖ０ ｘ＝ｍｖＬ０ ｘ＋ｂΦ、ｍｖ０ ｙ＝ｍｖＬ０ ｙ－ａΦとして導出され得る。
ｖｉ．ΦがＬ１と左上制御点との間のｙ距離である場合に、（ｍｖ０ ｘ、ｍｖ０ ｙ）は、ｍｖ０ ｘ＝ｍｖＬ１ ｘ＋ｂΦ、ｍｖ０ ｙ＝ｍｖＬ１ ｙ－ａΦとして導出され得る。
ｅ．一実施形態で、アフィンマージモードでコーディングされたブロックのＭＶは、アフィンモードでコーディングされたＳ（４パラメータアフィンモードの場合にＳ＝２、６パラメータアフィンモードの場合にＳ＝３）個の上隣のブロックから導出される。図１６Ｂは、例を示す。Ｔ０及びＴ１は、アフィンモードでコーディングされた２つの上隣のブロックである。Δは、２つの上隣のブロック間の距離である。２つのブロックの動きベクトルは、夫々（ｍｖＴ０ ｘ，ｍｖＴ０ ｙ）及び（ｍｖＴ１ ｘ，ｍｖＴ１ ｙ）である。（ｍｖ０ ｘ、ｍｖ０ ｙ）は、式（１）中の現在のブロックの左上制御点でのＭＶ（別名、（ｖ０ｘ，ｖ０ｙ））である。２つのブロックの１つ（例えば、Ｔ０）と左上制御点との間のｘ距離は、Φと表記される。留意されるべきは、距離は、ブロックの左、真ん中、又は右から測定され得る点である。図１６Ｂでは、それは右から測定されている。
ｉ．一例において、式（１）中のａ及びｂは、ａ＝（ｍｖＴ１ ｙ－ｍｖＴ０ ｙ）／Δ、ｂ＝（ｍｖＴ１ ｘ－ｍｖＴ０ ｘ）／Δとして導出され得る。
ｉｉ．Δは固定数であることができる。
（ａ）それは、１、４、８、１６などの２Ｎの形をとることができる。この場合に、上記のａ及びｂを計算するための除算演算は、シフト演算として実施され得る。
ｉｉｉ．Δは、ブロックの高さに応じた数であることができる。
ｉｖ．Δは、Ｔ０とＴ１との間の全ての上隣のブロック（Ｔ０及びＴ１の両方を含む）がアフィンモードでコーディングされ、同じ参照ピクチャを共有することを満足する最大長さとして導出され得る。
ｖ．（ｍｖ０ ｘ、ｍｖ０ ｙ）は、ｍｖ０ ｘ＝ｍｖＴ０ ｘ－ａΦ、ｍｖ０ ｙ＝ｍｖＴ０ ｙ－ｂΦとして導出され得る。
ｖｉ．ΦがＴ１と左上制御点との間のｘ距離である場合に、（ｍｖ０ ｘ、ｍｖ０ ｙ）は、ｍｖ０ ｘ＝ｍｖＴ１ ｘ－ａΦ、ｍｖ０ ｙ＝ｍｖＴ１ ｙ－ｂΦとして導出され得る。
【0086】
図１６Ａ及び１６Ｂは、アフィンモードでコーディングされた左隣のブロックから（図１６Ａ）又はアフィンモードでコーディングされた上隣のブロックから（図１６Ｂ）アフィンマージモードのＭＶを導出する例を示す。
ｆ．アフィンマージモードでコーディングされたブロックのＭＶは、アフィンモードでコーディングされた非隣接ブロックから導出されてよい。
ｇ．アフィンマージモードでコーディングされたブロックのＭＶを導出するためにどの隣接ブロックが使用されるかは、ブロック形状に依存し得る。
ｉ．サイズがＭ×Ｎ（Ｍ＞Ｎ）であるブロックの場合に、アフィンマージモードでコーディングされたブロックのＭＶは、アフィンモードでコーディングされた上隣のブロックから導出される。
ｉｉ．サイズがＭ×Ｎ（Ｍ＜Ｎ）であるブロックの場合に、アフィンマージモードでコーディングされたブロックのＭＶは、アフィンモードでコーディングされた左隣のブロックから導出される。
ｉｉｉ．サイズがＭ×Ｎ（Ｍ＝Ｎ）であるブロックの場合に、アフィンマージモードでコーディングされたブロックのＭＶは、現在のブロックの左上角に隣接するブロックから導出される。
３．一実施形態で、隣接ブロックからのアフィンマージ候補が妥当なアフィンマージ候補であるかどうかは、隣接ブロックの配置に依存する。
ａ．一例において、隣接ブロックからのアフィンマージ候補は、隣接ブロックが現在のＣＴＵ（Coding Tree Unit）とは異なるＣＴＵ（例えば、最大ＣＵ（ＬＣＵ））に属する場合に、妥当でないとして扱われる（マージ候補リストに入れられない）。
ｂ．代替的に、隣接ブロックからのアフィンマージ候補は、隣接ブロックが、図１７に示されるように、現在のＣＴＵラインとは異なるＣＵＴラインに属する場合に、妥当でないとして扱われる（マージ候補リストに入れられない）。
ｃ．代替的に、隣接ブロックからのアフィンマージ候補は、隣接ブロックがスライスとは異なるスライスに属する場合に、妥当でないとして扱われる（マージ候補リストに入れられない）。
ｄ．代替的に、隣接ブロックからのアフィンマージ候補は、隣接ブロックがタイルとは異なるタイルに属する場合に、妥当でないとして扱われる（マージ候補リストに入れられない）。
ｆ．アフィンマージモードでコーディングされたブロックのＭＶは、アフィンモードでコーディングされた非隣接ブロックから導出されてよい。
ｇ．アフィンマージモードでコーディングされたブロックのＭＶを導出するためにどの隣接ブロックが使用されるかは、ブロック形状に依存し得る。
ｉ．サイズがＭ×Ｎ（Ｍ＞Ｎ）であるブロックの場合に、アフィンマージモードでコーディングされたブロックのＭＶは、アフィンモードでコーディングされた上隣のブロックから導出される。
ｉｉ．サイズがＭ×Ｎ（Ｍ＜Ｎ）であるブロックの場合に、アフィンマージモードでコーディングされたブロックのＭＶは、アフィンモードでコーディングされた左隣のブロックから導出される。
ｉｉｉ．サイズがＭ×Ｎ（Ｍ＝Ｎ）であるブロックの場合に、アフィンマージモードでコーディングされたブロックのＭＶは、現在のブロックの左上角に隣接するブロックから導出される。
３．一実施形態で、隣接ブロックからのアフィンマージ候補が妥当なアフィンマージ候補であるかどうかは、隣接ブロックの配置に依存する。
ａ．一例において、隣接ブロックからのアフィンマージ候補は、隣接ブロックが現在のＣＴＵ（Coding Tree Unit）とは異なるＣＴＵ（例えば、最大ＣＵ（ＬＣＵ））に属する場合に、妥当でないとして扱われる（マージ候補リストに入れられない）。
ｂ．代替的に、隣接ブロックからのアフィンマージ候補は、隣接ブロックが、図１７に示されるように、現在のＣＴＵラインとは異なるＣＵＴラインに属する場合に、妥当でないとして扱われる（マージ候補リストに入れられない）。
ｃ．代替的に、隣接ブロックからのアフィンマージ候補は、隣接ブロックがスライスとは異なるスライスに属する場合に、妥当でないとして扱われる（マージ候補リストに入れられない）。
ｄ．代替的に、隣接ブロックからのアフィンマージ候補は、隣接ブロックがタイルとは異なるタイルに属する場合に、妥当でないとして扱われる（マージ候補リストに入れられない）。
【0087】
図１７は、異なるＣＴＵラインに属する現在のブロック及び隣接ブロックの例を示す。この例では、隣接ブロックからのアフィンマージ候補は、隣接ブロックが現在のＣＴＵラインとは異なるＣＴＵラインに属する場合に、妥当でないとして扱われる（マージ候補リストに入れられない）。
【0088】
［織り込み予測の例］
図１８は、開示される技術に従って、２つの分割パターンによる織り込み予測の例を示す。現在のブロック１３００は、複数のパターンに分割され得る。例えば、図１８に示されるように、現在のブロックは、パターン０（１３０１）及びパターン１（１３０２）の両方に分割される。２つの予測ブロックＰ０（１３０３）及びＰ１（１３０４）が生成される。現在のブロック１３００の最終的な予測ブロックＰ（１３０５）は、Ｐ０（１３０３）及びＰ１（１３０４）の加重和を計算することによって生成され得る。
図１８は、開示される技術に従って、２つの分割パターンによる織り込み予測の例を示す。現在のブロック１３００は、複数のパターンに分割され得る。例えば、図１８に示されるように、現在のブロックは、パターン０（１３０１）及びパターン１（１３０２）の両方に分割される。２つの予測ブロックＰ０（１３０３）及びＰ１（１３０４）が生成される。現在のブロック１３００の最終的な予測ブロックＰ（１３０５）は、Ｐ０（１３０３）及びＰ１（１３０４）の加重和を計算することによって生成され得る。
【0089】
より一般的には、Ｘ個の分割パターンを考えると、Ｐ０，Ｐ１，・・・ＰＸ－１と表される現在のブロックのＸ個の予測ブロックが、Ｘ個の分割パターンを用いて、サブブロックに基づく予測によって生成され得る。Ｐと表される現在のブロックの最終的な予測は：
として生成され得る。
【数14】
【0090】
ここで、（ｘ，ｙ）は、ブロック内のピクセルの座標であり、ｗｉ（ｘ，ｙ）は、Ｐｉの重み値である。一例として、制限なしに、重みは：
と表現され得る。
【数15】
【0091】
Ｎは非負値である。代替的に、式（１６）のビットシフト演算は：
とも表現され得る。
【数16】
【0092】
２の累乗である重みの和は、浮動小数点除算の代わりにビットシフト演算を行うことによって、加重和Ｐのより効率的な計算を可能にする。
【0093】
分割パターンは、サブブロックの異なる形状、又はサイズ、又は位置を有することができる。いくつかの実施形態で、分割パターンは、不規則なサブブロックサイズを含んでもよい。図１９Ａ～Ｇは、１６×１６ブロックの分割パターンのいくつかの例を示す。図１９Ａで、ブロックは、開示されている技術に従って４×４サブブロックに分けられる。このパターンは、ＪＥＭでも使用される。図１９Ｂは、開示されている技術に従って、８×８サブブロックに分けられるブロックの例を示す。図１９Ｃは、開示されている技術に従って４×８サブブロックに分けられるブロックの例を示す。図１９Ｄは、開示されている技術に従って８×４サブブロックに分けられるブロックの例を示す。図１９Ｅでは、ブロックの一部が、開示されている技術に従って４×４サブブロックに分けられる。ブロック境界にあるピクセルは、２×４、４×２又は２×２のようなサイズを有するより小さいサブブロックにおいて分けられる。いくつかのサブブロックは、より大きいサブブロックを形成するようマージされてよい。図１９Ｆは、６×４、４×６又は６×６のようなサイズを有するより大きいサブブロックを形成するようマージされる、４×４サブブロック及び２×４サブブロックのような隣接サブブロックの例を示す。図１９Ｇでは、ブロックの一部が、８×８サブブロックに分けられる。ブロック境界にあるピクセルは、代わりに、８×４、４×８又は４×４のようなサイズを有するより小さいサブブロックにおいて分けられる。
【0094】
サブブロックに基づく予測におけるサブブロックの形状及びサイズは、コーディングブロックの形状及び／又はサイズ、及び／又はコーディングされたブロックの情報に基づいて、決定され得る。例えば、いくつかの実施形態で、サブブロックは、現在のブロックがＭ×Ｎのサイズを有する場合に、４×Ｎ（又は８×Ｎなど）のサイズを有する。すなわち、サブブロックは、現在のブロックと同じ高さを有する。いくつかの実施形態で、サブブロックは、現在のブロックがＭ×Ｎのサイズを有する場合に、Ｍ×４（又はＭ×８など）のサイズを有する。すなわち、サブブロックは、現在のブロックと同じ幅を有する。いくつかの実施形態で、サブブロックは、現在のブロックがＭ×Ｎ（Ｍ＞Ｎ）のサイズを有する場合に、Ａ×Ｂ（Ａ＞Ｂ）（例えば、８×４）のサイズを有する。代替的に、サブブロックはＢ×ＡＴＭＶＰ（例えば、４×８）のサイズを有することができる。
【0095】
いくつかの実施形態で、現在のブロックはＭ×Ｎのサイズを有する。サブブロックは、Ｍ×Ｎ≦Ｔ（あるいは、Ｍｉｎ（Ｍ，Ｎ）≦Ｔ又はＭａｘ（Ｍ，Ｎ）≦Ｔなど）の場合に、Ａ×Ｂのサイズを有し、サブブロックは、Ｍ×Ｎ＞Ｔ（あるいは、Ｍｉｎ（Ｍ，Ｎ）＞Ｔ又はＭａｘ（Ｍ，Ｎ）＞Ｔなど）の場合に、Ｃ×Ｄのサイズを有し、ここで、Ａ≦ＣかつＢ≦Ｄである。例えば、Ｍ×Ｎ≦２５６の場合に、サブブロックは４×４のサイズであることができる。いくつかの実施形態で、サブブロックは８×８のサイズを有する。
【0096】
いくつかの実施形態で、織り込み予測を適用すべきかどうかは、インター予測方向に基づいて決定され得る。例えば、いくつかの実施形態で、織り込み予測は、双予測に適用され得るが、片予測には適用されない。他の例として、多重仮説が適用される場合に、織り込み予測は、１よりも多い参照ブロックがあるときに、１つの予測方向に適用され得る。
【0097】
いくつかの実施形態で、どのように織り込み予測を適用すべきかも、インター予測方向に基づいて決定され得る。いくつかの実施形態で、サブブロックに基づく予測により双予測されたブロックは、２つの異なる参照リストについて２つの異なる分割パターンによりサブブロックに分けられる。例えば、双予測されたブロックは、参照リスト０（Ｌ０）から予測される場合に、図１９Ｃに示されるように４×８サブブロックに分けられる。同じブロックは、参照リスト１（Ｌ１）から予測される場合に、図１９Ｄに示されるように８×４サブブロックに分けられる。最終的な予測Ｐは：
と計算される。
【数17】
【0098】
ここで、Ｐ０及びＰ１は、夫々、Ｌ０及びＬ１からの予測であり、ｗ０及びｗ１は、夫々、Ｌ０及びＬ１のための重み値である。式（１６）に示されるように、重み値は、ｗ０（ｘ，ｙ）＋ｗ１（ｘ，ｙ）＝１＜＜Ｎ（ここで、Ｎは非負整数値である）と決定され得る。各方向における予測のために使用されるサブブロックはより少ないので（例えば、８×８サブブロックに対して４×８サブブロック）、既存のサブブロックに基づく方法と比較して，計算に必要とされるバンド幅は小さい。より大きいサブブロックを使用することによって、予測結果はまた、ノイズ干渉の影響を受けにくくなる。
【0099】
いくつかの実施形態で、サブブロックに基づく予測により片予測されたブロックは、同じ参照リストについて２つ以上の異なる分割パターンによりサブブロックに分けられる。例えば、リストＬ（Ｌ＝０又は１）の予測ＰＬは：
と計算される。
【数18】
【0100】
ここで、ＸＬは、リストＬの分割パターンの数である。Ｐｉ
Ｌ（ｘ，ｙ）は、ｉ番目の分割パターンにより生成された予測であり、ｗｉ
Ｌ（ｘ，ｙ）は、Ｐｉ
Ｌ（ｘ，ｙ）の重み値である。例えば、ＸＬが２である場合に、２つの分割パターンがリストＬについて適用される。第１分割パターンで、ブロックは、図１９Ｃに示されるように４×８サブブロックに分けられる。第２分割パターンで、ブロックは、図１９Ｄに示されるように、８×４サブブロックに分けられる。
【0101】
いくつかの実施形態で、サブブロックに基づく予測により双予測されたブロックは、夫々Ｌ０及びＬ１からの２つの片予測されたブロックの組み合わせと見なされる。各リストからの予測は、上記の例で記載されるように導出され得る。最終的な予測Ｐは、
と計算され得る。
【数19】
【0102】
ここで、パラメータａ及びｂは、２つの内部予測ブロックに適用される２つの付加的な重みである。この具体例では、ａ及びｂは両方とも１にセットされ得る。上記の例と同様に、各方向における予測のために使用されるサブブロックはより少ないので（例えば、８×８サブブロックに対して４×８サブブロック）、バンド幅利用は、既存のサブブロックに基づく方法よりも良いか、又はそれと同等である。同時に、予測結果は、より大きいサブブロックを使用することによって、改善され得る。
【0103】
いくつかの実施形態で、単一の非一様パターンが、夫々の片予測されたブロックにおいて使用され得る。例えば、リストＬ（例えば、Ｌ０又はＬ１）ごとに、ブロックは、異なるパターンに分割される（例えば、図１９Ｅ又は図１９Ｆに示される）。より少数のサブブロックの使用は、バンド幅の需要を小さくする。サブブロックの非一様性はまた、予測結果のロバスト性を向上させる。
【0104】
いくつかの実施形態で、多重仮説符号化ブロックの場合に、予測方向（又は参照ピクチャリスト）ごとに異なる分割パターンによって生成された１つよりも多い予測ブロックが存在し得る。複数の予測ブロックが、付加的な重みが適用された最終的な予測を生成するために使用され得る。例えば、付加的な重みは１／Ｍにセットされてよく、Ｍは、生成された予測ブロックの総数である。
【0105】
いくつかの実施形態で、エンコーダは、織り込み予測を適用すべきかどうか及びどのように織り込み予測を適用すべきかを決定することができる。次いで、エンコーダは、シーケンスレベル、ピクチャレベル、ビューレベル、スライスレベル、ＣＴＵ（ＬＣＵとしても知られる）レベル、ＣＵレベル、ＰＵレベル、ツリーユニット（ＴＵ）レベル、又は領域レベル（複数のＣＵ／ＰＵ／ＴＵ／ＬＣＵを含んでよい）でデコーダへ決定に対応する情報を送信することができる。情報は、シーケンスパラメータセット（ＳＰＳ）、ビューパラメータセット（ＶＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ（ＳＨ）、ＣＴＵ／ＬＣＵ、ＣＵ、ＰＵ、ＴＵ、又は領域の第１ブロックにおいて伝送され得る。
【0106】
いくつかの実施で、織り込み予測は、アフィン予測、ＡＴＭＶＰ、ＳＴＭＶＰ、ＦＲＵＣ、又はＢＩＯのような既存のサブブロック方法に適用される。そのような場合に、更なるシグナリングコストは必要とされない。いくつかの実施で、織り込み予測によって生成された新しいサブブロックマージ候補は、マージリストに挿入され得る（例えば、織り込み予測＋ＡＴＭＶＰ、織り込み予測＋ＳＴＭＶＰ、織り込み予測＋ＦＲＵＣ、など）。
【0107】
いくつかの実施形態で、現在のブロックによって使用される分割パターンは、空間的及び／又は時間的隣接ブロックからの情報に基づいて導出され得る。例えば、関連情報を伝送するエンコーダに依存する代わりに、エンコーダ及びデコーダの両方が、時間的隣接（例えば、同じブロックの前に使用された分割パターン）又は空間的隣接（例えば、隣接するブロックによって使用された分割パターン）に基づいて分割パターンを取得する用所定の規則の組を採用することができる。
【0108】
いくつかの実施形態で、重み値ｗは固定であることができる。例えば、全ての分割パターンは、等しく重み付けされ得る。すなわち、ｗｉ（ｘ，ｙ）＝１である。いくつかの実施形態で、重み値は、使用される分割パターンに加えてブロックの位置に基づいて決定され得る。例えば、ｗｉ（ｘ，ｙ）は、異なる（ｘ，ｙ）ごとに異なってよい。いくつかの実施形態で、重み値は、サブブロック予測に基づくコーディング技術（例えば、アフィン又はＡＴＭＶＰ）及び／又は他のコーディングされた情報（例えば、スキップ若しくは非スキップモード、及び／又はＭＶ情報）に更に依存してもよい。
【0109】
いくつかの実施形態で、エンコーダは、重み値を決定し、その値をシーケンスレベル、スライスレベル、ＣＴＵ／ＬＣＵレベル、ＣＵレベル、ＰＵレベル、または領域レベル（複数のＣＵ／ＰＵ／ＴＵ／ＬＣＵを含んでよい）でデコーダへ送信してよい。重み値は、シーケンスパラメータセット（ＳＰＳ）、ビューパラメータセット（ＶＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ（ＳＨ）、ＣＴＵ／ＬＣＵ、ＣＵ、ＰＵ、ＴＵ、又は領域の第１ブロックにおいて伝送され得る。いくつかの実施形態で、重み値は、空間的及び／又は時間的隣接ブロックの重み値から導出され得る。
【0110】
本明細書で開示される織り込み予測技術は、サブブロックに基づく予測の１つ、いくつか、又は全てのコーディング技術に適用可能であることが知られる。例えば、織り込み予測技術は、アフィン予測に適用可能であり、一方、サブブロックに基づく予測の他のコーディング技術（例えば、ＡＴＭＶＰ、ＳＴＭＶＰ、ＦＲＵＣ又はＢＩＯ）は、織り込み予測を使用しない。他の例として、アフィン、ＡＴＭＶＰ、及びＳＴＭＶＰの全てが、本明細書で開示される織り込み予測技術を適用する。
【0111】
図２０は、例となるビデオビットストリーム処理装置２０００のブロック図である。装置２０００は、本明細書で記載される方法の１つ以上を実装するために使用されてよい。装置２０００は、スマートフォン、タブレット、コンピュータ、インターネット・オブ・シングス（ＩｏＴ）レシーバ、などにおいて具現されてよい。装置２０００は、１つ以上のプロセッサ２００２、１つ以上のメモリ２００４、及びビデオ処理ハードウェア２００６を含んでよい。プロセッサ２００２は、本特許文献で記載される１つ以上の方法を実装するよう構成されてよい。メモリ（複数を含む）２００４は、本明細書で記載される方法及び技術を実装するために使用されるデータ及びコードを記憶するために使用されてよい。ビデオ処理ハードウェア２００６は、本文書で記載されるいくつかの技術をハードウェア回路において実装するために使用されてよい。留意すべきは、プロセッサ２００２のエレクトロニクスからのメモリ２００４及び回路２００６の部分的又は完全な外在性は任意であり、実施選択である。
【0112】
図２１は、例となるビデオ処理方法２１００のフローチャートを示す。方法２１００は、現在のブロックをサブブロックに分けること（２１０２）を含む。方法２１００は、サブブロックごとに動きベクトルを導出することと（２１０４）を更に含み、各サブブロックの動きベクトルは、ポジション規則に従ってそのサブブロックの位置と関連付けられる。方法２１００は、サブブロックの動きベクトルを用いて現在のブロックのビットストリーム表現を処理すること（２１０６）を更に含む。
【0113】
図２２は、例となるビデオ処理方法２２００のフローチャートである。方法２２００は、アフィンモードを使用する、現在のブロックと現在のブロックのビットストリーム表現との間の変換のために、ポジション規則に基づいて現在のブロックの制御点での動きベクトルを導出すること（２２０２）を含む。方法２２００は、動きベクトルを使用して、現在のブロックとビットストリーム表現との間の変換を実行すること（２２０４）を更に含む。いくつかの実施で、ポジション規則は、導出のための非隣接近傍ブロックの使用を除くことを定めてよい。いくつかの実施で、動きベクトルは、現在のブロックの少なくとも１つの非隣接４×４ブロックを含む隣接コーディングユニットの情報を使用せずに導出され得る。いくつかの実施で、方法は、前に変換された隣接ブロックの少なくともいくつかのアフィンパラメータを保持及び再利用することを更に含む。いくつかの実施で、少なくともいくつかのアフィンパラメータの保持及び再利用は、互いに別々に２つのステップで実行され得る。
【0114】
図２３は、例となるビデオ処理方法２３００のフローチャートである。方法は、現在のブロックと現在のブロックのビットストリーム表現との間の変換のために、１つ以上の隣接ブロックの位置に基づいて妥当性基準を満足する１つ以上の隣接ブロックからのマージ候補を含めることによって変換のためのアフィンマージ候補のリストを決定すること（２３０２）を含む。方法２３００は、動きベクトルを用いて現在のブロックとビットストリーム表現との間の変換を実行すること（２３０４）を更に含む。
【0115】
上記の方法／技術の更なる特徴及び実施形態は、箇条書きで以下に記載される。
【0116】
１．ビデオ処理の方法（例えば、図２１に示される方法２１００）であって、
現在のブロックをサブブロックに分けることと、
サブブロックごとに動きベクトルを導出することとであり、各サブブロックの前記動きベクトルは、ポジション規則に従ってそのサブブロックの位置と関連付けられる、ことと、
前記サブブロックの動きベクトルを用いて前記現在のブロックのビットストリーム表現を処理することと
を有する方法。
現在のブロックをサブブロックに分けることと、
サブブロックごとに動きベクトルを導出することとであり、各サブブロックの前記動きベクトルは、ポジション規則に従ってそのサブブロックの位置と関連付けられる、ことと、
前記サブブロックの動きベクトルを用いて前記現在のブロックのビットストリーム表現を処理することと
を有する方法。
【0117】
２．前記ポジション規則は、前記位置が対応するサブブロックの中心であることを定める、
１項に記載の方法。
１項に記載の方法。
【0118】
３．前記対応するサブブロックは、サイズＭ×Ｎを有し、前記中心は、（（Ｍ＞＞１）＋ａ）×（（Ｎ＞＞１）＋ｂ）として定義され、Ｍ及びＮは自然数であり、ａ、ｂは０又は－１である、
項２に記載の方法。
項２に記載の方法。
【0119】
４．前記ポジション規則は、前記位置が対応するサブブロックの非中心位置であることを定める、
項１に記載の方法。
項１に記載の方法。
【0120】
５．前記ポジション規則によって指定される位置は、動きベクトルが異なるサブブロックでは異なる位置で導出されることをもたらす、
項１に記載の方法。
項１に記載の方法。
【0121】
６．ビデオ処理方法（例えば、図２２に示される方法２２００）であって、
アフィンモードを使用する、現在のブロックと該現在のブロックのビットストリーム表現との間の変換のために、ポジション規則に基づいて前記現在のブロックの制御点での動きベクトルを導出することと、
前記動きベクトルを使用して、前記現在のブロックと前記ビットストリーム表現との間の前記変換を実行することと
を有し、
前記ポジション規則は、前記導出のための非隣接近傍ブロックの使用を除くことを定める、
方法。
アフィンモードを使用する、現在のブロックと該現在のブロックのビットストリーム表現との間の変換のために、ポジション規則に基づいて前記現在のブロックの制御点での動きベクトルを導出することと、
前記動きベクトルを使用して、前記現在のブロックと前記ビットストリーム表現との間の前記変換を実行することと
を有し、
前記ポジション規則は、前記導出のための非隣接近傍ブロックの使用を除くことを定める、
方法。
【0122】
７．動きベクトルは、前記現在のブロックの少なくとも１つの非隣接４×４ブロックを含む隣接コーディングユニットの情報を使用せずに導出される、
項６に記載の方法。
項６に記載の方法。
【0123】
８．前に変換された隣接ブロックの少なくともいくつかのアフィンパラメータを保持及び再利用することを更に含む、
項７に記載の方法。
項７に記載の方法。
【0124】
９．前記現在のブロックは、アフィンモードでコーディングされた隣接ブロックから前記少なくともいくつかのアフィンパラメータを引き継ぐ、
項８に記載の方法。
項８に記載の方法。
【0125】
１０．前記少なくともいくつかのアフィンパラメータは、リスト０及びリスト１参照フレームについて異なる、
項８に記載の方法。
項８に記載の方法。
【0126】
１１．前記少なくともいくつかのアフィンパラメータは、２つの組を有し、各組は、多重仮説参照ピクチャリストの１つのためである、
項８に記載の方法。
項８に記載の方法。
【0127】
１２．前記少なくともいくつかのアフィンパラメータは、４つのアフィンパラメータのうちの２つを有する、
項８乃至１１のいずれかに記載の方法。
項８乃至１１のいずれかに記載の方法。
【0128】
１３．前記現在のブロックの左上角の動きベクトル（ｖ０ｘ，ｖ０ｙ）は、前記現在のブロックの前記左上角に隣接するブロックから導出され、前記現在のブロックは、前記アフィンモードでコーディングされた隣接ブロックにマージされる、
項６に記載の方法。
項６に記載の方法。
【0129】
１４．前記動きベクトル（ｖ０ｘ，ｖ０ｙ）を導出するために、対応する動きベクトルＭＶ（Ｒ）、ＭＶ（Ｓ）及びＭＶ（Ｔ）を夫々有している３つの隣接ブロックＲ、Ｓ及びＴを使用することを更に含み、
Ｘがインターコーディングされる場合に、前記動きベクトル（ｖ０ｘ，ｖ０ｙ）はＭＶ（Ｘ）に等しくセットされ、ＸはＲ、Ｓ又はＴである、
項１３に記載の方法。
Ｘがインターコーディングされる場合に、前記動きベクトル（ｖ０ｘ，ｖ０ｙ）はＭＶ（Ｘ）に等しくセットされ、ＸはＲ、Ｓ又はＴである、
項１３に記載の方法。
【0130】
１５．前記動きベクトル（ｖ０ｘ，ｖ０ｙ）を導出するために、対応する動きベクトルＭＶ（Ｒ）、ＭＶ（Ｓ）及びＭＶ（Ｔ）を夫々有している３つの隣接ブロックＲ、Ｓ及びＴを使用することを更に含み、
Ｒ、Ｓ及びＴがインターコーディングされる場合に、前記動きベクトル（ｖ０ｘ，ｖ０ｙ）はＭＶ（Ｒ）、ＭＶ（Ｓ）及びＭＶ（Ｔ）の平均に等しくセットされる、
項１３に記載の方法。
Ｒ、Ｓ及びＴがインターコーディングされる場合に、前記動きベクトル（ｖ０ｘ，ｖ０ｙ）はＭＶ（Ｒ）、ＭＶ（Ｓ）及びＭＶ（Ｔ）の平均に等しくセットされる、
項１３に記載の方法。
【0131】
１６．前記動きベクトル（ｖ０ｘ，ｖ０ｙ）を導出するために、対応する動きベクトルＭＶ（Ｒ）、ＭＶ（Ｓ）及びＭＶ（Ｔ）を夫々有している３つ隣接ブロックＲ、Ｓ及びＴを使用することを更に含み、
Ｘ及びＹがインターコーディングされる場合に、前記動きベクトル（ｖ０ｘ，ｖ０ｙ）は、ＭＶ（Ｘ）及びＭＶ（Ｙ）の平均に等しくセットされ、Ｘ及びＹはＲ、Ｓ又はＴである、
項１３に記載の方法。
Ｘ及びＹがインターコーディングされる場合に、前記動きベクトル（ｖ０ｘ，ｖ０ｙ）は、ＭＶ（Ｘ）及びＭＶ（Ｙ）の平均に等しくセットされ、Ｘ及びＹはＲ、Ｓ又はＴである、
項１３に記載の方法。
【0132】
１７．前記動きベクトル（ｖ０ｘ，ｖ０ｙ）は、時間的隣接ブロックの動きベクトルから導出される、
項１３に記載の方法。
項１３に記載の方法。
【0133】
１８．前記動きベクトル（ｖ０ｘ，ｖ０ｙ）は、前記隣接ブロックのリファレンスにスケーリングされる、
項１３に記載の方法。
項１３に記載の方法。
【0134】
１９．前記動きベクトルは、前記アフィンモードでコーディングされた左隣のブロックから導出される、
項６に記載の方法。
項６に記載の方法。
【0135】
２０．前記アフィンモードでコーディングされたブロックの動きベクトルは、前記アフィンモードでコーディングされたＳ個の上隣のブロックから導出され、Ｓは、４パラメータアフィンモードの場合に２に等しい、
項６に記載の方法。
項６に記載の方法。
【0136】
２１．２個の上隣のブロックの間の距離は、２Ｎの形で固定値であり、Ｎは整数である、
項２０に記載の方法。
項２０に記載の方法。
【0137】
２２．前記上隣のブロックの間の距離は、前記アフィンモードでコーディングされたブロックの高さに依存する、
項２０に記載の方法。
項２０に記載の方法。
【0138】
２３．前記上隣のブロックの間の距離は、全ての上隣のブロックが前記アフィンモードでコーディングされ、同じ参照ピクチャを共有することを満足する最大長さとして導出される、
項２０に記載の方法。
項２０に記載の方法。
【0139】
２４．前記現在のブロックの左上制御点での動きベクトル（ｍｖ０
ｘ，ｍｖ０
ｙ）は、ｉ）ｍｖ０
ｘ＝ｍｖＴ０
ｘ－ａΦ及びｍｖ０
ｙ＝ｍｖＴ０
ｙ－ｂΦ又はｉｉ）ｍｖ０
ｘ＝ｍｖＴ１
ｘ－ａΦ及びｍｖ０
ｙ＝ｍｖＴ１
ｙ－ｂΦとして導出され、Φは、前記左上制御点と前記アフィンモードでコーディングされた２つの上隣のブロックＴ０及びＴ１のうちの１つとの間の距離である、
項２０に記載の方法。
項２０に記載の方法。
【0140】
２５．前記現在のブロックは、Ｍ×Ｎピクセルのサイズを有し、Ｍ及びＮは整数であり、前記動きベクトルは、Ｍ＜Ｎの場合に左側隣接ブロックから導出される、
項６に記載の方法。
項６に記載の方法。
【0141】
２６．前記現在のブロックは、Ｍ×Ｎピクセルのサイズを有し、Ｍ及びＮは整数であり、前記動きベクトルは、Ｍ＞Ｎの場合に上側隣接ブロックから導出される、
項６に記載の方法。
項６に記載の方法。
【0142】
２７．前記現在のブロックは、Ｍ×Ｎピクセルのサイズを有し、Ｍ及びＮは整数であり、前記動きベクトルは、Ｍ＝Ｎの場合に左上角に隣接するブロックから導出される、
項６に記載の方法。
項６に記載の方法。
【0143】
２８．ビデオ処理の方法（例えば、図２３に示される方法２３００）であって、
現在のブロックと該現在のブロックのビットストリーム表現との間の変換のために、１つ以上の隣接ブロックの位置に基づいて妥当性基準を満足する前記１つ以上の隣接ブロックからのマージ候補を含めることによって前記変換のためのアフィンマージ候補のリストを決定することと、
動きベクトルを用いて前記現在のブロックと前記ビットストリーム表現との間の前記変換を実行することと
を有する方法。
現在のブロックと該現在のブロックのビットストリーム表現との間の変換のために、１つ以上の隣接ブロックの位置に基づいて妥当性基準を満足する前記１つ以上の隣接ブロックからのマージ候補を含めることによって前記変換のためのアフィンマージ候補のリストを決定することと、
動きベクトルを用いて前記現在のブロックと前記ビットストリーム表現との間の前記変換を実行することと
を有する方法。
【0144】
２９．隣接ブロックは、現在のＣＴＵ（Coding Tree Unit）とは異なるＣＴＵからであり、前記隣接ブロックからのアフィンマージモード候補は妥当でない、
項２８に記載の方法。
項２８に記載の方法。
【0145】
３０．現在のＣＴＵは現在のＣＴＵラインに属し、前記隣接ブロックは、前記現在のＣＴＵラインとは異なるＣＴＵラインに属し、前記隣接ブロックからのアフィンマージモード候補は妥当でない、
項２８に記載の方法。
項２８に記載の方法。
【0146】
３１．前記現在のブロックは現在のスライスに属し、前記隣接ブロックは、前記現在のスライスとは異なるスライスに属し、前記隣接ブロックからのアフィンマージモード候補は妥当でない、
項２８に記載の方法。
項２８に記載の方法。
【0147】
３２．前記現在のブロックは現在のタイルに属し、前記隣接ブロックは、前記現在のタイルとは異なるタイルに属し、前記隣接ブロックからのアフィンマージモード候補は妥当でない、
項２８に記載の方法。
項２８に記載の方法。
【0148】
３３．ビデオ処理の方法であって、
アフィンモードを使用する、現在のブロックと該現在のブロックのビットストリーム表現との間の変換のために、１つ以上の隣接する近傍ブロックに基づいて前記現在のブロックの制御点での動きベクトルを導出することと、
前記動きベクトルを用いて前記現在のブロックと前記ビットストリーム表現との間の前記変換を実行することと
を有する方法。
アフィンモードを使用する、現在のブロックと該現在のブロックのビットストリーム表現との間の変換のために、１つ以上の隣接する近傍ブロックに基づいて前記現在のブロックの制御点での動きベクトルを導出することと、
前記動きベクトルを用いて前記現在のブロックと前記ビットストリーム表現との間の前記変換を実行することと
を有する方法。
【0149】
３４．アフィンモードを使用する前記現在のブロックの制御点での前記動きベクトルは、上にある前記１つ以上の隣接する近傍ブロックから引き継がれる、
項３３に記載の方法。
項３３に記載の方法。
【0150】
３５．前記隣接する近傍ブロックはまた、アフィンモードによってコーディングされる、
項３３に記載の方法。
項３３に記載の方法。
【0151】
３６．前記隣接する近傍ブロックは、４パラメータアフィンモードによってコーディングされる、
項３５に記載の方法。
項３５に記載の方法。
【0152】
３７．アフィンモードを使用する前記現在のブロックの制御点での前記動きベクトルは、前記１つ以上の隣接する近傍ブロックの左下及び右下制御点動きベクトルから引き継がれる、
項３６に記載の方法。
項３６に記載の方法。
【0153】
３８．前記変換は、前記現在のブロックから前記ビットストリーム表現を生成することを含む、
上記の項のいずれかに記載の方法。
上記の項のいずれかに記載の方法。
【0154】
３９．前記変換は、前記ビットストリーム表現から前記現在のブロックを生成することを含む、
上記の項のいずれかに記載の方法。
上記の項のいずれかに記載の方法。
【0155】
４０．項１乃至３９の１つ以上に記載の方法を実装するよう構成されるプロセッサを有するビデオ復号化装置。
【0156】
４１．項１乃至３９の１つ以上に記載の方法を実装するよう構成されるプロセッサを有するビデオ符号化装置。
【0157】
４２．プロセッサによって実行される場合に、該プロセッサに、項１乃至３９の１つ以上に記載の方法を実施させる命令を有するコードが記憶されているコンピュータ可読プログラム媒体。
【0158】
以上から、目下開示されている技術の具体的な実施形態は、実例のために本明細書で記載されており、様々な変更は、発明の範囲から外れずに行われ得ることが理解されるだろう。従って、目下開示されている技術は、添付の特許請求の範囲による場合を除いて制限されない。
【0159】
本文書で記載される開示されている及び他の実施形態、モジュール及び機能動作は、デジタル電子回路で、又は本文書で開示される構造及びそれらの構造的な同等物を含むコンピュータソフトウェア、ファームウェア、若しくはハードウェアで、又はそれらの１つ以上の組み合わせで実装され得る。開示されている及び他の実施形態は、１つ以上のコンピュータプログラム製品、例えば、データ処理装置による実行のために又はその動作を制御するためにコンピュータ可読媒体で符号化されているコンピュータプログラム命令の１つ以上のモジュール、として実装され得る。コンピュータ可読媒体は、マシン読み出し可能な記憶デバイス、マシン読み出し可能な記憶担体、メモリデバイス、マシン読み出し可能な伝搬信号を実現する組成物、又はそれらの１つ以上の組み合わせであることができる。「データ処理装置」との語は、一例として、プログラム可能なプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む、データを処理するための全ての装置、デバイス、及びマシンを包含する。装置は、問題となっているコンピュータプログラムのための実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの１つ以上の組み合わせを構成するコードを、ハードウェアに加えて含むことができる。伝搬信号は、人工的に生成された信号、例えば、マシンにより生成された電気的、光学的、又は電磁気的な信号であって、適切な受信装置への伝送のために情報を符号化するよう生成される信号である。
【0160】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる）は、コンパイル済み又は解釈済みの言語を含む如何なる形式のプログラミング言語でも記述可能であり、それは、スタンドアロンプログラムとして、又はモジュール、コンポーネント、サブルーチン、若しくはコンピューティング環境での使用に適した他のユニットとしてを含め、如何なる形式でも展開され得る。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応しない。プログラムは、他のプログラム若しくはデータを保持するファイルの部分（例えば、マークアップ言語文書で保持されている１つ以上のスクリプト）で、問題となっているプログラムに専用の単一ファイルで、又は複数の協調ファイル（例えば、１つ以上のモジュール、サブプログラム、若しくはコードの部分を保持するファイル）で記憶され得る。コンピュータプログラムは、１つのコンピュータで、又は１つの場所に位置するか若しくは複数の場所にわたって分布し、通信ネットワークによって相互接続されている複数のコンピュータで実行されるよう展開され得る。
【0161】
本文書で記載されるプロセス及びロジックフローは、入力データに作用して出力を生成することによって機能を実行するよう１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサによって実行可能である。プロセス及びロジックフローはまた、特別目的のロジック回路、例えば、ＦＰＧＡ（Field Programmable Gate Array）又はＡＳＩＣ（Application-Specific Integrated Circuit）としても実装され得る。
【0162】
コンピュータプログラムの実行に適したプロセッサは、一例として、汎用マイクロプロセッサ及び専用プロセッサの両方、並びにあらゆる種類のデジタルコンピュータのいずれか１つ以上のプロセッサを含む。一般に、プロセッサは、リード・オンリー・メモリ若しくはランダム・アクセス・メモリまたは両方から命令及びデータを受け取る。コンピュータの必須の要素は、命令を実行するプロセッサと、命令及びデータを記憶する１つ以上のメモリデバイスとである。一般に、コンピュータはまた、データを記憶する１つ以上の大容量記憶デバイス、例えば、磁気若しくは光学磁気ディスク又は光ディスクを含むか、あるいは、それとの間のデータの受信、転送、若しくはその両方のために動作上結合される。しかし、コンピュータは、そのようなデバイスを有する必要がない。コンピュータプログラム命令及びデータを記憶するのに適したコンピュータ可読媒体は、一例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス；磁気ディスク、例えば、内蔵ハードディスク及びリムーバブルディスク；光学磁気ディスク；並びにＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む、全ての形態の不揮発性メモリ、媒体、及びメモリデバイスを含む。プロセッサ及びメモリは、特別目的のロジック回路によって補完されるか、あるいは、それに組み込まれ得る。
【0163】
本文書は多くの詳細を含むが、それらは、あらゆる発明の又は請求され得るものの範囲に対する制限として解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に固有であり得る特徴の記載として解釈されるべきである。別個の実施形態に関連して本特許文献中で記載される特定の特徴はまた、単一の実施形態では組み合わせて実装され得る。反対に、単一の実施形態に関連して記載される様々な特徴はまた、複数の実施形態で別々に、又は任意の適切な組み合わせで、実装され得る。更に、特徴は、特定の組み合わせで動作するものとして先に記載され、そのようなものとして最初に請求されることさえあるが、請求されている組み合わせからの１つ以上の特徴は、いくつかの場合に、その組み合わせから切り取ることが可能であり、請求されている組み合わせは、サブコンビネーション又はサブコンビネーションのバリエーションに向けられてもよい。
【0164】
同様に、動作は、図面において特定の順序で表されるが、これは、所望の結果を得るために、そのような動作が図示されている特定の順序で若しくは順番に実行されること、又は全ての表されている動作が実行されることを必要とするものとして理解されるべきではない。更に、本特許文献中で記載される実施形態における様々なシステムコンポーネントの分離は、全ての実施形態でそのような分離を必要とするものとして理解されるべきではない。
【0165】
ほんの２、３の実施及び例が記載され、他の実施、拡張及び変形は、本特許文献で記載及び例示されているものに基づいて行われ得る。
【0166】
［関連出願の相互参照］
本願は、２０１８年７月１日付けで出願された国際特許出願第ＰＣＴ／ＣＮ２０１８／０９３９４３号、及び２０１８年７月１３日付けで出願された国際特許出願第ＰＣＴ／ＣＮ２０１８／０９５５６８号の優先権及び利益を主張する国際特許出願第ＰＣＴ／ＩＢ２０１９／０５５５９２号に基づく特願２０２０－５７３１０４号の分割出願である。国際特許出願第ＰＣＴ／ＩＢ２０１９／０５５５９２号、国際特許出願第ＰＣＴ／ＣＮ２０１８／０９３９４３号及び国際特許出願第ＰＣＴ／ＣＮ２０１８／０９５５６８号の全開示は、本願の開示の部分として参照により援用される。
本願は、２０１８年７月１日付けで出願された国際特許出願第ＰＣＴ／ＣＮ２０１８／０９３９４３号、及び２０１８年７月１３日付けで出願された国際特許出願第ＰＣＴ／ＣＮ２０１８／０９５５６８号の優先権及び利益を主張する国際特許出願第ＰＣＴ／ＩＢ２０１９／０５５５９２号に基づく特願２０２０－５７３１０４号の分割出願である。国際特許出願第ＰＣＴ／ＩＢ２０１９／０５５５９２号、国際特許出願第ＰＣＴ／ＣＮ２０１８／０９３９４３号及び国際特許出願第ＰＣＴ／ＣＮ２０１８／０９５５６８号の全開示は、本願の開示の部分として参照により援用される。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図17】
【図18】
【図19A】
【図19B】
【図19C】
【図19D】
【図19E】
【図19F】
【図19G】
【図20】
【図21】
【図22】
【図23】
【外国語明細書】