▶ ベイジン バイトダンス ネットワーク テクノロジー カンパニー リミテッドの特許一覧 ▶ バイトダンス インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-20
(45)【発行日】2023-03-01
(54)【発明の名称】イントラブロックコピーのための履歴ベース動き候補リスト構築
(51)【国際特許分類】
H04N 19/105 20140101AFI20230221BHJP
H04N 19/176 20140101ALI20230221BHJP
H04N 19/513 20140101ALI20230221BHJP
H04N 19/159 20140101ALI20230221BHJP
【ＦＩ】
H04N19/105
H04N19/176
H04N19/513
H04N19/159
【請求項の数】
14
(21)【出願番号】P 2021525548
(86)(22)【出願日】2019-11-13
(65)【公表番号】
(43)【公表日】2022-01-18
(86)【国際出願番号】 CN2019117907
(87)【国際公開番号】W WO2020098677
(87)【国際公開日】2020-05-22
【審査請求日】2021-05-11
(31)【優先権主張番号】PCT/CN2018/115176
(32)【優先日】2018-11-13
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ
(73)【特許権者】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】ＢＹＴＥＤＡＮＣＥ ＩＮＣ．
【住所又は居所原語表記】１２６５５ Ｗｅｓｔ Ｊｅｆｆｅｒｓｏｎ Ｂｏｕｌｅｖａｒｄ， Ｓｉｘｔｈ Ｆｌｏｏｒ， Ｓｕｉｔｅ Ｎｏ． １３７ Ｌｏｓ Ａｎｇｅｌｅｓ， Ｃａｌｉｆｏｒｎｉａ ９００６６ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ザン，リー
(72)【発明者】
【氏名】ザン，カイ
(72)【発明者】
【氏名】リュウ，ホンビン
(72)【発明者】
【氏名】シュイ，ジィジォン
(72)【発明者】
【氏名】ワン，ユエ
【審査官】清山 昂平
(56)【参考文献】
【文献】特表２０１７－５０７５５４（ＪＰ，Ａ）
【文献】Li Zhang et al.，CE4: History-based Motion Vector Prediction (Test 4.4.7)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0266-v2，2018年10月04日
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
映像データを処理する方法であって、第１の予測モードを用いた映像の現在ブロックと前記映像のビットストリームとの間での変換のために、時間ブロックから導出される動き候補を除外する第１の動き候補リストを構築するステップであり、前記第１の予測モードでは、前記現在ブロックに関する予測サンプルを導出するために、前記現在ブロックを含む同一映像領域のサンプル値のみが使用される、ステップと、
前記現在ブロックの寸法に基づいて、空間隣接ブロックから導出される動き候補が前記第１の動き候補リストから除外されることを決定するステップと、
履歴ベース動きベクトル予測（ＨＭＶＰ）候補を検査して、前記ＨＭＶＰ候補を前記第１の動き候補リストに追加するかを決定するステップと、
を有する方法。
【請求項2】
前記第１の動き候補リストは更に、時間動きオフセットに基づいて導出される動き情報を有するサブブロックベースの時間動きベクトル予測候補を除外する、請求項１に記載の方法。
【請求項3】
前記現在ブロックの高さと幅の積が所定の閾値以下であることに基づいて、空間隣接ブロックから導出される動き候補が前記第１の動き候補リストから除外される、請求項１に記載の方法。
【請求項4】
前記第１の動き候補リストは、更にデフォルト動きベクトル候補に基づいて構築される、請求項１乃至３のいずれか一項に記載の方法。
【請求項5】
前記デフォルト動きベクトル候補はゼロ動きベクトル候補を含む、請求項４に記載の方法。
【請求項6】
前記第１の動き候補リスト及び動き探索範囲に基づいて前記変換を実行するステップ、を更に有する請求項１乃至５のいずれか一項に記載の方法。
【請求項7】
前記動き探索範囲は、前記現在ブロックを含む現在ＣＴＵのサイズに関係付けられる、請求項６に記載の方法。
【請求項8】
前記第１の動き候補リストのリストサイズは、予め定められている、請求項１乃至７のいずれか一項に記載の方法。
【請求項9】
前記第１の動き候補リストのリストサイズが、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット（ＣＴＵ）、符号化ユニット（ＣＵ）、又は予測ユニット（ＰＵ）を用いて信号伝達される、請求項１乃至８のいずれか一項に記載の方法。
【請求項10】
前記変換は、前記現在ブロックを前記ビットストリームへと符号化することを含む、請求項１乃至９のいずれか一項に記載の方法。
【請求項11】
前記変換は、前記ビットストリームから前記現在ブロックを復号することを含む、請求項１乃至９のいずれか一項に記載の方法。
【請求項12】
プロセッサと、命令を有する非一時的なメモリとを有した、映像データを処理する装置であって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、第１の予測モードを用いた映像の現在ブロックと前記映像のビットストリームとの間での変換のために、時間ブロックから導出される動き候補を除外する第１の動き候補リストを構築させ、前記第１の予測モードでは、前記現在ブロックに関する予測サンプルを導出するために、前記現在ブロックを含む同一映像領域のサンプル値のみが使用され、
前記現在ブロックの寸法に基づいて、空間隣接ブロックから導出される動き候補が前記第１の動き候補リストから除外されることを決定させ、
履歴ベース動きベクトル予測（ＨＭＶＰ）候補を検査させて、前記ＨＭＶＰ候補を前記第１の動き候補リストに追加するかを決定させる、
装置。
【請求項13】
命令を格納した非一時的なコンピュータ読み取り可能記憶媒体であって、前記命令は、プロセッサに、第１の予測モードを用いた映像の現在ブロックと前記映像のビットストリームとの間での変換のために、時間ブロックから導出される動き候補を除外する第１の動き候補リストを構築させ、前記第１の予測モードでは、前記現在ブロックに関する予測サンプルを導出するために、前記現在ブロックを含む同一映像領域のサンプル値のみが使用され、
前記現在ブロックの寸法に基づいて、空間隣接ブロックから導出される動き候補が前記第１の動き候補リストから除外されることを決定させ、
履歴ベース動きベクトル予測（ＨＭＶＰ）候補を検査させて、前記ＨＭＶＰ候補を前記第１の動き候補リストに追加するかを決定させる、
コンピュータ読み取り可能記憶媒体。
【請求項14】
映像のビットストリームを格納する方法であって、
第１の予測モードを用いる映像の現在ブロックについて、時間ブロックから導出される動き候補を除外する第１の動き候補リストを構築するステップであり、前記第１の予測モードでは、前記現在ブロックに関する予測サンプルを導出するために、前記現在ブロックを含む同一映像領域のサンプル値のみが使用される、ステップと、
前記現在ブロックの寸法に基づいて、空間隣接ブロックから導出される動き候補が前記第１の動き候補リストから除外されることを決定するステップと、
履歴ベース動きベクトル予測（ＨＭＶＰ）候補を検査して、前記ＨＭＶＰ候補を前記第１の動き候補リストに追加するかを決定するステップと、
前記第１の動き候補リストに基づいて前記現在ブロックから前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的なコンピュータ読み取り可能記録媒体に格納するステップと、
を有する方法。
【発明の詳細な説明】
【技術分野】
【0001】
パリ条約に基づく適用可能な特許法及び／又は規則の下で、この出願は、２０１８年１１月１３日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１８／１１５１７６号の優先権及び利益を適時に主張して行われる。米国の法律の下での全ての目的のために、上記出願の開示全体を、この出願の開示の一部として援用する。
【0002】
本特許文書は、映像符号化技術、装置及びシステムに関する。
【背景技術】
【0003】
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅使用を占めている。映像を受信して表示することが可能な接続ユーザ装置の数が増えるにつれて、デジタル映像使用に対する帯域幅需要が増加し続けることが予期される。
【発明の概要】
【0004】
デジタル映像符号化、特に、映像符号化のために別個の動き候補リストを構築することに関する装置、システム及び方法が記述される。記述される方法は、既存の映像符号化標準（例えば、ＨＥＶＣ（High Efficiency Video Coding））及び将来の映像符号化標準若しくはビデオコーデックの双方に適用され得る。
【0005】
第１の例示的な実施形態は、映像処理の方法を記述し、当該方法は、映像の第１の映像ブロックに対して、空間ブロックのみから導出された動き候補を除外する第１の動き候補リスト構築方法を用いて、第１の動き候補リストを構築することと、構築した第１の動き候補リストに従って、第１の映像ブロックと、第１の映像ブロックを含む映像のビットストリーム表現との間での変換を実行することとを有する。
【0006】
第１の例示的な実施形態の一部の実装において、第１の動き候補リストは、時間ブロックのみからの動き候補を有する。第１の例示的な実施形態の一部の実装において、第１の動き候補リストは、時間ブロック及び空間ブロックの両方に基づく動き候補を有する。第１の例示的な実施形態の一部の実装において、動き候補は、サブブロックベースの空間時間動きベクトル予測（spatial temporal motion vector prediction；ＳＴＭＶＰ）又は非サブブロックベースのＳＴＭＶＰに使用される。第１の例示的な実施形態の一部の実装において、第１の動き候補リストは、第１の映像ブロックの時間的に隣接する映像ブロックからの情報を用いてアフィンモデルを導出するアフィンマージ候補を有する。第１の例示的な実施形態の一部の実装において、第１の動き候補リストは、第１の映像ブロックの時間的に隣接する映像ブロックからの情報を用いてアフィンモデルを導出するアフィンマージ候補を除外する。
【0007】
第１の例示的な実施形態の一部の実装において、第１の動き候補リストは、履歴ベース動きベクトル予測（history-based motion vector prediction；ＨＭＶＰ）候補を有する。第１の例示的な実施形態の一部の実装において、第１の動き候補リストは、履歴ベース動きベクトル予測（ＨＭＶＰ）候補又は時間動き候補から導出された仮想候補を有する。第１の例示的な実施形態の一部の実装において、第１の動き候補リストは、以下の動き候補のみを有し、すなわち、各動き候補が、第１の映像ブロックの全体に適用される単一セットの動き情報に関連付けられるもののみの動き候補、のみを有する。
【0008】
第１の例示的な実施形態の一部の実装において、第１の動き候補リストは、以下の動き候補のみを有し、すなわち、各動き候補が、複数セットの動き情報に関連付けられるもののみの動き候補、のみを有し、複数セットの動き情報の各々が、第１の映像ブロックのサブブロックに適用される。第１の例示的な実施形態の一部の実装において、第１の動き候補リストは、同じ参照ピクチャの複数の時間ブロックに関連する複数の動き候補を有する。第１の例示的な実施形態の一部の実装において、第１の動き候補リストは、各参照ピクチャリストの１つの参照ピクチャに関連する複数の時間ブロックに関連する複数の動き候補を有する。
【0009】
第１の例示的な実施形態の一部の実装において、第１の動き候補リストは、ピクチャ内に位置する複数の時間ブロックに関連する複数の動き候補を有し、そのピクチャの参照インデックスは、予め定められており、あるいは、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット（ＣＴＵ）、符号化ユニット（ＣＵ）、又は予測ユニット（ＰＵ）内で信号伝達される。第１の例示的な実施形態の一部の実装において、第１の動き候補リストは、第１の映像ブロックを有するコロケート符号化ツリーユニット（ＣＴＵ）行内に位置する複数の時間ブロックに関連する複数の動き候補を有する。
【0010】
第１の例示的な実施形態の一部の実装において、第１の動き候補リストは、映像ユニットが複数の重なり合わないＭ×Ｎ領域に分割されるときに、サイズＭ×Ｎの同一領域内に位置する複数の時間ブロックに関連する複数の動き候補を有し、Ｍ及びＮは、予め定められた整数、あるいは、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット（ＣＴＵ）、符号化ユニット（ＣＵ）、又は予測ユニット（ＰＵ）内で信号伝達される整数である。第１の例示的な実施形態の一部の実装において、第１の動き候補リスト内の動き候補に対して、一般化双予測（generalized bi-prediction；ＧＢｉ）が無効にされ、ＧＢｉインデックスが、第１の動き候補リスト内の動き候補に対して０に設定される。
【0011】
第１の例示的な実施形態の一部の実装において、第１の動き候補リストは、代替的時間動きベクトル予測（alternative temporal motion vector prediction；ＡＴＭＶＰ）候補を有する。第１の例示的な実施形態の一部の実装において、ＡＴＭＶＰ候補は、第１の動き候補リスト内の固定位置に置かれる。
【0012】
第２の例示的な実施形態は、映像処理の方法を記述し、当該方法は、映像の第１の映像ブロックに対して、アフィン候補を除外して代替的時間動きベクトル予測（ＡＴＭＶＰ）候補を有する第１の動き候補リスト構築方法を用いて、第１の動き候補リストを構築することと、構築した第１の動き候補リストに従って、第１の映像ブロックと、第１の映像ブロックを含む映像のビットストリーム表現との間での変換を実行することとを有する。
【0013】
第１及び第２の例示的な実施形態の一部の実装において、当該方法は更に、第１の映像ブロックに対して、第１の動き候補リスト構築方法とは異なる第２の動き候補リスト構築方法を用いて、第２の動き候補リストを構築することを有する。第１及び第２の例示的な実施形態の一部の実装において、ビットストリーム表現は、第１及び第２の動き候補リスト構築方法を含む複数の動き候補リスト構築方法に対応する複数の動き候補リストのセット内のリストを特定するリストインデックスを含む。第１及び第２の例示的な実施形態の一部の実装において、第１のリストインデックスは、第１の映像ブロックの隣接する映像ブロックに対応し、第１の映像ブロックの第２のリストインデックスを符号化するために使用される。第１及び第２の例示的な実施形態の一部の実装において、第１のリストインデックスは、第１の映像ブロックの隣接する映像ブロックに対応し、第１の映像ブロックの第２のリストインデックスを符号化するためにコンテキスト選択において使用される。
【0014】
第１及び第２の例示的な実施形態の一部の実装において、リストインデックスについての同じ値が、映像の異なる映像ブロックに対する異なる動き候補リスト構築方法に対応する。第１及び第２の例示的な実施形態の一部の実装において、リストインデックスの信号伝達は、三角予測モード（triangular prediction mode；ＴＰＭ）、非アフィンモード、又は非ＴＰＭモードを含む符号化モード情報に基づく。第１及び第２の例示的な実施形態の一部の実装において、当該方法は更に、複数の動き候補リスト内の異なる動き候補リスト内の動き候補に対して剪定処理を実行することを有する。第１及び第２の例示的な実施形態の一部の実装において、当該方法は更に、モードに基づいて、複数の動き候補リスト構築方法を用いた複数の動き候補リストの使用、又は１つの動き候補リスト構築方法を用いた１つの動き候補リストのみの使用を決定することを有する。
【0015】
第１及び第２の例示的な実施形態の一部の実装において、複数の動き候補リスト構築方法を用いた複数の動き候補リストの使用が無効にされるとき、第１の動き候補リストのリストインデックスがモードに対して無効にされ、信号伝達されない。第１及び第２の例示的な実施形態の一部の実装において、当該方法は更に、モードに基づいて、第１の映像ブロックに対する第１の動き候補リスト構築方法が有効にされると決定することを有する。第１及び第２の例示的な実施形態の一部の実装において、モードはマージモードである。
【0016】
第１及び第２の例示的な実施形態の一部の実装において、モードはアドバンスト動きベクトル予測（advanced motion vector prediction；ＡＭＶＰ）モードである。第１及び第２の例示的な実施形態の一部の実装において、モードは三角予測（ＴＰＭ）モードである。第１及び第２の例示的な実施形態の一部の実装において、モードは、ブロック寸法に関係付けられる。第１及び第２の例示的な実施形態の一部の実装において、ブロック寸法は、閾値以上である第１の映像ブロックの高さと幅の積を含む。第１及び第２の例示的な実施形態の一部の実装において、閾値は６４である。第１及び第２の例示的な実施形態の一部の実装において、第１の映像ブロックの高さは第１の閾値以上であり、第１の映像ブロックの幅は第２の閾値以上である。第１及び第２の例示的な実施形態の一部の実装において、第１の閾値は１６であり、第２の閾値は１６である。
【0017】
第１及び第２の例示的な実施形態の一部の実装において、第１の動き候補リストは、上記モードで符号化される映像ブロックに対して、単一の動き候補リストを有する。第１及び第２の例示的な実施形態の一部の実装において、第１の動き候補リストは、上記モードで符号化されない映像ブロックに対して、単一の動き候補リストを有する。第１及び第２の例示的な実施形態の一部の実装において、第１及び第２の例示的な実施形態の一部の実装において、変換を実行することは、ビットストリーム表現から第１の映像ブロックのピクセル値を生成することを有する。第１及び第２の例示的な実施形態の一部の実装において、変換を実行することは、第１の映像ブロックのピクセル値からビットストリーム表現を生成することを有する。
【0018】
第３の例示的な実施形態は、映像処理の方法を記述し、当該方法は、映像の第１の映像ブロックに対して、空間ブロックのみから導出された動き候補を除外する第１の動き候補リスト構築方法を用いて、第１の動き候補リストを構築することと、構築した第１の動き候補リストに従って、第１の映像ブロックと、第１の映像ブロックを含む映像のビットストリーム表現との間での変換を実行することとを有する。
【0019】
第３の例示的な実施形態の一部の実装において、第１の動き候補リストは、空間ブロックのみからの動き候補を有する。第３の例示的な実施形態の一部の実装において、第１の動き候補リストは、履歴ベース動きベクトル予測（ＨＭＶＰ）候補を有する。第３の例示的な実施形態の一部の実装において、第１の動き候補リストは、ＨＭＶＰ候補又は空間動き候補から導出された仮想候補を有する。第３の例示的な実施形態の一部の実装において、第１の動き候補リストは、時間ブロック及び空間ブロックの両方に基づく動き候補を有する。
【0020】
第３の例示的な実施形態の一部の実装において、動き候補は、サブブロックベースの空間時間動きベクトル予測（ＳＴＭＶＰ）又は非サブブロックベースのＳＴＭＶＰに使用される。第３の例示的な実施形態の一部の実装において、第１の動き候補リストのリストサイズは、第１の動き候補リストに許容される動き候補の予め定められた最大数である。第３の例示的な実施形態の一部の実装において、リストサイズは５又は６である。第３の例示的な実施形態の一部の実装において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、別個に信号伝達される。
【0021】
第３の例示的な実施形態の一部の実装において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、一度に信号伝達され、第１の動き候補リスト及び少なくとも１つの更なる動き候補リストを有する複数タイプの動き候補リストに適用される。第３の例示的な実施形態の一部の実装において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット（ＣＴＵ）、符号化ユニット（ＣＵ）、又は予測ユニット（ＰＵ）を用いて信号伝達される。
【0022】
第３の例示的な実施形態の一部の実装において、少なくとも１つの更なる動き候補リストは、時間候補リスト、又は空間候補リスト、又は履歴ベース動きベクトル予測（ＨＭＶＰ）候補リストである。第３の例示的な実施形態の一部の実装において、当該方法は更に、第１の映像ブロックに対して、第１の動き候補リスト構築方法とは異なる第２の動き候補リスト構築方法を用いて、第２の動き候補リストを構築することを有する。
【0023】
第３の例示的な実施形態の一部の実装において、第２の動き候補リストは、空間隣接ブロックのみから導出された動き候補を除外する時間候補リスト、又は時間的若しくは空間隣接ブロックのみから導出された動き候補を除外する履歴ベース動きベクトル予測（ＨＭＶＰ）候補リストである。第３の例示的な実施形態の一部の実装において、ビットストリーム表現は、第１及び第２の動き候補リスト構築方法を含む複数の動き候補リスト構築方法に対応する複数の動き候補リストのセット内のリストを特定するリストインデックスを含む。
【0024】
第３の例示的な実施形態の一部の実装において、当該方法は更に、モードに基づいて、複数の動き候補リスト構築方法を用いた複数の動き候補リストの使用、又は１つの動き候補リスト構築方法を用いた１つの動き候補リストのみの使用を決定することを有する。第３の例示的な実施形態の一部の実装において、複数の動き候補リスト構築方法を用いた複数の動き候補リストの使用が無効にされるとき、第１の動き候補リストのリストインデックスがモードに対して無効にされ、信号伝達されない。
【0025】
第３の例示的な実施形態の一部の実装において、当該方法は更に、モードに基づいて、第１の映像ブロックに対する第１の動き候補リスト構築方法が有効にされると決定することを有する。第３の例示的な実施形態の一部の実装において、モードはマージモードである。第３の例示的な実施形態の一部の実装において、モードはアドバンスト動きベクトル予測（ＡＭＶＰ）モードである。第３の例示的な実施形態の一部の実装において、モードは三角予測（ＴＰＭ）モードである。第３の例示的な実施形態の一部の実装において、モードは、ブロック寸法に関係付けられる。
【0026】
第３の例示的な実施形態の一部の実装において、ブロック寸法は、閾値以上である第１の映像ブロックの高さと幅の積を含む。第３の例示的な実施形態の一部の実装において、閾値は６４である。第３の例示的な実施形態の一部の実装において、第１の映像ブロックの高さは第１の閾値以上であり、第１の映像ブロックの幅は第２の閾値以上である。第３の例示的な実施形態の一部の実装において、第１の閾値は１６であり、第２の閾値は１６である。第３の例示的な実施形態の一部の実装において、第１の動き候補リストは、上記モードで符号化される映像ブロックに対して、単一の動き候補リストを有する。
【0027】
第３の例示的な実施形態の一部の実装において、第１の動き候補リストは、上記モードで符号化されない映像ブロックに対して、単一の動き候補リストを有する。第３の例示的な実施形態の一部の実装において、変換を実行することは、ビットストリーム表現から第１の映像ブロックのピクセル値を生成することを有する。第３の例示的な実施形態の一部の実装において、変換を実行することは、第１の映像ブロックのピクセル値からビットストリーム表現を生成することを有する。
【0028】
第４の例示的な実施形態は、映像処理の方法を記述し、当該方法は、映像の第１の映像ブロックに対して、空間ブロックのみから導出された動き候補を除外する第１の動き候補リスト構築方法を用いて、第１の動き候補リストを構築することと、構築した第１の動き候補リストに従って、第１の映像ブロックと、第１の映像ブロックを含む映像のビットストリーム表現との間での変換を実行することとを有する。
【0029】
第４の例示的な実施形態の一部の実装において、第１の動き候補リストはイントラブロックコピー（ＩＢＣ）リストである。第４の例示的な実施形態の一部の実装において、同じ参照ピクチャは、現在ピクチャ、現在タイル、又は現在スライスであり、第１の映像ブロックは、現在ピクチャ、現在タイル、又は現在スライスに属する。第４の例示的な実施形態の一部の実装において、動き候補の各々は片予測候補である。第４の例示的な実施形態の一部の実装において、動き候補は、片予測候補及び双予測候補を含み、片予測候補及び双予測候補は、両方の参照ピクチャリストに同じ参照ピクチャを使用する。
【0030】
第４の例示的な実施形態の一部の実装において、第１の動き候補リストは、空間ブロックからの動き情報を有する動き候補を含む。第４の例示的実施形態の一部の実装において、空間ブロックは、第１の映像ブロックに隣接する又は隣接しない。第４の例示的な実施形態の一部の実装において、動き候補は、履歴ベース動きベクトル予測（ＨＭＶＰ）候補を含む。第４の例示的な実施形態の一部の実装において、第１の動き候補リストは、予め定められた又は計算された動きベクトルを有する少なくとも１つのデフォルト動き候補を含む。第４の例示的な実施形態の一部の実装において、予め定められた又は計算された動きベクトルは、（１）第１の映像ブロックの位置、（２）イントラブロックコピー（ＩＢＣ）モードの許容探索範囲、及び（３）動き補償ブロックの最大許容ユニットサイズのうちのいずれか１つ以上に基づく。
【0031】
第４の例示的な実施形態の一部の実装において、動き補償ブロックの最大許容ユニットサイズは６４×６４ピクセルである。第４の例示的な実施形態の一部の実装において、第１の動き候補リストのリストサイズは、第１の動き候補リストに許容される動き候補の予め定められた最大数である。第４の例示的な実施形態の一部の実装において、リストサイズは５又は６である。第４の例示的な実施形態の一部の実装において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、別個に信号伝達される。
【0032】
第４の例示的な実施形態の一部の実装において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、一度に信号伝達され、第１の動き候補リスト及び少なくとも１つの更なる動き候補リストを有する複数タイプの動き候補リストに適用される。第４の例示的な実施形態の一部の実装において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット（ＣＴＵ）、符号化ユニット（ＣＵ）、又は予測ユニット（ＰＵ）を用いて信号伝達される。
【0033】
第４の例示的な実施形態の一部の実装において、少なくとも１つの更なる動き候補リストは、空間隣接ブロックのみから導出された動き候補を除外する時間候補リスト、又は時間隣接ブロックのみから導出された動き候補を除外する空間候補リスト、又は時間的若しくは空間隣接ブロックのみから導出された動き候補を除外して履歴ベース動きベクトル予測（ＨＭＶＰ）候補を含むＨＭＶＰ候補リストである。第４の例示的な実施形態の一部の実装において、当該方法は更に、第１の映像ブロックに対して、第１の動き候補リスト構築方法とは異なる第２の動き候補リスト構築方法を用いて、第２の動き候補リストを構築することを含む。第４の例示的な実施形態の一部の実装において、第２の動き候補リストは、空間隣接ブロックのみから導出された動き候補を除外する時間候補リスト、又は時間的若しくは空間隣接ブロックのみから導出された動き候補を除外するＨＭＶＰ候補リストである。
【0034】
第４の例示的な実施形態の一部の実装において、ビットストリーム表現は、第１及び第２の動き候補リスト構築方法を含む複数の動き候補リスト構築方法に対応する複数の動き候補リストのセット内のリストを特定するリストインデックスを含む。第４の例示的な実施形態の一部の実装において、当該方法は更に、モードに基づいて、複数の動き候補リスト構築方法を用いた複数の動き候補リストの使用、又は１つの動き候補リスト構築方法を用いた１つの動き候補リストのみの使用を決定することを含む。
【0035】
第４の例示的な実施形態の一部の実装において、複数の動き候補リスト構築方法を用いた複数の動き候補リストの使用が無効にされるとき、第１の動き候補リストのリストインデックスがモードに対して無効にされ、信号伝達されない。第４の例示的な実施形態の一部の実装において、当該方法は更に、モードに基づいて、第１の映像ブロックに対する第１の動き候補リスト構築方法が有効にされると決定することを含む。第４の例示的な実施形態の一部の実装において、モードはマージモードである。第４の例示的な実施形態の一部の実装において、モードはアドバンスト動きベクトル予測（ＡＭＶＰ）モードである。第４の例示的な実施形態の一部の実装において、モードは三角予測（ＴＰＭ）モードである。
【0036】
第４の例示的な実施形態の一部の実装において、モードは、ブロック寸法に関係付けられる。第４の例示的な実施形態の一部の実装において、ブロック寸法は、閾値以上である第１の映像ブロックの高さと幅の積を含む。第４の例示的な実施形態の一部の実装において、閾値は６４である。第４の例示的な実施形態の一部の実装において、第１の映像ブロックの高さは第１の閾値以上であり、第１の映像ブロックの幅は第２の閾値以上である。第４の例示的な実施形態の一部の実装において、第１の閾値は１６であり、第２の閾値は１６である。
【0037】
第４の例示的な実施形態の一部の実装において、第１の動き候補リストは、上記モードで符号化される映像ブロックに対して、単一の動き候補リストを有する。第４の例示的な実施形態の一部の実装において、第１の動き候補リストは、上記モードで符号化されない映像ブロックに対して、単一の動き候補リストを有する。第４の例示的な実施形態の一部の実装において、第１及び第２の例示的な実施形態の一部の実装において、変換を実行することは、ビットストリーム表現から第１の映像ブロックのピクセル値を生成することを有する。第４の例示的な実施形態の一部の実装において、変換を実行することは、第１の映像ブロックのピクセル値からビットストリーム表現を生成することを有する。
【0038】
第５の例示的な実施形態は、映像処理の方法を記述し、当該方法は、映像の第１の映像ブロックに対して、履歴ベース動きベクトル予測（ＨＭＶＰ）候補のみに関係する動き候補を含める第１の動き候補リスト構築方法を用いて、第１の動き候補リストを構築することと、構築した第１の動き候補リストに従って、第１の映像ブロックと、第１の映像ブロックを含む映像のビットストリーム表現との間での変換を実行することとを有する。
【0039】
第５の例示的な実施形態の一部の実装において、第１の動き候補リストはデフォルト動きベクトル候補を有する。第５の例示的な実施形態の一部の実装において、デフォルト動きベクトル候補はゼロ動きベクトル候補を含む。第５の例示的な実施形態の一部の実装において、第１の動き候補リストは、既存のＨＭＶＰ候補から導出された候補を有する。第５の例示的な実施形態の一部の実装において、第１の動き候補リストのリストサイズは、第１の動き候補リストに許容される動き候補の予め定められた最大数である。第５の例示的な実施形態の一部の実装において、リストサイズは５又は６である。第５の例示的な実施形態の一部の実装において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、別個に信号伝達される。
【0040】
第５の例示的な実施形態の一部の実装において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、一度に信号伝達され、第１の動き候補リスト及び少なくとも１つの更なる動き候補リストを有する複数タイプの動き候補リストに適用される。第５の例示的な実施形態の一部の実装において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット（ＣＴＵ）、符号化ユニット（ＣＵ）、又は予測ユニット（ＰＵ）を用いて信号伝達される。
【0041】
第５の例示的な実施形態の一部の実装において、少なくとも１つの更なる動き候補リストは、空間隣接ブロックのみから導出された動き候補を除外する時間候補リスト、又は時間隣接ブロックのみから導出された動き候補を除外する空間候補リスト、又は時間的若しくは空間隣接ブロックのみから導出された動き候補を除外して履歴ベース動きベクトル予測（ＨＭＶＰ）候補を含むＨＭＶＰ候補リストである。第５の例示的な実施形態の一部の実装において、当該方法は更に、第１の映像ブロックに対して、第１の動き候補リスト構築方法とは異なる第２の動き候補リスト構築方法を用いて、第２の動き候補リストを構築することを含む。
【0042】
第５の例示的な実施形態の一部の実装において、第２の動き候補リストは、空間隣接ブロックのみから導出された動き候補を除外する時間候補リスト、又は時間的若しくは空間隣接ブロックのみから導出された動き候補を除外するＨＭＶＰ候補リストである。第５の例示的な実施形態の一部の実装において、ビットストリーム表現は、第１及び第２の動き候補リスト構築方法を含む複数の動き候補リスト構築方法に対応する複数の動き候補リストのセット内のリストを特定するリストインデックスを含む。第５の例示的な実施形態の一部の実装において、当該方法は更に、モードに基づいて、複数の動き候補リスト構築方法を用いた複数の動き候補リストの使用、又は１つの動き候補リスト構築方法を用いた１つの動き候補リストのみの使用を決定することを含む。第５の例示的な実施形態の一部の実装において、複数の動き候補リスト構築方法を用いた複数の動き候補リストの使用が無効にされるとき、第１の動き候補リストのリストインデックスがモードに対して無効にされ、信号伝達されない。
【0043】
第５の例示的な実施形態の一部の実装において、当該方法は更に、モードに基づいて、第１の映像ブロックに対する第１の動き候補リスト構築方法が有効にされると決定することを含む。第５の例示的な実施形態の一部の実装において、モードはマージモードである。第５の例示的な実施形態の一部の実装において、モードはアドバンスト動きベクトル予測（ＡＭＶＰ）モードである。第５の例示的な実施形態の一部の実装において、モードは三角予測（ＴＰＭ）モードである。
【0044】
第５の例示的な実施形態の一部の実装において、当該方法は、イントラブロックコピー（ＩＢＣ）モードに基づいて、第１の映像ブロックに対して動きベクトルを生成することを有し、ＩＢＣモードは、第１の映像ブロックを参照ピクチャとして含む現在ピクチャ又は現在タイル又は現在スライスを使用する。第５の例示的な実施形態の一部の実装において、モードは、ブロック寸法に関係付けられる。第５の例示的な実施形態の一部の実装において、ブロック寸法は、閾値以上である第１の映像ブロックの高さと幅の積を含む。第５の例示的な実施形態の一部の実装において、ブロック寸法は、閾値未満である第１の映像ブロックの高さと幅の積を含む。第５の例示的な実施形態の一部の実装において、閾値は１６又は６４である。
【0045】
第５の例示的な実施形態の一部の実装において、第１の映像ブロックの高さは第１の閾値以上であり、第１の映像ブロックの幅は第２の閾値以上である。第５の例示的な実施形態の一部の実装において、第１の閾値は１６であり、第２の閾値は１６である。第５の例示的な実施形態の一部の実装において、第１の動き候補リストは、上記モードで符号化される映像ブロックに対して、単一の動き候補リストを有する。第５の例示的な実施形態の一部の実装において、第１の動き候補リストは、上記モードで符号化されない映像ブロックに対して、単一の動き候補リストを有する。第５の例示的な実施形態の一部の実装において、第１及び第２の例示的な実施形態の一部の実装において、変換を実行することは、ビットストリーム表現から第１の映像ブロックのピクセル値を生成することを有する。第５の例示的な実施形態の一部の実装において、変換を実行することは、第１の映像ブロックのピクセル値からビットストリーム表現を生成することを有する。
【0046】
更なる他の代表的な一態様において、上述の方法は、プロセッサ実行可能コードの形態で具体化され、コンピュータ読み取り可能なプログラム媒体に格納される。
【0047】
更なる他の代表的な一態様において、上述の方法を実行するように構成された又は動作可能な装置が開示される。当該装置は、この方法を実装するようにプログラムされたプロセッサを含み得る。
【0048】
更なる他の代表的な一態様において、ビデオデコーダ装置が、ここに記載される方法を実装し得る。
【0049】
開示される技術の上述の及び他の態様及び特徴が、図面、明細書、及び特許請求の範囲に更に詳細に記載される。
【図面の簡単な説明】
【0050】
【図1】マージ候補リストを構築することの一例を示している。
【図2】空間候補の位置の一例を示している。
【図3】空間マージ候補の冗長性検査にかけられる候補ペアの一例を示している。
【図5】時間マージ候補に対する動きベクトルスケーリングの一例を示している。
【図6】時間マージ候補についての候補位置の一例を示している。
【図7】結合双予測マージ候補を生成することの一例を示している。
【図8】動きベクトル予測候補を構築することの一例を示している。
【図9】空間動きベクトル候補に対する動きベクトルスケーリングの一例を示している。
【図10】符号化ユニット（ＣＵ）に対して代替的時間動きベクトル予測（ＡＴＭＶＰ）アルゴリズムを用いる動き予測の一例を示している。
【図11】空間時間動きベクトル予測（ＳＴＭＶＰ）アルゴリズムによって使用されるサブブロック及び隣接ブロックを備えた符号化ユニット（ＣＵ）の一例を示している。
【図12】異なるＭＶ精度で符号化することのフローチャートの一例を示している。
【図14】隣接ブロックの位置の一例を示している。
【図15】三角予測モード（ＴＰＭ）フラグ符号化におけるコンテキスト選択に使用される隣接ブロックの一例を示している。
【図16A】単純化された４パラメータアフィンモデルの一例を示している。
【図16B】単純化された６パラメータアフィンモデルの一例を示している。
【図17】サブブロックごとのアフィン動きベクトル場（ＭＶＦ）の一例を示している。
【図18A】４パラメータアフィンモデルの一例を示している。
【図18B】６パラメータアフィンモデルの一例を示している。
【図19】継承アフィン候補に対するＡＦ＿ＩＮＴＥＲのための動きベクトル予測の一例を示している。
【図20】構築アフィン候補に対するＡＦ＿ＩＮＴＥＲのための動きベクトル予測の一例を示している。
【図22】アフィンマージモードに関する候補位置の一例を示している。
【図23】イントラピクチャブロックコピーの一例を示している。
【図24】履歴ベース動きベクトル予測（ＨＭＶＰ）候補に対する符号化フローの一例を示している。
【図25】改良マージリスト構築プロセスの一例を示している。
【図27】本文書に記載されるビジュアルメディア復号技術又はビジュアルメディア符号化技術を実装するためのハードウェアプラットフォームの一例のブロック図である。
【図28】開示される技術が実装され得る映像処理システムの一例のブロック図である。
【発明を実施するための形態】
【0051】
より高い解像度の映像に対する高まる要求により、映像符号化方法及び技術は、現代技術においてどこにでも見られるものになっている。映像コーデックは、典型的に、デジタル映像を圧縮又は解凍する電子回路又はソフトウェアを含み、より高い符号化効率を提供するために絶えず改良されている。映像コーデックは、圧縮されていない映像を圧縮フォーマットに変換し、又はその逆の変換を行う。映像品質、映像を表現するために使用されるデータの量（ビットレートによって決定される）、符号化及び復号のアルゴリズムの複雑さ、データ損失及び誤差に対する感度、編集の容易さ、ランダムアクセス、及びエンド・ツー・エンド遅延（レイテンシ）の間に複雑な関係がある。圧縮フォーマットは、通常、例えばＨＥＶＣ（High Efficiency Video Coding）標準（Ｈ．２６５又はＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られている）、成立されることになるＶＶＣ（Versatile Video Coding）標準、又は他の現在及び／又は将来の映像符号化標準といった、標準映像圧縮仕様に準拠する。
【0052】
開示される技術の実施形態は、圧縮性能を改善するために、既存の映像符号化標準（例えば、ＨＥＶＣ、Ｈ．２６５）及び将来の標準に適用され得る。本文書では、説明の読みやすさを向上させるためにセクション見出しを使用するが、それらセクション見出しは、説明又は実施形態（及び／又は実装）をそれぞれのセクションのみに限定するものではない。
【0053】
１ ＨＥＶＣ／Ｈ．２６５におけるインター予測の例
映像符号化標準は、長年にわたって大幅に改良されており、今では、部分的に高い符号化効率を提供するとともに、高い解像度をサポートしている。例えばＨＥＶＣ及びＨ．２６５などの最近の標準は、時間予測に加えて変換符号化が利用されるハイブリッド映像符号化構造に基づいている。
映像符号化標準は、長年にわたって大幅に改良されており、今では、部分的に高い符号化効率を提供するとともに、高い解像度をサポートしている。例えばＨＥＶＣ及びＨ．２６５などの最近の標準は、時間予測に加えて変換符号化が利用されるハイブリッド映像符号化構造に基づいている。
【0054】
１．１ 予測モードの例
インター予測による各ＰＵ（予測ユニット）は、１つ又は２つの参照ピクチャリストに関する動きパラメータを有する。一部の実施形態において、動きパラメータは、動きベクトル及び参照ピクチャインデックスを含む。他の実施形態において、２つの参照ピクチャリストのうちの１つの使用がまた、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃを用いて信号伝達され得る。更なる他の実施形態において、動きベクトルは、予測子に対するデルタとして明示的に符号化され得る。
インター予測による各ＰＵ（予測ユニット）は、１つ又は２つの参照ピクチャリストに関する動きパラメータを有する。一部の実施形態において、動きパラメータは、動きベクトル及び参照ピクチャインデックスを含む。他の実施形態において、２つの参照ピクチャリストのうちの１つの使用がまた、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃを用いて信号伝達され得る。更なる他の実施形態において、動きベクトルは、予測子に対するデルタとして明示的に符号化され得る。
【0055】
ＣＵがスキップモードで符号化される場合、そのＣＵに１つのＰＵが関連付けられ、有意な残差係数は存在せず、符号化された動きベクトルデルタ又は参照ピクチャインデックスは存在しない。マージモードが規定されており、それによれば、現在ＰＵに関する動きパラメータが、空間候補及び時間候補を含め、隣接するＰＵから取得される。マージモードは、スキップモードに対してだけでなく、任意のインター予測ＰＵに適用されることができる。マージモードに代わるものは、動きパラメータの明示的な伝送であり、それにおいては、動きベクトル、各参照ピクチャリストに関する対応する参照ピクチャインデックス、及び参照ピクチャリスト使用が、ＰＵごとに明示的に信号伝達される。
【0056】
２つの参照ピクチャリストのうちの一方が使用されることを信号伝達が指し示すとき、そのＰＵは、１つのブロックのサンプルから生成される。これは、‘片予測（uni-prediction）’と呼ばれている。片予測は、Ｐスライス及びＢスライスの両方で利用可能である。
【0057】
それら参照ピクチャリストの両方が使用されることを信号伝達が指し示すとき、そのＰＵは、２つのブロックのサンプルから生成される。これは、‘双予測（bi-prediction）’と呼ばれている。双予測は、Ｂスライスでのみ利用可能である。
【0058】
参照ピクチャリスト
ＨＥＶＣにおいて、インター予測という用語は、現在復号されているピクチャ以外の参照ピクチャのデータ要素（例えば、サンプル値又は動きベクトル）から導出される予測を表記するために使用される。Ｈ．２６４／ＡＶＣにおいてと同様に、ピクチャは複数の参照ピクチャから予測されることができる。インター予測に使用される参照ピクチャは、１つ以上の参照ピクチャリストに編成される。予測信号を作成するためにリスト内の参照ピクチャのうちのどれが使用されるべきかを参照インデックスが特定する。
ＨＥＶＣにおいて、インター予測という用語は、現在復号されているピクチャ以外の参照ピクチャのデータ要素（例えば、サンプル値又は動きベクトル）から導出される予測を表記するために使用される。Ｈ．２６４／ＡＶＣにおいてと同様に、ピクチャは複数の参照ピクチャから予測されることができる。インター予測に使用される参照ピクチャは、１つ以上の参照ピクチャリストに編成される。予測信号を作成するためにリスト内の参照ピクチャのうちのどれが使用されるべきかを参照インデックスが特定する。
【0059】
Ｐスライスには、Ｌｉｓｔ０なる単一の参照ピクチャリストが使用され、Ｂスライスには、Ｌｉｓｔ０及びＬｉｓｔ１なる２つの参照ピクチャリストが使用される。なお、Ｌｉｓｔ０／１に含まれる参照ピクチャは、キャプチャ／表示順に関して過去及び将来のピクチャからであり得る。
【0060】
１．１．１ マージモードに関する候補を構築することの実施形態
マージモードを使用してＰＵが予測されるとき、マージ候補リスト内のエントリを指すインデックスがビットストリームから構文解析され、動き情報を取り出すために使用される。このリストの構築は、以下の一連のステップに従って要約され得る。
マージモードを使用してＰＵが予測されるとき、マージ候補リスト内のエントリを指すインデックスがビットストリームから構文解析され、動き情報を取り出すために使用される。このリストの構築は、以下の一連のステップに従って要約され得る。
【0061】
ステップ１：初期候補導出
ステップ１．１：空間候補導出
ステップ１．２：空間候補に関する冗長性検査
ステップ１．３：時間候補導出
ステップ２：追加候補挿入
ステップ２．１：双予測候補の作成
ステップ２．２：ゼロ動き候補の挿入
図１は、上に要約した一連のステップに基づいてマージ候補リストを構築することの一例を示している。空間マージ候補導出のために、５つの異なる位置にある候補の中から最大４つのマージ候補が選択される。時間マージ候補導出のために、２つの候補の中から最大１つのマージ候補が選択される。デコーダで各ＰＵに対して一定数の候補が仮定されるので、候補の数が、スライスヘッダ内で信号伝達されるマージ候補の最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）に達しない場合、追加候補が生成される。候補の数は一定であるので、最良のマージ候補のインデックスが、ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ ｂｉｎａｒｉｚａｔｉｏｎ（ＴＵ）を用いて符号化される。ＣＵのサイズが８に等しい場合、現在ＣＵの全てのＰＵが、２Ｎ×２Ｎ予測ユニットのマージ候補リストと同じものである単一のマージ候補リストを共有する。
ステップ１．１：空間候補導出
ステップ１．２：空間候補に関する冗長性検査
ステップ１．３：時間候補導出
ステップ２：追加候補挿入
ステップ２．１：双予測候補の作成
ステップ２．２：ゼロ動き候補の挿入
図１は、上に要約した一連のステップに基づいてマージ候補リストを構築することの一例を示している。空間マージ候補導出のために、５つの異なる位置にある候補の中から最大４つのマージ候補が選択される。時間マージ候補導出のために、２つの候補の中から最大１つのマージ候補が選択される。デコーダで各ＰＵに対して一定数の候補が仮定されるので、候補の数が、スライスヘッダ内で信号伝達されるマージ候補の最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）に達しない場合、追加候補が生成される。候補の数は一定であるので、最良のマージ候補のインデックスが、ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ ｂｉｎａｒｉｚａｔｉｏｎ（ＴＵ）を用いて符号化される。ＣＵのサイズが８に等しい場合、現在ＣＵの全てのＰＵが、２Ｎ×２Ｎ予測ユニットのマージ候補リストと同じものである単一のマージ候補リストを共有する。
【0062】
１．１．２ 空間マージ候補の構築
空間マージ候補の導出では、図２に示す位置にある候補の中から最大４つのマージ候補が選択される。導出の順序はＡ１、Ｂ１、Ｂ０、Ａ０、及びＢ２である。位置Ｂ２は、位置Ａ１、Ｂ１、Ｂ０、Ａ０のうちのいずれかのＰＵが利用可能でない場合（例えば、それが別のスライス又はタイルに属するため）又はイントラコード化される場合にのみ考慮される。位置Ａ１の候補が追加された後、残りの候補の追加は、符号化効率が向上されるように、同じ動き情報を有する候補がリストから除外されることを保証する冗長性検査にかけられる。
空間マージ候補の導出では、図２に示す位置にある候補の中から最大４つのマージ候補が選択される。導出の順序はＡ１、Ｂ１、Ｂ０、Ａ０、及びＢ２である。位置Ｂ２は、位置Ａ１、Ｂ１、Ｂ０、Ａ０のうちのいずれかのＰＵが利用可能でない場合（例えば、それが別のスライス又はタイルに属するため）又はイントラコード化される場合にのみ考慮される。位置Ａ１の候補が追加された後、残りの候補の追加は、符号化効率が向上されるように、同じ動き情報を有する候補がリストから除外されることを保証する冗長性検査にかけられる。
【0063】
計算複雑性を低減させるために、前述の冗長性検査では、可能な全ての候補ペアが考慮されるわけではない。その代わりに、図３の矢印で結び付けられたペアのみが考慮され、冗長性検査に使用される対応する候補が同じ動き情報を持たない場合にのみ、候補がリストに追加される。重複動き情報の別の発生源は、２Ｎ×２Ｎとは異なる分割に関連する“第２のＰＵ”である。一例として、図４Ａ及び４Ｂは、それぞれ、Ｎ×２Ｎ及び２Ｎ×Ｎの場合の第２のＰＵを示している。現在ＰＵがＮ×２Ｎに分割されるとき、Ａ１にある候補はリスト構築に考慮されない。一部の実施形態において、この候補を追加することは、同じ動き情報を有する２つの予測ユニットにつながり得るものであり、それは、符号化ユニット内に１つのみのＰＵを有することには冗長である。同様に、現在ＰＵが２Ｎ×Ｎに分割されるとき、位置Ｂ１は考慮されない。
【0064】
１．１．３ 時間マージ候補の構築
このステップでは、１つの候補のみがリストに追加される。特に、この時間マージ候補の導出では、所与の参照ピクチャリスト内で現在ピクチャとのＰＯＣ差が最小であるピクチャに属するコロケートＰＵに基づいて、スケーリングされた動きベクトルが導出される。コロケートＰＵの導出に使用される参照ピクチャリストは、スライスヘッダ内で明示的に信号伝達される。
このステップでは、１つの候補のみがリストに追加される。特に、この時間マージ候補の導出では、所与の参照ピクチャリスト内で現在ピクチャとのＰＯＣ差が最小であるピクチャに属するコロケートＰＵに基づいて、スケーリングされた動きベクトルが導出される。コロケートＰＵの導出に使用される参照ピクチャリストは、スライスヘッダ内で明示的に信号伝達される。
【0065】
図５は、時間マージ候補に関するスケーリングされた動きベクトルの導出の一例を（点線として）示しており、それは、ＰＯＣ距離ｔｂ及びｔｄを用いて、コロケートＰＵ（ｃｏｌ＿ＰＵ）の動きベクトルからスケーリングされるものであり、ここで、ｔｂは、現在ピクチャ（ｃｕｒｒ＿ｐｉｃ）の参照ピクチャ（ｃｕｒｒ＿ｒｅｆ）と現在ピクチャとの間のＰＯＣ差であると定義され、ｔｄは、コロケートピクチャ（ｃｏｌ＿ｐｉｃ）の参照ピクチャ（ｃｏｌ＿ｒｅｆ）とコロケートピクチャとの間のＰＯＣ差であると定義される。時間マージ候補の参照ピクチャインデックスは、ゼロに等しく設定される。Ｂスライスでは、一方が参照ピクチャリスト０に関し、他方が参照ピクチャリスト１に関するものである２つの動きベクトルが得られ、これらが組み合わされて、双予測マージ候補をなす。
【0066】
参照フレームに属するコロケートＰＵ（Ｙ）では、図６に示すように、時間候補に関する位置が、候補Ｃ０及びＣ１の間で選択される。位置Ｃ０のＰＵが利用可能でない、又はイントラ符号化される、又は現在ＣＴＵの外側にある場合、位置Ｃ１が使用される。それ以外の場合には、位置Ｃ０が時間マージ候補の導出に使用される。
【0067】
１．１．４ 更なるタイプのマージ候補の構築
空間－時間マージ候補の他に、結合双予測マージ候補及びゼロマージ候補という２つの更なるタイプのマージ候補が存在する。結合双予測マージ候補は、空間－時間マージ候補を利用することによって生成される。結合双予測マージ候補はＢスライスのみに使用される。結合双予測候補は、当初候補の第１の参照ピクチャリスト動きパラメータを別のものの第２の参照ピクチャリスト動きパラメータと組み合わせることによって生成される。これら２つのタプルが異なる動き仮説を提供する場合、それらは新たな双予測候補を形成する。
空間－時間マージ候補の他に、結合双予測マージ候補及びゼロマージ候補という２つの更なるタイプのマージ候補が存在する。結合双予測マージ候補は、空間－時間マージ候補を利用することによって生成される。結合双予測マージ候補はＢスライスのみに使用される。結合双予測候補は、当初候補の第１の参照ピクチャリスト動きパラメータを別のものの第２の参照ピクチャリスト動きパラメータと組み合わせることによって生成される。これら２つのタプルが異なる動き仮説を提供する場合、それらは新たな双予測候補を形成する。
【0068】
図７は、このプロセスの一例を示しており、ｍｖＬ０とｒｅｆＩｄｘＬ０、又はｍｖＬ１とｒｅｆＩｄｘＬ１、を有するものである元のリスト（左側の７１０）内の２つの候補を用いて、最終的なリスト（右側の７２０）に追加される結合双予測マージ候補が作成される。
【0069】
マージ候補リストの残りのエントリを埋め、それ故にＭａｘＮｕｍＭｅｒｇｅＣａｎｄ容量に達するように、ゼロ動き候補が挿入される。これらの候補は、ゼロの空間変位と、ゼロから始まり、新たなゼロ動き候補がリストに追加される度に増加する参照ピクチャインデックスと、を有する。これらの候補によって使用される参照フレームの数は、片方向予測及び双方向予測についてそれぞれ１及び２である。一部の実施形態において、これらの候補に対して冗長性検査は行われない。
【0070】
１．１．５ 並列処理に関する動き推定領域の例
符号化プロセスを高速化するために、動き推定を並列に実行することができ、それにより、所与の領域内の全ての予測ユニットに関する動きベクトルが同時に導出される。空間的に隣接するものからのマージ候補の導出は、並列処理を妨げてしまい得る。何故なら、１つの予測ユニットは、それに関連する動き推定が完了するまで、隣接ＰＵから動きパラメータを導出することができないからである。符号化効率と処理レイテンシとの間のトレードオフを緩和するために、動き推定領域（motion estimation region；ＭＥＲ）が規定され得る。ＭＥＲのサイズは、“ｌｏｇ２＿ｐａｒａｌｌｅｌ＿ｍｅｒｇｅ＿ｌｅｖｅｌ＿ｍｉｎｕｓ２”構文要素を用いてピクチャパラメータセット（ＰＰＳ）内で信号伝達され得る。ＭＥＲが規定される場合、同じ領域に入るマージ候補は、利用不可とマークされ、それ故に、リスト構築において考慮されない。
符号化プロセスを高速化するために、動き推定を並列に実行することができ、それにより、所与の領域内の全ての予測ユニットに関する動きベクトルが同時に導出される。空間的に隣接するものからのマージ候補の導出は、並列処理を妨げてしまい得る。何故なら、１つの予測ユニットは、それに関連する動き推定が完了するまで、隣接ＰＵから動きパラメータを導出することができないからである。符号化効率と処理レイテンシとの間のトレードオフを緩和するために、動き推定領域（motion estimation region；ＭＥＲ）が規定され得る。ＭＥＲのサイズは、“ｌｏｇ２＿ｐａｒａｌｌｅｌ＿ｍｅｒｇｅ＿ｌｅｖｅｌ＿ｍｉｎｕｓ２”構文要素を用いてピクチャパラメータセット（ＰＰＳ）内で信号伝達され得る。ＭＥＲが規定される場合、同じ領域に入るマージ候補は、利用不可とマークされ、それ故に、リスト構築において考慮されない。
【0071】
１．２ アドバンスト動きベクトル予測（ＡＭＶＰ）の実施形態
ＡＭＶＰは、隣接ＰＵとの動きベクトルの空間－時間相関を利用し、それが動きパラメータの明示的伝送に使用される。これは、先ず、左上の時間的に隣接するＰＵ位置の利用可能性を検査し、冗長候補を除去し、そして、ゼロベクトルを追加して候補リストを一定長さにすることによって、動きベクトル候補リストを構築する。そして、エンコーダは、候補リストから最良の予測子を選択し、選択した候補を指し示す対応するインデックスを送信することができる。同様に、マージインデックス信号伝達では、最良の動きベクトル候補のインデックスがｔｒｕｎｃａｔｅｄ ｕｎａｒｙを用いて符号化される。この場合に符号化される最大値は２である（図８参照）。以下のセクションにて、動きベクトル予測候補の導出プロセスの詳細を提供する。
ＡＭＶＰは、隣接ＰＵとの動きベクトルの空間－時間相関を利用し、それが動きパラメータの明示的伝送に使用される。これは、先ず、左上の時間的に隣接するＰＵ位置の利用可能性を検査し、冗長候補を除去し、そして、ゼロベクトルを追加して候補リストを一定長さにすることによって、動きベクトル候補リストを構築する。そして、エンコーダは、候補リストから最良の予測子を選択し、選択した候補を指し示す対応するインデックスを送信することができる。同様に、マージインデックス信号伝達では、最良の動きベクトル候補のインデックスがｔｒｕｎｃａｔｅｄ ｕｎａｒｙを用いて符号化される。この場合に符号化される最大値は２である（図８参照）。以下のセクションにて、動きベクトル予測候補の導出プロセスの詳細を提供する。
【0072】
１．２．１ ＡＭＶＰ候補を導出することの例
図８は、動きベクトル予測候補に関する導出プロセスをまとめたものであり、入力としてｒｅｆｉｄｘを用いて各参照ピクチャリストに対して実行され得る。
図８は、動きベクトル予測候補に関する導出プロセスをまとめたものであり、入力としてｒｅｆｉｄｘを用いて各参照ピクチャリストに対して実行され得る。
【0073】
動きベクトル予測では、空間動きベクトル候補及び時間動きベクトル候補の２種類の動きベクトル候補が考慮される。空間動きベクトル候補導出では、先に図２で示したような５つの異なる位置にある各ＰＵの動きベクトルに基づいて、最終的に２つの動きベクトル候補が導出される。
【0074】
時間動きベクトル候補導出では、２つの異なるコロケート位置に基づいて導出されるものである２つの候補から、１つの動きベクトル候補が選択される。空間－時間候補の第１のリストが作成された後、リスト内の重複した動きベクトル候補が除去される。可能性ある候補の数が２よりも多い場合、関連する参照ピクチャリスト内でその参照ピクチャインデックスが１よりも大きい動きベクトル候補がリストから削除される。空間－時間動きベクトル候補の数が２より少ない場合、追加のゼロ動きベクトル候補がリストに追加される。
【0075】
１．２．２ 空間動きベクトル候補の構築
空間動きベクトル候補の導出においては、先に図２で示したような位置にあるＰＵから導出されるものである５つの可能性ある候補の中の最大２つの候補が考慮され、それらの位置は動きマージの位置と同じである。現在ＰＵの左側についての導出の順序が、Ａ０、Ａ１、及びスケーリングされたＡ０、スケーリングされたＡ１として定められる。現在ＰＵの上側についての導出の順序が、Ｂ０、Ｂ１、Ｂ２、スケーリングされたＢ０、スケーリングされたＢ１、スケーリングされたＢ２として定められる。従って、各側について、動きベクトル候補として使用され得る４つのケースが存在し、２つのケースは空間スケーリングを使用する必要がなく、２つのケースでは空間スケーリングが使用される。それら４つの異なるケースは、以下のようにまとめられる。
空間動きベクトル候補の導出においては、先に図２で示したような位置にあるＰＵから導出されるものである５つの可能性ある候補の中の最大２つの候補が考慮され、それらの位置は動きマージの位置と同じである。現在ＰＵの左側についての導出の順序が、Ａ０、Ａ１、及びスケーリングされたＡ０、スケーリングされたＡ１として定められる。現在ＰＵの上側についての導出の順序が、Ｂ０、Ｂ１、Ｂ２、スケーリングされたＢ０、スケーリングされたＢ１、スケーリングされたＢ２として定められる。従って、各側について、動きベクトル候補として使用され得る４つのケースが存在し、２つのケースは空間スケーリングを使用する必要がなく、２つのケースでは空間スケーリングが使用される。それら４つの異なるケースは、以下のようにまとめられる。
【0076】
－空間スケーリングなし
（１）同一参照ピクチャリスト、且つ同一参照ピクチャインデックス（同一ＰＯＣ）
（２）異なる参照ピクチャリスト、しかし、同一参照ピクチャ（同一ＰＯＣ）
－空間スケーリング
（３）同一参照ピクチャリスト、しかし、異なる参照ピクチャ（異なるＰＯＣ）
（４）異なる参照ピクチャリスト、且つ異なる参照ピクチャ（異なるＰＯＣ）
（１）同一参照ピクチャリスト、且つ同一参照ピクチャインデックス（同一ＰＯＣ）
（２）異なる参照ピクチャリスト、しかし、同一参照ピクチャ（同一ＰＯＣ）
－空間スケーリング
（３）同一参照ピクチャリスト、しかし、異なる参照ピクチャ（異なるＰＯＣ）
（４）異なる参照ピクチャリスト、且つ異なる参照ピクチャ（異なるＰＯＣ）
【0077】
空間スケーリングなしのケースが最初に検査され、空間スケーリングを可能にするケースが続く。空間スケーリングは、参照ピクチャリストにかかわらず、隣接ＰＵの参照ピクチャと現在ＰＵの参照ピクチャとの間でＰＯＣが異なる場合に考慮される。左候補の全てのＰＵが利用可能でない又はイントラ符号化される場合、左及び上のＭＶ候補の並列導出を助けるために、上の動きベクトルに対するスケーリングが可能にされる。それ以外の場合には、上の動きベクトルに対して空間スケーリングは可能にされない。
【0078】
図９の例に示すように、空間スケーリングのケースでは、隣接ＰＵの動きベクトルが、時間スケーリングに関してと同様のやり方でスケーリングされる。１つの違いは、参照ピクチャリスト及び現在ＰＵのインデックスが入力として与えられることであり、実際のスケーリングプロセスは時間スケーリングのそれと同じである。
【0079】
１．２．３ 時間動きベクトル候補の構築
参照ピクチャインデックスの導出は別にして、時間マージ候補の導出のための全てのプロセスは、（図６の例に示したような）空間動きベクトル候補の導出に関してと同じである。一部の実施形態において、参照ピクチャインデックスがデコーダに信号伝達される。
参照ピクチャインデックスの導出は別にして、時間マージ候補の導出のための全てのプロセスは、（図６の例に示したような）空間動きベクトル候補の導出に関してと同じである。一部の実施形態において、参照ピクチャインデックスがデコーダに信号伝達される。
【0080】
２． 共同探索モデル（Joint Exploration Model；ＪＥＭ）におけるインター予測方法の例
一部の実施形態において、将来の映像符号化技術が、共同探索モデル（ＪＥＭ）として知られる参照ソフトウェアを用いて探索される。ＪＥＭでは、サブブロックベースの予測が、例えばアフィン予測、代替的時間動きベクトル予測（alternative temporal motion vector prediction；ＡＴＭＶＰ）、空間時間動きベクトル予測（spatial-temporal motion vector prediction；ＳＴＭＶＰ）、双方向オプティカルフロー（bi-directional optical flow；ＢＩＯ）、フレームレートアップコンバージョン（Frame-Rate Up Conversion；ＦＲＵＣ）、局所適応動きベクトルレゾリューション（Locally Adaptive Motion Vector Resolution；ＬＡＭＶＲ）、オーバーラップブロック運動補償（Overlapped Block Motion Compensation；ＯＢＭＣ）、局所照明補償（Local Illumination Compensation；ＬＩＣ）、デコーダ側動きベクトル精緻化（Decoder-side Motion Vector Refinement；ＤＭＶＲ）などの、いくつかの符号化ツールに採用される。
一部の実施形態において、将来の映像符号化技術が、共同探索モデル（ＪＥＭ）として知られる参照ソフトウェアを用いて探索される。ＪＥＭでは、サブブロックベースの予測が、例えばアフィン予測、代替的時間動きベクトル予測（alternative temporal motion vector prediction；ＡＴＭＶＰ）、空間時間動きベクトル予測（spatial-temporal motion vector prediction；ＳＴＭＶＰ）、双方向オプティカルフロー（bi-directional optical flow；ＢＩＯ）、フレームレートアップコンバージョン（Frame-Rate Up Conversion；ＦＲＵＣ）、局所適応動きベクトルレゾリューション（Locally Adaptive Motion Vector Resolution；ＬＡＭＶＲ）、オーバーラップブロック運動補償（Overlapped Block Motion Compensation；ＯＢＭＣ）、局所照明補償（Local Illumination Compensation；ＬＩＣ）、デコーダ側動きベクトル精緻化（Decoder-side Motion Vector Refinement；ＤＭＶＲ）などの、いくつかの符号化ツールに採用される。
【0081】
２．１ サブＣＵベース動きベクトル予測の例
四分木プラス二分木（quadtrees plus binary trees；ＱＴＢＴ）を用いるＪＥＭでは、各ＣＵが、各予測方向に対して最大１セットの動きパラメータを持つことができる。一部の実施形態では、エンコーダにおいて、大きなＣＵを複数のサブＣＵに分割し、大きなＣＵの全てのサブＣＵに対して動き情報を導出することによって、２つのサブＣＵレベルの動きベクトル予測方法が考慮される。代替的時間動きベクトル予測（ＡＴＭＶＰ）法は、各ＣＵが、コロケート参照ピクチャ内の現在ＣＵよりも小さい複数のブロックから複数セットの動き情報をフェッチすることを可能にする。空間－時間動きベクトル予測（ＳＴＭＶＰ）法では、サブＣＵの動きベクトルが、時間動きベクトル予測子と空間隣接動きベクトルとを用いることによって再帰的に導出される。一部の実施形態において、サブＣＵ動き予測のためにより正確な動き場を保存するために、参照フレームに対する動き圧縮が無効にされ得る。
四分木プラス二分木（quadtrees plus binary trees；ＱＴＢＴ）を用いるＪＥＭでは、各ＣＵが、各予測方向に対して最大１セットの動きパラメータを持つことができる。一部の実施形態では、エンコーダにおいて、大きなＣＵを複数のサブＣＵに分割し、大きなＣＵの全てのサブＣＵに対して動き情報を導出することによって、２つのサブＣＵレベルの動きベクトル予測方法が考慮される。代替的時間動きベクトル予測（ＡＴＭＶＰ）法は、各ＣＵが、コロケート参照ピクチャ内の現在ＣＵよりも小さい複数のブロックから複数セットの動き情報をフェッチすることを可能にする。空間－時間動きベクトル予測（ＳＴＭＶＰ）法では、サブＣＵの動きベクトルが、時間動きベクトル予測子と空間隣接動きベクトルとを用いることによって再帰的に導出される。一部の実施形態において、サブＣＵ動き予測のためにより正確な動き場を保存するために、参照フレームに対する動き圧縮が無効にされ得る。
【0082】
２．１．１ ＡＴＭＶＰ（alternative temporal motion vector prediction）の例
ＡＴＭＶＰ法では、時間動きベクトル予測（temporal motion vector prediction；ＴＭＶＰ）法が、現在ＣＵよりも小さい複数のブロックから複数セットの動き情報（動きベクトル及び参照インデックスを含む）をフェッチすることによって修正される。
ＡＴＭＶＰ法では、時間動きベクトル予測（temporal motion vector prediction；ＴＭＶＰ）法が、現在ＣＵよりも小さい複数のブロックから複数セットの動き情報（動きベクトル及び参照インデックスを含む）をフェッチすることによって修正される。
【0083】
図１０は、ＣＵ１０００に関するＡＴＭＶＰ動き予測処理の一例を示している。ＡＴＭＶＰ法は、ＣＵ１０００内の複数のサブＣＵ１００１の動きベクトルを２ステップで予測する。第１ステップは、時間ベクトルを用いて参照ピクチャ１０５０内の対応するブロック１０５１を特定することである。参照ピクチャ１０５０は、モーションソースピクチャとも呼ばれる。第２ステップは、現在ＣＵ１０００をサブＣＵ１００１へと分割し、各サブＣＵに対応するブロックから、各サブＣＵの動きベクトル及び参照インデックスを取得することである。
【0084】
第１ステップにて、参照ピクチャ１０５０及び対応するブロックが、現在ＣＵ１０００の空間隣接ブロックの動き情報によって決定される。隣接ブロックの繰り返し走査処理を回避するために、現在ＣＵ１０００のマージ候補リスト内の最初のマージ候補が使用される。第１の利用可能な動きベクトル及びそれに関連する参照インデックスが、モーションソースピクチャへの時間ベクトル及びインデックスであるように設定される。斯くして、対応するブロックを、ＴＭＶＰと比較して、より正確に特定することでき、対応するブロック（同一位置のブロックと呼ばれることもある）は常に現在ＣＵに対して右下又は中央の位置にある。
【0085】
第２ステップにて、現在ＣＵの座標に時間ベクトルを足し合わせることによって、サブＣＵ１０５１の対応するブロックが、モーションソースピクチャ１０５０内の時間ベクトルによって特定される。各サブＣＵについて、対応するブロック（例えば、中心サンプルをカバーする最小動きグリッド）の動き情報を用いて、そのサブＣＵに関する動き情報が導出される。対応するＮ×Ｎブロックの動き情報が特定された後、それが、ＨＥＶＣのＴＭＶＰと同様にして、現在サブＣＵの動きベクトル及び参照インデックスに変換され、ここで、動きスケーリング及び他の手順が適用される。例えば、デコーダは、低遅延条件（例えば、現在ピクチャの全ての参照ピクチャのＰＯＣが、現在ピクチャのＰＯＣよりも小さいこと）が満たされているかをチェックし、動きベクトルＭＶｘ（例えば、参照ピクチャリストＸに対応する動きベクトル）を用いて、各サブＣＵに関する動きベクトルＭＶｙ（例えば、Ｘは０又は１に等しく、Ｙは１－Ｘに等しい）を予測し得る。
【0086】
２．１．２ 空間－時間動きベクトル予測（ＳＴＭＶＰ）の例
ＳＴＭＶＰ法では、サブＣＵの動きベクトルが、ラスタ走査順に従って再帰的に導出される。図１１は、４つのサブブロックを有する１つのＣＵと隣接ブロックとの一例を示している。４つの４×４のサブＣＵ Ａ（１１０１）、Ｂ（１１０２）、Ｃ（１１０３）、Ｄ（１１０４）を含む８×８のＣＵ１１００を考える。現在フレーム内の隣接する４×４のブロックを、ａ（１１１１）、ｂ（１１１２）、ｃ（１１１３）、及びｄ（１１１４）とラベル付ける。
ＳＴＭＶＰ法では、サブＣＵの動きベクトルが、ラスタ走査順に従って再帰的に導出される。図１１は、４つのサブブロックを有する１つのＣＵと隣接ブロックとの一例を示している。４つの４×４のサブＣＵ Ａ（１１０１）、Ｂ（１１０２）、Ｃ（１１０３）、Ｄ（１１０４）を含む８×８のＣＵ１１００を考える。現在フレーム内の隣接する４×４のブロックを、ａ（１１１１）、ｂ（１１１２）、ｃ（１１１３）、及びｄ（１１１４）とラベル付ける。
【0087】
サブＣＵ Ａに対する動き導出は、それの２つの空間的に隣接するものを特定することによって開始する。隣接する第１のものは、サブＣＵ Ａ１１０１の上のＮ×Ｎブロック（ブロックｃ１１１３）である。このブロックｃ（１１１３）が利用可能でない又はイントラ符号化される場合、サブＣＵ Ａ（１１０１）上の他のＮ×Ｎブロックが検査される（ブロックｃ１１１３から始めて左から右へ）。隣接する第２のものは、サブＣＵ Ａ１１０１の左のブロック（ブロックｂ１１１２）である。ブロックｂ（１１１２）が利用可能でない又はイントラ符号化される場合、サブＣＵ Ａ１１０１の左の他のブロックが検査される（ブロックｂ１１１２から始めて上から下へ）。各リストについてこれら隣接ブロックから得られた動き情報が、所与のリストについての最初の参照フレームに対してスケーリングされる。次に、サブブロックＡ１１０１の時間動きベクトル予測子（temporal motion vector predictor；ＴＭＶＰ）が、ＨＥＶＣで規定されるのと同じＴＭＶＰ導出手順に従うことによって導出される。ブロックＤ１１０４におけるコロケートブロックの動き情報が、然るべくフェッチされてスケーリングされる。最後に、動き情報を取り出してスケーリングした後に、全ての利用可能な動きベクトルが、各参照リストについて別々に平均化される。平均化された動きベクトルが、現在サブＣＵの動きベクトルとして割り当てられる。
【0088】
２．１．３ サブＣＵ動き予測モード信号伝達の例
一部の実施形態において、サブＣＵモードは、追加のマージ候補として有効にされ、これらのモードを信号伝達するのに追加の構文要素は必要とされない。ＡＴＭＶＰモード及びＳＴＭＶＰモードを表すために、各ＣＵのマージ候補リストに２つの追加マージ候補が加えられる。他の実施形態において、シーケンスパラメータセットがＡＴＭＶＰ及びＳＴＭＶＰが有効にされることを指し示す場合に、最大７つのマージ候補が使用され得る。これら追加マージ候補の符号化論理は、ＨＭにおけるマージ候補に関してと同じであり、これは、Ｐスライス又はＢスライス内の各ＣＵについて、２つの追加マージ候補に対して２つの更なるＲＤ検査が必要とされ得ることを意味する。例えばＪＥＭといった一部の実施形態において、マージインデックスの全てのビンが、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）によってコンテキスト符号化される。例えばＨＥＶＣといった他の実施形態では、最初のビンのみがコンテキスト符号化され、残りのビンはコンテキストバイパス符号化される。
一部の実施形態において、サブＣＵモードは、追加のマージ候補として有効にされ、これらのモードを信号伝達するのに追加の構文要素は必要とされない。ＡＴＭＶＰモード及びＳＴＭＶＰモードを表すために、各ＣＵのマージ候補リストに２つの追加マージ候補が加えられる。他の実施形態において、シーケンスパラメータセットがＡＴＭＶＰ及びＳＴＭＶＰが有効にされることを指し示す場合に、最大７つのマージ候補が使用され得る。これら追加マージ候補の符号化論理は、ＨＭにおけるマージ候補に関してと同じであり、これは、Ｐスライス又はＢスライス内の各ＣＵについて、２つの追加マージ候補に対して２つの更なるＲＤ検査が必要とされ得ることを意味する。例えばＪＥＭといった一部の実施形態において、マージインデックスの全てのビンが、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）によってコンテキスト符号化される。例えばＨＥＶＣといった他の実施形態では、最初のビンのみがコンテキスト符号化され、残りのビンはコンテキストバイパス符号化される。
【0089】
２．２ ＶＶＣにおけるインター予測方法の例
例えば、ＭＶＤを信号伝達するための適応動きベクトル差レゾリューション（Adaptive motion vector difference resolution；ＡＭＶＲ）、アフィン予測モード、三角予測モード（ＴＰＭ）、ＡＴＭＶＰ、一般化双予測（ＧＢＩ）、双方向オプティカルフロー（ＢＩＯ）などの、インター予測改良のための新たな符号化ツールが幾つか存在する。
例えば、ＭＶＤを信号伝達するための適応動きベクトル差レゾリューション（Adaptive motion vector difference resolution；ＡＭＶＲ）、アフィン予測モード、三角予測モード（ＴＰＭ）、ＡＴＭＶＰ、一般化双予測（ＧＢＩ）、双方向オプティカルフロー（ＢＩＯ）などの、インター予測改良のための新たな符号化ツールが幾つか存在する。
【0090】
２．２．１ 適応動きベクトル差レゾリューションの例
一部の実施形態において、スライスヘッダ内でｕｓｅ＿ｉｎｔｅｇｅｒ＿ｍｖ＿ｆｌａｇが０に等しい場合に、（動きベクトルとＰＵの予測動きベクトルとの間の）動きベクトル差（ＭＶＤ）が、１／４ルマサンプルの単位で信号伝達される。ＪＥＭでは、局所適応動きベクトルレゾリューション（ＬＡＭＶＲ）が導入されている。ＪＥＭにおいて、ＭＶＤは、１／４ルマサンプル、整数ルマサンプル、４ルマサンプルの単位で符号化されることができる。このＭＶＤ分解能は、符号化ユニット（ＣＵ）レベルで制御され、ＭＶＤ分解能フラグが、少なくとも１つの非ゼロのＭＶＤ成分を持つ各ＣＵに対して条件付きで信号伝達される。
一部の実施形態において、スライスヘッダ内でｕｓｅ＿ｉｎｔｅｇｅｒ＿ｍｖ＿ｆｌａｇが０に等しい場合に、（動きベクトルとＰＵの予測動きベクトルとの間の）動きベクトル差（ＭＶＤ）が、１／４ルマサンプルの単位で信号伝達される。ＪＥＭでは、局所適応動きベクトルレゾリューション（ＬＡＭＶＲ）が導入されている。ＪＥＭにおいて、ＭＶＤは、１／４ルマサンプル、整数ルマサンプル、４ルマサンプルの単位で符号化されることができる。このＭＶＤ分解能は、符号化ユニット（ＣＵ）レベルで制御され、ＭＶＤ分解能フラグが、少なくとも１つの非ゼロのＭＶＤ成分を持つ各ＣＵに対して条件付きで信号伝達される。
【0091】
少なくとも１つの非ゼロのＭＶＤ成分を持つＣＵに対して、そのＣＵで１／４ルマサンプルＭＶ精度が使用されるかを指し示すために、第１のフラグが信号伝達される。１／４ルマサンプルＭＶ精度が使用されないことを第１のフラグ（１に等しい）が指し示す場合、整数ルマサンプルＭＶ精度又は４ルマサンプルＭＶ精度が使用されるかを指し示すために、別のフラグが信号伝達される。ＣＵの第１のＭＶＤ分解能フラグがゼロである又はＣＵに対して符号化されない（ＣＵ内の全てのＭＶＤがゼロであることを意味する）場合、１／４ルマサンプルＭＶ分解能がそのＣＵに対して使用される。ＣＵが整数ルマサンプルＭＶ精度又は４ルマサンプルＭＶ精度を使用する場合、そのＣＵに関するＡＭＶＰ候補リスト内のＭＶＰは、対応する精度に丸められる。
【0092】
エンコーダにおいて、ＣＵに対してどのＭＶＤ分解能が使用されるべきかを決定するために、ＣＵレベルのＲＤ検査が使用される。すなわち、ＣＵレベルのＲＤチェックが、ＭＶＤ分解能ごとに、３回実行される。エンコーダ速度を加速させるために、ＪＥＭでは以下の符号化スキームが適用される。
【0093】
― 通常の１／４ルマサンプルＭＶＤ分解能でのＣＵのＲＤ検査において、現在ＣＵの動き情報（整数ルマサンプル精度）が格納される。格納された動き情報（丸め後）が、整数ルマサンプル及び４ルマサンプルＭＶＤ分解能での同じＣＵに対するＲＤ検査における更に小さな範囲の動きベクトル精緻化のための開始点として使用され、それにより、時間のかかる動き推定プロセスが３回重複して行われないようにされる。
【0094】
― ４ルマサンプルＭＶＤ分解能でのＣＵのＲＤ検査が、条件付きで呼び出される。ＣＵについて、整数ルマサンプルＭＶＤ分解能のＲＤコストが１／４ルマサンプルＭＶＤ分解能のそれよりも遥かに大きい場合、そのＣＵに対する４ルマサンプルＭＶＤ分解能のＲＤ検査がスキップされる。
【0095】
符号化プロセスを図１２に示す。先ず、１／４ペル（pel）ＭＶが検査され、ＲＤＣｏｓｔ０と表記するＲＤコストが計算され、次いで、整数ＭＶが検査され、ＲＤコストをＲＤＣｏｓｔ１と表記する。ＲＤＣｏｓｔ１＜ｔｈ＊ＲＤＣｏｓｔ０（ここで、ｔｈは正の値にされる閾値である）である場合、４ペルＭＶが検査され、そうでない場合には、４ペルＭＶはスキップされる。基本的に、整数ＭＶ又は４ペルＭＶを検査する時に１／４ペルＭＶについての動き情報及びＲＤコストなどは既知であり、それを再利用して、整数ＭＶ又は４ペルＭＶの符号化プロセスを高速化することができる。
【0096】
２．２．２ 三角予測ユニットモードの例
三角予測ユニットモードの概念は、動き補償予測のために、新しい三角分割を導入するというものである。図１３Ａ及び１３Ｂに示すように、三角予測ユニットモードは、ＣＵを、対角線方向又は逆対角線方向のいずれかで、２つの三角形の予測ユニットに分割する。ＣＵ内の各三角予測ユニットが、それ自身の片予測動きベクトルと、片予測候補リストから導出される参照フレームインデックスとを用いて、インター予測される。三角予測ユニットを予測した後、対角線エッジに対して適応重み付けプロセスが実行される。そして、変換及び量子化プロセスがＣＵ全体に適用される。なお、このモードは、スキップモード及びマージモードのみに適用される。
三角予測ユニットモードの概念は、動き補償予測のために、新しい三角分割を導入するというものである。図１３Ａ及び１３Ｂに示すように、三角予測ユニットモードは、ＣＵを、対角線方向又は逆対角線方向のいずれかで、２つの三角形の予測ユニットに分割する。ＣＵ内の各三角予測ユニットが、それ自身の片予測動きベクトルと、片予測候補リストから導出される参照フレームインデックスとを用いて、インター予測される。三角予測ユニットを予測した後、対角線エッジに対して適応重み付けプロセスが実行される。そして、変換及び量子化プロセスがＣＵ全体に適用される。なお、このモードは、スキップモード及びマージモードのみに適用される。
【0097】
ＴＰＭに関する片予測候補リスト
片予測候補リストは、５つの片予測動きベクトル候補で構成される。それは、図１４に示すように、５つの空間隣接ブロック（１－５）及び２つの時間コロケートブロック（６－７）を含む７つの隣接ブロックから導出される。これら７つの隣接ブロックの動きベクトルが収集され、片予測動きベクトル、双予測動きベクトルのＬ０動きベクトル、双予測動きベクトルのＬ１動きベクトル、そして、双予測動きベクトルのＬ０動きベクトルとＬ１動きベクトルとの平均動きベクトルの順に、片予測候補リストの中に置かれる。候補の数が５未満である場合、ゼロ動きベクトルがリストに追加される。ＴＰＭのためにこのリストに追加される動き候補をＴＰＭ候補と呼び、空間／時間ブロックから導出される動き情報を通常（regular）動き候補と呼ぶ。
片予測候補リストは、５つの片予測動きベクトル候補で構成される。それは、図１４に示すように、５つの空間隣接ブロック（１－５）及び２つの時間コロケートブロック（６－７）を含む７つの隣接ブロックから導出される。これら７つの隣接ブロックの動きベクトルが収集され、片予測動きベクトル、双予測動きベクトルのＬ０動きベクトル、双予測動きベクトルのＬ１動きベクトル、そして、双予測動きベクトルのＬ０動きベクトルとＬ１動きベクトルとの平均動きベクトルの順に、片予測候補リストの中に置かれる。候補の数が５未満である場合、ゼロ動きベクトルがリストに追加される。ＴＰＭのためにこのリストに追加される動き候補をＴＰＭ候補と呼び、空間／時間ブロックから導出される動き情報を通常（regular）動き候補と呼ぶ。
【0098】
より具体的には、以下のステップが含まれる：
１） Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、及びＣｏｌ２（図１４のブロック１－７に相当）から、剪定処理を行わずに、通常動き候補を得る。
２） 変数ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄ＝０に設定する
３） Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、及びＣｏｌ２から導出された各通常動き候補、及び５未満であるｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄについて、通常動き候補が（Ｌｉｓｔ０又はＬｉｓｔ１のいずれかからの）片予測である場合、それは直接的にＴＰＭ候補としてマージリストに追加され、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが１だけ増加される。このようなＴＰＭ候補を、‘元々片予測候補’と命名する。
完全な剪定（full pruning）が適用される。
４） Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、及びＣｏｌ２から導出された各動き候補、及び５未満であるｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄについて、通常動き候補が双予測である場合、Ｌｉｓｔ０からの動き情報が新たなＴＰＭ候補としてＴＰＭマージリストに追加され（すなわち、Ｌｉｓｔ０からの片予測であるように変更され）、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが１だけ増加される。このようなＴＰＭ候補を、‘切り取り（truncated）Ｌｉｓｔ０予測候補’と命名する。
完全な剪定が適用される。
５） Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、及びＣｏｌ２から導出された各動き候補、及び５未満であるｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄについて、通常動き候補が双予測である場合、Ｌｉｓｔ１からの動き情報がＴＰＭマージリストに追加され（すなわち、Ｌｉｓｔ１からの片予測であるように変更され）、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが１だけ増加される。このようなＴＰＭ候補を、‘切り取りＬｉｓｔ１予測候補’と命名する。
完全な剪定が適用される。
６） Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、及びＣｏｌ２から導出された各動き候補、及び５未満であるｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄについて、通常動き候補が双予測である場合に、
― Ｌｉｓｔ０参照ピクチャのスライスＱＰがＬｉｓｔ１参照ピクチャのスライスＱＰより小さい場合、最初にＬｉｓｔ１の動き情報がＬｉｓｔ０参照ピクチャに対してスケーリングされ、２つのＭＶ（一方は元のＬｉｓｔ０からであり、他方はＬｉｓｔ１からのスケーリングされたＭＶである）の平均がＴＰＭマージリストに追加され、このような候補を、Ｌｉｓｔ０からの平均片予測動き候補と呼び、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが１だけ増加される。
― そうでない場合、最初にＬｉｓｔ０の動き情報がＬｉｓｔ１参照ピクチャに対してスケーリングされ、２つのＭＶ（一方は元のＬｉｓｔ１からであり、他方はＬｉｓｔ０からのスケーリングされたＭＶである）の平均がＴＰＭマージリストに追加され、このような候補を、Ｌｉｓｔ１からの平均片予測動き候補と呼び、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが１だけ増加される。
完全な剪定が適用される。
７） ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５未満である場合、ゼロ動きベクトル候補が追加される。
１） Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、及びＣｏｌ２（図１４のブロック１－７に相当）から、剪定処理を行わずに、通常動き候補を得る。
２） 変数ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄ＝０に設定する
３） Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、及びＣｏｌ２から導出された各通常動き候補、及び５未満であるｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄについて、通常動き候補が（Ｌｉｓｔ０又はＬｉｓｔ１のいずれかからの）片予測である場合、それは直接的にＴＰＭ候補としてマージリストに追加され、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが１だけ増加される。このようなＴＰＭ候補を、‘元々片予測候補’と命名する。
完全な剪定（full pruning）が適用される。
４） Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、及びＣｏｌ２から導出された各動き候補、及び５未満であるｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄについて、通常動き候補が双予測である場合、Ｌｉｓｔ０からの動き情報が新たなＴＰＭ候補としてＴＰＭマージリストに追加され（すなわち、Ｌｉｓｔ０からの片予測であるように変更され）、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが１だけ増加される。このようなＴＰＭ候補を、‘切り取り（truncated）Ｌｉｓｔ０予測候補’と命名する。
完全な剪定が適用される。
５） Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、及びＣｏｌ２から導出された各動き候補、及び５未満であるｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄについて、通常動き候補が双予測である場合、Ｌｉｓｔ１からの動き情報がＴＰＭマージリストに追加され（すなわち、Ｌｉｓｔ１からの片予測であるように変更され）、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが１だけ増加される。このようなＴＰＭ候補を、‘切り取りＬｉｓｔ１予測候補’と命名する。
完全な剪定が適用される。
６） Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌ、及びＣｏｌ２から導出された各動き候補、及び５未満であるｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄについて、通常動き候補が双予測である場合に、
― Ｌｉｓｔ０参照ピクチャのスライスＱＰがＬｉｓｔ１参照ピクチャのスライスＱＰより小さい場合、最初にＬｉｓｔ１の動き情報がＬｉｓｔ０参照ピクチャに対してスケーリングされ、２つのＭＶ（一方は元のＬｉｓｔ０からであり、他方はＬｉｓｔ１からのスケーリングされたＭＶである）の平均がＴＰＭマージリストに追加され、このような候補を、Ｌｉｓｔ０からの平均片予測動き候補と呼び、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが１だけ増加される。
― そうでない場合、最初にＬｉｓｔ０の動き情報がＬｉｓｔ１参照ピクチャに対してスケーリングされ、２つのＭＶ（一方は元のＬｉｓｔ１からであり、他方はＬｉｓｔ０からのスケーリングされたＭＶである）の平均がＴＰＭマージリストに追加され、このような候補を、Ｌｉｓｔ１からの平均片予測動き候補と呼び、ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが１だけ増加される。
完全な剪定が適用される。
７） ｎｕｍＣｕｒｒＭｅｒｇｅＣａｎｄが５未満である場合、ゼロ動きベクトル候補が追加される。
【0099】
候補をリストに挿入するときに、それが、先に追加された候補のうちの１つと同じであるかを見るために、それをそれら全てと比較しなければならない場合、そのようなプロセスを完全な剪定と呼ぶ。
【0100】
適応重み付けプロセス
各三角予測ユニットを予測した後、ＣＵ全体についての最終的な予測を導出するために、２つの三角予測ユニット間の対角線エッジに適応重み付けプロセスが適用される。２つの重み付け係数グループが、以下のようにリスト化される：
・ 第１重み付け係数グループ：輝度サンプル及び色度サンプルに対して、それぞれ、｛７／８，６／８，４／８，２／８，１／８｝及び｛７／８，４／８，１／８｝が使用される：
・ 第２重み付け係数グループ：輝度サンプル及び色度サンプルに対して、それぞれ、｛７／８，６／８，５／８，４／８，３／８，２／８，１／８｝及び｛６／８，４／８，２／８｝が使用される。
各三角予測ユニットを予測した後、ＣＵ全体についての最終的な予測を導出するために、２つの三角予測ユニット間の対角線エッジに適応重み付けプロセスが適用される。２つの重み付け係数グループが、以下のようにリスト化される：
・ 第１重み付け係数グループ：輝度サンプル及び色度サンプルに対して、それぞれ、｛７／８，６／８，４／８，２／８，１／８｝及び｛７／８，４／８，１／８｝が使用される：
・ 第２重み付け係数グループ：輝度サンプル及び色度サンプルに対して、それぞれ、｛７／８，６／８，５／８，４／８，３／８，２／８，１／８｝及び｛６／８，４／８，２／８｝が使用される。
【0101】
２つの三角予測ユニットの動きベクトルの比較に基づいて、一方の重み付け係数グループが選択される。第２重み付け係数グループは、２つの三角予測ユニットの参照ピクチャが互いに異なる場合、又はそれらの動きベクトル差が１６ピクセルよりも大きい場合に使用される。それ以外の場合には、第１重み付け係数グループが使用される。
【0102】
三角予測モード（ＴＰＭ）の信号伝達
ＴＰＭが使用されるかを指し示す１ビットフラグが最初に信号伝達され得る。その後、（図１３Ａ及び１３Ｂに示したような）２つの分割パターンを指し示すインジケーションと、２つの分割の各々に関する選択されたマージインデックスとが、更に信号伝達される。
ＴＰＭが使用されるかを指し示す１ビットフラグが最初に信号伝達され得る。その後、（図１３Ａ及び１３Ｂに示したような）２つの分割パターンを指し示すインジケーションと、２つの分割の各々に関する選択されたマージインデックスとが、更に信号伝達される。
【0103】
ＴＰＭフラグの信号伝達
１つのルマブロックの幅及び高さを、それぞれ、Ｗ及びＨで表記する。Ｗ＊Ｈ＜６４である場合、三角予測モードは無効にされる。
１つのルマブロックの幅及び高さを、それぞれ、Ｗ及びＨで表記する。Ｗ＊Ｈ＜６４である場合、三角予測モードは無効にされる。
【0104】
１つのブロックがアフィンモードで符号化される場合にも、三角予測モードは無効にされる。
【0105】
１つのブロックがマージモードで符号化される場合、そのブロックに対して三角予測モードが有効にされるか、それとも無効であるかを指し示すために、１ビットフラグが信号伝達され得る。
【0106】
そのフラグは、図１５に鑑み、３つのコンテキストで符号化され、また、次式：
Ｃｔｘ ｉｎｄｅｘ＝（（左ブロックＬ利用可能＆＆ＬはＴＰＭで符号化？）１：０）
＋（（上ブロックＡ利用可能＆＆ＡはＴＰＭで符号化？）１：０）
に基づく。
Ｃｔｘ ｉｎｄｅｘ＝（（左ブロックＬ利用可能＆＆ＬはＴＰＭで符号化？）１：０）
＋（（上ブロックＡ利用可能＆＆ＡはＴＰＭで符号化？）１：０）
に基づく。
【0107】
２つの分割パターンのインジケーション及び選択マージインデックスの信号伝達
留意されたいことには、（図１３Ａ及び１３Ｂに示したような）分割パターン、及び２つの分割のマージインデックスは、結合して符号化される。既存の実装において、制約は、２つの分割が同一参照インデックスを使用することできなかったというものである。従って、２（分割パターン）＊Ｎ（マージ候補の最大数）＊（Ｎ－１）個の可能性が存在し、Ｎは５に設定される。１つのインジケーションが符号化され、そして、分割パターン間のマッピング、２つのマージインデックス、符号化されたインジケーションが、以下に規定される配列：
const uint8_t g_TriangleCombination[TRIANGLE_MAX_NUM_CANDS][3]＝｛
｛０，１，０｝，｛１，０，１｝，｛１，０，２｝，｛０，０，１｝，｛０，２，０｝，
｛１，０，３｝，｛１，０，４｝，｛１，１，０｝，｛０，３，０｝，｛０，４，０｝，
｛０，０，２｝，｛０，１，２｝，｛１，１，２｝，｛０，０，４｝，｛０，０，３｝，
｛０，１，３｝，｛０，１，４｝，｛１，１，４｝，｛１，１，３｝，｛１，２，１｝，
｛１，２，０｝，｛０，２，１｝，｛０，４，３｝，｛１，３，０｝，｛１，３，２｝，
｛１，３，４｝，｛１，４，０｝，｛１，３，１｝，｛１，２，３｝，｛１，４，１｝，
｛０，４，１｝，｛０，２，３｝，｛１，４，２｝，｛０，３，２｝，｛１，４，３｝，
｛０，３，１｝，｛０，２，４｝，｛１，２，４｝，｛０，４，２｝，｛０，３，４｝｝
から導出され、
分割パターン（４５度又は１３５度）＝g_TriangleCombination[signaled indication][0]；
Merge index of candidate A＝g_TriangleCombination[signaled
indication][1]；
Merge index of candidate B＝g_TriangleCombination[signaled
indication][2]；
２つの動き候補Ａ及びＢが導出されると、２つの分割（ＰＵ１及びＰＵ２）の動き情報が、Ａ又はＢのいずれかから設定され得る。ＰＵ１がマージ候補Ａの動き情報を使用するのか、それともマージ候補Ｂの動き情報を使用するかは、これら２つの動き候補の予測方向に依存する。表１は、２つの分割での、２つの導出される動き候補ＡとＢとの間の関係を示している。
留意されたいことには、（図１３Ａ及び１３Ｂに示したような）分割パターン、及び２つの分割のマージインデックスは、結合して符号化される。既存の実装において、制約は、２つの分割が同一参照インデックスを使用することできなかったというものである。従って、２（分割パターン）＊Ｎ（マージ候補の最大数）＊（Ｎ－１）個の可能性が存在し、Ｎは５に設定される。１つのインジケーションが符号化され、そして、分割パターン間のマッピング、２つのマージインデックス、符号化されたインジケーションが、以下に規定される配列：
const uint8_t g_TriangleCombination[TRIANGLE_MAX_NUM_CANDS][3]＝｛
｛０，１，０｝，｛１，０，１｝，｛１，０，２｝，｛０，０，１｝，｛０，２，０｝，
｛１，０，３｝，｛１，０，４｝，｛１，１，０｝，｛０，３，０｝，｛０，４，０｝，
｛０，０，２｝，｛０，１，２｝，｛１，１，２｝，｛０，０，４｝，｛０，０，３｝，
｛０，１，３｝，｛０，１，４｝，｛１，１，４｝，｛１，１，３｝，｛１，２，１｝，
｛１，２，０｝，｛０，２，１｝，｛０，４，３｝，｛１，３，０｝，｛１，３，２｝，
｛１，３，４｝，｛１，４，０｝，｛１，３，１｝，｛１，２，３｝，｛１，４，１｝，
｛０，４，１｝，｛０，２，３｝，｛１，４，２｝，｛０，３，２｝，｛１，４，３｝，
｛０，３，１｝，｛０，２，４｝，｛１，２，４｝，｛０，４，２｝，｛０，３，４｝｝
から導出され、
分割パターン（４５度又は１３５度）＝g_TriangleCombination[signaled indication][0]；
Merge index of candidate A＝g_TriangleCombination[signaled
indication][1]；
Merge index of candidate B＝g_TriangleCombination[signaled
indication][2]；
２つの動き候補Ａ及びＢが導出されると、２つの分割（ＰＵ１及びＰＵ２）の動き情報が、Ａ又はＢのいずれかから設定され得る。ＰＵ１がマージ候補Ａの動き情報を使用するのか、それともマージ候補Ｂの動き情報を使用するかは、これら２つの動き候補の予測方向に依存する。表１は、２つの分割での、２つの導出される動き候補ＡとＢとの間の関係を示している。
【表1】
【0108】
インジケーション（merge_triangle_idxで表記）のエントロピー符号化
merge_triangle_idxは、両端を含めて、［０，３９］の範囲内である。Ｋ次の指数ゴロム（Exponential Golomb；ＥＧ）符号が、merge_triangle_idxの二値化のために使用され、ｋは１に設定される。
merge_triangle_idxは、両端を含めて、［０，３９］の範囲内である。Ｋ次の指数ゴロム（Exponential Golomb；ＥＧ）符号が、merge_triangle_idxの二値化のために使用され、ｋは１に設定される。
【0109】
Ｋ次のＥＧ
より大きい数をより小さいビットで符号化するために（より小さい数を符号化するためにより多くのビットを使用することを犠牲にして）、これは、負でない整数パラメータｋを用いて一般化されることができる。負でない整数ｘをｋ次の指数ゴロム（ｅｘｐ－Ｇｏｌｏｍｂ）符号で符号化するために：
（１） 上述の０次のｅｘｐ－Ｇｏｌｏｍｂ符号を用いて
（外１）
を符号化し、次いで、
（２）ｘ ｍｏｄ ２ｋをバイナリで符号化する。
より大きい数をより小さいビットで符号化するために（より小さい数を符号化するためにより多くのビットを使用することを犠牲にして）、これは、負でない整数パラメータｋを用いて一般化されることができる。負でない整数ｘをｋ次の指数ゴロム（ｅｘｐ－Ｇｏｌｏｍｂ）符号で符号化するために：
（１） 上述の０次のｅｘｐ－Ｇｏｌｏｍｂ符号を用いて
（外１）
（２）ｘ ｍｏｄ ２ｋをバイナリで符号化する。
【表2】
【0110】
２．２．３ アフィン動き補償予測の例
ＨＥＶＣでは、動き補償予測（motion compensation prediction；ＭＣＰ）に並進動きモデルのみが適用されている。しかしながら、カメラ及び被写体は、例えばズームイン／アウト、回転、遠近動作、及び／又は他の不規則な動きといった、多くの種類の動きを有し得る。ＶＶＣでは、４パラメータアフィンモデル及び６パラメータアフィンモデルを用いて、簡略化されたアフィン変換動き補償予測が適用されている。図１６Ａ及び１６Ｂに示すように、ブロックのアフィン動き場が、それぞれ、（変数ａ、ｂ、ｅ及びｆを使用する４パラメータアフィンモデルにおける）２つ又は（変数ａ、ｂ、ｃ、ｄ、ｅ及びｆを使用する６パラメータアフィンモデルにおける）３つによって記述される。
ＨＥＶＣでは、動き補償予測（motion compensation prediction；ＭＣＰ）に並進動きモデルのみが適用されている。しかしながら、カメラ及び被写体は、例えばズームイン／アウト、回転、遠近動作、及び／又は他の不規則な動きといった、多くの種類の動きを有し得る。ＶＶＣでは、４パラメータアフィンモデル及び６パラメータアフィンモデルを用いて、簡略化されたアフィン変換動き補償予測が適用されている。図１６Ａ及び１６Ｂに示すように、ブロックのアフィン動き場が、それぞれ、（変数ａ、ｂ、ｅ及びｆを使用する４パラメータアフィンモデルにおける）２つ又は（変数ａ、ｂ、ｃ、ｄ、ｅ及びｆを使用する６パラメータアフィンモデルにおける）３つによって記述される。
【0111】
ブロックの動きベクトル場（motion vector field；ＭＶＦ）は、４パラメータアフィンモデル及び６パラメータアフィンモデルで、それぞれ次式：
で記述される
ここで、（ｍｖｈ ０，ｍｖｈ ０）は、左上角の制御点（control point；ＣＰ）の動きベクトルであり、（ｍｖｈ １，ｍｖｈ １）は、右上角の制御点の動きベクトルであり、（ｍｖｈ ２，ｍｖｈ ２）は左下角の制御点の動きベクトルであり、（ｘ，ｙ）は、現在ブロック内の左上サンプルに対する代表点の座標を表す。ＣＰ動きベクトルは、（アフィンＡＭＶＰモードにおいてのように）信号伝達されるか、あるいは、（アフィンマージモードにおいてのように）オンザフライで導出されるかし得る。ｗ及びｈは、現在ブロックの幅及び高さである。実際には、除算は、丸め演算を用いた右シフトによって実行される。ＶＴＭでは、代表点は、サブブロックの中心位置であると定められ、例えば、現在ブロック内の左上のサンプルに対するサブブロックの左上角の座標が（ｘｓ，ｙｓ）であるとき、代表点の座標は（ｘｓ＋２，ｙｓ＋２）であると定められる。各サブブロック（例えば、ＶＴＭにおいて４×４）に対して、代表点を使用して、サブブロック全体の動きベクトルを導出する。
【数1】
ここで、（ｍｖｈ ０，ｍｖｈ ０）は、左上角の制御点（control point；ＣＰ）の動きベクトルであり、（ｍｖｈ １，ｍｖｈ １）は、右上角の制御点の動きベクトルであり、（ｍｖｈ ２，ｍｖｈ ２）は左下角の制御点の動きベクトルであり、（ｘ，ｙ）は、現在ブロック内の左上サンプルに対する代表点の座標を表す。ＣＰ動きベクトルは、（アフィンＡＭＶＰモードにおいてのように）信号伝達されるか、あるいは、（アフィンマージモードにおいてのように）オンザフライで導出されるかし得る。ｗ及びｈは、現在ブロックの幅及び高さである。実際には、除算は、丸め演算を用いた右シフトによって実行される。ＶＴＭでは、代表点は、サブブロックの中心位置であると定められ、例えば、現在ブロック内の左上のサンプルに対するサブブロックの左上角の座標が（ｘｓ，ｙｓ）であるとき、代表点の座標は（ｘｓ＋２，ｙｓ＋２）であると定められる。各サブブロック（例えば、ＶＴＭにおいて４×４）に対して、代表点を使用して、サブブロック全体の動きベクトルを導出する。
【0112】
図１７は、ブロック１７００についてのサブブロックごとのアフィンＭＶＦの一例を示しており、動き補償予測を更に単純化するために、サブブロックベースのアフィン変換予測が適用される。各Ｍ×Ｎサブブロックの動きベクトルを導出するため、各サブブロックの中心サンプルの動きベクトルが、式（１）及び（２）に従って計算され、動きベクトル分数精度（例えば、ＪＥＭにおいて１／１６）に丸められ得る。次いで、動き補償補間フィルタを適用して、導出された動きベクトルを有する各サブブロックの予測を生成することができる。１／１６ペル用の補間フィルタがアフィンモードによって導入される。ＭＣＰの後、各サブブロックの高精度動きベクトルが丸められ、通常動きベクトルと同じ精度で保存される。
【0113】
２．２．４ アフィン予測の信号伝達に関する例
並進動きモデルと同様に、アフィン予測によるサイド情報を信号伝達することには、やはり２つのモードが存在する。それらは、ＡＦＦＩＮＥ＿ＩＮＴＥＲモード及びＡＦＦＩＮＥ＿ＭＥＲＧＥモードである。
並進動きモデルと同様に、アフィン予測によるサイド情報を信号伝達することには、やはり２つのモードが存在する。それらは、ＡＦＦＩＮＥ＿ＩＮＴＥＲモード及びＡＦＦＩＮＥ＿ＭＥＲＧＥモードである。
【0114】
２．２．５ ＡＦ＿ＩＮＴＥＲモードの例
幅及び高さの両方が８よりも大きいＣＵに対して、ＡＦ＿ＩＮＴＥＲモードを適用することができる。ＡＦ＿ＩＮＴＥＲモードが使用されるかを指し示すために、ＣＵレベルでのアフィンフラグがビットストリーム内で信号伝達される。このモードでは、各参照ピクチャリスト（Ｌｉｓｔ０又はＬｉｓｔ１）に対して、アフィンＡＭＶＰ候補リストが、３種類のアフィン動き予測子を以下の順に有して構築され、各候補が、現在ブロックの推定ＣＰＭＶを含む。エンコーダ側で見出される最良のＣＰＭＶ（例えば図２０中のｍｖ０ ｍｖ１ ｍｖ２など）と推定ＣＰＭＶとの差が信号伝達される。加えて、それから推定ＣＰＭＶが導出されたアフィンＡＭＶＰ候補のインデックスが更に信号伝達される。
幅及び高さの両方が８よりも大きいＣＵに対して、ＡＦ＿ＩＮＴＥＲモードを適用することができる。ＡＦ＿ＩＮＴＥＲモードが使用されるかを指し示すために、ＣＵレベルでのアフィンフラグがビットストリーム内で信号伝達される。このモードでは、各参照ピクチャリスト（Ｌｉｓｔ０又はＬｉｓｔ１）に対して、アフィンＡＭＶＰ候補リストが、３種類のアフィン動き予測子を以下の順に有して構築され、各候補が、現在ブロックの推定ＣＰＭＶを含む。エンコーダ側で見出される最良のＣＰＭＶ（例えば図２０中のｍｖ０ ｍｖ１ ｍｖ２など）と推定ＣＰＭＶとの差が信号伝達される。加えて、それから推定ＣＰＭＶが導出されたアフィンＡＭＶＰ候補のインデックスが更に信号伝達される。
【0115】
１） 継承（inherited）アフィン動き予測子
検査順序は、ＨＥＶＣ ＡＭＶＰリスト構築における空間ＭＶＰのそれと同様である。第一に、左の継承アフィン動き予測子が、アフィン符号化され且つ現在ブロックにおいてと同じ参照ピクチャを持つ｛Ａ１，Ａ０｝内の最初のブロックから導出される。第二に、上の継承アフィン動き予測子が、アフィン符号化され且つ現在ブロックにおいてと同じ参照ピクチャを持つ｛Ｂ１，Ｂ０，Ｂ２｝内の最初のブロックから導出される。これら５つのブロックＡ１、Ａ０、Ｂ１、Ｂ０、Ｂ２を図１９に示す。
検査順序は、ＨＥＶＣ ＡＭＶＰリスト構築における空間ＭＶＰのそれと同様である。第一に、左の継承アフィン動き予測子が、アフィン符号化され且つ現在ブロックにおいてと同じ参照ピクチャを持つ｛Ａ１，Ａ０｝内の最初のブロックから導出される。第二に、上の継承アフィン動き予測子が、アフィン符号化され且つ現在ブロックにおいてと同じ参照ピクチャを持つ｛Ｂ１，Ｂ０，Ｂ２｝内の最初のブロックから導出される。これら５つのブロックＡ１、Ａ０、Ｂ１、Ｂ０、Ｂ２を図１９に示す。
【0116】
ある隣接ブロックがアフィンモードで符号化されることが分かると、その隣接ブロックをカバーする符号化ユニットのＣＰＭＶを用いて、現在ブロックのＣＰＭＶの予測子が導出される。例えば、Ａ１が非アフィンモードで符号化され、Ａ０が４パラメータアフィンモードで符号化される場合、左の継承アフィンＭＶ予測子は、Ａ０から導出されることになる。この場合、図２１Ｂにおいて左上のＣＰＭＶに対してＭＶ０
Ｎで表記し、右上のＣＰＭＶに対してＭＶ１
Ｎで表記するような、Ａ０をカバーするＣＵのＣＰＭＶを使用して、現在ブロックの左上位置（座標（ｘ０，ｙ０）を有する）、右上位置（座標（ｘ１，ｙ１）を有する）及び右下位置（座標（ｘ２，ｙ２）を有する）に対してＭＶ０
Ｃ、ＭＶ１
Ｃ、ＭＶ２
Ｃで表記した、現在ブロックの推定ＣＰＭＶが導出される。
【0117】
２） 構築アフィン動き予測子
構築アフィン動き予測子は、同じ参照ピクチャを有した、図２０に示すような隣接するインター符号化ブロックから導出される制御点動きベクトル（control-point motion vector；ＣＰＭＶ）で構成される。現在のアフィン動きモデルが４パラメータアフィンである場合、ＣＰＭＶの数は２であり、そうでなく現在のアフィン動きモデルが６パラメータアフィンである場合、ＣＰＭＶの数は３である。
左上ＣＰＭＶ：
（バーｍｖ０、以下同様）
が、インター符号化され且つ現在ブロックにおいてと同じ参照ピクチャを持つグループ｛Ａ，Ｂ，Ｃ｝内の最初のブロックにおけるＭＶによって導出される。右上ＣＰＭＶであるバーｍｖ１が、インター符号化され且つ現在ブロックにおいてと同じ参照ピクチャを持つグループ｛Ｄ，Ｅ｝内の最初のブロックにおけるＭＶによって導出される。左下ＣＰＭＶであるバーｍｖ２が、インター符号化され且つ現在ブロックにおいてと同じ参照ピクチャを持つグループ｛Ｆ，Ｇ｝内の最初のブロックにおけるＭＶによって導出される。
― 現在のアフィン動きモデルが４パラメータアフィンである場合、バーｍｖ０及びｍｖ１の両方が見出された場合にのみ、すなわち、現在ブロックの左上位置（座標（ｘ０，ｙ０）を有する）、右上位置（座標（ｘ１，ｙ１）を有する）に対する推定ＣＰＭＶとして、バーｍｖ０及びｍｖ１が使用される場合にのみ、構築アフィン動き予測子が候補リストに挿入される。
― 現在のアフィン動きモデルが６パラメータアフィンである場合、バーｍｖ０、ｍｖ１及びｍｖ２が全て見出された場合にのみ、すなわち、現在ブロックの左上位置（座標（ｘ０，ｙ０）を有する）、右上位置（座標（ｘ１，ｙ１）を有する）及び左下位置（座標（ｘ２，ｙ２）を有する）に対する推定ＣＰＭＶとして、バーｍｖ０、ｍｖ１及びｍｖ２が使用される場合にのみ、構築アフィン動き予測子が候補リストに挿入される。
構築アフィン動き予測子を候補リストに挿入するときに剪定プロセスは適用されない。
構築アフィン動き予測子は、同じ参照ピクチャを有した、図２０に示すような隣接するインター符号化ブロックから導出される制御点動きベクトル（control-point motion vector；ＣＰＭＶ）で構成される。現在のアフィン動きモデルが４パラメータアフィンである場合、ＣＰＭＶの数は２であり、そうでなく現在のアフィン動きモデルが６パラメータアフィンである場合、ＣＰＭＶの数は３である。
左上ＣＰＭＶ：
【数2】
が、インター符号化され且つ現在ブロックにおいてと同じ参照ピクチャを持つグループ｛Ａ，Ｂ，Ｃ｝内の最初のブロックにおけるＭＶによって導出される。右上ＣＰＭＶであるバーｍｖ１が、インター符号化され且つ現在ブロックにおいてと同じ参照ピクチャを持つグループ｛Ｄ，Ｅ｝内の最初のブロックにおけるＭＶによって導出される。左下ＣＰＭＶであるバーｍｖ２が、インター符号化され且つ現在ブロックにおいてと同じ参照ピクチャを持つグループ｛Ｆ，Ｇ｝内の最初のブロックにおけるＭＶによって導出される。
― 現在のアフィン動きモデルが４パラメータアフィンである場合、バーｍｖ０及びｍｖ１の両方が見出された場合にのみ、すなわち、現在ブロックの左上位置（座標（ｘ０，ｙ０）を有する）、右上位置（座標（ｘ１，ｙ１）を有する）に対する推定ＣＰＭＶとして、バーｍｖ０及びｍｖ１が使用される場合にのみ、構築アフィン動き予測子が候補リストに挿入される。
― 現在のアフィン動きモデルが６パラメータアフィンである場合、バーｍｖ０、ｍｖ１及びｍｖ２が全て見出された場合にのみ、すなわち、現在ブロックの左上位置（座標（ｘ０，ｙ０）を有する）、右上位置（座標（ｘ１，ｙ１）を有する）及び左下位置（座標（ｘ２，ｙ２）を有する）に対する推定ＣＰＭＶとして、バーｍｖ０、ｍｖ１及びｍｖ２が使用される場合にのみ、構築アフィン動き予測子が候補リストに挿入される。
構築アフィン動き予測子を候補リストに挿入するときに剪定プロセスは適用されない。
【0118】
３） 通常ＡＭＶＰ動き予測子
アフィン動き予測子の数が最大値に達するまで、以下が適用される：
１） 利用可能である場合に全てのＣＰＭＶをバーｍｖ２に等しく設定することによって、アフィン動き予測子を導出する；
２） 利用可能である場合に全てのＣＰＭＶをバーｍｖ１に等しく設定することによって、アフィン動き予測子を導出する；
３） 利用可能である場合に全てのＣＰＭＶをバーｍｖ０に等しく設定することによって、アフィン動き予測子を導出する；
４） 利用可能である場合に全てのＣＰＭＶをＨＥＶＣ ＴＭＶＰに等しく設定することによって、アフィン動き予測子を導出する；
５） 全てのＣＰＭＶをゼロＭＶに設定することによって、アフィン動き予測子を導出する。
なお、バーｍｖｉは、構築アフィン動き予測子にて既に導出されている。
アフィン動き予測子の数が最大値に達するまで、以下が適用される：
１） 利用可能である場合に全てのＣＰＭＶをバーｍｖ２に等しく設定することによって、アフィン動き予測子を導出する；
２） 利用可能である場合に全てのＣＰＭＶをバーｍｖ１に等しく設定することによって、アフィン動き予測子を導出する；
３） 利用可能である場合に全てのＣＰＭＶをバーｍｖ０に等しく設定することによって、アフィン動き予測子を導出する；
４） 利用可能である場合に全てのＣＰＭＶをＨＥＶＣ ＴＭＶＰに等しく設定することによって、アフィン動き予測子を導出する；
５） 全てのＣＰＭＶをゼロＭＶに設定することによって、アフィン動き予測子を導出する。
なお、バーｍｖｉは、構築アフィン動き予測子にて既に導出されている。
【0119】
ＡＦ＿ＩＮＴＥＲモードにおいて、４／６パラメータアフィンモードが使用されるとき、図１８Ａ及び１８Ｂに示すように、２つ／３つの制御点が必要とされ、従って、それらの制御点に対して２つ／３つのＭＶＤを符号化する必要がある。既存の実装では、ＭＶは以下のように導出されることができ、例えば、これは、ｍｖｄ０からｍｖｄ１及びｍｖｄ２を予測する：
ここで、バーｍｖｉ、ｍｖｄｉ、及びｍｖｉは、それぞれ、予測動きベクトル、動きベクトル差、及び図１８Ｂに示す左上ピクセル（ｉ＝０）、右上ピクセル（ｉ＝１）又は左下ピクセル（ｉ＝２）の動きベクトルである。一部の実施形態において、２つの動きベクトル（例えば、ｍｖＡ（ｘＡ，ｙＡ）及びｍｖＢ（ｘＢ，ｙＢ））の追加は、２つの成分の別々の足し合わせに等しい。例えば、新ＭＶ＝ｍｖＡ＋ｍｖＢは、新ＭＶの２つの成分がそれぞれ（ｘＡ＋ｘＢ）及び（ｙＡ＋ｙＢ）に設定されることを意味する。
【数3】
【0120】
２．２．６ ＡＦ＿ＭＥＲＧＥモードの例
ＡＦ＿ＭＥＲＧＥモードにおいてＣＵが適用されるとき、それは、有効な隣接再構成ブロックからアフィンモードで符号化された最初のブロックを取得する。そして、候補ブロックの選択順序は、図２１Ａに示すように、左から、上、右上、左下、左上（順に、Ａ、Ｂ、Ｃ、Ｄ、Ｅで表記している）である。例えば、隣接左下ブロックが、図２１ＢにおいてＡ０で表すようにアフィンモードで符号化される場合、ブロックＡを含む隣接ＣＵ／ＰＵの左上角、右上角、及び左下角の制御点（ＣＰ）動きベクトルｍｖ０ Ｎ、ｍｖ１ Ｎ、及びｍｖ２ Ｎがフェッチされる。そして、現在ＣＵ／ＰＵ上の左上／右上／左下角の動きベクトルｍｖ０ Ｃ、ｍｖ１ Ｃ、及びｍｖ２ Ｃ（これは６パラメータアフィンモデルでのみ使用される）が、ｍｖ０ Ｎ、ｍｖ１ Ｎ、及びｍｖ２ Ｎに基づいて算出される。なお、ＶＴＭ－２．０では、現在ブロックがアフィン符号化される場合、左上角にあるサブブロック（例えば、ＶＴＭにおいて４×４ブロック）がｍｖ０を格納し、右上角にあるサブブロックがｍｖ１を格納する。現在ブロックが６パラメータアフィンモデルで符号化される場合、左下角にあるサブブロックがｍｖ２を格納し、そうでない場合には（４パラメータアフィンモデルでは）、ＬＢがｍｖ２’を格納する。他のサブブロックは、ＭＣに使用されるＭＶを格納する。
ＡＦ＿ＭＥＲＧＥモードにおいてＣＵが適用されるとき、それは、有効な隣接再構成ブロックからアフィンモードで符号化された最初のブロックを取得する。そして、候補ブロックの選択順序は、図２１Ａに示すように、左から、上、右上、左下、左上（順に、Ａ、Ｂ、Ｃ、Ｄ、Ｅで表記している）である。例えば、隣接左下ブロックが、図２１ＢにおいてＡ０で表すようにアフィンモードで符号化される場合、ブロックＡを含む隣接ＣＵ／ＰＵの左上角、右上角、及び左下角の制御点（ＣＰ）動きベクトルｍｖ０ Ｎ、ｍｖ１ Ｎ、及びｍｖ２ Ｎがフェッチされる。そして、現在ＣＵ／ＰＵ上の左上／右上／左下角の動きベクトルｍｖ０ Ｃ、ｍｖ１ Ｃ、及びｍｖ２ Ｃ（これは６パラメータアフィンモデルでのみ使用される）が、ｍｖ０ Ｎ、ｍｖ１ Ｎ、及びｍｖ２ Ｎに基づいて算出される。なお、ＶＴＭ－２．０では、現在ブロックがアフィン符号化される場合、左上角にあるサブブロック（例えば、ＶＴＭにおいて４×４ブロック）がｍｖ０を格納し、右上角にあるサブブロックがｍｖ１を格納する。現在ブロックが６パラメータアフィンモデルで符号化される場合、左下角にあるサブブロックがｍｖ２を格納し、そうでない場合には（４パラメータアフィンモデルでは）、ＬＢがｍｖ２’を格納する。他のサブブロックは、ＭＣに使用されるＭＶを格納する。
【0121】
現在ＣＵのＣＰＭＶ ｖ０及びｖ１が、式（１）及び（２）にてアフィン動きモデルに従って計算された後、現在ＣＵのＭＶＦを生成することができる。現在ＣＵがＡＦ＿ＭＥＲＧＥモードで符号化されるかを特定するために、少なくとも１つの隣接ブロックがアフィンモードで符号化される場合に、アフィンフラグをビットストリーム内で信号伝達することができる。
【0122】
一部の実施形態（例えば、ＪＶＥＴ－Ｌ０１４２及びＪＶＥＴ－Ｌ０６３２）において、アフィンマージ候補リストは、以下のステップで構築され得る。
【0123】
１） 継承アフィン候補を挿入する
継承アフィン候補は、その候補がそれの有効な隣接アフィン符号化ブロックのアフィン動きモデルから導出されることを意味する。コモンベースで、図２４に示すように、候補位置の走査順序は、Ａ１、Ｂ１、Ｂ０、Ａ０及びＢ２である。
継承アフィン候補は、その候補がそれの有効な隣接アフィン符号化ブロックのアフィン動きモデルから導出されることを意味する。コモンベースで、図２４に示すように、候補位置の走査順序は、Ａ１、Ｂ１、Ｂ０、Ａ０及びＢ２である。
【0124】
候補が導出された後、同じ候補がリストに挿入されているかを検査するために、完全な剪定プロセスが実行される。同じ候補が存在する場合、導出された候補は破棄される。
【0125】
２） 構築アフィン候補を挿入する
アフィンマージ候補リスト内の候補の数がＭａｘＮｕｍＡｆｆｉｎｅＣａｎｄ（この寄稿では５に設定）よりも少ない場合、構築アフィン候補が候補リストに挿入される。構築アフィン候補は、各制御点の隣接動き情報を組み合わせることによって構築される候補を意味する。
アフィンマージ候補リスト内の候補の数がＭａｘＮｕｍＡｆｆｉｎｅＣａｎｄ（この寄稿では５に設定）よりも少ない場合、構築アフィン候補が候補リストに挿入される。構築アフィン候補は、各制御点の隣接動き情報を組み合わせることによって構築される候補を意味する。
【0126】
先ず、図２４に示すように、制御点に関する動き情報が、特定の空間的に隣接するもの及び時間的に隣接するものから導出される。ＣＰｋ（ｋ＝１，２，３，４）は、ｋ番目の制御点を表す。Ａ０、Ａ１、Ａ２、Ｂ０、Ｂ１、Ｂ２、及びＢ３は、ＣＰｋ（ｋ＝１，２，３）を予測するための空間位置であり、Ｔは、ＣＰ４を予測するための時間位置である。
【0127】
ＣＰ１、ＣＰ２、ＣＰ３、及びＣＰ４の座標は、それぞれ、（０，０）、（Ｗ，０）、（Ｈ，０）、及び（Ｗ，Ｈ）であるり、ここで、Ｗ及びＨは、現在ブロックの幅及び高さである。
【0128】
各制御点の動き情報は、以下の優先順位に従って取得される：
ＣＰ１について、検査優先度はＢ２→Ｂ３→Ａ２である。Ｂ２が利用可能である場合、それが使用される。そうでなくＢ３が利用可能である場合、Ｂ３が使用される。Ｂ２及びＢ３の両方が利用可能でない場合、Ａ２が使用される。これら３つの候補が全て利用可能でない場合には、ＣＰ１の動き情報を得ることはできない；
ＣＰ２について、検査優先度はＢ１→Ｂ０である；
ＣＰ３について、検査優先度はＡ１→Ａ０である；
ＣＰ４については、Ｔが用いられる。
ＣＰ１について、検査優先度はＢ２→Ｂ３→Ａ２である。Ｂ２が利用可能である場合、それが使用される。そうでなくＢ３が利用可能である場合、Ｂ３が使用される。Ｂ２及びＢ３の両方が利用可能でない場合、Ａ２が使用される。これら３つの候補が全て利用可能でない場合には、ＣＰ１の動き情報を得ることはできない；
ＣＰ２について、検査優先度はＢ１→Ｂ０である；
ＣＰ３について、検査優先度はＡ１→Ａ０である；
ＣＰ４については、Ｔが用いられる。
【0129】
第二に、アフィンマージ候補を構築するために、制御点の組み合わせが使用される。
【0130】
６パラメータアフィン候補を構築するには、３つの制御点の動き情報が必要とされる。３つの制御点は、以下の４つの組み合わせ（｛ＣＰ１，ＣＰ２，ＣＰ４｝、｛ＣＰ１，ＣＰ２，ＣＰ３｝、｛ＣＰ２，ＣＰ３，ＣＰ４｝、｛ＣＰ１，ＣＰ３，ＣＰ４｝）のうちの１つから選択され得る。組み合わせ｛ＣＰ１，ＣＰ２，ＣＰ３｝、｛ＣＰ２，ＣＰ３，ＣＰ４｝、｛ＣＰ１，ＣＰ３，ＣＰ４｝が、左上、右上、左下の制御点によって表される６パラメータ動きモデルに変換されることになる。
【0131】
４パラメータアフィン候補を構築するには、２つの制御点の動き情報が必要とされる。２つの制御点は、以下の６つの組み合わせ（｛ＣＰ１，ＣＰ４｝、｛ＣＰ２，ＣＰ３｝、｛ＣＰ１，ＣＰ２｝、｛ＣＰ２，ＣＰ４｝、｛ＣＰ１，ＣＰ３｝、｛ＣＰ３，ＣＰ４｝）のうちの１つから選択され得る。組み合わせ｛ＣＰ１，ＣＰ４｝、｛ＣＰ２，ＣＰ３｝、｛ＣＰ２，ＣＰ４｝、｛ＣＰ１，ＣＰ３｝、｛ＣＰ３，ＣＰ４｝が、左上及び右上の制御点によって表される４パラメータ動きモデルに変換されることになる。
【0132】
構築アフィン候補の組み合わせは、次の順序で候補リストに挿入される：｛ＣＰ１，ＣＰ２，ＣＰ３｝、｛ＣＰ１，ＣＰ２，ＣＰ４｝、｛ＣＰ１，ＣＰ３，ＣＰ４｝、｛ＣＰ２，ＣＰ３，ＣＰ４｝、｛ＣＰ１，ＣＰ２｝、｛ＣＰ１，ＣＰ３｝、｛ＣＰ２，ＣＰ３｝、｛ＣＰ１，ＣＰ４｝、｛ＣＰ２，ＣＰ４｝、｛ＣＰ３，ＣＰ４｝。
【0133】
組み合わせの参照リストＸ（Ｘは０又は１）について、制御点の中で最も高い使用率を有する参照インデックスが、リストＸの参照インデックスとして選択され、差分参照ピクチャを指す動きベクトルがスケーリングされる。
【0134】
候補が導出された後、同じ候補がリストに挿入されているかを検査するために、完全な剪定プロセスが実行される。同じ候補が存在する場合、導出された候補は破棄される。
【0135】
３） ゼロ動きベクトルでのパディング
アフィンマージ候補リスト内の候補の数が５未満である場合、リストがいっぱいになるまで、ゼロ参照インデックスを持つゼロ動きベクトルが候補リストに挿入される。
アフィンマージ候補リスト内の候補の数が５未満である場合、リストがいっぱいになるまで、ゼロ参照インデックスを持つゼロ動きベクトルが候補リストに挿入される。
【0136】
２．３ 現在ピクチャ参照（current picture referencing；ＣＰＲ）の例
現在ピクチャ参照（ＣＰＲ）とも呼ばれるイントラブロックコピー（ＩＢＣ、又はイントラピクチャブロック補償）が、ＨＥＶＣスクリーンコンテンツ符号化エクステンション（ＳＣＣ）で採用された。このツールは、テキスト及びグラフィックスが豊富なコンテンツにおける繰り返しパターンが同一ピクチャ内で頻繁に発生するスクリーンコンテンツ映像の符号化にとって非常に効率的である。同じ又は類似のパターンを有する先に再構成されたブロックを予測子とすることは、予測誤差を効果的に低減することができ、ひいては、符号化効率を向上させることができる。イントラブロック補償の一例を図２３に示す。
現在ピクチャ参照（ＣＰＲ）とも呼ばれるイントラブロックコピー（ＩＢＣ、又はイントラピクチャブロック補償）が、ＨＥＶＣスクリーンコンテンツ符号化エクステンション（ＳＣＣ）で採用された。このツールは、テキスト及びグラフィックスが豊富なコンテンツにおける繰り返しパターンが同一ピクチャ内で頻繁に発生するスクリーンコンテンツ映像の符号化にとって非常に効率的である。同じ又は類似のパターンを有する先に再構成されたブロックを予測子とすることは、予測誤差を効果的に低減することができ、ひいては、符号化効率を向上させることができる。イントラブロック補償の一例を図２３に示す。
【0137】
ＨＥＶＣ ＳＣＣにおけるＣＲＰの設計と同様に、ＶＶＣにおいて、ＩＢＣモードの使用は、シーケンス及びピクチャレベルの両方で信号伝達される。ＩＢＣモードがシーケンスパラメータセット（ＳＰＳ）で有効にされるとき、それはピクチャレベルで有効にされることができる。ＩＢＣモードがピクチャレベルで有効にされるとき、現在再構成ピクチャが参照ピクチャとして扱われる。従って、ＩＢＣモードの使用を信号伝達するために、既存のＶＶＣインターモードに加えての、ブロックレベルの構文変更は必要とされない。
【0138】
ＣＰＲの特徴の一部は、以下を含む：
・ これは通常インターモードとして扱われる。従って、ＩＢＣモードでは、マージモード及びスキップモードも利用可能である。ＩＢＣモード又はＨＥＶＣインターモードのいずれかで符号化される隣接位置からのマージ候補を含め、マージ候補リスト構築が統一される。選択されたマージインデックスに応じて、マージモード又はスキップモードの下の現在ブロックは、異なるピクチャを参照ピクチャとして、ＩＢＣモード符号化された隣接するもの又はその他で通常インターモード符号化されたもののいずれかにマージすることができる。
・ ＩＢＣモードのブロックベクトル予測及び符号化スキームは、ＨＥＶＣインターモード（ＡＭＶＰ及びＭＶＤ符号化）における動きベクトル予測及び符号化に使用されるスキームを再利用する。
・ ブロックベクトルとも呼ばれるＩＢＣモードの動きベクトルは、整数ペル精度で符号化されるが、補間段階及びデブロッキング段階で１／４ペル精度が要求されるので、復号後に１／１６ペル精度でメモリに格納される。ＩＢＣモードの動きベクトル予測で使用されるとき、格納されたベクトル予測子は４だけ右シフトされることになる。
・ 探索範囲：現在ＣＴＵ内に制限される。
・ アフィンモード／三角モード／ＧＢＩ／重み付け予測が有効にされるとき、ＣＰＲは可能にされない。
・ これは通常インターモードとして扱われる。従って、ＩＢＣモードでは、マージモード及びスキップモードも利用可能である。ＩＢＣモード又はＨＥＶＣインターモードのいずれかで符号化される隣接位置からのマージ候補を含め、マージ候補リスト構築が統一される。選択されたマージインデックスに応じて、マージモード又はスキップモードの下の現在ブロックは、異なるピクチャを参照ピクチャとして、ＩＢＣモード符号化された隣接するもの又はその他で通常インターモード符号化されたもののいずれかにマージすることができる。
・ ＩＢＣモードのブロックベクトル予測及び符号化スキームは、ＨＥＶＣインターモード（ＡＭＶＰ及びＭＶＤ符号化）における動きベクトル予測及び符号化に使用されるスキームを再利用する。
・ ブロックベクトルとも呼ばれるＩＢＣモードの動きベクトルは、整数ペル精度で符号化されるが、補間段階及びデブロッキング段階で１／４ペル精度が要求されるので、復号後に１／１６ペル精度でメモリに格納される。ＩＢＣモードの動きベクトル予測で使用されるとき、格納されたベクトル予測子は４だけ右シフトされることになる。
・ 探索範囲：現在ＣＴＵ内に制限される。
・ アフィンモード／三角モード／ＧＢＩ／重み付け予測が有効にされるとき、ＣＰＲは可能にされない。
【0139】
２．４ ＶＶＣにおけるマージリスト設計の例
ＶＶＣでは、以下の３つの異なるマージリスト構築プロセスがサポートされている。
ＶＶＣでは、以下の３つの異なるマージリスト構築プロセスがサポートされている。
【0140】
（１）サブブロックマージ候補リスト：これは、ＡＴＭＶＰ及びアフィンマージ候補を含む。１つのマージリスト構築プロセスが、アフィンモード及びＡＴＭＶＰモードの両方で共有される。ここで、ＡＴＭＶＰ及びアフィンマージ候補が順に追加され得る。サブブロックマージリストのサイズはスライスヘッダ内で信号伝達され、最大値は５である。
【0141】
（２）片予測ＴＰＭマージリスト：三角予測モードでは、２つの分割がそれら自身のマージ候補インデックスを選択し得るとしても、２つの分割に対する１つのマージリスト構築プロセスが共有される。このマージリストを構築するとき、ブロックの空間隣接ブロック及び２つの時間ブロックが検査される。空間隣接及び時間ブロックから導出される動き情報は、我々のＩＤＦでは通常動き候補と呼ばれている。これらの通常動き候補は、複数のＴＰＭ候補を導出するために更に利用される。なお、２つの分割がそれら自身の予測ブロックを生成するために異なる動きベクトルを使用し得るとしても、変換はブロック全体のレベルで実行される。一部の実施形態において、片予測ＴＰＭマージリストサイズは５であるように固定される。
【0142】
（３）通常のマージリスト：残りの符号化ブロックでは、１つのマージリスト構築プロセスが共有される。ここで、空間／時間／ＨＭＶＰ、ペアワイズ結合双予測マージ候補、及びゼロ動き候補が、順に挿入され得る。通常マージリストサイズはスライスヘッダ内で信号伝達され、最大値は６である。
【0143】
サブブロックマージ候補リスト
全てのサブブロック関係の動き候補を、非サブブロックマージ候補用の通常マージリストに加えての別個のマージリストに入れることが提案される。
全てのサブブロック関係の動き候補を、非サブブロックマージ候補用の通常マージリストに加えての別個のマージリストに入れることが提案される。
【0144】
サブブロック関係の動き候補は、‘サブブロックマージ候補リスト’という名の別個のマージリストに入れられる。
【0145】
一例において、サブブロックマージ候補リストは、アフィンマージ候補、及びＡＴＭＶＰ候補、及び／又はサブブロックベースのＳＴＭＶＰ候補を含む。
【0146】
ＪＶＥＴ－Ｌ０２７８
この寄稿において、通常マージリスト内のＡＴＭＶＰマージ候補が、アフィンマージリストの最初の位置に移動される。それにより、新しいリスト（すなわち、サブブロックベースのマージ候補リスト）内の全てのマージ候補がサブブロック符号化ツールに基づく。
この寄稿において、通常マージリスト内のＡＴＭＶＰマージ候補が、アフィンマージリストの最初の位置に移動される。それにより、新しいリスト（すなわち、サブブロックベースのマージ候補リスト）内の全てのマージ候補がサブブロック符号化ツールに基づく。
【0147】
通常マージリスト
マージリスト設計とは異なり、ＶＶＣでは、履歴ベース動きベクトル予測（ＨＭＶＰ）法が採用される。
マージリスト設計とは異なり、ＶＶＣでは、履歴ベース動きベクトル予測（ＨＭＶＰ）法が採用される。
【0148】
ＨＭＶＰでは、先に符号化された動き情報が格納される。先に符号化されたブロックの動き情報は、ＨＭＶＰ候補として規定される。複数のＨＭＶＰ候補が、ＨＭＶＰテーブルと名付けられたテーブルに格納され、そして、このテーブルが、符号化／復号プロセス中にオンザフライで維持管理される。ＨＭＶＰテーブルは、新たなスライスを符号化／復号し始めるときに空（エンプティ）にされる。インター符号化ブロックがあるといつでも、関連する動き情報が、新たなＨＭＶＰ候補として、テーブルの最後のエントリに追加される。全体的な符号化フローを図２４に示す。
【0149】
ＨＭＶＰ候補は、ＡＭＶＰ及びマージ候補リスト構築プロセスの両方で使用され得る。図２５は、（灰色でハイライトして）改良マージ候補リスト構築プロセスを示している。ＴＭＶＰ候補の挿入後にマージ候補リストがいっぱいでないとき、ＨＭＶＰテーブルに格納されたＨＭＶＰ候補を使用して、マージ候補リストを充たし得る。１ブロックは、通常、動き情報に関して、最も近い隣接ブロックといっそう高い相関を持つことを考慮して、テーブル内のＨＭＶＰ候補はインデックスの降順に挿入される。テーブル内の最後のエントリが最初にリストに追加され、最初のエントリは最後に追加される。同様に、ＨＭＶＰ候補に対して冗長性除去が適用される。利用可能なマージ候補の総数が、信号伝達されることが許されるマージ候補の最大数に達すると、このマージ候補リスト構築プロセスは終了する。
【0150】
３ 既存の実装の欠点
既存のＶＶＣ実装では、３つの異なるマージリストが、ハードウェア実装コストを増加させる異なる手順で利用される。
既存のＶＶＣ実装では、３つの異なるマージリストが、ハードウェア実装コストを増加させる異なる手順で利用される。
【0151】
３つのマージリストの全てで、それらは、例えば空間ブロック及び時間ブロックから動き情報をロードするなど、空間ブロック及び時間ブロックの両方にアクセスする必要がある。しかしながら、時間ブロックから動き情報をロードすることは、典型的に、遥かに長い時間を必要とし、それがクリティカルパスを増加させる。
【0152】
４ 映像符号化のための別個の動き候補リストに関する方法例
ここで開示される技術の実施形態は、既存の実装の欠点を克服し、それにより、より高い符号化効率を有する映像符号化を提供する。開示される技術に基づく、映像符号化のための別々の動き候補リストの構築は、既存の及び将来の映像符号化標準の双方を強化することができ、種々の実装に関して説明される以下の例にて明らかになる。以下に提供される開示技術の例は、一般的概念を説明するものであり、限定するものとして解釈されることを意味するものではない。一例において、そうでないことが明示的に示されない限り、これらの例にて説明される様々な特徴は組み合わされることができる。なお、提案される技術のうちの一部は、既存の候補リスト構築プロセスに適用され得る。
ここで開示される技術の実施形態は、既存の実装の欠点を克服し、それにより、より高い符号化効率を有する映像符号化を提供する。開示される技術に基づく、映像符号化のための別々の動き候補リストの構築は、既存の及び将来の映像符号化標準の双方を強化することができ、種々の実装に関して説明される以下の例にて明らかになる。以下に提供される開示技術の例は、一般的概念を説明するものであり、限定するものとして解釈されることを意味するものではない。一例において、そうでないことが明示的に示されない限り、これらの例にて説明される様々な特徴は組み合わされることができる。なお、提案される技術のうちの一部は、既存の候補リスト構築プロセスに適用され得る。
【0153】
動き情報が由来するところに基づく複数の候補リスト
例１． 時間候補リストと呼ぶ別個の候補リストが構築され、純粋に空間ブロックからの動き情報は除外される。
例１． 時間候補リストと呼ぶ別個の候補リストが構築され、純粋に空間ブロックからの動き情報は除外される。
【0154】
（ａ）一例において、時間ブロックのみからの動き情報（このような動き情報が時間候補として追加される）が考慮される時間候補リストが構築される。
【0155】
（ｂ）一例において、時間候補リストはまた、例えばサブブロックベースのＳＴＭＶＰ又は非サブブロックベースのＳＴＭＶＰなどの、時間ブロック及び空間ブロックの両方にアクセスすることを必要とする候補を含んでもよい。
【0156】
（ｃ）一例において、時間マージ候補リストは、時間隣接ブロック情報を使用してアフィンモデルを導出するアフィンマージ候補を含んでもよい。
【0157】
（ｉ）あるいは、時間隣接ブロック情報を使用してアフィンモデルを導出するアフィンマージ候補が、別個のマージ候補リストにあるようにされる。
【0158】
（ｄ）一例において、時間候補リストはまた、ＨＭＶＰ候補を含んでもよい。
【0159】
（ｅ）一例において、時間候補リストはまた、時間候補及び／又はＨＭＶＰ候補から導出された仮想候補を含んでもよい。
【0160】
（ｆ）一例において、時間候補リストは、以下の候補のみ、すなわち、１つの候補が、例えばＴＭＶＰなど、ブロック全体に適用される１セットの動き情報のみに関連付けられる候補、のみを含んでもよい。
【0161】
（ｇ）一例において、時間候補リストは、以下の候補のみ、すなわち、１つの候補が、例えばＡＴＭＶＰなど、各セットがブロック全体内のサブブロックに適用される複数セットの動き情報に関連付けられるもののみの候補、のみを含んでもよい。
【0162】
（ｈ）一例において、時間ブロックにアクセスする必要がある全ての動き候補について、それら時間ブロックの全てが同じ参照ピクチャからのものである。あるいは、時間ブロックにアクセスする必要がある全ての動き候補について、それら時間ブロックの全てが、各参照ピクチャリストの１つの参照ピクチャからのものである。
【0163】
（ｉ）一例において、時間ブロックにアクセスする必要がある全ての動き候補について、それらの時間ブロックがあるピクチャが、予め定められている（例えば、０に等しい参照インデックス）又はＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダ／タイル／ＣＴＵ／ＣＵ／ＰＵ内で信号伝達されるとしてもよい。
【0164】
（ｊ）一例において、時間ブロックにアクセスする必要がある全ての動き候補について、それら時間ブロックの全てが、現在ブロックとコロケートの又は同じＣＴＵ（符号化ツリーユニット）行にある。
【0165】
（ｋ）一例において、時間ブロックにアクセスする必要がある全ての動き候補について、映像ユニットが複数の重なり合わないＭ×Ｎ領域に分割されるときに、それら時間ブロックの全てが同一領域（Ｍ×Ｎに等しいサイズを有し、例えば、Ｍ＝Ｎ＝６４）にあり、ここで、Ｍ及びＮは、予め定められ、あるいは、ＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダ／タイル／ＣＴＵ／ＣＵ／ＰＵ内で信号伝達され得る。
【0166】
（ｌ）あるいは、さらに、このリスト内の動き候補に対して一般化双予測（ＧＢｉ）が無効にされ、動き候補リスト内の動き候補に対してＧＢｉインデックスが０に設定される。ＧＢｉは、ＣＵレベルの重みを用いた双予測（Bi-prediction with CU-level Weights；ＢＣＷ）としても知られている。
【0167】
例２． 空間候補リストと呼ぶ別個の候補リストが構築され、時間ブロックからの動き情報は除外される。
【0168】
（ａ）一例において、空間ブロックのみからの動き情報（このような動き情報が空間候補として追加される）が考慮される空間候補リストが構築される。
【0169】
（ｂ）一例において、空間候補リストはまた、ＨＭＶＰ候補を含んでもよい。
【0170】
（ｃ）一例において、空間候補リストはまた、空間候補及び／又はＨＭＶＰ候補から導出された仮想候補を含んでもよい。
【0171】
一部の実施形態において、動き候補リストは、時間ブロック及び空間ブロックの両方に基づく動き候補を有する。一部の実施形態において、動き候補は、サブブロックベースの空間時間動きベクトル予測（ＳＴＭＶＰ）又は非サブブロックベースのＳＴＭＶＰに使用される。
【0172】
例３． ＣＰＲ候補リストと呼ぶ別個の候補リストが構築され、全ての候補が同一参照ピクチャに関連付けられる。
【0173】
（ａ）一例において、同一参照ピクチャは、現在ピクチャ／タイル／スライスとして定められる。
【0174】
（ｂ）一例において、全ての候補が片予測候補である。あるいは、片予測候補及び双予測候補の両方を含むことが可能にされるが、参照ピクチャはなおも、両方の参照ピクチャリストに対して同じである。
【0175】
（ｃ）このような候補リストは、空間ブロック（隣接又は非隣接）からの動き情報を含んでもよい。
【0176】
（ｄ）このような候補リストは、予め定められた、あるいは、現在ブロックの位置に基づいて及び／又はＣＰＲモード（又はＩＢＣモード）の許容探索範囲に基づいて及び／又は動き補償ブロックの最大許容ユニットサイズ（例えば、６４×６４）に基づいて計算された、動きベクトルを有する何らかのデフォルト動き候補を含んでもよい。
【0177】
例４． 一例において、ＡＴＭＶＰが、別個にされたマージ候補リスト内にある。ＡＴＭＶＰは、サブブロックＴＭＶＰ（ＳｂＴＭＶＰ）としても知られている。
【0178】
（ａ）あるいは、それは、時間マージ候補リストにあるが、常に、例えば最初の位置などの固定位置を保持する。
【0179】
一部の実施形態において、映像の映像ブロックに対する動き候補リストが構築され、該動き候補リストは、ＡＴＭＶＰ候補を有するが、アフィン候補を除外する。
【0180】
例５． 時間及び／又は空間候補リスト及び／又は他の種類の候補リスト（例えば、ＨＭＶＰ候補リスト）のリストサイズは、予め定められてもよく、例えば、Ｋ（例えば、Ｋ＝５又は６）に等しくされ得る。予め定められたリストサイズは、第１の動き候補リスト内の最大許容動き候補数を記述することができる。
【0181】
（ａ）あるいは、候補リストサイズの別個のシグナリングが使用されてもよい。
【0182】
（ｂ）あるいは、候補リストサイズは、一度に信号伝達されて、全ての種類の候補リストに適用されてもよい。
【0183】
（ｃ）エンコーダからデコーダへの信号伝達は、ＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダ／タイル／ＣＴＵ／ＣＵ／ＰＵ内で行われ得る。
【0184】
例６． ＨＭＶＰ候補リストと呼ぶ別個の候補リストが構築され、該リストにＨＭＶＰ候補のみを含めることが提案される。
【0185】
（ａ）あるいは、さらに、何らかのデフォルト動きベクトル候補（例えば、ゼロ動きベクトル候補）も含めてもよい。
【0186】
（ｂ）あるいは、さらに、既存のＨＭＶＰ候補から導出された一部の候補も含めてもよい。
【0187】
例７． 複数の候補リストが存在する場合、リストインデックスが更に信号伝達され得る。
【0188】
（ａ）一例において、隣接ブロックのリストインデックスが、例えばコンテキストに使用されるなど、現在ブロックのリストインデックスを符号化するために利用され得る。
【0189】
（ｂ）信号伝達されるリストインデックスの同じ値が、異なるブロックに対する異なるマージリストに対応してもよい。
【0190】
（ｃ）リストインデックスの信号伝達は、例えばＴＰＭ、非アフィン及び非ＴＰＭモードなどの符号化モード情報に依存してもよい。
【0191】
一部の実施形態において、モードに基づいて、複数の動き候補リスト構築方法を用いた複数の動き候補リストの使用、又は１つの動き候補リスト構築方法を用いた１つの動き候補リストのみの使用を決定することができる。一部の実施形態において、モードに基づいて、映像ブロックと該映像ブロックを含む映像のビットストリーム表現との間での変換において、第１の動き候補リスト構築方法が第１の映像ブロックに対して有効にされると決定することができる。
【0192】
例８． 異なる候補リスト間で剪定処理が行われ得る。
【0193】
（ａ）候補が別の候補リスト内の候補と同じ又は類似である場合、その候補は候補リストに挿入されないとし得る。
【0194】
例９． 以上の方法は、特定のモードに対して適用可能としてもよい。
【0195】
（ａ）それがあるモードに対して無効にされる場合、マージリストインデックスは信号伝達されない。
【0196】
（ｂ）一例において、マージモードには別個の候補リストが使用されるが、ＡＭＶＰモードには使用されないとし得る。
【0197】
（ｃ）一例において、別個の候補リストはＴＰＭモードに対して無効にされてもよい。すなわち、ＴＰＭ符号化ブロックに対しては１つのリストのみが構築される。
【0198】
（ｄ）以上の方法は、特定のブロックサイズに対して適用可能としてもよい。Ｗ及びＨを、それぞれ、ブロック幅及び高さとすると、以上の方法は、以下のときに適用され得る：
（ｉ）Ｗ＊Ｈが閾値（例えば、６４）に等しい及び／又はそれよりも大きい；
（ｉｉ）Ｗ≧Ｔ０及び／又はＨ≧Ｔ１であり、例えば、Ｔ０及びＴ１は両方とも１６に設定される。
（ｉ）Ｗ＊Ｈが閾値（例えば、６４）に等しい及び／又はそれよりも大きい；
（ｉｉ）Ｗ≧Ｔ０及び／又はＨ≧Ｔ１であり、例えば、Ｔ０及びＴ１は両方とも１６に設定される。
【0199】
上述の例は、例えば方法２６００Ａから２６００Ｅといった、映像デコーダ又は映像エンコーダに実装され得るものである以下に記載の方法のコンテキストにて組み込まれ得る。
【0200】
図２６Ａは、映像処理のための例示的な方法２６００Ａの第１のフローチャートを示している。動作２６１０にて、映像の第１の映像ブロックに対して、第１の動き候補リストが、空間ブロックのみから導出された動き候補を除外する第１の動き候補リスト構築方法を用いて構築される。動作２６１５にて、構築された第１の動き候補リストに従って、第１の映像ブロックと、第１の映像ブロックを含む映像のビットストリーム表現との間での変換が実行される。
【0201】
方法２６００Ａに関する一部の実施形態において、第１の動き候補リストは、時間ブロックのみからの動き候補を有する。方法２６００Ａに関する一部の実施形態において、第１の動き候補リストは、時間ブロック及び空間ブロックの両方に基づく動き候補を有する。方法２６００Ａに関する一部の実施形態において、動き候補は、サブブロックベースの空間時間動きベクトル予測（ＳＴＭＶＰ）又は非サブブロックベースのＳＴＭＶＰに使用される。方法２６００Ａに関する一部の実施形態において、第１の動き候補リストは、第１の映像ブロックの時間的に隣接する映像ブロックからの情報を用いてアフィンモデルを導出するアフィンマージ候補を有する。
【0202】
方法２６００Ａに関する一部の実施形態において、第１の動き候補リストは、第１の映像ブロックの時間的に隣接する映像ブロックからの情報を用いてアフィンモデルを導出するアフィンマージ候補を除外する。方法２６００Ａに関する一部の実施形態において、第１の動き候補リストは、履歴ベース動きベクトル予測（ＨＭＶＰ）候補を有する。方法２６００Ａに関する一部の実施形態において、第１の動き候補リストは、履歴ベース動きベクトル予測（ＨＭＶＰ）候補又は時間動き候補から導出された仮想候補を有する。方法２６００Ａに関する一部の実施形態において、第１の動き候補リストは、以下の動き候補のみを有し、すなわち、各動き候補が、第１の映像ブロックの全体に適用される単一セットの動き情報に関連付けられるもののみの動き候補、のみを有する。
【0203】
方法２６００Ａに関する一部の実施形態において、第１の動き候補リストは、以下の動き候補のみを有し、すなわち、各動き候補が、複数セットの動き情報に関連付けられるもののみの動き候補、のみを有し、複数セットの動き情報の各々が、第１の映像ブロックのサブブロックに適用される。方法２６００Ａに関する一部の実施形態において、第１の動き候補リストは、同じ参照ピクチャの複数の時間ブロックに関連する複数の動き候補を有する。方法２６００Ａに関する一部の実施形態において、第１の動き候補リストは、各参照ピクチャリストの１つの参照ピクチャに関連する複数の時間ブロックに関連する複数の動き候補を有する。
【0204】
方法２６００Ａに関する一部の実施形態において、第１の動き候補リストは、ピクチャ内に位置する複数の時間ブロックに関連する複数の動き候補を有し、そのピクチャの参照インデックスは、予め定められており、あるいは、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット（ＣＴＵ）、符号化ユニット（ＣＵ）、又は予測ユニット（ＰＵ）内で信号伝達される。方法２６００Ａに関する一部の実施形態において、第１の動き候補リストは、第１の映像ブロックを有するコロケート符号化ツリーユニット（ＣＴＵ）行内に位置する複数の時間ブロックに関連する複数の動き候補を有する。
【0205】
方法２６００Ａに関する一部の実施形態において、第１の動き候補リストは、映像ユニットが複数の重なり合わないＭ×Ｎ領域に分割されるときに、サイズＭ×Ｎの同一領域内に位置する複数の時間ブロックに関連する複数の動き候補を有し、Ｍ及びＮは、予め定められた整数、あるいは、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット（ＣＴＵ）、符号化ユニット（ＣＵ）、又は予測ユニット（ＰＵ）内で信号伝達される整数である。方法２６００Ａに関する一部の実施形態において、第１の動き候補リスト内の動き候補に対して、一般化双予測（ＧＢｉ）が無効にされ、ＧＢｉインデックスが、第１の動き候補リスト内の動き候補に対して０に設定される。方法２６００Ａに関する一部の実施形態において、第１の動き候補リストは、代替的時間動きベクトル予測（ＡＴＭＶＰ）候補を有する。方法２６００Ａに関する一部の実施形態において、ＡＴＭＶＰ候補は、第１の動き候補リスト内の固定位置に置かれる。
【0206】
図２６Ｂは、映像処理のための例示的な方法２６００Ｂの第２のフローチャートを示している。動作２６３０にて、映像の第１の映像ブロックに対して、アフィン候補を除外して代替的時間動きベクトル予測（ＡＴＭＶＰ）候補を有する第１の動き候補リストが構築される。動作２６３５にて、構築された第１の動き候補リストに従って、第１の映像ブロックと、第１の映像ブロックを含む映像のビットストリーム表現との間での変換が実行される。
【0207】
方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、当該方法は更に、第１の映像ブロックに対して、第１の動き候補リスト構築方法とは異なる第２の動き候補リスト構築方法を用いて、第２の動き候補リストを構築することを含む。方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、ビットストリーム表現は、第１及び第２の動き候補リスト構築方法を含む複数の動き候補リスト構築方法に対応する複数の動き候補リストのセット内のリストを特定するリストインデックスを含む。方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、第１のリストインデックスは、第１の映像ブロックの隣接する映像ブロックに対応し、第１の映像ブロックの第２のリストインデックスを符号化するために使用される。
【0208】
方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、第１のリストインデックスは、第１の映像ブロックの隣接する映像ブロックに対応し、第１の映像ブロックの第２のリストインデックスを符号化するためにコンテキスト選択において使用される。方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、リストインデックスについての同じ値が、映像の異なる映像ブロックに対する異なる動き候補リスト構築方法に対応する。
【0209】
方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、リストインデックスの信号伝達は、三角予測モード（ＴＰＭ）、非アフィンモード、又は非ＴＰＭモードを含む符号化モード情報に基づく。方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、当該方法は更に、複数の動き候補リスト内の異なる動き候補リスト内の動き候補に対して剪定処理を実行することを含む。方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、当該方法は更に、モードに基づいて、複数の動き候補リスト構築方法を用いた複数の動き候補リストの使用、又は１つの動き候補リスト構築方法を用いた１つの動き候補リストのみの使用を決定することを含む。
【0210】
方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、複数の動き候補リスト構築方法を用いた複数の動き候補リストの使用が無効にされるとき、第１の動き候補リストのリストインデックスがモードに対して無効にされ、信号伝達されない。方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、当該方法は更に、モードに基づいて、第１の映像ブロックに対する第１の動き候補リスト構築方法が有効にされると決定することを含む。方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、モードはマージモードである。方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、モードはアドバンスト動きベクトル予測（ＡＭＶＰ）モードである。方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、モードは三角予測（ＴＰＭ）モードである。方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、モードは、ブロック寸法に関係付けられる。方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、ブロック寸法は、閾値以上である第１の映像ブロックの高さと幅の積を含む。方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、閾値は６４である。
【0211】
方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、第１の映像ブロックの高さは第１の閾値以上であり、第１の映像ブロックの幅は第２の閾値以上である。方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、第１の閾値は１６であり、第２の閾値は１６である。方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、第１の動き候補リストは、上記モードで符号化される映像ブロックに対して、単一の動き候補リストを有する。方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、第１の動き候補リストは、上記モードで符号化されない映像ブロックに対して、単一の動き候補リストを有する。方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、第１及び第２の例示的な実施形態の一部の実装において、変換を実行することは、ビットストリーム表現から第１の映像ブロックのピクセル値を生成することを有する。方法２６００Ａ及び／又は２６００Ｂに関する一部の実施形態において、変換を実行することは、第１の映像ブロックのピクセル値からビットストリーム表現を生成することを有する。
【0212】
図２６Ｃは、映像処理のための例示的な方法２６００Ｃの第３のフローチャートを示している。動作２６４０にて、映像の第１の映像ブロックに対して、時間ブロックのみから導出された動き候補を除外する第１の動き候補リスト構築方法を用いて、第１の動き候補リストが構築される。動作２６４５にて、構築された第１の動き候補リストに従って、第１の映像ブロックと、第１の映像ブロックを含む映像のビットストリーム表現との間での変換が実行される。
【0213】
方法２６００Ｃに関する一部の実施形態において、第１の動き候補リストは、空間ブロックのみからの動き候補を有する。方法２６００Ｃに関する一部の実施形態において、第１の動き候補リストは、履歴ベース動きベクトル予測（ＨＭＶＰ）候補を有する。方法２６００Ｃに関する一部の実施形態において、第１の動き候補リストは、ＨＭＶＰ候補又は空間動き候補から導出された仮想候補を有する。方法２６００Ｃに関する一部の実施形態において、第１の動き候補リストは、時間ブロック及び空間ブロックの両方に基づく動き候補を有する。
【0214】
方法２６００Ｃに関する一部の実施形態において、動き候補は、サブブロックベースの空間時間動きベクトル予測（ＳＴＭＶＰ）又は非サブブロックベースのＳＴＭＶＰに使用される。方法２６００Ｃに関する一部の実施形態において、第１の動き候補リストのリストサイズは、第１の動き候補リストに許容される動き候補の予め定められた最大数である。方法２６００Ｃに関する一部の実施形態において、リストサイズは５又は６である。方法２６００Ｃに関する一部の実施形態において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、別個に信号伝達される。
【0215】
方法２６００Ｃに関する一部の実施形態において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、一度に信号伝達され、第１の動き候補リスト及び少なくとも１つの更なる動き候補リストを有する複数タイプの動き候補リストに適用される。方法２６００Ｃに関する一部の実施形態において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット（ＣＴＵ）、符号化ユニット（ＣＵ）、又は予測ユニット（ＰＵ）を用いて信号伝達される。
【0216】
方法２６００Ｃに関する一部の実施形態において、少なくとも１つの更なる動き候補リストは、時間候補リスト、又は空間候補リスト、又は履歴ベース動きベクトル予測（ＨＭＶＰ）候補リストである。方法２６００Ｃに関する一部の実施形態において、当該方法は更に、第１の映像ブロックに対して、第１の動き候補リスト構築方法とは異なる第２の動き候補リスト構築方法を用いて、第２の動き候補リストを構築することを有する。
【0217】
方法２６００Ｃに関する一部の実施形態において、第２の動き候補リストは、空間隣接ブロックのみから導出された動き候補を除外する時間候補リスト、又は時間的若しくは空間隣接ブロックのみから導出された動き候補を除外する履歴ベース動きベクトル予測（ＨＭＶＰ）候補リストである。方法２６００Ｃに関する一部の実施形態において、ビットストリーム表現は、第１及び第２の動き候補リスト構築方法を含む複数の動き候補リスト構築方法に対応する複数の動き候補リストのセット内のリストを特定するリストインデックスを含む。
【0218】
方法２６００Ｃに関する一部の実施形態において、当該方法は更に、モードに基づいて、複数の動き候補リスト構築方法を用いた複数の動き候補リストの使用、又は１つの動き候補リスト構築方法を用いた１つの動き候補リストのみの使用を決定することを有する。方法２６００Ｃに関する一部の実施形態において、複数の動き候補リスト構築方法を用いた複数の動き候補リストの使用が無効にされるとき、第１の動き候補リストのリストインデックスがモードに対して無効にされ、信号伝達されない。
【0219】
方法２６００Ｃに関する一部の実施形態において、当該方法は更に、モードに基づいて、第１の映像ブロックに対する第１の動き候補リスト構築方法が有効にされると決定することを有する。方法２６００Ｃに関する一部の実施形態において、モードはマージモードである。方法２６００Ｃに関する一部の実施形態において、モードはアドバンスト動きベクトル予測（ＡＭＶＰ）モードである。方法２６００Ｃに関する一部の実施形態において、モードは三角予測（ＴＰＭ）モードである。方法２６００Ｃに関する一部の実施形態において、モードは、ブロック寸法に関係付けられる。
【0220】
方法２６００Ｃに関する一部の実施形態において、ブロック寸法は、閾値以上である第１の映像ブロックの高さと幅の積を含む。方法２６００Ｃに関する一部の実施形態において、閾値は６４である。方法２６００Ｃに関する一部の実施形態において、第１の映像ブロックの高さは第１の閾値以上であり、第１の映像ブロックの幅は第２の閾値以上である。方法２６００Ｃに関する一部の実施形態において、第１の閾値は１６であり、第２の閾値は１６である。方法２６００Ｃに関する一部の実施形態において、第１の動き候補リストは、上記モードで符号化される映像ブロックに対して、単一の動き候補リストを有する。
【0221】
方法２６００Ｃに関する一部の実施形態において、第１の動き候補リストは、上記モードで符号化されない映像ブロックに対して、単一の動き候補リストを有する。方法２６００Ｃに関する一部の実施形態において、変換を実行することは、ビットストリーム表現から第１の映像ブロックのピクセル値を生成することを有する。方法２６００Ｃに関する一部の実施形態において、変換を実行することは、第１の映像ブロックのピクセル値からビットストリーム表現を生成することを有する。
【0222】
図２６Ｄは、映像処理のための例示的な方法２６００Ｄの第４のフローチャートを示している。動作２６５０にて、映像の第１の映像ブロックに対して、同じ参照ピクチャに関連する動き候補を含める第１の動き候補リスト構築方法を用いて、第１の動き候補リストが構築される。動作２６５５にて、構築された第１の動き候補リストに従って、第１の映像ブロックと、第１の映像ブロックを含む映像のビットストリーム表現との間での変換が実行される。
【0223】
方法２６００Ｄに関する一部の実施形態において、第１の動き候補リストはイントラブロックコピー（ＩＢＣ）リストである。方法２６００Ｄに関する一部の実施形態において、同じ参照ピクチャは、現在ピクチャ、現在タイル、又は現在スライスであり、第１の映像ブロックは、現在ピクチャ、現在タイル、又は現在スライスに属する。方法２６００Ｄに関する一部の実施形態において、動き候補の各々は片予測候補である。方法２６００Ｄに関する一部の実施形態において、動き候補は、片予測候補及び双予測候補を含み、片予測候補及び双予測候補は、両方の参照ピクチャリストに同じ参照ピクチャを使用する。
【0224】
方法２６００Ｄに関する一部の実施形態において、第１の動き候補リストは、空間ブロックからの動き情報を有する動き候補を含む。方法２６００Ｄに関する一部の実施形態において、空間ブロックは、第１の映像ブロックに隣接する又は隣接しない。方法２６００Ｄに関する一部の実施形態において、動き候補は、履歴ベース動きベクトル予測（ＨＭＶＰ）候補を含む。方法２６００Ｄに関する一部の実施形態において、第１の動き候補リストは、予め定められた又は計算された動きベクトルを有する少なくとも１つのデフォルト動き候補を含む。方法２６００Ｄに関する一部の実施形態において、予め定められた又は計算された動きベクトルは、（１）第１の映像ブロックの位置、（２）イントラブロックコピー（ＩＢＣ）モードの許容探索範囲、及び（３）動き補償ブロックの最大許容ユニットサイズのうちのいずれか１つ以上に基づく。
【0225】
方法２６００Ｄに関する一部の実施形態において、動き補償ブロックの最大許容ユニットサイズは６４×６４ピクセルである。方法２６００Ｄに関する一部の実施形態において、第１の動き候補リストのリストサイズは、第１の動き候補リストに許容される動き候補の予め定められた最大数である。方法２６００Ｄに関する一部の実施形態において、リストサイズは５又は６である。方法２６００Ｄに関する一部の実施形態において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、別個に信号伝達される。
【0226】
方法２６００Ｄに関する一部の実施形態において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、一度に信号伝達され、第１の動き候補リスト及び少なくとも１つの更なる動き候補リストを有する複数タイプの動き候補リストに適用される。方法２６００Ｄに関する一部の実施形態において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット（ＣＴＵ）、符号化ユニット（ＣＵ）、又は予測ユニット（ＰＵ）を用いて信号伝達される。
【0227】
方法２６００Ｄに関する一部の実施形態において、少なくとも１つの更なる動き候補リストは、空間隣接ブロックのみから導出された動き候補を除外する時間候補リスト、又は時間隣接ブロックのみから導出された動き候補を除外する空間候補リスト、又は時間的若しくは空間隣接ブロックのみから導出された動き候補を除外して履歴ベース動きベクトル予測（ＨＭＶＰ）候補を含むＨＭＶＰ候補リストである。方法２６００Ｄに関する一部の実施形態において、当該方法は更に、第１の映像ブロックに対して、第１の動き候補リスト構築方法とは異なる第２の動き候補リスト構築方法を用いて、第２の動き候補リストを構築することを含む。方法２６００Ｄに関する一部の実施形態において、第２の動き候補リストは、空間隣接ブロックのみから導出された動き候補を除外する時間候補リスト、又は時間的若しくは空間隣接ブロックのみから導出された動き候補を除外するＨＭＶＰ候補リストである。
【0228】
方法２６００Ｄに関する一部の実施形態において、ビットストリーム表現は、第１及び第２の動き候補リスト構築方法を含む複数の動き候補リスト構築方法に対応する複数の動き候補リストのセット内のリストを特定するリストインデックスを含む。方法２６００Ｄに関する一部の実施形態において、当該方法は更に、モードに基づいて、複数の動き候補リスト構築方法を用いた複数の動き候補リストの使用、又は１つの動き候補リスト構築方法を用いた１つの動き候補リストのみの使用を決定することを含む。
【0229】
方法２６００Ｄに関する一部の実施形態において、複数の動き候補リスト構築方法を用いた複数の動き候補リストの使用が無効にされるとき、第１の動き候補リストのリストインデックスがモードに対して無効にされ、信号伝達されない。方法２６００Ｄに関する一部の実施形態において、当該方法は更に、モードに基づいて、第１の映像ブロックに対する第１の動き候補リスト構築方法が有効にされると決定することを含む。方法２６００Ｄに関する一部の実施形態において、モードはマージモードである。方法２６００Ｄに関する一部の実施形態において、モードはアドバンスト動きベクトル予測（ＡＭＶＰ）モードである。方法２６００Ｄに関する一部の実施形態において、モードは三角予測（ＴＰＭ）モードである。
【0230】
方法２６００Ｄに関する一部の実施形態において、モードは、ブロック寸法に関係付けられる。方法２６００Ｄに関する一部の実施形態において、ブロック寸法は、閾値以上である第１の映像ブロックの高さと幅の積を含む。方法２６００Ｄに関する一部の実施形態において、閾値は６４である。方法２６００Ｄに関する一部の実施形態において、第１の映像ブロックの高さは第１の閾値以上であり、第１の映像ブロックの幅は第２の閾値以上である。方法２６００Ｄに関する一部の実施形態において、第１の閾値は１６であり、第２の閾値は１６である。
【0231】
方法２６００Ｄに関する一部の実施形態において、第１の動き候補リストは、上記モードで符号化される映像ブロックに対して、単一の動き候補リストを有する。方法２６００Ｄに関する一部の実施形態において、第１の動き候補リストは、上記モードで符号化されない映像ブロックに対して、単一の動き候補リストを有する。方法２６００Ｄに関する一部の実施形態において、第１及び第２の例示的な実施形態の一部の実装において、変換を実行することは、ビットストリーム表現から第１の映像ブロックのピクセル値を生成することを有する。方法２６００Ｄに関する一部の実施形態において、変換を実行することは、第１の映像ブロックのピクセル値からビットストリーム表現を生成することを有する。
【0232】
図２６Ｅは、映像処理のための例示的な方法２６００Ｅの第５のフローチャートを示している。動作２６６０にて、映像の第１の映像ブロックに対する第１の動き候補リストが、履歴ベース動きベクトル予測（ＨＭＶＰ）候補のみに関係する動き候補を含める第１の動き候補リスト構築方法を用いて構築される。動作２６６５にて、構築された第１の動き候補リストに従って、第１の映像ブロックと、第１の映像ブロックを含む映像のビットストリーム表現との間での変換が実行される。
【0233】
方法２６００Ｅに関する一部の実施形態において、第１の動き候補リストはデフォルト動きベクトル候補を有する。方法２６００Ｅに関する一部の実施形態において、デフォルト動きベクトル候補はゼロ動きベクトル候補を含む。第５の例示的な実施形態の一部の実装において、第１の動き候補リストは、既存のＨＭＶＰ候補から導出された候補を有する。方法２６００Ｅに関する一部の実施形態において、第１の動き候補リストのリストサイズは、第１の動き候補リストに許容される動き候補の予め定められた最大数である。方法２６００Ｅに関する一部の実施形態において、リストサイズは５又は６である。方法２６００Ｅに関する一部の実施形態において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、別個に信号伝達される。
【0234】
方法２６００Ｅに関する一部の実施形態において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、一度に信号伝達され、第１の動き候補リスト及び少なくとも１つの更なる動き候補リストを有する複数タイプの動き候補リストに適用される。方法２６００Ｅに関する一部の実施形態において、第１の動き候補リスト構築方法を用いた第１の動き候補リストの第１のリストサイズ、又は第２の動き候補リスト構築方法を用いた少なくとも１つの更なる動き候補リストの第２のリストサイズが、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット（ＣＴＵ）、符号化ユニット（ＣＵ）、又は予測ユニット（ＰＵ）を用いて信号伝達される。
【0235】
方法２６００Ｅに関する一部の実施形態において、少なくとも１つの更なる動き候補リストは、空間隣接ブロックのみから導出された動き候補を除外する時間候補リスト、又は時間隣接ブロックのみから導出された動き候補を除外する空間候補リスト、又は時間的若しくは空間隣接ブロックのみから導出された動き候補を除外して履歴ベース動きベクトル予測（ＨＭＶＰ）候補を含むＨＭＶＰ候補リストである。方法２６００Ｅに関する一部の実施形態において、当該方法は更に、第１の映像ブロックに対して、第１の動き候補リスト構築方法とは異なる第２の動き候補リスト構築方法を用いて、第２の動き候補リストを構築することを含む。
【0236】
方法２６００Ｅに関する一部の実施形態において、第２の動き候補リストは、空間隣接ブロックのみから導出された動き候補を除外する時間候補リスト、又は時間的若しくは空間隣接ブロックのみから導出された動き候補を除外するＨＭＶＰ候補リストである。方法２６００Ｅに関する一部の実施形態において、ビットストリーム表現は、第１及び第２の動き候補リスト構築方法を含む複数の動き候補リスト構築方法に対応する複数の動き候補リストのセット内のリストを特定するリストインデックスを含む。方法２６００Ｅに関する一部の実施形態において、当該方法は更に、モードに基づいて、複数の動き候補リスト構築方法を用いた複数の動き候補リストの使用、又は１つの動き候補リスト構築方法を用いた１つの動き候補リストのみの使用を決定することを含む。方法２６００Ｅに関する一部の実施形態において、複数の動き候補リスト構築方法を用いた複数の動き候補リストの使用が無効にされるとき、第１の動き候補リストのリストインデックスがモードに対して無効にされ、信号伝達されない。
【0237】
方法２６００Ｅに関する一部の実施形態において、当該方法は更に、モードに基づいて、第１の映像ブロックに対する第１の動き候補リスト構築方法が有効にされると決定することを含む。方法２６００Ｅに関する一部の実施形態において、モードはマージモードである。
【0238】
方法２６００Ｅに関する一部の実施形態において、モードはアドバンスト動きベクトル予測（ＡＭＶＰ）モードである。方法２６００Ｅに関する一部の実施形態において、モードは三角予測（ＴＰＭ）モードである。方法２６００Ｅに関する一部の実施形態において、当該方法は、イントラブロックコピー（ＩＢＣ）モードに基づいて、第１の映像ブロックに対して動きベクトルを生成することを有し、ＩＢＣモードは、第１の映像ブロックを参照ピクチャとして含む現在ピクチャ又は現在タイル又は現在スライスを使用する。方法２６００Ｅに関する一部の実施形態において、モードは、ブロック寸法に関係付けられる。方法２６００Ｅに関する一部の実施形態において、ブロック寸法は、閾値以上である第１の映像ブロックの高さと幅の積を含む。方法２６００Ｅに関する一部の実施形態において、ブロック寸法は、閾値未満である第１の映像ブロックの高さと幅の積を含む。方法２６００Ｅに関する一部の実施形態において、閾値は１６又は６４である。
【0239】
方法２６００Ｅに関する一部の実施形態において、第１の映像ブロックの高さは第１の閾値以上であり、第１の映像ブロックの幅は第２の閾値以上である。方法２６００Ｅに関する一部の実施形態において、第１の閾値は１６であり、第２の閾値は１６である。方法２６００Ｅに関する一部の実施形態において、第１の動き候補リストは、上記モードで符号化される映像ブロックに対して、単一の動き候補リストを有する。方法２６００Ｅに関する一部の実施形態において、第１の動き候補リストは、上記モードで符号化されない映像ブロックに対して、単一の動き候補リストを有する。方法２６００Ｅに関する一部の実施形態において、第１及び第２の例示的な実施形態の一部の実装において、変換を実行することは、ビットストリーム表現から第１の映像ブロックのピクセル値を生成することを有する。方法２６００Ｅに関する一部の実施形態において、変換を実行することは、第１の映像ブロックのピクセル値からビットストリーム表現を生成することを有する。
【0240】
開示される技術の実装例
図２７は、映像処理装置２７００のブロック図である。装置２７００は、ここに記載される方法のうちの１つ以上を実装するために使用され得る。装置２７００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ）受信器にて具現化され得る。装置２７００は、１つ以上のプロセッサ２７０２、１つ以上のメモリ２７０４、及び映像処理ハードウェア２７０６を含み得る。（１つ以上の）プロセッサ２７０２は、本文書に記載される１つ以上の方法（これらに限られないが、（１つ以上の）方法２６００Ａ－２６００Ｅ）を実行するように構成され得る。（１つ以上の）メモリ２７０４は、ここに記載される方法及び技術を実行するのに使用されるデータ及びコードを格納するために使用され得る。映像処理ハードウェア２７０６は、本文書に記載される一部の技術をハードウェア回路にて実装するために使用され得る。
図２７は、映像処理装置２７００のブロック図である。装置２７００は、ここに記載される方法のうちの１つ以上を実装するために使用され得る。装置２７００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ）受信器にて具現化され得る。装置２７００は、１つ以上のプロセッサ２７０２、１つ以上のメモリ２７０４、及び映像処理ハードウェア２７０６を含み得る。（１つ以上の）プロセッサ２７０２は、本文書に記載される１つ以上の方法（これらに限られないが、（１つ以上の）方法２６００Ａ－２６００Ｅ）を実行するように構成され得る。（１つ以上の）メモリ２７０４は、ここに記載される方法及び技術を実行するのに使用されるデータ及びコードを格納するために使用され得る。映像処理ハードウェア２７０６は、本文書に記載される一部の技術をハードウェア回路にて実装するために使用され得る。
【0241】
一部の実施形態において、映像符号化方法は、図２７に関して説明したようなハードウェアプラットフォーム上に実装される装置を用いて実行され得る。
【0242】
図２８は、ここに開示される様々な技術が実装され得る映像処理システム２８００の一例を示すブロック図である。様々な実装は、システム２８００のコンポーネントの一部又は全てを含み得る。システム２８００は、映像コンテンツを受信する入力２８０２を含み得る。映像コンテンツは、例えば８ビット又は１０ビットのマルチコンポーネント（多成分）ピクセル値といった、ロー（未加工）又は未圧縮のフォーマットで受信されてもよいし、あるいは圧縮又は符号化されたフォーマットで受信されてもよい。入力２８０２は、ネットワークインタフェース、周辺バスインタフェース、又はストレージインタフェースを表し得る。ネットワークインタフェースの例は、イーサネット（登録商標）、パッシブ光ネットワーク（ＰＯＮ）などの有線インタフェース、及びＷｉ－Ｆｉ（登録商標）若しくはセルラーインタフェースなどの無線インタフェースを含む。
【0243】
システム２８００は、本文書に記載される様々なコーディング又は符号化方法を実装し得る符号化コンポーネント２８０４を含み得る。符号化コンポーネント２８０４は、入力２８０２から符号化コンポーネント２８０４の出力まで映像の平均ビットレートを低減させて、映像の符号化表現を生成し得る。符号化技術は、それ故に、映像圧縮技術又は映像トランスコーディング技術と呼ばれることがある。符号化コンポーネント２８０４の出力は、格納されるか、コンポーネント２８０６によって表されるように接続されて通信を介して伝送されるかし得る。入力２８０２で受信された映像の格納又は通信されるビットストリーム（又は符号化）表現は、ディスプレイインタフェース２８１０に送られるピクセル値又は表示可能映像を生成するためにコンポーネント２８０８によって使用され得る。ビットストリーム表現からユーザが見ることができる映像を生成するプロセスは、映像解凍と呼ばれることがある。また、特定の映像処理操作が“符号化”の操作又はツールとして参照されることがあるが、理解されることには、符号化のツール又は操作はエンコーダで使用され、符号化の結果を裏返す対応する復号のツール又は操作がデコーダで実行されることになる。
【0244】
周辺バスインタフェース又はディスプレイインタフェースの例は、ユニバーサルシリアルバス（ＵＳＢ）又は高精細マルチメディアインタフェース（ＨＤＭＩ（登録商標））又はディスプレイポート（Displayport）などを含み得る。ストレージインタフェースの例は、ＳＡＴＡ（serial advanced technology attachment）、ＰＣＩ、ＩＤＥインタフェースなどを含む。本文書に記載される技術は、例えば携帯電話、ラップトップ、スマートフォン、又はデジタルデータ処理及び／又は映像表示を実行することが可能な他の装置などの、種々のエレクトロニクス装置にて具現化され得る。
【0245】
開示される技術の一部の実施形態は、映像処理ツール又はモードを有効にする決定を行うことを含む。一例において、映像処理ツール又はモードが有効にされるとき、エンコーダは、映像のブロックの処理においてそのツール又はモードを使用又は実装することになるが、必ずしも、結果として得られるビットストリームを、そのツール又はモードの使用に基づいて変更するわけではないとし得る。すなわち、映像のブロックから映像のビットストリーム表現への変換は、映像処理ツール又はモードを、決定に基づいてそれが有効にされているときに使用することになる。他の一例において、映像処理ツール又はモードが有効にされるとき、デコーダは、ビットストリームがその映像処理ツール又はモードに基づいて変更されているという知識を用いて、ビットストリームを処理することになる。すなわち、映像のビットストリーム表現から映像のブロックへの変換は、決定に基づいて有効にされた映像処理ツール又はモードを使用して実行される。
【0246】
開示される技術の一部の実施形態は、映像処理ツール又はモードを無効にする決定を行うことを含む。一例において、映像処理ツール又はモードが無効にされるとき、エンコーダは、映像のブロックから映像のビットストリーム表現への変換において、そのツール又はモードを使用しないことになる。他の一例において、映像処理ツール又はモードが無効にされるとき、デコーダは、ビットストリームが、決定に基づいて有効にされた映像処理ツール又はモードを使用して変更されてはいない、という知識を用いて、ビットストリームを処理することになる。
【0247】
以上から理解されることには、ここでは説明の目的で、ここに開示される技術の特定の実施形態を説明したが、本発明の範囲を逸脱することなく様々な変更が為され得る。従って、ここに開示される技術は、添付の特許請求の範囲による場合を除いて、限定されるものではない。
【0248】
この特許文書に記載される事項及び機能動作の実装は、この明細書に開示されている構造及びそれらに構造的に均等なものを含め、様々なシステム、デジタル電子回路、又はコンピュータソフトウェア、ファームウェア、若しくはハードウェアにて、あるいはこれらのうちの１つ以上の組み合わせにて実施されることができる。この明細書に記載される事項の実装は、１つ以上のコンピュータプログラムプロダクトとして実装されることができ、すなわち、データ処理装置による実行のための、又はデータ処理装置の動作を制御するための、有形で非一時的なコンピュータ読み取り可能媒体にエンコードされたコンピュータプログラム命令の１つ以上のモジュールとして実装されることができる。コンピュータ読み取り可能媒体は、機械読み取り可能記憶装置、機械読み取り可能記憶基板、メモリ装置、機械読み取り可能な伝搬信号を生じさせる物質の組成、又はそれらのうちの１つ以上の組み合わせとすることができる。用語“データ処理ユニット”又は“データ処理装置”は、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含め、データを処理するあらゆる装置、デバイス、及び機械を包含する。装置は、ハードウェアに加えて、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらのうちの１つ以上の組み合わせを構成するコードといった、問題としているコンピュータプログラムのための実行環境を作り出すコードを含むことができる。
【0249】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる）は、コンパイル型又はインタープリタ型の言語を含め、如何なる形態のプログラミング言語で記述されてもよく、また、スタンドアロンプログラムとして、又はコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、若しくは他のユニットとして、を含め、如何なる形態で展開されてもよい。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するわけではない。プログラムは、他のプログラム若しくはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）に格納されてもよいし、問題としているプログラムに専用の単一ファイルに格納されてもよいし、あるいは、複数の連携ファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの部分を格納するファイル）に格納されてもよい。コンピュータプログラムは、１つのコンピュータ上で実行されるように展開されてもよいし、あるいは、一箇所に配置された、又は複数箇所に分散されて通信ネットワークによって相互接続された、複数のコンピュータ上で実行されるように展開されてもよい。
【0250】
この明細書に記載されるプロセス及び論理フローは、入力データについて演算して出力を生成することによって機能を実行するよう、１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行されることができる。これらのプロセス及び論理フローはまた、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）といった専用の論理回路によって実行されることもでき、また、装置も、そのような専用の論理回路として実装されることができる。
【0251】
コンピュータプログラムの実行に適したプロセッサは、例として、汎用及び専用の双方のマイクロプロセッサ、及び任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般に、プロセッサは、読み出し専用メモリ若しくはランダムアクセスメモリ又はこれらの両方から命令及びデータを受信する。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令及びデータを格納する１つ以上のメモリデバイスである。一般に、コンピュータはまた、例えば磁気ディスク、磁気光ディスク、又は光ディスクといった、データを格納するための１つ以上の大容量ストレージ装置を含み、あるいは、大容量ストレージ装置からデータを受信したり、それにデータを転送したりするように動作的に結合される。しかしながら、コンピュータは、そのような装置を有する必要はない。コンピュータプログラム命令及びデータを格納するのに適したコンピュータ読み取り可能媒体は、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスなどの半導体メモリデバイスを含め、あらゆる形態の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、専用の論理回路によって補われたり、それに組み込まれたりしてもよい。
【0252】
明細書は、図面と共に、単に例示的なものとみなされることを意図しており、例示的とは例を意味する。ここで使用されるとき、“又は”の使用は、文脈が別のことを明確に示していない限り、“及び／又は”を含むことを意図している。
【0253】
この特許文書は数多くの詳細が含んでいるが、それらは、いずれかの発明又は特許請求され得るものの範囲についての限定として解釈されるべきでなく、むしろ、特定の発明の特定の実施形態に特有とし得る機構の説明として解釈されるべきである。別々の実施形態の文脈でこの特許文書に記載されている特定の複数の機構が、単一の実施形態にて組み合わせて実装されることもできる。逆に、単一の実施形態の文脈で説明されている種々の機構が、複数の実施形態にて別々に、又は何らかの好適なサブコンビネーションで実装されることもできる。さらには、複数の機構が、特定の組み合わせにて作用するものとして上述され、さらには当初はそのように特許請求されていることがあり得るが、場合によって、特許請求されている組み合わせからの１以上の機構を組み合わせから除くこともでき、また、特許請求されている組み合わせをサブコンビネーション又はサブコンビネーションのバリエーションへと導いてもよい。
【0254】
同様に、図面には処理が特定の順序で示されるが、このことは、所望の結果を達成するために、それらの動作が図示される特定の順序で若しくは順番に実行されること、又は図示される全ての処理が実行されることを要求するものとして理解されるべきでない。また、この特許文書に記載されている実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を必要とするものとして理解されるべきでない。
【0255】
ほんの少しの実装及び例を記載したのみであり、この特許文書に記載及び図示されているものに基づいて、他の実装、拡張及び変形が行われ得る。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図14】
【図15】
【図16A】
【図16B】
【図17】
【図18A】
【図18B】
【図19】
【図20】
【図21A】
【図21B】
【図22】
【図23】
【図24】
【図25】
【図26A】
【図26B】
【図26C】
【図26D】
【図26E】
【図27】
【図28】