知財求人 - 知財ポータルサイト「IP Force」
特許7250143ビデオ復号化の方法並びにその、装置及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-23
(45)【発行日】2023-03-31
(54)【発明の名称】ビデオ復号化の方法並びにその、装置及びコンピュータプログラム
(51)【国際特許分類】
H04N 19/523 20140101AFI20230324BHJP
H04N 19/54 20140101ALI20230324BHJP
H04N 19/59 20140101ALI20230324BHJP
H04N 19/119 20140101ALI20230324BHJP
H04N 19/176 20140101ALI20230324BHJP
【ＦＩ】
H04N19/523
H04N19/54
H04N19/59
H04N19/119
H04N19/176
【請求項の数】
20
(21)【出願番号】P 2021540493
(86)(22)【出願日】2020-03-06
(65)【公表番号】
(43)【公表日】2022-04-19
(86)【国際出願番号】 US2020021381
(87)【国際公開番号】W WO2020185555
(87)【国際公開日】2020-09-17
【審査請求日】2021-08-16
(31)【優先権主張番号】62/816,049
(32)【優先日】2019-03-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/809,189
(32)【優先日】2020-03-04
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】リ，シアン
(72)【発明者】
【氏名】リ，グォイチュン
(72)【発明者】
【氏名】シュイ，シアオジョォン
(72)【発明者】
【氏名】リィウ，シャン
【審査官】久保 光宏
(56)【参考文献】
【文献】特表２０２０－５２６９６４（ＪＰ，Ａ）
【文献】Kai Zhang, et al.，"Non-CE2: Interweaved Prediction for Affine Motion Compensation"，Document: JVET-M0268-v3, [online]，JVET-M0268 (version 3)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年01月15日，Pages 1-4，[令和4年7月21日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=5075> and <URL: https://jvet-experts.org/doc_end_user/documents/13_Marrakech/wg11/JVET-M0268-v3.zip>，(See document file "JVET-M0268-r2.docx" in the zip file "JVET-M0268-v3.zip".)
【文献】Jianle Chen, et al.，"Algorithm description for Versatile Video Coding and Test Model 3 (VTM 3)"，Document: JVET-L1002-v1, [online]，JVET-L1002 (version 2)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2018年12月24日，Pages 1,2,22-27，[令和4年7月22日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=4835> and <URL: https://jvet-experts.org/doc_end_user/documents/12_Macao/wg11/JVET-L1002-v2.zip>，(See document file "JVET-L1002-v2.docx" in the zip file "JVET-L1002-v2.zip".)
【文献】Kai Zhang, et al.，"CE4-related: Interweaved Prediction for Affine Motion Compensation"，Document: JVET-K0102-v2, [online]，JVET-K0102 (version 2)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2018年07月11日，Pages 1-4，[令和4年7月22日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=3605> and <URL: https://jvet-experts.org/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0102-v2.zip>，(See document file "JVET-K0102-r1.docx" in the zip file "JVET-K0102-v2.zip".)
【文献】高村 誠之，「次世代映像符号化標準・次々世代映像符号化技術の動向」，電子情報通信学会誌，日本，社団法人電子情報通信学会，2011年09月01日，Vol.94, No.9，第８０７～８１２頁，ISSN: 0913-5693.
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
ビデオデコーダが実行するビデオ復号化の方法であって、インターウィーブしたアフィンモードで符号化されたカレントブロックに対してアフィンモデルを決定するステップと、
前記アフィンモデルに基づいて、前記カレントブロックを第１のサブブロックに分割するための第１のパターンに対応する第１の予測ブロックと、前記カレントブロックを第２のサブブロックに分割するための第２のパターンに対応する第２の予測ブロックとを生成するステップであり、
前記第１及び第２の予測ブロックは、前記カレントブロックの入力ビット深度よりも大きい中間ビット深度を有する補間されたサンプルを含む、
ステップと、
前記第１及び第２の予測ブロックに基づいて第３の予測ブロックを生成するステップであり、
それぞれ前記中間ビット深度に対応する精度を有する、前記第１の予測ブロックにおける第１のサンプルおよび前記第２の予測ブロックにおける対応した第２のサンプルは、平均化されたサンプルを取得するように、加重平均演算を実行することによって結合され、前記平均化されたサンプルは前記入力ビット深度に丸められて、前記第３の予測ブロックにおける対応した第３のサンプルを取得する、ステップと、
を含む、方法。
【請求項2】
前記加重平均演算は、前記第１のサンプル及び前記対応した第２のサンプルの加重和に丸めオフセットを追加すること、を含む、請求項１に記載の方法。
【請求項3】
前記第２のパターンは、前記第１のパターンに対してシフトされ、且つ、完全サブブロックおよび部分サブブロックを含み、前記第１及び第２のサンプルが、前記第２の予測ブロックの前記部分サブブロックに対応する領域内に位置する場合、前記加重平均演算において、前記第２のサンプルにゼロの重みが与えられる、
請求項１に記載の方法。
【請求項4】
前記第１及び第２のサンプルが、前記第２の予測ブロックの前記完全サブブロックに対応する領域内に位置する場合、前記加重平均演算において、前記第１及び第２のサンプルに同等の重みが与えられる、請求項３に記載の方法。
【請求項5】
前記第３のサンプルは、０から前記入力ビット深度に対応する可能な最大値までの範囲内にあるように制約される、請求項１に記載の方法。
【請求項6】
前記カレントブロックに対してデブロック化を無効にする、請求項１に記載の方法。
【請求項7】
前記第２のパターンは、前記第１のパターンに対してシフトされ、且つ、完全サブブロックと部分サブブロックとを含み、デブロック化は、前記第２の予測ブロックの前記完全サブブロックに対応する領域内で無効化され、且つ、前記第２の予測ブロックの前記部分サブブロックに対応する領域に適用されるか、もしくは、適用されない、
請求項１に記載の方法。
【請求項8】
回路を含むビデオ復号化の装置であって、前記回路は、
インターウィーブしたアフィンモードで符号化されたカレントブロックに対してアフィンモデルを決定し、
前記アフィンモデルに基づいて、前記カレントブロックを第１のサブブロックに分割するための第１のパターンに対応する第１の予測ブロック、および、前記カレントブロックを第２のサブブロックに分割するための第２のパターンに対応する第２の予測ブロックを生成し、前記第１及び第２の予測ブロックは、前記カレントブロックの入力ビット深度よりも大きい中間ビット深度を有する補間されたサンプルを含み、
前記第１及び第２の予測ブロックに基づいて、第３の予測ブロックを生成し、それぞれ前記中間ビット深度に対応する精度を有する、前記第１の予測ブロックにおける第１のサンプルおよび前記第２の予測ブロックにおける対応する第２のサンプルは、平均化されたサンプルを取得するように、加重平均演算を実行することによって結合され、前記平均化されたサンプルは、前記入力ビット深度に丸められて、前記第３の予測ブロックにおける対応した第３のサンプルを取得する、
ように構成されている、装置。
【請求項9】
前記加重平均演算は、前記第１のサンプル及び前記対応した第２のサンプルの加重和に丸めオフセットを追加することを含む、請求項８に記載の装置。
【請求項10】
前記第２のパターンは、前記第１のパターンに対してシフトされ、且つ、完全サブブロックおよび部分サブブロックを含み、前記第１及び第２のサンプルが、前記第２の予測ブロックの前記部分サブブロックに対応する領域内に位置する場合、前記加重平均演算において前記第２のサンプルにゼロの重みが与えられる、
請求項８に記載の装置。
【請求項11】
前記第１及び第２のサンプルが、前記第２の予測ブロックの前記完全サブブロックに対応する領域内に位置する場合、前記加重平均演算において前記第１及び第２のサンプルに同等の重みが与えられる、請求項１０に記載の装置。
【請求項12】
前記第３のサンプルは、０から前記入力ビット深度に対応する可能な最大値までの範囲内にあるように制約される、請求項８に記載の装置。
【請求項13】
前記カレントブロックに対してデブロック化を無効にする、請求項８に記載の装置。
【請求項14】
前記第２のパターンは、前記第１のパターンに対してシフトされ、且つ、完全サブブロックおよび部分サブブロックを含み、デブロック化は、前記第２の予測ブロックの前記完全サブブロックに対応する領域内で無効化され、且つ、前記第２の予測ブロックの前記部分サブブロックに対応する領域に適用されるか、もしくは、適用されない、
請求項８に記載の装置。
【請求項15】
複数のコンピュータ命令を含む、ビデオ復号化の方法を実施するためのコンピュータプログラムであって、前記命令が実行されると、コンピュータに、
インターウィーブしたアフィンモードで符号化されたカレントブロックに対してアフィンモデルを決定するステップと、
前記アフィンモデルに基づいて、前記カレントブロックを第１のサブブロックに分割するための第１のパターンに対応する第１の予測ブロックと、前記カレントブロックを第２のサブブロックに分割するための第２のパターンに対応する第２の予測ブロックとを生成するステップであり、
前記第１及び第２の予測ブロックは、前記カレントブロックの入力ビット深度よりも大きい中間ビット深度を有する補間されたサンプルを含む、
ステップと、
前記第１及び第２の予測ブロックに基づいて第３の予測ブロックを生成するステップであり、
それぞれ前記中間ビット深度に対応する精度を有する、前記第１の予測ブロックにおける第１のサンプルおよび前記第２の予測ブロックにおける対応した第２のサンプルは、平均化されたサンプルを取得するように、加重平均演算を実行することによって結合され、前記平均化されたサンプルは前記入力ビット深度に丸められて、前記第３の予測ブロックにおける対応した第３のサンプルを取得する、ステップと、
を実施させる、コンピュータプログラム。
【請求項16】
前記第２のパターンは、前記第１のパターンに対してシフトされ、且つ、完全サブブロックおよび部分サブブロックを含み、前記第１及び第２のサンプルが、前記第２の予測ブロックの前記部分サブブロックに対応する領域内に位置する場合、前記加重平均演算において前記第２のサンプルにゼロの重みが与えられる、
請求項１５に記載のコンピュータプログラム。
【請求項17】
前記第１及び第２のサンプルが、前記第２の予測ブロックの前記完全サブブロックに対応する領域内に位置する場合、前記加重平均演算において前記第１及び第２のサンプルに同等の重みが与えられる、請求項１６に記載のコンピュータプログラム。
【請求項18】
前記第３のサンプルは、０から前記入力ビット深度に対応する可能な最大値までの範囲内にあるように制約される、請求項１５に記載のコンピュータプログラム。
【請求項19】
前記カレントブロックに対してデブロック化を無効にする、請求項１５に記載のコンピュータプログラム。
【請求項20】
前記第２のパターンは、前記第１のパターンに対してシフトされ、且つ、全サブブロックおよび部分サブブロックを含み、デブロック化は、前記第２の予測ブロックの前記完全サブブロックに対応する領域内で無効化され、且つ、前記第２の予測ブロックの前記部分サブブロックに対応する領域に適用されるか、もしくは、適用されない、
請求項１５に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般的に、ビデオ符号化に関する。
【0002】
本出願は、２０２０年３月４日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ビデオ符号化のための方法及び装置）」と題する米国出願第１６／８０９，１８９号について優先権の利益を主張し、上述した出願は２０１９年３月８日に出願された「Ｉｍｐｒｏｖｅｍｅｎｔ ｏｆ Ｉｎｔｅｒｗｅａｖｅｄ Ａｆｆｉｎｅ Ｍｏｄｅ（インターウィーブしたアフィンモードの改善）」と題する米国仮出願第６２／８１６，０４９号について優先権の利益を主張する。先願の開示内容の全体が参照によってここに組み込まれている。
【背景技術】
【0003】
ここに提供される背景技術の記載は、本開示の文脈を一般的に提示するためのものである。本発明者らの技術は、この背景技術の欄で説明される範囲において、本出願の出願時点で従来技術でないのであれば、従来技術と見なしてはならない説明の側面と同様に、明示的又は黙示的を問わず、本開示に対する従来技術として認められるものではない。
【0004】
ビデオの符号化と復号化は、動き補償付きの画像間予測を使用して行うことができる。非圧縮デジタルビデオは一連のピクチャを含むことができ、各ピクチャは、例えば、１９２０×１０８０の輝度サンプル及び関連したクロミナンスサンプルの空間寸法を有する。上述した一連のピクチャは、例えば、毎秒６０枚又は６０Ｈｚの固定又は可変のピクチャレート（非公式にはフレームレートとしても知られている）を持つことができる。非圧縮ビデオには、重要なビットレート要件がある。例えば、サンプルあたり８ビットの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚフレームレートで１９２０×１０８０の輝度サンプル解像度）には、１．５Ｇｂｉｔ／ｓに近い帯域幅が必要である。１時間にわたるこのようなビデオは、６００ＧＢｙｔｅを超えるストレージスペースを要する。
【0005】
ビデオの符号化と復号化の目的の１つは、圧縮によって入力ビデオ信号の冗長性を減らすことである。圧縮は、前述の帯域幅又はストレージスペースの要件を、場合によっては２桁以上削減するのに役立つ。可逆圧縮と非可逆圧縮の両方、及び、それらの組み合わせを採用できる。可逆圧縮とは、圧縮された元の信号から元の信号の正確なコピーを再構築できる技術を指す。非可逆圧縮を使用する場合、再構築された信号は、元の信号と同一ではない場合があるが、元の信号と再構築された信号の間の歪みは、再構築された信号が目的のアプリケーションに役立つほど十分に小さい。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量は、アプリケーションによって異なる。例えば、特定の消費者向けストリーミングアプリケーションのユーザは、テレビ配信アプリケーションのユーザよりも高い歪みを許容できる。達成可能な圧縮比は、許容歪みが大きいほど、圧縮比が高くなることを反映できる。
【0006】
動き補償は、非可逆圧縮技術であってよく、且つ、動きベクトル（以降、ＭＶとする）によって示される方向に空間的にシフトされた後で、前に再構築されたピクチャ又はその一部（参照ピクチャ）からのサンプルデータのブロックは、新しく再構築されたピクチャ又はピクチャ部分の予測に使用される技術に関連してよい。場合によっては、参照ピクチャは現在再構築中のピクチャと同じであってよい。ＭＶは、２次元のＸとＹ、又は３次元を有してよく、３番目は、使用中の参照ピクチャを示す（後者は間接的に時間次元であってよい）。
【0007】
いくつかのビデオ圧縮技術では、サンプルデータの特定の領域に適用可能なＭＶを他のＭＶから予測できる。例えば、再構築中の領域に空間的に隣接したサンプルデータの別の領域に関連し、且つ、復号化順序において上述したＭＶに先行する他のＭＶから、予測できる。そうすることで、ＭＶの符号化に必要なデータの量を大幅に削減し、冗長性を解消して、圧縮を向上させることができる。ＭＶ予測は、効果的に機能できる原因として、例えば、カメラから得られた入力ビデオ信号（ナチュラルビデオとして知られている）を符号化する場合、単一のＭＶが適用可能な領域よりも大きい領域が類似の方向に移動するという統計的可能性があるので、場合によっては、隣接領域のＭＶから得られた類似の動きベクトルを使用して予測することができる。その結果、特定の領域のために見つけられたＭＶは、周囲のＭＶから予測されたＭＶと類似又は同一であり、エントロピー符号化後、直接ＭＶを符号化した場合に使用するビット数よりも少ないビット数で表すことができる。いくつかの場合において、ＭＶ予測は、元の信号（即ち、サンプルストリーム）から得られた信号（即ち、ＭＶ）の可逆圧縮の例となる。ほかの場合では、例えば、いくつかの周囲のＭＶから予測器を計算した時の丸め誤差のために、ＭＶ予測自体には損失があり得る。
【0008】
Ｈ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５、「高効率ビデオ符号化」、２０１６年１２月）には様々なＭＶ予測メカニズムが記載されている。Ｈ．２６５が提供する多くのＭＶ予測メカニズムのうち、以降「空間マージ」と呼ばれる技術がここで説明される。
【0009】
図１を参照すると、カレントブロック（１０１）は、動き検索の過程でエンコーダによって、空間的にシフトされた同じサイズの前のブロックから予測可能であると見出されたサンプルを含む。直接上述したＭＶを符号化する代わりに、Ａ０、Ａ１及びＢ０、Ｂ１、Ｂ２（それぞれ１０２～１０６）で示される５つの周囲のサンプルのいずれかに関連付けられたＭＶを使用して、１つ以上の参照ピクチャに関連付けられたメタデータから、例えば、（復号化順序において）最新の参照ピクチャからＭＶを得ることができる。Ｈ．２６５において、ＭＶ予測は、隣接ブロックが使用しているのと同じ参照ピクチャからの予測器を使用してよい。
【発明の概要】
【0010】
本開示の態様は、ビデオ符号化／復号化のための方法及び装置を提供する。いくつかの例では、ビデオ復号化のための装置は、インターウィーブしたアフィンモードで符号化されたカレントブロックに対してアフィンモデルを決定するように構成された処理回路を含む。上記アフィンモデルに基づいて、上記カレントブロックを第１のサブブロックに分割するための第１のパターンに対応する第１の予測ブロックと、上記カレントブロックを第２のサブブロックに分割するための第２のパターンに対応する第２の予測ブロックとを生成することができる。上記第１及び第２の予測ブロックは、上記カレントブロックの入力ビット深度よりも大きい中間ビット深度を有する補間されたサンプルを含む。上記第１及び第２の予測ブロックに基づいて第３の予測ブロックを生成することができる。それぞれ上記中間ビット深度に対応した精度を有する、上記第１の予測ブロックにおける第１のサンプル及び上記第２の予測ブロックにおける対応した第２のサンプルは、平均化されたサンプルを取得するように、加重平均演算を実行することによって結合される。上記平均化されたサンプルは、上記入力ビット深度に丸められて、上記第３の予測ブロックにおける対応した第３のサンプルを取得する。
【0011】
一実施形態において、上記加重平均演算は、上記第１のサンプル及び上記対応した第２のサンプルの加重和に、丸めオフセットを追加することを含む。一実施形態において、上記第２のパターンは、上記第１のパターンに対してシフトされ、且つ、完全サブブロックと部分サブブロックとを含み、上記第１及び第２のサンプルが上記第２のブロックの上記完全サブブロックに対応する領域内に位置する場合、上記加重平均演算において、上記第２のサンプルにゼロの重みが与えられる。一実施形態において、上記第１及び第２のサンプルが、第１のサイズを有する上記第２のブロックに対応する領域内に位置する場合、上記加重平均演算において、上記第１及び第２のサンプルに同等の重みが与えられる。
【0012】
一例において、上記第３のサンプルは、０から上記入力ビット深度に対応する可能な最大値までの範囲内にあるように制約される。一例において、上記カレントブロックに対してデブロック化を無効にする。一例において、上記第２のパターンは上記第１のパターンに対してシフトされ、且つ、完全サブブロックと部分サブブロックとを含み、デブロック化は、上記第２のブロックの上記完全サブブロックに対応する領域内で無効化され、且つ、上記第２のブロックの上記部分サブブロックに対応する領域に適用されるか、もしくは、適用されない。
【0013】
本開示の態様は、また、ビデオ復号化のためにコンピュータで実行された場合、上記コンピュータにビデオ復号化の方法を実行させる命令を記憶する非一時的なコンピュータ可読媒体を提供する。
【図面の簡単な説明】
【0014】
開示された主題のさらなる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付図面からより明らかになるであろう。
【発明を実施するための形態】
【0015】
ビデオ符号化エンコーダ及びデコーダ
図２は、本開示の一実施形態による通信システム（２００）の簡略化されたブロック図を示す。通信システム（２００）は、例えば、ネットワーク（２５０）を介して互いに通信することができる複数の端末装置を含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された第１の対の端末装置（２１０）、（２２０）を含む。図２の例では、第１の対の端末装置（２１０）、（２２０）は、データの単方向送信を実行する。例えば、端末装置（２１０）は、ネットワーク（２５０）を介して他の端末装置（２２０）に送信するために、ビデオデータ（例えば、端末装置（２１０）によって取り込まれたビデオピクチャのストリーム）を符号化してよい。符号化されたビデオデータは、一つ以上の符号化されたビデオビットストリームの形で送信してよい。端末装置（２２０）は、ネットワーク（２５０）から符号化されたビデオデータを受信し、符号化されたビデオデータを復号化してビデオピクチャを復元し、復元されたビデオデータに基づいてビデオピクチャを表示してよい。単方向データ送信は、メディアサービングアプリケーションなどにおいて一般的であってよい。
図２は、本開示の一実施形態による通信システム（２００）の簡略化されたブロック図を示す。通信システム（２００）は、例えば、ネットワーク（２５０）を介して互いに通信することができる複数の端末装置を含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された第１の対の端末装置（２１０）、（２２０）を含む。図２の例では、第１の対の端末装置（２１０）、（２２０）は、データの単方向送信を実行する。例えば、端末装置（２１０）は、ネットワーク（２５０）を介して他の端末装置（２２０）に送信するために、ビデオデータ（例えば、端末装置（２１０）によって取り込まれたビデオピクチャのストリーム）を符号化してよい。符号化されたビデオデータは、一つ以上の符号化されたビデオビットストリームの形で送信してよい。端末装置（２２０）は、ネットワーク（２５０）から符号化されたビデオデータを受信し、符号化されたビデオデータを復号化してビデオピクチャを復元し、復元されたビデオデータに基づいてビデオピクチャを表示してよい。単方向データ送信は、メディアサービングアプリケーションなどにおいて一般的であってよい。
【0016】
別の例において、通信システム（２００）は、例えば、ビデオ会議中に発生し得る符号化されたビデオデータの双方向送信を行う第二の対の端末装置（２３０）、（２４０）を含む。データの双方向送信の場合、一例において、端末装置（２３０）、（２４０）の各端末装置は、ネットワーク（２５０）を介して端末装置（２３０）、（２４０）のうちの他方の端末装置に送信するためにビデオデータ（例えば、端末装置によって取り込まれたビデオピクチャのストリーム）を符号化してよい。端末装置（２３０）、（２４０）の各端末装置は、端末装置（２３０）、（２４０）のうちの他方の端末装置によって送信された符号化ビデオデータを受信し、符号化ビデオデータを復号化してビデオピクチャを復元し、復元されたビデオデータに基づいてアクセス可能な表示装置においてビデオピクチャを表示してよい。
【0017】
図２の例において、端末装置（２１０）、（２２０）、（２３０）及び（２４０）は、サーバ、パーソナルコンピュータ、及びスマートフォンとして示されているが、本開示の原理は、そのように限定されるものではない場合がある。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤー、及び／又は、専用のビデオ会議機器に適用される。ネットワーク（２５０）は、例えば有線（ｗｉｒｅｄ）及び／又は無線の通信ネットワークを含む、端末装置（２１０）、（２２０）、（２３０）、及び（２４０）の間で符号化されたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（２５０）は、回線交換及び／又はパケット交換チャネルにおいてデータを交換してよい。代表的なネットワークには、通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又は、インターネットが含まれている。本議論の目的のために、ネットワーク（２５０）のアーキテクチャ及びトポロジーは、本明細書で以下に説明されない限り、本開示の操作にとって重要ではないものであってよい。
【0018】
図３は、開示された主題のアプリケーションの例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示す。開示された主題は、例えば、ビデオ会議、デジタルテレビ、ＣＤ、ＤＶＤ、メモリースティックのようなデジタルメディアへの圧縮ビデオの記憶などを含む、他のビデオ対応アプリケーションに等しく適用できる。
【0019】
ストリーミングシステムは、キャプチャサブシステム（３１３）を含んでよく、上述のキャプチャサブシステムは、例えば、圧縮されていないビデオピクチャのストリーム（３０２）を作成するビデオソース（３０１）（例えば、デジタルカメラ）を含んでよい。一例では、ビデオピクチャのストリーム（３０２）には、デジタルカメラによって撮影されたサンプルが含まれている。符号化されたビデオデータ（３０４）に比べてデータ量が多いことを強調するために太線で示されているビデオピクチャのストリーム（３０２）（又は、符号化されたビデオビットストリーム）は、ビデオソース（３０１）に結合されたビデオエンコーダ（３０３）を含む電子装置（３２０）で処理できる。ビデオエンコーダ（３０３）は、以下でより詳細に記載されるように、開示された主題の態様を有効にするか、あるいは、実行するためのハードウェア、ソフトウェア、又は、それらの組み合わせを含んでよい。ビデオピクチャのストリーム（３０２）に比べてデータ量が少ないことを強調するために細い線で示されている符号化されたビデオデータ（３０４）（又は、符号化されたビデオビットストリーム（３０４））は、将来の使用のためにストリーミングサーバ（３０５）に記憶してよい。一つ以上のストリーミングクライアントサブシステム（例えば、図３のクライアントサブシステム（３０６）及び（３０８））は、ストリーミングサーバ（３０５）にアクセスして、符号化されたビデオデータ（３０４）のコピー（３０７）及び（３０９）を検索することができる。クライアントサブシステム（３０６）は、例えば、電子装置（３３０）にビデオデコーダ（３１０）を含んでよい。ビデオデコーダ（３１０）は、入力された符号化ビデオデータのコピー（３０７）を復号化し、ディスプレイ（３１２）（例えば、表示画面）又は他のレンダリング装置（図示せず）上でレンダリング可能な出力されるビデオピクチャのストリーム（３１１）を生成する。いくつかのストリーミングシステムでは、符号化されたビデオデータ（３０４）、（３０７）、及び（３０９）（例えば、ビデオビットストリーム）は、特定のビデオ符号化／圧縮標準に基づいて符号化できる。これらの標準の例には、ＩＴＵ－Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６５が含まれている。一例において、開発中のビデオ符号化標準は、非公式にＶｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）として知られている。開示された主題は、ＶＶＣの文脈に使用されてよい。
【0020】
電子装置（３２０）及び（３３０）は、他のコンポーネント（図示せず）を含むことができることに留意されたい。例えば、電子装置（３２０）は、ビデオデコーダ（図示せず）を含むことができ、電子装置（３３０）は、ビデオエンコーダ（図示せず）も含むことができる。
【0021】
図４は、本開示の一実施形態によるビデオデコーダ（４１０）のブロック図を示す。ビデオデコーダ（４１０）は電子装置（４３０）に含まれることができる。電子装置（４３０）は、受信器（４３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（４１０）を図３の例におけるビデオデコーダ（３１０）の代わりに使用することができる。
【0022】
受信器（４３１）は、ビデオデコーダ（４１０）で復号化される一つ以上の符号化されたビデオシーケンスを受信してよい。同一又は別の実施形態において、一度に１つの符号化されたビデオシーケンスであり、各符号化されたビデオシーケンスの復号化は、他の符号化されたビデオシーケンスと独立している。符号化されたビデオシーケンスは、符号化されたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであるチャネル（４０１）から受信されてよい。受信器（４３１）は、各自の使用エンティティ（図示せず）に転送される他のデータ（例えば、符号化された音声データ及び／又は補助データストリーム）が付いた符号化されたビデオデータを受信してよい。受信器（４３１）は、符号化されたビデオシーケンスを他のデータから分離してよい。ネットワークジッターに対抗するために、バッファメモリ（４１５）は、受信器（４３１）とエントロピーデコーダ／パーサー（４２０）（以降「パーサー（４２０）とする」）との間に結合されてよい。特定のアプリケーションにおいて、バッファメモリ（４１５）は、ビデオデコーダ（４１０）の一部である。他の場合、バッファメモリは、ビデオデコーダ（４１０）の外部にあってよい（図示せず）。さらに他の場合では、ネットワークジッターに対抗したりするためにビデオデコーダ（４１０）の外部にバッファメモリ（図示せず）が設けられている上に、プレイアウトのタイミングを処理したりするためにビデオデコーダ（４１０）の内部に別のバッファメモリ（４１５）が設けられていてよい。受信器（４３１）が、十分な帯域幅及び可制御性を有する記憶／転送装置、又は、等時同期（ｉｓｏｓｙｎｃｈｒｏｎｏｕｓ）ネットワークからデータを受信した場合、バッファメモリ（４１５）は必要でないかもしれないか、又は、小さくすることができる。インターネットのようなベストエフォートパケットネットワークで使用する場合、バッファメモリ（４１５）は必要である可能性があり、比較的に大きく、適応サイズを有利に有し、少なくとも部分的にオペレーティングシステム又はビデオデコーダ（４１０）の外部の類似した要素（図示せず）に実行されてよい。
【0023】
ビデオデコーダ（４１０）は、パーサー（４２０）を含んで符号化されたビデオシーケンスからシンボル（４２１）を再構築してよい。図４に示されるように、これらのシンボルのカテゴリには、ビデオデコーダ（４１０）の操作を管理するために使用される情報、及び、潜在的に、レンダリング装置（４１２）（例えば、表示画面）のようなレンダリング装置を制御するための情報が含まれており、上述のレンダリング装置は、電子装置（４３０）の不可欠な部分ではないが、電子装置（４３０）に結合され得る。レンダリング装置の制御情報は、補足強化情報（ＳＥＩメッセージ）又はビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形式であってよい。パーサー（４２０）は、受信された符号化されたビデオシーケンスに対して構文解析／エントロピー復号化をすることができる。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術や標準に従うことができ、可変長符号化、ハフマン符号化、文脈感度があるか又はない算術符号化、などを含む様々な原理に従うことができる。パーサー（４２０）は、グループに対応する少なくとも１つのパラメータに基づいて、符号化されたビデオシーケンスから、ビデオデコーダ内の画素のサブグループの少なくとも１つのサブグループパラメータのセットを抽出してよい。サブグループは、ピクチャのグループ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）、などを含むことができる。パーサー（４２０）は、また、符号化されたビデオシーケンスから変換係数、量子化器パラメータ値、動きベクトル、などの情報を抽出することができる。
【0024】
パーサー（４２０）は、バッファメモリ（４１５）から受信したビデオシーケンスでエントロピー復号化／構文解析を行ってシンボル（４２１）を作成してよい。
【0025】
シンボル（４２１）の再構築には、符号化されたビデオピクチャ又はその一部のタイプ（例えば、画像間及びピクチャ内、ブロック間、及びブロック内）及び他の要因に応じて、複数の異なるユニットが含まれ得る。どのユニットが含まれ、且つ、どのように含まれるかは、パーサー（４２０）で符号化されたビデオシーケンスから解析されたサブグループ制御情報によって制御され得る。パーサー（４２０）と以下の複数のユニットとの間のこのようなサブグループ制御情報のフローは、明確にするために示されていない。
【0026】
すでに述べた機能ブロックの他に、ビデオデコーダ（４１０）は、以下に説明するように、概念的に多くの機能ユニットに細分することができる。商業的制約の下で操作する実際の実行では、これらのユニットの多くは、互いに密接に相互作用し、且つ、少なくとも部分的に互いに統合することができる。しかし、開示された主題を説明するために、以下の機能ユニットへの概念的な細分化が適切である。
【0027】
最初のユニットは、スケーラー／逆変換ユニット（４５１）である。スケーラー／逆変換ユニット（４５１）は、パーサー（４２０）から、使用する変換、ブロックサイズ、量子化係数、量子化スケーリング行列、などを含む量子化変換係数及び制御情報をシンボル（４２１）として受信する。スケーラー／逆変換ユニット（４５１）は、アグリゲーター（４５５）に入力され得るサンプル値を含むブロックを出力できる。
【0028】
場合によって、スケーラー／逆変換（４５１）の出力サンプルは、イントラ符号化されたブロックに関連することができる。即ち、前に再構築されたピクチャからの予測情報を使用せず、カレントピクチャの前に再構築された部分からの予測情報を使用できるブロックである。このような予測情報は、イントラピクチャ予測ユニット（４５２）によって提供され得る。いくつかの場合では、イントラピクチャ予測ユニット（４５２）は、カレントピクチャバッファ（４５８）からフェッチされた周囲の再構築された情報を使用して、再構築中のブロックと同じ大きさと形状のブロックを生成する。カレントピクチャのバッファ（４５８）は、例えば、部分的に再構築されたカレントピクチャ及び／又は完全に再構築されたカレントピクチャをバッファリングする。アグリゲーター（４５５）は、場合によっては、サンプルごとに、スケーラー／逆変換ユニット（４５１）から提供された出力サンプル情報に、イントラ予測ユニット（４５２）が生成した予測情報を追加する。
【0029】
他の場合において、スケーラー／逆変換ユニット（４５１）の出力サンプルは、インター符号化された、潜在的に動き補償されたブロックに関連することができる。このような場合では、動き補償予測ユニット（４５３）は、参照ピクチャメモリ（４５７）にアクセスして予測用のサンプルをフェッチすることができる。ブロックに関連したシンボル（４２１）に基づいてフェッチされたサンプルを動き補償した後、これらのサンプルは、アグリゲーター（４５５）によってスケーラー／逆変換ユニット（４５１）の出力に追加されて（この場合、残差サンプル又は残差信号と称する）出力サンプル情報を生成することができる。動き補償予測ユニット（４５３）が予測サンプルをフェッチする、参照ピクチャメモリ（４５７）内のアドレスは、動きベクトルで制御でき、且つ、例えばＸ、Ｙ、及び参照ピクチャコンポーネントを有することができるシンボル（４２１）の形で動き補償予測ユニット（４５３）に利用され得る。動き補償も、サブサンプルの正確な動きベクトルが使用されている時に参照ピクチャメモリ（４５７）からフェッチされたサンプル値の補間、動きベクトル予測機構などを含むことができる。
【0030】
アグリゲーター（４５５）の出力サンプルは、ループフィルタユニット（４５６）における様々なループフィルタリング技術の対象となる可能性がある。ビデオ圧縮技術は、符号化されたビデオシーケンス（符号化されたビデオビットストリームともいう）に含まれるパラメータによって制御されるループ内フィルタ技術を含むことができ、且つ、パーサー（４２０）からのシンボル（４２１）としてループフィルタユニット（４５６）に利用され得るが、符号化されたピクチャ又は符号化されたビデオシーケンスの（復号化順序における）前の部分の復号化中に取得されたメタ情報に応答し、且つ、前に再構築され、且つ、ループフィルター処理されたサンプル値に応答することもできる。
【0031】
ループフィルタユニット（４５６）の出力は、レンダリング装置（４１２）に出力され、且つ、将来のインターピクチャ予測に使用するのに参照ピクチャメモリ（４５７）に記憶され得るサンプルストリームであってよい。
【0032】
完全に再構築された特定の符号化されたピクチャは、将来の予測のための参照ピクチャとして使用できる。例えば、カレントピクチャに対応する符号化されたピクチャが完全に再構築され、且つ、符号化されたピクチャが（例えば、パーサー（４２０）によって）参照ピクチャとして識別されていると、カレントピクチャバッファ（４５８）は、参照ピクチャメモリ（４５７）の一部となり、且つ、次の符号化されたピクチャの再構築を開始する前に新しいカレントピクチャバッファを再割り当てすることができる。
【0033】
ビデオデコーダ（４１０）は、ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６５のような標準における所定のビデオ圧縮技術に基づいて復号化操作を実行することができる。符号化されたビデオシーケンスは、ビデオ圧縮技術や標準の構文とビデオ圧縮技術や標準に文書化されたプロファイルの両方に基づいているという意味で、使用されているビデオ圧縮技術や標準に規定された構文に基づいている。具体的に、プロファイルは、その下で利用可能な唯一のツールとして、ビデオ圧縮技術や標準における利用可能なツールのすべてから特定のツールを選択できる。また、コンプライアンスのために必要なのは、符号化されたビデオシーケンスの複雑さがビデオ圧縮技術や標準のレベルによって定義された範囲内にあることである。場合によって、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート（例えば、１秒あたりのメガサンプル数で測定）、最大参照ピクチャサイズ、などを制限している。レベルによって設定される制限は、場合によって、仮想参照デコーダ（ＨＲＤ）の仕様と、符号化されたビデオシーケンスでシグナリングされるＨＲＤバッファー管理のメタデータによって、さらに制限される。
【0034】
一実施形態において、受信器（４３１）は、符号化されたビデオを有する追加（冗長）データを受信してよい。追加データは、符号化されたビデオシーケンスの一部として含まれてよい。追加データは、ビデオデコーダ（４１０）によって使用されて、適宜データを復号化し、かつ／あるいは、より正確に元のビデオデータを再構築してよい。追加データは、例えば、時間的、空間的、又は信号雑音比（ＳＮＲ）強化層、冗長スライス、冗長ピクチャ、前方誤り訂正コード、などの形をとることができる。
【0035】
図５は、本開示の一実施形態に係るビデオエンコーダ（５０３）のブロック図を示す。ビデオエンコーダ（５０３）は、電子装置（５２０）に含まれている。電子装置（５２０）は、送信器（５４０）（例えば、送信回路）を含む。ビデオエンコーダ（５０３）は、図３の例におけるビデオエンコーダ（３０３）の代わりに使用することができる。
【0036】
ビデオエンコーダ（５０３）は、ビデオエンコーダ（５０３）によって符号化されるビデオ画像を取り込むことができる（図５の例における電子装置（５２０）の一部ではない）ビデオソース（５０１）からビデオサンプルを受信してよい。別の例において、ビデオソース（５０１）は、電子装置（５２０）の一部である。
【0037】
ビデオソース（５０１）は、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット、…）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、…）、及び、任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣＢ ４：２：０、Ｙ ＣｒＣｂ４：４：４）を有するデジタルビデオサンプルストリームの形で、ビデオエンコーダ（５０３）に符号化されるソースビデオシーケンスを提供してよい。メディア配信システムにおいて、ビデオソース（５０１）は、前に用意されたビデオを記憶する記憶装置であってよい。ビデオ会議システムにおいて、ビデオソース（５０１）は、ローカル画像情報をビデオシーケンスとして取り込むカメラであってよい。ビデオデータは、順番に見たときに動きを与える複数の個別のピクチャとして提供されてよい。ピクチャ自体は、画素の空間アレイとして編成されることができ、各画素は、使用中のサンプリング構造、色空間、などによって、一つ以上のサンプルを含むことができる。当業者は、画素とサンプルとの間の関係を容易に理解することができる。以下の説明では、サンプルに着目する。
【0038】
一実施形態によれば、ビデオエンコーダ（５０３）は、アプリケーションに要求されるように、リアルタイム又は任意の他の時間制約で、ソースビデオシーケンスのピクチャを符号化されたビデオシーケンス（５４３）に符号化して圧縮することができる。適切な符号化速度を強制することは、コントローラ（５５０）の１つの機能である。いくつかの実施形態において、コントローラ（５５０）は、以下に説明するように、他の機能ユニットを制御し、他の機能ユニットに機能的に結合されている。明確にするために、カップリングは示されていない。コントローラ（５５０）によって設定されるパラメータには、レート制御関連のパラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値など）、ピクチャサイズ、ピクチャのグループ（ＧＯＰ）レイアウト、最大動きベクトル検索範囲、などが含まれ得る。コントローラ（５５０）は、特定のシステム設計のために最適化されたビデオエンコーダに関連する他の適切な機能を有するように構成できる。
【0039】
いくつかの実施形態において、ビデオエンコーダ（５０３）は、符号化ループで操作するように構成されている。過度に簡略化された説明として、一例において、符号化ループは、ビデオエンコーダ（５０３）に組み込まれたソースコーダ（５３０）（例えば、符号化される入力ピクチャ及び参照ピクチャに基づいて、シンボルストリームのようなシンボルを作成する機能を担当している）及び（ローカル）デコーダ（５３３）を含むことができる。デコーダ（５３３）は、シンボルを再構築して、（リモート）デコーダの作成方式と類似した方法でサンプルデータを作成する（開示された主題で考えられたビデオ圧縮技術において、シンボルと符号化されたビデオビットストリームとの間の任意の圧縮は無損失のものであるため）。再構築されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（５３４）に入力される。シンボルストリームの復号化は、デコーダの位置（ローカル又はリモート）に関係なくビットに正確な結果をもたらすため、参照ピクチャメモリ（５３４）のコンテンツも、ローカルエンコーダとリモートエンコーダとの間でビットに正確である。言い換えると、エンコーダの予測部分は、参照ピクチャサンプルとして、デコーダが復号化中に予測を使用した時に「見る」のとまったく同じサンプル値を「見る」。参照ピクチャの同期性（及び、例えばチャネルエラーのために同期性を維持できない場合に結果として生じるドリフト）の基本原理は、いくつかの関連技術にも使用されている。
【0040】
「ローカル」デコーダ（５３３）の操作は、「リモート」デコーダ（例えば、すでに上記で図４を参照して詳細に説明されているビデオデコーダ（４１０））と同じであってよい。しかしながら、図４も簡単に参照すると、シンボルが利用可能であり、且つ、エントロピーコーダ（５４５）及びパーサー（４２０）によるシンボルの符号化されたビデオシーケンスへの符号化／復号化は無損失であるため、バッファメモリ（４１５）及びパーサー（４２０）を含むビデオデコーダ（４１０）のエントロピー復号化部分は、ローカルデコーダ（５３３）に完全に実行されていない可能性がある。
【0041】
この時点で観察できたのは、デコーダに存在する構文解析／エントロピー復号化を除いて、いかなるデコーダ技術も、対応するエンコーダに実質的に同一の機能形式で必ず存在する必要があることである。このため、開示された主題は、デコーダの操作に着目する。エンコーダ技術の説明は、包括的に説明されているデコーダ技術の逆であるため、省略できる。特定の領域でのみ、より詳細な説明が必要であり、以下に提供される。
【0042】
いくつかの例では、操作中に、ソースコーダ（５３０）は、動き補償予測符号化をしてよく、上述の動き補償予測符号化は、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の前に符号化されたピクチャを参照して、入力ピクチャを予測的に符号化する。このようにして、符号化エンジン（５３２）は、入力ピクチャの画素ブロックと、入力ピクチャの予測参照として選択され得る参照ピクチャの画素ブロックとの間の差を符号化する。
【0043】
ローカルビデオデコーダ（５３３）は、ソースコーダ（５３０）によって作成されたシンボルに基づいて、参照ピクチャとして指定できるピクチャの符号化されたビデオデータを復号することができる。符号化エンジン（５３２）の操作は、有利には、損失のあるプロセスであってよい。符号化されたビデオデータがビデオデコーダ（図５には示されていない）において復号化され得る場合、再構築されたビデオシーケンスは、典型的には、いくつかのエラーを伴うソースビデオシーケンスの複製であってよい。ローカルビデオデコーダ（５３３）は、参照ピクチャのビデオデコーダによって実行されてよく、再構築された参照ピクチャが、参照ピクチャキャッシュ（５３４）に記憶される原因となる復号化プロセスを複製する。このようにして、ビデオエンコーダ（５０３）は、再構築された参照ピクチャのコピーをローカルに保存でき、上述の参照ピクチャのコピーは、遠端ビデオデコーダによって得られる再構築された参照ピクチャとして共通のコンテンツを有する（不在伝送エラー）。
【0044】
予測器（５３５）は、符号化エンジン（５３２）の予測検索を実行できる。即ち、符号化される新しいピクチャについて、予測器（５３５）は、参照ピクチャメモリ（５３４）を検索して、新しいピクチャの適切な予測参照として役立つ得るサンプルデータ（候補参照画素ブロックとして）又は参照ピクチャ動きベクトル、ブロック形状、などの特定のメタデータを得ることができる。予測器（５３５）は、サンプルブロック-画素ブロック単位で操作して適切な予測参照を見つけることができる。いくつかの場合には、予測器（５３５）で得られた検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（５３４）に保存された複数の参照ピクチャから引き出された予測参照を有することができる。
【0045】
コントローラ（５５０）は、例えば、ビデオデータを符号化するために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ（５３０）の符号化操作を管理することができる。
【0046】
前述のすべての機能ユニットの出力は、エントロピーコーダ（５４５）におけるエントロピー符号化に基づいてよい。エントロピーコーダ（５４５）は、ハフマン符号化、可変長符号化、算術符号化、などの技術に基づいて記号を無損失圧縮することにより、様々な機能ユニットによって生成された記号を符号化されたビデオシーケンスに変換する。
【0047】
送信器（５４０）は、エントロピーコーダ（５４５）によって作成された符号化されたビデオシーケンスをバッファリングして、符号化されたビデオデータを記憶する記憶装置へのハードウェア/ソフトウェアリンクである通信チャネル（５６０）を介して送信の準備をすることができる。送信器（５４０）は、送信される他のデータ（例えば、符号化されたオーディオデータ及び／又は補助データストリーム（ソースは図示されていない））を有するビデオエンコーダ（５０３）から、符号化されたビデオデータをマージする。
【0048】
コントローラ（５５０）は、ビデオエンコーダ（５０３）の操作を管理することができる。符号化中に、コントローラ（５５０）は、各符号化されたピクチャに特定の符号化されたピクチャタイプを割り当てることができ、これは、それぞれのピクチャに適用され得る符号化技術に影響を及ぼし得る。例えば、ピクチャは、多くの場合、次のピクチャタイプの一つとして割り当てられる。
【0049】
イントラピクチャ（Ｉピクチャ）は、シーケンス内の他のピクチャを予測のソースとして使用せずに符号化及び復号化できるピクチャである。一部のビデオコーデックでは、例えばＩｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ（「ＩＤＲ」）ピクチャなど、様々なタイプのイントラピクチャを使用できる。当業者は、Ｉピクチャの変形及びそれらのそれぞれの用途及び特徴を知っている。
【0050】
予測ピクチャ（Ｐ ｐｉｃｔｕｒｅ）は、各ブロックのサンプル値を予測するために最大１つの動きベクトル及び参照インデックスを使用するイントラ予測又はインター予測によって符号化と復号化をすることができるものであってよい。
【0051】
双方向予測ピクチャ（Ｂ ｐｉｃｔｕｒｅ）は、符号化された各ブロックのサンプル値を予測するために最大２つの動きベクトル及び参照インデックスを使用するイントラ予測又はインター予測によって符号化と復号化をすることができるものであってよい。同様に、複数の予測ピクチャは、単一のブロックの再構築のために３つ以上の参照ピクチャと関連メタデータを使用できる。
【0052】
ソースピクチャは一般に、複数のサンプルブロック（例えば、４×４、８×８、４×８、又は１６×１６ブロック、サンプルごと）に空間的に細分されて、ブロック単位で符号化され得る。ブロックは、ブロックのそれぞれのピクチャに適用される符号化割り当てによって決定されるように、他の（すでに符号化された）ブロックを参照して予測的に符号化することができる。例えば、Ｉピクチャのブロックは、非予測的に符号化され得るか、又は、それらは、同じピクチャのすでに符号化されたブロックを参照して予測的に符号化され得る（空間予測又はイントラ予測）。Ｐピクチャの画素ブロックは、前に符号化された１つの参照ピクチャを参照して、空間予測または時間予測を介して、予測的に符号化されてよい。Ｂピクチャのブロックは、前に符号化された１つ又は２つの参照ピクチャを参照して、空間予測または時間予測を介して、予測的に符号化されてよい。
【0053】
ビデオエンコーダ（５０３）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５のような所定のビデオ符号化技術や標準に基づいて符号化操作を実行することができる。その操作において、ビデオエンコーダ（５０３）は、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用する予測符号化操作を含む様々な圧縮操作を実行することができる。従って、符号化されたビデオデータは、使用されているビデオ符号化技術や標準によって指定された構文に基づくことができる。
【0054】
一実施形態において、送信器（５４０）は、符号化されたビデオと追加データを送信してよい。ソースコーダ（５３０）は、符号化されたビデオシーケンスの一部として、そのようなデータを含んでよい。追加データは、時間的／空間的／ＳＮＲ強化層、冗長なピクチャ及びスライスのような他の形式の冗長なデータ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメント、などを含むことができる。
【0055】
ビデオは、時間的順序で複数のソースピクチャ（ビデオピクチャ）として取り込まれ得る。ピクチャ内予測（多くの場合、イントラ予測と略される）は、特定のピクチャの空間相関を利用し、画像間予測は、ピクチャの間の（時間的又は他の）相関を利用している。一例では、カレントピクチャと呼ばれる、符号化／復号化中の特定のピクチャが、ブロックに分割される。カレントピクチャのブロックが、前に符号化され、且つ、まだバッファリングされているビデオの参照ピクチャの参照ブロックに類似している場合、カレントピクチャのブロックは、動きベクトルと呼ばれるベクトルによって符号化できる。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第３の次元を持つことができる。
【0056】
いくつかの実施形態においては、双予測技術を画像間予測に使用することができる。双予測技術によれば、第１の参照ピクチャ及び第２の参照ピクチャのような２つの参照ピクチャは、両方ともビデオ内のカレントピクチャよりも復号化順序が前である（ただし、それぞれ表示順序で過去及び将来であってよいものが使用される）。カレントピクチャ内のブロックは、第１の参照ピクチャ内の第１の参照ブロックを指す第１の動きベクトルおよび第２の参照ピクチャ内の第２の参照ブロックを指す第２の動きベクトルによって符号化することができる。ブロックは、第１の参照ブロックと第２の参照ブロックとの組み合わせによって予測することができる。
【0057】
さらに、マージモード技術を画像間予測に使用して、符号化効率を改善することができる。
【0058】
本発明のいくつかの実施形態によれば、画像間予測とピクチャ内予測のような予測は、ブロック単位で行われる。例えば、ＨＥＶＣの標準により、ビデオピクチャのシーケンスにおけるピクチャは、圧縮のために、符号化ツリーユニット（ＣＴＵ）に分割され、ピクチャにおけるＣＴＵは同じサイズ（例えば６４×６４画素、３２×３２画素、又は１６×１６画素）を有する。一般に、ＣＴＵには３つの符号化ツリーブロック（ＣＴＢ）が含まれる。これらは、１つの輝度ＣＴＢおよび２つの彩度ＣＴＢである。各ＣＴＵは、一つ以上の符号化ユニット（ＣＵ）に再帰的にクアッドツリー分割できる。例えば、６４×６４画素のＣＴＵは、６４×６４画素のＣＵ、又は４つの３２×３２画素のＣＵ、又は１６個の１６×１６画素のＣＵに分割することができる。一例では、各ＣＵが分析されて、ＣＵの予測タイプ（例えば、インター予測タイプ又はイントラ予測タイプ）を決定する。ＣＵは、時間的及び／又は空間的な予測可能性によって、１つ以上の予測ユニット（ＰＵ）に分割される。一般に、各ＰＵには、輝度予測ブロック（ＰＢ）と２つの彩度ＰＢが含まれる。一実施形態において、符号化（符号化／復号化）における予測操作は、予測ブロックの単位で実行される。予測ブロックの一例として輝度予測ブロックを使用して、予測ブロックは、画素（例えば、８×８画素、１６×１６画素、８×１６画素、１６×８画素など）の値（例えば、輝度値）のマトリックスを含む。
【0059】
図６は、本開示の他の実施形態によるビデオエンコーダ（６０３）の図を示す。ビデオエンコーダ（６０３）は、ビデオピクチャのシーケンスにおけるカレントビデオピクチャ内のサンプル値を受信し、処理ブロックを、符号化されたビデオシーケンスの一部である符号化されたピクチャに符号化する。一例では、ビデオエンコーダ（６０３）は、図３の例におけるビデオエンコーダ（３０３）の代わりに使用される。
【0060】
ＨＥＶＣの例において、ビデオエンコーダ（６０３）は、処理ブロック（例えば、８×８サンプルの予測ブロックなど）のサンプル値の行列を受信する。ビデオエンコーダ（６０３）は、例えば、レート歪み最適化を使用して、イントラモード、インターモード、又は双予測モードで、処理ブロックが最良に符号化されているか否かを判定する。処理ブロックがイントラモードで符号化される場合、ビデオエンコーダ（６０３）は、イントラ予測技術で、処理ブロックを符号化されたピクチャに符号化することができる。処理ブロックがインターモード又は双予測モードで符号化される場合、ビデオエンコーダ（６０３）は、それぞれインター予測又は双予測技術を使用して、処理ブロックを、符号化されたピクチャに符号化することができる。特定のビデオ符号化技術において、マージモードは、動きベクトルが一つ以上の動きベクトル予測器から導出される画像間予測サブモードであり、予測器の外部の符号化された動きベクトルコンポーネントの利点を有しない。他の特定のビデオ符号化技術では、対象ブロックに適用可能な動きベクトルコンポーネントが存在する可能性がある。一例では、ビデオエンコーダ（６０３）は、他のコンポーネントを含み、例えば、モード決定モジュール（図示せず）を含み、処理ブロックのモードを決定する。
【0061】
図６の例において、ビデオエンコーダ（６０３）は、インターエンコーダ（６３０）、イントラエンコーダ（６２２）、残差計算器（６２３）、スイッチ（６２６）、残差エンコーダ（６２４）、汎用コントローラ（６２１）、及びエントロピーエンコーダ（６２５）を含み、それらは図６に示すように結合されている。
【0062】
インターエンコーダ（６３０）は、カレントブロック（例えば、処理ブロック）のサンプルを受信し、そのブロックを参照ピクチャにおける一つ以上の参照ブロック（例えば、前のピクチャと後のピクチャにおけるブロック）と比較し、インター予測情報（例えば、インター符号化技術による冗長情報の説明、動きベクトル、マージモード情報）を生成し、インター予測情報に基づいて、任意の適切な技術でインター予測結果（例えば、予測されたブロック）を計算するように構成されている。いくつかの例において、参照ピクチャは、符号化されたビデオ情報に基づいて復号化される、復号化された参照ピクチャである。
【0063】
イントラエンコーダ（６２２）は、カレントブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては、そのブロックを既に同じピクチャにおいて符号化されたブロックと比較し、変換後に量子化係数を生成し、かつ、場合によっては、イントラ予測情報（例えば、一つ以上のイントラ符号化技術によるイントラ予測方向情報）も生成するように構成されている。一例において、イントラエンコーダ（６２２）は、また、イントラ予測情報及び同じピクチャにおける参照ブロックに基づいて、イントラ予測結果（例えば、予測されたブロック）を算出する。
【0064】
汎用コントローラ（６２１）は、汎用制御データを決定し、その汎用制御データに基づいて、ビデオエンコーダ（６０３）の他のコンポーネントを制御するように構成されている。一例において、汎用コントローラ（６２１）は、ブロックのモードを決定し、そのモードに基づいて、スイッチ（６２６）に制御信号を提供する。例えば、上述のモードがイントラモードである場合、汎用コントローラ（６２１）は、スイッチ（６２６）を制御して、残差計算器（６２３）による使用のためにイントラモード結果を選択し、エントロピーエンコーダ（６２５）を制御して、イントラ予測情報を選択して、それをビットストリームに含める。上述のモードがインターモードである場合、汎用コントローラ（６２１）は、スイッチ（６２６）を制御して、残差計算器（６２３）による使用のためにインター予測結果を選択し、エントロピーエンコーダ（６２５）を制御して、インター予測情報を選択して、それをビットストリームに含める。
【0065】
残差計算器（６２３）は、受信されたブロックと、イントラエンコーダ（６２２）又はインターエンコーダ（６３０）から選択された予測結果との間の差（残差データ）を算出するように構成されている。残差エンコーダ（６２４）は、残差データに基づいて操作して、残差データを符号化して変換係数を生成するように構成されている。一例において、残差エンコーダ（６２４）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように構成されている。次に、変換係数は、量子化処理の対象となって、量子化変換係数を取得する。様々な実施形態において、ビデオエンコーダ（６０３）は、また、残差デコーダ（６２８）を含む。残差デコーダ（６２８）は、逆変換を実行し、復号化された残差データを生成するように構成されている。復号化された残差データは、イントラエンコーダ（６２２）およびインターエンコーダ（６３０）によって適切に使用され得る。例えば、インターエンコーダ（６３０）は、復号化された残差データとインター予測情報に基づいて、復号化されたブロックを生成でき、イントラエンコーダ（６２２）は、復号化された残差データとイントラ予測情報に基づいて、復号化されたブロックを生成できる。復号化されたブロックは、適切に処理されて復号化されたピクチャを生成し、復号化されたピクチャは、メモリ回路（図示せず）においてバッファリングされ、いくつかの例において参照ピクチャとして使用され得る。
【0066】
エントロピーエンコーダ（６２５）は、ビットストリームをフォーマットして符号化されたブロックを含むように構成されている。エントロピーエンコーダ（６２５）は、適切な標準（例えば、ＨＥＶＣ標準）に基づいて様々な情報を含むように構成されている。一例では、エントロピーエンコーダ（６２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及びビットストリームにおける他の適切な情報を含むように構成されている。開示された主題によれば、インターモード又は双予測モードのいずれかのマージサブモードでブロックを符号化する場合、残差情報がないことに留意されたい。
【0067】
図７は、本開示の別の実施形態によるビデオデコーダ（７１０）の図を示す。ビデオデコーダ（７１０）は、符号化されたビデオシーケンスの一部である、符号化されたピクチャを受信し、それを復号化して、再構築されたピクチャを生成するように構成されている。一例において、ビデオデコーダ（７１０）は、図３の例におけるビデオデコーダ（３１０）の代わりに使用される。
【0068】
図７の例において、ビデオデコーダ（７１０）は、エントロピーデコーダ（７７１）、インターデコーダ（７８０）、残差デコーダ（７７３）、再構築モジュール（７７４）、及びイントラデコーダ（７７２）を含み、それらは、図７に示すように結合されている。
【0069】
エントロピーデコーダ（７７１）は、符号化されたピクチャから、それを構成する構文要素を表す特定のシンボルを再構築するように構成され得る。例えば、このようなシンボルは、ブロックが符号化されるモード（例えば、イントラモード、インターモード、双予測モード、マージサブモード、又は別のサブモードの後者の２つ）、それぞれイントラデコーダ（７７２）又はインターデコーダ（７８０）による予測のために使用される特定のサンプル又はメタデータを識別することができる予測情報（例えば、イントラ予測情報又はインター予測情報）、例えば、量子化変換係数の形の残差情報などを含んでよい。一例では、予測モードがインター又は双予測モードである場合、インター予測情報は、インターデコーダ（７８０）に提供される。予測タイプがイントラ予測タイプである場合、イントラ予測情報は、イントラデコーダ（７７２）に提供される。残差情報は、逆量子化の対象となる可能性があり、残差デコーダ（７７３）に提供される。
【0070】
インターデコーダ（７８０）は、インター予測情報を受信し、それに基づいて、インター予測結果を生成するように構成されている。
【0071】
イントラデコーダ（７７２）は、イントラ予測情報を受信し、それに基づいて、予測結果を生成するように構成されている。
【0072】
残差デコーダ（７７３）は、逆量子化を実行して、非量子化された変換係数を抽出し、非量子化された変換係数を処理して、残差を周波数領域から空間領域に変換するように構成されている。残差デコーダ（７７３）は（量子化器パラメータ（ＱＰ）を含むために）特定の制御情報を必要とし、その情報は、エントロピーデコーダ（７７１）によって提供されてよい（このように示されていないデータパスは低容量制御情報のみである）。
【0073】
再構築モジュール（７７４）は、空間領域において残差デコーダ（７７３）によって出力された残差と、（場合によってインター又はイントラ予測モジュールで出力された）予測結果とを結合して、再構築されたブロックを形成するように構成されており、上述の再構築されたブロックは、再構築されたピクチャの一部であり、引き続き再構築されたビデオの一部であってよい。他の適切な操作（例えば、デブロック化操作など）を実行して、視覚的品質を改善することができることに留意されたい。
【0074】
任意の適切な技術でビデオエンコーダ（３０３）、（５０３）、及び（６０３）、並びに、ビデオデコーダ（３１０）、（４１０）、及び（７１０）を実行することができることに留意されたい。一実施形態においては、一つ以上の集積回路で、ビデオエンコーダ（３０３）、（５０３）、及び（６０３）、並びに、ビデオデコーダ（３１０）、（４１０）、及び（７１０）を実行することができる。別の実施形態において、ソフトウェア命令を実行する一つ以上のプロセッサで、ビデオエンコーダ（３０３）、（５０３）、及び（６０３）、並びに、ビデオデコーダ（３１０）、（４１０）、及び（７１０）を実行することができる。
【0075】
ＩＩ．インター予測技術
様々な実施形態において、インター予測されたＣＵの場合、動きベクトル、参照ピクチャインデックス、参照ピクチャリスト使用インデックス、及び、場合によっては、他の追加情報を含む動きパラメータは、インター予測されたサンプルの生成に使用され得る。動きパラメータは、明示的又は暗黙的な方式でシグナリングされ得る。ＣＵがスキップモードで符号化された場合、ＣＵは、１つのＰＵに関連付けられており、有意な残差係数、符号化された動きベクトルデルタ、又はＣＵに関連付けられた参照ピクチャインデックスを有しない。
様々な実施形態において、インター予測されたＣＵの場合、動きベクトル、参照ピクチャインデックス、参照ピクチャリスト使用インデックス、及び、場合によっては、他の追加情報を含む動きパラメータは、インター予測されたサンプルの生成に使用され得る。動きパラメータは、明示的又は暗黙的な方式でシグナリングされ得る。ＣＵがスキップモードで符号化された場合、ＣＵは、１つのＰＵに関連付けられており、有意な残差係数、符号化された動きベクトルデルタ、又はＣＵに関連付けられた参照ピクチャインデックスを有しない。
【0076】
マージモードが採用された場合、現在のＣＵの動きパラメータは、空間及び時間マージ候補、及び、随意選択の他のマージ候補を含む隣接のＣＵから得られる。マージモードは、インター予測されたＣＵに適用でき、且つ、スキップモードに適用できる。マージモードの代替手段は、動きパラメータの明示的な送信である。例えば、動きベクトル、各参照ピクチャリストの各参照ピクチャインデックス、参照ピクチャリスト使用フラグ、及び他の必要な情報は、ＣＵごとに明示的にシグナリングされ得る。
【0077】
以下のインター予測符号化ツールはいくつかの実施形態に使用される。
―拡張されたマージ予測
―動きベクトル差のあるマージモード（ＭＭＶＤ）
―アフィン動き補償予測
―サブブロックベースの時間的動きベクトル予測（ＳｂＴＭＶＰ）
―三角パーティション予測
―インター予測とイントラ予測の組み合わせ（ＣＩＩＰ）
１．拡張されたマージ予測
いくつかの実施形態において、マージ候補リストは、順番に次の５種類の候補を含むことによって構築されている。
―拡張されたマージ予測
―動きベクトル差のあるマージモード（ＭＭＶＤ）
―アフィン動き補償予測
―サブブロックベースの時間的動きベクトル予測（ＳｂＴＭＶＰ）
―三角パーティション予測
―インター予測とイントラ予測の組み合わせ（ＣＩＩＰ）
１．拡張されたマージ予測
いくつかの実施形態において、マージ候補リストは、順番に次の５種類の候補を含むことによって構築されている。
【0078】
１）空間隣接のＣＵからの空間的動きベクトル予測器（ＳＭＶＰ）、
２）併置されたＣＵからの時間的動きベクトル予測器（ＴＭＶＰ）、
３）先入れ先出し（ＦＩＦＯ）テーブルからの履歴ベースの動きベクトル予測器（ＨＭＶＰ）、
４）ペアワイズ平均動きベクトル予測器（ＭＶＰ）、
５）ゼロＭＶ。
２）併置されたＣＵからの時間的動きベクトル予測器（ＴＭＶＰ）、
３）先入れ先出し（ＦＩＦＯ）テーブルからの履歴ベースの動きベクトル予測器（ＨＭＶＰ）、
４）ペアワイズ平均動きベクトル予測器（ＭＶＰ）、
５）ゼロＭＶ。
【0079】
いくつかの実施形態において、マージリストのサイズは、スライスヘッダでシグナリングされ、マージリストの最大許容サイズが６である。マージモードで符号化された各ＣＵに対して、最良のマージ候補のインデックスは、切り捨てられた単項（ＴＵ）二値化により符号化される。マージインデックスの最初のビンは、コンテキストで符号化され、バイパス符号化は、他のビンに使用される。
【0080】
マージ候補の各カテゴリの生成プロセスの例は、以下に記載されている。
【0081】
１．１空間候補の導出
空間マージ候補を導出するプロセスにおいて、最大４つのマージ候補は、図８におけるカレントブロック（８１０）に隣接した位置Ａ１、Ｂ１、Ｂ０、Ａ０、及びＢ２における候補の中から選択される。導出の順序は、Ａ１、Ｂ１、Ｂ０、Ａ０、及びＢ２である。（例えば、別のスライス又はタイルに属しているため）位置Ａ１、Ｂ１、Ｂ０、Ａ０における任意のＣＵは利用できないか、又は、イントラ符号化された場合、位置Ｂ２は考慮される。位置Ａ１における候補が追加された後、残りの候補の追加は、同じ動き情報を持つ候補がリストから除外されることを確保する冗長検査の対象となる。その結果、符号化効率が向上する。計算の複雑さを軽減するために、前述の冗長検査において、すべての可能な候補ペアが考慮されるわけではない。代わりに、図９の矢印でリンクされたペアが考慮される。冗長検査に使用される対応した候補が同じ動き情報を有しない場合、候補がリストに追加される。
空間マージ候補を導出するプロセスにおいて、最大４つのマージ候補は、図８におけるカレントブロック（８１０）に隣接した位置Ａ１、Ｂ１、Ｂ０、Ａ０、及びＢ２における候補の中から選択される。導出の順序は、Ａ１、Ｂ１、Ｂ０、Ａ０、及びＢ２である。（例えば、別のスライス又はタイルに属しているため）位置Ａ１、Ｂ１、Ｂ０、Ａ０における任意のＣＵは利用できないか、又は、イントラ符号化された場合、位置Ｂ２は考慮される。位置Ａ１における候補が追加された後、残りの候補の追加は、同じ動き情報を持つ候補がリストから除外されることを確保する冗長検査の対象となる。その結果、符号化効率が向上する。計算の複雑さを軽減するために、前述の冗長検査において、すべての可能な候補ペアが考慮されるわけではない。代わりに、図９の矢印でリンクされたペアが考慮される。冗長検査に使用される対応した候補が同じ動き情報を有しない場合、候補がリストに追加される。
【0082】
１．２ 時間的候補の導出
一実施形態においては、一つの時間的候補がリストに追加される。特に、カレントピクチャ（１００１）におけるカレントブロック（１０１１）のための時間マージ候補の導出において、スケーリングされた動きベクトル（１０３１）は、図１０に示すように、併置された参照ピクチャ（１００２）に属する同一位置のＣＵ（１０１２）に基づいて導出される。同一位置におけるＣＵの導出に使用される参照ピクチャリストは、スライスヘッダで明示的にシグナリングされる。時間マージ候補のスケーリングされた動きベクトル（１０３１）は、ピクチャオーダカウント（ＰＯＣ）距離Ｔｂ及びＴｄで、同一位置のＣＵ（１０１２）の動きベクトル（１０３２）からスケーリングされる。Ｔｂは、カレントピクチャ（１００１）の現在の参照ピクチャ（１００３）とカレントピクチャ（１００１）とのＰＯＣ差として定義される。Ｔｄは、同一位置のピクチャ（１００２）の同一位置の参照ピクチャ（１００４）と同一位置のピクチャ（１００２）とのＰＯＣ差として定義される。時間マージ候補の参照ピクチャインデックスは、ゼロに等しいように設定される。
一実施形態においては、一つの時間的候補がリストに追加される。特に、カレントピクチャ（１００１）におけるカレントブロック（１０１１）のための時間マージ候補の導出において、スケーリングされた動きベクトル（１０３１）は、図１０に示すように、併置された参照ピクチャ（１００２）に属する同一位置のＣＵ（１０１２）に基づいて導出される。同一位置におけるＣＵの導出に使用される参照ピクチャリストは、スライスヘッダで明示的にシグナリングされる。時間マージ候補のスケーリングされた動きベクトル（１０３１）は、ピクチャオーダカウント（ＰＯＣ）距離Ｔｂ及びＴｄで、同一位置のＣＵ（１０１２）の動きベクトル（１０３２）からスケーリングされる。Ｔｂは、カレントピクチャ（１００１）の現在の参照ピクチャ（１００３）とカレントピクチャ（１００１）とのＰＯＣ差として定義される。Ｔｄは、同一位置のピクチャ（１００２）の同一位置の参照ピクチャ（１００４）と同一位置のピクチャ（１００２）とのＰＯＣ差として定義される。時間マージ候補の参照ピクチャインデックスは、ゼロに等しいように設定される。
【0083】
時間的候補の位置は、図１１に示される候補Ｃ０とＣ１との間において選択される。位置Ｃ０におけるＣＵは利用できないか、イントラ符号化されるか、又は、ＣＴＵの現在の行の外部にある場合、位置Ｃ１が使用される。それ以外の場合、位置Ｃ０が時間マージ候補の導出に使用される。
【0084】
１．３ 履歴ベースのマージ候補の導出
いくつかの実施形態において、履歴ベースのＭＶＰ（ＨＭＶＰ）マージ候補は、ＳＭＶＰ及びＴＭＶＰの後にマージリストに追加される。この方法では、前に符号化されたブロックの動き情報が、テーブルに記憶され、現在のＣＵのＭＶＰとして使用される。複数のＨＭＶＰ候補を有したテーブルは、符号化／復号化の過程で維持される。新しいＣＴＵ行が検出されると、テーブルはリセット（空）される。非サブブロック間で符号化されたＣＵがあるたびに、関連した動き情報が、新しいＨＭＶＰ候補としてテーブルの最後のエントリに追加される。
いくつかの実施形態において、履歴ベースのＭＶＰ（ＨＭＶＰ）マージ候補は、ＳＭＶＰ及びＴＭＶＰの後にマージリストに追加される。この方法では、前に符号化されたブロックの動き情報が、テーブルに記憶され、現在のＣＵのＭＶＰとして使用される。複数のＨＭＶＰ候補を有したテーブルは、符号化／復号化の過程で維持される。新しいＣＴＵ行が検出されると、テーブルはリセット（空）される。非サブブロック間で符号化されたＣＵがあるたびに、関連した動き情報が、新しいＨＭＶＰ候補としてテーブルの最後のエントリに追加される。
【0085】
一実施形態において、ＨＭＶＰテーブルサイズＳを６とすることは、最大６つの履歴ベースのＭＶＰ（ＨＭＶＰ）候補がテーブルに追加できることを表す。新しい動き候補をテーブルに挿入する場合、制約付きＦＩＦＯルールが使用され、冗長検査が最初に適用されて、テーブルに同一のＨＭＶＰがあるか否かを判定する。あると判定された場合、同じＨＭＶＰが、テーブルから削除され、そして、すべてのＨＭＶＰの候補は、その後、前方に移動される。
【0086】
ＨＭＶＰ候補は、マージ候補リスト構築プロセスに使用され得る。テーブルにおける最新のいくつかのＨＭＶＰ候補が順番に検査され、ＴＭＶＰ候補の後に候補リストに挿入される。冗長検査が、ＨＭＶＰ候補上で空間的又は時間的マージ候補に適用される。
【0087】
一例では、冗長検査操作の数を減らすために、以下の簡略化が導入されている。
【0088】
（ｉ）マージリストの生成に使用されるＨＭＰＶ候補の数は（Ｎ＜＝４）に設定されているか？Ｍ：（８― Ｎ）。ここで、Ｎはマージリスト内の既存の候補の数を示し、Ｍはテーブル内の利用可能なＨＭＶＰ候補の数を示す。
【0089】
（ｉｉ）利用可能なマージ候補の総数が最大許容マージ候補-１に達すると、ＨＭＶＰからのマージ候補リストの構築プロセスが終了する。
【0090】
１．４ ペアワイズ平均マージ候補の導出
いくつかの実施形態において、ペアワイズ平均候補が、既存のマージ候補リスト内の予め定められた候補の対を平均化することによって生成される。例えば、予め定められたペアは、｛（０、１）、（０、２）、（１、２）、（０、３）、（１、３）、（２、３）｝と規定さる。ここで、これらの数字は、マージ候補リストへのマージインデックスを示す。平均化された動きベクトルは、参照リストごとに個別に計算される。両方の動きベクトルが１つのリストで使用できる場合、これらの２つの動きベクトルは、異なる参照ピクチャを指している場合でも平均化される。利用可能な動きベクトルが１つしかない場合は、その動きベクトルを直接使用する。利用可能な動きベクトルがない場合は、このリストを無効にする。
いくつかの実施形態において、ペアワイズ平均候補が、既存のマージ候補リスト内の予め定められた候補の対を平均化することによって生成される。例えば、予め定められたペアは、｛（０、１）、（０、２）、（１、２）、（０、３）、（１、３）、（２、３）｝と規定さる。ここで、これらの数字は、マージ候補リストへのマージインデックスを示す。平均化された動きベクトルは、参照リストごとに個別に計算される。両方の動きベクトルが１つのリストで使用できる場合、これらの２つの動きベクトルは、異なる参照ピクチャを指している場合でも平均化される。利用可能な動きベクトルが１つしかない場合は、その動きベクトルを直接使用する。利用可能な動きベクトルがない場合は、このリストを無効にする。
【0091】
一実施形態において、ペアワイズ平均マージ候補が追加された後にマージリストがフルでない場合、最大マージ候補の数が検出されるまで、ゼロのＭＶＰが最後に挿入される。
【0092】
２．動きベクトル差のあるマージモード（ＭＭＶＤ）
マージモードに加えて、暗黙的に導出された動き情報が直接、現在のＣＵの予測サンプル生成に使用される場合、ＭＭＶＤが、いくつかの実施形態に使用される。ＭＭＶＤフラグは、スキップフラグとマージフラグを送信した直後にシグナリングされて、ＭＭＶＤモードがＣＵに使用されているか否かを判定する。
マージモードに加えて、暗黙的に導出された動き情報が直接、現在のＣＵの予測サンプル生成に使用される場合、ＭＭＶＤが、いくつかの実施形態に使用される。ＭＭＶＤフラグは、スキップフラグとマージフラグを送信した直後にシグナリングされて、ＭＭＶＤモードがＣＵに使用されているか否かを判定する。
【0093】
ＭＭＶＤモードにおいて、マージ候補が選択された後、マージ候補が、シグナリングされた動きベクトル差（ＭＶＤ）情報によってさらに絞り込まれて、絞り込まれた動き情報を取得する。ＭＶＤ情報は、マージ候補フラグ、動きの大きさを指定するための距離インデックス、及び動き方向を示すためのインデックスを含む。
【0094】
マージリストにおける最初の２つの候補の１つが選択されてＭＶベース（開始ＭＶ）として使用される。マージ候補フラグがシグナリングされて、どちらを使用するかを指定する。図１２に示すように、ＭＶベースは、参照ピクチャリストＬ０又はＬ１の参照ピクチャ（１２０２）又は（１２０３）での開始点（１２１１）又は（１２２１）をそれぞれ決定する。
【0095】
距離インデックスは、動きの大きさの情報を指示し、開始点（１２１１）又は（１２２１）から予め定義されたオフセットを示す。図１２に示すように、オフセットは、位置（１２１１）又は（１２２１）を指す開始ＭＶ（ＭＶベース）の水平方向コンポーネント又は垂直方向コンポーネントのいずれかに添加される。距離インデックスと予め定義されたオフセットとのマッピング関係は、表１に指定されている。
方向インデックスは、開始点（１２１１）又は（１２２１）に対するＭＶＤの方向を表す。方向インデックスは、表２に示すように、４つの方向の１つを表すことができる。
開始ＭＶの情報によって、ＭＶＤ符号の意味が異なっていることに留意されたい。開始ＭＶが、両方ともカレントピクチャの同じ側をさすユニ予測ＭＶ又は双予測ＭＶである場合（即ち、２つの参照のＰＯＣの両方は、カレントピクチャのＰＯＣよりも大きいか又は小さい）、表２の符号は、開始ＭＶに追加されたＭＶオフセットの符号を指定する。開始ＭＶが、カレントピクチャの異なった側を指す２つのＭＶを有する双予測ＭＶである場合（即ち、一方の参照のＰＯＣがカレントピクチャのＰＯＣよりも大きく、他方の参照のＰＯＣがカレントピクチャのＰＯＣよりも小さい）、表２の符号は、開始ＭＶのＬ０ ＭＶコンポーネントに追加されたＭＶオフセットの符号を指定し、Ｌ１ ＭＶの符号は反対の値を有する。
【表1】
【表2】
【0096】
ＭＶベース、オフセット、及びＭＶＤ符号に基づいて、現在のＣＵに対して最終のＭＶを決定することができる。
【0097】
３．アフィン動き補償予測
いくつかの例では、並進動きモデルが動き補償予測（ＭＣＰ）に適用される。しかし、並進動きモデルは、他のタイプの動き（例えば、ズームイン／ズームアウト、回転、遠近法動き、及びその他の不規則な動き）のモデリングに適さない場合がある。いくつかの実施形態においては、ブロックベースのアフィン変換動き補償予測が適用される。図１３Ａにおいて、ブロックのアフィン動きフィールドは、４パラメータアフィンモデルが使用される場合、２つの制御点（ＣＰ）ＣＰ０およびＣＰ１の２つの制御点動きベクトル（ＣＰＭＶ）であるＣＰＭＶ０およびＣＰＭＶ１によって記述される。図１３Ｂにおいて、ブロックのアフィン動きフィールドは、６パラメータアフィンモデルが使用される場合、３つのＣＰ（ＣＰ０、ＣＰ１、及びＣＰ２）の３つのＣＰＭＶ（ＣＰＭＶ０、ＣＰＭＶ１、及びＣＰＭＶ２）によって記述される。
いくつかの例では、並進動きモデルが動き補償予測（ＭＣＰ）に適用される。しかし、並進動きモデルは、他のタイプの動き（例えば、ズームイン／ズームアウト、回転、遠近法動き、及びその他の不規則な動き）のモデリングに適さない場合がある。いくつかの実施形態においては、ブロックベースのアフィン変換動き補償予測が適用される。図１３Ａにおいて、ブロックのアフィン動きフィールドは、４パラメータアフィンモデルが使用される場合、２つの制御点（ＣＰ）ＣＰ０およびＣＰ１の２つの制御点動きベクトル（ＣＰＭＶ）であるＣＰＭＶ０およびＣＰＭＶ１によって記述される。図１３Ｂにおいて、ブロックのアフィン動きフィールドは、６パラメータアフィンモデルが使用される場合、３つのＣＰ（ＣＰ０、ＣＰ１、及びＣＰ２）の３つのＣＰＭＶ（ＣＰＭＶ０、ＣＰＭＶ１、及びＣＰＭＶ２）によって記述される。
【0098】
４パラメータアフィン動きモデルの場合、ブロック内のサンプル位置（ｘ、ｙ）における動きベクトルは次のように導出される。
６パラメータアフィン動きモデルの場合、ブロック内のサンプル位置（ｘ、ｙ）における動きベクトルは次のように導出される。
式（２．１）及び（２．２）において、（ｍｖ０ｘ、ｍｖ０ｙ）は、左上隅の制御点の動きベクトルであり、（ｍｖ１ｘ、ｍｖ１ｙ）は、右上隅の制御点の動きベクトルであり、（ｍｖ２ｘ、ｍｖ２ｙ）は、左下隅の制御点の動きベクトルである。しかも、座標（ｘ、ｙ）は、それぞれのブロックの左上隅を基準とし、ＷとＨは、それぞれのブロックの幅と高さを示す。
【数1】
【数2】
【0099】
動き補償予測を単純化するために、サブブロックベースのアフィン変換予測がいくつかの実施形態に適用される。例えば、図１４では、４パラメータのアフィン動きモデルが使用され、２つのＣＰＭＶ（
と、
が決定される。カレントブロック（１４１０）から分割された各４×４（サンプル）輝度サブブロック（１４０２）の動きベクトルを導出するために、各サブブロック（１４０２）の中心サンプルの動きベクトル（１４０１）は、上記の式（２．１）により算出され、１／１６分数精度に丸められる。次に、動き補償補間フィルタが適用されて、導出された動きベクトル（１４０１）で各サブブロック（１４０２）の予測を生成する。彩度コンポーネントのサブブロックサイズは、４×４と設定される。４×４彩度サブブロックのＭＶは、４つの対応した４×４輝度サブブロックのＭＶの平均値として算出される。
【数3】
と、
【数4】
が決定される。カレントブロック（１４１０）から分割された各４×４（サンプル）輝度サブブロック（１４０２）の動きベクトルを導出するために、各サブブロック（１４０２）の中心サンプルの動きベクトル（１４０１）は、上記の式（２．１）により算出され、１／１６分数精度に丸められる。次に、動き補償補間フィルタが適用されて、導出された動きベクトル（１４０１）で各サブブロック（１４０２）の予測を生成する。彩度コンポーネントのサブブロックサイズは、４×４と設定される。４×４彩度サブブロックのＭＶは、４つの対応した４×４輝度サブブロックのＭＶの平均値として算出される。
【0100】
並進動きインター予測と同様に、２つのアフィン動きインター予測モード（アフィンマージモードおよびアフィンＡＭＶＰモード）は、いくつかの実施形態に使用される。
【0101】
３．１ アフィンマージ予測
いくつかの実施形態において、アフィンマージモードは、幅と高さの両方が８以上であるＣＵに適用され得る。現在のＣＵのアフィンマージ候補は、空間隣接のＣＵの動き情報に基づいて生成される。最大５つのアフィンマージ候補が存在することができ、インデックスがシグナリングされて現在のＣＵに使用されるものを示す。例えば、次の３種類のアフィンマージ候補は、アフィンマージ候補リストを形成するために使用される。
いくつかの実施形態において、アフィンマージモードは、幅と高さの両方が８以上であるＣＵに適用され得る。現在のＣＵのアフィンマージ候補は、空間隣接のＣＵの動き情報に基づいて生成される。最大５つのアフィンマージ候補が存在することができ、インデックスがシグナリングされて現在のＣＵに使用されるものを示す。例えば、次の３種類のアフィンマージ候補は、アフィンマージ候補リストを形成するために使用される。
【0102】
（ｉ）隣接ＣＵのＣＰＭＶから外挿される継承されたアフィンマージ候補、
（ｉｉ）隣接ＣＵの並進ＭＶで導出される構築されたアフィンマージ候補、及び
（ｉｉｉ）ゼロＭＶ。
（ｉｉ）隣接ＣＵの並進ＭＶで導出される構築されたアフィンマージ候補、及び
（ｉｉｉ）ゼロＭＶ。
【0103】
いくつかの実施形態において、隣接ブロックのアフィン動きモデルから導出される継承されたアフィン候補が最大２つ存在することができ、１つは左の隣接のＣＵから得られ、もう１つは上の隣接のＣＵから得られる。候補ブロックは、例えば、図８に示される位置に配置され得る。左の予測器について、スキャン順序はＡ０－＞Ａ１であり、上の予測器について、スキャン順序はＢ０－＞Ｂ１－＞Ｂ２である。各側から最初に継承された候補のみが選択される。２つの継承された候補の間にプルーニングチェックは実行されない。
【0104】
隣接アフィンＣＵが識別された場合、そのＣＰＭＶは、現在のＣＵのアフィンマージリストにおいてＣＰＭＶ候補を導出するために使用される。図１５に示すように、現在のＣＵ（１５１０）の隣接の左下ブロックＡは、アフィンモードで符号化される。ブロックＡを含むＣＵ（１５２０）の左上隅、右上隅、及び左下隅の動きベクトル
及び
が得られる。ブロックＡが４パラメータアフィンモデルで符号化される場合、現在のＣＵ（１５１０）の２つのＣＰＭＶ
と
は、
と
により算出される。ブロックＡが６パラメータアフィンモデルで符号化される場合、現在のＣＵの３つのＣＰＭＶ（図示せず）は、
及び
により算出される。
【数5】
【数6】
【数7】
が得られる。ブロックＡが４パラメータアフィンモデルで符号化される場合、現在のＣＵ（１５１０）の２つのＣＰＭＶ
【数8】
【数9】
は、
【数10】
と
【数11】
【数12】
【数13】
【数14】
【0105】
構築されたアフィン候補は、各制御点の隣接の並進動き情報を組み合わせることによって構築される。制御点の動き情報は、図１６に示される指定された空間的近傍と時間的近傍から導出される。ＣＰＭＶｋ（ｋ＝１、２、３、４）は、ｋ番目の制御点を表す。ＣＰＭＶ１の場合、Ｂ２－＞Ｂ３－＞Ａ２ブロックが順に検査され、第１の利用可能なブロックのＭＶが使用される。ＣＰＭＶ２の場合、Ｂ１－＞Ｂ０ブロックが検査され、ＣＰＭＶ３の場合、Ａ１－＞Ａ０ブロックが検査される。ブロックＴにおけるＴＭＶＰが、利用可能な場合、ＣＰＭＶ４として使用される。
【0106】
４つの制御点のＭＶが得られた後、その動き情報に基づいて、アフィンマージ候補が構築される。制御点ＭＶの以下の組み合わせは、順に構築するために使用される：｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ３｝、｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ４｝、｛ＣＰＭＶ１，ＣＰＭＶ３，ＣＰＭＶ４｝、｛ＣＰＭＶ２，ＣＰＭＶ３，ＣＰＭＶ４｝、｛ＣＰＭＶ１，ＣＰＭＶ２｝、｛ＣＰＭＶ１，ＣＰＭＶ３｝。
【0107】
３つのＣＰＭＶの組み合わせは６パラメータのアフィンマージ候補を構築し、２つのＣＰＭＶの組み合わせは４パラメータのアフィンマージ候補を構築する。動きスケーリングプロセスを回避するために、制御点の参照インデックスが異なっている場合、制御点ＭＶの関連した組み合わせは破棄される。
【0108】
継承されたアフィンマージ候補および構築されたアフィンマージ候補が検査された後、リストがまだフルでない場合、ゼロＭＶはマージ候補リストの末端に挿入される。
【0109】
３．２ アフィンＡＭＶＰ予測
いくつかの実施形態において、アフィンＡＭＶＰモードは、幅と高さの両方が１６以上であるＣＵに適用され得る。ＣＵレベルのアフィンフラグは、ビットストリームにおいてシグナリングされて、アフィンＡＭＶＰモードが使用されているか否かを示し、そして、もう１つのフラグは、シグナリングされて、４パラメータアフィン又は６パラメータアフィンが使用されているか否かを示す。現在のＣＵのＣＰＭＶとそれらの予測器の差は、ビットストリームにおいてシグナリングされる。アフィンＡＭＶＰ候補リストサイズは２であり、且つ、順に以下の４種類のＣＰＶＭを使用することで生成され得る。
いくつかの実施形態において、アフィンＡＭＶＰモードは、幅と高さの両方が１６以上であるＣＵに適用され得る。ＣＵレベルのアフィンフラグは、ビットストリームにおいてシグナリングされて、アフィンＡＭＶＰモードが使用されているか否かを示し、そして、もう１つのフラグは、シグナリングされて、４パラメータアフィン又は６パラメータアフィンが使用されているか否かを示す。現在のＣＵのＣＰＭＶとそれらの予測器の差は、ビットストリームにおいてシグナリングされる。アフィンＡＭＶＰ候補リストサイズは２であり、且つ、順に以下の４種類のＣＰＶＭを使用することで生成され得る。
【0110】
（ｉ）隣接のＣＵのＣＰＭＶから外挿される継承されたアフィンＡＭＶＰ候補、
（ｉｉ）隣接のＣＵの並進ＭＶで導出される構築されたアフィンＡＭＶＰ候補、
（ｉｉｉ）隣接のＣＵからの並進ＭＶ、及び
（ｉｖ）ゼロＭＶ。
（ｉｉ）隣接のＣＵの並進ＭＶで導出される構築されたアフィンＡＭＶＰ候補、
（ｉｉｉ）隣接のＣＵからの並進ＭＶ、及び
（ｉｖ）ゼロＭＶ。
【0111】
継承されたアフィンＡＭＶＰ候補の検査順序は、一例における継承されたアフィンマージ候補の検査順序に似ている。違いは、ＡＶＭＰ候補の場合、カレントブロックと同一の参照ピクチャを持つアフィンＣＵが考慮されることである。継承されたアフィン動き予測器を候補リストに挿入する場合、プルーニングプロセスは適用されない。
【0112】
構築されたＡＭＶＰ候補は、図１６に示される指定された空間的近傍から導出される。アフィンマージ候補の構築において行われるように、同じ検査順序が使用されている。また、隣接ブロックの参照ピクチャインデックスも検査される。インター符号化され、且つ、現在のＣＵと同一の参照ピクチャを持つ、検査順序における最初のブロックが、使用されている。現在のＣＵが４パラメータアフィンモデルで符号化され、且つ、ＣＰＭＶ０およびＣＰＭＶ１の両方が利用できる場合、利用可能なＣＰＭＶは、１つの候補としてアフィンＡＭＶＰリストに追加される。現在のＣＵが、６パラメータアフィンモードで符号化され、且つ、３つのＣＰＭＶ（ＣＰＭＶ０、ＣＰＭＶ１、及びＣＰＭＶ２）がすべて利用できる場合、利用可能なＣＰＭＶは、１つの候補としてアフィンＡＭＶＰリストに追加される。それ以外の場合は、構築されたＡＭＶＰ候補は、利用できないように設定される。
【0113】
継承されたアフィンＡＭＶＰ候補と構築されたＡＭＶＰ候補が検査された後、アフィンＡＭＶＰリスト候補が依然として２未満であると、制御点に隣接した並進動きベクトルは、利用可能な場合、追加されて現在のＣＵのすべての制御点のＭＶを予測する。最後に、アフィンＡＭＶＰリストがまだフルでない場合、ゼロＭＶを使用してアフィンＡＭＶＰリストを埋める。
４．サブブロックベースの時間的動きベクトル予測（ＳｂＴＭＶＰ）
図１７Ａは、一実施形態による、サブブロックベースの時間的ＭＶ予測（ＳｂＴＭＶＰ）法でカレントブロック（１７１１）の予測動き情報を決定するために用いられる空間隣接ブロックの模式図である。図１７Ａは、カレントブロック（１７１１）、及び、Ａ０、Ａ１、Ｂ０、及びＢ１で示されたその空間隣接ブロック（それぞれ１７１２、１７１３、１７１４、及び１７１５）を示す。いくつかの例では、空間隣接ブロックＡ０、Ａ１、Ｂ０、及びＢ１とカレントブロック（１７１１）は同じピクチャに属している。
４．サブブロックベースの時間的動きベクトル予測（ＳｂＴＭＶＰ）
図１７Ａは、一実施形態による、サブブロックベースの時間的ＭＶ予測（ＳｂＴＭＶＰ）法でカレントブロック（１７１１）の予測動き情報を決定するために用いられる空間隣接ブロックの模式図である。図１７Ａは、カレントブロック（１７１１）、及び、Ａ０、Ａ１、Ｂ０、及びＢ１で示されたその空間隣接ブロック（それぞれ１７１２、１７１３、１７１４、及び１７１５）を示す。いくつかの例では、空間隣接ブロックＡ０、Ａ１、Ｂ０、及びＢ１とカレントブロック（１７１１）は同じピクチャに属している。
【0114】
図１７Ｂは、一実施形態による、選択された空間隣接ブロック（例えば、この非限定的な例におけるブロックＡ１）に基づいて、ＳｂＴＭＶＰ法でカレントブロック（１７１１）のサブブロックの動き情報を決定する模式図である。この例において、カレントブロック（１７１１）は、カレントピクチャ（１７１０）内にあり、参照ブロック（１７６１）は、参照ピクチャ（１７６０）内にあり、且つ、動きベクトル（１７２２）に示されるカレントブロック（１７１１）と参照ブロック（１７６１）との間の動きシフト（又は変位）に基づいて識別され得る。
【0115】
いくつかの実施形態において、ＨＥＶＣにおける時間的動きベクトル予測（ＴＭＶＰ）と同様に、ＳｂＴＭＶＰは、カレントピクチャにおけるカレントブロックに対して、参照ピクチャにおける様々な参照サブブロック内の動き情報を使用する。いくつかの実施形態において、ＴＭＶＰによって使用される同じ参照ピクチャは、ＳｂＴＶＭＰに使用され得る。いくつかの実施形態において、ＴＭＶＰは、ＣＵレベルで動き情報を予測するが、ＳｂＴＭＶＰは、サブＣＵレベルで動きを予測する。いくつかの実施形態において、ＴＭＶＰは、参照ピクチャ内の併置されたブロックからの時間的動きベクトルを使用し、該ベクトルは、カレントブロックの右下隅又は中心に隣接する対応した位置を有し、ＳｂＴＭＶＰは、参照ブロックからの時間的動きベクトルを使用し、該ベクトルは、カレントブロックの空間隣接ブロックの１つからの動きベクトルに基づいて、動きシフトを実行することによって識別できる。
【0116】
例えば、図１７Ａに示すように、隣接のブロックＡ１、Ｂ１、Ｂ０、及びＡ０は、ＳｂＴＶＭＰプロセスで順次検査できる。第１の空間隣接ブロックは、参照ピクチャ（１７６０）をその参照ピクチャとして使用した動きベクトルを有することが識別されると、上述の動きベクトルは、動きシフトを実行するために使用できる。例えば、ブロックＡ１は、動きベクトル（１７２２）を有し、且つ、動きベクトル（１７２２）は、例えば参照ピクチャ（１７６０）内の参照ブロックＡＲ１を指すと、この動きベクトル（１７２２）は、動きシフトを実行するために使用できる。空間隣接ブロックＡ１、Ｂ１、Ｂ０、及びＡ０にはそのような動きベクトルがない場合、動きシフトは（０、０）と設定される。
【0117】
動きシフトを決定した後、参照ブロック（１７６１）は、カレントブロック（１７１１）の位置及び決定された動きシフトに基づいて識別され得る。図１７Ｂでは、参照ブロック（１７６１）は、参照動き情報ＭＲａ～ＭＲｐを有した１６個のサブブロックに、さらに、分裂され得る。いくつかの例において、参照ブロック（１７６１）内の各サブブロックの参照動き情報は、このようなサブブロックの中心サンプルを覆う最小の動きグリッドに基づいて決定され得る。動き情報は、動きベクトル及び対応した参照インデックスを含むことができる。カレントブロック（１７１１）は、さらに、１６個のサブブロックに分裂され得る。カレントブロック（１７１１）内のサブブロックの動き情報ＭＶａ～ＭＶｐは、ＴＭＶＰプロセスと類似した方法で、参照動き情報ＭＲａ～ＭＲｐから導出されてよく、いくつかの例では、時間的スケーリングを伴う。
【0118】
ＳｂＴＭＶＰプロセスに使用されるサブブロックサイズは固定されるか（あるいは、予め定められる）又はシグナリングされてよい。いくつかの例において、ＳｂＴＭＶＰプロセスに使用されるサブブロックサイズは、８×８サンプルであってよい。いくつかの例において、ＳｂＴＭＶＰプロセスは、固定又はシグナリングされたサイズ（例えば、８画素）以上の幅と高さを有したブロックにのみ適用される。
【0119】
一例では、ＳｂＴＶＭＰ候補とアフィンマージ候補を含む結合されたサブブロックベースのマージリストが、サブブロックベースのマージモードのシグナリングに使用される。ＳｂＴＶＭＰモードは、シーケンスパラメータセット（ＳＰＳ）フラグによって有効化又は無効化され得る。いくつかの例では、ＳｂＴＭＶＰモードが有効化されると、ＳｂＴＭＶＰ候補は、サブブロックベースのマージ候補のリストの最初のエントリとして追加され、その後にアフィンマージ候補が続く。いくつかの実施形態において、サブブロックベースのマージリストの最大許容サイズは、５に設定される。しかしながら、他の実施形態において、他のサイズを利用することができる。
【0120】
いくつかの実施形態において、追加のＳｂＴＭＶＰマージ候補の符号化ロジックは、他のマージ候補の符号化ロジックと同じである。つまり、Ｐ又はＢスライスでの各ブロックに対して、追加のレート歪み検査を実行して、ＳｂＴＭＶＰ候補を使用するか否かを決定することができる。
【0121】
５．三角予測
いくつかの実施形態において、三角予測モード（ＴＰＭ）は、インター予測のために使用され得る。一実施形態において、ＴＰＭは、サイズが８×８サンプル以上であり、且つ、スキップモード又はマージモードで符号化されているＣＵに適用される。一実施形態において、これらの条件を満たす（サイズが８×８サンプル以上であり、且つ、スキップモード又はマージモードで符号化されている）ＣＵの場合、ＣＵレベルフラグをシグナリングして、ＴＰＭが適用されるか否かを示す。
いくつかの実施形態において、三角予測モード（ＴＰＭ）は、インター予測のために使用され得る。一実施形態において、ＴＰＭは、サイズが８×８サンプル以上であり、且つ、スキップモード又はマージモードで符号化されているＣＵに適用される。一実施形態において、これらの条件を満たす（サイズが８×８サンプル以上であり、且つ、スキップモード又はマージモードで符号化されている）ＣＵの場合、ＣＵレベルフラグをシグナリングして、ＴＰＭが適用されるか否かを示す。
【0122】
いくつかの実施形態において、ＴＰＭが使用される場合、ＣＵは、図１８に示すように、対角分割又は反対角分割のいずれかで、均等に２つの三角パーティション部分に分割される。図１８では、１番目のＣＵ（１８１０）は、左上隅から右下隅まで分割されて、２つの三角予測ユニットＰＵ１とＰＵ２をもたらす。２番目のＣＵ（１８２０）は、右上隅から左下隅まで分割されて、２つの三角予測ユニットＰＵ１とＰＵ２をもたらす。ＣＵ（１８１０）又は（１８２０）内の各三角予測ユニットＰＵ１又はＰＵ２は、各自の動き情報でインター予測される。
【0123】
いくつかの実施形態において、各三角予測ユニットに対して、ユニ予測のみが許可される。従って、各三角予測ユニットは、１つの動きベクトル及び１つの参照ピクチャインデックスを有する。ユニ予測動き制約を適用して、従来の双予測法と同様に、各ＣＵに対して２つ以下の動き補償予測が実行されることを確保することができる。このようにして、処理の複雑さを軽減できる。各三角予測ユニットのユニ予測動き情報は、ユニ予測マージ候補リストから導出され得る。他のいくつかの実施形態において、各三角予測ユニットに対して双予測が可能である。従って、各三角予測ユニットの双予測動き情報は、双予測マージ候補リストから導出され得る。
【0124】
いくつかの実施形態において、ＣＵレベルフラグが現在のＣＵはＴＰＭで符号化されていることを示す場合、三角パーティションインデックスと称するインデックスは、さらにシグナリングされる。例えば、三角パーティションインデックスは、［０，３９］の範囲の値を有することができる。この三角パーティションインデックスを使用して、三角パーティションの方向（対角又は反対角）及び各分割部分の動き情報（例えば、それぞれのユニ予測候補リストのマージインデックス（又は、ＴＰＭインデックスと称する））を、デコーダ側のルックアップテーブルから取得することができる。
【0125】
一実施形態においては、得られた動き情報に基づいて各三角予測ユニットを予測した後、適応重みでブレンディングプロセスを行うことにより、現在のＣＵの対角線又は反対角線エッジに沿ったサンプル値を調整する。ブレンディングプロセスの結果として、ＣＵ全体の予測信号を取得できる。その後、変換及び量子化プロセスは、他の予測モードと同様の方法でＣＵ全体に適用できる。最後に、例えば、動き情報をＣＵから分割された４×４ユニットのセットに記憶することにより、三角パーティションモードで予測されたＣＵの動きフィールドを作成することができる。動きフィールドは、例えば、後続の動きベクトル予測プロセスに使用されて、マージ候補リストを構築することができる。
【0126】
５．１ ユニ予測候補リストの構築
いくつかの実施形態において、ＴＰＭで処理された符号化ブロックの２つの三角予測ユニットを予測するためのマージ候補リストは、符号化ブロックの空間及び時間隣接ブロックのセットに基づいて構築され得る。このようなマージ候補リストは、ＴＰＭ候補が記入されているＴＰＭ候補リストと称され得る。一実施形態において、マージ候補リストは、ユニ予測候補リストである。一実施形態において、ユニ予測候補リストは、５つのユニ予測動きベクトル候補を含む。例えば、５つのユニ予測動きベクトル候補は、（図１９の１～５でラベル付けされた）５つの空間隣接ブロック、および、（図１９の６～７でラベル付けされた）２つの時間の同一位置のブロックとを含む７つの隣接のブロックから導出される。
いくつかの実施形態において、ＴＰＭで処理された符号化ブロックの２つの三角予測ユニットを予測するためのマージ候補リストは、符号化ブロックの空間及び時間隣接ブロックのセットに基づいて構築され得る。このようなマージ候補リストは、ＴＰＭ候補が記入されているＴＰＭ候補リストと称され得る。一実施形態において、マージ候補リストは、ユニ予測候補リストである。一実施形態において、ユニ予測候補リストは、５つのユニ予測動きベクトル候補を含む。例えば、５つのユニ予測動きベクトル候補は、（図１９の１～５でラベル付けされた）５つの空間隣接ブロック、および、（図１９の６～７でラベル付けされた）２つの時間の同一位置のブロックとを含む７つの隣接のブロックから導出される。
【0127】
一例において、７つの隣接ブロックの動きベクトルは、次の順で収集されてユニ予測候補リストに入れられる。まず、ユニ予測された隣接ブロックの動きベクトル；次に、双予測された隣接ブロックの場合、動きベクトルＬ０（つまり、双予測ＭＶの動きベクトルＬ０部分）、動きベクトルＬ１（つまり、双予測ＭＶの動きベクトルＬ１部分）、及び双予測ＭＶの動きベクトルＬ０とＬ１の平均化された動きベクトル、である。一例では、候補の数が５未満であると、ゼロ動きベクトルが、リストの末端に追加される。いくつかの他の実施形態において、マージ候補リストは、図１９に示されたものと同じ又は異なる候補位置から選択される、５未満又は５を超えるユニ予測又は双予測マージ候補を含んでよい。
【0128】
５．２ ルックアップテーブルとテーブルインデックス
一実施形態において、ＣＵは、三角パーティションモードで符号化され、上述の三角パーティションモードは、５つのＴＰＭ候補を含むＴＰＭ（又はマージ）候補リストを有する。従って、５つのマージ候補が三角ＰＵごとに使用される場合、ＣＵ予測の可能な方法は、４０通りある。言い換えると、分割方向とマージ（又は、ＴＰＭ）インデックスとの様々な組み合わせは、次式で算出される４０通り存在し得る：２（可能な分割方向）×（５（第１の三角予測ユニットの可能なマージインデックス）×５（第２の三角予測ユニットの可能なマージインデックス）－５（第１の予測ユニットと第２の予測ユニットとのペアが同じマージインデックスを共有する場合の多くの可能性））。例えば、２つの三角予測ユニットに対して同じマージインデックスが決定された場合、三角予測モードの代わりに、通常のマージモードを使用してＣＵを処理することができる。
一実施形態において、ＣＵは、三角パーティションモードで符号化され、上述の三角パーティションモードは、５つのＴＰＭ候補を含むＴＰＭ（又はマージ）候補リストを有する。従って、５つのマージ候補が三角ＰＵごとに使用される場合、ＣＵ予測の可能な方法は、４０通りある。言い換えると、分割方向とマージ（又は、ＴＰＭ）インデックスとの様々な組み合わせは、次式で算出される４０通り存在し得る：２（可能な分割方向）×（５（第１の三角予測ユニットの可能なマージインデックス）×５（第２の三角予測ユニットの可能なマージインデックス）－５（第１の予測ユニットと第２の予測ユニットとのペアが同じマージインデックスを共有する場合の多くの可能性））。例えば、２つの三角予測ユニットに対して同じマージインデックスが決定された場合、三角予測モードの代わりに、通常のマージモードを使用してＣＵを処理することができる。
【0129】
従って、一実施形態において、［０，３９］の範囲の三角パーティションインデックスを使用して、ルックアップテーブルに基づいて、４０の組み合わせのうちのどれが使用されるかを表すことができる。図２０は、三角パーティションインデックスに基づいて分割方向を導出し、且つ、インデックスをマージするために使用される、例示的なルックアップテーブル（２０００）を示す。ルックアップテーブル（２０００）に示されているように、第１行（２００１）には、０～３９の範囲の三角パーティションインデックスが含まれており、第２行（２００２）には、０又は１で表された可能な分割方向が含まれており、第３行（２００３）には、第１の三角予測ユニットに対応した、０～４の範囲の可能な第１のマージインデックスが含まれており、第４行（２００４）には、第２の三角予測ユニットに対応した、０～４の範囲の可能な第２のマージインデックスが含まれている。
【0130】
例えば、デコーダにおいて１の値を有する三角パーティションインデックスが受信された場合、ルックアップテーブル（２０００）の列（２０２０）に基づいて、分割方向は１の値で示された分割方向であり、第１と第２のマージインデックスはそれぞれ０と１であると判定できる。三角パーティションインデックスはルックアップテーブルに関連付けられているため、本開示では、三角パーティションインデックスはテーブルインデックスともいう。
【0131】
５．３ 三角パーティションエッジに沿った適応ブレンディング
一実施形態において、それぞれの動き情報を使用して各三角予測ユニットを予測した後、ブレンディングプロセスは、２つの三角予測ユニットの２つの予測信号に適用されて、対角線又は反対角線エッジの周りにサンプルを導出する。ブレンディングプロセスは、２つの三角予測ユニット間の動きベクトル差によって、重み付き係数の２つのグループから適応的に選択する。一実施形態において、重み付き係数の２つのグループは次のとおりである：
（１）重み付き係数の第１のグループ：輝度コンポーネントのサンプルの場合は｛７／８、６／８、４／８、２／８、１／８｝、彩度コンポーネントのサンプルの場合は｛７／８、４／８、１／８｝；及び
（２）重み付き係数の第２のグループ：輝度コンポーネントのサンプルの場合は｛７／８、６／８、５／８、４／８、３／８、２／８、１／８｝、彩度コンポーネントのサンプルの場合は｛６／８、４／８、２／８｝。
重み付き係数の第２のグループには、より多くの輝度重み付き係数があり、分割エッジに沿ってより多くの輝度サンプルをブレンドする。
一実施形態において、それぞれの動き情報を使用して各三角予測ユニットを予測した後、ブレンディングプロセスは、２つの三角予測ユニットの２つの予測信号に適用されて、対角線又は反対角線エッジの周りにサンプルを導出する。ブレンディングプロセスは、２つの三角予測ユニット間の動きベクトル差によって、重み付き係数の２つのグループから適応的に選択する。一実施形態において、重み付き係数の２つのグループは次のとおりである：
（１）重み付き係数の第１のグループ：輝度コンポーネントのサンプルの場合は｛７／８、６／８、４／８、２／８、１／８｝、彩度コンポーネントのサンプルの場合は｛７／８、４／８、１／８｝；及び
（２）重み付き係数の第２のグループ：輝度コンポーネントのサンプルの場合は｛７／８、６／８、５／８、４／８、３／８、２／８、１／８｝、彩度コンポーネントのサンプルの場合は｛６／８、４／８、２／８｝。
重み付き係数の第２のグループには、より多くの輝度重み付き係数があり、分割エッジに沿ってより多くの輝度サンプルをブレンドする。
【0132】
一実施形態において、以下の条件は、重み付き係数の２つのグループのうち１つを選択するために使用される。２つの三角パーティション部分の参照ピクチャが互いに異なっている場合、又は、２つの三角パーティション部分の間の動きベクトル差が閾値よりも大きい場合（例えば、１６個の輝度サンプル）、第２の重み付き係数のグループが選択される。それ以外の場合は、重み付き係数の第１のグループが選択される。
【0133】
図２１は、重み付き係数の第１のグループを適用するＣＵの例を示す。示されるように、第１の符号化ブロック（２１０１）は輝度サンプルを含み、第２の符号化ブロック（２１０２）は彩度サンプルを含む。符号化ブロック（２１０１）又は（２１０２）内の対角エッジに沿った画素のセットは、それぞれ重み付き係数７／８、６／８、４／８、２／８、１／８に対応した番号１、２、４、６、及び７で標識されている。例えば、番号２で標識された画素の場合、ブレンディング操作後の画素のサンプル値は、次のように取得できる：
ブレンディングされたサンプル値＝２／８ × Ｐ１ ＋ ６／８ × Ｐ２
ここで、Ｐ１とＰ２は、それぞれに、各画素におけるサンプル値を表すが、第１の三角予測ユニットと第２の三角予測ユニットの予測に属している。
ブレンディングされたサンプル値＝２／８ × Ｐ１ ＋ ６／８ × Ｐ２
ここで、Ｐ１とＰ２は、それぞれに、各画素におけるサンプル値を表すが、第１の三角予測ユニットと第２の三角予測ユニットの予測に属している。
【0134】
６．インター予測とイントラ予測の組み合わせ（ＣＩＩＰ）
いくつかの実施形態において、ＣＵは、マージモードで符号化され、且つ、少なくとも６４個の輝度サンプルを含む場合（つまり、ＣＵの幅にＣＵの高さを乗ずると、６４以上になる）、追加のフラグがシグナリングされて、インター／イントラ予測の組み合わせ（ＣＩＩＰ）モードが現在のＣＵに適用されるか否かを示す。
いくつかの実施形態において、ＣＵは、マージモードで符号化され、且つ、少なくとも６４個の輝度サンプルを含む場合（つまり、ＣＵの幅にＣＵの高さを乗ずると、６４以上になる）、追加のフラグがシグナリングされて、インター／イントラ予測の組み合わせ（ＣＩＩＰ）モードが現在のＣＵに適用されるか否かを示す。
【0135】
ＣＩＩＰ予測を形成するために、イントラ予測モードは、まず２つの追加の構文要素から導出される。利用可能なイントラ予測モードは最大４つあり、次のとおりである：ＤＣ、平面、水平、又は垂直。次に、通常のイントラ及びインター復号化プロセスを使用して、インター予測及びイントラ予測信号を導出する。最後に、インター及びイントラ予測信号の加重平均化を実行してＣＩＩＰ予測を得る。
【0136】
６．１ イントラ予測モードの導出
一実施形態において、最大限、ｄｃ、平面、水平、及び垂直を含む４つのイントラ予測モードを使用して、ＣＩＩＰモードで輝度コンポーネントを予測することができる。ＣＵの形状が非常に広い（つまり、幅が高さの２倍を超える）場合、水平モードは許可されない。ＣＵの形状が非常に狭い（つまり、高さが幅の２倍を超える）場合、垂直モードは許可されない。これらの場合、３つのイントラ予測モードのみが許可される。
一実施形態において、最大限、ｄｃ、平面、水平、及び垂直を含む４つのイントラ予測モードを使用して、ＣＩＩＰモードで輝度コンポーネントを予測することができる。ＣＵの形状が非常に広い（つまり、幅が高さの２倍を超える）場合、水平モードは許可されない。ＣＵの形状が非常に狭い（つまり、高さが幅の２倍を超える）場合、垂直モードは許可されない。これらの場合、３つのイントラ予測モードのみが許可される。
【0137】
ＣＩＩＰモードは、イントラ予測に対して、３つの最確モード（ＭＰＭ）を使用する。ＣＩＩＰ ＭＰＭ候補リストは、次のように形成される：
（ｉ）左と上の隣接のブロックは、それぞれＡとＢに設定される；
（ｉｉ）それぞれｉｎｔｒａＭｏｄｅＡとｉｎｔｒａＭｏｄｅＢとして示されたブロックＡとブロックＢのイントラ予測モードは、次のように導出される。
（ｉ）左と上の隣接のブロックは、それぞれＡとＢに設定される；
（ｉｉ）それぞれｉｎｔｒａＭｏｄｅＡとｉｎｔｒａＭｏｄｅＢとして示されたブロックＡとブロックＢのイントラ予測モードは、次のように導出される。
【0138】
ａ．ＸをＡ又はＢとする；
ｂ．次の場合、ｉｎｔｒａＭｏｄｅＸはＤＣに設定される：１）ブロックＸは利用できない；又は２）ブロックＸはＣＩＩＰモード又はイントラモードで予測されていない；又は３）ブロックＸは現在のＣＴＵの外部にある；及び
ｃ．他では、ｉｎｔｒａＭｏｄｅＸは次のように設定される：１）ブロックＸのイントラ予測モードがｄｃ又は平面であると、ｄｃ又は平面と設定される；又は２）ブロックＸのイントラ予測モードが「垂直に近い」角度モード（３４超）であると、垂直と設定される；又は３）ブロックＸのイントラ予測モードが「水平に近い」角度モード（３４以下）であると、水平と設定される；
（ｉｉｉ）ｉｎｔｒａＭｏｄｅＡとｉｎｔｒａＭｏｄｅＢは同じである場合：
ａ．ｉｎｔｒａＭｏｄｅＡが平面又はｄｃであると、３つのＭＰＭは｛平面、ｄｃ、垂直｝に、その順で設定される；
ｂ．そうでなければ、３つのＭＰＭは｛ｉｎｔｒａＭｏｄｅＡ、平面、ｄｃ｝に、その順で設定される；
（ｉｖ）他の場合（ｉｎｔｒａＭｏｄｅＡとｉｎｔｒａＭｏｄｅＢは異なっている）：
ａ．最初の２つのＭＰＭは、｛ｉｎｔｒａＭｏｄｅＡ、ｉｎｔｒａＭｏｄｅＢ｝に、その順で設定される。
ｂ．次の場合、ｉｎｔｒａＭｏｄｅＸはＤＣに設定される：１）ブロックＸは利用できない；又は２）ブロックＸはＣＩＩＰモード又はイントラモードで予測されていない；又は３）ブロックＸは現在のＣＴＵの外部にある；及び
ｃ．他では、ｉｎｔｒａＭｏｄｅＸは次のように設定される：１）ブロックＸのイントラ予測モードがｄｃ又は平面であると、ｄｃ又は平面と設定される；又は２）ブロックＸのイントラ予測モードが「垂直に近い」角度モード（３４超）であると、垂直と設定される；又は３）ブロックＸのイントラ予測モードが「水平に近い」角度モード（３４以下）であると、水平と設定される；
（ｉｉｉ）ｉｎｔｒａＭｏｄｅＡとｉｎｔｒａＭｏｄｅＢは同じである場合：
ａ．ｉｎｔｒａＭｏｄｅＡが平面又はｄｃであると、３つのＭＰＭは｛平面、ｄｃ、垂直｝に、その順で設定される；
ｂ．そうでなければ、３つのＭＰＭは｛ｉｎｔｒａＭｏｄｅＡ、平面、ｄｃ｝に、その順で設定される；
（ｉｖ）他の場合（ｉｎｔｒａＭｏｄｅＡとｉｎｔｒａＭｏｄｅＢは異なっている）：
ａ．最初の２つのＭＰＭは、｛ｉｎｔｒａＭｏｄｅＡ、ｉｎｔｒａＭｏｄｅＢ｝に、その順で設定される。
【0139】
ｂ．平面、ｄｃ、垂直の一意性は、その順で最初の２つのＭＰＭ候補モードに対して検査され、一意のモードが見つかると、すぐに３番目のＭＰＭとして追加される。
【0140】
ＣＵの形状が、上記に定義されるように非常に広いか又は非常に狭い場合、ＭＰＭフラグは、シグナリングなしで１であると推測される。そうでなければ、ＭＰＭフラグがシグナリングされて、ＣＩＩＰイントラ予測モードは、ＣＩＩＰ ＭＰＭ候補モードのうちの１つであるか否かを示す。
【0141】
ＭＰＭフラグが１である場合、ＭＰＭインデックスがさらにシグナリングされて、ＭＰＭ候補モードのうちのどれがＣＩＩＰイントラ予測に使用されるかを示す。他では、ＭＰＭフラグが０の場合、イントラ予測モードは、ＭＰＭ候補リストの「欠落（ｍｉｓｓｉｎｇ）」モードに設定される。例えば、ＭＰＭ候補リストに平面モードがないと、平面は欠落モードであり、イントラ予測モードは、平面に設定される。ＣＩＩＰでは４つの可能なイントラ予測モードが許可されており、且つ、ＭＰＭ候補リストには３つのイントラ予測モードしか含まれていないため、４つの可能なモードの１つが欠落モードである可能性がある。
【0142】
彩度コンポーネントの場合、ＤＭモードは、追加のシグナリングなしで適用される。例えば、彩度は輝度と同一の予測モードを使用する。
【0143】
ＣＩＩＰで符号化されたＣＵのイントラ予測モードは保存され、将来の隣接のＣＵのイントラモード符号化に使用される。
【0144】
６．２ インター予測信号とイントラ予測信号の組み合わせ
一実施形態において、ＣＩＩＰモードのインター予測信号Ｐ＿ｉｎｔｅｒは、通常のマージモードに適用される同じインター予測プロセスを使用することで導出され、イントラ予測信号Ｐ＿ｉｎｔｒａは、通常のイントラ予測プロセスに基づいてＣＩＩＰイントラ予測モードを使用することで導出される。次に、加重平均化でイントラ予測信号とインター予測信号を結合する。ここで、重み値は、イントラ予測モードに依存し、サンプルは、次のように符号化ブロック内に位置する。
一実施形態において、ＣＩＩＰモードのインター予測信号Ｐ＿ｉｎｔｅｒは、通常のマージモードに適用される同じインター予測プロセスを使用することで導出され、イントラ予測信号Ｐ＿ｉｎｔｒａは、通常のイントラ予測プロセスに基づいてＣＩＩＰイントラ予測モードを使用することで導出される。次に、加重平均化でイントラ予測信号とインター予測信号を結合する。ここで、重み値は、イントラ予測モードに依存し、サンプルは、次のように符号化ブロック内に位置する。
【0145】
イントラ予測モードがＤＣ又は平面モードである場合、又は、ブロックの幅又は高さが４より小さい場合、同等の重みが、イントラ予測信号およびインター予測信号に適用される。そうでなければ、重みは、イントラ予測モード（この場合は水平モード又は垂直モード）及びブロック内のサンプル位置に基づいて決定される。水平予測モードを例にとって（垂直モードの重みは同様に導出されるが、直交方向に沿う）説明する。Ｗは、ブロックの幅を表し、Ｈは、ブロックの高さを表す。符号化ブロックは、最初に４つの等面積部分に分割され、各部分の寸法は、（Ｗ／４）×Ｈである。イントラ予測参照サンプルに最も近い部分から始まり、且つ、イントラ予測参照サンプルから最も遠い部分で終わる、４つの領域のそれぞれの重みｗｔが、それぞれ６、５、３、及び２に設定される。最終のＣＩＩＰ予測信号は、次式で導出される：
Ｐ＿“ＣＩＩＰ”＝（（８－ｗｔ）＊Ｐ＿ｉｎｔｅｒ＋ｗｔ＊Ｐ＿ｉｎｔｒａ＋４）≫３ （式２．３）
ＩＩＩ．インターウィーブしたアフィン予測
いくつかの実施形態において、インターウィーブしたアフィン予測が使用される。例えば、図２２に示すように、１６×１６サンプルのサイズを有するカレントブロック（２２１０）は、２つの異なった分裂パターン（パターン０（２２２０）およびパターン１（２２３０））でサブブロックに分裂される。パターン０（２２２０）の場合、カレントブロック（２２１０）は、同じサイズの４×４のサブブロック（２２２１）に分裂される。対照的に、パターン１（２２３０）は、パターン０（２２２０）に対して２×２オフセットだけ、カレントブロック（２２１０）の右下隅に向かってシフトする。パターン１（２２３０）の場合、カレントブロック（２２１０）は、それぞれ４×４のサイズを有する完全サブブロック（２２３１）と、それぞれ４×４よりも小さいサイズを有する部分サブブロック（２２３２）とに分割される。図２２では、部分サブブロック（２２３２）は、完全サブブロック（２２３１）で形成された非網掛け領域を囲む網掛け領域を形成する。
Ｐ＿“ＣＩＩＰ”＝（（８－ｗｔ）＊Ｐ＿ｉｎｔｅｒ＋ｗｔ＊Ｐ＿ｉｎｔｒａ＋４）≫３ （式２．３）
ＩＩＩ．インターウィーブしたアフィン予測
いくつかの実施形態において、インターウィーブしたアフィン予測が使用される。例えば、図２２に示すように、１６×１６サンプルのサイズを有するカレントブロック（２２１０）は、２つの異なった分裂パターン（パターン０（２２２０）およびパターン１（２２３０））でサブブロックに分裂される。パターン０（２２２０）の場合、カレントブロック（２２１０）は、同じサイズの４×４のサブブロック（２２２１）に分裂される。対照的に、パターン１（２２３０）は、パターン０（２２２０）に対して２×２オフセットだけ、カレントブロック（２２１０）の右下隅に向かってシフトする。パターン１（２２３０）の場合、カレントブロック（２２１０）は、それぞれ４×４のサイズを有する完全サブブロック（２２３１）と、それぞれ４×４よりも小さいサイズを有する部分サブブロック（２２３２）とに分割される。図２２では、部分サブブロック（２２３２）は、完全サブブロック（２２３１）で形成された非網掛け領域を囲む網掛け領域を形成する。
【0146】
続いて、２つの分裂パターン（２２２０）および（２２３０）に対応する２つの補助予測Ｐ０（２２４０）およびＰ１（２２５０）が、アフィン動き補償（ＡＭＣ）によって生成される。例えば、アフィンモデルは、サブブロックベースのマージ候補リストのアフィンマージ候補から決定できる。パターン０（２２２０）および（２２３０）から分割された各サブブロックのＭＶは、アフィンモデルに基づいて導出される。例えば、ＭＶは、それぞれ、各自のサブブロックの中心位置から開始できる。
【0147】
その後、最終の予測（２２７０）は、２つの予測Ｐ０（２２４０）およびＰ１（２２５０）を結合することによって算出される。例えば、次式に基づいて、画素ずつ、加重平均演算（２２６１）を実行して、２つの予測Ｐ０（２２４０）およびＰ１（２２５０）の２つの対応したサンプル（Ｐ０およびＰ１で表される）の加重平均を計算することができる：
ここで、
と
は、それぞれ、２つの予測Ｐ０（２２４０）およびＰ１（２２５０）の同一位置のサンプルのペアに対応する重みである。
【数15】
【数16】
【数17】
【0148】
一実施形態において、加重平均演算（２２６１）の各サンプルの重みは、図２３に示されるパターン（２３００）に基づいて決定され得る。パターン（２３００）は、サブブロック２３１０（例えば、完全サブブロック（２２２１）又は（２２３１））に含まれる１６個のサンプルを含む。サブブロック（２３１０）の中心に位置する予測サンプルは、３の加重値に関連付けられており、一方で、サブブロック（２３１０）の境界に位置する予測サンプルは、１の加重値に関連付けられている。サブブロック（２２２１）又は（２２３１）内のサンプルの位置によって、サンプルに対応する重みはパターン（２３００）に基づいて決定され得る。
【0149】
一実施形態において、ごく小さなブロックの動き補償を回避するために、インターウィーブした予測は、図２２に示すように、２つの分裂パターンの両方のサブブロックのサイズが４×４の領域のみに適用される。例えば、パターン１（２２３０）の網掛け領域では、インターウィーブした予測は適用されず、パターン１（２２３０）の非網掛け領域では、インターウィーブした予測が適用される。
【0150】
一実施形態において、インターウィーブした予測は、彩度コンポーネント及び輝度コンポーネントに適用される。加えて、本開示によれば、すべてのサブブロックのＡＭＣに使用される参照ピクチャの領域が全体として一緒にフェッチされるため、メモリアクセス帯域幅は、インターウィーブした予測によって増加されない。追加の読み取り操作を必要としない。
【0151】
さらに、柔軟性のために、フラグをスライスヘッダでシグナリングしてインターウィーブした予測が使用されるか否かを示す。一例において、フラグは、常に１となるようにシグナリングされる。様々な実施形態において、インターウィーブしたアフィン予測は、ユニ予測アフィンブロック、又は、ユニ予測および双予測アフィンブロックの両方に適用され得る。
【0152】
ＩＶ．加重予測
いくつかの実施形態において、双予測ブロックおよびユニ予測ブロックのための加重サンプル予測が採用されている。
いくつかの実施形態において、双予測ブロックおよびユニ予測ブロックのための加重サンプル予測が採用されている。
【0153】
一実施形態において、重み付きサンプル予測プロセスへの入力は次のとおりである：
－現在の符号化ブロックの幅と高さを指定する２つの変数（ｎＣｂＷとｎＣｂＨ）
－それぞれ中間予測サンプル値を含む２つの（ｎＣｂＷ）×（ｎＣｂＨ）アレイｐｒｅｄＳａｍｐｌｅｓＬ０とｐｒｅｄＳａｍｐｌｅｓＬ１
－予測リスト使用率フラグｐｒｅｄＦｌａｇＬ０とｐｒｅｄＦｌａｇＬ１
－参照インデックスｒｅｆＩｄｘＬ０とｒｅｆＩｄｘＬ１
－双予測重みインデックスｇｂｉＩｄｘ
－サンプルビット深度ｂｉｔＤｅｐｔｈ
－現在の符号化ブロックの幅と高さを指定する２つの変数（ｎＣｂＷとｎＣｂＨ）
－それぞれ中間予測サンプル値を含む２つの（ｎＣｂＷ）×（ｎＣｂＨ）アレイｐｒｅｄＳａｍｐｌｅｓＬ０とｐｒｅｄＳａｍｐｌｅｓＬ１
－予測リスト使用率フラグｐｒｅｄＦｌａｇＬ０とｐｒｅｄＦｌａｇＬ１
－参照インデックスｒｅｆＩｄｘＬ０とｒｅｆＩｄｘＬ１
－双予測重みインデックスｇｂｉＩｄｘ
－サンプルビット深度ｂｉｔＤｅｐｔｈ
【0154】
重み付きサンプル予測プロセスの出力は、予測サンプル値の（ｎＣｂＷ）×（ｎＣｂＨ）アレイｐｂＳａｍｐｌｅｓである。
【0155】
変数ｓｈｉｆｔ１、ｓｈｉｆｔ２、ｏｆｆｓｅｔ１、ｏｆｆｓｅｔ２、及びｏｆｆｓｅｔ３は、次のように導出される。
－変数ｓｈｉｆｔ１はＭａｘ（２，１４－ｂｉｔＤｅｐｔｈ）に等しいように設定され、変数ｓｈｉｆｔ２はＭａｘ（３，１５－ｂｉｔＤｅｐｔｈ）に等しいように設定される。
－変数ｏｆｆｓｅｔ１は１＜＜（ｓｈｉｆｔ１―１）に等しいように設定される。
－変数ｏｆｆｓｅｔ２は１＜＜（ｓｈｉｆｔ２―１）に等しいように設定される。
－変数ｏｆｆｓｅｔ３は１＜＜（ｓｈｉｆｔ２＋２）に等しいように設定される。
－変数ｓｈｉｆｔ１はＭａｘ（２，１４－ｂｉｔＤｅｐｔｈ）に等しいように設定され、変数ｓｈｉｆｔ２はＭａｘ（３，１５－ｂｉｔＤｅｐｔｈ）に等しいように設定される。
－変数ｏｆｆｓｅｔ１は１＜＜（ｓｈｉｆｔ１―１）に等しいように設定される。
－変数ｏｆｆｓｅｔ２は１＜＜（ｓｈｉｆｔ２―１）に等しいように設定される。
－変数ｏｆｆｓｅｔ３は１＜＜（ｓｈｉｆｔ２＋２）に等しいように設定される。
【0156】
ｐｒｅｄＦｌａｇＬ０およびｐｒｅｄＦｌａｇＬ１の値によって、ｘ＝０（ｎＣｂＷ―１）且つｙ＝０（ｎＣｂＨ―１）である予測サンプルｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］は、次のように導出される。
（１）ｐｒｅｄＦｌａｇＬ０が１に等しく、ｐｒｅｄＦｌａｇＬ１が０に等しい場合、予測サンプル値は、次のように導出される。
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（１＜＜ｂｉｔＤｅｐｔｈ）―１，（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］＋ｏｆｆｓｅｔ１）＞＞ｓｈｉｆｔ１） （式４．１）
（２）それ以外の場合、ｐｒｅｄＦｌａｇＬ０が０に等しく、ｐｒｅｄＦｌａｇＬ１が１に等しいと、予測サンプル値は、次のように導出される。
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（１＜＜ｂｉｔＤｅｐｔｈ）―１，（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］＋ｏｆｆｓｅｔ１）＞＞ｓｈｉｆｔ１） （式４．２）
（３）それ以外の場合（ｐｒｅｄＦｌａｇＬ０が１に等しく、ｐｒｅｄＦｌａｇＬ１が１に等しい）、以下が適用される。
（ｉ）ｇｂｉＩｄｘが０に等しい場合、予測サンプル値は次のように導出される。
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（１＜＜ｂｉｔＤｅｐｔｈ）―１，（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］＋ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］＋ｏｆｆｓｅｔ２）＞＞ｓｈｉｆｔ２） （式４．３）
（ｉｉ）それ以外の場合（ｇｂｉＩｄｘが０に等しくない）、以下が適用される。
変数ｗ１は、ｇｂｉＷＬｕｔ［ｋ］＝｛４，５，３，１０，－２｝であるｇｂｉＷＬｕｔ［ｇｂｉＩｄＸ］に等しいように設定される。変数ｗ０は、（８―ｗ１）に等しいように設定される。予測サンプル値は、次のように導出される。
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（１＜＜ｂｉｔＤｅｐｔｈ）―１，（ｗ０＊ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］＋ｗ１＊ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］＋ｏｆｆｓｅｔ３）＞＞（ｓｈｉｆｔ２＋３）） （式４．４）
（１）ｐｒｅｄＦｌａｇＬ０が１に等しく、ｐｒｅｄＦｌａｇＬ１が０に等しい場合、予測サンプル値は、次のように導出される。
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（１＜＜ｂｉｔＤｅｐｔｈ）―１，（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］＋ｏｆｆｓｅｔ１）＞＞ｓｈｉｆｔ１） （式４．１）
（２）それ以外の場合、ｐｒｅｄＦｌａｇＬ０が０に等しく、ｐｒｅｄＦｌａｇＬ１が１に等しいと、予測サンプル値は、次のように導出される。
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（１＜＜ｂｉｔＤｅｐｔｈ）―１，（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］＋ｏｆｆｓｅｔ１）＞＞ｓｈｉｆｔ１） （式４．２）
（３）それ以外の場合（ｐｒｅｄＦｌａｇＬ０が１に等しく、ｐｒｅｄＦｌａｇＬ１が１に等しい）、以下が適用される。
（ｉ）ｇｂｉＩｄｘが０に等しい場合、予測サンプル値は次のように導出される。
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（１＜＜ｂｉｔＤｅｐｔｈ）―１，（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］＋ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］＋ｏｆｆｓｅｔ２）＞＞ｓｈｉｆｔ２） （式４．３）
（ｉｉ）それ以外の場合（ｇｂｉＩｄｘが０に等しくない）、以下が適用される。
変数ｗ１は、ｇｂｉＷＬｕｔ［ｋ］＝｛４，５，３，１０，－２｝であるｇｂｉＷＬｕｔ［ｇｂｉＩｄＸ］に等しいように設定される。変数ｗ０は、（８―ｗ１）に等しいように設定される。予測サンプル値は、次のように導出される。
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（１＜＜ｂｉｔＤｅｐｔｈ）―１，（ｗ０＊ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］＋ｗ１＊ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］＋ｏｆｆｓｅｔ３）＞＞（ｓｈｉｆｔ２＋３）） （式４．４）
【0157】
Ｖ．高精度のインターウィーブしたアフィン予測
１．低精度のインターウィーブしたアフィン予測
図２２の例では、２つの分裂パターン（２２２０）および（２２３０）に対応する２つの予測（２２４０）および（２２５０）を生成するために、アフィン動き補償（ＡＭＰ）プロセスを実行する。例えば、アフィンモデルに基づいて、１６個のサブブロック（２２２１）および９個のサブブロック（２２３１）に対応するＭＶを決定する。それらのＭＶは、サブ画素精度（例えば、１／２画素、１／４画素、１／８画素、又は１／１６精度）を有することができる。従って、ＭＶのサブ画素精度に対応して、補間プロセスを実行して、参照ピクチャ内に補間されたサンプルを生成する。補間されたサンプルを有する補間された参照ピクチャにわたり、サブブロック（２２２１）および（２２３１）のサブブロック予測を検索できる。
１．低精度のインターウィーブしたアフィン予測
図２２の例では、２つの分裂パターン（２２２０）および（２２３０）に対応する２つの予測（２２４０）および（２２５０）を生成するために、アフィン動き補償（ＡＭＰ）プロセスを実行する。例えば、アフィンモデルに基づいて、１６個のサブブロック（２２２１）および９個のサブブロック（２２３１）に対応するＭＶを決定する。それらのＭＶは、サブ画素精度（例えば、１／２画素、１／４画素、１／８画素、又は１／１６精度）を有することができる。従って、ＭＶのサブ画素精度に対応して、補間プロセスを実行して、参照ピクチャ内に補間されたサンプルを生成する。補間されたサンプルを有する補間された参照ピクチャにわたり、サブブロック（２２２１）および（２２３１）のサブブロック予測を検索できる。
【0158】
上記補間プロセス中に、補間された参照ピクチャ又はカレントブロック（２２１０）の入力ビット深度（例えば、１０ビット）よりも大きい中間ビット深度（例えば、１６ビット）を採用することができる。従って、サブブロック予測（又は予測器）は、入力ビット深度に対応する低精度と比較して、中間ビット深度に対応する高精度（又は精度）のサンプルを含んでよい。
【0159】
図２２の例において、サブブロック予測（又は、予測器）の高精度のサンプル値は、予測ブロック（２２４０）および（２２５０）に保存される前に、低精度のサンプル値に変換される。例えば、右シフト演算によって、中間ビット深度（１６ビット）は、入力ビット深度（例えば、１０ビット）に丸められる。その後、画素ずつ低精度（例えば、入力ビット深度）で加重平均演算（２２６１）を実行して、最終予測（２２７０）を得る。
【0160】
上記の図２２の例における精度変換演算と加重平均演算（２２６２）は、一緒に次式で表される。
Ｐｒｅｄ＝（（Ｉｎｔｅｒｐ（Ｐ０）＞＞ｓｈｉｆｔ１）＊ｗ０）＋（Ｉｎｔｅｒｐ（Ｐ１）＞＞ｓｈｉｆｔ１ ＊ ｗ１）＋ｏｆｆｓｅｔ１）／（ｗ０＋ｗ１） （式５．１）
ここで、Ｐｒｅｄは最終予測（２２７０）のサンプルの値を表し、Ｉｎｔｅｒｐ（Ｐ０）およびＩｎｔｅｒ（Ｐ１）は、それぞれ、パターン（２２２０）又は（２２３０）に対応する高精度の補間されたサンプルの値を表し、ｗ０およびｗ１は、それぞれの補間されたサンプルに関連付けられた重みを表し、ｏｆｆｓｅｔ１は、丸めオフセットを表す。
Ｐｒｅｄ＝（（Ｉｎｔｅｒｐ（Ｐ０）＞＞ｓｈｉｆｔ１）＊ｗ０）＋（Ｉｎｔｅｒｐ（Ｐ１）＞＞ｓｈｉｆｔ１ ＊ ｗ１）＋ｏｆｆｓｅｔ１）／（ｗ０＋ｗ１） （式５．１）
ここで、Ｐｒｅｄは最終予測（２２７０）のサンプルの値を表し、Ｉｎｔｅｒｐ（Ｐ０）およびＩｎｔｅｒ（Ｐ１）は、それぞれ、パターン（２２２０）又は（２２３０）に対応する高精度の補間されたサンプルの値を表し、ｗ０およびｗ１は、それぞれの補間されたサンプルに関連付けられた重みを表し、ｏｆｆｓｅｔ１は、丸めオフセットを表す。
【0161】
式（５．１）で示されるように、Ｉｎｔｅｒｐ（Ｐ０）およびＩｎｔｅｒｐ（Ｐ１）は、加重平均演算が実行される前に、高精度から低精度に変換される。
【0162】
２．高精度のインターウィーブしたアフィン予測
図２４は、本開示の一実施形態による、インターウィーブしたアフィン予測プロセス２４００を示す。プロセス２４００は、図２２の例におけるプロセスと同様であるが、より高い精度の最終予測（２４７０）を生成できる。
図２４は、本開示の一実施形態による、インターウィーブしたアフィン予測プロセス２４００を示す。プロセス２４００は、図２２の例におけるプロセスと同様であるが、より高い精度の最終予測（２４７０）を生成できる。
【0163】
示されるように、パターン（２２２０）および（２２３０）に対応する２つの予測（２４４０）および（２４５０）は、ＡＭＣプロセスの結果として生成できる。特に、入力ビット深度（例えば、１０ビット）よりも大きい中間ビット深度（例えば、１６ビット）を有する補間されたサンプルは、予測（２４４０）および（２４５０）に保存され得る。さらに、予測（２４４０）および（２４５０）は、元のサンプルを含んでよいが、それらの元のサンプルは、中間ビット深度（例えば、入力ビット深度から中間ビット深度に変換される）で表されてよい。従って、高精度のサンプル値（例えば、１６ビットのビット深度）は、予測ブロック（２４４０）および（２４５０）に含まれている。対照的に、予測（２２４０）および（２２５０）は、図２２の例における低精度のサンプル値（例えば、１０ビットのビット深度）を含む。
【0164】
その後、画素ずつ、図２２の例と同様の加重平均演算（２４６１）は実行できるが、併置されたサンプル値のペアは、入力として高精度を有する。加重平均演算（２４６１）から得られた平均サンプル値は、依然として高精度を有することができる。
【0165】
加重平均演算（２４６１）の後、画素ずつ、精度変換演算（２４６２）を実行して、加重平均演算（２４６１）から得られた平均サンプル値を変換して、最終予測（２４７０）の最終サンプル値を生成することができる。例えば、平均化されたサンプル値は、１６ビットの中間ビット深度から１０ビットの入力ビット深度に変換される。
【0166】
プロセス２４００は、次式で表すことができる。
Ｐｒｅｄ＝｛（（Ｉｎｔｅｒｐ（Ｐ０）＊ｗ０）＋（Ｉｎｔｅｒｐ（Ｐ１）＊ｗ１）＋ｏｆｆｓｅｔ２）／（ｗ０＋ｗ１）｝＞＞ｓｈｉｆｔ （式５．２）
この式の変形は次のとおりである。
Ｐｒｅｄ＝ （（Ｉｎｔｅｒｐ（Ｐ０）＊ｗ０）＋（Ｉｎｔｅｒｐ（Ｐ１） ｗ１）＋ｏｆｆｓｅｔ３）／｛（ｗ０＋ｗ１）＜＜ｓｈｉｆｔ｝ （式５．３）
Ｐｒｅｄ＝｛（（Ｉｎｔｅｒｐ（Ｐ０）＊ｗ０）＋（Ｉｎｔｅｒｐ（Ｐ１）＊ｗ１）＋ｏｆｆｓｅｔ２）／（ｗ０＋ｗ１）｝＞＞ｓｈｉｆｔ （式５．２）
この式の変形は次のとおりである。
Ｐｒｅｄ＝ （（Ｉｎｔｅｒｐ（Ｐ０）＊ｗ０）＋（Ｉｎｔｅｒｐ（Ｐ１） ｗ１）＋ｏｆｆｓｅｔ３）／｛（ｗ０＋ｗ１）＜＜ｓｈｉｆｔ｝ （式５．３）
【0167】
式（５．２）では、加重平均演算から得られたサンプル値は、右シフトされて中間ビット深度から入力ビット深度に変換される。対照的に、式（５．３）では、平均演算（１／（ｗ０＋ｗ１））と右シフト演算（＞＞ｓｈｉｆｔ）を組み合わせて、加重和を割る。ｏｆｆｓｅｔ２およびｏｆｆｓｅｔ３は、丸めオフセットである。平均化又は右シフトされる値に丸めオフセットを追加することによって、一般的には計算精度を向上させることができる。
【0168】
図２２の例と比較して、プロセス２４００では、加重平均演算に対して入力された低精度のサンプル値を使用する代わりに、加重平均演算が終わるまで高精度を維持する。結果として、最終予測（２４７０）のサンプル値は、より高い精度を有することができ、インターウィーブしたアフィン予測プロセス２４００の性能を改善することができる。
【0169】
一実施形態において、範囲制約演算は、さらに、精度変換演算（２４６２）からの平均値に適用される。その結果、最終予測（２４７０）の最終サンプル値は、０から可能な最大サンプル値（例えば、（１＜＜ｉｎｐｕｔ ｂｉｔＤｅｐｔｈ）－１）までの範囲にあるように限定される。例えば、制約演算は次式で表され得る。
Ｃｌｉｐ（０，（１＜＜ｂｉｔＤｅｐｔｈ）―１，Ｐｒｅｄ） （式５．４）
ここで、ｃｌｉｐ（）は、クリッピング演算を表す。
Ｃｌｉｐ（０，（１＜＜ｂｉｔＤｅｐｔｈ）―１，Ｐｒｅｄ） （式５．４）
ここで、ｃｌｉｐ（）は、クリッピング演算を表す。
【0170】
一実施形態においては、図２５に示すように、分裂パターン（２２３０）が改めて生成され、分裂パターン（２２３０）内の部分サブブロック（２２３２）（網掛け領域）が予測されない（言い換えれば、インターウィーブしたアフィン予測が適用されない）。例えば、網掛け領域では、補間は実行されない。網掛け領域内の元のサンプルは、予測（２２５０）に保存されてよい。予測（２２５０）の網掛け領域のサンプルに対して、ゼロの重み（ｗ１＝０）が適用でき、式（５．２）又は（５．３）は、同様に、予測（２２５０）の他のサンプルに適用できる。このようにして、統一された加重平均計算プロセス（例えば、加重平均演算（２４６１））が、予測（２２４０）および（２２５０）のすべての画素に使用され得る。
【0171】
別の実施形態においては、同等の重み（ｗ０＝ｗ１）を図２５の（完全サブブロック２２３１に対応する）非網掛け領域のサンプルに使用して、加重平均演算（２４６１）を行う。このようにして、重み付きパターン２３００を記憶する必要がなく、加重平均演算（２４６１）は、単純化できる。
【0172】
３．インターウィーブしたアフィン予測で符号化されたブロックのデブロック化
一実施形態においては、インターウィーブしたアフィン予測で符号化されたブロックに対して、デブロック化を無効にする。例えば、ブロック内のサンプルに対して、デブロック化は実行されない。一般に、アフィン符号化されたブロックに対して、デブロック化操作を実行して、サブブロックのエッジにおける不連続性を低減することができる。しかし、インターウィーブしたアフィン予測は、加重平均演算のためにスムージング効果を有する。従って、デブロック化を無効にして、処理コストを節約することができる。
一実施形態においては、インターウィーブしたアフィン予測で符号化されたブロックに対して、デブロック化を無効にする。例えば、ブロック内のサンプルに対して、デブロック化は実行されない。一般に、アフィン符号化されたブロックに対して、デブロック化操作を実行して、サブブロックのエッジにおける不連続性を低減することができる。しかし、インターウィーブしたアフィン予測は、加重平均演算のためにスムージング効果を有する。従って、デブロック化を無効にして、処理コストを節約することができる。
【0173】
別の実施形態において、デブロック化は、非網掛け領域内で無効化されているが、網掛け領域内で依然として実行されている（図２５に示すように）。例えば、いくつかの実施形態において、インターウィーブしたアフィン予測は、網掛け領域ではなく、非網掛け領域のみに適用される。従って、網掛け領域および非網掛け領域は、異なった方法で処理できる。
【0174】
４．高精度のインターウィーブしたアフィン予測プロセスの例
図２６は、本開示の一実施形態による、プロセス（２６００）の概要のフローチャートを示す。プロセス（２６００）をインターウィーブしたアフィン予測モードで符号化されたブロックの再構築に使用して、再構築中のブロックの予測ブロックを生成することができる。様々な実施形態において、プロセス（２６００）は、処理回路（例えば、端末装置（２１０）、（２２０）、（２３０）、及び（２４０）内の処理回路、ビデオエンコーダ（３０３）の機能を実行する処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオエンコーダ（５０３）の機能を実行する処理回路、など）によって実行される。いくつかの実施形態において、プロセス（２６００）は、ソフトウェア命令で実行されるため、処理回路がソフトウェア命令を実行する場合、処理回路はプロセス（２６００）を実行する。プロセスは、ステップＳ２６０１で始まり、ステップＳ２６１０に進む。
図２６は、本開示の一実施形態による、プロセス（２６００）の概要のフローチャートを示す。プロセス（２６００）をインターウィーブしたアフィン予測モードで符号化されたブロックの再構築に使用して、再構築中のブロックの予測ブロックを生成することができる。様々な実施形態において、プロセス（２６００）は、処理回路（例えば、端末装置（２１０）、（２２０）、（２３０）、及び（２４０）内の処理回路、ビデオエンコーダ（３０３）の機能を実行する処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオエンコーダ（５０３）の機能を実行する処理回路、など）によって実行される。いくつかの実施形態において、プロセス（２６００）は、ソフトウェア命令で実行されるため、処理回路がソフトウェア命令を実行する場合、処理回路はプロセス（２６００）を実行する。プロセスは、ステップＳ２６０１で始まり、ステップＳ２６１０に進む。
【0175】
ステップＳ２６１０においては、インターウィーブしたアフィン予測モードで符号化されたカレントブロックに対して、アフィンモデルを決定することができる。例えば、ビットストリーム内で受信されたマージインデックスに基づいて、アフィンマージ候補（例えば、再構築又は継承されたアフィン候補）をサブブロックベースのマージ候補リストから選択してよい。選択されたマージ候補は、３つ又は２つのＣＰＭＶ、或いは、アフィンモデルパラメータで、アフィンモデルを表してよい。
【0176】
ステップＳ２６２０において、第１及び第２の分裂パターンに対応する第１及び第２の予測ブロックを生成することができる。例えば、別々に第１及び第２の分裂パターンを使用して、カレントブロックをサブブロックに分割することができる。アフィンモデルに基づいて、サブブロックに対応するＭＶを決定できる。サブブロックのＭＶに基づいて、ＡＭＣプロセスを実行して、第１及び第２の予測ブロックを決定することができる。ＡＭＣプロセス中に、カレントブロックの入力深度（例えば、１０ビット）よりも大きい中間ビット深度（例えば、１６ビット）を有する、補間されたサンプルを生成できる。得られた第１及び第２の予測ブロックは、カレントブロック内の元のサンプルよりも高い精度を有する補間されたサンプルを含むことができる。
【0177】
ステップＳ２６３０において、第３（最終）の予測ブロックは、第１及び第２の予測ブロックに基づいて生成され得る。例えば、それぞれ中間ビット深度に対応する高精度を有する、第１の予測ブロック内の第１サンプルおよび第２の予測ブロック内の対応した第２のサンプルは、加重平均演算を実行して平均化されたサンプルを得ることにより、結合される。平均化されたサンプルは、続いて、入力ビット深度に丸められて、第３の予測ブロック内の対応した第３のサンプルを得る。プロセス（２６００）は、ステップＳ２６９９に進んで、ステップＳ２６９９で終了し得る。
【0178】
ＶＩ．コンピュータシステム
上述した技術は、コンピュータソフトウェアとして実行でき、上記コンピュータソフトウェアは、コンピュータ可読命令を使用し、且つ、物理的に一つ以上のコンピュータ可読媒体に記憶される。例えば、図２７は、開示された主題の特定の実施形態を実施するのに適したコンピュータシステム（２７００）を示す。
上述した技術は、コンピュータソフトウェアとして実行でき、上記コンピュータソフトウェアは、コンピュータ可読命令を使用し、且つ、物理的に一つ以上のコンピュータ可読媒体に記憶される。例えば、図２７は、開示された主題の特定の実施形態を実施するのに適したコンピュータシステム（２７００）を示す。
【0179】
コンピュータソフトウェアは、アセンブリ、コンパイル、リンキング、又は類似のメカニズムであってよい、任意の適切なマシンコード又はコンピュータ言語で符号化されて、命令を含むコードを作成することができる。上述の命令は、一つ以上のコンピュータの中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）などによって、直接実行されたり、解釈、マイクロコード実行などを通じて、実行されたりすることができる。
【0180】
例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、インターネットオブシングスの装置などを含む、様々なコンピュータやそのコンポーネント上で、命令を実行することができる。
【0181】
図２７に示されるコンピュータシステム（２７００）のコンポーネントは、本質的に例示であり、本開示の実施形態を実施するコンピュータソフトウェアの使用又は機能の範囲について何ら限定を示唆するものではない。また、コンポーネントの構成は、コンピュータシステム（２７００）の例示的な実施形態に示されるコンポーネントのいずれか１つ又はそれらの組み合わせに関連する依存性又は要件を有すると解釈されるべきではない。
【0182】
コンピュータシステム（２７００）は、特定のヒューマンインターフェース入力装置を含んでよい。このようなヒューマンインターフェース入力装置は、例えば、触覚入力（キーストローク、スワイプ、データグローブの動、きなど）、音声入力（音声、拍手、など）、視覚入力（ジェスチャー、など）、嗅覚入力（図示せず）を介して、１人以上の人間ユーザによる入力に応答することができる。ヒューマンインターフェース装置は、オーディオ（音声、音楽、周囲の音、など）、画像（スキャンされた画像、静止画像カメラから得られた写真用の画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオ、など）等、必ずしも人間による意識的な入力に直接関連しない特定のメディアを取り込むためにも使用できる。
【0183】
入力ヒューマンインターフェース装置は、キーボード（２７０１）、マウス（２７０２）、トラックパッド（２７０３）、タッチスクリーン（２７１０）、データグローブ（図示せず）、ジョイスティック（２７０５）、マイク（２７０６）、スキャナー（２７０７）、カメラ（２７０８）のうちの１つ以上（それぞれに対して、１つのみが図示される）を含んでよい。
【0184】
コンピュータシステム（２７００）は、特定のヒューマンインターフェース出力装置を含んでよい。このようなヒューマンインターフェース出力装置は、例えば、触覚出力、音、光、及び嗅覚／味覚を通じて、１人以上の人間のユーザの感覚を刺激し得る。このようなヒューマンインターフェース出力装置は、触覚出力装置（例えば、タッチスクリーン（２７１０）、データグローブ（図示せず）、又はジョイスティック（２７０５）による触覚フィードバックがあるが、入力装置として機能するわけではない触覚フィードバック装置）、オーディオ出力装置（スピーカー（２７０９）、ヘッドフォン（図示せず）、など）、ビジュアル出力装置（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（２７１０）などがあり、それぞれは、タッチスクリーン入力機能と触覚フィードバック機能が付いているか、又は、付いていない。上述のスクリーンの一部は、ステレオグラフィック出力、仮想現実ガラス（図示せず）、ホログラフィックディスプレイ、及びスモークタンク（図示せず）、などの手段を介して、２次元の視覚出力又は３次元を超える出力を出力できる））、及び、プリンター（図示せず）を含んでよい。
【0185】
コンピュータシステム（２７００）は、ＣＤ／ＤＶＤ又は類似のメディア（２７２１）が付いたＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（２７２０）を含む光媒体、サムドライブ（２７２２）、取り外し可能なハードドライブ又はソリッドステートドライブ（２７２３）、テープやフロッピーディスクのようなレガシー磁気メディア（図示せず）、セキュリティドングルのような特殊のＲＯＭ／ＡＳＩＣ／ＰＬＤベースの装置（図示せず）などの人間がアクセス可能な記憶装置及びその関連メディア、を含んでよい。
【0186】
当業者であれば、本明細書に開示された主題に関連して使用される、「コンピュータ可読媒体」という用語は、伝送媒体、搬送波、又は他の一時的信号を含んでいないことも理解すべきである。
【0187】
コンピュータシステム（２７００）は、一つ以上の通信ネットワークへのインターフェースを含んでもよい。ネットワークは、例えば、無線、有線、光であってよい。ネットワークは、さらに、ローカル、広域、メトロポリタン、車両と産業、リアルタイム、遅延耐性、などであってよい。ネットワークの例には、イーサネット、無線ＬＡＮのようなローカルエリアネットワーク、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルテレビ、衛星テレビ、地上波放送テレビを含むテレビ有線又はワイヤレス広域デジタルネットワーク、ＣＡＮＢｕｓなどを含む車両と産業、が含まれている。特定のネットワークでは、通常、特定の汎用データポート又はペリフェラルバス（２７４９）（例えば、コンピュータシステム（２７００）のＵＳＢポート）に接続された外部ネットワークインターフェースアダプタが必要である。他は、一般的に、以下に説明するように、システムバスに接続することによってコンピュータシステム（２７００）のコアに組み込まれる（例えば、ＰＣコンピュータシステムへのイーサネットインターフェース又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（２７００）は、他のエンティティと通信できる。このような通信は、単方向受信のみ（例えば、テレビ放送）、単方向送信のみ（例えば、ＣＡＮｂｕｓから特定のＣＡＮｂｕｓ装置へ）、又は、双方向、例えば、ローカル又はワイドエリアデジタルネットワークを使用する、他のコンピュータシステムへの通信、が挙げられる。上記のように、特定のプロトコルとプロトコルスタックは、これらのネットワークとネットワークインターフェースのそれぞれに使用できる。
【0188】
前述のヒューマンインターフェース装置、ヒューマンアクセス可能な記憶装置、及びネットワークインターフェースは、コンピュータシステム（２７００）のコア（２７４０）に接続することができる。
【0189】
コア（２７４０）は、１つ以上の中央処理装置（ＣＰＵ）（２７４１）、グラフィックスプロセッシングユニット（ＧＰＵ）（２７４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（２７４３）の形式の特殊のプログラマブル処理装置、特定のタスク用のハードウェアアクセラレータ（２７４４）、などを含むことができる。これらの装置は、読み取り専用メモリ（ＲＯＭ）（２７４５）、ランダムアクセスメモリ（２７４６）、及び、内部非使用者アクセス可能なハードドライブ、ＳＳＤなどのような内部大容量記憶装置（２７４７）と共に、システムバス（２７４８）を介して接続されてよい。一部のコンピュータシステムにおいて、システムバス（２７４８）は、一つ以上の物理的プラグの形でアクセス可能であって、追加のＣＰＵ、ＧＰＵなどによる拡張を有効にする。周辺機器は、直接か又はペリフェラルバス（２７４９）を介して、コアのシステムバス（２７４８）に接続され得る。ペリフェラルバスのアーキテクチャには、ＰＣＩ、ＵＳＢなどが含まれる。
【0190】
ＣＰＵ（２７４１）、ＧＰＵ（２７４２）、ＦＰＧＡ（２７４３）、及びアクセラレータ（２７４４）は、組み合わされて、上述のコンピュータコードを構成できる特定の命令を実行できる。そのコンピュータコードは、ＲＯＭ（２７４５）又はＲＡＭ（２７４６）に記憶され得る。移行データは、ＲＡＭ（２７４６）に記憶され得るが、一方で、永久データは、例えば、内部大容量記憶装置（２７４７）に記憶され得る。一つ以上のＣＰＵ（２７４１）、ＧＰＵ（２７４２）、大容量記憶装置（２７４７）、ＲＯＭ（２７４５）、ＲＡＭ（２７４６）などに密接に関連付けられることができるキャッシュメモリを使用することで、任意のメモリ装置への高速記憶と読み出しを有効にできる。
【0191】
コンピュータ可読媒体は、その上にコンピュータコードを含み、様々なコンピュータ実行操作を実行することができる。メディア及びコンピュータコードは、本開示の目的のために特別に設計及び構築されたものであり得るか、又は、コンピュータソフトウェア技術を持つ人々によく知られていて、利用可能なものであり得る。
【0192】
非限定的な一例として、アーキテクチャを有するコンピュータシステム（２７００）、特にコア（２７４０）は、一つ以上の有形のコンピュータ可読媒体に組み込まれたソフトウェアを実行する（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、などを含む）プロセッサの結果として、機能性を提供できる。このようなコンピュータ可読媒体は、上記に紹介された、ユーザがアクセス可能な大容量記憶装置、及び、コア内部大容量記憶装置（２７４７）又はＲＯＭ（２７４５）のような非一時的性質を有するコア（２７４０）の特定の記憶装置に関連付けられた媒体であり得る。本開示の様々な実施形態を実行するソフトウェアは、このような装置に記憶され、コア（２７４０）で実行され得る。コンピュータ可読媒体は、特定の要求に応じて、一つ以上のメモリ装置又はチップを含むことができる。ソフトウェアは、コア（２７４０）、特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、などを含む）に、本明細書に記載の特定のプロセス又は特定のプロセスの特定の部分を実行させることができ、上述のプロセスは、ＲＡＭ（２７４６）に記憶されたデータ構造を定義するステップと、ソフトウェアによって定義されたプロセスに基づいて、このようなデータ構造を変更するステップとを含む。加えて、又は、代替として、コンピュータシステムは、回路内のロジックハードワイヤード化又は具体化の結果として、機能性を提供でき（例えば、アクセラレータ（２７４４））、上述の機能性は、ソフトウェアの代わりに又はそれと共に作動して、本明細書に記載の特定のプロセス又は特定のプロセスの特定の部分を実行することができる。ソフトウェアへの言及は、論理を含むことができ、必要に応じて、その逆も可能である。コンピュータ可読媒体への言及は、実行用のソフトウェアを記憶する回路（例えば、集積回路（ＩＣ））、実行用の論理を具体化する回路、又は、必要に応じて、両方を含むことができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを含む。
【符号の説明】
【0193】
ＡＭＶＰ：高度なＭＶＰ
ＡＳＩＣ：特定用途向け集積回路
ＢＭＳ：ベンチマークセット
ＣＡＮＢｕＳ：コントローラーエリアネットワークバス
ＣＤ：コンパクトディスク
ＣＰＵ：中央処理装置
ＣＲＴ：ブラウン管
ＣＴＢ：ツリーブロックの符号化
ＣＴＵ：ツリーユニットの符号化
ＣＵ：符号化ユニット
ＤＶＤ：デジタルビデオディスク
ＦＰＧＡ：フィールドプログラマブルゲートアレイ
ＧＯＰ：ピクチャのグループ
ＧＰＵ：グラフィックスプロセッシングユニット
ＧＳＭ：モバイル通信用のグローバルシステム
ＨＥＶＣ：高効率ビデオ符号化
ＨＭＶＰ：履歴ベースのＭＶＰ
ＨＲＤ：仮想参照デコーダ
ＩＣ：集積回路
ＪＥＭ：共同探索モデル
ＬＡＮ：ローカルエリアネットワーク
ＬＣＤ：液晶ディスプレイ
ＬＴＥ：長期的な進化
ＭＭＶＤ：ＭＶＤとのマージ
ＭＶ：動きベクトル
ＭＶＤ：動きベクトル差分
ＭＶＰ：動きベクトル予測器
ＯＬＥＤ：有機発光ダイオード
ＰＢ：予測ブロック
ＰＣＩ：ペリフェラルコンポーネントインターコネクト
ＰＬＤ：プログラマブルロジック装置
ＰＵ：予測ユニット
ＲＡＭ：ランダムアクセスメモリ
ＲＯＭ：読み取り専用メモリ
ＳＥＩ：補足強化情報
ＳＮＲ：信号雑音比
ＳＳＤ：ソリッドステートドライブ
ＳｂＴＭＶＰ：サブブロックベースのＴＭＶＰ
ＴＵ：変換ユニット
ＴＭＶＰ：時間的ＭＶＰ
ＵＳＢ：ユニバーサルシリアルバス
ＶＴＭ：バーサタイルテストモデル
ＶＵＩ：ビデオユーザビリティ情報
ＶＶＣ：バーサタイルビデオ符号化
ＡＳＩＣ：特定用途向け集積回路
ＢＭＳ：ベンチマークセット
ＣＡＮＢｕＳ：コントローラーエリアネットワークバス
ＣＤ：コンパクトディスク
ＣＰＵ：中央処理装置
ＣＲＴ：ブラウン管
ＣＴＢ：ツリーブロックの符号化
ＣＴＵ：ツリーユニットの符号化
ＣＵ：符号化ユニット
ＤＶＤ：デジタルビデオディスク
ＦＰＧＡ：フィールドプログラマブルゲートアレイ
ＧＯＰ：ピクチャのグループ
ＧＰＵ：グラフィックスプロセッシングユニット
ＧＳＭ：モバイル通信用のグローバルシステム
ＨＥＶＣ：高効率ビデオ符号化
ＨＭＶＰ：履歴ベースのＭＶＰ
ＨＲＤ：仮想参照デコーダ
ＩＣ：集積回路
ＪＥＭ：共同探索モデル
ＬＡＮ：ローカルエリアネットワーク
ＬＣＤ：液晶ディスプレイ
ＬＴＥ：長期的な進化
ＭＭＶＤ：ＭＶＤとのマージ
ＭＶ：動きベクトル
ＭＶＤ：動きベクトル差分
ＭＶＰ：動きベクトル予測器
ＯＬＥＤ：有機発光ダイオード
ＰＢ：予測ブロック
ＰＣＩ：ペリフェラルコンポーネントインターコネクト
ＰＬＤ：プログラマブルロジック装置
ＰＵ：予測ユニット
ＲＡＭ：ランダムアクセスメモリ
ＲＯＭ：読み取り専用メモリ
ＳＥＩ：補足強化情報
ＳＮＲ：信号雑音比
ＳＳＤ：ソリッドステートドライブ
ＳｂＴＭＶＰ：サブブロックベースのＴＭＶＰ
ＴＵ：変換ユニット
ＴＭＶＰ：時間的ＭＶＰ
ＵＳＢ：ユニバーサルシリアルバス
ＶＴＭ：バーサタイルテストモデル
ＶＵＩ：ビデオユーザビリティ情報
ＶＶＣ：バーサタイルビデオ符号化
【0194】
本開示は、いくつかの例示的な実施形態を記載しているが、本開示の範囲内にある変更、置換、及び様々な代替同等物が存在する。従って、当業者であれば、多数のシステム及び方法を考案でき、上述のシステム及び方法は、本明細書に明示的に示されていないか、又は、記載されていないが、本開示の原理を具体化するので、その精神及び範囲内にあることが理解されるようになる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
