知財求人 - 知財ポータルサイト「IP Force」
特許7222095小サブブロックを用いたアフィンインター予測のための方法および装置並びにコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-06
(45)【発行日】2023-02-14
(54)【発明の名称】小サブブロックを用いたアフィンインター予測のための方法および装置並びにコンピュータプログラム
(51)【国際特許分類】
H04N 19/109 20140101AFI20230207BHJP
H04N 19/139 20140101ALI20230207BHJP
H04N 19/176 20140101ALI20230207BHJP
H04N 19/70 20140101ALI20230207BHJP
【ＦＩ】
H04N19/109
H04N19/139
H04N19/176
H04N19/70
【請求項の数】
15
(21)【出願番号】P 2021533462
(86)(22)【出願日】2020-03-13
(65)【公表番号】
(43)【公表日】2022-02-01
(86)【国際出願番号】 US2020022686
(87)【国際公開番号】W WO2020186184
(87)【国際公開日】2020-09-17
【審査請求日】2021-06-11
(31)【優先権主張番号】62/818,068
(32)【優先日】2019-03-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/816,562
(32)【優先日】2020-03-12
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】リ，グォイチュン
(72)【発明者】
【氏名】リ，シアン
(72)【発明者】
【氏名】シュイ，シアオジョォン
(72)【発明者】
【氏名】リィウ，シャン
【審査官】清山 昂平
(56)【参考文献】
【文献】国際公開第２０１７／１９５６０８（ＷＯ，Ａ１）
【文献】Benjamin Bross, et al.，Versatile Video Coding (Draft 4)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M1001-v6，2019年03月09日，pp.43-46, 184-185
【文献】Teruhiko Suzuki, et al.，Description of SDR and HDR video coding technology proposal by Sony，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-J0028，2018年04月12日，pp.7-8
【文献】Kai Zhang et al.，Non-CE2: Interweaved Prediction for Affine Motion Compensation，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0268-v3，13th Meeting: Marrakech, MA，2019年01月，pp.1-4
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
符号化されたビデオビットストリームから現在ピクチャにおけるブロックの予測情報をデコードするステップであって、前記予測情報は、インター予測モードにおけるアフィンモデルを示すものである、ステップと、前記アフィンモデルに基づいて、前記ブロックの制御点の動きベクトルを決定するステップと、
決定した前記制御点の前記動きベクトルに基づき前記ブロックのサブブロックの動きベクトルを決定するステップであって、前記サブブロックの幅および高さの１つは４未満であり、前記サブブロックの幅は前記サブブロックの高さと異なる、ステップと、
決定した前記動きベクトルに基づいて、少なくとも前記サブブロックのサンプルを再構築するステップと、
を含むデコーダにおけるビデオデコード方法。
【請求項2】
決定した前記ブロックの前記制御点の前記動きベクトルから前記ブロック内の４×４ブロックの動きベクトルを決定するステップであって、前記４×４ブロックは前記サブブロックを含むものである、ステップをさらに含む、請求項１に記載の方法。
【請求項3】
決定した前記４×４ブロックの前記動きベクトルをメモリに記憶するステップをさらに含む、請求項１又は２に記載の方法。
【請求項4】
前記サブブロックが前記ブロック内の４×４ブロックの左上領域にある場合、決定した前記サブブロックの前記動きベクトルをメモリに記憶するステップをさらに含む、請求項１～３のいずれか一項に記載の方法。
【請求項5】
前記サブブロックが前記ブロック内の４×４ブロックの右下領域にある場合、決定した前記サブブロックの前記動きベクトルをメモリに記憶するステップをさらに含む、請求項１～４のいずれか一項に記載の方法。
【請求項6】
前記サブブロックが前記ブロック内の４×４ブロックの中央サンプルを含む場合、決定した前記サブブロックの前記動きベクトルをメモリに記憶するステップをさらに含む、請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記サブブロックがクロマブロックである場合、前記クロマブロックは、対応するルマブロックのサイズに関係なく、一定のサイズを有する、請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記インター予測モードは、片予測である、請求項１～７のいずれか一項に記載の方法。
【請求項9】
前記サブブロックの前記動きベクトルを決定する前記ステップは、前記インター予測モードが片予測であり、且つ前記サブブロックを含む８×８ブロックの動き補償のメモリ帯域幅が閾値以下である場合、前記制御点の前記動きベクトルから前記ブロックの前記サブブロックの前記動きベクトルを決定するステップを含む、請求項１～８のいずれか一項に記載の方法。
【請求項10】
小サブブロックアフィンモードが前記現在ピクチャまたは前記現在ピクチャにおけるタイルグループに使用されるか否かを示すインジケータを受信するステップと、受信した前記インジケータが前記小サブブロックアフィンモードが使用されることを示す場合、前記デコード、前記制御点の前記動きベクトルの前記決定、前記サブブロックの前記動きベクトルの前記決定、および前記再構築を実行するステップと、をさらに含む請求項１～９のいずれか一項に記載の方法。
【請求項11】
受信した前記インジケータが前記小サブブロックアフィンモードが使用されることを示す場合、前記小サブブロックアフィンモードが使用される前記サブブロックのサイズを示すシグナリングを受信するステップ、をさらに含む請求項１０に記載の方法。
【請求項12】
受信した前記インジケータが前記小サブブロックアフィンモードが使用されることを示す場合、前記サブブロックの幅および高さの１つは４未満である、請求項１０に記載の方法。
【請求項13】
前記ブロックのサブブロックの動きベクトルを決定するステップは、前記ブロック内の前記サブブロックの位置にさらに基づく、請求項１～１２のいずれか一項に記載の方法。
【請求項14】
処理回路とメモリとを含む装置であって、前記処理回路が前記メモリに記憶されたプログラムをロードし実行することにより、請求項１～１３のいずれか一項に記載の方法を実現する装置。
【請求項15】
コンピュータに請求項１～１３のいずれか一項に記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
参照による援用
本出願は、２０１９年３月１３日に出願された米国仮出願第６２／８１８，０６８号の「小サブブロックを用いたアフィンインター予測」の優先権を主張した、２０２０年３月１２日に出願された米国出願第１６／８１６，５６２号の「小サブブロックを用いたアフィンインター予測のための方法および装置」の優先権を主張し、その内容を全て参照により本明細書に組み込むものとする。
本出願は、２０１９年３月１３日に出願された米国仮出願第６２／８１８，０６８号の「小サブブロックを用いたアフィンインター予測」の優先権を主張した、２０２０年３月１２日に出願された米国出願第１６／８１６，５６２号の「小サブブロックを用いたアフィンインター予測のための方法および装置」の優先権を主張し、その内容を全て参照により本明細書に組み込むものとする。
【0002】
本開示は、一般にビデオ符号化に関する実施形態を説明する。
【背景技術】
【0003】
本明細書中に提供される「背景技術」の記述は、開示の文脈を一般的に提供するのを目的としている。出願時に先行技術としての資格を有しない記述の態様は勿論のこと、現在指名されている発明者の成果は、本背景技術セクションにおいて記述されている程度において、本開示に対する先行技術として明示的にも黙示的にも認められてはいない。
【0004】
ビデオ符号化および復号は、動き補償を伴うインターピクチャ予測を用いて実行されることができる。非圧縮デジタルビデオは一連のピクチャを含むことができ、各ピクチャは、例えば、１９２０×１０８０輝度サンプルと関連する彩度サンプルの空間寸法を持っている。該一連のピクチャは、例えば毎秒６０ピクチャまたは６０Ｈｚの固定または可変ピクチャレート（非公式には「フレームレート」とも呼ぶ）を持つことができる。非圧縮ビデオには、顕著なビットレート要件がある。例えば、サンプルあたり８ビットでの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚフレームレートでの１９２０×１０８０輝度サンプル解像度）は、１．５Ｇｂｉｔ／ｓに近い帯域幅が必要となる。このようなビデオは、１時間で６００ＧＢｙｔｅｓを超えた記憶空間を必要とする。
【0005】
ビデオ符号化および復号の１つの目的は、圧縮によって入力ビデオ信号の冗長性を低減することであり得る。圧縮は、上記の帯域幅または記憶空間の要件を、場合によっては２桁以上削減するのに役立つ。可逆圧縮と非可逆圧縮の両方、およびそれらの組み合わせを用いることができる。可逆圧縮とは、圧縮された元の信号から元の信号の正確なコピーを再構築できる手法を指す。非可逆圧縮が使用される場合、再構築された信号は元の信号と同一ではない可能性があるが、元の信号と再構築された信号の間の歪みは、再構築された信号を意図されたアプリケーションに役立てる程度に小さい。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量はアプリケーションによって異なる。例えば、特定のコンシューマストリーミングアプリケーションのユーザは、テレビ配信アプリケーションのユーザよりも高い歪みを許容できる。達成可能な圧縮率は、受け入れ可能／許容可能な歪みが大きいほど、圧縮率が高くなることを反映することができる。
【0006】
動き補償は、非可逆圧縮手法であり得、予め再構築されたピクチャまたはその一部（参照ピクチャ）からのサンプルデータのブロックを、動きベクトル（以降、「ＭＶ」と呼ぶ）によって示される方向に空間的にシフトした後、新しく再構築されたピクチャまたはピクチャ部分の予測に用いる技術に関することができる。場合によっては、参照ピクチャは現在再構築中のピクチャと同じになることがある。ＭＶは、ＸとＹの２次元、または、第３次元が、使用中の参照ピクチャを示す３次元を持つことができる（後者は間接的に時間の次元であり得る）。
【0007】
一部のビデオ圧縮技術では、サンプルデータのある領域に適用可能なＭＶは、他のＭＶから、例えば再構築中の領域に空間的に隣接し、デコード順でそのＭＶよりも前であるサンプルデータの別の領域に関連するＭＶから予測されることができる。そうすることで、ＭＶの符号化に必要なデータの量を大幅に減らすことができ、これにより冗長性を取り除き、圧縮を強化する。例えば、カメラから取得された入力ビデオ信号（「ナチュラルビデオ」と呼ぶ）を符号化する際に、単一のＭＶが適用される領域より大きい領域が同様の方向に移動する統計的可能性があるため、ＭＶ予測は有効に働くことができる。したがって、場合によっては、隣接領域のＭＶから導出された類似の動きベクトルを用いて予測することができる。その結果、所定の領域に対して発見されたＭＶは、周囲のＭＶから予測されたＭＶと類似または同一であり、逆に、エントロピー符号化後、ＭＶを直接符号化する場合よりも少ないビット数で表されることができる。場合によっては、ＭＶ予測は、元の信号（即ち、「サンプルストリーム」）に由来する信号（即ち、「ＭＶ」）の可逆圧縮の一例であり得る。他の場合では、例えばいくつかの周囲のＭＶから予測子を計算するときの丸め誤差のために、ＭＶ予測自体は非可逆になる可能性がある。
【0008】
Ｈ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５、「高効率ビデオ符号化」、２０１６年１２月）には、様々なＭＶ予測メカニズムが記載されている。Ｈ．２６５が提供する多くのＭＶ予測メカニズムのうち、ここで説明するのは、以降、「空間的マージ」と呼ぶ技術である。
【0009】
図１を参照すると、現在ブロック（１０１）は、空間的にシフトされた同じサイズの以前のブロックから予測可能であるとエンコーダによって動き検出プロセスにおいて発見されたサンプルを含む。そのＭＶを直接符号化する代わりに、Ａ０、Ａ１、およびＢ０、Ｂ１、Ｂ２（それぞれ１０２から１０６）で示される５つの周囲のサンプルのいずれか１つに関連付けられるＭＶを用いて、１つ以上の参照ピクチャに関連付けられるメタデータから、例えば最新の（デコード順で）参照ピクチャから、ＭＶを導出することができる。Ｈ．２６５では、ＭＶ予測は、隣接ブロックが使用しているのと同じ参照ピクチャからの予測子を使用することができる。
【発明の概要】
【0010】
本開示の態様は、ビデオエンコード／デコードのための方法および装置を提供する。一部の例では、ビデオデコードのための装置は、処理回路を含む。一実施形態では、符号化されたビデオビットストリームから現在ピクチャにおけるブロックの予測情報がデコードされる。前記予測情報は、インター予測モードにおけるアフィンモデルを示すものである。前記アフィンモデルに基づいて、前記ブロックの制御点の動きベクトルが決定される。決定した前記制御点の前記動きベクトルから前記ブロックのサブブロックの動きベクトルが決定される。前記サブブロックの幅および高さの１つは４未満である。さらに、決定した前記動きベクトルに基づいて、少なくとも前記サブブロックのサンプルが再構築される。
【0011】
一実施形態では、決定した前記ブロックの前記制御点の前記動きベクトルから前記ブロック内の４×４ブロックの動きベクトルが決定され、前記４×４ブロックは前記サブブロックを含むものである。
【0012】
一実施形態では、決定した前記４×４ブロックの前記動きベクトルがメモリに記憶される。
【0013】
一実施形態では、前記サブブロックが前記ブロック内の４×４ブロックの左上領域にある場合、決定した前記サブブロックの前記動きベクトルがメモリに記憶される。
【0014】
一実施形態では、前記サブブロックが前記ブロック内の４×４ブロックの右下領域にある場合、決定した前記サブブロックの前記動きベクトルがメモリに記憶される。
【0015】
一実施形態では、前記サブブロックが前記ブロック内の４×４ブロックの中央サンプルを含む場合、決定した前記サブブロックの前記動きベクトルがメモリに記憶される。
【0016】
一実施形態では、前記サブブロックがクロマブロックである場合、前記クロマブロックは、対応するルマブロックのサイズに関係なく、一定のサイズを有する。
【0017】
一実施形態では、前記インター予測モードは、片予測である。
【0018】
一実施形態では、前記インター予測モードが片予測であり、且つ前記サブブロックを含む８×８ブロックの動き補償のメモリ帯域幅が閾値以下である場合、前記制御点の前記動きベクトルから前記ブロックの前記サブブロックの前記動きベクトルが決定される。
【0019】
一実施形態では、小サブブロックアフィンモードが前記現在ピクチャまたは前記現在ピクチャにおけるタイルグループに使用されるか否かを示すインジケータが受信される。さらに、受信した前記インジケータが前記小サブブロックアフィンモードが使用されることを示す場合、前記デコード、前記制御点の前記動きベクトルの前記決定、前記サブブロックの前記動きベクトルの前記決定、および前記再構築が実行される。
【0020】
また、本開示の一態様は、ビデオデコードのためにコンピュータによって実行されると、前記コンピュータに、前記ビデオデコードのための方法のいずれか１つまたは組み合わせを実行させる命令を記憶する、非一時的コンピュータ可読媒体を提供する。
【図面の簡単な説明】
【0021】
本開示の主題のさらなる特徴、性質および様々な利点は、以下の詳細の説明および添付の図面からより明らかになる。
【0022】
【図1】一例における現在ブロックおよびその周囲の空間的マージ候補の概略図である。
【0023】
【図2】一実施形態による通信システム（２００）の簡略化されたブロック図の概略図である。
【0024】
【図3】一実施形態による通信システム（３００）の簡略化されたブロック図の概略図である。
【0025】
【図4】一実施形態によるデコーダの簡略化されたブロック図の概略図である。
【0026】
【図5】一実施形態によるエンコーダの簡略化されたブロック図の概略図である。
【0027】
【図6】別の一実施形態によるエンコーダのブロック図を示す。
【0028】
【図7】別の一実施形態によるデコーダのブロック図を示す。
【0029】
【図8】一実施形態による空間的マージ候補の位置の概略図である。
【0030】
【図9】一実施形態による、冗長性検査プロセスのための拡張マージリスト内の候補ペアを示す。
【0031】
【図10】一実施形態による、現在ピクチャにおける拡張マージリスト内の時間的マージ候補を導出する例を示す。
【0032】
【図11】一実施形態による、拡張マージリスト内の時間的マージ候補を選択できる候補位置を示す。
【0033】
【図12】一実施形態による、動きベクトル差分（ＭＭＶＤ）を有するマージモードで予測を選択できる予測位置を示す。
【0034】
【図13】２パラメータアフィンモデルを表すための２つの制御点動きベクトル（ＣＰＭＶ）を示す。
【0035】
【図14】３パラメータアフィンモデルを表すための３つのＣＰＭＶを示す。
【0036】
【図15】アフィン予測モードで符号化された現在ブロックから分割されたサブブロックに対して導出された動きベクトルを示す。
【0037】
【図16】継承されたアフィンマージ候補を導出するための現在ブロックの隣接ブロックを示す。
【0038】
【図17】構築されたアフィンマージ候補を導出するための候補ブロック位置を示す。
【0039】
【図18】一実施形態による、サブブロックベースの時間的動きベクトル予測（ＳｂＴＭＶＰ）方法を用いて、現在ブロックの動き情報の予測を決定するために使用できる空間的隣接ブロックの概略図である。
【0040】
【図19】一実施形態による、ＳｂＴＭＶＰ方法のために選択された空間的隣接ブロックの概略図である。
【0041】
【図20】一実施形態による、符号化ユニットを２つの三角予測ユニットに分割する例を示す。
【0042】
【図21】一実施形態による、三角予測モードの片予測候補リストを構築するための空間的隣接ブロックおよび時間的隣接ブロックを示す。
【0043】
【図22】一実施形態による、三角分割インデックスに基づいてスプリット方向および分割動き情報を導出するためのルックアップテーブルを示す。
【0044】
【図23】一実施形態による、適応的ブレンディングプロセスにおける符号化ユニットに適用される重み係数を示す。
【0045】
【図24】一実施形態による、織り込みアフィン予測プロセスを示す。
【0046】
【図25】一実施形態による、織り込みアフィン予測プロセスにおける加重平均演算の重みのパターンを示す。
【0047】
【図26】一実施形態による小サブブロックアフィンインター予測の例を示す。
【0048】
【図27】一実施形態による例示的デコードプロセスの図である。
【0049】
【図28】本開示の一実施形態によるコンピュータシステムの概略図である。
【発明を実施するための形態】
【0050】
Ｉ．ビデオ符号化エンコーダおよびデコーダ
【0051】
図２は、本開示の一実施形態による通信システム（２００）の簡略化されたブロック図を示している。通信システム（２００）は、例えばネットワーク（２５０）を介して互いに通信可能な複数の端末装置を含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された第１の対の端末装置（２１０）および（２２０）を含む。図２の例では、第１の対の端末装置（２１０）および（２２０）は、データの単方向送信を実行する。例えば、端末装置（２１０）は、ネットワーク（２５０）を介して他方の端末装置（２２０）へ送信するためにビデオデータ（例えば、端末装置（２１０）によってキャプチャされたビデオピクチャのストリーム）を符号化し得る。エンコードされたビデオデータは、１つ以上の符号化されたビデオビットストリームの形態で送信されることができる。端末装置（２２０）は、ネットワーク（２５０）から符号化ビデオデータを受信し、符号化ビデオデータをデコードしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示することができる。単方向のデータ送信は、メディア供給アプリケーションなどで一般的である。
【0052】
他の例では、通信システム（２００）は、例えばビデオ会議中に発生し得る符号化ビデオデータの双方向送信を実行する第２の対の端末装置（２３０）および（２４０）を含む。データの双方向送信の場合、一例では、端末装置（２３０）および（２４０）のそれぞれは、ネットワーク（２５０）を介して端末装置（２３０）および（２４０）のうちの他方の端末装置へ送信するためにビデオデータ（例えば、端末装置によってキャプチャされたビデオピクチャのストリーム）を符号化し得る。端末装置（２３０）および（２４０）の一方は、端末装置（２３０）および（２４０）の他方から送信された符号化ビデオデータを受信し、符号化ビデオデータをデコードしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャをアクセス可能な表示装置に表示することができる。
【0053】
図２の例では、端末装置（２１０）、（２２０）、（２３０）および（２４０）は、サーバ、パーソナルコンピュータおよびスマートフォンとして示され得るが、本開示の原理はこれに制限されることはない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤー、および／または専用のビデオ会議機器に適用可能である。ネットワーク（２５０）は、例えば有線および／または無線通信ネットワークを含む、端末装置（２１０）、（２２０）、（２３０）および（２４０）間で符号化ビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（２５０）は、回線交換および／またはパケット交換チャネルでデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本議論の目的のために、ネットワーク（２５０）のアーキテクチャおよびトポロジーは、以下で説明されない限り、本開示の動作にとって重要でないかもしれない。
【0054】
図３は、開示された主題の適用の例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示している。開示された主題は、例えば、ビデオ会議、デジタルＴＶ、および、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの記憶など、を含む他のビデオ対応アプリケーションに等しく適用可能である。
【0055】
ストリーミングシステムは、例えば非圧縮のビデオピクチャ（３０２）のストリームを作成するデジタルカメラのようなビデオソース（３０１）を含むことができるキャプチャサブシステム（３１３）を含んでもよい。一例では、ビデオピクチャ（３０２）のストリームは、デジタルカメラによって取得されたサンプルを含む。エンコードされたビデオデータ（３０４）（または符号化されたビデオビットストリーム）と比較して高データ量を強調するために太線で示されたビデオピクチャ（３０２）のストリームは、ビデオソース（３０１）に結合されたビデオエンコーダ（３０３）を含む電子デバイス（３２０）によって処理されることができる。ビデオエンコーダ（３０３）は、以下でより詳細に説明されるように、開示された主題の態様を可能にするか或いは実施するためのハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオピクチャ（３０２）のストリームと比較してより低いデータ量を強調するために細い線で示された、エンコードされたビデオデータ（３０４）（またはエンコードされたビデオビットストリーム（３０４））は、将来使うためにストリーミングサーバ（３０５）に記憶されることができる。図３のクライアントサブシステム（３０６）および（３０８）のような１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（３０５）にアクセスして、エンコードされたビデオデータ（３０４）のコピー（３０７）および（３０９）を検索することができる。クライアントサブシステム（３０６）は、例えば電子デバイス（３３０）におけるビデオデコーダ（３１０）を含むことができる。ビデオデコーダ（３１０）は、エンコードされたビデオデータの入り方向コピー（３０７）をデコードし、ディスプレイ（３１２）（例えば、表示画面）または他のレンダリングデバイス（描画せず）でレンダリングできるビデオピクチャ（３１１）の出方向ストリームを作成する。一部のストリーミングシステムにおいて、エンコードされたビデオデータ（３０４）、（３０７）、および（３０９）（例えば、ビデオビットストリーム）は、特定のビデオ符号化／圧縮規格に従ってエンコードされることができる。これらの規格の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。一例では、開発中のビデオ符号化規格は、非公式的にバーサタイルビデオ符号化（ＶＶＣ）として知られている。開示された主題は、ＶＶＣのコンテキストに使用され得る。
【0056】
なお、電子デバイス（３２０）および（３３０）は、他のコンポーネント（図示せず）を含むことができる。例えば、電子デバイス（３２０）は、ビデオデコーダ（図示せず）を含むことができ、電子デバイス（３３０）は、ビデオエンコーダ（図示せず）を含むこともできる。
【0057】
図４は、本開示の実施形態によるビデオデコーダ（４１０）のブロック図を示す。ビデオデコーダ（４１０）は、電子デバイス（４３０）に含まれることができる。電子デバイス（４３０）は、受信機（４３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（４１０）は、図３の例におけるビデオデコーダ（３１０）の代わりに使用されることができる。
【0058】
受信機（４３１）は、ビデオデコーダ（４１０）によってデコードされる１つ以上の符号化ビデオシーケンスを受信することができ、同一または別の一実施形態では、一度に１つの符号化ビデオシーケンスを受信してもよく、各符号化ビデオシーケンスのデコードは、他の符号化ビデオシーケンスから独立している。符号化ビデオシーケンスは、エンコードされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得るチャネル（４０１）から受信されることができる。受信機（４３１）は、それぞれの使用エンティティ（描画せず）に転送され得る他のデータ、例えば、符号化オーディオデータおよび／または補助データストリームとともに、エンコードされたビデオデータを受信し得る。受信機（４３１）は、符号化ビデオシーケンスを他のデータから分離することができる。ネットワークジッタを防止するために、バッファメモリ（４１５）は、受信機（４３１）とエントロピーデコーダ／パーサ（４２０）（以降、「パーサ（４２０）」）の間に結合されてもよい。特定のアプリケーションでは、バッファメモリ（４１５）は、ビデオデコーダ（４１０）の一部である。他の場合、ビデオデコーダ（４１０）（示されていない）の外部に存在し得る。さらに他の場合、例えば、ネットワークジッタを防止するためにビデオデコーダ（４１０）の外部にバッファメモリ（描画せず）が存在し、さらに、例えば、再生タイミングを取り扱うためにビデオデコーダ（４１０）の内部に別のバッファメモリ（４１５）が存在し得る。受信機（４３１）が十分な帯域幅および可制御性を有する記憶／転送装置から、または等同期ネットワークからデータを受信する際に、バッファメモリ（４１５）は必要とされないことがあり、または小さくされることがある。インターネットのようなベストエフォートパケットネットワークで用いるために、バッファメモリ（４１５）が必要になる場合があり、比較的大きいことがあり、有利には適応サイズであることができ、オペレーティングシステムまたはビデオデコーダ（４１０）の外部の類似の要素（描画せず）に少なくとも部分的に実現され得る。
【0059】
ビデオデコーダ（４１０）は、符号化ビデオシーケンスからシンボル（４２１）を再構築するパーサ（４２０）を含んでもよい。これらのシンボルのカテゴリは、ビデオデコーダ（４１０）の操作を管理するための情報、および、電子デバイス（４３０）の不可欠な部分ではないが、図４に示すように電子デバイス（４３０）に結合され得るレンダリングデバイス（４１２）（例えば、表示画面）のようなレンダリングデバイスを制御する潜在的情報を含む。レンダリングデバイスのための制御情報は、補助強化情報（ＳＥＩメッセージ）またはビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（描画せず）の形態であってよい。パーサ（４２０）は、受信される符号化ビデオシーケンスを構文解析／エントロピーデコードすることができる。符号化ビデオシーケンスの符号化は、ビデオ符号化技術または規格に合わせることができ、可変長符号化、ハフマン符号化、文脈感受性を有するもしくは有さない算術符号化などを含む様々な原理に従うことができる。パーサ（４２０）は、グループに対応する少なくとも１つのパラメータに基づいて、符号化ビデオシーケンスからビデオデコーダ内の画素の少なくとも１つのサブグループのためのサブグループパラメータのセットを抽出することができる。サブグループは、ピクチャ群（ＧＯＰs）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵs）、予測ユニット（ＰＵs）などを含むことができる。パーサ（４２０）は、符号化ビデオシーケンスから変換係数、量子化パラメータ値、動きベクトルなどのような情報をも抽出することができる。
【0060】
パーサ（４２０）は、シンボル（４２１）を作成するために、バッファメモリ（４１５）から受信されたビデオシーケンスに対してエントロピーデコード／構文解析操作を実行することができる。
【0061】
シンボル（４２１）の再構築は、符号化ビデオピクチャまたはその一部のタイプ（例えば、インターおよびイントラピクチャ、インターおよびイントラブロック）、および他の要因に応じて、複数の異なるユニットが関与することができる。どのユニットが、どのように関与するかは、パーサ（４２０）によって符号化ビデオシーケンスから構文解析されたサブグループ制御情報によって制御されることができる。パーサ（４２０）と以下の複数のユニットとの間のサブグループ制御情報の流れは、明確にするために示されていない。
【0062】
すでに述べた機能ブロックに加え、ビデオデコーダ（４１０）は、以下で説明されるように複数の機能ユニットに概念的に細分されることができる。商業的な制約の下で実際の実施にあたっては、これらのユニットの多くは互いに密接に相互作用し、少なくとも一部は互いに統合することができる。しかしながら、開示された主題の説明の目的で、以下の機能ユニットへの概念的な細分は、適切に行われる。
【0063】
第１のユニットは、スケーラ／逆変換ユニット（４５１）である。スケーラ／逆変換ユニット（４５１）は、用いる変換、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む制御情報と、量子化された変換係数をシンボル（４２１）としてパーサ（４２０）から受信する。スケーラ／逆変換ユニット（４５１）は、アグリゲータ（４５５）に入力可能なサンプル値を含むブロックを出力することができる。
【0064】
場合によっては、スケーラ／逆変換（４５１）の出力サンプルは、イントラ符号化ブロック、すなわち、予め再構築されたピクチャからの予測情報を使用していないが、現在ピクチャの予め再構築された部分からの予測情報を使用できるブロックに関係することがある。このような予測情報は、イントラピクチャ予測ユニット（４５２）によって提供されることができる。場合によっては、イントラピクチャ予測ユニット（４５２）は、現在ピクチャバッファ（４５８）から取り出された周囲の既に再構築された情報を用いて、再構築中のブロックの同じサイズおよび形状のブロックを生成する。現在ピクチャバッファ（４５８）は、例えば、一部再構築された現在ピクチャおよび／または完全に再構築された現在ピクチャをバッファリングする。アグリゲータ（４５５）は、場合によっては、サンプルごとに、イントラ予測ユニット（４５２）が生成した予測情報を、スケーラ／逆変換ユニット（４５１）によって提供される出力サンプル情報に追加する。
【0065】
他の場合では、スケーラ／逆変換ユニット（４５１）の出力サンプルは、インター符号化された、潜在的に動き補償されたブロックに関係することがある。このような場合、動き補償予測ユニット（４５３）は、参照ピクチャメモリ（４５７）にアクセスして、予測に使用されるサンプルを取り出すことができる。取り出されたサンプルをブロックに関係するシンボル（４２１）に従って動き補償した後、出力サンプル情報を生成するように、これらのサンプルは、アグリゲータ（４５５）によってスケーラ／逆変換ユニット（４５１）の出力に追加されることができる（この場合、残差サンプルまたは残差信号と呼ぶ）。動き補償予測ユニット（４５３）が予測サンプルを取り出す参照ピクチャメモリ（４５７）内のアドレスは、例えば、Ｘ、Ｙ、および参照ピクチャ成分を有し得るシンボル（４２１）の形態で動き補償予測ユニット（４５３）に利用可能な動きベクトルによって制御されることができる。動き補償は、サブサンプル正確動きベクトルが使用中であるときに参照ピクチャメモリ（４５７）から取り出されたサンプル値の補間、動きベクトル予測メカニズムなどを含むこともできる。
【0066】
アグリゲータ（４５５）の出力サンプルは、ループフィルタユニット（４５６）において様々なループフィルタリング手法を受けられる。ビデオ圧縮技術は、符号化ビデオシーケンス（符号化されたビデオビットストリームとも呼ぶ）に含まれる、パーサ（４２０）からのシンボル（４２１）としてループフィルタユニット（４５６）に利用可能とされたパラメータによって制御されることができ、それに、符号化ピクチャまたは符号化ビデオシーケンスの（デコード順で）前の部分のデコード中に取得されたメタ情報に応じるとともに、予め再構築されループフィルタリングされたサンプル値に応じることもできるループ内フィルタ技術を含むことができる。
【0067】
ループフィルタユニット（４５６）の出力は、レンダリングデバイス（４１２）へ出力されることができるとともに、将来のインターピクチャ予測で用いるために参照ピクチャメモリ（４５７）に記憶されることができるサンプルストリームであり得る。
【0068】
特定の符号化ピクチャは、完全に再構築されると、将来の予測のために参照ピクチャとして使用されることができる。例えば、現在ピクチャに対応する符号化ピクチャが完全に再構築され、符号化ピクチャが（例えば、パーサ（４２０）によって）参照ピクチャとして識別されると、現在ピクチャバッファ（４５８）は、参照ピクチャメモリ（４５７）の一部になることができ、次の符号化ピクチャの再構築を開始する前に新しい現在ピクチャバッファが再割当てされることができる。
【0069】
ビデオデコーダ（４１０）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５のような規格での所定のビデオ圧縮技術に従ってデコード操作を実行することができる。符号化ビデオシーケンスが、ビデオ圧縮技術または規格のシンタックスと、ビデオ圧縮技術または規格で文書化されたプロファイルとの両方に準拠しているという意味で、符号化ビデオシーケンスは、使用されているビデオ圧縮技術または規格によって指定されるシンタックスに準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術または規格で利用可能なすべてのツールから、特定のツールをそのプロファイルで使用できる唯一のツールとして選択することができる。符号化ビデオシーケンスの複雑さがビデオ圧縮技術または規格のレベルで定義される範囲内にあることも、コンプライアンスに必要である。場合によっては、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート（例えば、１秒あたりのメガサンプルで測定される）、最大参照ピクチャサイズなどがレベルによって制限される。レベルによって設定された制限は、場合によっては、仮想参照デコーダ（ＨＲＤ）仕様および符号化ビデオシーケンスでシグナリングされたＨＲＤバッファ管理のためのメタデータによってさらに制限され得る。
【0070】
一実施形態では、受信機（４３１）は、エンコードされたビデオとともに追加の（冗長な）データを受信することができる。追加のデータは、符号化ビデオシーケンスの一部として含まれてもよい。追加のデータは、データを適切にデコードし、および／または、元のビデオデータをより正確に再構築するためにビデオデコーダ（４１０）によって使用され得る。追加のデータは、例えば、時間的、空間的、または信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方向誤り訂正コードなどの形態にされることができる。
【0071】
図５は、本開示の実施形態によるビデオエンコーダ（５０３）のブロック図を示す。ビデオエンコーダ（５０３）は、電子デバイス（５２０）に含まれる。電子デバイス（５２０）は、送信機（５４０）（例えば、送信回路）を含む。図３の例におけるビデオエンコーダ（３０３）の代わりにビデオエンコーダ（５０３）を用いることができる。
【0072】
ビデオエンコーダ（５０３）は、ビデオエンコーダ（５０３）によって符号化されるビデオ画像をキャプチャし得るビデオソース（５０１）（図５の例では電子デバイス（５２０）の一部ではない）からビデオサンプルを受信することができる。他の例では、ビデオソース（５０１）は、電子デバイス（５２０）の一部である。
【0073】
ビデオソース（５０１）は、ビデオエンコーダ（５０３）によって符号化されるソースビデオシーケンスを、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット、・・・）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、・・・）および任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）であり得るデジタルビデオサンプルストリームの形態で提供し得る。メディア供給システムでは、ビデオソース（５０１）は、予め準備されたビデオを記憶する記憶装置であり得る。ビデオ会議システムでは、ビデオソース（５０１）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであり得る。ビデオデータは、順番に見られるときに動きが与えられる複数の個別のピクチャとして提供されてもよい。ピクチャそのものは、画素の空間アレイとして編成されてもよく、各画素は、使用中のサンプリング構造、色空間などに応じて１つ以上のサンプルを含むことができる。当業者は、画素とサンプルとの関係を容易に理解することができる。以下の説明ではサンプルを中心に説明する。
【0074】
一実施形態によれば、ビデオエンコーダ（５０３）は、リアルタイムでまたはアプリケーションが要求する任意の他の時間制約の下でソースビデオシーケンスのピクチャを符号化し、符号化ビデオシーケンス（５４３）に圧縮することができる。適切な符号化速度を実行することは、コントローラ（５５０）の機能の１つである。一部の実施形態では、コントローラ（５５０）は、以下で説明される他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。分かりやすくするために、カップリングは示されていない。コントローラ（５５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化、レート歪み最適化手法のラムダ値、・・・）、ピクチャサイズ、ピクチャ群（ＧＯＰ）レイアウト、最大動きベクトル検索範囲などを含むことができる。コントローラ（５５０）は、特定のシステム設計に対して最適化されたビデオエンコーダ（５０３）に関する他の適切な機能を有するように構成されることができる。
【0075】
一部の実施形態では、ビデオエンコーダ（５０３）は、符号化ループで動作するように構成される。過度に簡略化した説明として、一例では、符号化ループは、ソースコーダ（５３０）（例えば、符号化対象となる入力ピクチャおよび参照ピクチャに基づくシンボルストリームなどのシンボルの作成を担当する）、およびビデオエンコーダ（５０３）に埋め込まれた（ローカル）デコーダ（５３３）を含むことができる。デコーダ（５３３）は、シンボルを再構築して、（リモート）デコーダが作成するのと同様な方法でサンプルデータを作成する（シンボルと符号化されたビデオビットストリーム間の如何なる圧縮は、開示された主題で考慮されるビデオ圧縮技術では可逆であるためである）。再構築されたサンプルストリーム（サンプルデータ）は参照ピクチャメモリ（５３４）に入力される。シンボルストリームのデコードにより、デコーダの位置（ローカルまたはリモート）に関係なくビット正確な結果が得られるため、参照ピクチャメモリ（５３４）のコンテンツもローカルエンコーダとリモートエンコーダの間でビット正確である。言い換えれば、エンコーダの予測部分は、参照ピクチャサンプルとして、デコード中に予測を使用するときにデコーダが「見る」のと全く同じサンプル値を「見る」。参照ピクチャの同期性の該基本原理（および例えばチャネルエラーに起因して同期性を維持できない場合に生じるドリフト）は、いくつかの関連分野にも使用されている。
【0076】
「ローカル」デコーダ（５３３）の動作は、前文で図４に関連して既に詳細に説明された、ビデオデコーダ（４１０）のような「リモート」デコーダの動作と同様であり得る。しかしながら、図４も簡単に参照し、シンボルが使用可能であり、エントロピーコーダ（５４５）およびパーサ（４２０）による符号化ビデオシーケンスへのシンボルのエンコード／デコードが可逆であり得るので、バッファメモリ（４１５）、およびパーサ（４２０）を含むビデオデコーダ（４１０）のエントロピーデコード部分は、ローカルデコーダ（５３３）では完全に実現されない場合がある。
【0077】
これで分かるように、デコーダに存在する構文解析／エントロピーデコード以外の如何なるデコーダ技術も、対応するエンコーダに実質的に同一の機能的形態で必ず存在する必要がある。このため、開示された主題は、デコーダの動作に焦点を合わせている。エンコーダ技術の説明は、包括的に説明されたデコーダ技術の逆であるため、省略できる。特定の領域でのみ、より詳細な説明が必要であり、以下に提供される。
【0078】
動作中、一部の例では、ソースコーダ（５３０）は、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の予め符号化されたピクチャを参照して入力ピクチャを予測的に符号化する動き補償予測符号化を実行してもよい。このようにして、符号化エンジン（５３２）は、入力ピクチャの画素ブロックと、入力ピクチャへの予測基準として選択され得る参照ピクチャの画素ブロックとの差異を符号化する。
【0079】
ローカルビデオデコーダ（５３３）は、ソースコーダ（５３０）で作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャの符号化ビデオデータをデコードすることができる。符号化エンジン（５３２）の動作は、有利には非可逆プロセスであり得る。符号化ビデオデータがビデオデコーダ（図５に示されていない）でデコードされ得るとき、再構築されたビデオシーケンスは、通常、いくつかのエラーを伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオデコーダ（５３３）は、ビデオデコーダによって参照ピクチャに対して実行され得るデコードプロセスを再現し、再構築された参照ピクチャを参照ピクチャキャッシュ（５３４）に記憶させることができる。このようにして、ビデオエンコーダ（５０３）は、遠端ビデオデコーダによって取得される再構築された参照ピクチャと共通するコンテンツ（送信エラー無し）を有する再構築された参照ピクチャのコピーをローカルに記憶し得る。
【0080】
予測器（５３５）は、符号化エンジン（５３２）の予測検索を実行することができる。つまり、符号化対象となる新しいピクチャについて、予測器（５３５）は、（候補の参照画素ブロックとしての）サンプルデータ、または、参照ピクチャの動きベクトル、ブロック形状など、新しいピクチャの適切な予測基準として機能し得る特定のメタデータを参照ピクチャメモリ（５３４）で検索することができる。予測器（５３５）は、適切な予測基準を見つけるために、サンプルブロック/画素ブロックごとに動作することができる。場合によっては、予測器（５３５）で取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（５３４）に記憶された複数の参照ピクチャから引き出された予測基準を有してもよい。
【0081】
コントローラ（５５０）は、例えば、ビデオデータをエンコードするためのパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（５３０）の符号化動作を管理することができる。
【0082】
前述のすべての機能ユニットの出力は、エントロピーコーダ（５４５）においてエントロピー符号化を受けられる。エントロピーコーダ（５４５）は、例えば、ハフマン符号化、可変長符号化、算術符号化などの技術に従ってシンボルを可逆圧縮することにより、様々な機能ユニットによって生成されたシンボルを符号化ビデオシーケンスに変換する。
【0083】
送信機（５４０）は、エンコードされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得る通信チャネル（５６０）を介した送信の準備のために、エントロピーコーダ（５４５）によって作成された符号化ビデオシーケンスをバッファリングすることができる。送信機（５４０）は、ビデオコーダ（５０３）からの符号化ビデオデータを、送信されるべき他のデータ、例えば、符号化オーディオデータおよび／または補助データストリーム（ソースは示されていない）とマージすることができる。
【0084】
コントローラ（５５０）は、ビデオエンコーダ（５０３）の動作を管理し得る。符号化中、コントローラ（５５０）は、各符号化ピクチャに特定の符号化ピクチャタイプを割り当てることができ、これは、それぞれのピクチャに適用され得る符号化手法に影響を及ぼし得る。例えば、ピクチャは、多くの場合、次のピクチャタイプのいずれかとして割り当てられ得る。
【0085】
イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の他のいかなるピクチャを使用せずに符号化および復号され得るものであり得る。一部のビデオコーデックは、例えば、インディペンデントデコーダリフレッシュ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ、「ＩＤＲ」）ピクチャを含む、異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャの変形、並びに、それらのそれぞれの用途および特徴を知っている。
【0086】
予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために最大１つの動きベクトルおよび参照インデックスを使用したイントラ予測またはインター予測により符号化および復号され得るものであり得る。
【0087】
双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために最大２つの動きベクトルおよび参照インデックスを使用したイントラ予測またはインター予測により符号化および復号され得るものであり得る。同様に、多重予測ピクチャは、単一のブロックの再構築のために２つを超えた参照ピクチャおよび関連メタデータを用いることができる。
【0088】
ソースピクチャは、一般に、複数のサンプルブロック（例えば、それぞれ、４×４、８×８、４×８、または１６×１６サンプルのブロック）に空間的に細分され、ブロック単位で符号化され得る。ブロックは、ブロックのそれぞれのピクチャに適用される符号化割り当てによって決定された他の（既に符号化された）ブロックを参照して予測的に符号化され得る。例えば、Ｉピクチャのブロックは、非予測的に符号化されてもよく、或いは、同一のピクチャの既に符号化されたブロック（空間的予測またはイントラ予測）を参照して予測的に符号化されてもよい。Ｐピクチャの画素ブロックは、１つの予め符号化された参照ピクチャを参照して、空間的予測を介してまたは時間的予測を介して予測的に符号化され得る。Ｂピクチャのブロックは、１つまたは２つの予め符号化された参照ピクチャを参照して、空間的予測を介してまたは時間的予測を介して予測的に符号化され得る。
【0089】
ビデオエンコーダ（５０３）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５などの予め設定されたビデオ符号化技術または規格に従って、符号化動作を実行することができる。動作中、ビデオエンコーダ（５０３）は、入力ビデオシーケンスの時間的および空間的冗長性を利用する予測符号化操作を含む、様々な圧縮操作を実行することができる。したがって、符号化ビデオデータは、使用されているビデオ符号化技術または規格によって指定されたシンタックスに準拠することができる。
【0090】
一実施形態では、送信機（５４０）は、エンコードされたビデオとともに追加のデータを送信することができる。ソースコーダ（５３０）は、このようなデータを符号化ビデオシーケンスの一部として含み得る。追加のデータは、時間的／空間的／ＳＮＲエンハンスメントレイヤ、冗長なピクチャやスライスなどの他の形態での冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメントなどを含み得る。
【0091】
ビデオは、時系列で複数のソースピクチャ（ビデオピクチャ）としてキャプチャされ得る。イントラピクチャ予測（「イントラ予測」と略されることが多い）は、所定のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的または他の）相関を利用する。一例では、現在ピクチャと呼ぶエンコード／デコード中の特定のピクチャは、ブロックに分割される。現在ピクチャにおけるブロックが、ビデオにおける予め符号化され、まだバッファリングされている参照ピクチャの参照ブロックに類似している場合、現在ピクチャにおけるブロックは、動きベクトルと呼ぶベクトルによって符号化されることができる。動きベクトルは、参照ピクチャの参照ブロックを指し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第３次元を有することができる。
【0092】
一部の実施形態では、インターピクチャ予測において双予測法を用いることができる。双予測法によれば、ビデオにおける現在ピクチャよりもデコード順序がそれぞれ前である（ただし、表示順序でそれぞれ過去および未来にあり得る）第１の参照ピクチャおよび第２の参照ピクチャのような２つの参照ピクチャを用いる。現在ピクチャにおけるブロックは、第１の参照ピクチャにおける第１の参照ブロックを指す第１の動きベクトル、および第２の参照ピクチャにおける第２の参照ブロックを指す第２の動きベクトルによって符号化されることができる。ブロックは、第１の参照ブロックと第２の参照ブロックとの組み合わせによって予測されることができる。
【0093】
さらに、マージモード技術をインターピクチャ予測に適用して、符号化効率を向上させることができる。
【0094】
本開示の一部の実施形態によれば、インターピクチャ予測およびイントラピクチャ予測などの予測は、ブロック単位で実行される。例えば、ＨＥＶＣ規格によれば、一連のビデオピクチャ中のピクチャは、圧縮のために符号化ツリーユニット（ＣＴＵ）に分割され、ピクチャにおけるＣＴＵsは、６４×６４画素、３２×３２画素、または１６×１６画素など、同一のサイズを有する。一般に、ＣＴＵは、１つのルマＣＴＢと２つのクロマＣＴＢsである３つの符号化ツリーブロック（ＣＴＢs）を含む。各ＣＴＵは、１つまたは複数の符号化ユニット（ＣＵ）に再帰的に四分木分割されることができる。例えば、６４×６４画素のＣＴＵは、１つの６４×６４画素のＣＵ、４つの３２×３２画素のＣＵ、または１６つの１６×１６画素のＣＵにスプリットされることができる。一例では、各ＣＵを解析して、インター予測タイプまたはイントラ予測タイプなど、ＣＵの予測タイプを決定する。ＣＵは、時間的および／または空間的予測可能性に応じて、１つ以上の予測ユニット（ＰＵs）にスプリットされる。通常、各ＰＵは、１つのルマ予測ブロック（ＰＢ）と２つのクロマＰＢsを含む。一実施形態では、符号化（エンコード／デコード）における予測操作は、予測ブロックの単位で実行される。ルマ予測ブロックを予測ブロックの例として用いて、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素などの画素の値（例えば、ルマ値）の行列を含む。
【0095】
図６は、本開示の他の実施形態によるビデオエンコーダ（６０３）の図を示す。ビデオエンコーダ（６０３）は、一連のビデオピクチャ内の現在ビデオピクチャにおけるサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを、符号化ビデオシーケンスの一部である符号化ピクチャにエンコードするように構成される。一例では、図３の例におけるビデオエンコーダ（３０３）の代わりにビデオエンコーダ（６０３）を用いる。
【0096】
ＨＥＶＣの例では、ビデオエンコーダ（６０３）は、８×８サンプルのような予測ブロックなどの処理ブロックのサンプル値の行列を受信する。ビデオエンコーダ（６０３）は、例えばレート歪み最適化を用いて、処理ブロックがイントラモード、インターモード、または双予測モードにより最も良く符号化されるか否かを決定する。処理ブロックがイントラモードで符号化されようとする場合、ビデオエンコーダ（６０３）は、イントラ予測法を用いて処理ブロックを符号化ピクチャにエンコードすることができる。また、処理ブロックがインターモードまたは双予測モードで符号化されようとする場合、ビデオエンコーダ（６０３）は、それぞれインター予測または双予測法を用いて、処理ブロックを符号化ピクチャにエンコードすることができる。特定のビデオ符号化技術では、マージモードは、予測子外の符号化動きベクトル成分の利便を介することなく、１つ以上の動きベクトル予測子から動きベクトルが導出されるインターピクチャ予測サブモードであり得る。特定の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトル成分が存在し得る。一例では、ビデオエンコーダ（６０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他のコンポーネントを含む。
【0097】
図６の例では、ビデオエンコーダ（６０３）は、図６に示すように互いに結合されたインターエンコーダ（６３０）、イントラエンコーダ（６２２）、残差算出部（６２３）、スイッチ（６２６）、残差エンコーダ（６２４）、統括制御部（６２１）およびエントロピーエンコーダ（６２５）を含む。
【0098】
インターエンコーダ（６３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、該ブロックを参照ピクチャにおける１つ以上の参照ブロック（例えば、前のピクチャおよび後のピクチャにおけるブロック）と比較し、インター予測情報（例えば、インターエンコード手法による冗長情報の記述、動きベクトル、マージモード情報）を生成し、インター予測情報に基づいて任意の適切な手法を用いてインター予測結果（例えば、予測ブロック）を算出するように構成される。一部の例では、参照ピクチャは、エンコードされたビデオ情報に基づいてデコードされるデコード参照ピクチャである。
【0099】
イントラエンコーダ（６２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては該ブロックを同一のピクチャで既に符号化されたブロックと比較し、量子化された変換後係数を生成し、場合によってはイントラ予測情報（例えば、１つ以上のイントラエンコード法によるイントラ予測方向情報）をも生成するように構成される。一例では、イントラエンコーダ（６２２）は、イントラ予測情報および同一のピクチャにおける参照ブロックに基づいてイントラ予測結果（例えば、予測ブロック）も算出する。
【0100】
統括制御部（６２１）は、統括制御データを決定し、統括制御データに基づいてビデオエンコーダ（６０３）の他のコンポーネントを制御するように構成される。一例では、統括制御部（６２１）は、ブロックのモードを決定し、モードに基づいて制御信号をスイッチ（６２６）に提供する。例えば、モードがイントラモードである場合、統括制御部（６２１）は、残差算出部（６２３）用のイントラモード結果を選択するようにスイッチ（６２６）を制御するとともに、イントラ予測情報を選択してイントラ予測情報をビットストリームに含ませるようにエントロピーエンコーダ（６２５）を制御する。また、モードがインターモードである場合、統括制御部（６２１）は、残差算出部（６２３）用のインター予測結果を選択するようにスイッチ（６２６）を制御するとともに、インター予測情報を選択してインター予測情報をビットストリームに含ませるようにエントロピーエンコーダ（６２５）を制御する。
【0101】
残差算出部（６２３）は、受信されたブロックとイントラエンコーダ（６２２）またはインターエンコーダ（６３０）から選択された予測結果との差（残差データ）を算出するように構成される。残差エンコーダ（６２４）は、残差データに基づいて動作し、残差データをエンコードして変換係数を生成するように構成される。一例では、残差エンコーダ（６２４）は、残差データを空間領域から周波数領域へと変換し、変換係数を生成するように構成される。その後、変換係数は量子化処理を受けて、量子化された変換係数が得られる。様々な実施形態では、ビデオエンコーダ（６０３）は、残差デコーダ（６２８）をも含む。残差デコーダ（６２８）は、逆変換を実行し、デコード残差データを生成するように構成される。デコード残差データは、イントラエンコーダ（６２２）およびインターエンコーダ（６３０）によって適切に使用されることができる。例えば、インターエンコーダ（６３０）は、デコード残差データおよびインター予測情報に基づいて、デコードブロックを生成することができ、イントラエンコーダ（６２２）は、デコード残差データおよびイントラ予測情報に基づいて、デコードブロックを生成することができる。一部の例では、デコードブロックは、デコードピクチャを生成するように適切に処理され、デコードピクチャは、メモリ回路（図示せず）にバッファリングされ、参照ピクチャとして使用されることができる。
【0102】
エントロピーエンコーダ（６２５）は、エンコードブロックを含めるようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（６２５）は、ＨＥＶＣ規格などの適切な規格に従って様々な情報をビットストリームに含ませるように構成される。一例では、エントロピーエンコーダ（６２５）は、統括制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、残差情報、および他の適切な情報をビットストリームに含ませるように構成される。開示された主題によれば、インターモードまたは双予測モードのマージサブモードでブロックを符号化する場合、残差情報はないことに留意されたい。
【0103】
図７は、本開示の他の実施形態によるビデオデコーダ（７１０）の図を示す。ビデオデコーダ（７１０）は、符号化ビデオシーケンスの一部である符号化ピクチャを受信し、符号化ピクチャをデコードして、再構築ピクチャを生成するように構成される。一例では、図３の例におけるビデオデコーダ（３１０）の代わりにビデオデコーダ（７１０）を用いる。
【0104】
図７の例では、ビデオデコーダ（７１０）は、図７に示されるように互いに結合されたエントロピーデコーダ（７７１）、インターデコーダ（７８０）、残差デコーダ（７７３）、再構築モジュール（７７４）、およびイントラデコーダ（７７２）を含む。
【0105】
エントロピーデコーダ（７７１）は、符号化ピクチャから、符号化ピクチャを構成するシンタックス要素を表す特定のシンボルを再構築するように構成されることができる。このようなシンボルは、例えば、ブロックが符号化されるモード（例えば、イントラモード、インターモード、双予測モード、後の２つのマージサブモードまたは他のサブモード）、それぞれイントラデコーダ（７７２）またはインターデコーダ（７８０）による予測に使用される特定のサンプルまたはメタデータを識別できる予測情報（例えば、イントラ予測情報またはインター予測情報）、例えば、量子化された変換係数の形態での残差情報などを含むことができる。一例では、予測モードがインターまたは双予測モードであれば、インター予測情報は、インターデコーダ（７８０）に提供される。また、予測タイプがイントラ予測タイプであれば、イントラ予測情報は、イントラデコーダ（７７２）に提供される。残差情報は、逆量子化を施されることができ、残差デコーダ（７７３）に提供される。
【0106】
インターデコーダ（７８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。
【0107】
イントラデコーダ（７７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。
【0108】
残差デコーダ（７７３）は、逆量子化を実行することで、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（７７３）は、（量子化器パラメータ（ＱＰ）を含めるように）特定の制御情報をも必要とする場合があり、この情報は、エントロピーデコーダ（７７１）によって提供されてもよい（データパスは、低ボリューム制御情報のみであり得るため、示されていない）。
【0109】
再構築モジュール（７７４）は、空間領域において、残差デコーダ（７７３）によって出力される残差と、（場合によってはインターまたはイントラ予測モジュールによって出力される）予測結果とを組み合わせて、再構築ビデオの一部となり得る再構築ピクチャの一部であり得る再構築ブロックを形成するように構成される。なお、視覚的品質を改善するために、デブロッキング操作などの他の適切な操作を実行することができる。
【0110】
なお、ビデオエンコーダ（３０３）、（５０３）および（６０３）とビデオデコーダ（３１０）、（４１０）および（７１０）は、任意の適切な技術を用いて実現されることができる。一実施形態では、ビデオエンコーダ（３０３）、（５０３）および（６０３）とビデオデコーダ（３１０）、（４１０）および（７１０）は、１つ以上の集積回路を用いて実現されることができる。他の実施形態では、ビデオエンコーダ（３０３）、（５０３）および（５０３）とビデオデコーダ（３１０）、（４１０）および（７１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実現されることができる。
【0111】
ＩＩ．インター予測手法
【0112】
各インター予測されたＣＵについて、動きベクトル、参照ピクチャインデックス、参照ピクチャリスト使用インデック、およびＶＶＣの新たな符号化特徴に必要な付加情報を含む動きパラメータは、インター予測されたサンプル生成のために用いられる。動きパラメータは、明示的または暗黙的な方法でシグナリングされることができる。ＣＵがスキップモードで符号化される場合、ＣＵは、１つのＰＵに関連付けられ、顕著な残差係数、符号化された動きベクトルデルタ、又は参照ピクチャインデックスを有さない。ＣＵがマージモードで符号化される場合、現在のＣＵのための動きパラメータは、空間的および時間的候補、およびＶＶＣで導入された追加のスケジュールを含む隣接するＣＵから取得される。マージモードは、スキップモードで符号化されたＣＵを含む任意のインター予測されたＣＵに適用することができる。マージモードの代替手段は、動きパラメータの明示的な送信であり、ここでは、動きベクトル、各参照ピクチャリストの対応する参照ピクチャインデックス、参照ピクチャリストの使用フラグ、およびその他の必要な情報は、各ＣＵに対して明示的にシグナリングされる。
【0113】
ＨＥＶＣのインター符号化特徴に加えて、ＶＴＭ３は、以下に列挙された複数の絞り込まれたインター予測符号化ツールを含む。
１）拡張マージ予測。
２）ＭＶＤを伴うマージモード（ＭＭＶＤ）。
３）アフィン動き補償予測。
４）サブブロックベースの時間的動きベクトル予測（ＳｂＴＭＶＰ）。
５）三角分割予測。
６）組み合わせられたインターとイントラ予測（ＣＩＩＰ）。
１）拡張マージ予測。
２）ＭＶＤを伴うマージモード（ＭＭＶＤ）。
３）アフィン動き補償予測。
４）サブブロックベースの時間的動きベクトル予測（ＳｂＴＭＶＰ）。
５）三角分割予測。
６）組み合わせられたインターとイントラ予測（ＣＩＩＰ）。
【0114】
本開示の以下の説明は、ＶＶＣで指定された各インター予測符号化ツールを説明する。
【0115】
1．拡張マージ予測モード
【0116】
一部の実施形態では、上述したマージ候補リストは拡張でき、拡張マージ候補リストはマージモードに使用できる。例えば、拡張マージ候補リストは、リスト上のマージ候補の最大許容サイズを条件として、次の５つのタイプのマージ候補を順番に含めることで構築できる。
１）空間的隣接符号化ユニット（ＣＵ）からの空間的動きベクトル予測子（ＭＶＰ）。
２）コロケートＣＵからの時間的ＭＶＰ。
３）履歴バッファからの履歴ベースのＭＶＰ。
４）ペアワイズ平均ＭＶＰ。
５）ＺｅｒｏＭＶ。
１）空間的隣接符号化ユニット（ＣＵ）からの空間的動きベクトル予測子（ＭＶＰ）。
２）コロケートＣＵからの時間的ＭＶＰ。
３）履歴バッファからの履歴ベースのＭＶＰ。
４）ペアワイズ平均ＭＶＰ。
５）ＺｅｒｏＭＶ。
【0117】
符号化ユニット（ＣＵ）という用語は、予測ブロック、またはピクチャから分割された符号化ブロックを指す場合がある。
【0118】
種々の実施形態では、拡張マージリストのサイズは、スライスヘッダ、タイルグループヘッダなどでシグナリングすることができる。一例では、拡張マージリストの最大許容サイズは６である。一部の実施形態では、マージモードで符号化されたＣＵについて、ベストマージ候補のインデックスは、切り捨てられた単項二値化（ＴＵ）を用いてエンコードされ得る。マージインデックスの第１のビンはコンテキスト符号化でき、他のビンはバイパス符号化で符号化できる。
【0119】
拡張マージ候補リスト上の異なるタイプのマージ候補の生成プロセスの実施形態について、以下に説明する。
【0120】
１．１ 空間的候補導出
【0121】
一実施形態では、拡張マージリスト内の空間的マージ候補の導出は、ＨＥＶＣ内の空間的マージ候補の導出と同様である。図８は、一実施形態による現在ブロック（８１０）の空間的マージ候補位置を示す。図８に示される候補位置から、最大４つのマージ候補を選択して導出することができる。一例では、導出の順序は、Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２であってよい。一例では、位置Ｂ２は、位置Ａ１、Ｂ１、Ｂ０およびＡ０のいずれかのＣＵが利用可能でないかまたはイントラ符号化される場合にのみ考慮される。一例では、ＣＵが別のスライスまたはタイルに属するため、位置のＣＵは利用可能でない場合がある。
【0122】
拡張候補リストに位置Ａ１の候補が追加された後、他の候補の追加は、冗長性検査を受けられる。この冗長性検査により、同じ動き情報を有するマージ候補を拡張マージリストから除外することで、符号化効率を向上させることができる。計算複雑さを削減するために、一例では、冗長性検査では、全ての可能な候補ペアが考慮されるわけではない。代わりに、図９の矢印でリンクされたペアのみが考慮される。一部の例では、図９に示される対応物がマージリストにあり、且つ追加されるべき候補と同じまたは類似の動き情報を有する場合、候補はマージリストに追加されない。
【0123】
１．２ 時間的候補導出
【0124】
一実施形態では、１つの時間的候補のみが拡張マージリストに追加される。図１０は、一実施形態による、現在ピクチャ（１００１）における現在ブロック（１０１１）の時間的マージ候補（１０３１）を導出する例を示す。時間的マージ候補（１０３１）は、ピクチャ（１００２）（コロケートピクチャと呼ぶ）内の現在ブロック（１０１１）のコロケートブロック（１０１２）の動きベクトル（１０３２）をスケーリングすることによって導出される。一例では、コロケートピクチャの参照ピクチャインデックスは、例えばスライスヘッダで明示的にシグナリングされる。一例では、時間的マージ候補（１０３１）の参照ピクチャインデックスが０に設定される。一実施形態では、スケーリング操作は、ピクチャオーダーカウント（ＰＯＣ）、Ｔｂ（１０４１）およびＴｄ（１０４２）の距離に基づいて実行される。例えば、Ｔｂ（１０４１）は、現在ブロック（１０１１）の参照ピクチャ（１００３）と現在ピクチャ（１００１）との間のＰＯＣ距離として定義されるが、Ｔｄ（１０４２）は、コロケートブロック（１０１２）の参照ピクチャ（１００４）とコロケートピクチャ（１００２）との間のＰＯＣ距離として定義される。
【0125】
図１１は、一実施形態による、現在ブロック（１１１０）の時間的マージ候補を選択できる候補位置Ｃ１およびＣ０を示す。一実施形態では、まず、時間的マージ候補を導出するために、位置Ｃ０をチェックする。位置Ｃ０でのマージ候補が利用できない場合、イントラ符号化される場合またはＣＴＵsの現在行の外にある場合、位置Ｃ１が用いられる。
【0126】
１．３ 履歴ベースのマージ候補の導出
【0127】
一部の実施形態では、履歴ベースの動きベクトル予測（ＨＭＶＰ）マージ候補は、空間的および時間的候補ＭＶＰの後に、現在のＣＵの拡張マージリストに追加される。ＨＭＶＰでは、予め符号化されたブロックの動き情報は、テーブル（または履歴バッファ）に記憶され、現在のＣＵのＭＶＰ候補として使用されることができる。このような動き情報は、ＨＭＶＰ候補と呼ぶ。複数のＨＭＶＰ候補を有するテーブルは、エンコードまたはデコードプロセス中に維持できる。一例では、新しいＣＴＵ行になるとき、テーブルがリセット（空）され得る。一実施形態では、非サブブロックのインター符号化されたＣＵが存在するときはいつでも、関連する動き情報は、新しいＨＭＶＰ候補としてテーブルの最後のエントリに追加されることができる。
【0128】
一実施形態では、Ｓで示されるＨＭＶＰテーブルのサイズは６に設定される。したがって、最大６つのＨＭＶＰ候補は、テーブルに追加され得る。一実施形態では、テーブルに新しい動き候補が挿入される場合、制約付き先入れ先出し（ＦＩＦＯ）ルールが利用されることができる。さらに、新しいＨＭＶＰ候補を追加するときに冗長性検査を適用して、テーブルに同じＨＭＶＰがあるか否かを確認することができる。テーブル内で同じＨＭＶＰが見つかった場合、同じＨＭＶＰ候補をテーブルから削除し得、且つ削除されたＨＭＶＰ候補に続く全てのＨＭＶＰ候補を前方に移動する。その後、新しいＨＭＶＰ候補をテーブルの最後に追加できる。
【0129】
一実施形態では、ＨＭＶＰ候補は、拡張マージ候補リスト構築プロセスにおいて使用される。一実施形態では、テーブルに新たに追加されたいくつかのＨＭＶＰ候補を順番にチェックし、ＴＭＶＰ候補の後の位置で拡張候補リストに挿入することができる。ＨＭＶＰ候補が拡張マージリストに予め追加された空間的または時間的マージ候補と類似するかまたは同一であるかを判断するために、冗長性検査を適用し得る。
【0130】
一実施形態では、冗長性検査操作の数を減らすために、以下の簡略化が導入される。
（ｉ）拡張マージリストの生成のために用いられるＨＭＰＶ候補の数は、（Ｎ＜＝４）？Ｍ：（８－Ｎ）として設定され、ここで、Ｎは拡張マージリスト内の既存の候補の数を示し、Ｍは履歴テーブル内の利用可能なＨＭＶＰ候補の数を示す。
（ｉｉ）拡張マージリスト内の利用可能なマージ候補の総数が、最大許容マージ候補の数から１を引いた数に達すると、ＨＭＶＰからのマージ候補リスト構築プロセスが終了する。
（ｉ）拡張マージリストの生成のために用いられるＨＭＰＶ候補の数は、（Ｎ＜＝４）？Ｍ：（８－Ｎ）として設定され、ここで、Ｎは拡張マージリスト内の既存の候補の数を示し、Ｍは履歴テーブル内の利用可能なＨＭＶＰ候補の数を示す。
（ｉｉ）拡張マージリスト内の利用可能なマージ候補の総数が、最大許容マージ候補の数から１を引いた数に達すると、ＨＭＶＰからのマージ候補リスト構築プロセスが終了する。
【0131】
１．４ ペアワイズ平均マージ候補の導出
【0132】
一部の実施形態では、ペアワイズ平均候補は、現在マージ候補リスト内の事前定義された候補のペアを平均することによって生成することができる。例えば、一実施形態では、事前定義されたペアは、｛（０、１）、（０、２）、（１、２）、（０、３）、（１、３）、（２、３）｝として定義され、ここで、数字は、マージ候補リストへのマージインデックスを示す。例えば、平均化された動きベクトルは、参照ピクチャリストごとに個別に計算される。平均化されるべき両方の動きベクトルが１つのリストで利用可能である場合、これら２つの動きベクトルは、異なる参照ピクチャを指す場合でも平均化され得る。利用可能な動きベクトルが１つしかない場合、利用可能な動きベクトルを直接使用できる。利用可能な動きベクトルがない場合、それぞれのペアはスキップされ得る。
【0133】
１．５ ゼロ動きベクトル予測子
【0134】
一部の実施形態では、ペアワイズ平均マージ候補が追加された後に拡張マージリストが満杯でない場合、最大許容マージ候補数に達するまで、ゼロＭＶＰsを拡張マージリストの最後に挿入する。
【0135】
２．動きベクトル差分を伴うマージモード（ＭＭＶＤ）
【0136】
一部の実施形態では、暗黙的に導出された動き情報が現在のＣＵの予測サンプル生成のために直接用いられるマージモードに加えて、動きベクトル差分を伴うマージモード（ＭＭＶＤ）が使用される。ＭＭＶＤフラグをスキップフラグとマージフラグとを送信した直後にシグナリングして、ＭＭＶＤモードがＣＵのために用いられるか否かを指定する。
【0137】
ＭＭＶＤモードでは、マージ候補が選択された後、マージ候補がシグナリングされた動きベクトル差分（ＭＶＤ）情報によってさらに絞り込まれ、絞り込まれた動き情報が取得される。ＭＶＤ情報は、マージ候補フラグ、動き量を指定する距離インデックス、および動きの方向を示すインデックスを含む。
【0138】
マージリスト内の最初の２つの候補のうちの１つが選択され、ＭＶ基準（開始ＭＶ）として用いられる。マージ候補フラグは、どちらを用いるかを指定するようにシグナリングされる。図１２に示されるように、ＭＶ基準は、参照ピクチャリストＬ０またはＬ１内の参照ピクチャ（１２０２）または（１２０３）での開始点（１２１１）または（１２２１）をそれぞれ決定する。
【0139】
距離インデックスは、動き量情報を指定し、開始点（１２１１）または（１２２１）からの事前定義されたオフセットを示す。図１２に示されるように、オフセットは、位置（１２１１）または（１２２１）を指す開始ＭＶ（ＭＶ基準）の水平成分または垂直成分のいずれかに追加される。距離インデックスと事前定義されたオフセットのマッピング関係を表１に示す。
表１
表１
【表1】
【0140】
方向インデックスは、開始点（１２１１）または（１２２１）に対するＭＶＤの方向を表す。方向インデックスは、表２に示す４つの方向のうちの１つを表すことができる。
表２
表２
【表2】
【0141】
なお、ＭＶＤ符号の意味は、開始ＭＶの情報に応じて変化することができる。開始ＭＶが両方とも現在ピクチャの同じ側を指す片予測ＭＶまたは双予測ＭＶである場合（つまり、２つの参照のＰＯＣsについて、両方とも現在ピクチャのＰＯＣより大きいかまたは両方とも現在ピクチャのＰＯＣよりも小さい）、表２の符号は、開始ＭＶに追加されたＭＶオフセットの符号を指定する。開始ＭＶは２つのＭＶが現在ピクチャの異なる側を指す双予測ＭＶである場合（つまり、一方の参照のＰＯＣは現在ピクチャのＰＯＣよりも大きく、他方の参照のＰＯＣは現在ピクチャのＰＯＣよりも小さい）、表２の符号は、開始ＭＶのＬ０ＭＶ成分に追加されたＭＶオフセットの符号を指定し、Ｌ１ＭＶのための符号は、反対の値を有する。
【0142】
基準ＭＶ、オフセットおよびＭＶＤ符号に基づいて、現在のＣＵについて最終的なＭＶを決定できる。
【0143】
３．アフィン動き補償予測
【0144】
ＨＥＶＣでは、動き補償予測（ＭＣＰ）に適用できるのは並進動きモデルのみである。現実の世界では、ズームイン／アウト、回転、遠近法の動きおよびその他の不規則な動きを含むさまざまな種類の動きがある。ＶＴＭ３では、ブロックベースのアフィン変換動き補償予測が適用される。図１３および図１４に示されるように、ブロックのアフィン動きフィールドは、２つの制御点動きベクトル（つまり、４パラメータ）または３つの制御点動きベクトル（つまり、６パラメータ）によって記述されることができる。
【0145】
一部の例では、現在ブロックがサブブロックに分割される。サブブロックでは、位置が選択され、選択された位置の動きベクトルは、サブブロックの動きベクトルフィールド（ＭＶＦ）と呼ぶ。一例では、サブブロックはアフィン補償の最小単位である。サブブロックのＭＶＦは、現在ブロックの制御点での動きベクトルに基づいて決定できる。
【0146】
図１３は、本開示の一部の実施形態による、現在ブロックと、現在ブロックの２つの制御点ＣＰ０およびＣＰ１との図を示す。図１３に示されるように、ＣＰ０は、現在ブロックの左上隅に位置する制御点であり、動きベクトルＭＶ０＝（ｍｖ０ｘ，ｍｖ０ｙ）を有し、ＣＰ１は、現在ブロックの右上隅に位置する制御点であり、動きベクトルＭＶ１＝（ｍｖ１ｘ，ｍｖ１ｙ）を有する。サブブロックについて選択された位置が（ｘ，ｙ）の場合（（ｘ，ｙ）は現在ブロックの左上隅に対する相対的な位置である）、サブブロックのＭＶＦは、ＭＶ＝（ｍｖｘ，ｍｖｙ）であり、次の式を用いて計算できる。
ただし、Ｗは、現在ブロックの幅と高さを示す（例えば、現在ブロックは正方形状を有する）。
【数1】
【0147】
図１４は、本開示の一部の実施形態による、現在ブロックと、現在ブロックの３つの制御点ＣＰ０、ＣＰ１およびＣＰ２の図を示す。図１４に示されるように、ＣＰ０は、現在ブロックの左上隅に位置する制御点であり、動きベクトルＭＶ０＝（ｍｖ０ｘ，ｍｖ０ｙ）を有し、ＣＰ１は、現在ブロックの右上隅に位置する制御点であり、動きベクトルＭＶ１＝（ｍｖ１ｘ，ｍｖ１ｙ）を有し、ＣＰ２は、現在ブロックの右下隅に位置する制御点であり、動きベクトルＭＶ２＝（ｍｖ２ｘ，ｍｖ２ｙ）を有する。サブブロックについて選択された位置が（ｘ，ｙ）の場合（（ｘ，ｙ）は現在ブロックの左上隅に対する相対的な位置である）、サブブロックのＭＶＦは、ＭＶ＝（ｍｖｘ，ｍｖｙ）であり、（式２）を用いて計算できる。
ただし、Ｗは現在ブロックの幅を示し、Ｈと高さは現在ブロックの高さを示す。
【数2】
【0148】
動き補償予測を簡略化するために、ブロックベースのアフィン変換予測を適用できる。各４×４ルマサブブロックの動きベクトルを導出するために、図１５に示されるように、各サブブロックの中央サンプルの動きベクトルは、上記の式に従って計算され、１／１６の分数精度に丸められる。次に、動き補償補間フィルタを適用して、導出された動きベクトルを有する各サブブロックの予測を生成することができる。クロマ成分のサブブロックのサイズも４×４に設定できる。４×４クロマサブブロックのＭＶは、４つの対応する４×４ルマサブブロックのＭＶの平均として計算できる。
【0149】
本開示の一態様によれば、複数の隣接するアフィン符号化ブロックからのモデルベースのアフィン予測、または、複数の隣接するＭＶからの複数の制御点ベースのアフィン予測のいずれかを用いて、現在ブロックに対するアフィン予測子を生成するために、様々な手法を用いることができる。
【0150】
３．１ アフィンマージ予測
【0151】
一部の実施形態によれば、ＡＦ_ＭＥＲＧＥモードは、幅および高さの両方が８以上であるＣＵに適用され得る。このモードでは、現在のＣＵの制御点動きベクトル（ＣＰＭＶ）は、空間的に隣接するＣＵの動き情報に基づいて生成され得る。最大５つの制御点動きベクトル予測子（ＣＰＭＶＰ）候補が存在する可能性があり、現在のＣＵに使用されるべきＣＰＭＶＰを示すように、インデックスがシグナリングされ得る。
【0152】
一部の実施形態では、以下の３つのタイプのＣＰＭＶ候補は、アフィンマージ候補リストを形成するために用いられる。
（ｉ）隣接ＣＵのＣＰＭＶから外挿される、継承されたアフィンマージ候補、
（ｉｉ）隣接ＣＵの並進ＭＶを用いて導出される、構築されたアフィンマージ候補ＣＰＭＶＰs、および
（ｉｉｉ）ゼロＭＶ。
（ｉ）隣接ＣＵのＣＰＭＶから外挿される、継承されたアフィンマージ候補、
（ｉｉ）隣接ＣＵの並進ＭＶを用いて導出される、構築されたアフィンマージ候補ＣＰＭＶＰs、および
（ｉｉｉ）ゼロＭＶ。
【0153】
一部の実施形態によれば、ＶＴＭ３には最大で２つの継承されたアフィン候補があり得、これらは、隣接ブロックのアフィン動きモデルから導出され得る。これらの２つの継承された候補は、左側の隣接するＣＵからの１つと、上記隣接するＣＵからの１つを含み得る。一例として、候補ブロックは、図８に示される候補ブロックであり得る。左側の予測子について、スキャン順序は、Ａ０→Ａ１であり得、上記予測子について、スキャン順序はＢ０→Ｂ１→Ｂ２であり得る。一部の実施形態では、各側から最初に継承された候補のみが選択され、２つの継承された候補の間で刈り取り検査が実行されない。隣接するアフィンＣＵが識別されると、このＣＵの制御点動きベクトルを用いて、現在のＣＵのアフィンマージリストでＣＰＭＶＰ候補を導出することができる。図１６は、現在ブロック１６００を示し、隣接する左下のブロックＡがアフィンモードで符号化される場合、ブロックＡを含むＣＵ１６０２の左上隅、右上隅および左下隅の動きベクトルｖ２、ｖ３およびｖ４が達成される。ブロックＡが４パラメータアフィンモデルで符号化される場合、現在のＣＵの２つのＣＰＭＶは、ｖ２およびｖ３に従って計算できる。ブロックＡが６パラメータアフィンモデルで符号化される場合、現在のＣＵの３つのＣＰＭＶは、ｖ２、ｖ３およびｖ４に従って計算できる。
【0154】
一部の実施形態によれば、構築されたアフィン候補は、各制御点の隣接する並進動き情報を組み合わせることによって構築され得る。図１７に示されるように、制御点の動き情報は、現在ブロック１７００の指定された空間的隣接要素および時間的隣接要素（つまり、「Ｔ」）から導出され得る。ＣＰＭＶｋ（ｋ＝１、２、３、４）は、ｋ番目の制御点を表し得る。ＣＰＭＶ１について、Ｂ２→Ｂ３→Ａ２ブロックをチェックし得、最初に利用可能なブロックのＭＶを使用し得る。ＣＰＭＶ２について、Ｂ１→Ｂ０ブロックを検査し得、ＣＰＭＶ３について、Ａ１→Ａ０ブロックをチェックし得る。ＴＭＶＰが利用可能な場合、ＴＭＶＰはＣＰＭＶ４として使用し得る。
【0155】
一部の実施形態では、４つの制御点のＭＶが達成された後、これらの制御点の動き情報に基づいてアフィンマージ候補が構築され得る。制御点ＭＶの次の組み合わせ例は、ブロックを構築するために使用され得る。｛ＣＰＭＶ１、ＣＰＭＶ２、ＣＰＭＶ３｝、｛ＣＰＭＶ１、ＣＰＭＶ２、ＣＰＭＶ４｝、｛ＣＰＭＶ１、ＣＰＭＶ３、ＣＰＭＶ４｝、｛ＣＰＭＶ２、ＣＰＭＶ３、ＣＰＭＶ４｝、｛ＣＰＭＶ１、ＣＰＭＶ２｝および｛ＣＰＭＶ１、ＣＰＭＶ３｝
【0156】
３つのＣＰＭＶの組み合わせは、６パラメータアフィンマージ候補を構築し、２つのＣＰＭＶの組み合わせは、４パラメータアフィンマージ候補を構築する。一部の実施形態では、動きスケーリングプロセスを回避するために、制御点の参照インデックスが異なる場合、制御点ＭＶの関連する組み合わせは破棄される。
【0157】
継承されたアフィンマージ候補と構築されたアフィンマージ候補とがチェックされた後、リストがまだ満杯でない場合は、ゼロＭＶがリストの最後に挿入され得る。
【0158】
３．２ アフィンＡＭＶＰ予測
【0159】
一部の実施形態では、アフィンＡＭＶＰモードは、幅および高さの両方が１６以上であるＣＵに適用できる。ＣＵレベルでのアフィンフラグをビットストリームでシグナリングしてアフィンＡＭＶＰモードが使用されるか否かを示し、次に、別のフラグをシグナリングして４パラメータアフィンまたは６パラメータアフィンが使用されるか否かを示す。現在のＣＵのＣＰＭＶとそれらの予測子の差は、ビットストリームでシグナリングされる。アフィンＡＶＭＰ候補リストのサイズは２であり得、次の４つのタイプのＣＰＶＭ候補を順番に用いて生成され得る。
（ｉ）隣接ＣＵのＣＰＭＶから外挿される、継承されたアフィンＡＶＭＰ候補、
（ｉｉ）隣接ＣＵの並進ＭＶを用いて導出される、構築されたアフィンＡＶＭＰ候補、
（ｉｉｉ）隣接するＣＵからの並進ＭＶ、および
（ｉｖ）ゼロＭＶ。
（ｉ）隣接ＣＵのＣＰＭＶから外挿される、継承されたアフィンＡＶＭＰ候補、
（ｉｉ）隣接ＣＵの並進ＭＶを用いて導出される、構築されたアフィンＡＶＭＰ候補、
（ｉｉｉ）隣接するＣＵからの並進ＭＶ、および
（ｉｖ）ゼロＭＶ。
【0160】
一例では、継承されたアフィンＡＭＶＰ候補のチェック順序は、継承されたアフィンマージ候補のチェック順序と同様である。差は、ＡＶＭＰ候補の場合、現在ブロックと同じ参照ピクチャを有するアフィンＣＵが考慮されることである。一部の実施形態では、継承されたアフィン動き予測子を候補リストに挿入するときに、刈り取りプロセスが適用されない。
【0161】
構築されたＡＭＶＰ候補は、図１７に示される指定された空間的隣接要素から導出される。アフィンマージ候補の構築と同じチェック順序が利用される。さらに、隣接ブロックの参照ピクチャインデックスもチェックされる。インター符号化され、且つ現在のＣＵと同じ参照ピクチャを有するチェック順序での第１のブロックが使用される。現在のＣＵが４パラメータアフィンモデルで符号化され、且つＣＰＭＶ０とＣＰＭＶ１の両方が利用可能である場合、利用可能なＣＰＭＶが１つの候補としてアフィンＡＭＶＰリストに追加される。現在のＣＵが６パラメータアフィンモードで符号化され、且つ３つのＣＰＭＶ（ＣＰＭＶ０、ＣＰＭＶ１およびＣＰＭＶ２）が全て利用可能な場合、利用可能なＣＰＭＶが１つの候補としてアフィンＡＭＶＰリストに追加される。それ以外の場合、構築されたＡＭＶＰ候補は利用不可として設定される。
【0162】
継承されたアフィンＡＭＶＰ候補と構築されたＡＭＶＰ候補がチェックされた後、アフィンＡＭＶＰリスト候補がまだ２未満の場合、利用可能なときに、制御点に隣接する並進動きベクトルが追加されて現在のＣＵの全ての制御点ＭＶが予測される。最後に、ゼロＭＶは、アフィンＡＭＶＰリストがまだ満杯でない場合、アフィンＡＭＶＰリストを埋めるために用いられる。
【0163】
４．サブブロックベースの時間的動きベクトル予測子（ＳｂＴＭＶＰ）
【0164】
一部の実施形態によれば、ＨＥＶＣの時間的動きベクトル予測（ＴＭＶＰ）と同様に、ＶＴＭによってサポートされているサブブロックベースの時間的動きベクトル予測（ＳｂＴＭＶＰ）方法は、コロケートピクチャでの動きフィールドを用いて、現在ピクチャでのＣＵのための動きベクトル予測とマージモードを改善することができる。ＴＭＶＰで使用されるのと同じコロケートピクチャがＳｂＴＶＭＰに使用され得る。ＳｂＴＭＶＰは、以下の２つの主な点でＴＭＶＰとは異なる。（１）ＴＭＶＰはＣＵレベルで動きを予測するが、ＳｂＴＭＶＰはサブＣＵレベルで動きを予測する。（２）ＴＭＶＰは、コロケートピクチャにおけるコロケートブロックから時間的動きベクトルをフェッチし（コロケートブロックは、現在のＣＵに対して右下または中央のブロックである）、ＳｂＴＭＶＰは、コロケートピクチャから時間的動き情報をフェッチする前に動きシフトを適用し、動きシフトは、現在のＣＵの空間的隣接ブロックの１つからの動きベクトルから取得される。
【0165】
ＳｂＴＶＭＰプロセスは、図１８および図１９に示される。一部の実施形態では、ＳｂＴＭＶＰは、２つのステップで現在のＣＵ内のサブＣＵの動きベクトルを予測する。第１のステップでは、図１８に示されるように、現在ブロック（１８００）の空間的隣接要素は、Ａｌ、Ｂ１、Ｂ０およびＡ０の順序で調べられる。コロケートピクチャを参照ピクチャとして用いる動きベクトルを有する第１の利用可能な空間的隣接ブロックが識別されると、この動きベクトルが、適用されるべき動きシフトとして選択される。そのような動きベクトルが空間的隣接要素から識別されない場合、動きシフトは（０、０）に設定される。
【0166】
第２のステップでは、図１９に示されるように、第１のステップで識別された動きシフトは、コロケートピクチャからサブＣＵレベルの動き情報（例えば、動きベクトルおよび参照インデックス）を取得するために適用される（つまり、現在ブロックの座標に追加される）。図１９の例は、動きシフト（１９４９）が空間的隣接ブロックＡｌ（１９４３）の動きベクトルに設定されると仮定する。次に、現在ピクチャ（１９４１）の現在ブロック（１９４２）内の現在のサブＣＵ（例えば、サブＣＵ（１９４４））について、コロケートピクチャ（１９５１）のコロケートブロック（１９５２）内の対応するコロケートサブＣＵ（例えば、コロケートサブＣＵ（１９５４））の動き情報は、現在のサブＣＵの動き情報を導出するために用いられる。対応するコロケートサブＣＵ（例えば、コロケートサブＣＵ（１９５４））の動き情報は、ＨＥＶＣのＴＭＶＰプロセスと同様の方法で、現在のサブＣＵ（例えば、サブＣＵ（１９４４））の動きベクトルと参照インデックスに変換され、時間的モーションスケーリングは、時間的動きベクトルの参照ピクチャを現在のＣＵの参照ピクチャに整合するために適用される。
【0167】
一部の実施形態によれば、ＳｂＴＶＭＰ候補とアフィンマージ候補の両方を含む組み合わせられたサブブロックベースのマージリストは、サブブロックベースのマージモードで用いることができる。ＳｂＴＶＭＰモードは、シーケンスパラメータセット（ＳＰＳ）フラグによって有効／無効化される。ＳｂＴＭＶＰモードが有効になる場合、ＳｂＴＭＶＰ予測子は、サブブロックベースのマージリストの第１のエントリとして追加され、その後にアフィンマージ候補が続く。一部の応用では、サブブロックベースのマージリストの最大許容サイズは５である。ＳｂＴＭＶＰで使用されるサブＣＵのサイズは、例えば、８×８に固定される。アフィンマージモードの場合と同様に、ＳｂＴＭＶＰモードは、幅と高さの両方が８以上の場合にのみＣＵに適用できる。
【0168】
追加のＳｂＴＭＶＰマージ候補のエンコードロジックは、他のマージ候補のエンコードロジックと同じである。つまり、ＰまたはＢスライス内の各ＣＵについて、追加のレート歪み（ＲＤ）チェックは、ＳｂＴＭＶＰ候補を用いるか否かを決定するために実行される。
【0169】
５．三角予測
【0170】
一部の実施形態では、三角予測モード（ＴＰＭ）をインター予測に用いることができる。一実施形態では、ＴＰＭは、サイズが８×８サンプル以上であり、かつスキップまたはマージモードで符号化されるＣＵに適用される。一実施形態では、これらの条件を満たす（サイズが８×８サンプル以上であり、かつスキップまたはマージモードで符号化される）ＣＵの場合、ＴＰＭが適用されるか否かを示すようにＣＵレベルのフラグがシグナリングされる。
【0171】
図２０に示されるように、ＴＰＭが使用される場合、一部の実施形態では、ＣＵは、対角分割または反対角分割のいずれかを用いて、２つの三角形状のパーティションに均等にスプリットされる。図２０では、第１のＣＵ（２０１０）は、左上隅から右下隅にスプリットされて、２つの三角予測ユニットＰＵ１とＰＵ２が得られる。第２のＣＵ（２０２０）は、右上隅から左下隅にスプリットされて、２つの三角予測ユニットＰＵ１とＰＵ２が得られる。ＣＵ（２０１０）または（２０２０）の各三角予測ユニットＰＵ１またはＰＵ２は、独自の動き情報を用いてインター予測される。一部の実施形態では、各三角予測ユニットに対して片予測のみが許容される。したがって、各三角予測ユニットは、１つの動きベクトルおよび１つの参照ピクチャインデックスを有する。片予測動き制約を適用して、従来の双予測方法と同様に、各ＣＵに対して２つ以下の動き補正予測が実行されることを確保することができる。これにより、処理の複雑さを削減することができる。各三角予測ユニットの片予測動き情報は、片予測マージ候補リストから導出できる。一部の他の実施形態では、各三角予測ユニットに対して双予測が許容される。したがって、各三角予測ユニットの双予測動き情報は、双予測マージ候補リストから導出できる。
【0172】
一部の実施形態では、ＣＵレベルフラグが、現在のＣＵがＴＰＭを用いて符号化されることを示す場合、三角分割インデックスと呼ぶインデックスがさらにシグナリングされる。例えば、三角分割インデックスは、［０、３９］の範囲内の値を有する。この三角分割インデックスを用いて、三角分割の方向（対角または反対角）、および各分割の動き情報（例えば、それぞれの片予測候補リストへのマージインデックス（またはＴＰＭインデックスと呼ぶ））は、デコーダ側のルックアップテーブルから取得されることができる。得られた動き情報に基づいて三角予測ユニットのそれぞれを予測した後、一実施形態では、現在のＣＵの対角または反対角エッジに沿ったサンプル値は、適応重みを用いてブレンディングプロセスを実行することによって調整される。ブレンディングプロセスの結果として、ＣＵ全体の予測信号を取得できる。その後、変換および量子化プロセスは、他の予測モードと同様の方法でＣＵ全体に適用できる。最後に、三角分割モードを用いて予測されたＣＵの動きフィールドは、例えば、ＣＵから分割された４×４ユニットのセットに動き情報を記憶することによって作成されることができる。動きフィールドは、例えば、後続の動きベクトル予測プロセスで用いられ、マージ候補リストを構築することができる。
【0173】
５．１ 片予測候補リストの構築
【0174】
一部の実施形態では、ＴＰＭで処理された符号化ブロックの２つの三角予測ユニットを予測するためのマージ候補リストは、符号化ブロックの空間的および時間的隣接ブロックのセットに基づいて構築されることができる。このようなマージ候補リストは、ＴＰＭ候補がここにリストされているＴＰＭ候補リストと呼ぶことがある。一実施形態では、マージ候補リストは、片予測候補リストである。一実施形態では、片予測候補リストは、５つの片予測動きベクトル候補を含む。例えば、５つの片予測動きベクトル候補は、５つの空間的隣接ブロック（図２１において１～５の番号でラベル付けされている）および２つの時間的コロケートブロック（図２１において６～７の番号でラベル付けされている）を含む７つの隣接ブロックから導出される。
【0175】
一例では、７つの隣接ブロックの動きベクトルを収集し、且つ次の順序に従って片予測候補リストに入れる。まず、片予測された隣接ブロックの動きベクトル。次に、双予測された隣接ブロックについて、Ｌ０動きベクトル（つまり、双予測ＭＶのＬ０動きベクトル部分）、Ｌ１動きベクトル（つまり、双予測ＭＶのＬ１動きベクトル部分）、および双予測ＭＶのＬ０とＬ１動きベクトルの平均動きベクトル。一例では、候補の数が５未満の場合、ゼロ動きベクトルがリストの最後に追加される。一部の他の実施形態では、マージ候補リストは、図１４に示されるものと同じまたは異なる候補位置から選択される５つ未満または５つを超える片予測または双予測マージ候補を含み得る。
【0176】
５．２ ルックアップテーブルおよびテーブルインデックス
【0177】
一実施形態では、ＣＵは、５つのＴＰＭ候補を含むＴＰＭ（またはマージ）候補リストを有する三角分割モードで符号化される。したがって、各三角ＰＵのために５つのマージ候補が使用される場合、ＣＵを予測するための４０個の可能な方法がある。つまり、スプリット方向とマージ（またはＴＰＭ）インデックスとの４０個の異なる組み合わがある。２（可能なスプリット方向）×（５（第１の三角予測ユニットの可能なマージインデックス）×５（第２の三角予測ユニットの可能なマージインデックス）－５（第１と第２の予測ユニットのペアが同じマージインデックスを共有する場合の多くの可能性））。例えば、２つの三角予測ユニットに対して同じマージインデックスが決定される場合、ＣＵを、三角予測モードの代わりに通常のマージモードを用いて処理することができる。
【0178】
したがって、一実施形態では、［０、３９］の範囲の三角パーティションインデックスを用いて、ルックアップテーブルに基づいて４０個の組み合わせのうちのどれが使用されるかを表すことができる。図２２は、スプリット方向とマージインデックスを三角パーティションインデックスに基づいて導出するために用いられるルックアップテーブル（２２００）の一例を示す。ルックアップテーブル（２２００）に示されるように、第１の行（２２０１）は、０～３９の範囲内の三角パーティションインデックスを含む。第２の行（２２０２）は、０または１で表される可能なスプリット方向を含む。第３の行（２２０３）は、第１の三角予測ユニットに対応する、０～４の範囲内の可能な第１のマージインデックスを含む。第４の行２２０４は、第２の三角予測ユニットに対応する、０～４の範囲内の可能な第２のマージインデックスを含む。
【0179】
例えば、値が１の三角パーティションインデックスがデコーダで受信される場合、ルックアップテーブル（２２００）の列（２２２０）に基づいて、スプリット方向は値１によって表されるパーティション方向であり、第１および第２のマージインデックスはそれぞれ０および１であると決定することができる。三角パーティションインデックスがルックアップテーブルに関連付けられるため、この開示では、三角パーティションインデックスはテーブルインデックスとも呼ぶ。
【0180】
５．３ 三角パーティションエッジに沿ったブレンディング
【0181】
一実施形態では、それぞれの動き情報を用いて各三角予測ユニットを予測した後、ブレンディングプロセスを２つの三角予測ユニットの２つの予測信号に適用して、対角または反対角エッジの周りのサンプルを導出する。ブレンディングプロセスは、２つの三角予測ユニット間の動きベクトル差分に応じて、２つのグループの重み係数の間に適応的に選択する。一実施形態では、２つの重み係数グループは以下の通りである。
（１）第１の重み係数グループとして、ルマ成分のサンプルについての｛７／８、６／８、４／８、２／８、１／８｝とクロマ成分のサンプルについての｛７／８、４／８、１／８｝。
（２）第２の重み係数グループとして、ルマ成分のサンプルについての｛７／８、６／８、５／８、４／８、３／８、２／８、１／８｝とクロマ成分のサンプルについての｛６／８、４／８、２／８｝。
第２の重み係数グループは、より多くのルマ重み係数を有し、より多くのルマサンプルを、パーティションエッジに沿ってブレンディングする。
（１）第１の重み係数グループとして、ルマ成分のサンプルについての｛７／８、６／８、４／８、２／８、１／８｝とクロマ成分のサンプルについての｛７／８、４／８、１／８｝。
（２）第２の重み係数グループとして、ルマ成分のサンプルについての｛７／８、６／８、５／８、４／８、３／８、２／８、１／８｝とクロマ成分のサンプルについての｛６／８、４／８、２／８｝。
第２の重み係数グループは、より多くのルマ重み係数を有し、より多くのルマサンプルを、パーティションエッジに沿ってブレンディングする。
【0182】
一実施形態では、以下の条件を用いて、２つの重み係数グループのうちの１つを選択する。２つの三角パーティションの参照ピクチャが互いに異なる場合、または２つの三角パーティション間の動きベクトル差分が閾値（例えば、１６個のルマサンプル）よりも大きい場合、第２の重み係数グループが選択される。そうでない場合、第１の重み係数グループが選択される。
【0183】
図２３は、第１の重み係数グループを適用するＣＵの例を示す。示されるように、第１の符号化ブロック（２３０１）は、ルマサンプルを含み、第２の符号化ブロック（２３０２）は、クロマサンプルを含む。符号化ブロック（２３０１）または（２３０２）における対角エッジに沿った画素のセットは、重み係数７／８、６／８、４／８、２／８および１／８にそれぞれ対応する番号１、２、４、６および７でラベル付けされる。例えば、番号２がラベル付けされた画素について、レンディング操作後の画素のサンプル値は、ブレンディングされたサンプル値＝２／８×Ｐ１＋６／８×Ｐ２に従って取得されることができる。
ただし、Ｐ１、Ｐ２は、それぞれの画素でのサンプル値を示すが、それぞれ第１の三角予測ユニットおよび第２の三角予測ユニットの予測に属する。
ただし、Ｐ１、Ｐ２は、それぞれの画素でのサンプル値を示すが、それぞれ第１の三角予測ユニットおよび第２の三角予測ユニットの予測に属する。
【0184】
６．組み合わせられたインターとイントラ予測（ＣＩＩＰ）
【0185】
ＶＴＭ３では、マージモードでＣＵが符号化される場合、且つＣＵが少なくとも６４個のルマサンプル（つまり、ＣＵの高さとＣＵの幅の積は６４以上である）を含む場合、組み合わせられたインター/イントラ予測（ＣＩＩＰ）モードが現在のＣＵに適用されるか否かを示すように追加のフラグがシグナリングされる。
【0186】
ＣＩＩＰ予測を形成するために、まず、２つの追加のシンタックス要素からイントラ予測モードを導出する。最大４つの可能なイントラ予測モード（ＤＣ、平面、水平または垂直）を使用できる。次に、インター予測およびイントラ予測信号を、通常のイントラおよびインターデコードプロセスを用いて導出することができる。最後に、インターとイントラ予測信号の加重平均を実行してＣＩＩＰ予測を取得することができる。
【0187】
６．１ イントラ予測モード導出
【0188】
一実施形態では、ＤＣ、平面、水平および垂直モードを含む最大４つのイントラ予測モードを用いて、ＣＩＩＰモードでのルマ成分を予測することができる。ＣＵ形状が非常に広い場合（つまり、幅が高さの２倍を超える場合）、水平モードが許容されない。ＣＵ形状が非常に狭い場合（つまり、高さが幅の２倍を超える場合）、垂直モードが許容されない。これらの場合、３つのイントラ予測モードのみが許容される。
【0189】
ＣＩＩＰモードは、イントラ予測に３つの最も可能性の高いモード（ＭＰＭ）を用いる。ＣＩＩＰ ＭＰＭ候補リストは次のように形成される。
（ｉ）左側と上部の隣接ブロックは、それぞれＡとＢとして設定される。
（ｉｉ）それぞれｉｎｔｒａＭｏｄｅＡとｉｎｔｒａＭｏｄｅＢとして示されるブロックＡとブロックＢのイントラ予測モードは、次のように導出される。
ａ．ＸをＡまたはＢとし、
ｂ．１）ブロックＸが利用可能でない場合、または２）ブロックＸがＣＩＩＰモードまたはイントラモードを用いて予測されない場合、または３）ブロックＸが現在のＣＴＵの外にある場合、ｉｎｔｒａＭｏｄｅＸはＤＣに設定され、
ｃ．それ以外の場合、ｉｎｔｒａＭｏｄｅＸは、１）ブロックＸのイントラ予測モードがｄｃまたは平面の場合にｄｃまたは平面に設定され、または２）ブロックＸのイントラ予測モードが「垂直のような」角度モード（例えば、３４より大きい）の場合に垂直に設定され、または３）ブロックＸのイントラ予測モードが「水平のような」角度モード（例えば、３４以下）の場合、水平に設定される。
（ｉｉｉ）ｉｎｔｒａＭｏｄｅＡとｉｎｔｒａＭｏｄｅＢが同じである場合、
ａ．ｉｎｔｒａＭｏｄｅＡが平面またはｄｃの場合、３つのＭＰＭはこの順序で｛平面、ｄｃ、垂直｝に設定され、
ｂ．それ以外の場合、３つのＭＰＭはこの順序で｛ｉｎｔｒａＭｏｄｅＡ、平面、ｄｃ｝に設定される。
（ｉｖ）それ以外の場合（つまり、ｉｎｔｒａＭｏｄｅＡとｉｎｔｒａＭｏｄｅＢが異なる）、
ａ．最初の２つのＭＰＭは、この順序で｛ｉｎｔｒａＭｏｄｅＡ、ｉｎｔｒａＭｏｄｅＢ｝に設定され、
ｂ．平面、ｄｃ、及び垂直の一意性は、最初の２つのＭＰＭ候補モードに対してこの順序でチェックされ、一意のモードが見つかるとすぐに、第３のＭＰＭとして追加される。
（ｉ）左側と上部の隣接ブロックは、それぞれＡとＢとして設定される。
（ｉｉ）それぞれｉｎｔｒａＭｏｄｅＡとｉｎｔｒａＭｏｄｅＢとして示されるブロックＡとブロックＢのイントラ予測モードは、次のように導出される。
ａ．ＸをＡまたはＢとし、
ｂ．１）ブロックＸが利用可能でない場合、または２）ブロックＸがＣＩＩＰモードまたはイントラモードを用いて予測されない場合、または３）ブロックＸが現在のＣＴＵの外にある場合、ｉｎｔｒａＭｏｄｅＸはＤＣに設定され、
ｃ．それ以外の場合、ｉｎｔｒａＭｏｄｅＸは、１）ブロックＸのイントラ予測モードがｄｃまたは平面の場合にｄｃまたは平面に設定され、または２）ブロックＸのイントラ予測モードが「垂直のような」角度モード（例えば、３４より大きい）の場合に垂直に設定され、または３）ブロックＸのイントラ予測モードが「水平のような」角度モード（例えば、３４以下）の場合、水平に設定される。
（ｉｉｉ）ｉｎｔｒａＭｏｄｅＡとｉｎｔｒａＭｏｄｅＢが同じである場合、
ａ．ｉｎｔｒａＭｏｄｅＡが平面またはｄｃの場合、３つのＭＰＭはこの順序で｛平面、ｄｃ、垂直｝に設定され、
ｂ．それ以外の場合、３つのＭＰＭはこの順序で｛ｉｎｔｒａＭｏｄｅＡ、平面、ｄｃ｝に設定される。
（ｉｖ）それ以外の場合（つまり、ｉｎｔｒａＭｏｄｅＡとｉｎｔｒａＭｏｄｅＢが異なる）、
ａ．最初の２つのＭＰＭは、この順序で｛ｉｎｔｒａＭｏｄｅＡ、ｉｎｔｒａＭｏｄｅＢ｝に設定され、
ｂ．平面、ｄｃ、及び垂直の一意性は、最初の２つのＭＰＭ候補モードに対してこの順序でチェックされ、一意のモードが見つかるとすぐに、第３のＭＰＭとして追加される。
【0190】
上記のようにＣＵ形状が非常に広いかまたは非常に狭い場合、ＭＰＭフラグはシグナリングなしで１であると推測される。それ以外の場合は、ＭＰＭフラグは、ＣＩＩＰイントラ予測モードがＣＩＩＰ ＭＰＭ候補モードの１つであるか否かを示すようにシグナリングされる。
【0191】
ＭＰＭフラグが１の場合、ＭＰＭインデックスはさらに、ＭＰＭ候補モードのどれがＣＩＩＰイントラ予測で使用されるかを示すようにシグナリングされる。それ以外の場合、ＭＰＭフラグが０の場合、イントラ予測モードは、ＭＰＭ候補リストにおいて「欠落」モードに設定される。例えば、平面モードがＭＰＭ候補リストにない場合、平面は欠落モードであり、イントラ予測モードは平面に設定される。ＣＩＩＰでは４つの可能なイントラ予測モードが許容され、且つＭＰＭ候補リストが３つのイントラ予測モードのみを含むため、４つの可能なモードの１つが欠落モードであり得る。
【0192】
クロマ成分について、ＤＭモードは追加のシグナリングなしで適用される。例えば、クロマはルマと同じ予測モードを用いる。
【0193】
ＣＩＩＰ符号化されたＣＵのイントラ予測モードが保存され、将来の隣接ＣＵのイントラモード符号化で使用される。
【0194】
６．２ インターとイントラ予測信号の組み合わせ
【0195】
ＣＩＩＰモードＰｉｎｔｅｒでのインター予測信号は、通常のマージモードに適用されるのと同じインター予測プロセスを用いて導出され得る。イントラ予測信号Ｐｉｎｔｒａは、通常のイントラ予測プロセスに続くＣＩＩＰイントラ予測モードを用いて導出され得る。次に、イントラとインター予測信号は、加重平均を用いて組み合わせてよく、重み値は、イントラ予測モードに依存し、サンプルは、符号化ブロック内にある。
【0196】
例えば、イントラ予測モードがＤＣまたは平面モードの場合、またはブロックの幅または高さが４より小さい場合、等しい重みがイントラ予測とインター予測信号に適用される。
【0197】
それ以外の場合、重みは、イントラ予測モード（この場合は水平モードまたは垂直モード）とブロックにおけるサンプル位置に基づいて決定される。水平予測モード（垂直モードの重みが同様に導出されるが、直交方向に導出される）では、Ｗはブロックの幅、Ｈはブロックの高さである。符号化ブロックは、最初に、それぞれの寸法が（Ｗ／４）×Ｈの４つの等面積部分にスプリットされる。イントラ予測参照サンプルに最も近い部分から開始し、イントラ予測参照サンプルから最も遠い部分で終わり、４つの領域のそれぞれの重みｗｔは、それぞれ６、５、３および２に設定される。最終的なＣＩＩＰ予測信号は、次の式を用いて導出されることができる。
【数3】
【0198】
７．織り込みアフィン予測
【0199】
一部の実施形態では、織り込みアフィン予測が使用される。例えば、図２４に示されるように、１６×１６サンプルのサイズを有する現在ブロック（２４１０）は、パターン０（２４２０）とパターン１（２４３０）の２つの異なる分割パターンを有するサブブロックに分割される。パターン０（２４２０）に関して、現在ブロック（２４１０）は、４×４の等しいサイズを有するサブブロック（２４２１）に分割される。対照的に、パターン１（２４３０）は、現在ブロック（２４１０）の右下隅に向かって、パターン０（２４２０）に対して２×２のオフセットだけシフトされる。パターン１（２４３０）に関して、現在ブロック（２４１０）は、それぞれが４×４のサイズを有する全体のサブブロック（２４３１）と、それぞれが４×４のサイズよりも小さいサイズを有する部分的なサブブロック（２４３２）とに分割される。図２４において、部分的なサブブロック（２４３２）は、全体のサブブロック（２４３１）によって形成された影付きでない領域を囲む影付き領域を形成する。
【0200】
続いて、２つの分割パターン（２４２０）と（２４３０）に対応する２つの補助予測Ｐ０（２４４０）とＰ１（２４５０）は、アフィン動き補償（ＡＭＣ）によって生成される。例えば、サブブロックベースのマージ候補リスト上のアフィンマージ候補からアフィンモデルを決定することができる。パターン０（２４２０）および（２４３０）から分割された各サブブロックのＭＶは、アフィンモデルに基づいて導出できる。例えば、各ＭＶは、それぞれのサブブロックの中央位置から開始できる。
【0201】
その後、最終的な予測（２４７０）は、２つの予測Ｐ０（２４４０）およびＰ１（２４５０）を組み合わせることによって計算される。例えば、加重平均演算（２４６１）を実行して、次の式に従って、２つの予測Ｐ０（２４４０）およびＰ１（２４５０）での２つの対応するサンプル（Ｐ０およびＰ１で示される）の加重平均を画素ごとに計算できる。
ただし、ω０とω１は、それぞれ２つの予測Ｐ０（２２４０）とＰ１（２２５０）でのコロケートサンプルのペアに対応する重みである。
【数4】
【0202】
一実施形態では、加重平均演算（２４６１）での各サンプルの重みは、図２５に示されるパターン（２５００）に従って決定できる。パターン（２５００）は、サブブロック２５１０（例えば、全体のサブブロック（２４２１）または（２４３１））に含まれる１６個のサンプルを含む。サブブロック（２５１０）の中央に位置する予測サンプルは、重み値３に関連付けられるが、サブブロック（２５１０）の境界に位置する予測サンプルは、重み値１に関連付けられる。サブブロック（２４２１）または（２４３１）内のサンプルの位置に応じて、サンプルに対応する重みは、パターン（２５００）に基づいて決定できる。
【0203】
一実施形態では、小さなブロック動き補償を回避するために、織り込み予測は、図２４に示されるように、２つの分割パターンの両方についてサブブロックのサイズが４×４である領域にのみ適用される。例えば、パターン１（２４３０）の影付き領域では、織り込み予測が適用されず、パターン１（２４３０）の影付きでない領域では、織り込み予測が適用される。
【0204】
一実施形態では、織り込み予測は、クロマ成分およびルマ成分に適用され得る。さらに、全てのサブブロックのＡＭＣに使用される参照ピクチャの領域が全体として一緒にフェッチされるため、メモリアクセス帯域幅は織り込み予測によって増加されない。したがって、追加の読み取り操作は必要でない。
【0205】
さらに、柔軟性のために、フラグをスライスヘッダでシグナリングして織り込み予測が使用されるか否かを示す。一例では、フラグは常に１にシグナリングされる。様々な実施形態では、織り込みアフィン予測を、片予測されたアフィンブロック、または片予測および双予測の両方がなされたアフィンブロックに適用できる。
【0206】
８．ＶＶＣでのインター予測関連のシグナリング
【0207】
８．１ インター予測関連のシンタックス要素
【0208】
表４は、ＶＶＣのＣＵレベルでのインター予測関連のシンタックス要素の一例を示す。アレイインデックスｘ０およびｙ０は、ピクチャの左上のルマサンプルに対する現在の符号化ブロックの左上のルマサンプルの位置（ｘ０，ｙ０）を指定する。
【0209】
表４では、ｃｂＷｉｄｔｈとｃｂＨｅｉｇｈｔは、それぞれ現在の符号化ブロックのルマサンプルの幅と高さを示す。
表４ インター予測関連のシンタックス要素
表４ インター予測関連のシンタックス要素
【表3】
【0210】
８．２ ＣＵレベルでのインター予測関連のセマンティクス
【0211】
表５は、ＣＵレベルでのインター予測関連のセマンティクスを示す。具体的には、inter_pred_idc[x0][y0]は、表５に従って、ｌｉｓｔ０、ｌｉｓｔ１またはｂｉ－ｐｒｅｄｉｃｔｉｏｎが現在の符号化ユニットに使用されるか否かを指定する。表４でのアレイインデックスｘ０およびｙ０は、ピクチャの左上のルマサンプルに対する現在の符号化ブロックの左上のルマサンプルの位置（ｘ０，ｙ０）を指定する。
表５ インター予測関連のセマンティクス
inter_pred_idc[x0][y0]が存在しない場合、PRED_L0と等しいと推測される。
表５ インター予測関連のセマンティクス
【表4】
【0212】
シンタックス要素inter_pred_idcの二値化は、以下の表６に指定される。
表６ inter pred idcの二値化
表６ inter pred idcの二値化
【表5】
【0213】
表４では、ref_idx_10[x0][y0]は、現在の符号化ユニットのリスト０の参照ピクチャインデックスを指定する。アレイインデックスｘ０およびｙ０は、ピクチャの左上のルマサンプルに対する現在の符号化ブロックの左上のルマサンプルの位置（ｘ０，ｙ０）を指定する。ref_idx_10[x0][y0]が存在しない場合、０に等しいと推測される。一実施形態では、ビットストリーム適合性は、現在のデコードされたピクチャが現在の符号化ブロックの参照ピクチャである場合、inter_pred_idc[x0][y0]が０に等しいことを必要とし得る。
【0214】
９．小サブブロックのサイズを有するアフィン予測
【0215】
上述したように、各４×４サブブロックにアフィンインター予測を適用することができ、各サブブロックは、ＣＰＭＶに由来する自身のＭＶを有する。アフィンインター予測を用いてブロックが予測される場合、通常のインター予測は、ＣＰＭＶから導出されたサブブロックのＭＶを用いてサブブロックに適用され得る。縮小されたサブブロックのサイズを用いることにより、符号化効率はさらに向上し得る。本開示は、ビデオコーデックのアフィンインター予測プロセスのサブブロックのサイズを変更することを説明する。
【0216】
一実施形態では、アフィンインター予測におけるサブブロックのサイズは、４×４サンプルとして設定される。しかしながら、動き補償のためのサブブロックのサイズは、より小さな矩形に設定され得、サブブロックの幅は、図２６に示されるように、サブブロックの高さよりも大きく、例えば４×２である。図２６では、現在ブロック（２６００）は、左上のサブブロック（２６１０）を含む１６個の４×４サブブロックに分割される。アフィンインター予測は、各４×４サブブロックに適用できる。一実施形態では、サブブロックのサイズを４×２サンプルに減らすことができる。例えば、現在ブロック（２６２０）を、左上のサブブロック（２６３０）を含む３２個の４×２サブブロックに分割できる。アフィンインター予測を、現在ブロック（２６２０）の各４×２サブブロックに適用できる。
【0217】
小／縮小サブブロックのサイズは４×２サンプルに限定されず、２×４、４×１、１×４、２×１または１×２などの他のサイズをも設定し、且つ動き補償に用いることができる。
【0218】
一実施形態では、４×２サンプルなどの小サブブロックのサイズが使用される場合、補間に使用されるサブブロックの動きベクトルは、本開示のセクション３に開示されたのと同様の方法でＣＰＭＶから導出され得る。例えば、補間に使用される小サブブロック（２６３０）の動きベクトルは、式１または式２を用いて現在ブロック（２６２０）のＣＰＭＶから導出され得る。具体的には、現在ブロック（２６２０）内の各小サブブロックの中央サンプルの動きベクトルは、式１または式２を用いて導出されてもよく、且つ１／１６の分数精度に丸められてもよい。動き補償補間フィルタを適用して、導出された動きベクトルを用いて各小サブブロックの予測を生成することができる。
【0219】
一実施形態では、現在ブロック内の各４×４サブブロックのサブブロック動きベクトルを記憶するために、現在ブロック内の各４×４サブブロックの動きベクトルを導出し、各４×４サブブロックのサブブロック動きベクトルとして記憶することができる。記憶された４×４ブロックの動きベクトルは、隣接ブロックのマージモードに使用され得る。エンコーダとデコーダは、動き補償を実行しながら、各小サブブロックの動きベクトルを導出することができる。
【0220】
一実施形態では、現在ブロック内の各４×４サブブロックのサブブロック動きベクトルを記憶するために、各４×４ブロック内の左上の小サブブロックの動きベクトルを記憶し、各４×４ブロックの動きベクトルとして用いる。左上の小サブブロックは、左上のサンプルを含む小サブブロックを指し得る。記憶された４×４ブロックの動きベクトルは、隣接ブロックのマージモードに使用され得る。エンコーダとデコーダは、動き補償を実行しながら、各小サブブロックの動きベクトルを導出することができる。
【0221】
一実施形態では、現在ブロック内の各４×４サブブロックのサブブロック動きベクトルを記憶するために、各４×４ブロック内の右下の小サブブロックの動きベクトルを記憶し、各４×４ブロックの動きベクトルとして用いる。右下の小サブブロックは、右下のサンプルを含む小サブブロックを指し得る。記憶された４×４ブロックの動きベクトルは、隣接ブロックのマージモードに使用され得る。エンコーダとデコーダは、動き補償を実行しながら、各小サブブロックの動きベクトルを導出することができる。
【0222】
一実施形態では、現在ブロック内の各４×４サブブロックのサブブロック動きベクトルを記憶するために、各４×４ブロックの中央での小サブブロックの動きベクトルを記憶し、各４×４ブロックの動きベクトルとして用いる。一例では、各４×４ブロックの中央での小サブブロックは、４×４ブロック内の（２，２）位置でのサンプルを含む。他の例では、小サブブロックは、４×４ブロックの（２，２）位置の近傍のサンプルを含み得る。記憶された４×４ブロックの動きベクトルは、隣接ブロックのマージモードに使用され得る。エンコーダとデコーダは、動き補償を実行しながら、各小サブブロックの動きベクトルを導出することができる。
【0223】
アフィンモードに小サブブロックを用いる場合、クロマＭＶは、コロケートルマブロックに基づいて導出され得る。一実施形態では、クロマサブブロックは、コロケートルマブロックサイズに関係なく、一定のサブブロックサイズを有する。一定のサブブロックサイズは、４：２：２クロマフォーマットが使用される場合、２×２ククロマサンプル、または４×４クロマサンプル、または２×４クロマサンプルであり得る。各クロマサブブロックは、１つ以上のコロケートルマサブブロックを有し得る。クロマサブブロックが複数のコロケートルマサブブロックを有する場合、一部の例では、クロマサブブロックのＭＶは、複数のコロケートルマサブブロックの平均ＭＶに基づいて導出され得る。一部の例では、クロマサブブロックのＭＶは、左上のルマサブブロック、中央のルマサブブロックまたは右下のルマサブブロックなど、１つのコロケートルマサブブロックのＭＶから導出され得る。一部の例では、クロマサブブロックのＭＶは、複数のコロケートルマサブブロックのサブセットの加重平均から導出され得る。
【0224】
一実施形態では、小サブブロックアフィンインター予測は、片予測にのみ使用され得る。小サブブロックアフィンインター予測が片予測にのみ使用される場合、メモリ帯域幅が減少され得る。一実施形態では、小サブブロックアフィンインター予測は、片予測および双予測の両方に用いられることができる。
【0225】
一実施形態では、片予測が使用され、且つ８×８ブロックの小サブブロック動き補償のメモリ帯域幅が閾値以下である場合、小サブブロックアフィンが有効になる。それ以外の場合、通常の４×４サブブロックアフィンインター予測が使用される。一例では、８×８アフィンブロックのメモリ帯域幅の閾値は、１５×１５サンプルのメモリ帯域幅に設定され得る。
【0226】
一例では、小サブロックアフィンインター予測が使用される場合、通常の８タップの補間フィルタが水平方向に使用され、より短いタップフィルタが垂直方向に使用され得る。一例では、６タップのフィルタが垂直方向に使用され得る。別の例では、４タップのフィルタが垂直方向に使用され得る。
【0227】
本開示の一実施形態では、フラグ（例えば、small_subblock_affine_flag）は、小サブブロックアフィンインター予測が使用されるか否かを示すように、高レベル（例えば、スライス、タイル、タイルグループ、ピクチャ、シーケンス）でシグナリングされ得る。
【0228】
一実施形態では、ＳＰＳフラグ（例えば、sps_small_subblock_affine_flag）がシグナリングされ得る。このフラグが真の場合、ピクチャレベルまたはタイルグループレベルフラグ（例えば、picture_small_subblock_affine_flag）は、アフィンインター予測のための小サブブロックサイズが現在のデコードされたピクチャまたはタイルグループに使用され得るか否かを示すようにシグナリングされ得る。
【0229】
一実施形態では、アフィンインター予測フラグ（例えば、small_subblock_affine_flag）の小サブブロックサイズは、ピクチャレベル、タイルグループレベル、タイルレベル、ブロックレベルなどの、シーケンスレベルよりも低いレベルでシグナリングされ得る。このような場合、アフィンインター予測フラグの小サブブロックサイズは、シーケンスレベルでシグナリングされるアフィン予測有効化フラグが真である場合にのみシグナリングされ得る。そうでなければ、アフィン予測有効化フラグがシーケンスレベルで偽としてシグナリングされる場合、アフィンインター予測フラグの小サブブロックサイズは偽として推測される。
【0230】
他の実施形態では、アフィン予測のための小サブブロックサイズは、事前定義されたデフォルト設定などの他の方法によって有効化され得、シグナリングされ得ない。
【0231】
図２７は、本開示の一部の実施形態による、小サブブロックアフィン予測プロセス（２７００）を概説するフローチャートを示す。様々な実施形態では、プロセス（２７００）は、端末装置（２１０）、（２２０）、（２３０）および（２４０）における処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路などの処理回路によって実行されることができる。一部の実施形態では、プロセス（２７００）がソフトウェア命令によって実現されるため、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（２７００）を実行する。プロセスは（Ｓ２７０１）から開始し、（Ｓ２７１０）に進む。
【0232】
（Ｓ２７１０）では、符号化されたビデオビットストリームから現在ピクチャにおけるブロックの予測情報をデコードする。予測情報は、インター予測モードにおけるアフィンモデルを示すものである。
【0233】
（Ｓ２７２０）では、アフィンモデルに基づいて、ブロックの制御点の動きベクトルを決定する。アフィンモデルは、２つの制御点の動きベクトルによって記述された４パラメータモデルと、３つの制御点の動きベクトルによって記述された６パラメータモデルとを含む。制御点の動きベクトルは、アフィンマージモードまたはアフィンＡＭＶＰモードを用いて決定され得る。
【0234】
（Ｓ２７３０）では、決定した動きベクトルからブロックのサブブロックの動きベクトルを決定する。例えば、サブブロックは、ブロックの複数のサブブロックのうちの１つであり、複数のサブブロックのそれぞれについて動きベクトルが決定される。サブブロックの幅および高さの１つは４未満である（例えば、４つのルマサンプル）。一実施形態では、ブロックから分割された各サブブロックの動きベクトルを導出するために、各サブブロックの中央サンプルの動きベクトルは式１および式２に従って計算されてもよく、１／１６の分数精度に丸められてもよい。サブブロックのサイズは、４×４サンプルよりも小さくてもよい。つまり、サブブロックの幅および高さの１つが4未満である。例えば、サブブロックのサイズは、４×２サンプルであり得る。
【0235】
（Ｓ２７４０）では、決定した動きベクトルに基づいて、少なくともサブブロックのサンプルを再構築する。処理（２７００）は、（Ｓ２７９９）に進み、且つ終了する。
【0236】
以上で説明された技術は、コンピュータ読取可能な命令を用いるコンピュータソフトウェアとして実現され、１つ以上のコンピュータ読取可能な媒体に物理的に記憶されることができる。例えば、図２８は、開示された主題の特定の実施形態を実施することに適したコンピュータシステム（２８００）を示す。
【0237】
コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、またはそのようなメカニズムを施されて、１つ以上のコンピュータ中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）などによって直接、または解釈、マイクロコード実行などによって実行されることができる命令を含むコードを作成する任意の適切な機械コードまたはコンピュータ言語を用いて符号化されることができる。
【0238】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはそのコンポーネント上で実行されることができる。
【0239】
コンピュータシステム（２８００）について、図２８に示されるコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関していかなる限定を示唆することも意図しない。コンポーネントの構成は、コンピュータシステム（２８００）の例示的な実施形態で示されるコンポーネントのうちのいずれか１つまたは組み合わせに関する任意の依存性または必要性を有するとして解釈されるべきではない。
【0240】
コンピュータシステム（２８００）は、特定のヒューマンインターフェース入力デバイスを含み得る。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャーなど）、嗅覚入力（描画せず）によって、１人以上のユーザによる入力に応答することができる。ヒューマンインターフェースデバイスは、オーディオ（音声、音楽、環境音など）、画像（走査画像、静止画像カメラから取得される写真画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係しない特定のメディアをキャプチャすることにも使用できる。
【0241】
入力ヒューマンインターフェースデバイスは、キーボード（２８０１）、マウス（２８０２）、トラックパッド（２８０３）、タッチスクリーン（２８１０）、データグローブ（図示せず）、ジョイスティック（２８０５）、マイクロフォン（２８０６）、スキャナ（２８０７）、カメラ（２８０８）（それぞれ１つのみ示されている）のうちの１つ以上を含み得る。
【0242】
コンピュータシステム（２８００）は、特定のヒューマンインターフェース出力デバイスをも含み得る。このようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音声、光、および嗅覚／味覚を介して１人以上のユーザの感覚を刺激し得る。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（２８１０）、データグローブ（図示せず）、またはジョイスティック（２８０５）による触覚フィードバックがあるが、入力デバイスとして機能しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（スピーカ（２８０９）、ヘッドホン（示されていない）など）、視覚出力デバイス（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（２８１０）（それぞれタッチスクリーン入力能力を有するかもしくは有せず、それぞれ触覚フィードバック能力を有するかもしくは有しない。それらの一部は、ステレオグラフィック出力などの手段を介して、２次元の視覚出力または３次元以上の出力を出力することができる）、仮想現実眼鏡（示されていない）、ホログラフィックディスプレイおよびスモークタンク（示されていない）など）、およびプリンタ（示されていない）を含み得る。
【0243】
コンピュータシステム（２８００）は、人間がアクセス可能な記憶装置およびそれらの関連する媒体、例えば、ＣＤ／ＤＶＤなどの媒体（２８２１）付きのＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（２８２０）を含む光学媒体、サムドライブ（２８２２）、リムーバブルハードドライブまたはソリッドステートドライブ（２８２３）、テープやフロッピーディスクなどの従来の磁気媒体（示されていない）、セキュリティドングルなどの専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス（示されていない）などをも含むことができる。
【0244】
ここで開示された主題に関連して使用される「コンピュータ読取可能な媒体」という用語は、送信媒体、搬送波、または他の一時的な信号を包含しないことをも当業者が理解するべきである。
【0245】
コンピュータシステム（２８００）は、１つ以上の通信ネットワークへのインターフェースをさらに含むことができる。ネットワークは、例えば、無線、有線、光学的であり得る。ネットワークは、さらに、ローカル、広域、大都市圏、車両用および産業用、リアルタイム、遅延耐性などであり得る。ネットワークの例は、イーサネット、無線ＬＡＮなどのローカルエリアネットワーク、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、および地上放送ＴＶを含むＴＶ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両用や産業用などを含む。特定のネットワークは、一般に、特定の汎用データポートまたは周辺バス（２８４９）（例えば、コンピューターシステム（２８００）のＵＳＢポートなど）に接続された外部ネットワークインターフェースアダプターを必要とする。他のものは一般に、以下で説明するようにシステムバスに接続することにより、コンピュータシステム（２８００）のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを用いて、コンピュータシステム（２８００）は、他のエンティティと通信することができる。このような通信は、単方向、受信のみ（例えば、放送ＴＶ）、単方向の送信のみ（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、または双方向、例えばローカルまたはワイドエリアデジタルネットワークを用いる他のコンピュータシステムへの送信であり得る。特定のプロトコルおよびプロトコルスタックを上述したこれらのネットワークおよびネットワークインターフェースのそれぞれで用いることができる。
【0246】
前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶装置、およびネットワークインターフェースは、コンピュータシステム（２８００）のコア（２８４０）に接続されることができる。
【0247】
コア（２８４０）は、１つ以上の中央処理装置（ＣＰＵ）（２８４１）、グラフィックスプロセッシングユニット（ＧＰＵ）（２８４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（２８４３）の形態での専用プログラマブル処理ユニット、特定のタスクのためのハードウェアアクセラレータ（２８４４）などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（２８４５）、ランダムアクセスメモリ（２８４６）、非ユーザアクセス可能な内部ハードドライブ、ＳＳＤなどの内部大容量記憶装置（２８４７）とともに、システムバス（２８４８）を介して接続されてもよい。一部のコンピュータシステムでは、システムバス（２８４８）は、１つ以上の物理プラグの形態でアクセスでき、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にする。周辺機器は、コアのシステムバス（２８４８）に直接、または周辺バス（２８４９）を介して接続されることができる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。
【0248】
ＣＰＵ（２８４１）、ＧＰＵ（２８４２）、ＦＰＧＡ（２８４３）、およびアクセラレータ（２８４４）は、組み合わせて、前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ（２８４５）またはＲＡＭ（２８４６）に記憶されることができる。推移データはＲＡＭ（２８４６）にも記憶できるが、永続データは、例えば、内部大容量ストレージ（２８４７）に記憶されることができる。１つ以上のＣＰＵ（２８４１）、ＧＰＵ（２８４２）、大容量ストレージ（２８４７）、ＲＯＭ（２８４５）、ＲＡＭ（２８４６）などと密接に関連付けることができるキャッシュメモリを用いることにより、任意のメモリデバイスへの高速保存および検索が可能になる。
【0249】
コンピュータ読取可能な媒体は、様々なコンピュータ実施操作を実行するためのコンピュータコードを備えることができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであり得るか、もしくは、それらは、コンピュータソフトウェア技術の当業者に周知であって利用可能な種類のものであり得る。
【0250】
限定ではなく、一例として、アーキテクチャを有するコンピュータシステム（２８００）、特にコア（２８４０）は、１つ以上の有形のコンピュータ読取可能な媒体に組み込まれたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）の結果としての機能性を提供することができる。このようなコンピュータ読取可能な媒体は、以上で説明したようにユーザがアクセス可能な大容量ストレージ、および、コア内部大容量ストレージ（２８４７）またはＲＯＭ（２８４５）などの非一時的な性質を持つコア（２８４０）の特定のストレージに関連付けられた媒体であり得る。本開示の様々な実施形態を実行するソフトウェアは、このようなデバイスに記憶され、コア（２８４０）によって実行されることができる。コンピュータ読取可能な媒体は、特定の必要に応じて、１つ以上のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（２８４０）、具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ（２８４６）に記憶されたデータ構造を定義すること、および、ソフトウェアで定義されたプロセスに従ってこのようなデータ構造を変更する言を含む、ここで説明する特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または、代替として、コンピュータシステムは、本明細書に記載された特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりにまたは一緒に動作することができる回路（例えば、アクセラレータ（２８４４））に有線接続されたまたは組み込まれたロジックの結果としての機能性を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを含むことができ、その逆も同様である。コンピュータ読取可能な媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のためのロジックを具現化する回路、またはその両方を含むことができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを含む。
付録Ａ：頭字語
ＡＭＶＰ：Ａｄｖａｎｃｅｄ ＭＶＰ（高度のＭＶＰ）
ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ-Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）
ＢＭＳ：ｂｅｎｃｈｍａｒｋ ｓｅｔ（ベンチマークセット）
ＣＡＮＢｕｓ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ（コントローラエリアネットワークバス）
ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ（コンパクトディスク）
ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（中央処理装置）
ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ（陰極線管）
ＣＴＢ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ（符号化ツリーブロック）
ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ（符号化ツリーユニット）
ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ（符号化ユニット）
ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ（デジタルビデオディスク）
ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｅａ（フィールドプログラマブルゲートエリア）
ＧＯＰ：Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ（ピクチャ群）
ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（グラフィックスプロセッシングユニット）
ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ（グローバルモバイル通信システム）
ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高効率ビデオ符号化）
ＨＭＶＰ：Ｈｉｓｔｏｒｙ－ｂａｓｅｄ ＭＶＰ（履歴ベースのＭＶＰ）
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（仮想参照デコーダ）
ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（集積回路）
ＪＥＭ：Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（共同探索モデル）
ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ローカルエリアネットワーク）
ＬＣＤ：Ｌｉｑｕｉｄ-Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（液晶ディスプレイ）
ＬＴＥ：Ｌｏｎｇ-Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（長期的な進化）
ＭＭＶＤ：Ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ（ＭＶＤを有するマージ）
ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ（動きベクトル）
ＭＶＤ：Ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ（動きベクトル差分）
ＭＶＰ：Ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ（動きベクトル予測子）
ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ-Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ（有機発光ダイオード）
ＰＢ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ（予測ブロック）
ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ペリフェラルコンポーネントインターコネクト）
ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ（プログラマブルロジックデバイス）
ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ（予測ユニット）
ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ランダムアクセスメモリ）
ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ（読み出し専用メモリ）
ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（補助強化情報）
ＳＮＲ：Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ（信号対雑音比）
ＳＳＤ：Ｓｏｌｉｄ-Ｓｔａｔｅ ｄｒｉｖｅ（ソリッドステートドライブ）
ＳｂＴＭＶＰ：Ｓｕｂ－ｂｌｏｃｋ－ｂａｓｅｄ ＴＭＶＰ（サブブロックベースのＴＭＶＰ）
ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ（変換ユニット）
ＴＭＶＰ：Ｔｅｍｐｏｒａｌ ＭＶＰ（時間的ＭＶＰ）
ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ユニバーサルシリアルバス）
ＶＴＭ：Ｖｅｒｓａｔｉｌｅ ｔｅｓｔ ｍｏｄｅｌ（多用途テストモデル）
ＶＵＩ：Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（ビデオユーザビリティ情報）
ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（多用途ビデオ符号化）
付録Ａ：頭字語
ＡＭＶＰ：Ａｄｖａｎｃｅｄ ＭＶＰ（高度のＭＶＰ）
ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ-Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）
ＢＭＳ：ｂｅｎｃｈｍａｒｋ ｓｅｔ（ベンチマークセット）
ＣＡＮＢｕｓ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ（コントローラエリアネットワークバス）
ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ（コンパクトディスク）
ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（中央処理装置）
ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ（陰極線管）
ＣＴＢ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ（符号化ツリーブロック）
ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ（符号化ツリーユニット）
ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ（符号化ユニット）
ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ（デジタルビデオディスク）
ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｅａ（フィールドプログラマブルゲートエリア）
ＧＯＰ：Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ（ピクチャ群）
ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（グラフィックスプロセッシングユニット）
ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ（グローバルモバイル通信システム）
ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高効率ビデオ符号化）
ＨＭＶＰ：Ｈｉｓｔｏｒｙ－ｂａｓｅｄ ＭＶＰ（履歴ベースのＭＶＰ）
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（仮想参照デコーダ）
ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（集積回路）
ＪＥＭ：Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（共同探索モデル）
ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ローカルエリアネットワーク）
ＬＣＤ：Ｌｉｑｕｉｄ-Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（液晶ディスプレイ）
ＬＴＥ：Ｌｏｎｇ-Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（長期的な進化）
ＭＭＶＤ：Ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ（ＭＶＤを有するマージ）
ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ（動きベクトル）
ＭＶＤ：Ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ（動きベクトル差分）
ＭＶＰ：Ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ（動きベクトル予測子）
ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ-Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ（有機発光ダイオード）
ＰＢ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ（予測ブロック）
ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ペリフェラルコンポーネントインターコネクト）
ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ（プログラマブルロジックデバイス）
ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ（予測ユニット）
ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ランダムアクセスメモリ）
ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ（読み出し専用メモリ）
ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（補助強化情報）
ＳＮＲ：Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ（信号対雑音比）
ＳＳＤ：Ｓｏｌｉｄ-Ｓｔａｔｅ ｄｒｉｖｅ（ソリッドステートドライブ）
ＳｂＴＭＶＰ：Ｓｕｂ－ｂｌｏｃｋ－ｂａｓｅｄ ＴＭＶＰ（サブブロックベースのＴＭＶＰ）
ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ（変換ユニット）
ＴＭＶＰ：Ｔｅｍｐｏｒａｌ ＭＶＰ（時間的ＭＶＰ）
ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ユニバーサルシリアルバス）
ＶＴＭ：Ｖｅｒｓａｔｉｌｅ ｔｅｓｔ ｍｏｄｅｌ（多用途テストモデル）
ＶＵＩ：Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（ビデオユーザビリティ情報）
ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（多用途ビデオ符号化）
【0251】
本開示は一部の例示的な実施形態を説明してきたが、本開示の範囲内に含まれる変更、置換、および様々な代替の均等物が存在する。したがって、当業者は、本明細書では明示的に示されていないか、または記載されていないが、本開示の原理を具現化し、その思想および範囲内に含まれる様々なシステムおよび方法を考案できることが理解されよう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
