特表2022-521699映像コーディングのための方法、装置、及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-04-12
(54)【発明の名称】映像コーディングのための方法、装置、及びコンピュータプログラム
(51)【国際特許分類】
H04N 19/105 20140101AFI20220405BHJP
H04N 19/54 20140101ALI20220405BHJP
H04N 19/176 20140101ALI20220405BHJP
H04N 19/139 20140101ALI20220405BHJP
【ＦＩ】
H04N19/105
H04N19/54
H04N19/176
H04N19/139
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021547195
(86)(22)【出願日】2020-02-28
(85)【翻訳文提出日】2021-08-12
(86)【国際出願番号】 US2020020423
(87)【国際公開番号】W WO2020176865
(87)【国際公開日】2020-09-03
(31)【優先権主張番号】62/812,221
(32)【優先日】2019-02-28
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/800,867
(32)【優先日】2020-02-25
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】リ，グォイチュン
(72)【発明者】
【氏名】リ，シアン
(72)【発明者】
【氏名】リィウ，シャン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LC09
5C159MA04
5C159MA05
5C159MA19
5C159NN01
5C159NN10
5C159NN11
5C159NN21
5C159TA25
5C159TA62
5C159TB08
5C159TC12
5C159TC31
5C159TC35
5C159TC42
5C159TD03
5C159UA05
(57)【要約】
本開示の態様は、映像コーディングのための方法及び装置を提供する。一部の例において、装置は、現在ブロックについて複数の制御点動きベクトルを取得し、該複数の制御点動きベクトルに従って現在ブロックの複数のサブブロックについての第１の動きベクトル及び第２の動きベクトルを決定する処理回路を含む。第１の動きベクトルは、各サブブロック内の第１の相対位置に対応する。少なくとも１つの第１の動きベクトルが、対応する第２の動きベクトルと異なる。処理回路は、第１の動きベクトルに従って第１の予測サンプルセットを取得し、第２の動きベクトルに従って第２の予測サンプルセットを取得し、そして、第１の予測サンプルセット及び第２の予測サンプルセットに基づいて現在ブロックについての第３の予測サンプルセットを取得する。
【特許請求の範囲】
【請求項1】
デコーダが実行する映像復号方法であって、現在ブロックについて複数の制御点動きベクトルを取得するステップであり、前記現在ブロックは複数のサブブロックに分割される、ステップと、
前記複数の制御点動きベクトルに従ってそれぞれ前記複数のサブブロックについての第１の動きベクトルを決定するステップであり、該第１の動きベクトルは、各サブブロック内の第１の相対位置に対応する、ステップと、
前記複数の制御点動きベクトルに従ってそれぞれ前記複数のサブブロックについての第２の動きベクトルを決定するステップであり、前記第１の動きベクトルからの少なくとも１つの第１の動きベクトルが、前記第２の動きベクトルからの対応する第２の動きベクトルと異なる、ステップと、
前記第１の動きベクトル及び前記複数のサブブロックに従って前記現在ブロックについての第１の予測サンプルセットを取得するステップと、
前記第２の動きベクトル及び前記複数のサブブロックに従って前記現在ブロックについての第２の予測サンプルセットを取得するステップと、
前記第１の予測サンプルセット及び前記第２の予測サンプルセットに基づいて前記現在ブロックについての第３の予測サンプルセットを取得するステップと、
を有する方法。
【請求項2】
前記第２の動きベクトルは、各サブブロック内の第２の相対位置に対応し、前記第１の相対位置は該第２の相対位置と異なる、請求項１に記載の方法。
【請求項3】
前記第１の相対位置は各サブブロックの中心である、請求項２に記載の方法。
【請求項4】
前記第２の相対位置は、各サブブロックの特定の隅である、請求項３に記載の方法。
【請求項5】
前記第１の相対位置及び前記第２の相対位置は、各サブブロックの中心と交差する垂直線、水平線、及び対角線のうちの１つに対して対称である、請求項２に記載の方法。
【請求項6】
前記第１の相対位置は、各サブブロックの左辺の中心であり、前記第２の相対位置は、各サブブロックの右辺の中心である、
請求項２に記載の方法。
【請求項7】
前記第２の動きベクトルは、前記第１の動きベクトルに動きベクトルオフセットを適用することによって取得される、請求項１乃至６のいずれか一項に記載の方法。
【請求項8】
前記第３の予測サンプルセットは、前記第１の予測サンプルセットと前記第２の予測サンプルセットとの加重平均として計算される、請求項１乃至７のいずれか一項に記載の方法。
【請求項9】
前記サブブロックのうちの特定の１つについての前記第１の予測サンプルセット内の第１のピクセルが、該サブブロック内の第１の位置に置かれ、且つ前記加重平均を計算するための第１の重みを有し、前記サブブロックのうちの前記特定の１つについての前記第１の予測サンプルセット内の第２のピクセルが、該サブブロック内の第２の位置に置かれ、且つ前記加重平均を計算するための第２の重みを有し、
前記第１の重みは前記第２の重みよりも大きく、前記第１の位置の方が、前記第２の位置よりも、前記サブブロックの前記第１の相対位置に近い、
請求項８に記載の方法。
【請求項10】
前記複数のサブブロックのうちの１つが、４×４ピクセルのサイズを有し、前記複数のサブブロックのうちの前記１つについての前記第１の予測サンプルセット内のピクセルは、
当該ピクセルが水平方向又は垂直方向に沿って前記第１の相対位置から３ピクセル未満だけ離れて位置する場合、合計で４の重みに対して３の重みを有し、
当該ピクセルが前記水平方向又は前記垂直方向に沿って前記第１の相対位置から３ピクセル以上離れて位置する場合、前記合計で４の重みに対して１の重みを有する、
請求項８に記載の方法。
【請求項11】
前記複数のサブブロックのうちの特定の１つについて前記加重平均を計算するための重みは、前記サブブロックのうちの前記特定の１つについての一般化双予測（ＧＢｉ）インデックスに従って導出される、請求項８に記載の方法。
【請求項12】
前記現在ブロックは片予測ブロックである、請求項１乃至１１のいずれか一項に記載の方法。
【請求項13】
前記現在ブロック上でデブロッキングプロセスは実行されない、請求項１乃至１２のいずれか一項に記載の方法。
【請求項14】
特定のレベルの符号化領域においてスタック式アフィンモードが有効にされるかを、該特定のレベルでシグナリングされるフラグに従って判定するステップであり、前記現在ブロックは、該特定のレベルの前記符号化領域に含まれる、ステップ、を更に有し、
前記特定のレベルは、スライス、タイル、タイルグループ、ピクチャ、及びシーケンスのレベルのうちの１つに相当し、
前記複数のサブブロックについての前記第２の動きベクトルを前記決定するステップ及び前記現在ブロックについての前記第２の予測サンプルセットを前記取得するステップは、前記スタック式アフィンモードが有効にされるときに実行され、
前記複数のサブブロックについての前記第２の動きベクトルを前記決定するステップ及び前記現在ブロックについての前記第２の予測サンプルセットを前記取得するステップは、前記スタック式アフィンモードが有効にされないときには実行されない、
請求項１乃至１３のいずれか一項に記載の方法。
【請求項15】
前記符号化領域に適用可能な前記フラグが、前記スタック式アフィンモードが有効にされることを指し示すとき、前記複数のサブブロックについての前記第２の動きベクトルを前記決定するステップ及び前記現在ブロックについての前記第２の予測サンプルセットを前記取得するステップは、前記符号化領域内の双予測ブロックに対しては実行されない、請求項１４に記載の方法。
【請求項16】
プロセッサと、命令を格納したメモリと、
を有し、
前記命令は、前記プロセッサによって実行されるときに、前記プロセッサに請求項１乃至１５のいずれか一項に記載の方法を実行させる、
装置。
【請求項17】
コンピュータに請求項１乃至１５のいずれか一項に記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この出願は、２０１９年２月２８日に出願された米国仮出願第６２／８１２，２２１号“STACKED AFFINE INTER PREDICTION METHODS”に対する優先権の利益を主張するものである２０２０年２月２５日に出願された米国特許出願第１６／８００，８６７号“METHOD AND APPARATUS FOR VIDEO CODING”に対する優先権の利益を主張するものであり、それらの内容全体をここに援用する。
【0002】
本開示は、映像コーディングに概して関係する実施形態を記述する。
【背景技術】
【0003】
ここに提示される背景説明は、開示に係る状況を概略的に提示するためのものである。この背景セクションに記載される範囲においての、ここに名を連ねる発明者の仕事、並びに、出願時にさもなければ従来技術として適格でないかもしれない記載の態様は、明示的にも、暗示的にも、本開示に対する従来技術として認められるものではない。
【0004】
動き補償を用いるインターピクチャ予測を使用して映像符号化及び復号を実行することができる。圧縮されていないデジタル映像は一連のピクチャを含み、各ピクチャが、例えば、１９２０×１０８０のルミナンスサンプル及び関連するクロミナンスサンプルの空間寸法を持つ。一連のピクチャは、固定又は可変のピクチャレート（非公式にはフレームレートとしても知られる）を持つことができ、例えば、毎秒６０ピクチャ、すなわち、６０Ｈｚのピクチャレートを持ち得る。圧縮されていない映像は、かなりのビットレート要求を持つ。例えば、サンプル当たり８ビットの１０８０ｐ６０ ４：２：０映像（６０Ｈｚのフレームレートで１９２０×１０８０のルミナンスサンプル解像度）は、１．５Ｇｂｉｔ／ｓに近い帯域幅を必要とする。１時間のこのような映像は、６００ＧＢｙｔｅを超えるストレージ空間を必要とする。
【0005】
映像の符号化及び復号の１つの目的は、圧縮を通じての入力映像信号の冗長性の低減であるとし得る。圧縮は、前述の帯域幅要求又はストレージ空間要求を、場合によって２桁以上の大きさで、低減させる助けとなることができる。可逆圧縮及び非可逆圧縮の双方、並びにこれらの組み合わせを使用することができる。可逆圧縮は、原信号の正確な複製を圧縮された原信号から再構成することができる技術を指す。非可逆圧縮を使用する場合、再構成された信号は、原信号と同じにならないことがあるが、原信号と再構成信号との間の歪みは、再構成信号を意図した用途に有用にするのに十分な小ささとなる。映像の場合、非可逆圧縮が広く用いられる。許容される歪みの量は用途に依存し、例えば、特定の消費者ストリーミングアプリケーションのユーザは、テレビジョン配信アプリケーションのユーザよりも高い歪みを許容し得る。達成可能な圧縮比はそれを反映し、より高い許容／我慢できる歪みは、より高い圧縮比をもたらすことができる。
【0006】
動き補償は、非可逆圧縮技術であるとし得るとともに、先行して再構成されたピクチャ又はその一部（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以下、ＭＶ）によって指し示される方向に空間的にシフトされた後に、新たに再構成されるピクチャ又はピクチャ部分の予測のために使用される技術に関係するとし得る。一部のケースにおいて、参照ピクチャは、現在再構成中のピクチャと同じであることができる。ＭＶは、２つの次元Ｘ及びＹを有することができ、あるいは、使用する参照ピクチャを指し示すインジケーションを３つめとして３つの次元を有することができる（後者は、間接的に、時間次元であるとすることができる）。
【0007】
一部の映像圧縮技術では、サンプルデータのある特定の領域に適用可能なＭＶを、例えば、復号順でそのＭＶに先行するＭＶであって再構成中の領域に空間的に隣接するサンプルデータの別領域に関係するＭＶからなど、別のＭＶから予測することができる。そうすることは、そのＭＶを符号化するのに必要なデータの量を大幅に減らすことができ、それにより冗長性を取り除いて圧縮を高めることができる。ＭＶ予測は、効果的に機能することができる。何故なら、例えば、カメラに由来する入力ビデオ信号（ナチュラルビデオとして知られる）を符号化するとき、単一のＭＶが適用可能である領域よりも大きい領域が同様の方向に移動し、それ故に、場合により、隣接する領域のＭＶから導出される同様の動きベクトルを用いて予測されることができる、という統計的尤度があるからである。これがもたらすのは、所与の領域に対して見出されたＭＶが、周囲のＭＶから予測されるＭＶと類似又は同じであり、ひいては、エントロピー符号化の後に、そのＭＶを直接符号化する場合に使用されることになるものよりも少ないビット数で表されることができるということである。一部のケースでは、ＭＶ予測は、原信号（はっきり言えば、サンプルストリーム）から導出される信号（はっきり言えば、ＭＶ）の可逆圧縮の一例であることができる。他のケースでは、例えば、幾つかの周囲ＭＶから予測子を計算する際の丸め誤差のために、ＭＶ予測それ自体が非可逆的であるとし得る。
【0008】
様々なＭＶ予測メカニズムが、Ｈ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ勧告Ｈ．２６５，“High Efficiency Video Coding”、２０１６年１２月）に記述されている。Ｈ．２６５が提供するそれら多数のＭＶ予測メカニズムのうち、以下では“空間マージ”と称する技術をここで説明する。
【0009】
図１を参照するに、現在ブロック（１０１）は、空間的にシフトされた同じサイズの先行ブロックから予測可能であることが動き探索プロセス中にエンコーダによって見出されたサンプルを有する。ＭＶを直接符号化する代わりに、ＭＶを、Ａ０、Ａ１、及びＢ０、Ｂ１、Ｂ２（それぞれ１０２から１０６）と表記する５つの隣接ブロックのうちのいずれか１つに関連するＭＶを用いて、例えば（復号順で）直前の参照ピクチャからなど、１つ以上の参照ピクチャに関連するメタデータから導出することができる。Ｈ．２６５において、ＭＶ予測は、隣接ブロックが使用しているのと同じ参照ピクチャからの予測子を使用することができる。
【発明の概要】
【0010】
本開示の態様は、映像符号化／復号のための方法及び装置を提供する。一部の例において、装置は、現在ブロックについて複数の制御点動きベクトルを取得し、上記現在ブロックは複数のサブブロックに分割される。処理回路は、上記複数の制御点動きベクトルに従ってそれぞれ上記複数のサブブロックについての第１の動きベクトルを決定し、該第１の動きベクトルは、各サブブロック内の第１の相対位置に対応する。処理回路はまた、上記複数の制御点動きベクトルに従ってそれぞれ上記複数のサブブロックについての第２の動きベクトルを決定し、上記第１の動きベクトルからの少なくとも１つの第１の動きベクトルが、上記第２の動きベクトルからの対応する第２の動きベクトルと異なる。処理回路は、上記第１の動きベクトル及び上記複数のサブブロックに従って上記現在ブロックについての第１の予測サンプルセットを取得し、上記第２の動きベクトル及び上記複数のサブブロックに従って上記現在ブロックについての第２の予測サンプルセットを取得し、上記第１の予測サンプルセット及び上記第２の予測サンプルセットに基づいて上記現在ブロックについての第３の予測サンプルセットを取得する。
【0011】
一部の実施形態において、上記第２の動きベクトルは、各サブブロック内の第２の相対位置に対応し、上記第１の相対位置は該第２の相対位置と異なる。一例において、上記第１の相対位置は各サブブロックの中心である。一例において、上記第２の相対位置は、各サブブロックの特定の隅である。
【0012】
一部の実施形態において、上記第１の相対位置及び上記第２の相対位置は、各サブブロックの中心と交差する垂直線、水平線、及び対角線のうちの１つに対して対称である。一部の実施形態において、上記第１の相対位置は、各サブブロックの左辺の中心であり、上記第２の相対位置は、各サブブロックの右辺の中心である。
【0013】
一部の実施形態において、上記第２の動きベクトルは、上記第１の動きベクトルに動きベクトルオフセットを適用することによって取得される。
【0014】
一部の実施形態において、上記第３の予測サンプルセットは、上記第１の予測サンプルセットと上記第２の予測サンプルセットとの加重平均として計算される。一例において、特定のサブブロックについての上記第１の予測サンプルセット内の第１のピクセルが、該サブブロック内の第１の位置に置かれ、且つ上記組み合わせを計算するための第１の重みを有し、上記特定のサブブロックについての上記第１の予測サンプルセット内の第２のピクセルが、該サブブロック内の第２の位置に置かれ、且つ上記組み合わせを計算するための第２の重みを有し、上記第１の重みは上記第２の重みよりも大きく、上記第１の位置の方が、上記第２の位置よりも、上記サブブロックの上記第１の相対位置に近い。
【0015】
一例において、上記複数のサブブロックのうちの１つが、４×４ピクセルのサイズを有する。そのような例において、上記複数のサブブロックのうちの上記１つについての上記第１の予測サンプルセット内のピクセルは、当該ピクセルが水平方向又は垂直方向に沿って上記第１の相対位置から３ピクセル未満だけ離れて位置する場合、合計で４の重みに対して３の重みを有し、当該ピクセルが上記水平方向又は上記垂直方向に沿って上記第１の相対位置から３ピクセル以上離れて位置する場合、上記合計で４の重みに対して１の重みを有する。
【0016】
一例において、上記複数のサブブロックのうちの特定の１つについて上記加重平均を計算するための重みは、上記サブブロックのうちの上記特定の１つについての一般化双予測（generalized bi-prediction、ＧＢｉ）インデックスに従って導出される。
【0017】
一部の実施形態において、上記現在ブロックは片予測ブロックである。一部の実施形態において、上記現在ブロック上でデブロッキングプロセスは実行されない。
【0018】
一部の実施形態において、処理回路はまた、特定のレベルの符号化領域においてスタック式アフィンモードが有効にされるかを、該特定のレベルでシグナリングされるフラグに従って判定し、上記現在ブロックは、該特定のレベルの上記符号化領域に含まれる。上記特定のレベルは、スライス、タイル、タイルグループ、ピクチャ、及びシーケンスのレベルのうちの１つに相当することができる。上記複数のサブブロックについての上記第２の動きベクトルを決定すること及び上記現在ブロックについての上記第２の予測サンプルセットを取得することは、上記スタック式アフィンモードが有効にされるときに実行されることができる。上記複数のサブブロックについての上記第２の動きベクトルを決定すること及び上記現在ブロックについての上記第２の予測サンプルセットを取得することは、上記スタック式アフィンモードが有効にされないときには実行されることができない。一例において、上記符号化領域に適用可能な上記フラグが、上記スタック式アフィンモードが有効にされることを指し示すとき、上記複数のサブブロックについての上記第２の動きベクトルを決定すること及び上記現在ブロックについての上記第２の予測サンプルセットを取得することは、上記符号化領域内の双予測ブロックに対しては実行されない。
【0019】
本開示の態様はまた、映像復号用のコンピュータによって実行されるときに該コンピュータに映像復号のための方法のうちのいずれか１つ又は組み合わせを実行させる命令を格納した非一時的なコンピュータ読み取り可能媒体を提供する。
【図面の簡単な説明】
【0020】
開示に係る事項の更なる特徴、性質、及び様々な利点が、以下の詳細な説明及び添付の図面から、よりいっそう明らかになる。
【図1】一例における現在ブロック及びその周囲の空間マージ候補を概略的に例示している。
【図2】一実施形態に従った通信システム（２００）の簡略ブロック図を概略的に例示している。
【図3】一実施形態に従った通信システム（３００）の簡略ブロック図を概略的に例示している。
【図4】一実施形態に従ったデコーダの簡略ブロック図を概略的に例示している。
【図5】一実施形態に従ったエンコーダの簡略ブロック図を概略的に例示している。
【図6】他の一実施形態に従ったエンコーダのブロック図を示している。
【図7】他の一実施形態に従ったデコーダのブロック図を示している。
【図8】一実施形態に従った、現在ブロック及びマージモードに従った対応するマージ候補の概略図である。
【図9】一実施形態に従った、冗長性検査プロセスにかけられるマージ候補のペアのチャートである。
【図10】一実施形態に従った、時間マージ候補を導出するための動きベクトルスケーリングの概略図である。
【図11】一実施形態に従った、動きベクトル差付きマージモード（ＭＭＶＤ）において評価される２つの開始点を取り囲む所定の点の概略図である。
【図12A】一実施形態に従った（３つの制御点による）６パラメータアフィンモデルの概略図である。
【図12B】一実施形態に従った（２つの制御点による）４パラメータアフィンモデルの概略図である。
【図12C】一実施形態に従った、アフィン予測法に従って符号化される現在ブロックのサブブロックに対して導出される動きベクトルの概略図である。
【図13】一実施形態に従った、アフィン予測法によって符号化される現在ブロックに関する空間隣接ブロック及び時間隣接ブロックの概略図である。
【図14A】一実施形態に従った、サブブロックベースの時間動きベクトル予測法を用いて現在ブロックに対する予測動き情報を決定するために使用されることが可能な空間隣接ブロックの概略図である。
【図14B】一実施形態に従った、サブブロックベースの時間動きベクトル予測法において選択される空間隣接ブロックの概略図である。
【図15A】一実施形態に従った、三角予測法による現在ブロックに対する２つの分割例の概略図である。
【図15B】一実施形態に従った、三角予測法のための片予測候補リストを構築するのに使用される空間及び時間隣接ブロックの一例を示している。
【図16A】一実施形態に従った、適応ブレンドプロセスにおいて一組の重みを適用する符号化ユニットの一例を示している。
【図16B】一実施形態に従った、適応ブレンドプロセスにおいて一組の重みを適用する符号化ユニットの一例を示している。
【図17】一実施形態に従った、インターウィーブ式アフィン予測法を示している。
【図18A】一実施形態に従った、インターウィーブ式アフィン予測法におけるサブブロックに対する一組の重みの一例を示している。
【図18B】一実施形態に従った、インターウィーブ式アフィン予測法においてブロックをサブブロックに分割するパターンの概略図である。
【図19】一実施形態に従った、スタック式アフィン予測法を示している。
【図20】一実施形態に従った、スタック式アフィン予測法に従って符号化される現在ブロックの同じサブブロックセットに対する二組の動きベクトルの概略図である。
【図21】一実施形態に従った、スタック式アフィン予測法に従って特定のブロックを符号化することの概略図である。
【図22A】２２Ａ－２２Ｅは、１つ以上の実施形態に従った、スタック式アフィン予測法においてサブブロックに重みを割り当てることの様々な例を示している。
【図22B】２２Ａ－２２Ｅは、１つ以上の実施形態に従った、スタック式アフィン予測法においてサブブロックに重みを割り当てることの様々な例を示している。
【図22C】２２Ａ－２２Ｅは、１つ以上の実施形態に従った、スタック式アフィン予測法においてサブブロックに重みを割り当てることの様々な例を示している。
【図22D】２２Ａ－２２Ｅは、１つ以上の実施形態に従った、スタック式アフィン予測法においてサブブロックに重みを割り当てることの様々な例を示している。
【図22E】２２Ａ－２２Ｅは、１つ以上の実施形態に従った、スタック式アフィン予測法においてサブブロックに重みを割り当てることの様々な例を示している。
【図23】本開示の一部の実施形態に従ったプロセスを概説するフローチャートを示している。
【図24】一実施形態に従ったコンピュータシステムの概略図である。
【発明を実施するための形態】
【0021】
Ｉ． 映像コーディングエンコーダ及びデコーダ
図２は、本開示の一実施形態に従った通信システム（２００）の簡略ブロック図を例示している。通信システム（２００）は、例えばネットワーク（２５０）を介して、互いに通信することができる複数の端末装置を含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された第１の対の端末装置（２１０）及び（２２０）を含む。図２の例において、第１の対の端末装置（２１０）及び（２２０）は、データの一方向伝送を行う。例えば、端末装置（２１０）が、映像データ（例えば、端末装置（２１０）によってキャプチャされた映像ピクチャのストリーム）を、ネットワーク（２５０）を介した他の端末装置（２２０）への伝送のために符号化し得る。符号化された映像データは、１つ以上の符号化映像ビットストリームの形態で伝送されることができる。端末装置（２２０）が、ネットワーク（２５０）から符号化映像データを受信し、符号化映像データを復号して映像ピクチャを復元し、復元した映像データに従って映像ピクチャを表示し得る。一方向データ伝送は、メディアサービス提供アプリケーション及びそれに類するものにおいて一般的であり得る。
図２は、本開示の一実施形態に従った通信システム（２００）の簡略ブロック図を例示している。通信システム（２００）は、例えばネットワーク（２５０）を介して、互いに通信することができる複数の端末装置を含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された第１の対の端末装置（２１０）及び（２２０）を含む。図２の例において、第１の対の端末装置（２１０）及び（２２０）は、データの一方向伝送を行う。例えば、端末装置（２１０）が、映像データ（例えば、端末装置（２１０）によってキャプチャされた映像ピクチャのストリーム）を、ネットワーク（２５０）を介した他の端末装置（２２０）への伝送のために符号化し得る。符号化された映像データは、１つ以上の符号化映像ビットストリームの形態で伝送されることができる。端末装置（２２０）が、ネットワーク（２５０）から符号化映像データを受信し、符号化映像データを復号して映像ピクチャを復元し、復元した映像データに従って映像ピクチャを表示し得る。一方向データ伝送は、メディアサービス提供アプリケーション及びそれに類するものにおいて一般的であり得る。
【0022】
他の一例において、通信システム（２００）は、例えば、テレビ会議中に発生し得る符号化映像データの双方向伝送を行う第２の対の端末装置（２３０）及び（２４０）を含む。データの双方向伝送では、一例において、端末装置（２３０）及び（２４０）の各端末装置が、映像データ（例えば、その端末装置によってキャプチャされた映像ピクチャのストリーム）を、ネットワーク（２５０）を介した端末装置（２３０）及び（２４０）のうちの他方の端末装置への伝送のために符号化し得る。端末装置（２３０）及び（２４０）の各端末装置はまた、端末装置（２３０）及び（２４０）のうちの他方の端末装置によって送信された符号化映像データを受信し得るとともに、符号化映像データを復号して映像ピクチャを復元し、そして、復元した映像データに従って、アクセス可能なディスプレイ装置に映像ピクチャを表示し得る。
【0023】
図２において、端末装置（２１０）、（２２０）、（２３０）及び（２４０）は、サーバ、パーソナルコンピュータ、及びスマートフォンとして示されているが、本開示の原理は、そのように限定されるものではないとし得る。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、及び／又は専用のテレビ会議機器での用途を見出し。ネットワーク（２５０）は、例えば、配線（有線）通信ネットワーク及び／又は無線通信ネットワークを含め、端末装置（２１０）、（２２０）、（２３０）及び（２４０）間で符号化された映像データを伝達するあらゆる数のネットワークを表す。通信ネットワーク（２５０）は、回線交換チャネル及び／又はパケット交換チャネルにてデータを交換し得る。代表的なネットワークは、遠距離通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又はインターネットを含む。本説明の目的上、ネットワーク（２５０）のアーキテクチャ及びトポロジーは、以下にて説明しない限り、本開示の動作にとって重要ではないとし得る。
【0024】
図３は、開示に係る事項に関するアプリケーションの一例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を例示している。開示に係る事項は、例えば、テレビ会議や、デジタルＴＶや、ＣＤ、ＤＶＤ、メモリスティック及びこれらに類するものを含むデジタル媒体上での圧縮映像の格納などを含め、映像を使用可能な他の用途にも等しく適用されることができる。
【0025】
ストリーミングシステムは、例えば圧縮されていない映像ピクチャのストリーム（３０２）を作り出す例えばデジタルカメラといった映像ソース（３０１）を含むことができるキャプチャサブシステム（３１３）を含み得る。一例において、映像ピクチャのストリーム（３０２）は、デジタルカメラによって撮影されるサンプルを含む。映像ピクチャのストリーム（３０２）は、符号化された映像データ（３０４）（又は符号化映像ビットストリーム）と比較して高いデータボリュームであることを強調するために太線として描かれており、映像ソース（３０１）に結合されたビデオエンコーダ（３０３）を含んだエレクトロニクス装置（３２０）によって処理され得る。ビデオエンコーダ（３０３）は、更に詳細に後述される開示に係る事項の態様を使用可能にする又は実装するための、ハードウェア、ソフトウェア、又はこれらの組み合わせを含むことができる。符号化された映像データ（３０４）（又は符号化映像ビットストリーム（３０４））は、映像ピクチャのストリーム（３０２）と比較して低いデータボリュームであることを強調するために細線として描かれており、後の使用のためにストリーミングサーバ（３０５）に格納されることができる。例えば図３のクライアントサブシステム（３０６）及び（３０８）などの１つ以上のストリーミングクライアントサブシステムが、符号化された映像データ（３０４）のコピー（３０７）及び（３０９）を取り出すためにストリーミングサーバ（３０５）にアクセスすることができる。クライアントサブシステム（３０６）は、例えばエレクトロニクス装置（３３０）内の、ビデオデコーダ（３１０）を含むことができる。ビデオデコーダ（３１０）は、入ってくる符号化された映像データのコピー（３０７）を復号し、出ていく映像ピクチャのストリーム（３１１）を作り出すことができ、出ていく映像ピクチャのストリーム（３１１）が、ディスプレイ（３１２）（例えば、表示スクリーン）又は他のレンダリング装置（図示せず）上でレンダリングされ得る。一部のストリーミングシステムにおいて、符号化された映像データ（３０４）、（３０７）、及び（３０９）（例えば、映像ビットストリーム）は、特定の映像符号化／圧縮標準に従って符号化されることができる。それら標準の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。一例において、開発中のある映像符号化標準は、非公式にバーサタイルビデオコーディング（Versatile Video Coding；ＶＶＣ）として知られている。開示に係る事項は、ＶＶＣの文脈で使用され得る。
【0026】
なお、エレクトロニクス装置（３２０）及び（３３０）は、他のコンポーネント（図示せず）を含むことができる。例えば、エレクトロニクス装置（３２０）はビデオデコーダ（図示せず）を含むことができ、エレクトロニクス装置（３３０）はビデオエンコーダ（図示せず）も含むことができる。
【0027】
図４は、本開示の一実施形態に従ったビデオデコーダ（４１０）のブロック図を示している。ビデオデコーダ（４１０）は、エレクトロニクス装置（４３０）に含まれ得る。エレクトロニクス装置（４３０）は、受信器（４３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（４１０）は、図３の例におけるビデオデコーダ（３１０）の代わりに使用されることができる。
【0028】
受信器（４３１）が、これと同じ実施形態又は他の一実施形態において、一度に１つの符号化映像シーケンスで、ビデオデコーダ（４１０）によって復号されることになる１つ以上の符号化映像シーケンスを受信することができ、各符号化映像シーケンスの復号は、他の符号化映像シーケンスとは独立である。符号化映像シーケンスは、符号化された映像データを格納するストレージ装置へのハードウェア／ソフトウェアリンクとし得るものであるチャネル（４０１）から受信され得る。受信器（４３１）は、符号化映像データを、例えば符号化された音声データ及び／又は補助データストリームといった他のデータと共に受信してもよく、それらのデータは、それらそれぞれの使用エンティティ（図示せず）に転送され得る。受信器（４３１）は、符号化映像シーケンスを他のデータから分離し得る。ネットワークジッタに対抗するために、受信器（４３１）とエントロピーデコーダ／パーサ４２０（以下、“パーサ（４２０）”）との間にバッファメモリ（４１５）が結合され得る。特定のアプリケーションにおいて、バッファメモリ（４１５）はビデオデコーダ（４１０）の一部である。他のものにおいて、それは、ビデオデコーダ（４１０）の外部にあってもよい（図示せず）。更なる他のものにおいて、例えばネットワークジッタに対抗するために、ビデオデコーダ（４１０）の外部にバッファメモリ（図示せず）が存在することができ、さらに、例えば再生タイミングを取り扱うために、ビデオデコーダ（４１０）の内部に別のバッファメモリ（４１５）が存在することができる。受信器（４３１）が、十分な帯域幅及び可制御性の格納／転送装置から又は等同期ネットワークからデータを受信しているとき、バッファメモリ（４１５）は、必要とされなくてもよく、又は小さくされることができる。例えばインターネットなどのベストエフォート型パケットネットワーク上での使用では、バッファメモリ（４１５）が、必要とされ得るとともに、比較的大きくされ、そして、有利には適応可能なサイズのものにされることができ、また、少なくとも部分的に、ビデオデコーダ（４１０）の外部のオペレーティングシステム又は同様の要素（図示せず）にて実装され得る。
【0029】
ビデオデコーダ（４１０）は、符号化映像シーケンスからシンボル（４２１）を再構成するためのパーサ（４２０）を含み得る。それらシンボルのカテゴリは、ビデオデコーダ（４１０）の動作を管理するために使用される情報を含むとともに、可能性として、図４に示したように、エレクトロニクス装置（４３０）の統合部分ではないがエレクトロニクス装置（４３０）に結合されることが可能な、例えばレンダー装置（４１２）（例えば、表示スクリーン）などのレンダリング装置を制御する情報を含み得る。（１つ以上の）レンダリング装置用の制御情報は、補足強化情報（Supplementary Enhancement Information；ＳＥＩ）メッセージ又はビデオユーザビリティ情報（Video Usability Information；ＶＵＩ）パラメータセットフラグメント（図示せず）の形態とし得る。パーサ（４２０）は、受け取った符号化映像シーケンスを構文解析／エントロピー復号し得る。符号化映像シーケンスの符号化は、映像符号化技術又は標準によることができ、可変長符号化、ハフマン符号化、文脈依存性を持つ又は持たない算術符号化などを含め、様々な原理に従うことができる。パーサ（４２０）は、符号化映像シーケンスから、グループに対応する少なくとも１つのパラメータに基づいて、ビデオデコーダにおけるピクセルのサブグループのうちの少なくとも１つに関する一組のサブグループパラメータを抽出することができる。サブグループは、グループ・オブ・ピクチャ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。パーサ（４２０）はまた、符号化映像シーケンス情報から、例えば変換係数、量子化パラメータ値、動きベクトルなどの情報を抽出し得る。
【0030】
パーサ（４２０）は、シンボル（４２１）を生み出すよう、バッファメモリ（４１５）から受け取った映像シーケンスにエントロピー復号／構文解析処理を実行し得る。
【0031】
シンボル（４２１）の再構成には、符号化された映像ピクチャ又はその部分のタイプ及び他の要因（例えば、インターピクチャ及びイントラピクチャ、インターブロック及びイントラブロックなど）に応じて、複数の異なるユニットが関与し得る。どのユニットが関与するか、及びそれらがどのように関与するかは、パーサ（４２０）によって符号化映像シーケンスから構文解析されたサブグループ制御情報によって制御されることができる。パーサ（４２０）と以下の複数ユニットとの間でのこのようなサブグループ制御情報の流れは、明瞭さのために図示していない。
【0032】
既述の機能ブロックを超えて、ビデオデコーダ（４１０）は概念的に、後述のような多数の機能ユニットに細分化されることができる。商業上の制約の下で稼働する実用的な実装において、これらのユニットのうちの多くが互いに密接にインタラクトし、少なくとも部分的に互いに統合され得る。しかしながら、開示に係る事項を説明するという目的のためには、以下の機能ユニットへの概念的な細分化が適切である。
【0033】
第１のユニットは、スケーラ／逆変換ユニット（４５１）である。スケーラ／逆変換ユニット（４５１）は、パーサ（４２０）からの（１つ以上の）シンボル（４２１）として、どの変換を使用すべきか、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報とともに、量子化された変換係数を受け取る。スケーラ／逆変換ユニット（４５１）は、アグリゲータ（４５５）に入力されることが可能な、サンプル値を有するブロックを出力することができる。
【0034】
場合により、スケーラ／逆変換（４５１）の出力サンプルは、イントラ符号化されたブロック、すなわち、先行して再構成されたピクチャからの予測情報を使用していないが、現在ピクチャのうち先行して再構成された部分からの予測情報を使用することができるブロック、に関係し得る。このような予測情報は、イントラピクチャ予測ユニット（４５２）によって提供されることができる。場合により、イントラピクチャ予測ユニット（４５２）は、現在ピクチャバッファ（４５８）からフェッチされた周囲の既に再構成された情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在ピクチャバッファ（４５８）は、例えば、部分的に再構成された現在ピクチャ及び／又は完全に再構成された現在ピクチャをバッファリングする。アグリゲータ（４５５）は、場合により、サンプル毎に、イントラ予測ユニット（４５２）が生成した予測情報を、スケーラ／逆変換ユニット（４５１）によって提供される出力サンプル情報に付加する。
【0035】
他の場合には、スケーラ／逆変換ユニット（４５１）の出力サンプルは、インター符号化された、動き補償された可能性のあるブロックに関係し得る。このような場合、動き補償予測ユニット（４５３）が、参照ピクチャメモリ（４５７）にアクセスして、予測に使用されるサンプルをフェッチすることができる。フェッチされたサンプルを、ブロックに関係するシンボル（４２１）に従って動き補償した後、これらのサンプルが、アグリゲータ（４５５）によって、スケーラ／逆変換ユニット（４５１）の出力（この場合、残差サンプル又は残差信号と呼ばれる）に付加されて、出力サンプル情報を生成することができる。そこから動き補償予測ユニット（４５３）が予測サンプルをフェッチする参照ピクチャメモリ（４５７）内のアドレスは、動きベクトルによって制御されることができ、例えばＸ、Ｙ、及び参照ピクチャ成分を有し得るシンボル（４２１）の形態で動き補償予測ユニット（４５３）に利用可能である。動き補償はまた、サブサンプルの正確な動きベクトルが使用されるときに参照ピクチャメモリ（４５７）からフェッチされたサンプル値の補間や、動きベクトル予測メカニズムなどを含むことができる。
【0036】
アグリゲータ（４５５）の出力サンプルは、ループフィルタユニット（４５６）にて様々なループフィルタリング技術に掛けられ得る。映像圧縮技術は、インループ（in-loop）フィルタ技術を含むことができ、これは、符号化映像シーケンス（符号化映像ビットストリームとも称する）に含められてパーサ（４２０）からのシンボル（４２１）としてループフィルタユニット（４５６）に利用可能にされるパラメータによって制御されるが、符号化ピクチャ又は符号化映像シーケンスのうちの（復号順で）先行部分の復号中に得られたメタ情報にも応答することができるとともに、先行して再構成されてループフィルタリングされたサンプル値にも応答することができる。
【0037】
ループフィルタユニット（４５６）の出力は、レンダー装置（４１２）に出力されることが可能なサンプルストリームとすることができ、これはまた、将来のインターピクチャ予測での使用のために参照ピクチャメモリ（４５７）に格納されることができる。
【0038】
ある特定の符号化ピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用されることができる。例えば、現在ピクチャに対応する符号化ピクチャが完全に再構成され、その符号化ピクチャが参照ピクチャとして（例えば、パーサ（４２０）によって）特定されると、現在ピクチャバッファ（４５８）が参照ピクチャメモリ（４５７）の一部となり得るとともに、次の符号化ピクチャの再構成を開始する前に新しい現在ピクチャバッファが再割り当てされ得る。
【0039】
ビデオデコーダ（４１０）は、例えばＩＴＵ－Ｔ勧告Ｈ．２６５などの標準における所定の映像圧縮技術に従って復号処理を実行し得る。符号化映像シーケンスは、映像圧縮技術又は標準の構文と映像圧縮技術又は標準において文書化されたプロファイルとの双方を忠実に守るという意味で、使用される映像圧縮技術又は標準によって規定される構文に従い得る。具体的には、プロファイルは、映像圧縮技術又は標準において利用可能な全てのツールから、特定のツールを、そのプロファイルの下での使用に利用可能なツールはそれだけであるように選択することができる。また、コンプライアンスのために、符号化映像シーケンスの複雑さが、映像圧縮技術又は標準のレベルによって規定される範囲内にあることも必要である。場合により、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、毎秒メガサンプルで測定される）、最大参照ピクチャサイズなどを制約する。レベルによって設定される制限は、場合により、仮説的リファレンスデコーダ（Hypothetical Reference Decoder；ＨＲＤ）仕様、及び符号化映像シーケンスにてシグナリングされるＨＲＤバッファ管理用のメタデータを通して更に制約され得る。
【0040】
一実施形態において、受信器（４３１）は、符号化された映像と共に追加（冗長）データを受信し得る。追加データは、（１つ以上の）符号化映像シーケンスの一部として含められ得る。追加データは、データを適切に復号するため、及び／又は元の映像データをいっそう正確に再構成するために、ビデオデコーダ（４１０）によって使用され得る。追加データは、例えば、時間的、空間的、又は信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、順方向誤り訂正符号などの形態とし得る。
【0041】
図５は、本開示の一実施形態に従った、ビデオエンコーダ（５０３）のブロック図を示している。ビデオエンコーダ（５０３）は、エレクトロニクス装置（５２０）に含まれる。例えば、エレクトロニクス装置（５２０）は送信器（５４０）（例えば、送信回路）を含んでいる。ビデオエンコーダ（５０３）は、図３の例におけるビデオエンコーダ（２０３）の代わりに使用されることができる。
【0042】
ビデオエンコーダ（５０３）は、エンコーダ（５０３）によって符号化されることになる（１つ以上の）映像画像をキャプチャし得る映像ソース（５０１）（図５の例ではエレクトロニクス装置（５２０）の一部ではない）から映像サンプルを受信し得る。他の一例において、映像ソース（５０１）は、エレクトロニクス装置（５２０）の一部である。
【0043】
映像ソース（５０１）は、ビデオエンコーダ（５０３）によって符号化されるソース映像シーケンスを、任意の好適なビット深さ（例えば、８ビット、１０ビット、１２ビット、…）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、…）、及び任意の好適なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）のものとし得るデジタル映像サンプルストリームの形態で提供し得る。メディアサービス提供システムにおいて、映像ソース（５０１）は、事前に準備された映像を格納したストレージ装置とし得る。テレビ会議システムでは、映像ソース（５０１）は、ローカルな画像情報を映像シーケンスとしてキャプチャするカメラとし得る。映像データは、順に見たときに動きを伝える複数の個々のピクチャとして提供され得る。それらピクチャ自体は、ピクセルの空間アレイとして編成されることができ、各ピクセルが、使用されるサンプリング構造、色空間などに応じて、１つ以上のサンプルを有することができる。当業者は、ピクセルとサンプルとの関係を直ちに理解することができる。以下の説明は、サンプルに焦点を当てている。
【0044】
一実施形態によれば、ビデオエンコーダ（５０３）は、ソース映像シーケンスのピクチャを、リアルタイムで、又はアプリケーションによって要求される他の時間制約下で、符号化映像シーケンス（５４３）へと符号化及び圧縮し得る。適切な符号化速度を強制することが、コントローラ（５５０）の１つの機能である。一部の実施形態において、コントローラ（５５０）は、後述するような他の機能ユニットを制御するとともに、それら他の機能ユニットに機能的に結合される。その結合は、明瞭さのために図示されていない。コントローラ（５５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、…）、ピクチャサイズ、グループ・オブ・ピクチャ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲などを含み得る。コントローラ（５５０）は、特定のシステム設計に合わせて最適化されるビデオエンコーダ（５０３）に関連する他の好適な機能を有するように構成されることができる。
【0045】
一部の実施形態において、ビデオエンコーダ（５０３）は、符号化ループにて動作するように構成される。過度に単純化した説明として、一例において、符号化ループは、ソースコーダ（５３０）（例えば、符号化される入力ピクチャ及び（１つ以上の）参照ピクチャに基づいて例えばシンボルストリームなどのシンボルを作成することを担う）と、ビデオエンコーダ（５０３）に埋め込まれた（ローカル）デコーダ（５３３）とを含むことができる。デコーダ（５３３）は、（シンボルと符号化映像ビットストリームとの間での圧縮が、開示に係る事項において検討される映像圧縮技術において可逆であるときに）（リモート）デコーダも作成するのと同様にして、シンボルを再構成してサンプルデータを生成する。再構成されたサンプルストリーム（サンプルデータ）が、参照ピクチャメモリ（５３４）に入力される。シンボルストリームの復号は、デコーダ位置（ローカル又はリモート）に依存しないビット正確な結果をもたらすので、参照ピクチャメモリ（５３４）内のコンテンツもローカルエンコーダとリモートエンコーダとの間でビット正確である。換言すれば、エンコーダの予測部分は、デコーダが復号中に予測を使用するときに“見る”のとまったく同じサンプル値を参照ピクチャサンプルとして“見る”。この参照ピクチャ同期性の基本原理（及び、例えばチャネルエラーのために、同期性を維持することができない場合に結果として生じるドリフト）は、一部の関連技術でも使用されている。
【0046】
“ローカル”デコーダ（５３３）の動作は、例えばビデオデコーダ（４１０）などの“リモート”デコーダのものと同じであるとすることができ、それは、図４に関連して既に詳細に上述されている。しかしながら、図４も手短に参照するに、シンボルが利用可能であり、且つエントロピーコーダ（５４５）及びパーサ（４２０）によるシンボルの符号化映像シーケンスへの符号化／復号は可逆であるとし得るので、バッファメモリ（４１５）及びパーサ（４２０）を含むビデオデコーダ（４１０）のエントロピー復号部分は、ローカルデコーダ（５３３）に完全に実装されなくてよい。
【0047】
この時点で気付くことができることには、デコーダ内に存在する構文解析／エントロピー復号を除く如何なるデコーダ技術も、対応するエンコーダ内に、実質的に同じ機能的形態で、必ず存在する必要がある。エンコーダ技術の説明は、徹底して説明したデコーダ技術の逆であるので、省略することができる。特定の分野においてのみ、より詳細な説明が必要とされ、以下に提供される。
【0048】
動作時、一部の例において、ソースコーダ（５３０）は、入力ピクチャを、映像シーケンスからの、“参照ピクチャ”として指定された１つ以上の先に符号化されたピクチャに対して予測的に符号化するものである動き補償予測符号化を実行し得る。斯くして、符号化エンジン（５３２）は、入力ピクチャのピクセルブロックと、入力ピクチャに対する（１つ以上の）予測基準として選択され得る（１つ以上の）参照ピクチャのピクセルブロックとの間の差分を符号化する。
【0049】
ローカルビデオデコーダ（５３３）は、参照ピクチャとして指定され得るピクチャの符号化映像データを、ソースコーダ（５３０）によって作成されたシンボルに基づいて復号し得る。符号化エンジン（５３２）の動作は、有利には、非可逆プロセスとし得る。符号化映像データが映像デコーダ（図５には示されていない）で復号され得るとき、再構成された映像シーケンスは典型的に、幾分の誤差を伴うソース映像シーケンスのレプリカであり得る。ローカルビデオデコーダ（５３３）は、参照ピクチャ上でビデオデコーダによって実行され得る復号プロセスを複製し、再構成された参照ピクチャを参照ピクチャキャッシュ（５３４）に格納させるようにし得る。斯くして、ビデオエンコーダ（５０３）は、ファーエンドのビデオデコーダによって得られることになる再構成参照ピクチャと共通のコンテンツを持つ再構成参照ピクチャのコピーをローカルに格納し得る。
【0050】
予測器（５３５）は、符号化エンジン（５３２）のために予測探索を実行し得る。すなわち、符号化すべき新たなピクチャに関して、予測器（５３５）は、新たなピクチャ用の適切な予測基準としての役割を果たし得るサンプルデータ（候補参照ピクセルブロックとして）又は例えば参照ピクチャ動きベクトルやブロック形状などの特定のメタデータについて、参照ピクチャメモリ（５３４）を検索し得る。予測器（５３５）は、適切な予測参照を見出すために、ピクセルブロック毎に動作し得る。場合により、予測器（５３５）によって得られた検索結果により決定されるように、入力ピクチャは、参照ピクチャメモリ（５３４）に格納された複数の参照ピクチャから引き出された予測基準を有し得る。
【0051】
コントローラ（５５０）は、例えば、映像データを符号化するのに使用されるパラメータ及びサブグループパラメータの設定を含め、ソースコーダ（５３０）の符号化処理を管理し得る。
【0052】
前述の全ての機能ユニットの出力が、エントロピーコーダ（５４５）におけるエントロピー符号化に掛けられ得る。エントロピーコーダ（５４５）は、例えばハフマン符号化、可変長符号化、算術符号化などの技術に従ってシンボルを可逆圧縮することによって、様々な機能ユニットによって生成されたシンボルを符号化映像シーケンスへと変換する。
【0053】
送信器（５４０）が、エントロピーコーダ（５４５）によって生成された（１つ以上の）符号化映像シーケンスをバッファリングし、通信チャネル（５６０）を介した伝送のために準備し得る。通信チャネル（５６０）は、符号化された映像データを格納するストレージ装置へのハードウェア／ソフトウェアリンクとし得る。送信器（５４０）は、ビデオコーダ（５０３）からの符号化映像データを、例えば符号化オーディオデータ及び／又は補助データストリーム（ソースは図示していない）といった、送信される他のデータとマージし得る。
【0054】
コントローラ（５５０）は、ビデオエンコーダ（５０３）の動作を管理し得る。符号化において、コントローラ（５５０）は、各符号化ピクチャに、それぞれのピクチャに適用され得る符号化技術に影響を及ぼし得るものである特定の符号化ピクチャタイプを割り当て得る。例えば、ピクチャはしばしば、以下のピクチャタイプのうちの１つを割り当てられ得る。
【0055】
イントラピクチャ（Ｉピクチャ）は、シーケンス内の如何なる他のピクチャも予測のソースとして使用することなく符号化及び復号され得るものとし得る。一部の映像コーデックは、例えば独立デコーダリフレッシュ（Independent Decoder Refresh；ＩＤＲ）ピクチャを含め、複数の異なるタイプのイントラピクチャを許している。当業者は、Ｉピクチャのそれら異形、並びにそれらそれぞれの用途及び特徴を知っている。
【0056】
予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、多くて１つの動きベクトルと参照インデックスとを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得るものとし得る。
【0057】
双予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、多くて２つの動きベクトルと参照インデックスとを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得るものとし得る。同様に、多重予測ピクチャは、単一のブロックの再構成のために３つ以上の参照ピクチャと関連メタデータとを使用することができる。
【0058】
ソースピクチャは、一般に、空間的に複数のサンプルブロック（例えば、各々４×４、８×８、４×８、又は１６×１６サンプルのブロック）に細分化され、ブロック毎に符号化され得る。ブロックは、それらブロックのそれぞれのピクチャに適用される符号化割り当てによって決定される他の（既に符号化された）ブロックを参照して予測的に符号化され得る。例えば、Ｉピクチャのブロックは非予測的に符号化されることができ、あるいは、それらは同じピクチャの既に符号化されたブロックを参照して予測的に符号化されることができる（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、非予測的に、あるいは、１つの先に符号化された参照ピクチャを参照して空間予測又は時間予測を介して、符号化されることができる。Ｂピクチャのブロックは、非予測的に、あるいは、１つ又は２つの先に符号化された参照ピクチャを参照して空間予測又は時間予測を介して、符号化されることができる。
【0059】
ビデオエンコーダ（５０３）は、例えばＩＴＵ－Ｔ勧告Ｈ．２６５などの所定の映像符号化技術又は標準に従って符号化処理を実行し得る。その動作において、ビデオエンコーダ（５０３）は、入力映像シーケンスにおける時間的及び空間的な冗長性を活用する予測的な符号化処理を含め、様々な圧縮処理を実行し得る。符号化された映像データは、それ故に、使用されている映像符号化技術又は標準によって規定される構文に従い得る。
【0060】
一実施形態において、送信器（５４０）は、符号化された映像と共に追加データを送信し得る。ソースコーダ（５３０）が、そのようなデータを、符号化映像シーケンスの一部として含め得る。追加データは、時間的／空間的／ＳＮＲエンハンスメントレイヤ、例えば冗長ピクチャ及びスライスなどの他の形態の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメントなどを有し得る。
【0061】
映像は、時間シーケンスにて複数のソースピクチャ（映像ピクチャ）としてキャプチャされ得る。イントラピクチャ予測（しばしば、イントラ予測と略される）は、所与のピクチャ内の空間的な相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的又は他の）相関を利用する。一例において、現在ピクチャと称される符号化／復号中の特定のピクチャが、複数のブロックへと分割される。現在ピクチャ内のあるブロックが、映像内の先に符号化され且つ依然としてバッファリングされている参照ピクチャ内の参照ブロックに類似しているとき、現在ピクチャ内のそのブロックは、動きベクトルと称されるベクトルによって符号化されることができる。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用されている場合には、参照ピクチャを特定する第３の次元を持つことができる。
【0062】
一部の実施形態において、インターピクチャ予測において双予測技術を使用することができる。双予測技術によれば、例えば、映像内でどちらも現在ピクチャに対して復号順で先である（しかし、表示順では、それぞれ過去及び将来であってもよい）第１の参照ピクチャ及び第２の参照ピクチャなどの、２つの参照ピクチャが使用される。現在ピクチャ内のブロックを、第１の参照ピクチャ内の第１の参照ブロックを指す第１の動きベクトルと、第２の参照ピクチャ内の第２の参照ブロックを指す第２の動きベクトルとによって符号化することができる。そのブロックは、第１の参照ブロックと第２の参照ブロックとの組み合わせによって予測されることができる。
【0063】
さらに、インターピクチャ予測において符号化効率を改善するために、マージモード技術を使用することができる。
【0064】
本開示の一部の実施形態によれば、例えばインターピクチャ予測及びイントラピクチャ予測などの予測が、ブロックの単位で実行される。例えば、ＨＥＶＣ標準によれば、映像ピクチャのシーケンス内のピクチャが、圧縮のために複数の符号化ツリーユニット（ＣＴＵ）に分割され、ピクチャ内のそれらＣＴＵは、例えば６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルなどの同一サイズを有する。一般に、ＣＴＵは、１つのルマ（luma）ＣＴＢと２つのクロマ（chroma）ＣＴＢである３つの符号化ツリーブロック（ＣＴＢ）を含む。各ＣＴＵが、１つ又は複数の符号化ユニット（ＣＵ）へと再帰的に四分木分割され得る。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１つのＣＵ、又は３２×３２ピクセルの４つのＣＵ、又は１６×１６ピクセルの１６個のＣＵに分割されることができる。一例において、各ＣＵが、例えばインター予測タイプ又はイントラ予測タイプなど、そのＣＵの予測タイプを決定するために分析される。ＣＵは、時間的及び／又は空間的な予測可能性に依存して１つ以上の予測ユニット（ＰＵ）に分割される。一般に、各ＰＵは、ルマ予測ブロック（ＰＢ）と２つのクロマＰＢとを含む。一実施形態において、コーディング（符号化／復号）に際しての予測動作は、予測ブロックの単位で実行される。予測ブロックの一例としてルマ予測ブロックを用いると、該予測ブロックは、例えば８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセル、及びこれらに類するものなど、ピクセルの値（例えば、ルマ値）の行列を含む。
【0065】
図６は、本開示の他の一実施形態に従ったビデオエンコーダ（６０３）の図を示している。ビデオエンコーダ（６０３）は、映像ピクチャのシーケンス内の現在映像ピクチャの中の処理ブロック（例えば、予測ブロック）のサンプル値を受信し、該処理ブロックを符号化映像シーケンスの一部である符号化ピクチャへと符号化するように構成される。一例において、ビデオエンコーダ（６０３）は、図３の例におけるビデオエンコーダ（３０３）の代わりに使用される。
【0066】
ＨＥＶＣの例において、ビデオエンコーダ（６０３）は、例えば予測ブロックの８×８サンプルなどの、処理ブロックに関するサンプル値の行列を受信する。ビデオエンコーダ（６０３）は、例えばレート－歪み最適化を用いて、処理ブロックが最良に符号化されるのが、イントラモードを用いてなのか、インターモードを用いてなのか、それとも双予測モードを用いてなのかを決定する。処理ブロックがイントラモードで符号化される場合、ビデオエンコーダ（６０３）は、イントラ予測技術を使用して処理ブロックを符号化ピクチャへと符号化することができ、処理ブロックがインターモード又は双予測モードで符号化される場合、ビデオエンコーダ（６０３）は、それぞれ、インター予測技術又は双予測技術を使用して処理ブロックを符号化ピクチャへと符号化することができる。特定の映像符号化技術において、マージモードは、予測子の外側の符号化動きベクトル成分の利益なしで１つ以上の動きベクトル予測子から動きベクトルが導出されるインターピクチャ予測サブモードとし得る。特定の他の映像符号化技術では、対象ブロックに適用可能な動きベクトル成分が存在してもよい。一例において、ビデオエンコーダ（６０３）は、例えば処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの、他のコンポーネントを含む。
【0067】
図６の例において、ビデオエンコーダ（６０３）は、図６に示すように共に結合された、インターエンコーダ（６３０）、イントラエンコーダ（６２２）、残差計算器（６２３）、スイッチ（６２６）、残差エンコーダ（６２４）、全般コントローラ（６２１）、及びエントロピーエンコーダ（６２５）を含んでいる。
【0068】
インターエンコーダ（６３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、ブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、先行ピクチャ内及び後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インター符号化技術に従った冗長情報の記述、動きベクトル、マージモード情報）を生成し、そして、何らかの好適技術を使用して、インター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成される。一部の例において、参照ピクチャは、符号化された映像情報に基づいて復号された参照ピクチャである。
【0069】
イントラエンコーダ（６２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、一部のケースにおいて、ブロックを、同じピクチャ内の既に符号化されたブロックと比較し、変換後の量子化係数を生成し、一部のケースでは、イントラ予測情報（例えば、１つ以上のイントラ符号化技術に従ったイントラ予測方向情報）も生成する。一例において、イントラエンコーダ（６２２）はまた、イントラ予測情報及び同じピクチャ内の参照ブロックに基づいて、イントラ予測結果（例えば、予測ブロック）を計算する。
【0070】
全般コントローラ（６２１）は、全般制御データを決定し、全般制御データに基づいてビデオエンコーダ（６０３）の他のコンポーネントを制御するように構成される。一例において、全般コントローラ（６２１）は、ブロックのモードを決定し、そのモードに基づいてスイッチ（６２６）に制御信号を提供する。例えば、モードがイントラモードであるとき、全般コントローラ（６２１）は、残差計算器（６２３）による使用のためにイントラモード結果を選択するようにスイッチ（６２６）を制御するとともに、イントラ予測情報を選択してイントラ予測情報をビットストリームに含めるようにエントロピーエンコーダ（６２５）を制御し、モードがインターモードであるときには、全般コントローラ（６２１）は、残差計算器（６２３）による使用のためにインター予測結果を選択するようにスイッチ（６２６）を制御するとともに、インター予測情報を選択してインター予測情報をビットストリームに含めるようにエントロピーエンコーダ（６２５）を制御する。
【0071】
残差計算器（６２３）は、受信されたブロックと、イントラエンコーダ（６２２）又はインターエンコーダ（６３０）から選択された予測結果との間の差（残差データ）を計算するように構成される。残差エンコーダ（６２４）は、残差データに基づいて動作し、残差データを符号化して変換係数を生成するように構成される。一例において、残差エンコーダ（６２４）は、残差データを空間ドメインから周波数ドメインに変換し、変換係数を生成するように構成される。次いで、変換係数が量子化処理にかけられて、量子化された変換係数が得られる。様々な実施形態において、ビデオエンコーダ（６０３）はまた、残差デコーダ（６２８）を含む。残差デコーダ（６２８）は、逆変換を実行し、復号された残差データを生成するように構成される。復号された残差データは、イントラエンコーダ（６２２）及びインターエンコーダ（６３０）によって好適に使用されることができる。例えば、インターエンコーダ（６３０）は、復号された残差データ及びインター予測情報に基づいて、復号されたブロックを生成することができ、イントラエンコーダ（６２２）は、復号された残差データ及びイントラ予測情報に基づいて、復号されたブロックを生成することができる。復号されたブロックが好適に処理されて、復号されたピクチャが生成され、そして、復号されたピクチャは、メモリ回路（図示せず）にバッファリングされ得るとともに、一部の例では参照ピクチャとして使用され得る。
【0072】
エントロピーエンコーダ（６２５）は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（６２５）は、例えばＨＥＶＣ標準などの好適な標準に従って種々の情報を含めるように構成される。一例において、エントロピーエンコーダ（６２５）は、全般制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及び他の好適情報を、ビットストリームに含めるように構成される。なお、本開示に係る事項によれば、インターモード又は双予測モードのいずれかのマージサブモードにてブロックを符号化するとき、残差情報は存在しない。
【0073】
図７は、本開示の他の一実施形態に従ったビデオデコーダ（７１０）の図を示している。ビデオデコーダ（７１０）は、符号化映像シーケンスの一部である符号化されたピクチャを受信し、該符号化されたピクチャを復号して再構成ピクチャを生成するように構成される。一例において、ビデオデコーダ（７１０）は、図３の例におけるビデオデコーダ（３１０）の代わりに使用される。
【0074】
図７の例において、ビデオデコーダ（７１０）は、図７に示すように共に結合された、エントロピーデコーダ（７７１）、インターデコーダ（７８０）、残差デコーダ（７７３）、再構成モジュール（７７４）、及びイントラデコーダ（７７２）を含んでいる。
【0075】
エントロピーデコーダ（７７１）は、符号化されたピクチャから、符号化されたピクチャを構成する構文要素を表す特定のシンボルを再構成するように構成され得る。そのようなシンボルは、例えば、ブロックが符号化されるモード（例えば、イントラモード、インターモード、双予測モード、マージサブモード又は他のサブモードにおける後者の２つなど）、それぞれイントラデコーダ（７７２）又はインターデコーダ（７８０）による予測のために使用される特定のサンプル又はメタデータを特定することができる予測情報（例えば、イントラ予測情報又はインター予測情報など）、例えば量子化された変換係数の形態をした残差情報、及びこれらに類するものを含むことができる。一例において、予測モードがインターモード又は双予測モードであるときには、インター予測情報がインターデコーダ（７８０）に提供され、予測タイプがイントラ予測タイプであるときには、イントラ予測情報がイントラデコーダ（７７２）に提供される。残差情報は、逆量子化にかけられることができ、残差デコーダ（７７３）に提供される。
【0076】
インターデコーダ（７８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。
【0077】
イントラデコーダ（７７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。
【0078】
残差デコーダ（７７３）は、逆量子化を実行して、逆量子化された変換係数を抽出し、そして、逆量子化された変換係数を処理して、残差を周波数ドメインから空間ドメインに変換するように構成される。残差デコーダ（７７３）はまた、特定の制御情報（量子化器パラメータ（ＱＰ）を含む）を必要としてもよく、その情報は、エントロピーデコーダ（７７１）によって提供され得る（これは、低ボリュームの制御情報のみとし得るのでデータ経路は不図示）。
【0079】
再構成モジュール（７７４）は、残差デコーダ（７７３）によって出力される残差と、（場合に応じてインター又はイントラ予測モジュールによって出力される）予測結果とを空間ドメインで組み合わせて、再構成ブロックを形成するように構成される。再構成ブロックは、再構成ピクチャの一部とすることができ、代わって再構成ピクチャは、再構成映像の一部とすることができる。なお、視覚的な品質を向上させるために、例えばデブロッキング処理及びそれに類するものなど、他の好適な処理を実行することができる。
【0080】
なお、ビデオエンコーダ（３０３）、（５０３）、及び（６０３）、並びにビデオデコーダ（３１０）、（４１０）、及び（７１０）は、如何なる好適技術を用いて実装されてもよい。一実施形態において、ビデオエンコーダ（３０３）、（５０３）、及び（６０３）、並びにビデオデコーダ（３１０）、（４１０）、及び（７１０）は、１つ以上の集積回路を用いて実装され得る。他の一実施形態において、ビデオエンコーダ（３０３）、（５０３）及び（６０３）、並びにビデオデコーダ（３１０）、（４１０）、及び（７１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実装され得る。
【0081】
ＩＩ． インターピクチャ予測モード
様々な実施形態において、ピクチャは、例えばツリー構造に基づく分割スキームを用いて、複数のブロックに分割されることができる。そいて、得られたブロックは、例えばイントラ予測モード、インター予測モード（例えば、マージモード、スキップモード、アドバンスト動きベクトル予測（ＡＶＭＰ）モード）、及びこれらに類するものなどの異なる処理モードに従って処理されることができる。イントラ符号化ブロックは、イントラ予測モードで符号化されるブロックであるとし得る。対照的に、インター符号化ブロックは、インター予測モードで処理されるブロックであるとし得る。
様々な実施形態において、ピクチャは、例えばツリー構造に基づく分割スキームを用いて、複数のブロックに分割されることができる。そいて、得られたブロックは、例えばイントラ予測モード、インター予測モード（例えば、マージモード、スキップモード、アドバンスト動きベクトル予測（ＡＶＭＰ）モード）、及びこれらに類するものなどの異なる処理モードに従って処理されることができる。イントラ符号化ブロックは、イントラ予測モードで符号化されるブロックであるとし得る。対照的に、インター符号化ブロックは、インター予測モードで処理されるブロックであるとし得る。
【0082】
１． マージモード
現在ブロックと称する現在処理されているブロックがマージモードに従って処理されるとき、現在ブロックについてのマージ候補リストを、一組の空間的及び／又は時間的に隣接するブロックに従って構築することができる。マージ候補リスト内の動き情報候補のうちの１つが、現在ブロックについての動き情報を決定又は導出するために選択され得る。どの候補が選択されるかを指し示すマージインデックスが、エンコーダからデコーダへシグナリングされ得る。
現在ブロックと称する現在処理されているブロックがマージモードに従って処理されるとき、現在ブロックについてのマージ候補リストを、一組の空間的及び／又は時間的に隣接するブロックに従って構築することができる。マージ候補リスト内の動き情報候補のうちの１つが、現在ブロックについての動き情報を決定又は導出するために選択され得る。どの候補が選択されるかを指し示すマージインデックスが、エンコーダからデコーダへシグナリングされ得る。
【0083】
図８は、一実施形態に従った、現在ブロック及びマージモードに従った対応するマージ候補の概略図である。この例では、マージモードに従って処理される現在ブロック（８１０）に対してマージ候補リストが構築される。マージモード処理では、Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃ０、及びＣ１と表記される一組の隣接ブロックが規定される。マージ候補リストを構築するための空間候補は、現在ブロック（８１０）と同じピクチャ内にある空間的に隣接するブロックＡ１、Ｂ１、Ｂ０、Ａ０、及びＢ２に従って決定されることができる。また、マージ候補リストを構築するための時間候補は、別の符号化ピクチャ内にあって現在ブロック（８１０）のコロケートブロックと隣接する又は重なるブロックに相当するものである時間隣接ブロックＣ０及びＣ１に従って決定されることができる。一例において、時間隣接ブロックＣ１は、現在ブロック（８１０）の中心に近い（例えば、隣接する）位置に対応する位置にあることができる。
【0084】
一部の例において、マージ候補リストは、マージ候補の所定の最大数（Ｃｍと表される）を持ち得る。マージ候補は、ある順序に従ってマージ候補リストにリスト化され得る。一例において、所定の順序に従って、第１の数Ｃａのマージ候補が、空間的に隣接するブロックから、順序｛Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２｝に従って導出され得るとともに、第２の数Ｃｂ＝Ｃｍ－Ｃａのマージ候補が、時間的に隣接するブロックから、順序｛Ｃ０，Ｃ１｝に従って導出され得る。
【0085】
一部のシナリオにおいて、特定の隣接ブロックからの候補動き情報が利用可能でないことがある。例えば、隣接ブロックが、イントラ予測されていたり、現在ブロック（８１０）を含むスライス又はタイルの外にあったり、あるいは、現在ブロック（８１０）と同じ符号化ツリーブロック（ＣＴＢ）行になかったりすることがある。一部のシナリオでは、様々な隣接ブロックからの候補動き情報が冗長であることがある。一部の例において、冗長なマージ候補は、（例えば、剪定プロセスを実行することによって）マージ候補リストから削除され得る。マージ候補リスト内の（冗長な候補を除去した）利用可能なマージ候補の総数が、マージ候補の最大数Ｃｍよりも小さいとき、（例えば、予め設定されたルールに従って）１つ以上の更なるマージ候補を追加してマージ候補リストを充たすことができる。例えば、追加のマージ候補は、組み合わされた双予測候補及び／又はゼロ動きベクトル候補を含むことができる。
【0086】
マージ候補リストが構築された後、エンコーダにて、評価プロセスを実行して、マージ候補リストからマージ候補を選択することができる。例えば、各マージ候補に対応するレート歪み（ＲＤ）性能を計算することができ、最良のＲＤ性能を有するものを選択することができる。従って、選択されたマージ候補に関連付けられたマージインデックスを、現在ブロック（８１０）に対して決定して、デコーダにシグナリングすることができる。
【0087】
デコーダにて、現在ブロック（８１０）のマージインデックスを受信することができる。エンコーダ側で生成されたマージ候補リストと同じマージ候補リストを生成するための、上述と同様のマージ候補リスト構築プロセスが実行され得る。マージ候補リストが構築された後、一部の例では如何なる更なる評価も行うことなく、受信したマージインデックスに基づいてマージ候補リストからマージ候補を選択することができる。選択されたマージ候補の動き情報は、現在ブロック（８１０）の後続の動き補償予測に使用されることができる。
【0088】
一部の例ではスキップモードも導入される。例えば、スキップモードでは、上述のようにマージモードを用いて現在ブロックを予測することで、残差情報を導入することなく、一組の動き情報を決定することができる。スキップフラグが現在ブロックに関連付けられ得る。スキップフラグと現在ブロックの関連動き情報を指し示すマージインデックスとが、ビデオデコーダにシグナリングされ得る。例えば、インターピクチャ予測スライス内のＣＵの始まりで、以下を意味するスキップフラグ、すなわち、そのＣＵが１つのＰＵ（２Ｎ×２Ｎ）のみを含むこと；動き情報を導出するためにマージモードが使用されること、及びビットストリーム内に残差情報が存在しないこと、を意味するスキップフラグがシグナリングされ得る。デコーダ側で、スキップフラグに基づいて、マージインデックスに基づいて予測ブロックを決定して、残差情報を付加することなくそれぞれの現在ブロックを復号し得る。従って、ここに開示されるマージモードを用いた映像コーディングのための様々な方法は、スキップモードと組み合わせて利用されることができる。
【0089】
一部の実施形態において、ビットストリーム内でシグナリングされるマージフラグ又はスキップフラグは、現在ブロック（８１０）がマージモードに従ってコーディングされるかを指し示すことができる。マージフラグがＴＲＵＥに設定される場合、マージインデックスは、現在ブロックについての動き情報を提供するためにマージ候補リスト内のどの候補が使用されることになるかを指し示すためにシグナリングされ得る。一部の実施形態において、（４つの空間的に隣接するブロックからの）最大４つの空間マージ候補及び（１つの時間的に隣接するブロックからの）最大１つの時間マージ候補が、マージ候補リストに追加され得る。マージ候補リストのサイズを指し示すために構文MaxMergeCandsNumを規定することができる。構文MaxMergeVandsNumをビットストリーム内でシグナリングすることができる。
【0090】
１．１ 空間候補に対する冗長性検査
一部の実施形態では、冗長性検査プロセスを実行するための計算複雑性を低減させるために、全ての可能な候補ペアが冗長性検査プロセスにかけられるわけではない。その代わりに、一部の例において、冗長性検査プロセスを所定の候補ペアに制限することができる。特定の候補が、対応する候補ペアにおける他の候補のものとは異なる動き情報を持つとき、その特定の候補がマージ候補リストに追加され得る。
一部の実施形態では、冗長性検査プロセスを実行するための計算複雑性を低減させるために、全ての可能な候補ペアが冗長性検査プロセスにかけられるわけではない。その代わりに、一部の例において、冗長性検査プロセスを所定の候補ペアに制限することができる。特定の候補が、対応する候補ペアにおける他の候補のものとは異なる動き情報を持つとき、その特定の候補がマージ候補リストに追加され得る。
【0091】
図９は、一実施形態に従った、冗長性検査プロセスにかけられるマージ候補のペアのチャートである。図９は、矢印（９０２、９０４、９０６、９１２、及び９１６）によって結び付けられる以下の所定の候補ペア（それらのブロック参照によって表記する）を示しており、それは、｛Ａ１，Ｂ１｝（矢印９０２によって結び付けている）、｛Ａ１，Ａ０｝（矢印９０４によって結び付けている）、｛Ａ１，Ｂ２｝（矢印９０６によって結び付けている）、｛Ｂ１，Ｂ０｝（矢印９１２によって結び付けている）、及び｛Ｂ１，Ｂ２｝（矢印９１６によって結び付けている）を含む。少なくとも１つの実施形態において、図９に規定される候補ペアのみが冗長性検査プロセスにかけられる。
【0092】
１．２ 時間候補に対する動きベクトルスケーリング
図１０は、一実施形態に従った、時間マージ候補を導出するための動きベクトルスケーリングの概略図である。一実施形態において、１つの時間候補をマージ候補リストに追加することができる。一部の実施形態において、現在ピクチャ（１０１０）内の現在ブロック（１０１２）についての時間マージ候補の導出にて、コロケート参照ピクチャ（１０２０）に含まれるコロケートブロック（１０２２）に基づいて、スケーリングされた動きベクトル（１０１４）を導出することができる。どのピクチャがコロケート参照ピクチャ（１０２０）として使用されるかを指し示す参照ピクチャリストが、例えばビットストリームのスライスヘッダ内など、ビットストリーム内でシグナリングされ得る。現在ブロック（１０１２）についての時間マージ候補としてのスケーリングされた動きベクトル（１０１４）は、ピクチャオーダカウント（ＰＯＣ）距離Ｔｂ及びＴｄを用いて、コロケートブロック（１０２２）の動きベクトル（１０２４）からスケーリングされ得る。Ｔｂは、現在ピクチャ（１０１０）と現在ピクチャ（１０１０）についての参照ピクチャ（１０３０）との間のＰＯＣ差であると定義される。Ｔｄは、コロケートピクチャ（１０２０）と、コロケートピクチャ（１０２０）についての参照ピクチャ（１０４０）との間のＰＯＣ差として定義される。時間マージ候補の参照ピクチャインデックスはゼロに設定され得る。
図１０は、一実施形態に従った、時間マージ候補を導出するための動きベクトルスケーリングの概略図である。一実施形態において、１つの時間候補をマージ候補リストに追加することができる。一部の実施形態において、現在ピクチャ（１０１０）内の現在ブロック（１０１２）についての時間マージ候補の導出にて、コロケート参照ピクチャ（１０２０）に含まれるコロケートブロック（１０２２）に基づいて、スケーリングされた動きベクトル（１０１４）を導出することができる。どのピクチャがコロケート参照ピクチャ（１０２０）として使用されるかを指し示す参照ピクチャリストが、例えばビットストリームのスライスヘッダ内など、ビットストリーム内でシグナリングされ得る。現在ブロック（１０１２）についての時間マージ候補としてのスケーリングされた動きベクトル（１０１４）は、ピクチャオーダカウント（ＰＯＣ）距離Ｔｂ及びＴｄを用いて、コロケートブロック（１０２２）の動きベクトル（１０２４）からスケーリングされ得る。Ｔｂは、現在ピクチャ（１０１０）と現在ピクチャ（１０１０）についての参照ピクチャ（１０３０）との間のＰＯＣ差であると定義される。Ｔｄは、コロケートピクチャ（１０２０）と、コロケートピクチャ（１０２０）についての参照ピクチャ（１０４０）との間のＰＯＣ差として定義される。時間マージ候補の参照ピクチャインデックスはゼロに設定され得る。
【0093】
また、時間候補の位置は、図８に示した時間隣接ブロックＣ０及びＣ１からの時間候補の間で選択され得る。一部の実施形態において、時間隣接ブロックＣ０からの時間候補が最初に検査されて使用される。例えば時間隣接ブロックＣ０が利用可能でなかったり、イントラ符号化されたり、あるいは現在のＣＴＵの行の外にあったりする場合など、時間隣接ブロックＣ０からの時間候補が利用できない場合には、時間隣接ブロックＣ１からの時間候補が使用され得る。
【0094】
１．３ 履歴ベースの動きベクトル導出
一部の実施形態では、空間ＭＶ候補及び時間ＭＶ候補の後に、１つ以上の履歴ベースＭＶ予測（history-based MV prediction；ＨＭＶＰ）候補を、マージ候補リストに追加することができる。ＨＭＶＰ方法は、１つ以上の先行符号化ブロックの動き情報をテーブルに格納することを含み、そのテーブルから、現在ブロックについての１つ以上のＨＭＶＰ候補を選択することができる。１つ以上のＨＭＶＰ候補を有するテーブルを、符号化／復号プロセスの間、維持することができる。該テーブルは、新たなＣＴＵ行を処理することになるときにリセットされる（エンプティにされる）ことができる。一部の実施形態において、サブブロックインター符号化ではないＣＵがあると常に、関連する動き情報が新ＨＭＶＰ候補としてテーブルの最後のエントリに追加され得る。
一部の実施形態では、空間ＭＶ候補及び時間ＭＶ候補の後に、１つ以上の履歴ベースＭＶ予測（history-based MV prediction；ＨＭＶＰ）候補を、マージ候補リストに追加することができる。ＨＭＶＰ方法は、１つ以上の先行符号化ブロックの動き情報をテーブルに格納することを含み、そのテーブルから、現在ブロックについての１つ以上のＨＭＶＰ候補を選択することができる。１つ以上のＨＭＶＰ候補を有するテーブルを、符号化／復号プロセスの間、維持することができる。該テーブルは、新たなＣＴＵ行を処理することになるときにリセットされる（エンプティにされる）ことができる。一部の実施形態において、サブブロックインター符号化ではないＣＵがあると常に、関連する動き情報が新ＨＭＶＰ候補としてテーブルの最後のエントリに追加され得る。
【0095】
一部の実施形態において、ＨＭＶＰテーブルのサイズは６に設定されることができ、これは、最大６個のＨＭＶＰ候補をテーブルに含め得ることを指し示す。新たな動き候補をテーブルに挿入するとき、制約付き先入れ先出し（ＦＩＦＯ）ルールを利用することができ、先ず、テーブル内に既に同じＨＭＶＰが存在するかを割り出すために冗長性検査が適用される。テーブルに格納されている候補のうちの特定の１つが、追加されるＨＭＶＰ候補と同じである場合、格納されている候補のうちのその特定の１つをテーブルから削除することができるとともに、格納されている候補のうちのその特定の１つの削除によって残された空きに応答して、その後にテーブルに入る他の全てのＨＭＶＰ候補を繰り上げることができる。
【0096】
一部の実施形態において、ＨＭＶＰ候補がマージ候補リスト構築プロセスで使用されるとき、テーブル内の最新の１つ以上のＨＭＶＰ候補が、逆の時系列順に従って検査され、時間候補の後ろで候補リストに挿入され得る。一部の実施形態において、それらのＨＭＶＰ候補について、既にマージ候補リスト内にある空間又は時間マージ候補に対する冗長性検査を行うことができる。
【0097】
一部の実施形態において、冗長性検査処理の数を減らすために、マージ候補リスト構築プロセスで使用されるＨＭＶＰ候補の数を制限することによって、冗長性検査を簡略化することができる。一部の例において、マージ候補リスト構築プロセスで使用されるＨＭＶＰ候補の数は（Ｎ＜＝４）？ Ｍ：（８－Ｎ）として設定されることができ、ここで、Ｎはマージ候補リスト内の既存の候補の数を示し、Ｍはテーブル内で利用可能なＨＭＶＰ候補の数を示す。一部の実施形態において、マージ候補リスト内の候補の総数が最大許容マージ候補数マイナス１に達すると、ＨＭＶＰからの候補をマージ候補リストに追加するプロセスを終了することができる。
【0098】
１．３ ペアごとの平均マージ候補導出
一部の実施形態において、現在のマージ候補リスト内の予め定められた複数の候補ペアを平均することによって、ペアごとの平均候補が生成され得る。例えば、予め定められたペアは、一実施形態において、｛（０，１），（０，２），（１，２），（０，３），（１，３），（２，３）｝として定められ、これらの数字はマージ候補リストへのマージインデックスを表す。一部の例において、各参照ピクチャリストに対して別々に平均動きベクトルが計算される。平均されるべき両方の動きベクトルが１つのリスト内で利用可能である場合、これら２つの動きベクトルは、それらが相異なる参照ピクチャを指す場合であっても平均されることができる。一方の動きベクトルのみが利用可能である場合、その利用可能な一方を直接使用することができる。どちらの動きベクトルも利用可能でない場合、一例において、それぞれのペアをスキップすることができる。ペアごとの平均候補は、一部の実施形態において、マージ候補リストを構築する際に、それら組み合わされた候補を置き換える。
一部の実施形態において、現在のマージ候補リスト内の予め定められた複数の候補ペアを平均することによって、ペアごとの平均候補が生成され得る。例えば、予め定められたペアは、一実施形態において、｛（０，１），（０，２），（１，２），（０，３），（１，３），（２，３）｝として定められ、これらの数字はマージ候補リストへのマージインデックスを表す。一部の例において、各参照ピクチャリストに対して別々に平均動きベクトルが計算される。平均されるべき両方の動きベクトルが１つのリスト内で利用可能である場合、これら２つの動きベクトルは、それらが相異なる参照ピクチャを指す場合であっても平均されることができる。一方の動きベクトルのみが利用可能である場合、その利用可能な一方を直接使用することができる。どちらの動きベクトルも利用可能でない場合、一例において、それぞれのペアをスキップすることができる。ペアごとの平均候補は、一部の実施形態において、マージ候補リストを構築する際に、それら組み合わされた候補を置き換える。
【0099】
一部の実施形態において、ペアごとの平均マージ候補が追加された後にマージ候補リストが満杯でない場合、最大マージ候補数に達するまでマージ候補リストの末尾に１つ以上のゼロＭＶを追加することができる。
【0100】
２． 動きベクトル差付きマージ（ＭＭＶＤ）モード
一部の実施形態において、現在ブロックの動きベクトル予測子を決定するために、動きベクトル差付きマージ（ＭＭＶＤ）モードが使用される。ＭＭＶＤモードは、スキップモード又はマージモードが有効にされるときに使用されることができる。ＭＭＶＤモードは、スキップモード又はマージモードのマージ候補リスト上のマージ候補を再利用する。例えば、参照ピクチャにおける開始点を提供するために、マージ候補リストから選択されたマージ候補を用いることができる。現在ブロックの動きベクトルは、開始点と、該開始点に対する動きの大きさ及び方向を含む動きオフセットとで表現され得る。エンコーダ側で、マージ候補の選択及び動きオフセットの決定は、探索プロセス（評価プロセス）に基づくことができる。デコーダ側で、選択されたマージ候補及び動きオフセットは、エンコーダ側からのシグナリングに基づいて決定されることができる。
一部の実施形態において、現在ブロックの動きベクトル予測子を決定するために、動きベクトル差付きマージ（ＭＭＶＤ）モードが使用される。ＭＭＶＤモードは、スキップモード又はマージモードが有効にされるときに使用されることができる。ＭＭＶＤモードは、スキップモード又はマージモードのマージ候補リスト上のマージ候補を再利用する。例えば、参照ピクチャにおける開始点を提供するために、マージ候補リストから選択されたマージ候補を用いることができる。現在ブロックの動きベクトルは、開始点と、該開始点に対する動きの大きさ及び方向を含む動きオフセットとで表現され得る。エンコーダ側で、マージ候補の選択及び動きオフセットの決定は、探索プロセス（評価プロセス）に基づくことができる。デコーダ側で、選択されたマージ候補及び動きオフセットは、エンコーダ側からのシグナリングに基づいて決定されることができる。
【0101】
ＭＭＶＤモードでは、選択されたマージ候補が、シグナリングされた動きベクトル差（ＭＶＤ）情報によって更に精緻化され得る。一部の実施形態において、ＭＶＤ情報は、マージ候補フラグと、動きの大きさを規定するインデックスと、動き方向の指示のためのインデックスとを含む。ＭＭＶＤモードでは、マージ候補リスト内の候補のうちの１つが、ＭＶ基準として使用されるように選択され得る。どの候補がＭＶ基準として選択されるかを規定するためにマージ候補フラグがシグナリングされる。
【0102】
開始点ＭＶの水平成分又は垂直成分に関する予め定められたオフセットを規定するために、距離インデックスを使用することができる。例えば、複数の予め定められたピクセル距離を、各々０から７までのインデックスに関連付けて、表１に示す。距離インデックスのインデックスを有するピクセル距離は、複数のピクセル距離から決定されることができ、動きの大きさを提供するために使用される。開始ＭＶの水平成分又は垂直成分のいずれかにオフセットが加算される。距離インデックスと予め定められたオフセットとの関係が、表１に規定される。
【表1】
【0103】
方向インデックスが、開始点に対するＭＶＤの方向を表す。例えば、００から１１（バイナリ）までのインデックスを持つ４つの方向を表２に示す。方向インデックスのインデックスを有する方向は、４つの方向から決定されることができ、開始点に対する動きオフセットの方向を提供するために使用される。
【表2】
【0104】
一部の実施形態において、ＭＶＤ方向の定義は、開始ＭＶの情報に従って変わり得る。開始ＭＶが非予測ＭＶ又は両方のリストが現在ピクチャの同じ側を指す（すなわち、２つの参照ピクチャのＰＯＣがどちらも現在ピクチャのＰＯＣよりも大きい又はどちらも現在ピクチャのＰＯＣよりも小さい）双予測ＭＶである場合、表２に従って特定される方向を用いて、開始ＭＶに加算されるＭＶオフセットの方向を規定することができる。開始ＭＶが、２つのＭＶが現在ピクチャの相異なる側を指す（すなわち、一方の参照ピクチャのＰＯＣが現在のピクチャのＰＯＣよりも大きく、且つ他方の参照ピクチャのＰＯＣが現在ピクチャのＰＯＣよりも小さい）双予測ＭＶである場合、表２に従って特定される方向を用いて、開始ＭＶのｌｉｓｔ０ ＭＶ成分のＭＶオフセット及びｌｉｓｔ１ ＭＶ成分の逆方向のＭＶオフセットを加算することができる。
【0105】
図１１は、一実施形態に従った、ＭＭＶＤマージモードにおいて評価される２つの開始点を取り囲む所定の点の概略図である。図１１に示す例では、現在ブロックの第１及び第２の動きベクトルが、それぞれ、参照ピクチャリストＬ０及びＬ１内の２つの参照ピクチャ（１１１０）及び（１１４０）に関連付けられている。２つの開始点（１１１２）及び（１１４２）を、参照ピクチャ（１１１０）及び（１１４０）にて決定することができる。
【0106】
符号化側での例において、開始点（１１１２）及び（１１４２）に基づいて、参照ピクチャ（１１１０）及び（１１４０）内で開始点（１１１２）及び（１１４２）から垂直方向（＋Ｙ又は－Ｙで表される）又は水平方向（＋Ｘ及び－Ｘで表される）に延びる複数の予め定められた点が評価され得る。評価に基づいて、マージリストからマージ候補を選択することができ、動き方向及び動き距離も決定することができる。例えば、選択されたマージ候補に基づいて、ベース候補インデックスを決定することができる。例えば予め定められた点（例えば、１１１６又は１１４６）に対応するものなど、選択された動きベクトル予測子に基づいて、開始点（１１１２又は１１４２）に対する点（例えば、１１１６又は１１４６）の方向及び距離を決定することができる。それに従って、表１及び表２により、方向インデックス及び距離インデックスを決定することができる。復号側での例において、シグナリングされた開始点、方向、及び距離に基づいて、ＭＭＶＤに従った精緻化された動きベクトルを決定することができる。
【0107】
３． アフィン予測モード
一部の例において、現在ブロック及び／又は現在ブロックのサブブロックの動きベクトルは、アフィンモデル（例えば、６パラメータアフィンモデル又は４パラメータアフィンモデル）を用いて導出されることができる。図１２Ａは、一実施形態に従った（３つの制御点による）６パラメータアフィンモデルの概略図である。
一部の例において、現在ブロック及び／又は現在ブロックのサブブロックの動きベクトルは、アフィンモデル（例えば、６パラメータアフィンモデル又は４パラメータアフィンモデル）を用いて導出されることができる。図１２Ａは、一実施形態に従った（３つの制御点による）６パラメータアフィンモデルの概略図である。
【0108】
一例において、アフィン符号化ブロック（例えば、現在ブロック１２０２）の６つのパラメータは、現在ブロックの３つの異なる位置（例えば、図１２Ａの左上、右上、及び左下の隅にある制御点ＣＰ０、ＣＰ１、及びＣＰ２）における３つの動きベクトル（３つの制御点動きベクトル（例えばＣＰＭＶ０、ＣＰＭＶ１、及びＣＰＭＶ２であるＣＰＭＶ）とも称する）によって表され得る。一部の実施形態において、６パラメータアフィンモデルでは、現在ブロック（１２０２）内のサンプル位置（ｘ，ｙ）における動きベクトルは、
として導出されることができ、ここで、（ｍｖ０ｘ，ｍｖ０ｙ）は、左上隅の制御点（ＣＰＭＶ０）の動きベクトルを表し、（ｍｖ１ｘ，ｍｖ１ｙ）は、右上隅の制御点（ＣＰＭＶ１）の動きベクトルを表し、そして、（ｍｖ２ｘ，ｍｖ２ｙ）は、左下隅の制御点（ＣＰＭＶ２）の動きベクトルを表す。また、Ｗは、現在ブロック（１２０２）の幅を表し、Ｈは、現在ブロック（１２０２）の高さを表す。
【数1】
【0109】
図１２Ｂは、一実施形態に従った（２つの制御点による）４パラメータアフィンモデルの概略図である。他の一例において、単純化されたアフィンモデルは、４つのパラメータを用いてアフィン符号化ブロック（例えば、現在ブロック１２０２）の動き情報を記述し、それは、現在ブロックの２つの異なる位置（例えば、図１２Ｂの左上及び右上の隅にある制御点ＣＰ０及びＣＰ１）における２つの動きベクトル（例えばＣＰＭＶ０及びＣＰＭＶ１である２つのＣＰＭＶとも称する）によって表され得る。一部の実施形態において、４パラメータアフィンモデルでは、現在ブロック（１２０２）内のサンプル位置（ｘ，ｙ）における動きベクトルは、
として導出されることができ、ここで、（ｍｖ０ｘ，ｍｖ０ｙ）は、左上隅の制御点（ＣＰＭＶ０）の動きベクトルを表し、（ｍｖ１ｘ，ｍｖ１ｙ）は、右上隅の制御点（ＣＰＭＶ１）の動きベクトルを表す。また、Ｗは、現在ブロック（１２０２）の幅を表す。
【数2】
【0110】
一部の実施形態において、動き補償予測を単純化するために、サブブロックベースのアフィン予測法が適用される。図１２Ｃは、一実施形態に従った、アフィン予測法に従って符号化される現在ブロックのサブブロックに対して導出される動きベクトルの概略図である。図１２Ｃにおいて、現在ブロック（１２０２）はサブブロックに分割されることができる。この例では、各サブブロックが４×４ルマサブブロックであるとし得る。それぞれのサブブロックの中心に対応するサブブロック動きベクトル（ＭＶａ乃至ＭＶｐ）が、上述の４パラメータアフィン予測法に従って計算され、１／１６の小数精度に丸められ得る。計算されたサブブロック動きベクトルに従って、サブブロックに対する動き補償予測ブロックデータが生成され得る。
【0111】
一部の実施形態において、クロマコンポーネントのサブブロックサイズも４×４に設定することができる。４×４クロマサブブロックのＭＶは、４つの対応する４×４ルマサブブロックのＭＶの平均として計算され得る。
【0112】
一部の実施形態において、ＣＰＭＶは明示的なものとし得る。一部の実施形態において、ＣＰＭＶは、例えばアフィンマージモード又はアフィンＡＭＶＰモードなどの種々のＣＰＭＶ予測法に従って決定され得る。
【0113】
３．１． アフィンマージモード
図１３は、一実施形態に従った、アフィン予測法によって符号化される現在ブロック（１３０１）に関する空間隣接ブロック及び時間隣接ブロックの概略図である。図示されるように、空間隣接ブロックは、Ａ０、Ａ１、Ａ２、Ｂ０、Ｂ１、Ｂ２、及びＢ３（それぞれ、１３０２、１３０３、１３０７、１３０４、１３０５、１３０６、及び１３０８）と表記され、時間隣接ブロックは、Ｃ０（１３１２）と表記される。一部の例において、空間隣接ブロックＡ０、Ａ１、Ａ２、Ｂ０、Ｂ１、Ｂ２、及びＢ３、並びに現在ブロック（１３０１）は、同一ピクチャ内にある。一部の例において、時間隣接ブロックＣ０は、参照ピクチャ内にあり、現在ブロック（１３０１）の外側の位置に対応し、且つ現在ブロック（１３０１）の右下隅に隣接する。
図１３は、一実施形態に従った、アフィン予測法によって符号化される現在ブロック（１３０１）に関する空間隣接ブロック及び時間隣接ブロックの概略図である。図示されるように、空間隣接ブロックは、Ａ０、Ａ１、Ａ２、Ｂ０、Ｂ１、Ｂ２、及びＢ３（それぞれ、１３０２、１３０３、１３０７、１３０４、１３０５、１３０６、及び１３０８）と表記され、時間隣接ブロックは、Ｃ０（１３１２）と表記される。一部の例において、空間隣接ブロックＡ０、Ａ１、Ａ２、Ｂ０、Ｂ１、Ｂ２、及びＢ３、並びに現在ブロック（１３０１）は、同一ピクチャ内にある。一部の例において、時間隣接ブロックＣ０は、参照ピクチャ内にあり、現在ブロック（１３０１）の外側の位置に対応し、且つ現在ブロック（１３０１）の右下隅に隣接する。
【0114】
これら空間隣接ブロック及び／又は時間隣接ブロックのうちの１つ以上の動き情報に基づいて、アフィンマージモードを使用して、動き情報候補のリスト（アフィンマージ候補リストとも称する）を構築することができる。一部の例において、アフィンマージモードは、現在ブロック（１３０１）が８サンプル以上の幅及び高さを持つ場合に適用され得る。アフィンマージモードに従って、リスト上の動き情報候補に基づいて現在ブロック（１３０１）のＣＰＭＶが決定され得る。一部の例において、動き情報候補のリストは、最大５つのＣＰＭＶ候補を含むことができ、どのＣＰＭＶ候補が現在ブロックに対して使用されるかを指し示すために、インデックスをシグナリングすることができる。一部の実施形態において、ＣＰＭＶ候補は、アフィンモデルに関する全てのＣＰＭＶを含む。
【0115】
一部の実施形態において、アフィンマージ候補リストは、継承アフィン候補、構築アフィン候補、及びゼロＭＶを含む３つのタイプのＣＰＶＭ候補を有することができる。継承アフィン候補は、隣接ブロックのＣＰＭＶからの外挿によって導出され得る。構築アフィン候補は、隣接ブロックの並進ＭＶを用いて導出され得る。
【0116】
一例において、左隣接ブロック（Ａ０及びＡ１）からの１つのブロックと、上隣接ブロック（Ｂ０、Ｂ１、及びＢ２）からの１つとを含む、隣接ブロックの対応するアフィン動きモデルから導出される最大２つの継承アフィン候補が存在し得る。左からの候補について、隣接ブロックＡ０及びＡ１を順に検査することができ、隣接ブロックＡ０及びＡ１からの最初の利用可能な継承アフィン候補が、左からの継承アフィン候補として使用される。上からの候補について、隣接ブロックＢ０、Ｂ１、及びＢ２を順に検査することができ、隣接ブロックＢ０、Ｂ１、及びＢ２からの最初の利用可能な継承アフィン候補が、上からの継承アフィン候補として使用される。一部の例において、これら２つの継承アフィン候補の間では剪定検査は実行されない。
【0117】
隣接アフィンブロックが特定されるとき、現在ブロック（１３０１）のアフィンマージリストに追加されるべき対応する継承アフィン候補を、隣接アフィンブロックの制御点動きベクトルから導出することができる。図１３の例において、隣接ブロックＡ１がアフィンモードで符号化されるとき、ブロックＡ１の左上隅（制御点ＣＰ０Ａ１）、右上隅（制御点ＣＰ１Ａ１）、及び左下隅（制御点ＣＰ２Ａ１）の動きベクトルを取得することができる。ブロックＡ１が４パラメータアフィンモデルを用いて符号化される場合、現在ブロック（１３０１）の継承アフィン候補としての２つのＣＰＭＶが、制御点ＣＰ０Ａ１及び制御点ＣＰ１Ａ１の動きベクトルに従って計算され得る。ブロックＡ１が６パラメータアフィンモデルを用いて符号化される場合、現在ブロック（１３０１）の継承アフィン候補としての３つのＣＰＭＶが、制御点ＣＰ０Ａ１、制御点ＣＰ１Ａ１、及び制御点ＣＰ２Ａ１の動きベクトルに従って計算され得る。
【0118】
さらに、各制御点の隣接する並進動き情報を組み合わせることによって構築アフィン候補を導出することができる。制御点ＣＰ０、ＣＰ１、及びＣＰ２の動き情報は、規定された空間隣接ブロックＡ０、Ａ１、Ａ２、Ｂ０、Ｂ１、Ｂ２、及びＢ３から導出される。
【0119】
例えば、ＣＰＭＶｋ（ｋ＝０，１，２，３）が４つの異なる制御点の動きベクトルを表し、ここで、ＣＰＭＶ０は制御点ＣＰ０に対応し、ＣＰＭＶ１は制御点ＣＰ１に対応し、ＣＰＭＶ２は制御点ＣＰ２に対応し、そして、ＣＰＭＶ３は、時間隣接ブロックＣ０に基づく時間制御点に対応する。ＣＰＭＶ０について、隣接ブロックＢ２、Ｂ３、及びＡ２を順に検査することができ、隣接ブロックＢ２、Ｂ３、及びＡ２からの最初の利用可能な動きベクトルがＣＰＭＶ０として使用される。ＣＰＭＶ１について、隣接ブロックＢ１及びＢ０を順に検査することができ、隣接ブロックＢ１及びＢ０からの最初の利用可能な動きベクトルがＣＰＭＶ１として使用される。ＣＰＭＶ２について、隣接ブロックＡ１及びＡ０を順に検査することができ、隣接ブロックＡ１及びＡ０からの最初の利用可能な動きベクトルがＣＰＭＶ２として使用される。さらに、利用可能であれば、時間隣接ブロックＣ０の動きベクトルをＣＰＭＶ４として使用することができる。
【0120】
４つの制御点ＣＰ０、ＣＰ１、ＣＰ２、及び時間制御点のＣＰＭＶ０、ＣＰＭＶ１、ＣＰＭＶ２、及びＣＰＭＶ３が得られた後、｛ＣＰＭＶ０，ＣＰＭＶ１，ＣＰＭＶ２｝、｛ＣＰＭＶ０，ＣＰＭＶ１，ＣＰＭＶ３｝、｛ＣＰＭＶ０，ＣＰＭＶ２，ＣＰＭＶ３｝、｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ３｝、｛ＣＰＭＶ０，ＣＰＭＶ１｝、及び｛ＣＰＭＶ０，ＣＰＭＶ２｝の順に構築されるアフィンマージ候補を含むように、アフィンマージ候補リストを構築することができる。３つのＣＰＭＶの任意の組み合わせが、６パラメータアフィンマージ候補を形成し得るとともに、２つのＣＰＭＶの任意の組み合わせが、４パラメータアフィンマージ候補を形成し得る。一部の例において、動きスケーリングプロセスを回避するために、制御点のグループの参照インデックスが異なる場合、ＣＰＭＶの対応する組み合わせを廃棄することができる。
【0121】
一部の実施形態において、継承アフィンマージ候補及び構築アフィンマージ候補が検査された後、リストがまだ満杯でない場合、リストの末尾にゼロＭＶが挿入される。
【0122】
３．２． アフィンＡＭＶＰモード
一部の実施形態において、現在ブロック（１３０１）が１６サンプル以上の幅及び高さを持つ場合に、アフィンＡＭＶＰモードを使用して動き情報候補のリストを構築することができる。アフィンＡＭＶＰモードによれば、アフィンＡＭＶＰモードが使用されるかを指し示すために、ＣＵレベルでのアフィンフラグをビットストリーム内でシグナリングすることができ、その後に、４パラメータアフィンモデルが使用されるのか、それとも６パラメータアフィンモデルが使用されるのかを指し示すために、別のフラグをシグナリングすることができる。アフィンＡＭＶＰモードでは、現在ブロックのＣＰＭＶと、対応するＣＰＭＶ予測子（ＣＰＭＶＰ）との差を、ビットストリーム内でシグナリングすることができる。一部の実施形態において、アフィンＡＶＭＰ候補リストは、２候補のサイズを持つことができ、以下の４タイプのＣＰＶＭ候補、すなわち、（１）１つ以上の隣接ＣＵのＣＰＭＶから外挿された継承アフィンＡＭＶＰ候補、（２）１つ以上の隣接ＣＵの並進ＭＶを用いて導出された構築アフィンＡＭＶＰ候補、（３）１つ以上の隣接ＣＵからの並進ＭＶ、及び（４）ゼロＭＶを含む４タイプのＣＰＶＭ候補を順に用いることによって生成される。
一部の実施形態において、現在ブロック（１３０１）が１６サンプル以上の幅及び高さを持つ場合に、アフィンＡＭＶＰモードを使用して動き情報候補のリストを構築することができる。アフィンＡＭＶＰモードによれば、アフィンＡＭＶＰモードが使用されるかを指し示すために、ＣＵレベルでのアフィンフラグをビットストリーム内でシグナリングすることができ、その後に、４パラメータアフィンモデルが使用されるのか、それとも６パラメータアフィンモデルが使用されるのかを指し示すために、別のフラグをシグナリングすることができる。アフィンＡＭＶＰモードでは、現在ブロックのＣＰＭＶと、対応するＣＰＭＶ予測子（ＣＰＭＶＰ）との差を、ビットストリーム内でシグナリングすることができる。一部の実施形態において、アフィンＡＶＭＰ候補リストは、２候補のサイズを持つことができ、以下の４タイプのＣＰＶＭ候補、すなわち、（１）１つ以上の隣接ＣＵのＣＰＭＶから外挿された継承アフィンＡＭＶＰ候補、（２）１つ以上の隣接ＣＵの並進ＭＶを用いて導出された構築アフィンＡＭＶＰ候補、（３）１つ以上の隣接ＣＵからの並進ＭＶ、及び（４）ゼロＭＶを含む４タイプのＣＰＶＭ候補を順に用いることによって生成される。
【0123】
継承アフィンＡＭＶＰ候補を導出することに関し、一部の例では、継承アフィンＡＭＶＰ候補の検査順序は、継承アフィンマージ候補の検査順序と同じである。ＡＶＭＰ候補は、現在ブロックと同じ参照ピクチャを持つアフィンＣＵからのみ決定され得る。一部の実施形態において、継承アフィン動き予測子を候補リストに挿入するとき、剪定プロセスは適用されない。
【0124】
構築アフィンＡＭＶＰ候補を導出することに関し、一部の例では、構築ＡＭＶＰ候補は、アフィンマージ候補構築において使用されるのと同じ検査順序で、図１３に示した１つ以上の隣接ブロックから導出され得る。さらに、隣接ブロックの参照ピクチャインデックスも検査される。例えば、インター符号化され且つ現在ブロックと同じ参照ピクチャを持った、検査順で最初のブロックを使用することができる。一部の実施形態において、構築アフィンＡＭＶＰ候補は１つのみ存在することができる。一部の実施形態において、現在ブロックが４パラメータアフィンモードに従って符号化され、且つそのＣＰ０及びＣＰ１に対応する検査済み隣接ブロックの制御点動きベクトルがどちらも利用可能である場合、これらの検査された隣接ブロックの制御点動きベクトルの集合を、アフィンＡＭＶＰリストに候補として追加することができる。現在ブロックが６パラメータアフィンモードに従って符号化され、且つそのＣＰ０、ＣＰ１、及びＣＰ２に対応する検査済み隣接ブロックの制御点動きベクトルが全て利用可能である場合、これらの検査された隣接ブロックの制御点動きベクトルの集合を、アフィンＡＭＶＰリストに候補として追加することができる。そうでない場合には、検査された隣接ブロックからの構築されたＡＭＶＰ候補は利用可能でないと決定され得る。
【0125】
一部の実施形態において、継承アフィンＡＭＶＰ候補及び構築ＡＭＶＰ候補を検査した後にアフィンＡＶＭＰ候補リストが２つ未満の候補を持つ場合、１つ以上の隣接ブロックからの並進ＭＶに従って導出された候補を、アフィンＡＶＭＰ候補リストに追加することができる。リストがまだ満杯でない場合に、最後に、ゼロＭＶを用いてアフィンＡＶＭＰ候補リストを充たすことができる。
【0126】
４． サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）モード
図１４Ａは、一実施形態に従った、サブブロックベース時間動きベクトル予測（subblock-based temporal motion vector prediction；ＳｂＴＭＶＰ）方法を用いて現在ブロック（１４１１）に対する予測動き情報を決定するために使用されることが可能な空間隣接ブロックの概略図である。図１４Ａは、現在ブロック（１４１１）と、Ａ０、Ａ１、Ｂ０、及びＢ１（それぞれ、１４１２、１４１３、１４１４、及び１４１５）と表記されるその空間隣接ブロックとを示している。一部の例において、空間隣接ブロックＡ０、Ａ１、Ｂ０、及びＢ１、並びに現在ブロック（１４１１）は、同じピクチャ内にある。
図１４Ａは、一実施形態に従った、サブブロックベース時間動きベクトル予測（subblock-based temporal motion vector prediction；ＳｂＴＭＶＰ）方法を用いて現在ブロック（１４１１）に対する予測動き情報を決定するために使用されることが可能な空間隣接ブロックの概略図である。図１４Ａは、現在ブロック（１４１１）と、Ａ０、Ａ１、Ｂ０、及びＢ１（それぞれ、１４１２、１４１３、１４１４、及び１４１５）と表記されるその空間隣接ブロックとを示している。一部の例において、空間隣接ブロックＡ０、Ａ１、Ｂ０、及びＢ１、並びに現在ブロック（１４１１）は、同じピクチャ内にある。
【0127】
図１４Ｂは、一実施形態に従った、例えばこの非限定的な例でのブロックＡ１などの、選択された空間隣接ブロックに基づいて、ＳｂＴＭＶＰ方法を用いて現在ブロック（１４１１）のサブブロックについて動き情報を決定することの概略図である。この例において、現在ブロック（１４１１）は現在ピクチャ（１４１０）内にあり、参照ブロック（１４６１）は、参照ピクチャ（１４６０）内にあって、動きベクトル（１４２２）によって示される現在ブロック（１４１１）と、参照ブロック（１４６１）との間の動きシフト（又は変位）に基づいて特定され得る。
【0128】
一部の実施形態において、ＨＥＶＣにおける時間動きベクトル予測（ＴＭＶＰ）と同様に、ＳｂＴＭＶＰは、現在ピクチャ内の現在ブロックに対して、参照ピクチャ内の様々な参照サブブロックの動き情報を使用する。一部の実施形態において、ＴＭＶＰによって使用されるのと同じ参照ピクチャがＳｂＴＶＭＰに使用され得る。一部の実施形態において、ＴＭＶＰはＣＵレベルで動き情報を予測するが、ＳｂＴＭＶＰはサブＣＵレベルで動きを予測する。一部の実施形態において、ＴＭＶＰは、現在ブロックの右下隅又は中心に隣接する対応位置を有するものであるコロケートブロックからの時間動きベクトルを使用し、ＳｂＴＭＶＰは、現在ブロックの空間隣接ブロックのうちの１つからの動きベクトルに基づいて動きシフトを実行することによって特定されることができるものである参照ブロックからの時間動きベクトルを使用する。
【0129】
例えば、図１４Ａに示されるように、ＳｂＴＶＭＰプロセスにおいて、隣接ブロックＡ１、Ｂ１、Ｂ０、及びＡ０が順に検査され得る。例えば参照ピクチャ（１４６０）内の参照ブロックＡＲ１を指す動きベクトル（１４２２）を有するブロックＡ１など、参照ピクチャ（１４６０）をその参照ピクチャとして使用する動きベクトルを有する最初の空間隣接ブロックが特定されると直ちに、この動きベクトル（１４２２）を、動きシフトを実行するために使用することができる。空間隣接ブロックＡ１、Ｂ１、Ｂ０、及びＡ０からそのような動きベクトルが利用可能でない場合には、動きシフトは（０，０）に設定される。
【0130】
動きシフトを決定した後、現在ブロック（１４１１）の位置と、決定された動きシフトとに基づいて、参照ブロック（１４６１）を特定することができる。図１４Ｂにおいて、参照ブロック（１４６１）は、参照動き情報ＭＲａ乃至ＭＲｐを有する１６個のサブブロックに更に分割されることができる。一部の例において、参照ブロック（１４６１）内の各サブブロックについての参照動き情報は、それぞれのサブブロックの中心サンプルをカバーする最小の動きグリッドに基づいて決定され得る。動き情報は、動きベクトル及び対応する参照インデックスを含み得る。現在ブロック（１４１１）は１６個のサブブロックに更に分割されることができ、ＴＭＶＰプロセスと同様にして、一部の例では時間スケーリングを用いて、参照動き情報ＭＲａ乃至ＭＲｐから現在ブロック（１４１１）内のサブブロックについての動き情報ＭＶａ乃至ＭＶｐを導出することができる。
【0131】
ＳｂＴＭＶＰプロセスで使用されるサブブロックサイズは、固定（又はその他の方法で所定）であることができ、あるいはシグナリングされることができる。一部の例において、ＳｂＴＭＶＰプロセスで使用されるサブブロックサイズは、８×８サンプルとすることができる。一部の例において、ＳｂＴＭＶＰプロセスは、例えば８ピクセルといった固定の又はシグナリングされるサイズ以上の幅及び高さを有するブロックにのみ適用可能である。
【0132】
一例において、ＳｂＴＶＭＰ候補とアフィンマージ候補とを含んだ、組み合わせによるサブブロックベースのマージリストが、サブブロックベースマージモードのシグナリングに使用される。ＳｂＴＶＭＰモードは、シーケンスパラメータセット（ＳＰＳ）フラグによって有効又は無効にされ得る。一部の例において、ＳｂＴＭＶＰモードが有効にされる場合、ＳｂＴＭＶＰ候補が、サブブロックベースマージ候補のリストの最初のエントリとして追加され、アフィンマージ候補によって続かれる。一部の実施形態において、サブブロックベースマージリストの最大許容サイズが５に設定される。しかしながら、他の実施形態では他のサイズが使用されてもよい。
【0133】
一部の実施形態において、追加のＳｂＴＭＶＰマージ候補の符号化ロジックは、他のマージ候補についてと同じである。すなわち、Ｐ又はＢスライス内の各ブロックに対して、ＳｂＴＭＶＰ候補を使用するかを決定するために、追加のレート歪み検査を行うことができる。
【0134】
５． 三角予測
一部の実施形態において、インター予測のために三角予測モード（triangular prediction mode；ＴＰＭ）を使用することができる。一実施形態において、ＴＰＭは、サイズが８×８サンプル以上のＣＵに適用され、スキップモード又はマージモードで符号化される。一実施形態において、これらの条件（８×８サンプル以上のサイズ及びスキップ又はマージモードで符号化される）を満たすＣＵに対して、ＴＰＭが適用されるか否かを指し示すためにＣＵレベルのフラグがシグナリングされる。
一部の実施形態において、インター予測のために三角予測モード（triangular prediction mode；ＴＰＭ）を使用することができる。一実施形態において、ＴＰＭは、サイズが８×８サンプル以上のＣＵに適用され、スキップモード又はマージモードで符号化される。一実施形態において、これらの条件（８×８サンプル以上のサイズ及びスキップ又はマージモードで符号化される）を満たすＣＵに対して、ＴＰＭが適用されるか否かを指し示すためにＣＵレベルのフラグがシグナリングされる。
【0135】
図１５Ａは、一実施形態に従った、三角予測ユニットモードによる現在ブロックに対する２つの分割例の概略図である。ＴＰＭが使用されるとき、一部の実施形態において、ＣＵが、図１５Ａに示すように、左上隅から右下隅への対角線に沿って（例えば、対角分割）、又は右上隅から左下隅への対角線に沿って（例えば、逆対角分割）、二つの三角形のパーティションに等分される。図１５Ａでは、現在ブロック（又はＣＵとも呼ばれる）（１５１０Ａ）は、左上隅から右下隅に分割されて２つの三角予測ユニット（１５１２）及び（１５１４）を生じさせることができる。ＣＵ（１５１０Ｂ）はまた、右上隅から左下隅に分割すされて、２つの三角予測ユニット（１５１６）及び（１５１８）が生じさせることもできる。これら２つの例（１５１０Ａ）及び（１５１０Ｂ）における各三角予測ユニット（１５１２）、（１５１４）、（１５１６）及び（１５１８）が、それ自身の動き情報を用いてインター予測され得る。
【0136】
一部の実施形態では、片予測のみが各三角予測ユニットに対して許される。従って、各三角予測ユニットが、１つの動きベクトルと１つの参照ピクチャインデックスとを有する。片予測の動き制約が適用されることで、従来の双予測法と同様に、各ＣＵに対して２つより多い動き補償予測が実行されないことを保証することができる。斯くして、処理の複雑さを下げることができる。各三角予測ユニットに対する片予測動き情報は、片予測マージ候補リストから導出されることができる。一部の他の実施形態では、双予測が各三角予測ユニットに対して許される。従って、各三角予測ユニットに対する双予測動き情報を、双予測マージ候補リストから導出することができる。
【0137】
一部の実施形態において、ＣＵレベルフラグが、現在ＣＵがＴＰＭを用いて符号化されることを指し示す場合、三角パーティションインデックスと呼ぶインデックスが更にシグナリングされる。例えば、三角パーティションインデックスは、［０，３９］の範囲内の値を持つことができる。この三角パーティションインデックスを用いて、三角パーティションの方向（対角又は逆対角）と、パーティションの各々の動き情報（例えば、それぞれの片予測候補リストへのマージインデックス（又はＴＰＭインデックスと称する））とを、デコーダ側でルックアップテーブルを通じて得ることができる。
【0138】
得られた動き情報に基づいて三角予測ユニットの各々を予測した後、一実施形態において、現在ＣＵの対角エッジ又は逆対角エッジに沿ったサンプル値が、適応的な重みを用いたブレンドプロセスを実行することによって調整される。ブレンドプロセスの結果として、ＣＵ全体についての予測信号を得ることができる。続いて、他の予測モードと同様の手法で、ＣＵ全体に変換及び量子化プロセスを適用することができる。最後に、三角分割モードを用いて予測されたＣＵの動きフィールドを、例えば、ＣＵから分割された４×４ユニットのセットにて動き情報を格納することによって作成することができる。この動きフィールドは、例えば、マージ候補リストを構築するための後続の動きベクトル予測プロセスで使用されることができる。
【0139】
５．１ 片予測候補リスト構築
一部の実施形態において、ＴＰＭで処理された符号化ブロックの２つの三角予測ユニットの予測のためのマージ候補リストが、符号化ブロックの空間及び時間隣接ブロックのセットに基づいて構築され得る。このようなマージ候補リストは、ここでリストアップされるＴＰＭ候補を有するＴＰＭ候補リストと称され得る。一実施形態において、このマージ候補リストは片予測候補リストである。
一部の実施形態において、ＴＰＭで処理された符号化ブロックの２つの三角予測ユニットの予測のためのマージ候補リストが、符号化ブロックの空間及び時間隣接ブロックのセットに基づいて構築され得る。このようなマージ候補リストは、ここでリストアップされるＴＰＭ候補を有するＴＰＭ候補リストと称され得る。一実施形態において、このマージ候補リストは片予測候補リストである。
【0140】
図１５Ｂは、一実施形態に従った、三角予測モードのための片予測候補リストを構築するのに使用される空間及び時間隣接ブロックの一例を示している。一部の実施形態において、片予測候補リストは、一実施形態において５つの片予測動きベクトル候補を含む。例えば、５つの片予測動きベクトル候補は、５つの空間隣接するブロック（図１５ＢではＳ１乃至Ｓ５により表記する）と２つの時間隣接するブロック（図１５ＢではＴ６及びＴ７により表記する）とを含む７つの隣接ブロックから導出される。
【0141】
一例において、７つの隣接ブロックの動きベクトルが収集され、以下の順に、すなわち、先ず、片予測隣接ブロックの動きベクトル、（ｂ）次いで、双予測隣接ブロックについて、Ｌ０動きベクトル（すなわち、双予測ＭＶのＬ０動きベクトル部分）、Ｌ１動きベクトル（すなわち、双予測ＭＶのＬ１動きベクトル部分）、及び双予測ＭＶのＬ０及びＬ１動きベクトルの平均動きベクトル、の順に、片予測候補リストに入れられる。一例において、候補の数が５未満である場合、リストの末尾にゼロ動きベクトルが追加される。一部の他の実施形態において、マージ候補リストは、図１５Ｂに示したものと同じ又は異なる候補位置から選択される５より少ない又は５より多い片予測又は双予測マージ候補を含んでもよい。
【0142】
一実施形態において、ＣＵは、５つのＴＰＭ候補を含むＴＰＭ（又はマージ）候補リストを用いて三角分割モードで符号化される。従って、各三角ＰＵに対して５つのマージ候補が使用される場合、ＣＵを予測するのに取り得る４０通りのやり方が存在する。換言すれば、２（可能な分割方向）×５（第１の三角予測ユニットに対して可能なマージインデックス）×５（第２の三角予測ユニットに対して可能なマージインデックス）－５（第１及び第２の予測ユニットのペアが同じマージインデックスを共有することが起こる数）の、４０通りの異なる組み合わせの分割方向及びマージ（又はＴＰＭ）インデックスが存在することができる。例えば、２つの三角予測ユニットに対して同じマージインデックスが決定された場合には、ＣＵは、三角予測モードの代わりに、通常のマージモードを用いて処理されることができる。
【0143】
従って、一実施形態において、［０，３９］の範囲内の三角パーティションインデックスを使用して、４０通りの組み合わせのうちのどの１つが使用されるかを、以下の表３に示すルックアップテーブルに基づいて表すことができる。
【表3】
【0144】
表３の最初の行（triangle_idx）は、０から３９までの範囲の三角パーティションインデックスを示す。表３の２番目の行（triangle dir）は、０又は１で表される可能な分割方向を指し示す。３番目の行（Part 1 cand）は、第１の三角予測ユニットに対応し、０から４の範囲の可能な第１のマージインデックスを含む。４番目の行（Part 2 cand）は、第２の三角予測ユニットに対応し、０から４の範囲の可能な第２のマージインデックスを含む。
【0145】
例えば、１の値を持つ三角パーティションインデックスがデコーダで受信された場合、triangle_idx＝１に対応するルックアップテーブルの列に基づいて、分割方向は１の値で表される分割方向（例えば、逆対角分割）であり、且つ第１及び第２のマージインデックスはそれぞれ０及び１であると割り出すことができる。三角パーティションインデックスはルックアップテーブルと関連付けられるので、三角パーティションインデックスはまた、この開示においてテーブルインデックスとも呼ばれる。
【0146】
５．２ 三角パーティションエッジに沿った適応ブレンディング
一実施形態において、各三角予測ユニットをそれぞれの動き情報を用いて予測した後、対角エッジ又は逆対角エッジの周りのサンプルを導出するために、ブレンドプロセスが、２つの三角予測ユニットの２つの予測信号に適用される。ブレンドプロセスは、２つの三角予測ユニット間の動きベクトル差に応じて、重み係数の２つのグループ間で適応的に選択を行う。一実施形態において、２つの重み係数グループは以下の通りである：
（１）第１の重み係数グループ：ルマコンポーネントのサンプルに対して｛７／８，６／８，４／８，２／８，１／８｝、クロマコンポーネントのサンプルに対して｛７／８，４／８，１／８｝；及び
（２）第２の重み係数グループ：ルマコンポーネントのサンプルに対して｛７／８，６／８，５／８，４／８，３／８，２／８，１／８｝、クロマコンポーネントのサンプルに対して｛６／８，４／８，２／８｝。
一実施形態において、各三角予測ユニットをそれぞれの動き情報を用いて予測した後、対角エッジ又は逆対角エッジの周りのサンプルを導出するために、ブレンドプロセスが、２つの三角予測ユニットの２つの予測信号に適用される。ブレンドプロセスは、２つの三角予測ユニット間の動きベクトル差に応じて、重み係数の２つのグループ間で適応的に選択を行う。一実施形態において、２つの重み係数グループは以下の通りである：
（１）第１の重み係数グループ：ルマコンポーネントのサンプルに対して｛７／８，６／８，４／８，２／８，１／８｝、クロマコンポーネントのサンプルに対して｛７／８，４／８，１／８｝；及び
（２）第２の重み係数グループ：ルマコンポーネントのサンプルに対して｛７／８，６／８，５／８，４／８，３／８，２／８，１／８｝、クロマコンポーネントのサンプルに対して｛６／８，４／８，２／８｝。
【0147】
第２の重み係数グループは、より多くのルマ重み係数を持ち、パーティションエッジに沿ったより多くのルマサンプルをブレンドする。
【0148】
一実施形態において、以下の条件を使用して、２つの重み係数グループのうちの一方を選択する。２つの三角パーティションの参照ピクチャが互いに異なる場合、又は２つの三角パーティション間の動きベクトル差が閾値（例えば、１６ルマサンプル）よりも大きい場合、第２の重み係数グループを選択することができる。そうでない場合には、第１の重み係数グループを選択することができる。
【0149】
図１６Ａは、一実施形態に従った、適応ブレンドプロセスにおいて第１組の重み係数を適用する符号化ユニットの一例を示している。図１６Ａにおいて、第１の符号化ブロック（１６１０）はＣＵのルマサンプルを含んでおり、第２の符号化ブロック（１６２０）は同じＣＵのクロマサンプルを含んでいる。これらのブロックの各々が、２つの三角パーティションＰ１、Ｐ２、Ｐ１’、及びＰ２’に分割される。符号化ブロック（１６１０）又は（１６２０）内の対角エッジに沿ったピクセルのセットが、パーティションＰ１又はパーティションＰ１’に対しては重み係数１／８、２／８、４／８、６／８、及び７／８に、そして、パーティションＰ２又はパーティションＰ２’に対しては重み係数７／８、６／８、４／８、２／８、及び１／８に、それぞれ対応する数字１、２、４、６、及び７でラベル付けられている。例えば、２なる数字でラベル付けられたピクセルでは、ブレンド処理後のピクセルのサンプル値を：
ブレンドしたサンプル値＝２／８×Ｓ１＋６／８×Ｓ２ （式３）
に従って得ることができ、ここで、Ｓ１及びＳ２は、それぞれ、第１の三角予測ユニットＰ１及び第２の三角予測ユニットＰ２の予測に属するそれぞれのピクセルにおけるサンプル値を表す。
ブレンドしたサンプル値＝２／８×Ｓ１＋６／８×Ｓ２ （式３）
に従って得ることができ、ここで、Ｓ１及びＳ２は、それぞれ、第１の三角予測ユニットＰ１及び第２の三角予測ユニットＰ２の予測に属するそれぞれのピクセルにおけるサンプル値を表す。
【0150】
また、重みのない空白の領域は、三角パーティションＰ１（又はＰ１’）に従う予測サンプルがマージなしで採用されることを表す。同様に、重みのない影付きの領域は、三角パーティションＰ２に従う予測サンプルがマージなしで採用されることを表す。
【0151】
図１６Ｂは、一実施形態に従った、適応ブレンドプロセスにおいて第２組の重み係数を適用する符号化ユニットの一例を示している。図１６Ｂにおいて、第３の符号化ブロック（１６３０）はＣＵのルマサンプルを含んでおり、第４の符号化ブロック（１６４０）は同じＣＵのクロマサンプルを含んでいる。これらのブロックの各々が、２つの三角パーティションＰ１、Ｐ２、Ｐ１’、及びＰ２’に分割される。符号化ブロック（１６３０）又は（１６４０）内の対角エッジに沿ったピクセルのセットが、パーティションＰ１又はパーティションＰ１’に対しては重み係数１／８、２／８、３／８、４／８、５／８、６／８、及び７／８に、そして、パーティションＰ２又はパーティションＰ２’に対しては重み係数７／８、６／８、５／８、４／８、３／８、２／８、及び１／８に、それぞれ対応する数字１、２、３、４、５、６、及び７でラベル付けられている。また、重みのない空白の領域は、三角パーティションＰ１（又はＰ１’）に従う予測サンプルがマージなしで採用されることを表す。同様に、重みのない影付きの領域は、三角パーティションＰ２に従う予測サンプルがマージなしで採用されることを表す。
【0152】
６． 結合インター・イントラ予測（ＣＩＩＰ）
一部の実施形態において、ＣＵがマージモードで符号化されるとき、且つＣＵが少なくとも６４個のルマサンプルを含む（例えば、ＣＵ幅とＣＵ高さとを掛け合わせた積が６４以上である）場合、結合インター・イントラ予測（combined inter and intra prediction；ＣＩＩＰ）モードが現在ＣＵに適用されるかを指し示すために、更なるフラグをシグナリングすることができる。
一部の実施形態において、ＣＵがマージモードで符号化されるとき、且つＣＵが少なくとも６４個のルマサンプルを含む（例えば、ＣＵ幅とＣＵ高さとを掛け合わせた積が６４以上である）場合、結合インター・イントラ予測（combined inter and intra prediction；ＣＩＩＰ）モードが現在ＣＵに適用されるかを指し示すために、更なるフラグをシグナリングすることができる。
【0153】
一部の実施形態において、ＣＩＩＰモードが適用される場合、最初にイントラ予測モードが導出され、ここでは、ＤＣモード、プレーナモード、水平モード、又は垂直モードを含む、最大４つの取り得るイントラ予測モードを使用することができる。その後、予測ブロックに対する予測サンプルが、通常のイントラ及びインター予測プロセスと同様にして、それぞれ、インター予測信号及びイントラ予測信号（すなわち、インター予測サンプルのセット及びイントラ予測サンプルのセット）に従って導出される。最後に、インター予測サンプルのセット及びイントラ予測サンプルのセットを、加重平均プロセスに従って結合して、ＣＩＩＰ予測サンプルのセットを得ることができる。
【0154】
６．１ イントラ予測モード導出
一実施形態において、ＤＣモード、プレーナモード、水平モード、及び垂直モードを含む最大４つのイントラ予測モードを使用して、ＣＩＩＰモードにおけるルマコンポーネントを予測することができる。一部の実施形態において、ＣＵの形状が非常に幅広である（すなわち、ＣＵの幅がＣＵの高さの２倍を超える）場合、水平モードは許可されないとし得る。一部の実施形態において、ＣＵ形状が非常に幅狭である（すなわち、ＣＵの高さがＣＵの幅の２倍を超える）場合、垂直モードは許可されないとし得る。
一実施形態において、ＤＣモード、プレーナモード、水平モード、及び垂直モードを含む最大４つのイントラ予測モードを使用して、ＣＩＩＰモードにおけるルマコンポーネントを予測することができる。一部の実施形態において、ＣＵの形状が非常に幅広である（すなわち、ＣＵの幅がＣＵの高さの２倍を超える）場合、水平モードは許可されないとし得る。一部の実施形態において、ＣＵ形状が非常に幅狭である（すなわち、ＣＵの高さがＣＵの幅の２倍を超える）場合、垂直モードは許可されないとし得る。
【0155】
一部の実施形態において、ＣＩＩＰモードは、イントラ予測のために３つの最確モード（most probable modes；ＭＰＭ）を使用することができる。ＣＩＩＰ ＭＰＭ候補リストは、次のように形成され得る：
（ｉ）左隣接ブロック及び上隣接ブロックが、それぞれ、Ａ及びＢとして設定される；
（ｉｉ）intraModeA及びintraModeBとそれぞれ表記するブロックＡ及びブロックＢのイントラ予測モードが、以下のように導出される：
ａ． ＸをＡ又はＢのいずれかとする、
ｂ． （１）ブロックＸが利用可能でない場合、又は（２）ブロックＸがＣＩＩＰモード若しくはイントラモードを用いて予測されない場合、又は（３）ブロックＸが現在ＣＴＵの外側にある場合、intraModeAはＤＣに設定される、そして、
ｃ． それ以外の場合、intraModeAは、（１）ブロックＸのイントラ予測モードがＤＣ又はプレーナである場合は、ＤＣ又はプレーナに設定され、あるいは、（２）ブロックＸのイントラ予測モードが“垂直的”な角度モードである（例えば、６６個の角度モードが実装される場合に、一部の例において３４よりも大きいモード番号を持つ）場合は、垂直に設定され、あるいは（３）ブロックＸのイントラ予測モードが“水平的”な角度モードである（例えば、６６個の角度モードが実装される場合に、一部の例において３４以下のモード番号を持つ）場合は、水平に設定される；
（ｉｉｉ）intraModeAとintraModeBとが同じである場合：
ａ． IntraModeAがプレーナ又はＤＣである場合、３つのＭＰＭが｛プレーナ，ＤＣ，垂直｝にこの順で設定される、そして、
ｂ． それ以外の場合、３つのＭＰＭが｛intraModeA，プレーナ，ＤＣ｝にこの順で設定される；そして、
（ｉｖ）そうでない（intraModeAとintraModeBとが異なる）場合：
ａ． 最初の２つのＭＰＭは｛intraModeA，intraModeB｝にこの順で設定され、そして、
ａ． 最初の２つのＭＰＭ候補モードに対して、プレーナ、ＤＣ、垂直の唯一無二性が調べられ、唯一無二のモードが見つかると直ちに、それが３番目のＭＰＭとして追加される。
（ｉ）左隣接ブロック及び上隣接ブロックが、それぞれ、Ａ及びＢとして設定される；
（ｉｉ）intraModeA及びintraModeBとそれぞれ表記するブロックＡ及びブロックＢのイントラ予測モードが、以下のように導出される：
ａ． ＸをＡ又はＢのいずれかとする、
ｂ． （１）ブロックＸが利用可能でない場合、又は（２）ブロックＸがＣＩＩＰモード若しくはイントラモードを用いて予測されない場合、又は（３）ブロックＸが現在ＣＴＵの外側にある場合、intraModeAはＤＣに設定される、そして、
ｃ． それ以外の場合、intraModeAは、（１）ブロックＸのイントラ予測モードがＤＣ又はプレーナである場合は、ＤＣ又はプレーナに設定され、あるいは、（２）ブロックＸのイントラ予測モードが“垂直的”な角度モードである（例えば、６６個の角度モードが実装される場合に、一部の例において３４よりも大きいモード番号を持つ）場合は、垂直に設定され、あるいは（３）ブロックＸのイントラ予測モードが“水平的”な角度モードである（例えば、６６個の角度モードが実装される場合に、一部の例において３４以下のモード番号を持つ）場合は、水平に設定される；
（ｉｉｉ）intraModeAとintraModeBとが同じである場合：
ａ． IntraModeAがプレーナ又はＤＣである場合、３つのＭＰＭが｛プレーナ，ＤＣ，垂直｝にこの順で設定される、そして、
ｂ． それ以外の場合、３つのＭＰＭが｛intraModeA，プレーナ，ＤＣ｝にこの順で設定される；そして、
（ｉｖ）そうでない（intraModeAとintraModeBとが異なる）場合：
ａ． 最初の２つのＭＰＭは｛intraModeA，intraModeB｝にこの順で設定され、そして、
ａ． 最初の２つのＭＰＭ候補モードに対して、プレーナ、ＤＣ、垂直の唯一無二性が調べられ、唯一無二のモードが見つかると直ちに、それが３番目のＭＰＭとして追加される。
【0156】
一部の実施形態において、ＣＵ形状が、上で定義したように非常に幅広又は非常に幅狭である場合、シグナリングなしで、ＭＰＭフラグは１であると推定することができる。それ以外の場合、ＣＩＩＰイントラ予測モードが使用されるかを指し示すために、ＭＰＭフラグがシグナリングされ得る。
【0157】
一部の実施形態において、ＭＰＭフラグが１である場合、ＭＰＭ候補モードのうちのいずれの１つがＣＩＩＰイントラ予測で使用されるのかを指し示すために、更にＭＰＭインデックスをシグナリングすることができる。そうでなく、ＭＰＭフラグが０である場合、イントラ予測モードは、ＭＰＭ候補リストに含まれていない、上述のＭＰＭ候補の中の“ミッシングモード”に設定されることができる。例えば、４つの取り得るイントラ予測モードがＣＩＩＰイントラ予測モードで考慮され、且つＭＰＭ候補リストは３つのイントラ予測モードしか含んでいないため、４つの取り得るモードのうちの１つをミッシングモードとすることができる。例えば、プレーナモードがＭＰＭ候補リスト内にない場合、プレーナがミッシングモードであり、イントラ予測モードはプレーナに設定されることができる。
【0158】
クロマコンポーネントに対して、ＤＭモードは、追加のシグナリングなしで適用されることができる。従って、一部の例において、クロマコンポーネントは、対応するルマコンポーネントと同じ予測モードを使用する。
【0159】
一部の実施形態において、ＣＩＩＰ符号化ＣＵのイントラ予測モードは保存されて、将来の隣接ＣＵのイントラモード符号化に使用され得る。
【0160】
６．２ インター及びイントラ予測サンプルの結合
一実施形態において、ＣＩＩＰモードにおけるインター予測サンプルのセットＰｉｎｔｅｒは、通常のマージモードに適用されるのと同じインター予測プロセスを用いて導出され、イントラ予測サンプルのセットＰｉｎｔｒａは、通常のイントラ予測プロセスに従うＣＩＩＰイントラ予測モードを用いて導出される。そして、加重平均を用いてイントラ及びインター予測サンプルを結合して、ＣＩＩＰ予測サンプルのセットＰＣＩＩＰを得ることができ、ここで、重みはイントラ予測モードに依存することができ、サンプルは符号化ブロック内に位置する。
一実施形態において、ＣＩＩＰモードにおけるインター予測サンプルのセットＰｉｎｔｅｒは、通常のマージモードに適用されるのと同じインター予測プロセスを用いて導出され、イントラ予測サンプルのセットＰｉｎｔｒａは、通常のイントラ予測プロセスに従うＣＩＩＰイントラ予測モードを用いて導出される。そして、加重平均を用いてイントラ及びインター予測サンプルを結合して、ＣＩＩＰ予測サンプルのセットＰＣＩＩＰを得ることができ、ここで、重みはイントラ予測モードに依存することができ、サンプルは符号化ブロック内に位置する。
【0161】
一部の実施形態において、イントラ予測モードがＤＣモード若しくはプレーナモードである場合、又はブロック幅若しくは高さが４ピクセルより小さい場合、イントラ予測サンプルのセット及びインター予測サンプルのセットに等しい重みを適用することができる。それ以外の場合、重みは、イントラ予測モード（一部のケースで、水平モード又は垂直モードのいずれか）及びブロック内のサンプル位置に基づいて決定され得る。例えば、イントラ予測モードが水平予測モードである場合、符号化ブロックを（Ｗ／４）×（Ｈ）の大きさの４つの等面積部分に分割することができ、Ｗはブロックの幅であり、Ｈはブロックの高さである。イントラ予測参照サンプルに最も近い部分から始めて、イントラ予測参照サンプルから最も離れた部分で終えて、４つの領域の一組のイントラ予測サンプルの各々に対する重みｗｔは、合計重みを８として、それぞれ６、５、３、及び２に設定され得る。垂直モードに関する重みは同様に導出されるが、符号化ブロックはＷ×（Ｈ／４）の大きさの４つの等面積部分に分割される。
【0162】
イントラ予測サンプルのセットに対して導出された重みｗｔを用いて、この例では、結合ＣＩＩＰ予測画像が、
に従って導出され得る。
【数3】
【0163】
ＩＩＩ． インターウィーブ式アフィン予測
一部の実施形態において、インターウィーブ式アフィン予測が使用される。図１７は、一実施形態に従ったインターウィーブ式アフィン予測法を示している。図１７に示すように、１６×１６サンプルのサイズの現在ブロック（１７１０）が、パターン０に基づく第１のサブブロック（１７２０）とパターン１に基づく第２のサブブロック（１７３０）とを含む２つの異なる分割パターンを有するサブブロックに分割される。パターン０では、現在ブロック（１７１０）は、４×４の等しいサイズを有する第１のサブブロック（１７２０）に分割される。対照的に、パターン１は、パターン０に対してオフセット（例えば、２×２オフセット）だけシフトされる。第１のサブブロック（１７２０）及び第２のサブブロック（１７３０）に対応する予測サンプルのセットＰ０（１７４０）及び予測サンプルのセットＰ１（１７５０）を含む二組の補助予測サンプルが、アフィン動き補償（affine motion compensation；ＡＭＣ）によって生成される。例えば、アフィンモデルは、サブブロックベースのマージ候補リスト上のアフィンマージ候補から決定され得る。第１のサブブロック（１７２０）及び第２のサブブロック（１７３０）からの各サブブロックに対するサブブロックＭＶが、アフィンモデルに基づいて導出され得る。一部の実施形態において、サブブロックＭＶは、それぞれのサブブロックの中心位置に従って決定され得る。
一部の実施形態において、インターウィーブ式アフィン予測が使用される。図１７は、一実施形態に従ったインターウィーブ式アフィン予測法を示している。図１７に示すように、１６×１６サンプルのサイズの現在ブロック（１７１０）が、パターン０に基づく第１のサブブロック（１７２０）とパターン１に基づく第２のサブブロック（１７３０）とを含む２つの異なる分割パターンを有するサブブロックに分割される。パターン０では、現在ブロック（１７１０）は、４×４の等しいサイズを有する第１のサブブロック（１７２０）に分割される。対照的に、パターン１は、パターン０に対してオフセット（例えば、２×２オフセット）だけシフトされる。第１のサブブロック（１７２０）及び第２のサブブロック（１７３０）に対応する予測サンプルのセットＰ０（１７４０）及び予測サンプルのセットＰ１（１７５０）を含む二組の補助予測サンプルが、アフィン動き補償（affine motion compensation；ＡＭＣ）によって生成される。例えば、アフィンモデルは、サブブロックベースのマージ候補リスト上のアフィンマージ候補から決定され得る。第１のサブブロック（１７２０）及び第２のサブブロック（１７３０）からの各サブブロックに対するサブブロックＭＶが、アフィンモデルに基づいて導出され得る。一部の実施形態において、サブブロックＭＶは、それぞれのサブブロックの中心位置に従って決定され得る。
【0164】
その後、二組の予測サンプルＰ０（１７４０）とＰ１（１７５０）とを組み合わせることによって結合予測サンプルのセット（１７６０）を計算することができる。例えば、加重平均演算（１７７０）を実行して、２つの予測画像Ｐ０（１７４０）及びＰ１（１７５０）内の２つの対応するサンプル（Ｐ０及びＰ１により表記する）の加重平均を、ピクセルごとに、
に従って計算することができ、ここで、ω０及びω１は、それぞれ、二組の予測サンプルＰ０（１７４０）及びＰ１（１７５０）内のコロケートサンプルのペアに対応する重みである。合計重み（ω０＋ω１）は、一実施形態において４である。
【数4】
【0165】
図１８Ａは、一実施形態に従った、インターウィーブ式アフィン予測法におけるサブブロックに対する一組の重みの一例を示している。一実施形態において、加重平均演算（１７７０）における各サンプルの重みは、図１８Ａに示すパターン（１８００）に従って設定され得る。パターン（１８００）は、サブブロック（例えば、図１７の４×４サブブロック）に含まれる１６個のサンプルを含んでいる。サブブロックの中心付近に位置する４個の予測サンプルは、３なる重み値に関連付けられ、サブブロックの境界に位置する１２個の予測サンプルは、１という重み値に関連付けられる。サブブロック内でのサンプルの位置に応じて、そのサンプルに対応する重量がパターン（１８００）に基づいて決定され得る。
【0166】
図１８Ｂは、一実施形態に従った、インターウィーブ式アフィン予測法においてブロックをサブブロックに分割するパターンの概略図である。一実施形態において、小さいサブブロック上でのブロック動き補償を回避するために、インターウィーブ式予測は、図１７に示す２つの分割パターンの両方でサブブロックのサイズが例えば４×４などの閾値を満たす領域にのみ適用され得る。例えば、図１８Ｂに示す第２のサブブロック（１７３０）の影付き領域では、インターウィーブ式予測は適用されず、第２のサブブロック（１７３０）の影付きでない領域では、インターウィーブ式予測が適用される。
【0167】
一実施形態において、インターウィーブ式予測は、クロマコンポーネント並びにルマコンポーネントに適用される。一部の実施形態では、他の予測方法と比較して、インターウィーブ式予測は、メモリアクセス帯域幅を増加させることなく実装され得る。何故なら、全てのサブブロックに対するＡＭＣに使用される参照ピクチャの領域が、全体として一緒にフェッチされ、それ故に、更なる読み出し動作が必要とされないからである。
【0168】
さらに、柔軟性のために、インターウィーブ式予測が使用されるか否かを指し示すため、フラグを（例えば、スライスヘッダで）シグナリングすることができる。一例において、フラグは常に、１であるようにシグナリングされる。様々な実施形態において、インターウィーブ式アフィン予測は、片予測アフィンブロックに適用されることができ、あるいは、片予測及び双予測の両方のアフィンブロックに適用されることができる。
【0169】
ＩＶ． スタック式アフィン予測
１． 概説
一部の実施形態において、上記のインターウィーブ式アフィン予測法は、スタック式アフィン予測になるように変更されることができる。スタック式アフィン予測は、向上された圧縮効率を達成するために使用され得る。図１９は、一実施形態に従ったスタック式アフィン予測法を示している。図１９に示すように、あるサイズ（例えば、１６×１６サンプル）を持つ現在ブロック（１９１０）を、第１の補助予測のためのサブブロック（１９２０Ａ）及び第２の補助予測のための同じサブブロック（１９２０Ｂ）を含む２つの補助予測のための分割パターンに従って、サブブロックに分割することができ、現在ブロック（１９１０）は、相等しいサイズ（例えば、４×４）を持つサブブロックに分割される。一部の実施形態において、現在ブロック（１９１０）に対するアフィンモデルは、図１２Ａ－１２Ｃ、１３を参照して上述したようにして決定され得る。
１． 概説
一部の実施形態において、上記のインターウィーブ式アフィン予測法は、スタック式アフィン予測になるように変更されることができる。スタック式アフィン予測は、向上された圧縮効率を達成するために使用され得る。図１９は、一実施形態に従ったスタック式アフィン予測法を示している。図１９に示すように、あるサイズ（例えば、１６×１６サンプル）を持つ現在ブロック（１９１０）を、第１の補助予測のためのサブブロック（１９２０Ａ）及び第２の補助予測のための同じサブブロック（１９２０Ｂ）を含む２つの補助予測のための分割パターンに従って、サブブロックに分割することができ、現在ブロック（１９１０）は、相等しいサイズ（例えば、４×４）を持つサブブロックに分割される。一部の実施形態において、現在ブロック（１９１０）に対するアフィンモデルは、図１２Ａ－１２Ｃ、１３を参照して上述したようにして決定され得る。
【0170】
スタック式アフィン予測法では、２つの異なる組のサブブロック動きベクトル（例えば、アフィンＭＶセット０及びアフィンＭＶセット１）が、第１の補助予測のためのサブブロック（１９２０Ａ）及び第２の補助予測のための第２のサブブロック（１９２０Ｂ）に対して、アフィンモデルを用いて導出され得る。一部の実施形態において、サブブロックのうちの１つに対する少なくとも１つのサブブロック動きベクトルが、サブブロックのうちの該１つに対する第２の動きベクトルとは異なる。
【0171】
図２０は、一実施形態に従った、スタック式アフィン予測法に従って符号化される現在ブロックの同じサブブロックセットに対する二組の動きベクトルの概略図である。第１の補助予測のためのサブブロック（１９２０Ａ）について、サブブロックの各々についてのサブブロックＭＶ（ＭＶａ１－ＭＶｐ１）が、３つの制御点（ＣＰ０、ＣＰ１、及びＣＰ２）及び対応する制御点動きベクトル（ＣＰＭＶ０、ＣＰＭＶ１、及びＣＰＭＶ２）によって規定されるアフィンモデルに従って導出され得る。第２の補助予測のためのサブブロック（１９２０Ｂ）について、サブブロックの各々についてのサブブロックＭＶ（ＭＶａ２－ＭＶｐ２）が、同じ３つの制御点（ＣＰ０、ＣＰ１、及びＣＰ２）及び同じ対応する制御点動きベクトル（ＣＰＭＶ０、ＣＰＭＶ１、及びＣＰＭＶ２）によって規定される同じアフィンモデルに従って導出され得る。一部の実施形態において、サブブロック（１９２０Ａ）についてのサブブロックＭＶ（ＭＶａ１－ＭＶｐ１）（例えば、アフィンＭＶセット０）は、各サブブロック内の第１の相対位置に対応するＭＶとして決定され得る。一部の実施形態において、サブブロック（１９２０Ｂ）についてのサブブロックＭＶ（ＭＶａ２－ＭＶｐ２）（例えば、アフィンＭＶセット１）は、各サブブロック内の第２の相対位置に対応するＭＶとして決定され得る。一部の実施形態において、サブブロック（１９２０Ｂ）についてのサブブロックＭＶ（ＭＶａ２－ＭＶｐ２）（例えば、アフィンＭＶセット１）は、サブブロックＭＶ（ＭＶａ１－ＭＶｐ１）を処理することによって決定されることができる。
【0172】
第１の補助予測のためのサブブロック（１９２０Ａ）及び第２の補助予測のためのサブブロック（１９２０Ｂ）にそれぞれ対応する予測サンプルＰ０（１９４０）のセット及び予測サンプルＰ１（１９５０）のセットを含んだ、二組の補助予測サンプルが、アフィン動き補償（ＡＭＣ）によって生成される。例えば、サブブロックベースのマージ候補リスト上のアフィンマージ候補からアフィンモデルを決定することができる。一部の実施形態において、補助予測サンプルのこれらセットを生成するために、同じ参照インデックスを共有することができ、及び故に、同じ参照ピクチャを使用することができる。
【0173】
その後、二組の予測サンプルＰ０（１９４０）とＰ１（１９５０）とを組み合わせることによって結合予測サンプルのセット（１９６０）を計算することができる。例えば、加重平均演算（１９７０）を実行して、二組の予測サンプルＰ０（１９４０）及びＰ１（１９５０）内の２つの対応するサンプル（Ｐ０及びＰ１により表記する）の加重平均を、ピクセルごとに、
に従って計算することができ、ここで、ω０及びω１は、それぞれ、二組の予測サンプルＰ０（１９４０）及びＰ１（１９５０）内のコロケートサンプルのペアに対応する重みである。合計重み（ω０＋ω１）は、例えば４である。
【数5】
【0174】
２． サブブロックＭＶ導出及び動き補償の実施形態
一部の実施形態において、一方のアフィンＭＶセット（例えば、アフィンＭＶセット０）は、各サブブロック内の第１の相対位置に対応するＭＶとして、アフィンモードに従ってＣＰＭＶから導出されることができる。一部の実施形態において、他方のアフィンＭＶセット（例えば、アフィンＭＶセット１）は、各サブブロック内の第２の相対位置に対応するＭＶとして、アフィンモードに従ってＣＰＭＶから導出されることができる。
一部の実施形態において、一方のアフィンＭＶセット（例えば、アフィンＭＶセット０）は、各サブブロック内の第１の相対位置に対応するＭＶとして、アフィンモードに従ってＣＰＭＶから導出されることができる。一部の実施形態において、他方のアフィンＭＶセット（例えば、アフィンＭＶセット１）は、各サブブロック内の第２の相対位置に対応するＭＶとして、アフィンモードに従ってＣＰＭＶから導出されることができる。
【0175】
一部の実施形態において、第１の相対位置（例えば、ＰＯＳ０）は、各サブブロックの中心であり、第２の相対位置（例えば、ＰＯＳ１）は、各サブブロックの中心以外の位置である。一例において、第２の相対位置（例えば、ＰＯＳ１）は、各サブブロックの左上サンプルに対応する。一例において、第２の相対位置（例えば、ＰＯＳ１）は、各サブブロックの右上サンプルに対応する。一例において、第２の相対位置（例えば、ＰＯＳ１）は、例えばＣＰＭＶ値に従って、各サブブロックの左上サンプル、右上サンプル、又は左下サンプルから適応的に選択され得る。
【0176】
一例において、第２の相対位置（例えば、ＰＯＳ１）は、各サブブロックの左上隅に対応する。一例において、第２の相対位置（例えば、ＰＯＳ１）は、各サブブロックの右上隅に対応する。一例において、第２の相対位置（例えば、ＰＯＳ１）は、ＣＰＭＶ値に従って、各サブブロックの左上隅、右上隅、又は左下隅から適応的に選択され得る。
【0177】
一部の実施形態において、相対位置ＰＯＳ０及びＰＯＳ１は、サブブロックの内部にあることができ、サブブロックの境界上にあることができ、あるいは、隣接し合うサブブロックによって共有されることができる。一部の実施形態において、相対位置ＰＯＳ０及びＰＯＳ１は、各サブブロックの中心と交差する垂直線、水平線、及び対角線のうちの１つに対して対称とすることができる。
【0178】
ルマコンポーネントに関する例において、相対位置ＰＯＳ０は各サブブロックの左上隅に対して（２，０）であり、相対位置ＰＯＳ１は各サブブロックの左上隅に対して（２，３）である。
【0179】
ルマコンポーネントに関する別の一例において、相対位置ＰＯＳ０は各サブブロックの左上隅に対して（０，２）であり、相対位置ＰＯＳ１は各サブブロックの左上隅に対して（３，２）である。
【0180】
ルマコンポーネントに関する別の一例において、相対位置ＰＯＳ０は各サブブロックの左上隅に対して（０，０）であり、相対位置ＰＯＳ１は各サブブロックの左上隅に対して（３，３）である。
【0181】
ルマコンポーネントに関する別の一例において、相対位置ＰＯＳ０は各サブブロックの左上隅に対して（０，３）であり、相対位置ＰＯＳ１は各サブブロックの左上隅に対して（３，０）である。
【0182】
ルマコンポーネントに関する別の一例において、相対位置ＰＯＳ０は各サブブロックの左上隅に対して（１，１）であり、相対位置ＰＯＳ１は各サブブロックの左上隅に対して（２，２）である。
【0183】
ルマコンポーネントに関する別の一例において、相対位置ＰＯＳ０及び相対位置ＰＯＳ１は、例えばＣＰＭＶの値に従って、適応的に決定され得る。
【0184】
ルマコンポーネントに関する特定の一例において、相対位置ＰＯＳ０は各サブブロックの左上隅に対して（０，２）であり、相対位置ＰＯＳ１は各サブブロックの左上隅に対して（４，２）である。この例において、ある特定のサブブロックに対するＰＯＳ１のサブブロックＭＶは、実際には、隣接サブブロックに対するＰＯＳ０のサブブロックＭＶとしても使用される。この例において、スタック式アフィン予測法は、図２１を参照して更に示すように単純化され得る。
【0185】
図２１は、一実施形態に従った、スタック式アフィン予測法に従って特定のブロックを符号化することの概略図である。図２１に示すように、１６×１６のアフィンブロック（２１００）が、４×４のサイズの１６個のサブブロック（Ｂ００、Ｂ０１、Ｂ０２、Ｂ０３、Ｂ１０、Ｂ１１、Ｂ１２、Ｂ１３、Ｂ２０、Ｂ２１、Ｂ２２、Ｂ２３、Ｂ３０、Ｂ３１、Ｂ３２、及びＢ３３）に分割され得る。ブロック（２１００）の左上隅に対して位置（０，２）、（４，２）、（８，２）、（１２，２）、及び（１６，２）にて、それぞれ、サブブロック（Ｂ００、Ｂ１０、Ｂ２０、及びＢ３０）について、サブブロックＭＶ（ＭＶ０，２、ＭＶ４，２、ＭＶ８，２、ＭＶ１２，２、及びＭＶ１６，２）が導出される。
【0186】
サブブロックの予測は、各サブブロックの左辺の中心及び各サブブロックの右辺の中心に対応するものである、各サブブロックの左上隅に対して（０，２）及び（４，２）にあるサブブロックに関連する２つのサブブロックＭＶに従って生成されることができる。例えば、サブブロックＢ００にはＭＶ０，２及びＭＶ４，２が使用され、サブブロックＢ１０にはＭＶ４，２及びＭＶ８，２が使用される。サブブロックＭＶは隣接し合うサブブロック間で共用され得るので、ＭＶ４，２に従ったサブブロック（Ｂ００）の４×４予測ブロックの生成と、ＭＶ４，２に従ったサブブロック（Ｂ１０）の４×４予測ブロックの生成とを、ＭＶ４，２に従った８×４予測ブロックの生成へと併合することができる。一部の実施形態において、８×４ブロックのピクセルごとの予測の複雑さは４×４ブロックのそれよりも小さいので、提案する方法は予測の複雑さを低減させることができる。例えば、ある行内のＮ個の４×４サブブロックでの双予測アフィンブロックについて、提案する方法は、その行に対して（Ｎ－１）個の８×４予測ブロックと２個の４×４予測ブロックとを必要とする。対照的に、上述の単純化なしでプロセスが実装される場合には、その行に対してＮ×２個の４×４予測ブロックが必要である。
【0187】
また、一部の実施形態において、一方のアフィンＭＶセット（例えば、アフィンＭＶセット０）を、例えば各サブブロックの中心などの、各サブブロック内の相対（又は所定の相対）位置に対応するＭＶとして、アフィンモードに従ってＣＰＭＶから導出することができる。一部の実施形態において、他方のアフィンＭＶセット（例えば、アフィンＭＶセット１）は、アフィンＭＶセット０を処理することによって決定することができる。例えば、アフィンＭＶセット１は、アフィンＭＶセット０に動きベクトルオフセットΔＭＶを適用することによって得ることができる。
【0188】
３． 補助予測サンプル上での加重平均の実施形態
一実施形態において、二組の補助予測サンプルの平均化に、等しい重みが使用され得る。他の一実施形態において、サブブロックの中心にない位置に基づいてサブブロックＭＶが導出される場合に、サブブロックＭＶを導出するための対応する相対位置にいっそう近いピクセルに、対応する相対位置からいっそう離れたピクセルに対してよりも、大きい重みを割り当てることができる。
一実施形態において、二組の補助予測サンプルの平均化に、等しい重みが使用され得る。他の一実施形態において、サブブロックの中心にない位置に基づいてサブブロックＭＶが導出される場合に、サブブロックＭＶを導出するための対応する相対位置にいっそう近いピクセルに、対応する相対位置からいっそう離れたピクセルに対してよりも、大きい重みを割り当てることができる。
【0189】
図２２Ａ－２２Ｅは、１つ以上の実施形態に従った、スタック式アフィン予測法においてサブブロックに重みを割り当てることの様々な例を示している。これらの例において、各サブブロックは４×４ピクセルのサイズを有する。
【0190】
一部の実施形態において、サブブロックについての予測サンプルセット内のピクセルは、当該ピクセルが水平方向又は垂直方向に沿って第１の相対位置から３ピクセル未満だけ離れて位置する場合、合計で４の重みに対して３の重みを有し、当該ピクセルが水平方向又は垂直方向に沿って第１の相対位置から３ピクセル以上離れて位置する場合、合計で４の重みに対して１の重みを有する。
【0191】
図２２Ａに示す一例では、サブブロックＭＶがサブブロックの左上位置（２２１０）に従って導出されるとき、加重平均プロセスの合計の重みを４として、サブブロックの左上の４つのピクセルが３の重みを割り当てられ、他のピクセルは１の重みに割り当てられることができる。
【0192】
図２２Ｂに示す一例では、サブブロックＭＶがサブブロックの右上位置（２２２０）に従って導出されるとき、加重平均プロセスの合計の重みを４として、サブブロックの右上の４つのピクセルが３の重みを割り当てられ、他のピクセルは１の重みに割り当てられることができる。
【0193】
図２２Ｃに示す一例では、サブブロックＭＶがサブブロックの左下位置（２２３０）に従って導出されるとき、加重平均プロセスの合計の重みを４として、サブブロックの左下の４つのピクセルが３の重みを割り当てられ、他のピクセルは１の重みに割り当てられることができる。
【0194】
図２２Ｄに示す一例では、サブブロックＭＶがサブブロックの左辺の中心の位置（２２４０）に従って導出されるとき、加重平均プロセスの合計の重みを４として、サブブロックの左の８つのピクセルが３の重みを割り当てられ、他のピクセルは１の重みに割り当てられることができる。
【0195】
図２２Ｅに示す一例では、サブブロックＭＶがサブブロックの右辺の中心の位置（２２５０）に従って導出されるとき、加重平均プロセスの合計の重みを４として、サブブロックの右の８つのピクセルが３の重みを割り当てられ、他のピクセルは１の重みに割り当てられることができる。
【0196】
一実施形態において、スタック式アフィン予測は、現在ブロックが片予測される（例えば、１つの参照ピクチャのみが使用される）場合にのみ適用され得る。一実施形態において、スタック式アフィン予測は、片予測ブロック及び双予測ブロックの両方に適用され得る。一部の実施形態において、現在ブロックが双予測される場合、スタック式アフィン予測を、各予測方向の参照ピクチャからの動き補償に適用することができる。
【0197】
一部の実施形態において、スタック式アフィン予測が使用される場合、現在のブロックに対して、ブロック内でのデブロッキングは実行されない。少なくとも１つの実施形態では、スタック式アフィン予測が使用される場合に、現在ブロック内でのデブロッキングをなおも実行することができる。
【0198】
一部の実施形態において、スタック式アフィン予測が１つの参照方向のみを使用する場合であっても、スタック式アフィン予測とともに一般化双予測（ＧＢｉ）インデックスが使用され得る。この例において、ＧＢｉインデックスは、二組の補助予測サンプルを組み合わせるための重みを指定するためにシグナリングされ得る。一実施形態において、ＧＢｉインデックスが、スタック式アフィン予測に従って符号化されるブロック上で使用されるとき、加重平均は、ＧＢｉインデックスに従って実行されるのみとし得る。この場合、他のサブブロックベースの加重平均は実行されないとし得る。
【0199】
４． スタック式アフィン予測のシグナリング
一部の実施形態において、例えばスタック式アフィン予測フラグ（例えば、stacked_affine_flag）などのフラグがシグナリングされ得る。このフラグは、スタック式アフィン予測法が使用されるかを指し示すために、高レベルシグナリング（例えば、以下に限られないが、スライス、タイル、タイルグループ、ピクチャ、又はシーケンスレベルなど）によってシグナリングされ得る。
一部の実施形態において、例えばスタック式アフィン予測フラグ（例えば、stacked_affine_flag）などのフラグがシグナリングされ得る。このフラグは、スタック式アフィン予測法が使用されるかを指し示すために、高レベルシグナリング（例えば、以下に限られないが、スライス、タイル、タイルグループ、ピクチャ、又はシーケンスレベルなど）によってシグナリングされ得る。
【0200】
一実施形態において、例えばsps_stacked_affine_flagなどのフラグが、ＳＰＳレベルでシグナリングされ得る。このフラグが真である場合、現在復号されるピクチャ又はタイルグループにスタック式アフィン予測法が使用されるかを指し示すために、ピクチャレベル又はタイルグループレベルのフラグ（例えば、picture_stacked_affine_flag）がシグナリングされ得る。
【0201】
一実施形態において、スタック式アフィン予測フラグ（例えば、stacked_affine_flag）は、例えばピクチャレベル、タイルグループレベル、タイルレベル、又はブロックレベルなど、シーケンスレベルよりも低いレベルでシグナリングされ得る。そのような場合、フラグstacked_affine_flagは、シーケンスレベルでシグナリングされるアフィン予測有効化フラグが真である場合にのみシグナリングされ得る。アフィン予測有効化フラグがシーケンスレベルで偽としてシグナリングされるとき、フラグstacked_affine_flagは偽として推定されることができる。
【0202】
一実施形態において、スタック式アフィン予測法の有効化状態は、例えば予め定められたデフォルト設定など、他のアプローチによって導出されてもよく、必ずしもシグナリングされなくてもよい。
【0203】
一部の実施形態において、スタック式アフィン予測法が有効にされ、且つアフィン片予測のみに適用される場合、以下のバリエーションが実装され得る。
【0204】
一例において、スタック式アフィン予測法が、対応する高レベル有効化フラグによって指し示されて、ある符号化領域（例えばピクチャ又はタイルグループなど）に対して有効にされる場合、片予測アフィンブロックのみがスタック式アフィン予測法を用いて符号化され、双予測アフィンブロックは、通常のアフィン双予測を用いて符号化される。このような場合、インター予測方向に関するＣＵレベル構文要素は変更されず、インター予測方向インデックスの意味及び／又は二値化も変更されない。
【0205】
一実施形態において、スタック式アフィン予測法が、対応する高レベルフラグによって指し示されて、ある符号化領域（例えばピクチャ又はタイルグループなど）に対して有効にされる場合、アフィン符号化ブロックに対して片予測のみが許される。この例において、同じ符号化領域に関するアフィン符号化ブロックに対して、双予測は無効にされることができる。このような場合、例えばinter_pred_idcなどのインター予測方向に関する意味が、ビットを節減するために変更され得る。
【0206】
図２３は、本開示の一部の実施形態に従ったプロセス（２３００）を概説するフローチャートを示している。プロセス（２３００）は、現在ピクチャの現在ブロックを符号化又は復号する際に使用されることができ、スタック式アフィン予測法に従って現在ブロックについての予測サンプルセットを得ることを含む。一部の実施形態では、プロセス（２３００）の前又は後に１つ以上の処理が実行され、図２３に示される処理の一部が並べ替えられたり省略されたりしてもよい。
【0207】
様々な実施形態において、プロセス（２３００）は、例えば、端末装置（２１０）、（２２０）、（２３０）及び（２４０）の処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、及びこれらに類するものなどの、処理回路によって実行される。一部の実施形態において、プロセス（２３００）は、ソフトウェア命令にて実装され、従って、処理回路がソフトウェア命令を実行するときに、処理回路がプロセス（２３００）を実行する。当該プロセスは、（Ｓ２３０１）で開始し、（Ｓ２３１０）に進む。
【0208】
（Ｓ２３１０）にて、現在ブロックについて複数の制御点動きベクトルが取得される。現在ブロックは、複数のサブブロックに分割される。一部の実施形態において、図１２Ａ－１２Ｃ、１３に関して上述したアフィンマージモード又はアフィンＡＭＶＰモードに従って、複数の制御点動きベクトル（ＣＰＭＶ）を得ることができる。一部の実施形態において、各サブブロックは、４×４ピクセル又は８×８ピクセルのサイズを持つことができる。
【0209】
（Ｓ２３２０）にて、これらＣＰＭＶに従って、それぞれサブブロックについて、第１の動きベクトル（例えば、アフィンＭＶセット０）が決定され得る。
【0210】
（Ｓ２３３０）にて、これらＣＰＭＶに従って、それぞれサブブロックについて、第１の動きベクトル（例えば、アフィンＭＶセット１）が決定され得る。一部の実施形態において、サブブロックのうちの少なくとも１つについての第１の動きベクトルは、サブブロックのうちの該１つについての第２の動きベクトルと異なる。
【0211】
一部の実施形態において、一方のアフィンＭＶセット（例えば、アフィンＭＶセット０）を、各サブブロック内の第１の相対位置に対応するＭＶとして、アフィンモードに従ってＣＰＭＶから導出することができる。一部の実施形態において、他方のアフィンＭＶセット（例えば、アフィンＭＶセット１）は、各サブブロック内の第２の相対位置に対応するＭＶとして、アフィンモードに従ってＣＰＭＶから導出することができる。一部の実施形態において、第２の相対位置は、各サブブロックの特定の隅である。一部の実施形態において、第１の相対位置及び第２の相対位置は、各サブブロックの中心と交差する垂直線、水平線、及び対角線のうちの１つに対して対称である。
【0212】
少なくとも１つの例において、第１の相対位置は、各サブブロックの左辺の中心であり、第２の相対位置は、各サブブロックの右辺の中心である。
【0213】
また、２つの異なる相対位置ＰＯＳ１及びＰＯＳ２に従ってこれら２セットのサブブロック動きベクトルを導出する代わりに、１つの相対位置のみが使用される。例えば、一方のアフィンＭＶセット（例えば、アフィンＭＶセット０）を、例えば各サブブロックの中心などの、各サブブロック内の所定の相対位置に対応するＭＶとして、アフィンモードに従ってＣＰＭＶから導出することができる。他方のアフィンＭＶセット（例えば、アフィンＭＶセット１）は、アフィンＭＶセット０を処理することによって決定することができる。例えば、アフィンＭＶセット１は、アフィンＭＶセット０に動きベクトルオフセットΔＭＶを適用することによって得ることができる。
【0214】
（Ｓ２３４０）にて、第１の動きベクトル及び対応するサブブロックに従って、現在ブロックについての第１の予測サンプルセットが取得される。一部の実施形態において、第１の予測サンプルセットは、それぞれ第１の動きベクトルに従って各サブブロックについてのサブブロック予測データを得ることによって取得され得る。
【0215】
（Ｓ２３５０）にて、第２の動きベクトル及び対応するサブブロックに従って、現在ブロックについての第２の予測サンプルセットが取得される。一部の実施形態において、第２の予測サンプルセットは、それぞれ第２の動きベクトルに従って各サブブロックについての予測データを得ることによって取得され得る。
【0216】
（Ｓ２３６０）にて、第１の予測サンプルセットと第２の予測サンプルセットとの組み合わせに従って現在ブロックの第３の予測サンプルセットが取得され得る。一部の実施形態において、第１の予測サンプルセットと第２の予測サンプルセットとの組み合わせは、第１の予測サンプルセットと第２の予測サンプルセットとの加重平均として計算される。
【0217】
一例において、特定のサブブロックについての第１の予測サンプルセット内の第１のピクセルが、該サブブロック内の第１の位置に置かれ、且つ組み合わせを計算するための第１の重みを有し、上記特定のサブブロックについての第１の予測サンプルセット内の第２のピクセルが、該サブブロック内の第２の位置に置かれ、且つ組み合わせを計算するための第２の重みを有し、第１の位置の方が、第２の位置よりも、サブブロックの第１の相対位置に近く、第１の重みは第２の重みよりも大きくすることができる。
【0218】
一例において、サブブロックのうちの１つが、４×４ピクセルのサイズを有し、サブブロックのうちの１つについての第１の予測サンプルセット内のピクセルは、（１）当該ピクセルが水平方向又は垂直方向に沿って前記第１の相対位置から３ピクセル未満だけ離れて位置する場合、合計で４の重みに対して３の重みを有し、（２）当該ピクセルが前記水平方向又は前記垂直方向に沿って前記第１の相対位置から３ピクセル以上離れて位置する場合、前記合計で４の重みに対して１の重みを有する。
【0219】
一部の実施形態において、特定のサブブロックについて加重平均を計算するための重みは、該特定のサブブロックについての一般化双予測（ＧＢｉ）インデックスに従って導出される
一部の実施形態において、現在ブロックは片予測ブロックである。一部の実施形態において、現在ブロック上でデブロッキングプロセスは実行されない。
一部の実施形態において、現在ブロックは片予測ブロックである。一部の実施形態において、現在ブロック上でデブロッキングプロセスは実行されない。
【0220】
一部の実施形態において、特定のレベルの符号化領域においてスタック式アフィンモードが有効にされるかを、該特定のレベルでシグナリングされるフラグに従って判定することができ、現在ブロックは、該特定のレベルの符号化領域に含まれる。
【0221】
一部の例において、特定のレベルは、スライス、タイル、タイルグループ、ピクチャ、及びシーケンスのレベルのうちの１つに相当する。一部の例において、サブブロックについての第２の動きベクトルを決定すること（Ｓ２３３０）及び現在ブロックについての第２の予測サンプルセットを取得すること（Ｓ２３５０）は、スタック式アフィンモードが有効にされるときに実行される。一例において、サブブロックについての第２の動きベクトルを決定すること（Ｓ２３３０）及び現在ブロックについての第２の予測サンプルセットを取得すること（Ｓ２３５０）は、スタック式アフィンモードが有効にされないときには実行されない。
【0222】
一部の例において、符号化領域に適用可能なフラグが、スタック式アフィンモードが有効にされることを指し示すとき、サブブロックについての第２の動きベクトルを決定すること（Ｓ２３３０）及び現在ブロックについての第２の予測サンプルセットを取得すること（Ｓ２３５０）は、符号化領域内の双予測ブロックに対しては実行されない、
（Ｓ２３６０）の後、プロセス（２３００）は（Ｓ２３９９）へと進んで終了し得る。
（Ｓ２３６０）の後、プロセス（２３００）は（Ｓ２３９９）へと進んで終了し得る。
【0223】
ここに記載された実施形態は、別々に使用されてもよいし、あるいは、何らかの順序で組み合わせて使用されてもよい。また、これらの実施形態、エンコーダ、及びデコーダの各々は、処理回路（例えば、１つ以上のプロセッサ、又は１つ以上の集積回路）によって実装され得る。一例において、１つ以上のプロセッサが、非一時的なコンピュータ読み取り可能媒体に格納されたプログラムを実行する。
【0224】
Ｖ． コンピュータシステム
上述の技術は、１つ以上のコンピュータ読み取り可能媒体に物理的に格納された、コンピュータ読み取り可能命令を用いたコンピュータソフトウェアとして、実装されることができる。例えば、図２４は、開示に係る事項の特定の実施形態を実装するのに好適なコンピュータシステム（２４００）を示している。
上述の技術は、１つ以上のコンピュータ読み取り可能媒体に物理的に格納された、コンピュータ読み取り可能命令を用いたコンピュータソフトウェアとして、実装されることができる。例えば、図２４は、開示に係る事項の特定の実施形態を実装するのに好適なコンピュータシステム（２４００）を示している。
【0225】
コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、又は同様の機構に掛けられることで、直接的に又はインタープリット、マイクロコード実行及びこれらに類するものを介して１つ以上のコンピュータ中央演算処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、及びこれらに類するものによって実行されることが可能な命令を有するコードを作り出し得るような、任意の好適な機械コード又はコンピュータ言語を用いてコード化され得る。
【0226】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置、及びこれらに類するものを含め、様々なタイプのコンピュータ又はそのコンポーネント上で実行され得る。
【0227】
コンピュータシステム（２４００）に関して図２４に示したコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能性の範囲についての何らかの限定を示唆する意図はない。また、コンポーネントの構成も、コンピュータシステム（２４００）のこの例示的な実施形態に示されたコンポーネントの任意の１つ又は組み合わせに関する何らかの従属性又は要件も持つものとして解釈されるべきでない。
【0228】
コンピュータシステム（２４００）は、特定のヒューマンインタフェース入力装置を含んでもよい。そのようなヒューマンインタフェース入力装置は、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブを動かすことなど）、オーディオ入力（例えば、音声、拍手など）、視覚入力（例えば、ジェスチャなど）、嗅覚入力（図示せず）を介した、一人以上の人間ユーザによる入力に応答し得る。ヒューマンインタフェース装置はまた、例えばオーディオ（例えば、会話、音楽、周囲の音など）、画像（例えば、走査画像、静止画カメラから得られる写真画像など）、映像（例えば、二次元映像、立体視映像を含む３次元映像など）などの、人間による意識的な入力には必ずしも直接関係しない特定の媒体を捕捉するために使用されてもよい。
【0229】
入力ヒューマンインタフェース装置は、キーボード（２４０１）、マウス（２４０２）、トラックパッド（２４０３）、タッチスクリーン（２４１０）、データグローブ（図示せず）、ジョイスティック（２４０５）、マイクロフォン（２４０６）、スキャナ（２４０７）、カメラ（２４０８）（各々１つのみ図示している）のうちの１つ以上を含み得る。
【0230】
コンピュータシステム（２４００）はまた、特定のヒューマンインタフェース出力装置を含み得る。そのようなヒューマンインタフェース出力装置は、例えば、触覚出力、音、光、及び臭い／味を通して、一人以上の人間ユーザの感覚を刺激し得る。そのようなヒューマンインタフェース出力装置は、触覚出力装置（例えば、タッチスクリーン（２４１０）、データグローブ（図示せず）、又はジョイスティック（２４０５）による触覚フィードバックであるが、入力装置として機能しない触覚フィードバック装置もあってもよい）、オーディオ出力装置（例えば、スピーカー（２４０９）、ヘッドフォン（図示せず）など）、視覚出力装置（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（２４１０）（各々がタッチスクリーン入力機能を有する又は有さない。各々が触覚フィードバック機能を有する又は有さない。これらの一部は、二次元の視覚出力、又は例えば立体視出力などの手段を通じて四次元以上の出力を出力することができるとし得る。）、仮想現実グラス（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）など）、及びプリンタ（図示せず）を含み得る。
【0231】
コンピュータシステム（２４００）はまた、例えば、ＣＤ／ＤＶＤ若しくは類似の媒体（２４２１）を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（２４２０）を含む光媒体、サムドライブ（２４２２）、取り外し可能なハードドライブ若しくは又はソリッドステートドライブ（２４２３）、例えばテープ及びフロッピーディスク（登録商標、図示せず）などのレガシー磁気媒体、例えばセキュリティドングルなどの特殊化されたＲＯＭ／ＡＳＩＣ／ＰＬＤベースの装置（図示せず）、及びこれらに類するものなどの、人間アクセス可能なストレージ装置及びそれらの関連媒体を含み得る。
【0232】
当業者がこれまた理解するはずのことには、ここでの開示に係る事項に関連して使用される用語“コンピュータ読み取り可能媒体”は、伝送媒体、搬送波、又は他の一時的な信号を含まない。
【0233】
コンピュータシステム（２４００）はまた、１つ以上の通信ネットワークへのインタフェースを含み得る。ネットワークは、例えば、無線、有線、光とし得る。ネットワークは更に、ローカル、広域、大都市、車両及び産業、リアルタイム、耐遅延などとし得る。ネットワークの例は、例えばイーサネット（登録商標）などのローカルエリアネットワークや、無線ＬＡＮや、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ及びこれらに類するものを含むセルラネットワークや、ケーブルＴＶ、衛星ＴＶ、及び地上波放送ＴＶを含むＴＶ有線又は無線広域デジタルネットワークや、ＣＡＮＢｕｓを含む車両及び産業などを含む。特定のネットワークは一般に、特定の汎用データポート又はペリフェラルバス（２４４９）（例えば、コンピュータシステム（２４００）のＵＳＢポートなど）に取り付けられる外付けネットワークインタフェースアダプタを必要とし、他のものは一般に、後述のシステムバスへの取り付けによってコンピュータシステム（２４００）のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインタフェース、又はスマートフォンコンピュータシステムへのセルラネットワークインタフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（２４００）は、他のエンティティと通信することができる。そのような通信は、一方向の受信のみ（例えば、放送ＴＶ）であってもよいし、一方向の送信のみ（例えば、特定のＣＡＮｂｕｓ装置に対するＣＡＮｂｕｓ）であってもよいし、あるいは、例えばローカル又は広域デジタルネットワークを用いた他のコンピュータシステムに対しての、双方向であってもよい。特定のプロトコル及びプロトコルスタックが、上述のようにネットワーク及びネットワークインタフェースの各々上で使用され得る。
【0234】
前述のヒューマンインタフェース装置、人間アクセス可能なストレージ装置、及びネットワークインタフェースは、コンピュータシステム（２４００）のコア（２４４０）に取り付けられることができる。
【0235】
コア（２４４０）は、１つ以上の中央演算処理ユニット（ＣＰＵ）（２４４１）、グラフィックス処理ユニット（ＧＰＵ）（２４４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（２４４３）の形態の特殊なプログラム可能なプロセッシングユニット、特定のタスク用のハードウェアアクセラレータ（２４４４）などを含み得る。これらのデバイスは、読み出し専用メモリ（ＲＯＭ）（２４４５）、ランダムアクセスメモリ（２４４６）、例えば内部のユーザアクセス可能でないハードドライブ、ＳＳＤなどの内部大容量ストレージ（２４４７）、及びこれらに類するもの（２４４７）と共に、システムバス（２４４８）を介して接続され得る。一部のコンピュータシステムにおいて、システムバス（２４４８）は、追加のＣＰＵ、ＧＰＵ、及びこれらに類するものによる拡張を可能にするために、１つ以上の物理プラグの形態でアクセス可能にされ得る。周辺装置は、コアのシステムバス（２４４８）に直接的に、又はペリフェラルバス（２４４９）を介して、のいずれで取り付けられてもよい。ペリフェラルバスのアーキテクチャは、ＰＣＩ、ＵＳＢ、及びこれらに類するものを含む。
【0236】
ＣＰＵ（２４４１）、ＧＰＵ（２４４２）、ＦＰＧＡ（２４４３）、及びアクセラレータ（２４４４）は、組み合わさって前述のコンピュータコードを構成することができる特定の命令を実行し得る。そのコンピュータコードは、ＲＯＭ（２４４５）又はＲＡＭ（２４４６）に格納され得る。ＲＡＭ（２４４６）には過渡的なデータも格納されることができ、永久的なデータは、例えば内部大容量ストレージ（２４４７）に格納されることができる。メモリデバイスのいずれかへの高速な記憶及び取り出しが、１つ以上のＣＰＵ（２４４１）、ＧＰＵ（２４４２）、大容量ストレージ（２４４７）、ＲＯＭ（２４４５）、ＲＡＭ（２４４６）、及びこれらに類するものの近くに付随し得るキャッシュメモリの使用によって可能にされ得る。
【0237】
コンピュータ読み取り可能媒体はその上に、様々なコンピュータ実装処理を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的に合わせて特別に設計及び構築されたものであってもよいし、あるいは、それらは、コンピュータソフトウェア技術の当業者にとって周知且つ利用可能な種類のものであってもよい。
【0238】
一例として、限定ではなく、アーキテクチャ（２４００）、特にコア（２４４０）、を有するコンピュータシステムは、１つ以上の有形のコンピュータ読み取り可能媒体に具現化されたソフトウェアを（１つ以上の）プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、及びこれらに類するものを含む）が実行することの結果として機能を提供することができる。そのようなコンピュータ読み取り可能媒体は、例えばコア内部の大容量ストレージ（２４４７）又はＲＯＭ（２４４５）などの、非一時的性質のものであるコア（２４４０）の特定のストレージ、及び上で紹介したようなユーザアクセス可能な大容量ストレージに関連する媒体とすることができる。本開示の様々な実施形態を実装するソフトウェアは、そのような装置に格納され、コア（２４４０）によって実行されることができる。コンピュータ読み取り可能媒体は、具体的なニーズに従って、１つ以上のメモリデバイス又はチップを含み得る。ソフトウェアは、コア（２４４０）及び特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、及びこれらに類するものを含む）に、ＲＡＭ（２４４６）に格納されるデータ構造を規定すること、及びそのようなデータ構造を、ソフトウェアによって規定されたプロセスに従って変更することを含めて、ここに記載された特定のプロセスを又は特定のプロセスの特定の部分を実行させることができる。加えて、又は代替として、コンピュータシステムは、ここに記載された特定のプロセスを又は特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに又はソフトウェアと共に動作することができる回路（例えば、アクセラレータ（２４４４））にて配線された又はその他の方法で具体化されたロジックの結果として、機能を提供してもよい。ソフトウェアへの言及はロジックを含み、また、適当な場合にその逆もまた然りである。コンピュータ読み取り可能媒体への言及は、実行のためのソフトウェアを格納した回路（例えば、集積回路（ＩＣ）など）、実行のためのロジックを具体化した回路、又は適当な場合にこれら双方を含み得る。本開示は、ハードウェア及びソフトウェアの好適な組み合わせを含む。
付録Ａ：頭字語
ＡＭＶＰ：Advanced Motion Vector Prediction（アドバンスト動きベクトル予測）
ＡＳＩＣ：Application-Specific Integrated Circuit（特定用途向け集積回路）
ＢＭＳ：benchmark set（ベンチマークセット）
ＣＡＮＢｕｓ：Controller Area Network Bus（コントローラエリアネットワークバス）
ＣＤ：Compact Disc（コンパクトディスク）
ＣＰＭＶ：Control Point Motion Vector（制御点動きベクトル）
ＣＰＵｓ：Central Processing Units（中央演算処理ユニット）
ＣＲＴ：Cathode Ray Tube（陰極線管）
ＣＴＵｓ：Coding Tree Units（符号化ツリーユニット）
ＣＵ：Coding Unit（符号化ユニット）
ＤＶＤ：Digital Video Disc（デジタルビデオディスク）
ＦＰＧＡ：Field Programmable Gate Array（フィールドプログラマブルゲートアレイ）
ＧＢｉ：Generalized Bi-prediction（一般化双予測）
ＧＯＰｓ：Groups of Pictures（グループ・オブ・ピクチャ）
ＧＰＵｓ：Graphics Processing Units（グラフィックス処理ユニット）
ＧＳＭ：Global System for Mobile communications（グローバルシステムフォーモバイルコミュニケーションズ）
ＨＥＶＣ：High Efficiency Video Coding（ハイエフィシェンシビデオコーディング）
ＨＭＶＰ：History-based Motion Vector Prediction（履歴ベース動きベクトル予測）
ＨＲＤ：Hypothetical Reference Decoder（仮説的リファレンスデコーダ）
ＩＣ：Integrated Circuit（集積回路）
ＪＥＭ：joint exploration model（共同探索モデル）
ＬＡＮ：Local Area Network（ローカルエリアネットワーク）
ＬＣＤ：Liquid-Crystal Display（液晶ディスプレイ）
ＬＴＥ：Long-Term Evolution（ロングタームエボリューション）
ＭＭＶＤ：Merge with MVD（ＭＶＤ付きマージ）
ＭＶ：Motion Vector（動きベクトル）
ＭＶＤ：Motion Vector Difference（動きベクトル差）
ＭＶＰ：Motion Vector Predictor（動きベクトル予測子）
ＯＬＥＤ：Organic Light-Emitting Diode（有機発光ダイオード）
ＰＢｓ：Prediction Blocks（予測ブロック）
ＰＣＩ：Peripheral Component Interconnect（ペリフェラルコンポーネントインターコネクト）
ＰＬＤ：Programmable Logic Device（プログラマブルロジックデバイス）
ＰＵｓ：Prediction Units（予測ユニット）
ＲＡＭ：Random Access Memory（ランダムアクセスメモリ）
ＲＯＭ：Read-Only Memory（読み出し専用メモリ）
ＳＥＩ：Supplementary Enhancement Information（補足強化情報）
ＳＮＲ：Signal Noise Ratio（信号対雑音比）
ＳＳＤ：solid-state drive（ソリッドステートドライブ）
ＳＰＳ：Sequence Parameter Set（シーケンスパラメータセット）
ＳｂＴＭＶＰ：Subblock-based Temporal Motion Vector Prediction（サブブロックベース時間動きベクトル予測）
ＴＭＶＰ：Temporal Motion Vector Prediction（時間動きベクトル予測）
ＴＵｓ：Transform Units（変換ユニット）
ＵＳＢ：Universal Serial Bus（ユニバーサルシリアルバス）
ＶＴＭ：Versatile Test Model（多目的テストモデル）
ＶＵＩ：Video Usability Information（ビデオユーザビリティ情報）
ＶＶＣ：versatile video coding（バーサタイルビデオコーディング）
付録Ａ：頭字語
ＡＭＶＰ：Advanced Motion Vector Prediction（アドバンスト動きベクトル予測）
ＡＳＩＣ：Application-Specific Integrated Circuit（特定用途向け集積回路）
ＢＭＳ：benchmark set（ベンチマークセット）
ＣＡＮＢｕｓ：Controller Area Network Bus（コントローラエリアネットワークバス）
ＣＤ：Compact Disc（コンパクトディスク）
ＣＰＭＶ：Control Point Motion Vector（制御点動きベクトル）
ＣＰＵｓ：Central Processing Units（中央演算処理ユニット）
ＣＲＴ：Cathode Ray Tube（陰極線管）
ＣＴＵｓ：Coding Tree Units（符号化ツリーユニット）
ＣＵ：Coding Unit（符号化ユニット）
ＤＶＤ：Digital Video Disc（デジタルビデオディスク）
ＦＰＧＡ：Field Programmable Gate Array（フィールドプログラマブルゲートアレイ）
ＧＢｉ：Generalized Bi-prediction（一般化双予測）
ＧＯＰｓ：Groups of Pictures（グループ・オブ・ピクチャ）
ＧＰＵｓ：Graphics Processing Units（グラフィックス処理ユニット）
ＧＳＭ：Global System for Mobile communications（グローバルシステムフォーモバイルコミュニケーションズ）
ＨＥＶＣ：High Efficiency Video Coding（ハイエフィシェンシビデオコーディング）
ＨＭＶＰ：History-based Motion Vector Prediction（履歴ベース動きベクトル予測）
ＨＲＤ：Hypothetical Reference Decoder（仮説的リファレンスデコーダ）
ＩＣ：Integrated Circuit（集積回路）
ＪＥＭ：joint exploration model（共同探索モデル）
ＬＡＮ：Local Area Network（ローカルエリアネットワーク）
ＬＣＤ：Liquid-Crystal Display（液晶ディスプレイ）
ＬＴＥ：Long-Term Evolution（ロングタームエボリューション）
ＭＭＶＤ：Merge with MVD（ＭＶＤ付きマージ）
ＭＶ：Motion Vector（動きベクトル）
ＭＶＤ：Motion Vector Difference（動きベクトル差）
ＭＶＰ：Motion Vector Predictor（動きベクトル予測子）
ＯＬＥＤ：Organic Light-Emitting Diode（有機発光ダイオード）
ＰＢｓ：Prediction Blocks（予測ブロック）
ＰＣＩ：Peripheral Component Interconnect（ペリフェラルコンポーネントインターコネクト）
ＰＬＤ：Programmable Logic Device（プログラマブルロジックデバイス）
ＰＵｓ：Prediction Units（予測ユニット）
ＲＡＭ：Random Access Memory（ランダムアクセスメモリ）
ＲＯＭ：Read-Only Memory（読み出し専用メモリ）
ＳＥＩ：Supplementary Enhancement Information（補足強化情報）
ＳＮＲ：Signal Noise Ratio（信号対雑音比）
ＳＳＤ：solid-state drive（ソリッドステートドライブ）
ＳＰＳ：Sequence Parameter Set（シーケンスパラメータセット）
ＳｂＴＭＶＰ：Subblock-based Temporal Motion Vector Prediction（サブブロックベース時間動きベクトル予測）
ＴＭＶＰ：Temporal Motion Vector Prediction（時間動きベクトル予測）
ＴＵｓ：Transform Units（変換ユニット）
ＵＳＢ：Universal Serial Bus（ユニバーサルシリアルバス）
ＶＴＭ：Versatile Test Model（多目的テストモデル）
ＶＵＩ：Video Usability Information（ビデオユーザビリティ情報）
ＶＶＣ：versatile video coding（バーサタイルビデオコーディング）
【0239】
この開示は幾つかの例示的な実施形態を記述しているが、開示の範囲に入る変更、置換、及び様々な均等な代替が存在する。従って、理解されることには、当業者は、ここでは明示的に図示されたり説明されたりしていないものの、開示の原理を具体化し、それ故に、その精神及び範囲の中にあるような、数多くのシステム及び方法を考案することができるであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図13】
【図14A】
【図14B】
【図15A】
【図15B】
【図16A】
【図16B】
【図17】
【図18A】
【図18B】
【図19】
【図20】
【図21】
【図22A】
【図22B】
【図22C】
【図22D】
【図22E】
【図23】
【図24】
【国際調査報告】