特許7096951ビデオエンコーディング及びデコーディングのための方法、装置及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-28
(45)【発行日】2022-07-06
(54)【発明の名称】ビデオエンコーディング及びデコーディングのための方法、装置及びプログラム
(51)【国際特許分類】
H04N 19/52 20140101AFI20220629BHJP
H04N 19/70 20140101ALI20220629BHJP
H04N 19/537 20140101ALI20220629BHJP
【ＦＩ】
H04N19/52
H04N19/70
H04N19/537
【請求項の数】
21
(21)【出願番号】P 2021527182
(86)(22)【出願日】2019-12-27
(65)【公表番号】
(43)【公表日】2022-01-20
(86)【国際出願番号】 US2019068753
(87)【国際公開番号】W WO2020142378
(87)【国際公開日】2020-07-09
【審査請求日】2021-05-18
(31)【優先権主張番号】62/787,029
(32)【優先日】2018-12-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/796,522
(32)【優先日】2019-01-24
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/534,026
(32)【優先日】2019-08-07
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】シュイ，メン
(72)【発明者】
【氏名】リ，シアン
(72)【発明者】
【氏名】リィウ，シャン
【審査官】久保 光宏
(56)【参考文献】
【文献】特表２０２２－５０７８７２（ＪＰ，Ａ）
【文献】特表２０２２－５０５８７４（ＪＰ，Ａ）
【文献】特表２０２２－５０６２６９（ＪＰ，Ａ）
【文献】特表２０２２－５０９０２４（ＪＰ，Ａ）
【文献】Ru-Ling Liao, et al.，"CE10.3.1.b: Triangular prediction unit mode"，JVET-L0124 (version 5)，[online], Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2018年10月08日，Pages 1-8，[令和4年5月26日検索], インターネット, <URL: http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=4205> and <URL: http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/12_Macao/wg11/JVET-L0124-v5.zip>.
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
デコーダが実行するビデオデコーディングの方法であって、コーディングブロックの第１の組に適用された三角予測モード（ＴＰＭ）のＴＰＭ候補の第１最大許容数と、現在のコーディングブロックに適用可能なマージモードにおけるマージ候補の第２最大許容数との間の差を示すビットストリーム内の第１シンタックス要素を受け取るステップと、
前記受け取られた第１シンタックス要素に基づいて、前記ＴＰＭ候補の第１最大許容数を導出するステップと、
前記導出されたＴＰＭ候補の第１最大許容数に応じて、前記ＴＰＭにより処理された前記現在のコーディングブロックのＴＰＭ候補リストを構成するステップと
を有する方法。
【請求項2】
前記ＴＰＭ候補の第１最大許容数は、０から、前記現在のコーディングブロックに適用可能なマージモードにおけるマージ候補の前記第２最大許容数までの整数である、請求項１に記載の方法。
【請求項3】
前記マージモードにおける前記マージ候補は、次の、前記現在のコーディングブロックの空間隣接コーディングブロックからの空間動きベクトル予測子（ＭＶＰ）と、
前記現在のコーディングブロックの同一位置のコーディングブロックからの時間ＭＶＰと、
履歴ベースのＭＶＰと、
ペアワイズ平均ＭＶＰと、
ゼロモーションベクトルと
のうちの１つ以上のタイプのマージ候補を含む、
請求項２に記載の方法。
【請求項4】
前記構成するステップは、前記ＴＰＭ候補の第１最大許容数は２以上である場合に、前記ＴＰＭ候補リスト上のＴＰＭ候補の数が前記ＴＰＭ候補の第１最大許容数に等しくなるように、前記現在のコーディングブロックの前記ＴＰＭ候補リストを構成するステップを有する、
請求項１に記載の方法。
【請求項5】
前記差を示す前記ビットストリーム内の前記第１シンタックス要素は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、タイルヘッダ、又はタイルグループヘッダで通知される、請求項１に記載の方法。
【請求項6】
シーケンスパラメータセット（ＳＰＳ）において、前記ＴＰＭが有効にされているかどうかを示す前記ビットストリーム内の第２シンタックス要素を受け取るステップを更に有する、請求項１に記載の方法。
【請求項7】
前記第１シンタックス要素を受け取るステップは、前記ビットストリーム内の前記第２シンタックス要素を受け取るステップの後で実行される、請求項６に記載の方法。
【請求項8】
前記第１シンタックス要素を受け取るステップは、前記ビットストリーム内の前記第２シンタックス要素が、前記ＴＰＭが有効にされていることを示すことと、少なくとも１つの追加条件が満足されることとに応答して、実行される、請求項６に記載の方法。
【請求項9】
前記少なくとも１つの追加条件は、双予測が適用されるとの指示を有する、請求項８に記載の方法。
【請求項10】
前記現在のコーディングブロックに適用可能な前記マージモードにおけるマージ候補の前記第２最大許容数に対応する第３シンタックス要素を受け取るステップを更に有する、請求項１に記載の方法。
【請求項11】
前記第１シンタックス要素を受け取るステップは、前記ビットストリーム内の前記第３シンタックス要素を受け取るステップの後で実行される、請求項１０に記載の方法。
【請求項12】
ビデオデコーディングのための装置であって、処理回路を有し、該処理回路は、
コーディングブロックの第１の組に適用された三角予測モード（ＴＰＭ）のＴＰＭ候補の第１最大許容数と、現在のコーディングブロックに適用可能なマージモードにおけるマージ候補の第２最大許容数との間の差を示すビットストリーム内の第１シンタックス要素を受け取り、
前記受け取られた第１シンタックス要素に基づいて、前記ＴＰＭ候補の第１最大許容数を導出し、
前記導出されたＴＰＭ候補の第１最大許容数に応じて、前記ＴＰＭにより処理された前記現在のコーディングブロックのＴＰＭ候補リストを構成する
よう構成される、装置。
【請求項13】
前記ＴＰＭ候補の第１最大許容数は、０から、前記現在のコーディングブロックに適用可能なマージモードにおけるマージ候補の前記第２最大許容数までの整数である、請求項１２に記載の装置。
【請求項14】
前記マージモードにおける前記マージ候補は、次の、前記現在のコーディングブロックの空間隣接コーディングブロックからの空間動きベクトル予測子（ＭＶＰ）と、
前記現在のコーディングブロックの同一位置のコーディングブロックからの時間ＭＶＰと、
履歴ベースのＭＶＰと、
ペアワイズ平均ＭＶＰと、
ゼロモーションベクトルと
のうちの１つ以上のタイプのマージ候補を含む、
請求項１３に記載の装置。
【請求項15】
前記処理回路は、シーケンスパラメータセット（ＳＰＳ）において、前記ＴＰＭが有効にされているかどうかを示す前記ビットストリーム内の第２シンタックス要素を受け取るよう更に構成される、請求項１２に記載の装置。
【請求項16】
前記第１シンタックス要素は、前記ビットストリーム内の前記第２シンタックス要素を受け取った後で受け取られる、請求項１５に記載の装置。
【請求項17】
前記第１シンタックス要素は、前記ビットストリーム内の前記第２シンタックス要素が、前記ＴＰＭが有効にされていることを示すことと、少なくとも１つの追加条件が満足されることとに応答して、受け取られる、請求項１５に記載の装置。
【請求項18】
前記処理回路は、前記現在のコーディングブロックに適用可能な前記マージモードにおけるマージ候補の前記第２最大許容数に対応する第３シンタックス要素を受け取るよう更に構成される、請求項１２に記載の装置。
【請求項19】
前記第１シンタックス要素は、前記ビットストリーム内の前記第３シンタックス要素を受け取った後で受け取られる、請求項１８に記載の装置。
【請求項20】
少なくとも１つのプロセッサによって実行される場合に、該少なくとも１つのプロセッサに、請求項１乃至１１のうちいずれか一項に記載の方法を実行させるプログラム。
【請求項21】
エンコーダが実行するビデオエンコーディングの方法であって、ビットストリームをエンコーディングするステップと、
コーディングブロックの第１の組に適用された三角予測モード（ＴＰＭ）のＴＰＭ候補の第１最大許容数と、現在のコーディングブロックに適用可能なマージモードにおけるマージ候補の第２最大許容数との間の差を示すビットストリーム内の第１シンタックス要素を受け取るステップと、
前記受け取られた第１シンタックス要素に基づいて、前記ＴＰＭ候補の第１最大許容数を導出するステップと、
前記導出されたＴＰＭ候補の第１最大許容数に応じて、前記ＴＰＭにより処理された前記現在のコーディングブロックのＴＰＭ候補リストを構成するステップと
を有する方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ビデオコーディングに概して関係がある実施形態について記載する。
【背景技術】
【0002】
本明細書中で与えられている背景の説明は、本開示の背景を一般的に提示することを目的とするものである。現在指名されている発明者の研究は、その研究がこの背景の項で説明されている範囲で、及び出願時に先行技術としてさもなければ適格でない可能性がある説明の側面は、本開示に対する先行技術として明示的にも暗黙的にも認められない。
【0003】
ビデオコーディング及びデコーディングは、動き補償を伴ったインターピクチャ予測を用いて実行可能である。圧縮されていないデジタルビデオは、ピクチャの連続を含むことができ、各ピクチャは、例えば、１９２０×１０８０のルミナンスサンプル及び関連するクロミナンスサンプルの空間寸法を有する。ピクチャの連続は、例えば、毎秒６０ピクチャ、つまり６０Ｈｚの固定又は可変のピクチャレート（俗にフレームレートとして知られている。）を有することができる。圧縮されていないビデオは、有意なビットレート要件を有している。例えば、サンプル当たり８ビットでの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚのフレームレートでの１９２０×１０８０のルミナンスサンプル解像度）は、１．５Ｇビット／ｓに近いバンド幅を必要とする。そのようなビデオの１時間は、６００Ｇバイト超の記憶空間を必要とする。
【0004】
ビデオコーディング及びデコーディングの１つの目的は、圧縮による入力ビデオ信号の冗長性の低減であることができる。圧縮は、いくつかの場合に２桁以上、上記のバンド幅又は記憶空間要件を減らすことを助けることができる。可逆及び不可逆圧縮の両方並びにそれらの組み合わせが用いられ得る。可逆圧縮は、原信号の厳密なコピーが圧縮された原信号から再構成可能である技術を指す。不可逆圧縮を使用する場合に、再構成された信号は、原信号と同じでない場合があるが、原信号と再構成された信号との間のひずみは、再構成された信号を、意図された用途にとって有用なものとするほど十分に小さい。ビデオの場合には、不可逆圧縮が広く用いられている。許容されるひずみの量は用途に依存し、例えば、特定の消費者ストリーミング用途のユーザは、テレビジョン配信用途のユーザよりも高いひずみを許容し得る。達成可能な圧縮比は、より高い許容可能な／受け入れ可能なひずみがより高い圧縮比をもたらし得ることを反映することができる。
【0005】
動き補償は不可逆圧縮技術であることができ、前に再構成されたピクチャ又はその部分（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以降ＭＶ）によって示された方向において空間的にシフトされた後に、新たに再構成されるピクチャ又はピクチャ部分の予測のために使用される技術に関係があり得る。いくつかの場合に、参照ピクチャは、現在再構成中のピクチャと同じであることができる。ＭＶは２つの次元Ｘ及びＹ、又は３つの次元を有することができ、３番目の次元は、使用中の参照ピクチャの指示である（後者は、間接的に、時間次元であることができる。）。
【0006】
いくつかのビデオ圧縮技術では、サンプルデータの特定のエリアに適用可能なＭＶは、他のＭＶから、例えば、再構成中のエリアに空間的に隣接するサンプルデータの他のエリアに関係があり、デコーディング順序においてそのＭＶに先行するものから、予測され得る。そうすることで、ＭＶをコーディングするために必要なデータの量を大幅に減らすことができ、それによって、冗長性を取り除きかつ圧縮を高める。例えば、カメラから得られた入力ビデオ信号（ナチュラルビデオとして知られる。）をコーディングする場合に、単一のＭＶが適用可能であるエリアよりも大きいエリアが同様の方向に移動するという統計的可能性があり、従って、いくつかの場合には、隣接するエリアのＭＶから導出された同様の動きベクトルを用いて予測可能であるということで、ＭＶ予測は有効に働くことができる。その結果、所与のエリアについて求められるＭＶは、周囲のＭＶから予測されたＭＶと類似又は同じであり、エントロピコーディング後に、ＭＶを直接コーディングする場合に使用されることになるビット数よりも少ないビットで表され得る。いくつかの場合に、ＭＶ予測は、原信号（すなわち、サンプルストリーム）から導出された信号（すなわち、ＭＶ）の可逆圧縮の例であることができる。他の場合には、ＭＶ予測自体は、例えば、いくつかの周囲のＭＶから予測子を計算するときの丸め誤差のために、不可逆であり得る。
【0007】
様々なＭＶ予測メカニズムがＨ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ． Ｈ２６５，“High Efficiency Video Coding”，２０１６年１２月）で説明されている。Ｈ．２６５が提案する多くのＭＶ予測メカニズムの中から、本明細書では、以降「空間マージ」と呼ばれる技術が説明される。
【0008】
図１を参照すると、現在のブロック（１０１）は、空間的にシフトされた同じサイズの前のブロックから予測可能であると動き探索プロセス中にエンコーダによって認められたサンプルを有する。そのＭＶを直接にコーディングする代わりに、ＭＶは、１つ以上の参照ピクチャと関連付けられたメタデータから、例えば、（デコーディング順序において）最も最近の参照ピクチャから、Ａ０、Ａ１及びＢ０、Ｂ１、Ｂ２（夫々、１０２から１０６）と表されている５つの周囲サンプルのうちのいずれか１つと関連付けられたＭＶを用いて導出され得る。Ｈ．２６５では、ＭＶ予測は、隣接するブロックが使用している同じ参照ピクチャからの予測子を使用することができる。
【発明の概要】
【0009】
本開示の態様は、デコーダでのビデオデコーディングの方法を提供する。方法は、コーディングブロックの組に適用された三角予測モード（Triangular Prediction Mode，ＴＰＭ）のＴＰＭ候補の第１最大許容数を示すビットストリーム内のシンタックス要素を受け取るステップと、ＴＰＭ候補の第１最大許容数に応じて、ＴＰＭにより処理された現在のコーディングブロックのＴＰＭ候補リストを構成するステップとを含むことができる。
【0010】
デコーダでのビデオデコーディングの方法において、現在のコーディングブロックのマージ候補リストが、ＴＰＭにより現在のコーディングブロックを処理するために構成される。マージ候補リストは、１つ又は２つの動きベクトルを夫々有するマージ候補を含むことができる。各動きベクトルは、第１参照ピクチャリスト又は第２参照ピクチャリストと関連付けられ得る。第１動きベクトル及び第２動きベクトルは、マージ候補リスト上のマージ候補の動きベクトルから決定される。現在のコーディングブロックは、現在のコーディングブロックの２つの三角パーティションの２つの動きベクトル予測子（Motion Vector Predictor(s)，ＭＶＰ）として第１及び第２動きベクトルを用いてＴＰＭにより処理される。
【0011】
デコーダでのビデオデコーディングの方法において、ピクチャのコーディングブロックと関連付けられた分割方向シンタックス要素、第１インデックスシンタックス要素、及び第２インデックスシンタックス要素が受け取られる。コーディングブロックは、三角予測モードによりコーディングされ、分割方向シンタックス要素によって示された第１又は第２分割方向に従って第１三角予測ユニット及び第２三角予測ユニットに分割され得る。第１及び第２分割方向の両方について、第１及び第２三角予測ユニットに対して構成されたマージ候補リストへの第１マージインデックス及び第２マージインデックスが第１プロセスにより決定される。
【0012】
第１プロセスは、第１インデックスシンタックス要素の値を有するよう第１及び第２マージインデックスのうちの第１の１つのマージインデックスを決定するステップと、第２インデックスシンタックス要素が第１インデックスシンタックス要素よりも小さい値を有する場合に、第２インデックスシンタックス要素の値を有するよう第１及び第２マージインデックスのうちの第２の１つのマージインデックスを決定するステップと、第２インデックスシンタックス要素が第１インデックスシンタックス要素以上の値を有する場合に、第２インデックスシンタックス要素に１をプラスした値を有するよう第１及び第２マージインデックスのうちの第２の１つのマージインデックスを決定するステップとを含むことができる。コーディングブロックは、第１又は第２分割方向、決定された第１マージインデックス、及び決定された第２マージインデックスに従って再構成される。
【0013】
開示されている対象の更なる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面から明らかになる。
【図面の簡単な説明】
【0014】
【図1】一例において、現在のブロック及びその周囲の空間マージ候補の概略図である。
【図2】実施形態に従う通信システムの略ブロック図の概略図である。
【図3】実施形態に従う通信システムの略ブロック図の概略図である。
【図4】実施形態に従うデコーダの略ブロック図の概略図である。
【図5】実施形態に従うエンコーダの略ブロック図の概略図である。
【図6】他の実施形態に従うエンコーダのブロック図を示す。
【図7】他の実施形態に従うデコーダのブロック図を示す。
【図8】実施形態に従って、マージ候補の組がマージ候補リストを構成するよう選択され得る候補位置の例を示す。
【図9】実施形態に従って、空間マージ候補の組が拡張マージ候補リストを構成するよう選択され得る候補位置の他の例を示す。
【図10】実施形態に従って、冗長性チェックプロセスのための拡張マージリスト上の候補対の例を示す。
【図11】実施形態に従って、現在のピクチャにおいて拡張マージリスト上の時間マージ候補を導出する例を示す。
【図12】実施形態に従って、拡張マージリスト上の時間マージ候補が選択され得る候補位置を示す。
【図13】実施形態に従って、コーディングユニットを２つの三角予測ユニットに分割する例を示す。
【図14】実施形態に従って、三角予測モードのための片予測候補リストを構成するために使用される空間及び時間隣接ブロックの例を示す。
【図15】実施形態に従って、三角パーティションインデックスに基づいて分割方向及びパーティション動き情報を導出するために使用されるルックアップテーブルの例を示す。
【図16】実施形態に従って、適応ブレンディングプロセスにおいて重み係数の組を適用するコーディングユニットの例を示す。
【図17】実施形態に従って、三角予測モードにおける動きベクトル保存の例を示す。
【図18A】実施形態に従って、２つの三角予測ユニットの動きベクトルに基づいて双予測動きベクトルを導出する例を示す。
【図18B】実施形態に従って、２つの三角予測ユニットの動きベクトルに基づいて双予測動きベクトルを導出する例を示す。
【図18C】実施形態に従って、２つの三角予測ユニットの動きベクトルに基づいて双予測動きベクトルを導出する例を示す。
【図18D】実施形態に従って、２つの三角予測ユニットの動きベクトルに基づいて双予測動きベクトルを導出する例を示す。
【図19】実施形態に従う三角予測モード候補リスト構成プロセスを概説するフローチャートを示す。
【図20】実施形態に従う三角予測プロセスを概説するフローチャートを示す。
【図21】実施形態に従う他の三角予測プロセスを概説するフローチャートを示す。
【図22】実施形態に従うコンピュータシステムの概略図である。
【発明を実施するための形態】
【0015】
［Ｉ．ビデオコーディングエンコーダ及びデコーダ］
図２は、本開示の実施形態に従う通信システム（２００）の略ブロック図を表す。システム（２００）は、例えば、ネットワーク（２５０）を介して互いと通信することができる複数の端末デバイスを含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続されている端末デバイス（２１０）及び（２２０）の第１対を含む。図２では、端末デバイス（２１０）及び（２２０）の第１対は、データの一方向伝送を実行する。例えば、端末デバイス（２１０）は、ネットワーク（２５０）を介した他の端末デバイス（２２０）への伝送のためにビデオデータ（例えば、端末デバイス（２１０）によって捕捉されるビデオデータのストリーム）をコーディングしてよい。エンコーディングされたビデオデータは、１つ以上のコーディングされたビデオビットストリームの形で伝送可能である。端末デバイス（２２０）は、コーディングされたビデオデータをネットワーク（２５０）から受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを回復し、回復されたビデオデータに従ってビデオピクチャを表示してよい。一方向データ伝送は、メディアサービングアプリケーションなどにおいて一般的であり得る。
図２は、本開示の実施形態に従う通信システム（２００）の略ブロック図を表す。システム（２００）は、例えば、ネットワーク（２５０）を介して互いと通信することができる複数の端末デバイスを含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続されている端末デバイス（２１０）及び（２２０）の第１対を含む。図２では、端末デバイス（２１０）及び（２２０）の第１対は、データの一方向伝送を実行する。例えば、端末デバイス（２１０）は、ネットワーク（２５０）を介した他の端末デバイス（２２０）への伝送のためにビデオデータ（例えば、端末デバイス（２１０）によって捕捉されるビデオデータのストリーム）をコーディングしてよい。エンコーディングされたビデオデータは、１つ以上のコーディングされたビデオビットストリームの形で伝送可能である。端末デバイス（２２０）は、コーディングされたビデオデータをネットワーク（２５０）から受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを回復し、回復されたビデオデータに従ってビデオピクチャを表示してよい。一方向データ伝送は、メディアサービングアプリケーションなどにおいて一般的であり得る。
【0016】
他の例では、通信システム（２００）は、例えば、ビデオ会議中に現れ得るコーディングされたビデオデータの双方向伝送を実行する端末デバイス（２３０）及び（２４０）の第２対を含む。データの双方向伝送のために、端末デバイス（２３０）及び（２４０）の各端末デバイスは、ネットワーク（２５０）を介した端末デバイス（２３０）及び（２４０）のうちの他方の端末デバイスへの伝送のためにビデオデータ（例えば、その端末デバイスによって捕捉されるビデオピクチャのストリーム）をコーディングしてよい。端末デバイス（２３０）及び（２４０）の各端末デバイスはまた、端末デバイス（２３０）及び（２４０）のうちの他方の端末デバイスによって送信されたコーディングされたビデオデータを受信してよく、コーディングされたビデオデータをデコーディングしてビデオピクチャを回復してよく、回復されたビデオデータに従って、アクセス可能な表示デバイスでビデオピクチャを表示してよい。
【0017】
図２の例では、端末デバイス（２１０）、（２２０）、（２３０）及び（２４０）は、サーバ、パーソナルコンピュータ、及びスマートフォンとして表され得るが、本開示の原理はそのように限定され得ない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤー、及び／又は専用のビデオ会議装置により用途を見出す。ネットワーク（２５０）は、例えば、ワイヤライン（有線）及び／又はワイヤレス通信ネットワークを含む、端末デバイス（２１０）、（２２０）、（２３０）及び（２４０）の間でコーディングされたビデオデータを伝達する任意数のネットワークを表す。通信ネットワーク（２５０）は、回路交換及び／又はパケット交換チャネルにおいてデータを交換し得る。代表的なネットワークには、電気通信網、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットがある。本議論のために、ネットワーク（２５０）のアーキテクチャ及びトポロジは、以降で説明されない限りは本開示の動作に無関係であり得る。
【0018】
図３は、開示されている対象の応用例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を表す。開示されている対象は、例えば、ビデオ会議と、デジタルＴＶと、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタル媒体上での圧縮されたビデオの記憶と、などを含む他のビデオ対応用途に同様に適用可能であることができる。
【0019】
ストリーミングシステムは、例えば、圧縮されていないビデオピクチャのストリーム（３０２）を生成するビデオソース（３０１）、例えば、デジタルカメラ、を含むことができる捕捉サブシステム（３１３）を含んでよい。例において、ビデオピクチャのストリーム（３０２）は、デジタルカメラによって撮影されるサンプルを含む。ビデオピクチャのストリーム（３０２）は、エンコーディングされたビデオデータ（３０４）（又はコーディングされたビデオビットストリーム）と比較して高いデータボリュームを強調するために太線で表されており、ビデオソース（３０１）へ結合されたビデオエンコーダ（３０３）を含む電子デバイス（３２０）によって処理され得る。ビデオエンコーダ（３０３）は、以下で更に詳細に記載されるように、開示されている対象の態様を可能に又は実装するためのハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。エンコーディングされたビデオデータ（３０４）（又はエンコーディングされたビデオビットストリーム（３０４））は、ビデオピクチャのストリーム（３０２）と比較してより低いデータボリュームを強調するために細線で表されており、将来の使用のためにストリーミングサーバ（３０５）に記憶され得る。図３のクライアントサブシステム（３０６）及び（３０８）などの１つ以上のストリーミングクライアントサブシステムは、エンコーディングされたビデオデータ（３０４）のコピー（３０７）及び（３０９）を読み出すためにストリーミングサーバ（３０５）にアクセスすることができる。クライアントサブシステム（３０６）は、例えば、電子デバイス（３３０）において、ビデオデコーダ（３１０）を含むことができる。ビデオデコーダ（３１０）は、エンコーディングされたビデオデータの入来するコピー（３０７）をデコーディングし、ディスプレイ（３１２）（例えば、表示スクリーン）又は他のレンダリングデバイス（図示せず。）でレンダリングされ得るビデオピクチャの送出ストリーム（３１１）を生成する。いくつかのストリーミングシステムにおいて、エンコーディングされたビデオデータ（３０４）、（３０７）、及び（３０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従ってエンコーディングされ得る。そのような規格の例には、ＩＴＵ－Ｔ推奨Ｈ．２６５がある。例において、開発中のビデオコーディング規格は、バーサタイル・ビデオ・コーディング（Versatile Video Coding，ＶＶＣ）として俗に知られている。開示されている対象は、ＶＶＣに関連して使用されてもよい。
【0020】
電子デバイス（３２０）及び（３３０）は、他のコンポーネント（図示せず。）を含むことができることが知られる。例えば、電子デバイス（３２０）は、ビデオデコーダ（図示せず。）を含むことができ、電子デバイス（３３０）は、ビデオエンコーダ（図示せず。）を同様に含むことができる。
【0021】
図４は、本開示の実施形態に従うビデオデコーダ（４１０）のブロック図を示す。ビデオデコーダ（４１０）は、電子デバイス（４３０）に含まれ得る。電子デバイス（４３０）は、受信器（４３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（４１０）は、図３のビデオデコーダ（３１０）の代わりに使用され得る。
【0022】
受信器（４３１）は、ビデオデコーダ（４１０）によってデコーディングされるべき１つ以上のコーディングされたビデオシーケンスを、同じ又は他の実施形態では、一度に１つのコーディングされたビデオシーケンスを受信してよい。ここで、夫々のコーディングされたビデオシーケンスのデコーディングは、他のコーディングされたビデオシーケンスから独立している。コーディングされたビデオシーケンスは、チャネル（４０１）から受信されてよく、チャネルは、エンコーディングされたビデオデータを記憶している記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。受信器（４３１）は、エンコーディングされたビデオデータを他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助的なデータストリームとともに受信してよく、それらは、それらの各々の使用エンティティ（図示せず。）へ転送されてよい。受信器（４３１）は、コーディングされたビデオシーケンスを他のデータから分離してよい。ネットワークジッタに対抗するために、バッファメモリ（４１５）が受信器（４３１）とエントロピデコーダ／パーサ（４２０）（以降「パーサ（４２０）」）との間に結合されてよい。特定の用途では、バッファメモリ（４１５）は、ビデオデコーダ（４１０）の部分である。他では、それは、ビデオデコーダ（４１０）の外にあることができる（図示せず。）。更に他では、例えば、ネットワークジッタに対抗するための、ビデオデコーダ（４１０）の外にあるバッファメモリ（図示せず。）と、加えて、例えば、再生タイミングを操作するための、ビデオデコーダ（４１０）内のもう１つのバッファメモリ（４１５）とがあってもよい。受信器（４３１）が十分なバンド幅及び可制御性の記憶／転送デバイスから、又はアイソシンクロナス（isosynchronous）ネットワークからデータを受信しているときに、バッファメモリ（４１５）は必要とされなくてもよく、あるいは、小さくてよい。インターネットなどのベストエフォートのパケットネットワークでの使用のために、バッファメモリ（４１５）は必要とされる場合があり、比較的に大きくかつ有利なことには適応サイズであることができ、ビデオデコーダ（４１０）の外のオペレーティングシステム又は同様の要素（図示せず。）に少なくとも部分的に実装され得る。
【0023】
ビデオデコーダ（４１０）は、コーディングされたビデオシーケンスからシンボル（４２１）を再構成するためのパーサ（４２０）を含んでよい。それらのシンボルのカテゴリは、ビデオデコーダ（４１０）の動作を管理するために使用される情報と、潜在的に、電子デバイス（４３０）の必須部分でないが、図４に示されたように、電子デバイス（４３０）へ結合され得るレンダーデバイス（４１２）（例えば、表示スクリーン）などのレンダリングデバイスを制御するための情報とを含む。レンダリングデバイスのための制御情報は、ＳＥＩ（Supplementary Enhancement Information）メッセージ又はＶＵＩ（Video Usability Information）パラメータセットフラグメント（図示せず。）の形をとってよい。パーサ（４２０）は、受信されるコーディングされたビデオシーケンスをパース／エントロピデコーディングしてよい。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術又は規格に従うことができ、可変長コーディング、ハフマンコーディング、文脈依存による又はよらない算術コーディング、などを含む様々な原理に従うことができる。パーサ（４２０）は、コーディングされたビデオシーケンスから、ビデオデコーダにおけるピクセルのサブグループのうちの少なくとも１つについてのサブグループパラメータの組を、そのグループに対応する少なくとも１つのパラメータに基づいて抽出し得る。サブグループは、グループ・オブ・ピクチャ（Groups of Pictures，ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（Coding Units，ＣＵ）、ブロック、変換ユニット（Transform Units，ＴＵ）、予測ユニット（Prediction Units，ＰＵ）、などを含むことができる。パーサ（４２０）はまた、変換係数などのコーディングされたビデオシーケンス情報から、量子化パラメータ値、動きベクトル、なども抽出し得る。
【0024】
パーサ（４２０）は、シンボル（４２１）を生成するために、バッファメモリ（４１５）から受信されたビデオシーケンスに対してエントロピデコーディング／パーシング動作を実行してよい。
【0025】
シンボル（４２１）の再構成は、コーディングされたビデオピクチャ又はその部分（例えば、インター及びイントラピクチャ、インター及びイントラブロック）のタイプ及び他の因子に応じて多種多様なユニットを有することができる。どのユニットがどのように含まれるかは、コーディングされたビデオシーケンスからパーサ（４２０）によってパースされたサブグループ制御情報によって制御され得る。パーサ（４２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報のフローは、明りょうさのために表されていない。
【0026】
既に述べられた機能ブロックを超えて、ビデオデコーダ４１０は、概念的に、以下で説明される多数の機能ユニットに細分され得る。商業上の制約の下で動作する実際の実施では、それらのユニットの多くが互いに密に相互作用し、少なくとも部分的に互いに組み込まれ得る。しかし、開示されている対象を説明することを目的として、以下での機能ユニットへの概念的細分は適切である。
【0027】
第１ユニットは、スケーラ／逆変換ユニット（４５１）である。スケーラ／逆変換ユニット（４５１）は、パーサ（４２０）からシンボル（４２１）として、量子化された変換係数とともに、使用するために変換するもの、ブロックサイズ、量子化係数、量子化スケーリングマトリクスなどを含む制御情報を受信する。スケーラ／逆変換ユニット（４５１）は、アグリゲータ（４５５）へ入力することができるサンプル値を含むブロックを出力することができる。
【0028】
いくつかの場合に、スケーラ／逆変換器（４５１）の出力サンプルは、イントラコーディングされたブロック、すなわち、前に再構成されたピクチャからの予測情報を使用しておらず、現在のピクチャの前に再構成された部分からの予測情報を使用することができるブロック、に関係することができる。そのような予測情報は、イントラピクチャ予測ユニット（４５２）によって供給され得る。いくつかの場合に、イントラピクチャ予測ユニット（４５２）は、現在ピクチャバッファ（４５８）からフェッチされた周囲の既に再構成された情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在ピクチャバッファ（４５８）は、例えば、部分的に再構成された現在のピクチャ及び／又は完全に再構成された現在のピクチャをバッファリングする。アグリゲータ（４５５）は、いくつかの場合に、サンプルごとに、イントラ予測ユニット（４５２）が生成した予測情報を、スケーラ／逆変換ユニット（４５１）によって供給される出力サンプル情報に加える。
【0029】
他の場合では、スケーラ／逆変換ユニット（４５１）の出力サンプルは、インターコーディングされた、そして潜在的に動き補償されたブロックに関係することができる。そのような場合に、動き補償予測ユニット（４５３）は、予測のために使用されるサンプルをフェッチするよう参照ピクチャメモリ（４５７）にアクセスすることができる。ブロックに関係するシンボル（４２１）に従って、フェッチされたサンプルを動き補償した後に、それらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（４５５）によって、スケーラ／逆変換ユニット（４５１）の出力（この場合に、残差サンプル又は残差信号と呼ばれる。）に加えられ得る。動き補償予測ユニット（４５３）が予測サンプルをフェッチする参照ピクチャメモリ（４５７）内のアドレスは、例えば、Ｘ、Ｙ及び参照ピクチャコンポーネントを有することができるシンボル（４２１）の形で動き補償予測ユニット（４５３）が利用することができる動きベクトルによって制御され得る。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（４５７）からフェッチされるサンプル値の補間や、動きベクトル予測メカニズムなどを含むことができる。
【0030】
アグリゲータ（４５５）の出力サンプルは、ループフィルタユニット（４５６）において様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、インループフィルタ技術を含むことができる。この技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる。）に含まれており、パーサ（４２０）からのシンボル（４２１）としてループフィルタユニット（４５６）に利用可能にされたパラメータによって制御されるが、コーディングされたピクチャ又はコーディングされたビデオシーケンスの（デコーディング順序において）前の部分のデコーディング中に得られたメタ情報にも応答することができ、更には、前に構成されたループフィルタ処理されたサンプル値に応答することができる。
【0031】
ループフィルタユニット（４５６）の出力は、レンダーデバイス（４１２）へ出力され、更には、将来のインターピクチャ予測における使用のために参照ピクチャメモリ（４５７）に記憶され得るサンプルストリームであることができる。
【0032】
特定のコーディングされたピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用され得る。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えば、パーサ（４２０）によって）参照ピクチャとして識別されると、現在ピクチャバッファ（４５８）は、参照ピクチャメモリ（４５７）の部分になることができ、未使用の現在ピクチャバッファが、後続のコーディングされたピクチャの再構成を開始する前に再割当てされ得る。
【0033】
ビデオデコーダ（４１０）は、ＩＴＵ－Ｔ推奨Ｈ．２６５などの規格における所定のビデオ圧縮技術に従ってデコーディング動作を実行してよい。コーディングされたビデオシーケンスは、そのコーディングされたビデオシーケンスが、ビデオ圧縮技術又は規格のシンタックス及びビデオ圧縮技術又は規格において文書化されているプロファイルの両方に従うという意味で、使用中のビデオ圧縮技術又は規格によって規定されたシンタックスに従い得る。具体的には、プロファイルは、ビデオ圧縮技術又は規格で利用可能な全てのツールからそのプロファイルの下での使用のために利用可能な最適なツールとして特定のツールを選択することができる。また、コーディングされたビデオシーケンスの複雑さは、ビデオ圧縮技術又は規格のレベルによって定義された境界内にあることが、順守のために必要である。いくつかの場合に、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、メガサンプル／秒で測定される。）、最大参照ピクチャサイズ、などを制限する。レベルによって設定される制限は、いくつかの場合に、ハイポセティカル・リファレンス・デコーダ（Hypothetical Reference Decoder，ＨＲＤ）仕様及びコーディングされたビデオシーケンスにおいて通知されるＨＲＤバッファ管理のためのメタデータを通じて更に制限され得る。
【0034】
実施形態において、受信器（４３１）は、エンコーディングされたビデオとともに、追加の（冗長な）データを受信してもよい。追加のデータは、コーディングされたビデオシーケンスの部分としても含まれてもよい。追加のデータは、ビデオデコーダ（４１０）によって、データを適切にデコーディングするために及び／又は原ビデオデータをより正確に再構成するために使用されてよい。追加のデータは、例えば、時間、空間、又は信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正符号、などの形をとることができる。
【0035】
図５は、本開示の実施形態に従うビデオエンコーダ（５０３）のブロック図を示す。ビデオエンコーダ（５０３）は、電子デバイス（５２０）に含まれている。電子デバイス（５２０）は、送信器（５４０）（例えば、送信回路）を含む。ビデオエンコーダ（５０３）は、図３の例におけるビデオエンコーダ（３０３）の代わりに使用され得る。
【0036】
ビデオエンコーダ（５０３）は、ビデオエンコーダ（５０３）によってコーディングされるべきビデオ画像を捕捉し得るビデオソース（５０１）（図５の例では電子デバイス（５２０）の部分ではない。）からビデオサンプルを受信してよい。他の例では、ビデオソース（５０１）は、電子デバイス（５２０）の部分である。
【0037】
ビデオソース（５０１）は、任意の適切なビット深さ（例えば、８ビット、１０ビット、１２ビットなど）、任意の色空間（例えば、ＢＴ．６０１ ＹＣｒＣＢ、ＲＧＢなど）、及び任意の適切なサンプリング構造（例えば、ＹＣｒＣｂ ４：２：０、ＹＣｒＣｂ ４：４：４）であることができるデジタルビデオサンプルストリームの形で、ビデオエンコーダ（５０３）によってエンコーディングされるべきソースビデオシーケンスを供給してよい。メディアサービングシステムでは、ビデオソース（５０１）は、前に準備されたビデオを記憶している記憶デバイスであってよい。ビデオ会議システムでは、ビデオソース（５０１）は、ローカル画像情報をビデオシーケンスとして捕捉するカメラであってよい。ビデオデータは、順に見られる場合に動きを授ける複数の個別ピクチャとして供給されてもよい。ピクチャ自体は、ピクセルの空間アレイとして編成されてよく、各ピクセルは、使用中のサンプリング構造、色空間、などに依存する１つ以上のサンプルを有することができる。当業者であれば、ピクセルとサンプルとの間の関係を容易に理解することができる。本明細書は、以下、サンプルに焦点を当てる。
【0038】
実施形態に従って、ビデオエンコーダ（５０３）は、実時間において又は用途によって必要とされる任意の他の時間制約の下で、ソースビデオシーケンスのピクチャを、コーディングされたビデオシーケンス（５４３）へとコーディング及び圧縮してよい。適切なコーディング速度を強いることは、コントローラ（５５０）の一機能である。いくつかの実施形態において、コントローラ（５５０）は、以下で記載されるような他の機能ユニットを制御し、それらのユニットへ機能的に結合される。結合は明りょうさのために表されていない。コントローラ（５５０）によってセットされるパラメータには、レート制御に関連したパラメータ（ピクチャスキップ、量子化器、レートひずみ最適化技術のラムダ値、など）、ピクチャサイズ、グループ・オブ・ピクチャ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲、などが含まれ得る。コントローラ（５５０）は、特定のシステム設計のために最適化されたビデオエンコーダ（５０３）に関係する他の適切な機能を有するよう構成され得る。
【0039】
いくつかの実施形態において、ビデオエンコーダ（５０３）は、コーディングループで動作するよう構成される。過度に単純化された記載として、例において、コーディングループは、ソースコーダ（５３０）（例えば、コーディングされるべき入力ピクチャと、参照ピクチャとに基づいて、シンボルストリームなどのシンボルを生成することに関与する。）と、ビデオエンコーダ（５０３）に埋め込まれた（ローカル）デコーダ（５３３）とを含むことができる。デコーダ（５３３）は、（遠隔の）デコーダも生成することになる（シンボルとコーディングされたビデオストリームとの間の如何なる圧縮も、開示されている対象で考えられているビデオ圧縮技術において可逆である）のと同様の方法でサンプルデータを生成するようにシンボルを再構成する。その再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（５３４）へ入力される。シンボルストリームのデコーディングは、デコーダの場所（ローカル又は遠隔）に依存しないビットパーフェクト（bit-exact）な結果をもたらすので、参照ピクチャメモリ（５３４）内のコンテンツも、ローカルのエンコーダと遠隔のエンコーダとの間でビットパーフェクトである。すなわち、エンコーダの予測部分は、デコーダがデコーディング中に予測を使用するときに“見る”ことになるのとまさに同じサンプル値を参照ピクチャサンプルとして“見る”。参照ピクチャのシンクロニシティ（及び、例えば、チャネルエラーのために、シンクロニシティが維持され得ない場合に、結果として生じるドリフト）のこの基本原理は、いくつかの関連技術でも使用されている。
【0040】
“ローカル”のデコーダ（５３３）の動作は、図４とともに先に詳細に既に説明されている、ビデオデコーダ（４１０）などの“遠隔”のデコーダと同じであることができる。一時的に図４も参照すると、しかしながら、シンボルが利用可能であり、エントロピコーダ（５４５）及びパーサ（４２０）によるコーディングされたビデオシーケンスへのシンボルのエンコーディング／デコーディングが可逆であることができるので、バッファメモリ（４１５）及びパーサ（４２０）を含むビデオデコーダ（４１０）のエントロピデコーディング部分は、ローカルのデコーダ（５３３）において完全には実施されなくてよい。
【0041】
この時点で行われ得る観察は、デコーダに存在するパーシング／エントロピデコーディングを除く如何なるデコーダ技術も、対応するエンコーダにおいて、実質的に同じ機能形態で、必ずしも存在する必要がないことである。この理由により、開示されている対象は、デコーダの動作に焦点を当てる。エンコーダ技術の説明は、それらが、包括的に記載されるデコーダ技術の逆であるということで、省略され得る。特定の範囲においてのみ、より詳細な説明が必要とされ、以下で与えられている。
【0042】
動作中、ソースコーダ（５３０）は、動き補償された予測コーディングを実行してよい。これは、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の前にコーディングされたピクチャを参照して予測的に入力ピクチャをコーディングする。このようにして、コーディングエンジン（５３２）は、入力ピクチャに対する予測参照として選択され得る参照ピクチャのピクセルブロックと入力ピクチャのピクセルブロックとの間の差をコーディングする。
【0043】
ローカルのビデオデコーダ（５３３）は、ソースコーダ（５３０）によって生成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータをデコーディングしてよい。コーディングエンジン（５３２）の動作は、有利なことに、不可逆プロセスであってよい。コーディングされたビデオデータがビデオデコーダ（図５には図示せず。）でデコーディングされ得るとき、再構成されたビデオシーケンスは、通常は、いくらかのエラーを伴ったソースビデオシーケンスの複製であり得る。ローカルのビデオデコーダ（５３３）は、参照ピクチャに対してビデオデコーダによって実行され得るデコーディングプロセスを再現し、再構成された参照ピクチャを参照ピクチャキャッシュ（５３４）に格納されるようにしてよい。このように、ビデオエンコーダ（５０３）は、（伝送エラーなしで）遠端のビデオデコーダによって取得されることになる再構成された参照ピクチャと共通の内容を有している再構成された参照ピクチャのコピーをローカルで記憶し得る。
【0044】
予測器（５３５）は、コーディングエンジン（５３２）の予測探索を実行してよい。すなわち、新しいピクチャがコーディングされるために、予測器（５３５）は、その新しいピクチャのための適切な予測基準となり得る参照ピクチャ動きベクトル、ブロック形状、などの特定のメタデータ又は（候補参照ピクセルブロックとしての）サンプルデータを参照ピクチャメモリ（５３４）から探してよい。予測器（５３５）は、適切な予測基準を見つけるためにサンプルブロック・バイ・ピクセルブロックベース（sample block-by-pixel block basis）で動作してよい。いくつかの場合に、予測器（５３５）によって取得された探索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（５３４）に記憶されている複数の参照ピクチャから引き出された予測基準を有してよい。
【0045】
コントローラ（５５０）は、例えば、ビデオデータをエンコーディングするために使用されるパラメータ及びサブグループパラメータの設定を含め、ビデオコーダ（５３０）のコーディング動作を管理してよい。
【0046】
上記の全ての機能ユニットの出力は、エントロピコーダ（５４５）においてエントロピコーディングを受けてよい。エントロピコーダ（５４５）は、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルを可逆圧縮することによって、様々な機能ユニットによって生成されたシンボルを、コーディングされたビデオシーケンスへと変換する。
【0047】
送信器（５４０）は、エントロピコーダ（５４５）によって生成されたコーディングされたビデオシーケンスを、通信チャネル（５６０）を介した伝送のために準備するようにバッファリングしてよい。通信チャネル（５６０）は、エンコーディングされたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。送信器（５４０）は、ビデオコーダ（５０３）からのコーディングされたビデオデータを、送信されるべき他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助的なデータストリーム（ソースは図示せず）とマージしてもよい。
【0048】
コントローラ（５５０）は、ビデオエンコーダ（５０３）の動作を管理してよい。コーディング中、コントローラ（５５０）は、各々のピクチャに適用され得るコーディング技術に影響を及ぼす可能性がある特定のコーディングされたピクチャタイプを夫々のコーディングされたピクチャに割り当ててよい。例えば、ピクチャはしばしば、次のピクチャタイプのうちの１つとして割り当てられてよい。
【0049】
イントラピクチャ（Intra Picture）（Ｉピクチャ）は、予測のソースとしてシーケンス内の如何なる他のピクチャも使用せずにコーディング及びデコーディングされ得るピクチャであってよい。いくつかのビデオコーデックは、例えば、独立したデコーダリフレッシュ（Independent Decoder Refresh，ＩＤＲ）ピクチャを含む種々のタイプのイントラピクチャを許容する。当業者であれば、Ｉピクチャのそのような変形並びにそれらの各々の応用及び特徴に気づく。
【0050】
予測ピクチャ（Predictive Picture）（Ｐピクチャ）は、各ブロックのサンプル値を予測するために多くても１つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測によりコーディング及びデコーディングされ得るピクチャであってよい。
【0051】
双方向予測ピクチャ（Bi-directionally Predictive Picture）（Ｂピクチャ）は、各ブロックのサンプル値を予測するために多くても２つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測によりコーディング及びデコーディングされ得るピクチャであってよい。同様に、多重予測ピクチャ（multiple-predictive picture(s)）は、単一のブロックの再構成のために２つよりも多い参照ピクチャ及び関連するメタデータを使用することができる。
【0052】
ソースピクチャは、一般に、複数のサンプルブロック（例えば、夫々、４×４、８×８、４×８、又は１６×１６のサンプルのブロック）に空間的に細分され、ブロックごとにコーディングされてよい。ブロックは、ブロックの各々のピクチャに適用されているコーディング割り当てによって決定される他の（既にコーディングされた）ブロックを参照して予測的にコーディングされてよい。例えば、Ｉピクチャのブロックは、非予測的にコーディングされてよく、あるいは、それらは、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、１つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされてよい。Ｂピクチャのブロックは、１つ又は２つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされてよい。
【0053】
ビデオエンコーダ（５０３）は、ＩＴＵ－Ｔ推奨Ｈ．２６５のような所定のビデオコーディング技術又は規格に従ってコーディング動作を実行してよい。その動作中に、ビデオエンコーダ（５０３）は、入力ビデオシーケンスにおける時間及び空間冗長性を利用する予測コーディング動作を含む様々な圧縮動作を実行してよい。従って、コーディングされたビデオデータは、使用されているビデオコーディング技術又は規格によって定められているシンタックスに従い得る。
【0054】
実施形態において、送信器（５４０）は、エンコーディングされたビデオとともに追加のデータを送信してもよい。ソースコーダ（５３０）は、コーディングされたビデオシーケンスの部分としてそのようなデータを含めてよい。追加のデータは、時間／空間／ＳＮＲエンハンスメントレイヤ、冗長ピクチャ及びスライスなどの他の形式の冗長データ、ＳＥＩメッセージ又はＶＵＩパラメータセットフラグメント、などを有してよい。
【0055】
ビデオは、時間シーケンスにおいて複数のソースピクチャ（ビデオピクチャ）として捕捉されてよい。イントラピクチャ予測（しばしばイントラ予測と省略される。）は、所与のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間又は他の）相関を利用する。例において、現在のピクチャと呼ばれる、エンコーディング／デコーディング中の特定のピクチャは、ブロックに分割される。現在のピクチャ内のあるブロックが、ビデオ内の前にコーディングされた依然としてバッファリングされている参照ピクチャ内の参照ブロックと類似している場合に、現在にピクチャ内のそのブロックは、動きベクトルと呼ばれるベクトルによってコーディングされ得る。動きベクトルは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されている場合には、参照ピクチャを識別する第３の次元を有することができる。
【0056】
いくつかの実施形態において、双予測技術がインターピクチャ予測において使用され得る。双予測技術に従って、２つの参照ピクチャ、例えば、ビデオ内で現在のピクチャに対してデコーディング順序において両方とも先行する（しかし、表示順序では、夫々、過去及び将来にあってよい。）第１参照ピクチャ及び第２参照ピクチャが、使用される。現在のピクチャ内のあるブロックは、第１参照ピクチャ内の第１参照ブロックを指し示す第１動きベクトルと、第２参照ピクチャ内の第２参照ブロックを指し示す第２動きベクトルとによって、コーディングされ得る。そのブロックは、第１参照ブロック及び第２参照ブロックの組み合わせによって予測可能である。
【0057】
更に、マージモード技術が、コーディング効率を改善するためにインターピクチャ予測において使用され得る。
【0058】
本開示のいくつかの実施形態に従って、インターピクチャ予測及びイントラピクチャ予測などの予測は、ブロックのユニットにおいて実行される。例えば、ＨＥＶＣ規格に従って、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（ＣＴＵ）に分割され、ピクチャ内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルといった同じサイズを有する。一般に、ＣＴＵは、１つのルーマＣＴＢ及び２つのクロマＣＴＢである３つのコーディングツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、１つ又は複数のコーディングユニット（ＣＵ）に再帰的に四分木分割され得る。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１つのＣＵ、又は３２×３２ピクセルの４つのＣＵ、又は１６×１６ピクセルの１６個のＣＵに分割可能である。例において、各ＣＵは、インター予測タイプ又はイントラ予測タイプなどのＣＵのための予測タイプを決定するよう解析される。ＣＵは、時間及び／又は空間予測可能性に応じて１つ以上の予測ユニット（ＰＵ）に分割される。一般に、各ＰＵは、１つのルーマ予測ブロック（ＰＢ）及び２つのクロマＰＢを含む。実施形態において、コーディング（エンコーディング／デコーディング）における予測動作は、予測ブロックの単位で実行される。予測ブロックの例としてルーマ予測ブロックを使用すると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセルなどのような、ピクセルの値（例えば、ルーマ値）の行列を含む。
【0059】
図６は、本開示の他の実施形態に従うビデオエンコーダ（６０３）の図を示す。ビデオエンコーダ（６０３）は、ビデオピクチャの連続に含まれる現在のビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受け取り、コーディングされたビデオシーケンスの部分であるコーディングされたピクチャへと処理ブロックをエンコーディングするよう構成されてよい。例において、ビデオエンコーダ（６０３）は、図３の例におけるビデオエンコーダ（３０３）の代わりに使用される。
【0060】
ＨＥＶＣの例では、ビデオエンコーダ（６０３）は、８×８サンプルの予測ブロックなどのような処理ブロックのサンプル値の行列を受け取る。ビデオエンコーダ（６０３）は、例えば、レートひずみ最適化を用いて、処理ブロックがイントラモード、インターモード、又は双予測モードにより最も良くコーディングされるかどうかを決定する。処理ブロックがイントラモードでコーディングされるべきである場合に、ビデオエンコーダ（６０３）は、コーディングされたピクチャへと処理ブロックをエンコーディングするようイントラ予測技術を使用してよく、処理ブロックがインターモード又は双予測モードでコーディングされるべきである場合に、ビデオエンコーダ（６０３）は、コーディングされたピクチャへと処理ブロックをエンコーディングするようインター予測又は双予測技術を夫々使用してよい。特定のビデオコーディング技術において、マージモードは、予測子の外にあるコーディングされた動きベクトル成分の恩恵を受けずに１つ以上の動きベクトル予測子から動きベクトルが導出されるインターピクチャ予測サブモードであることができる。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在することがある。例において、ビデオエンコーダ（６０３）は、処理ブロックのモードを決定するモード決定モジュール（図示せず。）などの他のコンポーネントを含む。
【0061】
図６の例では、ビデオエンコーダ（６０３）は、図６に示されるように結合されているインターエンコーダ（６３０）、イントラエンコーダ（６２２）、残差計算部（６２３）、スイッチ（６２６）、残差エンコーダ（６２４）、汎用コントローラ（６２１）、及びエントロピエンコーダ（６２５）を含む。
【0062】
インターエンコーダ（６３０）は、現在のブロック（例えば、処理ブロック）のサンプルを受け取り、そのブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、前のピクチャ及び後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターエンコーディング技術に従う残差情報の記述、動きベクトル、マージモード情報）を生成し、何らかの適切な技術を用いてインター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するよう構成される。いくつかの例において、参照ピクチャは、エンコーディングされたビデオ情報に基づいてデコーディングされているデコーディングされた参照ピクチャである。
【0063】
イントラエンコーダ（６２２）は、現在のブロック（例えば、処理ブロック）のサンプルを受け取り、いくつかの場合には、同じピクチャ内で既にコーディングされたブロックとそのブロックを比較し、変換後の量子化された係数を、更には、いくつかの場合には、イントラ予測情報（例えば、１つ以上のイントラエンコーディング技術に従うイントラ予測方向情報）を生成するよう構成される。例において、イントラエンコーダ（６２２）はまた、イントラ予測情報及び同じピクチャ内の参照ブロックに基づいてイントラ予測結果（例えば、予測ブロック）を計算する。
【0064】
汎用コントローラ（６２１）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（６０３）の他のコンポーネントを制御するよう構成される。例において、汎用コントローラ（６２１）は、ブロックのモードを決定し、モードに基づいて制御信号をスイッチ（６２６）へ供給する。例えば、モードがイントラモードである場合に、汎用コントローラ（６２１）は、残差計算部（６２３）による使用のためにイントラモード結果を選択するようスイッチ（６２６）を制御し、そして、イントラ予測情報を選択し、イントラ予測情報をビットストリームに含めるようエントロピエンコーダ（６２５）を制御する。モードがインターモードである場合に、汎用コントローラ（６２１）は、残差計算部（６２３）による使用のためにインター予測結果を選択するようスイッチ（６２６）を制御し、そして、インター予測情報を選択し、インター予測情報をビットストリームに含めるようエントロピエンコーダ（６２５）を制御する。
【0065】
残差計算部（６２３）は、受け取られたブロックと、イントラエンコーダ（６２２）又はインターエンコーダ（６３０）から選択された予測結果との間の差（残差データ）を計算するよう構成される。残差エンコーダ（６２４）は、変換係数を生成するよう残差データをエンコーディングするように残差データに基づいて動作するよう構成される。例において、残差エンコーダ（６２４）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するよう構成される。次いで、変換係数は、量子化された変換係数を取得するよう量子化処理を受ける。様々な実施形態において、ビデオエンコーダ（６０３）はまた、残差デコーダ（６２８）も含む。残差デコーダ（６２８）は、逆変換を実行し、デコーディングされた残差データを生成するよう構成される。デコーディングされた残差データは、イントラエンコーダ（６２２）及びインターエンコーダ（６３０）によって適切に使用され得る。例えば、インターエンコーダ（６３０）は、デコーディングされた残差データ及びインター予測情報に基づいて、デコーディングされたブロックを生成することができ、イントラエンコーダ（６２２）は、デコーディングされた残差データ及びイントラ予測情報に基づいて、デコーディングされたブロックを生成することができる。デコーディングされたブロックは、デコーディングされたピクチャを生成するよう適切に処理され、デコーディングされたピクチャは、メモリ回路（図示せず。）にバッファリングされ、いくつかの例では参照ピクチャとして使用され得る。
【0066】
エントロピエンコーダ（６２５）は、エンコーディングされたブロックを含めるようにビットストリームをフォーマット化するよう構成される。エントロピエンコーダ（６２５）は、ＨＥＶＣ規格などの適切な規格に従って様々な情報を含めるよう構成される。例において、エントロピエンコーダ（６２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及び他の適切な情報をビットストリームに含めるよう構成される。開示されている対象に従って、インターモード又は双予測モードのどちらか一方のマージサブモードでブロックをコーディングする場合に、残差情報はない点に留意されたい。
【0067】
図７は、本開示の他の実施形態に従うビデオデコーダ（７１０）の図を示す。ビデオデコーダ（７１０）は、コーディングされたビデオシーケンスの部分であるコーディングされたピクチャを受け取り、コーディングされたピクチャをデコーディングして、再構成されたピクチャを生成するよう構成される。例において、ビデオデコーダ（７１０）は、図３の例におけるビデオデコーダ（３１０）の代わりに使用される。
【0068】
図７の例では、ビデオデコーダ（７１０）は、図７に示されるように結合されているエントロピデコーダ（７７１）、インターデコーダ（７８０）、残差デコーダ（７７３）、再構成モジュール（７７４）、及びイントラデコーダ（７７２）を含む。
【0069】
エントロピデコーダ（７７１）は、コーディングされたピクチャから、コーディングされたピクチャが構成されるシンタックス要素を表す特定のシンボルを再構成するよう構成され得る。そのようなシンボルは、例えば、ブロックがコーディングされるモード（例えば、イントラモード、又はマージサブモード若しくは他のサブモードにおけるインターモード若しくは双予測モード）、イントラデコーダ（７７２）又はインターデコーダ（７８０）による予測のために夫々使用される特定のサンプル又はメタデータを識別することができる予測情報（例えば、イントラ予測情報又はインター予測情報）、例えば、量子化された変換係数の形をとる残差情報、などを含むことができる。例において、予測モードがインター又は双予測モードである場合に、インター予測情報がインターデコーダ（７８０）へ供給され、予測タイプがイントラ予測タイプである場合に、イントラ予測情報がイントラデコーダ（７７２）へ供給される。残差情報は、逆量子化を受けることができ、残差デコーダ（７７３）へ供給される。
【0070】
インターデコーダ（７８０）は、インター予測情報を受け取り、インター予測情報に基づいてインター予測結果を生成するよう構成される。
【0071】
イントラデコーダ（７７２）は、イントラ予測情報を受け取り、イントラ予測情報に基づいて予測結果を生成するよう構成される。
【0072】
残差デコーダ（７７３）は、逆量子化された変換係数を取り出すように逆量子化を実行し、逆量子化された変換係数を処理して、残差を周波数領域から空間領域に変換するよう構成される。残差デコーダ（７７３）はまた、（量子化パラメータ（ＱＰ）を含めるための）特定の制御情報を要求してもよく、その情報は、エントロピデコーダ（７７１）によって供給されてよい（これは低容量の制御情報のみであるため、データパスは示されない。）。
【0073】
再構成モジュール（７７４）は、残差デコーダ（７７３）によって出力された残差と、（場合によっては、インター又はイントラ予測モジュールによって出力された）予測結果とを空間領域において組み合わせて、再構成されたブロックを形成するよう構成される。再構成されたブロックは、再構成されたピクチャの部分であってよく、次いで、再構成されたピクチャは、再構成されたビデオの部分であってよい。デブロッキング動作などのような他の適切な動作が、視覚品質を改善するために実行され得ることが知られる。
【0074】
ビデオエンコーダ（３０３）、（５０３）及び（６０３）並びにビデオデコーダ（３１０）、（４１０）及び（７１０）は、如何なる適切な技術によっても実装可能であることが知られる。実施形態において、ビデオエンコーダ（３０３）、（５０３）及び（６０３）並びにビデオデコーダ（３１０）、（４１０）及び（７１０）は、１つ以上の集積回路を用いて実装可能である。他の実施形態では、ビデオエンコーダ（３０３）、（５０３）及び（６０３）並びにビデオデコーダ（３１０）、（４１０）及び（７１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実装可能である。
【0075】
［ＩＩ．インター予測コーディング技術］
［１ マージモード］
様々な実施形態において、ピクチャは、例えば、木構造に基づく分割スキームを用いて、ブロックに分割され得る。結果として得られるブロックは、イントラ予測モード、インター予測モード（例えば、マージモード、スキップモード、アドバンスド動きベクトル予測（Advanced Motion Vector Prediction，ＡＶＭＰ）モード）などのような種々の処理モードにより処理され得る。現在のブロックと呼ばれる、現在処理中のブロックがマージモードにより処理される場合に、隣接ブロックは、現在のブロックの空間的又は時間的隣接物から選択され得る。現在のブロックは、選択された隣接ブロックからの動きデータ（又は動き情報と呼ばれる。）の同じ組を共有することによって、選択された隣接ブロックとマージされ得る。このマージモード動作は、隣接ブロックの領域が一緒にマージされ、動きデータの同じ組を共有することができるように、隣接ブロックのグループにわたって実行され得る。エンコーダからデコーダへの伝送中に、選択された隣接ブロックの動きデータを示すインデックスが、動きデータの組全体の伝送の代わりに、現在のブロックについて伝送され得る。このようにして、動き情報の伝送に使用されるデータ（ビット）の量は低減可能であり、コーディング効率は改善され得る。
［１ マージモード］
様々な実施形態において、ピクチャは、例えば、木構造に基づく分割スキームを用いて、ブロックに分割され得る。結果として得られるブロックは、イントラ予測モード、インター予測モード（例えば、マージモード、スキップモード、アドバンスド動きベクトル予測（Advanced Motion Vector Prediction，ＡＶＭＰ）モード）などのような種々の処理モードにより処理され得る。現在のブロックと呼ばれる、現在処理中のブロックがマージモードにより処理される場合に、隣接ブロックは、現在のブロックの空間的又は時間的隣接物から選択され得る。現在のブロックは、選択された隣接ブロックからの動きデータ（又は動き情報と呼ばれる。）の同じ組を共有することによって、選択された隣接ブロックとマージされ得る。このマージモード動作は、隣接ブロックの領域が一緒にマージされ、動きデータの同じ組を共有することができるように、隣接ブロックのグループにわたって実行され得る。エンコーダからデコーダへの伝送中に、選択された隣接ブロックの動きデータを示すインデックスが、動きデータの組全体の伝送の代わりに、現在のブロックについて伝送され得る。このようにして、動き情報の伝送に使用されるデータ（ビット）の量は低減可能であり、コーディング効率は改善され得る。
【0076】
上記の例では、動きデータを供給する隣接ブロックは、候補位置の組から選択され得る。候補位置は、現在のブロックに関して予め定義され得る。例えば、候補位置は、空間候補位置及び時間候補位置を含むことができる。各空間候補位置は、現在のブロックに隣接する空間隣接ブロックと関連付けられる。各時間候補位置は、他のコーディングされたピクチャ（例えば、前にコーディングされたピクチャ）に位置している時間隣接ブロックと関連付けられる。候補位置に重なる隣接ブロック（候補ブロックと呼ばれる。）は、現在のブロックの全ての空間又は時間隣接ブロックのサブセットである。このようにして、候補ブロックは、隣接ブロックの組全体ではなく、マージされるべきブロックの選択のために評価され得る。
【0077】
図８は、候補位置の例を示す。それらの候補位置から、マージ候補の組は、マージ候補リストを構成するよう選択され得る。図示されるように、現在のブロック（８１０）は、マージモードにより処理されるべきである。候補位置｛Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２，Ｃ０，Ｃ１｝の組は、マージモード処理のために定義される。具体的には、候補位置｛Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２｝は、現在のブロック（８１０）と同じピクチャ内にある候補ブロックの位置を表す空間候補位置である。対照的に、候補位置｛Ｃ０，Ｃ１｝は、他のコーディングされたピクチャ内にあり、現在のブロック（８１０）の同一位置のブロックに隣接するか又は重なる候補ブロックの位置を表す時間候補位置である。図示されるように、候補位置Ｃ１は、現在のブロック（８１０）の中心の近く（例えば、それに隣接して）位置することができる。
【0078】
候補位置は、異なる例では、サンプルのブロック又はサンプルによって表され得る。図８では、各候補位置は、例えば、４×４サンプルのサイズを有しているサンプルのブロックによって表される。候補位置に対応するサンプルのそのようなブロックのサイズは、現在のブロック（８１０）を生成するために使用されるツリーベースの分割スキームに対して定義されたＰＢの最小許容サイズ（例えば、４×４サンプル）以下であることができる。そのような構成の下で、候補位置に対応するブロックは、常に、単一隣接ＰＢ内でカバーされ得る。代替の例では、サンプル位置（例えば、ブロックＡ１内の右下サンプル、又はブロックＡ０内の右上サンプル）が候補位置を表すために使用されてもよい。そのようなサンプルは、代表サンプルと呼ばれ、一方、そのような位置は、代表位置と呼ばれる。
【0079】
一例では、図８で定義されている候補位置｛Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２，Ｃ０，Ｃ１｝に基づいて、マージモードプロセスは、候補リストを構成するように候補位置｛Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２，Ｃ０，Ｃ１｝からマージ候補選択するよう実行され得る。候補リストは、Ｃｍと表される予め定義された最大数のマージ候補を有することができる。候補リスト内の各マージ候補は、動き補償された予測のために使用可能である動きデータの組を含むことができる。
【0080】
マージ候補は、特定の順序に従って候補リストにおいてリストアップされ得る。例えば、どのようにマージ候補が導出されるかに応じて、異なるマージ候補は、選択される確率が異なることがある。選択される確率が高いマージ候補は、選択される確率が低いマージ候補の前に位置付けられる。そのような順序に基づいて、各マージ候補は、インデックス（マージインデックスと呼ばれる。）と関連付けられる。一実施形態において、選択される確率が高いマージ候補は、各々のインデックスをコーディングするために必要とされるビットがより少ないように、より小さいインデックス値を有することになる。
【0081】
一例において、マージ候補の動きデータは、１つ又は２つの動きベクトル水平及び垂直動きベクトル変位値と、１つ又は２つの動きベクトルと関連付けられた１つ又は２つの参照ピクチャインデックスと、任意に、参照ピクチャインデックスと関連付けられる参照ピクチャの識別とを含むことができる。
【0082】
例において、予め定義された順序に従って、マージ候補の第１の数Ｃａが、順序｛Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２｝に従って空間候補位置から導出され、マージ候補の第２の数Ｃｂ＝Ｃｍ－Ｃａが、順序｛Ｃ０，Ｃ１｝に従って時間候補位置から導出される。候補位置を表すための数字Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２，Ｃ０，Ｃ１も、マージ候補を参照するために使用可能である。例えば、候補位置Ａ１から取得されるマージ候補は、マージ候補Ａ１と呼ばれる。
【0083】
いくつかのシナリオで、候補位置にあるマージ候補は利用不可能である場合がある。例えば、候補位置にある候補ブロックは、イントラ予測されるか、現在のブロック（８１０）を含むスライス又はタイルの外にあるか、あるいは、同じコーディングツリーブロック（ＣＴＢ）内にない可能性がある。いくつかのシナリオで、候補位置にあるマージ候補は、冗長である場合がある。例えば、現在のブロック（８１０）の１つの隣接ブロックは、２つの候補位置に重なる可能性がある。冗長マージ候補は、（例えば、プルーニングプロセスを実行することによって）候補リストから除かれ得る。候補リスト内の（冗長候補が除かれている）利用可能マージ候補の総数がマージ候補の最大数Ｃｍよりも少ない場合に、候補リストが固定長を有するよう維持され得るように候補リストを満たすよう、追加のマージ候補が（予め設定された規則に従って）生成され得る。例えば、追加のマージ候補は、双予測候補及びゼロ動きベクトル候補の組み合わせを含むことができる。
【0084】
候補リストが構成された後、エンコーダでは、評価プロセスが、候補リストからマージ候補を選択するよう実行され得る。例えば、各マージ候補に対応するレートひずみ（ＲＤ）性能が計算され得、最良のＲＦ性能を有する１つが選択され得る。従って、選択されたマージ候補と関連付けられたマージインデックスが、現在のブロック（８１０）に対して決定され、デコーダへ通知され得る。
【0085】
デコーダでは、現在のブロック（８１０）のマージインデックスが受け取られ得る。上述されたのと類似した候補リスト構成プロセスが、エンコーダ側で生成された候補リストと同じである候補リストを生成するよう実行され得る。候補リストが構成された後、マージ候補は、いくつかの例ではこれ以上の評価を実行せずに、受け取られたマージインデックスに基づいて候補リストから選択され得る。選択されたマージ候補の動きデータは、現在のブロック（８１０）のその後の動き補償された予測のために使用され得る。
【0086】
スキップモードもいくつかの例では導入される。例えば、スキップモードにおいて、現在のブロックは、動きデータの組を設定するよう上記のマージモードを用いて予測され得るが、残差は生成されず、変換係数は伝送されない。スキップフラグが現在のブロックと関連付けられ得る。スキップフラグと、現在のブロックの関連する動き情報を示すマージインデックスとは、ビデオデコーダへ通知され得る。例えば、インターピクチャ予測スライス内のＣＵの初めに、スキップフラグは通知され得、次の：ＣＵが１つのＰＵ（２Ｎ×２Ｎ）しか含まないこと、マージモードが動きデータを導出するために使用されること、及び残差データがビットストリームに存在しないこと、を暗示する。デコーダ側では、スキップフラグに基づいて、予測ブロックが、残差情報を加えずに、各々の現在のブロックをデコーディングするためのマージインデックスに基づいて決定され得る。よって、本明細書で開示されるマージモードによるビデオコーディングのための様々な方法は、スキップモードと組み合わせて利用可能である。
【0087】
一例として、実施形態において、マージフラグ又はスキップフラグがビットストリームにおいて真として通知される場合に、次いで、マージインデックスは、マージ候補リスト内のどの候補が現在のブロックの動きベクトルを供給するために使用されることになるかを示すために通知される。最大４つまでの空間的に隣接する動きベクトルと、最大１つの時間的に隣接する動きベクトルとが、マージ候補リストに加えられ得る。シンタックスＭａｘＭａｒｇｅＣａｎｄｓＮｕｍがマージ候補リストのサイズとして定義される。シンタックスＭａｘＭａｒｇｅＣａｎｄｓＮｕｍは、ビットストリームで通知され得る。
【0088】
［２ 拡張マージ予測モード］
いくつかの実施形態において、上記のマージ候補リストは拡張され、拡張マージ候補リストがマージモードにおいて使用される。例えば、拡張マージ候補リストは、リスト上のマージ候補の最大許容サイズに従って順次に次の５種類のマージ候補を含めることによって、構成され得る：
１）空間隣接コーディングブロック（ＣＵ）からの空間動きベクトル予測子（ＭＶＰ）、
２）同一位置のＣＵからの時間ＭＶＰ、
３）履歴バッファからの履歴ベースのＭＶＰ、
４）ペアワイズ平均ＭＶＰ、及び
５）ゼロＭＶ。
「コーディングユニット」という用語は、予測ブロック、又はピクチャから分割されたコーディングブロックを指すことができる。
いくつかの実施形態において、上記のマージ候補リストは拡張され、拡張マージ候補リストがマージモードにおいて使用される。例えば、拡張マージ候補リストは、リスト上のマージ候補の最大許容サイズに従って順次に次の５種類のマージ候補を含めることによって、構成され得る：
１）空間隣接コーディングブロック（ＣＵ）からの空間動きベクトル予測子（ＭＶＰ）、
２）同一位置のＣＵからの時間ＭＶＰ、
３）履歴バッファからの履歴ベースのＭＶＰ、
４）ペアワイズ平均ＭＶＰ、及び
５）ゼロＭＶ。
「コーディングユニット」という用語は、予測ブロック、又はピクチャから分割されたコーディングブロックを指すことができる。
【0089】
様々な実施形態において、拡張マージリストのサイズは、スライスヘッダ、タイルグループヘッダ、などで通知され得る。例において、拡張マージリストの最大許容サイズは６である。いくつかの実施形態において、マージモードでコーディングされたＣＵについては、最良のマージ候補のインデックスは、トランケーテッド・ユーナリー・バイナライゼーション（Truncated Unary binarization，ＴＵ）を用いてエンコーディングされる。マージインデックスの最初のビンは、コンテキストによりコーディングされ得、他のビンは、バイパスコーディングによりコーディングされ得る。
【0090】
拡張マージ候補リスト上の種々のタイプのマージ候補の生成プロセスについては、以下で説明される。
【0091】
［２．１ 空間候補導出］
実施形態において、拡張マージリスト内の空間マージ候補の導出は、セクションＩＩの「１ マージモード」で説明された空間マージ候補のそれと類似している。図９は、実施形態に従って、現在のブロック（９１０）の空間マージ候補位置を示す。最高４つのマージ候補が、図９に示される候補位置の中から選択され導出され得る。導出の順序は、一例において、Ａ１，Ｂ１，Ｂ０，Ａ０，及びＢ２であることができる。例において、位置Ｂ２は、位置Ａ１，Ｂ１，Ｂ０，Ａ０のいずれのＣＵも（例えば、それ型のスライス又はタイルに属するために）利用可能でないか、あるいは、イントラコーディングされる場合にのみ考慮される。
実施形態において、拡張マージリスト内の空間マージ候補の導出は、セクションＩＩの「１ マージモード」で説明された空間マージ候補のそれと類似している。図９は、実施形態に従って、現在のブロック（９１０）の空間マージ候補位置を示す。最高４つのマージ候補が、図９に示される候補位置の中から選択され導出され得る。導出の順序は、一例において、Ａ１，Ｂ１，Ｂ０，Ａ０，及びＢ２であることができる。例において、位置Ｂ２は、位置Ａ１，Ｂ１，Ｂ０，Ａ０のいずれのＣＵも（例えば、それ型のスライス又はタイルに属するために）利用可能でないか、あるいは、イントラコーディングされる場合にのみ考慮される。
【0092】
位置Ａ１にある候補が拡張候補リストに加えられた後、残りの候補の追加は冗長性検査を受けることができる。冗長性検査によって、同じ動き情報を有するマージ候補は、拡張マージリストから除外され、それにより、コーディング効率は改善され得る。計算複雑性を低減するために、例において、全ての起こり得る候補対が冗長性検査において考慮されるわけではない。代わりに、図１０において矢印により結ばれた対の組のみが考慮される。候補は、図１０に示されている対照物がマージリスト内にあり、いくつかの例では、加えられるべき候補と同じ又は類似した動き情報を有する場合には、マージリストに加えられない。
【0093】
［２．２ 時間候補導出］
実施形態において、ただ１つの時間候補が拡張マージリストに加えられる。図１１は、実施形態に従って、現在のピクチャ（１１０１）内の現在のブロック（１１１１）の時間マージ候補（１１３１）を導出する例を示す。時間マージ候補（１１３１）は、ピクチャ（１１０２）（同一位置の（co-located）ピクチャと呼ばれる。）内の現在のブロック（１１１１）の同一位置のブロック（１１１２）の動きベクトル（１１３２）を調整することによって導出される。例において、同一位置のピクチャの参照ピクチャインデックスは、例えば、スライスヘッダにおいて、明示的に通知される。例において、時間マージ候補（１１３１）の参照ピクチャインデックスは０にセットされる。実施形態において、調整動作は、ピクチャ・オーダー・カウント（Picture Order Count，ＰＯＣ）Ｔｂ（１１４１）及びＴｄ（１１４２）の距離に基づく。例えば、Ｔｂ（１１４１）は、現在のブロック（１１１１）の参照ピクチャ（１１０３）と現在のピクチャ（１１０１）との間のＰＯＣ距離であるよう定義され、一方、Ｔｄ（１１４２）は、同一位置のブロック（１１１２）の参照ピクチャ（１１０４）と同一位置のピクチャ（１１０２）との間のＰＯＣ距離であるよう定義される。
実施形態において、ただ１つの時間候補が拡張マージリストに加えられる。図１１は、実施形態に従って、現在のピクチャ（１１０１）内の現在のブロック（１１１１）の時間マージ候補（１１３１）を導出する例を示す。時間マージ候補（１１３１）は、ピクチャ（１１０２）（同一位置の（co-located）ピクチャと呼ばれる。）内の現在のブロック（１１１１）の同一位置のブロック（１１１２）の動きベクトル（１１３２）を調整することによって導出される。例において、同一位置のピクチャの参照ピクチャインデックスは、例えば、スライスヘッダにおいて、明示的に通知される。例において、時間マージ候補（１１３１）の参照ピクチャインデックスは０にセットされる。実施形態において、調整動作は、ピクチャ・オーダー・カウント（Picture Order Count，ＰＯＣ）Ｔｂ（１１４１）及びＴｄ（１１４２）の距離に基づく。例えば、Ｔｂ（１１４１）は、現在のブロック（１１１１）の参照ピクチャ（１１０３）と現在のピクチャ（１１０１）との間のＰＯＣ距離であるよう定義され、一方、Ｔｄ（１１４２）は、同一位置のブロック（１１１２）の参照ピクチャ（１１０４）と同一位置のピクチャ（１１０２）との間のＰＯＣ距離であるよう定義される。
【0094】
図１２は、実施形態に従って、現在のブロック１２１０の時間マージ候補が選択され得る候補位置Ｃ１及びＣ０を示す。実施形態において、位置Ｃ０は、時間マージ候補を導出するよう最初にチェックされる。位置Ｃ０にあるマージ候補が利用可能でない場合に、例えば、Ｃ０にある隣接ブロックが利用可能でないか、あるいは、ＣＴＵの現在の行の外にあるとき、位置Ｃ１は使用される。
【0095】
［２．３ 履歴ベースのマージ候補導出］
いくつかの実施形態において、履歴ベースの動きベクトル予測（History-based Motion Vector Prediction，ＨＭＶＰ）マージ候補リストは、空間及び時間候補動きベクトル予測子（ＭＶＰ）の後に現在のＣＵの拡張マージリストに加えられる。ＨＭＶＰでは、前にコーディングされたブロックの動き情報がテーブル（又は履歴バッファ）に格納され、現在のＣＵのためのＭＶＰ候補として使用され得る。そのような動き情報は、ＨＭＶＰ候補と呼ばれる。複数のＨＭＶＰ候補を含むテーブルは、エンコーディング又はデコーディングプロセス中に維持され得る。テーブルは、一例において、新しいＣＴＵ行に直面する場合にリセット（空に）され得る。非サブブロックインターコーディングＣＵがあるときはいつでも、関連する動き情報が、実施形態において、新しいＨＭＶＰとしてテーブルの最後のエントリに加えられ得る。
いくつかの実施形態において、履歴ベースの動きベクトル予測（History-based Motion Vector Prediction，ＨＭＶＰ）マージ候補リストは、空間及び時間候補動きベクトル予測子（ＭＶＰ）の後に現在のＣＵの拡張マージリストに加えられる。ＨＭＶＰでは、前にコーディングされたブロックの動き情報がテーブル（又は履歴バッファ）に格納され、現在のＣＵのためのＭＶＰ候補として使用され得る。そのような動き情報は、ＨＭＶＰ候補と呼ばれる。複数のＨＭＶＰ候補を含むテーブルは、エンコーディング又はデコーディングプロセス中に維持され得る。テーブルは、一例において、新しいＣＴＵ行に直面する場合にリセット（空に）され得る。非サブブロックインターコーディングＣＵがあるときはいつでも、関連する動き情報が、実施形態において、新しいＨＭＶＰとしてテーブルの最後のエントリに加えられ得る。
【0096】
実施形態において、Ｓによって表される、ＨＭＶＰテーブルのサイズは、６であるようセットされる。従って、最大６個のＨＭＶＰ候補がテーブルに加えられてよい。新しい動き候補がテーブルに挿入される場合に、制約付き先入れ先出し（First-In-First-Out，ＦＩＦＯ）規則が実施形態において利用可能である。その上、冗長性検査が、テーブル内に同じＨＭＶＰがあるかどうかを見つけるために、新しいＨＭＶＰ候補を加えるときに適用可能である。見つけられる場合には、同じＨＭＶＰ候補はテーブルから除かれ、除かれたＨＭＶＰ候補の後の全てのＨＭＶＰ候補が繰り上げられる。新しいＨＭＶＰ候補は、次いで、テーブルの最後に加えられ得る。
【0097】
実施形態において、ＨＭＶＰ候補は、拡張マージ候補リスト構成プロセスにおいて使用される。テーブル内の最新のいくつかのＨＭＶＰ候補は、順番にチェックされ、実施形態において、ＴＭＶＰ候補の後の位置で拡張候補リストに挿入され得る。冗長性検査は、それらのＨＭＶＰ候補が、拡張マージリストに前に加えられた空間又は時間マージ候補と類似するか又は同じであるかどうかを決定するために適用されてよい。
【0098】
冗長性検査動作の数を減らすために、以下の単純化が実施形態において導入される：
ｉ）拡張マージリストの生成のために使用されるＨＭＶＰ候補の数が（Ｎ＜＝４）？Ｍ：（８－Ｎ）とセットされる。このとき、Ｎは、拡張マージリスト内の既存の候補の数を示し、Ｍは、履歴テーブル内の利用可能なＨＭＶＰ候補の数を示す。
ｉｉ）拡張マージリスト内の利用可能なマージ候補の総数が最大許容マージ候補数から１をマイナスしたものに達すると、ＨＭＶＰからのマージ候補リスト構成プロセスは終了する。
ｉ）拡張マージリストの生成のために使用されるＨＭＶＰ候補の数が（Ｎ＜＝４）？Ｍ：（８－Ｎ）とセットされる。このとき、Ｎは、拡張マージリスト内の既存の候補の数を示し、Ｍは、履歴テーブル内の利用可能なＨＭＶＰ候補の数を示す。
ｉｉ）拡張マージリスト内の利用可能なマージ候補の総数が最大許容マージ候補数から１をマイナスしたものに達すると、ＨＭＶＰからのマージ候補リスト構成プロセスは終了する。
【0099】
［２．４ ペアワイズ平均マージ候補導出］
いくつかの実施形態において、ペアワイズ平均候補は、現在のマージ候補リスト内の候補の予め定義された対を平均することによって生成され得る。例えば、予め定義された対は、実施形態において、｛（０，１），（０，２），（１，２），（０，３），（１，３），（２，３）｝と定義され、このとき、番号は、マージ候補リストへのマージインデックスを表す。例えば、平均された動きベクトルは、参照ピクチャリストごとに別々に計算される。両方の平均されるべき動きベクトルが１つのリスト内で利用可能である場合に、これら２つの動きベクトルは、それらが異なる参照ピクチャを指し示す場合でさえ、平均される。ただ１つの動きベクトルが利用可能である場合には、その利用可能な１つが直接に使用され得る。動きベクトルが利用可能でない場合には、各々の対は、一例において、スキップされる。
いくつかの実施形態において、ペアワイズ平均候補は、現在のマージ候補リスト内の候補の予め定義された対を平均することによって生成され得る。例えば、予め定義された対は、実施形態において、｛（０，１），（０，２），（１，２），（０，３），（１，３），（２，３）｝と定義され、このとき、番号は、マージ候補リストへのマージインデックスを表す。例えば、平均された動きベクトルは、参照ピクチャリストごとに別々に計算される。両方の平均されるべき動きベクトルが１つのリスト内で利用可能である場合に、これら２つの動きベクトルは、それらが異なる参照ピクチャを指し示す場合でさえ、平均される。ただ１つの動きベクトルが利用可能である場合には、その利用可能な１つが直接に使用され得る。動きベクトルが利用可能でない場合には、各々の対は、一例において、スキップされる。
【0100】
［２．５ ゼロ動きベクトル予測子］
いくつかの実施形態において、ペアワイズ平均候補が加えられた後に拡張マージリストがいっぱいでない場合に、最大許容マージ候補数に達するまで、ゼロＭＶＰが拡張マージリストの最後に挿入される。
いくつかの実施形態において、ペアワイズ平均候補が加えられた後に拡張マージリストがいっぱいでない場合に、最大許容マージ候補数に達するまで、ゼロＭＶＰが拡張マージリストの最後に挿入される。
【0101】
［３ 三角予測モード（ＴＰＭ）］
三角予測モード（ＴＰＭ）は、いくつかの実施形態において、インター予測のために用いられ得る。実施形態において、ＴＰＭは、サイズが８×８サンプル以上でありかつスキップ又はマージモードでコーディングされるＣＵに適用される。実施形態において、これらの条件（サイズが８×８サンプル以上かつスキップ又はマージモードでコーディング）を満足するＣＵについては、ＴＰＭが適用される会中を示すために、ＣＵレベルフラグが通知される。
三角予測モード（ＴＰＭ）は、いくつかの実施形態において、インター予測のために用いられ得る。実施形態において、ＴＰＭは、サイズが８×８サンプル以上でありかつスキップ又はマージモードでコーディングされるＣＵに適用される。実施形態において、これらの条件（サイズが８×８サンプル以上かつスキップ又はマージモードでコーディング）を満足するＣＵについては、ＴＰＭが適用される会中を示すために、ＣＵレベルフラグが通知される。
【0102】
ＴＰＭが使用される場合に、いくつかの実施形態において、ＣＵは、図１３に示される対角分割又は反対角分割のどちらか一方を用いて、２つの三角形のパーティションに等分に分割される。図１３では、第１ＣＵ（１３１０）は、左上角から右下角に向かって分割され、その結果、２つの三角予測ユニットＰＵ１及びＰＵ２が得られる。第２ＣＵ（１３２０）は、右上角から左下角に向かって分割され、その結果、２つの三角予測ユニットＰＵ１及びＰＵ２が得られる。ＣＵ（１３１０）又は（１３２０）における各三角予測ユニットＰＵ１又はＰＵ２は、それ自体の動き情報を用いてインター予測される。いくつかの実施形態において、片予測しか三角予測ユニットごとに許されない。従って、各三角予測ユニットは、１つの動きベクトル及び１つの参照ピクチャインデックスを有している。片予測動き制約は、従来の双予測方法と同様に、多くても２つの動き補償された予測がＣＵごとに実行されることを確かにするために、適用され得る。このようにして、処理複雑性は低減され得る。三角予測ユニットごとの片予測動き情報は、片予測マージ候補リストから導出され得る。いくつかの他の実施形態では、双予測が、三角予測ユニットごとに許され得る。従って、三角予測ユニットごとの双予測動き情報は、双予測マージ候補リストから導出され得る。
【0103】
いくつかの実施形態において、ＣＵレベルフラグにより、現在のＣＵがＴＰＭを用いてコーディングされることが示される場合に、三角パーティションインデックスと呼ばれるインデックスが更に通知される。例えば、三角パーティションインデックスは、［０，３９］の範囲内の値を有することができる。この三角パーティションインデックスを用いて、三角パーティションの方向（対角又は反対角）とともに、パーティションの夫々の動き情報（例えば、各々の片予測候補リストへのマージインデックス（又はＴＰＭインデックスと呼ばれる。））が、デコーダ側でルックアップテーブルにより取得され得る。取得された動き情報に基づいて三角予測ユニットの夫々を予測した後、実施形態において、現在のＣＵの対角又は反対角辺に沿ったサンプル値は、適応重みによりブレンディングプロセスを実行することによって、調整される。ブレンディングプロセスの結果として、ＣＵ全体に対する予測信号が取得され得る。その後に、変換及び量子かプロセスが、他の予測モードと同様の方法で、ＣＵ全体に適用され得る。最後に、三角パーティションモードを用いて予測されたＣＵの動き場が、例えば、ＣＵから分割された４×４ユニットの組で動き情報を保存することによって、生成され得る。動き場は、例えば、マージ候補リストを構成するためにその後の動きベクトル予測プロセスにおいて、使用可能である。
【0104】
［３．１片予測候補リスト構成］
いくつかの実施形態において、ＴＰＭにより処理されたコーディングブロックの２つの三角予測ユニットの予測のためのマージ候補リストは、コーディングブロックの空間及び時間隣接ブロックの組に基づいて構成され得る。そのようなマージ候補リストは、ＴＰＭ候補がここにリストアップされているＴＰＭ候補リストと呼ばれ得る。１つの実施形態において、マージ候補リストは片予測候補リストである。片予測候補リストは、実施形態において５つの片予測動きベクトル候補を含む。例えば、５つの片予測動きベクトル候補は、５つの空間隣接ブロック（図１４では、１から５の番号を付されている。）及び２つの時間同一位置ブロック（図１４では、６及び７の番号を付されている。）を含む７つの隣接ブロックから導出される。
いくつかの実施形態において、ＴＰＭにより処理されたコーディングブロックの２つの三角予測ユニットの予測のためのマージ候補リストは、コーディングブロックの空間及び時間隣接ブロックの組に基づいて構成され得る。そのようなマージ候補リストは、ＴＰＭ候補がここにリストアップされているＴＰＭ候補リストと呼ばれ得る。１つの実施形態において、マージ候補リストは片予測候補リストである。片予測候補リストは、実施形態において５つの片予測動きベクトル候補を含む。例えば、５つの片予測動きベクトル候補は、５つの空間隣接ブロック（図１４では、１から５の番号を付されている。）及び２つの時間同一位置ブロック（図１４では、６及び７の番号を付されている。）を含む７つの隣接ブロックから導出される。
【0105】
例において、７つの隣接ブロックの動きベクトルは集められ、次の順序に従って片予測候補リストに置かれる。最初に、片予測された隣接ブロックの動きベクトル、次いで、双予測された隣接ブロックについて、Ｌ０動きベクトル（すなわち、双予測ＭＶのＬ０動きベクトル部分）、Ｌ１動きベクトル（すなわち、双予測ＭＶのＬ１動きベクトル部分）、そして、双予測ＭＶのＬ０及びＬ１動きベクトルの平均された動きベクトル、である。例において、候補の数が５に満たない場合には、ゼロ動きベクトルがリストの最後に加えられる。いくつかの他の実施形態では、マージ候補リストは、図１４に示されるものと同じ又は異なる候補位置から選択される５つよりも少ない又は５つよりも多い片予測又は双予測マージ候補を含んでもよい。
【0106】
［３．２ ルックアップテーブル及びテーブルインデックス］
実施形態において、ＣＵは、５つのＴＰＭ候補を含むＴＰＭ（又はマージ）候補リストを用いて三角パーティションモードによりコーディングされる。従って、５つのマージ候補が各三角ＰＵに対して使用される場合にＣＵを予測する４０通りの可能な方法がある。すなわち、分割方向及びマージ（又はＴＰＭ）インデックスの４０通りの異なった組み合わせが存在し得る。すなわち、２（可能な分割方向）×（５（第１三角予測ユニットのための可能なマージインデックス）×５（第２三角予測ユニットのための可能なマージインデックス）－５（第１及び第２予測ユニットの対が同じマージインデックスを共有する場合の確率の数））である。例えば、同じマージインデックスが２つの三角予測ユニットについて決定される場合に、ＣＵは、三角予測モードの代わりに、通常のマージモードを用いて処理され得る。
実施形態において、ＣＵは、５つのＴＰＭ候補を含むＴＰＭ（又はマージ）候補リストを用いて三角パーティションモードによりコーディングされる。従って、５つのマージ候補が各三角ＰＵに対して使用される場合にＣＵを予測する４０通りの可能な方法がある。すなわち、分割方向及びマージ（又はＴＰＭ）インデックスの４０通りの異なった組み合わせが存在し得る。すなわち、２（可能な分割方向）×（５（第１三角予測ユニットのための可能なマージインデックス）×５（第２三角予測ユニットのための可能なマージインデックス）－５（第１及び第２予測ユニットの対が同じマージインデックスを共有する場合の確率の数））である。例えば、同じマージインデックスが２つの三角予測ユニットについて決定される場合に、ＣＵは、三角予測モードの代わりに、通常のマージモードを用いて処理され得る。
【0107】
従って、実施形態において、［０，３９］の範囲内の三角パーティションインデックスは、ルックアップテーブルに基づいて、４０個の組み合わせのうちのどの１つが使用されるかを表すために、使用され得る。図１５は、三角パーティションインデックスに基づいて分割方向及びマージインデックスを導出するために使用される、例となるルックアップテーブル（１５００）を示す。ルックアップテーブル（１５００）に示されるように、最初の行（１５０１）は、０から３９までの範囲に及ぶ三角パーティションインデックスを含み、２行目（１５０２）は、０又は１によって表される可能な分割方向を含み、３行目（１５０３）は、第１三角予測ユニットに対応し、０から４までの範囲に及ぶ可能な第１マージインデックスを含み、４行目（１５０４）は、第２三角予測ユニットに対応し、０から４までの範囲に及ぶ可能な第２マージインデックスを含む。
【0108】
例えば、１の値を有する三角パーティションインデックスがデコーダで受け取られる場合に、ルックアップテーブル（１５００）の列（１５２０）に基づいて、分割方向は、１の値によって表される分割方向であり、第１及び第２マージインデックスは夫々、０及び１である、と決定され得る。三角パーティションインデックスはルックアップテーブルと関連付けられるということで、三角パーティションインデックスは、本開示ではテーブルインデックスとも呼ばれる。
【0109】
［３．３ 三角パーティションエッジに沿った適応ブレンディング］
実施形態において、各々の動き情報を用いて各三角予測ユニットを予測した後、ブレンディングプロセスは、対角又は反対角辺の周りのサンプルを導出するよう２つの三角予測ユニットの２つの予測信号に適用される。ブレンディングプロセスは、２つの三角予測ユニットの間の動きベクトル差に応じて重み係数の２つのグループ間で適応的に選択される。実施形態において、２つの重み係数グループは、次の通りである：
（１）第１重み係数グループ：ルーマ成分のサンプルに対する｛７／８，６／８，４／８，２／８，１／８｝及びクロマ成分のサンプルに対する｛７／８，４／８，１／８｝、並びに
（２）第２重み係数グループ：ルーマ成分のサンプルに対する｛７／８，６／８，５／８，４／８，３／８，２／８，１／８｝及びクロマ成分のサンプルに対する｛６／８，４／８，２／８｝。
第２重み係数グループは、より多くのルーマ重み係数を有し、パーティションエッジに沿ってより多くのルーマサンプルをブレンディングする。
実施形態において、各々の動き情報を用いて各三角予測ユニットを予測した後、ブレンディングプロセスは、対角又は反対角辺の周りのサンプルを導出するよう２つの三角予測ユニットの２つの予測信号に適用される。ブレンディングプロセスは、２つの三角予測ユニットの間の動きベクトル差に応じて重み係数の２つのグループ間で適応的に選択される。実施形態において、２つの重み係数グループは、次の通りである：
（１）第１重み係数グループ：ルーマ成分のサンプルに対する｛７／８，６／８，４／８，２／８，１／８｝及びクロマ成分のサンプルに対する｛７／８，４／８，１／８｝、並びに
（２）第２重み係数グループ：ルーマ成分のサンプルに対する｛７／８，６／８，５／８，４／８，３／８，２／８，１／８｝及びクロマ成分のサンプルに対する｛６／８，４／８，２／８｝。
第２重み係数グループは、より多くのルーマ重み係数を有し、パーティションエッジに沿ってより多くのルーマサンプルをブレンディングする。
【0110】
実施形態において、次の条件が、２つの重み係数グループのうちの一方を選択するために使用される。２つの三角パーティションの参照ピクチャが互いに異なる場合に、又は２つの三角パーティション間の動きベクトル差がしきい値（例えば、１６ルーマサンプル）よりも大きい場合に、第２重み係数グループが選択される。そうでない場合には、第１重み係数グループ選択される。
【0111】
図１６は、第１重み係数グループを適用するＣＵの例を示す。図示されるように、第１コーディングブロック（１６０１）はルーマサンプルを含み、第２コーディングブロック（１６０２）はクロマサンプルを含む。コーディングブロック（１６０１）又は（１６０２）における対角辺に沿ったピクセルの組は、重み係数７／８，６／８，４／８，２／８，及び１／８に夫々対応する１，２，４，６，及び７で標識される。例えば、２の番号を付されているピクセルについては、ブレンディング動作後のピクセルのサンプル値は：
ブレンディングされたサンプル値＝２／８×Ｐ１＋６／８×Ｐ２
に従って取得され得る。ここで、Ｐ１及びＰ２は、各々のピクセルでのサンプル値であるが、第１三角予測ユニット及び第２三角予測ユニットの予測に夫々属しているものを表す。
ブレンディングされたサンプル値＝２／８×Ｐ１＋６／８×Ｐ２
に従って取得され得る。ここで、Ｐ１及びＰ２は、各々のピクセルでのサンプル値であるが、第１三角予測ユニット及び第２三角予測ユニットの予測に夫々属しているものを表す。
【0112】
［３．４ 動き場における動きベクトル保存］
図１７は、ＴＰＭによりコーディングされたＣＵ内の２つの三角予測ユニットの動きベクトルが、その後の動きベクトル予測にとって有用な動き場を形成するよう組み合わされ保存される方法の例を示す。図示されるように、第１コーディングブロック（１７０１）は、左上角から右下角に向かって２つの三角予測ユニットに第１対角辺（１７０３）に沿って分割され、一方、第２コーディングブロック（１７０２）は、右上角から左下角に向かって２つの三角予測ユニットに第２対角辺（１７０４）に沿って分割される。コーディングブロック（１７０１）又は（１７０２）の第１三角予測ユニットに対応する第１動きベクトルは、Ｍｖ１と表され、一方、コーディングブロック（１７０１）又は（１７０２）の第２三角予測ユニットに対応する第２動きベクトルは、Ｍｖ２と表される。コーディングブロック（１７０１）を例とすると、デコーダ側では、コーディングブロック（１７０１）内の第１及び第２三角予測ユニットに対応する２つのマージインデックスが、受け取られたシンタックス情報に基づいて決定され得る。マージ候補リストがコーディングブロック（１７０１）について構成された後、Ｍｖ１及びＭｖ２は、２つのマージインデックスに従って決定され得る。
図１７は、ＴＰＭによりコーディングされたＣＵ内の２つの三角予測ユニットの動きベクトルが、その後の動きベクトル予測にとって有用な動き場を形成するよう組み合わされ保存される方法の例を示す。図示されるように、第１コーディングブロック（１７０１）は、左上角から右下角に向かって２つの三角予測ユニットに第１対角辺（１７０３）に沿って分割され、一方、第２コーディングブロック（１７０２）は、右上角から左下角に向かって２つの三角予測ユニットに第２対角辺（１７０４）に沿って分割される。コーディングブロック（１７０１）又は（１７０２）の第１三角予測ユニットに対応する第１動きベクトルは、Ｍｖ１と表され、一方、コーディングブロック（１７０１）又は（１７０２）の第２三角予測ユニットに対応する第２動きベクトルは、Ｍｖ２と表される。コーディングブロック（１７０１）を例とすると、デコーダ側では、コーディングブロック（１７０１）内の第１及び第２三角予測ユニットに対応する２つのマージインデックスが、受け取られたシンタックス情報に基づいて決定され得る。マージ候補リストがコーディングブロック（１７０１）について構成された後、Ｍｖ１及びＭｖ２は、２つのマージインデックスに従って決定され得る。
【0113】
実施形態において、コーディングブロック（１７０１）は、４×４サンプルのサイズを有する複数の正方形に分割される。各４×４正方形に対応して、片予測動きベクトル（例えば、Ｍｖ１若しくはＭｖ２）又は（双予測動き情報を形成する）２つの動きベクトルのどちらか一方が、各々のコーディングブロック（１７０１）内の４×４正方形の位置に応じて保存される。図１７の例で示されるように、Ｍｖ１又はＭｖ２のどちらか一方である片予測動きベクトルは、コーディングブロック（１７０１）を分割する対角辺（１７０３）に重ならない各４×４正方形に保存される。対照的に、２つの動きベクトルは、各々のコーディングブロック（１７０１）を分割する対角辺（１７０３）と重なる各４×４正方形に保存される。コーディングブロック（１７０２）については、動きベクトルは、コーディングブロック（１７０１）と同様の方法で編成及び保存され得る。
【0114】
各々の対角辺に重なる４×４正方形に保存された双予測動きベクトルの対は、実施形態において、次の規則に従ってＭｖ１及びＭｖ２から導出され得る：
（１）Ｍｖ１及びＭｖ２が（例えば、異なる参照ピクチャリストＬ０又はＬ１と関連付けられた）異なる方向に向かう動きベクトルである場合に、Ｍｖ１及びＭｖ２は、双予測動きベクトルの対を形成するよう組み合わされる。
（２）Ｍｖ１及びＭｖ２の両方が（例えば、同じ参照ピクチャリストＬ０（又はＬ１）と関連付けられた）同じ方向に向かう場合に：
（２．ａ）Ｍｖ２の参照ピクチャが参照ピクチャリストＬ１（又はＬ０）内のピクチャと同じであるとき、Ｍｖ２は、参照ピクチャリストＬ１（又はＬ０）内のその参照ピクチャと関連付けられるよう変更される。Ｍｖ１と、関連付けられる参照ピクチャリストを変更されたＭｖ２とが、双予測動きベクトルの対を形成するよう組み合わされる。
（２．ｂ）Ｍｖ１の参照ピクチャが参照ピクチャリストＬ１（又はＬ０）内のピクチャと同じであるとき、Ｍｖ１は、参照ピクチャリストＬ１（又はＬ０）内のその参照ピクチャと関連付けられるよう変更される。関連付けられる参照ピクチャリストを変更されたＭｖ１と、Ｍｖ１とが、双予測動きベクトルの対を形成するよう組み合わされる。
（２．ｃ）上記以外の場合に、Ｍｖ１のみが各々の４×４正方形について保存される。
（１）Ｍｖ１及びＭｖ２が（例えば、異なる参照ピクチャリストＬ０又はＬ１と関連付けられた）異なる方向に向かう動きベクトルである場合に、Ｍｖ１及びＭｖ２は、双予測動きベクトルの対を形成するよう組み合わされる。
（２）Ｍｖ１及びＭｖ２の両方が（例えば、同じ参照ピクチャリストＬ０（又はＬ１）と関連付けられた）同じ方向に向かう場合に：
（２．ａ）Ｍｖ２の参照ピクチャが参照ピクチャリストＬ１（又はＬ０）内のピクチャと同じであるとき、Ｍｖ２は、参照ピクチャリストＬ１（又はＬ０）内のその参照ピクチャと関連付けられるよう変更される。Ｍｖ１と、関連付けられる参照ピクチャリストを変更されたＭｖ２とが、双予測動きベクトルの対を形成するよう組み合わされる。
（２．ｂ）Ｍｖ１の参照ピクチャが参照ピクチャリストＬ１（又はＬ０）内のピクチャと同じであるとき、Ｍｖ１は、参照ピクチャリストＬ１（又はＬ０）内のその参照ピクチャと関連付けられるよう変更される。関連付けられる参照ピクチャリストを変更されたＭｖ１と、Ｍｖ１とが、双予測動きベクトルの対を形成するよう組み合わされる。
（２．ｃ）上記以外の場合に、Ｍｖ１のみが各々の４×４正方形について保存される。
【0115】
図１８Ａ～１８Ｄは、例となる規則の組に従って双予測動きベクトルの対の導出の例を示す。２つの参照ピクチャリストが図１８Ａ～１８Ｄで使用される。第１参照ピクチャリストＬ０は、ＰＯＣ０及びＰＯＣ８のピクチャ・オーダー・カウント（ＰＯＣ）番号を付され、０及び１の参照ピクチャインデックス（ｒｅｆＩｄｘ）を夫々有する参照ピクチャを含む。一方、第２参照ピクチャリストＬ１は、ＰＯＣ８及びＰＯＣ１６のＰＯＣ番号を付され、０及び１の参照ピクチャインデックスを夫々有する参照ピクチャを含む。
【0116】
図１８Ａは、規則（１）に対応する。図１８Ａに示されるように、Ｍｖ１は、Ｌ０内のＰＯＣ０と関連付けられ、よって、参照ピクチャインデックスｒｅｆＩｄｘ＝０を有し、一方、Ｍｖ２は、Ｌ１内のＰＯＣ８と関連付けられ、よって、参照ピクチャインデックスｒｅｆＩｄｘ＝０を有する。Ｍｖ１及びＭｖ２は異なる参照ピクチャリストと関連付けられるということで、Ｍｖ１及びＭｖ２は一緒に、双方向動きベクトルの対として使用される。
【0117】
図１８Ｂは、規則（２．ａ）に対応する。図示されるように、Ｍｖ１及びＭｖ２は、同じ参照ピクチャリストＬ０と関連付けられる。Ｍｖ２は、Ｌ１の番号でもあるＰＯＣ８を指し示す。従って、Ｍｖ２は、Ｌ１内のＰＯＣ８と関連付けられるよう変更され、各々の参照インデックスの値は、１から０に変更される。
【0118】
【0119】
［３．５ 三角予測パラメータを通知するシンタックス要素］
いくつかの実施形態において、三角予測ユニットモードは、スキップ又はマージモードでＣＵに適用される。ＣＵのブロックサイズは、８×８よりも小さくできない。スキップ又はマージモードでコーディングされたＣＵについては、三角予測ユニットモードが現在のＣＵに対して適用されているか否かを示すために、ＣＵレベルフラグが通知される。実施形態において、三角予測ユニットモードがＣＵに適用される場合に、ＣＵを２つの三角予測ユニットに分割する方向を示すテーブルインデックス及び２つの三角予測ユニットの動きベクトル（又は各々のマージインデックス）が通知される。テーブルインデックスは０から３９の範囲に及ぶ。ルックアップテーブルは、テーブルインデックスから分割方向及び動きベクトルを導出するために使用される。
いくつかの実施形態において、三角予測ユニットモードは、スキップ又はマージモードでＣＵに適用される。ＣＵのブロックサイズは、８×８よりも小さくできない。スキップ又はマージモードでコーディングされたＣＵについては、三角予測ユニットモードが現在のＣＵに対して適用されているか否かを示すために、ＣＵレベルフラグが通知される。実施形態において、三角予測ユニットモードがＣＵに適用される場合に、ＣＵを２つの三角予測ユニットに分割する方向を示すテーブルインデックス及び２つの三角予測ユニットの動きベクトル（又は各々のマージインデックス）が通知される。テーブルインデックスは０から３９の範囲に及ぶ。ルックアップテーブルは、テーブルインデックスから分割方向及び動きベクトルを導出するために使用される。
【0120】
［３．６ 変更された三角予測通知］
上述されたように、３つのパラメータ、すなわち、分割方向、第１三角予測ユニットに対応する第１マージインデックス（ＴＰＭインデックス）、及び第２三角予測ユニットに対応する第２マージインデックス（ＴＰＭインデックス）は、ＴＰＭがコーディングブロックに適用される場合に生成される。説明されているように、いくつかの例では、３つの三角予測パラメータが、テーブルインデックスを通知することによってエンコーダ側からデコーダ側へ通知される。ルックアップテーブル（例えば、図１５の例におけるルックアップテーブル（１５００））に基づいて、３つの三角予測パラメータは、デコーダ側で受け取られたテーブルインデックスを用いて導出され得る。しかし、追加のメモリ空間が、デコーダでルックアップテーブルを記憶するために必要とされる。これは、デコーダのいくつかの実施において負担になる可能性がある。例えば、追加のメモリは、デコーダのコスト及び電力消費の増大をもたらす可能性がある。
上述されたように、３つのパラメータ、すなわち、分割方向、第１三角予測ユニットに対応する第１マージインデックス（ＴＰＭインデックス）、及び第２三角予測ユニットに対応する第２マージインデックス（ＴＰＭインデックス）は、ＴＰＭがコーディングブロックに適用される場合に生成される。説明されているように、いくつかの例では、３つの三角予測パラメータが、テーブルインデックスを通知することによってエンコーダ側からデコーダ側へ通知される。ルックアップテーブル（例えば、図１５の例におけるルックアップテーブル（１５００））に基づいて、３つの三角予測パラメータは、デコーダ側で受け取られたテーブルインデックスを用いて導出され得る。しかし、追加のメモリ空間が、デコーダでルックアップテーブルを記憶するために必要とされる。これは、デコーダのいくつかの実施において負担になる可能性がある。例えば、追加のメモリは、デコーダのコスト及び電力消費の増大をもたらす可能性がある。
【0121】
上記の問題を解決するために、いくつかの実施形態において、テーブルインデックスを通知し、テーブルインデックスを解釈するためにルックアップテーブルに依存することに代えて、３つのシンタックス要素がエンコーダ側からデコーダ側へ通知される。３つの三角予測パラメータ（分割方向及び２つのマージ又はＴＰＭインデックス）は、ルックアップテーブルを使用せずに、３つのシンタックス要素に基づいてデコーダ側で導出又は決定され得る。３つのシンタックス要素は、実施形態において各々のコーディングブロックについて如何なる順序でも通知可能である。
【0122】
実施形態において、３つのシンタックス要素は、分割方向シンタックス要素、第１インデックスシンタックス要素、及び第２インデックスシンタックス要素を含む。分割方向シンタックス要素は、分割方向パラメータを決定するために使用され得る。第１及び第２インデックスシンタックス要素は、第１及び第２マージ又はＴＰＭインデックスのパラメータを決定するために使用され得る。
【0123】
分割方向シンタックス要素については、実施形態において、分割方向シンタックス要素は、分割方向が左下角から右下角へ又は右上角から左下角へであるかどうかを示すために０又は１の値をとる。例えば、０又は１のどちらか一方が、左下角から右下角への分割方向を表すために使用され得る。
【0124】
第１及び第２インデックスシンタックス要素については、実施形態において、第１インデックスシンタックス要素は、第１マージインデックスのパラメータの値を有するよう構成され、一方、第２インデックスシンタックス要素は、第２マージインデックスが第１マージインデックスよりも小さいときには、第２マージインデックスの値を有し、第２マージインデックスが第１マージインデックスよりも大きいときには、第２マージインデックスから１をマイナスした値を有するよう構成される（第２及び第１マージインデックスは、上述されたように異なる値をとることを前提とされるので、第２及び第１マージインデックスは互いに等しくならない。）。
【0125】
例として、実施形態において、マージ候補リストは、５つのマージ候補の長さを有する。従って、第１インデックスシンタックス要素は、０，１，２，３，又は４の値をとり、一方、第２インデックスシンタックス要素は、０，１，２，又は３の値をとる。例えば、第１マージインデックスパラメータが２の値を有し、第２マージインデックスパラメータが４の値を有する場合に、第１及び第２マージインデックスを通知するために、第１及び第２インデックスシンタックス要素は夫々、２及び３の値を有することになる。
【0126】
実施形態において、コーディングブロックは、現在のピクチャ内の参照ポイントに関して（ｘＣｂ，ｙＣｂ）の座標を有する位置に位置する。ここで、ｘＣｂ及びｙＣｂは夫々、現在のコーディングブロックの水平及び垂直座標を表す。いくつかの実施形態において、ｘＣｂ及びｙＣｂは、４×４粒度により水平及び垂直座標とアライメントされる。従って、分割方向シンタックス要素は、ｓｐｌｉｔ＿ｄｉｒ［ｘＣｂ］［ｙＣｂ］と表される。第１インデックスシンタックス要素は、ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］と表される。第２インデックスシンタックス要素は、ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］と表される。
【0127】
３つの三角予測パラメータ（分割方向並びに第１及び第２マージインデックス）を通知するために使用される３つのシンタックス要素（分割方向シンタックス要素、第１及び第２インデックスシンタックス要素）は、様々な実施形態において、異なるバイナライゼーション方法によりコーディングされ得る。
【0128】
１つの実施形態において、第１インデックスシンタックス要素は、トランケーテッド・ユーナリー・コーディングによりコーディングされる。他の実施形態では、第１インデックスシンタックス要素は、トランケーテッド・バイナリ・コーディングによりコーディングされる。一例において、第１インデックスシンタックス要素の最大有効値は４に等しい。他の実施形態では、プレフィックス及び固定長バイナライゼーションの組み合わせが、第１インデックスシンタックス要素をコーディングするために使用される。一例において、プレフィックスビンは最初に、第１インデックスシンタックス要素が０であるかどうかを示すために通知される。第１インデックスシンタックス要素が０でない場合に、更なるビンが、第１インデックスシンタックス要素の実際の値を示すよう固定長でコーディングされる。最大有効値が４に等しい場合のトランケーテッド・ユーナリー・コーディング、トランケーテッド・バイナリ・コーディング、並びにプレフィックス及び固定長コーディングの例は、表１に示される。
【表1】
【0129】
１つの実施形態において、第２インデックスシンタックス要素は、トランケーテッド・ユーナリー・コーディングによりコーディングされる。他の実施形態では、第２インデックスシンタックス要素は、トランケーテッド・バイナリ・コーディング（２ビットによる固定長コーディング）によりコーディングされる。最大有効値が３に等しい場合のトランケーテッド・ユーナリー・コーディング及びトランケーテッド・バイナリ・コーディングの例は、表２に示される。
【表2】
【0130】
様々な実施形態において、異なるコンテキストモデルが、第１及び第２インデックスシンタックス要素の２値化された値における各ビンに対して適用されてよい。
【0131】
実施形態において、ｍ及びｎによって表される２つの整数値が、三角予測における２つの三角予測ユニットのためのマージ候補インデックスを示すために使用される。例えば、三角マージ候補リストが５つのマージ候補の長さを有する例では、ｍ及びｎは、ｍ及びｎが等しくならないことを除いては、如何なる組み合わせでも０から４までの値であることができる。インデックスシンタックス要素ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］及びｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］は、３つのシンタックス要素が通知される前にエンコーダ側でｍ、ｎ、及びシンタックス要素ｓｐｌｉｔ＿ｄｉｒ［ｘＣｂ］［ｙＣｂ］から導出され得る。
【0132】
デコーダ側では、様々なマッピング方法が、２つの三角パーティションによって使用される各々のマージ候補を取得するように、３つの通知されたシンタックス要素ｓｐｌｉｔ＿ｄｉｒ［ｘＣｂ］［ｙＣｂ］、ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］、及びｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］を実際の三角マージ候補インデックスにマッピングするために用いられ得る。
【0133】
［ＩＩＩ．ＴＰＭ候補の柔軟な最大許容数］
上述されたように、いくつかの例において、ＴＰＭ候補リストは、固定数の５つのＴＰＭ候補を含むことができる。しかし、特定の状況下で、ＴＰＭの最大許容数は、複雑性とコーディング効率との間のより良いトレードオフを達成するために柔軟であることが望まれる。従って、いくつかの実施形態において、ＴＰＭによりブロックの組をコーディングするためのＴＰＭ候補の最大許容数は、ビットストリームにおいて通知され得る。例えば、ＴＰＭ候補の最大許容数は、シーケンスパラメータセット（Sequence Parameter Set，ＳＰＳ）、ピクチャパラメータセット（Picture Parameter Set，ＰＰＳ）、スライスヘッダ、タイルヘッダ、タイルグループヘッダ、などにおいて通知され得る。例えば、ＴＰＭ候補の最大許容数は、ＭａｘＮｕｍＴｒｉａｎｇｌｅＭｅｒｇｅＣａｎｄによって表される。
上述されたように、いくつかの例において、ＴＰＭ候補リストは、固定数の５つのＴＰＭ候補を含むことができる。しかし、特定の状況下で、ＴＰＭの最大許容数は、複雑性とコーディング効率との間のより良いトレードオフを達成するために柔軟であることが望まれる。従って、いくつかの実施形態において、ＴＰＭによりブロックの組をコーディングするためのＴＰＭ候補の最大許容数は、ビットストリームにおいて通知され得る。例えば、ＴＰＭ候補の最大許容数は、シーケンスパラメータセット（Sequence Parameter Set，ＳＰＳ）、ピクチャパラメータセット（Picture Parameter Set，ＰＰＳ）、スライスヘッダ、タイルヘッダ、タイルグループヘッダ、などにおいて通知され得る。例えば、ＴＰＭ候補の最大許容数は、ＭａｘＮｕｍＴｒｉａｎｇｌｅＭｅｒｇｅＣａｎｄによって表される。
【0134】
実施形態において、ＴＰＭ候補の最大許容数は、０から、マージモードにおけるマージ候補の最大許容数までの整数であるよう制限される。マージモードは、セクションＩＩの「１ マージモード」で説明されたマージモード、又はセクションＩＩの「２ 拡張マージ予測モード」で説明された拡張マージ予測モードであることができる。例えば、実施形態において、ＴＰＭ候補の最大許容数を制限する根拠を与えるマージモードは、次のタイプのマージ候補、（ｉ）空間隣接コーディングユニット（ＣＵ）からの空間動きベクトル予測子（ＭＶＰ）、（ｉｉ）同一位置のＣＵからの時間ＭＶＰ、（ｉｉｉ）履歴バッファからの履歴ベースのＭＶＰ、又は（ｉｖ）ペアワイズ平均ＭＶＰ、を含むことができる。
【0135】
様々な実施形態において、マージモード候補の最大許容数は異なることができる。実施形態において、マージモード候補の最大許容数は５又は６であることができる。実施形態において、マージモード候補の最大許容数によってＴＰＭ候補の最大許容数を制限することは、ＴＰＭ及びマージモードの両方をコーディングツールオプションとして用いるエンコーダ又はデコーダの実施複雑性を減らすことができる。
【0136】
実施形態において、ＴＰＭ候補の最大許容数は直接通知される。例えば、ＴＰＭ候補の最大許容数に等しい値を有するシンタックス要素が通知され得る。
【0137】
実施形態において、コーディング効率を改善するために、ＴＰＭ候補の最大許容数と予め定義された値、例えば、５又は６との間の差が通知される。一例において、予め定義された値は、マージモード候補の最大許容数に等しいことができる。
【0138】
表３は、実施形態に従うシンタックス伝送の例を示す。表３には１から１１までの番号を付された複数行の記述が存在する。行１は、タイルグループヘッダのシンタックス伝送の開始を示す。ｔｉｌｅ＿ｇｒｏｕｐ＿ｔｙｐｅ及びｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｍｅｒｇｅ＿ｃａｎｄによって表される２つのシンタックス要素の伝送は、行３から行８に記述されている。行３で、ｔｉｌｅ＿ｇｒｏｕｐ＿ｔｙｐｅのシンタックス要素が最初に伝送され得る。行７から８で、ｔｉｌｅ＿ｇｒｏｕｐ＿ｔｙｐｅがＢに等しく（タイルグループが双予測タイプであることを示す。）、かつ、ｓｐｓ＿ｔｒｉａｎｇｌｅ＿ｅｎａｂｌｅ＿ｆｌａｇが真である（ＴＰＭが、現在のタイルグループを規定するＳＰＳにおいて有効にされることを示す。）場合に、シンタックス要素ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｍｅｒｇｅ＿ｃａｎｄが伝送される。
【表3】
【0139】
シンタックス要素ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｍｅｒｇｅ＿ｃａｎｄは、予め定義された値（例えば、５）と、タイルグループでサポートされているＴＰＭ候補の最大許容数との間の差を表す。ＴＰＭ候補の最大許容数は、
ＭａｘＮｕｍＴｒｉａｎｇｌｅＭｅｒｇｅＣａｎｄ＝５－ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｍｅｒｇｅ＿ｃａｎｄ
に従って決定され得る。
ＭａｘＮｕｍＴｒｉａｎｇｌｅＭｅｒｇｅＣａｎｄ＝５－ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｍｅｒｇｅ＿ｃａｎｄ
に従って決定され得る。
【0140】
実施形態において、マージモード候補の最大許容数は最初に通知される。次いで、マージモード候補の最大許容数とＴＰＭ候補の最大許容数との間の差が通知される。このシナリオでは、マージモード候補の通知された最大許容数は、通知される差を計算することにおいて、予め定義された値（例えば、５又は６）に取って代わる。
【0141】
図１９は、本開示の実施形態に従うプロセス（１９００）を概説するフローチャートを示す。プロセス（１９００）は、再構成中のブロックについて予測ブロックを生成するために、ＴＰＭでコーディングされたブロックの再構成において使用され得る。様々な実施形態において、プロセス（１９００）は、端末デバイス（２１０）、（２２０）、（２３０）及び（２４０）内の処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（７１０）の機能を実行する処理回路などのような処理回路によって実行される。いくつかの実施形態において、プロセス（１９００）は、ソフトウェア命令で実装され、よって、処理回路がソフトウェア命令を実行する場合に、処理回路はプロセス（１９００）を実行する。プロセスは（Ｓ１９０１）から始まり、（Ｓ１９１０）へ進む。
【0142】
（Ｓ１９１０）で、ＴＰＭのＴＰＭ候補の最大許容数を示すシンタックス要素が受け取られ得る。シンタックス要素は、ＳＰＳ、ＰＰＳ、スライスヘッダ、タイルヘッダ、タイルグループヘッダ、などにおいて通知され得る。従って、ＴＰＭ候補の最大許容数は、ＳＰＳ、ＰＰＳ、スライスヘッダ、タイルヘッダ、又はタイルグループヘッダによって夫々制御されるコーディングブロックの組に適用され得る。
【0143】
シンタックス要素は、ＴＰＭ候補の最大許容数の値、又はＴＰＭ候補の最大許容数と予め定義された値との間の差の値を表すことができる。例えば、予め定義された値は、現在のブロックに適用可能なマージモードにおけるマージ候補の最大許容数に等しいことができる。
【0144】
（Ｓ１９２０）で、現在のブロックのＴＰＭ候補リストが、ＴＰＭ候補の最大許容数に従って構成され得る。例えば、ＴＰＭ候補の通知された最大許容数は、０から、現在のブロックに適用可能なマージモードにおけるマージ候補の最大許容数までの整数であるよう定義され得る。従って、（Ｓ１９２０）で決定されたＴＰＭ候補の最大許容数が２以上である場合に、現在のブロックのＴＰＭ候補リストは構成され得る。構成されたＴＰＭ候補リスト上のＴＰＭ候補の数は、（Ｓ１９１０）で受け取られたシンタックス要素によって示されるＴＰＭ候補の最大許容数に等しいことができる。プロセス（１９００）は（Ｓ１９９９）へ進み、（Ｓ１９９９）で終了する。
【0145】
［ＩＶ．三角予測モード候補リストとしてのマージモード候補リストの再利用］
［１ ＴＰＭ－マージモードリスト］
セクションＩＩの「３．１ 片予測候補リスト構成」で図１４を参照して説明されたように、ＴＰＭ候補リストは、マージモード候補リストのそれとは異なる方法で構成され得る。ＴＰＭ候補リスト及びマージモード候補リストを別々に構成することは、本開示の態様に従ういくつかのシナリオで実施複雑性及び計算複雑性の両方を増大させる可能性がある。従って、いくつかの実施形態において、マージモード候補リストはＴＰＭ候補リストとして再利用される。あるいは、言い換えると、ＴＰＭ候補リストは、マージモード候補リストと同じ方法で構成され得る。そのようなＴＰＭ候補リストに基づいて、ＴＰＭにおける２つの三角パーティションの動きベクトル予測子（ＭＶＰ）は、ビットストリームにおいて通知された三角予測パラメータのグループに基づいてＴＰＭ候補リストから識別され得る。そのようなＴＰＭ候補リストは、本開示ではＴＰＭ－マージモードリストと呼ばれる。
［１ ＴＰＭ－マージモードリスト］
セクションＩＩの「３．１ 片予測候補リスト構成」で図１４を参照して説明されたように、ＴＰＭ候補リストは、マージモード候補リストのそれとは異なる方法で構成され得る。ＴＰＭ候補リスト及びマージモード候補リストを別々に構成することは、本開示の態様に従ういくつかのシナリオで実施複雑性及び計算複雑性の両方を増大させる可能性がある。従って、いくつかの実施形態において、マージモード候補リストはＴＰＭ候補リストとして再利用される。あるいは、言い換えると、ＴＰＭ候補リストは、マージモード候補リストと同じ方法で構成され得る。そのようなＴＰＭ候補リストに基づいて、ＴＰＭにおける２つの三角パーティションの動きベクトル予測子（ＭＶＰ）は、ビットストリームにおいて通知された三角予測パラメータのグループに基づいてＴＰＭ候補リストから識別され得る。そのようなＴＰＭ候補リストは、本開示ではＴＰＭ－マージモードリストと呼ばれる。
【0146】
例えば、セクションＩＩの「３ 三角予測モード（ＴＰＭ）」で説明された３つの三角予測パラメータと同様に、本セクションでの三角予測パラメータのグループは、分割方向と、第１三角予測ユニットに対応する第１候補インデックスと、第２三角予測ユニットに対応する第２候補インデックスとを含むことができる。しかし、第１又は第２候補インデックスは、セクションＩＩの「３ 三角予測モード（ＴＰＭ）」と同様に、片予測候補リストへのインデックスの代わりに、ＴＰＭ－マージモードリスト上のマージ候補へのインデックスであることができる。
【0147】
例えば、エンコーダ側で、ＴＰＭ－マージモードリスト上の参照ピクチャリストＬ０又はＬ１と関連付けられた動きベクトルは、２つの三角予測ユニットのＭＶＰとして夫々使用される第１及び第２動きベクトルを決定するよう評価され得る。２つの決定された動きベクトルの夫々は、各々のマージ候補に属し、参照ピクチャリストと関連付けられ得る。各々のマージ候補のマージインデックスは、第１及び第２ＴＰＭインデックスとして使用され、ビットストリームにおいて通知され得る。例えば、第１及び第２動きベクトルは、ＴＰＭ－マージモードリスト上の同じマージ候補に属することができ、あるいは、様々な実施形態において同じマージ候補に属することを禁止され得る。
【0148】
その上、２つの決定された動きベクトルの夫々と関連付けられた参照ピクチャリストの情報もビットストリームにおいて通知され得る。例えば、ｌｉｓｔＩｄｘによって表される参照ピクチャリストインデックスは、第１動きベクトルと関連付けられた参照ピクチャリストを示すよう通知され得る。
【0149】
デコーダ側では、同じＴＰＭ－マージモードリストが構成され得る。通知された２つのＴＰＭインデックスと、関連した参照ピクチャリストの情報とに基づいて、２つの動きベクトルはＴＰＭ－マージモードリストから識別され得る。
【0150】
様々な実施形態において、ＴＰＭ－マージモードリストは、ブロックに基づく片予測又は双予測マージ候補を含み得るＨＥＶＣに似たインターモードのマージリストであることができる。例えば、ＨＥＶＣに似たインターモードの例には、セクションＩＩの「１ マージモード」又はセクションＩＩの「２ 拡張マージ予測モード」で説明されたマージモードが含まれ得る。マージモード又は拡張マージ予測モードのマージ候補リストを構成するための、説明されているプロセスは、ＴＰＭ－マージモードリストを構成するために使用可能である。
【0151】
［２ ＴＰＭ－マージモードリスト上の片予測候補の処理］
いくつかの実施形態において、任意のステップが、ＴＰＭ－マージモードリスト内の片予測候補を処理するために実行され得る。例えば、そのような片予測候補は夫々、１つの参照ピクチャリストＬ０又はＬ１と関連付けられた１つの動きベクトルを含む。実施形態において、片予測候補は、ＴＰＭ－マージモードリストから取り除かれる。実施形態において、片予測候補は、双予測方向に変換又は拡張される。
いくつかの実施形態において、任意のステップが、ＴＰＭ－マージモードリスト内の片予測候補を処理するために実行され得る。例えば、そのような片予測候補は夫々、１つの参照ピクチャリストＬ０又はＬ１と関連付けられた１つの動きベクトルを含む。実施形態において、片予測候補は、ＴＰＭ－マージモードリストから取り除かれる。実施形態において、片予測候補は、双予測方向に変換又は拡張される。
【0152】
例において、ＴＰＭ－マージモードリストは、０以上４以下の対応する参照ピクチャインデックスを有する次の候補、［Ｕｎｉ，Ｂｉ，Ｕｎｉ，Ｂｉ，Ｕｎｉ］を含む。“Ｕｎｉ”及び“Ｂｉ”は夫々、片予測候補及び双予測候補を示す。通知されるべきインデックスが０，１，２，３，又は４の範囲内にある場合に、０，２，４は片予測子であってＴＰＭによって使用不可能であるから、非効率的である。ＴＰＭ－マージモードリスト上の候補が片予測か双予測かの確認の追加のステップが必要である。
【0153】
よって、効率を改善するために、片予測候補を除くこと又は拡張することの２つのアプローチが、異なる例において採用され得る。片予測ＭＶが除かれる場合に、ＴＰＭ－マージモードリストは、インデックスが０又は１である［Ｂｉ，Ｂｉ］になる。片予測候補を許さないことによって、インデックスのとり得る値は減るので、インデックスをコーディングするために必要なビットは少なくなる。片予測候補が双予測に拡張又は変換される場合に、ＴＰＭ－マージモードリストは［Ｂｉ，Ｂｉ，Ｂｉ，Ｂｉ，Ｂｉ］になる。インデックス範囲は依然として０から４まであるが、全ての候補が双予測であるから、ＴＰＭによって使用可能である。より多くの候補を使用することによって、コーディング効率は潜在的に向上し得る。
【0154】
様々な実施形態において、次の方法が、片予測候補を双予測公報に変換するために使用され得る。片予測候補において、参照ピクチャリストｌｉｓｔＸ（例えば、Ｘは０又は１である。）の動きベクトルＭＶ１が利用不可能であり、参照ピクチャリスト［１－ｌｉｓｔＸ］の動きベクトルＭＶ２が利用可能であり、参照ピクチャインデックスがｒｅｆＩｄｘによって表されると仮定して、ＭＶ１は、次の方法で導出され得る：
（ｉ）ｌｉｓｔＸについて、ｒｅｆＩｄｘ＝０及びゼロ動きベクトルがＭＶ１に対してセットされる。
（ｉｉ）ｌｉｓｔＸについて、ｒｅｆＩｄｘ＝０及び、時間距離に基づきＭＶ２から調整された動きベクトルが、ＭＶ１に対してセットされる。
（ｉｉｉ）ｌｉｓｔＸについて、ｒｅｆＩｄｘ＝０及び、ＭＶ２からの反映された動きベクトルが、ＭＶ１に対してセットされる。例えば、ミラーリング動作において、ＭＶ２の水平及び垂直変位にマイナス１を乗じて、ＭＶ１の水平及び垂直変位を求める。
（ｉｖ）最大許容ｒｅｆＩｄｘ及び、時間距離に基づきＭＶ２から調整された動きベクトルが、ＭＶ１に対してセットされる。
（ｉ）ｌｉｓｔＸについて、ｒｅｆＩｄｘ＝０及びゼロ動きベクトルがＭＶ１に対してセットされる。
（ｉｉ）ｌｉｓｔＸについて、ｒｅｆＩｄｘ＝０及び、時間距離に基づきＭＶ２から調整された動きベクトルが、ＭＶ１に対してセットされる。
（ｉｉｉ）ｌｉｓｔＸについて、ｒｅｆＩｄｘ＝０及び、ＭＶ２からの反映された動きベクトルが、ＭＶ１に対してセットされる。例えば、ミラーリング動作において、ＭＶ２の水平及び垂直変位にマイナス１を乗じて、ＭＶ１の水平及び垂直変位を求める。
（ｉｖ）最大許容ｒｅｆＩｄｘ及び、時間距離に基づきＭＶ２から調整された動きベクトルが、ＭＶ１に対してセットされる。
【0155】
実施形態において、片予測候補は、ＴＰＭ－マージモードリストから除かれない。代わりに、片予測候補が三角予測のために選択され得ないように、適合制約が実装される。
【0156】
［３ 参照ピクチャインデックス：ｌｉｓｔＩｄｘ］
実施形態において、各々の三角パーティションのためにどの動きベクトルが使用されるかを識別するために、ｌｉｓｔＩｄｘによって表され、参照ピクチャリストを示すフラグ（又はインデックス）が、分割方向、第１候補インデックス（ｃａｎｄ＿ｉｄｘ０によって表される。）、及び第２候補インデックス（ｃａｎｄ－ｉｄｘ１）に加えて通知され得る。第１候補インデックス（ｃａｎｄ＿ｉｄｘ０）及び第２候補インデックス（ｃａｎｄ＿ｉｄｘ１）は、ＴＰＭ－マージモードリストへのインデックスであることができる。分割方向、第１候補インデックス（ｃａｎｄ＿ｉｄｘ０によって表される。）、及び第２候補インデックス（ｃａｎｄ－ｉｄｘ１）を含む３つのパラメータは、セクションＩＩの「３．２ ルックアップテーブル及びテーブルインデックス」で説明された三角パーティションインデックス（例えば、０から３９までの範囲に及ぶ。）により、又はセクションＩＩの「３．６ 変更された三角予測通知」で説明された別々のシンタックス要素により通知され得る。
実施形態において、各々の三角パーティションのためにどの動きベクトルが使用されるかを識別するために、ｌｉｓｔＩｄｘによって表され、参照ピクチャリストを示すフラグ（又はインデックス）が、分割方向、第１候補インデックス（ｃａｎｄ＿ｉｄｘ０によって表される。）、及び第２候補インデックス（ｃａｎｄ－ｉｄｘ１）に加えて通知され得る。第１候補インデックス（ｃａｎｄ＿ｉｄｘ０）及び第２候補インデックス（ｃａｎｄ＿ｉｄｘ１）は、ＴＰＭ－マージモードリストへのインデックスであることができる。分割方向、第１候補インデックス（ｃａｎｄ＿ｉｄｘ０によって表される。）、及び第２候補インデックス（ｃａｎｄ－ｉｄｘ１）を含む３つのパラメータは、セクションＩＩの「３．２ ルックアップテーブル及びテーブルインデックス」で説明された三角パーティションインデックス（例えば、０から３９までの範囲に及ぶ。）により、又はセクションＩＩの「３．６ 変更された三角予測通知」で説明された別々のシンタックス要素により通知され得る。
【0157】
一例において、コーディングブロックの第１及び第２三角パーティションに対応する動きベクトル予測子ＭＶ１及びＭＶ２は、次の方法で、通知されたパラメータに従って識別され得る：
ＭＶ１＝ｔｒｉａｎｇｌｅＭａｒｇｅＬｉｓｔ［ｃａｎｄ＿ｉｄｘ０］［ｌｉｓｔＩｄｘ］ （１）
ＭＶ２＝ｔｒｉａｎｇｌｅＭａｒｇｅＬｉｓｔ［ｃａｎｄ＿ｉｄｘ１］［１－ｌｉｓｔＩｄｘ］ （２）
ここで、ｔｒｉａｎｇｌｅＭａｒｇｅＬｉｓｔは、ＴＰＭ－マージモードリストを表す。
ＭＶ１＝ｔｒｉａｎｇｌｅＭａｒｇｅＬｉｓｔ［ｃａｎｄ＿ｉｄｘ０］［ｌｉｓｔＩｄｘ］ （１）
ＭＶ２＝ｔｒｉａｎｇｌｅＭａｒｇｅＬｉｓｔ［ｃａｎｄ＿ｉｄｘ１］［１－ｌｉｓｔＩｄｘ］ （２）
ここで、ｔｒｉａｎｇｌｅＭａｒｇｅＬｉｓｔは、ＴＰＭ－マージモードリストを表す。
【0158】
式（１）に従って、ｌｉｓｔＩｄｘの参照ピクチャリストと関連付けられ、ｃａｎｄ＿ｉｄｘ０のインデックスを有するマージ候補に属する動きベクトルは、ＭＶ１として識別され得る。同様に、式（２）に従って、［１－ｌｉｓｔＩｄｘ］の参照ピクチャリストと関連付けられ、ｃａｎｄ＿ｉｄｘ１のインデックスを有するマージ候補に属する動きベクトルは、ＭＶ２として識別され得る。
【0159】
実施形態において、ｌｉｓｔＩｄｘのシンタックス要素は通知されない。三角パーティションに対応する動きベクトルＭＶ１及びＭＶ２は、２つの参照ピクチャリストのうちのデフォルトの１つと夫々関連付けられる。例えば、動きベクトルは、
ＭＶ１＝ｔｒｉａｎｇｌｅＭａｒｇｅＬｉｓｔ［ｃａｎｄ＿ｉｄｘ０］［０］
（３）
ＭＶ２＝ｔｒｉａｎｇｌｅＭａｒｇｅＬｉｓｔ［ｃａｎｄ＿ｉｄｘ１］［１］
（４）
に従って識別され得る。式（３）に示されるように、第１動きベクトルは、デフォルトで参照ピクチャリストＬ０からであり、一方、式（４）では、第２動きベクトルは、デフォルトで参照ピクチャリストＬ１からである。
ＭＶ１＝ｔｒｉａｎｇｌｅＭａｒｇｅＬｉｓｔ［ｃａｎｄ＿ｉｄｘ０］［０］
（３）
ＭＶ２＝ｔｒｉａｎｇｌｅＭａｒｇｅＬｉｓｔ［ｃａｎｄ＿ｉｄｘ１］［１］
（４）
に従って識別され得る。式（３）に示されるように、第１動きベクトルは、デフォルトで参照ピクチャリストＬ０からであり、一方、式（４）では、第２動きベクトルは、デフォルトで参照ピクチャリストＬ１からである。
【0160】
シンタックス要素ｌｉｓｔＩｄｘは、いくつかの実施形態において、バイパスコーディング又はコンテキストコーディングされ得る。シンタックス要素ｌｉｓｔＩｄｘがコンテキストコーディングされる場合に、１つのコンテキストが使用され得る。代替的に、現在のブロックの空間隣接ブロックに基づく２又は３つのコンテキストが使用され得る。
【0161】
いくつかの実施形態において、シンタックス要素ｌｉｓｔＩｄｘは、ビットストリームにおいて条件付きで通知され得る。例えば、ＮｏＢａｃｋｗａｒｄＰｒｅｄＦｌａｇが、前の参照ピクチャに基づく予測が禁止されることを示すよう真である場合に、シンタックス要素ｌｉｓｔＩｄｘは通知されず、一例では０と推測される。そのようなシナリオでは、２つの参照ピクチャリストは互いに同じであってよいことが知られる。
【0162】
［４ 三角パーティションの動きベクトル情報の保存］
現在のブロックの２つの三角パーティションに対応し、ＴＰＭ－マージモードリストから取得される動き情報（例えば、動きベクトル及び関連した参照ピクチャインデックス、並びに参照ピクチャリスト）は、非三角予測ブロックと類似した方法で保存され得る。例えば、動き情報は、最小ブロックレベル（例えば、４×４ピクセルの最小許容サイズを有するブロック）で保存され得、その後にコーディングされるブロック（空間又は時間動きベクトル予測を含む。）についての動きベクトル予測、デブロッキング動作、などに使用される。一例において、ＴＰＭ－マージモードリストから取得された現在のブロックの動き情報は、セクションＩＩの「３．４ 動き場における動きベクトル保存」で説明された方法と同様に保存され得る。
現在のブロックの２つの三角パーティションに対応し、ＴＰＭ－マージモードリストから取得される動き情報（例えば、動きベクトル及び関連した参照ピクチャインデックス、並びに参照ピクチャリスト）は、非三角予測ブロックと類似した方法で保存され得る。例えば、動き情報は、最小ブロックレベル（例えば、４×４ピクセルの最小許容サイズを有するブロック）で保存され得、その後にコーディングされるブロック（空間又は時間動きベクトル予測を含む。）についての動きベクトル予測、デブロッキング動作、などに使用される。一例において、ＴＰＭ－マージモードリストから取得された現在のブロックの動き情報は、セクションＩＩの「３．４ 動き場における動きベクトル保存」で説明された方法と同様に保存され得る。
【0163】
［５ ＴＰＭ－マージモードリストに基づくＴＰＭプロセスの例］
図２０は、本開示の実施形態に従うＴＰＭプロセス（２０００）を概説するフローチャートを示す。プロセス（２０００）は、再構成中のブロックについて予測ブロックを生成するために、ＴＰＭでコーディングされたブロックの再構成において使用され得る。様々な実施形態において、プロセス（２０００）は、端末デバイス（２１０）、（２２０）、（２３０）及び（２４０）内の処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（７１０）の機能を実行する処理回路などのような処理回路によって実行される。いくつかの実施形態において、プロセス（２０００）は、ソフトウェア命令で実装され、よって、処理回路がソフトウェア命令を実行する場合に、処理回路はプロセス（２０００）を実行する。プロセスは（Ｓ２００１）から始まり、（Ｓ２０１０）へ進む。
図２０は、本開示の実施形態に従うＴＰＭプロセス（２０００）を概説するフローチャートを示す。プロセス（２０００）は、再構成中のブロックについて予測ブロックを生成するために、ＴＰＭでコーディングされたブロックの再構成において使用され得る。様々な実施形態において、プロセス（２０００）は、端末デバイス（２１０）、（２２０）、（２３０）及び（２４０）内の処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（７１０）の機能を実行する処理回路などのような処理回路によって実行される。いくつかの実施形態において、プロセス（２０００）は、ソフトウェア命令で実装され、よって、処理回路がソフトウェア命令を実行する場合に、処理回路はプロセス（２０００）を実行する。プロセスは（Ｓ２００１）から始まり、（Ｓ２０１０）へ進む。
【0164】
（Ｓ２０１０）で、ＴＰＭにより現在のブロックを処理するための参照ピクチャリストを示すシンタックス要素（例えば、ｌｉｓｔＩｄｘ）が受け取られ得る。他の例では、参照ピクチャリストを示すシンタックス要素は通知されない。
【0165】
（Ｓ２０１２）で、第１候補インデックス（例えば、ｃａｎｄ＿ｉｄｘ０）及び第２候補インデックス（ｃａｎｄ＿ｉｄｘ１）を示す１つ以上のシンタックス要素が受け取られる。
【0166】
（Ｓ２０１４）で、マージ候補リスト（例えば、ＴＰＭ－マージモードリスト）が、セクションＩＩ．１で説明されたマージモード及びセクションＩＩ．２で説明された拡張予測モードなどの通常のマージモードにおけるマージ候補リストを構成する方法と同様に構成され得る。マージ候補リスト上のマージ候補は、片予測又は双予測され得、２つの参照ピクチャリストＬ０及びＬ１と関連付けられた１つ又は２つの動きベクトルを含む。
【0167】
（Ｓ２０１６）で、マージ候補リスト上の１つ以上の片予測候補が処理され得る。例えば、片予測候補は、候補リストから取り除かれ得るか、あるいは、双予測候補に変換され得る。他の例では、片予測候補はマージ候補リスト上で保持されてもよいが、現在のブロックの三角予測のための動きベクトルを供給するために選択されない。
【0168】
（Ｓ２０１８）で、第１及び第２候補インデックス並びに指示された参照ピクチャリストに基づいて、第１及び第２動きベクトルが、（Ｓ２０１４）で構成されたマージ候補リストから決定され得る。例えば、第１及び第２候補インデックスは、第１及び第２動きベクトルが選択される２つのマージ候補を決定するために使用され得る。次いで、第１又は第２動きベクトルのうちの一方が選択される参照ピクチャリストＬ０又はＬ１を特定する指示された参照ピクチャリストに基づいて、第１及び第２動きベクトルは決定され得る。
【0169】
参照ピクチャリストを示すシンタックス要素がいくつかの例において通知されない場合に、２つの参照ピクチャリストの１つが、デフォルトで２つの三角パーティションの１つと関連付けられ得る。
【0170】
（Ｓ２０２０）で、予測ブロックが、第１及び第２動きベクトルに基づいて現在のブロックに対して構成され得る。例えば、第１及び第２動きベクトルは、２つのコーディングブロックを決定するために使用され、その２つのコーディングブロックからのサンプルは、予測ブロックを形成するよう結合される。例えば、重み付きブレンディングプロセスが、セクションＩＩの「３．３ 三角パーティションエッジに沿った適応ブレンディング」で説明されたように実行されてよい。その後に、マージモードが有効にされる場合に、現在のブロックの再構成されたブロックを取得するよう、残差信号が予測ブロックと結合され得る。プロセス（２０００）は（Ｓ２０９９）へ進み、（Ｓ２０９９）で終了する。
【0171】
［Ｖ．三角予測インデックスの通知及び導出］
説明されているように、（ｘＣｂ，ｙＣｂ）の座標を有する位置にあるコーディングブロックについて、分割方向シンタックス要素ｓｐｌｉｔ＿ｄｉｒ［ｘＣｂ］［ｙＣｂ］、第１インデックスシンタックス要素ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］及び第２インデックスシンタックス要素ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］が、三角予測パラメータ（分割方向並びに第１及び第２マージインデックス）を通知するために用いられ得る。分割方向シンタックス要素は、２つの分割方向のうちの１つを示してよい。その上、ｍ及びｎによって表される２つの整数値が、三角予測モードにおける２つの三角予測ユニットのマージ候補インデックスを示すために使用され得る。
説明されているように、（ｘＣｂ，ｙＣｂ）の座標を有する位置にあるコーディングブロックについて、分割方向シンタックス要素ｓｐｌｉｔ＿ｄｉｒ［ｘＣｂ］［ｙＣｂ］、第１インデックスシンタックス要素ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］及び第２インデックスシンタックス要素ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］が、三角予測パラメータ（分割方向並びに第１及び第２マージインデックス）を通知するために用いられ得る。分割方向シンタックス要素は、２つの分割方向のうちの１つを示してよい。その上、ｍ及びｎによって表される２つの整数値が、三角予測モードにおける２つの三角予測ユニットのマージ候補インデックスを示すために使用され得る。
【0172】
例において、ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ［ｘＣｂ］［ｙＣｂ］によって表されるテーブルインデックスは、任意に、ｍ、ｎ、及びｓｐｌｉｔ＿ｄｉｒ［ｘＣｂ］［ｙＣｂ］から導出され得る。例えば、ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ［ｘＣｂ］［ｙＣｂ］は、ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ［ｘＣｂ］［ｙＣｂ］＝（ｍ＊４＋ｎ－（ｎ＞ｍ？１：０））＊２＋ｓｐｌｉｔ＿ｄｉｒ［ｘＣｂ］［ｙＣｂ］として導出され得る。３つのシンタックス要素ｓｐｌｉｔ＿ｄｉｒ［ｘＣｂ］［ｙＣｂ］、ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］、及びｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］が三角予測パラメータを通知するために用いられる場合に、テーブルインデックスｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ［ｘＣｂ］［ｙＣｂ］の導出は実行されてもされなくてもよい。
【0173】
本開示の態様に従って、２つのマージインデックスｍ及びｎを２つのインデックスシンタックス要素ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］及びｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］にマッピングする多数の方法が存在し得る。２つのインデックスシンタックス要素の異なる確率分布及びコーディング方法により、異なるマッピング方法又はプロセスは、異なるコーディング効率をもたらし得る。これに応じて、より良いマッピング方法は、コーディング効率を改善するように適応的に選択されてよい。
【0174】
実施形態において、ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］、ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］とｍ、ｎとの間の固定マッピングが使用されてよい。例えば、エンコーダ側では、２つの分割方向のどちらがコーディングブロックを分割するために使用されるかを問わず、第１マージインデックスｍは、第１インデックスシンタックス要素ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］にセットされ、第２マージインデックスｎは、第２インデックスシンタックス要素ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］にセットされる。デコーダでは、マージインデックスｍ及びｎは、次の擬似コードによって表される第１プロセスに従って導出され得る：
ｍ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］
ｎ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］
ｎ＝ｎ＋（ｎ＞＝ｍ？１：０）
ｍ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］
ｎ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］
ｎ＝ｎ＋（ｎ＞＝ｍ？１：０）
【0175】
上記の擬似コードでは、第１マージインデックスｍは、第１インデックスシンタックス要素ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］の値を有するよう決定される。第２マージインデックスｎは、第２インデックスシンタックス要素が第１インデックスシンタックス要素よりも小さい値を有する場合には、第２インデックスシンタックス要素ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］の値を有するよう決定される。第２マージインデックスｎは、第２インデックスシンタックス要素が第１インデックスシンタックス要素以上の値を有する場合には、第２インデックスシンタックス要素の値に１をプラスした値を有するよう決定される。
【0176】
同様に、他の例では、固定マッピング方法が使用されるが、第１及び第２マージインデックスは、第１及び第２インデックスシンタックス要素へのマッピングのために交換される。例えば、エンコーダでは、２つの分割方向の両方について、ｎはｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］にセットされ、ｍはｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］にセットされる。従って、マージインデックスｍ及びｎは、デコーダでは次の擬似コードによって表される第２プロセスに従って導出され得る：
ｎ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］
ｍ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］
ｍ＝ｍ＋（ｍ＞＝ｎ？１：０）
ｎ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］
ｍ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］
ｍ＝ｍ＋（ｍ＞＝ｎ？１：０）
【0177】
他の実施形態では、ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］、ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］とｍ、ｎとの間の適応マッピングが使用されてもよい。
【0178】
第１の例において、エンコーダでは、ｓｐｌｉｔ＿ｄｉｒ［ｘＣｂ］［ｙＣｂ］が０に等しい場合に、ｍはｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］にセットされ、ｎはｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］にセットされる。そうでない場合には、ｎがｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］にセットされ、ｍがｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］にセットされる。従って、ｍ及びｎは、デコーダでは次の擬似コードによって表される第３プロセスに従って導出され得る：
ｉｆ（ｓｐｌｉｔ＿ｄｉｒ［ｘＣｂ］［ｙＣｂ］＝＝０）
｛
ｍ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］
ｎ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］
ｎ＝ｎ＋（ｎ＞＝ｍ？１：０）
｝
ｅｌｓｅ
｛
ｎ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］
ｍ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］
ｍ＝ｍ＋（ｍ＞＝ｎ？１：０）
｝
ｉｆ（ｓｐｌｉｔ＿ｄｉｒ［ｘＣｂ］［ｙＣｂ］＝＝０）
｛
ｍ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］
ｎ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］
ｎ＝ｎ＋（ｎ＞＝ｍ？１：０）
｝
ｅｌｓｅ
｛
ｎ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］
ｍ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］
ｍ＝ｍ＋（ｍ＞＝ｎ？１：０）
｝
【0179】
第２の例において、エンコーダでは、ｓｐｌｉｔ＿ｄｉｒ［ｘＣｂ］［ｙＣｂ］が１に等しい場合に、ｍはｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］にセットされ、ｎはｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］にセットされる。そうでない場合には、ｍがｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］にセットされ、ｍがｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］にセットされる。従って、ｍ及びｎは、デコーダでは次の擬似コードによって表される第４プロセスに従って導出され得る：
ｉｆ（ｓｐｌｉｔ＿ｄｉｒ［ｘＣｂ］［ｙＣｂ］＝＝１）
｛
ｍ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］
ｎ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］
ｎ＝ｎ＋（ｎ＞＝ｍ？１：０）
｝
ｅｌｓｅ
｛
ｎ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］
ｍ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］
ｍ＝ｍ＋（ｍ＞＝ｎ？１：０）
｝
ｉｆ（ｓｐｌｉｔ＿ｄｉｒ［ｘＣｂ］［ｙＣｂ］＝＝１）
｛
ｍ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］
ｎ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］
ｎ＝ｎ＋（ｎ＞＝ｍ？１：０）
｝
ｅｌｓｅ
｛
ｎ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］
ｍ＝ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘＣｂ］［ｙＣｂ］
ｍ＝ｍ＋（ｍ＞＝ｎ？１：０）
｝
【0180】
実施形態において、上記の固定又は適応マッピング方法のうちの１つはデフォルトで用いられ、マッピング方法の通知はビットストリームにおいて伝送されない。従って、デコーダは、デフォルトで、各々の擬似コードによって表される上記の４つのプロセスのうちの１つに基づいて、マージインデックスｍ及びｎを決定することができる。
【0181】
対照的に、他の例では、２つのマッピング方法のどちらが使用されるか、又は４つのプロセスのどれが第１及び第２インデックスシンタックス要素をデコーディングするために使用されるべきかを通知するために、シンタックス要素が使用され得る。
【0182】
図２１は、本開示の実施形態に従うＴＰＭプロセス（２１００）を概説するフローチャートを示す。プロセス（２１００）は、再構成中のブロックについて予測ブロックを生成するために、ＴＰＭでコーディングされたブロックの再構成において使用され得る。様々な実施形態において、プロセス（２０００）は、端末デバイス（２１０）、（２２０）、（２３０）及び（２４０）内の処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（７１０）の機能を実行する処理回路などのような処理回路によって実行される。いくつかの実施形態において、プロセス（２１００）は、ソフトウェア命令で実装され、よって、処理回路がソフトウェア命令を実行する場合に、処理回路はプロセス（２１００）を実行する。プロセスは（Ｓ２１０１）から始まり、（Ｓ２１１０）へ進む。
【0183】
（Ｓ２１１０）で、分割方向シンタックス要素、第１インデックスシンタックス要素、及び第２インデックスシンタックス要素が受け取られ得る。分割方向シンタックス要素は、第１又は第２分割方向を示すことができる。これらのシンタックス要素は、ピクチャのコーディンブルオックと関連付けられ得る。コーディングブロックは、三角予測モードによりコーディングされ、第１又は第２分割方向に従って第１三角予測ユニット及び第２三角予測ユニットに分割され得る。
【0184】
（Ｓ２１２０）で、第１及び第２分割方向の両方について、第１及び第２三角予測ユニットについて構成されたマージ候補リストへの第１マージインデックス及び第２マージインデックスが決定され得る。決定は、２つのインデックスシンタックス要素に第１及び第２マージインデックスをマッピングする固定マッピング方法に基づくプロセスを用いることができる。例えば、第１及び第２マージインデックスのうちの第１の１つのマージインデックスは、第１インデックスシンタックス要素の値を有するよう決定され得る。第１及び第２マージインデックスのうちの第２の１つのマージインデックスは、第２インデックスシンタックス要素が第１インデックスシンタックス要素よりも小さい値を有する場合には、第２インデックスシンタックス要素の値を有するよう決定され得る。第１及び第２マージインデックスのうちの第２の１つのマージインデックスは、第２インデックスシンタックス要素が第１インデックスシンタックス要素以上の値を有する場合には、第２インデックスシンタックス要素の値に１をプラスした値を有するよう決定され得る。
【0185】
（Ｓ２１３０）で、テーブルインデックスが、決定された第１及び第２マージインデックス並びに第１又は第２分割方向に基づいて、例えば、上記の式ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘＣｂ］［ｙＣｂ］＝（ｍ＊４＋ｎ－（ｎ＞ｍ？１：０）＊２）＋ｓｐｌｉｔ＿ｄｉｒ［ｘＣｂ］［ｙＣｂ］に基づいて、導出され得る。
【0186】
（Ｓ２１４０）で、コーディングブロックは、第１又は第２分割方向、決定された第１マージインデックス、及び決定された第２マージインデックスに従って再構成され得る。代替的に、テーブルインデックスが導出される場合に、コーディングブロックは、（Ｓ２１３０）で導出されたテーブルインデックスに基づいて再構成され得る。プロセス（２１００）は（Ｓ２１９９）へ進み、（Ｓ２１９９）で終了する。
【0187】
［ＶＩ．コンピュータシステム］
上記の技術は、コンピュータ読み出し可能な命令を使用しかつ１つ以上のコンピュータ可読媒体に物理的に記憶されているコンピュータソフトウェアとして実装可能である。例えば、図２２は、開示されている対象の特定の実施形態を実装することに適したコンピュータシステム（２２００）を示す。
上記の技術は、コンピュータ読み出し可能な命令を使用しかつ１つ以上のコンピュータ可読媒体に物理的に記憶されているコンピュータソフトウェアとして実装可能である。例えば、図２２は、開示されている対象の特定の実施形態を実装することに適したコンピュータシステム（２２００）を示す。
【0188】
コンピュータソフトウェアは、１つ以上の中央演算処理装置（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）などによって直接に又は解釈、マイクロコード実行などを通じて実行され得る命令を含むコードを生成するようにアセンブリ、コンパイル、リンキングなどのメカニズムに従い得る如何なる適切な機械コード又はコンピュータ言語によってもコーディング可能である。
【0189】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、モノのインターネット（Internet of Things）のためのデバイス、などを含む様々なタイプのコンピュータ又はその構成要素で実行可能である。
【0190】
コンピュータシステム（２２００）に関して図２２に示される構成要素は、本質的に例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に関して如何なる制限も示唆することを意図しない。構成要素の構成は、コンピュータシステム（２２００）の例となる実施形態において説明される構成要素のうちのいずれか１つ又は組み合わせに関して何らかの依存又は要件も有するものとして解釈されるべきではない。
【0191】
コンピュータシステム（２２００）は、特定のヒューマンインターフェース入力デバイスを含んでよい。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーボード、スワイプ、データグロープ動作）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず。）を通じた一人以上のユーザによる入力に反応してよい。ヒューマンインターフェースデバイスはまた、音声（例えば、発話、音楽、周囲音）、画像（例えば、スキャンされた画像、静止画カメラから取得された写真画像）、映像（例えば、二次元映像、立体視映像を含む三次元映像）など、人による意識的な入力に必ずしも直接には関係しない特定のメディアを捕捉するためにも使用され得る。
【0192】
入力ヒューマンインターフェースデバイスは、キーボード（２２０１）、マウス（２２０２）、トラックパッド（２２０３）、タッチスクリーン（２２１０）、データグローブ（図示せず。）、ジョイスティック（２２０５）、マイク（２２０６）、スキャナ（２２０７）、カメラ（２２０８）のうちの１つ以上（夫々表されているもののうちの１つのみ）を含んでよい。
【0193】
コンピュータシステム（２２００）は、特定のヒューマンインターフェース出力デバイスも含んでよい。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音響、光、及び匂い／味を通じて一人以上のユーザの感覚を刺激し得る。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（２２１０）、データグローブ（図示せず。）、又はジョイスティック（２２０５）による触覚フィードバック、しかし、入力デバイスとして機能しない触覚フィードバックデバイスも存在し得る。）、音声出力デバイス（例えば、スピーカ（２２０９）、ヘッドホン（図示せず。））、視覚出力デバイス（例えば、夫々タッチスクリーン入力機能の有無によらず、夫々触覚フィードバック機能の有無によらず、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、それらのうちのいくつかは、立体視出力、仮想現実メガネ（図示せず。）、ホログラフィックディスプレイ及びスモークタンク（図示せず。）などの手段により二次元視覚出力又は三次元よりも多い次元の出力を出力可能なスクリーン（２２１０））、及びプリンタ（図示せず。）を含んでよい。
【0194】
コンピュータシステム（２２００）は、人がアクセス可能な記憶デバイス及びそれらの関連する媒体、例えば、ＣＤ／ＤＶＤ又は同様の媒体（２２２１）を伴ったＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（２２２０）、サムドライブ（２２２２）、リムーバブルハードディスク又はソリッドステートドライブ（２２２３）、レガシー磁気媒体、例えば、テープ及びフロッピー（登録商標）ディスク（図示せず。）、専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースデバイス、例えば、セキュリティドングル（図示せず。）、なども含むことができる。
【0195】
当業者であれば、目下開示されている対象に関連して使用されている「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、又は他の一時的な信号を含まないことも理解するはずである。
【0196】
コンピュータシステム（２２００）は、１つ以上の通信ネットワークへのインターフェースも含むことができる。ネットワークは、例えば、ワイヤレス、ワイヤライン、光であることができる。ネットワークは更に、ローカル、ワイドエリア、メトロポリタン、車両及び工業、実時間、遅延耐性、などであることができる。ネットワークの例には、イーサネット（登録商標）などのローカルエリアネットワーク、ワイヤレスＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶを含むＴＶワイヤライン又はワイヤレス広域デジタルネットワーク、ＣＡＮバスを含む車両及び工場ネットワーク、などがある。特定のネットワークは、一般に、特定の汎用デジタルポート又はペリフェラルバス（２２４９）（例えば、コンピュータシステム（２２００）のＵＳＢポートなど）に取り付けられた外付けネットワークインターフェースアダプタを必要とする。他は、一般に、後述されるようなシステムバスへの取り付け（例えば、ＰＣコンピュータシステムへのイーサネットネットワーク、又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）によってコンピュータシステム（２２００）のコアに組み込まれる。これらのネットワークのいずれかを使用して、コンピュータシステム（２２００）は他のエンティティと通信することができる。そのような通信は、単方向の受信専用（例えば、ブロードキャストＴＶ）又は単方向の送信専用（例えば、特定のＣＡＮバスデバイスへのＣＡＮバス）であることができ、あるいは、例えば、ローカル若しくは広域デジタルネットワークを使用して他のコンピュータシステムに対して双方向であることができる。特定のプロトコル又はプロトコルスタックが、上述されたようなネットワーク及びネットワークインターフェースの夫々で使用可能である。
【0197】
上記のヒューマンインターフェースデバイス、人がアクセス可能な記憶デバイス、及びネットワークインターフェースは、コンピュータシステム（２２００）のコア（２２４０）へ取り付けられ得る。
【0198】
コア（２２４０）は、１つ以上の中央演算処理装置（ＣＰＵ）（２２４１）、グラフィクス処理ユニット（ＧＰＵ）（２２４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（２２４３）の形をとる専用のプログラム可能処理ユニット、特定のタスクのためのハードウェアアクセラレータ（２２４４）、などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（２２４５）、ランダムアクセスメモリ（ＲＡＭ）（２２４６）、内部のユーザアクセス不能ハードドライブなどの内蔵大容量記憶装置、ＳＳＤ、など（２２４７）とともに、システムバス（２２４８）を通じて接続されてよい。いくつかのコンピュータシステムでは、システムバス（２２４８）は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするように、１つ以上の物理プラグの形でアクセス可能であることができる。コアのシステムバス（２２４８）へ直接に又はペリフェラルバス（２２４９）を通じて、周辺機器が取り付けられ得る。ペリフェラルバスのためのアーキテクチャには、ＰＣＩ、ＵＳＢなどがある。
【0199】
ＣＰＵ（２２４１）、ＧＰＵ（２２４２）、ＦＰＧＡ（２２４３）、及びアクセラレータ（２２４４）は、組み合わせて上記のコンピュータコードを構成することができる特定の命令を実行可能である。そのコンピュータコードは、ＲＯＭ（２２４５）又はＲＡＭ（２２４６）に記憶され得る。一時データもＲＡＭ（２２４６）に記憶可能であり、一方、永続性データは、例えば、内蔵大容量記憶装置（２２４７）に記憶可能である。メモリデバイスのいずれかへの高速な格納及び読み出しは、キャッシュメモリの使用により可能にされ得る。キャッシュメモリは、１つ以上のＣＰＵ（２２４１）、ＧＰＵ（２２４２）、大容量記憶装置（２２４７）、ＲＯＭ（２２４５）、ＲＡＭ（２２４６）などと密接に関連し得る。
【0200】
コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構成されたものであることができ、あるいは、それらは、コンピュータソフトウェア技術で通常の知識を有する者によく知られており利用可能である種類のものであることができる。
【0201】
例として、限定としてではなく、アーキテクチャ（２２００）、具体的にはコア（２２４０）を有するコンピュータシステムは、１つ以上の有形なコンピュータ可読媒体において具現されているソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、などを含む。）の結果として機能を提供することができる。そのようなコンピュータ可読媒体は、コア内蔵大容量記憶装置（２２４７）又はＲＯＭ（２２４５）などの、非一時的な性質であるコア（２２４０）の特定の記憶装置に加えて、先に紹介されたユーザアクセス可能な大容量記憶装置に関連した媒体であることができる。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア（２２４０）によって実行可能である。コンピュータ可読媒体には、特定のニーズに応じて、１つ以上のメモリデバイス又はチップが含まれ得る。ソフトウェアは、コア（２２４０）、及び、具体的には、その中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む。）に、ＲＡＭ（２２４６）に記憶されているデータ構造を定義し、ソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を変更することを含め、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。追加的に、又は代替案として、コンピュータシステムは、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに又はそれとともに動作することができる、回路内でハードウェアにより実現されるか又は別なふうに具現されるロジックの結果として、機能を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを包含することができ、その逆も同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶している回路（例えば、集積回路（ＩＣ））、実行のためのロジックを具現する回路、又は両方を包含することができる。本開示は、ハードウェア及びソフトウェアの如何なる適切な組み合わせも包含する。
【0202】
付録Ａ：頭字語
ＪＥＭ：joint exploration model
ＶＶＣ：versatile video coding
ＢＭＳ：benchmark set
ＭＶ：Motion Vector
ＨＥＶＣ：High Efficiency Video Coding
ＳＥＩ：Supplementary Enhancement Information
ＶＵＩ：Video Usability Information
ＧＯＰ：Group(s) of Pictures
ＴＵ：Transform Unit(s)
ＰＵ：Prediction Unit(s)
ＣＴＵ：Coding Tree Unit(s)
ＣＴＢ：Coding Tree Block(s)
ＰＢ：Prediction Block(s)
ＨＲＤ：Hypothetical Reference Decoder
ＳＮＲ：Signal Noise Ratio
ＣＰＵ：Central Processing Unit(s)
ＧＰＵ：Graphics Processing Unit(s)
ＣＲＴ：Cathode Ray Tube
ＬＣＤ：Liquid-Crystal Display
ＯＬＥＤ：Organic Light-Emitting Diode
ＣＤ：Compact Disc
ＤＶＤ：Digital Video Disc
ＲＯＭ：Read-Only Memory
ＲＡＭ：Random Access Memory
ＡＳＩＣ：Application-Specific Integrated Circuit
ＰＬＤ：Programmable Logic Device
ＬＡＮ：Local Area Network
ＧＳＭ：Global System for Mobile communications
ＬＴＥ：Long Term Evolution
ＣＡＮＢｕｓ：Controller Area Network Bus
ＵＳＢ：Universal Serial Bus
ＰＣＴ：Peripheral Component Interconnect
ＦＰＧＡ：Field Programmable Gate Areas
ＳＳＤ：Solid-State Drive
ＩＣ：Integrated Circuit
ＣＵ：Coding Unit
ＨＭＶＰ：History-based MVP
ＭＶＰ：Motion Vector Predictor
ＴＭＶＰ：Temporal MVP
ＴＰＭ：Triangular Prediction Mode
ＶＴＭ：Versatile Test Model
ＪＥＭ：joint exploration model
ＶＶＣ：versatile video coding
ＢＭＳ：benchmark set
ＭＶ：Motion Vector
ＨＥＶＣ：High Efficiency Video Coding
ＳＥＩ：Supplementary Enhancement Information
ＶＵＩ：Video Usability Information
ＧＯＰ：Group(s) of Pictures
ＴＵ：Transform Unit(s)
ＰＵ：Prediction Unit(s)
ＣＴＵ：Coding Tree Unit(s)
ＣＴＢ：Coding Tree Block(s)
ＰＢ：Prediction Block(s)
ＨＲＤ：Hypothetical Reference Decoder
ＳＮＲ：Signal Noise Ratio
ＣＰＵ：Central Processing Unit(s)
ＧＰＵ：Graphics Processing Unit(s)
ＣＲＴ：Cathode Ray Tube
ＬＣＤ：Liquid-Crystal Display
ＯＬＥＤ：Organic Light-Emitting Diode
ＣＤ：Compact Disc
ＤＶＤ：Digital Video Disc
ＲＯＭ：Read-Only Memory
ＲＡＭ：Random Access Memory
ＡＳＩＣ：Application-Specific Integrated Circuit
ＰＬＤ：Programmable Logic Device
ＬＡＮ：Local Area Network
ＧＳＭ：Global System for Mobile communications
ＬＴＥ：Long Term Evolution
ＣＡＮＢｕｓ：Controller Area Network Bus
ＵＳＢ：Universal Serial Bus
ＰＣＴ：Peripheral Component Interconnect
ＦＰＧＡ：Field Programmable Gate Areas
ＳＳＤ：Solid-State Drive
ＩＣ：Integrated Circuit
ＣＵ：Coding Unit
ＨＭＶＰ：History-based MVP
ＭＶＰ：Motion Vector Predictor
ＴＭＶＰ：Temporal MVP
ＴＰＭ：Triangular Prediction Mode
ＶＴＭ：Versatile Test Model
【0203】
本開示は、いくつかの例となる実施形態について記載してきたが、本開示の範囲内にある代替、交換、及び様々な置換均等物が存在する。よって、明らかなように、当業者であれば、たとえ本明細書で明示的に図示又は説明されていないとしても、本開示の原理を具現し、よって、その精神及び範囲の中にある多数のシステム及び方法に想到可能である。
【0204】
［参照による援用］
本開示は、「Merge List Construction in Triangular Prediction」と題されて２０１９年１月２４日付けで出願された米国特許仮出願第６２／７９６５２２号及び「Derivation of Triangular Prediction Indices」と題されて２０１８年１２月３１日付けで出願された米国特許仮出願第６２／７８７０２９号の優先権の利益を主張して「Method and Apparatus for Video Coding」と題されて２０１９年８月７日付けで出願された米国特許出願第１６／５３４０２６号の優先権の利益を主張するものである。これらの先願の全開示は、その全文を参照により本願に援用される。
本開示は、「Merge List Construction in Triangular Prediction」と題されて２０１９年１月２４日付けで出願された米国特許仮出願第６２／７９６５２２号及び「Derivation of Triangular Prediction Indices」と題されて２０１８年１２月３１日付けで出願された米国特許仮出願第６２／７８７０２９号の優先権の利益を主張して「Method and Apparatus for Video Coding」と題されて２０１９年８月７日付けで出願された米国特許出願第１６／５３４０２６号の優先権の利益を主張するものである。これらの先願の全開示は、その全文を参照により本願に援用される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18A】
【図18B】
【図18C】
【図18D】
【図19】
【図20】
【図21】
【図22】
