特表 2024-508303 ビデオストリームのインター予測ビデオブロックをデコードする方法及び電子デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-26

(54)【発明の名称】ビデオストリームのインター予測ビデオブロックをデコードする方法及び電子デバイス

(51)【国際特許分類】

   H04N 19/52 20140101AFI20240216BHJP

   H04N 19/523 20140101ALI20240216BHJP

   H04N 19/46 20140101ALI20240216BHJP

【ＦＩ】

H04N19/52

H04N19/523

H04N19/46

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023553176

(86)(22)【出願日】2022-04-13

(85)【翻訳文提出日】2023-09-01

(86)【国際出願番号】 US2022024633

(87)【国際公開番号】W WO2023069140

(87)【国際公開日】2023-04-27

(31)【優先権主張番号】63/270,397

(32)【優先日】2021-10-21

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/289,122

(32)【優先日】2021-12-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/708,801

(32)【優先日】2022-03-30

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ジャオ，リアン

(72)【発明者】

【氏名】ジャオ，シン

(72)【発明者】

【氏名】リウ，シャン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA05

5C159NN11

5C159NN14

5C159NN21

5C159NN28

5C159RC16

5C159RC38

5C159UA02

5C159UA05

(57)【要約】

本開示は、ビデオブロックをインター予測するための運動ベクトル差分のエンコーディング及びデコーディングに関する。ビデオストリームのインター予測ビデオブロックをデコーディングするための実施例が開示されている。本方法は、インター予測ビデオブロックに関連付けられた動きベクトルが、動きベクトルと参照動きベクトルとの間の動きベクトル差分（ＭＶＤ）としてエンコードされることを決定するステップと；ビデオストリームから、動きベクトル差分についての複数の所定の大きさ範囲の中のＭＶＤの大きさ範囲の表示を取得するステップと；大きさ範囲に従ってＭＶＤのためのピクセル解像度を決定するステップと；ピクセル解像度に基づいてビデオストリーム内の付加的なＭＶＤ情報を識別するステップと；ビデオストリームから付加的なＭＶＤ情報を抽出するステップと；動きベクトルに関連付けられる基準フレーム、基準動きベクトル、付加的なＭＶＤ情報、及びピクセル解像度に基づいてインター予測ビデオブロックをデコードするステップと、を含む。

【特許請求の範囲】

【請求項1】

デコーダによって実行される、ビデオストリームのインター予測ビデオブロックをデコードする方法であって：
前記ビデオストリームを受信するステップと；
前記インター予測ビデオブロックと関連付けられた参照動きベクトルと動きベクトルとの間の動きベクトル差分（ＭＶＤ）がビデオストリーム内でシグナリングされることを決定するステップであって、前記参照動きベクトルは、ＭＶＤが２つの参照画像に対して共同でシグナリングされない限り、参照フレームリスト０及び参照フレームリスト１のうちの１つのみの参照画像に対応する、ステップと；
前記ビデオストリームから、前記動きベクトル差分についての複数の所定の大きさ範囲の中の前記ＭＶＤの大きさ範囲の表示を取得するステップと；
前記大きさ範囲に従って前記ＭＶＤのためのピクセル解像度を決定するステップと；
前記ピクセル解像度に基づいて前記ビデオストリーム内の付加的なＭＶＤ情報を識別するステップと；
前記ビデオストリームから前記付加的なＭＶＤ情報を抽出するステップと；
前記動きベクトルに関連付けられる参照フレーム、前記参照動きベクトル、前記付加的なＭＶＤ情報、及び前記ピクセル解像度に基づいて前記インター予測ビデオブロックをデコードするステップと、
を含む方法。

【請求項2】

ピクセル解像度は２ｎ－ｐｅｌ（２ｎピクセル）であり、ｎは整数であり、－６以上１１以下である、
請求項１記載の方法。

【請求項3】

動きベクトル差分についての前記複数の所定の大きさ範囲は、所定の方法で、非昇順のピクセル解像度と関連付けられ、より高いピクセル解像度は、より小さいピクセル解像度値と関連付けられる、
請求項１記載の方法。

【請求項4】

前記ＭＶＤの大きさ範囲の表示を取得するステップは：
ＭＶＤクラスの所定のセットの中のＭＶＤのＭＶＤクラスを示す前記ビデオストリームから第１所定構文要素を抽出するステップであって、より低いＭＶＤクラスはより小さいＭＶＤ大きさ範囲に対応する、ステップと；
前記ＭＶＤクラスに従って前記ＭＶＤの大きさ範囲を決定するステップと；を含む、
請求項１乃至３いずれか１項記載の方法。

【請求項5】

前記大きさ範囲に従って前記ＭＶＤのための前記ピクセル解像度を決定するステップは：
前記大きさ範囲が所定のＭＶＤ範囲閾値レベルよりも高いかどうかを決定するステップと；
前記大きさ範囲が前記所定のＭＶＤ範囲閾値レベルよりも高いかどうかを決定すると、前記ピクセル解像度が整数のピクセル数であることを決定するステップと；
前記大きさ範囲が前記所定のＭＶＤ範囲閾値レベルよりも高いかどうかを決定すると、前記ピクセル解像度がピクセルの部分であることを決定するステップと、を含む
請求項４記載の方法。

【請求項6】

前記ピクセル解像度に基づいて前記ビデオストリームの付加的なＭＶＤ情報を識別するステップは：
第２所定構文要素に従って前記ビデオストリームをパースし、前記ＭＶＤの整数ピクセル部分を取得する、ステップと；
前記ピクセル解像度がピクセルの部分であると決定すると、少なくとも第３所定構文要素に従って前記ビデオストリームをさらにパースし、前記ＭＶＤの分数ピクセル部分を取得する、ステップと、を含む、
請求項５記載の方法。

【請求項7】

前記ＭＶＤ範囲閾値のレベルは、ＭＶＤクラスの所定のセットの中で最も低いもの又は２番目に低いものを含む、
請求項５記載の方法。

【請求項8】

前記所定のＭＶＤ範囲閾値レベルよりも高い大きさ範囲を有するＭＶＤクラスの所定のセットのそれぞれは、単一の許容される整数ＭＶＤピクセル値に関連付けられる、
請求項５記載の方法。

【請求項9】

前記単一の許容される整数ピクセル値は、対応する大きさ範囲のうちのより高いものに対応するピクセル値を含む、
請求項８記載の方法。

【請求項10】

前記単一の許容される整数ピクセル値は、対応する大きさ範囲のうちの中間点に対応するピクセル値を含む、
請求項８記載の方法。

【請求項11】

前記大きさ範囲に従って前記ＭＶＤのためのピクセル解像度を決定するステップは：
前記大きさ範囲が、ＭＶＤ閾値の所定の大きさ値よりも、低いか、含むか、又は高いかを決定する、ステップと、
前記大きさ範囲が前記ＭＶＤ閾値の所定の大きさ値よりも高いことを決定することで、前記ピクセル解像度が整数のピクセル数であることを決定するステップと、
前記大きさ範囲が前記ＭＶＤ閾値の所定の大きさ値よりも高くないことを決定することで、前記ピクセル解像度がピクセルの部分であると決定するステップと、を含む、
請求項６記載の方法。

【請求項12】

前記大きさ範囲が前記ＭＶＤ閾値の所定の大きさ値を含むことを決定することで、前記ＭＶＤの大きさ範囲の開始大きさに関連する前記ＭＶＤのＭＶＤ大きさオフセットを示す前記ビデオストリームから、第２所定構文要素を抽出する、ステップと；
前記ＭＶＤの前記ＭＶＤ大きさオフセット及び前記大きさ範囲に基づいて前記ＭＶＤの整数の大きさを取得するステップと；
前記ＭＶＤの前記整数の大きさが前記ＭＶＤ閾値の所定の大きさよりも高くない場合、前記ピクセル解像度が分数であると決定するステップと；
前記ＭＶＤの前記整数の大きさが前記ＭＶＤ閾値の所定の大きさよりも高い場合、前記ピクセル解像度が非分数であると決定するステップと、を含む、
請求項１１記載の方法。

【請求項13】

前記ピクセル解像度が分数であると決定すると、
前記ピクセル解像度に基づいて前記ビデオストリームの付加的なＭＶＤ情報を識別するステップは：
第３所定構文要素に従って前記ビデオストリームをパースし、前記ＭＶＤの分数部分を取得する、ステップ、を含む、
請求項１２記載の方法。

【請求項14】

前記ＭＶＤ閾値の大きさ値は４ピクセルより小さい、
請求項１１記載の方法。

【請求項15】

動きベクトル差分の複数の所定の大きさ範囲に関連付けられたＭＶＤピクセル解像度は、大きさ範囲ごとに異なる、
請求項１乃至３いずれか１項記載の方法。

【請求項16】

デコーダによって実行される、ビデオストリームのインター予測ビデオブロックをデコードする方法であって：
ビデオストリームを受信するステップと；
前記インター予測ビデオブロックと関連付けられた参照動きベクトルと動きベクトルとの間の動きベクトル差分（ＭＶＤ）がビデオストリーム内でシグナリングされることを決定するステップであって、前記参照動きベクトルは、前記ＭＶＤが２つの参照画像に対して共同でシグナリングされない限り、参照フレームリスト０及び参照フレームリスト１のうちの１つのみの参照画像に対応する、ステップと；
前記ビデオストリームから、前記ＭＶＤの大きさの整数部分を抽出するステップと；
前記ＭＶＤの前記大きさの前記整数部分に従って前記ＭＶＤのためのピクセル解像度を決定するステップと；
前記ピクセル解像度に基づいて前記ビデオストリームの付加的なＭＶＤ情報を識別するステップと：
前記動きベクトルに関連付けられる参照フレーム、前記参照動きベクトル、前記付加的なＭＶＤ情報、前記ＭＶＤの前記大きさの前記整数部分及び前記ピクセル解像度に基づいて前記インター予測ビデオブロックをデコードするステップと、
を含む方法。

【請求項17】

ＭＶＤピクセル解像度は、昇順ではなく、ＭＶＤ大きさに依存する、
請求項１６記載の方法。

【請求項18】

前記ＭＶＤの前記大きさの前記整数部分に従って前記ＭＶＤのためのピクセル解像度を決定するステップは：
前記ＭＶＤの前記大きさの前記整数部分が所定のＭＶＤ閾値大きさ値より高いかどうか決定するステップと；
前記ＭＶＤの前記大きさの前記整数部分が前記所定のＭＶＤ閾値大きさ値よりも高いことを決定することで、前記ピクセル解像度が整数のピクセル数であることを決定するステップと；
前記ＭＶＤの前記大きさの前記整数部分が前記所定のＭＶＤ閾値大きさ値よりも高くないことを決定することで、前記ピクセル解像度がピクセルの部分であると決定するステップと、を含む、
請求項１６又は１７記載の方法。

【請求項19】

ビデオストリームのインター予測ビデオブロックをデコードするための電子デバイスであって、前記電子デバイスは、コンピュータ命令を格納するメモリと、前記メモリと通信するプロセッサとを備え、
前記プロセッサは、前記コンピュータ命令を実行するときに、電子デバイスに：
前記ビデオストリームを受信させ；
前記インター予測ビデオブロックと関連付けられた参照動きベクトルと動きベクトルとの間の動きベクトル差分（ＭＶＤ）がビデオストリーム内でシグナリングされることを決定させ、前記参照動きベクトルは、ＭＶＤが２つの参照画像に対して共同でシグナリングされない限り、参照フレームリスト０と参照フレームリスト１のうちの１つだけの基準画像に対応し；
前記ビデオストリームから、動きベクトル差分についての複数の所定の大きさ範囲のうち、前記ＭＶＤの大きさ範囲の表示を取得させ；
前記大きさ範囲に従って前記ＭＶＤのためのピクセル解像度を決定させ；
前記ピクセル解像度に基づいて前記ビデオストリームの付加的なＭＶＤ情報を識別させ；
前記ビデオストリームから前記付加的なＭＶＤ情報を抽出させ；
前記動きベクトルに関連付けられる参照フレーム、前記参照動きベクトル、前記付加的なＭＶＤ情報、及び前記ピクセル解像度に基づいて前記インター予測ビデオブロックをデコードさせる、ように構成されている、
電子デバイス。

【請求項20】

ビデオストリームのインター予測ビデオブロックをデコードするための電子デバイスであって、前記電子デバイスは、コンピュータ命令を格納するメモリと、前記メモリと通信するプロセッサとを備え、
前記プロセッサは、前記コンピュータ命令を実行するときに、前記電子デバイスに請求項１６又は１７記載の方法を実行させるように構成されている、
電子デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

参照による援用
この国際ＰＣＴ出願は、２０２１年１０月２１日に出願された米国仮特許出願第６３／２７０，３９７号及び２０２１年１２月１３日に出願された米国仮特許出願第６３／２８９，１２２号の 「Ａｄａｐｔｉｖｅ Ｒｅｓｏｌｕｔｉｏｎ ｆｏｒ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ」 に基づき、その優先権を主張する２０２２年３月３０日に出願された優先権米国非仮特許出願第１７／７０８，８０１号に基づき、その利益を主張する。これらの先行特許出願は、その全体が参照により本明細書に組み込まれる。

【0002】

技術分野
この開示は、概してビデオコーディング、特にビデオブロックのインター予測における動きベクトル差分に対する適応解像度を提供するための方法及びシステムに関する。

【背景技術】

【0003】

本明細書で提供される背景説明は、本開示のコンテキストを全般的に提示するためのものである。現在名前を挙げている発明者の研究は、この背景セクションに記載されている限りにおいて、本出願の出願時に先行技術として認められない可能性のある説明の態様は、本開示に対する先行技術として明示的にも黙示的にも認められない。

【0004】

ビデオコーディングとデコーディングは、動き補正を伴うインター画像予測（ｉｎｔｅｒ－ｐｉｃｔｕｒｅ ｐｒｅｄｉｃｔｉｏｎ）を用いて行うことができる。非圧縮ディジタルビデオは、一連の画像を含むことができ、各画像は、例えば、１９２０×１０８０の輝度サンプル及び関連するフル又はサブサンプルのクロミナンスサンプルの空間寸法を有する。一連の画像は、例えば、毎秒６０画像又は毎秒６０フレームの固定又は可変の画像レート（又はフレームレートと称される）を有することができる。非圧縮ビデオには、スツリーミング又はデータ処理のための特定のビットレート要件がある。例えば、ピクセル解像度が１９２０×１０８０、フレームレートが６０フレーム／秒、カラーチャネルあたりピクセルあたり８ビットで４：２：０のクロマサブサンプリングを行うビデオには、１．５Ｇｂｉｔ／ｓ近い帯域幅が必要である。このようなビデオの１時間は、６００Ｇバイトを超えるストレージ領域を必要とする。

【0005】

ビデオコーディング及びデコーディングの１つの目的は、圧縮を介した非圧縮入力ビデオ信号の冗長性の低減である。圧縮は、前述の帯域幅やストレージスペースの要件を、場合によっては２桁以上削減するのに役立つ。可逆圧縮と非可逆圧縮の両方、及びそれらの組み合わせを用いることができる。可逆圧縮とは、圧縮された元の信号からデコードプロセスを介して元の信号の正確なコピーを再構築できる技術を指す。非可逆圧縮とは、元のビデオ情報がコーディング中に完全に保持されず、デコード中に完全に回復できないコーディング／デコードプロセスを指す。非可逆圧縮を使用する場合、再構成された信号は元の信号と同一ではない可能性があるが、元の信号と再構成された信号の間の歪みは十分に小さくなり、再構成された信号は、多少の情報損失はあるが、目的のアプリケーションに役立つようになる。ビデオの場合、非可逆圧縮は多くのアプリケーションで広く採用されている。許容できる歪みの量はアプリケーションによって異なる。例えば、特定の消費者向けビデオスツリーミングアプリケーションのユーザは、映画やテレビ放送アプリケーションのユーザよりも高い歪みを許容する場合がある。特定のコーディングアルゴリズムによって達成可能な圧縮比は、さまざまな歪み許容度を反映するように選択又は調整できる。一般に、許容可能な歪みが大きいほど、損失が大きく圧縮比が高いコーディングアルゴリズムが可能になる。

【0006】

ビデオエンコーダ及びデコーダは、動き補償、フーリエ変換、量子化、エントロピーコーディングなど、いくつかの広範なカテゴリとステップの技術を利用することができる。

【0007】

ビデオコーデック技術は、イントラコーディングとして知られる技術を含むことができる。イントラコーディングでは、サンプル値は、以前に再構成された参照画像からのサンプル又は他のデータを参照することなく表現される。いくつかのビデオコーデックでは、画像は空間的にサンプルのブロックに細分割（ｓｕｂｄｉｖｉｄｅｄ）される。サンプルのすべてのブロックがイントラモードでコーディングされている場合、その画像はイントラ画像と称されことができる。イントラ画像と、独立デコーダリフレッシュ画像等のそれらの派生物は、デコーダ状態をリセットするために用いられることができ、したがって、コーディングされたビデオビットスツリーム及びビデオセッションにおける第１画像として、又は静止画像として用いられることができる。イントラ予測後のブロックのサンプルは、その後、周波数ドメインへの変換を受けることができ、そのように生成された変換係数は、エントロピーコーディングの前に量子化されることができる。イントラ予測は、変換前ドメインにおけるサンプル値を最小化する技術を表す。場合によっては、変換後のＤＣ値がより小さく、ＡＣ係数がより小さいほど、エントロピーコーディング後にブロックを表すための所与の量子化ステップサイズで必要なビットが少なくなる。

【0008】

例えばＭＰＥＧ－２世代のコーディング技術から知られるような従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、一部のより新しいビデオ圧縮技術には、例えば、空間的に隣接するのエンコーディング及び／又はデコーディング中に取得された周囲のサンプルデータ及び／又はメタデータに基づいてブロックのコーディング／デコーディングを試みる、デコーディング順序において、イントラコーディング又はデコーディングされるデータのブロックに先行する技術が含まれている。このような技術は、以後「イントラ予測」技術と称される。少なくともいくつかのケースでは、イントラ予測は再構成中の現在の画像からの参照データのみを使用し、他の参照画像からの参照データは使用しないことに留意されたい。

【0009】

さまざまな形式のイントラ予測があり得る。かかる技術のうちの１つ以上が、所与のビデオコーディング技術において用いられることができる場合、使用中の技術は、イントラ予測モードと称されるされることができる。特定のコーデックでは、１つ以上のイントラ予測モードが提供され得る。特定のケースでは、モードはサブモードを有することができ、及び／又はさまざまなパラメータに関連付けることができ、モード／サブモード情報とビデオブロックのイントラコーディングパラメータは、個別に又はモードコードワードにまとめてコーディングされることができる。所与のモード、サブモード、及び／又はパラメータの組み合わせに使用するコードワードは、イントラ予測によるコーディング効率の向上に影響を与えることができ、したがって、コードワードをビットスツリームに変換するために使用されるエントロピーコーディングテクノロジーも影響を及ぼすことができる。

【0010】

特定のイントラ予測モードがＨ．２６４で導入され、Ｈ．２６５で改良され、共同探索モデル（ＪＥＭ：ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ）、汎用ビデオコーディング（ＶＶＣ：ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）、及びベンチマークセット（ＢＭＳ：ｂｅｎｃｈｍａｒｋ ｓｅｔ）等のより新しいコーディング技術でさらに改良された。概して、イントラ予測ではは予測ブロックを利用可能になった隣接するサンプル値を使用して形成されることができる。例えば、特定の方向及び／又はラインに沿った隣接するサンプルの特定のセットの利用可能な値を予測ブロックにコピーできる。使用中の方向への参照は、ビットスツリームでコーディングされることができ、又はそれ自体が予測されることがある。

【0011】

図１Ａを参照すると、右下に示されているのは、（Ｈ．２６５で指定された３５個のイントラモードの３３個の角度モードに対応する、）Ｈ．２６５の３３個の可能なイントラ予測子方向で指定された９個の予測子方向のサブセットである。矢印が集中する点（１０１）は、予測されているサンプルを表す。矢印は、隣接するサンプルを使用して１０１のサンプルを予測する方向を表す。例えば、矢印（１０２）は、横方向から４５度の角度で、隣接する複数のサンプルから右上にサンプル（１０１）が予測されることを示す。同様に、矢印（１０３）は、横方向から２２．５度の角度で、隣接する複数のサンプルからサンプル（１０１）の左下にサンプル（１０１）が予測されることを示します。

【0012】

さらに図１Ａを参照すると、左上には、４×４サンプルの正方形ブロック（１０４）が示されている（破線の太線で示されている）。正方形ブロック（１０４）は、１６個のサンプルを含み、各サンプルは「Ｓ」でラベル付けされ、Ｙ次元におけるその位置（例えば、行インデックス）及びＸ次元におけるその位置（例えば、列インデックス）を含む。例えば、サンプルＳ２１は、Ｙ次元の（頂部から）２番目のサンプル及びＸ次元の（左側から）１番目のサンプルである。同様に、サンプルＳ４４は、ブロック（１０４）内でＹ及びＸ次元の両方において４番目のサンプルである。ブロックのサイズが４×４サンプルであるので、Ｓ４４は右下にある。さらに、同様の番号付けスキームにしたがった参照サンプルの例を示す。参照サンプルは、Ｒ、ブロック（１０４）に対するそのＹ位置（例えば、行インデックス）及びＸ位置（列インデックス）でラベル付けされる。Ｈ．２６４とＨ．２６５の両方で、再構成中のブロックに隣接する予測サンプルが使用される。

【0013】

ブロック１０４のイントラ画像予測は、シグナリングされた予測方向に従って、隣接するサンプルから参照サンプル値をコピーすることによって開始することができる。例えば、コーディングされたビデオビットスツリームは、このブロック１０４について、矢印（１０２）の予測方向を示すシグナリングが含まれていると仮定すると、つまり、サンプルは１つ以上の予測サンプルから右上に、水平方向から４５度の角度で予測される。かかる場合、サンプルＳ４１、Ｓ３２、Ｓ２３、及びＳ１４は同じ参照サンプルＲ０５から予測される。その後、サンプルＳ４４は、参照サンプルＲ０８から予測される。

【0014】

特定の場合には、特に方向が４５度で均等に割り切れない場合には、参照サンプルを計算するために、複数の参照サンプルの値を、例えば内挿によって組み合わせることができる。

【0015】

ビデオコーディング技術の発達に伴って可能性のある方向の数が増加している。例えば、Ｈ．２６４（２００３年）では、イントラ予測には９つの異なる方向が利用可能である。これは、Ｈ．２６５（２０１３年）で３３に増加し、本開示時の時点では、ＪＥＭ／ＶＶＣ／ＢＭＳは、最大６５の方向性をサポートできる。最適なイントラ予測方向を特定するのに役立つ実験的研究が行われており、エントロピーコーディングの特定の技術を使用して、それらの最適な方向を少数のビットでエンコードし、方向に対して特定のビットペナルティを受け入れることができる。さらに、デコードされた隣接ブロックのイントラ予測で使用される隣接方向から方向自体を予測できる場合もある。

【0016】

図１Ｂは、時間の経過とともに開発された様々なエンコーディング技術における予測方向の数の増加を示すために、ＪＥＭによる６５のイントラ予測方向を示す概略図（１８０）を示す。

【0017】

イントラ予測方向を表すビットをコーディングされたビデオビットスツリームにおける予測方向にマッピングする方法は、ビデオコーディング技術によって異なる場合があり：例えば、予測方向の単純な直接マッピングから、イントラ予測モード、コード名、最も可能性の高いモードを含む複合適応方式、及び類似の技術にまで及ぶことができる。しかしながら、どのような場合でも、イントラ予測には、他の特定の方向よりも統計的にビデオコンテンツで発生する可能性が低い特定の方向が存在する可能性がある。ビデオ圧縮の目的は冗長性の削減であるため、適切に設計されたビデオコーディング技術では、それらの可能性の低い方向は、可能性の高い方向よりも多くのビット数で表される可能性がある。

【0018】

インター画像予測又はインター予測は、動き補償に基づいている場合がある。動き補正は、以前に再構成された画像又はその一部（参照画像）からのサンプルデータを、動きベクトル（以下ＭＶ）で示される方向に空間的にシフトした後、新しく再構成された画像又は画像部分（例：ブロック）の予測に使用することができる。場合によっては、参照画像は現在再構成中の画像と同一であることもできる。ＭＶは、Ｘ及びＹの２次元、又は３次元を有することができ、第３次元は、使用中の参照画像の表示である（時間次元に類似する）。

【0019】

いくつかのビデオ圧縮技術では、サンプルデータの特定のエリアに適用可能な現在のＭＶは、他のＭＶから予測されることができ、例えば、再構築中のエリアに空間的に隣接し、デコード順で現在のＭＶよりも先行するサンプルデータの他のエリアに関連する他のＭＶから予測されることができる。このようにして、相関ＭＶの冗長性を除去することに依存することで、ＭＶのコーディングに必要なデータの全体量を大幅に低減でき、圧縮効率を高めることができる。ＭＶ予測は、例えば、カメラから導かれる入力映像信号（自然映像として知られる）をコーディングする場合、１つのＭＶが適用されるエリアよりも大きなエリアが、映像シーケンス内で類似の方向に移動する統計的な可能性があるため、場合によっては、隣接エリアのＭＶから導かれる類似の動きベクトルを使用して予測することができるため、効果的に機能する。その結果、所与のエリアの実際のＭＶは、周囲のＭＶから予測されるＭＶと類似又は同一になる。かかるＭＶは、エントロピーコーディングの後、ＭＶが隣接する（１つ以上の）ＭＶから予測されるのではなく直接コーディングされる場合に使用されるビット数よりも少ないビット数で表されることがある。場合によっては、ＭＶ予測は、元の信号（すなわち、サンプルスツリーム）から導出された信号（すなわち、ＭＶ）の可逆圧縮の例であり得る。他の場合には、ＭＶ予測それ自体は、例えば、いくつかの周囲ＭＶから予測子を計算する際の丸め誤差のために、非可逆的であり得る。

【0020】

様々なＭＶ予測メカニズムがＨ．２６５／ＨＥＶＣ （ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６５， Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ， Ｄｅｃｅｍｂｅｒ ２０１６）に、記述されている。Ｈ．２６５で規定されている多くのＭＶ予測メカニズムのうち、以下で説明するのは、以降「空間マージ」と称される技術である。

【0021】

詳しくは、図２を参照すると、現在ブロック（２０１）は、空間的にシフトされた同じサイズの以前のブロックから予測可能であることが、モーションサーチプロセス中にエンコーダによって見出されたサンプルを含む。そのＭＶを直接コーディングする代わりに、１つ以上の参照画像に関連付けられたメタデータから、例えば、Ａ０、Ａ１、及びＢ０、Ｂ１、Ｂ２（それぞれ２０２から２０６）と示される５つの周囲のサンプルのいずれかに関連付けられたＭＶを使用して、（デコード順において）最新の参照画像から、ＭＶを導出することができる。Ｈ．２６５では、ＭＶ予測は、隣接ブロックが使用しているのと同じいくつかの参照画像からの予測子を使用することができる。

【発明の概要】

【0022】

まとめ
本開示は、概してビデオコーディングに関連し、特にビデオブロックのインター予測における動きベクトル差分の適応解像度を提供するための方法及びシステムに関連する。一実施形態では、ビデオストリームのインター予測ビデオブロックをデコードする方法であって：方法は、ビデオストリームを受信するステップと；インター予測ビデオブロックと関連付けられた参照動きベクトルと動きベクトルとの間の動きベクトル差分（ＭＶＤ）がビデオストリーム内でシグナリングされることを決定するステップであって、参照動きベクトルは、ＭＶＤが２つの参照画像に対して共同でシグナリングされない限り、参照フレームリスト０と参照フレームリスト１のうちの１つだけの参照画像に対応し；ビデオストリームから、動きベクトル差分についての複数の所定の大きさ範囲のうち、ＭＶＤの大きさ範囲の表示を取得するステップと；大きさ範囲に従ってＭＶＤのためのピクセル解像度を決定するステップと；ピクセル解像度に基づいてビデオストリーム内の付加的なＭＶＤ情報を識別するステップと；ビデオストリームから付加的なＭＶＤ情報を抽出するステップと；動きベクトルに関連付けられる参照フレーム、参照動きベクトル、付加的なＭＶＤ情報、及びピクセル解像度に基づいてインター予測ビデオブロックをデコードするステップと、を含む。

【0023】

上記の例示的実施形態において、ピクセル解像度は２ｎ－ｐｅｌ（２ｎピクセル）であり、ｎは整数であり、－６以上１１以下である。

【0024】

上記の例示的実施態様のいずれかにおいて、動きベクトル差分についての複数の所定の大きさ範囲は、所定の方法で、非昇順のピクセル解像度と関連付けられ、より高いピクセル解像度は、より小さいピクセル解像度値と関連付けられる。

【0025】

上記の例示的実施態様のいずれかにおいて、ＭＶＤの大きさ範囲の表示を取得するステップは、ＭＶＤクラスの所定のセットのうちのＭＶＤのＭＶＤクラスを示すビデオストリームから第１所定構文要素（ａ ｆｉｒｓｔ ｐｒｅｄｅｆｉｎｅｄ ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を抽出するステップであって、より低いＭＶＤクラスはより小さいＭＶＤ大きさ範囲に対応する、ステップと；ＭＶＤクラスに従ってＭＶＤの大きさ範囲を決定するステップと、を含む。

【0026】

上記の例示的実施態様のいずれかにおいて、大きさ範囲に従ってＭＶＤのためのピクセル解像度を決定するステップは：大きさ範囲が所定のＭＶＤ範囲閾値レベルよりも高いかどうかを決定するステップと；大きさ範囲が所定のＭＶＤ範囲閾値よりも高いかどうかを決定することで、ピクセル解像度が整数のピクセル数であることを決定するステップと、大きさ範囲が所定のＭＶＤ範囲閾値レベルよりも高いかどうかを決定することで、ピクセル解像度がピクセルの部分（ａ ｆｒａｃｔｉｏｎ ｏｆ ａ ｐｉｘｅｌ）であると決定するステップと、を含む。

【0027】

上記の例示的実施態様のいずれかにおいて、ピクセル解像度に基づいてビデオストリームの付加的なＭＶＤ情報を識別するステップは：第２所定構文要素に従ってビデオストリームをパースし、ＭＶＤの整数ピクセル部分（ａｎ ｉｎｔｅｇｅｒ ｐｉｘｅｌ ｐｏｒｔｉｏｎ）を取得する、ステップと；前記ピクセル解像度がピクセルの部分であると決定すると、少なくとも第３所定構文要素に従ってビデオストリームをさらにパースし、前記ＭＶＤの分数ピクセル部分（ａ ｆｒａｃｔｉｏｎａｌ ｐｉｘｅｌ ｐｏｒｔｉｏｎ）を取得する、ステップと、を含む。

【0028】

上記の例示的実施態様のいずれかにおいて、ＭＶＤ範囲閾値レベルは、ＭＶＤクラスの所定のセットの中で最も低いもの又は２番目に低いものを含む。

【0029】

上記の例示的実施態様のいずれかにおいて、所定ＭＶＤ範囲閾値レベルよりも高い大きさ範囲を有するＭＶＤクラスの所定のセットのそれぞれは、単一の許容される整数ＭＶＤピクセル値に関連付けられる。

【0030】

上記の例示的実施態様のいずれかにおいて、単一の許容される整数ピクセル値は、対応する大きさ範囲のうちのより高いもの（ａ ｈｉｇｈｅｒ ｏｆ ｔｈｅ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｍａｇｎｉｔｕｄｅ ｒａｎｇｅ）に対応するピクセル値を含む。

【0031】

上記の例示的実施態様のいずれかにおいて、単一の許容される整数ピクセル値は、対応する大きさ範囲のうちの中間点に対応するピクセル値を含む。

【0032】

上記の例示的実施態様のいずれかにおいて、大きさ範囲に従ってＭＶＤのためのピクセル解像度を決定するステップは：大きさ範囲が、ＭＶＤ閾値の所定の大きさ値（ａ ｐｒｅｄｅｔｅｒｍｉｎｅｄ ＭＶＤ ｔｈｒｅｓｈｏｌｄ ｍａｇｎｉｔｕｄｅ ｖａｌｕｅ）よりも、低いか、含むか、又は高いかを決定する、ステップと、大きさ範囲がＭＶＤ閾値の所定の大きさ値よりも高いことを決定することで、ピクセル解像度が整数のピクセル数であることを決定するステップと、大きさ範囲がＭＶＤ閾値の所定の大きさ値よりも高くないことを決定することで、ピクセル解像度がピクセルの部分であると決定するステップと、を含むことができる。

【0033】

上記の例示的実施態様のいずれかにおいて、本方法は、さらに、大きさ範囲が前記ＭＶＤ閾値の所定の大きさ値を含むことを決定することで、大きさ範囲が前記ＭＶＤ閾値の所定の大きさ値を含むことを決定することで、ＭＶＤの大きさ範囲の開始大きさに関連するＭＶＤのＭＶＤ大きさオフセットを示すビデオストリームから、第２所定構文要素を抽出する、ステップと；ＭＶＤのＭＶＤ大きさオフセット及び大きさ範囲に基づいて前記ＭＶＤの整数の大きさを取得するステップと；ＭＶＤの整数の大きさがＭＶＤ閾値の所定の大きさよりも高くない場合、ピクセル解像度が分数（ｆｒａｃｔｉｏｎａｌ）であると決定するステップと；ＭＶＤの整数の大きさがＭＶＤ閾値の所定の大きさよりも高い場合、ピクセル解像度が非分数（ｎｏｎ－ｆｒａｃｔｉｏｎａｌ）であると決定するステップと、を含むことができる。

【0034】

上記の例示的実施態様のいずれかにおいて、ピクセル解像度が分数であると決定すると、ピクセル解像度に基づいてビデオストリーム内の付加的なＭＶＤ情報を識別するステップは、所定の第３構文要素に従って前記ビデオストリームをパースし、前記ＭＶＤの分数部分を取得する、ステップ、を含むことができる。

【0035】

上記の例示的実施態様のいずれかにおいて、ＭＶＤ閾値の大きさ値は４ピクセルより小さい。

【0036】

上記の例示的実施態様のいずれかにおいて、動きベクトル差分の複数の所定の大きさ範囲に関連付けられたＭＶＤピクセル解像度は、大きさ範囲ごとに異なる。

【0037】

いくつかの他の例示的実施形態において、ビデオストリームのインター予測ビデオブロックをデコードする方法が開示される。本方法は、ビデオストリームを受信するステップと；インター予測ビデオブロックと関連付けられた参照動きベクトルと動きベクトルとの間の動きベクトル差分（ＭＶＤ）がビデオストリーム内でシグナリングされることを決定するステップであって、参照動きベクトルは、ＭＶＤが２つの参照画像に対して共同でシグナリングされない限り、参照フレームリスト０と参照フレームリスト１のうちの１つのみの参照画像に対応する、ステップと；ビデオストリームから、ＭＶＤの大きさの整数部分を抽出するステップと；ＭＶＤの大きさの整数部分に従ってＭＶＤについてのピクセル解像度を決定するステップと；ピクセル解像度に基づいてビデオストリーム内の付加的なＭＶＤ情報を識別するステップと：動きベクトルに関連付けられる参照フレーム、参照動きベクトル、付加的なＭＶＤ情報、ＭＶＤの大きさの整数部分及びピクセル解像度に基づいてインター予測ビデオブロックをデコードするステップと、を含むことができる。

【0038】

上記の例示的実施形態において、ＭＶＤピクセル解像度は、非昇順で、ＭＶＤ大きさに依存する。

【0039】

上記の例示的実施態様のいずれかにおいて、ＭＶＤの大きさの整数部分に従ってＭＶＤのためのピクセル解像度を決定するステップは：ＭＶＤの大きさの整数部分が所定ＭＶＤ閾値大きさ値より高いかどうか決定するステップと；ＭＶＤの大きさの整数部分が所定ＭＶＤ閾値大きさ値よりも高いことを決定することで、ピクセル解像度が整数のピクセル数であることを決定するステップと；ＭＶＤの大きさの整数部分が所定ＭＶＤ閾値大きさ値よりも高くないことを決定することで、ピクセル解像度がピクセルの部分であると決定するステップと、を含むことができる。

【0040】

本開示の態様はまた、上記の方法実施形態のいずれかを実行するように構成された回路を含む、ビデオエンコーディング又はデコーディングデバイス又は装置を提供する。

【0041】

本開示の態様は、ビデオデコーディング及び／又はエンコーディングのためにコンピュータによって実行されると、ビデオデコーディング及び／又はエンコーディングのための方法をコンピュータに実行させる命令を格納する非一時的コンピュータ可読媒体も提供する。

【図面の簡単な説明】

【0042】

開示された主題のさらなる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。

【図1A】図１Ａは、イントラ予測指向性モードの例示的なサブセットの概略図を示す図である。

【図1B】図１Ｂは、例示的なイントラ予測指向性の図を示す。

【図2】図２は、一実施例における動きベクトル予測のための現在のブロックとその周辺の空間マージ候補を模式的に示す図である。

【図3】図３は、例示的実施形態による通信システム（３００）の簡略ブロック図を模式的に示す図である。

【図4】図４は、例示的実施形態による通信システム（４００）の簡略ブロック図を模式的に示す図である。

【図5】図５は、例示的実施形態によるビデオデコーダの簡略ブロック図を模式的に示す図である。

【図6】図６は、例示的実施形態によるビデオエンコーダの簡略ブロック図を模式的に示す図である。

【図7】図７は、別の例示的実施形態によるビデオエンコーダのブロック図である。

【図8】図８は、別の例示的実施形態によるビデオデコーダのブロック図である。

【図9】図９は、本開示の例示的実施形態によるコーディングブロックパーティショニングのスキームを示す図である。

【図10】図１０は、開示の例示的実施形態によるコーディングブロックパーティショニングの別のスキームを示す図である。

【図11】図１１は、開示の例示的実施形態によるコーディングブロックパーティショニングの別のスキームを示す図である。

【図12】図１２は、例示的パーティショニングスキームによるベースブロックのコーディングブロックへのパーティショニングの例を示す図である。

【図13】図１３は、ターナリパーティショニングスキームの例を示す図である。

【図14】図１４は、クオドツリーバイナリツリーコーディングブロックパーティショニングスキームの例を示す図である。

【図15】図１５は、開示の例示的な実施形態による、コーディングブロックを複数の変換ブロックに分割するためのスキーム及び変換ブロックのコーディング順序を示す図である。

【図16】図１６は、開示の例示的な実施形態による、コーディングブロックを複数の変換ブロックに分割するための別のスキーム及び変換ブロックのコーディング順序を示す図である。

【図17】図１７は、開示の例示的な実施形態による、コーディングブロックを複数の変換ブロックに分割するための別のスキームを示す図である。

【図18】図１８は、開示の例示的な実施形態による、方法のフローチャートを示す図である。

【図19】図１９は、開示の例示的な実施形態による、方法の別のフローチャートを示す。

【図20】図２０は、開示の例示的な実施形態による、コンピュータシステムの概略図を示す。

【発明を実施するための形態】

【0043】

明細書及び特許請求の範囲全体を通して、用語は、明示的に述べられた意味を超えて、文脈において示唆又は暗示されたニュアンスを持つことがある。ここで使用される「ある実施形態において」又は 「いくつかの実施形態において」という語句は、必ずしも同じ実施形態を指すとは限らず、ここで使用される「別の実施形態において」又は「別の実施形態において」という語句は、必ずしも別の実施形態を指すとは限らない。同様に、ここで使用される「ある実装で」又は「いくつかの実装で」という語句は、必ずしも同じ実装を指すとは限らず、ここで使用される「別の実装で」又は「他の実装で」という語句は、必ずしも別の実装を指すとは限らない。例えば、クレームされた主題には、全体又は一部の例示的な実施形態／実装の組み合わせが含まれることが意図されている。

【0044】

一般に、用語は、少なくとも部分的には文脈での使用から理解することができる。例えば、ここで使用される「及び（ａｎｄ）」、「又は（ｏｒ）」、又は「及び／又は（ａｎｄ／ｏｒ）」などの用語は、そのような用語が使用される文脈に少なくとも部分的に依存する可能性のある様々な意味を含むことができる。通常、「又は」は、Ａ、Ｂ又はＣなどのリストを関連付けるために使用される場合、ここでは包括的な意味で使用されるＡ、Ｂ、及びＣだけでなく、ここでは排他的な意味で使用されるＡ、Ｂ、又はＣも意味することを意図している。さらに、ここで使用される「１つ以上」又は「少なくとも１つ」という用語は、少なくとも部分的に文脈に応じて、任意の特徴、構造、又は特性を単一の意味で記述するために使用される場合もあれば、特徴、構造、又は特性の組み合わせを複数の意味で記述するために使用される場合もある。同様に、「１つの（”ａ”， ”ａｎ”）」、又は「その又は前記（ｔｈｅ）」などの用語も、少なくとも部分的に文脈に応じて、単数の用法を伝えるため、又は複数の用法を伝えるために理解される場合がある。さらに、「に基づく（ｂａｓｅｄ ｏｎ）」又は「によって決定される（ｄｅｔｅｒｍｉｎｅｄ ｂｙ）」という用語は、必ずしも要素の排他的なセットを伝えることを意図していないと理解されることができ、代わりに、少なくとも部分的に文脈に応じて、必ずしも明示的に記述されていない追加的な要素の存在を可能にすることができる。図３は、本開示の一実施形態による通信システム（３００）の簡略化されたブロック図を示す。通信システム（３００）は、例えばネットワーク（３５０）を介して互いに通信することができる複数の端末デバイスを含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して相互接続された第１対の端末デバイス（３１０）及び（３２０）を含む。図３の実施例では、第１対の端末デバイス（３１０）及び（３２０）は、データの一方向送信を行う。例えば、端末デバイス（３１０）は、ネットワーク（３５０）を介して他の端末デバイス（３２０）に伝送するためにビデオデータ（例えば、端末デバイス（３１０）によって捕捉されるビデオ画像のスツリーム）をコーディングすることができる。エンコードされた画像データは、１つ以上のコーディングされたビデオビットスツリームの形態で送信されることができる。端末デバイス（３２０）は、ネットワーク（３５０）からコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコードして、ビデオ画像を復元し、復元されたビデオデータにしたがってビデオ画像を表示することができる。一方向性データ伝送は、メディア提供アプリケーション等において一般的であり得る。

【0045】

別の例では、通信システム（３００）は、第２対の端末デバイス（３３０）及び（３４０）を含み、例えばビデオ会議アプリケーション中に、実装され得るコーディングされたビデオデータの双方向伝送を行う。データの双方向伝送のために、例えば、端末デバイス（３３０）及び（３４０）の各端末デバイスは、ネットワーク（３５０）を介して端末デバイス（３３０）及び（３４０）の他方の端末デバイスに伝送するために、ビデオデータ（例えば、端末デバイスによって捕捉されるビデオ画像のスツリーム）をコーディングし得る。端末デバイス（３３０）及び（３４０）の各端末デバイスは、端末デバイス（３３０）及び（３４０）の他方の端末デバイスによって送信されたコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコードして、ビデオ画像を復元し、復元されたビデオデータにしたがって、アクセス可能な表示デバイスにビデオ画像を表示し得る。

【0046】

図３の例では、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）は、サーバ、パーソナルコンピュータ及びスマートフォンとして実装され得るが、本発明の基礎となる原理の適用可能性はこれらに限定されない。本開示の実施形態は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤー、ウェアラブルコンピュータ、専用のビデオ会議機器などに実装することができる。ネットワーク（３５０）は、例えばワイヤライン（有線）及び／又は無線通信ネットワークを含む、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）の間でコーディングされたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（３５０）９は、回線交換、パケット交換、及び／又はその他の種類のチャネルでデータを交換することができる。代表的なネットワークには、テレコミュニケーションネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットが含まれる。本説明の目的上、ネットワーク（３５０）のアーキテクチャ及びトポロジーは、ここで明示的に説明されない限り、本開示の動作にとって重要でない場合がある。

【0047】

図４は、開示された主題の適用例として、ビデオスツリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示す。開示された主題は、例えば、ビデオ会議、デジタルＴＶ放送、ゲーム、仮想現実、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの保存など、他のビデオアプリケーションにも同様に適用することができる。

【0048】

ビデオスツリーミングシステムは、例えば、非圧縮のビデオ画像又は画像（４０２）のスツリームを生成するビデオソース（４０１）、例えばデジタルカメラを含むことができるキャプチャサブシステム（４１３）を含み得る。一実施形態では、ビデオ画像のスツリーム（４０２）は、ビデオソース４０１のデジタルカメラによって撮影されるサンプルを含む。エンコードされたビデオデータ（４０４）（又はコーディングされたビデオビットスツリーム）と比較した場合に、高データ量を強調するために太線として描かれたビデオ画像のスツリーム（４０２）は、ビデオソース（４０１）に結合されたビデオエンコーダ（４０３）を含む電子デバイス（４２０）によって処理されることができる。ビデオエンコーダ（４０３）は、ハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができ、以下により詳細に説明されるように、開示された主題の態様を可能にし、又は実施する。エンコードされたビデオデータ（４０４）（又はエンコードされたビデオビットスツリーム（４０４））は、圧縮されていないビデオ画像（４０２）のスツリームと比較した場合に、より低いデータ量を強調するために細線として示され、将来の使用のためにスツリーミングサーバ（４０５）に保存することも、ダウンスツリームのビデオデバイス（図示せず）に直接保存することもできる。図４のクライアントサブシステム（４０６）及び（４０８）等の１つ以上のスツリーミングクライアントサブシステムは、スツリーミングサーバ（４０５）にアクセスすることができ、エンコードされたビデオデータ（４０４）のコピー（４０７）及び（４０９）を読み出すことができる。クライアントサブシステム（４０６）は、例えば電子デバイス（４３０）内のビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は、エンコードされたビデオデータの入力コピー（４０７）をデコードし、ディスプレイ（４１２）（例えばディスプレイスクリーン）又は他のレンダリングデバイス（図示せず）上にレンダリングすることができる、圧縮されていないビデオ画像の出力スツリーム（４１１）を生成する。ビデオデコーダ４１０は、この開示に記載されているさまざまな機能の一部又は全てを実行するように構成できる。いくつかのスツリーミングシステムでは、エンコードされたビデオデータ（４０４）、（４０７）及び（４０９）（例えば、ビデオビットスツリーム）は、特定のビデオコーディング／圧縮標準にしたがってコーディングされることができる。これらの標準の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。例えば、開発中のビデオコーディング規格は、汎用ビデオコーディング（ＶＶＣ）として非公式に知られている。開示された主題は、ＶＶＣ、及びその他のビデオコーディング標準の文脈で使用される場合があります。

【0049】

電子デバイス（４２０）及び（４３０）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば、電子デバイス（４２０）は、ビデオデコーダ（図示せず）を含むことができ、電子デバイス（４３０）は、ビデオエンコーダ（図示せず）も含むことができる。

【0050】

図５は、以下の本開示のいずれかの実施形態によるビデオデコーダ（５１０）のブロック図を示す。ビデオデコーダ（５１０）は、電子デバイス（５３０）に含まれることができる。電子デバイス（５３０）は、受信器（５３１）（例えば、受信回路）を含むことができる。図４の例では、ビデオデコーダ（４１０）の代わりにビデオデコーダ（５１０）を使用することができる。

【0051】

受信器（５３１）は、ビデオデコーダ（５１０）によってデコードされるべき１つ以上のコーディングされたビデオシーケンスを受信することができ、同一又は別の実施形態では、一度に１つのコーディングされたビデオシーケンスをデコードすることができ、その際、各コーディングされたビデオシーケンスのデコーディングは、他のコーディングされたビデオシーケンスから独立している。各ビデオシーケンスは、複数のビデオフレーム又はイメージと関連付けることができる。コーディングされたビデオシーケンスは、チャネル（５０１）から受信することができ、このチャネルは、エンコードされたビデオデータを格納するストレージデバイス又はエンコードされたビデオデータを伝送するスツリーミングソースへのハードウェア／ソフトウェアリンクであり得る。受信器（５３１）は、コーディングされたオーディオデータ及び／又は補助的なデータスツリームなどの他のデータとともにエンコードされたビデオデータを受信することができ、これらはそれぞれの処理回路（図示せず）に転送することができる。受信器（５３１）は、コーディングされたビデオシーケンスを他のデータから分離することができる。ネットワークジッタに対処するために、バッファメモリ（５１５）が、受信器（５３１）とエントロピーデコーダ／パーサ（５２０）（以後「パーサ（５２０）」）との間に配置され得る。特定の用途では、バッファメモリ（５１５）はビデオデコーダ（５１０）の一部として実装することができる。他の用途では、ビデオデコーダ（５１０）（図示せず）の外部にあって、ビデオデコーダから分離することができる。さらに別の用途には、例えばネットワークジッタに対処するために、ビデオデコーダ（５１０）の外部にバッファメモリ（図示せず）が存在することができ、さらに、例えば再生タイミング（ｐｌａｙｏｕｔ ｔｉｍｉｎｇ）を処理するために、ビデオデコーダ（５１０）の内部に別の追加のバッファメモリ（５１５）が存在することもできる。受信器（５３１）が、十分な帯域幅及び制御可能性の記憶／転送デバイスから、又は、アイソクロナスネットワーク（ｉｓｏｓｙｎｃｈｒｏｎｏｕｓ ｎｅｔｗｏｒｋ）から、データを受信している場合、バッファメモリ（５１５）は不要であるか、又は小さくてもよい。インターネットなどのベストエフォートパケットネットワークで使用する場合、十分なサイズのバッファメモリ（５１５）が必要な場合があり、そのサイズは比較的大きくなる可能性がある。このようなバッファメモリは、適応可能なサイズで実装することができ、少なくとも部分的には、ビデオデコーダ（５１０）の外部のオペレーティングシステム又は同様の要素（図には示されていない）に実装することができる。

【0052】

ビデオデコーダ（５１０）は、コーディングされたビデオシーケンスからシンボル（５２１）を再構成するためのパーサ（５２０）を含み得る。これらのシンボルのカテゴリには、ビデオデコーダ（５１０）の動作を管理するために使用される情報と、電子デバイス（５３０）の一体部分であってもなくてもよいが、電子デバイス（５３０）に結合され得るディスプレイ（５１２）（例えば、ディスプレイスクリーン）などのレンダリングデバイスを制御するための潜在的な情報が含まれる可能性がある。（複数の）レンダリングデバイスの制御情報は、付加拡張情報（ＳＥＩメッセージ）又はビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形態であり得る。パーサ（５２０）は、パーサ（５２０）によって受信されるコーディングされたビデオシーケンスをパースし／エントロピーデコードすることができる。コーディングされたビデオシーケンスのエントロピーコーディングは、ビデオコーディング技術又は標準に従うことができ、可変長コーディング、ハフマンコーディング、コンテキスト感度を伴う又は伴わない算術コーディングなどを含む種々の原理に従うことができる。パーサ（５２０）は、サブグループに対応する少なくとも１つのパラメータに基づいて、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも１つに対するサブグループパラメータのセットを、コーディングされたビデオシーケンスから抽出し得る。サブグループは、画像グループ（ＧＯＰ）、画像、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）等を含み得る。

【0053】

パーサ（５２０）はまた、変換係数（例えば、フーリエ変換係数）、量子化パラメータ値、動きベクトル等の情報を、コーディングされたビデオシーケンスから抽出し得る。パーサ（５２０）は、シンボル（５２１）を生成するように、バッファメモリ（５１５）から受信したビデオシーケンスに、エントロピーデコード／パース動作を実行し得る。

【0054】

シンボル（５２１）の再構成は、コーディングされたビデオ画像又はその部分のタイプ（例えば、ンター及びイントラ画像、インター及びイントラブロック内）及び他の要因に応じて、複数の異なる処理又は機能ユニットを含むことができる。関与するユニット及びそれらがどのように関与するかは、パーサ（３２０）によってコーディングされたビデオシーケンスからパースされたサブグループ制御情報によって制御されることができる。パーサ（５２０）と以下の複数ユニットとの間のかかるサブグループ制御情報のフローは、単純化のために図示されていない。

【0055】

すでに述べた機能ブロックの他に、ビデオデコーダ（５１０）は、概念的に、以下に説明するように、いくつかの機能ユニットに分割されることができる。商業的制約の下で動作する実用的な実装では、これらの機能ユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合されることができる。しかし、開示された主題の様々な機能を明確に説明する目的で、以下の開示では機能ユニットへの概念的な細分化が採用されている。

【0056】

第１ユニットは、スケーラ／逆変換ユニット（５５１）であり得る。スケーラ／逆変換ユニット（５５１）は、パーサ（５２０）から、量子化された変換係数、並びに、使用する逆変換のタイプ、ブロックサイズ、量子化係数／パラメータ、量子化スケーリング行列、及び（１つ以上の）シンボルとしての偽（５２１）を示す情報を含む制御情報を受信し得る。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）に入力可能なサンプル値を含むブロックを出力することができる。

【0057】

場合によっては、スケーラ／逆変換（５５１）の出力サンプルは、イントラコーディングされたブロックに関係することができ、すなわち、以前に再構成された画像からの予測情報を使用していないが、現在の画像の以前に再構成された部分からの予測情報を使用することができるブロックに関連付けることができる。かかる予測情報は、イントラ画像予測ユニット（５５２）によって提供されることができる。場合によっては、イントラ画像予測ユニット（５５２）は、現在の画像バッファ（５５８）に格納された既に再構成された周辺ブロックを使用して、再構成中のブロックと同じサイズ及び形状のブロックを生成し得る。現在の画像バッファ（５５８）は、例えば、部分的に再構成された現在の画像及び／又は完全に再構成された現在の画像をバッファする。アグリゲータ（５５５）は、いくつかの実装形態では、サンプル毎に、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）によって提供される出力サンプル情報に加算し得る。

【0058】

他の場合には、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングに関係し、潜在的に動き補償ブロックに関係することができる。かかる場合、動き補償予測ユニット（５５３）は、インター画像予測に使用されるサンプルをフェッチするために参照画像メモリ（５５７）にアクセスすることができる。ブロックに関連するシンボル（５２１）にしたがって、フェッチされたサンプルを動き補償した後、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（５５５）によって、スケーラ／逆変換ユニット（５５１）の出力（ユニット５５１の出力は、残差サンプル又は残差信号と称されることができる）に加算されることができる。動き補償予測ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスは、例えば、Ｘ、Ｙコンポーネント（シフト）、及び参照画像コンポーネント（時間）を有するシンボル（５２１）の形態で動き補償予測ユニット（５５３）に利用可能な動きベクトルによって制御することができる。動き補償はまた、サブサンプルの正確な動きベクトルが使用されている場合には、参照画像メモリ（５５７）からフェッチされるようにサンプル値を補間することを含むことができ、動きベクトル予測メカニズムに関連付けること等もできる。

【0059】

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）内の種々のループフィルタリング技術を受けることができる。ビデオ圧縮技術は、インループフィルタ技術（ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒ ｔｅｃｈｎｏｌｏｇｉｅｓ）を含むことができ、コーディングされたビデオシーケンス（コーディングされたビデオビットスツリームとも称される）に含まれるパラメータによって制御され、パーサ（５２０）からシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされるが、コーディングされた画像又はコーディングされたビデオシーケンスと（デコード順において）先行する部分のデコードの間で得られるメタ情報に応答することができると共に、先行して再構成されループフィルタリングされたサンプル値に応答することができる、インループフィルタ技術を含むことができる。いくつかのタイプのループフィルタが、さまざまな順序でループフィルタユニット５５６の一部として含まれる場合があるが、これについては後述する

【0060】

ループフィルタユニット（５５６）の出力は、レンダリングデバイス（５１２）に出力されることができ、また将来のインター画像予測に使用するために参照画像メモリ（５５７）に記憶されることができるサンプルスツリームであることができる。

【0061】

特定のコーディングされた画像は、一旦完全に再構成されると、将来のインター予測のための参照画像として使用されることができる。例えば、一旦現在の画像に対応するコーディング画像が完全に再構成され、（例えば、パーサ（５２０）によって）コーディングされた画像が参照画像として識別されると、現在の画像バッファ（４５５８）は参照画像メモリ（５５７）の一部となることができ、新たな現在画像バッファは、後続のコーディング画像の再構成を開始する前に再割当てされ得る。

【0062】

ビデオデコーダ（５１０）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５．等の標準で採用されたの所定のビデオ圧縮技術にしたがってデコーディング動作を実行し得る。コーディングされたビデオシーケンスは、コーディングされたビデオシーケンスが、ビデオ圧縮技術若しくは標準のシンタックス、及び、ビデオ圧縮技術若しくは標準に文書化されているプロファイルの両方に準拠するという意味で、使用されているビデオ圧縮技術又は標準によって特定されたシンタックスに適合し得る。具体的には、プロファイルは、そのプロファイルで使用できる唯一のツールとして、ビデオ圧縮テクノロジ又は標準で使用可能なすべてのツールから特定のツールを選択できる。また、標準に準拠するために、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術又は標準のレベルによって定義される範囲内にあることであり得る。場合によっては、レベルは、最大画像サイズ、最大フレームレート、最大再構成サンプルレート（例えば、毎秒メガサンプルで測定される）、最大参照画像サイズなどを制限する。レベルによって設定された制限は、場合によっては、仮想参照デコーダ（ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）の仕様と、コーディングされたビデオシーケンスでシグナリングされるＨＲＤバッファ管理のメタデータによってさらに制限され得る。

【0063】

いくつかの例示的実施形態では、受信器（５３１）は、エンコードされたビデオと共に追加の（冗長な）データを受信することができる。追加データは、コーディングされた（複数の）ビデオシーケンスの部分として含まれ得る。追加のデータは、データを適切にデコードするため、及び／又は元のビデオデータをより正確に再構成するために、ビデオデコーダ（５１０）によって使用され得る。追加のデータは、例えば、時間的、空間的、又は信号雑音比（ＳＮＲ）拡張層、冗長スライス、冗長画像、前方エラー補正コードなどの形態であり得る。

【0064】

図６は、本開示の例示的実施形態によるビデオエンコーダ（６０３）のブロック図を示す。ビデオエンコーダ（６０３）は、電子デバイス（６２０）に含まれることができる。電子デバイス（６２０）は、送信器（６４０）（例えば送信回路）をさらに含むことができる。図４の例のビデオエンコーダ（４０３）の代わりに、ビデオエンコーダ（６０３）を用いることができる。

【0065】

ビデオエンコーダ（６０３）は、ビデオエンコーダ（６０３）によってコーディングされる（１つ以上の）ビデオ映像を捕捉することができるビデオソース（６０１）（図６の例では電子デバイス（６２０）の一部ではない）からビデオサンプルを受信し得る。別の例では、ビデオソース（６０１）は、電子デバイス（６２０）の一部として実装されることができる。

【0066】

ビデオソース（６０１）は、任意の適切なビット深さ（例えば、８ビット、１０ビット、１２ビット、．．．）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、．．．）、及び任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）を有することができるデジタルビデオサンプルスツリームの形態で、ビデオエンコーダ（６０３）によってコーディングされるべきソースビデオシーケンスを提供し得る。メディア配信システムにおいて、ビデオソース（６０１）は、予め準備されたビデオを記憶できる記憶デバイスであり得る。ビデオ会議システムでは、ビデオソース（６０１）は、局所映像情報をビデオシーケンスとして捕捉するカメラであり得る。ビデオデータは、シーケンスで見たときに動きをもたらす複数の個々の画像又は映像として提供され得る。画像自体は、ピクセルの空間アレイとして組織化されることができ、各ピクセルは、使用中のサンプリング構造、色空間等に応じて、１つ以上のサンプルを含むことができる。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。以下の説明は、サンプルに焦点を当てている。

【0067】

いくつかの例示的実施形態によれば、ビデオエンコーダ（６０３）は、ソースビデオシーケンスの画像を、リアルタイムで、又はアプリケーションによって要求される任意の他の時間制約下で、コーディングされたビデオシーケンス（６４３）にコーディングし、圧縮し得る。適切なコーディングスピードを実現することは、コントローラ（６５０）の一つの機能である。いくつかの実施形態では、コントローラ（６５０）は、後述するように他の機能ユニットに機能的に接続されることができて、他の機能ユニットを制御することができる。カップリングは、単純化のため表されない。コントローラ（６５０）によって設定されるパラメータは、レート制御関連パラメータ（画像スキップ、量子化器、レート歪み最適化技術のラムダ値、．．．）、画像サイズ、画像グループレ（ＧＯＰ）イアウト、最大動きベクトル探索範囲等を含むことができる。コントローラ（６５０）は、特定のシステム設計のために最適化されたビデオエンコーダ（６０３）に関連する他の適切な機能を有するように構成されることができる。

【0068】

いくつかの例示的実施形態では、ビデオエンコーダ（６０３）は、コーディングループで動作するように構成され得る。過剰に単純化された説明として、一例において、コーディングループは、（例えば、コーディングされるべき入力画像及び参照画像に基づいて、シンボルスツリーム等のシンボルを生成する責任を担う）ソースコーダ（６３０）と、ビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）とを含むことができる。デコーダ（６３３）は、埋め込みデコーダ６３３がエントロピーコーディングなしでソースコーダ６３０によってコーディングされたビデオストリームを処理する場合でも、（リモート）デコーダが作成するのと同様の方法でサンプルデータを作成するようにシンボルを再構成する（エントロピーコーディングにおけるシンボルとコーディングされたビデオビットスツリームとの間の圧縮は、開示された主題で考慮されるビデオ圧縮技術では無損失であり得るからである）。再構成されたサンプルスツリーム（サンプルデータ）は、参照画像メモリ（６３４）に入力される。シンボルスツリームのデコーディングは、デコーダロケーション（ローカル又はリモート）に依存しないビットイクザクトな結果（ｂｉｔ－ｅｘａｃｔ ｒｅｓｕｌｔｓ）をもたらすので、参照画像メモリ（６３４）中の内容もまた、ローカルエンコーダとリモートエンコーダとの間でビットイクザクトである。換言すれば、エンコーダの予測部分は、デコーダがデコード中に予測を使用するときに「見る」のとまったく同じサンプル値を参照画像サンプルとして「見る」。参照画像同期性のこの基本原理（及び、例えばチャンネルエラーのために、同期性が維持できない場合の結果として生じるドリフト）は、コーディング品質を改善するために使用される。

【0069】

「ローカル」デコーダ（５３３）の動作は、ビデオデコーダ（４１０）等の「リモート」デコーダと同じであることができ、これは、図５と関連して詳細に既に上述したとおりである。しかしながら、図５も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（６４５）及びパーサ（５２０）によるコーディングビデオシーケンスへのシンボルのエンコーディング／デコーディングが可逆的であることができるので、バッファメモリ（５１５）を含むビデオデコーダ（５１０）のエントロピーデコーディング部分及びパーサ（５２０）は、エンコーダのローカルデコーダ（６３３）に完全には実装されない場合がある。

【0070】

この点で行うことができる観察は、デコーダ内にのみ存在することができるパース／エントロピーデコーディングを除く任意のデコーダ技術であり、対応するエンコーダ内に実質的に同一の機能的形態で存在する必要があり得るということである。このために、開示された主題は、エンコーダのデコーディング部分に関連するデコーダ動作に焦点を当てることがある。したがって、エンコーダ技術の説明は、包括的に説明されているデコーダ技術の逆であるため、省略できる。特定の領域又は側面についてのみ、エンコーダのより詳細な説明を以下に示す。

【0071】

いくつかの実装例での動作中に、ソースコーダ（６３０）は、「参照画像」として指定されたビデオシーケンスからの、先行してコーディングされた１つ以上の画像を参照して入力画像を予測的にコーディングする、動き補償予測コーディングを実行し得る。このようにして、コーディングエンジン（６３２）は、入力画像のピクセルブロックと、入力画像に対する（１つ以上の）予測参照として選択され得る（１つ以上の）参照画像のピクセルブロックとの間の差分（残差）をコーディングする。用語「残差（ｒｅｓｉｄｕｅ）」とその形容詞形「残差（ｒｅｓｉｄｕａｌ）」は同じ意味で使用されることがある。

【0072】

ローカルビデオデコーダ（６３３）は、ソースコーダ（６３０）によって生成されたシンボルに基づいて、参照画像として指定され得る画像のコーディングされたビデオデータをデコードし得る。コーディングエンジン（６３２）の動作は、有利には、非可逆プロセスであり得る。コーディングされたビデオデータがビデオデコーダ（図６には示されていない）でデコードされ得る場合、再構成されたビデオシーケンスは、典型的には、いくつかのエラーを伴うソースビデオシーケンスの複であり得る。ローカルビデオデコーダ（６３３）は、参照画像上でビデオデコーダによって実行され、参照画像キャッシュ（６３４）に記憶されるべき再構成された参照画像を生じさせ得るデコーディング処理を繰り返す。このようにして、ビデオエンコーダ（６０３）は、遠位端（リモート）ビデオデコーダによって得られるであろう（伝送エラーの無い）再構成された参照画像として、共通のコンテンツを有する再構成された参照画像のコピーをローカルに記憶することができる。

【0073】

予測器（６３５）は、コーディングエンジン（６３２）について予測サーチを実行し得る。すなわち、コーディングされるべき新しい画像について、予測器（６３５）は、新しい画像についての適切な予測参照として役立ち得る、参照画像動きベクトル、ブロック形状等の特定のメタデータ、又は、サンプルデータ（参照ピクセルブロックの候補として）、について参照画像メモリ（６３４）を検索し得る。予測器（６３５）は、適切な予測参照を見出すために、サンプルブロック毎に動作し得る。場合によっては、予測器（６３５）によって得られた検索結果によって決定されるように、入力画像は、参照画像メモリ（６３４）に記憶された複数の参照画像から引き出された予測参照を有し得る。

【0074】

コントローラ（６５０）は、例えば、ビデオデータをエンコードするために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ（６３０）のコーディング動作を管理し得る。

【0075】

上述した機能ユニットの全ての出力は、エントロピーコーダ（６４５）におけるエントロピーコーディングを受け得る。エントロピーコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術コーディング等の技術にしたがって、シンボルを可逆的に圧縮することによって、種々の機能ユニットによって生成されたシンボルをコーディングされたビデオシーケンスに変換する。

【0076】

送信器（６４０）は、エントロピーコーダ（６４５）によって作成されたコーディングされたビデオシーケンスをバッファすることができ、エンコードされたビデオデータを格納するであろうストレージデバイスへのハードウェア／ソフトウェアリンクであり得る通信チャネル（６６０）を経由した送信のために用意する。送信器（６４０）は、ビデオ・コーダ（６０３）からのコーディングされたビデオデータを、例えばコーディングされたオーディオデータ及び／又は補助的なデータ・スツリーム（図示せず）等の、送信されるべき他のデータとともにマージし得る。

【0077】

コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理し得る。コーディングの間、コントローラ（６５０）は、各コーディングされた画像に、特定のコーディングされた画像タイプを割り当てることができ、これは、各画像に適用され得るコーディング技術に影響を及ぼし得る。例えば、画像は、しばしば、次の画像タイプの１つとして割り当てられる：

【0078】

イントラ画像（Ｉ画像）は、予測ソースとしてシーケンス内の他の画像を使用することなく、コーディングされ、デコードされ得る。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（「ＩＤＲ」：Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）画像を含む、異なるタイプのイントラ画像を許容する。当業者は、Ｉ画像のこれらの変形例、並びにそれらのそれぞれの用途及び特徴を認識している。

【0079】

予測画像（Ｐ画像）は、各ブロックのサンプル値を予測するために、最大で１つの運動ベクトルと参照インデックスを用いるインター予測又はイントラ予測を使用して、コーディングされ、デコードされ得るものであり得る。

【0080】

双方向（ｂｉ－ｄｉｒｅｃｔｉｏｎａｌｌｙ）予測画像（Ｂ画像）は、各ブロックのサンプル値を予測するために、最大で２つの動きベクトルと参照インデックスを用いるインター予測又はイントラ予測を使用して、コーディングされ、デコードされ得るものであり得る。同様に、複数の予測画像は、１つのブロックの再構成のために、２つ以上の参照画像及び関連するメタデータを使用することができる。

【0081】

ソース画像は、通常、空間的に複数のサンプルコーディングブロック（例えば、各サンプル４×４、８×８、４×８、又は１６×１６のブロック）に細分割され、ブロック毎にコーディングされる。ブロックは、ブロックのそれぞれの画像に適用されるコーディング割り当てによって決定された、他の（既にコーディングされた）ブロックを参照して予測的にコーディングされ得る。例えば、Ｉ画像のブロックは、非予測的にコーディングされるか、又は、それらは、同じ画像の既にコーディングされたブロック（空間予測又はイントラ予測）を参照して予測的にコーディングされ得る。Ｐ画像の画素ブロックは、先行してコーディングされた一つの参照画像を参照して、空間的予測又は時間的予測を介して予測的にコーディングされ得る。Ｂ画像のブロックは、１つ又は２つの、先行してコーディングされた参照画像を参照して、空間的予測を介して、又は時間的予測を介して予測的にコーディングされ得る。ソース画像又は中間処理された画像は、他の目的のために他のタイプのブロックに細分割されることがある。以下でさらに詳細に説明するように、コーディングブロック及び他のタイプのブロックの分割は、同じ方法に従う場合もあれば、そうでない場合もある。

【0082】

ビデオエンコーダ（６０３）は、所定のビデオコーディング技術又はＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５．等の標準にしたがってコーディング動作を実行し得る。その動作において、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間的及び空間的冗長性を活用する予測コーディング動作を含む種々の圧縮動作を実行し得る。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術又は標準によって指定されたシンタックスに準拠し得る。

【0083】

一実施形態では、送信器（６４０）は、エンコードされたビデオと共に追加データを送信し得る。ソースコーダ（６３０）は、コーディングされたビデオシーケンスの一部としてかかるデータを含めることができる。追加のデータは、時間的／空間的／ＳＮＲ強調レイヤーや、他の形式の冗長データ、例えば冗長画像及びスライス、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメント等を含み得る。

【0084】

ビデオは、時間シーケンスにおいて複数のソース画像（ビデオ画像）として捕捉され得る。イントラ画像予測（Ｉｎｔｒａ－ｐｉｃｔｕｒｅ ｐｒｅｄｉｃｔｉｏｎ）（しばしば、イントラ予測と略される）は、所与の画像における空間的相関を使用し、インター画像予測（ｉｎｔｅｒ－ｐｉｃｔｕｒｅ ｐｒｅｄｉｃｔｉｏｎ）は、画像間の時間的又は他の相関を使用する。一例では、現在画像と称されるコーディング／デコーディング中の特定の画像は、ブロックに仕切られる（ｐａｒｔｉｔｉｏｎｅｄ ｉｎｔｏ ｂｌｏｃｋｓ）。現在画像内のブロックが、ビデオ内の、先行してコーディングされ、まだバッファされている参照画像内の参照ブロックに類似する場合、現在の画像内ブロックは、動きベクトルと称されるベクトルによってコーディングされ得る。動きベクトルは、参照画像内の参照ブロックを指し、複数の参照画像が使用されている場合には、参照画像を識別する第３次元を有することができる。

【0085】

いくつかの実施形態において、双方向予測技術（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｔｅｃｈｎｉｑｕｅ）は、インター画像予測のために使用されることができる。双方向予測技術によれば、ビデオ内の現在画像に対してデコード順では両方とも先行する（ただし、表示順では、それぞれ過去又は未来であり得る）第１参照画像及び第２参照画像等の２つの参照画像が使用される。現在画像内のブロックは、第１参照画像内の第１参照ブロックを指す第１動きベクトルと、第２参照画像内の第２参照ブロックを指す第２の動きベクトルとによってコーディングされることができる。ブロックは、第１参照ブロックと第２参照ブロックとの組み合わせによって予測されることができる。

【0086】

さらに、コーディング効率を改善するために、インター画像予測においてマージモード技術を使用することができる。

【0087】

本開示のいくつかの実施形態によれば、インター画像予測及びイントラ画像予測等の予測は、ブロックの単位で実行される。例えば、ビデオ画像シーケンス中の画像は、圧縮のためにコーディングツリーユニット（ＣＴＵ）に仕切られ、画像中のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセル等の、同じサイズを有する。一般に、ＣＴＵは、１つのルマＣＴＢと２つのクロマＣＴＢである３つのコーディングツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、１つ又は複数のコーディング単位（ＣＵ）に再帰的にクオドツリースプリットすることができる。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１つのＣＵ、３２×３２ピクセルの４つのＣＵにスプリットすることができる。３２×３２ブロックの各一つ以上は、１６×１６ピクセルの４つのＣＵに、さらにスプリットされることができる。例では、各ＣＵは、インター予測タイプ又はイントラ予測タイプ等の、ＣＵの予測タイプを決定するために分析される。ＣＵは時間的及び／又は空間的予測可能性に依存して１つ以上の予測単位（ＰＵ）にスプリットされる。一般に、各ＰＵは１つのルマ予測ブロック（ＰＢ）と２つのクロマＰＢを含む。一実施形態では、コーディング（エンコーディング／デコーディング）における予測動作は、予測ブロックのユニットにおいて実行される。ＣＵのＰＵ（又は異なるカラーチャネルのＰＢ）へのスプリットは、様々な空間パターンで実行され得る。例えば、ルマ又はクロマＰＢは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８サンプルなどのサンプルについての値（例えば、ルマ値）のマトリックスを含むことができる。

【0088】

図７は、本開示の別の例示的実施形態によるビデオエンコーダ（７０３）の図を示す。ビデオエンコーダ（７０３）は、ビデオ画像シーケンス内の現在ビデオ画像内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックをコーディングされたビデオシーケンスの一部であるコーディングされた画像にエンコードするように構成されている。図４の例のビデオエンコーダ（４０３）の代わりに、ビデオエンコーダ（６０３）を用いることができる。

【0089】

例えば、ビデオエンコーダ（７０３）は、８×８サンプルの予測ブロック等の処理ブロックに対するサンプル値のマトリックスを受信する。ビデオエンコーダ（７０３）は、処理ブロックが、例えばレート歪み最適化を使用して、イントラモード、インターモード、又は双方向予測モードを使用して、最良にコーディングされるかどうかを決定する。処理ブロックがイントラモードでコーディングされる場合、ビデオエンコーダ（７０３）は、処理ブロックをコーディングされた画像にエンコードするためにイントラ予測技術を使用することができ、処理ブロックがインターモード又は双方向予測モードでコーディングされるべきものである場合、ビデオエンコーダ（７０３）は、処理ブロックをコーディングされた画像にコーディングするために、それぞれ、インター予測技術又は双方向予測技術を使用し得る。いくつかの例示的実施形態では、マージモードは、予測器外部のコード化された動きベクトル成分の利益なしに、動きベクトルが１つ以上の動きベクトル予測器から導出されるインター画像予測サブモードであり得る。いくつかの例示的実施形態では、対象ブロックに適用可能な動きベクトル成分が存在し得る。したがって、ビデオエンコーダ（７０３）は、処理ブロックのパーディションモードを決定するために、モード決定モジュールなどの図７に明示的に示されていないコンポーネントを含むことがある。

【0090】

図７の例では、ビデオエンコーダ（７０３）は、図７の例示的配置に示すように、一緒に結合されたエントロピーエンコーダ（７２５）と、インターエンコーダ（７３０）と、イントラエンコーダ（７２２）と、残差計算器（７２３）と、スイッチ（７２６）と、残差エンコーダ（７２４）と、汎用コントローラ（７２１）と、を含む。

【0091】

インターエンコーダ（７３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、ブロックを参照画像内の１つ以上の参照ブロックと比較し（例えば、先行する画像内及び後の画像内のブロック）、インター予測情報（例えば、インターエンコーディング技術による冗長情報の記述、動きベクトル、マージモード情報）を生成し、任意の適切な技術を使用して、インター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成される。いくつかの実施例では、参照画像は、図６の例示的エンコーダ６２０に埋め込まれたデコードユニット６３３を使用して、エンコードされたビデオ情報に基づいてデコードされた、デコードされた参照画像である（図７の残差デコーダ７２８として示されており、以下でさらに詳細に説明する）。

【0092】

イントラエンコーダ（７２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、ブロックを同じ画像内で既にコーディングされたブロックと比較し、変換後に量子化された係数を生成し、場合によっては、イントラ予測情報（例えば、１つ以上のイントラコーディング技術に従ったイントラ予測方向情報）も生成するように構成されている。イントラエンコーダ（７２２）はまた、同じ画像内のイントラ予測情報及び参照ブロックに基づいて、イントラ予測結果（例えば、予測ブロック）を計算することができる。

【0093】

汎用コントローラ（７２１）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（７０３）の他の構成要素を制御するように構成され得る。一実施形態では、汎用コントローラ（７２１）は、ブロックの予測モードを決定し、その予測モードに基づいてスイッチ（７２６）に制御信号を供給する。例えば、予測モードがイントラモードの場合、汎用コントローラ（７２１）は、スイッチ（７２６）を制御して、残差計算器（７２３）が使用するイントラモードの結果を選択し、エントロピーエンコーダ（７２５）を制御して、イントラ予測情報を選択し、ビットスツリームにイントラ予測情報を含め、予測モードがインターモードの場合、汎用コントローラ（７２１）は、スイッチ（７２６）を制御して、残差計算器（７２３）が使用するインター予測結果を選択し、エントロピーエンコーダ（７２５）を制御して、インター予測情報を選択し、ビットスツリームにインター予測情報を含める。

【0094】

残差計算器（７２３）は、受信されたブロックと、イントラエンコーダ（７２２）又はインターエンコーダ（７３０）から選択されたブロックに対する予測結果との差分（残差データ）を計算するように構成され得る。残差エンコーダ（７２４）は、残差データをエンコードして変換係数を生成するように構成されることができる。一実施例では、残差エンコーダ（７２４）は、残差データを空間ドメインから周波数ドメインにコンバートし、変換係数を生成するように構成され得る。それから、変換係数は量子化処理に従属して、量子化変換係数を得る。様々な例示的実施形態では、ビデオエンコーダ（７０３）は、残差デコーダ（７２８）も含む。残差デコーダ（７２８）は、逆変換を実行し、デコードされた残差データを生成するように構成される。デコードされた残差データは、イントラエンコーダ（７２２）及びインターエンコーダ（７３０）によって適切に使用されることができる。例えば、インターエンコーダ（７３０）は、デコードされた残差データ及びインター予測情報に基づいてデコードされたブロックを生成することができ、イントラエンコーダ（７２２）は、デコードされた残差データ及びイントラ予測情報に基づいてデコードされたブロックを生成することができる。デコードされたブロックは、デコードされた画像を生成するために適切に処理され、デコードされた画像は、メモリ回路（図示せず）内でバッファされ、参照画像として使用され得る。

【0095】

エントロピーエンコーダ（７２５）は、エンコードされたブロックを含むようにビットスツリームをフォーマットするように構成されている。エントリピーエンコーダ（７２５）は、種々の情報をビット列に含めるように構成される。例えば、エントロピーエンコーダ（７２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及びビットスツリーム内の他の適切な情報を含むように構成される。インターモード又は双方向予測モードのいずれかのマージサブモードにおけるブロックをコーディングする場合、残差情報は存在しないことがある。

【0096】

図８は、本開示の別の実施形態による例示的ビデオデコーダ（８１０）の図を示す。ビデオデコーダ（８１０）は、コーディングされたビデオシーケンスの一部であるコーディングされた画像を受信し、コーディングされた画像をデコードして再構成画像を生成するように構成されている。一実施形態では、ビデオデコーダ（８１０）は、図４の実施形態のビデオデコーダ（４１０）の代わりに使用される。

【0097】

図８の実施例では、ビデオデコーダ（８１０）は、図８の例示的配置に示すように、一緒に結合されたイントラデコーダ（８７２）と、エントロピーデコーダ（８７１）と、インターデコーダ（８８０）と、残差デコーダ（８７３）と、再構成モジュール（８７４）と、及びを含む。

【0098】

エントロピーデコーダ（８７１）は、コーディングされた画像から、そのコーディング画像を作成する（ｏｆ ｗｈｉｃｈ ｔｈｅ ｃｏｄｅｄ ｐｉｃｔｕｒｅ ｉｓ ｍａｄｅ ｕｐ）シンタックス要素を表す特定のシンボルを再構成するように構成することができる。かかるシンボルは、例えば、ブロックがコーディングされるモード（例えば、イントラモード、インターモード、双方向予測モード、マージサブモード又は別のサブモードにおけるインターモード、双方向予測モード等）、予測情報（例えば、イントラ予測情報又はインター予測情報）を含むことができ、それらは、イントラデコーダ（８２２）又はインターデコーダ（８８０）による予測のために使用される特定のサンプル又はメタデータ、例えば量子化された変換係数の形態の残差情報等、を識別することができる。実施例において、予測モードがインターモードであるか双方向予測モードであるときに、インター予測情報はインターデコーダ（８８０）に提供され；そして、予測タイプがイントラ予測タイプであるときに、イントラ予測情報はイントラデコーダ（８７２）に提供される。残差情報は、逆量子化を受けることができ、残差デコーダ（８７３）に提供される。

【0099】

インターデコーダ（８８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。

【0100】

イントラデコーダ（８７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。

【0101】

残差デコーダ（８７３）は、逆量子化変換係数（ｄｅ－ｑｕａｎｔｉｚｅｄ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を抽出するために逆量子化を実行し、逆量子化変換係数を処理して残差を周波数ドメインから空間ドメインにコンバートするように構成される。残差デコーダ（８７３）はまた、特定の制御情報（量子化器パラメータ（ＱＰ）を含む）を利用することがあり、その情報は、エントロピーデコーダ（８７１）によって提供され得る（データパスは、低データボリューム制御情報のみであるため、図示されていない）。

【0102】

再構成モジュール（８７４）は、空間ドメインにおいて、（場合によってはインター又はイントラ予測モジュールによる出力として）予測結果と、残差デコーダ（８７３）による出力としての残差とを組み合わせ、再構成されたビデオの一部として再構成された画像の一部を形成する再構成ブロックを形成する、ように構成され得る。デブロッキング動作等の他の適切な動作を行って、視覚品質を改善することができることに留意されたい。

【0103】

なお、ビデオエンコーダ（４０３）、（６０３）及び（７０３）と、ビデオデコーダ（４１０）、（５１０）、及び（８１０）とは、任意の適切な技術を用いて実現することができる。いくつかの例示的実施形態では、ビデオエンコーダ（４０３）、（６０３）及び（７０３）と、ビデオデコーダ（４１０）、（５１０）及び（８１０）とは、１つ以上の集積回路を使用して実装され得る。別の実施形態では、ビデオエンコーダ（４０３）、（６０３）及び（６０３）と、ビデオデコーダ（４１０）、（５１０）、及び（８１０）とは、ソフトウェア命令を実行する１つ以上のプロセッサを使用して実現することができる。

【0104】

コーディング及びデコーディングのためのブロック分割に目を向けると、一般的な分割又はパーティショニング（ｐａｒｔｉｔｉｏｎｉｎｇ）はベースブロックから始まり、所定のルールセット、特定のパターン、パーティションツリー、又は任意のパーティション構造又はスキームに従うことができる。分割は階層的かつ再帰的である。以下に示す分割手順や他の手順の例、又はそれらの組み合わせに従ってベースブロックを区分け（ｄｉｖｉｄｉｎｇ）又はパーティショニングした後、最終的なパーティション又はコーディングブロックのセットを得ることができる。これらの各パーティションは、パーティション階層内のさまざまなパーティションレベルのいずれかにあり、種々の形状であり得る。各パーティションは、コーディングブロック（ＣＢ）と称され得る。以下でさらに説明するパーティショニングの種々の実施例では、結果として得られる各ＣＢは、許容されるサイズとパーティションレベルのいずれかであることができる。かかるパーティションは、基本的なコーディング／デコーディングの決定が行われるユニットを形成し、コーディング／デコーディング パラメータが最適化され、決定され、エンコードされたビデオビットスツリームでシグナリングされる可能性があるため、コーディングブロックと称される。最終パーティションの最上又は最深レベルは、ツリーのコーディングブロックパーティション構造の深さを表す。コーディングブロックには、ルミナンスコーディングブロック又はクロマコーディングブロックがある。各色のＣＢツリー構造は、コーディングブロックツリー（ＣＢＴ）と称されることがある。

【0105】

すべてのカラーチャネルのコーディングブロックは、まとめてコーディングユニット（ＣＵ）と称されることがある。すべてのカラーチャネルの階層構造は、まとめてコーディングツリーユニット（ＣＴＵ）と称されることがある。ＣＴＵ内の種々のカラーチャネルのパーティショニングパターン又は構造は、同じである場合とそうでない場合がある。

【0106】

いくつかの実装では、ルマチャネル及びクロマチャネルに使用されるパーティショニングツリースキーム又は構造が同じである必要がない場合がある。つまり、ルマチャネル及びクロマチャネルは別個のコーディングツリー構造又はパターンを有することができる。さらに、ルマチャネル及びクロマチャネルが同じ又は別のコーディングパーティショニングツリー構造を使用するかどうか、及び使用される実際のコーディングパーティショニングツリー構造は、コーディングされるスライスがＰ、Ｂ、又はＩスライスであるかによって異なる。例えば、Ｉスライスの場合、クロマチャネルとルマチャネルは別個のコーディングパーティションツリー構造又はコーディングパーティションツリー構造モードを有することがあるが、Ｐ又はＢスライスの場合、ルマチャネルとクロマチャネルは同じコーディングパーティションツリー構造を共有することがある。別個のコーディングパーティションツリー構造又はモードが適用される場合、ルマチャネルは１つのコーディングパーティションツリー構造によってＣＢに分割され、クロマチャネルは別のコーディングパーティションツリー構造によってクロマＣＢに分割され得る。

【0107】

いくつかの例示的実施形態では、所定のパーティショニングパターンがベースブロックに適用され得る。図９に示すように、４方向パーティションツリー（４－ｗａｙ ｐａｒｔｉｔｉｏｎ ｔｒｅｅ）の例では、第１所定レベル（例：基本ブロックサイズとして６４×６４ブロックレベル又は他のサイズ）から開始し、ベースブロックを所定の最下位レベル（例：４×４レベル）まで階層的に分割することができる。例えば、ベースブロックは、９０２，９０４，９０６と９０８で示される４つの所定のパーティションオプション又はパターンの対象となり、Ｒとして指定されたパーティションは、図９に示されるのと同じパーティションオプションで、最下位レベル（例：４×４レベル）までより低いスケールで繰り返すことができるという再帰的パーティショニングが許可される。いくつかの実装では、図９のパーティショニングスキームに追加の制限が適用され得る。図９の実装では、長方形のパーティション（例：１：２／２：１の長方形のパーティション）は許可され得るが、再帰的であることは許可されない場合がある一方、正方形のパーティションは再帰的であることができる。図９に続く再帰を伴うパーティショニングは、必要に応じて、コーディングブロックの最終セットを生成する。ルートノード又はルートブロックからのスプリッティング深さを示すために、コーディングツリー深さを画定することができる。例えば、６４×６４ブロックなどのルートノード又はルートブロックのコーディングツリー深さを０に設定し、図９に続いてルートブロックをさらに一度スプリットした後、コーディングツリー深さを１増やすことができる。６４×６４ベースブロックから４×４の最小パーティションまでの最大又は最も深いレベルは、上記のスキームでは（レベル０から開始）して４になる。かかるパーティショニングスキームは、１つ以上のカラーチャネルに適用される場合がある。各カラーチャネルは、図９のスキームに従って独立してパーティショニングされ得る（例えば、所定のパターンの中のパーティショニングパターン又はオプションは、各階層レベルでカラーチャネルのそれぞれについて独立して決定され得る）。あるいは、２つ以上のカラーチャネルは、図９の同じ階層パターンツリーを共有する場合がある（例えば、各階層レベルの２つ以上のカラーチャネルに対して、所定のパターンの中から同じパーティショニングパターン又はオプションを選択することができる）。

【0108】

図１０は、再帰パーティショニングがパーティショニングツリーを形成することを可能にする別の例示的所定のパーティショニングパターンの例を示している。図１０に示すように、１０通りのパーティショニング構造又はパターンの例が予め定められることができる。ルートブロックは、所定のレベル（例えば、１２８×１２８レベル、又は６４×６４レベルのベースブロックから）で開始することができる。図１０の例示的パーティショニング構造は、様々な２：１／１：２及び４：１／１：４の長方形パーティションを含む。図１０の２行目に１００２、１００４、１００６、１００８と示されている３つのサブパーティションを有するパーティションの種類は、「Ｔ型」パーティションと称されることがある。「Ｔ型」パーティション１００２、１００４、１００６、及び１００８は、Ｌｅｆｔ Ｔ－Ｔｙｐｅ、Ｔｏｐ Ｔ－Ｔｙｐｅ、Ｒｉｇｈｔ Ｔ－Ｔｙｐｅ、Ｂｏｔｔｏｍ Ｔ－Ｔｙｐｅと称されることがある。いくつかの実装例では、図１０の長方形パーティションのいずれも、さらに細分割することはできない。ルートノート又はルートブロックからのスプリッティング深さを示すために、コーディングツリー深さをさらに画定することができる。例えば、ルートノード又はルートブロックのコーディングツリー深さ、例えば、１２８×１２８ブロック、を０に設定し、図１０にしたがってルートブロックをさらに１回スプリットした後、コーディングツリーの深さを１増やす。いくつかの実装では、図１０のパターンに従って、パーティショニングツリーの次のレベルに再帰的にパーティショニングするために、１０１０の全て正方形のパーティションのみが許可される場合がある。つまり、Ｔ型のパターン１００２、１００４、１００６、及び１００８内の正方形のパーティションには、再帰的パーティショニングが許可されない場合がある。図１０に続く、再帰を伴うパーティショニング手順は、必要に応じて、コーディングブロックの最終セットを生成する。かかるスキームは、１つ以上のカラーチャネルに適用できる。いくつかの実装では、８×８レベル以下のパーティションの使用に、より柔軟性が付加される場合がある。例えば、２×２クロマインター予測が特定のケースで使用される場合がある。

【0109】

コーディングブロックパーティショニングのためのいくつかの他の例示的実装では、ベースブロック又は中間ブロックをクオドツリーパーティションにスプリットするためにクオドツリー構造を使用することができる。かかるクオドツリースプリッティングは、任意の正方形のパーティションに階層的かつ再帰的に適用することができる。ベースブロックと中間ブロック又はパーティションのどちらがさらにクオドツリースプリットであるかどうかは、ベースブロック又は中間ブロック／パーティションの種々の局所的特性に適応させることができる。画像境界でのクオドツリーパーティショニングは、さらに適応させることができる。例えば、サイズが画像境界にフィットするまでブロックがクオドツリースプリッティングを維持するように、暗黙的なクオドツリースプリッティングを画像境界で実行することができる。

【0110】

いくつかの他の例示的実装では、ベースブロックからの階層的バイナリパーティショニングを使用することができる。かかるスキームでは、ベースブロック又は中間レベルブロックを２つのパーティションに分割することができる。バイナリパーティションは、水平又は垂直のいずれかである。例えば、水平バイナリパーティションは、ベースブロック又は中間ブロックを均等な左右のパーティションにスプリットすることができる。同様に、垂直バイナリパーティショニングは、ベースブロック又は中間ブロックを均等な上下のパーティションにスプリットすることができます。このようなバイナリパーティショニングは階層的かつ再帰的である。バイナリパーティショニングスキームを継続するかどうか、またスキームがさらに継続する場合は水平又は垂直のバイナリパーティショニングを使用すべきかどうかは、ベースブロック又は中間ブロックのそれぞれで決定される。いくつかの実装では、さらなるパーティショニングは所定の最低パーティションサイズで（両方又は片方の時限において）停止する場合がある。あるいは、さらなるパーティショニングは、一旦、所定のパーティショニングレベル又はベースブロックからの深さに達すると、停止する場合がある。いくつかの実装では、パーティションのアスペクト比が制限される場合がある。例えば、パーティションのアスペクト比は１：４（又は４：１より大きい）より小さくなり得ない。そのため、垂直対水平のアスペクト比が４：１を有する垂直ストリップパーティションは、さらに、それぞれ垂直対水平のアスペクト比が２：１を有する上部及び下部のパーティションに、垂直方向にバイナリパーティションされ得る。

【0111】

さらにいくつかの他の実施例では、図１３に示すように、ベースブロック又は任意の中間ブロックをパーティショニングするためにターナリパーティショニングスキームを使用することができる。ターナリパターンは、図１３の１３０２に示すように垂直に実装することも、図１３の１３０４に示すように水平に実装することもできる。図１３のスプリット比の例は、垂直又は水平のいずれかで１：２：１と示されているが、他の比率が事前に定義されている場合もある。いくつかの実装では、２つ以上の異なる比率が事前に定義されている場合があります。かかるターナリパーティショニングスキームは、クオドツリー又はバイナリパーティショニング構造を補完するために使用されることができ、かかるトリプルツリーパーティショニングは、ブロックの中心にあるオブジェクトを１つの隣接するパーティションに捕捉することができるが、クオドツリー及びバイナリツリーは常にブロックの中心に沿ってスプリッティングされるため、オブジェクトを別個のパーティションにスプリットする。いくつかの実装では、追加の変換を避けるために、例示的トリプルツリーのパーティションの幅と高さは常に２の累乗になる。

【0112】

上記のパーティショニングスキームは、異なるパーティショニングレベルで任意の方法で組み合わせることができる。一実施例として、上記のクオドツリー及びバイナリパーティショニングスキームを組み合わせて、ベースブロックをクオドツリーバイナリ（ＱＴＢＴ）構造にパーティショニングすることができる。かかるスキームでは、ベースブロック又は中間ブロック／パーティションは、指定されている場合、一連の定義済み条件に従って、クオドツリースプリット又はバイナリパースプリットのいずれかになる。特定の実施例を図１４に示す。図１４の実施例では、ベースブロックはまず、１４０２、１４０４、１４０６、及び１４０８で示されるように、４つのパーティションにスプリットされたクオドツリーである。その後、結果として得られる各パーティションは、クオドツリーでさらに４つのパーティションにパーティショニングされるか（１４０８のように）、次のレベルでさらに２つのパーティションにバイナリスプリットされる（例えば、１４０２又は１４０６のように水平又は垂直のいずれかで、どちらも対称である）か、又はスプリットされない（１４０４のように）。バイナリ又はクオドツリーのスプリッティングは、１４１０の全体的な例示的パーティショニングパターンと、１４２０の対応するツリー構造／表現とによって示されているように、正方形のパーティションに対して再帰的に許可されることがあり、実線はクオドツリースプリッティングを表し、破線はバイナリのスプリッティングを表す。バイナリスプリッティングノード（非リーフバイナリパーティション）ごとにフラグを使用して、バイナリスプリッティングが水平か垂直かを示すことができる。例えば、１４２０に示すように、１４１０のパーティショニング構造と一致して、フラグ「０」は水平バイナリスプリッティングを表し、フラグ「１」は垂直バイナリスプリッティングを表すことができる。クオドツリースプリットパーティションでは、クオドツリースプリッティングは常にブロック又はパーティションを水平及び垂直にスプリッティングして、同じサイズの４つのサブブロック／パーティションを生成するため、スプリッティングの種類を示す必要はない。いくつかの実装では、フラグ「１」が水平バイナリスプリッティングを表し、フラグ「０」が垂直バイナリスプリッティングを表す場合がある。

【0113】

いくつかのＱＴＢＴの例示的実装では、クオドツリー及びバイナリスプリッティングルールセットは、次の所定のパラメータとそれに関連付けられた対応する関数によって表される場合がある。
－ ＣＴＵサイズ：クオドツリーのルートノードのサイズ（ベースブロックのサイズ）
－ ＭｉｎＱＴＳｉｚｅ：最小許容クオドツリーリーフノードサイズ
－ ＭａｘＢＴＳｉｚｅ：最大許容バイナリツリールートノードサイズ
－ ＭａｘＢＴＤｅｐｔｈ：最大許容バイナリツリー深さ
－ ＭｉｎＢＴＳｉｚｅ：最小許容バイナリツリールートノードサイズ
ＱＴＢＴパーティショニング構造のいくつかの実装例では、ＣＴＵサイズは、クロマサンプルの２つの対応する６４×６４ブロックを含む１２８×１２８ルマサンプルとして設定でき（クロマサブサンプリングの例を考慮して使用する場合）、ＭｉｎＱＴＳｉｚｅは１６×１６に設定でき、ＭａｘＢＴＳｉｚｅは６４×６４に設定でき、ＭｉｎＢＴＳｉｚｅ（幅と高さの両方）は４×４に設定でき、ＭａｘＢＴＤｅｐｔｈは４に設定できる。クオドツリーパーティショニングは、クオドツリーリーフノードを生成するために最初にＣＴＵに適用される。クオドツリーリーフノードは、１６×１６（すなわち、ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（すなわち、ＣＴＵサイズ）までの最小許容サイズを有する。リーフＱＴノードが１２８×１２８の場合、サイズがＭａｘＢＴＳｉｚｅ（すなわち６４×６４）を超えるため、最初にバイナリツリーによってスプリットされることはない。さもなければ、ＭａｘＢＴＳｉｚｅを超えないノードがバイナリツリーによってパーティショニングされることができる。図１４の例では、ベースブロックは１２８×１２８である。ベーシックブロックは、所定のルールセットに従って、クオドツリースプリットのみが可能である。バーシックブロックのパーティショニング深さは０である。結果として得られる４つのパーティションはそれぞれ６４×６４で、ＭａｘＢＴＳｉｚｅを超えず、レベル１でさらにクオドツリー又はバイナリツリースプリットされ得る。プロセスは続行される。バイナリツリー深さがＭａｘＢＴＤｅｐｔｈ（すなわち４）に達した場合、それ以上のスプリッティングは考慮されない。バイナリツリーノードがＭｉｎＢＴＳｉｚｅに等しい幅を有する場合（すなわち４）、それ以上の水平スプリッティングは考慮されない。同様に、バイナリツリーノードがＭｉｎＢＴＳｉｚｅに等しい高さを有する場合、それ以上の垂直スプリッティングは考慮されない。

【0114】

いくつかの例示的実装では、上部のＱＴＢＴスキームは、ルマ及びクロマが同じＱＴＢＴ構造又は別個のＱＴＢＴ構造を有する柔軟性をサポートするように構成される場合がある。例えば、ＰスライスとＢスライスでは、１つのＣＴＵのルマ及びクロマＣＴＢが同じＱＴＢＴ構造を共有している。しかしながら、Ｉスライスの場合、ルマＣＴＢはＱＴＢＴ構造によってＣＢにパーティショニングされ、クロマＣＴＢは別のＱＴＢＴ構造によってクロマＣＵにパーティショニングされる。これは、ＣＵを使用してＩスライス内の異なるカラーチャネルを参照できることを意味し、例えば、Ｉスライスはルマ成分のコーディングブロックまたは２つのクロマ成分のコーディングブロックで構成され、Ｐ又はＢスライス内のＣＵは３つのカラー成分全てのコーディングブロックで構成され得る。

【0115】

いくつかの他の実装では、ＱＴＢＴスキームは、上述のターナリスキームで補われることができる。かかる実装は、マルチタイプツリー（ＭＴＴ）構造と称され得る。例えば、ノードのバイナリスプリッティングに加えて、図１３のターナリパーティションパターンのうちの１つが使用されることができる。いくつかの実装では、スクエアノードのみがターナリスプリッティングの対象となり得る。追加のフラグを使用して、ターナリパーティショニングが水平か垂直かを示すことができる。

【0116】

ＱＴＢＴ実装やターナリスプリッティングによって補完されたＱＴＢＴ実装などの２レベル又はマルチレベルツリーの設計は、主に複雑さの軽減によって動機付けられ得る。理論的には、ツリーを横断する複雑さは、Ｔ^Ｄであり、Ｔはスプリットタイプの数を示し、Ｄはツリーの深さを示す。深さ（Ｄ）を低減しながら、複数のタイプ（Ｔ）を使用することでトレードオフを行うことができる。

【0117】

いくつかの実装では、ＣＢをさらにパーティショニングされ得る。例えば、ＣＢは、コーディング及びデコードプロセス中のイントラフレーム又はインターフレーム予測の目的で、複数の予測ブロック（ＰＢ）にさらにパーティショニングされ得る。換言すると、ＣＢはさらに、異なるサブパーティションに分割され、個々の予測決定／構成が行われ得る。並行して、ＣＢは、ビデオデータの変換又は逆変換が実行されるレベルを描写する目的で、複数の変換ブロック（ＴＢ）にさらにパーティショニングされ得る。ＣＢをＰＢ及びＴＢへとパーティショニングするスキームは、同じである場合とそうでない場合がある。例えば、各パーティショニングスキームは、例えばビデオデータのさまざまな特性に基づいて、独自の手順を使用して実行される場合がある。ＰＢ及びＴＢパーティショニングスキームは、いくつかの例示的実装では独立している場合がある。ＰＢ及びＴＢのパーティショニングスキーム及び境界は、いくつかの他の例示的実装では相関する場合がある。いくつかの実装では、例えば、ＴＢはＰＢのパーティショニング後にパーティショニングされることができ、特に、各ＰＢは、コーディングブロックのパーティショニング後に決定され、その後、さらに１つ以上のＴＢにパーティショニングされ得る。例えば、いくつかの実装では、ＰＢは１、２、４、又はその他の数のＴＢにスプリットされる場合がある。

【0118】

いくつかの実装では、ベースブロックをコーディングブロックにパーティショニングし、さらに予測ブロック及び／又は変換ブロックにパーティショニングする場合、ルミナンスチャネルとクロマチャネルを別々に扱うことができる。例えば、いくつかの実装では、コーディングブロックを予測ブロック及び／又は変換ブロックにパーティショニングすることは、ルマチャネルに対して許可されることができるが、そのようなコーディングブロックを予測ブロック及び／又は変換ブロックにパーティショニングすることは、（１つ以上の）クロマチャネルでは許可されない場合がある。そのような実装では、ルミナンスブロックの変換や予測は、したがって、コーディングブロックレベルでのみ実行される場合がある。別の実施例として、（１つ以上の）ルマチャネル及びクロマチャネルについての最小変換ブロックサイズは異なる場合があり、例えば、ルマチャネルのためのコーディングブロックは、クロマチャネルよりも小さな変換ブロック及び／又は予測ブロックにパーティショニングすることが許可される場合がある。さらにまた別の実施例として、コーディングブロックを変換ブロック及び／又は予測ブロックにパーティショニングする最大深さは、ルマチャネル及びクロマチャネルの間で異なる場合があり、例えば、ルマチャネルのためのコーディングブロックは、（１つ以上の）クロマチャネルよりも深い変換ブロック及び／又は予測ブロックにパーティショニングすることが許可される場合がある。具体的な実施例として、ルマコーディングブロックは、複数のサイズの変換ブロックにパーティショニングされ、最大２レベルダウンの再帰的パーティションで表すことができ、正方形、２：１／１：２、４：１／１：４などの変換ブロックの形状と、４×４から６４×６４までの変換ブロックのサイズが許可される場合がある。ただし、クロマブロックの場合は、ルマブロックに指定された可能な最大の変換ブロックのみが許可される場合がある。

【0119】

コーディングブロックをＰＢにパーティショニングするいくつかの実装例では、ＰＢパーティショニングの深さ、形状、及び／又はその他の特性は、ＰＢがイントラ又はインターコーディングされているかどうかによって異なる場合がある。

【0120】

コーディングブロック（又は予測ブロック）の変換ブロックへのパーティショニングは、再帰的又は非再帰的に、コーディングブロック又は予測ブロックの境界にある変換ブロックをさらに考慮して、クオドツリースプリッティング及び所定のパターンスプリッティングを含むがこれに限定されない、さまざまな例のスキームで実装される場合がある。一般に、結果として得られる変換ブロックは、異なるスプリットレベルであってもよく、同じサイズであってもよく、形状が正方形である必要がない場合もある（例えば、いくつかの許容されたサイズとアスペクト比で長方形にすることができる。）。さらなる例は、図１５、１６及び１７に関連して以下でさらに詳細に説明する。

【0121】

しかし、いくつかの他の実装では、上記のパーティショニングスキームのいずれかを介して得られたＣＢを、予測及び／又は変換のためのベーシック又は最小のコーディングブロックとして使用することができる。つまり、インター予測／イントラ予測の目的及び／又は変換の目的で、それ以上のスプリッティングは行われない。例えば、上記のＱＴＢＴスキームから得られたＣＢは、予測を実行するための単位として直接使用される場合がある。具体的には、このようなＱＴＢＴ構造は、複数のパーティションの種類の概念を削除する、すなわち、ＣＵ、ＰＵ、及びＴＵの分離を削除し、上記のようにＣＵ／ＣＢパーティション形状のより柔軟性をサポートする。かかるなＱＴＢＴブロック構造では、ＣＵ／ＣＢは正方形又は長方形のいずれかの形状を有することができる。かかるＱＴＢＴのリーフノードは、それ以上パーティショニングすることなく、予測及び変換処理の単位として使用される。これは、かかる例示的ＱＴＢＴコーディングブロック構造では、ＣＵ、ＰＵ、及びＴＵのブロックサイズが同じであることを意味する。

【0122】

上記のさまざまなＣＢパーティショニングスキームと、ＣＢのＰＢ及び／又はＴＢへのさらなるパーティショニング（ＰＢ／ＴＢパーティショニングなしを含む）は、任意の方法で組み合わせることができる。次の特定の実装は、非制限の例として提供されている。

【0123】

コーディングブロックと変換ブロックのパーティショニングの具体的な実装例を次に示す。かかる例示的実装では、再帰的なクオドツリーパーティショニング、又は前述の所定のスプリッティングパターン（図９及び図１０のような）を使用して、ベースブロックをコーディングブロックにスプリットできる。各レベルで、特定のパーティションのさらなるクオドツリースプリッティングを継続するかどうかは、ローカルのビデオデータ特性によって決定される場合がある。結果のＣＢは、さまざまなクオドツリースプリッティングレベルで、さまざまなサイズになり得る。インター画像（時間的）予測又はイントラ画像（空間的）予測を使用して画像領域をコーディングするかどうかの決定を、ＣＵレベルで行うことができる（又はＣＵレベル、全ての３色チャンネル）。各ＣＢは、所定のＰＢスプリッティングタイプに従って、さらに１、２、４、又はその他の数のＰＢにスプリットされる。１つのＰＢの内部では、同じ予測プロセスが適用され、関連する情報がＰＢベースでデコーダに送信されることがある。ＰＢスプリッティングタイプに基づく予測プロセスを適用して残余ブロックを取得した後、ＣＢのコーディングツリーに似た別のクオドツリー構造に従ってＣＢをＴＢにパーティショニングできる。この特定の実装では、ＣＢ又はＴＢは正方形に限定される必要はない。さらに、この特定の例では、ＰＢは、インター予測の場合は正方形又は長方形の形状である場合があり、イントラ予測の場合は正方形のみの場合がある。コーディングブロックは、例えば４つの正方形のＴＢにスプリットすることができる。各ＴＢは、さらに再帰的に（クオドツリースプリットを使用して）より小さなＴＢにスプリットすることができ、これは残差クオドツリー（Ｒｅｓｉｄｕａｌ Ｑｕａｄｔｒｅｅ：ＲＱＴ）と称される。

【0124】

ベースブロックをＣＢ、ＰＢ、又はＴＢにパーティショニングする別の例示的実装を以下にさらに説明する。例えば、図９や図１０に示されているような複数のパーティションユニットタイプを使用するのではなく、バイナリ及びターナリスプリットセグメンテーション構造（例えば、上記のようなターナリスプリッティングを伴うＱＴＢＴやＱＴＢＴ）を使用したネストされた複数タイプツリーを有するクオドツリーを使用することができる。ＣＢ、ＰＢ及びＴＢの分離（すなわち、ＣＢをＰＢ及び／又はＴＢにパーティショニングし、ＰＢをＴＢにパーティショニングする）は、かかるＣＢがさらにスプリッティングする必要がある場合があり、最大変換長に対して大きすぎるサイズのＣＢに必要な場合を除いて、放棄することができる。この例示的パーティショニングスキームは、さらなるパーティショニングを行わずに予測と変換の両方をＣＢレベルで実行できるように、ＣＢパーティショニング形状のより柔軟性をサポートするように設計することができる。かかるコーディングツリー構造では、ＣＢは正方形又は長方形のいずれかの形状をとることができる。具体的には、コーディングツリーブロック（ＣＴＢ）は、最初にクオドツリー構造によってパーティショニングされることがある。その後、クオドツリーリーフノードは、ネストされたマルチタイプツリー構造によってさらにパーティショニングされることがある。バイナリ又はターナリスプリッティングを使用したネストされたマルチタイプのツリー構造の例を図１１に示す。具体的には、図１１の例示的マルチタイプツリー構造は、垂直バイナリスプリッティング（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）（１１０２）、水平バイナリスプリッティング（ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）（１１０４）、垂直ターナリスプリッティング（ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）（１１０６）、水平ターナリスプリッティング（ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）（１１０８）と称される４つのスプリッティングタイプが含まれる。その後、ＣＢはマルチタイプツリーのリーフに対応する。この例示的実装では、ＣＢが最大変換長に対して大きすぎる場合を除き、このセグメント化は予測と変換処理の両方に使用され、それ以上のパーティショニングは行われない。これは、ほとんどの場合、ＣＢ、ＰＢ、ＴＢは、ネストされたマルチタイプのツリーコーディングブロック構造有するクオドツリーで同じブロックサイズを有することを意味する。サポートされる最大変換長がＣＢのカラーコンポーネントの幅又は高さよりも小さい場合、例外が発生する。いくつかの実装では、バイナリ又はターナリスプリッティングに加えて、図１１のネストされたパターンには、クオドツリースプリッティングがさらに含まれ得る。

【0125】

１つのベースブロックに対するブロックパーティション（クオドツリー、バイナリ、及びターナリスプリッティングオプションを含む）のネストされたマルチタイプのツリーコーディングブロック構造を有するクオドツリーの具体例を図１２に示す。より詳細には、図１２は、ベースブロック１２００が四つの正方形のパーティション１２０２、１２０４、１２０６、１２０８にスプリットされたクオドツリーであることを示す。図１１のマルチタイプのツリー構造と、さらなるスプリッティングのためのクオドツリーをさらに使用する決定は、クオドツリースプリットされたパーティションごとに行われる。図１２の実施例では、パーティション１２０４はさらにスプリットされない。パーティション１２０２及び１２０８はそれぞれ別のクオドツリースプリットを採用する。パーティション１２０２の場合、第２レベルのクオドツリースプリットの左上、右上、左下、及び右下のパーティションは、それぞれクオドツリーの第３レベルスプリッティング、図１１の水平バイナリスプリッティング１１０４、図１１の非スプリッティング、水平ターナリスプリッティング１１０８を採用している。パーティション１２０８は別のクオドツリースプリットを採用し、第２レベルのクオドツリースプリットの左上、右上、左下、右下のパーティションは、それぞれ図１１の垂直ターナリスプリッティング１１０６、図１１の非スプリッティング、非パーティショニング、水平バイナリスプリッティング１１０４の第３レベルスプリッティングを採用している。第３レベルの左上パーティション１２０８の２つのサブパーティションは、それぞれ図１１の水平バイナリスプリッティング１１０４と水平ターナリスプリッティング１１０８に従ってさらにスプリットされる。パーティション１２０６は、図１１の垂直バイナリスプリッティング１１０２に続く第２レベルスプリットパターンを、図１１の水平ターナリパーティショニング１１０８と垂直バイナリパーティショニング１１０２に従ってさらに第３レベルでスプリットされる２つのパーティションに採用する。第４レベルスプリッティングは、図１１の水平バイナリスプリッティング１１０４に従ってさらにそれらの一方に適用される。

【0126】

上記の具体例では、最大ルマ変換サイズは６４×６４であり、サポートされる最大クロマ変換サイズは、例えば３２×３２でルマと異なる可能性がある。図１２の上の例のＣＢは、全体的に、より小さなＰＢ及び／又はＴＢにさらにスプリットされていないが、ルマコーディングブロック又はクロマコーディングブロックの幅又は高さが最大変換幅又は高さよりも大きい場合、ルマコーディングブロック又はクロマコーディングブロックは、水平方向及び／又は垂直方向の変換サイズの制限を満たすように、その方向に自動的にスプリットされることができる。

【0127】

ベースブロックを上記のＣＢにパーティショニングする具体例では、前述のように、コーディングツリースキームは、ルマ及びクロマが別々のブロックツリー構造を有する能力をサポートする場合がある。例えば、ＰスライスとＢスライスでは、１つのＣＴＵのルマ及びクロマＣＴＢが同じコーディングツリー構造を共有している。例えば、Ｉスライスの場合、ルマとクロマは別々のコーディングブロックツリー構造を持つことができる。個別のブロックツリー構造を適用すると、ルマＣＴＢは１つのコーディングツリー構造によってルマＣＵにパーティションされ、クロマＣＴＢは別のコーディングツリー構造によってクロマＣＵにパーティションされる。これは、Ｉスライス中のＣＵは、ルマ成分のコーディングブロック又は２つのクロマ成分のコーディングブロックを含むことができ、Ｐスライス又はＢスライス中のＣＵは、ビデオがモノクロでない限り常に、３つのカラー成分すべてのコーディングブロックを含むことができることを意味する。

【0128】

コーディングブロックがさらに複数の変換ブロックにパーティショニングされる場合、その中の変換ブロックは、さまざまな順序又はスキャン方法に従ってビットスツリーム内で順序付けされることがある。コーディングブロック又は予測ブロックを変換ブロックにパーティショニングする実例示的装及び変換ブロックのコーディング順序については、以下でさらに詳細に説明する。いくつかの例示的実装では、前述のように、変換パーティショニングは、例えば４×４から６４×６４までの変換ブロックサイズで、例えば１：１（正方形）、１：２／２：１、及び１：４／４：１などの複数の形状の変換ブロックをサポートすることがある。いくつかの実装では、コーディングブロックが６４×６４以下の場合、変換ブロックパーティショニングはルマコンポーネントにのみ適用される場合があり、クロマブロックの場合、変換ブロックサイズはコーディングブロックサイズと同じになる。それ以外の場合、コーディングブロックの幅又は高さが６４より大きい場合、ルマブロックとクロマコーディングブロックの両方が、それぞれｍｉｎ（Ｗ、６４）×ｍｉｎ（Ｈ、６４）及びｍｉｎ（Ｗ、３２）×ｍｉｎ（Ｈ３２）の倍数の変換ブロックに暗黙的にスプリットされることがある。

【0129】

変換ブロックパーティショニングのいくつかの例示的実装では、イントラコーディングブロック及びインターコーディングブロックの両方について、コーディングブロックは、所定の数のレベル（例：２レベル）までのパーティショニング深さを有する複数の変換ブロックにさらにパーティショニングされることがある。変換ブロックのパーティショニング深さとサイズは関連することがある。いくつかの例示的実装では、現在の深さの変換サイズから次の深さの変換サイズへのマッピングを表１に示す。

【表1】

【0130】

表１の例示的マッピングに基づいて、１：１正方形ブロックの場合、次のレベルの変換スプリットによって４つの１：１正方形サブ変換ブロックが作成されることがある。変換パーティションは、例えば４ ｘ ４でストップすることがある。そのため、４ｘ４の現在深さの変換サイズは、次の深さの同じ４ｘ４のサイズに対応する。表１の例では、１：２／２：１非正方形ブロックの場合、次のレベルの変換スプリットによって２つの１：１正方形サブ変換ブロックが作成されることがあり、１：４／４：１非正方形ブロックの場合、次のレベルの変換パーティショニングによって２つの１：２／２：１サブ変換ブロックが作成されることがある。

【0131】

いくつかの例示的実装では、イントラコーディングブロックのルマコンポーネントに対して、変換ブロックのパーティショニングに関して追加の制限が適用される場合がある。例えば、変換パーティショニングのレベルごとに、すべてのサブ変換ブロックが同じサイズを有するように制限される場合がある。例えば、３２×１６のコーディングブロックの場合、レベル１の変換スプリットで、２つの１６×１６サブ変換ブロックが作成され、レベル２の変換スプリットでは８つの８×８サブ変換ブロックが作成される。換言すると、変換ユニットを同じサイズに保つには、第２レベルのスプリットを全ての第１レベルのサブブロックに適用する必要がある。表１に従ったイントラコーディング正方形ブロックの変換ブロックパーティショニングの例が、矢印で示すコーディング順序とともに、図１５に示されている。具体的には、１５０２は正方形コーディングブロックを示す。表１に従って４つの同じサイズの変換ブロックにスプリットされた第１レベルは、矢印で示すコーディング順序で１５０４に示されている。表１に従って、第１レベルの全ての同じサイズのブロックを１６個の同じサイズの変換ブロックにスプリットした第２レベルスプリットは、矢印で示されたコーディング順序で１５０６に示されている。

【0132】

いくつかの例示的実装では、インターコーディングブロックのルマコンポーネントについて、上記のイントラコーディングの制限が適用されない場合がある。例えば、変換スプリッティングの第１レベルの後に、サブ変換ブロックのいずれか１つが、さらに１つのレベルで独立してスプリットされる場合がある。したがって、結果の変換ブロックは同じサイズになる場合とならない場合がある。インターコーディングされたブロックをそのコーディング順序で変換ブロックにスプリットする例を図１６に示す。図１６の例では、インターコーディングされたブロック１６０２は、表１に従って２つのレベルで変換ブロックにスプリットされる。第１レベルでは、インターコーディングされたブロックは、同じサイズの４つの変換ブロックにスプリットされる。次に、４つの変換ブロックのうちの１つだけ（全てではない）が４つのサブ変換ブロックにさらにスプリットされ、１６０４で示すように、２つの異なるサイズを有する合計７つの変換ブロックになる。これら７つの変換ブロックのコーディング順序の例は、図１６の１６０４の矢印で示されている。

【0133】

いくつかの例示的実装では、（１つ以上の）クロマコンポーネントについて、変換ブロックの追加の制限が適用される場合がある。例えば、（１つ以上の）クロマコンポーネントの場合、変換ブロックのサイズはコーディングブロックのサイズと同じ大きさにすることができるが、８×８などの予め定義されたサイズより小さくすることはできない。

【0134】

他のいくつかの例示的実装では、幅（Ｗ）又は高さ（Ｈ）のいずれかが６４より大きいコーディングブロックの場合、ルマコーディングブロックとクロマコーディングブロックの両方が、それぞれｍｉｎ（Ｗ、６４）×ｍｉｎ（Ｈ、６４）及びｍｉｎ（Ｗ、３２）×ｍｉｎ（Ｈ、３２）の倍数の変換ユニットに暗黙的にスプリットされることがある。ここで、本開示では、「ｍｉｎ（ａ，ｂ）」はａとｂの間のより小さい値を返すことがある。

【0135】

図１７はさらに、コーディングブロック又は予測ブロックを変換ブロックにパーティショニングする別の代替的実施例スキームを示す。図１７に示すように、再帰的な変換パーティショニングを使用する代わりに、コーディングブロックの変換タイプに応じて、予め定義された一連のパーティショニングタイプをコーディングブロックに適用することができる。図１７に示す特定の例では、６つの例示的パーティショニングタイプのいずれかを適用して、コーディングブロックをさまざまな数の変換ブロックにスプリットすることができる。かかる変換ブロックパーティショニングを生成するスキームは、コーディングブロック又は予測ブロックのいずれかに適用することができる。

【0136】

より詳細には、図１７のパーティショニングスキームは、任意の所与の変換タイプに対して最大６つの例示的パーティショニングタイプを提供する（変換タイプは、ＡＤＳＴなどの例えば一次変換のタイプを指す）。このスキームでは、全コーディングブロック又は予測ブロックに、例えばレート歪みコストに基づいて変換パーティションタイプを割り当てることができる。実施例では、コーディングブロック又は予測ブロックに割り当てられる変換パーティションタイプは、コーディングブロック又は予測ブロックの変換タイプに基づいて決定されることがある。特定の変換パーティションタイプは、図１７に示す６つの変換パーティションタイプによって示されるように、変換ブロックスプリットのサイズとパターンに対応することがある。さまざまな変換タイプとさまざまな変換パーティションタイプとの間の対応関係を予め定義する（ｐｒｅｄｅｆｉｎｅｄ）ことができる。次に、レート歪みコストに基づいてコーディングブロック又は予測ブロックに割り当てることができる変換パーティションタイプを示す大文字のラベルの例を示します。

【0137】

・ ＰＡＲＴＩＴＩＯＮ＿ＮＯＮＥ：ブロックサイズと同じ変換サイズを割り当てる

【0138】

・ ＰＡＲＴＩＴＩＯＮ＿ＳＰＬＩＴ：ブロックサイズの１／２の幅及びブロックサイズの１／２の高さの変換サイズを割り当てる

【0139】

・ ＰＡＲＴＩＴＩＯＮ＿ＨＯＲＺ：ブロックサイズと同じ幅及びブロックサイズの１／２の高さの変換サイズを割り当てる

【0140】

・ ＰＡＲＴＩＴＩＯＮ＿ＶＥＲＴ：ブロックサイズの１／２の幅及びブロックサイズと同じ高さの変換サイズを割り当てる

【0141】

・ ＰＡＲＴＩＴＩＯＮ＿ＨＯＲＺ４：ブロックサイズと同じ幅及びブロックサイズの１／４の高さの変換サイズを割り当てる

【0142】

・ ＰＡＲＴＩＴＩＯＮ＿ＶＥＲＴ４：ブロックサイズの１／４の幅、ブロックサイズと同じ高さの変換サイズを割り当てる

【0143】

上記の例では、図１７に示すような変換パーティションタイプは全て、パーティションされた変換ブロックについて均一な変換サイズが含まれている。これは制限ではなく単なる例示である。他のいくつかの実装では、特定のパーティションタイプ（又はパターン）のパーティションされた変換ブロックに対して、混合された変換ブロックサイズが使用されることがある。

【0144】

上記のパーティショニングスキームのいずれかから取得されたＰＢ（又はＣＢ、予測ブロックにさらにパーティショニングされていない場合はＰＢとも称される）は、イントラ又はインター予測を介するコーディングのための個々のブロックになることがある。現在のＰＢのインター予測の場合、現在のブロックと予測ブロックとの間の残差が生成され、コーディングされ、コーディングされたビットスツリームに含まれることがある。

【0145】

インター予測は、例えば、単一参照モード又は複合参照モードで実装できる。いくつかの実装では、現在のブロックがインターコーディングされていてスキップされないかどうかを示すために、スキップフラグをまず、現在ブロックのビットスツリーム（又はより高いレベル）に含めることができる。現在ブロックがインターコーディングされている場合は、現在のブロックに単一参照モード又は複合参照モードが使用されているかどうかを示す信号として、別のフラグをさらにビットスツリームに含めることができる。単一参照モードの場合は、１つの参照ブロックを使用して現在ブロックの予測ブロックを生成できる。複合参照モードでは、２つ以上の参照ブロックを使用して、例えば加重平均によって予測ブロックを生成することができる。複合参照モードは、複数参照モード（ｍｏｒｅ－ｔｈａｎ－ｏｎｅ－ｒｅｆｅｒｅｎｃｅ ｍｏｄｅ）、２参照モード、（ｔｗｏ－ｒｅｆｅｒｅｎｃｅ ｍｏｄｅ）又はマルチ参照モード（ｍｕｌｔｉｐｌｅ－ｒｅｆｅｒｅｎｃｅ ｍｏｄｅ）と称されることがある。１つ以上の参照ブロックは、例えば水平及び垂直ピクセルで、１つ以上の参照フレームインデックスを使用して、さらに参照ブロックと現在のブロックとの間の位置の移動を示す対応する１つ以上の動きベクトルを使用して、識別することができる。例えば、現在ブロックのインター予測ブロックは、単一参照モードの予測ブロックとして参照フレーム内の１つの動きベクトルによって識別される単一参照ブロックから生成される場合があるが、複合参照モードの場合、予測ブロックは、２つの動きベクトルによって示される２つの参照フレーム内の２つの参照ブロックの加重平均によって生成される場合がある。（１つ以上の）動きベクトルは、さまざまな方法でコーディングされてビットスツリームに含まれることがある。

【0146】

いくつかの実装では、エンコード又はデコードシステムがデコードされた画像バッファ（ＤＰＢ）を維持することがある。一部のイメージ／ピクチャ又は画像（ｉｍａｇｅｓ／ｐｉｃｔｕｒｅｓ）は（デコードシステムで）表示されるのを待ってＤＰＢで維持される場合があり、ＤＰＢ内の一部のイメージ／画像は、インター予測を可能にするための参照フレームとして使用される場合がある。実装によっては、ＤＰＢ内の参照フレームは、エンコード又はデコードされている現在の画像の短期参照又は長期参照のいずれかとしてタグ付けされる場合がある。例えば、短期参照フレームは、現在フレーム内又はデコード順で現在フレームに最も近い後続のビデオフレームの所定の数（例えば２）内の、ブロックのインター予測に使用されるフレームを含むことができる。長期参照フレームは、現在フレームからデコード順で所定のフレーム数よりも多く離れたフレーム内のイメージブロックを予測するために使用できるＤＰＢ内のフレームを含むことができる。短期及び長期の参照フレームのかかるタグに関する情報は、参照画像セット （Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｓｅｔ：ＲＰＳ） と称され、エンコードされたビットスツリームの各フレームのヘッダーに追加される場合がある。エンコードされたビデオストリームの各フレームは、ピクチャ順序カウンタ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔｅｒ：ＰＯＣ）によって識別される場合があり、これは絶対的な方法で再生シーケンスに従って番号付けされるか、例えばＩフレームから始まる画像グループに関連して番号付けされる。

【0147】

いくつかの例示的実装では、インター予測のための短期及び長期の参照フレームの識別を含む１つ以上の参照画像リストがＲＰＳ内の情報に基づいて形成される場合がある。例えば、単一方向のインター予測のために、Ｌ０参照（又は参照リスト０）として示される単一の画像参照リストが形成される場合があるが、双方向インター予測のために、２つの予測方向のそれぞれについて、Ｌ０（又は参照リスト０）及びＬ１（又は参照リスト１）として示される２つの画像参照リストが形成される場合がある。Ｌ０及びＬ１リストに含まれる参照フレームは、さまざまな予め定義された方法で順序付けられることがある。Ｌ０及びＬ１リストの長さは、ビデオビットスツリームでシグナリングされることがある。単一方向インター予測は、複合予測モードで加重平均による予測ブロックを生成するための複数の参照が、予測されるべきブロックの同じ側にある場合複合予測モードであるか、又は単一参照モードであるか、のいずれかである。双方向インター予測は、双方向のインター予測が少なくとも２つの参照ブロックを含むという点で、複合モードでのみ可能である。

【0148】

いくつかの実装では、インター予測のマージモード（ＭＭ）が実装される場合がある。一般に、マージモードの場合、単一参照予測の動きベクトル、又は現在ＰＢの複合参照予測の１つ以上の動きベクトルは、独立して計算されてシグナリングされるのではなく、他の動きベクトルから導出される場合がある。例えば、エンコードシステムでは、現在ＰＢのための（１つ以上の）現在動きベクトルは、（１つ以上の）現在動きベクトルと他の１つ以上の既にコーディングされた動きベクトル（参照動きベクトルと称される）との（１つ以上の）差分に縮小される場合がある。（１つ以上の）現在動きベクトル全体ではなく、（１つ以上の）動きベクトルにおける（１つ以上の）かかる差分は、エンコードされてビットスツリームに含まれ、（１つ以上の）参照動きベクトルにリンクされることがある。これに対応してデコードシステムでは、現在ＰＢに対応する（１つ以上の）動きベクトルは、デコードされた動きベクトル差分とそれにリンクされたデコードされた（１つ以上の）参照動きベクトルに基づいて導出されることがある。一般的なマージモード（ＭＭ）インター予測の特定の形式として、動きベクトル差分に基づくかかるインター予測は、動きベクトル差分を伴うマージモード （Ｍｅｒｇｅ Ｍｏｄｅ ｗｉｔｈ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ：ＭＭＶＤ）と称されることがある。したがって、一般にＭＭ又は特にＭＭＶＤは、コーディング効率を向上させるために、異なるＰＢに関連付けられた動きベクトル間の相関関係を活用するために実装されることがある。例えば、隣接するＰＢは類似の動きベクトルを有することがある。別の例として、空間内で同様に配置され／位置決めされたブロックに対して、動きベクトルが時間的（フレーム間）に相関することがある。

【0149】

いくつかの実装例では、現在のＰＢがマージモードであるかどうかを示すためのエンコードプロセス中にＭＭフラグがビットスツリームに含まれることがある。付加的に又は代替的に、エンコードプロセス中にＭＭＶＤフラグが含まれ、現在ＰＢがＭＭＶＤモードであるかどうかを示すためにビットスツリーム内でシグナリングされることもある。ＭＭ及び／又はＭＭＶＤフラグ又はインジケータは、ＰＢレベル、ＣＢレベル、ＣＵレベル、ＣＴＢレベル、ＣＴＵレベル、スライスレベル、画像レベルなどで提供されることがある。特定の例として、ＭＭフラグとＭＭＶＤフラグとの両方が現在のＣＵに含まれることがあり、ＭＭＶＤフラグはスキップフラグとＭＭフラグの直後にシグナリングされ、現在ＣＵにＭＭＶＤモードを使用するかどうかを指定することができる。

【0150】

ＭＭＶＤのいくつかの例示的実装では、予測中のブロックに対して、動きベクトル予測のためのマージ候補のリストが形成されることがある。マージ候補リストには、現在動きベクトルの予測のために動きベクトルが使用される可能性があるＭＶ予測候補ブロックの所定の数（例：２）が含まれることがある。ＭＶＤ候補ブロックは、同じフレーム及び／又は一時的ブロック（ｔｅｍｐｏｒａｌ ｂｌｏｃｋｓ）（例えば、現在のフレームの前後のフレームで同じ位置にあるブロック）内の隣り合うブロックから選択されたブロックを含み得る。これらのオプションは、現在のブロックと類似又は同一の動きベクトルを有する可能性が高い、現在のブロックと関連して空間的又は時間的な位置にあるブロックを表す。ＭＶ予測候補のリストのサイズは予め決定される場合がある。例えば、リストに２つの候補が含まれる場合がある。マージ候補のリストに含まれるためには、例えば、候補ブロックは、現在のブロックと同じ（１つ以上の）参照フレームを有する必要があり、存在する必要があり（例えば、現在ブロックがフレームのエッジ付近にある場合、境界チェックを実行する必要がある。）、エンコードプロセス中にすでにエンコードされている必要があり、及び／又はデコードプロセス中にすでにデコードされている必要がある。いくつかの実装では、マージ候補のリストは、利用可能であり記の条件を満たしている場合は、最初に空間的に隣り合うブロック（特定の所定の順序でスキャンされる）で占められ、リスト内でスペースがまだ利用可能な場合は一次的ブロックで占められる場合がある。隣り合う候補ブロックは、例えば、現在のブロックの左ブロックと上ブロックから選択される場合がある。マージＭＶ予測候補のリストは、ビットスツリームでシグナリングされる場合がある。

【0151】

いくつかの実装では、現在ブロックの動きベクトルを予測するための参照動きベクトルとして使用されている実際のマージ候補がシグナリングされる場合がある。マージ候補リストに２つの候補が含まれている場合は、マージ候補フラグと称される１ビットフラグを使用して、参照マージ候補の選択を示すことができる。複合モードで予測される現在ブロックについては、ＭＶ予測器を使用して予測される複数の動きベクトルのそれぞれを、マージ候補リストからの参照動きベクトルに関連付けることができる。

【0152】

ＭＭＶＤのいくつかの例示的実装では、マージ候補が選択され、予測されるべき動きベクトルのための動きベクトル予測のベースとして使用された後、エンコードシステムで動きベクトル差分（予測されるべき動きベクトルと参照候補の動きベクトルとの差分を表すＭＶＤ又はデルタＭＶ）が計算されることができる。かかるＭＶＤには、ＭＶ差分の大きさとＭＶ差の方向を表す情報が含まれることができ、ビットスツリームでシグナリングされる場合がある。動き差分大きさ及び動き差分方向は、さまざまな方法でシグナリングされることができる。

【0153】

ＭＭＶＤのいくつかの例示的実装では、距離インデックスを使用して、動きベクトル差分の大きさ情報を指定し、開始点（参照動きベクトル）からの所定の動きベクトルの差分を表す予め定義されたたオフセットのセットのうちの１つを示すことができる。その後、シグナリングされたインデックスに従ったＭＶオフセットを、開始（参照）動きベクトルの水平成分又は垂直成分のいずれかに追加することができる。参照動きベクトルの水平成分又は垂直成分のいずれかをオフセットする必要があるが、これはＭＶＤの例示的方向情報によって決定される。距離インデックスと所定のオフセットとの間の所定の関係の例は、表２に示される。

【表2】

【0154】

ＭＭＶＤのいくつかの例示的実装では、方向インデックスがさらにシグナリングされ、参照動きベクトルに対するＭＶＤの方向を表すために使用され得る。いくつかの実装では、方向は、水平方向及び垂直方向のいずれかに制限され得る。２ビットの方向インデックスの例を表３に示す。表３の例では、ＭＶＤの解釈は、開始／参照ＭＶの情報に従って変化する可能性がある。例えば、開始／参照ＭＶがユニ予測ブロックに対応するか、又は、両方の参照フレームリストが現在画像の同じ側を指すバイ予測ブロックに対応する場合（すなわち、２つの参照ピクチャのＰＯＣが両方とも現在画像のＰＯＣよりも大きいか、又は両方とも現在画像のＰＯＣよりも小さい）、表３の符号は、開始／参照ＭＶに追加されたＭＶオフセットの符号（方向）を特定し得る。開始／参照ＭＶが、現在画像の異なる側にある２つの参照画像を有するバイ予測ブロックに対応する場合（すなわち、１つの参照画像のＰＯＣは現在画像のＰＯＣよりも大きく、他の参照画像のＰＯＣは現在画像のＰＯＣよりも小さい）、かつ、画像参照リスト０の参照ＰＯＣと現在フレームとの間の差分が、画像参照リスト１の参照ＰＯＣと現在フレームとの間の差分よりも大きく、表３の符号は、画像参照リスト０の参照画像に対応する参照ＭＶに追加されたＭＶオフセットの符号を指定することができ、画像参照リスト１の参照画像に対応するＭＶのオフセットの符号は、反対の値（オフセットの反対の符号）を有し得る。そうでない場合、画像参照リスト１の参照ＰＯＣと現在フレームとの間の差分が、画像参照リスト０の参照ＰＯＣと現在フレームとの間の差分よりも大きいとき、その場合、表３の符号は、画像参照リスト１に関連付けられた参照ＭＶに追加されたＭＶオフセットの符号を指定することができ、画像参照リスト０に関連付けられた参照ＭＶへのオフセットの符号は、反対の値を有する。

【表3】

【0155】

いくつかの例示的実装では、ＭＶＤは各方向のＰＯＣの差分に応じてスケーリングされる場合がある。両方のリストのＰＯＣの差分が同じ場合、スケーリングは必要ない。それ以外の場合、参照リスト０のＰＯＣの差分が参照リスト１のＰＯＣより大きい場合、参照リスト１のためのＭＶＤはスケーリングされる。参照リスト１のＰＯＣの差分がリスト０より大きい場合、リスト０のＭＶＤも同じ方法でスケーリングされる。開始ＭＶがユニ予測の場合、ＭＶＤは利用可能又は参照ＭＶに追加される。

【0156】

双方向複合予測のためのＭＶＤコーディングとシグナリングのいくつかの例示的実装では、２つのＭＶＤを別々にコーディングしてシグナリングすることに加えて又は代えて、対称ＭＶＤコーディングが実装され、１つのシグナリングされたＭＶＤから導出されることができる。かかる実装では、リスト０とリスト１の両方の参照画像インデックスを含む動き情報がシグナリングされる。しかしながら、例えば、参照リスト０に関連付けられたＭＶＤのみがシグナリングされ、参照リスト１に関連付けられたＭＶＤは信号されずに導出される。具体的には、スライスレベルで、ビットスツリームにフラグを含めることができ、これは「ｍｖｄ＿ｌ １＿０＿ｆｌａｇ」と称され、参照リスト１がビットスツリームでシグナリングされていないかどうかを示す。このフラグが１で、参照リスト１が０に等しい（したがって市郡リングされていない）ことを示す場合、「ＢｉＤｉｒＰｒｅｄＦｌａｇ」と称される双方向予測フラグが０に設定されることがあり、これは双方向予測がないことを意味する。それ以外の場合、ｍｖｄ＿ｌ １＿０＿ｆｌａｇが０の場合に、リスト０内の最も近い参照画像とリスト１内の最も近い参照画像が、参照画像の前方と後方のペア又は後方と前方のペアを形成すると、ＢｉＤｉｒＰｒｅｄＦｌａｇが１に設定されることがあり、リスト０とリスト１の両方の参照画像が短期参照画像になる。それ以外の場合、ＢｉＤｉｒＰｒｅｄＦｌａｇは０に設定される。ＢｉＤｉｒＰｒｅｄＦｌａｇが１の場合は、対称モードフラグがビットスツリーム内で追加的にシグナリングされることを示す。ＢｉＤｉｒＰｒｅｄＦｌａｇが１の場合、デコーダはビットスツリームから対称モードフラグを抽出できる。例えば、対称モードフラグはＣＵレベルで（必要に応じて）シグナリングされる場合があり、対応するＣＵに対称ＭＶＤコーディングモードが使用されているかどうかを示す。対称モードフラグが１の場合は、対称ＭＶＤコーディングモードの使用を示し、リスト０とリスト１の両方の参照画像インデックス（「ｍｖｐ＿ｌ ０＿ｆｌａｇ」及び「ｍｖｐ＿ｌ １＿ｆｌａｇ」と称される）のみがリスト０に関連付けられたＭＶＤ（「ＭＶＤ０」と称される）でシグナリングされ、他の動きベクトル差分である「ＭＶＤ１」がシグナリングされるのではなく導出されることを示す。例えば、ＭＶＤ１は、－ＭＶＤ０として導出される場合がある。そのため、対称ＭＶＤモードの例では、１つのＭＶＤのみがシグナリングされる。ＭＶ予測の他の実装例では、単一参照モードと複合参照モードの両方のＭＶ予測に対して、全般マージモード、ＭＭＶＤ、及びその他のいくつかのタイプのＭＶ予測を実装するために、調和スキームを使用できる。さまざまな構文要素を使用して、現在ブロックのＭＶが予測される方法をシグナリングできる。

【0157】

例えば、単一参照モードの場合、次のＭＶ予測モードがシグナリングされることがある。

【0158】

ＮＥＡＲＭＶ ‐ ＤＲＬ（Ｄｙｎａｍｉｃ Ｒｅｆｅｒｅｎｃｅ Ｌｉｓｔ）インデックスによって示されるリスト内の動きベクトル予測（ＭＶＰ）の１つを、ＭＶＤなしで直接使用する。

【0159】

ＮＥＷＭＶ ‐ ＤＲＬインデックスによってシグナリングされたリスト内の動きベクトル予測 （ＭＶＰ） の１つを参照として使用し、ＭＶＰにデルタを適用します（例：ＭＶＤの使用）。

【0160】

ＧＬＯＢＡＬＭＶ ‐ フレームレベルのグローバルモーションパラメータに基づく動きベクトルを使用する。

【0161】

同様に、予測されるべき２つのＭＶに対応する２つの参照フレームを使用する複合参照インター予測モードでは、次のＭＶ予測モードがシグナリングされる場合がある。

【0162】

ＮＥＡＲ＿ＮＥＡＲＭＶ ‐ 予測されるべき２つのＭＶのそれぞれについて、ＭＶＤを使用せずにＤＲＬインデックスによってシグナリングされるリスト内の動きベクトル予測（ＭＶＰ）の１つを使用する。

【0163】

ＮＥＡＲ＿ＮＥＷＭＶ ‐ ２つの動きベクトルのうちの第１を予測する場合、ＤＲＬインデックスによってシグナリングされるリスト内の動きベクトル予測（ＭＶＰ）の１つを、ＭＶＤを使用せずに参照ＭＶとして使用する。２つの動きベクトルのうちの第２を予測する場合、ＤＲＬインデックスによってシグナリングされるリスト内の動きベクトル予測（ＭＶＰ）の１つを、追加でシグナリングされるデルタＭＶ（ＭＶＤ）と組み合わせて参照ＭＶとして使用する。

【0164】

ＮＥＷ＿ＮＥＡＲＭＶ ‐ ２つの動きベクトルのうちの第２を予測する場合、ＤＲＬインデックスによってシグナリングされるリスト内の動きベクトル予測（ＭＶＰ）の１つを、ＭＶＤを使用しないで参照ＭＶとして使用する。２つの動きベクトルのうちの第１を予測する場合、ＤＲＬインデックスによってシグナリングされるリスト内の動きベクトル予測（ＭＶＰ）の１つを、追加でシグナリングされるデルタＭＶ（ＭＶＤ）と組み合わせて参照ＭＶとして使用する。

【0165】

ＮＥＷ＿ＮＥＷＭＶ ‐ ＤＲＬインデックスによってシグナリングされるリスト内の動きベクトル予測（ＭＶＰ）の１つを参照ＭＶとして使用し、追加でシグナリングされるデルタＭＶと組み合わせて使用して、２つのＭＶのそれぞれを予測する。

【0166】

ＧＬＯＢＡＬ＿ＧＬＯＢＡＬＭＶ ‐ フレームレベルのグローバル動きパラメータに基づいて、各参照からのＭＶを使用する。

【0167】

したがって、上記の「ＮＥＡＲ」という用語は、全体的なマージモードとしてＭＶＤを使用せずに参照ＭＶを使用したＭＶ予測を指すが、「ＮＥＷ」という用語は、参照ＭＶを使用し、ＭＭＶＤモードのようにシグナリングされたＭＶＤでオフセットすることを含むＭＶ予測を指す。複合インター予測では、参照ベースの動きベクトルと上記の動きベクトルデルタとの両方が、２つの参照間で全体的に異なるか独立している場合があるが、それらは相関関係があり、かかる相関関係を利用して、２つの動きベクトルデルタをシグナリングするために必要な情報の量を減らすことができる。かかる状況では、２つのＭＶＤの共同シグナリングが実装され、ビットスツリームで示される場合がある。

【0168】

上記のダイナミック参照リスト（ＤＲＬ）は、動的に維持され、動きベクトル予測の候補として考慮されるインデックス付き動きベクトルのセットを保持するために使用される場合がある。

【0169】

いくつかの実装例では、ＭＶＤの予め定義された解像度が許可される場合がある。例えば、１／８ピクセルの動きベクトル精度（又は正確度）が許可される場合がある。さまざまなＭＶ予測モードで前述したＭＶＤは、さまざまな方法で構築され、シグナリングされる場合がある。いくつかの実装では、さまざまな構文要素を使用して、参照フレームリスト０又はリスト１の上記の（１つ以上の）動きベクトル差分をシグナリングすることができる。

【0170】

例えば、「ｍｖ＿ｊｏｉｎｔ」 と称される構文要素は、それに関連付けられている動きベクトル差分のどのコンポーネントが非ゼロであるかを指定することができる。ＭＶＤの場合、これはすべての非ゼロコンポーネントについして共同でシグナリングされる。例えば、ｍｖ＿ｊｏｉｎｔの値の
０は、水平方向又は垂直方向のいずれかに沿って非ゼロのＭＶＤが存在しないことを示すことができる；
１は、水平方向にのみ沿って非ゼロのＭＶＤが存在することを示すことができる；
２は、垂直方向にのみゼロ以外のＭＶＤが存在することを示すことができる；
３は、水平方向と垂直方向の両方に沿ってゼロ以外のＭＶＤが存在することを示すことができる。

【0171】

ＭＶＤの「ｍｖ＿ｊｏｉｎｔ」構文要素が非ゼロのＭＶＤコンポーネントが存在しないことをシグナリングする場合、それ以上のＭＶＤ情報はシグナリングされない場合がある。しかしながら、「ｍｖ＿ｊｏｉｎｔ」構文が非ゼロのコンポーネントが１つ又は２つ存在することをシグナリングする場合、以下に示すように、非ゼロのＭＶＤコンポーネントごとに追加の構文要素がさらにシグナリングされる場合がある。

【0172】

例えば、「ｍｖ＿ｓｉｇｎ」と称される構文要素を使用して、対応する動きベクトル差分のコンポーネントが正か負かを追加で指定できる。

【0173】

別の例として、「ｍｖ＿ｃｌａｓｓ」と称される構文要素を使用して、対応する非ゼロのＭＶＤコンポーネントの所定のみクラスセット間の動きベクトル差分のクラスを指定できる。動きベクトル差分の所定のクラスは、例えば、動きベクトル差分の連続する大きさ空間を、ＭＶＤクラスに対応する各範囲と重複しない範囲に分離するために使用できる。したがって、シグナリングされたＭＶＤクラスは、対応するＭＶＤコンポーネントの大きさの範囲を示す。表４に示す例示的実装では、上位クラスは、より大きな大きさの範囲を有する動きベクトル差分に対応する。表４では、記号（ｎ，ｍ］は、ｎピクセルより大きく、ｍピクセル以下の動きベクトル差分の範囲を表すために使用される。

【表4】

【0174】

他のいくつかの例では、「ｍｖ＿ｂｉｔ」と称される構文要素をさらに使用して、非ゼロの動きベクトル差分コンポーネントと、対応するシグナリングされたＭＶクラスの開始マグニチュードとの間のオフセットの整数部分を指定することができる。各ＭＶＤクラスの全範囲をシグナリングするために「ｍｙ＿ｂｉｔ」で必要なビット数は、ＭＶクラスの関数によって異なる場合がある。例えば、表４の実装におけるＭＶ＿ＣＬＡＳＳ０とＭＶ＿ＣＬＡＳＳ１とは、０のＭＶＤの開始から１又は２の整数ピクセルオフセットを示すために１ビットだけが必要な場合がある。それぞれの上位ＭＶ＿ＣＬＡＳＳは、先行するＭＶ＿ＣＬＡＳＳよりも「ｍｖ＿ｂｉｔ」に１ビット多く必要になる場合がある。

【0175】

他のいくつかの実施例では、「ｍｖ＿ｆｒ」と称される構文要素をさらに使用して、対応する非ゼロのＭＶＤコンポーネントの動きベクトル差分の最初の２つの分数ビットを指定することができるが、「ｍｖ＿ｈｐ」と称される構文要素を使用して、対応する非ゼロのＭＶＤコンポーネントの動きベクトル差分の第３分数ビット（高解像度ビット）を指定することができる。２ビットの「ｍｖ＿ｆｒ」は基本的に１／４ピクセルのＭＶＤ解像度を提供し、「ｍｖ＿ｈｐ」ビットはさらに１／８ピクセルの解像度を提供する場合がある。他のいくつかの実装では、１／８ピクセルより細かいＭＶＤピクセル解像度を提供するために１つを超える「ｍｖ＿ｈｐ」ビットが使用される場合がある。いくつかの例示的実装では、１／８ピクセル以上のＭＶＤ解像度がサポートされているかどうかを示すために、さまざまなレベルの１つ以上で追加のフラグがシグナリングされる場合がある。ＭＶＤ解像度が特定のコーディングユニットに適用されていない場合は、対応するサポートされていないＭＶＤ解像度の上記の構文要素がシグナリングされない場合がある。

【0176】

上記のいくつかの例示的実装では、分数解像度は異なるＭＶＤクラスに依存しない場合がある。換言すると、動きベクトル差分の大きさに関係なく、非ゼロＭＶＤコンポーネントの分数ＭＶＤをシグナリングするために、予め定義された数の「ｍｖ＿ｆｒ」及び「ｍｖ＿ｈｐ」ビットを使用して、動きベクトル解像度の同様のオプションを提供することができる。

【0177】

ただし、他のいくつかの実装例では、さまざまなＭＶＤマグニチュードクラスの動きベクトルの差の解像度が区別されることがある。具体的には、より高いＭＶＤクラスの大きなＭＶＤマグニチュードの高解像度ＭＶＤは、圧縮効率の統計的に有意な改善を提供しないことがある。そのため、ＭＶＤは、より高いＭＶＤマグニチュードクラスに対応する、より大きなＭＶＤマグニチュード範囲の解像度を下げる（整数ピクセル解像度又は分数ピクセル解像度）ことでコード化されることがある。同様に、ＭＶＤは、一般に、より大きなＭＶＤ値の解像度を下げる（整数ピクセル解像度又は分数ピクセル解像度）ことでコード化されることがある。このようなＭＶＤクラス依存又はＭＶＤマグニチュード依存のＭＶＤ解像度は、一般に適応型ＭＶＤ解像度と呼ばれることがある。適応型ＭＶＤ解像度は、全体的により優れた圧縮効率を達成するために、以下の実装例で説明されているように、さまざまな事項で実装されることがある。特に、低精度のＭＶＤを目指すことによるの信号ビット数の削減は、このような低精度のＭＶＤの結果としてインター予測の残差に必要な追加ビットよりも大きくなる可能性があります。これは、低マグニチュード又は低クラスのＭＶＤと同様の大規模又は高クラスのＭＶＤのＭＶＤ解像度を非適応的な方法で処理しても、インター予測の残差符号化効率が大幅に向上しない可能性があるという統計的観察によるものである。

【0178】

いくつかの全体的な例示的実装では、ＭＶＤのピクセル解像度又は精度は、ＭＶＤの大きさの増加に伴って減少するか、増加しないことがある。ＭＶＤのピクセル解像度を減少させることは、より粗いＭＶＤ（又は１つのＭＶＤレベルから次のレベルへのより大きなステップ）に対応する。いくつかの実装では、ＭＶＤピクセル解像度とＭＶＤクラスとの間の対応は、指定され、予め定義され、又は予め設定されることがあるため、エンコードビットスツリームでシグナリングする必要はない場合がある。

【0179】

いくつかの実装例では、表３のＭＶクラスがそれぞれ異なるＭＶＤピクセル解像度に関連付けられることがある。

【0180】

いくつかの例示的実装では、各ＭＶＤクラスが単一の許可された解像度に関連付けられることがある。他のいくつかの実装では、１つ以上のＭＶＤクラスが２つ以上のオプションのＭＶＤピクセル解像度に関連付けられることがある。したがって、かかるＭＶＤクラスのビットスツリーム内の信号の後に、現在のＭＶＤコンポーネントに対してどのオプションのピクセル解像度が選択されているかを示す追加のシグナリングが続くことがある。

【0181】

いくつかの例示的実装例では、応的に許可されるＭＶＤピクセル解像度には、１／６４ｐｅｌ（ピクセル）、１／１３２ｐｅｌ、１／１６ｐｅｌ、１／８ｐｅｌ、１－４ｐｅｌ、１／２－ｐｅｌ、１－ｐｅｌ、２－ｐｅｌ、４－ｐｅｌ．．．（解像度の降順）が含まれることがあるが、これに限定されない。そのため、昇順のＭＶＤクラスのそれぞれが、昇順ではない方法でこれらの解像度のいずれかに関連付けられることがある。いくつかの実装では、ＭＶＤクラスが上記の２つ以上の解像度に関連付けられ、より高い解像度が先行するＭＶＤクラスの低い解像度以下になることがある。例えば、表４のＭＶ＿ＣＬＡＳＳ＿３がオプションの１－ｐｅｌ及び２－ｐｅｌの解像度に関連付けられる場合、表４のＭＶ＿ＣＬＡＳＳ＿４が関連付けられる可能性のある最高解像度は２－ｐｅｌになる。他のいくつかの実装では、ＭＶクラスの最大許容解像度が、先行する（下位の）ＭＶクラスの最小許容解像度よりも高くなることがある。しかしながら、昇順のＭＶクラスの許容解像度の平均は非昇順のみになることがある。

【0182】

いくつかの実装では、１／８ｐｅｌよりも高い分数ピクセル解像度（ｆｒａｃｔｉｏｎａｌ ｐｉｘｅｌ ｒｅｓｏｌｕｔｉｏｎ）が許可されている場合、「ｍｖ＿ｆｒ」及び「ｍｖ＿ｈｐ」シグナリングは対応して合計３つ以上の分数ビットに拡張され得る。

【0183】

いくつかの例示的実装では、分数ピクセル解像度は、閾値ＭＶＤクラス以下のＭＶＤクラスに対してのみ許可される場合があります。例えば、分数ピクセル解像度はＭＶＤ－ＣＬＡＳＳ０に対してのみ許可され、表４の他のすべてのＭＶクラスに対しては許可されないことがある。同様に、分数ピクセル解像度は表４の他のＭＶクラスのいずれか１つ以下のＭＶＤクラスに対してのみ許可されることがある。閾値ＭＶＤクラスを超える他のＭＶＤクラスでは、ＭＶＤのための整数ピクセル解像度のみが許可される。このようにして、「ｍｖ－ｆｒ」ビット及び／又は「ｍｖ－ｈｐ」ビットのうちの１つ以上などの分数解像度シグナリングは、閾値ＭＶＤクラス以上のＭＶＤクラスでシグナリングされるＭＶＤのためにシグナリングするする必要がない場合がある。１ピクセル未満の解像度を持つＭＶＤクラスの場合、「ｍｖ－ｂｉｔ」シグナリングのビット数はさらに低減される場合がある。例えば、表４のＭＶ＿ＣＬＡＳＳ＿５の場合、ＭＶＤピクセルオフセットの範囲は（３２，６４］であるため、１ｐｅｌの解像度で範囲全体にシグナリングするには５ビットが必要である。しかしながら、ＭＶ＿ＣＬＡＳＳ＿５が２ｐｅｌのＭＶＤ解像度に関連付けられている場合、「ｍｖ－ｂｉｔ」には５ビットではなく４ビットが必要になることがあり、ＭＶ－ＣＬＡＳＳ＿５として「ｍｖ＿ｃｌａｓｓ」のシグナリングに続いて「ｍｖ－ｆｒ」及び「ｍｖ－ｈｐ」のいずれもシグナリングする必要はない。

【0184】

いくつかの例示的実装では、整数値が閾値整数ピクセル値を下回るＭＶＤに対してのみ、分数ピクセル解像度が許可されることがある。例えば、分数ピクセル解像度は５ピクセル未満のＭＶＤに対してのみ許可されることがある。この例に対応して、表４のＭＶ＿ＣＬＡＳＳ＿０及びＭＶ＿ＣＬＡＳＳ＿１に対して分数解像度が許可され、他のすべてのＭＶクラスでは許可されないことがある。別の実施例として、７ピクセル未満のＭＶＤでのみ分数ピクセル解像度が許可されることがある。この実施例に対応して、表４のＭＶ＿ＣＬＡＳＳ＿０とＭＶ＿ＣＬＡＳＳ＿１（範囲が５ピクセル未満）に対して分数解像度が許可され、ＭＶ＿ＣＬＡＳＳ＿３以上（範囲が５ピクセル以上）に対して許可されないことがある。ピクセル範囲が５ピクセルを含むＭＶ＿ＣＬＡＳＳ＿２に属するＭＶＤの場合、ＭＶＤの分数ピクセル解像度は「ｍ－ｂｉｔ」値に応じて、許可される場合と許可されない場合がある。「ｍ－ｂｉｔ」値が１又は２としてシグナリングされている場合（シグナリングされたＭＶＤの整数部分が５又は６になるように、「ｍ－ｂｉｔ」で示されるオフセット１又は２を有するＭＶ＿ＣＬＡＳＳ＿２に対するピクセル範囲の開始として計算される）、分数ピクセル解像度が許可されることがある。それ以外の場合、「ｍ－ｂｉｔ」値が３又は４としてシグナルされている場合（シグナリングされたＭＶＤの整数部分が７又は８であるように）、分数ピクセル解像度が許可されないことがある。

【0185】

他のいくつかの実装では、閾値ＭＶクラス以上のＭＶクラスについては、１つのＭＶＤ値のみが許可されることがある。例えば、かかる閾値ＭＶクラスはＭＶ＿ＣＬＡＳＳ ２となることがある。したがって、ＭＶ＿ＣＬＡＳＳ＿２以上では、単一のＭＶＤ値を有することのみが許可され、分数ピクセル解像度は使用できない場合があります。これらのＭＶクラスで許可される単一のＭＶＤ値は、事前に定義されている場合があります。いくつかの例では、許可される単一の値は、表４のこれらのＭＶクラスのそれぞれの範囲の上限値である場合があります。例えば、ＭＶ＿ＣＬＡＳＳ＿２からＭＶ＿ＣＬＡＳＳ＿１０は、しきい値ｃｌａｓｓ＿２以上の場合があり、これらのクラスの単一の許可されるＭＶＤ値は、それぞれ８、１６、３２、６４，１２８，２５６，５１２、１０２４、及び２０４８として事前定義されている場合があります。他のいくつかの例では、許可される単一の値は、表４のこれらのＭＶクラスのそれぞれの範囲の中央値である場合があります。例えば、ＭＶ＿ＣＬＡＳＳ＿２からＭＶ＿ＣＬＡＳＳ＿１０はクラスのしきい値を超える場合があり、これらのクラスの単一の許可されるＭＶＤ値は、それぞれ３、６、１２、２４、４８、９６、１９２，３８４，７６８、及び１５３６として事前定義されている場合があります。範囲内のその他の値も、それぞれのＭＶＤクラスで許可される単一の解像度として定義できます。

【0186】

上記の実装では、シグナリングされた「ｍｖ＿ｃｌａｓｓ」が所定のＭＶＤクラス閾値以上の場合、「ｍｖ＿ｃｌａｓｓ」シグナリングだけでＭＶＤ値を決定するのに十分である。その後、ＭＶＤの大きさと方向は「ｍｖ＿ｃｌａｓｓ」及び「ｍｖ＿ｓｉｇｎ」を使用して決定される。

【0187】

ＭＶＤが１つの基準フレーム（参照フレームリスト０又はリスト１からのいずれか一方で、両方ではない）に対してのみシグナリングする場合、又は２つの基準フレームに対して共同でシグナリングする場合、ＭＶＤの精度（又は解像度）は、表３の関連する動きベクトル差分のクラス及び／又はＭＶＤの大きさに依存し得る。

【0188】

他のいくつかの実装では、ＭＶＤのピクセル解像度又は精度は、ＭＶＤの大きさの増加に伴って減少するか、増加しない場合があります。例えば、ピクセル解像度はＭＶＤの大きさの整数部分に依存する場合があります。一部の実装では、振幅しきい値以下のＭＶＤの大きさに対してのみ、分数ピクセル解像度が許可される場合がある。デコーダの場合、ＭＶＤの大きさの整数部分が最初にビットスツリームから抽出される場合があります。その後、ピクセル解像度が決定され、任意の分数ＭＶＤがビットスツリームに存在し、解析する必要があるかどうかが決定される場合があります（例えば、抽出された特定のＭＶＤ整数の大きさに対して分数ピクセル解像度が許可されていない場合、抽出を必要とするビットスツリームには分数ＭＶＤビットが含まれていない可能性があります。）。ＭＶＤクラスに依存する適応型ＭＶＤピクセル解像度に関連する上記の実装例は、ＭＶＤの大きさに依存する適応型ＭＶＤピクセル解像度に適用されます。特定の例では、大きさのしきい値を超える、又はそれを含むＭＶＤクラスは、１つの定義済みの値のみを持つことが許可される場合があります。

【0189】

上記の種々の例示的実装は、単一参照モードに適用される。これらの実装は、ＭＭＶＤの複合予測のＮＥＷ＿ＮＥＡＲＭＶ、ＮＥＡＲ＿ＮＥＷＭＶ、及び／又はＮＥＷ＿ＮＥＷＭＶモードの例にも適用される。これらの実装は、一般にＭＶＤのシグナリングに適用される。

【0190】

図１８は、適応型ＭＶＤ解像度のための上記の実装の基礎となる原則に従う例示的方法のフローチャート１８００を示す。デコーディング方法の例のフローは１８０１からスタートする。Ｓ １８１０では、ビデオストリームを受信し、インター予測ビデオブロックに関連する基準動きベクトルと動きベクトルとの間の動きベクトル差分（ＭＶＤ）がビデオストリーム内でシグナリングされていることを決定し、ここで、基準動きベクトルは、ＭＶＤが２つの参照画像に対して共同でシグナリングされていない限り、参照フレームリスト０と参照フレームリスト１のうちの１つだけの参照画像に対応する。Ｓ１８２０において、動きベクトル差分の複数の所定の大きさの範囲の中のＭＶＤの大きさの範囲の指示が、ビデオストリームから取得される。Ｓ １８３０では、大きさ範囲に応じてＭＶＤのピクセル解像度を決定する。Ｓ １８４０では、ピクセル解像度に基づいてビデオストリーム内の追加のＭＶＤ情報を識別する。Ｓ １８５０では、ビデオストリームから追加のＭＶＤ情報を抽出する。Ｓ １８６０では、インター予測ビデオブロックは、ピクセル解像度、追加のＭＶＤ情報、基準動きベクトル、及び動きベクトルに関連付けられた基準フレームに基づいてデコードされる。同様に、バイナリツリーノードの高さがＭｉｎＢＴＳｉｚｅと等しい場合、それ以上の垂直パーティショニングは考慮されません。

【0191】

図１９は、適応型ＭＶＤ解像度のために上記の実装の基礎となる原則に従う例示的方法の別のフローチャート１９００を示す。例示的方法のフローは１９０１から始まる。Ｓ１９１０では、ビデオストリームを受信し、インター予測ビデオブロックに関連する基準動きベクトルと動きベクトルとの間の動きベクトル差分（ＭＶＤ）がビデオストリーム内でシグナリングされていることを決定し、ここで、基準動きベクトルは、ＭＶＤが２つの参照画像に対して共同でシグナリングされていない限り、参照フレームリスト０と参照フレームリスト１のうちの１つだけの参照画像に対応する。Ｓ１９２０では、ＭＶＤの大きさの整数部分がビデオストリームから抽出される。Ｓ１９３０では、ＭＶＤの大きさの整数部分に従ってＭＶＤについてのピクセル解像度を決定する。Ｓ１９４０では、ピクセル解像度に基づいてビデオストリーム内の付加的なＭＶＤ情報を識別する。Ｓ１９５０において、インター予測ビデオブロックは、ピクセル解像度、ＭＶＤの大きさの整数部分、追加のＭＶＤ情報、基準動きベクトル、及び動きベクトルに関連付けられた基準フレームに基づいて、デコードされる。実施例方法フローは、Ｓ１９９９で終わる。

【0192】

本開示の実施形態及び実装では、任意のステップ及び／又は動作を、必要に応じて任意の量又は順序で組み合わせ又は配置することができる。２つ以上のステップ及び／又は動作を並行して実行することができる。開示における実施形態及び実装は、別々に使用することも、任意の順序で組み合わせて使用することもできる。さらに、方法（又は実施形態）、エンコーダ、及びデコーダの各々は、処理回路（例えば、１つ以上のプロセッサ、又は１つ以上の集積回路）によって実装され得る。一実施例では、１つ以上のプロセッサは、非一時的コンピュータ可読媒体に格納されたプログラムを実行する。開示における実施形態は、ルマブロック又はクロマブロックに適用することができる。以下では、ブロックという用語は、予測ブロック、コーディングブロック、又はコーディングユニット、すなわちＣＵとして解釈され得る。ここでの「ブロック」という用語は、変換ブロックを指すためにも使用され得る。以下の項目では、ブロックサイズと言う場合、ブロックの幅又は高さ、又は幅及び高さの最大値、又は幅及び高さの最小値、又はエリアサイズ（幅＊高さ）、又はブロックのアスペクト比（幅：高さ、高さ：幅）のいずれかを指すことがある。

【0193】

上記の技術は、コンピュータ可読命令を用いたコンピュータソフトウェアとして行うことができて、物理的に一つ以上のコンピュータ可読媒体に格納されることができる。例えば、図２０は、開示された主題の特定の実施形態を実施するのに適しているコンピュータシステム（２０００）を示す。

【0194】

コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、又は類似のメカニズムの対象となり得る任意の適切な機械コード若しくはコンピュータ言語を使用してコーディングされることができ、直接実行されることができるか、又は、１つ以上のコンピュータ中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）等による、実施、マイクロコード実行等を介して実行されることができる命令を含むコードを作成する。

【0195】

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、物品のインターネット等を含む種々のタイプのコンピュータ又はその構成要素上で実行されることができる。

【0196】

コンピュータシステム（２０００）のための図２０に示されるコンポーネントは、例示的な性質のものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用範囲又は機能性に関する制限を示唆することを意図するものではない。また、コンポーネントの構成は、コンピュータシステム（２０００）の例示的な実施形態に示されるコンポーネントのいずれか１つ又は組み合わせに関連する依存性又は要件を有すると解釈されるべきではない。

【0197】

コンピュータシステム（２０００）は、特定のヒューマンインタフェース入力デバイスを含み得る。このようなヒューマンインタフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スイッピング、データグローブの動き）、音声入力（例えば、音声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を介して、一人又は複数の人間ユーザによる入力に応答し得る。また、ヒューマンインタフェースデバイスは、オーディオ（例えば、音声、音楽、周囲の音声）、画像（例えば、走査画像、静止画像カメラから得られる写真画像）、ビデオ（例えば、２次元ビデオ、立体画像を含む３次元ビデオ）等の、人間による意識的入力に必ずしも直接関係しない特定の媒体を捕捉するために用いられ得る。

【0198】

入力ヒューマンインタフェースデバイスには、次のものが１つ以上含まれ得る（それぞれ１つのみ表されている）：キーボード（２００１）、マウス（２００２）、トラックパッド（２００３）、タッチスクリーン（２０１０）、データグローブ（図示せず）、ジョイスティック（２００５）、マイクロホン（２００６）、スキャナ（２００７）、カメラ（２００８）。

【0199】

コンピュータシステム（２０００）はまた、特定のヒューマンインタフェース出力デバイスを含み得る。かかるヒューマンインタフェース出力デバイスは、例えば、触覚出力、音、光、及び嗅覚／味覚を通して、１人又は複数の人間ユーザの感覚を刺激し得る。かかるヒューマンインタフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（２０１０）、データグローブ（図示せず）、又はジョイスティック（２００５）による触覚フィードバック）、入力デバイスとして働かない触覚フィードバックデバイスであることもでき）と、オーディオ出力デバイス（例えば、スピーカー（２００９）、ヘッドフォン（図示せず））と、視覚出力デバイス（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（２０１０）であり、各々が触覚フィードバック能力を有するか又は有さず、各々が触覚フィードバック能力を有するか又は有さず、そのうちのいくつかは、仮想現実眼鏡（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）等の立体出力のような手段を介して２次元視出力又は３次元以上の出力を可能にし得るもの）と、プリンタ（図示せず）と、を含み得る。

【0200】

コンピュータシステム（２０００）はまた、人間がアクセス可能な記憶デバイスと、それらのアクセス可能な媒体とを含むことができ、媒体は、例えば、ＣＤ／ＤＶＤ等の媒体９２１によるＣＤ／ＤＶＤ ＲＯＭ／ＲＷを含む光学媒体ドライブ（２０２０）、ＵＳＢメモリ（２０２２）、着脱可能ヘッドドライブ又はソリッドステートドライブ（２０２３）、テープ、フロッピーディスク（図示せず）等の従来の磁気媒体、セキュリティドングル等の特殊化されたＲＯＭ／ＡＳＩＣ／ＰＬＤベースデバイス等である。

【0201】

当業者はまた、現在開示されている主題に関連して使用される「コンピュータ可読媒体」という用語は、伝送媒体、搬送波、又は他の一時的な信号を包含しないことを理解されたい。

【0202】

コンピュータシステム（２０００）はまた、１つ以上の通信ネットワーク（２０５５）へのインタフェース（２０５４）を含むことができる。ネットワークは、例えば、無線、有線、光であり得る。ネットワークは、さらに、ローカル、広域、大都市、車両及び工業、リアルタイム、遅延耐性等であり得る。ネットワークの例は、イーサネット、無線ＬＡＮ等のローカルエリアネットワークや、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ等を含むセルラーネットワークや、ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶを含む有線若しくはＴＶ無線広域デジタルネットワーク、及び、ＣＡＮＢｕｓを含む産業用及び車両用のネットワーク等を含む。特定のネットワークは、一般に、特定の汎用データポート又はペリフェラルバス（２０４９）（たとえば、コンピュータシステム（２０００）のＵＳＢポート）に接続された外部ネットワークインターフェイスアダプタを必要とする；他のものは、一般に、以下に説明するようにシステムバスに接続することによってコンピュータシステム（２０００）のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（２０００）は、他のエンティティと通信することができる。かかる通信は、単指向性通信、受信のみ（例えば、放送テレビ）通信、単指向性送信専用（例えば、特定のＣＡＮバスデバイスへのＣＡＮバス）通信、又は、例えばローカル又は広域デジタルネットワークを使用する他のコンピュータシステムへの、双方向通信であることができる。特定のプロトコル及びプロトコルスタックは、上述のように、それらのネットワーク及びネットワークインタフェースの各々で使用されることができる。

【0203】

前述のヒューマンインタフェースデバイス、人間がアクセス可能な記憶デバイス、及びネットワークインタフェースは、コンピュータシステム（２０００）のコア（２０４０）に接続されることができる。

【0204】

コア（２０４０）は、１つ以上の中央処理デバイス（ＣＰＵ）（２０４１）、グラフィックス処理デバイス（ＧＰＵ）（２０４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（２０４３）の形態の特殊なプログラマブル処理デバイス、特定のタスクのためのハードウェアアクセラレータ（２０４４）、グラフィックアダプタ（２０５０）等を含むことができる。これらのデバイスは、読出し専用メモリ（ＲＯＭ）（２０４５）、ランダムアクセスメモリ（２０４６）、内部大容量記憶デバイス、例えば内部非ユーザクセス可能ハードドライブ、ＳＳＤ等（２０４７）と共に、システムバス（２０４８）を介して接続され得る。いくつかのコンピュータシステムでは、システムバス（２０４８）は、追加のＣＰＵ、ＧＰＵ等による拡張を可能にするために、１つ又は複数の物理プラグの形態でアクセス可能である。周辺デバイスは、コアのシステムバス（２０４８）に直接接続するか、又は周辺バス（２０４９）を介して接続することができる。実施例において、スクリーン（２０１０）は、グラフィックアダプタ（２０５０）に接続されることができる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢ等を含む。

【0205】

ＣＰＵ（２０４１）、ＧＰＵ（２０４２）、ＦＰＧＡ（２０４３）、及びアクセラレータ（２０４４）は、組み合わされて、上述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ（２０４５）又はＲＡＭ（２０４６）に格納されることができる。移行データはＲＡＭ（２０４６）に格納されることもできるが、例えば、内部大容量記憶装置（２０４７）で、永続的なデータは格納されることができる。１つ以上のＣＰＵ（２０４１）、ＧＰＵ（２０４２）、大容量記憶デバイス（２０４７）、ＲＯＭ（２０４５）、ＲＡＭ（２０４６）等と密接に関連付けることができるキャッシュメモリを使用することによって、メモリデバイスのいずれかへの高速記憶及び検索を可能にすることができる。

【0206】

コンピュータ可読媒体は、各種のコンピュータ実施動作（ｃｏｍｐｕｔｅｒ－ｉｍｐｌｅｍｅｎｔｅｄ ｏｐｅｒａｔｉｏｎｓ）を実行するためにその上のコンピュータコードを有することができる。メディア及びコンピュータコードは特別に設計されたそれらであることができて、本開示のために作成されることができる、又は、それらはよく公知で、コンピュータソフトウェア技術の技術を有するそれらが利用できる種類でありえる。

【0207】

限定的ではない例として、アーキテクチャ（２００）を有するコンピュータシステム、具体的にはコア（２０４０）は、１つ以上の有形のコンピュータ可読媒体に具現化されたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ等を含む）の結果として機能性を提供することができる。かかるコンピュータ可読媒体は、コア－内部大容量記憶デバイス（２０４７）又はＲＯＭ（２０４５）等の一時的でない性質のコア（２０４０）の特定の記憶デバイスと同様に、上述のようにユーザがアクセス可能な大容量記憶デバイスに関連する媒体であることができる。本開示の様々な実施形態を実装するソフトウェアは、かかるデバイスに記憶され、コア（２０４０）によって実行され得る。コンピュータ読取可能媒体は、特定のニーズに応じて、１つ以上のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア（２０４０）及びその中の具体的にプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ等を含む）に、ＲＡＭ（２０４６）に記憶されたデータ構造を定義し、ソフトウェアによって定義されたプロセスにしたがって、かかるデータ構造を変更することを含む、本明細書に記載された特定のプロセス又は特定の部分を実行させることができる。付加的に又は代替的に、コンピュータシステムは、回路（例えば、アクセラレータ（２０４４））内に配線された、又は他の方法で具現化されたロジックの結果として、機能性を提供することができ、これは、本明細書に記載される特定のプロセス又は特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりに、又はソフトウェアと共に動作することができる。ソフトウェアへの言及は、論理を含み、また、必要に応じて、その逆も可能である。コンピュータ読取り可能媒体への参照は、実行のためのソフトウェアを記憶する（集積回路（ＩＣ）等の）回路、実行のためのロジックを具体化する回路、又は適切な場合にはその両方を含むことができる。本開示は、ハードウェア及びソフトウェアの任意の適切な組み合わせを包含する。

【0208】

本開示はいくつかの例示的な実施形態を説明しているが、本発明の範囲内に入る、変更、置換、及び様々な均等物が存在する。したがって、当業者は、本明細書に明示的に示されていないか又は記載されていないが、本発明の原理を実施し、したがってその概念及び範囲内にある多数のシステム及び方法を創造することができることが理解されよう。

【0209】

付録Ａ：
頭字語
ＪＥＭ：ジョイント探索モデル
ＶＶＣ：広用途ビデオコーディング
ＢＭＳ：ベンチマークセット
ＭＶ：動きベクトル
ＨＥＶＣ：高効率ビデオコーディング
ＳＥＩ：付加強化情報
ＶＵＩ：ビデオユーザビリティ情報
ＧＯＰ：画像グループ
ＴＵ：変換ユニット
ＰＵ：予測ユニット
ＣＴＵ：コーディングツリーユニット
ＣＴＢ：コーディングツリーブロック
ＰＢ：予測ブロック
ＨＲＤ：仮想参照デコーダ
ＳＮＲ：信号雑音比
ＣＰＵ：中央処理装置
ＧＰＵ：グラフィックスプロセッシングユニット
ＣＲＴ：陰極線管
ＬＣＤ：液晶ディスプレイ
ＯＬＥＤ：有機発光ダイオード
ＣＤ：コンパクト・ディスク
ＤＶＤ：デジタルビデオディスク
ＲＯＭ：リードオンリーメモリ
ＲＡＭ：ランダムアクセスメモリ
ＡＳＩＣ：特定用途向け集積回路
ＰＬＤ：プログラマブルロジックデバイス
ＬＡＮ：ローカルエリアネットワーク
ＧＳＭ：グローバスシステムフォーモバイルコミュニケーション
ＬＴＥ：ロングタームエヴォリューション
ＣＡＮバス：コントローラエリアネットワークバス
ＵＳＢ：ユニバーサルシリアル・バス
ＰＣＩ：ペリフェラルコンポーネントインターコネクト
ＦＰＧＡ：フィールドプログラマブルゲートエリア
ＳＳＤ：ソリッドステートドライブ
ＩＣ：集積回路
ＨＤＲ：高ダイナミックレンジ
ＳＤＲ：標準ダイナミクスクレンジ
ＪＶＥＴ：Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ
ＭＰＭ：最確モード（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）
ＷＡＩＰ：ワイドアングルイントラ予測
ＣＵ：コーディングユニット
ＰＵ：予測ユニット
ＴＵ：変換ユニット
ＣＴＵ：コーディングツリーユニット
ＰＤＰＣ：位置依存予測組合せ
ＩＳＰ：イントラサブ予測
ＳＰＳ：シークエンスパラメータセッティング
ＰＰＳ：画像パラメータ設定
ＡＰＳ：適応パラメータ設定
ＶＰＳ：ビデオパラメータ設定
ＤＰＳ：デコードパラメータ設定
ＡＬＦ：適応ループフィルタ
ＳＡＯ：サンプル適用オフセット
ＣＣ－ＡＬＦ：クロスコンポーネント適応ループフィルタ
ＣＤＥＦ：拘束指向性強化フィルタ
ＣＣＳＯ：クロスコンポーネントサンプルオフセット
ＬＳＯ：ローカルサンプルオフセット
ＬＲ：ループ復元フィルタ
ＡＶ１：ＡＯメディアビデオ１
ＡＶ２：ＡＯメディアビデオ２
ＭＶＤ：動きベクトル差分
ＣｆＬ：ルマからのクロマ
ＳＤＴ：セミデカップルツリー
ＳＤＰ：セミデカップルパーティショニング
ＳＳＴ：セミセパレートツリー
ＳＢ：スーパーブロック
ＩＢＣ（又はＩｎｔｒａＢＣ）：イントラブロックコピー
ＣＤＦ：累積密度関数
ＳＣＣ：スクリーンコンテンツコーディング
ＧＢＩ：ＧＢＩ予測
ＢＣＷ：ＣＵレベル重み付けを有するＢｉ予測
ＣＩＩＰ：複合イントラインター予測
ＰＯＣ：画像順序カウント
ＲＰＳ：参照画像設定
ＤＰＢ：デコードされた画像バッファ
ＭＭＶＤ：動きベクトル差分を有するマージモード

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【国際調査報告】