特許7050942ビデオ・コーディングのための方法、装置、及びコンピュータ・プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-31
(45)【発行日】2022-04-08
(54)【発明の名称】ビデオ・コーディングのための方法、装置、及びコンピュータ・プログラム
(51)【国際特許分類】
H04N 19/103 20140101AFI20220401BHJP
H04N 19/136 20140101ALI20220401BHJP
H04N 19/167 20140101ALI20220401BHJP
H04N 19/176 20140101ALI20220401BHJP
【ＦＩ】
H04N19/103
H04N19/136
H04N19/167
H04N19/176
【請求項の数】
16
(21)【出願番号】P 2020542992
(86)(22)【出願日】2019-06-26
(65)【公表番号】
(43)【公表日】2021-05-27
(86)【国際出願番号】 US2019039223
(87)【国際公開番号】W WO2020009864
(87)【国際公開日】2020-01-09
【審査請求日】2020-08-07
(31)【優先権主張番号】62/693,067
(32)【優先日】2018-07-02
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/235,614
(32)【優先日】2018-12-28
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】シュイ，モン
(72)【発明者】
【氏名】リ，シアン
(72)【発明者】
【氏名】リィウ，シャン
【審査官】鉢呂 健
(56)【参考文献】
【文献】特表２０１３－５０９７８８（ＪＰ，Ａ）
【文献】特開２０１０－１９３４０１（ＪＰ，Ａ）
【文献】特開２０１１－２２３３０３（ＪＰ，Ａ）
【文献】XU, Meng et al.，CE1 related: Partial CU for picture boundary handling，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting: Ljubljana, SI, 10-18 July 2018, [JVET-K0366-v2]，JVET-K0366 (version 2)，ITU-T，2018年07月12日，pp. 1-2
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００－１９／９８
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
デコーダにおけるビデオ・デコーディングのための方法であって：符号化ビデオ・ビットストリームにおいてピクチャに関連付けられるブロックのエンコーディング情報を受信するステップ；
前記エンコーディング情報に基づいて、前記ブロックは前記ピクチャ内の有効領域と前記ピクチャ外の無効領域とを含むか否かを判断するステップ；及び
前記ブロックは前記ピクチャ内の前記有効領域と前記ピクチャ外の前記無効領域とを含むと判断された場合に、前記ブロックの前記有効領域内の少なくとも１つのサンプルを再構成するステップ；
を含み、前記有効領域は幅及び高さを有する矩形形状を有し、前記幅及び前記高さのうちの１つは２の冪乗ではなく；
前記少なくとも１つのサンプルを再構成する前記ステップは：
イントラ予測モード及びインター予測モードのうちの１つを利用して前記有効領域内の前記少なくとも１つのサンプルに対する少なくとも１つの予測を生成するステップ；及び
残差データによらず、前記少なくとも１つの予測に基づいて前記少なくとも１つのサンプルを再構成するステップ；
を含む、方法。
【請求項2】
前記少なくとも１つのサンプルを再構成する前記ステップは：前記ブロックの前記有効領域内にのみ、前記少なくとも１つのサンプルを含むサンプルを再構成するステップを含む、請求項１に記載の方法。
【請求項3】
前記有効領域内の前記少なくとも１つのサンプルは同じ予測情報と同じ変換情報とを有する、請求項１に記載の方法。
【請求項4】
前記少なくとも１つのサンプルを再構成する前記ステップは:前記同じ予測情報を利用して、前記有効領域内の前記少なくとも１つのサンプルに対する少なくとも１つの予測を生成するステップ；
前記同じ変換情報を利用して、前記少なくとも１つのサンプルに対する少なくとも１つの残差データを取得するステップ；及び
前記少なくとも１つの予測と前記少なくとも１つの残差データとに基づいて前記少なくとも１つのサンプルを再構成するステップ；
を含む、請求項３に記載の方法。
【請求項5】
前記ブロックは、２の冪乗である幅及び高さを有する複数の矩形サブ・ブロックに分割することが可能であり、前記矩形サブ・ブロックを取得するための分割数は所定の閾値より少ない、請求項１に記載の方法。
【請求項6】
前記ブロックの前記有効領域は、四分木分割及び二分木分割のうちの１つによる前記ブロックの単一分割によっては取得できない、請求項１に記載の方法。
【請求項7】
前記エンコーディング情報は、前記ブロックは前記ピクチャ内の前記有効領域と前記ピクチャ外の前記無効領域とを含むことを示す非分割フラグを含む、請求項１に記載の方法。
【請求項8】
符号化ビデオ・ビットストリームにおいてピクチャに関連付けられるブロックのエンコーディング情報を受信するステップ；前記エンコーディング情報に基づいて、前記ブロックは前記ピクチャ内の有効領域と前記ピクチャ外の無効領域とを含むか否かを判断するステップ；及び
前記ブロックは前記ピクチャ内の前記有効領域と前記ピクチャ外の前記無効領域とを含むと判断された場合に、前記ブロックの前記有効領域内の少なくとも１つのサンプルを再構成するステップ；
を行うように構成された処理回路を有し、
前記有効領域は幅及び高さを有する矩形形状を有し、前記幅及び前記高さのうちの１つは２の冪乗ではなく；
前記処理回路は更に：
イントラ予測モード及びインター予測モードのうちの１つを利用して前記有効領域内の前記少なくとも１つのサンプルに対する少なくとも１つの予測を生成するステップ；及び
残差データによらず、前記少なくとも１つの予測に基づいて前記少なくとも１つのサンプルを再構成するステップ；
を行うように構成されている、装置。
【請求項9】
前記処理回路は：前記ブロックの前記有効領域内にのみ、前記少なくとも１つのサンプルを含むサンプルを再構成するステップを行うように更に構成されている、請求項８に記載の装置。
【請求項10】
前記有効領域内の前記少なくとも１つのサンプルは同じ予測情報と同じ変換情報とを有する、請求項８に記載の装置。
【請求項11】
前記処理回路は更に：前記同じ予測情報を利用して、前記有効領域内の前記少なくとも１つのサンプルに対する少なくとも１つの予測を生成するステップ；
前記同じ変換情報を利用して、前記少なくとも１つのサンプルに対する少なくとも１つの残差データを取得するステップ；及び
前記少なくとも１つの予測と前記少なくとも１つの残差データとに基づいて前記少なくとも１つのサンプルを再構成するステップ；
を行うように構成されている、請求項１０に記載の装置。
【請求項12】
前記ブロックは、２の冪乗である幅及び高さを有する複数の矩形サブ・ブロックに分割することが可能であり、前記矩形サブ・ブロックを取得するための分割数は所定の閾値より少ない、請求項８に記載の装置。
【請求項13】
前記ブロックの前記有効領域は、四分木分割及び二分木分割のうちの１つによる前記ブロックの単一分割によっては取得できない、請求項８に記載の装置。
【請求項14】
前記エンコーディング情報は、前記ブロックは前記ピクチャ内の前記有効領域と前記ピクチャ外の前記無効領域とを含むことを示す非分割フラグを含む、請求項８に記載の装置。
【請求項15】
非一時的なコンピュータ読み取り可能な記憶媒体であって：符号化ビデオ・ビットストリームにおいてピクチャに関連付けられるブロックのエンコーディング情報を受信するステップ；
前記エンコーディング情報に基づいて、前記ブロックは前記ピクチャ内の有効領域と前記ピクチャ外の無効領域とを含むか否かを判断するステップ；及び
前記ブロックは前記ピクチャ内の前記有効領域と前記ピクチャ外の前記無効領域とを含むと判断された場合に、前記ブロックの前記有効領域内の少なくとも１つのサンプルを再構成するステップ；
を少なくとも１つのプロセッサに実行させるプログラムを格納し、前記有効領域は幅及び高さを有する矩形形状を有し、前記幅及び前記高さのうちの１つは２の冪乗ではなく；
前記少なくとも１つのサンプルを再構成する前記ステップは：
イントラ予測モード及びインター予測モードのうちの１つを利用して前記有効領域内の前記少なくとも１つのサンプルに対する少なくとも１つの予測を生成するステップ；及び
残差データによらず、前記少なくとも１つの予測に基づいて前記少なくとも１つのサンプルを再構成するステップ；
を含む、記憶媒体。
【請求項16】
デコーダのコンピュータに：符号化ビデオ・ビットストリームにおいてピクチャに関連付けられるブロックのエンコーディング情報を受信するステップ；
前記エンコーディング情報に基づいて、前記ブロックは前記ピクチャ内の有効領域と前記ピクチャ外の無効領域とを含むか否かを判断するステップ；及び
前記ブロックは前記ピクチャ内の前記有効領域と前記ピクチャ外の前記無効領域とを含むと判断された場合に、前記ブロックの前記有効領域内の少なくとも１つのサンプルを再構成するステップ；
を実行させ、前記有効領域は幅及び高さを有する矩形形状を有し、前記幅及び前記高さのうちの１つは２の冪乗ではなく；
前記少なくとも１つのサンプルを再構成する前記ステップは：
イントラ予測モード及びインター予測モードのうちの１つを利用して前記有効領域内の前記少なくとも１つのサンプルに対する少なくとも１つの予測を生成するステップ；及び
残差データによらず、前記少なくとも１つの予測に基づいて前記少なくとも１つのサンプルを再構成するステップ；
を含む、コンピュータ・プログラム。
【発明の詳細な説明】
【背景技術】
【0001】
関連出願
本願は２０１８年１２月２８日付で出願された「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＶＩＤＥＯ ＣＯＤＩＮＧ」と題する米国特許出願第１６／２３５，６１４号による優先権を主張しており、その出願は２０１８年７月２日付で出願された米国仮出願第６２／６９３，０６７号「Ｐａｒｔｉａｌ Ｃｏｄｉｎｇ Ｕｎｉｔ」に対する優先権を主張しており、それら内容全体は本願に組み込まれる。
本願は２０１８年１２月２８日付で出願された「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＶＩＤＥＯ ＣＯＤＩＮＧ」と題する米国特許出願第１６／２３５，６１４号による優先権を主張しており、その出願は２０１８年７月２日付で出願された米国仮出願第６２／６９３，０６７号「Ｐａｒｔｉａｌ Ｃｏｄｉｎｇ Ｕｎｉｔ」に対する優先権を主張しており、それら内容全体は本願に組み込まれる。
【0002】
技術分野
本開示は一般的にビデオ・コーディングに関連する実施形態を記載している。
本開示は一般的にビデオ・コーディングに関連する実施形態を記載している。
【0003】
背景技術
本願で提供される背景技術の説明は、開示の状況を一般的に提示するためのものである。研究がこの背景技術の欄で説明される限度において、指定された発明者の研究、及び出願時に従来技術としての適格を有しない可能性がある態様は、本開示に対する従来技術として明示的にも黙示的にも認められていない。
本願で提供される背景技術の説明は、開示の状況を一般的に提示するためのものである。研究がこの背景技術の欄で説明される限度において、指定された発明者の研究、及び出願時に従来技術としての適格を有しない可能性がある態様は、本開示に対する従来技術として明示的にも黙示的にも認められていない。
【0004】
ビデオ・コーディング及びデコーディングは、動き補償を伴うインター・ピクチャ予測を利用して実行されることが可能である。非圧縮ディジタル・ビデオは一連のピクチャを含むことが可能であり、各ピクチャは、例えば、１９２０×１０８０のルミナンス・サンプル及び関連するクロミナンス・サンプルの空間次元を有する。一連のピクチャは、毎秒６０ピクチャ又は６０Ｈｚという固定または可変のピクチャ・レート（非公式にフレーム・レートとしても知られている）を有することが可能である。非圧縮ビデオは、かなりのビットレート要件を有する。例えば、サンプル当たり８ビットの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚのフレーム・レートで１９２０ｘ１０８０の輝度サンプル解像度）は、１．５Ｇｂｉｔ／ｓに近い帯域幅を必要とする。このようなビデオの１時間は、６００Ｇバイトを超える記憶領域を必要とする。
【0005】
ビデオのコーディング及びデコーディングの目的の１つは、圧縮による入力ビデオ信号の冗長性の削減であるとすることが可能である。圧縮は、場合によっては、２桁以上の大きさで前述の帯域幅又は記憶領域の要求を低減するのに役立つ可能性がある。可逆圧縮（ロスレス圧縮）及び非可逆圧縮（ロッシー圧縮）の両方、並びにそれらの組み合わせを用いることができる。ロスレス圧縮は、オリジナル信号の正確なコピーが、圧縮されたオリジナル信号から再構成されることが可能な技術を指す。ロッシー圧縮を使用する場合、再構成された信号は、オリジナル信号と同一ではないかもしれないが、オリジナル信号と再構成された信号との間のズレは、再構成された信号を、意図された用途に使用できる程度に十分小さい。ビデオの場合、ロッシー圧縮が広く使用されている。許容される歪みの量は、アプリケーションに依存し：例えば、特定のカスタマー・ストリーミング・アプリケーションのユーザーは、テレビジョン配信アプリケーションのユーザーよりも高い歪みに耐えることができる。達成可能な圧縮比は：より高い許容可能な／耐えられる歪みは、より高い圧縮比をもたらし得ることを反映することができる。
【0006】
ビデオ・エンコーダ及びデコーダは、例えば動き補償、変換、量子化、及びエントロピー符号化を含む、幾つかの広範なカテゴリからの技術を利用することができる。
【0007】
ビデオ・コーデック技術は、イントラ・コーディングとして知られる技術を含むことが可能である。イントラ・コーディングでは、サンプル値は、以前に再構成されたリファレンス・ピクチャからのサンプル又は他のデータを参照することなく表現される。あるビデオ・コーデックでは、ピクチャはサンプルのブロックに空間的に分割される。サンプルの全てのブロックがイントラ・モードで符号化される場合、そのピクチャはイントラ・ピクチャであるとすることが可能である。イントラ・ピクチャとそれらの派生物（例えば、独立デコーダ・リフレッシュ・ピクチャ）は、デコーダ状態をリセットするために使用されることが可能であり、従って、符号化ビデオ・ビットストリーム及びビデオ・セッションにおける最初のピクチャとして、又は静止画像として使用することができる。イントラ・ブロックのサンプルは変換の作用を受けることが可能であり、変換係数はエントロピー符号化の前に量子化されることが可能である。イントラ予測は、変換前ドメインにおけるサンプル値を最小化する技術であり得る。場合によっては、変換後にＤＣ値が小さいほど、及びＡＣ係数が小さいほど、エントロピー符号化後のブロックを表現するために所与の量子化ステップ・サイズで必要とされるビット数は少なくなる。
【0008】
例えばＭＰＥＧ－２世代の符号化技術などで知られているような伝統的なイントラ符号化は、イントラ予測を利用していない。しかしながら、幾つかのより新しいビデオ圧縮技術は、例えば空間的に隣接し及びデコード順に先行するデータのブロックをエンコード／デコードする際に取得されたメタデータ及び／又は周辺サンプル・データから試みる技術を含む。そのような技術は以後「イントラ予測」技術と呼ばれる。少なくとも幾つかのケースでは、イントラ予測は再構成中の現在のピクチャからのリファレンス・データのみを使用し、リファレンス・ピクチャからのものを使用しないことに留意を要する。
【0009】
多様な形式のイントラ予測が存在し得る。所与のビデオ符号化技術において、そのような技術の１つ以上を使用することができる場合、使用する技術は、イントラ予測モードで符号化されることが可能である。ある場合には、モードは、サブモード及び／又はパラメータを有することが可能であり、それらは、個別に符号化されることが可能であり、又はモード・コードワードに含められることが可能である。所与のモード／サブモード／パラメータの組み合わせに使用するコードワードが何であるかは、イントラ予測による符号化効率利得に影響を与える可能性があり、また、コードワードをビットストリームに変換するために使用されるエントロピー符号化技術もそのような可能性がある。
【0010】
ある種のイントラ予測モードがＨ．２６４で導入され、Ｈ．２６５で改良され、ジョイント・エクスプロレーション・モデル（ＪＥＭ）、汎用ビデオ符号化（ＶＶＣ）、ベンチマーク・セット（ＢＭＳ）などの新しい符号化技術で更に改良されている。予測器ブロックは、既に利用可能なサンプルに属する隣接するサンプル値を使用して形成されることが可能である。隣接するサンプルのサンプル値は、方向に応じて予測器ブロックにコピーされる。使用中の方向に対するリファレンスは、ビットストリームで符号化されることが可能であり、又はそれ自体が予測されてもよい。
【0011】
図１Ａを参照すると、右下に、Ｈ．２６５の３５個の可能な予測方向から分かる９つの予測方向のサブセットが示されている。矢印が集まる点（１０１）は、予測されるサンプルを表す。矢印はサンプルが予測される方向を示す。例えば、矢印（１０２）は、サンプル（１０１）が、水平から４５度の角度で、サンプル又はサンプル群から右上に向かって予測されることを示す。同様に、矢印（１０３）は、サンプル（１０１）が、水平から２２．５度の角度で、サンプル又はサンプル群からサンプル（１０１）の左下へ向かって予測されることを示す
【0012】
図１Ａを更に参照すると、左上に４×４サンプルの正方形ブロック（１０４）が示されている（太い破線で示されている）。正方形ブロック（１０４）は１６個のサンプルを含み、各サンプルは、「Ｓ」、Ｙ次元におけるその位置（例えば、行インデックス）、及びＸ次元におけるその位置（例えば、列インデックス）とともにラベル付けされている。例えば、サンプルＳ２１は、Ｙ次元の（上から）２番目のサンプル及びＸ次元の（左から）１番目のサンプルである。同様に、サンプルＳ４４は、Ｙ及びＸ次元の双方においてブロック（１０４）の４番目のサンプルである。ブロックのサイズは４×４サンプルであるので、Ｓ４４は最も右下にある。更に、同様の番号付け方式に従ったリファレンス・サンプルが示されている。リファレンス・サンプルは、ブロック（１０４）に対して、Ｒ、そのＹ位置（例えば、行インデックス）と、Ｘ位置（列インデックス）とでラベル付けされる。Ｈ．２６４及びＨ．２６５の両方において、予測サンプルは再構成中のブロックに隣接しているので、負の値を使用する必要はない。
【0013】
合図された予測方向に応じて、隣接するサンプルからリファレンス・サンプル値をコピーすることによって、イントラ・ピクチャ予測がうまくいく。例えば、符号化ビデオ・ビットストリームが、このブロックについて、矢印（１０２）に一致する予測方向を示すシグナリングを含むと仮定すると、サンプルは、水平から４５度の角度で、予測サンプル又はサンプル群から右上へ向かって予測される。その場合、サンプルＳ４１、Ｓ３２、Ｓ２３、及びＳ１４は、同じリファレンス・サンプルＲ０５から予測される。そして、サンプルＳ４４はリファレンス・サンプルＲ０８から予測される。
【0014】
場合によっては、リファレンス・サンプルを計算するために、特に方向が４５度で均等に割り切れない場合、補間により複数のリファレンス・サンプルの値が組み合わせられてもよい。
【0015】
ビデオ符号化技術が発達するにつれて、可能な方向の数は増加している。Ｈ．２６４（２００３年）では、９つの異なる方向が表現できていた。これは、Ｈ．２６５（２０１３年）で３３まで増加し、本開示の時点におけるＪＥＭ／ＶＶＣ／ＢＭＳは、最大６５の方向をサポートすることが可能である。最も可能性の高い方向を識別するために実験が行われており、少数のビットでそれらの可能性のある方向を表現するために、より可能性の低い方向に対してあるペナルティを受け入れて、エントロピー符号化におけるある技術が使用されている。更に、方向それ自体は、隣接する既にデコードされたブロックで使用される隣接方向から予測されることが可能である。
【0016】
図１Ｂは、経時的に増加する予測方向の数を示すために、ＪＥＭによる６５のイントラ予測方向を示す概略図（１１０）を示す。
【0017】
方向を表す符号化ビデオ・ビットストリームにおけるイントラ予測方向ビットのマッピングは、ビデオ符号化技術ごとに異なる可能性があり；例えば、予測方向の単純な直接的なマッピングから、イントラ予測モード、コードワード、最も可能性の高いモードを含む複雑な適応方式、及び同様な技術にまで範囲が及ぶ可能性がある。しかしながら、どのような場合でも、ビデオ・コンテンツにおいて、他の特定の方向よりも統計的に起こりにくい特定の方向が存在し得る。ビデオ圧縮のゴールは冗長性の削減であるので、良好に動作するビデオ符号化技術においては、より可能性の高い方向よりもより多いビット数によって、より可能性の低い方向が表現される。
【0018】
動き補償はロッシー圧縮技術であることが可能であり、且つある技術に関連することが可能であり、その技術では、動きベクトル（以後ＭＶという）で示される方向に空間的にシフトされた後、以前に再構成されたピクチャ又はその一部（リファレンス・ピクチャ）からのサンプル・データのブロックが、新しく再構成されたピクチャ又はその一部の予測に使用される。場合によっては、リファレンス・ピクチャは、現在再構成中のピクチャと同じであるとすることが可能である。ＭＶは、Ｘ及びＹの２つの次元、又は３つの次元を有し、第３次元は、使用中のリファレンス・ピクチャの指標である（後者は、間接的に、時間次元であり得る）。
【0019】
幾つかのビデオ圧縮技術では、サンプル・データの特定の領域に適用可能なＭＶは、他のＭＶから予測されることが可能であり、例えば、再構成中のエリアに空間的に隣接し、デコード順序でそのＭＶに先行する、サンプル・データの別のエリアに関連するものから予測されることが可能である。これにより、ＭＶの符号化に必要なデータ量を大幅に削減することができ、それによって冗長性を削減し、圧縮を増加させることができる。例えば、カメラ（ナチュラル・ビデオとして知られる）から導出された入力ビデオ信号を符号化する際に、単一のＭＶが適用されるエリアよりも大きなエリアが同様な方向に移動する統計的な可能性があり、従って、ある場合には、隣接するエリアのＭＶから導出される同様な動きベクトルを用いて予測することができるので、ＭＶ予測は効果的に機能する可能性がある。その結果、ＭＶは、与えられたエリアに対して、周囲のＭＶから予測されるＭＶと類似又は同一であることが見出され、そしてそれは、エントロピー符号化の後、ＭＶを直接的に符号化する場合に使用されるであろうものよりも、より少ないビット数で表現されることが可能である。場合によっては、ＭＶ予測は、元の信号（即ち、サンプル・ストリーム）から導出された信号（即ち、ＭＶ）のロスレス圧縮の例である可能性がある。他の場合には、ＭＶ予測それ自体は、例えば、幾つかの周囲のＭＶから予測を計算する際の丸め誤差に起因して、非可逆的である可能性がある。
【0020】
Ｈ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５，“Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”，Ｄｅｃｅｍｂｅｒ ２０１６）には様々なＭＶ予測方式が記載されている。Ｈ．２６５が提供する多くのＭＶ予測方式のうち、本願では、以後「空間マージ（ｓｐａｔｉａｌ ｍｅｒｇｅ）」と呼ばれる技術が説明される。
【0021】
図１Ｃを参照すると、現在ブロック（１２１）は、空間的にシフトされた同じサイズの以前のブロックからの予測可能であることが、動き探索プロセス中にエンコーダによって見出されたサンプルを含む。そのＭＶを直接的に符号化する代わりに、ＭＶは、１つ以上のリファレンス・ピクチャに関連付けられるメタデータから導出されることが可能であり、例えば、Ａ０、Ａ１、及びＢ０、Ｂ１、Ｂ２（それぞれ１２２から１２６）で示される５つの周辺サンプルのうちの何れかに関連するＭＶを使用して、（復号順に）最新のリファレンス・ピクチャから導出されることが可能である。Ｈ．２６５では、ＭＶ予測は、隣接ブロックが使用しているものと同じリファレンス・ピクチャからの予測を使用することができる。
【発明の概要】
【0022】
開示の態様はビデオ・デコーディングのための方法及び装置を提供する。ある実施形態において、装置は処理回路を含む。処理回路は、符号化ビデオ・ビットストリームにおいてピクチャに関連付けられるブロックのエンコーディング情報を受信する。処理回路は、エンコーディング情報に基づいて、ブロックはピクチャ内の有効領域とピクチャ外の無効領域とを含むか否かを判断する。更に、処理回路は、ブロックはピクチャ内の有効領域とピクチャ外の無効領域とを含むと判断された場合に、ブロックの有効領域内の少なくとも１つのサンプルを再構成する。
【0023】
実施形態において、処理回路は、ブロックの有効領域内にのみ、少なくとも１つのサンプルを含むサンプルを再構成する。
【0024】
実施形態において、有効領域内の少なくとも１つのサンプルは同じ予測情報と同じ変換情報とを有する。
【0025】
実施形態において、処理回路は、同じ予測情報を利用して、有効領域内の少なくとも１つのサンプルに対する少なくとも１つの予測を生成する。更に、処理回路は、同じ変換情報を利用して、少なくとも１つのサンプルに対する少なくとも１つの残差データを取得し、少なくとも１つの予測と少なくとも１つの残差データとに基づいて少なくとも１つのサンプルを再構成する。
【0026】
実施形態において、有効領域は幅及び高さを有する矩形形状を有し、幅及び高さのうちの１つは２の冪乗ではない。処理回路は、スキップ・モードを利用するだけで有効領域内の少なくとも１つのサンプルに対する少なくとも１つの予測を生成し、残差データによらず、少なくとも１つの予測に基づいて少なくとも１つのサンプルを再構成する。
【0027】
実施形態において、有効領域は幅及び高さを有する矩形形状を有し、幅及び高さのうちの１つは２の冪乗ではない。処理回路は、イントラ予測モード及びインター予測モードのうちの１つを利用して有効領域内の少なくとも１つのサンプルに対する少なくとも１つの予測を生成する。更に、処理回路は、残差データによらず、少なくとも１つの予測に基づいて少なくとも１つのサンプルを再構成する。
【0028】
実施形態において、ブロックは、２の冪乗である幅及び高を有する複数の矩形サブ・ブロックに分割することが可能であり、矩形サブ・ブロックを取得するための分割数は所定の閾値より少ない。
【0029】
実施形態において、ブロックの有効領域は、四分木分割及び二分木分割のうちの１つによるブロックの単一分割によっては取得できない。
【0030】
実施形態において、エンコーディング情報は、ブロックはピクチャ内の有効領域とピクチャ外の無効領域とを含むことを示す非分割フラグを含む。
【0031】
本開示の態様はまた、ビデオ・デコーディングのためにコンピュータによって実行される場合に、ビデオ・コーディング方法をコンピュータに実行させる命令を保存する非一時的なコンピュータ読み取り可能な記憶媒体を提供する。
【図面の簡単な説明】
【0032】
開示される対象事項の更なる特徴、性質、及び種々の利点は、以下の詳細な説明及び添付の図面から更に明らかになるであろう。
【0033】
【図1A】イントラ予測モードの例示的なサブセットの概略図である。
【0034】
【図1B】例示的なイントラ予測方向を示す図である。
【0035】
【図1C】一例における現在ブロック及びその周囲の空間マージ候補の概略図である。
【0036】
【図2】実施形態による通信システム（２００）の簡略化されたブロック図の概略図である。
【0037】
【図3】実施形態による通信システム（３００）の簡略化されたブロック図の概略図である。
【0038】
【図4】実施形態によるデコーダの簡略化されたブロック図の概略図である。
【0039】
【図5】実施形態によるエンコーダの簡略化されたブロック図の概略図である。
【0040】
【図6】別の実施形態によるエンコーダのブロック図を示す。
【0041】
【図7】他の実施形態によるデコーダのブロック図を示す。
【0042】
【図8】本開示の実施形態によるブロック分割構造の例を示す。
【0043】
【0044】
【0045】
【図11】本開示の実施形態によるブロック分割の例を示す。
【0046】
【図12A】ピクチャ外のエリアを含む本開示の実施形態による符号化ツリー・ユニットの例を示す。
【0047】
【0048】
【図12D】本開示の実施形態に従ってピクチャが複数の符号化ツリー・ユニットに分割される例を示す。
【0049】
【図13】本開示の実施形態による部分的な符号化ユニットの例を示す。
【0050】
【図14】部分的な符号化ユニットが使用されない本開示の実施形態による例を示す。
【0051】
【0052】
【図15C】部分的な符号化ユニットが使用されない本開示の実施形態による例を示す。
【0053】
【図16】本開示の一実施形態による復号化プロセスを示す。
【0054】
【図17】本開示の一実施形態による符号化プロセスを示す。
【0055】
【図18】実施形態によるコンピュータ・システムの概略図である。
【発明を実施するための形態】
【0056】
図２は、本開示の実施形態による通信システム（２００）の簡略化されたブロック図を示す。通信システム（２００）は、例えばネットワーク（２５０）を介して互いに通信することが可能な複数の端末デバイスを含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された第１ペアの端末デバイス（２１０）及び（２２０）を含む。図２の例では、第１ペアの端末デバイス（２１０）及び（２２０）は、データの一方向伝送を実行する。例えば、端末デバイス（２１０）は、ネットワーク（２５０）を介して他の端末デバイス（２２０）への伝送のために、ビデオ・データ（例えば、端末デバイス（２１０）によってキャプチャされたビデオ・ピクチャのストリーム）を符号化する可能性がある。エンコードされたビデオ・データは、１つ以上の符号化されたビデオ・ビットストリームの形態で伝送されることが可能である。端末デバイス（２２０）は、ネットワーク（２５０）から符号化されたビデオ・データを受信し、符号化されたビデオ・データをデコードし、復元されたビデオ・データに従ってビデオ・ピクチャを表示することができる。一方向性データ伝送は、メディア・サービング・アプリケーション等において一般的である可能性がある。
【0057】
別の例では、通信システム（２００）は、例えばテレビ会議中に発生する可能性がある符号化ビデオ・データの双方向伝送を実行する第２ペアの端末デバイス（２３０）及び（２４０）を含む。データの双方向伝送のために、例えば、端末デバイス（２３０）及び（２４０）の各端末デバイスは、ネットワーク（２５０）を介して端末デバイス（２３０）及び（２４０）のうちの他方の端末デバイスへの伝送のために、ビデオ・データ（例えば、端末デバイスによってキャプチャされたビデオ・ピクチャのストリーム）を符号化することができる。端末デバイス（２３０）及び（２４０）の各端末デバイスは、端末デバイス（２３０）及び（２４０）のうちの他方の端末デバイスによって送信された符号化ビデオ・データを受信し、符号化ビデオ・データをデコードし、復元されたビデオ・データに従って、アクセス可能なディスプレイ装置でビデオ・ピクチャを表示することができる。
【0058】
図２の例では、端末デバイス（２１０）、（２２０）、（２３０）及び（２４０）は、サーバー、パーソナル・コンピュータ及びスマートフォンとして説明される可能性があるが、本開示の原理は、そのように限定されない。本開示の実施形態は、ラップトップ・コンピュータ、タブレット・コンピュータ、メディア・プレーヤ、及び／又は専用のビデオ会議装置を伴うアプリケーションを見出す。ネットワーク（２５０）は、例えば有線（配線された）及び／又は無線通信ネットワークを含む、端末装デバイス（２１０）、（２２０）、（２３０）及び（２４０）の間で符号化ビデオ・データを伝達する任意数のネットワークを表す。通信ネットワーク（２５０）は、回線交換及び／又はパケット交換チャネルでデータを交換することができる。代表的なネットワークは、通信ネットワーク、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク及び／又はインターネットを含む。本説明の目的のために、ネットワーク（２５０）のアーキテクチャ及びトポロジーは、以下に説明されない限り、本開示の動作には重要ではない。
【0059】
図３は、開示された対象事項の適用例として、ストリーミング環境におけるビデオ・エンコーダ及びビデオ・デコーダの配置を示す。開示される対象事項は、例えばビデオ会議、デジタルＴＶ、ＣＤ、ＤＶＤ、メモリ・スティックなどを含むデジタル・メディアにおける圧縮ビデオの記憶などを含む、他のビデオが利用可能なアプリケーションにも同様に適用されることが可能である。
【0060】
ストリーミング・システムは、例えばデジタル・カメラ等のビデオ・ソース（３０１）を含むことが可能なキャプチャ・サブシステム（３１３）を含み、例えば非圧縮のビデオ・ピクチャ（３０２）のストリームを生成する。実施例では、ビデオ・ピクチャのストリーム（３０２）は、デジタル・カメラによって撮影されたサンプルを含む。エンコードされたビデオ・データ（３０４）（又は符号化ビデオ・ビットストリーム）と比較した場合に高いデータ量を強調するために太い線として描かれているビデオ・ピクチャのストリーム（３０２）は、ビデオ・ソース（３０１）に結合されたビデオ・エンコーダ（３０３）を含む電子デバイス（３２０）によって処理されることが可能である。ビデオ・エンコーダ（３０３）は、ハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができ、以下詳細に説明されるように、開示される対象事項の態様を可能にする又は実現する。エンコードされたビデオ・データ（３０４）（又はエンコードされたビデオ・ビットストリーム（３０４））は、ビデオ・ピクチャ（３０２）のストリームと比較した場合により低いデータ量を強調するために細い線として示され、将来の使用のためにストリーミング・サーバー（３０５）に記憶されることが可能である。図３のクライアント・サブシステム（３０６）及び（３０８）のような１つ以上のストリーミング・クライアント・サブシステムは、ストリーミング・サーバー（３０５）にアクセスして、エンコードされたビデオ・データ（３０４）のコピー（３０７）及び（３０９）を取り出すことができる。クライアント・サブシステム（３０６）は、例えば電子デバイス（３３０）内にビデオ・デコーダ（３１０）を含むことができる。ビデオ・デコーダ（３１０）は、エンコードされたビデオ・データの到来するコピー（３０７）をデコードし、ディスプレイ（３１２）（例えばディスプレイ・スクリーン）又は他のレンダリング・デバイス（図示せず）上にレンダリングされることが可能なビデオ・ピクチャの出力ストリーム（３１１）を生成する。あるストリーミング・システムでは、エンコードされたビデオ・データ（３０４）、（３０７）、及び（３０９）（例えば、ビデオ・ビットストリーム）は、特定のビデオ符号化／圧縮規格に従ってエンコードされることが可能である。これらの規格の具体例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。例えば、開発中のビデオ符号化規格は、非公式に汎用ビデオ符号化（ＶＶＣ）として知られている。開示される対象事項はＶＶＣの文脈で使用される可能性がある。
【0061】
電子デバイス（３２０）及び（３３０）は、他のコンポーネント（図示せず）を含むことができることに留意されたい。例えば、電子デバイス（３２０）は、ビデオ・デコーダ（図示せず）を含むことが可能であり、電子デバイス（３３０）は、ビデオ・エンコーダ（図示せず）を含むことも可能である。
【0062】
図４は、本開示の実施形態によるビデオ・デコーダ（４１０）のブロック図を示す。ビデオ・デコーダ（４１０）は電子デバイス（４３０）に含まれることが可能である。電子デバイス（４３０）は、受信機（４３１）（例えば、受信回路）を含むことが可能である。ビデオ・デコーダ（４１０）は図３の例におけるビデオ・デコーダ（３１０）の代わりに使用されることが可能である。
【0063】
受信機（４３１）は、ビデオ・デコーダ（４１０）によって復号化されるべき１つ以上の符号化されたビデオ・シーケンスを受信することが可能であり；同じ実施形態又は別の実施形態では、一度に１つの符号化ビデオ・シーケンスを受信することができ、各符号化ビデオ・シーケンスの復号化は、他の符号化ビデオ・シーケンスから独立である。符号化ビデオ・シーケンスは、チャネル（４０１）から受信されることが可能であり、このチャネルは、エンコードされたビデオ・データを記憶する記憶装置に対するハードウェア／ソフトウェア・リンクであってもよい。受信機（４３１）は、エンコードされたビデオ・データを、他のデータ、例えば符号化されたオーディオ・データ及び／又は補助的なデータ・ストリームと共に受信することが可能であり、これらのデータは、（不図示の）エンティティを使用してそれぞれ転送されることができる。受信機（４３１）は、符号化ビデオ・シーケンスを他のデータから分離することができる。ネットワーク・ジッタに対処するために、バッファ・メモリ（４１５）は、受信機（４３１）とエントロピー・デコーダ／パーサ（４２０）（以後「パーサ（４２０）」と言及する）との間に結合される可能性がある。特定のアプリケーションでは、バッファ・メモリ（４１５）はビデオ・デコーダ（４１０）の一部である。他の場合においてそれはビデオ・デコーダ（４１０）の外側にあるとすることが可能である。更に別の例では、例えばネットワーク・ジッタに対処するために、ビデオ・デコーダ（４１０）の外側にバッファ・メモリ（図示せず）を設けることが可能であり、更に、例えば再生タイミングを取り扱うために、ビデオ・デコーダ（４１０）の内側に別のバッファ・メモリ（４１５）を設けることも可能である。受信機（４３１）が、十分な帯域幅及び制御可能性を有するストア／フォワード・デバイスから、又は同期ネットワークから、データを受信している場合、バッファ・メモリ（４１５）は必要とされない可能性があり、又は小さなものとすることが可能である。インターネットのようなベスト・エフォート型パケット・ネットワークでの使用のために、バッファ・メモリ（４１５）は、必要とされる可能性があり、比較的大きい可能性があり、好都合に適応的なサイズであるとすることが可能であり、ビデオ・デコーダ（４１０）の外側のオペレーティング・システム又は類似の要素（図示せず）において少なくとも部分的に実装される可能性がある。
【0064】
ビデオ・デコーダ（４１０）は、符号化ビデオ・シーケンスからシンボル（４２１）を再構成するために、パーサ（４２０）を含む可能性がある。これらのシンボルのカテゴリは、ビデオ・デコーダ（４１０）の動作を管理するために使用される情報、及び、図４に示されているように、電子デバイス（４３０）の一体的な部分ではないが、電子デバイス（４３０）に結合されることが可能なレンダリング・デバイス（４１２）（例えば、表示スクリーン）のようなレンダリング・デバイスを制御するための潜在的な情報を含む。レンダリング・デバイスの制御情報は、補足拡張情報（ＳＥＩメッセージ）又はビデオ・ユーザビリティ情報（ＶＵＩ）パラメータ・セット・フラグメント（図示せず）の形式におけるものであってもよい。パーサ（４２０）は、受信される符号化ビデオ・シーケンスを分析／エントロピー復号化することができる。符号化ビデオ・シーケンスの符号化は、ビデオ符号化技術又は規格に従うことが可能であり、可変長符号化、ハフマン符号化、コンテキスト感度を伴う又は伴わない算術符号化などを含む種々の原理に従うことが可能である。パーサ（４２０）は、グループに対応する少なくとも１つのパラメータに基づいて、ビデオ・デコーダ内のピクセルのサブグループのうちの少なくとも１つに対するサブグループ・パラメータのセットを、符号化ビデオ・シーケンスから抽出することができる。サブグループは、グループ・オブ・ピクチャ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことが可能である。パーサ（４２０）はまた、変換係数、量子化パラメータ値、モーション・ベクトル等の符号化ビデオ・シーケンス情報から抽出することも可能である。
【0065】
パーサ（４２０）は、シンボル（４２１）を生成するために、バッファ・メモリ（４１５）から受信したビデオ・シーケンスに対してエントロピー・デコーディング／解析オペレーションを実行することができる。
【0066】
シンボル（４２１）の再構成は、符号化ビデオ・ピクチャ又はその一部の種類（インター及びイントラ・ピクチャ、インター及びイントラ・ブロックなど）又はその他の要因に応じて、複数の異なるユニットを含むことが可能である。どのユニットがどのように関与するかは、パーサ（４２０）によって符号化ビデオ・シーケンスから解析されたサブグループ制御情報によって制御されることが可能である。パーサ（４２０）と以下の複数ユニットとの間のこのようなサブグループ制御情報の流れは、明確性のために図示されていない。
【0067】
ビデオ・デコーダ（４１０）は、既に述べた機能ブロックを超えて、以下に説明するように複数の機能ユニットに概念的には細分されることが可能である。商業的制約の下で動作する実用的な実装において、これらのユニットのうちの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合されることが可能である。しかしながら、開示された対象事項を説明するために、以下の機能ユニットへの概念的な細分化が適切である。
【0068】
第１ユニットは、スケーラ／逆変換ユニット（４５１）である。スケーラ／逆変換ユニット（４５１）は、パーサ（４２０）からシンボル（４２１）として、使用する変換、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報と共に量子化された変換係数を受信する。スケーラ／逆変換ユニット（４５１）は、アグリゲータ（４５５）に入力されることが可能なサンプル値を含むブロックを出力することができる。
【0069】
場合によっては、スケーラ／逆変換（４５１）の出力サンプルは、イントラ符号化ブロック、即ち、以前に再構成されたピクチャからの予測情報を使用するのではなく、現在のピクチャのうちで以前に再構成された部分からの予測情報を使用することが可能なブロックに関連付けることが可能である。このような予測情報は、イントラ・ピクチャ予測ユニット（４５２）によって提供されることが可能である。場合によっては、イントラ・ピクチャ予測ユニット４５２は、現在のピクチャ・バッファ（４５８）から取り出された既に再構成された周囲の情報を使用して、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在のピクチャ・バッファ（４５８）は、例えば部分的に再構成された現在のピクチャ及び／又は完全に再構成された現在のピクチャをバッファリングする。アグリゲータ（４５５）は、場合によってはサンプル毎に、イントラ予測ユニット（４５２）が生成した予測情報を、スケーラ／逆変換ユニット（４５１）によって提供されるような出力サンプル情報と加算する。
【0070】
それ以外の場合には、スケーラ／逆変換ユニット（４５１）の出力サンプルは、インター符号化された、潜在的に動き補償されたブロックに関連付けることができる。このような場合、動き補正予測ユニット（４５３）は、予測に使用されるサンプルを取り出すためにリファレンス・ピクチャ・メモリ（４５７）にアクセスすることができる。ブロックに関連するシンボル（４２１）に応じて、取り出されたサンプルを動き補償した後、これらのサンプルは、アグリゲータ（４５５）によって、スケーラ／逆変換ユニット（４５１）の出力と追加され（この場合は、残留サンプル又は残留信号と呼ばれる）、出力サンプル情報を生成する。動き補償予測ユニット（４５３）が予測サンプルを取り出すリファレンス・ピクチャ・メモリ（４５７）内のアドレスは、例えばＸ、Ｙ、及びリファレンス・ピクチャ成分を有することが可能なシンボル（４２１）の形式で動き補償予測ユニット（４５３）に利用可能な動きベクトルにより制御されることが可能である。また、動き補償は、サブ・サンプルの正確な動きベクトルが使用されている場合にリファレンス・ピクチャ・メモリ（４５７）からフェッチされるサンプル値の補間、動きベクトル予測メカニズムなどを含むことが可能である。
【0071】
アグリゲータ（４５５）の出力サンプルは、ループ・フィルタ・ユニット（４５６）内の様々なループ・フィルタリング技術の作用を受けることが可能である。ビデオ圧縮技術はループ内フィルタ技術を含むことができ、その技術は、符号化ビデオ・シーケンス（符号化ビデオ・ビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサ（４２０）からシンボル（４２１）としてループ・フィルタ・ユニット（４５６）にとって利用可能にされるが、符号化ピクチャ又は符号化ビデオ・シーケンスの（復号化順に）以前の部分の復号化の間に得られたメタ情報に応答することができるとともに、以前に再構成されたループ・フィルタリングされたサンプル値に応答することができる。
【0072】
ループ・フィルタ・ユニット（４５６）の出力は、レンダリング・デバイス（４１２）に出力されることが可能であり、また、将来のインター・ピクチャ予測に使用するためにリファレンス・ピクチャ・メモリ（４５７）に記憶されることが可能なサンプル・ストリームとすることが可能である。
【0073】
所定の符号化ピクチャは、いったん完全に再構成されると、将来の予測のためのリファレンス・ピクチャとして使用されることが可能である。例えば、現在のピクチャに対応する符号化ピクチャが完全に再構成され、（例えば、パーサ（４２０）によって）符号化ピクチャがリファレンス・ピクチャとして識別されると、現在のピクチャ・バッファ（４５８）はリファレンス・ピクチャ・メモリ（４５７）の一部となることが可能であり、新しい現在のピクチャ・バッファは、次の符号化ピクチャの再構成を開始する前に再割り当てされことが可能である。
【0074】
ビデオ・デコーダ（４１０）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５等の規格において予め定められているビデオ圧縮技術に従ってデコーディング動作を実行することができる。符号化ビデオ・シーケンスは、符号化ビデオ・シーケンスが、ビデオ圧縮技術又は規格のシンタックス及びビデオ圧縮技術又は規格で文書化されているようなプロファイルの両方に従うという意味で、使用されるビデオ圧縮技術又は規格によって指定されたシンタックスに適合することができる。具体的には、プロファイルは、特定のツールを、そのプロファイルの下で使用できる唯一のツールとして、ビデオ圧縮技術又は規格で使用可能な全てのツールから選択することができる。また、コンプライアンスに必要なことは、符号化ビデオ・シーケンスの複雑性が、ビデオ圧縮技術又は規格のレベルによって定義される範囲内にあることである。ある場合には、レベルは、最大ピクチャ・サイズ、最大フレーム・レート、最大再構成サンプル・レート（例えば、毎秒当たりのメガサンプルで測定される）、最大リファレンス・ピクチャ・サイズなどを制限する。レベルによって設定された制限は、場合によっては、符号化ビデオ・シーケンスで通知されるＨＲＤバッファ管理のためのＨＲＤ（Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）仕様とメタデータにより更に制限することができる。
【0075】
実施形態では、受信機（４３１）は、エンコードされたビデオと共に追加の（冗長な）データを受信してもよい。追加データは、符号化ビデオ・シーケンスの一部として含まれる可能性がある。追加データは、データを適切にデコードするため、及び／又は元のビデオ・データをより正確に再構成するために、ビデオ・デコーダ（４１０）によって使用されることが可能である。追加のデータは、例えば、時間的、空間的、又は信号雑音比（ＳＮＲ）エンハンスメント・レイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形態であり得る。
【0076】
図５は本開示の実施形態によるビデオ・エンコーダ（５０３）のブロック図を示す。ビデオ・エンコーダ（５０３）は電子デバイス（５２０）に含まれる。電子デバイス（５２０）は送信機（５４０）（例えば、送信回路）を含む。ビデオ・エンコーダ（５０３）は、図３の例におけるビデオ・エンコーダ（３０３）の代わりに使用されることが可能である。
【0077】
ビデオ・エンコーダ（５０３）は、ビデオ・エンコーダ（５０３）によって符号化されるビデオ・イメージをキャプチャすることができるビデオ・ソース（５０１）（図５の例では電子デバイス（５２０）の一部ではない）から、ビデオ・サンプルを受信することができる。別の例では、ビデオ・ソース（５０１）は、電子デバイス（５２０）の一部である。
【0078】
ビデオ・ソース（５０１）は、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット、．．．）、任意の色空間（例えば、ＢＴ．６０１Ｙ ＣｒＣＢ、ＲＧＢ、．．．）、及び任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）であるとすることが可能なデジタル・ビデオ・サンプル・ストリームの形態で、ビデオ・エンコーダ（５０３）によって符号化されるソース・ビデオ・シーケンスを提供する可能性がある。メディア・サービング・システムにおいて、ビデオ・ソース（５０１）は、事前に準備されたビデオを記憶する記憶装置であってもよい。テレビ会議システムでは、ビデオ・ソース（５０１）は、ローカルな画像情報をビデオ・シーケンスとして捕捉するカメラであってもよい。ビデオ・データは、シーケンスで眺めた場合に動きを伝える複数の個々のピクチャとして提供されてもよい。ピクチャ自体は、ピクセルの空間アレイとして構成されることが可能であり、各ピクセルは、使用中のサンプリング構造、色空間などに応じて、１つ以上のサンプルを含むことができる。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。以下の説明は、サンプルに着目している。
【0079】
実施形態によれば、ビデオ・エンコーダ（５０３）は、リアル・タイムで又はアプリケーションによって要求される他の任意の時間的制約の下で、ソース・ビデオ・シーケンスのピクチャを符号化し、符号化されたビデオ・シーケンス（５４３）に圧縮することができる。適切な符号化レートを課すことは、コントローラ（５５０）の一つの機能である。幾つかの実施形態において、コントローラ（５５０）は、以下に説明されるように、他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。結合は明確性のために描かれていない。コントローラ（５５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャ・スキップ、量子化器、レート歪み最適化技術のラムダ値、．．．）、ピクチャ・サイズ、グループ・オブ・ピクチャ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲などを含むことができる。コントローラ（５５０）は、特定のシステム設計のために最適化されたビデオ・エンコーダ（５０３）に関連する他の適切な機能を有するように構成されることが可能である。
【0080】
幾つかの実施態様において、ビデオ・エンコーダ（５０３）は、符号化ループで動作するように構成される。かなり単純化した説明として、一例において、符号化ループは、ソース・コーダ（５３０）（例えば、符号化されるべき入力ピクチャ及びリファレンス・ピクチャに基づいて、シンボル・ストリームなどのシンボルを生成する責任を有する）と、ビデオ・エンコーダ（５０３）に組み込まれた（ローカル）デコーダ（５３３）とを含むことが可能である。デコーダ（５３３）は、（リモート）デコーダが生成するのと同様な方式で、サンプル・データを生成するためにシンボルを再構成する（シンボルと符号化ビデオ・ビットストリームとの間の任意の圧縮は、開示される対象事項で考慮されるビデオ圧縮技術においてロスレスであることに起因する）。再構成されたサンプル・ストリーム（サンプル・データ）は、リファレンス・ピクチャ・メモリ（５３４）に入力される。シンボル・ストリームの復号化は、デコーダ・ロケーション（ローカル又はリモート）に依存しないビット・イグザクト（ｂｉｔ－ｅｘａｃｔ）の結果をもたらすので、リファレンス・ピクチャ・メモリ（５３４）中の内容もまた、ローカル・エンコーダとリモート・エンコーダとの間でビット・イグザクトである。言い換えると、エンコーダの予測部は、デコーダがデコーディング中に予測を使用する場合に「見る」のと全く同じサンプル値をリファレンス・ピクチャ・サンプルとして「見る」。リファレンス・ピクチャ同期（及び例えばチャネル・エラーに起因して同期が維持できない場合に結果的に生じるドリフト）のこの基本原理は、幾つかの関連技術においても同様に使用される。
【0081】
「ローカル」デコーダ（５３３）の動作は、図４に関連して上記で既に詳細に説明したビデオ・デコーダ（４１０）のような「リモート」デコーダと同じあるとすることが可能である。しかしながら、図４も簡単に参照すると、シンボルが利用可能であり、且つエントロピー符号化器（５４５）及びパーサ（４２０）による符号化ビデオ・シーケンスに対するシンボルの符号化／復号化はロスレスであるとすることが可能であるので、バッファ・メモリ（４１５）及びパーサ（４２０）を含むビデオ復号器（４１０）のエントロピー復号化部は、ローカル・デコーダ（５３３）で完全には実装されない可能性がある。
【0082】
この時点で行われ得る観察は、デコーダに存在する解析／エントロピー・デコーディング以外の如何なるデコーダ技術も、実質的に同一の機能形態で、対応するエンコーダ内に存在する必要があることである。この理由のために、開示される対象事項は、デコーダの動作に焦点を当てる。エンコーダ技術の説明は、包括的に説明されるデコーダ技術の逆であるため、省略されることが可能である。特定の分野においてのみ、より詳細な説明が必要とされ、以下に提供される。
【0083】
動作中に、ソース・コーダ（５３０）は、幾つかの例において、「リファレンス・ピクチャ」として指定されたビデオ・シーケンスからの１つ以上の以前に符号化されたピクチャを参照して入力ピクチャを予測的に符号化する、動き補償予測符号化を実行してもよい。このようにして、符号化エンジン（５３２）は、入力ピクチャのピクセル・ブロックと、入力ピクチャに対する予測リファレンスとして選択される可能性があるリファレンス・ピクチャのピクセル・ブロックとの間の差分を符号化する。
【0084】
ローカル・ビデオ・デコーダ（５３３）は、ソース・コーダ（５３０）によって生成されたシンボルに基づいて、リファレンス・ピクチャとして指定されることが可能なピクチャの符号化ビデオ・データを復号化することができる。符号化エンジン（５３２）の動作は、有利なことに、ロッシー・プロセスである可能性がある。符号化ビデオ・データがビデオ・デコーダ（図５には示されていない）でデコードされる可能性がある場合、再構成されたビデオ・シーケンスは、典型的には、幾らかのエラーを伴うソース・ビデオ・シーケンスのレプリカである可能性がある。ローカル・ビデオ・デコーダ（５３３）は、リファレンス画像上でビデオ・デコーダによって実行される可能性があるデコーディング処理を繰り返し、再構成されたリファレンス・ピクチャを、リファレンス画像キャッシュ（５３４）に記憶させることができる。このようにして、ビデオ・エンコーダ（５０３）は、遠方端のビデオ・デコーダによって取得される再構成されたリファレンス・ピクチャと共通する内容を有する再構成されたリファレンス・ピクチャのコピーをローカルに記憶することができる。
【0085】
予測器（５３５）は、符号化エンジン（５３２）の予測検索を行うことが可能である。即ち、符号化されるべき新しいピクチャに関し、予測器（５３５）は、（候補リファレンス・ピクセル・ブロックとして）サンプル・データ、又は特定のメタデータ（リファレンス・ピクチャ動きベクトル、ブロック形状など）を求めて、リファレンス・ピクチャ・メモリ（５３４）を検索することができ、これらは、新しいピクチャに対する適切な予測リファレンスとして役立つ可能性がある。予測器（５３５）は、適切な予測リファレンスを発見するために、サンプル・ブロック＿バイ＿ピクセル・ブロックに基づいて動作することが可能である。場合によっては、予測器（５３５）が取得した検索結果により決定されるように、入力ピクチャは、リファレンス・ピクチャ・メモリ（５３４）に記憶された複数のリファレンス・ピクチャから引き出される予測リファレンスを有することが可能である。
【0086】
コントローラ（５５０）は、例えばビデオ・データを符号化するために使用されるパラメータ及びサブグループ・パラメータの設定を含む、ソース・コーダ（５３０）の符号化動作を管理することができる。
【0087】
前述の機能ユニットの全ての出力は、エントロピー符号化器（５４５）においてエントロピー符号化の作用を受ける可能性がある。エントロピー符号化器（５４５）は、ハフマン符号化、可変長符号化、算術符号化などの技術に従ってロスレス圧縮を行うことにより、種々の機能ユニットによって生成されるようなシンボルを、符号化ビデオ・シーケンスに変換する。
【0088】
送信機（５４０）は、エントロピー符号化器（５４５）によって作成された符号化ビデオ・シーケンスをバッファリングして、通信チャネル（５６０）を介した送信の準備を行うことができ、通信チャネル（５６０）は、符号化ビデオ・データを記憶する記憶装置に対するハードウェア／ソフトウェア・リンクであるとすることが可能である。送信機（５４０）は、ビデオ・コーダ（５０３）からの符号化ビデオ・データを、例えば符号化オーディオ・データ及び／又は補助的なデータ・ストリーム（図示せず）のような送信される他のデータとマージすることができる。
【0089】
コントローラ（５５０）は、ビデオ・エンコーダ（５０３）の動作を管理することができる。符号化の間、コントローラ（５５０）は、各符号化ピクチャに、特定の符号化ピクチャ・タイプを割り当てる可能性があり、これは、各ピクチャに適用され得る符号化技術に影響を及ぼす可能性がある。例えば、ピクチャは、しばしば、以下のピクチャ・タイプのうちの１つとして指定される可能性がある：
【0090】
イントラ・ピクチャ（Ｉピクチャ）は、シーケンス内の他の任意のピクチャを予測源として使用せずに、符号化及び復号化され得るものである可能性がある。あるビデオ・コーデックは、例えば独立デコーダ・リフレッシュ（「ＩＤＲ」）ピクチャを含む、異なるタイプのイントラ・ピクチャを許容する。当業者は、Ｉ画像のこれらの変形例、並びにそれら各自の用途及び特徴を把握している。
【0091】
予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、高々１つの動きベクトルとリファレンス・インデックスとを用いて、イントラ予測又はインター予測を用いて符号化及び復号化され得るものである可能性がある。
【0092】
双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、高々２つの動きベクトルとリファレンス・インデックスとを用いて、イントラ予測又はインター予測を用いて、符号化及び復号化され得るものである可能性がある。同様に、複数の予測画像は、１つのブロックの再構成のために、２つより多いリファレンス・ピクチャ及び関連するメタデータを使用することが可能である。
【0093】
ソース・ピクチャは、通常、複数のサンプル・ブロック（例えば、それぞれ４×４、８×８、４×８、１６×１６サンプル）に空間的に細分され、ブロック毎に符号化される可能性がある。ブロックは、ブロックのそれぞれのピクチャに適用される符号化割り当てによって決定される他の（既に符号化された）ブロックを参照して予測的に符号化されることが可能である。例えば、Ｉピクチャのブロックは、非予測的に符号化されてもよく、又は、それらは、同じピクチャの既に符号化されたブロックを参照して予測的に符号化されてもよい（空間予測又はイントラ予測）。Ｐピクチャのピクセル・ブロックは、以前に符号化された１つのリファレンス・ピクチャを参照して、空間的予測又は時間的予測により予測的に符号化されてもよい。Ｂピクチャのブロックは、１つ又は２つの以前に符号化されたリファレンス・ピクチャを参照して、空間的予測又は時間的予測により予測的に符号化されてもよい。
【0094】
ビデオ・エンコーダ（５０３）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５等の所定のビデオ符号化技術又は規格に従って符号化動作を行うことができる。その動作において、ビデオ・エンコーダ（５０３）は、入力ビデオ・シーケンスにおける時間的及び空間的な冗長性を利用する予測符号化動作を含む種々の圧縮動作を実行することができる。従って、符号化ビデオ・データは、使用されるビデオ符号化技術又は規格によって指定されるシンタックスに適合することができる。
【0095】
実施形態では、送信機（５４０）は符号化されたビデオと共に追加データを送信する可能性がある。ソース・コーダ（５３０）は、符号化ビデオ・シーケンスの一部としてそのようなデータを含むことができる。追加データは、時間的／空間的／ＳＮＲエンハンスメント・レイヤ、冗長データの他の形式（冗長ピクチャ及びスライス、ＳＥＩメッセージ、ＶＵＩパラメータ・セット・フラグメント等）を含む可能性がある。
【0096】
ビデオは、時間シーケンスにおける複数のソース・ピクチャ（ビデオ・ピクチャ）としてキャプチャされる可能性がある。イントラ・ピクチャ予測（しばしば、イントラ予測と略される）は所与のピクチャにおける空間的相関を利用しており、インター・ピクチャ予測はピクチャ間の（時間的又はその他の）相関を利用している。一例では、現在ピクチャとして言及される符号化／復号化中の特定のピクチャは、複数のブロックに区分される。現在ピクチャ内のブロックが、ビデオの中で以前に符号化され且つ依然としてバッファリングされているリファレンス・ピクチャ内のリファレンス・ブロックに類似する場合、現在ピクチャ内のブロックは、動きベクトルと呼ばれるベクトルによって符号化されることが可能である。動きベクトルは、リファレンス・ピクチャ内のリファレンス・ブロックを指し示し、複数のリファレンス・ピクチャが使用されている場合には、リファレンス・ピクチャを識別する第３の次元を有することが可能である。
【0097】
ある実施形態では、イントラ・ピクチャ予測に双予測技術が使用されることが可能である。双方向予測技術によれば、第１リファレンス・ピクチャ及び第２リファレンス・ピクチャ（ビデオの中で現在ピクチャに対して復号順序で両方とも先行している（ただし、表示順序では、過去及び将来におけるものである可能性がある））のような２つのリファレンス・ピクチャが使用される。現在ピクチャ内のブロックは、第１リファレンス・ピクチャ内の第１リファレンス・ブロックを指す第１動きベクトルと、第２リファレンス・ピクチャ内の第２リファレンス・ブロックを指す第２動きベクトルとによって符号化されることが可能である。ブロックは、第１リファレンス・ブロックと第２リファレンス・ブロックとの組み合わせによって予測されることが可能である。
【0098】
更に、符号化効率を改善するために、マージ・モード技術がインター・ピクチャ予測に使用されることが可能である。
【0099】
本開示の幾つかの実施形態によれば、インター・ピクチャ予測及びイントラ・ピクチャ予測などの予測は、ブロックの単位で実行される。例えば、ＨＥＶＣ規格によれば、ビデオ・ピクチャのシーケンス内のピクチャは、圧縮のために符号化ツリー・ユニット（ＣＴＵ）に分割され、ピクチャ内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルのような同じサイズを有する。一般に、ＣＴＵは、１つのルマＣＴＢ及び２つのクロマＣＴＢである３つの符号化ツリー・ブロック（ＣＴＢ）を含む。各ＣＴＵは、１つ又は複数の符号化ユニット（ＣＵ）に再帰的に四分木分割されることが可能である。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１ＣＵ、３２×３２ピクセルの４ＣＵ、又は１６×１６ピクセルの１６ＣＵに分割されることが可能である。一例では、各ＣＵは、インター予測タイプ又はイントラ予測タイプのようなＣＵの予測タイプを決定するために分析される。ＣＵは時間的及び／又は空間的な予測性に依存して１つ以上の予測ユニット（ＰＵ）に分割される。一般に、各ＰＵはルマ予測ブロック（ＰＢ）と２つのクロマＰＢとを含む。実施形態では、符号化（符号化／復号化）における予測動作は、予測ブロックのユニットで実行される。予測ブロックの一例としてルマ予測ブロックを用いると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセル等のような、ピクセルに対する値（例えば、ルマ値）の行列を含む。
【0100】
図６は本開示の別の実施形態によるビデオ・エンコーダ（６０３）の図を示す。ビデオ・エンコーダ（６０３）は、ビデオ・ピクチャのシーケンス内の現在のビデオ・ピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを、符号化ビデオ・シーケンスの一部である符号化ピクチャにエンコードするように構成される。実施例においてビデオ・エンコーダ（６０３）は図３の例におけるビデオ・エンコーダ（３０３）の代わりに使用される。
【0101】
ＨＥＶＣの例では、ビデオ・エンコーダ（６０３）は、８×８サンプルの予測ブロック等の処理ブロックに対するサンプル値の行列を受信する。ビデオ・エンコーダ（６０３）は、処理ブロックが、イントラ・モード、インター・モード、又は双方向予測モードを使用して最良に符号化されるかどうかを、例えばレート歪み最適化を利用して決定する。
処理ブロックがイントラ・モードで符号化されるべき場合、ビデオ・エンコーダ（６０３）は、処理ブロックを符号化ピクチャにエンコードするためにイントラ予測技術を使用することが可能であり；処理ブロックがインター・モード又は双方向予測モードで符号化されるべき場合、ビデオ・エンコーダ（６０３）は、処理ブロックを符号化ピクチャにエンコードするために、それぞれインター予測技術又は双方向予測技術を使用することが可能である。ある種のビデオ符号化技術では、マージ・モードはインター・ピクチャ予測サブモードであるとすることが可能であり、その場合、予測器の外側の符号化動きベクトル成分の恩恵なしに、動きベクトルが１つ以上の動きベクトル予測器から導出される。特定の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトル成分が存在してもよい。実施例では、ビデオ・エンコーダ（６０３）は、処理ブロックのモードを決定するために、モード決定モジュール（図示せず）のような他の構成要素を含む。
処理ブロックがイントラ・モードで符号化されるべき場合、ビデオ・エンコーダ（６０３）は、処理ブロックを符号化ピクチャにエンコードするためにイントラ予測技術を使用することが可能であり；処理ブロックがインター・モード又は双方向予測モードで符号化されるべき場合、ビデオ・エンコーダ（６０３）は、処理ブロックを符号化ピクチャにエンコードするために、それぞれインター予測技術又は双方向予測技術を使用することが可能である。ある種のビデオ符号化技術では、マージ・モードはインター・ピクチャ予測サブモードであるとすることが可能であり、その場合、予測器の外側の符号化動きベクトル成分の恩恵なしに、動きベクトルが１つ以上の動きベクトル予測器から導出される。特定の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトル成分が存在してもよい。実施例では、ビデオ・エンコーダ（６０３）は、処理ブロックのモードを決定するために、モード決定モジュール（図示せず）のような他の構成要素を含む。
【0102】
図６の例では、ビデオ・エンコーダ（６０３）は、インター・エンコーダ（６３０）、イントラ・エンコーダ（６２２）、残差計算器（６２３）、スイッチ（６２６）、残差エンコーダ（６２４）、汎用コントローラ（６２１）、及びエントロピー・エンコーダ（６２５）を図６に示されるように共に結合された形式で含む。
【0103】
インター・エンコーダ（６３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、そのブロックを、リファレンス・ピクチャ内の１つ以上のリファレンス・ブロック（例えば、以前のピクチャ及び以後のピクチャにおけるブロック）と比較し、インター予測情報（例えば、インター符号化技術による冗長情報、動きベクトル、マージ・モード情報の記述）を生成し、任意の適切な技術を用いてインター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成される。幾つかの例では、リファレンス・ピクチャは、符号化ビデオ情報に基づいて復号化された復号化リファレンス・ピクチャである。
【0104】
イントラ・エンコーダ（６２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては、ブロックを、同じピクチャ内で既に符号化されたブロックと比較し、変換後に量子化された係数を生成し、場合によっては、イントラ予測情報（例えば、１つ以上のイントラ符号化技術によるイントラ予測方向情報）も生成するように構成される。一例では、イントラ・エンコーダ（６２２）はまた、同じピクチャ内のリファレンス・ブロック及びイントラ予測情報に基づいて、イントラ予測結果（例えば、予測ブロック）を計算する。
【0105】
ゼネラル・コントローラ（６２１）は、一般的な制御データを決定し、一般的な制御データに基づいてビデオ・エンコーダ（６０３）の他の構成要素を制御するように構成される。一例では、ゼネラル・コントローラ（６２１）は、ブロックのモードを決定し、そのモードに基づいて制御信号をスイッチ（６２６）に提供する。例えば、モードがイントラ・モードである場合、ゼネラル・コントローラ（６２１）は、残差計算器（６２３）により使用するためにイントラ・モードの結果を選択するようにスイッチ（６２６）を制御し、及び、イントラ予測情報を選択してイントラ予測情報をビットストリームに含めるようにエントロピー・エンコーダ（６２５）を制御し；及びモードがインター・モードである場合、ゼネラル・コントローラ（６２１）は、残差計算器（６２３）により使用するためにインター予測結果を選択するようにスイッチ（６２６）を制御し、及びインター予測情報を選択してインター予測情報をビットストリームに含めるようにエントロピー・エンコーダ（６２５）を制御する。
【0106】
残差計算器（６２３）は、イントラ・エンコーダ（６２２）又はインター・エンコーダ（６３０）から選択された予測結果と受信ブロックとの間の差分（残差データ）を計算するように構成される。残差エンコーダ（６２４）は、残差データに基づいて動作し、残差データをエンコードして変換係数を生成するように構成される。一例では、残差エンコーダ（６２４）は、残留データを空間ドメインから周波数ドメインへ変換し、変換係数を生成するように構成される。次いで、変換係数は、量子化された変換係数を得るために量子化処理の作用を受ける。様々な実施形態において、ビデオ・エンコーダ（６０３）はまた、残差デコーダ（６２８）も含む。残差デコーダ（６２８）は、逆変換を実行し、デコードされた残差データを生成するように構成される。デコードされた残差データは、イントラ・エンコーダ（６２２）及びインター・エンコーダ（６３０）によって適切に使用されることが可能である。例えば、インター・エンコーダ（６３０）は、デコードされた残差データ及びインター予測情報に基づいて、デコードされたブロックを生成することが可能であり、及びイントラ・エンコーダ（６２２）は、デコードされた残差データ及びイントラ予測情報に基づいて、デコードされたブロックを生成することが可能である。デコードされたブロックは、デコードされたピクチャを生成するために適切に処理され、デコードされたピクチャは、メモリ回路（図示せず）にバッファリングされ、ある実施例ではリファレンス・ピクチャとして使用されることが可能である。
【0107】
エントロピー・エンコーダ（６２５）は、エンコードされたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピー・エンコーダ（６２５）は、ＨＥＶＣ規格のような適切な規格に従う種々の情報を含むように構成される。一例では、エントロピー・エンコーダ（６２５）は、一般的な制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及び他の適切な情報をビットストリームに含めるように構成される。開示される対象事項によれば、インター・モード又は双方向予測モードの何れかのマージ・サブモードでブロックを符号化する場合に、残差情報は存在しないことに留意されたい。
【0108】
図７は、本開示の別の実施形態によるビデオ・デコーダ（７１０）の図を示す。ビデオ・デコーダ（７１０）は、符号化ビデオ・シーケンスの一部である符号化ピクチャを受信し、符号化ピクチャをデコードして再構成ピクチャを生成するように構成される。一例では、ビデオ・デコーダ（７１０）は、図３の例のビデオ・デコーダ（３１０）の代わりに使用される。
【0109】
図７の例では、ビデオ・デコーダ（７１０）は、エントロピー・デコーダ（７７１）、インター・デコーダ（７８０）、残差デコーダ（７７３）、再構成モジュール（７７４）、及びイントラ・デコーダ（７７２）を図７に示されるように共に結合され形式で含む。
【0110】
エントロピー・デコーダ（７７１）は、符号化ピクチャを構成するシンタックス要素を表す特定のシンボルを、符号化ピクチャから再構成するように構成されることが可能である。このようなシンボルは、例えば、ブロックが符号化されるモード（例えば、イントラ・モード、インター・モード、双方向予測モード、マージ・サブモード又は別のサブモードにおける後者の２つ）、イントラ・デコーダ（７７２）又はインター・デコーダ（７８０）によるそれぞれの予測に使用される特定のサンプル又はメタデータを識別することが可能な予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報（例えば、量子化された変換係数の形態におけるもの）などを含むことが可能である。一例として、予測モードがインター又は双方向予測モードである場合には、インター予測情報はインター・デコーダ（７８０）に提供され；予測タイプがイントラ予測タイプである場合には、イントラ予測情報がイントラ・デコーダ（７７２）に提供される。残差情報は、逆量子化の作用を受けることが可能であり、残留デコーダ（７７３）に提供される。
【0111】
インター・デコーダ（７８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。
【0112】
イントラ・デコーダ（７７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。
【0113】
残差デコーダ（７７３）は、逆量子化を行い、逆量子化変換係数を抽出し、逆量子化変換係数を処理して残差を周波数ドメインから空間ドメインへ変換するように構成される。残差デコーダ（７７３）はまた、特定の制御情報（量子化器パラメータ（ＱＰ）を含む）を必要とする可能性があり、その情報は、エントロピー・デコーダ（７７１）によって提供されることが可能である（これは、低ボリューム制御情報のみであるため、データ経路は図示されていない）。
【0114】
再構成モジュール（７７４）は、空間ドメインにおいて、残差デコーダ（７７３）による出力としての残差と、予測結果（ケースに応じてインター又はイントラ予測モジュールによる出力としての予測結果）とを組み合わせ、再構成されたブロックを形成するように構成されており、これは、再構成されたピクチャの一部であり、再構成されたビデオの一部である可能性がある。非ブロック化動作のような他の適切な動作が、視覚的な品質を改善するために実行されることが可能であることに留意されたい
【0115】
なお、ビデオ・エンコーダ（３０３）、（５０３）、（６０３）、並びにビデオ・デコーダ（３１０）、（４１０）、及び（７１０）は、任意の適切な技術を用いて実現されることが可能であることに留意を要する。実施形態では、ビデオ・エンコーダ（３０３）、（５０３）及び（６０３）、並びにビデオ・デコーダ（３１０）、（４１０）及び（７１０）は、１つ以上の集積回路を用いて実装されることが可能である。別の実施形態では、ビデオ・エンコーダ（３０３）、（５０３）、（５０３）、並びにビデオ・デコーダ（３１０）、（４１０）、及び（７１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを使用して実現されることが可能である。
【0116】
一般に、ビデオ・ピクチャのシーケンス内のピクチャは、複数のＣＵに分割されることが可能である。ある実施形態では、例えばＨＥＶＣ規格におけるように、ＣＵの各々におけるサンプルは、インター予測タイプ、イントラ予測タイプなどの同じ予測タイプを使用して符号化されることが可能である。ある実施形態では、例えばＶＣＣ規格におけるように、各ＣＵにおけるサンプルは、同じ予測情報及び変換情報を有することが可能である。開示の態様によれば、ピクチャのピクチャ境界に位置するＣＵは、更に分割されることなく、ピクチャの内側にある有効領域と、ピクチャの外側にある無効領域とを含む可能性がある。そのようなＣＵは部分的ＣＵ（ａ ｐａｒｔｉａｌ ＣＵ：ＰＣＵ）と呼ばれることが可能であり、その場合において、ＣＵの有効領域が符号化される。様々な実施形態において、無効領域は符号化されない。上述のように、ＣＵは１つ以上の符号化ブロック（ＣＢ）を含むことが可能であり、ここでＣＢはＣＵに関連する単一カラー成分の２Ｄサンプル・アレイを含む。従って、上記の説明はＣＢに適用されることが可能である。
【0117】
明確化の目的により、以下の説明は主にＣＵ及びＰＣＵに方向付けられており、その説明はそれぞれのＣＢ及びＰＣＢに適切に適合させることが可能である。
【0118】
ピクチャは、任意の適切な方法を用いて複数のＣＵに分割されることが可能である。例えば、ＨＥＶＣ規格によれば、ピクチャは複数のＣＴＵに分割されることが可能である。更に、ＣＴＵは、ピクチャの様々なローカルな特性に適応するために符号化ツリーとして示される四分木（ＱＴ）構造を使用することによって、複数のＣＵに分割されることが可能である。インター・ピクチャ予測（時間的予測、又はインター予測タイプとも呼ばれる）、イントラ・ピクチャ予測（空間的予測、又はイントラ予測タイプとも呼ばれる）などを用いて、ピクチャ・エリアを符号化するかどうかの判断は、ＣＵレベルで行われる。各ＣＵは、ＰＵ分割タイプに応じて、１つ、２つ、又は４つのＰＵに更に分割されることが可能である。１つのＰＵの内部では、同じ予測プロセスが適用され、同じ予測情報がＰＵベースでデコーダへ伝送される。ＰＵ分割タイプに基づく予測プロセスを適用することによって、残差データ又は残差情報を取得した後、ＣＵは、ＣＵの符号化ツリーに類似する別の四分木構造に従ってＴＵに分割されることが可能である。一例では、変換は同じ変換情報を有する各ＴＵに適用される。ＨＥＶＣ構造は、ＣＵ、ＰＵ及びＴＵを含む複数の分割単位を有する。ＣＵのサンプルは同じ予測タイプを有することが可能であり、ＰＵのサンプルは同じ予測情報を有することが可能であり、ＴＵのサンプルは同じ変換情報を有することが可能である。ＣＵ又はＴＵは正方形の形状を有するが、ＰＵは矩形の形状を有する可能性があり、これはインター予測ブロックについて、ある実施形態では正方形の形状を含む。ＪＥＭ規格におけるように、ある例では、矩形形状を有するＰＵが、イントラ予測のために使用されることが可能である。
【0119】
ＨＥＶＣ規格によれば、ピクチャ境界に位置するＣＴＵに暗黙のＱＴ分割が適用され、ＣＴＵを複数のＣＵに再帰的に分割し、その結果、各ＣＵがピクチャ境界の内側に位置するようにする。
【0120】
ＨＥＶＣ規格におけるもののような種々の実施形態では、ＣＴＢ、ＣＢ、ＰＢ、及び変換ブロック（ＴＢ）は、例えばそれぞれのＣＴＵ、ＣＵ、ＰＵ、及びＴＵに関連する１つのカラー成分の２Ｄサンプル・アレイを指定するためにそれぞれ使用されることが可能である。従って、ＣＴＵは、１つのルマＣＴＢ及び２つのクロマＣＴＢのような１つ以上のＣＴＢを含むことが可能である。同様に、ＣＵは１つのルマＣＢ及び２つのクロマＣＢのような１つ以上のＣＢを含むことが可能である。
【0121】
上述のブロック分割に加えて、図８は本開示の実施形態に係るブロック分割構造の一例を示す。ブロック分割構造は、ＱＴプラス・バイナリ・ツリー（ＢＴ）を使用し、ＱＴＢＴ構造又はＱＴＢＴ分割と呼ぶことができる。上述のＱＴ構造と比較して、ＱＴＢＴ構造は、ＣＵ、ＰＵ、及びＴＵの分離を除去し、ＣＵ分割形状に対してより豊富な柔軟性をサポートする。ＱＴＢＴ構造では、ＣＴＵは、ＱＴＢＴ構造を使用して複数のＣＵに分割され、ＣＵは、幾つかの実施形態では正方形の形状を含む矩形の形状を有することが可能である。様々な実施形態において、ＣＵは、予測及び変換のためのユニットとして機能し、従って、ＣＵ内のサンプルは、同じ予測タイプを有することが可能であり、同じ予測プロセスを使用して符号化されることが可能であり、同じ予測情報及び同じ変換情報を有することが可能である。
【0122】
図８（左）はＱＴＢＴ分割を用いたブロック分割の例を示し、図８（右）は対応するＱＴＢＴツリー表現（８１５）を示す。実線はＱＴ分割を示し、点線はＢＴ分割を示す。バイナリ・ツリーの各分割（即ち、非リーフ）ノードにおいて、使用される分割タイプ（即ち、対称的な水平分割又は対称的な垂直分割）を示すために、フラグが示される。例えば、“０”は対称的な水平分割を示し、“１”は対称的な垂直分割を示す。四分木分割では、分割タイプは通知も合図もされず、なぜなら四分木分割は、より小さな等しいサイズの４つのノードを生成するために、水平及び垂直の双方向に非リーフ・ノードを分割するからである。
【0123】
図８を参照すると、ＣＴＵ（８１０）は、まず４分木構造によってノード（８０１）～（８０４）に分割（又は区分け）される。ノード（８０１）～（８０２）はそれぞれバイナリ・ツリー構造によって更に分割される。前述のように、ＢＴ分割は、２つの分割タイプ、即ち対称的な水平分割及び対称的な垂直分割を含む。四分木ノード（８０３）は、ＢＴ構造及びＱＴ構造の組み合わせによって更に分割される。ノード（８０４）は、それ以上分割されない。従って、更に分割されない二分木リーフ・ノード（８１１）～（８２０）及び四分木リーフ・ノード（８０４）～（８０６）は、予測及び変換の処理に使用されるＣＵである。従って、ＣＵ、ＰＵ、及びＴＵはＱＴＢＴ構造において同一である。例えば、ＣＵ内のサンプルは、同じ予測タイプ、同じ予測情報、及び同じ変換情報を有する。ＱＴＢＴ分割では、ＣＵは異なるカラー成分のＣＢを含むことが可能であり、例えば、４：２：０のクロマ・フォーマットのＰ及びＢスライスの場合、１つのＣＵは１つのルマＣＢと２つのクロマＣＢとを含む。幾つかの例において、ＣＵは、単一成分のＣＢを含むことが可能であり、例えば１つのＣＵは、Ｉスライスの場合に、１つのルマＣＢ又は２つのクロマＣＢを含む。
【0124】
ＱＴＢＴ分割には以下のパラメータが定義される。ＣＴＵサイズは、四分木のルート・ノード・サイズを示す。例えば、図８の例におけるルート・ノード又はＣＴＵは（８１０）である。ＭｉｎＱＴＳｉｚｅは、最小の許容される四分木リーフ・ノード・サイズを示す。ＭａｘＢＴＳｉｚｅは、最大の許容される二分木ルート・ノード・サイズを示す。例えば、ノード（８０１）は、図８の例における二分木ルート・ノードである。ＭａｘＢＴＤｅｐｔｈは、最大の許容される二分木の深さを示す。ＭｉｎＢＴＳｉｚｅは、最小の許容される二分木リーフ・ノード・サイズを示す。
【0125】
ＱＴＢＴ分割の一例では、ＣＴＵサイズは１２８×１２８ルマ・サンプルとして、２つの対応する６４×６４ブロックのクロマ・サンプルとともに設定され、ＭｉｎＱＴＳｉｚｅは１６×１６に設定され、ＭａｘＢＴＳｉｚｅは６４×６４に設定され、ＭｉｎＢＴＳｉｚｅは（二分木リーフ・ノードの幅及び高さの両方に関して）４×４に設定され、ＭａｘＢＴＤｅｐｔｈは４に設定される。四分木分割は、四分木リーフ・ノードを生成するために最初にＣＴＵに適用される。四分木リーフ・ノードは、１６×１６（即ち、ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（即ち、ＣＴＵサイズ）までのサイズを有することが可能である。４分木リーフ・ノードが１２８×１２８の場合、サイズ１２８×１２８はＭａｘＢＴＳｉｚｅ（即ち６４×６４）を超えるので、その４分木リーフ・ノードは２分木によってはそれ以上分割されない。そうでない場合、四分木リーフ・ノードは、二分木によって更に分割されることが可能である。従って、四分木リーフ・ノードは、二分木のルート・ノードであるとすることが可能であり、二分木ツリー深度として０を有する。二分木の深さがＭａｘＢＴＤｅｐｔｈ（即ち４）に到達すると、それ以上の分割は実行されない。二分木ノードがＭｉｎＢＴＳｉｚｅに等しい幅（即ち４）を有する場合、それ以上の水平分割は実行されない。同様に、二分木ノードがＭｉｎＢＴＳｉｚｅに等しい高さを有する場合、それ以上の垂直分割は実行されない。二分木のリーフ・ノードは、それ以上分割することなく、予測及び変換の処理によって更に処理され又は符号化される。ＪＥＭ規格において、ある例では、最大ＣＴＵサイズが２５６×２５６ルマ・サンプルである。
【0126】
Ｐ及びＢスライスなどの例では、１つのＣＴＵのルマ及びクロマＣＴＢは、同じＱＴＢＴ構造を共有している。一方、ＱＴＢＴ分割は、ルマ及びクロマが別々のＱＴＢＴ構造を有する能力をサポートする。例えば、Ｉスライスのように、ルマＣＴＢはＱＴＢＴ構造によってルマＣＵに分割され、クロマＣＴＢは別のＱＴＢＴ構造によってクロマＣＵに分割される。従って、ＩスライスのＣＵは、ルマ成分のＣＢ、又は２つのクロマ成分のＣＢを含むことが可能であり、Ｐ又はＢスライスのＣＵは、３つ全てのカラー成分のＣＢを含むことが可能である。
【0127】
ある実施例では、ＨＥＶＣ規格におけるように、動き補償のメモリ・アクセスを減らすために、小さなブロックのインター予測は制限され、その結果、４×８及び８×４ブロックに関して双方向予測はサポートされず、４×４に関してインター予測はサポートされない。ある実施態様では、例えばＪＥＭ規格で実行されるＱＴＢＴにおいて、上記の制限は取り除かれる。
【0128】
マルチ・タイプ・ツリー（ＭＴＴ）構造は柔軟なツリー構造であるとすることが可能である。ＭＴＴでは、図９Ａ－９Ｂに示されるように、水平及び垂直のセンター・サイド・トリプル・ツリー（ＴＴ）分割又は区分けが使用されることが可能である。トリプル・ツリー分割はまた、三次ツリー分割と呼ばれることも可能である。図９Ａは、垂直センター・サイド・トリプル・ツリー分割の例を示す。例えば、エリア（９２０）は、３つのサブ・エリア（９２１）～（９２３）に垂直に分割され、サブ・エリア（９２２）はエリア（９２０）の中央に位置する。図９Ｂは、水平センター・サイド・トリプル・ツリー分割の例を示す。例えば、エリア（９３０）は、より小さな３つのサブ・エリア（９３１）～（９３３）に水平に分割され、サブ・エリア（９３２）はエリア（９３０）の中央に位置する。様々な例において、エリア（９２０）及び（９３０）はＣＴＵ又はＣＵである可能性があり、ノード（８０１）のように更に分割されることが可能なノードである。サブ・エリア（９２１）～（９２３）及び（９３１）～（９３３）のうちの１つ以上は、更に分割されないＣＵ、又は以後に分割され得るノードであるとすることが可能である。
【0129】
ＴＴ分割はＱＴ分割及びＢＴ分割を補完する。ＴＴ分割は、分割されるエリアの中央領域に位置するオブジェクトを捕らえることが可能である一方、四分木及び二分木分割は中央領域で分割される。様々な実施形態において、ＴＴ分割の幅及び高さは２の冪乗であり、従って２のべき乗以外の追加的な変換は必要とされない。
【0130】
２レベル・ツリーの設計は、複雑性の低減によって動機づけられる。幾つかの実施態様において、ツリーの横断の複雑さはＴＤであり、ここで、Ｔは分割タイプの数を示し、Ｄは分割ツリーの深さを示す。
【0131】
ある実施形態では、シフトを伴う二分木（ａ ｂｉｎａｒｙ ｔｒｅｅ ｗｉｔｈ ｓｈｉｆｔｉｎｇ：ＢＴＳ）分割又は区分けなどの一般化された二分木分割が使用されることが可能である。一例では、エリアは水平又は垂直に２つの矩形サブ・エリアに分割され、ＢＴＳ分割に起因する（ルマ・サンプルにおける）ＣＵの幅及び高さは両方とも４の整数倍である。パラメータ次元が、分割されるべきエリアの幅（垂直分割の場合）又は高さ（水平分割の場合）をルマ・サンプルで表す場合、図１０Ａ－１０Ｂに示される以下の分割が、水平及び垂直分割の双方について実行されることが可能である。
【0132】
図１０Ａの行（１０００）は、１／２分割（１００１）～（１００２）の例を示す。１／２分割（１００１）は、ＢＴ分割の対称的な水平分割と同様に、エリア（１００３）が、エリア（１００３）の中央で水平に分割されることを示す。１／２分割（１００２）は、上記の対称的な垂直分割と同様に、エリア（１００４）が、エリア（１００４）の中央で垂直に分割されることを示す。１／２分割は、ｋ・８及びｋ以上の寸法が任意の適切な正の整数である場合に実行されることが可能である。
【0133】
図１０Ａの行（１０１０）は、１／４及び３／４分割（１０１１）～（１０１４）の例を示す。１／４分割（１０１１）は、エリア（１０１５）がエリア（１０１５）の幅の１／４の位置に沿って垂直に分割されることを示す。３／４分割（１０１２）は、エリア（１０１６）がエリア（１０１６）の幅の３／４の位置に沿って垂直に分割されることを示す。１／４分割（１０１３）は、エリア（１０１７）が、エリア（１０１７）の高さの１／４の位置に沿って水平に分割されることを示す。３／４分割（１０１４）は、エリア（１０１８）が、エリア（１０１８）の高さの３／４の位置に沿って水平に分割されることを示す。１／４及び３／４分割は、次元が２の整数乗であり（即ち、次元＝２ｎ、ここでｎは任意の適切な正の整数）、且つ次元が１６以上である場合に実現されることが可能である。
【0134】
図１０Ａの行（１０２０）は、３／８及び５／８分割（１０２１）～（１０２４）の例を示す。３／８分割（１０２１）は、エリア（１０２５）が、エリア（１０２５）の幅の３／８の位置に沿って垂直に分割されることを示す。５／８分割（１０２２）は、エリア（１０２６）が、エリア（１０２６）の幅の５／８の位置に沿って垂直に分割されることを示す。３／８分割（１０２３）は、エリア（１０２７）が、エリア（１０２７）の高さの３／８の位置に沿って水平に分割されることを示す。５／８分割（１０２４）は、エリア（１０２８）が、エリア（１０２８）の高さの５／８の位置に沿って水平に分割されることを示す。３／８及び５／８分割は、次元が２の整数乗であり（即ち、次元＝２ｎ、ここでｎは任意の適切な正の整数）、且つ次元が３２以上である場合に実現されることが可能である。
【0135】
図１０Ｂの行（１０３０）は、１／３及び２／３分割（１０３１）～（１０３４）の例を示す。１／３分割（１０３１）は、エリア（１０３５）が、エリア（１０３５）の幅の１／３の位置に沿って垂直に分割されることを示す。２／３分割（１０３２）は、エリア（１０３６）が、エリア（１０３６）の幅の２／３の位置に沿って垂直に分割されることを示す。１／３分割（１０３３）は、エリア（１０３７）が、エリア（１０３７）の高さの１／３の位置に沿って水平に分割されることを示す。２／３分割（１０３４）は、エリア（１０３８）が、エリア（１０３８）の高さの２／３の位置に沿って水平に分割されることを示す。１／３及び２／３分割は、次元が３の倍数でもあり（即ち、次元＝３×２ｎ、ここでｎは任意の適切な正の整数である）、且つ次元が１２以上である場合に実現されることが可能である。
【0136】
図１０の行（１０４０）及び（１０５０）はそれぞれ１／５分割、２／５分割、３／５分割、及び４／５分割の例（１０４１）～（１０４４）及び（１０５１）～（１０５４）を示す。１／５分割（１０４１）は、エリア（１０４５）が、エリア（１０４５）の幅の１／５の位置に沿って垂直に分割されることを示す。２／５分割（１０４２）は、エリア（１０４６）が、エリア（１０４６）の幅の２／５の位置に沿って垂直に分割されることを示す。３／５分割（１０４３）は、エリア（１０４７）が、エリア（１０４７）の幅の３／５の位置に沿って垂直に分割されることを示す。４／５分割（１０４４）は、エリア（１０４８）が、エリア（１０４８）の幅の４／５の位置に沿って垂直に分割されることを示す。
【0137】
１／５分割（１０５１）は、エリア（１０５５）が、エリア（１０５５）の高さの１／５の位置に沿って水平に分割されることを示す。２／５分割（１０５２）は、エリア（１０５６）が、エリア（１０５６）の高さの２／５の位置に沿って水平に分割されることを示す。３／５分割（１０５３）は、エリア（１０５７）が、エリア（１０５７）の高さの３／５の位置に沿って水平に分割されることを示す。４／５分割（１０５４）は、エリア（１０５８）が、エリア（１０５８）の高さの４／５の位置に沿って水平に分割されることを示す。１／５分割、２／５分割、３／５分割、及び４／５分割は、次元が５の倍数でもあり（即ち、次元＝５ｘ２ｎ、ここでｎは任意の適切な正の整数）、且つ次元が２０以上である場合に実現されることが可能である。
【0138】
図１０Ａ－１０Ｂを参照して上述したように、ＢＴＳ分割は、分割比ｎ／ｍを用いて指定することが可能であり、ここで、ｎ／ｍは、１／２、１／４、３／４、３／８、５／８、１／３、２／３、１／５、２／５、３／５、４／５などとすることが可能である。
ｎ／ｍ水平分割では、第１高さｍを有するエリアが２つのサブ・エリア、第２高さｎを有するトップのサブ・エリアとボトムのサブ・エリアとに分割され、従って第１高さｍに対する第２高さｎの分割比はｎ／ｍとなる。同様に、ｎ／ｍ垂直分割では、第１幅ｍを有するエリアが２つのサブ・エリア、第２幅ｎを有する左サブ・エリアと右サブ・エリアとに分割される。第１幅ｍに対する第２幅ｎの分割比はｎ／ｍとなる。ある例では、分割される側のサイズ（垂直分割における幅、又は水平分割における高さ）が２ｎに等しくない場合（ｎは適切な正の整数である）、そのサイズは、３ｘ２ｎ及び５ｘ２ｎのうちの１つであるとすることが可能である（ｎは適切な正の整数である）。
ｎ／ｍ水平分割では、第１高さｍを有するエリアが２つのサブ・エリア、第２高さｎを有するトップのサブ・エリアとボトムのサブ・エリアとに分割され、従って第１高さｍに対する第２高さｎの分割比はｎ／ｍとなる。同様に、ｎ／ｍ垂直分割では、第１幅ｍを有するエリアが２つのサブ・エリア、第２幅ｎを有する左サブ・エリアと右サブ・エリアとに分割される。第１幅ｍに対する第２幅ｎの分割比はｎ／ｍとなる。ある例では、分割される側のサイズ（垂直分割における幅、又は水平分割における高さ）が２ｎに等しくない場合（ｎは適切な正の整数である）、そのサイズは、３ｘ２ｎ及び５ｘ２ｎのうちの１つであるとすることが可能である（ｎは適切な正の整数である）。
【0139】
上述のように、ＢＴＳ分割は、図１０Ａの１／４垂直分割（１０１１）のように、分割方向及び分割比によって指定されることが可能である。現在のＢＴＳの分割方向は、水平分割又は垂直分割として合図される代わりに、以前のＢＴＳに関して符号化されることが可能である。従って、分割方向は、垂直分割又は平行分割として通知されることが可能である。垂直分割は、現在のＢＴＳの分割方向が以前のバイナリ分割の分割方向に垂直であることを示す。同様に、平行分割は、現在のＢＴＳの分割方向が以前の分割の分割方向に平行であることを示す。従って、垂直分割又は平行分割は、以前の分割の分割方向に基づいて、水平分割又は垂直分割に変換されることが可能である。ＣＴＵやバイナリ・ルート・ノードのようなルート・レベルでは、以前の分割は通知されず、従って第１の垂直分割は水平分割であり、第１の平行分割は垂直分割である。ｐｅｒｐｅｎｄ＿ｓｐｌｉｔ＿ｆｌａｇのようなバイナリ・フラグは、２つの分割方向（垂直分割及び平行分割）を区別するために使用されることが可能である。分割比率はＢＴＳの位置を示す（図１０Ａ～１０Ｂ参照）。分割比率は、二分決定木を用いて符号化されることが可能である。分割方向及び分割比率の双方が、コンテキスト・ベースの（状況依存性の）適応バイナリ演算符号化（ＣＡＢＡＣ）を用いて符号化されることが可能である。一例では、二分木の深さのカウントは、垂直１／２分割ではない最初の分割から始まる。
【0140】
更に、非対称二分木（ＡＢＴ）ブロック分割構造が使用されることが可能である。図１１を参照すると、エリアは、１：３又は３：１のパーティションを使用して分割されることが可能である。例えば、１：３水平分割（１１５１）は、エリア（１１６１）が、エリア（１１６１）の高さの１／４の位置に沿って水平に、トップ・サブ・エリア（１１７１）とボトム・サブ・エリア（１１７２）とに分割されることを示す。１：３水平分割では、比率１：３は、ボトム・サブ・エリア（１１７２）の高さに対するトップ・サブ・エリア（１１７１）の高さの比である。同様に、３：１水平分割（１１５２）は、エリア（１１６２）が、エリア（１１６２）の高さの３／４の位置に沿って水平に分割されることを示す。１：３垂直分割（１１５３）は、エリア（１１６３）が、エリア（１１６３）の幅の１／４の位置に沿って垂直に分割されることを示す。３：１垂直分割（１１５４）は、エリア（１１６４）が、エリア（１１６４）の幅の３／４の位置に沿って垂直に分割されることを示す。
【0141】
ＢＴＳ又はＡＢＴを用いてエリアが２つのサブ・エリアに分割される場合、２つのサブ・エリアのうちの一方の幅又は高さは２の冪乗ではない可能性がある。
【0142】
ピクチャは複数のＣＴＵに分割されることが可能である。ピクチャ境界において、ＣＴＵがピクチャの内側及び外側両方のエリアを含む場合、ＣＴＵは、各ＣＵがピクチャの内側に位置するように、複数のＣＵに分割されることが可能である。ＨＥＶＣ規格におけるもののような幾つかの例では、ＣＴＵは、暗黙のＱＴ分割を使用して再帰的に分割され、従って分割フラグはシグナリングされない。あるいは、様々な非ＱＴ分割がＱＴ分割と適切に組み合わせられ、ＣＴＵを、ピクチャ内に位置するＣＵに分割することが可能である。非ＱＴ分割とは、ＱＴ分割以外の分割構造を指し、ＢＴ分割、ＴＴ分割、ＢＴＳ分割、ＡＢＴ分割等を含む。これにより、ＱＴ分割は、ＢＴ分割と組み合わせられることが可能であり、ＱＴ分割は、ＢＴ分割及びＴＴ分割と組み合わせられることが可能であり、ＱＴ分割は、ＢＴ分割及びＡＢＴ分割と組み合わせられることが可能であり、ＱＴ分割は、ＢＴＳ分割及びＴＴ分割と組み合わせられることが可能である、等々。各分割レベルにおいて、ＱＴ分割及び非ＱＴ分割の双方がピクチャ境界で利用可能である場合、１つ以上のフラグが分割タイプ等を示すためにシグナリングされることが可能である。上述の実施例では、ピクチャの内外両方のエリアを含むＣＴＵは、複数のＣＵとして処理され又は符号化され、従ってＣＴＵは単一の符号化ユニットとしては符号化されない。
【0143】
図１２Ａは、ピクチャ外側のエリアを含む本開示の実施形態によるＣＴＵの例を示す。ピクチャ（１２００Ａ）は、複数のＣＴＵ（１２１１Ａ）～（１２１５Ａ）、（１２２１Ａ）～（１２２５Ａ）、（１２３１Ａ）～（１２３５Ａ）及び（１２４１Ａ）～（１２４５Ａ）に分割される。ＣＴＵ（１２１１Ａ）～（１２１４Ａ）、（１２２１Ａ）～（１２２４Ａ）、及び（１２３１Ａ）～（１２３４Ａ）は、ピクチャ（１２００Ａ）の内側に位置する。ＣＴＵ（１２１５Ａ）、（１２２５Ａ）、（１２３５Ａ）、及び（１２４１Ａ）～（１２４５Ａ）の各々は、各自のピクチャ境界（１２０２）及び／又は（１２０４）に配置され、ピクチャ（１２００Ａ）の内側にある有効領域とピクチャ（１２００Ａ）の外側にある無効領域とを含む。例えば、図１２Ａ及び１２Ｂを参照すると、ＣＴＵ（１２１５Ａ）は、ピクチャ（１２００Ａ）の内側にある有効領域（１２１５Ｂ）と、ピクチャ（１２００Ａ）の外側にある無効領域（１２１５Ｃ）とを含む。同様に、ＣＴＵ（１２４１Ａ）は、有効領域（１２４１Ｂ）と無効領域（１２４１Ｃ）とを含む。一例では、ピクチャ（１２００Ａ）は、ソース・コーダ５３０などのエンコーダ５０３を使用して複数のＣＴＵに分割されることが可能である。一例では、パーティション・コントローラが、分割プロセスを実行するために使用されることが可能であり、パーティション・コントローラからの出力は、ソース・コーダ５３０に送られる。
【0144】
一般に、ＣＴＵが有効領域及び無効領域を含んでいるか否かは、ＣＴＵ（１２２５Ａ）などのＣＴＵとピクチャとの間の相対的な位置に基づいて決定されることが可能である。更に、ＣＴＵ（１２２５Ａ）とピクチャとの間の相対位置は、左上のサンプル（１２８１）の位置などのようなピクチャの位置、ピクチャのサイズ（ピクチャ幅（１２８４）及びピクチャ高さ（１２８５）など）、ＣＴＵ（１２２５Ａ）の位置（例えば左上のサンプル（１２８２）の位置により表現される）、及びＣＴＵ（１２２５Ａ）のサイズ（ＣＴＵ（１２２５Ａ）が正方形である場合には幅（１２８３）など）に基づいて取得されることが可能である。従って、ＣＴＵ（１２２５Ａ）内の有効領域は、ＣＴＵ（１２２５Ａ）とピクチャとの間の相対位置に基づいて識別されることが可能である。
【0145】
本開示の実施形態によれば、ピクチャ内の有効領域とピクチャ外の無効領域とを含むＣＴＵは、更に分割されることなく処理又は符号化されることが可能である。このような符号化ユニットは、無効領域を含み、ＰＣＵと称することが可能である。上述のように、ＰＣＵは、有効領域と無効領域とを含む符号化単位であり、それ以上分割されない。様々な実施形態において、ＰＣＵ内の有効領域は符号化され、例えば、有効領域は予測され、変換される。従って、ＰＣＵの有効領域内のサンプルは、同じ予測タイプを有することが可能である。更に、有効領域内のサンプルは、同じ予測プロセスを用いて予測されることが可能であり、同じ予測情報及び同じ変換情報を有することが可能である。図１２Ｂを参照すると、ＣＴＵ （１２１５Ａ）は、それ以上分割されず、ＰＣＵである。有効領域（１２１５Ｂ）は符号化されることが可能である。ある例では、無効領域（１２１５Ｃ）は処理されない。ＣＴＵ（１２１５Ａ）がＰＣＵであることを示すために、非分割フラグのようなビン（Ａ ｂｉｎ）が合図されることが可能である。非分割フラグは、更に、有効領域（１２１５Ｂ）が符号化され、無効領域（１２１５Ｃ）が符号化されないことを意味することができる。
【0146】
一方、ピクチャ内の有効領域とピクチャ外の無効領域とを含むＣＴＵは、複数のＣＵに分割されることが可能である。複数のＣＵのうちのＣＵが、ピクチャ内の有効領域とピクチャ外の無効領域とを含む場合、本開示の実施形態によれば、ＣＵは更に分割されることなく処理されることが可能である。そのようなＣＵはＰＣＵとして機能する。図１２Ｃを参照すると、ＣＴＵ（１２２５Ａ）は有効領域と無効領域とを含む。ＣＴＵ（１２２５Ａ）は、例えば、１／４水平分割（即ち、ＢＴＳ分割）を用いて、第１ＣＵ（１２６０）及び第２ＣＵ（１２７０）に更に分割される。第１ＣＵ（１２６０）は有効領域（１２６１）と無効領域（１２６２）とを含み、第２ＣＵ（１２７０）は有効領域（１２７１）と無効領域（１２７２）とを含む。開示の態様によれば、第１ＣＵ （１２６０）はそれ以上分割されることなく処理され、第２ＣＵ（１２７０）はそれ以上分割されることなく処理される。更に、有効領域（１２６１）及び有効領域（１２７１）は処理され、無効領域（１２６２）及び無効領域（１２７２）は処理されない。第１ＣＵ（１２６０）及び第２ＣＵ（１２７０）はそれぞれＰＣＵである。一例では、第１ＣＵ（１２６０）がＰＣＵであることを示すために、非分割フラグのようなビンが合図されることが可能である。一例では、非分割フラグは、有効領域（１２６１）が処理され、無効領域（１２６２）は処理されないことも意味する。一実施形態では、ピクチャ（１２００Ａ）内のＣＵに対する最小サイズ制約がある。例えば、最小サイズ制約は、ピクチャ境界（１２０２）又は（１２０４）のようなピクチャ境界で実現され、従って、第１ＣＵ（１２６０）のサイズが最小サイズに達すると、第１ＣＵ （１２６０）のようなＣＵは、更に分割されることはできない。第１ＣＵ （１２６０）の一部分（即ち、無効領域（１２６２））は、ピクチャ（１２００Ａ）の外側にあるので、第１ＣＵ（１２６０）は、ＰＣＵであることが暗に示され、従って、非分割フラグのようなビンは、シグナリングされる必要はない。別の例では、最小サイズ制約が無視される場合、ピクチャ境界でＰＣＵは許可されない。
【0147】
一般に、ピクチャは、任意の適切な形状及びサイズを有するＣＴＵに分割されることが可能である。ＣＴＵの形状及びサイズは、同一であってもよいし、異なっていてもよい。図１２Ａは、各ＣＴＵが、正方形の形状及び同じサイズを有する例を示す。図１２Ｄは、ピクチャ（１２００Ｂ）が、正方形及び長方形の形状をそれぞれが有する複数のＣＴＵ（１２１１Ｂ）～（１２１５Ｂ）、（１２２１Ｂ～１２２５Ｂ）、（１２３１Ｂ）～（１２３５Ｂ）及び（１２４１Ｂ）～（１２４５Ｂ）に分割されている別の例を示す。例えば、ＣＴＵ（１２１５Ｂ）は正方形、ＣＴＵ（１２２５Ｂ）は長方形である。上述のように、ＣＴＵ（１２２５Ｂ）は、ＰＣＵであるとすることが可能である。あるいは、ＣＴＵ（１２２５Ｂ）は、より小さなＣＵに分割されることが可能であり、ＣＵのうちの１つがＰＣＵであるすることが可能である。
【0148】
図１３は、本開示の実施形態によるＰＣＵ（１３００）の一例を示す。ピクチャに関連するＰＣＵ（１３００）は、ピクチャ内にある有効領域（１３１０）と、ピクチャ外にある無効領域（１３２０）とを含む。有効領域（１３１０）と無効領域（１３２０）とは、ピクチャ境界（１３０１）によって分離される。ＰＣＵ（１３００）は更には分割されない。有効領域（１３１０）は、単一の予測タイプで符号化されることが可能である。更に、有効領域（１３１０）は、同じ予測情報を有する同じ予測プロセスで符号化されることが可能である。有効領域（１３１０）もまた、同じ変換情報を有することが可能である。有効領域（１３１０）は、高さ（１３０２）及び幅（１３０３）を有する。
【0149】
開示の態様によれば、高さ（１３０２）及び幅（１３０３）のうちの１つが２の冪乗でない場合、例えば幅（１３０３）が１２である場合、又は高さ（１３０２）が６である場合、有効領域（１３１０）を予測するためにスキップ・モードが使用される。有効領域（１３１０）の予測とサンプルとの間の残差データはゼロと見なされ、送信されず、２の冪乗でない変換はディセーブルにされる。本開示の態様によれば、ＰＣＵ（１３００）の幅（１３０３）及び高さ（１３０２）のうちの１つが２の冪乗でない場合、スキップ・フラグが暗に示され、したがってシグナリングされない。あるいは、幅（１３０２）及び高さ（１３０３）のうちの１つが２の冪乗でない場合、有効領域（１３１０）を予測するために、インター予測モード、イントラ予測モードなどの任意の適切な予測モードが使用されることが可能である。更に、有効領域（１３１０）の残差データはゼロと見なされ、送信されず、２の冪乗でない変換はディセーブルにされる。更に、予測モードを示すためにフラグが合図されることが可能である。
【0150】
一般に、ＰＣＵの有効領域は、以下に説明されるようにＱＴ分割及びＢＴ分割のうちの１つによるＰＣＵの単独分割では得られない。ある条件下で、有効領域と無効領域を含むエリアの単独分割が、有効領域と同一のＣＵとなる場合、図１４に示すように、その領域は分割され、ＰＣＵは使用されない。エリア（１４０１）は、ピクチャ内にある有効領域（１４１０）と、ピクチャ外にある無効領域（１４２０）とを含む。有効領域（１４１０）と無効領域（１４２０）とは、ピクチャ境界（１４０３）によって分離される。図１４の例では、ＢＴ分割のような単一のパーティション又はスプリットは、エリア（１４０１）を、第１ＣＵ及び第２ＣＵに分割することができ、ここで、第１ＣＵは有効領域（１４１０）である。従って、第１ＣＵ又は有効領域（１４１０）は、単一のＣＵとして処理されることが可能である。従って、ＰＣＵはディセーブルにされ、エリア（１４０１）はＰＣＵではない。更に、非分割フラグはシグナリングされない。ＱＴ分割又はＢＴ分割がエリア１４０１を分割するために使用されることが可能である。
【0151】
ある実施形態では、ＰＣＵのサイズ及び／又は形状は一定の要件を満たす。例えば、ＰＣＵは、２の冪乗である幅及び高さを有する複数の矩形サブ・エリアに分割可能であり、矩形サブ・エリアを得るための分割数は、所定の閾値未満である。図１５Ａは本開示の実施形態によるＰＣＵの一例を示す。この例において、所定の閾値は３である。エリア（１５０１）は、ピクチャのピクチャ境界（１５０２）に位置している。エリア（１５０１）は、ピクチャ内の有効領域（１５１０）と、ピクチャ外の無効領域（１５１２）とを含む。有効領域（１５１０）及び無効領域（１５１２）は、ピクチャ境界（１５０２）によって分離される。更に、エリア（１５０１）は、１２である幅（１５２５）と、１６である高さ（１５２１）とを有する。従って、エリア（１５０１）は、１分割で２つのサブ領域に分割可能であり、例えば１６（高さ）×４（幅）のサイズを有する第１サブ・エリア（１５２２）、及び１６×８のサイズを有する第２サブ・エリア（１５２３）である。第１サブ・エリア（１５２２）の幅及び高さの両方は２の冪乗であり、第２サブ・エリア（１５２３）の幅及び高さの両方は２の冪乗である。従って、エリア（１５０１）は更に分割されることなくＰＣＵであるとすることが可能である。
【0152】
一般に、所定の閾値は、２、３、４等のような任意の適切な正の整数であるとすることが可能である。更に、エリア（１５０１）は、図１５Ｂに示されるように、別様に分割されることが可能である。エリア１５０１は、１６×８のサイズを有する第３サブ・エリア（１５３２）と、１６×４のサイズを有する第４サブ・エリア（１５３３）とに分割可能である。第３サブ・エリア（１５３２）の幅及び高さの両方は２の冪乗であり、第４サブ・エリア（１５３３）の幅及び高さの両方は２の冪乗である。従って、エリア（１５０１）は更に分割されることなくＰＣＵであるとすることが可能である。
【0153】
図１５Ｃは、上記の要件を満たさず、従ってＰＣＵではないエリアの例を示す。２８×３２のエリア（１５４１）は、ピクチャのピクチャ境界（１５４２）に位置する。エリア（１５４１）は、ピクチャ内の有効領域（１５４３）と、ピクチャ外の無効領域（１５４４）とを含み、それらはピクチャ境界（１５４２）によって分離される。更に、エリア（１５４１）は、２８である幅（１５５５）と、３２である高さ（１５５１）とを有する。従って、エリア（１５４１）は、２つのサブ・エリアのそれぞれが２の冪乗の幅及び高さを有する２つのサブ・エリアに分割することはできない。従って、所定の閾値が２である場合、エリア（１５４１）はＰＣＵではなく、より小さなＣＵに更に分割される。従って、ＰＣＵはエリア（１５４１）に対してディセーブルにされ、従って、非分割フラグはシグナリングされない。
【0154】
図１６～１７は、本開示の実施形態によるプロセス１６００及び１７００をそれぞれ概略するフロー・チャートを示す。プロセス１６００は、部分符号化ブロックを含むブロックの再構成に使用されることが可能である。プロセス１７００は、部分的な符号化ブロックを有する符号化ブロックにピクチャを分割し、部分的な符号化ブロックをエンコードするために使用されることが可能である。様々な実施形態では、プロセス（１６００）及び（１７００）は、端末デバイス（２１０）、（２２０）、（２３０）及び（２４０）における処理回路のような適切な処理回路によって実行され、処理回路はビデオ・エンコーダ（３０３）の機能を実行し、処理回路はビデオ・デコーダ（３１０）の機能を実行し、処理回路はビデオ・デコーダ（４１０）の機能を実行し、処理回路はイントラ予測モジュール（４５２）の機能を実行し、処理回路はビデオ・エンコーダ（５０３）の機能を実行し、処理回路は予測器（５３５）の機能を実行し、処理回路はイントラ・エンコーダ（６２２）の機能を実行し、処理回路はデコーダ（７１０）の機能を実行し、処理回路はイントラ・デコーダ（７７２）の機能を実行し、処理回路はインター・デコーダ（７８０）の機能を実行し、処理回路はイントラ・デコーダ（７７２）の機能を実行し、処理回路は再構成（７７４）の機能などを実行する。ある実施形態では、プロセス（１６００）及び／又は（１７００）は、ソフトウェア命令で実装されることが可能であり、処理回路がソフトウェア命令を実行する場合、処理回路はプロセス（１６００）及び／又は（１７００）を実行する。
【0155】
図１６は一実施形態による復号化処理を示す。プロセス（１６００）は、（Ｓ１６０１）から始まり、（Ｓ１６１０）に進む。（Ｓ１６１０）において、符号化ビデオ・ビットストリーム内のピクチャに関連付けられたブロックのエンコーディング情報が受信される。一例では、エンコーディング情報は、非分割フラグ、ＱＴフラグ、非ＱＴフラグ、ＢＴフラグなどの、符号化ビットストリームでシグナリングされる分割情報を含むことが可能である。ブロックは、ルマ符号化ブロック、クロマ符号化ブロック等であるとすることが可能である。ブロックは、任意の適切な形状、サイズ等を有することが可能である。ブロックは矩形の形状を有することが可能である。ある例ではブロックは正方形の形状を有する。
【0156】
（Ｓ１６２０）において、ブロックがピクチャ内の有効領域とピクチャ外の無効領域とを含んでいるか否かは、エンコーディング情報に基づいて決定される。一例において、エンコーディング情報が分割情報（例えば、非分割フラグ）を含む場合、ブロックは、有効領域と無効領域とを含むと判断され、それは部分的符号化ブロックである。エンコーディング情報がＱＴ分割フラグを含む場合、ブロックは有効領域を含み、無効領域を含まないと判断される。
【0157】
実施形態では、ブロックのサイズ、形状、位置、ピクチャに対する相対位置などの特徴は、エンコーディング情報に基づいて取得されることが可能である。例えば、ピクチャに対するブロックの相対位置は、そのブロックが無効領域を含むことを暗黙に示す。ブロックが有効領域と無効領域とを含むと判断された場合、プロセス（１６００）は（Ｓ１６４０）に進む。そうでなければ、プロセス（１６００）は（Ｓ１６３０）に進む。
【0158】
（１６３０）において、ブロック中のサンプルは、例えば適切なビデオ符号化技術及び／又はビデオ符号化規格（ＨＥＶＣ規格、ＶＶＣ規格等）に基づいて再構成される。プロセスは（Ｓ１６９９）に進み、終了する。
【0159】
（Ｓ１６４０）において、ピクチャ内のブロックの有効領域内の少なくとも１つのサンプルが再構成される。様々な実施形態において、有効領域内のサンプルのみが再構成され、サンプルは少なくとも１つのサンプルを含む。実施形態では、有効領域内の少なくとも１つのサンプルは、インター予測タイプ、イントラ予測タイプなどのような同じ予測タイプを利用して再構成される。更に、有効領域内の少なくとも１つのサンプルは、同じ予測情報及び同じ変換情報を利用して再構成されることが可能である。
【0160】
実施形態では、有効領域内の少なくとも１つのサンプルに対する少なくとも１つの予測は、同一の予測情報を利用して生成される。少なくとも１つの予測と少なくとも１つのサンプルの少なくとも１つの値との間の差分を示す少なくとも１つの残差データは、同じ変換情報を利用して取得される。その後、少なくとも１つのサンプルは、少なくとも１つの予測と少なくとも１つの残差データとに基づいて再構成される。ある条件下で、有効領域が幅と高さとを有する矩形形状を有し、幅と高さのうちの１つが２の冪乗でない場合、少なくとも１つのサンプルは、残差データによらず、少なくとも１つの予測に基づいて再構成される。幅及び高さのうちの一方が２の冪乗でない場合、少なくとも１つのサンプルは、スキップ・モード、イントラ予測モード、インター予測モード等を利用して再構成されることが可能である。プロセスはＳ１６９９に進み、終了する。
【0161】
図１７は、一実施形態による符号化処理を示す。プロセス１７００は、（Ｓ１７０１）から始まり、（Ｓ１７１０）に進む。（Ｓ１７１０）において、エンコードされるべきピクチャは、複数のブロックに分割される。ブロックは、ルマ符号化ブロック、クロマ符号化ブロック等とすることが可能である。ピクチャは、ＱＴ分割、ＱＴＢＴ分割、ＢＴ分割、ＴＴ分割、ＢＴＳ分割、ＡＢＴ分割、及びそれらの組み合わせのような上述した任意の適切な分割構造を利用して、複数のブロックに分割されることが可能である。実施形態では、図面は、図１２Ａ及び図１２Ｄで説明されたようなＣＴＢに分割され、１つ以上のＣＴＢは、図８～１２Ｄを参照して上述したように、１つ以上の分割構造を使用して、ＣＢに更に分割される。ＣＴＢは、図１２Ａ及び１２Ｄに記載されているように、矩形形状などの任意の適切な形状及びサイズを有することが可能である。幾つかの例において、ＣＴＢは正方形の形状を有することが可能である。一例では、（Ｓ１７１０）はソースコーダ（５３０）のようなエンコーダ（５０３）を利用して実現されることが可能である。一例では、パーティション・コントローラが（Ｓ１７１０）を実現するために使用されることが可能であり、複数のブロックがソースコーダ（５３０）に送信される。
【0162】
（Ｓ１７２０）において、複数のブロックのうちのブロックがピクチャの外側にある無効領域を含むか否かが、例えば図１２Ａを参照して説明したようなピクチャに対するブロックの相対位置に基づいて判定される。
【0163】
ブロックが、ピクチャの外側にある無効領域を含むと判定された場合、プロセス（１７００）は（Ｓ１７４０）に進む。そうでなければ、プロセス（１７００）は（Ｓ１７３０）に進む。
【0164】
（Ｓ１７３０）において、ブロック中のサンプルは、例えば適切なビデオ符号化技術及び／又はビデオ符号化規格（ＨＥＶＣ規格、ＶＶＣ規格等）に基づいてエンコードされる。プロセスは（Ｓ１７９９）に進み、終了する。
【0165】
（Ｓ１７４０）において、ピクチャ内のブロックの有効領域内の少なくとも１つのサンプルがエンコードされる。様々な実施形態において、ブロックの有効領域内のサンプルのみがエンコードされ、サンプルは少なくとも１つのサンプルを含む。有効領域内の少なくとも１つのサンプルは、インター予測タイプ、イントラ予測タイプなどの同じ予測タイプによって予測されることが可能である。更に、有効領域内の少なくとも１つのサンプルは、同じ予測情報及び同じ変換情報を有することが可能である。一例では、非分割フラグのようなフラグの形式で分割情報がシグナリングされ、ブロックはそれ以上分割されていないことを示し、それは部分的符号化ブロックとしてエンコードされる。一例では、非分割フラグ、又は他の形態の分割情報は、シグナリングされない。その代わりに、ピクチャとブロックの相対的な位置が、そのブロックは部分的符号化ブロックであることを示すことが可能である。実施形態では、有効領域内の少なくとも１つのサンプルについての少なくとも１つの予測は、同じ予測情報を利用して生成される。少なくとも１つのサンプルについての少なくとも１つの残差データは、同じ変換情報を利用して取得され、この場合において、少なくとも１つの残差データは、少なくとも１つのサンプルの少なくとも１つの値と少なくとも１つの予測との間の差を示す。続いて、少なくとも１つのサンプルに関連する少なくとも１つの残差データと少なくとも１つの予測とがエンコードされる。一例では、有効領域は幅と高さを有する矩形形状を有し、幅と高さのうちの一方は２の冪乗ではなく、従って残差データはゼロとみなされ、送信されない。幅及び高さのうちの一方が２の冪乗でない場合、少なくとも１つのサンプルは、スキップ・モード、イントラ予測モード、インター予測モード等を用いてエンコードされることが可能である。このプロセスは（Ｓ１７９９）に進み、終了する。
【0166】
上述の技術は、コンピュータ読み取り可能な命令を用いてコンピュータ・ソフトウェアとして実装され、１つ以上のコンピュータ読み取り可能な媒体に物理的に記憶されることが可能である。例えば、図１８は、開示される対象事項の所定の実施形態を実施するのに適したコンピュータ・システム（１８００）を示す。
【0167】
コンピュータ・ソフトウェアは、アセンブリ、コンパイル、リンク、又は類似のメカニズムの対象となり得る任意の適切なマシン・コード又はコンピュータ言語を使用して符号化されることが可能であり、１つ以上のコンピュータ中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）などによって、直接的に又は解釈、マイクロコードの実行を介して実行されることが可能な命令を含むコードを作成することができる。
【0168】
命令は、例えばパーソナル・コンピュータ、タブレット・コンピュータ、サーバー、スマートフォン、ゲーム装置、ＩｏＴデバイス等を含む、種々のタイプのコンピュータ又はその構成要素において実行されることが可能である。
【0169】
コンピュータ・システム（１８００）に関して図１８に示される構成要素は、その性質上例示的なものであり、本開示の実施形態を実現するコンピュータ・ソフトウェアの用途又は機能の範囲に関する何らかの制限を示唆するようには意図されていない。また、構成要素の構成は、コンピュータ・システム（１８００）の実施例に示される構成要素の任意の１つ又は組み合わせに関する何らかの依存性又は条件を有するものとして解釈されてはならない。
【0170】
コンピュータ・システム（１８００）は、特定のヒューマン・インターフェース入力デバイスを含む可能性がある。このようなヒューマン・インターフェース入力装置は、例えば、触覚入力（例えば、キーストローク、スワイプ、データ・グローブの動き）、音声入力（例えば、音声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を介して、一人以上の人間ユーザーによる入力に応答することができる。また、ヒューマン・インターフェース装置は、オーディオ（例えば、スピーチ、音楽、周囲の音）、画像（例えば、走査された画像、静止画像カメラから得られる写真画像）、ビデオ（例えば、２次元ビデオ、立体ビデオを含む３次元ビデオ）のような、人間による意識的入力に必ずしも直接関係しない特定の媒体をキャプチャするために使用さえることが可能である。
【0171】
入力ヒューマン・インターフェース装置は、キーボード（１８０１）、マウス（１８０２）、トラックパッド（１８０３）、タッチ・スクリーン（１８１０）、データ・グローブ（図示せず）、ジョイスティック（１８０５）、マイクロフォン（１８０６）、スキャナ（１８０７）、カメラ（１８０８）のうちの１つ以上（又はそれぞれ描写されたもののうちの１つのみ）を含んでもよい。
【0172】
コンピュータ・システム（１８００）は、特定のヒューマン・インターフェース出力装置を含む場合もある。このようなヒューマン・インターフェース出力装置は、例えば、触覚出力、音、光、及び嗅覚／味覚を通じて、１人以上の人間ユーザーの感覚を刺激することができる。そのようなヒューマン・インターフェース出力装置は、触覚出力装置（例えば、タッチ・スクリーン（１８１０）、データ・グローブ（図示せず）、又はジョイスティック（１８０５）による触覚フィードバックであるが、入力装置としては機能しない触覚フィードバックが存在してもよい）、オーディオ出力装置（例えば、スピーカー（１８０９）、ヘッドフォン（図示せず））、視覚的出力装置（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマ・スクリーン、ＯＬＥＤスクリーンを含むスクリーン（１８１０）。各々はタッチ・スクリーン入力機能を備えていても備えていなくてもよい。各々は触覚フィードバック機能を備えていても備えていなくてもよい。それらのうちの幾つかは２次元視覚出力、立体出力のような手段による３次元以上の出力を行うことが可能であってもよい；仮想現実眼鏡（図示せず）、ホログラフィック・ディスプレイ、及びスモーク・タンク（図示せず））、及びプリンタ（図示せず））を含むことが可能である。
【0173】
コンピュータ・システム（１８００）はまた、ＣＤ／ＤＶＤ等の媒体（１８２１）を伴うＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１８２０）を含む光媒体、サム・ドライブ（１８２２）、取り外し可能なハード・ドライブ又はソリッド・ステート・ドライブ（１８２３）、テープ及びフロッピー・ディスク（図示せず）のようなレガシー磁気媒体、セキュリティ・ドングル（図示せず）のような特殊化されたＲＯＭ／ＡＳＩＣ／ＰＬＤベースの装置等の、人間がアクセス可能な記憶装置及びそれらの関連媒体を含むことも可能である。
【0174】
当業者は、ここに開示される対象事項に関連して使用される用語「コンピュータ読み取り可能な媒体」は、伝送媒体、搬送波、又は他の過渡的な信号を包含しないことも理解するはずである。
【0175】
コンピュータ・システム（１８００）は、１つ以上の通信ネットワークに対するインターフェースを含むことも可能である。ネットワークは例えば無線、有線、光であるとすることが可能である。ネットワークは、更に、ローカル、ワイド・エリア、車両、産業、リアル・タイム、遅延耐性などであり得る。ネットワークの例は、イーサネット、無線ＬＡＮ、セルラー・ネットワーク（ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含む）、有線ＴＶ又は無線ワイド・エリア・デジタル・ネットワーク（ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶ）、車両及び産業（ＣＡＮＢｕｓを含む）などを含む。特定のネットワークは、一般に、（例えば、コンピュータ・システム（１８００）のＵＳＢポートのような）特定の汎用データ・ポート又は周辺バス（１８４９）に取り付けられる外部ネットワーク・インターフェース・アダプタを必要とする；他のネットワークは、以下に説明されるようにシステム・バスへの取り付けによってコンピュータ・システム（１８００）のコアに共通に統合される（例えば、イーサネット・インターフェースはＰＣコンピュータ・システムに統合され、セルラー・ネットワーク・インターフェースはスマートフォン・コンピュータ・システムに統合される）。これらのネットワークのいずれかを使用して、コンピュータ・システム（１８００）は、他のエンティティと通信することができる。このような通信は、一方向性、受信専用（例えば、放送テレビ）、一方向性送信専用（例えば、特定のＣＡＮバス装置へのＣＡＮバス）、又は、例えばローカル又はワイド・エリア・デジタルネットワークを使用する他のコンピュータ・システムへの双方向性であってもよい。特定のプロトコル及びプロトコル・スタックは、上述のように、それらのネットワーク及びネットワーク・インタフェースの各々で使用されることが可能である。
【0176】
前述のヒューマン・インタフェース・デバイス、ヒューマン・アクセス可能記憶装置、及びネットワーク・インタフェースは、コンピュータ・システム（１８００）のコア（１８４０）に取り付けられることが可能である。
【0177】
コア（１８４０）は、１つ以上の中央処理装置（ＣＰＵ）（１８４１）、グラフィックス処理装置（ＧＰＵ）（１８４２）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）（１８４３）の形式における専用プログラマブル処理装置、特定のタスクのためのハードウェア・アクセラレータ（１８４４）などを含むことが可能である。これらの装置は、リード・オンリ・メモリ（ＲＯＭ）（１８４５）、ランダム・アクセス・メモリ（１８４６）、内部大容量記憶装置、例えば内部非ユーザアクセス可能ハード・ドライブ、ＳＳＤ等（１８４７）に、システム・バス（１８４８）を介して接続される可能性がある。あるコンピュータ・システムでは、システム・バス（１８４８）は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするために、１つ以上の物理プラグの形態でアクセス可能である。周辺装置は、コアのシステム・バス（１８４８）に直接的に、又は周辺バス（１８４９）を介して取り付けられることが可能である。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。
【0178】
ＣＰＵ（１８４１）、ＧＰＵ（１８４２）、ＦＰＧＡ（１８４３）、アクセラレータ（１８４４）は、組み合わせにより、前述のコンピュータ・コードを構成することが可能な特定の命令を実行することが可能である。そのコンピュータ・コードは、ＲＯＭ（１８４５）又はＲＡＭ（１８４６）に格納されることが可能である。一時的なデータはＲＡＭ（１８４６）に格納されることも可能であるが、永続的なデータは例えば内部大容量記憶装置（１８４７）に格納されることが可能である。１つ以上のＣＰＵ（１８４１）、ＧＰＵ（１８４２）、大容量記憶装置（１８４７）、ＲＯＭ（１８４５）、ＲＡＭ（１８４６）などに密接に関連付けられることが可能なキャッシュメモリを使用することによって、いずれかのメモリ・デバイスへの高速記憶及び検索が可能にされることが可能である。
【0179】
コンピュータ読み取り可能な媒体は、様々なコンピュータで実行される動作を実行するためのコンピュータ・コードをそこに有することが可能である。媒体及びコンピュータ・コードは、本開示の目的のために特別に設計及び構築されることが可能であり、又はそれらは、コンピュータ・ソフトウェアの分野における当業者とって周知であり利用可能なものであるとすることが可能である。
【0180】
一例として限定ではなく、アーキテクチャ（１８００）及び具体的にはコア（１８４０）を有するコンピュータ・システムは、１つ以上の有形のコンピュータ読み取り可能な媒体に具現化されたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）による機能を提供することが可能である。そのようなコンピュータ読み取り可能な媒体は、コア－内部大容量記憶装置（１８４７）又はＲＯＭ（１８４５）のような一時的でない性質のコア（１８４０）の特定の記憶装置と同様に、上述のようにユーザーがアクセス可能な大容量記憶装置に関連する媒体であってもよい。本開示の様々な実施形態を実装するソフトウェアは、そのような装置に記憶され、コア（１８４０）によって実行されることが可能である。コンピュータ読み取り可能な媒体は、特定のニーズに応じて、１つ以上のメモリ・デバイス又はチップを含むことが可能である。ソフトウェアは、コア（１８４０）及び具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、本願に記載された特定のプロセス又は特定のプロセスの特定の部分を実行させることが可能であり、特定のプロセスは、ＲＡＭ（１８４６）に記憶されたデータ構造を定義し、ソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を修正することを含む。更に又は代替として、コンピュータ・システムは、回路（例えば、アクセラレータ（１８４４））内に配線された、又は他の方法で組み込まれたロジックの結果として機能を提供することが可能であり、これは、本願に記載される特定のプロセス又は特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりに又はソフトウェアと共に動作することができる。ソフトウェアへの言及は、ロジックを含み、また、必要に応じてその逆も可能である。コンピュータ読み取り可能な媒体への言及は、実行のためのソフトウェアを記憶する回路、実行のためのロジックを具体化する回路、又はその双方を適宜含むことが可能である。本開示は、ハードウェア及びソフトウェアの任意の適切な組み合わせを包含する。
【0181】
本開示は幾つかの例示的な実施形態を説明してきたが、本開示の範囲に含まれる変更、置換、及び種々の代替的な均等物が存在する。本明細書に明示的に図示又は記述されていないが、本開示の原理を具体化し、従って本願の精神及び範囲内にある多くのシステム及び方法を当業者は考案できることが理解されるであろう。
【符号の説明】
【0182】
ＪＥＭ：ジョイント探索モデル
ＶＶＣ：汎用ビデオ符号化
ＢＭＳ：ベンチマーク・セット
ＭＶ：動きベクトル
ＨＥＶＣ：高効率ビデオ符号化
ＳＥＩ：補足エンハンスメント情報
ＶＵＩ：ビデオ利用情報
ＧＯＰ：グループ・オブ・ピクチャ
ＴＵ：変換単位、
ＰＵ：予測単位
ＣＴＵ：符号化ツリー単位
ＣＴＢ：符号化ツリー・ブロック
ＰＢ：予測ブロック
ＨＲＤ：仮説リファレンス・デコーダ
ＳＮＲ：信号雑音比
ＣＰＵ：中央処理ユニット
ＧＰＵ：グラフィックス処理ユニット
ＣＲＴ：陰極線管
ＬＣＤ：液晶ディスプレイ
ＯＬＥＤ：有機発光ダイオード
ＣＤ：コンパクト・ディスク
ＤＶＤ：デジタル・ビデオ・ディスク
ＲＯＭ：リード・オンリ・メモリ
ＲＡＭ：ランダム・アクセス・メモリ
ＡＳＩＣ：特定用途向け集積回路
ＰＬＤ：プログラマブル・ロジック・デバイス
ＬＡＮ：ローカル・エリア・ネットワーク
ＧＳＭ：移動通信用グローバル・システム
ＬＴＥ：ロング・ターム・エボリューション
ＣＡＮＢｕｓ：コントローラ・エリア・ネットワーク・バス
ＵＳＢ：ユニバーサル・シリアル・バス
ＰＣＩ：ペリフェラル・コンポーネント相互接続
ＦＰＧＡ：フィールド・プログラマブル・ゲート・エリア
ＳＳＤ：ソリッド・ステート・ドライブ
ＩＣ：集積回路
ＣＵ：符号化単位
ＱＴ：四分木
ＶＶＣ：汎用ビデオ符号化
ＢＭＳ：ベンチマーク・セット
ＭＶ：動きベクトル
ＨＥＶＣ：高効率ビデオ符号化
ＳＥＩ：補足エンハンスメント情報
ＶＵＩ：ビデオ利用情報
ＧＯＰ：グループ・オブ・ピクチャ
ＴＵ：変換単位、
ＰＵ：予測単位
ＣＴＵ：符号化ツリー単位
ＣＴＢ：符号化ツリー・ブロック
ＰＢ：予測ブロック
ＨＲＤ：仮説リファレンス・デコーダ
ＳＮＲ：信号雑音比
ＣＰＵ：中央処理ユニット
ＧＰＵ：グラフィックス処理ユニット
ＣＲＴ：陰極線管
ＬＣＤ：液晶ディスプレイ
ＯＬＥＤ：有機発光ダイオード
ＣＤ：コンパクト・ディスク
ＤＶＤ：デジタル・ビデオ・ディスク
ＲＯＭ：リード・オンリ・メモリ
ＲＡＭ：ランダム・アクセス・メモリ
ＡＳＩＣ：特定用途向け集積回路
ＰＬＤ：プログラマブル・ロジック・デバイス
ＬＡＮ：ローカル・エリア・ネットワーク
ＧＳＭ：移動通信用グローバル・システム
ＬＴＥ：ロング・ターム・エボリューション
ＣＡＮＢｕｓ：コントローラ・エリア・ネットワーク・バス
ＵＳＢ：ユニバーサル・シリアル・バス
ＰＣＩ：ペリフェラル・コンポーネント相互接続
ＦＰＧＡ：フィールド・プログラマブル・ゲート・エリア
ＳＳＤ：ソリッド・ステート・ドライブ
ＩＣ：集積回路
ＣＵ：符号化単位
ＱＴ：四分木
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10A】
【図10B】
【図11】
【図12A】
【図12B】
【図12C】
【図12D】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図16】
【図17】
【図18】