知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-19
(54)【発明の名称】ビデオ処理の方法、デバイス、及びプログラム
(51)【国際特許分類】
H04N 19/132 20140101AFI20240209BHJP
H04N 19/12 20140101ALI20240209BHJP
H04N 19/159 20140101ALI20240209BHJP
【ＦＩ】
H04N19/132
H04N19/12
H04N19/159
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023551157
(86)(22)【出願日】2022-10-21
(85)【翻訳文提出日】2023-08-23
(86)【国際出願番号】 US2022047372
(87)【国際公開番号】W WO2023076110
(87)【国際公開日】2023-05-04
(31)【優先権主張番号】63/273,789
(32)【優先日】2021-10-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/289,133
(32)【優先日】2021-12-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/966,390
(32)【優先日】2022-10-14
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ペリンガッセリー クリシュナン，マドゥ
(72)【発明者】
【氏名】ジャオ，シン
(72)【発明者】
【氏名】リウ，シャン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159TA37
5C159TA50
5C159TB08
5C159TC04
5C159TC24
(57)【要約】
本開示は、概してビデオコーディングに、具体的にはクロスコンポーネントレベル再構成に関係がある。例えば、ビデオデータを処理する方法が開示され、方法は、ビデオブロックのビットストリームから第１色成分の第１変換ブロック及び第２色成分の第２変換ブロックを取得するステップと、第１変換ブロック内の変換係数が全てゼロであることを決定するステップと、ＣＣＬＲが第１変換ブロックに適用されることを決定するステップと、精緻化された第１変換ブロックを取得するよう、第１変換ブロック内の変換係数の１つ以上を精緻化するステップと、精緻化された第１変換ブロックの目標変換カーネルを決定するステップと、目標ブロックを取得するよう、目標変換カーネルに基づいて、精緻化された第１変換ブロックに対して逆変換を実行するステップと、少なくとも目標ブロックに基づいてビデオブロックの第１色成分を再構成するステップとを含んでよい。
【特許請求の範囲】
【請求項1】
デコーダが実行するビデオ処理の方法であって、第１色成分の第１変換ブロック及び第２色成分の第２変換ブロックを含むビデオブロックのビットストリームを受信するステップであり、前記第１変換ブロック及び前記第２変換ブロックはコロケートされたブロックである、前記受信するステップと、
前記ビデオブロックの前記ビットストリームから前記第１色成分の前記第１変換ブロック及び前記第２色成分の前記第２変換ブロックを取得するステップと、
前記第１変換ブロック内の全ての変換係数がゼロであることを示す第１フラグを決定するステップと、
クロスコンポーネントレベル再構成（ＣＣＬＲ）が前記第１変換ブロックに適用されることを示す第２フラグを決定するステップと、
ＣＣＬＲが前記第１変換ブロックに適用されるとの決定に応答して、
精緻化された第１変換ブロックを取得するよう、１つ以上のオフセット値を加えることによって前記第１変換ブロック内の前記変換係数の１つ以上を精緻化するステップであり、前記１つ以上のオフセット値は、前記第１変換ブロック内の前記変換係数の前記１つ以上とコロケートされている前記第２変換ブロック内の変換係数に基づいて導出される、前記精緻化するステップと、
前記精緻化された第１変換ブロックの目標変換カーネルを決定するステップと、
目標ブロックを取得するよう、前記目標変換カーネルに基づいて前記精緻化された第１変換ブロックに対して逆変換を実行するステップと、
少なくとも前記目標ブロックに基づいて前記ビデオブロックの前記第１色成分を再構成するステップと
を有する方法。
【請求項2】
前記第１色成分は、１つのクロマ成分を有し、一方、前記第２色成分は、他のクロマ成分を有し、あるいは、前記第１色成分は、ルーマ成分を有し、一方、前記第２色成分は、１つのクロマ成分を有し、あるいは、
前記第１色成分は、１つのクロマ成分を有し、一方、前記第２色成分は、ルーマ成分を有する、
請求項１に記載の方法。
【請求項3】
前記目標変換カーネルを決定するステップは、前記精緻化された第１変換ブロックの前記目標変換カーネルを、前記第２変換ブロックの同じ変換カーネルとして選択するステップを有する、
請求項１に記載の方法。
【請求項4】
前記目標変換カーネルを決定するステップは、前記ビットストリームでシグナリングされたインジケータを抽出するステップであり、前記インジケータは前記目標変換カーネルを指定し、前記インジケータは、前記ＣＣＬＲが前記第１変換ブロックに適用されるとの決定に応答してシグナリングされる、前記抽出するステップと、
前記インジケータに基づいて前記目標変換カーネルを選択するステップと
を有する、
請求項１に記載の方法。
【請求項5】
前記目標変換カーネルを決定するステップは、前記ビデオブロックがイントラ予測の下で予測されることに応答して、前記イントラ予測のモードに基づいて前記目標変換カーネルを導出するステップを有する、
請求項１に記載の方法。
【請求項6】
前記目標変換カーネルは、ＣＣＬＲが前記第２変換ブロックに適用されない場合に、前記第２変換ブロックの変換カーネルとは異なる、請求項５に記載の方法。
【請求項7】
前記目標変換カーネルを決定するステップは、前記ビデオブロックがインター予測されることに応答して、前記第１変換ブロックとコロケートされているルーマ変換ブロックに従って前記目標変換カーネルを選択するステップを有する、
請求項１に記載の方法。
【請求項8】
前記目標変換カーネルを決定するステップは、前記第１変換ブロックのブロックサイズに基づいてカーネルのリストから前記目標変換カーネルを選択するステップを有し、
前記カーネルのリストは、予め定義されるか、又は前記ビットストリームでシグナリングされる、
請求項１に記載の方法。
【請求項9】
前記第１変換ブロックがプライマリ変換タイプの予め定義された組と関連する場合にのみ、ＣＣＬＲは、前記第１変換ブロックに適用されることを許可される、請求項１又は２に記載の方法。
【請求項10】
前記プライマリ変換タイプの予め定義された組の中の各プライマリ変換タイプに関連した変換は２次元変換であり、前記２次元変換は２つの１次元変換によって形成され、前記２つの１次元変換は、両方とも離散コサイン変換（ＤＣＴ）であるか、又は両方とも増分距離変換（ＩＤＴ）である、請求項９に記載の方法。
【請求項11】
１）前記第１変換ブロック内の前記変換係数の前記１つ以上とコロケートされている前記第２変換ブロック内の変換係数、及び２）前記目標変換カーネルに基づいて、前記１つ以上のオフセット値を導出するステップを更に有する、請求項１に記載の方法。
【請求項12】
ビデオ処理のためのデバイスであって、コンピュータ命令を記憶するメモリと、前記メモリと通信するプロセッサとを有し、
前記プロセッサが前記コンピュータ命令を実行するとき、前記プロセッサは、前記デバイスに、請求項１乃至１１のうちいずれか一項に記載の方法を実行させるよう構成される、デバイス。
【請求項13】
コンピュータ可読命令を含むプログラムであって、前記コンピュータ可読命令は、ビデオデータを処理するデバイスのプロセッサによって実行されるとき、前記プロセッサに、請求項１乃至１１のうちいずれか一項に記載の方法を実行させる、プログラム。
【請求項14】
エンコーダが実行するビデオ処理の方法であって、第１色成分の第１変換ブロック及び第２色成分の第２変換ブロックを含むビデオブロックのビットストリームを生成するステップであり、前記第１変換ブロック及び前記第２変換ブロックはコロケートされたブロックである、前記生成するステップと、
前記ビデオブロックの前記ビットストリームから前記第１色成分の前記第１変換ブロック及び前記第２色成分の前記第２変換ブロックを取得するステップと、
前記第１変換ブロック内の全ての変換係数がゼロであることを示す第１フラグを決定するステップと、
クロスコンポーネントレベル再構成（ＣＣＬＲ）が前記第１変換ブロックに適用されることを示す第２フラグを決定するステップと、
ＣＣＬＲが前記第１変換ブロックに適用されるとの決定に応答して、
精緻化された第１変換ブロックを取得するよう、１つ以上のオフセット値を加えることによって前記第１変換ブロック内の前記変換係数の１つ以上を精緻化するステップであり、前記１つ以上のオフセット値は、前記第１変換ブロック内の前記変換係数の前記１つ以上とコロケートされている前記第２変換ブロック内の変換係数に基づいて導出される、前記精緻化するステップと、
前記精緻化された第１変換ブロックの目標変換カーネルを決定するステップと、
目標ブロックを取得するよう、前記目標変換カーネルに基づいて前記精緻化された第１変換ブロックに対して逆変換を実行するステップと、
少なくとも前記目標ブロックに基づいて前記ビデオブロックの前記第１色成分を再構成するステップと
を有する方法。
【発明の詳細な説明】
【技術分野】
【0001】
［参照による援用］
本願は、２０２１年１０月２９日付けで「PRIMARY TRANSFORMS FOR CROSS-COMPONENT LEVEL RECONSTRUCTION」との発明の名称で出願された米国特許仮出願第６３／２７３，７８９号に基づいてそれに対する優先権の利益を主張して２０２２年１０月１４日付けで「PRIMARY TRANSFORMS FOR CROSS-COMPONENT LEVEL RECONSTRUCTION」との発明の名称で出願された米国特許出願第１７／９６６，３９０号に基づいてその優先権の利益を主張する。これらの先願は、それらの全文を参照により本願に援用される。
本願は、２０２１年１０月２９日付けで「PRIMARY TRANSFORMS FOR CROSS-COMPONENT LEVEL RECONSTRUCTION」との発明の名称で出願された米国特許仮出願第６３／２７３，７８９号に基づいてそれに対する優先権の利益を主張して２０２２年１０月１４日付けで「PRIMARY TRANSFORMS FOR CROSS-COMPONENT LEVEL RECONSTRUCTION」との発明の名称で出願された米国特許出願第１７／９６６，３９０号に基づいてその優先権の利益を主張する。これらの先願は、それらの全文を参照により本願に援用される。
【0002】
［技術分野］
本開示は、アドバンスドビデオ符号化／復号化技術の組に概して関係があり、より具体的には、逆量子化の前又は後に変換係数を精緻化するオフセットベースのクロスコンポーネント方法のためのプライマリ変換に関係がある。
本開示は、アドバンスドビデオ符号化／復号化技術の組に概して関係があり、より具体的には、逆量子化の前又は後に変換係数を精緻化するオフセットベースのクロスコンポーネント方法のためのプライマリ変換に関係がある。
【背景技術】
【0003】
本明細書で与えられているこの背景の説明は、本開示の背景を一般的に提示することを目的とするものである。現在指名されている発明者の研究は、その研究がこの背景の項で説明されている範囲で、また、出願時に先行技術としてさもなければ適格でない可能性がある説明の側面は、本開示に対する先行技術として明示的にも暗黙的にも認められない。
【0004】
ビデオ符号化及び復号化は、動き補償を伴ったインターピクチャ予測を用いて実行することができる。圧縮されていないデジタルビデオはピクチャの連続を含むことができ、各ピクチャは、例えば、１９２０×１０８０のルミナンスサンプル及び関連する完全な又はサブサンプリングされたクロミナンスサンプルの空間ディメンションを有する。ピクチャの連続は、例えば、毎秒６０ピクチャ又は毎秒６０フレームの固定又は可変のピクチャレート（代替的に、フレームレートと呼ばれる。）を有することができる。圧縮されていないビデオは、ストリーミング又はデータ処理のための特定のビットレート要件を有している。例えば、１９２０×１０８０のピクセル分解能、６０フレーム／秒のフレームレート、及び色チャネル当たり８ビット／ピクセルでの４：２：０のクロマサブサンプリングを有するビデオは、１．５Ｇビット／ｓに近いバンド幅を必要とする。そのようなビデオの１時間は、６００Ｇバイト超の記憶空間を必要とする。
【0005】
ビデオ符号化及び復号化の１つの目的は、圧縮による圧縮されていない入力ビデオ信号の冗長性の低減であることができる。圧縮は、いくつかの場合に２桁以上、上記のバンド幅及び／又は記憶空間要件を減らすのを助けることができる。可逆圧縮及び不可逆圧縮の両方並びにそれらの組み合わせが用いられ得る。可逆圧縮は、原信号の厳密なコピーが圧縮された原信号から復号化プロセスにより再構成可能である技術を指す。不可逆圧縮は、原ビデオ情報が符号化中に完全には保たれず、復号化中に完全には回復可能でない符号化／復号化プロセスを指す。不可逆圧縮を使用する場合に、再構成された信号は、原信号と同じでない場合があるが、原信号と再構成された信号との間のひずみは、いくらかの情報損失にかかわらず、再構成された信号を、意図された用途にとって有用なものとするほど十分に小さくされる。ビデオの場合には、不可逆圧縮が多くの用途で広く用いられている。許容可能なひずみの量は用途に依存する。例えば、特定の消費者ビデオストリーミング用途のユーザは、映画又はテレビ放送用途のユーザよりも高いひずみを許容し得る。特定のコーディングアルゴリズムによって達成可能な圧縮比は、様々なひずみ許容を反映するよう選択又は調整することができ、許容可能なひずみが高いほど、一般的には、より高い損失及びより高い圧縮比をもたらすコーディングアルゴリズムを許す。
【0006】
ビデオエンコーダ及びデコーダは、例えば、動き補償、フーリエ変換、量子化、及びエントロピコーディングを含むいくつかの広いカテゴリ及びステップからの技術を利用することができる。
【0007】
ビデオコーデック技術には、イントラコーディングとして知られている技術が含まれ得る。イントラコーディングでは、サンプル値が、以前に再構成された参照ピクチャからのサンプル又は他のデータを参照せずに表現される。いくつかのビデオコーデックにおいて、ピクチャは、サンプルのブロックに空間的に細分される。サンプルの全ブロックがイントラモードでコーディングされる場合に、そのピクチャはイントラピクチャと呼ばれることがある。イントラピクチャ及びそれらの派生物、例えば、独立デコーダリフレッシュピクチャ（independent decoder refresh pictures）は、デコーダの状態をリセットするために使用可能であり、従って、コーディングされたビットストリーム及びビデオセッションにおける最初のピクチャとして、又は静止画像として使用され得る。イントラ予測後のブロックのサンプルは、次いで、周波数領域への変換を受けることができ、そのようにして生成された変換係数は、エントロピコーディング前に量子化され得る。イントラ予測は、変換前領域でサンプル値を最小限にする技術を表すことができる。いくつかの場合に、変換後のＤＣ値が小さければ小さいほど、かつ、ＡＣ係数が小さければ小さいほど、エントロピコーディング後にブロックを表すために所与の量子化ステップサイズで必要とされるビットはますます少ない。
【0008】
例えば、ＭＰＥＧ－２世代のコーディング技術から知られているもののような、従来のイントラコーディングは、イントラ予測を使用しない。しかし、いくつかのより新しいビデオ圧縮技術は、例えば、データの空間的に隣接しかつ復号化順序において先行するイントラ符号化又は復号化されているデータのブロックの符号化及び／又は復号化中に得られた周囲サンプルデータ及び／又はメタデータに基づいてブロックの符号化／復号化を試みる技術を含む。かような技術は、以降「イントラ予測」技術と呼ばれる。少なくともいくつかの場合に、イントラ予測は、再構成中の現在ピクチャからの参照データのみを使用し、他の参照ピクチャからは使用しない点に留意されたい。
【0009】
多種多様な形態のイントラ予測が存在し得る。かような技術の１つよりも多くが所与のビデオコーディング技術で利用可能である場合に、使用中の技術はイントラ予測モードと呼ばれることがある。１つ以上のイントラ予測モードが特定のコーデックで提供されてよい。特定の場合に、モードは、サブモードを有することができ、及び／又は様々なパラメータと関連付けられてもよく、モード／サブモード情報及びビデオのブロックのイントラコーディングパラメータは、独立してコーディングされ得るか、又はモードコードワードに集合的に含まれ得る。所与のモード、サブモード、及び／又はパラメータ組み合わせのためにどのコードワードを使用すべきは、イントラ予測を通じてコーディング効率利得に影響を及ぼし得るので、エントロピコーディング技術が、コードワードをビットストリームに変換するために使用され得る。
【0010】
特定のモードのイントラ予測が、Ｈ．２６４により導入され、Ｈ．２６５で洗練され、Joint Exploration Model（ＪＥＭ）、Versatile Video Coding（ＶＶＣ）、及びBenchmark Set（ＢＭＳ）などのより新しいコーディング技術で更に洗練された。一般的に、イントラ予測の場合に、予測子ブロックは、利用可能になっている隣接サンプル値を用いて形成され得る。例えば、特定の方向及び／又はラインに沿った隣接サンプルの特定の組の利用可能な値は、予測子ブロック内にコピーされてよい。使用中の方向の参照は、ビットストリームの中にコーディングされ得るか、又はそれ自体が予測されてもよい。
【0011】
図１Ａを参照すると、右下には、Ｈ．２６５の３３個のとり得るイントラ予測子方向（Ｈ．２６５で規定されている３５個のイントラモードのうちの３３個の角度モードに対応）で指定されている９つの予測子方向のサブセットが表されている。矢印が集まる点（１０１）は、予測中のサンプルに相当する。矢印は、１０１にあるサンプルを予測するために隣接サンプルが使用される方向を表す。例えば、矢印（１０２）は、サンプル（１０１）が、水平方向から４５度の角度で右上にある１つ又は複数の隣接サンプルから予測される、ことを示す。同様に、矢印（１０３）は、サンプル（１０１）が、水平方向から２２．５度の角度でサンプル（１０１）の左下にある１つ又は複数の隣接サンプルから予測される、ことを示す。
【0012】
依然として図１Ａを参照して、左上には、４×４個のサンプル（太破線によって示される。）の正方形ブロック（１０４）が表されている。正方形ブロック（１０４）は１６個のサンプルを含み、各サンプルは、「Ｓ」、Ｙ次元でのその位置（例えば、行インデックス）、及びＸ次元でのその位置（例えば、列インデックス）を用いてラベル付けされている。例えば、サンプルＳ２１は、Ｙ次元で（上から）２番目のサンプルかつＸ次元で（左から）１番目のサンプルである。同様に、サンプルＳ４４は、Ｙ及びＸの両方の次元でブロック（１０４）内の４番目のサンプルである。ブロックはサイズが４×４サンプルであるということで、Ｓ４４は右下にある。更には、類似した番号付け方式に従う例示的な参照サンプルが示されている。参照サンプルは、「Ｒ」と、ブロック（１０４）に対するそのＹ位置（例えば行インデックス）及びＸ位置（列インデックス）とを用いてラベル付けされている。Ｈ．２６４及びＨ．２６５の両方で、再構成中のブロックに隣接している予測サンプルが使用される。
【0013】
ブロック１０４のイントラピクチャ予測は、シグナリングされた予測方向に従って隣接サンプルから参照サンプル値をコピーすることによって、開始してよい。例えば、コーディングされたビデオビットストリームが、このブロック１０４について、矢印（１０２）の予測方向を示す、すなわち、サンプルが水平方向から４５度の角度で右上にある１つ以上の予測サンプルから予測される、とのシグナリングを含む、とする。かような場合に、サンプルＳ４１、Ｓ３２、Ｓ２３、及びＳ１４は、同じ参照サンプルＲ０５から予測される。次いで、サンプルＳ４４が参照サンプルＲ０８から予測される。
【0014】
特定の場合に、複数の参照サンプルの値は、参照サンプルを計算するために、特に、方向が４５度で等しく分割可能でない場合に、例えば、補間を通じて、結合されてもよい。
【0015】
とり得る方向の数は、ビデオコーディング技術が発展し続けるとともに増えている。Ｈ．２６４（２００３年）では、例えば、９つの異なる方向がイントラ予測のために利用可能である。それは、Ｈ．２６５（２０１３年）では３３個にまで増え、そして、ＪＥＭ／ＶＶＣ／ＢＭＳは、本開示の時点で、最大６５個の方向をサポートすることができる。最も適切なイントラ予測方向を識別するのを助けるために実証研究が行われており、エントロピコーディングにおける特定の技術は、方向のための特定のビットペナルティを受け入れながら、少数のビットでそれらの最も適切な方向を符号化するために使用されている。更に、方向それ自体は時々、復号された隣接ブロックのイントラ予測で使用された隣接方向から予測され得る。
【0016】
図１Ｂは、時間とともに開発されている様々な符号化技術における予測方向の数の増加を説明するために、ＪＥＭによる６５個のイントラ予測方向を表す概略図（１８０）を示す。
【0017】
コーディングされたビデオビットストリームにおける予測方向へのイントラ予測方向を表すビットのマッピングの方法は、ビデオコーディング技術ごとに異なる可能性があり、例えば、予測方向の単純な直接マッピングから、イントラ予測モードまで、コードワードまで、最確モードを含む複雑な適応スキーム、及び同様の技術まで及び得る。全ての場合で、しかしながら、特定の他の方向よりも統計的にビデオコンテンツで起こる可能性が低いイントラ予測のための特定の方向が存在し得る。ビデオ圧縮の目標は冗長性の低減であるということで、それらの可能性が低い方向は、上手く設計されたビデオコーディング技術では、よりありそうな方向よりも多いビット数によって表現される可能性がある。
【0018】
インターピクチャ予測又はインター予測は動き補償に基づくことがある。動き補償では、前に再構成されたピクチャ又はその部分（参照ピクチャ）からのサンプルデータが、動きベクトル（motion vector）（以降ＭＶ）によって示される方向で空間的にシフトされた後に、新たに再構成されたピクチャ又はピクチャ部分（例えば、ブロック）の予測のために使用され得る。いくつかの場合に、参照ピクチャは、現在再構成中のピクチャと同じであることができる。ＭＶは２つの次元Ｘ及びＹを有してよく、あるいは、３つの次元を有してもよく、３番目の次元は使用中の参照ピクチャの指示である（時間次元と同種）。
【0019】
いくつかのビデオ圧縮技術において、サンプルデータの特定のエリアに適用可能な現在のＭＶは、他のＭＶから、例えば、再構成中のエリアに空間的に隣接しており復号化順で現在のＭＶに先行するサンプルデータの他のエリアに関係がある他のＭＶから、予測することができる。そうすることで、相関するＭＶで冗長性を取り除くことに依存することによって、ＭＶをコーディングするために必要なデータの全体量を大幅に減らすことができ、それによって、圧縮効率を高める。例えば、カメラから得られた入力ビデオ信号（自然ビデオ（natural video）として知られる。）をコーディングする場合に、単一のＭＶが適用可能であるエリアよりも大きいエリアがビデオシーケンスにおいて同様の方向に移動するという統計的可能性があり、従って、いくつかの場合には、隣接するエリアのＭＶから導出された同様の動きベクトルを用いて予測可能であるということで、ＭＶ予測は有効に働くことができる。その結果、所与のエリアの実際のＭＶは、周囲のＭＶから予測されたＭＶと類似又は同じである。そのようなＭＶは次いで、エントロピコーディング後に、ＭＶが隣接ＭＶから予測されるのではなく直接コーディングされる場合に使用されることになるビット数よりも少ないビットで表され得る。いくつかの場合に、ＭＶ予測は、原信号（すなわち、サンプルストリーム）から導出された信号（すなわち、ＭＶ）の可逆圧縮の例であることができる。他の場合には、ＭＶ予測それ自体は、例えば、いくつかの周囲のＭＶから予測子を計算するときの丸め誤差のために、不可逆であり得る。
【0020】
様々なＭＶ予測メカニズムがＨ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ． Ｈ２６５，“High Efficiency Video Coding”，２０１６年１２月）で説明されている。Ｈ．２６５が規定している多くのＭＶ予測メカニズムの中から、本明細書では、以降「空間マージ」（spatial merge）と呼ばれる技術が説明される。
【0021】
具体的に、図２を参照すると、現在ブロック（２０１）は、空間的にシフトされている同じサイズの前のブロックから予測可能であると動き探索プロセス中にエンコーダによって認められたサンプルを有する。そのＭＶを直接にコーディングする代わりに、ＭＶは、１つ以上の参照ピクチャと関連付けられたメタデータから、例えば、（復号化順序において）最も最近の参照ピクチャから、Ａ０、Ａ１及びＢ０、Ｂ１、Ｂ２（夫々、２０２乃至２０６）と表される５つの周囲サンプルのうちのいずれか１つと関連付けられたＭＶを用いて導出され得る。Ｈ．２６５では、ＭＶ予測は、隣接するブロックが使用するのと同じ参照ピクチャからの予測子を使用することができる。
【発明の概要】
【0022】
本開示の態様は、ビデオ処理においてクロスコンポーネントレベルで精緻化された変換係数に対して変換を選択して起用するクロスコンポーネント方法及び装置を提供する。いくつかの例示的な実施で、ビデオ復号化方法が開示される。方法は、第１色成分の第１変換ブロック及び第２色成分の第２変換ブロックを含むビデオブロックのビットストリームを受信するステップであり、第１変換ブロック及び第２変換ブロックはコロケートされたブロックである、受信するステップと、ビデオブロックのビットストリームから第１色成分の第１変換ブロック及び第２色成分の前記第２変換ブロックを取得するステップと、第１変換ブロック内の全ての変換係数がゼロであることを示す第１フラグを決定するステップと、クロスコンポーネントレベル再構成（Ｃｒｏｓｓ Ｃｏｍｐｏｎｅｎｔ Ｌｅｖｅｌ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ，ＣＣＬＲ）が第１変換ブロックに適用されることを示す第２フラグを決定するステップと、ＣＣＬＲが第１変換ブロックに適用されるとの決定に応答して、精緻化された第１変換ブロックを取得するよう、１つ以上のオフセット値を加えることによって第１変換ブロック内の変換係数の１つ以上を精緻化するステップであり、１つ以上のオフセット値は、第１変換ブロック内の変換係数の１つ以上とコロケートされている第２変換ブロック内の変換係数に基づいて導出される、精緻化するステップと、精緻化された第１変換ブロックの目標変換カーネルを決定するステップと、目標ブロックを取得するよう、目標変換カーネルに基づいて、精緻化された第１変換ブロックに対して逆変換を実行するステップと、少なくとも目標ブロックに基づいてビデオブロックの第１色成分を再構成するステップとを含んでよい。
【0023】
本開示の態様は、上記の方法の実施のいずれかを実行するよう構成された回路構成を含むビデオ符号化若しくは復号化デバイス又は装置も提供する。
【0024】
本開示の態様は、ビデオ復号化及び／又は符号化のためのコンピュータによって実行される場合に、コンピュータに、ビデオ復号化及び／又は符号化の方法を実行させる命令を記憶している非一時的なコンピュータ可読媒体も提供する。
【0025】
開示されている対象の更なる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになる。
【図面の簡単な説明】
【0026】
【図1A】イントラ予測方向モードの例示的なサブセットの模式図を示す。
【図1B】例示的なイントラ予測方向の説明図を示す。
【図2】一例における動きベクトル予測のための現在のブロック及びその周囲空間マージ候補の模式図を示す。
【図3】例となる実施形態に係る通信システム（３００）の略ブロック図の模式図を示す。
【図4】例となる実施形態に係る通信システム（４００）の略ブロック図の模式図を示す。
【図5】例となる実施形態に係るデコーダの略ブロック図の模式図を示す。
【図6】例となる実施形態に係るエンコーダの略ブロック図の模式図を示す。
【図7】他の例となる実施形態に係るビデオエンコーダのブロック図を示す。
【図8】他の例となる実施形態に係るビデオデコーダのブロック図を示す。
【図9】本開示の例となる実施形態に係るコーディングブロックパーティショニングのスキームを示す。
【図10】本開示の例となる実施形態に係るコーディングブロックパーティショニングの他のスキームを示す。
【図11】本開示の例となる実施形態に係るコーディングブロックパーティショニングの他のスキームを示す。
【図12】本開示の例となる実施形態に係るコーディングブロックパーティショニングの他のスキームを示す。
【図13】本開示の例となる実施形態に係る、複数の変換ブロックへのコーディングブロックの分割のためのスキーム及び変換ブロックのコーディング順序を示す。
【図14】本開示の例となる実施形態に係る、複数の変換ブロックへのコーディングブロックの分割のための他のスキーム及び変換ブロックのコーディング順序を示す。
【図15】本開示の例となる実施形態に係る、複数の変換ブロックへのコーディングブロックの分割のための他のスキームを示す。
【図16】本開示の例となる実施形態に係るプレーナ回転変換を表す。
【図17】本開示の例となる実施形態に係る様々なＤＣＴ－２、ＤＣＴ－４部分バタフライルックアップテーブルを示す。
【図18】本開示の例となる実施形態に係るＤＳＴ－７部分バタフライルックアップテーブルを示す。
【図19】本開示の例となる実施形態に係る、例示的なライングラフ変換（ＬＧＴ）を示す。
【図20】本開示の例となる実施形態に係る方法のフローチャートを示す。
【図21】本開示の例となる実施形態に係るコンピュータシステムの模式図を示す。
【発明を実施するための形態】
【0027】
図３は、本開示の実施形態に係る通信システム（３００）の略ブロック図を表す。通信システム（３００）は、例えば、ネットワーク（３５０）を介して、互いと通信することができる複数の端末デバイスを含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して相互接続されている端末デバイス（３１０）及び（３２０）の第１対を含む。図３の例では、端末デバイス（３１０）及び（３２０）の第１対は、データの一方向伝送を実行し得る。例えば、端末デバイス（３１０）は、ネットワーク（３５０）を介した他の端末デバイス（３２０）への伝送のために、（例えば、端末デバイス（３１０）によって捕捉されるビデオピクチャのストリームの）ビデオデータをコーディングしてよい。符号化されたビデオデータは、１つ以上のコーディングされたビデオビットストリームの形で伝送可能である。端末デバイス（３２０）は、コーディングされたビデオデータをネットワーク（３５０）から受信し、コーディングされたビデオデータを復号してビデオピクチャを回復し、回復されたビデオデータに従ってビデオピクチャを表示してよい。一方向データ伝送は、メディアサービングアプリケーションなどにおいて実施されることがある。
【0028】
他の例では、通信システム（３００）は、例えば、ビデオ会議用途の間に、実施されることがあるコーディングされたビデオデータの双方向伝送を実行する端末デバイス（３３０）及び（３４０）の第２対を含む。データの双方向伝送のために、例において、端末デバイス（３３０）及び（３４０）の各端末デバイスは、ネットワーク（３５０）を介した端末デバイス（３３０）及び（３４０）のうちの他方の端末デバイスへの伝送のために、（例えば、その端末デバイスによって捕捉されるビデオピクチャのストリームの）ビデオデータをコーディングしてよい。端末デバイス（３３０）及び（３４０）の各端末デバイスはまた、端末デバイス（３３０）及び（３４０）のうちの他方の端末デバイスによって送信されたコーディングされたビデオデータを受信してよく、コーディングされたビデオデータを復号してビデオピクチャを回復してよく、回復されたビデオデータに従って、アクセス可能な表示デバイスでビデオピクチャを表示してよい。
【0029】
図３の例では、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）は、サーバ、パーソナルコンピュータ、及びスマートフォンとして実施され得るが、本開示の基礎原理の適用可能性はそのように限定されなくてもよい。本開示の実施形態は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤー、ウェアラブルコンピュータ、専用のビデオ会議装置、及び／又は同様のものにおいて実施され得る。ネットワーク（３５０）は、例えば、ワイヤライン（有線）及び／又はワイヤレス通信ネットワークを含む、コーディングされたビデオデータを端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）の間で伝達する任意の数又はタイプのネットワークに相当する。通信ネットワーク（３５０）は、回路交換、パケット交換、及び／又は他のタイプのチャネルにおいてデータを交換してもよい。代表的なネットワークには、電気通信網、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットがある。本議論のために、ネットワーク（３５０）のアーキテクチャ及びトポロジは、本明細書において明示的に説明されない限りは、本開示の動作に無関係であってよい。
【0030】
図４は、開示されている対象の応用例として、ビデオストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を表す。開示されている対象は、例えば、ビデオ会議と、デジタルＴＶ放送と、ゲームと、仮想現実と、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタル媒体上での圧縮されたビデオの記憶と、などを含む他のビデオ対応用途に同様に適用可能であり得る。
【0031】
ビデオストリーミングシステムは、圧縮されていないビデオピクチャ又は画像のストリーム（４０２）を生成するビデオソース（４０１）、例えば、デジタルカメラ、を含むことができるビデオ捕捉サブシステム（４１３）を含んでよい。例において、ビデオピクチャのストリーム（４０２）は、ビデオソース（４０１）のデジタルカメラによって記録されるサンプルを含む。ビデオピクチャのストリーム（４０２）は、符号化されたビデオデータ（４０４）（又はコーディングされたビデオビットストリーム）と比較して高いデータボリュームを強調するために太線で表されており、ビデオソース（４０１）へ結合されたビデオエンコーダ（４０３）を含む電子機器（４２０）によって処理され得る。ビデオエンコーダ（４０３）は、以下で更に詳細に記載されるように、開示されている対象の態様を可能にする又は実装するためのハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。符号化されたビデオデータ（４０４）（又は符号化されたビデオビットストリーム（４０４））は、圧縮されていないビデオピクチャのストリーム（４０２）と比較してより低いデータボリュームを強調するために細線で表されており、将来の使用のために、又はビデオデバイスを直接ダウンストリームするために（図示せず。）、ストリーミングサーバ（４０５）に記憶され得る。図４のクライアントサブシステム（４０６）及び（４０８）などの１つ以上のストリーミングクライアントサブシステムは、符号化されたビデオデータ（４０４）のコピー（４０７）及び（４０９）を読み出すためにストリーミングサーバ（４０５）にアクセスすることができる。クライアントサブシステム（４０６）は、例えば、電子機器（４３０）において、ビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は、符号化されたビデオデータの入来するコピー（４０７）を復号し、圧縮されておらずディスプレイ（４１２）（例えば、表示スクリーン）又は他のレンダリングデバイス（図示せず。）でレンダリング可能なビデオピクチャの送出ストリーム（４１１）を生成する。ビデオデコーダ（４１０）は、本開示で記載されている様々な機能の一部又は全てを実行するよう構成されてよい。いくつかのストリーミングシステムにおいて、符号化されたビデオデータ（４０４）、（４０７）、及び（４０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従って符号化され得る。そのような規格の例には、ＩＴＵ－Ｔ推奨Ｈ．２６５がある。例において、開発中のビデオコーディング規格は、Versatile Video Coding（ＶＶＣ）として俗に知られている。開示されている対象は、ＶＶＣ及び他のビデオコーディング規格に関連して使用されてもよい。
【0032】
電子機器（４２０）及び（４３０）は、他のコンポーネント（図示せず。）を含むことができる。例えば、電子機器（４２０）は、ビデオデコーダ（図示せず。）を含むことができ、電子機器（４３０）は、ビデオエンコーダ（図示せず。）を同様に含むことができる。
【0033】
図５は、以下の本開示の任意の実施形態に係るビデオデコーダ（５１０）のブロック図を示す。ビデオデコーダ（５１０）は、電子機器（５３０）に含まれ得る。電子機器（５３０）は、受信器（５３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（５１０）は、図４の例のビデオデコーダ（４１０）の代わりに使用され得る。
【0034】
受信器（５３１）は、ビデオデコーダ（５１０）によって復号されるべき１つ以上のコーディングされたビデオシーケンスを受信してよい。同じ又は他の実施形態では、一度に１つのコーディングされたビデオシーケンスが復号されてよく、このとき、夫々のコーディングされたビデオシーケンスの復号化は、他のコーディングされたビデオシーケンスから独立している。各ビデオシーケンスは、複数のビデオフレーム又は画像と関連付けられてもよい。コーディングされたビデオシーケンスは、チャネル（５０１）から受信されてよく、チャネルは、符号化されたビデオデータを記憶している記憶デバイス、又は符号化されたビデオデータを伝送するストリーミングソースへのハードウェア／ソフトウェアリンクであってよい。受信器（５３１）は、符号化されたビデオデータを他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助的なデータストリームとともに受信してもよく、それらは、それらの各々の処理回路（図示せず。）へ転送されてよい。受信器（５３１）は、コーディングされたビデオシーケンスを他のデータから分離してよい。ネットワークジッタに対抗するために、バッファメモリ（５１５）が受信器（５３１）とエントロピデコーダ／パーサ（５２０）（以降「パーサ（５２０）」）との間に配置されてよい。特定の用途では、バッファメモリ（５１５）は、ビデオデコーダ（５１０）の部分として実装されてもよい。他の用途では、それは、ビデオデコーダ（５１０）の外で分離することができる（図示せず。）。更に他の用途では、例えば、ネットワークジッタに対抗するために、ビデオデコーダ（５１０）の外にバッファメモリ（図示せず。）があることができ、また、例えば、再生タイミングを操作するために、ビデオデコーダ（５１０）の中にもう１つの追加バッファメモリ（５１５）が存在してもよい。受信器（５３１）が十分なバンド幅及び可制御性の記憶／転送デバイスから、又はアイソシンクロナス（isosynchronous）ネットワークからデータを受信しているときに、バッファメモリ（５１５）は必要とされなくてもよく、あるいは、小さいことが可能である。インターネットなどのベストエフォートのパケットネットワークでの使用のために、十分なサイズのバッファメモリ（５１５）が必要とされる場合があり、そのサイズは比較的に大きい可能性ある。そのようなバッファメモリは、適応サイズで実施されてよく、ビデオデコーダ（５１０）の外のオペレーティングシステム又は同様の要素（図示せず。）で少なくとも部分的に実装されてよい。
【0035】
ビデオデコーダ（５１０）は、コーディングされたビデオシーケンスからシンボル（５２１）を再構成するためのパーサ（５２０）を含んでよい。それらのシンボルのカテゴリは、ビデオデコーダ（５１０）の動作を管理するために使用される情報と、潜在的に、電子機器（５３０）の必須部分であってもなくてもよいが、図５に示されたように、電子機器（５３０）へ結合することができるディスプレイ（５１２）（例えば、表示スクリーン）などのレンダリングデバイスを制御するための情報とを含む。レンダリングデバイスのための制御情報は、補助強化情報（Supplemental Enhancement Information，ＳＥＩ）メッセージ又はビデオユーザビリティ情報（Video Usability Information，ＶＵＩ）パラメータセットフラグメント（図示せず。）の形をとってよい。パーサ（５２０）は、パーサ（５２０）によって受信されるコーディングされたビデオシーケンスをパース／エントロピ復号してよい。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術又は標準規格に従うことができ、可変長コーディング、ハフマンコーディング、文脈依存による又はよらない算術コーディング、などを含む様々な原理に従うことができる。パーサ（５２０）は、コーディングされたビデオシーケンスから、ビデオデコーダにおけるピクセルのサブグループのうちの少なくとも１つについてのサブグループパラメータの組を、サブグループに対応する少なくとも１つのパラメータに基づいて抽出し得る。サブグループは、グループ・オブ・ピクチャ（Group of Picture，ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（Coding Unit，ＣＵ）、ブロック、変換ユニット（Transform Unit，ＴＵ）、予測ユニット（Prediction Unit，ＰＵ）、などを含むことができる。パーサ（５２０）はまた、コーディングされたビデオシーケンスから、変換係数（例えば、フーリエ変換係数）、量子化器パラメータ値、動きベクトル、などの情報も抽出し得る。
【0036】
パーサ（５２０）は、シンボル（５２１）を生成するために、バッファメモリ（５１５）から受信されたビデオシーケンスに対してエントロピ復号化／パーシング動作を実行してよい。
【0037】
シンボル（５２１）の再構成は、コーディングされたビデオピクチャ又はその部分（例えば、インター及びイントラピクチャ、インター及びイントラブロック）のタイプ及び他の因子に応じて多数の異なる処理又は機能ユニットを有することができる。関与するユニット、及びそれらが関与する方法は、コーディングされたビデオシーケンスからパーサ（５２０）によってパースされたサブグループ制御情報によって制御され得る。パーサ（５２０）と以下の複数の処理又は機能ユニットとの間のそのようなサブグループ制御情報のフローは、簡単のために表されていない。
【0038】
既に述べられた機能ブロックを超えて、ビデオデコーダ（５１０）は、概念的に、以下で説明される多数の機能ユニットに細分され得る。商業上の制約の下で動作する実際の実施では、それらの機能ユニットの多くが互いに密に相互作用し、少なくとも部分的に互いに組み込まれ得る。しかし、開示されている対象の様々な機能を明りょうに説明することを目的として、機能ユニットへの概念的細分が以下本開示において採用される。
【0039】
第１ユニットは、スケーラ／逆変換ユニット（５５１）を含んでよい。スケーラ／逆変換ユニット（５５１）は、パーサ（５２０）からシンボル（５２１）として、量子化された変換係数とともに、どのような逆変換を使用すべきか、ブロックサイズ、量子化係数／パラメータ、量子化スケーリングマトリクスなどを示す情報を含む制御情報を受信してよい。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）へ入力することができるサンプル値を含むブロックを出力することができる。
【0040】
いくつかの場合に、スケーラ／逆変換器（５５１）の出力サンプルは、イントラコーディングされたブロック、すなわち、前に再構成されたピクチャからの予測情報を使用しておらず、現在ピクチャの前に再構成された部分からの予測情報を使用することができるブロック、に関係することができる。かような予測情報は、イントラピクチャ予測ユニット（５５２）によって供給され得る。いくつかの場合に、イントラピクチャ予測ユニット（５５２）は、既に再構成されており現在ピクチャバッファ（５５８）に記憶されている周囲ブロック情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成してよい。現在ピクチャバッファ（５５８）は、例えば、部分的に再構成された現在ピクチャ及び／又は完全に再構成された現在ピクチャをバッファリングする。アグリゲータ（５５５）は、いくつかの実施において、サンプルごとに、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）によって供給される出力サンプル情報に加えてよい。
【0041】
他の場合では、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされた、そして潜在的に、動き補償されたブロックに関係することができる。かような場合に、動き補償予測ユニット（５５３）は、インターピクチャ予測のために使用されるサンプルをフェッチするよう参照ピクチャメモリ（５５７）にアクセスすることができる。ブロックに関係するシンボル（５２１）に従って、フェッチされたサンプルを動き補償した後に、それらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（５５５）によって、スケーラ／逆変換ユニット（５５１）の出力（ユニット５５１の出力は、残差サンプル又は残差信号と呼ばれてもよい。）に加えられ得る。動き補償予測ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスは、例えば、Ｘ成分及びＹ成分（シフト）並びに参照ピクチャコンポーネント（時間）を有することができるシンボル（５２１）の形で動き補償予測ユニット（５５３）が利用することができる動きベクトルによって、制御され得る。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（５５７）からフェッチされるサンプル値の補間を含んでもよく、また、動きベクトル予測メカニズムなどと関連付けられてもよい。
【0042】
アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）において様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、インループフィルタ技術を含むことができる。この技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる。）に含まれており、パーサ（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされたパラメータによって制御されるが、コーディングされたピクチャ又はコーディングされたビデオシーケンスの（復号化順序において）前の部分の復号化中に得られたメタ情報にも応答することができ、更には、前に構成されたループフィルタ処理されたサンプル値に応答することもできる。ループフィルタのいくつかのタイプは、以下で更に詳細に記載されるように、様々な順序でループフィルタユニット５５６の部分として含まれてよい。
【0043】
ループフィルタユニット（５５６）の出力は、レンダリングデバイス（５１２）へ出力され、更には、将来のインターピクチャ予測における使用のために参照ピクチャメモリ（５５７）に記憶され得るサンプルストリームであることができる。
【0044】
特定のコーディングされたピクチャは、完全に再構成されると、将来のインターピクチャ予測のための参照ピクチャとして使用され得る。例えば、現在ピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えば、パーサ（５２０）によって）参照ピクチャとして識別されると、現在ピクチャバッファ（５５８）は、参照ピクチャメモリ（５５７）の部分になることができ、未使用の現在ピクチャバッファが、後続のコーディングされたピクチャの再構成を開始する前に再割り当てされ得る。
【0045】
ビデオデコーダ（５１０）は、ＩＴＵ－Ｔ推奨Ｈ．２６５などの標準規格で採用されている所定のビデオ圧縮技術に従って復号化動作を実行してよい。コーディングされたビデオシーケンスは、そのコーディングされたビデオシーケンスが、ビデオ圧縮技術又は標準規格のシンタックス及びビデオ圧縮技術又は標準規格において文書化されているプロファイルの両方に従うという意味で、使用中のビデオ圧縮技術又は標準規格によって規定されたシンタックスに従い得る。具体的には、プロファイルは、ビデオ圧縮技術又は標準規格で利用可能な全てのツールから、そのプロファイルの下での使用のために利用可能な唯一のツールとして、特定のツールを選択することができる。規格の順守のために、コーディングされたビデオシーケンスの複雑さは、ビデオ圧縮技術又は標準規格のレベルによって定義された境界内にあることができる。いくつかの場合に、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、メガサンプル／秒で測定される。）、最大参照ピクチャサイズ、などを制限する。レベルによって設定された制限は、いくつかの場合に、仮想参照デコーダ（Hypothetical Reference Decoder，ＨＲＤ）仕様と、コーディングされたビデオシーケンスにおいて通知されるＨＲＤバッファ管理のためのメタデータとを通じて、更に制限され得る。
【0046】
いくつかの例示的な実施形態において、受信器（５３１）は、符号化されたビデオとともに、追加の（冗長な）データを受信してもよい。追加のデータは、コーディングされたビデオシーケンスの部分として含まれてもよい。追加のデータは、ビデオデコーダ（５１０）によって、データを適切に復号するために及び／又は原ビデオデータをより正確に再構成するために使用されてよい。追加のデータは、例えば、時間、空間、又は信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正符号、などの形をとることができる。
【0047】
図６は、本開示の例示的な実施形態に係るビデオエンコーダ（６０３）のブロック図を示す。ビデオエンコーダ（６０３）は、電子機器（６２０）に含まれてよい。電子機器（６２０）は、送信器（６４０）（例えば、送信回路）を更に含んでもよい。ビデオエンコーダ（６０３）は、図４の例のビデオエンコーダ（４０３）の代わりに使用され得る。
【0048】
ビデオエンコーダ（６０３）は、ビデオエンコーダ（６０３）によってコーディングされるべきビデオ画像を捕捉し得るビデオソース（６０１）（図６の例では電子機器（６２０）の部分ではない。）からビデオサンプルを受信してよい。他の例では、ビデオソース（６０１）は、電子機器（６２０）の部分として実施されてもよい。
【0049】
ビデオソース（６０１）は、任意の適切なビットデプス（例えば、８ビット、１０ビット、１２ビットなど）、任意の色空間（例えば、ＢＴ．６０１ ＹＣｒＣｂ、ＲＧＢ、ＸＹＺなど）、及び任意の適切なサンプリング構造（例えば、ＹＣｒＣｂ ４：２：０、ＹＣｒＣｂ ４：４：４）であることができるデジタルビデオサンプルストリームの形で、ビデオエンコーダ（６０３）によってコーディングされるべきソースビデオシーケンスを供給してよい。メディアサービングシステムでは、ビデオソース（６０１）は、予め準備されたビデオを記憶することができる記憶デバイスであってよい。ビデオ会議システムでは、ビデオソース（６０１）は、ローカル画像情報をビデオシーケンスとして捕捉するカメラであってよい。ビデオデータは、順に見られる場合に動きを授ける複数の個別ピクチャ又は画像として供給されてもよい。ピクチャ自体は、ピクセルの空間アレイとして編成されてよく、各ピクセルは、使用中のサンプリング構造、色空間、などに依存する１つ以上のサンプルを有することができる。当業者であれば、ピクセルとサンプルとの間の関係を容易に理解することができる。本明細書は、以下、サンプルに焦点を当てる。
【0050】
いくつかの例示的な実施形態に従って、ビデオエンコーダ（６０３）は、実時間において、又は用途によって必要とされる任意の他の時間制約の下で、ソースビデオシーケンスのピクチャを、コーディングされたビデオシーケンス（６４３）へとコーディング及び圧縮してよい。適切なコーディング速度を強いることは、コントローラ（６５０）の一機能を構成する。いくつかの実施形態において、コントローラ（６５０）は、以下で記載されるような他の機能ユニットへ機能的に結合されてそれらを制御してもよい。結合は簡単のために表されていない。コントローラ（６５０）によってセットされるパラメータには、レート制御に関連したパラメータ（ピクチャスキップ、量子化器、レートひずみ最適化技術のラムダ値、など）、ピクチャサイズ、グループ・オブ・ピクチャ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲、などが含まれ得る。コントローラ（６５０）は、特定のシステム設計のために最適化されたビデオエンコーダ（６０３）に関係する他の適切な機能を有するよう構成され得る。
【0051】
いくつかの例示的な実施形態において、ビデオエンコーダ（６０３）は、コーディングループで動作するよう構成されてよい。過度に単純化された記載として、例において、コーディングループは、ソースコーダ（６３０）（例えば、コーディングされるべき入力ピクチャと、参照ピクチャとに基づいて、シンボルストリームなどのシンボルを生成することに関与する。）と、ビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）とを含むことができる。デコーダ（６３３）は、（シンボルとコーディングされたビデオビットストリームとの間の如何なる圧縮も、開示されている対象で考えられているビデオ圧縮技術において可逆であることができるということで、）たとえ埋め込まれたデコーダ（６３３）がエントロピコーディングなしでソースコーダ（６３０）によってコーディングされたビデオストリームを処理するとしても、（遠隔の）デコーダが生成することになるのと同様の方法でサンプルデータを生成するようにシンボルを再構成する。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（６３４）へ入力される。シンボルストリームの復号化は、デコーダの場所（ローカル又は遠隔）に依存しないビットパーフェクト（bit-exact）な結果をもたらすので、参照ピクチャメモリ（６３４）内のコンテンツも、ローカルのエンコーダと遠隔のエンコーダとの間でビットパーフェクトである。すなわち、エンコーダの予測部分は、デコーダが復号化中に予測を使用するときに“見る”ことになるのとまさに同じサンプル値を参照ピクチャサンプルとして“見る”。参照ピクチャのシンクロニシティ（及び、例えば、チャネルエラーのために、シンクロニシティが維持され得ない場合に、結果として生じるドリフト）のこの基本原理は、コーディング品質を改善するために使用される。
【0052】
“ローカル”のデコーダ（６３３）の動作は、図５とともに詳細に既に上述されている、ビデオデコーダ（５１０）などの“遠隔”のデコーダと同じであることができる。一時的に図５も参照すると、しかしながら、シンボルが利用可能であり、エントロピコーダ（６４５）及びパーサ（５２０）によるコーディングされたビデオシーケンスへのシンボルの符号化／復号化が可逆であることができるということで、バッファメモリ（５１５）及びパーサ（５２０）を含むビデオデコーダ（５１０）のエントロピ復号化部分は、エンコーダ内のローカルのデコーダ（６３３）において完全には実装されなくてもよい。
【0053】
この時点で観察できることは、デコーダにのみ存在し得るパーシング／エントロピ復号化を除く如何なるデコーダ技術も、必然的に、対応するエンコーダにおいて略同じ機能形態で存在する必要があり得る、ということである。この理由により、開示されている対象は、折に触れて、エンコーダの復号化部分に関連するデコーダ動作に焦点を当てることがある。よって、エンコーダ技術の説明は、それらが、包括的に記載されるデコーダ技術の逆であるということで、省略され得る。特定の範囲又は側面においてのみ、エンコーダのより詳細な説明が以下で与えられる。
【0054】
動作中、いくつかの実施例において、ソースコーダ（６３０）は、動き補償された予測コーディングを実行してよい。これは、「参照ピクチャ」として指定された、ビデオシーケンスからの１つ以上の前にコーディングされたピクチャを参照して、予測的に入力ピクチャをコーディングする。このようにして、コーディングエンジン（６３２）は、入力ピクチャに対する予測参照として選択され得る参照ピクチャのピクセルブロックと入力ピクチャのピクセルブロックとの間の色チャネルの差（又は残差）をコーディングする。用語「残差」（residue）又はその形容詞「残差の」（residual）は交換可能に使用されることがある。
【0055】
ローカルのビデオデコーダ（６３３）は、ソースコーダ（６３０）によって生成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータを復号してよい。コーディングエンジン（６３２）の動作は、有利なことに、不可逆プロセスであってよい。コーディングされたビデオデータがビデオデコーダ（図６には図示せず。）で復号され得るとき、再構成されたビデオシーケンスは、通常は、いくらかのエラーを伴ったソースビデオシーケンスの複製であり得る。ローカルのビデオデコーダ（６３３）は、参照ピクチャに対してビデオデコーダによって実行され得る復号化プロセスを再現し、再構成された参照ピクチャを参照ピクチャキャッシュ（６３４）に格納されるようにしてよい。このように、ビデオエンコーダ（６０３）は、（伝送エラーなしで）遠端（遠隔）のビデオデコーダによって取得されることになる再構成された参照ピクチャと共通の内容を有している再構成された参照ピクチャのコピーをローカルで記憶し得る。
【0056】
予測器（６３５）は、コーディングエンジン（６３２）のための予測探索を実行してよい。すなわち、新しいピクチャがコーディングされるために、予測器（６３５）は、その新しいピクチャのための適切な予測基準となり得る参照ピクチャ動きベクトル、ブロック形状、などの特定のメタデータ又は（候補参照ピクセルブロックとしての）サンプルデータを参照ピクチャメモリ（６３４）から探してよい。予測器（６３５）は、適切な予測基準を見つけるためにサンプルブロック・バイ・ピクセルブロックベース（sample block-by-pixel block basis）で動作してよい。いくつかの場合に、予測器（６３５）によって取得された探索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶されている複数の参照ピクチャから引き出された予測基準を有してよい。
【0057】
コントローラ（６５０）は、例えば、ビデオデータを符号化するために使用されるパラメータ及びサブグループパラメータの設定を含め、ソースコーダ（６３０）のコーディング動作を管理してよい。
【0058】
上記の全ての機能ユニットの出力は、エントロピコーダ（６４５）においてエントロピコーディングを受けてよい。エントロピコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルの可逆圧縮によって、様々な機能ユニットによって生成されたシンボルを、コーディングされたビデオシーケンスへと変換する。
【0059】
送信器（６４０）は、エントロピコーダ（６４５）によって生成されたコーディングされたビデオシーケンスを、通信チャネル（６６０）を介した伝送のために準備するようにバッファリングしてよい。通信チャネル（６６０）は、符号化されたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。送信器（６４０）は、ビデオコーダ（６０３）からのコーディングされたビデオデータを、送信されるべき他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助的なデータストリーム（ソースは図示せず）とマージしてもよい。
【0060】
コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理してよい。コーディング中、コントローラ（６５０）は、各々のピクチャに適用され得るコーディング技術に影響を及ぼす可能性がある特定のコーディングされたピクチャタイプを夫々のコーディングされたピクチャに割り当ててよい。例えば、ピクチャはしばしば、次のピクチャタイプのうちの１つとして割り当てられてよい。
【0061】
イントラピクチャ（Intra Picture）（Ｉピクチャ）は、予測のソースとしてシーケンス内の如何なる他のピクチャも使用せずに符号化及び復号化され得るピクチャであってよい。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（Independent Decoder Refresh，ＩＤＲ）ピクチャを含む種々のタイプのイントラピクチャを許容する。当業者であれば、Ｉピクチャのそのような変形並びにそれらの各々の応用及び特徴を知っている。
【0062】
予測ピクチャ（Predictive Picture）（Ｐピクチャ）は、各ブロックのサンプル値を予測するために多くても１つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測により符号化及び復号化され得るピクチャであってよい。
【0063】
双方向予測ピクチャ（Bi-directionally Predictive Picture）（Ｂピクチャ）は、各ブロックのサンプル値を予測するために多くても２つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測により符号化及び復号化され得るピクチャであってよい。同様に、多重予測ピクチャ（multiple-predictive picture(s)）は、単一のブロックの再構成のために２つよりも多い参照ピクチャ及び関連するメタデータを使用することができる。
【0064】
ソースピクチャは、一般に、複数のサンプルコーディングブロック（例えば、夫々、４×４、８×８、４×８、又は１６×１６のサンプルのブロック）に空間的に細分され、ブロックごとにコーディングされてよい。ブロックは、‘ブロック’の各々のピクチャに適用されているコーディング割り当てによって決定される他の（既にコーディングされた）ブロックを参照して予測的にコーディングされてよい。例えば、Ｉピクチャのブロックは、非予測的にコーディングされてよく、あるいは、それらは、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、１つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされてよい。Ｂピクチャのブロックは、１つ又は２つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされてよい。ソースピクチャ又は中間の処理されたピクチャは、他の目的のために他のタイプのブロックに細分されても良い。コーディングブロック及び他のタイプのブロックの分割は、以下で更に詳細に記載されるように、同じ方法に従っても従わなくてもよい。
【0065】
ビデオエンコーダ（６０３）は、ＩＴＵ－Ｔ推奨Ｈ．２６５のような所定のビデオコーディング技術又は標準規格に従ってコーディング動作を実行してよい。その動作中に、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間及び空間冗長性を利用する予測コーディング動作を含む様々な圧縮動作を実行してよい。それに応じて、コーディングされたビデオデータは、使用されているビデオコーディング技術又は標準規格によって定められているシンタックスに従い得る。
【0066】
いくつかの例示的な実施形態において、送信器（６４０）は、符号化されたビデオとともに追加のデータを送信してもよい。ソースコーダ（６３０）は、コーディングされたビデオシーケンスの部分としてそのようなデータを含めてよい。追加のデータは、時間／空間／ＳＮＲエンハンスメントレイヤ、冗長ピクチャ及びスライスなどの他の形式の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメント、などを有してよい。
【0067】
ビデオは、時間シーケンスにおいて複数のソースピクチャ（ビデオピクチャ）として捕捉されてよい。イントラピクチャ予測（しばしばイントラ予測と省略される。）は、所与のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の時間的な又は他の相関を利用する。例えば、現在ピクチャ（current picture）と呼ばれる、符号化／復号化中の特定のピクチャは、ブロックにパーティション化されてもよい。現在ピクチャ内のあるブロックは、ビデオの前にコーディングされて依然としてバッファリングされている参照ピクチャ内の参照ブロックと類似している場合に、動きベクトルと呼ばれるベクトルによってコーディングされ得る。動きベクトルは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されている場合には、参照ピクチャを識別する第３の次元を有することができる。
【0068】
いくつかの例示的な実施形態において、双予測技術がインターピクチャ予測のために使用され得る。かような双予測技術に従って、２つの参照ピクチャ、例えば、復号化順でビデオ内の現在ピクチャに両方とも先行している（しかし、表示順序では、夫々、過去又は将来にあってよい。）第１参照ピクチャ及び第２参照ピクチャが、使用される。現在ピクチャ内のあるブロックは、第１参照ピクチャ内の第１参照ブロックを指し示す第１動きベクトルと、第２参照ピクチャ内の第２参照ブロックを指し示す第２動きベクトルとによって、コーディングされ得る。そのブロックは、第１参照ブロック及び第２参照ブロックの組み合わせによって一緒に予測可能である。
【0069】
更に、マージモード技術が、コーディング効率を改善するためにインターピクチャ予測において使用されてもよい。
【0070】
本開示のいくつかの例示的な実施形態に従って、インターピクチャ予測及びイントラピクチャ予測などの予測は、ブロックの単位で実行される。例えば、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（Coding Tree Unit，ＣＴＵ）にパーティション化され、ピクチャ内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルといった同じサイズを有してもよい。一般に、ＣＴＵは、３つの並列なコーディングツリーブロック（Coding Tree Block，ＣＴＢ）、つまり、１つのルーマＣＴＢ及び２つのクロマＣＴＢを含み得る。各ＣＴＵは、１つ又は複数のコーディングユニット（Coding Unit，ＣＵ）に再帰的に四分木分割され得る。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１つのＣＵ、又は３２×３２ピクセルの４つのＣＵに分割可能である。３２×３２ブロックの１つ以上は、更に、１６×１６ピクセルの４つのＣＵに分割されてもよい。いくつかの例示的な実施形態において、各ＣＵは、インター予測タイプ又はイントラ予測タイプなどの様々な予測タイプの中で、当該ＣＵのための予測タイプを決定するよう符号化中に解析されてもよい。ＣＵは、時間及び／又は空間予測可能性に応じて１つ以上の予測ユニット（Prediction Unit，ＰＵ）に分割されてもよい。一般に、各ＰＵは、１つのルーマ予測ブロック（Prediction Block，ＰＢ）及び２つのクロマＰＢを含む。実施形態において、コーディング（符号化／復号化）における予測動作は、予測ブロックの単位で実行される。ＰＵ（又は異なる色チャネルのＰＢ）へのＣＵの分割は、様々な空間パターンで実行されてよい。ルーマ又はクロマＰＢは、例えば、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセル、などのような、サンプルの値（例えば、ルーマ値）のマトリクスを含んでもよい。
【0071】
図７は、開示の他の例示的な実施形態に係るビデオエンコーダ（７０３）の図を示す。ビデオエンコーダ（７０３）は、ビデオピクチャの連続に含まれる現在ビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受け取り、コーディングされたビデオシーケンスの部分であるコーディングされたピクチャへと処理ブロックを符号化するよう構成される。例となるビデオエンコーダ（７０３）は、図４の例のビデオエンコーダ（４０３）の代わりに使用されてもよい。
【0072】
例えば、ビデオエンコーダ（７０３）は、８×８サンプルの予測ブロックなどのような処理ブロックのためのサンプル値の行列を受け取る。ビデオエンコーダ（７０３）は、次いで、例えば、レートひずみ最適化（rate-distortion optimization）（ＲＤＯ）を用いて、処理ブロックがイントラモード、インターモード、又は双予測モードにより最も良くコーディングされるかどうかを決定する。処理ブロックがイントラモードでコーディングされると決定される場合には、ビデオエンコーダ（７０３）は、コーディングされたピクチャへと処理ブロックを符号化するためにイントラ予測技術を使用してよく、処理ブロックがインターモード又は双予測モードでコーディングされると決定される場合には、ビデオエンコーダ（７０３）は、コーディングされたピクチャへと処理ブロックを符号化するためにインター予測又は双予測技術を夫々使用してよい。いくつかの例示的な実施形態において、マージモードは、予測子の外にあるコーディングされた動きベクトル成分の恩恵を受けずに１つ以上の動きベクトル予測子から動きベクトルが導出されるインターピクチャ予測のサブモードとして使用されてよい。いくつかの他の例示的な実施形態においては、対象ブロックに適用可能な動きベクトル成分が存在する場合がある。それに応じて、ビデオエンコーダ（７０３）は、処理ブロックの予測モードを決定するために、モード決定モジュールなどの、図７には明示的に示されていないコンポーネントを含んでもよい。
【0073】
図７の例では、ビデオエンコーダ（７０３）は、図７において例示的な配置で示されるように結合されているインターエンコーダ（７３０）、イントラエンコーダ（７２２）、残差計算部（７２３）、スイッチ（７２６）、残差エンコーダ（７２４）、汎用コントローラ（７２１）、及びエントロピエンコーダ（７２５）を含む。
【0074】
インターエンコーダ（７３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受け取り、そのブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、標準所における前のピクチャ及び後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インター符号化技術に従う冗長情報の記述、動きベクトル、マージモード情報）を生成し、何らかの適切な技術を用いてインター予測情報に基づいてインター予測結果（例えば、予測されたブロック）を計算するよう構成される。いくつかの例において、参照ピクチャは、図６の例示的なエンコーダ（６２０）に埋め込まれている復号化ユニット（６３３）（以下で更に詳細に記載されるように、図７の残差デコーダ７２８として示される。）を用いて符号化されたビデオ情報に基づいて復号されている復号された参照ピクチャである。
【0075】
イントラエンコーダ（７２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受け取り、同じピクチャ内で既にコーディングされたブロックとそのブロックを比較し、変換後の量子化された係数を生成するよう、いくつかの場合には、更に、イントラ予測情報（例えば、１つ以上のイントラ符号化技術に従うイントラ予測方向情報）を生成するよう構成される。イントラエンコーダ（７２２）は、イントラ予測情報及び同じピクチャ内の参照ブロックに基づいてイントラ予測結果（例えば、予測ブロック）を計算してもよい。
【0076】
汎用コントローラ（７２１）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（７０３）の他のコンポーネントを制御するよう構成されてよい。例において、汎用コントローラ（７２１）は、ブロックの予測モードを決定し、予測モードに基づいて制御信号をスイッチ（７２６）へ供給する。例えば、予測モードがイントラモードである場合には、汎用コントローラ（７２１）は、残差計算部（７２３）による使用のためにイントラモード結果を選択するようスイッチ（７２６）を制御し、そして、イントラ予測情報を選択し、イントラ予測情報をビットストリームに含めるようエントロピエンコーダ（７２５）を制御する。ブロックの予測モードがインターモードである場合には、汎用コントローラ（７２１）は、残差計算部（７２３）による使用のためにインター予測結果を選択するようスイッチ（７２６）を制御し、そして、インター予測情報を選択し、インター予測情報をビットストリームに含めるようエントロピエンコーダ（７２５）を制御する。
【0077】
残差計算部（７２３）は、受け取られたブロックと、イントラエンコーダ（７２２）又はインターエンコーダ（７３０）から選択されたブロックの予測結果との間の差（残差データ）を計算するよう構成される。残差エンコーダ（７２４）は、残差データを符号化して変換係数を生成するよう構成されてよい。例えば、残差エンコーダ（７２４）は、残差データを空間領域から周波数領域に変換して変換係数を生成するよう構成されてもよい。次いで、変換係数は、量子化された変換係数を取得するよう量子化処理を受ける。様々な例示的な実施形態において、ビデオエンコーダ（７０３）はまた、残差デコーダ（７２８）も含む。残差デコーダ（７２８）は、逆変換を実行し、復号された残差データを生成するよう構成される。復号された残差データは、イントラエンコーダ（７２２）及びインターエンコーダ（７３０）によって適切に使用され得る。例えば、インターエンコーダ（７３０）は、復号された残差データ及びインター予測情報に基づいて、復号ブロックを生成することができ、イントラエンコーダ（７２２）は、復号された残差データ及びイントラ予測情報に基づいて、復号されたブロックを生成することができる。復号されたブロックは、復号されたピクチャを生成するよう適切に処理され、復号されたピクチャは、メモリ回路（図示せず。）にバッファリングされ、参照ピクチャとして使用され得る。
【0078】
エントロピエンコーダ（７２５）は、符号化されたブロックを含めるようにビットストリームをフォーマット化し、エントロピコーディングを実行するよう構成されてよい。エントロピエンコーダ（７２５）は、様々な情報をビットストリームに含めるよう構成される。例えば、エントロピエンコーダ（７２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及び他の適切な情報をビットストリームに含めるよう構成されてよい。インターモード又は双予測モードのどちらか一方のマージサブモードでブロックをコーディングする場合に、残差情報は存在しなくてもよい。
【0079】
図８は、開示の他の実施形態に従う例示的なビデオデコーダ（８１０）の図を示す。ビデオデコーダ（８１０）は、コーディングされたビデオシーケンスの部分であるコーディングされたピクチャを受け取り、コーディングされたピクチャを復号して、再構成されたピクチャを生成するよう構成される。例において、ビデオデコーダ（８１０）は、図４の例のビデオデコーダ（４１０）の代わりに使用されてもよい。
【0080】
図８の例では、ビデオデコーダ（８１０）は、図８において例示的な配置で示されるように結合されているエントロピデコーダ（８７１）、インターデコーダ（８８０）、残差デコーダ（８７３）、再構成モジュール（８７４）、及びイントラデコーダ（８７２）を含む。
【0081】
エントロピデコーダ（８７１）は、コーディングされたピクチャから、シンタックス要素を表す特定のシンボルを再構成するよう構成され得、それらから、コーディングされたピクチャは構成されている。かようなシンボルは、例えば、ブロックがコーディングされるモード（例えば、イントラモード、インターモード、双予測モード、マージサブモード又は他のサブモード）、イントラデコーダ（８７２）又はインターデコーダ（８８０）による予測のために使用される特定のサンプル又はメタデータを識別することができる予測情報（例えば、イントラ予測情報又はインター予測情報）、例えば、量子化された変換係数の形をとる残差情報、などを含むことができる。例において、予測モードがインター又は双予測モードである場合には、インター予測情報がインターデコーダ（８８０）へ供給され、予測タイプがイントラ予測タイプである場合には、イントラ予測情報がイントラデコーダ（８７２）へ供給される。残差情報は、逆量子化を受けることができ、残差デコーダ（８７３）へ供給される。
【0082】
インターデコーダ（８８０）は、インター予測情報を受け取り、インター予測情報に基づいてインター予測結果を生成するよう構成されてよい。
【0083】
イントラデコーダ（８７２）は、イントラ予測情報を受け取り、イントラ予測情報に基づいて予測結果を生成するよう構成されてよい。
【0084】
残差デコーダ（８７３）は、逆量子化された変換係数を取り出すように逆量子化を実行し、逆量子化された変換係数を処理して、残差を周波数領域から空間領域に変換するよう構成されてよい。残差デコーダ（８７３）はまた、（量子化パラメータ（ＱＰ）を含めるための）特定の制御情報を利用してもよく、その情報は、エントロピデコーダ（８７１）によって供給されてよい（これは低容量の制御情報のみであるということで、データパスは示されない。）。
【0085】
再構成モジュール（８７４）は、残差デコーダ（８７３）によって出力された残差と、（場合によっては、インター又はイントラ予測モジュールによって出力された）予測結果とを空間領域において組み合わせて、再構成されたビデオの部分として再構成されたピクチャの部分を形成する再構成されたブロックを形成するよう構成されてよい。なお、デブロッキング動作などのような他の適切な動作が、視覚品質を改善するために実行されてもよい。
【0086】
なお、ビデオエンコーダ（４０３）、（６０３）及び（７０３）並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、如何なる適切な技術によっても実装可能である。いくつかの例示的な実施形態において、ビデオエンコーダ（４０３）、（６０３）及び（７０３）並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、１つ以上の集積回路を用いて実装可能である。他の実施形態では、ビデオエンコーダ（４０３）、（６０３）及び（７０３）並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実装可能である。
【0087】
コーディングブロックパーティショニングを参照すると、いくつかの実施例において、所定のパターンが適用されてよい。図９に示されるように、第１の事前定義されたレベル（例えば、６４×６４ブロックレベル）から開始して、第２の事前定義されたレベル（例えば、４×４レベル）まで下がる、例となる４通りのパーティションツリーが用いられてよい。例えば、ベースブロックは、９０２、９０４、９０６、及び９０８で示されている４つのパーティショニングオプションに従ってよく、Ｒと表記されているパーティションは、図９に示されているのと同じパーティションツリーが、最低レベル（例えば、４×４レベル）まで、より低いスケールで繰り返され得る点で、再帰的パーティションが可能である。いくつかの実施において、追加の制限が、図９のパーティショニングスキームに適用されてもよい。図９の実施では、長方形パーティション（例えば、１：２／２：１長方形パーティション）が許され得るが、それらは再帰的であることができない場合があり、一方、正方形パーティショニングは再帰的であることができる。再帰により図９に従うパーティショニングは、必要に応じて、コーディングブロックの最終的な組を生成する。そのようなスキームは、色チャネルの１つ以上に適用され得る。
【0088】
図１０は、再帰的パーティショニングがパーティショニングツリーを形成することを可能にする他の例示的な事前定義されたパーティショニングパターンを示す。図１０に示されるように、例となる１０通りのパーティショニング構造又はパターンが事前定義されてよい。根ブロックは、事前定義されたレベルで（例えば、１２８×１２８レベル又は６４×６４レベルから）開始してよい。図１０の例示的なパーティショニング構造は、様々な２：１／１：２及び４：１／１：４長方形パーティションを含む。図１０の２段目で１００２、１００４、１００６、及び１００８で示されている、３つのサブパーティションを含むパーティションタイプは、「Ｔ－ｔｙｐｅ」パーティションと呼ばれることがある。「Ｔ－ｔｙｐｅ」パーティション１００２、１００４、１００６及び１００８はＬｅｆｔ Ｔ－Ｔｙｐｅ、Ｔｏｐ Ｔ－Ｔｙｐｅ、Ｒｉｇｈｔ Ｔ－Ｔｙｐｅ、及びＢｏｔｔｏｍ Ｔ－Ｔｙｐｅと呼ばれ得る。いくつかの実施において、図１０の長方形パーティションのどれもこれ以上細分され得ない。コーディングツリー深さは、根ノード又は根ブロックからの分割深さを示すよう更に定義されてもよい。例えば、根ノード又は根ブロック、例えば、１２８×１２８ブロックのコーディングツリー深さは、０にセットされてよく、根ブロックが図１０に従って１度更に分割された後、コーディングツリー深さは１だけ増える。いくつかの実施において、１０１０の全正方形パーティションのみが、図１０のパターンに従うパーティショニングツリーの次のレベルへの再帰的パーティショニングを許され得る。換言すれば、再帰的パーティショニングは、パターン１００２、１００４、１００６及び１００８による正方形パーティションに対して許され得ない。再帰により図１０に従うパーティショニングは、必要に応じて、コーディングブロックの最終的な組を生成する。そのようなスキームは、色チャネルの１つ以上に適用されてよい。
【0089】
上記のパーティショニングプロシージャ又は他のプロシージャのいずれかに従ってベースブロックを分割又はパーティション化した後、パーティション又はコーディングブロックの最終的な組が取得され得る。それらのパーティションの夫々は、様々なパーティショニングレベルのうちの１つにあってよい。夫々のパーティションはコーディングブロック（ＣＢ）と呼ばれ得る。上記の様々なパーティショニングの実施例について、結果として得られた各ＣＢは、許されているサイズ及びパーティショニングレベルのいずれかを有し得る。それらは、いくつかの基本的な符号化／復号化決定を行うことができ、符号化／復号化パラメータを最適化し、決定し、符号化されたビデオビットストリームでシグナリングすることができるユニットを形成し得るということで、コーディングブロックと呼ばれる。最終的なパーティションの中で最も高いレベルは、コーディングブロックパーティショニングツリーの深さを表す。コーディングブロックは、ルーマコーディングブロック又はクロマコーディングブロックであってよい。
【0090】
いくつかの他の実施例では、４分木構造が、ベースルーマ及びクロマブロックを再帰的にコーディングブロックに分割するために使用されてよい。かような分割構造はコーディングツリーユニット（ＣＴＵ）と呼ばれることがあり、ＣＴＵは、ベースＣＴＵの様々な局所特性にパーティショニングを適応させるために４分木構造を使用することによってコーディングユニット（ＣＵ）に分割される。このような実施において、サイズがピクチャ境界に合うまでブロックが４分木分割を続けるように、暗黙的な４分木分割がピクチャ境界では実行されてよい。ＣＵという用語は、ルーマ及びクロマコーディングブロック（ＣＢ）のユニットを集合的に指すために使用される。
【0091】
いくつかの実施において、ＣＢは更にパーティション化されてもよい。例えば、ＣＢは、符号化プロセス及び復号化プロセス中のイントラ又はインターフレーム予測のために複数の予測ブロック（ＰＢ）に更にパーティション化されてもよい。換言すれば、ＣＢは異なるサブパーティションに更に分割されてよく、このとき、個別の予測決定／構成が行われてもよい。並行して、ＣＢは、ビデオデータの変換又は逆変換が実行されるレベルを線引きするために複数の変換ブロック（ＴＢ）に更にパーティション化されてもよい。ＰＢ及びＴＢへのＣＢのパーティショニングスキームは同じであってもなくてもよい。例えば、各パーティショニングスキームは、例えば、ビデオデータの様々な特性に基づいて、それ自体のプロシージャを用いて実行されてよい。ＰＢ及びＴＢパーティショニングスキームは、いくつかの実施例においては独立であってよい。ＰＢ及びＴＢパーティショニングスキーム及び境界は、いくつかの実施においては相関してもよい。いくつかの実施において、例えば、ＴＢは、ＰＢパーティション後にパーティション化されてよく、特に、各ＰＢは、コーディングブロックのパーティショニングに続いて決定された後、次いで１つ以上のＴＢに更にパーティション化されてもよい。例えば、いくつかの実施において、ＰＢは１つ、２つ、４つ、又は他の数のＴＢに分割されてよい。
【0092】
いくつかの実施において、コーディングブロックへの、更には予測ブロック及び／又は変換ブロックへのベースブロックのパーティショニングのために、ルーマチャネル及びクロマチャネルは異なるように扱われてもよい。例えば、いくつかの実施において、予測ブロック及び／又は変換ブロックへのコーディングブロックのパーティショニングはルーマチャネルに対して許可されてよく、一方、予測ブロック及び／変換ブロックへのコーディングブロックのかようなパーティショニングはクロマチャネルに対して許可されなくてもよい。かような実施において、ルーマブロックの変換及び／又は予測は、よって、コーディングブロックレベルでしか実行されなくてもよい。他の例として、ルーマチャネル及びクロマチャネルの最小変換ブロックサイズは異なってもよく、例えば、ルーマチャネルのコーディングブロックは、クロマチャネルよりも小さい変換及び／又は予測ブロックへパーティション化されることを許可されてよい。更なる他の例として、変換ブロック及び／又は予測ブロックへのコーディングブロックのパーティショニングの最大深さは、ルーマチャネルとクロマチャネルとの間で異なってもよく、例えば、ルーマチャネルのコーディングブロックは、クロマチャネルよりも深い変換及び／又は予測ブロックへパーティション化されることを許可されてよい。具体例として、ルーマコーディングブロックは、最大２レベルまで下がる再帰的パーティションによって繰り返すことができる複数のサイズの変換ブロックにパーティション化されてもよく、正方形、２：１／１：２及び４：１／１：４などの変換ブロック形状並びに４×４から６４×６４までの変換ブロックサイズが許可されてよい。クロマブロックの場合には、しかしながら、ルーマブロックに対して指定された最大限の変換ブロックが許可されてもよい。
【0093】
ＰＢへのコーディングブロックのパーティショニングのためのいくつかの実施例において、ＰＢパーティショニングの深さ、形状、及び／又は他の特性は、ＰＢがイントラ又はインターコーディングされるかどうかに依存してよい。
【0094】
変換ブロックへのコーディングブロック（又は予測ブロック）のパーティショニングは、４分木分割及び事前定義されたパターン分割を含むが限られない様々な例示的なスキームにおいて、再帰的又は非再帰的に、コーディングブロック又は予測ブロックの境界での変換ブロックを更に考慮して、実施されてもよい。一般に、結果として得られた変換ブロックは異なる分割レベルにあってよく、同じサイズでなくてもよく、形状が正方形である必要がなくてもよい（例えば、それらは、何らかの許可されたサイズ及びアスペクト比で長方形であることができる。）。
【0095】
いくつかの実施において、コーディングパーティションツリースキーム又は構造が使用されてもよい。ルーマチャネル及びクロマチャネルに使用されるコーディングパーティションツリースキームは、同じである必要はない。換言すれば、ルーマチャネル及びクロマチャネルは、別個のコーディングツリー構造を有してもよい。更に、ルーマチャネル及びクロマチャネルが同じ又は異なるコーディングパーティションツリー構造を使用するかどうかと、使用されるべき実際のコーディングパーティションツリー構造とは、コーディングされているスライスがＰ、Ｂ又はＩスライスであるかどうかに依存してよい。例えば、Ｉスライスの場合に、クロマチャネル及びルーマチャネルは、別個のコーディングパーティションツリー構造又はコーディングパーティションツリー構造モードを有してよく、一方、Ｐ又はＢスライスの場合には、ルーマチャネル及びクロマチャネルは、同じコーディングパーティションツリースキームを共有してよい。別個のコーディングパーティションツリー構造又はモードが適用される場合に、ルーマチャネルは、１つのコーディングパーティションツリー構造によってＣＢにパーティション化されてよく、クロマチャネルは、他のコーディングパーティションツリー構造によってクロマＣＢにパーティション化されてよい。
【0096】
コーディングブロック及び変換ブロックのパーティショニングの具体的な実施例が以下で記載される。かような実施例において、ベースコーディングブロックは、上記の再帰的４分木分割を用いて、コーディングブロックに分割されてよい。各レベルで、特定のパーティションの更なる４分木分割が続くべきかどうかが、局所ビデオデータ特性によって決定されてよい。結果として得られたＣＢは、様々なサイズの様々な４分木分割レベルにあってよい。インターピクチャ（時間）又はイントラピクチャ（空間）予測によりピクチャエリアをコーディングすべきかどうかに関する決定は、ＣＢレベル（又は、全ての３色チャネルについて、ＣＵレベル）で行われてよい。各ＣＢは、ＰＢ分割タイプに従って、１つ、２つ、４つ、又は他の数のＰＢに更に分割されてもよい。１つのＰＢ内で、同じ予測プロセスが適用されてよく、関連情報はＰＢベースでデコーダへ伝えられる。ＰＢ分割タイプに基づいて予測プロセスを適用することによって残差ブロックを取得した後、ＣＢは、ＣＢのコーディングツリーに類似した他の４分木構造に従って、ＴＢにパーティション化され得る。この特定の実施においては、ＣＢ又はＴＢは、しかしながら、正方形形状に制限される必要がない。更に、この特定の例においては、ＰＢは、インター予測のために正方形又は長方形形状であってよく、イントラ予測のためには正方形のみであってよい。コーディングブロックは、例えば、４つの正方形形状のＴＢに更に分割されてよい。各ＴＢは、残差４分木（Residual Quad-Tree）（ＲＱＴ）と呼ばれるより小さいＴＢに再帰的に（４分木分割により）更に分割されてもよい。
【0097】
ＣＢ及び他のＰＢ及び／又はＴＢへのベースコーディングブロックのパーティショニングのための他の具体例が以下で記載される。例えば、図１０に示されるもののような複数のパーティションユニットタイプを使用するのではなく、２分及び３分分割を用いたネスト化されたマルチタイプツリーを含む４分木のセグメンテーション構造が使用されてもよい。ＣＢ、ＰＢ及びＴＢ概念の分離（つまり、ＰＢ及び／又はＴＢへのＣＢのパーティショニング、並びにＴＢへのＰＢのパーティショニング）は、最大変換長さに対してサイズが大きすぎるＣＢに必要とされる場合を除いて放棄されてよい。ただし、かようなＣＢは更に分割される必要があり得る。この例となるパーティショニングスキームは、予測及び変換が両方とも更なるパーティショニングなしでＣＢレベルで実行され得るように、ＣＢパーティション形状の更なる柔軟性をサポートするよう設計され得る。かようなコーディングツリー構造では、ＣＢは正方形又は長方形のどちらかの形状を有してよい。具体的に、コーディングツリーブロック（ＣＴＢ）は最初に４分木構造によってパーティション化されてよい。次いで、４分木リーフノードは、マルチタイプツリーによって更にパーティション化されてよい。マルチタイプツリー構造の例は、図１１に示される。具体的に、図１１の例となるマルチタイプツリー構造は、垂直２分分割（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）（１１０２）、水平２分分割（ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）（１１０４）、垂直３分分割（ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）（１１０６）、及び水平３分分割（ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）（１１０８）と呼ばれる４つの分割タイプを含む。ＣＢはその場合に、マルチタイプツリーのリーフに対応する。この実施例において、ＣＴが最大変換長さに対して大きすぎない限り、このセグメンテーションは、更なるパーティショニングなしで予測及び変換の両方の処理に使用される。これは、ほとんどの場合に、ネスト化されたマルチタイプツリーコーディングブロックを含む４分木構造においてＣＢ、ＰＢ及びＴＢが同じブロックサイズを有することを意味する。例外は、最大サポート変換長さがＣＢの色成分の幅又は高さよりも小さい場合に起こる。
【0098】
１つのＣＴＢに対するブロックパーティションのネスト化されたマルチタイプツリーコーディングブロックを含む４分木構造の一例は、図１２に示される。より詳細には、図１２は、ＣＴＢ１２００が４つの正方形パーティション１２０２、１２０４、１２０６、及び１２０８に４分木分割されることを示す。分割のために図１１のマルチツリー構造を更に使用すべきとの決定は、４分木分割されたパーティションの夫々について行われる。図１２の例では、パーティション１２０４は更に分割されない。パーティション１２０２及び１２０８は夫々、もう１つの４分木分割を採用している。パーティション１２０２については、第２レベルで４分木分割された左上、右上、左下、及び右下パーティションが、第３レベルで夫々、４分木分割、図１１の水平２分分割１１０４、無分割、及び図１１の水平３分分割１１０８を採用している。パーティション１２０８は、もう１つの４分木分割を採用し、第２レベルで４分木分割された左上、右上、左下、及び右下パーティションが、第３レベルで夫々、図１１の垂直３分分割１１０６、無分割、無分割、及び図１１の水平２分分割１１０４を採用している。１２０８の第２レベルの左上パーティションの第３レベルのサブパーティションのうちの２つは、図１１の水平２分分割１１０４及び図１１の水平３分分割１１０８に夫々従って更に分割されている。パーティション１２０６は、図１１の垂直２分分割１１０２に従う第２レベルの分割パターンを採用して２つのパーティションに分割され、それら２つのパーティションは更に、図１１の水平３分分割１１０８及び垂直２分分割１１０２に従って第３レベルで分割されている。それら２つのパーティションのうちの１つに対しては、第４レベルの分割が、図１１の水平２分分割１１０４に従って更に適用されている。
【0099】
上記の具体例について、最大ルーマ変換サイズは６４×６４であってよく、最大サポートクロマ変換サイズはルーマとは異なってもよく、例えば３２×３２である。ルーマコーディングブロック又はクロマコーディングブロックの幅又は高さが最大変換幅又は高さよりも大きい場合に、ルーマコーディングブロック又はクロマコーディングブロックは、水平及び／又は垂直方向での変換サイズ制限を満足するようその方向において自動的に分割されてもよい。
【0100】
上記のＣＢへのベースコーディングブロックのパーティショニングのための具体例においては、上述されたように、コーディングツリースキームは、ルーマ及びクロマが別個のブロックツリー構造を有する能力をサポートし得る。例えば、Ｐスライス及びＢスライスの場合に、１つのＣＴＵ内のルーマＣＴＢ及びクロマＣＴＢは同じコーディングツリー構造を共有してよい。Ｉスライスの場合に、例えば、ルーマ及びクロマは別個のコーディングブロックツリー構造を有してよい。別個のブロックツリーモードが適用される場合に、ルーマＣＴＢは１つのコーディングツリー構造によってルーマＣＢにパーティション化されてよく、クロマＣＴＢは他のコーディングツリー構造によってクロマＣＢにパーティション化される。これは、ＩスライスでのＣＵは、ルーマ成分のコーディングブロック又は２つのクロマ成分のコーディングブロックから成ることができ、Ｐ又はＢスライスでのＣＵは、ビデオがモノクロでない限りは、常に３つ全ての色成分のコーディングブロックから成る、ことを意味する。
【0101】
変換ブロックへコーディングブロック又は予測ブロックをパーティション化する実施例、及び変換ブロックのコーディング順序は、以下で更に記載される。いくつかの実施例において、変換パーティショニングは、例えば、４×４から６４×６４までの範囲に及ぶ変換ブロックサイズで、複数の形状、例えば、１：１（正方形）、１：２／２：１、及び１：４／４：１の変換ブロックをサポートしてよい。いくつかの実施において、コーディングブロックが６４×６４以下である場合に、変換ブロックパーティショニングはルーマ成分にのみ適用されてよく、それにより、クロマブロックについては、変換ブロックサイズはコーディングブロックサイズと同じである。そうでなければ、コーディングブロックの幅又は高さが６４よりも大きい場合に、ルーマコーディングブロック及びクロマコーディングブロックの両方が、夫々、ｍｉｎ（Ｗ，６４）×ｍｉｎ（Ｈ，６４）及びｍｉｎ（Ｗ，３２）×ｍｉｎ（Ｈ，３２）の複数の変換ブロックに暗黙的に分割されてよい。
【0102】
いくつかの実施例において、イントラコーディングされたブロック及びインターコーディングされたブロックの両方について、コーディングブロックは、事前定義されたレベル数（例えば、２レベル）までのパーティショニング深さで複数の変換ブロックに更にパーティション化されてよい。変換ブロックパーティショニングの深さ及びサイズは関連付けられ得る。い現在の深さの変換サイズから次の深さの変換サイズへの例示的なマッピングは、以下で表１に示されている。
【表1】
【0103】
表１の例となるマッピングに基づいて、１：１正方形ブロックの場合に、次のレベルの変換分割は４つの１：１正方形サブ変換ブロックを生成し得る。変換パーティションは、例えば、４×４で停止してよい。従って、４×４の現在の深さの変換サイズは、次の深さの４×４の同じサイズに対応する。表１の例で、１：２／２：１の非正方形ブロックの場合に、次のレベルの変換分割は、２つの１：１正方形サブ変換ブロックを生成することになり、一方、１：４／４：１の非正方形ブロックの場合に、次のレベルの変換分割は、２つの１：２／２：１サブ変換ブロックを生成することになる。
【0104】
いくつかの実施例において、イントラコーディングされたブロックのルーマ成分の場合に、追加の制限が適用されてもよい。例えば、変換パーティショニングの各レベルについて、全てのサブ変換ブロックは、等しいサイズを有するよう制限されてもよい。例えば、３２×１６のコーディングブロックの場合に、レベル１変換分割は２つの１６×１６サブ変換ブロックを生成し、レベル２変換分割は８つの８×８サブ変換ブロックを生成する。換言すれば、第２レベルの分割は、変換ユニットを等しいサイズに保つように全ての第１レベルサブブロックに適用されるべきである。表１に従うイントラコーディングされた正方形ブロックに対する変換ブロックパーティショニングの例は、矢印によって表されるコーディング順序とともに、図１３に示される。具体的に、１３０２は正方形コーディングブロックを示す。表１に従う４つの等しいサイズの変換ブロックへの第１レベル分割は、矢印によって示されたコーディング順序とともに１３０４で示されている。表１に従う１６個の等しいサイズの変換ブロックへの第１レベルの等しいサイズのブロックの全ての第２レベル分割は、矢印によって示されたコーディング順序ととも１３０６で示されている。
【0105】
いくつかの実施例において、インターコーディングされたブロックのルーマ成分の場合に、イントラコーディングに対する上記の制限は適用されなくてもよい。例えば、第１レベルの変換分割の後、サブ変換ブロックのいずれか１つは、１つの更なるレベルで独立して更に分割されてよい。よって、結果として得られた変換ブロックは同じサイズであってもなくてもよい。変換ブロックへのインターコーディングされたブロックの分割の例は、それらのコーディング順序とともに図１４に示される。図１４の例で、インターコーディングされたブロック１４０２は、表１に従って２つのレベルで変換ブロックに分割される。第１レベルで、インターコーディングされたブロックは、等しいサイズの４つの変換ブロックに分割される。次いで、４つの変換ブロック（それらの全てではない）のうちの１つのみが４つのサブ変換ブロックに更に分割され、その結果、１４０４によって示されるように、２つの異なったサイズを有する全部で７つの変換ブロックが得られる。これら７つの変換ブロックのコーディング順序の例は、図１４の１４０４において矢印によって示されている。
【0106】
いくつかの実施例において、クロマ成分については、変換ブロックに対する何らかの追加制限が適用されてもよい。例えば、クロマ成分について、変換ブロックサイズは、コーディングブロックサイズと同じ大きさであることができるが、事前定義されたサイズ、例えば、８×８よりも小さくはできない。
【0107】
いくつかの他の実施例において、幅（Ｗ）又は高さ（Ｈ）のどちらかが６４よりも大きいコーディングブロックの場合に、ルーマコーディングブロック及びクロマコーディングブロックの両方が、夫々、ｍｉｎ（Ｗ，６４）×ｍｉｎ（Ｈ，６４）及びｍｉｎ（Ｗ，３２）×ｍｉｎ（Ｈ，３２）の複数の変換ユニットに暗黙的に分割されてよい。
【0108】
図１５は、コーディングブロック又は予測ブロックを変換ブロックにパーティション化するスキームの他の代替例を更に示す。図１５に示されるように、再帰的な変換パーティショニングを使用するのではなく、パーティショニングタイプの事前定義された組が、コーディングブロックの変換タイプに応じてコーディングブロックに適用されてよい。図１５に示される具体例では、６つの例となるパーティショニングタイプのうちの１つが、コーディングブロックを様々な数の変換ブロックに分割するために適用され得る。かようなスキームは、コーディングブロック又は予測ブロックのどちらかに適用されてよい。
【0109】
より詳細には、図１５のパーティショニングスキームは、図１５に示されるような、任意の所与の変換タイプについて、最大６つまでのパーティションタイプを提供する。このスキームでは、あらゆるコーディングブロック又は予測ブロックは、例えば、レートひずみコストに基づいて、変換タイプを割り当てられ得る。一例で、コーディングブロック又は予測ブロックに割り当てられるパーティションタイプは、コーディングブロック又は予測ブロックの変換パーティションタイプに基づいて決定されてよい。特定のパーティションタイプは、図１５で表されているパーティションタイプによって示されるように、変換ブロック分割サイズ及びパターン（又はパーティションタイプ）に対応してよい。様々な変換タイプと様々なパーティションとの間の対応関係は予め定義されてよい。レートひずみコストに基づいてコーディングブロック又は予測ブロックに割り当てられ得る変換パーティションタイプを示す大文字ラベルを使用して、例となる対応が以下で示される：
・ＰＡＲＴＩＴＩＯＮ＿ＮＯＮＥ：ブロックサイズに等しい変換サイズを割り当てる。
・ＰＡＲＴＩＴＩＯＮ＿ＳＰＬＩＴ：ブロックサイズの幅の１／２及びブロックサイズの高さの１／２である変換サイズを割り当てる。
・ＰＡＲＴＩＴＩＯＮ＿ＨＯＲＺ：ブロックサイズと同じ幅及びブロックサイズの高さの１／２を有する変換サイズを割り当てる。
・ＰＡＲＴＩＴＩＯＮ＿ＶＥＲＴ：ブロックサイズの幅の１／２及びブロックサイズと同じ高さを有する変換サイズを割り当てる。
・ＰＡＲＴＩＴＩＯＮ＿ＨＯＲＺ４：ブロックサイズと同じ幅及びブロックサイズの高さの１／４を有する変換サイズを割り当てる。
・ＰＡＴＲＩＴＩＯＮ＿ＶＥＲＴ４：ブロックサイズの幅の１／４及びブロックサイズと同じ高さを有する変換サイズを割り当てる。
・ＰＡＲＴＩＴＩＯＮ＿ＮＯＮＥ：ブロックサイズに等しい変換サイズを割り当てる。
・ＰＡＲＴＩＴＩＯＮ＿ＳＰＬＩＴ：ブロックサイズの幅の１／２及びブロックサイズの高さの１／２である変換サイズを割り当てる。
・ＰＡＲＴＩＴＩＯＮ＿ＨＯＲＺ：ブロックサイズと同じ幅及びブロックサイズの高さの１／２を有する変換サイズを割り当てる。
・ＰＡＲＴＩＴＩＯＮ＿ＶＥＲＴ：ブロックサイズの幅の１／２及びブロックサイズと同じ高さを有する変換サイズを割り当てる。
・ＰＡＲＴＩＴＩＯＮ＿ＨＯＲＺ４：ブロックサイズと同じ幅及びブロックサイズの高さの１／４を有する変換サイズを割り当てる。
・ＰＡＴＲＩＴＩＯＮ＿ＶＥＲＴ４：ブロックサイズの幅の１／４及びブロックサイズと同じ高さを有する変換サイズを割り当てる。
【0110】
上記の例では、図１５に示されるパーティションタイプは全て、パーティション化された変換ブロックに対して一様な変換サイズを含む。これは、限定ではなく例に過ぎない。いくつかの他の実施においては、混合変換ブロックサイズが、特定のパーティションタイプ（又はパターン）でのパーティション化された変換ブロックに使用されてもよい。
【0111】
プライマリ変換を参照すると、例示的な２Ｄ（２次元）変換プロセスは、両方の次元に同じ変換カーネルを使用することに加えて、ハイブリッド変換カーネル（例えば、コーディングされた残差ブロックの次元ごとに異なる１Ｄ（１次元）変換から成ってよい。）の使用を伴うことがある。例示的なプライマリ１Ｄ変換カーネルには、ａ）４ポイント（４ｐ）、８ポイント（８ｐ）、１６ポイント（１６ｐ）、３２ポイント（３２ｐ）、及び６４ポイント（６４ｐ）、ｂ）４ポイント、８ポイント、１６ポイント非対称ＤＳＴ及びそれらの反転バージョン（ＤＳＴは離散サイン変換（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を表す。）、ｃ）４ポイント、８ポイント、１６ポイント、又は３２ポイントアイデンティティ変換、ｄ）増分距離変換（Ｉｎｃｒｅｍｅｎｔａｌ Ｄｉｓｔａｎｃｅ Ｔｒａｎｓｆｏｒｍｓ，ＩＤＴ）が含まれ得るが、これらに限られない。従って、２Ｄ変換プロセスは、ハイブリッド変換又は変換カーネル（コーディングされた残差ブロックの次元ごとに異なる変換）の使用を伴うことがあり、このとき、次元ごとに使用される変換又は変換カーネルの選択は、レートひずみ（ＲＤ）基準に基づいてもよい。変換カーネルという用語は、代替的に、変換基本関数（ｔｒａｎｓｆｏｒｍ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ）とも呼ばれることがある。例えば、２Ｄ変換のためのハイブリッドとして実装され得る１Ｄ ＤＣＴ－２、ＤＳＴ－４及びＤＳＴ－７の基本関数は、表２に挙げられる（ＤＣＴは離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を表す。）。
【表2】
【0112】
例えば、ＤＣＴ－２（４ｐ－６４ｐ）、ＤＳＴ－４（８ｐ，１６ｐ）、及びＤＳＴ－７（４ｐ）変換は、対称／非対称特性を示すので、「部分バタフライ」（partial butterfly）実施が、演算カウント（乗算、加算／減算、シフト）の数を減らすためにいくつかの実施例ではサポートされることがある。部分バタフライ実施は、様々な角度で、図１６に示されるように、三角コサイン及びサイン関数を使用したプレーナ回転を伴うことがある。例となる１２ビットルックアップテーブルが図１７及び図１８に示されており、三角関数の値を生成するために利用されてよい。具体的に、図１７は、例となるＤＣＴ－２（４ｐ－６４ｐ）／ＤＳＴ－４（８ｐ，１６ｐ）部分バタフライルックアップテーブルを示し、図１８は、例となるＤＳＴ－７（４ｐ）部分バタフライルックアップテーブルを示す。
【0113】
いくつかの実施例で、変換は、図１９に示されるようなライングラフ変換（Ｌｉｎｅ Ｇｒａｐｈ Ｔｒａｎｓｆｏｒｍｓ，ＬＧＴ）を含んでもよい。グラフは、関心のあるオブジェクト間の親和関係をモデル化するために使用される頂点及び辺の組から成る一般的な数学的構造であり得る。実際に、重み付きグラフ（重みの組が辺に、場合により頂点に割り当てられる。）は、信号／データのロバストなモデリングのためのスパース表現をもたらし得る。ＬＧＴは、多様なブロック統計に対するより良い適応を提供することによってコーディング効率を向上させ得る。分離可能なＬＧＴは、ブロック残差信号の基礎となる行及び列ごとの統計をモデル化するためにデータからライングラフを学習することによって設計及び最適化され得る。このとき、関連する一般化グラフラプラシアン（Ｇｅｎｅｒａｌｉｚｅｄ Ｇｒａｐｈ Ｌａｐｌａｃｉａｎ，ＧＧＬ）行列がＬＧＴを導出するために使用される。
【0114】
１つの実施において、重み付きグラフＧ（Ｗ，Ｖ）を考えると、ＧＧＬは、ＬＥ＝Ｄ－Ｗ＋Ｖとして定義されてよく、Ｗは、非負エッジ重みＷｃから成る隣接行列であってよく、Ｄは、対角次数行列であってよく、Ｖは、重み付き自己ループＶｃ１，Ｖｃ２を表す対角行列であってよい。行列Ｌｃは、次のように表現することができる：
【数1】
【0115】
次いで、ＬＧＴが、ＧＧＬ Ｌｃの固有値分解によって導出され得る：
【数2】
【0116】
直交行列Ｕの列は、ＬＧＴの基本ベクトルであり、Φは、対角固有値行列である。実際に、ＤＣＴ－２、ＤＣＴ－８及びＤＳＴ－７を含むＤＣＴ及びＤＳＴは、特定の形式のＧＧＬから導出される。ＤＣＴ－２は、Ｖｃ１＝０をセットすることによって導出され、ＤＳＴ－７は、Ｖｃ１＝Ｗｃをセットすることによって導出され、ＤＣＴ－８は、Ｖｃ２＝Ｗｃをセットすることによって導出され、ＤＳＴ－４は、Ｖｃ１＝２Ｗｃをセットすることによって導出され、ＤＣＴ－４は、Ｖｃ２＝２Ｗｃをセットすることによって導出される。
【0117】
ＬＧＴは、行列乗算として実施されてもよい。４ｐ ＬＧＴコアは、ＬｃにおいてＶｃ１＝２Ｗｃをセットすることによって導出され得、すなわち、それはＤＳＴ－４である。８ｐＬＧＴコアは、ＬｃにおいてＶｃ１＝１．５Ｗｃをセットすることによって導出され得、１６ｐ、３２ｐ及び６４ｐ ＬＧＴコアは、Ｌｃにおいてｃ１＝Ｗｃをセットすることによって導出され得、すなわち、それはＤＳＴ－７である。
【0118】
コーディングブロック／ユニットのための特定のタイプのシグナリングのいくつかの実施例を参照すると、各イントラ及びインターコーディングユニットについて、フラグ、つまりｓｋｉｐ＿ｔｘｆｍフラグが、以下の表３の例示的なシンタックスで示され、ビットストリームからのそのフラグの読み出しのためのｒｅａｄ＿ｓｋｉｐ（）関数によって表現されるように、コーディングされたビットストリームでシグナリングされてよい。このフラグは、変換係数が現在のコーディングユニットで全てゼロであるかどうかを示し得る。いくつかの実施例で、このフラグが、例えば値１を有して、シグナリングされる場合に、他の変換係数関連シンタックス、例えば、ＥＯＢ（Ｅｎｄ ｏｆ Ｂｌｏｃｋ）は、コーディングユニット内の色コーディングブロックのいずれに対してもシグナリングされる必要はなく、ゼロ変換係数ブロックに対して事前定義されてそれと関連付けられた値又はデータ構造として導出することができる。インターコーディングブロックの場合に、表３の例によって示されるように、このフラグは、コーディングユニットが様々な理由でスキップされる可能性があることを示すスキップモードフラグの後に、シグナリングされてよい。ｓｋｉｐ＿ｍｏｄｅが真であるとき、コーディングユニットはスキップされるべきであり、ｓｋｉｐ＿ｔｘｆｍフラグをシグナリングすることは不要であり、ｓｋｉｐ＿ｔｘｆｍフラグは１と推測される。そうではなく、ｓｋｉｐ＿ｍｏｄｅが偽である場合には、コーディングユニットに関する更なる情報がビットストリームに含まれ、ｓｋｉｐ＿ｔｘｆｍフラグは更に、コーディングユニットが全てゼロであるか否かを示すためにシグナリングされることになる。
【表3】
【0119】
色成分の夫々における残差の変換係数の符号化及び復号化（エントロピコーディング）を参照すると、変換ブロックごとに、変換係数コーディングは、スキップ符号のシグナリングから始まり、スキップ符号がゼロである（非ゼロ係数が存在することを示す）場合に、その後に変換カーネルタイプ及びエンド・オブ・ブロック（ＥＯＢ）位置が続く。次いで、各係数値は、複数のレベルマップ（振幅マップ）及び符号にマッピングされる。
【0120】
ＥＯＢ位置がコーディングされた後、下位レベルのマップ及び中位レベルのマップが逆スキャン順序でコーディングされてよく、前者は、係数の大きさが低レベル内（例えば、０から２の間）にあるかどうかを示し、後者は、範囲が中間レベル内（例えば、３から１４
の間）にあるかどうかを示す。次のステップでは、前方走査順序で、係数の符号及び高レベル（例えば、１４）より大きい係数の残差値を、例えばＥｘｐ－Ｇｏｌｏｍｂコードによって、コーディングする。
の間）にあるかどうかを示す。次のステップでは、前方走査順序で、係数の符号及び高レベル（例えば、１４）より大きい係数の残差値を、例えばＥｘｐ－Ｇｏｌｏｍｂコードによって、コーディングする。
【0121】
コンテキストモデリングの使用に関しては、下位レベルのマップコーディングは、変換サイズ及び方向、並びに最大５つの隣接係数情報を組み込むことができる。一方、中位レベルのマップコーディングは、隣接する係数の数がより少ない数（例えば、２つ）になることを除いて、下位レベルの振幅コーディングと同様のアプローチに従うことができる。残差レベル及びＡＣ係数の符号に対する例示的なＥｘｐ－Ｇｏｌｏｍｂコードは、コンテキストモデルなしでコーディングされ、一方、ＤＣ係数の符号は、その隣接変換ブロックのＤＣ符号を使用してコーディングされる。
【0122】
いくつかの実施例で、クロマ残差はまとめてコーディングされてもよい。かようなコーディングスキームは、クロマチャネル間の何らかの統計的相関に基づいてよい。例えば、多くの場合に、Ｃｒ及びＣｂクロマ係数は、振幅が類似しているが符号が逆であり得るので、例えば、変換係数がシグナリングされる変換ブロックレベルでは、小さな色歪みを導入するだけで、コーディング効率を向上させるよう一緒に符号化され得る。結合クロマコーディングモード（joint chroma coding mode）の利用（アクティブ化）は、例えば、結合クロマコーディングフラグ（例えば、ＴＵレベルのフラグｔｕ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇ）によって示すことができ、選択された結合モードは、クロマＣＢＦによって暗黙的に示され得る。
【0123】
具体的に、フラグｔｕ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇは、ＴＵ（変換ブロック）の一方又は両方のクロマＣＢＦが１に等しい場合に存在し得る。ＰＰＳ及びスライスヘッダにおいて、クロマ量子化パラメータ（ＱＰ）オフセット値は、普通の（regular）クロマ残差コーディングモードについてシグナリングされるクロマＱＰオフセット値と区別するよう結合クロマ残差コーディングモードのためにシグナリングされ得る。これらのクロマＱＰオフセット値は、結合クロマ残差コーディングモードを使用してコーディングされるブロックのクロマＱＰ値を導出するために使用され得る。対応する結合クロマコーディングモード（以下の表４中のモード２）がＴＵでアクティブであるとき、このクロマＱＰオフセットは、そのＴＵの量子化及び復号化中に、適用されるルーマ由来のクロマＱＰに加えられてよい。他のモード（表４中のモード１及び３）については、クロマＱＰは、従来のＣＢ又はＣｒブロックの場合と同じ方法で導出され得る。送信された変換ブロックからのクロマ残差（ｒｅｓＣｂ及びｒｅｓＣｒ）の再構成プロセスは表４に示されている。このモードがアクティブ化されると（モード２）、１つの単一結合クロマ残差ブロック（ｒｅｓＪｏｉｎｔＣ［ｘ］［ｙ］がシグナリングされてもよく、Ｃｂの残差ブロック（ｒｅｓＣｂ）及びＣｒの残差ブロック（ｒｅｓＣｒ）は、ｔｕ＿ｃｂｆ＿ｃｂ、ｔｕ＿ｃｂｆ＿ｃｒ、及びＣＳｉｇｎなどの情報を考慮して導出されてもよい。ＣＳｉｇｎは、変換ブロックレベルでよりもむしろ、例えばスライスヘッダで指定される符号値である。いくつかの実施では、ＣＳｉｇｎはほとんどの場合－１になり得る。
【0124】
上記の３つの例示的な結合クロマコーディングモードは、イントラコーディングされたＣＵでのみサポートされ得る。インターコーディングされたＣＵでは、モード２のみがサポートされ得る。従って、インターコーディングされたＣＵについては、両方のクロマＣＢＦが１である場合にのみ、シンタックス要素ｔｕ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇは存在する。
【表4】
【0125】
上記の結合クロマコーディングスキームは、コロケートされたＣｒ及びＣｂ変換ブロック間の変換係数どうしに何らかの相関があることを仮定している。そのような仮定は、通常は統計的なものであるため、状況によっては歪みが生じる可能性がある。特に、変換ブロック内の色係数の１つが非ゼロであり、一方、もう１つの色成分の係数がゼロである場合、結合クロマコーディングスキームで行われた仮定の一部は確実に外れることになり、そのようなコーディングでは、符号化ビットも節約されない（いずれにしてもクロマ係数の一方はゼロであるため）。
【0126】
以下の様々な実施例では、係数レベル（つまり、変換係数ごと）のクロスコンポーネントコーディングスキームが記載され、それは、色成分のコロケートされた（周波数領域でコロケートされた）変換数の間の何らかの相関を利用する。かようなスキームは、一方の色成分の係数がゼロである一方、他方の色成分の対応する変換係数が非ゼロである変換ブロック（又はユニット）について特に有用である。ゼロ色係数と非ゼロ色係数とのそのような対について、量子化の前又は後のいずれかで、非ゼロ色係数は、他方の色成分のゼロ符号化係数の元の小さい値を推定又は導出するために使用されてよく（コーディングプロセスでの量子化の前には、たとえ小さい値であっても、もともとはゼロでない可能性がある。）、それによって、例えば符号化中の量子化プロセスで失われた一部の情報を回復することが可能であり得る。ゼロへの量子化中に失われた一部の情報は、統計的に存在する色間の相関により回復される可能性がある。かようなクロスコンポーネントコーディングは、（ゼロ係数の）有意なコーディングコストなしで、失われた情報をある程度回復する。このような係数情報回復プロセスは、ゼロの値を持った係数が、例えば、小さい非ゼロ値に回復され得るということで、変換係数精緻化プロセス（又は、簡単に、係数精緻化プロセス）とも呼ばれることがある。１つの実施では、係数精緻化プロセス中、第２変換ブロック内のゼロ変換係数は、オフセットを加えることによって精緻化され得る。オフセットは、第１変換ブロック内の対応する（例えば、コロケートされた）変換係数に基づいて導出され得る。第１変換ブロックは、第１色成分に関連してよく、第２変換ブロックは、第１色成分とは異なる第２色成分と関連してよい。色成分は、ルーマ成分及びクロマ成分のいずれか１つであってよい。
【0127】
例となる実施において、クロスコンポーネント係数符号コーディング方法が実施されてよく、それは、第２色成分の係数符号をコーディングするために第１色成分の係数符号値を利用する。１つのより具体的な例では、Ｃｂ変換係数の符号値が、Ｃｒ変換係数の符号をコーディングするためのコンテキストとして使用されてよい。そのようなクロスコンポーネントコーディングは、色成分の変換係数ペアに対して係数ごとに実装され得る。このような実施の基礎となる原理、及び以下で更に詳細に記載される他の実施は、Ｃｂ及びＣｒ成分に制限されない。それらは、３つの色成分のうちのいずれか２つの間で適用可能である。それに関連して、ルーマチャネルは色成分の１つと見なされる。
【0128】
第１成分における第１変換ブロック内の変換係数を用いて、第２成分における第２変換ブロック内のコロケートされた変換係数を導出及び精緻化する方法は、クロスコンポーネントレベル再構成（Ｃｒｏｓｓ Ｃｏｍｐｏｎｅｎｔ Ｌｅｖｅｌ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ，ＣＣＬＲ）と呼ばれ得る。この方法において、ＣＣＬＲは、参照として第２変換ブロックを用いて、第１変換ブロックに対して適用される。例えば、Ｃｂ変換係数のレベル値は、対応する（例えば、コロケートされた）Ｃｒ変換係数のレベル値を導出するために使用されてよく、その逆も同様である。ＣＣＬＲを使用すると、デコーダ側では、１つの色成分の情報がもう１つの色成分を参照して精緻化又は回復され得る。
【0129】
以下の実施例で、クロマチャネルという用語は、Ｃｂ色成分及びＣｒ色成分（若しくはチャネル）の両方、又はＵ色成分及びＶ色成分（若しくはチャネル）の両方を一般的に指すことができる。ルーマチャネルという用語には、ルーマ成分、又はＹ成分が含まれ得る。ルーマ成分又はチャネルは、ルーマ色成分又はチャネルと呼ばれることがある。Ｙ、Ｕ及びＶは、３つの色成分を表すために以下で使用される。更に、「コーディングされたブロック」及び「コーディング」ブロックという用語は、コーディングされるべきブロック又は既にコーディングされているブロックのどちらかを意味するよう同義的に使用される。それらは、３つの色成分のうちのいずれかのブロックであってよい。３つの対応する色コードされたブロック／コーディングブロックは、コーディングされたユニット／コーディングユニットを構成し得る。
【0130】
以下の実施例で、変換セットは、変換カーネル（又は候補）オプションのグループを指す。変換セットには、カーネル（又は候補）オプションのＤＣＴ、ＡＤＳＴ、ＦＬＩＰＡＤＳＴ、ＩＤＴ、ＬＧＴ、ＫＬＴ、又はＲＣＴタイプのうちの１つ以上が含まれ得る。
【0131】
以下の実施例、変換タイプは、プライマリ及び／又はセカンダリ変換のタイプを指す。プライマリ変換タイプの例には、ＤＣＴ、ＡＤＳＴ、ＦＬＩＰＡＤＳＴ、ＩＤＴ、ＬＧＴ、ＫＬＴ、及びＲＣＴがあるが、これらに限られない。セカンダリ変換タイプの例には、異なる入力サイズ、異なるカーネルを使用するＫＬＴがあるが、これらに限られない。
【0132】
以下の実施例で、変換という用語は、プライマリ変換、若しくはセカンダリ変換、又はプライマリ変換とセカンダリ変換との組み合わせを指すことができる。逆変換という用語は、逆プライマリ変換、若しくは逆セカンダリ変換、又は逆プライマリ変換と逆セカンダリ変換との組み合わせを指すことができる。
【0133】
以下の実施例は、別々に使用されても、又は任意の順序で組み合わされてもよい。ブロックサイズという用語は、ブロックの幅若しくは高さのどちらか一方、又は幅及び高さの最大値、又は幅及び高さの最小値、又は面積サイズ（幅×高さ）、又はブロックのアスペクト比（幅：高さ若しくは高さ：幅）を指すことができる。「レベル値」又は「レベル」という用語は、変換係数値の大きさを指すことができる。
【0134】
いくつかの実施例で、第１色成分の変換係数のレベル値及び／又は符号値は、第２色成分の変換係数レベル値に加えられるオフセット値を導出するために使用され得る。
【0135】
いくつかの更なる実施では、第２色成分のオフセット及び変換係数を生成するために使用される第１色成分の変換係数は、コロケートされている（周波数領域で同じ座標、例えば、推定値は非交差周波数である。）。
【0136】
上記の第１色成分及び第２色成分は特定の色成分に制限されなくてもよいが、いくつかの実施例では、第１色成分はＣｂ（又はＣｒ）であってよく、一方、第２色成分はＣｒ（又はＣｂ）である。
【0137】
いくつかの具体的な実施例で、第１色成分はルーマであってよく、第２色成分はＣｂ及びＣｒのうちの１つであってよい。
【0138】
いくつかの具体的な実施例で、第１色成分はＣｂ及びＣｒのうちの１つであってよく、第２色成分はルーマであってよい。
【0139】
いくつかの実施例で、第１色成分の量子化された変換係数は非ゼロであってよく、前記の第２色成分の量子化された変換係数はゼロであってよい。そのようなものとして、第２色成分の元の変換係数の元の比較的に小さい非ゼロ情報は、符号化プロセス中の量子化により失われる可能性があり、本明細書で記載される実施例は、ゼロ係数色成分と統計的に相関し得る対応する非ゼロ色成分を用いて、失われた一部の情報を回復するのを助ける。
【0140】
いくつかの実施例で、第１色成分の変換係数の符号値は、第２色成分の逆量子化された変換係数レベル値に加えられるオフセット値を導出するために使用され得る。
【0141】
いくつかの実施例で、第１色成分の変換係数の符号値は、逆量子化の前に第２色成分の変換係数レベル値に加えられるオフセット値を導出するために使用される。
【0142】
いくつかの実施例で、第１色成分の変換係数の符号値が正（又は負）である場合に、負（又は正）のオフセット値が、第２色成分の変換係数値を再構成するために、第２色成分の逆量子化された変換係数レベル値に加えられる。言い換えれば、第１色成分の変換係数の符号値と、第２色成分の変換係数レベル値に加えられるオフセット値の符号値とは、異なる符号値を有する。そのような実施は、２つのクロマ成分が通常変換に対して反対の符号を有するという統計的な観測と一致し得る。
【0143】
いくつかの実施例で、第１色成分の変換係数の符号値と、第２色成分の変換係数レベル値に加えられるオフセット値の符号値とが、反対の符号値を有するかどうかは、ＳＰＳ、ＶＰＳ、ＰＰＳ、ＡＰＳ、ピクチャヘッダ、フレームヘッダ、スライスヘッダ、タイルヘッダ、ＣＴＵヘッダを含むがこれらに制限されない高位シンタックでシグナリングされる。これは、結合クロマコーディングスキームのための上記のシグナリングスキームと類似している。
【0144】
いくつかの実施例で、第２色成分の変換係数レベル値に加えられるオフセット値は、第１色成分の変換係数の符号及びレベルの両方に依存し得る。
【0145】
いくつかの実施例で、第２色成分の変換係数レベル値に加えられるオフセット値の大きさは、第１色成分の変換係数レベルに依存し得る。
【0146】
いくつかの実施例で、第２色成分の変換係数レベル値に加えられるオフセット値の大きさは、第１色成分の変換係数の係数レベルの各入力値について事前定義されてもよい。
【0147】
いくつかの実施例で、第２色成分の変換係数レベル値に加えられるオフセット値は、変換係数が位置している周波数に依存し得る。例えば、オフセット値は、より高い周波数係数の場合に、より小さくなり得る。
【0148】
いくつかの実施例で、第２色成分の変換係数レベル値に加えられるオフセット値は、変換係数が属するブロックのブロックサイズに依存し得る。例えば、オフセット値は、一般的に、より大きいブロックサイズの場合に、より小さくなり得る。
【0149】
いくつかの実施例で、第２色成分の変換係数レベル値に加えられるオフセット値は、第２色成分がルーマ（Ｙ）又はクロマ（Ｃｂ若しくはＣｒ）成分であるかどうかに依存し得る。例えば、オフセット値は、第２色成分がルーマである場合に、より小さくなり得る。
【0150】
いくつかの実施例で、第２色成分の変換ブロックについて、この変換ブロックのための変換カーネルの選択は、ＣＣＬＲ方法がこの変換ブロック内の変換係数を精緻化するために適用されるかどうかに依存し得る。選択された変換カーネルは、プライマリ変換又はセカンダリ変換に使用されてよい。一例としてプライマリ変換を使用すると、符号化（エンコーダ）側では、選択された変換カーネルは、予測残差に対して変換を実行して変換ブロックを取得するために使用されてよく、復号化（デコーダ）側では、選択された変換カーネルは、ＣＣＬＲ方法が変換ブロックに適用される場合に、精緻化された変換ブロックに対して逆変換を実行して予測残差を取得するために使用されてよい。逆変換の前に、精緻化された変換ブロックを取得するために、ＣＣＬＲ精緻化プロセスが変換ブロックに実行されることに留意されたい。
【0151】
いくつかの実施例で、ＣＣＬＲが変換ブロックに適用又は有効化されるかどうかは、例えば、シンタックス値又はフラグによって、シグナリングされてよい。
【0152】
いくつかの実施例で、第２色成分の変換ブロックに関連した相対的なエンド・オブ・ブロック位置をシグナリングするＥＯＢがゼロであり、これにより、この変換ブロック内の全ての変換係数がゼロであることが示される場合に、ＣＣＬＲがこの変換係数に適用されるならば、ＣＣＬＲ精緻化プロセスは、この変換ブロック内の各変換係数に対して、例えば各変換係数に対応するオフセット値を加えることによって、適用され得る。オフセット値は、第１色成分の変換ブロック内のコロケートされた変換係数に基づいて導出され得る。精緻化プロセスの結果として、変換ブロック内の精緻化された変換係数はもはや全てゼロというわけではない。精緻化プロセスに続いて、ＣＣＬＲ精緻化された変換ブロックに対して、逆変換が実行されてもよい。
【0153】
いくつかの実施例で、変換ブロックの全体を対象とするのではなく、ＣＣＬＲ精緻化プロセスは、変換ブロック内の変換係数の一部のみを対象とし得る。
【0154】
いくつかの実施例で、第２色成分のＣＣＬＲ精緻化された変換ブロックに逆変換を適用する場合に、第１色成分のコロケートされた変換ブロックに対する逆変換に使用されたのと同じ変換カーネルが選択されてもよい。第１色成分のコロケートされた変換ブロックは、第２色成分の変換ブロックに適用されるＣＣＬＲ精緻化プロセスで使用されるオフセット値を導出するための基準（又は参照）として使用されることに留意されたい。
【0155】
いくつかの実施例で、ＣＣＬＲが変換ブロックに適用される場合に、精緻化された（この変換ブロックから精緻化された）変換ブロックに逆変換を実行するための変換カーネルは明示的にシグナリングされてもよい。例えば、変換セット（つまり、候補変換カーネルの組）からの選択された変換カーネルを示すインデックスがシグナリングされ得る。変換セットは、事前設定されても、事前定義されても、導出されても、又はシグナリングされてもよい。
【0156】
いくつかの実施例で、ＣＣＬＲが第２色成分の変換ブロックに適用され、この変換ブロックに関連したコーディングされたブロックがイントラ予測されたブロックである場合に、精緻化された（この変換ブロックから精緻化された）変換ブロックに逆変換を実行するための変換カーネルは、イントラ予測モードに基づいて暗黙的に導出されてもよい。１つの実施では、ＣＣＬＲが変換ブロックに適用されるかどうかも考慮されるべきであるように、変換カーネルの選択には追加の制約が課されることがある。例えば、ＣＣＬＲが適用される１つの変換ブロックについて、選択された変換カーネルは、ＣＣＬＲが適用されない他の変換ブロックのための選択された変換カーネルとは異なるべきである。他の変換ブロックは、同じコーディングされたブロック、又はイントラ予測される異なるコーディングされたブロックに関連してよい。
【0157】
いくつかの実施例で、ＣＣＬＲがある色成分（例えば、Ｃｂ又はＣｒ）の変換ブロックに適用される場合に、精緻化された（この変換ブロックから精緻化された）変換ブロックに逆変換を実行するための変換カーネルは、ルーマ成分のコロケートされた変換ブロックに適用されたのと同じであってよい。
【0158】
いくつかの実施例で、精緻化された変換ブロックに逆変換を実行するための変換カーネルは、変換セットから選択されてもよく、選択は、精緻化された変換ブロックのブロックサイズに基づいてよい。変換セットは、事前設定されても、事前定義されても、導出されても、又はシグナリングされてもよい。
【0159】
いくつかの実施例で、ＣＣＬＲ方法が変換ブロックに適用され得るかどうかには更なる制約が存在してもよい。制約は、変換タイプに基づいてよい。１つの実施では、ＣＣＬＲ方法を適用するために、プライマリ変換又はセカンダリ変換の変換タイプは、特定のタイプ又はタイプの組み合わせに制限される必要がある。例えば、プライマリ変換が２Ｄ変換であるとき、２Ｄ変換の２つの１Ｄ変換は両方ともＤＣＴであるか、両方ともＩＤＴであるか、あるいは、変換タイプの１つの他の組み合わせでなければならない。
【0160】
いくつかの実施例で、ＣＣＬＲ精緻化プロセス中、オフセット導出は、精緻化されるべき変換ブロックのために選択された変換タイプに依存し得る。変換タイプは、プライマリ変換又はセカンダリ変換に適用されてよい。
【0161】
クロスコンポーネントゼロ係数精緻化は、ＥＯＢがゼロとして示される（つまり、ブロックの終わりの相対位置がゼロである、つまり、対応するブロックの変換係数が全てゼロである）状況について記載されてきたが、クロスコンポーネント精緻化の様々な実施と、変換カーネルタイプ及び／又は特定のカーネルの選択及びシグナリングとは、そのように制限されない。例えば、１つの色成分の特定の変換ブロックは、少数の非ゼロ係数しか有さないことがある。それでも、他のゼロ変換係数は、もう１つの色成分における変換係数を用いて精緻化され得る。更には、精緻化は、精緻化されている同じ変換ブロック内の非ゼロ係数に更に基づいてもよい。変換カーネルタイプ及び／又はカーネルの選択は、上記の実施と同様に行われ得る。
【0162】
図２０は、上記の実施の基礎となる原理に従う例示的なビデオ復号化方法のフローチャート２０００を示す。方法２０００は、次のステップの一部又は全部を含んでよい：ステップ２０１０で、第１色成分の第１変換ブロック及び第２色成分の第２変換ブロックを含むビデオブロックのビットストリームを受信する。第１変換ブロック及び第２変換ブロックはコロケートされたブロックである。ステップ２０２０で、ビデオブロックのビットストリームから第１色成分の第１変換ブロック及び第２色成分の第２変換ブロックを取得する。ステップ２０３０で、第１変換ブロック内の全ての変換係数がゼロであることを示す第１フラグを決定する。ブロック２０４０で、クロスコンポーネントレベル再構成（ＣＣＬＲ）が第１変換ブロックに適用されることを示す第２フラグを決定する。ブロック２０５０で、ＣＣＬＲが第１変換ブロックに適用されるとの決定に応答して、
精緻化された第１変換ブロックを取得するよう、１つ以上のオフセット値を加えることによって第１変換ブロック内の変換係数の１つ以上を精緻化し、このとき、１つ以上のオフセット値は、第１変換ブロック内の変換係数の１つ以上とコロケートされている第２変換ブロック内の変換係数に基づいて導出され、
精緻化された第１変換ブロックの目標変換カーネルを決定し、
目標ブロックを取得するよう、目標変換カーネルに基づいて、精緻化された第１変換ブロックに対して逆変換を実行し、
少なくとも目標ブロックに基づいてビデオブロックの第１色成分を再構成する。
精緻化された第１変換ブロックを取得するよう、１つ以上のオフセット値を加えることによって第１変換ブロック内の変換係数の１つ以上を精緻化し、このとき、１つ以上のオフセット値は、第１変換ブロック内の変換係数の１つ以上とコロケートされている第２変換ブロック内の変換係数に基づいて導出され、
精緻化された第１変換ブロックの目標変換カーネルを決定し、
目標ブロックを取得するよう、目標変換カーネルに基づいて、精緻化された第１変換ブロックに対して逆変換を実行し、
少なくとも目標ブロックに基づいてビデオブロックの第１色成分を再構成する。
【0163】
本開示の実施形態及び実施において、如何なるステップ及び／又は動作も、望まれるように、如何なる量又は順序でも組み合わされ又は配置されてよい。ステップ及び／又は動作の２つ以上は、並行して実行されてもよい。本開示の実施形態及び実施は、別々に使用されても、又は任意の順序で組み合わされてもよい。更に、方法（又は実施形態）、エンコーダ、及びデコーダの夫々は、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）によって実施されてもよい。一例では、１つ以上のプロセッサは、非一時的なコンピュータ可読媒体に記憶されているプログラムを実行する。
【0164】
上記の技術は、コンピュータ可読命令を用いてコンピュータソフトウェアとして実施され、１つ以上のコンピュータ可読媒体に物理的に記憶することができる。例えば、図２１は、開示される対象の特定の実施形態を実装するのに適したコンピュータシステム（２８００）を示す。
【0165】
コンピュータソフトウェアは、１つ以上のコンピュータ中央演算処理装置（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）などによって、直接に、又は解釈、マイクロコード実行などを通じて、実行することができる命令を含むコードを生成するように、アセンブリ、コンパイル、リンキングなどのメカニズムに従い得る如何なる適切な機械コード又はコンピュータ言語によってもコーディング可能である。
【0166】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、インターネット・オブ・シングス（Internet of Things）デバイス、などを含む様々なタイプのコンピュータ又はその構成要素で実行可能である。
【0167】
コンピュータシステム（２８００）に関して図２１に示されるコンポーネントは、本質的に例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に関して如何なる限定も示唆することを意図しない。コンポーネントの構成は、コンピュータシステム（２８００）の例示的な実施形態において説明される構成要素のうちのいずれか１つ又は組み合わせに関して如何なる依存性も要件も有するものとして解釈されるべきではない。
【0168】
コンピュータシステム（２８００）は、特定のヒューマンインターフェース入力デバイスを含んでよい。かようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグロープ動作）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず。）を通じた一人以上のユーザによる入力に反応してよい。ヒューマンインターフェースデバイスはまた、音声（例えば、発話、音楽、周囲音）、画像（例えば、スキャンされた画像、静止画カメラから取得された写真画像）、映像（例えば、２次元映像、立体視映像を含む３次元映像）などの、人による意識的な入力に必ずしも直接には関係しない特定のメディアを捕捉するためにも使用され得る。
【0169】
入力ヒューマンインターフェースデバイスは、キーボード（２８０１）、マウス（２８０２）、トラックパッド（２８０３）、タッチスクリーン（２８１０）、データグローブ（図示せず。）、ジョイスティック（２８０５）、マイク（２８０６）、スキャナ（２８０７）、カメラ（２８０８）（各１つしか表されていない。）のうちの１つ以上を含んでよい。
【0170】
コンピュータシステム（２８００）は、特定のヒューマンインターフェース出力デバイスも含んでよい。かようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音響、光、及び匂い／味を通じて一人以上のユーザの感覚を刺激するものであってよい。かようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（２８１０）、データグローブ（図示せず。）、又はジョイスティック（２８０５）による触覚フィードバック、しかし、入力デバイスとして機能しない触覚フィードバックデバイスも存在し得る。）、音声出力デバイス（例えば、スピーカ（２８０９）、ヘッドホン（図示せず。））、視覚出力デバイス（例えば、夫々タッチスクリーン入力機能の有無によらず、夫々触覚フィードバック機能の有無によらず、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、それらのうちのいくつかは、立体視出力、仮想現実メガネ（図示せず。）、ホログラフィックディスプレイ及びスモークタンク（図示せず。）などの手段により２次元視覚出力又は３次元よりも多い次元の出力を出力可能なスクリーン（２８１０））、及びプリンタ（図示せず。）を含んでよい。
【0171】
コンピュータシステム（２８００）は、人がアクセス可能な記憶デバイス及びそれらの関連する媒体、例えば、ＣＤ／ＤＶＤ又は同様の媒体（２８２１）を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（２８２０）、サムドライブ（２８２２）、リムーバブルハードディスク又はソリッドステートドライブ（２８２３）、レガシー磁気媒体、例えば、テープ及びフロッピー（登録商標）ディスク（図示せず。）、専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースデバイス、例えば、セキュリティドングル（図示せず。）、なども含むことができる。
【0172】
当業者であれば、目下開示されている対象に関連して使用されている「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、又は他の一時的な信号を含まないことも理解するはずである。
【0173】
コンピュータシステム（２８００）は、１つ以上の通信ネットワーク（２８５５）へのインターフェース（２８５４）も含むことができる。ネットワークは、例えば、ワイヤレス、ワイヤライン、光であることができる。ネットワークは更に、ローカル、ワイドエリア、メトロポリタン、車両及び工業、実時間、遅延耐性、などであることができる。ネットワークの例には、イーサネット（登録商標）などのローカルエリアネットワーク、ワイヤレスＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶを含むＴＶワイヤライン又はワイヤレスワイドエリアデジタルネットワーク、ＣＡＮＢｕｓを含む車両及び工場ネットワーク、などがある。特定のネットワークは、一般に、特定の汎用データポート又はペリフェラルバス（２８４９）（例えば、コンピュータシステム（２８００）のＵＳＢポートなど）に取り付けられた外付けネットワークインターフェースアダプタを必要とする。他は、一般に、後述されるようなシステムバスへの取り付け（例えば、ＰＣコンピュータシステムへのイーサネットネットワーク、又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）によってコンピュータシステム（２８００）のコアに組み込まれる。これらのネットワークのいずれかを使用して、コンピュータシステム（２８００）は他のエンティティと通信することができる。そのような通信は、単方向の受信専用（例えば、ブロードキャストＴＶ）又は単方向の送信専用（例えば、特定のＣＡＮＢｕｓデバイスへのＣＡＮＢｕｓ）であることができ、あるいは、例えば、ローカル若しくはワイドエリアデジタルネットワークを使用して他のコンピュータシステムに対して双方向であることができる。特定のプロトコル又はプロトコルスタックが、上述されたようなネットワーク及びネットワークインターフェースの夫々で使用可能である。
【0174】
上記のヒューマンインターフェースデバイス、人がアクセス可能な記憶デバイス、及びネットワークインターフェースは、コンピュータシステム（２８００）のコア（２８４０）へ取り付けられ得る。
【0175】
コア（２８４０）は、１つ以上の中央演算処理装置（ＣＰＵ）（２８４１）、グラフィクス処理ユニット（ＧＰＵ）（２８４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（２８４３）の形をとる専用のプログラム可能処理ユニット、特定のタスクのためのハードウェアアクセラレータ（２８４４）、グラフィクスアダプタ（２８５０）などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（２８４５）、ランダムアクセスメモリ（ＲＡＭ）（２８４６）、内部のユーザアクセス不能ハードドライブなどの内蔵大容量記憶装置、ＳＳＤ、など（２８４７）とともに、システムバス（２８４８）を通じて接続されてよい。いくつかのコンピュータシステムでは、システムバス（２８４８）は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするように、１つ以上の物理プラグの形でアクセス可能であることができる。コアのシステムバス（２８４８）へ直接に又はペリフェラルバス（２８４９）を通じて、周辺機器が取り付けられ得る。一例では、スクリーン（２８１０）がグラフィクスアダプタ（２８５０）へ接続され得る。ペリフェラルバスのためのアーキテクチャには、ＰＣＩ、ＵＳＢなどがある。
【0176】
ＣＰＵ（２８４１）、ＧＰＵ（２８４２）、ＦＰＧＡ（２８４３）、及びアクセラレータ（２８４４）は、組み合わせて上記のコンピュータコードを構成することができる特定の命令を実行可能である。そのコンピュータコードは、ＲＯＭ（２８４５）又はＲＡＭ（２８４６）に記憶され得る。一時データもＲＡＭ（２８４６）に記憶可能であり、一方、永続性データは、例えば、内蔵大容量記憶装置（２８４７）に記憶可能である。メモリデバイスのいずれかへの高速な格納及び読み出しは、キャッシュメモリの使用により可能になる。キャッシュメモリは、１つ以上のＣＰＵ（２８４１）、ＧＰＵ（２８４２）、大容量記憶装置（２８４７）、ＲＯＭ（２８４５）、ＲＡＭ（２８４６）などと密接に関連し得る。
【0177】
コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構成されたものであることができ、あるいは、それらは、コンピュータソフトウェア技術で通常の知識を有する者によく知られており利用可能である種類のものであることができる。
【0178】
非限定的な例として、アーキテクチャ（２８００）、具体的にはコア（２８４０）を有するコンピュータシステムは、１つ以上の有形なコンピュータ可読媒体において具現されているソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、などを含む。）の結果として機能を提供することができる。かようなコンピュータ可読媒体は、コア内蔵大容量記憶装置（２８４７）又はＲＯＭ（２８４５）などの、非一時的な性質であるコア（２８４０）の特定の記憶装置に加えて、先に紹介されたユーザアクセス可能な大容量記憶装置に関連した媒体であることができる。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア（２８４０）によって実行可能である。コンピュータ可読媒体には、特定のニーズに応じて、１つ以上のメモリデバイス又はチップが含まれ得る。ソフトウェアは、コア（２８４０）、及び、具体的には、その中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む。）に、ＲＡＭ（２８４６）に記憶されているデータ構造を定義することと、ソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を変更することとを含め、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。追加的に、又は代替案として、コンピュータシステムは、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに又はそれとともに動作することができる、回路内でハードワイヤード又は別なふうに具現されたロジック（例えば、アクセラレータ（２８４４））の結果として、機能を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを包含することができ、その逆も同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶している回路（例えば、集積回路（ＩＣ））、実行のためのロジックを具現する回路、又は両方を包含することができる。本開示は、ハードウェア及びソフトウェアの如何なる適切な組み合わせも包含する。
【0179】
本開示は、いくつかの実例となる実施形態について記載してきたが、開示の範囲内にある代替、置換、及び様々な代替同等物が存在する。よって、当業者は、ここで明示的に図示及び記載されていないとして、本開示の原理を具現化し、よってその精神及び範囲内にある多数のシステム及び方法を考え付くことができることを理解されたい。
【0180】
付録Ａ：頭字語
ＪＥＭ：Joint Exploration Model
ＶＶＣ：Versatile Video Coding
ＢＭＳ：Benchmark Set
ＭＶ：Motion Vector
ＨＥＶＣ：High Efficiency Video Coding
ＳＥＩ：Supplementary Enhancement Information
ＶＵＩ：Video Usability Information
ＧＯＰ：Group of Picture(s)
ＴＵ：Transform Unit(s)
ＰＵ：Prediction Unit(s)
ＣＴＵ：Coding Tree Unit(s)
ＣＴＢ：Coding Tree Block(s)
ＰＢ：Prediction Block(s)
ＨＲＤ：Hypothetical Reference Decoder
ＳＮＲ：Signal Noise Ratio
ＣＰＵ：Central Processing Unit(s)
ＧＰＵ：Graphics Processing Unit(s)
ＣＲＴ：Cathode Ray Tube
ＬＣＤ：Liquid-Crystal Display
ＯＬＥＤ：Organic Light-Emitting Diode
ＣＤ：Compact Disc
ＤＶＤ：Digital Video Disc
ＲＯＭ：Read-Only Memory
ＲＡＭ：Random Access Memory
ＡＳＩＣ：Application-Specific Integrated Circuit
ＰＬＤ：Programmable Logic Device
ＬＡＮ：Local Area Network
ＧＳＭ：Global System for Mobile communications
ＬＴＥ：Long-Term Evolution
ＣＡＮＢｕｓ：Controller Area Network Bus
ＵＳＢ：Universal Serial Bus
ＰＣＩ：Peripheral Component Interconnect
ＦＰＧＡ：Field Programmable Gate Area(s)
ＳＳＤ：Solid-State Drive
ＩＣ：Integrated Circuit
ＨＤＲ：High Dynamic Range
ＳＤＲ：Standard Dynamic Range
ＪＶＥＴ：Joint Video Exploration Team
ＭＰＭ：Most Probable Mode
ＷＡＩＰ：Wide-Angle Intra Prediction
ＣＵ：Coding Unit
ＰＵ：Prediction Unit
ＴＵ：Transform Unit
ＣＴＵ：Coding Tree Unit
ＰＤＰＣ：Position Dependent Prediction Combination
ＩＳＰ：Intra Sub-Partitions
ＳＰＳ：Sequence Parameter Setting
ＰＰＳ：Picture Parameter Set
ＡＰＳ：Adaptation Parameter Set
ＶＰＳ：Video Parameter Set
ＤＳＰ：Decoding Parameter Set
ＡＬＦ：Adaptive Loop Filter
ＳＡＯ：Sample Adaptive Offset
ＣＣ－ＡＬＦ：Cross-Component Adaptive Loop Filter
ＣＤＥＦ：Constrained Directional Enhancement Filter
ＣＣＳＯ：Cross-Component Sample Offset
ＬＳＯ：Local Sample Offset
ＬＲ：Loop Restoration Filter
ＡＶ１：AOMedia Video 1
ＡＶ２：AOMedia Video 2
ＤＣＴ：Discrete Cosine Transform
ＤＳＴ：Discrete Sine Transform
ＡＤＳＴ：Asymmetric DST
ＦＬＩＰＡＤＳＴ：Flipped ADST
ＩＤＴ：Incremental Distance Transform
ＬＧＴ：Line Graph Transforms
ＫＬＴ：Karhunen Loeve Transform
ＲＣＴ：Row-Column Transform
ＪＥＭ：Joint Exploration Model
ＶＶＣ：Versatile Video Coding
ＢＭＳ：Benchmark Set
ＭＶ：Motion Vector
ＨＥＶＣ：High Efficiency Video Coding
ＳＥＩ：Supplementary Enhancement Information
ＶＵＩ：Video Usability Information
ＧＯＰ：Group of Picture(s)
ＴＵ：Transform Unit(s)
ＰＵ：Prediction Unit(s)
ＣＴＵ：Coding Tree Unit(s)
ＣＴＢ：Coding Tree Block(s)
ＰＢ：Prediction Block(s)
ＨＲＤ：Hypothetical Reference Decoder
ＳＮＲ：Signal Noise Ratio
ＣＰＵ：Central Processing Unit(s)
ＧＰＵ：Graphics Processing Unit(s)
ＣＲＴ：Cathode Ray Tube
ＬＣＤ：Liquid-Crystal Display
ＯＬＥＤ：Organic Light-Emitting Diode
ＣＤ：Compact Disc
ＤＶＤ：Digital Video Disc
ＲＯＭ：Read-Only Memory
ＲＡＭ：Random Access Memory
ＡＳＩＣ：Application-Specific Integrated Circuit
ＰＬＤ：Programmable Logic Device
ＬＡＮ：Local Area Network
ＧＳＭ：Global System for Mobile communications
ＬＴＥ：Long-Term Evolution
ＣＡＮＢｕｓ：Controller Area Network Bus
ＵＳＢ：Universal Serial Bus
ＰＣＩ：Peripheral Component Interconnect
ＦＰＧＡ：Field Programmable Gate Area(s)
ＳＳＤ：Solid-State Drive
ＩＣ：Integrated Circuit
ＨＤＲ：High Dynamic Range
ＳＤＲ：Standard Dynamic Range
ＪＶＥＴ：Joint Video Exploration Team
ＭＰＭ：Most Probable Mode
ＷＡＩＰ：Wide-Angle Intra Prediction
ＣＵ：Coding Unit
ＰＵ：Prediction Unit
ＴＵ：Transform Unit
ＣＴＵ：Coding Tree Unit
ＰＤＰＣ：Position Dependent Prediction Combination
ＩＳＰ：Intra Sub-Partitions
ＳＰＳ：Sequence Parameter Setting
ＰＰＳ：Picture Parameter Set
ＡＰＳ：Adaptation Parameter Set
ＶＰＳ：Video Parameter Set
ＤＳＰ：Decoding Parameter Set
ＡＬＦ：Adaptive Loop Filter
ＳＡＯ：Sample Adaptive Offset
ＣＣ－ＡＬＦ：Cross-Component Adaptive Loop Filter
ＣＤＥＦ：Constrained Directional Enhancement Filter
ＣＣＳＯ：Cross-Component Sample Offset
ＬＳＯ：Local Sample Offset
ＬＲ：Loop Restoration Filter
ＡＶ１：AOMedia Video 1
ＡＶ２：AOMedia Video 2
ＤＣＴ：Discrete Cosine Transform
ＤＳＴ：Discrete Sine Transform
ＡＤＳＴ：Asymmetric DST
ＦＬＩＰＡＤＳＴ：Flipped ADST
ＩＤＴ：Incremental Distance Transform
ＬＧＴ：Line Graph Transforms
ＫＬＴ：Karhunen Loeve Transform
ＲＣＴ：Row-Column Transform
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【国際調査報告】