(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022176940
(43)【公開日】2022-11-30
(54)【発明の名称】ＶＶＣにおける色変換のための方法及び機器
(51)【国際特許分類】
H04N 19/102 20140101AFI20221122BHJP
H04N 19/136 20140101ALI20221122BHJP
H04N 19/159 20140101ALI20221122BHJP
【ＦＩ】
H04N19/102
H04N19/136
H04N19/159
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022127517
(22)【出願日】2022-08-10
(62)【分割の表示】P 2021533457の分割
【原出願日】2020-03-12
(31)【優先権主張番号】62/817,500
(32)【優先日】2019-03-12
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/817,028
(32)【優先日】2020-03-12
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジャオ，シン
(72)【発明者】
【氏名】シュイ，シアオジョォン
(72)【発明者】
【氏名】リ，シアン
(72)【発明者】
【氏名】リィウ，シャン
(57)【要約】 （修正有）
【課題】適応的な色空間変換を行うことにより符号化効率を改善するビデオ復号方法を提供する。
【解決手段】ビデオ復号方法は、現在ピクチャを含む符号化ビデオビットストリームを受信するステップと、現在ピクチャに含まれる現在ブロックに対して逆量子化、及び逆変換を実行するステップと、現在ブロックに対して予測処理を実行するステップとを含む。ビデオ復号方法は、予測処理を実行した後に所定の条件が満たされるかどうかを決定するステップと、所定の条件が満たされると決定することに応答して現在ブロックに対して逆色変換を実行するステップとを更に含む。
【選択図】図２０
【解決手段】ビデオ復号方法は、現在ピクチャを含む符号化ビデオビットストリームを受信するステップと、現在ピクチャに含まれる現在ブロックに対して逆量子化、及び逆変換を実行するステップと、現在ブロックに対して予測処理を実行するステップとを含む。ビデオ復号方法は、予測処理を実行した後に所定の条件が満たされるかどうかを決定するステップと、所定の条件が満たされると決定することに応答して現在ブロックに対して逆色変換を実行するステップとを更に含む。
【選択図】図２０
【特許請求の範囲】
【請求項1】
ビデオデコーダにおいて実行されるビデオ復号の方法であって、前記方法は、
現在ピクチャを含む符号化ビデオビットストリームを受信するステップと、
前記現在ピクチャに含まれる現在ブロックに対して逆量子化を実行するステップと、
前記逆量子化を実行した後に、前記現在ブロックに対して逆変換を実行するステップと、
所定の条件が満たされるかどうかを決定するステップと、
前記所定の条件が満たされると決定することに応答して、前記現在ブロックに対して逆色変換を実行するステップであって、前記逆色変換は、ＤｕａｌＴｒｅｅが適用されないとき、イントラ符号化ブロックに対してのみ適用される、ステップと、
を含む方法。
現在ピクチャを含む符号化ビデオビットストリームを受信するステップと、
前記現在ピクチャに含まれる現在ブロックに対して逆量子化を実行するステップと、
前記逆量子化を実行した後に、前記現在ブロックに対して逆変換を実行するステップと、
所定の条件が満たされるかどうかを決定するステップと、
前記所定の条件が満たされると決定することに応答して、前記現在ブロックに対して逆色変換を実行するステップであって、前記逆色変換は、ＤｕａｌＴｒｅｅが適用されないとき、イントラ符号化ブロックに対してのみ適用される、ステップと、
を含む方法。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願］
本開示は、米国仮特許出願番号第６２/８１７,５００号、「COLOR TRANSFORM IN VVC」、２０１９年３月１２日出願、の優先権の利益を主張する米国特許出願番号第１６/８１７,０２８号、「METHOD AND APPARATUS FOR COLOR TRANSFORM IN VVC」、２０２０年３月１２日出願の優先権の利益を主張する。前述の出願の全開示は、それらの全体が参照によりここに組み込まれる。
本開示は、米国仮特許出願番号第６２/８１７,５００号、「COLOR TRANSFORM IN VVC」、２０１９年３月１２日出願、の優先権の利益を主張する米国特許出願番号第１６/８１７,０２８号、「METHOD AND APPARATUS FOR COLOR TRANSFORM IN VVC」、２０２０年３月１２日出願の優先権の利益を主張する。前述の出願の全開示は、それらの全体が参照によりここに組み込まれる。
【0002】
［技術分野］
本開示は、概して、ビデオ符号化に関連する実施形態を記載する。
本開示は、概して、ビデオ符号化に関連する実施形態を記載する。
【背景技術】
【0003】
ここに提供される背景の説明は、本開示のコンテキストの概要を提示するためである。現在名前の挙げられた発明者の研究は、この背景の章に記載された研究の範囲で、出願時に従来技術として見なされない可能性のある記載の態様と同様に、本開示に対する従来技術として明示的に又は暗示的にも認められるものではない。
【0004】
ビデオ符号化及び復号は、動き補償を伴うインターピクチャ予測を用いて実行できる。非圧縮デジタルビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば１９２０×１０８０個のルミナンスサンプル及び関連するクロミナンスサンプルの空間次元を有する。一連のピクチャは、例えば毎秒６０ピクチャ又は６０Ｈｚの固定又は可変ピクチャレート（略式にフレームレートとしても知られている）を有し得る。非圧縮ビデオは、かなりのビットレート要件を有する。例えば、８ビット／サンプルの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚフレームレートで１９２０×１０８０ルミナンスサンプル解像度）は、１．５Ｇｂｉｔ／ｓの帯域幅を必要とする。１時間のこのようなビデオは６００Ｇｂｙｔｅより多くの記憶空間を必要とする。
【0005】
ビデオ符号化及び復号の１つの目的は、圧縮を通じて、入力ビデオ信号の中の冗長性の削減であり得る。圧縮は、幾つかの場合には大きさで２桁以上も、前述の帯域幅又は記憶空間要件を軽減するのを助けることができる。損失又は無損失圧縮の両方、及びそれらの組み合わせが利用できる。無損失圧縮は、元の信号の正確なコピーが圧縮された元の信号から再構成可能である技術を表す。損失圧縮を用いると、再構成された信号は、元の信号と同一ではないが、元の信号と再構成された信号との間の歪みは、意図される用途のために有用な再構成された信号を生成するのに十分に小さい。ビデオの場合には、損失圧縮が広く利用される。耐えうる歪みの量は、アプリケーションに依存し、特定の消費者ストリーミングアプリケーションのユーザは、テレビジョン配信アプリケーションのユーザよりも高い歪みに耐え得る。達成可能な圧縮比は、許容可能／耐性歪みが高いほど、高い圧縮比を生じ得ることを反映できる。
【0006】
ビデオエンコーダ及びデコーダは、例えば動き補償、変換、量子化、及びエントロピー符号化を含む幾つかの広い分類からの技術を利用できる。
【0007】
ビデオコーデック技術は、イントラ符号化として知られる技術を含むことができる。イントラ符号化では、サンプル値は、前の再構成参照ピクチャからのサンプル又は他のデータを参照することなく、表現される。幾つかのビデオコーデックでは、ピクチャは、サンプルのブロックに空間的に細分化される。サンプルの全部のブロックがイントラモードで符号化されるとき、そのピクチャはイントラピクチャであり得る。イントラピクチャ、及び独立したデコーダリフレッシュピクチャのようなそれらの派生物は、デコーダ状態をリセットするために使用でき、従って、符号化ビデオビットストリーム及びビデオセッションの中の最初のピクチャとして、又は静止画像として使用できる。イントラブロックのサンプルは変換されることができ、変換係数は、エントロピー符号化の前に量子化できる。イントラ予測は、変換前のドメインにおけるサンプル値を最小化する技術であり得る。幾つかの場合には、変換後のＤＣ値が小さいほど，及びＡＣ係数が小さいほど、エントロピー符号化の後にブロックを表現するために所与の量子化ステップサイズで必要なビット数が少ない。
【0008】
例えばＭＰＥＧ－２生成符号化技術から知られているような伝統的なイントラ符号化は、イントラ予測を使用しない。しかしながら、幾つかの新しいビデオ圧縮技術は、例えば、復号順において先行する空間的近隣のデータブロックの符号化／復号の間に取得される周囲のサンプルデータ及び／又はメタデータから試行する。このような技術は、以後、「イントラ予測」技術と呼ばれる。少なくとも幾つかの場合には、イントラ予測は、参照ピクチャからではなく、再構成中の現在ピクチャからの参照データのみを使用する。
【0009】
多くの異なる形式のイントラ予測が存在し得る。１つより多くのこのような技術が所与のビデオ符号化技術において使用できるとき、使用される技術は、イントラ予測モードで符号化され得る。特定の場合には、モードは、サブモード及び／又はパラメータを有することができ、それらは、個々に符号化され又はモードコードワードに含まれることができる。所与のモード／サブモード／パラメータの組合せのためにどのコードワードを使用すべきかは、イントラ予測を通じて符号化効率の向上に影響を与えることができ、従って、コードワードをビットストリームに変換するためにエントロピー符号化技術を使用できる。
【0010】
特定のイントラ予測モードが、Ｈ．２６４によりどう有され、Ｈ．２６５で改良され、共同探索モデル（joint exploration model (JEM)）、バーサタイルビデオ符号化（versatile video coding (VVC)）、及びベンチマークセット（benchmark set (BMS)）のような更に新しい符号化技術において改良された。予測ブロックは、既に利用可能なサンプルに属する近隣サンプル値を用いて形成されることができる。近隣サンプルのサンプル値は、方向に従い予測ブロックにコピーされる。使用中の方向の参照は、ビットストリーム内に符号化でき、又はそれ自体が予測されてよい。
【0011】
図１Ａを参照すると、右下に、Ｈ．２６５の３３個の可能な予測方向（３５個のイントラモードのうちの３３個の角度モードに対応する）から分かる９個の予測方向の部分集合が示される。矢印が集中する点（１０１）は、予測中のサンプルを表す。矢印は、サンプルが予測されている方向を表す。例えば、矢印（１０２）は、サンプル（１０１）が１つ以上のサンプルから、水平から４５度の角度で右上へと予測されることを示す。同様に、矢印（１０３）は、サンプル（１０１）が１つ以上のサンプルから、水平から２２．５度の角度でサンプル（１０１）の左下へと予測されることを示す。
【0012】
更に図１Ａを参照すると、左上に、（太い破線で示される）４×４個のサンプルの正方形ブロック（１０４）が示される。正方形ブロック（１０４）は、１６個のサンプルを含み、各サンプルは「Ｓ」、そのＹ次元の位置（例えば、行インデックス）、及びそのＸ次元の位置（例えば、列インデックス）でラベル付けされる。例えば、サンプルＳ２１は、Ｙ次元の（上から）２番目のサンプル、且つＸ次元の（左から）１番目のサンプルである。同様に、サンプルＳ４４は、Ｙ及びＸの両方の次元で、ブロック（１０４）内の４番目のサンプルである。ブロックが４×４サンプルのサイズであるとき、Ｓ４４は右下にある。更に、同様の番号付け方式に従う参照サンプルが示される。参照サンプルは、Ｒ、ブロック（１０４）に対するそのＹ位置（例えば、行インデックス）及びＸ位置（列インデックス）によりラベル付けされる。Ｈ．２６４及びＨ．２６５の両方で、予測サンプルは、再構成中のブロックの近隣にあり、従って、負の値は使用される必要がない。
【0013】
イントラピクチャ予測は、シグナリングされた予測方向により適切であるとき、近隣サンプルから参照サンプル値をコピーすることにより、動作できる。例えば、符号化ビデオビットストリームは、このブロックについて、矢印（１０２）と一致する予測方向を示すシグナリングを含む。つまり、サンプルは、１つ以上の予測サンプルから、水平から４５度の角度で右上へと予測される。この場合、サンプルＳ４１、Ｓ３２、Ｓ２３、及びＳ１４は、同じ参照サンプルＲ０５から予測される。サンプルＳ４４は、次に、参照サンプルＲ０８から予測される。
【0014】
特定の場合には、参照サンプルを計算するために、特に方向が４５度により均等に分割できないとき、複数の参照サンプルの値が、例えば補間を通じて結合されてよい。
【0015】
可能な方向の数は，ビデオ符号化技術が発展するにつれ、増加してきた。Ｈ．２６４（２００３年）では、９個の異なる方向が提示されることができた。それは、Ｈ．２６５（２０１３年）では３３に増加し、ＪＥＭ／ＶＶＣ／ＢＭＳは、本開示の時点で、最大６５個の方向をサポートできる。最も可能性の高い方向を識別するために実験が行われ、あまり可能性の高くない方向の特定のペナルティを受け入れながら、これらの可能性の高い方向を少数のビットで表現するために、エントロピー符号化において特定の技術が使用されている。更に、方向自体は、近隣の既に復号されたブロックにおける近隣の方向から予測できることがある。
【0016】
図１Ｂに、ＨＥＶＣで使用されるイントラ予測モードが示される。ＨＥＶＣには、全部で３５個のイントラ予測モードがある。この中で、モード１０は水平モードであり、モード２６は垂直モードであり、モード２、モード１８、モード３４は対角モードである。イントラ予測モードは、３つの最確モード（most probable mode (MPM)）および３２個の残りのモードによりシグナリングされる。
【0017】
図１Ｃは、ＶＶＣで使用されるイントラ予測モードを示す。図１Cに示すように、ＶＶＣには、全部で９５個のイントラ予測モードがある。この中で、モード１８は水平モードであり、モード５０は垂直モードであり、モード２、モード３４、モード６６は対角モードである。モード－１～－１４およびモード６７～８０は、広角イントラ予測（Wide－Angle Intra Prediction (WAIP)）モードと呼ばれる。
【0018】
方向を表す符号化ビデオビットストリーム内のイントラ予測方向ビットのマッピングは、ビデオ符号化技術により異なり、例えば、予測方向のイントラ予測モードへの、コードワードへの、単純な直接マッピングから、ＭＰＭを含む複雑な適応型方式、及び同様の技術にまで及ぶ。しかしながら、全ての場合に、ビデオコンテンツにおいて統計的に生じる可能性が、特定の他の方向よりあまり高くない特定の方向が存在し得る。ビデオ圧縮の目標は、冗長性の削減であるので、これらのあまり可能性の高くない方向は、良好に動作するビデオ符号化技術では、より可能性の高い方向より多数のビットにより表されるだろう。
【0019】
ビデオ符号化及び復号は、動き補償を伴うインターピクチャ予測を用いて実行できる。非圧縮デジタルビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば１９２０×１０８０個のルミナンスサンプル及び関連するクロミナンスサンプルの空間次元を有する。一連のピクチャは、例えば毎秒６０ピクチャ又は６０Ｈｚの固定又は可変ピクチャレート（略式にフレームレートとしても知られている）を有し得る。非圧縮ビデオは、かなりのビットレート要件を有する。例えば、８ビット／サンプルの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚフレームレートで１９２０×１０８０ルミナンスサンプル解像度）は、１．５Ｇｂｉｔ／ｓの帯域幅を必要とする。１時間のこのようなビデオは６００Ｇｂｙｔｅより多くの記憶空間を必要とする。
【0020】
動き補償は、損失圧縮技術であり、前に再構成されたピクチャ又はその部分（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以後、ＭＶ）により示される方向に空間的にシフトされた後に、新しく再構成されたピクチャ又はピクチャ部分の予測のために使用される技術に関連し得る。幾つかの場合には、参照ピクチャは、現在再構成中のピクチャと同じであり得る。ＭＶは、２つの次元Ｘ及びＹ、又は第３の次元が使用中の参照ピクチャの指示である３つの次元を有することができる（後者は、間接的に時間次元であり得る）。
【0021】
幾つかのビデオ圧縮技術では、サンプルデータの特定領域に適用可能なＭＶは他のＭＶから、例えば再構成中の領域に空間的に隣接するサンプルデータの別の領域に関連し且つ復号順序の中で当該ＭＶに先行するＭＶから、予測できる。そうすることは、結果として、ＭＶを符号化するために必要なデータ量を削減でき、それにより、冗長性を除去し圧縮を向上する。ＭＶ予測は、例えばカメラから得られた入力ビデオ信号（自然なビデオ（natural video）として知られる）を符号化するとき、単一のＭＶが適用可能な領域より大きな領域が同様の方向に動き、したがって、幾つかの場合には近隣領域のＭＶから導出した同様の動きベクトルを用いて予測可能である、統計的可能性がある。これは、周囲のＭＶから予測したＭＶと同様の又は同じ、所与の領域について見付かったＭＶをもたらす。また、これは、エントロピー符号化の後に、ＭＶを直接符号化する場合に使用され得るより少ない数のビットで提示され得る。幾つかの場合には、ＭＶ予測は、元の信号（つまり、サンプルストリーム）から得た信号（つまり、ＭＶ）の無損失圧縮の一例であり得る。他の場合には、ＭＶ予測自体は、例えば幾つかの周囲のＭＶから予測子を計算するとき、誤りを丸め込むので、損失になり得る。
【0022】
種々のＭＶ予測メカニズムは、Ｈ．２６５／ＨＥＶＣ（ITU－T Rec. H.２６５, "High Efficiency Video Coding", December ２０１６）に記載されている。ここに記載される、Ｈ．２６５の提供する多くのＭＶ予測メカニズムのうちの１つは、以下で、「空間マージ（spatial merge）」と呼ばれる技術である。
【0023】
図１Ｄを参照すると、現在ブロック（１０１）は、動き探索処理の間に、空間的にシフトされたものと同じサイズの前のブロックから予測可能であるとしてエンコーダにより見付けられたサンプルを含む。ＭＶを直接符号化する代わりに、ＭＶは、１つ以上の参照ピクチャに関連付けられたメタデータから、例えば（復号順で）最近の参照ピクチャから、Ａ０、Ａ１、及びＢ０、Ｂ１、Ｂ２（それぞれ１０２～１０６）５個の周囲のサンプルのうちのいずれか１つに関連付けられたＭＶを用いて導出できる。Ｈ．２６５では、ＭＶ予測は、近隣ブロックの使用するのと同じ参照ピクチャからの予測子を使用できる。候補リストを形成する順序は、Ａ０→Ｂ０→Ｂ１→Ａ１→Ｂ２であってよい。
【発明の概要】
【0024】
例示的な実施形態によると、ビデオデコーダにおいて実行されるビデオ復号の方法が提供される。当該方法は、現在ピクチャを含む符号化ビデオビットストリームを受信するステップを含む。当該方法は、前記現在ピクチャに含まれる現在ブロックに対して逆量子化を実行するステップを更に含む。当該方法は、前記逆量子化を実行するステップの後に、前記現在ブロックに対して逆変換を実行するステップを更に含む。当該方法は、前記逆変換を実行するステップの後に、前記現在ブロックに対して予測処理を実行するステップを更に含む。当該方法は、前記現在ブロックに対して前記予測処理を実行するステップの後に、所定の条件が満たされるかどうかを決定するステップを更に含む。当該方法は、前記所定の条件が満たされると決定することに応答して、前記現在ブロックに対して逆色変換を実行するステップを更に含む。
【0025】
例示的な実施形態によると、ビデオ復号のためのビデオデコーダは、処理回路を含み、前記処理回路は、現在ピクチャを含む符号化ビデオビットストリームを受信するよう構成される。前記処理回路は、前記現在ピクチャに含まれる現在ブロックに対して逆量子化を実行するよう更に構成される。前記処理回路は、前記逆量子化を実行した後に、前記現在ブロックに対して逆変換を実行するよう更に構成される。前記処理回路は、前記逆変換を実行した後に、前記現在ブロックに対して予測処理を実行するよう更に構成される。前記処理回路は、前記現在ブロックに対して前記予測処理を実行した後に、所定の条件が満たされるかどうかを決定するよう更に構成される。前記処理回路は、前記所定の条件が満たされるという決定に応答して、前記現在ブロックに対して逆色変換を実行するよう更に構成される。
【0026】
例示的な実施形態によると、記憶された命令を有する非一時的コンピュータ可読媒体であって、前記命令は、ビデオデコーダ内のプロセッサにより実行されると、前記ビデオデコーダに方法を実行させ、前記方法は、現在ピクチャを含む符号化ビデオビットストリームを受信するステップを含む。当該方法は、前記現在ピクチャに含まれる現在ブロックに対して逆量子化を実行するステップを更に含む。当該方法は、前記逆量子化を実行するステップの後に、前記現在ブロックに対して逆変換を実行するステップを更に含む。当該方法は、前記逆変換を実行するステップの後に、前記現在ブロックに対して予測処理を実行するステップを更に含む。当該方法は、前記現在ブロックに対して前記予測処理を実行するステップの後に、所定の条件が満たされるかどうかを決定するステップを更に含む。当該方法は、前記所定の条件が満たされると決定することに応答して、前記現在ブロックに対して逆色変換を実行するステップを更に含む。
【図面の簡単な説明】
【0027】
開示の主題の更なる特徴、特性、及び種々の利点は、以下の詳細な説明及び添付の図面から一層明らかになるだろう。
【0028】
【図1A】イントラ予測モードの例示的な部分集合の概略図である。
【0029】
【図1B】例示的なイントラ予測方向の図である。
【0030】
【図1C】例示的なイントラ予測方向の図である。
【0031】
【図1D】一例における現在ブロック及びその周囲の空間的マージ候補の概略図である。
【0032】
【図2】一実施形態による、通信システム（２００）の簡易ブロック図の概略図である。
【0033】
【図3】一実施形態による、通信システム（３００）の簡易ブロック図の概略図である。
【0034】
【図4】一実施形態による、デコーダの簡易ブロック図の概略図である。
【0035】
【図5】一実施形態による、エンコーダの簡易ブロック図の概略図である。
【0036】
【図6】別の実施形態による、エンコーダのブロック図を示す。
【0037】
【図7】別の実施形態による、デコーダのブロック図を示す。
【0038】
【図8A】実施形態によるブロックパーティションを示す。
【0039】
【図8B】実施形態によるブロックパーティション木を示す。
【0040】
【図9A】実施形態による垂直中央－端３分木パーティションを示す。
【0041】
【図9B】実施形態による水平中央－端３分木パーティションを示す。
【0042】
【図10A】種々の実施形態による異なるクロマフォーマットを示す。
【図10B】種々の実施形態による異なるクロマフォーマットを示す。
【図10C】種々の実施形態による異なるクロマフォーマットを示す。
【図10D】種々の実施形態による異なるクロマフォーマットを示す。
【0043】
【図11】実施形態による例示的なエンコーダを示す。
【0044】
【図12】実施形態による例示的なデコーダを示す。
【0045】
【図13】実施形態による最小及び最大ルマ値の間の直線を示す。
【0046】
【図14A】実施形態によるＬＴ＿ＣＣＬＭにおけるα及びβの導出のために使用されるサンプルの位置を示す。
【図14B】実施形態によるＬＴ＿ＣＣＬＭにおけるα及びβの導出のために使用されるサンプルの位置を示す。
【0047】
【図15A】実施形態によるＴ＿ＣＣＬＭにおけるα及びβの導出のために使用されるサンプルの位置を示す。
【図15B】実施形態によるＴ＿ＣＣＬＭにおけるα及びβの導出のために使用されるサンプルの位置を示す。
【0048】
【図16A】実施形態によるＬ＿ＣＣＬＭにおけるα及びβの導出のために使用されるサンプルの位置を示す。
【図16B】実施形態によるＬ＿ＣＣＬＭにおけるα及びβの導出のために使用されるサンプルの位置を示す。
【0049】
【図17】実施形態による近隣サンプルを２つのグループに分類する例を示す。
【0050】
【図18】一実施形態によるエンコーダ及びデコーダの概略図である。
【0051】
【図19】エンコーダにより実行される処理の実施形態の図である。
【0052】
【図20】デコーダにより実行される処理の実施形態の図である。
【0053】
【図21】本開示の実施形態によるコンピュータシステムの概略図である。
【発明を実施するための形態】
【0054】
図２は、本発明の一実施形態による通信システム（２００）の簡易ブロック図を示す。通信システム（２００）は、例えばネットワーク（２５０）を介して互いに通信できる複数の端末装置を含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された端末装置（２１０）及び（２２０）の第１ペアを含む。図２の例では、端末装置（２１０）及び（２２０）の第１ペアは、データの単方向伝送を実行する。例えば、端末装置（２１０）は、ネットワーク（２５０）を介して他の端末装置（２２０）への送信のために、ビデオデータ（端末装置（２１０）によりキャプチャされたビデオピクチャのストリーム）を符号化する。符号化ビデオデータは、１つ以上の符号化ビデオビットストリームの形式で、送信できる。端末装置（２２０）は、ネットワーク（２５０）から符号化ビデオデータを受信し、符号化ビデオデータを復号してビデオピクチャを復元し、復元したビデオデータに従いビデオピクチャを表示してよい。単方向データ伝送は、メディアサービングアプリケーション等で共通であってよい。
【0055】
別の例では、通信システム（２００）は、例えばビデオ会議の間に生じ得る符号化ビデオデータの双方向伝送を実行する端末装置（２３０）及び（２４０）の第２ペアを含む。データの双方向伝送では、端末装置（２３０）及び（２４０）は、ネットワーク（２５０）を介して端末装置（２３０）及び（２４０）への送信のために、ビデオデータ（例えば、端末装置によりキャプチャされたビデオピクチャのストリーム）を符号化してよい。端末装置（２３０）及び（２４０）のうちの各端末装置は、端末装置（２３０）及び（２４０）のうちの他方の端末装置により送信された符号化ビデオデータを受信してよく、符号化ビデオデータを復号してビデオピクチャを復元してよく、復元したビデオデータに従い、アクセス可能なディスプレイ装置においてビデオピクチャを表示してよい。
【0056】
図２の例では、端末装置（２１０）、（２２０）、（２３０）及び（２４０）は、サーバ、パーソナルコンピュータ、及びスマートフォンとして示されてよいが、本開示の原理はこれらに限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤ、及び／又は専用ビデオ会議設備による適用がある。ネットワーク（２５０）は、端末装置（２１０）、（２２０）、（２３０）、及び（２４０）の間で符号化ビデオデータを運ぶ任意の数のネットワークを表し、例えば有線（ワイヤード）及び／又は無線通信ネットワークを含む。通信ネットワーク２５０は、回線切り替え及び／又はパケット切り替えチャネルでデータを交換してよい。代表的なネットワークは、電子通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク、及び／又はインターネットを含む。本発明の議論の目的で、ネットワーク（２５０）のアーキテクチャ及びトポロジは、以下で特に断りの無い限り、本開示の動作にとって重要でないことがある。
【0057】
図３は、開示の主題の適用の一例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示す。開示の主題は、例えばビデオ会議、デジタルＴＶ、ＣＤ、ＤＶＤ、メモリスティック、等を含むデジタル媒体への圧縮ビデオの格納、他のビデオ可能アプリケーション、等に等しく適用可能である。
【0058】
ストリーミングシステムは、例えば非圧縮のビデオピクチャストリーム（３０２）を生成するビデオソース（３０１）を含み得るキャプチャサブシステム（３１３）を含んでよい。一例では、ビデオピクチャストリーム（３０２）は、デジタルカメラにより取り込まれたサンプルを含む。ビデオピクチャストリーム（３０２）は、符号化ビデオデータ（３０４）（又は符号化ビデオビットストリーム）と比べたとき、高データ容量を強調するために太線で示され、ビデオソース（３０１）と結合されたビデオエンコーダ（３０３）を含む電子装置（３２０）により処理され得る。ビデオエンコーダ（３０３）は、ハードウェア、ソフトウェア、又はそれらの組み合わせを含み、以下に詳述するように開示の主題の態様を可能にし又は実装することができる。符号化ビデオデータ（３０４）（又はビデオビットストリーム（３０４））は、ビデオピクチャストリーム（３０２）と比べたとき、低データ容量を強調するために細線で示され、将来の使用のためにストリーミングサーバに格納され得る。図３のクライアントサブシステム（３０６）及び（３０８）のような１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（３０５）にアクセスして、符号化ビデオデータ（３０４）のコピー（３０７）及び（３０９）を読み出すことができる。クライアントサブシステム（３０６）は、例えば電子装置（３３０）内にビデオデコーダ（３１０）を含み得る。ビデオデコーダ（３１０）は、符号化ビデオデータの入力コピー（３０７）を復号し、ディスプレイ（３１２）（例えばディスプレイスクリーン）又は他のレンダリング装置（図示しない）上でレンダリングできる出力ビデオピクチャストリーム（３１１）を生成する。幾つかのストリーミングシステムでは、符号化ビデオデータ（３０４）、（３０７）、及び（３０９）（例えば、ビデオビットストリーム）は、特定のビデオ符号化／圧縮標準に従い符号化され得る。これらの標準の例は、ITU－T Recommendation H.２６５を含む。一例では、策定中のビデオ符号化標準は、略式にＶＶＣ（Versatile Video Coding）として知られている。開示の主題は、ＶＶＣの文脈で使用されてよい。
【0059】
電子装置（３２０）及び（３３０）は他のコンポーネント（図示しない）を含み得ることに留意する。例えば、電子装置（３２０）は、ビデオデコーダ（図示しない）を含むことができ、電子装置（３３０）もビデオエンコーダ（図示しない）を含むことができる。
【0060】
図４は、本開示の一実施形態によるビデオデコーダ（４１０）のブロック図を示す。ビデオデコーダ（４１０）は、電子装置（４３０）に含まれ得る。電子装置（４３０）は、受信機（４３１）（例えば、受信回路）を含み得る。ビデオデコーダ（４１０）は、図３の例では、ビデオデコーダ（３１０）の代わりに使用できる。
【0061】
受信機（４３１）は、ビデオデコーダ（４１０）により符号化されるべき１つ以上の符号化ビデオシーケンス、同じ又は別の実施形態では、一度に１つの符号化ビデオシーケンスを受信してよい。ここで、各符号化ビデオシーケンスの復号は、他の符号化ビデオシーケンスと独立している。符号化ビデオシーケンスは、符号化ビデオデータを格納する記憶装置へのハードウェア／ソフトウェアリンクであってよいチャネル４０１から受信されてよい。受信機４３１は、他のデータ、例えば、それぞれの使用エンティティ（図示しない）へと転送され得る符号化音声データ及び／又は補助データストリームと共に、符号化ビデオデータを受信してよい。受信機４３１は、他のデータから符号化ビデオシーケンスを分離してよい。ネットワークジッタを除去するために、バッファメモリ（４１５）は、受信機（４３１）とエントロピーデコーダ／パーサ（４２０）（以後、「パーサ（４２０）」）との間に結合されてよい。特定の適用では、バッファメモリ（４１５）は、ビデオデコーダ（４１０）の一部である。他に、ビデオデコーダ（４１０）（図示しない）の外部にあり得る。更に他では、例えばネットワークジッタを除去するために、ビデオデコーダ（４１０）の外部に、例えば再生（playout）タイミングを処理するために、ビデオデコーダ（４１０）の内部にある別のバッファメモリ（４１５）に加えて、バッファメモリ（図示しない）が存在し得る。受信機（４３１）が、十分な帯域幅の記憶／転送装置から制御可能に、又はアイソクロナス（isosynchronous）ネットワークから、データを受信しているとき、バッファメモリ（４１５）は、必要なくてよく又は小さくできる。インターネットのようなベストエフォート型パケットネットワークで使用するために、バッファメモリ（４１５）が必要とされてよく、比較的大きくなり、有利なことに適応型サイズであり、少なくとも部分的にオペレーティングシステム又はビデオデコーダ（４１０）の外部の同様の要素（図示しない）に実装されてよい。
【0062】
ビデオデコーダ（４１０）は、符号化ビデオシーケンスからシンボル（４２１）を再構成するために、パーサ（４２０）を含んでよい。これらのシンボルのカテゴリは、ビデオデコーダ（４１０）の動作を管理するために使用される情報、及び場合によっては図４に示したように電子装置（４３０）の統合部分ではないが電子装置（４３０）に結合され得るレンダー装置（４１２）（例えば、ディスプレイスクリーン）のようなレンダリング装置を制御するための情報を含む。レンダリング装置のための制御情報は、ＳＥＩ（Supplemental Enhancement Information）メッセージ又はＶＵＩ（Video Usability Information）パラメータセットフラグメント（図示しない）の形式であってよい。パーサ（４２０）は、受信された符号かビデオシーケンスをパース／エントロピー復号してよい。符号化ビデオシーケンスの符号化は、ビデオ符号化技術又は標準に従うことができ、可変長符号化、ハフマン符号化、コンテキスト依存性を有する又は有しない算術的符号化、等を含む、種々の原理に従うことができる。パーサ（４２０）は、符号化ビデオシーケンスから、ビデオデコーダの中のピクセルのサブグループのうちの少なくとも１つについて、該グループに対応する少なくとも１つのパラメータに基づき、サブグループパラメータのセットを抽出してよい。サブグループは、ＧＯＰ（Groups of Picture）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（Coding Units：CU）、ブロック、変換ユニット（Transform Units：TU）、予測ユニット（Prediction Units：PU）、等を含み得る。パーサ（４２０）は、符号化ビデオシーケンスから、変換係数、量子化パラメータ値、動きベクトル、等のような情報も抽出してよい。
【0063】
パーサ（４２０）は、バッファメモリ（４１５）から受信したビデオシーケンスに対してエントロピー復号／パース動作を実行して、シンボル（４２１）を生成してよい。
【0064】
シンボル４２１の再構成は、符号化ビデオピクチャ又はその部分の種類（例えば、インター及びイントラピクチャ、インター及びイントラブロック）及び他の要因に依存して、複数の異なるユニットを含み得る。どのユニットがどのように含まれるかは、パーサ４２０により符号化ビデオシーケンスからパースされたサブグループ制御情報により制御できる。パーサ４２０と以下の複数のユニットとの間のこのようなサブグループ制御情報のフローは、明確さのために示されない。
【0065】
既に言及した機能ブロックを超えて、ビデオデコーダ（４１０）は、後述のように、多数の機能ユニットに概念的に細分化できる。商用的制約の下で動作する実際の実装では、これらのユニットの多くは、互いに密に相互作用し、少なくとも部分的に互いに統合され得る。しかしながら、開示の主題を説明する目的で、機能ユニットへの以下の概念的細分化は適切である。
【0066】
第１ユニットは、スケーラ／逆変換ユニット４５１である。スケーラ／逆変換ユニット（４５１）は、量子化済み変換係数、及び、どの変換を使用すべきか、ブロックサイズ、量子化係数、量子化スケーリングマトリクス、等を含む制御情報を、パーサ（４２０）からのシンボル（４２１）として受信する。スケーラ／逆変換ユニット（４５１）は、アグリゲータ（４５５）に入力され得るサンプル値を含むブロックを出力できる。
【0067】
幾つかの例では、スケーラ／逆変換ユニット（４５１）の出力サンプルは、イントラ符号化ブロック、つまり、前に再構成されたピクチャからの予測情報を使用しないが現在ピクチャの前に再構成された部分からの予測情報を使用可能なブロック、に属することができる。このような予測情報は、イントラピクチャ予測ユニット４５２により提供できる。幾つかの場合には、イントラピクチャ予測ユニット（４５２）は、再構成中のブロックと同じサイズ及び形状のブロックを、現在ピクチャバッファ（４５８）からフェッチした周囲の既に再構成された情報を用いて、生成する。現在ピクチャバッファ（４５８）は、例えば、再構成された現在ピクチャを部分的に及び／又は再構成された現在ピクチャを完全にバッファリングする。アグリゲータ（４５５）は、幾つかの場合には、サンプル毎に、イントラ予測ユニット（４５２）の生成した予測情報を、スケーラ／逆変換ユニット（４５１）により提供された出力サンプル情報に追加する。
【0068】
他の場合には、スケーラ／逆変換ユニット（４５１）の出力サンプルは、インター符号化された、場合によっては動き補償されたブロックに関連し得る。このような場合には、動き補償予測ユニット（４５３）は、参照ピクチャメモリ（４５７）にアクセスして、予測ために使用されるサンプルをフェッチできる。ブロックに関連するシンボル（４２１）に従いフェッチしたサンプルを動き補償した後に、これらのサンプルは、アグリゲータ（４５５）により、出力サンプル情報を生成するために、スケーラ／逆変換ユニット（４５１）の出力に追加され得る（この場合、残差サンプル又は残差信号と呼ばれる）。動き補償予測ユニット（４５３）が予測サンプルをフェッチする参照ピクチャメモリ（４５７）内のアドレスは、例えばＸ、Ｙ及び参照ピクチャコンポーネントを有し得るシンボル（４２１）の形式で、動き補償予測ユニット（４５３）の利用可能な動きベクトルにより制御できる。動き補償は、サブサンプルの正確な動きベクトルが使用中であるとき参照ピクチャメモリ（４５７）からフェッチされたサンプル値の補間、動きベクトル予測メカニズム、等を含み得る。
【0069】
アグリゲータ（４５５）の出力サンプルは、ループフィルタユニット（４５６）において種々のループフィルタリング技術を受け得る。ビデオ圧縮技術は、符号化ビデオシーケンス（符号化ビデオビットストリームとも呼ばれる）に含まれ且つパーサ（４２０）からのシンボル（４２１）としてループフィルタユニット（４５６）に利用可能にされたパラメータにより制御されるが、符号化ピクチャ又は符号化ビデオシーケンスの（複合順序で）前の部分の複合中に取得されたメタ情報にも応答し、前に再構成されループフィルタリングされたサンプル値にも応答し得るインループフィルタ技術を含み得る。
【0070】
ループフィルタユニット（４５６）の出力は、レンダー装置（４１２）へと出力でき及び将来のインターピクチャ予測で使用するために参照ピクチャメモリ（４５７）に格納され得るサンプルストリームであり得る。
【0071】
特定の符号化ピクチャは、一旦完全に再構成されると、将来の予測のための参照ピクチャとして使用できる。例えば、現在ピクチャに対応する符号化ピクチャが完全に再構成され、符号化ピクチャが（例えばパーサ（４２０）により）参照ピクチャとして識別されると、現在ピクチャバッファ（４５８）は、参照ピクチャメモリ（４５７）の一部になることができ、後続の符号化ピクチャの再構成を開始する前に、新鮮な現在ピクチャバッファを再割り当てできる。
【0072】
ビデオデコーダ（４１０）は、ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６５のような標準の所定のビデオ圧縮技術に従い復号動作を実行してよい。符号化ビデオシーケンスがビデオ圧縮技術又は標準、及びビデオ圧縮技術又は標準において文書化されたプロファイルの両方に従うという意味で、符号化ビデオシーケンスは、使用中のビデオ圧縮技術又は標準により指定されたシンタックスに従ってよい。具体的に、プロファイルは、ビデオ圧縮技術又は標準において利用可能な全部のツールから、プロファイルの下でのみ使用可能なツールとして、特定のツールを選択できる。また、遵守のために必要なことは、符号化ビデオシーケンスの複雑さが、ビデオ圧縮技術又は標準のレベルにより定められる限界の範囲内であることであり得る。幾つかの場合には、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えばメガサンプル／秒で測定される）、最大参照ピクチャサイズ、等を制限する。レベルにより設定される限界は、幾つかの場合には、ＨＲＤ（Hypothetical Reference Decoder）仕様及び符号化ビデオシーケンスの中でシグナリングされるＨＤＲバッファ管理のためのメタデータを通じて更に制限され得る。
【0073】
一実施形態では、受信機４３１は、符号化ビデオと共に追加（冗長）データを受信してよい。追加データは、符号化ビデオシーケンスの部分として含まれてよい。追加データは、データを正しく復号するため及び／又は元のビデオデータをより正確に再構成するために、ビデオデコーダ４１０により使用されてよい。追加データは、例えば、時間的、空間的、又は信号雑音比（ＳＮＲ）の拡張レイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正符号、等の形式であり得る。
【0074】
図５は、本開示の一実施形態によるビデオエンコーダ（５０３）のブロック図を示す。ビデオエンコーダ（５０３）は、電子装置（５２０）に含まれる。電子装置（５２０）は、送信機（５４０）（例えば、送信回路）を含む。ビデオエンコーダ（５０３）は、図３の例では、ビデオエンコーダ（３０３）の代わりに使用できる。
【0075】
ビデオエンコーダ（５０３）は、ビデオサンプルを、ビデオエンコーダ（５０３）により符号化されるべきビデオ画像をキャプチャし得るビデオソース（５０１）（図５の例では、電子装置（５２０）の部分ではない）から受信してよい。別の例では、ビデオソース（５０１）は、電子装置（５２０）の一部である。
【0076】
ビデオソース（５０１）は、ビデオエンコーダ（５０３）により符号化されるべきソースビデオシーケンスを、任意の適切なビット深さ（例えば、８ビット、１０ビット、１２ビット、．．．）、任意の色空間（例えば、ＢＴ．６０１ ＹＣｒＣｂ、ＲＧＢ、．．．）、及び任意の適切なサンプリング構造（例えば、ＹＣｒＣｂ ４：２：０、ＹＣｒＣｂ ４：４：４）のデジタルビデオサンプルストリームの形式で、提供してよい。メディア提供システムでは、ビデオソース５０１は、前に準備されたビデオを格納する記憶装置であってよい。ビデオ会議システムでは、ビデオソース５０１は、ビデオシーケンスとしてローカル画像情報をキャプチャするカメラであってよい。ビデオデータは、続けて閲覧されると動きを与える複数の個別ピクチャとして提供されてよい。ピクチャ自体は、ピクセルの空間的配列として組織化されてよい。各ピクセルは、使用中のサンプリング構造、色空間、等に依存して、１つ以上のサンプルを含み得る。当業者は、ピクセルとサンプルとの間の関係を直ちに理解できる。以下の説明はサンプルに焦点を当てる。
【0077】
一実施形態によると、ビデオエンコーダ（５０３）は、ソースビデオシーケンスのピクチャを、符号化ビデオシーケンス（５４３）へと、リアルタイムに又はアプリケーションにより要求される任意の他の時間制約の下で符号化し圧縮してよい。適切な符号化速度の実施は、制御部（５５０）の１つの機能である。幾つかの実施形態では、制御部（５５０）は、後述する他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。結合は、明確さのために図示されない。制御部（５５０）により設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、．．．）、ピクチャサイズ、ＧＯＰ（group of pictures）レイアウト、最大動きベクトル探索範囲、等を含み得る。制御部（５５０）は、特定のシステム設計に最適化されたビデオエンコーダ（５０３）に関連する他の適切な機能を有するよう構成され得る。
【0078】
幾つかの実施形態では、ビデオエンコーダ（５０３）は、符号化ループの中で動作するよう構成される。非常に簡略化された説明として、一例では、符号化ループは、ソースコーダ（５３０）（例えば、シンボルストリームのようなシンボルを、符号化されるべき入力ピクチャ及び参照ピクチャに基づき生成することを担う）、及びビデオエンコーダ（５０３）に内蔵された（ローカル）デコーダ（５３３）を含み得る。デコーダ（５３３）は、（シンボルと符号化ビットストリームとの間の任意の圧縮が、開示の主題において検討されるビデオ圧縮技術において無損失であるとき）（遠隔にある）デコーダが生成するのと同様の方法で、シンボルを再構成して、サンプルデータを生成する。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（５３４）に入力される。シンボルストリームの復号が、デコーダ位置（ローカル又はリモート）と独立にビット正確な結果をもたらすとき、参照ピクチャメモリ（５３４）の内容も、ローカルエンコーダとリモートエンコーダとの間でビット正確である。言い換えると、エンコーダの予測部分が、復号中に予測を用いるときデコーダが「見る」のと正確に同じサンプル値を、参照ピクチャサンプルとして「見る」。参照ピクチャ同期性のこの基本原理（及び、例えばチャネルエラーのために同期生が維持できない場合には、結果として生じるドリフト）は、幾つかの関連技術で同様に使用される。
【0079】
「ローカル」デコーダ（５３３）の動作は、図４と関連して以上に詳述したビデオデコーダ（４１０）のような「リモート」デコーダのものと同じであり得る。簡単に一時的に図４も参照すると、しかしながら、シンボルが利用可能であり、エントロピーコーダ（５４５）及びパーサ（４２０）による符号化ビデオシーケンスへのシンボルの符号化／復号が無損失であり得るので、バッファメモリ（４１５）を含むビデオデコーダ（４１０）のエントロピー復号部分、及びパーサ（４２０）は、ローカルデコーダ（５３３）に完全に実装されなくてよい。
【0080】
この点で行われる考察は、デコーダ内に存在するパース／エントロピー復号を除く任意のデコーダ技術も、対応するエンコーダ内と実質的に同一の機能形式で存在する必要があるということである。この理由から、開示の主題は、デコーダ動作に焦点を当てる。エンコーダ技術の説明は、それらが包括的に説明されるデコーダ技術の逆であるので、省略できる。特定の領域においてのみ、より詳細な説明が必要であり、以下に提供される。
【0081】
動作中、幾つかの例では、ソースコーダ（５３０）は、動き補償された予測符号化を実行してよい。これは、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の前に符号化されたピクチャを参照して予測的に入力ピクチャを符号化する。この方法では、符号化エンジン（５３２）は、入力ピクチャのピクセルブロックと、入力ピクチャに対する予測基準として選択されてよい参照ピクチャのピクセルブロックとの間の差分を符号化する。
【0082】
ローカルビデオデコーダ（５３３）は、ソースコーダ（５３０）により生成されたシンボルに基づき、参照ピクチャとして指定されてよいピクチャの符号化ビデオデータを復号してよい。符号化エンジン５３２の動作は、有利なことに、損失処理であってよい。符号化ビデオデータがビデオデコーダ（図５に図示されない）において復号され得るとき、再構成ビデオシーケンスは、標準的に、幾つかのエラーを有するソースビデオシーケンスの複製であってよい。ローカルビデオデコーダ（５３３）は、参照ピクチャに対してビデオデコーダにより実行され得る復号処理を複製し、参照ピクチャキャッシュ（５３４）に格納されるべき再構成参照ピクチャを生じ得る。このように、ビデオエンコーダ（５０３）は、（伝送誤りが無ければ）遠端ビデオデコーダにより取得される再構成参照ピクチャと共通の内容を有する再構成参照ピクチャのコピーを格納してよい。
【0083】
予測器（５３５）は、符号化エンジン（５３２）のために予測探索を実行してよい。つまり、符号化されるべき新しいピクチャについて、予測器（５３５）は、新しいピクチャのための適切な予測基準として機能し得る（候補参照ピクセルブロックのような）サンプルデータ又は参照ピクチャ動きベクトル、ブロック形状、等のような特定のメタデータについて、参照ピクチャメモリ（５３４）を検索してよい。予測器（５３５）は、適切な予測基準を見付けるために、サンプルブロック－ピクセルブロック毎に動作してよい。幾つかの例では、予測器５３５により取得された検索結果により決定されるように、入力ピクチャは、参照ピクチャメモリ５３４に格納された複数の参照ピクチャから引き出された予測基準を有してよい。
【0084】
制御部（５５０）は、例えば、ビデオデータの符号化のために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ（５３０）の符号化動作を管理してよい。
【0085】
全ての前述の機能ユニットの出力は、エントロピーコーダ（５４５）におけるエントロピー符号化を受けてよい。エントロピーコーダ（５４５）は、ハフマン符号化、可変長符号化、算術符号化、等のような技術に従いシンボルを無損失圧縮することにより、種々の機能ユニットにより生成されたシンボルを、符号化ビデオシーケンスへと変換する。
【0086】
送信機（５４０）は、符号化ビデオデータを格納し得る記憶装置へのハードウェア／ソフトウェアリンクであってよい通信チャネル（５６０）を介する伝送のために準備するために、エントロピーコーダ（５４５）により生成された符号化ビデオシーケンスをバッファリングしてよい。送信機５４０は、ビデオコーダ５０３からの符号化ビデオデータを、送信されるべき他のデータ、例えば符号化音声データ及び／又は補助データストリーム（図示されないソース）とマージ（merge）してよい。
【0087】
制御部（５５０）は、ビデオエンコーダ（５０３）の動作を管理してよい。符号化中、制御部５５０は、それぞれのピクチャに適用され得る符号化技術に影響し得る特定の符号化ピクチャタイプを、各符号化ピクチャに割り当ててよい。例えば、ピクチャは、多くの場合、以下のピクチャタイプのうちの１つとして割り当てられてよい。
【0088】
イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の任意の他のピクチャを使用せずに符号化及び復号され得るピクチャであってよい。幾つかのビデオコーデックは、例えばＩＤＲ（Independent Decoder Refresh）ピクチャを含む異なる種類のイントラピクチャを許容する。当業者は、Ｉピクチャの変形、及びそれらの個々の適用及び特徴を認識する。
【0089】
予測ピクチャ（Ｐピクチャ）は、殆どの場合、各ブロックのサンプル値を予測するために１つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測を用いて符号化及び復号され得るピクチャであってよい。
【0090】
双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために最大２つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測を用いて符号化及び復号され得るピクチャであってよい。同様に、マルチ予測ピクチャは、単一のブロックの再構成のために、２つより多くの参照ピクチャ及び関連付けられたメタデータを使用できる。
【0091】
ソースピクチャは、共通に、複数のサンプルブロック（例えば、それぞれ４×４、８×８、４×８、又は１６×１６個のサンプルのブロック）に空間的に細分化され、ブロック毎に符号化されてよい。ブロックは、ブロックのそれぞれのピクチャに適用される符号化割り当てにより決定される他の（既に符号化された）ブロックへの参照により予測的に符号化されてよい。例えば、Ｉピクチャのブロックは、非予測的に符号化されてよく、又はそれらは同じピクチャの既に符号化されたブロックを参照して予測的に符号化されてよい（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、１つの前に符号化された参照ピクチャを参照して、空間予測を介して又は時間予測を介して、予測的に符号化されてよい。Ｂピクチャのブロックは、１つ又は２つの前に符号化された参照ピクチャを参照して、空間予測を介して又は時間予測を介して、予測的に符号化されてよい。
【0092】
ビデオエンコーダ（５０３）は、ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６５のような所定のビデオ符号化技術又は標準に従い符号化動作を実行してよい。その動作において、ビデオエンコーダ（５０３）は、入力ビデオシーケンスの中の時間的及び空間的冗長性を利用する予測符号化動作を含む種々の圧縮動作を実行してよい。符号化ビデオデータは、したがって、使用されているビデオ符号化技術又は標準により指定されたシンタックスに従ってよい。
【0093】
一実施形態では、送信機５４０は、符号化ビデオと共に追加データを送信してよい。ソースコーダ（５３０）は、このようなデータを符号化ビデオシーケンスの部分として含んでよい。追加データは、時間／空間／ＳＮＲ拡張レイヤ、冗長ピクチャ及びスライスのような他の形式の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメント、等を含んでよい。
【0094】
ビデオは、時系列の中の複数のソースピクチャ（ビデオピクチャ）としてキャプチャされてよい。イントラピクチャ予測（イントラ予測と省略されることがある）は、所与のピクチャの中の空間的相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的又は他の）相関を利用する。一例では、符号化／復号中の特定のピクチャは、現在ピクチャと呼ばれ、ブロックにパーティションされる。現在ピクチャの中のブロックが、ビデオの中の前に符号化され且つ未だバッファリングされている参照ピクチャの中の参照ブロックと同様であるとき、現在ピクチャの中のブロックは、動きベクトルと呼ばれるベクトルにより符号化できる。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用中である場合には、参照ピクチャを識別する第３次元を有することができる。
【0095】
幾つかの実施形態では、双予測（bi－prediction）技術が、インターピクチャ予測で使用できる。双予測技術によると、両方とも復号順序でビデオの中の現在ピクチャより前にある（が、それぞれ表示順序で過去及び未来にあってよい）第１参照ピクチャ及び第２参照ピクチャのような２つの参照ピクチャが使用される。現在ピクチャ内のブロックは、第１参照ピクチャ内の第１参照ブロックを指す第１動きベクトル、及び第２参照ピクチャ内の第２参照ブロックを指す第２動きベクトルにより符号化できる。ブロックは、第１参照ブロック及び第２参照ブロックの結合により予測できる。
【0096】
さらに、符号化効率を向上するために、インターピクチャ予測においてマージモード技術が使用できる。
【0097】
本開示の幾つかの実施形態によると、インターピクチャ予測及びイントラピクチャ予測のような予測は、ブロックのユニットの中で実行される。例えば、ＨＥＶＣ標準によると、ビデオピクチャシーケンスの中のピクチャは、圧縮のために符号化木単位（coding tree unit：CTU）にパーティションされる。ピクチャ内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルのような、同じサイズを有する。通常、ＣＴＵは、３個の符号化木ブロック（coding tree blocks：CTB）、つまり１個のルマＣＴＢ及び２個のクロマＣＴＢ、を含む。各ＣＴＵは、１又は複数の符号化ユニット（coding unit：CU）に再帰的に４分木分割できる。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１個のＣＵ、又は３２×３２ピクセルの４個のＣＵ、又は１６×１６ピクセルの１６個のＣＵに分割できる。一例では、各ＣＵは、インター予測タイプ又はイントラ予測タイプのようなＣＵの予測タイプを決定するために分析される。ＣＵは、時間的及び／又は空間的予測性に依存して、１つ以上の予測ユニット（prediction unit：PU）に分割される。通常、各ＰＵは、ルマ予測ブロック（prediction block：PB）、及び２個のクロマＰＢを含む。一実施形態では、符号化（符号化／復号）における予測演算が、予測ブロックのユニットの中で実行される。ルマ予測ブロックを予測ブロックの一例として用いると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセル、等のようなピクセルについて値（例えば、ルマ値）のマトリクスを含む。
【0098】
図６は、本開示の別の実施形態によるビデオエンコーダ（６０３）の図を示す。ビデオエンコーダ（６０３）は、ビデオピクチャシーケンスの中の現在ビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを符号化ビデオシーケンスの部分である符号化ピクチャに符号化するよう構成される。一例では、ビデオエンコーダ（６０３）は、図３の例では、ビデオエンコーダ（３０３）の代わりに使用される。
【0099】
ＨＥＶＣの例では、ビデオエンコーダ（６０３）は、８×８サンプル等の予測ブロックのような、処理ブロックのサンプル値のマトリクスを受信する。ビデオエンコーダ（６０３）は、例えばレート歪み最適化を用いて、処理ブロックがイントラモード、インターモード、又は双予測モードを用いて最適に符号化されるかを決定する。処理ブロックはイントラモードで符号化されるとき、ビデオエンコーダ（６０３）は、処理ブロックを符号化ピクチャへと符号化するために、イントラ予測技術を使用してよい。処理ブロックがインターモード又は双予測モードで符号化されるとき、ビデオエンコーダ（６０３）は、処理ブロックを符号化ピクチャへと符号化するために、それぞれインター予測又は双予測技術を使用してよい。特定のビデオ符号化技術では、マージモードは、予測器のギア部の符号化動きベクトル成分無しに、動きベクトルが１つ以上の動きベクトル予測器から得られるインターピクチャ予測サブモードであり得る。特定の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトル成分が存在し得る。一例では、ビデオエンコーダ（６０３）は、処理ブロックのモードを決定するために、モード決定モジュール（図示しない）のような他のコンポーネントを含む。
【0100】
図６の例では、ビデオエンコーダ（６０３）は、図６に示したように一緒にインターエンコーダ（６３０）、イントラエンコーダ（６２２）、残差計算器（６２３）、スイッチ（６２６）、残差エンコーダ（６２４）、汎用制御部（６２１）、及びエントロピーエンコーダ（６２５）を含む。
【0101】
インターエンコーダ（６３０）は、現在ブロック（例えば、処理中のブロック）のサンプルを受信し、ブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、前のピクチャ及び後のピクチャの中のブロック）と比較し、インター予測情報（例えば、インター符号化技術による冗長情報の説明、動きベクトル、マージモード情報）を生成し、任意の適切な技術を用いてインター予測情報に基づきインター予測結果（例えば、予測ブロック）を計算するよう構成される。幾つかの例では、参照ピクチャは、符号化ビデオ情報に基づき復号された、復号参照ピクチャである。
【0102】
イントラエンコーダ（６２２）は、現在ブロック（例えば、処理中のブロック）のサンプルを受信し、幾つかの場合には、ブロックをサンプルピクチャ内の既に符号化されたブロックと比較し、変換後に量子化済み係数を、幾つかの場合にはイントラ予測情報（例えば、１つ以上のイントラ符号化技術によるイントラ予測方向情報）も生成するよう構成される。一例では、イントラエンコーダ（６２２）は、イントラ予測情報及び同じピクチャ内の参照ブロックに基づき、イントラ予測結果（例えば、予測したブロック）も計算する。
【0103】
汎用制御部（６２１）は、一般制御データを決定し、一般制御データに基づきビデオエンコーダ（６０３）の他のコンポーネントを制御するよう構成される。一例では、汎用制御部（６２１）は、ブロックのモードを決定し、モードに基づき、制御信号をスイッチ（６２６）に提供する。例えば、モードがイントラモードであるとき、一般制御部（６２１）は、残差計算器（６２３）による使用のためにイントラモード結果を選択するようスイッチ（６２６）を制御し、イントラ予測情報を選択してビットストリーム内にイントラ予測情報を含めるよう、エントロピーエンコーダ（６２５）を制御し、モードがインターモードであるとき、一般制御部（６２１）は、残差計算器（６２３）による使用のためにインター予測結果を選択するようスイッチ（６２６）を制御し、インター予測情報を選択してビットストリーム内にインター予測情報を含めるよう、エントロピーエンコーダ（６２５）を制御する。
【0104】
残差計算器（６２３）は、受信したブロックとイントラエンコーダ（６２２）又はインターエンコーダ（６３０）からの選択された予測結果との間の差（残差データ）を計算するよう構成される。残差エンコーダ（６２４）は、残差データに基づき動作して、残差データを符号化し、変換係数を生成するよう構成される。一例では、残差エンコーダ（６２４）は、残差データを空間ドメインから周波数ドメインへと変換し、変換係数を生成するよう構成される。変換係数は、次に、量子化変換係数を得るために、量子化処理を受ける。種々の実施形態では、ビデオエンコーダ（６０３）も残差デコーダ（６２８）を含む。残差デコーダ（６２８）は、逆変換を実行し、復号残差データを生成するよう構成される。復号残差データは、イントラエンコーダ（６２２）及びインターエンコーダ（６３０）により適切に使用できる。例えば、インターエンコーダ（６３０）は、復号残差データ及びインター予測情報に基づき復号ブロックを生成でき、イントラエンコーダ（６２２）は、復号残差データ及びイントラ予測情報に基づき復号ブロックを生成できる。復号ブロックは、復号ピクチャを生成するために適切に処理され、復号ピクチャは、幾つかの例ではメモリ回路（図示しない）にバッファリングされ、参照ピクチャとして使用できる。
【0105】
エントロピーエンコーダ（６２５）は、符号化ブロックを含めるために、ビットストリームをフォーマットするよう構成される。エントロピーエンコーダ（６２５）は、ＨＥＶＣ標準のような適切な標準に従い種々の情報を含むよう構成される。一例では、エントロピーエンコーダ（６２５）は、ビットストリームに、一般制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及び他の適切な情報を含めるよう構成される。開示の主題によると、インターモード又は双予測モードのいずれかのマージサブモードでブロックを符号化するとき、残差情報は存在しないことに留意する。
【0106】
図７は、本開示の別の実施形態によるビデオエンコーダ（７１０）の図を示す。ビデオデコーダ（７１０）は、符号化ビデオシーケンスの部分である符号化ピクチャを受信し、符号化ピクチャを復号して再構成ピクチャを生成するよう構成される。一例では、ビデオデコーダ（７１０）は、図３の例では、ビデオデコーダ（３１０）の代わりに使用される。
【0107】
図７の例では、ビデオデコーダ（７１０）は、図７に示したように一緒にエントロピーデコーダ（７７１）、インターデコーダ（７８０）、残差デコーダ（７７３）、再構成モジュール（７７４）、イントラデコーダ（７７２）を含む。
【0108】
エントロピーデコーダ（７７１）は、符号化ピクチャから、符号化ピクチャの生成されたシンタックス要素を表す特定のシンボルを再構成するよう構成され得る。このようなシンボルは、例えば、ブロックの符号化されたモード（例えば、イントラモード、インターモード、双方向モード、マージサブモード又は別のサブモードの後者の２つ）、それぞれイントラデコーダ（７７２）又はインターデコーダ（７８０）による予測のために使用される特定のサンプル又はメタデータを特定できる予測情報（例えば、イントラ予測情報又はインター予測情報）、例えば量子化された変換係数の形式の残差情報、等を含み得る。一例では、予測モードがインター又は双方向予測モードであるとき、インター予測情報がインターデコーダ（７８０）に提供され、予測タイプがイントラ予測タイプであるとき、イントラ予測情報がイントラデコーダ（７７２）に提供される。残差情報は、逆量子化され、残差デコーダ（７７３）に提供される。
【0109】
インターデコーダ（７８０）は、インター予測情報を受信し、インター予測情報に基づきインター予測結果を生成するよう構成される。
【0110】
イントラデコーダ（７７２）は、イントラ予測情報を受信し、イントラ予測情報に基づき予測結果を生成するよう構成される。
【0111】
残差デコーダ（７７３）は、逆量子化を実行して、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して、残差を周波数ドメインから空間ドメインへと変換するよう構成される。残差デコーダ（７７３）は、（量子化器パラメータ（Quantizer Parameter：QP）を含むための）特定の制御情報も要求してよい。この情報は、エントロピーデコーダ（７７１）により提供されてよい（これは低容量制御情報のみなので、データ経路は示されない）。
【0112】
再構成モジュール（７７４）は、空間ドメインで、残差デコーダ（７７３）による出力としての残差と（場合によりインター又はイントラ予測モジュールによる出力としての）予測結果とを結合して、再構成ピクチャの部分であり得る、一方で再構成ビデオの部分であり得る、再構成ブロックを形成するよう構成される。デブロッキング動作などのような他の適切な動作が、視覚的品質を向上するために実行できる。
【0113】
ビデオエンコーダ（３０３）、（５０３）、及び（６０３）、並びにビデオデコーダ（３１０）、（４１０）、及び（７１０）は、任意の適切な技術を用いて実装できることに留意する。一実施形態では、ビデオエンコーダ（３０３）、（５０３）、及び（６０３）、並びにビデオデコーダ（３１０）、（４１０）、及び（７１０）は、１つ以上の集積回路を用いて実装できる。別の実施形態では、ビデオエンコーダ（３０３）、（５０３）、及び（５０３）、並びにビデオデコーダ（３１０）、（４１０）、及び（７１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実装できる。
【0114】
幾つかの実施形態によると、ＣＴＵは、ＣＵに含まれる個々のブロックの種々の局所特性に適応するために符号化木として示される４分木２分木（quad tree binary tree (QTBT)）構造を用いてＣＵに分割される。ピクチャ領域をインターピクチャ（時間）又はイントラピクチャ（空間）予測を用いて符号化するかの決定は、ＣＵレベルで実行されてよい。各ＣＵは、ＰＵ分割タイプに従い、１、２、又は４個のＰＵに更に分割されてよい。幾つかの実施形態では、１個のＰＵ内で、同じ予測処理が適用され、関連情報がＰＵ毎にデコーダへ送信される。ＰＵ分割タイプに基づき予測処理を適用することにより、残差ブロックを取得した後に、ＣＵは、ＣＴＵの符号化木に使用された４分木構造と同様の別の４分木構造に従いＴＵにパーティションされてよい。幾つかの他の実施形態では、ＰＵは、該ＰＵと同じ形状を有する１個のＴＵのみを含む。
【0115】
ＣＴＵのための符号化木は、ＣＵ、ＰＵ、及びＴＵを含む複数のパーティションタイプを含んでよい。幾つかの実施形態では、ＣＵ又はＵＴＴＥＲＬＹは、正方形のみであり、一方、ＰＵは、インター予測ブロックについて正方形又は長方形であってよい。他の実施形態では、正方形の形状のＣＵ、ＰＵ、及びＴＵが許可される。ピクチャ境界では、暗黙的４分木分割が適用されてよい。その結果、ブロックは、分割されたブロックのサイズがピクチャ境界に適合するまで、４分木分割を続ける。幾つかの実施形態によると、暗黙的分割は、分割フラグがシグナリングされないが、代わりに暗黙的に示されることを意味する。例えば、暗黙的ＱＴは、ピクチャ境界ブロックについてＱＴ分割のみが許可されることを意味する。このように、分割フラグは、ピクチャ境界ではシグナリングされない。別の例として、ＢＴ分割のみがピクチャ境界で許可されるとき、暗黙的分割は２分割である。幾つかの実施形態では、ＱＴ及びＢＴの両方がピクチャ境界で許可されるとき、暗黙的分割は存在せず、分割方法は明示的にシグナリングされる。
【0116】
幾つかの実施形態によると、ＱＴＢＴ構造は、複数のパーティションタイプを含まず（例えば、ＱＴＢＴはＣＵ、ＰＵ、及びＴＵの区別を含まない）、ＣＵパーティション形状について更なる柔軟性をサポートする。例えば、ＱＴＢＴブロック構造では、ＣＵは正方形又は長方形形状のいずれかを有してよい。図８Ａは、ＱＴＢＴ構造によりパーティションされる例示的なＣＴＵ（８００）を示す。例えば、ＣＴＵ（８００）は、４個の等しいサイズのサブＣＵ（Ａ）、（Ｂ）、（Ｃ）、及び（Ｄ）にパーティションされる。図８Ｂは、サブＣＵ（Ａ）、（Ｂ）、（Ｃ）、及び（Ｄ）に対応するブランチを示す対応する符号化木を示す。実線は４分木分割を示し、破線は２分木分割を示す。２分木構造は、２つの分割タイプ：（ｉ）対称水平分割、及び（ｉｉ）対称垂直分割を含んでよい。２分木の各分割（つまり非リーフ）ノードでは、どの分割タイプ（例えば、水平又は垂直）が使用されるかを示すために１つのフラグがシグナリングされてよい。ここで、０は水平分割を示し、１は垂直分割を示し、或いはその逆である。４分木分割はブロックを水平方向及び垂直方向の両方に分割して等しいサイズを有する４個のサブブロックを生成するので、４分木分割では、分割タイプは示されない。
【0117】
図８Ａ及び８Ｂに示すように、サブＣＵ（Ａ）は、先ず、垂直分割により２個のサブブロックにパーティションされる。ここで、左サブブロックは、別の垂直分割により再びパーティションされる。サブＣＵ（Ｂ）は、水平分割により更にパーティションされる。サブＣＵ（Ｃ）は、別の４分割パーティションにより更にパーティションされる。サブＣＵ（Ｃ）の左上サブブロックは、垂直分割によりパーティションされ、続いて水平分割によりパーティションされる。更に、サブＣＵ（Ｃ）の右下サブブロックは、水平分割によりパーティションされる。サブＣＵ（Ｃ）の右上及び左下サブブロックは、更にパーティションされない。サブＣＵ（Ｄ）は、更にパーティションされず、従って、「Ｄ」ブランチの下に符号化木の中に追加リーフノードを含まない。
【0118】
２分木リーフノードは、ＣＵと呼ばれてよい。ここで、２分割は、任意の更なるパーティションを伴わず、予測及び変換処理のために使用されてよい。これは、ＣＵ、ＰＵ、及びＴＵが、ＱＴＢＴ符号化ブロック構造の中で同じブロックサイズを有することを意味する。ＣＵは、異なる色成分の符号化ブロック（coding block (CB)）を含んでよい。例えば、４：２：０クロマ形式のＰ及びＢスライスの場合には、１個のＣＵが１個のルマＣＢと２個のクロマＣＢとを含み、時には単一の成分のＣＢを含んでよい（例えばイントラピクチャ又はＩスライスの場合には、１個のＣＵが１個のルマＣＢのみ又はたった２個のクロマＣＢを含む）。幾つかの実施形態では、イントラピクチャ又はＩスライスでは、ＴＵ幅又は高さは、所与の限界（例えば、ルマでは６４、及びクロマでは３２）を超えないよう制約される。ＣＢ幅又は高さが該限界より大きい場合、ＴＵは、ＴＵのサイズが該限界を超えなくなるまで、更に分割される。
【0119】
幾つかの実施形態によると、ＱＴＢＴパーティション方式は、以下のパラメータを含む。
CTU size：４分木のルートノードサイズ。
MinQTSize：最小許容４分木リーフノードサイズ。
MaxBTSize：最大許容２分木ルートノードサイズ。
MaxBTDepth：最大許容２分木深さ。
MinBTSize：最小許容２分木リーフノードサイズ。
CTU size：４分木のルートノードサイズ。
MinQTSize：最小許容４分木リーフノードサイズ。
MaxBTSize：最大許容２分木ルートノードサイズ。
MaxBTDepth：最大許容２分木深さ。
MinBTSize：最小許容２分木リーフノードサイズ。
【0120】
ＱＴＢＴパーティション構造の一例では、ＣＴＵサイズは、クロマサンプルの２個の対応するブロック６４×６４ブロックを有する１２８×１２８ルマサンプルに設定され、ＭｉｎＱＴＳｉｚｅは１６×１６に設定され、ＭａｘＢＴＳｉｚｅは６４×６４に設定されえ、ＭｉｎＢＴＳｉｚｅ（幅及び高さの両方について）は、４×４に設定され、ＭａｘＢＴＤｅｐｔｈは４に設定される。ＱＴＢＴパーティション構造は、先ず、４分木リーフノードを生成するためにＣＴＵに適用される。４分木リーフノードは、１６×１６（つまり、ＭｉｎＢＴＳｉｚｅ）から１２８×１２８（つまり、ＣＴＵｓｉｚｅ）までのサイズを有してよい。リーフ４分木ノードが１２８×１２８である場合、リーフ４分木ノードは、サイズがＭａｘＢＴＳｉｚｅ（つまり６４×６４）を超えるので、２分木により更に分割されない。その他の場合、リーフ４分木ノードは、２分木により更にパーティションされてよい。従って、４分木リーフノードは２分木のルートノードでもあり、４分木リーフは０のような２分木深さを有する。２分木深さがＭａｘＢＴＤｅｐｔｈ（例えば４）に達すると、更なる分割は実行されない。２分木ノードがＭｉｎＢＴＳｉｚｅ（例えば４）に等しい幅を有するとき、更なる水平分割は実行されない。同様に、２分木ノードがＭｉｎＢＴＳｉｚｅに等しい高さを有するとき、更なる垂直分割は実行されない。２分木のリーフノードは、任意の更なるパーティションを伴わず、予測及び変換処理により更に処理される。幾つかの実施形態では、最大ＣＴＵサイズは２５６×２５６ルマサンプルである。
【0121】
ＱＴＢパーティション構造は、ルマ及びクロマ成分がそれぞれ別個のＱＴＢＴ構造を有する能力を更にサポートしてよい。例えば、Ｐ及びＢスライスでは、１個のＣＴＵの中のルマ及びクロマＣＴＢは、同じＱＴＢＴ構造を共有してよい。しかしながら、Ｉスライスでは、ルマＣＴＢは、ＱＴＢＴ構造によりＣＵへとパーティションされ、クロマＣＴＢは、別のＱＴＢＴ構造によりクロマＣＵへとパーティションされる。従って、本例では、Ｉスライス内のＣＵ（）は、ルマ成分の符号化ブロック又は２個のクロマ成分の符号化ブロックを含み、Ｐ又はＢスライス内のＣＵは、３個の色成分全部の符号化ブロックを含む。
【0122】
幾つかの実施形態では、小さいブロックのインター予測は、動き補償のメモリアクセス要件を低減するよう制約されるので、４×８及び８×４ブロックについて双予測がサポートされず、４×４ブロックについてインター予測がサポートされない。他の実施形態では、ＱＴＢＴパーティション方式は、これらの制約を含まない。
【0123】
幾つかの実施形態によると、マルチタイプ木（Multi－type－tree (MTT)）構造は、（ｉ）４分木分割、（ｉｉ）２分木分割、及び（ｉｉｉ）水平及び垂直中央－端３分木を含む。図９Ａは、垂直中央－端３分木の実施形態を示す。図９Ｂは、水平中央－端３分木の例を示す。ＱＴＢＴ構造と比べて、ＭＴＴは、追加構造が許可されるので、より柔軟な木構造であり得る。
【0124】
３分木パーティションは、具体的に、３分木パーティションがブロック中央に位置するオブジェクトをキャプチャでき、４分木及び２分木分割がブロック中央に沿っている場合に、４分木及び２分木パーティションの補足を提供するような有利な特徴を含む。３分木パーティションの別の利点として、提案された３分木のパーティションの幅及び高さは、２のべき乗である。その結果、追加の変換が必要ない。２レベルの木は、複雑性の低減の利益を提供する。例として、木をトラバースする複雑性はＴＤであり、ここでＴは分割タイプの数を表し、ＤＮＮは木の深さである。
【0125】
異なるＹＵＶ形式又はクロマ形式があり、これらは図１０Ａ～１０Ｄに示される。各クロマ形式は、異なる色成分の異なるダウンサンプリンググリッドを定めてよい。
【0126】
ビデオサンプルの色は、異なる色形式（例えば、ＹＣｂＣｒ又はＲＧＢ）で表現されてよい。ＲＧＢ形式では、３成分（つまり、Ｒ、Ｇ、及びＢ）は強力な相関を有し、結果として、３つの色成分の間に統計冗長性を生じる。ビデオサンプルの色表現は、線形変換を用いて異なる色空間に変換されてよい。ＲＧＢ色空間をＹＵＶ色空間に変換することは、以下のように実行されてよい。
【数1】
【0127】
ＲＧＢ色空間をＹＵＶ色空間に変換することは、以下のように実行されてよい。
【数2】
【0128】
ＲＧＢビデオコンテンツの効率的符号化のために、インループ適応型色変換（Adaptive Colour Transform (ACT)）が開発された。ここで、ＡＣＴは残差ドメインにおいて動作する。ＣＵレベル（CU－level）フラグは、ＡＣＴの使用を示すためにシグナリングされてよい。順方向ＡＣＴ色変換（例えば、エンコーダにおいて実行される変換）は、以下のように実行されてよい。
【数3】
【0129】
逆方向ＡＣＴ色変換（例えば、デコーダにおいて実行される逆変換）は、以下のように実行されてよい。
【数4】
【0130】
図１１は、色空間変換を実行する例示的なエンコーダ１１００を示す。図１１では、色空間変換が実行される前に、予測が実行される。例えば、インター予測又はイントラ予測が、現在ブロックに対して実行されて、残差信号を生成する。残差信号は、式（７）における変換のような順方向変換を実行する順方向色空間変換ユニット（１１０２）に適用される。順方向色空間変換の出力は、クロスコンポーネント生成（cross component production (CCP)）ユニット（１１０２）に提供される。ＣＣＰユニット（１１０２）の出力は、離散コサイン変換（discrete cosine transform (DCT)）のようなタイプの変換を実行する変換（Ｔ）ユニット（１１０６）に提供される。変換ユニット（１１０６）の出力は、係数を生成する量子化器（Ｑ）（１１０８）に提供される。係数は、ビットストリームを提供するエントロピーコーダユニット（１１１０）に提供される。エントロピーコーダユニット（１１１０）は、モード／ｍｖ信号を受信して、エントロピーコーダの特定の動作モードを選択してよい。
【0131】
エンコーダ（１１００）は、ビットストリームを残差信号へと変換するコンポーネントも含んでよい。例えば、エントロピーコーダ（１１１０）により生成されたビットストリームは、逆量子化器（inverse quantizer (IQ)）ユニット（１１１２）に提供されてよい。逆量子化器ユニット（ＩＱ）の出力は、逆変換（inverse transform (IT)）ユニット（１１１４）に提供されてよい。逆変換ユニット（１１１４）の出力は、逆ＣＣＰユニット（１１１６）に提供されてよい。逆ＣＣＰユニット（１１１６）の出力は、式（８）に示される変換のような逆色変換が実行されてよい逆色空間変換（１１１８）に提供されてよい。
【0132】
図１２は、ビットストリームを残差信号へと変換する例示的なデコーダ（１２００）を示す。図１２に示すビットストリームは、エントロピーコーダ（１１１０）（図１１）により生成されたビットストリームであってよい。ビットストリームは、エントロピーデコーダユニット（１２０２）に提供されてよい。エントロピーデコーダユニット（１２０２）の出力は、逆量子化器（ＩＱ）ユニット（１２０４）に提供されてよい。逆量子化器ユニット（ＩＱ）の出力は、逆変換（ＩＴ）ユニット（１２０６）に提供されてよい。逆変換ユニット（１２０４）の出力は、逆ＣＣＰユニット（１２０８）に提供されてよい。逆ＣＣＰユニット（１２０８）の出力は、残差信号を生成するために式（８）に示される変換のような逆色変換が実行されてよい逆色空間変換（１２１０）に提供されてよい。イントラ予測又はインター予測は、現在ブロックを復号するために、残差信号に対して実行されてよい。図１１及び１２に開示されるユニットは、ソフトウェアで、プロセッサにより、又は各ユニットの機能を実行するよう設計された専用集積回路のような回路により実装されてよい。
【0133】
イントラＰＵのクロマ成分について、エンコーダは、平面、ＤＣ、水平、垂直、ルマ成分からのイントラ予測モードの直接コピー（ＤＭ）、ＬＴ＿ＣＣＬＭ（Left and Top Cross－component Linear Mode）、Ｌ＿ＣＣＬＭ（Left Cross－component Linear Mode）、及びＴ＿ＣＣＬＭ（Top Cross－component Linear Mode）を含む８個のモードの中から最良のクロマ予測モードを選択してよい。ＬＴ＿ＣＣＬＭ、Ｌ＿ＣＣＬＭ、及びＴ＿ＣＣＬＭは、クロスコンポーネント線形モード（Cross－component Linear Mode (CCLM)）に分類できる。これらの３つのモードの間の相違点は、近隣サンプルの異なる領域がパラメータα及びβを導出するために使用され得ることである。ＬＴ＿ＣＣＬＭでは、左及び上の近隣サンプルの両方が、パラメータα及びβを導出するために使用されてよい。Ｌ＿ＣＣＬＭでは、幾つかの例では、左近隣サンプルのみが、パラメータα及びβを導出するために使用される。Ｔ＿ＣＣＬＭでは、幾つかの例では、上近隣サンプルのみが、パラメータα及びβを導出するために使用される。
【0134】
ＣＣＬＭ（Cross－Component Linear Model）予測モードは、クロスコンポーネント冗長性を削減するために使用されてよい。ここで、クロマサンプルは、以下のように、例示的な線形モデルを用いて、同じＣＵの再構成ルマサンプルに基づき予測される。
【数5】
【0135】
ここで、ｐｒｅｄＣ（ｉ，ｊ）は、ＣＵ内の予測されたクロマサンプルを表し、ｒｅｃＬ（ｉ，ｊ）は、同じＣＵのダウンサンプリングされた再構成ルマサンプルを表す。パラメータα及びβは、最大－最小法とも呼ばれてよい直線式により導出されてよい。この計算処理は、エンコーダの探索動作としてではなく、復号処理の一部として実行されてよいので、α及びβの値を伝達するためにシンタックスは使用されなくてよい。
【0136】
クロマ４：２：０形式では、ＣＣＬＭ予測は、６タップ補間フィルタを適用して、図１３に示されるようなクロマサンプルに対応するダウンサンプリングされたルマサンプルを取得してよい。式に基づき、ダウンサンプリングされたルマサンプルＲｅｃ’Ｌ［ｘ，ｙ］は、再構成ルマサンプルから計算される。
【0137】
ダウンサンプリングされたルマサンプルは、最大及び最小サンプル点を見付けるために使用されてよい。２個の点（ルマ及びクロマのペア）（Ａ，Ｂ）は、図１３に示されるように、近隣ルマサンプルのセットの中の最小値及び最大値であってよい。
【0138】
線形モデルパラメータα及びβは、次式に従い取得されてよい。
【数6】
【0139】
有利なことに、乗算及びシフト演算を用いることにより、除算演算が回避される。予め計算された値を格納するために、１つのルックアップテーブル（Look－up Table (LUT)）が使用されてよく、最大及び最小ルマサンプルの間の絶対差値は、ＬＵＴのエントリインデックスを指定するために使用されてよい。ＬＵＴのサイズは５１２であってよい。
【0140】
図１４Ａ及び１４Ｂは、ＬＴ＿ＣＣＬＭにおけるα及びβの導出のために使用されるサンプルの例示的な位置を示す。Ｔ＿ＣＣＬＭモードでは、幾つかの例において、上近隣サンプル（２＊Ｗ個のサンプルを含む）のみが、線形モデル係数を計算するために使用される。図１５Ａ及び１５Ｂは、Ｔ＿ＣＣＬＭにおけるα及びβの導出のために使用されるサンプルの例示的な位置を示す。
【0141】
Ｌ＿ＣＣＬＭモードでは、幾つかの例において、左近隣サンプル（２＊Ｈ個のサンプルを含む）のみが、線形モデル係数を計算するために使用される。図１６Ａ及び１６Ｂは、Ｌ＿ＣＣＬＭにおけるα及びβの導出のために使用されるサンプルの例示的な位置を示す。
【0142】
ＣＣＬＭ予測モードは、２つのクロマ成分の間の予測も含んでよい（つまり、Ｃｒ成分がＣｂ成分から予測される）。再構成サンプル信号を使用する代わりに、ＣＣＬＭ Ｃｂ－ｔｏ－Ｃｒ予測が残差ドメインにおいて適用されてよい。ＣＣＬＭ Ｃｂ－ｔｏ－Ｃｒ予測は、加重再構成Ｃｂ残差を元のＣｒイントラ予測に加算して、最終的なＣｒ予測を形成することにより、実施されてよい。
【数7】
【0143】
ＣＣＬＭルマ－クロマ予測モードは、１つの追加クロマイントラ予測モードとして追加されてよい。エンコーダ側で、クロマイントラ予測モードを選択するために、クロマ成分について更なるレート歪み（rate distortion (RD)c）コストチェックが追加される。ＣＣＬＭルマ－クロマ予測モード以外のイントラ予測モードがＣＵのクロマ成分のために使用されるとき、ＣＣＬＭ Ｃｂ－ｔｏ－Ｃｒ予測が、Ｃｒ成分予測のために使用される。
【0144】
複数のモデルＣＣＬＭ（Multiple Model CCLM (MMLM)）は別の拡張であり、１つより多くのモデル（例えば、２以上のモデル）が存在し得る。ＭＭＬＭでは、現在ブロックの近隣ルマサンプル及び近隣クロマサンプルは、２つのグループに分類されてよい。ここで、各グループは、線形モデルを導出するためのトレーニングセットとして使用されてよい（つまり、特定のα及びβが、特定のグループについて導出される）。更に、現在ルマブロックのサンプルは、近隣ルマサンプルの分類のための同じルールに基づき分類されてもよい。
【0145】
図１７は、近隣サンプルを２つのグループに分類する例を示す。図１７に示す閾値は、近隣再構成ルマサンプルの平均値として計算されてよい。Ｒｅｃ’Ｌ［ｘ，ｙ］≦閾値を有する近隣サンプルは、グループ１に分類され、一方で、Ｒｅｃ’Ｌ［ｘ，ｙ］＞閾値を有する近隣サンプルは、グループ２に分類される。
【数8】
【0146】
ＲＧＢ形式の入力ビデオの効率的符号化のために、ＶＶＣにおけるインループ色変換を可能にするために、色変換後と、クロスコンポーネント線形モデル及びデュアルツリーパーティションのようなＶＶＣにおける幾つかの符号化ツールとの間の相互作用が取り扱われる必要がある。本開示の実施形態は、ＶＶＣにおける符号化ツールにより色変換を扱うという非常に有利な特徴を提供する。
【0147】
本開示の実施形態は、別個に使用され又は任意の順序で結合されてよい。更に、本開示の実施形態による方法、エンコーダ、及びデコーダの各々は、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）により実施されてよい。一例では、１つ以上のプロセッサは、非一時的コンピュータ可読媒体に格納されたプログラムを実行する。本開示の実施形態によると、用語「ブロック」は、予測ブロック、符号化ブロック、又は符号化単位（つまり、ＣＵ）として解釈されてよい。本開示の実施形態によると、用語「ルマ成分」は、符号化順で最初の成分として符号化される任意の色成分（例えば、赤（Ｒ）又は緑（Ｇ）色成分）を表してよい。更に、本開示の実施形態によると、用語「クロマ成分」は、符号化順で最初の成分として符号化されない任意の色成分を表してよい。
【0148】
幾つかの実施形態によると、ＡＣＴのような色変換は、エンコーダにおいて予測処理が実行される前に、及びデコーダにおいて再構成処理が実行された後に、適用される。エンコーダでは、ＡＣＴは、予測（例えば、インター予測、イントラ予測）の前に実行されてよく、ＡＣＴが現在ＣＵに適用された場合、参照サンプル及び入力された元のサンプルの両方が、異なる色空間にマッピングされてよい。デコーダにおけるピクセル再構成では、ＡＣＴが再構成中のブロックに適用された場合、参照サンプルは、予測のために使用される前に代替の色空間にマッピングされてよく、再構成サンプルは次に元の色空間へと逆マッピングされてよい。
【0149】
図１８は、ＡＣＴを用いるエンコーダ及びデコーダの実施形態を示す。図１８に開示されるユニットは、ソフトウェアで、プロセッサにより、又は図１８に開示された各ユニットの機能を実行するよう設計された専用集積回路のような回路により実装されてよい。エンコーダでは、ＡＣＴユニット（１８００）及び（１８０４）は、参照信号及び入力信号の両方にそれぞれＡＣＴ変換を実行する。ＡＣＴユニット（１８００）及び（１８０４）によりエンコーダにおいて実行されるＡＣＴ変換は、式（７）に開示したＡＣＴ変換であってよい。ＡＣＴ（１８００）の出力は予測（Ｐ）ユニット（１８０２）に提供される。更に、参照信号が予測（Ｐ）ユニット（１８０６）に提供される。予測（Ｐ）ユニット（１８０２）及び（１８０６）は、インター予測又はイントラ予測を実行してよい。変換（Ｔ）ユニット１８０８は、（ｉ）予測（Ｐ）ユニット（１８０２）の出力と予測（Ｐ）ユニット（１８０６）の出力との間の差分、及び（ｉｉ）予測（Ｐ）ユニット（１８０６）の出力と入力信号との間の差分、のうちの１つを受信する。変換ユニット（１８０８）は、離散コサイン変換（ＤＣＴ）のような変換動作を実行してよい。変換（Ｔ）ユニット（１８０８）の出力は、係数セットを生成するための量子化動作を実行する量子化器ユニット（Ｑ）（１８１０）に提供される。
【0150】
デコーダでは、逆量子化器（ＩＱ）ユニット（１８１２）が、逆量子化処理を実行するために係数を受信する。逆量子化器（ＩＱ）ユニット（１８１２）の出力は、逆変換を実行する逆変換（ＩＴ）ユニット（１８１４）に提供されてよい。ＡＣＴユニット（１８２０）は、予測（Ｐ）ユニット（１８１８）の出力と、逆変換（ＩＴ）（１８１４）ユニットの出力との和を受信する。ＡＣＴユニット（１８１６）は、予測（Ｐ）ユニット（１８１８）の出力を受信する。ＡＣＴユニット（１８１６）及び（１８２０）は、式（８）に開示した逆色変換のような逆色変換を実行してよい。予測（Ｐ）ユニット（１８１８）及び（１８２２）は、インター予測又はイントラ予測を実行してよい。再構成参照信号は、ＡＣＴユニット（１８１６）の出力により提供され、再構成された元の信号は、ＡＣＴユニット（１８２０）の出力により提供される。
【0151】
幾つかの実施形態によると、ＡＣＴ処理において、第２及び第３の色成分は、順方向及び逆方向変換のために色変換の後及び前に、それぞれ定数ｃだけ更にオフセットされる。式（１４）は、変更された順方向変換を示し、式（１５）は、変更された逆方向（つまり、逆）変換を示す。
幾つかの実施形態では、定数ｃは、１＜＜（ｂｉｔＤｅｐｔｈ－１）として導出される。ここで、ｂｉｔＤｅｐｔｈは入力サンプルのビット深さを表す。
【数9】
【0152】
幾つかの実施形態によると、色変換は、異なる色成分が同じ変換単位パーティション木を用いて符号化されるときにのみ適用される。一実施形態では、ＤｕａｌＴｒｅｅがイントラスライスに適用されるとき、色変換は、インタースライスのみに適用される。
【0153】
幾つかの実施形態によると、色変換が適用されるとき、１つの成分からの残差サンプルの生成は別の成分の再構成に依存するので、ＣＣＬＭモードは適用されず又はシグナリングされない。別の実施形態では、ＣＣＬＭモードが使用されるとき、色変換は適用されず又はシグナリングされない。一実施形態では、色変換がイントラ残差サンプルに適用されるとき、１つの成分からの残差サンプルの生成は別の成分の再構成に依存するので、ＣＣＬＭモードは適用されず又はシグナリングされない。一実施形態では、色変換が残差サンプルに適用され、ＣＣＬＭモードが使用されるとき、色変換は適用されず又はシグナリングされない。
【0154】
幾つかの実施形態では、色変換は、最大符号化単位（ＣＵ）であるＣＴＵ毎にシグナリングされる。
【0155】
幾つかの実施形態では、色変換は、イントラ符号化ブロックについてのみ、又はインター符号化ブロックについてのみ、シグナリングされ適用される。幾つかの実施形態では、色変換が適用されるとき、ＤｕａｌＴｒｅｅは適用されない（つまり、異なる色成分が同じ変換単位パーティションを共有する）。
【0156】
図１９は、エンコーダ（６０３）のようなエンコーダにより実行される処理の実施形態を示す。処理は、ステップ（Ｓ１９００）で開始し、色変換条件が満たされるかどうかが決定される。例えば、色変換条件は、色現在ブロックについて色変換が有効にされているかどうかを示すフラグであってよい。別の例として、色変換条件は、ＣＴＵ内の各ブロックについて色変換が有効にされていることを示すフラグであってよい。色変換条件が満たされた場合、処理はステップ（Ｓ１９０２）に進み、現在ブロックに色変換が実行される。例えば、色変換は、式（７）に示されたＡＣＴ動作であってよい。
【0157】
処理は、ステップ（Ｓ１９０２）からステップ（Ｓ１９０４）へ進み、色変換された現在ブロックに対して予測を実行する。予測は、インター予測又はイントラ予測であってよい。ステップ（Ｓ１９００）で、色変換条件が満たされない場合、処理はステップ（Ｓ１９００）からステップ（Ｓ１９０４）へ進む。処理は、ステップ（Ｓ１９０４）からステップ（Ｓ１９０６）へ進み、予測された現在ブロックに対して、ＤＣＴのような変換処理を実行する。処理は、ステップ（Ｓ１９０８）へ進み、色変換された現在ブロックに対して量子化処理を実行する。量子化処理の出力は、デコーダへと送信されるビットストリームに含まれる係数セットであってよい。図１９に示した処理は、ステップ（Ｓ１９０８）が実行された後に終了してよい。
【0158】
図２０は、デコーダ（７１０）のようなデコーダにより実行される処理の実施形態を示す。処理は、ステップ（Ｓ２０００）で開始してよく、符号化ビデオビットストリームが受信される。このビットストリームは、ステップ（Ｓ１９０８）（図１９）により生成された係数を含んでよい。処理は、ステップ（Ｓ２００２）へ進み、現在ブロックに対応する係数セットに対して逆量子化が実行される。処理は、ステップ（Ｓ２００４）へ進み、現在ブロックの逆量子化の出力に対して逆変換が実行される。処理は、ステップ（Ｓ２００６）へ進み、現在ブロックに対応する逆変換の出力に対して、インター予測又はイントラ予測のような予測が実行される。ステップ（Ｓ２００８）で、現在ブロックについて色変換条件が満たされるかどうかが決定される。例えば、色変換条件は、色現在ブロックについて色変換が有効にされているかどうかを示すフラグであってよい。別の例として、色変換条件は、ＣＴＵ内の各ブロックについて色変換が有効にされていることを示すフラグであってよい。色変換条件が満たされた場合、処理はステップ（Ｓ２０１０）に進み、現在ブロックに逆色変換が実行される。例えば、逆色変換は、式（８）に示されたＡＣＴ動作であってよい。色変換条件が満たされない場合、図２０に示された処理は終了する。図２０に示した処理は、ステップ（Ｓ２０１０）が実行された後に終了してもよい。
【0159】
上述の技術は、コンピュータ可読命令を用いてコンピュータソフトウェアとして実装でき、１つ以上のコンピュータ可読媒体に物理的に格納でる。例えば、図２１は、本開示の主題の特定の実施形態を実装するのに適するコンピュータシステム（２１００）を示す。
【0160】
コンピュータソフトウェアは、アセンブリ、コンパイル、リンク等のメカニズムにより処理されて、１つ以上のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、等により直接又はインタープリット、マイクロコード実行、等を通じて実行可能な命令を含むコードを生成し得る、任意の適切な機械コードまたはコンピュータ言語を用いて符号化できる。
【0161】
命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置、等を含む種々のコンピュータ又はそのコンポーネントで実行できる。
【0162】
コンピュータシステム（２１００）の図２１に示すコンポーネントは、本来例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に対するようないかなる限定も示唆しない。さらに、コンポーネントの構成も、コンピュータシステム（２１００）の例示的な実施形態に示されたコンポーネントのうちのいずれか又は組み合わせに関連する任意の依存性又は要件を有すると解釈されるべきではない。
【0163】
コンピュータシステム（２１００）は、特定のヒューマンインタフェース入力装置を含んでよい。このようなヒューマンインタフェース入力装置は、例えば感覚入力（例えば、キーストローク、スワイプ、データグラブ動作）、音声入力（例えば、音声、クラッピング）、視覚的入力（例えば、ジェスチャ）、嗅覚入力（示されない）を通じた１人以上の人間のユーザによる入力に応答してよい。ヒューマンインタフェース装置は、必ずしも人間による意識的入力に直接関連する必要のない特定の媒体、例えば音声（例えば、会話、音楽、環境音）、画像（例えば、スキャンされた画像、デジタルカメラから取得された写真画像）、ビデオ（例えば、２次元ビデオ、３次元ビデオ、立体ビデオを含む）をキャプチャするためにも使用できる。
【0164】
入力ヒューマンインタフェース装置は、キーボード（２１０１）、マウス（２１０２）、トラックパッド（２１０３）、タッチスクリーン（２１１０）、データグラブ（図示しない）、ジョイスティック（２１０５）、マイクロフォン（２１０６）、スキャナ（２１０７）、カメラ（２１０８）、のうちの１つ以上を含んでよい（そのうちの１つのみが示される）。
【0165】
コンピュータシステム（２１００）は、特定のヒューマンインタフェース出力装置も含んでよい。このようなヒューマンインタフェース出力装置は、例えば感覚出力、音声、光、及び匂い／味を通じて１人以上の人間のユーザの感覚を刺激してよい。このようなヒューマンインタフェース出力装置は、感覚出力装置を含んでよい（例えば、タッチスクリーン（２１１０）、データグラブ（図示しない）、又はジョイスティック（２１０５（による感覚フィードバック、しかし入力装置として機能しない感覚フィードバック装置も存在し得る）、音声出力装置（例えば、スピーカ（２１０９）、ヘッドフォン（図示しない）、視覚的出力装置（例えば、スクリーン（２１１０）、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、それぞれタッチスクリーン入力能力を有し又は有さず、それぞれ感覚フィードバック能力を有し又は有さず、これらのうちの幾つかは例えば立体出力、仮想現実眼鏡（図示しない）、ホログラフィックディスプレイ、及び発煙剤タンク（図示しない）、及びプリンタ（図示しない）のような手段を通じて２次元視覚出力又は３次元以上の出力を出力可能であってよい））。
【0166】
コンピュータシステム（２１００）は、人間のアクセス可能な記憶装置、及び、例えばＣＤ／ＤＶＤ等の媒体（２１２１）を備えるＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（２１２０）のような光学媒体、サムドライブ（２１２２）、取り外し可能ハードドライブ又は個体状態ドライブ（２１２３）、テープ及びフロッピディスク（図示しない）のようなレガシー磁気媒体、セキュリティドングル（図示しない）等のような専用ＲＯＭ／ＡＳＩＣ／ＰＬＤに基づく装置のような関連する媒体も含み得る。
【0167】
当業者は、本開示の主題と関連して使用される用語「コンピュータ可読媒体」が伝送媒体、搬送波、又は他の一時的信号を包含しないことも理解すべきである。
【0168】
コンピュータシステム（２１００）は、１つ以上の通信ネットワークへのインタフェースも含み得る。ネットワークは、例えば無線、有線、光であり得る。ネットワークへは、更に、ローカル、広域、都市域、車両及び産業、リアルタイム、耐遅延性、等であり得る。ネットワークの例は、イーサネットのようなローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＥＴ等を含むセルラネットワーク、ケーブルＴＶ、衛星ＴＶ、地上波放送ＴＶを含むＴＶ有線又は無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両及び産業、等を含む。特定のネットワークは、一般に、特定の汎用データポート又は周辺機器バス（２１４９）（例えば、コンピュータシステム（２１００）のＵＳＢポート）に取り付けられる外部ネットワークインタフェースを必要とする。他のものは、一般に、後述するようなシステムバスへの取り付けによりコンピュータシステム（２１００）のコアに統合される（例えば、イーサネットインタフェースをＰＣコンピュータシステムへ、又はセルラネットワークインタフェースをスマートフォンコンピュータシステムへ）。これらのネットワークを用いて、コンピュータシステム（２１００）は、他のエンティティと通信できる。このような通信は、単方向受信のみ（例えば、放送ＴＶ）、単方向送信のみ（例えば、特定のＣＡＮｂｕｓ装置へのＣＡＮｂｕｓ）、又は例えばローカル又は広域デジタルネットワークを用いて他のコンピュータシステムへの双方向であり得る。特定のプロトコル及びプロトコルスタックが、上述のネットワーク及びネットワークインタフェースの各々で使用され得る。
【0169】
前述のヒューマンインタフェース装置、人間のアクセス可能な記憶装置、及びネットワークインタフェースは、コンピュータシステム（２１００）のコア（２１４０）に取り付け可能である。
【0170】
コア（２１４０）は、１つ以上の中央処理ユニット（ＣＰＵ）（２１４１）、グラフィック処理ユニット（ＧＰＵ）（２１４２）、ＧＰＧＡの形式の専用プログラマブル処理ユニット（２１４３）、特定タスクのためのハードウェアアクセラレータ（２１４４）、等を含み得る。これらの装置は、読み出し専用メモリ（ＲＯＭ）（２１４５）、ランダムアクセスメモリ（２１４６）、内部のユーザアクセス不可能なハードドライブ、ＳＳＤ、等のような内蔵大容量記憶装置（２１４７）と共に、システムバス（２１４８）を通じて接続されてよい。幾つかのコンピュータシステムでは、追加CPU、GPU、等による拡張を可能にするために、システムバス２１４８は、１つ以上の物理プラグの形式でアクセス可能である。周辺機器は、コアのシステムバス２１４８に直接に、又は周辺機器バス２１４９を通じて、取り付け可能である。周辺機器バスのアーキテクチャは、ＰＣＩ、ＵＳＢ、等を含む。
【0171】
ＣＰＵ（２１４１）、ＧＰＵ（２１４２）、ＦＰＧＡ（２１４３）、及びアクセラレータ（２１４４）は、結合されて前述のコンピュータコードを生成可能な特定の命令を実行できる。該コンピュータコードは、ＲＯＭ（２１４５）又はＲＡＭ（２１４６）に格納できる。一時的データもＲＡＭ（２１４６）に格納でき、一方で、永久的データは例えば内蔵大容量記憶装置（２１４７）に格納できる。メモリ装置のうちのいずれかへの高速記憶及び読み出しは、ＣＰＵ（２１４１）、ＧＰＵ（２１４２）、大容量記憶装置（２１４７）、ＲＯＭ（２１４５）、ＲＡＭ（２１４６）等のうちの１つ以上に密接に関連付けられ得るキャッシュメモリの使用を通じて可能にできる。
【0172】
コンピュータ可読媒体は、種々のコンピュータにより実施される動作を実行するためのコンピュータコードを有し得る。媒体及びコンピュータコードは、本開示の目的のために特別に設計され構成されたものであり得、又は、コンピュータソフトウェア分野の当業者によく知られ利用可能な種類のものであり得る。
【0173】
例として及び限定ではなく、アーキテクチャを有するコンピュータシステム（２１００）、及び具体的にはコア（２１４０）は、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、等を含む）が１つ以上の有形コンピュータ可読媒体内に具現化されたソフトウェアを実行した結果として、機能を提供できる。このようなコンピュータ可読媒体は、コア内蔵大容量記憶装置（２１４７）又はＲＯＭ（２１４５）のような非一時的特性のコア（２１４０）の特定の記憶装置、及び上述のようなユーザアクセス可能な大容量記憶装置と関連付けられた媒体であり得る。本開示の種々の実施形態を実装するソフトウェアは、このような装置に格納されコア（２１４０）により実行できる。コンピュータ可読媒体は、特定の必要に従い、１つ以上のメモリ装置又はチップを含み得る。ソフトウェアは、コア（２１４０）及び具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、等を含む）に、ソフトウェアにより定義された処理に従うＲＡＭ（２１４６）に格納されたデータ構造の定義及び該データ構造の変更を含む、ここに記載した特定の処理又は特定の処理の特定の部分を実行させることができる。追加又は代替として、コンピュータシステムは、ここに記載の特定の処理又は特定の処理の特定の部分を実行するためにソフトウェアと一緒に又はそれに代わって動作可能な論理ハードワイヤド又は他の回路内の実装（例えば、アクセラレータ（２１４４））の結果として機能を提供できる。ソフトウェアへの言及は、ロジックを含み、適切な場合にはその逆も同様である。コンピュータ可読媒体への言及は、適切な場合には、実行のためにソフトウェアを格納する（集積回路（IC）のような）回路、実行のためにロジックを実装する回路、又はそれらの両方を含み得る。本開示は、ハードウェア及びソフトウェアの任意の適切な組み合わせを含む。
付録Ａ：用語集
JEM: joint exploration model
VVC: versatile video coding
BMS: benchmark set
MV: Motion Vector
HEVC: High Efficiency Video Coding
SEI: Supplementary Enhancement Information
VUI: Video Usability Information
GOPs: Groups of Pictures
TUs: Transform Units,
PUs: Prediction Units
CTUs: Coding Tree Units
CTBs: Coding Tree Blocks
PBs: Prediction Blocks
HRD: Hypothetical Reference Decoder
SNR: Signal Noise Ratio
CPUs: Central Processing Units
GPUs: Graphics Processing Units
CRT: Cathode Ray Tube
LCD: Liquid-Crystal Display
OLED: Organic Light-Emitting Diode
CD: Compact Disc
DVD: Digital Video Disc
ROM: Read-Only Memory
RAM: Random Access Memory
ASIC: Application-Specific Integrated Circuit
PLD: Programmable Logic Device
LAN: Local Area Network
GSM: Global System for Mobile communications
LTE: Long-Term Evolution
CANBus: Controller Area Network Bus
USB: Universal Serial Bus
PCI: Peripheral Component Interconnect
FPGA: Field Programmable Gate Areas
SSD: solid-state drive
IC: Integrated Circuit
CU: Coding Unit
付録Ａ：用語集
JEM: joint exploration model
VVC: versatile video coding
BMS: benchmark set
MV: Motion Vector
HEVC: High Efficiency Video Coding
SEI: Supplementary Enhancement Information
VUI: Video Usability Information
GOPs: Groups of Pictures
TUs: Transform Units,
PUs: Prediction Units
CTUs: Coding Tree Units
CTBs: Coding Tree Blocks
PBs: Prediction Blocks
HRD: Hypothetical Reference Decoder
SNR: Signal Noise Ratio
CPUs: Central Processing Units
GPUs: Graphics Processing Units
CRT: Cathode Ray Tube
LCD: Liquid-Crystal Display
OLED: Organic Light-Emitting Diode
CD: Compact Disc
DVD: Digital Video Disc
ROM: Read-Only Memory
RAM: Random Access Memory
ASIC: Application-Specific Integrated Circuit
PLD: Programmable Logic Device
LAN: Local Area Network
GSM: Global System for Mobile communications
LTE: Long-Term Evolution
CANBus: Controller Area Network Bus
USB: Universal Serial Bus
PCI: Peripheral Component Interconnect
FPGA: Field Programmable Gate Areas
SSD: solid-state drive
IC: Integrated Circuit
CU: Coding Unit
【0174】
本開示は、幾つかの例示的な実施形態を記載したが、代替、置換、及び種々の代用の均等物が存在し、それらは本開示の範囲に包含される。当業者に明らかなことに、ここに明示的に示され又は説明されないが、本開示の原理を実施し、したがって、本開示の精神及び範囲に含まれる多数のシステム及び方法を考案可能である。
【0175】
（１）ビデオデコーダにおいて実行されるビデオ復号の方法であって、前記方法は、
現在ピクチャを含む符号化ビデオビットストリームを受信するステップと、
前記現在ピクチャに含まれる現在ブロックに対して逆量子化を実行するステップと、
前記逆量子化を実行した後に、前記現在ブロックに対して逆変換を実行するステップと、
前記逆変換を実行した後に、前記現在ブロックに対して予測処理を実行するステップと、
前記現在ブロックに対して前記予測処理を実行した後に、所定の条件が満たされるかどうかを決定するステップと、
前記所定の条件が満たされると決定することに応答して、前記現在ブロックに対して逆色変換を実行するステップと、
を含む方法。
現在ピクチャを含む符号化ビデオビットストリームを受信するステップと、
前記現在ピクチャに含まれる現在ブロックに対して逆量子化を実行するステップと、
前記逆量子化を実行した後に、前記現在ブロックに対して逆変換を実行するステップと、
前記逆変換を実行した後に、前記現在ブロックに対して予測処理を実行するステップと、
前記現在ブロックに対して前記予測処理を実行した後に、所定の条件が満たされるかどうかを決定するステップと、
前記所定の条件が満たされると決定することに応答して、前記現在ブロックに対して逆色変換を実行するステップと、
を含む方法。
【0176】
（２）前記逆色変換は、逆適応型色変換（ＡＣＴ）であり、前記逆色変換の実行は、再色空間変換からの構成された現在ブロックをＲＧＢ形式へと変換する、特徴（１）に記載の方法。
【0177】
（３）前記逆色変換を実行するステップは、前記逆色変換の１つ以上の色成分から定数を減算するステップを含む、特徴（１）又は（２）に記載の方法。
【0178】
（４）前記定数は、入力サンプルのビット深さから１を減算する左シフト演算を実行することから導出される、特徴（３）に記載の方法。
【0179】
（５）前記所定の条件は、色変換が前記現在ブロックについてシグナリングされるという決定に応答して、満たされる、特徴（１）～（４）のいずれか１つに記載の方法。
【0180】
（６）前記色変換は、最大符号化単位（ＣＵ）を有する符号化木単位（ＣＴＵ）毎にシグナリングされる、特徴（５）に記載の方法。
【0181】
（７）前記所定の条件は、前記逆色変換の異なる色成分が、同じ変換単位パーティション木を用いて符号化されるという決定に応答して、満たされる、特徴（１）～（６）のいずれか１つに記載の方法。
【0182】
（８）イントラスライスにＤｕａｌＴｒｅｅが適用されるという決定に応答して、前記逆色変換がインタースライスにのみ適用される、特徴（７）に記載の方法。
【0183】
（９）前記所定の条件が満たされるという決定に応答して、クロスコンポーネント線形モード（ＣＣＬＭ）が前記現在ブロックのクロマユニットに適用されないこと、を更に含む特徴（１）～（８）のいずれか１つに記載の方法。
【0184】
（１０）前記予測処理は、インター予測又はイントラ予測のうちの１つである、特徴（１）～（９）のいずれか１つに記載のビデオ復号の方法。
【0185】
（１１）ビデオ復号のためのビデオデコーダであって、
処理回路を含み、前記処理回路は、
現在ピクチャを含む符号化ビデオビットストリームを受信し、
前記現在ピクチャに含まれる現在ブロックに対して逆量子化を実行し、
前記逆量子化を実行した後に、前記現在ブロックに対して逆変換を実行し、
前記逆変換を実行した後に、前記現在ブロックに対して予測処理を実行し、
前記現在ブロックに対して前記予測処理を実行した後に、所定の条件が満たされるかどうかを決定し、
前記所定の条件が満たされると決定することに応答して、前記現在ブロックに対して逆色変換を実行する、
用構成される、ビデオデコーダ。
処理回路を含み、前記処理回路は、
現在ピクチャを含む符号化ビデオビットストリームを受信し、
前記現在ピクチャに含まれる現在ブロックに対して逆量子化を実行し、
前記逆量子化を実行した後に、前記現在ブロックに対して逆変換を実行し、
前記逆変換を実行した後に、前記現在ブロックに対して予測処理を実行し、
前記現在ブロックに対して前記予測処理を実行した後に、所定の条件が満たされるかどうかを決定し、
前記所定の条件が満たされると決定することに応答して、前記現在ブロックに対して逆色変換を実行する、
用構成される、ビデオデコーダ。
【0186】
（１２）前記逆色変換は、逆適応型色変換（ＡＣＴ）であり、前記逆色変換の実行は、色空間変換からの再構成された現在ブロックをＲＧＢ形式へと変換する、特徴（１１）に記載のビデオデコーダ。
【0187】
（１３）前記逆色変換の実行は、前記処理回路が、前記逆色変換の１つ以上の色成分から定数を減算するよう構成されることを含む、特徴（１１）又は（１２）に記載のビデオデコーダ。
【0188】
（１４）前記定数は、入力サンプルのビット深さから１を減算する左シフト演算を実行することから導出される、特徴（１３）に記載のビデオデコーダ。
【0189】
（１５）前記所定の条件は、色変換が前記現在ブロックについてシグナリングされるという決定に応答して、満たされる、特徴（１１）～（１４）のいずれか１つに記載のビデオデコーダ。
【0190】
（１６）前記色変換は、最大符号化単位（ＣＵ）を有する符号化木単位（ＣＴＵ）毎にシグナリングされる、特徴（１５）に記載のビデオデコーダ。
【0191】
（１７）前記所定の条件は、前記逆色変換の異なる色成分が、同じ変換単位パーティション木を用いて符号化されるという決定に応答して、満たされる、特徴（１１）～（１６）のいずれか１つに記載のビデオデコーダ。
【0192】
（１８）イントラスライスにＤｕａｌＴｒｅｅが適用されるという決定に応答して、前記逆色変換がインタースライスにのみ適用される、特徴（１７）に記載のビデオデコーダ。
【0193】
（１９）前記所定の条件が満たされるという決定に応答して、クロスコンポーネント線形モード（ＣＣＬＭ）が前記現在ブロックのクロマユニットに適用されない、特徴（１１）に記載のビデオデコーダ。
【0194】
（２０）格納された命令を有する非一時的コンピュータ可読媒体であって、前記命令は、ビデオデコーダ内のプロセッサにより実行されると、前記ビデオデコーダに方法を実行させ、前記方法は、
現在ピクチャを含む符号化ビデオビットストリームを受信するステップと、
前記現在ピクチャに含まれる現在ブロックに対して逆量子化を実行するステップと、
前記逆量子化を実行した後に、前記現在ブロックに対して逆変換を実行するステップと、
前記逆変換を実行した後に、前記現在ブロックに対して予測処理を実行するステップと、
前記現在ブロックに対して前記予測処理を実行した後に、所定の条件が満たされるかどうかを決定するステップと、
前記所定の条件が満たされると決定することに応答して、前記現在ブロックに対して逆色変換を実行するステップと、
を含む、非一時的コンピュータ可読媒体。
現在ピクチャを含む符号化ビデオビットストリームを受信するステップと、
前記現在ピクチャに含まれる現在ブロックに対して逆量子化を実行するステップと、
前記逆量子化を実行した後に、前記現在ブロックに対して逆変換を実行するステップと、
前記逆変換を実行した後に、前記現在ブロックに対して予測処理を実行するステップと、
前記現在ブロックに対して前記予測処理を実行した後に、所定の条件が満たされるかどうかを決定するステップと、
前記所定の条件が満たされると決定することに応答して、前記現在ブロックに対して逆色変換を実行するステップと、
を含む、非一時的コンピュータ可読媒体。
【図1A】
【図1B】
【図1C】
【図1D】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図15A】
【図15B】
【図16A】
【図16B】
【図17】
【図18】
【図19】
【図20】
【図21】
【外国語明細書】