特表2023-546731参照画像再サンプリング（ＲＰＲ）によるルマ及びクロマのための適応アップサンプリングフィルタ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-07
(54)【発明の名称】参照画像再サンプリング（ＲＰＲ）によるルマ及びクロマのための適応アップサンプリングフィルタ
(51)【国際特許分類】
H04N 19/117 20140101AFI20231030BHJP
H04N 19/176 20140101ALI20231030BHJP
H04N 19/186 20140101ALI20231030BHJP
【ＦＩ】
H04N19/117
H04N19/176
H04N19/186
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023525506
(86)(22)【出願日】2022-08-01
(85)【翻訳文提出日】2023-04-26
(86)【国際出願番号】 US2022074382
(87)【国際公開番号】W WO2023015161
(87)【国際公開日】2023-02-09
(31)【優先権主張番号】63/228,560
(32)【優先日】2021-08-02
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/877,818
(32)【優先日】2022-07-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】チェン，リン－フェイ
(72)【発明者】
【氏名】リー，シャン
(72)【発明者】
【氏名】リウ，シャン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LA02
5C159LC09
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159PP04
5C159RC11
5C159TA69
5C159TB08
5C159TC10
5C159TC43
5C159TD15
5C159UA02
5C159UA05
(57)【要約】
コーディングされた情報は、適応アップサンプリングフィルタが現在のピクチャ内の現在のブロックに適用されることを示す。現在のブロックの複数のサブブロックの各々に対してそれぞれのクラスが決定される。適応アップサンプリングフィルタの複数のフィルタ係数セットから、複数のサブブロックの各々に対してそれぞれのフィルタ係数セットが決定される。それぞれのフィルタ係数セットは、それぞれのサブブロックに対応する少なくとも１つのクラスと、現在のピクチャの参照ピクチャに適用される参照ピクセル再サンプリング（ＲＰＲ）のそれぞれのサンプリングレートに基づいて決定される。それぞれのサンプリングレートは、ＲＰＲの複数の位相のうちの１つに関連付けられる。二次適応ループフィルタ（ＡＬＦ）を適用することなく、決定されたそれぞれのフィルタ係数セットに基づいて、適応アップサンプリングフィルタが現在のブロックに適用されて、現在のブロックのフィルタリングされた再構成サンプルを生成する。
【特許請求の範囲】
【請求項1】
ビデオデコーダにおいて実行されるビデオデコーディングの方法であって、コーディングされたビデオビットストリームから現在のピクチャ内の現在のブロックのコーディングされた情報を受信するステップであって、前記コーディングされた情報は、適応アップサンプリングフィルタが前記現在のブロックに適用されることを示す、ステップと、
前記現在のブロックから複数のサブブロックの各々に対してそれぞれのクラスを決定するステップと、
前記それぞれのサブブロックに対応する少なくとも１つのクラスと、前記現在のピクチャの参照ピクチャに適用される参照画素再サンプリング（ＲＰＲ）のそれぞれのサンプリングレートに基づいて、前記適応アップサンプリングフィルタの複数のフィルタ係数セットから前記複数のサブブロックの各々に対してそれぞれのフィルタ係数セットを決定するステップであって、前記それぞれのサンプリングレートは、前記ＲＰＲの複数の位相のうちの１つに関連付けられている、ステップと、
二次適応ループフィルタ（ＡＬＦ）を適用することなく、前記複数のサブブロックに対して前記決定されたそれぞれのフィルタ係数セットに基づいて、前記適応アップサンプリングフィルタを前記現在のブロックに適用して、前記現在のブロックのフィルタリングされた再構成サンプルを生成するステップと、を含む、方法。
【請求項2】
前記それぞれのクラスを決定するステップは、前記それぞれのサブブロックのルマサンプルのローカル勾配の方向性とアクティビティに基づいて、前記複数のサブブロックの各々のそれぞれのクラスインデックスを決定するステップと、
前記それぞれのサブブロックに対応する前記クラスインデックスに基づいて、前記複数のサブブロックの各々の前記それぞれのクラスを決定するステップと、をさらに含む、請求項１に記載の方法。
【請求項3】
前記現在のブロックのルマサンプルに対する前記複数のフィルタ係数セットの数は、ＮとＭの積に等しく、前記Ｎは、前記現在のブロックに関連付けられた前記クラスの数であり、前記Ｍは、前記現在のブロックの前記ルマサンプルに関連付けられた前記ＲＰＲの前記複数の位相の数である、請求項１に記載の方法。
【請求項4】
前記現在のブロックのクロマサンプルに対する前記フィルタ係数セットの数は、Ｌに等しく、前記Ｌは、前記現在のブロックの前記クロマサンプルに関連付けられた前記ＲＰＲの前記複数の位相の数である、請求項１に記載の方法。
【請求項5】
前記複数のフィルタ係数セットのうちの第１のフィルタ係数セットの第１のコスト値を決定するステップであって、前記第１のコスト値は、前記第１のフィルタ係数セットに基づいて、前記現在のブロックと前記現在のブロックのフィルタリングされた再構成サンプルとの間の歪みを示す、ステップと、前記複数のフィルタ係数セットのうちの第２のフィルタ係数セットの第２のコスト値を決定するステップであって、前記第２のコスト値は、前記第２のフィルタ係数セットに基づいて、前記現在のブロックと前記現在のブロックのフィルタリングされた再構成サンプルとの間の歪みを示す、ステップと、
前記第１のフィルタ係数セットと前記第２のフィルタ係数セットのうちの１つを、前記第１のコスト値と前記第２のコスト値のどちらが小さいかに基づいて選択することと、をさらに含む、請求項１に記載の方法。
【請求項6】
前記第１のフィルタ係数セットは、第１のクラスのインデックスに関連付けられ、前記第２のフィルタ係数セットは、第２のクラスのインデックスに関連付けられ、前記第２のクラスのインデックスは、前記第１のクラスのインデックスに連続する、請求項５に記載の方法。
【請求項7】
前記第１のフィルタ係数セットは、前記ＲＰＲの前記複数の位相のうちの第１の位相に関連付けられ、前記第２のフィルタ係数セットは、前記ＲＰＲの前記複数の位相のうちの第２の位相に関連付けられ、前記第２の位相は、前記ＲＰＲの前記第１の位相に連続する、請求項５に記載の方法。
【請求項8】
前記現在のブロックのルマサンプルに対する前記複数のフィルタ係数セットの数は、ＮとＰの積に等しく、前記Ｎは、前記現在のブロックに関連付けられた前記クラスの数であり、前記Ｐは、前記現在のピクチャからパーティショニングされた領域の数である、請求項５に記載の方法。
【請求項9】
前記第１のフィルタ係数セットは、前記現在のピクチャの第１の領域に関連付けられ、前記第２のフィルタ係数セットは、前記現在のピクチャの第２の領域に関連付けられている、請求項８に記載の方法。
【請求項10】
前記複数のフィルタ係数セットは、前記コーディングされた情報の適応パラメータセットに含まれる、請求項１に記載の方法。
【請求項11】
前記適応アップサンプリングフィルタは、ルマ適応アップサンプリングフィルタとクロマ適応アップサンプリングフィルタをさらに含み、前記現在のブロックの前記フィルタリングされた再構成サンプルの高解像度ルマコンポーネントは、前記ルマ適応アップサンプリングフィルタへの入力として前記現在のブロックの再構成サンプルの低解像度ルマコンポーネントに基づいて生成され、
前記現在のブロックの前記フィルタリングされた再構成サンプルの高解像度クロマコンポーネントは、前記クロマ適応アップサンプリングフィルタへの入力として前記現在のブロックの前記再構成サンプルの低解像度ルマコンポーネント及び低解像度クロマコンポーネントに基づいて生成される、請求項１に記載の方法。
【請求項12】
請求項１～１１のいずれか一項に記載の方法を実行するように構成されている処理回路機構を含む、装置。
【請求項13】
命令を含むコンピュータプログラムであって、前記命令は、少なくとも１つのプロセッサによって実行されるときに、前記少なくとも１つのプロセッサに、請求項１～１１のいずれか一項に記載の方法を実行させる、コンピュータプログラム。【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０２１年８月２日に出願された米国仮出願第６３／２２８，５６０号「Ａｄａｐｔｉｖｅ Ｕｐ－Ｓａｍｐｌｉｎｇ Ｆｉｌｔｅｒ Ｆｏｒ Ｌｕｍａ ａｎｄ Ｃｈｒｏｍａ Ｗｉｔｈ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ （ＲＰＲ）」に対する優先権の利益を主張する２０２２年７月２９日に出願された米国出願第１７／８７７，８１８号「ＲＥＦＥＲＥＮＣＥ ＰＩＣＴＵＲＥ ＲＥＳＡＭＰＬＩＮＧ （ＲＰＲ）」に対する優先権の利益を主張する。先の出願の開示全体は、それら全体が参照により本明細書に援用される。
【0002】
本開示は、ビデオコーディングに一般的に関係する実施形態を記載する。
【背景技術】
【0003】
本明細書で提供される背景技術は、本開示の文脈を一般的に提示することを目的とする。本件の発明者の仕事は、その仕事がこの背景技術のセクションに記載されている範囲において、また、出願時に他の点では先行技術として適格でないかもしれない説明の態様は、本開示に対する先行技術として明示的にも暗示的にも認められていない。
【0004】
非圧縮デジタルビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば、１９２０×１０８０の輝度サンプル及び関連する色差サンプルの空間寸法を有する。一連のピクチャは、例えば、例えば、１秒当たり６０ピクチャ／秒又は６０Ｈｚの固定又は可変のピクチャレートを有することができる。非圧縮ビデオは、特定のビットレート要件を有する。例えば、サンプル当たり８ビットでの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚのフレームレートでの１９２０ｘ１０８０の輝度サンプル解像度）は、１．５Ｇｂｉｔ／ｓに近い帯域幅を必要とする。このようなビデオの１時間は、６００Ｇバイトを超える記憶空間を必要とする。
【0005】
ビデオコーディング及びデコーディングの１つの目的は、圧縮による入力ビデオ信号の冗長性の低減である。圧縮は、場合によっては、前述の帯域幅及び／又は記憶空間の必要性を２桁以上低減する助けとなり得る。可逆圧縮及び不可逆圧縮の両方、並びにそれらの組み合わせが用いられ得る。可逆圧縮とは、元の信号の正確なコピーを圧縮された元の信号から再構成することができる技術を指す。不可逆圧縮を使用するときに、再構成された信号は、元の信号と同一ではないことがあるが、元の信号と再構成された信号との間の歪みは、再構成された信号を意図されたアプリケーションに有用にするのには十分小さい。ビデオの場合、不可逆圧縮が広く用いられる。認容される歪みの量は、用途に依存し、例えば、特定の消費者ストリーミングアプリケーションのユーザは、テレビ配信アプリケーションのユーザよりも高い歪みを認容することがある。達成可能な圧縮比は、より高い許容可能／認容可能な歪みは、より高い圧縮比をもたらすことができることを反映できる。
【0006】
ビデオエンコーダ及びデコーダは、例えば、モーション補償、変換、量子化、及びエントロピーコーディングを含むいくつかの広範なカテゴリからの技術を利用することができる。
【0007】
ビデオコーデック技術は、イントラコーディングとして知られる技術を含むことができる。イントラコーディングでは、サンプル値は、以前に再構成された参照ピクチャからのサンプル又は他のデータを参照することなく表現される。いくつかのビデオコーデックでは、ピクチャは空間的にサンプルのブロックに細分化される。サンプルのすべてのブロックがイントラモードでコーディングされるときに、そのピクチャはイントラピクチャとすることができる。イントラピクチャと、独立デコーダリフレッシュピクチャのようなそれらの派生物は、デコーダ状態をリセットするために使用することができ、したがって、コーディングされたビデオビットストリーム及びビデオセッションにおける最初のピクチャとして、又は静止画像として使用され得る。イントラブロックのサンプルを変換に曝すことができ、変換係数がエントロピーコーディングの前に量子化され得る。イントラ予測は、変換前ドメインにおいてサンプル値を最小化する技術であり得る。場合によっては、変換後のＤＣ値が小さく、ＡＣ係数が小さいほど、エントロピーコーディング後のブロックを表すために所与の量子化ステップサイズで必要とされるビット数が少なくなる。
【0008】
例えばＭＰＥＧ－２世代コーディング技術から知られているような伝統的なイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的に近接し、かつデコード順に先行するデータブロックのエンコード及び／又はデコード中に取得された、周囲のサンプルデータ及び／又はメタデータから試みる技術を含む。このような技法は、以後「イントラ予測」技術と呼ばれる。少なくともいくつかのケースでは、イントラ予測は再構成中の現在のピクチャからの参照データのみを使用し、参照ピクチャからの参照データは使用しないことに留意する。
【0009】
様々な形態のイントラ予測があり得る。所与のビデオコーディング技術において、そのような技術のうちの１つ以上を使用することができる場合、使用中の技術は、イントラ予測モードでコーディングされ得る。特定の場合には、モードは、サブモード及び／又はパラメータを有することができ、それらは、個別にコーディングすることができ、又はモードコードワードに含まれ得る。所与のモード、サブモード、及び／又はパラメータ結合に対してどのコードワードをするかは、イントラ予測を通じてコーディング効率ゲインに影響を及ぼし、また、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術にも影響を及ぼす可能性がある。
【0010】
イントラ予測の特定のモードがＨ．２６４で導入され、Ｈ．２６５で改良され、ジョイント探索モデル（ＪＥＭ）、汎用ビデオコーディング（ＶＶＣ）、及びベンチマークセット（ＢＭＳ）のようなより新しいコーディング技術でさらに改良された。予測子ブロックは、既に利用可能なサンプルに属する近接するサンプル値を使用して形成され得る。近接するサンプルのサンプル値は、方向に従って予測子ブロックにコピーされる。使用中の方向への参照は、ビットストリームにおいてコーディングされ得、又はそれ自体が予測されてもよい。
【0011】
図１Ａを参照すると、右下に描写されているのは、Ｈ．２６５の３３個の可能な予測子方向から知られている９個の予測子方向のサブセットである（３５個のイントラモードの３３個の角度モードに対応する）。矢印が収束する点（１０１）は、予測されているサンプルを表す。矢印は、サンプルが予測されている方向を表す。例えば、矢印（１０２）は、サンプル（１０１）が、水平から４５度の角度で、サンプル又は複数のサンプルから右上に向かって予測されることを示す。例えば、矢印（１０３）は、サンプル（１０１）が、水平から２２．５度の角度で、サンプル又は複数のサンプルから左下に向かって予測されることを示す。
【0012】
引き続き図１Ａを参照すると、左上には、４×４サンプルの正方形ブロック（１０４）が描写されている（破線の太線で示されている）。正方形ブロック（１０４）は、１６個のサンプルを含み、各サンプルは「Ｓ」、Ｙ次元におけるその位置（例えば、行インデックス）、及びＸ次元におけるその位置（例えば、列インデックス）がラベル付けされている。例えば、サンプルＳ２１は、Ｙ次元における（上から）２番目のサンプルで、Ｘ次元における（左から）１番目のサンプルである。同様に、サンプルＳ４４は、Ｙ及びＸ次元の両方においてブロック（１０４）における第４のサンプルである。ブロックのサイズが４×４サンプルであるので、Ｓ４４は右下にある。さらに、同様の番号付けスキームに従った参照サンプルを示す。参照サンプルは、ブロック（１０４）に対して、Ｒ、そのＹ位置（例えば、行インデックス）、及びＸ位置（列インデックス）でラベル付けされている。Ｈ．２６４とＨ．２６５の両方で、予測サンプルは再構成中のブロックに近接しているため、負の値を使用する必要はない。
【0013】
イントラピクチャ予測は、シグナリングされた予測方向によって適切に、近接するサンプルから参照サンプル値をコピーすることによって動くことができる。例えば、コーディングされたビデオビットストリームは、このブロックについて、矢印（１０２）と一致する予測方向を示すシグナリングを含むと仮定する。すなわち、サンプルは、予測サンプル又は複数のサンプルから水平方向から４５度の角度で右上に向かって予測される。その場合、サンプルＳ４１、Ｓ３２、Ｓ２３、及びＳ１４は、同じ参照サンプルＲ０５から予測される。次いで、サンプルＳ４４は、参照サンプルＲ０８から予測される。
【0014】
特定の場合には、特に方向が４５度で均一に割り切れないときに、参照サンプルを計算するために、複数の参照サンプルの値が、例えば補間を通して組み合わせられてもよい。
【0015】
ビデオコーディング技術の発達に伴い、可能な方向の数が増加している。Ｈ．２６４（２００３年）では、９つの異なる方向を表すことができた。これは、Ｈ．２６５（２０１３年）で３３に増加し、開示時のＪＥＭ／ＶＶＣ／ＢＭＳでは、最大６５の方向をサポートすることができる。最も可能性の高い方向を識別するために実験が行われ、エントロピーコーディングにおける特定の技術が、より可能性の低い方向に対する特定のペナルティを許容して、少数のビットでそれらの可能性のある方向を表すために使用される。さらに、方向それ自体は、時として、近接する、すでにデコードされたブロックで使用される近接方向から予測され得る。
【0016】
図１Ｂは、経時的に増加する予測方向の数を示すために、ＪＥＭによる６５のイントラ予測方向を描写する概略（１１０）を示す。
【0017】
方向を表すコーディングされたビデオビットストリームにおけるイントラ予測方向ビットのマッピングは、ビデオコーディング技術によって異なることができ、例えば、予測方向の単純な直接マッピングからイントラ予測モード、コードワード、最も可能性の高いモードを伴う複雑な適応方式、及び類似の技術に及ぶ可能性がある。しかし、どのような場合でも、ビデオコンテンツにおいて、特定の他の方向よりも統計的に発生しにくい特定の方向があり得る。ビデオ圧縮の目標は冗長性の低減であるので、良好に動くビデオコーディング技術においては、より可能性の高い方向よりもより多くのビット数によって、より可能性の低い方向が表される。
【0018】
ビデオコーディングとデコーディングは、モーション補正を伴うインターピクチャ予測を用いて行われ得る。モーション補償は、非可逆圧縮技術であり得、以前に再構成されたピクチャ又はその一部（参照ピクチャ）からのサンプルデータのブロックが、モーションベクトル（以降、ＭＶ）によって示される方向に空間的にシフトされた後に、新しい再構成ピクチャ又はピクチャパーティションの予測のために使用される技術に関連することができる。場合によっては、参照ピクチャが、現在再構成中のピクチャと同じである可能性がある。ＭＶは、Ｘ及びＹの２次元、又は３次元を有し、第３の次元は、使用中の参照ピクチャの指標である（後者は、間接的に、時間次元であり得る）。
【0019】
いくつかのビデオ圧縮技術では、サンプルデータの所定のエリアに適用可能なＭＶは、他のＭＶ、例えば、再構成中のエリアに空間的に隣接し、デコーディング順でそのＭＶに先行するサンプルデータの別のエリアに関連するＭＶから予測され得る。そのようにすることによって、ＭＶをコーディングするために必要なデータ量を大幅に削減することができ、それによって冗長性を除去し、圧縮を増加させる。ＭＶ予測は、例えば、カメラから導出された入力ビデオ信号（ナチュラルビデオとして知られる）をコーディングするときに、単一のＭＶが適用可能なエリアよりも大きなエリアが同様の方向に移動する統計的可能性があり、場合によっては、近接するエリアのＭＶから導出された同様のモーションベクトルを用いて予測され得るので、効果的に機能することができる。これは、所与のエリアに対して、周囲のＭＶから予測されるＭＶと類似するか、又は同じであることが見出されるＭＶをもたらし、それは、エントロピーコーディングの後に、ＭＶを直接コーディングする場合に使用されるであろうものよりも、より少ない数のビットで表され得る。場合によっては、ＭＶ予測は、元の信号（すなわち、サンプルストリーム）から導出された信号の可逆圧縮の一例（すなわち、ＭＶ）であり得る。他の場合には、ＭＶ予測それ自体は、例えば、いくつかの周囲のＭＶから予測子を計算するときの丸め誤差のために、不可逆的であり得る。
【0020】
Ｈ．２６５／ＨＥＶＣ （ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６５、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」、 Ｄｅｃｅｍｂｅｒ ２０１６）には、様々なＭＶ予測メカニズムが記載されている。Ｈ．２６５が提供する多くのＭＶ予測メカニズムのうち、本明細書には、以降、「空間マージ」と呼ばれる技術が記載される。
【0021】
図２を参照すると、現在のブロック（２０１）は、空間的にシフトされた同じサイズの以前のブロックから予測可能であることがモーション探索処理中にエンコーダによって見出されたサンプルを含む。ＭＶを直接コーディングする代わりに、ＭＶは、１つ以上の参照ピクチャに関連付けられたメタデータから、例えば、Ａ０、Ａ１、及びＢ０、Ｂ１、Ｂ２（それぞれ２０２から２０６）と示される５つの周囲のサンプルのいずれかに関連付けられたＭＶを使用して、（デコーディング順で）最新の参照ピクチャから導出され得る。Ｈ．２６５では、ＭＶ予測は、近接するブロックが使用しているのと同じ参照ピクチャからの予測子を使用することができる。
【発明の概要】
【0022】
本開示の態様は、ビデオコーディング／デコーディングのための方法及び装置を提供する。いくつかの例では、ビデオデコーディングための装置は、受信回路機構を含む。
【0023】
本開示の一態様によれば、ビデオデコーダにおいて実行されるビデオデコーディングの方法が提供される。本方法では、現在のピクチャ内の現在のブロックのコーディングされた情報が、コーディングされたビデオビットストリームから受信され得る。コーディングされた情報は、適応アップサンプリングフィルタが現在のブロックに適用されることを示すことができる。現在のブロックの複数のサブブロックの各々に対してそれぞれのクラスが決定され得る。適応アップサンプリングフィルタの複数のフィルタ係数セットから、複数のサブブロックの各々に対してそれぞれのフィルタ係数セットが決定され得る。それぞれのフィルタ係数セットは、それぞれのサブブロックに対応する少なくとも１つのクラスと、現在のピクチャの参照ピクチャに適用される参照ピクセル再サンプリング（ＲＰＲ）のそれぞれのサンプリングレートに基づいて決定され得る。それぞれのサンプリングレートは、ＲＰＲの複数の位相のうちの１つに関連付けられ得る。二次適応ループフィルタ（ＡＬＦ）を適用することなく、複数のサブブロックに対して決定されたそれぞれのフィルタ係数セットに基づいて、適応アップサンプリングフィルタが現在のブロックに適用されて、現在のブロックのフィルタリングされた再構成サンプルを生成し得る。
【0024】
それぞれのクラスを決定するために、それぞれのサブブロックのルマサンプルのローカル勾配の方向性とアクティビティに基づいて、複数のサブブロックの各々に対してそれぞれのクラスインデックスが決定され得る。それぞれのサブブロックに対応するクラスインデックスに基づいて、複数のサブブロックの各々に対してそれぞれのクラスが決定され得る。
【0025】
いくつかの実施形態では、現在のブロックのルマサンプルに対する複数のフィルタ係数セットの数は、ＮとＭの積に等しくすることができる。Ｎは、現在のブロックに関連付けられたクラスの数とすることができ、Ｍは、現在のブロックのルマサンプルに関連付けられたＲＰＲの複数の位相の数とすることができる。
【0026】
現在のブロックのクロマサンプルに対するフィルタ係数セットの数は、Ｌに等しくすることができ、Ｌは、現在のブロックのクロマサンプルに関連付けられたＲＰＲの複数の位相の数とすることができる。
【0027】
方法では、複数のフィルタ係数セットのうちの第１のフィルタ係数セットの第１のコスト値が決定され得る。第１のコスト値は、第１のフィルタ係数セットに基づいて、現在のブロックと現在のブロックのフィルタリングされた再構成サンプルとの間の歪みを示すことができる。複数のフィルタ係数セットのうちの第２のフィルタ係数セットの第２のコスト値が決定され得る。第２のコスト値は、第２のフィルタ係数セットに基づいて、現在のブロックと現在のブロックのフィルタリングされた再構成サンプルとの間の歪みを示すことができる。第１のフィルタ係数セットと第２のフィルタ係数セットのうちの１つが、第１のコスト値と第２のコスト値のどちらが小さいかに基づいて選択され得る。
【0028】
いくつかの実施形態では、第１のフィルタ係数セットは、第１のクラスのインデックスに関連付けられ得、第２のフィルタ係数セットは、第２のクラスのインデックスと関連付けられ得る。第２のクラスのインデックスは、第１のクラスのインデックスに連続することができる。
【0029】
いくつかの実施形態では、第１のフィルタ係数セットは、ＲＰＲの複数の位相うちの第１の位相に関連付けられ得、第２のフィルタ係数セットは、ＲＰＲの複数の位相のうちの第２の位相に関連付けられ得、第２の位相は、ＲＰＲの第１の位相に連続することができる。
【0030】
いくつかの実施形態では、現在のブロックのルマサンプルに対する複数のフィルタ係数セットの数は、ＮとＰの積に等しくすることができる。Ｎは、現在のブロックに関連付けられたクラスの数とすることができ、Ｐは、現在のピクチャからパーティショニングされた領域の数とすることができる。したがって、第１のフィルタ係数セットは、現在のピクチャの第１の領域に関連付けられ得、第２のフィルタ係数セットは、現在のピクチャの第２の領域に関連付けられ得る。
【0031】
本方法では、複数のフィルタ係数セットは、コーディングされた情報の適応パラメータセットに含まれ得る。
【0032】
適応アップサンプリングフィルタは、ルマ適応アップサンプリングフィルタとクロマ適応アップサンプリングフィルタをさらに含むことができる。現在のブロックのフィルタリングされた再構成サンプルの高解像度ルマコンポーネントは、ルマ適応アップサンプリングフィルタへの入力として現在のブロックの再構成サンプルの低解像度ルマコンポーネントに基づいて生成され得る。現在のブロックの前記フィルタリングされた再構成サンプルの高解像度クロマコンポーネントは、クロマ適応アップサンプリングフィルタへの入力として現在のブロックの再構成サンプルの低解像度ルマコンポーネント及び低解像度クロマコンポーネントに基づいて生成され得る。
【0033】
本開示の別の態様によれば、装置が提供される。装置は、処理回路機構を含む。処理回路機構は、ビデオエンコーディング／デコーディングのための方法のうちの任意のものを実行するように構成され得る。
【0034】
本開示の態様はまた、命令を記憶する非一時的なコンピュータ可読媒体を提供し、命令は、ビデオデコーディングのためにコンピュータによって実行されるときに、コンピュータがビデオエンコーディング／デコーディングのための方法のいずれかを実行させる非一時的なコンピュータ可読媒体を提供する。
【図面の簡単な説明】
【0035】
開示された主題のさらなる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。
【0036】
【図1A】イントラ予測モードの例示的なサブセットの概略図である。
【0037】
【図1B】例示的なイントラ予測方向の図である。
【0038】
【図2】一例における現在のブロックとその周囲の空間マージ候補の概略図である。
【0039】
【図3】一実施形態による通信システム（３００）の簡略ブロック図の概略図である。
【0040】
【図4】一実施形態による通信システム（４００）の簡略ブロック図の概略図である。
【0041】
【図5】一実施形態によるデコーダの簡略ブロック図の概略図である。
【0042】
【図6】一実施形態によるエンコーダの簡略ブロック図の概略図である。
【0043】
【図7】別の実施形態によるエンコーダのブロック図を示す。
【0044】
【図8】別の実施形態によるデコーダのブロック図を示す。
【0045】
【図9】いくつかの実施形態による、適応ループフィルタ（ＡＬＦ）及びクロスコンポーネントＡＬＦ（ＣＣ－ＡＬＦ）の概略図である。
【0046】
【図10A】いくつかの実施形態による、参照ピクチャ再サンプリング（ＲＰＲ）のためのＡＬＦの第１の例示的な概略図である。
【0047】
【図10B】いくつかの実施形態による、ＲＰＲのためのＡＬＦの第２の例示的な概略図である。
【0048】
【図11】いくつかの実施形態による、適応アップサンプリングフィルタの概略図である。
【0049】
【図12】本開示のいくつかの実施形態による、例示的なデコーディングプロセスを概説するフローチャートを示す。
【0050】
【図13】本開示のいくつかの実施形態による、例示的なエンコーディングプロセスを概説するフローチャートを示す。
【0051】
【図14】一実施形態によるコンピュータシステムの概略図である。
【発明を実施するための形態】
【0052】
図３は、本開示の一実施形態による通信システム（３００）の簡略ブロック図を示す。通信システム（３００）は、例えばネットワーク（３５０）を介して互いに通信することができる複数の端末デバイスを含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して相互接続された第１の対の端末デバイス（３１０）及び（３２０）を含む。図３の例では、第１の対の端末デバイス（３１０）及び（３２０）は、データの一方向伝送を行う。例えば、端末デバイス（３１０）は、ネットワーク（３５０）を介した他の端末デバイス（３２０）への伝送のために、ビデオデータ（例えば、端末デバイス（３１０）によってキャプチャされるビデオピクチャのストリーム）をコーディングしてもよい。エンコーディングされたビデオデータは、１つ以上のコーディングされたビデオビットストリームの形態で送信され得る。端末デバイス（３２０）は、ネットワーク（３５０）からコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコーディングして、ビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示してもよい。一方向性データ伝送は、メディアサービスアプリケーションなどにおいて一般的である。
【0053】
別の例では、通信システム（３００）は、例えば、ビデオ会議中に発生し得るコーディングされたビデオデータの双方向伝送を行う第２の対の端末デバイス（３３０）及び（３４０）を含む。データの双方向伝送のために、一例では、端末デバイス（３３０）及び（３４０）の各端末デバイスは、ネットワーク（３５０）を介した端末デバイス（３３０）及び（３４０）の他方の端末デバイスへの伝送のために、ビデオデータ（例えば、端末デバイスによってキャプチャされるビデオピクチャのストリーム）をコーディングしてもよい。端末デバイス（３３０）及び（３４０）の各端末デバイスはまた、端末デバイス（３３０）及び（３４０）の他方の端末デバイスによって送信されたコーディングされたビデオデータを受信してもよく、コーディングされたビデオデータをデコーディングして、ビデオピクチャを復元し、復元されたビデオデータに従って、アクセス可能なディスプレイデバイスにビデオピクチャを表示してもよい。
【0054】
図３において、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）は、サーバ、パーソナルコンピュータ及びスマートフォンとして示されてもよいが、本開示の原理は、それらに限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、及び／又は専用のビデオ会議機器を用いてアプリケーションを見出す。ネットワーク（３５０）は、例えば、有線及び／又は無線通信ネットワークを含む、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）間でコーディングされたビデオデータを搬送する任意の数のネットワークを表す。通信ネットワーク（３５０）は、回線交換及び／又はパケット交換チャネルにおいてデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットを含む。本説明の目的のために、ネットワーク（３５０）のアーキテクチャ及びトポロジーは、以下に説明しない限り、本開示の動作には重要ではない。
【0055】
図４は、開示された主題のアプリケーションのための例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示す。開示された主題は、例えば、ビデオ会議、デジタルＴＶ、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮されたビデオの記憶などを含む、他のビデオ可能化アプリケーションにも同様に適用可能である。
【0056】
ストリーミングシステムは、例えば圧縮されていないビデオピクチャのストリーム（４０２）を作成するビデオソース（４０１）、例えばデジタルカメラを含むことができるキャプチャサブシステム（４１３）を含んでもよい。一例では、ビデオピクチャのストリーム（４０２）は、デジタルカメラによって撮影されるサンプルを含む。エンコーディングされたビデオデータ（４０４）（又はコーディングされたビデオビットストリーム）と比較されたときに、高データ量を強調する太い線として描写されたビデオピクチャのストリーム（４０２）は、ビデオソース（４０１）に結合されたビデオエンコーダ（４０３）を含む電子デバイス（４２０）によって処理され得る。ビデオエンコーダ（４０３）は、ハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができ、以下により詳細に記載されるように、開示された主題の態様を可能にするか、又は実装する。エンコーディングされたビデオデータ（４０４）（エンコーディングされたビットストリーム（４０４））は、ビデオピクチャ（４０２）のストリームと比較されるときに、より低いデータボリュームを強調するために細いラインとして示されており、将来の使用のためにストリーミングサーバ（４０５）に記憶され得る。図４のクライアントサブシステム（４０６）及び（４０８）などの１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（４０５）にアクセスして、エンコーディングされたビデオデータ（４０４）の複製（４０７、４０９）を取得することができる。クライアントサブシステム（４０６）は、例えば電子デバイス（４３０）内にビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は、エンコーディングされたビデオデータの入って来るコピー（４０７）をデコードし、ディスプレイ（４１２）（例えば、ディスプレイスクリーン）又は他のレンダリングデバイス（図示せず）上にレンダリングされ得るビデオピクチャの出て行くストリーム（４１１）を作成する。いくつかのストリーミングシステムでは、エンコーディングされたビデオデータ（４０４）、（４０７）、及び（４０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮標準に従ってエンコーディングされ得る。これらの標準の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。一例では、開発中のビデオコーディング標準は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と非公式に知られている。開示された主題事項は、ＶＶＣの文脈で使用され得る。
【0057】
電子デバイス（４２０）及び（４３０）は、他のコンポーネント（図示せず）を含むことができることに留意する。例えば、電子デバイス（４２０）は、ビデオデコーダ（図示せず）を含むことができ、電子デバイス（４３０）は、ビデオエンコーダ（図示せず）も含むことができる。
【0058】
図５は、本開示の一実施形態によるビデオデコーダ（５１０）のブロック図を示す。ビデオデコーダ（５１０）は、電子デバイス（５３０）に含まれ得る。電子デバイス（５３０）は、受信機（５３１）（例えば、受信回路機構）を含むことができる。ビデオデコーダ（５１０）は、図４の例におけるビデオデコーダ（４１０）の代わりに使用され得る。
【0059】
受信機（５３１）は、デコーダ（５１０）によってデコーディングされる１つ以上のコーディングされたビデオシーケンスを受信してもよく、同じ又は別の実施形態では、一度に１つのコーディングされたビデオシーケンスを受信してもよく、各コーディングされたビデオシーケンスのデコーディングは、他のコーディングされたビデオシーケンスから独立している。コーディングされたビデオシーケンスは、チャネル（５０１）から受信してもよく、このチャネルは、エンコーディングされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであってもよい。受信機（５３１）は、エンコーディングされたビデオデータを、他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助的なデータストリームと共に受信してもよく、これらのデータは、それぞれのエンティティ（図示せず）を使用して転送されてもよい。受信機（５３１）は、コーディングされたビデオシーケンスを他のデータから分離してもよい。ネットワークジッタと闘うために、バッファメモリ（５１５）は、受信機（５３１）とエントロピーデコーダ／解析器（５２０）（以後「解析器（５２０）」）との間で結合されてもよい。特定の用途では、バッファメモリ（５１５）は、ビデオデコーダ（５１０）の一部である。他の場合には、ビデオデコーダ（５１０）の外にあり得る（図示せず）。さらに別の場合では、例えばネットワークジッタに対抗するために、ビデオデコーダ（５１０）の外にバッファメモリ（図示せず）があり得、追加的に、例えば再生タイミングを処理するために、ビデオデコーダ（５１０）の内に別のバッファメモリ（５１５）があり得る。受信機（５３１）が、十分な帯域幅及び制御可能性を有する記憶／転送装置から、又はアイソクロナスネットワークからデータを受信しているときに、バッファ（５１５）は、不要であってもよく、又は小さくすることができる。インターネットのようなベストエフォート型パケットネットワークでの使用の場合、バッファメモリ（５１５）は、必要とされてもよく、比較的大きくすることができ、有利には適応サイズであり得、ビデオデコーダ（５１０）の外のオペレーティングシステム又は類似の要素（図示せず）に少なくとも部分的に実装されてもよい。
【0060】
ビデオデコーダ（５１０）は、コーディングされたビデオシーケンスからシンボル（５２１）を再構成するための解析器（５２０）を含んでもよい。それらのシンボルのカテゴリは、ビデオデコーダ（５１０）の動作を管理するために使用される情報、及びレンダリングデバイス（５１２）（例えば、ディスプレイスクリーン）のような、電子デバイス（５３０）の不可欠な部分ではないが、図５に示されているように、電子デバイス（５３０）に結合され得るレンダリングデバイスを制御するための潜在的な情報を含む。レンダリング装置の制御情報は、補足強化情報（ＳＥＩメッセージ）又はビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形態であってもよい。解析器（５２０）は、受信したコーディングされたビデオシーケンスを解析／エントロピーデコーディングしてもよい。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術又は標準に従うことができ、可変長コーディング、ハフマンコーディング、コンテキストセンシティビティを伴う又は伴わない算術コーディングなどを含む様々な原理に従うことができる。解析器（５２０）は、グループに対応する少なくとも１つのパラメータに基づいて、コーディングされたビデオシーケンスから、ビデオデコーダにおける画素のサブグループのうちの少なくとも１つのサブグループパラメータのセットを抽出してもよい。サブグループは、ピクチャグループ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。解析器（５２０）はまた、コーディングされたビデオシーケンスから、変換係数、量子化パラメータ値、モーションベクトルなどの情報を抽出してもよい。
【0061】
解析器（５２０）は、シンボル（５２１）を作成するために、バッファメモリ（５１５）から受信したビデオシーケンスに対してエントロピーデコーディング／解析動作を行ってもよい。
【0062】
シンボル（５２１）の再構成は、コーディングされたビデオピクチャ又はその部分（例えば、インターピクチャ及びイントラピクチャ、インターブロック及びイントラブロック）のタイプ及び他の要因に応じて、複数の異なるユニットに関与することができる。どのユニットが関与し、どのように関与するかは、解析器（５２０）によってコーディングされたビデオシーケンスから解析されたサブグループ制御情報によって制御され得る。解析器（５２０）と以下の複数ユニットとの間のこのようなサブグループ制御情報のフローは、明確にするために描写されない。
【0063】
すでに述べた機能ブロックの他に、デコーダ（５１０）は、概念的には、後述するように、いくつかの機能ユニットに細分化され得る。商業的制約の下で動作する実用的な実装では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合することができる。しかしながら、開示された主題を説明するためには、以下の機能ユニットに概念的に細分化することが適切である。
【0064】
第１のユニットは、スケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）は、解析器（５２０）からのシンボル（５２１）として、使用するべき変換、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む制御情報とともに、量子化された変換係数を受信する。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）に入力することができるサンプル値を含むブロックを出力することができる。
【0065】
場合によっては、スケーラ／逆変換（５５１）の出力サンプルは、イントラコーディングされたブロック、すなわち、以前に再構成されたピクチャからの予測情報を使用していないが、現在のピクチャの以前に再構成された部分からの予測情報を使用することができるブロックに関係することができる。このような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供され得る。場合によっては、イントラピクチャ予測ユニット（５５２）は、カレントピクチャバッファ（５５８）からフェッチされ既に再構成された周囲の情報を使用して、再構成中のブロックの同じサイズ及び形状のブロックを生成する。カレントピクチャバッファ（５５８）は、例えば、部分的に再構成された現在のピクチャ及び／又は完全に再構成された現在のピクチャをバッファする。アグリゲータ（５５５）は、場合によっては、サンプルごとベースで、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）によって提供される出力サンプル情報に追加する。
【0066】
他の場合には、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされ、潜在的にモーション補償ブロックに関係することができる。このような場合には、モーション補償予測ユニット（５５３）は、参照ピクチャメモリ（５５７）にアクセスして、予測のために使用されるサンプルをフェッチすることができる。ブロックに関係するシンボル（５２１）に従って、フェッチされたサンプルのモーション補償後、これらのサンプルは、アグリゲータ（５５５）によって、出力サンプル情報を生成するために、スケーラ／逆変換ユニット（５５１）の出力（この場合、残差サンプル又は残差信号と呼ばれる）に追加され得る。モーション補償ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスは、例えばＸ、Ｙ、及び参照ピクチャコンポーネントを有することができるシンボル（５２１）の形態でモーション補償ユニットに利用可能なモーションベクトルによって制御され得る。モーション補償はまた、サブサンプルの正確なモーションベクトルが使用中であるときに、参照ピクチャメモリ（５５７）からフェッチされるサンプル値の補間、モーションベクトル予測メカニズムなどを含むことができる。
【0067】
アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）内の様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、解析器（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされるが、コーディングされたピクチャ又はコーディングされたビデオシーケンスの（デコーディング順で）以前の部分のデコーディング中に取得されたメタ情報に応答することができ、また、以前に再構成されループフィルタリングされたサンプル値に応答することもできる、ループ内フィルタ技術を含むことができる。
【0068】
ループフィルタユニット（５５６）の出力は、レンダリングデバイス（５１２）に出力し、また将来のインターピクチャ予測に使用するために参照ピクチャメモリ（５５７）に記憶することができるサンプルストリームとすることができる。
【0069】
特定のコーディングされたピクチャは、いったん完全に再構成されると、将来の予測のための参考ピクチャとして使用され得る。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが参照ピクチャとして識別されると（例えば、解析器（５２０）によって）、カレントピクチャバッファ（５５８）は参照ピクチャバッファ（５５７）の一部となることができ、新鮮な現在のピクチャバッファが、次のコーディングされるピクチャの再構成を開始する前に再割り当てされ得る。
【0070】
ビデオデコーダ（５１０）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５などの標準における所定のビデオ圧縮技術に従ってデコーディング動作を行ってもよい。
コーディングされたビデオシーケンスは、コーディングされたビデオシーケンスが、ビデオ圧縮技術又は標準の構文及びビデオ圧縮技術又は標準に文書化されているプロファイルの両方に従うという意味で、使用されているビデオ圧縮技術又は標準によって指定された構文に適合してもよい。具体的には、プロファイルは、特定のツールを、そのプロファイルの下での使用に利用可能な唯一のツールとして、ビデオ圧縮技術又は標準で利用可能なすべてのツールから選択することができる。また、コンプライアンスのために必要なことは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術又は標準のレベルによって定義される範囲内にあることとし得る。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、毎秒メガサンプルで測定される）、最大参照ピクチャサイズなどを制限する。レベルによって設定された制限は、場合によっては、ＨＲＤ（仮想参照デコーダ、Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）使用及びコーディングされたビデオシーケンスでシグナリングされたバッファ管理のためのメタデータを通してさらに制限され得る。
コーディングされたビデオシーケンスは、コーディングされたビデオシーケンスが、ビデオ圧縮技術又は標準の構文及びビデオ圧縮技術又は標準に文書化されているプロファイルの両方に従うという意味で、使用されているビデオ圧縮技術又は標準によって指定された構文に適合してもよい。具体的には、プロファイルは、特定のツールを、そのプロファイルの下での使用に利用可能な唯一のツールとして、ビデオ圧縮技術又は標準で利用可能なすべてのツールから選択することができる。また、コンプライアンスのために必要なことは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術又は標準のレベルによって定義される範囲内にあることとし得る。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、毎秒メガサンプルで測定される）、最大参照ピクチャサイズなどを制限する。レベルによって設定された制限は、場合によっては、ＨＲＤ（仮想参照デコーダ、Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）使用及びコーディングされたビデオシーケンスでシグナリングされたバッファ管理のためのメタデータを通してさらに制限され得る。
【0071】
一実施形態では、受信機（５３１）は、エンコーディングされたビデオと共に追加の（冗長な）データを受信してもよい。追加のデータは、コーディングされたビデオシーケンスの一部として含まれてもよい。追加のデータは、データを適切に復号するため、及び／又は元のビデオデータをより正確に再構成するために、ビデオデコーダ（５１０）によって使用されてもよい。追加のデータは、例えば、時間的、空間的、又は信号雑音比（ＳＮＲ）強化層、冗長スライス、冗長ピクチャ、前方エラー補正コードなどの形態のものであり得る。
【0072】
図６は、本開示の一実施形態によるビデオエンコーダ（６０３）のブロック図を示す。ビデオエンコーダ（６０３）は、電子デバイス（６２０）に含まれる。電子デバイス（６２０）は、送信機（６４０）（例えば、送信回路機構）を含む。ビデオエンコーダ（６０３）は、図４の例におけるビデオエンコーダ（４０３）の代わりに使用され得る。
【0073】
ビデオエンコーダ（６０３）は、ビデオエンコーダ（６０３）によってコーディングされるビデオ画像をキャプチャし得るビデオソース（６０１）（図６の例では電子デバイス（６２０）の一部ではない）からビデオサンプルを受信してもよい。別の例では、ビデオソース（６０１）は、電子デバイス（６２０）の一部である。
【0074】
ビデオソース（６０１）は、任意の好適なビット深さ（例えば、８ビット、１０ビット、１２ビット、．．．）、任意の色空間（例えば、ＢＴ．６０１ ＹＣｒＣＢ、ＲＧＢ、．．．）、及び任意の好適なサンプリング構造（例えば、ＹＣｒＣｂ ４：２：０、ＹＣｒＣｂ ４：４：４）のうちのものとすることができるデジタルビデオサンプルストリームの形態で、ビデオエンコーダ（６０３）によってコーディングされるソースビデオシーケンスを提供してもよい。メディアサービスシステムにおいて、ビデオソース（６０１）は、以前に準備されたビデオを記憶する記憶デバイスであり得る。ビデオ会議システムでは、ビデオソース（６０１）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであり得る。ビデオデータは、シーケンスで見たときにモーションを与える複数の個々のピクチャとして提供されてもよい。ピクチャ自体は、画素の空間アレイとして編成されてもよく、各画素は、使用中のサンプリング構造、色空間などに応じて、１つ以上のサンプルを含むことができる。当業者は、画素とサンプルとの関係を容易に理解することができる。以下の説明は、サンプルに焦点を当てる。
【0075】
一実施形態によれば、ビデオエンコーダ（６０３）は、ソースビデオシーケンスのピクチャを、リアルタイムで、又はアプリケーションによって要求される任意の他の時間制約下で、コーディングされたビデオシーケンス（６４３）にコーディング及び圧縮してもよい。適切なコーディング速度を実施することは、コントローラ（６５０）の１つの機能である。いくつかの実施形態において、コントローラ（６５０）は、以下に記載のように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。結合は、明確にするために示されていない。コントローラ（６５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化子、レート歪み最適化技術のラムダ値、．．．）、ピクチャサイズ、ピクチャグループ（ＧＯＰ）レイアウト、最大モーションベクトル探索範囲などを含むことができる。コントローラ（６５０）は、特定のシステム設計のために最適化された、ビデオエンコーダ（６０３）に関係する他の好適な機能を有するように構成され得る。
【0076】
いくつかの実施形態では、ビデオエンコーダ（６０３）は、コーディングループで動作するように構成されている。かなり単純化した説明として、一例では、コーディングループは、ソースコーダ（６３０）（例えば、コーディングされる入力ピクチャ及び参照ピクチャに基づいて、シンボルストリームなどのシンボルを生成することを担当する）と、ビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）と、を含むことができる。デコーダ（６３３）は、シンボルを再構成して、（シンボルとコーディングされたビデオビットストリームとの間の任意の圧縮が、開示された主題において考慮されたビデオ圧縮技術において可逆であるように）（リモート）デコーダが作成するのと同様の方式でサンプルデータを作成する。再構成サンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（６３４）に入力される。シンボルストリームのデコーディングは、デコーダ位置（ローカル又はリモート）に依存しないビット単位で正確な結果をもたらすので、参照ピクチャメモリ（６３４）における内容も、ローカルエンコーダとリモートエンコーダとの間では、ビット単位で正確である。言い換えると、エンコーダの予測部分は、デコーダがデコーディング中に予測を使用するときに「見る」のとまったく同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャ同期性のこの基本原理（例えば、チャンネルエラーにより同期性を維持することができない場合、ドリフトが結果として生じる）が、同様にいくつかの関連技術で使用される。
【0077】
「ローカル」デコーダ（６３３）の動作は、ビデオデコーダ（５１０）のような「リモート」デコーダのものと同じにすることができ、これは、図５と併せて既に詳細に上述されている。また図５を簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（６４５）及び解析器（５２０）によって、コーディングされたビデオシーケンスへのシンボルのコーディング／デコーディングが可逆とすることができるので、バッファメモリ（５１５）及び解析器（５２０）を含むビデオデコーダ（５１０）のエントロピーデコーディング部分は、ローカルデコーダ（６３３）に完全には実装されなくてもよい。
【0078】
この時点で、デコーダに存在する解析／エントロピーデコーディング以外のいかなるデコーダ技術も、対応するエンコーダにおいて、実質的に同一の機能形態で必ず存在する必要がある、ということが分かっている。このため、開示された主題はデコーダ動作に焦点を当てる。エンコーダ技術の説明は、包括的に記載されたデコーダ技術の逆であるため、省略することができる。特定のエリアにおいてのみ、より詳細な説明が必要であり、以下に提供される。
【0079】
その動作の一部として、ソースコーダ（６３０）は、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の以前にコーディングされたピクチャを参照して、入力ピクチャを予測的にコーディングするモーション補償予測コーディングを行ってもよい。このようにして、コーディングエンジン（６３２）は、入力ピクチャの画素ブロックと、入力ピクチャに対する予測参照として選択され得る参照ピクチャの画素ブロックとの間の差分をコーディングする。
【0080】
ローカルビデオデコーダ（６３３）は、ソースコーダ（６３０）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータを復号してもよい。コーディングエンジン（６３２）の動作は、有利には、不可逆プロセスであってもよい。コーディングされたビデオデータがビデオデコーダでデコーディングされ得るときに（図６に図示せず）、再構成されたビデオシーケンスは、典型的には、いくつかのエラーを伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオデコーダ６３３は、ビデオデコーダによって参照ピクチャ対して行われ得るデコーディングプロセスをレプリカし、再構成された参照ピクチャが参照ピクチャキャッシュ（６３４）に記憶されるようにしてもよい。このようにして、ビデオエンコーダ（６０３）は、遠端ビデオデコーダによって取得されるであろう（伝送誤差が存在しない）再構成された参照ピクチャと共通のコンテンツを有する再構成された参照ピクチャのコピーを、ローカルに記憶してもよい。
【0081】
予測子（６３５）は、コーディングエンジン（６３２）について予測探索を行ってもよい。すなわち、コーディングされる新しいピクチャの場合、予測子（６３５）は、サンプルデータ（候補参照画素ブロックとして）、又は新しいピクチャに対する適切な予測参照として機能する参照ピクチャモーションベクトル、ブロック形状などの特定のメタデータについて参照ピクチャメモリ（６３４）を探索してもよい。予測子（６３５）は、適切な予測参照を見つけるために、サンプルブロック対画素ブロックベースで動作してもよい。場合によっては、予測子（６３５）によって取得された取得結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶された複数の参照ピクチャから引き出された予測参照を有してもよい。
【0082】
コントローラ（６５０）は、例えば、ビデオデータをエンコーディングするために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ（６３０）のコーディング動作を管理してもよい。
【0083】
前述のすべての機能ユニットの出力は、エントロピーコーダ（６４５）におけるエントロピーコーディングに供されてもよい。エントロピーコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従って、可逆圧縮することによって、様々な機能ユニットによって生成されるシンボルをコーディングされたビデオシーケンスに変換する。
【0084】
送信機（６４０）は、エントロピーコーダ（６４５）によって作成されるコーディングされたビデオシーケンスをバッファし、通信チャネル（６６０）を介した伝送のために準備してもよく、通信チャネル（４６０）は、エンコーディングされたビデオデータを記憶するであろう記憶デバイスへのハードウェア／ソフトウェアリンクであってもよい。送信機（６４０）は、ビデオコーダ（６０３）からのコーディングされたビデオデータを、例えばコーディングされたオーディオデータ及び／又は補助的なデータストリーム（ソースは図示せず）など、送信される他のデータとマージしてもよい。
【0085】
コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理してもよい。コーディングの間、コントローラ（６５０）は、各コーディングされたピクチャに特定のコーディングされたピクチャタイプを割り当ててもよく、これは、それぞれのピクチャに適用され得るコーディング技術に影響を及ぼしてもよい。例えば、ピクチャは、以下のピクチャタイプの１つとして割り当てられることが多い。
【0086】
イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の任意の他のピクチャを使用せずに、コーディング及びデコーディングされ得るものであってもよい。いくつかのビデオコーデックは、例えば、独立したデコーダリフレッシュピクチャ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ Ｐｉｃｔｕｒｅ）を含む、異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャのこれらの変形例、並びにそれらのそれぞれのアプリケーション及び特徴を理解している。
【0087】
予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、多くても１つのモーションベクトル及び参照インデックスを使用して、イントラ予測又はインター予測を使用してコーディング及びデコーディングされ得るものであってもよい。
【0088】
双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、多くても２つのモーションベクトル及び参照インデックスを使用して、イントラ予測又はインター予測を使用してコーディング及びデコーディングされ得るものであってもよい。同様に、複数の予測ピクチャは、１つのブロックの再構成のために、２つより多い参照ピクチャ及び関連するメタデータを使用することができる。
【0089】
ソースピクチャは、一般的に、複数のサンプルブロック（例えば、それぞれ４×４、８×８、４×８、又は１６×１６個のサンプルのブロック）に空間的に細分化され、ブロック対ブロックベースでコーディングされてもよい。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割り当てによって決定されるように、他の（既にコーディングされた）ブロックを参照して予測的にコーディングされてもよい。例えば、Ｉピクチャのブロックは、非予測的にコーディングされてもよいし、それらは、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測又はイントラ予測）。Ｐピクチャの画素ブロックは、１つ前にコーディングされた参照ピクチャを参照して、空間的予測を介してか、又は時間的予測を介して予測的にコーディングされてもよい。Ｂピクチャのブロックは、１つ又は２つの前にコーディングされた参照ピクチャを参照して、空間的予測を介してか、又は時間的予測を介してコーディングされてもよい。
【0090】
ビデオエンコーダ（６０３）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５．などの所定のビデオコーディング技術又は標準に従ってコーディング動作を行ってもよい。
その動作において、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用する予測的コーディング動作を含む様々な圧縮動作を行ってもよい。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術又は標準によって指定された構文に準拠してもよい。
その動作において、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用する予測的コーディング動作を含む様々な圧縮動作を行ってもよい。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術又は標準によって指定された構文に準拠してもよい。
【0091】
一実施形態では、送信機（６４０）は、エンコーディングされたビデオと共に追加のデータを送信してもよい。ソースコーダ（６３０）は、コーディングされたビデオシーケンスの一部としてそのようなデータを含んでもよい。追加のデータは、時間的／空間的／ＳＮＲ強化層、冗長ピクチャ及びスライスなどの他の形態の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメントなどを含んでもよい。
【0092】
ビデオは、時間シーケンスにおいて複数のソースピクチャ（ビデオピクチャ）としてキャプチャされてもよい。イントラピクチャ予測（イントラ予測と略されることが多い）は、所与のピクチャ内の空間的相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的又は他の）相関を利用する。一例では、現在のピクチャと呼ばれるコーディング／デコーディング下の特定のピクチャは、ブロックにパーティショニングされる。現在のピクチャ内のブロックが、ビデオ内の以前にコーディングされ、かつ、依然としてバッファされている参照ピクチャ内の参照ブロックに類似するときに、現在のピクチャ内のブロックは、モーションベクトルと呼ばれるベクトルによってコーディングされ得る。モーションベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用中である場合に、参照ピクチャを識別する第３の次元を有することができる。
【0093】
いくつかの実施形態では、双予測技術は、インターピクチャ予測に使用され得る。双予測技術によれば、ビデオ内の現在のピクチャのデコーディング順序において両方とも前の（ただし、表示順序では、それぞれ過去及び将来であってもよい）第１の参照ピクチャ及び第２の参照ピクチャなどの２つの参照ピクチャが使用される。現在のピクチャ内のブロックは、第１の参照ピクチャ内の第１の参照ブロックを指す第１のモーションベクトルと、第２の参照ピクチャ内の第２の参照ブロックを指す第２のモーションベクトルとによってコーディングされ得る。ブロックは、第１の参照ブロックと第２の参照ブロックの組み合わせによって予測され得る。
【0094】
さらに、コーディング効率を改善するために、インターピクチャ予測にマージモード技術が使用され得る。
【0095】
本開示のいくつかの実施形態によれば、インターピクチャ予測及びイントラピクチャ予測などの予測は、ブロックの単位で行われる。例えば、ＨＥＶＣ標準によれば、ビデオピクチャのシーケンスにおけるピクチャは、圧縮のためにコーディングツリーユニット（ＣＴＵ）にパーティショニングされ、ピクチャ内部のＣＴＵは、６４×６４画素、３２×３２画素、又は１６×１６画素のように、同じサイズを有する。一般に、ＣＴＵは、１つのルマＣＴＢと２つのクロマＣＴＢである３つのコーディングツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、１つ以上のコーディングユニット（ＣＵ）に再帰的にクワッドツリーにスプリットされ得る。例えば、６４×６４画素のＣＴＵは、６４×６４画素の１つのＣＵ、３２×３２画素の４つのＣＵ、又は１６×１６画素の１６個のＣＵにスプリットされ得る。一例では、各ＣＵは、相互予測タイプ又はイントラ予測タイプのような、ＣＵに対する予測タイプを決定するために分析される。ＣＵは時間的及び／又は空間的予測可能性に依存して１つ以上の予測単位（ＰＵ）にスプリットされる。一般に、各ＰＵはルマ予測ブロック（ＰＢ）と２つのクロマＰＢを含む。一実施形態では、コーディング（エンコーディング／デコーディング）における予測動作は、予測ブロックの単位で行われる。予測ブロックの一例としてルマ予測ブロックを使用すると、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素など、画素に対する値（例えば、ルマ値）の行列を含む。
【0096】
図７は、本開示の別の実施形態によるビデオデコーダ（７０３）の図を示す。ビデオエンコーダ（７０３）は、ビデオピクチャのシーケンス内の現在のビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックをコーディングされたビデオシーケンスの一部であるコーディングされたピクチャにエンコーディングするように構成されている。一例では、ビデオエンコーダ（７０３）は、図４の例におけるビデオエンコーダ（４０３）の代わりに使用される。
【0097】
ＨＥＶＣの例では、ビデオエンコーダ（７０３）は、８×８サンプルの予測ブロックなどの処理ブロックに対するサンプル値のマトリックスを受信する。ビデオエンコーダ（７０３）は、処理ブロックが、例えば、レート歪み最適化を使用して、イントラモード、インターモード、又は双予測モードを使用して、最良にコーディングされるかどうかを決定する。処理ブロックがイントラモードでコーディングされるときに、ビデオエンコーダ７０３は、処理ブロックをコーディングされたピクチャにエンコーディングするためにイントラ予測技術を使用してもよく、処理ブロックがインターモード又は双予測モードでコーディングされるときに、ビデオエンコーダ７０３は、処理ブロックをコーディングされたピクチャにコーディングするために、それぞれ、インター予測技術又は双予測技術を使用してもよい。特定のビデオコーディング技術では、マージモードは、予測子の外側のコーディングされたモーションベクトルコンポーネントの利益なしに、モーションベクトルが１つ以上のモーションベクトル予測子から導出されるインターピクチャ予測サブモードとすることができる。特定の他のビデオコーディング技術では、対象ブロックに適用可能なモーションベクトルコンポーネントが存在してもよい。一実施形態では、ビデオエンコーダ（７０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他のコンポーネントを含む。
【0098】
図７の例では、ビデオエンコーダ（７０３）は、図７に示すようにまとめて結合された、インターエンコーダ（７３０）、イントラエンコーダ（７２２）、残差計算器（７２３）、スイッチ（７２６）、残差エンコーダ（７２４）、汎用コントローラ（７２１）、及びエントロピーエンコーダ（７２５）を含む。
【0099】
インターエンコーダ（７３０）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、ブロックを参照ピクチャ内の１つ以上の参照ブロックと比較し（例えば、前のピクチャ及び後のピクチャ内のブロック）、インター予測情報（例えば、インターエンコーディング技術による冗長情報の記述、モーションベクトル、マージモード情報）を生成し、任意の好適な技術を使用して、インター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成されている。いくつかの例では、参照ピクチャは、コーディングされたビデオ情報に基づいてデコーディングされた参照ピクチャである。
【0100】
イントラエンコーダ（７２２）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては、ブロックを、同じピクチャ内の既にコーディングされたブロックと比較し、変換後に量子化された係数を生成し、また、場合によっては、イントラ予測情報（例えば、１つ以上のイントラエンコーディング技術に従ったイントラ予測方向情報）も生成する。一例では、イントラエンコーダ（７２２）は、また、同じピクチャ内のイントラ予測情報及び参照ブロックに基づいてイントラ予測結果（例えば、予測ブロック）を計算する。
【0101】
汎用コントローラ（７２１）は、汎用制御データを決定し、一般制御データに基づいてビデオエンコーダ（７０３）の他のコンポーネントを制御するように構成されている。一例では、汎用コントローラ（７２１）は、ブロックのモードを決定し、モードに基づいてスイッチ（７２６）に制御信号を提供する。例えば、モードがイントラモードであるときに、汎用コントローラ７２１は、残差計算器７２３が使用するイントラモードの結果を選択するようにスイッチ７２６を制御し、イントラ予測情報を選択し、ビットストリームにイントラ予測情報を含めるようにエントロピーエンコーダ７２５を制御し、モードがインターモードであるときに、汎用コントローラ７２１は、残差計算器７２３が使用するインター予測結果を選択するようにスイッチ７２６を制御し、インター予測情報を選択し、ビットストリームにインター予測情報を含めるようにエントロピーエンコーダ７２５を制御する。
【0102】
残差計算器（７２３）は、受信されたブロックと、イントラエンコーダ（７２２）又はインターエンコーダ（７３０）から選択された予測結果との間の差（残差データ）を計算するように構成されている。残差エンコーダ（７２４）は、残差データに基づいて動作し、残差データをエンコードして変換係数を生成するように構成されている。一例では、残差エンコーダ（７２４）は、残差データを空間ドメインから周波数ドメインにコンバートし、変換係数を生成するように構成されている。次いで、変換係数は、量子化された変換係数を取得するために量子化処理を受ける。様々な実施形態では、ビデオエンコーダ（７０３）はまた、残差デコーダ（７２８）を含む。残差デコーダ（７２８）は、逆変換を実行し、デコードされた残差データを生成するように構成されている。デコードされた残差データは、イントラエンコーダ（７２２）及びインターエンコーダ（７３０）によって好適に使用され得る。例えば、インターエンコーダ（７３０）は、デコードされた残差データ及びインター予測情報に基づいて、デコードされたブロックを生成することができ、イントラエンコーダ（７２２）は、デコードされた残差データ及びイントラ予測情報に基づいて、デコードされたブロックを生成することができる。デコードされたブロックは、デコードされたピクチャを生成するために好適に処理され、デコードされたピクチャは、メモリ回路（図示せず）内でバッファされ、いくつかの例では参照ピクチャとして使用され得る。
【0103】
エントロピーエンコーダ（７２５）は、エンコードされたブロックを含むようにビットストリームをフォーマットするように構成されている。エントロピーエンコーダ（７２５）は、ＨＥＶＣ標準などの好適な標準に従った様々な情報を含むように構成されている。一例では、エントロピーエンコーダ（７２５）は、一般的な制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及びビットストリーム内の他の好適な情報を含むように構成されている。開示された主題によれば、インターモード又は双予測モードのいずれかのマージサブモードでブロックをコーディングするときに、残基情報は存在しないことに留意する。
【0104】
図８は、本開示の別の実施形態によるビデオデコーダ（８１０）の図を示す。ビデオデコーダ（８１０）は、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャを受信し、コーディングされたピクチャをデコーディングして再構成されたピクチャを生成するように構成されている。一例では、ビデオエンコーダ（８１０）は、図４の例におけるビデオエンコーダ（４１０）の代わりに使用される。
【0105】
図８の例では、ビデオデコーダ（８１０）は、図８に示すようにまとめて結合された、エントロピーデコーダ（８７１）、インターデコーダ（８８０）、残差デコーダ（８７３）、再構成モジュール（８７４）、及びイントラデコーダ（８７２）を含む。
【0106】
エントロピーデコーダ（８７１）は、コーディングされたピクチャから、コーディングされたピクチャが構成される構文要素を表す特定のシンボルを再構成するように構成され得る。このようなシンボルは、例えば、ブロックがコーディングされるモード（例えば、イントラモード、インターモード、双予測モード、マージサブモード又は別のサブモードにおける後者の２つ）、イントラデコーダ（８７２）又はインターデコーダ（８８０）によってそれぞれ予測のために使用される特定のサンプル又はメタデータを識別することができる予測情報（例えば、イントラ予測情報又はインター予測情報）、例えば、量子化された変換係数の形態の残差情報などを含むことができる。一例として、予測モードがインター予測モード又は双予測モードであるときに、インター予測情報がインターデコーダ（８８０）に提供され、予測タイプがイントラ予測タイプであるときに、イントラ予測情報がイントラデコーダ（８７２）に提供される。残差情報は、逆量子化を受けることができ、残差デコーダ（８７３）に提供される。
【0107】
インターデコーダ（８８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成されている。
【0108】
イントラデコーダ（８７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成されている。
【0109】
残差デコーダ（８７３）は、逆量子化変換係数を抽出するために逆量子化を行い、逆量子化変換係数を処理して残差を周波数領域から空間領域にコンバートするように構成されている。残差デコーダ（８７３）はまた、特定の制御情報（ＱＰ（Ｑｕａｎｔｉｚｅｒ Ｐａｒａｍｅｔｅｒ）を含む必要とすることがあり、その情報は、エントロピーデコーダ（８７１）によって提供されてもよい（これは、低いボリュームの制御情報のみであり得るので、データパスは描写されていない）。
【0110】
再構成モジュール（８７４）は、空間領域において、残差デコーダ（８７３）による出力としての残差と、（場合によっては、インター又はイントラ予測モジュールによる出力としての）予測結果とを組み合わせて、再構成ブロックを形成するように構成されており、この再構成ブロックは、再構成ピクチャの一部であってもよく、再構成ピクチャは、再構成ビデオの一部であってもよい。デブロッキング動作などの他の好適な動作が、視覚品質を改善するために行われ得ることに留意されたい。
【0111】
なお、ビデオエンコーダ（４０３）、（６０３）及び（７０３）、並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、任意の好適な技術を使用して実装され得る。一実施形態では、ビデオエンコーダ（４０３）、（６０３）、及び（７０３）、並びにビデオデコーダ（４１０）、（５１０）、及び（８１０）は、１つ以上の集積回路を使用して実装され得る。別の実施形態では、ビデオエンコーダ（４０３）、（６０３）、及び（６０３）、並びにビデオデコーダ（４１０）、（５１０）、及び（８１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを使用して実装され得る。
【0112】
本開示は、参照ピクチャ再サンプリング（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｒｅｓａｍｐｌｉｎｇ、ＲＰＲ）が有効であるときに、現在のブロックのルマコンポーネント及びクロマコンポーネントのための適応アップサンプリングフィルタに関連する実施形態を含む。適応アップサンプリングフィルタは、アップサンプリングフィルタリング及び適応ループフィルタリングを含む２段階フィルタリング動作を排除することができる。追加的に、クロマチャネルのための適応アップサンプリングフィルタ内にクロスコンポーネントフィルタが適用されて、アップサンプリングされたフルサイズピクチャと元のフルサイズピクチャの間のクロマ品質をさらに強化することができる。
【0113】
ＩＴＵ－Ｔ ＶＣＥＧ （Ｑ６／１６）及びＩＳＯ／ＩＥＣ ＭＰＥＧ （ＪＴＣ １／ＳＣ ２９／ＷＧ １１）は、２０１３年（バージョン１）、２０１４年（バージョン２）、２０１５年（バージョン３）、及び２０１６年（バージョン４）にＨ．２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準を公表した。２０１５年には、これら２つの標準化組織が共同でＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）を結成して、ＨＥＶＣを越える次のビデオコーディング標準の開発の可能性を探った。２０１７年１０月には、これら２つの標準化組織がＨＥＶＣを超える能力を有するビデオ圧縮に関するＣｆＰ（Ｊｏｉｎｔ Ｃａｌｌ ｆｏｒ Ｐｒｏｐｏｓａｌｓ）を発行した。２０１８年２月１５日までに、標準ダイナミックレンジ（ＳＤＲ）に関して２２のＣｆＰ回答、高ダイナミックレンジ（ＨＤＲ）に関して１２のＣｆＰ回答、及び３６０のビデオカテゴリーに関して１２のＣｆＰ回答がそれぞれ提出された。２０１８年４月には、第１２２回のＭＰＥＧ／第１０回ＪＶＥＴ会議において、受けたすべてのＣｆＰ回答が評価された。この会議の結果、ＪＶＥＴは、ＨＥＶＣを超えた次世代ビデオコーディングの標準化プロセスを正式に着手し、この新しい標準は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と名付けられ、ＪＶＥＴは、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍと改称された。２０２０年、ＩＴＵ－Ｔ ＶＣＥＧ（Ｑ６／１６）及びＩＳＯ／ＩＥＣ ＭＰＥＧ（ＪＴＣ １／ＳＣ ２９／ＷＧ １１）は、ＶＶＣビデオコーディング標準（バージョン１）を公表した。
【0114】
従来のブロックベースのハイブリッドビデオコーディングアーキテクチャが、ＶＶＣなどにおいて適用され得る。従来のブロックベースのハイブリッドビデオコーディングアーキテクチャでは、圧縮をさらに改善するために、各基本ビルディングブロックに新しいツールを含めることができる。
【0115】
ＶＶＣでは、クワッドツリー＋マルチタイプツリー（ＱＴ＋ＭＴＴ）スキームは、ＨＥＶＣで使用された複数のパーティションタイプでクワッドツリーを置き換えるためのパーティショニング構造として、バイナリ（ｂｉｎａｒｙ）とターナリ（ｔｅｒｎａｒｙ）スプリットが続くクゥアターナリ（ｑｕａｔｅｒｎａｒｙ）スプリットを使用することができる。さらに、分離されたパーティショニングツリー構造は、ルマチャネルとクロマチャネルをそれぞれサポートすることもできる。インターフレームの場合、１つのＣＴＵにおけるルマチャネルとクロマチャネルが同じコーディングツリー構造を共有することができる。しかしながら、イントラフレームの場合、ルマチャネルとクロマチャネルは、クロマチャネルのコーディング効率を改善するために、別々のツリーを有することができる。
【0116】
インター予測において、各インター予測コーディングユニット（ＣＵ）に対して、インター予測サンプル生成のためにモーションパラメータが使用され得る。モーションパラメータは、モーションベクトル、参照ピクチャインデックス、参照ピクチャリスト使用インデックス、及び／又はＶＶＣの新しいコーディング特徴に必要とされる追加情報を含むことができる。モーションパラメータは、明示的又は暗黙的にシグナリングされ得る。ＣＵがスキップモードでコーディングされるときに、ＣＵは、１つのＰＵと関連付けられ得、有意な残差係数、コーディングされたモーションベクトルデルタ、及び／又は参照ピクチャインデックスは必要とされないことがある。ＣＵがマージモードでコーディングされるときに、ＣＵのためのモーションパラメータは近接するＣＵから取得され得る。近接するＣＵは、空間的及び時間的候補、及びＶＶＣに導入されるような追加スケジュール（又は追加候補）を含むことができる。マージモードは、スキップモードだけでなく、任意のインター予測ＣＵに適用され得る。マージモードの代替は、モーションパラメータの明示的な伝送であり、モーションベクトル、各参照ピクチャリストに対する対応する参照ピクチャインデックス、参照ピクチャリスト使用フラグ、及び／又は他の必要な情報は、ＣＵごとに明示的にシグナリングされ得る。
【0117】
ＶＶＣでは、ＶＶＣテストモデル（ＶＶＣ Ｔｅｓｔ ｍｏｄｅｌ、ＶＴＭ）参照ソフトウェアは、以下のうちの１つ以上を含むことができる、多くの新しい洗練されたインター予測コーディングツールを含むことができる：（１） 拡張マージ予測（２） マージモーションベクトル差（Ｍｅｒｇｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ、ＭＭＶＤ）（３） 対称ＭＶＤシグナリングによるＡＭＶＰモード（ＡＭＶＰ）（４） アフィンモーション補償予測（５） サブブロックベースの時間的モーションベクトル予測（Ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＳｂＴＭＶＰ）（６） 適応モーションベクトル解像度（Ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ、ＡＭＶＲ）（７） モーションフィールドストレージ：１／１６ルマサンプルＭＶストレージ及び８×８モーションフィールド圧縮（８） ＣＵレベルの重みによる双予測（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ ｗｅｉｇｈｔｓ、ＢＣＷ）（９） 双方向光学フロー（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ、ＢＤＯＦ）（１０） デコーダ側モーションベクトル洗練化（Ｄｅｃｏｄｅｒ ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ、ＤＭＶＲ）（１１） 結合インター及びイントラ予測（Ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＣＩＩＰ）（１２） 幾何学的パーティショニングモード（Ｇｅｏｍｅｔｒｉｃ ｐａｒｔｉｔｉｏｎｉｎｇ ｍｏｄｅ、ＧＰＭ）
【0118】
イントラ予測では、各イントラ予測ＣＵに対して、イントラＣＵのサンプルは、現在のＣＵの左側及び／又は上側に隣接する近接するブロックにおける参照サンプルから予測され得る。近接するブロックは、以前に同じピクチャ内でループ内フィルタリングの前にデコーディングされていてもよい。ＨＥＶＣは、プラナー、参照サンプル平均（ＤＣモードとも呼ばれる）、及び３３個の方向角度モードを含む３５個のイントラピクチャ予測モードを有することができる。以下のように、ＶＶＣなどにおいてイントラピクチャ予測モードが拡張され得る。（１） 広角イントラ予測（ｗｉｄｅ－ａｎｇｌｅ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＷＡＩＰ）モードを含む９３個のイントラピクチャ方向予測角（２） ２セットの４タップ補間フィルタ（３） 位置依存予測結合（Ｐｏｓｉｔｉｏｎ－ｄｅｐｅｎｄｅｎｔ ｐｒｅｄｉｃｔｉｏｎ ｃｏｍｂｉｎａｔｉｏｎ、ＰＤＰＣ）（４） 多重参照線（Ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ、ＭＲＬ）（５） クロスコンポーネント線形モデル（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ、ＣＣＬＭ）（６） イントラサブパーティション（ＩＳＰ）
【0119】
残差データのより良いエネルギー圧縮を達成し、変換された係数の量子化誤差をさらに低減するために、ＶＶＣなどにおいて新しいツールが以下のように導入され得る。（１） 非二乗変換（２） 明示的ＭＴＳと暗黙的ＭＴＳを含む多重変換選択（Ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）（３） 低周波非分離変換（Ｌｏｗ－ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ、ＬＦＮＳＴ）（４） サブブロック変換（Ｓｕｂｂｌｏｃｋ ｔｒａｎｓｆｏｒｍ、ＳＢＴ）（５） 依存量子化（Ｄｅｐｅｎｄｅｎｔ ｑｕａｎｔｉｚａｔｉｏｎ、ＤＱ）（６） クロマ残差のジョイントコーディング（Ｊｏｉｎｔ ｃｏｄｉｎｇ ｏｆ ｃｈｒｏｍａ ｒｅｓｉｄｕａｌ、ＪＣＣＲ）
【0120】
ＶＶＣでは、異なるタイプのアーチファクトを除去するために、再構成フレームに対して再マッピング動作と３つのループ内フィルタを順次適用することができる。例えば、クロマスケーリングによるルママッピング（ＬＭＣＳ）、新しいサンプルベースのプロセスを最初に実行することができる。次いで、ブロッキングアーチファクトを低減するために、デブロッキングフィルタを使用することができる。次いで、サンプル適応オフセット（ＳＡＯ）フィルタをデブロッキングされたピクチャの上部に適用して、リンギング及びバンディングアーチファクトを減衰させることができる。最後に、代替ループフィルタ（ＡＬＦ）を適用して、変換及び量子化プロセスによって導入される他の可能性のある歪みを低減することができる。ＶＶＣにおけるＡＬＦは２つの動作を含むことができる。最初の動作は、ルマサンプルとクロマサンプルの両方に対するブロックベースのフィルタ適応のためのＡＬＦに基づいて動作し、第２の動作は、クロマサンプルのみに対するクロコンポーネント代替ループフィルタ（ＣＣ－ＡＬＦ）基づいて動作することができる。
【0121】
フィルタ形状は、ブロックベースのＡＬＦに適用することができる。一例では、２つのフィルタ形状を適用することができる。第１のフィルタ形状はルマコンポーネントに適用される７×７のダイヤモンド形状とすることができ、第２のフィルタ形状はクロマコンポーネントに適用される５×５のダイヤモンド形状である。それぞれのブロック（４×４ブロックなど）のローカル勾配の方向とアクティビティに基づいて、４×４ブロックなど、各ブロックに対して最大２５のフィルタのうち１つを選択することができる。ローカル勾配の方向性とアクティビティに従って、各ブロック（例えば、４×４ブロック）を２５のクラスの１つに分類し、カテゴリ化することができる。各クラスは、それぞれのフィルタ係数割り当てを有することができる。フィルタリング前に、４×４ブロックに対して計算された勾配値に応じて、９０度回転、対角、又は垂直フリップなどの幾何学的変換をフィルタ形状（例えば、７×７ダイヤモンド形状、又は５×５ダイヤモンド形状）に適用することができる。フィルタ処理の前に幾何学的変換を適用することは、フィルタ支持領域内のサンプルに幾何学的変換を適用することと同等であり得る。ブロックの方向性を整列させることにより、ＡＬＦは、ブロックに対してより類似した（又は一貫した）方法を実行することができる。
【0122】
ルマ４×４ブロックレベルフィルタ適応に加えて、ＣＴＵレベルフィルタ適応もＡＬＦでサポートされ得る。各ＣＴＵは、現在のスライスから計算されたフィルタセット、既にコーディングされたスライスでシグナリングされたフィルタセットのうちの１つ、又は１６個のオフラインで訓練されたフィルタセットのうちの１つを使用することができる。各ＣＴＵ内で、選択されたフィルタセットをＣＴＵの４×４ブロックごとに適用することができる。フィルタ係数及びクリッピングインデックスは、ＡＬＦ適応パラメータセット（ＡＰＳ）で搬送され得る。ＡＬＦ ＡＰＳは、最大８個のクロマフィルタと最大２５個のルマフィルタセットを含むことができる。２５個のルマクラスの各々に対してインデックスｉｃが含まれ得る。異なるクラスをマージすることによって、フィルタ係数に関連付けられたビット数が低減され得る。
【0123】
ＣＣ－ＡＬＦはルマサンプル値を使用して、ＡＬＦプロセス内のクロマサンプル値を洗練することができる。ＶＶＣにおけるＡＬＦ及びＣＣ－ＡＬＦの例示的な結合が図９に示され得る。図９に示すように、線形フィルタリング動作は、現在のブロックのルマサンプル（９０２）をＣＣ－ＡＬＦフィルタ（９０４）及び（９０６）への入力として取り、クロマサンプル値（９０８）及び（９１０）に対する補正値（例えば、ΔＲｃｂ及びΔＲｃｒ）を生成することができる。ルマサンプル（９０２）は、リンギング及びバンディングアーチファクトを低減するために、ＳＡＯ（９１８）に基づいてフィルタリングされ得る。クロマサンプル値（９０８）は、入力としての現在のブロックのクロマサンプルのＣｂコンポーネント（９１４）に基づいてＡＬＦ （９１２）によって生成され得、クロマサンプル値（９１０）は、入力としての現在のブロックのクロマサンプルのＣｒコンポーネント（９１６）に基づいてＡＬＦ （９１２）によって生成され得る。補正は、各クロマコンポーネント（例えば、（９１４）及び（９１６））に対して独立して生成され得る。補正後、現在のブロックの再構成サンプルのＣｂコンポーネント（９２０）は、クロマサンプル値（９０８）と補正値ΔＲｃｂの和に基づいて生成され得、現在のブロックの再構成サンプルのＣｒコンポーネント（９２２）は、クロマサンプル値（９１０）と補正値ΔＲｃｒの和に基づいて生成され得る。追加的に、現在のブロックの再構成サンプルのＹ（又はルマ）コンポーエントは、ルマサンプル（９０２）がＡＬＦ （９２６）によってフィルタリングされるときに生成され得る。
【0124】
参照画素（又はピクチャ）再サンプリング（ＲＰＲ）は、イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャをコーディングすることなく、解像度変化を可能にすることができる。ＲＰＲはまた、ビデオ領域全体又は一部の関心領域のズームが必要なアプリケーションシナリオで使用され得る。ＲＰＲを使用することにより、デコーディングされるべき現在のピクチャとは異なる解像度を有する参照ピクチャに基づくインターピクチャ予測を可能にするために、ピクチャ解像度変化が有効にされ得る。ＲＰＲは、参照ピクチャが現在のピクチャの解像度と異なる解像度を有するときに、インターピクチャ予測のために使用される参照ピクチャの再サンプリングを要求することができる。
【0125】
ＲＰＲのスケーリング比が制限され得る。例えば、参照ピクチャから現在のピクチャへのスケーリングプロセスの場合、スケーリング比を１／２（又はファクターオブ２ダウンサンプリング）～８（又はファクターオブ８アップサンプリング）に制限され得る。参照ピクチャと現在のピクチャとの間の様々なスケーリング比を処理するために、異なるカットオフ周波数を有する再サンプリングフィルタの３つのセットが指定され得る。再サンプリングフィルタの３つのセットが、それぞれ１／２～１／１．７５、１／１．７５～１／１．２５、及び１／１．２５～８の範囲のスケーリング比に対して適用され得る。追加的に、各再サンプリングフィルタセットに対して、ルマに対する１６位相とクロマに対する３２位相が適用され得る。各位相は、ＲＰＲのそれぞれのサンプリングレートに対応することができる。再サンプリングフィルタの位相の数は、モーション補償に使用される補間フィルタの位相の数と同じにすることができる。
【0126】
ＡＬＦによる再構成ピクチャのポストフィルタリングは、ＶＶＣのように、再構成ピクチャと元のピクチャとの間の歪みを低減するために実行され得る。ＡＬＦは、低解像度再構成ピクチャと低解像度（又はダウンサンプリング）元のピクチャとの間の歪みを低減することができる。ＲＰＲが有効であるときに、アップサンプリングプロセスが適用されて、アップサンプリングされた再構成ピクチャを生成することができる。したがって、追加のＡＬＦプロセス段階が適用されて、アップサンプリングされた再構成ピクチャと元のフルサイズピクチャととの間の歪みを低減することができる。
【0127】
図１０Ａは、ＲＰＲのためにＡＬＦを適用する第１の例示的な実施形態を示す。図１０Ａに示すように、コアデコーディングプロセス（１００２）は、現在のピクチャの再構成サンプルを生成することができる。（１００４）において、現在のピクチャの再構成サンプルは、ポストループ内フィルタによってフィルタリングされ得る。ポストループ内フィルタは、デブロッキングフィルタ（ＤＢＦ）、ＳＡＯ、ＡＬＦ－１及び／又はＣＣ－ＡＬＦ－１を含むことができる。ＤＢＦは、ブロック間の鋭いエッジを平滑化することにより、視覚品質と予測性能改善することができる。ＳＡＯは、リンギング及びバンディングアーチファクトを減衰させることができる。ＡＬＦ－１及びＣＣ－ＡＬＦ－１は、変換及び量子化プロセスによって導入される他の潜在的な歪みを低減するために適用され得る。（１００６）において、ＲＰＲに基づいてアップサンプリングが行われて、インターピクチャ予測のための高解像度参照ピクチャを生成することができる。したがって、アップサンプリングされた再構成ピクチャを生成することができる。（１００８）において、ＡＬＦ－２及びＣＣ－ＡＬＦ－２が適用されて、アップンプリングされた再構成ピクチャと元のフルサイズピクチャとの間の歪みを低減することができる。（１００４）においてフィルタリングされた現在のピクチャの再構成サンプルは、将来のピクチャのための参照ピクチャとしてデコーディングされたピクチャバッファ（ＤＰＢ） （１０１０）に保存され得ることに留意する。
【0128】
図１０Ｂは、ＲＰＲのためにＡＬＦを適用する第２の例示的な実施形態を示す。図１０Ｂに示すように、コアデコーディングプロセス（１０１２）は、現在のピクチャの再構成サンプルを生成することができる。（１０１４）において、現在のピクチャの再構成サンプルは、デブロッキングフィルタ（ＤＢＦ）、ＳＡＯ、ＡＬＦ－１、及びＣＣ－ＡＬＦ－１によってフィルタリングされ得る。（１０１６）において、ＡＬＦ－１が適用されて、再構成ピクチャと元のフルサイズピクチャとの間の歪みを低減することができる。（１０１８）において、アップサンプリングが行われて、インターピクチャ予測のために使用される高解像度参照ピクチャを生成することができる。したがって、アップサンプリングされた再構成ピクチャを生成することができる。（１０２０）において、ＣＣ－ＡＬＦ－２が適用されて、アップンプリングされた再構成ピクチャと元のフルサイズピクチャとの間の歪みを低減することができる。（１０１４）においてフィルタリングされた現在のピクチャの再構成サンプルは、将来のピクチャのための参照ピクチャとしてデコーディングされたピクチャバッファ（ＤＰＢ） （１０２２）に保存され得る。
【0129】
図１０Ａ及び図１０Ｂにおいて、ＲＰＲが有効であるときに、ＡＬＦポストフィルタ段階が、アップサンプリングされた再構成ピクチャに適用され得る。アップサンプリングフィルタ（例えば、（１００６））及びＡＬＦ／ＣＣ－ＡＬＦ （例えば、（１００８））のような２つのフィルタは、ＡＬＦポストフィルタ段階においてカスケード接続され、ＲＰＲが有効であるときに再構成ピクチャを強化することができる。図１０Ａ及び図１０Ｂに示す実施形態におけるＡＬＦポストフィルタ段階は、一連のカスケード接続フィルタの使用に起因して、待ち時間及び設計の複雑さを増加させる可能性がある。
【0130】
本開示において、ルマ及びクロマのための適応アップサンプリングフィルタは、カスケード接続フィルタの代わりに、例えばアップサンプリングフィルタ、ＡＬＦ、及びＣＣ－ＡＬＦを用いて使用され得る。適応アップサンプリングフィルタは、アップサンプリングフィルタ、ＡＬＦ、ＣＣ－ＡＬＦのうちの１つ以上などのカスケード接続フィルタの機能を結合（又は統合）することができる。したがって、カスケード構造は、適応アップサンプリングフィルタにおいて利用される必要はなくてもよい。
【0131】
いくつかの実施形態では、適応アップサンプリングフィルタは、適応アップサンプリングルマフィルタと適応クロマアップサンプリングフィルタを含むことができ、適応アップサンプリングルマフィルタは、入力として低解像度ルマ信号を、出力として高解像度ルマ信号を適用することができ、適応アップサンプリングクロマフィルタは、入力として低解像度ルマ信号及び低解像度クロマ信号を、出力として高解像度クロマ信号を適用することができる。
【0132】
適応アップサンプリングフィルタは、ＲＰＲが有効であるときに、アップスケーリング（又はアップサンプリング）プロセスを実現し、アップサンプリングされた再構成ピクチャと元のフルサイズピクチャとの間の歪みを低減するために、適応フィルタ係数を含むことができる。適応アップサンプリングフィルタのフィルタ係数は、ＣＵのスモールブロック（又はサブブロック）のクラス及びＲＰＲの位相に適応することができる。したがって、それぞれのフィルタ係数は、それぞれのスモールブロックに対応するクラス及び位相に基づいて、ＣＵの各スモールブロックに適用され得る。
【0133】
ルマチャネル（又はルマサンプル）に対するスモールブロック（例えば、４×４ブロック）内のローカル勾配の方向性とアクティビティによって、低解像度ピクチャにおける現在のピクチャのＣＵ内の各スモールブロックは、Ｎクラスのうちの１つに分類され得る。いくつかの実施形態において、適応アップサンプリングフィルタのためのＣＵのスモールブロック（又はサブブロック）のクラスの決定は、ＡＬＦのためのＣＵのスモールブロック（又はサブブロック）のクラスの決定と同様であり得る。したがって、Ｎは、例えば、現在のピクチャのルマサンプルの場合、２５であり得る。
【0134】
現在のピクチャのルマサンプルの場合、Ｍ位相のような複数の位相が適応アップサンプリングフィルタに適用されて、ＲＰＲの再サンプリング機能を実装することができる。、各位相は、ＲＰＲのそれぞれのサンプリングレートに対応することができる。したがって、全ての候補位相を満たすために適応アップサンプリングフィルタに対してＭ位相相フィルタ係数セットが導入され得る。したがって、適応アップサンプリングフィルタの場合、ピクチャ全体（又は現在のピクチャ全体）のルマサンプルに対して、Ｍ位相を有するＮクラスに従って、最大Ｍ×Ｎフィルタ係数セットが導入され得る。フィルタ係数セットの各々は、例えば、それぞれのフィルタ係数及びそれぞれのクリッピング値インデックスを含むことができる。ルマコンポーネントのための適応アップサンプリングフィルタのフィルタ係数セットは、ＲＰＲが有効であるときに、エンコーディングされたピクチャ全体（又はエンコードされた現在のピクチャ）のためのビットストリームでシグナリングされ得る。
【0135】
適応アップサンプリングフィルタの適応フィルタ係数はまた、現在のピクチャのクロマコンポーネントに適用され得る。例えば、ＲＰＲが適用されるときに、Ｌ位相が適応アップサンプリングフィルタに適用され得る。したがって、最大Ｌフィルタ係数セットが、ＲＰＲが有効であるときに、エンコーディングされたピクチャ全体のためのビットストリームでシグナリングされ得る。
【0136】
例えば、ＶＶＣにおいて、ＡＬＦのために使用される各スモールブロック対するローカル勾配の方向性とアクティビティは、適応アップサンプリングフィルタの各スモールブロックの分類に直接適用され得る。各スモールブロックに対するローカル勾配の方向性とアクティビティに基づいて、対応する分類インデックス（又はクラスインデックス）が取得され得る。各スモールブロックに対応するクラスは、分類インデックスに基づいて決定され得る。例えば、それぞれのスモールブロックに対応するクラスは、ＶＶＣにおいてＡＬＦのために使用される２５の候補クラスのうちの１つとすることができる。
【0137】
適応アップサンプリングフィルタ係数の使用は、暗黙的又は明示的にシグナリングされ得る。いくつかの実施形態において、適応アップサンプリングフラグなどのフラグは、適応アップサンプリングフィルタ係数が使用されるかどうかを示すためにシグナリングされ得る。フラグが偽である場合、デフォルトのフィルタ係数セットが現在のピクチャのために使用され得る。
【0138】
いくつかの実施形態において、Ｎ個のクラスに対するｎ個のフィルタ係数セットが、マージ法を使用して適応アップサンプリングフィルタに適用され得、式中、ｎ＜Ｎである。したがって、各位相に対して、ｎ個のフィルタ係数のみが使用され得る。したがって、適応アップサンプリングフィルタに対してビットストリームでＭ×ｎフィルタ係数セットのみがシグナリングされ得る。
【0139】
いくつかの実施形態では、異なる位相のフィルタ係数セットが結合（又はマージ）され得る。一例では、２つのフィルタ係数セットが、マージ法によって結合（又はマージ）され得る。フィルタ係数セットは任意に選択され得る。マージ法は、コスト値に基づいて２つのフィルタ係数セットのうちの１つを選択することができる。例えば、第１のフィルタ係数セットの第１のコスト値が決定され得、第１のコスト値は、第１のフィルタ係数セットに基づいて現在のブロック及び現在のブロックのフィルタリングされた再構成サンプルに関連付けられたレート歪み又は差異などの歪みを示すことができる。第２のフィルタ係数セットの第２のコスト値が決定され得、第２のコスト値は、第２のフィルタ係数セットに基づいて、現在のブロック及び現在のブロックのフィルタリングされた再構成サンプルに関連付けられた歪みを示すことができる。第１のフィルタ係数セットと第２のフィルタ係数セットのうちの１つが、第１のコスト値と第２のコスト値のどちらが小さいかに基づいて選択され得る。エンコーダ側でのレート歪み最適化法を使用した２つのフィルタの再帰的マージ動作の後に、ある数のフィルタ係数セットがＮフィルタ係数セットから選択され、Ｎは、現在のピクチャに関連付けられたクラスの数に対応することができる。最後に、最良の（又は選択された）係数セットが、１つ以上のビットストリームでシグナリングされ得る。さらに、マッピングテーブルもシグナリングされてもよい。マッピングテーブルは、複数のフィルタ係数セットインデックスを含むことができる。各フィルタ係数セットインデックスは、それぞれのクラスに対応することができる。
【0140】
別の例では、２つの近接するクラスインデックスの２つのフィルタ係数セットが結合され得る。例えば、クラス０に対するフィルタ係数はまた、エンコーダ側におけるレート歪み最適化を使用した再帰的マージ動作の後に、クラス２、クラス３、及びクラス４のために使用され得、クラス０に対するフィルタ係数セットは、クラス２、クラス３、及びクラス４に対するフィルタ係数セットのコスト値よりも小さいコスト値を有することができる。すべてのクラスインデックスに対するフィルタ係数セットの再帰的マージ動作の後に、１つ以上のビットストリームにおけるｎフィルタ係数セットのみが、シグナリングされ得、ｎは、クラス数Ｎ未満である。
【0141】
別の例では、２つの異なる位相の２つのフィルタ係数セットがさらに結合され得る。フィルタ係数マージ動作の後に、ｍ×ｎフィルタ係数セットのみが１つ以上のビットストリームでシグナリングされ得、ｍ＜Ｍ、ｎ＜Ｎ及びＭとＮはそれぞれ位相とクラスの数である。マージ動作に基づいて、２つの任意の位相の２つのフィルタ係数セットが、レート歪最適化を使用して結合され得る。低減されたフィルタ係数セット、位相及びフィルタ係数セットインデックスに対応するマッピングテーブルがシグナリングされ得る。いくつかの実施形態では、隣接（又は連続）位相、例えば、２つの隣接位相におけるフィルタ係数セットのみがマージされ得る。例えば、ｎフィルタ係数セットのうちのフィルタ係数セットが、位相１及び位相２の両方に適用され得る。
【0142】
いくつかの実施形態において、低解像度を有するエンコーディングされたピクチャは、複数のサブ領域に分割され得る。各サブ領域は、矩形形状などの幾何学的形状を有することができる。一実施形態では、エンコーディングされたピクチャは、Ｐ個の矩形領域にパーティショニングされ得る。Ｎクラスに対する最大Ｎフィルタ係数セットなどの異なるフィルタ係数セットが、エンコーディングされたピクチャ内の各サブ領域（例えば、矩形領域）に対して使用され得る。したがって、適応アップサンプリングフィルタの全部でＰ×Ｎ個のフィルタ係数セットがエンコーディングされたピクチャからパーティショニングされたＰ矩形領域に適用され得る。
【0143】
Ｎ個のクラス及びＰ個のサブ領域に対応するフィルタ係数セットがマージされ得る。矩形領域ｉに使用されるフィルタ係数セットは、他の矩形領域、例えば、矩形領域ｊにも使用され得、式中、ｉ ≠ ｊである。各矩形領域に対して、それぞれの矩形領域に対してどのフィルタ係数セットが使用されるかを示すために、フィルタ係数セットのインデックスがシグナリングされ得る。
【0144】
いくつかの実施形態では、領域ベースの方法は、それぞれルマ及びクロマに対して適応され得る。例えば、ルマチャネルに対してのみ、領域ベースの方法が使用され得る。
【0145】
適応アップサンプリングフィルタのフィルタ係数セットは、ＲＰＲが有効であるときに適応パラメータセット（ＡＰＳ）でシグナリングされ得る。ＡＰＳにおける適応アップサンプリングフィルタのフィルタ係数セットは、ＲＰＲを用いてさらなるエンコーディングされたピクチャに使用され得る。いくつかの実施形態では、適応アップサンプリングフィルタのフィルタ係数セットは、現在エンコーディングされているピクチャが将来のピクチャのための参照ピクチャとして使用されるときにのみ、シグナリングされ得る。
【0146】
本開示では、図１０Ａ及び１０Ｂに示すことができるＲＰＲのための２段階フィルタリングプロセスを排除するために、ＲＰＲが有効であるときに、ルマチャネル及びクロマチャネルの両方に対して、アップサンプリングされたフルサイズのピクチャを強化するために、ＡＬＦと結合されたアップサンプリングフィルタの代わりに、単一の適応アップサンプリングフィルタが提供される。図１１は、例示的な適応アップサンプリングフィルタ（１１００）を示す。ルマチャネル及びクロマチャネルに対して適応アップサンプリングフィルタ（１１００）を使用することによって、図１０Ａ及び図１０Ｂに示すカスケードフィルタの待ち時間及び複雑さを、例えば、２段階プロセスから１段階プロセスへと低減することができる。図１１に示すように、適応アップサンプリングフィルタ（１１００）は、ルマ適応アップサンプリングフィルタ（１１０６）及びクロマ適応アップサンプリングフィルタ（１１０８）を含むことができる。コアデコーディングプロセス（１１０２）は、現在のピクチャの再構成サンプルを生成することができる。（１１０４）において、現在のピクチャの再構成サンプルは、デブロッキングフィルタ（ＤＢＦ）、ＳＡＯ、ＡＬＦ－１、及び／又はＣＣ－ＡＬＦ－１によってフィルタリングされ得る。現在のブロックの再構成サンプルの低解像度ルマコンポーネントは、現在のブロックのフィルタリングされた再構成サンプルの高解像度ルマコンポーネントを生成するために、ルマ適応アップサンプリングフィルタ（１１０６）に伝送され得る。現在のブロックの再構成サンプルの低解像度ルマコンポーネントは、現在のブロックのフィルタリングされた再構成サンプルの高解像度クロマコンポーネントを生成するために、クロマ適応アップサンプリングフィルタ（１１０８）に伝送され得る。
【0147】
ルマチャネルに対する適応アップサンプリングフィルタ（１１００）のフィルタ係数の適応を実現するために、サブブロックレベルフィルタ適応は、サブブロックのローカル勾配の方向性とアクティビティに依存する分類を使用して実装され得る。例えば、各ＣＵを複数のサブブロックに分割することができる。各サブブロックのブロックサイズは、４×４などの任意の数とすることができる。各サブブロックに対して、サブブロックは、それぞれのクラスインデックスに基づいて分類され得る。クラスインデックスは、サブブロックのローカル勾配の方向性と２Ｄ Ｌａｐｌａｃｉａｎアクティビティに基づいて導出され得る。各サブブロックは、クラスインデックスの導出に従って、事前定義されたクラスのうちの１つにカテゴリ化され得る。決定されたクラス及びサンプリングレート（又はＲＰＲの位相）に基づいて、対応するフィルタ係数セットが、それぞれのサブブロックに対して決定され得る。係数セットは、フィルタプロセスを実行するためにサブブロックに適用され得る。したがって、フィルタリングされた再構成サンプルが生成され得る。事前定義されたクラスの典型的な数は、２５であり得、これは、例えば、ＶＶＣにおいて、ＡＬＦのクラス数と同じであり得る。サブブロックレベル適応に基づいて、適応アップサンプリングフィルタが、異なるローカル勾配特徴を有する異なるサブブロックに対して実現され得る。
【0148】
さらに、低解像度ピクチャに対するルマサンプルは、ルマチャネルとクロマチャネルの間の高い相関特性を使用することによって、アップサンプリングされたピクチャと元のピクチャとの間のクロマ歪みを補償するためにも使用され得る。例えば、図１１に示すように、現在のブロックの再構成サンプルの低解像度ルマコンポーネント及び低解像度クロマコンポーネントは両方とも、クロマ適応アップサンプリングフィルタ（１１０８）に伝送されて、現在のブロックのフィルタリングされた再構成サンプルの高解像度クロマコンポーネントを生成することができる。したがって、クロスコンポーネントフィルタが、クロマ適応アップサンプリングフィルタ（１１０８）に形成され得る。クロスコンポーネントフィルタは、アップサンプリングクロマサンプルに対する補償オフセット値として、低解像度ピクチャから高周波情報を直接取得することができる。
【0149】
図１２は、本開示のいくつかの実施形態による、例示的なデコーディングプロセス（１２００）を概説するフローチャートを示す。図１３は、本開示のいくつかの実施形態による、例示的なエンコーディングプロセス（１３００）を概略するフローチャートを示す。提案されたプロセスは、別々に、又は任意の順序で組み合わせて使用されてもよい。さらに、プロセス（又は実施形態）、エンコーダ、及びデコーダの各々は、処理回路機構（例えば、１つ以上のプロセッサ、又は１つ以上の集積回路）によって実装されてもよい。一例において、１つ以上のプロセッサは、非一時的なコンピュータ可読媒体に記憶されたプログラムを実行する。
【0150】
プロセスの動作（例えば、（１２００）及び（１３００））は、必要に応じて、任意の量又は順序で組み合わされ、又は配置され得る。実施形態では、プロセスの動作のうちの２つ以上（例えば、（１２００）及び（１３００））は、並行して実行されてもよい。
【0151】
プロセス（例えば、（１２００）及び（１３００））は、再構成中のブロックに対する予測ブロックを生成するために、ブロックの再構成及び／又はエンコーディングに使用され得る。様々な実施形態では、処理（例えば、（１２００）及び（１３００））は、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）内の処理回路機構、ビデオエンコーダ（４０３）の機能を行う処理回路機構、ビデオデコーダ（４１０）の機能を行う処理回路機構、ビデオデコーダ（５１０）の機能を行う処理回路機構、ビデオエンコーダ（６０３）の機能を行う処理回路機構などの処理回路機構によって実行される。いくつかの実施形態では、プロセス（例えば、（１２００）及び（１３００））は、ソフトウェア命令で実装され、したがって、処理回路機構がソフトウェア命令を実行するときに、処理回路機構は、プロセス（例えば、（１２００）及び（１３００））を行う。
【0152】
図１２に示すように、プロセス（１２００）は、（Ｓ１２０１）から開始し、（Ｓ１２１０）に進むことができる。（Ｓ１２１０）において、現在のピクチャ内の現在のブロックのコーディングされた情報が、コーディングされたビデオビットストリームから受信され得る。コーディングされた情報は、適応アップサンプリングフィルタが現在のブロックに適用されることを示すことができる。
【0153】
（Ｓ１２２０）において、現在のブロックの複数のサブブロックの各々に対してそれぞれのクラスが決定され得る。
【0154】
（Ｓ１２３０）において、適応アップサンプリングフィルタの複数のフィルタ係数セットから、複数のサブブロックの各々に対してそれぞれのフィルタ係数セットが決定され得る。それぞれのフィルタ係数セットは、それぞれのサブブロックに対応する少なくとも１つのクラスと、現在のピクチャの参照ピクチャに適用される参照ピクセル再サンプリング（ＲＰＲ）のそれぞれのサンプリングレートに基づいて決定され得る。それぞれのサンプリングレートは、ＲＰＲの複数の位相のうちの１つに関連付けられ得る。
【0155】
（Ｓ１２４０）において、二次ＡＬＦを適用することなく、複数のサブブロックに対して決定されたそれぞれのフィルタ係数セットに基づいて、適応アップサンプリングフィルタが現在のブロックに適用して、現在のブロックのフィルタリングされた再構成サンプルを生成する。
【0156】
それぞれのクラスを決定するために、それぞれのサブブロックのルマサンプルのローカル勾配の方向性とアクティビティに基づいて、複数のサブブロックの各々に対してそれぞれのクラスインデックスが決定され得る。それぞれのサブブロックに対応するクラスインデックスに基づいて、複数のサブブロックの各々に対してそれぞれのクラスが決定され得る。
【0157】
いくつかの実施形態では、現在のブロックのルマサンプルに対する複数のフィルタ係数セットの数は、ＮとＭの積に等しくすることができる。Ｎは、現在のブロックに関連付けられたクラスの数とすることができ、Ｍは、現在のブロックのルマサンプルに関連付けられたＲＰＲの複数の位相の数とすることができる。
【0158】
現在のブロックのクロマサンプルに対するフィルタ係数セットの数は、Ｌに等しくすることができ、Ｌは、現在のブロックのクロマサンプルに関連付けられたＲＰＲの複数の位相の数とすることができる。
【0159】
プロセス（１２００）において、複数のフィルタ係数セットのうちの第１のフィルタ係数セットの第１のコスト値が決定され得る。第１のコスト値は、第１のフィルタ係数セットに基づいて、現在のブロックと現在のブロックのフィルタリングされた再構成サンプルとの間の歪みを示すことができる。複数のフィルタ係数セットのうちの第２のフィルタ係数セットの第２のコスト値が決定され得る。第２のコスト値は、第２のフィルタ係数セットに基づいて、現在のブロックと現在のブロックのフィルタリングされた再構成サンプルとの間の歪みを示すことができる。第１のフィルタ係数セットと第２のフィルタ係数セットのうちの１つが、第１のコスト値と第２のコスト値のどちらが小さいかに基づいて選択され得る。
【0160】
いくつかの実施形態では、第１のフィルタ係数セットは、第１のクラスのインデックスに関連付けられ得、第２のフィルタ係数セットは、第２のクラスのインデックスと関連付けられ得る。第２のクラスのインデックスは、第１のクラスのインデックスに連続することができる。
【0161】
いくつかの実施形態では、第１のフィルタ係数セットは、ＲＰＲの複数の位相うちの第１の位相に関連付けられ得、第２のフィルタ係数セットは、ＲＰＲの複数の位相のうちの第２の位相に関連付けられ得、第２の位相は、ＲＰＲの第１の位相に連続することができる。
【0162】
いくつかの実施形態では、現在のブロックのルマサンプルに対する複数のフィルタ係数セットの数は、ＮとＰの積に等しくすることができる。Ｎは、現在のブロックに関連付けられたクラスの数とすることができ、Ｐは、現在のピクチャからパーティショニングされた領域の数とすることができる。したがって、第１のフィルタ係数セットは、現在のピクチャの第１の領域に関連付けられ得、第２のフィルタ係数セットは、現在のピクチャの第２の領域に関連付けられ得る。
【0163】
プロセス（１２００）では、複数のフィルタ係数セットは、コーディングされた情報の適応パラメータセットに含まれ得る。
【0164】
適応アップサンプリングフィルタは、ルマ適応アップサンプリングフィルタとクロマ適応アップサンプリングフィルタをさらに含むことができる。現在のブロックのフィルタリングされた再構成サンプルの高解像度ルマコンポーネントは、ルマ適応アップサンプリングフィルタへの入力として現在のブロックの再構成サンプルの低解像度ルマコンポーネントに基づいて生成され得る。現在のブロックの前記フィルタリングされた再構成サンプルの高解像度クロマコンポーネントは、クロマ適応アップサンプリングフィルタへの入力として現在のブロックの再構成サンプルの低解像度ルマコンポーネント及び低解像度クロマコンポーネントに基づいて生成され得る。
【0165】
プロセス（１２００）は、好適に適応され得る。ワークフロー（１２００）のステップは、修正及び／又は省略され得る。追加のステップが追加され得る。任意の好適な実装順序が使用され得る。
【0166】
図１３に示すように、プロセス（１３００）は、（Ｓ１３０１）から開始し、（Ｓ１３１０）に進むことができる。（Ｓ１３１０）において、現在のブロックの複数のサブブロックの各々に対してそれぞれのクラスが決定される。複数のサブブロックは、現在のピクチャ内の現在のブロックからのものであり得る。
【0167】
（Ｓ１３２０）において、複数のフィルタ係数セットが、現在のピクチャの解像度変化に対して適用される、現在のブロックのクラス及び参照画素再サンプリング（ＲＰＲ）の複数の位相に対応する適応アップサンプリングフィルタに対して決定され得る。
【0168】
（Ｓ１３３０）において、それぞれのサブブロックに対応する少なくとも１つのクラスと、現在のピクチャの参照ピクチャに適用される参照画素再サンプリング（ＲＰＲ）のそれぞれのサンプリングレートに基づいて、複数のフィルタ係数セットから複数のサブブロックの各々に対してそれぞれのフィルタ係数セットが決定され得る。それぞれのサンプリングレートは、ＲＰＲの複数の位相のうちの１つに関連付けられ得る。
【0169】
（Ｓ１３４０）において、二次ＡＬＦを適用することなく、複数のサブブロックに対して決定されたそれぞれのフィルタ係数セットに基づいて、適応アップサンプリングフィルタが現在のブロックに適用して、現在のブロックのフィルタリングされた再構成サンプルを生成する。
【0170】
（Ｓ１３５０）において、現在のブロックのコーディングされた情報が生成され得る。コーディングされた情報は、適応アップサンプリングフィルタの複数のフィルタ係数セットを示すことができる。
【0171】
次いで、プロセスは（Ｓ１３９９）に進み、終了する。
【0172】
プロセス（１３００）は、好適に適応され得る。ワークフロー（１３００）のステップは、修正及び／又は省略され得る。追加のステップが追加され得る。任意の好適な実装順序が使用され得る。
【0173】
上述の技術は、コンピュータ可読命令を使用し、１つ以上のコンピュータ可読媒体に物理的に記憶されたコンピュータソフトウェアとして実装され得る。例えば、図１４は、開示された主題の特定の実施形態を実装するのに好適なコンピュータシステム（１４００）を示す。
【0174】
コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、又は類似のメカニズムの対象となり得る任意の好適な機械コード又はコンピュータ言語を使用してコード化され得、１つ又は複数のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）などによって、直接的に、又は解釈、マイクロコード実行などを通して実行され得る命令を含むコードを作成する。
【0175】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットのデバイスなどを含む様々なタイプのコンピュータ又はそのコンポーネント上で実行され得る。
【0176】
コンピュータシステム（１４００）のための図１４に示されるコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に関していかなる制限も示唆することを意図していない。コンポーネントの構成は、コンピュータシステム（１４００）の例示的な実施形態に示されているコンポーネントの任意の１つ又は組み合わせに関するいかなる従属性又は要件も有していると解釈されてはならない。
【0177】
コンピュータシステム（１４００）は、特定のヒューマンインターフェース入力デバイスを含んでもよい。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブの動き）、オーディオ入力（例えば、音声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（描写せず）を通して、１人以上の人間ユーザによる入力に応答してもよい。また、ヒューマンインターフェースデバイスは、オーディオ（例えば、発話、音楽、周囲音）、画像（例えば、スキャン画像、静止画像カメラから取得される写真画像）、ビデオ（例えば、２次元ビデオ、立体画像を含む３次元ビデオ）などの人間による意識的入力に必ずしも直接関係しない特定の媒体を捕捉するために使用され得る。
【0178】
入力ヒューマンインターフェースデバイスは、キーボード（１４０１）、マウス（１４０２）、トラックパッド（１４０３）、タッチスクリーン（１４１０）、データグローブ（図示せず）、ジョイスティック（１４０５）、マイクロホン（１４０６）、スキャナ（１４０７）、カメラ（１４０８）のうちの１つ以上（各々１つのみが描写されている）を含んでもよい。
【0179】
コンピュータシステム（１４００）はまた、特定のヒューマンインターフェース出力デバイスを含んでもよい。このようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、及び嗅覚／味覚を通して、１人以上の人間ユーザの感覚を刺激していてもよい。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１４１０）、データグローブ（図示せず）、又はジョイスティック（１４０５）による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスであり得る）、オーディオ出力デバイス（例えば、スピーカー（１４０９）、ヘッドフォン（描写せず））、視覚出力デバイス（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（１４１０）であって、各々、触覚スクリーン入力能力を有するか、又は有さず、これらのうちのいくつかは、二次元の視覚出力又は立体出力のような手段を通してそれ以上の三次元の出力を出力することが可能であり得るもの、仮想現実グラス（描写せず）、ホログラフィックディスプレイ、スモークタンク（描写せず））、及びプリンタ（描写せず）を含んでもよい。
【0180】
コンピュータシステム（１４００）はまた、ＣＤ／ＤＶＤ又は同様の媒体（１４２１）を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１４２０）を含む光媒体、サムドライブ（１４２２）、取り外し可能なハードドライブ又はソリッドステートドライブ（１４２３）、テープ及びフロッピーディスク（描写せず）などのレガシー磁気媒体、セキュリティドングル（描写せず）のような特殊なＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイスなど、人間がアクセス可能な記憶デバイス、及びそれらの関連媒体を含むことができる。
【0181】
当業者はまた、現在開示されている主題に関連して使用される用語「コンピュータ可読媒体」は、伝送媒体、搬送波、又は他の過渡信号を包含しないと理解すべきである。
【0182】
コンピュータシステム（１４００）はまた、１つ以上の通信ネットワーク（１４５５）へのインターフェース（１４５４）を含むことができる。ネットワークは、例えば、無線、有線、光のものとすることができる。ネットワークは、さらに、ローカル、広域、大都市、車両及び産業、リアルタイム、遅延耐性などのものとすることができる。ネットワークの例は、Ｅｔｈｅｒｎｅｔ（登録商標）、無線ＬＡＮ、ＧＳＭ、 ３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶを含むＴＶ有線及び無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両及び産業などを含む。特定のネットワークは、通常、特定の汎用データポート又は周辺バス（１４４９）（例えば、コンピュータシステム（１４００）のＵＳＢポート）に取り付けられる外部のネットワークインターフェースアダプタを必要とし、他のものは、通常、後述するシステムバス（例えば、ＰＣコンピュータシステムへのＥｔｈｅｒｎｅｔインターフェース又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）への取り付けによって、コンピュータシステム（１４００）のコアに組み込まれる。これらのネットワークのいずれかを使用して、コンピュータシステム（１４００）は、他のエンティティと通信することができる。このような通信は、一方向性の受信のみ（例えば、放送テレビ）、一方向性の送信のみのもの（例えば、ＣＡＮｂｕｓから特定のＣＡＮｂｕｓまで）、又は、例えば、ローカル又は広域デジタルネットワークを使用する他のコンピュータシステムへの双方向性のものとすることができる。特定のプロトコル及びプロトコルスタックは、上述のように、それらのネットワーク及びネットワークインターフェースの各々で使用され得る。
【0183】
前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶デバイス、及びネットワークインターフェースは、コンピュータシステム（１４００）のコア（１４４０）に取り付けられ得る。
【0184】
コア（１４４０）は、１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（１４４１）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（１４４２）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｅａ）（１４４３）の形態の特殊なプログラマム可能な処理ユニット、特定のタスクのためのハードウェアアクセラレータ（１４４４）、グラフィックアダプタ（１４５０）などを含むことができる。これらのデバイスは、ＲＯＭ（Ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）（１４４５）、ランダムアクセスメモリ（１４４６）、ユーザがアクセス不可能なハードドライブ、ＳＳＤなどの内部マスストレージ（１４４７）と一緒に、システムバス（１４４８）を通して接続されてもよい。いくつかのコンピュータシステムでは、システムバス（１４４８）は、追加的なＣＰＵ、ＧＰＵなどによる拡張を可能にするために、１つ以上の物理プラグの形態でアクセス可能とすることができる。周辺デバイスは、コアのシステムバス（１４４８）に直接取り付けられるか、周辺バス（１４４９）通して取り付けられるかのいずれかとすることができる。一例では、スクリーン（１４１０）は、グラフィックアダプタ（１４５０）に接続され得る。周辺バスのためのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。
【0185】
ＣＰＵ（１４４１）、ＧＰＵ（１４４２）、ＦＰＧＡ（１４４３）、及びアクセラレータ（１４４４）は、組み合わせて、前述のコンピュータコードを構成することができる特定の命令を実行することができる。コンピュータコードは、ＲＯＭ （１４４５）又はＲＡＭ （１４４６）に記憶され得る。一時的なデータはまた、ＲＡＭ（１４４６）に記憶され得るが、永続性データは、例えば、内部マスストレージ（１４４７）に記憶され得る。１つ以上のＣＰＵ（１４４１）、ＧＰＵ（１４４２）、マスストレージ（１４４７）、ＲＯＭ（１４４５）、ＲＡＭ（１４４６）などと密接に関連付けられ得るキャッシュメモリの使用を通して、メモリデバイスのいずれかへの高速ストレージ及び取り出しが、可能にされ得る。
【0186】
コンピュータ可読媒体は、様々なコンピュータ実装された動作を実行するためのコンピュータコードをその上に有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構築することができるか、又はそれらは、コンピュータソフトウェア分野の当業者に周知かつ入手可能な種類のものとすることができる。
【0187】
一例として、限定するものではなく、アーキテクチャ（１４００）、具体的にはコア（１４４０）を有するコンピュータシステムは、１つ以上の有形のコンピュータ可読媒体に具現化されたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）の結果として機能を提供することができる。このようなコンピュータ可読媒体は、コア内部マスストレージ（１４４７）、ＲＯＭ（１４４５）などの非一時的な性質のコア（１４４０）の特定のストレージと同様に、上記に紹介したユーザがアクセス可能なマスストレージに関連付けられた媒体とすることができる。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア（１４４０）によって実行され得る。コンピュータ可読媒体は、特定のニーズに応じて、１つ以上のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア（１４４０）、具体的には内部のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ （１４４６）に記憶されたデータ構造を定義することと、ソフトウェアによって定義されたプロセスに従ってこのようなデータ構造を修正することとを含む、本明細書に記載された特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。追加的又は代替的には、コンピュータシステムは、回路（例えば、アクセラレータ（１４４４））内に配線されたか、又は他の方法で具現化された論理の結果として、機能を提供することができ、この回路は、本明細書に記載された特定のプロセス又は特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりに、又はソフトウェアと共に動作することができる。ソフトウェアへの言及は、論理を包含することができ、適切な場合には、その逆もできる。コンピュータ可読媒体への言及は、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のための論理を具体化する回路、又は適切な場合にはその両方を包含することができる。本開示は、ハードウェア及びソフトウェアの任意の好適な組み合わせを包含する。
付録Ａ：頭字語
ＪＥＭ：ジョイント探索モデル（ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ）
ＶＶＣ：汎用ビデオコーディング（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）
ＢＭＳ：ベンチマークセット（ｂｅｎｃｈｍａｒｋ ｓｅｔ）
ＭＶ：モーションベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）
ＨＥＶＣ：高効率ビデオコーディング
ＳＥＩ：補助強化情報（Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）
ＶＵＩ：ビデオユーザビリティ情報（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ）
ＧＯＰ：ピクチャグループ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）
ＴＵ：変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）
ＰＵ：予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）
ＣＴＵ：コーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）
ＣＴＢ：コーディングツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）
ＰＢ：予測ブロック（Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）
ＨＲＤ：仮想参照デコーダ（Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）
ＳＮＲ信号雑音比（Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ）
ＣＰＵ：中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
ＧＰＵ：グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
ＣＲＴ：陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）
ＬＣＤ：液晶ディスプレイ（Ｌｉｑｕｉｄ－Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）
ＯＬＥＤ：有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）
ＣＤ：コンパクトディスク（Ｃｏｍｐａｃｔ Ｄｉｓｃ）
ＤＶＤ：デジタルビデオディスク（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）
ＲＯＭ：読み出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）
ＲＡＭ：ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）
ＡＳＩＣ：特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）
ＰＬＤ：プログラマブル論理デバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）
ＬＡＮ：ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）
ＧＳＭ：グローバルシステムフォーモバイルコミュニケーションズ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）
ＬＴＥ：ロングタームエボリューション（Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）
ＣＡＮＢｕｓ：コントローラエリアネットワークバス（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ）
ＵＳＢ：ユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）
ＰＣＩ：ペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）
ＦＰＧＡ：フィールドプログラマブルゲートエリア（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｅａｓ）
ＳＳＤ：ソリッドステートドライブ（ｓｏｌｉｄ－ｓｔａｔｅ ｄｒｉｖｅ）
ＩＣ：集積回路（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）
ＣＵ：コーディングユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ）
付録Ａ：頭字語
ＪＥＭ：ジョイント探索モデル（ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ）
ＶＶＣ：汎用ビデオコーディング（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）
ＢＭＳ：ベンチマークセット（ｂｅｎｃｈｍａｒｋ ｓｅｔ）
ＭＶ：モーションベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）
ＨＥＶＣ：高効率ビデオコーディング
ＳＥＩ：補助強化情報（Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）
ＶＵＩ：ビデオユーザビリティ情報（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ）
ＧＯＰ：ピクチャグループ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）
ＴＵ：変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）
ＰＵ：予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）
ＣＴＵ：コーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）
ＣＴＢ：コーディングツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）
ＰＢ：予測ブロック（Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）
ＨＲＤ：仮想参照デコーダ（Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）
ＳＮＲ信号雑音比（Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ）
ＣＰＵ：中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
ＧＰＵ：グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
ＣＲＴ：陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）
ＬＣＤ：液晶ディスプレイ（Ｌｉｑｕｉｄ－Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）
ＯＬＥＤ：有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）
ＣＤ：コンパクトディスク（Ｃｏｍｐａｃｔ Ｄｉｓｃ）
ＤＶＤ：デジタルビデオディスク（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）
ＲＯＭ：読み出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）
ＲＡＭ：ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）
ＡＳＩＣ：特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）
ＰＬＤ：プログラマブル論理デバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）
ＬＡＮ：ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）
ＧＳＭ：グローバルシステムフォーモバイルコミュニケーションズ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）
ＬＴＥ：ロングタームエボリューション（Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）
ＣＡＮＢｕｓ：コントローラエリアネットワークバス（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ）
ＵＳＢ：ユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）
ＰＣＩ：ペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）
ＦＰＧＡ：フィールドプログラマブルゲートエリア（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｅａｓ）
ＳＳＤ：ソリッドステートドライブ（ｓｏｌｉｄ－ｓｔａｔｅ ｄｒｉｖｅ）
ＩＣ：集積回路（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）
ＣＵ：コーディングユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ）
【0188】
本開示は、いくつかの例示的な実施形態を記載してきたが、本開示の範囲内にある変更、置換、及び様々な代替等価物がある。したがって、当業者は、本明細書に明示的に示されていないか、又は記載されていないが、本開示の原理を具体化し、本開示の精神及び範囲内にある多くのシステム及び方法を考案することができると理解されるであろう。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】
【国際調査報告】