特許7524347ビデオコーディングのための方法および装置、およびコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-19
(45)【発行日】2024-07-29
(54)【発明の名称】ビデオコーディングのための方法および装置、およびコンピュータプログラム
(51)【国際特許分類】
H04N 19/82 20140101AFI20240722BHJP
H04N 19/85 20140101ALI20240722BHJP
H04N 19/117 20140101ALI20240722BHJP
H04N 19/157 20140101ALI20240722BHJP
H04N 19/176 20140101ALI20240722BHJP
【ＦＩ】
H04N19/82
H04N19/85
H04N19/117
H04N19/157
H04N19/176
【請求項の数】
19
(21)【出願番号】P 2022563469
(86)(22)【出願日】2021-09-24
(65)【公表番号】
(43)【公表日】2023-05-31
(86)【国際出願番号】 US2021051964
(87)【国際公開番号】W WO2022203716
(87)【国際公開日】2022-09-29
【審査請求日】2022-10-19
(31)【優先権主張番号】63/164,620
(32)【優先日】2021-03-23
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/482,102
(32)【優先日】2021-09-22
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】チュン・アウヨン
(72)【発明者】
【氏名】シアン・リ
(72)【発明者】
【氏名】シャン・リュウ
【審査官】田部井 和彦
(56)【参考文献】
【文献】米国特許出願公開第２０１１／００２６５９９（ＵＳ，Ａ１）
【文献】特表２０１２－５０２５９１（ＪＰ，Ａ）
【文献】特開２０１０－２３９６４０（ＪＰ，Ａ）
【文献】特表２０１９－５３１０２９（ＪＰ，Ａ）
【文献】特表２０１１－５２３３２６（ＪＰ，Ａ）
【文献】米国特許出願公開第２００８／０１７５３２２（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／８２
Ｈ０４Ｎ １９／８５
Ｈ０４Ｎ １９／１１７
Ｈ０４Ｎ １９／１５７
Ｈ０４Ｎ １９／１７６
(57)【特許請求の範囲】
【請求項1】
デコーダにおけるビデオコーディングの方法であって、ビデオビットストリーム内の現在のピクチャの一部である現在のブロックの予測情報をデコーディングするステップであって、前記予測情報は、前記現在のブロックに対する参照ブロックを示す、ステップと、
前記現在のブロックの近傍にある再構成されたサンプルおよび前記参照ブロックの近傍にある再構成されたサンプルに基づいてフィルタ演算のフィルタ係数を計算するステップであって、前記現在のブロックに対する前記現在のブロックの近傍にある再構成されたサンプルの位置関係と、前記参照ブロックに対する前記参照ブロックの近傍にある再構成されたサンプルの位置関係とが同一である、ステップと、
前記フィルタ係数を用いた前記フィルタ演算を前記参照ブロック内の複数の参照サンプルに適用して、複数のフィルタ参照サンプルを生成するステップであって、
前記フィルタ演算を前記参照ブロック内の１つの参照サンプルに適用して、対応するフィルタ参照サンプルを生成することは、
前記１つの参照サンプルと、前記１つの参照サンプルの近傍にあるサンプルとに前記フィルタ係数を乗算し、前記乗算された１つの参照サンプルと、前記乗算された近傍にあるサンプルとの和を求めることによって、対応するフィルタ参照サンプルを生成することを含む、ステップと、
前記複数のフィルタ参照サンプルに基づいて前記現在のブロックに対する予測ブロックを決定するステップと、
前記現在のブロックの前記予測ブロックに基づいて前記現在のブロックを再構成するステップと、を含む、方法。
【請求項2】
前記フィルタ演算は、1次元有限インパルス応答（FIR）フィルタおよび2次元FIRフィルタのうちの一方を含む、請求項1に記載の方法。
【請求項3】
計算する前記ステップは、前記現在のブロックの上方の近傍にある再構成されたサンプルの1つ以上の行と、前記参照ブロックの上方の近傍にある再構成されたサンプルの1つ以上の行とに基づいて、第1の複数のフィルタ係数を計算するステップ、または
前記現在のブロックの左方の近傍にある再構成されたサンプルの1つ以上の列と、前記参照ブロックの左方の近傍にある再構成されたサンプルの1つ以上の列とに基づいて、第2の複数のフィルタ係数を計算するステップ、のうちの少なくとも1つをさらに含む、請求項1または2に記載の方法。
【請求項4】
計算する前記ステップは、前記第1の複数のフィルタ係数を計算する前記ステップを含み、前記第1の複数のフィルタ係数を計算する前記ステップは、（i）前記現在のブロックの上方の近傍にある再構成されたサンプルの前記1つ以上の行が利用可能であること、および（ii）前記現在のブロックの幅が閾値よりも大きいことに基づいて、前記第1の複数のフィルタ係数を計算するステップを含む、
請求項3に記載の方法。
【請求項5】
計算する前記ステップは、前記第2の複数のフィルタ係数を計算する前記ステップを含み、前記第2の複数のフィルタ係数を計算する前記ステップは、（i）前記現在のブロックの左方の近傍にある再構成されたサンプルの前記1つ以上の列が利用可能であること、および（ii）前記現在のブロックの高さが閾値よりも大きいことに基づいて、前記第2の複数のフィルタ係数を計算するステップを含む、
請求項3に記載の方法。
【請求項6】
予測ブロックを決定する前記ステップは、前記参照ブロック内の参照サンプルおよび当該参照サンプルの近傍にあるサンプルに基づいて、前記現在のブロックのサンプルの予測サンプルを決定するステップであって、前記現在のブロックに対するサンプルの位置関係と、前記参照ブロックに対する参照サンプルの位置関係とが同一である、ステップをさらに含む、請求項1から5のいずれか一項に記載の方法。
【請求項7】
予測サンプルを決定する前記ステップは、前記対応するフィルタ参照サンプルとオフセットとの和に基づいて前記現在のブロックの前記サンプルの前記予測サンプルを決定するステップと、をさらに含む、請求項6に記載の方法。
【請求項8】
前記フィルタ係数およびオフセットの各々は、2つの整数の比として表される、請求項1から7のいずれか一項に記載の方法。
【請求項9】
各比の分母は、2の累乗である、請求項8に記載の方法。
【請求項10】
請求項1または2に記載の方法を実施するように構成された処理回路を備える装置。
【請求項11】
前記処理回路は、前記現在のブロックの上方の近傍にある再構成されたサンプルの1つ以上の行と、前記参照ブロックの上方の近傍にある再構成されたサンプルの1つ以上の行とに基づいて、第1の複数のフィルタ係数を計算するように構成される、請求項10に記載の装置。
【請求項12】
前記処理回路は、（i）前記現在のブロックの上方の近傍にある再構成されたサンプルの前記1つ以上の行が利用可能であること、および（ii）前記現在のブロックの幅が閾値よりも大きいことに基づいて、前記第1の複数のフィルタ係数を計算するように構成される、請求項11に記載の装置。
【請求項13】
前記処理回路は、前記現在のブロックの左方の近傍にある再構成されたサンプルの1つ以上の列と、前記参照ブロックの左方の近傍にある再構成されたサンプルの1つ以上の列とに基づいて、第2の複数のフィルタ係数を計算するように構成される、請求項10に記載の装置。
【請求項14】
前記処理回路は、（i）前記現在のブロックの左方の近傍にある再構成されたサンプルの前記1つ以上の列が利用可能であること、および（ii）前記現在のブロックの高さが閾値よりも大きいことに基づいて、前記第2の複数のフィルタ係数を計算するように構成される、請求項13に記載の装置。
【請求項15】
前記処理回路は、前記参照ブロック内の参照サンプルおよび当該参照サンプルの近傍にあるサンプルに基づいて、前記現在のブロックのサンプルの予測サンプルを決定するように構成され、前記現在のブロックに対するサンプルの位置関係と、前記参照ブロックに対する参照サンプルの位置関係とが同一である、請求項10から14のいずれか一項に記載の装置。
【請求項16】
前記処理回路は、前記対応するフィルタ参照サンプルとオフセットとの和に基づいて前記現在のブロックの前記サンプルの前記予測サンプルを決定するように構成される、請求項15に記載の装置。
【請求項17】
前記フィルタ係数およびオフセットの各々は、2つの整数の比として表される、請求項10に記載の装置。
【請求項18】
各比の分母は、2の累乗である、請求項17に記載の装置。
【請求項19】
コンピュータに、請求項1から9のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
参照による組み込み
この出願は、2021年3月23日に出願された米国仮出願第63／164，620号「LOCAL BLUR AND ILLUMINATION COMPENSATION」に対する優先権の利益を主張する、2021年9月22日に出願された米国特許出願第17／482，102号「METHOD AND APPARATUS FOR VIDEO CODING」に対する優先権の利益を主張する。先行する出願の開示が完全な状態で本出願で参照により援用される。
この出願は、2021年3月23日に出願された米国仮出願第63／164，620号「LOCAL BLUR AND ILLUMINATION COMPENSATION」に対する優先権の利益を主張する、2021年9月22日に出願された米国特許出願第17／482，102号「METHOD AND APPARATUS FOR VIDEO CODING」に対する優先権の利益を主張する。先行する出願の開示が完全な状態で本出願で参照により援用される。
【0002】
本開示は、一般に、ビデオコーディングに関係する実施形態を記載する。
【背景技術】
【0003】
本明細書において提供される背景技術の説明は、本開示の文脈を大まかに提示することを目的としている。ここに記名された発明者の仕事は、その仕事がこの背景技術セクションに記載されている程度まで、ならびにさもなければ出願時に従来技術として適格ではない可能性がある説明の態様は、本開示に対する従来技術として、明示的にも黙示的にも認められていない。
【0004】
ビデオコーディングおよびデコーディングは、動き補償を伴うインターピクチャ予測を使用して実行することができる。非圧縮デジタルビデオは、一連のピクチャを含み得、各ピクチャは、例えば1920×1080の輝度サンプルおよび関連するクロミナンスサンプルの空間次元を有する。一連のピクチャは、例えば毎秒60ピクチャまたは60Hzの固定または可変ピクチャレート（非公式にはフレームレートとしても知られている）を有し得る。非圧縮ビデオは、かなりのビットレート要件を有する。例えば、サンプルあたり8ビットの1080p60 4：2：0ビデオ（60Hzのフレームレートで1920×1080のルミナンスサンプル分解能）は、1．5Gbit／sに近い帯域幅を必要とする。そのようなビデオの1時間は、600Gバイトを超える記憶空間を必要とする。
【0005】
ビデオコーディングおよびデコーディングの1つの目的は、圧縮による入力ビデオ信号の冗長性の低減となり得る。圧縮は、前述の帯域幅または記憶空間要件を、場合によっては2桁以上低減するのに役立ち得る。可逆圧縮および非可逆圧縮の両方、ならびにこれらの組み合わせが用いられ得る。可逆圧縮は、元の信号の正確なコピーが圧縮された元の信号から再構成され得る技術を指す。非可逆圧縮を使用すると、復元された信号は元の信号と同一ではない可能性があるが、元の信号と復元された信号との間の歪みは、復元された信号を目的の用途に有用なものにするほど十分小さい。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量は用途に依存し、例えば、特定の消費者ストリーミング用途のユーザは、テレビ配信用途のユーザよりも高い歪みを許容し得る。達成可能な圧縮比は、より高い容認可能／許容可能な歪みがより高い圧縮比をもたらし得ることを反映し得る。
【0006】
ビデオエンコーダおよびデコーダは、例えば、動き補償、変換、量子化、およびエントロピーコーディングを含む、いくつかの広範なカテゴリからの技法を利用することができる。
【0007】
ビデオコーデック技術は、イントラコーディングとして知られる技法を含むことができる。イントラコーディングでは、サンプル値は、以前に復元された参照ピクチャからのサンプルまたは他のデータを参照することなく表される。一部のビデオコーデックでは、ピクチャは空間的にサンプルのブロックに細分化される。サンプルのすべてのブロックがイントラモードでコーディングされるとき、そのピクチャはイントラピクチャであり得る。イントラピクチャ、および独立デコーダリフレッシュピクチャなどのそれらの派生物は、デコーダ状態をリセットするために使用することができるので、コーディングされたビデオビットストリームおよびビデオセッション内の最初のピクチャとして、または静止画像として使用することができる。イントラブロックのサンプルは、変換にさらされる可能性があり、変換係数は、エントロピーコーディングの前に量子化することができる。イントラ予測は、変換前領域内のサンプル値を最小化する技法であり得る。場合によっては、変換後のDC値が小さいほど、かつAC係数が小さいほど、エントロピーコーディング後のブロックを表すために所与の量子化ステップのサイズにおいて必要とされるビットは少なくなる。
【0008】
例えば、MPEG－2生成コーディング技術から知られているような従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的に隣接し、デコーディング順序で先行する、データブロックのエンコーディングおよび／またはデコーディング中に取得された周囲のサンプルデータおよび／またはメタデータから試行する技術を含む。このような技術は、以後「イントラ予測」技術と呼ばれる。少なくとも一部の場合には、イントラ予測は、再構築中の現在のピクチャからの参照データのみを使用し、参照ピクチャからの参照データは使用しないことに留意されたい。
【0009】
イントラ予測には多くの異なる形式があり得る。そのような技法のうちの2つ以上が所与のビデオコーディング技術において使用され得るとき、使用中の技法はイントラ予測モードでコーディングすることができる。特定の場合には、モードはサブモードおよび／またはパラメータを有することができ、それらを個別にコーディングするか、またはモードのコードワードに含めることができる。所与のモード、サブモード、および／またはパラメータの組み合わせにどのコードワードを使用するかは、イントラ予測を介したコーディング効率向上に影響を与える可能性があり、そのため、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術も影響を与える可能性がある。
【0010】
イントラ予測の特定のモードは、H．264で導入され、H．265において改良され、共同探索モデル（JEM）、多用途ビデオコーディング（VVC）、およびベンチマークセット（BMS）などのより新しいコーディング技術においてさらに改良された。予測子ブロックは、既に利用可能なサンプルに属する隣接サンプル値を使用して形成することができる。隣接サンプルのサンプル値は、方向に従って予測子ブロックにコピーされる。使用中の方向への参照は、ビットストリーム内でコーディングされ得るし、またはそれ自体予測されてもよい。
【0011】
図1Aを参照すると、右下に描写されているのは、H．265の（35個のイントラモードのうちの33個の角度モードに対応する）33個の可能な予測子方向から知られる9つの予測子方向のサブセットである。矢印が収束する点（101）は、予測されているサンプルを表す。矢印は、そこからサンプルが予測されている方向を表す。例えば、矢印（102）は、サンプル（101）が水平から45度の角度で右上にある1つまたは複数のサンプルから予測されることを示す。同様に、矢印（103）は、サンプル（101）が水平から22．5度の角度でサンプル（101）の左下にある1つまたは複数のサンプルから予測されることを示す。
【0012】
さらに図1Aを参照すると、左上には、（太い破線によって示された）4×4サンプルの正方形ブロック（104）が描写されている。正方形ブロック（104）は16個のサンプルを含み、各々、「S」、Y次元のその位置（例えば、行インデックス）、およびX次元のその位置（例えば、列インデックス）でラベル付けされている。例えば、サンプルS21は、Y次元の（上から）2番目のサンプルであり、X次元の（左から）1番目のサンプルである。同様に、サンプルS44は、ブロック（104）内のY次元およびX次元の両方の4番目のサンプルである。ブロックはサイズが4×4サンプルなので、S44は右下にある。同様の番号付け方式に従う参照サンプルがさらに示されている。参照サンプルは、ブロック（104）に対してR、そのY位置（例えば、行インデックス）、およびX位置（列インデックス）でラベル付けされている。H．264およびH．265の両方において、予測サンプルは復元中のブロックに隣接するので、負の値が使用される必要はない。
【0013】
イントラピクチャ予測は、シグナリングされた予測方向によって割り当てられるように、隣接サンプルからの参照サンプル値をコピーすることによって機能することができる。例えば、コーディングされたビデオビットストリームが、このブロックに関して、矢印（102）と一致する予測方向を示すシグナリングを含む、すなわち、サンプルが水平から45度の角度で右上にある1つまたは複数の予測サンプルから予測されると仮定する。その場合、同じ参照サンプルR05からサンプルS41、S32、S23、およびS14が予測される。その後、参照サンプルR08からサンプルS44が予測される。
【0014】
特定の場合には、参照サンプルを計算するために、特に方向が45度によって均等に割り切れないときは、複数の参照サンプルの値は、例えば補間によって組み合わされてもよい。
【0015】
可能な方向の数は、ビデオコーディング技術が発展するにつれて増加している。H．264（2003年）では、9つの異なる方向を表すことができた。それがH．265（2013年）では33に増加し、本開示の時点では、JEM／VVC／BMSは最大65個の方向をサポートすることができる。最も可能性が高い方向を識別するために実験が行われており、エントロピーコーディングの特定の技術は、それらの可能性が高い方向を少数のビットで表すために使用され、可能性が低い方向に関しては一定のペナルティを受け入れている。さらに、方向自体は、時々、隣接する既にデコーディングされたブロックにおいて使用された隣接方向から予測することができる。
【0016】
図1Bは、経時的に増加する予測方向の数を示すためにJEMによる65のイントラ予測方向を示す概略図（105）を示す。
【0017】
方向を表す、コーディングされたビデオビットストリーム内のイントラ予測方向ビットのマッピングは、ビデオコーディング技術ごとに異なってもよく、例えば、予測方向のイントラ予測モードへの単純な直接マッピングから、コードワード、最も可能性が高いモードを含む複雑な適応方式、および同様の技術まで及ぶことができる。しかしながら、すべての場合において、ビデオコンテンツ内で特定の他の方向よりも統計的に発生する可能性が低い特定の方向が存在することができる。ビデオ圧縮の目的は冗長性の低減であるので、それらの可能性が低い方向は、うまく機能するビデオコーディング技術では、可能性が高い方向よりも多いビット数によって表される。
【0018】
動き補償は非可逆圧縮技法であり得、以前に復元されたピクチャまたはその一部（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以降、MV）によって示された方向に空間的にシフトされた後に、新しく復元されるピクチャまたはピクチャの一部の予測に使用される技法に関することができる。場合によっては、参照ピクチャは現在復元中のピクチャと同じであり得る。MVは、2つの次元XおよびY、または3つの次元を有することができ、3番目の次元は、使用中の参照ピクチャの指示である（後者は、間接的に時間次元であり得る）。
【0019】
いくつかのビデオ圧縮技法では、サンプルデータの特定の領域に適用可能なMVは、他のMVから、例えば、復元中の領域に空間的に隣接し、デコーディング順序でそのMVに先行するサンプルデータの別の領域に関連するMVから予測することができる。そうすることで、MVをコーディングするのに必要なデータの量を大幅に削減し得、その結果、冗長性が排除され、圧縮が増加する。例えば、カメラから引き出された入力ビデオ信号（自然ビデオとして知られている）をコーディングするとき、単一のMVが適用可能な領域よりも大きい領域が同様の方向に移動し、したがって、場合によっては、隣接する領域のMVから導出された同様のMVを使用して予測され得る統計的尤度があるため、MV予測は効果的に機能し得る。これにより、所与の領域に関して見つけられたMVは、周囲のMVから予測されたMVと同様であるかまたは同じになり、その結果として、エントロピーコーディング後に、MVを直接コーディングする場合に使用されるのよりも少ないビット数で表され得る。場合によっては、MV予測は、原信号（すなわち、サンプルストリーム）から導出された信号（すなわち、MV）の可逆圧縮の一例であり得る。他の場合には、例えば、いくつかの周囲のMVから予測子を計算するときの丸め誤差のために、MV予測自体は非可逆であり得る。
【0020】
様々なMV予測メカニズムが、H．265／HEVC（ITU－T Rec．H．265、「High Efficiency Video Coding」、2016年12月）に記載されている。H．265が提供する多くのMV予測メカニズムのうち、以後「空間マージ」と呼ばれる技術が、本明細書で説明される。
【0021】
図1Cを参照すると、現在のブロック（111）は、空間的にシフトされた同じサイズの前のブロックから予測可能である、動き探索プロセス中にエンコーダによって見つけられたサンプルを含み得る。そのMVを直接コーディングする代わりに、MVは、A0、A1およびB0、B1、B2（それぞれ112から116）で表されている5つの周囲サンプルのいずれか1つに関連付けられたMVを使用して、1つ以上の参照ピクチャに関連付けられたメタデータから、例えば（デコーディング順序で）最新の参照ピクチャから導出され得る。H．265では、MV予測は、隣接するブロックが使用しているのと同じ参照ピクチャからの予測子を使用し得る。
【発明の概要】
【課題を解決するための手段】
【0022】
本開示の態様は、ビデオエンコーディング／デコーディングのための装置を提供する。装置は、ビデオビットストリーム内の現在のピクチャの一部である現在のブロックの予測情報をデコーディングする処理回路を含む。予測情報は、現在のブロックに対する参照ブロックを示す。処理回路は、現在のブロックの隣接する再構成されたサンプルおよび現在のブロックの隣接する再構成されたサンプルと同じ場所に位置する参照ブロックの隣接する再構成されたサンプルに基づいて、フィルタ演算のフィルタ係数を生成する。フィルタ演算は、現在のピクチャに対する1つ以上の局所的変化を補償する。1つ以上の局所的変化は、照明の変化および動きぼけのうちの1つを含む。処理回路は、現在のブロックの参照ブロックに対して実行されているフィルタ演算に基づいて現在のブロックに対する予測ブロックを決定する。処理回路は、現在のブロックの予測ブロックに基づいて現在のブロックを再構成する。
【0023】
一実施形態では、フィルタ演算は、1次元有限インパルス応答（FIR）フィルタおよび2次元FIRフィルタのうちの一方を含む。
【0024】
一実施形態では、処理回路は、現在のブロックの上方の隣接する再構成されたサンプルの1つ以上の行と、参照ブロックの上方の隣接する再構成されたサンプルの1つ以上の行とに基づいて、第1の複数のフィルタ係数を生成する。
【0025】
一実施形態では、処理回路は、（i）現在のブロックの上方の隣接する再構成されたサンプルの1つ以上の行が利用可能であること、および（ii）現在のブロックの幅が閾値よりも大きいことに基づいて、第1の複数のフィルタ係数を生成する。
【0026】
一実施形態では、処理回路は、現在のブロックの左方の隣接する再構成されたサンプルの1つ以上の列と、参照ブロックの左方の隣接する再構成されたサンプルの1つ以上の列とに基づいて、第2の複数のフィルタ係数を生成する。
【0027】
一実施形態では、処理回路は、（i）現在のブロックの左方の隣接する再構成されたサンプルの1つ以上の列が利用可能であること、および（ii）現在のブロックの高さが閾値よりも大きいことに基づいて、第2の複数のフィルタ係数を生成する。
【0028】
一実施形態では、処理回路は、現在のブロックの参照ブロック内の同じ場所に位置する参照サンプルおよび同じ場所に位置する参照サンプルの隣接するサンプルに基づいて、現在のブロックのサンプルの予測サンプルを決定する。
【0029】
一実施形態では、処理回路は、同じ場所に位置する参照サンプルおよび同じ場所に位置する参照サンプルの隣接するサンプルの各々に、フィルタ演算のそれぞれのフィルタ係数を乗算することによって、複数のフィルタ参照サンプルを決定する。処理回路は、フィルタ演算の結果として複数のフィルタリングされた参照サンプルの和を決定する。処理回路は、フィルタ演算の結果とオフセットとの和に基づいて現在のブロックのサンプルの予測サンプルを決定する。
【0030】
一実施形態では、フィルタ係数およびオフセットの各々は、2つの整数の比として表される。
【0031】
一実施形態では、各比の分母は、2の累乗である。
【0032】
本開示の態様は、ビデオエンコーディング／デコーディングのための方法を提供する。方法は、ビデオエンコーディング／デコーディングのために装置によって実行される処理のいずれか1つまたは組み合わせを実行することができる。本方法では、ビデオビットストリーム内の現在のピクチャの一部である現在のブロックの予測情報がデコーディングされる。予測情報は、現在のブロックに対する参照ブロックを示す。フィルタ演算のフィルタ係数は、現在のブロックの隣接する再構成されたサンプルおよび現在のブロックの隣接する再構成されたサンプルと同じ場所に位置する参照ブロックの隣接する再構成されたサンプルに基づいて生成される。フィルタ演算は、現在のピクチャに対する1つ以上の局所的変化を補償する。1つ以上の局所的変化は、照明の変化および動きぼけのうちの1つを含む。予測ブロックは、現在のブロックの参照ブロックに対して実行されているフィルタ演算に基づいて現在のブロックに対して決定される。現在のブロックは、現在のブロックの予測ブロックに基づいて再構成される。
【0033】
本開示の態様はまた、少なくとも1つのプロセッサによって実行されるときに、少なくとも1つのプロセッサに、ビデオエンコーディング／デコーディングのための方法の任意の1つまたは組み合わせを実行させる命令を記憶する非一時的コンピュータ可読媒体を提供する。
【0034】
開示されている主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになる。
【図面の簡単な説明】
【0035】
【図1A】イントラ予測モードの例示的なサブセットの概略図である。
【図1B】例示的なイントラ予測方向の図である。
【図1C】一例における現在のブロックおよびその周囲の空間マージ候補の概略図である。
【図2】一実施形態による通信システムの簡略ブロック図の概略図である。
【図3】一実施形態による通信システムの簡略ブロック図の概略図である。
【図4】一実施形態によるデコーダの簡略ブロック図の概略図である。
【図5】一実施形態によるエンコーダの簡略ブロック図の概略図である。
【図6】別の実施形態によるエンコーダのブロック図を示す。
【図7】別の実施形態によるデコーダのブロック図を示す。
【図8】本開示の一実施形態による、現在のブロックと現在のブロックの動きベクトルによって示されたその参照ブロックとを含む例示的な時間予測を示す。
【図9】本開示の一実施形態による、そのテンプレートを有する現在のブロックおよびそのテンプレートを有する参照ブロックを示す図である。
【図10】本開示の一実施形態による、現在のブロックの例示的なテンプレートおよび現在のブロックの参照ブロックの例示的なテンプレートを示す図である。
【図11】本開示の一実施形態による、現在のブロックの例示的な拡大テンプレートおよび参照ブロックの例示的な拡大テンプレートを示す図である。
【図12】本開示の一実施形態による、現在のブロックの別の例示的な拡大テンプレートおよび参照ブロックの別の例示的な拡大テンプレートを示す図である。
【図13】一実施形態による例示的なフローチャートを示す図である。
【図14】一実施形態によるコンピュータシステムの概略図である。
【発明を実施するための形態】
【0036】
I．ビデオデコーダおよびエンコーダシステム
図2は、本開示の一実施形態による通信システム（200）の簡略ブロック図を示す。通信システム（200）は、例えばネットワーク（250）を介して互いに通信し得る複数の端末デバイスを含む。例えば、通信システム（200）は、ネットワーク（250）を介して相互接続された端末デバイス（210）および（220）の第1の対を含む。図2の例において、端末デバイス（210）および（220）の第1の対は、データの単方向送信を実行する。例えば、端末デバイス（210）は、ネットワーク（250）を介して他の端末デバイス（220）に送信するためにビデオデータ（例えば、端末デバイス（210）によって捕捉されるビデオピクチャのストリーム）をコーディングし得る。エンコーディングされたビデオデータは、1つ以上のコーディングされたビデオビットストリームの形式で送信され得る。端末デバイス（220）は、ネットワーク（250）からコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示し得る。単方向データ送信は、メディアサービングアプリケーションなどにおいて一般的であり得る。
図2は、本開示の一実施形態による通信システム（200）の簡略ブロック図を示す。通信システム（200）は、例えばネットワーク（250）を介して互いに通信し得る複数の端末デバイスを含む。例えば、通信システム（200）は、ネットワーク（250）を介して相互接続された端末デバイス（210）および（220）の第1の対を含む。図2の例において、端末デバイス（210）および（220）の第1の対は、データの単方向送信を実行する。例えば、端末デバイス（210）は、ネットワーク（250）を介して他の端末デバイス（220）に送信するためにビデオデータ（例えば、端末デバイス（210）によって捕捉されるビデオピクチャのストリーム）をコーディングし得る。エンコーディングされたビデオデータは、1つ以上のコーディングされたビデオビットストリームの形式で送信され得る。端末デバイス（220）は、ネットワーク（250）からコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示し得る。単方向データ送信は、メディアサービングアプリケーションなどにおいて一般的であり得る。
【0037】
他の例において、通信システム（200）は、例えばビデオ会議中に行われ得るコーディングされたビデオデータの双方向送信を実行する端末デバイス（230）および（240）の第2の対を含む。データの双方向送信のために、一例では、端末デバイス（230）および（240）の各端末デバイスは、ネットワーク（250）を介して端末デバイス（230）および（240）の他方の端末デバイスに送信するためにビデオデータ（例えば、端末デバイスによって捕捉されるビデオピクチャのストリーム）をコーディングし得る。また、端末デバイス（230）および（240）の各端末デバイスは、端末デバイス（230）および（240）の他方の端末デバイスによって送信されるコーディングされたビデオデータも受信することができ、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元することができるとともに、復元されたビデオデータに従ってアクセス可能な表示デバイスにビデオピクチャ表示できる。
【0038】
図2の例において、端末デバイス（210）、（220）、（230）および（240）は、サーバ、パーソナルコンピュータ、および、スマートフォンとして示され得るが、本開示の原理はそのように限定され得ない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、および／または、専用ビデオ会議機器を伴う用途を見出す。ネットワーク（250）は、例えば有線（ワイヤード）および／または無線通信ネットワークを含む、端末デバイス（210）、（220）、（230）および（240）間でコーディングされたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（250）は、回路交換チャネルおよび／またはパケット交換チャネルでデータを交換し得る。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、および／または、インターネットを含む。本議論の目的のために、ネットワーク（250）のアーキテクチャおよびトポロジは、本明細書で以下に説明されない限り、本開示の動作にとって重要ではあり得ない。
【0039】
図3は、開示された主題の用途の一例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示す。開示されている主題は、例えばビデオ会議、デジタルTV、CD、DVD、およびメモリスティックなどを含むデジタル媒体への圧縮ビデオの記憶を含む、他のビデオ対応用途にも等しく適用可能であり得る。
【0040】
ストリーミングシステムは、例えば非圧縮のビデオピクチャのストリーム（302）を作成するビデオソース（301）、例えばデジタルカメラを含み得るキャプチャサブシステム（313）を含み得る。一例では、ビデオピクチャのストリーム（302）は、デジタルカメラによって撮られたサンプルを含む。エンコーディングされたビデオデータ（304）（またはコーディングされたビデオビットストリーム）と比較して高いデータ量を強調するために太線として示されるビデオピクチャのストリーム（302）は、ビデオソース（301）に結合されるビデオエンコーダ（303）を含む電子デバイス（320）によって処理され得る。ビデオエンコーダ（303）は、以下でより詳細に説明されるように、開示される主題の態様を可能にするまたは実施するためにハードウェア、ソフトウェア、または、これらの組み合わせを含み得る。エンコーディングされたビデオデータ（304）（またはエンコーディングされたビデオビットストリーム（304））は、ビデオピクチャのストリーム（302）と比較してより低いデータ量を強調するために細い線として示されており、将来の使用のためにストリーミングサーバ（305）に記憶され得る。図3のクライアントサブシステム（306）および（308）などの1つ以上のストリーミングクライアントサブシステムは、エンコーディングされたビデオデータ（304）のコピー（307）および（309）を検索するためにストリーミングサーバ（305）にアクセスし得る。クライアントサブシステム（306）は、例えば電子デバイス（330）内にビデオデコーダ（310）を含み得る。ビデオデコーダ（310）は、エンコーディングされたビデオデータの入力コピー（307）をデコーディングし、ディスプレイ（312）（例えば、表示スクリーン）または他のレンダリングデバイス（図示せず）上にレンダリングされ得るビデオピクチャの出力ストリーム（311）を作成する。一部のストリーミングシステムにおいて、エンコーディングされたビデオデータ（304）、（307）および（309）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従ってエンコーディングされ得る。それらの規格の例は、ITU－T勧告H．265を含む。一例では、開発中のビデオコーディング規格は、非公式に多用
途ビデオコーディング（VVC）として知られている。開示内容は、VVCの関連で使用され得る。
途ビデオコーディング（VVC）として知られている。開示内容は、VVCの関連で使用され得る。
【0041】
電子デバイス（320）および（330）は、他の構成要素（図示せず）を含み得ることに留意されたい。例えば、電子デバイス（320）はビデオデコーダ（図示せず）を含むことができ、また、電子デバイス（330）はビデオエンコーダ（図示せず）も含み得る。
【0042】
図4は、本開示の一実施形態によるビデオデコーダ（410）のブロック図を示す。ビデオデコーダ（410）は、電子デバイス（430）に含まれ得る。電子デバイス（430）は、受信機（431）（例えば、受信回路）を含み得る。ビデオデコーダ（410）は、図3の例のビデオデコーダ（310）の代わりに使用され得る。
【0043】
受信機（431）は、ビデオデコーダ（410）によってデコーディングされるべき1つ以上のコーディングされたビデオシーケンスを受信し得、同じまたは別の実施形態では、一度に1つのコーディングされたビデオシーケンスを受信し得、その場合、各コーディングされたビデオシーケンスのデコーディングは、他のコーディングされたビデオシーケンスから独立している。コーディングされたビデオシーケンスは、チャネル（401）から受信され得、チャネル（401）は、エンコーディングされたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであり得る。受信機（431）は、それぞれの使用エンティティ（図示せず）に転送され得る、他のデータ、例えばコーディングされたオーディオデータストリームおよび／または補助データストリームと共に、エンコーディングされたビデオデータを受信することができる。受信機（431）は、コーディングされたビデオシーケンスを他のデータから分離し得る。ネットワークジッタに対抗するために、バッファメモリ（415）が、受信機（431）とエントロピーデコーダ／パーサ（420）（以下「パーサ（420）」）との間に結合され得る。特定の用途では、バッファメモリ（415）がビデオデコーダ（410）の一部である。他の用途では、バッファメモリがビデオデコーダ（410）の外部にあり得る（図示せず）。さらに他の用途では、例えばネットワークジッタに対抗するためにビデオデコーダ（410）の外部にバッファメモリ（図示せず）が存在し、加えて、例えばプレイアウトタイミングを処理するためにビデオデコーダ（410）の内部に他のバッファメモリ（415）が存在し得る。受信機（431）が十分な帯域幅および制御性を有する記憶／転送デバイスからまたはアイソシンクロナスネットワークからデータを受信している場合、バッファメモリ（415）は必要ない場合があるまたは小さくされ得る。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファメモリ（415）は、必要とされる場合があり、比較的大きくされ得る、好適には適応サイズにされ得るとともに、ビデオデコーダ（410）の外部のオペレーティングシステムまたは同様の要素（図示せず）に少なくとも部分的に実装されてもよい。
【0044】
ビデオデコーダ（410）は、コーディングされたビデオシーケンスからシンボル（421）を再構成するためのパーサ（420）を含み得る。これらのシンボルのカテゴリは、ビデオデコーダ（410）の動作を管理するために使用される情報と、場合によっては、図4に示されているように、電子デバイス（430）の不可欠な部分ではないが電子デバイス（430）に結合され得るレンダデバイス（412）などのレンダリングデバイス（例えば、表示スクリーン）を制御するための情報とを含む。レンダリングデバイスに関する制御情報は、補足拡張情報（SEI（Supplemental Enhancement Information）メッセージ）またはビデオユーザビリティ情報（VUI：Video Usability Information）パラメータセットフラグメント（図示せず）の形式であってもよい。パーサ（420）は、受信されるコーディングされたビデオシーケンスを解析／エントロピーデコーディングし得る。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術または規格に準拠することができるとともに、可変長コーディング、ハフマンコーディング、および、文脈依存性を伴うまたは伴わない算術コーディングなどを含む様々な原理に従い得る。パーサ（420）は、コーディングされたビデオシーケンスから、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも1つに関するサブグループパラメータのセットを、そのグループに対応する少なくとも1つのパラメータに基づいて抽出し得る。サブグループは、ピクチャグループ（GOP）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（CU）、ブロック、変換ユニット（TU）、予測ユニット（PU）などを含むことができる。パーサ（420）はまた、変換係数、量子化器パラメータ値、およびMVなどのコーディングされたビデオシーケンス情報から抽出し得る。
【0045】
パーサ（420）は、シンボル（421）を作成するために、バッファメモリ（415）から受信されるビデオシーケンスに対してエントロピーデコーディング／解析動作を実行し得る。
【0046】
シンボル（421）の再構成は、コーディングされたビデオピクチャまたはその一部分のタイプ（インターピクチャおよびイントラピクチャ、インターブロックおよびイントラブロックなど）ならびに他の要因に応じて複数の異なるユニットを関与させることができる。どのユニットをどのように関与させるかは、パーサ（420）によってコーディングされたビデオシーケンスから解析されたサブグループ制御情報によって制御され得る。パーサ（420）と以下の複数のユニットとの間のそのようなサブグループ制御情報のフローは、明確にするために示されていない。
【0047】
既に言及された機能ブロックのほかに、ビデオデコーダ（410）は、以下で説明されるように概念的にいくつかの機能ユニットに細分され得る。商業的な制約の下で動作する実際の実施態様では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合され得る。しかしながら、開示内容を説明することを目的として、概念上は、以下の機能ユニットへの細分化が適切である。
【0048】
最初のユニットは、スケーラ／逆変換ユニット（451）である。スケーラ／逆変換ユニット（451）は、量子化された変換係数と、使用する変換、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報とをパーサ（420）からシンボル（421）として受信する。スケーラ／逆変換ユニット（451）は、アグリゲータ（455）に入力され得るサンプル値を含むブロックを出力し得る。
【0049】
場合によっては、スケーラ／逆変換（451）の出力サンプルは、イントラコーディングされたブロック、すなわち、既に再構成されたピクチャからの予測情報を使用していないが現在のピクチャの既に再構成された部分からの予測情報を使用し得るブロックに関連し得る。そのような予測情報は、イントラピクチャ予測ユニット（452）によって与えられ得る。場合によっては、イントラピクチャ予測ユニット（452）は、現在のピクチャバッファ（458）からフェッチされた周辺の既に再構成された情報を使用して、再構成中のブロックと同じサイズおよび形状のブロックを生成する。現在のピクチャバッファ（458）は、例えば、部分的に再構築された現在のピクチャおよび／または完全に再構築された現在のピクチャをバッファリングする。アグリゲータ（455）は、場合によっては、サンプルごとに、イントラ予測ユニット（452）が生成した予測情報を、スケーラ／逆変換ユニット（451）によって提供される出力サンプル情報に追加する。
【0050】
他の場合には、スケーラ／逆変換ユニット（451）の出力サンプルは、インターコーディングされた、場合によっては動き補償されたブロックに関連し得る。そのような場合、動き補償予測ユニット（453）は、予測のために使用されるサンプルをフェッチするために参照ピクチャメモリ（457）にアクセスし得る。ブロックに関係するシンボル（421）に従って、フェッチされたサンプルを動き補償した後、これらのサンプル（この場合、残差サンプルまたは残差信号と呼ばれる）は、出力サンプル情報を生成するために、アグリゲータ（455）によってスケーラ／逆変換ユニット（451）の出力に追加され得る。動き補償予測ユニット（453）が予測サンプルをフェッチする参照ピクチャメモリ（457）内のアドレスは、例えばX、Y、および参照ピクチャ成分を有し得るシンボル（421）の形式で動き補償予測ユニット（453）に利用可能なMVによって制御され得る。動き補償はまた、サブサンプルの正確なMVが使用されているときに参照ピクチャメモリ（457）からフェッチされたサンプル値の補間、およびMV予測メカニズムなどを含み得る。
【0051】
アグリゲータ（455）の出力サンプルは、ループフィルタユニット（456）で様々なループフィルタリング技術にさらされ得る。ビデオ圧縮技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサ（420）からのシンボル（421）としてループフィルタユニット（456）に利用可能になるインループフィルタ技術を含むことができるが、コーディングされたピクチャまたはコーディングされたビデオシーケンスの前の（デコーディング順の）部分のデコーディング中に取得されたメタ情報に応答することもできるほか、以前に再構築およびループフィルタリングされたサンプル値に応答することもできる。
【0052】
ループフィルタユニット（456）の出力は、レンダデバイス（412）に出力され得るとともに将来のインターピクチャ予測で使用するために参照ピクチャメモリ（457）に記憶され得るサンプルストリームとなり得る。
【0053】
特定のコーディングされたピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用することができる。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えば、パーサ（420）によって）参照ピクチャとして識別された時点で、現在のピクチャバッファ（458）は参照ピクチャメモリ（457）の一部となることができ、また、新たな現在のピクチャバッファが、後続のコーディングされたピクチャの再構成を開始する前に再割り当てされ得る。
【0054】
ビデオデコーダ（410）は、ITU－T Rec．H．265などの規格における所定のビデオ圧縮技術に従ってデコーディング動作を実行することができる。コーディングされたビデオシーケンスがビデオ圧縮技術または規格の構文とビデオ圧縮技術において文書化されたプロファイルの両方を順守するという意味で、コーディングされたビデオシーケンスは、使用されているビデオ圧縮技術または規格によって指定された構文に準拠することができる。具体的には、プロファイルは、ビデオ圧縮技術または規格で使用可能なすべてのツールから、そのプロファイル下で使用するために利用可能な唯一のツールとしていくつかのツールを選択することができる。また、準拠するために必要なことは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術または規格のレベルによって定義された範囲内にあることであり得る。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば毎秒メガサンプルで測定される）、最大参照ピクチャサイズなどを制限する。レベルによって設定される制限は、場合によっては、仮想参照デコーダ（HRD）の仕様、およびコーディングされたビデオシーケンス内でシグナリングされるHRDバッファ管理用のメタデータによってさらに制限され得る。
【0055】
一実施形態では、受信機（431）は、エンコーディングされたビデオと共に追加の（冗長な）データを受信し得る。さらなるデータは、コーディングされたビデオシーケンスの一部として含まれ得る。さらなるデータは、データを適切にデコーディングするためにおよび／または元のビデオデータをより正確に再構成するためにビデオデコーダ（410）によって使用され得る。追加のデータは、例えば、時間、空間、または信号ノイズ比（SNR）の拡張層、冗長スライス、冗長ピクチャ、順方向誤り訂正コードなどの形式であり得る。
【0056】
図5は、本開示の一実施形態によるビデオエンコーダ（503）のブロック図を示す。ビデオエンコーダ（503）は電子デバイス（520）に含まれる。電子デバイス（520）は送信機（540）（例えば、送信回路）を含む。ビデオエンコーダ（503）は、図3の例のビデオエンコーダ（303）の代わりに使用され得る。
【0057】
ビデオエンコーダ（503）は、ビデオエンコーダ（503）によってコーディングされるべきビデオ画像を捕捉し得るビデオソース（501）（図5の例では電子デバイス（520）の一部ではない）からビデオサンプルを受信し得る。他の例では、ビデオソース（501）が電子デバイス（520）の一部である。
【0058】
ビデオソース（501）は、任意の適切なビット深度（例えば、8ビット、10ビット、12ビット、…）、任意の色空間（例えば、BT．601 Y CrCB、RGB、…）、および、任意の適切なサンプリング構造（例えば、Y CrCb 4：2：0、Y CrCb 4：4：4）となり得るデジタルビデオサンプルストリームの形式でビデオエンコーダ（503）によってコーディングされるべきソースビデオシーケンスを与え得る。メディアサービングシステムでは、ビデオソース（501）が既に準備されたビデオを記憶する記憶デバイスであってもよい。ビデオ会議システムにおいて、ビデオソース（501）は、ローカル画像情報をビデオシーケンスとして捕捉するカメラであってもよい。ビデオデータは、順番に見られたときに動きを伝える複数の個々のピクチャとして提供され得る。ピクチャ自体は、ピクセルの空間的配列として編成され得、各ピクセルは、使用中のサンプリング構造、色空間などに応じて1つ以上のサンプルを含むことができる。当業者であれば、ピクセルとサンプルとの関係を容易に理解することができる。以下、サンプルに着目して説明する。
【0059】
一実施形態によれば、ビデオエンコーダ（503）は、用途により必要に応じて、リアルタイムでまたは任意の他の時間的制約下で、ソースビデオシーケンスのピクチャをコーディングしてコーディングされたビデオシーケンス（543）に圧縮し得る。適切なコーディング速度を実施することは、コントローラ（550）の1つの機能である。いくつかの実施形態では、コントローラ（550）は、以下に記載される他の機能ユニットを制御し、他の機能ユニットに機能的に結合されている。明確にするために、結合は示されていない。コントローラ（550）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、…）、ピクチャサイズ、ピクチャグループ（GOP）レイアウト、および最大MV許容参照領域などを含み得る。コントローラ（550）は、特定のシステム設計のために最適化されたビデオエンコーダ（503）に関連する他の適切な機能を有するように構成され得る。
【0060】
いくつかの実施形態では、ビデオエンコーダ（503）は、コーディングループで動作するように構成される。過度に簡略化された説明として、一例では、コーディングループは、ソースコーダ（530）（例えば、コーディングされるべき入力ピクチャと参照ピクチャとに基づいて、シンボルストリームなどのシンボルを作成することに関与する）と、ビデオエンコーダ（503）に組み込まれた（ローカル）デコーダ（533）とを含み得る。デコーダ（533）は、（リモート）デコーダも作成するのと同様の態様で（開示された主題で考慮されるビデオ圧縮技術においてシンボルとコーディングされたビデオビットストリームとの間の任意の圧縮が可逆的であるとき）サンプルデータを作成するためにシンボルを再構成する。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（534）に入力される。シンボルストリームのデコーディングは、デコーダの場所（ローカルまたはリモート）に関係なくビットイグザクトな結果をもたらすため、参照ピクチャメモリ（534）の内容もローカルエンコーダとリモートエンコーダとの間でビットイグザクトである。言い換えると、エンコーダの予測部分は、デコーディング中に予測を使用するときにデコーダが「見る」のとまったく同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャの同期性（および、例えば、チャネルエラーのために同期性が維持できない場合に結果として生じるドリフト）のこの基本原理は、いくつかの関連技術でも使用される。
【0061】
「ローカル」デコーダ（533）の動作は、図4に関連して上記で既に詳細に説明された、ビデオデコーダ（410）などの「リモート」デコーダの動作と同じであり得る。しかしながら、図4も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（545）およびパーサ（420）によるシンボルの、コーディングされたビデオシーケンスへのエンコーディング／コーディングされたビデオシーケンスからのデコーディングが可逆的であり得るため、バッファメモリ（415）およびパーサ（420）を含む、ビデオデコーダ（410）のエントロピーデコーディング部分は、ローカルデコーダ（533）では完全に実施されなくてもよい。
【0062】
この時点でなされ得る観測は、デコーダ内に存在する構文解析／エントロピーデコーディングを除く任意のデコーダ技術もまた、対応するエンコーダ内に実質的に同一の機能形態で存在する必要があるということである。このため、開示される主題はデコーダの動作に焦点を当てる。エンコーダ技術の説明は、包括的に記載されたデコーダ技術の逆であるため、省略することができる。特定の領域においてのみ、より詳細な説明が必要とされ、以下に提供される。
【0063】
動作中、一部の例では、ソースコーダ（530）は、「参照ピクチャ」として指定された、ビデオシーケンスからの1つ以上の以前にコーディングされたピクチャを参照して入力ピクチャを予測的にコーディングする動き補償予測コーディングを実行し得る。このようにして、コーディングエンジン（532）は、入力ピクチャのピクセルブロックと、入力ピクチャに対する予測参照として選択され得る参照ピクチャのピクセルブロックとの間の差をコーディングする。
【0064】
ローカルビデオデコーダ（533）は、ソースコーダ（530）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータをデコーディングし得る。コーディングエンジン（532）の動作は、好適には非可逆プロセスであり得る。コーディングされたビデオデータがビデオデコーダ（図5には示されていない）でデコーディングされ得るとき、再構築されたビデオシーケンスは通常、いくらかの誤差を有するソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（533）は、参照ピクチャに対してビデオデコーダによって実行され得るデコーディングプロセスを複製し、再構築された参照ピクチャを参照ピクチャキャッシュ（534）に記憶させ得る。このようにして、ビデオエンコーダ（503）は、（送信エラーがなければ）遠端ビデオデコーダによって取得される再構成された参照ピクチャと共通の内容を有する再構成された参照ピクチャのコピーをローカルに記憶し得る。
【0065】
予測子（535）は、コーディングエンジン（532）のための予測検索を実行し得る。すなわち、コーディングされるべき新しいピクチャに関して、予測子（535）は、新しいピクチャのための適切な予測参照として機能し得るサンプルデータ（候補参照ピクセルブロックとしての）、または参照ピクチャMVおよびブロック形状などの特定のメタデータに関して参照ピクチャメモリ（534）を検索し得る。予測子（535）は、適切な予測参照を見つけるために、サンプルブロック・ピクセルブロックごとに（on a sample block－by－pixel block basis）動作し得る。場合によっては、予測子（535）によって取得される検索結果により決定されるように、入力ピクチャは、参照ピクチャメモリ（534）に記憶された複数の参照ピクチャの中から引き出される予測参照を有し得る。
【0066】
コントローラ（550）は、例えば、ビデオデータをエンコーディングするために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（530）のコーディング動作を管理し得る。
【0067】
前述のすべての機能ユニットの出力は、エントロピーコーダ（545）でエントロピーコーディングにさらされ得る。エントロピーコーダ（545）は、ハフマンコーディング、可変長コーディング、および、算術コーディングなどの技術に従ってシンボルを可逆圧縮することによって、様々な機能ユニットによって生成されたシンボルをコーディングされたビデオシーケンスに変換する。
【0068】
送信機（540）は、エンコーディングされたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであり得る通信チャネル（560）を介した送信を準備するために、エントロピーコーダ（545）によって作成されたコーディングされたビデオシーケンスをバッファリングし得る。送信機（540）は、ビデオコーダ（503）からのコーディングされたビデオデータと、送信されるべき他のデータ、例えばコーディングされたオーディオデータストリームおよび／または補助データストリーム（ソースは図示せず）とをマージし得る。
【0069】
コントローラ（550）は、ビデオエンコーダ（503）の動作を管理し得る。コーディング中、コントローラ（550）は、特定のコーディングされたピクチャのタイプを各コーディングされたピクチャに割り当ててもよく、このピクチャのタイプは、それぞれのピクチャに適用され得るコーディング技術に影響を及ぼし得る。例えば、ピクチャは、以下のピクチャタイプのうちの1つとして割り当てられることが多い。
【0070】
イントラピクチャ（Iピクチャ）は、予測のソースとしてシーケンス内の他のピクチャを使用せずにコーディングおよびデコーディングされ得るものであり得る。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（「IDR」）ピクチャを含む、様々なタイプのイントラピクチャを可能にする。当業者は、Iピクチャの変形、ならびに、それらのそれぞれの用途および機能を認識している。
【0071】
予測ピクチャ（Pピクチャ）は、各ブロックのサンプル値を予測するために最大で1つのMVおよび参照インデックスを使用するイントラ予測またはインター予測を使用してコーディングおよびデコーディングされ得るものであり得る。
【0072】
双方向予測ピクチャ（Bピクチャ）は、各ブロックのサンプル値を予測するために最大で2つのMVおよび参照インデックスを使用するイントラ予測またはインター予測を使用してコーディングおよびデコーディングされ得るものであり得る。同様に、複数の予測ピクチャは、単一のブロックの再構成のために3つ以上の参照ピクチャおよび関連メタデータを使用することができる。
【0073】
ソースピクチャは、一般的には、複数のサンプルブロック（例えば、4×4、8×8、4×8、または16×16のサンプルそれぞれのブロック）に空間的に細分され、ブロックごとにコーディングされ得る。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割当てによって決定されるように、他の（既にコーディングされた）ブロックを参照して予測的にコーディングされてもよい。例えば、Iピクチャのブロックは、非予測的にコーディングされてもよいか、またはそれらは、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測もしくはイントラ予測）。Pピクチャのピクセルブロックは、1つの以前にコーディングされた参照ピクチャを参照して、空間予測を介してまたは時間予測を介して予測的にコーディングされてもよい。Bピクチャのブロックは、1つまたは2つの以前にコーディングされた参照ピクチャを参照して、空間予測を介して、または時間予測を介して、予測的にコーディングされ得る。
【0074】
ビデオエンコーダ（503）は、ITU－T Rec．H．265などの所定のビデオコーディング技術または規格に従ってコーディング動作を実行することができる。その動作において、ビデオエンコーダ（503）は、入力ビデオシーケンスの時間的および空間的冗長性を利用する予測コーディング動作を含む様々な圧縮動作を実行し得る。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術または規格によって指定された構文に準拠することができる。
【0075】
一実施形態では、送信機（540）は、エンコーディングされたビデオと共に追加のデータを送信し得る。ソースコーダ（530）は、そのようなデータをコーディングされたビデオシーケンスの一部として含み得る。追加データは、時間／空間／SNR強化レイヤ、冗長ピクチャおよびスライスなどの他の形態の冗長データ、SEIメッセージ、VUIパラメータセット断片などを、含み得る。
【0076】
ビデオは、時系列で複数のソースピクチャ（ビデオピクチャ）として取り込まれてもよい。（しばしば、イントラ予測と省略される）イントラピクチャ予測は、所与のピクチャ内の空間の相関関係を利用し、インターピクチャ予測は、ピクチャ間の（時間または他の）相関関係を利用する。一例では、現在のピクチャと呼ばれるエンコーディング／デコーディング中の特定のピクチャはブロックに分割される。現在のピクチャ内のブロックが、ビデオ内の以前にコーディングされ、まだバッファリングされている参照ピクチャ内の参照ブロックと同様である場合、現在のピクチャ内のブロックは、MVと呼ばれるベクトルによってコーディングされ得る。MVは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第3の次元を有し得る。
【0077】
いくつかの実施形態では、インターピクチャ予測に、双予測技術を使用し得る。双予測技術によれば、両方ともデコーディング順序でビデオ内で現在のピクチャより前にある（が、表示順でそれぞれ過去および未来のものであってもよい）第1の参照ピクチャおよび第2の参照ピクチャなどの2つの参照ピクチャが使用される。現在のピクチャ内のブロックは、第1の参照ピクチャ内の第1の参照ブロックを指す第1のMVと、第2の参照ピクチャ内の第2の参照ブロックを指す第2のMVとによってコーディングされ得る。ブロックは、第1の参照ブロックと第2の参照ブロックの組み合わせによって予測することができる。
【0078】
さらに、コーディング効率を改善するために、インターピクチャ予測においてマージモード技法を使用することができる。
【0079】
本開示のいくつかの実施形態によれば、インターピクチャ予測およびイントラピクチャ予測などの予測は、ブロック単位で実行される。例えば、HEVC規格によれば、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（CTU）に分割され、ピクチャ内のCTUは、64×64ピクセル、32×32ピクセル、または16×16ピクセルなどの同じサイズを有する。一般に、CTUは、1つのルマCTBおよび2つのクロマCTBである3つのコーディングツリーブロック（CTB：coding tree block）を含む。各CTUは、1つまたは複数のコーディングユニット（CU：coding unit）に再帰的に四分木分割され得る。例えば、64×64ピクセルのCTUは、64×64ピクセルの1つのCU、または32×32ピクセルの4つのCU、または16×16ピクセルの16個のCUに分割され得る。一例では、インター予測タイプまたはイントラ予測タイプなどのCUの予測タイプを決定するために、各CUが分析される。CUは、時間および／または空間の予測可能性に応じて、1つ以上の予測ユニット（PU）に分割される。一般に、各PUは、1つの輝度予測ブロック（PB）および2つの彩度PBを含む。一実施形態では、コーディング（エンコーディング／デコーディング）における予測動作は、予測ブロックの単位で実行される。予測ブロックの一例として輝度予測ブロックを使用すると、予測ブロックは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセルなどのピクセルの値（例えば、輝度値）の行列を含む。
【0080】
図6は、本開示の別の実施形態によるビデオエンコーダ（603）の図を示す。ビデオエンコーダ（603）は、ビデオピクチャのシーケンスにおける現在のビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックをコーディングされたビデオシーケンスの一部であるコーディングされたピクチャにエンコーディングするように構成される。一例において、ビデオエンコーダ（603）は、図3の例のビデオエンコーダ（303）の代わりに使用される。
【0081】
HEVCの例では、ビデオエンコーダ（603）は、8×8サンプルなどの予測ブロックなどの処理ブロックに関するサンプル値の行列を受信する。ビデオエンコーダ（603）は、処理ブロックが例えばレート歪み最適化を使用してイントラモード、インターモード、または、双予測モードのいずれを使用して最良にコーディングされるかどうかを決定する。処理ブロックがイントラモードでコーディングされるべき場合、ビデオエンコーダ（603）は、処理ブロックをコーディングされたピクチャにエンコーディングするために、イントラ予測技術を使用し得、処理ブロックがインターモードまたは双予測モードでコーディングされるべき場合、ビデオエンコーダ（603）は、処理ブロックをコーディングされたピクチャにエンコーディングするために、それぞれインター予測技術または双予測技術を使用し得る。特定のビデオコーディング技術では、マージモードはインターピクチャ予測サブモードであり得、MVは、予測子の外部のコーディングされたMV成分の恩恵なしに1つ以上のMV予測子から導出される。特定の他のビデオコーディング技術では、対象ブロックに適用可能なMV成分が存在し得る。一例において、ビデオエンコーダ（603）は、処理ブロックのモードを決定するためにモード決定モジュール（図示せず）などの他の構成要素を含む。
【0082】
図6の例において、ビデオエンコーダ（603）は、図6に示されるように互いに結合されるインターエンコーダ（630）、イントラエンコーダ（622）、残差計算器（623）、スイッチ（626）、残差エンコーダ（624）、汎用コントローラ（621）、および、エントロピーエンコーダ（625）を含む。
【0083】
インターエンコーダ（630）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、そのブロックと、参照ピクチャ内の1つ以上の参照ブロック（例えば、前のピクチャおよび後のピクチャ内のブロック）とを比較し、インター予測情報（例えば、インターエンコーディング技術、MV、マージモード情報による冗長情報の記述）を生成し、任意の適切な技術を使用してインター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成される。いくつかの例では、参照ピクチャは、エンコーディングされたビデオ情報に基づいてデコーディングされた、デコーディングされた参照ピクチャである。
【0084】
イントラエンコーダ（622）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては、そのブロックと、同じピクチャ内の既にコーディングされているブロックとを比較し、変換後に量子化係数を生成し、場合によっては、イントラ予測情報（例えば、1つ以上のイントラエンコーディング技術によるイントラ予測方向情報）も生成するように構成される。一例では、イントラエンコーダ（622）は、イントラ予測情報と、同じピクチャ内の参照ブロックとに基づいてイントラ予測結果（例えば、予測ブロック）も計算する。
【0085】
汎用コントローラ（621）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（603）の他の構成要素を制御するように構成される。一例において、汎用コントローラ（621）は、ブロックのモードを決定し、モードに基づいてスイッチ（626）に制御信号を与える。例えば、モードがイントラモードである場合、汎用コントローラ（621）は、残差計算器（623）によって使用するためのイントラモード結果を選択するべくスイッチ（626）を制御するとともに、イントラ予測情報を選択してイントラ予測情報をビットストリームに含めるようにエントロピーエンコーダ（625）を制御し、また、モードがインターモードである場合、汎用コントローラ（621）は、残差計算器（623）によって使用するためのインター予測結果を選択するべくスイッチ（626）を制御するとともに、インター予測情報を選択してインター予測情報をビットストリームに含めるようにエントロピーエンコーダ（625）を制御する。
【0086】
残差計算器（623）は、受信されたブロックとイントラエンコーダ（622）またはインターエンコーダ（630）から選択される予測結果との間の差分（残差データ）を計算する。残差エンコーダ（624）は、変換係数を生成するべく残差データをエンコーディングするために残差データに基づいて動作するように構成される。一例において、残差エンコーダ（624）は、残差データを空間領域から周波数領域に変換して、変換係数を生成するように構成される。変換係数は、その後、量子化された変換係数を取得するために量子化処理を受ける。様々な実施形態では、ビデオエンコーダ（603）が残差デコーダ（628）も含む。残差デコーダ（628）は、逆変換を実行して、デコーディングされた残差データを生成するように構成される。デコーディングされた残差データは、イントラエンコーダ（622）およびインターエンコーダ（630）によって適切に使用され得る。例えば、インターエンコーダ（630）は、デコーディングされた残差データとインター予測情報とに基づいてデコーディングされたブロックを生成することができ、また、イントラエンコーダ（622）は、デコーディングされた残差データとイントラ予測情報とに基づいてデコーディングされたブロックを生成することができる。デコーディングされたブロックは、デコーディングされたピクチャを生成するために適切に処理され、デコーディングされたピクチャは、メモリ回路（図示せず）にバッファリングされ、いくつかの例では参照ピクチャとして使用することができる。
【0087】
エントロピーエンコーダ（625）は、エンコーディングされたブロックを含むようにビットストリームをフォーマットするべく構成される。エントロピーエンコーダ（625）は、HEVCなどの適切な規格に従って様々な情報を含むように構成される。一例では、エントロピーエンコーダ（625）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、残差情報、および他の適切な情報をビットストリームに含めるように構成される。開示された主題によれば、インターモードまたは双予測モードのいずれかのマージサブモードでブロックをコーディングするときに残差情報が存在しないことに留意されたい。
【0088】
図7は、本開示の別の実施形態によるビデオデコーダ（710）の図を示す。ビデオデコーダ（710）は、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャを受信し、コーディングされたピクチャをデコーディングして再構成されたピクチャを生成するように構成される。一例において、ビデオデコーダ（710）は、図3の例のビデオデコーダ（310）の代わりに使用される。
【0089】
図7の例において、ビデオデコーダ（710）は、図7に示されるように互いに結合されるエントロピーデコーダ（771）、インターデコーダ（780）、残差デコーダ（773）、再構成モジュール（774）、および、イントラデコーダ（772）を含む。
【0090】
エントロピーデコーダ（771）は、コーディングされたピクチャから、コーディングされたピクチャを構成するシンタックス要素を表す特定のシンボルを再構成するように構成され得る。そのようなシンボルは、例えば、ブロックがコーディングされるモード（例えば、イントラモード、インターモード、双予測モードなど、後者の2つがマージサブモードまたは他のサブモードである）、イントラデコーダ（772）またはインターデコーダ（780）によってそれぞれ予測に使用される特定のサンプルまたはメタデータを識別し得る予測情報（例えば、イントラ予測情報またはインター予測情報など）、および、例えば量子化された変換係数の形式の残差情報などを含み得る。一例では、予測モードがインターモードまたは双予測モードである場合、インター予測情報がインターデコーダ（780）に提供され、また、予測タイプがイントラ予測タイプである場合、イントラ予測情報がイントラデコーダ（772）に提供される。残差情報は、逆量子化にさらされ得るとともに、残差デコーダ（773）に提供される。
【0091】
インターデコーダ（780）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。
【0092】
イントラデコーダ（772）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。
【0093】
残差デコーダ（773）は、逆量子化を実行して、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して残差を周波数領域から空間領域に変換するように構成される。また、残差デコーダ（773）は、（量子化器パラメータ（QP：Quantizer Parameter）を含むべく）特定の制御情報を必要としてもよく、また、その情報は、エントロピーデコーダ（771）によって提供されてもよい（これとして示されていないデータ経路は、低ボリューム制御情報のみであり得る）。
【0094】
再構成モジュール（774）は、空間領域において、残差デコーダ（773）によって出力される残差と、予測結果（場合によってインター予測モジュールまたはイントラ予測モジュールによって出力される）とを組み合わせて、再構成されたピクチャの一部となり得る再構成されたブロックを形成するように構成され、再構成されたピクチャは、結果的に再構成されたビデオの一部となり得る。視覚的品質を改善するために、非ブロック化動作などの他の適切な動作を実行できることに留意されたい。
【0095】
ビデオエンコーダ（303）、（503）および（603）ならびにビデオデコーダ（310）、（410）および（710）を任意の適切な技術を使用して実装できることに留意されたい。一実施形態では、ビデオエンコーダ（303）、（503）、および（603）、ならびにビデオデコーダ（310）、（410）、および（710）は、1つ以上の集積回路を使用して実施され得る。別の実施形態では、ビデオエンコーダ（303）、（503）、および（603）、ならびにビデオデコーダ（310）、（410）、および（710）は、ソフトウェア命令を実行する1つ以上のプロセッサを使用して実施され得る。
【0096】
II．局所的な照明補償
本開示は、複数のコーディングプロセスに適用可能な予測モデルに関する実施形態を含む。例えば、実施形態は、局所的な動きぼけおよび局所的な照明の変化などの複数のコーディングプロセスを補償するインター予測モデルを含むことができる。
本開示は、複数のコーディングプロセスに適用可能な予測モデルに関する実施形態を含む。例えば、実施形態は、局所的な動きぼけおよび局所的な照明の変化などの複数のコーディングプロセスを補償するインター予測モデルを含むことができる。
【0097】
本開示は、高度ビデオコーデックにおけるインター予測に関する実施形態を含む。インター予測モデルは、局所的な動きぼけおよび局所的な照明の変化の両方を補償することができる。局所的な照明補償（LIC）モデルは、単予測インターCUのためのインター予測技術である。LICモデルでは、現在のブロックとその参照ブロックとの間の局所照明変動を、現在のブロックのテンプレートと参照ブロックのテンプレートとの間の局所照明変動の関数としてモデル化することができる。
【0098】
図8は、本開示の一実施形態による、現在のブロック（801）と現在のブロック（801）の動きベクトル（803）によって示されたその参照ブロック（802）とを示す。図8では、参照ブロック（802）は、現在のブロック（801）の時間予測であり、現在のブロック（801）と参照ブロック（802）との間の動きベクトル（803）によって示される。参照ブロック（802）および現在のブロック（801）の各々は、図9に示されるように、ブロックに関連付けられたそれぞれのテンプレートを有することができ、サンプル領域（811）および（812）は、それぞれ現在のブロック（801）および参照ブロック（802）のテンプレートである。参照ブロックテンプレート（812）は、図10に示されるように、現在のブロック（801）と参照ブロック（802）との間の動きベクトル（803）によって示された現在のブロックテンプレート（811）の時間予測である。
【0099】
本開示の態様によれば、ブロックのテンプレートは、上方テンプレートおよび左方テンプレートを含むことができる。例えば、図9に示されるように、上方の現在のブロックテンプレート（811－1）は、現在のブロック（801）の上方に隣接するピクセルを含むことができ、左方の現在のブロックテンプレート（811－2）は、現在のブロック（801）の左方に隣接するピクセルを含むことができる。同様に、上方の参照ブロックテンプレート（812－1）は、参照ブロック（802）の上方の隣接するピクセルを含むことができ、左方の参照ブロックテンプレート（812－2）は、参照ブロック（802）の左方の隣接するピクセルを含むことができる。
【0100】
一例では、図9に示されるように、ブロックの上方テンプレートは、ブロックのすぐ上方の1行のピクセルを含むことができ、ブロックの左方テンプレートは、ブロックのすぐ左方の1列のピクセルを含むことができる。
【0101】
本開示の態様によれば、LICモデルにおいて、幅wおよび高さhを有する現在のブロックについて、現在のブロック内のピクセルy［i，j］の予測
は、現在のブロックの参照ブロック内の同じ場所に位置する参照サンプルx［i，j］に基づいて導出することができる。予測は、以下のように表すことができる。
【数1】
【数2】
【0102】
（式1）では、0≦i＜w、0≦j＜h、αはスケーリング係数、βはオフセットである。（式1）は、いくつかの関連する例では、照明の変化を補償するために使用することができる。
【0103】
いくつかの実施形態では、スケーリング係数αおよびオフセットβは、図9における現在のブロックテンプレート（811）などの現在のブロックテンプレートおよび参照ブロックテンプレート（812）などの参照ブロックテンプレートに基づいて導出することができ、その結果、これらのパラメータにシグナリングオーバーヘッドは必要とされない。場合によっては、LICモデルの使用を示すために、高度動きベクトル予測（AMVP）モード用のLICフラグをシグナリングすることができる。
【0104】
上述したように、LICモデルを使用して、現在のブロックとその参照ブロックとの間の局所照明変動を、現在のブロックテンプレートと参照ブロックテンプレートとの間の局所照明変動の関数としてモデル化することができる。しかしながら、いくつかの関連する例で使用されるLICモデルは、局所的な照明の変化を補償することに限定される。場合によっては、局所的な照明の変化に加えて、局所的な動きぼけなどの何らかの他の変化を補償することが望ましい。したがって、局所的な照明の変化および局所的な動きぼけなどの他の変化の両方など、複数のプロセスを補償することができるより一般的な予測モデルが望ましい。
【0105】
III．局所的な照明補償の改善
本開示は、LICモデルを改善する方法を含む。例えば、局所的な動きぼけおよび局所的な照明の変化の両方を補償するために、より一般化された予測モデルが提供される。現在のブロックの予測を生成するために、現在のブロックの参照ブロック内の参照サンプルの近傍に少なくとも1つのフィルタ演算を適用することができ、その結果、LICモデルが改善され、局所的な照明の変化の補償に限定されない。
本開示は、LICモデルを改善する方法を含む。例えば、局所的な動きぼけおよび局所的な照明の変化の両方を補償するために、より一般化された予測モデルが提供される。現在のブロックの予測を生成するために、現在のブロックの参照ブロック内の参照サンプルの近傍に少なくとも1つのフィルタ演算を適用することができ、その結果、LICモデルが改善され、局所的な照明の変化の補償に限定されない。
【0106】
本開示のいくつかの実施形態によれば、現在のブロック内のピクセルy［i，j］の予測
は、現在のブロックの参照ブロック内の参照サンプルx［i＋u，j＋v］の近傍に基づいて導出することができる。予測は、以下のように表すことができる。
【数3】
【数4】
【0107】
（式2）では、
は畳み込み演算であり、サポートSを備えたフィルタhを用いて実現できる。一実施形態では、フィルタhは、サポートを備えた3×3の有限インパルス応答（FIR）フィルタとすることができる。
S＝｛（－1，－1），（0，－1），（1，－1），（－1，0），（0，0），（1，0），（－1，1），（0，1），（1，1）｝ （式4）
【数5】
S＝｛（－1，－1），（0，－1），（1，－1），（－1，0），（0，0），（1，0），（－1，1），（0，1），（1，1）｝ （式4）
【0108】
2D FIRフィルタhを導出するために、テンプレートを拡大することができる。図11に示されるように、3×3のFIRフィルタの場合、上方の現在のブロックテンプレート（1111）は、現在のブロック（1101）の上方の4行を含むように拡大することができ、左方の現在のブロックテンプレート（1112）は、現在のブロック（1101）の左方の4列を含むように拡大することができる。同様に、上方の参照ブロックテンプレート（1113）は、参照ブロック（1102）の上方の4行を含むように拡大することができ、左方の参照ブロックテンプレート（1114）は、現在のブロック（1102）の左方の4列を含むように拡大することができる。FIRフィルタのフィルタ係数は、上方テンプレートおよび左方テンプレートのピクセルの二乗予測誤差の和を最小化し、テンプレートの境界のピクセルを除外することによって導出することができる。
【0109】
テンプレートは、異なる数の行および列を含むように拡大することができることに留意されたい。例えば、3×3のFIRフィルタの場合、上方の現在のブロックテンプレートは、現在のブロックの上方の5行を含むように拡大することができ、左方の現在のブロックテンプレートは、現在のブロックの左方の5列を含むように拡大することができる。参照ブロックのテンプレートも同様に拡大することができる。
【0110】
加えて、テンプレートは、フィルタサイズに基づいて拡大することができる。例えば、5×5のFIRフィルタの場合、上方の現在のブロックテンプレートは、現在のブロックの上方の6行を含むように拡大することができ、左方の現在のブロックテンプレートは、現在のブロックの左方の6列を含むように拡大することができる。参照ブロックのテンプレートも同様に拡大することができる。
【0111】
一実施形態では、サポートベクターマシン（SVM）などのオンライン訓練方法をFIRフィルタのフィルタ係数の導出に使用することができる。フィルタ係数は、以下のようにオンライン訓練方法における二乗予測誤差の和（オンライン訓練誤差と呼ばれる）を最小化することによって決定することができる。
【数6】
【0112】
（式5）では、Toは、図11の灰色のサンプル領域（1121）および（1122）によって示されるように、現在のブロックの上方テンプレートの内部および左方テンプレートの内部のピクセル位置を含む。灰色のサンプル領域（1121）は、上方の現在のブロックテンプレート（1111）の内部であり、灰色のサンプル領域（1122）は、左方の現在のブロックテンプレート（1112）の内部である。
【0113】
一実施形態では、フィルタ係数h［i，j］およびオフセットβは、例えば通常の最小二乗を解くのと同様の方法で一組の線形方程式を解くことによって決定することができる。
【0114】
一実施形態では、フィルタ係数を量子化することができ、量子化されたフィルタ係数は、2＾bのスケーリングファクタを有する固定小数点演算および乗算で除算を置き換えるルックアップテーブルを使用して、線形方程式を2つの整数の除算として解くためのクラメルの公式などのアルゴリズムを使用することによって取得することができる。
【0115】
一実施形態では、量子化されたフィルタ係数を所定の範囲にクリップすることができる。その後、量子化およびクリップされたフィルタ係数を使用して、オンライン訓練誤差を最小化するオフセットβの量子化された値を決定することができる。
【0116】
一実施形態では、フィルタhは対称であり得る。すなわち、フィルタhは、（式2）のフィルタリングプロセス中に位相歪みを導入しない。
【0117】
本開示のいくつかの実施形態によれば、LICモデルの汎化誤差を低減するために、オンライン訓練方法で使用されるサンプルの場所を現在のブロックに近づけることができる。例えば、現在のブロックと共有されるテンプレートの1つ以上の境界にある、または隣接するピクセルを使用して、FIRフィルタのフィルタ係数を決定することができる。
【0118】
いくつかの実施形態では、現在のブロック内のピクセルy［i，j］の予測
は、現在のブロックの参照ブロック内の参照サンプルx［i＋u，j＋v］の近傍に基づいて導出することができる。予測は、以下のように表すことができる。
【数7】
【数8】
【0119】
（式6）では、
は畳み込み演算であり、サポートSを備えたフィルタhを用いて実現できる。一実施形態では、フィルタhは、サポートを備えた3×3のFIRフィルタとすることができる。
S＝｛（－1，－1），（0，－1），（1，－1），（－1，0），（0，0），（1，0），（－1，1），（0，1），（1，1）｝ （式8）
【数9】
S＝｛（－1，－1），（0，－1），（1，－1），（－1，0），（0，0），（1，0），（－1，1），（0，1），（1，1）｝ （式8）
【0120】
一実施形態では、フィルタ係数は、以下のようにオンライン訓練誤差を最小化する最小二乗最小化によって決定することができる。
【数10】
【0121】
（式9）では、T’は、図12の灰色のサンプル領域（1221）および（1222）によって示されるようにピクセル位置を含む。図12に示されるように、3×3のFIRフィルタの場合、上方の現在のブロックテンプレート（1211）は、現在のブロック（1201）の上方の4行を含むように拡大することができ、左方の現在のブロックテンプレート（1212）は、現在のブロック（1201）の左方の4列を含むように拡大することができる。同様に、上方の参照ブロックテンプレート（1213）は、参照ブロック（1202）の上方の4行を含むように拡大することができ、左方の参照ブロックテンプレート（1214）は、現在のブロック（1202）の左方の4列を含むように拡大することができる。灰色のサンプル領域（1221）および（1222）を（式9）で使用して、フィルタ係数h［u，v］を計算する。灰色のサンプル領域（1221）は、現在のブロック（1201）のすぐ上方の1行を含み、灰色のサンプル領域（1222）は、現在のブロック（1201）のすぐ左方の1列を含むことに留意されたい。したがって、フィルタ係数を計算するとき、最小二乗最小化は、テンプレートの外側のピクセルを参照することができる。例えば、サンプル（1231）の予測
を計算するとき、参照ブロック（1202）内の参照サンプルx［i＋u，j＋v］の近傍は、u＝0、v＝－1のときに上方の参照ブロックテンプレート（1213）の外側にあるサンプル（1233）を含むことができる。したがって、最小二乗最小化がテンプレートの外側のピクセルを指す場合、例えばテンプレート内の最も近いピクセルに基づくパディング値を代わりに使用することができる。この場合、最も近いサンプル（1232）をサンプル（1233）の代わりに使用することができる。
【数11】
【0122】
テンプレートは、異なる数の行および列を含むように拡大することができることに留意されたい。例えば、3×3のFIRフィルタの場合、上方の現在のブロックテンプレートは、現在のブロックの上方の5行を含むように拡大することができる。5行は、現在のブロックのすぐ上方の1行を含むことができる。左方の現在のブロックテンプレートは、現在のブロックの左方の5列を含むように拡大することができる。5列は、現在のブロックのすぐ左方の1列を含むことができる。参照ブロックのテンプレートも同様に拡大することができる。
【0123】
加えて、テンプレートは、フィルタサイズに基づいて拡大することができる。例えば、5×5のFIRフィルタの場合、上方の現在のブロックテンプレートは、現在のブロックの上方の6行を含むように拡大することができ、左方の現在のブロックテンプレートは、現在のブロックの左方の6列を含むように拡大することができる。6行は、現在のブロックのすぐ上方の1行を含むことができ、6列は、現在のブロックのすぐ左方の1列を含むことができる。参照ブロックのテンプレートも同様に拡大することができる。
【0124】
一実施形態では、フィルタhは対称である。すなわち、フィルタhは、（式6）のフィルタリングプロセス中に位相歪みを導入しない。
【0125】
本開示のいくつかの実施形態によれば、現在のブロックの上方のただ1つの行および／または現在のブロックの左方のただ1つの列を使用して、動きぼけおよび照明の変化などの複数のプロセスを補償することができる。
【0126】
いくつかの実施形態では、現在のブロック内のピクセルの予測は、現在のブロック内のピクセルの上方予測と左方予測との組み合わせであり得る。ピクセルの上方予測および左方予測のいずれにおいても、図9に示されるように、1行分のピクセルが上方テンプレートTA内にあり、1列分のピクセルが左方テンプレートTL内にある同じテンプレートを使用することができる。
【0127】
一実施形態では、現在のブロック内のピクセルの上方予測は、以下のように表すことができる。
【数12】
【0128】
（式10）では、2M＋1個のフィルタ係数hA［u］は、以下のように現在のブロックの上方テンプレートにおけるオンライン訓練誤差を最小化する最小二乗最小化によって決定することができる。
【数13】
【0129】
一実施形態では、最小二乗最小化が上方テンプレートの外側のピクセルを指す場合、例えば上方テンプレート内の最も近いピクセルに基づくパディング値を代わりに使用することができる。上方テンプレート内の最も近いピクセルは、いくつかの実施形態で使用される。
【0130】
一実施形態では、M＝1である。
【0131】
一実施形態では、ピクセルの左方予測は、以下のように表すことができる。
【数14】
【0132】
（式12）では、2N＋1個のフィルタ係数hL［v］は、以下のように現在のブロックの左方テンプレートにおけるオンライン訓練誤差を最小化する最小二乗最小化によって決定することができる。
【数15】
【0133】
一実施形態では、最小二乗最小化が左方テンプレートの外側のピクセルを指す場合、例えば左方テンプレート内の最も近いピクセルに基づくパディング値を代わりに使用することができる。左方テンプレート内の最も近いピクセルは、いくつかの実施形態で使用される。
【0134】
一実施形態では、N＝1である。
【0135】
本開示のいくつかの実施形態によれば、現在のブロック内のピクセルy［i，j］の予測
は、上方テンプレート（または左方テンプレート）が利用可能であるかどうか、および上方テンプレートの幅（または左方テンプレートの高さ）が所定の幅（または所定の高さ）よりも大きいかどうかに基づく、現在のブロック内のピクセルの上方予測
と左方予測
との組み合わせであり得る。
【数16】
【数17】
【数18】
【0136】
一実施形態では、現在のブロック内のピクセルy［i，j］の予測
は、以下の条件が真である場合、
によって得ることができる。
【数19】
【数20】
【0137】
（条件1）現在のブロックの上方テンプレートが利用可能であり、かつ上方テンプレートの幅が所定の幅よりも大きい。
【0138】
（条件2）現在のブロックの左方テンプレートが利用可能であり、かつ上方テンプレートの高さが所定の高さよりも大きい。
【0139】
一実施形態では、現在のブロック内のピクセルy［i，j］の予測
は、以下の条件が真である場合、
によって得ることができる。
【数21】
【数22】
【0140】
（条件1）現在のブロックの上方テンプレートが利用可能であり、かつ上方テンプレートの幅が所定の幅よりも大きい。
【0141】
（条件2）現在のブロックの左方テンプレートが利用可能でない、または左方テンプレートの高さが所定の高さよりも大きくない。
【0142】
一実施形態では、現在のブロック内のピクセルy［i，j］の予測
は、以下の条件が真である場合、
によって得ることができる。
【数23】
【数24】
【0143】
（条件1）現在のブロックの上方テンプレートが利用可能でない、または上方テンプレートの幅が所定の幅よりも大きくない。
【0144】
（条件2）現在のブロックの左方テンプレートが利用可能であり、かつ左方テンプレートの高さが所定の高さよりも大きい。
【0145】
一実施形態では、現在のブロック内のピクセルy［i，j］の予測
は、以下の条件が真である場合、
によって得ることができる。
【数25】
【数26】
【0146】
（条件1）現在のブロックの上方テンプレートが利用可能でない、または上方テンプレートの幅が所定の幅よりも大きくない。
【0147】
（条件2）現在のブロックの左方テンプレートが利用可能でない、または左方テンプレートの高さが所定の高さよりも大きくない。
【0148】
一実施形態では、所定の幅および／または所定の高さは7である。
【0149】
一実施形態では、フィルタhAおよびhLの各々は対称であり得る。すなわち、フィルタhAは、（式10）のフィルタリングプロセス中に位相歪みを導入せず、フィルタhLは、（式12）のフィルタリングプロセス中に位相歪みを導入しない。
【0150】
本開示は、FIRフィルタなどの少なくとも1つのフィルタおよび1つのオフセットを使用することによって、照明の変化および／または動きぼけなどのより局所的な変化を補償するためのより一般的な予測モデルを含む。
【0151】
いくつかの実施形態では、オンライン訓練方法を使用して、両方の上方テンプレートが利用可能である場合に現在のブロックのすぐ上方のテンプレート内のピクセルと、現在のブロックの参照ブロックのすぐ上方のテンプレート内のピクセルとに基づいて、予測モデルのモデルパラメータを取得することができる。一実施形態では、オンライン訓練方法が参照ブロックの上方テンプレートの外側のピクセルを参照するとき、パディング値を代わりに使用することができる。例えば、参照ブロックの上方テンプレート内の最も近いピクセルを代わりに使用することができる。
【0152】
いくつかの実施形態では、オンライン訓練方法を使用して、両方の左方テンプレートが利用可能である場合に現在のブロックのすぐ左方のテンプレート内のピクセルと、現在のブロックの参照ブロックのすぐ左方のテンプレート内のピクセルとに基づいて、予測モデルのモデルパラメータを取得することができる。一実施形態では、オンライン訓練が参照ブロックの左方テンプレートの外側のピクセルを参照するとき、パディング値を代わりに使用することができる。例えば、参照ブロックの左方テンプレート内の最も近いピクセルを代わりに使用することができる。
【0153】
一実施形態では、予測モデル内の少なくとも1つのフィルタの各々は対称であり得る。すなわち、少なくとも1つのフィルタの各々は、フィルタリングプロセス中に位相歪みを導入しない。したがって、フィルタの線形位相のために、フィルタに入力されるすべての周波数を同じように遅延させることができる。
【0154】
いくつかの実施形態では、予測モデル内の少なくとも1つのフィルタの各フィルタ係数は、2つの整数の比として表すことができる。一実施形態では、少なくとも1つのフィルタの各フィルタ係数は、2つの整数の比として表すことができ、各比の分母は、2の累乗である所定の数である。一実施形態では、少なくとも1つのフィルタの各フィルタ係数は、2つの整数の比として表すことができ、すべての比の分母は、2の累乗である同じ所定の数である。
【0155】
いくつかの実施形態では、予測モデル内のオフセットは、2つの整数の比として表すことができる。一実施形態では、オフセットは2つの整数の比として表すことができ、比の分母は2の累乗である所定の数である。
【0156】
いくつかの実施形態では、予測モデルは、上方予測モデルと左方予測モデルとの組み合わせであり得る。
【0157】
上方予測モデルは、現在のブロックの上方テンプレートと参照ブロックの上方テンプレートとに基づく。予測モデルに上方テンプレートが選択されると、上方テンプレートから上方予測モデルのパラメータが導出される。上方テンプレートは、上方テンプレートが利用可能であり、かつ各上方テンプレートの幅が所定の幅よりも大きい場合にのみ予測モデルに対して選択される。一実施形態では、所定の幅は7である。別の実施形態では、所定の幅は3などの異なる数であってもよい。
【0158】
左方予測モデルは、現在のブロックの左方テンプレートと参照ブロックの左方テンプレートとに基づく。予測モデルに左方テンプレートが選択されると、左方テンプレートから左方予測モデルのパラメータが導出される。左方テンプレートは、左方テンプレートが利用可能であり、かつ各左方テンプレートの高さが所定の高さよりも大きい場合にのみ予測モデルに対して選択される。一実施形態では、所定の高さは7である。別の実施形態では、所定の高さは3などの異なる数であってもよい。
【0159】
一実施形態では、上方テンプレートおよび左方テンプレートの両方が予測モデルに対して選択された場合、予測モデルの出力は、上方予測モデルからの予測と左方予測モデルからの予測との平均であり得る。
【0160】
一実施形態では、予測モデルに対して、上方テンプレートが選択され、かつ左方テンプレートが選択されない場合、予測モデルの出力は上方予測モデルからの予測であり得る。
【0161】
一実施形態では、予測モデルに対して、上方テンプレートが選択されず、かつ左方テンプレートが選択される場合、予測モデルの出力は左方予測モデルからの予測であり得る。
【0162】
一実施形態では、予測モデルに対して、上方テンプレートが選択されず、かつ左方テンプレートが選択されない場合、予測モデルの出力は参照ブロックであり得る。
【0163】
IV．フローチャート
図13は、本開示の一実施形態による例示的なプロセス（1300）の概要を示すフローチャートを示す。様々な実施形態では、プロセス（1300）は、端末デバイス（210）、（220）、（230）、および（240）内の処理回路、ビデオエンコーダ（303）の機能を実行する処理回路、ビデオデコーダ（310）の機能を実行する処理回路、ビデオエンコーダ（503）の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（1300）はソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（1300）を実行する。
図13は、本開示の一実施形態による例示的なプロセス（1300）の概要を示すフローチャートを示す。様々な実施形態では、プロセス（1300）は、端末デバイス（210）、（220）、（230）、および（240）内の処理回路、ビデオエンコーダ（303）の機能を実行する処理回路、ビデオデコーダ（310）の機能を実行する処理回路、ビデオエンコーダ（503）の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（1300）はソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（1300）を実行する。
【0164】
プロセス（1300）は、一般に、ステップ（S1310）で開始され得、そこでは、プロセス（1300）は、ビデオビットストリーム内の現在のピクチャの一部である現在のブロックの予測情報をデコーディングする。予測情報は、現在のブロックに対する参照ブロックを示す。その後、プロセス（1300）はステップ（S1320）に進む。
【0165】
ステップ（S1320）では、プロセス（1300）は、現在のブロックの隣接する再構成されたサンプルおよび現在のブロックの隣接する再構成されたサンプルと同じ場所に位置する参照ブロックの隣接する再構成されたサンプルに基づいて、フィルタ演算のフィルタ係数を生成する。フィルタ演算は、現在のピクチャに対する1つ以上の局所的変化を補償する。1つ以上の局所的変化は、照明の変化および動きぼけのうちの1つを含む。その後、プロセス（1300）はステップ（S1330）に進む。
【0166】
ステップ（S1330）では、プロセス（1300）は、現在のブロックの参照ブロックに対して実行されているフィルタ演算に基づいて現在のブロックに対する予測ブロックを決定する。その後、プロセス（1300）はステップ（S1340）に進む。
【0167】
ステップ（S1340）において、プロセス（1300）は、現在のブロックの予測ブロックに基づいて現在のブロックを再構成する。
【0168】
その後、プロセス（1300）は終了する。
【0169】
一実施形態では、フィルタ演算は、1次元FIRフィルタおよび2次元FIRフィルタのうちの一方を含む。
【0170】
一実施形態では、プロセス（1300）は、現在のブロックの上方の隣接する再構成されたサンプルの1つ以上の行と、参照ブロックの上方の隣接する再構成されたサンプルの1つ以上の行とに基づいて、第1の複数のフィルタ係数を生成する。
【0171】
一実施形態では、プロセス（1300）は、（i）現在のブロックの上方の隣接する再構成されたサンプルの1つ以上の行が利用可能であること、および（ii）現在のブロックの幅が閾値よりも大きいことに基づいて、第1の複数のフィルタ係数を生成する。
【0172】
一実施形態では、プロセス（1300）は、現在のブロックの左方の隣接する再構成されたサンプルの1つ以上の列と、参照ブロックの左方の隣接する再構成されたサンプルの1つ以上の列とに基づいて、第2の複数のフィルタ係数を生成する。
【0173】
一実施形態では、プロセス（1300）は、（i）現在のブロックの左方の隣接する再構成されたサンプルの1つ以上の列が利用可能であること、および（ii）現在のブロックの高さが閾値よりも大きいことに基づいて、第2の複数のフィルタ係数を生成する。
【0174】
一実施形態では、プロセス（1300）は、現在のブロックの参照ブロック内の同じ場所に位置する参照サンプルおよび同じ場所に位置する参照サンプルの隣接するサンプルに基づいて、現在のブロックのサンプルの予測サンプルを決定する。
【0175】
一実施形態では、プロセス（1300）は、同じ場所に位置する参照サンプルおよび同じ場所に位置する参照サンプルの隣接するサンプルの各々に、フィルタ演算のそれぞれのフィルタ係数を乗算することによって、複数のフィルタ参照サンプルを決定する。プロセス（1300）は、フィルタ演算の結果として複数のフィルタリングされた参照サンプルの和を決定する。プロセス（1300）は、フィルタ演算の結果とオフセットとの和に基づいて現在のブロックのサンプルの予測サンプルを決定する。
【0176】
一実施形態では、フィルタ係数およびオフセットの各々は、2つの整数の比として表される。
【0177】
一実施形態では、各比の分母は、2の累乗である。
【0178】
V．コンピュータシステム
上記で説明された技術は、1つ以上のコンピュータ可読媒体に物理的に記憶された、コンピュータ可読命令を使用するコンピュータソフトウェアとして実施され得る。例えば、図14は、開示されている主題の特定の実施形態を実施するのに適したコンピュータシステム（1400）を示す。
上記で説明された技術は、1つ以上のコンピュータ可読媒体に物理的に記憶された、コンピュータ可読命令を使用するコンピュータソフトウェアとして実施され得る。例えば、図14は、開示されている主題の特定の実施形態を実施するのに適したコンピュータシステム（1400）を示す。
【0179】
コンピュータソフトウェアは、1つ以上のコンピュータ中央処理装置（CPU）およびグラフィック処理装置（GPU）などによって直接的に、または解釈およびマイクロコードの実行などを通して実行され得る命令を含むコードを作成するために、アセンブリ、コンパイル、リンキング、または同様のメカニズムを受け得る任意の適切な機械コードまたはコンピュータ言語を使用してコーディングされ得る。
【0180】
命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーミングデバイス、およびモノのインターネットデバイスなどを含む様々なタイプのコンピュータまたはその構成要素上で実行され得る。
【0181】
コンピュータシステム（1400）に関して図14に示されている構成要素は、本質的に例示であり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関する限定を示唆することを意図されていない。また、構成要素の構成は、コンピュータシステム（1400）の例示的な実施形態に示される構成要素のいずれか1つまたは組み合わせに関する依存性または要件を有するものとして解釈されるべきではない。
【0182】
コンピュータシステム（1400）は、特定のヒューマンインターフェース入力デバイスを含み得る。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、音声入力（声、拍手など）、視覚入力（ジェスチャーなど）、嗅覚入力（図示せず）を介して、1人以上の人間のユーザによる入力に応答することができる。ヒューマンインターフェースデバイスは、オーディオ（音声、音楽、環境音など）、画像（走査画像、写真画像は静止画像カメラから取得など）、ビデオ（2次元ビデオ、立体ビデオを含む3次元ビデオなど）などの、必ずしも人間による意識的な入力に直接関連しない特定の媒体を取り込むためにも使用され得る。
【0183】
入力ヒューマンインターフェース装置には、キーボード（1401）、マウス（1402）、トラックパッド（1403）、タッチスクリーン（1410）、データグローブ（図示せず）、ジョイスティック（1405）、マイク（1406）、スキャナ（1407）、カメラ（1408）のうち1つまたは複数（それぞれ1つのみ図示される）が含まれ得る。
【0184】
コンピュータシステム（1400）はまた、特定のヒューマンインターフェース出力デバイスも含み得る。このようなヒューマンインターフェース出力デバイスは、例えば触覚出力、音、光、および嗅覚／味覚を通じて、1人以上の人間のユーザの感覚を刺激することができる。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（1410）、データグローブ（図示せず）、またはジョイスティック（1405）による触覚フィードバック、ただし入力デバイスとして機能しない触覚フィードバックデバイスもあり得る）、音声出力デバイス（例えば、スピーカ（1409）、ヘッドフォン（図示せず））、視覚出力デバイス（例えば、各々タッチスクリーン入力機能ありまたはなし、各々触覚フィードバック機能ありまたはなしのCRTスクリーン、LCDスクリーン、プラズマスクリーンOLEDスクリーンを含むスクリーン（1410）、これらのうちのいくつかは、立体出力などの手段を通じて2次元視覚出力または3次元以上の視覚出力を出力できるものもある；仮想現実メガネ（図示せず）、ホログラフィックディスプレイおよびスモークタンク（図示せず））、およびプリンタ（図示せず）を含み得る。これらの視覚出力デバイス（スクリーン（1410など）は、グラフィックアダプタ（1450）を通じてシステムバス（1448）に接続することができる。
【0185】
コンピュータシステム（1400）はまた、人間がアクセス可能な記憶デバイス、ならびにCD／DVDまたは同様の媒体（1421）を有するCD／DVD ROM／RW（1420）を含む光学メディア、サムドライブ（1422）、リムーバブルハードドライブまたはソリッドステートドライブ（1423）、テープおよびフロッピーディスクなどのレガシー磁気媒体（図示せず）、セキュリティドングルなどの専用のROM／ASIC／PLDベースのデバイス（図示せず）などの関連媒体も含むことができる。
【0186】
また、当業者は、本開示の主題に関連して使用される「コンピュータ可読媒体」という用語が伝送媒体、搬送波、または他の一時的信号を包含しないことを理解すべきである。
【0187】
コンピュータシステム（1400）はまた、1つ以上の通信ネットワーク（1455）とのネットワークインターフェース（1454）も含むことができる。1つ以上の通信ネットワーク（1455）は、例えば無線、有線、光であり得る。1つ以上の通信ネットワーク（1455）はさらに、ローカル、広域、メトロポリタン、車両および産業、リアルタイム、遅延耐性などであり得る。1つ以上の通信ネットワーク（1455）の例は、イーサネット、無線LANなどのローカルエリアネットワーク、GSM、3G、4G、5G、LTEなどを含むセルラーネットワーク、ケーブルTV、衛星TV、および地上波TVを含むTV有線または無線広域デジタルネットワーク、CANBusを含む車両用および産業用などを含む。特定のネットワークは、一般に、特定の汎用データポートまたは周辺バス（1449）（例えば、コンピュータシステム（1400）のUSBポートなど）に接続された外部ネットワークインターフェースアダプタを必要とし、他のものは一般に、以下に記載されるようにシステムバスへの接続によってコンピュータシステム（1400）のコアに統合される（例えば、PCコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（1400）は他のエンティティと通信することができる。このような通信は、単方向受信のみ（例えば、TV放送）、単方向送信のみ（例えば、特定のCANbusデバイスへのCANbus）、または例えば、ローカルまたはワイドエリアデジタルネットワークを使用する他のコンピュータシステムとの双方向であり得る。特定のプロトコルおよびプロトコルスタックは、上記で説明されたように、それらのネットワークおよびネットワークインターフェースの各々で使用され得る。
【0188】
前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶デバイス、およびネットワークインターフェースは、コンピュータシステム（1400）のコア（1440）に接続することができる。
【0189】
コア（1440）は、1つ以上の中央処理装置（CPU）（1441）、グラフィック処理装置（GPU）（1442）、フィールド・プログラマブル・ゲート・エリア（FPGA）（1443）の形態の専用プログラマブル処理装置、特定のタスク用のハードウェアアクセラレータ（1444）、グラフィックアダプタ（1450）などを含むことができる。これらのデバイスは、読み取り専用メモリ（ROM）（1445）、ランダムアクセスメモリ（1446）、ユーザがアクセス不可能な内部ハードドライブ、SSDなどの内部大容量記憶装置（1447）とともに、システムバス（1448）を通じて接続され得る。いくつかのコンピュータシステムでは、システムバス（1448）は、追加のCPU、GPUなどによる拡張を可能にするために、1つ以上の物理プラグの形態でアクセス可能であり得る。周辺デバイスは、コアのシステムバス（1448）に直接接続するか、または周辺バス（1449）を通じて接続することができる。一例では、スクリーン（1410）をグラフィックアダプタ（1450）に接続することができる。周辺バスのアーキテクチャは、PCI、USBなどを含む。
【0190】
CPU（1441）、GPU（1442）、FPGA（1443）、およびアクセラレータ（1444）は、組み合わせて前述のコンピュータコードを構成できる特定の命令を実行することができる。そのコンピュータコードは、ROM（1445）またはRAM（1446）に格納することができる。移行データもまたRAM（1446）に格納することができるが、永続データは、例えば内部大容量記憶装置（1447）に記憶することができる。1つ以上のCPU（1441）、GPU（1442）、大容量記憶装置（1447）、ROM（1445）、RAM（1446）などと密接に関連付けることができるキャッシュメモリの使用を通じて、任意のメモリデバイスへの高速格納および取り出しが可能になる。
【0191】
コンピュータ可読媒体は、様々なコンピュータ実施動作を実行するためのコンピュータコードを有し得る。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構成されたものであり得るし、またはそれらは、コンピュータソフトウェア技術の当業者に周知の利用可能な種類のものであり得る。
【0192】
限定ではなく例として、アーキテクチャを有するコンピュータシステム（1400）、具体的にはコア（1440）は、1つ以上の有形のコンピュータ可読媒体で具現化されたソフトウェアを実行する（1つまたは複数の）プロセッサ（CPU、GPU、FPGA、アクセラレータなどを含む）の結果としての機能を提供することができる。このようなコンピュータ可読媒体は、上記で紹介されたようなユーザがアクセス可能な大容量記憶装置、およびコア内部の大容量記憶装置（1447）またはROM（1445）などの非一時的な性質のコア（1440）の特定の記憶装置と関連付けられた媒体であり得る。本開示の様々な実施形態を実装するソフトウェアは、このようなデバイスに格納され、コア（1440）によって実行されることが可能である。コンピュータ可読媒体は、特定の必要性に応じて、1つ以上のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（1440）、および具体的にはその中のプロセッサ（CPU、GPU、FPGAなどを含む）に、RAM（1446）に格納されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってこのようなデータ構造を修正することを含む、本明細書に記載される特定のプロセス、または特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、本明細書に記載される特定のプロセス、または特定のプロセスの特定の部分を実行するためにソフトウェアの代わりにまたはそれと一緒に動作することができる回路（例えば、アクセラレータ（1444））に配線されるかまたは他の方法で具現化された論理の結果としての機能を提供することができる。ソフトウェアへの言及は論理を包含することができ、必要に応じて、逆もまた同様である。必要に応じて、コンピュータ可読媒体への言及は、実行のためのソフトウェアを格納する回路（集積回路（IC：integrated circuit）など）、実行のためのロジックを具体化する回路、またはこれらの両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。
【0193】
本開示はいくつかの例示的な実施形態を説明してきたが、本開示の範囲内にある修正例、置換例、および様々な代替均等例がある。したがって、当業者は、本明細書では明示的に示されていないか、または説明されていないが、本開示の原理を具現化し、したがってその精神および範囲内にある多数のシステムおよび方法を考案できることが理解されよう。
【0194】
付記A：頭字語
ALF 適応ループフィルタ
AMVP 高度動きベクトル予測
APS 適応パラメータセット
ASIC 特定用途向け集積回路
ATMVP 代替／高度時間動きベクトル予測
AV1 AOMedia Video 1
AV2 AOMedia Video 2
BMS ベンチマークセット
BV ブロックベクトル
CANBus コントローラエリアネットワークバス
CB コーディングブロック
CC－ALF クロスコンポーネント適応ループフィルタ
CD コンパクトディスク
CDEF コンストレインドディレクショナル・エンハンスメントフィルタ
CPR 現在のピクチャ参照
CPU 中央処理装置
CRT ブラウン管
CTB コーディングツリーブロック
CTU コーディングツリーユニット
CU コーディングユニット
DPB デコーダピクチャバッファ
DPCM 差分パルス符号変調
DPS デコーディングパラメータセット
DVD デジタルビデオディスク
FPGA フィールドプログラマブルゲートエリア
JCCR 共同CbCr残差コーディング
JVET 共同ビデオ探索チーム
GOP ピクチャグループ
GPU グラフィックスプロセッシングユニット
GSM モバイル通信用グローバルシステム
HDR ハイ・ダイナミックレンジ
HEVC 高効率ビデオコーディング
HRD 仮想参照デコーダ
IBC イントラブロックコピー
IC 集積回路
ISP イントラサブパーティション
JEM 共同探索モデル
LAN ローカルエリアネットワーク
LCD 液晶ディスプレイ
LR ループ復元フィルタ
LRU ループ復元ユニット
LTE ロングタームエボリューション
MPM 最確モード
MV 動きベクトル
OLED 有機発光ダイオード
PBs 予測ブロック
PCI 周辺機器相互接続
PDPC 位置依存予測組み合わせ
PLD プログラマブルロジックデバイス
PPS ピクチャパラメータセット
PU 予測ユニット
RAM ランダムアクセスメモリ
ROM 読み取り専用メモリ
SAO 画素適応オフセット
SCC スクリーンコンテンツコーディング
SDR 標準ダイナミックレンジ
SEI 補足拡張情報
SNR 信号対雑音比
SPS シーケンス・パラメータセット
SSD ソリッドステートドライブ
TU 変換ユニット
USB ユニバーサルシリアルバス
VPS ビデオパラメータセット
VUI ビデオユーザビリティ情報
VVC 多用途ビデオコーディング
WAIP 広角イントラ予測
ALF 適応ループフィルタ
AMVP 高度動きベクトル予測
APS 適応パラメータセット
ASIC 特定用途向け集積回路
ATMVP 代替／高度時間動きベクトル予測
AV1 AOMedia Video 1
AV2 AOMedia Video 2
BMS ベンチマークセット
BV ブロックベクトル
CANBus コントローラエリアネットワークバス
CB コーディングブロック
CC－ALF クロスコンポーネント適応ループフィルタ
CD コンパクトディスク
CDEF コンストレインドディレクショナル・エンハンスメントフィルタ
CPR 現在のピクチャ参照
CPU 中央処理装置
CRT ブラウン管
CTB コーディングツリーブロック
CTU コーディングツリーユニット
CU コーディングユニット
DPB デコーダピクチャバッファ
DPCM 差分パルス符号変調
DPS デコーディングパラメータセット
DVD デジタルビデオディスク
FPGA フィールドプログラマブルゲートエリア
JCCR 共同CbCr残差コーディング
JVET 共同ビデオ探索チーム
GOP ピクチャグループ
GPU グラフィックスプロセッシングユニット
GSM モバイル通信用グローバルシステム
HDR ハイ・ダイナミックレンジ
HEVC 高効率ビデオコーディング
HRD 仮想参照デコーダ
IBC イントラブロックコピー
IC 集積回路
ISP イントラサブパーティション
JEM 共同探索モデル
LAN ローカルエリアネットワーク
LCD 液晶ディスプレイ
LR ループ復元フィルタ
LRU ループ復元ユニット
LTE ロングタームエボリューション
MPM 最確モード
MV 動きベクトル
OLED 有機発光ダイオード
PBs 予測ブロック
PCI 周辺機器相互接続
PDPC 位置依存予測組み合わせ
PLD プログラマブルロジックデバイス
PPS ピクチャパラメータセット
PU 予測ユニット
RAM ランダムアクセスメモリ
ROM 読み取り専用メモリ
SAO 画素適応オフセット
SCC スクリーンコンテンツコーディング
SDR 標準ダイナミックレンジ
SEI 補足拡張情報
SNR 信号対雑音比
SPS シーケンス・パラメータセット
SSD ソリッドステートドライブ
TU 変換ユニット
USB ユニバーサルシリアルバス
VPS ビデオパラメータセット
VUI ビデオユーザビリティ情報
VVC 多用途ビデオコーディング
WAIP 広角イントラ予測
【符号の説明】
【0195】
101 サンプル
102 矢印
103 矢印
104 ブロック
111 現在のブロック
200 通信システム
210 端末デバイス
220 端末デバイス
230 端末デバイス
240 端末デバイス
250 ネットワーク
301 ビデオソース
302 ビデオピクチャのストリーム
303 ビデオエンコーダ
304 ビデオデータ
305 ストリーミングサーバ
306 クライアントサブシステム
307 ビデオデータ
308 クライアントサブシステム
309 ビデオデータ
310 ビデオデコーダ
311 出力ストリーム
312 ディスプレイ
313 キャプチャサブシステム
320 電子デバイス
330 電子デバイス
401 チャネル
410 ビデオデコーダ
412 レンダデバイス
415 バッファメモリ
420 パーサ
421 シンボル
430 電子デバイス
431 受信機
451 逆変換ユニット
452 イントラピクチャ予測ユニット
453 動き補償予測ユニット
455 アグリゲータ
456 ループフィルタユニット
457 参照ピクチャメモリ
458 ピクチャバッファ
501 ビデオソース
503 ビデオエンコーダ
520 電子デバイス
530 ソースコーダ
532 コーディングエンジン
533 ローカルデコーダ
534 参照ピクチャメモリ
535 予測子
540 送信機
543 ビデオシーケンス
545 エントロピーコーダ
550 コントローラ
560 通信チャネル
603 ビデオエンコーダ
621 汎用コントローラ
622 イントラエンコーダ
623 残差計算器
624 残差エンコーダ
625 エントロピーエンコーダ
626 スイッチ
628 残差デコーダ
630 インターエンコーダ
710 ビデオデコーダ
771 エントロピーデコーダ
772 イントラデコーダ
773 残差デコーダ
774 再構成モジュール
780 インターデコーダ
801 現在のブロック
802 参照ブロック
803 動きベクトル
811 ブロックテンプレート／サンプル領域
812 参照ブロックテンプレート
1101 現在のブロック
1102 参照ブロック
1111 ブロックテンプレート
1112 ブロックテンプレート
1113 上方の参照ブロックテンプレート
1114 左方の参照ブロックテンプレート
1121 サンプル領域
1122 サンプル領域
1201 ブロック
1202 参照ブロック
1211 ブロックテンプレート
1212 ブロックテンプレート
1213 参照ブロックテンプレート
1214 参照ブロックテンプレート
1221 灰色のサンプル領域
1222 灰色のサンプル領域
1231 サンプル
1232 サンプル
1233 サンプル
1400 コンピュータシステム
1401 キーボード
1402 マウス
1403 トラックパッド
1405 ジョイスティック
1406 マイク
1407 スキャナ
1408 カメラ
1409 スピーカ
1410 スクリーン
1421 媒体
1422 サムドライブ
1423 ソリッドステートドライブ
1440 コア
1441 CPU
1442 GPU
1443 FPGA
1444 アクセラレータ
1445 ROM
1446 ランダムアクセスメモリ
1447 大容量記憶装置
1448 システムバス
1449 周辺バス
1450 グラフィックアダプタ
1454 ネットワークインターフェース
1455 通信ネットワーク
102 矢印
103 矢印
104 ブロック
111 現在のブロック
200 通信システム
210 端末デバイス
220 端末デバイス
230 端末デバイス
240 端末デバイス
250 ネットワーク
301 ビデオソース
302 ビデオピクチャのストリーム
303 ビデオエンコーダ
304 ビデオデータ
305 ストリーミングサーバ
306 クライアントサブシステム
307 ビデオデータ
308 クライアントサブシステム
309 ビデオデータ
310 ビデオデコーダ
311 出力ストリーム
312 ディスプレイ
313 キャプチャサブシステム
320 電子デバイス
330 電子デバイス
401 チャネル
410 ビデオデコーダ
412 レンダデバイス
415 バッファメモリ
420 パーサ
421 シンボル
430 電子デバイス
431 受信機
451 逆変換ユニット
452 イントラピクチャ予測ユニット
453 動き補償予測ユニット
455 アグリゲータ
456 ループフィルタユニット
457 参照ピクチャメモリ
458 ピクチャバッファ
501 ビデオソース
503 ビデオエンコーダ
520 電子デバイス
530 ソースコーダ
532 コーディングエンジン
533 ローカルデコーダ
534 参照ピクチャメモリ
535 予測子
540 送信機
543 ビデオシーケンス
545 エントロピーコーダ
550 コントローラ
560 通信チャネル
603 ビデオエンコーダ
621 汎用コントローラ
622 イントラエンコーダ
623 残差計算器
624 残差エンコーダ
625 エントロピーエンコーダ
626 スイッチ
628 残差デコーダ
630 インターエンコーダ
710 ビデオデコーダ
771 エントロピーデコーダ
772 イントラデコーダ
773 残差デコーダ
774 再構成モジュール
780 インターデコーダ
801 現在のブロック
802 参照ブロック
803 動きベクトル
811 ブロックテンプレート／サンプル領域
812 参照ブロックテンプレート
1101 現在のブロック
1102 参照ブロック
1111 ブロックテンプレート
1112 ブロックテンプレート
1113 上方の参照ブロックテンプレート
1114 左方の参照ブロックテンプレート
1121 サンプル領域
1122 サンプル領域
1201 ブロック
1202 参照ブロック
1211 ブロックテンプレート
1212 ブロックテンプレート
1213 参照ブロックテンプレート
1214 参照ブロックテンプレート
1221 灰色のサンプル領域
1222 灰色のサンプル領域
1231 サンプル
1232 サンプル
1233 サンプル
1400 コンピュータシステム
1401 キーボード
1402 マウス
1403 トラックパッド
1405 ジョイスティック
1406 マイク
1407 スキャナ
1408 カメラ
1409 スピーカ
1410 スクリーン
1421 媒体
1422 サムドライブ
1423 ソリッドステートドライブ
1440 コア
1441 CPU
1442 GPU
1443 FPGA
1444 アクセラレータ
1445 ROM
1446 ランダムアクセスメモリ
1447 大容量記憶装置
1448 システムバス
1449 周辺バス
1450 グラフィックアダプタ
1454 ネットワークインターフェース
1455 通信ネットワーク
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】