(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-18
(45)【発行日】2024-10-28
(54)【発明の名称】高速なベクトル化転置のための適応ループフィルタ係数の配置
(51)【国際特許分類】
H04N 19/82 20140101AFI20241021BHJP
H04N 19/423 20140101ALI20241021BHJP
【ＦＩ】
H04N19/82
H04N19/423
【請求項の数】
21
(21)【出願番号】P 2023555387
(86)(22)【出願日】2022-11-11
(65)【公表番号】
(43)【公表日】2024-03-01
(86)【国際出願番号】 US2022079758
(87)【国際公開番号】W WO2023107795
(87)【国際公開日】2023-06-15
【審査請求日】2023-09-08
(31)【優先権主張番号】63/286,530
(32)【優先日】2021-12-06
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/983,921
(32)【優先日】2022-11-09
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】ニコライ・シルヤコフ
(72)【発明者】
【氏名】シャン・リュウ
【審査官】岩井 健二
(56)【参考文献】
【文献】Marta Karczewicz, Li Zhang, Wei-Jung Chien, and Xiang Li，Geometry Transformation-based Adaptive In-Loop Filter，2016 Picture Coding Symposium (PCS)，IEEE，2016年，pp.1-5
【文献】Versatile video coding，Recommendation ITU-T H.266，H.266 (08/2020)，ITU-T，2020年08月，pp.377-381
【文献】Wenbin Yin, et al.，EE2-related: Adaptive Filter Shape Selection for ALF，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29，JVET-X0086-v2，24th Meeting, by teleconference，2021年09月，pp.1-5
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
ビデオデコーダにおいて実行されるビデオデコーディングの方法であって、現在のピクチャにおける現在のブロックの予測情報を、コーディングされたビデオビットストリームから受信するステップであって、前記予測情報は、中心対称形状を有するフィルタが前記現在のブロックに適用されることを示し、前記フィルタは複数の係数を含み、前記複数の係数の各々は第1の軸に沿ったそれぞれの第1の座標値および第2の軸に沿ったそれぞれの第2の座標値と関連付けられる、ステップと、
前記フィルタの前記複数の係数を、前記フィルタに対して実行されるべき転置操作に基づいて複数のグループにグループ化するステップであって、前記複数のグループの各々における前記係数は、前記フィルタの中心位置から同じ距離である、ステップと、
前記転置操作に基づいて前記複数のグループのうちの第1のグループの前記係数を並べ替えるステップと、
前記中心対称形状を有する前記フィルタを、前記フィルタの前記並べ替えられた係数に基づいて前記現在のブロックに適用することによって、前記現在のブロックのフィルタリングされたサンプルを再構成するステップと
を含む方法。
【請求項2】
前記複数のグループのうちの前記第1のグループの前記並べ替えられた係数と、前記複数のグループのうちの第2のグループの前記係数とを交換するステップであって、前記第1のグループの前記並べ替えられた係数および前記第2のグループの前記係数は、前記フィルタの前記中心位置から第1の距離である、ステップをさらに含む、請求項1に記載の方法。
【請求項3】
前記転置操作は、回転操作、垂直フリップ操作、または対角フリップ操作のうちの1つである、請求項1に記載の方法。
【請求項4】
前記第1のグループの前記係数の数は、前記第2のグループの前記係数の数に等しい、請求項2に記載の方法。
【請求項5】
前記第1の距離は、（i）前記第1のグループの第1の係数の前記第1の座標値の絶対値と、（ii）前記第1のグループの前記第1の係数の前記第2の座標値の絶対値との和に等しい、請求項2に記載の方法。
【請求項6】
前記第1のグループの第1の係数の前記第1の座標値と、前記第2のグループの第1の係数の前記第2の座標値との和が、0に等しく、前記第1のグループの前記第1の係数の前記第2の座標値は、前記第2のグループの前記第1の係数の前記第1の座標値に等しい、
請求項2に記載の方法。
【請求項7】
前記複数のグループの各々の前記係数は、それぞれのメモリ空間に記憶され、前記それぞれのメモリ空間は、（i）128ビット以下の第1の記憶ボリューム、および（ii）256ビット以下の第2の記憶ボリュームのうちの1つを有する、請求項1に記載の方法。
【請求項8】
前記複数のグループのうちの1つ以上の前記係数が、メモリ空間に記憶され、前記メモリ空間は、（i）128ビットの第1の記憶ボリューム、および（ii）256ビットの第2の記憶ボリュームのうちの1つを有する、請求項1に記載の方法。
【請求項9】
前記複数のグループの各々は、前記複数のグループにおいて対応するグループを有し、前記複数のグループのそれぞれのグループの前記係数、および前記複数のグループにおける前記対応するグループの前記係数は、前記フィルタの前記中心位置から同じ距離であり、前記複数のグループの前記それぞれのグループと、前記複数のグループにおける前記対応するグループとが、同じ数の係数を含む、
請求項1に記載の方法。
【請求項10】
前記予測情報においてシグナリングされた順序で、前記予測情報に基づいて、前記フィルタの前記複数の係数を決定するステップと、前記フィルタの前記決定された複数の係数を、前記複数のグループにグループ化するステップと
をさらに含む、請求項1に記載の方法。
【請求項11】
装置であって、現在のピクチャにおける現在のブロックの予測情報を、コーディングされたビデオビットストリームから受信し、前記予測情報は、中心対称形状を有するフィルタが前記現在のブロックに適用されることを示し、前記フィルタは複数の係数を含み、前記複数の係数の各々は第1の軸に沿ったそれぞれの第1の座標値および第2の軸に沿ったそれぞれの第2の座標値と関連付けられ、
前記フィルタの前記複数の係数を、前記フィルタに対して実行されるべき転置操作に基づいて複数のグループにグループ化し、前記複数のグループの各々における前記係数は前記フィルタの中心位置から同じ距離であり、
前記転置操作に基づいて前記複数のグループのうちの第1のグループの前記係数を並べ替え、
前記中心対称形状を有する前記フィルタを、前記フィルタの前記並べ替えられた係数に基づいて前記現在のブロックに適用することによって、前記現在のブロックのフィルタリングされたサンプルを再構成する
ように構成された処理回路を備える装置。
【請求項12】
前記処理回路は、前記複数のグループのうちの前記第1のグループの前記並べ替えられた係数と、前記複数のグループのうちの第2のグループの前記係数とを交換するように構成され、前記第1のグループの前記並べ替えられた係数および前記第2のグループの前記係数は、前記フィルタの前記中心位置から第1の距離である、請求項11に記載の装置。
【請求項13】
前記転置操作は、回転操作、垂直フリップ操作、または対角フリップ操作のうちの1つである、請求項11に記載の装置。
【請求項14】
前記第1のグループの前記係数の数は、前記第2のグループの前記係数の数に等しい、請求項12に記載の装置。
【請求項15】
前記第1の距離は、（i）前記第1のグループの第1の係数の前記第1の座標値の絶対値と、（ii）前記第1のグループの前記第1の係数の前記第2の座標値の絶対値との和に等しい、請求項12に記載の装置。
【請求項16】
前記第1のグループの第1の係数の前記第1の座標値と、前記第2のグループの前記第1の係数の前記第2の座標値との和が、0に等しく、前記第1のグループの前記第1の係数の前記第2の座標値は、前記第2のグループの前記第1の係数の第1の座標値に等しい、
請求項12に記載の装置。
【請求項17】
前記複数のグループの各々の前記係数は、それぞれのメモリ空間に記憶され、前記それぞれのメモリ空間は、（i）128ビット以下の第1の記憶ボリューム、および（ii）256ビット以下の第2の記憶ボリュームのうちの1つを有する、請求項11に記載の装置。
【請求項18】
前記複数のグループのうちの1つ以上の前記係数が、メモリ空間に記憶され、前記メモリ空間は、（i）128ビットの第1の記憶ボリューム、および（ii）256ビットの第2の記憶ボリュームのうちの1つを有する、請求項11に記載の装置。
【請求項19】
前記複数のグループの各々は、前記複数のグループにおいて対応するグループを有し、前記複数のグループのそれぞれのグループの前記係数、および前記複数のグループにおける前記対応するグループの前記係数は、前記フィルタの前記中心位置から同じ距離であり、前記複数のグループの前記それぞれのグループと、前記複数のグループにおける前記対応するグループとが、同じ数の係数を含む、
請求項11に記載の装置。
【請求項20】
前記処理回路は、前記予測情報においてシグナリングされた順序で、前記予測情報に基づいて、前記フィルタの前記複数の係数を決定し、
前記フィルタの前記決定された複数の係数を、前記複数のグループにグループ化するように構成される、請求項11に記載の装置。
【請求項21】
1つ以上のプロセッサに、請求項１から10のいずれか一項に記載の方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
参照による組み込み
本出願は、2022年11月9日に出願された米国特許出願第17/983,921号「ARRANGEMENT OF ADAPTIVE LOOP FILTER COEFFICIENTS FOR FAST VECTORIZED TRANSPOSITIONS」への優先権の利益を主張し、これは、2021年12月6日に出願された米国仮出願第63/286,530号「Arrangement of Adaptive Loop Filter Coefficients for Fast Vectorized Transpositions」への優先権の利益を主張している。これら先行する出願の開示は、その全体が参照によりここに組み込まれる。
本出願は、2022年11月9日に出願された米国特許出願第17/983,921号「ARRANGEMENT OF ADAPTIVE LOOP FILTER COEFFICIENTS FOR FAST VECTORIZED TRANSPOSITIONS」への優先権の利益を主張し、これは、2021年12月6日に出願された米国仮出願第63/286,530号「Arrangement of Adaptive Loop Filter Coefficients for Fast Vectorized Transpositions」への優先権の利益を主張している。これら先行する出願の開示は、その全体が参照によりここに組み込まれる。
【0002】
本開示は、ビデオコーディングに広く関連する実施形態を説明する。
【背景技術】
【0003】
本明細書で提供される背景技術の説明は、本開示の文脈を一般的に提示することを目的としている。この背景技術の項で説明される限りにおける現在の記名発明者の仕事、ならびに出願の時点において先行技術として認められない可能性がある本明細書の態様は、本開示に対する先行技術として明示的にも暗示的にも認められない。
【0004】
非圧縮デジタルビデオは一連のピクチャを含むことができ、各ピクチャは、例えば、1920×1080の輝度サンプルおよび関連の彩度サンプルからなる空間次元を有する。一連のピクチャは、例えば、毎秒60ピクチャまたは60Hzの固定または可変のピクチャレート（非公式にはフレームレートとしても知られる）を有することができる。非圧縮ビデオは特有のビットレート要件を有する。例えば、サンプルあたり8ビットでの1080p60 4：2：0ビデオ（60Hzのフレームレートで1920×1080の輝度サンプル解像度）は、1.5Gbit/sに近い帯域幅を必要とする。1時間のそのようなビデオは、600GByteを超える記憶空間を必要とする。
【0005】
ビデオコーディングおよびデコーディングの1つの目的は、圧縮による入力ビデオ信号の冗長性の低減であり得る。圧縮は、前述の帯域幅および／または記憶空間の要件を、場合によっては、2桁以上削減するのに役立つことができる。可逆圧縮と非可逆圧縮の両方、ならびにそれらの組み合わせを採用することができる。可逆圧縮とは、原信号の正確なコピーを、圧縮された原信号から再構築することができる技術を指す。非可逆圧縮を使用する場合、再構築された信号は原信号と同一ではないかもしれないが、原信号と再構築された信号との間の歪みが、再構築された信号が意図される用途にとって有用となる程度には充分に小さい。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量は用途に依存し、例えば、特定の消費者ストリーミング用途のユーザは、テレビ配信用途のユーザよりも大きい歪みを容認し得る。達成可能な圧縮率は、「より大きな歪みを許容／容認できるならば、圧縮率をより大きくすることができる」ことを反映することができる。
【0006】
ビデオエンコーダおよびビデオデコーダは、例えば、動き補償、変換、量子化、およびエントロピーコーディングを含む、いくつかの広範なカテゴリからの技法を利用することができる。
【0007】
ビデオコーデック技術は、イントラコーディングとして知られる技法を含むことができる。イントラコーディングにおいて、サンプル値は、以前に再構築された参照ピクチャからのサンプルまたは他のデータを参照せずに表される。いくつかのビデオコーデックにおいて、ピクチャは、サンプルのブロックに空間的に細分化される。サンプルのすべてのブロックがイントラモードでコーディングされる場合、そのピクチャは、イントラピクチャであり得る。イントラピクチャおよび独立デコーダリフレッシュピクチャなどのそれらの派生物を、デコーダ状態をリセットするために使用することができ、したがって、コーディングされたビデオビットストリームおよびビデオセッションの最初のピクチャとして、あるいは静止画像として使用することが可能である。イントラブロックのサンプルに変換を施すことができ、変換係数を、エントロピーコーディングの前に量子化することが可能である。イントラ予測は、変換前ドメインにおけるサンプル値を最小化する技法であり得る。場合によっては、変換後のDC値がより小さく、AC係数がより小さいほど、エントロピーコーディング後にブロックを表すために所与の量子化ステップサイズにおいて必要なビット数が少なくなる。
【0008】
例えば、MPEG-2生成コーディング技術から知られているような従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的に隣接し、デコーディングの順序において先行するデータブロックのエンコーディング／デコーディング中に取得された周囲のサンプルデータおよび／またはメタデータから試行する技術を含む。そのような技術を、以下では「イントラ予測」技術と呼ぶ。少なくともいくつかの場合に、イントラ予測は、参照ピクチャからではなく、再構築中の現在のピクチャからの参照データのみを使用することに留意されたい。
【0009】
イントラ予測には多くの異なる形式があり得る。そのような技術のうちの2つ以上が所与のビデオコーディング技術において使用可能である場合、使用される技術を、イントラ予測モードにおいてコーディングすることができる。特定の場合には、モードは、サブモードおよび／またはパラメータを有することができ、それらを個別にコーディングすることができ、あるいはモードコードワードに含ませることができる。所与のモード、サブモード、および／またはパラメータの組み合わせについて、どのコードワードを使用するかは、イントラ予測を介したコーディング効率向上に影響を与える可能性があり、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術も同様である。
【0010】
イントラ予測の特定のモードは、H.264で導入され、H.265において改良され、共同探索モデル（JEM）、多用途ビデオコーディング（VVC）、およびベンチマークセット（BMS）などのより新しいコーディング技術においてさらに改良された。予測子ブロックを、すでに利用可能なサンプルに属する隣接サンプル値を使用して形成することが可能である。隣接サンプルのサンプル値が、方向に従って予測子ブロックにコピーされる。使用中の方向への参照は、ビットストリーム内にコーディングされてよく、あるいはそれ自体が予測されてよい。
【0011】
図1Aを参照すると、H.265の（35個のイントラモードのうちの33個の角度モードに対応する）33個の可能な予測子方向から知られる9つの予測子方向のサブセットが、右下に描かれている。矢印が集まる点（101）は、予測中のサンプルを表す。矢印は、サンプルの予測の方向を表す。例えば、矢印（102）は、サンプル（101）が、水平から45度の角度で右上の1つ以上のサンプルから予測されることを示している。同様に、矢印（103）は、サンプル（101）が、水平から22.5度の角度のサンプル（101）の左下の1つ以上のサンプルから予測されることを示している。
【0012】
さらに図1Aを参照すると、（太い破線によって示された）4×4個のサンプルからなる正方形ブロック（104）が、左上に示されている。正方形ブロック（104）は、16個のサンプルを含み、各々のサンプルは、「S」と、Y次元における位置（例えば、行インデックス）と、X次元における位置（例えば、列インデックス）とで標記されている。例えば、サンプルS21は、Y次元における（上から）2番目のサンプルであり、X次元における（左から）1番目のサンプルである。同様に、サンプルS44は、ブロック（104）内のY次元およびX次元の両方において4番目のサンプルである。ブロックは、4×4個のサンプルからなるサイズであるため、S44は右下に位置する。同様の番号体系に従う参照サンプルが、さらに示されている。参照サンプルは、Rと、ブロック（104）に対するY位置（例えば、行インデックス）およびX位置（列インデックス）とで標記される。H.264およびH.265の両方において、予測サンプルは、再構築中のブロックに隣接しており、したがって、負の値が使用される必要はない。
【0013】
イントラピクチャ予測は、シグナリングされた予測方向によって充当されるとおりに、隣接サンプルから参照サンプル値をコピーすることによって機能することができる。例えば、コーディングされたビデオビットストリームが、このブロックについて、矢印（102）と一致する予測方向を示すシグナリングを含み、すなわちサンプルが、水平から45度の角度で右上の1つ以上の予測サンプルから予測されると仮定する。その場合、サンプルS41、S32、S23、およびS14が、同じ参照サンプルR05から予測される。次いで、サンプルS44が、参照サンプルR08から予測される。
【0014】
特定の場合には、参照サンプルを計算するために、とりわけ方向が45度によって均等に分割できない場合に、複数の参照サンプルの値を、例えば補間によって組み合わせてもよい。
【0015】
可能な方向の数は、ビデオコーディング技術が発展するにつれて増加している。H.264（2003年）では、9つの異なる方向を表すことができた。それが、H.265（2013年）では33に増加し、本開示の時点において、JEM/VVC/BMSは、最大65個の方向をサポートすることができる。最も可能性が高い方向を識別するために実験が行われており、エントロピーコーディングにおける特定の技法が、それらの可能性が高い方向を少数のビットで表すために使用され、可能性が低い方向に関する一定のペナルティを受け入れる。さらに、場合によっては、方向自体を、隣接するすでにデコーディングされたブロックで使用された隣接する方向から予測することが可能である。
【0016】
図1Bは、時間につれて増加する予測方向の数を示すためにJEMによる65個のイントラ予測方向を示す概略図（110）を示している。
【0017】
方向を表すコーディングされたビデオビットストリーム内のイントラ予測方向ビットのマッピングは、ビデオコーディング技術ごとに異なる可能性があり、例えば、イントラ予測モードへの予測方向の単純な直接マッピングから、コードワード、最確モードを含む複雑な適応方式、および同様の技術にまで及ぶ可能性がある。しかしながら、すべての場合において、ビデオコンテンツの中で特定の他の方向よりも統計的に発生する可能性が低い特定の方向が存在し得る。ビデオ圧縮の目的は冗長性の低減であるので、それらの可能性が低い方向は、うまく機能するビデオコーディング技術において、可能性が高い方向よりも多いビット数で表される。
【0018】
ビデオコーディングおよびデコーディングを、動き補償を伴うインターピクチャ予測を使用して実施することができる。動き補償は、非可逆圧縮技術であってよく、以前に再構築されたピクチャまたはその一部（参照ピクチャ）からのサンプルデータのブロックを、動きベクトル（以下では、MV）によって示された方向に空間的にシフトさせた後に、新しく再構築されるピクチャまたはピクチャの一部の予測に使用する技術に関することができる。場合によっては、参照ピクチャは、現在再構築中のピクチャと同じであり得る。MVは、2つの次元XおよびY、または3つの次元を有することができ、第3の次元は、使用中の参照ピクチャを表す（後者は、間接的には、時間次元であってよい）。
【0019】
いくつかのビデオ圧縮技術においては、サンプルデータの特定のエリアに適用可能なMVが、他のMVから予測可能であり、例えば、再構築中のエリアに空間的に隣接し、デコーディングの順序においてそのMVに先行するサンプルデータの他のエリアに関連するMVから予測可能である。そのようにすることにより、MVのコーディングに必要なデータの量を大幅に削減することができ、したがって冗長性が除かれ、圧縮率が高められる。MV予測が効果的に機能することができるのは、例えば、（自然なビデオとして知られている）カメラから導出された入力ビデオ信号をコーディングするときに、単一のMVが適用可能なエリアよりも大きいエリアが同様の方向に移動し、したがって、場合によっては、隣接エリアのMVから導出された同様の動きベクトルを使用して予測可能であるという統計的尤度が存在するからである。その結果、所与のエリアについて発見されたMVが周囲のMVから予測されたMVと同様または同一になり、したがって、エントロピーコーディング後に、MVを直接コーディングした場合に使用されるはずのビット数より少ないビット数で表すことが可能である。場合によっては、MV予測は、原信号（すなわち、サンプルストリーム）から導出された信号（すなわち、MV）の可逆圧縮の一例となり得る。他の場合には、MV予測自体が、例えばいくつかの周囲のMVから予測子を計算するときの丸め誤差のために、非可逆であり得る。
【0020】
さまざまなMV予測機構が、H.265/HEVC（ITU-T Rec.H.265,「High Efficiency Video Coding」,December 2016）に記載されている。H.265が提供する多くのMV予測機構のうち、以下で「空間マージ」と呼ばれる技法が、本明細書で説明される。
【0021】
図2を参照すると、現在のブロック（201）は、動き探索プロセス中にエンコーダによって、空間的にシフトされた同じサイズの以前のブロックから予測可能であることが発見されているサンプルを含む。そのMVを直接コーディングする代わりに、MVを、A0、A1、およびB0、B1、B2（それぞれ、202～206）と表記された5つの周囲のサンプルのいずれか1つに関するMVを使用して、1つ以上の参照ピクチャに関するメタデータから導出することができ、例えば（デコーディングの順序において）最新の参照ピクチャから導出することができる。H.265において、MV予測は、隣接ブロックが使用している同じ参照ピクチャからの予測子を使用することができる。
【発明の概要】
【課題を解決するための手段】
【0022】
本開示の態様は、ビデオのエンコーディング／デコーディングのための方法および装置を提供する。いくつかの例において、ビデオのデコーディングのための装置は、処理回路を含む。
【0023】
本開示の一態様によれば、ビデオデコーダにおいて実行されるビデオデコーディングの方法が提供される。本方法において、現在のピクチャにおける現在のブロックの予測情報は、コーディングされたビデオビットストリームから受信することができる。予測情報は、中心対称形状を有するフィルタが現在のブロックに適用されることを示すことができる。フィルタは、複数の係数を含むことができる。複数の係数の各々は、第1の軸に沿ったそれぞれの第1の座標値および第2の軸に沿ったそれぞれの第2の座標値に関連付けることができる。フィルタの複数の係数は、フィルタに対して実行されるべき転置操作に基づいて、複数のグループにグループ化することができる。複数のグループの各々における係数は、フィルタの中心位置から同じ距離であってよい。複数のグループのうちの第1のグループの係数は、転置操作に基づいて並べ替えることができる。現在のブロックのフィルタリングされたサンプルは、フィルタの並べ替えられた係数に基づいて中心対称形状を有するフィルタを現在のブロックに適用することによって、再構成することができる。
【0024】
本方法において、複数のグループのうちの第1のグループの並べ替えられた係数および複数のグループのうちの第2のグループの係数は、交換することができる。第1のグループの並べ替えられた係数および第2のグループの係数は、フィルタの中心位置から第1の距離であってよい。
【0025】
いくつかの実施形態において、転置操作は、回転操作、垂直フリップ操作、または対角フリップ操作のうちの1つであってよい。
【0026】
いくつかの実施形態において、第1のグループの係数の数は、第2のグループの係数の数に等しくてよい。
【0027】
第1の距離は、（i）第1のグループの第1の係数の第1の座標値の絶対値と、（ii）第1のグループの第1の係数の第2の座標値の絶対値との和に等しくてよい。
【0028】
第1のグループの第1の係数の第1の座標値と、第2のグループの第1の係数の第2の座標値との和が、0に等しくてよい。第1のグループの第1の係数の第2の座標値は、第2のグループの第1の係数の第1の座標値に等しくてよい。
【0029】
一実施形態において、複数のグループの各々の係数は、それぞれのメモリ空間に記憶されてよい。それぞれのメモリ空間は、（i）128ビット以下の第1の記憶ボリューム、および（ii）256ビット以下の第2の記憶ボリュームのうちの1つを有することができる。
【0030】
一実施形態において、複数のグループのうちの1つ以上のグループの係数が、メモリ空間に記憶され、メモリ空間は、（i）128ビットの第1の記憶ボリューム、および（ii）256ビットの第2の記憶ボリュームのうちの1つを有する。
【0031】
本方法において、複数のグループの各グループは、複数のグループにおいて対応するグループを有することができる。複数のグループのそれぞれのグループの係数、および複数のグループにおける対応するグループの係数は、フィルタの中心位置から同じ距離であってよい。複数のグループのそれぞれのグループと、複数のグループにおける対応するグループとが、同じ数の係数を含むことができる。
【0032】
本方法において、フィルタの複数の係数は、予測情報においてシグナリングされた順序で、予測情報に基づいて決定することができる。さらに、フィルタの決定された複数の係数は、複数のグループにグループ化することができる。
【0033】
本開示の別の態様によれば、装置が提供される。装置は、処理回路を含む。処理回路は、ビデオエンコーディング／デコーディングのための方法のいずれかを実行するように構成することができる。
【0034】
本開示の態様は、ビデオデコーディングのためのコンピュータによって実行されたときに、ビデオのエンコーディング／デコーディングのための方法のいずれかをコンピュータに実行させる命令を記憶した非一時的コンピュータ可読媒体も提供する。
【0035】
本開示の主題のさらなる特徴、性質、および種々の利点が、以下の詳細な説明および添付の図面から、さらに明らかになるであろう。
【図面の簡単な説明】
【0036】
【図1A】イントラ予測モードの例示的なサブセットの概略図である。
【図1B】例示的なイントラ予測方向の図である。
【図2】一例における現在のブロックおよびその周囲の空間マージ候補の概略図である。
【図3】一実施形態による通信システム（300）の簡略化されたブロック図の概略図である。
【図4】一実施形態による通信システム（400）の簡略化されたブロック図の概略図である。
【図5】一実施形態によるデコーダの簡略化されたブロック図の概略図である。
【図6】一実施形態によるエンコーダの簡略化されたブロック図の概略図である。
【図7】別の実施形態によるエンコーダのブロック図を示している。
【図8】別の実施形態によるデコーダのブロック図を示している。
【図9】いくつかの実施形態による例示的な適応ループフィルタ（ALF）の概略図である。
【図10A】いくつかの実施形態によるALFの係数の第1の例示的な転置の概略図である。
【図10B】いくつかの実施形態によるALFの係数の第2の例示的な転置の概略図である。
【図10C】いくつかの実施形態によるALFの係数の第3の例示的な転置の概略図である。
【図11】いくつかの実施形態によるALFの係数のグループ化の概略図である。
【図12A】いくつかの実施形態によるALFのグループ化された係数の第1の例示的な転置の概略図である。
【図12B】いくつかの実施形態によるALFのグループ化された係数の第2の例示的な転置の概略図である。
【図12C】いくつかの実施形態によるALFのグループ化された係数の第3の例示的な転置の概略図である。
【図13】いくつかの実施形態によるALFのグループ化された係数の座標の概略図である。
【図14】いくつかの実施形態によるALFのグループ化された係数の座標の概略図である。
【図15】いくつかの実施形態によるALFのグループ化された係数の座標の概略図である。
【図16】本開示のいくつかの実施形態による例示的なデコーディングプロセスを概説するフローチャートを示している。
【図17】本開示のいくつかの実施形態による例示的なエンコーディングプロセスを概説するフローチャートを示している。
【図18】一実施形態によるコンピュータシステムの概略図である。
【発明を実施するための形態】
【0037】
図3が、本開示の一実施形態による通信システム（300）の簡略化したブロック図を示している。通信システム（300）は、例えば、ネットワーク（350）を介して互いに通信することができる複数の端末デバイスを含む。例えば、通信システム（300）は、ネットワーク（350）を介して相互接続された端末デバイス（310）および（320）の第1のペアを含む。図3の例において、端末デバイス（310）および（320）の第1のペアは、データの単方向送信を実行する。例えば、端末デバイス（310）は、ネットワーク（350）を介して他方の端末デバイス（320）に送信するためにビデオデータ（例えば、端末デバイス（310）によってキャプチャされたビデオピクチャのストリーム）をコーディングしてもよい。エンコーディングされたビデオデータを、1つ以上のコーディングされたビデオビットストリームの形式で送信することが可能である。端末デバイス（320）は、ネットワーク（350）からコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示し得る。一方向データ伝送は、メディアサービング用途などで一般的であり得る。
【0038】
別の例において、通信システム（300）は、例えばビデオ会議の最中に生じ得るコーディングされたビデオデータの双方向伝送を実行する端末デバイス（330）および（340）の第2のペアを含む。データの双方向送信の場合、一例において、端末デバイス（330）および（340）の各端末デバイスは、ネットワーク（350）を介して端末デバイス（330）および（340）の他方の端末デバイスに送信するために、ビデオデータ（例えば、端末デバイスによってキャプチャされたビデオピクチャのストリーム）をコーディングし得る。さらに、端末デバイス（330）および（340）の各端末デバイスは、端末デバイス（330）および（340）の他方の端末デバイスによって送信されたコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元し、復元されたビデオデータに従ってアクセス可能な表示装置にビデオピクチャを表示し得る。
【0039】
図3の例において、端末デバイス（310）、（320）、（330）、および（340）は、サーバ、パーソナルコンピュータ、およびスマートフォンとして示され得るが、本開示の原理はそのように限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、および／または専用ビデオ会議機器における用途が考えられる。ネットワーク（350）は、例えば有線（配線された）および／または無線通信ネットワークなどの端末デバイス（310）、（320）、（330）、および（340）間でコーディングされたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（350）は、回路交換チャネルおよび／またはパケット交換チャネルにてデータを交換し得る。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク、および／またはインターネットを含む。今回の検討の目的にとって、ネットワーク（350）のアーキテクチャおよびトポロジーは、本明細書において以下で説明されない限り、本開示の動作にとって重要ではないかもしれない。
【0040】
図4が、本開示の主題の用途の一例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示している。本開示の主題は、例えば、ビデオ会議、デジタルテレビ、CD、DVD、メモリスティック、などを含むデジタルメディアへの圧縮ビデオの記憶、など、他のビデオ対応の用途に等しく適用することができる。
【0041】
ストリーミングシステムは、例えばデジタルカメラなどの圧縮されていないビデオピクチャのストリーム（402）を作成するビデオソース（401）を含むことができるキャプチャサブシステム（413）を含み得る。一例では、ビデオピクチャのストリーム（402）は、デジタルカメラによって撮影されたサンプルを含む。ビデオピクチャのストリーム（402）は、エンコーディングされたビデオデータ（404）（または、コーディングされたビデオビットストリーム）と比べてデータ量が多いことを強調するために太線で示されており、ビデオソース（401）に結合したビデオエンコーダ（403）を含む電子デバイス（420）によって処理され得る。ビデオエンコーダ（403）は、以下でさらに詳細に説明されるように、本開示の主題の態様を可能にし、あるいは実装するために、ハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。エンコーディングされたビデオデータ（404）（または、エンコーディングされたビデオビットストリーム（404））は、ビデオピクチャのストリーム（402）と比較してデータ量が少ないことを強調するために細い線で示されており、将来の使用のためにストリーミングサーバ（405）に記憶され得る。図4のクライアントサブシステム（406）および（408）などの1つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（405）にアクセスして、エンコーディングされたビデオデータ（404）のコピー（407）および（409）を読み出すことができる。クライアントサブシステム（406）は、例えば電子デバイス（430）内にビデオデコーダ（410）を含むことができる。ビデオデコーダ（410）は、エンコーディングされたビデオデータの入力コピー（407）をデコーディングし、ディスプレイ（412）（例えば、表示画面）または他のレンダリングデバイス（図示せず）上にレンダリングされ得るビデオピクチャの出力ストリーム（411）を作成する。一部のストリーミングシステムでは、エンコーディングされたビデオデータ（404）、（407）、および（409）（例えば、ビデオビットストリーム）を、特定のビデオコーディング／圧縮規格に従ってエンコーディングすることができる。それらの規格の例として、ITU-T勧告H.265が挙げられる。一例では、開発中のビデオコーディング規格が、多用途ビデオコーディング（VVC）として非公式に知られている。本開示の主題は、VVCの文脈において使用され得る。
【0042】
電子デバイス（420）および（430）が、他の構成要素（図示せず）を含むことができることに留意されたい。例えば、電子デバイス（420）が、ビデオデコーダ（図示せず）を含むことができ、電子デバイス（430）も、ビデオエンコーダ（図示せず）を含むことができる。
【0043】
図5が、本開示の一実施形態によるビデオデコーダ（510）のブロック図を示している。ビデオデコーダ（510）は、電子デバイス（530）に含まれることが可能である。電子デバイス（530）は、受信機（531）（例えば、受信回路）を含むことができる。ビデオデコーダ（510）を、図4の例におけるビデオデコーダ（410）の代わりに使用することができる。
【0044】
受信機（531）は、ビデオデコーダ（510）によってデコーディングされるべき1つ以上のコーディングされたビデオシーケンスを受信することができ、同じ実施形態または別の実施形態においては、一度に1つのコーディングされたビデオシーケンスを受信し、各々のコーディングされたビデオシーケンスのデコーディングは、他のコーディングされたビデオシーケンスから独立である。コーディングされたビデオシーケンスは、チャネル（501）から受信されてよく、チャネル（501）は、エンコーディングされたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであり得る。受信機（531）は、エンコーディングされたビデオデータを、例えばコーディングされたオーディオデータおよび／または補助データストリームなどの他のデータと共に受信してよく、それらは、それらのそれぞれの使用エンティティ（図示せず）へと転送されてよい。受信機（531）は、コーディングされたビデオシーケンスをその他のデータから分離することができる。ネットワークジッタに対抗するために、受信機（531）とエントロピーデコーダ／パーサ（520）（以下では、「パーサ（520）」）との間にバッファメモリ（515）を結合させることができる。特定の用途において、バッファメモリ（515）は、ビデオデコーダ（510）の一部である。他の用途において、バッファメモリ（515）は、ビデオデコーダ（510）の外部にあってよい（図示せず）。さらに他の用途において、例えば、ネットワークジッタに対抗するために、ビデオデコーダ（510）の外部にバッファメモリ（図示せず）が存在し、加えて、例えば、プレイアウトタイミングを処理するために、ビデオデコーダ（510）の内部に別のバッファメモリ（515）が存在し得る。受信機（531）が十分な帯域幅および可制御性の記憶／転送デバイスからデータを受信し、あるいはアイソシンクロナスネットワークからデータを受信しているとき、バッファメモリ（515）は不要であってよく、あるいは小さくてよい。インターネットなどのベストエフォートパケットネットワークにおける使用の場合、バッファメモリ（515）が必要とされる可能性があり、バッファメモリ（515）は、比較的大きくてよく、好都合には適応サイズであってよく、ビデオデコーダ（510）の外部のオペレーティングシステムまたは同様の要素（図示せず）に少なくとも部分的に実装されてよい。
【0045】
ビデオデコーダ（510）は、コーディングされたビデオシーケンスからシンボル（521）を再構成するためのパーサ（520）を含み得る。これらのシンボルのカテゴリは、ビデオデコーダ（510）の動作を管理するために使用される情報を含み、潜在的には、図5に示したように、電子デバイス（530）の一体の一部分ではないが電子デバイス（530）に結合してよいレンダデバイス（512）（例えば、表示画面）などのレンダリングデバイスを制御するための情報を含む。レンダリングデバイスのための制御情報は、補足拡張情報（SEIメッセージ）またはビデオユーザビリティ情報（VUI）のパラメータセットフラグメント（図示せず）の形式であってよい。パーサ（520）は、受信されたコーディングされたビデオシーケンスを構文解析／エントロピーデコーディングすることができる。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術または規格に従うことができ、可変長コーディング、ハフマンコーディング、ならびに文脈依存性を伴い、もしくは伴わない算術コーディング、などを含むさまざまな原理に従い得る。パーサ（520）は、コーディングされたビデオシーケンスから、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも1つについてのサブグループパラメータのセットを、グループに対応する少なくとも1つのパラメータに基づいて抽出し得る。サブグループは、グループオブピクチャ（GOP）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（CU）、ブロック、変換ユニット（TU）、予測ユニット（PU）、などを含むことができる。さらに、パーサ（520）は、コーディングされたビデオシーケンスから、変換係数、量子化パラメータ値、動きベクトル、などの情報も抽出し得る。
【0046】
パーサ（520）は、シンボル（521）を作成するために、バッファメモリ（515）から受信されたビデオシーケンスに対してエントロピーデコーディング／パース操作を実行し得る。
【0047】
シンボル（521）の再構成は、コーディングされたビデオピクチャまたはその一部のタイプ（インターピクチャおよびイントラピクチャ、インターブロックおよびイントラブロックなど）、ならびに他の要因に応じて、複数の異なるユニットを含むことができる。どのユニットがどのように関与するかは、パーサ（520）によってコーディングされたビデオシーケンスから構文解析されたサブグループ制御情報によって制御され得る。パーサ（520）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、分かりやすくするために図示されていない。
【0048】
すでに述べた機能ブロック以外に、ビデオデコーダ（510）を、以下で説明されるように、いくつかの機能ユニットに概念的に細分化することができる。商業的制約の下で動作する実際の実装形態では、これらのユニットの多くは、互いに密接に相互作用し、少なくとも部分的に互いに統合されることが可能である。しかしながら、本開示の主題を説明する目的に関して、以下の機能ユニットへの概念的細分化が適切である。
【0049】
第1のユニットは、スケーラ／逆変換ユニット（551）である。スケーラ／逆変換ユニット（551）は、量子化変換係数、ならびにどの変換を使用するか、ブロックサイズ、量子化係数、量子化スケーリング行列、などを含む制御情報を、パーサ（520）からシンボル（521）として受信する。スケーラ／逆変換ユニット（551）は、アグリゲータ（555）に入力することができるサンプル値を含むブロックを出力することができる。
【0050】
場合によっては、スケーラ／逆変換（551）の出力サンプルは、イントラコーディングされたブロック、すなわち、以前に再構成されたピクチャからの予測情報を使用していないが、現在のピクチャの以前に再構成された部分からの予測情報を使用することができるブロックに関係し得る。そのような予測情報は、イントラピクチャ予測ユニット（552）によって提供され得る。場合によっては、イントラピクチャ予測ユニット（552）は、現在のピクチャバッファ（558）からフェッチされた周囲のすでに再構築された情報を使用して、再構築中のブロックと同じサイズおよび形状のブロックを生成する。現在のピクチャバッファ（558）は、例えば、部分的に再構築された現在のピクチャおよび／または完全に再構築された現在のピクチャをバッファする。アグリゲータ（555）は、場合によっては、サンプルごとに、イントラ予測ユニット（552）が生成した予測情報を、スケーラ／逆変換ユニット（551）によって提供される出力サンプル情報に追加する。
【0051】
他の場合に、スケーラ／逆変換ユニット（551）の出力サンプルは、インターコーディングされ、潜在的に動き補償されたブロックに関係し得る。そのような場合、動き補償予測ユニット（553）が、参照ピクチャメモリ（557）にアクセスして、予測に使用されるサンプルをフェッチすることができる。ブロックに関係するシンボル（521）に従ってフェッチされたサンプルを動き補償した後に、これらのサンプルを、出力サンプル情報を生成するために、アグリゲータ（555）によってスケーラ／逆変換ユニット（551）の出力（この場合、残差サンプルまたは残差信号と呼ばれる）に追加することが可能である。動き補償予測ユニット（553）が予測サンプルをフェッチする参照ピクチャメモリ（557）内のアドレスは、例えば、X、Y、および参照ピクチャ成分を有することができるシンボル（521）の形式の動き補償予測ユニット（553）に利用可能な動きベクトルによって制御されることが可能である。さらに、動き補償は、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（557）からフェッチされたサンプル値の補間、動きベクトル予測機構、なども含むことができる。
【0052】
アグリゲータ（555）の出力サンプルを、ループフィルタユニット（556）における種々のループフィルタリング技術の対象とすることができる。ビデオ圧縮技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームと呼ばれることもある）に含まれるパラメータによって制御され、パーサ（520）からのシンボル（521）としてループフィルタユニット（556）に利用可能にされるインループフィルタ技術を含むことができるが、コーディングされたピクチャまたはコーディングされたビデオシーケンスの（デコーディングの順序において）先行する部分のデコーディング中に取得されたメタ情報に応答することもでき、以前に再構成され、ループフィルタリングされたサンプル値に応答することもできる。
【0053】
ループフィルタユニット（556）の出力は、レンダデバイス（512）に出力できるだけでなく、将来のインターピクチャ予測において使用するために参照ピクチャメモリ（557）に記憶することもできるサンプルストリームであり得る。
【0054】
特定のコーディングされたピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用することが可能である。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えば、パーサ（520）によって）参照ピクチャとして識別されると、現在のピクチャバッファ（558）は、参照ピクチャメモリ（557）の一部になることができ、次のコーディングされたピクチャの再構成を開始する前に、新しい現在のピクチャバッファを再び割り当てることができる。
【0055】
ビデオデコーダ（510）は、例えばITU-T Rec.H.265などの規格における所定のビデオ圧縮技術に従ってデコーディング動作を実行し得る。コーディングされたビデオシーケンスが、ビデオ圧縮技術または規格のシンタックスと、ビデオ圧縮技術または規格において文書化されたプロファイルの両方を順守するという意味で、コーディングされたビデオシーケンスは、使用されているビデオ圧縮技術または規格によって指定されたシンタックスに準拠することができる。具体的には、プロファイルは、ビデオ圧縮技術または規格において利用可能なすべてのツールの中から、特定のツールを、そのプロファイル下でそれらだけを利用することができるツールとして選択することができる。また、コンプライアンスのために、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術または規格のレベルによって定義された範囲内にあることが必要であってよい。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート（例えば、1秒当たりのメガサンプル数で測定される）、最大参照ピクチャサイズ、などを制限する。レベルによって設定される制限は、場合によっては、仮想参照デコーダ（HRD）仕様およびコーディングされたビデオシーケンスでシグナリングされるHRDバッファ管理のためのメタデータによってさらに制限され得る。
【0056】
一実施形態において、受信機（531）は、エンコーディングされたビデオと共に追加の（冗長な）データを受信し得る。追加のデータは、コーディングされたビデオシーケンスの一部として含まれ得る。追加のデータは、ビデオデコーダ（510）によって、データを適切にデコーディングするため、および／または元のビデオデータをより正確に再構築するために使用され得る。追加のデータは、例えば、時間、空間、または信号対雑音比（SNR）増強層、冗長スライス、冗長ピクチャ、前方誤り訂正コード、などの形態であり得る。
【0057】
図6が、本開示の一実施形態によるビデオエンコーダ（603）のブロック図を示している。ビデオエンコーダ（603）は電子デバイス（620）に含まれる。電子デバイス（620）は送信機（640）（例えば、送信回路）を含む。ビデオエンコーダ（603）は、図4の例のビデオエンコーダ（403）の代わりに使用され得る。
【0058】
ビデオエンコーダ（603）は、ビデオエンコーダ（603）によってコーディングされるべきビデオ画像を取り込み得るビデオソース（601）（図6の例では電子デバイス（620）の一部ではない）からビデオサンプルを受信し得る。別の例では、ビデオソース（601）は電子デバイス（620）の一部である。
【0059】
ビデオソース（601）は、ビデオエンコーダ（603）によってコーディングされるべきソースビデオシーケンスを、任意の適切なビット深度（例えば、8ビット、10ビット、12ビット、...）、任意の色空間（例えば、BT.601 Y CrCB、RGB、...）、および任意の適切なサンプリング構造（例えば、Y CrCb 4：2：0、Y CrCb 4：4：4）であり得るデジタルビデオサンプルストリームの形態で提供し得る。メディアサービングシステムでは、ビデオソース（601）は、以前に準備されたビデオを記憶する記憶デバイスであり得る。ビデオ会議システムでは、ビデオソース（601）は、ビデオシーケンスとしてローカル画像情報をキャプチャするカメラであり得る。ビデオデータは、順番に見たときに動きを伝える複数の個別のピクチャとして提供され得る。ピクチャ自体は、ピクセルの空間アレイとして編成されてよく、各ピクセルは、使用中のサンプリング構造、色空間、などに応じて、1つ以上のサンプルを含むことができる。当業者であれば、ピクセルとサンプルとの間の関係を容易に理解することができる。以下の説明はサンプルに焦点を当てる。
【0060】
一実施形態によれば、ビデオエンコーダ（603）は、リアルタイムで、または用途によって必要とされる他の任意の時間制約の下で、ソースビデオシーケンスのピクチャをコーディングされたビデオシーケンス（643）へとコーディングおよび圧縮し得る。適切なコーディング速度を実施することが、コントローラ（650）の1つの機能である。いくつかの実施形態では、コントローラ（650）は、以下で説明される他の機能ユニットを制御し、それらの他の機能ユニットに機能的に結合する。結合は、分かりやすくするために描かれていない。コントローラ（650）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、…）、ピクチャサイズ、グループオブピクチャ（GOP）レイアウト、最大動きベクトル探索範囲、などを含むことができる。コントローラ（650）を、特定のシステム設計に合わせて最適化されたビデオエンコーダ（603）に関係する他の適切な機能を有するように構成することができる。
【0061】
いくつかの実施形態では、ビデオエンコーダ（603）は、コーディングループで動作するように構成される。過度に簡略化された説明として、一例では、コーディングループは、ソースコーダ（630）（例えば、コーディングされるべき入力ピクチャと、参照ピクチャとに基づいて、シンボルストリームなどのシンボルを作成する役割を担う）と、ビデオエンコーダ（603）に組み込まれた（ローカル）デコーダ（633）とを含むことができる。（本開示の主題において考慮されるビデオ圧縮技術においてはシンボルとコーディングされたビデオビットストリームとの間のいかなる圧縮も可逆であるため）デコーダ（633）は、（リモート）デコーダが作成するであろうやり方と同様のやり方で、シンボルを再構築してサンプルデータを作成する。再構築されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（634）に入力される。シンボルストリームのデコーディングは、デコーダの位置（ローカルまたはリモート）に関係なくビットイグザクトな結果をもたらすため、参照ピクチャメモリ（634）の内容も、ローカルエンコーダとリモートエンコーダとの間でビットイグザクトである。言い換えれば、エンコーダの予測部分は、デコーディング中に予測を使用するときにデコーダが「見る」ことになるのと全く同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャの同期性（および、例えばチャネル誤差が原因で同期性を維持することができない場合には、結果として生じるドリフト）のこの基本原理は、いくつかの関連技術においても使用される。
【0062】
「ローカル」デコーダ（633）の動作は、図5に関連して上記ですでに詳細に説明したように、ビデオデコーダ（510）などの「リモート」デコーダの動作と同じであり得る。図5も簡単に参照すると、しかしながら、シンボルが利用可能であり、エントロピーコーダ（645）およびパーサ（520）によるコーディングされたビデオシーケンスへのシンボルのエンコーディング／デコーディングが可逆であり得るため、バッファメモリ（515）を含むビデオデコーダ（510）のエントロピー復号部分およびパーサ（520）は、ローカルデコーダ（633）においては完全に実装されない場合がある。
【0063】
この時点で言えることは、デコーダ内に存在する構文解析／エントロピーでコーディングを除く任意のデコーダ技術もまた必然的に、対応するエンコーダにおいて、実質的に同一の機能形態で存在する必要があるということである。このため、本開示の主題は、デコーダの動作に焦点を当てる。エンコーダ技術の説明は、エンコーダ技術が包括的に記載されるデコーダ技術の逆であるため、省略することができる。特定のエリアにおいてのみ、より詳細な説明が必要であり、以下に示される。
【0064】
動作中、いくつかの例では、ソースコーダ（630）は、「参照ピクチャ」として指定されたビデオシーケンスからの1つ以上の以前にコーディングされたピクチャを参照して入力ピクチャを予測的にコーディングする動き補償予測コーディングを実行し得る。このようにして、コーディングエンジン（632）は、入力ピクチャのピクセルブロックと、入力ピクチャへの予測参照として選択され得る参照ピクチャの画素ブロックとの間の差分をコーディングする。
【0065】
ローカルビデオデコーダ（633）は、ソースコーダ（630）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータをデコーディングし得る。コーディングエンジン（632）の動作は、好都合には、非可逆プロセスであってよい。コーディングされたビデオデータが（図6には示されていない）ビデオデコーダでデコーディングされ得るとき、再構築されたビデオシーケンスは、典型的には、いくつかの誤差を伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（633）は、参照ピクチャに対してビデオデコーダによって実行され得るデコーディングプロセスを複製し、再構築された参照ピクチャを参照ピクチャキャッシュ（634）に記憶させ得る。このようにして、ビデオエンコーダ（603）は、（伝送誤差なしで）遠端ビデオデコーダによって取得される再構成された参照ピクチャと共通の内容を有する再構成された参照ピクチャのコピーをローカルに記憶し得る。
【0066】
予測器（635）は、コーディングエンジン（632）のための予測探索を実行し得る。すなわち、コーディングされる新しいピクチャについて、予測器（635）は、新しいピクチャのための適切な予測参照として役立つことができる（候補参照画素ブロックとしての）サンプルデータ、あるいは参照ピクチャ動きベクトル、ブロック形状、などの特定のメタデータを求めて、参照ピクチャメモリ（634）を探索することができる。予測器（635）は、適切な予測参照を見つけるために、ピクセルブロックごとのサンプルブロックのやり方で動作することができる場合によっては、予測器（635）によって取得された探索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（634）に記憶された複数の参照ピクチャから引き出された予測参照を有し得る。
【0067】
コントローラ（650）は、例えば、ビデオデータをエンコーディングするために使用されるパラメータおよびサブグループパラメータの設定を含むソースコーダ（630）のコーディング動作を管理し得る。
【0068】
前述のすべての機能ユニットの出力は、エントロピーコーダ（645）でエントロピーコーディングされ得る。エントロピーコーダ（645）は、ハフマンコーディング、可変長コーディング、算術コーディング、などといった技術に従ってシンボルを可逆圧縮することにより、さまざまな機能ユニットによって生成されたシンボルをコーディングされたビデオシーケンスに変換する。
【0069】
送信機（640）は、エントロピーコーダ（645）によって作成されたコーディングされたビデオシーケンスを、エンコーディングされたビデオデータを記憶することになる記憶デバイスへのハードウェア／ソフトウェアリンクであり得る通信チャネル（660）を介した送信に備えてバッファし得る。送信機（640）は、ビデオコーダ（603）からのコーディングされたビデオデータを、送信されるべき他のデータ、例えばコーディングされたオーディオデータおよび／または補助データストリーム（ソースは図示せず）とマージし得る。
【0070】
コントローラ（650）は、ビデオエンコーダ（603）の動作を管理し得る。コーディング中、コントローラ（650）は、各々のコーディングされたピクチャに特定のコーディングされたピクチャタイプを割り当てることができ、これは、それぞれのピクチャに適用され得るコーディング技法に影響を及ぼし得る。例えば、ピクチャは、多くの場合、以下のピクチャタイプのうちの1つとして割り当てられ得る。
【0071】
イントラピクチャ（Iピクチャ）は、シーケンス内のいかなる他のピクチャも予測のソースとして使用せずにコーディングおよびデコーディングされ得るピクチャであり得る。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（「IDR」）ピクチャを含む異なるタイプのイントラピクチャを可能にする。当業者であれば、Iピクチャのそれらの変形ならびにそれらのそれぞれの用途および特徴を認識している。
【0072】
予測ピクチャ（Pピクチャ）は、最大で1つの動きベクトルおよび参照インデックスを使用して各ブロックのサンプル値を予測するイントラ予測またはインター予測を使用してコーディングおよびデコーディングされ得るピクチャであり得る。
【0073】
双方向予測ピクチャ（Bピクチャ）は、最大で2つの動きベクトルおよび参照インデックスを使用して各ブロックのサンプル値を予測するイントラ予測またはインター予測を使用してコーディングおよびデコーディングされ得るピクチャであり得る。同様に、複数予測ピクチャは、単一のブロックの再構築のために3つ以上の参照ピクチャおよび関連のメタデータを使用することができる。
【0074】
ソースピクチャは、一般に、複数のサンプルブロック（例えば、それぞれ4×4、8×8、4×8、または16×16のサンプルからなるブロック）に空間的に細分化され、ブロックごとにコーディングされ得る。ブロックは、ブロックのそれぞれのピクチャに適用されたコーディング割り当てによって決定されるように他の（すでにコーディングされた）ブロックを参照して予測的にコーディングされ得る。例えば、Iピクチャのブロックは、非予測的にコーディングされ得るか、あるいは同じピクチャのすでにコーディングされたブロックを参照して予測的にコーディングされ得る（空間予測またはイントラ予測）。Pピクチャのピクセルブロックは、1つの以前にコーディングされた参照ピクチャを参照して、空間予測を介し、あるいは時間予測を介して、予測的にコーディングされ得る。Bピクチャのブロックは、1つまたは2つの以前にコーディングされた参照ピクチャを参照して、空間予測を介し、あるいは時間予測を介して、予測的にコーディングされ得る。
【0075】
ビデオエンコーダ（603）は、ITU-T Rec.H.265などの所定のビデオコーディング技術または規格に従ってコーディング動作を実行し得る。その動作において、ビデオエンコーダ（603）は、入力ビデオシーケンスにおける時間および空間冗長性を利用する予測コーディング動作を含む種々の圧縮動作を実行することができる。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術または規格によって指定された構文に準拠し得る。
【0076】
一実施形態では、送信機（640）は、エンコーディングされたビデオと共に追加のデータを送信し得る。ソースコーダ（630）は、そのようなデータをコーディングされたビデオシーケンスの一部として含み得る。追加のデータは、時間／空間／SNR増強層、冗長ピクチャおよびスライスなどの他の形態の冗長データ、SEIメッセージ、VUIパラメータセットフラグメント、などを含み得る。
【0077】
ビデオは、時系列の複数のソースピクチャ（ビデオピクチャ）として取り込まれ得る。イントラピクチャ予測（イントラ予測と略されることも多い）は、所与のピクチャ内の空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間または他の）相関を利用する。一例では、現在のピクチャと呼ばれるエンコーディング／デコーディング中の特定のピクチャが、ブロックに分割される。現在のピクチャ内のブロックが、ビデオ内の以前にコーディングされて今でもバッファされている参照ピクチャ内の参照ブロックに類似しているとき、現在のピクチャ内のブロックは、動きベクトルと呼ばれるベクトルによってコーディングされることが可能である。動きベクトルは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されている場合には、参照ピクチャを識別する第3の次元を有することができる。
【0078】
いくつかの実施形態では、インターピクチャ予測において双予測技術を使用することができる。双予測技術によれば、第1の参照ピクチャおよび第2の参照ピクチャなどの2つの参照ピクチャが使用され、これらは両方ともビデオ内で現在のピクチャよりもデコーディング順序において前にある（しかしながら、表示順序は、それぞれ過去および未来のものであってもよい）。現在のピクチャ内のブロックは、第1の参照ピクチャ内の第1の参照ブロックを指し示す第1の動きベクトル、および第2の参照ピクチャ内の第2の参照ブロックを指し示す第2の動きベクトルによってコーディングされ得る。ブロックは、第1の参照ブロックと第2の参照ブロックとの組み合わせによって予測され得る。
【0079】
さらに、インターピクチャ予測において、コーディング効率を改善するために、マージモード技術を使用することができる。
【0080】
本開示のいくつかの実施形態によれば、インターピクチャ予測およびイントラピクチャ予測などの予測は、ブロック単位で実行される。例えば、HEVC規格によれば、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（CTU）に分割され、ピクチャ内のCTUは、64×64ピクセル、32×32ピクセル、または16×16ピクセルなどの同じサイズを有する。一般に、CTUは、3つのコーディングツリーブロック（CTB）を含み、それらは1つのルマCTBおよび2つのクロマCTBである。各CTUは、1つまたは複数のコーディングユニット（CU）に再帰的に四分木分割されることが可能である。例えば、64×64ピクセルのCTUは、64×64ピクセルの1つのCU、または32×32ピクセルの4つのCU、または16×16ピクセルの16個のCUに分割されることが可能である。一例では、各CUが、インター予測タイプまたはイントラ予測タイプなどのCUの予測タイプを決定するために解析される。CUは、時間的予測可能性および／または空間的予測可能性に応じて、1つ以上の予測ユニット（PU）に分割される。一般に、各PUは、1つのルマ予測ブロック（PB）および2つのクロマPBを含む。一実施形態では、コーディング（エンコーディング／デコーディング）における予測動作は、予測ブロック単位で実行される。予測ブロックの例としてルマ予測ブロックを使用すると、予測ブロックは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセル、などといったピクセルの値（例えば、ルマ値）の行列を含む。
【0081】
図7が、本開示の別の実施形態によるビデオエンコーダ（703）の図を示している。ビデオエンコーダ（703）は、ビデオピクチャのシーケンス内の現在のビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受け取り、処理ブロックを、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャにエンコーディングするように構成される。一例では、ビデオエンコーダ（703）は、図4の例のビデオエンコーダ（403）の代わりに使用される。
【0082】
HEVCの例では、ビデオエンコーダ（703）は、例えば8×8サンプルの予測ブロックなどの処理ブロックのサンプル値の行列を受け取る。ビデオエンコーダ（703）は、例えばレート歪み最適化を使用して処理ブロックがイントラモード、インターモード、または双予測モードのどれを使用して最適にコーディングされるかを決定する。処理ブロックがイントラモードでコーディングされることになる場合、ビデオエンコーダ（703）は、イントラ予測技術を使用して、処理ブロックをコーディングされたピクチャにエンコーディングし、処理ブロックがインターモードまたは双予測モードでコーディングされることになる場合、ビデオエンコーダ（703）は、インター予測技術または双予測技術をそれぞれ使用して、処理ブロックをコーディングされたピクチャにエンコーディングし得る。特定のビデオコーディング技術において、マージモードは、予測子の外部のコーディングされた動きベクトル成分の助けを借りずに動きベクトルが1つ以上の動きベクトル予測子から導出されるインターピクチャ予測サブモードであり得る。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在してもよい。一例では、ビデオエンコーダ（703）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他の構成要素を含む。
【0083】
図7の例では、ビデオエンコーダ（703）は、図7に示されるように互いに結合したインターエンコーダ（730）、イントラエンコーダ（722）、残差計算器（723）、スイッチ（726）、残差エンコーダ（724）、汎用コントローラ（721）、およびエントロピーエンコーダ（725）を含む。
【0084】
インターエンコーダ（730）は、現在のブロック（例えば、処理ブロック）のサンプルを受け取り、そのブロックを参照ピクチャ内の1つ以上の参照ブロック（例えば、前のピクチャおよび後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターコーディング技術による冗長情報、動きベクトル、マージモード情報の記述）を生成し、任意の適切な技術を使用してインター予測情報に基づいてインター予測結果（例えば、予測されたブロック）を計算するように構成される。いくつかの例では、参照ピクチャは、エンコーディングされたビデオ情報に基づいてデコーディングされたデコーディングされた参照ピクチャである。
【0085】
イントラエンコーダ（722）は、現在のブロック（例えば、処理ブロック）のサンプルを受け取り、場合によっては、ブロックを同じピクチャ内のすでにコーディングされたブロックと比較し、変換後の量子化係数を生成し、場合によってはイントラ予測情報（例えば、1つ以上のイントラエンコーディング技術によるイントラ予測方向情報）も生成するように構成される。一例では、イントラエンコーダ（722）は、イントラ予測情報と、同じピクチャ内の参照ブロックとに基づいて、イントラ予測結果（例えば、予測されたブロック）も計算する。
【0086】
汎用コントローラ（721）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（703）の他の構成要素を制御するように構成される。一例では、汎用コントローラ（721）は、ブロックのモードを決定し、モードに基づいてスイッチ（726）に制御信号を提供する。例えば、モードがイントラモードである場合、汎用コントローラ（721）は、残差計算器（723）による使用のためにイントラモード結果を選択するようにスイッチ（726）を制御し、イントラ予測情報を選択して、イントラ予測情報をビットストリームに含ませるように、エントロピーエンコーダ（725）を制御し、モードがインターモードである場合、汎用コントローラ（721）は、残差計算器（723）による使用のためにインター予測結果を選択するようにスイッチ（726）を制御し、インター予測情報を選択して、インター予測情報をビットストリームに含ませるように、エントロピーエンコーダ（725）を制御する。
【0087】
残差計算器（723）は、受け取ったブロックと、イントラエンコーダ（722）またはインターエンコーダ（730）から選択された予測結果との差分（残差データ）を計算するように構成される。残差エンコーダ（724）は、残差データに基づいて動作して、残差データをエンコーディングして変換係数を生成するように構成される。一例では、残差エンコーダ（724）は、残差データを空間ドメインから周波数ドメインに変換し、変換係数を生成するように構成される。次いで、変換係数に量子化処理が施され、量子化変換係数が得られる。さまざまな実施形態において、ビデオエンコーダ（703）は残差デコーダ（728）も含む。残差デコーダ（728）は、逆変換を実行して、デコーディングされた残差データを生成するように構成される。デコーディングされた残差データを、イントラエンコーダ（722）およびインターエンコーダ（730）によって適切に使用することが可能である。例えば、インターエンコーダ（730）は、デコーディングされた残差データおよびインター予測情報に基づいて、デコーディングされたブロックを生成することができ、イントラエンコーダ（722）は、デコーディングされた残差データおよびイントラ予測情報に基づいて、デコーディングされたブロックを生成することができる。デコーディングされたブロックは、デコーディングされたピクチャを生成するために適切に処理され、デコーディングされたピクチャは、いくつかの例において、メモリ回路（図示せず）にバッファされ、参照ピクチャとして使用され得る。
【0088】
エントロピーエンコーダ（725）は、エンコーディングされたブロックを含むようビットストリームをフォーマットするように構成される。エントロピーエンコーダ（725）は、HEVC規格などの適切な規格に従って種々の情報を含めるように構成される。一例では、エントロピーエンコーダ（725）は、ビットストリームに、汎用制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、残差情報、および他の適切な情報を含めるように構成される。本開示の主題によれば、インターモードまたは双予測モードのどちらかのマージサブモードでブロックをコーディングするとき、残差情報は存在しないことに留意されたい。
【0089】
図8が、本開示の別の実施形態によるビデオデコーダ（810）の図を示している。ビデオデコーダ（810）は、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャを受け取り、コーディングされたピクチャをデコーディングして、再構築されたピクチャを生成するように構成される。一例では、ビデオデコーダ（810）は、図4の例のビデオデコーダ（410）の代わりに使用される。
【0090】
図8の例では、ビデオデコーダ（810）は、図8に示されるように互いに結合したエントロピーデコーダ（871）、インターデコーダ（880）、残差デコーダ（873）、再構成モジュール（874）、およびイントラデコーダ（872）を含む。
【0091】
エントロピーデコーダ（871）を、コーディングされたピクチャから、コーディングされたピクチャを構成する構文要素を表す特定のシンボルを再構成するように構成することができる。そのようなシンボルは、例えば、ブロックのコーディングのモード（例えば、イントラモード、インターモード、双予測モード、後2者におけるマージサブモードまたは他のサブモード、など）、イントラデコーダ（872）またはインターデコーダ（880）のそれぞれによる予測に使用される特定のサンプルまたはメタデータを識別することができる予測情報（例えば、イントラ予測やインター予測情報など）、例えば量子化変換係数の形式の残差情報、などを含むことができる。一例では、予測モードがインターモードまたは双予測モードである場合、インター予測情報がインターデコーダ（880）に提供され、予測タイプがイントラ予測タイプである場合、イントラ予測情報がイントラデコーダ（872）に提供される。残差情報は、逆量子化を受けることができ、残差デコーダ（873）に提供される。
【0092】
インターデコーダ（880）は、インター予測情報を受け取り、インター予測情報に基づいてインター予測結果を生成するように構成される。
【0093】
イントラデコーダ（872）は、イントラ予測情報を受け取り、イントラ予測情報に基づいて予測結果を生成するように構成される。
【0094】
残差デコーダ（873）は、逆量子化を実行して逆量子化変換係数を抽出し、逆量子化変換係数を処理して残差を周波数ドメインから空間ドメインに変換するように構成される。さらに、残差デコーダ（873）は、（量子化パラメータ（QP）を含めるために）特定の制御情報を必要とする場合もあり、その情報は、エントロピーデコーダ（871）によって提供され得る（これは少量の制御情報のみであり得るため、データ経路は図示しない）。
【0095】
再構成モジュール（874）は、空間ドメインにおいて、残差デコーダ（873）によって出力された残差と、（場合に応じてインター予測モジュールまたはイントラ予測モジュールによって出力された）予測結果とを組み合わせて、再構成されたピクチャ（再構成されたビデオの一部であり得る）の一部であり得る再構成されたブロックを形成するように構成される。視覚品質を改善するために、非ブロック化動作などの他の適切な動作を実行できることに留意されたい。
【0096】
ビデオエンコーダ（403）、（603）、および（703）、ならびにビデオデコーダ（410）、（510）、および（810）を、任意の適切な技術を使用して実装できることに留意されたい。一実施形態において、ビデオエンコーダ（403）、（603）、および（703）、ならびにビデオデコーダ（410）、（510）、および（810）は、1つ以上の集積回路を使用して実装され得る。別の実施形態において、ビデオエンコーダ（403）、（603）、および（603）、ならびにビデオデコーダ（410）、（510）、および（810）は、ソフトウェア命令を実行する1つ以上のプロセッサを使用して実装され得る。
【0097】
本開示は、ビデオコーディングにおける適応ループフィルタリングに関する実施形態を含む。実施形態は、適応ループフィルタ（ALF）係数の転置が単一命令複数データ（SIMD）ベクトル化形式で実施される場合に、ALF係数の転置を最小限の操作で済ませることができるように、ALF係数を事前配置することを含むことができる。
【0098】
2018年4月に、JVETは、次世代ビデオコーディングの標準化プロセスを正式に開始し、この新たな規格は、多用途ビデオコーディング（VVC）と名付けられ、JVETは、Joint Video Expert Teamと改名された。2020年に、ITU-T VCEG（Q6/16）およびISO/IEC MPEG（JTC 1/SC 29/WG 11）は、H.266/VVCビデオコーディング規格（バージョン1）を公開した。
【0099】
H.266/VVC規格などにおける適応ループフィルタを、菱形パターン上のピクセルのドット積として再構成されたピクセルに適用することができる。ALF係数は、例えば16ビットのビット深度を有することができる。菱形パターン上のピクセル値と係数との間の対応関係は、VVC規格の式（1438）などの式で記述することができ、転置インデックスに依存する。転置インデックスは、VVC規格のセクション8.8.5.3に記載されているアルゴリズムなどのアルゴリズムによって導出することができる。ALFは、中心対称性を有することができる。したがって、H.266/VVCで定義されたALF転置は、菱形パターンに12個の係数を含むことができる。ALFの4つの転置または幾何学的変換は、H.266/VVCなどで定義され得る。例えば、インデックス0を有する転置は、係数を構文解析／デコーディングの順序に保持するためのデフォルトまたは「初期」転置であり得、インデックス1を有する転置は、「対角フリップ」であり得、インデックス2を有する転置は、「垂直フリップ」であり得、インデックス3を有する転置は、「回転」であり得る。
【0100】
菱形パターン上のALF係数の初期またはデフォルト配置を、図9に提供することができる。図9に示されるように、ALF（900）は、菱形パターンで配置された係数C0～C12を有することができる。H.266/VVC規格のエンコーディングされたビットストリームにおける定義によれば、ALF（900）の係数は、図9に示される初期パターンに従って、0番目（例えば、C0）から11番目（例えば、C11）の順序でエンコーディングおよびデコーディングされ得る。12番目の係数（例えば、C12）は、ALF（900）の中心にあって、フィルタ（900）の正規化のために0番目～11番目の係数の値によって導出され得る。
【0101】
H.266/VVC規格において、転置は、マッピングテーブルに従って式（1）、（2）、（3）、および（4）で定義され得る。ルマフィルタ係数およびクリップ値インデックスidxは、以下のようにtransposeIdx［x］［y］に応じて導出され得る。
transposeIdx［x］［y］が1に等しい場合、以下が当てはまる。
idx［ ］＝｛9，4，10，8，1，5，11，7，3，0，2，6｝ 式（1）
そうでなく、transposeIdx［x］［y］が2に等しい場合、以下が当てはまる。
idx［ ］＝｛0，3，2，1，8，7，6，5，4，9，10，11｝ 式（2）
そうでなく、transposeIdx［x］［y］が3に等しい場合、以下が当てはまる。
idx［ ］＝｛9，8，10，4，3，7，11，5，1，0，2，6｝ 式（3）
そうでない場合、以下が当てはまる。
idx［ ］＝｛0，1，2，3，4，5，6，7，8，9，10，11｝ 式（4）
transposeIdx［x］［y］が1に等しい場合、以下が当てはまる。
idx［ ］＝｛9，4，10，8，1，5，11，7，3，0，2，6｝ 式（1）
そうでなく、transposeIdx［x］［y］が2に等しい場合、以下が当てはまる。
idx［ ］＝｛0，3，2，1，8，7，6，5，4，9，10，11｝ 式（2）
そうでなく、transposeIdx［x］［y］が3に等しい場合、以下が当てはまる。
idx［ ］＝｛9，8，10，4，3，7，11，5，1，0，2，6｝ 式（3）
そうでない場合、以下が当てはまる。
idx［ ］＝｛0，1，2，3，4，5，6，7，8，9，10，11｝ 式（4）
【0102】
式（1）～（3）によって定義される対角フリップ、垂直フリップ、および回転に基づく転置、ならびに対応する転置に基づく係数の交換が、図10A～図10Cに示され得る。図10Aは、ALF（1002）の係数の例示的な対角フリップを示している。例えば、係数C0を係数C9で交換することができ、係数C2を係数C10で交換することができる。図10Bは、ALF（1004）の係数の例示的な垂直フリップを示している。図10Bに示されるように、係数C0は、元の位置に留まることができる。係数C1を、例えば、係数C3で交換することができる。図10Cは、ALF（1006）の係数の例示的な回転を示している。
【0103】
いくつかのソフトウェア実装形態において、ALFフィルタ係数を、最初の「転置なし」の配置順序（例えば、図9の初期配置）と一致するデコーディング順序で、メモリの連続チャンク（または、連続ブロックを有するメモリ空間）に記憶することができる。フィルタリングの前に、係数を、特定の転置操作に従って転置することができる。転置操作は、0、1、2、または3などの転置インデックスによって示され得る。転置インデックス0は、「転置なし」を示すことができる。転置インデックス1は、「対角フリップ」を示すことができる。転置インデックス2は、「垂直フリップ」を示すことができ、転置インデックス3は、「回転」を示すことができる。転置プロセスは、H.266/VVC準拠コーデックにおけるデコーディングまたはエンコーディングの最中にALFフィルタリングにおいて頻繁に適用され得る。しかしながら、転置は、係数を記憶するメモリ位置からの係数の一連の交換であり得る。転置は、メモリ内で互いに離れている係数が交換される場合など、SIMD（単一命令／複数データ）にとって優しいとは限らない。例えば、各係数が16ビットのビット深度を有し、すべての係数が連続したメモリチャンクに記憶されている場合、連続したメモリチャンク（または、メモリの連続したチャンク）において離れている係数が、対角フリップまたは回転のために交換されなければならない。
【0104】
Intelの現在のAVXアーキテクチャまたは同様のアーキテクチャは、2つのレーンに分割することができる256ビットレジスタを有する。12個の係数（例えば、12×16ビット＝192ビット）が初期デフォルト配置でメモリからそのようなレジスタに読み込まれ、ベクトル化されたやり方で転置される場合、レーンにまたがって値（または、係数）を交換することが必要である。例えば、「対角フリップ」または「回転」における0番目の係数は、0番目の係数から128ビット離れて位置する9番目の係数と交換されなければならない場合がある。レーンにまたがる値の交換は、1つのSIMD命令のみで実行され得るレーン内での値の交換よりも、はるかに低速になる可能性があり、1つのSIMD命令のみでは実行できないかもしれない。H.266/VVCなどにおける4×4のルマブロックごとのフィルタリングのために、転置は、かなり時間のかかるプロセスになり得る。
【0105】
菱形パターンが大きく、例えばH.266/VVC ALFのパターンよりも大きい場合、ベクトル化SIMD形式で実装される高速転置の問題が、はるかに困難になる可能性がある。そのようなALF設計は、以前に提案されており、より良好な圧縮のための新しいビデオコーディングアルゴリズムとしてJVETグループによって現在研究されている。本開示の実施形態を、大きな菱形パターンを有するケースに効率的に対処するために使用することができる。
【0106】
本開示において、ALF係数を、特別に設計された順序でメモリの連続チャンクに配置することができる。例えば、交換されるべきALF係数のサブセットを、連続したメモリ内で互いに近接させて配置（または、グループ化）することができる。ALF係数のグループ化を、デコーディング時、またはフィルタリング処理の前かつ係数を順番にデコーディングした後の係数の配置として実施することができる。順番は、H.266/VVC規格などのコーディング規格によって定義され得る。所望の特性を有するALF係数の1つの例示的な事前配置を、図11に示すことができる。図11に示されるように、ALFフィルタ（1100）の係数をグループ化することができる。ALFフィルタ（1100）は、菱形の形状を有することができ、係数C0～C12を含むことができ、例えば、C0を「0」とラベル付けすることができ、C1を「1」とラベル付けすることができる。C0を、ALFフィルタ（1100）の中心位置に配置することができる。係数C1～C12を、複数のグループに配置することができる。図11の例では、係数C1～C12を3つのグループに配置することができる。係数C1およびC2を、第1のグループとして配置することができ、係数C3～C6を、第2のグループに配置することができ、係数C7～C12を、第3のグループに配置することができる。さらに、転置（例えば、回転、垂直フリップ、および対角フリップ）をグループについて行うことができる。転置の同じ組み合わせまたは異なる組み合わせを、グループについて行うことができる。
【0107】
定義された転置（例えば、回転、垂直フリップ、および対角フリップ）のセットの共通の特性を適用して、ALFフィルタのパターンの中心から同じ距離にある係数のみを交換することができる。例えば、図11に示される係数は、最初に「対角フリップ」、「垂直フリップ」、または「回転」を行うことができる順序で配置することができる。次に、係数のグループ（または、サブセット）を交換することができる。係数のグループを、例えば、各係数のビット深度に基づいて、お互いから一定数の係数よりも遠くならないように配置することができる。一例では、係数のグループを、お互いから3個の係数よりも遠くならないように、すなわち各係数のビット深度が16ビットであり、係数がメモリの連続チャンクに配置される場合に、48ビットよりも多くならないように配置することができる。交換される係数のグループを、AVXアーキテクチャにおいて128ビットレジスタまたは256ビットレジスタのうちの1つのレーンに配置することができる。したがって、単一のSIMD命令を適用して、係数のグループを交換することができる。お互いから一定の距離の範囲内に位置する係数をグループ化し、係数のグループを128ビットレジスタまたは256ビットレジスタのレーンに配置することにより、広く使用されているアーキテクチャよりもはるかに高速に転置を実行することができる。したがって、定義された転置を、SIMD命令の数を最小化しながらソフトウェアで実施することができる。
【0108】
図12A、図12B、および図12Cが、図11に提示したALF係数などのALF係数の提案された初期配置における例示的なALF転置（例えば、「対角フリップ」、「垂直フリップ」、および「回転」）を示している。図12Aは、対角フリップが行われるALF（1202）を示している。図12Aに示されるように、ALF（1202）の係数C1～C12は、3つのグループを含むことができる。グループ1は、C1およびC2を含むことができ、グループ2は、C3～C6を含むことができ、グループ3は、C7～C12を含むことができる。図11のグループと比較して、図12Aの各グループは、適用された転置（例えば、対角フリップ）に起因して、図11の対応するグループとは異なる係数の構成（または、配置）を有することができる。例えば、図12Aのグループ1の係数C1およびC2は、図11のグループ1の係数C1およびC2とは異なる位置を有することができる。さらに図12Aを参照すると、各グループの係数に対して対角フリップを実行することができる。例えば、グループ1では、対角フリップに基づいて、係数C1と係数C2とを互いに交換することができる。いくつかの例では、2つのグループの係数が交換されなくてもよいことに留意されたい。
【0109】
図12Bは、垂直フリップが行われるALF（1204）を示している。図12Bに示されるように、ALF（1204）の係数C1～C12は、3つのグループを含むことができる。グループ1は、C1およびC2を含むことができ、グループ2は、C3～C6を含むことができ、グループ3は、C7～C12を含むことができる。図12Aのグループと比較して、図12Bの各グループは、適用された転置（例えば、垂直フリップ）に起因して、図12Aの対応するグループとは異なる係数の構成（または、配置）を有することができる。例えば、図12Bのグループ1の係数C1およびC2は、図12Aのグループ1の係数C1およびC2とは異なる位置を有することができる。さらに図12Bを参照すると、各グループの係数に対して垂直フリップを実行することができる。例えば、グループ1において、係数C1および係数C2は、垂直フリップに基づいて、それらの元の位置に留まることができる。
【0110】
図12Cは、回転が実行されるALF（1206）を示している。図12Cに示されるように、ALF（1206）の係数C1～C12は、3つのグループを含むことができる。グループ1は、C1およびC2を含むことができ、グループ2は、C3～C6を含むことができ、グループ3は、C7～C12を含むことができる。図12Aおよび図12Bのグループと比較して、図12Cの各グループは、適用された転置（例えば、回転）に起因して、図12Aまたは図12Bの対応するグループとは異なる係数の構成（または、配置）を有することができる。例えば、図12Cのグループ1の係数C1およびC2は、図12Aまたは図12Bのグループ1の係数C1およびC2とは異なる位置を有することができる。回転を、各グループ内の係数に対して実行することができる。例えば、グループ2では、回転の転置に基づいて、係数C3と係数C4とを互いに交換することができる。
【0111】
菱形パターンを有するH.266/VVC ALFなどのALFの係数をグループ化するために、インデックスの各ペア（または、第1の軸および第2の軸に沿った座標値のペア）（x，y）を各係数に適用することができる。インデックスのペアは、ALF内の係数の位置を示すことができる。図13が、ALF（1300）の係数の例示的なインデックス（または、座標値）を示している。図13に示されるように、ALF（1300）の中心の係数（例えば、c0）は、（0，0）に等しいインデックスのペアを有することができる。ALF（1300）の他の係数は、中心のインデックス（0，0）からの水平および垂直オフセットに一致する相対インデックス（x，y）を有することができる。ALF（1300）は、中心対称パターン（または、中心対称形状）を有することができる。中心対称パターン（または、中心対称形状）は、ALF（1300）の係数の係数値が、cx，y＝c－x，－yという関数に従うことができることを示す。したがって、ALF（1300）の係数の各々は、中心の係数に対して反対／対称の係数を有することができる。それぞれの係数、およびそれぞれの係数の反対の係数は、中心の係数から同じ距離であるが、反対側に位置することができる。
【0112】
係数のインデックス（または、座標値）に基づき、図13に示されるインデックスなどの係数のインデックスに従って、図11に示した事前配置が提供され得る。図13に示されるように、ALF（1300）の第3のグループの係数C7～C12の各々は、それぞれのインデックスxおよびyのペアを有することができる。係数C7～C12についてのインデックスペアは、｛（－3，0），（－2，1），（－1，2），（0，3），（1，2），（2，1）｝であり得る。第3のグループ内のインデックスの各ペアのxおよびyの絶対値の合計は、3に等しくなり得る（例えば、｜x｜＋｜y｜＝3）。｜x｜＋｜y｜＝2の係数cx，yは、ALF（1300）の第2のグループに属し得る。第2のグループの係数C2～C6のインデックスペアは、｛（－2，0），（－1，1），（0，2），（1、1）｝であり得る。ALF（1300）の第1のグループは、2つの係数C1およびC2を含み得る。係数C1およびC2は、それぞれインデックスペア（－1，0）およびインデックスペア（0，1）を有し得る。インデックスペア（－1，0）および（0，1）のxおよびyの絶対値の合計は、｜x｜＋｜y｜＝1に等しくなり得る。
【0113】
例えば、H266/VVC ALFで定義されるような「対角フリップ」、「垂直フリップ」、および「回転」などのALF転置の各々について、ALFの係数のスワッピングは、各グループ内でのみ実行され得る。一例では、「対角フリップ」の場合、係数を、ALF（1300）の各グループにおいて以下のようにペアにて交換することができる。
（1）第1のグループは、3つの交換ペアを有することができる：（－3，0）（0，3）；（－2，1）（－1，2）；（1，2）（2，1）。
（2）第2のグループは、1つの交換ペアを有することができる：（－2，0）（0，2）。
（3）第3のグループは、1つの交換ペアを有することができる：（－1，0）（0，1）。
転置「垂直フリップ」および「回転」の場合、係数を各グループ内でのみ実行することもできる。
（1）第1のグループは、3つの交換ペアを有することができる：（－3，0）（0，3）；（－2，1）（－1，2）；（1，2）（2，1）。
（2）第2のグループは、1つの交換ペアを有することができる：（－2，0）（0，2）。
（3）第3のグループは、1つの交換ペアを有することができる：（－1，0）（0，1）。
転置「垂直フリップ」および「回転」の場合、係数を各グループ内でのみ実行することもできる。
【0114】
各グループがコンピュータメモリの連続チャンクに記憶され、係数のビット深度が16ビットである場合、第1のグループの6つの係数を、1つのパックドSIMDロード命令で128ビットレジスタまたは256ビットレジスタの1つのレーンに配置することができる。1つのパックドSIMDシャッフル命令をさらに使用して、任意の定義された転置（例えば、回転、垂直フリップ、または対角フリップ）を実行することができる。同様に、第2および第3のグループからの6つの係数を、1つのSIMD命令で128ビットレジスタまたは256ビットレジスタの1つのレーンに配置することができる。あるいは、表1に示されるように、第1のグループおよび第3のグループの係数を、1つの128ビットレジスタまたは256ビットレジスタのレーンに配置することができ、第2のグループを、別の128ビットレジスタまたは256ビットレジスタの別のレーンに配置することができる。ここでも、各転置を、レジスタまたはレーンを混合することなく実行することができる。これは、定義された転置を最小限の数のSIMD操作で実行することに役立つことができる。
【0115】
【表1】
【0116】
新たなビデオ圧縮技術のALFパターンなど、｜x｜＋｜y｜＞4のより大きな菱形形状の場合、｜x｜＋｜y｜の値が同じである16ビットの係数cx，yが、連続メモリにおいて128ビットを超えるビットを要する可能性がある。それにもかかわらず、より大きな菱形形状を有するALFのALF係数をグループ化することは、依然として有益であり得る。
【0117】
図14が、大きな菱形形状を有するALF（1400）における係数のグループ化の一例を示している。ALF（1400）は、H.266/VVCのALFと同じ転置のセットを受信することができる。図14に示されるように、ALF（1400）は、転置（例えば、垂直フリップ、対角フリップ、および回転）に従って交換され得る42個の係数を含む菱形パターンを有することができる。
【0118】
ALF（1400）の係数の配置を、インデックス（または、座標値）cx，yで識別することができる。係数を、｜x｜＋｜y｜＝6かつx＜0である係数が第1のグループに属するようにグループ化することができる。｜x｜＋｜y｜＝6かつx≧0である係数は、第2のグループに属することができる。｜x｜＋｜y｜＝5かつx＜0である係数は、第3のグループに属することができる。｜x｜＋｜y｜＝5かつx≧0の係数は、第4のグループに属することができ、以下同様である。これにより、図14に示されるように、合計12個のグループを定義することができる。加えて、x＜0のグループを奇数グループとして分類でき、x≧0のグループを偶数グループとして分類することができる。例えば、第1のグループは、奇数グループであってよく、インデックス｛（－6，0），（－5，1），（－4，2），（－3，3），（－2，4），（－1，5）｝を有する6つの係数を含むことができる。第2のグループは、偶数グループであってよく、インデックス｛（0，6），（1，5），（2，4），（3，3），（4，2），（5，1）｝を有する6つの係数を含むことができる。さらに図16を参照すると、各奇数グループは、対応する偶数グループを有することができる。奇数グループおよび対応する偶数グループは、同じ数の係数を有することができ、ALFフィルタの中心からの距離（例えば、｜x｜＋｜y｜＝N）が同じであってよい。例えば、第2のグループは、第1のグループに対応するグループであってよい。第4のグループは、第3のグループに対応するグループであってよい。
【0119】
定義された各グループについて、係数を、定義された転置（例えば、「対角フリップ」、「垂直フリップ」、または「回転」）に基づいて各グループ内でシャッフルする（または、並べ替える）ことができる。グループ全体（例えば、第1のグループ）を、定義された転置に基づいて対応するグループ（例えば、第2のグループ）と交換することができる。したがって、すべての奇数グループは、いくつかの例において、一致した（または、対応する）偶数グループと係数を交換するだけでよい。一例では、「回転」の場合、第1のグループの係数は、グループ2の係数と交換されるだけでよい。「対角フリップ」または「垂直フリップ」の場合、係数を最初に各グループ内でシャッフルすることができ、次いで奇数グループは、一致した（または、対応する）偶数グループと係数を交換するだけでよい。奇数グループと対応する偶数グループとの間の交換は、他のグループから独立していてよい。個々のグループ内および奇数グループと対応する偶数グループとの間でのみ係数を交換することにより、ベクトル化された交換をより効率的にすることができる。
【0120】
コンパクトな記憶ならびに128ビットレジスタまたは256ビットレジスタのレーンのより効率的な利用のために、上記で定義されたグループを、以下のように記憶することができる。インデックス｛（－6，0），（－5，1），（－4，2），（－3，3），（－2，4），（－1，5）｝を有するグループ1およびインデックス｛（－2，0），（－1，1）｝を有するグループ9などの奇数グループは、1つの128ビットレジスタに配置され得る。インデックス｛（0，6），（1，5），（2，4），（3，3），（4，2），（5，1）｝を有するグループ2およびインデックス｛（0，2），（1、1）｝を有するグループ10などの一致した偶数グループは、別の128ビットレジスタに記憶され得る。したがって、レジスタの全空間を16ビット係数に利用することができる。レジスタへとグループを組み合わせる同様の技術を、他のグループに使用することができ、5つの16ビット係数を有するグループ3を、3つの16ビット係数を有するグループ7と共に、1つの128ビットレジスタに記憶することができる。最終的に、128ビットレジスタ内の係数の配置を、以下の表2のように示すことができる。
【0121】
【表2】
【0122】
次に、定義された転置ごとに、2つの操作が含まれてよく、すなわち（1）ベクトル化シャッフル（例えば、回転、対角フリップ、または垂直フリップ）を各レジスタ内に適用することができ、（2）グループのベクトル化交換を奇数レジスタと偶数レジスタとの間で実行することができる。2つの操作を、42個の必要な16ビット値すべてをカプセル化する6つのレジスタに対するSIMD命令によってきわめて効率的に実施することができる。
【0123】
ALFの中心から同じ距離である係数をグループ化することは、修正された中心対称形状を有する大きなALFフィルタに関して有益であり得る。図15に示されるように、ALF（1500）は、1つの修正された中心対称形状の一例を備えることができる。ALF（1500）は、菱形の形状を有する部分（1502）と、部分（1502）の側面から延びる部分（1504）～（1507）とを含むことができる。部分（1502）は、部分（1502）の係数を3つのグループに事前配置することができるように、ALF（1300）と同様であってよい。部分（1504）～（1507）は、部分（1502）の4つの側面からそれぞれ延びてよい。いくつかの実施形態において、部分（1502）の係数を、H.266/VVCで提供される菱形の係数としてグループ化することができる。例えば、インデックス｛（－3，0），（－2，1），（－1，2），（0，3），（1，2），（2，1）｝を有する係数を、第1のグループとしてグループ化することができる。インデックス｛（－2，0），（－1，1），（0，2），（1，1）｝を有する係数を、第2のグループとしてグループ化することができる。第3のグループは、インデックス｛（－1，0），（0，－1）｝を有する係数を含むことができる。部分（1504）および（1505）の残りの8つの係数を、インデックス｛（－7，0），（－6，0），（－5，0），（－4，0），（0，4），（0，5），（0，6），（0，7）｝で第4のグループにグループ化することができる。第4のグループは、1つの128ビットレジスタに適合することができ、定義された転置（例えば、垂直フリップ、対角フリップ、または回転）に関して不変でもあり得る。
【0124】
本開示において、ALFの中心からの距離｜x｜＋｜y｜＝Nに応じたALFの係数のグループ化を、任意の大きさの菱形、切頭菱形、または中心対称形状を含むさまざまな形状のパターンに適用することができる。「対角フリップ」、「垂直フリップ」、または「回転」の転置、あるいは中心から係数までの距離を変更しない任意の他の転置などの転置を、グループ化された係数について続いて適用することができる。
【0125】
ビットストリーム内のALF係数のデコーディングおよび／または構文解析の順序は、局所性係数グループ化と一致し得る。したがって、ALFの係数をグループ化情報に基づいてデコーディングすることができる。例えば、ALFの第1のグループの係数を最初にデコーディングすることができ、ALFの第2のグループの係数をその後にデコーディングすることができる。
【0126】
H.266/VVC準拠のエンコーダなどのエンコーダにおけるALF係数候補の中の検索係数のためのエンコーディングプロセスにおいて、事前配置またはデフォルト初期配置を使用することができる。デコーディングされたALF係数の連続メモリチャンクへの配置を、ALF係数を構文解析（または、デコーディング）した後に、新しいビデオエンコーディングおよびデコーディングアルゴリズム、あるいは中心対称形状についての転置が含まれるデバイスで実行することができる。
【0127】
係数cx，yの配置を、菱形パターン、切頭菱形パターン、または中心係数c0，0を有する中心対称フィルタパターンなどのさまざまなパターンに適用することができる。その後に、配置された（または、グループ化された）係数に定義された転置を適用することができる。
【0128】
中心対称形状フィルタ（または、中心対称形状を有するフィルタ）における係数の順序をシグナリングすることができる。信号順序に応じて、フィルタの係数をいくつかのグループにグループ化することができる。各グループの係数cx，yは、中心対称形状フィルタの中心から同じ距離｜x｜＋｜y｜＝Nを有することができる。
【0129】
いくつかの実施形態では、各グループの係数を、連続メモリチャンク（または、メモリの連続チャンク）に配置することができる。グループの係数を、定義された転置（例えば、垂直フリップ、対角フリップ、または回転）に基づいて互いにシャッフルする（または、並べ替える）ことができる。したがって、任意の定義された転置に関して、別のグループからの係数は、グループのいかなる係数とも交換されなくてよい。したがって、グループの係数は、グループ内に依然として留まることができ、同じ連続メモリ内に記憶され得る。
【0130】
いくつかの実施形態では、係数のグループ化を、ALFの係数を偶数のグループに配置することができるように実行することができる。偶数のグループは、2つの別々のセット、すなわち第1のセットおよび第2のセットに分割することができる。定義された各転置について、第1のセットからの各グループは、第2のセットからの一致する（または、対応する）グループと係数を交換することができる。第1のセットのグループは、－N≦x＜0であるようなインデックスxを有するN個の係数cx，yを有することができ、第2のセットのグループは、0≦x＜Nであるようなインデックスxを有するN個の係数を有することができる。第1のセットおよび第2のセットは、同じ数のグループを含むことができる。第1のセット内の各グループは、第2のセット内の一致する（または、対応する）グループを有することができる。第1のセット内の奇数グループおよび第2のセット内の対応するグループは、同じ数の係数を有することができ、ALFの中心から同じ距離であってよい。定義された転置について、第1のセットのグループの1つ以上の係数を、第2のセット内の一致するグループからの1つ以上の係数と交換することができる。
【0131】
いくつかの実施形態において、各グループの係数を、メモリの連続チャンク内に、連続メモリのすべてのチャンク（または、ブロック）が128ビットなどの記憶ボリュームより大きくならないように配置することができる。
【0132】
いくつかの実施形態では、いくつかのグループの係数を、連続メモリの128ビットチャンクなどの連続メモリのチャンクに記憶することができる。
【0133】
いくつかの実施形態において、各グループの係数を、メモリの連続チャンク内に、メモリの各チャンクが256ビットなどの記憶ボリュームより大きくならないように配置することができる。
【0134】
いくつかの実施形態では、いくつかのグループの係数を、連続メモリの256ビットチャンクなどの連続メモリのチャンクに記憶することができる。
【0135】
いくつかの実施形態では、ALFの係数のグループ化を、任意のシグナリングされた順序（例えば、図9に示した係数の順序）でALF係数をデコーディングした直後に実行することができる。したがって、ALFの係数を、シグナリングされた順序に基づいてデコーディングすることができる。次いで、係数をさらにグループ化することができる。
【0136】
いくつかの実施形態では、ALFの係数のグループ化を、H.266/VVCのデコーディング順序でALF係数をデコーディングした直後に実行することができる。例えば、図9に示した初期パターンに従って、係数を0番目（例えば、C0）から11番目（例えば、C11）までの順序でデコーディングすることができる。次いで、係数をさらにグループ化することができる。
【0137】
いくつかの実施形態では、ALFの係数のグループ化を、エンコーダにおける中心対称パターン上の最良の（または、選択された）ALF係数の探索の前に実行することができる。例えば、転置（例えば、垂直フリップ、対角フリップ、または回転）を最初に決定することができる。決定された転置を示す転置インデックスを、それに応じてシグナリングすることができる。ALFの係数の位置を、決定された転置に基づいてグループ化することができる。さらに、ALFの係数を、探索プロセスに基づいて候補係数から決定することができる。最良の（または、選択された）ALF係数を、ウィーナーフィルタの平均二乗誤差（MSE）の式に適用される共分散行列などの共分散行列（または、コスト値）に基づいて予測誤差を最小化することによって決定することができる。各転置について、それぞれの探索を実行して、候補係数から最良のALF係数を見つけることができる。
【0138】
いくつかの実施形態では、ALFの係数のグループ化を、エンコーダ内の最良のALF係数の探索の前に、中心対称パターン上の一致する位置（例えば、フィルタ係数に対応する位置）にあるブロックのピクセルデータに基づいて実施することができる。
【0139】
いくつかの実施形態では、菱形の形状などの中心対称形状を有するALFの係数のグループ化を、H.266/VVC準拠のエンコーダなどのエンコーダで最良のALF係数を探索する前に実施することができる。
【0140】
いくつかの実施形態では、菱形の形状などの中心対称形状を有するALFの係数のグループ化を、H.266/VVC準拠のエンコーダなどのエンコーダでALF係数を検索する前に、中心対称形状上のフィルタ係数の一致する位置のブロックのピクセル値に基づいて実施することができる。
【0141】
図16が、本開示のいくつかの実施形態による例示的なデコーディングプロセス（1600）を概説するフローチャートを示している。図17が、本開示のいくつかの実施形態による例示的なエンコーディングプロセス（1700）を概説するフローチャートを示している。提案されるプロセスは、別々に使用されても、任意の順序で組み合わせられてもよい。さらに、プロセス（または、実施形態）の各々、エンコーダ、およびデコーダは、処理回路（例えば、1つ以上のプロセッサまたは1つ以上の集積回路）によって実装されてよい。一例では、1つ以上のプロセッサは、非一時的コンピュータ可読媒体に記憶されたプログラムを実行する。
【0142】
プロセス（例えば、（1600）および（1700））の動作を、必要に応じて、任意の量または順序で組み合わせ、あるいは配置することができる。実施形態において、プロセス（例えば、（1600）および（1700））の動作のうちの2つ以上が並行して実施されてもよい。
【0143】
プロセス（例えば、（1600）および（1700））を、ブロックの再構成および／またはエンコーディングにおいて、再構成中のブロックのための予測ブロックを生成するために使用することができる。さまざまな実施形態において、プロセス（例えば、（1600）および（1700））は、端末デバイス（310）、（320）、（330）、および（340）の処理回路、ビデオエンコーダ（403）の機能を実行する処理回路、ビデオデコーダ（410）の機能を実行する処理回路、ビデオデコーダ（510）の機能を実行する処理回路、ビデオエンコーダ（603）の機能を実行する処理回路、などの処理回路によって実行される。いくつかの実施形態において、プロセス（例えば、（1600）および（1700））はソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（例えば、（1600）および（1700））を実行する。
【0144】
図16に示されているように、プロセス（1600）は、（S1601）から始まり、（S1610）に進むことができる。（S1610）において、現在のピクチャにおける現在のブロックの予測情報が、コーディングされたビデオビットストリームから受信される。予測情報は、現在のブロックに中心対称形状のフィルタが適用されていることを示す。フィルタは、複数の係数を含む。複数の係数の各々は、第1の軸に沿ったそれぞれの第1の座標値および第2の軸に沿ったそれぞれの第2の座標値に関連付けられる。
【0145】
（S1620）において、フィルタの複数の係数は、フィルタに対して実行されるべき転置操作に基づいて複数のグループにグループ化される。複数のグループの各々における係数は、フィルタの中心位置から同じ距離である。
【0146】
（S1630）において、複数のグループのうちの第1のグループの係数が、転置操作に基づいて並べ替えられる。
【0147】
（S1640）において、フィルタの並べ替えられた係数に基づいて中心対称形状を有するフィルタを現在のブロックに適用することによって、現在のブロックのフィルタリングされたサンプルが再構成される。
【0148】
プロセス（1600）において、複数のグループのうちの第1のグループの並べ替えられた係数および複数のグループのうちの第2のグループの係数が交換される。第1のグループの並べ替えられた係数および第2のグループの係数は、フィルタの中心位置から第1の距離である。
【0149】
一例において、転置操作は、回転操作、垂直フリップ操作、または対角フリップ操作のうちの1つである。
【0150】
一例において、第1のグループの係数の数は、第2のグループの係数の数に等しい。
【0151】
一例において、第1の距離は、（i）第1のグループの第1の係数の第1の座標値の絶対値と、（ii）第1のグループの第1の係数の第2の座標値の絶対値との和に等しい。
【0152】
一例においては、第1のグループの第1の係数の第1の座標値と第2のグループの第1の係数の第2の座標値との和が0に等しい。一例においては、第1のグループの第1の係数の第2の座標値が、第2のグループの第1の係数の第1の座標値に等しい。
【0153】
一例において、複数のグループの各グループの係数は、それぞれのメモリ空間に記憶される。一例において、それぞれのメモリ空間は、（i）128ビット以下の第1の記憶ボリューム、および（ii）256ビット以下の第2の記憶ボリューム、のうちの1つを有する。
【0154】
一例において、複数のグループのうちの1つ以上のグループの係数は、メモリ空間に記憶され、メモリ空間は（i）128ビットの第1の記憶ボリュームおよび（ii）256ビットの第2の記憶ボリュームのうちの1つを有する。
【0155】
プロセス（1600）の一例において、複数のグループの各々は、複数のグループにおいて対応するグループを有する。複数のグループのそれぞれのグループの係数および複数のグループにおける対応するグループの係数は、フィルタの中心位置から同じ距離である。複数のグループのそれぞれのグループおよび複数のグループにおける対応するグループは、同じ数の係数を含む。
【0156】
プロセス（1600）の一例において、フィルタの複数の係数は、予測情報に基づいて、予測情報においてシグナリングされた順序で決定される。決定されたフィルタの複数の係数は、複数のグループにさらにグループ化される。
【0157】
プロセス（1600）を適切に調整することが可能である。プロセス（1600）のステップを、修正および／または省略することが可能である。さらなるステップを追加することが可能である。任意の適切な実施順序を使用することが可能である。
【0158】
図17に示されているように、プロセス（1700）は、（S1701）から始まり、（S1710）に進むことができる。（S1710）において、中心対称形状を有するフィルタの複数の係数が、フィルタに対して実行されるべき転置操作に基づいて複数のグループにグループ化される。フィルタは、複数の係数を含む。複数の係数の各々は、第1の軸に沿ったそれぞれの第1の座標値および第2の軸に沿ったそれぞれの第2の座標値に関連付けられる。複数のグループの各々の係数は、フィルタの中心位置から同じ距離である。
【0159】
（S1720）において、複数のグループのうちの第1のグループの係数が、転置操作に基づいて並べ替えられる。
【0160】
（S1730）において、フィルタの並べ替えられた係数に基づいて現在のブロックのフィルタリングされた予測サンプルを生成するために、中心対称形状を有するフィルタが現在のブロックに適用される。
【0161】
（1740）において、コーディング情報が生成される。コーディング情報は、中心対称形状を有するフィルタが現在のブロックに適用され、フィルタの複数の係数が複数のグループにグループ化されることを示す。
【0162】
次いで、プロセスはステップ（S1799）に進み、終了する。
【0163】
プロセス（1700）を適切に調整することが可能である。プロセス（1700）のステップを、修正および／または省略することが可能である。さらなるステップを追加することが可能である。任意の適切な実施順序を使用することが可能である。
【0164】
上述の技法を、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装し、1つ以上のコンピュータ可読媒体に物理的に記憶することができる。例えば、図18が、本開示の主題のいくつかの実施形態を実施するのに好適なコンピュータシステム（1800）を示している。
【0165】
コンピュータソフトウェアは、アセンブリ、コンパイル、リンキング、などの機構の対象とされ、1つ以上のコンピュータ中央処理装置（CPU）、グラフィックス処理装置（GPU）、などによって直接実行され、あるいは解釈およびマイクロコード実行などを介して実行され得る命令を含むコードを作成することができる任意の適切な機械コードまたはコンピュータ言語を使用してコーディングされる。
【0166】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、モノのインターネットデバイス、などを含むさまざまなタイプのコンピュータまたはその構成要素上で実行され得る。
【0167】
コンピュータシステム（1800）の図18に示されている構成要素は、本質的に例示であり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関して何らかの限定を示唆することを意図していない。また、構成要素の構成が、コンピュータシステム（1800）の例示的な実施形態に示された構成要素のいずれか1つまたは組み合わせに関連する依存性または要件を有すると解釈すべきではない。
【0168】
コンピュータシステム（1800）は、いくつかのヒューマンインターフェース入力デバイスを含んでよい。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動き、など）、オーディオ入力（音声、拍手、など）、視覚入力（ジェスチャなど）、嗅覚入力（図示せず）、を通じて1人以上の人間のユーザによる入力に応答するものであってよい。さらに、ヒューマンインターフェースデバイスは、オーディオ（音声、音楽、環境音、など）、画像（スキャン画像、静止画カメラから得られる写真画像、など）、ビデオ（2次元ビデオ、立体ビデオを含む3次元ビデオ、など）、などの必ずしも人間による意識的な入力に直接関連しない特定の媒体を取り込むためにも使用され得る。
【0169】
入力ヒューマンインターフェースデバイスは、キーボード（1801）、マウス（1802）、トラックパッド（1803）、タッチ画面（1810）、データグローブ（図示せず）、ジョイスティック（1805）、マイク（1806）、スキャナ（1807）、カメラ（1808）（各々が1つだけ図示されている）のうちの1つ以上を含んでよい。
【0170】
さらに、コンピュータシステム（1800）は、いくつかのヒューマンインターフェース出力デバイスを含み得る。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および嗅覚／味覚を通じて1人以上の人間のユーザの感覚を刺激することができる。そのようなヒューマンインターフェース出力デバイスとして、触覚出力デバイス（例えば、タッチ画面（1810）、データグローブ（図示せず）、またはジョイスティック（1805）による触覚フィードバックであるが、入力デバイスとして機能することがない触覚フィードバック装置も存在し得る）、オーディオ出力デバイス（スピーカ（1809）、ヘッドホン（図示せず）、など）、視覚出力デバイス（それぞれタッチ画面入力機能を有しても、有さなくてもよく、それぞれ触覚フィードバック機能を有しても、有さなくてもよく、一部は二次元視覚出力、あるいは立体グラフィック出力、仮想現実メガネ（図示せず）、ホログラフィック表示、またはスモークタンク（図示せず）などの手段による三次元を超える出力を出力可能であってよいCRT画面、LCD画面、プラズマ画面、またはOLED画面を含む画面（1810）など）、およびプリンタ（図示せず）を挙げることができる。
【0171】
コンピュータシステム（1800）は、CD/DVDまたは同様の媒体を用いるCD/DVD ROM/RW（1820）を含む光学媒体（1821）、サムドライブ（1822）、リムーバブルハードドライブまたはソリッドステートドライブ（1823）、テープおよびフロッピーディスクなどのレガシー磁気媒体（図示せず）、セキュリティドングルなどの特化型のROM/ASIC/PLDベースのデバイス（図示せず）、などの人がアクセス可能な記憶デバイスおよびそれらの関連の媒体も含むことができる。
【0172】
さらに、当業者であれば、本開示の主題に関連して使用される「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、または他の一時的な信号を包含しないことを理解すべきである。
【0173】
コンピュータシステム（1800）は、1つ以上の通信ネットワーク（1855）へのインターフェース（1854）も含むことができる。ネットワークは、例えば、無線ネットワーク、有線ネットワーク、または光ネットワークであってよい。さらに、ネットワークは、ローカル、広域、メトロポリタン、車両および産業用、リアルタイム、遅延許容、などであってよい。ネットワークの例として、イーサネットおよび無線LANなどのローカルエリアネットワーク、GSM、3G、4G、5G、およびLTEなどを含むセルラーネットワーク、ケーブルテレビ、衛星テレビ、および地上波放送テレビを含むテレビ有線または無線広域デジタルネットワーク、CANBusを含む車両および産業用、などが挙げられる。特定のネットワークは、一般的には、特定の汎用データポートまたは周辺バス（1849）（例えば、コンピュータシステム（1800）のUSBポートなど）に取り付けられる外部ネットワークインターフェースアダプタを必要とし、他のネットワークは、一般的には、以下で説明されるようにシステムバスへと取り付けられることによってコンピュータシステム（1800）のコアに統合される（例えば、PCコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（1800）は、他のエンティティと通信することができる。このような通信は、一方向受信専用（例えば、テレビ放送）、一方向送信専用（例えば、CANbusから特定のCANbusデバイスへ）、あるいは例えばローカルまたは広域デジタルネットワークを用いた他のコンピュータシステムに対する双方向であり得る。特定のプロトコルおよびプロトコルスタックが、上述したように、それらのネットワークおよびネットワークインターフェースの各々で使用され得る。
【0174】
上述のヒューマンインターフェースデバイス、人がアクセス可能な記憶デバイス、およびネットワークインターフェースを、コンピュータシステム（1800）のコア（1840）に取り付けることができる。
【0175】
コア（1840）は、1つ以上の中央処理装置（CPU）（1841）、グラフィックス処理装置（GPU）（1842）、フィールドプログラマブルゲートエリア（FPGA）（1843）の形態をとる特化型プログラム可能処理装置、特定のタスク用のハードウェアアクセラレータ（1844）、グラフィックアダプタ（1850）、などを含むことができる。これらのデバイスは、読み出し専用メモリ（ROM）（1845）、ランダムアクセスメモリ（1846）、ならびにユーザがアクセスできない内蔵ハードドライブおよびSSDなどの内部大容量記憶装置（1847）と共に、システムバス（1848）を介して接続され得る。いくつかのコンピュータシステムにおいて、システムバス（1848）は、追加のCPUおよびGPUなどによる拡張を可能にするために、1つ以上の物理的なプラグの形態でアクセス可能であってよい。周辺機器を、コアのシステムバス（1848）に直接、あるいは周辺バス（1849）を介して、取り付けることができる。一例において、画面（1810）をグラフィックアダプタ（1850）に接続することができる。周辺バス用のアーキテクチャとして、PCIおよびUSBなどが挙げられる。
【0176】
CPU（1841）、GPU（1842）、FPGA（1843）、およびアクセラレータ（1844）は、上述のコンピュータコードを組み合わせにて構築することができるいくつかの命令を実行することができる。このコンピュータコードを、ROM（1845）またはRAM（1846）に記憶することができる。RAM（1846）に過渡的データも記憶することができる一方で、恒久的なデータを、例えば内部大容量記憶装置（1847）に記憶することができる。任意のメモリデバイスに関する高速な記憶および読み出しを、1つ以上のCPU（1841）、GPU（1842）、大容量記憶装置（1847）、ROM（1845）、RAM（1846）、などに密接に関連付けられてよいキャッシュメモリを用いることによって可能にすることができる。
【0177】
コンピュータ可読媒体は、種々のコンピュータ実装動作を実施するためのコンピュータコードを有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであってよく、あるいはコンピュータソフトウェア技術の当業者にとって周知かつ利用可能な種類のものであってよい。
【0178】
限定ではなく、例として、アーキテクチャ（1800）を有するコンピュータシステム、とりわけコア（1840）は、1つ以上の有形のコンピュータ可読媒体に具現化されたソフトウェアのプロセッサ（CPU、GPU、FPGA、アクセラレータ、などを含む）による実行の結果として機能を提供することができる。このようなコンピュータ可読媒体は、上記で紹介したユーザにとってアクセス可能な大容量記憶装置、ならびにコア内部大容量記憶装置（1847）またはROM（1845）などの非一時的な性質のコア（1840）の特定の記憶装置に関連付けられた媒体であり得る。本開示のさまざまな実施形態を実施するソフトウェアを、このようなデバイスに記憶して、コア（1840）によって実行することができる。コンピュータ可読媒体は、個々の必要性に応じて、1つ以上のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（1840）、とりわけコア内のプロセッサ（CPU、GPU、およびFPGAなどを含む）に、RAM（1846）に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を変更することを含む本明細書に記載の特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。これに加え、あるいは代えて、コンピュータシステムは、本明細書に記載の特定のプロセスまたは特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりに動作でき、あるいはソフトウェアと共に動作することができる結線接続または他のやり方で回路（例えば、アクセラレータ（1844））に具現化されたロジックの結果として機能を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを包含することができ、逆もまた同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（IC）など）、実行のためのロジックを具現化する回路、またはその両方を包含することができる。本開示は、ハードウェアとソフトウェアとの任意の適切な組み合わせを包含する。
【0179】
付記A：頭字語
ALF：適応ループフィルタ
AVX：Advanced Vector Extensionsアーキテクチャ
JVET：Joint Video Exploration Team
SIMD：単一命令複数データアーキテクチャ
H.266/VVC：多用途ビデオコーディング
JEM：共同探索モデル
VVC：多用途ビデオコーディング
BMS：ベンチマークセット
MV：動きベクトル
HEVC：高効率ビデオコーディング
SEI：補足拡張情報
VUI：ビデオユーザビリティ情報
GOP：グループオブピクチャ
TU：変換ユニット
PU：予測ユニット
CTU：コーディングツリーユニット
CTB：コーディングツリーブロック
PB：予測ブロック
HRD：仮想参照デコーダ
SNR：信号対雑音比
CPU：中央処理装置
GPU：グラフィックス処理装置
CRT：陰極線管
LCD：液晶ディスプレイ
OLED：有機発光ダイオード
CD：コンパクトディスク
DVD：デジタルビデオディスク
ROM：読み出し専用メモリ
RAM：ランダムアクセスメモリ
ASIC：特定用途向け集積回路
PLD：プログラマブルロジックデバイス
LAN：ローカルエリアネットワーク
GSM：グローバル移動体通信システム
LTE：ロングタームエボリューション
CANBus：コントローラエリアネットワークバス
USB：ユニバーサルシリアルバス
PCI：周辺構成要素相互接続
FPGA：フィールドプログラマブルゲートエリア
SSD：ソリッドステートドライブ
IC：集積回路
CU：コーディングユニット
ALF：適応ループフィルタ
AVX：Advanced Vector Extensionsアーキテクチャ
JVET：Joint Video Exploration Team
SIMD：単一命令複数データアーキテクチャ
H.266/VVC：多用途ビデオコーディング
JEM：共同探索モデル
VVC：多用途ビデオコーディング
BMS：ベンチマークセット
MV：動きベクトル
HEVC：高効率ビデオコーディング
SEI：補足拡張情報
VUI：ビデオユーザビリティ情報
GOP：グループオブピクチャ
TU：変換ユニット
PU：予測ユニット
CTU：コーディングツリーユニット
CTB：コーディングツリーブロック
PB：予測ブロック
HRD：仮想参照デコーダ
SNR：信号対雑音比
CPU：中央処理装置
GPU：グラフィックス処理装置
CRT：陰極線管
LCD：液晶ディスプレイ
OLED：有機発光ダイオード
CD：コンパクトディスク
DVD：デジタルビデオディスク
ROM：読み出し専用メモリ
RAM：ランダムアクセスメモリ
ASIC：特定用途向け集積回路
PLD：プログラマブルロジックデバイス
LAN：ローカルエリアネットワーク
GSM：グローバル移動体通信システム
LTE：ロングタームエボリューション
CANBus：コントローラエリアネットワークバス
USB：ユニバーサルシリアルバス
PCI：周辺構成要素相互接続
FPGA：フィールドプログラマブルゲートエリア
SSD：ソリッドステートドライブ
IC：集積回路
CU：コーディングユニット
【0180】
本開示はいくつかの例示的な実施形態を記載しているが、本開示の範囲内に入る変更、置換、および種々の代替の等価物が存在する。したがって、当業者であれば、本明細書に明示的には図示または記載されていないが、本開示の原理を具現化し、したがって本開示の趣旨および範囲に含まれる多数のシステムおよび方法を考案できることが理解されよう。
【符号の説明】
【0181】
101 サンプル
102 矢印
103 矢印
104 ブロック
201 現在のブロック
202 周囲のサンプル
203 周囲のサンプル
204 周囲のサンプル
205 周囲のサンプル
206 周囲のサンプル
300 通信システム
310 端末デバイス
320 端末デバイス
330 端末デバイス
340 端末デバイス
350 ネットワーク
400 通信システム
401 ビデオソース
402 ビデオピクチャのストリーム
403 ビデオエンコーダ
404 エンコーディングされたビデオストリーム
405 ストリーミングサーバ
406 クライアントサブシステム
407 エンコーディングされたビデオストリームのコピー
408 クライアントサブシステム
409 エンコーディングされたビデオストリームのコピー
410 ビデオデコーダ
411 出力ストリーム
412 ディスプレイ
413 キャプチャサブシステム
420 電子デバイス
430 電子デバイス
501 チャネル
510 ビデオデコーダ
512 レンダリングデバイス
515 バッファメモリ
520 パーサ
521 シンボル
530 電子デバイス
531 受信機
551 スケーラ／逆変換ユニット
552 イントラ予測ユニット
553 動き補償予測ユニット
555 アグリゲータ
556 ループフィルタユニット
557 参照ピクチャメモリ
558 現在のピクチャバッファ
601 ビデオソース
603 ビデオエンコーダ
620 電子デバイス
630 ソースコーダ
632 コーディングエンジン
633 デコーダ
634 参照ピクチャメモリ
635 予測器
640 送信機
643 コーディングされたビデオシーケンス
645 エントロピーコーダ
650 コントローラ
660 通信チャネル
703 ビデオエンコーダ
721 汎用コントローラ
722 イントラエンコーダ
723 残差計算器
724 残差エンコーダ
725 エントロピーエンコーダ
726 スイッチ
728 残差デコーダ
730 インターエンコーダ
871 エントロピーデコーダ
872 イントラデコーダ
873 残差デコーダ
874 再構成モジュール
880 インターデコーダ
900 適応ループフィルタ（ALF）
1002 ALF
1004 ALF
1006 ALF
1100 ALF
1202 ALF
1204 ALF
1206 ALF
1300 ALF
1400 ALF
1500 ALF
1502 ALFの菱形部分
1504 ALFの一部分
1505 ALFの一部分
1506 ALFの一部分
1507 ALFの一部分
1600 デコーディングプロセス
1700 エンコーディングプロセス
1800 コンピュータシステム
1801 キーボード
1802 マウス
1803 トラックパッド
1805 ジョイスティック
1806 マイク
1807 スキャナ
1808 カメラ
1809 スピーカ
1810 画面
1820 CD/DVD ROM/RW
1821 光学媒体
1822 サムドライブ
1823 リムーバブルハードドライブまたはソリッドステートドライブ
1840 コア
1841 中央処理装置（CPU）
1842 グラフィックス処理装置（GPU）
1843 フィールドプログラマブルゲートエリア（FPGA）
1844 アクセラレータ
1845 読み出し専用メモリ（ROM）
1846 ランダムアクセスメモリ（RAM）
1847 内部大容量記憶装置
1848 システムバス
1849 周辺バス
1850 グラフィックアダプタ
1854 ネットワークインターフェース
1855 通信ネットワーク
102 矢印
103 矢印
104 ブロック
201 現在のブロック
202 周囲のサンプル
203 周囲のサンプル
204 周囲のサンプル
205 周囲のサンプル
206 周囲のサンプル
300 通信システム
310 端末デバイス
320 端末デバイス
330 端末デバイス
340 端末デバイス
350 ネットワーク
400 通信システム
401 ビデオソース
402 ビデオピクチャのストリーム
403 ビデオエンコーダ
404 エンコーディングされたビデオストリーム
405 ストリーミングサーバ
406 クライアントサブシステム
407 エンコーディングされたビデオストリームのコピー
408 クライアントサブシステム
409 エンコーディングされたビデオストリームのコピー
410 ビデオデコーダ
411 出力ストリーム
412 ディスプレイ
413 キャプチャサブシステム
420 電子デバイス
430 電子デバイス
501 チャネル
510 ビデオデコーダ
512 レンダリングデバイス
515 バッファメモリ
520 パーサ
521 シンボル
530 電子デバイス
531 受信機
551 スケーラ／逆変換ユニット
552 イントラ予測ユニット
553 動き補償予測ユニット
555 アグリゲータ
556 ループフィルタユニット
557 参照ピクチャメモリ
558 現在のピクチャバッファ
601 ビデオソース
603 ビデオエンコーダ
620 電子デバイス
630 ソースコーダ
632 コーディングエンジン
633 デコーダ
634 参照ピクチャメモリ
635 予測器
640 送信機
643 コーディングされたビデオシーケンス
645 エントロピーコーダ
650 コントローラ
660 通信チャネル
703 ビデオエンコーダ
721 汎用コントローラ
722 イントラエンコーダ
723 残差計算器
724 残差エンコーダ
725 エントロピーエンコーダ
726 スイッチ
728 残差デコーダ
730 インターエンコーダ
871 エントロピーデコーダ
872 イントラデコーダ
873 残差デコーダ
874 再構成モジュール
880 インターデコーダ
900 適応ループフィルタ（ALF）
1002 ALF
1004 ALF
1006 ALF
1100 ALF
1202 ALF
1204 ALF
1206 ALF
1300 ALF
1400 ALF
1500 ALF
1502 ALFの菱形部分
1504 ALFの一部分
1505 ALFの一部分
1506 ALFの一部分
1507 ALFの一部分
1600 デコーディングプロセス
1700 エンコーディングプロセス
1800 コンピュータシステム
1801 キーボード
1802 マウス
1803 トラックパッド
1805 ジョイスティック
1806 マイク
1807 スキャナ
1808 カメラ
1809 スピーカ
1810 画面
1820 CD/DVD ROM/RW
1821 光学媒体
1822 サムドライブ
1823 リムーバブルハードドライブまたはソリッドステートドライブ
1840 コア
1841 中央処理装置（CPU）
1842 グラフィックス処理装置（GPU）
1843 フィールドプログラマブルゲートエリア（FPGA）
1844 アクセラレータ
1845 読み出し専用メモリ（ROM）
1846 ランダムアクセスメモリ（RAM）
1847 内部大容量記憶装置
1848 システムバス
1849 周辺バス
1850 グラフィックアダプタ
1854 ネットワークインターフェース
1855 通信ネットワーク
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図11】
【図12A】
【図12B】
【図12C】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
