特表 2024-501465 固定されたフィルタを用いる適応ループフィルタ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-12

(54)【発明の名称】固定されたフィルタを用いる適応ループフィルタ

(51)【国際特許分類】

   H04N 19/117 20140101AFI20240104BHJP

   H04N 19/82 20140101ALI20240104BHJP

【ＦＩ】

H04N19/117

H04N19/82

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023535712

(86)(22)【出願日】2021-12-22

(85)【翻訳文提出日】2023-06-12

(86)【国際出願番号】 US2021064898

(87)【国際公開番号】W WO2022140567

(87)【国際公開日】2022-06-30

(31)【優先権主張番号】63/130,275

(32)【優先日】2020-12-23

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/148,538

(32)【優先日】2021-02-11

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/557,706

(32)【優先日】2021-12-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】カルチェビチ、マルタ

(72)【発明者】

【氏名】フー、ナン

(72)【発明者】

【氏名】セレジン、バディム

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159TA69

5C159TB08

5C159TC02

5C159UA16

(57)【要約】

ビデオデコータは、再構築サンプルについての第１のクラスインデックスを決定し、第１のクラスインデックスに基づいて、フィルタの第１のセットからフィルタを選択し、第１の中間サンプル値を決定するために、再構築サンプルに、フィルタの第１のセットからのフィルタを適用することによって、再構築サンプルに、第１の段階の適応ループフィルタ（ＡＬＦ）を適用することと、再構築サンプルについての第２のクラスインデックスを決定し、第２のクラスインデックスに基づいて、フィルタの第２のセットから第２のフィルタを選択し、第１のサンプル変更値を決定するために、再構築サンプルに、第２のフィルタを適用し、第１の中間サンプル値に基づいて、第２のサンプル変更値を決定することによって、再構築サンプルに、第２の段階のＡＬＦを適用することと、再構築サンプルと、第１および第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定することとを行うように構成され得る。

【特許請求の範囲】

【請求項1】

ビデオデータを復号する方法であって、前記方法が、
再構築ブロックの再構築サンプルに、第１の段階の適応ループフィルタ（ＡＬＦ）を適用することと、ここにおいて、前記第１の段階のＡＬＦを適用することが、
前記再構築サンプルについての第１のクラスインデックスを決定することと、
前記第１のクラスインデックスに基づいて、フィルタの第１のセットからフィルタを選択することと、
第１の中間サンプル値を決定するために、前記再構築サンプルに、フィルタの前記第１のセットからの前記フィルタを適用することと
を備え、
前記再構築サンプルに、第２の段階のＡＬＦを適用することと、ここにおいて、前記第２の段階のＡＬＦを適用することが、
前記再構築サンプルについての第２のクラスインデックスを決定することと、
前記第２のクラスインデックスに基づいて、フィルタの第２のセットから第２のフィルタを選択することと、
第１のサンプル変更値を決定するために、前記再構築サンプルに、前記第２のフィルタを適用することと、
前記第１の中間サンプル値に基づいて、第２のサンプル変更値を決定することと
を備え、
前記再構築サンプルと、前記第１のサンプル変更値と、前記第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定することと
を備える、方法。

【請求項2】

フィルタの前記第１のセットが、固定されたフィルタを備える、請求項１に記載の方法。

【請求項3】

フィルタの前記第２のセットが、前記ビデオデータ内においてシグナリングされたシンタックスに基づいて決定された、シグナリングされたフィルタを備える、請求項１に記載の方法。

【請求項4】

前記第１のクラスインデックスを決定することが、
前記再構築サンプルについてのアクティビティ値を決定することと、
前記再構築サンプルについての方向を決定することと、
前記アクティビティ値と、前記方向とに基づいて、前記第１のクラスインデックスを決定することと
を備える、請求項１に記載の方法。

【請求項5】

前記方向を決定することが、前記方向に５６個の値のうちの１つを割り当てることを備える、請求項４に記載の方法。

【請求項6】

フィルタの前記第１のセットが、９×９のダイヤモンド形状フィルタを含む、請求項１に記載の方法。

【請求項7】

前記再構築サンプルと、前記第１のサンプル変更値と、前記第２のサンプル変更値とに基づいて、前記フィルタリングされた再構築サンプルを決定することが、前記再構築サンプルに、前記第１のサンプル変更値と、前記第２のサンプル変更値とを加算することを備える、請求項１に記載の方法。

【請求項8】

前記第１の中間サンプル値に基づいて、前記第２のサンプル変更値を決定することが、クリッピングされたサンプル変更値を決定するために、前記第２のサンプル変更値をクリッピングすることと、前記再構築サンプルに、前記第１のサンプル変更値と、前記クリッピングされたサンプル変更値とを加算することとを備える、請求項１に記載の方法。

【請求項9】

前記ビデオデータ内において、前記クリッピングされたサンプル変更値を受信すること
をさらに備える、請求項８に記載の方法。

【請求項10】

前記第１の中間サンプル値に基づいて、前記第２のサンプル変更値を決定することが、前記再構築サンプルと前記第１の中間サンプル値との間の差を決定することを備える、請求項１に記載の方法。

【請求項11】

前記再構築ブロックについての量子化パラメータに基づいて、固定されたフィルタの複数のセットからフィルタの前記第１のセットを選択すること
をさらに備える、請求項１に記載の方法。

【請求項12】

前記第１の段階のＡＬＦを適用することが、前記再構築サンプルについての第３のクラスインデックスを決定することと、前記第３のクラスインデックスに基づいて、フィルタの第２のセットから第３のフィルタを選択することと、第２の中間サンプル値を決定するために、前記再構築サンプルに、フィルタの前記第２のセットからの前記第３のフィルタを適用することとをさらに備え、
前記再構築サンプルに、前記第２の段階のＡＬＦを適用することが、前記第１の中間サンプル値と、前記第２の中間サンプル値とに基づいて、前記第２のサンプル変更値を決定することをさらに備える、
請求項１に記載の方法。

【請求項13】

前記再構築サンプルを決定するために、残差サンプル値に、予測サンプル値を加算すること
をさらに備える、請求項１に記載の方法。

【請求項14】

前記再構築サンプルを決定するために、前記予測サンプル値と前記残差サンプル値との和に、デブロッキングフィルタを適用すること
をさらに備える、請求項１３に記載の方法。

【請求項15】

前記ビデオデータの復号ピクチャを出力し、ここにおいて、前記復号ピクチャが、前記フィルタリングされた再構築サンプルを備えることをさらに備える、
請求項１に記載の方法。

【請求項16】

復号の前記方法が、ビデオ符号化プロセスの一部として実行される、請求項１に記載の方法。

【請求項17】

ビデオデータを復号するためのデバイスであって、前記デバイスが、
ビデオデータを記憶するように構成されたメモリと、
回路で実施され、
再構築ブロックの再構築サンプルに、第１の段階の適応ループフィルタ（ＡＬＦ）を適用することと、ここにおいて、前記第１の段階のＡＬＦを適用するために、１つまたは複数のプロセッサが、
前記再構築サンプルについての第１のクラスインデックスを決定することと、
前記第１のクラスインデックスに基づいて、フィルタの第１のセットからフィルタを選択することと、
第１の中間サンプル値を決定するために、前記再構築サンプルに、フィルタの前記第１のセットからの前記フィルタを適用することと
を行うようにさらに構成され、
前記再構築サンプルに、第２の段階のＡＬＦを適用することと、ここにおいて、前記第２の段階のＡＬＦを適用するために、前記１つまたは複数のプロセッサが、
前記再構築サンプルについての第２のクラスインデックスを決定することと、
前記第２のクラスインデックスに基づいて、フィルタの第２のセットから第２のフィルタを選択することと、
第１のサンプル変更値を決定するために、前記再構築サンプルに、前記第２のフィルタを適用することと、
前記第１の中間サンプル値に基づいて、第２のサンプル変更値を決定することと
を行うようにさらに構成され、
前記再構築サンプルと、前記第１のサンプル変更値と、前記第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定することと
を行うように構成された、１つまたは複数のプロセッサと
を備える、デバイス。

【請求項18】

フィルタの前記第１のセットが、固定されたフィルタを備える、請求項１７に記載のデバイス。

【請求項19】

フィルタの前記第２のセットが、前記ビデオデータ内においてシグナリングされたシンタックスに基づいて決定された、シグナリングされたフィルタを備える、請求項１７に記載のデバイス。

【請求項20】

前記第１のクラスインデックスを決定するために、前記１つまたは複数のプロセッサが、
前記再構築サンプルについてのアクティビティ値を決定することと、
前記再構築サンプルについての方向を決定することと、
前記アクティビティ値と、前記方向とに基づいて、前記第１のクラスインデックスを決定することと
を行うようにさらに構成される、請求項１７に記載のデバイス。

【請求項21】

前記方向を決定するために、前記１つまたは複数のプロセッサが、前記方向に５６個の値のうちの１つを割り当てるようにさらに構成される、請求項２０に記載のデバイス。

【請求項22】

フィルタの前記第１のセットが、９×９のダイヤモンド形状フィルタを含む、請求項１７に記載のデバイス。

【請求項23】

前記再構築サンプルと、前記第１のサンプル変更値と、前記第２のサンプル変更値とに基づいて、前記フィルタリングされた再構築サンプルを決定するために、前記１つまたは複数のプロセッサが、前記再構築サンプルに、前記第１のサンプル変更値と、前記第２のサンプル変更値とを加算するようにさらに構成される、請求項１７に記載のデバイス。

【請求項24】

前記第１の中間サンプル値に基づいて、前記第２のサンプル変更値を決定するために、前記１つまたは複数のプロセッサが、クリッピングされたサンプル変更値を決定するために、前記第２のサンプル変更値をクリッピングすることと、前記再構築サンプルに、前記第１のサンプル変更値と、前記クリッピングされたサンプル変更値とを加算することとを行うようにさらに構成される、請求項１７に記載のデバイス。

【請求項25】

前記１つまたは複数のプロセッサが、
前記ビデオデータ内において、前記クリッピングされたサンプル変更値を受信する
ようにさらに構成される、請求項２４に記載のデバイス。

【請求項26】

前記第１の中間サンプル値に基づいて、前記第２のサンプル変更値を決定するために、前記１つまたは複数のプロセッサが、前記再構築サンプルと前記第１の中間サンプル値との間の差を決定するようにさらに構成される、請求項１７に記載のデバイス。

【請求項27】

前記１つまたは複数のプロセッサが、
前記再構築ブロックについての量子化パラメータに基づいて、固定されたフィルタの複数のセットからフィルタの前記第１のセットを選択する
ようにさらに構成される、請求項１７に記載のデバイス。

【請求項28】

前記第１の段階のＡＬＦを適用するために、前記１つまたは複数のプロセッサが、前記再構築サンプルについての第３のクラスインデックスを決定することと、前記第３のクラスインデックスに基づいて、フィルタの第２のセットから第３のフィルタを選択することと、第２の中間サンプル値を決定するために、前記再構築サンプルに、フィルタの前記第２のセットからの前記第３のフィルタを適用することとを行うようにさらに構成され、
前記再構築サンプルに、前記第２の段階のＡＬＦを適用するために、前記１つまたは複数のプロセッサが、前記第１の中間サンプル値と、前記第２の中間サンプル値とに基づいて、前記第２のサンプル変更値を決定するようにさらに構成される、
請求項１７に記載のデバイス。

【請求項29】

前記１つまたは複数のプロセッサが、
前記再構築サンプルを決定するために、残差サンプル値に、予測サンプル値を加算する
ようにさらに構成される、請求項１７に記載のデバイス。

【請求項30】

前記１つまたは複数のプロセッサが、
前記再構築サンプルを決定するために、前記予測サンプル値と前記残差サンプル値との和に、デブロッキングフィルタを適用する
ようにさらに構成される、請求項２９に記載のデバイス。

【請求項31】

前記１つまたは複数のプロセッサが、
前記ビデオデータの復号ピクチャを出力し、ここにおいて、前記復号ピクチャが、前記フィルタリングされた再構築サンプルを備える
ようにさらに構成される、請求項１７に記載のデバイス。

【請求項32】

前記デバイスが、ビデオ符号化デバイスを備える、請求項１７に記載のデバイス。

【請求項33】

前記デバイスが、符号化ビデオデータを受信するように構成された受信機をさらに備える、ワイヤレス通信デバイスを備える、請求項３２に記載のデバイス。

【請求項34】

前記ワイヤレス通信デバイスが、電話ハンドセットを備え、ここにおいて、前記受信機が、前記符号化ビデオデータを備える信号を、ワイヤレス通信規格に従って、復調するように構成される、請求項３３に記載のデバイス。

【請求項35】

復号ビデオデータを表示するように構成されたディスプレイ
をさらに備える、請求項１７に記載のデバイス。

【請求項36】

前記デバイスが、カメラ、コンピュータ、モバイルデバイス、放送受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、請求項１７に記載のデバイス。

【請求項37】

前記デバイスが、ビデオ符号化デバイスを備える、請求項１７に記載のデバイス。

【請求項38】

１つまたは複数のプロセッサによって実行されたときに、前記１つまたは複数のプロセッサに、
再構築ブロックの再構築サンプルに、第１の段階の適応ループフィルタ（ＡＬＦ）を適用することと、ここにおいて、前記第１の段階のＡＬＦを適用するために、前記１つまたは複数のプロセッサが、
前記再構築サンプルについての第１のクラスインデックスを決定することと、
前記第１のクラスインデックスに基づいて、フィルタの第１のセットからフィルタを選択することと、
第１の中間サンプル値を決定するために、前記再構築サンプルに、フィルタの前記第１のセットからの前記フィルタを適用することと
を行うようにさらに構成され、
前記再構築サンプルに、第２の段階のＡＬＦを適用することと、ここにおいて、前記第２の段階のＡＬＦを適用するために、前記１つまたは複数のプロセッサが、
前記再構築サンプルについての第２のクラスインデックスを決定することと、
前記第２のクラスインデックスに基づいて、フィルタの第２のセットから第２のフィルタを選択することと、
第１のサンプル変更値を決定するために、前記再構築サンプルに、前記第２のフィルタを適用することと、
前記第１の中間サンプル値に基づいて、第２のサンプル変更値を決定することと
を行うようにさらに構成され、
前記再構築サンプルと、前記第１のサンプル変更値と、前記第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定することと
を行わせる命令を記憶した、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本出願は、各々の内容全体が参照によって本明細書に組み込まれる、２０２１年１２月２１日に出願された米国特許出願第１７／５５７，７０６号、２０２１年２月１１日に出願された米国仮特許出願第６３／１４８，５３８号、および２０２０年１２月２３日に出願された米国仮特許出願第６３／１３０，２７５号に基づく優先権を主張する。２０２１年１２月２１日に出願された米国特許出願第１７／５５７，７０６号は、２０２１年２月１１日に出願された米国仮特許出願第６３／１４８，５３８号、および２０２０年１２月２３日に出願された米国仮特許出願第６３／１３０，２７５号に基づく利益を主張する。

【0002】

[0002] 本開示は、ビデオ符号化（video encoding）およびビデオ復号（video decoding）に関する。

【背景技術】

【0003】

[0003] デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４、Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。

【0004】

[0004] ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間（ピクチャ内）予測および／または時間（ピクチャ間）予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス（たとえば、ビデオピクチャまたはビデオピクチャの一部分）が、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

【発明の概要】

【0005】

[0005] 本開示の技法によれば、ビデオデコーダ（video decoder）は、２段階の適応ループフィルタリングを実行するように構成され得る。ＡＬＦの第１の段階については、ビデオデコーダは、フィルタリングされる再構築サンプル（reconstructed sample）についての、アクティビティ値（activity value）と、方向値（direction value）とを決定するように構成され得る。アクティビティ値は、一般に、フィルタリングされるサンプルの周囲のサンプルの近傍における、サンプル値の分散を示し得る。方向値は、一般に、サンプル値が、水平方向に増加しているか、垂直方向に増加しているか、４５度方向に増加しているか、１３５度方向に増加しているか、それともまったく増加していないかなど、サンプル値が変化している方向（direction）を示し得る。アクティビティ値と、方向値とに基づいて、ビデオデコーダは、フィルタリングされるサンプルについてのクラスインデックス（class index）を決定し得る。クラスインデックスは、フィルタ（filter）の第１のセットからのフィルタと関連付けられ得、各フィルタは、形状（shape）と、係数値（coefficient value）のセットとによって、定義される。ビデオデコーダは、ビットストリーム内に含まれるシンタックス（syntax）に基づいて、フィルタの第１のセットと、どの分類器がどのフィルタに対応するかとを決定し得る。ビデオデコーダは、第１の中間サンプル値（first intermediate sample value）を決定するために、再構築サンプルに、フィルタを適用し得る。

【0006】

[0006] ＡＬＦの第２の段階については、ビデオデコーダは、再構築サンプルに、第２のフィルタ（second filter）を適用することによって、第１のサンプル変更値（first sample modification value）を決定し、第１の中間サンプル値に基づいて、第２のサンプル変更値（second sample modification value）を決定する。次いで、ビデオデコーダは、再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプル（filtered reconstructed sample）を決定する。本明細書において説明されるように、再構築ブロック（reconstructed block）の再構築サンプルに、第１の段階のＡＬＦを適用し、再構築サンプルに、第２の段階のＡＬＦ（second stage ALF）を適用することによって、本開示の技法は、ビデオデータ（video data）の局所的特徴を考慮することによって、１段階のＡＬＦによって行われ得るよりも良好に、復号ビデオデータ（decoded video data）の全体的品質を改善し得る。

【0007】

[0007] 一例によれば、ビデオデータを復号する方法は、再構築ブロックの再構築サンプルに、第１の段階の（first stage）適応ループフィルタ（ＡＬＦ：adaptive loop filter）を適用することと、ここにおいて、第１の段階のＡＬＦを適用することは、再構築サンプルについての第１のクラスインデックス（first class index）を決定することと、第１のクラスインデックスに基づいて、フィルタの第１のセットからフィルタを選択することと、第１の中間サンプル値を決定するために、再構築サンプルに、フィルタの第１のセットからのフィルタを適用することとを備え、再構築サンプルに、第２の段階のＡＬＦを適用することと、ここにおいて、第２の段階のＡＬＦを適用することは、再構築サンプルについての第２のクラスインデックス（second class index）を決定することと、第２のクラスインデックスに基づいて、フィルタの第２のセットから第２のフィルタを選択することと、第１のサンプル変更値を決定するために、再構築サンプルに第２のフィルタを適用することと、第１の中間サンプル値に基づいて、第２のサンプル変更値を決定することとを備え、再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定することとを含む。

【0008】

[0008] 一例によれば、ビデオデータを復号するためのデバイスは、ビデオデータを記憶するように構成されたメモリと、回路で実施され、再構築ブロックの再構築サンプルに、第１の段階の適応ループフィルタ（ＡＬＦ）を適用することと、ここにおいて、第１の段階のＡＬＦを適用するために、１つまたは複数のプロセッサ（processor）が、再構築サンプルについての第１のクラスインデックスを決定することと、第１のクラスインデックスに基づいて、フィルタの第１のセットからフィルタを選択することと、第１の中間サンプル値を決定するために、再構築サンプルに、フィルタの第１のセットからのフィルタを適用することとを行うようにさらに構成され、再構築サンプルに、第２の段階のＡＬＦを適用することと、ここにおいて、第２の段階のＡＬＦを適用するために、１つまたは複数のプロセッサが、再構築サンプルについての第２のクラスインデックスを決定することと、第２のクラスインデックスに基づいて、フィルタの第２のセットから第２のフィルタを選択することと、第１のサンプル変更値を決定するために、再構築サンプルに第２のフィルタを適用することと、第１の中間サンプル値に基づいて、第２のサンプル変更値を決定することとを行うようにさらに構成され、再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定することとを行うように構成された、１つまたは複数のプロセッサとを含む。

【0009】

[0009] 一例によれば、コンピュータ可読記憶媒体（computer-readable storage medium）は、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、再構築ブロックの再構築サンプルに、第１の段階の適応ループフィルタ（ＡＬＦ）を適用することと、ここにおいて、第１の段階のＡＬＦを適用するために、１つまたは複数のプロセッサが、再構築ブロックについての第１のクラスインデックスを決定することと、第１のクラスインデックスに基づいて、フィルタの第１のセットからフィルタを選択することと、第１の中間サンプル値を決定するために、再構築サンプルに、フィルタの第１のセットからのフィルタを適用することとを行うようにさらに構成され、再構築サンプルに、第２の段階のＡＬＦを適用することと、ここにおいて、第２の段階のＡＬＦを適用するために、１つまたは複数のプロセッサが、再構築サンプルについての第２のクラスインデックスを決定することと、第２のクラスインデックスに基づいて、フィルタの第２のセットから第２のフィルタを選択することと、第１のサンプル変更値を決定するために、再構築サンプルに第２のフィルタを適用することと、第１の中間サンプル値に基づいて、第２のサンプル変更値を決定することとを行うようにさらに構成され、再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定することとを行わせる、命令を記憶する。

【0010】

[0010] １つまたは複数の例の詳細が添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。

【図面の簡単な説明】

【0011】

【図1】[0011] 本開示の技法を実施し得る例示的なビデオ符号化および復号システムを示すブロック図。

【図2A】[0012] 本開示の技法に従って使用され得る、例示的な適応ループフィルタ形状を示す概念図。

【図2B】本開示の技法に従って使用され得る、例示的な適応ループフィルタ形状を示す概念図。

【図3】[0013] 本開示の技法に従って使用され得る、４×４サブブロック適応ループフィルタ分類についての例示的なサブサンプリングされたラプラシアン値を示す概念図。

【図4】[0014] 本開示の技法に従って使用され得る、ルーマサンプルについての例示的なラプラシアン値を示す概念図。

【図5】[0015] 本開示の技法に従って使用され得る、適応ループフィルタクラスマージングの例を示す概念図。

【図6】[0016] 本開示の技法に従って使用され得る、７×７ダイヤモンドフィルタ形状の例示的な幾何学的変換を示す概念図。

【図7A】[0017] 本開示の技法に従って使用され得る、ＡＬＦにおける対称サンプルパディングの例を示す図。

【図7B】本開示の技法に従って使用され得る、ＡＬＦにおける対称サンプルパディングの例を示す図。

【図7C】本開示の技法に従って使用され得る、ＡＬＦにおける対称サンプルパディングの例を示す図。

【図8】[0018] 本開示の技法に従って使用され得る、ＡＬＦ ４×４サブブロック分類の例を示す図。

【図9】[0019] 本開示の技法に従った、複数の固定されたフィルタセットと、複数のシグナリングされたフィルタセットとを使用して、ビデオデータの再構築サンプルをフィルタリングするための、例示的なフレームワークを示す図。

【図10A】[0020] 本開示の技法に従って使用され得る、５×５フィルタの例を示す図。

【図10B】本開示の技法に従って使用され得る、７×７フィルタの例を示す図。

【図10C】本開示の技法に従って使用され得る、９×９フィルタの例を示す図。

【図10D】本開示の技法に従って使用され得る、１１×１１フィルタの例を示す図。

【図10E】本開示の技法に従って使用され得る、１３×１３フィルタの例を示す図。

【図11】[0021] 本開示の技法に従った、１つのシグナリングされたフィルタ（signaled filter）を伴った、複数の固定されたフィルタ（fixed filter）を実施するための例を示す図。

【図12A】[0022] 本開示の技法に従って使用され得る、２部分フィルタの例を示す図。

【図12B】本開示の技法に従って使用され得る、２部分フィルタの例を示す図。

【図12C】本開示の技法に従って使用され得る、２部分フィルタの例を示す図。

【図12D】本開示の技法に従って使用され得る、２部分フィルタの例を示す図。

【図12E】本開示の技法に従って使用され得る、２部分フィルタの例を示す図。

【図13】[0023] 本開示の技法に従った、例示的なＡＬＦフレームワークを示す概念図。

【図14】本開示の技法に従った、例示的なＡＬＦフレームワークを示す概念図。

【図15】[0024] 本開示の技法を実施し得る例示的なビデオエンコーダを示すブロック図。

【図16】[0025] 本開示の技法を実施し得る例示的なビデオデコーダを示すブロック図。

【図17】[0026] 本開示の技法を実行するための例示的なフィルタユニットを示すブロック図。

【図18】[0027] 本開示の技法に従った、現在ブロックを符号化するための例示的なプロセスを示すフローチャート。

【図19】[0028] 本開示の技法に従った、現在ブロックを復号するための例示的なプロセスを示すフローチャート。

【図20】[0029] 本開示の技法に従った、現在ブロックを復号するための例示的なプロセスを示すフローチャート。

【発明を実施するための形態】

【0012】

[0030] ビデオコーディング（たとえば、ビデオ符号化および／またはビデオ復号）は、一般に、同じピクチャ中のビデオデータのすでにコーディングされたブロックからビデオデータのブロックを予測すること（すなわち、イントラ予測）または異なるピクチャ中のビデオデータのすでにコーディングされたブロックからビデオデータのブロックを予測すること（すなわち、インター予測）のいずれかを伴う。いくつかの事例では、ビデオエンコーダはまた、予測的ブロックを元のブロックと比較することによって残差データ（residual data）を計算する。したがって、残差データは、予測的ブロックと元のブロックとの間の差分を表す。ビデオエンコーダは、残差データを変換および量子化し、変換および量子化された残差データを符号化ビットストリーム中でシグナリングする。ビデオデコーダは、予測的ブロック単独でよりもぴったり元のビデオブロックに一致する再構築ビデオブロックを生成するために、残差データを予測的ブロックに加算する。復号ビデオの品質をさらに改善するために、ビデオデコーダは、再構築ビデオブロックに対して１つまたは複数のフィルタ処理演算を実施することができる。これらのフィルタ処理演算の例は、デブロックフィルタ処理（deblock filtering）と、サンプル適応オフセット（ＳＡＯ：sample adaptive offset）フィルタ処理と、適応ループフィルタ処理（ＡＬＦ：adaptive loop filtering）とを含む。これらのフィルタ処理演算のためのパラメータは、ビデオエンコーダによって決定され、符号化ビデオビットストリーム中で明示的にシグナリングされるか、またはパラメータが符号化ビデオビットストリーム中で明示的にシグナリングされる必要なしにビデオデコーダによって暗黙的に決定されるかのいずれかであり得る。

【0013】

[0031] 本開示は、ビデオ符号化および／またはビデオ復号プロセスにおける、再構築ビデオデータをフィルタリングすることと関連付けられた技法について説明し、より詳細には、本開示は、ＡＬＦに関連する技法について説明する。しかしながら、説明される技法は、潜在的に、他のフィルタリングスキームにも適用され得る。

【0014】

[0032] 本開示の技法によれば、ビデオデコーダは、２段階の適応ループフィルタリングを実行するように構成され得る。ＡＬＦの第１の段階については、ビデオデコーダは、フィルタリングされる再構築サンプルについての、アクティビティ値と、方向値とを決定するように構成され得る。アクティビティ値は、一般に、フィルタリングされるサンプルの周囲のサンプルの近傍における、サンプル値の分散を示し得る。方向値は、一般に、サンプル値が、水平方向に増加しているか、垂直方向に増加しているか、４５度方向に増加しているか、１３５度方向に増加しているか、それともまったく増加していないかなど、サンプル値が変化している方向を示し得る。アクティビティ値と、方向値とに基づいて、ビデオデコーダは、フィルタリングされるサンプルについてのクラスインデックスを決定し得る。クラスインデックスは、フィルタの第１のセットからのフィルタと関連付けられ得、各フィルタは、形状と、係数値のセットとによって、定義される。ビデオデコーダは、ビットストリーム内に含まれるシンタックスに基づいて、フィルタの第１のセットと、どの分類器がどのフィルタに対応するかとを決定し得る。ビデオデコーダは、第１の中間サンプル値を決定するために、再構築サンプルに、フィルタを適用し得る。

【0015】

[0033] ＡＬＦの第２の段階については、ビデオデコーダは、再構築サンプルに、第２のフィルタを適用することによって、第１のサンプル変更値を決定し、第１の中間サンプル値に基づいて、第２のサンプル変更値を決定する。次いで、ビデオデコーダは、再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定する。本明細書において説明されるように、再構築ブロックの再構築サンプルに、第１の段階のＡＬＦを適用し、再構築サンプルに、第２の段階のＡＬＦを適用することによって、本開示の技法は、ビデオデータの局所的特徴を考慮することによって、１段階のＡＬＦによって行われ得るよりも良好に、復号ビデオデータの全体的品質を改善し得る。

【0016】

[0034] 図１は、本開示の技法を実施し得る例示的なビデオ符号化および復号システム１００を示すブロック図である。本開示の技法は、概して、ビデオデータをコーディング（符号化および／または復号）することを対象とする。概して、ビデオデータは、ビデオを処理するための何らかのデータを含む。したがって、ビデオデータは、生の符号化されていないビデオ、符号化されたビデオ、復号された（たとえば、再構築された）ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。

【0017】

[0035] 図１に示されているように、システム１００は、この例では、宛先デバイス１１６によって復号および表示されるべき符号化ビデオデータ（encoded video data）を提供するソースデバイス１０２を含む。特に、ソースデバイス１０２は、コンピュータ可読媒体１１０を介して宛先デバイス１１６にビデオデータを提供する。ソースデバイス１０２と宛先デバイス１１６とは、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、モバイルデバイス、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス、ブロードキャスト受信機デバイスなどを含む、広範囲のデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイス１０２と宛先デバイス１１６とは、ワイヤレス通信のために装備され得、したがって、ワイヤレス通信デバイスと呼ばれることがある。

【0018】

[0036] 図１の例では、ソースデバイス１０２は、ビデオソース１０４と、メモリ１０６と、ビデオエンコーダ２００と、出力インターフェース１０８とを含む。宛先デバイス１１６は、入力インターフェース１２２と、ビデオデコーダ３００と、メモリ１２０と、ディスプレイデバイス１１８とを含む。本開示によれば、ソースデバイス１０２のビデオエンコーダ２００と、宛先デバイス１１６のビデオデコーダ３００は、本明細書において説明される方式で、第１および第２の段階を使用する適応ループフィルタリングのための技法を適用するように構成され得る。したがって、ソースデバイス１０２はビデオ符号化デバイス（video encoding device）の一例を表し、宛先デバイス１１６はビデオ復号デバイスの一例を表す。他の例では、ソースデバイスと宛先デバイスとは、他の構成要素または配置を含み得る。たとえば、ソースデバイス１０２は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス１１６は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。

【0019】

[0037] 図１に示されているシステム１００は一例にすぎない。一般に、いずれのデジタルビデオ符号化および／または復号デバイスも、本明細書において説明される適応ループフィルタリングのための技法を実行し得る。ソースデバイス１０２と宛先デバイス１１６とは、ソースデバイス１０２が宛先デバイス１１６への送信のためにコード化ビデオデータを生成するようなコーディングデバイスの例にすぎない。本開示では、データのコーディング（符号化および／または復号）を実施するデバイスとして「コーディング」デバイスに言及する。したがって、ビデオエンコーダ２００とビデオデコーダ３００とは、コーディングデバイス、特に、それぞれビデオエンコーダとビデオデコーダとの例を表す。いくつかの例では、ソースデバイス１０２および宛先デバイス１１６は、ソースデバイス１０２および宛先デバイス１１６の各々がビデオ符号化構成要素およびビデオ復号構成要素を含むように、実質的に対称的に動作し得る。したがって、システム１００は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ソースデバイス１０２と宛先デバイス１１６との間の一方向または双方向ビデオ送信をサポートし得る。

【0020】

[0038] 概して、ビデオソース１０４は、ビデオデータ（すなわち、生の符号化されていないビデオデータ）のソースを表し、ビデオデータの連続的な一連のピクチャ（「フレーム」とも呼ばれる）をビデオエンコーダ２００に提供し、ビデオエンコーダ２００は、ピクチャのためにデータを符号化する。ソースデバイス１０２のビデオソース１０４は、ビデオカメラ、前にキャプチャされた生のビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなど、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース１０４は、ソースビデオとして、コンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成されたビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ２００は、キャプチャされたビデオデータ、プリキャプチャされたビデオデータ、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ２００は、ピクチャを、（「表示順序」と呼ばれることがある）受信順序から、コーディングのためのコーディング順序に並べ替え得る。ビデオエンコーダ２００は、符号化ビデオデータを含むビットストリームを生成し得る。ソースデバイス１０２は、次いで、たとえば、宛先デバイス１１６の入力インターフェース１２２による受信および／または取出しのために、出力インターフェース１０８を介して符号化ビデオデータをコンピュータ可読媒体１１０上に出力し得る。

【0021】

[0039] ソースデバイス１０２のメモリ１０６と、宛先デバイス１１６のメモリ１２０とは、汎用メモリを表す。いくつかの例では、メモリ１０６、１２０は、生のビデオデータ、たとえば、ビデオソース１０４からの生のビデオ、およびビデオデコーダ３００からの生の復号ビデオデータを記憶し得る。追加または代替として、メモリ１０６、１２０は、たとえば、それぞれ、ビデオエンコーダ２００とビデオデコーダ３００とによって実行可能なソフトウェア命令を記憶し得る。メモリ１０６およびメモリ１２０は、この例ではビデオエンコーダ２００およびビデオデコーダ３００とは別個に示されているが、ビデオエンコーダ２００およびビデオデコーダ３００は、機能的に同様のまたは等価な目的で内部メモリをも含み得ることを理解されたい。さらに、メモリ１０６、１２０は、符号化ビデオデータ、たとえば、ビデオエンコーダ２００からの出力、およびビデオデコーダ３００への入力を記憶し得る。いくつかの例では、メモリ１０６、１２０の部分は、たとえば、生の復号および／または符号化ビデオデータを記憶するために、１つまたは複数のビデオバッファとして割り振られ得る。

【0022】

[0040] コンピュータ可読媒体１１０は、ソースデバイス１０２から宛先デバイス１１６に符号化ビデオデータを移送することが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体１１０は、ソースデバイス１０２が、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、符号化ビデオデータを宛先デバイス１１６にリアルタイムで直接送信することを可能にするための通信媒体を表す。ワイヤレス通信プロトコルなどの通信規格に従って、出力インターフェース１０８は、符号化ビデオデータを含む送信信号を変調し得、入力インターフェース１２２は、受信された送信信号を復調し得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１０２から宛先デバイス１１６への通信を容易にするために有用であり得る任意の他の機器を含み得る。

【0023】

[0041] いくつかの例では、ソースデバイス１０２は、出力インターフェース１０８から記憶デバイス１１２に符号化データを出力し得る。同様に、宛先デバイス１１６は、入力インターフェース１２２を介して記憶デバイス１１２から符号化データにアクセスし得る。記憶デバイス１１２は、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。

【0024】

[0042] いくつかの例では、ソースデバイス１０２は、ソースデバイス１０２によって生成された符号化ビデオデータを記憶し得るファイルサーバ１１４または別の中間記憶デバイスに符号化ビデオデータを出力し得る。宛先デバイス１１６は、ストリーミングまたはダウンロードを介して、ファイルサーバ１１４から、記憶されたビデオデータにアクセスし得る。

【0025】

[0043] ファイルサーバ１１４は、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１１６に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ１１４は、（たとえば、ウェブサイトのための）ウェブサーバ、（ファイル転送プロトコル（ＦＴＰ）または単方向トランスポート上ファイル配信（ＦＬＵＴＥ：File Delivery over Unidirectional Transport）プロトコルなどの）ファイル転送プロトコルサービスを提供するように構成されたサーバ、コンテンツ配信ネットワーク（ＣＤＮ）デバイス、ハイパーテキスト転送プロトコル（ＨＴＴＰ）サーバ、マルチメディアブロードキャストマルチキャストサービス（ＭＢＭＳ）または拡張ＭＢＭＳ（ｅＭＢＭＳ）サーバ、および／あるいはネットワーク接続ストレージ（ＮＡＳ）デバイスを表し得る。ファイルサーバ１１４は、追加または代替として、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）、ＨＴＴＰライブストリーミング（ＨＬＳ）、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、ＨＴＴＰ動的ストリーミングなど、１つまたは複数のＨＴＴＰストリーミングプロトコルを実装し得る。

【0026】

[0044] 宛先デバイス１１６は、インターネット接続を含む任意の標準的なデータ接続を通してファイルサーバ１１４から符号化ビデオデータにアクセスし得る。これは、ファイルサーバ１１４に記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、デジタル加入者回線（ＤＳＬ）、ケーブルモデムなど）、またはその両方の組合せを含み得る。入力インターフェース１２２は、ファイルサーバ１１４からメディアデータを取り出すまたは受信するための上記で説明された様々なプロトコル、あるいはメディアデータを取り出すための他のそのようなプロトコルのうちのいずれか１つまたは複数に従って動作するように構成され得る。

【0027】

[0045] 出力インターフェース１０８と入力インターフェース１２２とは、ワイヤレス送信機／受信機、モデム、ワイヤードネットワーキング構成要素（たとえば、イーサネット（登録商標）カード）、様々なＩＥＥＥ８０２．１１規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース１０８と入力インターフェース１２２とがワイヤレス構成要素を備える例では、出力インターフェース１０８と入力インターフェース１２２とは、４Ｇ、４Ｇ－ＬＴＥ（登録商標）（ロングタームエボリューション）、ＬＴＥアドバンスト、５Ｇなど、セルラー通信規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。出力インターフェース１０８がワイヤレス送信機を備えるいくつかの例では、出力インターフェース１０８と入力インターフェース１２２とは、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（たとえば、ＺｉｇＢｅｅ（登録商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格など、他のワイヤレス規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１０２および／または宛先デバイス１１６は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含み得る。たとえば、ソースデバイス１０２は、ビデオエンコーダ２００および／または出力インターフェース１０８に帰属する機能を実施するためのＳｏＣデバイスを含み得、宛先デバイス１１６は、ビデオデコーダ３００および／または入力インターフェース１２２に帰属する機能を実施するためのＳｏＣデバイスを含み得る。

【0028】

[0046] 本開示の技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。

【0029】

[0047] 宛先デバイス１１６の入力インターフェース１２２は、コンピュータ可読媒体１１０（たとえば、通信媒体、記憶デバイス１１２、ファイルサーバ１１４など）から符号化ビデオビットストリームを受信する。符号化ビデオビットストリームは、ビデオブロックまたは他のコード化ユニット（たとえば、スライス、ピクチャ、ピクチャのグループ、シーケンスなど）の特性および／または処理を記述する値を有するシンタックス要素など、ビデオデコーダ３００によっても使用される、ビデオエンコーダ２００によって定義されるシグナリング情報を含み得る。ディスプレイデバイス１１８は、復号ビデオデータの復号ピクチャ（decoded picture）をユーザに表示する。ディスプレイデバイス１１８は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを表し得る。

【0030】

[0048] 図１には示されていないが、いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは各々、オーディオエンコーダおよび／またはオーディオデコーダと統合され得、共通のデータストリーム中にオーディオとビデオの両方を含む多重化ストリームをハンドリングするために、適切なＭＵＸ－ＤＥＭＵＸユニット、あるいは他のハードウェアおよび／またはソフトウェアを含み得る。適用可能な場合、ＭＵＸ－ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

【0031】

[0049] ビデオエンコーダ２００とビデオデコーダ３００とは各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダおよび／またはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、本開示の技法を実施するために１つまたは複数のプロセッサを使用してその命令をハードウェアで実行し得る。ビデオエンコーダ２００とビデオデコーダ３００との各々は、１つまたは複数のエンコーダまたはデコーダに含まれ得、それらのいずれかが、それぞれのデバイス中の複合エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合され得る。ビデオエンコーダ２００および／またはビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話機などのワイヤレス通信デバイスを備え得る。

【0032】

[0050] ビデオエンコーダ２００とビデオデコーダ３００とは、高効率ビデオコーディング（ＨＥＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６５、あるいはマルチビューおよび／またはスケーラブルビデオコーディング拡張などのそれらの拡張など、ビデオコーディング規格に従って動作し得る。代替的に、ビデオエンコーダ２００とビデオデコーダ３００とは、汎用ビデオコーディング（ＶＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６６など、他のプロプライエタリまたは業界規格に従って動作し得る。ＶＶＣ規格のドラフトは、Ｂｒｏｓｓら、「Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ １０）」、ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ２９／ＷＧ１１のジョイントビデオエキスパートチーム（ＪＶＥＴ）、第１８回会合、テレビ会議による、２０２０年６月２２日～７月１日、ＪＶＥＴ－Ｓ２００１－ｖ１７（以下本明細書においては、「ＶＶＣドラフト１０」）において説明されている。しかしながら、本開示の技法は、いずれか特定のコーディング規格に限定されず、さらに、本明細書において説明される技法は、ＶＶＣの後継規格と併せて使用され得ることが、明示的に企図されている。

【0033】

[0051] 概して、ビデオエンコーダ２００とビデオデコーダ３００とは、ピクチャのブロックベースのコーディングを実施し得る。「ブロック」という用語は、概して、処理されるべき（たとえば、符号化されるべき、復号されるべき、あるいは符号化および／または復号プロセスにおいて他の方法で使用されるべき）データを含む構造を指す。たとえば、ブロックは、ルミナンスおよび／またはクロミナンスデータのサンプルの２次元行列を含み得る。概して、ビデオエンコーダ２００とビデオデコーダ３００とは、ＹＵＶ（たとえば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのために赤色、緑色、および青色（ＲＧＢ）データをコーディングするのではなく、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分とクロミナンス成分とをコーディングし得、ここで、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ２００は、符号化より前に、受信されたＲＧＢフォーマットのデータをＹＵＶ表現にコンバートし、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットにコンバートする。代替的に、前処理および後処理ユニット（図示せず）が、これらのコンバージョンを実施し得る。

【0034】

[0052] 本開示は、概して、ピクチャのデータを符号化または復号するプロセスを含むように、ピクチャのコーディング（たとえば、符号化および復号）に言及することがある。同様に、本開示は、ブロックについてのデータを符号化または復号するプロセス、たとえば、予測および／または残差コーディングを含むように、ピクチャのブロックのコーディングに言及することがある。符号化ビデオビットストリームは、概して、コーディング決定（たとえば、コーディングモード）とブロックへのピクチャの区分とを表すシンタックス要素についての一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、概して、ピクチャまたはブロックを形成するシンタックス要素についての値をコーディングすることとして理解されるべきである。

【0035】

[0053] ＨＥＶＣは、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）を含む、様々なブロックを定義する。ＨＥＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、クワッドツリー構造に従ってコーディングツリーユニット（ＣＴＵ）をＣＵに区分する。すなわち、ビデオコーダは、ＣＴＵとＣＵとを４つの等しい重複しない正方形に区分し、クワッドツリーの各ノードは、０個または４つのいずれかの子ノードを有する。子ノードのないノードは、「リーフノード」と呼ばれることがあり、そのようなリーフノードのＣＵは、１つまたは複数のＰＵおよび／または１つまたは複数のＴＵを含み得る。ビデオコーダは、ＰＵとＴＵとをさらに区分し得る。たとえば、ＨＥＶＣでは、残差クワッドツリー（ＲＱＴ）は、ＴＵの区分を表す。ＨＥＶＣでは、ＰＵはインター予測データを表すが、ＴＵは残差データを表す。イントラ予測されるＣＵは、イントラモード指示などのイントラ予測情報を含む。

【0036】

[0054] 別の例として、ビデオエンコーダ２００とビデオデコーダ３００とは、ＶＶＣに従って動作するように構成され得る。ＶＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、ピクチャを複数のコーディングツリーユニット（ＣＴＵ）に区分する。ビデオエンコーダ２００は、クワッドツリーバイナリツリー（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ）構造など、ツリー構造に従ってＣＴＵを区分し得る。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵとの間の分離など、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、２つのレベル、すなわち、クワッドツリー区分に従って区分される第１のレベルと、バイナリツリー区分に従って区分される第２のレベルとを含む。ＱＴＢＴ構造のルートノードは、ＣＴＵに対応する。バイナリツリーのリーフノードは、コーディングユニット（ＣＵ）に対応する。

【0037】

[0055] ＭＴＴ区分構造では、ブロックは、クワッドツリー（ＱＴ）区分と、バイナリツリー（ＢＴ）区分と、１つまたは複数のタイプのトリプルツリー（ＴＴ）（ターナリツリー（ＴＴ）とも呼ばれる）区分とを使用して区分され得る。トリプルツリーまたはターナリツリー区分は、ブロックが３つのサブブロックにスプリットされる区分である。いくつかの例では、トリプルツリーまたはターナリツリー区分は、中心を通して元のブロックを分割することなしにブロックを３つのサブブロックに分割する。ＭＴＴにおける区分タイプ（たとえば、ＱＴ、ＢＴ、およびＴＴ）は、対称的または非対称的であり得る。

【0038】

[0056] いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分とクロミナンス成分との各々を表すために単一のＱＴＢＴまたはＭＴＴ構造を使用し得、他の例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分のための１つのＱＴＢＴ／ＭＴＴ構造、および両方のクロミナンス成分のための別のＱＴＢＴ／ＭＴＴ構造（またはそれぞれのクロミナンス成分のための２つのＱＴＢＴ／ＭＴＴ構造）など、２つまたはそれ以上のＱＴＢＴまたはＭＴＴ構造を使用し得る。

【0039】

[0057] ビデオエンコーダ２００とビデオデコーダ３００とは、ＨＥＶＣに従うクワッドツリー区分、ＱＴＢＴ区分、ＭＴＴ区分、または他の区分構造を使用するように構成され得る。説明の目的で、本開示の技法の説明はＱＴＢＴ区分に関して提示される。しかしながら、本開示の技法は、クワッドツリー区分、または同様に他のタイプの区分を使用するように構成されたビデオコーダにも適用され得ることを理解されたい。

【0040】

[0058] いくつかの例では、ＣＴＵは、ルーマサンプルのコーディングツリーブロック（ＣＴＢ）、３つのサンプルアレイを有するピクチャのクロマサンプルの２つの対応するＣＴＢ、あるいはモノクロームピクチャ、またはサンプルをコーディングするために使用される３つの別個の色平面とシンタックス構造とを使用してコーディングされるピクチャのサンプルのＣＴＢを含む。ＣＴＢは、ＣＴＢへの成分の分割が区分になるような何らかの値のＮについて、サンプルのＮ×Ｎブロックであり得る。成分は、ピクチャを４：２：０、４：２：２、または４：４：４色フォーマットに構成する３つのアレイ（ルーマおよび２つのクロマ）のうちの１つからのアレイまたは単一のサンプル、あるいはピクチャをモノクロームフォーマットに構成するアレイまたはアレイの単一のサンプルである。いくつかの例では、コーディングブロックは、コーディングブロックへのＣＴＢの分割が区分になるような何らかの値のＭとＮとについて、サンプルのＭ×Ｎブロックである。

【0041】

[0059] ブロック（たとえば、ＣＴＵまたはＣＵ）は、ピクチャ中で様々な方法でグループ化され得る。一例として、ブリックは、ピクチャ中の特定のタイル内のＣＴＵ行の矩形領域を指し得る。タイルは、ピクチャ中の特定のタイル列および特定のタイル行内のＣＴＵの矩形領域であり得る。タイル列は、ピクチャの高さに等しい高さと、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された幅とを有するＣＴＵの矩形領域を指す。タイル行は、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された高さと、ピクチャの幅に等しい幅とを有するＣＴＵの矩形領域を指す。

【0042】

[0060] いくつかの例では、タイルは複数のブリックに区分され得、それらの各々は、タイル内に１つまたは複数のＣＴＵ行を含み得る。複数のブリックに区分されないタイルもブリックと呼ばれることがある。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。

【0043】

[0061] ピクチャ中のブリックはまた、スライス中に配置され得る。スライスは、もっぱら単一のネットワークアブストラクションレイヤ（ＮＡＬ）ユニット中に含まれていることがあるピクチャの整数個のブリックであり得る。いくつかの例では、スライスは、いくつかの完全なタイル、または１つのタイルの完全なブリックの連続シーケンスのみのいずれかを含む。

【0044】

[0062] 本開示は、垂直寸法と水平寸法とに関して（ＣＵまたは他のビデオブロックなどの）ブロックのサンプル寸法を指すために、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」、たとえば、１６×１６サンプル（16x16 samples）または１６×１６サンプル（16 by 16 samples）を互換的に使用し得る。概して、１６×１６のＣＵは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×ＮのＣＵは、概して、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。ＣＵ中のサンプルは、行と列とに配置され得る。その上、ＣＵは、必ずしも、水平方向において垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、ＣＵはＮ×Ｍサンプルを備え得、ここで、Ｍは必ずしもＮに等しいとは限らない。

【0045】

[0063] ビデオエンコーダ２００は、予測および／または残差情報、ならびに他の情報を表すＣＵのためにビデオデータを符号化する。予測情報は、ＣＵについて予測ブロックを形成するためにＣＵがどのように予測されるべきかを示す。残差情報は、概して、符号化より前のＣＵのサンプルと予測ブロックとの間のサンプルごとの差分を表す。

【0046】

[0064] ＣＵを予測するために、ビデオエンコーダ２００は、概して、インター予測またはイントラ予測を通してＣＵについて予測ブロックを形成し得る。インター予測は、概して、前にコーディングされたピクチャのデータからＣＵを予測することを指すが、イントラ予測は、概して、同じピクチャの前にコーディングされたデータからＣＵを予測することを指す。インター予測を実施するために、ビデオエンコーダ２００は、１つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ２００は、概して、たとえば、ＣＵと参照ブロックとの間の差分に関して、ＣＵにぴったり一致する参照ブロックを識別するために動き探索を実施し得る。ビデオエンコーダ２００は、参照ブロックが現在ＣＵにぴったり一致するかどうかを決定するために、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ２００は、単方向予測または双方向予測を使用して現在ＣＵを予測し得る。

【0047】

[0065] ＶＶＣのいくつかの例はまた、インター予測モードと見なされ得るアフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームインまたはアウト、回転、パースペクティブの動き、あるいは他の変則の動きタイプなど、非並進の動きを表す２つまたはそれ以上の動きベクトルを決定し得る。

【0048】

[0066] イントラ予測を実施するために、ビデオエンコーダ２００は、予測ブロックを生成するようにイントラ予測モードを選択し得る。ＶＶＣのいくつかの例は、様々な方向性モード、ならびに平面モードおよびＤＣモードを含む、６７個のイントラ予測モードを提供する。概して、ビデオエンコーダ２００は、現在ブロック（たとえば、ＣＵのブロック）のサンプルをそれから予測すべき、現在ブロックに対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、ビデオエンコーダ２００がラスタ走査順序で（左から右に、上から下に）ＣＴＵとＣＵとをコーディングすると仮定すると、概して、現在ブロックと同じピクチャ中の現在ブロックの上、左上、または左にあり得る。

【0049】

[0067] ビデオエンコーダ２００は、現在ブロックについて予測モードを表すデータを符号化する。たとえば、インター予測モードでは、ビデオエンコーダ２００は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードのための動き情報を表すデータを符号化し得る。たとえば、単方向または双方向インター予測では、ビデオエンコーダ２００は、高度動きベクトル予測（ＡＭＶＰ）またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ２００は、アフィン動き補償モードのための動きベクトルを符号化するために、同様のモードを使用し得る。

【0050】

[0068] ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ２００は、ブロックについて残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成された、ブロックについての予測ブロックとの間の、サンプルごとの差分を表す。ビデオエンコーダ２００は、サンプル領域ではなく変換領域中に変換データを生成するために、残差ブロックに１つまたは複数の変換を適用し得る。たとえば、ビデオエンコーダ２００は、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換を残差ビデオデータに適用し得る。さらに、ビデオエンコーダ２００は、第１の変換に続いて、モード依存非分離可能２次変換（ＭＤＮＳＳＴ：mode-dependent non-separable secondary transform）、信号依存変換、カルーネンレーベ変換（ＫＬＴ）などの２次変換を適用し得る。ビデオエンコーダ２００は、１つまたは複数の変換の適用に続いて変換係数を生成する。

【0051】

[0069] 上述のように、変換係数を生成するための任意の変換に続いて、ビデオエンコーダ２００は、変換係数の量子化を実施し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスを実施することによって、ビデオエンコーダ２００は、変換係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、ビデオエンコーダ２００は、量子化中にｎビット値をｍビット値に丸めることがあり、ここで、ｎはｍよりも大きい。いくつかの例では、量子化を実施するために、ビデオエンコーダ２００は、量子化されるべき値のビット単位右シフトを実施し得る。

【0052】

[0070] 量子化に続いて、ビデオエンコーダ２００は、変換係数を走査して、量子化された変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、より高いエネルギー（したがって、より低い頻度）の変換係数をベクトルの前方に配置し、より低いエネルギー（したがって、より高い頻度）の変換係数をベクトルの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ２００は、あらかじめ定義された走査順序を利用して、量子化された変換係数を走査してシリアル化ベクトルを生成し、次いで、ベクトルの量子化された変換係数をエントロピー符号化し得る。他の例では、ビデオエンコーダ２００は適応型走査を実施し得る。量子化された変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２００は、たとえば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２００はまた、ビデオデータを復号する際のビデオデコーダ３００による使用のために、符号化ビデオデータに関連付けられたメタデータを記述するシンタックス要素についての値をエントロピー符号化し得る。

【0053】

[0071] ＣＡＢＡＣを実施するために、ビデオエンコーダ２００は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、たとえば、シンボルの隣接値が０値であるか否かに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。

【0054】

[0072] ビデオエンコーダ２００は、さらに、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、あるいはシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、またはビデオパラメータセット（ＶＰＳ）などの他のシンタックスデータ中で、ビデオデコーダ３００に対して生成し得る。ビデオデコーダ３００は、対応するビデオデータをどのように復号すべきかを決定するために、そのようなシンタックスデータを同様に復号し得る。

【0055】

[0073] このようにして、ビデオエンコーダ２００は、符号化ビデオデータ、たとえば、ブロック（たとえば、ＣＵ）へのピクチャの区分ならびにブロックのための予測および／または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ３００は、ビットストリームを受信し、符号化ビデオデータを復号し得る。

【0056】

[0074] 概して、ビデオデコーダ３００は、ビットストリームの符号化ビデオデータを復号するために、ビデオエンコーダ２００によって実施されたものの逆プロセスを実施する。たとえば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣ符号化プロセスと逆ではあるが、それと実質的に同様の様式でＣＡＢＡＣを使用してビットストリームのシンタックス要素についての値を復号し得る。シンタックス要素は、ＣＴＵのＣＵを定義するために、ピクチャをＣＴＵに区分するための区分情報と、ＱＴＢＴ構造などの対応する区分構造に従う、各ＣＴＵの区分とを定義し得る。シンタックス要素は、ビデオデータのブロック（たとえば、ＣＵ）についての予測および残差情報をさらに定義し得る。

【0057】

[0075] 残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ３００は、ブロックのための残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ３００は、ブロックのための予測ブロックを形成するために、シグナリングされた予測モード（イントラまたはインター予測）と、関連する予測情報（たとえば、インター予測のための動き情報）とを使用する。ビデオデコーダ３００は、次いで、元のブロックを再生するために（サンプルごとに）予測ブロックと残差ブロックとを組み合わせ得る。ビデオデコーダ３００は、ブロックの境界に沿って視覚的アーティファクトを低減するためにデブロッキングプロセスを実施することなど、追加の処理を実施し得る。

【0058】

[0076] 本開示は、概して、シンタックス要素など、ある情報を「シグナリング」することに言及することがある。「シグナリング」という用語は、概して、符号化ビデオデータを復号するために使用されるシンタックス要素および／または他のデータについての値の通信を指し得る。すなわち、ビデオエンコーダ２００は、ビットストリームにおいてシンタックス要素についての値をシグナリングし得る。概して、シグナリングは、ビットストリームにおいて値を生成することを指す。上述のように、ソースデバイス１０２は、実質的にリアルタイムでビットストリームを宛先デバイス１１６に移送するか、または、宛先デバイス１１６による後の取出しのためにシンタックス要素を記憶デバイス１１２に記憶するときに行われ得るように、非リアルタイムでビットストリームを宛先デバイス１１６に移送し得る。

【0059】

[0077] Ｈ．２６６／ＶＶＣ規格などのビデオコーディングにおいては、フィルタリングされたサンプルと元のサンプルとの間の平均２乗誤差を最小化するために、ＡＬＦが、適用される。ＡＬＦに対する入力サンプルは、たとえば、ＳＡＯの出力サンプルであり得る。ＡＬＦの出力サンプルは、復号ピクチャバッファ（ＤＰＢ）内に記憶され、または視認可能なピクチャとして出力され得る。共同調査モデル（ＪＥＭ）ソフトウェアにおいて採用された、ＡＬＦについてのフィルタ形状は、５×５、７×７、および９×９のダイヤモンド形状であった。ＪＥＭにおいては、フィルタ形状は、ピクチャレベルで選択され、シグナリングされ得る。コーディング効率とフィルタの複雑さとの間のより良いトレードオフを得るために、ＶＶＣにおいては、それぞれ、ルーマ成分およびクロマ成分に対して、７×７のダイヤモンド形状および５×５のダイヤモンド形状のみが、サポートされる。

【0060】

[0078] 図２Ａは、７×７のダイヤモンド形状フィルタである、例示的なフィルタ１４０を示している。図２Ｂは、５×５のダイヤモンド形状フィルタである、例示的なフィルタ１４２を示している。フィルタ１４０および１４２の各々において、整数係数ｃｉは、７ビットの分数精度で表される。ｃ_iの絶対値は、０次の指数ゴロムコードを使用することによって、コーディングされ、非ゼロ係数のための符号ビットによって後続される。図２Ａおよび２Ｂにおいては、各四角形は、ルーマサンプルまたはクロマサンプルに対応し、中央の四角形が、現在フィルタリングされるサンプルに対応する。係数を送信するオーバーヘッドと、乗算の数とを減らすために、図２Ａおよび図２Ｂにおけるフィルタ形状は、点対称である。加えて、式（１）に示されるように、すべてのフィルタ係数の和は、７ビットの分数精度で、１．０の固定小数点表現である、１２８に等しく設定される。

【0061】

【数1】

【0062】

[0079] 式（１）においては、Ｎは、係数の数であり、Ｎは、それぞれ、７×７および５×５のフィルタ形状に対して、１３および７に等しい。

【0063】

[0080] ＶＶＣにおいては、非線形性が、ＡＬＦに導入される。隣接サンプル値と現在フィルタリングされるサンプル値との間の差（difference）が、大きすぎるとき、隣接サンプル値の影響を減らすために、単純なクリッピング関数が、適用される。サンプルをフィルタリングするために、ＡＬＦは、

【0064】

【数2】

【0065】

として実行され得、ここで、Ｒ（ｘ，ｙ）は、ＳＡＯ後のサンプル値である。

【0066】

[0081] 非線形関数が、クリッピング関数を用いて、

【0067】

【数3】

【0068】

として定義され、ここで、ｊは、０または１に等しく、（ｘ_i,j，ｙ_i,j）は、第ｉの係数ｃ_iのフィルタタップ位置オフセットである。

【0069】

[0082] ＶＶＣバージョン１においては、式（４）に示されるように、係数ｃ_iについてのクリッピングパラメータｂ_iは、クリッピングインデックスｄ_iによって決定される。ＢＤは、内部ビット深度である。

【0070】

【数4】

【0071】

[0083] フィルタについては、シグナリングされる係数の数と、シグナリングされるクリッピングインデックスの数は、両方とも、Ｎ－１である。各係数は、７ビットの分数精度で、［－１．０，１．０］に等価である、［－１２８，１２７］の範囲に制限される。各クリッピングインデックスｄｉは、０、１、２、または３であることができ、２ビットの固定長コードを使用することによって、シグナリングされる。式（４）におけるように、クリッピング演算を単純化するために、クリッピングパラメータｂ_iの値は、２の累乗のみに制限され得る。したがって、クリッピング演算として、ビット単位の論理演算が、適用され得る。

【0072】

[0084] ビデオエンコーダ２００およびビデオデコーダ３００は、サブブロックレベルフィルタ適応を実行するように構成され得る。ＶＶＣバージョン１においては、ＡＬＦは、ＪＥＭ－７．０におけるＡＬＦと同じルーマ分類フレームワークに従う。コーディング効率と計算の複雑さとの間のより良いトレードオフを獲得するために、分類のためのブロックサイズは、２×２サンプルから４×４サンプルに増やされ得る。４×４ブロックのクラスインデックスを決定するために、８×８のルーマサンプルを含む囲み窓が、方向と、アクティビティ情報とを導出するために、利用される。この８×８ルーマサンプル窓においては、図３に示されるように、あらゆる第２のサンプルの４つの勾配値が、最初に計算される。図３は、ＡＬＦ分類のための４×４サブブロック１５０についてのサブサンプリングされたラプラシアン値を示している。ドットを用いてマークされたサンプルの勾配値が、計算される。他のサンプルの勾配値は、０に設定される。

【0073】

[0085] 図４は、各サンプルについての４つの勾配値を、座標（ｋ，ｌ）を用いて示している。ドットは、勾配が計算されているサンプルを表す。ブロック１６０は、水平勾配（Ｈ）を示し、ブロック１６２は、垂直勾配（Ｖ）を示す。ブロック１６４は、１３５度勾配（Ｄ１）を示し、ブロック１６６は、４５度勾配（Ｄ２）を示す。Ｈ、Ｖ、Ｄ１、およびＤ２は、次のように導出される。

【0074】

【数5】

【0075】

[0086] 変数ｉおよびｊは、４×４ブロックにおける左上サンプルの座標を示すことができる。計算された水平勾配の合計ｇ_H、計算された垂直勾配の合計ｇ_V、計算された１３５度勾配の合計ｇ_D1、および計算された４５度勾配の合計ｇ_D2は、次のように計算される。

【0076】

【数6】

【0077】

[0087] Ｒ_H,Vによって表される水平勾配と垂直勾配の最大値と、水平勾配と垂直勾配の最小値との比、およびＲ_D1,D2によって表される２つの対角線勾配の最大値と、２つの対角線勾配の最小値との比は、式（７）に示されるように計算される。

【0078】

【数7】

【0079】

[0088] 次いで、方向性Dを導出するために、Ｒ_H,VとＲ_D1,D2が、２つのしきい値ｔ₁＝２およびｔ₂＝４．５を用いて、互いに比較される。

【0080】

ステップ１：Ｒ_H,V≦ｔ₁と、Ｒ_D1,D2≦ｔ₁の両方である場合、Ｄは、０（テクスチャ）に設定され、それ以外の場合、ステップ２を続行する。

【0081】

ステップ２：Ｒ_D1,D2＞Ｒ_H,Vの場合、ステップ３を続行し、それ以外の場合、ステップ４を続行する。

【0082】

ステップ３：Ｒ_D1,D2≦ｔ₂の場合、Ｄは、１（弱い対角線）に設定され、それ以外の場合、Ｄは、２（強い対角線）に設定される。

【0083】

ステップ４：Ｒ_H,V≦ｔ₂の場合、Ｄは、３（弱い水平／垂直）に設定され、
それ以外の場合、Ｄは、４（強い水平／垂直）に設定される。

【0084】

[0089] アクティビティ値Ａは、次のように計算される：

【0085】

【数8】

【0086】

[0090] 図５は、２５個のルーマクラスを７個のマージされたクラス（０から６）にマージする例を示しており、ここで、各四角形は、Ｄおよび

【0087】

【数9】

【0088】

の値に基づいた、クラスを表す。５×５グリッド１７０は、２５個のクラスを表し、５×５グリッド１７０の各ボックス内の数字は、０から６までのマージされたクラスを表す。各クラス、すなわち５×５グリッド１７０の各四角形は、０以上２４以下のインデックスを有することができる。Ａは、０以上４以下の範囲にマッピングされ、量子化された値は、

【0089】

【数10】

【0090】

として表される。したがって、各４ｘ４ブロックは、次のように、２５個のクラスのうちの１つにカテゴライズされる。

【0091】

【数11】

【0092】

[0091] ルーマフィルタセットは、２５個のフィルタを含む。しかしながら、コーディング効率を維持しながら、フィルタ係数を表すために必要とされるビット数を減らすために、異なるクラスは、マージされ得、マージされたクラスは、同じフィルタを使用する。マージングテーブルが、シグナリングされる。マージングテーブルにおいては、各クラスについてのフィルタインデックスが、たとえば、固定長コードを使用して、シグナリングされる。図５についての例示的なフィルタセットにおいては、７個のルーマフィルタが、シグナリングされる。クラスごとに、フィルタインデックス（この例においては０から６）が、ＡＬＦ＿ＡＰＳで通知される。

【0093】

[0092] ４×４ブロックのクラスインデックスＣと、マージングテーブルとに基づいて、ルーマフィルタセットからフィルタを決定した後、４×４ブロックのサンプルをフィルタリングする前に、表１に示されるように、４ｘ４ブロックについて計算された勾配値に応じて、幾何学的変換が、フィルタに適用され得る。

【0094】

【表1】

【0095】

[0093] 図６は、図２Ａにおけるフィルタ１４０の幾何学的変換の例を示している。図６に見られ得るように、フィルタ１８０は、フィルタ１４０の対角線反転に対応する。フィルタ１８２は、フィルタ１４０の垂直反転に対応し、フィルタ１８４は、フィルタ１４０の右回転に対応する。

【0096】

[0094] ビデオエンコーダ２００およびビデオデコーダ３００は、コーディングツリーブロックレベル適応を実行するように構成され得る。ＪＥＭ－７．０においては、ただ１つのルーマフィルタセットが、スライスのすべてのルーマＣＴＢに適用され、ただ１つのクロマフィルタが、スライスのすべてのクロマＣＴＢに適用される。しかしながら、２つの潜在的な不都合が、存在する。第１に、ＣＴＢ間の統計情報が、ある程度異なるとき、色成分のすべてのＣＴＢのために同じフィルタまたはフィルタセットを使用することは、特に、高解像度シーケンス、および混合コンテンツのビデオシーケンスについて、ＡＬＦのコーディング効率を制限することがある。第２に、スライスのためのフィルタを導出するとき、スライス全体の統計情報が、収集されるまで、フィルタは、計算され得ない。このマルチプルパスコーディングは、低遅延アプリケーションには向いていない。この問題に対処するためには、以前にコーディングされたスライスからの統計を使用することが、１つのソリューションになる。しかしながら、これは、いくらかのパフォーマンス低下をもたらし得る。

【0097】

[0095] ルーマ４×４ブロックレベルフィルタ適応に加えて、ＶＶＣは、ＣＴＢレベルフィルタ適応をサポートする。スライスにおいては、異なるルーマＣＴＢは、異なるルーマフィルタセットを使用することが許容され、異なるクロマＣＴＢは、異なるクロマフィルタを使用することができる。同様の統計を有するＣＴＢは、同じフィルタを使用し得る。このＣＴＢレベルフィルタ適応は、特に、低遅延アプリケーションについて、コーディング効率を改善する。加えて、ＶＶＣバージョン１は、以前にコーディングされたピクチャからのフィルタが、ＣＴＢのために使用されることを許容する。この一時的なフィルタ再利用メカニズムは、フィルタ係数シグナリングのオーバーヘッドを減すことができる。ＶＶＣバージョン１においては、最大で７つのシグナリングされたルーマフィルタセットと、８つのシグナリングされたクロマフィルタが、スライスに適用され得る。いかなるシグナリングされたフィルタも、存在しないとき、１６個の固定されたフィルタセットのうちの１つが、ルーマＣＴＢに適用され得る。ＡＬＦが、有効であるとき、固定されたフィルタセットまたはシグナリングされたルーマフィルタセットのいずれかのフィルタセットインデックスが、ルーマＣＴＢのためにシグナリングされる。シグナリングされたクロマフィルタのフィルタインデックスが、クロマＣＴＢのためにシグナリングされる。以前にコーディングされたピクチャからシグナリングされたフィルタと、固定されたフィルタとを使用することによって、低遅延アプリケーションにおいて、現在ＣＴＵを符号化するとき、現在ＣＴＵの統計情報のみを使用することによって、３つのＣＴＵレベルオン／オフフラグと、フィルタ／フィルタセットインデックスが、決定され得る。したがって、各ＣＴＵの符号化されたビットストリームは、オンザフライで、ピクチャ全体の統計が利用可能になるのを待たずに、生成され得る。

【0098】

[0096] ビデオエンコーダ２００およびビデオデコーダ３００は、ラインバッファ削減のための技法を実行するように構成され得る。図２Ａおよび図２Ｂに示されるように、垂直方向において、フィルタ形状は、それぞれ、ルーマ成分およびクロマ成分について、７タップおよび５タップを有する。結果として、ＶＶＣテストモデル２．０（ＶＴＭ－２．０）においては、ＣＴＵの行を復号するとき、デブロッキングフィルタ（deblocking filter）およびＳＡＯフィルタの遅延のせいで、上側ＣＴＵ行の７つのルーマラインと４つのクロマラインが、ＡＬＦのためのラインバッファ内に記憶されなければならない。しかしながら、追加のラインバッファは、特に、高解像度（ＨＤ）および超高解像度（ＵＨＤ）ビデオシーケンスについて、大きなチップ領域を必要とする。

【0099】

[0097] （たとえば、ラインバッファ要件を低減することによって）ＡＬＦをハードウェアフレンドリにするために、仮想境界（ＶＢ）の概念が、ＡＬＦについてのすべてのラインバッファオーバーヘッドを除去するために、適用され得る。ＶＶＣバージョン１におけるデブロッキングフィルタおよびＳＡＯフィルタを考慮すると、ＶＢの位置は、水平ＣＴＵ境界の上方４ルーマサンプルおよび２クロマサンプルである。ＶＢの一方の側上の１つのサンプルが、フィルタリングされるとき、ＶＢの他方の側上のサンプルは、利用され得ず、対称サンプルパディングを用いる変更されたフィルタリングが、適用され得る。

【0100】

[0098] 図７Ａ～図７Ｃは、ＡＬＦ ＶＢにおけるルーマＡＬＦフィルタリングについての対称サンプルパディングの例を示している。図７Ａ～図７Ｃの例においては、フィルタ１９０の中央の四角形は、現在のフィルタリングされるサンプルの位置であり、太線は、ＶＢ（ＶＢ１９２）の位置である。図７Ａ～図７Ｃにおいては、破線を有するフィルタタップ位置が、パディングされる。図７Ａは、フィルタ１９０の１つのフィルタタップ位置が、ＶＢ１９２の上または下にある、例を示している。この例においては、１つのフィルタタップ位置が、パディングされる。図７Ｂは、フィルタ１９０の４つのフィルタタップ位置が、ＶＢ１９２の上または下にある、例を示している。この例においては、４つのフィルタタップ位置が、パディングされる。

【0101】

[0099] しかしながら、図７Ｃに示されるように、サンプルが、ＶＢ１９２の各側における最も近い行上にある場合、２Ｄフィルタは、水平フィルタと等価である。これは、視覚的なアーティファクトを導入し得る。この問題に対処するために、式（１０）に示されるように、現在のフィルタリングされるサンプルが、ＶＢの各側における最も近い行上に配置されるとき、フィルタ強度が、補償され得る。式（１０）を式（２）と比較すると、さらに３ビットが、右にシフトされていることが見られ得る。

【0102】

【数12】

【0103】

[0100] ＶＢ処理が、適用されるとき、４×４ブロックの分類も、変更され得る。ＶＢの一方の側における４×４ブロックのクラスインデックスを計算するとき、ＶＢの他方の側における勾配およびサンプルは、図８に示されるように、使用され得ない。

【0104】

[0101] 図８は、ＡＬＦ ＶＢにおけるＡＬＦ ４×４サブブロック分類の例を示している。ＶＢに隣接するサンプルの勾配値を計算するとき、ＶＢの他方の側におけるサンプルは、利用され得ない。したがって、現在の側の境界サンプルが、図８に示されるように、繰り返し拡張される。すなわち、ＶＢの現在の側における境界サンプルが、ＶＢの他方の側にミラーされる。利用可能な勾配値の数が、減らされるので、式（８）におけるアクティビティ導出は、

【0105】

【数13】

【0106】

にリスケールされる。

【0107】

[0102] ビデオエンコーダ２００およびビデオデコーダ３００は、フィルタ係数シグナリングを実行するように構成され得る。ＶＶＣバージョン１においては、ＡＬＦ係数は、ＡＬＦ適応パラメータセット（ＡＰＳ）でシグナリングされる。１つのＡＰＳは、最大２５個のフィルタを有するルーマフィルタの１つのセットと、最大８個のクロマフィルタと、最大８個のクロス成分ＡＬＦ（ＣＣ－ＡＬＦ）フィルタとを含み得る。ルーマフィルタの各セットは、ルーマの２５個のクラスにＡＬＦを適用することをサポートする。ＶＶＣバージョン１においては、最大８つのＡＬＦ＿ＡＰＳが、サポートされる。

【0108】

[0103] 以下の表２は、本開示の技法に従ってフィルタ係数をシグナリングするための例示的なシンタックスシグナルテーブルを示している。

【0109】

【表2】

【0110】

[0104] 本開示は、ＡＬＦの性能をさらに改善し得る技法について説明する。たとえば、ＶＶＣにおいては、サンプルをフィルタリングするとき、ただ１つの分類器および１つのフィルタが、適用され得る。しかしながら、本開示は、より多くの局所的特徴を捕捉するために、複数の分類器およびフィルタを適用するための技法について説明した。本開示は、サンプルをフィルタリングするために、複数のフィルタおよび分類器を使用するフレームワークのための技法について説明する。

【0111】

[0105] 図９は、ビデオデータの再構築サンプルをフィルタリングするために、複数の固定されたフィルタセットと、複数のシグナリングされたフィルタセットとを使用するための、例示的なフレームワークを示している。ビデオエンコーダ２００およびビデオデコーダ３００は、図９の技法に従って、複数の固定されたフィルタセットと、複数のシグナリングされたフィルタセットとを実施するように構成され得る。図１０～図１５の技法は、ビデオデコーダ３００に関して説明されるが、ビデオエンコーダ２００によっても実行され得る。

【0112】

[0106] 図９の例においては、ビデオデコーダ３００は、中間フィルタリング信号Ｒ’を決定するために、再構築サンプルＲ（ｘ，ｙ）に、第１の段階のＡＬＦ４００を適用する。次いで、ビデオデコーダ３００は、フィルタリングされたサンプル４３０についての値を決定するために、Ｒ’に第２の段階のＡＬＦ４１０を適用する。

【0113】

[0107] 第１の段階のＡＬＦ４００の態様が、今から、より詳細に説明される。
・ Ｎ_sおよびＮ_fは、サンプルに適用され得る、シグナリングされたフィルタセットおよび固定（事前定義）されたフィルタセットの数を表す。Ｒｓは、ＡＬＦへの入力サンプルである。
・ Ｆ（ｆ，ｉ）、ｉ＝０．．．Ｎ_f－１は、第ｉの固定されたフィルタセットを表す。
・ Ｃ（ｆ，ｉ）、ｉ＝０．．．Ｎ_f－１は、第ｉの固定されたフィルタセットのための分類器を表す。Ｃ（ｆ，ｉ）を通して、サンプルごとに、フィルタインデックスが、計算される。フィルタインデックスに基づいて、固定されたフィルタセットＦ（ｆ，ｉ）からのフィルタが、そのサンプルをフィルタリングするために、選択される。加えて、Ｃ（ｆ，ｉ）は、係数に幾何学的変換をどのように適用するかを決定する。
・ Ｆ（ｓ，ｉ）、ｉ＝０．．．Ｎ_s－１は、第ｉのシグナリングされたフィルタセットを表す。
・ Ｃ（ｓ，ｉ）、ｉ＝０．．．Ｎ_s－１は、第ｉのシグナリングされたフィルタセットと一緒の分類器を表す。Ｃ（ｓ，ｉ）を通して、サンプルごとに、フィルタインデックスが、計算される。フィルタインデックスに基づいて、固定されたフィルタセットＦ（ｓ，ｉ）からのフィルタが、そのサンプルをフィルタリングするために、選択される。加えて、Ｃ（ｓ，ｉ）は、係数に幾何学的変換をどのように適用するかを決定する。

【0114】

[0108] 再構築サンプルＲ（ｘ，ｙ）については、再構築サンプル自体と、隣接サンプルとを使用することによって、ビデオデコーダ３００は、複数のフィルタセットを適用し得る。（固定されたフィルタセットまたはシグナリングされたフィルタセットであり得る）フィルタセットを与えられると、分類器が、適用され得る。分類器は、フィルタセットからのどのフィルタが適用され得るか、およびフィルタ係数をどのように転置するかを決定する。第１の段階の後、各フィルタセットおよび対応する分類器について、中間的にフィルタリングされた信号Ｒ’が、たとえば、

【0115】

【数14】

【0116】

ように計算され得る。

【0117】

[0109] 第ｉのフィルタ、ｉ＝０．．．Ｎ_f＋Ｎ_s－１について、ｃ_i,jは、第ｉのフィルタセットからの選択されたフィルタの第ｊの係数であり、Ｎｉは、係数の数であり、ｆ_i,j,k、ｋ＝０または１は、１つの隣接サンプルと現在サンプルとの関数であり、たとえば、ｆ_i,j,kは、ＶＶＣにおけるように、クリッピング関数として実施され得る。

【0118】

【数15】

【0119】

（ｘ_i,j,k，ｙ_i,j,k）は、現在サンプルに対する、隣接サンプルの座標オフセットである。

【0120】

[0110] いくつかの例においては、固定されたフィルタまたはシグナリングされたフィルタのフィルタ形状は、５×５、７×７、９×９、１１×１１、および１３×１３であり得る。図１０Ａは、５×５のダイヤモンドフィルタ形状である、フィルタ５１０の例を示しており、図１０Ｂは、７×７のダイヤモンドフィルタ形状である、フィルタ５２０の例を示している。図１０Ｃは、９×９のダイヤモンド形状フィルタ形状である、フィルタ５３０の例を示しており、図１０Ｄは、１１×１１のダイヤモンドフィルタ形状である、フィルタ５４０の例を示している。図１０Ｅは、１３×１３のダイヤモンドフィルタ形状である、フィルタ５５０の例を示している。

【0121】

[0111] 一例においては、ビデオデコーダ３００は、２－Ｄラプラシアン／勾配値に基づいて、分類器Ｃ（ｆ／ｓ，ｉ）と、アクティビティ値および方向値とを決定するように構成され得る。分類器は、各サンプルまたはブロックに適用され得る。分類器が、ブロックに適用されるとき、ブロック内のすべてのサンプルは、同じクラスインデックスと、同じ転置型とを有する。たとえば、ｗ_iは、ブロックの幅を表すことができ、ｈ_iは、ブロックの高さを表すことができ、（ｘ，ｙ）は、ブロックの左上サンプルの座標を表すことができる。

【0122】

[0112] 座標（ｋ，ｌ）を有するサンプルについて、４つのラプラシアン（勾配）値、すなわち、水平勾配Ｈ、垂直勾配Ｖ、１３５度勾配Ｄ１、および４５度勾配Ｄ２が、

【0123】

【数16】

【0124】

として導出され得る。
（１４）
[0113] ビデオデコーダ３００は、

【0125】

【数17】

【0126】

のように、垂直および水平勾配を使用することによって、アクティビティ値Ａ_iを導出するように構成され得、ここで、ａ_iおよびｂ_iは、それぞれ、分類器Ｃ（ｆ／ｓ，ｉ）についての水平方向および垂直方向における窓サイズである。

【0127】

[0114] ビデオデコーダ３００は、Ａ_iを０以上Ｍ_A,i－１以下の範囲に量子化するように構成され得る。量子化された値は、

【0128】

【数18】

【0129】

と表される。

【0130】

[0115] ビデオデコーダ３００は、水平勾配Ｈと、垂直勾配Ｖと、１３５度勾配Ｄ１と、４５度勾配Ｄ２とを使用して、方向を決定するように構成され得る。

【0131】

[0116] ビデオデコーダ３００は、次のように、水平勾配ｇ_i,Hと、垂直勾配ｇ_i,Vと、２つの対角線勾配ｇ_i,D1およびｇ_i,D2との値を最初に計算するように構成され得る。

【0132】

【数19】

【0133】

[0117] 方向性Ｄ_iを割り当てるために、ビデオエンコーダ２００およびビデオデコーダ３００は、次のように、水平勾配と垂直勾配の最大値および最小値と、２つの対角線勾配の最大値および最小値とを導出するように構成され得る。

【0134】

【数20】

【0135】

次いで、ＶＶＣと同じように、方向Ｄ_iが、導出され得、方向の数Ｍ_D,i＝５である。
ステップ１．

【0136】

【数21】

【0137】

および

【0138】

【数22】

【0139】

の両方である場合、Ｄ_iは、０に設定される（ブロックは、「テクスチャ」にカテゴライズされる）。
ステップ２．

【0140】

【数23】

【0141】

である場合、ステップ３から続行し、それ以外の場合、ステップ４から続行する。
ステップ３．

【0142】

【数24】

【0143】

である場合、Ｄ_iは、２に設定され（ブロックは、「強い水平／垂直」としてカテゴライズされ）、それ以外の場合、Ｄ_iは、１に設定される（ブロックは、「弱い水平／垂直」としてカテゴライズされる）。
ステップ４．

【0144】

【数25】

【0145】

である場合、Ｄ_iは、４に設定され（ブロックは、「強い対角線」としてカテゴライズされ）、それ以外の場合、Ｄ_iは、３に設定される（ブロックは、「弱い対角線」としてカテゴライズされる）。

【0146】

[0118] いくつかの例においては、より多くの方向が、サポートされ得る。

【0147】

[0119] ビデオデコーダ３００は、比率

【0148】

【数26】

【0149】

を閾値の配列（Ｔｈ）と比較することによって、水平／垂直方向のエッジ強度（ＥＳ_i,HV）を計算するように構成され得る。しきい値の配列のサイズは、Ｓによって表され、しきい値は、昇順にソートされる。方角の数は、Ｍ_D,i＝（Ｓ＋１）×（Ｓ＋２）である。

【0150】

ステップ１．ｍ＝０、ＥＳ_i,HV＝０と初期化する。

【0151】

ステップ２．ｍが、Ｓに等しい場合、停止し、それ以外の場合、ステップ３に進む。

【0152】

ステップ３．

【0153】

【数27】

【0154】

である場合、ｍ＝ｍ＋１、ＥＳ_i,HV＝ＥＳ_i,HV＋１として、ステップ２に進み、それ以外の場合、停止する。

【0155】

[0120] ビデオデコーダ３００は、次のように、対角線方向方向（Ｅ_i,D）を計算するように構成され得る。

【0156】

ステップ１．ｍ＝０、Ｅ_i,D＝０と初期化する。

【0157】

ステップ２．ｍが、Ｓに等しい場合、停止し、それ以外の場合、ステップ３に進む。

【0158】

ステップ３．

【0159】

【数28】

【0160】

である場合、ｍ＝ｍ＋１、Ｅ_i,D＝Ｅ_i,D＋１として、ステップ２に進み、それ以外の場合、停止する。

【0161】

[0121] 閾値の配列の例は、Ｔｈ＝［１．２５，１．５，２，３，４．５，８］であり、Ｓ＝６である。

【0162】

[0122] ビデオデコーダ３００は、次のように、主エッジ強度（ＥＳ_M）と、２次エッジ強度（ＥＳ_S）とを決定するように構成され得る。

【0163】

【数29】

【0164】

である場合、ＥＳ_Mは、ＥＳ_HVとして設定され、ＥＳ_Sは、ＥＳ_Dとして設定され、それ以外の場合、ＥＳ_Mは、ＥＳ_Dとして設定され、ＥＳ_Sは、ＥＳ_HVとして設定される。

【0165】

ＥＳ_Sが、ＥＳ_Mよりも大きい場合、Ｄ_iは、０に設定される。それ以外の場合で、

【0166】

【数30】

【0167】

である場合、Ｄ_i＝ＥＳ_M×（ＥＳ_M＋１）／２＋ＥＳ_Sであり、さもなければ、Ｄ_i＝ＥＳ_M×（ＥＳ_M＋１）／２＋ＥＳ_S＋Ｍ_D,i／２である。

【0168】

[0123] ビデオデコーダ３００は、クラスインデックスＣ_iを、

【0169】

【数31】

【0170】

として導出するように構成され得る。

【0171】

[0124] Ｃ_iに基づいて、ビデオエンコーダ２００およびビデオデコーダ３００は、フィルタセットＦ（ｆ／ｓ，ｉ）からフィルタを選択するように構成され得る。

【0172】

[0125] 第２の段階のＡＬＦ４１０の態様が、今から、より詳細に説明される。第２の段階のＡＬＦ４１０においては、Ｆ’は、フィルタセットであり、Ｃ’は、対応する分類器である。中間フィルタリング結果が、現在サンプルと、それの隣接サンプルとを用いて、さらにフィルタリングされ得る。Ｃ’は、Ｆ’内のどのフィルタが適用されるか、および係数をどのように転置するかを決定するために、使用され得る。一例においては、Ｆ’は、シグナリングされたフィルタセット、または固定（事前定義）されたフィルタセットであり得る。一例においては、第１の段階と同じ方法で、アクティビティと、方向とを計算することによって、フィルタセットＦ’についてのフィルタインデックスを決定するために、Ｃ’は、Ｒｓおよび／またはＲ’ｓを使用し得る。Ｆ’を適用するとき、転置が、適用され得る。

【0173】

[0126] 固定されたフィルタセットＦ（ｆ，ｉ）と、対応する分類器Ｃ（ｆ，ｉ）が、１つまたは複数の候補となる固定されたフィルタセットから選択され得る。一例においては、ｉを与えられると、固定されたフィルタセットＦ（ｆ，ｉ）および分類器Ｃ（ｆ，ｉ）について、いくつかの候補となる固定されたフィルタセットが、存在し得る。また、固定されたフィルタセットＦ（ｆ，ｉ）と、分類器Ｃ（ｆ，ｉ）は、ピクチャ／ＣＴＵ／ＣＵ／ＰＵ／ＴＵサイズ、量子化パラメータ（ＱＰ）、非ゼロ量子化係数の数、動きベクトル、および窓サイズ（ａ_i，ｂ_i）などの、コーディング情報に基づいて、選択され得る。いくつかの例においては、Ｆ（ｆ、ｉ）ごとに、第ｉの固定されたフィルタセットについての候補となる固定されたフィルタセットから、どの固定されたフィルタセットが使用されるかを示すために、シンタックス要素が、シグナリングされ得る。シンタックス要素は、ＳＰＳ、ＰＰＳ、ＶＰＳ、ＡＰＳ、ピクチャヘッダ（ＰＨ）、スライスヘッダ（ＳＨ）、サブピクチャ、ＣＴＵ、またはブロックの一部として、シグナリングされ得る。いくつかの例においては、これらすべてのシンタックス要素が、同じ値を有することがあり、ただ１つのシンタックス要素が、シグナリングされる必要がある。いくつかの例においては、Ｆ（ｆ，ｉ）のために、１つの候補となる固定されたフィルタセットのみが、利用可能であることがあり、そのため、シンタックス要素は、シグナリングされる必要がない。

【0174】

[0127] 一例においては、Ｎ_sおよびＮ_fは、ＳＰＳ、ＶＰＳ、ＡＰＳ、ＰＨ、ＳＨ、ＣＴＵ、またはサブブロックレベルなどの、高レベルにおいては、暗黙的に決定され、または明示的にシグナリングされ得る。

【0175】

[0128] ビデオデコーダ３００は、複数の固定されたフィルタと、１つのシグナリングされたフィルタとを実施するように構成され得る。別の例においては、適応性を維持しながら、ビットストリームシグナリングオーバーヘッドを減らすために、ビデオエンコーダ２００およびビデオデコーダ３００は、図１１に示されるように、複数の固定されたフィルタとともに、ただ１つのシグナリングされたフィルタを使用して、現在サンプルをフィルタリングするように構成され得る。

【0176】

[0129] 図１１は、本開示の技法に従った、１つのシグナリングされたフィルタを伴った、複数の固定されたフィルタを実施するための、例示的なフレームワークを示している。図１１の例においては、ビデオエンコーダ２００およびビデオデコーダ３００は、再構築ブロックの再構築サンプルＲ（ｘ，ｙ）に第１の段階のＡＬＦ５４０を適用する。第１の段階のＡＬＦ５４０を適用するために、ビデオエンコーダ２００およびビデオデコーダ３００は、再構築サンプルについての第１のクラスインデックスを決定するために、分類器（Ｃ）を適用し、第１のクラスインデックスに基づいて、フィルタの第１のセット（Ｆ）からフィルタ（ｆ）を選択する。ビデオエンコーダ２００およびビデオデコーダ３００は、第１の中間サンプル値（Ｒ’）を決定するために、再構築サンプルに、フィルタの第１のセットからのフィルタを適用する。図１１に示されるように、第１の段階５４０において、ビデオエンコーダ２００およびビデオデコーダ３００は、複数の中間サンプル値を決定するために、複数の分類器と、複数のフィルタとを使用し得る。

【0177】

[0130] ビデオエンコーダ２００およびビデオデコーダ３００は、再構築サンプルに、第２の段階のＡＬＦ５４２を適用する。以下の式（２８）は、ビデオエンコーダ２００およびビデオデコーダ３００が、第２の段階のＡＬＦをどのように適用し得るかの例を示す。

【0178】

[0131] Ｎ_fは、サンプルに適用され得る、固定（事前定義）されたフィルタセットの数を表す。Ｒｓは、ＡＬＦへの入力である。Ｆ（ｆ，ｉ）、ｉ＝０．．．Ｎ_f－１は、第ｉの固定されたフィルタセットを表す。Ｃ（ｆ，ｉ）、ｉ＝０．．．Ｎ_f－１は、第ｉの固定されたフィルタセットと一緒の分類器を表す。Ｃ（ｆ，ｉ）を通して、サンプルごとに、フィルタインデックスが、計算される。フィルタインデックスに基づいて、固定されたフィルタセットＦ（ｆ，ｉ）からのフィルタが、そのサンプルをフィルタリングするために、選択される。加えて、Ｃ（ｆ，ｉ）は、係数に幾何学的変換をどのように適用するかを決定する。

【0179】

[0132] 第１の段階が、今から、説明される。第１の段階においては、再構築サンプルＲ（ｘ，ｙ）について、再構築サンプル自体と、隣接サンプルとを使用することによって、ビデオエンコーダ２００およびビデオデコーダ３００は、複数の固定されたフィルタセットを適用するように構成され得る。固定されたフィルタセットＦ（ｆ，ｉ）を与えられると、ビデオエンコーダ２００およびビデオデコーダ３００は、分類器Ｃ（ｆ，ｉ）を適用し得る。導出されたクラスインデックスに基づいて、ビデオエンコーダ２００およびビデオデコーダ３００は、フィルタセットＦ（ｆ，ｉ）からのフィルタを適用し得る。加えて、幾何学的変換が、Ｃ（ｆ，ｉ）において決定され、幾何学的変換が、選択されたフィルタの係数に適用され得る。第１の段階の後、各フィルタセットおよび対応する分類器について、ビデオエンコーダ２００およびビデオデコーダ３００は、たとえば、次のように、中間フィルタリング信号Ｒ’を計算し得る。

【0180】

【数32】

【0181】

[0133] 第ｉのフィルタ、ｉ＝０．．．Ｎ_f－１について、ｃ_i,jは、第ｉのフィルタセットＦ（ｆ，ｉ）から選択されたフィルタの第ｊの係数であり、Ｎ_iは、係数の数であり、ｆ_i,j,k、ｋ＝０または１は、１つの隣接サンプルと現在サンプルとの関数であり、たとえば、ｆ_i,j,kは、ＶＶＣにおけるように、クリッピング関数として実施され得る。

【0182】

【数33】

【0183】

（ｘ_i,j,k，ｙ_i,j,k）は、現在サンプルに対する、隣接サンプルの座標オフセットであり、ｂ_i,jは、第ｉのフィルタセットから選択されたフィルタの第ｊのクリッピングパラメータである。

【0184】

[0134] いくつかの例においては、固定されたフィルタまたはシグナリングされたフィルタのフィルタ形状は、図９に示されるように、５×５、７×７、９×９、１１×１１、および１３×１３であり得る。

【0185】

[0135] 一例においては、ビデオエンコーダ２００およびビデオデコーダ３００は、分類器Ｃ（ｆ，ｉ）において、２－Ｄラプラシアン値に基づいて、アクティビティ値と、方向値とを決定し得る。分類器は、各サンプルまたはブロックに適用され得る。分類器が、ブロックに適用されるとき、ブロック内のすべてのサンプルは、同じクラスインデックスと、同じ転置型とを有する。たとえば、ｗ_iは、ブロックの幅を表すことができ、ｈ_iは、ブロックの高さを表すことができ、（ｘ，ｙ）は、ブロックの左上サンプルの座標を表すことができる。

【0186】

[0136] 座標（ｋ，ｌ）を有するサンプルについて、ビデオエンコーダ２００およびビデオデコーダ３００は、次のように、４つのラプラシアン（勾配）値、すなわち、水平勾配Ｈ、垂直勾配Ｖ、１３５度勾配Ｄ１、および４５度勾配Ｄ２を導出するように構成され得る。

【0187】

【数34】

【0188】

[0137] ビデオエンコーダ２００およびビデオデコーダ３００は、次のように、垂直勾配および水平勾配を使用することによって、アクティビティ値Ａ_iを導出し得る。

【0189】

【数35】

【0190】

ここで、ａ_iおよびｂ_iは、それぞれ、分類器Ｃ（ｆ，ｉ）についての水平方向および垂直方向における窓サイズである。

【0191】

[0138] ビデオエンコーダ２００およびビデオデコーダ３００は、Ａ_iを０以上Ｍ_A,i－１以下の範囲に量子化するように構成され得、量子化された値は、

【0192】

【数36】

【0193】

と表される。

【0194】

[0139] 一例においては、

【0195】

【数37】

【0196】

ｂｉｔｄｅｐｔｈは、Ｒ（ｘ，ｙ）のビット深度であり、ｍｕｌｔ_iは、窓サイズ（ａ_i，ｂ_i）に依存し得、ｍｕｌｔ_iは、以下の値と等しくなり得る。

【0197】

【表3】

【0198】

[0140] ビデオエンコーダ２００およびビデオデコーダ３００は、水平勾配Ｈと、垂直勾配Ｖと、１３５度勾配Ｄ１と、４５度勾配Ｄ２とを使用することによって、方向を決定するように構成され得る。

【0199】

[0141] ビデオエンコーダ２００およびビデオデコーダ３００は、次のように、水平勾配ｇ_i,Hと、垂直勾配ｇ_i,Vと、２つの対角線勾配ｇ_i,D1およびｇ_i,D2との値を最初に計算するように構成され得る。

【0200】

【数38】

【0201】

[0142] 方向性Ｄ_iを割り当てるために、ビデオエンコーダ２００およびビデオデコーダ３００は、次のように、水平勾配と垂直勾配の最大値および最小値と、２つの対角線勾配の最大値および最小値とを導出するように構成され得る。

【0202】

【数39】

【0203】

[0143] 次いで、ビデオエンコーダ２００およびビデオデコーダ３００は、次のように、方向Ｄ_iを導出するように構成され得、方向の数Ｍ_D,i＝５である。
ステップ１．

【0204】

【数40】

【0205】

および

【0206】

【数41】

【0207】

の両方である場合、Ｄ_iは、０に設定される（ブロックは、「テクスチャ」にカテゴライズされる）。
ステップ２．

【0208】

【数42】

【0209】

である場合、ステップ３から続行し、それ以外の場合、ステップ４から続行する。
ステップ３．

【0210】

【数43】

【0211】

である場合、Ｄ_iは、２に設定され（ブロックは、「強い水平／垂直」としてカテゴライズされ）、それ以外の場合、Ｄ_iは、１に設定され（ブロックは、「弱い水平／垂直」としてカテゴライズされる）。
ステップ４．

【0212】

【数44】

【0213】

である場合、Ｄ_iは、４に設定され（ブロックは、「強い対角線」としてカテゴライズされ）、それ以外の場合、Ｄ_iは、３に設定される。（ブロックは、「弱い対角線」としてカテゴライズされる）。

【0214】

[0144] いくつかの例においては、より多くの方向が、サポートされ得る。

【0215】

[0145] ビデオエンコーダ２００およびビデオデコーダ３００は、比率

【0216】

【数45】

【0217】

を閾値の配列（Ｔｈ）と比較することによって、水平／垂直方向のエッジ強度（ＥＳ_i,HV）を計算するように構成され得る。しきい値の配列のサイズは、Ｓであることができ、しきい値は、昇順にソートされ得る。方角の数は、Ｍ_D,i＝（Ｓ＋１）×（Ｓ＋２）である。

【0218】

ステップ１．ｍ＝０、ＥＳ_i,HV＝０と初期化する。

【0219】

ステップ２．ｍが、Ｓに等しい場合、停止し、それ以外の場合、ステップ３に進む。

【0220】

ステップ３．

【0221】

【数46】

【0222】

である場合、ｍ＝ｍ＋１、ＥＳ_i,HV＝ＥＳ_i,HV＋１として、ステップ２に進み、それ以外の場合、停止する。

【0223】

[0146] ビデオエンコーダ２００およびビデオデコーダ３００は、次のように、対角線方向（Ｅ_i,D）を計算するように構成され得る。

【0224】

ステップ１．ｍ＝０、Ｅ_i,D＝０と初期化する。

【0225】

ステップ２．ｍが、Ｓに等しい場合、停止し、それ以外の場合、ステップ３に進む。

【0226】

ステップ３．

【0227】

【数47】

【0228】

である場合、ｍ＝ｍ＋１、Ｅ_i,D＝Ｅ_i,D＋１として、ステップ２に進み、それ以外の場合、停止する。

【0229】

[0147] 閾値の配列の例は、Ｔｈ＝［１．２５，１．５，２，３，４．５，８］であり、Ｓ＝６である。

【0230】

[0148] ビデオエンコーダ２００およびビデオデコーダ３００は、次のように、主エッジ強度（ＥＳ_M）と、２次エッジ強度（ＥＳ_S）とを決定するように構成され得る。

【0231】

【数48】

【0232】

である場合、ＥＳ_Mは、ＥＳ_HVとして設定され、ＥＳ_Sは、ＥＳ_Dとして設定され、それ以外の場合、ＥＳ_Mは、ＥＳ_Dとして設定され、ＥＳ_Sは、ＥＳ_HVとして設定される。

【0233】

ＥＳ_Sが、ＥＳ_Mよりも大きい場合、Ｄ_iは、０に設定される。それ以外の場合で、

【0234】

【数49】

【0235】

である場合、Ｄ_i＝ＥＳ_M×（ＥＳ_M＋１）／２＋ＥＳ_Sであり、さもなければ、Ｄ_i＝ＥＳ_M×（ＥＳ_M＋１）／２＋ＥＳ_S＋Ｍ_D,i／２である。

【0236】

クラスインデックスＣ_iは、

【0237】

【数50】

【0238】

として導出され得る。

【0239】

Ｃ_iに基づいて、Ｃ（ｆ，ｉ）からのフィルタが、選択される。

【0240】

[0149] ビデオエンコーダ２００およびビデオデコーダ３００は、１つまたは複数の候補となる固定されたフィルタセットから、固定されたフィルタセットＦ（ｆ，ｉ）と、対応する分類器Ｃ（ｆ，ｉ）とを選択し得る。一例においては、ｉを与えられると、固定されたフィルタセットＦ（ｆ，ｉ）および分類器Ｃ（ｆ，ｉ）について、いくつかの候補となる固定されたフィルタセットが、存在し得る。また、固定されたフィルタセットＦ（ｆ，ｉ）と、分類器Ｃ（ｆ，ｉ）は、ピクチャ／ＣＴＵ／ＣＵ／ＰＵ／ＴＵサイズ、ＱＰ、非ゼロ量子化係数の数、動きベクトル、および窓サイズ（ａ_i，ｂ_i）などの、コーディング情報に基づいて、選択され得る。いくつかの例においては、Ｆ（ｆ、ｉ）ごとに、第ｉの固定されたフィルタセットについての候補となる固定されたフィルタセットから、どの固定されたフィルタセットが使用されるかを示すために、シンタックス要素が、シグナリングされ得る。シンタックス要素は、ＳＰＳ、ＰＰＳ、ＶＰＳ、ＡＰＳ、ＰＨ、ＳＨ、サブピクチャ、ＣＴＵ、またはブロックレベルで、シグナリングされ得る。いくつかの例においては、これらすべてのシンタックス要素が、同じ値を有することがあり、ただ１つのシンタックス要素が、シグナリングされる必要がある。いくつかの例においては、候補となる固定されたフィルタセットは、１つの固定されたフィルタセットのみを有することがあり、そのため、シンタックス要素は、シグナリングされる必要がない。

【0241】

[0150] 一例においては、窓サイズ（ａ_i，ｂ_i）を与えられると、すべての利用可能な固定されたフィルタの数は、Ｔである。たとえば、ＱＰは、現在サンプルの量子化パラメータを表すことができ、ＱＰ＿ＭＩＮ、ＱＰ＿ＭＡＸ、およびＱＰ＿ＯＦＦＳＥＴは、事前定義された値である。２つの候補となる固定されたフィルタセットのインデックスは、

【0242】

【数51】

【0243】

として決定され得る。Ｆ（ｆ，ｉ）のために、第ｌ₀の候補となる固定されたフィルタセットが使用されるか、それとも第ｌ₁の候補となる固定されたフィルタセットが使用されるかを示すために、シンタックス要素が、シグナリングされ得る。いくつかの例においては、すべての固定されたフィルタセットは、同じシンタックス要素を共有し得る。

【0244】

[0151] 第２の段階の態様が、今から、説明される。第２の段階においては、Ｆ’は、シグナリングされたフィルタまたは事前定義されたフィルタセットであり、Ｃ’は、対応する分類器である。中間フィルタリング結果は、現在サンプルおよび／またはそれの隣接サンプルを用いて、さらにフィルタリングされ得る。Ｃ’は、Ｆ’内のどのフィルタが適用されるか、および係数をどのように転置するかを決定するために、使用され得る。第１の段階のように、アクティビティと、方向とを計算することによって、フィルタセットＦ’についてのフィルタインデックスを決定するために、Ｃ’は、Ｒｓおよび／またはＲ’ｓを使用し得る。Ｆ’を適用するとき、転置が、適用され得る。

【0245】

[0152] 一例においては、座標（ｋ，ｌ）を有するサンプルについて、４つのラプラシアン（勾配）値、すなわち、水平勾配Ｈ、垂直勾配Ｖ、１３５度勾配Ｄ１、および４５度勾配Ｄ２が、

【0246】

【数52】

【0247】

として導出され得る。

【0248】

[0153] ビデオエンコーダ２００およびビデオデコーダ３００は、次のように、垂直および水平勾配を使用することによって、アクティビティ値Ａを導出するように構成され得、

【0249】

【数53】

【0250】

ここで、ａおよびｂは、それぞれ、分類器Ｃ’についての水平方向および垂直方向における窓サイズであり、ｗおよびｈは、すべてのサンプルが、同じ分類インデックスと、同じ転置インデックスとを有するブロックの幅および高さである。

【0251】

[0154] ビデオエンコーダ２００およびビデオデコーダ３００は、Ａを０以上Ｍ_A－１以下の範囲に量子化するように構成され得、量子化された値は、

【0252】

【数54】

【0253】

と表される。たとえば、

【0254】

【数55】

【0255】

ｂｉｔｄｅｐｔｈは、Ｒ（ｘ，ｙ）のビット深度であり、ｍｕｌｔは、窓サイズａ×ｂに依存し得、ｍｕｌｔは、以下の値と等しくなり得る。

【0256】

【表4】

【0257】

[0155] 方向と、転置をどのように実行するかは、それらのすべてが参照によって本明細書に組み込まれる、米国特許公開第２０１７／０２３８０２０Ａ１号、米国特許公開第２０１７／０２３７９８１Ａ１号、または米国特許公開第２０１７／０２３７９８２Ａ１号において説明されている方式で計算され得る。

【0258】

[0156] フィルタリングのさらなる態様が、今から、説明される。Ｃ’からサンプルのクラスインデックスを取得した後、ビデオエンコーダ２００およびビデオデコーダ３００は、クラスインデックスに基づいて、フィルタセットＦ’からフィルタを選択するように構成され得る。ビデオエンコーダ２００およびビデオデコーダ３００は、

【0259】

【数56】

【0260】

のように、フィルタを適用するように構成され得る。

【0261】

（２８）においては、フィルタリングは、２つの部分に分けられている。
・フィルタ部分１：

【0262】

【数57】

【0263】

：隣接サンプルを使用することによって、フィルタリングし、幾何学的変換が、適用され得、Ｎ₀は、適用されるフィルタ形状の係数の数である。フィルタは、図９に示されるような、５×５、７×７、９×９、１１×１１、または１３×１３のダイヤモンドフィルタであり得る。
・フィルタ部分２：

【0264】

【数58】

【0265】

：中間的にフィルタリングされたサンプルを使用することによって、フィルタリングし、幾何学的変換が、適用され得る。Ｎ₀およびＮ₁は、潜在的に一意的な係数の数を表す。

【0266】

関数ｆ_i,j、ｊ＝０または１は、

【0267】

【数59】

【0268】

のように、クリッピング関数を用いて定義され得る。

【0269】

関数ｇ_iは、

【0270】

【数60】

【0271】

のように、クリッピング関数を用いて定義され得る。

【0272】

ｂ_iは、係数ｃ_iに対応する、クリッピングパラメータである。

【0273】

[0157] 図１２Ａ～図１２Ｅは、２部分フィルタの例を示している。図１２Ａは、フィルタ部分１（フィルタ５６０）が、５×５ Ｎ₁＝７であり、フィルタ部分２（フィルタ５６２）については、Ｎ₁＝２である、例を示している。図１２Ｂは、フィルタ部分１（フィルタ５６４）が、７×７ Ｎ₀＝１３であり、フィルタ部分２（フィルタ５６６）については、Ｎ₁＝２である、例を示している。図１２Ｃは、フィルタ部分１（フィルタ５６８）が、９×９ Ｎ₁＝２１であり、フィルタ部分２（フィルタ５７０）については、Ｎ₁＝２である、例を示している。図１２Ｄは、フィルタ部分１（フィルタ５７２）が、１１×１１ Ｎ₁＝３１であり、フィルタ部分２（フィルタ５７４）については、Ｎ₁＝２である、例を示している。図１２Ｅは、フィルタ部分１（フィルタ５７６）が１３×１３ Ｎ₁＝４３であり、フィルタ部分２（フィルタ５７８）については、Ｎ₁＝２である、例を示している。

【0274】

[0158] いくつかの例においては、Ｎ₀および／またはＮ₁の値は、明示的にシグナリングされ、またはＳＰＳ、ＶＰＳ、ＰＰＳ、ＡＰＳ、ＰＨ、ＳＨ、サブピクチャヘッダ、もしくはブロックレベルで、暗黙的に決定され得る。

【0275】

[0159] いくつかの例においては、フラグは、明示的にシグナリングされ、またはこのフラグが、１つの値に等しいとき、すべての係数ｃ_i、ｉ＝０．．．Ｎ₀－１と、クリッピングパラメータｂ_i、ｉ＝０．．．Ｎ₀－１が、シグナリング／使用されるとは限らず、０であると推論されるように、ＳＰＳ、ＶＰＳ、ＰＰＳ、ＡＰＳ、ＰＨ、ＳＨ、サブピクチャヘッダ、ブロックレベル、もしくはフィルタレベルで、暗黙的に決定され得る。

【0276】

[0160] いくつかの例においては、フラグは、明示的にシグナリングされ、またはこのフラグが、１つの値に等しいとき、すべての係数ｃ_i、ｉ＝Ｎ₀．．．Ｎ₀＋Ｎ₁－１と、クリッピングパラメータｂ_i、ｉ＝Ｎ₀．．．Ｎ₀＋Ｎ₁－１が、シグナリング／使用されるとは限らず、０であると推論されるように、ＳＰＳ、ＶＰＳ、ＰＰＳ、ＡＰＳ、ＰＨ、ＳＨ、サブピクチャヘッダ、ブロックレベル、もしくはフィルタレベルで、暗黙的に決定され得る。

【0277】

[0161] １つのフィルタセットにおいて、Ｎ₀の値は、フィルタごとに異なり得る。１つのフィルタセットにおいては、Ｎ₁の値は、フィルタごとに異なり得る。

【0278】

[0162] 本開示は、ＡＬＦ性能が、ＪＶＥＴ－Ｕ０１００、および米国仮特許出願第６３／１３０，２７５号において説明されている技法よりも改善され得ることを認識している。第１の段階からのフィルタリングされたサンプルのみが、好まれ、第２の段階におけるフィルタリングが、必要とされないとき、Ｆ’のフィルタ係数ｃ_i、ｉ＝０．．．Ｎ₀－２は、依然として、シグナリングされ、それらは、すべてゼロである。しかしながら、これらすべてのゼロ係数をシグナリングすることが、必要であるとは限らない。したがって、コーディング効率を改善するために、代替的なシグナリングプロセスが、適用され得る。

【0279】

[0163] いくつかの例においては、ビデオエンコーダ２００およびビデオデコーダ３００は、固定されたフィルタのみを使用するのではなく、ビットストリーム内に１つまたは複数のフィルタＦ（ｆ，ｉ）を表すデータをコーディングするように構成され得る。加えて、または代替として、ビデオエンコーダ２００およびビデオデコーダ３００は、上で論じられたようなフィルタリングの第２の段階を実行するかどうかを決定するように構成され得る。第２の段階が、実行されないとき、ビデオエンコーダ２００およびビデオデコーダ３００は、第２の段階中に適用される１つまたは複数のフィルタについての係数をコーディング（符号化および／または復号）することを回避し得、それが、ビットストリームにおけるシグナリングオーバーヘッドと、ビデオエンコーダ２００とビデオデコーダ３００の両方によって実行される処理とを減らし得る。

【0280】

[0164] 図１３は、本開示の技法に従った、例示的なＡＬＦフレームワークを示す概念図である。ビデオデコーダ３００は、図３に関して説明された技法を実行するように構成され得る。図１３に示されるように、例示的なＡＬＦフレームワークは、第１の段階５８０と第２の段階５８２の両方を含む。本開示の技法によれば、ビデオエンコーダ２００およびビデオデコーダ３００は、第２の段階が実行されるべきかどうかを決定するために、フィルタ使用情報を使用し得る。第２の段階が、実行されるべきでないとき、ビデオエンコーダ２００およびビデオデコーダ３００は、図１３に示されるように、第２の段階におけるフィルタリング（Ｃ’、Ｆ’）をバイパスし得る。したがって、ビデオエンコーダ２００およびビデオデコーダ３００は、フィルタリングされたサンプルを計算するために、第１の段階からの中間フィルタリングサンプル（Ｒ’（ｘ，ｙ，０）．．．Ｒ’（ｘ，ｙ，Ｎ_f－１））のみを使用し得る。

【0281】

[0165] さらに、ビデオデコーダ３００は、たとえば、

【0282】

【数61】

【0283】

に従って、様々なフィルタからの中間フィルタリングサンプルの加重和を計算し得、ここで、ｗ_iは、Ｒ’（ｘ，ｙ，ｉ）の重みである。

【0284】

[0166] いくつかの例においては、フィルタ使用情報は、シーケンス、ピクチャ、スライス、サブピクチャ、ＣＴＵ、ＣＴＢ、またはサブブロックレベルで、シグナリングされ得る。たとえば、ビデオエンコーダ２００およびビデオデコーダ３００は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、サブピクチャヘッダ、コーディングツリーユニット（ＣＴＵ）ヘッダ、コーディングツリーブロック（ＣＴＢ）ヘッダ、またはサブブロックヘッダのうちの１つまたは複数内に、フィルタ使用情報をコーディングし得る。

【0285】

[0167] 別の例においては、フィルタ使用情報は、シグナリングされないことがある。代わりに、ビデオデコーダ３００は、量子化パラメータ（ＱＰ）、ブロックサイズ、インター／イントラモード、または他のそのようなデータなどの、コーディング情報に基づいて、フィルタ使用情報を適応的に導出し得る。

【0286】

[0168] 重みｗ_i、ｉ＝０．．．Ｎ_f－１は、フィルタ使用情報の値を与えられると、固定され得、またはビデオエンコーダ２００およびビデオデコーダ３００は、シーケンス、ピクチャ、スライス、サブピクチャ、ＣＴＵ、ＣＴＢ、サブブロックレベルで、ビットストリーム内に、重みについての値をコーディングし得る。重みｗ_iのいくつかの組合せが、使用され得、現在サンプルのために、重みのどの組合せが使用されるかを決定するために、フィルタ使用情報が、使用され得る。

【0287】

[0169] 一例においては、第１のフラグが、シグナリングされ得る。この第１のフラグが、１に等しいとき、ビデオエンコーダ２００およびビデオデコーダ３００は、値（Ｃ’、Ｆ’）をバイパスし得る。次いで、第２のフラグが、シグナリングされ得る。ビデオエンコーダ２００およびビデオデコーダ３００は、第２のフラグの値を、重みｗ_i、ｉ＝０．．．Ｎ_f－１の組合せと関連付け得る。たとえば、第２のフラグが、ｉに等しく、ｉが、０．．．Ｎ_f－１であることができるとき、Ｒ’（ｘ，ｙ，ｉ）が、フィルタリングされたサンプルとして、使用され得る。

【0288】

[0170] 図１４は、本開示の技法に従った、別の例示的なＡＬＦフレームワークを示す概念図である。ビデオエンコーダ２００およびビデオデコーダ３００は、図１４に関して説明された技法に従って、構成され得る。特に、図１４においては、フィルタリングされたサンプルを取得するために、スケーリングが、フィルタリング結果に適用され得る。

【0289】

[0171] 図１４は、ビデオデータの再構築サンプルをフィルタリングするために、複数の固定されたフィルタセットと、複数のシグナリングされたフィルタセットとを使用するための、例示的なフレームワークを示している。ビデオデコーダ３００は、図１４の技法に従って、複数の固定されたフィルタと、複数のシグナリングされたフィルタとを実施するように構成され得る。図１４の例においては、ビデオデコーダ３００は、中間フィルタリング信号Ｒ’を決定するために、再構築サンプルＲ（ｘ，ｙ）に、第１の段階のＡＬＦ５８４を適用する。次いで、ビデオデコーダ３００は、フィルタリングされたサンプル５８８についての値を決定するために、Ｒ’に、第２のＡＬＦ段階５８６を適用する。

【0290】

[0172] 図１５は、本開示の技法を実行し得る、例示的なビデオエンコーダ２００を示すブロック図である。図１５は、説明の目的で提供されており、本開示において広く例示および説明されるような技法を限定するものと見なされるべきではない。説明の目的で、本開示は、ＶＶＣ（ＩＴＵ－Ｔ Ｈ．２６６、開発中）およびＨＥＶＣ（ＩＴＵ－Ｔ Ｈ．２６５）の技法に従った、ビデオエンコーダ２００について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に合わせて構成された、ビデオ符号化デバイスによって実行され得る。

【0291】

[0173] 図１５の例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、ＤＰＢ２１８と、エントロピー符号化ユニット２２０とを含む。ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、ＤＰＢ２１８と、エントロピー符号化ユニット２２０とのいずれかまたはすべては、１つまたは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオエンコーダ２００のユニットは、１つまたは複数の回路または論理要素として、ハードウェア回路の一部として、あるいはプロセッサ、ＡＳＩＣ、またはＦＰＧＡの一部として実装され得る。その上、ビデオエンコーダ２００は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。

【0292】

[0174] ビデオデータメモリ２３０は、ビデオエンコーダ２００の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ２００は、たとえば、ビデオソース１０４（図１）から、ビデオデータメモリ２３０に記憶されるビデオデータを受信し得る。ＤＰＢ２１８は、ビデオエンコーダ２００による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同期ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（ＳＤＲＡＭ）を含むＤＲＡＭ、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ２３０は、図示のように、ビデオエンコーダ２００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

【0293】

[0175] 本開示では、ビデオデータメモリ２３０への言及は、特にそのように説明されない限り、ビデオエンコーダ２００の内部のメモリに限定されるものとして解釈されるべきではなく、または特にそのように説明されない限り、ビデオエンコーダ２００の外部のメモリに限定されるものとして解釈されるべきではない。そうではなく、ビデオデータメモリ２３０への言及は、ビデオエンコーダ２００が符号化のために受信するビデオデータ（たとえば、符号化されるべきである現在ブロックのためのビデオデータ）を記憶する参照メモリとして理解されるべきである。図１のメモリ１０６はまた、ビデオエンコーダ２００の様々なユニットからの出力の一時的記憶を提供し得る。

【0294】

[0176] 図１５の様々なユニットは、ビデオエンコーダ２００によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作に関してプリセットされる。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、ユニットのうちの１つまたは複数は、集積回路であり得る。

【0295】

[0177] ビデオエンコーダ２００は、算術論理ユニット（ＡＬＵ）、基本機能ユニット（ＥＦＵ）、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオエンコーダ２００の動作が、プログラマブル回路によって実行されるソフトウェアを使用して実施される例では、メモリ１０６（図１）は、ビデオエンコーダ２００が受信し、実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得るか、またはビデオエンコーダ２００内の別のメモリ（図示せず）が、そのような命令を記憶し得る。

【0296】

[0178] ビデオデータメモリ２３０は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャを取り出し、ビデオデータを残差生成ユニット２０４とモード選択ユニット２０２とに提供し得る。ビデオデータメモリ２３０中のビデオデータは、符号化されるべきである生のビデオデータであり得る。

【0297】

[0179] モード選択ユニット２０２は、動き推定ユニット２２２と、動き補償ユニット２２４と、イントラ予測ユニット２２６とを含む。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実施するための追加の機能ユニットを含み得る。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２および／または動き補償ユニット２２４の一部であり得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。

【0298】

[0180] モード選択ユニット２０２は、概して、符号化パラメータの組合せと、そのような組合せについての得られたレートひずみ値とをテストするために、複数の符号化パスを協調させる。符号化パラメータは、ＣＵへのＣＴＵの区分、ＣＵのための予測モード、ＣＵの残差データのための変換タイプ、ＣＵの残差データのための量子化パラメータなどを含み得る。モード選択ユニット２０２は、他のテストされた組合せよりも良好であるレートひずみ値を有する符号化パラメータの組合せを最終的に選択し得る。

【0299】

[0181] ビデオエンコーダ２００は、ビデオデータメモリ２３０から取り出されたピクチャを一連のＣＴＵに区分し、スライス内の１つまたは複数のＣＴＵをカプセル化し得る。モード選択ユニット２０２は、上記で説明されたＨＥＶＣのＱＴＢＴ構造またはクワッドツリー構造など、ツリー構造に従ってピクチャのＣＴＵを区分し得る。上記で説明されたように、ビデオエンコーダ２００は、ツリー構造に従ってＣＴＵを区分することから１つまたは複数のＣＵを形成し得る。そのようなＣＵは、概して「ビデオブロック」または「ブロック」と呼ばれることもある。

【0300】

[0182] 概して、モード選択ユニット２０２はまた、現在ブロック（たとえば、現在ＣＵ、またはＨＥＶＣでは、ＰＵとＴＵとの重複する部分）のための予測ブロックを生成するように、それの構成要素（たとえば、動き推定ユニット２２２、動き補償ユニット２２４、およびイントラ予測ユニット２２６）を制御する。現在ブロックのインター予測のために、動き推定ユニット２２２は、１つまたは複数の参照ピクチャ（たとえば、ＤＰＢ２１８に記憶された１つまたは複数の前にコーディングされたピクチャ）中で１つまたは複数のぴったり一致する参照ブロックを識別するために動き探索を実施し得る。特に、動き推定ユニット２２２は、たとえば、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）などに従って、現在ブロックに対して潜在的参照ブロックがどのくらい類似しているかを表す値を計算し得る。動き推定ユニット２２２は、概して、現在ブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実施し得る。動き推定ユニット２２２は、現在ブロックに最もぴったり一致する参照ブロックを示す、これらの計算から得られた最も低い値を有する参照ブロックを識別し得る。

【0301】

[0183] 動き推定ユニット２２２は、現在ピクチャ中の現在ブロックの位置に対して参照ピクチャ中の参照ブロックの位置を定義する１つまたは複数の動きベクトル（ＭＶ）を形成し得る。動き推定ユニット２２２は、次いで、動きベクトルを動き補償ユニット２２４に提供し得る。たとえば、単方向インター予測では、動き推定ユニット２２２は、単一の動きベクトルを提供し得るが、双方向インター予測では、動き推定ユニット２２２は、２つの動きベクトルを提供し得る。動き補償ユニット２２４は、次いで、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット２２４は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルが部分サンプル精度を有する場合、動き補償ユニット２２４は、１つまたは複数の補間フィルタに従って予測ブロックについての値を補間し得る。その上、双方向インター予測では、動き補償ユニット２２４は、それぞれの動きベクトルによって識別された２つの参照ブロックについてデータを取り出し、たとえば、サンプルごとの平均化または重み付き平均化を通して、取り出されたデータを組み合わせ得る。

【0302】

[0184] 別の例として、イントラ予測、またはイントラ予測コーディングのために、イントラ予測ユニット２２６は、現在ブロックに隣接しているサンプルから予測ブロックを生成し得る。たとえば、方向性モードでは、イントラ予測ユニット２２６は、概して、予測ブロックを生成するために、隣接サンプルの値を数学的に組み合わせ、現在ブロックにわたって定義された方向にこれらの計算された値をポピュレートし得る。別の例として、ＤＣモードでは、イントラ予測ユニット２２６は、現在ブロックに対する隣接サンプルの平均を計算し、予測ブロックの各サンプルについてこの得られた平均を含むように予測ブロックを生成し得る。

【0303】

[0185] モード選択ユニット２０２は、予測ブロックを残差生成ユニット２０４に提供する。残差生成ユニット２０４は、ビデオデータメモリ２３０から現在ブロックの生の符号化されていないバージョンを受信し、モード選択ユニット２０２から予測ブロックを受信する。残差生成ユニット２０４は、現在ブロックと予測ブロックとの間のサンプルごとの差分を計算する。得られたサンプルごとの差分は、現在ブロックのための残差ブロックを定義する。いくつかの例では、残差生成ユニット２０４はまた、残差差分パルスコード変調（ＲＤＰＣＭ）を使用して残差ブロックを生成するために、残差ブロック中のサンプル値間の差分を決定し得る。いくつかの例では、残差生成ユニット２０４は、バイナリ減算を実施する１つまたは複数の減算器回路を使用して形成され得る。

【0304】

[0186] モード選択ユニット２０２がＣＵをＰＵに区分する例では、各ＰＵは、ルーマ予測ユニットと、対応するクロマ予測ユニットとに関連付けられ得る。ビデオエンコーダ２００とビデオデコーダ３００とは、様々なサイズを有するＰＵをサポートし得る。上記で示されたように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得、ＰＵのサイズは、ＰＵのルーマ予測ユニットのサイズを指し得る。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２００は、イントラ予測のための２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、インター予測のための２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または同様のものの対称ＰＵサイズとをサポートし得る。ビデオエンコーダ２００とビデオデコーダ３００とはまた、インター予測のための２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズの非対称区分をサポートし得る。

【0305】

[0187] モード選択ユニット２０２がＣＵをＰＵにさらに区分しない例では、各ＣＵは、ルーマコーディングブロックと、対応するクロマコーディングブロックとに関連付けられ得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、２Ｎ×２Ｎ、２Ｎ×Ｎ、またはＮ×２ＮのＣＵサイズをサポートし得る。

【0306】

[0188] いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル（ＬＭ）モードコーディングなどの他のビデオコーディング技法では、モード選択ユニット２０２は、コーディング技法に関連付けられたそれぞれのユニットを介して、符号化されている現在ブロックのための予測ブロックを生成する。パレットモードコーディングなど、いくつかの例では、モード選択ユニット２０２は、予測ブロックを生成せず、代わりに、選択されたパレットに基づいてブロックを再構築すべき様式を示すシンタックス要素を生成し得る。そのようなモードでは、モード選択ユニット２０２は、符号化されるべきこれらのシンタックス要素をエントロピー符号化ユニット２２０に提供し得る。

【0307】

[0189] 上記で説明されたように、残差生成ユニット２０４は、現在ブロックのためのビデオデータと、対応する予測ブロックとを受信する。残差生成ユニット２０４は、次いで、現在ブロックのための残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット２０４は、予測ブロックと現在ブロックとの間のサンプルごとの差分を計算する。

【0308】

[0190] 変換処理ユニット２０６は、（本明細書では「変換係数ブロック」と呼ばれる）変換係数のブロックを生成するために、残差ブロックに１つまたは複数の変換を適用する。変換処理ユニット２０６は、変換係数ブロックを形成するために、残差ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向性変換、カルーネンレーベ変換（ＫＬＴ）、または概念的に同様の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに複数の変換、たとえば、回転変換などの１次変換および２次変換を実施し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに変換を適用しない。

【0309】

[0191] 量子化ユニット２０８は、量子化された変換係数ブロックを生成するために、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット２０８は、現在ブロックに関連付けられた量子化パラメータ（ＱＰ）値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ２００は（たとえば、モード選択ユニット２０２を介して）、ＣＵに関連付けられたＱＰ値を調整することによって、現在ブロックに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。量子化は、情報の損失をもたらし得、したがって、量子化された変換係数は、変換処理ユニット２０６によって生成された元の変換係数よりも低い精度を有し得る。

【0310】

[0192] 逆量子化ユニット２１０および逆変換処理ユニット２１２は、変換係数ブロックから残差ブロックを再構築するために、それぞれ、量子化された変換係数ブロックに逆量子化および逆変換を適用し得る。再構築ユニット２１４は、再構築された残差ブロックと、モード選択ユニット２０２によって生成された予測ブロックとに基づいて、（潜在的にある程度のひずみを伴うが）現在ブロックに対応する再構築されたブロックを生成し得る。たとえば、再構築ユニット２１４は、再構築されたブロックを生成するために、モード選択ユニット２０２によって生成された予測ブロックからの対応するサンプルに、再構築された残差ブロックのサンプルを加算し得る。

【0311】

[0193] フィルタユニット２１６は、再構築されたブロックに対して１つまたは複数のフィルタ演算を実施し得る。たとえば、フィルタユニット２１６は、ＣＵのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。フィルタユニット２１６の動作は、いくつかの例では、スキップされ得る。

【0312】

[0194] ビデオエンコーダ２００は、再構築されたブロックをＤＰＢ２１８に記憶する。たとえば、フィルタユニット２１６の動作が実施されない例では、再構築ユニット２１４は、再構築されたブロックをＤＰＢ２１８に記憶し得る。フィルタユニット２１６の動作が実施される例では、フィルタユニット２１６は、フィルタ処理された再構築されたブロックをＤＰＢ２１８に記憶し得る。動き推定ユニット２２２と動き補償ユニット２２４とは、後で符号化されるピクチャのブロックをインター予測するために、再構築（および潜在的にフィルタ処理）されたブロックから形成された参照ピクチャをＤＰＢ２１８から取り出し得る。さらに、イントラ予測ユニット２２６は、現在ピクチャ中の他のブロックをイントラ予測するために、現在ピクチャのＤＰＢ２１８中の再構築されたブロックを使用し得る。

【0313】

[0195] 概して、エントロピー符号化ユニット２２０は、ビデオエンコーダ２００の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット２２０は、量子化ユニット２０８からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（たとえば、インター予測のための動き情報、またはイントラ予測のためのイントラモード情報）をエントロピー符号化し得る。エントロピー符号化ユニット２２０は、エントロピー符号化データを生成するために、ビデオデータの別の例であるシンタックス要素に対して１つまたは複数のエントロピー符号化動作を実施し得る。たとえば、エントロピー符号化ユニット２２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変対可変（Ｖ２Ｖ）長コーディング動作、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）動作、確率間隔区分エントロピー（ＰＩＰＥ）コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実施し得る。いくつかの例では、エントロピー符号化ユニット２２０は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。

【0314】

[0196] ビデオエンコーダ２００は、スライスまたはピクチャのブロックを再構築するために必要とされるエントロピー符号化シンタックス要素を含むビットストリームを出力し得る。特に、エントロピー符号化ユニット２２０がビットストリームを出力し得る。

【0315】

[0197] 上記で説明された動作は、ブロックに関して説明される。そのような説明は、ルーマコーディングブロックおよび／またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明されたように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＣＵのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＰＵのルーマ成分およびクロマ成分である。

【0316】

[0198] いくつかの例では、ルーマコーディングブロックに関して実施される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル（ＭＶ）と参照ピクチャとを識別するための動作は、クロマブロックのためのＭＶと参照ピクチャとを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのＭＶは、クロマブロックのためのＭＶを決定するためにスケーリングされ得、参照ピクチャは同じであり得る。別の例として、イントラ予測プロセスは、ルーマコーディングブロックおよびクロマコーディングブロックについて同じであり得る。

【0317】

[0199] 図１６は、本開示の技法を実施し得る例示的なビデオデコーダ３００を示すブロック図である。図１６は、説明の目的で提供されており、本開示において広く例示され、説明される技法を限定するものではない。説明の目的で、本開示は、ＶＶＣ（ＩＴＵ－Ｔ Ｈ．２６６、開発中）およびＨＥＶＣ（ＩＴＵ－Ｔ Ｈ．２６５）の技法に従った、ビデオデコーダ３００について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されたビデオコーディングデバイスによって実施され得る。

【0318】

[0200] 図１６の例では、ビデオデコーダ３００は、コード化ピクチャバッファ（ＣＰＢ）メモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、ＤＰＢ３１４とを含む。ＣＰＢメモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、ＤＰＢ３１４とのいずれかまたはすべては、１つまたは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオデコーダ３００のユニットは、１つまたは複数の回路または論理要素として、ハードウェア回路の一部として、あるいはプロセッサ、ＡＳＩＣ、またはＦＰＧＡの一部として実装され得る。その上、ビデオデコーダ３００は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。

【0319】

[0201] 予測処理ユニット３０４は、動き補償ユニット３１６と、イントラ予測ユニット３１８とを含む。予測処理ユニット３０４は、他の予測モードに従って予測を実施するための追加のユニットを含み得る。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１６の一部を形成し得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。他の例では、ビデオデコーダ３００は、より多数の、より少数の、または異なる機能構成要素を含み得る。

【0320】

[0202] ＣＰＢメモリ３２０は、ビデオデコーダ３００の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。ＣＰＢメモリ３２０に記憶されるビデオデータは、たとえば、コンピュータ可読媒体１１０（図１）から取得され得る。ＣＰＢメモリ３２０は、符号化ビデオビットストリームからの符号化ビデオデータ（たとえば、シンタックス要素）を記憶するＣＰＢを含み得る。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００の様々なユニットからの出力を表す一時データなど、コード化ピクチャのシンタックス要素以外のビデオデータを記憶し得る。ＤＰＢ３１４は、概して、ビデオデコーダ３００が符号化ビデオビットストリームの後続のデータまたはピクチャを復号するときに出力しおよび／または参照ビデオデータとして使用し得る復号ピクチャを記憶する。ＣＰＢメモリ３２０とＤＰＢ３１４とは、ＳＤＲＡＭを含むＤＲＡＭ、ＭＲＡＭ、ＲＲＡＭ、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ＣＰＢメモリ３２０とＤＰＢ３１４とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

【0321】

[0203] 追加または代替として、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコード化ビデオデータを取り出し得る。すなわち、メモリ１２０は、ＣＰＢメモリ３２０とともに上記で説明されたようにデータを記憶し得る。同様に、メモリ１２０は、ビデオデコーダ３００の機能の一部または全部が、ビデオデコーダ３００の処理回路によって実行されるべきソフトウェアにおいて実装されたとき、ビデオデコーダ３００によって実行されるべき命令を記憶し得る。

【0322】

[0204] 図１６に示されている様々なユニットは、ビデオデコーダ３００によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図１５と同様に、固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作に関してプリセットされる。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、ユニットのうちの１つまたは複数は、集積回路であり得る。

【0323】

[0205] ビデオデコーダ３００は、ＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオデコーダ３００の動作が、プログラマブル回路上で実行するソフトウェアによって実施される例では、オンチップまたはオフチップメモリは、ビデオデコーダ３００が受信し、実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得る。

【0324】

[0206] エントロピー復号ユニット３０２は、ＣＰＢから符号化ビデオデータを受信し、シンタックス要素を再生するためにビデオデータをエントロピー復号し得る。予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２とは、ビットストリームから抽出されたシンタックス要素に基づいて復号ビデオデータを生成し得る。

【0325】

[0207] 概して、ビデオデコーダ３００は、ブロックごとにピクチャを再構築する。ビデオデコーダ３００は、各ブロックに対して個々に再構築動作を実施し得る（ここで、現在再構築されているブロック、すなわち、現在復号されているブロックは、「現在ブロック」と呼ばれることがある）。

【0326】

[0208] エントロピー復号ユニット３０２は、量子化された変換係数ブロックの量子化された変換係数を定義するシンタックス要素、ならびに量子化パラメータ（ＱＰ）および／または（１つまたは複数の）変換モード指示などの変換情報をエントロピー復号し得る。逆量子化ユニット３０６は、量子化の程度と、同様に、逆量子化ユニット３０６が適用すべき逆量子化の程度とを決定するために、量子化された変換係数ブロックに関連付けられたＱＰを使用し得る。逆量子化ユニット３０６は、量子化された変換係数を逆量子化するために、たとえば、ビット単位の左シフト演算を実施し得る。逆量子化ユニット３０６は、それにより、変換係数を含む変換係数ブロックを形成し得る。

【0327】

[0209] 逆量子化ユニット３０６が変換係数ブロックを形成した後に、逆変換処理ユニット３０８は、現在ブロックに関連付けられた残差ブロックを生成するために、変換係数ブロックに１つまたは複数の逆変換を適用し得る。たとえば、逆変換処理ユニット３０８は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、または別の逆変換を変換係数ブロックに適用し得る。

【0328】

[0210] さらに、予測処理ユニット３０４は、エントロピー復号ユニット３０２によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、予測情報シンタックス要素が、現在ブロックがインター予測されることを示す場合、動き補償ユニット３１６は、予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックをそれから取り出すべきＤＰＢ３１４中の参照ピクチャ、ならびに現在ピクチャ中の現在ブロックのロケーションに対する参照ピクチャ中の参照ブロックのロケーションを識別する動きベクトルを示し得る。動き補償ユニット３１６は、概して、動き補償ユニット２２４（図１５）に関して説明されたものと実質的に同様である様式で、インター予測プロセスを実施し得る。

【0329】

[0211] 別の例として、予測情報シンタックス要素が、現在ブロックがイントラ予測されることを示す場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されるイントラ予測モードに従って予測ブロックを生成し得る。この場合も、イントラ予測ユニット３１８は、概して、イントラ予測ユニット２２６（図１５）に関して説明されたものと実質的に同様である様式で、イントラ予測プロセスを実施し得る。イントラ予測ユニット３１８は、ＤＰＢ３１４から、現在ブロックに対する隣接サンプルのデータを取り出し得る。

【0330】

[0212] 再構築ユニット３１０は、予測ブロックと残差ブロックとを使用して現在ブロックを再構築し得る。たとえば、再構築ユニット３１０は、現在ブロックを再構築するために、予測ブロックの対応するサンプルに残差ブロックのサンプルを加算し得る。

【0331】

[0213] フィルタユニット３１２は、再構築されたブロックに対して１つまたは複数のフィルタ演算を実施し得る。たとえば、フィルタユニット３１２は、再構築されたブロックのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。フィルタユニット３１２の動作は、必ずしもすべての例において実施されるとは限らない。

【0332】

[0214] ビデオデコーダ３００は、再構築されたブロックをＤＰＢ３１４に記憶し得る。たとえば、フィルタユニット３１２の動作が実施されない例では、再構築ユニット３１０は、再構築されたブロックをＤＰＢ３１４に記憶し得る。フィルタユニット３１２の動作が実施される例では、フィルタユニット３１２は、フィルタ処理された再構築されたブロックをＤＰＢ３１４に記憶し得る。上記で説明されたように、ＤＰＢ３１４は、イントラ予測のための現在ピクチャのサンプル、および後続の動き補償のための前に復号されたピクチャなど、参照情報を、予測処理ユニット３０４に提供し得る。その上、ビデオデコーダ３００は、ＤＰＢ３１４からの復号ピクチャ（たとえば、復号ビデオ）を、図１のディスプレイデバイス１１８などのディスプレイデバイス上での後続の提示のために、出力し得る。

【0333】

[0215] 図１７は、図１６におけるフィルタユニット３１２の例示的な実施を示している。図１５におけるフィルタユニット２１６は、同じ方式で実施され得る。フィルタユニット２１６、３１２は、場合によっては、ビデオエンコーダ２００またはビデオデコーダ３００の他の構成要素と併せて、本開示の技法を実行し得る。図１６においては、フィルタユニット３１２は、デブロックフィルタ３４２と、ＳＡＯフィルタ３４４と、ＡＬＦユニット３４６とを含む。ＳＡＯフィルタ３４４は、たとえば、本開示において説明される方式で、ブロックのサンプルについてのオフセット値を決定するように構成され得る。ＡＬＦユニット３４６は、同様に、本開示において説明される方式で、ビデオデータのブロックをフィルタリングし得る。たとえば、ＡＬＦユニット３４６は、第１のサンプル変更値を決定するために、再構築ブロックの再構築サンプルに、第１の段階のＡＬＦを適用し、第２のサンプル変更値を決定するために、再構築サンプルに、第２の段階のＡＬＦを適用し、再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定するように構成され得る。

【0334】

[0216] フィルタユニット３１２は、より少ないフィルタを含み得、および／または追加のフィルタを含み得る。加えて、図１７に示される特定のフィルタは、異なる順序で実施され得る。ピクセル遷移を滑らかにするために、または他の方法でビデオ品質を改善するために、（コーディングループ内またはコーディングループ後のいずれかにおける）他のループフィルタが、使用され得る。フィルタユニット３１２によって出力された、フィルタリングされた再構築ビデオブロックは、その後の動き補償のために使用される参照ピクチャを記憶する、ＤＰＢ３１４内に記憶され得る。ＤＰＢ３１４は、図１のディスプレイデバイス１１８などのディスプレイデバイス上における後の提示のために、復号ビデオを記憶する、追加のメモリの一部であり得、または追加のメモリとは別個であり得る。

【0335】

[0217] 図１８は、本開示の技法に従った、現在ブロックを符号化するための例示的なプロセスを示すフローチャートである。現在ブロックは現在ＣＵを備え得る。ビデオエンコーダ２００（図１および図１４）に関して説明されるが、他のデバイスが図１８のプロセスと同様のプロセスを実施するように構成され得ることを理解されたい。

【0336】

[0218] この例では、ビデオエンコーダ２００は、最初に、現在ブロックを予測する（６５０）。たとえば、ビデオエンコーダ２００は、現在ブロックのための予測ブロックを形成し得る。ビデオエンコーダ２００は、次いで、現在ブロックのための残差ブロックを計算し得る（６５２）。残差ブロックを計算するために、ビデオエンコーダ２００は、元の符号化されていないブロックと、現在ブロックのための予測ブロックとの間の差分を計算し得る。ビデオエンコーダ２００は、次いで、残差ブロックを変換し、残差ブロックの変換係数を量子化し得る（６５４）。次に、ビデオエンコーダ２００は、残差ブロックの量子化された変換係数を走査し得る（６５６）。走査中に、または走査に続いて、ビデオエンコーダ２００は、変換係数をエントロピー符号化し得る（６５８）。たとえば、ビデオエンコーダ２００は、ＣＡＶＬＣまたはＣＡＢＡＣを使用して変換係数を符号化し得る。ビデオエンコーダ２００は、次いで、ブロックのエントロピー符号化データを出力し得る（６６０）。

【0337】

[0219] 図１９は、本開示の技法に従った、ビデオデータの現在ブロックを復号するための例示的なプロセスを示すフローチャートである。現在ブロックは現在ＣＵを備え得る。ビデオデコーダ３００（図１および図１５）に関して説明されるが、他のデバイスが図１９のプロセスと同様のプロセスを実施するように構成され得ることを理解されたい。

【0338】

[0220] ビデオデコーダ３００は、エントロピー符号化予測情報、および現在ブロックに対応する残差ブロックの変換係数についてのエントロピー符号化データなど、現在ブロックについてのエントロピー符号化データを受信し得る（６７０）。ビデオデコーダ３００は、現在ブロックのための予測情報を決定するために、および残差ブロックの変換係数を再生するために、エントロピー符号化データをエントロピー復号し得る（６７２）。ビデオデコーダ３００は、現在ブロックのための予測ブロックを計算するために、たとえば、現在ブロックのための予測情報によって示されるイントラ予測またはインター予測モードを使用して、現在ブロックを予測し得る（６７４）。ビデオデコーダ３００は、次いで、量子化された変換係数のブロックを作成するために、再生された変換係数を逆走査し得る（６７６）。ビデオデコーダ３００は、次いで、残差ブロックを生成するために、変換係数を逆量子化し、変換係数に逆変換を適用し得る（６７８）。ビデオデコーダ３００は、予測ブロックと残差ブロックとを組み合わせることによって、最終的に現在ブロックを復号し得る（６８０）。

【0339】

[0221] 図２０は、本開示の技法に従った、ビデオデータの現在ブロックを復号するための例示的なプロセスを示すフローチャートである。ビデオデコーダ３００（図１および図１５）に関して説明されているが、他のデバイスが、図２０のそれと類似のプロセスを実行するように構成され得ることが理解されるべきである。たとえば、フィルタユニット２１６を含む、ビデオエンコーダ２００のビデオ復号ループは、図２０の技法を実行し得る。

【0340】

[0222] ビデオデコーダ３００は、再構築ブロックの再構築サンプルに、第１の段階のＡＬＦを適用し、ここにおいて、第１の段階のＡＬＦを適用することは、（７１０）を備える。この文脈においては、再構築サンプルは、デブロックフィルタリング前の再構築サンプル、またはデブロックフィルタリング後の再構築サンプルのいずれかであり得る。第１の段階のＡＬＦを適用するために、ビデオデコーダ３００は、再構築サンプルについての第１のクラスインデックスを決定し（７１２）、第１のクラスインデックスに基づいて、フィルタの第１のセットからフィルタを選択し（７１４）、第１の中間サンプル値を決定するために、再構築サンプルに、フィルタの第１のセットからのフィルタを適用する（７１６）。上で説明されたように、ビデオデコーダ３００は、再構築ブロックについての量子化パラメータに基づいて、固定されたフィルタの複数のセットからフィルタの第１のセットを選択し得る。フィルタの第１のセットは、たとえば、固定されたフィルタであり得る。すなわち、フィルタの第１のセットは、ビデオデータでシグナリングされるのではなく、ビデオコーデック内に記憶された、フィルタのセットであり得る。フィルタの第１のセットは、たとえば、少なくとも１つの９×９のダイヤモンド形状フィルタ（9x9 diamond-shaped filter）、または上で説明された任意のサイズもしくは形状のフィルタを含み得る。図９および図１１に示されるように、ビデオデコーダは、複数の中間サンプル値を決定し得る。

【0341】

[0223] 第１のクラスインデックスを決定するために、ビデオデコーダ３００は、再構築サンプルについてのアクティビティ値を決定し、再構築サンプルについての方向を決定し、アクティビティ値と、方向とに基づいて、分類器を決定し得る。上で説明されたように、方向の数は、Ｍ_D,i＝（Ｓ＋１）×（Ｓ＋２）であり得、これは、６に等しいＳを用いると、５６個の方向があることを意味する。

【0342】

[0224] ビデオデコーダ３００は、再構築サンプルに、第２の段階のＡＬＦを適用する（７２０）。第２の段階のＡＬＦを適用するために、ビデオデコーダ３００は、再構築サンプルについての第２のクラスインデックスを決定し（７２２）、第２のクラスインデックスに基づいて、フィルタの第２のセットから第２のフィルタを選択し（７２４）、第１のサンプル変更値を決定するために、再構築サンプルに、第２のフィルタを適用し（７２６）、第１の中間サンプル値に基づいて、第２のサンプル変更値を決定する。フィルタの第２のセットは、たとえば、シグナリングされたフィルタであり得、これは、第２のセット内のフィルタが、少なくとも部分的に、ビデオデータ内においてシグナリングされることを意味する。

【0343】

[0225] ビデオデコーダ３００は、再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定する（７３０）。再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定するために、ビデオデコーダ３００は、たとえば、再構築サンプルに、第１のサンプル変更値と、第２のサンプル変更値とを加算し得る。上記の式（２８）は、ビデオデコーダ３００が、フィルタリングされた再構築サンプルについての値をどのように決定し得るかの一例を表す。

【0344】

[0226] 第１の中間サンプル値に基づいて、第２のサンプル変更値を決定するために、ビデオデコーダ３００は、クリッピングされたサンプル変更値を決定するために、第２のサンプル変更値をクリッピングし、再構築サンプルに、第１のサンプル変更値と、クリッピングされたサンプル変更値とを加算し得る。ビデオデコーダ３００は、ビデオデータ内において、クリッピングされたサンプル変更値を受信し得る。第１の中間サンプル値に基づいて、第２のサンプル変更値を決定するために、ビデオデコーダ３００は、再構築サンプルと第１の中間サンプル値との間の差（difference）を決定することによっても、第１の中間サンプル値に基づいて、第２のサンプル変更値を決定し得る。上記の式（２８）および式（３０）は、ビデオデコーダ３００が、第２のサンプル変更値をどのように決定し得るかの例を表す。

【0345】

[0227] ビデオデコーダ３００は、フィルタリングされた再構築サンプルを含む、ビデオデータの復号ピクチャを出力し得る。いくつかのコーディングシナリオにおいては、ビデオデコーダ３００は、出力前に、フィルタリングされた再構築サンプルに対して、１つまたは複数の追加のフィルタリング操作を実行し得る。ビデオデコーダ３００は、後続のピクチャを復号する際に使用するために、復号ピクチャバッファ内にピクチャを記憶すること、後の表示のために、記憶媒体に復号ピクチャを記憶することによって、またはリアルタイムもしくはほぼリアルタイムの表示のために、ディスプレイデバイスに復号ピクチャを出力することによって、復号ピクチャを出力し得る。図２０の技法が、ビデオエンコーダによって実行される、例においては、ビデオエンコーダは、たとえば、後続のピクチャを符号化する際に使用するために、復号ピクチャバッファ内にピクチャを記憶することによって、復号ピクチャを出力し得る。

【0346】

[0228] 以下の番号付きの条項は、本開示において説明されるデバイスおよび技法の１つまたは複数の態様を示す。

【0347】

[0229] 条項１Ａ。ビデオデータを復号する方法であって、方法は、ビデオデータの再構築ブロックを決定することと、フィルタリングされた再構築ブロックを生成するために、ビデオデータの再構築ブロックのサンプルに、フィルタを適用することとを備える。

【0348】

[0230] 条項２Ａ。サンプルにフィルタを適用することが、サンプルについてのアクティビティ値とサンプルについての方向の一方または両方を決定することと、決定されたアクティビティ値および／または方向に基づいて、フィルタのセットからフィルタを選択することとを備える、条項１Ａに記載の方法。

【0349】

[0231] 条項３Ａ。フィルタのセットが、固定されたフィルタのセットを備える、条項２Ａに記載の方法。

【0350】

[0232] 条項４Ａ。フィルタのセットが、シグナリングされたフィルタのセットを備える、条項２Ａに記載の方法。

【0351】

[0233] 条項５Ａ。サンプルにフィルタを適用することが、中間フィルタリングサンプルを決定するために、サンプルに、第１のフィルタを適用することと、サンプリングされた最終的フィルタを決定するために、中間フィルタリングサンプルに、第２のフィルタを適用することとを備える、条項１Ａ～４Ａのいずれかに記載の方法。

【0352】

[0234] 条項６Ａ。復号の方法が、ビデオコーディングプロセスの一部として実行される、条項１Ａ～５Ａのいずれかに記載の方法。

【0353】

[0235] 条項７Ａ。ビデオデータをコーディングするためのデバイスであって、デバイスが、条項１Ａ～６Ａのいずれかに記載の方法を実行するための１つまたは複数の手段を備える。

【0354】

[0236] 条項８Ａ。１つまたは複数の手段が、回路で実施された１つまたは複数のプロセッサを備える、条項７Ａに記載のデバイス。

【0355】

[0237] 条項９Ａ。ビデオデータを記憶するためのメモリをさらに備える、条項７Ａおよび８Ａのいずれかに記載のデバイス。

【0356】

[0238] 条項１０Ａ。復号ビデオデータを表示するように構成されたディスプレイ（display）をさらに備える、条項７Ａ～９Ａのいずれかに記載のデバイス。

【0357】

[0239] 条項１１Ａ。デバイスが、カメラ、コンピュータ、モバイルデバイス、放送受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、条項７Ａ～１０Ａのいずれかに記載のデバイス。

【0358】

[0240] 条項１２Ａ。デバイスが、ビデオデコーダを備える、条項７Ａ～１１Ａのいずれかに記載のデバイス。

【0359】

[0241] 条項１３Ａ。デバイスが、ビデオエンコーダを備える、条項７Ａ～１２Ａのいずれかに記載のデバイス。

【0360】

[0242] 条項１４Ａ。実行されたときに、１つまたは複数のプロセッサに、条項１Ａ～６Ａのいずれかに記載の方法を実行させる命令をその上に記憶した、コンピュータ可読記憶媒体。

【0361】

[0243] 条項１Ｂ。ビデオデータを復号する方法であって、方法は、ビデオデータのピクチャの少なくとも一部を復号することと、ピクチャの少なくとも一部についてのフィルタリングされたサンプルを生成するために、ＡＬＦの第１の段階中に、ピクチャの少なくとも一部に、１つまたは複数の適応ループフィルタ（ＡＬＦ）を適用することと、ピクチャの少なくとも一部に対してＡＬＦの第２の段階を実行するかどうかを決定することと、決定がＡＬＦの第２の段階を実行しないであるとき、ＡＬＦの第２の段階についての１つまたは複数のＡＬＦのためのフィルタ係数の復号を回避し、ピクチャの少なくとも一部に対してＡＬＦの第２の段階を実行することを回避することと、ピクチャの少なくとも一部についての最終的サンプルを生成するために、フィルタリングされたサンプルを使用することとを備える。

【0362】

[0244] 条項２Ｂ。最終的サンプルを生成するために、フィルタリングされたサンプルを使用することが、

【0363】

【数62】

【0364】

に従って、最終的サンプルを計算することを備え、ここにおいて、

【0365】

【数63】

【0366】

は、位置（ｘ、ｙ）における最終的サンプルのうちの１つを表し、ｗ_iは、１つまたは複数のＡＬＦのうちの第ｉのＡＬＦについての重み値を備え、Ｒ’（ｘ，ｙ，ｉ）は、位置（ｘ，ｙ）において第ｉのＡＬＦによって生成された、フィルタリングされたサンプルの１つを備える、条項１Ｂに記載の方法。

【0367】

[0245] 条項３Ｂ。固定された構成データから重み値ｗ_iを決定することをさらに備える、条項２Ｂに記載の方法。

【0368】

[0246] 条項４Ｂ。復号されたフィルタ使用情報から重み値ｗ_iを決定することをさらに備える、条項２Ｂに記載の方法。

【0369】

[0247] 条項５Ｂ。重み値ｗ_iを復号することをさらに備える、条項２Ｂに記載の方法。

【0370】

[0248] 条項６Ｂ。重み値ｗ_iを復号することが、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、サブピクチャヘッダ、コーディングツリーユニット（ＣＴＵ）ヘッダ、コーディングツリーブロック（ＣＴＢ）ヘッダ、またはサブブロックヘッダのうちの１つまたは複数から重み値ｗ_iを復号することを備える、条項５Ｂに記載の方法。

【0371】

[0249] 条項７Ｂ。最終的サンプルのうちの１つまたは複数のために使用される重み値ｗ_iの組合せを表すシンタックス要素についてのデータを復号することをさらに備える、条項２Ｂ～６Ｂのいずれかに記載の方法。

【0372】

[0250] 条項８Ｂ。ＡＬＦの第２の段階を実行するかどうかを決定することが、ＡＬＦの第２の段階を実行するかどうかを表すデータを復号することを備える、条項１Ｂ～７Ｂのいずれかに記載の方法。

【0373】

[0251] 条項９Ｂ。ＡＬＦの第２の段階を実行するかどうかを表すデータを復号することが、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、サブピクチャヘッダ、コーディングツリーユニット（ＣＴＵ）ヘッダ、コーディングツリーブロック（ＣＴＢ）ヘッダ、またはサブブロックヘッダのうちの１つまたは複数のデータを復号することを備える、条項８Ｂに記載の方法。

【0374】

[0252] 条項１０Ｂ。ＡＬＦの第２の段階を実行するかどうかを表すデータを復号することが、シンタックス要素についての値を復号することを備え、値が、ＡＬＦの第２の段階がバイパスされるべきであることを示す、条項８Ｂおよび９Ｂのいずれかに記載の方法。

【0375】

[0253] 条項１１Ｂ。ＡＬＦの第２の段階を実行するかどうかを決定することが、以前に復号されたコーディング情報に従って、ＡＬＦの第２の段階を実行するかどうかを適応的に導出することを備える、条項１Ｂ～７Ｂのいずれかに記載の方法。

【0376】

[0254] 条項１２Ｂ。以前に復号されたコーディング情報が、ピクチャの少なくとも一部におけるブロックについての量子化パラメータ（ＱＰ）、ブロックのサイズ、またはブロックがイントラ予測を使用して予測されるか、それともインター予測を使用して予測されるかのうちの１つまたは複数を備える、条項１１Ｂに記載の方法。

【0377】

[0255] 条項１３Ｂ。最終的サンプルを生成するために、フィルタリングされたサンプルを使用することが、最終的サンプルを生成するために、フィルタリングされたサンプルをスケーリングすることを備える、条項１Ｂ～１２Ｂのいずれかに記載の方法。

【0378】

[0256] 条項１４Ｂ。ピクチャの少なくとも一部を復号する前に、ピクチャの少なくとも一部を符号化することをさらに備える、条項１Ｂ～１３Ｂのいずれかに記載の方法。

【0379】

[0257] 条項１５Ｂ。ビデオデータを復号するためのデバイスであって、デバイスは、条項１Ｂ～１４Ｂのいずれかに記載の方法を実行するための１つまたは複数の手段を備える。

【0380】

[0258] 条項１６Ｂ。１つまたは複数の手段が、回路で実施された１つまたは複数のプロセッサを備える、条項１５Ｂに記載のデバイス。

【0381】

[0259] 条項１７Ｂ。復号ビデオデータを表示するように構成されたディスプレイをさらに備える、条項１５Ｂおよび１６Ｂのいずれかに記載のデバイス。

【0382】

[0260] 条項１８Ｂ。デバイスが、カメラ、コンピュータ、モバイルデバイス、放送受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、条項１５Ｂ～１７Ｂのいずれかに記載のデバイス。

【0383】

[0261] 条項１９Ｂ。ビデオデータを記憶するように構成されたメモリをさらに備える、条項１５Ｂ～１８Ｂに記載のデバイス。

【0384】

[0262] 条項２０Ｂ。実行されたときに、ビデオデータを復号するためのデバイスのプロセッサに、条項１Ｂ～１４Ｂのいずれかに記載の方法を実行させる命令をその上に記憶した、コンピュータ可読記憶媒体。

【0385】

[0263] 条項２１Ｂ。ビデオデータを復号するためのデバイスであって、デバイスは、ビデオデータのピクチャの少なくとも一部を復号するための手段と、ピクチャの少なくとも一部についてのフィルタリングされたサンプルを生成するために、ＡＬＦの第１の段階中に、ピクチャの少なくとも一部に、１つまたは複数の適応ループフィルタ（ＡＬＦ）を適用するための手段と、ピクチャの少なくとも一部に対してＡＬＦの第２の段階を実行するかどうかを決定するための手段と、決定がＡＬＦの第２の段階を実行しないであるとき、ＡＬＦの第２の段階についての１つまたは複数のＡＬＦのためのフィルタ係数の復号を回避するための手段と、決定がＡＬＦの第２の段階を実行しないであるとき、ピクチャの少なくとも一部に対してＡＬＦの第２の段階を実行することを回避するための手段と、ピクチャの少なくとも一部についての最終的サンプルを生成するために、フィルタリングされたサンプルを使用するための手段とを備える。

【0386】

[0264] 条項１Ｃ。ビデオデータを復号する方法であって、方法は、再構築ブロックの再構築サンプルに、第１の段階の適応ループフィルタ（ＡＬＦ）を適用することと、ここにおいて、第１の段階のＡＬＦを適用することが、再構築サンプルについての第１のクラスインデックスを決定することと、第１のクラスインデックスに基づいて、フィルタの第１のセットからフィルタを選択することと、第１の中間サンプル値を決定するために、再構築サンプルに、フィルタの第１のセットからのフィルタを適用することとを備え、再構築サンプルに、第２の段階のＡＬＦを適用することと、ここにおいて、第２の段階のＡＬＦを適用することが、再構築サンプルについての第２のクラスインデックスを決定することと、第２のクラスインデックスに基づいて、フィルタの第２のセットから第２のフィルタを選択することと、第１のサンプル変更値を決定するために、再構築サンプルに、第２のフィルタを適用することと、第１の中間サンプル値に基づいて、第２のサンプル変更値を決定することとを備え、再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定することとを備える。

【0387】

[0265] 条項２Ｃ。フィルタの第１のセットが、固定されたフィルタを備える、条項１Ｃに記載の方法。

【0388】

[0266] 条項３Ｃ。フィルタの第２のセットが、ビデオデータ内においてシグナリングされたシンタックスに基づいて決定された、シグナリングされたフィルタを備える、条項１Ｃ～２Ｃのいずれかに記載の方法。

【0389】

[0267] 条項４Ｃ。第１のクラスインデックスを決定することが、再構築サンプルについてのアクティビティ値を決定することと、再構築サンプルについての方向を決定することと、アクティビティ値と、方向とに基づいて、第１のクラスインデックスを決定することとを備える、条項１Ｃ～３Ｃのいずれかに記載の方法。

【0390】

[0268] 条項５Ｃ。方向を決定することが、方向に５６個の値のうちの１つを割り当てることを備える、条項４Ｃに記載の方法。

【0391】

[0269] 条項６Ｃ。フィルタの第１のセットが、９×９のダイヤモンド形状フィルタを含む、条項１Ｃ～５Ｃのいずれかに記載の方法。

【0392】

[0270] 条項７Ｃ。再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定することが、再構築サンプルに、第１のサンプル変更値と、第２のサンプル変更値とを加算することを備える、条項１Ｃ～６Ｃのいずれかに記載の方法。

【0393】

[0271] 条項８Ｃ。第１の中間サンプル値に基づいて、第２のサンプル変更値を決定することが、クリッピングされたサンプル変更値を決定するために、第２のサンプル変更値をクリッピングすることと、再構築サンプルに、第１のサンプル変更値と、クリッピングされたサンプル変更値とを加算することとを備える、条項１Ｃ～７Ｃのいずれかに記載の方法。

【0394】

[0272] 条項９Ｃ。ビデオデータ内において、クリッピングされたサンプル変更値を受信することをさらに備える、条項８Ｃに記載の方法。

【0395】

[0273] 条項１０Ｃ。第１の中間サンプル値に基づいて、第２のサンプル変更値を決定することが、再構築サンプルと第１の中間サンプル値との間の差を決定することを備える、条項１Ｃ～９Ｃのいずれかに記載の方法。

【0396】

[0274] 条項１１Ｃ。再構築ブロックについての量子化パラメータに基づいて、固定されたフィルタの複数のセットからフィルタの第１のセットを選択することをさらに備える、条項１Ｃ～１０Ｃのいずれかに記載の方法。

【0397】

[0275] 条項１２Ｃ。第１の段階のＡＬＦを適用することが、再構築サンプルについての第３のクラスインデックス（third class index）を決定することと、第３のクラスインデックスに基づいて、フィルタの第２のセットから第３のフィルタ（third filter）を選択することと、第２の中間サンプル値（second intermediate sample value）を決定するために、再構築サンプルに、フィルタの第２のセットからの第３のフィルタを適用することとをさらに備え、再構築サンプルに、第２の段階のＡＬＦを適用することが、第１の中間サンプル値と、第２の中間サンプル値とに基づいて、第２のサンプル変更値を決定することをさらに備える、条項１Ｃ～１１Ｃのいずれかに記載の方法。

【0398】

[0276] 条項１３Ｃ。再構築サンプルを決定するために、残差サンプル値（residual sample value）に、予測サンプル値（predicted sample value）を加算することをさらに備える、条項１Ｃ～１２Ｃのいずれかに記載の方法。

【0399】

[0277] 条項１４Ｃ。再構築サンプルを決定するために、予測サンプル値と残差サンプル値との和（sum）に、デブロッキングフィルタを適用することをさらに備える、条項１３Ｃのいずれかに記載の方法。

【0400】

[0278] 条項１５Ｃ。ビデオデータの復号ピクチャを出力し、ここにおいて、復号ピクチャが、フィルタリングされた再構築サンプルを備えることをさらに備える、条項１Ｃ～１４Ｃのいずれかに記載の方法。

【0401】

[0279] 条項１６Ｃ。復号（decoding）の方法が、ビデオ符号化プロセス（video encoding process）の一部として実行される、条項１Ｃ～１４Ｃのいずれかに記載の方法。

【0402】

[0280] 条項１７Ｃ。ビデオデータを復号するためのデバイスであって、デバイスは、ビデオデータを記憶するように構成されたメモリと、回路で実施され、再構築ブロックの再構築サンプルに、第１の段階の適応ループフィルタ（ＡＬＦ）を適用することと、ここにおいて、第１の段階のＡＬＦを適用するために、１つまたは複数のプロセッサが、再構築サンプルについての第１のクラスインデックスを決定することと、第１のクラスインデックスに基づいて、フィルタの第１のセットからフィルタを選択することと、第１の中間サンプル値を決定するために、再構築サンプルに、フィルタの第１のセットからのフィルタを適用することとを行うようにさらに構成され、再構築サンプルに、第２の段階のＡＬＦを適用することと、ここにおいて、第２の段階のＡＬＦを適用するために、１つまたは複数のプロセッサが、再構築サンプルについての第２のクラスインデックスを決定することと、第２のクラスインデックスに基づいて、フィルタの第２のセットから第２のフィルタを選択することと、第１のサンプル変更値を決定するために、再構築サンプルに、第２のフィルタを適用することと、第１の中間サンプル値に基づいて、第２のサンプル変更値を決定することとを行うようにさらに構成され、再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定することとを行うように構成された、１つまたは複数のプロセッサとを備える。

【0403】

[0281] 条項１８Ｃ。フィルタの第１のセットが、固定されたフィルタを備える、条項１７Ｃに記載の装置。

【0404】

[0282] 条項１９Ｃ。フィルタの第２のセットが、ビデオデータ内においてシグナリングされたシンタックスに基づいて決定された、シグナリングされたフィルタを備える、条項１７Ｃ～１８Ｃのいずれかに記載のデバイス。

【0405】

[0283] 条項２０Ｃ。第１のクラスインデックスを決定するために、１つまたは複数のプロセッサが、再構築サンプルについてのアクティビティ値を決定することと、再構築サンプルについての方向を決定することと、アクティビティ値と、方向とに基づいて、第１のクラスインデックスを決定することとを行うようにさらに構成される、条項１７Ｃ～１９Ｃのいずれかに記載のデバイス。

【0406】

[0284] 条項２１Ｃ。方向を決定するために、１つまたは複数のプロセッサが、方向に５６個の値のうちの１つを割り当てるようにさらに構成される、条項２０Ｃに記載のデバイス。

【0407】

[0285] 条項２２Ｃ。フィルタの第１のセットが、９×９のダイヤモンド形状フィルタを含む、条項１７Ｃ～２１Ｃのいずれかに記載の装置。

【0408】

[0286] 条項２３Ｃ。再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定するために、１つまたは複数のプロセッサが、再構築サンプルに、第１のサンプル変更値と、第２のサンプル変更値とを加算するようにさらに構成される、条項１７Ｃ～２２Ｃのいずれかに記載のデバイス。

【0409】

[0287] 条項２４Ｃ。第１の中間サンプル値に基づいて、第２のサンプル変更値を決定するために、１つまたは複数のプロセッサが、クリッピングされたサンプル変更値を決定するために、第２のサンプル変更値をクリッピングすることと、再構築サンプルに、第１のサンプル変更値と、クリッピングされたサンプル変更値とを加算することとを行うようにさらに構成される、条項１７Ｃ～２３Ｃのいずれかに記載のデバイス。

【0410】

[0288] 条項２５Ｃ。１つまたは複数のプロセッサが、ビデオデータ内において、クリッピングされたサンプル変更値を受信するようにさらに構成される、条項２４Ｃに記載のデバイス。

【0411】

[0289] 条項２６Ｃ。第１の中間サンプル値に基づいて、第２のサンプル変更値を決定するために、１つまたは複数のプロセッサが、再構築サンプルと第１の中間サンプル値との間の差を決定するようにさらに構成される、条項１７Ｃ～２５Ｃのいずれかに記載のデバイス。

【0412】

[0290] 条項２７Ｃ。１つまたは複数のプロセッサが、再構築ブロックについての量子化パラメータに基づいて、固定されたフィルタの複数のセットからフィルタの第１のセットを選択するようにさらに構成される、条項１７～２６Ｃのいずれかに記載のデバイス。

【0413】

[0291] 条項２８Ｃ。第１の段階のＡＬＦを適用するために、１つまたは複数のプロセッサが、再構築サンプルについての第３のクラスインデックスを決定することと、第３のクラスインデックスに基づいて、フィルタの第２のセットから第３のフィルタを選択することと、第２の中間サンプル値を決定するために、再構築サンプルに、フィルタの第２のセットからの第３のフィルタを適用することとを行うようにさらに構成され、再構築サンプルに、第２の段階のＡＬＦを適用するために、１つまたは複数のプロセッサが、第１の中間サンプル値と、第２の中間サンプル値とに基づいて、第２のサンプル変更値を決定するようにさらに構成される、条項１７Ｃ～２７Ｃのいずれかに記載のデバイス。

【0414】

[0292] 条項２９Ｃ。１つまたは複数のプロセッサが、再構築サンプルを決定するために、残差サンプル値に、予測サンプル値を加算するようにさらに構成される、条項１７Ｃ～２８Ｃのいずれかに記載のデバイス。

【0415】

[0293] 条項３０Ｃ。１つまたは複数のプロセッサが、再構築サンプルを決定するために、予測サンプル値と残差サンプル値との和に、デブロッキングフィルタを適用するようにさらに構成される、条項２８Ｃに記載のデバイス。

【0416】

[0294] 条項３１Ｃ。１つまたは複数のプロセッサが、ビデオデータの復号ピクチャを出力し、ここにおいて、復号ピクチャが、フィルタリングされた再構築サンプルを備えるようにさらに構成される、条項１７Ｃ～３０Ｃのいずれかに記載のデバイス。

【0417】

[0295] 条項３２Ｃ。デバイスが、ビデオ符号化デバイスを備える、条項１７Ｃ～３１Ｃのいずれかに記載のデバイス。

【0418】

[0296] 条項３３Ｃ。１つまたは複数のプロセッサが、ビデオデータの復号ピクチャを出力し、ここにおいて、復号ピクチャが、フィルタリングされた再構築サンプルを備えるようにさらに構成される、条項１７Ｃ～３２Ｃのいずれかに記載のデバイス。

【0419】

[0297] 条項３４Ｃ。デバイスが、符号化ビデオデータ（encoded video data）を受信するように構成された受信機をさらに備える、ワイヤレス通信デバイスを備える、条項３３Ｃに記載のデバイス。

【0420】

[0298] 条項３５Ｃ。ワイヤレス通信デバイスが、電話ハンドセットを備え、ここにおいて、受信機が、符号化ビデオデータを備える信号を、ワイヤレス通信規格（wireless communication standard）に従って、復調するように構成される、条項３４Ｃに記載のデバイス。

【0421】

[0299] 条項３６Ｃ。復号ビデオデータを表示するように構成されたディスプレイをさらに備える、条項１７Ｃ～３５Ｃのいずれかに記載のデバイス。

【0422】

[0300] 条項３７Ｃ。デバイスが、カメラ、コンピュータ、モバイルデバイス、放送受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、条項１７Ｃ～３６Ｃのいずれかに記載のデバイス。

【0423】

[0301] 条項３８Ｃ。デバイスが、ビデオ符号化デバイスを備える、条項１７Ｃ～３７Ｃのいずれかに記載のデバイス。

【0424】

[0302] 条項３９Ｃ。１つまたは複数のプロセッサによって実行されたときに、１つまたは複数のプロセッサに、再構築ブロックの再構築サンプルに、第１の段階の適応ループフィルタ（ＡＬＦ）を適用することと、ここにおいて、第１の段階のＡＬＦを適用するために、１つまたは複数のプロセッサが、再構築サンプルについての第１のクラスインデックスを決定することと、第１のクラスインデックスに基づいて、フィルタの第１のセットからフィルタを選択することと、第１の中間サンプル値を決定するために、再構築サンプルに、フィルタの第１のセットからのフィルタを適用することとを行うようにさらに構成され、再構築サンプルに、第２の段階のＡＬＦを適用することと、ここにおいて、第２の段階のＡＬＦを適用するために、１つまたは複数のプロセッサが、再構築サンプルについての第２のクラスインデックスを決定することと、第２のクラスインデックスに基づいて、フィルタの第２のセットから第２のフィルタを選択することと、第１のサンプル変更値を決定するために、再構築サンプルに、第２のフィルタを適用することと、第１の中間サンプル値に基づいて、第２のサンプル変更値を決定することとを行うようにさらに構成され、再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定することとを行わせる命令を記憶した、コンピュータ可読記憶媒体。

【0425】

[0303] 条項１Ｄ。ビデオデータを復号する方法であって、方法は、再構築ブロックの再構築サンプルに、第１の段階の適応ループフィルタ（ＡＬＦ）を適用することと、ここにおいて、第１の段階のＡＬＦを適用することが、再構築サンプルについての第１のクラスインデックスを決定することと、第１のクラスインデックスに基づいて、フィルタの第１のセットからフィルタを選択することと、第１の中間サンプル値を決定するために、再構築サンプルに、フィルタの第１のセットからのフィルタを適用することとを備え、再構築サンプルに、第２の段階のＡＬＦを適用することと、ここにおいて、第２の段階のＡＬＦを適用することが、再構築サンプルについての第２のクラスインデックスを決定することと、第２のクラスインデックスに基づいて、フィルタの第２のセットから第２のフィルタを選択することと、第１のサンプル変更値を決定するために、再構築サンプルに、第２のフィルタを適用することと、第１の中間サンプル値に基づいて、第２のサンプル変更値を決定することとを備え、再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定することとを備える。

【0426】

[0304] 条項２Ｄ。フィルタの第１のセットが、固定されたフィルタを備える、条項１Ｄに記載の方法。

【0427】

[0305] 条項３Ｄ。フィルタの第２のセットが、ビデオデータ内においてシグナリングされたシンタックスに基づいて決定された、シグナリングされたフィルタを備える、条項１Ｄに記載の方法。

【0428】

[0306] 条項４Ｄ。第１のクラスインデックスを決定することが、再構築サンプルについてのアクティビティ値を決定することと、再構築サンプルについての方向を決定することと、アクティビティ値と、方向とに基づいて、第１のクラスインデックスを決定することとを備える、条項１Ｄに記載の方法。

【0429】

[0307] 条項５Ｄ。方向を決定することが、方向に５６個の値のうちの１つを割り当てることを備える、条項４Ｄに記載の方法。

【0430】

[0308] 条項６Ｄ。フィルタの第１のセットが、９×９のダイヤモンド形状フィルタを含む、条項１Ｄに記載の方法。

【0431】

[0309] 条項７Ｄ。再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定することが、再構築サンプルに、第１のサンプル変更値と、第２のサンプル変更値とを加算することを備える、条項１Ｄに記載の方法。

【0432】

[0310] 条項８Ｄ。第１の中間サンプル値に基づいて、第２のサンプル変更値を決定することが、クリッピングされたサンプル変更値を決定するために、第２のサンプル変更値をクリッピングすることと、再構築サンプルに、第１のサンプル変更値と、クリッピングされたサンプル変更値とを加算することとを備える、条項１Ｄに記載の方法。

【0433】

[0311] 条項９Ｄ。ビデオデータ内において、クリッピングされたサンプル変更値を受信することをさらに備える、条項８Ｄに記載の方法。

【0434】

[0312] 条項１０Ｄ。第１の中間サンプル値に基づいて、第２のサンプル変更値を決定することが、再構築サンプルと第１の中間サンプル値との間の差を決定することを備える、条項１Ｄに記載の方法。

【0435】

[0313] 条項１１Ｄ。再構築ブロックについての量子化パラメータに基づいて、固定されたフィルタの複数のセットからフィルタの第１のセットを選択することをさらに備える、条項１Ｄに記載の方法。

【0436】

[0314] 条項１２Ｄ。第１の段階のＡＬＦを適用することが、再構築サンプルについての第３のクラスインデックスを決定することと、第３のクラスインデックスに基づいて、フィルタの第２のセットから第２のフィルタを選択することと、第２の中間サンプル値を決定するために、再構築サンプルに、フィルタの第２のセットからの第２のフィルタを適用することとをさらに備え、再構築サンプルに、第２の段階のＡＬＦを適用することが、第１の中間サンプル値と、第２の中間サンプル値とに基づいて、第２のサンプル変更値を決定することをさらに備える、条項１Ｄに記載の方法。

【0437】

[0315] 条項１３Ｄ。再構築サンプルを決定するために、残差サンプル値に、予測サンプル値を加算することをさらに備える、条項１Ｄに記載の方法。

【0438】

[0316] 条項１４Ｄ。再構築サンプルを決定するために、予測サンプル値と残差サンプル値との和に、デブロッキングフィルタを適用することをさらに備える、条項１３Ｄに記載の方法。

【0439】

[0317] 条項１５Ｄ。ビデオデータの復号ピクチャを出力し、ここにおいて、復号ピクチャが、フィルタリングされた再構築サンプルを備えることをさらに備える、条項１Ｄに記載の方法。

【0440】

[0318] 条項１６Ｄ。復号の方法が、ビデオ符号化プロセスの一部として実行される、条項１Ｄに記載の方法。

【0441】

[0319] 条項１７Ｄ。ビデオデータを復号するためのデバイスであって、デバイスは、ビデオデータを記憶するように構成されたメモリと、回路で実施され、再構築ブロックの再構築サンプルに、第１の段階の適応ループフィルタ（ＡＬＦ）を適用することと、ここにおいて、第１の段階のＡＬＦを適用するために、１つまたは複数のプロセッサが、再構築サンプルについての第１のクラスインデックスを決定することと、第１のクラスインデックスに基づいて、フィルタの第１のセットからフィルタを選択することと、第１の中間サンプル値を決定するために、再構築サンプルに、フィルタの第１のセットからのフィルタを適用することとを行うようにさらに構成され、再構築サンプルに、第２の段階のＡＬＦを適用することと、ここにおいて、第２の段階のＡＬＦを適用するために、１つまたは複数のプロセッサが、再構築サンプルについての第２のクラスインデックスを決定することと、第２のクラスインデックスに基づいて、フィルタの第２のセットから第２のフィルタを選択することと、第１のサンプル変更値を決定するために、再構築サンプルに、第２のフィルタを適用することと、第１の中間サンプル値に基づいて、第２のサンプル変更値を決定することとを行うようにさらに構成され、再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定することとを行うように構成された、１つまたは複数のプロセッサとを備える。

【0442】

[0320] 条項１８Ｄ。フィルタの第１のセットが、固定されたフィルタを備える、条項１７Ｄに記載の装置。

【0443】

[0321] 条項１９Ｄ。フィルタの第２のセットが、ビデオデータ内においてシグナリングされたシンタックスに基づいて決定された、シグナリングされたフィルタを備える、条項１７Ｄに記載のデバイス。

【0444】

[0322] 条項２０Ｄ。第１のクラスインデックスを決定するために、１つまたは複数のプロセッサが、再構築サンプルについてのアクティビティ値を決定することと、再構築サンプルについての方向を決定することと、アクティビティ値と、方向とに基づいて、第１のクラスインデックスを決定することとを行うようにさらに構成される、条項１７Ｄに記載のデバイス。

【0445】

[0323] 条項２１Ｄ。方向を決定するために、１つまたは複数のプロセッサが、方向に５６個の値のうちの１つを割り当てるようにさらに構成される、条項２０Ｄに記載のデバイス。

【0446】

[0324] 条項２２Ｄ。フィルタの第１のセットが、９×９のダイヤモンド形状フィルタを含む、条項１７Ｄに記載のデバイス。

【0447】

[0325] 条項２３Ｄ。再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定するために、１つまたは複数のプロセッサが、再構築サンプルに、第１のサンプル変更値と、第２のサンプル変更値とを加算するようにさらに構成される、条項１７Ｄに記載のデバイス。

【0448】

[0326] 条項２４Ｄ。第１の中間サンプル値に基づいて、第２のサンプル変更値を決定するために、１つまたは複数のプロセッサが、クリッピングされたサンプル変更値を決定するために、第２のサンプル変更値をクリッピングすることと、再構築サンプルに、第１のサンプル変更値と、クリッピングされたサンプル変更値とを加算することとを行うようにさらに構成される、条項１７Ｄに記載のデバイス。

【0449】

[0327] 条項２５Ｄ。１つまたは複数のプロセッサが、ビデオデータ内において、クリッピングされたサンプル変更値を受信するようにさらに構成される、条項２４Ｄに記載のデバイス。

【0450】

[0328] 条項２６Ｄ。第１の中間サンプル値に基づいて、第２のサンプル変更値を決定するために、１つまたは複数のプロセッサが、再構築サンプルと第１の中間サンプル値との間の差を決定するようにさらに構成される、条項１７Ｄに記載のデバイス。

【0451】

[0329] 条項２７Ｄ。１つまたは複数のプロセッサが、再構築ブロックについての量子化パラメータに基づいて、固定されたフィルタの複数のセットからフィルタの第１のセットを選択するようにさらに構成される、条項１７Ｄに記載のデバイス。

【0452】

[0330] 条項２８Ｄ。第１の段階のＡＬＦを適用するために、１つまたは複数のプロセッサが、再構築サンプルについての第３のクラスインデックスを決定することと、第３のクラスインデックスに基づいて、フィルタの第２のセットから第２のフィルタを選択することと、第２の中間サンプル値を決定するために、再構築サンプルに、フィルタの第２のセットからの第２のフィルタを適用することとを行うようにさらに構成され、再構築サンプルに、第２の段階のＡＬＦを適用するために、１つまたは複数のプロセッサが、第１の中間サンプル値と、第２の中間サンプル値とに基づいて、第２のサンプル変更値を決定するようにさらに構成される、条項１７Ｄに記載のデバイス。

【0453】

[0331] 条項２９Ｄ。１つまたは複数のプロセッサが、再構築サンプルを決定するために、残差サンプル値に、予測サンプル値を加算するようにさらに構成される、条項１７Ｄに記載のデバイス。

【0454】

[0332] 条項３０Ｄ。１つまたは複数のプロセッサが、再構築サンプルを決定するために、予測サンプル値と残差サンプル値との和に、デブロッキングフィルタを適用するようにさらに構成される、条項２８Ｄに記載のデバイス。

【0455】

[0333] 条項３１Ｄ。１つまたは複数のプロセッサが、ビデオデータの復号ピクチャを出力し、ここにおいて、復号ピクチャが、フィルタリングされた再構築サンプルを備えるようにさらに構成される、条項１７Ｄに記載のデバイス。

【0456】

[0334] 条項３２Ｄ。デバイスが、ビデオ符号化デバイスを備える、条項１７Ｄに記載のデバイス。

【0457】

[0335] 条項３３Ｄ。１つまたは複数のプロセッサが、ビデオデータの復号ピクチャを出力し、ここにおいて、復号ピクチャが、フィルタリングされた再構築サンプルを備えるようにさらに構成される、条項１７Ｄに記載のデバイス。

【0458】

[0336] 条項３４Ｄ。デバイスが、符号化ビデオデータを受信するように構成された受信機をさらに備える、ワイヤレス通信デバイスを備える、条項３３Ｄに記載のデバイス。

【0459】

[0337] 条項３５Ｄ。ワイヤレス通信デバイスが、電話ハンドセットを備え、ここにおいて、受信機が、符号化ビデオデータを備える信号を、ワイヤレス通信規格に従って、復調するように構成される、条項３４Ｄに記載のデバイス。

【0460】

[0338] 条項３６Ｄ。復号ビデオデータを表示するように構成されたディスプレイをさらに備える、条項１７Ｄに記載のデバイス。

【0461】

[0339] 条項３７Ｄ。デバイスが、カメラ、コンピュータ、モバイルデバイス、放送受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、条項１７Ｄに記載のデバイス。

【0462】

[0340] 条項３８Ｄ。デバイスが、ビデオ符号化デバイスを備える、条項１７Ｄに記載のデバイス。

【0463】

[0341] 条項３９Ｄ。１つまたは複数のプロセッサによって実行されたときに、１つまたは複数のプロセッサに、再構築ブロックの再構築サンプルに、第１の段階の適応ループフィルタ（ＡＬＦ）を適用することと、ここにおいて、第１の段階のＡＬＦを適用するために、１つまたは複数のプロセッサが、再構築サンプルについての第１のクラスインデックスを決定することと、第１のクラスインデックスに基づいて、フィルタの第１のセットからフィルタを選択することと、第１の中間サンプル値を決定するために、再構築サンプルに、フィルタの第１のセットからのフィルタを適用することとを行うようにさらに構成され、再構築サンプルに、第２の段階のＡＬＦを適用することと、ここにおいて、第２の段階のＡＬＦを適用するために、１つまたは複数のプロセッサが、再構築サンプルについての第２のクラスインデックスを決定することと、第２のクラスインデックスに基づいて、フィルタの第２のセットから第２のフィルタを選択することと、第１のサンプル変更値を決定するために、再構築サンプルに、第２のフィルタを適用することと、第１の中間サンプル値に基づいて、第２のサンプル変更値を決定することとを行うようにさらに構成され、再構築サンプルと、第１のサンプル変更値と、第２のサンプル変更値とに基づいて、フィルタリングされた再構築サンプルを決定することとを行わせる命令を記憶した、コンピュータ可読記憶媒体。

【0464】

[0342] 上記例に応じて、本明細書で説明された技法のいずれかのいくつかの行為またはイベントは、異なるシーケンスで実施され得、追加、マージ、または完全に除外され得る（たとえば、すべての説明された行為またはイベントが本技法の実践のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に実施され得る。

【0465】

[0343] １つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

【0466】

[0344] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ－ｒａｙディスク（disc）を含み、ここで、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

【0467】

[0345] 命令は、１つまたは複数のＤＳＰ、汎用マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、あるいは他の等価な集積またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」および「処理回路」という用語は、上記の構造、または本明細書で説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に提供されるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。

【0468】

[0346] 本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示される技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットが説明されたが、それらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明されたように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって提供され得る。

【0469】

[0347] 様々な例が説明された。これらおよび他の例は以下の特許請求の範囲内に入る。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図10D】

【図10E】

【図11】

【図12A】

【図12B】

【図12C】

【図12D】

【図12E】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【国際調査報告】