特表2023-544705ビデオコーディング中の、ジョイント成分ニューラルネットワークベースのフィルタ処理
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-25
(54)【発明の名称】ビデオコーディング中の、ジョイント成分ニューラルネットワークベースのフィルタ処理
(51)【国際特許分類】
H04N 19/82 20140101AFI20231018BHJP
H04N 19/186 20140101ALI20231018BHJP
H04N 19/117 20140101ALI20231018BHJP
H04N 19/132 20140101ALI20231018BHJP
【ＦＩ】
H04N19/82
H04N19/186
H04N19/117
H04N19/132
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023519515
(86)(22)【出願日】2021-10-05
(85)【翻訳文提出日】2023-03-28
(86)【国際出願番号】 US2021053490
(87)【国際公開番号】W WO2022076355
(87)【国際公開日】2022-04-14
(31)【優先権主張番号】63/087,784
(32)【優先日】2020-10-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/493,543
(32)【優先日】2021-10-04
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】チェン、ジャンレー
(72)【発明者】
【氏名】ワン、ホンタオ
(72)【発明者】
【氏名】コトラ、ベンカタ・メヘル・サトチット・アナンド
(72)【発明者】
【氏名】カルチェビチ、マルタ
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LB05
5C159LC09
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159ME11
5C159PP16
5C159TA06
5C159TA68
5C159TD17
5C159UA02
5C159UA05
5C159UA16
(57)【要約】
ビデオデータを復号するための例示的なデバイスは、ビデオデータを記憶するように構成されたメモリと、回路中に実装された１つまたは複数のプロセッサとを含み、１つまたは複数のプロセッサは、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用することと、ブロックの第１の色成分が第１のサイズを有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する；フィルタ処理された第２の色成分を形成するために、第２のサイズを有する第２の色成分をフィルタ処理することと；連結された色成分を形成するために、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結することと；フィルタ処理されたダウンサンプリングされた第１の色成分を含むフィルタ処理された連結された成分を形成するために、連結された色成分をフィルタ処理することとを行うように構成される。
【特許請求の範囲】
【請求項1】
復号されたビデオデータをフィルタ処理する方法であって、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用することと、前記ブロックの前記第１の色成分が第１のサイズを有する、ここにおいて、前記ダウンサンプリング畳込みニューラルネットワークレイヤを前記第１の色成分に適用することが、前記第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する、
フィルタ処理された第２の色成分を形成するために、前記第２のサイズを有する第２の色成分をフィルタ処理することと、
連結された色成分を形成するために、前記ダウンサンプリングされた第１の色成分を前記フィルタ処理された第２の色成分と連結することと、
フィルタ処理されたダウンサンプリングされた第１の色成分を含むフィルタ処理された連結された成分を形成するために、前記連結された色成分をフィルタ処理することと
を備える方法。
【請求項2】
前記フィルタ処理されたダウンサンプリングされた第１の色成分を前記第１のサイズにアップサンプリングすることをさらに備える、請求項１に記載の方法。
【請求項3】
前記第１のサイズを有するアップサンプリングされた第１の色成分を生成するために、前記フィルタ処理されたダウンサンプリングされた第１の色成分を含む前記第１の色成分の２つ以上のフィルタ処理されたダウンサンプリングされたブロックを結合することをさらに備える、請求項１に記載の方法。
【請求項4】
前記第１のサイズが２Ｎ×２Ｎを備え、前記第１の色成分の前記２つ以上のフィルタ処理されたダウンサンプリングされた第１の色成分が、前記第１の色成分の４つのＮ×Ｎフィルタ処理されたダウンサンプリングされたブロックを備える、請求項３に記載の方法。
【請求項5】
前記ダウンサンプリング畳込みニューラルネットワークレイヤが、ストライド２の３×３×Ｍ畳込みニューラルネットワークレイヤフィルタを備える、請求項１に記載の方法。
【請求項6】
前記畳込みニューラルネットワークレイヤが残差処理ユニットを備える、請求項１に記載の方法。
【請求項7】
前記残差処理ユニットが、第１の３×３×Ｋ×Ｋ畳込みレイヤと、ＰＲｅＬＵレイヤと、第２の３×３×Ｋ×Ｋ畳込みレイヤとを備える、請求項６に記載の方法。
【請求項8】
前記畳込みニューラルネットワークレイヤを使用してビデオデータの前記ブロックの第３の色成分をフィルタ処理することをさらに備える、請求項１に記載の方法。
【請求項9】
前記第２のサイズが、前記第２の色成分のサイズと前記第３の色成分のサイズとのうちの小さい方を備える、請求項８に記載の方法。
【請求項10】
前記第１の色成分がルミナンス成分を備え、前記第２の色成分が青色相クロミナンス成分と赤色相クロマクロミナンス成分とのうちの一方を備える、請求項１に記載の方法。
【請求項11】
前記第２の色成分をフィルタ処理することが、畳込みニューラルネットワークフィルタを使用して前記第２の色成分をフィルタ処理することを備える、請求項１に記載の方法。
【請求項12】
前記連結された色成分をフィルタ処理することが、畳込みニューラルネットワークフィルタを使用して前記連結された色成分をフィルタ処理することを備える、請求項１に記載の方法。
【請求項13】
ビデオデータを復号するためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、
回路中に実装された１つまたは複数のプロセッサとを備え、前記１つまたは複数のプロセッサが、
ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用することと、前記ブロックの前記第１の色成分が第１のサイズを有する、ここにおいて、前記ダウンサンプリング畳込みニューラルネットワークレイヤを前記第１の色成分に適用することが、前記第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する、
フィルタ処理された第２の色成分を形成するために、前記第２のサイズを有する第２の色成分をフィルタ処理することと、
連結された色成分を形成するために、前記ダウンサンプリングされた第１の色成分を前記フィルタ処理された第２の色成分と連結することと、
フィルタ処理されたダウンサンプリングされた第１の色成分を含む連結された色成分を形成するために、前記連結された色成分をフィルタ処理することと
を行うように構成された、デバイス。
【請求項14】
前記１つまたは複数のプロセッサが、前記フィルタ処理されたダウンサンプリングされた第１の色成分を前記第１のサイズにアップサンプリングするようにさらに構成された、請求項１３に記載のデバイス。
【請求項15】
前記１つまたは複数のプロセッサが、前記第１のサイズを有するアップサンプリングされた第１の色成分を生成するために、前記フィルタ処理されたダウンサンプリングされた第１の色成分を含む前記第１の色成分の２つ以上のフィルタ処理されたダウンサンプリングされたブロックを結合するようにさらに構成された、請求項１３に記載のデバイス。
【請求項16】
前記第１のサイズが２Ｎ×２Ｎを備え、前記第１の色成分の前記２つ以上のフィルタ処理されたダウンサンプリングされたブロックが、前記第１の色成分の４つのＮ×Ｎフィルタ処理されたダウンサンプリングされたブロックを備える、請求項１５に記載のデバイス。
【請求項17】
前記ダウンサンプリング畳込みニューラルネットワークレイヤが、ストライド２の３×３×Ｍ畳込みニューラルネットワークレイヤフィルタを備える、請求項１３に記載のデバイス。
【請求項18】
前記畳込みニューラルネットワークレイヤが残差処理ユニットを備える、請求項１３に記載のデバイス。
【請求項19】
前記残差処理ユニットが、第１の３×３×Ｋ×Ｋ畳込みレイヤと、ＰＲｅＬＵレイヤと、第２の３×３×Ｋ×Ｋ畳込みレイヤとを備える、請求項１８に記載のデバイス。
【請求項20】
前記１つまたは複数のプロセッサが、前記畳込みニューラルネットワークレイヤを使用してビデオデータの前記ブロックの第３の色成分をフィルタ処理するようにさらに構成された、請求項１３に記載のデバイス。
【請求項21】
前記第２のサイズが、前記第２の色成分のサイズと前記第３の色成分のサイズとのうちの小さい方を備える、請求項２０に記載のデバイス。
【請求項22】
前記第１の色成分がルミナンス成分を備え、前記第２の色成分が青色相クロミナンス成分と赤色相クロマクロミナンス成分とのうちの一方を備える、請求項１３に記載のデバイス。
【請求項23】
前記１つまたは複数のプロセッサが、畳込みニューラルネットワークフィルタを使用して前記第２の色成分をフィルタ処理するように構成された、請求項１３に記載のデバイス。
【請求項24】
前記１つまたは複数のプロセッサが、畳込みニューラルネットワークフィルタを使用して前記連結された色成分をフィルタ処理するように構成された、請求項１３に記載のデバイス。
【請求項25】
前記連結された色成分に対応するビデオデータを表示するように構成されたディスプレイをさらに備える、請求項１３に記載のデバイス。
【請求項26】
カメラと、コンピュータと、モバイルデバイスと、ブロードキャスト受信機デバイスと、セットトップボックスとのうちの１つまたは複数を備える、請求項１３に記載のデバイス。
【請求項27】
命令を記憶したコンピュータ可読記憶媒体であって、前記命令が、実行されたとき、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用することと、前記ブロックの前記第１の色成分が第１のサイズを有する、ここにおいて、前記ダウンサンプリング畳込みニューラルネットワークレイヤを前記第１の色成分に適用することが、前記第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する、
フィルタ処理された第２の色成分を形成するために、前記第２のサイズを有する第２の色成分をフィルタ処理することと、
連結された色成分を形成するために、前記ダウンサンプリングされた第１の色成分を前記フィルタ処理された第２の色成分と連結することと、
フィルタ処理されたダウンサンプリングされた第１の色成分を含むフィルタ処理された連結された成分を形成するために、前記連結された色成分をフィルタ処理することと
をプロセッサに行わせる、コンピュータ可読記憶媒体。
【請求項28】
前記フィルタ処理されたダウンサンプリングされた第１の色成分を前記第１のサイズにアップサンプリングすることを前記プロセッサに行わせる命令をさらに備える、請求項２７に記載のコンピュータ可読記憶媒体。
【請求項29】
前記第１のサイズを有するアップサンプリングされた第１の色成分を生成するために、前記フィルタ処理されたダウンサンプリングされた第１の色成分を含む前記第１の色成分の２つ以上のフィルタ処理されたダウンサンプリングされたブロックを結合することを前記プロセッサに行わせる命令をさらに備える、請求項２７に記載のコンピュータ可読記憶媒体。
【請求項30】
前記第１のサイズが２Ｎ×２Ｎを備え、前記第１の色成分の前記２つ以上のフィルタ処理されたダウンサンプリングされたブロックが、前記第１の色成分の４つのＮ×Ｎフィルタ処理されたダウンサンプリングされたブロックを備える、請求項２９に記載のコンピュータ可読記憶媒体。
【請求項31】
前記ダウンサンプリング畳込みニューラルネットワークレイヤが、ストライド２の３×３×Ｍ畳込みニューラルネットワークレイヤフィルタを備える、請求項２７に記載のコンピュータ可読記憶媒体。
【請求項32】
前記畳込みニューラルネットワークレイヤが、第１の３×３×Ｋ×Ｋ畳込みレイヤと、ＰＲｅＬＵレイヤと、第２の３×３×Ｋ×Ｋ畳込みレイヤとを備える、請求項２７に記載のコンピュータ可読記憶媒体。
【請求項33】
前記畳込みニューラルネットワークレイヤを使用してビデオデータの前記ブロックの第３の色成分をフィルタ処理することを前記プロセッサに行わせる命令をさらに備える、請求項２７に記載のコンピュータ可読記憶媒体。
【請求項34】
前記第２のサイズが、前記第２の色成分のサイズと前記第３の色成分のサイズとのうちの小さい方を備える、請求項３３に記載のコンピュータ可読記憶媒体。
【請求項35】
前記第１の色成分がルミナンス成分を備え、前記第２の色成分が青色相クロミナンス成分と赤色相クロマクロミナンス成分とのうちの一方を備える、請求項２７に記載のコンピュータ可読記憶媒体。
【請求項36】
前記第２の色成分をフィルタ処理することを前記プロセッサに行わせる前記命令が、畳込みニューラルネットワークフィルタを使用して前記第２の色成分をフィルタ処理することを前記プロセッサに行わせる命令を備える、請求項２７に記載のコンピュータ可読記憶媒体。
【請求項37】
前記第２の色成分をフィルタ処理することを前記プロセッサに行わせる前記命令が、畳込みニューラルネットワークフィルタを使用して前記連結された色成分をフィルタ処理することを前記プロセッサに行わせる命令を備える、請求項２７に記載のコンピュータ可読記憶媒体。
【請求項38】
復号されたビデオデータをフィルタ処理するためのデバイスであって、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用するための手段と、前記ブロックの前記第１の色成分が第１のサイズを有する、ここにおいて、前記ダウンサンプリング畳込みニューラルネットワークレイヤを前記第１の色成分に適用することが、前記第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する、
フィルタ処理された第２の色成分を形成するために、前記第２のサイズを有する第２の色成分をフィルタ処理するための手段と、
連結された色成分を形成するために、前記ダウンサンプリングされた第１の色成分を前記フィルタ処理された第２の色成分と連結するための手段と、
前記連結された色成分をフィルタ処理するための手段と
を備えるデバイス。
【請求項39】
前記第２の色成分をフィルタ処理するための前記手段が、畳込みニューラルネットワークフィルタを使用して前記第２の色成分をフィルタ処理するための手段を備える、請求項３８に記載のデバイス。
【請求項40】
前記連結された色成分をフィルタ処理するための前記手段が、畳込みニューラルネットワークフィルタを使用して前記連結された色成分をフィルタ処理するための手段を備える、請求項３８に記載のデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
[0001] 本出願は、各々の内容全体が参照により本明細書に組み込まれる、２０２１年１０月４日に出願された米国特許出願第１７／４９３，５４３号および２０２０年１０月５日に出願された米国仮出願第６３／０８７，７８４号の優先権を主張する。２０２１年１０月４日に出願された米国特許出願第１７／４９３，５４３号は、２０２０年１０月５日に出願された米国仮特許出願第６３／０８７，７８４号の利益を主張する。
【0002】
[0002] 本開示は、ビデオ符号化（video encoding）とビデオ復号（video decoding）とを含むビデオコーディング（video coding）に関する。
【背景技術】
【0003】
[0003] デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４、Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。
【0004】
[0004] ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間（ピクチャ内）予測および／または時間（ピクチャ間）予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス（たとえば、ビデオピクチャまたはビデオピクチャの一部分）が、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
【発明の概要】
【0005】
[0005] 概して、本開示は、歪みがあり得る復号されたピクチャをフィルタ処理する（filter）ための技法について述べる。フィルタ処理プロセスは、ニューラルネットワーク技法に基づき得る。フィルタ処理プロセスは、ＩＴＵ－Ｔ Ｈ．２６６／汎用ビデオコーディング（ＶＶＣ）の拡張や後続世代のビデオコーディング規格などの高度ビデオコーデック、および他の任意のビデオコーデックのコンテキストで使用され得る。
【0006】
[0006] 一例では、復号されたビデオデータ（decoded video data）をフィルタ処理する方法は、ダウンサンプリング畳込みニューラルネットワークレイヤ（downsampling convolutional neural network layer）をビデオデータ（video data）のブロック（block）の第１の色成分（first color component）に適用する（apply）ことと、ブロックの第１の色成分が第１のサイズ（first size）を有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第１のサイズよりも小さい第２のサイズ（second size）を有するダウンサンプリングされた第１の色成分（downsampled first color component）を生成する；フィルタ処理された第２の色成分（filtered second color component）を形成する（form）ために、第２のサイズを有する第２の色成分（second color component）をフィルタ処理することと；連結された色成分（concatenated color components）を形成するために、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結する（concatenate）ことと；フィルタ処理されたダウンサンプリングされた第１の色成分（filtered downsampled first color component）を含むフィルタ処理された連結された成分（filtered concatenated component）を形成するために、連結された色成分をフィルタ処理することとを含む。
【0007】
[0007] 別の例では、復号されたビデオデータをフィルタ処理するためのデバイス（device）は、ビデオデータを記憶するように構成されたメモリ（memory）と、回路中に実装された１つまたは複数のプロセッサ（processor）とを含み、１つまたは複数のプロセッサは：ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用することと、ブロックの第１の色成分が第１のサイズを有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する；フィルタ処理された第２の色成分を形成するために、第２のサイズを有する第２の色成分をフィルタ処理することと；連結された色成分を形成するために、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結することと；フィルタ処理されたダウンサンプリングされた第１の色成分を含むフィルタ処理された連結された成分を形成するために、連結された色成分をフィルタ処理することとを行うように構成される。
【0008】
[0008] 別の例では、コンピュータ可読記憶媒体（computer-readable storage medium）が命令（instruction）を記憶しており、これらの命令は、実行されたとき、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用することと、ブロックの第１の色成分が第１のサイズを有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する；フィルタ処理された第２の色成分を形成するために、第２のサイズを有する第２の色成分をフィルタ処理することと；連結された色成分を形成するために、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結することと；フィルタ処理されたダウンサンプリングされた第１の色成分を含むフィルタ処理された連結された成分を形成するために、連結された色成分をフィルタ処理することとをプロセッサに行わせる。
【0009】
[0009] 別の例では、復号されたビデオデータをフィルタ処理するためのデバイスは、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用するための手段と、ブロックの第１の色成分が第１のサイズを有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する；フィルタ処理された第２の色成分を形成するために、第２のサイズを有する第２の色成分をフィルタ処理するための手段と；連結された色成分を形成するために、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結するための手段と；フィルタ処理されたダウンサンプリングされた第１の色成分を含むフィルタ処理された連結された成分を形成するために、連結された色成分をフィルタ処理するための手段とを含む。
【0010】
[0010] １つまたは複数の例の詳細が添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【0011】
【図1】[0011] 本開示の技法を実施し得る例示的なビデオ符号化および復号システムを示すブロック図。
【図2】[0012] ハイブリッドビデオコーディングフレームワークを示す概念図。
【図3】[0013] グループオブピクチャ（ＧＯＰ）サイズ１６を使用する階層型予測構造を示す概念図。
【図4A】[0014] 残差ブロックを含む残差ネットワーク（Ｒｅｓｎｅｔ）を有する、例示的なジョイント成分（joint component）畳込みニューラルネットワーク（ＣＮＮ：convolutional neural network）ベースのフィルタを示す概念図。
【図4B】残差ブロックを含む残差ネットワーク（Ｒｅｓｎｅｔ）を有する、例示的なジョイント成分畳込みニューラルネットワーク（ＣＮＮ）ベースのフィルタを示す概念図。
【図5A】[0015] 例示的なクワッドツリーバイナリツリー（ＱＴＢＴ）構造を示す概念図。
【図5B】対応するコーディングツリーユニット（ＣＴＵ）を示す概念図。
【図6】[0016] 本開示の技法を実施し得る例示的なビデオエンコーダを示すブロック図。
【図7】[0017] 本開示の技法を実施し得る例示的なビデオデコーダを示すブロック図。
【図8】[0018] 本開示の技法による、ジョイント成分ＣＮＮフィルタの例を示すブロック図。
【図9】[0019] 例示的な残差処理ユニット（residual processing unit）を示す概念図。
【図10】[0020] 本開示の技法による、ジョイント成分ＣＮＮフィルタ設計の別の例を示すブロック図。
【図11】[0021] 本開示の技法による、復号されたブロックをフィルタ処理するための例示的な方法を示すフローチャート。
【図12】[0022] 本開示の技法による、復号されたブロックをフィルタ処理するための例示的な方法を示すフローチャート。
【図13】[0023] 本開示の技法による、復号されたビデオデータをフィルタ処理する例示的な方法を示すフローチャート。
【図14】[0024] 本開示の技法による、復号されたビデオデータをフィルタ処理する例示的な方法を示すフローチャート。
【発明を実施するための形態】
【0012】
[0025] ビデオコーディング規格は、ＩＴＵ－Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ－１ Ｖｉｓｕａｌ、ＩＴＵ－Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ－２ Ｖｉｓｕａｌ、ＩＴＵ－Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｖｉｓｕａｌ、およびＩＴＵ－Ｔ Ｈ．２６４（ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ ＡＶＣとしても知られる）、高効率ビデオコーディング（ＨＥＶＣ）またはＩＴＵ－Ｔ Ｈ．２６５（その範囲拡張、マルチビュー拡張（ＭＶ－ＨＥＶＣ）、およびスケーラブル拡張（ＳＨＶＣ）を含む）を含む。別の例示的なビデオコーディング規格は、汎用ビデオコーディング（ＶＶＣ）またはＩＴＵ－Ｔ Ｈ．２６６であり、これは、ＩＴＵ－Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ）とＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ）とのジョイントビデオエキスパートチーム（ＪＶＥＴ）によって策定された。以下で「ＶＶＣ ＦＤＩＳ」と呼ばれるＶＶＣ仕様書のバージョン１は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ－ｅｖｒｙ．ｆｒ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１９＿Ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ／ｗｇ１１／ＪＶＥＴ－Ｓ２００１－ｖ１７．ｚｉｐから入手可能である。
【0013】
[0026] 図１は、本開示の技法を実施し得る例示的なビデオ符号化および復号システム１００を示すブロック図である。本開示の技法は、概して、ビデオデータをコーディング（符号化および／または復号）することを対象とする。概して、ビデオデータは、ビデオを処理するための何らかのデータを含む。したがって、ビデオデータは、生のコーディングされていないビデオ、符号化されたビデオ、復号された（たとえば、再構築された）ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。
【0014】
[0027] 図１に示されているように、システム１００は、この例では、宛先デバイス１１６によって復号および表示されるべき符号化ビデオデータを提供するソースデバイス１０２を含む。特に、ソースデバイス１０２は、コンピュータ可読媒体１１０を介して宛先デバイス１１６にビデオデータを提供する。ソースデバイス１０２と宛先デバイス１１６とは、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、モバイルデバイス、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイス１０２と宛先デバイス１１６とは、ワイヤレス通信のために装備され得、したがって、ワイヤレス通信デバイスと呼ばれることがある。
【0015】
[0028] 図１の例では、ソースデバイス１０２は、ビデオソース１０４と、メモリ１０６と、ビデオエンコーダ２００と、出力インターフェース１０８とを含む。宛先デバイス１１６は、入力インターフェース１２２と、ビデオデコーダ３００と、メモリ１２０と、ディスプレイデバイス１１８とを含む。本開示によれば、ソースデバイス１０２のビデオエンコーダ２００と、宛先デバイス１１６のビデオデコーダ３００とは、ジョイント成分ニューラルネットワークベースのフィルタ処理プロセスを使用してビデオデータをフィルタ処理するための技法を適用するように構成され得る。したがって、ソースデバイス１０２はビデオ符号化デバイスの一例を表し、宛先デバイス１１６はビデオ復号デバイスの一例を表す。他の例では、ソースデバイスと宛先デバイスとは、他の構成要素または配置を含み得る。たとえば、ソースデバイス１０２は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス１１６は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
【0016】
[0029] 図１に示されているシステム１００は一例にすぎない。概して、いかなるデジタルビデオ符号化および／または復号デバイスも、ジョイント成分ニューラルネットワークベースのフィルタ処理プロセスを使用してビデオデータをフィルタ処理するための技法を実施し得る。ソースデバイス１０２と宛先デバイス１１６とは、ソースデバイス１０２が宛先デバイス１１６への送信のためにコード化ビデオデータを生成するようなコーディングデバイスの例にすぎない。本開示では、データのコーディング（符号化および／または復号）を実施するデバイスとして「コーディング」デバイスに言及する。したがって、ビデオエンコーダ２００とビデオデコーダ３００とは、コーディングデバイス、特に、それぞれビデオエンコーダとビデオデコーダとの例を表す。いくつかの例では、ソースデバイス１０２および宛先デバイス１１６は、ソースデバイス１０２および宛先デバイス１１６の各々がビデオ符号化構成要素およびビデオ復号構成要素を含むように、実質的に対称的に動作し得る。したがって、システム１００は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ソースデバイス１０２と宛先デバイス１１６との間の一方向または双方向ビデオ送信をサポートし得る。
【0017】
[0030] 概して、ビデオソース１０４は、ビデオデータ（すなわち、生のコーディングされていないビデオデータ）のソースを表し、ビデオデータの連続的な一連のピクチャ（「フレーム」とも呼ばれる）をビデオエンコーダ２００に提供し、ビデオエンコーダ２００は、ピクチャのためにデータを符号化する。ソースデバイス１０２のビデオソース１０４は、ビデオカメラ、前にキャプチャされた生のビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなど、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース１０４は、ソースビデオとして、コンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成されたビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ２００は、キャプチャされたビデオデータ、プリキャプチャされたビデオデータ、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ２００は、ピクチャを、（「表示順序」と呼ばれることがある）受信順序から、コーディングのためのコーディング順序に並べ替え得る。ビデオエンコーダ２００は、符号化ビデオデータを含むビットストリームを生成し得る。ソースデバイス１０２は、次いで、たとえば、宛先デバイス１１６の入力インターフェース１２２による受信および／または取出しのために、出力インターフェース１０８を介して符号化ビデオデータをコンピュータ可読媒体１１０上に出力し得る。
【0018】
[0031] ソースデバイス１０２のメモリ１０６と、宛先デバイス１１６のメモリ１２０とは、汎用メモリを表す。いくつかの例では、メモリ１０６、１２０は、生のビデオデータ、たとえば、ビデオソース１０４からの生のビデオ、およびビデオデコーダ３００からの生の復号ビデオデータを記憶し得る。追加または代替として、メモリ１０６、１２０は、たとえば、それぞれ、ビデオエンコーダ２００とビデオデコーダ３００とによって実行可能なソフトウェア命令を記憶し得る。メモリ１０６およびメモリ１２０は、この例ではビデオエンコーダ２００およびビデオデコーダ３００とは別個に示されているが、ビデオエンコーダ２００およびビデオデコーダ３００は、機能的に同様のまたは等価な目的で内部メモリをも含み得ることを理解されたい。さらに、メモリ１０６、１２０は、符号化ビデオデータ、たとえば、ビデオエンコーダ２００からの出力、およびビデオデコーダ３００への入力を記憶し得る。いくつかの例では、メモリ１０６、１２０の部分は、たとえば、生の復号および／または符号化ビデオデータを記憶するために、１つまたは複数のビデオバッファとして割り振られ得る。
【0019】
[0032] コンピュータ可読媒体１１０は、ソースデバイス１０２から宛先デバイス１１６に符号化ビデオデータを移送することが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体１１０は、ソースデバイス１０２が、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、符号化ビデオデータを宛先デバイス１１６にリアルタイムで直接送信することを可能にするための通信媒体を表す。ワイヤレス通信プロトコルなどの通信規格に従って、出力インターフェース１０８は、符号化ビデオデータを含む送信信号を変調し得、入力インターフェース１２２は、受信された送信信号を復調し得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１０２から宛先デバイス１１６への通信を容易にするために有用であり得る任意の他の機器を含み得る。
【0020】
[0033] いくつかの例では、ソースデバイス１０２は、出力インターフェース１０８から記憶デバイス１１２に符号化データを出力し得る。同様に、宛先デバイス１１６は、入力インターフェース１２２を介して記憶デバイス１１２から符号化データにアクセスし得る。記憶デバイス１１２は、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。
【0021】
[0034] いくつかの例では、ソースデバイス１０２は、ソースデバイス１０２によって生成された符号化ビデオデータを記憶し得るファイルサーバ１１４または別の中間記憶デバイスに符号化ビデオデータを出力し得る。宛先デバイス１１６は、ストリーミングまたはダウンロードを介して、ファイルサーバ１１４から、記憶されたビデオデータにアクセスし得る。
【0022】
[0035] ファイルサーバ１１４は、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１１６に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ１１４は、（たとえば、ウェブサイトのための）ウェブサーバ、（ファイル転送プロトコル（ＦＴＰ）または単方向トランスポート上ファイル配信（ＦＬＵＴＥ：File Delivery over Unidirectional Transport）プロトコルなどの）ファイル転送プロトコルサービスを提供するように構成されたサーバ、コンテンツ配信ネットワーク（ＣＤＮ）デバイス、ハイパーテキスト転送プロトコル（ＨＴＴＰ）サーバ、マルチメディアブロードキャストマルチキャストサービス（ＭＢＭＳ）または拡張ＭＢＭＳ（ｅＭＢＭＳ）サーバ、および／あるいはネットワーク接続ストレージ（ＮＡＳ）デバイスを表し得る。ファイルサーバ１１４は、追加または代替として、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）、ＨＴＴＰライブストリーミング（ＨＬＳ）、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、ＨＴＴＰ動的ストリーミングなど、１つまたは複数のＨＴＴＰストリーミングプロトコルを実装し得る。
【0023】
[0036] 宛先デバイス１１６は、インターネット接続を含む任意の標準的なデータ接続を通してファイルサーバ１１４から符号化ビデオデータにアクセスし得る。これは、ファイルサーバ１１４に記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、デジタル加入者回線（ＤＳＬ）、ケーブルモデムなど）、またはその両方の組合せを含み得る。入力インターフェース１２２は、ファイルサーバ１１４からメディアデータを取り出すまたは受信するための上記で説明された様々なプロトコル、あるいはメディアデータを取り出すための他のそのようなプロトコルのうちのいずれか１つまたは複数に従って動作するように構成され得る。
【0024】
[0037] 出力インターフェース１０８と入力インターフェース１２２とは、ワイヤレス送信機／受信機、モデム、ワイヤードネットワーキング構成要素（たとえば、イーサネット（登録商標）カード）、様々なＩＥＥＥ８０２．１１規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース１０８と入力インターフェース１２２とがワイヤレス構成要素を備える例では、出力インターフェース１０８と入力インターフェース１２２とは、４Ｇ、４Ｇ－ＬＴＥ（登録商標）（ロングタームエボリューション）、ＬＴＥアドバンスト、５Ｇなど、セルラー通信規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。出力インターフェース１０８がワイヤレス送信機を備えるいくつかの例では、出力インターフェース１０８と入力インターフェース１２２とは、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（たとえば、ＺｉｇＢｅｅ（登録商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格など、他のワイヤレス規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１０２および／または宛先デバイス１１６は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含み得る。たとえば、ソースデバイス１０２は、ビデオエンコーダ２００および／または出力インターフェース１０８に帰属する機能を実施するためのＳｏＣデバイスを含み得、宛先デバイス１１６は、ビデオデコーダ３００および／または入力インターフェース１２２に帰属する機能を実施するためのＳｏＣデバイスを含み得る。
【0025】
[0038] 本開示の技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。
【0026】
[0039] 宛先デバイス１１６の入力インターフェース１２２は、コンピュータ可読媒体１１０（たとえば、通信媒体、記憶デバイス１１２、ファイルサーバ１１４など）から符号化ビデオビットストリームを受信する。符号化ビデオビットストリームは、ビデオブロックまたは他のコード化ユニット（たとえば、スライス、ピクチャ、ピクチャのグループ、シーケンスなど）の特性および／または処理を記述する値を有するシンタックス要素など、ビデオデコーダ３００によっても使用される、ビデオエンコーダ２００によって定義されるシグナリング情報を含み得る。ディスプレイデバイス１１８は、復号ビデオデータの復号ピクチャをユーザに表示する。ディスプレイデバイス１１８は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを表し得る。
【0027】
[0040] 図１には示されていないが、いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは各々、オーディオエンコーダおよび／またはオーディオデコーダと統合され得、共通のデータストリーム中にオーディオとビデオの両方を含む多重化ストリームをハンドリングするために、適切なＭＵＸ－ＤＥＭＵＸユニット、あるいは他のハードウェアおよび／またはソフトウェアを含み得る。適用可能な場合、ＭＵＸ－ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
【0028】
[0041] ビデオエンコーダ２００とビデオデコーダ３００とは各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダおよび／またはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、本開示の技法を実施するために１つまたは複数のプロセッサを使用してその命令をハードウェアで実行し得る。ビデオエンコーダ２００とビデオデコーダ３００との各々は、１つまたは複数のエンコーダまたはデコーダに含まれ得、それらのいずれかが、それぞれのデバイス中の複合エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合され得る。ビデオエンコーダ２００および／またはビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話機などのワイヤレス通信デバイスを備え得る。
【0029】
[0042] ビデオエンコーダ２００とビデオデコーダ３００とは、高効率ビデオコーディング（ＨＥＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６５、あるいはマルチビューおよび／またはスケーラブルビデオコーディング拡張などのそれらの拡張など、ビデオコーディング規格に従って動作し得る。代替的に、ビデオエンコーダ２００とビデオデコーダ３００とは、汎用ビデオコーディング（ＶＶＣ）など、他のプロプライエタリまたは業界規格に従って動作し得る。ＶＶＣ規格のドラフトは、Ｂｒｏｓｓら、「Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ９）」、ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントビデオエキスパートチーム（ＪＶＥＴ）、第１８回会合、４月１５～２４日、ＪＶＥＴ－Ｒ２００１－ｖ８（以下、「ＶＶＣドラフト９」）に記載されている。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。
【0030】
[0043] 概して、ビデオエンコーダ２００とビデオデコーダ３００とは、ピクチャのブロックベースのコーディングを実施し得る。「ブロック」という用語は、概して、処理されるべき（たとえば、符号化されるべき、復号されるべき、あるいは符号化および／または復号プロセスにおいて他の方法で使用されるべき）データを含む構造を指す。たとえば、ブロックは、ルミナンスおよび／またはクロミナンスデータのサンプルの２次元行列を含み得る。概して、ビデオエンコーダ２００とビデオデコーダ３００とは、ＹＵＶ（たとえば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのために赤色、緑色、および青色（ＲＧＢ）データをコーディングするのではなく、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分とクロミナンス成分とをコーディングし得、ここで、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ２００は、符号化より前に、受信されたＲＧＢフォーマットのデータをＹＵＶ表現にコンバートし、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットにコンバートする。代替的に、前処理および後処理ユニット（図示せず）が、これらのコンバージョンを実施し得る。
【0031】
[0044] 本開示は、概して、ピクチャのデータを符号化または復号するプロセスを含むように、ピクチャのコーディング（たとえば、符号化および復号）に言及することがある。同様に、本開示は、ブロックについてのデータを符号化または復号するプロセス、たとえば、予測および／または残差コーディングを含むように、ピクチャのブロックのコーディングに言及することがある。符号化ビデオビットストリームは、概して、コーディング決定（たとえば、コーディングモード）とブロックへのピクチャの区分とを表すシンタックス要素についての一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、概して、ピクチャまたはブロックを形成するシンタックス要素についての値をコーディングすることとして理解されるべきである。
【0032】
[0045] ＨＥＶＣは、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）を含む、様々なブロックを定義する。ＨＥＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、クワッドツリー構造に従ってコーディングツリーユニット（ＣＴＵ）をＣＵに区分する。すなわち、ビデオコーダは、ＣＴＵとＣＵとを４つの等しい重複しない正方形に区分し、クワッドツリーの各ノードは、０個または４つのいずれかの子ノードを有する。子ノードのないノードは、「リーフノード」と呼ばれることがあり、そのようなリーフノードのＣＵは、１つまたは複数のＰＵおよび／または１つまたは複数のＴＵを含み得る。ビデオコーダは、ＰＵとＴＵとをさらに区分し得る。たとえば、ＨＥＶＣでは、残差クワッドツリー（ＲＱＴ）は、ＴＵの区分を表す。ＨＥＶＣでは、ＰＵはインター予測データを表すが、ＴＵは残差データを表す。イントラ予測されるＣＵは、イントラモード指示などのイントラ予測情報を含む。
【0033】
[0046] 別の例として、ビデオエンコーダ２００とビデオデコーダ３００とは、ＶＶＣに従って動作するように構成され得る。ＶＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、ピクチャを複数のコーディングツリーユニット（ＣＴＵ）に区分する。ビデオエンコーダ２００は、クワッドツリーバイナリツリー（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ）構造など、ツリー構造に従ってＣＴＵを区分し得る。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵとの間の分離など、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、２つのレベル、すなわち、クワッドツリー区分に従って区分される第１のレベルと、バイナリツリー区分に従って区分される第２のレベルとを含む。ＱＴＢＴ構造のルートノードは、ＣＴＵに対応する。バイナリツリーのリーフノードは、コーディングユニット（ＣＵ）に対応する。
【0034】
[0047] ＭＴＴ区分構造では、ブロックは、クワッドツリー（ＱＴ）区分と、バイナリツリー（ＢＴ）区分と、１つまたは複数のタイプのトリプルツリー（ＴＴ）（ターナリツリー（ＴＴ）とも呼ばれる）区分とを使用して区分され得る。トリプルツリーまたはターナリツリー区分は、ブロックが３つのサブブロックにスプリットされる区分である。いくつかの例では、トリプルツリーまたはターナリツリー区分は、中心を通して元のブロックを分割することなしにブロックを３つのサブブロックに分割する。ＭＴＴにおける区分タイプ（たとえば、ＱＴ、ＢＴ、およびＴＴ）は、対称的または非対称的であり得る。
【0035】
[0048] いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分とクロミナンス成分との各々を表すために単一のＱＴＢＴまたはＭＴＴ構造を使用し得、他の例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分のための１つのＱＴＢＴ／ＭＴＴ構造、および両方のクロミナンス成分のための別のＱＴＢＴ／ＭＴＴ構造（またはそれぞれのクロミナンス成分のための２つのＱＴＢＴ／ＭＴＴ構造）など、２つまたはそれ以上のＱＴＢＴまたはＭＴＴ構造を使用し得る。
【0036】
[0049] ビデオエンコーダ２００とビデオデコーダ３００とは、ＨＥＶＣに従うクワッドツリー区分、ＱＴＢＴ区分、ＭＴＴ区分、または他の区分構造を使用するように構成され得る。説明の目的で、本開示の技法の説明はＱＴＢＴ区分に関して提示される。しかしながら、本開示の技法は、クワッドツリー区分、または同様に他のタイプの区分を使用するように構成されたビデオコーダにも適用され得ることを理解されたい。
【0037】
[0050] いくつかの例では、ＣＴＵは、ルーマサンプルのコーディングツリーブロック（ＣＴＢ）、３つのサンプルアレイを有するピクチャのクロマサンプルの２つの対応するＣＴＢ、あるいはモノクロームピクチャ、またはサンプルをコーディングするために使用される３つの別個の色平面とシンタックス構造とを使用してコーディングされるピクチャのサンプルのＣＴＢを含む。ＣＴＢは、ＣＴＢへの成分の分割が区分になるような何らかの値のＮについて、サンプルのＮ×Ｎブロックであり得る。成分は、４：２：０、４：２：２、もしくは４：４：４色フォーマットのピクチャの場合は、３つのアレイ（ルーマおよび２つのクロマ）のうちの１つからのアレイもしくは単一サンプルであり得、または、モノクロームフォーマットのピクチャの場合は、アレイ、もしくはアレイの単一サンプルであり得る。いくつかの例では、コーディングブロックは、コーディングブロックへのＣＴＢの分割が区分になるような何らかの値のＭとＮとについて、サンプルのＭ×Ｎブロックである。
【0038】
[0051] ブロック（たとえば、ＣＴＵまたはＣＵ）は、ピクチャ中で様々な方法でグループ化され得る。一例として、ブリックは、ピクチャ中の特定のタイル内のＣＴＵ行の矩形領域を指し得る。タイルは、ピクチャ中の特定のタイル列および特定のタイル行内のＣＴＵの矩形領域であり得る。タイル列は、ピクチャの高さに等しい高さと、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された幅とを有するＣＴＵの矩形領域を指す。タイル行は、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された高さと、ピクチャの幅に等しい幅とを有するＣＴＵの矩形領域を指す。
【0039】
[0052] いくつかの例では、タイルは複数のブリックに区分され得、それらの各々は、タイル内に１つまたは複数のＣＴＵ行を含み得る。複数のブリックに区分されないタイルもブリックと呼ばれることがある。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。
【0040】
[0053] ピクチャ中のブリックはまた、スライス中に配置され得る。スライスは、もっぱら単一のネットワークアブストラクションレイヤ（ＮＡＬ）ユニット中に含まれていることがあるピクチャの整数個のブリックであり得る。いくつかの例では、スライスは、いくつかの完全なタイル、または１つのタイルの完全なブリックの連続シーケンスのみのいずれかを含む。
【0041】
[0054] 本開示は、垂直寸法と水平寸法とに関して（ＣＵまたは他のビデオブロックなどの）ブロックのサンプル寸法を指すために、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」、たとえば、１６×１６サンプル（16x16 samples）または１６×１６サンプル（16 by 16 samples）を互換的に使用し得る。概して、１６×１６のＣＵは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×ＮのＣＵは、概して、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。ＣＵ中のサンプルは、行と列とに配置され得る。その上、ＣＵは、必ずしも、水平方向において垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、ＣＵはＮ×Ｍサンプルを備え得、ここで、Ｍは必ずしもＮに等しいとは限らない。
【0042】
[0055] ビデオエンコーダ２００は、予測および／または残差情報、ならびに他の情報を表すＣＵのためにビデオデータを符号化する。予測情報は、ＣＵについて予測ブロックを形成するためにＣＵがどのように予測されるべきかを示す。残差情報は、概して、符号化より前のＣＵのサンプルと予測ブロックとの間のサンプルごとの差分を表す。
【0043】
[0056] ＣＵを予測するために、ビデオエンコーダ２００は、概して、インター予測またはイントラ予測を通してＣＵについて予測ブロックを形成し得る。インター予測は、概して、前にコーディングされたピクチャのデータからＣＵを予測することを指すが、イントラ予測は、概して、同じピクチャの前にコーディングされたデータからＣＵを予測することを指す。インター予測を実施するために、ビデオエンコーダ２００は、１つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ２００は、概して、たとえば、ＣＵと参照ブロックとの間の差分に関して、ＣＵにぴったり一致する参照ブロックを識別するために動き探索を実施し得る。ビデオエンコーダ２００は、参照ブロックが現在ＣＵにぴったり一致するかどうかを決定するために、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ２００は、単方向予測または双方向予測を使用して現在ＣＵを予測し得る。
【0044】
[0057] ＶＶＣのいくつかの例はまた、インター予測モードと見なされ得るアフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームインまたはアウト、回転、パースペクティブの動き、あるいは他の変則の動きタイプなど、非並進の動きを表す２つまたはそれ以上の動きベクトルを決定し得る。
【0045】
[0058] イントラ予測を実施するために、ビデオエンコーダ２００は、予測ブロックを生成するようにイントラ予測モードを選択し得る。ＶＶＣのいくつかの例は、様々な方向性モード、ならびに平面モードおよびＤＣモードを含む、６７個のイントラ予測モードを提供する。概して、ビデオエンコーダ２００は、現在ブロック（たとえば、ＣＵのブロック）のサンプルをそれから予測すべき、現在ブロックに対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、ビデオエンコーダ２００がラスタ走査順序で（左から右に、上から下に）ＣＴＵとＣＵとをコーディングすると仮定すると、概して、現在ブロックと同じピクチャ中の現在ブロックの上、左上、または左にあり得る。
【0046】
[0059] ビデオエンコーダ２００は、現在ブロックについて予測モードを表すデータを符号化する。たとえば、インター予測モードでは、ビデオエンコーダ２００は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードのための動き情報を表すデータを符号化し得る。たとえば、単方向または双方向インター予測では、ビデオエンコーダ２００は、高度動きベクトル予測（ＡＭＶＰ）またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ２００は、アフィン動き補償モードのための動きベクトルを符号化するために、同様のモードを使用し得る。
【0047】
[0060] ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ２００は、ブロックについて残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成された、ブロックについての予測ブロックとの間の、サンプルごとの差分を表す。ビデオエンコーダ２００は、サンプル領域ではなく変換領域中に変換データを生成するために、残差ブロックに１つまたは複数の変換を適用し得る。たとえば、ビデオエンコーダ２００は、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換を残差ビデオデータに適用し得る。さらに、ビデオエンコーダ２００は、第１の変換に続いて、モード依存非分離可能２次変換（ＭＤＮＳＳＴ：mode-dependent non-separable secondary transform）、信号依存変換、カルーネンレーベ変換（ＫＬＴ）などの２次変換を適用し得る。ビデオエンコーダ２００は、１つまたは複数の変換の適用に続いて変換係数を生成する。
【0048】
[0061] 上述のように、変換係数を生成するための任意の変換に続いて、ビデオエンコーダ２００は、変換係数の量子化を実施し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスを実施することによって、ビデオエンコーダ２００は、変換係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、ビデオエンコーダ２００は、量子化中にｎビット値をｍビット値に丸めることがあり、ここで、ｎはｍよりも大きい。いくつかの例では、量子化を実施するために、ビデオエンコーダ２００は、量子化されるべき値のビット単位右シフトを実施し得る。
【0049】
[0062] 量子化に続いて、ビデオエンコーダ２００は、変換係数を走査して、量子化された変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、より高いエネルギー（したがって、より低い頻度）の係数をベクトルの前方に配置し、より低いエネルギー（したがって、より高い頻度）の変換係数をベクトルの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ２００は、あらかじめ定義された走査順序を利用して、量子化された変換係数を走査してシリアル化ベクトルを生成し、次いで、ベクトルの量子化された変換係数をエントロピー符号化し得る。他の例では、ビデオエンコーダ２００は適応型走査を実施し得る。量子化された変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２００は、たとえば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２００はまた、ビデオデータを復号する際のビデオデコーダ３００による使用のために、符号化ビデオデータに関連付けられたメタデータを記述するシンタックス要素についての値をエントロピー符号化し得る。
【0050】
[0063] ＣＡＢＡＣを実施するために、ビデオエンコーダ２００は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、たとえば、シンボルの隣接値が０値であるか否かに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
【0051】
[0064] ビデオエンコーダ２００は、さらに、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、あるいはシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、またはビデオパラメータセット（ＶＰＳ）などの他のシンタックスデータ中で、ビデオデコーダ３００に対して生成し得る。ビデオデコーダ３００は、対応するビデオデータをどのように復号すべきかを決定するために、そのようなシンタックスデータを同様に復号し得る。
【0052】
[0065] このようにして、ビデオエンコーダ２００は、符号化ビデオデータ、たとえば、ブロック（たとえば、ＣＵ）へのピクチャの区分ならびにブロックのための予測および／または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ３００は、ビットストリームを受信し、符号化ビデオデータを復号し得る。
【0053】
[0066] 概して、ビデオデコーダ３００は、ビットストリームの符号化ビデオデータを復号するために、ビデオエンコーダ２００によって実施されたものの逆プロセスを実施する。たとえば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣ符号化プロセスと逆ではあるが、それと実質的に同様の様式でＣＡＢＡＣを使用してビットストリームのシンタックス要素についての値を復号し得る。シンタックス要素は、ＣＴＵのＣＵを定義するために、ピクチャをＣＴＵに区分するための区分情報と、ＱＴＢＴ構造などの対応する区分構造に従う、各ＣＴＵの区分とを定義し得る。シンタックス要素は、ビデオデータのブロック（たとえば、ＣＵ）についての予測および残差情報をさらに定義し得る。
【0054】
[0067] 残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ３００は、ブロックのための残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ３００は、ブロックのための予測ブロックを形成するために、シグナリングされた予測モード（イントラまたはインター予測）と、関連する予測情報（たとえば、インター予測のための動き情報）とを使用する。ビデオデコーダ３００は、次いで、元のブロックを再生するために（サンプルごとに）予測ブロックと残差ブロックとを組み合わせ得る。ビデオデコーダ３００は、ブロックの境界に沿って視覚的アーティファクトを低減するためにデブロッキングプロセスを実施することなど、追加の処理を実施し得る。
【0055】
[0068] 本開示は、概して、シンタックス要素など、ある情報を「シグナリング」することに言及することがある。「シグナリング」という用語は、概して、符号化ビデオデータを復号するために使用されるシンタックス要素および／または他のデータについての値の通信を指し得る。すなわち、ビデオエンコーダ２００は、ビットストリームにおいてシンタックス要素についての値をシグナリングし得る。概して、シグナリングは、ビットストリームにおいて値を生成することを指す。上述のように、ソースデバイス１０２は、実質的にリアルタイムでビットストリームを宛先デバイス１１６に移送するか、または、宛先デバイス１１６による後の取出しのためにシンタックス要素を記憶デバイス１１２に記憶するときに行われ得るように、非リアルタイムでビットストリームを宛先デバイス１１６に移送し得る。
【0056】
[0069] 図２は、ハイブリッドビデオコーディングフレームワークを示す概念図である。Ｈ．２６１以降のビデオコーディング規格は、図２に示されるいわゆるハイブリッドビデオコーディング原理に基づいてきた。ハイブリッドという用語は、ビデオ信号中の冗長性を低減するための２つの手段の組合せ、すなわち、予測および変換コーディングを予測残差の量子化と組み合わせることを指す。予測および変換は脱相関によってビデオ信号中の冗長性を低減するが、量子化は、変換係数表現のデータを、それらの精度を下げることによって減少させ、理想的には、無関係の詳細のみを除去することによって減少させる。このハイブリッドビデオコーディング設計原理はまた、最近の２つの規格ＩＴＵ－Ｔ Ｈ．２６５／ＨＥＶＣおよびＩＴＵ－Ｔ Ｈ．２６６／ＶＶＣにおいても使用される。
【0057】
[0070] 図２に示されるように、現代のハイブリッドビデオコーダ１３０は、一般に、ブロック区分と、動き補償付きまたはピクチャ間予測と、ピクチャ内予測と、変換と、量子化と、エントロピーコーディングと、ポスト／インループフィルタ処理とを含む。図２の例では、ビデオコーダ１３０は、合計ユニット１３４と、変換ユニット１３６と、量子化ユニット１３８と、エントロピーコーディングユニット１４０と、逆量子化ユニット１４２と、逆変換ユニット１４４と、合計ユニット１４６と、ループフィルタユニット１４８と、復号ピクチャバッファ（ＤＰＢ）１５０と、イントラ予測ユニット１５２と、インター予測ユニット１５４と、動き推定ユニット１５６とを含む。
【0058】
[0071] 一般に、ビデオコーダ１３０は、ビデオデータを符号化するとき、入力ビデオデータ１３２を受信し得る。ビデオデータの受信されたピクチャ（画像）を予測および変換プロセスの動作に向けてより小さいブロックに分割するために、ブロック区分が使用される。初期のビデオコーディング規格は、固定ブロックサイズ、典型的には１６×１６サンプルを使用していた。ＨＥＶＣやＶＶＣなどの最近の規格は、ツリーベースの区分構造を採用して、フレキシブルな区分を提供する。
【0059】
[0072] 動き推定ユニット１５６およびインター予測ユニット１５４は、たとえば前に復号されたＤＰＢ１５０のデータから、入力ビデオデータ１３２を予測し得る。動き補償付きまたはピクチャ間予測は、ビデオシーケンスのピクチャ間（よって「インター」）に存在する冗長性を利用する。現代のすべてのビデオコーデックではブロックベースの動き補償が使用されるが、ブロックベースの動き補償に従って、前に復号された１つまたは複数のピクチャ、すなわち参照ピクチャから予測が得られる。インター予測を生成するための対応するエリアは、動きベクトルと参照ピクチャインデックスとを含む動き情報によって示される。
【0060】
[0073] 合計ユニット１３４は、入力ビデオデータ１３２と、イントラ予測ユニット１５２またはインター予測ユニット１５４からの予測データとの間の差として、残差データを計算し得る。合計ユニット１３４は、残差ブロックを変換ユニット１３６に提供し、変換ユニット１３６は、残差ブロックに１つまたは複数の変換を適用して、変換ブロックを生成する。量子化ユニット１３８は、変換ブロックを量子化して、量子化された変換係数を形成する。エントロピーコーディングユニット１４０は、量子化された変換係数、ならびに動き情報やイントラ予測情報など他のシンタックス要素をエントロピー符号化して、出力ビットストリーム１５８を生成する。
【0061】
[0074] 一方、逆量子化ユニット１４２は量子化された変換係数を逆量子化し、逆変換ユニット１４４は変換係数を逆変換して、残差ブロックを再生する。合計ユニット１４６は、（サンプルごとに）残差ブロックを予測ブロックと結合して、ビデオデータの復号されたブロックを生成する。ループフィルタユニット（loop filter unit）１４８は、復号されたブロックに１つまたは複数のフィルタ（たとえば、ニューラルネットワークベースのフィルタ、ニューラルネットワークベースのループフィルタ、ニューラルネットワークベースのポストループフィルタ、適応インループフィルタ、または事前定義された適応インループフィルタ、のうちの少なくとも１つ）を適用して、フィルタ処理された復号されたブロックを生成する。
【0062】
[0075] ＣＴＵやＣＵなど、ビデオデータのブロックは、実際、複数の色成分、たとえば、ルミナンスまたは「ルーマ（luma）」成分、青色相クロミナンスまたは「クロマ（chroma）」成分、および赤色相クロミナンス（クロマ）成分を含み得る。ルーマ成分は、クロマ成分よりも大きい空間分解能を有し得、クロマ成分のうちの一方は、他方のクロマ成分よりも大きい空間分解能を有し得る。代替的に、ルーマ成分は、クロマ成分よりも大きい空間分解能を有し得、２つのクロマ成分は、相互に等しい空間分解能を有し得る。たとえば、４：２：２フォーマットでは、ルーマ成分は、水平ではクロマ成分の２倍大きく垂直ではクロマ成分と等しいものであり得る。別の例として、４：２：０フォーマットでは、ルーマ成分は、水平と垂直とでクロマ成分の２倍大きいものであり得る。上で論じられた様々な動作は、一般に、ルーマおよびクロマ成分の各々に個別に適用され得る（ただし、動き情報やイントラ予測方向など、いくらかのコーディング情報は、ルーマ成分について決定され、対応するクロマ成分によって継承され得る）。
【0063】
[0076] 本開示の技法によれば、ループフィルタユニット１４８は、第１のサイズを有する第１の色成分（たとえば、ルミナンスまたは「ルーマ」成分）と、第１のサイズよりも小さい第２のサイズを有する第２の色成分（たとえば、青色相または赤色相クロミナンスまたは「クロマ」成分）を合計ユニット１４６から受信し得る。ビデオデータの共通ブロックが、第１と第２の両方の色成分を含み得る。ループフィルタユニット１４８は、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用して、第２のサイズを有するダウンサンプリングされた第１の色成分を生成する、すなわち、第１の色成分を第２の色成分のサイズにダウンサンプリングするように構成され得る。一例では、第１の色成分はルーマ成分であり得、第２の色成分は、２つのクロマ成分のうちの一方であり得る。別の例では、第１の色成分は第１のクロマ成分であり得、第２の色成分は第２のクロマ成分であり得る。
【0064】
[0077] さらに別の例では、ループフィルタユニット１４８は、ルーマ成分および両方のクロマ成分の各々を受信し得、ルーマ成分は第１のサイズを有し、第１のクロマ成分は、第１のサイズよりも小さい第２のサイズを有し、第２のクロマ成分は、第２のサイズよりも小さい第３のサイズを有する。この例では、ループフィルタユニットは、ダウンサンプリング畳込みニューラルネットワークフィルタ（convolutional neural network filter）をルーマ成分と第１のクロマ成分の両方に適用して、第３のサイズを有するダウンサンプリングされたルーマ成分と、第３のサイズを有するダウンサンプリングされた第１のクロマ成分とを生成し得る。
【0065】
[0078] ループフィルタユニット１４８はまた、畳込みニューラルネットワークフィルタをたとえば使用して、第２の色成分をフィルタ処理してフィルタ処理された第２の色成分を形成し得る。ループフィルタユニット１４８は、次いで、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結して、連結された色成分を形成し得る。次いで、ループフィルタユニット１４８は、畳込みニューラルネットワークフィルタをたとえば使用して、連結された色成分をフィルタ処理して、フィルタ処理されたダウンサンプリングされた第１の色成分を含むフィルタ処理された連結された成分を形成し得る。
【0066】
[0079] 特に、第１の色成分と第２の色成分とは元々、別々のアレイまたは行列に記憶されているものであり得る。色成分を連結するために、ループフィルタユニット１４８は、個々の色成分の２倍の幅または２倍の高さの、単一のアレイまたは行列を形成し得る。ループフィルタユニット１４８は、次いで、第１の色成分のサンプルを、新たに形成されたアレイまたは行列の第１の領域に記憶し、第２の色成分のサンプルを、新たに形成されたアレイまたは行列の第２の近隣領域に記憶し得る。３つの色成分が使用されるときは（たとえば、ルーマ、青色相クロマ、および赤色相クロマ）、ループフィルタユニット１４８は、個々の色成分の３倍の幅または高さの、単一のアレイまたは行列を形成し、３つの色成分の各々のサンプルを、新たに形成されたアレイまたは行列のそれぞれの領域に記憶し得る。
【0067】
[0080] 上で言及されたように、ループフィルタユニット１４８は、ルーマおよびクロマ成分の各々を受信し得る。ループフィルタユニット１４８は、畳込みニューラルネットワークフィルタをたとえば使用して、ダウンサンプリングされた第１のクロマ成分と第２のクロマ成分の両方をフィルタ処理して、フィルタ処理されたダウンサンプリングされた第１のクロマ成分とフィルタ処理された第２のクロマ成分とを生成し得る。ループフィルタユニット１４８は、次いで、ダウンサンプリングされたルーマ成分を、フィルタ処理されたダウンサンプリングされた第１のクロマ成分およびフィルタ処理された第２のクロマ成分と連結して、連結された色成分を形成し得る。ループフィルタユニット１４８は、次いで、畳込みニューラルネットワークフィルタをたとえば使用して、連結された色成分（ダウンサンプリングされたルーマ成分と、フィルタ処理されたダウンサンプリングされた第１のクロマ成分と、フィルタ処理された第２のクロマ成分とを含む）をフィルタ処理し得る。
【0068】
[0081] 連結された色成分をフィルタ処理した後、ループフィルタユニット１４８はさらに、フィルタ処理されたダウンサンプリングされた第１の色成分をアップサンプリングして、第１のサイズ（すなわち、第１の色成分の元のサイズ）に戻し得る。ループフィルタユニット１４８が第２の色成分も（たとえば、第２のサイズから第３のサイズに）ダウンサンプリングする場合、ループフィルタユニット１４８はまた、フィルタ処理された第２の色成分を第２のサイズ（すなわち、第２の色成分の元のサイズ）にアップサンプリングし得る。
【0069】
[0082] 図３は、グループオブピクチャ（ＧＯＰ）サイズ１６を使用する階層型予測構造１６６を示す概念図である。最近のビデオコーデックでは、コーディング効率を向上させるために、グループオブピクチャ（ＧＯＰ）内部の階層型予測構造が適用される。
【0070】
[0083] 再び図２を参照するが、ピクチャ内予測は、すでにコーディング／復号された空間的に近隣の（参照）サンプルからブロックについての予測を導出することによって、ピクチャ内（よって「イントラ」）に存在する空間的冗長性を活用する。ＡＶＣ、ＨＥＶＣ、およびＶＶＣを含む一番最近のビデオコーデックでは、方向性角度予測、ＤＣ予測、および平面（ｐｌａｎｅまたはｐｌａｎａｒ）予測が使用される。
【0071】
[0084] ハイブリッドビデオコーディング規格は、予測残差にブロック変換を適用する（予測残差がピクチャ間予測から来るかピクチャ内予測から来るかにかかわらず）。Ｈ．２６１、Ｈ．２６２、およびＨ．２６３を含む初期の規格では、離散コサイン変換（ＤＣＴ）が採用される。ＨＥＶＣおよびＶＶＣでは、特定のビデオ信号における異なる統計に対処するために、ＤＣＴに加えてより多くの変換カーネルが適用される。
【0072】
[0085] 量子化は、入力値または入力値セットを表すのに必要とされるデータの量を低減するために、これらの値の精度を下げることを目的とする。ハイブリッドビデオコーディングでは、通常、個々の変換された残差サンプル、すなわち変換係数に量子化が適用され、この結果、整数係数レベルになる。最近のビデオコーディング規格では、ステップサイズは、忠実度とビットレートとを制御するいわゆる量子化パラメータ（ＱＰ）から導出される。ステップサイズが大きいほどビットレートが下がるが、品質も劣化し、この結果、たとえば、ビデオピクチャはブロッキングアーティファクトおよびぼやけた詳細を呈する。
【0073】
[0086] コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）は、その高い効率ゆえに最近のビデオコーデック、たとえば、ＡＶＣ、ＨＥＶＣ、およびＶＶＣで使用されるエントロピーコーディングの形態である。
【0074】
[0087] ポスト／インループフィルタ処理は、コーディングアーティファクトを低減するために再構築されたピクチャに適用されるフィルタ処理プロセス（またはそのようなプロセスの組合せ）である。フィルタ処理プロセスの入力は一般に、再構築されたピクチャであり、これは、再構築された残差信号（量子化誤差を含む）と予測との結合である。図２に示されるように、インループフィルタ処理後の再構築されたピクチャは、記憶され、後続ピクチャのピクチャ間予測のための参照として使用される。コーディングアーティファクトは、主としてＱＰによって決定され、したがって、フィルタ処理プロセスの設計ではＱＰ情報が一般に使用される。ＨＥＶＣでは、インループフィルタは、デブロッキングフィルタ処理およびサンプル適応オフセット（ＳＡＯ）フィルタ処理を含む。ＶＶＣ規格では、第３のフィルタとして適応ループフィルタ（ＡＬＦ）が導入された。ＡＬＦのフィルタ処理プロセスが以下に示される。
【0075】
Ｒ’（ｉ，ｊ）＝Ｒ（ｉ，ｊ）＋（（Σk≠0Σl≠0ｆ（ｋ，ｌ）×Ｋ（Ｒ（ｉ＋ｋ，ｊ＋ｌ）－Ｒ（ｉ，ｊ），ｃ（ｋ，ｌ））＋６４）＞＞７） （１）
ここで、Ｒ（ｉ，ｊ）は、フィルタ処理プロセス前のサンプルのセットであり、Ｒ’（ｉ，ｊ）は、フィルタ処理プロセス後のサンプル値である。ｆ（ｋ，ｌ）はフィルタ係数を示し、Ｋ（ｘ，ｙ）はクリッピング関数であり、ｃ（ｋ，ｌ）はクリッピングパラメータを示す。変数ｋおよびｌは、
ここで、Ｒ（ｉ，ｊ）は、フィルタ処理プロセス前のサンプルのセットであり、Ｒ’（ｉ，ｊ）は、フィルタ処理プロセス後のサンプル値である。ｆ（ｋ，ｌ）はフィルタ係数を示し、Ｋ（ｘ，ｙ）はクリッピング関数であり、ｃ（ｋ，ｌ）はクリッピングパラメータを示す。変数ｋおよびｌは、
【0076】
【数1】
【0077】
と
【0078】
【数2】
【0079】
との間で変動し、Ｌはフィルタ長を示す。クリッピング関数Ｋ（ｘ，ｙ）＝ｍｉｎ（ｙ，ｍａｘ（－ｙ，ｘ））であり、これは、関数Ｃｌｉｐ３（－ｙ，ｙ，ｘ）に対応する。クリッピング演算は、現在サンプル値と過度に異なる近隣サンプル値の影響を低減することによって、非線形性を導入してＡＬＦをより効率的にする。ＶＶＣでは、フィルタ処理パラメータは、ビットストリーム中でシグナリングされることが可能であり、事前定義されたフィルタセットから選択されることが可能である。ＡＬＦフィルタ処理プロセスはまた、次の式を使用して要約されることも可能である。
【0080】
Ｒ’（ｉ，ｊ）＝Ｒ（ｉ，ｊ）＋ＡＬＦ＿ｒｅｓｉｄｕａｌ＿ｏｕｐｕｔ（Ｒ） （２）
[0088] 図４Ａおよび図４Ｂは、残差ブロックを含む残差ネットワーク（Ｒｅｓｎｅｔ）を有する、例示的なジョイント成分畳込みニューラルネットワーク（ＣＮＮ）ベースのフィルタを示す概念図である。特に、図４Ａは、畳込みニューラルネットワーク（畳込みＮＮ）フィルタ１７２と、連結ユニット１７４と、一連の残差ブロック１７６と、残差ブロック１７８Ａ、１７８Ｂ（残差ブロック１７８）と、チャネル単位加算ユニット１７９Ａ、１７９Ｂ（チャネル単位加算ユニット１７９）とを含むシステム１７０を描いている。図４Ｂは、例示的な残差ブロック１８０を描いている。残差ブロック１７６、１７８のいずれかは、残差ブロック１８０の構成要素と同様の構成要素を含み得る。図４Ｂの例では、残差ブロック１８０は、畳込みＮＮフィルタ１８２および１８６と、正規化線形ユニット（ＲｅＬＵ：rectified linear unit）レイヤ１８４と、合計ユニット１８８とを含む。
[0088] 図４Ａおよび図４Ｂは、残差ブロックを含む残差ネットワーク（Ｒｅｓｎｅｔ）を有する、例示的なジョイント成分畳込みニューラルネットワーク（ＣＮＮ）ベースのフィルタを示す概念図である。特に、図４Ａは、畳込みニューラルネットワーク（畳込みＮＮ）フィルタ１７２と、連結ユニット１７４と、一連の残差ブロック１７６と、残差ブロック１７８Ａ、１７８Ｂ（残差ブロック１７８）と、チャネル単位加算ユニット１７９Ａ、１７９Ｂ（チャネル単位加算ユニット１７９）とを含むシステム１７０を描いている。図４Ｂは、例示的な残差ブロック１８０を描いている。残差ブロック１７６、１７８のいずれかは、残差ブロック１８０の構成要素と同様の構成要素を含み得る。図４Ｂの例では、残差ブロック１８０は、畳込みＮＮフィルタ１８２および１８６と、正規化線形ユニット（ＲｅＬＵ：rectified linear unit）レイヤ１８４と、合計ユニット１８８とを含む。
【0081】
[0089] 図４Ａの例では、畳込みＮＮフィルタ１７２は、クロマ成分（すなわち、青色相（Ｃｂ）および赤色相（Ｃｒ）成分）を、対応するルミナンス（ルーマ（Ｙ））成分のサイズにアップサンプリングする。連結ユニット１７４は、残差ブロック１７６によって形成されるＮＮベースのフィルタへの入力として使用されるように、アップサンプリングされたクロミナンスサンプルをルーマサンプルと連結する。残差ブロック１７６によって実施されるフィルタ処理プロセスはまた、次のように一般化されることも可能である。
【0082】
Ｒ’（ｉ，ｊ）＝Ｒ（ｉ，ｊ）＋ＮＮ＿ｆｉｌｔｅｒ＿ｒｅｓｉｄｕａｌ＿ｏｕｐｕｔ（Ｒ） （３）
ビデオエンコーダ２００およびビデオデコーダ３００のループフィルタは、図４Ａのシステム１７０の構成要素と同様の構成要素を含み得る。ＮＮベースのフィルタのモデル構造およびモデルパラメータは、事前定義されて、ビデオエンコーダ２００およびビデオデコーダ３００において記憶されることが可能である。追加的または代替的に、ビデオエンコーダ２００は、ＮＮベースのフィルタを表すデータをビットストリーム中でシグナリングし得る。
ビデオエンコーダ２００およびビデオデコーダ３００のループフィルタは、図４Ａのシステム１７０の構成要素と同様の構成要素を含み得る。ＮＮベースのフィルタのモデル構造およびモデルパラメータは、事前定義されて、ビデオエンコーダ２００およびビデオデコーダ３００において記憶されることが可能である。追加的または代替的に、ビデオエンコーダ２００は、ＮＮベースのフィルタを表すデータをビットストリーム中でシグナリングし得る。
【0083】
[0090] 残差ブロック１７６がＮＮベースのフィルタを連結された成分に適用した後、残差ブロック１７８Ａおよび１７８Ｂは、チャネル固有フィルタ処理を個々の色成分に適用し得、次いで、チャネル単位加算ユニット１７９Ａ、１７９Ｂは、成分をそれぞれの色チャネルＹ、Ｃｂ、およびＣｒに分離し得る。
【0084】
[0091] 図４Ｂの例では、畳込みＮＮフィルタ１８２は、最初に、受信されたビデオデータのサンプルをフィルタ処理し得る。畳込みＮＮフィルタ１８２および畳込みＮＮフィルタ１８６は、３×３×Ｋ×Ｋ畳込みＮＮフィルタであり得る。残差ブロック１８０はまた、「残差処理ユニット」とも呼ばれ得る。ＲｅＬＵレイヤ１８４は活性化関数（activation function）を提供し得、この活性化関数は、各サンプルにつき、サンプル値が０よりも大きいときはサンプル値自体を出力し、そうでないとき、入力サンプル値が０未満の場合はサンプル値として０を出力する。すなわち、ＲｅＬＵ活性化関数は、次のように要約され得る。
【0085】
【数3】
【0086】
[0092] 畳込みＮＮフィルタ１８６は、次いで、ＲｅＬＵレイヤ１８４からの結果的なサンプル値をフィルタ処理し、フィルタ処理されたサンプル値を合計ユニット１８８に提供し得る。合計ユニット１８８は、フィルタ処理されたサンプル値を、対応する入力サンプル値に加え得る。
【0087】
[0093] 本開示は、場合によっては、クロマブロックを対応するルーマブロックのサイズにアップサンプリングする結果として、ニューラルネットワークサイズが増大され計算複雑性が高まることがあると認識する。
【0088】
[0094] 図１のビデオエンコーダ２００およびビデオデコーダ３００、または図２のビデオコーダ１３０は、本開示の技法により、次の技法のいずれかまたはすべてを、単独でまたは任意の組合せで実施するように構成され得る。概して、ビデオエンコーダ２００、ビデオデコーダ３００、およびビデオコーダ１３０は、最初に畳込みニューラルネットワーク（ＣＮＮ）レイヤを色成分のいくつかまたはすべてに別々に適用して、色成分間でサイズを整合し得る。ビデオエンコーダ２００およびビデオデコーダ３００は、出力ニューラル（またはテンソル）ブロックのサイズを、色成分のすべてのうちで最も小さいサイズの色成分ブロックのサイズに等しくなるように設定し得る。次いで、ビデオエンコーダ２００およびビデオデコーダ３００は、ジョイント畳込みＮＮレイヤを同じサイズのすべての成分に適用し得る。具体的および一般的である有用な適用例として、４：２：０色フォーマットのビデオシーケンスの場合、ルーマ成分ブロックは、水平方向と垂直方向の両方にストライド（stride）２の畳込みＮＮレイヤを使用してダウンサンプリングされる。畳込みＮＮレイヤの出力は、クロマ成分と同じブロックサイズを有し得る。次いで、ビデオエンコーダ２００およびビデオデコーダ３００は、ジョイント畳込みＮＮレイヤを、入力としてのすべての色成分のデータに適用し得る。
【0089】
[0095] 図５Ａおよび図５Ｂは、例示的なクワッドツリーバイナリツリー（ＱＴＢＴ）構造１９０と、対応するコーディングツリーユニット（ＣＴＵ）１９２とを示す概念図である。実線はクワッドツリースプリッティングを表し、点線はバイナリツリースプリッティングを示す。バイナリツリーの各スプリット（すなわち、非リーフ）ノードでは、どのスプリッティングタイプ（すなわち、水平または垂直）が使用されるかを示すために１つのフラグがシグナリングされ、ここで、この例では、０は水平スプリッティングを示し、１は垂直スプリッティングを示す。クワッドツリースプリッティングでは、クワッドツリーノードが、ブロックを、等しいサイズをもつ４つのサブブロックに水平および垂直にスプリットするので、スプリッティングタイプを示す必要がない。したがって、ＱＴＢＴ構造１９０の領域ツリーレベル（すなわち、実線）についての（スプリッティング情報などの）シンタックス要素と、ＱＴＢＴ構造１９０の予測ツリーレベル（すなわち、破線）についての（スプリッティング情報などの）シンタックス要素とを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。ＱＴＢＴ構造１９０の端末リーフノードによって表されるＣＵについての、予測および変換データなどのビデオデータを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。
【0090】
[0096] 概して、図５ＢのＣＴＵ１９２は、第１および第２のレベルにおいてＱＴＢＴ構造１９０のノードに対応するブロックのサイズを定義するパラメータに関連付けられ得る。これらのパラメータは、（サンプル中のＣＴＵ１９２のサイズを表す）ＣＴＵサイズと、最小クワッドツリーサイズ（最小許容クワッドツリーリーフノードサイズを表すＭｉｎＱＴＳｉｚｅ）と、最大バイナリツリーサイズ（最大許容バイナリツリールートノードサイズを表すＭａｘＢＴＳｉｚｅ）と、最大バイナリツリー深度（最大許容バイナリツリー深度を表すＭａｘＢＴＤｅｐｔｈ）と、最小バイナリツリーサイズ（最小許容バイナリツリーリーフノードサイズを表すＭｉｎＢＴＳｉｚｅ）とを含み得る。
【0091】
[0097] ＣＴＵに対応するＱＴＢＴ構造のルートノードは、ＱＴＢＴ構造の第１のレベルにおいて４つの子ノードを有し得、それらの各々は、クワッドツリー区分に従って区分され得る。すなわち、第１のレベルのノードは、（子ノードを有しない）リーフノードであるか、または４つの子ノードを有するかのいずれかである。ＱＴＢＴ構造１９０の例は、分岐のために実線を有する親ノードと子ノードとを含むようなノードを表す。第１のレベルのノードが最大許容バイナリツリールートノードサイズ（ＭａｘＢＴＳｉｚｅ）よりも大きくない場合、ノードは、それぞれのバイナリツリーによってさらに区分され得る。１つのノードのバイナリツリースプリッティングは、スプリットから生じるノードが最小許容バイナリツリーリーフノードサイズ（ＭｉｎＢＴＳｉｚｅ）または最大許容バイナリツリー深度（ＭａｘＢＴＤｅｐｔｈ）に達するまで反復され得る。ＱＴＢＴ構造１９０の例は、分岐のために破線を有するようなノードを表す。バイナリツリーリーフノードはコーディングユニット（ＣＵ）と呼ばれ、ＣＵは、さらなる区分なしに予測（たとえば、ピクチャ内またはピクチャ間予測）および変換のために使用される。上記で説明されたように、ＣＵは「ビデオブロック」または「ブロック」と呼ばれることもある。
【0092】
[0098] ＱＴＢＴ区分構造の一例では、ＣＴＵサイズは、１２８×１２８（ルーマサンプルおよび２つの対応する６４×６４クロマサンプル）として設定され、ＭｉｎＱＴＳｉｚｅは１６×１６として設定され、ＭａｘＢＴＳｉｚｅは６４×６４として設定され、（幅と高さの両方について）ＭｉｎＢＴＳｉｚｅは４として設定され、ＭａｘＢＴＤｅｐｔｈは４として設定される。クワッドツリー区分は、クワッドツリーリーフノードを生成するために、最初にＣＴＵに適用される。クワッドツリーリーフノードは、１６×１６（すなわち、ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（すなわち、ＣＴＵサイズ）までのサイズを有し得る。クワッドツリーリーフノードが１２８×１２８である場合、クワッドツリーリーフノードは、サイズがＭａｘＢＴＳｉｚｅ（すなわち、この例では、６４×６４）を超えるので、バイナリツリーによってさらにスプリットされない。他の場合、クワッドツリーリーフノードは、バイナリツリーによってさらに区分され得る。したがって、クワッドツリーリーフノードはまた、バイナリツリーのためのルートノードであり、０としてのバイナリツリー深度を有する。バイナリツリー深度がＭａｘＢＴＤｅｐｔｈ（この例では４）に達したとき、さらなるスプリッティングは許可されない。ＭｉｎＢＴＳｉｚｅ（この例では、４）に等しい幅を有するバイナリツリーノードは、そのバイナリツリーノードのためにさらなる垂直スプリッティング（すなわち、幅の分割）が許可されないことを暗示する。同様に、ＭｉｎＢＴＳｉｚｅに等しい高さを有するバイナリツリーノードは、そのバイナリツリーノードのためにさらなる水平スプリッティング（すなわち、高さの分割）が許可されないことを暗示する。上述のように、バイナリツリーのリーフノードは、ＣＵと呼ばれ、さらなる区分なしに予測および変換に従ってさらに処理される。
【0093】
[0099] 図６は、本開示の技法を実施し得る例示的なビデオエンコーダ２００を示すブロック図である。図６は、説明の目的で提供されており、本開示において広く例示され、説明される技法を限定するものと見なされるべきではない。説明の目的で、本開示は、ＩＴＵ－Ｔ Ｈ．２６５／ＨＥＶＣビデオコーディング規格および開発中のＶＶＣビデオコーディング規格などのビデオコーディング規格のコンテキストにおいて、ビデオエンコーダ２００について説明する。しかしながら、本開示の技法は、これらのビデオコーディング規格に限定されず、他のビデオ符号化および復号規格に一般に適用可能である。
【0094】
[0100] 図６の例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、復号ピクチャバッファ（ＤＰＢ）２１８と、エントロピー符号化ユニット２２０とを含む。ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、ＤＰＢ２１８と、エントロピー符号化ユニット２２０とのいずれかまたはすべては、１つまたは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオエンコーダ２００のユニットは、１つまたは複数の回路または論理要素として、ハードウェア回路の一部として、あるいはプロセッサ、ＡＳＩＣまたはＦＰＧＡの一部として実装され得る。その上、ビデオエンコーダ２００は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。
【0095】
[0101] ビデオデータメモリ２３０は、ビデオエンコーダ２００の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ２００は、たとえば、ビデオソース１０４（図１）から、ビデオデータメモリ２３０に記憶されるビデオデータを受信し得る。ＤＰＢ２１８は、ビデオエンコーダ２００による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同期ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（ＳＤＲＡＭ）を含むＤＲＡＭ、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ２３０は、図示のように、ビデオエンコーダ２００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
【0096】
[0102] 本開示では、ビデオデータメモリ２３０への言及は、特にそのように説明されない限り、ビデオエンコーダ２００の内部のメモリに限定されるものとして解釈されるべきではなく、または特にそのように説明されない限り、ビデオエンコーダ２００の外部のメモリに限定されるものとして解釈されるべきではない。そうではなく、ビデオデータメモリ２３０への言及は、ビデオエンコーダ２００が符号化のために受信するビデオデータ（たとえば、符号化されるべきである現在ブロックのためのビデオデータ）を記憶する参照メモリとして理解されるべきである。図１のメモリ１０６はまた、ビデオエンコーダ２００の様々なユニットからの出力の一時的記憶を提供し得る。
【0097】
[0103] 図６の様々なユニットは、ビデオエンコーダ２００によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作に関してプリセットされる。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、１つまたは複数のユニットは、集積回路であり得る。
【0098】
[0104] ビデオエンコーダ２００は、算術論理ユニット（ＡＬＵ）、基本機能ユニット（ＥＦＵ）、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオエンコーダ２００の動作が、プログラマブル回路によって実行されるソフトウェアを使用して実施される例では、メモリ１０６（図１）は、ビデオエンコーダ２００が受信し、実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得るか、またはビデオエンコーダ２００内の別のメモリ（図示せず）が、そのような命令を記憶し得る。
【0099】
[0105] ビデオデータメモリ２３０は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャを取り出し、ビデオデータを残差生成ユニット２０４とモード選択ユニット２０２とに提供し得る。ビデオデータメモリ２３０中のビデオデータは、符号化されるべきである生のビデオデータであり得る。
【0100】
[0106] モード選択ユニット２０２は、動き推定ユニット２２２と、動き補償ユニット２２４と、イントラ予測ユニット２２６とを含む。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実施するための追加の機能ユニットを含み得る。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２および／または動き補償ユニット２２４の一部であり得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。
【0101】
[0107] モード選択ユニット２０２は、概して、符号化パラメータの組合せと、そのような組合せについての得られたレートひずみ値とをテストするために、複数の符号化パスを協調させる。符号化パラメータは、ＣＵへのＣＴＵの区分、ＣＵのための予測モード、ＣＵの残差データのための変換タイプ、ＣＵの残差データのための量子化パラメータなどを含み得る。モード選択ユニット２０２は、他のテストされた組合せよりも良好であるレートひずみ値を有する符号化パラメータの組合せを最終的に選択し得る。
【0102】
[0108] ビデオエンコーダ２００は、ビデオデータメモリ２３０から取り出されたピクチャを一連のＣＴＵに区分し、スライス内の１つまたは複数のＣＴＵをカプセル化し得る。モード選択ユニット２０２は、上記で説明されたＨＥＶＣのＱＴＢＴ構造またはクワッドツリー構造など、ツリー構造に従ってピクチャのＣＴＵを区分し得る。上記で説明されたように、ビデオエンコーダ２００は、ツリー構造に従ってＣＴＵを区分することから１つまたは複数のＣＵを形成し得る。そのようなＣＵは、概して「ビデオブロック」または「ブロック」と呼ばれることもある。
【0103】
[0109] 概して、モード選択ユニット２０２はまた、現在ブロック（たとえば、現在ＣＵ、またはＨＥＶＣでは、ＰＵとＴＵとの重複する部分）のための予測ブロックを生成するように、それの構成要素（たとえば、動き推定ユニット２２２、動き補償ユニット２２４、およびイントラ予測ユニット２２６）を制御する。現在ブロックのインター予測のために、動き推定ユニット２２２は、１つまたは複数の参照ピクチャ（たとえば、ＤＰＢ２１８に記憶された１つまたは複数の前にコーディングされたピクチャ）中で１つまたは複数のぴったり一致する参照ブロックを識別するために動き探索を実施し得る。特に、動き推定ユニット２２２は、たとえば、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）などに従って、現在ブロックに対して潜在的参照ブロックがどのくらい類似しているかを表す値を計算し得る。動き推定ユニット２２２は、概して、現在ブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実施し得る。動き推定ユニット２２２は、現在ブロックに最もぴったり一致する参照ブロックを示す、これらの計算から得られた最も低い値を有する参照ブロックを識別し得る。
【0104】
[0110] 動き推定ユニット２２２は、現在ピクチャ中の現在ブロックの位置に対して参照ピクチャ中の参照ブロックの位置を定義する１つまたは複数の動きベクトル（ＭＶ）を形成し得る。動き推定ユニット２２２は、次いで、動きベクトルを動き補償ユニット２２４に提供し得る。たとえば、単方向インター予測では、動き推定ユニット２２２は、単一の動きベクトルを提供し得るが、双方向インター予測では、動き推定ユニット２２２は、２つの動きベクトルを提供し得る。動き補償ユニット２２４は、次いで、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット２２４は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルが部分サンプル精度を有する場合、動き補償ユニット２２４は、１つまたは複数の補間フィルタに従って予測ブロックについての値を補間し得る。その上、双方向インター予測では、動き補償ユニット２２４は、それぞれの動きベクトルによって識別された２つの参照ブロックについてデータを取り出し、たとえば、サンプルごとの平均化または重み付き平均化を通して、取り出されたデータを組み合わせ得る。
【0105】
[0111] 別の例として、イントラ予測、またはイントラ予測コーディングのために、イントラ予測ユニット２２６は、現在ブロックに隣接しているサンプルから予測ブロックを生成し得る。たとえば、方向性モードでは、イントラ予測ユニット２２６は、概して、予測ブロックを生成するために、隣接サンプルの値を数学的に組み合わせ、現在ブロックにわたって定義された方向にこれらの計算された値をポピュレートし得る。別の例として、ＤＣモードでは、イントラ予測ユニット２２６は、現在ブロックに対する隣接サンプルの平均を計算し、予測ブロックの各サンプルについてこの得られた平均を含むように予測ブロックを生成し得る。
【0106】
[0112] モード選択ユニット２０２は、予測ブロックを残差生成ユニット２０４に提供する。残差生成ユニット２０４は、ビデオデータメモリ２３０から現在ブロックの生のコーディングされていないバージョンを受信し、モード選択ユニット２０２から予測ブロックを受信する。残差生成ユニット２０４は、現在ブロックと予測ブロックとの間のサンプルごとの差分を計算する。得られたサンプルごとの差分は、現在ブロックのための残差ブロックを定義する。いくつかの例では、残差生成ユニット２０４はまた、残差差分パルスコード変調（ＲＤＰＣＭ）を使用して残差ブロックを生成するために、残差ブロック中のサンプル値間の差分を決定し得る。いくつかの例では、残差生成ユニット２０４は、バイナリ減算を実施する１つまたは複数の減算器回路を使用して形成され得る。
【0107】
[0113] モード選択ユニット２０２がＣＵをＰＵに区分する例では、各ＰＵは、ルーマ予測ユニットと、対応するクロマ予測ユニットとに関連付けられ得る。ビデオエンコーダ２００とビデオデコーダ３００とは、様々なサイズを有するＰＵをサポートし得る。上記で示されたように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得、ＰＵのサイズは、ＰＵのルーマ予測ユニットのサイズを指し得る。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２００は、イントラ予測のための２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、インター予測のための２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または同様のものの対称ＰＵサイズとをサポートし得る。ビデオエンコーダ２００とビデオデコーダ３００とはまた、インター予測のための２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズの非対称区分をサポートし得る。
【0108】
[0114] モード選択ユニット２０２がＣＵをＰＵにさらに区分しない例では、各ＣＵは、ルーマコーディングブロックと、対応するクロマコーディングブロックとに関連付けられ得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、２Ｎ×２Ｎ、２Ｎ×Ｎ、またはＮ×２ＮのＣＵサイズをサポートし得る。
【0109】
[0115] いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル（ＬＭ）モードコーディングなどの他のビデオコーディング技法では、モード選択ユニット２０２は、コーディング技法に関連付けられたそれぞれのユニットを介して、符号化されている現在ブロックのための予測ブロックを生成する。パレットモードコーディングなど、いくつかの例では、モード選択ユニット２０２は、予測ブロックを生成しない場合があり、代わりに、選択されたパレットに基づいてブロックを再構築すべき様式を示すシンタックス要素を生成し得る。そのようなモードでは、モード選択ユニット２０２は、符号化されるべきこれらのシンタックス要素をエントロピー符号化ユニット２２０に提供し得る。
【0110】
[0116] 上記で説明されたように、残差生成ユニット２０４は、現在ブロックのためのビデオデータと、対応する予測ブロックとを受信する。残差生成ユニット２０４は、次いで、現在ブロックのための残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット２０４は、予測ブロックと現在ブロックとの間のサンプルごとの差分を計算する。
【0111】
[0117] 変換処理ユニット２０６は、（本明細書では「変換係数ブロック」と呼ばれる）変換係数のブロックを生成するために、残差ブロックに１つまたは複数の変換を適用する。変換処理ユニット２０６は、変換係数ブロックを形成するために、残差ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向性変換、カルーネンレーベ変換（ＫＬＴ）、または概念的に同様の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに複数の変換、たとえば、回転変換などの１次変換および２次変換を実施し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに変換を適用しない。
【0112】
[0118] 量子化ユニット２０８は、量子化された変換係数ブロックを生成するために、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット２０８は、現在ブロックに関連付けられた量子化パラメータ（ＱＰ）値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ２００は（たとえば、モード選択ユニット２０２を介して）、ＣＵに関連付けられたＱＰ値を調整することによって、現在ブロックに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。量子化は、情報の損失をもたらし得、したがって、量子化された変換係数は、変換処理ユニット２０６によって生成された元の変換係数よりも低い精度を有し得る。
【0113】
[0119] 逆量子化ユニット２１０および逆変換処理ユニット２１２は、変換係数ブロックから残差ブロックを再構築するために、それぞれ、量子化された変換係数ブロックに逆量子化および逆変換を適用し得る。再構築ユニット２１４は、再構築された残差ブロックと、モード選択ユニット２０２によって生成された予測ブロックとに基づいて、（潜在的にある程度のひずみを伴うが）現在ブロックに対応する再構築されたブロックを生成し得る。たとえば、再構築ユニット２１４は、再構築されたブロックを生成するために、モード選択ユニット２０２によって生成された予測ブロックからの対応するサンプルに、再構築された残差ブロックのサンプルを加算し得る。
【0114】
[0120] フィルタユニット２１６は、再構築されたブロックに対して１つまたは複数のフィルタ演算を実施し得る。たとえば、フィルタユニット２１６は、ＣＵのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。フィルタユニット２１６の動作は、いくつかの例では、スキップされ得る。フィルタユニット２１６は、本開示の様々な技法を実施するように構成され得、たとえば、色成分を最も小さい色成分サイズにサイズ変更し、次いで、サイズ変更された色成分に畳込みニューラルネットワーク（ＣＮＮ）フィルタ２３２を適用するように構成され得る。
【0115】
[0121] 特に、フィルタユニット２１６は、クロマ成分を対応するルーマ成分のサイズにアップサンプリングするのではなく、ＣＮＮフィルタ２３２のうちの１つまたは複数を適用してルーマ成分のサイズをクロマ成分のうちの小さい方のサイズに縮小し得る。すなわち、フィルタユニット２１６は、第１のサイズを有するルーマ成分と、第１のサイズよりも小さい第２のサイズを有するクロマ成分とを受信し得る。フィルタユニット２１６は、ＣＮＮフィルタ２３２の畳込みＮＮフィルタをルーマ成分に適用して、ルーマ成分を第２のサイズにダウンサンプリングし得る。フィルタユニット２１６は、クロマ成分をフィルタ処理して、フィルタ処理されたクロマ成分を形成し得る。フィルタユニット２１６は、次いで、ダウンサンプリングされたルーマ成分をフィルタ処理されたクロマ成分と連結して連結された色成分を形成し得、次いで、連結された色成分をフィルタ処理して、フィルタ処理されたダウンサンプリングされた第１の色成分を含むフィルタ処理された連結された成分を形成し得る。さらに、フィルタユニット２１６は、第２のサイズのフィルタ処理されたルーマ成分をアップサンプリングして第１のサイズに戻した後で、ルーマ成分をＤＰＢ２１８に記憶し得る。
【0116】
[0122] 特に、第１の色成分と第２の色成分とは元々、別々のアレイまたは行列に記憶されているものであり得る。色成分を連結するために、フィルタユニット２１６は、個々の色成分の２倍の幅または２倍の高さの、単一のアレイまたは行列を形成し得る。フィルタユニット２１６は、次いで、第１の色成分のサンプルを、新たに形成されたアレイまたは行列の第１の領域に記憶し、第２の色成分のサンプルを、新たに形成されたアレイまたは行列の第２の近隣領域に記憶し得る。３つの色成分が使用されるときは（たとえば、ルーマ、青色相クロマ、および赤色相クロマ）、フィルタユニット２１６は、個々の色成分の３倍の幅または高さの、単一のアレイまたは行列を形成し、３つの色成分の各々のサンプルを、新たに形成されたアレイまたは行列のそれぞれの領域に記憶し得る。
【0117】
[0123] ビデオエンコーダ２００は、再構築されたブロックをＤＰＢ２１８に記憶する。たとえば、フィルタユニット２１６の動作が必要とされない例では、再構築ユニット２１４は、再構築されたブロックをＤＰＢ２１８に記憶し得る。フィルタユニット２１６の動作が必要とされる例では、フィルタユニット２１６は、フィルタ処理された再構築されたブロックをＤＰＢ２１８に記憶し得る。動き推定ユニット２２２と動き補償ユニット２２４とは、後で符号化されるピクチャのブロックをインター予測するために、再構築（および潜在的にフィルタ処理）されたブロックから形成された参照ピクチャをＤＰＢ２１８から取り出し得る。さらに、イントラ予測ユニット２２６は、現在ピクチャ中の他のブロックをイントラ予測するために、現在ピクチャのＤＰＢ２１８中の再構築されたブロックを使用し得る。
【0118】
[0124] 概して、エントロピー符号化ユニット２２０は、ビデオエンコーダ２００の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット２２０は、量子化ユニット２０８からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（たとえば、インター予測のための動き情報、またはイントラ予測のためのイントラモード情報）をエントロピー符号化し得る。エントロピー符号化ユニット２２０は、エントロピー符号化データを生成するために、ビデオデータの別の例であるシンタックス要素に対して１つまたは複数のエントロピー符号化動作を実施し得る。たとえば、エントロピー符号化ユニット２２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変対可変（Ｖ２Ｖ）長コーディング動作、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）動作、確率間隔区分エントロピー（ＰＩＰＥ）コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実施し得る。いくつかの例では、エントロピー符号化ユニット２２０は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。
【0119】
[0125] ビデオエンコーダ２００は、スライスまたはピクチャのブロックを再構築するために必要とされるエントロピー符号化シンタックス要素を含むビットストリームを出力し得る。特に、エントロピー符号化ユニット２２０がビットストリームを出力し得る。
【0120】
[0126] 上記で説明された動作は、ブロックに関して説明される。そのような説明は、ルーマコーディングブロックおよび／またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明されたように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＣＵのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＰＵのルーマ成分およびクロマ成分である。
【0121】
[0127] いくつかの例では、ルーマコーディングブロックに関して実施される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル（ＭＶ）と参照ピクチャとを識別するための動作は、クロマブロックのためのＭＶと参照ピクチャとを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのＭＶは、クロマブロックのためのＭＶを決定するためにスケーリングされ得、参照ピクチャは同じであり得る。別の例として、イントラ予測プロセスは、ルーマコーディングブロックおよびクロマコーディングブロックについて同じであり得る。
【0122】
[0128] 図７は、本開示の技法を実施し得る例示的なビデオデコーダ３００を示すブロック図である。図７は、説明の目的で提供されており、本開示において広く例示され、説明される技法を限定するものではない。説明の目的で、本開示は、ＶＶＣおよびＨＥＶＣ（ＩＴＵ－Ｔ Ｈ．２６５）の技法に従って、ビデオデコーダ３００について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されたビデオコーディングデバイスによって実施され得る。
【0123】
[0129] 図７の例では、ビデオデコーダ３００は、コード化ピクチャバッファ（ＣＰＢ）メモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、復号ピクチャバッファ（ＤＰＢ）３１４とを含む。ＣＰＢメモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、ＤＰＢ３１４とのいずれかまたはすべては、１つまたは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオデコーダ３００のユニットは、１つまたは複数の回路または論理要素として、ハードウェア回路の一部として、あるいはプロセッサ、ＡＳＩＣまたはＦＰＧＡの一部として実装され得る。その上、ビデオデコーダ３００は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。
【0124】
[0130] 予測処理ユニット３０４は、動き補償ユニット３１６と、イントラ予測ユニット３１８とを含む。予測処理ユニット３０４は、他の予測モードに従って予測を実施するための追加のユニットを含み得る。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１６の一部を形成し得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。他の例では、ビデオデコーダ３００は、より多数の、より少数の、または異なる機能構成要素を含み得る。
【0125】
[0131] ＣＰＢメモリ３２０は、ビデオデコーダ３００の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。ＣＰＢメモリ３２０に記憶されるビデオデータは、たとえば、コンピュータ可読媒体１１０（図１）から取得され得る。ＣＰＢメモリ３２０は、符号化ビデオビットストリームからの符号化ビデオデータ（たとえば、シンタックス要素）を記憶するＣＰＢを含み得る。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００の様々なユニットからの出力を表す一時データなど、コード化ピクチャのシンタックス要素以外のビデオデータを記憶し得る。ＤＰＢ３１４は、概して、ビデオデコーダ３００が符号化ビデオビットストリームの後続のデータまたはピクチャを復号するときに出力しおよび／または参照ビデオデータとして使用し得る復号ピクチャを記憶する。ＣＰＢメモリ３２０およびＤＰＢ３１４は、同期ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（ＳＤＲＡＭ）を含むＤＲＡＭ、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ＣＰＢメモリ３２０とＤＰＢ３１４とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
【0126】
[0132] 追加または代替として、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコード化ビデオデータを取り出し得る。すなわち、メモリ１２０は、ＣＰＢメモリ３２０とともに上記で説明されたようにデータを記憶し得る。同様に、メモリ１２０は、ビデオデコーダ３００の機能の一部または全部が、ビデオデコーダ３００の処理回路によって実行されるべきソフトウェアにおいて実装されたとき、ビデオデコーダ３００によって実行されるべき命令を記憶し得る。
【0127】
[0133] 図７に示されている様々なユニットは、ビデオデコーダ３００によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図６と同様に、固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作に関してプリセットされる。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、１つまたは複数のユニットは、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、１つまたは複数のユニットは、集積回路であり得る。
【0128】
[0134] ビデオデコーダ３００は、ＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオデコーダ３００の動作が、プログラマブル回路上で実行するソフトウェアによって実施される例では、オンチップまたはオフチップメモリは、ビデオデコーダ３００が受信し、実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得る。
【0129】
[0135] エントロピー復号ユニット３０２は、ＣＰＢから符号化ビデオデータを受信し、シンタックス要素を再生するためにビデオデータをエントロピー復号し得る。予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２とは、ビットストリームから抽出されたシンタックス要素に基づいて復号ビデオデータを生成し得る。
【0130】
[0136] 概して、ビデオデコーダ３００は、ブロックごとにピクチャを再構築する。ビデオデコーダ３００は、各ブロックに対して個々に再構築動作を実施し得る（ここで、現在再構築されているブロック、すなわち、現在復号されているブロックは、「現在ブロック」と呼ばれることがある）。
【0131】
[0137] エントロピー復号ユニット３０２は、量子化された変換係数ブロックの量子化された変換係数を定義するシンタックス要素、ならびに量子化パラメータ（ＱＰ）および／または（１つまたは複数の）変換モード指示などの変換情報をエントロピー復号し得る。逆量子化ユニット３０６は、量子化の程度と、同様に、逆量子化ユニット３０６が適用すべき逆量子化の程度とを決定するために、量子化された変換係数ブロックに関連付けられたＱＰを使用し得る。逆量子化ユニット３０６は、量子化された変換係数を逆量子化するために、たとえば、ビット単位の左シフト演算を実施し得る。逆量子化ユニット３０６は、それにより、変換係数を含む変換係数ブロックを形成し得る。
【0132】
[0138] 逆量子化ユニット３０６が変換係数ブロックを形成した後に、逆変換処理ユニット３０８は、現在ブロックに関連付けられた残差ブロックを生成するために、変換係数ブロックに１つまたは複数の逆変換を適用し得る。たとえば、逆変換処理ユニット３０８は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、または別の逆変換を変換係数ブロックに適用し得る。
【0133】
[0139] さらに、予測処理ユニット３０４は、エントロピー復号ユニット３０２によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、予測情報シンタックス要素が、現在ブロックがインター予測されることを示す場合、動き補償ユニット３１６は、予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックをそれから取り出すべきＤＰＢ３１４中の参照ピクチャ、ならびに現在ピクチャ中の現在ブロックのロケーションに対する参照ピクチャ中の参照ブロックのロケーションを識別する動きベクトルを示し得る。動き補償ユニット３１６は、概して、動き補償ユニット２２４（図６）に関して説明されたものと実質的に同様である様式で、インター予測プロセスを実施し得る。
【0134】
[0140] 別の例として、予測情報シンタックス要素が、現在ブロックがイントラ予測されることを示す場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されるイントラ予測モードに従って予測ブロックを生成し得る。この場合も、イントラ予測ユニット３１８は、概して、イントラ予測ユニット２２６（図６）に関して説明されたものと実質的に同様である様式で、イントラ予測プロセスを実施し得る。イントラ予測ユニット３１８は、ＤＰＢ３１４から、現在ブロックに対する隣接サンプルのデータを取り出し得る。
【0135】
[0141] 再構築ユニット３１０は、予測ブロックと残差ブロックとを使用して現在ブロックを再構築し得る。たとえば、再構築ユニット３１０は、現在ブロックを再構築するために、予測ブロックの対応するサンプルに残差ブロックのサンプルを加算し得る。
【0136】
[0142] フィルタユニット３１２は、再構築されたブロックに対して１つまたは複数のフィルタ演算を実施し得る。たとえば、フィルタユニット３１２は、再構築されたブロックのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。フィルタユニット３１２の動作は、必ずしもすべての例において実施されるとは限らない。フィルタユニット３１２は、本開示の技法を適用するように構成され得、たとえば、色成分を最も小さい色成分サイズにサイズ変更し、次いで、サイズ変更された色成分に畳込みニューラルネットワーク（ＣＮＮ）フィルタ３２２を適用するように構成され得る。
【0137】
[0143] 特に、フィルタユニット３１２は、クロマ成分を対応するルーマ成分のサイズにアップサンプリングするのではなく、ＣＮＮフィルタ３２２のうちの１つまたは複数を適用してルーマ成分のサイズをクロマ成分のうちの小さい方のサイズに縮小し得る。すなわち、フィルタユニット３１２は、第１のサイズを有するルーマ成分と、第１のサイズよりも小さい第２のサイズを有するクロマ成分とを受信し得る。フィルタユニット３１２は、ＣＮＮフィルタ３２２の畳込みＮＮフィルタをルーマ成分に適用して、ルーマ成分を第２のサイズにダウンサンプリングし得る。フィルタユニット３１２は、クロマ成分をフィルタ処理して、フィルタ処理されたクロマ成分を形成し得る。フィルタユニット３１２は、次いで、ダウンサンプリングされたルーマ成分をフィルタ処理されたクロマ成分と連結して連結された色成分を形成し、次いで、連結された色成分をフィルタ処理して、フィルタ処理されたダウンサンプリングされた第１の色成分を含むフィルタ処理された連結された成分を形成し得る。さらに、フィルタユニット３１２は、第２のサイズのフィルタ処理されたルーマ成分をアップサンプリングして第１のサイズに戻した後で、ルーマ成分をＤＰＢ２１８に記憶し得る。
【0138】
[0144] 特に、第１の色成分と第２の色成分とは元々、別々のアレイまたは行列に記憶されているものであり得る。色成分を連結するために、フィルタユニット３１２は、個々の色成分の２倍の幅または２倍の高さの、単一のアレイまたは行列を形成し得る。フィルタユニット３１２は、次いで、第１の色成分のサンプルを、新たに形成されたアレイまたは行列の第１の領域に記憶し、第２の色成分のサンプルを、新たに形成されたアレイまたは行列の第２の近隣領域に記憶し得る。３つの色成分が使用されるときは（たとえば、ルーマ、青色相クロマ、および赤色相クロマ）、フィルタユニット３１２は、個々の色成分の３倍の幅または高さの、単一のアレイまたは行列を形成し、３つの色成分の各々のサンプルを、新たに形成されたアレイまたは行列のそれぞれの領域に記憶し得る。
【0139】
[0145] ビデオデコーダ３００は、再構築されたブロックをＤＰＢ３１４に記憶し得る。たとえば、フィルタユニット３１２の動作が実施されない例では、再構築ユニット３１０は、再構築されたブロックをＤＰＢ３１４に記憶し得る。フィルタユニット３１２の動作が実施される例では、フィルタユニット３１２は、フィルタ処理された再構築されたブロックをＤＰＢ３１４に記憶し得る。上記で説明されたように、ＤＰＢ３１４は、イントラ予測のための現在ピクチャのサンプル、および後続の動き補償のための前に復号されたピクチャなど、参照情報を、予測処理ユニット３０４に提供し得る。その上、ビデオデコーダ３００は、ＤＰＢ３１４からの復号ピクチャを、図１のディスプレイデバイス１１８などのディスプレイデバイス上での後続の提示のために、出力し得る。
【0140】
[0146] 図８は、本開示の技法による、ジョイント成分畳込みニューラルネットワーク（ＣＮＮ）フィルタユニット３３０の例を示すブロック図である。図８のＣＮＮフィルタは、フィルタユニット２１６によって実行される図６のＣＮＮフィルタ２３２、または図７のフィルタユニット３１２によって実行されるＣＮＮフィルタ３２２に対応し得る。
【0141】
[0147] この例では、フィルタユニット３３０（たとえば、フィルタユニット２１６または３１２）は、ＣＮＮフィルタ３３２、３３４、３４０、３４２、および３４４と、連結ユニット３３６と、隠れレイヤ（hidden layer）３３８Ａ～３３８Ｎ（隠れレイヤ３３８）と、チャネル加算器３４６、３４８、３５０とを含む。ＣＮＮフィルタ３３２は、水平方向と垂直方向の両方にストライド２の畳込みＮＮ（ＣＮＮ）レイヤを用いて、ルミナンス（ルーマ）成分をダウンサンプリングし得る。すなわち、ＣＮＮフィルタ３３２は、ストライド（２，２）の３×３×Ｍ畳込みＮＮレイヤフィルタをルーマ成分に適用し、次いで、ＰＲｅＬＵ活性化関数をルーマ成分のフィルタ処理されたサンプルに適用し得る。
【0142】
[0148] ＣＮＮフィルタ３３４は、次いで、クロミナンス成分（すなわち、ＣｂおよびＣｒ）をフィルタ処理し、また、ＰＲｅＬＵ活性化関数をクロマ成分のフィルタ処理されたサンプルに適用し得る。連結ユニット３３６は、次いで、ダウンサンプリングされたルーマ成分の結果的な出力をＣＮＮフィルタ３３４の出力と連結して、連結された色成分を形成し得る。次いで、隠れレイヤ３３８は、連結された色成分を入力として使用し得る。最後のレイヤにおいて、ＣＮＮフィルタ３４０は、隠れレイヤ３３８からの出力をアップサンプリングし、次いで、アップサンプリングされたデータをＣＮＮフィルタ３４０に供給して、ルーマ成分出力を生成し得る。同様に、ＣＮＮフィルタ３４２および３４４は、隠れレイヤ３３８の出力の対応するクロマ成分をフィルタ処理し得る。それぞれのチャネル加算器３４６、３４８、３５０は、連結された色成分をそれぞれのルーマ成分およびクロマ成分に分離し得る。
【0143】
[0149] 図８の隠れレイヤ３３８のブロックは、フィルタまたは関数の組合せであり得る。たとえば、隠れレイヤ３３８の各々のブロックは、畳込みＮＮフィルタとそれに加えて活性化関数とを含み得るか、または、図９に示されるような残差処理ユニットであり得る。
【0144】
[0150] 図９は、例示的な残差処理ユニット３６０を示す概念図である。残差処理ユニット３６０は、図８の隠れレイヤ３３８のブロックのうちの１つまたは複数に対応し得る。この例では、残差処理ユニット３６０は、第１の３×３×Ｋ×Ｋ畳込みレイヤ（convolution layer）３６２と、パラメトリック正規化線形ユニット（ＰＲｅＬＵ：parametric rectified linear unit）レイヤ３６４と、第２の３×３×Ｋ×Ｋ畳込みレイヤ３６６と、合計ユニット３６８とを含む。第１の３×３×Ｋ×Ｋ畳込みレイヤ３６２は、受信されたサンプルに第１のＣＮＮフィルタを適用し得、ＰＲｅＬＵレイヤ３６４は、フィルタ処理されたサンプルにＰＲｅＬＵ活性化関数を適用し得、第２の３×３×Ｋ×Ｋ畳込みレイヤ３６６は、ＰＲｅＬＵレイヤ３６４からのフィルタ処理されたサンプルに第２のＣＮＮフィルタを適用し得る。最終的に、合計ユニット３６８は、フィルタ処理されたサンプルを、受信された入力サンプルと結合し得る。
【0145】
[0151] 図１０は、本開示の技法による、ジョイント成分ＣＮＮフィルタユニット３３０’の別の例を示すブロック図である。図１０のＣＮＮフィルタユニット３３０’は、図６のフィルタユニット２１６によって実行されるＣＮＮフィルタ２３２、または図７のフィルタユニット３１２によって実行されるＣＮＮフィルタ３２２に対応し得る。
【0146】
[0152] 図１０の例示的なＣＮＮフィルタユニット３３０’は、図８のＣＮＮフィルタユニット３３０と実質的に同様である。しかし、この例では、ＣＮＮフィルタユニット３３０’は、図８のＣＮＮフィルタユニット３３０のＣＮＮフィルタ３４０の代わりに、ブロック結合ユニット３７０を含む。ブロック結合ユニット３７０は、最後の畳込みＮＮレイヤの出力である４つのＮ×Ｎブロックを結合することによって、隠れレイヤのセットによって出力される２Ｎ×２Ｎルーマブロックを形成し得、最後の畳込みＮＮレイヤはまた、水平方向と垂直方向の両方にストライド２の「ＣｏｎｖＴｒａｎｓｐｏｓｅ２ｄ／Ｄｅ－ｃｏｎｖｏｌｕｔｉｏｎ」演算であることも可能である。
【0147】
[0153] 図１１は、本開示の技法による、現在ブロックを符号化するための例示的な方法を示すフローチャートである。現在ブロックは現在ＣＵを備え得る。ビデオエンコーダ２００（図１および図３）に関して説明されるが、他のデバイスが図１１の方法と同様の方法を実施するように構成され得ることを理解されたい。
【0148】
[0154] この例では、ビデオエンコーダ２００は、最初に、現在ブロックを予測する（３８０）。たとえば、ビデオエンコーダ２００は、現在ブロックのための予測ブロックを形成し得る。ビデオエンコーダ２００は、次いで、現在ブロックのための残差ブロックを計算し得る（３８２）。残差ブロックを計算するために、ビデオエンコーダ２００は、元のコーディングされていないブロックと、現在ブロックのための予測ブロックとの間の差分を計算し得る。ビデオエンコーダ２００は、次いで、残差ブロックの係数を変換し、量子化し得る（３８４）。次に、ビデオエンコーダ２００は、残差ブロックの量子化された変換係数を走査し得る（３８６）。走査中に、または走査に続いて、ビデオエンコーダ２００は、係数をエントロピー符号化し得る（３８８）。たとえば、ビデオエンコーダ２００は、ＣＡＶＬＣまたはＣＡＢＡＣを使用して係数を符号化し得る。ビデオエンコーダ２００は、次いで、ブロックのエントロピー符号化データを出力し得る（３９０）。
【0149】
[0155] ビデオエンコーダ２００はまた、（たとえば、インターまたはイントラ予測モードで）現在ブロックの復号されたバージョンを後でコーディングされるデータのための参照データとして使用するために、現在ブロックを符号化した後で現在ブロックを復号し得る。したがって、ビデオエンコーダ２００は、残差ブロックを再生するために、係数を逆量子化および逆変換し得る（３９２）。ビデオエンコーダ２００は、復号されたブロックを形成するために、残差ブロックを予測ブロックと結合し得る（３９４）。
【0150】
[0156] 本開示の技法によれば、ビデオエンコーダ２００は、復号されたブロックをフィルタ処理および精緻化し得る（３９６）。たとえば、ビデオエンコーダ２００は、畳込みニューラルネットワークフィルタをたとえば使用して、ルミナンス成分をダウンサンプリングし得る。ビデオエンコーダ２００はまた、クロミナンス成分をフィルタ処理し、次いで、ダウンサンプリングされたルーマ成分をフィルタ処理されたクロマ成分と連結し得る。ビデオエンコーダ２００はさらに、連結された色成分をフィルタ処理して、フィルタ処理されたダウンサンプリングされた第１の色成分を含むフィルタ処理された連結された成分を形成し得る。ビデオエンコーダ２００はさらに、連結された色成分をフィルタ処理し、次いで、フィルタ処理されたルーマ成分をその元のサイズにアップサンプリングし得る。ビデオエンコーダ２００は、次いで、フィルタ処理された復号されたブロックをＤＰＢ２１８に記憶し得る（３９８）。
【0151】
[0157] このようにして、図１１の方法は、復号されたビデオデータをフィルタ処理する方法の例を表し、この方法は、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用することと、ブロックの第１の色成分が第１のサイズを有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する；フィルタ処理された第２の色成分を形成するために、第２のサイズを有する第２の色成分をフィルタ処理することと；連結された色成分を形成するために、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結することと；連結された色成分をフィルタ処理することとを含む。
【0152】
[0158] 図１２は、本開示の技法による、現在ブロックを復号するための例示的な方法を示すフローチャートである。現在ブロックは、現在ＣＵを備え得る。ビデオデコーダ３００（図１および図４）に関して説明されるが、他のデバイスが図１２の方法と同様の方法を実施するように構成され得ることを理解されたい。
【0153】
[0159] ビデオデコーダ３００は、エントロピー符号化予測情報、および現在ブロックに対応する残差ブロックの係数についてのエントロピー符号化データなど、現在ブロックについてのエントロピー符号化データを受信し得る（４００）。ビデオデコーダ３００は、現在ブロックのための予測情報を決定するために、および残差ブロックの係数を再生するために、エントロピー符号化データをエントロピー復号し得る（４０２）。ビデオデコーダ３００は、現在ブロックのための予測ブロックを計算するために、たとえば、現在ブロックのための予測情報によって示されるイントラ予測またはインター予測モードを使用して、現在ブロックを予測し得る（４０４）。ビデオデコーダ３００は、次いで、量子化された変換係数のブロックを作成するために、再生された係数を逆走査し得る（４０６）。ビデオデコーダ３００は、次いで、残差ブロックを生成するために、量子化された変換係数を逆量子化し、逆変換し得る（４０８）。ビデオデコーダ３００は、予測ブロックと残差ブロックとを組み合わせることによって、最終的に現在ブロックを復号し得る（４１０）。
【0154】
[0160] ビデオデコーダ３００はまた、本開示の技法により上で論じられたように、畳込みＮＮフィルタをたとえば使用して、復号されたビデオデータをフィルタ処理し得る（４１２）。たとえば、ビデオデコーダ３００は、畳込みニューラルネットワークフィルタをたとえば使用して、ルミナンス成分をダウンサンプリングし得る。ビデオデコーダ３００はまた、クロミナンス成分をフィルタ処理し、次いで、ダウンサンプリングされたルーマ成分をフィルタ処理されたクロマ成分と連結し得る。ビデオデコーダ３００はさらに、連結された色成分をフィルタ処理し得る。ビデオデコーダ３００はさらに、連結された色成分をフィルタ処理し、次いで、フィルタ処理されたルーマ成分をその元のサイズにアップサンプリングし得る。ビデオデコーダ３００は、次いで、フィルタ処理された復号されたブロックをＤＰＢ２１８に記憶し得る（４１４）。
【0155】
[0161] このようにして、図１２の方法は、復号されたビデオデータをフィルタ処理する方法の例を表し、この方法は、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用することと、ブロックの第１の色成分が第１のサイズを有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する；フィルタ処理された第２の色成分を形成するために、第２のサイズを有する第２の色成分をフィルタ処理することと；連結された色成分を形成するために、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結することと；連結された色成分をフィルタ処理することとを含む。
【0156】
[0162] 図１３は、本開示の技法による、復号されたビデオデータをフィルタ処理する例示的な方法を示すフローチャートである。ビデオエンコーダ２００、ビデオデコーダ３００、またはビデオコーダ１３０が、図１３の方法を実施し得る。例の目的で、図１３の方法は、ビデオデコーダ３００に関して説明される。
【0157】
[0163] 最初に、ビデオデコーダ３００は、ビデオデータを受信して復号し得る。復号されたビデオデータは、ルミナンス（ルーマ）成分と、２つのクロミナンス（クロマ）成分（たとえば、ＣｂおよびＣｒデータ）とを含み得る。この例では、これらの成分の各々は異なるサイズを有すると仮定される。すなわち、ルーマ成分は第１のサイズを有し、第１のクロマ成分は第２のサイズを有し、第２のクロマ成分は第３のサイズを有し、第２のサイズは第１のサイズよりも小さく、第３のサイズは第２のサイズよりも小さいと仮定される。たとえば、ビデオデータは、この例では４：２：０フォーマットを有し得る。
【0158】
[0164] ビデオデコーダ３００は、ダウンサンプリングＣＮＮレイヤをルーマ成分に適用し（４２０）、第３のサイズを有するダウンサンプリングされたルーマ成分を生成し得る。ビデオデコーダ３００はまた、ダウンサンプリングＣＮＮレイヤ（または異なるダウンサンプリングＣＮＮレイヤ）を第１のクロマ成分に適用し（４２２）、第３のサイズを有する第１のダウンサンプリングされたクロマ成分を生成し得る。ビデオデコーダ３００は、次いで、ＣＮＮフィルタをたとえば使用して、第１のダウンサンプリングされたクロマ成分と第２のクロマ成分とをフィルタ処理し得る（４２４）。
【0159】
[0165] ビデオデコーダ３００は、次いで、ルーマおよびクロマ成分を連結し（４２６）、連結された色成分を生成し得る。ビデオデコーダ３００は、次いで、ＣＮＮフィルタ（図８および図１０の隠れレイヤ３３８など）をたとえば使用して、連結された色成分をフィルタ処理し得る（４２８）。
【0160】
[0166] ビデオデコーダ３００は、次いで、フィルタ処理された連結された色成分のルーマ成分を第１のサイズにアップサンプリングし（４３０）、フィルタ処理された連結された色成分の第１のクロマ成分を第２のサイズにアップサンプリングし得る（４３２）。ビデオデコーダ３００は、次いで、成分をＤＰＢ３１４に記憶し、成分を出力し得る（４３４）。
【0161】
[0167] このようにして、図１３の方法は、復号されたビデオデータをフィルタ処理する方法の例を表し、この方法は、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用することと、ブロックの第１の色成分が第１のサイズを有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する；フィルタ処理された第２の色成分を形成するために、第２のサイズを有する第２の色成分をフィルタ処理することと；連結された色成分を形成するために、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結することと；連結された色成分をフィルタ処理することとを含む。
【0162】
[0168] 図１４は、本開示の技法による、復号されたビデオデータをフィルタ処理する例示的な方法を示すフローチャートである。ビデオエンコーダ２００、ビデオデコーダ３００、またはビデオコーダ１３０が、図１４の方法を実施し得る。例の目的で、図１４の方法は、ビデオデコーダ３００に関して説明される。
【0163】
[0169] 最初に、ビデオデコーダ３００は、ビデオデータを受信して復号し得る。復号されたビデオデータは、ルミナンス（ルーマ）成分と、２つのクロミナンス（クロマ）成分（たとえば、ＣｂおよびＣｒデータ）とを含み得る。この例では、ルーマ成分は第１のサイズを有し、第１のクロマ成分および第２のクロマ成分は第２のサイズを有し、第２のサイズは第１のサイズよりも小さいと仮定される。たとえば、ビデオデータは、この例では４：２：０フォーマットまたは４：２：２フォーマットを有し得る。
【0164】
[0170] ビデオデコーダ３００は、ダウンサンプリングＣＮＮレイヤをルーマ成分に適用し（４４０）、第２のサイズを有するダウンサンプリングされたルーマ成分を生成し得る。ビデオデコーダ３００は、次いで、ＣＮＮフィルタをたとえば使用して、第１のクロマ成分と第２のクロマ成分とをフィルタ処理し得る（４４２）。
【0165】
[0171] ビデオデコーダ３００は、次いで、ルーマおよびクロマ成分を連結し（４４４）、連結された色成分を生成し得る。ビデオデコーダ３００は、次いで、ＣＮＮフィルタ（図８および図１０の隠れレイヤ３３８など）をたとえば使用して、連結された色成分をフィルタ処理し得る（４４６）。
【0166】
[0172] ビデオデコーダ３００は、次いで、フィルタ処理された連結された色成分のルーマ成分を第１のサイズにアップサンプリングし得る（４４８）。ビデオデコーダ３００は、次いで、成分をＤＰＢ３１４に記憶し、成分を出力し得る（４５０）。
【0167】
[0173] このようにして、図１４の方法は、復号されたビデオデータをフィルタ処理する方法の例を表し、この方法は、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用することと、ブロックの第１の色成分が第１のサイズを有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する；フィルタ処理された第２の色成分を形成するために、第２のサイズを有する第２の色成分をフィルタ処理することと；連結された色成分を形成するために、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結することと；連結された色成分をフィルタ処理することとを含む。
【0168】
[0174] 本開示の技法のいくつかの例が、次の条項において要約される。
【0169】
[0175] 条項１：復号されたビデオデータをフィルタ処理する方法であって、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用することと、ブロックの第１の色成分が第１のサイズを有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第２のサイズを有するダウンサンプリングされた第１の色成分を生成する；１つまたは複数の畳込みニューラルネットワークレイヤフィルタ（convolutional neural network layer filter）を使用してダウンサンプリングされた第１の色成分をフィルタ処理することと；１つまたは複数の畳込みニューラルネットワークレイヤフィルタを使用してビデオデータのブロックの第２の色成分をフィルタ処理することとを備える方法。
【0170】
[0176] 条項２：フィルタ処理されたダウンサンプリングされた第１の色成分を第１のサイズにアップサンプリングすることをさらに備える、条項１に記載の方法。
【0171】
[0177] 条項３：第１のサイズを有するアップサンプリングされた第１の色成分（upsampled first color component）を生成するために、フィルタ処理されたダウンサンプリングされたブロックを含む第１の色成分の２つ以上のフィルタ処理されたダウンサンプリングされたブロックを結合する（combine）ことをさらに備える、条項１に記載の方法。
【0172】
[0178] 条項４：第１のサイズが２Ｎ×２Ｎを備え、第１の色成分の２つ以上のフィルタ処理されたダウンサンプリングされたブロックが、第１の色成分の４つのＮ×Ｎフィルタ処理されたダウンサンプリングされたブロックを備える、条項３に記載の方法。
【0173】
[0179] 条項５：ダウンサンプリング畳込みニューラルネットワークレイヤが、ストライド２の３×３×Ｍ畳込みニューラルネットワークレイヤフィルタを備える、条項１から４のいずれかに記載の方法。
【0174】
[0180] 条項６：１つまたは複数の畳込みニューラルネットワークレイヤフィルタが残差処理ユニットを備える、条項１から５のいずれかに記載の方法。
【0175】
[0181] 条項７：残差処理ユニットが、第１の３×３×Ｋ×Ｋ畳込みレイヤと、ＰＲｅＬＵレイヤと、第２の３×３×Ｋ×Ｋ畳込みレイヤとを備える、条項６に記載の方法。
【0176】
[0182] 条項８：ダウンサンプリングされた第１の色成分を第２の色成分と連結することをさらに備える、条項１から７のいずれかに記載の方法。
【0177】
[0183] 条項９：１つまたは複数の畳込みニューラルネットワークレイヤフィルタを使用してビデオデータのブロックの第３の色成分（third color component）をフィルタ処理することをさらに備える、条項１から８のいずれかに記載の方法。
【0178】
[0184] 条項１０：第２のサイズが、第２の色成分のサイズと第３の色成分のサイズとのうちの小さい方を備える、条項９に記載の方法。
【0179】
[0185] 条項１１：第１の色成分がルミナンス成分（luminance component）を備え、第２の色成分が青色相クロミナンス成分（blue hue chrominance component）と赤色相クロマクロミナンス成分（red hue chroma chrominance component）とのうちの一方を備える、条項１から１０のいずれかに記載の方法。
【0180】
[0186] 条項１２：ビデオデータを復号するためのデバイスであって、条項１から１１のいずれかに記載の方法を実施するための１つまたは複数の手段を備えるデバイス。
【0181】
[0187] 条項１３：１つまたは複数の手段が、回路中に実装された１つまたは複数のプロセッサを備える、条項１２に記載のデバイス。
【0182】
[0188] 条項１４：復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、条項１２に記載のデバイス。
【0183】
[0189] 条項１５：カメラと、コンピュータと、モバイルデバイスと、ブロードキャスト受信機デバイスと、セットトップボックスとのうちの１つまたは複数を備える、条項１２に記載のデバイス。
【0184】
[0190] 条項１６：ビデオデータを記憶するように構成されたメモリをさらに備える、条項１２に記載のデバイス。
【0185】
[0191] 条項１７：命令を記憶したコンピュータ可読記憶媒体であって、命令が、実行されたときに条項１から１１のいずれかに記載の方法をプロセッサに実施させる、コンピュータ可読記憶媒体。
【0186】
[0192] 条項１８：復号されたビデオデータをフィルタ処理する方法であって、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用することと、ブロックの第１の色成分が第１のサイズを有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する；フィルタ処理された第２の色成分を形成するために、第２のサイズを有する第２の色成分をフィルタ処理することと；連結された色成分を形成するために、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結することと；連結された色成分をフィルタ処理することとを備える方法。
【0187】
[0193] 条項１９：フィルタ処理されたダウンサンプリングされた第１の色成分を第１のサイズにアップサンプリングすることをさらに備える、条項１８に記載の方法。
【0188】
[0194] 条項２０：第１のサイズを有するアップサンプリングされた第１の色成分を生成するために、フィルタ処理されたダウンサンプリングされたブロックを含む第１の色成分の２つ以上のフィルタ処理されたダウンサンプリングされたブロックを結合することをさらに備える、条項１８に記載の方法。
【0189】
[0195] 条項２１：第１のサイズが２Ｎ×２Ｎを備え、第１の色成分の２つ以上のフィルタ処理されたダウンサンプリングされたブロックが、第１の色成分の４つのＮ×Ｎフィルタ処理されたダウンサンプリングされたブロックを備える、条項２０に記載の方法。
【0190】
[0196] 条項２２：ダウンサンプリング畳込みニューラルネットワークレイヤが、ストライド２の３×３×Ｍ畳込みニューラルネットワークレイヤフィルタを備える、条項１８に記載の方法。
【0191】
[0197] 条項２３：１つまたは複数の畳込みニューラルネットワークレイヤフィルタが残差処理ユニットを備える、条項１８に記載の方法。
【0192】
[0198] 条項２４：残差処理ユニットが、第１の３×３×Ｋ×Ｋ畳込みレイヤと、ＰＲｅＬＵレイヤと、第２の３×３×Ｋ×Ｋ畳込みレイヤとを備える、条項２３に記載の方法。
【0193】
[0199] 条項２５：１つまたは複数の畳込みニューラルネットワークレイヤフィルタを使用してビデオデータのブロックの第３の色成分をフィルタ処理することをさらに備える、条項１８に記載の方法。
【0194】
[0200] 条項２６：第２のサイズが、第２の色成分のサイズと第３の色成分のサイズとのうちの小さい方を備える、条項２５に記載の方法。
【0195】
[0201] 条項２７：第１の色成分がルミナンス成分を備え、第２の色成分が青色相クロミナンス成分と赤色相クロマクロミナンス成分とのうちの一方を備える、条項１８に記載の方法。
【0196】
[0202] 条項２８：第２の色成分をフィルタ処理することが、畳込みニューラルネットワークフィルタを使用して第２の色成分をフィルタ処理することを備える、条項１８に記載の方法。
【0197】
[0203] 条項２９：連結された色成分をフィルタ処理することが、畳込みニューラルネットワークフィルタを使用して連結された色成分をフィルタ処理することを備える、条項１８に記載の方法。
【0198】
[0204] 条項３０：ビデオデータを復号するためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、回路中に実装された１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサが、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用することと、ブロックの第１の色成分が第１のサイズを有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する；フィルタ処理された第２の色成分を形成するために、第２のサイズを有する第２の色成分をフィルタ処理することと；連結された色成分を形成するために、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結することと；連結された色成分をフィルタ処理することとを行うように構成された、デバイス。
【0199】
[0205] 条項３１：１つまたは複数のプロセッサが、フィルタ処理されたダウンサンプリングされた第１の色成分を第１のサイズにアップサンプリングするようにさらに構成された、条項３０に記載のデバイス。
【0200】
[0206] 条項３２：１つまたは複数のプロセッサが、第１のサイズを有するアップサンプリングされた第１の色成分を生成するために、フィルタ処理されたダウンサンプリングされたブロックを含む第１の色成分の２つ以上のフィルタ処理されたダウンサンプリングされたブロックを結合するようにさらに構成された、条項３０に記載のデバイス。
【0201】
[0207] 条項３３：第１のサイズが２Ｎ×２Ｎを備え、第１の色成分の２つ以上のフィルタ処理されたダウンサンプリングされたブロックが、第１の色成分の４つのＮ×Ｎフィルタ処理されたダウンサンプリングされたブロックを備える、条項３２に記載のデバイス。
【0202】
[0208] 条項３４：ダウンサンプリング畳込みニューラルネットワークレイヤが、ストライド２の３×３×Ｍ畳込みニューラルネットワークレイヤフィルタを備える、条項３０に記載のデバイス。
【0203】
[0209] 条項３５：１つまたは複数の畳込みニューラルネットワークレイヤフィルタが残差処理ユニットを備える、条項３０に記載のデバイス。
【0204】
[0210] 条項３６：残差処理ユニットが、第１の３×３×Ｋ×Ｋ畳込みレイヤと、ＰＲｅＬＵレイヤと、第２の３×３×Ｋ×Ｋ畳込みレイヤとを備える、条項３５に記載のデバイス。
【0205】
[0211] 条項３７：１つまたは複数のプロセッサが、１つまたは複数の畳込みニューラルネットワークレイヤフィルタを使用してビデオデータのブロックの第３の色成分をフィルタ処理するようにさらに構成された、条項３０に記載のデバイス。
【0206】
[0212] 条項３８：第２のサイズが、第２の色成分のサイズと第３の色成分のサイズとのうちの小さい方を備える、条項３７に記載のデバイス。
【0207】
[0213] 条項３９：第１の色成分がルミナンス成分を備え、第２の色成分が青色相クロミナンス成分と赤色相クロマクロミナンス成分とのうちの一方を備える、条項３０に記載のデバイス。
【0208】
[0214] 条項４０：１つまたは複数のプロセッサが、畳込みニューラルネットワークフィルタを使用して第２の色成分をフィルタ処理するように構成された、条項３０に記載のデバイス。
【0209】
[0215] 条項４１：１つまたは複数のプロセッサが、畳込みニューラルネットワークフィルタを使用して連結された色成分をフィルタ処理するように構成された、条項３０に記載のデバイス。
【0210】
[0216] 条項４２：連結された色成分に対応するビデオデータを表示するように構成されたディスプレイをさらに備える、条項３０に記載のデバイス。
【0211】
[0217] 条項４３：カメラと、コンピュータと、モバイルデバイスと、ブロードキャスト受信機デバイスと、セットトップボックスとのうちの１つまたは複数を備える、条項３０に記載のデバイス。
【0212】
[0218] 条項４４：命令を記憶したコンピュータ可読記憶媒体であって、命令が、実行されたとき、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用することと、ブロックの第１の色成分が第１のサイズを有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する；フィルタ処理された第２の色成分を形成するために、第２のサイズを有する第２の色成分をフィルタ処理することと；連結された色成分を形成するために、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結することと；連結された色成分をフィルタ処理することとをプロセッサに行わせる、コンピュータ可読記憶媒体。
【0213】
[0219] 条項４５：フィルタ処理されたダウンサンプリングされた第１の色成分を第１のサイズにアップサンプリングすることをプロセッサに行わせる命令をさらに備える、条項４４に記載のコンピュータ可読記憶媒体。
【0214】
[0220] 条項４６：第１のサイズを有するアップサンプリングされた第１の色成分を生成するために、フィルタ処理されたダウンサンプリングされたブロックを含む第１の色成分の２つ以上のフィルタ処理されたダウンサンプリングされたブロックを結合することをプロセッサに行わせる命令をさらに備える、条項４４に記載のコンピュータ可読記憶媒体。
【0215】
[0221] 条項４７：第１のサイズが２Ｎ×２Ｎを備え、第１の色成分の２つ以上のフィルタ処理されたダウンサンプリングされたブロックが、第１の色成分の４つのＮ×Ｎフィルタ処理されたダウンサンプリングされたブロックを備える、条項４６に記載のコンピュータ可読記憶媒体。
【0216】
[0222] 条項４８：ダウンサンプリング畳込みニューラルネットワークレイヤが、ストライド２の３×３×Ｍ畳込みニューラルネットワークレイヤフィルタを備える、条項４４に記載のコンピュータ可読記憶媒体。
【0217】
[0223] 条項４９：１つまたは複数の畳込みニューラルネットワークレイヤフィルタが、第１の３×３×Ｋ×Ｋ畳込みレイヤと、ＰＲｅＬＵレイヤと、第２の３×３×Ｋ×Ｋ畳込みレイヤとを備える、条項４４に記載のコンピュータ可読記憶媒体。
【0218】
[0224] 条項５０：１つまたは複数のプロセッサが、１つまたは複数の畳込みニューラルネットワークレイヤフィルタを使用してビデオデータのブロックの第３の色成分をフィルタ処理するようにさらに構成された、条項４４に記載のコンピュータ可読記憶媒体。
【0219】
[0225] 条項５１：第２のサイズが、第２の色成分のサイズと第３の色成分のサイズとのうちの小さい方を備える、条項５０に記載のコンピュータ可読記憶媒体。
【0220】
[0226] 条項５２：第１の色成分がルミナンス成分を備え、第２の色成分が青色相クロミナンス成分と赤色相クロマクロミナンス成分とのうちの一方を備える、条項４４に記載のコンピュータ可読記憶媒体。
【0221】
[0227] 条項５３：第２の色成分をフィルタ処理することをプロセッサに行わせる命令が、畳込みニューラルネットワークフィルタを使用して第２の色成分をフィルタ処理することをプロセッサに行わせる命令を備える、条項４４に記載のコンピュータ可読記憶媒体。
【0222】
[0228] 条項５４：第２の色成分をフィルタ処理することをプロセッサに行わせる命令が、畳込みニューラルネットワークフィルタを使用して連結された色成分をフィルタ処理することをプロセッサに行わせる命令を備える、条項４４に記載のコンピュータ可読記憶媒体。
【0223】
[0229] 条項５５：復号されたビデオデータをフィルタ処理するためのデバイスであって、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用するための手段と、ブロックの第１の色成分が第１のサイズを有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する；フィルタ処理された第２の色成分を形成するために、第２のサイズを有する第２の色成分をフィルタ処理するための手段と；連結された色成分を形成するために、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結するための手段と；連結された色成分をフィルタ処理するための手段とを備えるデバイス。
【0224】
[0230] 条項５６：第２の色成分をフィルタ処理するための手段が、畳込みニューラルネットワークフィルタを使用して第２の色成分をフィルタ処理するための手段を備える、条項５５に記載のデバイス。
【0225】
[0231] 条項５７：連結された色成分をフィルタ処理するための手段が、畳込みニューラルネットワークフィルタを使用して連結された色成分をフィルタ処理するための手段を備える、条項５５に記載のデバイス。
【0226】
[0232] 条項５８：復号されたビデオデータをフィルタ処理する方法であって、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用することと、ブロックの第１の色成分が第１のサイズを有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する；フィルタ処理された第２の色成分を形成するために、第２のサイズを有する第２の色成分をフィルタ処理することと；連結された色成分を形成するために、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結することと；連結された色成分をフィルタ処理することとを備える方法。
【0227】
[0233] 条項５９：フィルタ処理されたダウンサンプリングされた第１の色成分を第１のサイズにアップサンプリングすることをさらに備える、条項５８に記載の方法。
【0228】
[0234] 条項６０：第１のサイズを有するアップサンプリングされた第１の色成分を生成するために、フィルタ処理されたダウンサンプリングされたブロックを含む第１の色成分の２つ以上のフィルタ処理されたダウンサンプリングされたブロックを結合することをさらに備える、条項５８に記載の方法。
【0229】
[0235] 条項６１：第１のサイズが２Ｎ×２Ｎを備え、第１の色成分の２つ以上のフィルタ処理されたダウンサンプリングされたブロックが、第１の色成分の４つのＮ×Ｎフィルタ処理されたダウンサンプリングされたブロックを備える、条項６０に記載の方法。
【0230】
[0236] 条項６２：ダウンサンプリング畳込みニューラルネットワークレイヤが、ストライド２の３×３×Ｍ畳込みニューラルネットワークレイヤフィルタを備える、条項５８から６１のいずれかに記載の方法。
【0231】
[0237] 条項６３：１つまたは複数の畳込みニューラルネットワークレイヤフィルタが残差処理ユニットを備える、条項５８から６２のいずれかに記載の方法。
【0232】
[0238] 条項６４：残差処理ユニットが、第１の３×３×Ｋ×Ｋ畳込みレイヤと、ＰＲｅＬＵレイヤと、第２の３×３×Ｋ×Ｋ畳込みレイヤとを備える、条項６３に記載の方法。
【0233】
[0239] 条項６５：１つまたは複数の畳込みニューラルネットワークレイヤフィルタを使用してビデオデータのブロックの第３の色成分をフィルタ処理することをさらに備える、条項５８から６４のいずれかに記載の方法。
【0234】
[0240] 条項６６：第２のサイズが、第２の色成分のサイズと第３の色成分のサイズとのうちの小さい方を備える、条項６５に記載の方法。
【0235】
[0241] 条項６７：第１の色成分がルミナンス成分を備え、第２の色成分が青色相クロミナンス成分と赤色相クロマクロミナンス成分とのうちの一方を備える、条項５８から６６のいずれかに記載の方法。
【0236】
[0242] 条項６８：第２の色成分をフィルタ処理することが、畳込みニューラルネットワークフィルタを使用して第２の色成分をフィルタ処理することを備える、条項５８から６７のいずれかに記載の方法。
【0237】
[0243] 条項６９：連結された色成分をフィルタ処理することが、畳込みニューラルネットワークフィルタを使用して連結された色成分をフィルタ処理することを備える、条項５８から６８のいずれかに記載の方法。
【0238】
[0244] 条項７０：ビデオデータを復号するためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、回路中に実装された１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサが、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用することと、ブロックの第１の色成分が第１のサイズを有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する；フィルタ処理された第２の色成分を形成するために、第２のサイズを有する第２の色成分をフィルタ処理することと；連結された色成分を形成するために、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結することと；連結された色成分をフィルタ処理することとを行うように構成された、デバイス。
【0239】
[0245] 条項７１：１つまたは複数のプロセッサが、フィルタ処理されたダウンサンプリングされた第１の色成分を第１のサイズにアップサンプリングするようにさらに構成された、条項７０に記載のデバイス。
【0240】
[0246] 条項７２：１つまたは複数のプロセッサが、第１のサイズを有するアップサンプリングされた第１の色成分を生成するために、フィルタ処理されたダウンサンプリングされたブロックを含む第１の色成分の２つ以上のフィルタ処理されたダウンサンプリングされたブロックを結合するようにさらに構成された、条項７０に記載のデバイス。
【0241】
[0247] 条項７３：第１のサイズが２Ｎ×２Ｎを備え、第１の色成分の２つ以上のフィルタ処理されたダウンサンプリングされたブロックが、第１の色成分の４つのＮ×Ｎフィルタ処理されたダウンサンプリングされたブロックを備える、条項７２に記載のデバイス。
【0242】
[0248] 条項７４：ダウンサンプリング畳込みニューラルネットワークレイヤが、ストライド２の３×３×Ｍ畳込みニューラルネットワークレイヤフィルタを備える、条項７０から７３のいずれかに記載のデバイス。
【0243】
[0249] 条項７５：１つまたは複数の畳込みニューラルネットワークレイヤフィルタが残差処理ユニットを備える、条項７０から７４のいずれかに記載のデバイス。
【0244】
[0250] 条項７６：残差処理ユニットが、第１の３×３×Ｋ×Ｋ畳込みレイヤと、ＰＲｅＬＵレイヤと、第２の３×３×Ｋ×Ｋ畳込みレイヤとを備える、条項７５に記載のデバイス。
【0245】
[0251] 条項７７：１つまたは複数のプロセッサが、１つまたは複数の畳込みニューラルネットワークレイヤフィルタを使用してビデオデータのブロックの第３の色成分をフィルタ処理するようにさらに構成された、条項７０から７６のいずれかに記載のデバイス。
【0246】
[0252] 条項７８：第２のサイズが、第２の色成分のサイズと第３の色成分のサイズとのうちの小さい方を備える、条項７７に記載のデバイス。
【0247】
[0253] 条項７９：第１の色成分がルミナンス成分を備え、第２の色成分が青色相クロミナンス成分と赤色相クロマクロミナンス成分とのうちの一方を備える、条項７０から７８のいずれかに記載のデバイス。
【0248】
[0254] 条項８０：１つまたは複数のプロセッサが、畳込みニューラルネットワークフィルタを使用して第２の色成分をフィルタ処理するように構成された、条項７０から７９のいずれかに記載のデバイス。
【0249】
[0255] 条項８１：１つまたは複数のプロセッサが、畳込みニューラルネットワークフィルタを使用して連結された色成分をフィルタ処理するように構成された、条項７０から８０のいずれかに記載のデバイス。
【0250】
[0256] 条項８２：連結された色成分に対応するビデオデータを表示するように構成されたディスプレイをさらに備える、条項７０から８１のいずれかに記載のデバイス。
【0251】
[0257] 条項８３：カメラと、コンピュータと、モバイルデバイスと、ブロードキャスト受信機デバイスと、セットトップボックスとのうちの１つまたは複数を備える、条項７０から８２のいずれかに記載のデバイス。
【0252】
[0258] 条項８４：命令を記憶したコンピュータ可読記憶媒体であって、命令が、実行されたとき、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用することと、ブロックの第１の色成分が第１のサイズを有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する；フィルタ処理された第２の色成分を形成するために、第２のサイズを有する第２の色成分をフィルタ処理することと；連結された色成分を形成するために、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結することと；連結された色成分をフィルタ処理することとをプロセッサに行わせる、コンピュータ可読記憶媒体。
【0253】
[0259] 条項８５：フィルタ処理されたダウンサンプリングされた第１の色成分を第１のサイズにアップサンプリングすることをプロセッサに行わせる命令をさらに備える、条項８４に記載のコンピュータ可読記憶媒体。
【0254】
[0260] 条項８６：第１のサイズを有するアップサンプリングされた第１の色成分を生成するために、フィルタ処理されたダウンサンプリングされたブロックを含む第１の色成分の２つ以上のフィルタ処理されたダウンサンプリングされたブロックを結合することをプロセッサに行わせる命令をさらに備える、条項８４に記載のコンピュータ可読記憶媒体。
【0255】
[0261] 条項８７：第１のサイズが２Ｎ×２Ｎを備え、第１の色成分の２つ以上のフィルタ処理されたダウンサンプリングされたブロックが、第１の色成分の４つのＮ×Ｎフィルタ処理されたダウンサンプリングされたブロックを備える、条項８６に記載のコンピュータ可読記憶媒体。
【0256】
[0262] 条項８８：ダウンサンプリング畳込みニューラルネットワークレイヤが、ストライド２の３×３×Ｍ畳込みニューラルネットワークレイヤフィルタを備える、条項８４から８７のいずれかに記載のコンピュータ可読記憶媒体。
【0257】
[0263] 条項８９：１つまたは複数の畳込みニューラルネットワークレイヤフィルタが、第１の３×３×Ｋ×Ｋ畳込みレイヤと、ＰＲｅＬＵレイヤと、第２の３×３×Ｋ×Ｋ畳込みレイヤとを備える、条項８４から８８のいずれかに記載のコンピュータ可読記憶媒体。
【0258】
[0264] 条項９０：１つまたは複数のプロセッサが、１つまたは複数の畳込みニューラルネットワークレイヤフィルタを使用してビデオデータのブロックの第３の色成分をフィルタ処理するようにさらに構成された、条項８４から８９のいずれかに記載のコンピュータ可読記憶媒体。
【0259】
[0265] 条項９１：第２のサイズが、第２の色成分のサイズと第３の色成分のサイズとのうちの小さい方を備える、条項９０に記載のコンピュータ可読記憶媒体。
【0260】
[0266] 条項９２：第１の色成分がルミナンス成分を備え、第２の色成分が青色相クロミナンス成分と赤色相クロマクロミナンス成分とのうちの一方を備える、条項８４から９１のいずれかに記載のコンピュータ可読記憶媒体。
【0261】
[0267] 条項９３：第２の色成分をフィルタ処理することをプロセッサに行わせる命令が、畳込みニューラルネットワークフィルタを使用して第２の色成分をフィルタ処理することをプロセッサに行わせる命令を備える、条項８４から９２のいずれかに記載のコンピュータ可読記憶媒体。
【0262】
[0268] 条項９４：第２の色成分をフィルタ処理することをプロセッサに行わせる命令が、畳込みニューラルネットワークフィルタを使用して連結された色成分をフィルタ処理することをプロセッサに行わせる命令を備える、条項８４から９３のいずれかに記載のコンピュータ可読記憶媒体。
【0263】
[0269] 条項９５：復号されたビデオデータをフィルタ処理するためのデバイスであって、ダウンサンプリング畳込みニューラルネットワークレイヤをビデオデータのブロックの第１の色成分に適用するための手段と、ブロックの第１の色成分が第１のサイズを有する、ここにおいて、ダウンサンプリング畳込みニューラルネットワークレイヤを第１の色成分に適用することが、第１のサイズよりも小さい第２のサイズを有するダウンサンプリングされた第１の色成分を生成する；フィルタ処理された第２の色成分を形成するために、第２のサイズを有する第２の色成分をフィルタ処理するための手段と；連結された色成分を形成するために、ダウンサンプリングされた第１の色成分をフィルタ処理された第２の色成分と連結するための手段と；連結された色成分をフィルタ処理するための手段とを備えるデバイス。
【0264】
[0270] 条項９６：第２の色成分をフィルタ処理するための手段が、畳込みニューラルネットワークフィルタを使用して第２の色成分をフィルタ処理するための手段を備える、条項９５に記載のデバイス。
【0265】
[0271] 条項９７：連結された色成分をフィルタ処理するための手段が、畳込みニューラルネットワークフィルタを使用して連結された色成分をフィルタ処理するための手段を備える、条項９５および９６のいずれかに記載のデバイス。
【0266】
[0272] 上記例に応じて、本明細書で説明された技法のいずれかのいくつかの行為またはイベントは、異なるシーケンスで実施され得、追加、マージ、または完全に除外され得る（たとえば、すべての説明された行為またはイベントが本技法の実践のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に実施され得る。
【0267】
[0273] １つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
【0268】
[0274] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ－ｒａｙディスク（disc）を含み、ここで、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【0269】
[0275] 命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは他の等価な集積またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」および「処理回路」という用語は、上記の構造、または本明細書で説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に提供されるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。
【0270】
[0276] 本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示される技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットが説明されたが、それらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明されたように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって提供され得る。
【0271】
[0277] 様々な例が説明された。これらおよび他の例は以下の特許請求の範囲内に入る。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【国際調査報告】