特表 2023-544711 メタデータを用いた圧縮ビデオのループ内及びポストフィルタリングの空間解像度適合

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-25

(54)【発明の名称】メタデータを用いた圧縮ビデオのループ内及びポストフィルタリングの空間解像度適合

(51)【国際特許分類】

   H04N 19/117 20140101AFI20231018BHJP

   H04N 19/82 20140101ALI20231018BHJP

   H04N 19/70 20140101ALI20231018BHJP

   H04N 19/172 20140101ALI20231018BHJP

   H04N 19/59 20140101ALI20231018BHJP

【ＦＩ】

H04N19/117

H04N19/82

H04N19/70

H04N19/172

H04N19/59

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023519596

(86)(22)【出願日】2021-09-29

(85)【翻訳文提出日】2023-05-08

(86)【国際出願番号】 EP2021076733

(87)【国際公開番号】W WO2022073811

(87)【国際公開日】2022-04-14

(31)【優先権主張番号】20306158.5

(32)【優先日】2020-10-06

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

２．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】521557230

【氏名又は名称】インターデジタル ヴイシー ホールディングス フランス，エスエーエス

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】フランソワ、エドゥアール

(72)【発明者】

【氏名】シャマレ、クリステル

(72)【発明者】

【氏名】ラインハルト、エリック

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME01

5C159RC12

5C159TA06

5C159TA68

5C159TB04

5C159TC31

5C159TC34

5C159UA02

5C159UA16

5C159UA18

(57)【要約】

ピクチャをビデオ復号するための方法であって、ピクチャを第１の空間解像度で再構成すること（７０１）と、再構成されたピクチャの少なくとも一部に少なくともループ内フィルタリング及び／又はポストフィルタリングを第１の解像度とは異なる第２の空間解像度で適用することが許可されることを指定する情報を表す、ピクチャに関連付けられたメタデータを取得すること（７０２）と、を含む、方法。
【選択図】図７

【特許請求の範囲】

【請求項1】

ピクチャをビデオ符号化するための方法であって、
ピクチャを第１の空間解像度で再構成すること（６０１）と、
再構成された前記ピクチャの少なくとも一部に対する第２の空間解像度での少なくともループ内フィルタリング及び／又はポストフィルタリングを許可する情報を表すメタデータを前記ピクチャに関連付けること（６０２）と、を含む、方法。

【請求項2】

ピクチャをビデオ復号するための方法であって、
ピクチャを第１の空間解像度で再構成すること（７０１）と、
再構成された前記ピクチャの少なくとも一部に対する第２の空間解像度での少なくともループ内フィルタリング及び／又はポストフィルタリングを許可する情報を表す、前記ピクチャに関連付けられたメタデータを取得すること（７０２）と、を含む、方法。

【請求項3】

前記メタデータが、再構成された前記ピクチャの少なくとも一部に対する前記少なくともループ内フィルタリング及び／又はポストフィルタリングの適用が推奨される少なくとも１つの空間解像度を指定する、請求項１又は２に記載の方法。

【請求項4】

前記メタデータが、再構成された前記ピクチャの少なくとも一部に対する前記少なくともループ内フィルタリング及び／又はポストフィルタリングの適用が推奨される少なくとも１つの空間解像度範囲を指定する、請求項１又は２に記載の方法。

【請求項5】

前記メタデータが複数の空間解像度又は空間解像度範囲を指定するとき、前記メタデータが、各空間解像度又は各解像度範囲に対応するループ内フィルタ及び／又はポストフィルタを更に指定する、請求項３又は４に記載の方法。

【請求項6】

前記メタデータが、指定された空間解像度又は空間解像度範囲ごとに、前記指定された空間解像度又は空間解像度範囲においてループ内フィルタリング又はポストフィルタリングを適用することの品質影響度及び／又は複雑度影響度及び／又はエネルギー影響度を表す情報を更に指定する、請求項３、４、又は５に記載の方法。

【請求項7】

電子回路を備える、ピクチャをビデオ符号化するためのデバイスであって、
ピクチャを第１の空間解像度で再構成し（６０１）、かつ
再構成された前記ピクチャの少なくとも一部に対する第２の空間解像度での少なくともループ内フィルタリング及び／又はポストフィルタリングを許可する情報を表すメタデータを前記ピクチャに関連付ける（６０２）ように適合されている、デバイス。

【請求項8】

電子回路を備える、ピクチャをビデオ復号するためのデバイスであって、
ピクチャを第１の空間解像度で再構成し（７０１）、かつ
再構成された前記ピクチャの少なくとも一部に対する第２の空間解像度での少なくともループ内フィルタリング及び／又はポストフィルタリングを許可する情報を表す、前記ピクチャに関連付けられたメタデータを取得する（７０２）ように適合されている、デバイス。

【請求項9】

前記メタデータが、再構成された前記ピクチャの少なくとも一部に対する前記少なくともループ内フィルタリング及び／又はポストフィルタリングの適用が推奨される少なくとも１つの空間解像度を指定する、請求項８又は９に記載のデバイス。

【請求項10】

前記メタデータが、再構成された前記ピクチャの少なくとも一部に対する前記少なくともループ内フィルタリング及び／又はポストフィルタリングの適用が推奨される少なくとも１つの空間解像度範囲を指定する、請求項８又は９に記載のデバイス。

【請求項11】

前記メタデータが複数の空間解像度又は空間解像度範囲を指定するとき、前記メタデータが、各空間解像度又は各解像度範囲に対応するループ内フィルタ及び／又はポストフィルタを更に指定する、請求項９又は１０に記載のデバイス。

【請求項12】

前記メタデータが、指定された空間解像度又は空間解像度範囲ごとに、前記指定された空間解像度又は空間解像度範囲においてループ内フィルタリング又はポストフィルタリングを適用することの品質影響度及び／又は複雑度影響度及び／又はエネルギー影響度を表す情報を更に指定する、請求項９、１０、又は１１に記載のデバイス。

【請求項13】

請求項７～１２のいずれかの請求項に記載のデバイスを備える装置。

【請求項14】

請求項１若しくは請求項３～６のいずれかの請求項に記載のピクチャをビデオ符号化するための方法によって、又は請求項７若しくは請求項９～１２のいずれかの請求項に記載のピクチャをビデオ符号化するためのデバイスによって、又は請求項１３に記載のピクチャをビデオ符号化するためのデバイスを備える装置によって生成される信号。

【請求項15】

請求項１～１２のいずれかの請求項に記載の方法を実施するためのプログラムコード命令を含むコンピュータプログラム。

【請求項16】

請求項１～１２のいずれかの請求項に記載の方法を実施するためのプログラムコード命令を記憶する非一時的情報記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態の少なくとも１つは、概して、ビデオ符号化及び復号アプリケーションにおいて、ループ内フィルタリング及びループ外ポストフィルタリングがどの解像度で実行されるかを制御するための方法及び装置に関する。

【背景技術】

【0002】

高い圧縮効率を実現するために、ビデオのコーディング方式は、通常、ビデオコンテンツの空間的冗長性及び時間的冗長性を活用した予測及び変換を採用している。符号化中、ビデオコンテンツの画像はサンプル（すなわち、ピクセル）のブロックに等分され、これらのブロックは次いで、以下で元のサブブロックと呼ばれる１つ以上のサブブロックに分割される。次いで、イントラ予測又はインター予測を各サブブロックに適用して、画像内又は画像間相関を利用する。使用される予測方法（イントラ又はインター）が何であれ、元のサブブロックごとに予測子サブブロックが決定される。次いで、元のサブブロックと予測サブブロックとの間の差を表すサブブロックは、多くの場合、予測誤差サブブロック、予測残差サブブロック、又は単に残差ブロックとして示され、符号化されたビデオストリームを生成するために、変換され、量子化され、エントロピーコーディングされる。ビデオを再構成するには、変換、量子化、及びエントロピーコーディングに対応する逆の処理によって、圧縮データを復号する。

【0003】

ＭＰＥＧ－４／ＡＶＣ（ＩＳＯ／ＣＥＩ １４４９６－１０）、ＨＥＶＣ（ＩＳＯ／ＩＥＣ ２３００８－２－ＭＰＥＧ－Ｈ Ｐａｒｔ ２、高効率ビデオコーディング／ＩＴＵ－Ｔ Ｈ．２６５））、又はジョイントビデオエキスパートチーム（Joint Video Experts Team、ＪＶＥＴ）として知られるＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣ専門家の共同チームによって開発中のバーサタイルビデオコーディング（Versatile Video Coding、ＶＶＣ）という名称の国際規格などのビデオ圧縮規格の最後の世代は全て、ループ内フィルタリングツールを含み、適合されたメタデータの定義によるポストフィルタリングの使用を優先している。ループ内フィルタリングツールは、デブロッキングフィルタリング（deblocking filtering、ＤＢＦ）、サンプル適合オフセット（sample adaptive offset、ＳＡＯ）、及び適合ループフィルタ（adaptive loop filter、ＡＬＦ）を含む。例えば、ＡＬＦパラメータは、ＶＶＣ内の適合パラメータセット（Adaptation Parameter Set、ＡＰＳ）によって搬送される。いくつかのポストフィルタリングパラメータを搬送するために、補足拡張情報（supplemental enhanced information、ＳＥＩ）メッセージが使用される。パラメータがこれらのメタデータコンテナにおいてシグナリングされるフィルタは、一般に、特定の空間解像度で適用されるように設計される。しかしながら、それらのフィルタが実際に適用される空間解像度は、必ずしもそれらのフィルタが設計された空間解像度ではない。例えば、ネットワーク制約に適合させるためのストリーミングアプリケーションにおけるコンテンツのダウンサンプリングの場合、復号されたビデオは、解像度適合プロセスの前の元のビデオの解像度又はターゲットディスプレイレンダリング解像度ではない場合がある低減された解像度であってもよい。

【0004】

参照ピクチャ再サンプリング（Reference Picture Resampling、ＲＰＲ）と呼ばれるツールは、符号化ピクチャの解像度をオンザフライで変更することを可能にする。ピクチャは、一般に復号ピクチャバッファ（decoded picture buffer、ＤＰＢ）と呼ばれる復号ピクチャのバッファに、ビットストリームの高レベルシンタックス（high-level syntax、ＨＬＳ）でシグナリングされるビデオ空間解像度よりも低い可能性がある実際の符号化／復号解像度で記憶される。所与の解像度でコーディングされているピクチャが、時間的予測又はレイヤ間予測について、同じ解像度ではない参照ピクチャを使用するとき、テクスチャの参照ピクチャ再サンプリングが、予測ピクチャと参照ピクチャとが同じ解像度を有するように適用される。実装形態に応じて、再サンプリングプロセスは、必ずしも参照ピクチャ全体に適用されるわけではなく（参照ピクチャ全体再サンプリング）、現在ピクチャの復号及び再構成を実行するときに参照ブロックとして識別されたブロックのみに適用され得る（ブロックベース参照ピクチャ再サンプリング）ことに留意されたい。この場合、現在のピクチャ中の現在のブロックが現在のピクチャとは異なる解像度を有する参照ピクチャを使用するとき、現在のブロックの時間的予測について使用される参照ピクチャ中のサンプルは、現在のピクチャ解像度と参照ピクチャ解像度との間の比として計算された再サンプリング比に従って再サンプリングされる。本明細書の以下では、本発明を説明するために使用される実装形態は、参照ピクチャ全体の再サンプリングの解決策に対応するが、本発明は、当然、ブロックベースの参照ピクチャ再サンプリングの解決策に拡張することができる。

【0005】

いくつかの実装形態では、ＲＰＲ及び動き補償のステップは、１つの単一サンプル補間ステップに組み合わされる。

【0006】

図１は、ＲＰＲツールの適用例を表す。図１において、ピクチャ４はピクチャ３から時間的に予測される。ピクチャ３は、ピクチャ２から時間的に予測される。ピクチャ２は、ピクチャ１から時間的に予測される。ピクチャ４及びピクチャ３は異なる解像度を有するので、ピクチャ３はピクチャ４の解像度にアップサンプリングされる。ピクチャ３及び２は同じ解像度を有する。時間的予測についてピクチャ２にはアップサンプリングもダウンサンプリングも適用されない。ピクチャ１はピクチャ２よりも大きい。ピクチャ２の時間的予測についてピクチャ１にダウンサンプリングが適用される。いずれの場合も、全てのピクチャは、表示のために同じ解像度でアップサンプリング又はダウンサンプリングされる。

【0007】

ＲＰＲを使用する場合のこの設計の問題は、ループ内フィルタリング及びポストフィルタリングが、時間的予測に使用される解像度とは異なる不適切な解像度で適用される可能性があることである。これは、品質の潜在的な損失をもたらし得る。例えば、ピクチャが時間的予測及び／又は表示のためにアップサンプリングされるとき、画像は初期解像度でループ内フィルタリング及びポストフィルタリングされており、次にアップサンプリングされる。ループ内フィルタリング又はポストフィルタリングされたピクチャにアップサンプリングを適用することは、ループ内フィルタリング及びポストフィルタリングによって提供される利益を低減し得る。実際、アップサンプリングは、オブジェクトエッジに対してぼかし効果を有するが、例えば、ＳＡＯエッジオフセットは、量子化によって影響を受けたエッジを拡張することを試みる。ＳＡＯエッジオフセットがアップサンプリングの後に適用された場合、エッジはより良好に保存されている。同様の問題は、例えばコーディングアーチファクトをマスクするために、ピクチャフィルムグレインを表す復号ピクチャにノイズを加えることからなるポストフィルタリングについて示すことができる。フィルムグレインは、典型的に、関連するパラメータを有するノイズモデルに基づく。パラメータが低減された解像度について計算される場合、復号された解像度で復号されたピクチャに追加される合成されたフィルムグレインのアーティファクトマスキングによる利益は、合成されたフィルムグレインが表示又はレンダリング解像度について導出及び追加される場合ほど良好ではない可能性がある。

【0008】

上記問題を克服することを可能にする解決策を提案することが望ましい。特に、どの解像度にループ内及びポストフィルタリングを適用すべきかをより良く定義することが望ましい。

【発明の概要】

【0009】

第１の態様では、本実施形態のうちの１つ以上が、ピクチャをビデオ符号化するための方法であって、
第１の空間解像度でピクチャを再構成することと
再構成されたピクチャの少なくとも一部に少なくとも１つのループ内フィルタリング及び／又は少なくとも１つのポストフィルタリングを第１の解像度とは異なる第２の空間解像度で適用することが許可されることを指定する情報を表すメタデータをピクチャに関連付けることと、を含む、方法を提供する。

【0010】

第２の態様では、本実施形態のうちの１つ以上が、ピクチャをビデオ復号する方法であって、
第１の空間解像度でピクチャを再構成することと
再構成されたピクチャの少なくとも一部に少なくとも１つのループ内フィルタリング及び／又は少なくとも１つのポストフィルタリングを第１の解像度とは異なる第２の空間解像度で適用することが許可されることを指定する情報を表すピクチャに関連付けられたメタデータを取得することと、を含む、方法を提供する。

【0011】

第３の態様では、本実施形態のうちの１つ以上が、電子回路を備える、ピクチャをビデオ符号化するためのデバイスであって、
第１の空間解像度でピクチャを再構成し、かつ
再構成されたピクチャの少なくとも一部に少なくとも１つのループ内フィルタリング及び／又は少なくとも１つのポストフィルタリングを第１の解像度とは異なる第２の空間解像度で適用することが許可されることを指定する情報を表すメタデータをピクチャに関連付けるように適合されている、デバイスを提供する。

【0012】

第４の態様では、本実施形態のうちの１つ以上が、電子回路を備える、ピクチャをビデオ復号するためのデバイスであって、
第１の空間解像度でピクチャを再構成し、かつ
第１の解像度とは異なる第２の空間解像度で再構成されたピクチャの少なくとも一部に対して少なくとも１つのループ内フィルタリング及び／又は少なくとも１つのポストフィルタリングを適用することが許可されることを指定する情報を表すピクチャに関連付けられたメタデータを取得することと、を含む、方法を提供する。

【0013】

第５の態様では、本実施形態のうちの１つ以上が、第３及び／又は第４の態様によるデバイスを備える装置を提供する。

【0014】

第６の態様では、本実施形態の１つ又は複数が、第１の態様による方法に従って生成されるか、又は第３の態様によるデバイスによって生成されるか、又は第５の態様による装置によって生成されたデータを含む信号を提供する。

【0015】

第７の態様では、本実施形態のうちの１つ以上が、第１の態様による方法を実施するためのプログラムコード命令、又は第２の態様による方法を実施するためのプログラムコード命令を含むコンピュータプログラムを提供する。

【0016】

第８の態様では、本実施形態のうちの１つ以上が、第１の態様による方法を実施するためのプログラムコード命令、又は第２の態様による方法を実施するためのプログラムコード命令を記憶する情報記憶媒体を提供する。

【0017】

一実施形態において、メタデータは、少なくとも１つのループ内フィルタリング及び／又は少なくとも１つのポストフィルタリングの再構成されたピクチャへの適用が推奨される少なくとも１つの空間解像度を指定する。

【0018】

一実施形態において、メタデータは、少なくとも１つのループ内フィルタリング及び／又は少なくとも１つのポストフィルタリングの再構成されたピクチャへの適用が推奨される少なくとも１つの空間解像度範囲を指定する。

【0019】

一実施形態では、メタデータが複数の空間解像度又は空間解像度範囲を指定するとき、メタデータは、各空間解像度又は各解像度範囲に対応するループ内フィルタ及び／又はポストフィルタを更に指定する。

【0020】

一実施形態では、メタデータは、指定された空間解像度又は空間解像度範囲ごとに、品質影響度及び／又は複雑度影響度及び／又はエネルギー影響度を表す情報であって、指定された空間解像度又は空間解像度範囲においてループ内フィルタリング又はポストフィルタリングを適用する情報を更に指定する。

【図面の簡単な説明】

【0021】

【図1】参照ピクチャ再サンプリングツールのアプリケーションを表す。

【図2】元のビデオのピクセルのピクチャが受ける分割の例を示す。

【図3】ビデオストリームを符号化するための方法を概略的に示す。

【図4】符号化ビデオストリームを復号するための方法を概略的に示す。

【図5A】実施形態が実装されるビデオストリーミングシステムの例を概略的に示す。

【図5B】様々な態様及び実施形態が実装される、符号化モジュール又は復号モジュールを実装することができる処理モジュールのハードウェアアーキテクチャの例を概略的に示す。

【図5C】様々な態様及び実施形態が実施される第１のシステムの一例のブロック図を示す。

【図5D】様々な態様及び実施形態が実施される第２のシステムの一例のブロック図を示す。

【図6】デコーダ側でループ内及びポストフィルタリングの空間解像度を適合させる方法の一例を概略的に示す。

【図7】ＳＥＩメッセージに含まれる情報を使用してエンコーダ側で復号及び／又は表示プロセスを制御するための方法を概略的に表す。

【図8】図６の方法の詳細を概略的に示す。

【図9】図７の方法の詳細を概略的に示す。

【発明を実施するための形態】

【0022】

実施形態の以下の例は、ＶＶＣと同様のビデオフォーマットのコンテキストにおいて説明される。しかしながら、これらの実施形態は、ＶＶＣに対応するビデオコーディング／復号方法に限定されない。これらの実施形態は、特に、異なる解像度を有するピクチャを含むビデオストリームを生成することを可能にする任意のビデオフォーマットに適合され、ピクチャの再構成された解像度は、その表示解像度又は時間的予測に使用される解像度と異なる可能性がある。そのようなフォーマットは、例えば、規格ＨＥＶＣ、ＡＶＣ、ＥＶＣ（Ｅｓｓｅｎｔｉａｌ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（エッセンシャルビデオコーディング）／ＭＰＥＧ－５）、ＡＶ１、及びＶＰ９を含む。

【0023】

図２、図３及び図４は、ビデオフォーマットの例を紹介する。

【0024】

図２は、元のビデオ２０のピクセル２１のピクチャが受ける分割の例を示す。ここでは、ピクセルは、３つの成分、すなわち輝度成分と２つのクロミナンス成分からなると考えられる。しかしながら、他のタイプのピクセルは、輝度成分のみ又は追加の深度成分など、より少ない又はより多い成分を含むことが可能である。

【0025】

ピクチャは、複数のコーディングエンティティに分割される。まず、図２の参照番号２３で示すように、ピクチャがコーディングツリーユニット（coding tree unit、ＣＴＵ）と呼ばれるブロックのグリッドに等分される。ＣＴＵは、ルミナンスサンプルのＮ×Ｎブロックと、クロミナンスサンプルの２つの対応するブロックとからなる。Ｎは、一般に、例えば、「１２８」の最大値を有する２のべき乗である。第二に、ピクチャは、ＣＴＵの１つ以上のグループに分割される。例えば、ピクチャは１つ又は複数のタイル行及びタイル列に分割することができ、タイルはピクチャの矩形領域をカバーするＣＴＵのシーケンスである。場合によっては、タイルを１つ又は複数のブリックに分割することができ、その各々はタイル内の少なくとも１つのＣＴＵ行からなる。タイル及びブリックの概念の上には、ピクチャの少なくとも１つのタイル又はタイルの少なくとも１つのブリックを含むことができるスライスと呼ばれる別の符号化エンティティが存在する。

【0026】

図２の例では、参照番号２２で示すように、ピクチャ２１は、各々が複数のタイル（図示せず）を含むラスタスキャンスライスモードの３つのスライスＳ１、Ｓ２、及びＳ３に分割され、各タイルは、１つのブリックのみを含む。

【0027】

図１の参照番号２４で示すように、ＣＴＵは、コーディングユニット（ＣＵ）と呼ばれる１つ又は複数のサブブロックの階層ツリーの形態に分割され得る。ＣＴＵは、階層ツリーのルート（すなわち、親ノード）であり、複数のＣＵ（すなわち、子ノード）に分割され得る。各ＣＵは、より小さいＣＵに更に分割されていない場合は階層ツリーのリーフになり、更に分割されている場合はより小さいＣＵ（すなわち、子ノード）の親ノードになる。

【0028】

図１の例では、ＣＴＵ１４は、四分木タイプの分割を使用して、最初に「４」つの方形ＣＵに分割される。左上のＣＵは、更に分割されていないため、階層ツリーのリーフであり、すなわち、他のＣＵの親ノードではない。右上のＣＵは、やはり四分木タイプの分割を使用して、「４」つのより小さい正方形ＣＵに更に分割される。右下のＣＵは、二分木タイプの分割を使用して「２」つの矩形ＣＵに垂直に分割される。左下のＣＵは、三分木タイプの分割を使用して「３」つの矩形ＣＵに垂直に分割される。

【0029】

ピクチャのコーディング中、分割は適合的であり、各ＣＴＵは、ＣＴＵ基準の圧縮効率を最適化するように分割される。

【0030】

ＨＥＶＣでは、予測ユニット（prediction unit、ＰＵ）及び変換ユニット（transform unit、ＴＵ）の概念が登場した。実際、ＨＥＶＣでは、予測（すなわち、ＰＵ）及び変換（すなわち、ＴＵ）に使用される符号化エンティティは、ＣＵの部分であり得る。例えば、図１に示すように、サイズ２Ｎ×２ＮのＣＵは、サイズＮ×２Ｎ又はサイズ２Ｎ×ＮのＰＵ ２４１１に分割することができる。更に、ＣＵは、サイズＮ×Ｎの「４」つのＴＵ ２４１２又はサイズ

【0031】

【数1】

の「１６」個のＴＵに分割することができる。

【0032】

ＶＶＣでは、いくつかの特定の場合を除いて、ＴＵ及びＰＵのフロンティアがＣＵのフロンティアに位置合わせされることに留意されたい。したがって、ＣＵは、一般に、１つのＴＵ及び１つのＰＵを含む。

【0033】

本出願では、「ブロック」又は「ピクチャブロック」という用語は、ＣＴＵ、ＣＵ、ＰＵ、及びＴＵのうちのいずれか１つを指すために使用することができる。更に、「ブロック」又は「ピクチャブロック」という用語は、Ｈ．２６４／ＡＶＣ又は他のビデオ符号化規格で指定されているようなマクロブロック、パーティション、及びサブブロックを指すために使用することができ、より一般的には、多数のサイズのサンプルのアレイを指すために使用することができる。

【0034】

本出願では、「再構成された」及び「復号された」という用語は互換的に使用することができ、「ピクセル」及び「サンプル」という用語は互換的に使用することができ、「画像」、「ピクチャ」、「サブピクチャ」、「スライス」、及び「フレーム」という用語は互換的に使用することができる。通常、必ずしもそうではないが、「再構成された」という用語は、エンコーダ側で使用され、一方、「復号された」という用語は、デコーダ側で使用される。

【0035】

図３は、符号化モジュールによって実行されるビデオストリームを符号化するための方法を概略的に示す。符号化のためのこの方法の変形形態が企図されるが、以下では、明確さを目的として、予想される全ての変形形態について説明することなく、図３の符号化のための方法について説明する。

【0036】

符号化される前に、元のビデオシーケンスの現在の元の画像は、前処理を経てもよい。例えば、ステップ３０１において、色変換が現在の元のピクチャ（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）に適用されるか、又は再マッピングが現在の元のピクチャ成分に適用されて、（例えば、色成分のうちの１つのヒストグラム均等化を使用して）圧縮に対してより弾力的な信号分布が得られる。加えて、前処理３０１は、再サンプリング（ダウンサンプリング又はアップサンプリング）を含み得る。再サンプリングは、生成されたビットストリームが元の解像度のピクチャと別の解像度のピクチャとを含み得るように、いくつかのピクチャに適用され得る。再サンプリングは、一般的にダウンサンプリングからなり、生成されたビットストリームのビットレートを低減するために使用される。それにもかかわらず、アップサンプリングも可能である。前処理によって取得されたピクチャは、以下では前処理済みピクチャと呼ばれる。

【0037】

前処理されたピクチャを符号化することは、図１に関連して記載したように、ステップ３０２中に前処理されたピクチャの分割から始まる。したがって、前処理されたピクチャは、ＣＴＵ、ＣＵ、ＰＵ、ＴＵなどに分割される。各ブロックについて、符号化モジュールは、イントラ予測とインター予測との間のコーディングモードを判定する。

【0038】

イントラ予測は、イントラ予測方法に従って、ステップ３０３中に、コーディングされる現在のブロックの因果的近傍に位置する再構成ブロックのピクセルから導出された予測ブロックから現在のブロックのピクセルを予測することからなる。イントラ予測の結果は、近傍のブロックのどのピクセルを使用するかを示す予測方向と、現在のブロックと予測ブロックとの差の計算から生じる残差ブロックである。

【0039】

インター予測は、参照ブロックと呼ばれる、現在のピクチャの前又は後の画像のピクセルのブロックから現在のブロックのピクセルを予測することからなり、このピクチャは参照ピクチャと呼ばれる。インター予測方法による現在のブロックのコーディング中に、類似性基準に従って現在のブロックに最も近い参照ピクチャのブロックが、動き推定ステップ３０４によって判定される。ステップ３０４中に、参照ピクチャ内の参照ブロックの位置を示す動きベクトルが決定される。動きベクトルは、動き補償ステップ３０５中に使用され、その間に残差ブロックは、現在のブロックと参照ブロックとの間の差の形態で計算される。第１のビデオ圧縮規格では、上述した一方向インター予測モードが利用可能な唯一のインターモードであった。ビデオ圧縮標準が進化するにつれて、インターモードのファミリーは著しく成長しており、現在は多くの異なるインターモードを含む。

【0040】

選択ステップ３０６中に、レート／歪み最適化基準（すなわち、ＲＤＯ基準）に従って、試験された予測モード（例えば、イントラ予測モード、インター予測モード）の中から圧縮性能を最適化する予測モードが符号化モジュールによって選択される。

【0041】

予測モードが選択されると、残差ブロックはステップ３０７中に変換され、ステップ３０９中に量子化される。符号化モジュールは、変換をスキップして、変換されていない残差信号に量子化を直接適用することができることに留意されたい。現在のブロックがイントラ予測モードに従ってコーディングされるとき、予測方向と、変換され量子化された残差ブロックとは、ステップ３１０中にエントロピーエンコーダによって符号化される。現在のブロックがインター予測に従って符号化されると、適切な場合には、ブロックの動きベクトルは、符号化されるブロックの近くに位置する再構成されたブロックに対応する動きベクトルのセットから選択された予測ベクトルから予測される。次に、動き情報は、ステップ３１０中にエントロピーエンコーダによって、動き残差と予測ベクトルを識別するためのインデックスとの形態で符号化される。変換され量子化された残差ブロックは、ステップ３１０中にエントロピーエンコーダによって符号化される。符号化モジュールは、変換及び量子化の両方をバイパスすることができ、すなわちエントロピー符号化は、変換処理又は量子化処理を適用することなく残差に適用されることに留意されたい。エントロピー符号化の結果は、符号化ビデオストリーム３１１に挿入される。

【0042】

符号化されたビデオストリーム３１１には、ＳＥＩ（補足拡張情報）メッセージなどのメタデータを付加することができる。例えば、ＡＶＣ、ＨＥＶＣ、又はＶＶＣなどの規格において定義されるＳＥＩ（補足拡張情報）メッセージは、ビデオストリームに関連付けられ、ビデオストリームに対する情報を提供するメタデータを含むデータコンテナである。

【0043】

いくつかのＳＥＩメッセージは、ポストフィルタリング情報をトランスポートするために定義された。そのようなＳＥＩメッセージの例は、表ＴＡＢ１に示されている。

【0044】

【表1】

【0045】

ＳＥＩメッセージは、ポストフィルタリングピクチャのためのフィルタを定義することを可能にする。

【0046】

別の例では、文献ＪＶＥＴ－Ｒ０１９０（Ｐｏｓｔ－ｆｉｌｔｅｒ ｈｉｎｔ ｂａｓｅｄ ｏｎ ＡＬＦ ｃｌａｓｓｉｆｉｃａｔｉｏｎ，Ｈａｎ Ｂｏｏｎ Ｔｅｏ，Ｈａｉ Ｗｅｉ Ｓｕｎ，Ｃｈｏｎｇ Ｓｏｏｎ Ｌｉｍ，Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ）ｏｆ ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ－１１，１８ ｔｈ Ｍｅｅｔｉｎｇ：ｂｙ ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ，１５－２４ Ａｐｒｉｌ ２０２０）において、ＡＬＦをループ内フィルタリングツールのセットからポストフィルタリングツールに移動させることが提案されている。したがって、ＡＬＦパラメータを記述するａｄａｐｔｉｖｅ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｃｏｎｔｒｏｌと呼ばれるＳＥＩメッセージが提案され、表ＴＡＢ２に表されている。

【0047】

【表2】

【0048】

すでに上述したように、ポストフィルタリング及びＲＰＲ、又はポストフィルタリング及び前処理としてのダウンサンプリング／アップサンプリングが一緒に使用されるときの１つの問題は、ポストフィルタリングが実行されなければならないか又は実行されるべき解像度の指示がないことである。

【0049】

同様に、フィルムグレインＳＥＩは、ＶＶＣ及び他のコーデックにおいて定義されている。これは、復号ピクチャ内のノイズを再合成すること、例えば、符号化前処理ステップによって除去された可能性がある元のピクチャ内に存在するノイズを近似することを目的とする。フィルムグレインＳＥＩは、フィルムグレイン合成が実行されなければならないか又は実行されるべき解像度に関する情報を含まない。

【0050】

量子化ステップ３０９の後、現在のブロックは、そのブロックに対応するピクセルが将来の予測に使用され得るように再構成される。この再構成段階は、予測ループとも呼ばれる。したがって、逆量子化は、ステップ３１２中に変換され量子化された残差ブロックに適用され、ステップ３１３中に逆変換が適用される。ステップ３１４中に取得されたブロックに使用される予測モードによって、ブロックの予測ブロックが再構成される。現在のブロックがインター予測モードに従って符号化される場合、符号化モジュールは、適切な場合には、ステップ３１６中に、現在のブロックの参照ブロックを識別するために、現在のブロックの動きベクトルを使用する動き補償を適用する。現在のブロックがイントラ予測モードに従って符号化される場合、ステップ３１５中に、現在のブロックに対応する予測方向が、現在のブロックの参照ブロックを再構成するために使用される。再構成された現在のブロックを取得するために、参照ブロック及び再構成された残差ブロックが追加される。

【0051】

再構成後、ステップ３１７中に、符号化アーチファクトを低減することを意図したループ内ポストフィルタリングが、再構成ブロックに適用される。このフィルタリングは、エンコーダにおいてデコーダと同じ参照画像を取得し、したがって符号化プロセスと復号プロセスとの間のドリフトを回避するために予測ループで行われるので、ループ内ポストフィルタリングと呼ばれる。先に述べたように、ループ内フィルタリングツールは、デブロッキングフィルタリング、ＳＡＯ及びＡＬＦを含む。

【0052】

デブロッキングフィルタリングの目的は、ブロック間の量子化の差によるブロック境界における不連続性を減衰させることである。デブロッキングフィルタリングは、アクティブ化又は非アクティブ化することができ、アクティブ化されたときに、以下で強デブロッキングフィルタ（strong deblocking filter、ＳＤＢＦ）と呼ばれる、６つのフィルタ係数を含む次元を有する分離フィルタに基づく高複雑度デブロッキングフィルタリング、及び以下で弱デブロッキングフィルタ（weak deblocking filter、ＷＤＢＦ）と呼ばれる、４つの係数を含む１つの次元を有する分離フィルタに基づく低複雑度デブロッキングフィルタリングの形をとることができる適合フィルタリングである。ＳＤＢＦは、元のピクチャに存在する空間的高周波数を損なう可能性があるブロック境界における不連続性を大幅に減衰させる。ＷＤＢＦは、ブロック境界における不連続性を弱く減衰させ、これにより、元のピクチャに存在する高い空間周波数を保持することが可能になるが、量子化によって人工的に生成された不連続性に対してはあまり有効ではない。フィルタリングするか否かの決定、及びフィルタリングの場合に使用されるフィルタの形式は、とりわけ、フィルタリングされるブロックの境界におけるピクセルの値に依存する。しかしながら、この決定は、再構成されたピクチャの潜在的な再サンプリングを考慮に入れない。このフィルタの後に、デコーダ側でアップサンプリングが行われ、更なる空間高周波数を減衰させる場合に、なぜブロック境界にＳＤＢＦを適用するのか疑問に思うかもしれない。

【0053】

デブロッキングフィルタを表すパラメータは、エントロピーコーディングステップ３１０中に符号化されたビデオストリーム３１１に導入される。

【0054】

ＳＡＯフィルタリングは、２つの異なる目的を有する２つの形態をとる。エッジオフセットと呼ばれる第１の形式の目的は、ブロック内のエッジに対する量子化の影響を補償することである。エッジオフセットによるＳＡＯフィルタリングは、４つのそれぞれのタイプのエッジに対応する４つのカテゴリに従って再構成された画像のピクセルを分類することを含む。ピクセルの分類は、４つのフィルタに従ってフィルタリングすることによって行われ、各フィルタは、フィルタリング勾配を得ることを可能にする。分類基準を最大化するフィルタリング勾配は、ピクセルに対応するエッジのタイプを示す。各タイプのエッジは、ＳＡＯフィルタリング中にピクセルに加算されるオフセット値に関連付けられる。この場合もやはり、このフィルタの後に、拡張エッジに影響を及ぼすデコーダ側でのアップサンプリングが続く場合、画像に対してＳＡＯエッジオフセットを適用することが賢明であるのか疑問に思うかもしれない。

【0055】

ＳＡＯの第２の形態は、バンドオフセットと呼ばれ、その目的は、値のある範囲（すなわちバンド）に属するピクセルの量子化の影響を補償することである。バンドオフセットフィルタリングでは、８ビットビデオストリームに対して最も頻繁に「０」と「２５５」との間にあるピクセルの全ての可能な値が、８つの値の３２のバンドに分割される。これらの３２個のバンドのうち、４つの連続するバンドがオフセットされるように選択される。ピクセルが、オフセットされるべき値の４つのバンドのうちの１つにある値を有するとき、オフセット値がピクセルの値に加算される。

【0056】

ＳＡＯフィルタリングを使用する決定、並びに、ＳＡＯフィルタリングが使用されるときに、ＳＡＯフィルタリングの形式及びオフセット値は、レート／歪み最適化によって符号化プロセス中に各ＣＴＵについて決定される。

【0057】

ＳＡＯの活性化又は非活性化、及び活性化されたときのＳＡＯの特性を表すパラメータは、エントロピーコーディングステップ３１０の間に、スライス及びブロックレベルで符号化ビデオストリーム３１１に導入される。

【0058】

ＡＬＦの目的は、ウィナーベースの適合フィルタを使用することによって、元のサンプルと復号されたサンプルとの間の平均二乗誤差を最小化することである（ＡＬＦは、他の目的のために使用され得るが、一般に、平均二乗誤差を最小化するためにエンコーダによって調整されることに留意されたい）。ＡＬＦは、各ピクチャの最後の処理ステージに配置され、前のステージからのアーチファクトを捕らえて修正するツールとみなすことができる。ＡＬＦプロセスは、画像の４×４ブロックごとに「２５」個のフィルタの中から１つを選択することからなる。これを行うために、各ブロックは、局所勾配の方向及び活動に基づいて「２５」個のカテゴリのうちの１つに分類される。各フィルタは、ダイヤモンド形フィルタから導出される。ＡＬＦフィルタパラメータは、アダプティブパラメータセット（ＡＰＳ）においてシグナリングされる。１つのＡＰＳでは、ルーマフィルタ係数及びクリッピング値インデックスの最大「２５」個のセット、並びにクロマフィルタ係数及びクリッピング値インデックスの最大８個のセットがシグナリングされ得る。ビットオーバーヘッドを低減するために、ルーマ成分のための異なる分類のフィルタ係数がマージされ得る。スライスヘッダでは、現在のスライスのために使用されるＡＰＳのインデックスがシグナリングされる。

【0059】

スライスヘッダでは、現在のスライスのために使用されるルーマフィルタセットを指定するために、最大「７」個のＡＰＳインデックスがシグナリングされ得る。フィルタリングプロセスは、ブロックレベルで更に制御することができる。ＡＬＦがルーマブロックに適用されるかどうかを示すために、フラグが常にシグナリングされる。ルーマブロックは、「１６」個の固定フィルタセット及びＡＰＳからのフィルタセットの中からフィルタセットを選択することができる。どのフィルタセットが適用されるかを示すために、ルーマブロックに対してフィルタセットインデックスがシグナリングされる。「１６」個の固定フィルタセットは、エンコーダ及びデコーダの両方において予め定義され、ハードコーディングされる。

【0060】

クロマ成分の場合、ＡＰＳインデックスは、現在のスライスのために使用されているクロマフィルタセットを示すためにスライスヘッダ中でシグナリングされる。ブロックレベルでは、ＡＰＳ中に２つ以上のクロマフィルタセットがある場合、各クロマブロックについてフィルタインデックスがシグナリングされる。

【0061】

この場合もやはり、アーチファクトが再サンプリング段階によって導入される場合、なぜＡＬＦを適用してアーチファクトを低減するのか疑問に思うかもしれない。

【0062】

ブロックは、再構成されると、ステップ３１８中に、ＤＰＢに対応する再構成画像のメモリ３１９に記憶された再構成されたピクチャに挿入される。そのように記憶された再構成画像は、コーディングされる他の画像の参照画像として機能することができる。

【0063】

ＲＰＲがアクティブ化されると、ＤＰＢに記憶されたピクチャからのサンプル（ピクチャの少なくとも一部）は、動き推定及び補償のために使用されるとき、ステップ３２０において再サンプリングされる。再サンプリングステップ（３２０）及び動き補償ステップ（３０４）は、いくつかの実装形態では、１つの単一サンプル補間ステップに組み合わせられ得る。実際に動き補償を使用する動き推定ステップ（３０４）は、この場合、単一サンプル補間ステップも使用することに留意されたい。すでに上述したように、ループ内／ポストフィルタリング及びＲＰＲが一緒に使用されるときの１つの問題は、ループ内／ポストフィルタリングが実行されなければならないか又は実行されるべき解像度の指示がないことである。しかしながら、一般的に、ループ内フィルタリングは、再構成の解像度で実行され、このことは、ループ内フィルタリングによって提供される改善を十分に実現することを妨げ得る。

【0064】

図４は、復号モジュールによって実行される、図３に関連して説明された方法に従って符号化された符号化ビデオストリーム３１１を復号するための方法を概略的に示す。復号するためのこの方法の変形形態が考えられるが、明確さを目的として、以下では予想される全ての変形形態を記載することなく、図４の復号するための方法について説明する。

【0065】

復号はブロックごとに行われる。現在のブロックの場合、これはステップ４１０中に現在のブロックのエントロピー復号から始まる。エントロピー復号は、ブロックの予測モードを取得することを可能にする。

【0066】

ブロックがインター予測モードに従って符号化されている場合、エントロピー復号は、適切な場合には、予測ベクトルインデックス、動き残差、及び残差ブロックを取得することを可能にする。ステップ４０８中に、予測ベクトルインデックス及び動き残差を使用して、現在のブロックに対して動きベクトルが再構成される。

【0067】

ブロックがイントラ予測モードに従って符号化されている場合、エントロピー復号は、予測方向及び残差ブロックを取得することを可能にする。復号モジュールによって実装されるステップ４１２、４１３、４１４、４１５、４１６及び４１７は、全て、符号化モジュールによって実装されるステップ４１２、４１３、４１４、４１５、４１６、及び４１７とそれぞれ同一である。ステップ４１８において、復号されたブロックは、復号されたピクチャに保存され、復号されたピクチャは、ＤＰＢ４１９に記憶される。復号モジュールが所与のピクチャを復号するとき、ＤＰＢ４１９に記憶されたピクチャは、所与のピクチャの符号化中に符号化モジュールによってＤＰＢ３１９に記憶されたピクチャと同一である。復号された画像はまた、例えば表示のために復号モジュールによって出力され得る。ＲＰＲが起動されると、参照ピクチャとして使用されるピクチャ（の少なくとも一部）のサンプルは、ステップ４２０において、エンコーダ側のステップ３２０と同じ問題を有する予測ピクチャの解像度に再サンプリングされる。再サンプリングステップ（４２０）及び動き補償ステップ（４１６）は、いくつかの実装形態では、１つの単一サンプル補間ステップに組み合わせられ得る。

【0068】

復号された画像は更に、ステップ４２１において後処理を受けることができる。後処理は、逆色変換（例えば、ＹＣｂＣｒ ４：２：０からＲＧＢ ４：４：４への変換）、ステップ３０１の前処理において実行された再マッピングプロセスの逆を実行する逆マッピング、例えば、ＳＥＩメッセージにおいて提供されるフィルタパラメータに基づいて再構成されたピクチャを改善するためのポストフィルタリング、及び／又は、例えば、出力画像をディスプレイ制約に調整するための再サンプリングを含むことができる。この再サンプリングは、ループ内フィルタリング及びポストフィルタリングによって提供される改善を弱める別の機会である。

【0069】

図５Ａは、以下の実施形態が実装され得るコンテキストの例を説明する。

【0070】

図４Ａでは、カメラ、記憶デバイス、コンピュータ、サーバ又はビデオストリームを送達することができる任意のデバイスであり得る装置５１は、通信チャネル５２を使用して、ビデオストリームをシステム５３に送信する。ビデオストリームは、装置５１によって符号化及び送信されるか、又は装置５１によって受信及び／又は記憶され、次いで送信される。通信チャネル５２は、有線（例えば、インターネット若しくはイーサネット）又は無線（例えば、ＷｉＦｉ、３Ｇ、４Ｇ若しくは５Ｇ）ネットワークリンクである。

【0071】

例えばセットトップボックスであり得るシステム５３は、ビデオストリームを受信して復号し、復号されたピクチャのシーケンスを生成する。

【0072】

次いで、取得された復号されたピクチャのシーケンスは、有線又は無線ネットワークであり得る通信チャネル５４を使用して、ディスプレイシステム５５に送信される。次に、表示システム５５は画像を表示する。

【0073】

一実施形態において、システム５３は、ディスプレイシステム５５に含まれる。その場合、システム５３及びディスプレイ５５ａは、ＴＶ、コンピュータ、タブレット、スマートフォン、ヘッドマウントディスプレイなどに含まれる。

【0074】

図５Ｂは、異なる態様及び実施形態に従って修正された図３の符号化方法及び図４の復号方法をそれぞれ実施することができる符号化モジュール又は復号モジュールを実施することができる処理モジュール５００のハードウェアアーキテクチャの一例を概略的に示す。符号化モジュールは、例えば、装置５１がビデオストリームの符号化を担当する場合、この装置に含まれる。復号モジュールは、例えば、システム５３に含まれる。処理モジュール５００は、非限定的な例として、通信バス５００５によって接続された、１つ以上のマイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサを包含するプロセッサ又はＣＰＵ（中央処理ユニット）５０００と、ランダムアクセスメモリ（random access memory、ＲＡＭ）５００１と、リードオンリーメモリ（ＲＯＭ）５００２と、電気的消去可能プログラマブルリードオンリーメモリ（Electrically Erasable Programmable Read-Only Memory、ＥＥＰＲＯＭ）、リードオンリーメモリ（Read-Only Memory、ＲＯＭ）、プログラマブルリードオンリーメモリ（Programmable Read-Only Memory、ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（Dynamic Random Access Memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（Static Random Access Memory、ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、並びに／又は光ディスクドライブ、又は、ＳＤ（ｓｅｃｕｒｅ ｄｉｇｉｔａｌ）（セキュアデジタル）カードリーダ及び／若しくはハードディスクドライブ（hard disc drive、ＨＤＤ）などの記憶媒体リーダ及び／若しくはネットワークアクセス可能な記憶デバイスを含むがこれらに限定されない不揮発性メモリ及び／若しくは揮発性メモリを含むことができる記憶ユニット５００３と、データを他のモジュール、デバイス、又は機器と交換するための少なくとも１つの通信インターフェース５００４と、を備える。通信インターフェース５００４は、通信チャネルを介してデータを送信及び受信するように構成された送受信機を含むことができるが、それに限定されない。通信インターフェース５００４は、モデム又はネットワークカードを含むことができるが、これらに限定されない。

【0075】

処理モジュール５００が復号モジュールを実装する場合、通信インターフェース５００４は、例えば、処理モジュール５００が、符号化されたビデオストリームを受信し、復号されたピクチャのシーケンスを提供することを可能にする。処理モジュール５００が符号化モジュールを実装する場合、通信インターフェース５００４は、例えば、処理モジュール５００が元のピクチャデータのシーケンスを受信して符号化し、符号化されたビデオストリームを提供することを可能にする。

【0076】

プロセッサ５０００は、ＲＯＭ５００２、外部メモリ（図示せず）、記憶媒体、又は通信ネットワークからＲＡＭ５００１にロードされた命令を実行することができる。処理モジュール５００の電源が投入されると、プロセッサ５０００は、ＲＡＭ５００１から命令を読み出し、それらを実行することができる。これらの命令は、例えば、図４に関連して説明した復号方法又は図３に関連して説明した符号化方法のプロセッサ５０００によって実施させるコンピュータプログラムを形成し、復号方法及び符号化方法は、本明細書において後述する様々な態様及び実施形態を含む。

【0077】

符号化又は復号方法のアルゴリズム及びステップの全て又は一部は、ＤＳＰ（digital signal processor）（デジタル信号プロセッサ）又はマイクロコントローラなどのプログラマブルマシンによる命令セットの実行によってソフトウェア形式で実装されてもよく、又はＦＰＧＡ（field-programmable gate array）（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（application-specific integrated circuit）（特定用途向け集積回路）などのマシン又は専用コンポーネントによってハードウェア形式で実装されてもよい。

【0078】

図５Ｄは、様々な態様及び実施形態が実装されているシステム５３の一例のブロック図を図示する。システム５３は、後述する様々な構成要素を含むデバイスとして具現化することができ、本明細書に記載の態様及び実施形態のうちの１つ以上を実行するように構成される。このようなデバイスの例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続型家電、及びヘッドマウントディスプレイなどの様々な電子デバイスが挙げられるが、これらに限定されない。システム５３の要素は、単独で又は組み合わせて、１つの集積回路（integrated circuit、ＩＣ）、複数のＩＣ、及び／又は別個の構成要素において具体化することができる。例えば、少なくとも１つの実施形態では、システム５３は、復号モジュールを実装する１つの処理モジュール５００を備える。様々な実施形態では、システム５３は、例えば、通信バスを介して、又は専用の入力ポート及び／若しくは出力ポートを通して、１つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム５３は、本明細書に記載される態様のうちの１つ以上を実装するように構成されている。

【0079】

処理モジュール５００への入力は、ブロック５３１に示すように様々な入力モジュールを介して提供することができる。そのような入力モジュールとしては、（ｉ）例えば、放送局から無線で送信される無線周波数（radio frequency、ＲＦ）信号を受信するＲＦモジュール、（ｉｉ）構成要素（component、ＣＯＭＰ）入力モジュール（又は一組のＣＯＭＰ入力モジュール）、（ｉｉｉ）ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）入力モジュール、及び／又は（ｉｖ）高精細度マルチメディアインターフェース（High Definition Multimedia Interface、ＨＤＭＩ）入力モジュールが挙げられるが、これらに限定されない。他の実施例には、図５Ｄには示されていないが、コンポジットビデオが含まれる。

【0080】

様々な実施形態では、ブロック５３１の入力モジュールは、当技術分野で知られているように、関連するそれぞれの入力処理要素を有する。例えば、ＲＦモジュールは、（ｉ）所望の周波数を選択する（信号を選択する、又は信号を周波数帯域に帯域制限するとも称される）、（ｉｉ）選択された信号をダウンコンバートする、（ｉｉｉ）特定の実施形態で、（例えば）チャネルと称され得る信号周波数帯域を選択するために、再びより狭い周波数帯域に帯域制限する、（ｉｖ）ダウンコンバート及び帯域制限された信号を復調する、（ｖ）誤り訂正を実施する、及び（ｖｉ）データパケットの所望のストリームを選択するために多重分離する、ために適切な要素と関連付けられ得る。様々な実施形態のＲＦモジュールは、これらの機能を実行する１つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。ＲＦ部分は、例えば、受信信号をより低い周波数（例えば、中間周波数又はベースバンドに近い周波数）又はベースバンドにダウンコンバートすることを含む、これらの機能のうちの様々な機能を実行するチューナを含むことができる。セットトップボックスの一実施形態では、ＲＦモジュール及びその関連する入力処理要素は、有線（例えば、ケーブル）媒体を介して送信されるＲＦ信号を受信し、所望の周波数帯域にフィルタリング、ダウンコンバート、及び再フィルタリングすることによって周波数選択を実行する。様々な実施形態では、上で説明される（及び他の）要素の順序を並べ替える、これらの要素の一部を削除する、並びに／又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ－デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施形態において、ＲＦモジュールは、アンテナを含む。

【0081】

追加的に、ＵＳＢモジュール及び／又はＨＤＭＩモジュールは、システム５３をＵＳＢ接続及び／又はＨＤＭＩ接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理、例えばリード・ソロモン誤り訂正の様々な態様は、例えば、別個の入力処理ＩＣ内又は必要に応じて処理モジュール５００内で実施することができることを理解すべきである。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の態様は、必要に応じて別個のインターフェースＩＣ内又は処理モジュール５００内で実施され得る。復調され、誤り訂正され、逆多重化されたストリームは、処理モジュール５００に提供される。

【0082】

システム５３の様々な要素は、一体型ハウジング内に設けることができる。一体型ハウジング内で、様々な要素は、適切な接続配置、例えば、ＩＣ間（Ｉ２Ｃ）バス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して、相互接続され、それらの間でデータを送信し得る。例えば、システム５３において、処理モジュール５００は、バス５００５によってシステム５３の他の要素に相互接続される。

【0083】

処理モジュール５００の通信インターフェース５００４は、システム５３が通信チャネル５２上で通信することを可能にする。上記ですでに説明したように、通信チャネル５２は、例えば、有線及び／又は無線媒体内に実装することができる。

【0084】

データは、様々な実施形態では、Ｗｉ－Ｆｉネットワーク、例えば、ＩＥＥＥ８０２．１１（ＩＥＥＥは、米国電気電子技術者協会（Institute of Electrical and Electronics Engineers）を指す）などの無線ネットワークを使用して、システム５３にストリーミングされるか、又は別様に提供される。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に適合されている通信チャネル５２及び通信インターフェース５００４上で受信される。これらの実施形態の通信チャネル５２は、典型的に、ストリーミングアプリケーション及び他のオーバザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック５３１のＲＦ接続を使用して、システム５３にストリーミングデータを提供する。上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。追加的に、様々な実施形態は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラネットワーク又はＢｌｕｅｔｏｏｔｈネットワークを使用する。

【0085】

システム５３は、ディスプレイシステム５５、スピーカ５６、及び他の周辺デバイス５７を含む様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイシステム５５は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（organic light-emitting diode、ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ、及び／又は折り畳み可能なディスプレイのうちの１つ以上を含む。ディスプレイ５５は、テレビジョン、タブレット、ラップトップ、携帯電話（移動電話）、ヘッドマウントディスプレイ、又は他のデバイス用とすることができる。ディスプレイシステム５５はまた、他のコンポーネントと統合され得るか（例えば、スマートフォンのように）、又は別個に（例えば、ラップトップのための外部モニタ）され得る。他の周辺デバイス５７としては、実施形態の様々な実施例において、スタンドアロンデジタルビデオディスク（又はデジタル多用途ディスク）（両方の用語について、ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ、ＤＶＲ）、ディスクプレーヤ、ステレオシステム、及び／又は照明システム、のうちの１つ以上が挙げられる。様々な実施形態は、システム５３の出力に基づいて機能を提供する１つ以上の周辺デバイス５７を使用する。例えば、ディスクプレーヤは、システム５３の出力を再生する機能を実行する。

【0086】

様々な実施形態では、制御信号が、システム５３と、ディスプレイシステム５５、スピーカ５６、又は他の周辺デバイス５７との間で、ＡＶ．Ｌｉｎｋ、家庭用電子制御（Consumer Electronics Control、ＣＥＣ）、又はユーザ介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルなどのシグナリングを使用して通信される。出力デバイスは、それぞれのインターフェース５３２、５３３、及び５３４を通した専用接続を介してシステム５３に通信可能に結合することができる。代替的に、出力デバイスは、通信インターフェース５００４を介して通信チャネル５２を使用して、又は通信インターフェース５００４を介して図５Ａの通信チャネル５４に対応する専用通信チャネルを使用して、システム５３に接続することができる。ディスプレイシステム５５及びスピーカ５６は、例えば、テレビなどの電子デバイスにおいてシステム５３の他の構成要素と１つの単位に一体化され得る。様々な実施形態において、ディスプレイインターフェース５３２は、例えば、タイミングコントローラ（timing controller、Ｔ Ｃｏｎ）チップなどのディスプレイドライバを含む。

【0087】

ディスプレイシステム５５及びスピーカ５６は、代替的に、他の構成要素のうちの１つ以上から分離することができる。ディスプレイシステム５５及びスピーカ５６が外部構成要素である様々な実施形態では、例えば、ＨＤＭＩポート、ＵＳＢポート、又はＣＯＭＰ出力を含む専用の出力接続を介して出力信号を提供することができる。

【0088】

図５Ｃは、様々な態様及び実施形態が実装されているシステム５１の一例のブロック図を図示する。システム５１は、実施形態５３と非常に類似している。システム５１は、後述する様々な構成要素を含むデバイスとして具現化することができ、本文献に記載の態様及び実施形態のうちの１つ以上を実行するように構成される。そのようなデバイスの例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、カメラ及びサーバなどの様々な電子デバイスが挙げられるが、これらに限定されない。システム５１の要素は、単独で又は組み合わせて、１つの集積回路（integrated circuit、ＩＣ）、複数のＩＣ、及び／又は別個の構成要素において具体化することができる。例えば、少なくとも１つの実施形態では、システム５１は、符号化モジュールを実装する１つの処理モジュール５００を備える。様々な実施形態では、システム５１は、例えば、通信バスを介して、又は専用の入力ポート及び／若しくは出力ポートを通して、１つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム５１は、本明細書に記載される態様のうちの１つ以上を実装するように構成されている。

【0089】

処理モジュール５００への入力は、すでに図５Ｄに関して説明したブロック５３１に示すように様々な入力モジュールを介して提供することができる。

【0090】

システム５１の様々な要素は、一体型ハウジング内に設けることができる。一体型ハウジング内で、様々な要素は、適切な接続配置、例えば、ＩＣ間（Ｉ２Ｃ）バス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して、相互接続され、それらの間でデータを送信し得る。例えば、システム５１において、処理モジュール５００は、バス５００５によってシステム５１の他の要素に相互接続される。

【0091】

処理モジュール５００の通信インターフェース５００４は、システム５００が通信チャネル５２上で通信することを可能にする。

【0092】

データは、様々な実施形態では、Ｗｉ－Ｆｉネットワーク、例えば、ＩＥＥＥ８０２．１１（ＩＥＥＥは、米国電気電子技術者協会（Institute of Electrical and Electronics Engineers）を指す）などの無線ネットワークを使用して、システム５１にストリーミングされるか、又は別様に提供される。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に適合されている通信チャネル５２及び通信インターフェース５００４上で受信される。これらの実施形態の通信チャネル５２は、典型的に、ストリーミングアプリケーション及び他のオーバザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック５３１のＲＦ接続を使用して、システム５１にストリーミングデータを提供する。

【0093】

上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。追加的に、様々な実施形態は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラネットワーク又はＢｌｕｅｔｏｏｔｈネットワークを使用する。

【0094】

システム５１に提供されるデータは、異なるフォーマットで提供することができる。様々な実施形態では、これらのデータは符号化され、ＡＶ１、ＶＰ９、ＶＶＣ、ＨＥＶＣ、ＡＶＣなどの既知のビデオ圧縮フォーマットに準拠する。様々な実施形態では、これらのデータは、システム５１に接続された、又はシステム５１に含まれるピクチャ及び／又はオーディオ取得モジュールによって提供される生データである。その場合、処理モジュールは、これらのデータの符号化を担当する。

【0095】

システム５１は、システム５３などの出力信号を記憶及び／又は復号することができる様々な出力デバイスに出力信号を提供することができる。

【0096】

様々な実装形態は、復号することを含む。本出願で使用される場合、「復号」は、例えば、ディスプレイに適した最終出力を生成するために、受信された符号化されたビデオストリームに対して実行されるプロセスの全て又は一部を包含し得る。様々な実施形態において、このような処理は、例えば、エントロピー復号、逆量子化、逆変換、及び予測など、デコーダによって一般的に実行される処理のうちの１つ以上を含む。様々な実施形態では、そのようなプロセスにはまた、若しくは代替的に、例えば、ループ内フィルタリング又はポストフィルタリングをどの分解能で適用するかを判定するために、本出願に記載される様々な実装形態のデコーダによって実施されるプロセスが含まれる。

【0097】

更なる例として、一実施形態では、「復号」は、ステップ４１７のループ内フィルタリング及び／又はステップ４２１の後処理のみを指す。「復号プロセス」という句が、具体的に作業部分集合を指すことを目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。

【0098】

様々な実装形態は、符号化を伴う。「復号」に関する上記の考察と同様に、本出願で使用される場合、「符号化」は、例えば、符号化されたビデオストリームを生成するために入力ビデオシーケンスで実行されるプロセスの全部又は一部を包含し得る。様々な実施形態において、このような処理は、例えば、分割、予測、変換、量子化、及びエントロピー符号化など、エンコーダによって一般的に実行される処理のうちの１つ以上を含む。様々な実施形態では、そのようなプロセスは、更に、又は代替的に、例えば、どの解像度でループ内フィルタリング又はポストフィルタリングを実行するかをデコーダが決定することを可能にする情報を提供するために、本出願で説明する様々な実装形態のエンコーダによって実行されるプロセスを含む。

【0099】

更なる例として、一実施形態では、「符号化」は、量子化（２０９）及び／又は変換（２０７）及び／又はループ内フィルタリング（ステップ２１７）を指す。「符号化プロセス」という句が、具体的に作業部分集合を指すこと目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。

【0100】

本明細書で使用されるシンタックス要素名は、説明上の用語であることに留意されたい。したがって、これらは他のシンタックス要素名の使用を排除するものではない。

【0101】

図がフローチャートとして提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法／プロセスのフローチャートも提供するものと理解されたい。

【0102】

様々な実施形態は、速度歪み最適化を指す。特に、符号化プロセス中に、レートと歪みとの間のバランス又はトレードオフが通常考慮される。レート歪み最適化は、通常、レートと歪みの加重和であるレート歪み関数を最小化するように定式化される。レート歪み最適化問題を解くには、異なるアプローチがある。例えば、これらのアプローチは、全ての考慮されるモード又はコーディングパラメータ値を含む全ての符号化オプションの広範なテストに基づき得、それらのコーディングコスト、並びにコーディング及び復号後の再構成された信号の関連する歪みの完全な評価を伴う。また、符号化の複雑度を軽減するために、より高速なアプローチ、特に、再構成された信号ではなく、予測又は予測残差信号に基づく近似歪みの計算を使用することもできる。考えられる符号化選択肢の一部のみに対して近似歪みを使用し、他の符号化選択肢に対しては完全な歪みを使用することなどによって、これらの２つの手法の混合を使用することもできる。他の手法では、考えられる符号化選択肢部分集合のみを評価する。より一般的には、多くのアプローチは、最適化を実行するために様々な技術のいずれかを採用するが、最適化は、必ずしもコーディングコスト及び関連する歪みの両方の完全な評価ではない。

【0103】

本明細書に記載の実装形態及び態様は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも（例えば、方法としてのみ考察される）、考察された特徴の実装形態は、他の形態（例えば、装置又はプログラム）でも実装することができる。例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて装置を実装することができる。方法は、例えば、プロセッサにおいて実装することができ、プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む一般的な処理デバイスを指す。プロセッサには、例えば、エンドユーザ間の情報の通信を容易にする、コンピュータ、携帯電話、ポータブル／携帯情報端末（「Personal Digital Assistant、ＰＤＡ」）などのデバイスなどの通信デバイスも含まれる。

【0104】

「一実施形態」若しくは「ある実施形態」又は「一実装形態」若しくは「ある実装形態」、またそれらの他の変形形態への言及は、その実施形態に関連して説明する特定の特徴、構造、特性などが、少なくとも１つの実施形態に含まれることを意味する。したがって、本出願全体を通して様々な場所に現れる「一実施形態では」若しくは「ある実施形態では」又は「一実装形態では」若しくは「ある実装形態では」、また他の変形形態という句が現れるとき、必ずしも全てが同じ実施形態を指しているのではない。

【0105】

加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、メモリから情報を取得すること、又は、例えば、別のデバイス、モジュール若しくはユーザから情報を取得することのうちの１つ以上を含むことができる。

【0106】

更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、（例えば、メモリから）情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの１つ以上を含むことができる。

【0107】

加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は（例えば、メモリから）情報を取得することのうちの１つ以上を含むことができる。更に、「受信すること」は、一般には、例えば、情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの形で関与する。

【0108】

「／」、「及び／又は」、「のうちの少なくとも１つ」、「１つ以上」のいずれかの使用、例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」、「Ａ及びＢのうちの少なくとも１つ」、「Ａ及びＢの１つ以上」の場合、最初にリストされた選択肢（Ａ）のみの選択、又は２番目にリストされた選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することを意図しているものと理解されたい。更なる例として、「Ａ、Ｂ、及び／又はＣ」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ」、「Ａ、Ｂ及びＣのうちの１つ以上」の場合、このような句は、最初にリストされた選択肢（Ａ）のみの選択、又は２番目にリストされた選択肢（Ｂ）のみの選択、又は３番目にリストされた選択肢（Ｃ）のみの選択、又は、最初及び２番目にリストされた選択肢（Ａ及びＢ）のみの選択、又は、最初及び３番目にリストされた選択肢（Ａ及びＣ）のみの選択、又は、２番目及び３番目にリストされた選択肢（Ｂ及びＣ）のみの選択、又は３つの選択肢（Ａ及びＢ及びＣ）全ての選択を包含するように意図されている。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。

【0109】

また、本明細書で使用されるとき、「シグナリングする」という語は、特に、対応するデコーダに対して何かを示すことを意味する。例えば、特定の実施形態では、エンコーダは、いくつかのコーディングツールの使用をシグナリングする。このようにして、実施形態では、エンコーダ側とデコーダ側の両方で、同じパラメータを使用することができる。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信することができる（明確なシグナリング）。これに対し、デコーダがすでにその特定のパラメータと共に他のパラメータも有する場合は、単にデコーダがその特定のパラメータを知ること、及びそれを選択することを可能にするように、送信を行わないシグナリング（暗黙的なシグナリング）を使用することができる。いかなる実際の機能の送信も回避することにより、様々な実施形態において、ビットの節約が実現される。シグナリングは、様々な方法で達成することができることが理解されよう。例えば、１つ以上のシンタックス要素、フラグなどが、様々な実施形態において、対応するデコーダに情報をシグナリングするために使用される。上記は、「信号」という語の動詞形に関連し、「信号」という語は、本明細書では名詞としても使用されることがある。

【0110】

当業者には明白であるように、実装形態は、例えば、格納され得る、又は送信され得る情報を搬送するようにフォーマットされた様々な信号をもたらすことができる。情報は、例えば、方法を実行するための命令、又は説明されている実装形態の１つによって生成されるデータを含むことができる。例えば、説明されている実施形態の符号化されたビデオストリーム及びＳＥＩメッセージを伝えるように信号をフォーマットすることができる。例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）、又はベースバンド信号として、このような信号をフォーマットすることができる。フォーマットすることは、例えば、符号化されたビデオストリームを符号化すること、及び符号化ビデオストリームで搬送波を変調することを含むことができる。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報とすることができる。既知であるように、様々な異なる有線リンク又は無線リンク上で信号を送信することができる。信号は、プロセッサ可読媒体に格納することができる。

【0111】

図６は、エンコーダ側でループ内及びポストフィルタリングの空間解像度を適合させるための方法の一例を概略的に示す。

【0112】

図６に関連して説明した方法は、処理モジュール５００がシステム５１に組み込まれている場合に、この処理モジュールによって実行される。

【0113】

ステップ６０１において、処理モジュール５００は、ステップ３０１～３１０及びステップ３１２～３１６を適用して、符号化されたビデオストリーム３１１の一部として現在のピクチャを符号化し、ステップ３１７において、再構成された現在のピクチャと呼ばれる現在のピクチャの再構成されたバージョンを取得する。再構成された現在のピクチャは、第１の空間解像度で再構成される。動き補償と共に実施されるＲＰＲの場合、ステップ３１６は、１つの単一サンプル補間ステップにおいて達成されるジョイント再サンプリング及び動き補償とみなすことができる。

【0114】

ステップ６０２において、処理モジュール５００は、以下でフィルタリング解像度メタデータと呼ばれるメタデータを、現在のピクチャに関連付け、フィルタリング解像度メタデータは、第１の空間解像度とは異なる第２の空間解像度で再構成された現在のピクチャの少なくとも一部に少なくとも１つのループ内フィルタリング及び／又は少なくとも１つのポストフィルタリングを適用することが許可されることを指定する情報を表す。

【0115】

上述したように、フィルタリング解像度メタデータは、ループ内フィルタリング、ポストフィルタリング、又はその両方に関係する。１つの特定のケースは、フィルタリング解像度メタデータがループ内フィルタリングに関係するときにエンコーダ側で生じる。実際、その場合、符号化プロセスと復号プロセスとの間の対称性を確保するために、エンコーダは、デコーダと同じループ内フィルタリングを適用しなければならない。したがって、ループ内フィルタリングが関係する場合、ループ内フィルタリングが適用される空間解像度は、フィルタリング解像度メタデータの値に依存する。フィルタリング解像度メタデータが、第２の解像度で少なくとも１つのループ内フィルタリングを適用することが許可されることを示す場合、図６の方法は、処理モジュール５００が少なくとも１つの第２の空間解像度でループ内フィルタリングを適用する追加のステップ６０３を含む。このステップは、再サンプリングステップの後かつ動き補償ステップの前に、又は再サンプリングステップと動き補償ステップとを別々に適用した後に、又は再サンプリングステップと動き補償ステップとを組み合わせた単一のサンプル補間ステップの後に適用することができる。したがって、図３を参照すると、この単一サンプル補間ステップは、ステップ３０５の直後であってステップ３０８の前に適用される。

【0116】

ステップ６０２の第１の実施形態では、第１の空間解像度とは異なる少なくとも１つの第２の空間解像度でフィルタリング処理を実行できることを示す情報が、ループ内メタデータ又はフィルタ後メタデータに挿入される。しかしながら、この場合、第２の空間解像度は指定されない。

【0117】

例えば、ステップ６０２の第１の実施形態の第１の変形例では、表ＴＡＢ１に示されるＳＥＩメッセージに基づいて、表ＴＡＢ３に示されるようにシンタックス要素ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｌａｇが挿入される。

【0118】

【表3】

【0119】

ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｌａｇが「１」に等しい場合、ＳＥＩメッセージにおいて指定されたポストフィルタが、幅がｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓに等しく高さがｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓに等しい再サンプリングされていない復号ピクチャに適用されることが推奨されることを示す。ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは、ＨＥＶＣにおいて定義されているように、ルーマサンプルの単位で復号ピクチャの幅を指定する。ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは、ＨＥＶＣにおいて定義されているように、ルーマサンプルの単位で復号ピクチャの高さを指定する。

【0120】

ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｌａｇが「０」に等しい場合、ポストフィルタが、再サンプリングされていない復号ピクチャに適用されることが特に推奨されず、幅がｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓとは異なりかつ／又は高さがｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓとは異なるピクチャに再サンプリングされた復号ピクチャのバージョンに適用され得ることを示す。

【0121】

ステップ６０２の第１の実施形態の第２の変形例では、情報は既存のシンタックス要素ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｔｙｐｅに含まれる。Ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｔｙｐｅは、ＨＥＶＣにおいて指定されるように、送信されたフィルタヒントのタイプを識別する。例えば、ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｔｙｐｅ値（現在、ＨＥＶＣにおいて「０」から「２」に定義されている）は、表ＴＡＢ４に示されているように拡張され得る。

【0122】

【表4】

【0123】

新しい値は太字で表されている。ポストフィルタリングが再サンプリングされていない復号ピクチャに適用されることが推奨されるかどうかを指定する左列が追加されている。

【0124】

ステップ６０２の第１の実施形態の第３の変形例では、情報は、文書ＪＶＥＴ－Ｒ０１９０で提案されているＳＥＩメッセージａｄａｐｔｉｖｅ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｃｏｎｔｒｏｌに含まれる。新しいシンタックス要素ａｌｆ＿ｆｉｌｔｅｒ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｌａｇが、表ＴＡＢ５に示されるように挿入される。

【0125】

【表5】

【0126】

ａｌｆ＿ｆｉｌｔｅｒ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｌａｇが「１」に等しい場合、ＳＥＩメッセージにおいて指定されたＡＬＦフィルタが、幅がｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓに等しく高さがｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓに等しい再サンプリングされていない復号ピクチャに適用されることが推奨されることを示す。

【0127】

ａｌｆ＿ｆｉｌｔｅｒ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｌａｇが「０」に等しい場合、ＡＬＦフィルタが、再サンプリングされていない復号ピクチャに適用されることが特に推奨されず、幅がｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓとは異なりかつ／又はｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓとは異なるピクチャに再サンプリングされた復号ピクチャのバージョンに適用され得ることを示す。

【0128】

ステップ６０２の第１の実施形態の第４の変形例では、情報は、ＡＶＣ及びＨＥＶＣにおいて規定されるＳＥＩメッセージｆｉｌｍ＿ｇｒａｉｎ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓに含まれる。新しいシンタックス要素ｆｉｌｍ＿ｇｒａｉｎ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｌａｇが、表ＴＡＢ６に示されるように挿入される。

【0129】

【表6】

【0130】

ｆｉｌｍ＿ｇｒａｉｎ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｌａｇが「１」に等しい場合、ＳＥＩメッセージ中で指定されたフィルムグレインが、幅がｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓに等しく高さがｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓに等しい再サンプリングされていない復号ピクチャに適用されることが推奨されることを示す。

【0131】

ｆｉｌｍ＿ｇｒａｉｎ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｌａｇが「０」に等しい場合、フィルムグレインが、再サンプリングされていない復号ピクチャに適用されることが特に推奨されず、幅がｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓとは異なりかつ／又は高さがｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓとは異なるピクチャに再サンプリングされた復号ピクチャのバージョンに適用され得ることを示す。

【0132】

ステップ６０２の第１の実施形態の第５の変形例では、情報は、ＡＶＣ、ＨＥＶＣ、及びＶＶＣの用語でシーケンスパラメータセット（Sequence Parameter Set、ＳＰＳ）として知られるシーケンスヘッダに含まれる。新たなシンタックス要素ｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ｉｌｆ＿ｆｌａｇがＳＰＳに挿入される。代替的に、ＡＰＳがループ内フィルタパラメータのコンテナであるときに、情報をＡＰＳに追加することができる。

【0133】

ｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ｉｌｆ＿ｆｌａｇが「１」に等しい場合、ループ内フィルタが、幅がｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓに等しく高さがｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓに等しい再サンプリングされていない復号ピクチャに適用されるように推奨されることを示す。

【0134】

ｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ｉｌｆ＿ｆｌａｇが「０」に等しい場合、ループ内フィルタが、再サンプリングされていない復号ピクチャに適用されることが特に推奨されず、幅がｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓとは異なりかつ／又は高さがｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓとは異なるピクチャに再サンプリングされた復号ピクチャのバージョンに適用され得ることを示す。

【0135】

同様のシンタックス要素を定義して、各ループ内フィルタを別々に対象とすることもできる。例えば、新たなシンタックス要素ｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ＤＢＦ＿ｆｌａｇ（それぞれ、ｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ＳＡＯ＿ｆｌａｇ及びｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ＡＬＦ＿ｆｌａｇ）がＳＰＳに挿入される。

【0136】

ｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ＤＢＦ＿ｆｌａｇ（それぞれｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ＳＡＯ＿ｆｌａｇ及びｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ＡＬＦ＿ｆｌａｇ）が「１」に等しい場合、デブロッキングフィルタ（それぞれＳＡＯ及びＡＬＦ）が、幅がｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓに等しく高さがｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓに等しい再サンプリングされていない復号ピクチャに適用されることが推奨されることを示す。

【0137】

ｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ＤＢＦ＿ｆｌａｇ（それぞれｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ＳＡＯ＿ｆｌａｇ及びｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ＡＬＦ＿ｆｌａｇ）は、デブロッキングフィルタ（それぞれＳＡＯ及びＡＬＦ）が「０」に等しい場合、再サンプリングされていない復号ピクチャに適用されることが特に推奨されず、幅がｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓとは異なり高さが及び／又はｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓとは異なるピクチャに再サンプリングされた復号ピクチャのバージョンに適用され得ることを示す。

【0138】

その結果、第１の分解能とは異なる第２の分解能でのループ内フィルタリングは、１つのループ内フィルタに対しては許可されるが、別のループ内フィルタに対しては禁止され得る。

【0139】

表記の簡略化のためにｒｅｃｏｍｍｅｎｄｅｄ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｏｒ＿ｉｌｆの下に記されるこれらのシンタックス要素（ｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ｉｌｆ＿ｆｌａｇ、ｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ＤＢＦ＿ｆｌａｇ、ｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ＳＯＡ＿ｆｌａｇ、又はｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ＡＬＦ＿ｆｌａｇ）のうちの少なくとも１つの値に基づいて、ステップ６０３中に、処理モジュール５００は、どの解像度でループ内フィルタリングを実行するかを決定する。

【0140】

図８は、ステップ６０３の実施形態の例を概略的に示す。

【0141】

この例では、再構成された現在のピクチャは、ループ内フィルタリングの前の現在のピクチャの再構成されたバージョンである。したがって、ステップ６０３は、ステップ３１６／３１５とステップ３１７との間に実行される。

【0142】

ステップ６０３１において、処理モジュール５００は、シンタックス要素ｒｅｃｏｍｍｅｎｄｅｄ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｏｒ＿ｉｌｆの値をチェックする。

【0143】

シンタックス要素ｒｅｃｏｍｍｅｎｄｅｄ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｏｒ＿ｉｌｆが真に等しい場合、処理モジュール５００はステップ６０３４を実行し、ループ内フィルタリングが、再構成された現在のピクチャに第１の空間解像度で適用される。次いで、ループ内フィルタリングされた再構成された現在のピクチャは、ＤＰＢに記憶される。

【0144】

ステップ６０３５において、ループ内フィルタリングされた再構成された現在のピクチャが時間的予測のための参照ピクチャとして使用されるとき、処理モジュール５００は、ループ内フィルタリングされた再構成された現在のピクチャにターゲット解像度での再サンプリングを適用する。ターゲット解像度は、ＤＰＢ３１９に記憶されたループ内フィルタリングされた再構成された現在ピクチャから時間的に予測されたピクチャの空間解像度に対応する。ステップ６０３５は、ターゲット解像度が、ループ内フィルタリングされた再構成された現在のピクチャの空間解像度と異なる場合にのみ適用される。再サンプリングは、ピクチャ全体に対して、又は現在のピクチャのブロックに対する動き補償に必要なサンプルのみに対して、これらのサンプルを参照として使用して達成することができる。いくつかの実装形態では、再サンプリング及び動き補償は、１つの単一サンプル補間ステップにおいて一緒に適用される。

【0145】

ｒｅｃｏｍｍｅｎｄｅｄ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｏｒ＿ｉｌｆが偽に等しい場合、ステップ６０３２において、処理モジュール５００は、どの空間解像度でループ内フィルタリングを適用するかを判定する。

【0146】

ステップ６０３３の間、第１の解像度とは異なる判定された空間解像度ごとに、処理モジュール５００は、空間解像度で再構成された現在のピクチャを再サンプリングして、再サンプリングされた再構成された現在のピクチャを取得する。判定された空間解像度は、第１の空間解像度とは異なる少なくとも１つの第２の空間解像度を含む。

【0147】

ステップ６０３４において、少なくとも判定された第２の空間解像度ごとに、処理モジュールは、第２の空間解像度に対応するピクチャにループ内フィルタリングを適用する。各ループ内フィルタリングされたピクチャは、次いで、ＤＰＢに記憶される。

【0148】

ステップ６０３５の間、ステップ６０３４の間に生成されたループ内フィルタリングされたピクチャのうちの１つが時間的予測のための参照ピクチャとして使用されるとき、処理モジュール５００は、ループ内フィルタリングされた再構成された現在のピクチャのサンプルにターゲット解像度での再サンプリングを適用する。ここでも、ステップ６０３５は、ターゲット解像度が、ループ内フィルタリングされた再構成された現在のピクチャの空間解像度と異なる場合にのみ適用される。再サンプリングは、ピクチャ全体に対して、又は現在のピクチャのブロックに対する動き補償に必要なサンプルのみに対して、これらのサンプルを参照として使用して達成することができる。いくつかの実装形態では、再サンプリング及び動き補償は、単一のサンプル補間ステップにおいて一緒に適用される。

【0149】

いくつかの実装形態では、時間的予測のための参照ピクチャとして使用されるループ内フィルタリングされた各ピクチャをＤＰＢに記憶する必要はなく、ループ内フィルタは、再サンプリングステップの後にオンザフライで適用されるか、又は動き補償ステップの後にオンザフライで適用されるか、又は再サンプリング及び動き補償が１つの単一サンプル補間ステップにおいて一緒に達成されるときには単一サンプル補間ステップの後にオンザフライで適用され得る。

【0150】

上記から分かるように、ｒｅｃｏｍｍｅｎｄｅｄ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｏｒ＿ｉｌｆが偽に等しいとき、すなわち、第１の空間解像度とは異なる第２の空間解像度でのループ内フィルタの適用が許可されるとき、処理モジュール５００は、同じ現在のピクチャについていくつかのループ内フィルタリングされた再構成されたピクチャを生成し得る。各ループフィルタリングされた再構成された現在のピクチャは、それ自体のループ内フィルタパラメータ（デブロッキングフィルタパラメータ、ＳＡＯパラメータ、ＡＬＦパラメータ）に関連付けられる。その結果、符号化されたビデオストリーム３１１は、デコーダがそれ自体のＤＰＢ内の同じピクチャを正確に再構成することができるように、ループ内フィルタパラメータのいくつかのセットを含む。代替的に、異なる解像度で複数のピクチャを記憶する代わりに、復号された解像度で１つの単一のピクチャが記憶され得、ＤＰＢに記憶されたピクチャが参照ピクチャとして使用されるとき、様々な解像度での再サンプリング及びループ内フィルタがオンザフライで適用され得る。再サンプリング及び動き補償が１つの単一サンプル補間ステップにおいて組み合わされる実装形態では、ループ内フィルタリングは、好ましくは、１つの単一サンプル補間ステップの後に適用される。

【0151】

一例では、シンタックス要素ｒｅｃｏｍｍｅｎｄｅｄ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｏｒ＿ｉｌｆは、シンタックス要素ｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ｉｌｆ＿ｆｌａｇに対応する。ｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ｉｌｆ＿ｆｌａｇは、ビデオシーケンスが第１の解像度のピクチャ及び第２の解像度のピクチャを用いて符号化され、ＲＰＲが有効であるときに「０」に設定される。

【0152】

この場合、ステップ６０３１の後にステップ６０３２が続く。

【0153】

ステップ６０３２の間に、処理モジュール５００が、現在のピクチャを符号化するときに、この現在のピクチャが別のピクチャによって参照ピクチャとして使用されるかどうかを知らず、かつ現在のピクチャが別のピクチャによって参照ピクチャとして使用される場合に、現在のピクチャを参照ピクチャとして使用するピクチャの解像度がどんな解像度であるかを知らないと仮定すると、現在のピクチャは、潜在的に第１又は第２の空間解像度で参照ピクチャとして使用することができる。その結果、処理モジュール５００は、再構成された現在のピクチャにループ内フィルタを第２の解像度だけでなく第１の解像度でも適用する必要があると判定する。そうするために、再構成された現在のピクチャは、ステップ６０３３において第２の空間解像度で再サンプリングされる。このステップは、いくつかの実装形態では、動き補償ステップと組み合わせて、単一のサンプル補間ステップにすることができる。ステップ６０３４において、ループ内フィルタリングが、再構成された現在のピクチャに第１の解像度で適用され、再サンプリングされた再構成された現在のピクチャに第２の解像度で適用される。現在のピクチャに対して２つのピクチャがＤＰＢ３１９に記憶され、一方のピクチャは、第１の空間解像度におけるループ内フィルタリングされた再構成された現在のピクチャに対応し、第２のピクチャは、第２の空間解像度におけるループ内フィルタリングされた再構成された現在のピクチャに対応する。代替的に、第１及び第２の空間解像度で複数のピクチャを記憶する代わりに、第１の空間解像度で１つの単一ピクチャを記憶することができ、ＤＰＢに記憶されたピクチャが、第２の空間解像度に等しい解像度を有する現在のピクチャのための参照ピクチャとして使用されるとき、第２の空間解像度での再サンプリング及びループ内フィルタをオンザフライで適用することができる。再サンプリング及び動き補償が１つの単一サンプル補間ステップにおいて組み合わされる実装形態では、第２の空間解像度におけるループ内フィルタリングは、好ましくは、１つの単一サンプル補間ステップの後に適用される。次に、ループ内フィルタリングパラメータの２つのセットが取得され、現在のピクチャの符号化されたビデオストリーム内にシグナリングされる。第１の空間解像度における次のピクチャが現在のピクチャを参照ピクチャとして使用するとき、ＤＰＢ３１９に記憶された第１の空間解像度におけるループ内フィルタリングされた再構成された現在のピクチャが使用される。第２の空間解像度における次のピクチャが現在のピクチャを参照ピクチャとして使用するとき、ＤＰＢ３１９に記憶された第２の空間解像度におけるループ内フィルタリングされた再構成された現在のピクチャが使用される。

【0154】

一実施形態では、同じ現在のピクチャのいくつかのバージョンをＤＰＢに記憶することを回避するために、ステップ６０３３（再サンプリング）及び６０３４（ループ内フィルタリング）は、次のピクチャのブロックが現在のピクチャのブロックを参照する動き推定（ステップ３０４）及び動き補償（ステップ３０５）ステップの実行中にのみ処理モジュール５００によって実行される。再サンプリングのステップ（６０３３）及び動き補償のステップは、いくつかの実装形態では、単一のサンプル補間ステップに組み合わせることができる。この場合、ステップ６０３４（ループ内フィルタリング）は、この単一サンプル補間ステップの後に適用される。

【0155】

ステップ６０３２の実施形態では、処理モジュール５００は、ループ内フィルタリングが適用される空間解像度をシステム５３に関する情報の関数として判定する。この情報は、例えば、システム５３の利用可能なコンピューティングリソース、システム５３の利用可能なストレージリソース、システム５３のバッテリエネルギーレベル、システム５３に接続又は組み込まれたディスプレイの空間解像度、システム５３上の利用可能な帯域幅などを表す情報を含む。

【0156】

ステップ６０２の第２の実施形態では、ループ内フィルタリング及び／又はポストフィルタリングを適用するための推奨解像度を表す情報が、ループ内フィルタリング及び／又はポストフィルタリングメタデータに挿入される。例えば、シンタックス要素ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｗｉｄｔｈ及びｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｈｅｉｇｈｔは、表ＴＡＢ６に表されているようにｐｏｓｔ＿ｆｉｌｔｅｒ＿ｈｉｎｔＳＥＩメッセージに挿入される。

【0157】

【表7】

【0158】

ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｗｉｄｔｈは、ポストフィルタが適用されることが推奨されるピクチャ幅を指定する。

【0159】

ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｈｅｉｇｈｔは、ポストフィルタが適用されることが推奨されるピクチャ高さを指定する。

【0160】

復号されたピクチャ幅がｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｗｉｄｔｈに等しくないか、又は復号されたピクチャ高さがｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｈｅｉｇｈｔに等しくない場合、ピクチャにポストフィルタリングを適用する前に、復号されたピクチャを再サンプリングして、幅がｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｗｉｄｔｈに等しく高さがｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｈｅｉｇｈｔに等しい再サンプリングされたピクチャを生成することが推奨される。

【0161】

ステップ６０２の第３の実施形態では、１つの解像度を推奨する代わりに、ループ内フィルタリング及び／又はポストフィルタリングを適用するための推奨解像度範囲を表す情報が、ループ内フィルタリング及び／又はポストフィルタリングメタデータに挿入される。例えば、シンタックス要素ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｗｉｄｔｈ［］及びｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｈｅｉｇｈｔ［］は、表ＴＡＢ７に表されているようにｐｏｓｔ＿ｆｉｌｔｅｒ＿ｈｉｎｔＳＥＩメッセージに挿入される。

【0162】

【表8】

【0163】

ステップ６０２のこの第３の実施形態では、ポストフィルタリングは、幅がｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｗｉｄｔｈ［０］以上でｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｗｉｄｔｈ［１］以下であり、高さがｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｈｅｉｇｈｔ［０］以上でｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｈｅｉｇｈｔ［１］以下であることを特徴とする解像度で復号されたピクチャに適用されることが推奨される。

【0164】

ステップ６０２の第４の実施形態では、複数の推奨解像度又は解像度範囲、並びに対応するループ内フィルタ（ループ内フィルタパラメータによって表される）及び／又はポストフィルタを表す情報が、ループ内フィルタリング及び／又はポストフィルタリングメタデータに挿入される。例えば、ステップ６０２の第４の実施形態の第１の変形形態では、シンタックス要素ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｎｕｍｂｅｒ＿ｆｉｌｔｅｒｓ＿ｍｉｎｕｓ１、ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｗｉｄｔｈ［］及びｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｈｅｉｇｈｔ［］が、表ＴＡＢ８に表されているようにｐｏｓｔ＿ｆｉｌｔｅｒ＿ｈｉｎｔＳＥＩメッセージに挿入される。

【0165】

【表9】

【0166】

ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｎｕｍｂｅｒ＿ｆｉｌｔｅｒｓ＿ｍｉｎｕｓ１は、ｐｏｓｔ＿ｆｉｌｔｅｒ＿ｈｉｎｔＳＥＩメッセージ中でシグナリングされるフィルタの数を指定する。フィルタの数は、ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｎｕｍｂｅｒ＿ｆｉｌｔｅｒｓ＿ｍｉｎｕｓ１＋１として導出される。

【0167】

ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｗｉｄｔｈ［ｆＩｄｘ］は、インデックスｆＩｄｘのポストフィルタが適用されることが推奨されるピクチャ幅を指定する。

【0168】

ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｈｅｉｇｈｔ［ｆＩｄｘ］は、インデックスｆＩＤｘのポストフィルタが適用されることが推奨されるピクチャ高さを指定する。

【0169】

一実施形態では、ｆＩｄｘの値を大きくする場合、ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｗｉｄｔｈ［ｆＩｄｘ］及びｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｈｅｉｇｈｔ［ｆＩｄｘ］を小さい順にシグナリングすることが必須である。

【0170】

ステップ６０２の第４の実施形態の第２の変形例では、フィルタｆＩｄｘごとに解像度の範囲が以下のように定義される。

【0171】

ｆＩｄｘ＝０～ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｎｕｍｂｅｒ＿ｆｉｌｔｅｒｓ＿ｍｉｎｕｓ１－１の場合、それぞれ、範囲［ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｗｉｄｔｈ［ｆＩｄｘ］、ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｗｉｄｔｈ［ｆＩｄｘ＋１］［及び［ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｈｅｉｇｈｔ［ｆＩｄｘ］、ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｈｅｉｇｈｔ［ｆＩｄｘ＋１］］内の幅及び高さについてフィルタｆＩｄｘを適用することが推奨される。

【0172】

ｆＩｄｘ＝ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｎｕｍｂｅｒ＿ｆｉｌｔｅｒｓ＿ｍｉｎｕｓ１の場合、それぞれｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｗｉｄｔｈ［ｆＩｄｘ］及び［ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｈｅｉｇｈｔ［ｆＩｄｘ］以上の幅及び高さに対してフィルタｆＩＤｘを適用することが推奨される。

【0173】

ステップ６０２の第５の実施形態では、指定された空間解像度又は空間解像度範囲でループ内フィルタリング又はポストフィルタリングを適用することの品質影響度及び／又は複雑度影響度及び／又はエネルギー影響度を表す情報が、ループ内フィルタリング及び／又はポストフィルタリングメタデータの場合と同様に追加される。いくつかのフィルタがいくつかの解像度についてシグナリングされるとき、品質影響度及び／又は複雑度影響度及び／又はエネルギー影響度を表す情報が各フィルタについてシグナリングされる。

【0174】

例えば、シンタックス要素ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｄｅｌｔａ＿ｑｕａｌｉｔｙ，ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｄｅｌｔａ＿ｃｏｍｐｌｅｘｉｔｙ及びｆｉｌｔｅｒ＿ｈｉｎｔ＿ｄｅｌｔａ＿ｅｎｅｒｇｙは、表ＴＡＢ９に表されているように、表ＴＡＢ８のｐｏｓｔ＿ｆｉｌｔｅｒ＿ｈｉｎｔＳＥＩメッセージに挿入される。

【0175】

【表10】

【0176】

パラメータｆｉｌｔｅｒ＿ｈｉｎｔ＿ｄｅｌｔａ＿ｑｕａｌｉｔｙ［ｆＩｄｘ］は、フィルタを適用する前に、ｉｎｉｔｉａｌ＿ｑｕａｌｉｔｙという名称の初期品質メトリック及びｄｅｌｔａ＿ｑｕａｌｉｔｙという名称の品質変動（又は上記の例におけるｆｉｌｔｅｒ＿ｈｉｎｔ＿ｄｅｌｔａ＿ｑｕａｌｉｔｙ）の関数ｆ（．）としてｆｉｎａｌ＿ｑｕａｌｉｔｙという名称のインデックスのフィルタｆＩＤｘを適用した後に取得される品質メトリックを評価するために使用される。ｆｉｎａｌ＿ｑｕａｌｉｔｙ＝ｆ（ｉｎｉｔｉａｌ＿ｑｕａｌｉｔｙ，ｄｅｌｔａ＿ｑｕａｌｉｔｙ）
関数ｆ（．）の例を以下に示す。
・ 加法関数：ｆｉｎａｌ＿ｑｕａｌｉｔｙ＝ｉｎｉｔｉａｌ＿ｑｕａｌｉｔｙ＋ｄｅｌｔａ＿ｑｕａｌｉｔｙ。
・ 乗法関数：ｆｉｎａｌ＿ｑｕａｌｉｔｙ＝ｉｎｉｔｉａｌ＿ｑｕａｌｉｔｙ×ｄｅｌｔａ＿ｑｕａｌｉｔｙ。

【0177】

同様のプロセスを、複雑度及びエネルギーメトリックに適用することができる。

【0178】

ステップ６０２の第５の実施形態の変形例では、１つの単一フィルタがシグナリングされるとき、異なるピクチャ解像度について異なる品質、複雑度、エネルギー情報がシグナリングされる。

【0179】

ステップ６０２の第２、第３、第４及び第５の実施形態に関連して説明されたシンタックス要素は、ポストフィルタリングのみに関する。ステップ６０２の第６の実施形態では、ループ内フィルタリングのために同様のシンタックス要素を導出することができる。例えば、新しいＡＰＳタイプＩＬＦ＿ＲＥＳ＿ＡＰＳは、以下の情報を指定するシンタックス要素をトランスポートするために定義される。
・ ループ内フィルタリングを適用するための推奨解像度を表す情報と、
・ ループ内フィルタリングを適用するための解像度の推奨範囲を表す情報と、
・ 複数の推奨解像度又は解像度範囲及び対応するフィルタを表す情報と、若しくは
・ 所与の解像度でループ内フィルタを適用することの品質影響度及び／又は複雑度影響及び／又はエネルギー影響度を表す情報。

【0180】

更に、シンタックス要素ｉｌｆ＿ｒｅｓ＿ｄａｔａが定義される。表ＴＡＢ１０は、タイプＩＬＦ＿ＲＥＳ＿ＡＰＳのＡＰＳが、ループ内フィルタリングを適用するための推奨解像度を表す情報を提供するときのシンタックス要素ｉｌｆ＿ｒｅｓ＿ｄａｔａの例を表す。

【0181】

【表11】

【0182】

ｉｌｆ＿ｆｉｌｔｅｒ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｗｉｄｔｈは、ループ内フィルタが適用されることが推奨されるピクチャ幅を指定する。

【0183】

ｉｌｆ＿ｆｉｌｔｅｒ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｈｅｉｇｈｔは、ループ内フィルタが適用されることが推奨されるピクチャ高さを指定する。

【0184】

ステップ６０２の第６の実施形態では、タイプＩＬＦ＿ＲＥＳ＿ＡＰＳのＡＰＳは、全てのループ内フィルタを同一にアドレス指定する。変形例において、ＡＰＳは、各ループ内フィルタについて別々に定義され得る。

【0185】

図８の方法の実装形態は、第６の実施形態、特にステップ６０３２についてわずかに異なる。

【0186】

例えば、タイプＩＬＦ＿ＲＥＳ＿ＡＰＳのＡＰＳによってトランスポートされるシンタックス要素が、ループ内フィルタが適用されることが推奨されるピクチャ幅及びピクチャ高さを指定するとき、ステップ６０３２において、処理モジュール５００は、その空間解像度がタイプＩＬＦ＿ＲＥＣ＿ＡＰＳのＡＰＳにおいて指定された空間解像度に対応しない場合、再構成された現在のピクチャが再サンプリングされる必要があると決定することができる。再構成された現在のピクチャは、ステップ６０３３において推奨される解像度で再サンプリングされ、次いでステップ６０３４においてループ内フィルタリングされる。ステップ６０３３は、いくつかの実装形態では、再サンプリングステップ及び動き補償ステップを１つの単一サンプル補間ステップに組み合わせることができることに留意されたい。

【0187】

タイプＩＬＦ＿ＲＥＳ＿ＡＰＳのＡＰＳによってトランスポートされるシンタックス要素が、ループ内フィルタが適用されることが推奨されるピクチャ幅範囲及びピクチャ高さ範囲を指定するとき、ステップ６０３２において、処理モジュール５００は、その空間解像度がタイプＩＬＦ＿ＲＥＣ＿ＡＰＳのＡＰＳにおいて指定された空間解像度範囲に適合しない場合、再構成された現在のピクチャを再サンプリングする必要があると決定することができる。再構成された現在のピクチャは、ステップ６０３３において推奨される解像度範囲に適合する解像度で再サンプリングされ、次いでステップ６０３４においてループ内フィルタリングされる。

【0188】

タイプＩＬＦ＿ＲＥＳ＿ＡＰＳのＡＰＳによってトランスポートされるシンタックス要素が、ループ内フィルタが適用されることが推奨される複数のピクチャ幅又はピクチャ幅範囲及びピクチャ高さ又はピクチャ高さ範囲を指定するとき、ステップ６０３２において、処理モジュール５００は、再構成された現在のピクチャを再サンプリングする必要があると決定することができる。ステップ６０３３成された現在のピクチャは、ステップにおいて、各推奨解像度で再サンプリングされるか、又は各推奨解像度範囲に適合する複数の解像度で再サンプリングされる。次に、ステップ６０３４において、再サンプリングされ再構成された現在のピクチャの各々にループ内フィルタリングが適用される。

【0189】

図７は、デコーダ側でループ内及びポストフィルタリングの空間解像度を適合させるための方法の一例を概略的に示す。

【0190】

図７に関連して説明した方法は、処理モジュール５００がシステム５３に組み込まれているときに、この処理モジュールによって実行される。

【0191】

ステップ７０１において、処理モジュール５００は、符号化されたビデオストリーム３１１の一部にステップ４１０～４１６を適用し、ステップ３１７において、再構成された現在のピクチャと呼ばれる、現在のピクチャの再構成されたバージョンを取得する。再構成された現在のピクチャは、第１の空間解像度で再構成される。

【0192】

ステップ７０２において、処理モジュール５００は、符号化されたビデオストリームからフィルタリング解像度メタデータと呼ばれるメタデータを取得し、このメタデータは、再構成されたピクチャの少なくとも一部に少なくとも１つのループ内フィルタリング及び／又は少なくとも１つのポストフィルタリングを第１の空間解像度とは異なる第２の空間解像度で適用することが許可されることを指定する情報を表す。

【0193】

ステップ７０３において、処理モジュールは、フィルタリング解像度メタデータの関数としてフィルタリングに応じてループ内フィルタリング及び／又はポストフィルタリングを適用する。

【0194】

ステップ７０２の第１の実施形態では、第１の空間解像度とは異なる少なくとも１つの第２の空間解像度でフィルタリングプロセスを実行できることを示す情報が、ループ内又はフィルタ後メタデータから取得される。しかしながら、この場合、第２の空間解像度は指定されない。

【0195】

ステップ７０２の第１の実施形態の第１の変形例では、この情報は、ステップ６０２の第１の実施形態の第１の変形例に関連して説明したシンタックス要素ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｌａｇである。

【0196】

ステップ７０２の第１の実施形態の第２の変形例では、情報は、ステップ７０２の第１の実施形態の第２の変形例で説明したように、シンタックス要素ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｔｙｐｅから取得される。

【0197】

ステップ７０２の第１の実施形態の第３の変形例において、情報は、ステップ６０２の第１の実施形態の第３の変形例に関連して説明したように、文献ＪＶＥＴ－Ｒ０１９０において提案されているＳＥＩメッセージａｄａｐｔｉｖｅ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｃｏｎｔｒｏｌから取得される。

【0198】

ステップ７０２の第１の実施形態の第４の変形例では、情報は、ステップ６０２の第１の実施形態の第４の変形例に関連して説明したように、シンタックス要素ｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ｉｌｆ＿ｆｌａｇ又はｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ＤＢＦ＿ｆｌａｇ又はｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ＳＡＯ＿ｆｌａｇ、
ｓｐｓ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｆｏｒ＿ＡＬＦ＿ｆｌａｇからのＳＰＳから取得される。

【0199】

ステップ７０２の第１の実施形態の４つの変形例に関連して説明したシンタックス要素のうちの少なくとも１つの値、以下では表記の簡略化のためにｒｅｃｏｍｍｅｎｄｅｄ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎと示す値に基づいて、ステップ７０３において、処理モジュール５００は、ｒｅｃｏｍｍｅｎｄｅｄ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎの値の関数としてループ内フィルタリング及び／又はポストフィルタリングを適用する。

【0200】

図９は、ステップ７０３の実施形態の例を概略的に示す。

【0201】

ステップ７０３１において、処理モジュール５００は、シンタックス要素ｒｅｃｏｍｍｅｎｄｅｄ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎの値をチェックする。

【0202】

シンタックス要素ｒｅｃｏｍｍｅｎｄｅｄ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎが真に等しい場合、処理モジュール５００は、ステップ７０３７を実行し、その間、ループ内フィルタリング及びポストフィルタリングが、再構成された現在のピクチャに第１の空間解像度で適用される。ループ内フィルタリングされた再構成された現在のピクチャは、ＤＰＢに記憶される。ポストフィルタリングは、ループ内フィルタリングされた再構成された現在のピクチャに適用される。

【0203】

ステップ７０３８において、ループ内フィルタリングされた再構成された現在のピクチャが時間的予測のための参照ピクチャとして使用されるとき、処理モジュール５００は、ターゲット解像度での再サンプリングをループ内フィルタリングされた再構成された現在のピクチャに適用する。ターゲット解像度は、ＤＰＢ４１９に記憶されたループ内フィルタリングされた再構成された現在ピクチャから時間的に予測されたピクチャの空間解像度に対応する。ステップ７０３８は、ターゲット解像度が、ループ内フィルタリングされた再構成された現在のピクチャの空間解像度と異なる場合にのみ適用される。ターゲット解像度への再サンプリングはまた、例えば、ピクチャの空間解像度がディスプレイによって受け入れられる解像度に対応しない場合、ループ内フィルタリングされた再構成された現在のピクチャの後処理から生じるピクチャに適用され得る。

【0204】

上記から分かるように、ｒｅｃｏｍｍｅｎｄｅｄ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎが真に等しいとき、処理モジュール５００は、通常の復号プロセスを適用する。ステップ７０３７は、図４のステップ４１７及び４２１に対応する。

【0205】

ｒｅｃｏｍｍｅｎｄｅｄ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎが偽に等しい場合、ステップ７０３２において、処理モジュール５００は、ループ内フィルタリング及びポストフィルタリングをどの空間解像度で適用するかを判定する。判定された空間解像度は、第１の空間解像度とは異なる少なくとも１つの第２の空間解像度を含む。

【0206】

ステップ７０３３の間、ループ内フィルタリングについて判定された第２の空間解像度ごとに、処理モジュール５００は、再構成された現在のピクチャを第２の空間解像度で再サンプリングして、再サンプリングされた再構成された現在のピクチャを取得する。再サンプリングは、ピクチャ全体に対して、又は現在のピクチャのブロックに対する動き補償に必要なサンプルのみに対して、これらのサンプルを参照として使用して達成することができる。いくつかの実装形態では、再サンプリング及び動き補償は、１つの単一サンプル補間ステップにおいて一緒に適用される。

【0207】

ステップ７０３４において、少なくともループ内フィルタリングについて判定された第２の空間解像度ごとに、処理モジュールは、符号化されたビデオストリーム３１１においてシグナリングされるループ内パラメータを使用して、第２の空間解像度に対応するピクチャにループ内フィルタリングを適用する。ループ内フィルタリングされた各ピクチャは、次いで、ＤＰＢ４１９に記憶される。現在のピクチャについてＤＰＢ４１９に記憶されたループ内フィルタリングされた再構成された現在のピクチャは、同じ現在のピクチャについてＤＰＢ３１９に記憶されたループ内フィルタリングされた再構成された現在のピクチャと同一である。いくつかの実装形態では、時間的予測のための参照ピクチャとして使用されるループ内フィルタリングされた各ピクチャをＤＰＢに記憶する必要はなく、ループ内フィルタは、再サンプリングステップの後にオンザフライで適用されるか、又は動き補償ステップの後にオンザフライで適用されるか、又は再サンプリング及び動き補償が１つの単一サンプル補間ステップにおいて一緒に達成されるときには単一サンプル補間ステップの後にオンザフライで適用され得る。

【0208】

ステップ７０３５において、ステップ７０３４の間に生成されたループ内フィルタリングされた再構成された現在のピクチャのいずれも、ステップ７０３２においてポストフィルタリングを適用するために判定された第２の空間解像度に対応する空間解像度を有さない場合、ステップ７０３５において、第２の空間解像度への再サンプリングが、ポストフィルタリングされた再構成された現在のピクチャのうちの１つに適用される。例えば、再サンプリングは、ポストフィルタリングを適用するために判定された第２の空間解像度に最も近い空間解像度を有するポストフィルタリングされた再構成された現在のピクチャに適用される。

【0209】

ステップ７０３６において、ステップ７０３４で生成されたループ内フィルタリングされた再構成された現在のピクチャのうちの１つが、ポストフィルタリングを適用するために判定された第２の空間解像度に対応する空間解像度を有する場合には、これらのピクチャのうちの１つにポストフィルタリングが適用され、そうでない場合には、ステップ７０３５で生成されたピクチャにポストフィルタリングが適用される。

【0210】

ステップ７０３８の間、必要であれば、ステップ７０３４から得られるループ内フィルタリングされた再構成された現在のピクチャ、又はステップ７０３６から得られるポストフィルタリングされたピクチャのいずれか１つに再サンプリングが適用されてもよい。現在のピクチャが次のピクチャの時間的予測のための参照ピクチャとして使用されるが、ＤＰＢ４１９に記憶されたループ内フィルタリングされた再構成された現在のピクチャのいずれも、次のピクチャの空間解像度に対応する空間解像度を有さない場合、ループ内フィルタリングされた再構成された現在のピクチャの再サンプリングが必要であり得る。ポストフィルタリングされたピクチャの再サンプリングは、例えば、ポストフィルタリングされたピクチャの空間解像度がディスプレイによって許可される解像度に対応しない場合に必要となり得る。

【0211】

上記から分かるように、ｒｅｃｏｍｍｅｎｄｅｄ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎが偽に等しいとき、ステップ７０３２、７０３３、及び７０３４がステップ４１７に取って代わり、ステップ７０３５及び７０３６がステップ４２１に取って代わる。

【0212】

一例では、シンタックス要素ｒｅｃｏｍｍｅｎｄｅｄ＿ｄｅｃｏｄｅｄ＿ｒｅｓｏｌｕｔｉｏｎは、再構成されたピクチャにループ内フィルタリング及びポストフィルタリングを第１の解像度とは異なる第２の解像度で適用することが、全てのループ内フィルタリングツール及びポストフィルタリングツールに対して許可されることを指定する。更に、簡単にするために、符号化ビデオシーケンス３１１内の時間的予測を使用して符号化された全てのピクチャは、表示順で直前のピクチャからのみ時間的予測されたＰピクチャである。更に、画像が１つおきに第１の空間解像度で符号化され、他の画像は第２の空間解像度で符号化され、第２の空間解像度は第１の空間解像度より大きい。最後に、デコーダは、符号化されたビデオシーケンス３１１の上記特性を知っていると仮定する。その結果、符号化されたビデオシーケンス３１１の現在のピクチャを復号するとき、デコーダ（すなわち、デコーダを実装する処理モジュール５００）は、時間的予測のための参照ピクチャとしてこの現在のピクチャを使用して、ピクチャの空間解像度を正確に知る。

【0213】

この場合、ステップ７０３１の後にステップ７０３２が続く。

【0214】

ステップ７０３２の間に、処理モジュール５００は、再構成された現在のピクチャの空間解像度が、再構成された現在のピクチャから予測される次のピクチャの空間解像度と異なることを知る。再構成された現在のピクチャが第１の空間解像度である場合、処理モジュール５００は、再構成された現在のピクチャが、ループ内フィルタリングのために第２の空間解像度にアップサンプリングされる必要があると判定する。再構成された現在のピクチャが第２の空間解像度である場合、処理モジュール５００は、再構成された現在のピクチャが、ループ内フィルタリングのために第１の空間解像度にダウンサンプリングされる必要があると判定する。

【0215】

ステップ７０３３において、再構成された現在のピクチャは、ステップ７０３２において判定された再サンプリング空間解像度の関数として再サンプリングされる。

【0216】

ステップ７０３４において、全てのループ内フィルタが、再サンプリングされた再構成された現在のピクチャに適用される。得られたループ内フィルタリングされた再構成された現在のピクチャは、次いで、ＤＰＢ４１９に記憶される。

【0217】

ステップ７０３５及び７０３６について、処理モジュール５００は、ポストフィルタリングが常に第２の空間解像度で適用されることを知っていると仮定する。その結果、アップサンプリングは、ループ内フィルタリングされた再構成された現在のピクチャが第１の解像度であるときにのみ、ステップ７０３５において適用される。

【0218】

ステップ７０３６において、処理モジュール５００は、ループ内フィルタリングされた再構成された現在のピクチャを第２の空間解像度でポストフィルタリングする。

【0219】

ステップ７０３２の一実施形態では、処理モジュール５００は、ループ内フィルタリング及びポストフィルタリングが適用される空間解像度をシステム５３に関する情報の関数として判定する。この情報は、例えば、システム５３の利用可能なコンピューティングリソース、システム５３の利用可能なストレージリソース、システム５３のバッテリエネルギーレベル、システム５３に接続又は組み込まれたディスプレイの空間解像度、システム５３上の利用可能な帯域幅などを表す情報を含む。

【0220】

ステップ７０２の第２の実施形態では、ループ内フィルタリング及び／又はポストフィルタリングメタデータに埋め込まれたループ内フィルタリング及び／又はポストフィルタリングを適用するための推奨解像度を表す情報が、処理モジュール５００によって取得される。情報は、ステップ６０２の第２の実施形態に関連して説明したように、シンタックス要素ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｗｉｄｔｈ及びｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｈｅｉｇｈｔを含む。

【0221】

ステップ７０２の第３の実施形態では、処理モジュールは、１つの推奨解像度の代わりに、ループ内フィルタリング及び／又はポストフィルタリングメタデータから、ループ内フィルタリング及び／又はポストフィルタリングを適用するための推奨解像度範囲を表す情報を取得する。情報は、ステップ６０２の第３の実施形態で説明したように、シンタックス要素ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｗｉｄｔｈ［］及びｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｈｅｉｇｈｔ［］を含む。

【0222】

ステップ７０２の第４の実施形態では、処理モジュールは、ループ内フィルタリング及び／又はポストフィルタリングメタデータから、複数の推奨解像度又は解像度範囲及び対応するフィルタを表す情報を取得する。例えば、ステップ７０２の第４の実施形態の第１の変形例では、情報は、ステップ６０２の第４の実施形態に関連して説明したように、シンタックス要素ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｎｕｍｂｅｒ＿ｆｉｌｔｅｒｓ＿ｍｉｎｕｓ１、ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｗｉｄｔｈ［］及びｆｉｌｔｅｒ＿ｈｉｎｔ＿ｒｅｃｏｍｍｅｎｄｅｄ＿ｈｅｉｇｈｔ［］を含む。

【0223】

ステップ７０２の第４の実施形態の第２の変形例では、処理モジュール５００は、ステップ６０２の第４の実施形態の第２の変形例に関連して説明したように、各フィルタｆＩｄｘの解像度の範囲を取得する。

【0224】

ステップ７０２の第５の実施形態では、処理モジュール５００は、ループ内フィルタリング及び／又はポストフィルタリングメタデータから、フィルタを適用することの品質影響度及び／又は複雑度影響度及び／又はエネルギー影響度を表す情報を取得する。情報は、ステップ６０２の第５の実施形態で説明したように、シンタックス要素ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｄｅｌｔａ＿ｑｕａｌｉｔｙ、ｆｉｌｔｅｒ＿ｈｉｎｔ＿ｄｅｌｔａ＿ｃｏｍｐｌｅｘｉｔｙ及びｆｉｌｔｅｒ＿ｈｉｎｔ＿ｄｅｌｔａ＿ｅｎｅｒｇｙを含む。

【0225】

ステップ７０２の第６の実施形態では、処理モジュール５００は、
・ ループ内フィルタリングを適用するための推奨解像度を表す情報と、
・ ループ内フィルタリングを適用するための解像度の推奨範囲を表す情報と、
・ 複数の推奨解像度又は解像度範囲及び対応するフィルタを表す情報と、若しくは、
・ 所与の解像度でループ内フィルタを適用することの品質影響度及び／又は複雑度影響度及び／又はエネルギー影響度を表す情報を指定する情報を取得する。
これらの情報は、ステップ７０２の第６の実施形態に関連して説明した情報に対応する。

【0226】

ステップ６０２の種々の実施形態に適合されたステップ６０３と同様に、図９に関連して説明されるステップ７０３の実装形態は、ステップ７０２の種々の実施形態に適合される。特に、ステップ７０３２において、処理モジュール５００は、ステップ７０２において取得されたループ内フィルタリング及び／又はポストフィルタリングのために推奨される空間解像度を表す情報を考慮に入れて、場合によっては、ループ内フィルタリング及び／又はポストフィルタリングのために再構成された現在のピクチャを少なくとも１つの第２の空間解像度で再サンプリングすることを決定する。再サンプリングは、ピクチャ全体に対して、又は現在のピクチャのブロックに対する動き補償に必要なサンプルのみに対して、これらのサンプルを参照として使用して達成することができる。いくつかの実装形態では、再サンプリング及び動き補償は、１つの単一サンプル補間ステップにおいて一緒に適用される。

【0227】

いくつかの実装形態では、時間的予測のための参照ピクチャとして使用されるループ内フィルタリングされた各ピクチャをＤＰＢに記憶する必要はなく、ループ内フィルタは、再サンプリングステップの後にオンザフライで適用されるか、又は動き補償ステップの後にオンザフライで適用されるか、又は再サンプリング及び動き補償が１つの単一サンプル補間ステップにおいて一緒に達成されるときには単一サンプル補間ステップの後にオンザフライで適用され得る。

【0228】

以上、いくつかの実施形態について説明した。これらの実施形態の特徴は、単独で、又は任意の組み合わせで提供することができる。更に、実施形態は、様々な特許請求の範疇及びタイプにわたって、以下の特徴、デバイス、又は態様のうちの１つ以上を、単独で、又は任意の組み合わせにおいて、含むことができる。
・ 説明したシンタックス要素又はそのバリエーションのうちの１つ以上を含むビットストリーム又は信号。
・ 説明したシンタックス要素又はそのバリエーションのうちの１つ以上を含むビットストリーム又は信号を作成及び／又は送信及び／又は受信及び／又は復号すること。
・ 説明した実施形態のうちの少なくとも１つを実行するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・ 説明した実施形態のうちの少なくとも１つを実行し、得られた画像を（例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して）表示するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・ 符号化ビデオストリームを含む信号を受信するために（例えば、チューナを使用して）チャネルをチューニングし、説明した実施形態のうちの少なくとも１つを実行するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子機器。
・ 符号化ビデオストリームを含む信号を（例えば、アンテナを使用して）無線で受信し、説明した実施形態のうちの少なくとも１つを実行するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2023-05-31

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ピクチャをビデオ符号化するための方法であって、
ピクチャを第１の空間解像度で再構成すること（６０１）と、
再構成された前記ピクチャの少なくとも一部に対する、前記第１の空間解像度とは異なる第２の空間解像度でのループ内フィルタリング、ポストフィルタリング、又はそれらの組み合わせが許可されることを示すメタデータを前記ピクチャに関連付けること（６０２）と、を含む、方法。

【請求項2】

前記メタデータが、再構成された前記ピクチャの少なくとも一部の前記ループ内フィルタリング、前記ポストフィルタリング、又はそれらの前記組み合わせの適用が推奨される少なくとも１つの空間解像度を指定する、請求項１に記載の方法。

【請求項3】

前記メタデータが、再構成された前記ピクチャの少なくとも一部の前記ループ内フィルタリング、ポストフィルタリング、又はそれらの前記組み合わせの適用が推奨される少なくとも１つの空間解像度範囲を指定する、請求項１に記載の方法。

【請求項4】

前記メタデータが複数の空間解像度又は空間解像度範囲を指定するとき、前記メタデータが、各空間解像度又は各解像度範囲に対応するループ内フィルタ、ポストフィルタ、又はそれらの組み合わせを更に指定する、請求項１に記載の方法。

【請求項5】

前記メタデータが、指定された空間解像度又は空間解像度範囲ごとに、前記指定された空間解像度又は空間解像度範囲においてループ内フィルタリング、ポストフィルタリング、又はそれらの組み合わせを適用することの品質影響度、複雑度影響度、及びエネルギー影響度のうちの少なくとも１つを表す情報を更に指定する、請求項４に記載の方法。

【請求項6】

電子回路を備える、ピクチャをビデオ符号化するためのデバイスであって、
ピクチャを第１の空間解像度で再構成し（６０１）、かつ
再構成された前記ピクチャの少なくとも一部に対する、前記第１の空間解像度とは異なる第２の空間解像度でのループ内フィルタリング、ポストフィルタリング、又はそれらの組み合わせが許可されることを示すメタデータを前記ピクチャに関連付ける（６０２）ように適合されている、デバイス。

【請求項7】

前記メタデータが、再構成された前記ピクチャの少なくとも一部に対する前記ループ内フィルタリング、前記ポストフィルタリング、又はそれらの前記組み合わせの適用が推奨される少なくとも１つの空間解像度を指定する、請求項６に記載のデバイス。

【請求項8】

前記メタデータが、再構成された前記ピクチャの少なくとも一部に対する前記ループ内フィルタリング及び前記ポストフィルタリング又はそれらの前記組み合わせの適用が推奨される少なくとも１つの空間解像度範囲を指定する、請求項６に記載のデバイス。

【請求項9】

前記メタデータが複数の空間解像度又は空間解像度範囲を指定するとき、前記メタデータが、各空間解像度又は各解像度範囲に対応するループ内フィルタ、ポストフィルタ、又はそれらの組み合わせを更に指定する、請求項６に記載のデバイス。

【請求項10】

前記メタデータが、指定された空間解像度又は空間解像度範囲ごとに、前記指定された空間解像度又は空間解像度範囲においてループ内フィルタリング、ポストフィルタリング、又はそれらの組み合わせを適用することの品質影響度、複雑度影響度、及びエネルギー影響度のうちの少なくとも１つを表す情報を更に指定する、請求項９に記載のデバイス。

【請求項11】

ピクチャをビデオ復号するための方法であって、
ピクチャを第１の空間解像度で再構成すること（７０１）と、
再構成された前記ピクチャの少なくとも一部に対する、前記第１の空間解像度とは異なる第２の空間解像度でのループ内フィルタリング、ポストフィルタリング、又はそれらの組み合わせが許可されることを示す、前記ピクチャに関連付けられたメタデータを取得すること（７０２）と、を含む、方法。

【請求項12】

前記メタデータが、再構成された前記ピクチャの少なくとも一部の前記ループ内フィルタリング、前記ポストフィルタリング、又はそれらの前記組み合わせの適用が推奨される少なくとも１つの空間解像度を指定する、請求項１１に記載の方法。

【請求項13】

前記メタデータが、再構成された前記ピクチャの少なくとも一部の前記ループ内フィルタリング、ポストフィルタリング、又はそれらの前記組み合わせの適用が推奨される少なくとも１つの空間解像度範囲を指定する、請求項１１に記載の方法。

【請求項14】

前記メタデータが複数の空間解像度又は空間解像度範囲を指定するとき、前記メタデータが、各空間解像度又は各解像度範囲に対応するループ内フィルタ、ポストフィルタ、又はそれらの組み合わせを更に指定する、請求項１１に記載の方法。

【請求項15】

前記メタデータが、指定された空間解像度又は空間解像度範囲ごとに、前記指定された空間解像度又は空間解像度範囲においてループ内フィルタリング、ポストフィルタリング、又はそれらの組み合わせを適用することの品質影響度、複雑度影響度、及びエネルギー影響度のうちの少なくとも１つを表す情報を更に指定する、請求項１４に記載の方法。

【請求項16】

電子回路を備える、ピクチャをビデオ復号するためのデバイスであって、
ピクチャを第１の空間解像度で再構成し（７０１）、かつ
再構成された前記ピクチャの少なくとも一部に対する、前記第１の空間解像度とは異なる第２の空間解像度でのループ内フィルタリング、ポストフィルタリング、又はそれらの組み合わせが許可されることを示す、前記ピクチャに関連付けられたメタデータを取得する（７０２）ように適合されている、デバイス。

【請求項17】

前記メタデータが、再構成された前記ピクチャの少なくとも一部に対する前記ループ内フィルタリング、前記ポストフィルタリング、又はそれらの前記組み合わせの適用が推奨される少なくとも１つの空間解像度を指定する、請求項１６に記載のデバイス。

【請求項18】

前記メタデータが、再構成された前記ピクチャの少なくとも一部に対する前記ループ内フィルタリング及び前記ポストフィルタリング又はそれらの前記組み合わせの適用が推奨される少なくとも１つの空間解像度範囲を指定する、請求項１６に記載のデバイス。

【請求項19】

前記メタデータが複数の空間解像度又は空間解像度範囲を指定するとき、前記メタデータが、各空間解像度又は各解像度範囲に対応するループ内フィルタ、ポストフィルタ、又はそれらの組み合わせを更に指定する、請求項１６に記載のデバイス。

【請求項20】

前記メタデータが、指定された空間解像度又は空間解像度範囲ごとに、前記指定された空間解像度又は空間解像度範囲においてループ内フィルタリング、ポストフィルタリング、又はそれらの組み合わせを適用することの品質影響度、複雑度影響度、及びエネルギー影響度のうちの少なくとも１つを表す情報を更に指定する、請求項１９に記載のデバイス。

【国際調査報告】