特許 7609810 映像処理における適応解像度変更

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-23

(45)【発行日】2025-01-07

(54)【発明の名称】映像処理における適応解像度変更

(51)【国際特許分類】

   H04N 19/59 20140101AFI20241224BHJP

【ＦＩ】

H04N19/59

【請求項の数】 16

(21)【出願番号】P 2021570430

(86)(22)【出願日】2020-05-29

(65)【公表番号】

(43)【公表日】2022-09-13

(86)【国際出願番号】 US2020035079

(87)【国際公開番号】W WO2020263499

(87)【国際公開日】2020-12-30

【審査請求日】2023-05-22

(31)【優先権主張番号】62/900,439

(32)【優先日】2019-09-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/865,927

(32)【優先日】2019-06-24

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】511050697

【氏名又は名称】アリババ グループ ホウルディング リミテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】サーヴァー，モハメッド，ジー．

(72)【発明者】

【氏名】ルオ，ジャンコン

(72)【発明者】

【氏名】イエ，ヤン

【審査官】岩井 健二

(56)【参考文献】

【文献】国際公開第２０２０／２２８６６０（ＷＯ，Ａ１）

【文献】Jie Dong, Yong He, and Yan Ye，Downsampling filters for anchor generation for scalable extensions of HEVC，ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO，MPEG2012/M23485，2012年02月，pp.1-5

【文献】Hendry, et al.，AHG19: Adaptive resolution change (ARC) support in VVC，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-N0118-v3，14th Meeting: Geneva, CH，2019年03月，pp.1-8

【文献】J. Samuelsson, S. Deshpande, and A. Segall，AHG 8: Adaptive Resolution Change (ARC) with downsampling，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O0240-v1，15th Meeting: Gothenburg, SE，2019年07月，pp.1-10

【文献】Mohammed Golam Sarwer, et al.，AHG 8: JVET Common test conditions for adaptive resolution change，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O0641-v2，15th Meeting: Gothenburg, SE，2019年07月，pp.1-7

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

映像処理方法であって、
ターゲットピクチャ及び参照ピクチャの解像度を比較することと、
前記ターゲットピクチャ及び前記参照ピクチャが異なる解像度を有することに応答して、帯域通過フィルタを前記参照ピクチャに適用することによって、前記ターゲットピクチャのブロックのエンコーディング又はデコーディングを行うことと、を含み、
前記帯域通過フィルタが、前記参照ピクチャを再サンプリングし、再サンプリングされた前記参照ピクチャに基づいて動き補償インターポレーションを行うために使用され、
前記帯域通過フィルタが、コサイン窓化シンクフィルタから導出される複数の係数を有し、
前記コサイン窓化シンクフィルタが、カーネル関数

【数1】

を有し、式中、

【数2】

であり、ｆｃが、前記コサイン窓化シンクフィルタのカットオフ周波数であり、Ｌが、カーネル長さであり、ｒが、ダウンサンプリング比である、映像処理方法。

【請求項2】

前記帯域通過フィルタを前記参照ピクチャに適用することが、
８タップ帯域通過フィルタを前記参照ピクチャのルマサンプルに適用することを含む、請求項１に記載の方法。

【請求項3】

前記帯域通過フィルタを前記参照ピクチャに適用することが、
４タップ帯域通過フィルタを前記参照ピクチャのクロマサンプルに適用することを含む、請求項１に記載の方法。

【請求項4】

前記複数の係数の合計が、６４に等しい、請求項１に記載の方法。

【請求項5】

前記複数の係数の合計が、１２８に等しい、請求項１に記載の方法。

【請求項6】

前記参照ピクチャが、前記ターゲットピクチャよりも高い解像度を有する、請求項１に記載の方法。

【請求項7】

前記ｆｃが、０．９に等しく、前記Ｌが、１３に等しい、請求項１に記載の方法。

【請求項8】

前記コサイン窓化シンクフィルタが、３２位相フィルタである、請求項１に記載の方法。

【請求項9】

前記帯域通過フィルタを前記参照ピクチャに適用することが、
小数サンプル位置でルマサンプル又はクロマサンプルを取得することを含む、請求項１に記載の方法。

【請求項10】

デバイスであって、
コンピュータ命令を保存する１つ又は複数のメモリと、
前記コンピュータ命令を実行して、前記デバイスに、
ターゲットピクチャ及び参照ピクチャの解像度を比較することと、
前記ターゲットピクチャ及び前記参照ピクチャが異なる解像度を有することに応答して、帯域通過フィルタを前記参照ピクチャに適用することによって、前記ターゲットピクチャのブロックのエンコーディング又はデコーディングを行うことと、
を行わせるように構成される１つ又は複数のプロセッサと、を含み、
前記帯域通過フィルタが、前記参照ピクチャを再サンプリングし、再サンプリングされた前記参照ピクチャに基づいて動き補償インターポレーションを行うために使用され、
前記帯域通過フィルタが、コサイン窓化シンクフィルタから導出される複数の係数を有し、
前記コサイン窓化シンクフィルタが、カーネル関数

【数3】

を有し、式中、

【数4】

であり、ｆｃが、前記コサイン窓化シンクフィルタのカットオフ周波数であり、Ｌが、カーネル長さであり、ｒが、ダウンサンプリング比である、デバイス。

【請求項11】

前記１つ又は複数のプロセッサが、前記コンピュータ命令を実行して、前記デバイスに、
８タップ帯域通過フィルタを前記参照ピクチャのルマサンプルに適用することを行わせるように構成される、請求項１０に記載のデバイス。

【請求項12】

前記１つ又は複数のプロセッサが、前記コンピュータ命令を実行して、前記デバイスに、
４タップ帯域通過フィルタを前記参照ピクチャのクロマサンプルに適用することを行わせるように構成される、請求項１０に記載のデバイス。

【請求項13】

前記複数の係数の合計が、６４に等しい、請求項１０に記載のデバイス。

【請求項14】

前記複数の係数の合計が、１２８に等しい、請求項１０に記載のデバイス。

【請求項15】

前記参照ピクチャが、前記ターゲットピクチャよりも高い解像度を有する、請求項１０に記載のデバイス。

【請求項16】

映像のビットストリームを保存する方法であって、前記方法が、
ターゲットピクチャ及び参照ピクチャの解像度を比較することと、
前記ターゲットピクチャ及び前記参照ピクチャが異なる解像度を有することに応答して、帯域通過フィルタを前記参照ピクチャに適用することによって、前記ターゲットピクチャのブロックのエンコーディングを行って、ビットストリームを生成し、非一時的コンピュータ可読媒体に前記ビットストリームを保存することと、を含み、
前記帯域通過フィルタが、前記参照ピクチャを再サンプリングし、再サンプリングされた前記参照ピクチャに基づいて動き補償インターポレーションを行うために使用され、
前記帯域通過フィルタが、コサイン窓化シンクフィルタから導出される複数の係数を有し、
前記コサイン窓化シンクフィルタが、カーネル関数

【数5】

を有し、式中、

【数6】

であり、ｆｃが、前記コサイン窓化シンクフィルタのカットオフ周波数であり、Ｌが、カーネル長さであり、ｒが、ダウンサンプリング比である、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
[0001] 本開示は、共に全体として本明細書に援用される、２０１９年６月２４日に出願された米国仮特許出願第６２／８６５，９２７号、及び２０１９年９月１３日に出願された米国仮特許出願第６２／９００，４３９号に対する優先権の利益を主張するものである。

【0002】

技術分野
[0002] 本開示は、一般に、映像処理に関し、特に、映像符号化において、適応解像度変更を行う方法及びシステムに関する。

【背景技術】

【0003】

背景
[0003] 映像は、視覚情報を捕捉する一連の静止ピクチャ（又は「フレーム」）である。記憶メモリ及び伝送帯域幅を減少させるために、映像は、記憶又は伝送前に圧縮され、表示前に復元され得る。圧縮プロセスは、通常、エンコーディングと呼ばれ、復元プロセスは、通常、デコーディングと呼ばれる。最も一般的には、予測、変換、量子化、エントロピー符号化、及びインループフィルタリングに基づく、標準化映像符号化技術を用いる様々な映像符号化フォーマットが存在する。特定の映像符号化フォーマットを指定する、ＨＥＶＣ（High Efficiency Video Coding）／H.265標準規格、ＶＶＣ（Versatile Video Coding）／H.266標準規格、ＡＶＳ標準規格などの映像符号化標準規格が、標準化機関によって開発されている。ますます高度な映像符号化技術が、映像標準規格に採用されるにつれて、新しい映像符号化標準規格の符号化効率は、ますます高くなる。

【発明の概要】

【課題を解決するための手段】

【0004】

開示の概要
[0004] 本開示の実施形態は、映像のエンコーディング又はデコーディング中に適応解像度変更を行う方法を提供する。ある例示的実施形態では、この方法は、ターゲットピクチャ及び第１の参照ピクチャの解像度を比較することと、ターゲットピクチャ及び第１の参照ピクチャが異なる解像度を有することに応答して、第２の参照ピクチャを生成するために第１の参照ピクチャを再サンプリングすることと、第２の参照ピクチャを使用して、ターゲットピクチャのエンコーディング又はデコーディングを行うことと、を含む。

【0005】

[0005] 本開示の実施形態は、映像のエンコーディング又はデコーディング中に適応解像度変更を行うデバイスも提供する。ある例示的実施形態では、デバイスは、コンピュータ命令を保存する１つ又は複数のメモリと、コンピュータ命令を実行して、デバイスに、ターゲットピクチャ及び第１の参照ピクチャの解像度を比較することと、ターゲットピクチャ及び第１の参照ピクチャが異なる解像度を有することに応答して、第２の参照ピクチャを生成するために第１の参照ピクチャを再サンプリングすることと、第２の参照ピクチャを使用して、ターゲットピクチャのエンコーディング又はデコーディングを行うことと、を行わせるように構成された１つ又は複数のプロセッサと、を含む。

【0006】

[0006] 本開示の実施形態は、一組の命令を保存する非一時的コンピュータ可読媒体を提供し、前記一組の命令は、適応解像度変更の方法をコンピュータシステムに行わせるように、コンピュータシステムの少なくとも１つのプロセッサによって実行可能である。ある例示的実施形態では、この方法は、ターゲットピクチャ及び第１の参照ピクチャの解像度を比較することと、ターゲットピクチャ及び第１の参照ピクチャが異なる解像度を有することに応答して、第２の参照ピクチャを生成するために第１の参照ピクチャを再サンプリングすることと、第２の参照ピクチャを使用して、ターゲットピクチャのエンコーディング又はデコーディングを行うことと、を含む。

【0007】

図面の簡単な説明
[0007] 本開示の実施形態及び様々な局面は、以下の詳細な説明及び添付の図面に示される。図面に示される様々なフィーチャは、一定の縮尺で描かれていない。

【図面の簡単な説明】

【0008】

【図1】[0008]開示の実施形態と一致した、例示的映像エンコーダを示す模式図である。

【図2】[0009]開示の実施形態と一致した、例示的映像デコーダを示す模式図である。

【図3】[0010]開示の実施形態と一致した、参照ピクチャの解像度が現在のピクチャとは異なる例を示す。

【図4】[0011]開示の実施形態と一致した、ＶＶＣ（Versatile Video Coding）において、ルマ成分に使用されるサブペル（sub-pel）動き補償インターポレーションフィルタを示す表である。

【図5】[0012]開示の実施形態と一致した、ＶＶＣにおいて、クロマ成分に使用されるサブペル動き補償インターポレーションフィルタを示す表である。

【図6】[0013]開示の実施形態と一致した、例示的参照ピクチャバッファを示す。

【図7】[0014]開示の実施形態と一致した、３つの異なる解像度を含むサポート解像度セットの一例を示す表である。

【図8】[0015]開示の実施形態と一致した、再サンプリングされた参照ピクチャ及びオリジナルの参照ピクチャの両方が保存される場合の例示的デコードピクチャバッファ（ＤＰＢ）を示す。

【図9】[0016]開示の実施形態と一致した、漸進的ダウンサンプリングを示す。

【図10】[0017]開示の実施形態と一致した、解像度変更を伴う例示的映像符号化プロセスを示す。

【図11】[0018]開示の実施形態と一致した、例示的ダウンサンプリングフィルタを示す表である。

【図12】[0019]開示の実施形態と一致した、ピーク信号対雑音比（ＰＳＮＲ）計算を使用する例示的映像符号化プロセスを示す。

【図13】[0020]開示の実施形態と一致した、例示的低域通過フィルタの周波数応答を示す。

【図14】[0021]開示の実施形態と一致した、６タップフィルタを示す表である。

【図15】[0022]開示の実施形態と一致した、８タップフィルタを示す表である。

【図16】[0023]開示の実施形態と一致した、４タップフィルタを示す表である。

【図17】[0024]開示の実施形態と一致した、２：１ダウンサンプリングに関するインターポレーションフィルタ係数を示す表である。

【図18】[0025]開示の実施形態と一致した、１．５：１ダウンサンプリングに関するインターポレーションフィルタ係数を示す表である。

【図19】[0026]開示の実施形態と一致した、参照ダウンサンプリングに関する例示的ルマサンプルインターポレーションフィルタリングプロセスを示す。

【図20】[0027]開示の実施形態と一致した、参照ダウンサンプリングに関する例示的クロマサンプルインターポレーションフィルタリングプロセスを示す。

【図21】[0028]開示の実施形態と一致した、参照ダウンサンプリングに関する例示的ルマサンプルインターポレーションフィルタリングプロセスを示す。

【図22】[0029]開示の実施形態と一致した、参照ダウンサンプリングに関する例示的クロマサンプルインターポレーションフィルタリングプロセスを示す。

【図23】[0030]開示の実施形態と一致した、参照ダウンサンプリングに関する例示的ルマサンプルインターポレーションフィルタリングプロセスを示す。

【図24】[0031]開示の実施形態と一致した、参照ダウンサンプリングに関する例示的クロマサンプルインターポレーションフィルタリングプロセスを示す。

【図25】[0032]開示の実施形態と一致した、参照ダウンサンプリングに関する例示的クロマ小数サンプル位置計算を示す。

【図26】[0001]開示の実施形態と一致した、２：１比の参照ダウンサンプリングを使用するＭＣインターポレーションに関する８タップフィルタを示す表である。

【図27】[0002]開示の実施形態と一致した、１．５：１比の参照ダウンサンプリングを使用するＭＣインターポレーションに関する８タップフィルタを示す表である。

【図28】[0003]開示の実施形態と一致した、２：１比の参照ダウンサンプリングを使用するＭＣインターポレーションに関する８タップフィルタを示す表である。

【図29】[0004]開示の実施形態と一致した、１．５：１比の参照ダウンサンプリングを使用するＭＣインターポレーションに関する８タップフィルタを示す表である。

【図30】[0005]開示の実施形態と一致した、２：１比の参照ダウンサンプリングを使用するルマ４×４ブロックＭＣインターポレーションに関する６タップフィルタ係数を示す表である。

【図31】[0006]開示の実施形態と一致した、１．５：１比の参照ダウンサンプリングを使用するルマ４×４ブロックＭＣインターポレーションに関する６タップフィルタ係数を示す表である。

【発明を実施するための形態】

【0009】

詳細な説明
[0007] 以下に添付の図面に示される例示的実施形態に詳細に言及する。以下の説明は、別段の説明のない限り、異なる図面の同じ番号が、同じ又は類似の要素を表す、添付の図面を参照する。例示的実施形態の以下の説明に記載する実施態様は、本発明と一致した全ての実施態様を表すわけではない。代わりに、それらは、添付の特許請求の範囲に記載される本発明に関連する態様と一致した装置及び方法の例に過ぎない。以下に、本開示の特定の態様をより詳細に記載する。援用された用語及び／又は定義と矛盾する場合は、本明細書に提供される用語及び定義が優先する。

【0010】

[0008] 映像は、視覚情報を保存するために、時系列で配置された一連の静止ピクチャ（又は「フレーム」）である。映像キャプチャデバイス（例えば、カメラ）を使用して、これらのピクチャを時系列で捕捉及び保存することができ、映像再生デバイス（例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤー、又は表示機能を備えた任意のエンドユーザ端末）を使用して、このようなピクチャを時系列で表示することができる。また、用途によっては、監視、会議の開催、又は生放送などのために、映像キャプチャデバイスは、捕捉された映像を映像再生デバイス（例えば、モニタを備えたコンピュータ）にリアルタイムで伝送することができる。

【0011】

[0009] このような用途で必要とされる記憶空間及び伝送帯域幅を減少させるために、映像は圧縮され得る。例えば、映像は、記憶及び伝送前に圧縮され、表示前に復元され得る。圧縮及び復元は、プロセッサ（例えば、汎用コンピュータのプロセッサ）又は専用ハードウェアによって実行されるソフトウェアによって実施され得る。圧縮用のモジュールは、一般に「エンコーダ」と呼ばれ、復元用のモジュールは、一般に「デコーダ」と呼ばれる。エンコーダ及びデコーダは、まとめて「コーデック」と呼ばれることがある。エンコーダ及びデコーダは、様々な適切なハードウェア、ソフトウェア、又はこれらの組み合わせの何れかとして実装され得る。例えば、エンコーダ及びデコーダのハードウェア実装は、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、離散論理、又はこれらの任意の組み合わせなどの回路網を含み得る。エンコーダ及びデコーダのソフトウェア実装は、プログラムコード、コンピュータ実行可能命令、ファームウェア、又はコンピュータ可読媒体に固定された、任意の適切なコンピュータ実施アルゴリズム若しくはプロセスを含み得る。映像圧縮及び復元は、MPEG-1、MPEG-2、MPEG-4、H.26x系などの様々なアルゴリズム又は標準規格によって実施され得る。用途によっては、コーデックが、第１の符号化標準規格から映像を復元し、第２の符号化標準規格を用いて復元映像を再圧縮することができ、この場合、コーデックは、「トランスコーダ」と呼ばれることがある。

【0012】

[0010] 映像エンコーディングプロセスは、ピクチャの再構成のために使用することができる有用な情報を識別及び保持することができる。映像エンコーディングプロセスにおいて無視された情報を完全に再構成することができない場合、エンコーディングプロセスは、「不可逆」と呼ばれることがある。そうでなければ、それは、「可逆」と呼ばれることがある。ほとんどのエンコーディングプロセスは、不可逆であり、これは、必要とされる記憶空間及び伝送帯域幅を減少させるためのトレードオフである。

【0013】

[0011] 多くの場合、（「現在のピクチャ」と呼ばれる）エンコードされているピクチャの有用な情報は、参照ピクチャ（例えば、前にエンコードされた、又は再構成されたピクチャ）に対する変化を含み得る。このような変化は、ピクセルの位置変化、輝度変化、又は色変化を含む場合があり、中でも、位置変化は、最も懸念される。物体を表すピクセル群の位置変化は、参照ピクチャ及び現在のピクチャ間の物体の動きを反映し得る。

【0014】

[0012] 半分の帯域幅でＨＥＶＣ／H.265と同じ主観的品質を達成するために、ＪＶＥＴは、joint exploration model（「ＪＥＭ」）参照ソフトウェアを使用して、ＨＥＶＣを超える技術を開発している。符号化技術がＪＥＭに組み込まれたため、ＪＥＭは、ＨＥＶＣよりも大幅に高い符号化性能を達成した。ＶＣＥＧ及びＭＰＥＧも、ＨＥＶＣを超える次世代映像圧縮標準規格（Versatile Video Coding（ＶＶＣ／H.266）標準規格）の開発を正式に開始した。

【0015】

[0013] ＶＶＣ標準規格は、より良い圧縮性能を提供する、さらなる符号化技術を加え続けている。ＶＶＣは、ＨＥＶＣ、H.264／ＡＶＣ、MPEG2、H.263などの近代の映像圧縮標準規格で使用されてきたのと同じ映像符号化システムで実施され得る。図１は、開示の実施形態と一致した例示的映像エンコーダ１００を示す模式図である。例えば、映像エンコーダ１００は、映像ブロック、又は映像ブロックのパーティション若しくはサブパーティションを含む、映像フレーム内のブロックのイントラ符号化又はインター符号化を行い得る。イントラ符号化は、所与の映像フレーム内の映像の空間的冗長性を減少させるため、又は除去するために、空間予測に依存し得る。インター符号化は、映像シーケンスの隣接フレーム内の映像の時間的冗長性を減少させるため、又は除去するために、時間予測に依存し得る。イントラモードは、幾つかの空間ベースの圧縮モードを指す場合があり、（単予測又は双予測などの）インターモードは、幾つかの時間ベースの圧縮モードを指す場合がある。

【0016】

[0014] 図１を参照して、入力映像信号１０２は、ブロックごとに処理され得る。例えば、映像ブロックユニットは、１６×１６ピクセルブロック（例えば、マクロブロック（ＭＢ））でもよい。ＨＥＶＣでは、拡張ブロックサイズ（例えば、符号化ユニット（ＣＵ））を使用して、例えば１０８０ｐ以上の解像度の映像信号を圧縮することができる。ＨＥＶＣでは、ＣＵは、最大６４×６４ルマサンプル、及び対応するクロマサンプルを含み得る。ＶＶＣでは、ＣＵのサイズは、１２８×１２８ルマサンプル及び対応するクロマサンプルを含むようにさらに増大させることができる。ＣＵは、別個の予測法が適用され得る予測ユニット（ＰＵ）に区分化され得る。各入力映像ブロック（例えば、ＭＢ、ＣＵ、ＰＵなど）は、空間予測ユニット１６０又は時間予測ユニット１６２を使用することによって処理され得る。

【0017】

[0015] 空間予測ユニット１６０は、現在のＣＵに対して、現在のＣＵを包含する同じピクチャ／スライスに関する情報を使用して、空間予測（例えば、イントラ予測）を行う。空間予測は、現在の映像ブロックを予測するために、同じ映像ピクチャ／スライス内の既に符号化された隣接ブロックからのピクセルを使用し得る。空間予測は、映像信号に固有の空間的冗長性を減少させることができる。時間予測（例えば、インター予測又は動き補償予測）は、現在の映像ブロックを予測するために、既に符号化された映像ピクチャからのサンプルを使用し得る。時間予測は、映像信号に固有の時間的冗長性を減少させることができる。

【0018】

[0016] 時間予測ユニット１６２は、現在のＣＵを包含するピクチャ／スライスとは異なる１つ又は複数のピクチャ／１つ又は複数のスライスからの情報を使用して、現在のＣＵに対して時間予測（例えば、インター予測）を行う。映像ブロックに関する時間予測は、１つ又は複数の動きベクトルによって信号化され得る。動きベクトルは、現在のブロックと、参照フレーム内の現在のブロックの予測ブロックの１つ又は複数との間の動きの量及び方向を示し得る。複数の参照ピクチャがサポートされる場合、１つ又は複数の参照ピクチャインデックスが、映像ブロックに関して送られてもよい。１つ又は複数の参照インデックスを使用して、時間予測信号が、デコードピクチャバッファ（ＤＰＢ）１６４（参照ピクチャ記憶装置１６４とも呼ばれる）内のどの１つ又は複数の参照ピクチャに由来し得るかを識別することができる。空間予測又は時間予測後に、エンコーダ内のモード決定及びエンコーダ制御ユニット１８０が、例えば、レート歪み最適化法に基づいて、予測モードを選び得る。予測ブロックは、加算器１１６において、現在の映像ブロックから減算され得る。予測残差は、変換ユニット１０４によって変換され、量子化ユニット１０６によって量子化され得る。量子化残差係数は、逆量子化ユニット１１０において逆量子化され、及び逆変換ユニット１１２において逆変換されることによって、再構成残差を形成し得る。再構成ブロックが、加算器１２６において予測ブロックに加算されることによって、再構成映像ブロックが形成され得る。再構成映像ブロックが、参照ピクチャ記憶装置１６４に加えられ、及び将来の映像ブロックの符号化に使用される前に、非ブロック化フィルタ及び適応ループフィルタ１６６などのインループフィルタリングが、再構成映像ブロックに適用され得る。出力映像ビットストリーム１２０を形成するために、符号化モード（例えば、インター又はイントラ）、予測モード情報、動き情報、及び量子化残差係数がエントロピー符号化ユニット１０８に送られて、ビットストリーム１２０を形成するように圧縮及びパックされ得る。

【0019】

[0017] 開示の実施形態と一致して、映像エンコーダ１００の上記のユニットは、ソフトウェアモジュール（例えば、異なる機能を実現するコンピュータプログラム）、ハードウェアコンポーネント（例えば、それぞれの機能を行うための異なる回路網ブロック）、又はソフトウェア及びハードウェアのハイブリッドとして実装されてもよい。

【0020】

[0018] 図２は、開示の実施形態と一致した、例示的映像デコーダ２００を示す模式図である。図２を参照して、映像ビットストリーム２０２は、エントロピーデコーディングユニット２０８において、アンパック又はエントロピーデコーディングされ得る。符号化モード又は予測情報が、予測ブロックを形成するために、空間予測ユニット２６０（例えば、イントラ符号化される場合）又は時間予測ユニット２６２（例えば、インター符号化される場合）に送られ得る。インター符号化される場合、予測情報は、予測ブロックサイズ、（例えば、動きの方向及び量を示し得る）１つ若しくは複数の動きベクトル、又は（例えば、どの参照ピクチャから予測信号が取得されるかを示し得る）１つ若しくは複数の参照インデックスを含み得る。

【0021】

[0019] 時間予測ブロックを形成するために、動き補償予測が、時間予測ユニット２６２によって適用され得る。残差ブロックを再構成するために、残差変換係数が、逆量子化ユニット２１０及び逆変換ユニット２１２に送られ得る。予測ブロック及び残差ブロックは、２２６で合算され得る。再構成ブロックは、デコードピクチャバッファ（ＤＰＢ）２６４（参照ピクチャ記憶装置２６４とも呼ばれる）に保存される前に、（ループフィルタ２６６によって）インループフィルタリングを経てもよい。ＤＰＢ２６４の再構成映像を使用して、ディスプレイデバイスを駆動すること、又は将来の映像ブロックを予測することができる。デコード映像２２０が、ディスプレイ上に表示され得る。

【0022】

[0020] 開示の実施形態と一致して、映像デコーダ２００の上記のユニットは、ソフトウェアモジュール（例えば、異なる機能を実現するコンピュータプログラム）、ハードウェアコンポーネント（例えば、それぞれの機能を行うための異なる回路網ブロック）、又はソフトウェア及びハードウェアのハイブリッドとして実装されてもよい。

【0023】

[0021] ＶＶＣ標準規格の目的の１つは、ネットワーク及びデバイスの多様性を許容する能力をテレビ会議用途に提供することである。特に、ＶＶＣ標準規格は、ネットワーク状態が悪化したときに、エンコードビットレートを急速に減少させ、ネットワーク状態が改善したときに、映像品質を急速に高めることを含む、変化するネットワーク環境に急速に適応する能力を提供する必要がある。加えて、同じコンテンツの複数の表現を提供する適応ストリーミングサービスの場合、複数の表現のそれぞれは、異なる特性（例えば、空間解像度、又はサンプルビット深度）を有する場合があり、映像品質は、低から高まで変化し得る。したがって、ＶＶＣ標準規格は、適応ストリーミングサービスのために、高速表現切り換えをサポートする必要がある。ある表現から別の表現への切り換え（ある解像度から別の解像度への切り換えなど）の間に、ＶＶＣ標準規格は、高速及びシームレスな切り換え能力を損なうことなく、効率的な予測構造の使用を可能にする必要がある。

【0024】

[0022] 本開示と一致した幾つかの実施形態では、解像度を変更するために、エンコーダ（例えば、図１のエンコーダ１００）は、参照ピクチャバッファ（例えば、図１のＤＰＢ１６４、及び図２のＤＰＢ２６４）のコンテンツを消去するために、瞬時デコーダリフレッシュ（ＩＤＲ（instantaneous-decoder-refresh））符号化ピクチャを送る。ＩＤＲ符号化ピクチャの受信時に、デコーダ（例えば、図２のデコーダ２００）は、参照バッファ内の全てのピクチャに対して、「参照に使用しない」と標識を付ける。全ての後続の送信ピクチャが、ＩＤＲピクチャより前にデコードされた何れのフレームも参照することなく、デコードされ得る。符号化映像シーケンス内の第１のピクチャは、常にＩＤＲピクチャである。

【0025】

[0023] 本開示と一致した幾つかの実施形態では、適応解像度変更（ＡＲＣ（adaptive resolution change））技術を用いて、映像ストリームが、新しいＩＤＲピクチャを必要とすることなく、及びスケーラブル映像コーデックの場合のようにマルチレイヤを必要とすることなく、同じ映像シーケンス内の符号化ピクチャ間の空間解像度を変更することを可能にし得る。ＡＲＣ技術によれば、解像度切り換え点において、現在符号化されているピクチャは、（利用可能であれば）同じ解像度の参照ピクチャから予測されるか、又は参照ピクチャを再サンプリングすることによって、異なる解像度の参照ピクチャから予測される。参照ピクチャ「Ｒｅｆ０」の解像度が、現在符号化されているピクチャの解像度と同じである、適応解像度変更の図を図３に示す。しかしながら、参照ピクチャ「Ｒｅｆ１」及び「Ｒｅｆ２」の解像度は、現在のピクチャの解像度とは異なる。現在のピクチャの動き補償予測信号を生成するために、「Ｒｅｆ１」及び「Ｒｅｆ２」の両方が、現在のピクチャの解像度に再サンプリングされる。

【0026】

[0024] 本開示と一致して、参照フレームの解像度が現在のフレームの解像度とは異なる場合、動き補償予測信号を生成する１つの方法は、まず、参照ピクチャが、現在のピクチャと同じ解像度に再サンプリングされ、及び動きベクトルを用いる既存の動き補償プロセスが適用され得る、ピクチャベースの再サンプリングである。動きベクトルは、（再サンプリングが適用される前に、動きベクトルがユニットで送られる場合）スケーリングされてもよく、又は（再サンプリングが適用された後に、動きベクトルがユニットで送られる場合）スケーリングされなくてもよい。ピクチャベースの再サンプリングを用いた場合、特に、参照ピクチャダウンサンプリング（すなわち、参照ピクチャの解像度が、現在のピクチャの解像度よりも大きい場合）に関して、ダウンサンプリングが、通常、低域フィルタリングの後にデシメーションが続くことによって達成されるため、情報が、動き補償インターポレーションの前に参照再サンプリングステップで失われ得る。

【0027】

[0025] 別の方法は、再サンプリングがブロックレベルで行われる、ブロックベースの再サンプリングである。これは、現在のブロックによって使用される１つ又は複数の参照ピクチャを調べることによって行われ、それらの一方又は両方が、現在のピクチャとは異なる解像度を有する場合、再サンプリングが、サブペル動き補償インターポレーションプロセスと組み合わせて行われる。

【0028】

[0026] 本開示は、ＡＲＣと共に使用するためのピクチャベースの再サンプリング法及びブロックベースの再サンプリング法の両方を提供する。以下の説明は、まず、開示するピクチャベースの再サンプリング法について触れ、次いで、開示するブロックベースの再サンプリング法について触れる。

【0029】

[0027] 開示するピクチャベースの再サンプリング法は、従来のブロックベースの再サンプリング法によって生じる幾つかの問題を解決することができる。第一に、従来のブロックレベルの再サンプリング法では、参照ピクチャの解像度が現在のピクチャの解像度とは異なると判断されたときに、オンザフライのブロックレベルの再サンプリングが行われ得る。しかしながら、エンコーダが、動き探索中の各探索点において、ブロックを再サンプリングしなければならない場合があるため、ブロックレベルの再サンプリングプロセスは、エンコーダ設計を複雑にし得る。動き探索は、一般に、エンコーダにとって、時間のかかるプロセスであり、したがって、動き探索中のオンザフライ要件は、動き探索プロセスを複雑にし得る。オンザフライのブロックレベルの再サンプリングの代用として、エンコーダは、再サンプリングされた参照ピクチャが現在のピクチャと同じ解像度を有するように、参照ピクチャを事前に再サンプリングしてもよい。しかしながら、これは、動き推定及び動き補償中の予測信号を異ならせ得るため、符号化効率を低下させ得る。

【0030】

[0028] 第二に、従来のブロックベースの再サンプリング法では、ブロックレベルの再サンプリングの設計は、ＳｂＴＭＶＰ（subblock-based temporal motion vector prediction）、アフィン動き補償予測、ＤＭＶＲ（decoder side motion vector refinement）などの幾つかの他の有用な符号化ツールと互換性がない。ＡＲＣが有効にされると、これらの符号化ツールは、無効にされ得る。しかし、このような無効化は、符号化性能を大幅に低下させる。

【0031】

[0029] 第三に、当該分野で公知の任意のサブペル動き補償インターポレーションフィルタが、ブロック再サンプリングに使用され得るが、それは、ブロックアップサンプリング及びブロックダウンサンプリングに対して同様に適用可能ではない場合がある。例えば、参照ピクチャが現在のピクチャよりも低い解像度を有する場合、動き補償に使用されるインターポレーションフィルタが、アップサンプリングに使用され得る。しかしながら、参照ピクチャが現在のピクチャよりも高い解像度を有する場合、インターポレーションフィルタが、整数位置をフィルタリングすることができず、したがって、エイリアシングを生じさせ得るため、インターポレーションフィルタは、ダウンサンプリングには適さない。例えば、表１（図４）は、小数サンプル位置の様々な値と共に、ルマ成分整数位置に使用される例示的インターポレーションフィルタ係数を示す。表２（図５）は、小数サンプル位置の様々な値と共に、クロマ成分に使用される例示的インターポレーションフィルタ係数を示す。表１（図４）及び表２（図５）に示されるように、小数サンプル位置０（すなわち、整数位置）では、インターポレーションフィルタが適用されない。

【0032】

[0030] 従来のブロックベースの再サンプリング法に関連する上記の問題を回避するため、本開示は、ＡＲＣに使用することができる、ピクチャレベルの再サンプリング法を提供する。ピクチャ再サンプリングプロセスは、アップサンプリング又はダウンサンプリングを伴い得る。アップサンプリングは、画像の２次元（２Ｄ）表現を維持しつつ、空間解像度を増加させることである。アップサンプリングプロセスでは、参照ピクチャの解像度は、隣接する利用可能なサンプルから、利用できないサンプルを補間することによって、増加する。ダウンサンプリングプロセスでは、参照画像の解像度は減少する。

【0033】

[0031] 開示する実施形態によれば、再サンプリングは、ピクチャレベルで行うことができる。ピクチャレベルの再サンプリングでは、参照ピクチャの解像度が現在のピクチャの解像度とは異なる場合、参照ピクチャは、現在のピクチャの解像度に再サンプリングされる。現在のピクチャの動き推定及び／又は補償は、再サンプリングされた参照ピクチャに基づいて行われ得る。このようにして、ブロックレベル動作が解像度変更に依存しないため、ＡＲＣは、エンコーダ及びデコーダにおいて「トランスペアレントな」やり方で実施され得る。

【0034】

[0032] ピクチャレベルの再サンプリングは、オンザフライで、すなわち、現在のピクチャが予測されている間に行われ得る。幾つかの例示的実施形態では、オリジナルの（再サンプリングされていない）参照ピクチャのみが、デコードピクチャバッファ（ＤＰＢ）、例えば、エンコーダ１００（図１）のＤＰＢ１６４、及びデコーダ２００（図２）のＤＢＰ２６４に保存される。ＤＰＢは、ＶＶＣの現在のバージョンと同じやり方で管理され得る。開示するピクチャレベルの再サンプリング法では、ピクチャのエンコーディング又はデコーディングが行われる前に、ＤＰＢ内の参照ピクチャの解像度が現在のピクチャの解像度とは異なる場合に、エンコーダ又はデコーダが、参照ピクチャを再サンプリングする。幾つかの実施形態では、再サンプリングピクチャバッファを使用して、現在のピクチャに関する全ての再サンプリングされた参照ピクチャを保存してもよい。参照ピクチャの再サンプリングされたピクチャは、再サンプリングピクチャバッファに保存され、現在のピクチャの動き探索／補償は、再サンプリングピクチャバッファからのピクチャを使用して行われる。エンコーディング又はデコーディングが完了した後に、再サンプリングピクチャバッファは除去される。図６は、低解像度参照ピクチャが再サンプリングされ、再サンプリングピクチャバッファに保存される、オンザフライのピクチャレベルの再サンプリングの一例を示す。図６に示すように、エンコーダ又はデコーダのＤＰＢは、３つの参照ピクチャを包含する。参照ピクチャ「Ｒｅｆ０」及び「Ｒｅｆ２」の解像度は、現在のピクチャの解像度と同じである。したがって、「Ｒｅｆ０」及び「Ｒｅｆ２」は、再サンプリングされる必要はない。しかしながら、参照ピクチャ「Ｒｅｆ１」の解像度は、現在のピクチャの解像度とは異なり、したがって、再サンプリングされる必要がある。よって、再サンプリングされた「Ｒｅｆ１」のみが参照ピクチャバッファに保存され、「Ｒｅｆ０」及び「Ｒｅｆ２」は、参照ピクチャバッファに保存されない。

【0035】

[0033] 幾つかの例示的実施形態と一致して、オンザフライのピクチャレベルの再サンプリングでは、ピクチャが使用できる再サンプリング参照ピクチャの数は、制約を受ける。例えば、所与の現在のピクチャの再サンプリング参照ピクチャの最大数は、予め設定されてもよい。例えば、最大数は、１になるように設定されてもよい。この場合、エンコーダ又はデコーダが、参照ピクチャの内の最大でも１つが、現在のピクチャの解像度とは異なる解像度を有することを許容することができ、他の参照ピクチャの全てが、同じ解像度を有さなければならないように、ビットストリーム制約が課され得る。この最大数は、再サンプルピクチャバッファのサイズ、及び現在の映像シーケンスの何れのピクチャに対しても行うことができる再サンプリングの最大数を示すため、最大数は、最悪の場合のデコーダの複雑さに直接関係する。したがって、この最大数は、シーケンスパラメータセット（ＳＰＳ）又はピクチャパラメータセット（ＰＰＳ）の一部として信号化されてもよく、プロファイル／レベル定義の一部として指定されてもよい。

【0036】

[0034] 幾つかの例示的実施形態では、参照ピクチャの２つのバージョンが、ＤＰＢに保存される。一方のバージョンは、オリジナルの解像度を有し、他方のバージョンは、最大解像度を有する。現在のピクチャの解像度が、オリジナルの解像度又は最大解像度と異なる場合、エンコーダ又はデコーダは、保存された最大解像度ピクチャからオンザフライのダウンサンプリングを行い得る。ピクチャ出力に関して、ＤＰＢは、常に、オリジナルの（再サンプリングされていない）参照ピクチャを出力する。

【0037】

[0035] 幾つかの例示的実施形態では、再サンプリング比は、任意に選択することができ、縦及び横スケーリング比は、異なってもよい。ピクチャレベルの再サンプリングが適用されるため、エンコーディング／デコーダのブロックレベル動作は、参照ピクチャの解像度に依存しない状態にされ、それによって、エンコーダ／デコーダのブロックレベルの設計論理をさらに複雑にすることなく、任意の再サンプリング比を可能にすることが許容される。

【0038】

[0036] 幾つかの例示的実施形態では、符号化解像度及び最大解像度の信号化は、以下のように行うことができる。映像シーケンスの何れのピクチャの最大解像度も、ＳＰＳにおいて信号化される。ピクチャの符号化解像度は、ＰＰＳにおいて、又はスライスヘッダにおいて信号化され得る。どちらの場合も、符号化解像度が最大解像度と同じであるか否かを示す１つのフラグが信号化される。符号化解像度が最大解像度と同じではない場合、現在のピクチャの符号化幅及び高さがさらに信号化される。ＰＰＳ信号化が使用される場合、信号化された符号化解像度は、このＰＰＳを参照する全てのピクチャに適用される。スライスヘッダ信号化が使用される場合、信号化された符号化解像度は、現在のピクチャ自体にのみ適用される。幾つかの実施形態では、現在の符号化解像度と、信号化された最大解像度との間の差が、ＳＰＳにおいて信号化され得る。

【0039】

[0037] 幾つかの例示的実施形態では、任意の再サンプリング比を使用する代わりに、解像度は、予め定義された、Ｎ個のサポート解像度のセット（Ｎは、シーケンス内のサポート解像度の数である）に限定される。Ｎ及びサポート解像度の値は、ＳＰＳにおいて信号化され得る。ピクチャの符号化解像度は、ＰＰＳ又はスライスヘッダを用いて信号化される。どちらの場合も、実際の符号化解像度を信号化する代わりに、対応する解像度インデックスが信号化される。表３（図７）は、符号化シーケンスが３つの異なる解像度を許容するサポート解像度セットの一例を示す。現在のピクチャの符号化解像度が１４４０×８１６である場合、対応するインデックス値（＝１）が、ＰＰＳ又はスライスヘッダを用いて信号化される。

【0040】

[0038] 幾つかの例示的実施形態では、再サンプリングされた参照ピクチャ、及び再サンプリングされていない参照ピクチャの両方が、ＤＰＢに保存される。参照ピクチャごとに、１つのオリジナルの（すなわち、再サンプリングされていない）ピクチャ、及びＮ－１個の再サンプリングされたコピーが保存される。参照ピクチャの解像度が現在のピクチャの解像度とは異なる場合、ＤＰＢの再サンプリングされたピクチャを使用して、現在のピクチャを符号化する。ピクチャ出力に関して、ＤＰＢは、オリジナルの（再サンプリングされていない）参照ピクチャを出力する。一例として、図８は、表３（図７）に示されたサポート解像度セットのＤＰＢの占有率を示す。図８に示すように、ＤＰＢは、参照ピクチャとして使用される各ピクチャのＮ（例えば、Ｎ＝３）個のコピーを包含する。

【0041】

[0039] Ｎの値の選択は、用途によって決まる。Ｎの値が大きくなるにつれ、解像度選択の柔軟性が増すが、複雑さ及びメモリ要件が増大する。小さい値のＮは、複雑さの少ないデバイスには適するが、選択することができる解像度が限定される。したがって、幾つかの実施形態では、用途及びデバイス能力に基づき、ＳＰＳによって信号化されるＮの値を決めるために、柔軟性がエンコーダに与えられ得る。

【0042】

[0040] 本開示と一致して、参照ピクチャのダウンサンプリングは、漸進的に（すなわち、徐々に）行われ得る。従来の（すなわち、直接）ダウンサンプリングでは、入力画像のダウンサンプリングは、単一ステップで行われる。ダウンサンプリング比が高くなれば、単一ステップダウンサンプリングは、重度のエイリアシング問題を回避するために、より長いタップダウンサンプリングフィルタを必要とする。しかしながら、より長いタップフィルタは、計算コストが高い。幾つかの例示的実施形態では、ダウンサンプリングされた画像の品質を維持するために、ダウンサンプリング比が閾値よりも大きい（例えば、２：１ダウンサンプリングよりも大きい）場合、ダウンサンプリングが徐々に行われる漸進的ダウンサンプリングが使用される。例えば、２：１より大きいダウンサンプリング比を実施するために、２：１ダウンサンプリングに十分なダウンサンプリングフィルタが繰り返し適用されてもよい。図９は、横寸法及び縦寸法の両方において、２つのピクチャにわたり、４分の１ダウンサンプリングが実施される、漸進的ダウンサンプリングの一例を示す。第１のピクチャが、（両方向に）２分の１ダウンサンプリングされ、第２のピクチャが、（両方向に）２分の１ダウンサンプリングされる。

【0043】

[0041] 本開示と一致して、開示するピクチャレベルの再サンプリング法は、他の符号化ツールと共に使用することができる。例えば、幾つかの例示的実施形態では、再サンプリングされた参照ピクチャに基づく、スケーリングされた動きベクトルは、時間動きベクトル予測子（ＴＭＶＰ（temporal motion vector predictor））、又は高度時間動きベクトル予測子（ＡＴＭＶＰ（advanced temporal motion vector predictor））中に使用することができる。

【0044】

[0042] 次に、ＡＲＣ用の符号化ツールを評価するためのテスト方法論を説明する。適応解像度変更は、主に、ネットワークの帯域幅に適応するために使用されるので、ネットワーク帯域幅変更中に、異なるＡＲＣスキームの符号化効率を比較するために、以下のテスト条件が考慮され得る。

【0045】

[0043] 幾つかの実施形態では、解像度は、ある特定の時間インスタンスで、（縦方向及び横方向の両方で）半分に変更され、その後、一定期間後に、オリジナルの解像度に戻される。図１０は、解像度変更の例を示す。時点ｔ_１において、解像度が半分に変更され、その後、時点ｔ_２において、フル解像度に戻される。

【0046】

[0044] 幾つかの実施形態では、解像度が低下したとき、ダウンサンプリング比が大きすぎる（例えば、所与の寸法のダウンサンプリング比が２：１より大きい）場合、一定期間にわたり、漸進的ダウンサンプリングが使用される。しかしながら、アップサンプリングが使用されるとき、漸進的アップサンプリングは使用されない。

【0047】

[0045] 幾つかの実施形態では、スケーラブルＨＥＶＣテストモデル（ＳＭＨ）ダウンサンプリングフィルタが、ソース再サンプリングに使用され得る。表４（図１１）では、異なる小数サンプル位置と共に、詳細なフィルタ係数が示される。

【0048】

[0046] 幾つかの例示的実施形態では、映像品質を測定するために、２つのピーク信号対雑音比（ＰＳＮＲ）が計算される。ＰＳＮＲ計算の図を図１２に示す。第１のＰＳＮＲは、再サンプリングされたソースと、デコードされたピクチャとの間で計算される。第２のＰＳＮＲは、オリジナルのソースと、アップサンプリングされたデコードソースとの間で計算される。

【0049】

[0047] 幾つかの実施形態では、エンコードされるピクチャの数は、ＶＶＣの現在のテスト条件と同じである。

【0050】

[0048] 次に、開示するブロックベースの再サンプリング法を説明する。ブロックベースの再サンプリングでは、再サンプリング及び動き補償インターポレーションを１つのフィルタリング動作に統合することにより、上述の情報損失を減少させることができる。以下のケースを例にとる：現在のブロックの動きベクトルが、一方の寸法において（例えば、横寸法において）、ハーフペル精度を有し、参照ピクチャの幅が、現在のピクチャの幅の２倍である。この場合、現在のピクチャの幅と合致するように、参照ピクチャの幅を半分に減少させ、次いで、ハーフペル動きインターポレーションを行うピクチャレベルの再サンプリングと比較して、ブロックベースの再サンプリング法は、ハーフペル精度で、参照ピクチャの奇数位置を参照ブロックとして直接フェッチする。第１５回ＪＶＥＴ会合では、動き補償（ＭＣ）インターポレーション及び参照再サンプリングが統合されかつ単一ステップフィルタで行われる、ＡＲＣのためのブロックベースの再サンプリング法が、ＶＶＣに採用された。ＶＶＣドラフト６では、参照再サンプリングを使用しないＭＣインターポレーションのための既存のフィルタが、参照再サンプリングを使用するＭＣインターポレーションに再利用される。同じフィルタが、参照アップサンプリング及びダウンサンプリングの両方に使用される。フィルタ選択の詳細を以下に説明する。

【0051】

[0049] ルマ成分に関して、ハーフペルＡＭＶＲモードが選択されかつインターポレーション位置がハーフペルの場合、６タップフィルタ［３，９，２０，２０，９，３］が使用され、動き補償ブロックサイズが４×４の場合、表５（図１３）に示されるような以下の６タップフィルタが使用され、そうでなければ、表６（図１４）に示されるような８タップフィルタが使用される。クロマ成分に関して、表７（図１５）に示される４タップフィルタが使用される。

【0052】

[0050] ＶＶＣでは、参照再サンプリングを使用しないＭＣインターポレーション、及び参照再サンプリングを使用するＭＣインターポレーションに対して、同じフィルタが使用される。ＶＶＣのＭＣＩＦは、ＤＣＴアップサンプリングに基づいて設計されるが、参照ダウンサンプリング及びＭＣインターポレーションを統合した単一ステップフィルタとして、それを使用することが適切ではない場合がある。例えば、位相０フィルタリングの場合（すなわち、スケーリングされたｍｖが整数である）、ＶＶＣ８タップＭＣＩＦ係数が、［０，０，０，６４，０，０，０，０］であり、これは、予測サンプルが、参照サンプルから直接コピーされたことを意味する。このことは、参照ダウンサンプリングを使用しない、又は参照アップサンプリングを使用するＭＣインターポレーションにとって問題ではないかもしれないが、参照ダウンサンプリングケースの場合、デシメーションの前の低域通過フィルタの欠如により、エイリアシングアーチファクトを引き起こし得る。

【0053】

[0051] 本開示は、参照ダウンサンプリングを使用するＭＣインターポレーションに関して、コサイン窓化シンクフィルタを使用する方法を提供する。

【0054】

[0052] 窓化シンクフィルタは、周波数のある帯域を他の帯域から分離する帯域通過フィルタである。窓化シンクフィルタは、図１６に示すように、カットオフ周波数を下回る全ての周波数を振幅１により通過させ、カットオフ周波数を上回る全ての周波数をゼロ振幅によりカットする周波数応答を有する低域通過フィルタである。

【0055】

[0053] フィルタのインパルス応答としても知られるフィルタカーネルは、理想的な低域通過フィルタの周波数応答の逆フーリエ変換を求めることによって得られる。低域通過フィルタのインパルス応答は、シンク関数の一般形式である。

【数1】

式中、ｆｃは、［０，１］の値を有するカットオフ周波数であり、ｒは、ダウンサンプリング比、すなわち、１．５：１のダウンサンプリングに関して１．５、及び２：１のダウンサンプリングに関して２である。シンク関数は、以下のように定義される。

【数2】

【0056】

[0054] シンク関数は、無限である。フィルタカーネルを有限長にするために、フィルタカーネルをＬ個の点に切り捨てるように、窓関数が適用される。滑らかなテーパー状曲線を得るために、コサイン窓化関数が使用され、これは、以下によって得られる。

【数3】

【0057】

[0055] コサイン窓化シンクフィルタのカーネルは、理想的な応答関数ｈ（ｎ）とコサイン窓関数ｗ（ｎ）の積である。

【数4】

【0058】

[0056] 窓化シンクカーネルのために選択された２つのパラメータとして、カットオフ周波数ｆｃ及びカーネル長Ｌが存在する。スケーラブルＨＥＶＣテストモデル（ＳＨＭ）で使用されるダウンサンプリングフィルタの場合、ｆｃ＝０．９及びＬ＝１３である。

【0059】

[0057] （４）で取得されたフィルタ係数は、実数である。フィルタを適用することは、重みをフィルタ係数として、参照サンプルの重み付き平均を計算することに等しい。デジタルコンピュータ又はハードウェアにおける効率的な計算のために、係数の合計が２のＮ乗（Ｎは、整数である）に等しくなるように、係数は、正規化され、スケーラーで乗算され、及び整数に丸められる。フィルタリングされたサンプルは、２のＮ乗で除算される（Ｎビットの右シフトに等しい）。例えば、ＶＶＣドラフト６では、インターポレーションフィルタ係数の合計は、６４である。

【0060】

[0058] 幾つかの開示の実施形態では、ダウンサンプリングフィルタが、ＳＨＭにおいて、ルマ成分及びクロマ成分の両方に関して、参照ダウンサンプリングを使用するＶＶＣ動き補償インターポレーションのために使用され、既存のＭＣＩＦが、参照アップサンプリングを使用する動き補償インターポレーションに使用される。カーネル長Ｌ＝１３であって、第１の係数が小さく、ゼロに丸められる場合、フィルタ長は、フィルタ性能に影響を与えることなく、１２に減少させることができる。

【0061】

[0059] 一例として、２：１ダウンサンプリング及び１．５：１ダウンサンプリングに関するフィルタ係数は、表８（図１７）及び表９（図１８）にそれぞれ示される。

【0062】

[0060] 係数の値の他に、ＳＨＭフィルタの設計と、既存のＭＣＩＦの設計との間に幾つかの他の相違がある。

【0063】

[0061] 第１の相違として、ＳＨＭフィルタは、整数サンプル位置及び小数サンプル位置におけるフィルタリングを必要とするが、ＭＣＩＦは、小数サンプル位置におけるフィルタリングのみを必要とする。ＶＶＣドラフト６の参照ダウンサンプリングケースのルマサンプルインターポレーションフィルタリングプロセスに対する変更の一例を表１０（図１９）に記載する。

【0064】

[0062] ＶＶＣドラフト６の参照ダウンサンプリングケースのクロマサンプルインターポレーションフィルタリングプロセスに対する変更の一例を表１１（図２０）に記載する。

【0065】

[0063] 第２の相違として、ＳＨＭフィルタの場合、フィルタ係数の合計は１２８であるが、既存のＭＣＩＦの場合、フィルタ係数の合計は６４である。ＶＶＣドラフト６では、丸め誤差によって生じる損失を減少させるために、中間予測信号が、出力信号よりも高い精度（より大きなビット深度で表される）に維持される。中間信号の精度は、内部精度と呼ばれる。ある実施形態では、内部精度をＶＶＣドラフト６と同じに維持するために、ＳＨＭフィルタの出力は、既存のＭＣＩＦを使用した場合と比較して、さらに１ビット右シフトする必要がある。ＶＶＣドラフト６の参照ダウンサンプリングケースのルマサンプルインターポレーションフィルタリングプロセスに対する変更の一例を表１２（図２１）に示す。

【0066】

[0064] ＶＶＣドラフト６の参照ダウンサンプリングケースのクロマサンプルインターポレーションフィルタリングプロセスに対する変更の一例を表１３（図２２）に示す。

【0067】

[0065] 幾つかの実施形態によれば、内部精度は、１ビット分上げることができ、追加１ビット右シフトを用いて、内部精度を出力精度に変換することができる。ＶＶＣドラフト６の参照ダウンサンプリングケースのルマサンプルインターポレーションフィルタリングプロセスに対する変更の一例を表１４（図２３）に示す。

【0068】

[0066] ＶＶＣドラフト６の参照ダウンサンプリングケースのクロマサンプルインターポレーションフィルタリングプロセスに対する変更の一例を表１５（図２４）に示す。

【0069】

[0067] 第３の相違として、ＳＨＭフィルタは、１２タップを有する。したがって、インターポレーションが行われたサンプルを生成するために、１１個の隣接サンプル（左に５個、右に６個、又は上に５個、下に６個）が必要とされる。ＭＣＩＦと比較して、追加の隣接サンプルがフェッチされる。ＶＶＣドラフト６では、クロマｍｖ精度は、１／３２である。しかしながら、ＳＨＭフィルタは、１６位相のみを有する。したがって、クロマｍｖは、参照ダウンサンプリングに関して、１／１６に丸められ得る。これは、１ビット分、クロマｍｖの最後の５ビットを右シフトすることによって行われ得る。ＶＶＣドラフト６の参照ダウンサンプリングケースのクロマ小数サンプル位置計算に対する変更の一例を表１６（図２５）に示す。

【0070】

[0068] 幾つかの実施形態では、ＶＶＣドラフトの既存のＭＣＩＦ設計に合わせるために、我々は、８タップコサイン窓化シンクフィルタの使用を提案する。フィルタ係数は、式（４）のコサイン窓化シンク関数において、Ｌ＝９を設定することによって導出することができる。さらに既存のＭＣＩＦフィルタに合わせるために、フィルタ係数の合計は、６４に設定され得る。２：１及び１．５：１の比に関する例示的フィルタ係数を表１７（図２６）及び表１８（図２７）にそれぞれ示す。

【0071】

[0069] 幾つかの実施形態によれば、クロマ成分に関する１／３２サンプル精度に適応するために、参照ダウンサンプリングを使用するクロマ動き補償インターポレーションにおいて、３２位相コサイン窓化シンクフィルタセットが使用され得る。２：１及び１．５：１の比に関するフィルタ係数の例を表１９（図２８）及び表２０（図２９）にそれぞれ示す。

【0072】

[0070] 幾つかの実施形態によれば、４×４ルマブロックの場合、６タップコサイン窓化シンクフィルタが、参照ダウンサンプリングを使用するＭＣインターポレーションに使用され得る。２：１及び１．５：１の比に関するフィルタ係数の例を以下の表２１（図３０）及び表２２（図３１）にそれぞれ示す。

【0073】

[0071] 幾つかの実施形態では、命令を含む非一時的コンピュータ可読記憶媒体も提供され、命令は、上記の方法を行うために、デバイス（開示のエンコーダ及びデコーダなど）によって実行され得る。非一時的媒体の一般的な形態には、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、又はその他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、その他の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、及びＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ又はその他のフラッシュメモリ、ＮＶＲＡＭ、キャッシュ、レジスタ、その他のメモリチップ又はカートリッジ、並びに上記のネットワーク化バージョンが含まれる。デバイスは、１つ若しくは複数のプロセッサ（ＣＰＵ）、入出力インタフェース、ネットワークインタフェース、及び／又はメモリを含み得る。

【0074】

[0072] 「第１の」及び「第２の」などの本明細書の関係語は、あるエンティティ又は動作を別のエンティティ又は動作と区別するためだけに使用されるものであり、これらのエンティティ又は動作間の実際の関係又は順序を必要とするもの、又は暗示するものではないことに留意されたい。また、「含む（comprising）」、「有する（having）」、「包含する（containing）」、及び「含む（including）」という語、並びに他の類似の形態は、意味が同等であること、及びこれらの語の何れか１つに続く１つ又は複数の項が、そのような１つ若しくは複数の項の網羅的列挙ではない点で、又は列挙された１つ若しくは複数の項のみに限定されない点で、オープンエンド形式であることが意図される。

【0075】

[0073] 本明細書では、特に別段の記載のない限り、「又は」という用語は、実行不可能でない限り、全ての可能な組み合わせを網羅する。例えば、データベースがＡ又はＢを含み得ると記載される場合、特に別段の記載のない限り、又は実行不可能でない限り、データベースは、Ａ、又はＢ、又はＡ及びＢを含み得る。第２の例として、データベースがＡ、Ｂ、又はＣを含み得ると記載される場合、特に別段の記載のない限り、又は実行不可能でない限り、データベースは、Ａ、又はＢ、又はＣ、又はＡ及びＢ、又はＡ及びＣ、又はＢ及びＣ、又はＡ及びＢ及びＣを含み得る。

【0076】

[0074] 上記の実施形態は、ハードウェア、又はソフトウェア（プログラムコード）、又はハードウェア及びソフトウェアの組み合わせによって実施され得ることが理解される。ソフトウェアによって実施される場合、それは、上記のコンピュータ可読媒体に保存され得る。ソフトウェアは、プロセッサによる実行時に、開示の方法を行うことができる。本開示に記載したコンピューティングユニット及び他の機能ユニットは、ハードウェア、又はソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実装され得る。当業者は、上記のモジュール／ユニットの内の複数が、１つのモジュール／ユニットとして統合され得ること、及び上記のモジュール／ユニットのそれぞれが、複数のサブモジュール／サブユニットにさらに分割され得ることも理解するだろう。

【0077】

[0075] 上述の明細書では、実施態様によって異なり得る多数の具体的詳細に関して、実施形態を説明した。記載した実施形態の特定の適応及び変更が行われ得る。ここに開示した発明の明細書及び実施を考慮して、他の実施形態が当業者には明らかとなり得る。上記明細書及び例は、単なる例示と見なされることが意図され、本発明の真の範囲及び精神は、以下の特許請求の範囲によって示される。また、図面に示されるステップの順序は、単に、説明のためのものであることが意図され、ステップの何れの特定の順序にも限定されることは意図されない。そのため、同じ方法を実施しながら、これらのステップが異なる順序で行われ得ることを当業者は理解できる。

【0078】

[0076] 実施形態は、以下の条項を用いてさらに説明することができる。
１．コンピュータ実施映像処理方法であって、
ターゲットピクチャ及び第１の参照ピクチャの解像度を比較することと、
ターゲットピクチャ及び第１の参照ピクチャが異なる解像度を有することに応答して、第２の参照ピクチャを生成するために第１の参照ピクチャを再サンプリングすることと、
第２の参照ピクチャを使用して、ターゲットピクチャのエンコーディング又はデコーディングを行うことと、
を含む方法。
２．第２の参照ピクチャを第１のバッファに保存することであって、第１のバッファが、将来のピクチャの予測に使用されるデコードピクチャを保存する第２のバッファとは異なる、保存することと、
ターゲットピクチャのエンコーディング又はデコーディングの完了後に、第１のバッファから第２の参照ピクチャを除去することと、
をさらに含む、条項１に記載の方法。
３．ターゲットピクチャのエンコーディング又はデコーディングを行うことが、
所定数以下の再サンプリングされた参照ピクチャを使用することによって、ターゲットピクチャのエンコーディング又はデコーディングを行うことを含む、条項１及び２の何れか一項に記載の方法。
４．ターゲットピクチャのエンコーディング又はデコーディングを行うことが、
シーケンスパラメータセット又はピクチャパラメータセットの一部として、所定数を信号化することを含む、条項３に記載の方法。
５．第２の参照ピクチャを生成するために第１の参照ピクチャを再サンプリングすることが、
第１の参照ピクチャの第１のバージョン及び第２のバージョンを保存することであって、第１のバージョンが、オリジナルの解像度を有し、第２のバージョンが、参照ピクチャの再サンプリングが可能な最大解像度を有する、保存することと、
第２の参照ピクチャを生成するために最大バージョンを再サンプリングすることと、
を含む、条項１に記載の方法。
６．第１の参照ピクチャの第１のバージョン及び第２のバージョンをデコードピクチャバッファに保存することと、
将来のピクチャを符号化するために第１のバージョンを出力することと、
をさらに含む、条項５に記載の方法。
７．第２の参照ピクチャを生成するために第１の参照ピクチャを再サンプリングすることが、
サポート解像度で第２の参照ピクチャを生成することを含む、条項１に記載の方法。
８．サポート解像度の数と、
サポート解像度に対応するピクセル寸法と、
を示す情報をシーケンスパラメータセット又はピクチャパラメータセットの一部として信号化することをさらに含む、条項７に記載の方法。
９．情報が、
サポート解像度の少なくとも１つに対応するインデックスを含む、条項８に記載の方法。
１０．映像アプリケーション又は映像デバイスの構成に基づいて、サポート解像度の数を設定することをさらに含む、条項８及び９の何れか一項に記載の方法。
１１．第２の参照ピクチャを生成するために第１の参照ピクチャを再サンプリングすること、
第２の参照ピクチャを生成するために第１の参照ピクチャの漸進的ダウンサンプリングを行うこと、条項１～１０の何れか一項に記載の方法。
１２．デバイスであって、
コンピュータ命令を保存する１つ又は複数のメモリと、
コンピュータ命令を実行して、デバイスに、
ターゲットピクチャの解像度を第１の参照ピクチャの解像度と比較することと、
ターゲットピクチャ及び第１の参照ピクチャが異なる解像度を有することに応答して、第２の参照ピクチャを生成するために第１の参照ピクチャを再サンプリングすることと、
第２の参照ピクチャを使用して、ターゲットピクチャのエンコーディング又はデコーディングを行うことと、
を行わせるように構成される１つ又は複数のプロセッサと、
を含む、デバイス。
１３．一組の命令を保存する非一時的コンピュータ可読媒体であって、前記一組の命令は、映像コンテンツを処理する方法をコンピュータシステムに行わせるように、コンピュータシステムの少なくとも１つのプロセッサによって実行可能であり、前記方法が、
ターゲットピクチャ及び第１の参照ピクチャの解像度を比較することと、
ターゲットピクチャ及び第１の参照ピクチャが異なる解像度を有することに応答して、第２の参照ピクチャを生成するために第１の参照ピクチャを再サンプリングすることと、
第２の参照ピクチャを使用して、ターゲットピクチャのエンコーディング又はデコーディングを行うことと、
を含む、非一時的コンピュータ可読媒体。
１４．ターゲットピクチャ及び参照ピクチャが異なる解像度を有することに応答して、動き補償インターポレーションを行うため、及び参照ブロックを生成するために、帯域通過フィルタを参照ピクチャに適用することと、
参照ブロックを使用して、ターゲットピクチャのブロックのエンコーディング又はデコーディングを行うことと、
を含む、コンピュータ実施映像処理方法。
１５．帯域通過フィルタが、コサイン窓化シンクフィルタである、条項１４に記載の方法。
１６．コサイン窓化シンクフィルタが、カーネル関数

【数5】

を有し、式中、

【数6】

であり、ｆｃが、コサイン窓化シンクフィルタのカットオフ周波数であり、Ｌが、カーネル長さであり、ｒが、ダウンサンプリング比である、条項１５に記載の方法。
１７．ｆｃが、０．９に等しく、Ｌが、１３に等しい、条項１６に記載の方法。
１８．コサイン窓化シンクフィルタが、８タップフィルタである、条項１５～１７の何れか一項に記載の方法。
１９．コサイン窓化シンクフィルタが、４タップフィルタである、条項１５～１７の何れか一項に記載の方法。
２０．コサイン窓化シンクフィルタが、３２位相フィルタである、条項１５～１７の何れか一項に記載の方法。
２１．３２位相フィルタが、クロマ動き補償インターポレーションで使用される、条項２０に記載の方法。
２２．帯域通過フィルタを参照ピクチャに適用することが、
小数サンプル位置でルマサンプル又はクロマサンプルを取得することを含む、条項１４～２１の何れか一項に記載の方法。
２３．デバイスであって、
コンピュータ命令を保存する１つ又は複数のメモリと、
コンピュータ命令を実行して、デバイスに、
ターゲットピクチャ及び参照ピクチャが異なる解像度を有することに応答して、動き補償インターポレーションを行うため、及び参照ブロックを生成するために、帯域通過フィルタを参照ピクチャに適用することと、
参照ブロックを使用して、ターゲットピクチャのブロックのエンコーディング又はデコーディングを行うことと、
を行わせるように構成される１つ又は複数のプロセッサと、
を含む、デバイス。
２４．一組の命令を保存する非一時的コンピュータ可読媒体であって、前記一組の命令は、映像コンテンツを処理する方法をコンピュータシステムに行わせるように、コンピュータシステムの少なくとも１つのプロセッサによって実行可能であり、前記方法が含む：
２５．一組の命令を保存する非一時的コンピュータ可読媒体であって、前記一組の命令は、映像コンテンツを処理する方法をコンピュータシステムに行わせるように、コンピュータシステムの少なくとも１つのプロセッサによって実行可能であり、前記方法が、
ターゲットピクチャ及び第１の参照ピクチャの解像度を比較することと、
ターゲットピクチャ及び第１の参照ピクチャが異なる解像度を有することに応答して、第２の参照ピクチャを生成するために第１の参照ピクチャを再サンプリングすることと、
第２の参照ピクチャを使用して、ターゲットピクチャのエンコーディング又はデコーディングを行うことと、
を含む、非一時的コンピュータ可読媒体。

【0079】

[0077] 図面及び明細書では、例示的実施形態を開示した。しかしながら、これらの実施形態に対して多くの変形形態及び変更形態を作ることができる。したがって、特定の用語が使用されるが、それらは、単に一般的及び説明的な意味で使用されるものであり、限定を意図したものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】