特許 7548934 ビデオコーディング技術の時間的処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】ビデオコーディング技術の時間的処理

(51)【国際特許分類】

   H04N 19/174 20140101AFI20240903BHJP

   H04N 19/33 20140101ALI20240903BHJP

   H04N 19/503 20140101ALI20240903BHJP

【ＦＩ】

H04N19/174

H04N19/33

H04N19/503

【請求項の数】 8

(21)【出願番号】P 2021558488

(86)(22)【出願日】2020-03-18

(65)【公表番号】

(43)【公表日】2022-06-14

(86)【国際出願番号】 GB2020050693

(87)【国際公開番号】W WO2020188272

(87)【国際公開日】2020-09-24

【審査請求日】2023-03-20

(31)【優先権主張番号】1903844.7

(32)【優先日】2019-03-20

(33)【優先権主張国・地域又は機関】GB

(31)【優先権主張番号】1904014.6

(32)【優先日】2019-03-23

(33)【優先権主張国・地域又は機関】GB

(31)【優先権主張番号】1904492.4

(32)【優先日】2019-03-29

(33)【優先権主張国・地域又は機関】GB

(31)【優先権主張番号】1905325.5

(32)【優先日】2019-04-15

(33)【優先権主張国・地域又は機関】GB

(73)【特許権者】

【識別番号】521189972

【氏名又は名称】ヴィ－ノヴァ インターナショナル リミテッド

【氏名又は名称原語表記】Ｖ－ＮＯＶＡ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＬＩＭＩＴＥＤ

【住所又は居所原語表記】８ｔｈ Ｆｌｏｏｒ， １ Ｓｈｅｌｄｏｎ Ｓｑｕａｒｅ， Ｐａｄｄｉｎｇｔｏｎ， Ｌｏｎｄｏｎ Ｗ２ ６ＴＴ

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(72)【発明者】

【氏名】メアルディ グイド

(72)【発明者】

【氏名】ダンジャノヴィック イヴァン

【審査官】久保 光宏

(56)【参考文献】

【文献】英国特許出願公開第２５５３５５６（ＧＢ，Ａ）

【文献】"Information Technology - General video coding - Part 2: Low complexity enhancement video coding"，ISO/IEC DIS 23094-2:2020(E)，ISO/IEC JTC 1/SC 29，2020年06月30日，Pages 5-8,28-34,40,43,53-57.

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ１９／００－１９／９８

ＣＳＤＢ（日本国特許庁）

学術文献等データベース（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

複数の符号化ストリームを再構成された出力ビデオに復号するように構成されたデコーダであって、前記デコーダが、
第１の出力ビデオを生成するために基本デコーダによってデコードされるように構成される符号化基本ストリームを受信することと、
１つ以上の符号化ストリームを受信することと、
前記１つ以上の符号化ストリームのそれぞれのフレームを復号して、それぞれの残差部分のセットを導出することであって、前記それぞれのフレームの各フレームが、複数のタイルに分割されており、前記複数のタイルの各タイルが、複数のブロックに分割されている、復号して導出することと、
前記残差部分のセットを前記第１の出力ビデオと組み合わせて、前記再構成された出力ビデオを生成することと、を行うように構成されており、
それぞれのフレームを復号するために、前記デコーダが、
前記複数のブロックの各ブロックに対して、前記１つ以上の符号化ストリームから残差部分の予備セットを取得することと、
時間的バッファを使用して時間的予測のセットを導出することと、
前記時間的予測のセットを前記残差部分の予備セットと組み合わせて、前記第１の出力ビデオとの組み合わせのためのデータを出力することと、を行うように構成されており、
前記デコーダが、
前記複数のブロックのそれぞれのブロックに対する前記１つ以上の複数の符号化ストリームからのデータから、ブロックレベルで第２のパラメータを受信し、前記第２のパラメータは、それぞれのブロックに対する時間的シグナリングを提供し、前記デコーダが前記ブロックに対する時間的予測の値を更新することを示す第２の値を有しており、
前記第２の値を有する指定されたブロックのための第２のパラメータを受信することが、前記タイルに関連する時間的バッファ内の値が更新されるべきであることを示す第３の値を有するタイルレベルの第３のパラメータを受信し、
前記複数のタイルのそれぞれのタイルの時間予測値をゼロに設定することによって、タイルに関連付けられた時間バッファの値を更新する
ように構成されることによって、前記時間的予測のセットの値のゼロ化を提供するように構成されている、デコーダ。

【請求項2】

前記デコーダが、前記再構成された出力ビデオ内のフレームからの要素の第１のブロックを、前記再構成された出力ビデオ内の前記フレームからの要素の第２のブロックを使用することなく、生成するように構成されている、請求項１に記載のデコーダ。

【請求項3】

前記デコーダが、
前記複数のブロックのうちのブロックのそれぞれの残差要素を取得することと、
前記それぞれの残差要素の各々に対して、前記時間的バッファから前記時間的予測のセットのそれぞれの時間的予測を導出することと、を行うように構成されている、請求項１または２に記載のデコーダ。

【請求項4】

前記デコーダは、時間的処理が有効化されていることを示す第１の値を有する第１のパラメータを受信することに応答して、前記時間的予測の前記値をゼロ化するように構成されている、請求項１～３のいずれか一項に記載のデコーダ。

【請求項5】

前記第１のパラメータの前記第１の値のビット長が、１ビットである、請求項４に記載のデコーダ。

【請求項6】

前記第１のパラメータが、前記複数の符号化ストリームと関連付けられているピクチャのグループに対して１回受信される、請求項５に記載のデコーダ。

【請求項7】

前記デコーダが、前記それぞれのフレームのうちの１つのフレームの第１のタイルに対する前記時間的バッファの値を更新することと、第２のタイルの第２のブロックに対する前記時間的予測のセットの値をゼロにすることなく、前記フレームの前記第２のタイルの第１のブロックに対する前記時間的予測のセットの前記値をゼロにすることと、を行うように構成されている、請求項１～６のいずれか一項に記載のデコーダ。

【請求項8】

複数の符号化ストリームを再構成された出力ビデオに復号する方法であって、前記方法が、
基本デコーダによってデコードするために符号化基本ストリームを受信することと、第１の出力ビデオを生成することと、
１つ以上の符号化ストリームを受信することと、
前記１つ以上の符号化ストリームのそれぞれのフレームを復号して、それぞれの残差部分のセットを導出することであって、前記それぞれのフレームの各フレームが、複数のタイルに分割されており、前記複数のタイルの各タイルが、複数のブロックに分割されている、復号して導出することと、
前記残差部分のセットを前記第１の出力ビデオと組み合わせて、前記再構成された出力ビデオを生成することと、を含み、
前記復号することが、
前記複数のブロックの各ブロックに対して、前記１つ以上の符号化ストリームから予備残差部分のセットを取得することと、
時間的バッファを使用して時間的予測のセットを導出することと、
前記時間的予測のセットを前記予備残差部分のセットと組み合わせることと、をさらに含み、
前記復号することが、前記時間的予測のセットの値のゼロ化を行うことを含み、
前記前記時間的予測のセットの値のゼロ化を行うことが、
前記複数のブロックのそれぞれのブロックに対する前記１つ以上の複数の符号化ストリームからのデータから、ブロックレベルで第２のパラメータを受信することであって、前記第２のパラメータは、それぞれのブロックに対する時間的シグナリングを提供し、前記デコーダが前記ブロックに対する時間的予測の値を更新することを示す第２の値を有している、前記第２のパラメータを受信することと、
前記第２の値を有する指定されたブロックのための第２のパラメータを受信することが、前記タイルに関連する時間的バッファの値が更新されるべきであることを示す第３の値を有するタイルレベルの第３のパラメータを受信することと、
複数のタイルのそれぞれのタイルの時間予測値をゼロに設定することによって、タイルに関連付けられた時間バッファの値を更新することと
を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオコーディング技術に使用するための方法、装置、コンピュータプログラム、およびコンピュータ可読媒体に関する。

【背景技術】

【0002】

信号の圧縮および解凍は、多くの既知のシステムで考慮されている。多くのタイプの信号、例えば、ビデオは、例えば、データ通信ネットワークを介して送信するために圧縮および符号化され得る。そのような信号が復号されるとき、信号の質のレベルを高めること、および／または元の信号に含まれる情報の可能な限り多くを復元することが望まれ得る。

【0003】

いくつかの既知のシステムは、スケーラブルな符号化技術を利用している。スケーラブルな符号化は、例えば、デコーダの能力および利用可能な帯域幅に応じて、１つ以上の異なる品質レベルで信号の再構成を可能にする情報と共に信号を符号化することを含む。

【0004】

スケーラブルな符号化システムの信号の再構成には、いくつかの考慮事項がある。このような考慮の１つは、エンコーダおよび／またはデコーダが情報を効率的に処理する能力である。エンコーダおよび／またはデコーダが情報を処理する効率は、エンコーダおよび／またはデコーダの性能レベルの要因であり得る。

【発明の概要】

【0005】

本発明の様々な態様は、添付の特許請求の範囲に記載されている。

【0006】

さらなる特徴および利点は、添付の図面を参照して行われる、例としてのみ与えられる以下の説明から明らかになるであろう。

【図面の簡単な説明】

【0007】

【図1】本明細書の例による符号化プロセスを示す概略図である。

【図2】本明細書の例による復号プロセスを示す概略図である。

【図3A-3B】各々、本明細書の例による符号化プロセスを示す概略図である。

【図4A-4B】各々、本明細書の例による復号プロセスを示す概略図である。

【発明を実施するための形態】

【0008】

本明細書に記載されるのは、ハイブリッド後方互換性コーディング技術である。

【0009】

本明細書に記載される例は、異なるビデオコーディングフォーマット、基本コーデック（例えば、ＡＶＣ、ＨＥＶＣ、または任意の他の現在もしくは将来のコーデック）をコーディングデータの少なくとも２つの拡張レベルと組み合わせる、柔軟性があり、適応可能であり、高効率であり、かつ計算上安価なコーディングフォーマットを提供する。

【0010】

符号化スキームの一般的な構造は、基本コーデックで符号化されたダウンサンプリングソース信号を使用し、基本コーデックの復号出力に第１のレベルの補正データを追加して、補正ピクチャを生成し、次いで、補正ピクチャのアップサンプリングバージョンにさらなるレベルの拡張データを追加するものである。

【0011】

このため、ストリームは、基本ストリームおよび拡張ストリームと考えられる。典型的には、基本ストリームは、ハードウェアデコーダによって復号可能であると予想される一方、拡張ストリームは、好適な消費電力を伴うソフトウェア処理実装に適していると予想されることに留意されたい。

【0012】

この構造は、複数の自由度を生み出し、多くの状況への柔軟性および適応性を可能にし、オーバー・ザ・トップ（ＯＴＴ）送信、ライブストリーミング、ライブ超高精細度（ＵＨＤ）ブロードキャストなど、多くのユースケースに好適なコーディングフォーマットとなる。

【0013】

基本コーデックの復号された出力は視聴を目的としていないが、それはより低解像度の完全に復号されたビデオであるため、出力を既存のデコーダと互換性があり、好適であると考えられる場合には、より低解像度の出力としても使用可能である。

【0014】

コーデックフォーマットは、最小限の数の単純なコーディングツールを使用する。相乗的に組み合わせると、それらは基本コーデックで符号化されたフル解像度の画像と比較して視覚品質の改善を提供すると同時に、それらの使用方式に柔軟性を生じさせることができる。

【0015】

図１は、第１の例のエンコーダ１００を示している。図示された成分は、対応する符号化プロセスのステップとしても実装されてもよい。

【0016】

エンコーダ１００では、入力されたフル解像度ビデオ１０２が処理されて、様々な符号化ストリームを生成する。第１の符号化ストリーム（符号化基本ストリーム１１０）は、基本エンコーダ１０６（例えば、ＡＶＣ、ＨＥＶＣ、または任意の他のコーデック）に入力ビデオのダウンサンプリングバージョンを供給することによって生成され、このバージョンは、入力ビデオ１０２をダウンサンプリングする（１０４）ことによって生成される。第２の符号化ストリーム（符号化レベル１ストリーム１１６）は、再構成された基本コーデックビデオと入力ビデオのダウンサンプリングバージョンとの間の差１１２を取ることによって取得された残存部分に符号化動作１１４を適用することによって生成される。再構成された基本コーデックビデオは、基本デコーダ１０８で基本エンコーダ１０６の出力を復号することによって取得される。第３の符号化ストリーム（符号化レベル２ストリーム１２８）は、再構成された基本コーディングビデオの補正バージョンと入力ビデオ１０２との間のアップサンプリングバージョンとの差１２４を取ることによって取得された残存部分を処理する（１２６）ことによって生成される。再構成された基本コーデックビデオの補正バージョンは、再構成された基本コーデックビデオ１２０と、復号動作１１８を符号化レベル１ストリーム１１６に適用することによって取得された残存部分とを組み合わせることによって取得される。

【0017】

レベル１符号化動作１１４は、以下にさらに説明するように、時間的処理を適用するために使用され得る任意選択のレベル１時間的バッファ１３０で動作する。レベル２符号化動作１２６はまた、任意選択のレベル２時間的バッファ１３２で動作し、これは、以下にさらに説明するように、時間的処理を適用するために使用されてもよい。レベル１時間的バッファ１３０およびレベル２時間的バッファ１３２は、時間的選択成分１３４の制御下で動作してもよい。時間的選択成分１３４は、入力ビデオ１０２およびダウンサンプリング１０４の出力のうちの１つ以上を受信して、時間モードを選択することができる。これについては、後の例でより詳細に説明する。

【0018】

図２は、第１の例のデコーダ２００を示す。図示された成分は、対応する復号プロセスのステップとしても実装されてもよい。デコーダは、図１のエンコーダ１００などのエンコーダによって生成された３つのストリーム（符号化基本ストリーム２１０、符号化レベル１ストリーム２１６、および符号化レベル２ストリーム２２８）を、さらなる復号情報を含むヘッダ２３６と共に受信する。符号化基本ストリーム２１０は、エンコーダで使用される基本デコーダに対応する基本デコーダ２０８によって復号され、その出力は、符号化レベル１ストリーム２１６を復号する（２４０）ことによって取得された復号残存部分と組み合わされる（２３８）。組み合わされたビデオは、アップサンプリングされ（２４２）、さらに、符号化レベル２ストリーム２２８に復号動作２４６を適用することによって取得された復号残存部分２４４と組み合わされる。

【0019】

図３Ａおよび図３Ｂは、第２の例示的なエンコーダ３００、３８０の異なる変形例を示す。第２の例示的なエンコーダ３００、３８０は、図１の第１の例示的なエンコーダ１００の実装を含み得る。図３Ａおよび図３Ｂの例では、ストリームの符号化ステップは、ステップがどのように実行され得るかの例を提供するためにより詳細に展開される。図３Ａは、第２のレベルの拡張プロセス、すなわち、レベル２符号化に関してのみ提供される時間的予測を伴う第１の変形例を示している。図３Ｂは、拡張の両方のレベル（すなわち、レベル１および２）で実行される時間的予測を伴う第２の変形例を示している。

【0020】

基本ストリーム３１０は、図１を参照して説明するように、プロセスによって実質的に作成される。換言すれば、入力ビデオ３０２は、ダウンサンプリングされる（３０４）（すなわち、ダウンサンプリング動作３０４が、ダウンサンプリング入力ビデオを生成するために入力ビデオ３０２に適用される）。次いで、入力ビデオ３０２をダウンサンプリングする（３０４）ことによって取得されたダウンサンプリングビデオは、第１の基本エンコーダ３０６を使用して符号化される（すなわち、符号化動作がダウンサンプリング入力ビデオに適用され、第１のエンコーダまたは基本エンコーダ３０６を使用して符号化された基本ストリーム３１０を生成する）。好ましくは、第１のエンコーダまたは基本エンコーダ３０６は、ハードウェア復号に好適なコーデックである。符号化基本ストリーム３１０は、基本レイヤまたは基本レベルと呼ばれることがある。

【0021】

上述したように、拡張ストリームは、２つのストリームを含んでもよい。拡張の第１のレベル（本明細書では「レベル１」として説明される）は、補正ピクチャを生成するために基本ストリームの復号バージョンと組み合わせることができる補正データのセットを提供する。この第１の拡張ストリームは、符号化レベル１ストリーム３１６として図１および図３に示されている。拡張ストリームは、拡張エンコーダによって生成され得る。拡張エンコーダは、符号化基本ストリーム３１０を生成するために使用される基本エンコーダ３０６とは異なってもよい。

【0022】

符号化レベル１ストリーム３１６を生成するために、符号化基本ストリーム３１０は、基本デコーダ３０８を使用して復号される（すなわち、復号動作が、復号基本ストリームを生成するために、符号化基本ストリーム３１０に適用される）。次に、復号基本ストリームと、入力ビデオ３０２をダウンサンプリング（３０４）によって取得されたダウンサンプリング入力ビデオとの差３１２が作成される（すなわち、減算動作３１２がダウンサンプリング入力ビデオおよび復号基本ストリームに適用されて、第１のセットの残存部分を生成する）。ここで、残存部分（ｒｅｓｉｄｕａｌ）という用語は、当該技術分野で既知である、すなわち、参照フレームと所望のフレームとの間の誤差と同様の様式で使用される。ここで、参照フレームは復号基本ストリームであり、所望のフレームはダウンサンプリング入力ビデオである。したがって、第１の拡張レベルで使用される残存部分は、復号基本ストリームを基本符号化動作で使用されたダウンサンプリング入力ビデオに「補正」するため、補正ビデオと見なすことができる。

【0023】

その後、差３１２は、符号化レベル１ストリーム３１６を生成するように符号化される（すなわち、符号化動作は、第１の拡張ストリーム３１６を生成するために第１のセットの残存部分に適用される）。

【0024】

図３Ａおよび図３Ｂの例示的な実装では、符号化動作は、いくつかのステップを含み、それらの各ステップは、任意選択かつ好ましく、特定の利点を提供する。

【0025】

図３において、ステップは、変換ステップ３３６、量子化ステップ３３８、およびエントロピー符号化ステップ３４０を含む。

【0026】

図示されていないが、いくつかの例では、符号化プロセスは、残存部分ランク付けモードが選択されているかどうかを識別する。残存部分モードが選択されている場合、残存部分ランク付けステップが実行され得る（すなわち、残存部分のランク付け動作が、ランク付けされた残存部分のセットを生成するために残存部分の第１のステップに対して実行され得る）。ランク付け残存部分のセットは、すべての残存部分が第１の拡張ストリーム３１６（または補正ストリーム）に符号化されないようにフィルタリングされ得る。

【0027】

次いで、第１のセットの残存部分、またはランク付けもしくはフィルタリングされた第１のセットの残存部分は、符号化レベル１ストリーム３１６を生成するために、変換（３３６）、量子化（３３８）、およびエントロピー符号化（３４０）される（すなわち、変換動作３３６は、変換された残存部分のセットを生成するためにランク付けモードが選択されるか否かに応じて、第１のセットの残存部分またはフィルタリングされた第１のセットの残存部分に適用され、量子化動作３３８は、量子化残存部分のセットを生成するために、変換された残存部分のセットに適用され、エントロピー符号化動作３４０は、第１のレベルの拡張ストリーム３１６を生成するために、量子化された残存部分のセットに適用される）。好ましくは、エントロピー符号化動作３４０は、ハフマン符号化動作または実行長符号化動作、またはその両方であってもよい。任意選択で、ランク付け動作の効果を補正するために、制御動作（図には示されていない）を量子化された残存部分のセットに適用してもよい。

【0028】

上述したように、拡張ストリームは、第１のレベルの拡張３１６および第２のレベルの拡張３２８を含んでもよい。第１のレベルの拡張３１６は、補正ストリームと考えてもよい。第２のレベルの拡張３２８は、補正ストリームを元の入力ビデオに変換するさらなるレベルの拡張と見なされてもよい。

【0029】

さらなるレベルの拡張３２８は、復号レベル１ストリームのアップサンプリングバージョンと入力ビデオ３０２との間の差３２４である、さらなる残存部分のセットを符号化することによって作成される。

【0030】

図３において、量子化された（または制御された）残存部分のセットは、ブロック解除フィルタ（図に示されていない）が任意選択的に適用されて復号された第１のセットの残存部分を生成する前に、逆量子化（３４２）および逆変換される（３４４）（すなわち、逆量子化動作３４２は、量子化された第１のセットの残存部分に適用されて脱量子化された第１のセットの残存部分を生成し、逆変換動作３４４は、脱量子化された第１のセットの残存部分に適用されて変換解除された第１のセットの残存部分を生成し、ブロック解除フィルタ動作は任意選択で、変換解除された第１のセットの残存部分に適用されて復号された第１のセットの残存部分を生成する）。ブロック解除フィルタステップは、適用される変換３３６に応じて任意選択であり、加重マスクを、変換解除された３４４の第１のセットの残存部分の各ブロックに適用することを含む。

【0031】

復号基本ストリームは、復号された第１のセットの残存部分と組み合わされる（３２０）（すなわち、復号された基本ストリームと復号された第１のセットの残存部分との合計動作３２０は、再作成された第１のストリームを生成するために実行される）。図３Ａおよび図３Ｂに示すように、その組み合わせは、次いで、アップサンプリングされる（３２２）（すなわち、アップサンプリング動作３２２が再作成された第１のストリームに適用され、アップサンプリング再作成ストリームを生成する）。

【0032】

次いで、アップサンプリングストリームを、さらなる残存部分のセットを作成する入力ビデオ３０２と比較する（すなわち、差の動作３２４がアップサンプリング再作成ストリームに適用されて、さらなる残存部分のセットを生成する）。次いで、さらなる残存部分のセットは、符号化レベル２拡張ストリーム３２８として符号化される（すなわち、符号化動作は、次いで、さらなる残存部分のセットに適用されて、符号化されたさらなる拡張ストリーム３２８を生成する）。

【0033】

符号化レベル１ストリーム３１６と同様に、レベル２残存部分に適用される符号化は、いくつかのステップを含み得る。図３Ａは、時間的予測（以下でさらに説明する）、変換３４８、量子化３５０、およびエントロピー符号化３５２としてのステップを示す。

【0034】

図示されていないが、いくつかの例では、符号化プロセスは、残存部分ランク付けモードが選択されているかどうかを識別する。残存部分モードが選択されている場合、残存部分ランク付けステップが実行され得る（すなわち、残存部分ランク付け動作がさらなる残存部分のセットに対して実行されて、さらなるランク付けされた残存部分のセットを生成し得る）。さらなるランク付けされた残存部分のセットは、すべての残存部分がさらなる拡張ストリーム３２８に符号化されないようにフィルタリングされ得る。

【0035】

さらなる残存部分のセットまたはさらなるランク付けされた残存部分のセットは、続いて変換される（３４８）（すなわち、変換動作３４８は、さらなるランク付けされた残存部分のセットに対して実行されて、さらなる変換された残存部分のセットを生成する）。図示するように、変換動作３４８は、アップサンプリング３２２の前に、再作成された第１のストリームから導出された予測係数または予測平均を利用し得る。さらなる情報は以下のとおりである。

【0036】

図３Ａは、時間的予測がレベル２の符号化プロセスの一部として実行される第２の例示的なエンコーダ３００の変形例を示す。時間的予測は、時間的選択成分３３４およびレベル２時間的バッファ３３２を使用して実行される。時間的選択成分３３４は、以下でより詳細に説明するように時間的処理モードを決定し、それに応じてレベル２時間的バッファ３３２の使用を制御し得る。例えば、時間的処理が実行されない場合、時間的選択成分３３４は、レベル２時間的バッファ３３２の内容が０に設定されるべきであることを示し得る。図３Ｂは、時間的予測がレベル１およびレベル２符号化プロセスの両方の一部として実行される第２の例示的なエンコーダ３８０の変形例を示している。図３Ｂにおいて、レベル１時間的バッファ３３０は、レベル２時間的バッファ３３２に加えて提供される。図示されていないが、レベル１で時間的処理が実行されるが、レベル２ではないさらなる変形例も可能である。

【0037】

時間的予測が選択されると、図３Ａまたは図３Ｂの第２の例のエンコーダ３００、３８０は、適切な時間的バッファから導出された係数の対応するセットを減算することによって、係数（すなわち、変換成分によって出力される変換残存部分）をさらに修正してもよい。対応する係数のセットは、前のフレームから導出される同じ空間領域（例えば、フレーム内に位置する同じコーディング単位）の係数のセット（例えば、前のフレームの同じ領域の係数）を含み得る。これらの係数は、時間的バッファから導出されてもよく、またはそれ以外の方法で取得されてもよい。時間的バッファから取得される係数は、本明細書では時間的係数と呼ばれ得る。減算は、第３の減算成分３５４および３５６（それぞれのレベル２および１に対する）などの減算成分によって適用されてもよい。この時間的予測ステップは、後の例に関してさらに説明される。要約すると、時間的予測が適用されるとき、符号化された係数は、ストリームのフレームと他のフレームとの間の差に対応する。他のフレームは、ストリーム内の先行または後続のフレーム（またはフレーム内のブロック）であってもよい。したがって、アップサンプリング再作成ストリームと入力ビデオとの間の残存部分を符号化する代わりに、符号化プロセスは、ストリーム内の変換されたフレームと変換されたフレームの残存部分との間の差を符号化し得る。このように、エントロピーを減少させることができる。時間的予測は、制御情報に基づいてコーディング単位のグループ（本明細書では「タイル」と呼ばれる）に対して選択的に適用されてもよく、デコーダにおける時間的予測の適用は、符号化ストリーム（例えば、ヘッダ内）と共に追加の制御情報を送信することによって適用されてもよい。

【0038】

図３Ａおよび図３Ｂに示すように、時間的予測がアクティブであるとき、各変換された係数は、以下のようになり得る：

【数1】

（式中、時間的バッファは、前のフレームと関連付けられているデータを記憶し得る）。時間的予測は、１つのカラー平面に対して、または複数のカラー平面に対して実行されてもよい。一般に、減算は、フレームの要素が変換された係数を表し、変換が特定のコーディング単位サイズ（例えば、２×２または４×４）によって特定のｎに対して適用される、ビデオの「フレーム」に対する要素ごとの減算として適用され得る。時間的予測（例えば上記のデルタ）から生じる差は、後続のフレームに対して使用するためにバッファ内に記憶され得る。したがって、実際には、時間的予測にもたらされる残存部分は、バッファに関する係数の残存部分である。図３Ａおよび図３Ｂは、変換動作後に実行される時間的予測を示しているが、量子化動作後に実行されてもよい。これは、レベル２逆量子化成分３５８および／またはレベル１逆量子化成分３６０を適用する必要性を回避し得る。したがって、図３Ａおよび図３Ｂに示すように、および上述したように、符号化プロセスを実行した後の第２の例示的なエンコーダ３００、３８０の出力は、符号化基本ストリーム３１０および１つ以上の拡張ストリームであり、これは、好ましくは、第１のレベルの拡張に対する符号化レベル１ストリーム３１６、およびさらなるまたは第２のレベルの拡張に対する符号化レベル２ストリーム３２８を含む。

【0039】

図４Ａおよび図４Ｂは、第２の例示的なデコーダ４００、４８０のそれぞれの変形例を示す。第２の例示的なデコーダ４００、４８０の変形例は、それぞれ、図２の第１の例示的なデコーダ２００に対応するように実装され得る。明確に識別可能であるように、復号ステップおよび成分は、復号がどのように実行され得るかの一例を提供するために、より詳細に展開される。図３Ａおよび図３Ｂと同様に、図４Ａは、第２のレベル（すなわち、レベル２）に対してのみ時間的予測が使用される変形例を示しており、図４Ｂは、両方のレベル（すなわち、レベル１および２）において時間的予測が使用される変形例を示している。前述のように、さらなる変形例が想定され（例えば、レベル１であるが、レベル２ではない）、構成の形態は、シグナリング情報を使用して制御され得る。

【0040】

図４Ｂの例に示すように、復号プロセスにおいて、デコーダ４８０は、ヘッダ４３６（例えば、グローバル構成データ、ピクチャ構成データ、および他のデータブロックを含有する）を解析し、それらのヘッダ４３６に基づいてデコーダを構成し得る。入力ビデオを再作成するために、デコーダ４００、４８０は、基本ストリーム４１０、第１の拡張ストリーム４１６、およびさらなる拡張ストリーム４２８の各々を復号してもよい。ストリームのフレームは、同期されてもよく、次いで組み合わされて、復号ビデオ４４８を導出してもよい。

【0041】

各復号プロセスでは、拡張ストリームは、残存部分のセットを再作成するために、エントロピー復号４５０、４５２、逆量子化４５４、４５６、および逆変換４５８、４６０のステップを受けてもよい。

【0042】

図４Ａおよび図４Ｂの復号プロセスは、第１のレベルの拡張を表すエントロピー復号された量子化された係数のアレイを取り出し、Ｌ－１残存部分のアレイを出力することを含む。この場合、エントロピー復号された量子化された係数は、符号化Ｌ－１ストリーム４１６にエントロピー復号動作４５０を適用することによって得られる。図４Ａおよび図４Ｂの復号プロセスは、基本デコーダ４０８の出力のサンプルのアレイを取り出すことをさらに含む。図４Ａおよび図４Ｂの復号プロセスは、エントロピー復号された量子化された係数のアレイに脱量子化プロセス４５４を適用して、脱量子化された係数のセットを導出し、変換プロセス４５８を脱量子化された係数のセットに適用し、任意選択で、フィルタプロセス（図４Ａおよび図４Ｂには示されていない）を適用して、第１のレベルの拡張を表すＬ－１残存部分のアレイを出力することをさらに含み、これは、残存部分の予備セットと呼ばれることがある。この場合、脱量子化プロセス４５４は、符号化レベル１ストリーム４１６のフレームのそれぞれのブロックのためのエントロピー復号された量子化された係数に適用され、変換プロセス４５８（逆変換動作と呼ばれることがある）は、フレームのそれぞれのブロックに対する脱量子化プロセス４５４の出力に適用される。図４Ａおよび図４Ｂの復号プロセスは、次いで、Ｌ－１残存部分のアレイ４６２を基本デコーダ４０８の出力のサンプルのアレイと組み合わせることによって、ピクチャを再作成することをさらに含む。図４Ａおよび図４Ｂの復号プロセスは、シグナリングされたパラメータに従って、所定の変換プロセスのセットから変換プロセス４５８を適用することを含む。例えば、変換プロセス４５８は、２×２コーディング単位または４×４コーディング単位に適用されてもよい。コーディング単位は、本明細書では、アレイ内の要素のブロック、この場合はＬ－１残存部分のアレイと呼ばれてもよい。

【0043】

図４Ａおよび図４Ｂの復号プロセスは、さらなるレベルの拡張を表すエントロピー復号された量子化された係数のアレイを取り出し、残存部分のアレイを出力することを含む。図４Ａおよび図４Ｂに示される復号プロセスにおいて、さらなるレベルの拡張は、第２のレベルの拡張であり、残存部分出力のアレイは、Ｌ－２残存部分のアレイである。図４Ａおよび図４Ｂの方法は、さらなるレベルの拡張を表すエントロピー復号された量子化された係数のアレイに対応する第１のレベルの拡張のＬ－１残存部分のアレイを取り出すことをさらに含む。図４Ａおよび図４Ｂの方法は、第１のレベルの拡張の残存部分のアレイにアップサンプリングプロセス４６４を適用することをさらに含む。図４Ａおよび図４Ｂでは、アップサンプリングプロセス４６４が、第１のレベルの拡張のＬ－１残存部分のアレイおよび基本デコーダ４０８の出力の対応するサンプルのアレイの組み合わせに適用される。

【0044】

図４Ａおよび図４Ｂでは、アップサンプリングプロセス４６４は、修正されたアップサンプリングプロセスであり、修正子が残存部分に追加される。修正子を追加するステップは、変換プロセス４６０の一部として実行されてもよい。あるいは、変換プロセス４６０は、線形変換を含むため、図４Ａおよび図４Ｂに示すように、修正子を追加するステップは、修正されたアップサンプリングプロセス４６４の一部として実行されてもよい。したがって、修正子を追加するステップは、残存部分の修正をもたらす。修正は、フレーム内の残存部分の場所に基づいて実行され得る。修正は、所定の値であってもよい。

【0045】

図４Ａでは、時間的予測は、レベル２の復号中に適用される。図４Ａの例では、時間的予測は、時間的予測成分４６６によって制御される。この変形例では、ストリームから時間的予測成分４６６への矢印によって示されるように、時間的予測の制御情報が符号化レベル２ストリーム４２８から抽出される。図４Ｂに示すような他の実装形態では、時間的予測のための制御情報は、例えば、ヘッダ４３６内で、符号化レベル２ストリーム４２８とは別個に送信されてもよい。時間的予測成分４６６は、レベル２の時間的バッファ４３２の使用を制御し、例えば、後の例を参照して説明するように、時間的モードを決定し、時間的更新を制御してもよい。時間的バッファ４３２の内容は、残存部分の前のフレームに関するデータに基づいて更新されてもよい。時間的バッファ４３２が適用されるとき、バッファの内容は、第２のセットの残存部分に追加される（４６８）。図４Ａでは、時間的バッファ４３２の内容は、レベル２復号成分４４６（図４Ａでは、エントロピー復号４５２、逆量子化４５６、および逆変換４６０を実装する）の出力に追加される（４６８）。他の例では、時間的バッファの内容は、中間復号データの任意のセットを表してもよく、したがって、追加４６８は、適切な段階で時間的バッファの内容を適用するように適切に移動されてもよい（例えば、時間的バッファが脱量子化された係数段階で適用される場合、追加４６８は、逆変換４６０の前に位置してもよい）。次いで、時間的に補正された第２のセットの残存部分をアップサンプリング４６４の出力と組み合わせて（４７０）、復号ビデオ４４８を生成する。復号ビデオ４４８は、レベル１空間解像度よりも高くてもよいレベル２空間解像度にある。第２のセットの残存部分は、（視認可能な）アップサンプリングされた再構成されたビデオに補正を適用し、補正は細かいディテールを追加し、線および機能のシャープネスを向上させる。

【0046】

変換プロセス４５８、４６０は、シグナリングされたパラメータに従って、所定の変換プロセスのセットから選択されてもよい。例えば、変換プロセス４６０は、Ｌ－２残存部分のアレイ内の要素の２×２ブロック、またはＬ－２残存部分のアレイ内の要素の４×４ブロックに適用されてもよい。

【0047】

図４Ｂは、第２の例示的なデコーダ４８０の変形例を示す。この場合、時間的予測制御データは、ヘッダ４３６から時間的予測成分４６６によって受信される。時間的予測成分４６６は、レベル１およびレベル２の時間的予測の両方を制御するが、他の例では、必要に応じて、両方のレベルに対して別個の制御成分が提供されてもよい。図４Ｂは、レベル２復号成分４４６の出力に４６８を追加した再構成された第２のセットの残存部分が、次のフレームのためにレベル２時間的バッファ４３２に記憶されるようにフィードバックされ得る方法を示している（フィードバックは、明確にするために図４Ａから省略されている）。また、上記のレベル２時間的バッファ４３２と同様の様式で動作するレベル１時間的バッファ４３０も示され、バッファのフィードバックループがこの図に示される。レベル１時間的バッファ４３０の内容は、合計４７２を介してレベル１残存部分処理パイプラインに追加される。ここでも、この合計４７２の位置は、時間的予測が適用される場所に応じて、レベル１残存部分処理パイプラインに沿って変化し得る（例えば、それが変換された係数空間に適用される場合、それはレベル１逆変換成分４５８の前に位置してもよい）。

【0048】

図４Ｂは、時間的制御情報がデコーダにシグナリングされ得る２つの方式を示している。第１の方式は、上述したように、ヘッダ４３６を介している。代替または追加のシグナリング経路として使用され得る第２の方式は、残存部分自体内で符号化されるデータを介している。図４Ｂは、データ４７４がＨＨの変換された係数に符号化され得るため、エントロピー復号４５２に続いて抽出され得る場合を示している。このデータ４７４は、レベル２の残存部分処理パイプラインから抽出され、時間的予測成分４６６に渡されてもよい。

【0049】

各拡張ストリームまたは両方の拡張ストリームは、ネットワーク抽象化層ユニット（ＮＡＬＵ）のセットを使用して、１つ以上の拡張ビットストリームにカプセル化されてもよい。ＮＡＬＵは、拡張を正しい基本再構成フレームに適用するために、拡張ビットストリームをカプセル化することを意味する。ＮＡＬＵは、例えば、拡張が適用されなければならない基本デコーダ再構成フレームビットストリームを含むＮＡＬＵへの参照インデックスを含んでもよい。このようにして、拡張は、基本ストリームに同期されてもよく、各ビットストリームのフレームは、復号された出力ビデオを生成するように組み合わされる（すなわち、拡張レベルの各フレームの残存部分は、基本復号ストリームのフレームと組み合わされる）。ピクチャのグループは、複数のＮＡＬＵを表してもよい。

【0050】

各フレームは、異なるカラー成分を表す３つの異なる平面で構成されてもよく、例えば、３チャネルＹＵＶビデオの各成分は、異なる平面を有してもよい。次いで、各平面は、所与のレベルの拡張に関連する残存部分データを有してもよく、例えば、Ｙ平面は、レベル１残存部分データのセットおよびレベル２残存部分データのセットを有してもよい。特定の場合、例えば、モノクロ信号については、１つの平面のみが存在してもよく、その場合、用語フレームおよび平面は、互換的に使用されてもよい。レベル－１残存部分データおよびレベル－２残存部分データは、以下のように分割されてもよい。残存部分データはブロックに分割され、ブロックのサイズは使用される変換のサイズに依存する。ブロックは、例えば、２×２方向分解変換を使用する場合は要素の２×２ブロックであり、４×４方向分解変換を使用する場合は要素の４×４ブロックである。タイルは、フレームの領域（例えば、正方形領域であり得るＭ×Ｎ領域）を覆うブロックのグループである。タイルは、例えば要素の３２×３２のタイルである。したがって、符号化ストリーム内の各フレームは、複数のタイルに分割されてもよく、複数のタイルの各タイルは、複数のブロックに分割されてもよい。カラービデオに対して、各フレームは、複数の平面に分割されてよく、各平面は、複数のタイルに分割され、複数のタイルの各タイルは、複数のブロックに分割される。

【0051】

処理成分またはツールのセットが、プロセス全体を通して拡張ストリーム（または入力ビデオ１０２、３０２）の各々にどのように適用され得るかを上記に記載した。以下は、図１～図４に示すように、全体的なプロセス内のツールおよびその機能の各々の概要を提供する。

【0052】

ダウンサンプリングプロセス１０４、３０４は、基本エンコーダ１０６、３０６によって符号化されるダウンサンプリングされたビデオを生成するために入力ビデオ１０２、３０２に適用される。ダウンサンプリング１０４、３０４は、垂直方向および水平方向の両方で行われてもよく、または代替的に、水平方向のみで行われてもよい。

【0053】

Ｌ－１符号化動作１１４への入力は、基本デコーダ１０８、３０８の復号出力と、入力ビデオ１０２、３０２をダウンサンプリングする（１０４、３０４）ことによって取得されたダウンサンプリングビデオとの間の差１１２、３１２を取ることによって取得されるＬ－１残存部分を含む。次いで、Ｌ－１残存部分は、以下にさらに記載されるように、変換（３３６）、量子化（３３８）、および符号化（３４０）される。変換３３６は、変換係数（すなわち、変換されたＬ－１残存部分）を出力する。

【0054】

変換プロセス３３６において使用され得る２タイプの変換が存在する。いずれも、予測平均を適用する段階の後に残る残存部分に直接適用される小さなカーネルを利用する。

【0055】

第１の変換は、残存部分の２×２ブロックに適用される２×２カーネルを有する。得られる係数は次のようになる。

【数2】

【0056】

第２の変換は、残存部分の４×４ブロックに適用される４×４カーネルを有する。得られる係数は次のようになる。

【数3】

【0057】

ダウンサンプリングおよび／またはアップサンプリングが水平方向でのみ実行される場合（例えば、特定の要素が０に設定されている場合）、好適に適合された変換も適用され得る。例えば、上記の例の行列に例示されるように、ハダマード変換が使用される場合、復号または逆変換は、同じ行列を使用してもよく、例えば、ハダマード行列は、それら自身の逆行列である。この場合、例えば、Ｍ×Ｎブロックに関連する残存部分Ｒの（Ｍ×Ｎ）×１アレイは、Ｒ＝Ｈ＊Ｃを使用して、係数Ｃの対応する（Ｍ×Ｎ）×１アレイからデコーダで導出されてもよく、式中、Ｈは、上に示されるハダマード行列のうちの１つに等しい。

【0058】

次いで、線形量子化器を使用して、係数を量子化する（３３８）。線形量子化器は、可変サイズのデッドゾーンを使用してもよい。線形量子化器は、量子化ステップおよび非中心化脱量子化オフセットと比較して、異なるサイズのデッドゾーンを使用してもよい。

【0059】

量子化された係数は、エントロピーコーダを使用して符号化される（３４０）。エントロピーコーディング３４０には２つのスキームがある。第１のスキームでは、量子化された係数は、Ｒｕｎ－Ｌｅｎｇｔｈ－Ｅｎｃｏｄｅｒ（ＲＬＥ）を使用して符号化される。第２のスキームでは、量子化された係数は、まずＲＬＥを使用して符号化され、次に、符号化された出力は、ハフマンエンコーダを使用して処理される。これは、典型的には変換残存部分で見出される０ｓの長いストリームを、ＲＬＥで有益に符号化してもよく、次いで、ハフマンエンコーダを使用して、異なる周波数の量子化された値（例えば、残存部分の分布およびその線形変換された値のために値が増加するにつれて減少した数を有することが多い）をさらに有益に符号化してもよい。

【0060】

残存モード（ＲＭ）が選択されている場合、Ｌ－１残存部分は、どの残存部分が変換され（３３６）、符号化されるべきかを決定するために、さらにランク付けおよび選択される。好ましくは、これは、エントロピー符号化３４０の前に予め形成される。

【0061】

Ｌ－１符号化のために時間的選択モードが選択される場合、エンコーダは、レベル１時間的バッファ１３０、３３０から導出される対応する係数、すなわち、以下に記載される時間的予測を減算することによって、係数をさらに修正する。

【0062】

Ｌ－１復号動作１１８への入力は、Ｌ－１符号化残存部分を含み、これらは、エントロピーデコーダ４５０、脱量子化器４５４、および逆変換モジュール４５８を通して渡される。これらのモジュールによって実行される動作は、上述したモジュールによって実行される逆動作である。

【0063】

時間的選択モードがＬ－１符号化のために選択されている場合、残存部分は、レベル１時間的バッファ１３０、３３０から同じ位置にある残存部分から部分的に予測されてもよい。同じ位置にある残存部分は、本明細書では時間的予測と呼ばれ得る。

【0064】

４×４変換が使用される場合、復号残存部分は、ブロック解除フィルタモジュールに供給され得る。ブロック解除フィルタは、重みを指定することができるマスクを適用することによって、変換残存部分の各ブロック上で動作する。マスクの一般的な構造は次のとおりである。

【数4】

式中、０≦α≦１および０≦β≦１である

【0065】

復号された（および、該当する場合、ブロック解除された）Ｌ－１残存部分および基本復号ビデオの組み合わせ（１２０、３２０）からの出力は、アップサンプリング再構成ビデオを生成するためにアップサンプリングされる（１２２、３２２）。アップサンプリングは、選択可能であってもよく、バイトストリーム内でシグナリングされてもよい。

【0066】

Ｌ－２符号化動作１２６への入力は、アップサンプリングされた再構成ビデオと入力ビデオ１０２、３０２との間の差１２４、３２４を取ることによって取得されるＬ－２残存部分を含む。次いで、Ｌ－２残存部分は、以下にさらに記載されるように、変換（３４８）、量子化（３５０）、および符号化（３５２）される。変換３４８、量子化３５０、および符号化３５２は、Ｌ－１符号化１１４に関して説明したのと同じ様式で実行される。Ｌ－１符号化１１４を参照して説明されるように、変換３４８は、変換係数（すなわち、変換されたＬ－２残存部分）を出力する。ＲＭが選択されている場合、Ｌ－２残存部分は、どの残存部分が変換され、符号化されるべきかを決定するために、さらにランク付けおよび選択される。Ｌ－２符号化動作１２６は、以下に記載されるように、２つの追加のプロセスをさらに含み得る。

【0067】

予測される係数モードが選択されている場合、エンコーダは、変換された係数Ｃ００（例えば、２×２変換の「平均」または「Ａ」係数）をさらに修正する。２×２変換を使用する場合、Ｃ００は、変換された残存部分のブロックが予測されるアップサンプリングされた残存部分の値を減算することによって修正される。４×４変換を使用する場合、Ｃ００は、変換された残存部分のブロックが予測される４つのアップサンプリングされた残存部分の平均値を減算することによって修正される。

【0068】

Ｌ－２符号化のために時間的選択モードが選択される場合、エンコーダは、上述したように、レベル２の時間的バッファ１３２、３３２から導出される対応する係数を減算することによって、係数をさらに修正する。

【0069】

Ｌ－２復号動作２４６、４４６への入力は、符号化されたＬ－２残存部分を含む。Ｌ－２残存部分の復号プロセスは、エントロピーデコーダ４５２、脱量子化器４５６、および逆変換モジュール４６０を通して渡される。これらのモジュールによって実行される動作は、上述したモジュールによって実行される逆動作である。時間的選択モードがＬ－２符号化のために選択されている場合、残存部分は、レベル２の時間的バッファ１３２、３３２から同じ位置にある残存部分から部分的に予測されてもよい。同じ位置にある残存部分は、本明細書では時間的予測と呼ばれ得る。

【0070】

修正されたアップサンプリングプロセス２４２、４６４は、２つのステップを含み、第２のステップは、デコーダによって受信された信号に依存する。第１のステップでは、復号された（および該当する場合、ブロック解除された）Ｌ－１残存部分および基本復号ビデオ２０８、４０８（Ｌ－１再構成ビデオ）の組み合わせ２３８、４６２は、アップサンプリング再構成ビデオを生成するためにアップサンプリングされる。予測された係数モードが選択されている場合、第２のステップが実装される。特に、アップサンプリング再構成ビデオにおける２×２ブロックが導出されたＬ－１再構成値における要素の値は、アップサンプリング再構成ビデオにおける前記２×２ブロックに追加される。

【0071】

上記を通じて、ビットストリームという用語は、必要に応じて、ストリームまたはバイテストリームまたはＮＡＬＵストリームによって置き換えられてもよい。

【0072】

図４Ａおよび図４Ｂを参照すると、以下の例は、レベル２復号中に適用される時間的予測プロセスに関する。しかしながら、以下の時間的予測プロセスが、レベル１復号中に追加的または代替的に適用され得ることを理解されたい。

【0073】

この例では、デコーダ４００、４８０は、ピクチャを復号するときに時間的予測を使用すべきかどうかを指定するｔｅｍｐｏｒａｌ＿ｅｎａｂｌｅｄパラメータを受信するように構成されている。ｔｅｍｐｏｒａｌ＿ｅｎａｂｌｅｄパラメータは、時間的処理が有効であることを示す第１の値を有する第１のパラメータとして本明細書において参照されてもよい。この場合、ｔｅｍｐｏｒａｌ＿ｅｎａｂｌｅｄパラメータは、デコーダ４００、４８０が、時間的バッファ４３２の内容から導出される時間的予測の値を更新することができるかどうかを示す。ｔｅｍｐｏｒａｌ＿ｅｎａｂｌｅｄパラメータの値は、１ビットのビット長を有し得る。この例では、値１は、ピクチャを復号するときに時間的予測が使用されることを指定し、値０は、ピクチャを復号するときに時間的予測が使用されないことを指定する。ｔｅｍｐｏｒａｌ＿ｅｎａｂｌｅｄパラメータは、上述の符号化ストリームと関連付けられているピクチャのグループに対して１回受信されてもよく、ピクチャのグループは、コーディングビデオストリーム内の連続したピクチャの集合である。

【0074】

この例では、デコーダ４００、４８０は、時間的バッファ４３２がフレームに対して更新されるべきかどうかを指定するｔｅｍｐｏｒａｌ＿ｒｅｆｒｅｓｈ＿ｂｉｔパラメータを受信するように構成されている。フレームが複数の平面を含む場合、更新は、フレーム内のすべての平面（すなわち、平面を含むフレーム）に適用されてもよい。時間的バッファ４３２を更新することは、時間的バッファ４３２からゼロに値を設定することを含んでもよい。このようにして、時間的バッファ４３２の内容が第２のセットの残存部分に追加される場合４６８、第２のセットの残存部分は、時間的バッファ４３２が適用されなかった場合と同様に変更されない。ｔｅｍｐｏｒａｌ＿ｒｅｆｒｅｓｈ＿ｂｉｔパラメータの値は、１ビットのビット長を有し得る。この例では、値１は、時間的バッファ４３２がフレームに対して更新されるべきであることを指定し、値０は、時間的バッファ４３２がフレームに対して更新されるべきでないことを示す。ｔｅｍｐｏｒａｌ＿ｒｅｆｒｅｓｈ＿ｂｉｔパラメータは、コード化されたビデオストリーム内の各ピクチャに対して１回受信されてもよい。ｔｅｍｐｏｒａｌ＿ｅｎａｂｌｅｄパラメータおよびｔｅｍｐｏｒａｌ＿ｒｅｆｒｅｓｈ＿ｂｉｔパラメータは、上述したように、例えばヘッダ４３６を介してデコーダにシグナリングされる時間的な制御情報の中に構成されてもよい。

【0075】

この例では、変数ｔｅｍｐｏｒａｌ＿ｅｎａｂｌｅｄが１に等しく、ｔｅｍｐｏｒａｌ＿ｒｅｆｒｅｓｈ＿ｂｉｔが０に等しい場合、以下で指定されているように、時間的予測プロセスが呼び出される。

【0076】

呼び出された時間的予測プロセスへの入力は次のとおりである。
・ 現在のピクチャの左上のルマまたはクロマサンプルに対して現在のルマまたはクロマ変換ブロックの左上のサンプルを指定する位置（ｘＴｂＰ、ｙＴｂＰ）。（ｘＴｂＰ、ｙＴｂＰ）は、変換係数がどの平面に属するかに応じて、ルマまたはクロマ平面のいずれかに関連することができる。

【0077】

・ 現在の変換ブロックのサイズを指定するパラメータｎＴｂＳ。例えば、上述の変換プロセスで２×２方向分解変換を使用するべきである場合はｎＴｂＳ＝２であり、４×４方向分解変換プロセスを使用するべきである場合はｎＴｂＳ＝４である。

【0078】

・ 要素のタイルを復号するときに時間的タイル予測を使用するかどうかを指定するパラメータｔｅｍｐｏｒａｌ＿ｔｉｌｅ＿ｉｎｔｒａ＿ｓｉｇｎａｌｌｉｎｇ＿ｅｎａｂｌｅｄ。パラメータｔｅｍｐｏｒａｌ＿ｔｉｌｅ＿ｉｎｔｒａ＿ｓｉｇｎａｌｌｉｎｇ＿ｅｎａｂｌｅｄは、本明細書では、第３の値を有する第３のパラメータと呼ばれ得る。ｔｅｍｐｏｒａｌ＿ｔｉｌｅ＿ｉｎｔｒａ＿ｓｉｇｎａｌｌｉｎｇ＿ｅｎａｂｌｅｄパラメータの値は、１ビットのビット長を有し得る。この例では、ｔｅｍｐｏｒａｌ＿ｔｉｌｅ＿ｉｎｔｒａ＿ｓｉｇｎａｌｌｉｎｇ＿ｅｎａｂｌｅｄパラメータの値が１に等しい場合、タイル時間的予測プロセスが有効になる。ｔｅｍｐｏｒａｌ＿ｔｉｌｅ＿ｉｎｔｒａ＿ｓｉｇｎａｌｌｉｎｇ＿ｅｎａｂｌｅｄパラメータは、上述した符号化ストリームと関連付けられたピクチャのグループに対して１回受信されてもよい。ｔｅｍｐｏｒａｌ＿ｔｉｌｅ＿ｉｎｔｒａ＿ｓｉｇｎａｌｌｉｎｇ＿ｅｎａｂｌｅｄパラメータは、デコーダ、例えばヘッダ４３６にシグナリングされる時間的制御情報に含まれてもよい。このパラメータは、タイルに関連する時間的シグナリングが提供され得るかどうかを示してもよく、シグナリングは、以下に記載されるように係数値内（すなわち、「内部」またはデータ内）にカプセル化される。このパラメータが１に設定されている場合、タイル内の第１のブロックは、タイルに対する時間的更新信号を伝達してもよい（例えば、第１のブロック内の係数値を伝達してもよい）。

【0079】

・ 要素ＴｒａｎｓＣｏｅｆｆＱ［ｘ］［ｙ］を有するエントロピー復号された量子化された係数のブロックを含む、サイズ（ｎＴｂＳ）×（ｎＴｂＳ）のアレイＴｒａｎｓＣｏｅｆｆＱ。

【0080】

このプロセスの出力は、修正されたＴｒａｎｓＣｏｅｆｆＱ係数の（ｎＴｂＳ）×（ｎＴｂＳ）アレイ、および要素ｔｅｍｐＰｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］を有する（ｎＴｂＳ）×（ｎＴｂＳ）ｔｅｍｐＰｒｅｄＳａｍｐｌｅｓである。ｔｅｍｐＰｒｅｄＳａｍｐｌｅｓのアレイは、時間的バッファ４３２を使用して導出された時間的予測のセットを表す。

【0081】

この例では、以下の順序付けられたステップが適用される。
１．パラメータｔｅｍｐｏｒａｌ＿ｔｉｌｅ＿ｉｎｔｒａ＿ｓｉｇｎａｌｌｉｎｇ＿ｅｎａｂｌｅｄが１に等しい場合、要素のタイルを復号するときに、時間的タイル予測プロセスが使用される。時間的タイル予測プロセスでは、ｘＴｂＰ＞＞５が０に等しい場合、ｙＴｂＰ＞＞５は０に等しく（式中、「ｘ＞＞ｙ」は、ｘ×ｙの２進数の補数表現の算術右シフトである）、ＴｒａｎｓＣｏｅｆｆＱ［ｎＴｂｓ－１］［０］＆０ｘ１は１に等しく（式中、「＆」は、ビット単位の「ａｎｄ」演算子を表す）、タイル化された時間的更新プロセスは、位置（ｘＴｂＰ、ｙＴｂＰ）をその入力として呼び出される。右シフトは、連続したタイルの要素をスキップすることを可能にし、例えば、３２×３２のタイルは、２⁵の長さおよび幅を有し、この場合、ゼロに等しい５ビットのシフトは、現在の位置が３２の倍数であり、したがって、タイルの第１のブロックに関連することを示している。この場合、次いで、タイル内の第１のブロックは、タイルの時間的更新をシグナリングするために使用される。タイル化された時間的更新プロセスの出力は、位置（ｘＴｂＰ、ｙＴｂＰ）のタイルのｔｅｍｐｏｒａｌＢｕｆｆｅｒの内容がゼロに設定されていることである。この例では、ｔｅｍｐｏｒａｌＢｕｆｆｅｒは、時間的予測の値を導出することができる現在のフレームではない第２のフレームと関連付けられているデータを記憶する時間的バッファ４３２を表す。したがって、第２のフレームは、ストリーム内の先行または後続のフレームであってもよい。ＴｒａｎｓＣｏｅｆｆＱ［ｎＴｂＳ－１］［０］＆０ｘ１は、対応するブロックに対する時間的バッファ４３２から導出される時間的予測のセットの値が更新されるべきであるかどうかを示す値を有する現在の変換ブロックのパラメータである。この場合、パラメータは変換係数値内で「搬送」される。ビット値が１（例えば０．０×１）の「＆」（すなわち、論理的な「ａｎｄ」）演算は、任意の非ゼロ値を１の出力ビット値に単純に変換する（任意のゼロ値はゼロのままである）。一般に、ＴｒａｎｓＣｏｅｆｆＱ［ｎＴｂＳ－１］［０］＆０ｘ１パラメータは、時間的シグナリングを提供する第２の値を有する第２のパラメータとして本明細書において参照されてもよく、この場合、所与のタイルと関連付けられている時間的バッファ４３２内の値が更新されるべきであるかどうかを示している。この場合、パラメータはタイル更新を示すために使用され、以下の例では、ブロック更新を示すために使用される。更新は、対応するタイルまたはブロックの値をゼロに設定することを含み得る。この例では、ＴｒａｎｓＣｏｅｆｆＱ［ｎＴｂＳ－１］［０］＆０ｘ１パラメータの値は、１ビットのビット長を有し、１の値は、時間的バッファ４３２内の値が更新されるべきであることを示している。時間的タイル予測プロセスでは、時間的バッファ４３２のタイルに対して、タイル内のブロックに対するパラメータＴｒａｎｓＣｏｅｆｆＱ［ｎＴｂＳ－１］［０］＆０ｘ１を受信することに応答して、タイル化された時間的更新プロセスが実行される。言い換えると、デコーダは、タイル内の指定されたブロックのためのパラメータＴｒａｎｓＣｏｅｆｆＱ［ｎＴｂＳ－１］［０］＆０ｘ１（第２のパラメータ）を受信することに応答して、タイルに対する時間的バッファ４３２を更新するように構成されている。このように、タイルの更新は、タイル内の他のすべてのブロックに対して別々に更新をシグナリングする必要なしに、タイル内の単一のブロック内のパラメータによってシグナリングされ得る。したがって、この例では、デコーダは、以下のケース２において）、デコーダがブロックに対する時間的予測の値を更新するべきであることを示す第２の値を有する第２のパラメータ（ＴｒａｎｓＣｏｅｆｆＱ［ｎＴｂＳ－１］［０］＆０ｘ１）と、第２の値を有する指定されたブロックに対する第２のパラメータを受信することが、タイルと関連付けられている時間的バッファ４３２内の値が更新されるべきであることを示すことを示す第３の値を有する第３のパラメータ（ｔｅｍｐｏｒａｌ＿ｔｉｌｅ＿ｉｎｔｒａ＿ｓｉｇｎａｌｌｉｎｇ＿ｅｎａｂｌｅｄ）との両方を受信することに応答して、タイルの時間的予測の値を更新するように構成されている。パラメータＴｒａｎｓＣｏｅｆｆＱ［ｎＴｂＳ－１］［０］＆０ｘ１は、この時間的制御情報がエントロピー復号４５２の後に抽出され得るように、符号化された残存部分自体内で符号化されたデータを介してデコーダにシグナリングされ得る時間制御情報の例である。例えば、このパラメータ（第２のパラメータ）は、ブロックの係数のセットのうちの１つから取得されてもよい。

【0082】

２．時間的タイル予測プロセスが発生しない場合、ＴｒａｎｓＣｏｅｆｆＱ［ｎＴｂｓ－１］［０］＆０ｘ１が０に等しい場合、ｔｅｍｐＰｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝ｔｅｍｐｏｒａｌＢｕｆｆｅｒ［ｘＴｂＰ＋ｘ］［ｙＴｂＰ＋ｙ］で、ｘとｙが［０、ｎＴｂＳ－１］の範囲にある。それ以外の場合、ｔｅｍｐＰｒｅｄＳａｍｐｌｅ［ｘ］［ｙ］はすべて０に設定される。このようにして、各それぞれのブロックに対して、時間的バッファ４３２から導出されたそれぞれのブロックについての時間的予測の値は、それぞれのブロックに対する１つ以上の符号化ストリーム（この場合はＬ－２符号化ストリーム）からのデータから第２のパラメータ（ＴｒａｎｓＣｏｅｆｆＱ［ｎＴｂＳ－１］［０］＆０ｘ１パラメータ）を取得することに応答して更新される。それぞれのブロックの第２のパラメータが、それぞれのブロックに対する時間的シグナリングを提供する第２の値を有すると決定することに応答して、それぞれのブロックに対する時間係数の値が更新される。この場合、更新は、それぞれのブロックに対する時間的予測の値をゼロに設定することを伴う。この場合、各ブロックの時間的予測の値のセットの更新は、各ブロックについて個別に示される。それ以外の場合では、ＴｒａｎｓＣｏｅｆｆＱ［ｎＴｂＳ－１］［０］＆０ｘ１が０に等しい場合、時間的バッファ４３２は更新されず、それぞれのブロックに対する時間的予測のセットの値は、それぞれのブロックに対する時間的バッファ４３２から導出される。

【0083】

３．ＴｒａｎｓＣｏｅｆｆＱ［ｎＴｂｓ－１］［０］の値は、ＴｒａｎｓＣｏｅｆｆＱ［ｎＴｂｓ－１］［０］＞＞１に設定されている。ＴｒａｎｓＣｏｅｆｆＱ［ｎＴｂｓ－１］［０］のバイナリ値が０または１の場合、この演算は後続の演算（例えば、後の逆変換）の変換係数値を０に設定する。これは、シグナリングに使用される１の値がブロック内の画像アーチファクトに変換されないことを意味する（残存部分の０の値は変化しない）。

【0084】

サイズ（ｎＴｂＳ）×（ｎＴｂＳ）のアレイｔｅｍｐＰｒｅｄＳａｍｐｌｅｓは、（ｎＴｂＳ）×（ｎＴｂＳ）アレイｒｅｓＳａｍｐｌｅｓに追加され、ｒｅｓＳａｍｐｌｅｓアレイは、位置（ｘＴｂＰ、ｙＴｂＰ）でｔｅｍｐｏｒａｌＢｕｆｆｅｒに記憶される。この例では、ｒｅｓＳａｍｐｌｅｓは第２のセットの残存部分を表し、ｔｅｍｐＰｒｅｄＳａｍｐｌｅｓは時間的予測のセットを表し、上記のように、例えば、デコーダで受信された時間的シグナリングに依存して、時間的バッファ４３２の内容から導出され得る。このようにして、時間的処理が有効になり、これがブロックレベルで適用されるようにシグナリングされる場合、時間的バッファ４３２の内容は、第２のセットの残存部分に追加され（４６８）、時間的に修正された第２のセットの残存部分を生成し、次いで、時間的バッファ４３２に記憶される。

【0085】

本明細書の例では、時間的バッファから導出される時間的予測のセットは、時間的予測を実行するために、複数のブロックの各ブロックに対する残存部分のセットと組み合わされる。例えば、これは、ブロックのそれぞれの要素の予備残存部分のセットのそれぞれの予備残存部分要素を取得することと、要素と関連付けられているそれぞれの時間的予測を取得することと、を伴い、時間的予測は、特定の場合にゼロに設定されてもよく、または時間的バッファの内容から導出されてもよく、これは次に、デコーダで受信される特定の時間的シグナリングによってゼロにされてもよい。次いで、それぞれの予備残存部分要素は、ブロックの時間的予測と組み合わせて、下位レベル（例えば、レベル１および基本レベル）からのアップサンプリングされた再構成信号と組み合わせるための再構成残存部分値（例えば、レベル２の残存部分値）のセットを出力し得る。

【0086】

本明細書に記載の例では、デコーダ４００、４８０は、フレームレベル、タイルレベル、およびブロックレベルの３つのレベルでの時間的予測のセットの値のゼロ化を提供するように構成されている。例えば、上述のｔｅｍｐｏｒａｌ＿ｒｅｆｒｅｓｈ＿ｂｉｔは、フレームレベルでの時間的バッファ４３２の更新（例えば、時間的バッファ値のゼロ化）を指示するために使用されてもよく、例えば、完全なフレームに関連する時間的バッファ内のすべての値がゼロに設定される。次いで、これは、時間的予測値のゼロ化を提供してもよく、ここでこれらの値は、後に時間的バッファ４３２から導出される。ブロックレベルでは、時間的予測値が時間的バッファ４３２から導出されるべきか、またはゼロに設定されるべきかを示す時間的シグナリングは、変換係数値（例えば、逆変換の前の４×４変換についてのＨＨなどの係数の値）内で行われてもよい。タイルレベルでは、ｔｅｍｐｏｒａｌ＿ｔｉｌｅ＿ｉｎｔｒａ＿ｓｉｇｎａｌｌｉｎｇ＿ｅｎａｂｌｅｄなどのパラメータを使用して、タイル内の１つのブロックに対するブロックレベルシグナリングが、タイルに対する時間的バッファ４３２の更新を指示するために使用されるべきであることを示してもよく、すなわち、タイル内の１つのブロックに対するブロックレベルシグナリングがタイルレベルシグナリングになる。時間的バッファ４３２が更新されると、時間的バッファ内の値が０に設定され、次いで、同じタイル内の後続のブロックについて、ブロックレベルシグナリングに関係なく、時間的バッファから適用される値がゼロになることを意味する。

【0087】

このアプローチは、時間的バッファ４３２の更新に対する柔軟性を提供する。例えば、時間的バッファ４３２は、第１のフレームのフレームレベルで、および第２のフレームの少なくとも１つのタイルのタイルレベルで更新されてもよく、時間的予測は、第３のフレームの少なくとも１つのブロックのブロックレベルでゼロ化されてもよい。ブロックレベルでは、時間的予測のゼロ化は、時間的バッファ４３２をゼロ化することと同等の動作と見なすことができ、両方の動作は、０の値を有する要素が加算４６８で適用されることをもたらす。例えば、デコーダ４００、４８０は、フレームの第１のタイルに対する時間的バッファ４３２の値を更新し、同じフレームの第２のタイルの第１のブロックに対する時間的予測に対してゼロを適用する一方で、第２のタイルの第２のブロックに対する時間的予測の非ゼロ値を適用するように構成されてもよい。

【0088】

本明細書に記載される復号プロセスでは、復号ビデオを生成することは、ブロックごとに実行されてもよい。このようにして、復号ビデオのフレーム内の要素のブロックを生成することは、以前に生成された復号ビデオの同じフレーム内の要素の別のブロックを使用することなく実行することができる。このため、時間的予測プロセスは、フレーム内の要素の各ブロックに対する時間的予測プロセスを順次実行するのとは対照的に、フレーム内の要素のすべてのブロックに対して並行して実行されてもよい。

【0089】

さらなる実施例を以下に記載する。

【0090】

いくつかのさらなる例は、符号化ストリームが組み合わされて入力ビデオを再構成することができるように、入力ビデオを複数の符号化ストリームに符号化する方法に関し、この方法は、フル解像度の入力ビデオを受信することと、フル解像度の入力ビデオをダウンサンプリングして、ダウンサンプリングビデオを作成することと、第１のコーデックを使用してダウンサンプリングビデオを符号化して、基本符号化ストリームを作成することと、符号化ビデオからビデオを再構成して、再構成ビデオを生成することと、再構成ビデオを入力ビデオと比較することと、比較に基づいて１つ以上のさらなる符号化ストリームを作成することと、を含む。再構成ビデオと比較した入力ビデオは、ダウンサンプリングビデオであってもよい。

【0091】

例示的な方法によれば、再構成ビデオを入力ビデオと比較することは、再構成ビデオをダウンサンプリングビデオと比較して、第１のセットの残存部分を作成することを含み、１つ以上のさらなる符号化ストリームを作成することは、第１のセットの残存部分を符号化して、第１のレベルの符号化ストリームを作成することを含む。

【0092】

再構成ビデオと比較した入力ビデオは、フル解像度の入力ビデオであってもよく、再構成ビデオはアップサンプリングされてもよい。

【0093】

例示的な方法によれば、再構成ビデオを入力ビデオと比較することは、再構成ビデオをアップサンプリングして、アップサンプリング再構成ビデオを生成することと、アップサンプリング再構成ビデオをフル解像度の入力ビデオと比較して、第２のセットの残存部分を作成することと、を含み、１つ以上のさらなる符号化ストリームを作成することは、第２の差を符号化して第２のレベルの符号化ストリームを作成することと、を含む。

【0094】

したがって、ある例では、方法は、上に定義された例示的方法に従って、基本符号化ストリーム、第１のレベルの符号化ストリーム、および第２のレベルの符号化ストリームを生成することができる。第１のレベルの符号化ストリームおよび第２のレベルの符号化ストリームの各々は、符号化基本ストリームを強化するためにデコーダによって使用される拡張データを含み得る。

【0095】

例示的な方法によれば、第１のセットの残存部分を符号化するステップは、残存部分のセットに変換を適用して、係数のセットを作成することと、係数に量子化演算を適用して、量子化された係数のセットを作成することと、符号化動作を量子化された係数に適用することと、を含む。

【0096】

例示的な方法によれば、第２のセットの残存部分を符号化するステップは、第２のセットの残存部分に変換を適用して、係数のセットを作成することと、係数に量子化演算を適用して、量子化された係数のセットを作成することと、符号化演算を量子化された係数に適用することと、を含む。

【0097】

第１および／または第２のセットの残存部分を符号化するための変換は、例えば、離散コサイン変換またはウェーブレット変換であり得る。代替の例では、変換は、要素のブロックを方向性成分に分解する（例えば、２×２カーネルまたは４×４カーネルを使用する）小さな変換であってもよい。例えば、２×２カーネルは、ハダマード変換であってもよい。変換の詳細は、例えば、参照により本明細書に組み込まれるＰＣＴ／ＥＰ２０１３／０５９８４７またはＰＣＴ／ＧＢ２０１７／０５２６３２に見出すことができる。さらなる例では、エンコーダは、使用される異なる変換の間、例えば、２×２カーネルと４×４カーネルとの間で選択されてもよい。これにより、残存部分の符号化方式のさらなる柔軟性が可能になる。変換の選択は、変換されるデータの分析に基づいていてもよい。

【0098】

第１のセットの残存部分および第２のセットの残存部分は、それらに適用される異なる変換を有してもよく、選択は、プロセス中に予め決定されるか、または選択されてもよい。使用される変換は、ヘッダ内でシグナリングされてもよい。

【0099】

第１および／または第２のセットの残存部分を符号化するための量子化は、例えば、線形量子化であってもよい。線形量子化器は、可変サイズのデッドゾーンを使用してもよい。符号化動作は、例えばエントロピーエンコーダであってもよく、実行長符号化および／またはハフマン符号化を含んでもよい。

【0100】

残存部分は、２つのビデオまたはフレームの差であってもよい。

【0101】

第１のセットの残存部分を符号化するステップは、第１のセットの残存部分の事前分析に基づいて第１のセットの残存部分をランク付けすることと、変換および符号化される残存部分のサブセットを選択することと、を含み得る。

【0102】

ある例では、方法は、第１のセットの残存部分を分析することと、分析に基づいて、以下のステップを実行すること、または実行しないことのいずれかを含む。第１のセットの残存部分をランク付けすることと、変換および符号化される残存部分のサブセットを選択すること。

【0103】

ある例では、方法は、第１のセットの残存部分を分析することと、第１のセットの残存部分をランク付けすることと、変換および符号化される残存部分のサブセットを選択することとを含み、その結果、ランク付けおよび／または選択するステップは、分析に基づいて差別的に実行される。

【0104】

例示的な方法によれば、変換を適用するステップは、第１のセットの残存部分の残存部分の選択されたサブセットに対して実行される。

【0105】

第２のセットの残存部分を符号化するステップは、第２のセットの残存部分の事前分析に基づいて第２のセットの残存部分をランク付けすることと、変換および符号化される残存部分のサブセットを選択することと、を含み得る。

【0106】

ある例では、方法は、第２のセットの残存部分を分析することと、分析に基づいて、以下のステップを実行すること、または実行しないことのいずれかを含む。第２のセットの残存部分をランク付けすること、および／または変換および符号化される残存部分のサブセットを選択すること。

【0107】

ある例では、方法は、第２のセットの残存部分を分析することと、第２のセットの残存部分をランク付けすることと、変換および符号化される残存部分のサブセットを選択することとを含み、その結果、ランク付けおよび／または選択するステップは、分析に基づいて差別的に実行される。

【0108】

例示的な方法によれば、変換を適用するステップは、第２のセットの残存部分の残存部分の選択されたサブセットに対して実行される。

【0109】

符号化ストリームは、復号を容易にするために符号化プロセスの態様を示すパラメータを含む１つ以上のヘッダを伴ってもよい。例えば、ヘッダは、使用されるコーデック、適用される変換、適用される量子化、および／または他の復号パラメータを含み得る。

【0110】

特定の例では、量子化のステップは、変換される係数および／またはデータ、例えば残存部分データの分析に基づいて量子化を適合させることを含み得る。特定の例では、量子化ステップで使用される分布は、適合されてもよい。

【0111】

第１のセットの残存部分を符号化するステップは、時間的バッファから時間的係数のセットを導出することと、係数のセットから時間的係数のセットを減算することと、を含み得る。

【0112】

第２のセットの残存部分を符号化するステップは、時間的バッファから時間的係数のセットを導出することと、係数のセットから時間的係数のセットを減算することと、を含み得る。

【0113】

ランク付けおよび選択のステップが残存部分データに適用され得る方法、時間的係数を減算するステップが実行され得る方法、および量子化が適応され得る方法が上述された。これらのステップの各々は、入力ビデオ、ダウンサンプリングビデオ、再構成ビデオ、アップサンプリングビデオ、または上記の任意の組み合わせの分析に基づいて、エンコーダの全体的なパフォーマンスを改善するために、予め決定され、選択的に適用されてもよく、または適用されてもよい。ステップは、所定の規則のセットに基づいて選択的に適用されてもよく、またはパフォーマンスの分析またはフィードバックに基づいて決定的に適用されてもよい。

【0114】

ある例の方法によれば、第１のコーデックは、ハードウェアベースのコーデックであり、好ましくは、第１のコーデックは、ＡＶＣ、ＨＥＶＣ、ＡＶ１、ＶＰ８、またはＶＰ９である。

【0115】

例示的な方法は、基本符号化ストリームを送信することをさらに含む。

【0116】

例示的な方法は、第１のレベルの符号化ストリームを送信することをさらに含む。

【0117】

例示的な方法は、第２のレベルの符号化ストリームを送信することをさらに含む。

【0118】

いくつかのさらなる例は、複数の符号化ストリームを再構成された出力ビデオに復号する方法であって、第１の基本符号化ストリームを受信することと、第１のコーデックに従って第１の基本符号化ストリームを復号して、第１の出力ビデオを生成することと、１つ以上のさらなる符号化ストリームを受信することと、１つ以上のさらなる符号化ストリームを復号して、残存部分のセットを生成することと、残存部分のセットを第１のビデオと組み合わせて、復号ビデオを生成することと、を含む、方法に関する。

【0119】

ある例では、方法は、ヘッダから複数の復号パラメータを取り出すことを含む。復号パラメータは、どの手順ステップが符号化プロセスに含まれたかを示し得る。

【0120】

ある例では、１つ以上のさらなる符号化ストリームを復号して、残存部分のセットを生成するステップは、エントロピー復号動作を適用するステップと、脱量子化動作を適用するステップと、逆変換動作を適用して、残存部分のセットを生成するステップと、を含む。

【0121】

ある例では、１つ以上のさらなる符号化ストリームを復号して、残存部分のセットを生成するステップは、時間的バッファからの同じ位置にある残存部分に基づいて残存部分のサブセットを予測することを含む。

【0122】

ある例では、方法は、第１のレベルの符号化ストリームを受信することと、第２のレベルの符号化ストリームを受信することと、を含み得る。この例では、１つ以上のさらなる符号化ストリームを復号して、残存部分のセットを生成するステップは、第１のレベルの符号化ストリームを復号して、第１のセットの残存部分を導出するステップと、残存部分のセットを第１のビデオと組み合わせて、復号ビデオを生成するステップと、第１のセットの残存部分を第１の出力ビデオと組み合わせて、第２の出力ビデオを生成するステップと、第２の出力ビデオをアップサンプリングしてアップサンプリングした第２の出力ビデオを生成するステップと、第２のレベルの符号化ストリームを復号して、第２のセットの残存部分を導出するステップと、第２のセットの残存部分を第２の出力ビデオと組み合わせて、再構成された出力ビデオを生成するステップと、を含む。

【0123】

ある例では、第２の出力ビデオをアップサンプリングして、アップサンプリングされた第２の出力ビデオを生成するステップは、アップサンプリングされた第２の出力ビデオ内のブロックがアップサンプリングされた第２の出力ビデオ内の対応するブロックに導出された第１のセットの残存部分内の要素の値を追加することを含む。ブロックは、２×２ブロックであってもよい。この追加ステップは、所定の値またはヘッダに含まれる信号に基づいて選択的に実行されてもよい。

【0124】

ある例では、第１のレベルの符号化ストリームを復号して、第１のセットの残存部分を導出するステップは、エントロピー復号動作を適用することと、脱量子化動作を適用することと、逆変換動作を適用して、第１のセットの残存部分を生成することと、を含む。

【0125】

この例では、第１のレベルの符号化ストリームを復号して、第１のセットの残存部分を導出するステップは、残存部分のブロックにマスクを適用するように構成されたブロック解除フィルタを適用することを含む。マスクは、所定の重みのセットに従って重み付けされてもよい。

【0126】

ある例では、第２のレベルの符号化ストリームを復号して、第２のセットの残存部分を導出するステップは、エントロピー復号動作を適用することと、脱量子化動作を適用することと、逆変換動作を適用して、第２のセットの残存部分を生成することと、を含む。

【0127】

逆変換動作は、上で定義された動作の逆動作であってもよく、または実質的に鏡像化された動作であってもよい。すなわち、２×２ブロックまたは４×４ブロック変換が選択的に適用されてもよい。変換は、復号方法によって検出されてもよく、またはヘッダ内でシグナリングされてもよい。

【0128】

２×２変換が使用される場合、係数は、変換された残存部分のブロックが予測される、残存部分の値を追加することによって修正され得る。４×４変換を使用する場合、係数は４つの残存部分の平均値を追加することによって修正されることになる。

【0129】

方法は、再構成出力を表示または出力することをさらに含み得る。

【0130】

ある例では、複数の符号化ストリームを再構成された出力ビデオに復号する方法は、符号化拡張ストリームを受信することと、符号化拡張ストリームを復号して、残存部分のセットを導出することと、復号拡張ストリームから残存部分の予備セットのセットを取得することと、時間的バッファを使用して時間的予測のセットを導出することと、時間的予測のセットを予備残存部分のセットに追加して、処理された残存部分のセット（例えば、レベル２の残存部分）を出力することと、を含む。この例では、複数の符号化ストリームを再構成された出力ビデオに復号する方法はまた、第１の出力ビデオを受信することであって、第１の出力ビデオが基本レベルの符号化ストリームに適用される基本デコーダの出力を含む、受信することと、より低いレベルに関連するさらなる符号化拡張ストリームを受信することと、さらなる符号化拡張ストリームを復号して、さらなる残存部分のセットを導出し、さらなる残存部分のセットを第１の出力ビデオと組み合わせて、第２の出力ビデオを生成することと、第２の出力ビデオをアップサンプリングして、アップサンプリングされた第２の出力ビデオを生成することと、処理された残存部分のセットをアップサンプリングされた第２の出力ビデオと組み合わせて、再構成された出力ビデオを生成することと、を含む。

【0131】

ある例では、符号化拡張ストリームを復号して、予備残存部分のセットを導出することは、エントロピー復号動作を適用することと、脱量子化動作を適用することと、変換動作を適用して、予備残存部分のセットを生成することと、を含む。

【0132】

ある例では、さらなる符号化拡張ストリームを復号して、さらなる残存部分のセットを導出することは、さらなる符号化拡張ストリームからさらなる予備残存部分のセットを取得することと、第２の時間的バッファを使用してさらなる時間的予測のセットを導出することと、さらなる予備残存部分のセットにさらなる時間的予測のセットを追加して、さらなる（レベル１）残存部分のセットを出力することと、を含む。

【0133】

ある例では、さらなる符号化拡張ストリーム（すなわち、レベル１ストリーム）を復号して、さらなる残存部分のセット（すなわち、レベル１残存部分）を導出することは、エントロピー復号動作を適用することと、脱量子化動作を適用することと、変換動作を適用して、さらなる残存部分のセットを生成することと、を含む。これらの実施例に記載されているような時間的処理は、本明細書に記載されている拡張レベルの各々に同様にかつ選択的に適用されてもよい。

【0134】

本明細書に記載される特定の例は、１つ以上の符号化ストリームと関連付けられている時間的処理に関する。デコーダは、時間的バッファを使用して時間処理を適用するように構成されてもよい。

【0135】

デコーダは、複数の符号化ストリームを再構成された出力ビデオに復号するように構成されてもよい。デコーダは、第１の出力ビデオを受信するように構成されてもよく、第１の出力ビデオは、基本レベルの符号化ストリームに適用される基本デコーダの出力を含む。デコーダは、１つ以上のさらなる符号化ストリームを受信するように構成され得る。デコーダは、１つ以上のさらなる符号化ストリームのそれぞれのフレームを復号して、それぞれの残存部分のセットを導出するように構成され得る。

【0136】

いくつかの例では、それぞれのフレームの各フレームは、複数のタイルに分割され得る。各タイルは、複数のブロックに分割され得る。

【0137】

他の場合には、それぞれのフレームの各フレームは、複数の平面に分割され得る。各面は、複数のタイルに分割され得る。複数のタイルの各タイルは、複数のブロックに分割され得る。

【0138】

デコーダはまた、残存部分のセットを第１の出力ビデオと組み合わせて、再構成された出力ビデオを生成するように構成され得る。それぞれのフレームを復号するために、デコーダは、複数のブロックの各ブロックに対して、１つ以上のさらなる符号化ストリームから残存部分の予備セットを取得するように構成され得る。それぞれのフレームを復号するために、デコーダは、時間的バッファを使用して時間的予測のセットを導出するように構成され得る。それぞれのフレームを復号するために、デコーダは、時間的予測のセットを残存部分の予備セットと組み合わせて、第１の出力ビデオとの組み合わせのためのデータを出力するように構成され得る。

【0139】

デコーダは、時間的予測のセットの値を選択的にゼロ化するために提供するように構成されてもよい。デコーダは、それぞれのフレームのうちの少なくとも１つについて、フレームレベルでの時間的予測のセットの値のゼロ化を提供するように構成され得る。デコーダは、複数のタイルのうちの少なくとも１つに対して、タイルレベルで時間的予測のセットの値のゼロ化を提供するように構成され得る。デコーダは、複数のブロックのうちの少なくとも１つに対して、ブロックレベルで値のゼロ化を提供するように構成され得る。

【0140】

デコーダは、複数のブロックのそれぞれの残存部分要素を取得するように構成され得る。デコーダは、それぞれの残存部分要素の各々に対する時間的バッファから時間的予測のセットのそれぞれの時間的予測を導出するように構成され得る。

【0141】

デコーダは、時間的バッファの少なくとも一部分を更新することによって時間的予測のセットの値をゼロ化するように構成され得る。いくつかのさらなる例は、データセットを、ヘッダおよびペイロードを含む符号化データセットに符号化するための装置に関する。以上のステップに従って、入力ビデオを符号化するように構成された装置。装置は、上記態様のいずれか１つに記載の方法を実行するように構成されたプロセッサを備え得る。

【0142】

いくつかのさらなる例は、データセットを、ヘッダおよびペイロードを含むデータセットからの再構成ビデオに復号するための装置に関する。以上のステップに従って、出力ビデオを復号するように構成された装置。装置は、上記態様のいずれか１つに記載の方法を実行するように構成されたプロセッサを備え得る。

【0143】

エンコーダおよびデコーダもまた提供され得る。

【0144】

いくつかのさらなる例は、プロセッサによって実行されたときに、プロセッサに上記の態様の方法のいずれか１つを実行させるコンピュータ可読媒体に関する。

【0145】

上記の実施形態は、例示的な例として理解されるべきである。さらなる実施形態が想定される。任意の１つの実施形態に関連して記載される任意の特徴が、単独で、または記載される他の特徴と組み合わせて使用され得、また、実施形態の任意の他の１つ以上の特徴、または実施形態の任意の他の任意の組み合わせと組み合わせて使用され得ることを理解されたい。さらに、上記に記載されていない等価物および修正は、添付の特許請求の範囲の範囲内で用いられ得る。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】