知財求人 - 知財ポータルサイト「IP Force」
▶ インターデジタル シーイー パテント ホールディングスの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-21
(54)【発明の名称】ビデオを符号化／復号するための方法及び装置
(51)【国際特許分類】
H04N 19/117 20140101AFI20240214BHJP
H04N 19/157 20140101ALI20240214BHJP
H04N 19/172 20140101ALI20240214BHJP
H04N 19/176 20140101ALI20240214BHJP
H04N 19/80 20140101ALI20240214BHJP
H04N 19/59 20140101ALI20240214BHJP
【ＦＩ】
H04N19/117
H04N19/157
H04N19/172
H04N19/176
H04N19/80
H04N19/59
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023548963
(86)(22)【出願日】2022-02-22
(85)【翻訳文提出日】2023-08-28
(86)【国際出願番号】 EP2022054392
(87)【国際公開番号】W WO2022180031
(87)【国際公開日】2022-09-01
(31)【優先権主張番号】21305227.7
(32)【優先日】2021-02-25
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】21305578.3
(32)【優先日】2021-05-05
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
２．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】518341334
【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】ボルデ，フィリップ
(72)【発明者】
【氏名】ギャルピン，フランク
(72)【発明者】
【氏名】ナセル，カラム
(72)【発明者】
【氏名】チェン，ヤ
(72)【発明者】
【氏名】デュマ，ティエリー
(72)【発明者】
【氏名】ロバート，アントワーヌ
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LA00
5C159MA05
5C159RC11
5C159TA68
5C159TB04
5C159TB08
5C159TC10
5C159TC31
5C159UA02
5C159UA04
5C159UA33
(57)【要約】
第２のピクチャの少なくとも一部分から、第１のピクチャの少なくとも一部分を再構成するための方法が提供され、当該第１のピクチャ及び当該第２のピクチャは異なるサイズを有する。再構成することは、ビットストリームから当該第２のピクチャを復号することと、復号された第２のピクチャの当該少なくとも一部分の少なくとも１つの第２のサンプルに適用される少なくとも１つのリサンプリングフィルタを使用して、第１のピクチャの当該少なくとも一部分の少なくとも１つの第１のサンプルを判定することと、を含む。第１のピクチャの少なくとも一部分を再構成するための対応する装置が提供される。ビデオを符号化／復号するための方法、及び対応する装置が提供され、これらは、第２のピクチャの少なくとも一部分から、第１のピクチャの少なくとも一部分を再構成することを含み、当該第１のピクチャ及び当該第２のピクチャは異なるサイズを有する。
【選択図】 図６
【選択図】 図６
【特許請求の範囲】
【請求項1】
方法であって、－第１のピクチャを復号することと、
－少なくとも１つのリサンプリングフィルタを使用して、第２のピクチャの少なくとも一部分を再構成するために前記第１のピクチャの少なくとも一部分をリサンプリングすることと、を含み、前記リサンプリングフィルタは、前記第２のピクチャの前記少なくとも一部分の第１のサンプルの位相に応答して選択され、前記第１のサンプルの前記位相は、前記第１のピクチャの前記少なくとも一部分における前記第１のサンプルのサブピクセル位置である、方法。
【請求項2】
前記第２のピクチャの再構成された前記少なくとも一部分をディスプレイに送信することを更に含む、請求項１に記載の方法。
【請求項3】
前記リサンプリングフィルタが、前記第１のピクチャの分類に基づいて選択される、請求項１又は２に記載の方法。
【請求項4】
－前記第２のピクチャの再構成された前記少なくとも一部分を、参照ピクチャを記憶する復号されたピクチャバッファに記憶することを更に含む、請求項１～３のいずれか一項に記載の方法。
【請求項5】
第３のピクチャを符号化することを更に含み、前記符号化することが、－前記第２のピクチャの再構成された前記少なくとも一部分を使用して、前記第３のピクチャの少なくとも１つのブロックについての予測を判定することと、
－前記予測を使用して、前記第３のピクチャの前記少なくとも１つのブロックをコーディングすることと、を含む、請求項４に記載の方法。
【請求項6】
第３のピクチャを復号することを更に含み、前記復号することが、－前記第２のピクチャの再構成された前記少なくとも一部分を使用して、前記第３のピクチャの少なくとも１つのブロックについての予測を判定することと、
－前記予測を使用して、前記第３のピクチャの前記少なくとも１つのブロックを復号することと、を含む、請求項４に記載の方法。
【請求項7】
ビットストリームから前記リサンプリングフィルタの係数を復号することを含む、請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記リサンプリングフィルタが、非分離可能なフィルタである、請求項１～７のいずれか一項に記載の方法。
【請求項9】
－復号された前記第１のピクチャの前記少なくとも一部分のサンプルを分類することと、－復号された前記第１のピクチャの前記少なくとも一部分における少なくとも１つの隣接サンプルに関連付けられた少なくとも１つのクラスインデックスから、前記第２のピクチャの前記少なくとも一部分の少なくとも１つの第１のサンプルについてクラスインデックスを判定することと、
－前記少なくとも１つの第１のサンプルに関連付けられた、判定された前記クラスインデックスに応答して前記リサンプリングフィルタを選択することと、を更に含む、請求項１～８のいずれか一項に記載の方法。
【請求項10】
異なるリサンプリングフィルタが各クラスに関連付けられる、請求項９に記載の方法。
【請求項11】
前記リサンプリングフィルタが、前記第２のピクチャの前記少なくとも一部分と、復号された前記第１のピクチャから取得された前記第２のピクチャの再構成された前記少なくとも一部分との間で判定されるレート歪みコストに基づいて判定される、請求項１～１０のいずれか一項に記載の方法。
【請求項12】
装置であって、１つ以上のプロセッサを備え、前記１つ以上のプロセッサが、第２のピクチャの少なくとも一部分から、第１のピクチャの少なくとも一部分を再構成するように構成されており、前記第１のピクチャ及び前記第２のピクチャは異なるサイズを有し、前記再構成することが、－ビットストリームから前記第２のピクチャを復号することと、
－復号された前記第２のピクチャの前記少なくとも一部分の少なくとも１つの第２のサンプルに適用される少なくとも１つのリサンプリングフィルタを使用して、前記第１のピクチャの前記少なくとも一部分の少なくとも１つの第１のサンプルを判定することと、を含む、装置。
【請求項13】
前記１つ以上のプロセッサが、前記第１のピクチャの再構成された前記少なくとも一部分をディスプレイに送信するように更に構成されている、請求項１２に記載の装置。
【請求項14】
装置であって、１つ以上のプロセッサを備え、前記１つ以上のプロセッサが、ビデオのピクチャを符号化するように構成されており、前記符号化することが、－ビットストリームにおいて、第２のピクチャであって、前記第２のピクチャが、第１のピクチャからダウンスケールされたピクチャである、第２のピクチャを符号化することと、
－前記ビットストリームにおいて、第３のピクチャであって、前記第３のピクチャが、前記第１のピクチャと同じサイズを有する、第３のピクチャを符号化することと、を含み、前記第３のピクチャを符号化することが、
－前記第１のピクチャの少なくとも一部分を、復号後に前記第２のピクチャの少なくとも一部分をアップサンプリングすることであって、前記アップサンプリングが、復号された前記第２のピクチャの前記少なくとも一部分の少なくとも１つの第２のサンプルに適用される少なくとも１つのリサンプリングフィルタを使用して、前記第１のピクチャの前記少なくとも一部分の少なくとも１つの第１のサンプルを判定することを含む、アップサンプリングすることによって、再構成することと、
－前記第１のピクチャの再構成された前記少なくとも一部分を、前記第３のピクチャをコーディングするための参照ピクチャを記憶する復号されたピクチャバッファに記憶することと、を含む、装置。
【請求項15】
前記第３のピクチャを符号化することが、－前記第１のピクチャの再構成された前記少なくとも一部分を使用して、前記第３のピクチャの少なくとも１つのブロックについての予測を判定することと、
－前記予測を使用して、前記第３のピクチャの前記少なくとも１つのブロックをコーディングすることと、を更に含む、請求項１４に記載の装置。
【請求項16】
装置であって、１つ以上のプロセッサを備え、前記１つ以上のプロセッサが、ビットストリームからのビデオを復号するように構成されており、前記復号することが、－前記ビットストリームから第２のピクチャであって、前記第２のピクチャが、第１のピクチャからダウンスケールされたピクチャである、第２のピクチャを復号することと、
－前記ビットストリームから第３のピクチャであって、前記第３のピクチャが、前記第１のピクチャと同じサイズを有する、第３のピクチャを復号することと、を含み、前記第３のピクチャを復号することが、
－前記第１のピクチャの少なくとも一部分を、復号された前記第２のピクチャの少なくとも一部分をアップサンプリングすることであって、前記アップサンプリングが、復号された前記第２のピクチャの前記少なくとも一部分の少なくとも１つの第２のサンプルに適用される少なくとも１つのリサンプリングフィルタを使用して、前記第１のピクチャの前記少なくとも一部分の少なくとも１つの第１のサンプルを判定することを含む、アップサンプリングすることによって再構成することと、
－前記第１のピクチャの再構成された前記少なくとも一部分を、前記第３のピクチャを復号するための参照ピクチャを記憶する復号されたピクチャバッファに記憶することと、を含む、装置。
【請求項17】
前記第３のピクチャを復号することが、－前記第１のピクチャの再構成された前記少なくとも一部分を使用して、前記第３のピクチャの少なくとも１つのブロックについての予測を判定することと、
－前記予測を使用して、前記第３のピクチャの前記少なくとも１つのブロックを復号することと、を更に含む、請求項１６に記載の装置。
【請求項18】
前記１つ以上のプロセッサが、前記ビットストリームから前記リサンプリングフィルタの係数を復号するように更に構成されている、請求項１２～１７のいずれか一項に記載の装置。
【請求項19】
前記リサンプリングフィルタが、非分離可能なフィルタである、請求項１２～１８のいずれか一項に記載の装置。
【請求項20】
前記１つ以上のプロセッサが、－復号された前記第２のピクチャの前記少なくとも一部分のサンプルを分類し、
－復号された前記第２のピクチャの前記少なくとも一部分における少なくとも１つの隣接サンプルに関連付けられた少なくとも１つのクラスインデックスから、前記第１のピクチャの前記少なくとも一部分の前記少なくとも１つの第１のサンプルについてクラスインデックスを判定し、
－前記少なくとも１つの第１のサンプルに関連付けられた判定された前記クラスインデックスに応答して前記リサンプリングフィルタを選択するように更に構成されている、請求項１２～１９のいずれか一項に記載の装置。
【請求項21】
異なるリサンプリングフィルタが、各クラスに関連付けられている、請求項２０に記載の装置。
【請求項22】
前記リサンプリングフィルタを選択することが、アップサンプリングする前記第１のピクチャの前記少なくとも一部分の第１のサンプルの位相に応答し、前記第１のサンプルの前記位相が、前記第２のピクチャの前記少なくとも一部分における前記第１のサンプルのサブピクセル位置である、請求項１２～２１のいずれか一項に記載の装置。
【請求項23】
前記リサンプリングフィルタが、前記第１のピクチャの前記少なくとも一部分と、復号された前記第２のピクチャから取得された前記第１のピクチャの再構成された前記少なくとも一部分との間で判定されるレート歪みコストに基づいて判定される、請求項１４若しくは１５又は１８～２２のいずれか一項に記載の装置。
【請求項24】
請求項３又は４、７～１２のいずれか一項に記載の方法を実行することによって形成される、ビットストリームを含む、信号。
【請求項25】
請求項２４に記載のビットストリームを含むコンピュータ可読媒体。
【請求項26】
１つ以上のプロセッサに、請求項１～１２のいずれか一項に記載の方法を実行させるための命令を記憶しているコンピュータ可読記憶媒体。
【請求項27】
命令を含むコンピュータプログラム製品であって、前記命令は、前記プログラムが１つ以上のプロセッサによって実行されるときに、前記１つ以上のプロセッサに、請求項１～１２のいずれか一項に記載の方法を行わせる、コンピュータプログラム製品。
【請求項28】
デバイスであって、－請求項１２～２３のいずれか一項に記載の装置と、
－（ｉ）ビデオを表すデータを含む信号を受信するように構成されたアンテナ、（ｉｉ）受信された前記信号を、ビデオを表す前記データを含む周波数帯域に制限するように構成された帯域制限器、又は（ｉｉｉ）少なくとも１つの第１の画像の少なくとも一部分を表示するように構成されたディスプレイ、のうちの少なくとも１つと、を備える、デバイス。
【請求項29】
ＴＶ、携帯電話、タブレット又はセットトップボックスを含む、請求項２８に記載のデバイス。
【請求項30】
装置であって、ｏ請求項２４に記載の信号を含むデータにアクセスするように構成されたアクセスユニットと、
ｏアクセスされた前記データを送信するように構成された送信機と、を備える、装置。
【請求項31】
請求項２４に記載の信号を含むデータにアクセスすることと、アクセスされた前記データを送信することと、を含む方法。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態は、概して、ビデオの符号化又は復号のための方法及び装置に関する。いくつかの実施形態は、元のピクチャ及び再構成されたピクチャが符号化のために動的にリスケーリングされる、ビデオの符号化又は復号のための方法及び装置に関する。
【背景技術】
【0002】
高い圧縮効率を実現するために、画像及びビデオのコーディング方式は、通常、ビデオコンテンツ内の空間冗長性及び時間冗長性を活用するために予測及び変換を採用している。概して、イントラピクチャ又はインターピクチャ相関を利用するために、イントラ予測又はインター予測が使用され、次いで、予測誤差又は予測残差と呼ばれることが多い、原ブロックと予測ブロックとの間の差が、変換、量子化、及びエントロピコーディングされる。ビデオを再構成するには、エントロピコーディング、量子化、変換、及び予測に対応する逆プロセスによって、圧縮データを復号する。
【発明の概要】
【0003】
一実施形態によれば、第２のピクチャの少なくとも一部分から第１のピクチャの少なくとも一部分を再構成する方法であって、当該第１のピクチャ及び当該第２のピクチャが異なるサイズを有し、当該再構成することが、ビットストリームから当該第２のピクチャを復号することと、復号された第２のピクチャの当該少なくとも一部分の少なくとも１つの第２のサンプルに適用される少なくとも１つのリサンプリングフィルタを使用して、第１のピクチャの当該少なくとも一部分の少なくとも１つの第１のサンプルを判定することと、を含む、方法が提供される。
【0004】
別の実施形態によれば、第２のピクチャの少なくとも一部分から第１のピクチャの少なくとも一部分を再構成するための装置であって、１つ以上のプロセッサを備え、１つ以上のプロセッサが、ビットストリームから当該第２のピクチャを復号することと、復号された第２のピクチャの当該少なくとも一部分の少なくとも１つの第２のサンプルに適用される少なくとも１つのリサンプリングフィルタを使用して、第１のピクチャの当該少なくとも一部分の少なくとも１つの第１のサンプルを判定することと、を行うように構成され、当該第１のピクチャ及び当該第２のピクチャが異なるサイズを有する、装置が提供される。
【0005】
別の実施形態によれば、ビデオ符号化の方法が提供され、本方法は、ビットストリームにおいて第２のピクチャであって、当該第２のピクチャが、第１のピクチャからダウンスケーリングされたピクチャである、第２のピクチャを符号化することと、ビットストリームにおいて第３のピクチャであって、第３のピクチャが、第１のピクチャと同じサイズを有する、第３のピクチャを符号化することと、を含み、第３のピクチャを符号化することは、第１のピクチャの少なくとも一部分を、復号後に第２のピクチャの少なくとも一部分をアップサンプリングすることによって再構成することを含み、当該アップサンプリングは、復号された第２のピクチャの当該少なくとも一部分の少なくとも１つの第２のサンプルに適用される少なくとも１つのアップサンプリングフィルタを使用して、第１のピクチャの当該少なくとも一部分の少なくとも１つの第１のサンプルを判定することを含む。
【0006】
別の実施形態によれば、ビデオ符号化のための装置が提供され、本装置は、１つ以上のプロセッサを備え、当該１つ以上のプロセッサは、ビットストリームにおいて第２のピクチャあって、当該第２のピクチャが、第１のピクチャからダウンスケーリングされたピクチャである、第２のピクチャを符号化することと、ビットストリームにおいて第３のピクチャであって、第３のピクチャが、第１のピクチャと同じサイズを有する、第３のピクチャを符号化するように構成されており、第３のピクチャを符号化することは、第１のピクチャの少なくとも一部分を、復号後に第２のピクチャの少なくとも一部分をアップサンプリングすることによって再構成することを含み、当該アップサンプリングは、復号された第２のピクチャの当該少なくとも一部分の少なくとも１つの第２のサンプルに適用される少なくとも１つのアップサンプリングフィルタを使用して、第１のピクチャの当該少なくとも一部分の少なくとも１つの第１のサンプルを判定することを含む。
【0007】
別の実施形態によれば、ビデオ復号の方法が提供され、本方法は、ビットストリームにおいて第２のピクチャであって、当該第２のピクチャが、第１のピクチャからダウンスケーリングされたピクチャである、第２のピクチャを復号することと、ビットストリームにおいて第３のピクチャであって、第３のピクチャが、第１のピクチャと同じサイズを有する、第３のピクチャを復号することと、を含み、第３のピクチャを復号することは、第１のピクチャの少なくとも一部分を、復号後に第２のピクチャの少なくとも一部分をアップサンプリングすることによって再構成することを含み、当該アップサンプリングは、復号された第２のピクチャの当該少なくとも一部分の少なくとも１つの第２のサンプルに適用される少なくとも１つのアップサンプリングフィルタを使用して、第１のピクチャの当該少なくとも一部分の少なくとも１つの第１のサンプルを判定することを含む。
【0008】
別の実施形態によれば、ビデオ復号のための装置が提供され、本装置は、１つ以上のプロセッサを備え、当該１つ以上のプロセッサは、ビットストリームにおいて第２のピクチャであって、当該第２のピクチャが、第１のピクチャからダウンスケーリングされたピクチャである、第２のピクチャを復号することと、ビットストリームにおいて第３のピクチャであって、第３のピクチャが、第１のピクチャと同じサイズを有する、第３のピクチャを復号するように構成されており、第３のピクチャを復号することは、第１のピクチャの少なくとも一部分を、復号後に第２のピクチャの少なくとも一部分をアップサンプリングすることによって再構成することを含み、当該アップサンプリングは、復号された第２のピクチャの当該少なくとも一部分の少なくとも１つの第２のサンプルに適用される少なくとも１つのアップサンプリングフィルタを使用して、第１のピクチャの当該少なくとも一部分の少なくとも１つの第１のサンプルを判定することを含む。
【0009】
一変形形態では、ビデオを符号化／復号するための方法は、第１のピクチャの再構成された当該少なくとも一部分を、第３のピクチャをコーディングするための参照ピクチャを記憶する復号されたピクチャバッファに記憶することを含む。
【0010】
別の態様によれば、ビデオを符号化するための方法であって、ビデオを符号化することが、第１のピクチャのサンプルを分類することと、第１のピクチャの少なくとも一部分について、当該分類に基づいて第１のフィルタであって、当該第１のフィルタが、第１のピクチャの当該少なくとも一部分を使用する第１の符号化動作に使用される、第１のフィルタを判定することと、第１のピクチャの第１の修正部分を提供することと、当該分類に基づいて第２のフィルタあって、当該第２のフィルタが、第１のピクチャの当該第１の修正部分を使用する第２の符号化動作に使用される、第２のフィルタを判定することと、を含む、方法が提供される。
【0011】
ビデオを符号化するための装置が提供される。装置は、１つ以上のプロセッサを備え、当該１つ以上のプロセッサは、第１のピクチャのサンプルを分類することによってビデオを符号化し、第１のピクチャの少なくとも一部分について、当該分類に基づいて第１のフィルタであって、当該第１のフィルタが、第１のピクチャの当該少なくとも一部分を使用する第１の符号化動作に使用される、第１のフィルタを判定し、第１のピクチャの第１の修正部分を提供し、当該分類に基づいて第２のフィルタであって、当該第２のフィルタが、第１のピクチャの当該第１の修正部分を使用する第２の符号化動作に使用される、第２のフィルタを判定するように構成されている。
【0012】
別の態様によれば、ビデオを復号するための方法であって、ビデオを復号することが、第１のピクチャのサンプルを分類することと、第１のピクチャの少なくとも一部分について、当該分類に基づいて第１のフィルタであって、当該第１のフィルタが、第１のピクチャの当該少なくとも一部分を使用する第１の復号動作に使用される、第１のフィルタを判定することと、第１のピクチャの第１の修正部分を提供することと、当該分類に基づいて第２のフィルタあって、当該第２のフィルタが、第１のピクチャの当該第１の修正部分を使用する第２の復号動作に使用される、第２のフィルタを判定することと、を含む、方法が提供される。
【0013】
ビデオを復号するための装置が提供される。装置は、１つ以上のプロセッサを備え、当該１つ以上のプロセッサは、ビデオを復号するように構成されており、ビデオを復号することは、第１のピクチャのサンプルを分類することと、第１のピクチャの少なくとも一部分について、当該分類に基づいて第１のフィルタであって、当該第１のフィルタが、第１のピクチャの当該少なくとも一部分を使用する第１の復号動作に使用される、第１のフィルタを判定することと、第１のピクチャの第１の修正部分を提供することと、当該分類に基づいて第２のフィルタであって、当該第２のフィルタが、第１のピクチャの当該第１の修正部分を使用する第２の復号動作に使用される、第２のフィルタを判定することと、を含む。
【0014】
上記の態様のいずれか１つのある実施形態によれば、分類は、参照ピクチャを記憶する復号されたピクチャバッファに記憶され、すなわち、第１のピクチャの各サンプルに関連付けられたインデックスが復号されたピクチャバッファに記憶される。
【0015】
別の態様によれば、ビデオを符号化するための別の方法であって、ビデオを符号化することが、参照ピクチャのサンプルを分類することと、ビデオの少なくとも１つのブロックについて、少なくとも１つのブロックの少なくとも１つの動きベクトルを使用して、参照ピクチャの少なくとも一部分を判定することと、参照ピクチャの少なくとも一部分について、当該分類に基づいて少なくとも１つの補間フィルタを判定することと、判定された当該少なくとも１つの補間フィルタを使用する参照ピクチャの当該少なくとも一部分のフィルタリングに基づいて、当該ブロックの予測を判定することと、当該予測に基づいて当該ブロックを符号化することと、を含む、方法が提供される。
【0016】
ビデオを符号化するための装置であって、装置が、参照ピクチャのサンプルを分類することによってビデオを符号化することと、ビデオの少なくとも１つのブロックについて、少なくとも１つのブロックの少なくとも１つの動きベクトルを使用して、参照ピクチャの少なくとも一部分を判定することと、参照ピクチャの少なくとも一部分について、当該分類に基づいて少なくとも１つの補間フィルタを判定することと、判定された当該少なくとも１つの補間フィルタを使用する参照ピクチャの当該少なくとも一部分のフィルタリングに基づいて、当該ブロックの予測を判定することと、当該予測に基づいて当該ブロックを符号化することと、を行うように構成された１つ以上のプロセッサを備える、装置が提供される。
【0017】
別の態様によれば、ビデオを復号するための別の方法であって、ビデオを復号することが、参照ピクチャのサンプルを分類することと、ビデオの少なくとも１つのブロックについて、少なくとも１つのブロックの少なくとも１つの動きベクトルを使用して、参照ピクチャの少なくとも一部分を判定することと、参照ピクチャの少なくとも一部分について、当該分類に基づいて少なくとも１つの補間フィルタを判定することと、判定された当該少なくとも１つの補間フィルタを使用する参照ピクチャの当該少なくとも一部分のフィルタリングに基づいて、当該ブロックの予測を判定することと、当該予測に基づいて当該ブロックを復号することと、を含む、方法が提供される。
【0018】
ビデオを復号するための装置であって、装置が、参照ピクチャのサンプルを分類することによってビデオを復号することと、ビデオの少なくとも１つのブロックについて、少なくとも１つのブロックの少なくとも１つの動きベクトルを使用して、参照ピクチャの少なくとも一部分を判定することと、参照ピクチャの少なくとも一部分について、当該分類に基づいて少なくとも１つの補間フィルタを判定することと、判定された当該少なくとも１つの補間フィルタを使用する参照ピクチャの当該少なくとも一部分のフィルタリングに基づいて、当該ブロックの予測を判定することと、当該予測に基づいて当該ブロックを復号することと、を行うように構成された１つ以上のプロセッサを備える、装置が提供される。
【0019】
１つ以上の実施形態によりまた、１つ以上のプロセッサによって実行されるとき、１つ以上のプロセッサに、再構成方法、又は本明細書に記載の実施形態のいずれかによる符号化方法若しくは復号方法を行わせる命令を含む、コンピュータプログラムを提供する。本実施形態のうちの１つ以上はまた、上記の方法に従って、ピクチャの一部分を再構成するか、ビデオデータを符号化するか、又は復号するための命令を記憶したコンピュータ可読記憶媒体を提供する。１つ以上の実施形態はまた、これまで述べた方法により起こされたビットストリームを記憶しているコンピュータ可読記憶媒体を提供する。１つ以上の実施形態によりまた、上で説明された方法に従って生成されたビットストリームを送信又は受信するための方法及び装置を提供する。
【図面の簡単な説明】
【0020】
【図1】本実施形態の態様が実装され得るシステムのブロック図を示す。
【図2】ビデオエンコーダの一実施形態のブロック図を示す。
【図3】ビデオデコーダの一実施形態のブロック図を示す。
【図4】一実施形態によるビデオを符号化するための例示的な方法を示す。
【図5】一実施形態によるビデオを再構成するための例示的な方法を示す。
【図6】一実施形態による、参照ピクチャが現在ピクチャとは異なる解像度を有するときの、参照ピクチャ中の現在ピクチャ中の現在ブロックの動き補償の一例を示す。
【図7】一実施形態による、サンプルの位相の関数としてのフィルタ係数値の判定の一例を示す。
【図8】一実施形態による、２段階動き補償フィルタリングの一例を示す。
【図9】一実施形態による、動き補償フィルタリングの第１の段階における水平フィルタリングの例を示す。
【図10】一実施形態による、動き補償フィルタリングの第２の段階における垂直フィルタリングの一例を示す図である。
【図11】対称フィルタ及びフィルタ回転の例を示す。
【図12】一実施形態によるアップサンプリングフィルタを判定するための方法の一例を示す。
【図13】一実施形態によるピクチャを符号化／復号するための方法の一例を示す。
【図14A】一実施形態による、水平方向及び垂直方向における２つによるアップサンプリングに対応する異なる位相の一例を示す。
【図14B】実施形態による、アップサンプリングフィルタの異なる形状の例を示す。
【図14C】実施形態による、アップサンプリングフィルタの異なる形状の例を示す。
【図14D】実施形態による、アップサンプリングフィルタの異なる形状の例を示す。
【図14E】実施形態による、アップサンプリングフィルタの異なる形状の例を示す。
【図14F】実施形態による、アップサンプリングフィルタの異なる形状の例を示す。
【図14G】実施形態による、アップサンプリングフィルタの異なる形状の例を示す。
【図14H】実施形態による、アップサンプリングフィルタの異なる形状の例を示す。
【図14I】実施形態による、アップサンプリングフィルタの異なる形状の例を示す。
【図15】一実施形態によるアップサンプリングフィルタ係数を判定するための方法の一例を示す。
【図16】一実施形態によるビデオを符号化するための方法の一例を示す。
【図17】一実施形態によるビデオを復号するための方法の一例を示す。
【図18】一実施形態によるビデオを符号化／復号するための方法の一例を示す。
【図19】別の実施形態によるビデオを符号化／復号するための方法の一例を示す。
【図20】別の実施形態によるビデオを符号化／復号するための方法の一例を示す。
【図21】別の実施形態によるビデオを復号するための方法の一例を示す。
【図22】本原理の例による通信ネットワークを介して通信する２つのリモートデバイスを示す。
【図23】本原理の例による信号のシンタックスを示す。
【発明を実施するための形態】
【0021】
本出願では、ツール、特徴、実施形態、モデル、手法などを含む様々な態様について説明している。これらの態様のうちの多くは、具体的に説明され、少なくとも個々の特性を示すために、しばしば限定的に聞こえ得るように説明される。しかしながら、これは、説明を明確にすることを目的としており、それらの態様の適用又は範囲を限定するものではない。実際には、異なる態様の全てを組み合わせ、かつ置き換えて、更なる態様を提供することができる。更に、これらの態様はまた同様に、以前の出願に記載の態様と組み合わせ、かつ置き換えすることができる。
【0022】
本出願において説明され、企図される態様は、多くの異なる形態で実装することができる。以下の図１、図２、及び図３は、いくつかの実施形態を提供するが、他の実施形態が意図され、図１、図２、及び図３の考察は、実装形態の間口を限定するものではない。態様のうちの少なくとも１つは、概して、ビデオ符号化及び復号に関し、少なくとも１つの他の態様は、概して、生成又は符号化されたビットストリームを送信することに関する。これら及び別の態様は、方法、装置、説明した方法のいずれかに従ってビデオデータを符号化又は復号するための命令を自体に記憶したコンピュータ可読記憶媒体、及び／又は、説明した方法のいずれかに従って生成されたビットストリームを自体に記憶したコンピュータ可読記憶媒体、として実装することができる。
【0023】
本出願では、「再構成された（reconstructed）」及び「復号された（decoded）」という用語は、交換可能に使用され得、「ピクセル（pixel）」及び「サンプル（sample）」という用語は、交換可能に使用され得、「画像（image）」、「ピクチャ（picture）」、及び「フレーム（frame）」という用語は、交換可能に使用され得る。
【0024】
様々な方法が本明細書に説明されており、本方法の各々は、説明された方法を達成するための１つ以上のステップ又はアクションを含む。ステップ又はアクションの特定の順序が方法の適切な動作のために必要とされない限り、特定のステップ及び／又はアクションの順序及び／又は使用は、修正又は組み合わされ得る。加えて、「第１の（first）」、「第２の（second）」などの用語は、様々な実施形態において、例えば、「第１の復号（first decoding）」及び「第２の復号（second decoding）」などの要素、コンポーネント、ステップ、動作などを修正するために使用され得る。かかる用語の使用は、具体的に必要とされない限り、修正された動作に対する順序付けを意味するものではない。そのため、この実施例では、第１の復号は、第２の復号の前に実行される必要はなく、例えば、第２の復号の前、第２の復号の間、又は第２の復号と重複する時間中に発生し得る。
【0025】
本出願に説明されている様々な方法及び他の態様を使用して、図２及び図３に示されるような、ビデオエンコーダ２００及びデコーダ３００のモジュール、例えば、動き補償モジュール（２７０、３７５）を修正することができる。更に、本開示の態様は、ＶＶＣ又はＨＥＶＣに限定されず、例えば、既存のものであれ将来進展するものであれ、他の規格及び勧告、またこのようないかなる規格及び勧告（ＶＶＣ及びＨＥＶＣを含む）の拡張にも適用することができる。特に断りのない限り、又は技術上除外されない限り、本出願に記載の態様は、個々に、又は組み合わせて使用することができる。
【0026】
図１は、様々な態様及び実施形態が実装され得るシステムの一例のブロック図を示す。システム１００は、以下に記載の様々なコンポーネントを含むデバイスとして具現化され得、本明細書に記載の態様のうちの１つ以上を実行するように構成されている。かかるデバイスの実施例としては、これらに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ記録システム、コネクテッド家電、及びサーバなどの様々な電子デバイスが挙げられる。システム１００の要素は、単独で、又は組み合わせて、単一の集積回路、複数のＩＣ、及び／又は個別のコンポーネントで具現化され得る。例えば、少なくとも１つの実施形態では、システム１００の処理要素及びエンコーダ要素／デコーダ要素は、複数のＩＣ及び／又は個別のコンポーネントにわたって分散している。様々な実施形態では、システム１００は、例えば、通信バスを介して、又は専用の入力ポート及び／若しくは出力ポートを通じて、他のシステム、又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム１００は、本出願に記載された態様のうちの１つ以上を実装するように構成される。
【0027】
システム１００は、例えば、本出願に記載された様々な態様を実装するために、内部にロードされた命令を実行するように構成された、少なくとも１つのプロセッサ１１０を含む。プロセッサ１１０は、埋め込み型メモリ、入力出力インターフェース、及び当該技術分野で既知であるように様々な他の回路を含み得る。システム１００は、少なくとも１つのメモリ１２０（例えば、揮発性メモリデバイス及び／又は不揮発性メモリデバイス）を含む。システム１００は、記憶デバイス１４０を含み、この記憶デバイスは、限定されるものではないが、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、及び／若しくは光ディスクドライブを含む、不揮発性メモリ並びに／又は揮発性メモリを含み得る。記憶デバイス１４０は、非限定的な例として、内部記憶デバイス、取り付け型記憶デバイス、及び／又はネットワークアクセス可能な記憶デバイスを含み得る。
【0028】
システム１００は、例えば、データを処理して、符号化ビデオ又は復号ビデオを提供するように構成されたエンコーダ／デコーダモジュール１３０を含み、そのエンコーダ／デコーダモジュール１３０は、それ自体のプロセッサ及びメモリを含み得る。エンコーダ／デコーダモジュール１３０は、符号化機能及び／又は復号機能を実行するためにデバイス内に含まれ得るモジュールを表す。既知であるように、デバイスは、符号化及び復号モジュールのうちの一方又は両方を含み得る。加えて、エンコーダ／デコーダモジュール１３０は、システム１００の個別の要素として実装され得るか、又は当業者に知られているように、ハードウェアとソフトウェアの組み合わせとしてプロセッサ１１０内に組み込まれ得る。
【0029】
本出願に記載の様々な態様を実行するためにプロセッサ１１０又はエンコーダ／デコーダ１３０上にロードされるプログラムコードは、記憶デバイス１４０内に記憶され、その後、プロセッサ１１０による実行のためにメモリ１２０上にロードされ得る。様々な実施形態によれば、プロセッサ１１０、メモリ１２０、記憶デバイス１４０、及びエンコーダ／デコーダモジュール１３０のうちの１つ以上は、本出願に記載されるプロセスの実行中に、様々な項目のうちの１つ以上を記憶し得る。かかる記憶された項目は、限定されるものではないが、入力ビデオ、復号ビデオ、又は復号ビデオの一部分、ビットストリーム、行列、変数、並びに、方程式、式、動作、及び動作論理の処理からの中間結果又は最終結果を含み得る。
【0030】
いくつかの実施形態では、プロセッサ１１０及び／又はエンコーダ／デコーダモジュール１３０の内部のメモリは、命令を記憶し、かつ符号化中又は復号中に必要とされる処理のための作業メモリを提供するために使用される。しかしながら、他の実施形態では、処理デバイス（例えば、処理デバイスは、プロセッサ１１０又はエンコーダ／デコーダモジュール１３０のいずれかであり得る）の外部のメモリが、これらの機能のうちの１つ以上のために使用される。外部メモリは、メモリ１２０及び／又は記憶デバイス１４０、例えば、ダイナミック揮発性メモリ及び／又は不揮発性フラッシュメモリであり得る。いくつかの実施形態では、外部不揮発性フラッシュメモリが、テレビのオペレーティングシステムを記憶するために使用される。少なくとも１つの実施形態では、ＲＡＭなどの高速な外部の動的揮発性メモリは、ＭＰＥＧ－２（ＭＰＥＧはＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐを指し、ＭＰＥＧ－２はまたＩＳＯ／ＩＥＣ１３８１８を指し、１３８１８－１はまたＨ．２２２として既知であり、１３８１８－２はまたＨ．２６２として既知である）、ＨＥＶＣ（ＨＥＶＣはＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇを指し、Ｈ．２６５及びＭＰＥＧ－Ｈ Ｐａｒｔ２はまた既知である）、又はＶＶＣ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ）によって開発中の新しい標準である多用途ビデオコーディング）などのビデオのコーディング動作及び復号動作のための作業メモリとして使用される。
【0031】
システム１００の要素への入力は、ブロック１０５に示されるように、様々な入力デバイスを通して提供され得る。このような入力デバイスには、（ｉ）例えば、放送事業者による放送全体にわたり送信されるＲＦ信号を受信する無線周波数（Radio Frequency、ＲＦ）部分、（ｉｉ）コンポーネント（Component、ＣＯＭＰ）入力端子（又はＣＯＭＰ入力端子セット）、（ｉｉｉ）ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）入力端子、及び／又は（ｉｖ）高精細度マルチメディアインターフェース（High Definition Multimedia Interface、ＨＤＭＩ）入力端子が含まれるが、これらに限定されない。他の実施例には、図１には示されていないが、コンポジットビデオが含まれる。
【0032】
様々な実施形態では、ブロック１０５の入力デバイスは、当該技術分野で既知であるように、関連するそれぞれの入力処理要素を有する。例えば、ＲＦ部分は、（ｉ）所望の周波数を選択する（信号を選択する、又は信号を周波数帯域に帯域制限するとも称される）、（ｉｉ）選択された信号をダウンコンバートする、（ｉｉｉ）特定の実施形態で、（例えば）チャネルと称され得る信号周波数帯域を選択するために、再びより狭い周波数帯域に帯域制限する、（ｉｖ）ダウンコンバート及び帯域制限された信号を復調する、（ｖ）誤り訂正を実施する、及び（ｖｉ）データパケットの所望のストリームを選択するために多重分離する、ために適切な要素と関連付けられ得る。様々な実施形態のＲＦ部分は、これらの機能を実行する１つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。ＲＦ部分は、これらの様々な機能を実行するチューナを含み得、例えば、受信した信号をより低い周波数（例えば、中間周波数、若しくは近接ベースバンド周波数）に、又はベースバンドにダウンコンバートすることが含まれる。セットトップボックスの一実施形態では、ＲＦ部とその関連する入力処理要素は、有線（例えば、ケーブル）媒体上で送信されたＲＦ信号を受信し、フィルタ処理し、ダウンコンバートし、また所望の周波数帯域に再びフィルタ処理することによって、周波数選択を行う。様々な実施形態では、上で説明される（及び他の）要素の順序を並べ替える、これらの要素の一部を削除する、並びに／又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、既存の要素の間に要素を挿入すること、例えば、増幅器及びアナログ－デジタル変換器を挿入することを含み得る。様々な実施形態において、ＲＦ部分は、アンテナを含む。
【0033】
加えて、ＵＳＢ及び／又はＨＤＭＩ端末は、ＵＳＢ及び／又はＨＤＭＩ接続全体にわたって、システム１００を他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リードソロモン誤り訂正は、例えば、必要に応じて、個別の入力処理ＩＣ内又はプロセッサ１１０内に実装され得ることを理解されたい。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の態様は、必要に応じて、個別のインターフェースＩＣ内又はプロセッサ１１０内に実装され得る。復調され、エラー訂正され、逆多重化されたストリームは、例えば、プロセッサ１１０と、出力デバイス上に提示するために必要に応じてデータストリームを処理するためにメモリ及び記憶要素と組み合わせて動作するエンコーダ／デコーダ１３０とを含む、様々な処理要素に提供される。
【0034】
システム１００の様々な要素は、統合されたハウジング内に提供され得、統合されたハウジング内では、様々な要素は、好適な接続構成１１５、例えば、Ｉ２Ｃバス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して相互に接続され、互いの間でデータを送信し得る。
【0035】
システム１００は、通信チャネル１９０を介して他のデバイスとの通信を可能にする通信インターフェース１５０を含む。通信インターフェース１５０は、限定されるものではないが、通信チャネル１９０を介してデータを送信及び受信するように構成された送受信機を含み得る。通信インターフェース１５０は、限定されるものではないが、モデム又はネットワークカードを含み得、通信チャネル１９０は、例えば、有線及び／又は無線媒体内に実装され得る。
【0036】
データは、様々な実施形態では、ＩＥＥＥ８０２．１１（ＩＥＥＥは、米国電気電子技術者協会（Institute of Electrical and Electronics Engineers）を指す）などのＷｉ－Ｆｉネットワークを使用して、システム１００にストリーミングされる。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に適合されている通信チャネル１９０及び通信インターフェース１５０上で受信される。これらの実施形態の通信チャネル１９０は、典型的には、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするためにインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック１０５のＨＤＭＩ接続を介してデータを配信するセットトップボックスを使用して、システム１００にストリーミングデータを提供する。更に他の実施形態では、入力ブロック１０５のＲＦ接続を使用して、システム１００にストリーミングデータを提供する。上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。追加的に、様々な実施形態は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラネットワーク又はＢｌｕｅｔｏｏｔｈネットワークを使用する。
【0037】
システム１００は、出力信号を、ディスプレイ１６５、スピーカ１７５、及び他の周辺デバイス１８５を含む、様々な出力デバイスに提供し得る。様々な実施形態のディスプレイ１６５は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（organic light-emitting diode、ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ、及び／又は折り畳み可能なディスプレイのうちの１つ以上を含む。ディスプレイ１６５は、テレビ、タブレット、ラップトップ、携帯電話（移動電話）、又は他のデバイス用とすることができる。ディスプレイ１６５はまた、他のコンポーネントと統合され得るか（例えば、スマートフォンのように）、又は別個に（例えば、ラップトップのための外部モニタ）することができる。他の周辺デバイス１８５としては、実施形態の様々な実施例において、スタンドアロンデジタルビデオディスク（digital video disc）（又はデジタル多用途ディスク（digital versatile disc））（両方の用語に対して、ＤＶＲ）、ディスクプレーヤ、ステレオシステム、及び／又は照明システム、のうちの１つ以上が挙げられる。様々な実施形態は、システム１００の出力に基づいて機能を提供する１つ以上の周辺デバイス１８５を使用する。例えば、ディスクプレーヤは、システム１００の出力を再生する機能を実行する。
【0038】
様々な実施形態では、制御信号は、ＡＶ．Ｌｉｎｋ、ＣＥＣ、又はユーザ介入あり若しくはユーザ介入なしでデバイス間制御を可能にする他の通信プロトコルなどのシグナリングを使用して、システム１００とディスプレイ１６５、スピーカ１７５、又は他の周辺デバイス１８５との間で通信される。出力デバイスは、それぞれのインターフェース１６０、１７０、及び１８０を通じた専用接続を介してシステム１００に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース１５０を介し、通信チャネル１９０を使用して、システム１００に接続され得る。ディスプレイ１６５及びスピーカ１７５は、例えば、テレビなどの電子デバイスにおいて、システム１００の他のコンポーネントとともに単一ユニットに統合され得る。様々な実施形態では、ディスプレイインターフェース１６０は、ディスプレイドライバ、例えば、タイミングコントローラ（timing controller、ＴＣｏｎ）チップを含む。
【0039】
ディスプレイ１６５及びスピーカ１７５は、代替的に、例えば、入力１０５のＲＦ部分が個別のセットトップボックスの一部である場合、他のコンポーネントのうちの１つ以上から分離され得る。ディスプレイ１６５及びスピーカ１７５が外部コンポーネントである様々な実施形態では、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート、又はＣＯＭＰ出力を含む、専用の出力接続を介して提供され得る。
【0040】
実施形態は、プロセッサ１１０によって、又はハードウェアによって、又はハードウェアとソフトウェアとの組み合わせによって、実装されるコンピュータソフトウェアによって行うことができる。非限定的な例として、１つ以上の集積回路によって実施形態を実装することができる。メモリ１２０は、技術環境に適切な任意のタイプのものとすることができ、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリブ－バブルメモリなどの相応しいいかなるデータストレージ技術を使用しても実装することができる。プロセッサ１１０は、技術環境に適切な任意のタイプのものとすることができ、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、特殊目的コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含することができる。
【0041】
図２は、エンコーダ２００を示す。このエンコーダ２００の変形形態も企図されるが、以下では、分かりやすいように、予想される全ての変形形態を説明せずに、エンコーダ２００について説明される。
【0042】
いくつかの実施形態では、図２はまた、ＨＥＶＣ規格に改良を加えたエンコーダ、又はＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）によって開発中のＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）エンコーダなど、ＨＥＶＣに類似する技術を採用したエンコーダを示す。
【0043】
符号化される前に、ビデオシーケンスは、符号化前処理（２０１）、例えば、カラー変換を入力カラーピクチャに適用すること（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）、又は圧縮に対してより弾力的な信号分布を得るために入力ピクチャ成分の再マッピングを実行する（例えば、色成分のうちの１つのヒストグラム等化を使用して）ことを経得る。メタデータは、前処理に関連付けられ、ビットストリームに添付され得る。
【0044】
エンコーダ２００では、以下に記載のように、ピクチャは、エンコーダ要素によって符号化される。符号化されるピクチャは、例えば、ＣＵという単位に分けられ（２０２）、処理される。各ユニットは、例えば、イントラモード又はインターモードのいずれかを使用して符号化される。ユニットがイントラモードで符号化されるとき、そのユニットは、イントラ予測（２６０）を実行する。インターモードでは、動き推定（２７５）及び動き補償（２７０）が実行される。エンコーダは、ユニットを符号化するためにイントラモード又はインターモードのうちのどちらを使用すべきかを決定し（２０５）、例えば、予測モードフラグによってイントラ／インターの決定を示す。エンコーダはまた、イントラ予測結果とインター予測結果を混合（２６３）してもよいし、又は異なるイントラ／インター予測方法からの結果を混合してもよい。予測残差は、例えば、元の画像ブロックから予測されたブロックを減算することによって（２１０）計算される。
【0045】
動き改良モジュール（２７２）は、元のブロックを参照せずにブロックの動きフィールドを改良するために、既に利用可能な参照ピクチャを使用する。ある領域についての動きフィールドは、その領域を有する全てのピクセルについての動きベクトルの集合とみなすことができる。動きベクトルがサブブロックベースである場合、動きフィールドは、領域内の全てのサブブロック動きベクトルの集合として表すこともできる（サブブロック内の全てのピクセルは同じ動きベクトルを有し、動きベクトルはサブブロックごとに異なり得る）。単一の動きベクトルが領域に対して使用される場合、領域に対する動きフィールドもまた、単一の動きベクトル（領域内の全てのピクセルに対して同じ動きベクトル）によって表すことができる。
【0046】
その予測残差は、次いで、変換され（２２５）、量子化される（２３０）。量子化された変換係数、並びに動きベクトル及び他のシンタックス要素は、ビットストリームを出力するためにエントロピコーディングされる（２４５）。エンコーダは、変換をスキップし、量子化を非変換残差信号に直接適用することができる。エンコーダは、変換及び量子化の両方をバイパスすることができ、すなわち、残差は、変換プロセス又は量子化プロセスを適用することなく直接コーディングされる。
【0047】
エンコーダは、符号化されたブロックを復号して、更なる予測のための参照を提供する。量子化された変換係数は、予測残差を復号するために逆量子化され（２４０）、逆変換される（２５０）。復号された予測残差と予測されたブロックとを組み合わせて（２５５）、画像ブロックが再構成される。ループ内フィルタ（２６５）は、例えば、符号化アーチファクトを低減するための非ブロック化／サンプル適応オフセット（Sample Adaptive Offset、ＳＡＯ）フィルタリングを実行するために、再構成されたピクチャに適用される。フィルタリングされた画像は、参照ピクチャバッファ（２８０）に記憶される。
【0048】
図３は、ビデオデコーダ３００のブロック図を示す。デコーダ３００では、以下に説明する通り、ビットストリームが、デコーダ要素によって復号される。ビデオデコーダ３００は、図２に記載するように、一般に、符号化パスとは逆の復号パスを実行する。エンコーダ２００もまた、概して、ビデオデータを符号化することの一部としてビデオ復号を実行する。
【0049】
特に、デコーダの入力は、ビデオビットストリームを含み、これは、ビデオエンコーダ２００によって生成され得る。ビットストリームは、まず、変換係数、動きベクトル、及び他のコーディングされた情報を取得するために、エントロピ復号される（３３０）。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。デコーダは、したがって、復号されたピクチャ分割情報に従ってピクチャを分割し得る（３３５）。変換係数は、予測残差を復号するために、逆量子化され（３４０）、逆変換される（３５０）。復号された予測残差と予測されたブロックとを組み合わせて（３５５）、画像ブロックが再構成される。
【0050】
イントラ予測（３６０）又は動き補償予測（すなわち、インター予測）（３７５）から、予測ブロックを得ることができる（３７０）。デコーダは、イントラ予測結果とインター予測結果を混合（３７３）してもよいし、又は複数のイントラ／インター予測方法からの結果を混合してもよい。動き補償の前に、動きフィールドは、既に利用可能な参照ピクチャを使用することによって改良され得る（３７２）。ループ内フィルタ（３６５）は、再構成された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ（３８０）に記憶される。
【0051】
復号されたピクチャは、復号後処理（３８５）、例えば、逆カラー変換（例えば、ＹＣｂＣｒ４：２：０からＲＧＢ４：４：４への変換）、又は符号化前処理（２０１）において実行された再マッピングプロセスの逆を実行する逆再マッピングを更に経ることができる。復号後処理は、符号化前処理において導出され、ビットストリームにおいてシグナリングされたメタデータを使用することができる。
【0052】
参照ピクチャのリサンプリング
低ビットレートで、及び／又はピクチャが高周波数をほとんど有さないとき、より良好なコーディング効率トレードオフのために、典型的には４Ｋ又は８Ｋフレームの場合、フル解像度ではなく、ダウンサイズされたピクチャを符号化することができる。復号されたピクチャを表示前にアップスケールすることをデコーダに担当させる。参照ピクチャリサンプリング（Reference Picture Re-sampling、ＲＰＲ）の原理は、より良いコーディング効率のトレードオフのために、ピクチャベースでビデオシーケンスの画像を動的にリスケーリングすることである。
低ビットレートで、及び／又はピクチャが高周波数をほとんど有さないとき、より良好なコーディング効率トレードオフのために、典型的には４Ｋ又は８Ｋフレームの場合、フル解像度ではなく、ダウンサイズされたピクチャを符号化することができる。復号されたピクチャを表示前にアップスケールすることをデコーダに担当させる。参照ピクチャリサンプリング（Reference Picture Re-sampling、ＲＰＲ）の原理は、より良いコーディング効率のトレードオフのために、ピクチャベースでビデオシーケンスの画像を動的にリスケーリングすることである。
【0053】
図４及び図５は、符号化する画像を符号化のためにリスケーリングすることができる一実施形態によるビデオをそれぞれ符号化（４００）及び復号（５００）する方法の例を示す。例えば、そのようなエンコーダ及びデコーダは、ＶＶＣ規格に準拠することができる。
【0054】
サイズ（ｐｉｃＷｉｄｔｈ×ｐｉｃＨｅｉｇｈｔ）のピクチャから構成される元のビデオシーケンスが与えられると、エンコーダは、元のピクチャごとに、フレームをコーディングするための解像度（すなわち、ピクチャサイズ）を選択する。異なるＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）は、ピクチャのサイズを有するビットストリームにおいてコーディングされ、復号するピクチャのスライス／ピクチャヘッダは、ピクチャを復号するためにデコーダ側でどのＰＰＳを使用するかを示す。
【0055】
前処理又は後処理としてそれぞれ使用されるダウンサンプラ（４４０）及びアップサンプラ（５４０）機能は、規格によって指定されていない。
【0056】
各フレームについて、エンコーダは、元の解像度で符号化するか、ダウンサイズされた解像度（例えば、ピクチャの幅／高さを２で割ったもの）で符号化するかを選択する。この選択は、２パス符号化を用いて、又は元のピクチャにおける空間的及び時間的アクティビティを考慮して行うことができる。
【0057】
エンコーダがダウンサイズされた解像度で元のピクチャを符号化することを選択するとき、元のピクチャは、ビットストリームを生成するためにコアエンコーダ（４１０）に入力される前にダウンスケールされる（４４０）。次に、ダウンスケールされた解像度で再構成されたピクチャは、後続のピクチャをコーディングするために復号されたピクチャバッファ（decoded picture buffer、ＤＰＢ）に記憶される（４２０）。その結果、復号されたピクチャバッファ（ＤＰＢ）は、現在のピクチャサイズとは異なるサイズのピクチャを含むことができる。
【0058】
デコーダでは、ビットストリームからピクチャが復号され（５１０）、ダウンスケールされた解像度で再構成されたピクチャが、後続のピクチャを復号するために復号されたピクチャバッファ（ＤＰＢ）に記憶される（５２０）。一実施形態によれば、再構成されたピクチャは、その元の解像度にアップサンプリングされ（５４０）、例えばディスプレイに送信される。
【0059】
一実施形態によれば、符号化される現在のピクチャが、現在のピクチャとは異なるサイズを有するＤＰＢからの参照ピクチャを使用する場合、予測ブロックを構築するための参照ブロックのリスケーリング（４３０／５３０）（アップスケール又はダウンスケール）は、分離可能な（水平及び垂直）補間フィルタ及び適切なサンプリングを用いて動き補償プロセス中に（オンザフライで）行われる。図６は、上で考察した符号化方法及び復号方法のリスケーリング（４３０／５３０）において実装することができる暗黙的ブロックリサンプリングを伴う動き補償の一例を示す。フィルタ係数の選択は、位相（θｘ，θｙ）（参照ピクチャ内の補間すべきサンプルの位置）に依存し、この位相は、この場合（式１）（図６）、動きベクトルと、参照ピクチャ（図６の６２０）（ＳＸｒｅｆ，ＳＹｒｅｆ）及び現在ピクチャ（図６の６１０）（ＳＸｃｕｒ，ＳＹｃｕｒ）の両方のサイズとの両方に依存する。
【0060】
サイズ（ＳＸｃｕｒ，ＳＹｃｕｒ）の現在のブロック予測Ｐ（６１０）を予測するために、Ｐの各サンプルＸｃｕｒについて、参照ピクチャ内のその位置（Ｘｒｅｆ，Ｙｒｅｆ）が判定される。（Ｘｒｅｆ，Ｙｒｅｆ）の値は、現在のブロックの動きベクトル（ＭＶｘ，ＭＶｙ）と、現在のブロックサイズと参照ピクチャ内の対応する領域（ＳＸｒｅｆ，ＳＹｒｅｆ）との間のスケーリング比との関数である（６２０）。
【0061】
図６に示されているように、参照ピクチャ内の動き補償された点（Ｘｒｅｆ，Ｙｒｅｆ）の非整数部分である位相を（θｘ，θｙ）と表す。位置（Ｘｒｅｆ，Ｙｒｅｆ）及び位相（θｘ，θｙ）は、以下の式によって与えられる。
Ｘｒｅｆ＝ｉｎｔ（ＳＸｒｅｆ×（ＭＶＸ＋Ｘｃｕｒ）／ＳＸｃｕｒ）
Ｙｒｅｆ＝ｉｎｔ（ＳＹｒｅｆ×（ＭＶＹ＋Ｙｃｕｒ）／ＳＹｃｕｒ） （式１）
θｘ＝（ＳＸｒｅｆ×（ＭＶＸ＋Ｘｃｕｒ）／ＳＸｃｕｒ）－Ｘｒｅｆ
θｙ＝（ＳＹｒｅｆ×（ＭＶＹ＋Ｙｃｕｒ）／ＳＹｃｕｒ）－Ｙｒｅｆ
ｉｎｔ（ｘ）はｘの整数部分を与える。
Ｘｒｅｆ＝ｉｎｔ（ＳＸｒｅｆ×（ＭＶＸ＋Ｘｃｕｒ）／ＳＸｃｕｒ）
Ｙｒｅｆ＝ｉｎｔ（ＳＹｒｅｆ×（ＭＶＹ＋Ｙｃｕｒ）／ＳＹｃｕｒ） （式１）
θｘ＝（ＳＸｒｅｆ×（ＭＶＸ＋Ｘｃｕｒ）／ＳＸｃｕｒ）－Ｘｒｅｆ
θｙ＝（ＳＹｒｅｆ×（ＭＶＹ＋Ｙｃｕｒ）／ＳＹｃｕｒ）－Ｙｒｅｆ
ｉｎｔ（ｘ）はｘの整数部分を与える。
【0062】
一実施形態では、動き補償（motion compensation、ＭＣ）は、計算量を低減するために２つの別個の１Ｄフィルタを使用する（図７）。ＭＣプロセスは、図８、図９、及び図１０に示されるように、２段階で実行され、すなわち、第１の水平（８２０、９００）及び次の垂直（８４０、１０００）の動き補償フィルタリングであり、又は一変形形態では、垂直動き補償フィルタリングを最初に実行し、水平動き補償フィルタリングを次に実行することができる。
【0063】
図８は、一実施形態による、２段階動き補償フィルタリングの一例を示す。参照ピクチャ内のブロック位置（Ｘｒｅｆ，Ｙｒｅｆ）及び位相（θｘ，θｙ）は、現在のピクチャ内のブロック位置（ＸＣｕｒ，ＹＣｕｒ）及び現在のブロックの動きベクトル（ＭＶｘ，ＭＶｙ）から判定される（８１０）。一実施形態によれば、水平方向に沿ってアップスケーリングされた動き補償サンプルを判定するために、１Ｄフィルタによる水平フィルタリング（図９に示す）が実行される（８２０、９４０）。
【0064】
一実施形態では、動きベクトルがサブペル精度を有するので、サブペル位置（位相）の数と同じ数の１Ｄフィルタが存在する。図７は、動き補償されたサンプルＸｃｕｒの位相に依存してフィルタの係数ｗ（ｉ）がどのように判定されるかを示す。再構成されたサンプル「ｒｅｃ」は、１Ｄフィルタリングを用いて以下のように計算される。
【0065】
【数1】
【0066】
再構成されたサンプルは、同じサイズ（ＳＸｃｕｒ，ＳＹｒｅｆ）の一時バッファ（図９の９３０）に記憶される（８３０）。次いで、垂直方向に沿ってアップスケーリングされた動き補償サンプルを判定するために、入力として一時バッファを使用して、図１０に示すように、１Ｄフィルタを用いて垂直フィルタリングが実行される（８４０）。
【0067】
最初の垂直フィルタリングと次の水平フィルタリングは別々のフィルタであるので、これらを行うこともできることに留意されたい。
【0068】
得られた予測サンプルは、サイズ（ＳＸｃｕｒ，ＳＹｃｕｒ）のブロック（１０５０）に記憶される（８５０）。
【0069】
上記の説明では、現在のピクチャ及び参照ピクチャが同じウィンドウに対応することを考察した。これは、動きが０である場合、２つのピクチャの左上及び右下のサンプルが２つの同じシーン点に対応することを意味する。そうでない場合、オフセットウィンドウパラメータを（Ｘｒｅｆ，Ｙｒｅｆ）に追加すべきである。
【0070】
上述の暗黙的リサンプリングを伴う動き補償は、古典的動き補償のために設計された補間フィルタ、例えば、ＶＶＣ規格において使用される補間フィルタを再使用することを可能にする。また、このプロセスは、いくつかの解像度で参照ピクチャを記憶する必要性を回避する。しかしながら、アップサンプリングフィルタの単純さは、エンコーダの圧縮効率を制限する。したがって、改善の必要性がある。
【0071】
一実施形態では、第１のピクチャの少なくとも一部分を第２のピクチャの少なくとも一部分から再構成するための方法であって、第１のピクチャ及び第２のピクチャが異なるサイズを有する、方法が提供される。例えば、第２のピクチャは、第１のピクチャよりも小さい解像度を有する。この実施形態によれば、第１のピクチャの部分を再構成することは、ビットストリームから第２のピクチャを復号することと、復号された第２のピクチャの当該少なくとも一部分の少なくとも１つの第２のサンプルに適用される少なくとも１つのアップサンプリングフィルタを使用して、第１のピクチャの当該少なくとも一部分の少なくとも１つの第１のサンプルを判定することと、を含む。
【0072】
一実施形態では、再構成するための方法は、第１のピクチャの再構成された当該少なくとも一部分をディスプレイに送信することを含む。一実施形態では、以下に提供される再構成方法のステップは、図５を参照して説明される復号のための方法（５１０、５４０）において実施することができる。
【0073】
一実施形態によれば、再構成するための方法は、符号化方法又は復号方法において実実施することができる。第１のピクチャの少なくとも一部分は、以下で説明されるように、第２のピクチャを復号し、第２のピクチャの少なくとも一部分をアップサンプリングすることから取得される。第１のピクチャの再構成された少なくとも一部分は、次いで、第１のピクチャと同じサイズ又は異なるサイズの後続のピクチャをコーディング／復号するときに参照ピクチャとして将来使用するために、復号されたピクチャバッファに記憶される。
【0074】
以下では、フィルタパラメータが判定されるいくつかの実施形態が提供される。フィルタパラメータは、アップサンプリングフィルタ係数と、関連するタップ場所（形状）と、場合によってはフィルタを識別するためのインデックスと、を含む。以下に提供される実施形態のうちのいずれか１つは、上記に提供されるピクチャを再構成するための方法、符号化するための方法、及び／又は復号するための方法において、単独で、又は他の実施形態のうちのいずれか１つ以上と組み合わせて実装することができる。
【0075】
一実施形態によれば、アップサンプリングフィルタは分離可能ではない。この実施形態では、アップサンプリングフィルタは、１Ｄフィルタを用いた２ステップアップサンプリングによって処理することができない。フィルタは線形又は非線形であってもよい。
【0076】
別の実施形態によれば、アップサンプリングフィルタ係数は、ビットストリームにおいてコーディングされる。一変形形態では、アップサンプリングフィルタ係数は、参照ピクチャ及び現在のピクチャが同じサイズを有する場合であってもコーディングすることができる。ビットストリームでは、元のピクチャ（アップサンプリング後）のサイズがコーディングされる。元のピクチャのサイズは、アップサンプリングフィルタに関連付けられたパラメータとすることができる。アップサンプリングフィルタ係数及び／又は元のサイズは、例えば、ＡＰＳ（例えば、Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ（適応ループフィルタ）係数を送信するためにＶＶＣ規格において使用されるＡｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（適応パラメータセット））、スライスヘッダ、ピクチャヘッダ、又はＰＰＳにおいてコーディングされ得る。ビットストリームにおいてコーディングされていないアップサンプリングフィルタ係数のデフォルト値が存在し得る。
【0077】
フィルタ係数は、ピクチャごとに、１つのピクチャ内の領域ごとに、いくつかのピクチャのグループごとに、又は異なるピクチャ内のいくつかの領域ごとに導出され得る。
【0078】
図１２は、ある実施形態によるアップサンプリングフィルタを判定するための方法１２００の一例を示す。いくつかのアップサンプリングフィルタを利用可能とすることができる。使用するアップサンプリングフィルタの選択は、分類プロセスによって制御され得る。
【0079】
一変形形態によれば、アップサンプリングが現在のピクチャを予測するための動き補償のループ内であるとき、現在のピクチャによって使用される参照ピクチャのアップサンプリングは、参照ピクチャの解像度が現在のピクチャよりも小さいという判定（１２１０）に応答して実行される。
【0080】
分類プロセスは、各参照サンプル又は参照サンプルのグループ（例えば、４×４サンプルのグループ）についてクラスインデックスを判定する（１２２０）。１つのフィルタは、１つのクラスインデックスに関連付けられる。補間する領域を示す図１４Ａの例では、黒いサンプルは、クラスインデックスが判定された参照サンプルと、補間するサンプル（１，２，３）の例とを示す。
【0081】
アップサンプリングされたピクチャにおいて補間するごとに、対応する同一場所にある参照サンプルのセットが判定される。例えば、図１４Ａは、補間するサンプル３に関連付けられた同一場所にある参照サンプル（破線ボックス内の黒色サンプル）の例を示す。補間するサンプルの同一場所にある参照サンプルに関連付けられたクラスインデックスは、補間するサンプルについて１つの単一のクラスインデックス値を導出することを可能にする。例えば、それは、補間する現在のサンプルと最も近い同一場所にある参照サンプルのクラスインデックス値、又はいくつかの同一場所にある参照サンプルのクラスインデックス値の所定の相対位置若しくは平均／中央値とすることができる。
【0082】
補間するサンプルごとに、補間するサンプルについて導出されたクラスインデックスに基づいてアップサンプリングフィルタが選択される（１２３０）。アップサンプリングする参照ピクチャの参照サンプルに対して、又は表示のためのアップサンプリングの場合には復号されたピクチャの参照サンプルに対して、分類が実行されるので、補間する各サンプルのアップサンプリングフィルタを判定するために使用されるクラスインデックス値は、コーディングされる必要がない。
【0083】
次いで、アップサンプリングフィルタを適用して（１２４０）、補間するサンプルの値を判定する。
【0084】
実施形態によれば、分類プロセス（１２２０）は、ＶＶＣ規格における適応ループフィルタ（Adaptive Loop Filter、ＡＬＦ）において使用されるものと同様とすることができる。再構成されたサンプル「ｔ（ｒ）」は、Ｋ個のクラス（ルーマサンプルの場合はＫ＝２５、クロマサンプルの場合はＫ＝８）に分類され、各クラスのサンプルを用いてＫ個の異なるフィルタが判定される。分類は、局所勾配を用いて導出された方向性（Directionality）値及びアクティビティ（Activity）値を用いて行われる。
【0085】
上記の方法１２００は、例えば、ピクチャがダウンスケールされたバージョンで符号化され、ダウンスケールされたバージョンで復号され、出力のために、例えばディスプレイへの送信のためにアップサンプリングされるときに適用することができる。
【0086】
別の実施形態によれば、方法１２００は、ピクチャをダウンサンプリングするために使用することができるダウンサンプリングフィルタを判定するために使用することもできる。例えば、ピクチャのダウンサンプリングは、ピクチャがダウンスケールされたバージョンで符号化されるとき、その符号化の前に実行することができる。
【0087】
図１３は、一実施形態によるピクチャを符号化／復号するための方法の一例を示す。この実施形態によれば、現在のピクチャを、インター予測を使用してコーディング又は復号するかどうかを判定する（１３０５）。
【0088】
現在のピクチャを、インター予測を使用してコーディング／復号しない場合、ピクチャを、例えばイントラ予測を使用して符号化／復号する（１３４０）。
【0089】
現在ピクチャを、インター予測を使用してコーディング／復号する場合、参照ピクチャの解像度が現在ピクチャの解像度より小さいか否かが判定される（１３１０）。そうでない場合、現在のピクチャを、ＤＰＢに記憶された参照ピクチャを使用してコーディング／復号する（１３４０）。参照ピクチャが現在のピクチャよりもサイズが大きい場合には、現在のピクチャの符号化／復号時に、ＶＶＣ規格から通常のＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）動き補間プロセスでダウンスケーリングを行う。
【0090】
参照ピクチャが現在のピクチャよりもサイズが小さい場合には（１３１０）、本明細書で提案される実施形態のいずれか１つに従って判定されたアップサンプリングフィルタでアップスケーリング（１３２０）を行う。フィルタを用いたアップサンプリングは、現在のピクチャを符号化／復号するとき（１３４０）、動き補償プロセス内で、オンザフライで行われてもよく、又は、ＤＰＢの参照ピクチャが、現在のフレームをコーディング／復号する（１３４０）前にアップスケーリングされ（１３２０）、ＤＰＢに記憶されてもよい（１３３０）。
【0091】
この最後の場合、ＤＰＢは、異なる解像度の参照ピクチャのいくつかのインスタンスを含むことができ、動き補償は、ＲＰＲなしの符号化／復号（１３４０）と比較して変わらない。
【0092】
一実施形態によれば、アップサンプリングフィルタは、ウィーナーベースの適応フィルタ（Wiener-based adaptive filter、ＷＦ）である。例えば、係数は、ＶＶＣ規格におけるＡＬＦの係数と同様の方法で判定される。
【0093】
ＶＶＣでは、ループ内ＡＬＦフィルタ（適応ループフィルタリング）は線形フィルタであり、その目的は、再構成されたサンプルに対するコーディングアーチファクトを低減することである。係数ｃｎは、ウィーナーベースの適応フィルタ技法を使用することによって、元のサンプルｓ（ｒ）とフィルタリングされたサンプルｔ（ｒ）との間の平均二乗誤差を最小化するように判定される。
【0094】
【数2】
ｒ＝（ｘ，ｙ）は、フィルタリングする領域「Ｒ」に属するサンプル場所である。
元のサンプル：ｓ（ｒ）
フィルタリングするサンプル：ｔ（ｒ）
Ｎ個の係数を有するＦＩＲフィルタ：ｃ＝［ｃ０，．．．ｃＮ－１］Ｔ
フィルタタップ位置オフセット：｛ｐ０，ｐ１，．．．ｐＮ－１｝、ここでｐｎは、ｎ番目のフィルタタップのｒに対するサンプル場所オフセットを示す。タップ位置のセットは、フィルタ「形状」と呼ぶこともできる。
フィルタリングされたサンプル：ｆ（ｒ）
【0095】
ｓ（ｒ）とｆ（ｒ）との間の最小二乗和誤差（sum of squared error、ＳＳＥ）を求めるために、ｃｎに対するＳＳＥの導関数を判定し、その導関数を０に等しくすることができる。次に、係数値「ｃ」は、次式を解くことによって得られる。
［Ｔｃ］．ｃＴ＝ｖＴ （式３）
ここで、
［Ｔｃ］．ｃＴ＝ｖＴ （式３）
ここで、
【0096】
【数3】
【0097】
ＶＶＣにおいて、ＡＬＦの係数は、それらがビデオコンテンツに動的に適応することができるように、ビットストリームにおいてコーディングされ得る。いくつかのデフォルト係数もあり、エンコーダは、ＣＴＵごとにどの係数のセットを使用するかを示す。
【0098】
ＶＶＣでは、図１１の上部に示されるように、対称フィルタが使用され、図１１の下部に示されるように、いくつかのフィルタは、回転によって他のフィルタから取得され得る。図１１の上部に示されるフィルタ内の各係数は、１つ又は２つの位置ｐ（ｘ，ｙ）に関連付けられる。例えば、ｃ９及びｃ３の位置をｐ９（０，０）及びｐ３（０，－１）又はｐ３（０，１）と表す。対角変換の場合、位置ｐ（ｘ，ｙ）はｐ（ｙ，ｘ）に移動され、垂直反転変換の場合、位置ｐ（ｘ，ｙ）はｐ（－ｘ，ｙ）に移動され、回転の場合、位置ｐ（ｘ，ｙ）はｐ（ｙ，－ｘ）に移動される。
【0099】
一実施形態によれば、ＡＬＦ係数を判定するための上記の方法は、アップサンプリングフィルタ係数を判定するために使用される。
【0100】
一実施形態によれば、アップサンプリング位相ごとに少なくとも１つのＷＦを有し得る。補間するサンプルの位相は、使用するアップサンプリングフィルタを判定することを可能にする（１２３０）。図１４Ａに示される例は、水平及び垂直方向に２つでアップサンプリングすることに対応する。黒い点は、復号されたピクチャ（表示のためにアップサンプリングするための参照ピクチャ又は復号されたピクチャのいずれか）の再構成されたサンプルｔ（ｒ）であり、白い点は、補間するサンプルｆ（ｒ’）（欠落サンプル）に対応する。そして、「ｒ’」は「ｒ」と異なることができる。この例では、３つの位相｛０，１，２，３｝がある。位相０は、再構成されたサンプル（ｒ’＝ｒ）と同じ場所を有する。位相０に対応するＷＦは省略されてもよい（同一であると推測される）。
【0101】
（式２）は次のように修正される（１２４０）。
【0102】
【数4】
【0103】
（式３）において、ｖの式は次のように変形される。
【0104】
【数5】
【0105】
変形形態によれば、アップスケールされたピクチャにおける欠落点ｒ（ｘ，ｙ）、すなわち、ダウンスケールされたピクチャにおいて同一場所にない点を有する点のみが補間される。別の変形形態では、全ての位置ｒ（ｘ，ｙ）が補間され、すなわち、欠落点と、ダウンスケールされたピクチャ内の同一場所にある点とが補間される。
【0106】
一変形形態では、位相のいくつかのサブセットに対応するいくつかのサンプルは、ＷＦフィルタのみで補間され、他の位相は、通常の分離可能な１Ｄフィルタで補間される。例えば、図１４Ａにおいて、位相０及び１は、第１のステップにおいてＷＦを用いて補間され、次の位相２，３は、位相０及び１のフィルタリングされたサンプルを使用して水平１Ｄフィルタを用いて補間される。又は逆に、位相０及び２はＷＦで補間され、次の位相１，３は１Ｄ垂直フィルタで補間される。
【0107】
図１４Ａでは、サイズ４×４の正方形フィルタ形状が示されているが、異なる形状を有してもよい。図１４Ｂ～図１４Ｅは、位相３のサンプルを補間するために使用することができる異なる形状を示し、フィルタ形状は、位相３のサンプルを補間するために使用する再構成されたサンプルを表す黒いサンプルによって示されている。
【0108】
図１４Ｆ及び図１４Ｇは、位相２のサンプルを補間するために使用することができる水平フィルタ形状の他の例を示す。図１４Ｈは、位相１のサンプルを補間するために使用することができる垂直フィルタ形状の別の例を示す。図１４Ｉは、位相３のサンプルを補間するために使用することができる中心フィルタ形状の別の例を示す。
【0109】
形状は、クラス及び／又は位相に依存し得る。ＡＬＦと同様に、いくつかの形状／クラスの係数は、他のクラス／形状と同一であり得るが、回転によって取得され得、１つの形状の係数は、対称性によって取得され得る。例えば、図１４Ｂの形状の係数は、９０°回転後の図１４Ｃの形状と同じであってもよい。
【0110】
一変形形態では、参照サンプルの分類が行われる（１２２０）。クラスごとに、異なるアップサンプリングＷＦが使用される。別の変形形態では、分類は、ＡＬＦによって使用される分類と同じとすることができる。
【0111】
図１５は、一実施形態による、エンコーダ側で使用するアップサンプリングフィルタ係数を判定するための方法１５００の一例を示す。
【0112】
元のピクチャは、ダウンスケーリングされ（１５１０）、符号化される（１５２０）。コーディングされたピクチャからの再構成されたサンプルは、クラスごとに分類される（１５３０）。フィルタ係数Ｆ０のセットは、再構成されたピクチャの領域Ｒについて、例えばＣＴＵ又はＣＴＵのグループについて、判定される（１５４０）。フィルタ係数のセットＦ０は、Ｆ０＝｛ｇ００，ｇ０１，．．．，ｇ０Ｍ｝でクラス及び位相ごとにアップサンプリングフィルタを備え、ここで、Ｍは、各クラス及び位相ごとに関連付けられた１つのフィルタがある場合、クラス若しくは位相の数、又はクラス及び位相の組み合わせの数である。セットＦ０のフィルタは、上で説明したように（式３、式５）を用いて判定される。
【0113】
判定されたアップサンプリングフィルタＦ０は、式４を使用して、再構成されたピクチャの領域Ｒのアップサンプリングされた領域Ｒｕｐのサンプルｆ０（ｒ’）を得るために適用される（１５５０）。
【0114】
他のアップサンプリングフィルタＦｉが同様に適用されて、再構成されたピクチャの領域Ｒのアップサンプリングされた領域Ｒｕｐのサンプルｆｉ（ｒ’）を判定し（１５５５）、ここで、Ｆｉ＝｛ｇｉ０，ｇｉ１，．．．，ｇｉＭ｝及びｉ＝｛１，．．．Ｌ｝であり、ここで、Ｌは、既に送信された、又はデコーダによって知られているクラス及び／又は位相ごとの可能なフィルタの数である。有利には、歪みは、係数の値及び元のサンプルｓ（ｒ’）から直接的に導出することができる。
【0115】
クラス／位相のために使用するフィルタの選択は、例えば、レート歪みラグランジュコストを使用して、各クラス／位相ｓについて、新しいアップサンプリングフィルタｇ０ｓをコーディングすることと、デフォルト値若しくは以前に送信されたフィルタ値ｇｉｓ，ｉ＝｛１，．．．Ｌ｝を再使用することとの間の最良のトレードオフを見つけることによって判定され得る（１５６０）。歪みは、アップサンプリングされた再構成された領域と元のピクチャ内の対応する領域との間の差（例えば、Ｌ１ノルム又はＬ２ノルム）である。
【0116】
クラス／位相ｓについて判定されたフィルタｇ０ｓのレート歪みコストがフィルタｇｉｓのレート歪みコストのいずれか１つよりも低い場合、フィルタｇ０ｓの係数がビットストリームにおいてコーディングされる（１５７０）。
【0117】
各クラス／位相ｓについて、最低レート歪みコストを提供するフィルタのインデックスＩ（ｉ＝０．．．Ｌ）が、領域Ｒのビットストリームにおいてコーディングされる（１５８０）。
【0118】
いくつかの実施形態では、領域Ｒは、再構成されたピクチャ内の領域、ピクチャ全体、いくつかのピクチャのグループ、又は異なるピクチャ内のいくつかの領域のグループとすることができる。
【0119】
領域Ｒに使用するフィルタを判定する方法は、クラス、クラス及び／又は位相ごとに１つのフィルタがある場合について上で説明した。同様の方法は、Ｆ０及びＦｉがそれぞれ１つの単一フィルタを含む場合に適用することができる。
【0120】
一変形形態では、フィルタ係数の判定は、反復最適化アルゴリズム（例えば、勾配降下法）を用いた機械学習によって行われ得る。これは、Ｒが大きいときにＴｃ及びｖの数値制限なしに多くのサンプル／画像について学習するという利点を有し得る。
【0121】
一実施形態によれば、図１６及び図１７に示すように、コーディングされたピクチャがダウンサンプリングされたピクチャに対応する場合であっても、再構成されたアップサンプリングされたピクチャはＤＰＢに記憶される。この実施形態によれば、ＤＰＢは、高解像度の参照ピクチャのみを含む。
【0122】
【0123】
元の高解像度ピクチャは、コーディング（１６１０）の前にエンコーダによってダウンサンプリングされる（１６６０）。アップサンプリングフィルタ係数は、上述のように導出されてもよく（１６４０）、再構成されたピクチャは、ＤＰＢ（１６２０）に記憶される前にアップサンプリングされる（１６５０）。次いで、通常のＲＰＲ動き補償が適用される（参照ピクチャは高解像度であり、現在のピクチャは低解像度である）（１６３０）。
【0124】
復号段階では、ダウンスケールされたピクチャがビットストリームから復号され（１７１０）、アップサンプリングフィルタ係数がビットストリームに存在する場合、アップサンプリングフィルタ係数が復号される（１７４０）。低解像度の復号されたピクチャは、アップサンプリングされ（１７５０）、ＤＰＢに記憶される（１７２０）。次いで、通常のＲＰＲ動き補償が適用される（参照ピクチャは高解像度であり、現在のピクチャは低解像度である）（１７３０）。一変形形態では、低解像度の復号されたピクチャはＤＰＢに記憶され、アップサンプリングされた復号されたピクチャは表示のみに使用される。
【0125】
元のピクチャが高解像度でコーディングされる場合、ダウンサンプリング（１６６０）及びアップサンプリング（１６５０、１７５０）はバイパスされる。
【0126】
一変形形態では、アップサンプリングフィルタは所定のデフォルト係数を有し、ステップ１６４０及び１７４０は存在しない／バイパスされないことに留意されたい。
【0127】
画像復元のためのポストフィルタリング
ビデオ規格（例えば、ＨＥＶＣ、ＶＶＣ）では、復元フィルタが、コーディングアーチファクトを低減するために、再構成されたピクチャに適用される。例えば、サンプル適応オフセット（Sample Adaptive Offset、ＳＡＯ）フィルタは、特にブロック境界におけるアーチファクトを低減するデブロッキングフィルタ（De-Blocking Filter、ＤＢＦ）を補完して、再構成されたピクチャにおけるリンギング（ringing）及びバンディング（banding）アーチファクトを低減するためにＨＥＶＣに導入されている。ＶＶＣでは、追加の適応ループフィルタ（ＡＬＦ）が、ウィーナーベースの適応フィルタ係数を使用して、元のサンプルと再構成されたサンプルとの間の平均二乗誤差を最小化しようと試みる。ＳＡＯ及びＡＬＦは、適用するフィルタを選択するために、再構成されたサンプルの分類を採用する。
ビデオ規格（例えば、ＨＥＶＣ、ＶＶＣ）では、復元フィルタが、コーディングアーチファクトを低減するために、再構成されたピクチャに適用される。例えば、サンプル適応オフセット（Sample Adaptive Offset、ＳＡＯ）フィルタは、特にブロック境界におけるアーチファクトを低減するデブロッキングフィルタ（De-Blocking Filter、ＤＢＦ）を補完して、再構成されたピクチャにおけるリンギング（ringing）及びバンディング（banding）アーチファクトを低減するためにＨＥＶＣに導入されている。ＶＶＣでは、追加の適応ループフィルタ（ＡＬＦ）が、ウィーナーベースの適応フィルタ係数を使用して、元のサンプルと再構成されたサンプルとの間の平均二乗誤差を最小化しようと試みる。ＳＡＯ及びＡＬＦは、適用するフィルタを選択するために、再構成されたサンプルの分類を採用する。
【0128】
ＡＬＦ分類
上で考察したように、ＡＬＦは、再構成された画像復元のための特定のポストフィルタである。ＡＬＦは、サンプルをＫ個のクラス（一例として、ルーマサンプルの場合はＫ＝２５）又はＫ個の領域（一例として、クロマサンプルの場合はＫ＝８）に分類し、Ｋ個の異なるフィルタが、各クラス又は領域のサンプルを用いて判定される。クラスの場合、ルーマサンプルの分類は、局所勾配を用いて導出された方向性値及びアクティビティ値を用いて行われる。
上で考察したように、ＡＬＦは、再構成された画像復元のための特定のポストフィルタである。ＡＬＦは、サンプルをＫ個のクラス（一例として、ルーマサンプルの場合はＫ＝２５）又はＫ個の領域（一例として、クロマサンプルの場合はＫ＝８）に分類し、Ｋ個の異なるフィルタが、各クラス又は領域のサンプルを用いて判定される。クラスの場合、ルーマサンプルの分類は、局所勾配を用いて導出された方向性値及びアクティビティ値を用いて行われる。
【0129】
ＶＶＣにおいて、ＡＬＦの係数は、それらがビデオコンテンツに動的に適応することができるように、ビットストリームにおいてコーディングされ得る。これらの係数は、更なるピクチャのために再使用されるように記憶され得る。いくつかのデフォルト係数もあり、エンコーダは、ＣＴＵごとにどの係数のセットを使用するかを示す。
【0130】
【0131】
動き補償フィルタリング及びＳＩＦ
ハイブリッドビデオコーディングにおいて、インター予測は、以前に再構成された参照ピクチャから抽出された参照ブロックの動き補償を用いて現在のブロックを予測する。現在のブロックと参照ブロックとの間の位置の差が動きベクトルである。
ハイブリッドビデオコーディングにおいて、インター予測は、以前に再構成された参照ピクチャから抽出された参照ブロックの動き補償を用いて現在のブロックを予測する。現在のブロックと参照ブロックとの間の位置の差が動きベクトルである。
【0132】
動きベクトルは、サブペル精度を有し得（例えば、ＶＶＣにおいて１／１６）、動き補償プロセスは、図６に示すように、参照ピクチャ内の対応するサブペル位置（θｘ，θｙ）を有する補間フィルタを選択する。伝統的に、実装の複雑さを低減するために、動き補償補間フィルタリングは、分離可能なフィルタ（１つは水平フィルタ、１つは垂直フィルタ）を用いて行われる。
【0133】
コーディング効率を改善するために、いくつかのサブペル位置について、エンコーダは、いくつかのフィルタの中から選択し、それをビットストリーム中でシグナリングし得る。例えば、ＶＶＣ規格では、１／２サブペル位置について、２つの補間フィルタ（正規フィルタ又はガウスフィルタ）の間で選択してもよい。このようなツールは、スイッチング補間フィルタ（Switching Interpolation Filter、ＳＩＦツール）としても知られている。ガウスフィルタは、通常のフィルタと比較して高周波数を平滑化するローパスフィルタである。
【0134】
ＡＬＦポストフィルタリングによれば、フィルタリングするサンプル（又はサンプルのグループ）が事前に分類され、その分類が各サンプル（又はサンプルのグループ）について１つの特定のフィルタ係数セットを選択するために使用されるとき、フィルタリングプロセスにおけるより良い効率が得られる。エンコーダ側では、分類は、ウィーナーベースの適応フィルタ技法（例えば、Ｃ．Ｔｓａｉ ｅｔ ａｌ．「Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，」ＩＥＥＥ ＪＯＵＲＮＡＬ ＯＦ ＳＥＬＥＣＴＥＤ ＴＯＰＩＣＳ ＩＮ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮＧ，ＶＯＬ．７，ＮＯ．６，ＤＥＣＥＭＢＥＲ ２０１３に記載されているような）を使用することによって、元のサンプル「ｓ（ｒ）」とフィルタリングされたサンプル「ｔ（ｒ）」との間の平均二乗誤差を最小にするフィルタの係数を判定するために使用され得る。
【0135】
しかしながら、サンプルの分類は、サンプルごとの演算の数を著しく増加させる。
【0136】
ＶＶＣでは、ＡＬＦのみが分類を使用する。ＳＩＦツールは、動き補償のためにどのフィルタを使用するかをＣＵごとにシグナリングするが、予測ユニットの全ての予測サンプルを構築するために同じフィルタが使用される。ＲＰＲの場合、参照ブロックサイズと現在のブロックサイズとの間の比を用いてピクチャごとに１つの単一セットのリスケーリング補間フィルタが選択され、全てのサンプルがこの単一フィルタを用いてフィルタリングされる。リスケーリングフィルタのセットは、位相ごとに、使用するフィルタの係数を含む。
【0137】
本原理の一態様によれば、ビデオを符号化／復号するための方法であって、参照ピクチャのサンプル分類が、ビデオのピクチャのブロックを予測するときに少なくとも１つの動き補償補間フィルタを選択するために使用される、方法が提供される。
【0138】
一実施形態によれば、補間する必要がある参照ピクチャからの各サンプル又はサンプルの各グループについて、（参照ピクチャに対して実行される分類から）サンプルが属するクラスが判定される。次いで、このクラスに関連付けられた補間フィルタが選択され、サンプルは、選択されたフィルタの係数を使用してフィルタリングされる。
【0139】
本原理の別の態様によれば、ビデオを符号化／復号するための方法であって、再構成されたピクチャのサンプル分類がエンコーダ／デコーダの異なる符号化／復号モジュール間で共有される、方法が提供される。例えば、参照ピクチャが分類され、次いで、その分類は、リサンプリングフィルタリング又は動き補償補間フィルタリングなど、参照ピクチャを使用する新しいピクチャの符号化／復号動作中に使用される少なくとも１つのフィルタを選択するために使用される。
【0140】
別の実施例によれば、再構成されたピクチャが分類され、次いで、その分類は、ポストフィルタリング及び／若しくは表示のためのリサンプリングなどの再構成されたピクチャに対する符号化／復号動作中に、並びに／又はリサンプリングフィルタリング若しくは動き補償補間フィルタリングなどの再構成されたピクチャを参照ピクチャとして使用する新しいピクチャの符号化／復号動作中に、使用される少なくとも１つのフィルタを選択するために使用される。例えば、これは、サンプル（又はサンプルのグループ）ごとに行うことができ、サンプル（又はサンプルのグループ）分類は、このサンプル（又はサンプルのグループ）で使用されるフィルタを選択することを可能にする。
【0141】
従来、フィルタはいくつかの係数を含み、各係数は、フィルタリングされている現在のサンプルの隣接サンプルに適用され、隣接サンプルは、選択されたフィルタ形状に従って判定され、フィルタ形状の例が図１１に示されている。
【0142】
一実施形態によれば、任意の符号化／復号モジュール間で分類を共有するために、分類の結果は、参照ピクチャを記憶する復号されたピクチャバッファ（ＤＰＢ）など、符号化／復号モジュールのうちのいずれか１つによってアクセス可能な共通空間に記憶される。
【0143】
本原理によれば、フィルタ選択のためのサンプル分類の能力は、複雑さを比較的小さく保ちながら、動き補償補間フィルタ及びリサンプリングフィルタに活用される。これは、復元フィルタ（例えば、ＡＬＦ又はバイラテラルフィルタ）、ＭＣフィルタリング、リサンプリングフィルタといった、いくつかのフィルタリング目的のためにサンプル分類を共有することによって行われる。一実施形態では、分類は、ＤＰＢに記憶され得る。
【0144】
エンコーダにおいて、再構成されたサンプルの分類は、サンプルのクラスごとに特化されたフィルタを導出することを可能にする。これは、例えばウィーナーベースの適応フィルタ係数を使用して、元のサンプルと１つのクラスに属する再構成されたサンプルとの間の平均二乗誤差を最小化することによって行うことができる。
【0145】
次に、デコーダ側において、使用するフィルタの選択は、分類プロセスによって制御される。例えば、分類プロセスは、各サンプルについてクラスインデックスを判定し、１つのフィルタが１つのクラスインデックスに関連付けられる。
【0146】
いくつかの変形形態では、分類は、サンプルごとではなくサンプルのグループごとに行われる。例えば、サンプルのグループは２×２領域である。
【0147】
補間フィルタの分類
図１８は、一実施形態による、ビデオを符号化又は復号するための方法１８００を示す。この実施形態によれば、クラスインデックスごとに補間フィルタを含む補間フィルタのセットが定義される。補間フィルタは、ＡＬＦフィルタの場合と同じ方法で判定することができ、新しい補間フィルタの係数は、コンテンツに適応する必要があるときにデコーダに送信することができる。
図１８は、一実施形態による、ビデオを符号化又は復号するための方法１８００を示す。この実施形態によれば、クラスインデックスごとに補間フィルタを含む補間フィルタのセットが定義される。補間フィルタは、ＡＬＦフィルタの場合と同じ方法で判定することができ、新しい補間フィルタの係数は、コンテンツに適応する必要があるときにデコーダに送信することができる。
【0148】
参照ピクチャがプロセスに入力される。参照ピクチャのサンプルが分類される（１８１０）。次いで、１８２０において、ブロックの動き補償が、符号化又は復号する現在のブロックに対する予測を判定するために実行される。
【0149】
符号化又は復号するビデオのブロックについて、動きベクトルが取得される。動きベクトルは、ブロックを予測するために参照ピクチャの一部分又はブロックを判定することを可能にする。
【0150】
動きベクトルがサブサンプル場所を指すとき、図６に示すように、参照ピクチャの動き補償された部分のサンプルは、予測のためのブロックサンプルを判定するために補間される必要がある。本原理によれば、各サブサンプルに使用される補間フィルタは、分類に基づいて判定される（１８３０）。
【0151】
したがって、ブロックの予測は、参照ピクチャの補間されたサンプルとして判定される（１８４０）。
【0152】
一実施形態によれば、補間フィルタ（１８３０）を判定するために、参照ピクチャの動き補償された部分の各サンプルについて、クラスインデックスが、例えば、参照ピクチャ内のサンプル場所における１つ以上の隣接サンプルに関連付けられた１つ以上のクラスインデックスから判定される。次いで、サブサンプルごとに補間フィルタが選択され、サブサンプルについて判定されたクラスインデックスを使用して補間される。次いで、参照ピクチャの動き補償された部分の各サブサンプルを、このサブサンプルに対して選択された補間フィルタで補間することによって、ブロックの予測が生成される（１８４０）。最後に、ブロックは、予測を使用して（方法がエンコーダで実施されるかデコーダで実施されるかに応じて）符号化又は復号される（１８５０）。符号化時に、元のブロックとその予測との間で残差が判定され、コーディングされる。復号時に、その残差が復号され、ブロックを再構成するために予測に加えられ、ブロックの予測は、エンコーダの場合と同じプロセスで生成される。
【0153】
本原理の別の態様によれば、同じサンプル分類が、エンコーダ又はデコーダの符号化／復号モジュール間で共有される。フィルタのセットは、動き補償補間、リサンプリング、ＡＬＦなど、フィルタを使用する符号化又は復号動作の種類ごとに定義される。
【0154】
補間及びリサンプリングフィルタに対する同じ分類
図１９は、別の実施形態によるビデオを符号化又は復号するための方法１８００の一例を示す。動き補償（ＭＣ）補間（１９４０）フィルタ及びリサンプリング（１９３０）フィルタの両方に対するフィルタ選択のためのサンプル分類の能力を活用するために、参照ピクチャ（１９８１０）の共通分類を実行及び使用することができる。
図１９は、別の実施形態によるビデオを符号化又は復号するための方法１８００の一例を示す。動き補償（ＭＣ）補間（１９４０）フィルタ及びリサンプリング（１９３０）フィルタの両方に対するフィルタ選択のためのサンプル分類の能力を活用するために、参照ピクチャ（１９８１０）の共通分類を実行及び使用することができる。
【0155】
有利には、分類は、再構築されたピクチャ全体に対して行われ、各サンプルの分類は、動き補償補間フィルタ及びリサンプリングフィルタプロセスによって使用することができるように記憶される（１９２０）。リサンプリングがＭＣプロセス（１９５０）内で暗黙的に行われる場合、分類はＭＣに直接的に入力される。
【0156】
一実施形態によれば、分類は、他のプロセスによって再使用することができるように、参照ピクチャとともにＤＰＢに記憶される。
【0157】
補間、リサンプリングフィルタ、及びポストフィルタリングに対する同じ分類
図２０は、別の実施形態によるビデオを符号化又は復号するための方法２０００の一例を示す。この変形形態において、分類（２０３０）は、復元フィルタ（ポストフィルタ（ＰＦ）としても知られる）（例えば、ＡＬＦ）（２０５０）を適用する前に、再構成されたピクチャに対して実行される。次いで、分類は、ポストフィルタ（例えば、ＡＬＦ）のフィルタ係数を導出するためにエンコーダによって使用され得る（２０４０）。分類は、ポストフィルタリング（２０５０）によって使用されるフィルタを選択するために使用される。有利には、この分類は、単一の分類段階（２０３０）のみが行われるように、リサンプリングフィルタリング又は動き補償補間フィルタリングによっても使用される。この変形形態では、他のプロセス（例えば、リサンプリングフィルタリング又は動き補償補間フィルタリング）は、復元フィルタ（ポストフィルタリング）を適用する前に行われる分類を使用するが、他のプロセスは、（ポストフィルタリングを適用した後に）復元されたピクチャサンプルを使用することに留意されたい。
図２０は、別の実施形態によるビデオを符号化又は復号するための方法２０００の一例を示す。この変形形態において、分類（２０３０）は、復元フィルタ（ポストフィルタ（ＰＦ）としても知られる）（例えば、ＡＬＦ）（２０５０）を適用する前に、再構成されたピクチャに対して実行される。次いで、分類は、ポストフィルタ（例えば、ＡＬＦ）のフィルタ係数を導出するためにエンコーダによって使用され得る（２０４０）。分類は、ポストフィルタリング（２０５０）によって使用されるフィルタを選択するために使用される。有利には、この分類は、単一の分類段階（２０３０）のみが行われるように、リサンプリングフィルタリング又は動き補償補間フィルタリングによっても使用される。この変形形態では、他のプロセス（例えば、リサンプリングフィルタリング又は動き補償補間フィルタリング）は、復元フィルタ（ポストフィルタリング）を適用する前に行われる分類を使用するが、他のプロセスは、（ポストフィルタリングを適用した後に）復元されたピクチャサンプルを使用することに留意されたい。
【0158】
実施形態によれば、分類は、他のプロセスによって再利用できるように、ＤＰＢ（２０２０）に記憶されてもよい。一変形形態では、ＤＰＢへの記憶は、ピクチャが参照としてのみ使用される場合に行われる（２０６０）。
【0159】
ループ外リサンプリング
ＲＰＲの場合、復号されたピクチャのリサンプリングプロセスは、指定されなくてもよい（図５：５４０）。図２１は、別の実施形態によるビデオを復号するための方法２１００の一例を示す。ピクチャは復号され（２１１０）、復号されたピクチャのサンプルは分類される（２１３０）。分類に基づいてポストフィルタが適用され（２１５０）、分類は最終的にＤＰＢに記憶され、復号されたピクチャを参照ピクチャとして使用する他のプロセスに利用可能になる。
ＲＰＲの場合、復号されたピクチャのリサンプリングプロセスは、指定されなくてもよい（図５：５４０）。図２１は、別の実施形態によるビデオを復号するための方法２１００の一例を示す。ピクチャは復号され（２１１０）、復号されたピクチャのサンプルは分類される（２１３０）。分類に基づいてポストフィルタが適用され（２１５０）、分類は最終的にＤＰＢに記憶され、復号されたピクチャを参照ピクチャとして使用する他のプロセスに利用可能になる。
【0160】
使用するリサンプリングフィルタ（例えば、アップサンプリング）の選択は、分類プロセス（２１３０）によって制御され得る。分類プロセスは、各サンプル（又はサンプルのグループ）についてクラスインデックスを判定し、１つのフィルタが１つのクラスインデックスに関連付けられる。フィルタインデックスは、リサンプリングフィルタ（２１６０）を選択することを可能にする。
【0161】
上述した符号化方法及び復号方法は、ビットストリームにおいてビデオを符号化するため、及びビットストリームからビデオを復号するために、図２及び図３に関連して説明したエンコーダ２００及びデコーダ３００においてそれぞれ実施することができることを理解されたい。
【0162】
図２２に示すある実施形態では、通信ネットワークＮＥＴを介した２つのリモートデバイスＡとＢとの間の送信コンテキストにおいて、デバイスＡは、図１～図２１に関して説明した実施形態のいずれか１つに従ってビデオを符号化する方法を実施するように構成されたメモリＲＡＭ及びＲＯＭに関連するプロセッサを備え、デバイスＢは、図１～図２１に関して説明した実施形態のいずれか１つに従ってビデオを復号する方法を実施するように構成されたメモリＲＡＭ及びＲＯＭに関連するプロセッサを備える。
【0163】
一実施例によれば、ネットワークは、デバイスＡからデバイスＢを含む復号デバイスにビデオを表す符号化データをブロードキャスト／送信するように適合されたブロードキャストネットワークである。
【0164】
デバイスＡによって送信されることが意図された信号は、ビデオを表すコーディングされたデータを含む少なくとも１つのビットストリームを搬送する。ビットストリームは、本原理の任意の実施形態から生成されてもよい。
【0165】
図２３は、パケットベースの伝送プロトコル上で送信されるそのような信号のシンタックスの一例を示す。各送信パケットＰは、ヘッダＨ及びペイロードＰＡＹＬＯＡＤを含む。いくつかの実施形態では、ペイロードＰＡＹＬＯＡＤは、上述した実施形態のいずれか１つに従って符号化された、コーディングされたビデオデータを含み得る。いくつかの実施形態では、信号は、上記で判定されたフィルタ（アップサンプリング、補間）係数を含む。
【0166】
様々な実装形態は、復号することを含む。本出願で使用する際、「復号」は、例えば、ディスプレイに好適な最終出力をもたらすために、受信した符号化されたシーケンスに対して行われるプロセスの全て又は一部を包含することができる。様々な実施形態において、このようなプロセスには、例えば、エントロピ復号、逆量子化、逆変換、及び差動復号など、通常、デコーダによって行われるプロセスのうちの１つ以上が含まれる。様々な実施形態では、そのようなプロセスにはまた、又は代替的に、本出願に記載される、例えば、復号されたピクチャをアップサンプリングするアップサンプリングフィルタ係数を復号するための、様々な実装形態のデコーダによって実施されるプロセスも含まれる。
【0167】
更なる例として、一実施形態では、「復号」とは、エントロピ復号のみを指し、別の実施形態では、「復号」とは、差動復号のみを指し、別の実施形態では、「復号」とは、エントロピ復号と差動復号との組み合わせを指す。「符号化プロセス」という句が、具体的に作業部分集合を指すことを目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。
【0168】
様々な実装形態は、符号化を伴う。「復号（decoding）」に関する上記の考察と同様に、本出願で使用される「符号化（encoding）」は、例えば、符号化されたビットストリームを作り出すために入力ビデオシーケンスに対して実行されるプロセスの全て又は一部を包含することができる。様々な実施形態において、このようなプロセスは、例えば、分割、差動符号化、変換、量子化、及びエントロピ符号化など、エンコーダによって典型的に実行されるプロセスのうちの１つ以上を含む。様々な実施形態では、そのようなプロセスにはまた、又は代替的に、本出願に記載される、例えば、復号されたピクチャをアップサンプリングするアップサンプリングフィルタ係数を判定するための、様々な実装形態のエンコーダによって実施されるプロセスも含まれる。
【0169】
更なる例として、一実施形態では、「符号化」とは、エントロピ符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化とエントロピ符号化との組み合わせを指す。「符号化プロセス」という句が、具体的に作業部分集合を指すこと目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。
【0170】
本明細書で使用する際のシンタックス要素が、説明上の用語であることに留意されたい。したがって、これらは他のシンタックス要素名の使用を排除するものではない。
【0171】
本開示は、例えば、送信又は記憶することができるシンタックスなどの様々な情報を説明してきた。この情報は、様々な様式でパッケージ化又は配置することができ、例えば、情報をＳＰＳ、ＰＰＳ、ＮＡＬユニット、ヘッダ（例えば、ＮＡＬユニットヘッダ、又はスライスヘッダ）、又はＳＥＩメッセージに入れるなど、ビデオ規格において一般的な様式を含む。他の様式も利用可能であり、例えば、情報を以下のうちの１つ以上に入れるなどのシステムレベル又はアプリケーションレベルの規格において一般的な様式を含む。
【0172】
ａ．ＳＤＰ（セッション記述プロトコル（session description protocol））、例えば、ＲＦＣに説明され、ＲＴＰ（リアルタイム輸送プロトコル（Real-time Transport Protocol））送信と連動して使用されるような、セッション告知及びセッション招待の目的のためのマルチメディア通信セッションを記述するためのフォーマット。
ｂ．例えば、ＤＡＳＨで使用され、ＨＴＴＰを介して送信されるような、ＤＡＳＨ ＭＰＤ（メディアプレゼンテーション記述（Media Presentation Description））記述子、記述子は、コンテンツ表現に追加の特性を提供するために、表現又は表現の集合に関連付けられる。
ｃ．例えば、ＲＴＰストリーミング中に使用されるような、ＲＴＰヘッダ拡張子。
ｄ．例えば、ＯＭＡＦで使用され、いくつかの仕様では、「ａｔｏｍｓ」としても既知である一意のタイプ識別子及び長さによって画定されるオブジェクト指向構築ブロックであるボックスを使用するような、ＩＳＯベースメディアファイルフォーマット（ISO Base Media File Format）。
ｅ．ＨＴＴＰを介して送信されるＨＬＳ（ＨＴＴＰライブストリーミング（HTTP Live Streaming））マニフェスト。マニフェストは、例えば、バージョン又はバージョンの集合の特性を提供するために、コンテンツのバージョン又はバージョンの集合に関連付けることができる。
ｂ．例えば、ＤＡＳＨで使用され、ＨＴＴＰを介して送信されるような、ＤＡＳＨ ＭＰＤ（メディアプレゼンテーション記述（Media Presentation Description））記述子、記述子は、コンテンツ表現に追加の特性を提供するために、表現又は表現の集合に関連付けられる。
ｃ．例えば、ＲＴＰストリーミング中に使用されるような、ＲＴＰヘッダ拡張子。
ｄ．例えば、ＯＭＡＦで使用され、いくつかの仕様では、「ａｔｏｍｓ」としても既知である一意のタイプ識別子及び長さによって画定されるオブジェクト指向構築ブロックであるボックスを使用するような、ＩＳＯベースメディアファイルフォーマット（ISO Base Media File Format）。
ｅ．ＨＴＴＰを介して送信されるＨＬＳ（ＨＴＴＰライブストリーミング（HTTP Live Streaming））マニフェスト。マニフェストは、例えば、バージョン又はバージョンの集合の特性を提供するために、コンテンツのバージョン又はバージョンの集合に関連付けることができる。
【0173】
図がフローチャートとして提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法／プロセスのフローチャートも提供するものと理解されたい。
【0174】
様々な実施形態は、レート歪み最適化を指す。具体的には、符号化プロセス中に、レートと歪みとの間のバランス又はトレードオフは、通常、多くの場合、計算複雑性の制約を与えるものと考えられる。レート歪み最適化は、通常、レートと歪みの加重和であるレート歪み関数を最小化するように定式化される。レート歪み最適化問題を解くには、異なるアプローチがある。例えば、これらのアプローチは、全ての考慮されるモード又はコーディングパラメータ値を含む全ての符号化オプションの広範なテストに基づき得、それらの符号化コスト、並びにコーディング及び復号後の再構成された信号の関連する歪みの完全な評価を伴う。符号化複雑性を抑えるために、特に、再構成された信号ではなく、予測又は予測残差信号に基づく近似歪みの計算とともに、より素早い手法を使用することもできる。考えられる符号化選択肢の一部のみに対して近似歪みを使用し、他の符号化選択肢に対しては完全な歪みを使用することなどによって、これらの２つの手法の混合を使用することもできる。他の手法では、考えられる符号化選択肢部分集合のみを評価する。より一般的には、多くのアプローチは、最適化を実行するために様々な技術のいずれかを採用するが、最適化は、必ずしもコーディングコスト及び関連する歪みの両方の完全な評価ではない。
【0175】
本明細書に記載の実装形態及び態様は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも（例えば、方法としてのみ考察される）、考察された特徴の実装形態は、他の形態（例えば、装置又はプログラム）でも実装することができる。例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて装置を実装することができる。この方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスを含む、一般に処理デバイスを指すプロセッサで実装され得る。プロセッサには、例えば、エンドユーザ間の情報の通信を容易にする、コンピュータ、携帯電話、ポータブル／携帯情報端末（Personal Digital Assistant、「ＰＤＡ」）などのデバイスなどの通信デバイスも含まれる。
【0176】
「一実施形態」若しくは「ある実施形態」又は「一実装形態」若しくは「ある実装形態」、またそれらの他の変形形態への言及は、その実施形態に関連して説明する特定の特徴、構造、特性などが、少なくとも１つの実施形態に含まれることを意味する。したがって、本出願全体を通して様々な場所に現れる「一実施形態では」若しくは「ある実施形態では」又は「一実装形態では」若しくは「ある実装形態では」、また他の変形形態という句が現れるとき、必ずしも全てが同じ実施形態を指しているのではない。
【0177】
加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの１つ以上を含むことができる。
【0178】
更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、（例えば、メモリから）情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの１つ以上を含むことができる。
【0179】
加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は（例えば、メモリから）情報を取得することのうちの１つ以上を含むことができる。更に、「受信すること」は、一般には、例えば、情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの形で関与する。
【0180】
例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ（Ａ ａｎｄ／ｏｒ Ｂ）」及び「Ａ及びＢのうちの少なくとも１つ（at least one of A and B）」の場合、次の「／」、「及び／又は（and/or）」、及び「のうちの少なくとも１つ（at least one of）」のいずれかの使用は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「Ａ、Ｂ、及び／又はＣ（Ａ，Ｂ，ａｎｄ／ｏｒ Ｃ）」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ（at least one of A,B,and C）」の場合、かかる表現は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は第３のリストされた選択肢（Ｃ）のみの選択、又は第１及び第２のリストされた選択肢（Ａ及びＢ）のみの選択、又は第１及び第３のリストされた選択肢（Ａ及びＣ）のみの選択、又は第２及び第３のリストされた選択肢のみの選択（Ｂ及びＣ）のみ、又は３つ全ての選択肢の選択（Ａ及びＢ及びＣ）を包含することが意図される。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。
【0181】
また、本明細書で使用されるとき、「シグナリングする」という語は、特に、対応するデコーダに対して何かを示すことを意味する。例えば、特定の実施形態では、エンコーダは、複数のアップサンプリングフィルタ係数のうちの特定の１つをシグナリングする。このように、ある実施形態では、同じパラメータが、エンコーダ側でもデコーダ側でも使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信することができる（明確なシグナリング）。これに対し、デコーダが既にその特定のパラメータとともに他のパラメータも有する場合は、単にデコーダがその特定のパラメータを知ること、及びそれを選択することを可能にするように、送信を行わないシグナリング（暗黙的なシグナリング）を使用することができる。いかなる実際の機能の送信も回避することにより、様々な実施形態において、ビットの節約が実現される。シグナリングは、様々な方法で達成することができることが理解されよう。例えば、１つ以上のシンタックス要素、フラグなどが、様々な実施形態において、対応するデコーダに情報をシグナリングするために使用される。上記は、「信号」という語の動詞形に関連し、「信号」という語は、本明細書では名詞としても使用されることがある。
【0182】
当業者には明白であるように、実装形態は、例えば、記憶され得る、又は送信され得る情報を搬送するようにフォーマットされた様々な信号をもたらすことができる。情報は、例えば、方法を実行するための命令、又は説明されている実装形態の１つによって生成されるデータを含むことができる。例えば、記載の実施形態のビットストリームを搬送するように、信号をフォーマットすることができる。例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）、又はベースバンド信号として、このような信号をフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、符号化されたデータストリームで搬送波を変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報とすることができる。既知であるように、様々な異なる有線リンク又は無線リンク上で信号を送信することができる。信号は、プロセッサ可読媒体に記憶することができる。
【0183】
いくつかの実施形態について述べる。これらの実施形態の特徴は、様々な特許請求の範疇及びタイプにわたって単独でも、いかなる組み合わせでも提供され得る。更に、実施形態は、様々な特許請求の範疇及びタイプにわたって、以下の特徴、デバイス、又は態様のうちの１つ以上を、単独で、又は任意の組み合わせにおいて、含むことができる。
・記載の実施形態のいずれかによる、元のピクチャを高分解能又はより低分解能で符号化することができる、ビデオを符号化／復号すること。
・記載の実施形態のいずれかによる、ダウンスケールされた復号されたピクチャからピクチャを再構成すること。
・記載されるシンタックス要素、又はその変形形態のうちの１つ以上を含むビットストリーム又は信号。
・記載の実施形態のいずれかに従って生成される情報を運ぶシンタックスを含むビットストリーム又は信号。
・記載されるシンタックス要素、又はその変形形態のうちの１つ以上を含むビットストリーム又は信号を作り出しかつ／又は送信しかつ／又受信しかつ／又は復号すること。
・記載の実施形態のいずれかによる、作り出することかつ／又は送信することかつ／又は受信することかつ／又は復号すること。
・記載の実施形態のいずれかによる、方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、又は信号。
・記載の実施形態のいずれかによるアップサンプリングでのピクチャの再構成を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・記載の実施形態のいずれかによるアップサンプリングでのピクチャの再構成を実行し、結果として生じる画像を（例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して）表示する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・符号化された画像を含む信号を受信するためにチャネルを（例えば、チューナを使用して）選択し、記載の実施形態のいずれかによるアップサンプリングでのピクチャの再構成を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・符号化された画像を含む無線上の信号を（例えば、アンテナを使用して）受信し、記載の実施形態のいずれかによるアップサンプリングでのピクチャの再構成を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・記載の実施形態のいずれかによる、ピクチャの同じ分類が符号化又は復号プロセスの間で共有される、ビデオを符号化／復号すること。
・記載の実施形態のいずれかによる、サブサンプルが補間されるときに補間フィルタを選択するために分類が使用される、ビデオを符号化／復号すること。
・記載のシンタックス要素、又はその変形形態のうちの１つ以上を含むビットストリーム又は信号。
・記載の実施形態のいずれかに従って生成される情報を運ぶシンタックスを含むビットストリーム又は信号。
・記載のシンタックス要素、又はその変形形態のうちの１つ以上を含むビットストリーム又は信号を作り出すことかつ／又は送信することかつ／又は受信することかつ／又は復号すること。
・記載の実施形態のいずれかによる、作り出すことかつ／又は送信することかつ／又は受信することかつ／又は復号すること。
・記載の実施形態のいずれかによる、方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、又は信号。
・記載の実施形態のいずれかによるピクチャの再構成を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・記載される実施形態のいずれかによるピクチャの再構成を実行し、結果として生じる画像を表示する（例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して）表示する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・符号化された画像を含む信号を受信するためにチャネルを（例えば、チューナを使用して）選択し、記載の実施形態のいずれかによるピクチャの再構成を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・符号化された画像を含む無線上の信号を（例えば、アンテナを使用して）受信し、記載の実施形態のうちのいずれかによるピクチャの再構成を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・記載の実施形態のいずれかによる、元のピクチャを高分解能又はより低分解能で符号化することができる、ビデオを符号化／復号すること。
・記載の実施形態のいずれかによる、ダウンスケールされた復号されたピクチャからピクチャを再構成すること。
・記載されるシンタックス要素、又はその変形形態のうちの１つ以上を含むビットストリーム又は信号。
・記載の実施形態のいずれかに従って生成される情報を運ぶシンタックスを含むビットストリーム又は信号。
・記載されるシンタックス要素、又はその変形形態のうちの１つ以上を含むビットストリーム又は信号を作り出しかつ／又は送信しかつ／又受信しかつ／又は復号すること。
・記載の実施形態のいずれかによる、作り出することかつ／又は送信することかつ／又は受信することかつ／又は復号すること。
・記載の実施形態のいずれかによる、方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、又は信号。
・記載の実施形態のいずれかによるアップサンプリングでのピクチャの再構成を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・記載の実施形態のいずれかによるアップサンプリングでのピクチャの再構成を実行し、結果として生じる画像を（例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して）表示する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・符号化された画像を含む信号を受信するためにチャネルを（例えば、チューナを使用して）選択し、記載の実施形態のいずれかによるアップサンプリングでのピクチャの再構成を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・符号化された画像を含む無線上の信号を（例えば、アンテナを使用して）受信し、記載の実施形態のいずれかによるアップサンプリングでのピクチャの再構成を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・記載の実施形態のいずれかによる、ピクチャの同じ分類が符号化又は復号プロセスの間で共有される、ビデオを符号化／復号すること。
・記載の実施形態のいずれかによる、サブサンプルが補間されるときに補間フィルタを選択するために分類が使用される、ビデオを符号化／復号すること。
・記載のシンタックス要素、又はその変形形態のうちの１つ以上を含むビットストリーム又は信号。
・記載の実施形態のいずれかに従って生成される情報を運ぶシンタックスを含むビットストリーム又は信号。
・記載のシンタックス要素、又はその変形形態のうちの１つ以上を含むビットストリーム又は信号を作り出すことかつ／又は送信することかつ／又は受信することかつ／又は復号すること。
・記載の実施形態のいずれかによる、作り出すことかつ／又は送信することかつ／又は受信することかつ／又は復号すること。
・記載の実施形態のいずれかによる、方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、又は信号。
・記載の実施形態のいずれかによるピクチャの再構成を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・記載される実施形態のいずれかによるピクチャの再構成を実行し、結果として生じる画像を表示する（例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して）表示する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・符号化された画像を含む信号を受信するためにチャネルを（例えば、チューナを使用して）選択し、記載の実施形態のいずれかによるピクチャの再構成を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・符号化された画像を含む無線上の信号を（例えば、アンテナを使用して）受信し、記載の実施形態のうちのいずれかによるピクチャの再構成を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図14C】
【図14D】
【図14E】
【図14F】
【図14G】
【図14H】
【図14I】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【国際調査報告】