(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-01
(45)【発行日】2024-07-09
(54)【発明の名称】切替え可能フィルタを用いる参照ピクチャリサンプリング
(51)【国際特許分類】
H04N 19/117 20140101AFI20240702BHJP
H04N 19/172 20140101ALI20240702BHJP
H04N 19/136 20140101ALI20240702BHJP
H04N 19/59 20140101ALI20240702BHJP
【ＦＩ】
H04N19/117
H04N19/172
H04N19/136
H04N19/59
【請求項の数】
16
(21)【出願番号】P 2021577584
(86)(22)【出願日】2020-06-26
(65)【公表番号】
(43)【公表日】2022-09-09
(86)【国際出願番号】 US2020039824
(87)【国際公開番号】W WO2021007048
(87)【国際公開日】2021-01-14
【審査請求日】2023-05-26
(31)【優先権主張番号】62/872,225
(32)【優先日】2019-07-09
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/912,660
(32)【優先日】2020-06-25
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100158805
【弁理士】
【氏名又は名称】井関 守三
(74)【代理人】
【識別番号】100112807
【弁理士】
【氏名又は名称】岡田 貴志
(72)【発明者】
【氏名】セレジン、バディム
(72)【発明者】
【氏名】コバン、ムハンメド・ゼイド
【審査官】山内 裕史
(56)【参考文献】
【文献】特表２０１３－５１６９０８（ＪＰ，Ａ）
【文献】Byeongdoo Choi, et.al.，AHG8: Signaling and Filtering for Reference Picture Resampling，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019，JVET-O0332，2019年06月26日，p1,7,8
【文献】Anastasia Henkel, et.al.，Non-CE4: Switched half-pel interpolation filter，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 March 2019，JVET-N0309-v3，2019年03月25日，p1,2
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
ビデオデータを処理する方法であって、現在のピクチャと参照ピクチャとを取得することと、
前記現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別することと、
前記現在のピクチャの第１のピクチャサイズ値と前記参照ピクチャの第２のピクチャサイズ値とが異なると決定することと、
前記現在のピクチャの前記第１のピクチャサイズ値と前記参照ピクチャの前記第２のピクチャサイズ値とが異なると前記決定することに基づいて、異なる補間フィルタ間で選択するために前記フィルタインデックス情報によって識別される現在のフィルタインデックスの代わりにデフォルトフィルタインデックスを使用して、参照ピクチャリサンプリングプロセスを実施することと、
を備える方法。
【請求項2】
前記現在のブロックとともに前記フィルタインデックス情報によって識別される前記現在のフィルタインデックスを記憶することと、前記現在のフィルタインデックスが前記フィルタインデックス情報によって識別されることに基づいて、後続のブロックのための動きベクトル候補導出において前記現在のフィルタインデックスを使用することと、
をさらに備える、請求項１に記載の方法。
【請求項3】
前記デフォルトフィルタインデックスを作成するために前記現在のフィルタインデックスを使用せずに前記参照ピクチャリサンプリングプロセスが実施されるときに元の値を置き換えるために前記現在のフィルタインデックスのためのデフォルト値を割り当てることと、前記参照ピクチャリサンプリングプロセス後に前記現在のフィルタインデックスの前記元の値を割り当てることと、
をさらに備え、前記現在のフィルタインデックスのための前記デフォルト値は、特に、前記異なる補間フィルタ間で切り替えることが前記参照ピクチャリサンプリングプロセスの一部として適用されないことを示す、請求項１に記載の方法。
【請求項4】
前記異なる補間フィルタ間はハーフペル補間フィルタである、請求項１に記載の方法。
【請求項5】
前記フィルタインデックス情報は、ネイバーブロック情報を備え、前記現在のフィルタインデックスは、マージモード動きベクトル候補リスト導出中に前記ネイバーブロック情報から導出される、請求項１に記載の方法。
【請求項6】
前記フィルタインデックス情報は、適応動きベクトル解像度（ＡＭＶＲ）モードシグナリングを備え、前記現在のフィルタインデックスは、前記ＡＭＶＲモードシグナリングを通じてシグナリングされる、請求項１に記載の方法。
【請求項7】
前記参照ピクチャリサンプリングプロセスは、補間プロセスを含む、請求項１に記載の方法。
【請求項8】
前記現在のフィルタインデックスが前記参照ピクチャリサンプリングプロセスにおいて使用されないという決定に応答して、現在のフィルタインデックス値がシグナリングされない、請求項１に記載の方法。
【請求項9】
前記現在のフィルタインデックスは、フィルタのセットから選択されるフィルタを示し、フィルタの前記セットのサブセットは、前記参照ピクチャリサンプリングプロセスを実施するために使用され、フィルタの前記セットの残りの部分は、参照ピクチャリサンプリングのために使用可能でなく、特に、フィルタの前記セットの前記残りの部分からの前記フィルタの選択が禁止されることを示すシンタックス要素を使用して、前記フィルタが選択される、請求項１に記載の方法。
【請求項10】
補間のためのフィルタの第１のグループと、リサンプリングのためのフィルタの第２のグループとを識別すること、ここにおいて、前記現在のフィルタインデックスは、フィルタの前記第２のグループからのフィルタを示す、をさらに備える、請求項１に記載の方法。
【請求項11】
第２の現在のピクチャと第２の参照ピクチャとを取得することと、前記第２の現在のピクチャの第３のピクチャサイズ値と前記第２の参照ピクチャの第４のピクチャサイズ値とが同じサイズ値であると決定することと、
前記第２の現在のピクチャの前記第３のピクチャサイズ値と前記第２の参照ピクチャの前記第４のピクチャサイズ値とが前記同じサイズ値であると決定することに基づいて、第２の選択されたフィルタを使用して第２の現在のブロックのための第２のリサンプリングプロセスを実施することと、ここにおいて、前記第２の選択されたフィルタは、フィルタの前記第１のグループからのものである、
をさらに備える、または、
選択されたフィルタインデックス値のためのルックアップ演算によって、フィルタインデックスから前記現在のフィルタインデックスを取得すること、をさらに備え、
前記選択されたフィルタインデックス値は、フィルタの前記第２のグループに関連付けられ、
前記選択されたフィルタインデックス値とフィルタの前記第２のグループとの間の関連付けは、前記第１のピクチャサイズ値と前記第２のピクチャサイズ値とが異なると決定することに基づく、請求項１０に記載の方法。
【請求項12】
フィルタの前記第１のグループとフィルタの前記第２のグループとの各フィルタは、関連するフィルタインデックスによって識別され、前記関連するフィルタインデックスは、補間のためのフィルタセットまたはリサンプリングのためのフィルタセットからの関連するインデックス値を示す、または、
前記現在のピクチャの前記第１のピクチャサイズ値と前記参照ピクチャの前記第２のピクチャサイズ値とが異なると決定することは、
現在のピクチャの幅が参照ピクチャの幅とは異なること、および、
現在のピクチャの高さが参照ピクチャの高さとは異なること、
のうちの少なくとも１つを決定することを備える、請求項１０に記載の方法。
【請求項13】
前記現在のピクチャと前記参照ピクチャとを備える符号化されたビデオビットストリームを生成すること、および、任意で、復号デバイスに前記符号化されたビデオビットストリームを送ること、前記符号化されたビデオビットストリームはシグナリング情報とともに送られ、前記シグナリング情報は、前記デフォルトフィルタインデックスを備える、または、前記符号化されたビデオビットストリームを記憶すること、
をさらに備える、または、
前記現在のピクチャと前記参照ピクチャとを備える符号化されたビデオビットストリームを取得することと、
前記符号化されたビデオビットストリームに関連するシグナリング情報を識別することと、前記シグナリング情報は、前記フィルタインデックス情報を備え、
前記符号化されたビデオビットストリームから前記現在のピクチャの前記現在のブロックを復号することと、
をさらに備え、前記符号化されたビデオビットストリームから前記現在のピクチャの前記現在のブロックを復号することは、特に、前記デフォルトフィルタインデックスに基づいて前記現在のブロックを再構築することを備える、請求項１に記載の方法。
【請求項14】
ビデオデータを処理するための装置であって、命令を記憶する１つまたは複数のメモリユニットと、
前記命令を実行する１つまたは複数のプロセッサと、を備え、前記１つまたは複数のプロセッサによる前記命令の実行は、前記１つまたは複数のプロセッサに、
現在のピクチャと参照ピクチャとを取得することと、
前記現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別することと、
前記現在のピクチャの第１のピクチャサイズ値と前記参照ピクチャの第２のピクチャサイズ値とが異なると決定することと、
前記現在のピクチャの前記第１のピクチャサイズ値と前記参照ピクチャの前記第２のピクチャサイズ値とが異なるとの決定に基づいて、異なる補間フィルタ間で選択するために前記フィルタインデックス情報によって識別される現在のフィルタインデックスの代わりにデフォルトフィルタインデックスを使用して参照ピクチャリサンプリングプロセスを実施することと、
を行わせる、装置。
【請求項15】
前記１つまたは複数のプロセッサによる前記命令の前記実行は、前記１つまたは複数のプロセッサに、請求項２乃至１３のいずれか一項に記載の方法を実行することをさらに行わせる、請求項１４に記載の装置。
【請求項16】
前記装置がモバイルデバイスである、または、
前記装置は、前記ビデオデータを表示するように構成されるディスプレイまたは前記ビデオデータの１つまたは複数のビデオフレームをキャプチャするように構成されたカメラを含む、請求項１４に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
[0001]本出願は、ビデオコーディングおよび圧縮に関する。より詳細には、本出願は、切替え可能フィルタを用いる参照ピクチャリサンプリングを提供するシステムおよび方法に関する。
【背景技術】
【0002】
[0002]多くのデバイスおよびシステムは、ビデオデータが消費のために処理および出力されることを可能にする。デジタルビデオデータは、消費者およびビデオプロバイダの需要を満たすための大量のデータを含む。たとえば、ビデオデータの消費者は、高い忠実度、解像度、フレームレートなどを伴う、最高の品質のビデオを望む。その結果、これらの需要を満たすために必要とされる大量のビデオデータは、ビデオデータを処理および記憶する通信ネットワークおよびデバイスに負担をかける。
【0003】
[0003]様々なビデオコーディング技法が、ビデオデータを圧縮するために使用され得る。ビデオコーディングは、１つまたは複数のビデオコーディング規格に従って実施される。たとえば、ビデオコーディング規格は、高効率ビデオコーディング（ＨＥＶＣ）、アドバンストビデオコーディング（ＡＶＣ）、ムービングピクチャエクスパーツグループ（ＭＰＥＧ）２パート２コーディング、ＶＰ９、Ａｌｌｉａｎｃｅ ｏｆ Ｏｐｅｎ Ｍｅｄｉａ（ＡＯＭｅｄｉａ） Ｖｉｄｅｏ １（ＡＶ１）、エッセンシャルビデオコーディング（ＥＶＣ）などを含む。ビデオコーディングは、概してビデオ画像またはシーケンス中に存在する冗長を利用する予測方法（たとえば、インター予測、イントラ予測など）を利用する。ビデオコーディング技法の重要な目標は、ビデオ品質に対する劣化を回避するかまたは最小限に抑えながら、より低いビットレートを使用する形式にビデオデータを圧縮することである。常に発展しつつあるビデオサービスが利用可能になるとともに、より良いコーディング効率をもつ符号化技法が必要とされる。
【発明の概要】
【0004】
[0004]本明細書では、改善されたビデオ処理技法を提供するためのシステムおよび方法について説明する。ビデオ処理のいくつかの例は、ビデオデータを効率的に符号化および復号するために、予測を用いたビデオ圧縮技法を使用する。たとえば、ビデオエンコーダは、現在のブロック中のピクセル値を予測ブロック（たとえば、符号化されていないまたは前に復号されたブロック）と比較することによって符号化されている現在のブロックに対して予測を実施することができる。（残差とも呼ばれる）予測誤差は、現在のブロックと予測ブロックとの間の差として決定され得る。１つまたは複数の他のピクチャからの１つまたは複数のブロックを使用してピクチャ中のブロックに対して（インター予測と呼ばれる）予測を実施するときに、現在のブロックに対する予測ブロックのロケーションを示すために動きベクトルが使用され得る。
ビデオエンコーダは、変換係数を生成するために、予測誤差に変換（たとえば、離散コサイン変換（ＤＣＴ）または他の好適な変換）を適用することができる。変換の後に、ビデオエンコーダは変換係数を量子化することができる。量子化変換係数と動きベクトルとは、シンタックス要素を使用して表され、制御情報とともに、ビデオシーケンスのコード化表現を形成し得る。場合によっては、ビデオエンコーダは、シンタックス要素をエントロピーコーディングすることができ、これは、シンタックス要素を表すために必要とされるビット数をさらに低減することができる。
ビデオエンコーダは、変換係数を生成するために、予測誤差に変換（たとえば、離散コサイン変換（ＤＣＴ）または他の好適な変換）を適用することができる。変換の後に、ビデオエンコーダは変換係数を量子化することができる。量子化変換係数と動きベクトルとは、シンタックス要素を使用して表され、制御情報とともに、ビデオシーケンスのコード化表現を形成し得る。場合によっては、ビデオエンコーダは、シンタックス要素をエントロピーコーディングすることができ、これは、シンタックス要素を表すために必要とされるビット数をさらに低減することができる。
【0005】
[0005]いくつかの例では、サンプルレート変換がビデオデータに適用され得る。サンプルレート変換は、リサンプリング、ダウンサンプリング、アップサンプリング、補間、および／または他のサンプルレート変換技法を含むことができる。たとえば、補間は、補間技法の中でも区分定数補間、線形補間、多項式補間およびスプライン補間を含むことができる。リサンプリングは、ダウンサンプリング、アップサンプリング、および／もしくはダウンサンプリングとアップサンプリングとの組合せ、または異なるサンプリングレートで新しいサンプルを取得することを含むことができる。
【0006】
[0006]いくつかの例では、動き予測は、ブロック単位の動きデータシグナリングを簡略化するためにインター予測ブロックマージ技法を用いて向上され得る。補間タスクは、ピクチャ間（たとえば、現在のピクチャと参照ピクチャとの間）のオブジェクトの変位が画像のためのピクセルグリッドとは無関係であるのでそのようなコンテキストで使用される。したがって、分数精度（たとえば、画像中のピクセル間の配置を推定すること）が動きをより正確にキャプチャするために使用され得る。補間フィルタは、特に、参照ピクチャと処理されている現在のピクチャとが同じサイズを共有するときに分数精度を実装するためにビデオ処理において使用され得る。補間フィルタは、分数位置における画像値を推定するために画像データをフィルタ処理するために使用され、この分数位置データは、予測または他の画像処理動作とともに使用され得る。
【0007】
[0007]リサンプリングは、いくつかのサンプル（たとえば、あるグリッド中のピクセル）をもつ画像を取り出し、元のサンプルからのデータを維持しながらサンプルを修正すること（たとえば、異なるグリッド上に新しいピクセルを作成すること）を指す。上記のように、リサンプリングは、より低い解像度のグリッドからのピクセルがより高い解像度のグリッド中のピクセルを作成するために使用されるアップサンプリングならびにより高い解像度のグリッドからのピクセルがより低い解像度のグリッド中のピクセルを生成するために使用されるダウンサンプリングを含むことができる。上記で説明された動き予測および動きベクトルのコンテキストでは、比較されている参照ピクチャと現在のピクチャとが異なるサイズのものであるとき、参照ピクチャリサンプリングは、分数精度を用いて画像を生成することの一部としてピクセルグリッドを標準化するために使用され得る。画像処理システムが、現在のピクチャとは異なるサイズをもつ参照ピクチャを可能にするように構成されるとき、フィルタインデックスによって示されるフィルタは、参照ピクチャリサンプリングを用いる分数精度（たとえば、参照ピクチャが現在のピクチャとは異なるサイズであるときの分数精度）のためにではなく、補間フィルタ処理（たとえば、参照が現在のピクチャと同じサイズであるときの分数精度）のために画像を処理するのに好適であり得る。いくつかのシステムでは、たとえば、分数精度のために使用される平滑化フィルタは、参照ピクチャと現在のピクチャとが同じサイズであるときに補間を用いて良好な結果を生成することができるが、参照ピクチャが現在のピクチャとは異なるピクセルグリッド（たとえば、異なるサイズ）を有する参照ピクチャリサンプリングとともに使用されるときに不十分な結果を作成することがある。本明細書で説明される例は、適切なフィルタ値を識別し、符号化および復号デバイスの動作中に改善された符号化および復号結果を生成することによって復号および符号化デバイスの動作を改善する。
【0008】
[0008]様々な例では、そのような改善は、現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別し、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なると決定することによって実装され得る（たとえば、参照ピクチャリサンプリングが使用される場合）。このコンテキストでは、例は、フィルタインデックス情報によって識別される現在のフィルタインデックスの代わりに（たとえば、現在のフィルタインデックスを使用せずに）デフォルトフィルタインデックスを使用してリサンプリングプロセスを実施する。
【0009】
[0009]１つの例示的な例では、ビデオデータを処理するための装置が提供される。本装置は、メモリと、回路中に実装された１つまたは複数のプロセッサとを含む。１つまたは複数のプロセッサは、現在のピクチャと参照ピクチャとを取得するように構成される。プロセッサはまた、現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別し、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なると決定するように構成される。現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なるとの決定に基づいて、１つまたは複数のプロセッサは、フィルタインデックス情報によって識別される現在のフィルタインデックスの代わりにデフォルトフィルタインデックスを使用してサンプルレート変換プロセスを実施することができる。
【0010】
[0010]別の例では、ビデオデータを処理する方法が提供される。本方法は、現在のピクチャと参照ピクチャとを取得することを含む。本方法は、現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別することと、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なると決定することとをさらに含む。本方法は、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なるとの決定に基づいて、フィルタインデックス情報によって識別される現在のフィルタインデックスの代わりにデフォルトフィルタインデックスを使用してサンプルレート変換プロセスを実施することを含む。
【0011】
[0011]別の例では、命令を記憶するコンピュータ可読記憶媒体であって、命令は、実行されたとき、ビデオデータを処理するためのデバイスの１つまたは複数のプロセッサに、現在のピクチャと参照ピクチャとを取得することと、現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別することと、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なると決定することと、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なるとの決定に基づいて、フィルタインデックス情報によって識別される現在のフィルタインデックスの代わりにデフォルトフィルタインデックスを使用してサンプルレート変換プロセスを実施することと、を行わせるコンピュータ可読記憶媒体。
【0012】
[0012]別の例では、ビデオデータを処理するための装置が提供される。本装置は、現在のピクチャと参照ピクチャとを取得するための手段と、現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別するための手段と、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なると決定するための手段と、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なるとの決定に基づいて、フィルタインデックス情報によって識別される現在のフィルタインデックスの代わりにデフォルトフィルタインデックスを使用してサンプルレート変換プロセスを実施するための手段と、を含む。
【0013】
[0013]いくつかの例では、方法、装置、およびコンピュータ可読記憶媒体中に記憶された命令は、現在のピクチャと参照ピクチャとを取得することと、現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別することと、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なると決定することと、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なるとの決定に基づいて、フィルタインデックス情報によって識別される現在のフィルタインデックスを使用せずにサンプルレート変換プロセスを実施することと、を含む。
【0014】
[0014]いくつかの例では、方法、装置、およびコンピュータ可読記憶媒体中に記憶された命令は、現在のピクチャと参照ピクチャとを取得することと、現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別することと、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なると決定することと、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なるとの決定に基づいて、フィルタインデックス情報によって識別される現在のフィルタインデックスの代わりにデフォルトインデックス値を使用してサンプルレート変換プロセスを実施することと、を含む。
【0015】
[0015]場合によっては、上記で説明された方法、装置、およびコンピュータ可読記憶媒体中に記憶された命令は、現在のブロックとともにフィルタインデックス情報によって識別される現在のフィルタインデックスを記憶することと、現在のフィルタインデックスがフィルタインデックス情報によって識別されることに基づいて後続のブロックのための動きベクトル候補導出において現在のフィルタインデックスを使用することと、を含む。
【0016】
[0016]場合によっては、上記で説明された方法、装置、およびコンピュータ可読記憶媒体中に記憶された命令は、デフォルトフィルタインデックスを作成するために現在のフィルタインデックスを使用せずにサンプルレート変換プロセスが実施されるときに元の値を暫定的に置き換えるために、現在のフィルタインデックスのためのデフォルト値を割り当てることと、サンプルレート変換プロセス後に現在のフィルタインデックスの元の値を割り当てることと、を含む。場合によっては、現在のフィルタインデックスのためのデフォルト値は、代替的な切替え可能フィルタ処理がサンプルレート変換プロセスの一部として適用されないことを示す。
【0017】
[0017]場合によっては、フィルタインデックス情報は、ネイバーブロック情報を備え、ここで、現在のフィルタインデックスは、マージモード動きベクトル候補リスト導出中にネイバーブロック情報から導出される。場合によっては、フィルタインデックス情報は、適応動きベクトル解像度（ＡＭＶＲ：adaptive motion vector resolution）モードシグナリングを備え、現在のフィルタインデックスは、ＡＭＶＲモードシグナリングを通じて（though）シグナリングされる。場合によっては、サンプルレート変換プロセスは、動き補償プロセスである。場合によっては、サンプルレート変換プロセスは、リサンプリングプロセスである。場合によっては、サンプルレート変換プロセスは、補間プロセスである。
【0018】
[0018]場合によっては、上記で説明された方法、装置、およびコンピュータ可読記憶媒体中に記憶された命令は、現在のピクチャの現在のブロックのインター予測のために参照ピクチャを使用して動作する。場合によっては、上記で説明された方法、装置、およびコンピュータ可読記憶媒体中に記憶された命令は、現在のフィルタインデックスがサンプルレート変換プロセスのために使用されないと決定することと、現在のフィルタインデックスがサンプルレート変換プロセスのために使用されないと決定することに応答して現在のフィルタインデックスの値をデフォルト値と置き換えることとを含む。場合によっては、上記で説明された方法、装置、およびコンピュータ可読記憶媒体中に記憶された命令は、代替的な切替え可能フィルタが適用されないと決定するためにデフォルト値を処理することを含む。いくつかの例では、代替的な切替え可能フィルタは、平滑化フィルタである。
【0019】
[0019]場合によっては、現在のフィルタインデックスがサンプルレート変換プロセスにおいて使用されないという決定に応答して、現在のフィルタインデックス値がシグナリングされない。場合によっては、現在のフィルタインデックスは、フィルタのセットから選択され、ここで、フィルタのセットのサブセットは、サンプルレート変換プロセスを実施するために使用され、フィルタのセットの残りの部分は、サンプルレート変換のために使用可能でない。場合によっては、フィルタのセットの残りの部分からの現在のフィルタインデックスの選択が禁止されることを示すシンタックス要素を使用して現在のフィルタインデックスが選択される。
【0020】
[0020]場合によっては、サンプルレート変換プロセスは、リサンプリングプロセスを含む。そのような場合、上記で説明された方法、装置、およびコンピュータ可読記憶媒体中に記憶された命令は、補間のためのフィルタの第１のグループとリサンプリングのためのフィルタの第２のグループとを識別すること、を含み、ここで、現在のフィルタインデックスは、フィルタの第２のグループからのものである。
【0021】
[0021]場合によっては、上記で説明された方法、装置、およびコンピュータ可読記憶媒体中に記憶された命令は、第２の現在のピクチャと第２の参照ピクチャとを取得することと、第２の現在のピクチャの第３のピクチャサイズ値と第２の参照ピクチャの第４のピクチャサイズ値とが同じサイズ値であると決定することと、第２の現在のピクチャの第３のピクチャサイズ値と第２の参照ピクチャの第４のピクチャサイズ値とが同じサイズ値であると決定することに基づいて、第２の選択されたフィルタを使用して第２の現在のブロックのための第２のリサンプリングプロセスを実施することと、ここで、第２の選択されたフィルタは、フィルタの第１のグループからのものである、を含む。
【0022】
[0022]場合によっては、フィルタの第１のグループとフィルタの第２のグループとの各フィルタは、関連するフィルタインデックスによって識別される。関連するフィルタインデックスは、補間のためのフィルタセットまたはリサンプリングのためのフィルタセットからの関連するインデックス値を示す。
【0023】
[0023]場合によっては、上記で説明された方法、装置、およびコンピュータ可読記憶媒体中に記憶された命令は、選択されたフィルタインデックス値のためのルックアップ演算によってフィルタインデックスから現在のフィルタインデックスを取得すること、ここで、選択されたフィルタインデックス値は、フィルタの第２のグループに関連付けられ、選択されたフィルタインデックス値とフィルタの第２のグループとの間の関連付けは、第１のピクチャサイズ値と第２のピクチャサイズ値とが異なると決定することに基づく、を含む。
【0024】
[0024]場合によっては、説明された方法、装置、およびコンピュータ可読記憶媒体中に記憶された命令は、動作し、ここで、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なると決定することは、現在のピクチャの幅が参照ピクチャの幅とは異なることと、現在のピクチャの高さが参照ピクチャの高さとは異なることとのうちの少なくとも１つを決定することを備える。
【0025】
[0025]場合によっては、上記で説明された方法、装置、およびコンピュータ可読記憶媒体中に記憶された命令は、現在のピクチャと参照ピクチャとを備える符号化されたビデオビットストリームを生成することを含む。いくつかの例では、上記で説明された方法、装置、およびコンピュータ可読記憶媒体中に記憶された命令は、復号デバイスに符号化されたビデオビットストリームを送ることを含む。符号化されたビデオビットストリームはシグナリング情報とともに送られ得る。シグナリング情報は、デフォルトフィルタインデックスを備える。いくつかの例では、上記で説明された方法、装置、およびコンピュータ可読記憶媒体中に記憶された命令は、符号化されたビデオビットストリームを記憶することを含む。
【0026】
[0026]場合によっては、上記で説明された方法、装置、およびコンピュータ可読記憶媒体中に記憶された命令は、現在のピクチャと参照ピクチャとを備える符号化されたビデオビットストリームを取得することと、符号化されたビデオビットストリームに関連するシグナリング情報を識別することと、シグナリング情報は、フィルタインデックス情報を備え、符号化されたビデオビットストリームから現在のピクチャの現在のブロックを復号することと、を含む。いくつかの例では、符号化されたビデオビットストリームから現在のピクチャの現在のブロックを復号することは、デフォルトフィルタインデックスに基づいて現在のブロックを再構築することを備える。
【0027】
[0027]いくつかの態様では、ビデオデータを処理するための装置は、復号デバイスもしくは装置および／または符号化デバイスもしくは装置を含むことができる。ビデオデータを処理するための装置は、カメラ、モバイルデバイス（たとえば、携帯電話またはいわゆる「スマートフォン」または他のモバイルデバイス）、ウェアラブルデバイス、エクステンデッドリアリティデバイス（たとえば、仮想現実（ＶＲ）デバイス、拡張現実（ＡＲ）デバイス、または複合現実（ＭＲ）デバイス）、パーソナルコンピュータ、ラップトップコンピュータ、サーバコンピュータ、または他のデバイスであり得る。いくつかの態様では、ビデオデータを処理するための装置は、１つまたは複数の画像をキャプチャするための１つまたは複数のカメラを含む。いくつかの態様では、ビデオデータを処理するための装置は、１つまたは複数の画像、通知、および／または他の表示可能なデータを表示するためのディスプレイを含む。
【0028】
[0028]方法、装置、およびコンピュータ可読媒体のいずれかに関係する上記で説明された態様は、個々に、または任意の好適な組合せで使用され得る。
【0029】
[0029]本発明の概要は、請求される主題の主要なまたは本質的な特徴を識別するものではなく、請求される主題の範囲を決定するために独立して使用されるものでもない。本主題は、本特許の明細書全体、いずれかまたはすべての図面、および各請求項の適切な部分を参照することによって理解されたい。
【0030】
[0030]上記のことは、他の特徴および実施形態とともに、以下の明細書、特許請求の範囲、および添付の図面を参照すると、より明らかになろう。
【0031】
[0031]本出願の例示的な実施形態は、以下の図を参照しながら以下で詳細に説明される。
【図面の簡単な説明】
【0032】
【図1】[0032]いくつかの例による、符号化デバイスおよび復号デバイスを含むシステムの一例を示すブロック図。
【図2A】[0033]いくつかの例による、マージモードのための例示的な空間隣接動きベクトル候補を示す概念図。
【図2B】[0034]いくつかの例による、高度動きベクトル予測（ＡＭＶＰ）モードのための例示的な空間隣接動きベクトル候補を示す概念図。
【図3】[0035]ビデオデータを処理するための技法を示す流れ図。
【図4】[0036]いくつかの例による、参照ピクチャリサンプリングの態様を示す図。
【図5】[0037]いくつかの例による、参照ピクチャリサンプリングのための方法の態様を示す流れ図。
【図6】[0038]いくつかの例による、参照ピクチャリサンプリングの態様を示す流れ図。
【図7】[0039]いくつかの例による、例示的なビデオ符号化デバイスを示すブロック図。
【図8】[0040]いくつかの例による、例示的なビデオ復号デバイスを示すブロック図。
【発明を実施するための形態】
【0033】
[0041]本開示のいくつかの態様および実施形態が以下で提供される。当業者に明らかであるように、これらの態様および実施形態のうちのいくつかは独立して適用され得、それらのうちのいくつかは組み合わせて適用され得る。以下の説明では、説明の目的で、本出願の実施形態の完全な理解を与えるために具体的な詳細が記載される。ただし、様々な実施形態は、これらの具体的な詳細なしに実施され得ることが明らかであろう。図および説明は限定するものではない。
【0034】
[0042]以下の説明は、例示的な実施形態のみを与えるものであり、本開示の範囲、適用性、または構成を限定するものではない。そうではなく、例示的な実施形態の以下の説明は、例示的な実施形態を実装することを可能にする説明を当業者に与える。添付の特許請求の範囲に記載されるように、本出願の趣旨および範囲から逸脱することなく、要素の機能および構成において様々な変更が行われ得ることを理解されたい。
【0035】
[0043]ビデオコーディングデバイスは、ビデオデータを効率的に符号化および復号するためのビデオ圧縮技法を実装する。ビデオ圧縮技法は、ビデオシーケンスに固有の冗長を低減または除去するために、空間予測（たとえば、イントラフレーム予測またはイントラ予測）、時間予測（たとえば、インターフレーム予測またはインター予測）、（ビデオデータの異なるレイヤにわたるレイヤ間予測、および／または他の予測技法を含む、異なる予測モードを適用することを含み得る。ビデオエンコーダは、元のビデオシーケンスの各ピクチャを（以下でより詳細に説明される）ビデオブロックまたはコーディングユニットと呼ばれる矩形領域に区分することができる。これらのビデオブロックは、特定の予測モードを使用して符号化され得る。
【0036】
[0044]ビデオブロックは、１つまたは複数のやり方で、より小さいブロックの１つまたは複数のグループに分割され得る。ブロックは、コーディングツリーブロック、予測ブロック、変換ブロック、および／または他の好適なブロックを含むことができる。概して「ブロック」への言及は、別段に規定されていない限り、そのようなビデオブロック（たとえば、当業者によって理解されるように、コーディングツリーブロック、コーディングブロック、予測ブロック、変換ブロック、または他の適切なブロックもしくはサブブロック）を指すことがある。さらに、これらのブロックの各々はまた、本明細書では、互換的に「ユニット」（たとえば、コーディングツリーユニット（ＣＴＵ）、コーディングユニット、予測ユニット（ＰＵ）、変換ユニット（ＴＵ）など）と呼ばれることがある。いくつかの場合には、ユニットは、ビットストリーム中で符号化されるコーディング論理ユニットを示し得、ブロックは、プロセスがターゲットであるビデオフレームバッファの一部分を示し得る。
【0037】
[0045]インター予測モードの場合、ビデオエンコーダは、参照フレームまたは参照ピクチャと呼ばれる、別の時間ロケーション中にあるフレーム（またはピクチャ）中で符号化されているブロックと同様のブロックを探索することができる。ビデオエンコーダは、その探索を、符号化されるべきブロックからのある空間変位に制限し得る。最良マッチが、水平変位成分と垂直変位成分とを含む２次元（２Ｄ）動きベクトルを使用して特定され得る。イントラ予測モードの場合、ビデオエンコーダは、同じピクチャ内の前に符号化された隣接ブロックからのデータに基づいて、空間予測技法を使用して、予測されたブロックを形成し得る。
【0038】
[0046]ビデオエンコーダは予測誤差を決定し得る。たとえば、予測は、符号化されているブロック中のピクセル値と予測されたブロック中のピクセル値との間の差分として決定され得る。予測誤差は残差と呼ばれることもある。ビデオエンコーダはまた、変換係数を生成するために、予測誤差に変換（たとえば、離散コサイン変換（ＤＣＴ）または他の好適な変換）を適用し得る。変換の後に、ビデオエンコーダは変換係数を量子化し得る。量子化変換係数と動きベクトルとは、シンタックス要素を使用して表され、制御情報とともに、ビデオシーケンスのコード化表現を形成し得る。いくつかの事例では、ビデオエンコーダはシンタックス要素をエントロピーコーディングし、それにより、さらに、それらの表現のために必要とされるビット数を低減し得る。
【0039】
[0047]ビデオデコーダは、上記で説明されたシンタックス要素および制御情報を使用して、現在のフレームを復号するための予測データ（たとえば、予測ブロック）を構築し得る。たとえば、ビデオデコーダは、予測されたブロックと圧縮された予測誤差とを加え得る。ビデオデコーダは、量子化係数を使用して変換基底関数を重み付けすることによって、圧縮された予測誤差を決定し得る。再構築されたフレームと元のフレームとの間の差分は、再構築誤差と呼ばれる。
【0040】
[0048]いくつかの例では、サンプルレート変換がビデオデータに適用され得る。サンプルレート変換は、リサンプリング、ダウンサンプリング、アップサンプリング、補間、および／または他のサンプルレート変換技法を含むことができる。たとえば、補間は、補間技法の中でも区分定数補間（piecewise constant interpolation）、線形補間（linear interpolation）、多項式補間（polynomial interpolation）およびスプライン補間（spline interpolation）を含むことができる。リサンプリングは、ダウンサンプリング、アップサンプリング、および／もしくはダウンサンプリングとアップサンプリングとの組合せ、または異なるサンプリングレートで新しいサンプルを取得することを含むことができる。
【0041】
[0049]いくつかのシステムでは、動き予測は、ブロック単位の動きデータシグナリングを簡略化するためにインター予測ブロックマージ技法を用いて向上され得る。補間タスクは、ピクチャ間のオブジェクトの変位が画像のためのピクセルグリッドとは無関係であるのでそのようなコンテキストで使用される。したがって、分数精度（たとえば、画像中のピクセル間の配置を推定すること）は、動きをより正確にキャプチャするために使用される。この分数精度によって、前に復号されたブロックからの動きデータの推測が可能になり得る。補間および分数参照ピクチャサンプルの場合、高精度は、フィルタ処理を改善することができる。例示的なシステムは、１／４ピクセル精度、１／８ピクセル精度、１／１６ピクセル精度、またはシステムに応じて他のそのような精度をもつ動きベクトルをサポートすることができる。いくつかの例では、ルーマおよびクロマ成分は、同じシステム中で異なる分数精度を有することができる。補間フィルタは、このコンテキストでは画像を処理するために使用され得る。さらに、複数の異なる補間フィルタが、異なる状況において（たとえば、動きベクトル値に基づいて）使用され得る。本明細書では、利用可能である異なる補間フィルタ間で選択することを補間フィルタスイッチングと呼ぶ。
【0042】
[0050]リサンプリングは、１つの画像からピクセル値を取り出し、ピクセル値からデータを「リサンプリングして」、新しい画像のための新しいピクセル値を生成することを指す。上記で説明されたように、リサンプリングは、より高い解像度の画像からのピクセル値がより低い解像度で画像を生成するために使用されるダウンサンプリング、ならびにより低い解像度の画像からのピクセル値がより高い解像度で画像を生成するために使用されるアップサンプリングを含むことができる。上記で説明された動き予測のコンテキストでは、異なるサイズ（たとえば、解像度）をもつ参照画像と現在の画像とは、動きベクトルを生成し、動き予測を実施するために使用され得る。リサンプリングは、参照ピクチャと現在のピクチャとの間のスケーリング差を管理するためにそのような状況で使用され得る。さらに、参照ピクチャと現在のピクチャとが同じサイズでないとき、リサンプリングを用いない補間フィルタ処理に好適だが、参照ピクチャリサンプリングを用いる補間フィルタ処理に好適でないフィルタがフィルタインデックスによって示され得る。
いくつかの画像処理システムでは、たとえば、補間のために使用される平滑化フィルタは、参照ピクチャリサンプリングのために使用されるときに不十分な結果を作成することがある。本明細書で説明される例は、適切なフィルタ値を識別し、符号化および復号デバイスの動作中に改善された符号化および復号結果を生成することによって復号および符号化デバイスの動作を改善する。一例では、この改善は、現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別し、（たとえば、参照ピクチャリサンプリングが使用される）現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なると決定することによって実装される。このコンテキストでは、例は、フィルタインデックス情報によって識別される現在のフィルタインデックスの代わりに（たとえば、現在のフィルタインデックスを使用せずに）デフォルトフィルタインデックスを使用してリサンプリングプロセスを実施する。様々な例の追加の態様について以下で説明する。
いくつかの画像処理システムでは、たとえば、補間のために使用される平滑化フィルタは、参照ピクチャリサンプリングのために使用されるときに不十分な結果を作成することがある。本明細書で説明される例は、適切なフィルタ値を識別し、符号化および復号デバイスの動作中に改善された符号化および復号結果を生成することによって復号および符号化デバイスの動作を改善する。一例では、この改善は、現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別し、（たとえば、参照ピクチャリサンプリングが使用される）現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なると決定することによって実装される。このコンテキストでは、例は、フィルタインデックス情報によって識別される現在のフィルタインデックスの代わりに（たとえば、現在のフィルタインデックスを使用せずに）デフォルトフィルタインデックスを使用してリサンプリングプロセスを実施する。様々な例の追加の態様について以下で説明する。
【0043】
[0051]本明細書で説明される技法は、既存のビデオコーデック（たとえば、高効率ビデオコーディング（ＨＥＶＣ）、アドバンストビデオコーディング（ＡＶＣ）、または他の好適な既存のビデオコーデック）のいずれかに適用され得るか、ならびに／あるいは、たとえば、汎用ビデオコーディング（ＶＶＣ）、共同探査モデル（ＪＥＭ）、および／または開発中のもしくは開発されることになる他のビデオコーディング規格など、任意の開発されているビデオコーディング規格および／または将来のビデオコーディング規格のための効率的なコーディングツールであり得る。
【0044】
[0052]図１は、符号化デバイス１０４と復号デバイス１１２とを含むシステム１００の一例を示すブロック図である。符号化デバイス１０４はソースデバイスの一部であり得、復号デバイス１１２は受信デバイスの一部であり得る。ソースデバイスおよび／または受信デバイスは、モバイルもしくは固定電話ハンドセット（たとえば、スマートフォン、セルラー電話など）、デスクトップコンピュータ、ラップトップもしくはノートブックコンピュータ、タブレットコンピュータ、セットトップボックス、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイス、インターネットプロトコル（ＩＰ）カメラ、または任意の他の好適な電子デバイスなど、電子デバイスを含み得る。いくつかの例では、ソースデバイスおよび受信デバイスは、ワイヤレス通信のための１つまたは複数のワイヤレストランシーバを含み得る。本明細書で説明されるコーディング技法は、（たとえば、インターネットを介した）ストリーミングビデオ送信、テレビジョン放送もしくは送信、データ記憶媒体上に記憶するためのデジタルビデオの符号化、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の適用例を含む、様々なマルチメディア適用例におけるビデオコーディングに適用可能である。いくつかの例では、システム１００は、ビデオ会議、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、ゲーム、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートすることができる。
【0045】
[0053]符号化デバイス１０４（またはエンコーダ）は、符号化ビデオビットストリームを生成するためにビデオコーディング規格またはプロトコルを使用してビデオデータを符号化するために使用され得る。ビデオコーディング規格の例は、ＩＴＵ－Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ－１ Ｖｉｓｕａｌ、ＩＴＵ－Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ－２ Ｖｉｓｕａｌ、ＩＴＵ－Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｖｉｓｕａｌ、そのスケーラブルビデオコーディング（ＳＶＣ）拡張とマルチビュービデオコーディング（ＭＶＣ）拡張とを含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ ＡＶＣとしても知られる）ＩＴＵ－Ｔ Ｈ．２６４、および高効率ビデオコーディング（ＨＥＶＣ）またはＩＴＵ－Ｔ Ｈ．２６５を含む。範囲およびスクリーンコンテンツコーディング拡張、３Ｄビデオコーディング（３Ｄ－ＨＥＶＣ）ならびにマルチビュー拡張（ＭＶ－ＨＥＶＣ）ならびにスケーラブル拡張（ＳＨＶＣ）を含む、マルチレイヤビデオコーディングに対処するＨＥＶＣへの様々な拡張が存在する。ＨＥＶＣおよびそれの拡張は、ＩＴＵ－Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ）およびＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ）の共同コラボレーションチームオンビデオコーディング（ＪＣＴ－ＶＣ）ならびに共同コラボレーションチームオン３Ｄビデオコーディング拡張開発（ＪＣＴ－３Ｖ）によって開発された。ＭＰＥＧとＩＴＵ－Ｔ ＶＣＥＧとはまた、次世代のビデオコーディング規格のための新しいコーディングツールを調査するために共同調査ビデオチーム（ＪＶＥＴ）を編成した。参照ソフトウェアは、ＪＥＭ（共同調査モデル）と呼ばれる。ＪＶＥＴによって開発されている新しいビデオコーディング規格は、汎用ビデオコーディング（ＶＶＣ）と呼ばれる。
【0046】
[0054]ＨＥＶＣは、ＩＴＵ－Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）とＩＳＯ／ＩＥＣ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）（２０１３）とのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ－ＶＣ）によって確定された。共同ビデオエキスパートチーム（ＪＶＥＴ）、ＭＰＥＧとＩＴＵ－Ｔ研究グループ１６のＶＣＥＧとによって形成されたコラボレーティブチームは、新しいＶＶＣビデオコーディング規格に取り組んでいる。ＶＶＣの目的は、（たとえば、特に、３６０°全方向没入型マルチメディア、高ダイナミックレンジ（ＨＤＲ）ビデオなど）より高品質のビデオサービスおよび新生のアプリケーションの展開を助ける、既存のＨＥＶＣ規格を超える圧縮性能における顕著な改善を提供することである。
【0047】
[0055]本明細書で説明される多くの実施形態は、ＪＥＭモデル、ＶＶＣ、ＨＥＶＣ規格、および／またはそれらの拡張を使用する例を提供する。しかしながら、上記のように、本明細書で説明される技法およびシステムは、ＡＶＣ、ＭＰＥＧ、ＪＰＥＧ（または静止画像のための他のコーディング規格）、それらの拡張、あるいはすでに利用可能であるか、またはまだ利用可能ではないか、もしくは開発されていない他の好適なコーディング規格など、他のコーディング規格にも適用可能であり得る。したがって、本明細書で説明される技法およびシステムは、特定のビデオコーディング規格を参照しながら説明され得るが、当業者は、説明がその特定の規格にのみ適用されると解釈されるべきではないことを諒解されよう。
【0048】
[0056]図１を参照すると、ビデオソース１０２は、符号化デバイス１０４にビデオデータを与え得る。ビデオソース１０２は、ソースデバイスの一部であり得るか、またはソースデバイス以外のデバイスの一部であり得る。ビデオソース１０２は、ビデオキャプチャデバイス（たとえば、ビデオカメラ、カメラフォン、ビデオフォンなど）、記憶されたビデオを含んでいるビデオアーカイブ、ビデオデータを与えるビデオサーバもしくはコンテンツプロバイダ、ビデオサーバもしくはコンテンツプロバイダからビデオを受信するビデオフィードインターフェース、コンピュータグラフィックスビデオデータを生成するためのコンピュータグラフィックスシステム、そのようなソースの組合せ、または任意の他の好適なビデオソースを含み得る。
【0049】
[0057]ビデオソース１０２からのビデオデータは、１つまたは複数の入力ピクチャまたはフレームを含み得る。ピクチャまたはフレームは、いくつかの場合には、ビデオの一部である静止画像である。いくつかの例では、ビデオソース１０２からのデータは、ビデオの一部でない静止画像であり得る。符号化デバイス１０４のエンコーダエンジン１０６（またはエンコーダ）は、符号化されたビデオビットストリームを生成するためにビデオデータを符号化する。いくつかの例では、符号化ビデオビットストリーム（または「ビデオビットストリーム」または「ビットストリーム」）は、一連の１つまたは複数のコード化ビデオシーケンスである。コード化ビデオシーケンス（ＣＶＳ）は、ベースレイヤ中の、いくつかのプロパティをもつランダムアクセスポイントピクチャを有するアクセスユニット（ＡＵ）で始まり、ベースレイヤ中の、いくつかのプロパティをもつランダムアクセスポイントピクチャを有する次のＡＵまでの、次のＡＵを含まない一連のＡＵを含む。たとえば、ＣＶＳを開始するランダムアクセスポイントピクチャのいくつかのプロパティは、１に等しいＲＡＳＬフラグ（たとえば、ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇ）を含み得る。他の場合、（０に等しいＲＡＳＬフラグをもつ）ランダムアクセスポイントピクチャはＣＶＳを開始しない。アクセスユニット（ＡＵ）は、１つまたは複数のコード化ピクチャと、同じ出力時間を共有するコード化ピクチャに対応する制御情報とを含む。ピクチャのコード化スライスは、ビットストリームレベルにおいて、ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットと呼ばれるデータユニット中にカプセル化される。たとえば、ＨＥＶＣビデオビットストリームは、ＮＡＬユニットを含む１つまたは複数のＣＶＳを含み得る。ＮＡＬユニットの各々はＮＡＬユニットヘッダを有する。一例では、ヘッダは、（マルチレイヤ拡張を除いて）Ｈ．２６４／ＡＶＣでは１バイトであり、ＨＥＶＣでは２バイトである。ＮＡＬユニットヘッダ中のシンタックス要素は、指定されたビットをとり、したがって、特にトランスポートストリーム、リアルタイムトランスポート（ＲＴＰ）プロトコル、ファイルフォーマットなど、すべての種類のシステムおよびトランスポートレイヤに可視である。
【0050】
[0058]ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットと非ＶＣＬ ＮＡＬユニットとを含む、ＮＡＬユニットの２つのクラスがＨＥＶＣ規格に存在する。ＶＣＬ ＮＡＬユニットは、コード化ピクチャデータの（以下で説明される）１つのスライスまたはスライスセグメントを含み、非ＶＣＬ ＮＡＬユニットは、１つまたは複数のコード化ピクチャに関係する制御情報を含む。いくつかの場合には、ＮＡＬユニットはパケットと呼ばれることがある。ＨＥＶＣ ＡＵは、コード化ピクチャデータを含んでいるＶＣＬ ＮＡＬユニットと、（もしあれば）コード化ピクチャデータに対応する非ＶＣＬ ＮＡＬユニットとを含む。
【0051】
[0059]ＮＡＬユニットは、ビデオ中のピクチャのコード化表現など、ビデオデータのコード化表現を形成するビットのシーケンス（たとえば、符号化ビデオビットストリーム、ビットストリームのＣＶＳなど）を含んでいることがある。エンコーダエンジン１０６は、各ピクチャを複数のスライスに区分することによってピクチャのコード化表現を生成する。スライスは、スライス中の情報が、同じピクチャ内の他のスライスからのデータへの依存性なしにコーディングされるように、他のスライスから独立している。スライスは、独立しているスライスセグメントを含む１つまたは複数のスライスセグメントと、存在する場合、前のスライスセグメントに依存する１つまたは複数の依存するスライスセグメントとを含む。スライスは、次いで、ルーマサンプルおよびクロマサンプルのコーディングツリーブロック（ＣＴＢ）に区分される。ルーマサンプルのＣＴＢおよびクロマサンプルの１つまたは複数のＣＴＢは、サンプルのためのシンタックスとともに、コーディングツリーユニット（ＣＴＵ）と呼ばれる。ＣＴＵは、ＨＥＶＣ符号化のための基本処理ユニットである。ＣＴＵは、様々なサイズの複数のコーディングユニット（ＣＵ）にスプリットされ得る。ＣＵは、コーディングブロック（ＣＢ）と呼ばれるルーマおよびクロマサンプルアレイを含んでいる。
【0052】
[0060]ルーマおよびクロマＣＢは、予測ブロック（ＰＢ）にさらにスプリットされ得る。ＰＢは、（利用可能なとき、または使用のために有効にされたとき）インター予測またはイントラブロックコピー予測のために同じ動きパラメータを使用するルーマ成分またはクロマ成分のサンプルのブロックである。ルーマＰＢおよび１つまたは複数のクロマＰＢは、関連するシンタックスとともに、予測ユニット（ＰＵ）を形成する。インター予測の場合、動きパラメータのセット（たとえば、１つまたは複数の動きベクトル、参照インデックスなど）は、ＰＵごとにビットストリーム中でシグナリングされ、ルーマＰＢおよび１つまたは複数のクロマＰＢのインター予測のために使用される。動きパラメータは動き情報と呼ばれることもある。ＣＢはまた、１つまたは複数の変換ブロック（ＴＢ）に区分され得る。ＴＢは、予測残差信号をコーディングするために同じ２次元変換が適用される色成分のサンプルの正方形ブロックを表現する。変換ユニット（ＴＵ）は、ルーマおよびクロマサンプルのＴＢと、対応するシンタックス要素とを表現する。
【0053】
[0061]ＣＵのサイズは、コーディングモードのサイズに対応し、形状が正方形であり得る。たとえば、ＣＵのサイズは、８×８サンプル、１６×１６サンプル、３２×３２サンプル、６４×６４サンプル、または対応するＣＴＵのサイズまでの任意の他の適切なサイズであり得る。「Ｎ×Ｎ」という句は、本明細書では、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法（たとえば、８ピクセル×８ピクセル）を指すために使用される。ブロック中のピクセルは行および列に配置され得る。いくつかの実施形態では、ブロックは、水平方向において垂直方向と同じ数のピクセルを有するとは限らない。ＣＵに関連するシンタックスデータは、たとえば、１つまたは複数のＰＵへのＣＵの区分を記述し得る。区分モードは、ＣＵがイントラ予測モード符号化されるか、それともインター予測モード符号化されるかの間で異なる場合がある。ＰＵは、形状が非正方形に区分され得る。ＣＵに関連付けられるシンタックスデータは、たとえば、ＣＴＵに従う１つまたは複数のＴＵへのＣＵの区分をも記述し得る。ＴＵは、形状が正方形または非正方形であり得る。
【0054】
[0062]ＨＥＶＣ規格によれば、変換は、変換ユニット（ＴＵ）を使用して実施され得る。ＴＵは、異なるＣＵでは異なり得る。ＴＵは、所与のＣＵ内のＰＵのサイズに基づいてサイズ決定され得る。ＴＵは、ＰＵと同じサイズであるか、またはＰＵよりも小さいことがある。いくつかの例では、ＣＵに対応する残差サンプルは、残差４分木（ＲＱＴ）として知られる４分木構造を使用して、より小さいユニットに再分割され得る。ＲＱＴのリーフノードはＴＵに対応し得る。ＴＵに関連するピクセル差分値は、変換係数を作り出すために変換され得る。変換係数は、次いで、エンコーダエンジン１０６によって量子化され得る。
【0055】
[0063]ビデオデータのピクチャがＣＵに区分されると、エンコーダエンジン１０６は、予測モードを使用して各ＰＵを予測する。予測ユニットまたは予測ブロックは、次いで、（以下で説明される）残差を得るために元のビデオデータから減算される。ＣＵごとに、シンタックスデータを使用してビットストリーム内で予測モードがシグナリングされ得る。予測モードは、イントラ予測（もしくはピクチャ内予測）またはインター予測（もしくはピクチャ間予測）を含み得る。イントラ予測は、ピクチャ内の空間的に隣接するサンプル間の相関を利用する。たとえば、イントラ予測を使用して、各ＰＵは、たとえば、ＰＵに関する平均値を見つけるためのＤＣ予測、平坦面をＰＵに適合させるための平面予測、隣接データから外挿するための方向予測、または任意の他の好適なタイプの予測を使用して、同じピクチャ中の隣接画像データから予測される。インター予測は、画像サンプルのブロックについての動き補償予測を導出するためにピクチャ間の時間相関を使用する。たとえば、インター予測を使用して、各ＰＵは、（出力順序において現在ピクチャの前または後の）１つまたは複数の参照ピクチャ中の画像データからの動き補償予測を使用して予測される。ピクチャ間予測を使用してピクチャエリアをコーディングすべきなのか、ピクチャ内予測を使用してピクチャエリアをコーディングすべきなのかの決定は、たとえば、ＣＵレベルにおいて行われ得る。
【0056】
[0064]いくつかの例では、ピクチャの１つまたは複数のスライスは、スライスタイプを割り当てられる。スライスタイプは、Ｉスライスと、Ｐスライスと、Ｂスライスとを含む。Ｉスライス（フレーム内、独立して復号可能）は、イントラ予測によってのみコーディングされるピクチャのスライスであり、したがって、Ｉスライスは、スライスの任意の予測ユニットまたは予測ブロックを予測するためにフレーム内のデータのみを必要とするので、独立して復号可能である。Ｐスライス（単方向予測されるフレーム）は、イントラ予測を用いて、および単方向インター予測を用いてコーディングされ得るピクチャのスライスである。Ｐスライス内の各予測ユニットまたは予測ブロックは、イントラ予測またはインター予測のいずれかを用いてコーディングされる。インター予測が適用されるとき、予測ユニットまたは予測ブロックは、１つの参照ピクチャによってのみ予測され、したがって、参照サンプルは、１つのフレームの１つの参照領域からのみのものである。Ｂスライス（双方向予測フレーム）は、イントラ予測を用いて、およびインター予測（たとえば、双予測または単予測のいずれか）を用いてコーディングされ得るピクチャのスライスである。Ｂスライスの予測ユニットまたは予測ブロックは、２つの参照ピクチャから双方向予測され得、ここで、各ピクチャが１つの参照領域を導き、双方向予測されたブロックの予測信号を作り出すために、２つの参照領域のサンプルセットが（たとえば、等しい重みを用いて、または異なる重みを用いて）重み付けされる。上記で説明されたように、１つのピクチャのスライスが独立してコーディングされる。いくつかの場合には、ピクチャは、ただ１つのスライスとしてコーディングされ得る。
【0057】
[0065]上記のように、ピクチャ内予測は、ピクチャ内の空間的に隣接するサンプル間の相関を利用する。ピクチャ間予測は、画像サンプルのブロックについての動き補償予測を導出するためにピクチャ間の時間相関を使用する。並進運動モデルを使用して、前に復号されたピクチャ（参照ピクチャ）中のブロックの位置は、動きベクトル（Δｘ，Δｙ）によって示され、Δｘは、現在ブロックの位置に対する参照ブロックの水平変位を指定し、Δｙはその垂直変位を指定する。いくつかの場合には、動きベクトル（Δｘ，Δｙ）は、（整数精度とも呼ばれる）整数サンプル精度であり得、その場合、動きベクトルは、参照フレームの整数ペルグリッド（または整数ピクセルサンプリンググリッド）を指す。いくつかの場合には、動きベクトル（Δｘ，Δｙ）は、参照フレームの整数ペルグリッドに制限されることなしに、基礎をなすオブジェクトの移動をより正確にキャプチャするために、（分数ペル精度または非整数精度とも呼ばれる）分数サンプル精度のものであり得る。動きベクトルの精度は、動きベクトルの量子化レベルによって表され得る。たとえば、量子化レベルは、整数精度（たとえば、１ピクセル）または分数ペル精度（たとえば、１／４ピクセル、１／２ピクセル、または他のサブピクセル値）であり得る。対応する動きベクトルが分数サンプル精度を有するとき、予測信号を導出するために、参照ピクチャに補間が適用される。たとえば、整数位置において利用可能なサンプルは、分数位置における値を推定するために、（たとえば、１つまたは複数の補間フィルタを使用して）フィルタ処理され得る。前に復号された参照ピクチャは、参照ピクチャリストへの参照インデックス（ｒｅｆＩｄｘ）によって示される。動きベクトルおよび参照インデックスは、動きパラメータと呼ばれることがある。単予測と双予測とを含む、２つの種類のピクチャ間予測が実施され得る。
【0058】
[0066]双予測を使用するインター予測の場合、動きパラメータの２つのセット（Δｘ0、Δｙ0、ｒｅｆＩｄｘ0、および、Δｘ1、Δｙ1、ｒｅｆＩｄｘ1）が、（同じ参照ピクチャから、または場合によっては異なる参照ピクチャから）２つの動き補償予測を生成するために使用される。たとえば、双予測の場合、各予測ブロックは、２つの動き補償予測信号を使用し、Ｂ予測ユニットを生成する。２つの動き補償予測は、次いで、最終の動き補償予測を得るために組み合わせられる。たとえば、２つの動き補償予測は、平均化によって組み合わせられ得る。別の例では、重み付け予測が使用され得、その場合、異なる重みが、各動き補償予測に適用され得る。双予測において使用され得る参照ピクチャは、リスト０およびリスト１として示される、２つの別個のリストに記憶される。動きパラメータは、動き推定プロセスを使用してエンコーダにおいて導出され得る。
【0059】
[0067]単予測を使用するインター予測の場合、動きパラメータ（Δｘ0，Δｙ0，ｒｅｆＩｄｘ0）の１つのセットが、参照ピクチャから動き補償予測を生成するために使用される。たとえば、単予測の場合、各予測ブロックは、高々１つの動き補償予測信号を使用し、Ｐ予測ユニットを生成する。
【0060】
[0068]ＰＵは、予測プロセスに関係するデータ（たとえば、動きパラメータまたは他の好適なデータ）を含み得る。たとえば、ＰＵがイントラ予測を使用して符号化されるとき、ＰＵは、ＰＵのためのイントラ予測モードを記述するデータを含み得る。別の例として、ＰＵがインター予測を使用して符号化されるとき、ＰＵは、ＰＵのための動きベクトルを定義するデータを含み得る。ＰＵのための動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分（Δｘ）、動きベクトルの垂直成分（Δｙ）、動きベクトルの解像度（たとえば、整数精度、１／４ピクセル精度、または１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、参照インデックス、動きベクトルのための参照ピクチャリスト（たとえば、リスト０、リスト１、またはリストＣ）、またはそれらの任意の組合せを記述し得る。
【0061】
[0069]符号化デバイス１０４は、次いで、変換および量子化を実施し得る。たとえば、予測の後に、エンコーダエンジン１０６は、ＰＵに対応する残差値を計算し得る。残差値は、コーディングされているピクセルの現在ブロック（ＰＵ）と、現在ブロックを予測するために使用される予測ブロック（たとえば、現在ブロックの予測されたバージョン）との間のピクセル差分値を備え得る。たとえば、（たとえば、インター予測またはイントラ予測を使用して）予測ブロックを生成した後に、エンコーダエンジン１０６は、現在ブロックから、予測ユニットによって作り出された予測ブロックを減算することによって、残差ブロックを生成することができる。残差ブロックは、現在ブロックのピクセル値と予測ブロックのピクセル値との間の差分を定量化するピクセル差分値のセットを含む。いくつかの例では、残差ブロックは、２次元ブロックフォーマット（たとえば、ピクセル値の２次元行列またはアレイ）で表され得る。そのような例では、残差ブロックはピクセル値の２次元表現である。
【0062】
[0070]予測が実施された後に残存し得るいずれの残差データも、離散コサイン変換、離散サイン変換、整数変換、ウェーブレット変換、他の好適な変換関数、またはそれらの任意の組合せに基づき得るブロック変換を使用して変換される。いくつかの場合には、１つまたは複数のブロック変換（たとえば、サイズ３２×３２、１６×１６、８×８、４×４、または他の好適なサイズ）が各ＣＵにおける残差データに適用され得る。いくつかの実施形態では、エンコーダエンジン１０６によって実装される変換および量子化プロセスのためにＴＵが使用され得る。１つまたは複数のＰＵを有する所与のＣＵは、１つまたは複数のＴＵをも含み得る。以下でさらに詳細に説明されるように、残差値は、ブロック変換を使用して変換係数に変換され得、次いで、エントロピーコーディングのためのシリアル化変換係数を作り出すために、ＴＵを使用して量子化および走査され得る。
【0063】
[0071]いくつかの実施形態では、ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後に、エンコーダエンジン１０６は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、空間領域（またはピクセル領域）においてピクセルデータを備え得る。ＴＵは、ブロック変換の適用の後に変換領域において係数を備え得る。前記のように、残差データは、符号化されていないピクチャのピクセルとＰＵに対応する予測値との間のピクセル差分値に対応し得る。エンコーダエンジン１０６は、ＣＵのための残差データを含むＴＵを形成し得、次いで、ＣＵのための変換係数を作り出すためにＴＵを変換し得る。
【0064】
[0072]エンコーダエンジン１０６は、変換係数の量子化を実施し得る。量子化は、係数を表すために使用されるデータの量を低減するために変換係数を量子化することによって、さらなる圧縮を与える。たとえば、量子化は、係数の一部または全部に関連するビット深度を低減し得る。一例では、ｎビット値をもつ係数は、量子化中にｍビット値に切り捨てられ得、ｎはｍよりも大きい。
【0065】
[0073]量子化が実施されると、コード化ビデオビットストリームは、量子化変換係数と、予測情報（たとえば、予測モード、動きベクトル、ブロックベクトルなど）と、区分情報と、他のシンタックスデータなどの任意の他の好適なデータとを含む。コード化ビデオビットストリームの異なる要素は、次いで、エンコーダエンジン１０６によってエントロピー符号化され得る。いくつかの例では、エンコーダエンジン１０６は、エントロピー符号化され得るシリアル化ベクトルを作り出すために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。いくつかの例では、エンコーダエンジン１０６は適応型走査を実施し得る。ベクトル（たとえば、１次元ベクトル）を形成するために量子化変換係数を走査した後に、エンコーダエンジン１０６は、ベクトルをエントロピー符号化し得る。たとえば、エンコーダエンジン１０６は、コンテキスト適応型可変長コーディング、コンテキスト適応型バイナリ算術コーディング、シンタックスベースコンテキスト適応型バイナリ算術コーディング、確率間隔区分エントロピーコーディング、または別の好適なエントロピー符号化技法を使用し得る。
【0066】
[0074]符号化デバイス１０４の出力部１１０は、通信リンク１２０を介して受信デバイスの復号デバイス１１２に、符号化ビデオビットストリームデータを構成するＮＡＬユニットを送り得る。復号デバイス１１２の入力部１１４はＮＡＬユニットを受信し得る。通信リンク１２０は、ワイヤレスネットワーク、ワイヤードネットワーク、またはワイヤードネットワークとワイヤレスネットワークとの組合せによって与えられるチャネルを含み得る。ワイヤレスネットワークは、任意のワイヤレスインターフェースまたはワイヤレスインターフェースの組合せを含み得、任意の好適なワイヤレスネットワーク（たとえば、インターネットまたは他のワイドエリアネットワーク、パケットベースネットワーク、ＷｉＦｉ（登録商標）、無線周波数（ＲＦ）、ＵＷＢ、ＷｉＦｉ－Ｄｉｒｅｃｔ、セルラー、ロングタームエボリューション（ＬＴＥ（登録商標））、ＷｉＭａｘ（登録商標）など）を含み得る。ワイヤードネットワークは、任意のワイヤードインターフェース（たとえば、ファイバー、イーサネット（登録商標）、電力線イーサネット、同軸ケーブルを介したイーサネット、デジタル信号線（ＤＳＬ）など）を含み得る。ワイヤードおよび／またはワイヤレスネットワークは、基地局、ルータ、アクセスポイント、ブリッジ、ゲートウェイ、スイッチなど、様々な機器を使用して実装され得る。符号化ビデオビットストリームデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、受信デバイスに送信され得る。
【0067】
[0075]いくつかの例では、符号化デバイス１０４は、符号化ビデオビットストリームデータを記憶装置１０８に記憶し得る。出力部１１０は、エンコーダエンジン１０６から、または記憶装置１０８から符号化ビデオビットストリームデータを取り出し得る。記憶装置１０８は、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。たとえば、記憶装置１０８は、ハードドライブ、記憶ディスク、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体を含み得る。
【0068】
[0076]復号デバイス１１２の入力部１１４は、符号化ビデオビットストリームデータを受信し、ビデオビットストリームデータをデコーダエンジン１１６に、またはデコーダエンジン１１６による後の使用のために記憶装置１１８に与え得る。デコーダエンジン１１６は、（たとえば、エントロピーデコーダを使用して）エントロピー復号し、符号化ビデオデータを構成する１つまたは複数のコード化ビデオシーケンスの要素を抽出することによって、符号化ビデオビットストリームデータを復号し得る。デコーダエンジン１１６は、次いで、符号化ビデオビットストリームデータを再スケーリングし、符号化ビデオビットストリームデータに対して逆変換を実施し得る。残差データが、次いで、デコーダエンジン１１６の予測段階にパスされる。デコーダエンジン１１６は、次いで、ピクセルのブロック（たとえば、ＰＵ）を予測する。いくつかの例では、逆変換の出力（残差データ）に予測が加算される。
【0069】
[0077]復号デバイス１１２は、復号ビデオをビデオ宛先デバイス１２２に出力し得、ビデオ宛先デバイス１２２は、復号ビデオデータをコンテンツの消費者に表示するためのディスプレイまたは他の出力デバイスを含み得る。いくつかの態様では、ビデオ宛先デバイス１２２は、復号デバイス１１２を含む受信デバイスの一部であり得る。いくつかの態様では、ビデオ宛先デバイス１２２は、受信デバイス以外の別個のデバイスの一部であり得る。
【0070】
[0078]いくつかの実施形態では、ビデオ符号化デバイス１０４および／またはビデオ復号デバイス１１２は、それぞれオーディオ符号化デバイスおよびオーディオ復号デバイスと統合され得る。ビデオ符号化デバイス１０４および／またはビデオ復号デバイス１１２はまた、１つもしくは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、上記で説明されたコーディング技法を実装するために必要である他のハードウェアまたはソフトウェアを含み得る。ビデオ符号化デバイス１０４およびビデオ復号デバイス１１２は、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。符号化デバイス１０４の具体的な詳細の一例は、図７を参照しながら以下で説明される。復号デバイス１１２の具体的な詳細の一例は、図８を参照しながら以下で説明される。
【0071】
[0079]ＨＥＶＣ規格に対する拡張は、ＭＶ－ＨＥＶＣと呼ばれるマルチビュービデオコーディング拡張と、ＳＨＶＣと呼ばれるスケーラブルビデオコーディング拡張とを含む。ＭＶ－ＨＥＶＣ拡張およびＳＨＶＣ拡張は、階層化コーディングの概念を共有し、異なるレイヤが符号化ビデオビットストリーム中に含まれる。コード化ビデオシーケンス中の各レイヤは、一意のレイヤ識別子（ＩＤ）によってアドレス指定される。レイヤＩＤは、ＮＡＬユニットがそれに関連するレイヤを識別するために、ＮＡＬユニットのヘッダ中に存在し得る。ＭＶ－ＨＥＶＣでは、異なるレイヤは、ビデオビットストリーム中の同じシーンの異なるビューを表すことができる。ＳＨＶＣでは、異なる空間解像度（またはピクチャ解像度）で、または異なる再構築忠実度でビデオビットストリームを表す異なるスケーラブルレイヤが与えられる。スケーラブルレイヤは、（レイヤＩＤ＝０である）ベースレイヤと（レイヤＩＤ＝１、２、．．．ｎである）１つまたは複数のエンハンスメントレイヤとを含み得る。ベースレイヤは、ＨＥＶＣの第１のバージョンのプロファイルに適合し得、ビットストリーム中の利用可能な最下位レイヤを表す。エンハンスメントレイヤは、ベースレイヤと比較して、増加された空間解像度、時間解像度もしくはフレームレート、および／または再構築忠実度（もしくは品質）を有する。エンハンスメントレイヤは、階層的に編成されており、下位レイヤに依存すること（または依存しないこと）がある。いくつかの例では、単一規格コーデックを使用して、異なるレイヤがコーディングされ得る（たとえば、ＨＥＶＣ、ＳＨＶＣ、または他のコーディング規格を使用して、すべてのレイヤが符号化される）。いくつかの例では、多規格コーデックを使用して、異なるレイヤがコーディングされ得る。たとえば、ベースレイヤは、ＡＶＣを使用してコーディングされ得るが、１つまたは複数のエンハンスメントレイヤは、ＨＥＶＣ規格に対するＳＨＶＣ拡張および／またはＭＶ－ＨＥＶＣ拡張を使用してコーディングされ得る。
【0072】
[0080]概して、レイヤは、ＶＣＬ ＮＡＬユニットのセットと非ＶＣＬ ＮＡＬユニットの対応するセットとを含む。ＮＡＬユニットは、特定のレイヤＩＤ値を割り当てられる。レイヤは、レイヤが下位レイヤに依存することがあるという意味で、階層的であり得る。レイヤセットは、自己完結型であるビットストリーム内で表されるレイヤのセットを指し、これは、レイヤセット内のレイヤが、復号プロセスにおいてレイヤセット中の他のレイヤに依存し得るが、復号のために任意の他のレイヤに依存しないことを意味する。したがって、レイヤセット中のレイヤは、ビデオコンテンツを表すことができる独立したビットストリームを形成することができる。レイヤセット中のレイヤのセットは、サブビットストリーム抽出プロセスの動作によって別のビットストリームから取得され得る。レイヤセットは、いくつかのパラメータに従ってデコーダが動作することを希望するときに復号されることになるレイヤのセットに対応し得る。
【0073】
[0081]前に説明されたように、ＨＥＶＣビットストリームは、ＶＣＬ ＮＡＬユニットと非ＶＣＬ ＮＡＬユニットとを含む、ＮＡＬユニットのグループを含む。ＶＣＬ ＮＡＬユニットは、コード化ビデオビットストリームを形成するコード化ピクチャデータを含む。たとえば、コード化ビデオビットストリームを形成するビットのシーケンスは、ＶＣＬ ＮＡＬユニット中に存在する。非ＶＣＬ ＮＡＬユニットは、他の情報に加えて、符号化ビデオビットストリームに関係する高レベル情報をもつパラメータセットを含んでいることがある。たとえば、パラメータセットは、ビデオパラメータセット（ＶＰＳ）と、シーケンスパラメータセット（ＳＰＳ）と、ピクチャパラメータセット（ＰＰＳ）とを含み得る。パラメータセットの目標の例は、ビットレート効率と、エラーレジリエンシーと、システムレイヤインターフェースを与えることとを含む。各スライスは、復号デバイス１１２がそのスライスを復号するために使用し得る情報にアクセスするために、単一のアクティブなＰＰＳ、ＳＰＳ、およびＶＰＳを参照する。ＶＰＳ識別子（ＩＤ）と、ＳＰＳ ＩＤと、ＰＰＳ ＩＤとを含むＩＤが、パラメータセットごとにコーディングされ得る。ＳＰＳは、ＳＰＳ ＩＤとＶＰＳ ＩＤとを含む。ＰＰＳは、ＰＰＳ ＩＤとＳＰＳ ＩＤとを含む。各スライスヘッダはＰＰＳ ＩＤを含む。ＩＤを使用して、アクティブなパラメータセットが所与のスライスについて識別され得る。
【0074】
[0082]ＰＰＳは、所与のピクチャ中のすべてのスライスに適用される情報を含む。このため、ピクチャ中のすべてのスライスは、同じＰＰＳを指す。異なるピクチャ中のスライスも、同じＰＰＳを指すことがある。ＳＰＳは、同じコード化ビデオシーケンス（ＣＶＳ）またはビットストリーム中のすべてのピクチャに適用される情報を含む。前に説明されたように、コード化ビデオシーケンスは、（上記で説明された）ベースレイヤ中の、いくつかのプロパティをもつランダムアクセスポイントピクチャ（たとえば、瞬時復号参照（ＩＤＲ：instantaneous decode reference）ピクチャもしくは切断リンクアクセス（ＢＬＡ：broken link access）ピクチャ）、または他の適切なランダムアクセスポイントピクチャ）で開始し、ベースレイヤ中の、いくつかのプロパティをもつランダムアクセスポイントピクチャを有する次のアクセスユニット（ＡＵ）までの、次のＡＵ（またはビットストリームの終端）を含まない、一連のＡＵである。ＳＰＳ中の情報は、コード化ビデオシーケンス内でピクチャごとに変化しないことがある。コード化ビデオシーケンス中のピクチャは、同じＳＰＳを使用し得る。ＶＰＳは、コード化ビデオシーケンスまたはビットストリーム内のすべてのレイヤに適用される情報を含む。ＶＰＳは、コード化ビデオシーケンス全体に適用されるシンタックス要素をもつシンタックス構造を含む。いくつかの実施形態では、ＶＰＳ、ＳＰＳ、またはＰＰＳは、符号化ビットストリームとともに帯域内で送信され得る。いくつかの実施形態では、ＶＰＳ、ＳＰＳ、またはＰＰＳは、コード化ビデオデータを含んでいるＮＡＬユニットとは別個の送信において帯域外で送信され得る。
【0075】
[0083]ビデオビットストリームは、補足エンハンスメント情報（ＳＥＩ）メッセージをも含むことができる。たとえば、ＳＥＩ ＮＡＬユニットはビデオビットストリームの一部であり得る。いくつかの場合には、ＳＥＩメッセージは、復号プロセスによって必要とされない情報を含んでいることがある。たとえば、ＳＥＩメッセージ中の情報は、ビットストリームのビデオピクチャを復号するためのデコーダにとって必須でないことがあるが、デコーダは、ピクチャの表示または処理（たとえば、復号された出力）を改善するためにその情報を使用であることができる。ＳＥＩメッセージ中の情報は埋込みメタデータであり得る。１つの例示的な例では、ＳＥＩメッセージ中の情報は、コンテンツの視認性を改善するためにデコーダ側エンティティによって使用され得る。いくつかの事例では、いくつかの適用例規格は、適用例規格に準拠するすべてのデバイスに品質の改善がもたらされ得るように、ビットストリーム中のそのようなＳＥＩメッセージの存在（たとえば、多くの他の例に加えて、フレームパッキングＳＥＩメッセージがビデオのあらゆるフレームのために搬送される、フレーム互換平面立体視３ＤＴＶビデオフォーマットのためのフレームパッキングＳＥＩメッセージの搬送、リカバリポイントＳＥＩメッセージの処理、ＤＶＢにおけるパンスキャンスキャン矩形ＳＥＩメッセージの使用）を規定し得る。
【0076】
[0084]いくつかの実施形態では、ビデオ符号化デバイス１０４および／またはビデオ復号デバイス１１２は、それぞれオーディオ符号化デバイスおよびオーディオ復号デバイスと統合され得る。ビデオ符号化デバイス１０４および／またはビデオ復号デバイス１１２はまた、１つもしくは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、上記で説明されたコーディング技法を実装するために必要である他のハードウェアまたはソフトウェアを含み得る。ビデオ符号化デバイス１０４およびビデオ復号デバイス１１２は、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。符号化デバイス１０４の具体的な詳細の一例は、図７を参照しながら以下で説明される。復号デバイス１１２の具体的な詳細の一例は、図８を参照しながら以下で説明される。
【0077】
[0085]図１に示されている例示的なシステムは、本明細書で使用され得る１つの例示的な例である。本明細書で説明される技法を使用してビデオデータを処理するための技法は、任意のデジタルビデオ符号化および／または復号デバイスによって実施され得る。概して、本開示の技法はビデオ符号化デバイスまたはビデオ復号デバイスによって実施されるが、本技法は、一般に「コーデック」と呼ばれる複合ビデオエンコーダ／デコーダによっても実施され得る。さらに、本開示の技法はまた、ビデオプリプロセッサによって実施され得る。ソースデバイスおよび受信デバイスは、ソースデバイスが受信デバイスに送信するためのコード化ビデオデータを生成するような、コーディングデバイスの例にすぎない。いくつかの例では、ソースデバイスおよび受信デバイスは、デバイスの各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、例示的なシステムは、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ビデオデバイス間の一方向または双方向のビデオ送信をサポートし得る。
【0078】
[0086]上記で説明したように、各ブロックについて、（本明細書では動きパラメータとも呼ばれる）動き情報のセットが利用可能であり得る。動き情報のセットは、前方予測方向および後方予測方向のための動き情報を含んでいる。前方予測方向および後方予測方向は、双方向予測モードの２つの予測方向であり、その場合、「前方」および「後方」という用語は、必ずしも幾何学的意味を有するとは限らない。代わりに、「前方」および「後方」は、現在ピクチャの参照ピクチャリスト０（ＲｅｆＰｉｃＬｉｓｔ０またはＬ０）および参照ピクチャリスト１（ＲｅｆＰｉｃＬｉｓｔ１またはＬ１）に対応する。いくつかの例では、ピクチャまたはスライスについて１つの参照ピクチャリストのみが利用可能であるとき、ＲｅｆＰｉｃＬｉｓｔ０のみが利用可能であり、スライスの各ブロックの動き情報は常に前方である。
【0079】
[0087]いくつかの場合には、動きベクトルが、その参照インデックスとともに、コーディングプロセス（たとえば、動き補償）において使用される。関連する参照インデックスをもつそのような動きベクトルは、動き情報の単予測セットとして示される。各予測方向について、動き情報は、参照インデックスと動きベクトルとを含んでいることがある。いくつかの場合には、簡単のために、動きベクトル自体は、それが、関連する参照インデックスを有すると仮定されるように言及され得る。参照インデックスは、現在参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１）中の参照ピクチャを識別するために使用される。動きベクトルは、現在ピクチャにおける座標位置から、参照インデックスによって識別される参照ピクチャにおける座標へのオフセットを与える水平成分と垂直成分とを有する。たとえば、参照インデックスは、現在ピクチャ中のブロックのために使用されるべきである特定の参照ピクチャを示すことができ、動きベクトルは、参照ピクチャ中で、最も良く一致したブロック（現在ブロックに最も良く一致するブロック）が参照ピクチャ中のどこにあるかを示すことができる。
【0080】
[0088]ビデオコーディング規格において、ピクチャの表示順序を識別するためにピクチャ順序カウント（ＰＯＣ）が使用され得る。１つのコード化ビデオシーケンス内の２つのピクチャが同じＰＯＣ値を有し得る場合があるが、一般に、それはコード化ビデオシーケンス内で起こらない。複数のコード化ビデオシーケンスがビットストリーム中に存在するとき、ＰＯＣの同じ値をもつピクチャは、復号順序に関して互いに近いことがある。ピクチャのＰＯＣ値は、参照ピクチャリスト構築と、ＨＥＶＣの場合のような参照ピクチャセットの導出と、動きベクトルスケーリングとのために使用され得る。
【0081】
[0089]Ｈ．２６４／ＡＶＣでは、各インターマクロブロック（ＭＢ）は、１つの１６×１６ＭＢ区分と、２つの１６×８ＭＢ区分と、２つの８×１６ＭＢ区分と、４つの８×８ＭＢ区分とを含む、４つの異なる方法で区分され得る。１つのＭＢ中の異なるＭＢ区分は、各方向について異なる参照インデックス値（ＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１）を有し得る。場合によっては、ＭＢが４つの８×８ＭＢ区分へと区分されないとき、ＭＢは、各ＭＢ区分について各方向に１つの動きベクトルしか有することができない。場合によっては、ＭＢが４つの８×８ＭＢ区分へと区分されるとき、各８×８ＭＢ区分は、サブブロックにさらに区分され得、その場合、各サブブロックは、各方向に異なる動きベクトルを有することができる。いくつかの例では、１つの８×８サブブロックと、２つの８×４サブブロックと、２つの４×８サブブロックと、４つの４×４サブブロックとを含むサブブロックを８×８ＭＢの区分から得るために、４つの異なる方法がある。各サブブロックは、各方向に異なる動きベクトルを有することができる。したがって、動きベクトルは、サブブロックよりも高いに等しいレベルにおいて存在する。
【0082】
[0090]ＡＶＣでは、時間直接モードは、Ｂスライス中のスキップおよび／または直接モードについてＭＢレベルまたはＭＢ区分レベルのいずれかにおいて有効にされ得る。各ＭＢ区分について、動きベクトルを導出するために、現在のブロックのＲｅｆＰｉｃＬｉｓｔ１［０］中の現在のＭＢ区分とコロケートされるブロックの動きベクトルが使用される。コロケートされたブロック中の各動きベクトルは、ＰＯＣ距離に基づいてスケーリングされる。
【0083】
[0091]空間直接モードはまた、ＡＶＣで実施され得る。たとえば、ＡＶＣでは、直接モードはまた、空間ネイバーから動き情報を予測することができる。
【0084】
[0092]ＨＥＶＣでは、スライス中の最大コーディングユニットはコーディングツリーブロック（ＣＴＢ）と呼ばれる。ＣＴＢは４分木を含んでおり、そのノードはコーディングユニットである。ＣＴＢのサイズは、ＨＥＶＣメインプロファイルにおいて１６×１６から６４×６４にわたることができる。場合によっては、８×８のＣＴＢサイズがサポートされ得る。コーディングユニット（ＣＵ）は、ＣＴＢの同じサイズであり、８×８程度に小さくなり得る。場合によっては、各コーディングユニットは１つのモードでコーディングされる。ＣＵがインターコーディングされるとき、ＣＵは、２つもしくは４つの予測ユニット（ＰＵ）にさらに区分され得るか、または、さらなる区分が適用されないとき、ただ１つのＰＵになり得る。１つのＣＵの中に２つのＰＵが存在するとき、それらは半分のサイズの長方形、またはＣＵの１／４もしくは３／４のサイズを有する２つの長方形であり得る。
【0085】
[0093]ＣＵがインターコーディングされるとき、ＰＵごとに動き情報の１つのセットが存在する。さらに、各ＰＵは、動き情報のセットを導出するために一意のインター予測モードでコーディングされる。
【0086】
[0094]ＨＥＶＣにおける動き予測の場合、予測ユニット（ＰＵ）のためのマージモードと高度動きベクトル予測（ＡＭＶＰ）モードとを含む、２つのインター予測モードがある。スキップは、マージの特殊な場合と見なされる。ＡＭＶＰモードまたはマージモードのいずれかでは、動きベクトル（ＭＶ）候補リストが、複数の動きベクトル予測子について維持される。現在のＰＵの、動きベクトル、ならびにマージモードにおける参照インデックスは、ＭＶ候補リストから１つの候補をとることによって生成される。いくつかの例では、以下で説明されるように、１つまたは複数の記憶された局所照明補償（ＬＩＣ）フラグが、ＭＶ候補リスト中に記憶された動きベクトルとともに含まれ得る。
【0087】
[0095]ＭＶ候補リストがブロックの動き予測（および適用可能な場合、照明補償）のために使用される例では、ＭＶ候補リストは、符号化デバイスと復号デバイスとによって別個に構築され得る。たとえば、ＭＶ候補リストは、ブロックを符号化するときに符号化デバイスによって生成され得、ブロックを復号するときに復号デバイスによって生成され得る。ＭＶ候補リスト中の動き情報候補に関係する情報（たとえば、１つもしくは複数の動きベクトルに関係する情報、場合によってはＭＶ候補リスト中に記憶され得る１つもしくは複数のＬＩＣフラグに関係する情報、および／または他の情報）は、符号化デバイスと復号デバイスとの間でシグナリングされ得る。たとえば、マージモードでは、記憶された動き情報候補へのインデックス値が、（たとえば、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ビデオパラメータセット（ＶＰＳ）などのシンタックス構造、スライスヘッダ、ビデオビットストリーム中でもしくはビデオビットストリームとは別個に送られる補足エンハンスメント情報（ＳＥＩ）メッセージ、および／または他のシグナリング中で）符号化デバイスから復号デバイスにシグナリングされ得る。復号デバイスは、ＭＶ候補リストを構築し、動き補償予測のために使用するために、構築されたＭＶ候補リストから１つまたは複数の動き情報候補を取得するために、シグナリングされた参照またはインデックスを使用することができる。たとえば、復号デバイス１１２は、ＭＶ候補リストを構築し、ブロックの動き予測のために、インデックス付けされたロケーションからの動きベクトル（および、場合によっては、ＬＩＣフラグ）を使用し得る。ＡＭＶＰモードの場合、参照またはインデックスに加えて、差分または残差値もデルタとしてシグナリングされ得る。たとえば、ＡＭＶＰモードの場合、復号デバイスは、１つまたは複数のＭＶ候補リストを構築し、ブロックの動き補償予測を実施する際に、シグナリングされたインデックス値を使用して取得された１つまたは複数の動き情報候補に、デルタ値を適用することができる。
【0088】
[0096]いくつかの例では、ＭＶ候補リストは、マージモードのための最高５つの候補とＡＭＶＰモードのための２つの候補とを含んでいる。他の例では、異なる数の候補が、マージモードおよび／またはＡＭＶＰモードのためのＭＶ候補リスト中に含まれ得る。マージ候補は、動き情報のセットを含んでいることがある。たとえば、動き情報のセットは、両方の参照ピクチャリスト（リスト０およびリスト１）に対応する動きベクトルと、参照インデックスとを含むことができる。マージ候補がマージインデックスによって識別される場合、現在ブロックの予測のために参照ピクチャが使用され、ならびに関連する動きベクトルが決定される。しかしながら、リスト０またはリスト１のいずれかからの各々の潜在的な予測方向に対するＡＭＶＰモードのもとでは、ＡＭＶＰ候補が動きベクトルのみを含んでいるので、ＭＶＰインデックスとともに参照インデックスがＭＶ候補リストに明示的にシグナリングされる必要がある。ＡＭＶＰモードでは、予測される動きベクトルはさらに改良され得る。
【0089】
[0097]上記でわかるように、マージ候補は動き情報のフルセットに対応し、ＡＭＶＰ候補は、特定の予測方向および参照インデックスのためのただ１つの動きベクトルを含んでいる。両方のモードのための候補は、同じ空間および時間隣接ブロックから同様に導出される。
【0090】
[0098]いくつかの例では、マージモードは、インター予測ＰＵが、空間的に隣接する動きデータ位置と２つの時間的にコロケートされた動きデータ位置のうちの１つとのグループから選択される動きデータ位置を含むインター予測ＰＵから、１つまたは複数の同じ動きベクトルと、予測方向と、１つまたは複数の参照ピクチャインデックスとを継承することを可能にする。ＡＭＶＰモードの場合、ＰＵの１つまたは複数の動きベクトルは、エンコーダおよび／またはデコーダによって構築されたＡＭＶＰ候補リストからの１つまたは複数の動きベクトル予測子（ＭＶＰ）に対して叙述的にコーディングされ得る。いくつかの事例では、ＰＵの単一方向インター予測の場合、エンコーダおよび／またはデコーダは、単一のＡＭＶＰ候補リストを生成することができる。いくつかの事例では、ＰＵの双方向予測の場合、エンコーダおよび／またはデコーダは、１つが前方予測方向からの空間および時間隣接ＰＵの動きデータを使用し、１つが後方予測方向からの空間および時間隣接ＰＵの動きデータを使用する、２つのＡＭＶＰ候補リストを生成することができる。
【0091】
【0092】
[0100]図２Ａは、マージモードのための空間隣接動きベクトル（ＭＶ）候補を示す。図２Ｂは、ＡＭＶＰモードのための空間隣接動きベクトル（ＭＶ）候補を示す。空間ＭＶ候補は、特定のＰＵ（ＰＵ０）について、隣接ブロックから導出されるが、ブロックから候補を生成する方法は、マージモードおよびＡＭＶＰモードについて異なる。
【0093】
[0101]マージモードでは、エンコーダおよび／またはデコーダは、様々な動きデータ位置からマージング候補を考慮することによって、マージング候補リストを形成することができる。たとえば、図２Ａに示されているように、最高４つの空間ＭＶ候補が、図２Ａにおいて番号０～４で示されている空間的に隣接する動きデータ位置に関して導出され得る。ＭＶ候補は、番号０～４によって示されている順序で、マージング候補リスト中で順序付けられ得る。たとえば、位置および順序は、左位置（０）と、上位置（１）と、右上位置（２）と、左下位置（３）と、左上位置（４）とを含むことができる。
【0094】
[0102]図２Ｂに示されているＡＶＭＰモードでは、隣接ブロックは、２つのグループ、すなわち、ブロック０および１を含む左グループと、ブロック２、３、および４を含む上グループとに分割される。各グループについて、シグナリングされた参照インデックスによって示された参照ピクチャと同じ参照ピクチャを参照する隣接ブロック中の潜在的候補は、グループの最終候補を形成するために選定されるべき最高優先度を有する。すべての隣接ブロックが、同じ参照ピクチャを指す動きベクトルを含んでいるとは限らない可能性がある。したがって、そのような候補が見つけられ得ない場合、第１の利用可能な候補は、最終候補を形成するためにスケーリングされることになり、したがって、時間距離差分が補償され得る。
【0095】
[0103]本明細書で説明されるいくつかの例は、上記のように、適応動きベクトル解像度（ＡＭＶＲ）モードを使用することができる。ＡＭＶＲは、画像処理中に動きベクトルの範囲または解像度を適応的に調整することを指す。ＡＭＶＲの使用により、動きベクトル差のコーディングにおける異なるレベルの精度が可能になり、これは、改善されたコーディング効率を可能にし、分数サンプルユニット（たとえば、任意の解像度レベルにおけるハーフペルまたは他のそのような分数サンプル）の使用を伴うことができる。いくつかの実装形態では、均一な分数サンプルユニット、整数サンプルユニットなどが、範囲全体で使用され得るか、またはサンプルユニットの範囲が領域に従って適応的に設定され得る。前者は、線形ＡＭＶＲと呼ばれることがあり、後者は、非線形ＡＭＶＲと呼ばれることがある。ＡＭＶＲモードの使用は、現在の画像の動き補償処理において使用するための（たとえば、ビデオビットストリーム中でシンタックス要素を使用した）フィルタインデックス値の明示的なシグナリングをさらに伴うことができる。
【0096】
[0104]上記で説明されたコンテキストでは、参照ピクチャリサンプリング（ＲＰＲ）は、符号化または復号されている現在のピクチャのピクチャサイズとは異なるピクチャサイズをもつ参照ピクチャを使用可能にするために使用され得るリサンプリングプロセスである。参照ピクチャが、現在のピクチャとは異なるサイズを有するとき、ピクチャリサンプリングプロセスは、他のピクチャのサイズに一致するためにピクチャのうちの１つのアップサンプリングまたはダウンサンプリングバージョン（たとえば、現在のピクチャサイズに一致するために参照ピクチャをアップサンプリングまたはダウンサンプリングすること）を与えるために呼び出され得る。このリサンプリングは、いくつかの例では、Ｈ．２６５／ＨＥＶＣ規格のスケーラブル拡張（ＳＨＶＣ）において使用される空間スケーラビリティのための動作と同様であり得る。ＲＰＲプロセスは、異なるサイズを有する単一のレイヤのピクチャに適用され得、および／または異なるサイズを有する異なるレイヤのピクチャに適用され得る。異なるレイヤから異なるサイズのピクチャにＲＰＲを適用することの例示的な例について、図３に関して以下で説明する。
【0097】
[0105]図３は、異なるスケーリング値（たとえば、異なるサイズ）にあるシステム中のピクチャデータの態様を示す図である。ピクチャまたはピクチャのためのデータ（たとえば、アクセスユニット）は、レイヤ中に構造化され得る。各レイヤは、異なるサイズ（たとえば、解像度）をもつピクチャフレームのためのものであり得る。図３に示される１つのそのような例は、２つのレイヤを含み、他の様々な例は、他の数のレイヤ（たとえば、３つのレイヤ、４つのレイヤなど）を使用することができる。上記のように、単一のレイヤ内のピクチャは、異なるサイズを有することができ、その場合、ＲＰＲプロセスが実施され得る。図３の例では、３つのピクチャのためのデータが示されており、各ピクチャは、２つの異なるピクチャサイズに関連付けられる。第１のピクチャは、第１のピクチャサイズにおいてレイヤ１ユニット３１４に関連付けられ、第２のピクチャサイズにおいてレイヤ０ユニット３１２に関連付けられる。同様に、第２のピクチャは、第１のピクチャサイズにおいてレイヤ１ユニット３２４に関連付けられ、第２のピクチャサイズにおいてレイヤ０ユニット３２２に関連付けられ、第３のピクチャは、第１のピクチャサイズにおいてレイヤ１ユニット３３４に関連付けられ、第２のピクチャサイズにおいてレイヤ０ユニット３３２に関連付けられる。シグナリング中に、参照ピクチャリストは、現在のピクチャを処理する際に使用するための参照ピクチャを識別するために構築され得る。いくつかの例では、（たとえば、第１の解像度にある）１つのレイヤからのピクチャが、（たとえば、第２の解像度にある）第２のレイヤにおける現在のピクチャのための参照ピクチャとして使用され得る。別の例では、単一のレイヤは、上記のように、異なるサイズのピクチャを有し得る。
【0098】
[0106]ＲＰＲでは、異なるサイズのピクチャ（またはピクチャのブロック）（たとえば、単一のレイヤからのピクチャまたは異なるレイヤからのピクチャ）が、現在のピクチャのブロックのための参照ピクチャとして使用され得る。そのような参照ピクチャは、（たとえば、図８のフィルタユニット９１などのフィルタユニットのための図８のピクチャメモリ９２などのメモリまたは参照ピクチャ記憶装置を使用して）復号ピクチャバッファ（ＤＰＢ）中に記憶され得る。参照ピクチャサンプリングツールが、現在のピクチャを処理するための参照ピクチャから必要な参照データを生成するために使用され得る。いくつかの例では、この参照ピクチャサンプリングツールは、フィルタユニット（たとえば、図８のフィルタユニット９１）の一部であり得、または他の例では、本明細書で説明される符号化または復号のためのデバイスの任意の態様の一部であり得る。
【0099】
[0107]図４は、本明細書で説明される例による、参照ピクチャリサンプリングのさらなる態様を示す図である。図４は、参照ピクチャ４１０と現在のピクチャ４２０とを含む。参照ピクチャ４１０は、第１の水平グリッド間隔４１４と第１の垂直グリッド間隔４１２とを有する。現在のピクチャ４２０は、第１の水平グリッド間隔４１４とは異なる第２の水平グリッド間隔４２４を有する。現在のピクチャはまた、第１の垂直グリッド間隔４１２とは異なる第２の垂直グリッド間隔４２２を有する。第１のグリッド間隔４１２および４１４は、たとえば、第１のレイヤに関連付けられ得、第２のグリッド間隔４２２および４２４は、第２のレイヤに関連付けられ得る。参照ピクチャ４１０は、ビデオストリーム中の第２のレイヤからの現在のピクチャ４２０と連続する第１のレイヤピクチャであり得、参照ピクチャ４１０は、予測動作の一部として現在のピクチャ４２０のための参照ピクチャとして選択される。
【0100】
[0108]参照ピクチャ４１０と現在のピクチャ４２０とはそれぞれ、参照ピクチャ４１０のピクセル４１８および４１９と現在のピクチャ４２０のピクセル４２８とを含むピクセルのグリッドを含む。各ピクセルは、ピクセルの赤色、緑色、および青色の部分の色値などの関連データを有することができる。各色は、各ピクセルにおいてデータ値を有することになる。各ピクチャのための各ピクセルは、ピクチャのためのグリッド中の整数位置（たとえば、サイズまたはスケーリング値）に関連付けられ得る。１つのピクセルから別のピクセルを直接指す標準動きベクトル４３０は、ピクセルの整数位置を使用することができる。しかしながら、分数精度によって、上記で説明されたように、動きベクトル４３０がピクセル間を指すことが可能になり得る。ハーフペル精度によって、たとえば、動きベクトル４３０が、ピクセル４１９と４１８との間の中程（half way）を指すことが可能になる可能性がある。クォーターペル精度によって、動きベクトル４３０が、ピクセル間の３つの異なる位置（たとえば、１／４、１／２、および３／４）を指すこと、ならびにピクセルの整数位置を直接指すことが可能になる。
【0101】
[0109]ＡＭＶＲによって、上記で説明されたように、動きベクトルプリセッション（precession、歳差運動）を異なる分数精度レベルに適応的に設定することが可能になる。ＡＭＶＲモードを使用する画像処理が実装されるとき、ＭＶ精度は、（たとえば、ＭＶが、分数精度なしで、グリッド間隔４１２、４１４、４２２、および４２４についてのみグリッドポイントにある）整数ペル精度で、または（たとえば、ＭＶが、グリッド間隔４１２、４１４、４２２、および４２４について分数精度レベルでグリッドポイント間を指すことを可能にする）実装されるＡＭＶＲモードによってサポートされる任意の分数精度レベルで適応的に選択され得る。システムが解像度のレベル（たとえば、グリッド間隔レベルの整数解像度またはグリッド間隔間の精度のための分数解像度）を適応的に決定することを可能にすることは、改善されたコーディング効率を可能にする。この改善されたコーディング効率は、本明細書の様々な例について説明するように、シグナリングのために、現在のピクチャのためのフィルタインデックスをさらに明示的に示すことができる追加のシンタックス要素を使用することができる。
【0102】
[0110]（たとえば、分数精度を使用した動きベクトルからの）イントラピクセルデータを含む予想される動きまたは他の変化を与えられるピクセル位置における（たとえば、赤色、緑色、および青色のための）データ値を選択するために補間が使用される。処理（たとえば、復号または符号化）中に、各ピクセルに対してまたは各ピクセルの各サンプル（たとえば、ルーマサンプルおよび／もしくはクロマサンプル）に対して処理が実施される。補間とＲＰＲによる任意のリサンプリング補償とを含むフィルタ処理が、ビデオデータ処理中に現在のピクチャ４２０のためのピクセルまたはサンプル値を生成するために各ピクセルまたは各ピクセルの各サンプルに対して実施される。別の例中で、補間およびリサンプリングフィルタ処理は、１つのフィルタ処理プロセスにマージされ得る。各ピクセルまたはサンプルは、処理中に取り付けられたスケーリング値および動きベクトルを有することになる。上記で説明されたように、異なる状況（たとえば、動きベクトル４３０の異なる値または参照ピクチャ４１０と現在のピクチャ４２０との間での異なるスケーリング値）の下で、異なるフィルタが使用され得る。
【0103】
[0111]下記の表１は、異なるハーフペル補間フィルタ間での補間フィルタスイッチングのためのフィルタインデックスをもつフィルタ係数の例示的な表を与える。
【0104】
【表1】
【0105】
[0112]表１は、１／１６分数精度位置でのフィルタ処理のための補間フィルタ係数の表を示す。分数精度位置（たとえば、０位置が非分数または整数位置である、第１の列中の分数サンプル位置１～１５）に応じて、異なるフィルタ係数（たとえば、分数位置に対応する行からの係数）が使用され得る。さらに、ハーフペル位置（たとえば、表１の１／１６分数精度中の分数サンプル位置８）において、２つの補間フィルタが利用可能であり、このレベルのフィルタの間で切り替えるためにシグナリングが使用され得る。ハーフペルレベルでの補間フィルタスイッチング（たとえば、フィルタインデックス値１と２との間で選択すること）について表１によって２つのフィルタが記載されているが、他の例は、スイッチングのために３つ以上のフィルタを使用することができるか、または、任意の分数位置でのスイッチングのために追加のフィルタを含むことができる。補間フィルタスイッチングのための追加のフィルタの追加は、追加のシグナリングおよび処理リソースを犠牲にして画像処理中に分数精度を増加させることができる。
【0106】
[0113]すべての目的のためにその全体が参照により本明細書に組み込まれるＪＶＥＴ－Ｎ０２７９およびＪＶＥＴ－Ｏ０２４２において、ＲＰＲが提案されている。提案では、現在のピクチャ（たとえば、現在符号化または復号されているピクチャ）と参照ピクチャとが、上記で説明されたように、異なる解像度（たとえば、サイズ、グリッド間隔、スケーリング値など）を有し得る。そのような場合、動き補償中に、補間フィルタ位相を調整することによって補間フィルタ処理を実施するときに解像度の差が考慮される。たとえば、リアルタイムビデオ通信中に、イントラ予測されたピクチャ（Ｉピクチャ）を挿入することなしにコーディングされたビデオシーケンス内で解像度の変化を可能にすることは、ビデオデータを動的チャネル状態またはユーザ選好にシームレスに適応させることができるだけでなく、Ｉピクチャによって生じる効果を除去することもできる。適応型解像度の変化が発生するとき、現在のピクチャは、異なるサイズの参照ピクチャから予測され得る。参照ピクチャリサンプリング（またはスケーリング）プロセスの例示的な例について以下で説明する。
【0107】
[0114]すべての目的のためにその全体が参照により本明細書に組み込まれるＪＶＥＴ－Ｏ００５７では、切替え可能な補間フィルタの概念がＶＶＣに提案された。本明細書では、１つまたは複数の補間フィルタが切り替えられ得る。たとえば、フィルタインデックスは、ブロックのために別の補間フィルタが使用されることを示すために（たとえば、デコーダによって）シグナリングまたは推測され得る。フィルタインデックスは、（たとえば、明示的にまたはハーフペルＡＭＶＲモードシグナリングを通して）ブロック単位でシグナリングされ得る。たとえば、ハーフペルＡＭＶＲを用いるシステムでは、ビットストリーム中でシグナリングされるシンタックス要素は、シンタックス要素（たとえば、表１の特定のフィルタインデックス値を示すシンタックス要素）に関連する現在のブロックを処理するために使用されることになるフィルタインデックスを明示的に示すことができる。ハーフペル以外の分数精度を使用するＡＭＶＲを用いる例では、同様のシグナリングが、ＡＭＶＲ実装形態の特定の解像度オプションに構成されたシンタックス要素を使用することができる。
【0108】
[0115]他の実装形態では、フィルタインデックスは、使用されることになるフィルタインデックスを明確に示すビットストリーム中のシンタックス要素を介して明示的にシグナリングされる必要がない。明示的なシグナリングを用いないそのような他の例では、フィルタインデックスは、図２Ａおよび図２Ｂに関して上記で説明されたマージモードなどのマージ様のモード（merge-like mode）で動きベクトル候補を通して（たとえば、デコーダによって）推測され得る。
【0109】
[0116]１つの例示的な例では、（たとえば、フィルタ長、カットオフ周波数、遷移帯域、または、リップルの量などの）異なる特性をもつ合計Ｎ個のフィルタが定義され得る。各ブロックについて、Ｎ個のフィルタのサブセットが定義され得、サブセット中の選定されたフィルタのインデックスが、（たとえば、表１に示すようにフラグまたはフィルタインデックス値を使用して）デコーダに明示的にまたは暗黙的にシグナリングされ得る。サブセットは、いくつかの基準（たとえば、前にコーディングされたブロック中でのフィルタのヒット率、動きベクトル値、スケーリング値など）に基づいてブロックごとに変更され得る。
【0110】
[0117]補間フィルタのスイッチングが発生するとき、フィルタインデックスによって示されるフィルタは、補間目的に好適であり得るが、ピクチャリサンプリング目的（および、場合によっては、他のサンプルレート変換プロセス）のために有用でないことがある。たとえば、平滑化フィルタは、良好なリサンプリングフィルタでないことがある。異なるフィルタ間でのスイッチング（たとえば、補間フィルタスイッチング）により、画像処理動作は、フィルタ処理されているピクセルの特性（たとえば、現在のピクチャと関連する参照ピクチャとの中のピクセルのための関連する動きベクトルとスケーリング値と）に応じて画像間での安定性を作成することが可能になる。たとえば、フィルタインデックスは、異なるフィルタのためのフィルタインデックス値を有することができる。いくつかの例では、使用されることになるフィルタは、インデックス中のどのフィルタが使用されることになるのか（たとえば、補間フィルタ間のスイッチング）を示すために（たとえば、フラグを使用して）シグナリングされる。別の例では、使用されることになるフィルタは、空間候補（たとえば、参照ピクチャ）から来ることができ、ここで、フィルタインデックスは、動きベクトルデータと一緒に記憶され、現在のピクチャとともに使用する参照ピクチャから伝搬される。
【0111】
[0118]本明細書では、上記で識別された問題ならびに他の問題に対処する方法、装置、およびコンピュータ可読媒体について説明する。いくつかの例では、以下でより詳細に説明されるように、現在のピクチャサイズと参照ピクチャサイズとが同じサイズであるのかどうかを識別するために、条件検査が実施され得る。条件検査は、以下で詳細に説明されるように、異なるレベルで実施され得る。
【0112】
[0119]図５は、ビデオデータを処理するための方法５００を示す流れ図である。いくつかの例では、方法５００は、メモリと１つまたは複数のプロセッサとを含むデバイスによって実施される。いくつかの例では、方法５００は、デバイス１０４などの符号化デバイスによって実施され得る。いくつかの例では、方法５００は、デバイス１１２などの復号デバイスによって実施され得る。いくつかの例では、方法５００は、命令が１つまたは複数のプロセッサによって実行されるときに１つまたは複数のプロセッサに方法５００を実施させるコンピュータ可読記憶装置中に記憶された命令として具体化される。
【0113】
[0120]動作５０５において、方法５００は、現在のピクチャと参照ピクチャとを取得することを含む。上記で説明されたように、様々な例では、現在のピクチャと参照ピクチャとは、様々な方法（たとえば、様々なユニット、スライスなど）で分割および編成され得る
[0121]方法５００の動作５１０は、現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別することを含む。異なる例では、このフィルタインデックス情報は、隣接ブロックから推測され得るか、またはＡＭＶＲの部分としてシグナリングされ得る。いくつかの例では、フィルタインデックス情報は、ＡＭＶＲモードシグナリングデータを備え、ここで、現在のフィルタインデックスは、ＡＭＶＲモードシグナリングを通じてシグナリングされる。いくつかの例では、フィルタインデックス情報は、ネイバーブロック情報を備え、現在のフィルタインデックスは、次いで、マージモード動きベクトル候補リスト導出中にネイバーブロック情報から導出される。フィルタインデックス情報は、フィルタインデックスまたはフィルタインデックス値などの動き情報を含む。マージモードでは、このフィルタインデックス情報は、ネイバーブロックから伝搬または暗示され得る。ＡＭＶＲモードの場合、フィルタインデックス情報は、ＡＭＶＲシグナリングを使用して明示的にシグナリングされ得る。
[0121]方法５００の動作５１０は、現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別することを含む。異なる例では、このフィルタインデックス情報は、隣接ブロックから推測され得るか、またはＡＭＶＲの部分としてシグナリングされ得る。いくつかの例では、フィルタインデックス情報は、ＡＭＶＲモードシグナリングデータを備え、ここで、現在のフィルタインデックスは、ＡＭＶＲモードシグナリングを通じてシグナリングされる。いくつかの例では、フィルタインデックス情報は、ネイバーブロック情報を備え、現在のフィルタインデックスは、次いで、マージモード動きベクトル候補リスト導出中にネイバーブロック情報から導出される。フィルタインデックス情報は、フィルタインデックスまたはフィルタインデックス値などの動き情報を含む。マージモードでは、このフィルタインデックス情報は、ネイバーブロックから伝搬または暗示され得る。ＡＭＶＲモードの場合、フィルタインデックス情報は、ＡＭＶＲシグナリングを使用して明示的にシグナリングされ得る。
【0114】
[0122]方法５００の動作５１５は、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なると決定することを含む。いくつかの例では、この決定は、幅および高さの比較を伴うことができる。他の例では、任意の他のそのような比較が使用され得る。一例では、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なると決定することは、現在のピクチャの幅が参照ピクチャの幅とは異なることと、現在のピクチャの高さが参照ピクチャの高さとは異なることとのうちの少なくとも１つを決定することを備える。このピクチャサイズ検査は、フィルタインデックスを変更するための条件として機能することができる。ピクチャサイズ検査およびフィルタインデックスの関連する変更に応じて、元のインデックス値（たとえば、ピクチャサイズ検査によって示された場合に置き換えられる前の現在のインデックス値）の伝搬が、（たとえば、元のインデックス値を記憶し、伝搬ステップのためにそれを置き換えることによって、またはデフォルト値が元のインデックス値を置き換えない場合にそれを保つことによって）構成され得る。
【0115】
[0123]動作５２０において、方法５００は、フィルタインデックス情報によって識別される現在のフィルタインデックスの代わりにデフォルトフィルタインデックスを使用してサンプルレート変換プロセスを実施することを含む。いくつかの例では、サンプルレート変換プロセスは、リサンプリングプロセスを含む。たとえば、動作５２０は、フィルタインデックス情報によって識別される現在のフィルタインデックスの代わりにデフォルトフィルタインデックスを使用してリサンプリングプロセスを実施することを含む。いくつかの例では、サンプルレート変換プロセスは、補間プロセスを含む。実施することは、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なると決定することに基づき得る。様々な例では、サンプルレート変換プロセス（たとえば、リサンプリングプロセス）は、現在のピクチャと参照ピクチャとが異なるサイズ値を有するときに現在のフィルタインデックスを使用せずに実施される。いくつかのそのような例では、現在のフィルタインデックスのためのデフォルト値は、デバイスによって解釈されるか、または代替的な切替え可能フィルタ処理がサンプルレート変換プロセス（たとえば、リサンプリングプロセス）の一部として適用されないという指示を含む。
【0116】
[0124]様々な例では、導出されたフィルタインデックス（たとえば、シグナリングまたは導出によって示される現在のインデックス）の場合、値は、ブロックと一緒のままでおり、システムによって処理される後続のブロックに使用（たとえば、伝搬）され得る。そのような例では、デフォルトフィルタインデックス値が現在のピクチャのために使用される（たとえば、代替的な切替え可能フィルタが使用されない）場合、デフォルトフィルタインデックス値は、現在のピクチャから伝搬されないが、元の値は、記憶され得るか、またはデフォルト値は、後続のピクチャへの伝搬のための使用の後に元の値と置き換えられ得る。
【0117】
[0125]いくつかの例では、本方法は、現在のブロックとともにフィルタインデックス情報によって識別される現在のフィルタインデックスを記憶することと、現在のフィルタインデックスがフィルタインデックス情報によって識別されることに基づいて後続のブロックのための動きベクトル候補導出において現在のフィルタインデックスを使用することとを行うための動作をさらに伴うことができる。いくつかの例では、
本方法は、デフォルトフィルタインデックスを作成するために現在のフィルタインデックスを使用せずにサンプルレート変換プロセス（たとえば、リサンプリングプロセス）が実施されるときに元の値を暫定的に置き換えるために現在のフィルタインデックスのためのデフォルト値を割り当てることと、サンプルレート変換プロセス（たとえば、リサンプリングプロセス）後に現在のフィルタインデックスの元の値を割り当てることとを行う動作をさらに伴うことができる。オリジナルのこの再割当てにより、現在のフィルタインデックス値が現在のピクチャのために使用されない場合でも現在のフィルタインデックス値（たとえば、元の値）を後続のピクチャに伝搬することが可能になる。
本方法は、デフォルトフィルタインデックスを作成するために現在のフィルタインデックスを使用せずにサンプルレート変換プロセス（たとえば、リサンプリングプロセス）が実施されるときに元の値を暫定的に置き換えるために現在のフィルタインデックスのためのデフォルト値を割り当てることと、サンプルレート変換プロセス（たとえば、リサンプリングプロセス）後に現在のフィルタインデックスの元の値を割り当てることとを行う動作をさらに伴うことができる。オリジナルのこの再割当てにより、現在のフィルタインデックス値が現在のピクチャのために使用されない場合でも現在のフィルタインデックス値（たとえば、元の値）を後続のピクチャに伝搬することが可能になる。
【0118】
[0126]いくつかのそのよう例は、現在のフィルタインデックスがサンプルレート変換プロセス（たとえば、リサンプリングプロセス）のために使用されないと決定することと、現在のフィルタインデックスがサンプルレート変換プロセス（たとえば、リサンプリングプロセス）のために使用されないと決定することに応答して現在のフィルタインデックスの値をデフォルト値と置き換えることとを行うことによって動作することができる。同様に、いくつかのそのようなもの例は、代替的な切替え可能フィルタが適用されないと決定するためにデフォルト値を処理することによって動作する。
【0119】
[0127]いくつかの例は、動作することができ、ここで、現在のフィルタインデックスがサンプルレート変換プロセス（たとえば、リサンプリングプロセス）において使用されないという決定に応答して現在のフィルタインデックス値がシグナリングされない。いくつかの例は、動作することができ、ここで、現在のフィルタインデックスは、フィルタのセットから選択され、その場合、フィルタのセットのサブセットは、サンプルレート変換プロセス（たとえば、リサンプリングプロセス）を実施するために使用され、フィルタのセットの残りの部分は、サンプルレート変換のために使用可能でない（たとえば、リサンプリングのために使用可能でない）。いくつかのそのような例は、動作し、ここで、フィルタのセットの残りの部分からの現在のフィルタインデックスの選択が禁止されることを示すシンタックス要素を使用して現在のフィルタインデックスが選択される。
【0120】
[0128]方法５００は、次いで、復号または符号化動作の一部として必要に応じて繰り返され得る。いくつかの動作では、方法５００は、いくつかの反復では（たとえば、参照ピクチャが現在のピクチャと同じサイズであるときなどにリサンプリングまたは他のサンプルレート変換プロセスが関与しない補間では）使用されないことになる。上記のように、サンプルレート変換プロセスは、いくつかの例では、リサンプリングプロセスを含む。方法５００の動作は、補間のためのフィルタの第１のグループとリサンプリングのためのフィルタの第２のグループとを識別すること、ここで、現在のフィルタインデックスは、フィルタの第２のグループからのものである、をさらに含むことができる。方法５００の動作は、第２の現在のピクチャと第２の参照ピクチャとを取得することと、第２の現在のピクチャの第３のピクチャサイズ値と第２の参照ピクチャの第４のピクチャサイズ値とが同じサイズ値であると決定することとさらに含むことができる。第２の現在のピクチャの第３のピクチャサイズ値と第２の参照ピクチャの第４のピクチャサイズ値とが同じサイズ値であると決定することに基づいて、方法５００の動作は、第２の選択されたフィルタを使用して第２の現在のブロックのための第２のリサンプリングプロセスを実施すること、ここで、第２の選択されたフィルタは、フィルタの第１のグループからのものである、を含むことができる。いくつかのそのような例では、フィルタの第１のグループとフィルタの第２のグループとの各フィルタは、関連するフィルタインデックスによって識別され、関連するフィルタインデックスは、補間のためのフィルタセットまたはリサンプリングのためのフィルタセットからの関連するインデックス値を示す。いくつかのそのような例は、選択されたフィルタインデックス値のためのルックアップ演算によってフィルタインデックスから現在のフィルタインデックスを取得すること、ここで、選択されたフィルタインデックス値は、フィルタの第２のグループに関連付けられる、ここで、選択されたフィルタインデックス値とフィルタの第２のグループとの間の関連付けは、第１のピクチャサイズ値と第２のピクチャサイズ値とが異なると決定することに基づく、をさらに含む。
【0121】
[0129]いくつかの例では、現在のピクチャの幅が参照ピクチャの幅とは異なるか、または現在のピクチャの高さが参照ピクチャの高さとは異なるとき、現在のフィルタインデックスは、リサンプリングプロセス中に使用されない（たとえば、無視されるか、またはリサンプリングプロセスもしくは他のサンプルレート変換プロセスが現在のフィルタインデックスの値に依存しない）。導出またはシグナリングされたフィルタインデックスは、現在のブロックと一緒に記憶されることができ、次のブロックでの動きベクトル候補導出プロセスにおいて使用される。導出またはシグナリングされたフィルタインデックスが使用されないと決定されたとき、フィルタインデックスのためのデフォルト値は、リサンプリングプロセス中に一時的に割り当てられ得、一方、導出またはシグナリングされたフィルタインデックス値が、リサンプリングプロセス後に不変に保たれる。この場合、デフォルト値は、代替的な切替え可能フィルタが適用されないことを示すことができる。
【0122】
[0130]いくつかのそのような例では、フィルタインデックスは、上記で説明されたように、マージモードでは動きベクトル候補リスト導出プロセス中にネイバーブロックから導出される。他の例では、フィルタインデックスは、ＡＭＶＲモードを通してシグナリングされる。いくつかの例では、サンプルレート変換プロセスは、動き補償プロセスである。いくつかのそのような例では、参照ピクチャは、現在のピクチャの現在のブロックのインター予測のために使用される参照ピクチャである。
【0123】
[0131]いくつかの例では、導出またはシグナリングされたフィルタインデックスが使用されないと決定されたとき、フィルタインデックス値は、デフォルト値と置き換えられ得る。いくつかのそのような例では、デフォルト値は、代替的な切替え可能フィルタが適用されないことを示し、ここで、一例では、代替フィルタは、平滑化フィルタであり得る。いくつかの他の例では、フィルタインデックスがリサンプリングプロセス（または他のサンプルレート変換プロセス）において使用されないと決定されたとき、フィルタインデックス値はシグナリングされない。
【0124】
[0132]いくつかの実装形態では、本明細書で説明されるプロセス（または方法）は、図１に示されているシステム１００など、コンピューティングデバイスまたは装置によって実施され得る。たとえば、プロセスは、図１および図７に示されている符号化デバイス１０４によって、別のビデオソース側デバイスもしくはビデオ送信デバイスによって、図１および図８に示されている復号デバイス１１２によって、ならびに／または、プレーヤデバイス、ディスプレイ、もしくは任意の他のクライアント側デバイスなど、別のクライアント側デバイスによって実施され得る。いくつかの場合には、コンピューティングデバイスまたは装置は、本明細書で説明されるプロセスのステップを行うように構成されたデバイスのプロセッサ、マイクロプロセッサ、マイクロコンピュータ、または他の構成要素を含み得る。いくつかの例では、コンピューティングデバイスまたは装置は、ビデオフレームを含むビデオデータ（たとえば、ビデオシーケンス）をキャプチャするように構成されたカメラを含み得る。いくつかの例では、ビデオデータをキャプチャするカメラまたは他のキャプチャデバイスは、コンピューティングデバイスとは別個であり、その場合、コンピューティングデバイスは、キャプチャされたビデオデータを受信または取得する。コンピューティングデバイスは、ビデオデータを通信するように構成されたネットワークインターフェースをさらに含み得る。ネットワークインターフェースは、インターネットプロトコル（ＩＰ）ベースのデータまたは他のタイプのデータを通信するように構成され得る。いくつかの例では、コンピューティングデバイスまたは装置は、ビデオビットストリームのピクチャのサンプルなど、出力ビデオコンテンツを表示するためのディスプレイを含み得る。
【0125】
[0133]図６は、方法６００として図６に示される、いくつかの例による、参照ピクチャリサンプリングの態様を示すフローチャートである。方法６００は、上記で説明されたＶＶＣ、ＪＥＭ、または他のビデオコーディング規格手順による処理手順などの画像またはビデオ処理手順の一部として実施され得る。
【0126】
[0134]方法６００の実装の一部としてのビデオ処理中に、動作６０２は、現在のピクチャを識別することを含む。現在のピクチャドは、処理されている画像（たとえば、ビデオ）のセットの画像に関連するデータを識別するために上記で説明されたように、ＰＯＣを使用して、または任意の他の動作を使用して識別され得る。
【0127】
[0135]動作６０２において識別される現在のピクチャの処理について、参照ピクチャが動作６０４において識別される。この識別情報の一部として、（たとえば、ＤＰＢからの）１つまたは複数の参照ピクチャまたは参照ピクチャ候補が、上記でおよび下記で詳細に説明するように、（たとえば、ＰＯＣを使用して）参照ピクチャリストのために選択され得る。実装形態に応じて、個々の参照ピクチャは、次いで、現在のピクチャの処理態様において使用するために参照ピクチャリストから選択され得る。いくつかの実装形態では、現在のピクチャの異なる部分を処理するために異なる参照ピクチャが使用され得るが、処理中に、個々の参照ピクチャからのデータ（たとえば、参照ピクチャ４１０を使用して動きベクトル４３０などの動きベクトルを作成するために使用される画像データ）が使用される。
【0128】
[0136]さらに、方法６００によるビデオ処理中に、ビデオ処理の一部として様々な異なるモードが使用され得る。これらは、ＡＭＶＲおよびマージモードなど、上記で説明された動き予測のための異なるモードを含むことができる。異なる実装形態では、これらのモードは、個々の画像、画像の部分、または画像のグループの処理中に変更することができる。
【0129】
[0137]異なる処理モードは、様々な方法で現在のピクチャを処理する際に使用されることになるフィルタについての情報をシグナリングすることができる。たとえば、本明細書で説明されるように、ＡＭＶＲは、現在の画像を処理する際に使用されることになるフィルタに関する情報を識別するフィルタインデックス値を示すシンタックス要素を明示的にシグナリングすることができる。対照的に、マージモードは、他のピクチャ（たとえば、隣接ピクチャ、参照ピクチャなど）からフィルタインデックス情報を導出することによって明示的なフィルタインデックスのシグナリングなしに動作することができる。動作６０８において、フィルタインデックス情報を識別するための適切な動作が決定され、処理動作は、フィルタインデックス情報を収集するための適切な動作に進む。明示的なフィルタインデックスのシグナリングが使用される場合、動作６１０において、明示的なシグナリングのシンタックス要素が、フィルタインデックス情報（たとえば、フィルタインデックスの値）を収集するためにパースされる。明示的なフィルタインデックスのシグナリングが使用されない場合、動作６１２において、フィルタインデックス情報が導出される（たとえば、隣接する画像または画像部分から伝搬される）。
【0130】
[0138]動作６１０においてまたは動作６１２において、フィルタインデックス情報が収集されると、動作６１４において現在のフィルタインデックス値を設定するためにフィルタインデックス情報が使用される。たとえば、表１を使用する実装形態では、フィルタインデックス値は、フィルタインデックス情報に基づいてハーフペル分数インデックス位置に関連する２つのフィルタインデックス値のうちの１つに設定され得る。
【0131】
[0139]動作６１６は、条件検査を含み、これは、リサンプリングが使用されるのかどうかに応じて適切なフィルタを選択するために使用される。条件検査は、現在のピクチャと動作６０４において識別される参照ピクチャとのサイズを比較することに関与する。本明細書で説明されるように、この条件検査は、水平サイズ、垂直サイズ、解像度値、または現在のピクチャと参照ピクチャとのサイズに関連する任意の他のそのような情報を比較することを伴うことができる。いくつかの例では、条件検査（たとえば、参照ピクチャと現在のピクチャとサイズまたはスケーリングを比較すること）はブロック単位で実施され得る。たとえば、条件検査は、ブロックを含んでいる現在のピクチャと参照インデックスによってブロック中に示される参照ピクチャとが同じピクチャサイズを有するのかどうか、またはそれらが同じサイズを有しないのかをチェックするために実施され得る。いくつかの例では、条件検査は、スライス、タイル、サブピクチャ、またはブロックレベルの他のグループに対して実施され得る。たとえば、条件検査は、インター予測のために利用可能な任意の参照ピクチャと現在のピクチャとが同じサイズを有するのかどうかをチェックすることができる。
【0132】
[0140]いくつかの例では、条件は、たとえば、異なるピクチャサイズを有する可能性が可能であるのかどうかをチェックするためにシーケンスレベルでチェックされ得る。一例では、ピクチャのリサンプリングが適用され得るのかどうかは、（たとえば、ＰＰＳ、ＳＰＳ、および／またはＶＰＳ中のフラグによって）パラメータセット中に示され得る。
【0133】
[0141]場合によっては、ピクチャサイズが（たとえば、現在のピクチャと参照ピクチャとの両方について）導出されるとき、サイズは、復号されたピクチャのサイズまたはクロップされた（cropped）ピクチャのサイズであり得る。たとえば、適合ウィンドウは、ビットストリーム中でシグナリングされ得、復号されたピクチャをクロップされたピクチャのサイズにクロップするためにデコーダまたはメディアプレーヤによって適用され得る。場合によっては、条件検査のためのピクチャサイズは、復号されたピクチャのサイズと様々なオフセット（たとえば、左側のオフセット、右側のオフセット、上側のオフセット、および／または下側のオフセット）に基づいて導出され得る。復号されたピクチャのサイズおよび／またはオフセットは、パラメータセット（たとえば、ＰＰＳ、ＳＰＳ、および／もしくはＶＰＳ）または（たとえば、ＳＥＩメッセージ、スライスヘッダ、もしくは他のシグナリング機構中の）他の場所でシグナリングされ得る。この場合、リサンプリングのためのスケーリング比は、現在のピクチャのピクチャサイズと、適用されたオフセットをもつ参照ピクチャのサイズとについて考慮して導出され得る。いくつかの実装形態では、オフセットは、ＨＥＶＣ規格において（たとえば、スケーラブル拡張において）使用されるスケーリングオフセットと同様であり得る。現在のピクチャと参照ピクチャとのためのこのスケーリング比および／またはサイズ値は、次いで、現在のピクチャを処理する際にどのフィルタが適用されるのかを決定する際に使用され得る。本明細書で説明される技法は、現在のピクチャのサイズと参照ピクチャのサイズとが同じサイズであるのかどうかをチェックする任意の方法を使用することができる。
【0134】
[0142]動作６１６の結果に応じて、現在の画像は、次いで、様々な方法で（たとえば、異なるフィルタを使用して）処理され得る。現在のピクチャと参照ピクチャとが同じサイズとして識別される場合、動作６１８において、（たとえば、上記でシグナリングまたは導出された）現在のインデックス値が、現在の画像を処理する際に使用される。
【0135】
[0143]現在のピクチャと参照ピクチャとが同じサイズでないとき、動作６２０において、動作６１４において設定された現在のフィルタインデックス値が無視される。これは、参照ピクチャのリサンプリングを伴うフィルタ処理のためのシステム内に設定されるデフォルトフィルタ値、またはこのチェック条件が真である場合の動作のためのデフォルトフィルタループの使用を伴い得る。いくつかの例では、チェック条件が真である（たとえば、現在のピクチャと参照ピクチャまたは双予測における１つまたは両方の参照ピクチャとのピクチャサイズが異なる）と識別される場合、切替え可能な補間フィルタの使用が、ＳＰＳのシーケンスレベル、ＰＰＳシグナリングを通したピクチャレベル、スライスおよび／もしくはタイルレベル、ならびに／またはブロックレベルで無効化（ディセーブル、使用不可）され得る。切替え可能な補間フィルタ処理（たとえば、切替え可能な補間フィルタ処理がシステム内で使用されるときに設定された現在のフィルタインデックス値の使用）のこの無効化は、動作６１４において設定された切替え可能な補間フィルタの代わりに（for）、デフォルトフィルタまたは任意の置換フィルタの選択と見なされ得る。
【0136】
[0144]どのフィルタが選択されるのかにかかわらず、現在のピクチャは、動作６２２において選択されたフィルタを使用して処理される。この処理は、現在の画像の異なる部分をフィルタ処理するコーディングループの一部であり得、したがって、実装形態に応じて、方法６００の動作は、様々な方法で繰り返され、ループされて、異なるフィルタを使用して現在の画像または現在の画像の部分を処理し得る。方法６００の例では、動作６２４は、この情報が必要な場合に後続のブロックでの使用のために利用可能であるように現在のフィルタインデックス値を伝搬することを含む。これは、明示的なシグナリングを生成することを伴うことができるか、または（たとえば、現在のピクチャもしくは現在のピクチャの部分が、処理されている後続の現在のピクチャに対し隣接もしくは参照ピクチャになるとき）フィルタインデックス値を導出するための動作６１２の後続の反復中にアクセスされ得るように現在のフィルタインデックス値を記憶することを伴うことができる。方法６００は、次いで、終了することができ、ビデオストリームの処理のためにループされ得る。（たとえば、切替え可能な補間フィルタ処理のための構造がＳＰＳのシーケンスレベル、ＰＰＳシグナリングを通したピクチャレベル、スライスおよび／もしくはタイルレベル、ならびに／またはブロックレベルで無効化（使用不可）にされた状態で）切替え可能な補間フィルタ処理の使用がどのように使用されるのかに応じて、方法６００は、追加の繰返しのまたは介在する動作を用いて実装され得ることが明らかになるであろう。さらに、いくつかのモードまたは処理動作中に、切替え可能な補間フィルタ処理（たとえば、切替え可能な補間フィルタ処理を用いた表１の単一の１／４ペルまたはハーフペルインデックス値以外の他の値の選択）は使用されないことがあり、したがって、方法６００は、それが同じビデオの他の部分のために使用されるときにビデオを処理する部分のために使用されないことがある。
【0137】
[0145]場合によっては、切替え可能な補間フィルタの使用がブロックレベルで使用不可にされるとき（たとえば、チェック条件が真であると識別されるとき）、フィルタインデックスを示すシンタックス要素（たとえば、異なるハーフペル補間が暗黙的に暗示されるハーフペルＡＭＶＲモードシグナリング）はブロックのためにシグナリングされない。そのような場合、異なる補間フィルタを示すためのハーフペルＡＭＶＲの切替え可能なフィルタ処理、たとえば、フィルタインデックス、に関連するシンタックス要素は、ピクチャサイズの検査（たとえば、現在のピクチャのサイズと参照ピクチャのサイズとが同じサイズであるのかどうか）が条件とされる。
【0138】
[0146] 場合によっては、切替え可能な補間フィルタの使用がブロックレベルで使用不可にされるとき（たとえば、チェック条件が真であると識別されるとき）、フィルタインデックスまたは（例として、たとえば、ハーフペルＡＭＶＲシグナリングを通した、またはマージモードもしくは他のマージ様の（merge-like）モードでの）異なるフィルタの使用が、シグナリングされるかまたは隣接ブロックから推測される場合、フィルタインデックスは、修正され、ネイバーブロックから導出された動きベクトル候補のためのデフォルトフィルタインデックス値に設定される。一例では、デフォルトフィルタは、切替え可能なフィルタが適用されないことを示し得る。様々な例によれば、選択されたフィルタは、明示的にまたは暗黙的に示され得る。いくつかの例では、明示的なシンタックス要素は、ＡＭＶＲモードシグナリングを介してシグナリングされる。他の例では、フィルタは、ネイバーブロックまたは参照ブロックから暗示されるか、導出されるか、または伝搬される。切替え可能な補間フィルタ処理が使用不可にされていることにより、（たとえば、明示的にまたは暗黙的に）シグナリングされるフィルタインデックスが使用されないとき、デフォルトフィルタインデックス値が使用され得る。このデフォルトフィルタは、切替え可能なフィルタ処理が（たとえば、それが許可されないときに切替え可能な補間フィルタ処理を使用不可にするためのプロセスの一部として）使用されないことを示すことができる。
【0139】
[0147]場合によっては、切替え可能な補間フィルタの使用がブロックレベルで使用不可にされるとき（チェック条件が真であると識別されるとき）、フィルタインデックス（または、たとえば、ハーフペルＡＭＶＲシグナリングを通した異なるフィルタの使用）が、たとえば、マージモードまたは他のマージ様の（merge-like）モードにおいて、隣接ブロックから推測される場合、フィルタインデックス（または、たとえば、ハーフペルＡＭＶＲモードを通した暗黙的なシグナリング）が、ネイバーブロックから導出されるが、リサンプリングプロセス中、導出されたフィルタインデックスは、無視され、切替え可能なフィルタ処理が使用されなければならないことを示し得る場合であっても、リサンプリングフィルタが適用される。現在のブロックのための導出されたフィルタインデックスは、ブロックと一緒に記憶され得、（現在のブロックの後の）後続のブロックのために使用され得、その場合、フィルタインデックスが伝搬する。
【0140】
[0148]いくつかの例では、フィルタのセット（たとえば、表１の２つのハーフペルフィルタ）から１つのフィルタが選択され得る場合に上記の考えを拡大すると、フィルタのサブセットのみが、リサンプリングのために使用され得、リサンプリングするために使用可能でない他のフィルタは、選定されることから制限されるか（一例では、そのような選択を示すシンタックス要素は、ピクチャサイズが異なるとの条件に基づいて禁止され得る）、またはリサンプリングプロセスが実施されるときにそのような選択が無視される。
【0141】
[0149]いくつかの例では、フィルタの２つのグループまたはセットが与えられ得、ここで、フィルタの１つのグループは、補間のために（たとえば、動作６１８において選択されたフィルタを使用して動作６２２を処理するために）使用され、フィルタの別のグループは、リサンプリングする（たとえば、動作６２０において選択されたフィルタを使用して動作６２２を処理する）ために使用される。そのような例では、フィルタのスイッチングが示される場合、フィルタは、ピクチャサイズが異なる、すなわち、リサンプリングが実施されるとの条件に基づいてグループから選択される。たとえば、フィルタインデックスは、フィルタのセット（またはグループ）からのそのフィルタインデックスをもつフィルタを使用することを示すことができ、ここで、セット（またはグループ）は、ブロックに対して補間のみが実施されるのか、リサンプリングのみが実施されるのかに基づいて識別される。
【0142】
[0150]より詳細な例では、（ｉｎｔｅｒｐｏｌａｔｉｏｎＳｅｔとして示される）補間のためのフィルタセットと（ｒｅｓａｍｐｌｉｎｇＳｅｔとして示される）リサンプリングのための別のフィルタセットとがあると仮定する。フィルタセットは、１つのフィルタまたは２つ以上のフィルタを有し得る（フィルタセットのサイズは、１以上であり得る）。ブロックにおいて使用されることになるｆｉｌｔｅｒＩｎｄｅｘの値をもつフィルタインデックスが選択され得る。ブロックにおいて使用されるフィルタは、インデックスｆｉｌｔｅｒＩｎｄｅｘをもつフィルタをルックアップすることによってフィルタセットから取得される。フィルタは、ｉｎｔｅｒｐｏｌａｔｉｏｎＳｅｔまたはｒｅｓａｍｐｌｉｎｇＳｅｔのセットのいずれかから来ることができ、フィルタセットは、現在のピクチャと参照ピクチャとのサイズが同じであるのかどうかの条件に基づいて識別される。現在のピクチャと参照ピクチャとのサイズが同じである場合（その場合、リサンプリングは必要とされない）、フィルタセットは、ｉｎｔｅｒｐｏｌａｔｉｏｎＳｅｔとして識別される。現在のピクチャと参照ピクチャとのサイズが異なる場合（その場合、リサンプリングが実施される）、フィルタセットは、ｒｅｓａｍｐｌｉｎｇＳｅｔとして識別される。この技法の利点は、フィルタインデックスのシグナリングとフィルタインデックスの推測とを変更する必要がない（たとえば、フィルタインデックス値は、補間またはリサンプリングされるネイバーブロックの間を伝搬することができる）ということであり、最後のフィルタのみが、ピクチャサイズ条件に基づいてセットから選択される。
【0143】
[0151]次に、参照ピクチャリサンプリング（またはスケーリング）ＲＰＲプロセスの例示的な例について説明する。上記のように、（たとえば、コーディングされたビデオシーケンス（ＣＶＳ）内で）解像度の変化があるとき、ピクチャは、それの参照ピクチャのうちの１つまたは複数とは異なるサイズを有し得る。ＲＰＲ処理は、すべての動きベクトルをそれらの対応する参照ピクチャのグリッドの代わりに現在のピクチャのグリッドに正規化するために実施され得る。そのようなプロセスは、設計を一貫して保ち、解像度の変化を動きベクトル予測プロセスに透過的にさせるために有益であり得る。そうでない場合、異なるサイズをもつ参照ピクチャを指す隣接動きベクトルは、異なるスケールにより空間動きベクトル予測のために直接使用されないことがある。
【0144】
[0152]解像度の変化が起こるとき、動き補償予測を行いながら動きベクトルと参照ブロックとの両方がスケーリングされ得る。場合によっては、スケーリング範囲は、［１／８，２］に限定される（たとえば、アップスケールは１：８に限定され、ダウンスケールは２：１に限定される）。ここで、アップスケール（またはアップサンプリング）は、参照ピクチャが現在のピクチャよりも小さい事例を指し、一方、ダウンスケール（またはダウンサンプリング）は、参照ピクチャが現在のピクチャよりも大きい事例を指す。スケーリングプロセスについては、以下でより詳細に説明する。
【0145】
[0153]ルーマブロックの場合、スケーリングファクタとそれらの固定小数点表現は、以下のように定義され得る。
【0146】
【数1】
【0147】
[0154]ＲＰＲプロセスは、（１）現在のブロックの左上隅のピクセルを参照ピクチャにマッピングすることと、（２）現在のブロックの他のピクセルの参照ロケーションをアドレス指定するために水平および垂直ステップサイズを使用することとを含む２つの部分を含むことができる。場合によっては、現在のブロックの左上隅のピクセルの座標が（ｘ，ｙ）である場合、１／１６ペルの単位で動きベクトル（ｍｖＸ，ｍｖＹ）によって指される参照ピクチャ中のサブペルロケーション（ｘ’，ｙ’）が指定され、ここで、参照ピクチャ中の水平ロケーションは、以下の通りである。
【0148】
【数2】
【0149】
[0155]ｘ’は、１０個の小数ビットだけを保つようにさらにスケールダウンされる。
【0150】
【数3】
【0151】
[0156]同様に、参照ピクチャ中の垂直ロケーションは、以下の通りである。
【0152】
【数4】
【0153】
[0157]ｙ’は、以下までさらにスケールダウンされる。
【0154】
【数5】
【0155】
[0158]この時点で、現在のブロックの左上隅のピクセルの参照ロケーションは、（ｘ’，ｙ’）にある。他の参照サブペル／ペルロケーションは、水平および垂直ステップサイズを用いて（ｘ’，ｙ’）に対して計算され得る。それらのステップサイズは、次のように上記の水平および垂直スケーリングファクタから１／１０２４ペル精度（または他のペル精度）で導出され得る。
【0156】
【数6】
【0157】
[0159]一例では、現在のブロック中のピクセルが左上隅のピクセル（またはサンプル）からｉ列およびｊ行離れている場合、それの対応する参照ピクセルの水平および垂直座標は、以下によって導出される。
【0158】
【数7】
【0159】
[0160]サブペル補間では、ｘ’iおよびｙ’jは、次のようにフルペル部分と分数ペル部分とに分割される必要があり得、ここで、参照ブロックをアドレス指定するためのフルペル部分は、以下に等しくなる。
【0160】
【数8】
【0161】
[0161]補間フィルタを選択するために使用される分数ペル部分は、以下に等しくなる。
【0162】
【数9】
【0163】
[0162]参照ピクチャ内でのフルペルおよび分数ペルのロケーションが決定されると、既存の動き補償補間器がいかなる追加の変更もなしに使用され得る。フルペルのロケーションは、参照ピクチャから参照ブロックパッチをフェッチするために使用されることになり、分数ペルロケーションは、適切な補間フィルタを選択するために使用されることになる。
【0164】
[0163]次に、クロマブロックのためのＲＰＲプロセスの一例について説明する。たとえば、クロマフォーマットが４：２：０であるとき、クロマ動きベクトルは、１／３２ペル精度を有する。この例では、クロマ動きベクトルとクロマ参照ブロックとのスケーリングプロセスは、クロマフォーマットに関連する調整が導入されることを除きルーマブロックのためのものと同様である。
【0165】
[0164]現在のクロマブロックの左上隅のピクセルの座標が（ｘc，ｙc）であるとき、参照クロマピクチャ中で最初の水平および垂直ロケーションは次のようになる。
【0166】
【数10】
【0167】
[0165]ここで、ｍｖＸおよびｍｖＹは、元のルーマ動きベクトルであるが、ここで、次のように、１／３２ペル精度を用いて、ｘc’とｙc’とが、１／１０２４ペル精度を保つためにさらにスケールダウンされることを検査されなければならない。
【0168】
【数11】
【0169】
[0166]関連するルーマ式と比較して、右上シフトは、１つの追加のビットだけ増加される。
【0170】
[0167]使用されるステップサイズは、ルーマの場合と同じである。左上隅のピクセルに対して（ｉ，ｊ）にあるクロマピクセルの場合、それの参照ピクセルの水平および垂直座標は、以下によって導出される。
【0171】
【数12】
【0172】
[0168]サブペル補間では、
【0173】
【数13】
【0174】
および
【0175】
【数14】
【0176】
はやはり、フルペル部分と分数ペル部分とに分割され、参照ブロックをアドレス指定するためのフルペル部分は、以下に等しくなる。
【0177】
【数15】
【0178】
[0169]補間フィルタを選択するために使用される分数ペル部分は、以下に等しくなる。
【0179】
【数16】
【0180】
[0170]プロセスは、論理流れ図に関して説明され得、その動作は、ハードウェア、コンピュータ命令、またはそれらの組合せにおいて実施され得る動作のシーケンスを表現する。コンピュータ命令のコンテキストでは、動作は、１つまたは複数のプロセッサによって実行されたとき、具陳された動作を実施する１つまたは複数のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実施するか、または特定のデータタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。動作が説明される順序は、限定として解釈されるものではなく、任意の数の説明される動作は、プロセスを実装するために任意の順序でおよび／または並行して組み合わせられ得る。
【0181】
[0171]さらに、プロセスは、実行可能命令で構成された１つもしくは複数のコンピュータシステムの制御下で実施され得、まとめて１つもしくは複数のプロセッサ上で、ハードウェアによって、またはそれらの組合せで実行するコード（たとえば、実行可能命令、１つもしくは複数のコンピュータプログラム、または１つもしくは複数のアプリケーション）として実装され得る。上述のように、コードは、たとえば、１つまたは複数のプロセッサによって実行可能な複数の命令を備えるコンピュータプログラムの形態で、コンピュータ可読または機械可読記憶媒体に記憶され得る。コンピュータ可読または機械可読記憶媒体は非一時的であり得る。
【0182】
[0172]本明細書で説明されたコーディング技法は、例示的なビデオ符号化および復号システム（たとえば、システム１００）において実装され得る。いくつかの例では、システムは、宛先デバイスによって後で復号されるべき符号化ビデオデータを与えるソースデバイスを含む。特に、ソースデバイスは、コンピュータ可読媒体を介してビデオデータを宛先デバイスに与える。ソースデバイスおよび宛先デバイスは、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイスおよび宛先デバイスはワイヤレス通信のために装備され得る。
【0183】
[0173]宛先デバイスは、コンピュータ可読媒体を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体は、ソースデバイスから宛先デバイスに符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体は、ソースデバイスが符号化ビデオデータを宛先デバイスにリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイスに送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイスから宛先デバイスへの通信を促進するために有用であり得る、ルータ、スイッチ、基地局、または任意の他の機器を含み得る。
【0184】
[0174]いくつかの例では、符号化データは、出力インターフェースから記憶デバイスに出力され得る。同様に、符号化データは、入力インターフェースによって記憶デバイスからアクセスされ得る。記憶デバイスは、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、記憶デバイスは、ソースデバイスによって生成された符号化ビデオを記憶し得るファイルサーバまたは別の中間記憶デバイスに対応し得る。宛先デバイスは、ストリーミングまたはダウンロードを介して記憶デバイスから記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶することと、その符号化ビデオデータを宛先デバイスに送信することとが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイスは、インターネット接続を含む、任意の標準のデータ接続を通して符号化ビデオデータにアクセスし得る。この宛先デバイスは、ワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに適した、両方の組合せを含み得る。ストレージデバイスからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。
【0185】
[0175]一例では、ソースデバイスは、ビデオソースと、ビデオエンコーダと、出力インターフェースとを含む。宛先デバイスは、入力インターフェースと、ビデオデコーダと、ディスプレイデバイスとを含み得る。ソースデバイスのビデオエンコーダは、本明細書で開示される技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または構成を含み得る。たとえば、ソースデバイスは、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイスは、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
【0186】
[0176]上記の例示的なシステムは一例にすぎない。ビデオデータを並行して処理するための技法は、任意のデジタルビデオ符号化および／または復号デバイスによって実施され得る。概して、本開示の技法はビデオ符号化デバイスによって実施されるが、本技法は、一般に「コーデック」と呼ばれるビデオエンコーダ／デコーダによっても実施され得る。その上、本開示の技法はビデオプリプロセッサによっても実施され得る。ソースデバイスおよび宛先デバイスは、ソースデバイスが宛先デバイスに送信するためのコード化ビデオデータを生成するような、コーディングデバイスの例にすぎない。いくつかの例では、ソースデバイスおよび宛先デバイスは、デバイスの各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、例示的なシステムは、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ビデオデバイス間の一方向または双方向のビデオ送信をサポートし得る。
【0187】
[0177]ビデオソースは、ビデオカメラなどのビデオキャプチャデバイス、前にキャプチャされたビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソースは、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。いくつかの場合には、ビデオソースがビデオカメラである場合、ソースデバイスおよび宛先デバイスは、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、上述のように、本開示で説明される技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。各場合において、キャプチャされたビデオ、プリキャプチャされたビデオ、またはコンピュータ生成ビデオは、ビデオエンコーダによって符号化され得る。符号化ビデオ情報は、次いで、出力インターフェースによってコンピュータ可読媒体上に出力され得る。
【0188】
[0178]述べられたように、コンピュータ可読媒体は、ワイヤレスブロードキャストもしくはワイヤードネットワーク送信などの一時媒体、またはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ－ｒａｙディスク、もしくは他のコンピュータ可読媒体などの記憶媒体（すなわち、非一時的記憶媒体）を含み得る。いくつかの例では、ネットワークサーバ（図示せず）は、たとえば、ネットワーク送信を介して、ソースデバイスから符号化ビデオデータを受信し、その符号化ビデオデータを宛先デバイスに与え得る。同様に、ディスクスタンピング設備など、媒体製造設備のコンピューティングデバイスは、ソースデバイスから符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを作り出し得る。したがって、コンピュータ可読媒体は、様々な例において、様々な形態の１つまたは複数のコンピュータ可読媒体を含むことが理解され得る。
【0189】
[0179]宛先デバイスの入力インターフェースはコンピュータ可読媒体から情報を受信する。コンピュータ可読媒体の情報は、ビデオエンコーダによって定義され、またビデオデコーダによって使用される、ブロックおよび他のコード化ユニット、たとえば、ピクチャグループ（ＧＯＰ）の特性および／または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイスは、復号ビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。本出願の様々な実施形態が説明された。
【0190】
[0180]符号化デバイス１０４および復号デバイス１１２の具体的な詳細が、それぞれ図７および図８に示されている。図７は、本開示で説明される技法のうちの１つまたは複数を実装し得る例示的な符号化デバイス１０４を示すブロック図である。符号化デバイス１０４は、たとえば、本明細書で説明されるシンタックス構造（たとえば、ＶＰＳ、ＳＰＳ、ＰＰＳ、または他のシンタックス要素のシンタックス構造）を生成し得る。符号化デバイス１０４は、ビデオスライス内のビデオブロックのイントラ予測コーディングおよびインター予測コーディングを実施し得る。前に説明されたように、イントラコーディングは、所与のビデオフレームまたはピクチャ内の空間冗長性を低減または除去するために、空間予測に少なくとも部分的に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたは周囲のフレーム内の時間冗長性を低減または除去するために、時間予測に少なくとも部分的に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのいずれかを指すことがある。単方向予測（Ｐモード）または双予測（Ｂモード）などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指すことがある。
【0191】
[0181]符号化デバイス１０４は、区分ユニット３５と、予測処理ユニット４１と、フィルタユニット６３と、ピクチャメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測処理ユニット４１は、動き推定ユニット４２と、動き補償ユニット４４と、イントラ予測処理ユニット４６とを含む。ビデオブロック再構築のために、符号化デバイス１０４はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。フィルタユニット６３は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタなど、１つまたは複数のループフィルタを表現するものとする。フィルタユニット６３は、図７では、ループ内フィルタであるとして示されているが、他の構成では、フィルタユニット６３はループ後フィルタとして実装され得る。後処理デバイス５７は、符号化デバイス１０４によって生成された符号化ビデオデータに対して追加の処理を実施し得る。本開示の技法は、いくつかの事例では、符号化デバイス１０４によって実装され得る。しかしながら、他の事例では、本開示の技法のうちの１つまたは複数は、後処理デバイス５７によって実装され得る。
【0192】
[0182]図７に示されているように、符号化デバイス１０４はビデオデータを受信し、区分ユニット３５はデータをビデオブロックに区分する。区分はまた、たとえば、ＬＣＵおよびＣＵの４分木構造に従って、スライス、スライスセグメント、タイル、または他のより大きいユニットへの区分、ならびにビデオブロック区分を含み得る。符号化デバイス１０４は、概して、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示す。スライスは、複数のビデオブロックに（および場合によっては、タイルと呼ばれるビデオブロックのセットに）分割され得る。予測処理ユニット４１は、誤差結果（たとえば、コーディングレートおよびひずみレベルなど）に基づいて現在のビデオブロックについて、複数のイントラ予測コーディングモードのうちの１つ、または複数のインター予測コーディングモードのうちの１つなど、複数の可能なコーディングモードのうちの１つを選択し得る。予測処理ユニット４１は、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器５０に与え、参照ピクチャとして使用するための符号化ブロックを再構築するために加算器６２に与え得る。
【0193】
[0183]予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間圧縮を行うために、コーディングされるべき現在のブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対して現在のビデオブロックのイントラ予測コーディングを実施し得る。予測処理ユニット４１内の動き推定ユニット４２および動き補償ユニット４４は、時間圧縮を行うために、１つまたは複数の参照ピクチャ中の１つまたは複数の予測ブロックに対して現在のビデオブロックのインター予測コーディングを実施する。
【0194】
[0184]動き推定ユニット４２は、ビデオシーケンスに対する所定のパターンに従って、ビデオスライスのためのインター予測モードを決定するように構成され得る。所定のパターンは、シーケンス中のビデオスライスを、Ｐスライス、Ｂスライス、またはＧＰＢスライスに指定し得る。動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別個に示されている。動き推定ユニット４２によって実施される動き推定は、ビデオブロックについての動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する、現在のビデオフレームまたはピクチャ内のビデオブロックの予測ユニット（ＰＵ）の変位を示し得る。
【0195】
[0185]予測ブロックは、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのＰＵにぴったり一致することがわかるブロックである。いくつかの例では、符号化デバイス１０４は、ピクチャメモリ６４に記憶された参照ピクチャのサブ整数ピクセル位置についての値を計算し得る。たとえば、符号化デバイス１０４は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、フルピクセル位置および分数ピクセル位置に対して動き探索を実施し、分数ピクセル精度で動きベクトルを出力し得る。
【0196】
[0186]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのＰＵについての動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの各々は、ピクチャメモリ６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。
【0197】
[0187]動き補償ユニット４４によって実施される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成すること、場合によっては、サブピクセル精度への補間を実施することを伴い得る。現在のビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストにおいて指す予測ブロックの位置を特定し得る。符号化デバイス１０４は、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。ピクセル差分値は、ブロックのための残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含み得る。加算器５０は、この減算演算を実施する１つまたは複数の構成要素を表現する。動き補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際に復号デバイス１１２が使用するための、ビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
【0198】
[0188]イントラ予測処理ユニット４６は、上記で説明されたように、動き推定ユニット４２と動き補償ユニット４４とによって実施されるインター予測の代替として、現在ブロックをイントラ予測し得る。特に、イントラ予測処理ユニット４６は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測処理ユニット４６は、たとえば、別個の符号化パス中に様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測ユニット処理４６は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。たとえば、イントラ予測処理ユニット４６は、様々なテストされたイントラ予測モードのためにレートひずみ分析を使用してレートひずみ値を計算し得、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化ブロックと、符号化ブロックを作り出すために符号化されたブロックと元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化ブロックを作り出すために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測処理ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを決定するために、様々な符号化ブロックのためのひずみおよびレートから比を計算し得る。
【0199】
[0189]いずれの場合も、ブロックのためのイントラ予測モードを選択した後に、イントラ予測処理ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に与え得る。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化し得る。符号化デバイス１０４は、様々なブロックのための符号化コンテキストの構成データ定義、ならびにコンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および修正されたイントラ予測モードインデックステーブルの指示を送信ビットストリーム中に含め得る。ビットストリーム構成データは、複数のイントラ予測モードインデックステーブルと、（コードワードマッピングテーブルとも呼ばれる）複数の修正されたイントラ予測モードインデックステーブルとを含み得る。
【0200】
[0190]予測処理ユニット４１が、インター予測またはイントラ予測のいずれかを介して、現在のビデオブロックのための予測ブロックを生成した後、符号化デバイス１０４は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、１つまたは複数のＴＵ中に含まれ、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット５２は、残差ビデオデータをピクセル領域から周波数領域などの変換領域に変換し得る。
【0201】
[0191]変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために、変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって修正され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実施し得る。代替的に、エントロピー符号化ユニット５６が走査を実施し得る。
【0202】
[0192]量子化の後に、エントロピー符号化ユニット５６は、量子化変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピー符号化技法を実施し得る。エントロピー符号化ユニット５６によるエントロピー符号化の後に、符号化ビットストリームは復号デバイス１１２に送信されるか、または復号デバイス１１２が後で送信するかもしくは取り出すためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コーディングされている現在のビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。
【0203】
[0193]逆量子化ユニット５８および逆変換処理ユニット６０は、参照ピクチャの参照ブロックとして後で使用するためにピクセル領域において残差ブロックを再構築するために、それぞれ逆量子化および逆変換を適用する。動き補償ユニット４４は、残差ブロックを参照ピクチャリスト内の参照ピクチャのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、動き推定において使用するためのサブ整数ピクセル値を計算するために、再構築された残差ブロックに１つまたは複数の補間フィルタを適用し得る。加算器６２は、ピクチャメモリ６４に記憶するための参照ブロックを作り出すために、再構築された残差ブロックを動き補償ユニット４４によって作り出された動き補償予測ブロックに加算する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定ユニット４２および動き補償ユニット４４によって参照ブロックとして使用され得る。
【0204】
[0194]このようにして、図７の符号化デバイス１０４は、図５に関して上記で説明された方法５００を含む、本明細書で説明される技法のうちのいずれかを実施するように構成されたビデオエンコーダの一例を表す。いくつかの場合には、本開示の技法のうちのいくつかは、後処理デバイス５７によっても実装され得る。
【0205】
[0195]図７は、例示的な復号デバイス１１２を示すブロック図である。復号デバイス１１２は、エントロピー復号ユニット８０と、予測処理ユニット８１と、逆量子化ユニット８６と、逆変換処理ユニット８８と、加算器９０と、フィルタユニット９１と、ピクチャメモリ９２とを含む。予測処理ユニット８１は、動き補償ユニット８２と、イントラ予測処理ユニット８４とを含む。復号デバイス１１２は、いくつかの例では、図７からの符号化デバイス１０４に関して説明された符号化パスとは概して逆の復号パスを実施し得る。
【0206】
[0196]復号プロセス中に、復号デバイス１１２は、符号化デバイス１０４によって送られた、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。いくつかの実施形態では、復号デバイス１１２は、符号化デバイス１０４から符号化ビデオビットストリームを受信し得る。いくつかの実施形態では、復号デバイス１１２は、サーバ、メディアアウェアネットワーク要素（ＭＡＮＥ）、ビデオエディタ／スプライサ、または上記で説明された技法のうちの１つまたは複数を実装するように構成された他のそのようなデバイスなど、ネットワークエンティティ７９から符号化ビデオビットストリームを受信し得る。ネットワークエンティティ７９は、符号化デバイス１０４を含むことも、含まないこともある。本開示で説明される技法のうちのいくつかは、ネットワークエンティティ７９が符号化ビデオビットストリームを復号デバイス１１２に送信するより前に、ネットワークエンティティ７９によって実装され得る。いくつかのビデオ復号システムでは、ネットワークエンティティ７９および復号デバイス１１２は別個のデバイスの部分であり得るが、他の事例では、ネットワークエンティティ７９に関して説明される機能は、復号デバイス１１２を備える同じデバイスによって実施され得る。
【0207】
[0197]復号デバイス１１２のエントロピー復号ユニット８０は、量子化係数と、動きベクトルと、他のシンタックス要素とを生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、動きベクトルと他のシンタックス要素とを予測処理ユニット８１に転送する。復号デバイス１１２は、ビデオスライスレベルおよび／またはビデオブロックレベルのシンタックス要素を受信し得る。エントロピー復号ユニット８０は、ＶＰＳ、ＳＰＳ、およびＰＰＳなど、または複数のパラメータセット中の固定長シンタックス要素と可変長シンタックス要素の両方を処理し、パースし得る。
【0208】
[0198]ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされたとき、予測処理ユニット８１のイントラ予測処理ユニット８４は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（すなわち、Ｂ、ＰまたはＧＰＢ）スライスとしてコーディングされたとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを作り出す。予測ブロックは、参照ピクチャリスト内の参照ピクチャのうちの１つから作り出され得る。復号デバイス１１２は、ピクチャメモリ９２に記憶された参照ピクチャに基づいて、デフォルトの構築技法を使用して、参照フレームリスト、すなわち、リスト０とリスト１とを構築し得る。
【0209】
[0199]動き補償ユニット８２は、動きベクトルと他のシンタックス要素とをパースすることによって現在のビデオスライスのビデオブロックのための予測情報を決定し、復号されている現在のビデオブロックのための予測ブロックを作り出すために、その予測情報を使用する。たとえば、動き補償ユニット８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラまたはインター予測）と、インター予測スライスタイプ（たとえば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）と、スライスのための１つまたは複数の参照ピクチャリストのための構築情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、パラメータセット中の１つまたは複数のシンタックス要素を使用し得る。
【0210】
[0200]動き補償ユニット８２はまた、補間フィルタに基づいて補間を実施し得る。動き補償ユニット８２は、参照ブロックのサブ整数ピクセルのための補間値を計算するために、ビデオブロックの符号化中に符号化デバイス１０４によって使用された補間フィルタを使用し得る。この場合、動き補償ユニット８２は、受信されたシンタックス要素から符号化デバイス１０４によって使用された補間フィルタを決定し得、予測ブロックを作り出すためにその補間フィルタを使用し得る。
【0211】
[0201]逆量子化ユニット８６は、ビットストリーム中で与えられ、エントロピー復号ユニット８０によって復号された量子化変換係数を逆量子化、すなわち、量子化解除する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべきである逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとに符号化デバイス１０４によって計算される量子化パラメータの使用を含み得る。逆変換処理ユニット８８は、ピクセル領域における残差ブロックを作り出すために、逆変換（たとえば、逆ＤＣＴまたは他の好適な逆変換）、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。
【0212】
[0202]動き補償ユニット８２が、動きベクトルおよび他のシンタックス要素に基づいて現在のビデオブロックのための予測ブロックを生成した後に、復号デバイス１１２は、逆変換処理ユニット８８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器９０は、この加算演算を実施する１つまたは複数の構成要素を表現する。所望される場合、（コーディングループ内またはコーディングループ後のいずれかの）ループフィルタも、ピクセル遷移を平滑化するために、またはさもなければビデオ品質を改善するために使用され得る。フィルタユニット９１は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタなど、１つまたは複数のループフィルタを表現するものとする。図８では、フィルタユニット９１はループ内フィルタであるとして示されているが、他の構成では、フィルタユニット９１はループ後フィルタとして実装され得る。所与のフレームまたはピクチャ中の復号ビデオブロックは、次いで、後続の動き補償のために使用される参照ピクチャを記憶するピクチャメモリ９２に記憶される。ピクチャメモリ９２はまた、図１に示されているビデオ宛先デバイス１２２など、ディスプレイデバイス上で後で提示するために復号ビデオを記憶する。
【0213】
【0214】
[0204]本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システムは、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
【0215】
[0205]本明細書で使用される「コンピュータ可読媒体」という用語は、限定はしないが、ポータブルまたは非ポータブル記憶デバイス、光記憶デバイス、ならびに（１つまたは複数の）命令および／またはデータを記憶、含有、または担持することが可能な様々な他の媒体を含む。コンピュータ可読媒体は、データがそこに記憶され得る非一時的媒体を含み得、それは、ワイヤレスにまたはワイヤード接続を介して伝搬する搬送波および／または一時的電子信号を含まない。非一時的媒体の例は、限定はしないが、磁気ディスクまたはテープ、コンパクトディスク（ＣＤ）またはデジタル多用途ディスク（ＤＶＤ）などの光記憶媒体、フラッシュメモリ、メモリまたはメモリデバイスを含み得る。コンピュータ可読媒体は、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、または命令、データ構造、もしくはプログラムステートメントの任意の組合せを表し得るコードおよび／または機械実行可能命令をその上に記憶していることがある。コードセグメントは、情報、データ、引数、パラメータ、またはメモリ内容をパスおよび／または受信することによって、別のコードセグメントまたはハードウェア回路に結合され得る。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信などを含む、任意の好適な手段を介してパス、転送、または送信され得る。
【0216】
[0206]いくつかの実施形態では、コンピュータ可読記憶デバイス、媒体、およびメモリは、ビットストリーム等を含有するケーブル信号またはワイヤレス信号を含むことができる。ただし、言及される場合、非一時的なコンピュータ可読記憶媒体は、エネルギー、搬送波信号、電磁波、および信号自体などの媒体を明示的に除外する。
【0217】
[0207]具体的な詳細は、本明細書において提供される実施形態および例の完全な理解を提供するために、上記の説明において提供されている。しかしながら、実施形態はこれらの具体的な詳細なしに実施されてもよいことが、当業者によって理解されるであろう。解説を分かりやすくするために、いくつかの場合において、本技術は、デバイス、デバイス構成要素、ソフトウェア、またはハードウェアとソフトウェアとの組合せにおいて具現化される方法におけるステップまたはルーチンを備える機能的ブロックを含む、個々の機能的ブロックを含むものとして提示され得る。図に示されているおよび／または本明細書で説明される構成要素以外の追加の構成要素が使用され得る。たとえば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要な詳細で不明瞭にしないように、ブロック図の形式において構成要素として示され得る。他の場合において、周知の回路、プロセス、アルゴリズム、構造、および技法は、実施形態を不明瞭にすることを回避するために、不必要な詳細なしで図示され得る。
【0218】
[0208]個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として描かれるプロセスまたは方法として上述され得る。フローチャートは、動作を逐次的なプロセスとして説明し得るが、動作の多くは、並行してまたは同時に実施され得る。さらに、動作の順序は並べ替えられ得る。それの動作が完了されるとき、プロセスは終了されるが、図中に含まれない追加のステップを有し得る。プロセスは、方法、機能、手続き、サブルーチン、サブプログラム等に対応し得る。プロセスが機能に対応する場合、その終了は、呼出関数またはメイン関数への関数の戻り値に対応し得る。
【0219】
[0209]上述した例によるプロセスおよび方法は、記憶されている、またはさもなければコンピュータ可読媒体から利用可能である、コンピュータ実行可能な命令を使用して実装され得る。そのような命令は、たとえば、汎用コンピュータ、専用コンピュータ、もしくは処理デバイスに、一定の機能もしくは機能のグループを実行させる、またはさもなければ、汎用コンピュータ、専用コンピュータ、もしくは処理デバイスを一定の機能もしくは機能のグループを実施するように構成する、命令およびデータを含むことができる。使用されるコンピュータリソースの部分は、ネットワーク上でアクセス可能とすることができる。コンピュータ実行可能命令は、たとえば、バイナリ、アセンブリ言語などの中間フォーマット命令、ファームウェア、ソースコードなどであり得る。説明される例による方法期間中の命令、使用される情報、および／または作成される情報を記憶するために使用され得るコンピュータ可読媒体の例は、磁気ディスクまたは光ディスク、フラッシュメモリ、不揮発性メモリを備えたＵＳＢデバイス、ネットワーク接続された記憶デバイス等を含む。
【0220】
[0210]これらの開示によるプロセスおよび方法を実装するデバイスは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せを含むことができ、様々なフォームファクタのいずれかをとることができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードにおいて実装される場合、必要なタスクを実施するためのプログラムコードまたはコードセグメント（たとえば、コンピュータプログラム製品）は、コンピュータ可読媒体または機械可読媒体に記憶され得る。プロセッサは、必要なタスクを実施し得る。フォームファクタの典型的な例は、ラップトップコンピュータ、スマートフォン、携帯電話、タブレットデバイスまたは他の小型フォームファクタパーソナルコンピュータ、携帯情報端末、ラックマウントデバイス、スタンドアロンデバイス等を含む。本明細書において説明される機能性は、周辺機器またはアドインカードにおいても具体化され得る。そのような機能性は、さらなる例として、異なるチップの中の回路基板または単一デバイス内で実行される異なるプロセス上でも実装され得る。
【0221】
[0211]命令、そのような命令を伝達するための媒体、それらを実行するためのコンピューティングリソース、およびそのようなコンピューティングリソースをサポートするための他の構造は、本開示において説明される機能を提供するための例示的な手段である。
【0222】
[0212]上記の説明では、本出願の態様がそれの特定の実施形態を参照しながら説明されたが、本出願はそれに限定されないことを、当業者は認識されよう。したがって、本出願の例示的な実施形態が本明細書で詳細に説明されているが、従来技術によって限定される場合を除いて、発明的概念が、場合によっては様々に具体化および採用され得、添付の特許請求の範囲が、そのような変形形態を含むように解釈されるものであることを理解されたい。上記で説明された適用例の様々な特徴および態様は、個々にまたは一緒に使用され得る。さらに、実施形態は、本明細書のより広い趣旨および範囲から逸脱せずに、本明細書において説明される環境およびアプリケーションを超える、任意の数の環境およびアプリケーションにおいて利用され得る。したがって、本明細書および図面は、制限的なものというよりもむしろ例示的なものとして考慮されるべきである。例示の目的のために、方法は、特定の順序で説明された。代替実施形態では、方法は、説明された順序とは異なる順序で実施され得ることを諒解されたい。
【0223】
[0213]本明細書で使用される、よりも小さい（「＜」）、および、よりも大きい（「＞」）のシンボルまたは専門用語は、本明細書の範囲から逸脱することなく、それぞれ、よりも小さいかまたはそれに等しい（「≦」）、および、よりも大きいかまたはそれに等しい（「≧」）のシンボルと置き換えられ得ることを、当業者は諒解されよう。
【0224】
[0214]構成要素が、ある動作を実施する「ように構成されて」いるものとして説明される場合、そのような構成は、たとえば、動作を実施するように電子回路または他のハードウェアを設計することによって、動作を実施するようにプログラマブル電子回路（たとえば、マイクロプロセッサ、または他の好適な電子回路）をプログラムすることによって、またはそれらの任意の組合せによって、達成され得る。
【0225】
[0215]「に結合される」という句は、直接的にもしくは間接的に別の構成要素に物理的に接続される任意の構成要素、および／または、直接的もしくは間接的に別の構成要素と通信する（たとえば、有線接続もしくはワイヤレス接続、および／または他の適切な通信インターフェース上で、他の構成要素に接続された）任意の構成要素を指す。
【0226】
[0216]セット「のうちの少なくとも１つ」、および／またはセットのうちの「１つもしくは複数」を具陳するクレームの文言または他の文言は、セットのうちの１つのメンバーまたは（任意の組合せにおける）セットのうちの複数のメンバーがクレームを満たすことを示す。たとえば、「ＡおよびＢのうちの少なくとも１つ」または「ＡもしくはＢのうちの少なくとも１つ」を具陳する特許請求の範囲の文言は、Ａ、Ｂ、またはＡおよびＢを意味する。別の例では、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」または「Ａ、Ｂ、もしくはＣのうちの少なくとも１つ」を具陳する特許請求の範囲の文言は、Ａ、Ｂ、Ｃ、またはＡおよびＢ、またはＡおよびＣ、またはＢおよびＣ、またはＡおよびＢおよびＣを意味する。文言セットの「うちの少なくとも１つ」および／またはセットのうちの「１つもしくは複数」は、セットにリストされている項目にセットを限定しない。たとえば、「ＡおよびＢのうちの少なくとも１つ」または「ＡもしくはＢのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、またはＡおよびＢを意味することができ、さらに、ＡおよびＢのセットにリストされていない項目を含むことができる。
【0227】
[0217]本明細書において開示される実施形態に関連して説明される、様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、ファームウェア、または、これらの組合せとして実装され得る。ハードウェアとソフトウェアとのこの互換性を明確に例示するために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップは、一般に、それらの機能性の観点から上述されている。そのような機能性がハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、特定の適用例およびシステム全体に課される設計制約条件に依存する。熟練した技術者は、説明された機能性を特定の適用例ごとに様々な手法で実装し得るが、そのような実装上の決定は、本出願の範囲からの逸脱を引き起こすものとして解釈されるべきではない。
【0228】
[0218]本明細書において説明される技法は、電子ハードウェア、コンピュータソフトウェア、ファームウェア、または、これらの任意の組合せにおいても実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。モジュールまたは構成要素として説明された特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別個に実装され得る。ソフトウェアで実装された場合、本技法は、実行されたとき、上記で説明された方法のうちの１つまたは複数を実施する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージングマテリアルを含み得る、コンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、磁気または光学データ記憶媒体など、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または電波など、命令またはデータ構造の形態でプログラムコードを搬送または伝達し、コンピュータによってアクセスされ、読み取られ、および／または実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。
【0229】
[0219]プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の等価の集積回路もしくはディスクリート論理回路など、１つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明された技法のいずれかを実施するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサは、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアを併用する１つもしくは複数のマイクロプロセッサ、または、任意の他のそのような構成としても実装され得る。したがって、本明細書において使用されるような「プロセッサ」という用語は、前述の構造のいずれか、前述の構造の任意の組合せ、または、本明細書において説明される技法の実装に適した任意の他の構造もしくは装置を指し得る。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアモジュール内に提供され得、あるいは複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。
【0230】
[0220]本開示の例示的な例は、以下を含む。
【0231】
[0221]例１：ビデオデータを処理する方法であって、ビデオデータの現在のピクチャを取得することと、現在のピクチャのサイズが少なくとも１つの参照ピクチャのサイズとは異なると決定することと、現在のピクチャのサイズが少なくとも１つの参照ピクチャのサイズとは異なることに基づいて切替え可能な補間フィルタ処理の使用が使用不可（ディセーブル）にされると決定することと、現在のピクチャのサイズが少なくとも１つの参照ピクチャのサイズとは異なることに基づいて少なくとも１つの参照ピクチャの参照ピクチャリサンプリングを実施することと、を備える方法。
【0232】
[0222]例２。サイズを決定することがブロック単位で実施される、例１に記載の方法。
【0233】
[0223]例３。サイズを決定することがスライス単位で実施される、例１に記載の方法。
【0234】
[0224]例４。サイズを決定することがタイル単位で実施される、例１に記載の方法。
【0235】
[0225]例５。サイズを決定することがサブピクチャ単位で実施される、例１に記載の方法。
【0236】
[0226]例６。サイズを決定することがシーケンス単位で実施される、例１に記載の方法。
【0237】
[0227]例７。現在のピクチャのサイズが、現在のピクチャの復号されたピクチャサイズである、例１から６のいずれか１つに記載の方法。
【0238】
[0228]例８。現在のピクチャのサイズが、１つまたは複数の適合ウィンドウを適用した後の現在のピクチャのクロップされたピクチャサイズである、例１から６のいずれか１つに記載の方法。
【0239】
[0229]例９。参照ピクチャのサイズが、現在のピクチャの復号されたピクチャサイズと１つまたは複数のオフセットとに基づいて決定される、例１から８のいずれか１つに記載の方法。
【0240】
[0230]例１０。現在のピクチャのサイズと適用されたオフセットをもつ参照ピクチャのサイズとに基づいて参照ピクチャリサンプリングを実施するためのスケーリング比を決定することをさらに備える、例１から９のいずれか１つに記載の方法。
【0241】
[0231]例１１。切替え可能な補間フィルタ処理に関連する１つまたは複数のシンタックス要素は、切替え可能な補間フィルタ処理がブロックレベルで使用不可にされていることに基づいて、符号化されたビデオビットストリームを用いてブロックのためにシグナリングされない、例１から１０のいずれか１つに記載の方法。
【0242】
[0232]例１２。切替え可能な補間フィルタ処理に関連する１つまたは複数のシンタックス要素は、現在のピクチャのブロックのためのフィルタインデックスを示すシンタックス要素を含む、例１１に記載の方法。
【0243】
[0233]例１３。切替え可能な補間フィルタ処理がブロックレベルで使用不可にされていとき、およびブロックのためのフィルタインデックスがブロックの１つまたは複数の隣接ブロックから推測されるとき、フィルタインデックスは、修正され、ブロックの隣接ブロックから導出された動きベクトル候補のためのデフォルトフィルタインデックスに設定される、例１から１２のいずれか１つに記載の方法。
【0244】
[0234]例１４。デフォルトフィルタインデックスは、切替え可能な補間フィルタ処理が適用されないことを示す、例１３に記載の方法。
【0245】
[0235]例１５。デフォルトフィルタインデックスは、ブロックのために無視され、１つまたは複数の後続のブロックのための使用のためにブロックと一緒に記憶される、例１３または１４のいずれか１つに記載の方法。
【0246】
[0236]例１６。現在のピクチャを含む符号化されたビデオビットストリームを生成することをさらに備える、例１から１５のいずれか１つに記載の方法。
【0247】
[0237]例１７。現在のピクチャを復号することをさらに備える、例１から１５のいずれか１つに記載の方法。
【0248】
[0238]例１８。ビデオデータを記憶するように構成されたメモリと、例１から１７のいずれかに従ってビデオデータを処理するように構成されたプロセッサとを備える装置。
【0249】
[0239]例１９。装置がエンコーダを含む、例１８に記載の装置。
【0250】
[0240]例２０。装置がデコーダを含む、例１８に記載の装置。
【0251】
[0241]例２１。装置がモバイルデバイスである、例１８から２０のいずれか１つに記載の装置。
【0252】
[0242]例２２。ビデオデータを表示するように構成されたディスプレイをさらに備える、例１８から２１のいずれか１つに記載の装置。
【0253】
[0243]例２３。１つまたは複数のピクチャをキャプチャするように構成されたカメラをさらに備える、例１８から２２のいずれか１つに記載の装置。
【0254】
[0244]例２４。プロセッサによって実行されたとき、例１から１７のいずれかに記載の方法を実施する命令を記憶したコンピュータ可読媒体。
【0255】
[0245]例２４。ビデオデータを処理する方法であって、ビデオデータの現在のピクチャを取得することと、現在のピクチャのサイズが少なくとも１つの参照ピクチャのサイズとは異なるのかどうかを決定することと、フィルタをフィルタの第１のセットから選択すべきかまたはフィルタの第２のセットから選択すべきかを示すフィルタインデックスを取得することと、フィルタの第１のセットは、１つまたは複数の補間フィルタを含み、第２のセットは、少なくとも１つの参照ピクチャの参照ピクチャリサンプリングを実施するための１つまたは複数のフィルタを含み、現在のピクチャのサイズが少なくとも１つの参照ピクチャのサイズと異なるかどうかに基づいて、フィルタをフィルタの第１のセットから選択すべきかフィルタの第２のセットから選択すべきかを決定することとを備える方法。
【0256】
[0246]例２５。現在のピクチャのサイズと少なくとも１つの参照ピクチャのサイズとが同じサイズであると決定することと、現在のピクチャのサイズと少なくとも１つの参照ピクチャのサイズとが同じサイズであると決定することに基づいて、フィルタの第１のセットからフィルタを選択することとをさらに備える、例２４に記載の方法。
【0257】
[0247]例２６。現在のピクチャのサイズが少なくとも１つの参照ピクチャのサイズとは異なると決定することと、現在のピクチャのサイズが少なくとも１つの参照ピクチャのサイズとは異なると決定することに基づいて、フィルタの第２のセットからフィルタを選択することとをさらに備える、例２４に記載の方法。
【0258】
[0248]例２７。ビデオデータを記憶するように構成されたメモリと、例２４から２６のいずれかに従ってビデオデータを処理するように構成されたプロセッサとを備える装置。
【0259】
[0249]例２８。装置がエンコーダを含む、例２７に記載の装置。
【0260】
[0250]例２９。装置がデコーダを含む、例２７に記載の装置。
【0261】
[0251]例３０。装置がモバイルデバイスである、例２７から２９のいずれか１つに記載の装置。
【0262】
[0252]例３１。ビデオデータを表示するように構成されたディスプレイをさらに備える、例２７から３０のいずれか１つに記載の装置。
【0263】
[0253]例３２。１つまたは複数のピクチャをキャプチャするように構成されたカメラをさらに備える、例２７から３１のいずれか１つに記載の装置。
【0264】
[0254]例３３。プロセッサによって実行されたとき、例２４から２６のいずれかに記載の方法を実施する命令を記憶したコンピュータ可読媒体。
【0265】
[0255]例３４。ビデオデータを処理するための装置であって、命令を記憶する１つまたは複数のメモリユニットと、命令を実行する１つまたは複数のプロセッサと、を備え、１つまたは複数のプロセッサによる命令の実行は、１つまたは複数のプロセッサに、現在のピクチャと参照ピクチャとを取得することと、現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別することと、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なると決定することと、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なるとの決定に基づいて、フィルタインデックス情報によって識別される現在のフィルタインデックスを使用せずにリサンプリングプロセスを実施することとを行わせる、装置。
【0266】
[0256]例３５。ビデオデータを処理するための装置であって、命令を記憶する１つまたは複数のメモリユニットと、命令を実行する１つまたは複数のプロセッサと、を備え、１つまたは複数のプロセッサによる命令の実行は、１つまたは複数のプロセッサに、現在のピクチャと参照ピクチャとを取得することと、現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別することと、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なると決定することと、現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なるとの決定に基づいて、フィルタインデックス情報によって識別される現在のフィルタインデックスの代わりにデフォルトフィルタインデックス（たとえば、デフォルトインデックス値）を使用してサンプルレート変換プロセスを実施することとを行わせる、装置。
【0267】
[0257]例３６。１つまたは複数のプロセッサによる命令の実行は、１つまたは複数のプロセッサに、現在のブロックとともにフィルタインデックス情報によって識別される現在のフィルタインデックスを記憶することと、現在のフィルタインデックスがフィルタインデックス情報によって識別されることに基づいて、後続のブロックのための動きベクトル候補導出において現在のフィルタインデックスを使用することと、をさらに行わせる、例３４または３５のいずれか１つに記載の装置。
【0268】
[0258]例３７。１つまたは複数のプロセッサによる命令の実行は、１つまたは複数のプロセッサに、デフォルトフィルタインデックスを作成するために現在のフィルタインデックスを使用せずにサンプルレート変換プロセスが実施されるときに元の値を暫定的に置き換えるために現在のフィルタインデックスのためのデフォルト値を割り当てることと、サンプルレート変換プロセス後に、現在のフィルタインデックスの元の値を割り当てることと、をさらに行わせる、例３４または３５のいずれか１つに記載の装置。
【0269】
[0259]例３８。現在のフィルタインデックスのためのデフォルト値は、代替的な切替え可能フィルタ処理がリサンプリングプロセスの一部として適用されないことを示す、例３７に記載の装置。
【0270】
[0260]例３９。フィルタインデックス情報は、ネイバーブロック情報を備え、現在のフィルタインデックスは、マージモード動きベクトル候補リスト導出中にネイバーブロック情報から導出される、例３４から３８のいずれか１つに記載の装置。
【0271】
[0261]例４０。フィルタインデックス情報は、適応動きベクトル解像度（ＡＭＶＲ）モードシグナリングを備え、現在のフィルタインデックスは、ＡＭＶＲモードシグナリングを通じてシグナリングされる、例３４から３９のいずれか１つに記載の装置。
【0272】
[0262]例４１。サンプルレート変換プロセスは、動き補償プロセスである、例３４から４０のいずれか１つに記載の装置。
【0273】
[0263]例４２。サンプルレート変換プロセスは、リサンプリングプロセスを含む、例３４から４１のいずれか１つに記載の装置。
【0274】
[0264]例４３。サンプルレート変換プロセスは、補間プロセスを含む、例３４から４２のいずれか１つに記載の装置。
【0275】
[0265]例４４。１つまたは複数のプロセッサによる命令の実行は、１つまたは複数のプロセッサに、現在のピクチャの現在のブロックのインター予測のために参照ピクチャを使用することをさらに行わせる、例３４から４３のいずれか１つに記載の装置。
【0276】
[0266]例４５。１つまたは複数のプロセッサによる命令の実行は、１つまたは複数のプロセッサに、現在のフィルタインデックスがサンプルレート変換プロセスのために使用されないと決定することと、現在のフィルタインデックスがサンプルレート変換プロセスのために使用されないと決定することに応答して、現在のフィルタインデックスの値をデフォルト値と置き換えることと、をさらに行わせる、例３４から４４のいずれか１つに記載の装置。
【0277】
[0267]例４６。１つまたは複数のプロセッサによる命令の実行は、１つまたは複数のプロセッサに、代替的な切替え可能フィルタが適用されないと決定するために、デフォルト値を処理することをさらに行わせる、例３４から４５のいずれか１つに記載の装置。
【0278】
[0268]例４７。代替的な切替え可能フィルタは、平滑化フィルタである、例４６に記載の装置。
【0279】
[0269]例４８。現在のフィルタインデックスがサンプルレート変換プロセスにおいて使用されないという決定に応答して、現在のフィルタインデックス値がシグナリングされない、例３４から４７のいずれか１つに記載の装置。
【0280】
[0270]例４９。現在のフィルタインデックスは、フィルタのセットから選択され、フィルタのセットのサブセットは、サンプルレート変換プロセスを実施するために使用され、フィルタのセットの残りの部分は、サンプルレート変換のために使用可能でない、例３４から４８のいずれか１つに記載の装置。
【0281】
[0271]例５０。フィルタのセットの残りの部分からの現在のフィルタインデックスの選択が禁止されることを示すシンタックス要素を使用して現在のフィルタインデックスが選択される、例４９のいずれか１つに記載の装置。
【0282】
[0272]例５１。サンプルレート変換プロセスは、リサンプリングプロセスを含み、１つまたは複数のプロセッサによる命令の実行は、１つまたは複数のプロセッサに、補間のためのフィルタの第１のグループとリサンプリングのためのフィルタの第２のグループとを識別すること、ここにおいて、現在のフィルタインデックスは、フィルタの第２のグループからのものである、をさらに行わせる、例３４から５０のいずれか１つに記載の装置。
【0283】
[0273]例５２。１つまたは複数のプロセッサによる命令の実行は、１つまたは複数のプロセッサに、第２の現在のピクチャと第２の参照ピクチャとを取得することと、第２の現在のピクチャの第３のピクチャサイズ値と第２の参照ピクチャの第４のピクチャサイズ値とが同じサイズ値であると決定することと、第２の現在のピクチャの第３のピクチャサイズ値と第２の参照ピクチャの第４のピクチャサイズ値とが同じサイズ値であると決定することに基づいて、第２の選択されたフィルタを使用して第２の現在のブロックのための第２のリサンプリングプロセスを実施することと、ここにおいて、第２の選択されたフィルタは、フィルタの第１のグループからのものである、をさらに行わせる、例５１に記載の装置。
【0284】
[0274]例５３。フィルタの第１のグループとフィルタの第２のグループとの各フィルタは、関連するフィルタインデックスによって識別され、関連するフィルタインデックスは、補間のためのフィルタセットまたはリサンプリングのためのフィルタセットからの関連するインデックス値を示す、例５１または５２のいずれか１つに記載の装置。
【0285】
[0275]例５４。１つまたは複数のプロセッサによる命令の実行は、１つまたは複数のプロセッサに、選択されたフィルタインデックス値のためのルックアップ演算によって、フィルタインデックスから現在のフィルタインデックスを取得すること、ここにおいて、選択されたフィルタインデックス値は、フィルタの第２のグループに関連付けられ、選択されたフィルタインデックス値とフィルタの第２のグループとの間の関連付けは、第１のピクチャサイズ値と第２のピクチャサイズ値とが異なると決定することに基づく、をさらに行わせる、例５１から５３のいずれか１つに記載の装置。
【0286】
[0276]例５５。現在のピクチャの第１のピクチャサイズ値と参照ピクチャの第２のピクチャサイズ値とが異なると決定することは、現在のピクチャの幅が参照ピクチャの幅とは異なることと、現在のピクチャの高さが参照ピクチャの高さとは異なることとのうちの少なくとも１つを決定することを備える、例３４から５４のいずれか１つに記載の装置。
【0287】
[0277]例５６。１つまたは複数のプロセッサによる命令の実行は、１つまたは複数のプロセッサに、現在のピクチャと参照ピクチャとを備える符号化されたビデオビットストリームを生成することをさらに行わせる、例３４から５５のいずれか１つに記載の装置。
【0288】
[0278]例５７。１つまたは複数のプロセッサによる命令の実行は、１つまたは複数のプロセッサに、復号デバイスに符号化されたビデオビットストリームを送ること、符号化されたビデオビットストリームはシグナリング情報とともに送られ、シグナリング情報は、デフォルトフィルタインデックスを備える、をさらに行わせる、例５６に記載の装置。
【0289】
[0279]例５８。１つまたは複数のプロセッサによる命令の実行は、１つまたは複数のプロセッサに、符号化されたビデオビットストリームを記憶することをさらに行わせる、例５６または５７のいずれか１つに記載の装置。
【0290】
[0280]例５９。１つまたは複数のプロセッサによる命令の実行は、１つまたは複数のプロセッサに、現在のピクチャと参照ピクチャとを備える符号化されたビデオビットストリームを取得することと、符号化されたビデオビットストリームに関連するシグナリング情報を識別することと、シグナリング情報は、フィルタインデックス情報を備え、符号化されたビデオビットストリームから現在のピクチャの現在のブロックを復号することと、をさらに行わせる、例５６から５８のいずれか１つに記載の装置。
【0291】
[0281]例６０。符号化されたビデオビットストリームから現在のピクチャの現在のブロックを復号することは、デフォルトフィルタインデックスに基づいて現在のブロックを再構築することを備える、例３４から５５のいずれか１つに記載の装置。
【0292】
[0282]例６１。装置がモバイルデバイスである、例３４から６０のいずれか１つに記載の装置。
【0293】
[0283]例６２。装置は、ビデオデータを表示するように構成されたディスプレイを含む、例３４から６１のいずれか１つに記載の装置。
【0294】
[0284]例６３。装置は、ビデオデータの１つまたは複数のビデオフレームをキャプチャするように構成されたカメラを含む、例３４から６２のいずれか１つに記載の装置。
【0295】
[0285]例６４。上記の例３４から６３のいずれか１つに記載の方法。
【0296】
[0286]例６５。デバイスによって実行されたとき、デバイスに、上記の例３４から６３のいずれかによる動作を実施させる命令を備える非一時的コンピュータ可読記憶媒体。
【0297】
[0287]例６６。上記の例３４から６３による任意の動作を実施するための手段を含む装置。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを処理する方法であって、
現在のピクチャと参照ピクチャとを取得することと、
前記現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別することと、
前記現在のピクチャの第１のピクチャサイズ値と前記参照ピクチャの第２のピクチャサイズ値とが異なると決定することと、
前記現在のピクチャの前記第１のピクチャサイズ値と前記参照ピクチャの前記第２のピクチャサイズ値とが異なると前記決定することに基づいて、前記フィルタインデックス情報によって識別される現在のフィルタインデックスの代わりにデフォルトフィルタインデックスを使用して、サンプルレート変換プロセスを実施することと、
を備える方法。
［Ｃ２］
前記現在のブロックとともに前記フィルタインデックス情報によって識別される前記現在のフィルタインデックスを記憶することと、
前記現在のフィルタインデックスが前記フィルタインデックス情報によって識別されることに基づいて、後続のブロックのための動きベクトル候補導出において前記現在のフィルタインデックスを使用することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記デフォルトフィルタインデックスを作成するために前記現在のフィルタインデックスを使用せずに前記サンプルレート変換プロセスが実施されるときに元の値を暫定的に置き換えるために前記現在のフィルタインデックスのためのデフォルト値を割り当てることと、
前記サンプルレート変換プロセス後に前記現在のフィルタインデックスの前記元の値を割り当てることと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ４］
前記現在のフィルタインデックスのための前記デフォルト値は、代替的な切替え可能フィルタ処理が前記サンプルレート変換プロセスの一部として適用されないことを示す、Ｃ３に記載の方法。
［Ｃ５］
前記フィルタインデックス情報は、ネイバーブロック情報を備え、前記現在のフィルタインデックスは、マージモード動きベクトル候補リスト導出中に前記ネイバーブロック情報から導出される、Ｃ１に記載の方法。
［Ｃ６］
前記フィルタインデックス情報は、適応動きベクトル解像度（ＡＭＶＲ）モードシグナリングを備え、前記現在のフィルタインデックスは、前記ＡＭＶＲモードシグナリングを通じてしてシグナリングされる、Ｃ１に記載の方法。
［Ｃ７］
前記サンプルレート変換プロセスは、動き補償プロセスである、Ｃ１に記載の方法。
［Ｃ８］
前記サンプルレート変換プロセスは、リサンプリングプロセスを含む、Ｃ１に記載の方法。
［Ｃ９］
前記サンプルレート変換プロセスは、補間プロセスを含む、Ｃ１に記載の方法。
［Ｃ１０］
前記現在のピクチャの前記現在のブロックのインター予測のために前記参照ピクチャを使用することをさらに備える、Ｃ１に記載の方法。
［Ｃ１１］
前記現在のフィルタインデックスが前記サンプルレート変換プロセスのために使用されないと決定することと、
前記現在のフィルタインデックスが前記サンプルレート変換プロセスのために使用されないと前記決定することに応答して、前記現在のフィルタインデックスの値をデフォルト値と置き換えることと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ１２］
代替的な切替え可能フィルタが適用されないと決定するために、前記デフォルト値を処理することをさらに備える、Ｃ１１に記載の方法。
［Ｃ１３］
前記代替的な切替え可能フィルタは、平滑化フィルタである、Ｃ１２に記載の方法。
［Ｃ１４］
前記現在のフィルタインデックスが前記サンプルレート変換プロセスにおいて使用されないという決定に応答して、現在のフィルタインデックス値がシグナリングされない、Ｃ１に記載の方法。
［Ｃ１５］
前記現在のフィルタインデックスは、フィルタのセットから選択され、フィルタの前記セットのサブセットは、前記サンプルレート変換プロセスを実施するために使用され、フィルタの前記セットの残りの部分は、サンプルレート変換のために使用可能でない、Ｃ１に記載の方法。
［Ｃ１６］
フィルタの前記セットの前記残りの部分からの前記現在のフィルタインデックスの選択が禁止されることを示すシンタックス要素を使用して、前記現在のフィルタインデックスが選択される、Ｃ１５に記載の方法。
［Ｃ１７］
前記サンプルレート変換プロセスは、リサンプリングプロセスを含み、
補間のためのフィルタの第１のグループと、リサンプリングのためのフィルタの第２のグループとを識別すること、ここにおいて、前記現在のフィルタインデックスは、フィルタの前記第２のグループからのものである、
をさらに備える、Ｃ１に記載の方法。
［Ｃ１８］
第２の現在のピクチャと第２の参照ピクチャとを取得することと、
前記第２の現在のピクチャの第３のピクチャサイズ値と前記第２の参照ピクチャの第４のピクチャサイズ値とが同じサイズ値であると決定することと、
前記第２の現在のピクチャの前記第３のピクチャサイズ値と前記第２の参照ピクチャの前記第４のピクチャサイズ値とが前記同じサイズ値であると決定することに基づいて、第２の選択されたフィルタを使用して第２の現在のブロックのための第２のリサンプリングプロセスを実施することと、ここにおいて、前記第２の選択されたフィルタは、フィルタの前記第１のグループからのものである、
をさらに備える、Ｃ１７に記載の方法。
［Ｃ１９］
フィルタの前記第１のグループとフィルタの前記第２のグループとの各フィルタは、関連するフィルタインデックスによって識別され、前記関連するフィルタインデックスは、補間のためのフィルタセットまたはリサンプリングのためのフィルタセットからの関連するインデックス値を示す、Ｃ１７に記載の方法。
［Ｃ２０］
選択されたフィルタインデックス値のためのルックアップ演算によって、フィルタインデックスから前記現在のフィルタインデックスを取得すること、をさらに備え、
前記選択されたフィルタインデックス値は、フィルタの前記第２のグループに関連付けられ、
前記選択されたフィルタインデックス値とフィルタの前記第２のグループとの間の関連付けは、前記第１のピクチャサイズ値と前記第２のピクチャサイズ値とが異なると決定することに基づく、
Ｃ１７に記載の方法。
［Ｃ２１］
前記現在のピクチャの前記第１のピクチャサイズ値と前記参照ピクチャの前記第２のピクチャサイズ値とが異なると決定することは、
現在のピクチャの幅が参照ピクチャの幅とは異なること、および、
現在のピクチャの高さが参照ピクチャの高さとは異なること、
のうちの少なくとも１つを決定することを備える、Ｃ１に記載の方法。
［Ｃ２２］
前記現在のピクチャと前記参照ピクチャとを備える符号化されたビデオビットストリームを生成すること、
をさらに備える、Ｃ１に記載の方法。
［Ｃ２３］
復号デバイスに前記符号化されたビデオビットストリームを送ること、前記符号化されたビデオビットストリームはシグナリング情報とともに送られ、前記シグナリング情報は、前記デフォルトフィルタインデックスを備える、
をさらに備える、Ｃ２２に記載の方法。
［Ｃ２４］
前記符号化されたビデオビットストリームを記憶すること、
をさらに備える、Ｃ２２に記載の方法。
［Ｃ２５］
前記現在のピクチャと前記参照ピクチャとを備える符号化されたビデオビットストリームを取得することと、
前記符号化されたビデオビットストリームに関連するシグナリング情報を識別することと、前記シグナリング情報は、前記フィルタインデックス情報を備え、
前記符号化されたビデオビットストリームから前記現在のピクチャの前記現在のブロックを復号することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ２６］
前記符号化されたビデオビットストリームから前記現在のピクチャの前記現在のブロックを復号することは、前記デフォルトフィルタインデックスに基づいて前記現在のブロックを再構築することを備える、Ｃ２５に記載の方法。
［Ｃ２７］
ビデオデータを処理するための装置であって、
命令を記憶する１つまたは複数のメモリユニットと、
前記命令を実行する１つまたは複数のプロセッサと、を備え、前記１つまたは複数のプロセッサによる前記命令の実行は、前記１つまたは複数のプロセッサに、
現在のピクチャと参照ピクチャとを取得することと、
前記現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別することと、
前記現在のピクチャの第１のピクチャサイズ値と前記参照ピクチャの第２のピクチャサイズ値とが異なると決定することと、
前記現在のピクチャの前記第１のピクチャサイズ値と前記参照ピクチャの前記第２のピクチャサイズ値とが異なるとの決定に基づいて、前記フィルタインデックス情報によって識別される現在のフィルタインデックスの代わりにデフォルトフィルタインデックスを使用してサンプルレート変換プロセスを実施することと、
を行わせる、装置。
［Ｃ２８］
前記１つまたは複数のプロセッサによる前記命令の前記実行は、前記１つまたは複数のプロセッサに、
前記現在のブロックとともに前記フィルタインデックス情報によって識別される前記現在のフィルタインデックスを記憶することと、
前記現在のフィルタインデックスが前記フィルタインデックス情報によって識別されることに基づいて、後続のブロックのための動きベクトル候補導出において前記現在のフィルタインデックスを使用することと、
をさらに行わせる、Ｃ２７に記載の装置。
［Ｃ２９］
前記１つまたは複数のプロセッサによる前記命令の前記実行は、前記１つまたは複数のプロセッサに、
前記デフォルトフィルタインデックスを作成するために前記現在のフィルタインデックスを使用せずに前記サンプルレート変換プロセスが実施されるときに元の値を暫定的に置き換えるために前記現在のフィルタインデックスのためのデフォルト値を割り当てることと、
前記サンプルレート変換プロセス後に前記現在のフィルタインデックスの前記元の値を割り当てることと、
をさらに行わせる、Ｃ２７に記載の装置。
［Ｃ３０］
前記現在のフィルタインデックスのための前記デフォルト値は、代替的な切替え可能フィルタ処理が前記サンプルレート変換プロセスの一部として適用されないことを示す、Ｃ２９に記載の装置。
［Ｃ３１］
前記フィルタインデックス情報は、ネイバーブロック情報を備え、前記現在のフィルタインデックスは、マージモード動きベクトル候補リスト導出中に前記ネイバーブロック情報から導出される、Ｃ２７に記載の装置。
［Ｃ３２］
前記フィルタインデックス情報は、適応動きベクトル解像度（ＡＭＶＲ）モードシグナリングを備え、前記現在のフィルタインデックスは、前記ＡＭＶＲモードシグナリングを通じてシグナリングされる、Ｃ２７に記載の装置。
［Ｃ３３］
前記サンプルレート変換プロセスは、動き補償プロセスである、Ｃ２７に記載の装置。
［Ｃ３４］
前記サンプルレート変換プロセスは、リサンプリングプロセスを含む、Ｃ２７に記載の装置。
［Ｃ３５］
前記サンプルレート変換プロセスは、補間プロセスを含む、Ｃ２７に記載の装置。
［Ｃ３６］
前記１つまたは複数のプロセッサによる前記命令の前記実行は、前記１つまたは複数のプロセッサに、前記現在のピクチャの前記現在のブロックのインター予測のために前記参照ピクチャを使用することをさらに行わせる、Ｃ２７に記載の装置。
［Ｃ３７］
前記１つまたは複数のプロセッサによる前記命令の前記実行は、前記１つまたは複数のプロセッサに、
前記現在のフィルタインデックスが前記サンプルレート変換プロセスのために使用されないと決定することと、
前記現在のフィルタインデックスが前記サンプルレート変換プロセスのために使用されないと前記決定することに応答して、前記現在のフィルタインデックスの値をデフォルト値と置き換えることと、
をさらに行わせる、Ｃ２７に記載の装置。
［Ｃ３８］
前記１つまたは複数のプロセッサによる前記命令の前記実行は、前記１つまたは複数のプロセッサに、代替的な切替え可能フィルタが適用されないと決定するために、前記デフォルト値を処理することをさらに行わせる、Ｃ３７に記載の装置。
［Ｃ３９］
前記代替的な切替え可能フィルタは、平滑化フィルタである、Ｃ３８に記載の装置。
［Ｃ４０］
前記現在のフィルタインデックスが前記サンプルレート変換プロセスにおいて使用されないという決定に応答して、現在のフィルタインデックス値がシグナリングされない、Ｃ２７に記載の装置。
［Ｃ４１］
前記現在のフィルタインデックスは、フィルタのセットから選択され、フィルタの前記セットのサブセットは、前記サンプルレート変換プロセスを実施するために使用され、フィルタの前記セットの残りの部分は、サンプルレート変換のために使用可能でない、Ｃ２７に記載の装置。
［Ｃ４２］
フィルタの前記セットの前記残りの部分からの前記現在のフィルタインデックスの選択が禁止されることを示すシンタックス要素を使用して、前記現在のフィルタインデックスが選択される、Ｃ４１に記載の装置。
［Ｃ４３］
前記サンプルレート変換プロセスは、リサンプリングプロセスを含み、
前記１つまたは複数のプロセッサによる前記命令の前記実行は、前記１つまたは複数のプロセッサに、
補間のためのフィルタの第１のグループと、リサンプリングのためのフィルタの第２のグループとを識別すること、ここにおいて、前記現在のフィルタインデックスは、フィルタの前記第２のグループからのものである、
をさらに行わせる、Ｃ２７に記載の装置。
［Ｃ４４］
前記１つまたは複数のプロセッサによる前記命令の前記実行は、前記１つまたは複数のプロセッサに、
第２の現在のピクチャと第２の参照ピクチャとを取得することと、
前記第２の現在のピクチャの第３のピクチャサイズ値と前記第２の参照ピクチャの第４のピクチャサイズ値とが同じサイズ値であると決定することと、
前記第２の現在のピクチャの前記第３のピクチャサイズ値と前記第２の参照ピクチャの前記第４のピクチャサイズ値とが前記同じサイズ値であると決定することに基づいて、第２の選択されたフィルタを使用して第２の現在のブロックのための第２のリサンプリングプロセスを実施することと、ここにおいて、前記第２の選択されたフィルタは、フィルタの前記第１のグループからのものである、
をさらに行わせる、Ｃ４３に記載の装置。
［Ｃ４５］
フィルタの前記第１のグループとフィルタの前記第２のグループとの各フィルタは、関連するフィルタインデックスによって識別され、前記関連するフィルタインデックスは、補間のためのフィルタセットまたはリサンプリングのためのフィルタセットからの関連するインデックス値を示す、Ｃ４３に記載の装置。
［Ｃ４６］
前記１つまたは複数のプロセッサによる前記命令の前記実行は、前記１つまたは複数のプロセッサに、
選択されたフィルタインデックス値のためのルックアップ演算によって、フィルタインデックスから前記現在のフィルタインデックスを取得すること、をさらに行わせ、
前記選択されたフィルタインデックス値は、フィルタの第２のグループに関連付けられ、
前記選択されたフィルタインデックス値とフィルタの前記第２のグループとの間の関連付けは、前記第１のピクチャサイズ値と前記第２のピクチャサイズ値とが異なると決定することに基づく、
Ｃ２７に記載の装置。
［Ｃ４７］
前記現在のピクチャの前記第１のピクチャサイズ値と前記参照ピクチャの前記第２のピクチャサイズ値とが異なると決定することは、
現在のピクチャの幅が参照ピクチャの幅とは異なること、および、
現在のピクチャの高さが参照ピクチャの高さとは異なること、
のうちの少なくとも１つを決定することを備える、Ｃ２７に記載の装置。
［Ｃ４８］
前記１つまたは複数のプロセッサによる前記命令の実行は、前記１つまたは複数のプロセッサに、
前記現在のピクチャと前記参照ピクチャとを備える符号化されたビデオビットストリームを生成すること、
を行わせる、Ｃ２７に記載の装置。
［Ｃ４９］
前記１つまたは複数のプロセッサによる前記命令の実行は、前記１つまたは複数のプロセッサに、
復号デバイスに前記符号化されたビデオビットストリームを送ること、前記符号化されたビデオビットストリームはシグナリング情報とともに送られ、前記シグナリング情報は、前記デフォルトフィルタインデックスを備える、
を行わせる、Ｃ４８に記載の装置。
［Ｃ５０］
前記１つまたは複数のプロセッサによる前記命令の実行は、前記１つまたは複数のプロセッサに、
前記符号化されたビデオビットストリームを記憶すること、
を行わせる、Ｃ４８に記載の装置。
［Ｃ５１］
前記１つまたは複数のプロセッサによる前記命令の実行は、前記１つまたは複数のプロセッサに、
前記現在のピクチャと前記参照ピクチャとを備える符号化されたビデオビットストリームを取得することと、
前記符号化されたビデオビットストリームに関連するシグナリング情報を識別することと、前記シグナリング情報は、前記フィルタインデックス情報を備え、
前記符号化されたビデオビットストリームから前記現在のピクチャの前記現在のブロックを復号することと、
を行わせる、Ｃ２７に記載の装置。
［Ｃ５２］
前記符号化されたビデオビットストリームから前記現在のピクチャの前記現在のブロックを復号することは、前記デフォルトフィルタインデックスに基づいて前記現在のブロックを再構築することを備える、Ｃ５１に記載の装置。
［Ｃ５３］
前記装置がモバイルデバイスである、Ｃ２７に記載の装置。
［Ｃ５４］
前記装置は、前記ビデオデータを表示するように構成されるディスプレイを含む、Ｃ２７に記載の装置。
［Ｃ５５］
前記装置は、前記ビデオデータの１つまたは複数のビデオフレームをキャプチャするように構成されたカメラを含む、Ｃ２７に記載の装置。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを処理する方法であって、
現在のピクチャと参照ピクチャとを取得することと、
前記現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別することと、
前記現在のピクチャの第１のピクチャサイズ値と前記参照ピクチャの第２のピクチャサイズ値とが異なると決定することと、
前記現在のピクチャの前記第１のピクチャサイズ値と前記参照ピクチャの前記第２のピクチャサイズ値とが異なると前記決定することに基づいて、前記フィルタインデックス情報によって識別される現在のフィルタインデックスの代わりにデフォルトフィルタインデックスを使用して、サンプルレート変換プロセスを実施することと、
を備える方法。
［Ｃ２］
前記現在のブロックとともに前記フィルタインデックス情報によって識別される前記現在のフィルタインデックスを記憶することと、
前記現在のフィルタインデックスが前記フィルタインデックス情報によって識別されることに基づいて、後続のブロックのための動きベクトル候補導出において前記現在のフィルタインデックスを使用することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記デフォルトフィルタインデックスを作成するために前記現在のフィルタインデックスを使用せずに前記サンプルレート変換プロセスが実施されるときに元の値を暫定的に置き換えるために前記現在のフィルタインデックスのためのデフォルト値を割り当てることと、
前記サンプルレート変換プロセス後に前記現在のフィルタインデックスの前記元の値を割り当てることと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ４］
前記現在のフィルタインデックスのための前記デフォルト値は、代替的な切替え可能フィルタ処理が前記サンプルレート変換プロセスの一部として適用されないことを示す、Ｃ３に記載の方法。
［Ｃ５］
前記フィルタインデックス情報は、ネイバーブロック情報を備え、前記現在のフィルタインデックスは、マージモード動きベクトル候補リスト導出中に前記ネイバーブロック情報から導出される、Ｃ１に記載の方法。
［Ｃ６］
前記フィルタインデックス情報は、適応動きベクトル解像度（ＡＭＶＲ）モードシグナリングを備え、前記現在のフィルタインデックスは、前記ＡＭＶＲモードシグナリングを通じてしてシグナリングされる、Ｃ１に記載の方法。
［Ｃ７］
前記サンプルレート変換プロセスは、動き補償プロセスである、Ｃ１に記載の方法。
［Ｃ８］
前記サンプルレート変換プロセスは、リサンプリングプロセスを含む、Ｃ１に記載の方法。
［Ｃ９］
前記サンプルレート変換プロセスは、補間プロセスを含む、Ｃ１に記載の方法。
［Ｃ１０］
前記現在のピクチャの前記現在のブロックのインター予測のために前記参照ピクチャを使用することをさらに備える、Ｃ１に記載の方法。
［Ｃ１１］
前記現在のフィルタインデックスが前記サンプルレート変換プロセスのために使用されないと決定することと、
前記現在のフィルタインデックスが前記サンプルレート変換プロセスのために使用されないと前記決定することに応答して、前記現在のフィルタインデックスの値をデフォルト値と置き換えることと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ１２］
代替的な切替え可能フィルタが適用されないと決定するために、前記デフォルト値を処理することをさらに備える、Ｃ１１に記載の方法。
［Ｃ１３］
前記代替的な切替え可能フィルタは、平滑化フィルタである、Ｃ１２に記載の方法。
［Ｃ１４］
前記現在のフィルタインデックスが前記サンプルレート変換プロセスにおいて使用されないという決定に応答して、現在のフィルタインデックス値がシグナリングされない、Ｃ１に記載の方法。
［Ｃ１５］
前記現在のフィルタインデックスは、フィルタのセットから選択され、フィルタの前記セットのサブセットは、前記サンプルレート変換プロセスを実施するために使用され、フィルタの前記セットの残りの部分は、サンプルレート変換のために使用可能でない、Ｃ１に記載の方法。
［Ｃ１６］
フィルタの前記セットの前記残りの部分からの前記現在のフィルタインデックスの選択が禁止されることを示すシンタックス要素を使用して、前記現在のフィルタインデックスが選択される、Ｃ１５に記載の方法。
［Ｃ１７］
前記サンプルレート変換プロセスは、リサンプリングプロセスを含み、
補間のためのフィルタの第１のグループと、リサンプリングのためのフィルタの第２のグループとを識別すること、ここにおいて、前記現在のフィルタインデックスは、フィルタの前記第２のグループからのものである、
をさらに備える、Ｃ１に記載の方法。
［Ｃ１８］
第２の現在のピクチャと第２の参照ピクチャとを取得することと、
前記第２の現在のピクチャの第３のピクチャサイズ値と前記第２の参照ピクチャの第４のピクチャサイズ値とが同じサイズ値であると決定することと、
前記第２の現在のピクチャの前記第３のピクチャサイズ値と前記第２の参照ピクチャの前記第４のピクチャサイズ値とが前記同じサイズ値であると決定することに基づいて、第２の選択されたフィルタを使用して第２の現在のブロックのための第２のリサンプリングプロセスを実施することと、ここにおいて、前記第２の選択されたフィルタは、フィルタの前記第１のグループからのものである、
をさらに備える、Ｃ１７に記載の方法。
［Ｃ１９］
フィルタの前記第１のグループとフィルタの前記第２のグループとの各フィルタは、関連するフィルタインデックスによって識別され、前記関連するフィルタインデックスは、補間のためのフィルタセットまたはリサンプリングのためのフィルタセットからの関連するインデックス値を示す、Ｃ１７に記載の方法。
［Ｃ２０］
選択されたフィルタインデックス値のためのルックアップ演算によって、フィルタインデックスから前記現在のフィルタインデックスを取得すること、をさらに備え、
前記選択されたフィルタインデックス値は、フィルタの前記第２のグループに関連付けられ、
前記選択されたフィルタインデックス値とフィルタの前記第２のグループとの間の関連付けは、前記第１のピクチャサイズ値と前記第２のピクチャサイズ値とが異なると決定することに基づく、
Ｃ１７に記載の方法。
［Ｃ２１］
前記現在のピクチャの前記第１のピクチャサイズ値と前記参照ピクチャの前記第２のピクチャサイズ値とが異なると決定することは、
現在のピクチャの幅が参照ピクチャの幅とは異なること、および、
現在のピクチャの高さが参照ピクチャの高さとは異なること、
のうちの少なくとも１つを決定することを備える、Ｃ１に記載の方法。
［Ｃ２２］
前記現在のピクチャと前記参照ピクチャとを備える符号化されたビデオビットストリームを生成すること、
をさらに備える、Ｃ１に記載の方法。
［Ｃ２３］
復号デバイスに前記符号化されたビデオビットストリームを送ること、前記符号化されたビデオビットストリームはシグナリング情報とともに送られ、前記シグナリング情報は、前記デフォルトフィルタインデックスを備える、
をさらに備える、Ｃ２２に記載の方法。
［Ｃ２４］
前記符号化されたビデオビットストリームを記憶すること、
をさらに備える、Ｃ２２に記載の方法。
［Ｃ２５］
前記現在のピクチャと前記参照ピクチャとを備える符号化されたビデオビットストリームを取得することと、
前記符号化されたビデオビットストリームに関連するシグナリング情報を識別することと、前記シグナリング情報は、前記フィルタインデックス情報を備え、
前記符号化されたビデオビットストリームから前記現在のピクチャの前記現在のブロックを復号することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ２６］
前記符号化されたビデオビットストリームから前記現在のピクチャの前記現在のブロックを復号することは、前記デフォルトフィルタインデックスに基づいて前記現在のブロックを再構築することを備える、Ｃ２５に記載の方法。
［Ｃ２７］
ビデオデータを処理するための装置であって、
命令を記憶する１つまたは複数のメモリユニットと、
前記命令を実行する１つまたは複数のプロセッサと、を備え、前記１つまたは複数のプロセッサによる前記命令の実行は、前記１つまたは複数のプロセッサに、
現在のピクチャと参照ピクチャとを取得することと、
前記現在のピクチャの現在のブロックのためのフィルタインデックス情報を識別することと、
前記現在のピクチャの第１のピクチャサイズ値と前記参照ピクチャの第２のピクチャサイズ値とが異なると決定することと、
前記現在のピクチャの前記第１のピクチャサイズ値と前記参照ピクチャの前記第２のピクチャサイズ値とが異なるとの決定に基づいて、前記フィルタインデックス情報によって識別される現在のフィルタインデックスの代わりにデフォルトフィルタインデックスを使用してサンプルレート変換プロセスを実施することと、
を行わせる、装置。
［Ｃ２８］
前記１つまたは複数のプロセッサによる前記命令の前記実行は、前記１つまたは複数のプロセッサに、
前記現在のブロックとともに前記フィルタインデックス情報によって識別される前記現在のフィルタインデックスを記憶することと、
前記現在のフィルタインデックスが前記フィルタインデックス情報によって識別されることに基づいて、後続のブロックのための動きベクトル候補導出において前記現在のフィルタインデックスを使用することと、
をさらに行わせる、Ｃ２７に記載の装置。
［Ｃ２９］
前記１つまたは複数のプロセッサによる前記命令の前記実行は、前記１つまたは複数のプロセッサに、
前記デフォルトフィルタインデックスを作成するために前記現在のフィルタインデックスを使用せずに前記サンプルレート変換プロセスが実施されるときに元の値を暫定的に置き換えるために前記現在のフィルタインデックスのためのデフォルト値を割り当てることと、
前記サンプルレート変換プロセス後に前記現在のフィルタインデックスの前記元の値を割り当てることと、
をさらに行わせる、Ｃ２７に記載の装置。
［Ｃ３０］
前記現在のフィルタインデックスのための前記デフォルト値は、代替的な切替え可能フィルタ処理が前記サンプルレート変換プロセスの一部として適用されないことを示す、Ｃ２９に記載の装置。
［Ｃ３１］
前記フィルタインデックス情報は、ネイバーブロック情報を備え、前記現在のフィルタインデックスは、マージモード動きベクトル候補リスト導出中に前記ネイバーブロック情報から導出される、Ｃ２７に記載の装置。
［Ｃ３２］
前記フィルタインデックス情報は、適応動きベクトル解像度（ＡＭＶＲ）モードシグナリングを備え、前記現在のフィルタインデックスは、前記ＡＭＶＲモードシグナリングを通じてシグナリングされる、Ｃ２７に記載の装置。
［Ｃ３３］
前記サンプルレート変換プロセスは、動き補償プロセスである、Ｃ２７に記載の装置。
［Ｃ３４］
前記サンプルレート変換プロセスは、リサンプリングプロセスを含む、Ｃ２７に記載の装置。
［Ｃ３５］
前記サンプルレート変換プロセスは、補間プロセスを含む、Ｃ２７に記載の装置。
［Ｃ３６］
前記１つまたは複数のプロセッサによる前記命令の前記実行は、前記１つまたは複数のプロセッサに、前記現在のピクチャの前記現在のブロックのインター予測のために前記参照ピクチャを使用することをさらに行わせる、Ｃ２７に記載の装置。
［Ｃ３７］
前記１つまたは複数のプロセッサによる前記命令の前記実行は、前記１つまたは複数のプロセッサに、
前記現在のフィルタインデックスが前記サンプルレート変換プロセスのために使用されないと決定することと、
前記現在のフィルタインデックスが前記サンプルレート変換プロセスのために使用されないと前記決定することに応答して、前記現在のフィルタインデックスの値をデフォルト値と置き換えることと、
をさらに行わせる、Ｃ２７に記載の装置。
［Ｃ３８］
前記１つまたは複数のプロセッサによる前記命令の前記実行は、前記１つまたは複数のプロセッサに、代替的な切替え可能フィルタが適用されないと決定するために、前記デフォルト値を処理することをさらに行わせる、Ｃ３７に記載の装置。
［Ｃ３９］
前記代替的な切替え可能フィルタは、平滑化フィルタである、Ｃ３８に記載の装置。
［Ｃ４０］
前記現在のフィルタインデックスが前記サンプルレート変換プロセスにおいて使用されないという決定に応答して、現在のフィルタインデックス値がシグナリングされない、Ｃ２７に記載の装置。
［Ｃ４１］
前記現在のフィルタインデックスは、フィルタのセットから選択され、フィルタの前記セットのサブセットは、前記サンプルレート変換プロセスを実施するために使用され、フィルタの前記セットの残りの部分は、サンプルレート変換のために使用可能でない、Ｃ２７に記載の装置。
［Ｃ４２］
フィルタの前記セットの前記残りの部分からの前記現在のフィルタインデックスの選択が禁止されることを示すシンタックス要素を使用して、前記現在のフィルタインデックスが選択される、Ｃ４１に記載の装置。
［Ｃ４３］
前記サンプルレート変換プロセスは、リサンプリングプロセスを含み、
前記１つまたは複数のプロセッサによる前記命令の前記実行は、前記１つまたは複数のプロセッサに、
補間のためのフィルタの第１のグループと、リサンプリングのためのフィルタの第２のグループとを識別すること、ここにおいて、前記現在のフィルタインデックスは、フィルタの前記第２のグループからのものである、
をさらに行わせる、Ｃ２７に記載の装置。
［Ｃ４４］
前記１つまたは複数のプロセッサによる前記命令の前記実行は、前記１つまたは複数のプロセッサに、
第２の現在のピクチャと第２の参照ピクチャとを取得することと、
前記第２の現在のピクチャの第３のピクチャサイズ値と前記第２の参照ピクチャの第４のピクチャサイズ値とが同じサイズ値であると決定することと、
前記第２の現在のピクチャの前記第３のピクチャサイズ値と前記第２の参照ピクチャの前記第４のピクチャサイズ値とが前記同じサイズ値であると決定することに基づいて、第２の選択されたフィルタを使用して第２の現在のブロックのための第２のリサンプリングプロセスを実施することと、ここにおいて、前記第２の選択されたフィルタは、フィルタの前記第１のグループからのものである、
をさらに行わせる、Ｃ４３に記載の装置。
［Ｃ４５］
フィルタの前記第１のグループとフィルタの前記第２のグループとの各フィルタは、関連するフィルタインデックスによって識別され、前記関連するフィルタインデックスは、補間のためのフィルタセットまたはリサンプリングのためのフィルタセットからの関連するインデックス値を示す、Ｃ４３に記載の装置。
［Ｃ４６］
前記１つまたは複数のプロセッサによる前記命令の前記実行は、前記１つまたは複数のプロセッサに、
選択されたフィルタインデックス値のためのルックアップ演算によって、フィルタインデックスから前記現在のフィルタインデックスを取得すること、をさらに行わせ、
前記選択されたフィルタインデックス値は、フィルタの第２のグループに関連付けられ、
前記選択されたフィルタインデックス値とフィルタの前記第２のグループとの間の関連付けは、前記第１のピクチャサイズ値と前記第２のピクチャサイズ値とが異なると決定することに基づく、
Ｃ２７に記載の装置。
［Ｃ４７］
前記現在のピクチャの前記第１のピクチャサイズ値と前記参照ピクチャの前記第２のピクチャサイズ値とが異なると決定することは、
現在のピクチャの幅が参照ピクチャの幅とは異なること、および、
現在のピクチャの高さが参照ピクチャの高さとは異なること、
のうちの少なくとも１つを決定することを備える、Ｃ２７に記載の装置。
［Ｃ４８］
前記１つまたは複数のプロセッサによる前記命令の実行は、前記１つまたは複数のプロセッサに、
前記現在のピクチャと前記参照ピクチャとを備える符号化されたビデオビットストリームを生成すること、
を行わせる、Ｃ２７に記載の装置。
［Ｃ４９］
前記１つまたは複数のプロセッサによる前記命令の実行は、前記１つまたは複数のプロセッサに、
復号デバイスに前記符号化されたビデオビットストリームを送ること、前記符号化されたビデオビットストリームはシグナリング情報とともに送られ、前記シグナリング情報は、前記デフォルトフィルタインデックスを備える、
を行わせる、Ｃ４８に記載の装置。
［Ｃ５０］
前記１つまたは複数のプロセッサによる前記命令の実行は、前記１つまたは複数のプロセッサに、
前記符号化されたビデオビットストリームを記憶すること、
を行わせる、Ｃ４８に記載の装置。
［Ｃ５１］
前記１つまたは複数のプロセッサによる前記命令の実行は、前記１つまたは複数のプロセッサに、
前記現在のピクチャと前記参照ピクチャとを備える符号化されたビデオビットストリームを取得することと、
前記符号化されたビデオビットストリームに関連するシグナリング情報を識別することと、前記シグナリング情報は、前記フィルタインデックス情報を備え、
前記符号化されたビデオビットストリームから前記現在のピクチャの前記現在のブロックを復号することと、
を行わせる、Ｃ２７に記載の装置。
［Ｃ５２］
前記符号化されたビデオビットストリームから前記現在のピクチャの前記現在のブロックを復号することは、前記デフォルトフィルタインデックスに基づいて前記現在のブロックを再構築することを備える、Ｃ５１に記載の装置。
［Ｃ５３］
前記装置がモバイルデバイスである、Ｃ２７に記載の装置。
［Ｃ５４］
前記装置は、前記ビデオデータを表示するように構成されるディスプレイを含む、Ｃ２７に記載の装置。
［Ｃ５５］
前記装置は、前記ビデオデータの１つまたは複数のビデオフレームをキャプチャするように構成されたカメラを含む、Ｃ２７に記載の装置。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】