特許 7414127 拡張補間フィルタのメモリ帯域幅削減のためのアフィン動きモデル制限

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-05

(45)【発行日】2024-01-16

(54)【発明の名称】拡張補間フィルタのメモリ帯域幅削減のためのアフィン動きモデル制限

(51)【国際特許分類】

   H04N 19/105 20140101AFI20240109BHJP

   H04N 19/136 20140101ALI20240109BHJP

   H04N 19/139 20140101ALI20240109BHJP

   H04N 19/176 20140101ALI20240109BHJP

   H04N 19/513 20140101ALI20240109BHJP

【ＦＩ】

H04N19/105

H04N19/136

H04N19/139

H04N19/176

H04N19/513

【請求項の数】 22

(21)【出願番号】P 2022518666

(86)(22)【出願日】2020-09-30

(65)【公表番号】

(43)【公表日】2022-11-30

(86)【国際出願番号】 RU2020050258

(87)【国際公開番号】W WO2020256600

(87)【国際公開日】2020-12-24

【審査請求日】2022-04-27

(31)【優先権主張番号】PCT/RU2019/000691

(32)【優先日】2019-09-30

(33)【優先権主張国・地域又は機関】RU

(31)【優先権主張番号】62/958,291

(32)【優先日】2020-01-07

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】504161984

【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ソロヴィエフ、ティモフェイ ミカイロヴィッチ

(72)【発明者】

【氏名】シチェフ、マキシム ボリソヴィッチ

(72)【発明者】

【氏名】チェン、フアンバン

(72)【発明者】

【氏名】カラブトフ、アレクサンデル アレクサンドロヴィッチ

(72)【発明者】

【氏名】チェーンヤク、ロマン イゴレヴィッチ

(72)【発明者】

【氏名】イコニン、セルゲイ ユリエヴィッチ

(72)【発明者】

【氏名】ヤン、ハイタオ

(72)【発明者】

【氏名】アルシナ、エレナ アレクサンドロヴナ

【審査官】鉢呂 健

(56)【参考文献】

【文献】特表２０２２－５４８９９０（ＪＰ，Ａ）

【文献】特表２０２２－５０５８８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

動き補償のために、ブロックの制御点動きベクトルＣＰＭＶを使用して補間を実行するための補間フィルタを含むコーデックに実装された映像をコーディングするための方法であって、
ｉ）アフィンインター予測に従ってブロックの制御点動きベクトルＣＰＭＶを決定する段階であって、前記ブロックはアフィンブロックである、決定する段階と、
ｉｉ）所定の副次的ブロックサイズについて、前記ＣＰＭＶの値に従って前記所定の副次的ブロックサイズを有する副次的ブロックのための参照領域を決定する段階と、
ｉｉｉ）前記決定された参照領域を事前定義された閾値と比較する段階と、
ｉｖ）動き補償のために補間フィルタを適用する段階であって、前記ブロックの画素ベースの動きベクトル場を導出することを含む、適用する段階と、を含み、
前記決定された参照領域が前記事前定義された閾値よりも大きい場合、前記ブロックの前記画素ベースの動きベクトル場を導出する段階は、前記ブロックのサンプル位置の動きベクトルをクリッピングする段階をさらに含み、
前記ブロックのサイズに基づいて動きベクトルのクリップ範囲を決定する、方法。

【請求項2】

動き補償のために補間フィルタを使用する段階が、
Ｔタップの補間フィルタを用いて前記導出された動きベクトル場に基づいて参照ピクチャ内の補間サンプルを取得する段階であって、Ｔは前記補間フィルタの長さに対応する補間フィルタタップの数であり、Ｔは０より大きい、取得する段階と、
前記補間サンプルにハイパスフィルタを適用することと、をさらに含む、請求項１に記載の方法。

【請求項3】

動き補償のために補間フィルタを使用する段階は、
前記ブロックのサイズを決定する段階と、
前記ブロックの前記サイズを前記ブロックの前記サイズの第１の閾値と比較する段階と、をさらに含み、
前記ブロックの前記サイズが前記ブロックの前記サイズの前記第１の閾値以上である場合、ブロックベースのアフィン変換予測が前記ブロックに対して実行される、請求項２に記載の方法。

【請求項4】

前記ＣＰＭＶの値に従って前記所定の副次的ブロックサイズを有する副次的ブロックの前記参照領域を決定する段階は、
前記ハイパスフィルタの長さに基づいて前記副次的ブロックの各境界から画素マージンを加算することによって拡張ブロックを決定する段階と、
前記ＣＰＭＶに基づいて前記拡張ブロックの各コーナーの動きベクトルを導出する段階と、
前記導出された動きベクトルに基づいて前記参照ピクチャ内の変換されたブロックを導出する段階と、
前記変換されたブロックのバウンディングボックスを導出する段階と、を含み、
参照ブロックの領域は、前記バウンディングボックスの各境界からの（Ｔ－１）画素により拡張される前記バウンディングボックスに対応する、請求項２または３に記載の方法。

【請求項5】

前記参照ピクチャ内の前記変換されたブロックの前記バウンディングボックスの前記サイズは、以下の式を使用して導出され、ｍａｘ関数は、引数の最大値を返し、ｍｉｎ関数は、引数の最小値を返す、

【数60】

参照ピクチャ内の前記変換されたブロックの位置は、前記変換されたブロックのコーナーサンプルの座標（左上、右上、左下、右下）によって記述され、

【数61】

ＷおよびＨはそれぞれ前記副次的ブロックの幅および高さであり、ｄＨｏｒＸ、ｄＨｏｒＹ、ｄＶｅｒＸ、ｄＶｅｒＹはアフィン動きモデルの水平および垂直勾配パラメータである
請求項４に記載の方法。

【請求項6】

前記バウンディングボックスの前記サイズは、Ｗ'ｘＨ'によって与えられる、または
前記バウンディングボックスの前記サイズは、Ｃｅｉｌ（Ｗ'）ｘＣｅｉｌ（Ｈ'）によって与えられる、または
前記バウンディングボックスの前記サイズは、Ｆｌｏｏｒ（Ｗ'）ｘＦｌｏｏｒ（Ｈ'）によって与えられる、請求項５に記載の方法。

【請求項7】

前記補間フィルタの長さの値は、エンコーダおよびデコーダの両方に対して事前定義されるか、またはコーデックビデオシーケンスのパラメータセットにおいて指定される、請求項２から６のいずれか一項に記載の方法。

【請求項8】

４×４の副次的ブロックの場合、前記事前定義された閾値Ｔは、

【数62】

により与えられ、Ｔ'は、並進動きブロックの動き補償ＭＣ補間フィルタの長さである、請求項７に記載の方法。

【請求項9】

８×８の副次的ブロックの場合、前記事前定義された閾値Ｔは、

【数63】

により与えられ、Ｔ'は、並進動きブロックの動き補償ＭＣ補間フィルタの長さである、請求項８に記載の方法。

【請求項10】

前記ブロックの中心の動きベクトルを計算し、並進動き補償を行う段階をさらに含む、請求項９に記載の方法。

【請求項11】

前記補間フィルタの前記副次的ブロックの前記所定のサイズは４×４に等しく、ｄＸ［０］はｄＨｏｒＸに対応し、ｄＸ［１］はｄＨｏｒＹに対応し、ｄＹ［０］はｄＶｅｒＸに対応し、ｄＹ［１］はｄＶｅｒＹに対応し、前記ＣＰＭＶの値に従って、所定の副次的ブロックサイズを有する副次的ブロックの参照領域を決定する段階は、
変数ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅの値を４に等しく設定する段階と、
以下のように変数ｅｉｆＣａｎＢｅＡｐｐｌｉｅｄを導出する段階であって、
ｅｉｆＣａｎＢｅＡｐｐｌｉｅｄの前記値をＴＲＵＥに設定する、導出する段階と、
－以下のようにアレイＸ［ｉ］、Ｙ［ｉ］を導出する段階と、
－Ｘ［０］＝０、
－Ｘ［１］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊（ｄＸ［０］＋（１＜＜９））、
－Ｘ［２］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊ｄＹ［０］、
－Ｘ［３］＝Ｘ［１］＋Ｘ［２］、
－Ｙ［０］＝０、
－Ｙ［１］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊ｄＸ［１］、
－Ｙ［２］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊（ｄＹ［１］＋（１＜＜９））、
－Ｙ［３］＝Ｙ［１］＋Ｙ［２］、
－変数Ｘｍａｘの前記値を、ｉが０．．３に等しい場合の最大値Ｘ［ｉ］に等しく設定する段階と、
－変数Ｘｍｉｎの前記値を、ｉが０．．３に等しい場合のＸ［ｉ］の最小値に等しく設定する段階と、
－変数Ｙｍａｘの前記値を、ｉが０．．３に等しい場合のＹ［ｉ］の最大値に等しく設定する段階と、
－変数Ｙｍｉｎの前記値を、ｉが０．．３に等しい場合のＹ［ｉ］の最小値に等しく設定する段階と、
－変数Ｗの前記値を、（Ｘｍａｘ－Ｘｍｉｎ＋（１＜＜９）－１）＞＞９の値に等しく設定する段階と、
－変数Ｈの前記値を（Ｙｍａｘ－Ｙｍｉｎ＋（１＜＜９）－１）＞＞９の値に等しく設定する段階とを含む、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記アフィンインター予測が双予測を含む場合、制約は両方のリストに対称的に適用される、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

Ｔが２に等しい、請求項２から１２のいずれか一項に記載の方法。

【請求項14】

前記事前定義された閾値が７２に等しい、請求項１から１３のいずれか一項に記載の方法。

【請求項15】

前記変換された副次的ブロックの前記バウンディングボックスの前記サイズおよびフィルタの長さに基づいて前記副次的ブロックのメモリアクセス消費量を決定する段階と、
前記副次的ブロックの前記サイズおよび前記フィルタの長さに基づいて前記副次的ブロックの最大許容メモリアクセス消費量を決定する段階と、
前記決定されたメモリアクセス消費量が前記最大許容メモリアクセス消費量以下であるという制約が満たされた場合に、前記ブロックの動き補償のための補間フィルタが実行されるべきであると決定する段階と、をさらに含む、請求項４から６のいずれか一項に記載の方法。

【請求項16】

請求項１から１５のいずれか一項に記載の方法を実行するための処理回路を備える、エンコーダ）。

【請求項17】

請求項１から１５のいずれか一項に記載の方法を実行するための処理回路を備える、デコーダ。

【請求項18】

コンピュータまたはプロセッサで実行されると、請求項１から１５のいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム。

【請求項19】

デコーダであって、
１つまたは複数のプロセッサ、および
前記１つまたは複数のプロセッサに結合され、前記１つまたは複数のプロセッサによる実行のための命令を格納する非一時的コンピュータ可読記憶媒体であって、前記命令が、前記１つまたは複数のプロセッサによって実行されると、請求項１から１５のいずれか一項に記載の方法を実行するように前記デコーダを構成する、非一時的コンピュータ可読記憶媒体を含む、デコーダ。

【請求項20】

エンコーダであって、
１つまたは複数のプロセッサ、および
前記１つまたは複数のプロセッサに結合され、前記１つまたは複数のプロセッサによる実行のための命令を格納する非一時的コンピュータ可読記憶媒体であって、前記命令が、前記１つまたは複数のプロセッサによって実行されると、請求項１から１５のいずれか一項に記載の方法を実行するように前記エンコーダを構成する、非一時的コンピュータ可読記憶媒体を含む、エンコーダ。

【請求項21】

コンピュータデバイスによって実行されると、前記コンピュータデバイスに請求項１から１５のいずれか一項に記載の方法を実行させるプログラムコードを保持する、非一時的コンピュータ可読媒体。

【請求項22】

動き補償のために、ブロックの制御点動きベクトルＣＰＭＶを使用して、補間を実行する補間フィルタを含むビデオシーケンスをコーディングするためのコーデックであって、前記コーデックはそれぞれ、
アフィンインター予測に従ってブロックの制御点動きベクトルＣＰＭＶを決定するように構成された第１の決定ユニットであって、前記ブロックはアフィンブロックである、第１の決定ユニット、
所定の副次的ブロックサイズに対して、前記ＣＰＭＶの値に従って前記所定の副次的ブロックサイズを有する副次的ブロックのための参照領域を決定するように構成された第２の決定ユニット、
前記決定された参照領域を事前定義された閾値と比較するように構成された比較ユニット、
動き補償のために補間フィルタを適用するように構成された動き補償ユニットであって、前記ブロックの画素ベースの動きベクトル場を導出することを含む、動き補償ユニット、を含み、
前記決定された参照領域が前記閾値よりも大きい場合、前記動き補償ユニットは、前記ブロックの前記画素ベースの動きベクトル場を導出するように構成され、前記動き補償ユニットは、前記ブロックのサンプル位置の動きベクトルのクリッピングをさらに含み、
前記ブロックのサイズに基づいて動きベクトルのクリップ範囲を決定する、コーデック。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本特許出願は、２０１９年９月３０日に出願された国際特許出願ＰＣＴ／ＲＵ２０１９／０００６９１の優先権を主張する。前述の特許出願の開示は、その全体が参照により本明細書に組み込まれる。

【0002】

本特許出願はまた、２０２０年１月７日に出願された米国仮出願第６２／９５８，２９１号の優先権を主張する。前述の特許出願の開示は、その全体が参照により本明細書に組み込まれる。

【0003】

本願（開示）の実施形態は、一般に、ピクチャ処理の分野に関し、より詳細には、インター予測に関する。

【背景技術】

【0004】

映像符号化（映像のエンコードおよびデコード）は、広範囲のデジタル映像アプリケーション、例えば放送デジタルＴＶ、インターネットおよびモバイルネットワークを介した映像送信、ビデオチャット、テレビ会議、ＤＶＤおよびＢｌｕ－ｒａｙ（登録商標）ディスクなどのリアルタイム会話アプリケーション、映像コンテンツ取得および編集システム、ならびにセキュリティアプリケーションのカムコーダで使用されている。

【0005】

比較的短い映像であっても描写するのに必要な映像データの量はかなり多くなる可能性があり、これは、データが限られた帯域幅容量の通信ネットワークを介してストリーミングまたは通信される場合に困難をもたらす可能性がある。したがって、映像データは、一般に、今日の電気通信ネットワークを介して通信される前に圧縮される。メモリリソースが制限される可能性があるため、映像が記憶装置に格納される場合、映像のサイズがまた問題になる可能性がある。映像圧縮デバイスは、よく、送信または格納の前に映像データを符号化するためにソースでソフトウェアおよび／またはハードウェアを使用し、それによってデジタル映像画像を表すために必要なデータの量を減少させる。そのとき、圧縮データは、映像データをデコードする映像圧縮解除デバイスによって宛先で受信される。ネットワークリソースが限られており、より高い映像の質への要求がますます高まっているため、画質をほとんどまたはまったく犠牲にすることなく圧縮率を改善する改善された圧縮および圧縮解除技術が望ましい。

【発明の概要】

【課題を解決するための手段】

【0006】

本願の実施形態は、独立請求項によるエンコードおよびデコードのための装置および方法を提供する。

【0007】

上記および他の目的は、独立請求項の主題によって達成される。さらなる実装形態は、従属請求項、明細書および図面から明らかである。

【0008】

本開示は、
動き補償のために、拡張補間フィルタＥＩＦを含むエンコーダまたはデコーダに実装された映像を符号化するための方法であって、
ｉ）アフィンインター予測に従ってブロックの制御点動きベクトルＣＰＭＶを決定する段階であって、ブロックはアフィンブロックまたはアフィンブロックの副次的ブロックである、決定する段階と、
ｉｉ）所定の副次的ブロックサイズについて、ＣＰＭＶの値に従って、所定の副次的ブロックサイズを有する副次的ブロックのための参照領域を決定する段階と、
ｉｉｉ）決定された参照領域を事前定義された閾値と比較する段階と、
ｉｖ）動き補償のためにＥＩＦを適用する段階であって、ブロックの画素ベースの動きベクトル場を導出することを含む、適用する段階と、を含み、
決定された参照領域が閾値よりも大きい場合、ブロックの画素ベースの動きベクトル場を導出することは、動きベクトルのクリッピングをさらに含み、
ブロックの動きモデルとブロックのサイズとに基づいて動きベクトルのクリップ範囲を決定する、方法。

【0009】

ここで、副次的ブロックの参照領域は、導出された動きベクトル場および補間フィルタの長さに従って副次的ブロックの動き補償を実行するために必要なすべてのサンプルを含む、参照フレームの最小の長方形の領域を意味するべきであるということを理解されたい。

【0010】

本開示の文脈において、ラインという用語は行という用語と同じ意味を有するはずであることに留意されたい。

【0011】

インター予測の符号化効率を向上させるために、ブロックベースのアフィン変換予測が適用されてもよい。ここで、拡張バイリニア補間フィルタ（ＥＩＦ）を使用したフィルタリングは、全体的な予測ブロックおよび副次的ブロックベースで使用することができる。ＥＩＦは、８／４タップＤＣＴベースの補間フィルタの代わりにバイリニア補間フィルタが使用されるので、動き補償を単純化するために適用され得る。特定の動き特性を有する映像コンテンツに加えて、例えば、回転が支配的な動きである場合、ＥＩＦは、画素ベースの動きベクトル場が使用されるため、映像符号化能力の改善を提供する。

【0012】

したがって、上記の方法、ＥＩＦでは、本文脈におけるＥＩＦの使用が制限され得るかどうかが判定される。ＥＩＦの使用が本文脈において制限され得る場合、動きベクトルのクリッピングが実行され得、次いでＥＩＦは、クリッピングされた動きベクトルを使用して適用され得る。それにより、そうでなければ制限がＥＩＦの使用を妨げる可能性がある状況であっても、ＥＩＦを使用することができる。

【0013】

いずれの追加条件もないＥＩＦでＭＶクリッピングを使用するのと比較して、事前参照領域決定の現在の方法は、メモリの消費量が最大許容量を超える場合にのみクリッピングが使用されることを保証した。この方法は、非対称な垂直および水平スケーリングが発生し得る６パラメータのアフィン動きモデルに利益を提供する。例えば、ブロックが垂直方向にスケーリング係数Ｘでスケーリングされ、水平方向にスケーリング係数１／Ｘでスケーリングされる場合、ブロックの参照領域はブロックの領域とほぼ同じであるため、この場合、メモリ帯域幅を制限するために行われる動きベクトルクリッピングは必要ない。メモリ帯域幅が閾値未満である場合に追加の動きベクトルのクリッピングを適用しないことは、追加の動きベクトルのクリッピングが動き場の質の劣化を引き起こし、ひいては予測され再構成された信号の質の劣化を引き起こすので、映像符号化効率の改善を提供する。

【0014】

方法では、上記のように、動き補償のためにＥＩＦを使用する段階が、
Ｔタップの補間フィルタを用いて導出された動きベクトル場に基づいて参照ピクチャ内の補間サンプルを取得する段階であって、Ｔはフィルタの長さに対応する補間フィルタタップの数であり、Ｔは１より大きい、取得する段階と、
補間サンプルにハイパスフィルタを適用するこ段階、をさらに含むことができる。

【0015】

方法では、上記のように、動き補償のためにＥＩＦを使用する段階は、
ブロックのサイズを決定する段階と、
ブロックのサイズをブロックのサイズの第１の閾値と比較する段階と、をさらに含み得、
ブロックのサイズがブロックのサイズの第１の閾値以上である場合、ブロックベースのアフィン変換予測がブロックに対して実行される。

【0016】

当該の文脈における「ブロックベース」は、ＭＣが画素ベースであるＥＩＦとは対照的に、同じ動きベクトルＭＶが副次的ブロック全体に使用される動き補償ＭＣを意味すべきであることをさらに理解されたい。

【0017】

方法では、上記のように、ブロックのサイズがアフィン動きモデルパラメータに基づいて決定され得る。

【0018】

方法では、上記のように、アフィン動きモデルパラメータは、ＣＰＭＶの動きベクトルの差、ならびにブロックの幅および高さを含むことができる。

【0019】

方法では、上記のように、アフィン動きモデルパラメータは、ＣＰＭＶの精度をさらに含むことができる。

【0020】

方法では、上記のように、事前定義された閾値は、所定の副次的ブロックサイズと、副次的ブロックの領域に対する参照ピクチャ内の副次的ブロックに対応する参照領域の所定の比とに基づいて計算され得る。

【0021】

方法では、上記のように、副次的ブロックの領域に対する参照ピクチャ内の副次的ブロックに対応する参照領域の所定の比が、ＥＩＦのメモリ帯域幅に対応することができる。

【0022】

方法では、上記のように、事前定義された閾値は、ブロックの所定の副次的ブロックサイズに対する最大許容メモリアクセス消費量であり得る。

【0023】

したがって、言い換えれば、事前定義された閾値は、１つのサンプルおよび所定の副次的ブロックサイズに対する最大許容メモリアクセス消費量に基づいて決定され得る。

【0024】

方法では、上記のように、ＣＰＭＶの値に従って所定の副次的ブロックサイズを有する副次的ブロックの参照領域を決定する段階は、
ハイパスフィルタの長さに基づいて副次的ブロックの各境界から画素マージンを加算することによって拡張ブロックを決定する段階と、
ＣＰＭＶに基づいて拡張ブロックの各コーナーの動きベクトルを導出する段階と、
導出された動きベクトルに基づいて参照ピクチャ内の変換されたブロックを導出する段階と、
変換されたブロックのバウンディングボックスを導出する段階と、を含み得、
参照ブロックの領域は、バウンディングボックスの各境界からの（Ｔ－１）画素により拡張されるバウンディングボックスに対応する。

【0025】

方法では、上記のように、参照ピクチャ内の変換されたブロックのバウンディングボックスのサイズは、以下の式を使用して導出され得、ｍａｘ関数は、引数の最大値を返し、ｍｉｎ関数は、引数の最小値を返す、

【数1】

参照ピクチャ内の変換されたブロックの位置は、変換された拡張ブロックのコーナーサンプルの座標（左上、右上、左下、右下）によって記述され、

【数2】

ＷおよびＨはそれぞれ副次的ブロックの幅および高さであり、ｄＨｏｒＸ、ｄＨｏｒＹ、ｄＶｅｒＸ、ｄＶｅｒＹはアフィン動きモデルの水平および垂直勾配パラメータである。

【0026】

ここで、図６に示すように、ブロックのアフィン動き場では、２つの制御点（４パラメータ）または３つの制御点動きベクトル（ＣＰＭＶ）（６パラメータ）の動きの情報によって記述され得ることを理解されたい。したがって、サンプル位置（ｘ，ｙ）における動きベクトルの計算のための一般式が、ここに提示されている。それらは、

【数3】

である。

【0027】

４パラメータのアフィン動きモデルの場合、サンプル位置（ｘ，ｙ）における動きベクトルは、以下のように導出され得る。

【数4】

【0028】

６パラメータアフィン動きモデルの場合、サンプル位置（ｘ，ｙ）における動きベクトルは、以下のように導出され得る。

【数5】

（ｍｖ_０ｘ，ｍｖ_０ｙ）は、左上コーナーの制御点の動きベクトルであり、（ｍｖ_１ｘ，ｍｖ_１ｙ）は、右上コーナーの制御点の動きベクトルであり、（ｍｖ_２ｘ，ｍｖ_２ｙ）は、左下コーナーの制御点の動きベクトルであり、Ｗはブロックの幅であり、Ｈはブロックの高さである。

【0029】

６パラメータのアフィン動きモデルを用いる場合について

【数6】

【0030】

４パラメータのアフィン動きモデルを用いる場合について

【数7】

ｄＶｅｒＸ＝－ｄＨｏｒＹ，
ｄＶｅｒＹ＝－ｄＨｏｒＸ．

【0031】

並進動きインター予測に関しては、２つのアフィン動きインター予測モード、すなわちアフィンマージモード、およびアフィンＡＭＶＰモードもある。

【0032】

方法では、上記のように、バウンディングのサイズは、Ｗ'ｘＨ'によって与えられ得る、または
バウンディングボックスのサイズは、Ｃｅｉｌ（Ｗ'）ｘＣｅｉｌ（Ｈ'）によって与えられ得る、または
バウンディングされたボックスのサイズは、Ｆｌｏｏｒ（Ｗ'）ｘＦｌｏｏｒ（Ｈ'）によって与えられ得る。

【0033】

方法では、上記のように、方法は、変換された副次的ブロックのバウンディングボックスのサイズおよびフィルタの長さに基づいて副次的ブロックのメモリアクセス消費量を決定する段階と、
副次的ブロックのサイズおよびフィルタの長さに基づいて副次的ブロックの最大許容メモリアクセス消費量を決定する段階と、
決定されたメモリアクセス消費量が最大許容メモリアクセス消費量以下であるという制約が満たされた場合に、ブロックの動き補償のためのＥＩＦが実行されるべきであると決定する段階と、をさらに含むことができる。この場合、ＭＶクリッピングは、ＭＶがピクチャの外側に向けられないことを保証するために使用される。

【0034】

方法では、上記のように、フィルタの長さの値は、エンコーダおよびデコーダの両方に対して事前定義されるか、またはコーデックビデオシーケンスのパラメータセットにおいて指定され得る。

【0035】

方法では、上記のように、４×４の副次的ブロックの場合、前記事前定義された閾値Ｔは、

【数8】

により与えられ得、Ｔ'は、並進動きブロックの動き補償ＭＣ補間フィルタの長さである。

【0036】

方法では、上記のように、８×８の副次的ブロックの場合、事前定義された閾値Ｔは、

【数9】

により与えられ得、Ｔ'は、並進動きブロックの動き補償ＭＣ補間フィルタの長さである。

【0037】

方法は、上記のように、
ブロックの中心の動きベクトルを計算し、並進動き補償を行う段階をさらに含む。

【0038】

上述したように、本方法は、拡張補間フィルタの副次的ブロックの所定のサイズが４×４に等しく、ｄＸ［０］はｄＨｏｒＸに対応し、ｄＸ［１］はｄＨｏｒＹに対応し、ｄＹ［０］はｄＶｅｒＸに対応し、ｄＹ［１］はｄＶｅｒＹに対応することをさらに含み得、ＣＰＭＶの値に従って、所定の副次的ブロックサイズを有する副次的ブロックの参照領域を決定する段階は、
－変数ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅの値を４に等しく設定する段階と、
－アレイＸ［ｉ］、Ｙ［ｉ］を、以下のように導出する段階と、
－Ｘ［０］＝０、
－Ｘ［１］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊（ｄＸ［０］＋（１＜＜９））、
－Ｘ［２］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊ｄＹ［０］、
－Ｘ［３］＝Ｘ［１］＋Ｘ［２］、
－Ｙ［０］＝０、
－Ｙ［１］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊ｄＸ［１］、
－Ｙ［２］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊（ｄＹ［１］＋（１＜＜９））、
－Ｙ［３］＝Ｙ［１］＋Ｙ［２］、
－変数Ｘｍａｘの値を、ｉが０．．３に等しい場合のＸ［ｉ］の最大値に等しく設定する段階と、
－変数Ｘｍｉｎの値を、ｉが０．．３に等しい場合のＸ［ｉ］の最小値に等しく設定する段階と、
－変数Ｙｍａｘの値を、ｉが０．．３に等しい場合のＹ［ｉ］の最大値に等しく設定する段階と、
－変数Ｙｍｉｎの値を、ｉが０．．３に等しい場合のＹ［ｉ］の最小値に等しく設定する段階と、
－変数Ｗの値を、（Ｘｍａｘ－Ｘｍｉｎ＋（１＜＜９）－１）＞＞９の値に等しく設定する段階と、
－変数Ｈの値を（Ｙｍａｘ－Ｙｍｉｎ＋（１＜＜９）－１）＞＞９の値に等しく設定する段階とをさらに含むことができる。

【0039】

ｄＸ［０］、ｄＸ［１］、ｄＹ［０］、ｄＹ［１］の精度は、１／２^Ｋ、すなわちＫビットで与えられてもよく、Ｋは０より大きい整数である。したがって、例えば、Ｋが９に等しい場合、すなわち、９ビットでは、変数ｄＸ［０］、ｄＸ［１］、ｄＹ［０］、ｄＹ［１］は、与えられる１／５１２の精度である。

【0040】

上記の例では、動きベクトル精度は９ビットであり、（１＜＜９）は１つの整数サンプルに対応する。ｄＸ［０］、ｄＸ［１］、ｄＹ［０］、ｄＹ［１］の精度がＫに等しく、（１＜＜Ｋ）が１つの整数サンプルに対応する場合、上記の式は以下のように定式化することができる。
－変数ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅの値を４に等しく設定し、
－アレイＸ［ｉ］、Ｙ［ｉ］を、以下のように導出し、
－Ｘ［０］＝０、
－Ｘ［１］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊（ｄＸ［０］＋（１＜＜Ｋ））、
－Ｘ［２］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊ｄＹ［０］、
－Ｘ［３］＝Ｘ［１］＋Ｘ［２］、
－Ｙ［０］＝０、
－Ｙ［１］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊ｄＸ［１］、
－Ｙ［２］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊（ｄＹ［１］＋（１＜＜Ｋ））、
－Ｙ［３］＝Ｙ［１］＋Ｙ［２］、
－変数Ｘｍａｘの値を、ｉが０．．３に等しい場合のＸ［ｉ］の最大値に等しく設定し、
－変数Ｘｍｉｎの値を、ｉが０．．３に等しい場合のＸ［ｉ］の最小値に等しく設定し、
－変数Ｙｍａｘの値を、ｉが０．．３に等しい場合のＹ［ｉ］の最大値に等しく設定し、
－変数Ｙｍｉｎの値を、ｉが０．．３に等しい場合のＹ［ｉ］の最小値に等しく設定し、
－変数Ｗの値を、（Ｘｍａｘ－Ｘｍｉｎ＋（１＜＜Ｋ）－１）＞＞Ｋの値に等しく設定し、
－変数Ｈの値を、（Ｙｍａｘ－Ｙｍｉｎ＋（１＜＜Ｋ）－１）＞＞Ｋの値に等しく設定する。

【0041】

方法では、上記のように、アフィンインター予測が双予測を含む場合、制約は両方のリストに対称的に適用され得ることをさらに含み得る。

【0042】

ここで、条件は対称的に適用されることを理解されたい。メモリ消費量は、Ｌ０およびＬ１参照リストの両方について閾値未満であるべきであり、例えば、Ｌ０およびＬ１の異なるアフィン動きモデルであり得るのである。したがって、アフィン動きモデルパラメータに基づいて導出されたクリップ範囲を用いた動きベクトルクリッピングの使用に関する決定は、Ｌ０およびＬ１参照リスト（方向）に対して１回行われ得ることを理解されたい。言い換えれば、Ｌ０およびＬ１の動き補償スキームは常に同じであるべきである。

【0043】

方法では、上記のように、Ｔは２に等しくてもよく、この場合、参照フレームから予測サンプルを取得するためにバイリニア補間が使用される。

【0044】

方法では、上記のように、事前定義された閾値は７２に等しくてもよい。

【0045】

ここで、複数のフィルタタップはリスト０とリスト１とで同じであるが、動きモデルはリスト０とリスト１とで異なり得ることを理解されたい。特に、アフィン動きモデルの場合のＣＰＭＶは、リスト０とリスト１とで異なり得る。

【0046】

方法では、上記のように、動きモデルがアフィン動きモデルであり、動きベクトルのクリップ範囲が、ＣＰＭＶに基づいて決定された動きモデルパラメータに基づいて決定され得る。

【0047】

方法では、上記のように、方法は、変換された副次的ブロックのバウンディングボックスのサイズおよびフィルタの長さに基づいて副次的ブロックのメモリアクセス消費量を決定する段階と、
副次的ブロックのサイズおよびフィルタの長さに基づいて副次的ブロックの最大許容メモリアクセス消費量を決定する段階と、
決定されたメモリアクセス消費量が最大許容メモリアクセス消費量以下であるという制約が満たされた場合に、ブロックの動き補償のためのＥＩＦが実行されるべきであると決定する段階と、をさらに含むことができる。この場合、ＭＶクリッピングは、ＭＶがピクチャの外側に向けられないことを保証するために、使用される。

【0048】

本開示は、上記の方法を実行するための処理回路を備えるエンコーダをさらに提供する。

【0049】

本開示は、上記の方法を実行するための処理回路を備えるデコーダをさらに提供する。

【0050】

本開示は、コンピュータまたはプロセッサで実行されると、上記の方法を実行するためのプログラムコードを含むコンピュータプログラム製品をさらに提供する。

【0051】

本開示は、デコーダであって、
１つまたは複数のプロセッサ、および
１つまたは複数のプロセッサに結合され、１つまたは複数のプロセッサによる実行のための命令を格納する非一時的コンピュータ可読記憶媒体であって、命令が、１つまたは複数のプロセッサによって実行されると、上記の方法を実行するようにデコーダを構成する、非一時的コンピュータ可読記憶媒体を含む、デコーダをさらに提供する。

【0052】

本開示は、エンコーダであって、
１つまたは複数のプロセッサ、および
１つまたは複数のプロセッサに結合され、１つまたは複数のプロセッサによる実行のための命令を格納する非一時的コンピュータ可読記憶媒体であって、命令が、１つまたは複数のプロセッサによって実行されると、上記の方法を実行するようにエンコーダを構成する、非一時的コンピュータ可読記憶媒体を含む、エンコーダをさらに提供する。

【0053】

本開示は、コンピュータデバイスによって実行されると、コンピュータデバイスに上記の方法を実行させるプログラムコードを保持する、非一時的コンピュータ可読媒体をさらに開示する。

【0054】

本開示は、動き補償のための拡張補間フィルタＥＩＦを含む映像シーケンスを符号化するためのデコーダまたはエンコーダであって、デコーダまたはエンコーダはそれぞれ、
アフィンインター予測に従ってブロックの制御点動きベクトルＣＰＭＶを決定するように構成された第１の決定ユニットであって、ブロックはアフィンブロックまたはアフィンブロックの副次的ブロックである、第１の決定ユニット、
所定の副次的ブロックサイズに対して、ＣＰＭＶの値に従って所定の副次的ブロックサイズを有する副次的ブロックのための参照領域を決定するように構成された第２の決定ユニット、
決定された参照領域を事前定義された閾値と比較するように構成された比較ユニット、
動き補償のためにＥＩＦを適用するように構成された動き補償ユニットであって、ブロックの画素ベースの動きベクトル場を導出することを含む、動き補償ユニット、を含み、
決定された参照領域が閾値よりも大きい場合、動き補償ユニットは、ブロックの画素ベースの動きベクトル場を導出するように構成され、動きベクトルのクリッピングをさらに含み、
ブロックの動きモデルとブロックのサイズとに基づいて動きベクトルのクリップ範囲を決定する、デコーダまたはエンコーダをさらに開示する。

【0055】

１つまたは複数の実施形態の詳細は、添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、明細書、図面、および特許請求の範囲から明らかになるであろう。

【0056】

本発明の以下の実施形態は、添付の図および図面を参照してより詳細に説明される。

【図面の簡単な説明】

【0057】

【図1A】本発明の実施形態を実装するように構成された映像符号化システムの例を示すブロック図である。

【図1B】本発明の実施形態を実装するように構成された映像符号化システムの別の例を示すブロック図である。

【図2】本発明の実施形態を実装するように構成されたビデオエンコーダの一例を示すブロック図である。

【図3】本発明の実施形態を実装するように構成されたビデオデコーダの例示的構造を示すブロック図である。

【図4】エンコード装置またはデコード装置の例を示すブロック図である。

【図5】エンコード装置またはデコード装置の別の例を示すブロック図である。

【図6】制御点ベースのアフィン動きモデルの例示的な例であり、４パラメータおよび６パラメータである。

【図7】副次的ブロックのアフィン動きベクトル場の例示的な例である。

【図8】アフィンブロック（副次的ブロック）および中間の拡張ＥＩＦブロック（副次的ブロック）のコーナーの座標の例示的な例である。

【図9】参照ピクチャ内の変換されたブロック（副次的ブロック）および対応するバウンディングボックスの位置の例示的な例である。

【図10】コンテンツ配信サービスを実現するコンテンツ供給システム３１００の例示的な構成を示すブロック図である。

【図11】端末デバイスの例の構成を示すブロック図である。

【図12】本開示による、符号化デバイス、すなわちエンコーダまたはデコーダによって実装される、映像を符号化するための方法を示す。

【図13】本開示の実施形態による映像シーケンスをデコードするためのデコーダを示す。

【図14】本開示の実施形態による映像シーケンスをエンコードするためのエンコーダを示す。

【発明を実施するための形態】

【0058】

以下において、同一の参照符号は、特に明記しない限り、同一のまたは少なくとも機能的に同等の特徴を指す。

【0059】

以下の説明では、本開示の一部を形成し、本発明の実施形態の特定の態様または本発明の実施形態を使用することができる特定の態様を例示として示す添付の図面を参照する。本発明の実施形態は、他の態様で使用されてもよく、図に示されていない構造的または論理的な変更を含んでもよいことが理解される。したがって、以下の詳細な説明は限定的な意味で解釈されるべきではなく、本発明の範囲は添付の特許請求の範囲によって定められる。

【0060】

例えば、記載された方法に関連する開示は、その方法を実行するように構成された対応するデバイスまたはシステムにも当てはまり、その逆も同様であり得ることが理解される。例えば、１つまたは複数の特定の方法のステップが記載されている場合、対応する装置は、そのような１つまたは複数のユニットが明示的に記載または図示されていなくても、記載された１つまたは複数の方法のステップ（例えば、１つまたは複数のステップを実行する１つのユニット、または複数のステップのうちの１つまたは複数をそれぞれ実行する複数のユニット）を実行するための１つまたは複数のユニット、例えば機能ユニットを含むことができる。一方、例えば、特定の装置が１つまたは複数のユニット、例えば機能ユニットに基づいて記載されている場合、対応する方法は、そのような１つまたは複数のステップが図に明示的に記載または図示されていなくても、１つまたは複数のユニットの機能（例えば、１つまたは複数のユニットの機能を実行する１つのステップ、または複数のユニットのうちの１つまたは複数の機能をそれぞれ実行する複数のステップ）を実行するための１つのステップを含むことができる。さらに、本明細書に記載の様々な例示的な実施形態および／または態様の特徴は、特に明記しない限り、互いに組み合わせることができることが理解される。

【0061】

映像符号化は、通常、映像または映像シーケンスを形成するピクチャのシーケンスの処理を指す。「ピクチャ」という用語の代わりに、「フレーム」または「イメージ」という用語が、映像符号化の分野における同義語として使用され得る。映像符号化（または一般に符号化）は、映像のエンコードと映像のデコードの２つの部分を含む。映像のエンコードは、ソース側で実行され、通常、元の映像を処理（例えば、圧縮によって）して、映像を表すために必要なデータ量を削減することを含む（より効率的な格納および／または伝送のため）。映像デコードは、宛先側で実行され、通常、映像を再構成するためにエンコーダと比較して逆の処理を含む。映像（または一般的なピクチャ）の「符号化」に言及する実施形態は、映像またはそれぞれの映像のシーケンスの「エンコード」または「デコード」に関連すると理解されるべきである。エンコード部とデコード部の組合せは、ＣＯＤＥＣ（Ｃｏｄｉｎｇ ａｎｄ Ｄｅｃｏｄｉｎｇ）とも呼ばれる。

【0062】

可逆映像符号化の場合、元の映像を再構成することができる、すなわち、再構成された映像は、（格納時または伝送中に伝送損失または他のデータ損失がないと仮定すると）元の映像と同じ品質を有する。非可逆映像符号化の場合、デコーダで完全には再構成することができない映像を表すデータ量を減らすために、例えば量子化によるさらなる圧縮が実行される、すなわち、再構成された映像の質は、元の映像の質と比較して低いまたは悪い。

【0063】

いくつかの映像符号化規格は、「不可逆ハイブリッド映像コーデック」（すなわち、サンプルドメインにおける空間的および時間的予測と、変換ドメインにおいて量子化を適用するための２Ｄ変換符号化とを組み合わせる）の群に属する。映像のシーケンスの各ピクチャは、通常、重複しないブロックのセットに区分され、符号化は、通常、ブロックレベルで実行される。言い換えれば、エンコーダでは、映像は、典型的には、例えば、予測ブロックを生成するために空間（イントラピクチャ）予測および／または時間（インターピクチャ）予測を使用することによって、ブロック（映像ブロック）レベルで処理、すなわちエンコードされ、残差ブロックを取得するために現在のブロック（現在処理されている／処理されるべきブロック）から予測ブロックを減算し、残差ブロックを変換し、変換ドメイン内の残差ブロックを量子化して、送信されるデータの量を削減（圧縮）し、一方でデコーダでは、エンコーダと比較して逆の処理がエンコードまたは圧縮されたブロックに適用されて、表現のために現在のブロックを再構成する。さらに、エンコーダは、デコーダの処理のループを複製し、その結果、両方が同一の予測（例えば、イントラおよびインター予測）および／または後続のブロックを処理、すなわち符号化するための再構成を、生成する。

【0064】

映像符号化システム１０の以下の実施形態では、ビデオエンコーダ２０、およびビデオデコーダ３０が、図１Ａから図３に基づいて説明される。

【0065】

図１Ａは、例示的な符号化システム１０、例えば、本願の技術を利用することができる映像符号化システム１０（または略して符号化システム１０）を示す概略的なブロック図である。映像符号化システム１０のビデオエンコーダ２０（または略してエンコーダ２０）およびビデオデコーダ３０（または略してデコーダ３０）は、本願に記載された様々な例にしたがって技術を実行するように構成され得るデバイスの例を示す。

【0066】

図１Ａに示すように、符号化システム１０は、エンコードされたピクチャデータ２１をデコードするために、例えば宛先デバイス１４にエンコードされたピクチャデータ２１を提供するように構成されたソースデバイス１２を備える。

【0067】

ソースデバイス１２は、エンコーダ２０を備え、さらに、すなわち、任意選択で、ピクチャソース１６、例えばピクチャ・プリプロセッサ１８のようなプリプロセッサ（または前処理ユニット）１８、および通信インターフェースまたは通信ユニット２２を備え得る。

【0068】

ピクチャソース１６は、任意の種類のピクチャキャプチャデバイス、例えば現実世界のピクチャをキャプチャするためのカメラ、および／または任意の種類のピクチャ生成装置、例えばコンピュータアニメーションピクチャを生成するためのコンピュータグラフィックプロセッサ、または現実世界のピクチャ、コンピュータ生成ピクチャ（例えば、スクリーンコンテンツ、仮想現実（ＶＲ）ピクチャ）、および／またはそれらの任意の組合せ（例えば、拡張現実（ＡＲ）ピクチャ）を取得および／または提供するための任意の種類の他の装置を含むか、またはそれらであってもよい。ピクチャソースは、前述のピクチャのいずれかを格納する任意の種類のメモリまたはストレージであってもよい。

【0069】

プリプロセッサ１８および前処理ユニット１８によって実行される処理と区別して、ピクチャまたはピクチャデータ１７は、生ピクチャまたは生ピクチャデータ１７と呼ばれる場合もある。

【0070】

プリプロセッサ１８は、（生の）ピクチャデータ１７を受信し、ピクチャデータ１７に対して前処理を実行して、前処理されたピクチャ１９または前処理されたピクチャデータ１９を取得するように構成される。プリプロセッサ１８によって実行される前処理は、例えば、トリミング、色フォーマット変換（例えば、ＲＧＢからＹＣｂＣｒ）、色の補正、またはノイズ除去を含むことができる。前処理ユニット１８は、任意選択の構成要素であってもよいことが理解されよう。

【0071】

ビデオエンコーダ２０は、前処理されたピクチャデータ１９を受信し、エンコードされたピクチャデータ２１（さらなる詳細は、例えば図２に基づいて以下に説明される）を提供するように構成される。

【0072】

ソースデバイス１２の通信インターフェース２２は、エンコードされたピクチャデータ２１を受信し、エンコードされたピクチャデータ２１（またはその任意のさらなる処理されたバージョン）を、格納または直接的な再構成のために、通信チャネル１３を介して別の装置、例えば宛先デバイス１４または任意の他の装置に送信するように、構成することができる。

【0073】

宛先デバイス１４は、デコーダ３０（例えば、ビデオデコーダ３０）を備え、追加的に、すなわち、任意選択的に、通信インターフェースまたは通信ユニット２８、ポストプロセッサ３２（または後処理ユニット３２）、および表示デバイス３４を備えてもよい。

【0074】

宛先デバイス１４の通信インターフェース２８は、例えばソースデバイス１２から、または任意の他のソース、例えば記憶装置、例えばエンコードされたピクチャデータ記憶装置から直接、エンコードされたピクチャデータ２１（またはその任意のさらなる処理されたバージョン）を受信し、エンコードされたピクチャデータ２１をデコーダ３０に提供するように構成される。

【0075】

通信インターフェース２２および通信インターフェース２８は、ソースデバイス１２と宛先デバイス１４との間の直接通信リンク、例えば直接的な有線もしくは無線の接続を介して、または任意の種類のネットワーク、例えば有線もしくは無線ネットワークもしくはそれらの任意の組合せ、または任意の種類の私有および公衆ネットワークもしくはそれらの任意の種類の組合せを介して、エンコードされたピクチャデータ２１またはエンコードデータ１３を送信または受信するように構成することができる。

【0076】

通信インターフェース２２は、例えば、エンコードされたピクチャデータ２１を適切なフォーマット、例えばパケットにパッケージ化し、および／または通信リンクまたは通信ネットワークを介した伝送のための任意の種類の伝送エンコードまたは処理を使用して、エンコードされたピクチャデータを処理するように構成することができる。

【0077】

通信インターフェース２２の相手方を形成する通信インターフェース２８は、例えば、伝送されたデータを受信し、任意の種類の対応する伝送デコードまたは処理および／またはデパッケージングを使用して伝送データを処理して、エンコードされたピクチャデータ２１を取得するように構成され得る。

【0078】

通信インターフェース２２および通信インターフェース２８の両方は、ソースデバイス１２から宛先デバイス１４を指す図１Ａの通信チャネル１３の矢印によって示されるような単方向通信インターフェース、または双方向通信インターフェースとして構成されてもよく、例えば、メッセージを送受信し、例えば、接続をセットアップし、通信リンクおよび／またはデータ伝送、例えば、エンコードされたピクチャデータ伝送に関連する任意の他の情報を確認し交換するように、構成されてもよい。

【0079】

デコーダ３０は、エンコードされたピクチャデータ２１を受信し、デコードされたピクチャデータ３１またはデコードされたピクチャ３１（さらなる詳細は、例えば図３または図５に基づいて以下に説明される）を提供するように構成される。

【0080】

宛先デバイス１４のポストプロセッサ３２は、デコードされたピクチャデータ３１（再構成されたピクチャデータとも呼ばれる）、例えばデコードされたピクチャ３１を後処理して、後処理されたピクチャデータ３３、例えば後処理されたピクチャ３３を取得するように構成される。後処理ユニット３２によって実行される後処理は、例えば、色フォーマットの変換（例えば、ＹＣｂＣｒからＲＧＢへ）、色の補正、トリミング、もしくはリサンプリング、または例えば表示デバイス３４による表示のためにデコードピクチャデータ３１を準備するための任意の他の処理を含むことができる。

【0081】

宛先デバイス１４の表示デバイス３４は、例えばユーザまたは見る者にピクチャを表示するために、後処理されたピクチャデータ３３を受信するように構成される。表示デバイス３４は、再構成されたピクチャを表すための任意の種類のディスプレイ、例えば、一体型または外部のディスプレイまたはモニタであってもよく、またはそれを含んでもよい。ディスプレイは、例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロＬＥＤディスプレイ、液晶オンシリコン（ＬＣｏＳ）、デジタルライトプロセッサ（ＤＬＰ）、または任意の種類の他のディスプレイを含むことができる。

【0082】

図１Ａは、ソースデバイス１２と宛先デバイス１４とを別々のデバイスとして示しているが、デバイスの実施形態は、両方または両方の機能、すなわち、ソースデバイス１２または対応する機能、および宛先デバイス１４または対応する機能を含むこともできる。そのような実施形態では、ソースデバイス１２または対応する機能および宛先デバイス１４または対応する機能は、同じハードウェアおよび／またはソフトウェアを使用して、または別々のハードウェアおよび／またはソフトウェアまたはそれらの任意の組合せによって実装され得る。

【0083】

説明に基づいて当業者には明らかなように、様々なユニットの機能または図１Ａに示すようなソースデバイス１２および／または宛先デバイス１４内の機能の存在および（正確な）分割は、実際のデバイスおよび用途に応じて異なり得る。

【0084】

エンコーダ２０（例えば、ビデオエンコーダ２０）もしくはデコーダ３０（例えば、ビデオデコーダ３０）、またはエンコーダ２０とデコーダ３０の両方は、図１Ｂに示すように、処理回路、例えば１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、個別論理、ハードウェア、映像符号化専用、またはそれらの任意の組合せを介して実装され得る。エンコーダ２０は、処理回路４６を介して実装されて、図２のエンコーダ２０および／または本明細書に記載の任意の他のエンコーダシステムまたはサブシステムに関して説明したような様々なモジュールを具現化することができる。デコーダ３０は、処理回路４６を介して実装されて、図３のデコーダ３０および／または本明細書に記載の任意の他のデコーダシステムまたはサブシステムに関して説明したような様々なモジュールを具現化することができる。処理回路は、後述するように様々な操作を実行するように構成されてもよい。図５に示すように、技法が部分的にソフトウェアで実装される場合、デバイスは、ソフトウェアのための命令を適切な非一時的コンピュータ可読記憶媒体に格納することができ、本開示の技法を実行するために１つまたは複数のプロセッサを使用してハードウェアで命令を実行することができる。ビデオエンコーダ２０およびビデオデコーダ３０のいずれかは、例えば、図１Ｂに図示されるように、単一デバイスにおける結合されたエンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合され得る。

【0085】

ソースデバイス１２および宛先デバイス１４は、任意の種類のハンドヘルドまたは固定デバイス、例えば、ノートブックまたはラップトップコンピュータ、携帯電話、スマートフォン、タブレットまたはタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビ、表示デバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイス（コンテンツサービスのサーバまたはコンテンツ配信サーバなど）、放送受信装置、放送送信装置などを含む広範囲のデバイスのいずれかを含むことができ、オペレーティングシステムを一切使用しなくても、または任意の種類のオペレーティングシステムを使用してもよい。場合によっては、ソースデバイス１２および宛先デバイス１４は、無線通信に対して備え得る。したがって、ソースデバイス１２および宛先デバイス１４は、無線通信デバイスであり得る。

【0086】

場合によっては、図１Ａに示す映像符号化システム１０は単なる例であり、本願の技術は、エンコードデバイスとデコードデバイスとの間のいずれかのデータ通信を必ずしも含まない映像符号化設定（例えば、映像のエンコードまたは映像のデコード）に適用することができる。他の例では、データは、ローカルメモリから取り出される、ネットワークを介してストリーミングされるなどである。映像エンコードデバイスは、データをエンコードしてメモリに格納することができ、および／または映像デコードデバイスは、メモリからデータを取り出してデコードすることができる。いくつかの例では、エンコードおよびデコードは、互いに通信しないが、単にデータをメモリにエンコードし、および／またはメモリからデータを取り出してデコードするデバイスによって実行される。

【0087】

説明の便宜上、本発明の実施形態は、例えば、高効率ビデオコーディング（ＨＥＶＣ）または多用途ビデオコーディング（ＶＶＣ）の参照ソフトウェア、ＩＴＵ－Ｔビデオコーディング・エキスパート・グループ（ＶＣＥＧ）およびＩＳＯ／ＩＥＣモーション・ピクチャ・エキスパート・グループ（ＭＰＥＧ）のビデオコーディングに関するジョイント・コラボレーション・チーム（ＪＣＴ－ＶＣ）によって開発された次世代映像符号化規格を参照することによって、本明細書に記載される。当業者は、本発明の実施形態がＨＥＶＣまたはＶＶＣに限定されないことを理解するであろう。

【0088】

エンコーダおよびエンコードの方法
図２は、本願の技術を実装するように構成された例示的なビデオエンコーダ２０の概略的なブロック図を示す。図２の例では、ビデオエンコーダ２０は、入力２０１（または入力インターフェース２０１）、残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０、および逆変換処理ユニット２１２、再構成ユニット２１４、ループフィルタユニット２２０、デコードピクチャバッファ（ＤＰＢ）２３０、モード選択ユニット２６０、エントロピーエンコードユニット２７０、および出力２７２（または出力インターフェース２７２）を備える。モード選択ユニット２６０は、インター予測ユニット２４４、イントラ予測ユニット２５４および区分ユニット２６２を含んでもよい。インター予測ユニット２４４は、動き推定ユニットおよび動き補償ユニット（図示せず）を含んでもよい。図２に示すようなビデオエンコーダ２０はまた、ハイブリッドビデオエンコーダ、またはハイブリッドビデオコーデックによるビデオエンコーダとも称され得る。

【0089】

残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、モード選択ユニット２６０は、エンコーダ２０の順方向信号経路を形成すると言及される場合があり、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、バッファ２１６、ループフィルタ２２０、デコードピクチャバッファ（ＤＰＢ）２３０、インター予測ユニット２４４、およびイントラ予測ユニット２５４は、ビデオエンコーダ２０の逆方向信号経路を形成すると言及される場合があり、ビデオエンコーダ２０の逆方向信号経路は、デコーダ（図３のビデオデコーダ３０を参照されたい）の信号経路に対応する。逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、ループフィルタ２２０、デコードピクチャバッファ（ＤＰＢ）２３０、インター予測ユニット２４４、およびイントラ予測ユニット２５４は、ビデオエンコーダ２０の「内蔵デコーダ」を形成するとも言及される。

【0090】

ピクチャおよびピクチャの区分（ピクチャおよびブロック）
エンコーダ２０は、例えば入力２０１を介して、ピクチャ１７（またはピクチャデータ１７）、例えば映像または映像シーケンスを形成するピクチャのシーケンスのピクチャを受信するように構成され得る。受信されたピクチャまたはピクチャデータはまた、前処理されたピクチャ１９（または前処理されたピクチャデータ１９）であってもよい。簡単にするために、以下の説明ではピクチャ１７を参照する。ピクチャ１７は、現在のピクチャ、または、符号化されるべきピクチャ（特に、現在のピクチャを他のピクチャ、例えば同じ映像シーケンス、すなわち現在のピクチャも含む映像シーケンスの以前にエンコードおよび／またはデコードされたピクチャから区別するための映像符号化において）とも称され得る。

【0091】

（デジタル）ピクチャは、強度の値によるサンプルの２次元アレイまたは行列であるか、またはそれとみなすことができる。アレイ内のサンプルは、画素（短い形式のピクチャ要素）またはｐｅｌと称されることもある。アレイまたはピクチャの水平方向および垂直方向（または軸）のサンプル数は、ピクチャのサイズおよび／または解像度を定める。色の表現のために、典型的には、３つの色成分が使用されている、すなわち、ピクチャは、３つのサンプルアレイで表され得る、またはそれらを含む。ＲＢＧフォーマットまたは色空間では、ピクチャは対応する赤、緑、および青のサンプルアレイを含む。しかしながら、映像符号化では、各画素は、通常、輝度およびクロミナンスのフォーマットまたは色空間、例えばＹＣｂＣｒで表され、これは、Ｙで示される輝度成分（場合によっては代わりにＬも使用される）と、ＣｂおよびＣｒで示される２つのクロミナンス成分とを含む。輝度（または略して輝度）成分Ｙは、輝度または階調強度（例えば、グレースケールピクチャのように）を表し、２つのクロミナンス（または略してクロマ）成分ＣｂおよびＣｒは、色度または色情報成分を表す。したがって、ＹＣｂＣｒフォーマットのピクチャは、輝度サンプル値（Ｙ）の輝度のサンプルアレイと、クロミナンス値（ＣｂおよびＣｒ）の２つのクロミナンスのサンプルアレイとを含む。ＲＧＢフォーマットのピクチャは、ＹＣｂＣｒフォーマットに変換（ｃｏｎｖｅｒｔ）または変換（ｔｒａｎｓｆｏｒｍ）することができ、その逆も可能であり、このプロセスは色変換（ｃｏｌｏｒ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）または色変換（ｃｏｌｏｒ ｃｏｎｖｅｒｓｉｏｎ）としても知られている。ピクチャがモノクロである場合、ピクチャは輝度サンプルアレイのみを含むことができる。したがって、ピクチャは、例えば、モノクロ形式の輝度サンプルのアレイ、または４：２：０、４：２：２、および４：４：４の色の形式における輝度サンプルのアレイ、およびクロマサンプルの２つの対応するアレイであってもよい。

【0092】

ビデオエンコーダ２０の実施形態は、ピクチャ１７を、複数の（典型的には、重複しない）ピクチャブロック２０３へ区分するように構成されたピクチャ区分ユニット（図２には示されていない）を備え得る。これらのブロックはまた、ルートブロック、マクロブロック（Ｈ．２６４／ＡＶＣ）または符号化ツリーブロック（ＣＴＢ）または符号化ツリーユニット（ＣＴＵ）（Ｈ．２６５／ＨＥＶＣおよびＶＶＣ）とも称され得る。ピクチャ区分ユニットは、映像シーケンスのすべてのピクチャおよびブロックサイズを定める対応するグリッドに同じブロックサイズを使用するように、またはピクチャ、またはピクチャのサブセットまたはグループ間でブロックサイズを変更し、各ピクチャを対応するブロックに区分するように構成され得る。

【0093】

さらなる実施形態では、ビデオエンコーダは、ピクチャ１７のブロック２０３、例えばピクチャ１７を形成する１つ、いくつか、またはすべてのブロックを直接受信するように構成され得る。ピクチャブロック２０３は、現在のピクチャブロックまたは符号化されるべきピクチャブロックとも称され得る。

【0094】

ピクチャ１７と同様に、ピクチャブロック２０３はやはり、ピクチャ１７よりも小さい寸法であるが、強度の値（サンプル値）によるサンプルの二次元アレイまたは行列であるか、またはそれとみなすことができる。換言すれば、ブロック２０３は、例えば、適用される色フォーマットに応じて、１つのサンプルアレイ（例えば、モノクロピクチャ１７の場合は輝度アレイ、カラーピクチャの場合は輝度またはクロマアレイ）または３つのサンプルアレイ（例えば、カラーピクチャ１７の場合、輝度および２つのクロマアレイ）または任意の他の数および／または種類のアレイを備えてもよい。ブロック２０３の水平方向および垂直方向（または軸）のサンプル数は、ブロック２０３のサイズを定める。したがって、ブロックは、例えば、サンプルのＭ×Ｎ（Ｍ列×Ｎ行）アレイ、または変換係数のＭ×Ｎアレイであり得る。

【0095】

図２に示すようなビデオエンコーダ２０の実施形態は、ピクチャ１７をブロック毎にエンコードするように構成され得、例えば、エンコードおよび予測は、ブロック２０３毎に実行される。

【0096】

図２に示されたビデオエンコーダ２０の実施形態は、スライス（映像スライスとも呼ばれる）を使用することによってピクチャを区分および／またはエンコードするようにさらに構成されてもよく、ピクチャは、１つまたは複数のスライスを使用して区分またはエンコードされてもよく（通常は重複しない）、各スライスは、１つまたは複数のブロック（例えばＣＴＵ）または１つまたは複数のブロックグループ（例えば、タイル（Ｈ．２６５／ＨＥＶＣおよびＶＶＣ）またはレンガ（ＶＶＣ））を含んでもよい。

【0097】

図２に示すようなビデオエンコーダ２０の実施形態は、スライス／タイルグループ（映像タイルグループとも呼ばれる）および／またはタイル（映像タイルとも呼ばれる）を使用することによってピクチャを区分および／またはエンコードするようにさらに構成することができ、ピクチャは、１つまたは複数のスライス／タイルグループ（通常は重複しない）を使用して区分またはエンコードすることができ、各スライス／タイルグループは、例えば１つまたは複数のブロック（例えばＣＴＵ）または１つまたは複数のタイルを含むことができ、各タイルは、例えば長方形の形状であってもよく、１つまたは複数のブロック（例えばＣＴＵ）、例えば完全なブロックまたは部分的なブロックを含むことができる。

【0098】

残差計算
残差計算ユニット２０４は、例えば、サンプル毎に（画素毎に）ピクチャブロック２０３のサンプル値から予測ブロック２６５のサンプル値を減算することによって、ピクチャブロック２０３および予測ブロック２６５（予測ブロック２６５に関するさらなる詳細は後に提供される）に基づいて残差ブロック２０５（残差２０５とも呼ばれる）を計算し、サンプルドメイン内の残差ブロック２０５を取得するように構成され得る。

【0099】

変換
変換処理ユニット２０６は、変換ドメイン内の変換係数２０７を取得するために、残差ブロック２０５のサンプル値に変換、例えば離散コサイン変換（ＤＣＴ）または離散サイン変換（ＤＳＴ）を適用するように構成され得る。変換係数２０７は、変換残差係数とも称され、変換ドメイン内の残差ブロック２０５を表すことができる。

【0100】

変換処理ユニット２０６は、Ｈ．２６５／ＨＥＶＣに指定された変換など、ＤＣＴ／ＤＳＴの整数近似を適用するように構成されてもよい。直交ＤＣＴ変換と比較して、そのような整数近似は、通常、特定の係数でスケーリングされる。順変換および逆変換によって処理される残差ブロックのノルムを保存するために、追加のスケーリング係数が変換プロセスの一部として適用される。スケーリング係数は、典型的には、シフト演算のための２の累乗であるスケーリング係数、変換係数のビット深度、精度と実装コストとの間のトレードオフなどのような特定の制約に基づいて選択される。特定のスケーリング係数は、例えば、逆変換（および、例えばビデオデコーダ３０における逆変換処理ユニット３１２による、対応する逆変換）のために、例えば、逆変換処理ユニット２１２によって指定され、エンコーダ２０の変換処理ユニット２０６によるなどの順方向の変換のための対応するスケーリング係数は、適宜指定されてもよい。

【0101】

ビデオエンコーダ２０（それぞれの変換処理ユニット２０６）の実施形態は、変換パラメータ、例えば、変換のタイプを、例えば、直接的に、または、エントロピーエンコードユニット２７０を介してエンコードまたは圧縮されて出力するように構成され得、これによって、例えば、ビデオデコーダ３０は、変換パラメータを受信し、デコードのために使用し得る。

【0102】

量子化
量子化ユニット２０８は、例えばスカラ量子化またはベクトル量子化を適用することによって、変換係数２０７を量子化して量子化係数２０９を得るように構成され得る。量子化係数２０９は、量子化変換係数２０９または量子化残差係数２０９とも称され得る。

【0103】

量子化プロセスは、変換係数２０７の一部またはすべてに関連するビット深度を低減することができる。例えば、量子化の間にｎビット変換係数をｍビット変換係数に切り捨てることができ、ｎはｍより大きい。量子化の程度は、量子化パラメータ（ＱＰ）を調整することによって変更することができる。例えば、スカラ量子化の場合、より細かいまたはより粗い量子化を達成するために異なるスケーリングが適用されてもよい。より小さい量子化ステップサイズはより細かい量子化に対応し、より大きい量子化ステップサイズはより粗い量子化に対応する。適用可能な量子化ステップサイズは、量子化パラメータ（ＱＰ）で示されてもよい。量子化パラメータは、例えば、適用可能な量子化ステップサイズの所定のセットに対する指標であり得る。例えば、小さい量子化パラメータは、細かい量子化（小さい量子化ステップサイズ）に対応し得、大きい量子化パラメータは、粗い量子化（大きい量子化ステップサイズ）に対応し得る、またはその逆であり得る。量子化は、量子化ステップサイズによる除算を含むことができ、例えば逆量子化ユニット２１０による対応するおよび／または逆・逆量子化は、量子化ステップサイズによる乗算を含むことができる。いくつかの規格、例えばＨＥＶＣによる実施形態は、量子化パラメータを使用して量子化ステップサイズを決定するように構成されてもよい。一般に、量子化ステップサイズは、除算を含む式の固定小数点近似を使用して量子化パラメータに基づいて計算することができる。量子化ステップサイズおよび量子化パラメータの式の固定小数点近似で使用されるスケーリングのために変更される可能性がある残差ブロックのノルムを復元するために、量子化および逆量子化のため追加のスケーリング係数を導入することができる。１つの例示的な実装形態では、逆変換および逆量子化のスケーリングを組み合わせることができる。あるいは、カスタマイズされた量子化テーブルが使用され、例えばビットストリームでエンコーダからデコーダにシグナリングされてもよい。量子化は非可逆動作であり、量子化ステップサイズが大きくなるにつれて損失が増加する。

【0104】

ビデオエンコーダ２０（それぞれ量子化ユニット２０８）の実施形態は、量子化パラメータ（ＱＰ）を、例えば、直接、またはエントロピーエンコードユニット２７０を介してエンコードして出力するように構成することができ、その結果、例えば、ビデオデコーダ３０は、デコードのために量子化パラメータを受信および適用することができる。

【0105】

逆量子化
逆量子化ユニット２１０は、例えば、量子化ユニット２０８と同じ量子化ステップサイズに基づいて、またはそれを使用して量子化ユニット２０８によって適用された量子化方式の逆を適用することによって、量子化係数に量子化ユニット２０８の逆量子化を適用して、逆量子化係数２１１を得るように構成される。逆量子化係数２１１は、逆量子化残差係数２１１とも称され、典型的には量子化による損失のために変換係数と同一ではないが、変換係数２０７に対応する。

【0106】

逆変換
逆変換処理ユニット２１２は、サンプルドメイン内の再構成された残差ブロック２１３（または対応する逆量子化係数２１３）を取得するために、変換処理ユニット２０６によって適用された変換の逆変換、例えば、逆離散コサイン変換（ＤＣＴ）または逆離散サイン変換（ＤＳＴ）または他の逆変換を適用するように構成される。再構成された残差ブロック２１３は、変換ブロック２１３とも称され得る。

【0107】

再構成
再構成ユニット２１４（例えば加算器２１４）は、例えば、再構成された残差ブロック２１３のサンプル値および予測ブロック２６５のサンプル値をサンプル毎に加算することによって、サンプルドメイン内の再構成ブロック２１５を取得するために、変換ブロック２１３（すなわち、再構成された残差ブロック２１３）を予測ブロック２６５に加算するように構成される。

【0108】

フィルタリング
ループフィルタユニット２２０（または略して「ループフィルタ」２２０）は、再構成されたブロック２１５をフィルタリングしてフィルタリングされたブロック２２１を取得するように、または一般に、再構成されたサンプルをフィルタリングしてフィルタリングされたサンプル値を取得するように構成される。ループフィルタユニットは、例えば、画素の移行を円滑にするか、または別様に映像の質を改善するように構成される。ループフィルタユニット２２０は、１つまたは複数のループフィルタ、例えばデブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）フィルタ、または１つまたは複数の他のフィルタ、例えば適応ループフィルタ（ＡＬＦ）、ノイズ抑制フィルタ（ＮＳＦ）、またはそれらの任意の組合せを含むことができる。一例では、ループフィルタユニット２２０は、デブロッキングフィルタ、ＳＡＯフィルタ、およびＡＬＦフィルタを含むことができる。フィルタ処理の順序は、デブロッキングフィルタ、ＳＡＯ、およびＡＬＦであってもよい。別の例では、クロマスケーリングを用いた輝度マッピング（ＬＭＣＳ）（すなわち、適応ループ内リシェーパ）と呼ばれるプロセスが追加される。この処理は、デブロッキングの前に行われる。別の例では、デブロッキングフィルタ処理は、内部副次的ブロックエッジ、例えばアフィン副次的ブロックエッジ、ＡＴＭＶＰ副次的ブロックエッジ、副次的ブロック変換（ＳＢＴ）エッジ、および副次的区分内（ＩＳＰ）エッジにも適用され得る。図２では、ループフィルタユニット２２０はインループフィルタとして示されているが、他の構成では、ループフィルタユニット２２０はポストループフィルタとして実装されてもよい。フィルタリングされたブロック２２１は、フィルタリングされた再構成ブロック２２１とも称され得る。

【0109】

ビデオエンコーダ２０の実施形態（それぞれ、ループフィルタユニット２２０）は、ループ・フィルタ・パラメータ（ＳＡＯフィルタパラメータまたはＡＬＦフィルタパラメータまたはＬＭＣＳパラメータなど）を、例えば、直接またはエントロピーエンコードユニット２７０を介してエンコードして出力するように構成されてもよく、その結果、例えば、デコーダ３０は、デコードのために同じループ・フィルタ・パラメータまたはそれぞれのループフィルタを受信し適用することができる。

【0110】

デコードピクチャバッファ
デコードピクチャバッファ（ＤＰＢ）２３０は、ビデオエンコーダ２０で映像データをエンコードするための参照ピクチャ、一般的には参照ピクチャデータを格納するメモリであり得る。ＤＰＢ２３０は、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスを含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの様々なメモリデバイスのいずれかによって形成することができる。デコードピクチャバッファ（ＤＰＢ）２３０は、１つまたは複数のフィルタリングされたブロック２２１を格納するように構成することができる。デコードピクチャバッファ２３０は、同じ現在のピクチャまたは異なるピクチャ、例えば以前に再構成されたピクチャの、他の以前にフィルタリングされたブロック、例えば以前に再構成およびフィルタリングされたブロック２２１を格納するようにさらに構成され得、例えばインター予測のために、完全な以前に再構成された、すなわちデコードされたピクチャ（および対応する参照ブロックおよびサンプル）および／または部分的に再構成された現在のピクチャ（および対応する参照ブロックおよびサンプル）を提供し得る。デコードピクチャバッファ（ＤＰＢ）２３０はまた、例えば再構成されたブロック２１５がループフィルタユニット２２０によってフィルタリングされていない場合、１つまたは複数のフィルタリングされていない再構成されたブロック２１５、または一般にフィルタリングされていない再構成されたサンプル、または再構成されたブロックもしくはサンプルの任意の他のさらなる処理されたバージョンを格納するように構成され得る。

【0111】

モード選択（区分および予測）
モード選択ユニット２６０は、区分ユニット２６２と、インター予測ユニット２４４と、イントラ予測ユニット２５４とを備え、元のピクチャデータ、例えば元のブロック２０３（現在のピクチャ１７の現在のブロック２０３）、再構成されたピクチャデータ、例えばフィルタリングされたおよび／またはフィルタリングされていない同じ（現在の）ピクチャの再構成されたサンプルまたはブロック、および／または、以前にデコードされたピクチャのうちのの１つまたは複数から、例えばデコードピクチャバッファ２３０または他のバッファ（例えば、図示されていないラインバッファ）からの、再構成されたピクチャデータを受信または取得するように構成される。再構成されたピクチャデータは、予測ブロック２６５または予測器２６５を取得するために、予測、例えばインター予測またはイントラ予測のための参照ピクチャデータとして使用される。

【0112】

モード選択ユニット２６０は、現在のブロック予測モード（区分なしを含む）および予測モード（例えば、イントラまたはインター予測モード）のための区分を決定または選択し、残差ブロック２０５の計算および再構成ブロック２１５の再構成に使用される対応する予測ブロック２６５を生成するように構成され得る。

【0113】

モード選択ユニット２６０の実施形態は、最良一致または言い換えれば最小残差（最小残差は伝送または格納のためのより良好な圧縮を意味する）を提供する、または最小シグナリングオーバーヘッド（最小シグナリングオーバーヘッドは伝送または格納のためのより良好な圧縮を意味する）を提供する、または両方を考慮するまたはバランスをとる、区分および予測モード（例えば、モード選択ユニット２６０によってサポートされているか、または利用可能なものから）を選択するように構成され得る。モード選択ユニット２６０は、レート歪み最適化（ＲＤＯ）に基づいて区分および予測モードを決定する、すなわち、最小レート歪みを提供する予測モードを選択するように構成され得る。この文脈における「最良の」、「最小の」、「最適な」などの用語は、必ずしも全体的な「最良の」、「最小の」、「最適な」などを指すものではなく、「準最適な選択」を潜在的にもたらすが複雑さおよび処理時間を低減する閾値または他の制約を超えるか下回る値のような、終了または選択基準の達成を指すこともできる。

【0114】

言い換えれば、区分ユニット２６２は、映像シーケンスからのピクチャを符号化ツリーユニット（ＣＴＵ）のシーケンスに区分するように構成されてもよく、ＣＴＵ２０３は、例えば、四分木区分（ＱＴ）、二分木区分（ＢＴ）もしくは三分木区分（ＴＴ）またはそれらの任意の組合せを使用して反復的に、より小さいブロック区分または副次的ブロック（再びブロックを形成する）にさらに区分され、例えば、ブロック区分または副次的ブロックの各々について予測を実行するように構成されてもよく、モード選択は、区分ブロック２０３のツリー構造の選択を含み、予測モードは、ブロック区分または副次的ブロックの各々に適用される。

【0115】

以下では、例示的なビデオエンコーダ２０によって実行される区分化（例えば、区分ユニット２６２によって）および（インター予測ユニット２４４およびイントラ予測ユニット２５４による）予測処理についてより詳細に説明する。

【0116】

区分
区分ユニット２６２は、映像シーケンスからのピクチャを符号化ツリーユニット（ＣＴＵ）のシーケンスに区分するように構成され得、区分ユニット２６２は、符号化ツリーユニット（ＣＴＵ）２０３をより小さい区分、例えば、正方形または長方形サイズのより小さいブロックに区分（または分割）し得る。３つのサンプルアレイを有するピクチャの場合、ＣＴＵは、２つの対応するクロマサンプルのブロックと共に、Ｎ×Ｎ個の輝度サンプルのブロックからなる。ＣＴＵ内の輝度ブロックの最大許容サイズは、開発中の汎用映像符号化（ＶＶＣ）では１２８×１２８に指定されているが、将来的には１２８×１２８ではなく、例えば２５６×２５６の値に指定することができる。ピクチャのＣＴＵは、スライス／タイルグループ、タイルまたはレンガとしてクラスタ化／グループ化され得る。タイルはピクチャの長方形の領域を覆い、タイルは１つまたは複数のレンガに分割することができる。レンガは、タイル内のいくつかのＣＴＵ行からなる。複数のレンガに区分されていないタイルは、レンガと呼ぶことができる。しかしながら、レンガはタイルの真のサブセットであり、タイルとは呼ばれない。ＶＶＣでサポートされるタイルグループの２つのモード、すなわちラスタースキャンスライス／タイルグループモードおよび長方形スライスモードがある。ラスタースキャンタイルグループモードでは、スライス／タイルグループは、ピクチャのタイルラスタースキャンにおけるタイルのシーケンスを含む。長方形スライスモードでは、スライスは、ピクチャの長方形領域を集合的に形成する複数のピクチャのレンガを含む。長方形スライス内のレンガは、スライスのレンガラスタースキャンの順序である。これらのより小さいブロック（副次的ブロックとも呼ばれ得る）は、さらにより小さい区分に区分され得る。これは、ツリー区分または階層ツリー区分とも呼ばれ、例えば、ルートツリーレベル０（階層レベル０、深さ０）のルートブロックは、再帰的に区分され、例えば、次の下位ツリーレベルの２つ以上のブロック、例えばツリーレベル１（階層レベル１、深さ１）のノードに区分され得、これらのブロックは、区分が終了するまで、例えば、終了基準が満たされる、例えば、最大のツリーの深さまたは最小ブロックサイズに達するために、次の下位レベル、例えばツリーレベル２（階層レベル２、深さ２）の２つ以上のブロックに再び区分され得る。さらに区分されないブロックは、ツリーのリーフブロックまたはリーフノードとも呼ばれる。２つの区分に区分することを用いたツリーは、二分木（ＢＴ）と呼ばれ、３つの区分に区分することを用いたツリーは、三分木（ＴＴ）と呼ばれ、４つの区分に区分することを用いたツリーは、四分木（ＱＴ）と呼ばれる。

【0117】

例えば、符号化ツリーユニット（ＣＴＵ）は、輝度サンプルのＣＴＢ、３つのサンプルアレイを有するピクチャのクロマサンプルの２つの対応するＣＴＢ、またはモノクロピクチャまたはサンプルを符号化するために使用される３つの別々のカラープレーンおよびシンタックス構造を使用して符号化されるピクチャのサンプルのＣＴＢであってもよいし、それらを含んでもよい。これに対応して、符号化ツリーブロック（ＣＴＢ）は、成分のＣＴＢへの分離が区分することであるように、Ｎの何らかの値に対するサンプルのＮ×Ｎのブロックであり得る。符号化ユニット（ＣＵ）は、輝度サンプルの符号化ブロック、３つのサンプルアレイを有するピクチャのクロマサンプルの２つの対応する符号化ブロック、またはモノクロピクチャまたはサンプルを符号化するために使用される３つの別々のカラープレーンおよびシンタックス構造を使用して符号化されるピクチャのサンプルの符号化ブロックであってもよいし、それらを含んでもよい。これに対応して、符号化ブロック（ＣＢ）は、ＣＴＢの符号化ブロックへの分割が区分であるように、ＭおよびＮの何らかの値に対するサンプルのＭ×Ｎブロックであり得る。

【0118】

実施形態では、例えば、ＨＥＶＣによれば、符号化ツリーユニット（ＣＴＵ）は、符号化ツリーとして示される四分木構造を使用することによってＣＵに分割されてもよい。ピクチャ間（時間的）またはピクチャ内（空間的）予測を使用してピクチャ領域を符号化するかどうかの決定は、リーフＣＵレベルで行われる。各リーフＣＵは、ＰＵ分割タイプに従って、１つ、２つ、または４つのＰＵにさらに分割することができる。１つのＰＵ内では、同じ予測処理が適用され、ＰＵ単位で関連情報がデコーダに送信される。ＰＵ分割タイプに基づいて予測プロセスを適用することによって残差ブロックを取得した後、リーフＣＵは、ＣＵの符号化ツリーと同様の別の四分木構造に従って変換ユニット（ＴＵ）に区分することができる。

【0119】

実施形態では、例えば、多用途ビデオコーディング（ＶＶＣ）と呼ばれる、現在開発中の最新の映像符号化規格に従って、例えば符号化ツリーユニットを区分するために使用される二値および三値区分セグメント化構造を使用する結合四分木入れ子マルチタイプツリー。符号化ツリーユニット内の符号化ツリー構造では、ＣＵは正方形または長方形のいずれかの形状を有することができる。例えば、符号化ツリーユニット（ＣＴＵ）は、最初に四本木によって区分される。次いで、四本木リーフノードは、マルチタイプツリー構造によってさらに区分することができる。マルチタイプのツリー構造には、垂直二値分割（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）、水平二値分割（ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）、垂直三値分割（ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）、および水平三値分割（ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）の４つの分割タイプがある。マルチタイプのツリーリーフノードは、コーディングユニット（ＣＵ）と呼ばれ、ＣＵが最大変換長に対して大きすぎない限り、このセグメント化は、いずれのさらなる区分もなしで予測および変換処理に使用される。これは、ほとんどの場合、ＣＵ、ＰＵ、およびＴＵが、ネストされたマルチタイプツリー符号化ブロック構造を有する四分木において同じブロックサイズを有することを意味する。例外は、最大サポート変換長がＣＵの色成分の幅または高さよりも小さい場合に発生する。ＶＶＣは、ネストされたマルチタイプのツリー符号化ツリー構造を有する四分木において区分分割情報の一意のシグナリング機構を発展させる。シグナリング機構では、符号化ツリーユニット（ＣＴＵ）は、四本木のルートとして扱われ、最初に四本木構造によって区分される。各四本木リーフノード（それを可能にするのに十分に大きい場合）は、次いで、マルチタイプツリー構造によってさらに区分される。マルチタイプツリー構造では、第１のフラグ（ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ）がシグナリングされて、ノードがさらに区分されているかどうかを示す。ノードがさらに区分されるときに、分割方向を示すために第２のフラグ（ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ）がシグナリングされ、次いで分割が二値分割であるか三値分割であるかを示すために第３のフラグ（ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇ）がシグナリングされる。ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇおよびｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇの値に基づいて、ＣＵのマルチタイプツリースリッティングモード（ＭｔｔＳｐｌｉｔＭｏｄｅ）は、所定の規則またはテーブルに基づいてデコーダによって導出することができる。特定の設計、例えばＶＶＣハードウェアデコーダにおける６４×６４の輝度ブロックおよび３２×３２のクロマパイプライン設計では、図６に示すように、輝度コーディングブロックの幅または高さのいずれかが６４より大きい場合、ＴＴ分割は禁止されることに留意されたい。クロマ符号化ブロックの幅または高さのいずれかが３２より大きい場合、ＴＴ分割はまた禁止される。パイプライン設計は、ピクチャを、ピクチャ内の重複しないユニットとして定められる仮想パイプラインデータユニット（ＶＰＤＵ）に分割する。ハードウェアデコーダでは、連続するＶＰＤＵが複数のパイプラインステージによって同時に処理される。ＶＰＤＵサイズは、ほとんどのパイプラインステージでバッファサイズにほぼ比例するため、ＶＰＤＵサイズを小さく保つことが重要である。ほとんどのハードウェアデコーダでは、ＶＰＤＵサイズを最大変換ブロック（ＴＢ）サイズに設定することができる。しかしながら、ＶＶＣでは、三値ツリー（ＴＴ）および二値ツリー（ＢＴ）区分は、ＶＰＤＵサイズの増加をもたらし得る。

【0120】

加えて、ツリーノードブロックの一部が下または右のピクチャ境界を超えるとき、すべての符号化されたＣＵのすべてのサンプルがピクチャ境界内に位置するまで、ツリーノードブロックは分割されなければならないことに留意されたい。

【0121】

例として、イントラ副次的区分（ＩＳＰ）ツールは、輝度イントラ予測ブロックをブロックサイズに応じて垂直または水平に２つまたは４つの副次的区分に分割することができる。

【0122】

一例では、ビデオエンコーダ２０のモード選択ユニット２６０は、本明細書に記載された区分技術の任意の組合せを実行するように構成され得る。

【0123】

上述したように、ビデオエンコーダ２０は、（例えば、予め決定される）予測モードのセットから最良または最適な予測モードを決定または選択するように構成される。予測モードのセットは、例えば、イントラ予測モードおよび／またはインター予測モードを備え得る。

【0124】

イントラ予測
イントラ予測モードのセットは、３５個の異なるイントラ予測モード、例えばＤＣ（または平均）モードおよび平面モードのような無指向性モード、または例えばＨＥＶＣで定められるような指向性モードを備えてもよく、または６７個の異なるイントラ予測モード、例えばＤＣ（または平均）モードおよび平面モードのような無指向性モード、または例えばＶＶＣで定められるような指向性モードを備えてもよい。例として、いくつかの従来の角度イントラ予測モードは、例えばＶＶＣで定められるように、非正方形ブロックの広角イントラ予測モードで適応的に置き換えられる。別の例として、ＤＣ予測のための分割演算を回避するために、長辺のみが非正方形ブロックの平均を計算するために使用される。さらに、平面モードのイントラ予測の結果は、位置依存イントラ予測合成（ＰＤＰＣ）法によってさらに修正されてもよい。

【0125】

イントラ予測ユニット２５４は、イントラ予測モードのセットのイントラ予測モードに従って、イントラ予測ブロック２６５を生成するために、同じ現在のピクチャの近隣ブロックの再構成されたサンプルを使用するように構成される。

【0126】

イントラ予測ユニット２５４（または一般にモード選択ユニット２６０）は、例えば、ビデオデコーダ３０が予測パラメータを受信してデコードに使用することができるように、エンコードされたピクチャデータ２１に含めるためのシンタックス要素２６６の形態でイントラ予測パラメータ（またはブロックに対して選択されたイントラ予測モードを示す一般的な情報）をエントロピーエンコードユニット２７０に出力するようにさらに構成される。

【0127】

インター予測
インター予測モードのセット（または可能なインター予測モード）は、利用可能な参照ピクチャ（すなわち、例えばＤＢＰ２３０に格納された、以前の少なくとも部分的にデコードされたピクチャ）、および他のインター予測パラメータ、例えば、参照ピクチャ全体または参照ピクチャの一部のみ、例えば、現在のブロックの領域の周りの探索ウィンドウ領域が、最良一致の参照ブロックを探索するために使用されるかどうか、および／または、例えば、半画素、１／４画素および／または１／１６画素の補間などの画素の補間が適用されるかどうかに依存する。

【0128】

上記の予測モードに加えて、スキップモード、ダイレクトモード、および／または他のインター予測モードが適用されてもよい。

【0129】

例えば、拡張マージ予測では、そのようなモードのマージ候補リストは、以下の５つのタイプの候補を順に含むことによって構築される、すなわち空間的隣接ＣＵからの空間ＭＶＰ、コロケートされたＣＵからの時間ＭＶＰ、ＦＩＦＯテーブルからの履歴ベースのＭＶＰ、ペアワイズ平均ＭＶＰ、およびゼロＭＶである。さらに、マージモードのＭＶの精度を高めるために、バイラテラルマッチングベースのデコーダ側動きベクトル改善（ＤＭＶＲ）を適用することができる。動きベクトルの差異があるマージモードに由来する、ＭＶＤ（ＭＭＶＤ）とのマージモード。ＭＭＶＤフラグは、スキップフラグおよびマージフラグを送信した直後にシグナリングされ、ＭＭＶＤモードがＣＵに使用されるかどうかを指定する。また、ＣＵレベルの適応的な動きベクトル分解（ＡＭＶＲ）方式を適用してもよい。ＡＭＶＲは、ＣＵのＭＶＤを異なる精度で符号化することを可能にする。現在のＣＵの予測モードに応じて、現在のＣＵのＭＶＤを適応的に選択することができる。ＣＵがマージモードで符号化される場合、結合されたインター／イントラ予測（ＣＩＩＰ）モードが、現在のＣＵに適用され得る。ＣＩＩＰ予測を得るために、インター予測信号およびイントラ予測信号の加重平均が実行される。アフィン動き補償予測では、ブロックのアフィン動き場は、２つの制御点（４パラメータ）または３つの制御点の動きベクトル（６パラメータ）の動きの情報によって記述される。ＨＥＶＣにおける時間動きベクトル予測（ＴＭＶＰ）と同様であるが、現在のＣＵ内のサブＣＵの動きベクトルを予測する、副次的ブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）。以前はＢＩＯと呼ばれていた双方向オプティカルフロー（ＢＤＯＦ）は、特に乗算の数および乗算器のサイズの点で、はるかに少ない計算しか必要としないより単純なバージョンである。このようなモードでの、三角区分モードＣＵは、対角分割またはアンチ対角分割のいずれかを使用して、２つの三角形の区分に均等に区分される。さらに、双予測モードは、２つの予測信号の加重平均を可能にするために単純な平均を超えて拡張される。

【0130】

インター予測ユニット２４４は、動き推定（ＭＥ）ユニットおよび動き補償（ＭＣ）ユニット（共に図２に示さず）を含んでもよい。動き推定ユニットは、動きの推定のために、ピクチャブロック２０３（現在のピクチャ１７の現在のピクチャブロック２０３）およびデコードされたピクチャ２３１、または少なくとも１つまたは複数の以前に再構成されたブロック、例えば、１つまたは複数の他の／異なる以前にデコードされたピクチャ２３１の再構成されたブロックを受信または取得するように構成され得る。例えば、映像シーケンスは、現在のピクチャおよび以前にデコードされたピクチャ２３１を含むことができ、または言い換えれば、現在のピクチャおよび以前にデコードされたピクチャ２３１は、映像シーケンスを形成するピクチャのシーケンスの一部であるか、またはそのシーケンスを形成することができる。

【0131】

エンコーダ２０は、例えば、複数の他のピクチャの同じまたは異なるピクチャの複数の参照ブロックから、参照ブロックを選択し、参照ピクチャ（または参照ピクチャインデックス）および／または参照ブロックの位置（ｘｙ座標）と現在のブロックの位置との間のオフセット（空間オフセット）を、インター予測パラメータとして、動き推定ユニットに提供するように構成され得る。このオフセットは、動きベクトル（ＭＶ）とも呼ばれる。

【0132】

動き補償ユニットは、インター予測パラメータを取得、例えば受信し、インター予測パラメータに基づいて、またはインター予測パラメータを使用してインター予測を実行して、インター予測ブロック２６５を取得するように構成される。動き補償ユニットによって実行される動きの補償は、動きの推定によって決定された動き／ブロックベクトルに基づいて予測ブロックをフェッチまたは生成することを含んでもよく、場合によっては副次的な画素の精度への補間を実行する。補間フィルタリングは、既知の画素サンプルから追加の画素サンプルを生成することができ、したがって、ピクチャブロックを符号化するために使用され得る候補予測ブロックの数を増加させる潜在可能性がある。現在のピクチャブロックのＰＵの動きベクトルを受信すると、動き補償ユニットは、参照ピクチャリストのうちの１つにおいて動きベクトルが指し示す予測ブロックを見つけることができる。

【0133】

動き補償ユニットはまた、映像スライスのピクチャブロックをデコードする際にビデオデコーダ３０によって使用されるブロックおよび映像スライスに関連するシンタックス要素を生成することができる。さらに、またはスライスおよびそれぞれのシンタックス要素の代替として、タイルグループおよび／またはタイルおよびそれぞれのシンタックス要素を、生成または使用することができる。

【0134】

エントロピー符号化
エントロピーエンコードユニット２７０は、例えば、ビデオデコーダ３０がパラメータを受信してデコードに使用することができるように、例えばエンコードビットストリーム２１の形態で出力２７２を介して出力することができるエンコードされたピクチャデータ２１を取得するために、量子化係数２０９、インター予測パラメータ、イントラ予測パラメータ、ループ・フィルタ・パラメータ、および／または他のシンタックス要素に対して、例えば、エントロピーエンコードアルゴリズムまたはスキーム（例えば、可変長符号化（ＶＬＣ）方式、コンテキスト適応型ＶＬＣ方式（ＣＡＶＬＣ）、算術符号化方式、二値化、コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）、シンタックスベースのコンテキスト適応型バイナリ算術符号化（ＳＢＡＣ）、確率区間区分エントロピー（ＰＩＰＥ）符号化、または別のエントロピーエンコード方法または技法）またはバイパス（圧縮なし）を適用するように構成される。エンコードビットストリーム２１は、ビデオデコーダ３０に送信されてもよいし、またはビデオデコーダ３０による後の送信または検索のためにメモリに格納されてもよい。

【0135】

ビデオエンコーダ２０の他の構造的変形例を使用して、映像ストリームをエンコードすることができる。例えば、非変換ベースのエンコーダ２０は、特定のブロックまたはフレームに対して変換処理ユニット２０６なしで残差信号を直接量子化することができる。別の実施態様では、エンコーダ２０は、量子化ユニット２０８および逆量子化ユニット２１０を単一のユニットに組み合わせることができる。

【0136】

デコーダおよびデコード方法
図３は、本願の技術を実装するように構成されたビデオデコーダ３０の例を示す。ビデオデコーダ３０は、例えばエンコーダ２０によってエンコードされた、エンコードされたピクチャデータ２１（例えば、エンコードビットストリーム２１）を受信して、デコードピクチャ３３１を取得するように構成される。エンコードされたピクチャデータまたはビットストリームは、エンコードされたピクチャデータをデコードするための情報、例えば、エンコードされた映像スライスのピクチャブロック（および／またはタイルグループまたはタイル）および関連するシンタックス要素を表すデータを含む。

【0137】

図３の例では、デコーダ３０は、エントロピーデコードユニット３０４、逆量子化ユニット３１０、逆変換処理ユニット３１２、再構成ユニット３１４（例えば、加算器３１４）、ループフィルタ３２０、デコードピクチャバッファ（ＤＢＰ）３３０、モード適用ユニット３６０、インター予測ユニット３４４、およびイントラ予測ユニット３５４を備える。インター予測ユニット３４４は、動き補償ユニットであってもよいし、動き補償ユニットを含んでもよい。ビデオデコーダ３０は、いくつかの例では、図２からのビデオエンコーダ１００に関して記載されたエンコードパスに対して一般に逆であるデコードパスを実行し得る。

【0138】

エンコーダ２０について説明したように、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、ループフィルタ２２０、デコードピクチャバッファ（ＤＰＢ）２３０、インター予測ユニット３４４、およびイントラ予測ユニット３５４は、ビデオエンコーダ２０の「内蔵デコーダ」を構成するとも言及される。したがって、逆量子化ユニット３１０の機能は逆量子化ユニット１１０と同じであってもよく、逆変換処理ユニット３１２の機能は逆変換処理ユニット２１２と同じであってもよく、再構成ユニット３１４の機能は再構成ユニット２１４と同じであってもよく、ループフィルタ３２０の機能はループフィルタ２２０と同じであってもよく、デコードピクチャバッファ３３０の機能はデコードピクチャバッファ２３０と同じであってもよい。したがって、ビデオエンコーダ２０のそれぞれのユニットおよび機能について提供された説明は、ビデオデコーダ３０のそれぞれのユニットおよび機能に対応して適用される。

【0139】

エントロピーデコード
エントロピーデコードユニット３０４は、ビットストリーム２１（または、一般に、エンコードされたピクチャデータ２１）を解析し、例えば、エンコードされたピクチャデータ２１に対するエントロピーデコードを実行して、例えば、量子化係数３０９、および／または、デコードされた符号化パラメータ（図３には示されていない）、例えば、インター予測パラメータ（例えば、参照ピクチャインデックスおよび動きベクトル）、イントラ予測パラメータ（例えば、イントラ予測モードまたはインデックス）、変換パラメータ、量子化パラメータ、ループ・フィルタ・パラメータ、および／または、その他のシンタックス要素のうちのいずれかまたはすべてを取得するように構成される。エントロピーデコードユニット３０４は、エンコーダ２０のエントロピーエンコードユニット２７０に関して記載されたようなエンコードスキームに対応するデコードアルゴリズムまたはスキームを適用するように構成され得る。エントロピーデコードユニット３０４はさらに、インター予測パラメータ、イントラ予測パラメータ、および／または、その他のシンタックス要素を、モード適用ユニット３６０へ提供し、その他のパラメータを、デコーダ３０のその他のユニットへ提供するように構成され得る。ビデオデコーダ３０は、映像スライスレベルおよび／または映像ブロックレベルでシンタックス要素を受信することができる。さらに、またはスライスおよびそれぞれのシンタックス要素の代替として、タイルグループおよび／またはタイルおよびそれぞれのシンタックス要素を、受信および／または使用することができる。

【0140】

逆量子化
逆量子化ユニット３１０は、量子化パラメータ（ＱＰ）（または逆量子化に関連する一般的な情報）および量子化係数を、エンコードされたピクチャデータ２１（例えば、エントロピーデコードユニット３０４によって、構文解析および／またはデコードすることによって）から受信し、量子化パラメータに基づいて、デコードされた量子化係数３０９に逆量子化を適用して、変換係数３１１とも呼ばれ得る逆量子化係数３１１を取得するように構成され得る。逆量子化プロセスは、適用されるべき量子化の程度、および同様に逆量子化の程度を決定するために、映像スライス（またはタイルまたはタイルグループ）内の各映像ブロックに対して、ビデオエンコーダ２０によって決定された量子化パラメータを使用することを含むことができる。

【0141】

逆変換
逆変換処理ユニット３１２は、変換係数３１１とも呼ばれる逆量子化係数３１１を受信し、サンプルドメイン内の再構成された残差ブロック２１３を取得するために、逆量子化係数３１１に変換を適用するように構成され得る。再構成された残差ブロック３１３は、変換ブロック２１３とも称され得る。変換は、逆変換、例えば、逆ＤＣＴ、逆ＤＳＴ、逆整数変換、または概念的に同様の逆変換プロセスであってもよい。逆変換処理ユニット３１２は、逆量子化係数３１１に適用されるべき変換を決定するために、（例えば、エントロピーデコードユニット３０４によって、構文解析および／またはデコードすることによって）エンコードされたピクチャデータ２１から変換パラメータまたは対応する情報を受信するようにさらに構成され得る。

【0142】

再構成
再構成ユニット３１４（例えば加算器３１４）は、例えば、再構成された残差ブロック３１３のサンプル値および予測ブロック３６５のサンプル値を加算することによって、サンプルドメイン内の再構成ブロック３１５を取得するために、再構成された残差ブロック３１３を予測ブロック３６５に加算するように構成される。

【0143】

フィルタリング
ループフィルタユニット３２０（符号化ループ内または符号化ループ後のいずれか）は、例えば画素の移行を円滑にするために、または映像の質を改善するために、再構成されたブロック３１５をフィルタリングして、フィルタリングされたブロック３２１を取得するように構成される。ループフィルタユニット３２０は、１つまたは複数のループフィルタ、例えばデブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）フィルタ、または１つまたは複数の他のフィルタ、例えば適応ループフィルタ（ＡＬＦ）、ノイズ抑制フィルタ（ＮＳＦ）、またはそれらの任意の組合せを含むことができる。一例では、ループフィルタユニット２２０は、デブロッキングフィルタ、ＳＡＯフィルタ、およびＡＬＦフィルタを含むことができる。フィルタ処理の順序は、デブロッキングフィルタ、ＳＡＯ、およびＡＬＦであってもよい。別の例では、クロマスケーリングを用いた輝度マッピング（ＬＭＣＳ）（すなわち、適応ループ内リシェーパ）と呼ばれるプロセスが追加される。この処理は、デブロッキングの前に行われる。別の例では、デブロッキングフィルタ処理は、内部副次的ブロックエッジ、例えばアフィン副次的ブロックエッジ、ＡＴＭＶＰ副次的ブロックエッジ、副次的ブロック変換（ＳＢＴ）エッジ、および副次的区分内（ＩＳＰ）エッジにも適用され得る。図３では、ループフィルタユニット３２０はインループフィルタとして示されているが、他の構成では、ループフィルタユニット３２０はポストループフィルタとして実装されてもよい。

【0144】

デコードピクチャバッファ
ピクチャのデコード映像ブロック３２１は、その後、デコードピクチャバッファ３３０に格納される。このバッファは、デコードピクチャ３３１を、他のピクチャのためのその後の動き補償および／またはそれぞれの表示を出力するための参照ピクチャとして格納する。

【0145】

デコーダ３０は、ユーザへの提示または閲覧のために、例えば出力３３２を介してデコードピクチャ３３１を出力するように構成される。

【0146】

予測
インター予測ユニット３４４はインター予測ユニット２４４（特に動き補償ユニット）と同一であってもよく、イントラ予測ユニット３５４はインター予測ユニット２５４と機能的に同一であってもよく、区分および／または予測パラメータ、またはエンコードされたピクチャデータ２１から受信したそれぞれの情報（例えば、エントロピーデコードユニット３０４によって、構文解析および／またはデコードすることによって）に基づいて分割または区分の決定および予測を行う。モード適用ユニット３６０は、予測ブロック３６５を取得するために、再構成されたピクチャ、ブロック、またはそれぞれのサンプル（フィルタリングされたまたはフィルタリングされていない）に基づいて、ブロック毎に予測（イントラまたはインター予測）を実行するように構成され得る。

【0147】

映像スライスがイントラ符号化（Ｉ）スライスとして符号化されるとき、モード適用ユニット３６０のイントラ予測ユニット３５４は、シグナリングされたイントラ予測モードおよび現在のピクチャの以前にデコードされたブロックからのデータに基づいて、現在の映像スライスのピクチャブロックに対する予測ブロック３６５を生成するように構成される。映像がインター符号化（すなわち、ＢまたはＰ）スライスとして符号化されるとき、モード適用ユニット３６０のインター予測ユニット３４４（例えば、動き補償ユニット）は、エントロピーデコードユニット３０４から受信した動きベクトルおよび他のシンタックス要素に基づいて、現在の映像スライスの映像ブロック用の予測ブロック３６５を生成するように構成される。インター予測の場合、予測ブロックは、参照ピクチャリストのうちの１つの中の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、ＤＰＢ３３０に格納された参照ピクチャに基づくデフォルトの構築技術を用いて、参照フレームリスト、つまりリスト０およびリスト１を構築し得る。スライス（例えば、映像スライス）に加えて、またはその代わりに、タイルグループ（例えば映像タイルグループ）および／またはタイル（例えば、映像タイル）を使用する実施形態に対して、またはその実施形態によって、同じまたは類似のものを適用することができ、例えば、Ｉ、ＰまたはＢのタイルグループおよび／またはタイルを使用して映像を符号化することができる。

【0148】

モード適用ユニット３６０は、動きベクトルまたは関連情報および他のシンタックス要素を解析することによって現在の映像スライスの映像ブロックの予測情報を決定するように構成され、予測情報を使用して、デコードされている現在の映像ブロックの予測ブロックを生成する。例えば、モード適用ユニット３６０は、受信したシンタックス要素のいくつかを使用して、映像スライスの映像ブロックを符号化するために使用される予測モード（例えば、イントラまたはインター予測）、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）、スライスの参照ピクチャリストのうちの１つまたは複数の構成情報、スライスの各インターエンコード映像ブロックの動きベクトル、スライスの各インター符号化映像ブロックのインター予測状態、および現在の映像スライスの映像ブロックをデコードするための他の情報を決定する。スライス（例えば、映像スライス）に加えて、またはその代わりに、タイルグループ（例えば映像タイルグループ）および／またはタイル（例えば、映像タイル）を使用する実施形態に対して、またはその実施形態によって、同じまたは類似のものを適用することができ、例えば、Ｉ、ＰまたはＢのタイルグループおよび／またはタイルを使用して、映像を符号化することができる。

【0149】

図３に示されたビデオデコーダ３０の実施形態は、スライス（映像スライスとも呼ばれる）を使用することによってピクチャを区分および／またはデコードするように構成されてもよく、ピクチャは、１つまたは複数のスライスを使用して区分またはデコードされてもよく（通常は重複しない）、各スライスは、１つまたは複数のブロック（例えばＣＴＵ）または１つまたは複数のブロックグループ（例えば、タイル（Ｈ．２６５／ＨＥＶＣおよびＶＶＣ）またはレンガ（ＶＶＣ））を含んでもよい。

【0150】

図３に示すようなビデオデコーダ３０の実施形態は、スライス／タイルグループ（映像タイルグループとも呼ばれる）および／またはタイル（映像タイルとも呼ばれる）を使用することによってピクチャを区分および／またはデコードするように構成することができ、ピクチャは、１つまたは複数のスライス／タイルグループ（通常は重複しない）を使用して区分またはデコードすることができ、各スライス／タイルグループは、例えば１つまたは複数のブロック（例えばＣＴＵ）または１つまたは複数のタイルを含むことができ、各タイルは、例えば長方形の形状であってもよく、１つまたは複数のブロック（例えばＣＴＵ）、例えば完全なブロックまたは部分的なブロックを含むことができる。

【0151】

ビデオデコーダ３０のその他の変形例は、エンコードされたピクチャデータ２１をデコードするために使用され得る。例えば、デコーダ３０は、ループフィルタリングユニット３２０を介さずに、出力映像ストリームを生成することができる。例えば、非変換ベースのデコーダ３０は、特定のブロックまたはフレームに対して逆変換処理ユニット３１２なしで残差信号を直接逆量子化することができる。別の実施態様では、ビデオデコーダ３０は、逆量子化ユニット３１０および逆変換処理ユニット３１２を単一のユニットに組み合わせることができる。

【0152】

エンコーダ２０およびデコーダ３０では、現在のステップの処理結果がさらに処理され、次いで次のステップに出力され得ることを理解されたい。例えば、補間フィルタリング、動きベクトル導出、またはループフィルタリングの後、クリップまたはシフトなどのさらなる操作が、補間フィルタリング、動きベクトル導出またはループフィルタリングの処理の結果に対して実行されてもよい。

【0153】

現在のブロック（アフィンモードの制御点動きベクトル、アフィンモード、平面モード、ＡＴＭＶＰモードの副次的ブロック動きベクトル、時間動きベクトルなどを含むが、これらに限定されない）の導出された動きベクトルにさらなる操作を適用することができることに留意されたい。例えば、動きベクトルの値は、その表現ビットに従って所定の範囲に制約される。動きベクトルの表現ビットがｂｉｔＤｅｐｔｈである場合、範囲は－２＾（ｂｉｔＤｅｐｔｈ－１）～２＾（ｂｉｔＤｅｐｔｈ－１）－１であり、「＾」は累乗を意味する。例えば、ｂｉｔＤｅｐｔｈが１６に等しく設定される場合、範囲は－３２７６８～３２７６７である。ｂｉｔＤｅｐｔｈが１８に等しく設定される場合、範囲は－１３１０７２～１３１０７１である。例えば、導出された動きベクトル（例えば、１つの８×８ブロック内の４つの４×４の副次的ブロックのＭＶ）の値は、４つの４×４の副次的ブロックＭＶの整数部分間の最大の差が、Ｎ画素以下、例えば１画素以下になるように制約される。ここでは、動きベクトルをｂｉｔＤｅｐｔｈに従って制約する２つの方法が提供される。

【0154】

図４は、本開示の実施形態による映像符号化デバイス４００の概略図である。映像符号化デバイス４００は、本明細書に記載の開示された実施形態を実装するのに適している。実施形態では、映像符号化デバイス４００は、図１Ａのビデオデコーダ３０などのデコーダ、または図１Ａのビデオエンコーダ２０などのエンコーダであってもよい。

【0155】

映像符号化デバイス４００は、データを受信するための入口ポート４１０（または入力ポート４１０）および受信機ユニット（Ｒｘ）４２０、データを処理するためのプロセッサ、論理ユニット、または中央処理装置（ＣＰＵ）４３０、データを送信するための送信機ユニット（Ｔｘ）４４０および出口ポート４５０（または出力ポート４５０）、およびデータを格納するためのメモリ４６０を含む。映像符号化デバイス４００はまた、光信号または電気信号の出力または入力のために、入力ポート４１０、受信機ユニット４２０、送信機ユニット４４０、および出力ポート４５０に結合された光－電気（ＯＥ）コンポーネントおよび電気－光（ＥＯ）コンポーネントを備えてもよい。

【0156】

プロセッサ４３０は、ハードウェアおよびソフトウェアにより実装される。プロセッサ４３０は、１つまたは複数のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、ＦＰＧＡ、ＡＳＩＣ、ＤＳＰとして実装されてもよい。プロセッサ４３０は、入口ポート４１０、受信機ユニット４２０、送信機ユニット４４０、出口ポート４５０、およびメモリ４６０と通信する。プロセッサ４３０は、符号化モジュール４７０を備える。コーディングモジュール４７０は、上述の開示された実施形態を実装する。例えば、符号化モジュール４７０は、様々な符号化操作を実装、処理、準備、または提供する。したがって、符号化モジュール４７０を含むことは、映像符号化デバイス４００の機能に実質的な改善を提供し、映像符号化デバイス４００の異なる状態への変換をもたらす。あるいは、符号化モジュール４７０は、メモリ４６０に格納され、プロセッサ４３０によって実行される命令として実装される。

【0157】

メモリ４６０は、１つまたは複数のディスク、テープドライブ、およびソリッドステートドライブを含むことができ、オーバーフローデータ記憶装置として使用されて、そのようなプログラムが実行のために選択されたときにプログラムを格納し、プログラム実行中に読み取られる命令およびデータを格納することができる。メモリ４６０は、例えば、揮発性および／または不揮発性であってもよく、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、三元コンテンツアドレス可能メモリ（ＴＣＡＭ）、および／またはスタティックランダムアクセスメモリ（ＳＲＡＭ）であってもよい。

【0158】

図５は、例示的な実施形態に従って、図１Ａからのソースデバイス１２および宛先デバイス１４のいずれかまたは両方として使用され得る装置５００の簡略的なブロック図である。

【0159】

装置５００内のプロセッサ５０２は、中央処理装置とすることができる。あるいは、プロセッサ５０２は、現在存在する、または今後開発される、情報を操作または処理することができる任意の他のタイプのデバイス、または複数のデバイスとすることができる。開示された実装形態は、図示のように単一のプロセッサ、例えばプロセッサ５０２で実施することができるが、速度および効率における利点は、２つ以上のプロセッサを使用して達成することができる。

【0160】

実装形態では、装置５００内のメモリ５０４は、読み出し専用メモリ（ＲＯＭ）デバイスまたはランダムアクセスメモリ（ＲＡＭ）デバイスとすることができる。任意の他の適切なタイプの記憶装置をメモリ５０４として使用することができる。メモリ５０４は、バス５１２を使用してプロセッサ５０２によってアクセスされるコードおよびデータ５０６を含むことができる。メモリ５０４は、オペレーティングシステム５０８およびアプリケーションプログラム５１０をさらに含むことができ、アプリケーションプログラム５１０は、プロセッサ５０２が本明細書に記載の方法を実行することを可能にする少なくとも１つのプログラムを含む。例えば、アプリケーションプログラム５１０は、アプリケーション１からＮを含むことができ、アプリケーション１からＮは、本明細書で説明される方法を実行する映像符号化アプリケーションをさらに含む。

【0161】

装置５００はまた、ディスプレイ５１８などの１つまたは複数の出力デバイスを含むことができる。ディスプレイ５１８は、一例では、ディスプレイと、タッチ入力を感知するように動作可能なタッチセンサ式要素とを組み合わせたタッチ感知式ディスプレイであってもよい。ディスプレイ５１８は、バス５１２を介してプロセッサ５０２に結合することができる。

【0162】

ここでは単一のバスとして示されているが、装置５００のバス５１２は複数のバスから構成することができる。さらに、二次記憶機構５１４は、装置５００の他の構成要素に直接結合することができ、またはネットワークを介してアクセスすることができ、メモリカードなどの単一の統合ユニットまたは複数のメモリカードなどの複数のユニットを備えることができる。したがって、装置５００は、多種多様な構成で実装することができる。

【0163】

アフィン動き補償予測
ＩＴＵ－Ｔ Ｈ．２６５（ＨＥＶＣ）では、動き補償予測（ＭＣＰ）には並進動きモデルのみが適用される。しかしながら、現実世界では、ズームイン／アウト、回転、遠近法の動き、および他の不規則な動きなど、多くの種類の動きがある。ＶＴＭ６では、ブロックベースのアフィン変換動き補償予測が適用される。図６に示すように、ブロックのアフィン動き場では、２つの制御点（４パラメータ）または３つの制御点の動きベクトル（ＣＰＭＶ）（６パラメータ）の動きの情報によって記述される。

【0164】

サンプル位置（ｘ，ｙ）における動きベクトルの計算のための一般式は以下の通りである。

【数10】

（１－１）

【0165】

４パラメータのアフィン動きモデルの場合、サンプル位置（ｘ，ｙ）における動きベクトルは、以下のように導出される。

【数11】

（１－２）

【0166】

６パラメータアフィン動きモデルの場合、サンプル位置（ｘ，ｙ）における動きベクトルは、以下のように導出される。

【数12】

（１－３）
（ｍｖ_０ｘ，ｍｖ_０ｙ）は、左上コーナーの制御点の動きベクトルであり、（ｍｖ_１ｘ，ｍｖ_１ｙ）は、右上コーナーの制御点の動きベクトルであり、（ｍｖ_２ｘ，ｍｖ_２ｙ）は、左下コーナーの制御点の動きベクトルであり、Ｗはブロックの幅であり、Ｈはブロックの高さである。

【0167】

６パラメータのアフィン動きモデルを用いる場合について、

【数13】

（１－４）

【数14】

（１－５）

【数15】

（１－６）

【数16】

（１－７）

【0168】

４パラメータのアフィン動きモデルを用いる場合について

【数17】

（１－８）

【数18】

（１－９）
ｄＶｅｒＸ＝－ｄＨｏｒＹ，（１－１０）
ｄＶｅｒＹ＝－ｄＨｏｒＸ．（１－１１）

【0169】

並進動きインター予測に関しては、２つのアフィン動きインター予測モード、すなわちアフィンマージモードおよびアフィンＡＭＶＰモードもある。

【0170】

ブロックベースのアフィン変換予測
動き補償予測を単純化するために、ブロックベースのアフィン変換予測が適用される。各８×８の輝度副次的ブロックの動きベクトルを導出するために、図７に示すように、各副次的ブロックの中心サンプルの動きベクトルが上記の式に従って計算され、１／１６の部分的な精度に丸められる。次に、導出された動きベクトルを用いて各副次的ブロックの予測を生成するために、動き補償補間フィルタが適用される。クロマ成分の副次的ブロックサイズは４×４に設定される。

【0171】

拡張バイリニア補間フィルタ
拡張バイリニア補間フィルタ（ＥＩＦ）を使用したフィルタリングは、予測ブロックおよび副次的ブロックベースで使用することができる。フィルタリング手順は、輝度信号およびクロマ信号について同じである。フィルタリング手順は、以下のステップを含む。
Ｅ１．式（１－１）に従ってＣＰＭＶから画素ベースの動きベクトル場を導出する、
Ｅ２．部分的なオフセットのバイリニア補間を使用して、導出された動きベクトルに基づいて補間サンプルを取得する、
Ｅ３．８の正規化係数で固定－３タップのハイパスフィルタ［－１，１０，－１］を使用して水平フィルタリング、次いで垂直フィルタリングを実行する。

【0172】

最初の２つのステップであるＥ１およびＥ２は、（Ｗ＋２）×（Ｈ＋２）領域に対して実行され、ＷおよびＨは、対応する予測ブロックの幅および高さである。第３のステップＥ３の３タップフィルタを適用するために、各境界から１つの画素のマージンが追加される。元のアフィンブロックおよびＥＩＦの中間ステップで使用される対応する（Ｗ＋２）×（Ｈ＋２）ブロックを図８に示す。

【0173】

メモリ帯域幅計算
メモリ帯域幅は、参照ブロック対現在のブロック領域の比として計算される。例えば、Ｔタップの補間フィルタを使用する８×８の双予測ブロックの場合、参照領域値はＳｒが２（８＋Ｔ－１）（８＋Ｔ－１）に等しく、ブロック領域Ｓｂは８＊８に等しい。したがって、メモリ帯域幅は

【数19】

である。ＩＴＵ－Ｔ Ｈ．２６５、ＶＶＣおよびＥＶＣで使用される８タップ離散コサイン変換補間フィルタ、ＤＣＴＩＦの場合、メモリ帯域幅は

【数20】

である。

【0174】

（ＥＶＣで使用される）最小副次的ブロックサイズ８×８の副次的ブロックアフィン動き補償予測は、ＩＴＵ－Ｔ Ｈ．２６５と比較してメモリ帯域幅を増加させない。なぜなら、８×８の双予測ブロックは、メモリ帯域幅の計算に関してＩＴＵ－Ｔ Ｈ．２６５にとって最悪のケースを表すからである。いくつかのアフィン動きモデルパラメータについてアフィンブロックのメモリ帯域幅の動きの補償のためにＥＩＦを使用する場合、ＩＴＵ－Ｔ Ｈ．２６５の最悪の場合より大きくなり得る。本開示の実施形態は、ＥＩＦのメモリ帯域幅がＩＴＵ－Ｔ Ｈ．２６５（８×８双予測ブロック）のメモリ帯域幅の計算の最悪の場合よりも大きくないことを保証する動きモデル制約を提供する。さらに、任意の望ましいメモリ帯域幅の最悪の場合のアフィン動きモデル制約を得ることができる。

【0175】

実施形態１
使用ＥＩＦの場合のアフィンブロックのためのメモリアクセス消費量計算
サイズＷｘＨのアフィンブロックの動き補償にＥＩＦが用いられる場合、メモリアクセス消費量計算のために以下のステップが行われる。

【0176】

１．アフィンブロックの各コーナーサンプルの位置を導出する。
２．ＥＩＦのステップ３で使用されるブロックの各コーナーサンプルの位置を導出する（ＥＩＦ中間ブロックとして示す）。
３．ＥＩＦ中間ブロックの各コーナーサンプルの動きベクトルを導出する。
Ｅ４．参照ピクチャ内の変換されたブロックの位置を導出する。
Ｅ５．変換されたブロックのバウンディングボックスサイズを導出する。
Ｅ６．変換されたブロックのサイズおよびフィルタの長さに基づいてメモリアクセス消費量を得る（ＥＩＦはバイリニア補間を使用するので、フィルタの長さは２に等しい）。

【0177】

これらのステップの実施の詳細を以下に説明する。

【0178】

ステップ１．アフィンブロックの各コーナーサンプルの位置を導出する
アフィンブロックの左上のサンプルの座標として（ｘ０，ｙ０）と表すものとする。次いで、アフィンブロックの位置は、そのコーナーサンプルの座標（左上、右上、左下、右下）によって記述することができる。

【数21】

（２－１）

【0179】

ステップ２．ＥＩＦ中間ブロックの各コーナーサンプルの位置を導出する
ＥＩＦのステップＥ２におけるバイリニア補間は、サイズ（Ｗ＋２）×（Ｈ＋２）のブロックに対して実行される（各境界から１つの画素のマージンが追加される）。このブロックは、（Ｗ＋２）×（Ｈ＋２）ブロックと呼ばれることもある。この（Ｗ＋２）×（Ｈ＋２）ブロックを中間ＥＩＦブロックと表記する。中間ＥＩＦブロックコーナーサンプル（左上、右上、左下、右下）の座標は、以下のようになる。

【数22】

（２－２）

【0180】

アフィンブロックおよび中間ＥＩＦブロックのコーナーの座標を図８に示す。

【0181】

ステップ３．ＥＩＦ中間ブロックの各コーナーサンプルの動きベクトルを導出する
動きベクトルは、式（１－１）に従って導出される。いくつかの例では、１つのＣＴＵサイズのマージンを有する現在のピクチャの外側のサンプルが使用されないことを保証するために、動きベクトルクリッピングを使用することができる。

【数23】

（２－３）

【0182】

ステップ４．参照ピクチャ内の変換されたブロックの位置を導出する
それぞれベクトルＶｉの水平部分をＶ_ｉｘ、垂直部分をＶ_ｉｙとする。

【0183】

参照ピクチャ内の変換されたブロックの位置は、そのコーナーサンプル（左上、右上、左下、右下）の座標によって記述することができる。

【数24】

（２－４）

【0184】

ステップ５．変換されたブロックのバウンディングボックスサイズを導出する
参照ピクチャ内の変換されたブロックのバウンディングボックスのサイズは、以下の式によって計算することができ、ｍａｘ関数は引数の最大値を返し、ｍｉｎ関数は引数の最小値を返す。

【数25】

【0185】

参照ピクチャ内の変換されたブロックの位置および対応するバウンディングボックスを図９に示す。

【0186】

一例では、式（２－５）の後に、Ｗ'＝Ｃｅｉｌ（Ｗ'）、Ｈ'＝Ｃｅｉｌ（Ｈ'）が実行される。

【0187】

別の例では、式（２－５）の後に、Ｗ'＝Ｆｌｏｏｒ（Ｗ'）、Ｈ'＝Ｆｌｏｏｒ（Ｈ'）が実行される。

【0188】

ステップ６．メモリアクセス消費量を得る
１つの参照ピクチャ内のアフィンブロックのメモリアクセス消費量は、変換されたブロックのバウンディングボックスサイズ、変換されたブロック、およびアフィン動きブロックＴ'のＭＣ補間フィルタの長さ、例えば、２，４，６，８...．：によって決定することができる。
Ｍｅｍ＝（Ｗ'＋Ｔ'－１）＊（Ｈ'＋Ｔ'－１）（２－６）
ＥＩＦの場合、バイリニア補間が使用され、したがって、フィルタの長さは２であり、メモリアクセス消費量は以下に等しくなる。
Ｍｅｍ＝（Ｗ'＋１）＊（Ｈ'＋１）（２－７）

【0189】

ＥＩＦのアフィン動きモデル制限
目標とする最悪の場合のメモリ帯域幅を

【数26】

と表し、ＷおよびＨはそれぞれ現在のブロック幅および高さであり、Ｓ_ＷＣは目標の場合のメモリ帯域幅に従って現在のブロックの最大許容メモリアクセス消費量である。ＥＩＦメモリ帯域幅が目標とするケースメモリ帯域幅より大きくないことを保証するために、アフィンブロックのメモリアクセス消費量は、以下の条件、すなわち、

【数27】

または
（Ｗ'＋１）＊（Ｈ'＋１）≦Ｔ＊Ｗ＊Ｈ（２－８）
または
（Ｗ'＋１）＊（Ｈ'＋１）≦Ｓ_ＷＣとして制約されるはずである。

【0190】

値Ｔは、エンコーダおよびデコーダの両方で事前定義することができ、または、例えば、シーケンスレベル、ピクチャレベル、スライスレベルパラメータセットなど、コーデックビデオシーケンスのパラメータセットで指定することができる。

【0191】

一例では、サンプルあたりの最大許容メモリアクセス消費量が４×４ブロックのメモリアクセス消費量として定められる場合、次いでＴは以下のように導出することができ、Ｔ'は補間フィルタの長さである。

【数28】

（２－９）
Ｔ'が６に等しい場合、制限は以下の通りである。
（Ｗ'＋１）＊（Ｈ'＋１）≦（４＋６－１）＊（４＋６－１）（２－１０）

【0192】

別の例では、サンプルあたりの最大許容メモリアクセス消費量が８×８ブロックのメモリアクセス消費量として定められる場合、Ｔは以下のように導出することができ、Ｔ'は補間フィルタの長さである。

【数29】

（２－１１）

【0193】

別の例では、サンプルあたりの最大許容メモリアクセス消費量は、現在のブロックの予測方向に応じて異なり得る、すなわち、現在のブロックが単予測である場合、閾値Ｔ_ＵＮＩを使用し、現在のブロックが双予測である場合、閾値Ｔ_ＢＩを使用する。

【0194】

例えば、Ｔ_ＵＮＩは４×４ブロックのメモリアクセス消費量として定められ、Ｔ_ＢＩは８×４ブロックのメモリアクセス消費量として定められ、次いで、

【数30】

（２－１２）

【数31】

（２－１３）

【0195】

別の例では、Ｔ_ＵＮＩは４×４ブロックのメモリアクセス消費量として定められ、Ｔ_ＢＩは８×８ブロックのメモリアクセス消費量として定められ、次いで、

【数32】

（２－１４）

【数33】

（２－１５）

【0196】

上記の例のＴ'は、並進動きブロックの動き補償（ＭＣ）補間フィルタの長さであり、例えば、２、４、６、８...．である。

【0197】

Ｔ、Ｔ_ＵＮＩおよびＴ_ＢＩの値は、現在のブロックの幅および高さに依存し得る。

【0198】

双予測アフィンブロックの場合、上記の制約は、リスト０とリスト１の両方に個別に適用される。

【0199】

別の例では、メモリアクセス消費量は、リスト０およびリスト１についてＭｅｍ_０およびＭｅｍ_１として計算され、これらの要素の合計が制限される。例えば、Ｔ_ＢＩが８×８ブロックのメモリアクセス消費量として定められる場合、以下の制限が使用される。
Ｍｅｍ_０＋Ｍｅｍ_１≦２＊（８＋Ｔ'－１）＊（８＋Ｔ'－１）（２－１６）

【0200】

アフィンブロックの動きベクトルが制約条件（２－８）に従うことができない場合、ブロックはＥＩＦ動き補償を使用することができない。

【0201】

一例では、アフィンブロックがＥＩＦ動き補償を使用できない場合、ＥＩＦの代わりに最小の副次的ブロックサイズ８ｘ８の副次的ブロック動き補償が使用される。

【0202】

別の例では、アフィンブロックがＥＩＦ動き補償を使用できない場合、アフィンブロックの中心に対して計算された動きベクトルの並進動き補償が、ＥＩＦの代わりに使用される。

【0203】

別の例では、アフィンブロックがＥＩＦ動き補償を使用できない場合、バウンディングボックスは、それらの不等式（２－８）に対するＷ'およびＨ'に基づいて導出され、満たされる。例えば、Ｗ'およびＨ'は、以下のように計算することができる。

【数34】

【0204】

その後、式（１－１）のＥＩＦによるＭＶ計算時に、動きベクトルの水平部分は範囲［ｍｖ_０ｘ，ｍｖ_０ｘ＋Ｗ'－１］にクリップされ、動きベクトルの垂直部分は範囲［ｍｖ_０ｙ，ｍｖ_０ｙ＋Ｈ'－１］にクリップされる。一例では、ブロックアスペクト比がｋ（Ｗ＝ｋＨ）である場合、Ｈ'は式
ｋ（Ｈ'）^２＋（ｋ＋１）Ｈ'＋１－ＴＷＨ＝０
を解き、Ｈ'＝Ｆｌｏｏｒ（Ｈ'），Ｗ'＝ｋＨ'のステップを実行することにより計算される。

【0205】

実施形態２
使用ＥＩＦの場合のアフィンブロックのためのメモリアクセス消費量計算
実施形態１と実施形態２との違いは、実施形態２の文脈において、ＥＩＦ動き補償が副次的ブロックサイズＷｘＨを有する副次的ブロックによって副次的ブロック毎に実行されると仮定されることである。一例では、ＷはＨに等しい。一例では、
Ｗ＝４、ｈ＝４。一例では、Ｗ＝８、Ｈ＝８である。

【0206】

以下のステップは、メモリアクセス消費量計算のために実行される。

【0207】

１．ＷｘＨ副次的ブロックの各コーナーサンプルの位置を導出する。
２．ＥＩＦのステップＥ３で使用される副次的ブロックの各コーナーサンプルの位置を導出する（ＥＩＦ中間副次的ブロックとして示す）。
３．ＥＩＦ中間副次的ブロックの各コーナーサンプルの動きベクトルを導出する
４．参照ピクチャ内の変換された副次的ブロックの位置を導出する
５．変換された副次的ブロックのバウンディングボックスサイズを導出する。
６．変換された副次的ブロックサイズおよびフィルタの長さのバウンディングボックスサイズに基づいてメモリアクセス消費量を得る（ＥＩＦはバイリニア補間を使用するので、フィルタの長さは２に等しい）。

【0208】

これらのステップの実施の詳細を以下に説明する。

【0209】

ステップ１．アフィン副次的ブロックの各コーナーサンプルの位置を導出する
アフィンブロックの左上のサンプルの座標として（ｘ０，ｙ０）と表すものとする。メモリアクセス消費量計算のための本実施形態では、アフィン副次的ブロックの左上サンプルの座標は（１，１）に等しいと仮定する。位置（ｘ_０，ｙ_０）はメモリアクセス消費量の計算には意味をなさず、（ｘ_０，ｙ_０）＝（１，１）の場合、式はより単純になる。

【0210】

次いで、アフィン副次的ブロックの位置は、そのコーナーサンプルの座標（左上、右上、左下、右下）によって記述することができる。

【数35】

（３－１）

【0211】

ステップ２．ＥＩＦ中間副次的ブロックの各コーナーサンプルの位置を導出する
ＥＩＦはステップＥ３で３タップフィルタを使用するので、ＥＩＦのステップ２のバイリニア補間は、サイズ（Ｗ＋２）×（Ｈ＋２）の副次的ブロックに対して実行される（各境界から１つの画素のマージンが追加される）。このような副次的ブロックは、（Ｗ＋２）×（Ｈ＋２）副次的ブロックと呼ばれることもある。ここで、ＷｘＨはアフィンブロック（アフィン副次的ブロック）のサイズである。この（Ｗ＋２）×（Ｈ＋２）副次的ブロックを中間ＥＩＦ副次的ブロックと表記する。中間ＥＩＦブロックコーナーサンプル（左上、右上、左下、右下）の座標は、以下のようになる。

【数36】

（３－２）

【0212】

アフィン副次的ブロックおよび中間ＥＩＦ副次的ブロックのコーナーの座標を図８に示す。ＥＩＦ中間ブロックの各ラインの長さは（Ｗ＋２）である。

【0213】

ステップ３．ＥＩＦ中間副次的ブロックの各コーナーサンプルの動きベクトルを導出する
初期の動きベクトル（ｍｖ_０ｘ，ｍｖ_０ｙ）はメモリアクセス消費量の計算には意味をなさず、（ｍｖ_０ｘ，ｍｖ_０ｙ）＝（ｄＨｏｒＸ＋ｄＶｅｒＸ，ｄＨｏｒＹ＋ｄＶｅｒＹ）の場合、式はより単純になる。

【0214】

動きベクトルは、式（１－１）に従って導出される。

【数37】

（３－３）

【0215】

ステップ４．参照ピクチャ内の変換されたブロックの位置を導出する
参照ピクチャ内の変換されたブロックの位置は、そのコーナーサンプル（左上、右上、左下、右下）の座標によって記述することができる。

【数38】

（３－４）

【0216】

ステップ５．変換された副次的ブロックのバウンディングボックスサイズを導出する。
参照ピクチャ内の変換された副次的ブロックのバウンディングボックスのサイズは、以下の式によって計算することができ、ｍａｘ関数は引数の最大値を返し、ｍｉｎ関数は引数の最小値を返す。

【数39】

（３－５）

【0217】

参照ピクチャ内の変換された副次的ブロックの位置および対応するバウンディングボックスを図９に示す。

【0218】

一例では、Ｗ'＝Ｃｅｉｌ（Ｗ'）、Ｈ'＝Ｃｅｉｌ（Ｈ'）が式（３－５）の後に実行される。

【0219】

別の例では、式（３－５）の後に、Ｗ'＝Ｆｌｏｏｒ（Ｗ'）、Ｈ'＝Ｆｌｏｏｒ（Ｈ'）が実行される。

【0220】

ステップ６．メモリアクセス消費量を得る
１つの参照ピクチャ内のアフィン副次的ブロックのメモリアクセス消費量は、変換された副次的ブロックサイズ、およびアフィン動きブロックＴ'のＭＣ補間フィルタの長さに対するバウンディングボックスサイズによって決定することができ、例えば、２、４、６、８...．
Ｍｅｍ＝（Ｗ'＋Ｔ'－１）＊（Ｈ'＋Ｔ'－１）（３－６）
である。
ＥＩＦの場合、バイリニア補間が使用され、したがって、フィルタの長さは２であり、メモリアクセス消費量は以下に等しくなる。
Ｍｅｍ＝（Ｗ'＋１）＊（Ｈ'＋１）（３－７）

【0221】

ＥＩＦのアフィン動きモデル制限
目標とする最悪の場合のメモリ帯域幅を

【数40】

と表し、ＷおよびＨはそれぞれ現在の副次的ブロック幅および高さであり、Ｓ_ＷＣは目標の場合のメモリ帯域幅に従って現在の副次的ブロックの最大許容メモリアクセス消費量である。ＥＩＦメモリ帯域幅が目標とするケースメモリ帯域幅以下であることを保証するために、ＥＩＦ副次的ブロックのメモリアクセス消費量は、以下の条件として制約されるべきである。

【数41】

または
（Ｗ'＋１）＊（Ｈ'＋１）≦Ｔ＊Ｗ＊Ｈ（３－８）
または
（Ｗ'＋１）＊（Ｈ'＋１）≦Ｓ_ｗｃ

【0222】

値Ｔは、エンコーダおよびデコーダの両方で事前定義することができ、または、例えば、シーケンスレベル、ピクチャレベル、スライスレベルパラメータセットなど、コーデックビデオシーケンスのパラメータセットで指定することができる。

【0223】

一例では、サンプルあたりの最大許容メモリアクセス消費量が４×４ブロックのメモリアクセス消費量として定められる場合、Ｔは以下のように導出することができ、Ｔ'は補間フィルタの長さである。

【数42】

（３－９）
Ｔ'が６に等しい場合、制限は以下の通りである。
（Ｗ'＋１）＊（Ｈ'＋１）≦（４＋６－１）＊（４＋６－１）（３－１０）

【0224】

別の例では、サンプルあたりの最大許容メモリアクセス消費量が８×８ブロックのメモリアクセス消費量として定められる場合、Ｔは以下のように導出することができ、Ｔ'は補間フィルタの長さである。

【数43】

（３－１１）

【0225】

別の例で、サンプルあたりの最大許容メモリアクセス消費量は、現在のブロックの予測方向に応じて異なり得る、すなわち、現在のブロックが単予測である場合、閾値Ｔ_ＵＮＩを使用し、現在のブロックが双予測である場合、閾値Ｔ_ＢＩを使用する。

【0226】

例えば、Ｔ_ＵＮＩは４×４ブロックのメモリアクセス消費量として定められ、Ｔ_ＢＩは８×４ブロックのメモリアクセス消費量として定められ、次いで、

【数44】

（３－１２）

【数45】

（３－１３）

【0227】

別の例では、Ｔ_ＵＮＩは４×４ブロックのメモリアクセス消費量として定められ、Ｔ_ＢＩは８×８ブロックのメモリアクセス消費量として定められ、次いで、

【数46】

（３－１４）

【数47】

（３－１５）

【0228】

上記の例のＴ'は、並進動きブロックの動き補償（ＭＣ）補間フィルタの長さであり、例えば、２、４、６、８...．である。

【0229】

Ｔ、Ｔ_ＵＮＩおよびＴ_ＢＩの値は、現在のブロックの幅および高さに依存し得る。

【0230】

双予測アフィンブロックの場合、上記の制約はリスト０とリスト１の両方に個別に適用される。

【0231】

別の例で、メモリアクセス消費量は、リスト０およびリスト１についてＭｅｍ_０およびＭｅｍ_１として計算され、これらの要素の合計が制限される。例えば、Ｔ_ＢＩが８×８ブロックのメモリアクセス消費量として定められる場合、以下の制限が使用される。
Ｍｅｍ_０＋Ｍｅｍ_１≦２＊（８＋Ｔ'－１）＊（８＋Ｔ'－１）（３－１６）

【0232】

この例では、アフィンブロックの動きベクトルが制約条件（３－８）に従うことができない場合、ブロックはＥＩＦ動き補償を使用することができない。

【0233】

一例で、アフィンブロックがＥＩＦ動き補償を使用できない場合、ＥＩＦの代わりに最小の副次的ブロックサイズ８ｘ８の副次的ブロック動き補償が使用される。

【0234】

別の例で、アフィンブロックがＥＩＦ動き補償を使用できない場合、アフィンブロックの中心に対して計算された動きベクトルの並進動き補償が、ＥＩＦの代わりに使用される。

【0235】

別の例では、アフィンブロックがＥＩＦ動き補償を使用できない場合、バウンディングボックスは、それらの不等式（３－８）に対するＷ'およびＨ'に基づいて導出され、満たされる。例えば、Ｗ'およびＨ'は、以下のように計算することができる。

【数48】

【0236】

その後、式（１－１）のＥＩＦによるＭＶ計算時に、動きベクトルの水平部分は、範囲［ｍｖ_０ｘ，ｍｖ_０ｘ＋Ｗ'－１］にクリップされ、動きベクトルの垂直部分は範囲［ｍｖ_０ｙ，ｍｖ_０ｙ＋Ｈ'－１］にクリップされる。一例では、ブロックアスペクト比がｋ（Ｗ＝ｋＨ）である場合、Ｈ'は式
ｋ（Ｈ'）^２＋（ｋ＋１）Ｈ'＋１－ＴＷＨ＝０
を解き、Ｈ'＝Ｆｌｏｏｒ（Ｈ'），Ｗ'＝ｋＨ'のステップを実行することにより計算される。

【0237】

ＭＰＥＧ－５／ＥＶＣにおける実施形態２の使用例
この例では、ＥＩＦ副次的ブロックサイズは４ｘ４に等しい。ｄＸ［０］はｄＨｏｒＸに対応し、ｄＸ［１］はｄＨｏｒＹに対応し、ｄＹ［０］はｄＶｅｒＸに対応し、ｄＹ［１］はｄＶｅｒＹに対応する。

【0238】

変数ｄＸ［０］、ｄＸ［１］、ｄＹ［０］、ｄＹ［１］は、１／５１２の精度である。
...
変数ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅは、４に等しく設定される。

【0239】

変数ｅｉｆＣａｎＢｅＡｐｐｌｉｅｄは、以下のように導出される。
－ｅｉｆＣａｎＢｅＡｐｐｌｉｅｄがＴＲＵＥに設定される
－アレイＸ［ｉ］、Ｙ［ｉ］は、以下のように導出される。
－Ｘ［０］＝０
－Ｘ［１］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊（ｄＸ［０］＋（１＜＜９））、
－Ｘ［２］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊ｄＹ［０］
－Ｘ［３］＝Ｘ［１］＋Ｘ［２］
－Ｙ［０］＝０
－Ｙ［１］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊ｄＸ［１］
－Ｙ［２］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊（ｄＹ［１］＋（１＜＜９））
－Ｙ［３］＝Ｙ［１］＋Ｙ［２］
－変数Ｘｍａｘは、ｉが０．．３に等しい場合のＸ［ｉ］の最大値に等しく設定される。
－変数Ｘｍｉｎは、ｉが０．．３に等しい場合のＸ［ｉ］の最小値に等しく設定される。
－変数Ｙｍａｘは、ｉが０．．３に等しい場合のＹ［ｉ］の最大値に等しく設定される。
－変数Ｙｍｉｎは、ｉが０．．３に等しい場合のＹ［ｉ］の最小値に等しく設定される。
－変数Ｗは、（Ｘｍａｘ－Ｘｍｉｎ＋（１＜＜９－１）＞＞９に等しく設定される。
－変数Ｈは、（Ｙｍａｘ－Ｙｍｉｎ＋（１＜＜９）－１）＞＞９に等しく設定される。
－（Ｗ＋２）＊（Ｈ＋２）が８１より大きい場合、変数ｅｉｆＣａｎＢｅＡｐｐｌｉｅｄはＦＡＬＳＥに等しくなる
...
－ｅｉｆＣａｎＢｅＡｐｐｌｉｅｄが変数ｓｉｚｅＳｂＸよりもＦＡＬＳＥに等しい場合、ｓｉｚｅＳｂＹは以下のように修正される。
－ｓｉｚｅＳｂＸ＝ｍａｘ（８，ｓｉｚｅＳｂＸ）
－ｓｉｚｅＳｂＹ＝ｍａｘ（８，ｓｉｚｅＳｂＹ）

【0240】

図１２は、本開示による、符号化デバイス、すなわちエンコーダまたはデコーダによって実装されるビデオを符号化するための方法を示す。図１２に示す方法は、動き補償のために拡張補間フィルタＥＩＦを含むエンコーダまたはデコーダに実装されたビデオを符号化する方法である。図１２に示す方法は、
ｉ）（１６０１）アフィンインター予測に従ってブロックの制御点動きベクトルＣＰＭＶを決定することであって、ブロックはアフィンブロックまたはアフィンブロックの副次的ブロックである、決定することと、
ｉｉ）（１６０３）所定の副次的ブロックサイズに対して、ＣＰＭＶの値に従って所定の副次的ブロックサイズを有する副次的ブロックのための参照領域を決定することと、
ｉｉｉ）（１６０５）決定された参照領域を事前定義された閾値と比較することと、
ｉｖ）（１６０９）動き補償のためにＥＩＦを適用することであって、ブロックの画素ベースの動きベクトル場を導出することを含む、適用することと、を含み、
（１６０７）決定された参照領域が閾値よりも大きい場合、ブロックの画素ベースの動きベクトル場を導出することが、動きベクトルのクリッピングをさらに含み、
動きベクトルクリップ範囲はブロックの動きモデルとブロックのサイズとに基づいて決定する。

【0241】

図１３は、本開示の実施形態によるビデオシーケンスをデコードするためのデコーダ３０を示す。動き補償のための拡張補間フィルタＥＩＦを含むデコーダ。デコーダ３０であって、
アフィンインター予測に従ってブロックの制御点動きベクトルＣＰＭＶを決定するように構成された第１の決定ユニット３００１であって、ブロックはアフィンブロックまたはアフィンブロックの副次的ブロックである、第１の決定ユニット、
所定の副次的ブロックサイズに対して、ＣＰＭＶの値に従って所定の副次的ブロックサイズを有する副次的ブロックのための参照領域を決定するように構成された第２の決定ユニット３００３、
決定された参照領域を事前定義された閾値と比較するように構成された比較ユニット３００５、
動き補償のためにＥＩＦを適用するように構成された動き補償ユニット３００７であって、ブロックの画素ベースの動きベクトル場を導出することを含む、動き補償ユニット、を含み、
決定された参照領域が閾値よりも大きい場合、動き補償ユニット３００７は、ブロックの画素ベースの動きベクトル場を導出するように構成され、動きベクトルのクリッピングをさらに含み、
ブロックの動きモデルとブロックのサイズとに基づいて動きベクトルのクリップ範囲を決定する、デコーダ。

【0242】

図１４は、本開示の実施形態によるビデオシーケンスをエンコードするためのエンコーダ２０を示す。動き補償のための拡張補間フィルタＥＩＦを含むエンコーダ。エンコーダ３０であって、
アフィンインター予測に従ってブロックの制御点動きベクトルＣＰＭＶを決定するように構成された第１の決定ユニット２００１であって、ブロックはアフィンブロックまたはアフィンブロックの副次的ブロックである、第１の決定ユニット、
所定の副次的ブロックサイズに対して、ＣＰＭＶの値に従って所定の副次的ブロックサイズを有する副次的ブロックのための参照領域を決定するように構成された第２の決定ユニット２００３、
決定された参照領域を事前定義された閾値と比較するように構成された比較ユニット２００５、
動き補償のためにＥＩＦを適用するように構成された動き補償ユニット２００７であって、ブロックの画素ベースの動きベクトル場を導出することを含む、動き補償ユニット、を含み、
決定された参照領域が閾値よりも大きい場合、動き補償ユニット２００７は、ブロックの画素ベースの動きベクトル場を導出するように構成され、動きベクトルのクリッピングをさらに含み、
ブロックの動きモデルとブロックのサイズとに基づいて動きベクトルのクリップ範囲を決定する、エンコーダ。

【0243】

以下では、上述の実施形態に示されたようなエンコード方法およびデコード方法の適用、ならびにそれらを使用するシステムについて説明を提供する。

【0244】

図１０は、コンテンツ配信サービスを実現するためのコンテンツ供給システム３１００を示すブロック図である。このコンテンツ供給システム３１００は、キャプチャデバイス３１０２と、端末デバイス３１０６とを含み、任意選択でディスプレイ３１２６を含む。キャプチャデバイス３１０２は、通信リンク３１０４を介して端末デバイス３１０６と通信する。通信リンクは、上述した通信チャネル１３を含んでもよい。通信リンク３１０４は、ＷＩＦＩ、イーサネット（登録商標）、ケーブル、ワイヤレス（３Ｇ／４Ｇ／５Ｇ）、ＵＳＢ、またはそれらの任意の種類の組合せなどを含むが、これらに限定されない。

【0245】

キャプチャデバイス３１０２は、データを生成し、上記の実施形態に示されたようなエンコード方法によってデータをエンコードすることができる。あるいは、キャプチャデバイス３１０２は、ストリーミングサーバ（図示せず）にデータを配信してもよく、サーバは、データをエンコードし、エンコードされたデータを端末デバイス３１０６に送信する。キャプチャデバイス３１０２は、カメラ、スマートフォンもしくはＰａｄ、コンピュータもしくはラップトップ、テレビ会議システム、ＰＤＡ、車載デバイス、またはそれらのいずれかの組合せなどを含むが、これらに限定されない。例えば、キャプチャデバイス３１０２は、上述したようにソースデバイス１２を含むことができる。データがビデオを含む場合、キャプチャデバイス３１０２に含まれるビデオエンコーダ２０は、実際にビデオエンコード処理を行うことができる。データにオーディオ（すなわち、音声）が含まれている場合、実際には、キャプチャデバイス３１０２に含まれるオーディオエンコーダが、オーディオエンコード処理を行ってもよい。いくつかの実際的なシナリオでは、キャプチャデバイス３１０２は、エンコードされたビデオおよびオーディオデータをともに多重化することによって配信する。例えばテレビ会議システムにおける他の実際的なシナリオでは、エンコードされたオーディオデータおよびエンコードされたビデオデータは多重化されない。キャプチャデバイス３１０２は、エンコードされたオーディオデータとエンコードされた映像データを別々に端末デバイス３１０６に配信する。

【0246】

コンテンツ供給システム３１００では、端末デバイス３１０がエンコードデータを受信して再生する。端末デバイス３１０６は、スマートフォンまたはＰａｄ３１０８、コンピュータまたはラップトップ３１１０、ネットワークビデオレコーダ（ＮＶＲ）／デジタルビデオレコーダ（ＤＶＲ）３１１２、ＴＶ３１１４、セットトップボックス（ＳＴＢ）３１１６、テレビ会議システム３１１８、ビデオ監視システム３１２０、携帯情報端末（ＰＤＡ）３１２２、車両搭載デバイス３１２４、またはそれらのいずれかの組合せなど、上述のエンコードデータをデコードすることができるデータ受信および復元機能を有するデバイスとすることができる。例えば、端末デバイス３１０６は、上述したように宛先デバイス１４を含むことができる。エンコードデータに映像が含まれる場合、端末デバイスに含まれるビデオデコーダ３０を優先して映像デコードを行う。エンコードデータがオーディオを含む場合、端末デバイスに含まれるオーディオデコーダを優先して音声デコード処理を行う。

【0247】

そのディスプレイを有する端末デバイス、例えば、スマートフォンまたはＰａｄ３１０８、コンピュータまたはラップトップ３１１０、ネットワークビデオレコーダ（ＮＶＲ）／デジタルビデオレコーダ（ＤＶＲ）３１１２、ＴＶ３１１４、携帯情報端末（ＰＤＡ）３１２２、または車両搭載デバイス３１２４の場合、端末デバイスは、デコードされたデータをそのディスプレイに供給することができる。ディスプレイを装備していない端末デバイス、例えば、ＳＴＢ３１１６、テレビ会議システム３１１８、またはビデオ監視システム３１２０の場合、デコードされたデータを受信して表示するために外部ディスプレイ３１２６がそこに接触される。

【0248】

本システムにおける各デバイスがエンコードやデコードを行う際には、上述した実施形態で示したようなピクチャエンコードデバイスやピクチャデコードデバイスを用いることができる。

【0249】

図１１は、端末デバイス３１０６の例の構成を示す図である。プロトコル進行ユニット３２０２は、端末デバイス３１０６がキャプチャデバイス３１０２からストリームを受信した後、そのストリームの伝送プロトコルを解析する。プロトコルには、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ＨＴＴＰライブストリーミングプロトコル（ＨＬＳ）、ＭＰＥＧ－ＤＡＳＨ、リアルタイムトランスポートプロトコル（ＲＴＰ）、リアルタイムメッセージングプロトコル（ＲＴＭＰ）、またはそれらの任意の種類の組合せなどが含まれるが、これらに限定されない。

【0250】

プロトコル進行ユニット３２０２がストリームを処理した後、ストリームファイルが生成される。ファイルは、多重分離ユニット３２０４に出力される。多重分離ユニット３２０４は、多重化データをエンコードオーディオデータとエンコード映像データとに分離することができる。上述したように、いくつかの実際的なシナリオでは、例えばテレビ会議システムでは、エンコードされたオーディオデータおよびエンコードされた映像データは多重化されない。この状況では、エンコードデータは、多重分離ユニット３２０４を介さずに、ビデオデコーダ３２０６およびオーディオデコーダ３２０８に伝送される。

【0251】

この逆多重化処理により、ビデオのエレメンタリストリーム（ＥＳ）と、オーディオのＥＳと、任意選択でサブタイトルが生成される。ビデオデコーダ３２０６は、上述した実施形態で説明したようなビデオデコーダ３０を含み、上述した実施形態で示したようなデコード方法で映像ＥＳをデコードして映像フレームを生成し、そのデータを同期ユニット３２１２に供給する。オーディオデコーダ３２０８は、オーディオＥＳをデコードしてオーディオフレームを生成し、このデータを同期ユニット３２１２に供給する。あるいは、映像フレームは、同期ユニット３２１２に供給する前にバッファ（図１１には示されていない）に格納されてもよい。同様に、オーディオフレームは、同期ユニット３２１２に供給する前にバッファ（図１１には示されていない）に格納することができる。

【0252】

同期ユニット３２１２は、映像フレームとオーディオフレームを同期させ、映像／オーディオをビデオ／オーディオディスプレイ３２１４に供給する。例えば、同期ユニット３２１２は、映像およびオーディオの情報の提示を同期させる。情報は、符号化されたオーディオおよびビジュアルデータの提示に関するタイムスタンプ、およびデータストリーム自体の配信に関するタイムスタンプを使用して構文で符号化することができる。

【0253】

サブタイトルデコーダ３２１０は、ストリームにサブタイトルが含まれている場合、サブタイトルをデコードして映像フレームおよびオーディオフレームに同期させ、映像／オーディオ／サブタイトルを映像／オーディオ／サブタイトルディスプレイ３２１６に供給する。

【0254】

本発明は、上述したシステムに限定されるものではなく、上述した実施形態におけるピクチャエンコードデバイスおよびピクチャデコードデバイスのいずれかを、他のシステム、例えば、カーシステムに組み込むことも可能である。

【0255】

数学的演算子
本出願で使用される数学的演算子は、Ｃプログラミング言語で使用されるものと同様である。しかしながら、整数の除算および算術シフト演算の結果はより正確に定められ、指数化および実数値の除算などの追加の演算が定められる。数える規則や数え上げる規則は一般に０から始まり、例えば、「第１の」は０番目に相当し、「第２の」は１番目に相当するなどである。

【0256】

算術演算子
以下の算術演算子を以下のように定める。

【表1】

【0257】

論理演算子
以下の論理演算子は以下のように定められる。
ｘ＆＆ｙ ｘおよびｙのブール論理「ａｎｄ」
ｘ｜｜ｙ ｘとｙのブール論理「ｏｒ」
！ ブール論理の「ｎｏｔ」
×？ｙ：ｚ ｘがＴＲＵＥまたは０に等しくない場合、ｙの値に対して評価する。
そうでない場合、ｚの値に対して評価される。

【0258】

関係演算子
以下の関係演算子は以下のように定められる。
＞より大きい
＞＝以上
＜未満
＜＝以下
＝＝等しい
！＝等しくない

【0259】

値「ｎａ」（該当なし）が割り当てられたシンタックス要素または変数に関係演算子が適用される場合、値「ｎａ」は、シンタックス要素または変数の別個の値として扱われる。値「ｎａ」は、他のいずれの値とも等しくないと考えられる。

【0260】

ビットワイズ演算子
以下のビット毎の演算子は以下のように定められる。
＆ビット単位の「ａｎｄ」。整数引数で演算する場合、整数値の２の補数表現で演算する。別の引数より少ないビットを含むバイナリ引数で演算する場合、短い方の引数は、０に等しい上位ビットを追加することによって拡張される。
｜ビット単位の「ｏｒ」。整数引数で演算する場合、整数値の２の補数表現で演算する。別の引数より少ないビットを含むバイナリ引数で演算する場合、短い方の引数は、０に等しい上位ビットを追加することによって拡張される。
＾ビット単位の「排他的論理和」。整数引数で演算する場合、整数値の２の補数表現で演算する。別の引数より少ないビットを含むバイナリ引数で演算する場合、短い方の引数は、０に等しい上位ビットを追加することによって拡張される。
ｘ＞＞ｙ ｘ×ｙの２進数による２つの補数整数表現の算術的右シフト。この関数は、負ではないｙの整数値に対してのみ定められる。右シフトによりＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔｓ）にシフトさせたビットは、シフト演算前のｘのＭＳＢに等しい値となる。
ｘ＜＜ｙ ｘ×ｙの２進数の２つの補数整数表現の算術左シフト。この関数は、負ではないｙの整数値に対してのみ定められる。左シフトの結果として最下位ビットにシフトされたビット（ＬＳＢ）は、０に等しい値を有する。

【0261】

代入演算子
以下の算術演算子を以下のように定める。
＝代入演算子
＋＋インクリメント、すなわち、ｘ＋＋は、ｘ＝ｘ＋１と等価である。
アレイインデックスで使用される場合、インクリメント演算の前に変数の値を評価する。
－－デクリメント、すなわち、ｘ－－は、ｘ＝ｘ－１と等価である。
アレイインデックスで使用される場合、デクリメント演算の前に変数の値を評価する。
＋＝指定された量だけインクリメントする、すなわち、ｘ＋＝３は、ｘ＝ｘ＋３と等しく、ｘ＋＝（－３）は、ｘ＝ｘ＋（－３）と等しい。
－＝指定された量だけデクリメントする、すなわち、ｘ－＝３は、ｘ＝ｘ－３と等しく、ｘ－＝（－３）は、ｘ＝ｘ－（－３）と等しい。

【0262】

範囲の表記法
以下の表記法は、値の範囲を指定するために使用される。
ｘ＝ｙ．．ｚ ｘは、ｙ以上ｚ以下の整数値をとり、ｘ、ｙ、およびｚは整数であり、ｚはｙより大きい。

【0263】

数学関数
以下の数学関数が定められる。

【数49】

Ａｓｉｎ（ｘ）ラジアン単位で、－π÷２以上π÷２以下の範囲の出力値で、－１．０以上１．０以下の範囲の引数ｘに対して機能する、三角関数の逆正弦関数
Ａｔａｎ（ｘ）ラジアン単位で－π÷２以上π÷２以下の範囲の出力値で、引数ｘに対して機能する三角関数の逆正接関数

【数50】

Ｃｅｉｌ（ｘ）ｘ以上の最小の整数
Ｃｌｉｐ１_Ｙ（ｘ）＝Ｃｌｉｐ３（０，（１＜＜ＢｉｔＤｅｐｔｈ_Ｙ）－１，ｘ）
Ｃｌｉｐ１_Ｃ（ｘ）＝Ｃｌｉｐ３（０，（１＜＜ＢｉｔＤｅｐｔｈ_Ｃ）－１，ｘ）

【数51】

Ｃｏｓ（ｘ）ラジアン単位の引数ｘに対して機能する三角余弦関数である。
Ｆｌｏｏｒ（ｘ）ｘ以下の最大の整数である。

【数52】

Ｌｎ（ｘ）ｘの自然対数（底ｅ対数、ｅは自然対数底定数２．７１８ ２８１ ８２８...）である。
Ｌｏｇ２（ｘ）ｘの底２の対数。
Ｌｏｇ１０（ｘ）ｘの底１０の対数。

【数53】

Ｒｏｕｎｄ（ｘ）＝Ｓｉｇｎ（ｘ）＊Ｆｌｏｏｒ（Ａｂｓ（ｘ）＋０．５）

【数54】

Ｓｉｎ（ｘ）ラジアン単位の引数ｘに対して機能する三角正弦関数

【数55】

Ｓｗａｐ（ｘ，ｙ）＝（ｙ，ｘ）
Ｔａｎ（ｘ）ラジアン単位の引数ｘで動作する三角正接関数

【0264】

演算の優先順位
式における優先順位が括弧の使用によって明示的に示されない場合、以下の規則が適用される。
－より優先度の高い演算は、より優先度の低い任意の演算の前に評価される。
－同じ優先度の動作は、左から右に順次評価される。

【0265】

以下の表は、演算の優先順位を最高から最低まで指定する。表でのより高い位置は、より高い優先順位を示す。

【0266】

Ｃプログラミング言語でも使用される演算子の場合、本明細書で使用される優先順位は、Ｃプログラミング言語で使用されるものと同じである。

【0267】

表：最高（表の最上部）から最低（表の最下部）までの操作の優先度

【表2】

【0268】

論理演算のテキスト記述
本文では、論理演算の記述は、以下の形式で数学的に説明される。
ｉｆ（条件０）
記述０
ｅｌｓｅ ｉｆ（条件１）
記述１
...
ｅｌｓｅ／＊残りの条件に関する有益な言及＊／
記述ｎ
は、以下のように記述することができる。
...ａｓ ｆｏｌｌｏｗｓ／...ｔｈｅ ｆｏｌｌｏｗｉｎｇ ａｐｐｌｉｅｓ：
－Ｉｆ条件０，記述０
－Ｏｔｈｅｒｗｉｓｅ，ｉｆ条件１，記述１
－...
－Ｏｔｈｅｒｗｉｓｅ（残りの条件に関するインフォーマティブな言及），記述ｎ

【0269】

各「Ｉｆ...Ｏｔｈｅｒｗｉｓｅ，ｉｆ...Ｏｔｈｅｒｗｉｓｅ，...」という本文での記述で、「...ａｓ ｆｏｌｌｏｗｓ」または「ｔｈｅ ｆｏｌｌｏｗｉｎｇ ａｐｐｌｉｅｓ」は、直後に「Ｉｆ...」が適用される。「Ｉｆ...Ｏｔｈｅｒｗｉｓｅ，ｉｆ...Ｏｔｈｅｒｗｉｓｅ，...」という記述の最後の条件は常に、「Ｏｔｈｅｒｗｉｓｅ，...」である。インタリーブの「Ｉｆ...Ｏｔｈｅｒｗｉｓｅ，ｉｆ...Ｏｔｈｅｒｗｉｓｅ，...」の記述は、「...ａｓ ｆｏｌｌｏｗｓ」または「ｔｈｅ ｆｏｌｌｏｗｉｎｇ ａｐｐｌｉｅｓ」を、最終の「Ｏｔｈｅｒｗｉｓｅ，...」に一致させることによって特定することができる。
本文では、論理演算の記述は、以下の形式で数学的に説明される。
ｉｆ（条件０ａ＆＆条件０ｂ）
記述０
ｅｌｓｅ ｉｆ（条件１ａ｜｜条件１ｂ）
記述１
...
ｅｌｓｅ
記述ｎ
は、以下のように記述することができる。
...ａｓ ｆｏｌｌｏｗｓ ／...ｔｈｅ ｆｏｌｌｏｗｉｎｇ ａｐｐｌｉｅｓ：
－Ｉｆ ａｌｌ ｏｆ ｔｈｅ ｆｏｌｌｏｗｉｎｇ ｃｏｎｄｉｔｉｏｎｓ ａｒｅ ｔｒｕｅ，ｓｔａｔｅｍｅｎｔ ０（以下の条件のすべてが真である場合、記述０）：
－条件０ａ
－条件０ｂ
－Ｏｔｈｅｒｗｉｓｅ，ｉｆ ｏｎｅ ｏｒ ｍｏｒｅ ｏｆ ｔｈｅ ｆｏｌｌｏｗｉｎｇ ｃｏｎｄｉｔｉｏｎｓ ａｒｅ ｔｒｕｅ，ｓｔａｔｅｍｅｎｔ １（そうではなく、以下の条件のうちの１つまたは複数が真である場合、記述１）：
－条件１ａ
－条件１ｂ
－...
－Ｏｔｈｅｒｗｉｓｅ，記述ｎ

【0270】

本文では、論理演算の記述は、以下の形式で数学的に説明される。
ｉｆ（条件０）
記述０
ｉｆ（条件１）
記述１
は、以下のように記述することができる。
Ｗｈｅｎ ｃｏｎｄｉｔｉｏｎ ０，ｓｔａｔｅｍｅｎｔ ０（条件０の場合、記述０）
Ｗｈｅｎ ｃｏｎｄｉｔｉｏｎ １，ｓｔａｔｅｍｅｎｔ １（条件１の場合、記述１）

【0271】

本発明の実施形態は主に映像符号化に基づいて説明されてきたが、符号化システム１０、エンコーダ２０、およびデコーダ３０（およびそれに対応してシステム１０）の実施形態ならびに本明細書に記載の他の実施形態はまた、静止画処理または符号化、すなわち、映像符号化のようにいずれかの先行するまたは連続するピクチャとは無関係の個々のピクチャの処理または符号化のために構成され得ることに留意されたい。一般に、ピクチャ処理符号化が単一のピクチャ１７に限定される場合、インター予測ユニット２４４（エンコーダ）および３４４（デコーダ）のみが利用可能ではない場合がある。ビデオエンコーダ２０およびビデオデコーダ３０の他のすべての機能（ツールまたは技術とも呼ばれる）は、静止画処理、例えば、残差計算２０４／３０４、変換２０６、量子化２０８、逆量子化２１０／３１０、（逆）変換２１２／３１２、区分２６２／３６２、イントラ予測２５４／３５４、および／またはループフィルタリング２２０，３２０、ならびにエントロピー符号化２７０およびエントロピーデコード３０４にも等しく使用され得る。

【0272】

例えばエンコーダ２０およびデコーダ３０、ならびに例えばエンコーダ２０およびデコーダ３０を参照して本明細書で説明される関数の実装形態は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施することができる。ソフトウェアで実装される場合、関数は、コンピュータ可読媒体に格納されるか、または１つまたは複数の命令またはコードとして通信媒体を介して送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または例えば通信プロトコルに従った、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含むことができる。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、または（２）信号もしくは搬送波などの通信媒体に対応することができる。データ記憶媒体は、本開示に記載された技術を実施するための命令、コード、および／またはデータ構造を取り出すために、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。

【0273】

限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置、または他の磁気記憶装置、フラッシュメモリ、または命令もしくはデータ構造の形態で所望のプログラムコードを格納するために使用することができ、コンピュータによってアクセスすることができる任意の他の媒体を含むことができる。さらに、任意の接続は、コンピュータ可読媒体と適切に呼ばれる。例えば、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、あるいは、例えば赤外線、無線およびマイクロ波のような無線技術を用いて、ウェブサイト、サーバ、あるいはその他の遠隔ソースから命令が送信される場合、次いで同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、あるいは、赤外線、無線およびマイクロ波などの無線技術が、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まず、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（ｄｉｓｋ）およびディスク（ｄｉｓｃ）は、コンパクトディスク（ｄｉｓｃ）（ＣＤ）、レーザディスク（ｄｉｓｃ）、光ディスク（ｄｉｓｃ）、デジタル多用途ディスク（ｄｉｓｃ）（ＤＶＤ）、フロッピーディスク（ｄｉｓｋ）、およびブルーレイディスク（ｄｉｓｃ）を含み、ディスク（ｄｉｓｃ）は、通常、データを磁気的に再生し、ディスク（ｄｉｓｃ）は、レーザを用いて光学的にデータを再生する。上記の組合せもまた、コンピュータ可読媒体の範囲内に含まれるべきである。

【0274】

命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の同等の集積または個別論理回路などの１つまたは複数のプロセッサによって実行されてもよい。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造のいずれか、または本明細書に記載の技術の実装に適した任意の他の構造を指すことができる。さらに、いくつかの態様では、本明細書に記載された機能は、エンコードおよびデコードのために構成された専用のハードウェアおよび／またはソフトウェアモジュール内で提供され得るか、または、結合されたコーデックに組み込まれ得る。さらに、これらの技術は、１つまたは複数の回路または論理素子に完全に実装することができる。

【0275】

本開示の技術は、無線ハンドセット、集積回路（ＩＣ）、またはＩＣのセット（例えば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示された技術を実行するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットが記載されているが、必ずしも異なるハードウェアユニットによる実現を必要としない。むしろ、上述したように、様々なユニットは、適切なソフトウェアおよび／またはファームウェアと共に、コーデックハードウェアユニットに組み合わされてもよく、または上述したような１つまたは複数のプロセッサを含む相互作用ハードウェアユニットの集合によって提供されてもよい。
その他の可能な項目
（項目１）
動き補償のために、拡張補間フィルタＥＩＦを含むエンコーダまたはデコーダに実装された映像を符号化するための方法であって、
ｉ）アフィンインター予測に従ってブロックの制御点動きベクトルＣＰＭＶを決定することであって、上記ブロックはアフィンブロックまたは上記アフィンブロックの副次的ブロックである、決定することと、
ｉｉ）所定の副次的ブロックサイズについて、上記ＣＰＭＶの値に従って上記所定の副次的ブロックサイズを有する副次的ブロックのための参照領域を決定することと、
ｉｉｉ）上記決定された参照領域を事前定義された閾値と比較することと、
ｉｖ）動き補償のためにＥＩＦを適用することであって、上記ブロックの上記画素ベースの動きベクトル場を導出することを含む、適用することと、を含み、
上記決定された参照領域が上記事前定義された閾値よりも大きい場合、上記ブロックの上記画素ベースの動きベクトル場を導出することは、動きベクトルのクリッピングをさらに含み、
上記ブロックの動きモデルと上記ブロックのサイズとに基づいて動きベクトルのクリップ範囲を決定する、方法。
（項目２）
動き補償のためにＥＩＦを使用することが、
Ｔタップの補間フィルタを用いて上記導出された動きベクトル場に基づいて参照ピクチャ内の補間サンプルを取得することであって、Ｔは上記フィルタの長さに対応する補間フィルタタップの数であり、Ｔは０より大きい、取得することと、
上記補間サンプルにハイパスフィルタを適用することと、をさらに含む、項目１に記載の方法。
（項目３）
動き補償のためにＥＩＦを使用することは、
上記ブロックのサイズを決定することと、
上記ブロックの上記サイズを上記ブロックの上記サイズの第１の閾値と比較することと、をさらに含み、
上記ブロックの上記サイズが上記ブロックの上記サイズの上記第１の閾値以上である場合、ブロックベースのアフィン変換予測が上記ブロックに対して実行される、項目１または２に記載の方法。
（項目４）
上記ブロックの上記サイズがアフィン動きモデルパラメータに基づいて決定される、項目３に記載の方法。
（項目５）
上記アフィン動きモデルパラメータは、上記ＣＰＭＶの動きベクトルの差、ならびに上記ブロックの幅および高さを含む、項目４に記載の方法。
（項目６）
上記アフィン動きモデルパラメータは、上記ＣＰＭＶの精度をさらに含む、項目４または５に記載の方法。
（項目７）
上記事前定義された閾値は、上記所定の副次的ブロックサイズと、上記副次的ブロックの上記領域に対する上記参照ピクチャ内の上記副次的ブロックに対応する上記参照領域の所定の比とに基づいて計算される、項目１から６のいずれか一項に記載の方法。
（項目８）
上記副次的ブロックの上記領域に対する上記参照ピクチャ内の上記副次的ブロックに対応する上記参照領域の上記所定の比が、上記ＥＩＦのメモリ帯域幅に対応する、項目７に記載の方法。
（項目９）
上記事前定義された閾値は、上記ブロックの上記所定の副次的ブロックサイズに対する最大許容メモリアクセス消費量である、項目７に記載の方法。
（項目１０）
上記ＣＰＭＶの値に従って上記所定の副次的ブロックサイズを有する副次的ブロックの上記参照領域を決定することは、
ハイパスフィルタの長さに基づいて上記副次的ブロックの各境界から画素マージンを加算することによって拡張ブロックを決定することと、
上記ＣＰＭＶに基づいて上記拡張ブロックの各コーナーの動きベクトルを導出することと、
上記導出された動きベクトルに基づいて上記参照ピクチャ内の変換されたブロックを導出することと、
上記変換されたブロックのバウンディングボックスを導出することと、を含み、
上記参照ブロックの上記領域は、上記バウンディングボックスの各境界からの（Ｔ－１）画素により拡張される上記バウンディングボックスに対応する、項目２から９のいずれかに記載の方法。
（項目１１）
上記参照ピクチャ内の上記変換されたブロックの上記バウンディングボックスの上記サイズは、以下の式を使用して導出され、ｍａｘ関数は、上記引数の上記最大値を返し、ｍｉｎ関数は、上記引数の上記最小値を返す、

【数56】

参照ピクチャ内の上記変換されたブロックの上記位置は、上記変換されたブロックの上記コーナーサンプルの座標（左上、右上、左下、右下）によって記述され、

【数57】

ＷおよびＨはそれぞれ上記副次的ブロックの幅および高さであり、ｄＨｏｒＸ、ｄＨｏｒＹ、ｄＶｅｒＸ、ｄＶｅｒＹは上記アフィン動きモデルの水平および垂直勾配パラメータである
項目１０に記載の方法。
（項目１２）
上記バウンディングの上記サイズは、Ｗ'ｘＨ'によって与えられる、または
上記バウンディングボックスの上記サイズは、Ｃｅｉｌ（Ｗ'）ｘＣｅｉｌ（Ｈ'）によって与えられる、または
上記バウンディングボックスの上記サイズは、Ｆｌｏｏｒ（Ｗ'）ｘＦｌｏｏｒ（Ｈ'）によって与えられる、項目１１に記載の方法。
（項目１３）
上記フィルタの長さの上記値は、エンコーダおよびデコーダの両方に対して事前定義されるか、またはコーデックビデオシーケンスのパラメータセットにおいて指定される、項目２から１２のいずれか一項に記載の方法。
（項目１４）
４×４の副次的ブロックの場合、上記事前定義された閾値Ｔは、

【数58】

により与えられ、Ｔ'は、並進動きブロックの動き補償ＭＣ補間フィルタの長さである、項目１３に記載の方法。
（項目１５）
８×８の副次的ブロックの場合、上記事前定義された閾値Ｔは、

【数59】

により与えられ、Ｔ'は、並進動きブロックの動き補償ＭＣ補間フィルタの長さである、項目１４に記載の方法。
（項目１６）
上記ブロックの上記中心の動きベクトルを計算し、並進動き補償を行うことをさらに含む、項目１５に記載の方法。
（項目１７）
上記拡張補間フィルタの上記副次的ブロックの上記所定のサイズは４×４に等しく、ｄＸ［０］はｄＨｏｒＸに対応し、ｄＸ［１］はｄＨｏｒＹに対応し、ｄＹ［０］はｄＶｅｒＸに対応し、ｄＹ［１］はｄＶｅｒＹに対応し、上記ＣＰＭＶの値に従って、所定の副次的ブロックサイズを有する副次的ブロックの参照領域を決定することは、
上記変数ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅの値を４に等しく設定し、
以下のように上記変数ｅｉｆＣａｎＢｅＡｐｐｌｉｅｄを導出し、
ｅｉｆＣａｎＢｅＡｐｐｌｉｅｄの上記値をＴＲＵＥに設定し、
－以下のように上記アレイＸ［ｉ］、Ｙ［ｉ］を導出し、
－Ｘ［０］＝０、
－Ｘ［１］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊（ｄＸ［０］＋（１＜＜９））、
－Ｘ［２］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊ｄＹ［０］、
－Ｘ［３］＝Ｘ［１］＋Ｘ［２］、
－Ｙ［０］＝０、
－Ｙ［１］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊ｄＸ［１］、
－Ｙ［２］＝（ｅｉｆＳｕｂｂｌｏｃｋＳｉｚｅ＋１）＊（ｄＹ［１］＋（１＜＜９））、
－Ｙ［３］＝Ｙ［１］＋Ｙ［２］、
－上記変数Ｘｍａｘの上記値を、ｉが０．．３に等しい場合の最大値Ｘ［ｉ］に等しく設定し、
－上記変数Ｘｍｉｎの上記値を、ｉが０．．３に等しい場合のＸ［ｉ］の最小値に等しく設定し、
－上記変数Ｙｍａｘの上記値を、ｉが０．．３に等しい場合のＹ［ｉ］の最大値に等しく設定し、
－上記変数Ｙｍｉｎの上記値を、ｉが０．．３に等しい場合のＹ［ｉ］の最小値に等しく設定し、
－上記変数Ｗの上記値を、（Ｘｍａｘ－Ｘｍｉｎ＋（１＜＜９）－１）＞＞９の値に等しく設定し、
－上記変数Ｈの上記値を（Ｙｍａｘ－Ｙｍｉｎ＋（１＜＜９）－１）＞＞９の値に等しく設定することを含む、項目１から１６のいずれか一項に記載の方法。
（項目１８）
上記アフィンインター予測が双予測を含む場合、上記制約は両方のリストに対称的に適用される、項目１から１７のいずれか一項に記載の方法。
（項目１９）
Ｔが２に等しい、項目２から１８のいずれか一項に記載の方法。
（項目２０）
上記事前定義された閾値が７２に等しい、項目１から１９のいずれか一項に記載の方法。
（項目２１）
動きモデルがアフィン動きモデルであり、動きベクトルのクリップ範囲が、ＣＰＭＶに基づいて決定された動きモデル手段に基づいて決定される、項目１から２０のいずれか一項に記載の方法。
（項目２２）
上記変換された副次的ブロックの上記バウンディングボックスの上記サイズおよびフィルタの長さに基づいて上記副次的ブロックの上記メモリアクセス消費量を決定することと、
上記副次的ブロックの上記サイズおよび上記フィルタの長さに基づいて上記副次的ブロックの最大許容メモリアクセス消費量を決定することと、
上記決定されたメモリアクセス消費量が上記最大許容メモリアクセス消費量以下であるという制約が満たされた場合に、上記ブロックの動き補償のためのＥＩＦが実行されるべきであると決定することと、をさらに含む、項目１から２１のいずれか一項に記載の方法。
（項目２３）
項目１から２２のいずれか一項に記載の方法を実行するための処理回路を備える、エンコーダ（２０）。
（項目２４）
項目１から２２のいずれか一項に記載の方法を実行するための処理回路を備える、デコーダ（３０）。
（項目２５）
コンピュータまたはプロセッサで実行されると、項目１から２２のいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム製品。
（項目２６）
デコーダ（３０）であって、
１つまたは複数のプロセッサ、および
上記１つまたは複数のプロセッサに結合され、上記１つまたは複数のプロセッサによる実行のための命令を格納する非一時的コンピュータ可読記憶媒体であって、上記命令が、上記１つまたは複数のプロセッサによって実行されると、項目１から２２のいずれか一項に記載の方法を実行するように上記デコーダを構成する、非一時的コンピュータ可読記憶媒体を含む、デコーダ。
（項目２７）
エンコーダ（２０）であって、
１つまたは複数のプロセッサ、および
上記１つまたは複数のプロセッサに結合され、上記１つまたは複数のプロセッサによる実行のための命令を格納する非一時的コンピュータ可読記憶媒体であって、上記命令が、上記１つまたは複数のプロセッサによって実行されるとき項目１から２２のいずれか一項に記載の方法を実行するように上記エンコーダを構成する、非一時的コンピュータ可読記憶媒体を含む、エンコーダ。
（項目２８）
コンピュータデバイスによって実行されると、上記コンピュータデバイスに項目１から２２のいずれか一項に記載の方法を実行させるプログラムコードを保持する、非一時的コンピュータ可読媒体。
（項目２９）
動き補償のための上記拡張補間フィルタＥＩＦを含むビデオシーケンスを符号化するためのデコーダ（３０）またはエンコーダ（２０）であって、上記デコーダ（３０）またはエンコーダ（２０）はそれぞれ、
アフィンインター予測に従ってブロックの制御点動きベクトルＣＰＭＶを決定するように構成された第１の決定ユニット（３００１、２００１）であって、上記ブロックはアフィンブロックまたは上記アフィンブロックの副次的ブロックである、第１の決定ユニット、
所定の副次的ブロックサイズに対して、上記ＣＰＭＶの値に従って上記所定の副次的ブロックサイズを有する副次的ブロックのための参照領域を決定するように構成された第２の決定ユニット（３００３、２００３）、
上記決定された参照領域を事前定義された閾値と比較するように構成された比較ユニット（３００５、２００５）、
動き補償のためにＥＩＦを適用するように構成された動き補償ユニット（３００７、２００７）であって、上記ブロックの上記画素ベースの動きベクトル場を導出することを含む、動き補償ユニット、を含み、
上記決定された参照領域が上記閾値よりも大きい場合、上記動き補償ユニット（３００７、２００７）は、上記ブロックの上記画素ベースの動きベクトル場を導出するように構成され、動きベクトルのクリッピングをさらに含み、
上記ブロックの動きモデルと上記ブロックのサイズとに基づいて動きベクトルのクリップ範囲を決定する、デコーダまたはエンコーダ。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】