特許 7200470 双予測動き補償に対するデコーダ側双予測オプティカルフローベースのピクセル単位補正を用いるデコーダ側の動きベクトルのリファインメントのためのハードウェアおよびソフトウェアフレンドリーシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-26

(45)【発行日】2023-01-10

(54)【発明の名称】双予測動き補償に対するデコーダ側双予測オプティカルフローベースのピクセル単位補正を用いるデコーダ側の動きベクトルのリファインメントのためのハードウェアおよびソフトウェアフレンドリーシステムおよび方法

(51)【国際特許分類】

   H04N 19/577 20140101AFI20221227BHJP

   H04N 19/44 20140101ALI20221227BHJP

   H04N 19/59 20140101ALI20221227BHJP

【ＦＩ】

H04N19/577

H04N19/44

H04N19/59

【請求項の数】 27

(21)【出願番号】P 2021520339

(86)(22)【出願日】2019-12-30

(65)【公表番号】

(43)【公表日】2022-02-21

(86)【国際出願番号】 CN2019129980

(87)【国際公開番号】W WO2020140874

(87)【国際公開日】2020-07-09

【審査請求日】2021-05-18

(31)【優先権主張番号】201931000185

(32)【優先日】2019-01-02

(33)【優先権主張国・地域又は機関】IN

(31)【優先権主張番号】201931001238

(32)【優先日】2019-01-10

(33)【優先権主張国・地域又は機関】IN

(73)【特許権者】

【識別番号】504161984

【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】セツラマン、スリラム

(72)【発明者】

【氏名】エー、ジェーヴァ ラジ

(72)【発明者】

【氏名】コテチャ、サガー

【審査官】鉢呂 健

(56)【参考文献】

【文献】AKULA, Sri Nitchith et al.，Description of SDR, HDR and 360° video coding technology proposal considering mobile application scenario by Samsung, Huawei, GoPro, and HiSilicon，buJoint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10-20 Apr. 2018, [JVET-J0024_v2]，JVET-J0024 (version 4)，ITU-T，2018年04月14日，＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/10_San%20Diego/wg11/JVET-J0024-v4.zip＞: JVET-J0024_v3.docx: pp. 58-63

【文献】SETHURAMAN, Sriram，Non-CE9: Co-existence analysis for DMVR with BDOF，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9-18 Jan. 2019, [JVET-M0223-v1]，JVET-M0223 (version 1)，ITU-T，2019年01月02日，＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/13_Marrakech/wg11/JVET-M0223-v1.zip＞: JVET-M0223-v1.docx: pp. 1-4

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

インター予測方法であって、
現在のピクチャの現在のピクチャブロックの動き情報に基づいて参照サンプルを選択する段階と、
選択された前記参照サンプルに対して双線形補間である第１補間を実行することにより、第１補間サンプルを導出する段階と、
前記第１補間サンプルに基づいて整数距離の動きベクトルのリファインメント（ＭＶＲ）を実行することにより、ターゲットサブ予測ユニット（ＰＵ）の整数距離デルタ動きベクトルを導出する段階であって、前記ターゲットサブＰＵは前記現在のピクチャブロック内にある、導出する段階と、
前記第１補間サンプルおよび前記整数距離デルタ動きベクトルに基づいて、前記ターゲットサブＰＵ内のそれぞれのＭ×Ｍピクセルマトリクスに対して、双予測オプティカルフロー（ＢＰＯＦ）を実行することにより、Ｍ×Ｍピクセルマトリクスフローベクトルを導出する段階であって、Ｍは正の整数であり、前記Ｍ×Ｍピクセルマトリクスのサイズは、前記ターゲットサブＰＵのサイズより小さい、導出する段階と、
前記参照サンプルに対して離散コサイン変換補間である第２補間を実行することにより、第２補間サンプルを導出する段階と、
前記Ｍ×Ｍピクセルマトリクスフローベクトルを使用することで前記第１補間サンプルおよび前記第２補間サンプルに基づく前記ターゲットサブＰＵの内部の位置におけるサンプル勾配を計算し、双予測のために前記ターゲットサブＰＵに対する少なくとも１つの補正パラメータを計算する段階と、
前記第２補間サンプルおよび前記少なくとも１つの補正パラメータに基づいて、双予測を実行する段階と
を備える、方法。

【請求項2】

前記動き情報は、符号化ツリーブロックレベルまたは仮想パイプラインデータユニットレベルにおける動きベクトルを備える、請求項１に記載の方法。

【請求項3】

前記双予測を実行する前記段階は、第１参照ピクチャに基づく前記補正パラメータを使用して第１予測ピクチャを生成する段階と、第２参照ピクチャに基づく前記補正パラメータを使用して第２予測ピクチャを生成する段階とを備える、請求項１または２に記載の方法。

【請求項4】

前記参照サンプルの整数グリッドサンプルは第１メモリに格納され、前記第１補間サンプルは、前記第１メモリとは異なる第２メモリに格納される、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記第２補間は、分離可能な補間フィルタにより実行される、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記ターゲットサブＰＵに対して前記少なくとも１つの補正パラメータを計算する段階の前に、前記方法は、
前記第１補間サンプルに基づいて、前記ターゲットサブＰＵの左右境界サンプル位置における水平境界のサンプル勾配と、前記ターゲットサブＰＵの上下境界サンプル位置における垂直境界のサンプル勾配とを導出する段階を備える、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記水平境界のサンプル勾配と前記垂直境界のサンプル勾配とは、前記ＭＶＲを実行した後に導出される、請求項６に記載の方法。

【請求項8】

前記ターゲットサブＰＵに対する前記少なくとも１つの補正パラメータは、前記水平境界のサンプル勾配および前記垂直境界のサンプル勾配に基づいて計算される、請求項６または７に記載の方法。

【請求項9】

Ｍは４である、請求項１から８のいずれか一項に記載の方法。

【請求項10】

インター予測方法であって、
現在のピクチャの現在のピクチャブロックの動き情報に基づいて参照サンプルを選択する段階と、
選択された前記参照サンプルに対して補間を実行することにより補間サンプルを導出する段階と、
前記補間サンプルに基づいて、整数距離の動きベクトルのリファインメント（ＭＶＲ）コストを算出する段階と、
算出された前記整数距離ＭＶＲコストに基づいて、整数距離デルタ動きベクトルを決定する段階と、
前記補間サンプルおよび前記整数距離デルタ動きベクトルに基づいて、ターゲットサブ予測ユニット（ＰＵ）内のそれぞれのＭ×Ｍピクセルマトリクスに対して、双予測オプティカルフロー（ＢＰＯＦ）を実行することにより、Ｍ×Ｍピクセルマトリクスフローベクトルを導出する段階であって、Ｍは正の整数であり、Ｍ×Ｍは前記ターゲットサブＰＵのサイズより小さく、前記ターゲットサブＰＵは前記現在のピクチャブロック内にある、導出する段階と、
前記Ｍ×Ｍピクセルマトリクスフローベクトルを使用することで前記補間サンプルに基づく前記ターゲットサブＰＵの内部の位置におけるサンプル勾配を計算し、双予測のために前記ターゲットサブＰＵに対する少なくとも１つの補正パラメータを計算する段階と、
前記補間サンプルおよび前記少なくとも１つの補正パラメータに基づいて、双予測を実行する段階と
を備える、方法。

【請求項11】

前記動き情報は、符号化ツリーブロックレベルまたは仮想パイプラインデータユニットレベルにおける動きベクトルを備える、請求項１０に記載の方法。

【請求項12】

前記双予測を実行する前記段階は、第１参照ピクチャに基づく前記補正パラメータを使用して第１予測ピクチャを生成する段階と、第２参照ピクチャに基づく前記補正パラメータを使用して第２予測ピクチャを生成する段階とを備える、請求項１０または１１に記載の方法。

【請求項13】

前記補間は、分離可能な補間フィルタにより実行される、請求項１０から１２のいずれか一項に記載の方法。

【請求項14】

前記ターゲットサブＰＵに対する前記少なくとも１つの補正パラメータを計算する段階の前に、前記方法は、
前記ターゲットサブＰＵに対する前記少なくとも１つの補正パラメータを計算する前に、前記補間サンプルに基づいて前記ターゲットサブＰＵの境界勾配を導出する段階を備える、請求項１０または１３に記載の方法。

【請求項15】

前記ターゲットサブＰＵに対する前記少なくとも１つの補正パラメータは、前記境界勾配に基づいて計算される、請求項１４に記載の方法。

【請求項16】

前記補間は双線形補間または離散コサイン変換補間である、請求項１０から１５のいずれか一項に記載の方法。

【請求項17】

Ｍは４である、請求項１０から１６のいずれか一項に記載の方法。

【請求項18】

前記補間サンプルの最初および最後のＮ行は、同じ第１補間方法を使用して決定され、前記最初および最後のＮ行を除く前記補間サンプルの行は、同じ第２補間方法を使用して決定される、請求項１０から１７のいずれか一項に記載の方法。

【請求項19】

Ｎは３である、請求項１８に記載の方法。

【請求項20】

前記第１補間方法は離散コサイン変換補間または双線形補間であり、前記第２補間方法は離散コサイン変換補間である、請求項１８または１９に記載の方法。

【請求項21】

ビデオピクチャをエンコードする方法であって、
前記ビデオピクチャを受信する段階と、請求項１から２０のいずれか一項に記載のインター予測方法を、前記ビデオピクチャのブロックに適用する段階と、実行された前記双予測に基づいて前記ビデオピクチャをエンコードする段階とを備える、方法。

【請求項22】

エンコードされたビデオピクチャをデコードする方法であって、
エンコードされた前記ビデオピクチャを受信する段階と、請求項１から２０のいずれか一項に記載のインター予測方法を、エンコードされた前記ビデオピクチャのブロックに適用する段階と、実行された前記双予測に基づいて、エンコードされた前記ビデオピクチャをデコードする段階とを備える、方法。

【請求項23】

請求項１から２１のいずれか一項に記載の方法を実行するための処理回路を備える、エンコーダ。

【請求項24】

請求項１から２０または請求項２２のいずれか一項に記載の方法を実行するための処理回路を備える、デコーダ。

【請求項25】

請求項１から２２のいずれか一項に記載の方法を、コンピュータに実行させるためのコンピュータプログラム。

【請求項26】

１または複数のプロセッサと、
前記１または複数のプロセッサに接続され、前記１または複数のプロセッサにより実行されるプログラミングを格納する非一時的コンピュータ可読記憶媒体と
を備えるエンコーダであって、
前記プログラミングは、前記１または複数のプロセッサにより実行される場合、請求項１から２１のいずれか一項に記載の方法を実行するように前記エンコーダを構成する、エンコーダ。

【請求項27】

１または複数のプロセッサと、
前記１または複数のプロセッサに接続され、前記１または複数のプロセッサにより実行されるプログラミングを格納する非一時的コンピュータ可読記憶媒体と
を備えるデコーダであって、
前記プログラミングは、前記１または複数のプロセッサにより実行される場合、請求項１から２０または請求項２２のいずれか一項に記載の方法を実行するように前記デコーダを構成する、デコーダ。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は一般的に、画像処理分野、より具体的には、インター予測技術に関する。

【背景技術】

【0002】

ビデオ圧縮において、インター予測は、現在のブロックと比べた動きベクトルを指定することにより、以前にデコードされた参照ピクチャの再構築されたサンプルを使用する処理である。これらの動きベクトルは、予測残差として、空間的または時間的な動きベクトルの予測因子を使用することにより、符号化され得る。動きベクトルは、サブピクセル精度であり得る。参照フレームにおけるサブピクセル精度のピクセル値を導出するために、現在のブロックに対する予測は、２つの参照ピクチャ領域から２つの動きベクトルを使用して導出された２つの予測ブロックの重み付けされた組み合わせとして導出される。この場合、動きベクトルに加えて、２つの予測ブロックが導出される参照ピクチャに対する参照インデックスも符号化される必要がある。現在のブロックに対する動きベクトルはまた、いずれの動きベクトルの残差も符号化することなく、空間的な隣接の動きベクトルおよび参照インデックスが継承されるマージ処理によって導出され得る。空間的な隣接に加えて、以前に符号化された参照フレームの動きベクトルはまた、現在のブロックに対する参照フレームへの距離と比べた参照フレームへの距離に対処するために、動きベクトルの適切なスケーリングを有する時間的なマージオプションとして格納され、使用される。

【0003】

本発明は、ＶＣＥＧのＱ１６とＭＰＥＧ（ＳＣ２９／ＷＧ１１）との間のジョイントワークであるＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ内のＪｏｉｎｔ Ｅｘｐｌｏｒａｔｏｒｙ Ｍｏｄｅｌ（ＪＥＭ）として以前から追及されていた多用途ビデオ符号化規格に関する。デコーダ側の動きベクトルのリファインメントおよびデコーダ側の動きベクトルの導出に関する文書ＪＶＥＴ－Ｇ１００１および他のホアウェイ社の従来技術は、本発明に関連する寄稿文および特許のリストを取得するために使用され得る。

【0004】

動きベクトルの残差を符号化したビットをさらに削減できるようにデコーダ側の動きベクトルのリファインメントまたは導出を実行するために、いくつかの方法が提案されてきた。

【0005】

テンプレートマッチング（ＴＭ）方法と呼ばれる方法の１つのクラスは、（図１に示されるように）テンプレートと呼ばれる既に再構築された現在のブロックに隣接するＬ字形状の領域を使用し、複数の適切にスケーリングされた空間的且つ時間的な動きベクトル候補を使用して、各参照フレームにおいて最も一致するＬ字形状の領域を（差分絶対値和または平均除去された差分絶対値和などのコスト関数を使用して）識別する。そして、最も一致する候補を中心に、その中心の周りの特定のリファインメント距離内で、さらなるリファインメントが実行される。エンコーダ側では、片予測（すなわち、最も一致する参照を使用する予測）または双予測（すなわち、上位２つの最も一致する参照を平均化することにより導出される予測）を決定するために、レート歪み最適化コストが計算される。

【0006】

バイラテラルマッチング（ＢＭ）方法と呼ばれる方法の別のクラスにおいては、現在の符号化ユニット（ＣＵ）の動き情報は、動きベクトル候補のセットを取得することと、現在のフレームと、双予測に使用される２つの参照ピクチャとの間の時間距離比に基づいて、動きベクトル候補を対称的にミラーリングすること（および動き補償に使用される最も近い動きベクトル精度への丸め処理）により（「ピクチャ」および「フレーム」という用語が本明細書において入れ替え可能に使用されることに留意されたい）、動きベクトル候補を使用する動き補償ブロックと、別の参照から取得される動き補償ブロックとの間の最も近い一致を見つけることとによりデコーダ側において導出される。これは、図２に示されている。連続的な動きの軌跡という仮定のもと、２つの参照ブロックを指す動きベクトルＭＶ０およびＭＶ１は、現在のピクチャと２つの参照ピクチャとの間の時間的距離、すなわち、ＴＤ０およびＴＤ１に比例するものとする。現在のピクチャが時間的に２つの参照ピクチャ間にあり、現在のピクチャから２つの参照ピクチャまでの時間的距離が同じである場合、バイラテラルマッチングは、ミラーベースの双方向動き補償（ＭＣ）となる。

【0007】

標準的な候補のセットのうち最も一致する動きベクトル候補を識別した後、コスト関数評価に使用される対応する検索位置が時間距離比により常に互いに関連するような方式で、第１参照における動きベクトル候補と、第２参照における時間距離比に基づく時間的にスケーリングされた動きベクトル候補との周りのリファインメント範囲内で、局所的リファインメントが実行される。

【0008】

いくつかの実施形態において、動き補償補間の複雑性を低減するために、リファインメントの間に双線形補間が実行され、リファインメントの後に離散コサイン変換ベースの補間フィルタ（ＤＣＴＩＦ）を使用して最終的な厳密なＭＣが行われる。

【0009】

バイラテラルマッチングマージモードにおいて、２つの異なる参照ピクチャにおける現在のＣＵの動きの軌跡に沿う２つのブロック間の最も近い一致に基づいて、ＣＵの動き情報が導出されるので、双予測が常に適用される。

【0010】

テンプレートマッチングマージまたはバイラテラルマッチングマージを示すための明示的なマージモードは、デコーダ側の動きベクトルの導出を全く必要としないデフォルトのマージモードからこれらのモードを区別するためにシグナリングされ得る。

【0011】

いくつかの実施形態において、時間的距離は無視され、過去および将来の参照フレームのそれぞれにおいて、等しい動きベクトルおよび反対の動きベクトルを用いてバイラテラルマッチングが実行される。

【0012】

いくつかの実施形態において、マージインデックスがシグナリングされることはないが、他の実施形態では、複数の動き補償を実行することについてのデコーダの複雑性を単純化するために、明示的なマージインデックスがシグナリングされる。

【0013】

バイラテラルマッチングモードの変形例において、両側的に平均化されたテンプレートは、明示的にシグナリングされたマージインデックスから取得された参照であるＬ０およびＬ１内の予測ブロックを使用して初めて作成され、このテンプレートに対してマッチングが実行される。テンプレートは、何らかの動きがある場合に更新される。また、いくつかの実施形態において、リファインメントは、１つの参照において実行され、このリファインされた動きベクトルのミラーリングによって、他の参照における動きベクトルが取得される。リファインメントは、中心位置が最小のエラーを有する、または、反復の最高回数に達する、のいずれかまで、２つの参照間で交互に行われる。

【0014】

リファインメントの方法のいくつかにおいて、ＣＵレベルリファインメントがまず実行される。次に、候補としてのＣＵレベルのリファインされたＭＶと共に、サブＣＵレベルの複数候補の評価が実行される。任意選択的に、各サブＣＵは、最も一致する候補に関して独自のリファインメントを実行できる。

【0015】

差分絶対値和または平均除去された差分絶対値和のいずれかが、Ｌ０参照パッチとＬ１参照パッチとの間の位置合わせのレベルを測定するためのマッチングコスト関数として使用される。いくつかのコスト関数は、リファインメント位置の開始からの動きベクトルのリファインメント距離をバイアス項として使用する。

【0016】

例えば、図３のように、デコーダ側の導出またはリファインメント処理が暗黙的に実行されることを考慮すると、エンコーダ側の再構築をデコーダ側の再構築と一致させるために、エンコーダは、デコーダと厳密に同じ方式でこれらの段階を実行する必要がある。

【0017】

通常、デコーダ側の動きベクトルのリファインメントまたは導出処理の間は、輝度サンプルのみが使用される。しかしながら、色差は、輝度の動き補償に使用されるように、（任意のクロマダウンサンプリングを考慮するために適切にスケーリングされた）最終的なリファインメント動きベクトルを使用して、動き補償もされる。
［双予測オプティカルフロー］

【0018】

双予測オプティカルフロー（ＢＰＯＦ）は、双予測のためのブロック単位の動き補償の上で実行されるサンプル単位のデコーダ側の動きリファインメントである。サンプルレベルの動きリファインメントは、シグナリングを使用しない。

【0019】

Ｉ^（ｋ）を、ブロック動き補償後の参照ｋ（ｋ＝０，１）からの輝度値とし、

【数1】

と

【数2】

とをそれぞれ、Ｉ^（ｋ）勾配の水平成分および垂直成分とする。オプティカルフローが有効であると仮定すると、動きベクトルフィールド

【数3】

は、式（１．１３）により与えられる。

【数4】

【0020】

このオプティカルフローの方程式を、各サンプルの動きの軌跡に対するエルミート補間と組み合わせることは、関数値Ｉ^（ｋ）と、微分係数

【数5】

と

【数6】

との両方の末尾と一致する一意の３次多項式をもたらす。ｔ＝０におけるこの多項式の値はＢＰＯＦ予測である：

【数7】

【0021】

ここで、τ_０とτ_１とは、図４に示されるように、参照フレームへの距離を示す。距離τ_０とτ_１とは、Ｒｅｆ０およびＲｅｆ１のＰＯＣ：

【数8】

に基づいて算出される。両方の予測が同じ時間方向から来るとき（両方過去から、または両方将来からのいずれか）、サインは異なる（すなわち、τ_０・τ_１＜０）。この場合、ＢＰＯＦは、予測が同じ時点からでない（すなわち、τ_０≠τ_１）ときにのみ適用され、両方の参照される領域は、非ゼロの動き

【数9】

を有し、ブロックの動きベクトルは、時間距離

【数10】

に比例する。

【0022】

動きベクトルフィールド

【数11】

は、ポイントＡの値とポイントＢの値との間の差Δを最小化することにより決定される（ポイントＡおよびＢは、動きの軌跡と参照フレーム平面との交点である）。モデルは、Δに対する局所的なテイラー展開の第１線形項のみを使用する：

【数12】

【0023】

式（１．１５）におけるすべての値は、サンプル位置

【数13】

に依存し、これは、これまでの表記からは省略されている。動きが局所的な周辺領域において一貫していると仮定すると、現在予測されているポイント

【数14】

を中心とする（２Ｍ＋１）×（２Ｍ＋１）の矩形の窓

【数15】

の内部におけるΔを最小化し、ここでＭは２と等しい：

【数16】

【0024】

この最適化問題について、最近の動向は、まず垂直方向における最小化を行い、次に水平方向の最小化を行う単純化された最小二乗アプローチを使用する。これは、

【数17】

【数18】

をもたらし、ここで、

【数19】

である。

【0025】

ゼロまたは非常に小さい値による除算を回避するために、正則化パラメータｒおよびｍは、式（１．１７）および（１．１８）に導入される。

【数20】

【数21】

ここでｄはビデオサンプルのビット深度である。

【0026】

特定の実施形態において、除算は、分母における最上位ビット位置の位置として計算された値を有する右シフトを使用して実行される。

【0027】

ＢＰＯＦを用いて、動きフィールドが各サンプルに対してリファインされ得ることが可能であるが、計算の複雑性を低減するために、ＢＰＯＦのブロックベースの設計が使用され得る。動きリファインメントは、４×４ブロックに基づいて算出される。ブロックベースのＢＰＯＦにおいて、４×４ブロックにおけるすべてのサンプルの式（１．１９）におけるｓ_ｎの値は集約され、次に、ｓ_ｎの集約された値は、４×４ブロックのＢＰＯＦ動きベクトルオフセットを導出するのに使用される。以下の最小二乗ベースの式は、ブロックベースのＢＰＯＦの導出に使用される。

【0028】

【数22】

ここで、ｂ_ｋは、予測されたブロックのｋ番目の４×４ブロックに属するサンプルのセットを示す。式（１．１７）および（１．１８）におけるｓ_ｎは、関連付けられた動きベクトルオフセットを導出するために、

【数23】

により置き換えられる。

【0029】

ＢＰＯＦに対するメモリアクセスを、通常の双予測動き補償と同じく保持するために、現在のブロックの内部の位置についてのみ、すべての予測および勾配値

【数24】

が算出される。現在のブロックの外部のサンプル値を必要とする現在のブロックの内部の位置の勾配を計算するために、双線形補間または最も近い整数グリッドサンプル値が、特定の実施形態において使用される。最近の動向において、ブロックの外部の

【数25】

の値は、ブロックの内部の最も近い利用可能な値と等しく設定される。例えば、これは、図５に示されるように、パディングとして実装され得る。

【0030】

いくつかの場合において、ＢＰＯＦによって計算されたＭＶオフセットは、ノイズまたは不規則な動きに起因して、信頼性に欠ける可能性がある。したがって、ＢＰＯＦにおいて、ＭＶオフセットの大きさは、閾値ｔｈＢＰＯＦにクリップされている。閾値は、現在のピクチャの参照ピクチャがすべて１つの方向からであるかまたはそうでないかに基づいて決定される。例えば、ＭＶオフセットは通常、水平方向と垂直方向との両方において、＋／－１整数ピクセル距離内でクリップされる。

【0031】

いくつかの実施形態において、ＢＰＯＦの勾配は、ＨＥＶＣ動き補償処理（２Ｄ分離可能なＦＩＲ）と一致する処理を使用する動き補償補間と同じ時間において算出される。この２Ｄ分離可能ＦＩＲに対する入力は、動き補償処理、およびブロックの動きベクトルの小数部分に応じた分数位置（ｆｒａｃＸ、ｆｒａｃＹ）と同じ参照フレームサンプルである。水平方向の勾配

【数26】

の場合、信号はまず、デスケーリングシフトｄ－８で分数位置ｆｒａｃＹに対応するＢＰＯＦｆｉｌｔｅｒＳを使用して垂直に補間され、次に、勾配フィルタＢＰＯＦｆｉｌｔｅｒＧが、１８－ｄのデスケーリングシフトで、分数位置ｆｒａｃＸに対応する水平方向において、適用される。垂直方向の勾配

【数27】

の場合、勾配フィルタはまず、デスケーリングシフトｄ－８で、分数位置ｆｒａｃＹに対応するＢＰＯＦｆｉｌｔｅｒＧを使用して垂直に適用され、次に、信号変位が、１８－ｄのデスケーリングシフトで、分数位置ｆｒａｃＸに対応する水平方向において、ＢＰＯＦｆｉｌｔｅｒＳを使用して、実行される。勾配算出ＢＰＯＦｆｉｌｔｅｒＧおよび信号変位ＢＰＯＦｆｉｌｔｅｒＦの補間フィルタの長さは、合理的な複雑性を維持するために、より短い（６タップ）。表１．４は、ＢＰＯＦにおけるブロックの動きベクトルの異なる分数位置に対する勾配算出に使用されるフィルタを示す。表１．５は、ＢＰＯＦにおける予測信号生成に使用される補間フィルタを示す。
［表１．４］

【表1】

［表１．５］

【表2】

【0032】

特定の他の実施形態において、勾配は、単純な［－１ ０ １］フィルタを使用して水平方向および垂直方向における２－Ｄ分離可能な動き補償補間を行った後、計算される。

【0033】

最近の動向において、ＢＰＯＦは、２つの予測が異なる参照ピクチャからである場合、すべての双予測モード（アフィン、重み付けされた双予測動き補償、およびサブブロックベースの高度な時間的マージモードの場合を除いて）に適用される。

【0034】

４×４サブブロックで、６×６サンプル位置を使用する場合、１．２２の方程式は、以下の中間精度を必要とする：
・Ｉ^（ｋ）は、１４の中間ビット深度（ＶＶＣ内）で維持される動きベクトルの小数部分に基づく２－Ｄ分離可能な動き補償補間の後のクリップされていない予測ブロックサンプルに対応し、－８１９２のオフセットは、符号付き１４ビット数の動的範囲をより有効に利用するために適用される。したがって、差分項（Ｉ^（１）－Ｉ^（０））は、１５ビット精度を有する。
・

【数28】

および

【数29】

は、水平方向と垂直方向とのそれぞれにおいて［－１ ０ １］フィルタを適用することにより、Ｉ^（ｋ）から計算される水平方向および垂直方向の勾配に対応し、したがって、１５ビット精度になる。
・現在の採用において、現在のフレームから２つの参照フレームへの時間的距離、τ０およびτ１は、等しいと仮定される。式１．２２で使用される

【数30】

および

【数31】

の和と、

【数32】

および

【数33】

の和は、１６ビット精度になる。
・したがって、積項は（１６＋１５）または（１６＋１６）ビット精度を有し得、所与の４×４サブブロックの６×６サンプル位置に対して累積を行うことは、３２＋６＝３８ビットのアキュムレータを必要とする。

【0035】

多用途映像符号化規格に対する最近の採用では、３２ビットのアキュムレータを超えることを回避するために、また、１６ビットまたは３２ビットの単一命令多重データ（ＳＩＭＤ）処理を促進するために、中間ビット深度に対して以下の標準的な単純化が行われる。
・Ｉ（ｋ）は、それらを減算する前に６ビットだけ右にシフトされ、減算された量は９ビット精度になる。
・

【数34】

および

【数35】

は、それらを１１ビット精度にするために、まず４ビットだけ右にシフトされる。
・水平方向の勾配の和よび垂直方向の勾配の和の項は、１１ビット精度の勾配を使用して計算され、計算された和は、合計の項を９ビット精度にするために、さらに３ビットだけ右シフトされる。
・積項は次に、９ビット×９ビット乗算として計算され、２４ビットアキュムレータに累積される１８ビット出力をもたらす。
・２４ビット累積量は次に、（ここでも、２７ビット中間値を超えることなく）フローベクトルを計算するのに使用され、フローベクトル

【数36】

は、５ビット（すなわち、各成分は－８から８の間の値である）で表される。
・ピクセルレベルでＢＰＯＦ補正を適用している間、中間１１ビットの水平方向および垂直方向の勾配値を使用して、水平方向の勾配の１２ビットの差と、垂直方向の勾配の差とを取得して、これらは次に、

【数37】

でそれぞれ乗算され、まとめて加算され（これは１６ビット範囲を横切り得る）、次に、丸め処理により１だけダウンシフトされ、次に、オフセット項とともに、クリップされていない予測ブロック値に加算される。したがって、ソフトウェアにおけるＳＩＭＤでは、最終的な右シフトまで３２ビット精度で処理が実行され、それらをサンプルビット深度まで進ませて、次にサンプルがパックされる。したがって、補正を適用している間のＳＩＭＤスループットは劣る。現在、ＢＰＯＦは、重み付けされた双予測の間に無効となり、通常の双予測平均化の間にのみ有効となる。

【0036】

通常、動きベクトルは、推定された変位を伴うＢＰＯＦの場合には更新されず、クロマ成分予測は、推定された変位に基づいて調整されない。
［ＤＭＶＲおよびＢＰＯＦの組み合わせ］

【0037】

リファインメントのための内部メモリ要件は、リファインメントが実行されるブロックのサイズに直接依存するので、特定のＤＭＶＲ実施形態は、ピクセルカウントより大きいサイズの符号化ユニットを、特定の予め定められたｒｅｆｉｎｅｍｅｎｔ＿ｓｕｂ＿ＰＵ＿ｗｉｄｔｈおよび特定の予め定められたｒｅｆｉｎｅｍｅｎｔ＿ｓｕｂ＿ＰＵ＿ｈｅｉｇｈｔを越えないサブ予測単位（サブＰＵ）に強制的にパーティション化する。

【0038】

ＤＭＶＲ（ここでおよび以下において、ＤＭＶＲという用語が使用されるが、エンコーダ側の動きベクトルのリファインメントも含まれることは言うまでもない）とＢＰＯＦとの単純な組み合わせは、まずサブＰＵレベルで整数距離またはサブピクセル距離精度のデコーダ側ＭＶリファインメントを実行することにより実現される。ここで、サブＰＵ ＤＭＶＲは、より単純な分離可能な２－Ｄ補間（例えば、整数グリッドサンプル、最終的な動き補償補間と同じサブピクセル精度であり得る指定されたサブピクセル精度でのまたは減少したサブピクセル精度での双線形補間）を使用して実行される。一度リファインされた動きベクトルがサブＰＵに知られると、２－Ｄ分離可能なＤＣＴＩＦベースの動き補償補間が実行される。ＨＥＶＣおよびドラフトＶＶＣ規格においては、８または７タップＤＣＴＩＦが、サブピクセル位相に応じて輝度ＭＣに採用される。（規範的に水平方向の補間に続く）垂直方向の補間からＤＣＴＩＦ補間サンプルが利用可能となった後、サンプル値およびサンプル勾配は、前述したように、双予測オプティカルフローベクトルがピクセル単位のレベルでまたはサブＰＵを有するｍ×ｎサブブロックのいずれかで決定されることを使用して計算される。ピクセルまたはサブブロックに対するこのオプティカルフローベクトル、ならびに、サンプル値およびサンプル勾配に基づいて、従来の双予測平均化は、前述のように、補正項で更新される。

【0039】

したがって、サブＰＵに対するＤＣＴＩＦベースの補間の開始は、サブＰＵ ＤＭＶＲが完了するまで待機する必要がある。オプティカルフローベクトルの計算の開始は、サブＰＵ ＤＣＴＩＦの垂直方向の補間が利用可能となり始めるまで待機する必要があり、これは、水平ＤＣＴＩＦベースの補間行のＤＣＴＩＦフィルタタップの数が生成された後にのみ可能である。

【0040】

上記を考慮すると、本発明の基礎となる対象は、インター予測のための技術を提供することであり、ここで、全体的な処理時間、負荷、およびメモリ容量に対する必要が、当技術分野と比較して減少され得る。

【発明の概要】

【0041】

上述の対象は、添付の請求項により提示される。
インター予測方法であって、
現在のピクチャの現在のピクチャブロックの動き情報に基づいて参照サンプルを選択する段階と、
選択された参照サンプルに対して第１補間を実行することにより、第１補間サンプルを導出する段階と、
第１補間サンプルに基づいて整数距離の動きベクトルのリファインメント（ＭＶＲ）を実行することにより、ターゲットサブ予測ユニット（ＰＵ）の整数距離デルタ動きベクトルを導出する段階であって、ここで、ターゲットサブＰＵは現在のピクチャブロック内にある、導出する段階と、
第１補間サンプルおよび整数距離デルタ動きベクトルに基づいて、ターゲットサブＰＵ内のそれぞれのＭ×Ｍピクセルマトリクスに対して、双予測オプティカルフロー（ＢＰＯＦ）を実行することにより、Ｍ×Ｍピクセルマトリクスフローベクトル（Ｍは整数であり、例えば、Ｍ＝４）を導出する段階であって、ここで、Ｍは正の整数であり、Ｍ×Ｍピクセルマトリクスのサイズは、ターゲットサブＰＵのサイズより小さい、導出する段階と、
参照サンプルに対して第２補間を実行することにより、第２補間サンプルを導出する段階と、
Ｍ×Ｍピクセルマトリクスフローベクトル、第１補間サンプル、および第２補間サンプルに基づいて、ターゲットサブＰＵに対して少なくとも１つの補正パラメータを計算する段階と、
第２補間サンプルおよび少なくとも１つの補正パラメータに基づいて、双予測を実行する段階と
を備える、方法が提供される。

【0042】

したがって、導出、計算および双予測方法の段階の指定された組み合わせにより、全体的な計算負荷およびインター予測に基づく符号化に必要とされる計算時間は、当該技術分野において認識されている技術と比較して大幅に減少し得る。

【0043】

動き情報は、符号化ツリーブロックレベルまたは仮想パイプラインデータユニットレベルにおける動きベクトルを備え得る。さらに、動き情報は、適切な参照ピクチャの選択を促進するのに有用な参照インデックスを備え得る。

【0044】

発明の方法の第２補間は、現在のピクチャブロックの動きベクトルと、ターゲットサブＰＵに対して導出された整数距離デルタ動きベクトルとを使用して実行され得る。サブブロックの動きベクトルは、現在のブロックの初期の動きベクトルと、適切なオフセットとに基づいて導出される。最初のＭＶは、整数ピクセル位置を指さない場合があるが、オフセットは、インター距離（ｉｎｔｅｒ ｄｉｓｔａｎｃｅ）デルタとなり、その結果、オフセットが初期の動きベクトルに加算される場合、最初のＭＶは整数ピクセル位置に到達する。

【0045】

双予測に使用されるターゲットサブＰＵに対する上述の少なくとも１つの補正パラメータは、ターゲットサブＰＵのサンプルに対して算出されたサンプル勾配から計算され得る。これにより、例えば、テンプレートまたはバイラテラルマッチングのみに基づく従来の双予測は、予測ピクチャの精度に関して向上され得る。

【0046】

具体的には、補正パラメータを採用する双予測は、第１参照ピクチャＬ０に基づく補正パラメータを使用して第１予測ピクチャを生成する段階と、第２参照ピクチャＬ１に基づく補正パラメータを使用して第２予測ピクチャを生成する段階とを備え得る。

【0047】

実施形態によると、参照サンプルの整数グリッドサンプルは第１メモリに格納され、第１補間サンプルは第１メモリとは異なる第２メモリ、例えば、キャッシュメモリに格納され、その結果、第１補間サンプルは、それが必要とされる異なる処理の段階において容易に取得され得る。

【0048】

上記の実施形態において、第２補間は、分離可能な補間フィルタにより実行され得る。そのような種類のフィルタは、比較的高速且つ正確な補間を行うことを可能にし得る。

【0049】

上記の実施形態において、発明の方法は、ターゲットサブＰＵに対して少なくとも１つの補正パラメータを計算する段階の前に、
第１補間サンプルに基づいて、ターゲットサブＰＵの左右境界サンプル位置における水平境界のサンプル勾配と、ターゲットサブＰＵの上下境界サンプル位置における垂直境界のサンプル勾配とを導出する段階を備え得る。

【0050】

水平および垂直境界のサンプル勾配は、双予測の勾配ベースの補正の間に使用されるために、いくつかの内部メモリにバッファリングされ得る。ターゲットサブＰＵに対する少なくとも１つの補正パラメータは、水平境界のサンプル勾配および垂直境界のサンプル勾配に基づいて計算され得る。具体的に、水平境界のサンプル勾配および垂直境界のサンプル勾配は、全体的なメモリおよび計算負荷を低減するために、動きベクトルのリファインメントを実行した後に導出され得る。

【0051】

上述の第１補間は双線形補間であり得るおよび／または上述の第２補間はより簡単ではなく／高価な離散コサイン変換補間であり得る。

【0052】

また、上述の対象は、
現在のピクチャの現在のピクチャブロックの動き情報に基づいて参照サンプルを選択する段階と、
選択された参照サンプルに対して補間（例えば、分離可能な補間フィルタにより実行される）を実行することにより補間サンプルを導出する段階と、
補間サンプルに基づいて、整数距離の動きベクトルのリファインメント（ＭＶＲ）コストを算出する段階と、
算出された整数距離ＭＶＲコストに基づいて、整数距離デルタ動きベクトルを決定する段階と、
補間サンプルおよび整数距離デルタ動きベクトルに基づいて、ターゲットサブ予測ユニット（ＰＵ）内のそれぞれのＭ×Ｍピクセルマトリクスに対して、双予測オプティカルフロー（ＢＰＯＦ）を実行することにより、Ｍ×Ｍピクセルマトリクスフローベクトル（Ｍは整数であり、例えば、Ｍ＝４）を導出する段階であって、ここで、Ｍは正の整数であり、Ｍ×ＭはサブＰＵのサイズより小さく、ターゲットサブＰＵは現在のピクチャブロック内にある、導出する段階と、
Ｍ×Ｍピクセルマトリクスフローベクトルおよび補間サンプルに基づいて、ターゲットサブＰＵに対して少なくとも１つの補正パラメータを計算する段階と、
補間サンプルおよび少なくとも１つの補正パラメータに基づいて、双予測を実行する段階と
を備えるインター予測方法を提供することにより提示される。

【0053】

したがって、導出、計算および双予測方法の段階の指定された組み合わせにより、全体的な計算負荷およびインター予測に基づく符号化に必要とされる計算時間も、当該技術分野において認識されている技術と比較して大幅に減少し得る。

【0054】

上述の実施形態におけるように、動き情報は、符号化ツリーブロックレベルまたは仮想パイプラインデータユニットレベルにおける動きベクトルを備え得、それは参照インデックスを備え得る。

【0055】

ターゲットサブＰＵに対する少なくとも１つの補正パラメータは、ターゲットサブＰＵのサンプルに対して算出されたサンプル勾配から計算され得る。上述の実施形態におけるように、双予測の実行は、第１参照ピクチャＬ０に基づく補正パラメータを使用して第１予測ピクチャを生成する段階と、第２参照ピクチャＬ１に基づく補正パラメータを使用して第２予測ピクチャを生成する段階とを備え得る。

【0056】

ターゲットサブＰＵに対する補正パラメータは、境界勾配に基づいて計算され得る。したがって、方法は、ターゲットサブＰＵに対する少なくとも１つの補正パラメータを計算する段階の前に、ターゲットサブＰＵに対する少なくとも１つの補正パラメータを計算する前に、補間サンプルに基づいてターゲットサブＰＵの境界勾配を導出する段階を備え得る。

【0057】

この提供された方法において使用される補間は、双線形補間または離散コサイン変換補間であり得る。さらに、補間サンプルの最初および最後のＮ行は、同じ第１補間方法を使用して決定され得、最初および最後のＮ行を除く補間サンプルの行は、同じ第２補間方法を使用して決定され得る。Ｎは、例えば、３であり得る。第１補間方法は離散コサイン変換補間または双線形補間であり得、第２補間は離散コサイン変換補間であり得る。

【0058】

また、上述の対象は、別のインター予測方法であって、
現在のピクチャの現在のピクチャブロックの動き情報により参照サンプルを選択する段階と、
現在のピクチャブロックのターゲットサブ予測ユニット（ＰＵ）に対する補間サンプルを導出する段階であって、当該段階は、選択された参照サンプルの当該参照サンプルに対して第１補間を実行することであって、その位置は現在のピクチャブロックの動きベクトル（ＭＶ）リファインメント範囲内のゼロデルタ動きベクトルに対応する、実行することと、選択された参照サンプルの当該参照サンプルに対して第２補間を実行することであって、その位置は現在のピクチャブロックのＭＶリファインメント範囲内のゼロデルタＭＶに対応しない、実行することとによって行われる、導出する段階と、
補間サンプルに基づいて、整数距離の動きベクトルのリファインメント（ＭＶＲ）コストを算出する段階と、
算出された整数距離ＭＶＲコストに基づいて、整数距離デルタ動きベクトルを決定する段階と、
算出された整数距離ＭＶＲコストを使用して、決定された整数距離デルタ動きベクトルの周りのサブピクセル精度のデルタ動きベクトルを決定する段階と、
ゼロデルタ動きベクトルの位置における補間サンプルに基づいて、ターゲットサブＰＵ内のサンプルの各Ｍ×Ｍ輝度ブロックに対して、双予測オプティカルフロー（ＢＰＯＦ）を実行することにより、Ｍ×Ｍピクセルマトリクスフローベクトル（Ｍは整数であり、例えば、Ｍ＝４）を導出する段階であって、ここで、Ｍは正の整数であり、Ｍ×ＭはサブＰＵのサイズより小さく、ターゲットサブＰＵは現在のピクチャブロック内にある、導出する段階と、
ターゲットサブＰＵに対する輝度インター予測が、ターゲットサブＰＵに対する決定されたデルタ動きベクトル、または、ターゲットサブＰＵ内のサンプルの各Ｍ×Ｍ輝度ブロックに対して導出されたＢＰＯＦベクトルを使用して実行されるかどうかを決定する段階と、
ターゲットサブＰＵに対する輝度インター予測が、導出されたＢＰＯＦベクトルを使用して実行されると決定された場合、Ｍ×Ｍピクセルマトリクスフローベクトルと補間サンプルとに基づいて、ターゲットサブＰＵに対する少なくとも１つの補正パラメータを計算する段階と、
ターゲットサブＰＵに対する輝度インター予測が、決定されたデルタ動きベクトルを使用して実行されると決定された場合、決定されたデルタ動きベクトルに基づいて、ターゲットサブＰＵに対する少なくとも１つの補正パラメータを計算する段階と、
補間サンプルと少なくとも１つの補正パラメータとに基づいて、双予測を実行する段階と
の段階を備える方法を提供することにより提示される。

【0059】

したがって、この他の提供された方法の導出、計算および双予測方法の段階の指定された組み合わせにより、全体的な計算負荷およびインター予測に基づく符号化に必要とされる計算時間も、当該技術分野において認識されている技術と比較して大幅に減少し得る。

【0060】

また、この他の提供された方法においては、ターゲットサブＰＵに対する少なくとも１つの補正パラメータは、ターゲットサブＰＵのサンプルに対して算出されたサンプル勾配から計算され得る。再び、双予測の実行は、第１参照ピクチャＬ０に基づく補正パラメータを使用して第１予測ピクチャを生成する段階と、第２参照ピクチャＬ１に基づく補正パラメータを使用して第２予測ピクチャを生成する段階とを備え得る。

【0061】

第２補間は分離可能な補間フィルタにより実行され得るおよび／または第１補間は離散コサイン変換補間であり得る。第２補間は双線形または離散コサイン変換補間であり得る。

【0062】

この他の提供された方法は、ターゲットサブＰＵに対するデルタ動きベクトル、または、ターゲットサブＰＵ内のサンプルの各Ｍ×Ｍ輝度ブロックに対するＢＰＯＦベクトルを使用して、ターゲットサブＰＵに対する輝度インター予測を条件付きで実行する。これにより、具体的なインター予測は、計算負荷／オーバーヘッドと、インター予測手順からもたらされる予測ピクチャの精度との間の妥協に基づいて選択され得る。実用的な適用の間に得られた実験および経験は、特定の条件が保持される場合に、それがターゲットサブＰＵ内のサンプルの各Ｍ×Ｍ輝度ブロックに対して導出されたＢＰＯＦベクトルを使用してターゲットサブＰＵに対する輝度インター予測を実行するのに適切であり得ることを示した。例えば、ターゲットサブＰＵに対する輝度インター予測は、以下の条件の１または複数が満たされる場合、ターゲットサブＰＵ内のサンプルの各Ｍ×Ｍ輝度ブロックに対して導出されたＢＰＯＦベクトルを使用して実行されることが決定され得る。
ａ）最良コストの整数距離デルタ動きベクトルがゼロベクトルである
ｂ）ゼロデルタ動きベクトルのＭＶＲコストから最良コストを引いた値が予め定められた閾値より小さい
ｃ）ターゲットサブＰＵ内の輝度サンプルのすべての４×４ブロックにわたるＢＰＯＦベクトルのユークリッドまたはマンハッタン距離の分散が、予め定められた閾値を超える

【0063】

発明の方法の上記の実施形態のすべては、ビデオシーケンスのビデオピクチャの符号化、すなわち、エンコード、およびデコードに使用され得る。したがって、以下の方法も、本明細書に提供される。

【0064】

ビデオピクチャを受信する段階と、上記の実施形態のいずれかのインター予測方法を、ビデオピクチャのブロックに適用する段階と、実行された双予測に基づいてビデオピクチャをエンコードする段階とを備えるビデオピクチャをエンコードする方法、ならびに、エンコードされたビデオピクチャを受信する段階と、上記の実施形態のいずれかのインター予測方法を、エンコードされたビデオピクチャのブロックに適用する段階と、実行された双予測に基づいて、エンコードされたビデオピクチャをデコードする段階とを備える、エンコードされたビデオピクチャをデコードする方法。

【0065】

さらに、上記の実施形態のいずれかに従って方法を実行するための処理回路を備えるエンコーダまたはデコーダが提供される。

【0066】

具体的に、１または複数のプロセッサと、プロセッサに接続され、プロセッサにより実行されるプログラミングを格納する非一時的コンピュータ可読記憶媒体とを備えるエンコーダまたはデコーダが提供され、ここで、プログラミングは、プロセッサにより実行される場合、エンコーダまたはデコーダを、上記の実施形態のいずれかに従って方法を実行するように構成する。

【0067】

さらに、上記の実施形態のいずれかに従って方法を実行するプログラムコードを備えるコンピュータプログラム製品が提供される。

【図面の簡単な説明】

【0068】

【図1】テンプレートマッチングベースのデコーダ側の動きベクトルの導出の図である。

【図2】バイラテラルマッチングベースのデコーダ側の動きベクトルの導出の図である。

【図3】バイラテラルテンプレートマッチングベースのデコーダ側の動きベクトルのリファインメントの図である。

【図4】双予測オプティカルフローの図である。

【図5】現在のブロックの外部のサンプル値およびサンプル勾配値を導出する図である。

【図6】実施形態１のＤＭＶＲ＋ＢＰＯＦ共存システムのブロック図である。

【図7】実施形態１の非ＤＭＶＲ ＣＵのためのＢＰＯＦシステムのブロック図である。

【図8】実施形態１のＤＭＶＲ＋ＢＰＯＦ共存システムのブロック図である。

【図9】実施形態２のＤＭＶＲ＋ＢＰＯＦ共存システムのブロック図である。

【図10】実施形態２の非ＤＭＶＲ ＣＵのためのＢＰＯＦシステムのブロック図である。

【図11】サブＰＵレベルのサブペルのフローに対する勾配ベースの補正を用いるＤＭＶＲの図（４×４レベルのＢＰＯＦなし）である。

【図12】実施形態３のブロック図である。

【図13】実施形態３のタイミング図である。

【図14】エンコーダまたはデコーダの実施形態の図である。

【発明を実施するための形態】

【0069】

上述のように、各双予測動き補償サンプルに対する、デコーダ側の動きベクトルのリファインメント（例えば、対称バイラテラルマッチングを使用する）と、デコーダ側の双予測オプティカルフローベースのピクセル単位補正との単純な組み合わせは、サブピクセル距離リファインメント動きベクトルを用いる整数距離または整数のサブＰＵレベル決定と、水平ＤＣＴＩＦベースの補間の開始との間の依存性を含む。同様に、双予測オプティカルフロー推定の開始は、利用可能となる第１垂直ＤＣＴＩＦベースの補間行に依存性を有する。第１依存は、サブＰＵ粒度パイプラインを設定することにより提示され得る。その結果、所与のサブＰＵ上でＤＭＶＲ（エンコーダ側におけるＤＭＶＲ動きベクトルのリファインメントも含まれることが再度留意される）が動作する場合、ＤＭＶＲが既に完了した（または適用可能でないと決定された）以前のサブＰＵに対してＤＣＴＩＦが実行され得る。

【0070】

互いに隣接する異なる予測または符号化ユニットブロックの動き補償に必要とされるサンプル間にかなりの重複が存在し得ることを考慮すると、プリフェッチキャッシュは通常、ハードウェア設計において採用され、動き補償に必要とされるサンプルを確定的にもたらす。ソフトウェア実装において、プロセッサキャッシュは、参照の空間局所性を自動的に提供する。これらのプリフェッチキャッシュは、外部メモリよりアクセスが速いが、ハードウェア設計において使用される内部ラインメモリよりアクセスが遅くなる傾向にある。したがって、このプリフェッチキャッシュは、同じサンプルのセットに対して何度もアクセスされないことが好ましい。したがって、サブＰＵレベルパイプラインに伴い、内部メモリ要件が増加し、ＤＭＶＲに既にアクセスされたラインのためのプリフェッチキャッシュに再度アクセスすることを回避すべく、最終的なＤＣＴＩＦに対する整数グリッドサンプルをバッファする。ＤＭＶＲおよび水平ＤＣＴＩＦベースの補間が異なるサブＰＵ上で動作していると、内部メモリの必要量は、２つの参照および２つのサブＰＵにわたって、４＊（ｓＰＵｗ＋Ｎ＿ＴＡＰＳ＿ＤＣＴＩＦ－１＋２＊（Ｓ＋１））＊（ｓＰＵｈ＋２＊（Ｓ＋１））となる。ここで、ｓＰＵｗおよびｓＰＵｈは、（選択された粒度の）サブＰＵの幅および高さであり、Ｎ＿ＴＡＰＳ＿ＤＣＴＩＦは、ＤＣＴＩＦベースの補間に使用されるフィルタタップの数を指示し、Ｓは、マージ動きベクトルの周りのＤＭＶＲリファインメント範囲を表し、追加の１は、ＢＰＯＦの必要から来る。

【0071】

Ｎ＿ＴＡＰＳ＿ＤＣＴＩＦが増加すると、水平ＤＣＴＩＦベースの補間が垂直ＤＣＴＩＦベースの補間の前に規範的に実行される必要があることを考慮すると、垂直ＤＣＴＩＦベースの補間は、水平ＤＣＴＩＦベース補間行のＮ＿ＴＡＰＳ＿ＤＣＴＩＦ数が生成されるまで開始できない。全体的なタイミング（またはパイプラインのレイテンシ）の観点から、ＢＰＯＦは、垂直ＤＣＴＩＦベースの補間サンプルに対して実行されるので、この時間の間に、現在は不可能であるＢＰＯＦの特定の算出を実行することが好ましい。垂直方向における勾配計算要件を考慮すると、３つの垂直補間行が、垂直方向の勾配計算を開始するのに必要とされる。サブＰＵレベルパイプラインを考慮すると、内部メモリを最小限に保持するために、ＢＰＯＦは、サブＰＵレベルにおいても発生する必要がある。サブＰＵの４×４サブブロックのフローベクトルの決定は、５＊（ｓＰＵｗ＋２）＊（ｓＰＵｈ＋２）の９ビット×９ビット乗算を必要とする。積項の累積の数は、ＮＵＭ＿４×４＿ＰＥＲ＿ＳＵＢ＿ＰＵ＊３６となり、ここでＮＵＭ＿４×４＿ＰＥＲ＿ＳＵＢ＿ＰＵは、サブＰＵごとの４×４ブロックの数である。補正項の計算は、水平および垂直方向の勾配を必要とするので、Ｌ０およびＬ１の水平および垂直のサンプル勾配（１５ビット深度）がバッファに格納されること、または、補正計算が４×４レベルの計算されたフローベクトルが利用可能性とともに開始し得るまで、（１４の）中間ビット深度におけるクリップされていない平均前補間サンプルが、バッファに格納されることのいずれかが必須である。最良のタイミングとして、サブＰＵ内の４×４ブロックの行に対するオプティカルフロー推定が発生している間、フローベクトルおよび勾配ベースの補正が、サブＰＵ内の４×４ブロックの前の行に対して計算される。これは、勾配の格納またはクリップされていない平均前の補間サンプルの格納が、各参照において少なくとも８行分である必要があることを示唆する。ＢＰＯＦが存在しない場合、双予測平均化は、各参照から垂直補間サンプルのうち１つの行が利用可能となったらすぐに、列ごとに実行されることが可能であったことに留意すべきである。したがって、内部メモリの負荷を減らすことが望ましい。

【0072】

ＤＭＶＲが存在しない場合のＢＰＯＦは、現在、これらの追加サンプルが符号化ユニットに含まれる限り、符号化ユニット内において、ＤＣＴＩＦベースの補間サンプルが所与の４×４の外部で利用可能であると仮定する。換言すると、４×４の内部の位置に対する勾配算出には、６×６のＤＣＴＩＦベースの補間サンプルが必要とされる。同様に、サブＰＵには、（ｓＰＵｗ＋２）×（ｓＰＵｈ＋２）におけるＤＣＴＩＦベースの補間サンプルが必要とされる。これは、符号化ユニットのサイズがサブＰＵのサイズより大きい場合はいつでも、ＤＣＴＩＦが最初に２つの行と２つの列とを生成することによりサブＰＵのパイプラインをプライミングすることを必要とする。これはまた、２＊１２８＊２＊２の平均前補間参照サンプルが最悪のケースにおいて維持される必要があり得るので、内部メモリ要件を増加させる。代替的に、内部メモリを節約することは、各サブＰＵが（ｓＰＵｗ＋２）×（ｓＰＵｈ＋２）のＤＣＴＩＦベースの補間出力を生成することを必要とし、これにより、１６×１６のサブＰＵ場合、補間作業負荷を２５％まで増加する。したがって、内部メモリ需要におけるこの増加または補間作業負荷における２５％の増加に起因するゲートカウントの増加を回避することが望ましい。

【0073】

サブピクセル精度のデルタＭＶがＤＭＶＲにより採用される場合はいつでも、各サブＰＵは、水平方向および垂直方向において異なるサブピクセル位相オフセットを潜在的に有し得る。したがって、各サブＰＵは、独立した２－Ｄ分離可能なＤＣＴＩＦベースの補間を実行する必要がある。これは、依然として、ＶＶＣにおけるアフィンサブＣＵで発生するすべての４×４双予測サブＰＵの最悪のケースのＤＣＴＩＦ補間の複雑性を十分に下回るが、ハードウェアの平均電力要件またはソフトウェアの平均処理要件は、サブＰＵレベルのＤＣＴＩＦで大幅に増加する。また、サブピクセル精度のデルタＭＶを有するＤＭＶＲが存在する場合、ＢＰＯＦは、いくつかの補間方法（例えば、ＤＣＴＩＦ、双線形補間、または最も近い整数グリッドサンプル）を使用して、サブＰＵ内の位置に対する勾配算出に必要とされる、サブＰＵの外部にある追加サンプルを強制的に取得する。これらの補間を実行することはまた、ハードウェアの平均電力要件およびソフトウェアの平均処理要件を増加させる。したがって、ハードウェアの平均電力またはソフトウェアの平均処理要件を増加させる必要を回避できることが望ましい。

【0074】

本発明は、（ａ）プリフェッチキャッシュアクセスを、ＤＭＶＲなしの状態に近いレベルに維持すること、（ｂ）内部メモリの増加を回避すること、（ｃ）計算の実行に必要とされる時間を減らすこと、（ｄ）ゲートカウントの増加を回避すること、（ｅ）ハードウェアの平均電力の増加またはソフトウェアの平均処理要件の増加を回避すること、および（ｆ）ＳＩＭＤフレンドリーさの欠如を回避することにより、上記に列挙された問題の１または複数を対処／緩和するシステムおよび方法を提供する。

【0075】

本発明は、異なる処理の同時性を向上させる。一実施形態において、ＤＭＶＲに対して実行された双線形動き補償は、４×４ブロックレベルにおいても、オプティカルフローベクトルを計算するのに利用される。これは、すべてのフローベクトル関連の計算がＤＣＴＩＦベースの動き補償と同時に実行されることを可能にして、したがって、動き補償の全体的なタイミングが向上される。別の実施形態において、ＤＣＴＩＦベースの動き補償は、まず、双線形動き補償を使用して計算されたリファインメントの追加サンプルを用いて実行される。これは、ＤＭＶＲが、各垂直ＤＣＴＩＦベースの補間ラインが利用可能となった際に、行レベルのパイプラインにおいて実行されることを可能にする。全体のリファインメント範囲に対して通常実行される双線形補間の複雑性は、中央部分に対するＤＣＴＩＦベースの補間サンプルを共有することにより減少し、したがって、ハードウェアのゲートカウントまたはソフトウェアの処理が減少する。内部メモリ要件はまた、この実施形態では、プリフェッチキャッシュからアクセスされる整数グリッドサンプルが２つのサブＰＵステージにわたって維持される必要がないので、減少する。

【0076】

ＤＭＶＲとＢＰＯＦとが符号化ユニットに対して同時に共存することを必要とする実施形態において、ＤＭＶＲからのサブピクセル精度のデルタＭＶは無効となり、その結果、サブＰＵに強制的にパーティション化されたより大きい符号化ユニットにおいて、水平補間および垂直補間されたラインバッファの再利用が可能となる。ソフトウェアにおいて、これは、ＤＣＴＩＦが、符号化ユニットレベルにおいて実行され、サブＣＵレベルでＤＣＴＩＦを実行するより計算的なコストが低い（ＣＵ＿ｗ＋４）×（ＣＵ＿ｈ＋４）のサンプルを生成することを可能にする。

【0077】

ＤＭＶＲにおけるサブピクセル精度のデルタＭＶが利用可能である特定の実施形態において、ＢＰＯＦベースの補正は、ＤＭＶＲから取得されたサブピクセルのフローベクトルを使用する勾配ベースの補正に置き換えられる。整数距離コスト値を使用して取得されたパラメトリックなエラー表面を使用してサブピクセルのフローベクトルを計算することにより、この場合、フローベクトル計算に関連するピクセルレベル処理が回避される。

【0078】

特定の実施形態において、全体的なタイミングを向上させるべく、ＢＤＯＦを使用するフローベクトル算出は、ＤＭＶＲからのデルタＭＶに依存することなく実行される。輝度インター予測が、ＤＭＶＲで決定されたデルタＭＶ位置における勾配ベース補正を使用するか、または、ＢＤＯＦベースのオプティカルフローベクトルを使用して計算された補正を使用するかを決定する決定ロジックが導入される。ＤＭＶＲベースのデルタＭＶは、上記の決定に関わらず、リファインされたＭＶを更新するのに使用され、サブＰＵレベルにおけるクロマＭＣを実行するために、同じものが使用される。

【0079】

ＢＰＯＦが適用されるがＤＭＶＲは適用されない符号化ユニットにおいて、標準的なサブＰＵのサイズ（ＤＭＶＲがＢＰＯＦと共にある場合に使用されるサブＰＵのサイズと同じであることが好ましい）が定義され、その結果、サブＰＵの外部のサンプルを必要とするサブＰＵの内部の位置におけるサンプル勾配は、ＤＭＶＲに対して実行されたのと同じ補間を使用して取得される。

【0080】

特定の実施形態において、ＤＭＶＲに使用される補間は、符号化ユニットのサイズに基づいて適用され、その結果、符号化ユニットの幅、符号化ユニットの高さ、および符号化ユニットのサイズの予め定められた閾値を上回る符号化ユニットのサイズは、全体のリファインメント範囲にわたってＤＣＴＩＦ自体を使用し、その一方、残りの符号化ユニットは、リファインメント必要とされる追加サンプルまたは全体のリファインメント範囲に必要とされる追加サンプルのいずれかに対して、より単純な補間を使用する。

【0081】

デコーダ側の動きベクトルのリファインメント／導出が符号化システムの標準的な態様であることを考慮すると、エンコーダの再構築とデコーダの再構築との間にドリフトがないようにするために、エンコーダも同じリファインメント検索処理を実行する必要がある。したがって、すべての実施形態のすべての態様は、エンコードシステムおよびデコードシステムの両方に適用可能である。

【0082】

テンプレートマッチングにおいて、リファインメントの動きは、明示的にシグナリングされたマージインデックスに基づいてまたはコスト評価によって暗黙的に導出されるサブピクセル精度の中心から開始する参照においてのみ発生する。

【0083】

バイラテラルマッチング（平均化テンプレートありまたはなし）において、リファインメントは、明示的にシグナリングされたマージインデックスに基づいてまたはコスト評価によって暗黙的に導出されるそれぞれのサブピクセル精度の中心から開始する参照であるＬ０およびＬ１において開始する。
［実施形態１］

【0084】

この実施形態において、ＤＭＶＲおよび４×４レベルの双予測オプティカルフローベクトルの決定は、同じ補間スキームを使用する。これの１つのサンプル実施形態は図６に示されており、ここで双線形補間はブロック６０１に示されるように採用される。６０１は、符号化ツリーブロックレベルまたは仮想パイプラインデータユニット（ＶＰＤＵ）レベルにおいて、リファインされていない動きベクトルを使用して参照サンプルをフェッチすると仮定されるプリフェッチバッファＭ６０１からのサンプルにアクセスする。双線形補間サンプルは、内部メモリバッファＭ６０２に格納され、所与のサブＰＵに対してＬ０およびＬ１におけるマージＭＶ中心に関して整数距離ＤＭＶＲを実行する処理ブロック６０２によりアクセスされ、整数距離デルタＭＶを生成する。所与のサブＰＵで各４×４に対して双予測オプティカルフローベクトル推定を実行するブロック６０３も、サブＣＵに対する整数距離デルタＭＶにより提供されるオフセットから開始するＭ６０２にアクセスする。一般的な補間は、ＤＣＴＩＦベースの補間であってもよいことに留意すべきである。一般的な補間がＤＣＴＩＦベースの補間でない場合、図６は、残りの依存関係を示す。非ＤＣＴＩＦ補間の間にアクセスされた整数グリッドサンプルは、内部メモリＭ６０３においてバッファリングされ、プリフェッチキャッシュからこれらのサンプルに再度アクセスすることを回避する。ＤＣＴＩＦの水平方向の補間ステージ（６０４）は、ラインバッファＭ６０４内にその出力を生成する。そして、垂直方向の補間ステージ（６０５）は、新しい垂直方向の補間ラインを生成するために、これらのラインバッファから消費する。（ＤＭＶＲからの整数距離変位を考慮した後の）サブＰＵの左右境界における水平方向の勾配と、サブＰＵの上下境界における垂直方向の勾配とは、内部メモリＭ６０５においてバッファリングされる。サブＰＵの各垂直補間行が利用可能となると、勾配ベースの補正が、６０６においてサブＰＵ内の各４×４ブロックに対する計算されたフローベクトルを使用することにより適用される。Ｍ６０５の内容は、サブＰＵの外部のサンプルを必要とするサブＰＵ内の位置の勾配を取得するのに使用される。計算された補正を使用することで、補正された最終的な双予測されたサンプルが６０７において生成される。６０４、６０５および６０６におけるＬ０およびＬ１ラインの処理は、同時にまたはインターリーブ方式のいずれかで実行され、その結果、６０７は一度に一行を完了できると仮定される。

【0085】

表１は、この実施形態が提供する同時性のレベルを示す。主な機能ブロックは、列にわたって示され、異なるタイミングに関連するステージは、行に示される。ステージＴ１、Ｔ３およびＴ６は、ランプアップまたはランプダウンのいずれかの処理に関しており、したがって、１または複数の機能ブロックの定常状態を処理するステージＴ２、Ｔ４およびＴ５よりはるかに小さいことが、表から見られ得る。Ｔ２が、ＤＭＶＲに対する補間とＤＭＶＲのコスト算出との間の同時性を提供することが見られ得る。Ｔ４は、サブＰＵの４×４ブロックに対するフローベクトル計算と水平ＤＣＴＩＦベースの補間のプライミングとの間の同時性を提供する。Ｔ５は、垂直ＤＣＴＩＦベースの補間と勾配ベースの補正の適用との間の同時性を提供し、補正された最終的な双予測の行を生成する。

【表3】

表１：実施形態１の異なる機能ブロックにわたっての同時性表

【0086】

メモ：Ｔ１、Ｔ３およびＴ６は、Ｔ２、Ｔ４、Ｔ５ステージよりタイミングが比較的に小さく、これは少なくとも２つの機能ブロックにわたる同時性を可能にする。

【0087】

図７は、ＤＭＶＲを適用しない符号化ユニットに、ＢＰＯＦがどのように適用されるかを示す図である。メモリユニットＭ７０１、Ｍ７０２、Ｍ７０３、Ｍ７０４、およびＭ７０５はそれぞれ、Ｍ６０１、Ｍ６０２、Ｍ６０３、Ｍ６０４、およびＭ６０５と機能が同様である。処理ユニット７０１、７０２、７０３、７０４、７０５および７０６はそれぞれ、６０１、６０３、６０４、６０５、６０６および６０７と機能が同様である。ＤＭＶＲが実行されないので、関連するブロックサイズは、ＤＭＶＲリファインメント範囲パラメータＳに依存しない。しかしながら、ＤＭＶＲの場合と同じ方法論が採用され、ＤＭＶＲを採用する符号化ユニットとＤＭＶＲを採用しない符号化ユニットとにわたるハードウェア実装およびソフトウェア実装を調和させる。

【0088】

図８は、ＢＰＯＦを採用しない符号化ユニットに、ＤＭＶＲがどのように実行されるかを示す図である。メモリユニットＭ８０１、Ｍ８０２、Ｍ８０３、Ｍ８０４およびＭ８０５はそれぞれ、Ｍ６０１、Ｍ６０２、Ｍ６０３、Ｍ６０４およびＭ６０５と機能が同様である。処理ユニット８０１、８０２、８０４、８０５、８０６および８０７はそれぞれ、６０１、６０２、６０４、６０５、６０６および６０７と機能が同様である。処理ユニット８０３は、８０２において評価された整数距離位置コストを使用してモデリングされたパラメトリックなエラー表面を使用して、全体のサブＰＵに対するサブペル精度のフローベクトルを計算するという点で、６０３と異なる。

【0089】

図６および図８のシステムおよび方法において、サブピクセル精度のデルタＭＶが利用可能であるとき、それは、サブＰＵに対して、リファインされたＭＶを更新するのに使用され、その結果、リファインされたＭＶは、（マージまたはＡＭＶＰにおける）空間ＭＶ予測に、デブロッキング強度決定に、およびエンコード順序における将来のアクセスユニットのための時間的動きベクトル予測因子として使用され得る。サブピクセルのデルタＭＶの更新されたリファインされたＭＶはまた、輝度サブＰＵに対応するクロマ部のクロマ動き補償に使用される。

【0090】

実施形態１の主な利点は、異なる処理ステージにわたる同時性を向上させ、その結果、全体的なパイプラインレイテンシがハードウェア実装において減少し得ることである。具体的に、ＤＭＶＲに使用されたのと同じ補間を使用してフローベクトルを計算することにより、フローベクトルの計算は、ＤＣＴＩＦベースの補間と同時に発生し得る。同様に、勾配ベースの補正は、ＤＣＴＩＦベースの補間の生成と同時に適用され得る。また、サブＣＵレベルの動き補償を必要とするのではなく、リファインメントのための動き補償と、ＤＣＴＩＦベースの動き補償とが、全体の輝度符号化ユニットにおいて実行されることを可能にすることにより、ソフトウェア実装における平均処理時間が減少する。これは、輝度のサブピクセル精度のデルタＭＶ部分を無効にすることにより可能となる。最悪のケースのプリフェッチキャッシュアクセスは、ＤＭＶＲおよび／またはＢＰＯＦがない場合とほぼ同じレベルに保持される。符号化効率の影響は最小に保持される。

【0091】

この実施形態において、ＤＭＶＲおよびＢＰＯＦベクトル推定にわたって同じ補間方法を共有するシステムおよび方法が開示される。ＢＰＯＦベクトル推定とＤＣＴＩＦベースの補間の並列処理のためのシステムおよび方法が開示される。輝度のサブピクセル精度のデルタＭＶを無効にするが、サブＰＵのリファインされたＭＶとクロマＭＣとを更新するために、サブピクセル精度のデルタＭＶを依然として使用することにより、ソフトウェアの計算の複雑性を減少させるシステムおよび方法が開示される。
［実施形態２］

【0092】

この実施形態において、リファインメントのための動き補償は、リファインメント範囲の中央部分に対して（すなわち、ゼロデルタＭＶに対応するサンプルの符号化ユニットサイズ分に対して）ＤＣＴＩＦベースの補間サンプルを使用し、その一方、ＤＭＶＲおよびＢＰＯＦに必要とされるこれらの中心サンプルの周りの追加サンプルは、ＤＣＴＩＦまたはより単純な補間スキームのいずれかを使用して取得される。これは、図９に示される。ブロック９０１は、符号化ツリーブロックレベルまたは仮想パイプラインデータユニット（ＶＰＤＵ）レベルにおいて、リファインされていない動きベクトルを使用して参照サンプルをフェッチすると仮定されるプリフェッチバッファＭ９０１からのサンプルにアクセスすることにより、水平方向の補間を実行する。水平方向の補間は、サブピクセル位相依存のＤＣＴＩＦベースの補間されたｓＰＵｗ数のサンプルを各行に生成し、行の左右の３つの補間サンプルは、ＤＣＴＩＦまたはより単純な補間のいずれかを使用して生成される（同じサブピクセル精度または減少したサブピクセル精度での双線形補間、最も近い整数グリッドサンプルなど）。これらは、ラインバッファユニットＭ９０２に格納される。垂直方向の補間ブロック９０２は、Ｍ９０２からアクセスして垂直補間サンプルを生成し、ここで、最初および最後の３つの行が、ＤＣＴＩＦまたはより単純な補間を使用して生成され、その一方、中央ｓＰＵｈ数の行は、サブピクセル位相に基づくＤＣＴＩＦベースの補間を使用して生成される。これらの垂直補間サンプルは、内部メモリバッファＭ９０３に格納される。整数距離ＤＭＶＲのコスト算出は、Ｍ９０３にアクセスすることにより９０４において実行される。ＤＭＶＲのレイテンシを減少させるべく、所与の検索位置に対して新しい行が利用可能になったらすぐに、行レベルのコスト算出が実行され得ることに留意すべきである。ＤＭＶＲのすべての検索位置のすべての行に対してコスト算出が更新される場合、整数距離デルタＭＶは、すべての位置のうち最も低いコストを見つけることと、検索センタからのこの位置の距離を整数距離デルタＭＶとして使用することとにより、９０５において決定される。一度整数距離デルタＭＶが決定されると、任意選択的なサブピクセル精度のデルタＭＶは、明示的な評価を使用して、または、９０４において決定され９０５に渡される整数距離コストに適用されるパラメトリックなエラー表面ベースのフィットによって、決定され得る。ブロック９０６は、アクセスにＭ９０３して、９０５で決定された整数距離オフセットにおけるサンプル値にアクセスし、各サブＰＵ内の各４×４ブロックに対するオプティカルフローベクトルを計算するのに必要とされるサンプル勾配を計算する。一度サブＰＵを有する所与の４×４ブロックに対するオプティカルフローベクトルが９０６で決定されると、ブロックレベル補正は、Ｍ９０３にアクセスすることと、計算されたオプティカルフローベクトルを使用することとにより９０７において計算される。９０６は、勾配値を格納するために９０６が必要な代わりに、Ｍ９０３からアクセスされたサンプル値を使用して勾配を再計算できる。最終的な双予測サンプル値は、Ｍ９０３のサンプル値と、９０７から渡された補正値とにアクセスすることにより、９０８において計算される。

【0093】

表２は、異なる機能ユニットにわたるこの実施形態における同時性のレベルを示す。主な機能ブロックは、列にわたって示され、異なるタイミングに関連するステージは、行に示される。ステージＴ２およびＴ４が同時性を可能にすることが、表から見られ得る。具体的に、Ｔ２の間、補間およびＤＭＶＲコスト算出が同時に発生する。Ｔ４の間、４×４ブロックの行に対して、オプティカルフロー推定と、フローベクトルおよび勾配ベースの補正とをパイプライン化する。垂直方向に複数のサブＰＵを有するより大きい符号化ユニットにおいて、列単位でサブＰＵの処理を行うことにより、８個の水平補間されたラインバッファと２つの垂直補間されたラインバッファとが、前のサブＰＵから再使用され得、Ｔ１のオーバーヘッドを回避する。しかしながら、すべての８×８符号化ユニットの最悪のケースでは、１つのＣＵのＴ１ステージの出力は、別のＣＵに使用されることができない。しかしながら、１つのサブＰＵ／ＣＵのステージＴ１と、別のサブＰＵ／ＣＵのステージＴ５とは、並列に行われ得る。

【表4】

表２：実施形態２の異なる機能ブロックにわたっての同時性表

【0094】

メモ：ＣＵ内のサブＰＵにわたって列単位でトラバースする場合、Ｔ１の動作のほとんどは、サブＰＵ間において非表示にできる。ただし、最悪のケースは、小さいＣＵ（例えば、８×８）に対して発生し、ここで各８×８は、独自のＴ１ステージを発生させ、これはＴ２と同等のタイミングでありできる。

【0095】

図１０は、ＤＭＶＲを適用しない符号化ユニットに、ＢＰＯＦがどのように適用されるかを示す図である。メモリユニットＭ１００１、Ｍ１００２およびＭ１００３はそれぞれ、Ｍ９０１、Ｍ９０２およびＭ９０３と機能が同様である。処理ユニット１００１、１００２、１００６、１００７および１００８はそれぞれ、９０１、９０２、９０６、９０７および９０８と機能が同様である。ＤＭＶＲが実行されないので、関連するブロックサイズは、ＤＭＶＲリファインメント範囲パラメータＳに依存しない。しかしながら、ＤＭＶＲの場合と同じ方法論が採用され、ＤＭＶＲを採用する符号化ユニットとＤＭＶＲを採用しない符号化ユニットとにわたるハードウェア実装およびソフトウェア実装を調和させる。

【0096】

図１１は、ＢＰＯＦを採用しない符号化ユニットに、ＤＭＶＲがどのように実行されるかを示す図である。メモリユニットＭ１１０１、Ｍ１１０２およびＭ１１０３はそれぞれ、Ｍ９０１、Ｍ９０２およびＭ９０３と機能が同様である。処理ユニット１１０１、１１０２、１１０４、１１０５、１１０７および１１０８はそれぞれ、９０１、９０２、９０４、９０５、９０７および９０８と機能が同様である。処理ユニット１１０６は、１１０４において評価され１１０５を通過する整数距離位置コストを使用してモデリングされたパラメトリックなエラー表面を使用して、全体のサブＰＵに対するサブペル精度のフローベクトルを計算するという点で、９０６と異なる。

【0097】

図９および図１１のシステムおよび方法において、サブピクセル精度のデルタＭＶが利用可能であるとき、それは、サブＰＵに対して、リファインされたＭＶを更新するのに使用され、その結果、リファインされたＭＶは、（マージまたはＡＭＶＰにおける）空間ＭＶ予測に、デブロッキング強度決定に、およびエンコード順序における将来のアクセスユニットのための時間的動きベクトル予測因子として使用され得る。サブピクセルのデルタＭＶの更新されたリファインされたＭＶはまた、輝度サブＰＵに対応するクロマ部のクロマ動き補償に使用される。

【0098】

この実施形態の主な利点は、２つのサブＰＵステージにわたって整数グリッドサンプルを維持する必要がないことにより、内部メモリ要件を減らすことである。参照ごとに、補間された（ｓＰＵｗ＋６）×（ｓＰＵｈ＋６）のサンプルのみが格納され、これは、ｓＰＵｗ＝８およびｓＰＵｈ＝８の最悪のケースの（ｓＰＵｗ＋１３）×（ｓＰＵｈ＋１３）よりはるかに小さい。また、中心サンプルに対して双線形補間を実行しないことにより、計算の複雑性を減らす。また、補間とＤＭＶＲコスト計算との間の行レベルのパイプライン化、ならびに、フローベクトル推定とＢＰＯＦベースの補正との間の４×４レベルのパイプライン化の行を実行する能力を有することにより、同時性も向上する。また、サブＣＵレベルの動き補償を必要とするのではなく、リファインメントのための動き補償と、ＤＣＴＩＦベースの動き補償とが、全体の輝度符号化ユニットにおいて実行されることを可能にすることにより、ソフトウェア実装における平均処理時間が減少する。これは、輝度のサブピクセル精度のデルタＭＶ部分を無効にすることにより可能となる。最悪のケースのプリフェッチキャッシュアクセスは、ＤＭＶＲおよび／またはＢＰＯＦがない場合とほぼ同じレベルに保持される。符号化効率の影響は最小に保持される。

【0099】

この実施形態において、ＤＭＶＲからのゼロデルタＭＶに対してＤＣＴＩＦを使用し、非ゼロデルタＭＶに必要とされる追加サンプルに対してより単純な補間を使用するように標準的な動き補償を修正することと、ＤＭＶＲとＢＰＯＦとに対して同じ補間を使用することとのためのシステムおよび方法が開示される。補間を伴うＤＭＶＲコスト算出の行レベルのパイプライン化された処理のためのシステムおよび方法が開示される。輝度のサブピクセル精度のデルタＭＶを無効にするが、サブＰＵのリファインされたＭＶとクロマＭＣとを更新するために、サブピクセル精度のデルタＭＶを依然として使用することにより、ソフトウェアの計算の複雑性を減少させるシステムおよび方法が開示される。
［実施形態３］

【0100】

実施形態２の変形例であるこの実施形態において、ＣＵ内の各サブＰＵにおけるサンプルの各４×４ブロックに対するＢＤＯＦベースのオプティカルフローベクトル推定は、ＤＭＶＲコスト評価と実質的に並列して実行され、したがって、ＤＭＶＲにより決定されるリファインされた動きベクトルに依存しない。

【0101】

図１２は、輝度サンプルの符号化ユニットブロックのサブＰＵについてのこの実施形態を示す。符号化ユニットブロックは、サブＰＵに強制的にパーティション化され、その結果、リファインメントブロックサイズは予め定められた幅および予め定められた高さを越えない。符号化ユニットブロックが、予め定められた幅より小さいまたはそれに等しい幅と、予め定められた高さより小さいまたはそれに等しい高さとを有する場合、より小さいブロックに強制的にパーティション化されることはなく、サブＰＵと符号化ユニットブロックとは同じになる。

【0102】

水平および垂直ＤＣＴＩＦベースの補間ブロック１２０１および１２０２が示されるが、特定のブロックが水平方向の補間のみを有するまたは垂直方向の補間のみを有するまたは補間を必要とせずに単に整数グリッドサンプルを使用する場合があることを理解されたい。水平動きベクトル成分と垂直動きベクトル成分との両方が端数ピクセル部分を有する場合の最悪のケースにおいて、水平ＤＣＴＩＦベースの補間と垂直ＤＣＴＩＦベースの補間との両方が適用されるものとする。両方の補間が存在する場合、垂直方向の補間と水平方向の補間とは、行レベルのパイプラインにおいて発生し得る。

【0103】

ブロック１２０３において、ＤＭＶＲに対する整数距離位置コストの評価は、最終的な補間サンプルを使用して計算される。差分絶対値和または行平均除去された差分絶対値和などの特定のコスト関数に対して、コスト評価は、補間を伴う行レベルのパイプラインにおいて発生し得ることに留意すべきである。

【0104】

ブロック１２０４では、マージＭＶからのすべてのリファインメントデルタ整数距離動きベクトル位置において評価されたコストに基づいて、最良の整数距離位置が決定される。最良コストの整数距離デルタ動きベクトルがリファインメント範囲の境界に存在しない場合、パラメトリックなエラー表面が最良コストの整数距離デルタ動きベクトルにおける且つその周りの整数距離コスト関数値に適合され、最良サブピクセル精度のデルタ動きベクトルを取得する。

【0105】

ブロック１２０５では、現在のサブＰＵ内のサンプルの各４×４ブロックについて、前述の双予測オプティカルフロー推定処理を使用して、オプティカルフローベクトルが推定される。このオプティカルフローベクトル推定は、ＤＭＶＲを使用したリファインされたＭＶの決定に依存しないことに留意すべきである。

【0106】

ブロック１２０６では、最終的な双予測の出力サンプルを生成するのにＤＭＶＲのリファインされたＭＶが使用されるものとするか、または、最終的な双予測の出力サンプルを生成するのにＢＤＯＦオプティカルフローベクトルが使用されるものとするかについての決定が行われる。この決定は、ＢＤＯＦベクトルの使用を優先して行われ、以下のルールのうち１または複数を使用して行われ得る。
１．最良コストの整数距離デルタ動きベクトルがゼロベクトルであるとき。
２．ゼロデルタ動きベクトルＤＭＶＲコストから最良コストを引いた値が、予め定められた閾値より小さいとき（例えば、１６×１６のサブＰＵに対して、予め定められた閾値は、１４ビット補間サンプルを使用するコスト関数を計算する場合、１６、３２、または６４であり得る）。いくつかの実施形態において、最良コストは、整数距離デルタＭＶのみに基づくことができる。いくつかの他の実施形態において、最良コストは、整数距離コスト関数値のパラメトリックなエラー表面に基づくことができる。
３．ターゲットサブＰＵ内の輝度サンプルのすべての４×４ブロックにわたるＢＰＯＦベクトルのユークリッドまたはマンハッタン距離の分散は、予め定められた閾値を超える（例えば、１６個の４×４ブロックのサンプルを含むサイズ１６×１６のサブＰＵの場合、マンハッタン距離の分散に対する予め定められた閾値は、０．２５、０．４、０．５などといった値であり得る）。

【0107】

ブロック１２０７では、ブロック１２０６において行われた決定に基づいて、最終的な双予測されたサンプルが生成される。具体的には、ブロック１２０７がＤＭＶＲを選択するとき、整数距離デルタＭＶオフセットのサンプルの予測されたブロックであるＬ０およびＬ１が、現在のサブＰＵに対する予測されたサンプルとしてアクセスされる。デルタＭＶが、明示的にまたはパラメトリックなエラー表面を使用して決定されたサブピクセル精度の部分を有するとき、次に、式１．１４は、それぞれがデルタＭＶの水平成分および垂直成分のサブピクセル部分であるｖｘおよびｖｙを用いて適用され、勾配は、アクセスされた予測されたサンプルを使用して計算される。したがって、整数距離デルタＭＶにおける双予測は、サブピクセルのデルタＭＶとサンプル勾配の差とを使用して修正される。

【0108】

一方で、ブロック１２０７がＢＤＯＦを選択するとき、式１．１４は、ブロック１２０５内のその４×４に対する計算されたオプティカルフローベクトルを使用することにより、サブＰＵ内のサンプルの各４×４ブロックに適用される。

【0109】

１２０６による決定に関わらず、１２０４からのデルタＭＶは、サブＰＵに対するリファインされたＭＶを更新するのに使用され、これは、必要に応じて、デブロッキング、時間的ＭＶ予測、および空間ＭＶ予測に使用され得る。

【0110】

リファインされたＭＶはまた、サブＰＵの色差成分に対して動き補償を実行するためにも使用される。一実施形態において、決定ブロック１２０６がＢＤＯＦを選択するとき、デルタＭＶは、色差成分に対する動き補償を実行するのに使用されるリファインされたＭＶを取得する前に、各成分において－１と１との間にクリップされる。

【0111】

図１３は、異なる処理ブロックにわたっての依存関係を示す。（２－Ｄ分離可能な補間の場合における）垂直方向の補間は、水平方向の補間に続く。例えば、８タップＤＣＴＩＦが補間に使用されるとき、８行の水平補間行が利用可能となった後、垂直方向の補間の１つの行が発生し得る。この後、水平方向の補間の１つの行と垂直方向の補間の１つの行とは、インターリーブされ得る（または、同時に発生し得る）。補間サンプルの行が利用可能となったらすぐに、ブロック１２０４の整数距離コスト評価は、ＤＭＶＲにより評価されるデルタＭＶのいくつかの位置に対して開始することができる。同様に、処理ブロック１２０５に対する勾配算出および勾配和算出は、補間サンプルが利用可能となったらすぐに、開始することができる。したがって、１２０４および１２０５における処理は並列で発生し得る。ブロック１２０６の決定は、ブロック１２０５がリファインメントＭＶを確定するとすぐに発生する。双予測に対する勾配ベースの補正は、ブロック１２０６の決定に依存する。

【0112】

上記の手順のすべては、エンコーダまたはデコーダにおいて実装され得る。デコーダまたはエンコーダであり得る例示的なビデオ符号化デバイス４００が、図１４に示される。

【0113】

ビデオ符号化デバイス４００は、入口ポート４１０（または入力ポート４１０）と、データを受信するための受信ユニット（Ｒｘ）４２０と、プロセッサと、論理ユニットと、データを処理するための処理回路または中央処理ユニット（ＣＰＵ）４３０と、送受信器ユニット（Ｔｘ）４４０と、データを送信するための出口ポート４５０（または出力ポート４５０）と、データを格納するためのメモリ４６０とを備える。ビデオ符号化デバイス４００はまた、光信号または電気信号のエグレスまたはイングレスのために、入口ポート４１０、受信ユニット４２０、送受信器ユニット４４０、および出口ポート４５０に接続された光／電気（ＯＥ）成分と電気／光（ＥＯ）成分とを備え得る。

【0114】

プロセッサ４３０は、ハードウェアおよびソフトウェアにより実装され得る。プロセッサ４３０は、１または複数のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、ＦＰＧＡ、ＡＳＩＣ、およびＤＳＰとして実装され得る。プロセッサ４３０は、入口ポート４１０、受信ユニット４２０、送受信器ユニット４４０、出口ポート４５０、およびメモリ４６０と通信している。プロセッサ４３０は符号化モジュール４７０を備え得、ここで様々な符号化処理が、特に、上記の手順が処理され、準備され、または提供され得る。代替的に、符号化モジュール４７０は、メモリ４６０に格納され、プロセッサ４３０により実行される命令として実装される。

【0115】

メモリ４６０は、１または複数のディスク、テープドライブ、およびソリッドステートドライブを備え得、オーバーフローデータ格納デバイスとして使用され、そのようなプログラムが実行のために選択された場合にプログラムを格納して、プログラムを実行している間に読み取られる命令およびデータを格納し得る。メモリ４６０は、例えば、揮発性および／または非揮発性であり得、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、三値連想メモリ（ＴＣＡＭ）、および／またはスタティックランダムアクセスメモリ（ＳＲＡＭ）であり得る。

【0116】

［略語および用語集の定義］
ＤＭＶＲ：デコーダ側の動きベクトルのリファインメント（Ｄｅｃｏｄｅｒ Ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）
ＳＡＤ：差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）
ＭＶ：動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）
ＢＰＯＦ：双予測サンプルのための双予測オプティカルフローベースのピクセル単位補正（Ｂｉ－ｐｒｅｄｉｃｔｉｖｅ Ｏｐｔｉｃａｌ Ｆｌｏｗ ｂａｓｅｄ ｐｅｒ－ｐｉｘｅｌ ｃｏｒｒｅｃｔｉｏｎ ｆｏｒ ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｓａｍｐｌｅｓ）
ＤＣＴＩＦ：所与のサンプルのブロックに対する参照フレームに関する所与のサブピクセル動きベクトルに基づく参照サンプルの動き補償補間に使用される離散コサイン変換ベースの補間フィルタ（Ｄｉｓｃｒｅｔｅ－Ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ ｂａｓｅｄ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｉｌｔｅｒ ｕｓｅｄ ｆｏｒ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｅｄ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｏｆ ｒｅｆｅｒｅｎｃｅ ｓａｍｐｌｅｓ ｂａｓｅｄ ｏｎ ａ ｇｉｖｅｎ ｓｕｂ－ｐｉｘｅｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｗｉｔｈ ｒｅｓｐｅｃｔ ｔｏ ｔｈａｔ ｒｅｆｅｒｅｎｃｅ ｆｒａｍｅ ｆｏｒ ａ ｇｉｖｅｎ ｂｌｏｃｋ ｏｆ ｓａｍｐｌｅｓ）
ＭＣ：動き補償（Ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）
ＨＥＶＣ：高効率ビデオ符号化規格（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）
ＶＶＣ：多用途映像符号化規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）
［他の考えられる項目］
［項目１］
インター予測方法であって、
現在のピクチャの現在のピクチャブロックの動き情報に基づいて参照サンプルを選択する段階と、
選択された上記参照サンプルに対して第１補間を実行することにより、第１補間サンプルを導出する段階と、
上記第１補間サンプルに基づいて整数距離の動きベクトルのリファインメント、ＭＶＲ、を実行することにより、ターゲットサブ予測ユニット、ＰＵ、の整数距離デルタ動きベクトルを導出する段階であって、上記ターゲットサブＰＵは上記現在のピクチャブロック内にある、導出する段階と、
上記第１補間サンプルおよび上記整数距離デルタ動きベクトルに基づいて、上記ターゲットサブＰＵ内のそれぞれのＭ×Ｍピクセルマトリクスに対して、双予測オプティカルフロー、ＢＰＯＦ、を実行することにより、Ｍ×Ｍピクセルマトリクスフローベクトルを導出する段階であって、Ｍは正の整数であり、上記Ｍ×Ｍピクセルマトリクスのサイズは、上記ターゲットサブＰＵのサイズより小さい、導出する段階と、
上記参照サンプルに対して第２補間を実行することにより、第２補間サンプルを導出する段階と、
上記Ｍ×Ｍピクセルマトリクスフローベクトル、上記第１補間サンプル、および上記第２補間サンプルに基づいて、上記ターゲットサブＰＵに対して少なくとも１つの補正パラメータを計算する段階と、
上記第２補間サンプルおよび上記少なくとも１つの補正パラメータに基づいて、双予測を実行する段階と
を備える、方法。
［項目２］
上記動き情報は、符号化ツリーブロックレベルまたは仮想パイプラインデータユニットレベルにおける動きベクトルを備える、項目１に記載の方法。
［項目３］
上記第２補間は、上記現在のピクチャブロックの動きベクトルと、上記ターゲットサブＰＵに対して導出された上記整数距離デルタ動きベクトルとを使用して実行される、項目１または２に記載の方法。
［項目４］
上記ターゲットサブＰＵに対する上記少なくとも１つの補正パラメータは、上記ターゲットサブＰＵのサンプルに対して算出されたサンプル勾配から計算される、項目１から３のいずれかに記載の方法。
［項目５］
上記双予測を実行する上記段階は、第１参照ピクチャＬ０に基づく上記補正パラメータを使用して第１予測ピクチャを生成する段階と、第２参照ピクチャＬ１に基づく上記補正パラメータを使用して第２予測ピクチャを生成する段階とを備える、項目１から４のいずれかに記載の方法。
［項目６］
上記参照サンプルの整数グリッドサンプルは第１メモリに格納され、上記第１補間サンプルは、上記第１メモリとは異なる第２メモリに格納される、項目１から５のいずれかに記載の方法。
［項目７］
上記第２補間は、分離可能な補間フィルタにより実行される、項目１から６に記載の方法。
［項目８］
上記ターゲットサブＰＵに対して上記少なくとも１つの補正パラメータを計算する段階の前に、上記方法は、
上記第１補間サンプルに基づいて、上記ターゲットサブＰＵの左右境界サンプル位置における水平境界のサンプル勾配と、上記ターゲットサブＰＵの上下境界サンプル位置における垂直境界のサンプル勾配とを導出する段階を備える、項目１から８のいずれか一項に記載の方法。
［項目９］
上記水平境界のサンプル勾配と上記垂直境界のサンプル勾配とは、上記ＭＶＲを実行した後に導出される、項目８に記載の方法。
［項目１０］
上記ターゲットサブＰＵに対する上記少なくとも１つの補正パラメータは、上記水平境界のサンプル勾配および上記垂直境界のサンプル勾配に基づいて計算される、項目８または９に記載の方法。
［項目１１］
上記第１補間は双線形補間である、項目１から１０のいずれか一項に記載の方法。
［項目１２］
上記第２補間は離散コサイン変換補間である、項目１から１１のいずれか一項に記載の方法。
［項目１３］
Ｍは４である、項目１から１２のいずれか一項に記載の方法。
［項目１４］
インター予測方法であって、
現在のピクチャの現在のピクチャブロックの動き情報に基づいて参照サンプルを選択する段階と、
選択された上記参照サンプルに対して補間を実行することにより補間サンプルを導出する段階と、
上記補間サンプルに基づいて、整数距離の動きベクトルのリファインメント、ＭＶＲ、コストを算出する段階と、
算出された上記整数距離ＭＶＲコストに基づいて、整数距離デルタ動きベクトルを決定する段階と、
上記補間サンプルおよび上記整数距離デルタ動きベクトルに基づいて、ターゲットサブ予測ユニット、ＰＵ、内のそれぞれのＭ×Ｍピクセルマトリクスに対して、双予測オプティカルフロー、ＢＰＯＦ、を実行することにより、Ｍ×Ｍピクセルマトリクスフローベクトルを導出する段階であって、Ｍは正の整数であり、Ｍ×Ｍは上記サブＰＵのサイズより小さく、上記ターゲットサブＰＵは上記現在のピクチャブロック内にある、導出する段階と、
上記Ｍ×Ｍピクセルマトリクスフローベクトルおよび上記補間サンプルに基づいて、上記ターゲットサブＰＵに対して少なくとも１つの補正パラメータを計算する段階と、
上記補間サンプルおよび上記少なくとも１つの補正パラメータに基づいて、双予測を実行する段階と
を備える、方法。
［項目１５］
上記動き情報は、符号化ツリーブロックレベルまたは仮想パイプラインデータユニットレベルにおける動きベクトルを備える、項目１４に記載の方法。
［項目１６］
上記ターゲットサブＰＵに対する上記少なくとも１つの補正パラメータは、上記ターゲットサブＰＵのサンプルに対して算出されたサンプル勾配から計算される、項目１４から１５のいずれかに記載の方法。
［項目１７］
上記双予測を実行する上記段階は、第１参照ピクチャＬ０に基づく上記補正パラメータを使用して第１予測ピクチャを生成する段階と、第２参照ピクチャＬ１に基づく上記補正パラメータを使用して第２予測ピクチャを生成する段階とを備える、項目１４から１６のいずれかに記載の方法。
［項目１８］
上記補間は、分離可能な補間フィルタにより実行される、項目１４から１７に記載の方法。
［項目１９］
上記ターゲットサブＰＵに対する上記少なくとも１つの補正パラメータを計算する段階の前に、上記方法は、
上記ターゲットサブＰＵに対する上記少なくとも１つの補正パラメータを計算する前に、上記補間サンプルに基づいて上記ターゲットサブＰＵの境界勾配を導出する段階を備える、項目１４または１８に記載の方法。
［項目２０］
上記ターゲットサブＰＵに対する上記少なくとも１つの補正パラメータは、上記境界勾配に基づいて計算される、項目１９に記載の方法。
［項目２１］
上記補間は双線形補間または離散コサイン変換補間である、項目１４から２０のいずれか一項に記載の方法。
［項目２２］
Ｍは４である、項目１４から２１のいずれか一項に記載の方法。
［項目２３］
上記補間サンプルの最初および最後のＮ行は、同じ第１補間方法を使用して決定され、上記最初および最後のＮ行を除く上記補間サンプルの行は、同じ第２補間方法を使用して決定される、項目１４から２のいずれか一項に記載の方法。
［項目２４］
Ｎは３である、項目２３に記載の方法。
［項目２５］
上記第１補間方法は離散コサイン変換補間または双線形補間であり、上記第２補間は離散コサイン変換補間である、項目２３または２４に記載の方法。
［項目２６］
インター予測方法であって、
現在のピクチャの現在のピクチャブロックの動き情報により参照サンプルを選択する段階と、
上記現在のピクチャブロックのターゲットサブ予測ユニット、ＰＵ、に対する補間サンプルを導出する段階であって、上記段階は、選択された上記参照サンプルの上記参照サンプルに対して第１補間を実行することであって、その位置は上記現在のピクチャブロックの動きベクトル、ＭＶ、リファインメント範囲内の上記ゼロデルタ動きベクトルに対応する、実行することと、選択された上記参照サンプルの上記参照サンプルに対して第２補間を実行することであって、その位置は上記現在のピクチャブロックの上記ＭＶリファインメント範囲内の上記ゼロデルタＭＶに対応しない、実行することとによって行われる、導出する段階と、
上記補間サンプルに基づいて、整数距離の動きベクトルのリファインメント、ＭＶＲ、コストを算出する段階と、
算出された上記整数距離ＭＶＲコストに基づいて、整数距離デルタ動きベクトルを決定する段階と、
算出された上記整数距離ＭＶＲコストを使用して、決定された上記整数距離デルタ動きベクトルの周りのサブピクセル精度のデルタ動きベクトルを決定する段階と、
上記ゼロデルタ動きベクトルの位置における上記補間サンプルに基づいて、上記ターゲットサブＰＵ内のサンプルの各Ｍ×Ｍ輝度ブロックに対して、双予測オプティカルフロー、ＢＰＯＦ、を実行することにより、Ｍ×Ｍピクセルマトリクスフローベクトルを導出する段階であって、Ｍは正の整数であり、Ｍ×Ｍは上記サブＰＵのサイズより小さく、上記ターゲットサブＰＵは上記現在のピクチャブロック内にある、導出する段階と、
上記ターゲットサブＰＵに対する輝度インター予測が、上記ターゲットサブＰＵに対する決定された上記デルタ動きベクトル、または、上記ターゲットサブＰＵ内のサンプルの各Ｍ×Ｍ輝度ブロックに対して上記導出されたＢＰＯＦベクトルを使用して実行されるかどうかを決定する段階と、
ターゲットサブＰＵに対する上記輝度インター予測が、上記導出されたＢＰＯＦベクトルを使用して実行されると決定された場合、上記Ｍ×Ｍピクセルマトリクスフローベクトルと上記補間サンプルとに基づいて、上記ターゲットサブＰＵに対する少なくとも１つの補正パラメータを計算する段階と、
ターゲットサブＰＵに対する上記輝度インター予測が、決定された上記デルタ動きベクトルを使用して実行されると決定された場合、決定された上記デルタ動きベクトルに基づいて、上記ターゲットサブＰＵに対する少なくとも１つの補正パラメータを計算する段階と、
上記補間サンプルと上記少なくとも１つの補正パラメータとに基づいて、双予測を実行する段階と
を備える方法。
［項目２７］
上記ターゲットサブＰＵに対する上記少なくとも１つの補正パラメータは、上記ターゲットサブＰＵのサンプルに対して算出されたサンプル勾配から計算される、項目２６に記載の方法。
［項目２８］
上記双予測を実行する上記段階は、第１参照ピクチャＬ０に基づく上記補正パラメータを使用して第１予測ピクチャを生成する段階と、第２参照ピクチャＬ１に基づく上記補正パラメータを使用して第２予測ピクチャを生成する段階とを備える、項目２６から２７のいずれかに記載の方法。
［項目２９］
上記第２補間は、分離可能な補間フィルタにより実行される、項目２６から２８のいずれかに記載の方法。
［項目３０］
上記第１補間は離散コサイン変換補間である、項目２６から２９のいずれかに記載の方法。
［項目３１］
上記第２補間は双線形または離散コサイン変換補間である、項目２６から３０のいずれか一項に記載の方法。
［項目３２］
Ｍは４である、項目２６から３１のいずれか一項に記載の方法。
［項目３３］
上記ターゲットサブＰＵに対する上記輝度インター予測は、
ａ）最良コストの整数距離デルタ動きベクトルがゼロベクトルである
ｂ）上記ゼロデルタ動きベクトルのＭＶＲコストから上記最良コストを引いた値が予め定められた閾値より小さい
ｃ）ターゲットサブＰＵ内の輝度サンプルのすべての４×４ブロックにわたるＢＰＯＦベクトルのユークリッドまたはマンハッタン距離の分散が、予め定められた閾値を超える
といった条件の１または複数が満たされる場合、上記ターゲットサブＰＵ内のサンプルの各Ｍ×Ｍ輝度ブロックに対して上記導出されたＢＰＯＦベクトルを使用して実行されることが決定される、項目２６から３２のいずれかに記載の方法。
［項目３４］
ビデオピクチャをエンコードする方法であって、
上記ビデオピクチャを受信する段階と、項目１から３４のいずれかに記載のインター予測方法を、上記ビデオピクチャのブロックに適用する段階と、実行された上記双予測に基づいて上記ビデオピクチャをエンコードする段階とを備える、方法。
［項目３５］
エンコードされたビデオピクチャをデコードする方法であって、
エンコードされた上記ビデオピクチャを受信する段階と、項目１から３３のいずれかに記載のインター予測方法を、エンコードされた上記ビデオピクチャのブロックに適用する段階と、実行された上記双予測に基づいて、エンコードされた上記ビデオピクチャをデコードする段階とを備える、方法。
［項目３６］
項目１から３４のいずれか一項に記載の方法を実行するための処理回路を備える、エンコーダ（４００）。
［項目３７］
項目１から３３または項目３５のいずれか一項に記載の方法を実行するための処理回路を備える、デコーダ（４００）。
［項目３８］
項目１から３５のいずれか一項に記載の方法を実行するためのプログラムコードを備える、コンピュータプログラム製品。
［項目３９］
１または複数のプロセッサ（４３０）と、
上記１または複数のプロセッサ（４３０）に接続され、上記１または複数のプロセッサ（４３０）により実行されるプログラミングを格納する非一時的コンピュータ可読記憶媒体（４６０）と
を備えるエンコーダ（４００）であって、
上記プログラミングは、上記１または複数のプロセッサ（４３０）により実行される場合、項目１から３４のいずれか一項に記載の方法を実行するように上記エンコーダ（４００）を構成する、エンコーダ（４００）。
［項目４０］
１または複数のプロセッサ（４３０）と、
上記１または複数のプロセッサ（４３０）に接続され、上記１または複数のプロセッサ（４３０）により実行されるプログラミングを格納する非一時的コンピュータ可読記憶媒体（４６０）と
を備えるデコーダ（４００）であって、
上記プログラミングは、上記１または複数のプロセッサ（４３０）により実行される場合、項目１から３３または項目３５のいずれか一項に記載の方法を実行するように上記デコーダ（４００）を構成する、デコーダ（４００）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】