▶ ベイジン・ダジア・インターネット・インフォメーション・テクノロジー・カンパニー，リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-20
(45)【発行日】2024-10-01
(54)【発明の名称】オプティカルフローを用いる予測改善のための方法および装置
(51)【国際特許分類】
H04N 19/513 20140101AFI20240924BHJP
H04N 19/563 20140101ALI20240924BHJP
H04N 19/577 20140101ALI20240924BHJP
【ＦＩ】
H04N19/513
H04N19/563
H04N19/577
【請求項の数】
20
【外国語出願】
(21)【出願番号】P 2023069776
(22)【出願日】2023-04-21
(62)【分割の表示】P 2021563141の分割
【原出願日】2020-04-27
(65)【公開番号】P2023089255
(43)【公開日】2023-06-27
【審査請求日】2023-04-21
(31)【優先権主張番号】62/838,939
(32)【優先日】2019-04-25
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521024075
【氏名又は名称】ベイジン・ダジア・インターネット・インフォメーション・テクノロジー・カンパニー，リミテッド
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100138759
【弁理士】
【氏名又は名称】大房 直樹
(74)【代理人】
【識別番号】100201743
【弁理士】
【氏名又は名称】井上 和真
(72)【発明者】
【氏名】シウ，シヤオユー
(72)【発明者】
【氏名】チェン，イー－ウエン
(72)【発明者】
【氏名】ワーン，シアーンリン
(72)【発明者】
【氏名】イエ，シュイミーン
(72)【発明者】
【氏名】マ，ツン－チュアン
(72)【発明者】
【氏名】ジュ，ホーン－ジェン
【審査官】田中 純一
(56)【参考文献】
【文献】特表２０２２－５２３７９５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
ビデオデータを符号化するための、オプティカルフローを用いる予測改善（ＰＲＯＦ）の方法であって、前記ビデオデータの中の現在のピクチャ内のビデオブロックに関連した第１の参照ピクチャと、前記現在のピクチャ内のビデオブロックから前記第１の参照ピクチャ内の参照ブロックへの第１の動きベクトル（ＭＶ）とを取得するステップであって、前記第１の参照ピクチャが、オーバラップしない複数のビデオブロックを含み、少なくとも１つのビデオブロックが少なくとも１つのＭＶに関連付けられる、ステップと、
前記第１の参照ピクチャの中の前記参照ブロックのサンプルから生成されたビデオブロックの第１の予測サンプルを取得するステップと、
シフト値によるシフト演算を実行することにより内部ＰＲＯＦパラメータのビット深度を制御するステップであって、前記シフト値が、双方向オプティカルフロー（ＢＤＯＦ）処理で使用される勾配値の計算のための第１のシフト値を含み、前記内部ＰＲＯＦパラメータが、第１の予測サンプルに関して導出された水平方向勾配値、垂直方向勾配値、水平方向動き差分および垂直方向動き差分を含む、ステップと、
前記水平方向勾配値および前記垂直方向勾配値ならびに前記水平方向動き差分および前記垂直方向動き差分を基に、前記第１の予測サンプルの予測改善値を取得するステップと、
第２のＭＶに関連した第２の予測サンプルと、第２の予測サンプルの対応する予測改善値とを取得するステップと、
前記第１の予測サンプルと前記第２の予測サンプルと前記予測改善値とに基づいて、前記ビデオブロックの最終予測サンプルを取得するステップと
を含む方法。
【請求項2】
前記シフト値による前記シフト演算を実行することにより前記内部ＰＲＯＦパラメータの当該ビット深度を制御するステップが、前記ビデオブロック内の１つのサンプルについて、前記１つのサンプルに対して水平方向に隣接する２つのサンプルの予測サンプルと前記第１のシフト値とに基づいて水平方向勾配値を取得するステップと、
前記１つのサンプルに対して垂直方向に隣接する２つのサンプルの予測サンプルと前記第１のシフト値とに基づいて垂直方向勾配値を取得するステップと
を含む、請求項１に記載の方法。
【請求項3】
前記第１のシフト値が、６と、符号化ビット深度値から６を減じた値とのうちの大きい方に等しい、請求項２に記載の方法。
【請求項4】
前記ビデオブロック内の当該１つのサンプルについて、前記ビデオブロックを含む符号化ブロックの制御点ＭＶを取得するステップであって、前記制御点ＭＶが、前記符号化ブロックの、左上の制御点ＭＶ、右上の制御点ＭＶ、および左下の制御点ＭＶを含む、ステップと、
前記制御点ＭＶに基づいて導出されたアフィンモデルパラメータを取得するステップと、
前記アフィンモデルパラメータ、水平方向オフセット、および垂直方向オフセットに基づいて水平方向ＭＶ差分および垂直方向ＭＶ差分を取得するステップと、
前記水平方向ＭＶ差分を第２のシフト値だけ右シフトするステップと、
前記垂直方向ＭＶ差分を前記第２のシフト値だけ右シフトするステップと
をさらに含む、請求項２に記載の方法。
【請求項5】
前記第２のシフト値が、１３から勾配値の精密なビット深度を減じたものに等しい、請求項４に記載の方法。
【請求項6】
前記勾配値の精密なビット深度が、６と、符号化ビット深度から６を減じた値とのうちの大きい方に等しい、請求項５に記載の方法。
【請求項7】
前記ビデオブロックの最終予測サンプルを取得するステップが、前記第１の予測サンプル用に生成された水平方向勾配値、水平方向ＭＶ差分、垂直方向勾配値、および垂直方向ＭＶ差分に基づいて第１の予測改善値を取得するステップと、
前記第２の予測サンプル用に生成された水平方向勾配値、水平方向動き差分、垂直方向勾配値、および垂直方向動き差分に基づいて第２の予測改善値を取得するステップと、
前記第１の予測改善値と前記第２の予測改善値との平均をとることによって前記予測改善値を取得するステップと、
前記第１の予測サンプルと、前記第２の予測サンプルと、前記予測改善値との合計に基づいて、双予測サンプルを取得するステップと、
前記合計を第３のシフト値だけ右シフトするステップと
を含む、請求項４に記載の方法。
【請求項8】
前記第１の予測サンプルの前記水平方向勾配値および前記垂直方向勾配値を取得するステップが、前記第１の予測サンプル用の前記ビデオブロックの上境界、左境界、下境界、および右境界の各々に対して当該ビデオブロック外で隣接する予測サンプルの追加の行または列を導出するステップをさらに含む、請求項２に記載の方法。
【請求項9】
前記予測サンプルの前記追加の行または列を導出するステップが、前記第１の参照ピクチャ内の整数参照サンプルから、当該ビデオブロック外で前記左境界および前記右境界に隣接する予測サンプルを、分数サンプル位置の左側に導出するステップと、
前記第１の参照ピクチャ内の整数参照サンプルから、当該ビデオブロック外で前記上境界および前記下境界に隣接する予測サンプルを、前記分数サンプル位置の上側に導出するステップと
をさらに含む、請求項８に記載の方法。
【請求項10】
前記予測サンプルの前記追加の行または列を導出するステップが、当該ビデオブロック外で前記左境界および前記右境界に隣接する予測サンプルを、前記第１の参照ピクチャにおいてそれぞれの分数サンプル位置に対して水平方向に最も近い整数参照サンプルから導出するステップと、
当該ビデオブロック外で前記上境界および前記下境界に隣接する予測サンプルを、前記第１の参照ピクチャにおいて前記それぞれの分数サンプル位置に対して垂直方向に最も近い整数参照サンプルから導出するステップと
をさらに含む、請求項８に記載の方法。
【請求項11】
ビデオデータを符号化するためのコンピューティングデバイスであって、１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読記憶媒体とを備え、
前記１つまたは複数のプロセッサが、
前記ビデオデータの中の現在のピクチャ内のビデオブロックに関連した第１の参照ピクチャと、前記現在のピクチャ内のビデオブロックから前記第１の参照ピクチャ内の参照ブロックへの第１の動きベクトル（ＭＶ）とを取得する処理であって、前記第１の参照ピクチャが、オーバラップしない複数のビデオブロックを含み、少なくとも１つのビデオブロックが少なくとも１つのＭＶに関連付けられる、処理と、
前記第１の参照ピクチャの中の前記参照ブロックのサンプルから生成されたビデオブロックの第１の予測サンプルを取得する処理と、
シフト値によるシフト演算を実行することにより内部ＰＲＯＦ（オプティカルフローを用いた予測改善）パラメータのビット深度を制御する処理であって、前記シフト値が、双方向オプティカルフロー（ＢＤＯＦ）処理で使用される勾配値の計算のための第１のシフト値を含み、前記内部ＰＲＯＦパラメータが、第１の予測サンプルに関して導出された水平方向勾配値、垂直方向勾配値、水平方向動き差分および垂直方向動き差分を含む、処理と、
前記水平方向勾配値および前記垂直方向勾配値ならびに前記水平方向動き差分および前記垂直方向動き差分を基に、前記第１の予測サンプルの予測改善値を取得する処理と、
第２のＭＶに関連した第２の予測サンプルと、第２の予測サンプルの対応する予測改善値とを取得する処理と、
前記第１の予測サンプルと前記第２の予測サンプルと前記予測改善値とに基づいて、前記ビデオブロックの最終予測サンプルを取得する処理と
を行うように構成されている、コンピューティングデバイス。
【請求項12】
前記シフト値による前記シフト演算を実行することにより前記内部ＰＲＯＦパラメータの当該ビット深度を制御するように構成されている前記１つまたは複数のプロセッサが、前記ビデオブロック内の１つのサンプルについて、前記１つのサンプルに対して水平方向に隣接する２つのサンプルの予測サンプルと第１のシフト値とに基づいて水平方向勾配値を取得する処理と、
前記１つのサンプルに対して垂直方向に隣接する２つのサンプルの予測サンプルと前記第１のシフト値とに基づいて垂直方向勾配値を取得する処理と
を行うようにさらに構成されている、請求項１１に記載のコンピューティングデバイス。
【請求項13】
前記第１のシフト値が、６と、符号化ビット深度値から６を減じた値とのうちの大きい方に等しい、請求項１２に記載のコンピューティングデバイス。
【請求項14】
前記１つまたは複数のプロセッサが、前記ビデオブロック内の当該１つのサンプルについて、前記ビデオブロックを含む符号化ブロックの制御点ＭＶを取得する処理であって、前記制御点ＭＶが、前記符号化ブロックの、左上の制御点ＭＶ、右上の制御点ＭＶ、および左下の制御点ＭＶを含む、処理と、
前記制御点ＭＶに基づいて導出されたアフィンモデルパラメータを取得する処理と、
前記アフィンモデルパラメータ、水平方向オフセット、および垂直方向オフセットに基づいて水平方向ＭＶ差分および垂直方向ＭＶ差分を取得する処理と、
前記水平方向ＭＶ差分を第２のシフト値だけ右シフトする処理と、
前記垂直方向ＭＶ差分を前記第２のシフト値だけ右シフトする処理と
を行うようにさらに構成されている、請求項１２に記載のコンピューティングデバイス。
【請求項15】
前記第２のシフト値が、１３から勾配値の精密なビット深度を減じたものに等しい、請求項１４に記載のコンピューティングデバイス。
【請求項16】
前記勾配値の精密なビット深度が、６と、符号化ビット深度から６を減じた値とのうちの大きい方に等しい、請求項１５に記載のコンピューティングデバイス。
【請求項17】
前記第１の予測サンプルの前記水平方向勾配値および前記垂直方向勾配値を取得するように構成された前記１つまたは複数のプロセッサが、前記第１の予測サンプル用の前記ビデオブロックの上境界、左境界、下境界、および右境界の各々に対して当該ビデオブロック外で隣接する予測サンプルの追加の行または列を導出するように構成されている、請求項１２に記載のコンピューティングデバイス。
【請求項18】
前記予測サンプルの前記追加の行または列を導出するように構成された前記１つまたは複数のプロセッサが、前記第１の参照ピクチャ内の整数参照サンプルから、当該ビデオブロック外で前記左境界および前記右境界に隣接する予測サンプルを、分数サンプル位置の左側に導出する処理と、
前記第１の参照ピクチャ内の整数参照サンプルから、当該ビデオブロック外で前記上境界および前記下境界に隣接する予測サンプルを、前記分数サンプル位置の上側に導出する処理と
を行うようにさらに構成されている、請求項１７に記載のコンピューティングデバイス。
【請求項19】
前記予測サンプルの前記追加の行または列を導出するように構成された前記１つまたは複数のプロセッサが、当該ビデオブロック外で前記左境界および前記右境界に隣接する予測サンプルを、前記第１の参照ピクチャにおいてそれぞれの分数サンプル位置に対して水平方向に最も近い整数参照サンプルから導出するステップと、
当該ビデオブロック外で前記上境界および前記下境界に隣接する予測サンプルを、前記第１の参照ピクチャにおいて前記それぞれの分数サンプル位置に対して垂直方向に最も近い整数参照サンプルから導出するステップと
を行うようにさらに構成されている、請求項１７に記載のコンピューティングデバイス。
【請求項20】
１つまたは複数のプロセッサを有するコンピューティングデバイスにより実行されるコンピュータプログラムであって、前記１つまたは複数のプロセッサにより実行されたときに、請求項１から１０のうちのいずれか一項の方法のステップを前記コンピューティングデバイスに実施させてビデオビットストリームを生成させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
【0002】
この出願は、内容の全体が参照によって本明細書に組み込まれている、２０１９年４月２５日出願の米国仮出願第６２／８３８，９３９号に基づき、優先権を主張するものである。
【0003】
この開示はビデオ符号化および圧縮に関連するものである。より具体的には、この開示は、多用途ビデオ符号化（ＶＶＣ：ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）規格、すなわちオプティカルフローを用いる予測改善（ＰＲＯＦ：ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ ｏｐｔｉｃａｌ ｆｌｏｗ）および双方向オプティカルフロー（ＢＤＯＦ：ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）にて研究されている２つのインター予測ツールに基づく方法および装置に関する。
【背景技術】
【0004】
ビデオデータを圧縮するために様々なビデオ符号化技術が使用され得る。ビデオ符号化は１つまたは複数のビデオ符号化規格に従って実行される。たとえば、ビデオ符号化規格は、多用途ビデオ符号化（ＶＶＣ）、共同探索テストモデル（ＪＥＭ：ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｔｅｓｔ ｍｏｄｅｌ）、高効率ビデオ符号化（Ｈ．２６５／ＨＥＶＣ）、高度ビデオ符号化（Ｈ．２６４／ＡＶＣ）、動画エキスパートグループ（ＭＰＥＧ）符号化等を含む。ビデオ符号化は、一般に、ビデオピクチャまたはビデオシーケンスに存在する冗長性を活用する予測方法（たとえばインター予測、イントラ予測等）を利用するものである。ビデオ符号化技術の重点目標は、ビデオ品質の劣化の回避または最小化を行いつつ、ビデオデータを、より低いビットレートを使用する形式に圧縮することである。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示の実例は、オプティカルフローを用いる予測改善のビット深度表現のための方法および装置を提供するものである。
【課題を解決するための手段】
【0006】
本開示の第１の態様によれば、ビデオ信号を復号するための、オプティカルフローを用いる予測改善（ＰＲＯＦ）のビット深度表現方法が提供される。この方法は、ビデオ信号の中のビデオブロックに関連した第１の参照ピクチャと、現在のピクチャ内のビデオブロックから第１の参照ピクチャ内の参照ブロックへの第１の動きベクトル（ＭＶ）とを取得するステップを含み得る。第１の参照ピクチャはオーバラップしない複数のビデオブロックを含み得、少なくとも１つのビデオブロックが少なくとも１つのＭＶに関連付けられ得る。この方法は、第１の参照ピクチャの中の参照ブロックから生成されたビデオブロックの第１の予測サンプルＩ（ｉ，ｊ）を取得するステップをも含み得る。ｉおよびｊは、このビデオブロックを有する１つのサンプルの座標を表し得る。この方法、内部ＰＲＯＦパラメータの内部ビット深度を制御するステップを含み得る。内部ＰＲＯＦパラメータは、予測サンプルＩ（ｉ，ｊ）に関して導出された水平方向勾配値、垂直方向勾配値、水平方向動き差分、および垂直方向動き差分を含み得る。この方法は、水平方向勾配値および垂直方向勾配値ならびに水平方向動き差分および垂直方向動き差分に基づいて第１の予測サンプルＩ（ｉ，ｊ）の予測改善値を取得するステップをさらに含み得る。この方法は、ビデオブロックが第２のＭＶを含み得るとき、第２のＭＶに関連した第２の予測サンプルＩ’（ｉ，ｊ）と、第２の予測サンプルＩ’（ｉ，ｊ）の対応する予測改善値とを取得するステップを含み得る。この方法は、第１の予測サンプルＩ’（ｉ，ｊ）と第２の予測サンプルＩ’（ｉ，ｊ）と予測改善値との組合せに基づいて、ビデオブロックの最終予測サンプルを取得するステップを含み得る。
【0007】
本開示の第２の態様によれば、映像信号を復号するための双方向オプティカルフロー（ＢＤＯＦ）のビット深度表現方法が提供される。この方法は、ビデオブロックに関連した第１の参照ピクチャＩ（０）および第２の参照ピクチャＩ（１）を取得するステップを含み得る。表示順序では、第１の参照ピクチャＩ（０）は現在のピクチャの前のものでよく、第２の参照ピクチャＩ（１）は現在のピクチャの後のものでよい。この方法は、第１の参照ピクチャＩ（０）の中の参照ブロックからビデオブロックの第１の予測サンプルＩ（０）（ｉ，ｊ）を取得するステップをも含み得る。ｉおよびｊは、現在のピクチャを有する１つのサンプルの座標を表し得る。この方法は、第２の参照ピクチャＩ（１）の中の参照ブロックからビデオブロックの第２の予測サンプルＩ（１）（ｉ，ｊ）を取得するステップを含み得る。この方法は、第１の予測サンプルＩ（０）（ｉ，ｊ）および第２の予測サンプルＩ（１）（ｉ，ｊ）に基づいてビデオブロックにＢＤＯＦを適用するステップを含み得る。この方法は、パディングされた予測サンプルに基づいて第１の予測サンプルＩ（０）（ｉ，ｊ）および第２の予測サンプルＩ（１）（ｉ，ｊ）の水平方向勾配値および垂直方向勾配値を取得するステップを含み得る。この方法は、ビデオブロックに適用されているＢＤＯＦならびに水平方向勾配値および垂直方向勾配値に基づいてビデオブロックにおけるサンプルの動き改善を取得するステップをさらに含み得る。この方法は、動き改善に基づいてビデオブロックの双予測サンプルを取得するステップを含み得る。
【0008】
本開示の第３の態様によれば、コンピューティングデバイスが提供される。コンピューティングデバイスは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読メモリとを含み得る。１つまたは複数のプロセッサは、ビデオ信号の中のビデオブロックに関連した第１の参照ピクチャと、現在のピクチャ内のビデオブロックから第１の参照ピクチャ内の参照ブロックへの第１のＭＶとを取得するように構成され得る。第１の参照ピクチャはオーバラップしない複数のビデオブロックを含み得、少なくとも１つのビデオブロックが少なくとも１つのＭＶに関連付けられ得る。１つまたは複数のプロセッサは、第１の参照ピクチャの中の参照ブロックから生成されたビデオブロックの第１の予測サンプルＩ（ｉ，ｊ）を取得するようにも構成され得る。ｉおよびｊは、このビデオブロックを有する１つのサンプルの座標を表す。１つまたは複数のプロセッサは、内部ＰＲＯＦパラメータの内部ビット深度を制御するように構成され得る。内部ＰＲＯＦパラメータは、予測サンプルＩ（ｉ，ｊ）に関して導出された水平方向勾配値、垂直方向勾配値、水平方向動き差分および垂直方向動き差分を含み得る。１つまたは複数のプロセッサは、水平方向勾配値および垂直方向勾配値ならびに水平方向動き差分および垂直方向動き差分に基づいて第１の予測サンプルＩ（ｉ，ｊ）の予測改善値を取得するようにも構成され得る。１つまたは複数のプロセッサは、ビデオブロックが第２のＭＶを含み得るときには、第２のＭＶに関連した第２の予測サンプルＩ’（ｉ，ｊ）と、第２の予測サンプルＩ’（ｉ，ｊ）の対応する予測改善値とを取得するようにも構成され得る。１つまたは複数のプロセッサは、第１の予測サンプルＩ（ｉ，ｊ）と第２の予測サンプルＩ’（ｉ，ｊ）と予測改善値との組合せに基づいて、ビデオブロックの最終予測サンプルを取得するように構成され得る。
【0009】
本開示の第４の態様によれば、コンピューティングデバイスが提供される。コンピューティングデバイスは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読メモリとを含み得る。１つまたは複数のプロセッサは、ビデオブロックに関連した第１の参照ピクチャＩ（０）および第２の参照ピクチャＩ（１）を取得するように構成され得る。表示順序では、第１の参照ピクチャＩ（０）は現在のピクチャの前のものでよく、第２の参照ピクチャＩ（１）は現在のピクチャの後のものでよい。１つまたは複数のプロセッサは、第１の参照ピクチャＩ（０）の中の参照ブロックからビデオブロックの第１の予測サンプルＩ（０）（ｉ，ｊ）を取得するようにも構成され得る。ｉおよびｊは、現在のピクチャを有する１つのサンプルの座標を表し得る。１つまたは複数のプロセッサは、第２の参照ピクチャＩ（１）の中の参照ブロックからビデオブロックの第２の予測サンプルＩ（１）（ｉ，ｊ）を取得するように構成され得る。１つまたは複数のプロセッサは、第１の予測サンプルＩ（０）（ｉ，ｊ）および第２の予測サンプルＩ（１）（ｉ，ｊ）に基づいてビデオブロックにＢＤＯＦを適用するように構成され得る。１つまたは複数のプロセッサは、パディングされた予測サンプルに基づいて第１の予測サンプルＩ（０）（ｉ，ｊ）および第２の予測サンプルＩ（１）（ｉ，ｊ）の水平方向勾配値および垂直方向勾配値を取得するように構成され得る。１つまたは複数のプロセッサは、ビデオブロックに適用されているＢＤＯＦならびに水平方向勾配値および垂直方向勾配値に基づいて、ビデオブロックにおけるサンプルの動き改善を取得するようにさらに構成され得る。１つまたは複数のプロセッサは、動き改善に基づいてビデオブロックの双予測サンプルを取得するように構成され得る。
【0010】
上記の概要および以下の発明を実施するための形態は、例でしかなく、本開示を限定するものではないことを理解されたい。
【0011】
本明細書に組み込まれてその一部を構成する添付図面は、本開示と調和する例を示し、記述とともに本開示の原理を説明するのに役立つものである。
【図面の簡単な説明】
【0012】
【図1】本開示の一例による符号化器のブロック図である。
【図2】本開示の一例による復号器のブロック図である。
【図3A】本開示の一例による複合木構造におけるブロック分割を示す図である。
【図3B】本開示の一例による複合木構造におけるブロック分割を示す図である。
【図3C】本開示の一例による複合木構造におけるブロック分割を示す図である。
【図3D】本開示の一例による複合木構造におけるブロック分割を示す図である。
【図3E】本開示の一例による複合木構造におけるブロック分割を示す図である。
【図4】本開示の一例による双方向オプティカルフロー（ＢＤＯＦ）モデルを示す図である。
【図5A】本開示の一例によるアフィンモデルを示す図である。
【図5B】本開示の一例によるアフィンモデルを示す図である。
【図6】本開示の一例によるアフィンモデルを示す図である。
【図7】本開示の一例による、オプティカルフローを用いる予測改善（ＰＲＯＦ）を示す図である。
【図8】本開示の一例によるＢＤＯＦのワークフローである。
【図9】本開示の一例によるＰＲＯＦのワークフローである。
【図10】本開示によるＰＲＯＦのビット深度表現方法の図である。
【図11】本開示によるＢＤＯＦのビット深度表現方法の図である。
【図12】本開示の一例による双予測用ＰＲＯＦのワークフローを示す図である。
【図13】本開示によるＢＤＯＦおよびＰＲＯＦの処理のパイプラインステージを示す図である。
【図14】本開示によるＢＤＯＦの勾配導出法を示す図である。
【図15】本開示によるＰＲＯＦの勾配導出法を示す図である。
【図16】本開示の一例による、ユーザインタフェースと結合されたコンピューティング環境を示す図である。
【発明を実施するための形態】
【0013】
次に例示の実施形態が詳細に参照され、それらの例は添付図面に示されている。以下の説明が参照する添付図面では、異なる図面における同一の番号は、別段の表現がなければ同一または類似の要素を表す。実施形態の以下の記述で明記される実装は、本開示と調和するすべての実装を表すわけではない。むしろ、それらは、添付の特許請求の範囲において詳述される本開示に関連した態様と調和する装置および方法の例示でしかない。
【0014】
本開示で使用される専門用語は、特定の実施形態のみを説明するためのものであり、本開示を限定するように意図されたものではない。本開示および添付の特許請求の範囲で使用される単数形「１つの（ａ）」、「１つの（ａｎ）」、および「その（ｔｈｅ）」は、文脈がそうでないことを明白に示さない限り複数形をも含むように意図されている。本明細書で使用される「および／または」という用語は、関連する１つまたは複数の列挙された項目のうちのいずれかまたはすべての可能な組合せを表し、かつ含むように意図されていることも理解されるものとする。
【0015】
本明細書では、様々な情報を説明するために「第１の」、「第２の」、「第３の」などの用語が使用されることがあるが、その情報はこれらの用語によって限定されるべきではないことが理解されるものとする。これらの用語は、１つのカテゴリの情報を別のものから区別するためにのみ使用される。たとえば、本開示の範囲から逸脱することなく、第１の情報は第２の情報と称されてよく、同様に、第２の情報が第１の情報と称されてもよい。本明細書で使用さる「～であれば」という用語は、状況に依拠して、「～であるとき」または「～に際して」または「～との判断に応答して」を意味するように理解されてよい。
【0016】
２０１３年１０月に最終決定されたＨＥＶＣ規格の第１のバージョンは、前の世代のビデオ符号化規格Ｈ．２６４／ＭＰＥＧ ＡＶＣに比較して約５０％のビットレート節約または同等の知覚品質を提供するものである。このＨＥＶＣ規格は、従来品よりも符号化を大幅に改善するが、ＨＥＶＣに関する付加的な符号化ツールを用いて優れた符号化効率が達成され得ることが証明されている。それに基づいて、ＶＣＥＧとＭＰＥＧの両方が、将来のビデオ符号化の規格化のために新規の符号化技術の研究作業を開始した。符号化効率の大幅な向上を可能にするはずの高度技術の有効な研究を開始するために、ＩＴＵ－Ｔ ＶＥＣＧおよびＩＳＯ／ＩＥＣ ＭＰＥＧによって、２０１５年１０月に共同ビデオ探査チーム（ＪＶＥＴ）が創設された。ＪＶＥＴによって、ＨＥＶＣテストモデル（ＨＭ）の最上位のいくつかの追加の符号化ツールを統合することにより、共同探査モデル（ＪＥＭ）と呼ばれる１つの参照ソフトウェアが維持された。
【0017】
２０１７年１０月に、ＩＴＵ－ＴおよびＩＳＯ／ＩＥＣによって、ＨＥＶＣをしのぐ能力を用いるビデオ圧縮に関する提案（ＣｆＰ）の共同要請が発行された。２０１８年４月２３日に、第１０回ＪＶＥＴ会議においてＣｆＰの返答が受領され、かつ評価されており、これはＨＥＶＣを約４０％上回る圧縮効率の増加を示した。ＪＶＥＴは、そのような評価結果に基づいて、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）という名称の新世代ビデオ符号化規格を開発する新規プロジェクトに着手した。同じ月に、ＶＶＣ規格の照合基準製品を示すために、ＶＶＣテストモデル（ＶＴＭ）と呼ばれる１つの参照ソフトウェアコードベースが確立された。
【0018】
ＨＥＶＣと同様に、ＶＶＣは、ブロックベースのハイブリッドビデオ符号化フレームワーク上に構築される。図１は、ＶＶＣ用のブロックベースのビデオ符号化器の一般的な図を示すものである。具体的には、図１は一般的な符号化器１００を示す。符号化器１００は、ビデオ入力１１０、動き補償１１２、動き推定１１４、イントラ／インターモード判定１１６、ブロック予測子１４０、加算器１２８、変換１３０、量子化１３２、予測関連情報１４２、イントラ予測１１８、ピクチャバッファ１２０、逆量子化１３４、逆変換１３６、加算器１２６、メモリ１２４、ループ内フィルタ１２２、エントロピー符号化１３８、およびビットストリーム１４４を有する。
【0019】
符号化器１００において、ビデオフレームは、処理のために、複数のビデオブロックに分割される。それぞれの所与のビデオブロックについて、インター予測手法またはイントラ予測手法のいずれかに基づいて予測が形成される。
【0020】
ビデオ入力１１０の一部である現在のビデオブロックと、ブロック予測子１４０の一部である現在のビデオブロックの予測値との間の差を表す予測残差が、加算器１２８から変換１３０に送られる。次いで、エントロピー低減のために、変換１３０から変換係数が量子化１３２に送られる。次いで、圧縮されたビデオビットストリームを生成するために、エントロピー符号化１３８に量子化係数が供給される。図１に示されたように、イントラ／インターモード判定１１６からの、ビデオブロック分割情報、動きベクトル（ＭＶ）、参照ピクチャインデックス、およびイントラ予測モードなどの予測関連情報１４２も、エントロピー符号化１３８を通して供給され、圧縮されたビットストリーム１４４に保存される。圧縮されたビットストリーム１４４はビデオビットストリームを含む。
【0021】
符号化器１００では、予測のために、画素を再構成するための復号器関連の回路も必要とされる。最初に、逆量子化１３４および逆変換１３６によって予測残差が再構成される。この再構成された予測残差が、ブロック予測子１４０と組み合わされて、現在のビデオブロックに関するフィルタリングされていない再構成された画素を生成する。
【0022】
空間予測（すなわち「イントラ予測」）は、現在のビデオブロックと同一のビデオフレームの中の既に符号化されている隣接したブロックのサンプル（参照サンプルと呼ばれる）からの画素を使用して現在のビデオブロックを予測するものである。
【0023】
時間予測（「インター予測」とも称される）は、既に符号化されているビデオピクチャから再構成された画素を使用して現在のビデオブロックを予測するものである。時間予測により、ビデオ信号に固有の時間冗長性が低下する。所与の符号化単位（ＣＵ）または符号化ブロックの時間予測信号は、通常は１つまたは複数のＭＶによってシグナリングされ、ＭＶは現在のＣＵとその時間参照との間の動きの量および方向を指示する。さらに、複数の参照ピクチャがサポートされる場合には、１つの参照ピクチャインデックスが付加的に送られ、これは、時間予測信号が参照ピクチャ記憶領域の中のどの参照ピクチャに由来するものであるかを識別するために使用される。
【0024】
動き推定１１４は、ビデオ入力１１０とピクチャバッファ１２０からの信号とを取り込んで、動き推定信号を動き補償１１２に出力する。動き補償１１２は、ビデオ入力１１０と、ピクチャバッファ１２０からの信号と、動き推定１１４からの動き推定信号とを取り込んで、動き補償信号をイントラ／インターモード判定１１６に出力する。
【0025】
空間予測および／または時間予測が実行された後に、符号化器１００におけるイントラ／インターモード判定１１６は、たとえば速度－ひずみ最適化手法に基づいて最善の予測モードを選択する。次いで、現在のビデオブロックからブロック予測子１４０が差し引かれ、その結果得られた予測残差は、変換１３０および量子化１３２を使用して相関除去される。その結果得られた量子化残差係数が、逆量子化１３４によって逆量子化され、逆変換１３６によって逆変換されて再構成された残差を形成し、次いで、これが予測ブロックに戻されて加算され、ＣＵの再構成された信号を形成する。さらに、再構成されたＣＵは、デブロッキングフィルタなどのループ内フィルタリング１２２、サンプル適応オフセット（ＳＡＯ）、および／または適応ループ内フィルタ（ＡＬＦ）を適用されてから、ピクチャバッファ１２０の参照ピクチャ記憶領域に加えられ、将来のビデオブロック符号化に使用される。出力ビデオビットストリーム１４４を形成するために、符号化モード（インターまたはイントラ）、予測モード情報、動き情報、および量子化残差係数が、すべてエントロピー符号化ユニット１３８に送られて、さらに圧縮され、かつパックされてビットストリームを形成する。
【0026】
たとえば、デブロッキングフィルタは、ＡＶＣ、ＨＥＶＣ、ならびにＶＶＣの現行バージョンで使用可能である。ＨＥＶＣでは、符号化効率をさらに改善するために、ＳＡＯ（サンプル適応オフセット）と呼ばれる追加のループ内フィルタが定義されている。ＶＶＣ規格の現行バージョンでは、ＡＬＦ（適応ループフィルタ）と呼ばれるさらに別のループ内フィルタが積極的に研究されており、最終的な規格に含まれる可能性がある。
【0027】
これらのループ内フィルタの動作は任意選択である。これらの動作を実行すると、符号化効率および視覚品質の改善を支援する。これらのループ内フィルタは、計算の複雑性を省くために、オフになるように符号化器１００によって判定されてもよい。
【0028】
これらのフィルタオプションが符号化器１００によってオンにされていると、通常は、イントラ予測はフィルタリングされずに再構成された画素に基づくが、インター予測はフィルタリングして再構成された画素に基づくことに留意されたい。
【0029】
入力ビデオ信号は、ブロック（符号化単位（ＣＵ）と呼ばれる）ごとに処理される。ＶＴＭ－１．０では、ＣＵは１２８×１２８画素まであり得る。しかしながら、ＶＶＣでは、４分木に基づいてブロックを分割するのみのＨＥＶＣとは異なり、１つの符号化木単位（ＣＴＵ）が、様々な局所的特性に適合するように、４分木／２分木／３分木に基づいてＣＵに分割される。加えて、ＨＥＶＣでは、複数の分割単位タイプの概念が解消され、すなわち、ＶＶＣでは、ＣＵ、予測単位（ＰＵ）および変換単位（ＴＵ）の分離はもはや存在せず、むしろ、各ＣＵは、さらなる分割なしで、予測と変換との両方のための基本単位として常に使用される。複合木構造では、１つのＣＴＵが、最初に４分木構造によって分割される。次いで、各４分木のリーフノードが、２分木構造および３分木構造によってさらに分割され得る。
【0030】
【0031】
図３Ａは、本開示による複合木構造におけるブロックの４分割を示す図である。
【0032】
図３Ｂは、本開示による複合木構造におけるブロックの垂直方向２分割を示す図である。
【0033】
図３Ｃは、本開示による複合木構造におけるブロックの水平方向２分割を示す図である。
【0034】
図３Ｄは、本開示による複合木構造におけるブロックの垂直方向３分割を示す図である。
【0035】
図３Ｅは、本開示による複合木構造におけるブロックの水平方向３分割を示す図である。
【0036】
図１において、空間予測および／または時間予測が実施され得る。空間予測（すなわち「イントラ予測」）は、同一のビデオピクチャ／スライスの中の既に符号化されている隣接したブロックのサンプル（参照サンプルと呼ばれる）からの画素を使用して現在のビデオブロックを予測するものである。空間予測により、ビデオ信号に固有の空間冗長性が低下する。時間予測（「インター予測」または「動き補償された予測」とも称される）は、既に符号化されているビデオピクチャから再構成された画素を使用して現在のビデオブロックを予測するものである。時間予測により、ビデオ信号に固有の時間冗長性が低下する。所与のＣＵの時間予測信号は、通常は１つまたは複数のＭＶによってシグナリングされ、ＭＶは現在のＣＵとその時間参照との間の動きの量および方向を指示する。また、複数の参照ピクチャがサポートされる場合には、１つの参照ピクチャインデックスが付加的に送られ、これは、時間予測信号が参照ピクチャ記憶領域の中のどの参照ピクチャに由来するものであるかを識別するために使用される。空間予測および／または時間予測の後に、符号化器におけるモード判定ブロックは、たとえば速度－ひずみ最適化手法に基づいて最善の予測モードを選択する。次いで、現在のビデオブロックから予測ブロックが減算され、予測残差は、変換を使用して相関除去され、量子化される。量子化残差係数は、逆量子化され、逆変換されて再構成された残差を形成し、次いで、これが予測ブロックに戻されて加算され、ＣＵの再構成された信号を形成する。さらに、再構成されたＣＵは、デブロッキングフィルタなどのループ内フィルタリング、サンプル適応オフセット（ＳＡＯ）、および適応ループ内フィルタ（ＡＬＦ：ａｄａｐｔｉｖｅ ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒ）を適用されてから、参照ピクチャ記憶部に加えられ、将来のビデオブロック符号化に使用される。出力ビデオビットストリームを形成するために、符号化モード（インターまたはイントラ）、予測モード情報、動き情報、および量子化残差係数が、すべてエントロピー符号化ユニットに送られて、さらに圧縮され、かつパックされてビットストリームを形成する。
【0037】
図２は、ＶＶＣ用のビデオ復号器の全体的なブロック図を示すものである。具体的には、図２は一般的な復号器２００のブロック図を示す。復号器２００は、ビットストリーム２１０、エントロピー復号２１２、逆量子化２１４、逆変換２１６、加算器２１８、イントラ／インターモード選択２２０、イントラ予測２２２、メモリ２３０、ループ内フィルタ２２８、動き補償２２４、ピクチャバッファ２２６、予測関連情報２３４、およびビデオ出力２３２を有する。
【0038】
復号器２００は、図１の符号化器１００に存在する再構成関連の部分に類似である。復号器２００では、入来ビデオビットストリーム２１０は、量子化された係数レベルおよび予測関連情報を導出するために、最初にエントロピー復号２１２によって復号される。次いで、量子化された係数レベルは、再構成された予測残差を取得するために逆量子化２１４および逆変換２１６によって処理される。イントラ／インターモード選択器２２０に実装されるブロック予測子機構は、復号予測情報に基づいてイントラ予測２２２または動き補償２２４のいずれかを実現するように構成される。逆変換２１６からの再構成された予測残差と、ブロック予測子機構によって加算器２１８を使用して生成された予測出力とを合計することにより、フィルタリングされていない再構成された画素のセットが取得される。
【0039】
再構成されたブロックは、さらにループ内フィルタ２２８を通ってから、参照ピクチャ記憶部として機能するピクチャバッファ２２６に記憶され得る。ピクチャバッファ２２６の中の再構成されたビデオは、将来のビデオブロックを予測するために使用されるばかりでなく、表示デバイスを駆動するためにも送られ得る。ループ内フィルタ２２８がオンの状況では、最終的な再構成されたビデオ出力２３２を導出するために、これらの再構成された画素に対してフィルタリング動作が実行される。
【0040】
図２では、ビデオビットストリームはエントロピー復号ユニットにおいて復号された第１のエントロピーである。予測ブロックを形成するために、符号化モードおよび予測情報が、空間予測ユニット（イントラ符号化の場合）または時間予測ユニット（インター符号化の場合）のいずれかに送られる。残差ブロックを再構成するために、残差変換係数が、逆量子化ユニットおよび逆変換ユニットに送られる。次いで、予測ブロックと残差ブロックとが互いに加算される。再構成されたブロックは、さらにループ内フィルタリングを受けてから参照ピクチャ記憶領域に記憶され得る。参照ピクチャ記憶部の中の再構成されたビデオは、次いで、将来のビデオブロックを予測するために使用されるばかりでなく、表示デバイスを駆動するためにも送出され得る。
【0041】
一般に、ＶＶＣにおいて適用される基本的なインター予測技術は、いくつかのモジュールがさらに拡張され、かつ／または増強されることを除けば、ＨＥＶＣのものと同一に保たれる。詳細には、すべての以前のビデオ規格について、１つの符号化ブロックが関連付けられ得るＭＶは、符号化ブロックが単予測されるときには１つでしかなく、符号化ブロックが双予測されるときには２つでしかない。従来のブロックベースの動き補償のそのような限界のために、動き補償の後にも予測サンプルの中に小さい動きがなお残ってしまい、したがって動き補償の全体的な効率に悪影響を及ぼす。ＭＶの粒度と精度との両方を改善するために、ＶＶＣ規格向けに、オプティカルフローに基づく、サンプルに関する２つの改善方法、すなわち双方向オプティカルフロー（ＢＤＯＦ）およびアフィンモード用のオプティカルフローを用いる予測改善（ＰＲＯＦ）が現在研究されている。以下では、２つのインター符号化ツールの主要な技術的側面が簡単に再検討される。
【0042】
双方向オプティカルフロー
【0043】
ＶＶＣでは、双予測された符号化ブロックの予測サンプルを改良するためにＢＤＯＦが適用される。具体的には、ＢＤＯＦを示す図４に表されるように、ＢＤＯＦは、双予測が使用されるとき、サンプルに関してブロックベースで動き補償された予測の最上位において実行される動き改善である。それぞれの４×４のサブブロックの動き改善（ｖｘ，ｖｙ）は、サブブロックのあたりの１つの６×６のウィンドウΩの内部にＢＤＯＦが適用された後に、Ｌ０とＬ１の予測サンプルの間の差を最小化することによって計算される。具体的には、（ｖｘ，ｖｙ）の値は次のように導出される。
【数1】
【0044】
ここで
は床関数であり、ｃｌｉｐ３（ｍｉｎ，ｍａｘ，ｘ）は［ｍｉｎ，ｍａｘ］の範囲内の所与の値ｘをクリップする関数であり、記号＞＞はビット単位の右シフト演算を表し、記号＜＜はビット単位の左シフト演算を表し、ｔｈＢＤＯＦは、不規則な局所的動きによる伝搬誤差を予防するための動き改善閾値であって、１＜＜ｍａｘ（５，ｂｉｔ－ｄｅｐｔｈ－７）に等しく、ｂｉｔ－ｄｅｐｔｈは内部ビット深度である。式（１）において次式が成立する。
【数2】
は床関数であり、ｃｌｉｐ３（ｍｉｎ，ｍａｘ，ｘ）は［ｍｉｎ，ｍａｘ］の範囲内の所与の値ｘをクリップする関数であり、記号＞＞はビット単位の右シフト演算を表し、記号＜＜はビット単位の左シフト演算を表し、ｔｈＢＤＯＦは、不規則な局所的動きによる伝搬誤差を予防するための動き改善閾値であって、１＜＜ｍａｘ（５，ｂｉｔ－ｄｅｐｔｈ－７）に等しく、ｂｉｔ－ｄｅｐｔｈは内部ビット深度である。式（１）において次式が成立する。
【数3】
【0045】
Ｓ１、Ｓ２、Ｓ３、Ｓ５およびＳ６の値は、以下のように計算される。
【数4】
【0046】
ここで、次式が成立する。
【数5】
【0047】
ここで、Ｉ（ｋ）（ｉ，ｊ）は、中間精度（すなわち１６ビット）で生成されたリストｋ（ｋ＝０、１）における予測信号の、座標（ｉ，ｊ）におけるサンプル値である。
【0048】
【数6】
は、それぞれサンプルの水平方向勾配および垂直方向勾配であり、以下のように２つの隣接したサンプルの間の差を直接計算することによって取得される。
【数7】
【0049】
式（１）で導出された動き改善を基に、次の式によって指示されるように、オプティカルフローモデルに基づく動作軌道に沿ってＬ０／Ｌ１予測サンプルを補間することにより、ＣＵの最終的な双予測サンプルが計算される。
ここで、ｓｈｉｆｔおよびｏｏｆｆｓｅｔは、双予測のためにＬ０予測信号とＬ１予測信号とを組み合わせるように適用される右シフト値およびオフセット値であって、それぞれ、１５－ＢＤおよび１＜＜（１４－ＢＤ）＋２・（１＜＜１３）に等しい。上記のビット深度制御方法に基づき、全体のＢＤＯＦ処理の中間パラメータの最大のビット深度は３２ビットを超過せず、また乗算に対する最大の入力は１５ビット以内であるため、ＢＤＯＦを実現するためには１５ビットの乗算器が１つあれば十分である。
【数8】
ここで、ｓｈｉｆｔおよびｏｏｆｆｓｅｔは、双予測のためにＬ０予測信号とＬ１予測信号とを組み合わせるように適用される右シフト値およびオフセット値であって、それぞれ、１５－ＢＤおよび１＜＜（１４－ＢＤ）＋２・（１＜＜１３）に等しい。上記のビット深度制御方法に基づき、全体のＢＤＯＦ処理の中間パラメータの最大のビット深度は３２ビットを超過せず、また乗算に対する最大の入力は１５ビット以内であるため、ＢＤＯＦを実現するためには１５ビットの乗算器が１つあれば十分である。
【0050】
アフィンモード
【0051】
ＨＥＶＣでは、動き補償された予測に適用されるのは並進運動モデルのみである。現実世界では、たとえばズームイン／ズームアウト、回転、視点の運動、および他の不規則運動といったいろいろな運動がある。ＶＶＣでは、各インター符号化ブロックに対して、インター予測のために並進運動モデルまたはアフィン運動モデルを適用するかどうかを指示する１つのフラグをシグナリングすることにより、アフィン動き補償された予測が適用される。現在のＶＶＣ設計では、１つのアフィン符号化ブロックについて、４パラメータのアフィンモードおよび６パラメータのアフィンモードを含む２つのアフィンモードがサポートされる。
【0052】
４パラメータ・アフィンモデルは、水平方向並進運動のパラメータ、垂直方向並進運動のパラメータ、ズーム運動のパラメータ、および両方向の回転運動のパラメータを有する。水平ズームパラメータは垂直ズームパラメータに等しい。水平回転パラメータは垂直回転パラメータに等しい。ＶＶＣでは、ＭＶおよびアフィンパラメータのより優れた調整を達成するために、それらのアフィンパラメータは、現在のブロックの左上隅および右上隅に配置された２つのＭＶ（制御点動きベクトル（ＣＰＭＶ）とも呼ばれる）に変換される。図５Ａおよび図５Ｂに示されるように、ブロックのアフィン動きフィールドは２つの制御点ＭＶ（Ｖ０，Ｖ１）によって記述される。
【0053】
図５Ａは、４パラメータ・アフィンモデルを示す図である。図５Ｂは、４パラメータ・アフィンモデル示す図である。制御点の動きに基づき、１つのアフィン符号化ブロックの動きフィールド（ｖｘ，ｖｙ）は次のように記述される。
【数9】
【0054】
６パラメータのアフィンモードは、水平方向並進運動のパラメータ、垂直方向並進運動のパラメータ、水平方向におけるズーム運動のパラメータおよび回転運動のパラメータ、ならびに垂直方向におけるズーム運動のパラメータおよび回転運動のパラメータを有する。６パラメータのアフィン動きモデルは、３つのＣＰＭＶにおける３つのＭＶを用いて符号化される。
【0055】
図６は、６パラメータ・アフィンモデルを示す図である。図６に示されるように、１つの６パラメータのアフィンブロックの３つの制御点が、ブロックの左上隅、右上隅、および左下隅に配置されている。左上制御点の動きは並進運動に関連付けられており、右上制御点の動きは、水平方向における回転運動およびズーム運動に関連付けられており、左下制御点の動きは、垂直方向における回転運動およびズーム運動に関連付けられている。４パラメータのアフィン動きモデルと比較して、６パラメータの水平方向の回転運動およびズーム運動は、垂直方向のものと同一でなくてよい。図６における現在のブロックの左上隅、右上隅、および左下隅のＭＶが（Ｖ０，Ｖ１，Ｖ２）であると仮定すると、各サブブロックのＭＶ（ｖｘ，ｖｙ）は、制御点における３つのＭＶを使用して次のように導出される。
【数10】
【0056】
アフィンモード用のＰＲＯＦ
【0057】
アフィン動き補償の精度を改善するために、現在のＶＶＣにおいてＰＲＯＦが現在研究されおり、これは、オプティカルフローモデルに基づくサブブロックベースのアフィン動き補償を改良するものである。具体的には、サブブロックベースのアフィン動き補償を実行した後に、オプティカルフローの式を基に導出された１つのサンプル改善値によって、１つのアフィンブロックの輝度予測サンプルが修正される。詳細には、ＰＲＯＦの動作は以下の４つのステップとして概説され得る。
【0058】
ステップ１：４パラメータ・アフィンモデル用に式（６）で導出されたサブブロックＭＶおよび６パラメータ・アフィンモデル用に式（７）で導出されたサブブロックＭＶを使用してサブブロック予測Ｉ（ｉ，ｊ）を生成するために、サブブロックベースのアフィン動き補償が実行される。
【0059】
ステップ２：各予測サンプルの空間的勾配ｇｘ（ｉ，ｊ）およびｇｙ（ｉ，ｊ）が次のように計算される。
【数11】
【0060】
勾配を計算するために、一つのサブブロックの両側に、予測サンプルの１つの付加的な行／列を生成する必要がある。メモリ帯域幅および複雑さを低減するために、拡張された境界上のサンプルは参照ピクチャにおける最も近い整数画素位置からコピーされ、追加の補間処理を回避する。
【0061】
ステップ３：輝度予測改善値が次式で計算される。
ここで、Δｖ（ｉ，ｊ）は、ｖ（ｉ，ｊ）で表されたサンプル位置（ｉ，ｊ）に関して計算された画素ＭＶと、画素（ｉ，ｊ）があるサブブロックのサブブロックＭＶとの間の差である。
【数12】
ここで、Δｖ（ｉ，ｊ）は、ｖ（ｉ，ｊ）で表されたサンプル位置（ｉ，ｊ）に関して計算された画素ＭＶと、画素（ｉ，ｊ）があるサブブロックのサブブロックＭＶとの間の差である。
【0062】
ステップ４：現在のＰＲＯＦ設計において、当初の予測サンプルに対して予測改善を付加した後に、改良された予測サンプルの値が１５ビット以内になるようにクリップするために、以下のようにクリップ動作が１回実行される。
ここで、Ｉ（ｉ，ｊ）は、ある位置（ｉ，ｊ）における元の予測サンプルであり、Ｉｒ（ｉ，ｊ）は、その位置（ｉ，ｊ）における改良された予測サンプルである。
【数13】
ここで、Ｉ（ｉ，ｊ）は、ある位置（ｉ，ｊ）における元の予測サンプルであり、Ｉｒ（ｉ，ｊ）は、その位置（ｉ，ｊ）における改良された予測サンプルである。
【0063】
図７は、アフィンモード用ＰＲＯＦ処理を示す図である。
【0064】
アフィンモデルのパラメータおよびサブブロック中心に対する画素位置がサブブロックごとに変化することはないため、第１のサブブロックに関してΔｖ（ｉ，ｊ）を計算して、同一のＣＵの間の他のサブブロック用に再使用することができる。サンプル位置（ｉ，ｊ）からサンプルが属するサブブロックの中心までの水平方向オフセットをΔｘとし、垂直方向オフセットをΔｙとすれば、Δｖ（ｉ，ｊ）は以下のように導出され得る。
【数14】
【0065】
ＭＶ差分Δｖ（ｉ，ｊ）は、アフィンサブブロックのＭＶの導出式（６）および（７）に基づいて導出され得る。具体的には、４パラメータ・アフィンモデルについては、次のようになる。
【数15】
【0066】
６パラメータ・アフィンモデルについては、次のようになる。
ここで（ｖ０ｘ，ｖ０ｙ）、（ｖ１ｘ，ｖ１ｙ）、（ｖ２ｘ，ｖ２ｙ）は現在の符号化ブロックの左上、右上、および左下の制御点ＭＶであり、ｗはブロックの幅であって、ｈはブロックの高さである。既存のＰＲＯＦ設計では、ＭＶ差分ΔｖｘおよびΔｖｙは、常に３２分の１画素精度で導出される。
【数16】
ここで（ｖ０ｘ，ｖ０ｙ）、（ｖ１ｘ，ｖ１ｙ）、（ｖ２ｘ，ｖ２ｙ）は現在の符号化ブロックの左上、右上、および左下の制御点ＭＶであり、ｗはブロックの幅であって、ｈはブロックの高さである。既存のＰＲＯＦ設計では、ＭＶ差分ΔｖｘおよびΔｖｙは、常に３２分の１画素精度で導出される。
【0067】
アフィンモードの符号化効率
【0068】
ＰＲＯＦはアフィンモードの符号化効率を向上させることができるが、その設計はさらに改善され得る。特に、ＰＲＯＦとＢＤＯＦとの両方がオプティカルフロー概念の上に成り立っているという事実を考えれば、ハードウェアの実装を助長するために、ＰＲＯＦがＢＤＯＦの既存の論理回路を最大限に活用し得るように、ＰＲＯＦの設計とＢＤＯＦの設計とをできるだけ調和させることが非常に好ましい。そのような考察に基づき、現在のＰＲＯＦ設計とＢＤＯＦ設計との間の相互作用に関する以下の問題が、この開示において明らかにされる。
【0069】
「アフィンモード用のＰＲＯＦ」の段落で説明されたように、式（８）では、勾配の精度は内部ビット深度に基づいて判定される。他方では、ＭＶ差分すなわちΔｖｘおよびΔｖｙは、常に３２分の１画素精度で導出される。それに応じて、式（９）に基づき、導出されるＰＲＯＦ改善の精度は内部ビット深度に依拠する。しかしながら、ＢＤＯＦと同様に、ＰＲＯＦは、ＰＲＯＦ導出のより高い精度を維持するために、中間ビット深度（すなわち１６ビット）において、予測サンプル値の最上位のものに適用される。したがって、ＰＲＯＦによって導出される予測改善の精度は、内部符号化ビット深度には関係なく、中間の予測サンプルすなわち１６ビットの精度に整合させるべきである。言い換えれば、既存のＰＲＯＦ設計におけるＭＶ差分および勾配の表現のビット深度は、予測サンプル精度（すなわち１６ビット）に対する正確な予測改善を導出するように完全に整合するわけではない。その一方で、式（１）、（４）、および（８）の比較に基づいて、既存のＰＲＯＦおよびＢＤＯＦは、サンプル勾配およびＭＶ差分を表すために別々の精度を使用する。以前に指摘されたように、そのような一体化されていない設計は、既存のＢＤＯＦ論理を再利用することができないので、ハードウェアに関して望ましくない。
【0070】
「アフィンモード用のＰＲＯＦ」の段落で論じられたように、現在のアフィンブロックの１つが双予測されるとき、ＰＲＯＦは、リストＬ０およびＬ１における予測サンプルに個別に適用され、次いで、向上されたＬ０およびＬ１の予測信号が平均されて最終的な双予測信号を生成する。むしろ、それぞれの予測方向についてＰＲＯＦ改善を個別に導出する代わりに、ＢＤＯＦが予測改善を１回導出し、次いで、これが、組み合わされたＬ０とＬ１の予測信号を良くするために適用される。
【0071】
図８および図９（以下で説明される）は、現在のＢＤＯＦのワークフローと双予測用のＰＲＯＦとを比較するものである。実際のコーデックのハードウェアのパイプライン設計では、より多くの符号化ブロックが並行して処理され得るように、通常はそれぞれのパイプラインステージに別々の主要な符号化モジュール／復号モジュールが割り当てられる。しかしながら、ＢＤＯＦのワークフローとＰＲＯＦのワークフローとの間に違いがあるので、ＢＤＯＦとＰＲＯＦとによる同一のパイプライン設計の共用が困難になり得、実際のコーデックの実装にとって都合が悪い。
【0072】
図８はＢＤＯＦのワークフローを示す。ワークフロー８００はＬ０動き補償８１０、Ｌ１動き補償８２０、およびＢＤＯＦ８３０を含む。Ｌ０動き補償８１０は、たとえば以前の参照ピクチャからの動き補償サンプルのリストであり得る。以前の参照ピクチャは、ビデオブロックにおける現在のピクチャよりも以前の参照ピクチャである。Ｌ１動き補償８２０は、たとえば次の参照ピクチャからの動き補償サンプルのリストであり得る。次の参照ピクチャは、ビデオブロックにおける現在のピクチャの後の参照ピクチャである。上記の図４に関して説明されたように、ＢＤＯＦ８３０は、Ｌ１動き補償８１０およびＬ１動き補償８２０から動き補償サンプルを取り込んで予測サンプルを出力する。
【0073】
図９は既存のＰＲＯＦのワークフローを示す。ワークフロー９００は、Ｌ０動き補償９１０、Ｌ１動き補償９２０、Ｌ０ＰＲＯＦ９３０、Ｌ１ＰＲＯＦ９４０、および平均化９６０を含む。Ｌ０動き補償９１０は、たとえば以前の参照ピクチャからの動き補償サンプルのリストであり得る。以前の参照ピクチャは、ビデオブロックにおける現在のピクチャよりも以前の参照ピクチャである。Ｌ１動き補償９２０は、たとえば次の参照ピクチャからの動き補償サンプルのリストであり得る。次の参照ピクチャは、ビデオブロックにおける現在のピクチャの後の参照ピクチャである。Ｌ０ＰＲＯＦ９３０は、上記の図７に関して説明されたように、Ｌ０動き補償９１０からＬ０動き補償サンプルを取り込んで動き改善値を出力する。Ｌ１ＰＲＯＦ９４０は、上記の図７に関して説明されたように、Ｌ１動き補償９２０からＬ１動き補償サンプルを取り込んで動き改善値を出力する。平均化９６０は、Ｌ０ＰＲＯＦ９３０の動き改善値出力とＬ１ＰＲＯＦ９４０の動き改善値出力とを平均する。
【0074】
ＢＤＯＦとＰＲＯＦとの両方について、現在の符号化ブロックの内部の各サンプルの勾配を計算する必要があり、そのためブロックの両側に予測サンプルの１つの付加的な行／列を生成する必要がある。サンプル補間の計算がさらに複雑になるのを回避するために、ブロックのまわりの拡張領域の予測サンプルは、整数位置における参照サンプルから（すなわち補間なしで）直接コピーされる。しかしながら、既存の設計によれば、ＢＤＯＦの勾配値の生成とＰＲＯＦの勾配値の生成では、異なる位置における整数サンプルが選択される。具体的には、ＢＤＯＦについては、予測サンプルの左にある整数参照サンプル（水平方向勾配用）、および予測サンプルの上にある整数参照サンプル（垂直方向勾配用）が勾配計算に使用され、ＰＲＯＦについては、予測サンプルに対して最も近い整数参照サンプルが勾配計算に使用される。ビット深度の表現問題と同様に、そのような一体化されていない勾配計算方法もハードウェアのコーデックの実装にとって望ましくない。
【0075】
以前に指摘されたように、ＰＲＯＦの動機は、各サンプルのＭＶとサンプルが属するサブブロックの中心において導出されるサブブロックのＭＶとの間の小さいＭＶ差分を補償することである。現在のＰＲＯＦ設計によれば、アフィンモードによって１つの符号化ブロックが予測されるとき、ＰＲＯＦが常に呼び出される。しかしながら、式（６）および（７）において指示されるように、１つのアフィンブロックのサブブロックのＭＶは制御点ＭＶから導出される。したがって、制御点ＭＶの間の差が比較的小さいときには、各サンプル位置におけるＭＶは安定しているはずである。そのような場合には、ＰＲＯＦを適用する利益がまさに制限されてしまうので、性能／複雑さのトレードオフを考えれば、ＰＲＯＦを実行する価値はないであろう。
【0076】
ＰＲＯＦを使用したアフィンモードの効率改善
【0077】
この開示では、ハードウェアのコーデックの実装を助長するために、既存のＰＲＯＦ設計を改善して簡単にするための方法が提供される。詳細には、既存のＢＤＯＦ論理をＰＲＯＦと最大限に共用するために、ＢＤＯＦの設計とＰＲＯＦの設計とを調和させるように特に配慮される。一般に、この開示で提案される技術の主要な態様は、下記のように概説される。
【0078】
図１０は、本開示による、ビデオ信号を復号するためのＰＲＯＦのビット深度表現方法を示す。
【0079】
ステップ１０１０において、ビデオ信号の中のビデオブロックに関連した第１の参照ピクチャと、現在のピクチャ内のビデオブロックから第１の参照ピクチャ内の参照ブロックへの第１のＭＶとを取得する。第１の参照ピクチャはオーバラップしない複数のビデオブロックを含み、少なくとも１つのビデオブロックが少なくとも１つのＭＶに関連付けられる。たとえば、参照ピクチャは、現在符号化されるピクチャに隣接したビデオピクチャでよい。
【0080】
ステップ１０１２において、第１の参照ピクチャの中の参照ブロックから生成されたビデオブロックの第１の予測サンプルＩ（ｉ，ｊ）を取得する。ｉおよびｊは、このビデオブロックを有する１つのサンプルの座標を表し得る。たとえば、予測サンプルＩ（ｉ，ｊ）は、表示順序における以前の参照ピクチャのＬ０のリストにおけるＭＶを使用する予測サンプルでよい。
【0081】
ステップ１０１４において、内部ＰＲＯＦパラメータの内部ビット深度を制御する。内部ＰＲＯＦパラメータは、予測サンプルＩ（ｉ，ｊ）に関して導出された水平方向勾配値、垂直方向勾配値、水平方向動き差分および垂直方向動き差分を含む。
【0082】
ステップ１０１６において、水平方向勾配値および垂直方向勾配値ならびに水平方向動き差分および垂直方向動き差分を基に、第１の予測サンプルＩ（ｉ，ｊ）の予測改善値を取得する。
【0083】
ステップ１０１８において、ビデオブロックが第２のＭＶを含むときには、第２のＭＶに関連した第２の予測サンプルＩ’（ｉ，ｊ）と、第２の予測サンプルＩ’（ｉ，ｊ）の対応する予測改善値とを取得する。
【0084】
ステップ１０２０において、第１の予測サンプルＩ（ｉ，ｊ）と第２の予測サンプルＩ’（ｉ，ｊ）と予測改善値との組合せに基づいて、ビデオブロックの最終予測サンプルを取得する。
【0085】
第１に、もう１つの統合設計を達成する一方でＰＲＯＦの符号化効率を改善するために、ＢＤＯＦおよびＰＲＯＦによって使用されるサンプル勾配およびＭＶ差分の表現のビット深度を一体化するための１つの方法が提案される。
【0086】
第２に、ハードウェアパイプライン設計を容易にするために、ＰＲＯＦのワークフローを双予測用のＢＤＯＦのワークフローと調和させることが提案される。具体的には、提案された方法は、Ｌ０とＬ１とについて予測改善を個別に導出する既存のＰＲＯＦと異なり、予測改善を１回導出して、これを、組み合わされたＬ０およびＬ１の予測信号に適用する。
【0087】
第３に、ＢＤＯＦおよびＰＲＯＦによって使用される勾配値を計算するために整数参照サンプルの導出を調和させるための２つの方法が提案される。
【0088】
第４に、計算の複雑さを軽減するために、ある特定の条件が満たされたときアフィン符号化ブロック用のＰＲＯＦ処理を適応的に抑止するための早期終了方法が提案される。
【0089】
ＰＲＯＦ勾配およびＭＶ差分の、改善されたビット深度の表現設計
【0090】
「ＰＲＯＦを使用してアフィンモードの効率を改善すること」の段落で分析されたように、現在のＰＲＯＦでは、ＭＶ差分およびサンプル勾配のビット深度の表現は、正確な予測改善を導出するために一致されない。その上に、サンプル勾配およびＭＶ差分の表現のビット深度は、ＢＤＯＦとＰＲＯＦとの間で一貫せず、ハードウェアにとって都合が悪い。この段落では、ＢＤＯＦのビット深度表現方法をＰＲＯＦまで拡張することによって改善されるビット深度の表現方法が１つ提案される。具体的には、提案される方法では、各サンプル位置における水平方向勾配および垂直方向勾配は以下のように計算される。
【数17】
【0091】
加えて、１つのサンプル位置から、サンプルが属するサブブロックの中心まで４分の１画素精度で表された水平方向オフセットおよび垂直方向オフセットがΔｘおよびΔｙであると想定して、サンプル位置における対応するＰＲＯＦのＭＶ差分Δｖ（ｘ，ｙ）は以下のように導出される。
【数18】
【0092】
ここで、ｄＭｖＢｉｔｓは、ＢＤＯＦ処理によって使用される勾配値のビット深度であり、すなわち、次のとおりである。
【数19】
【0093】
式（１１）および（１２）において、ｃ、ｄ、ｅおよびｆは、アフィン制御点ＭＶを基に導出されるアフィンパラメータである。具体的には、４パラメータ・アフィンモデルについては、次のとおりである。
【数20】
【0094】
６パラメータ・アフィンモデルについては、次のとおりである。
ここで（ｖ０ｘ，ｖ０ｙ）、（ｖ１ｘ，ｖ１ｙ）、（ｖ２ｘ，ｖ２ｙ）は現在の符号化ブロックの左上、右上、および左下の制御点ＭＶであって１６分の１画素精度で表現され、ｗはブロックの幅であり、ｈはブロックの高さである。
【数21】
ここで（ｖ０ｘ，ｖ０ｙ）、（ｖ１ｘ，ｖ１ｙ）、（ｖ２ｘ，ｖ２ｙ）は現在の符号化ブロックの左上、右上、および左下の制御点ＭＶであって１６分の１画素精度で表現され、ｗはブロックの幅であり、ｈはブロックの高さである。
【0095】
双予測用のＢＤＯＦおよびＰＲＯＦの調和されたワークフロー
【0096】
以前に論じたように、１つのアフィン符号化ブロックが双予測されるとき、現在のＰＲＯＦは単独的なやり方で適用される。より具体的には、ＰＲＯＦサンプル改善は個別に導出され、リストＬ０およびＬ１において予測サンプルに適用される。その後、それぞれリストＬ０およびＬ１からの改良された予測信号が平均されてブロックの最終的な双予測信号を生成する。これは、サンプル改善が導出されて双予測信号に適用されるＢＤＯＦ設計と対照的である。そのため、ＢＤＯＦとＰＲＯＦとの双予測ワークフローの間の差が、実際のコーデックのパイプライン設計にとって不都合になり得る。
【0097】
図１１は、本開示による、ビデオ信号を復号するためのＢＤＯＦのビット深度表現方法を示す。
【0098】
ステップ１１１０において、ビデオブロックに関連した第１の参照ピクチャＩ（０）および第２の参照ピクチャＩ（１）を取得する。表示順序において、第１の参照ピクチャＩ（０）は現在のピクチャの前のものであり、第２の参照ピクチャＩ（１）は現在のピクチャの後のものである。たとえば、参照ピクチャは、現在符号化されるピクチャに隣接したビデオピクチャでよい。
【0099】
ステップ１１１２において、第１の参照ピクチャＩ（０）の中の参照ブロックからビデオブロックの第１の予測サンプルＩ（０）（ｉ，ｊ）を取得する。ｉおよびｊは、現在のピクチャを有する１つのサンプルの座標を表し得る。
【0100】
ステップ１１１４において、第２の参照ピクチャＩ（１）の中の参照ブロックからビデオブロックの第２の予測サンプルＩ（１）（ｉ，ｊ）を取得する。
【0101】
ステップ１１１６において、第１の予測サンプルＩ（０）（ｉ，ｊ）および第２の予測サンプルＩ（１）（ｉ，ｊ）に基づいてビデオブロックにＢＤＯＦを適用する。
【0102】
ステップ１１１８において、パディングされた予測サンプルに基づいて第１の予測サンプルＩ（０）（ｉ，ｊ）および第２の予測サンプルＩ（１）（ｉ，ｊ）の水平方向勾配値および垂直方向勾配値を取得する。
【0103】
ステップ１１２０において、ビデオブロックに適用されているＢＤＯＦならびに水平方向勾配値および垂直方向勾配値に基づいて、ビデオブロックにおけるサンプルの動き改善を取得する。
【0104】
ステップ１１２２において、動き改善に基づいてビデオブロックの双予測サンプルを取得する。
【0105】
現在の開示によれば、ハードウェアパイプライン設計を容易にするための簡略化方法の１つは、２つの予測改善方法のワークフローを調和させるようにＰＲＯＦの双予測プロセスを修正するものである。具体的には、それぞれの予測方向に対して個別に改善を適用する代わりに、提案されたＰＲＯＦ方法は、リストＬ０およびＬ１の制御点ＭＶを基に予測改善を１回導出し、次いで、導出された予測改善が、組み合わされたＬ０とＬ１との予測信号に適用されて品質を向上させる。具体的には、提案された方法により、式（１２）で導出されたようなＭＶ差分を基に、１つのアフィン符号化ブロックの最終的な双予測サンプルが以下のように計算される。
ここで、ｓｈｉｆｔおよびｏｏｆｆｓｅｔは、双予測のためにＬ０予測信号とＬ１予測信号とを組み合わせるように適用される右シフト値およびオフセット値であって、それぞれ、（１５－ｂｉｔ-ｄｅｐｔｈ）および１＜＜（１４－ｂｉｔ-ｄｅｐｔｈ）＋（２＜＜１３）に等しい。さらに、提案された方法では、式（１３）に示されるように、（式（９）に示されるような）既存のＰＲＯＦ設計におけるクリップ動作が解消される。
【数22】
ここで、ｓｈｉｆｔおよびｏｏｆｆｓｅｔは、双予測のためにＬ０予測信号とＬ１予測信号とを組み合わせるように適用される右シフト値およびオフセット値であって、それぞれ、（１５－ｂｉｔ-ｄｅｐｔｈ）および１＜＜（１４－ｂｉｔ-ｄｅｐｔｈ）＋（２＜＜１３）に等しい。さらに、提案された方法では、式（１３）に示されるように、（式（９）に示されるような）既存のＰＲＯＦ設計におけるクリップ動作が解消される。
【0106】
図１２は、提案された双予測ＰＲＯＦ方法が適用されるときのＰＲＯＦ処理を示す図である。ＰＲＯＦ処理１２００は、Ｌ０動き補償１２１０、Ｌ１動き補償１２２０、および双予測ＰＲＯＦ１２３０を含む。Ｌ０動き補償１２１０は、たとえば以前の参照ピクチャからの動き補償サンプルのリストであり得る。以前の参照ピクチャは、ビデオブロックにおける現在のピクチャよりも以前の参照ピクチャである。Ｌ１動き補償１２２０は、たとえば次の参照ピクチャからの動き補償サンプルのリストであり得る。次の参照ピクチャは、ビデオブロックにおける現在のピクチャの後の参照ピクチャである。双予測ＰＲＯＦ１２３０は、上記で説明されたように、Ｌ１動き補償１２１０およびＬ１動き補償１２２０から動き補償サンプルを取り込んで双予測サンプルを出力する。
【0107】
図１３は、ＢＤＯＦと提案されたＰＲＯＦとの両方が適用されるときの、例示的なパイプラインステージを示す図である。図１３は、ハードウェアパイプライン設計のための提案された方法の、可能性のある利点を明示するものである。パイプラインステージ１３００は、ＭＶを解析／復号して、参照サンプル１３１０、動き補償１３２０、ＢＤＯＦ／ＰＲＯＦ１３３０を取り込むことを含む。パイプラインステージ１３００は、ビデオブロックＢＬＫ０、ＢＫＬ１、ＢＫＬ２、ＢＫＬ３、およびＢＬＫ４を符号化する。各ビデオブロックが、ＭＶを解析／復号して参照サンプルを取り込む１３１０から始まって、動き補償１３２０、次いで動き補償１３２０、ＢＤＯＦ／ＰＲＯＦ１３３０へと順次に移る。これは、ＢＬＫ０が動き補償１３２０に移るまで、パイプラインステージ１３００の処理においてＢＬＫ０が始まらないことを意味する。Ｔ０からＴ１、Ｔ２、Ｔ３、およびＴ４までの時間において、すべてのステージおよびビデオブロックについて同様である。
【0108】
図１３では、１つのインターブロックの復号処理が、主として下記の３つのステップを含む。
【0109】
第１に、符号化ブロックのＭＶを解析／復号し、参照サンプルを取り込む。
【0110】
第２に、符号化ブロックのＬ０および／またはＬ１の予測信号を生成する。
【0111】
第３に、符号化ブロックが、１つの非アフィンモードによって予測されるときにはＢＤＯＦを基に、アフィンモードによって予測されるときにはＰＲＯＦを基に、生成された双予測サンプルのサンプルに関する改善を実施する。
【0112】
図１３に示されるように、提案された調和方法が適用された後にＢＤＯＦとＰＲＯＦとの両方が双予測サンプルに直接適用される。ＢＤＯＦとＰＲＯＦとが、異なるタイプの符号化ブロックに適用される（すなわち、ＢＤＯＦが非アフィンブロックに適用され、ＰＲＯＦがアフィンブロックに適用される）場合には、２つの符号化ツールを同時に呼び出すことはできない。したがって、これらの対応する復号処理は、同一のパイプラインステージを共用することによって行われ得る。既存のＰＲＯＦ設計では、ＢＤＯＦとＰＲＯＦとで双予測のワークフローが異なるため、両方に同一のパイプラインステージを割り当てるのが困難であるのに対し、提案された方法はより効率的である。
【0113】
上記の議論では、提案された方法が考慮に入れるのは、ＢＤＯＦのワークフローとＰＲＯＦのワークフローとの調和のみである。しかしながら、既存の設計によれば、２つの符号化ツール用の基本的な作業単位も、異なるサイズで実行される。具体的には、ＢＤＯＦについては、１つの符号化ブロックがＷＳ×ＨＳのサイズを有する複数のサブブロックに分割され、Ｗは符号化ブロックの幅であってＷＳ＝ｍｉｎ（Ｗ，１６）であり、Ｈは符号化ブロックの高さであってＨＳ＝ｍｉｎ（Ｈ，１６）である。勾配計算およびサンプル改善導出などのＢＯＤＦ動作は、各サブブロックに対して別々に実行される。他方では、以前に説明されたように、アフィン符号化ブロックは４×４のサブブロックに分割され、各サブブロックに、４パラメータ・アフィンモデルまたは６パラメータ・アフィンモデルに基づいて導出された個別の１つのＭＶが割り当てられる。ＰＲＯＦが適用されるのはアフィンブロックのみであるため、ＰＲＯＦの基本動作単位は４×４のサブブロックである。双予測のワークフローの問題と同様に、ＰＲＯＦ用にＢＤＯＦのものと異なる基本的な作業単位サイズを使用することは、ハードウェアの実装にとって不都合であり、ＢＤＯＦとＰＲＯＦとで全復号処理の同一のパイプラインステージを共用するのが困難になる。一実施形態では、そのような問題を解決するために、アフィンモードのサブブロックサイズをＢＤＯＦのものと一致させることが提案される。具体的には、提案される方法によれば、１つの符号化ブロックが、アフィンモードによって符号化される場合には、ＷＳ×ＨＳのサイズを有するサブブロックに分割されることになり、Ｗは符号化ブロックの幅であってＷＳ＝ｍｉｎ（Ｗ，１６）であり、Ｈは符号化ブロックの高さであってＨＳ＝ｍｉｎ（Ｈ，１６）である。各サブブロックが１つの個別のＭＶを割り当てられ、ＰＲＯＦの１つの独立した作業単位とみなされる。独立したＰＲＯＦ作業単位により、最上位のＰＲＯＦ動作は、隣接したＰＲＯＦ作業単位からの情報を参照することなく実行されることが保証されることは言及に値する。具体的には、１つのサンプル位置におけるＰＲＯＦのＭＶ差分は、サンプル位置におけるＭＶと、サンプルが位置するＰＲＯＦの作業単位の中心におけるＭＶとの間の差として計算され、ＰＲＯＦ導出によって使用される勾配は、各ＰＲＯＦ作業単位に沿ってサンプルをパディングすることによって計算される。提案された方法は、１）動き補償およびＢＤＯＦ／ＰＲＯＦ改善の両方のための統合された基本的な作業単位サイズを用いてパイプラインアーキテクチャが簡素化され、２）アフィン動き補償用の拡大されたサブブロックサイズのために、メモリ帯域幅の使用が低減され、３）サンプルごとの、分数サンプル補間の計算の複雑さが軽減される、といった３つの態様を主に含むことの利益を主張するものである。
【0114】
提案された方法では、計算の複雑さが軽減される（すなわち３番目の態様）ので、アフィン符号化ブロック用の既存の６タップ補間フィルタの制約が解消され得る。むしろ、非アフィン符号化ブロック用のデフォルトの８タップ補間もアフィン符号化ブロックのために使用される。この場合の全体的な計算の複雑さは、６タップ補間フィルタを用いる４×４のサブブロックに基づく既存のＰＲＯＦ設計と比較して、なお有利であり得る。
【0115】
ＢＤＯＦおよびＰＲＯＦ用の勾配導出の調和
【0116】
以前に説明されたように、ＢＤＯＦとＰＲＯＦとの両方が現在の符号化ブロックの内部の各サンプルの勾配を計算し、ブロックの両側で、予測サンプルの１つの付加的な行／列にアクセスする。追加の補間の複雑さを回避するために、ブロック境界のあたりの拡張領域において必要とされる予測サンプルは、整数参照サンプルから直接コピーされる。しかしながら、「問題の表明」の段落で指摘されたように、ＢＤＯＦの勾配値およびＰＲＯＦの勾配値を計算するために別々の位置における整数サンプルが使用される。
【0117】
もう１つの一律な設計を達成するために、ＢＤＯＦによって使用される勾配導出法とＰＲＯＦによって使用される勾配導出法とを一体化するための２つの方法が以下で開示される。第１の方法では、ＰＲＯＦの勾配導出法をＢＤＯＦのものと同一にすることが提案される。具体的には、第１の方法によって、拡張領域における予測サンプルを生成するために使用される整数位置は、分数サンプル位置を切り捨てることによって決定され、すなわち、（水平方向勾配用）分数サンプル位置の左の整数サンプル位置と、（垂直方向勾配用）分数サンプル位置の上の整数サンプル位置とが選択される。
【0118】
第２の方法では、ＢＤＯＦの勾配導出法をＰＲＯＦのものと同一にすることが提案される。より詳細には、第２の方法が適用されたとき、勾配計算のために使用されるのは、予測サンプルに対して最も近い整数参照サンプルである。
【0119】
図１４は、ＢＤＯＦの勾配導出法を使用する一例を示すものであり、白い円は整数位置の参照サンプル１４１０を表し、三角形は現在のブロックの分数の予測サンプル１４３０を表し、灰色の円は現在のブロックの拡張領域を埋めるために使用される整数参照サンプル１４２０を表す。
【0120】
図１５は、ＰＲＯＦの勾配導出法を使用する一例を示すものであり、白い円は整数位置の参照サンプル１５１０を表し、三角形は現在のブロックの分数の予測サンプル１５３０を表し、灰色の円は現在のブロックの拡張領域を埋めるために使用される整数参照サンプル１５２０を表す。
【0121】
図１４および図１５は、それぞれ第１の方法（図１４）および第２の方法（図１５）が適用されるとき、ＢＤＯＦ用の勾配およびＰＲＯＦ用の勾配を導出するために使用される対応する整数サンプルの位置を表すものである。図１４および図１５において、白い円は整数位置の参照サンプルを表し、三角形は現在のブロックの分数の予測サンプルを表し、灰色の円は勾配導出のために現在のブロックの拡張領域を埋めるように使用される整数参照サンプルを表す。
【0122】
制御点ＭＶ差分に基づくＰＲＯＦの早期終了
【0123】
現在のＰＲＯＦ設計によれば、アフィンモードによって１つの符号化ブロックが予測されるとき、ＰＲＯＦが常に呼び出される。しかしながら、式（６）および（７）において指示されるように、１つのアフィンブロックのサブブロックのＭＶは制御点ＭＶから導出される。したがって、制御点ＭＶ間の差が比較的小さいときには、各サンプル位置におけるＭＶは安定しているはずである。そのような場合には、ＰＲＯＦを適用する利点はまさに制限されるであろう。したがって、ＰＲＯＦの平均的な計算の複雑さをさらに軽減するために、１つの４×４のサブブロックの内部で、サンプルに関するＭＶとサブブロックに関するＭＶとの最大のＭＶ差分を基に、ＰＲＯＦベースのサンプル改善を適応的にスキップすることが提案される。１つの４×４のサブブロックの内部では、サブブロック中心のまわりでサンプルのＰＲＯＦのＭＶ差分の値が対称であるため、水平方向ＰＲＯＦの最大ＭＶ差分および垂直方向ＰＲＯＦの最大ＭＶ差分は、式（１０）に基づいて以下のように計算され得る。
【数23】
【0124】
現在の開示によれば、ＰＲＯＦ処理をスキップするために、ＭＶ差分が十分に小さいかどうかを判定するのに、異なるメトリックが使用され得る。
【0125】
一例では、水平方向の最大ＭＶ差分の絶対値と垂直方向の最大ＭＶ差分の絶対値との合計が１つの所定の閾値よりも小さいとき、すなわち、次式が成立するとき、式（１４）に基づいてＰＲＯＦ処理はスキップされ得る。
【数24】
【0126】
別の例では、以下に示すように｜Δｖｘ
ｍａｘ｜および｜Δｖｙ
ｍａｘ｜の最大値が閾値以下であれば、ＰＲＯＦ処理はスキップされ得る。
【数25】
【0127】
ＭＡＸ（ａ，ｂ）は、入力値ａとｂのうちの大きい方の値を返す関数である。
【0128】
上記の２つの例に加えて、ＰＲＯＦ処理をスキップするためにＭＶ差分が十分に小さいかどうかを判定するのに他のメトリックが使用されるとき、現在の開示の趣旨はその場合にも適用可能である。
【0129】
上記の方法では、ＰＲＯＦはＭＶ差分の大きさを基にスキップされる。他方では、ＭＶ差分に加えて、ＰＲＯＦサンプル改善はまた、１つの動き補償されたブロックの中の各サンプル位置における局所的な勾配情報を基に計算される。高周波数の細部がより少ない予測ブロック（たとえば平坦な部位）については、勾配値が小さくて、導出されるサンプル改善の値が小さくなる傾向がある。このことを考慮に入れて、現在の開示の別の態様によれば、十分に高い周波数の情報を含むブロックの予測サンプルにのみＰＲＯＦを適用することが提案される。
【0130】
あるブロックがＰＲＯＦ処理を呼び出す価値があるほど十分に高い周波数の情報を含むかどうかを判定するのに、種々のメトリックが使用され得る。一例では、予測ブロックの中のサンプルの勾配の平均の大きさ（すなわち絶対値）に基づいて判断される。平均の大きさが１つの閾値よりも小さければ、予測ブロックは平坦な部位として分類され、ＰＲＯＦを適用されるべきではなく、そうでなければ、予測ブロックは十分に高い周波数の細部を含むとみなされ、ＰＲＯＦはなお適用可能である。別の例では、予測ブロックの中のサンプルの勾配の最大の大きさが使用され得る。最大の大きさが１つの閾値よりも小さければ、このブロックに対するＰＲＯＦはスキップされる。さらに別の例では、予測ブロックの最大のサンプル値と最小のサンプル値との間の差Ｉｍａｘ－Ｉｍｉｎが、このブロックに対してＰＲＯＦを適用するべきかどうかを判定するために使用され得る。そのような差値が閾値よりも小さければ、このブロックに対するＰＲＯＦはスキップされる。本開示の趣旨は、所与のブロックが十分に高い周波数の情報を含むか否かを判定するのに何らかの他のメトリックが使用される場合にも適用可能であることに注目するべきである。
【0131】
図１６は、ユーザインタフェース１６６０と結合されたコンピューティング環境１６１０を示す。コンピューティング環境１６１０はデータ処理サーバの一部であり得る。コンピューティング環境１６１０は、プロセッサ１６２０、メモリ１６４０、および入出力インタフェース１６５０を含む。
【0132】
プロセッサ１６２０は、一般的には、表示、データ収集、データ通信、および画像処理に関連した動作などのコンピューティング環境１６１０の全体的な動作を制御する。プロセッサ１６２０は、前述の方法におけるステップのすべてまたはいくつかを実施する命令を実行するための１つまたは複数のプロセッサを含み得る。その上に、プロセッサ１６２０は、プロセッサ１６２０と他の構成要素との間の相互作用を容易にする１つまたは複数のモジュールを含み得る。プロセッサは、中央処理装置（ＣＰＵ）、マイクロプロセッサ、単一チップマシン、ＧＰＵ等でよい。
【0133】
メモリ１６４０は、コンピューティング環境１６１０の動作をサポートするために様々なタイプのデータを記憶するように構成されている。メモリ１６４０は所定のソフトウェア１６４２を含み得る。そのようなデータの例は、コンピューティング環境１６１０、ビデオデータセット、画像データなどに対して動作する任意のアプリケーションまたは方法のための命令を含む。メモリ１６４０は、静的ランダムアクセスメモリ（ＳＲＡＭ：ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、電気的消去プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ：ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、プログラマブル読取り専用メモリ（ＰＲＯＭ：ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、読取り専用メモリ（ＲＯＭ：ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの、任意のタイプの揮発性もしくは不揮発性のメモリデバイスまたはその組合せを使用することによって実現され得る。
【0134】
入出力インタフェース１６５０は、プロセッサ１６２０と、キーボード、クリックホイール、ボタンなどの周辺インタフェースモジュールとの間のインタフェースをもたらす。ボタンは、限定はしないが、ホームボタン、走査開始ボタン、および走査停止ボタンを含み得る。入出力インタフェース１６５０は符号化器および復号器と結合され得る。
【0135】
一実施形態では、前述の方法を実施するために、メモリ１６４０に含まれるものなど、コンピューティング環境１６１０においてプロセッサ１６２０によって実行可能な複数のプログラムを含む非一時的コンピュータ可読記憶媒体も提供される。たとえば、非一時的コンピュータ可読記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光学データ記憶デバイス等でよい。
【0136】
非一時的コンピュータ可読記憶媒体には、１つまたは複数のプロセッサを有するコンピューティングデバイスによって実行するための複数のプログラムが記憶されており、複数のプログラムは、１つまたは複数のプロセッサによって実行されたとき、コンピューティングデバイスに、動き予測のための前述の方法を実施させる。
【0137】
一実施形態では、コンピューティング環境１６１０は、上記方法を実施するために、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理デバイス（ＤＳＰＤ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅ）、プログラマブル論理デバイス（ＰＬＤ：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、グラフィック処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品を用いて実現され得る。
【0138】
本開示の説明は解説のために提供されたものであり、網羅的であることまたは本開示を限定することを意図するものではない。上記の説明および関連する図面において提供された教示の利益を有する当業者には、多くの修正形態、変形形態、および代替的な実装が明らかになるはずである。
【0139】
上記の例が選択されて説明されたのは、本開示の原理について説明するとともに、当業者が、本開示の様々な実装を理解すること、ならびに根本原理および様々な実装を、企図された特定の用途に適する様々な修正形態を用いて最も良く利用することを可能にするためである。したがって、本開示の範囲は開示された実装の具体例に限定されるものではなく、修正形態および他の実装は本開示の範囲内に含まれるように意図されていることを理解されたい。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
