▶ ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッドの特許一覧
特許7586988双方向オプティカル・フローに対するビット幅制御方法およびデバイス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-11
(45)【発行日】2024-11-19
(54)【発明の名称】双方向オプティカル・フローに対するビット幅制御方法およびデバイス
(51)【国際特許分類】
H04N 19/513 20140101AFI20241112BHJP
H04N 19/577 20140101ALI20241112BHJP
【ＦＩ】
H04N19/513
H04N19/577
【請求項の数】
30
(21)【出願番号】P 2023156482
(22)【出願日】2023-09-21
(62)【分割の表示】P 2022106654の分割
【原出願日】2020-03-16
(65)【公開番号】P2023169341
(43)【公開日】2023-11-29
【審査請求日】2023-10-13
(31)【優先権主張番号】62/819,408
(32)【優先日】2019-03-15
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521248394
【氏名又は名称】ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＤＡＪＩＡ ＩＮＴＥＲＮＥＴ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100217940
【弁理士】
【氏名又は名称】三並 大悟
(72)【発明者】
【氏名】シウ、シャオユー
(72)【発明者】
【氏名】チェン、イ－ウェン
(72)【発明者】
【氏名】ワン、シャンリン
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第２０２０／０６１０８２（ＷＯ，Ａ１）
【文献】国際公開第２０１９／０１０１５６（ＷＯ，Ａ１）
【文献】国際公開第２０１８／１６９９８９（ＷＯ，Ａ１）
【文献】国際公開第２０１７／１３４９５７（ＷＯ，Ａ１）
【文献】Xiaoyu Xiu, Yuwen He, and Yan Ye，CE9-related: Complexity reduction and bit-width control for bi-directional optical flow (BIO)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0256_v2，12th Meeting: Macao, CN，2018年09月，pp.1-15
【文献】Takeshi Chujoh and Tomohiro Ikai，Non-CE9: An improvement of BDOF，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0063-v3，13th Meeting: Marrakech, MA，2019年01月，pp.1-3
【文献】Xiaoyu Xiu, et al.，CE9-related: Improvements on bi-directional optical flow (BDOF)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-N0325，14th Meeting: Geneva, CH，2019年03月，pp.1-7
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
ビデオ信号を復号化するための双方向オプティカル・フロー（ＢＤＯＦ）のビット幅制御方法であって、ビデオ・サブブロックに関連付けられた第１の参照ピクチャおよび第２の参照ピクチャを取得することであり、表示順で、前記第１の参照ピクチャが、現在のピクチャの前にあり、前記第２の参照ピクチャが、前記現在のピクチャの後にある、取得することと、
前記第１の参照ピクチャから、前記ビデオ・サブブロックのサンプルに対する第１の予測サンプルＩ（０）を取得することと、
前記第２の参照ピクチャから、前記ビデオ・サブブロックのサンプルに対する第２の予測サンプルＩ（１）を取得することと、
第１の予測サンプルＩ（０）（ｉ＋１，ｊ）と第１の予測サンプルＩ（０）（ｉ－１，ｊ）とに基づいて、前記サンプルの１つのサンプルに対する第１の水平勾配を取得することであり、ｉおよびｊは前記１つのサンプルの座標に対応する、取得することと、
第２の予測サンプルＩ（１）（ｉ＋１，ｊ）と第２の予測サンプルＩ（１）（ｉ－１，ｊ）とに基づいて、前記１つのサンプルに対する第２の水平勾配を取得することと、
第１の予測サンプルＩ（０）（ｉ，ｊ＋１）と第１の予測サンプルＩ（０）（ｉ，ｊ－１）とに基づいて、前記１つのサンプルに対する第１の垂直勾配を取得することと、
第２の予測サンプルＩ（１）（ｉ，ｊ＋１）と第２の予測サンプルＩ（１）（ｉ，ｊ－１）とに基づいて、前記１つのサンプルに対する第２の垂直勾配を取得することと、
中間パラメータのビット幅を制御することによって、前記ビデオ・サブブロックの前記１つのサンプルに対する動き補正を取得することであり、前記中間パラメータが、前記第１および第２の水平勾配と、前記第１および第２の垂直勾配と、第１の予測サンプルＩ（０）（ｉ，ｊ）および第２の予測サンプルＩ（１）（ｉ，ｊ）に基づくサンプル差とを備える、取得することと、
前記動き補正と、前記第１の水平勾配および第２の水平勾配の差と、前記第１の垂直勾配および第２の垂直勾配の差とに基づいて、前記ビデオ・サブブロックの前記１つのサンプルに対する双方向予測サンプルを取得することとを備え、
前記中間パラメータのビット幅を制御することによって、前記ビデオ・サブブロックの前記１つのサンプルに対する動き補正を取得することが、
第１のビットシフト値を使用して右シフト動作を行うことによって、第１および第２の水平勾配のビット幅を制御することと、
前記第１のビットシフト値を使用して右シフト動作を実行することによって、前記第１および第２の垂直勾配のビット幅を制御することと、
第１の相関関係値を取得することであり、前記第１の相関関係値が、前記第１の水平勾配および前記第２の水平勾配の和である、取得することと、
第２の相関関係値を取得することであり、前記第２の相関関係値が、前記第１の垂直勾配および前記第２の垂直勾配の和である、取得することと、
第２のビットシフト値を使用して前記第１の相関関係値を右シフトすることによって、修正された第１の相関関係値を取得することと、
第２のビットシフト値を使用して前記第２の相関関係値を右シフトすることによって、修正された第２の相関関係値を取得することとをさらに備える、方法。
【請求項2】
前記中間パラメータのビット幅を制御することによって、前記ビデオ・サブブロックの前記１つのサンプルに対する動き補正を取得することは、前記ビデオ・サブブロックの前記１つのサンプルに対して、第３のビットシフト値を使用して前記１つのサンプルに対する第１の予測サンプルＩ（０）（ｉ，ｊ）を右シフトすることによって、第１の修正された予測サンプルを取得することと、
前記第３のビットシフト値を使用して前記１つのサンプルに対する第２の予測サンプルＩ（１）（ｉ，ｊ）を右シフトすることによって、第２の修正された予測サンプルを取得することと、
前記１つのサンプルに対する前記サンプル差を取得することであり、前記サンプル差が、前記第１の修正された予測サンプルと前記第２の修正された予測サンプルとの間の差である、取得することと
をさらに備える、請求項１に記載の方法。
【請求項3】
前記第２のビットシフト値および前記第３のビットシフト値が、それぞれ１および４に等しい、請求項２に記載の方法。
【請求項4】
前記ビデオ・サブブロック内の前記第１の相関関係値および前記第２の相関関係値の和に基づいて、第１の内部加算値を取得することと、第１のパラメータに基づいて前記第１の内部加算値をクリッピングすることであり、前記第１のパラメータが、前記第１の内部加算値の出力ビット深さを制御する、クリッピングすることと、
前記ビデオ・サブブロック内の前記第２の相関関係値および前記サンプル差の和に基づいて、第２の内部加算値を取得することと、
第２のパラメータに基づいて前記第２の内部加算値をクリッピングすることであり、前記第２のパラメータが、前記第２の内部加算値の出力ビット深さを制御する、クリッピングすることと
をさらに備える、請求項２に記載の方法。
【請求項5】
前記第１のパラメータが２６に等しく、前記第２のパラメータが２８に等しい、請求項４に記載の方法。
【請求項6】
ビデオ信号を復号化するための双方向オプティカル・フロー（ＢＤＯＦ）のビット幅制御方法であって、４×４ビデオ・サブブロックに関連付けられた第１の参照ピクチャおよび第２の参照ピクチャを取得することであり、表示順で、前記第１の参照ピクチャが、現在のピクチャの前にあり、前記第２の参照ピクチャが、前記現在のピクチャの後にある、取得することと、
前記第１の参照ピクチャから、前記４×４ビデオ・サブブロックのサンプルに対する第１の予測サンプルＩ（０）を取得することと、
前記第２の参照ピクチャから、前記４×４ビデオ・サブブロックのサンプルに対する第２の予測サンプルＩ（１）を取得することと、
中間パラメータのビット幅を制御することによって、前記４×４ビデオ・サブブロックに適用される６×６ウィンドウに基づいて前記４×４ビデオ・サブブロックのサンプルに対する動き補正を取得することであり、前記中間パラメータが、前記第１の予測サンプルＩ（０）と前記第２の予測サンプルＩ（１）とに基づいて導出される水平勾配、垂直勾配、およびサンプル差のうち少なくとも１つを備える、取得することと、
前記動き補正に基づいて、前記４×４ビデオ・サブブロックのサンプルの双方向予測サンプルを取得することとを備える、
方法。
【請求項7】
前記中間パラメータのビット幅を制御することによって、前記４×４ビデオ・サブブロックに適用される６×６ウィンドウに基づいて前記ビデオ・サブブロックのサンプルに対する動き補正を取得することが、第１のビットシフト値を使用して右シフト動作を行うことによって、前記水平勾配のビット幅を制御することと、
前記第１のビットシフト値を使用して右シフト動作を行うことによって、前記垂直勾配のビット幅を制御すること、をさらに備える、請求項６に記載の方法。
【請求項8】
前記中間パラメータのビット幅を制御することによって、前記４×４ビデオ・サブブロックに適用される６×６ウィンドウに基づいて前記４×４ビデオ・サブブロックのサンプルに対する動き補正を取得することが、前記４×４ビデオ・サブブロックの１つのサンプルに対して、第１の相関関係値を取得することであり、前記第１の相関関係値が、前記１つのサンプルに関する前記第１の予測サンプルＩ（０）および前記第２の予測サンプルＩ（１）の水平勾配の和である、取得することと、
第２の相関関係値を取得することであり、前記第２の相関関係値が、前記１つのサンプルに関する前記第１の予測サンプルＩ（０）および前記第２の予測サンプルＩ（１）の垂直勾配の和である、取得することと、
前記第１の相関関係値を１だけ右シフトすることによって、修正された第１の相関関係値を取得することと、
前記第２の相関関係値を１だけ右シフトすることによって、修正された第２の相関関係値を取得することとをさらに備える、請求項６に記載の方法。
【請求項9】
前記中間パラメータのビット幅を制御することによって、前記４×４ビデオ・サブブロックに適用される６×６ウィンドウに基づいて前記４×４ビデオ・サブブロックのサンプルに対する動き補正を取得することが、前記４×４ビデオ・サブブロックの１つのサンプルに対して、前記１つのサンプルに対する第１の予測サンプルＩ（０）（ｉ，ｊ）を４だけ右シフトすることによって、第１の修正された予測サンプルを取得することと、
前記１つのサンプルに対する第２の予測サンプルＩ（１）（ｉ，ｊ）を４だけ右シフトすることによって、第２の修正された予測サンプルを取得することと、
前記１つのサンプルに対するサンプル差を取得することであり、前記サンプル差が、前記第１の修正された予測サンプルと前記第２の修正された予測サンプルとの間の差である、取得することと
をさらに備える、請求項８に記載の方法。
【請求項10】
１つまたは複数のプロセッサと、ビデオ信号を復号化するための命令が格納されたメモリと、
を備えるコンピューティング・デバイスであって、
前記命令は、前記１つまたは複数のプロセッサによって実行されると、請求項１～５のいずれかに記載の方法を前記コンピューティング・デバイスに実施させる、コンピューティング・デバイス。
【請求項11】
１つまたは複数のプロセッサと、ビデオ信号を復号化するための命令が格納されたメモリと、
を備えるコンピューティング・デバイスであって、
前記命令は、前記１つまたは複数のプロセッサによって実行されると、請求項６～９のいずれかに記載の方法を前記コンピューティング・デバイスに実施させる、コンピューティング・デバイス。
【請求項12】
ビデオ信号を復号化するための命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサによって実行されると、請求項１～５のいずれかに記載の方法を前記プロセッサに実施させる、非一時的コンピュータ可読記憶媒体。
【請求項13】
ビデオ信号を復号化するための命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサによって実行されると、請求項６～９のいずれかに記載の方法を前記プロセッサに実施させる、非一時的コンピュータ可読記憶媒体。
【請求項14】
請求項１～５のいずれか、または請求項６～９のいずれかに記載の方法をコンピュータに実施させる、コンピュータプログラム。
【請求項15】
ビデオ信号を符号化するための双方向オプティカル・フロー（ＢＤＯＦ）のビット幅制御方法であって、ビデオ・サブブロックに関連付けられた第１の参照ピクチャおよび第２の参照ピクチャを決定することであり、表示順で、前記第１の参照ピクチャが、現在のピクチャの前にあり、前記第２の参照ピクチャが、前記現在のピクチャの後にある、決定することと、
前記第１の参照ピクチャから、前記ビデオ・サブブロックのサンプルに対する第１の予測サンプルＩ（０）を決定することと、
前記第２の参照ピクチャから、前記ビデオ・サブブロックのサンプルに対する第２の予測サンプルＩ（１）を決定することと、
第１の予測サンプルＩ（０）（ｉ＋１，ｊ）と第１の予測サンプルＩ（０）（ｉ－１，ｊ）とに基づいて、前記サンプルの１つのサンプルに対する第１の水平勾配を決定することであり、ｉおよびｊは前記１つのサンプルの座標に対応する、決定することと、
第２の予測サンプルＩ（１）（ｉ＋１，ｊ）と第２の予測サンプルＩ（１）（ｉ－１，ｊ）とに基づいて、前記１つのサンプルに対する第２の水平勾配を決定することと、
第１の予測サンプルＩ（０）（ｉ，ｊ＋１）と第１の予測サンプルＩ（０）（ｉ，ｊ－１）とに基づいて、前記１つのサンプルに対する第１の垂直勾配を決定することと、
第２の予測サンプルＩ（１）（ｉ，ｊ＋１）と第２の予測サンプルＩ（１）（ｉ，ｊ－１）とに基づいて、前記１つのサンプルに対する第２の垂直勾配を決定することと、
中間パラメータのビット幅を制御することによって、前記ビデオ・サブブロックの前記１つのサンプルに対する動き補正を決定することであり、前記中間パラメータが、前記第１および第２の水平勾配と、前記第１および第２の垂直勾配と、第１の予測サンプルＩ（０）（ｉ，ｊ）および第２の予測サンプルＩ（１）（ｉ，ｊ）に基づくサンプル差とを備える、決定することと、
前記動き補正と、前記第１の水平勾配および第２の水平勾配の差と、前記第１の垂直勾配および第２の垂直勾配の差とに基づいて、前記ビデオ・サブブロックの前記１つのサンプルに対する双方向予測サンプルを決定することとを備え、
前記中間パラメータのビット幅を制御することによって、前記ビデオ・サブブロックの前記１つのサンプルに対する動き補正を決定することが、
第１のビットシフト値を使用して右シフト動作を行うことによって、第１および第２の水平勾配のビット幅を制御することと、
前記第１のビットシフト値を使用して右シフト動作を行うことによって、前記第１および第２の垂直勾配のビット幅を制御することと、
第１の相関関係値を決定することであり、前記第１の相関関係値が、前記第１の水平勾配および前記第２の水平勾配の和である、決定することと、
第２の相関関係値を決定することであり、前記第２の相関関係値が、前記第１の垂直勾配および前記第２の垂直勾配の和である、決定することと、
第２のビットシフト値を使用して前記第１の相関関係値を右シフトすることによって、修正された第１の相関関係値を決定することと、
第２のビットシフト値を使用して前記第２の相関関係値を右シフトすることによって、修正された第２の相関関係値を決定することとをさらに備える、方法。
【請求項16】
前記中間パラメータのビット幅を制御することによって、前記ビデオ・サブブロックの前記１つのサンプルに対する動き補正を決定することは、前記ビデオ・サブブロックの前記１つのサンプルに対して、第３のビットシフト値を使用して前記１つのサンプルに対する第１の予測サンプルＩ（０）（ｉ，ｊ）を右シフトすることによって、第１の修正された予測サンプルを決定することと、
前記第３のビットシフト値を使用して前記１つのサンプルに対する第２の予測サンプルＩ（１）（ｉ，ｊ）を右シフトすることによって、第２の修正された予測サンプルを決定することと、
前記１つのサンプルに対する前記サンプル差を決定することであり、前記サンプル差が、前記第１の修正された予測サンプルと前記第２の修正された予測サンプルとの間の差である、決定することとをさらに備える、請求項１５に記載の方法。
【請求項17】
前記第２のビットシフト値および前記第３のビットシフト値が、それぞれ１および４に等しい、請求項１６に記載の方法。
【請求項18】
前記ビデオ・サブブロック内の前記第１の相関関係値および前記第２の相関関係値の和に基づいて、第１の内部加算値を決定することと、第１のパラメータに基づいて前記第１の内部加算値をクリッピングすることであり、前記第１のパラメータが、前記第１の内部加算値の出力ビット深さを制御する、クリッピングすることと、
前記ビデオ・サブブロック内の前記第２の相関関係値および前記サンプル差の和に基づいて、第２の内部加算値を決定することと、
第２のパラメータに基づいて前記第２の内部加算値をクリッピングすることであり、前記第２のパラメータが、前記第２の内部加算値の出力ビット深さを制御する、クリッピングすることと
をさらに備える、請求項１６に記載の方法。
【請求項19】
前記第１のパラメータが２６に等しく、前記第２のパラメータが２８に等しい、請求項１８に記載の方法。
【請求項20】
ビデオ信号を符号化するための双方向オプティカル・フロー（ＢＤＯＦ）のビット幅制御方法であって、４×４ビデオ・サブブロックに関連付けられた第１の参照ピクチャおよび第２の参照ピクチャを決定することであり、表示順で、前記第１の参照ピクチャが、現在のピクチャの前にあり、前記第２の参照ピクチャが、前記現在のピクチャの後にある、決定することと、
前記第１の参照ピクチャから、前記４×４ビデオ・サブブロックのサンプルに対する第１の予測サンプルＩ（０）を決定することと、
前記第２の参照ピクチャから、前記４×４ビデオ・サブブロックのサンプルに対する第２の予測サンプルＩ（１）を決定することと、
中間パラメータのビット幅を制御することによって、前記４×４ビデオ・サブブロックに適用される６×６ウィンドウに基づいて前記４×４ビデオ・サブブロックのサンプルに対する動き補正を決定することであり、前記中間パラメータが、前記第１の予測サンプルＩ（０）と前記第２の予測サンプルＩ（１）とに基づく水平勾配、垂直勾配、およびサンプル差のうち少なくとも１つを備える、決定することと、
前記動き補正に基づいて、前記４×４ビデオ・サブブロックのサンプルの双方向予測サンプルを決定することとを備える、
方法。
【請求項21】
前記中間パラメータのビット幅を制御することによって、前記４×４ビデオ・サブブロックに適用される６×６ウィンドウに基づいて前記ビデオ・サブブロックのサンプルに対する動き補正を決定することが、第１のビットシフト値を使用して右シフト動作を行うことによって、前記水平勾配のビット幅を制御することと、
前記第１のビットシフト値を使用して右シフト動作を行うことによって、前記垂直勾配のビット幅を制御すること、をさらに備える、請求項２０に記載の方法。
【請求項22】
前記中間パラメータのビット幅を制御することによって、前記４×４ビデオ・サブブロックに適用される６×６ウィンドウに基づいて前記４×４ビデオ・サブブロックのサンプルに対する動き補正を決定することが、前記４×４ビデオ・サブブロックの１つのサンプルに対して、第１の相関関係値を決定することであり、前記第１の相関関係値が、前記１つのサンプルに関する前記第１の予測サンプルＩ（０）および前記第２の予測サンプルＩ（１）の水平勾配の和である、決定することと、
第２の相関関係値を決定することであり、前記第２の相関関係値が、前記１つのサンプルに関する前記第１の予測サンプルＩ（０）および前記第２の予測サンプルＩ（１）の垂直勾配の和である、決定することと、
前記第１の相関関係値を１だけ右シフトすることによって、修正された第１の相関関係値を決定することと、
前記第２の相関関係値を１だけ右シフトすることによって、修正された第２の相関関係値を決定することとをさらに備える、請求項２０に記載の方法。
【請求項23】
前記中間パラメータのビット幅を制御することによって、前記４×４ビデオ・サブブロックに適用される６×６ウィンドウに基づいて前記ビデオ・サブブロックのサンプルに対する動き補正を決定することが、前記４×４ビデオ・サブブロックの１つのサンプルに対して、前記１つのサンプルに対する第１の予測サンプルＩ（０）（ｉ，ｊ）を４だけ右シフトすることによって、第１の修正された予測サンプルを決定することと、
前記１つのサンプルに対する第２の予測サンプルＩ（１）（ｉ，ｊ）を４だけ右シフトすることによって、第２の修正された予測サンプルを決定することと、
前記１つのサンプルに対するサンプル差を決定することであり、前記サンプル差が、前記第１の修正された予測サンプルと前記第２の修正された予測サンプルとの間の差である、決定することと
をさらに備える、請求項２２に記載の方法。
【請求項24】
１つまたは複数のプロセッサと、ビデオ信号を符号化するための命令が格納されたメモリと、
を備えるコンピューティング・デバイスであって、
前記命令は、前記１つまたは複数のプロセッサによって実行されると、請求項１５～１９のいずれかに記載の方法を前記コンピューティング・デバイスに実施させる、コンピューティング・デバイス。
【請求項25】
１つまたは複数のプロセッサと、ビデオ信号を符号化するための命令が格納されたメモリと、
を備えるコンピューティング・デバイスであって、
前記命令は、前記１つまたは複数のプロセッサによって実行されると、請求項２０～２３のいずれかに記載の方法を前記コンピューティング・デバイスに実施させる、コンピューティング・デバイス。
【請求項26】
ビデオ信号を符号化するための命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサによって実行されると、請求項１５～１９のいずれかに記載の方法を前記プロセッサに実施させる、非一時的コンピュータ可読記憶媒体。
【請求項27】
ビデオ信号を符号化するための命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサによって実行されると、請求項２０～２３のいずれかに記載の方法を前記プロセッサに実施させる、非一時的コンピュータ可読記憶媒体。
【請求項28】
請求項１５～１９のいずれか、または請求項２０～２３のいずれかに記載の方法をコンピュータに実施させる、コンピュータプログラム。
【請求項29】
請求項１５～２３に記載の方法を行ってビットストリームを生成することと、
前記ビットストリームを非一時的コンピュータ可読記憶媒体に格納すること、を含むビットストリームの格納方法。
【請求項30】
ビットストリームを送信することであって、前記ビットストリームが請求項１５～１９または請求項２０～２３のいずれかに記載の方法によって生成された、ビットストリームの送信方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、すべての内容が全体として参照により本明細書に組み込まれている、２０１９年３月１５日出願の米国仮特許出願第６２／８１９，４０８号に基づいており、その優先権を主張する。
本出願は、すべての内容が全体として参照により本明細書に組み込まれている、２０１９年３月１５日出願の米国仮特許出願第６２／８１９，４０８号に基づいており、その優先権を主張する。
【0002】
本出願は、ビデオの符号化および圧縮に関する。より詳細には、本開示は、ビデオ符号化のための双方向オプティカル・フロー（ＢＤＯＦ）方法に対する方法および装置に関する。
【背景技術】
【0003】
ビデオ・データを圧縮するために、様々なビデオ符号化技法を使用することができる。ビデオ符号化は、１つまたは複数のビデオ符号化規格に従って実行される。たとえば、ビデオ符号化規格には、多用途ビデオ符号化（ＶＶＣ）、共同探索試験モデル符号化（ＪＥＭ）、高効率ビデオ符号化（Ｈ．２６５／ＨＥＶＣ）、高度ビデオ符号化（Ｈ．２６４／ＡＶＣ）、ムービング・ピクチャ・エキスパート・グループ（ＭＰＥＧ）符号化などが含まれる。ビデオ符号化は概して、ビデオ画像またはシーケンスに存在する冗長性を利用する予測方法（たとえば、インター予測、イントラ予測など）を利用する。ビデオ符号化技法の重要な目標は、ビデオ品質の劣化を回避または最小化しながら、より低いビット・レートを使用する形式にビデオ・データを圧縮することである。
【発明の概要】
【0004】
本開示の例は、双方向オプティカル・フロー（ＢＤＯＦ）に対するビット幅制御のための方法および装置を提供する。本開示の第１の態様によれば、ビデオ信号を符号化するビット幅制御方法が提供される。この方法は、ビデオ・ブロックに関連付けられた第１の参照ピクチャＩ（０）および第２の参照ピクチャＩ（１）を取得することを含むことができる。表示順で、第１の参照ピクチャＩ（０）は、現在のピクチャの前にくることができ、第２の参照ピクチャＩ（１）は、現在のピクチャの後にくることができる。この方法は、第１の参照ピクチャＩ（０）内の参照ブロックから、ビデオ・ブロックの第１の予測サンプルＩ（０）（ｉ，ｊ）を取得することをさらに含むことができる。ｉおよびｊの変数は、現在のピクチャに対する１つのサンプルの座標を表すことができる。この方法は、第２の参照ピクチャＩ（１）内の参照ブロックから、ビデオ・ブロックの第２の予測サンプルＩ（１）（ｉ，ｊ）を取得することをさらに含むことができる。この方法は、中間パラメータの内部ビット幅を導出することによって、ＢＤＯＦの内部ビット幅を制御することをさらに含むことができる。中間パラメータは、第１の予測サンプルＩ（０）（ｉ，ｊ）と第２の予測サンプルＩ（１）（ｉ，ｊ）との間の水平勾配値、垂直勾配値、およびサンプル差を備える中間パラメータを含むことができる。この方法は、第１の予測サンプルＩ（０）（ｉ，ｊ）および第２の予測サンプルＩ（１）（ｉ，ｊ）に基づいてビデオ・ブロックに適用されるＢＤＯＦに基づいて、ビデオ・ブロック内のサンプルに対する動き補正を取得することをさらに含むことができる。この方法は、動き補正に基づいて、ビデオ・ブロックの双方向予測サンプルを取得することをさらに含むことができる。
【0005】
本開示の第２の態様によれば、ビデオ信号を符号化するビット幅制御方法が提供される。この方法は、ビデオ・ブロックに関連付けられた第１の参照ピクチャＩ（０）および第２の参照ピクチャＩ（１）を取得することを含むことができる。表示順で、第１の参照ピクチャＩ（０）は、現在のピクチャの前にくることができ、第２の参照ピクチャＩ（１）は、現在のピクチャの後にくることができる。この方法は、第１の参照ピクチャＩ（０）内の参照ブロックから、ビデオ・ブロックの第１の予測サンプルＩ（０）（ｉ，ｊ）を取得することを含むことができる。ｉおよびｊの変数は、現在のピクチャに対する１つのサンプルの座標を表すことができる。この方法は、第２の参照ピクチャＩ（１）内の参照ブロックから、ビデオ・ブロックの第２の予測サンプルＩ（１）（ｉ，ｊ）を取得することを含むことができる。この方法は、中間パラメータの内部ビット幅を導出することによって、ＢＤＯＦの内部ビット幅を制御することを含むことができる。中間パラメータは、第１の予測サンプルＩ（０）（ｉ，ｊ）と第２の予測サンプルＩ（１）（ｉ，ｊ）との間の水平勾配値、垂直勾配値、およびサンプル差を備える中間パラメータを含むことができる。この方法は、第１の予測サンプルＩ（０）（ｉ，ｊ）および第２の予測サンプルＩ（１）（ｉ，ｊ）を使用してビデオ・ブロックに適用されるＢＤＯＦおよび局所ウィンドウに基づいて、ビデオ・ブロック内のサンプルに対する動き補正を取得することを含むことができる。局所ウィンドウは、ビデオ・ブロックを含み、局所ウィンドウは、６×６画素未満のウィンドウ・サイズを有する。この方法は、動き補正に基づいて、ビデオ・ブロックの双方向予測サンプルを取得することを含むことができる。
【0006】
本開示の第３の態様によれば、コンピューティング・デバイスが提供される。コンピューティング・デバイスは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読メモリとを含むことができる。１つまたは複数のプロセッサは、ビデオ・ブロックに関連付けられた第１の参照ピクチャＩ（０）および第２の参照ピクチャＩ（１）を取得するように構成されてもよい。表示順で、第１の参照ピクチャＩ（０）は、現在のピクチャの前にくることができ、第２の参照ピクチャＩ（１）は、現在のピクチャの後にくることができる。１つまたは複数のプロセッサは、第１の参照ピクチャＩ（０）内の参照ブロックから、ビデオ・ブロックの第１の予測サンプルＩ（０）（ｉ，ｊ）を取得するように構成されてもよい。ｉおよびｊの変数は、現在のピクチャに対する１つのサンプルの座標を表すことができる。１つまたは複数のプロセッサは、第２の参照ピクチャＩ（１）内の参照ブロックから、ビデオ・ブロックの第２の予測サンプルＩ（１）（ｉ，ｊ）を取得するように構成されてもよい。１つまたは複数のプロセッサは、中間パラメータの内部ビット幅を導出することによって、双方向オプティカル・フロー（ＢＤＯＦ）の内部ビット幅を制御するように構成されてもよい。中間パラメータは、第１の予測サンプルＩ（０）（ｉ，ｊ）と第２の予測サンプルＩ（１）（ｉ，ｊ）との間の水平勾配値、垂直勾配値、およびサンプル差を備える。１つまたは複数のプロセッサは、第１の予測サンプルＩ（０）（ｉ，ｊ）および第２の予測サンプルＩ（１）（ｉ，ｊ）に基づいてビデオ・ブロックに適用されるＢＤＯＦに基づいて、ビデオ・ブロック内のサンプルに対する動き補正を取得するように構成されてもよい。１つまたは複数のプロセッサは、動き補正に基づいてビデオ・ブロックの双方向予測サンプルを取得するように構成されてもよい。
【0007】
本開示の第４の態様によれば、コンピューティング・デバイスが提供される。コンピューティング・デバイスは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読メモリとを含むことができる。１つまたは複数のプロセッサは、ビデオ・ブロックに関連付けられた第１の参照ピクチャＩ（０）および第２の参照ピクチャＩ（１）を取得するように構成されてもよい。表示順で、第１の参照ピクチャＩ（０）は、現在のピクチャの前にくることができ、第２の参照ピクチャＩ（１）は、現在のピクチャの後にくることができる。１つまたは複数のプロセッサは、第１の参照ピクチャＩ（０）内の参照ブロックから、ビデオ・ブロックの第１の予測サンプルＩ（０）（ｉ，ｊ）を取得するように構成されてもよい。ｉおよびｊの変数は、現在のピクチャに対する１つのサンプルの座標を表すことができる。１つまたは複数のプロセッサは、第２の参照ピクチャＩ（１）内の参照ブロックから、ビデオ・ブロックの第２の予測サンプルＩ（１）（ｉ，ｊ）を取得するように構成されてもよい。１つまたは複数のプロセッサは、中間パラメータの内部ビット幅を導出することによって、双方向オプティカル・フロー（ＢＤＯＦ）の内部ビット幅を制御するように構成されてもよい。中間パラメータは、第１の予測サンプルＩ（０）（ｉ，ｊ）と第２の予測サンプルＩ（１）（ｉ，ｊ）との間の水平勾配値、垂直勾配値、およびサンプル差を備える中間パラメータを含むことができる。１つまたは複数のプロセッサは、第１の予測サンプルＩ（０）（ｉ，ｊ）および第２の予測サンプルＩ（１）（ｉ，ｊ）を使用してビデオ・ブロックに適用されるＢＤＯＦおよび局所ウィンドウに基づいて、ビデオ・ブロック内のサンプルに対する動き補正を取得するように構成されてもよい。局所ウィンドウは、サブブロックを含むことができ、局所ウィンドウは、６×６画素のウィンドウ・サイズを有することができる。１つまたは複数のプロセッサは、動き補正に基づいてビデオ・ブロックの双方向予測サンプルを取得するように構成されてもよい。
【0008】
上記の概略的な説明および下記の詳細な説明はどちらも単なる例であり、本開示を制限するものではないことを理解されたい。
【0009】
本明細書に組み込まれてその一部を構成する添付の図面は、本開示に一貫した例を示し、本説明とともに、本開示の原理について説明する働きをする。
【図面の簡単な説明】
【0010】
【図1】本開示の一例によるエンコーダのブロック図である。
【図2】本開示の一例によるデコーダのブロック図である。
【図3A】本開示の一例による複数タイプのツリー構造内のブロック区画を示す図である。
【図3B】本開示の一例による複数タイプのツリー構造内のブロック区画を示す図である。
【図3C】本開示の一例による複数タイプのツリー構造内のブロック区画を示す図である。
【図3D】本開示の一例による複数タイプのツリー構造内のブロック区画を示す図である。
【図3E】本開示の一例による複数タイプのツリー構造内のブロック区画を示す図である。
【図4】本開示の一例による双方向オプティカル・フロー（ＢＤＯＦ）モデルの図である。
【図5】本開示の一例によるビデオ信号を符号化するビット幅制御方法を示す流れ図である。
【図6】本開示の一例によるＢＤＯＦビット幅制御方法を示す流れ図である。
【図7】本開示の一例によるユーザ・インターフェースに結合されたコンピューティング環境を示す図である。
【発明を実施するための形態】
【0011】
例示的な実施形態が次に詳細に参照され、例示的な実施形態の例は、添付の図面に示されている。以下の説明は、添付の図面を参照し、添付の図面では、別途示されない限り、異なる図面における同じ番号は、同じまたは類似の要素を表す。実施形態の以下の説明に記載される実装形態は、本開示に一貫したすべての実装形態を表すとは限らない。代わりに、これらの実装形態は、添付の特許請求の範囲に記載される本開示に関する態様に一貫した装置および方法の単なる例である。
【0012】
本開示で使用される術語は、特定の実施形態について説明することのみを目的とし、本開示を限定することは意図されない。本開示および添付の特許請求の範囲で使用されるとき、単数形の「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈上別途明確に示さない限り、複数形も同様に含むことが意図される。本明細書で使用される「および／または」という用語は、記載される関連する項目のうちの１つまたは複数のあらゆる可能な組合せを意味し、それらを含むことが意図されることも理解されたい。
【0013】
様々な情報について説明するために、「第１」、「第２」、「第３」などの用語を本明細書で使用することがあるが、その情報はこれらの用語によって限定されるべきではないことを理解されたい。これらの用語は、１つのカテゴリの情報を別のカテゴリの情報から区別するためだけに使用される。たとえば、本開示の範囲から逸脱することなく、第１の情報が第２の情報と呼ばれてもよく、同様に第２の情報が第１の情報と呼ばれてもよい。本明細書では、「～場合、～かどうか（ｉｆ）」という用語は、文脈に応じて、「～とき（ｗｈｅｎ）」または「～とき（ｕｐｏｎ）」または「～の判断に応答して（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ａ ｊｕｄｇｍｅｎｔ）」を意味することが理解されよう。
【0014】
ＨＥＶＣ規格の最初のバージョンは、２０１３年１０月に完成されたものであり、前の世代のビデオ符号化規格Ｈ．２６４／ＭＰＥＧ ＡＶＣと比較されたとき、約５０％のビット・レートの節約または同等の知覚品質を提供する。ＨＥＶＣ規格は、その前身に比べて大幅な符号化の改善を提供するが、追加の符号化ツールによって、ＨＥＶＣより優れた符号化効率が実現されることができることが証明されている。それに基づいて、ＶＣＥＧおよびＭＰＥＧはどちらも、将来のビデオ符号化の規格化に向けて、新しい符号化技術の探索作業を開始した。２０１５年１０月、符号化効率の実質的な強化を可能にし得る高度な技術の重要な研究を開始するために、ＩＴＵ－Ｔ ＶＥＣＧおよびＩＳＯ／ＩＥＣ ＭＰＥＧによって、１つの共同ビデオ探索チーム（ＪＶＥＴ）が結成された。ＪＶＥＴにより、ＨＥＶＣ試験モデル（ＨＭ）に加えていくつかの追加の符号化ツールを統合することによって、共同探索モデル（ＪＥＭ）と呼ばれる１つの参照ソフトウェアが主張された。
【0015】
２０１７年１０月、ＨＥＶＣを超えた能力を有するビデオ圧縮に関するジョイント・コール・フォー・プロポーザルズ（ＣｆＰ）が、ＩＴＵ－ＴおよびＩＳＯ／ＩＥＣによって発表された［９］。２０１８年４月、２３件のＣｆＰ応答が受理されて第１０回ＪＶＥＴ会議で評価され、ＨＥＶＣに比べて約４０％の圧縮効率の向上を実証した。そのような評価結果に基づいて、ＪＶＥＴは、多用途ビデオ符号化（ＶＶＣ）と呼ばれる新世代のビデオ符号化規格を開発するための新しいプロジェクトに着手した［１０］。同月、ＶＶＣ規格の参照実装を実証するために、ＶＶＣ試験モデル（ＶＴＭ）［１１］と呼ばれる１つの参照ソフトウェア・コードベースが確立された。
【0016】
ＨＥＶＣと同様に、ＶＶＣは、ブロックに基づく混成ビデオ符号化フレームワークで構築される。図１は、汎用のブロックに基づく混成ビデオ・コード化システムのブロック図を示す。入力ビデオ信号は、ブロック（符号化単位（ＣＵ）と呼ばれる）ごとに処理される。具体的には、図１は、本開示による典型的なエンコーダ１００を示す。エンコーダ１００は、ビデオ入力１１０、動き補償１１２、動き推定１１４、イントラ／インター・モード決定１１６、ブロック予測子１４０、加算器１２８、変換１３０、量子化１３２、予測関係情報１４２、イントラ予測１１８、ピクチャ・バッファ１２０、逆量子化１３４、逆変換１３６、加算器１２６、メモリ１２４、ループ内フィルタ１２２、エントロピー符号化１３８、およびビットストリーム１４４を有する。
【0017】
ＶＴＭ－１．０において、ＣＵは最大１２８×１２８画素とすることができる。しかし、４分木のみに基づいてブロックを分割するＨＥＶＣとは異なり、ＶＶＣでは、４分木／２分木／３分木に基づいて変動する局所的な特徴に適応するために、１つの符号化ツリー単位（ＣＴＵ）が複数のＣＵに分割される。加えて、ＨＥＶＣにおける複数の分割単位タイプの概念は除去され、すなわちＣＵ、予測単位（ＰＵ）、および変換単位（ＴＵ）の分離はＶＶＣには存在しなくなり、代わりに各ＣＵは常に、さらなる分割なく、予測および変換の両方に対する基本単位として使用される。複数タイプのツリー構造では、最初に１つのＣＴＵが４分木構造によって分割される。次いで各４分木の葉ノードは、２分木および３分木構造によってさらに分割されることがある。
【0018】
【0019】
図３Ａは、本開示による複数タイプのツリー構造におけるブロックの４分割を示す図を示す。
【0020】
図３Ｂは、本開示による複数タイプのツリー構造におけるブロックの垂直２分割を示す図を示す。
【0021】
図３Ｃは、本開示による複数タイプのツリー構造におけるブロックの水平２分割を示す図を示す。
【0022】
図３Ｄは、本開示による複数タイプのツリー構造におけるブロックの垂直３分割を示す図を示す。
【0023】
図３Ｅは、本開示による複数タイプのツリー構造におけるブロックの水平３分割を示す図を示す。
【0024】
図１で、空間予測および／または時間予測が実行されてもよい。空間予測（または「イントラ予測」）は、同じビデオ・ピクチャ／スライス内のすでに符号化された隣接ブロックのサンプル（参照サンプルと呼ばれる）からの画素を使用して、現在のビデオ・ブロックを予測する。空間予測は、ビデオ信号に固有の空間的冗長性を低減させる。時間予測（「インター予測」または「動き補償予測」とも呼ばれる）は、すでに符号化されたビデオ・ピクチャからの再構築画素を使用して、現在のビデオ・ブロックを予測する。時間予測は、ビデオ信号に固有の時間的冗長性を低減させる。所与のＣＵに対する時間予測信号は通常、現在のＣＵとその時間参照との間の動きの量および方向を示す１つまたは複数の動きベクトル（ＭＶ）によって伝えられる。
【0025】
また、複数の参照ピクチャが対応される場合、１つの参照ピクチャ索引がさらに送られ、参照ピクチャ・ストレージ内のどの参照ピクチャから時間予測信号がくるかを識別するために使用される。空間および／または時間予測後、エンコーダ内のモード決定ブロックが、たとえばレート歪み最適化方法に基づいて、最善の予測モードを選ぶ。次いで、現在のビデオ・ブロックから予測ブロックが引かれ、変換を使用して予測残差の相関が除去され、量子化される。
【0026】
量子化された残差係数は、逆量子化および逆変換されて、再構築残差を形成し、次いで再構築残差は、予測ブロックに再び付加さられ、ＣＵの再構築信号を形成する。さらに、非ブロック化フィルタ、サンプル適応オフセット（ＳＡＯ）、および適応ループ内フィルタ（ＡＬＦ）などのループ内フィルタリングが、再構築ＣＵに適用されてもよく、その後、参照ピクチャ・ストアに入れられ、将来のビデオ・ブロックを符号化するために使用される。出力ビデオ・ビットストリームを形成するために、符号化モード（インターまたはイントラ）、予測モード情報、動き情報、および量子化残差係数はすべてエントロピー符号化ユニットへ送られ、さらに圧縮およびパックされ、ビットストリームを形成する。
【0027】
図２は、ブロックに基づくビデオ・デコーダの概略ブロック図を示す。具体的には、図２は、本開示による典型的なデコーダ２００のブロック図を示す。デコーダ２００は、ビットストリーム２１０、エントロピー復号２１２、逆量子化２１４、逆変換２１６、加算器２１８、イントラ／インター・モード選択２２０、イントラ予測２２２、メモリ２３０、ループ内フィルタ２２８、動き補償２２４、ピクチャ・バッファ２２６、予測関係情報２３４、およびビデオ出力２３２を有する。
【0028】
図２で、最初にビデオ・ビットストリームがエントロピー復号ユニットでエントロピー復号される。符号化モードおよび予測情報は、空間予測ユニット（イントラ符号化の場合）または時間予測ユニット（インター符号化の場合）へ送られて、予測ブロックを形成する。残差変換係数が、逆量子化ユニットおよび逆変換ユニットへ送られて、残差ブロックを再構築する。次いで、予測ブロックおよび残差ブロックがともに加算される。再構築ブロックは、ループ内フィルタをさらに通過することができ、その後、参照ピクチャ・ストア内に記憶される。次いで、参照ピクチャ・ストア内の再構築ビデオは、表示デバイスを駆動するために送出され、ならびに将来のビデオ・ブロックを予測するために使用される。
【0029】
双方向オプティカル・フロー
【0030】
ビデオ符号化における従来の双方向予測は、すでに再構築された参照ピクチャから取得される２つの時間予測ブロックの簡単な組合せである。しかし、ブロックに基づく動き補償の制限により、２つの予測ブロックのサンプル間で観察されることができるわずかな動きが残る可能性があり、したがって動き補償予測の効率を低減させる。ＶＶＣでは、１つのブロック内のすべてのサンプルに対するそのような動きの影響を減少させるために、双方向オプティカル・フロー（ＢＤＯＦ）が適用される。
【0031】
図４は、本開示による双方向オプティカル・フロー（ＢＤＯＦ）モデルの例示を示す。ＢＤＯＦは、双方向予測が使用されるときにブロックに基づく動き補償予測に加えて実行されるサンプルごとの動き補正である。各４×４サブブロックの動き補正（ｖｘ，ｖｙ）は、サブブロックの周りの１つの６×６ウィンドウΩ内でＢＤＯＦが適用された後、Ｌ０およびＬ１予測サンプル間の差を最小化することによって計算される。具体的には、（ｖｘ，ｖｙ）の値は、
【0032】
【数1】
【0033】
として導出され、上式で、
【0034】
【数2】
【0035】
は床関数であり、ｃｌｉｐ３（ｍｉｎ，ｍａｘ，ｘ）は、［ｍｉｎ，ｍａｘ］で範囲内の所与の値ｘをクリッピングする関数であり、記号＞＞は、ビットごとの右シフト動作を表し、記号＜＜は、ビットごとの左シフト動作を表し、ｔｈＢＤＯＦは、不規則な局所的動きによる伝搬誤差を防止するための動き補正閾値であり、２１３－ＢＤに等しく、ここでＢＤは、入力ビデオのビット深さである。（１）で、
【0036】
【数3】
【0037】
である。
【0038】
Ｓ１、Ｓ２、Ｓ３、Ｓ５、およびＳ６の値は、
【0039】
【数4】
【0040】
として計算され、上式で、
【0041】
【数5】
【0042】
であり、上式で、Ｉ（ｋ）（ｉ，ｊ）は、リストｋ，ｋ＝０，１における予測信号の座標（ｉ，ｊ）のサンプル値であり、中程度の精度（すなわち、１６ビット）で生成され、
【0043】
【数6】
【0044】
および
【0045】
【数7】
【0046】
は、その２つの隣接サンプル間の差を直接計算することによって取得されるサンプルの水平および垂直勾配であり、すなわち、
【0047】
【数8】
【0048】
である。
【0049】
（１）で導出された動き補正に基づいて、
【0050】
【数9】
【0051】
によって示されるように、オプティカル・フロー・モデルに基づいて動き軌道に沿ってＬ０／Ｌ１予測サンプルを補間することによって、ＣＵの最終的な双方向予測サンプルが計算され、上式で、ｓｈｉｆｔおよびοｏｆｆｓｅｔは、双方向予測のためにＬ０およびＬ１予測信号を組み合わせるために適用される右シフト値およびオフセット値であり、それぞれ１５－ＢＤおよび１＜＜（１４－ＢＤ）＋２・（１＜＜１３）に等しい。表１は、ＢＤＯＦプロセスに含まれる中間パラメータの特有のビット幅を示す。ビット幅は、たとえば、値を表すために必要なビットの数である。この表に示されているように、全ＢＤＯＦプロセスの内部ビット幅は、３２ビットを超えない。加えて、（１）において、考え得る最悪の入力による乗算が、１５ビットおよび４ビット入力によって、ｖｘＳ２，ｍの積で生じる。したがって、１５ビットの乗数がＢＤＯＦにとって十分である。
【0052】
【表1】
【0053】
双方向予測的予測の効率
【0054】
ＢＤＯＦは双方向予測的予測の効率を高めることができるが、依然としてその設計は、さらに改善されることができる。具体的には、ＶＶＣの既存のＢＤＯＦ設計における中間パラメータのビット幅を制御することが、本開示で明らかにされる。
【0055】
表１に示されているように、パラメータθ（ｉ，ｊ）（すなわち、Ｌ０およびＬ１予測サンプル間の差）、ならびにパラメータψｘ（ｉ，ｊ）およびψｙ（ｉ，ｊ）（すなわち、水平／垂直Ｌ０およびＬ１勾配値の和）が、１１ビットの同じビット幅で表されている。そのような方法は、ＢＤＯＦに対する内部ビット幅の全体的な制御を容易にすることができるが、導出された動き補正の精度に関して最適とは言えない。これは、（４）に示されているように、これらの勾配値が隣接予測サンプル間の差として計算されるからであり、そのようなプロセスのハイパス特性により、導出された勾配は、ノイズ、たとえば元のビデオで捕捉されるノイズおよび符号化プロセス中に生成される符号化ノイズの存在下で、信頼性が低くなる。これは、高ビット幅で勾配値を表すことが常に有益であるとは限らないことを意味する。
【0056】
表１に示されているように、全ＢＤＯＦプロセスの最大ビット幅の使用は、垂直動き補正ｖｙの計算によって生じ、ここで、最初にＳ６（２７ビット）が３ビットだけ左シフトされ、次いで（（ｖｘＳ２，ｍ）＜＜１２＋ｖｘＳ２，ｓ）／２（３０ビット）が引かれる。したがって、現在の設計の最大ビット幅は、３１ビットに等しい。実際的なハードウェア実装では、通常、１６ビットより大きい最大内部ビット幅による符号化プロセスが、３２ビットの実装によって実施される。したがって、既存の設計は、３２ビット実装の有効なダイナミック・レンジを完全には利用していない。これは、ＢＤＯＦによって導出される動き補正の不必要な精度損失を招く可能性がある。
【0057】
ＢＤＯＦを使用した双方向予測的予測の効率の改善
【0058】
本開示では、既存のＢＤＯＦ設計に関する「双方向予測的予測の効率」の章で指摘されたビット幅制御方法の２つの問題に対処するために、１つの改善されたビット幅制御方法が提案される。
【0059】
図５は、本開示によるビデオ信号を符号化するビット幅制御方法を示す。
【0060】
ステップ５１０で、サブブロックに関連付けられた第１の参照ピクチャＩ（０）および第２の参照ピクチャＩ（１）を取得する。表示順で、第１の参照ピクチャＩ（０）は、現在のピクチャの前にあり、第２の参照ピクチャＩ（１）は、現在のピクチャの後にある。たとえば、参照ピクチャは、コード化されている現在のピクチャに隣接するビデオ・ピクチャとすることができる。
【0061】
ステップ５１２で、第１の参照ピクチャＩ（０）内の参照ブロックへのサブブロックから、第１の予測サンプルＩ（０）（ｉ，ｊ）を取得する。たとえば、第１の予測サンプルＩ（０）（ｉ，ｊ）は、表示順で前の参照ピクチャのＬ０リスト内の動きベクトルを使用する予測サンプルとすることができる。
【0062】
ステップ５１４で、第２の参照ピクチャＩ（１）内の参照ブロックへのサブブロックから、第２の予測サンプルＩ（１）（ｉ，ｊ）を取得する。たとえば、第２の予測サンプルＩ（１）（ｉ，ｊ）は、表示順で次の参照ピクチャのＬ１リスト内の動きベクトルを使用する予測サンプルとすることができる。
【0063】
ステップ５１６で、中間パラメータの内部ビット幅を変化させることによって、双方向オプティカル・フロー（ＢＤＯＦ）の内部ビット幅を制御する。中間パラメータは、第１の予測サンプルＩ（０）（ｉ，ｊ）および第２の予測サンプルＩ（１）（ｉ，ｊ）に基づいて導出された水平勾配値および垂直勾配値を含む。勾配値は、たとえば、その２つの隣接する予測サンプル（第１の予測サンプルＩ（０）（ｉ，ｊ）および第２の予測サンプルＩ（１）（ｉ，ｊ））間の差である。
【0064】
ステップ５１８で、第１の予測サンプルＩ（０）（ｉ，ｊ）および第２の予測サンプルＩ（１）（ｉ，ｊ）を使用してサブブロックに適用されるＢＤＯＦに基づいて、動き補正値を取得する。
【0065】
ステップ５２０で、動き補正値に基づいて、サブブロックの双方向予測サンプルを取得する。
【0066】
本開示の一実施形態では、勾配推定誤差の負の影響を克服するために、（４）で勾配値
【0067】
【数10】
【0068】
および
【0069】
【数11】
【0070】
を計算するとき、すなわち勾配値の内部ビット幅を減少させるために、提案された方法において追加の右シフトｎｇｒａｄが導入される。具体的には、各サンプル位置の水平および垂直勾配が、
【0071】
【数12】
【0072】
として計算される。
【0073】
さらに、適当な内部ビット幅で動作させられるように、ＢＤＯＦプロセス全体を制御するために、
【0074】
【数13】
【0075】
として示されるように、変数ψｘ（ｉ，ｊ）、ψｙ（ｉ，ｊ）、およびθ（ｉ，ｊ）の計算に、追加のビットシフトｎａｄｊが導入される。
【0076】
表２で、（６）および（７）で適用される右シフトされるビットの数の修正により、３つのパラメータが同じダイナミック・レンジ（すなわち、２１ビット）で表されている表１の既存のＢＤＯＦ設計と比較されたとき、パラメータψｘ（ｉ，ｊ）、ψｙ（ｉ，ｊ）、およびθ（ｉ，ｊ）のダイナミック・レンジは異なる。そのような変化は、内部パラメータＳ１、Ｓ２、Ｓ３、Ｓ５、およびＳ６のビット幅を増大させる可能性があり、それは場合により、内部ＢＤＯＦプロセスの最大ビット幅を３２ビットより大きく増大させる可能性がある。したがって、３２ビット実装を確実にするために、Ｓ２およびＳ６の値を計算する際に、２つの追加のクリッピング動作が導入される。具体的には、提案される方法において、これら２つのパラメータの値は、
【0077】
【数14】
【0078】
として計算され、上式で、Ｂ２およびＢ６は、それぞれＳ２およびＳ６の出力ダイナミック・レンジを制御するためのパラメータである。たとえば、ビット深さは、各画素を画定するために使用されるビットの数を表す。勾配計算とは異なり、（８）のクリッピング動作は、１つのＢＤＯＦのＣＵ内の各４×４サブブロックの動き補正を計算するために一度だけ適用され、すなわち４×４単位に基づいて呼び出されることに留意されたい。したがって、提案される方法で導入されるクリッピング動作による対応する複雑さの増大は、非常にわずかである。
【0079】
実際には、中間ビット幅と内部ＢＤＯＦ導出の精度との間で異なるトレードオフを実現するために、ｎｇｒａｄ、ｎａｄｊ、Ｂ２、およびＢ６の異なる値が適用されてもよい。本開示の一実施形態として、ｎｇｒａｄおよびｎａｄｊを２に、Ｂ２を２５に、Ｂ６を２７に設定することが提案される。本開示の一実施形態として、Ｂ２を２６に、Ｂ６を２８に設定することが提案される。本開示の一実施形態として、ｎｇｒａｄおよびｎａｄｊを６、１、または４に設定することが提案される。
【0080】
表２は、提案されるビット幅制御方法がＢＤＯＦに適用されるときの各中間パラメータの対応するビット幅を示す。表２で、灰色は、ＶＶＣの既存のＢＤＯＦ設計（表１に示されている）と比較されたとき、提案されるビット幅制御方法で適用された変化を強調する。表２に見られ得るように、提案されるビット幅制御方法の場合、全ＢＤＯＦプロセスの内部ビット幅は、３２ビットを超えない。加えて、提案される設計によって、最大ビット幅はちょうど３２ビットであり、３２ビットのハードウェア実装の利用可能なダイナミック・レンジを完全に利用することができる。他方では、この表に示されているように、考え得る最悪の入力による乗算が、ｖｘＳ２，ｍの積で生じ、入力Ｓ２，ｍは１４ビットであり、入力ｖｘは６ビットである。したがって、既存のＢＤＯＦ設計と同様に、提案される方法が適用されるときも、１つの１６ビットの乗数は十分に大きい。
【0081】
【表2】
【0082】
上記の方法では、ｖｘおよびｖｙを導出するとき、中間パラメータのオーバーフローを回避するために、等式（８）に示されているように、クリッピング動作が加えられる。しかし、そのようなクリッピングは、相関関係パラメータが大きい局所ウィンドウ内に蓄積されているときにのみ必要とされる。１つの小さいウィンドウが適用されるとき、オーバーフローは起こり得ない。したがって、本開示の別の実施形態では、以下に記載されているように、クリッピングを使用しないＢＤＯＦ方法に対して、以下のビット深さ制御方法が提案される。
【0083】
第１に、各サンプル位置における（４）の勾配値
【0084】
【数15】
【0085】
および
【0086】
【数16】
【0087】
が、
【0088】
【数17】
【0089】
として計算される。
【0090】
第２に、次いでＢＤＯＦプロセスに使用される相関関係パラメータψｘ（ｉ，ｊ）、ψｙ（ｉ，ｊ）、およびθ（ｉ，ｊ）が、
【0091】
【数18】
【0092】
として計算される。
【0093】
第３に、Ｓ１、Ｓ２、Ｓ３、Ｓ５、およびＳ６の値が、
【0094】
【数19】
【0095】
として計算される。
【0096】
第４に、各４×４サブブロックの動き補正（ｖｘ，ｖｙ）が、
【0097】
【数20】
【0098】
として導出される。
【0099】
第５に、
【0100】
【数21】
【0101】
によって示されているように、オプティカル・フロー・モデルに基づいて動き軌道に沿ってＬ０／Ｌ１予測サンプルを補間することによって、ＣＵの最終的な双方向予測サンプルが計算される。
【0102】
図６は、本開示による例示的なＢＤＯＦビット幅制御方法を示す。
【0103】
ステップ６１０で、サブブロックに関連付けられた第１の参照ピクチャＩ（０）および第２の参照ピクチャＩ（１）を取得する。表示順で、第１の参照ピクチャＩ（０）は、現在のピクチャ前にあり、第２の参照ピクチャＩ（１）は、現在のピクチャの後にある。
【0104】
ステップ６１２で、第１の参照ピクチャＩ（０）内の参照ブロックへのサブブロックから、第１の予測サンプルＩ（０）（ｉ，ｊ）を取得する。
【0105】
ステップ６１４で、第２の参照ピクチャＩ（１）内の参照ブロックへのサブブロックから、第２の予測サンプルＩ（１）（ｉ，ｊ）を取得する。
【0106】
ステップ６１６で、導出された勾配値の内部ビット幅を変化させることによって、双方向オプティカル・フロー（ＢＤＯＦ）の内部ビット幅を制御する。中間パラメータは、第１の予測サンプルＩ（０）（ｉ，ｊ）および第２の予測サンプルＩ（１）（ｉ，ｊ）に基づいて導出された水平勾配値および垂直勾配値を含む。
【0107】
ステップ６１８で、第１の予測サンプルＩ（０）（ｉ，ｊ）および第２の予測サンプルＩ（１）（ｉ，ｊ）を使用してサブブロックに適用されるＢＤＯＦおよび局所ウィンドウに基づいて、動き補正値を取得する。局所ウィンドウは、サブブロックを含み、局所ウィンドウは、６×６画素未満のウィンドウ・サイズを有する。
【0108】
ステップ６２０で、動き補正値に基づいて、サブブロックの双方向予測サンプルを取得する。
【0109】
図７は、ユーザ・インターフェース７６０に結合されたコンピューティング環境７１０を示す。コンピューティング環境７１０は、データ処理サーバの一部とすることができる。コンピューティング環境７１０は、プロセッサ７２０、メモリ７４０、およびＩ／Ｏインターフェース７５０を含む。
【0110】
プロセッサ７２０は、典型的には、表示、データ取得、データ通信、および画像処理に関連する動作など、コンピューティング環境７１０の全体的な動作を制御する。プロセッサ７２０は、上述された方法のステップのすべてまたはいくつかを実施するための命令を実行するために、１つまたは複数のプロセッサを含むことができる。さらに、プロセッサ７２０は、プロセッサ７２０と他の構成要素との間の相互作用を容易にする１つまたは複数のモジュールを含むことができる。プロセッサは、中央演算処理装置（ＣＰＵ）、マイクロプロセッサ、シングルチップ機械、ＧＰＵなどとすることができる。
【0111】
メモリ７４０は、コンピューティング環境７１０の動作に対応するために、様々なタイプのデータを記憶するように構成される。そのようなデータの例は、コンピューティング環境７１０、ビデオ・データセット、画像データなどで動作させられるあらゆるアプリケーションまたは方法に関する命令を備える。メモリ７４０は、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、電気的に消去可能なプログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、読取り専用目盛り（ＲＯＭ）、磁気メモリ、フラッシュ・メモリ、磁気または光ディスクなど、任意のタイプの揮発性または不揮発性のメモリ・デバイス、またはこれらの組合せを使用することによって実施されてもよい。
【0112】
Ｉ／Ｏインターフェース７５０は、プロセッサ７２０と、キーボード、クリック・ホイール、ボタンなどの周辺インターフェースモジュールとの間に、インターフェースを提供する。ボタンは、それだけに限定されるものではないが、ホーム・ボタン、走査開始ボタン、および走査停止ボタンを含むことができる。Ｉ／Ｏインターフェース７５０は、エンコーダおよびデコーダに結合されてもよい。
【0113】
一実施形態では、上述された方法を実施するためにコンピューティング環境７１０内のプロセッサ７２０によって実行可能である、メモリ７４０内に備えられるものなどの複数のプログラムを備える非一時的コンピュータ可読記憶媒体も提供される。たとえば、非一時的コンピュータ可読記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピー・ディスク、光学式データ記憶デバイスなどとすることができる。
【0114】
非一時的コンピュータ可読記憶媒体は、１つまたは複数のプロセッサを有するコンピューティング・デバイスによる実行のための複数のプログラムを記憶しており、複数のプログラムは、１つまたは複数のプロセッサによって実行されたとき、ＢＤＯＦに対するビット幅制御のための上述された方法を、コンピューティング・デバイスに実行させる。
【0115】
一実施形態では、コンピューティング環境７１０は、上記の方法を実施するために、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィカル処理ユニット（ＧＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子構成要素によって実施されてもよい。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図4】
【図5】
【図6】
【図7】
