知財求人 - 知財ポータルサイト「IP Force」
特許7414742デコーダ側動きリファインメントのコーディング待ち時間を低減させる方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-05
(45)【発行日】2024-01-16
(54)【発明の名称】デコーダ側動きリファインメントのコーディング待ち時間を低減させる方法および装置
(51)【国際特許分類】
H04N 19/577 20140101AFI20240109BHJP
H04N 19/52 20140101ALI20240109BHJP
H04N 19/117 20140101ALI20240109BHJP
H04N 19/139 20140101ALI20240109BHJP
H04N 19/86 20140101ALI20240109BHJP
H04N 19/176 20140101ALI20240109BHJP
【ＦＩ】
H04N19/577
H04N19/52
H04N19/117
H04N19/139
H04N19/86
H04N19/176
【請求項の数】
26
(21)【出願番号】P 2020572893
(86)(22)【出願日】2019-06-20
(65)【公表番号】
(43)【公表日】2021-10-21
(86)【国際出願番号】 US2019038300
(87)【国際公開番号】W WO2020005719
(87)【国際公開日】2020-01-02
【審査請求日】2022-06-20
(31)【優先権主張番号】62/690,507
(32)【優先日】2018-06-27
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514041959
【氏名又は名称】ヴィド スケール インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】シウ、シャオユウ
(72)【発明者】
【氏名】フ、ユーウェン
(72)【発明者】
【氏名】ユー、ヤン
【審査官】久保 光宏
(56)【参考文献】
【文献】米国特許出願公開第２０１８／００４１７６９（ＵＳ，Ａ１）
【文献】村上 篤道（外２名），「高効率映像符号化技術 HEVC/H.265とその応用」，第１版，日本，株式会社オーム社，第１２５～１３６頁，ISBN: 978-4-274-21329-8.
【文献】Jianle Chen, et al.，"Algorithm Description of Joint Exploration Test Model 7 (JEM 7)"，Document: JVET-G1001-v1, [online]，JVET-G1001 (version 1)，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2017年08月19日，Pages 13-28，[令和5年6月2日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=3286> and <URL: https://jvet-experts.org/doc_end_user/documents/7_Torino/wg11/JVET-G1001-v1.zip>.
【文献】大久保 榮 監修，「インプレス標準教科書シリーズ 改訂三版H.264/AVC教科書」，第１版，日本，株式会社インプレスＲ＆Ｄ，2009年01月01日，第１４４～１４８頁，ISBN: 978-4-8443-2664-9.
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
ＣＳＤＢ（日本国特許庁）
学術文献等データベース（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
第１のブロックにおいて、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルを生成するよう、第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルをリファインすることと、前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルのうちの一方または両方を使用して、第２のブロックの動き情報を予測することであって、前記第２のブロックは、前記第１のブロックの空間隣接である、ことと、
前記第１のリファインされた動きベクトルおよび前記第２のリファインされた動きベクトルを使用して、双予測により前記第１のブロックを予測することと、
前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルに少なくとも部分的に基づいて、前記第１のブロックに対するデブロッキングフィルタ強度を判定することと
を備えるビデオデコーディング方法。
【請求項2】
前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルをリファインすることは、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）を使用して実行される、請求項１に記載の方法。
【請求項3】
前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルをリファインすることは、前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルを使用して双予測によって生成されたテンプレート信号に関して、テンプレートコストを最小化するよう、前記第１のリファインされた動きベクトルおよび前記第２のリファインされた動きベクトルを選択することを含む、請求項１に記載の方法。
【請求項4】
前記テンプレートコストは、絶対差の合計である、請求項３に記載の方法。
【請求項5】
前記第１のリファインされた動きベクトルおよび前記第２のリファインされた動きベクトルのうちの少なくとも１つを使用して、第３のブロックの動き情報を予測することを更に備え、前記第３のブロックおよび前記第１のブロックは、異なるピクチャ内の併置ブロックである、請求項１乃至４のいずれか一項に記載の方法。
【請求項6】
前記第３のブロックの動き情報を予測することは、進化型時間動きベクトル予測（ＡＴＭＶＰ）を使用して実行される、請求項５に記載の方法。
【請求項7】
前記第２のブロックの動き情報を予測することは、空間進化型動きベクトル予測（ＡＭＶＰ）を使用することを含む、請求項１乃至６のいずれか一項に記載の方法。
【請求項8】
前記第２のブロックの動き情報を予測することは、前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルのうちの少なくとも１つを空間マージ候補として使用することを含む、請求項１乃至６のいずれか一項に記載の方法。
【請求項9】
前記第２のブロックの動き情報を予測することは、前記第１のリファインされていない動きベクトルまたは前記第２のリファインされていない動きベクトルを識別する少なくとも１つのインデックスを受信することを含む、請求項１乃至６のいずれか一項に記載の方法。
【請求項10】
少なくとも１つの再構築された動きベクトルを生成するよう、前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルのうちの少なくとも１つに動きベクトル差を追加することと、前記少なくとも１つの再構築された動きベクトルにより、前記第２のブロックのインター予測を生成することと、
を更に備える、請求項１乃至６のいずれか一項に記載の方法。
【請求項11】
前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルのうちの少なくとも１つを使用して、前記第２のブロックのインター予測を生成することを更に備える、請求項１乃至６のいずれか一項に記載の方法。
【請求項12】
プロセッサを備えたビデオデコーディング装置であって、第１のブロックにおいて、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルを生成するよう、第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルをリファインすることと、
前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルのうちの一方または両方を使用して、第２のブロックの動き情報を予測することであって、前記第２のブロックは、前記第１のブロックの空間隣接である、ことと、
前記第１のリファインされた動きベクトルおよび前記第２のリファインされた動きベクトルを使用して、双予測により前記第１のブロックを予測することと、
前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルに少なくとも部分的に基づいて、前記第１のブロックに対するデブロッキングフィルタ強度を判定することと
を少なくとも実行するように構成された装置。
【請求項13】
前記第１のリファインされた動きベクトルおよび前記第２のリファインされた動きベクトルのうちの少なくとも１つを使用して、第３のブロックの動き情報を予測するように更に構成され、前記第３のブロックおよび前記第１のブロックは、異なるピクチャ内の併置ブロックである、請求項１２に記載の装置。
【請求項14】
第１のブロックにおいて、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルを生成するよう、第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルをリファインすることと、
前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルのうちの一方または両方を使用して、第２のブロックの動き情報を予測することであって、前記第２のブロックは、前記第１のブロックの空間隣接である、ことと、
前記第１のリファインされた動きベクトルおよび前記第２のリファインされた動きベクトルを使用して、双予測により前記第１のブロックを予測することと、
前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルに少なくとも部分的に基づいて、前記第１のブロックに対するデブロッキングフィルタ強度を判定することと
を備えるビデオエンコーディング方法。
【請求項15】
前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルをリファインすることは、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）を使用して実行される、請求項１４に記載の方法。
【請求項16】
前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルをリファインすることは、前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルを使用して双予測によって生成されたテンプレート信号に関して、テンプレートコストを最小化するよう、前記第１のリファインされた動きベクトルおよび前記第２のリファインされた動きベクトルを選択することを含む、請求項１４に記載の方法。
【請求項17】
前記テンプレートコストは、絶対差の合計である、請求項１６に記載の方法。
【請求項18】
前記第１のリファインされた動きベクトルおよび前記第２のリファインされた動きベクトルのうちの少なくとも１つを使用して、第３のブロックの動き情報を予測することを更に備え、前記第３のブロックおよび前記第１のブロックは、異なるピクチャ内の併置ブロックである、請求項１４乃至１７のいずれか一項に記載の方法。
【請求項19】
前記第３のブロックの動き情報を予測することは、進化型時間動きベクトル予測（ＡＴＭＶＰ）を使用して実行される、請求項１８に記載の方法。
【請求項20】
前記第２のブロックの動き情報を予測することは、空間進化型動きベクトル予測（ＡＭＶＰ）を使用することを含む、請求項１４乃至１９のいずれか一項に記載の方法。
【請求項21】
前記第２のブロックの動き情報を予測することは、前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルのうちの少なくとも１つを空間マージ候補として使用することを含む、請求項１４乃至１９のいずれか一項に記載の方法。
【請求項22】
前記第２のブロックの動き情報を予測することは、前記第１のリファインされていない動きベクトルまたは前記第２のリファインされていない動きベクトルを識別する少なくとも１つのインデックスを受信することを含む、請求項１４乃至１９のいずれか一項に記載の方法。
【請求項23】
少なくとも１つの再構築された動きベクトルを生成するよう、前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルのうちの少なくとも１つに動きベクトル差を追加することと、
前記少なくとも１つの再構築された動きベクトルにより、前記第２のブロックのインター予測を生成することと、
を更に備える、請求項１４乃至１９のいずれか一項に記載の方法。
【請求項24】
前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルのうちの少なくとも１つを使用して、前記第２のブロックのインター予測を生成することを更に備える、請求項１４乃至１９のいずれか一項に記載の方法。
【請求項25】
プロセッサを備えたビデオエンコーディング装置であって、
第１のブロックにおいて、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルを生成するよう、第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルをリファインすることと、
前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルのうちの一方または両方を使用して、第２のブロックの動き情報を予測することであって、前記第２のブロックは、前記第１のブロックの空間隣接である、ことと、
前記第１のリファインされた動きベクトルおよび前記第２のリファインされた動きベクトルを使用して、双予測により前記第１のブロックを予測することと、
前記第１のリファインされていない動きベクトルおよび前記第２のリファインされていない動きベクトルに少なくとも部分的に基づいて、前記第１のブロックに対するデブロッキングフィルタ強度を判定することと
を少なくとも実行するように構成された装置。
【請求項26】
前記第１のリファインされた動きベクトルおよび前記第２のリファインされた動きベクトルのうちの少なくとも１つを使用して、第３のブロックの動き情報を予測するように更に構成され、前記第３のブロックおよび前記第１のブロックは、異なるピクチャ内の併置ブロックである、請求項２５に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、その全体を参照することによって本明細書に組み込まれる、「Ｍｅｔｈｏｄｓ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｒｅｄｕｃｉｎｇ ｔｈｅ Ｃｏｄｉｎｇ Ｌａｔｅｎｃｙ ｏｆ Ｄｅｃｏｄｅｒ－Ｓｉｄｅ Ｍｏｔｉｏｎ Ｒｅｆｉｎｅｍｅｎｔ」と題する米国仮特許出願第６２／６９０，５０７号（２０１８年６月２７日に出願された）からの特許出願であり、その利益を主張する。
本出願は、その全体を参照することによって本明細書に組み込まれる、「Ｍｅｔｈｏｄｓ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｒｅｄｕｃｉｎｇ ｔｈｅ Ｃｏｄｉｎｇ Ｌａｔｅｎｃｙ ｏｆ Ｄｅｃｏｄｅｒ－Ｓｉｄｅ Ｍｏｔｉｏｎ Ｒｅｆｉｎｅｍｅｎｔ」と題する米国仮特許出願第６２／６９０，５０７号（２０１８年６月２７日に出願された）からの特許出願であり、その利益を主張する。
【0002】
デジタルビデオ信号を圧縮して、そのような信号の記憶の必要性および／または伝送帯域幅を低減させるために、ビデオコーディングシステムが広範囲に使用されている。ブロックベースシステム、ウェーブレットベースシステム、およびオブジェクトベースシステム、最近ではブロックベースハイブリッドビデオコーディングシステムなど、様々なタイプのビデオコーディングシステムが、最も広く使用および開発されている。ブロックベースビデオコーディングシステムの例は、ＭＰＥＧ１／２／４ ｐａｒｔ２、Ｈ．２６４／ＭＰＥＧ－４ ｐａｒｔ１０ ＡＶＣ、ＶＣ－１、ならびにＩＴＵ－Ｔ／ＳＧ１６／Ｑ．６／ＶＣＥＧおよびＩＳＯ／ＩＥＣ／ＭＰＥＧのＪＣＴ－ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）によって開発されたＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）と称される最新のビデオコーディング標準などの国際ビデオコーディング標準を含む。
【0003】
ＨＥＶＣ標準の最初のバージョンは、２０１３年１０月に完成され、前の世代のビデオコーディング標準Ｈ．２６４／ＭＰＥＧ ＡＶＣと比較して、おおよそ５０％ビットレートの節約または同等の知覚品質をもたらす。ＨＥＶＣ標準は、その先行するものよりも著しいコーディング改善をもたらすが、ＨＥＶＣよりも優れたコーディング効率を追加のコーディングツールにより達成することができる証拠が存在する。そのことに基づいて、ＶＣＥＧおよびＭＰＥＧの両方は、後のビデオコーディング標準化に対する新たなコーディング技術の追求作業を開始している。コーディング効率の著しい強化を可能にする、進化した技術の重要な研究を開始するよう、ＩＴＵ－ＴＶＥＣＧおよびＩＳＯ／ＩＥＣＭＰＥＧによってＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ（ＪＶＥＴ）が２０１５年１０月に結成されている。ＨＥＶＣテストモデル（ＨＭ）の上位でいくつかの追加のコーディングツールを統合することによって、ジョイント探索モデル（ＪＶＥＴ）と称される参照ソフトウェアがＪＶＥＴによって維持されている。
【0004】
２０１７年１０月に、ＨＥＶＣを上回る能力を有するビデオ圧縮に対する提案に対する共同要求（ＣｆＰ）がＩＴＵ－ＴおよびＩＳＯ／ＩＥＣによって発行された。２０１８年４月に、ＨＥＶＣよりも約４０％の圧縮効率を得ることを証明すると共に、１０回目のＪＶＥＴミーティングにおいて２３ ＣｆＰ回答が受けられおよび評価されている。そのような評価結果に基づいて、ＪＶＥＴは、バーサタイルビデオコーディング（ＶＶＣ）と称される新世代のビデオコーディング標準を開発する新たなプロジェクトを開始した。同月に、ＶＶＣ標準の参照の実装を証明するための、ＶＶＣテストモデル（ＶＴＭ）と称される参照ソフトウェアコードベースが確立されている。初期のＶＴＭ－１．０について、イントラ予測、インター予測、変換／逆変換、および量子化／逆量子化、ならびにインループフィルタを含むコーディングモジュールのほとんどは、マルチタイプツリベースブロック区画化構造がＶＴＭにおいて使用されることを除き、既存のＨＥＶＣ設計に準拠する。その一方で、新たなコーディングツールの評価を促進するために、ベンチマークセット（ＢＭＳ）と称される別の参照ソフトウェアベースも生成されている。ＢＭＳコードベースでは、より高いコーディング効率および適度な実装の複雑性をもたらす、ＪＥＭから継承されたコーディングツールのリストは、ＶＴＭの上位に含まれ、ＶＶＣ標準化工程の間に同様のコーディング技術を評価するときのベンチマークとして使用される。ＢＭＳ－１．０に統合されたＪＥＭコーディングツールは、６５の角度イントラ予測方向、修正された係数コーディング、進化型複数変換（ＡＭＴ）＋４×４の非分離二次変換（ＮＳＳＴ）、アフィン動きモデル、一般化適応的ループフィルタ（ＧＡＬＦ）、進化型時間動きベクトル予測（ＡＴＭＶＰ：advanced temporal motion vector prediction）、適応的動きベクトル精度、デコーダ側動きベクトルリファインメント（ＤＭＶＲ：advanced temporal motion vector prediction）、およびＬＭクロマモードを含む。
【発明の概要】
【0005】
いくつかの実施形態は、ビデオ符号化および復号（総称して「コーディング」）において使用される方法を含む。ブロックベースビデオコーディング方法のいくつかの実施形態は、第１のブロックにおいて、第１のリファインされた動きベクトル（refined motion vector）および第２のリファインされた動きベクトルを生成するよう、第１のリファインされていない動きベクトル（non-refined motion vector）および第２のリファインされていない動きベクトルをリファインするステップと、第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルのうちの一方または両方を使用して、第２のブロックの動き情報を予測するステップであって、第２のブロックは、第１のブロックの空間隣接である、ステップと、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルを使用して、双予測により第１のブロックを予測するステップと、を含む。
【0006】
ビデオコーディング方法の実施例では、第１のブロックと関連付けられた第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルが識別される。第１のブロックに隣接した第２のブロックの動き情報は、第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルのうちに一方または両方を使用して予測される。第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルは、例えば、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）を使用してリファインされる。リファインされた動きベクトルは、第１のブロックの双予測に対して使用することができる、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルを生成するために使用される。第２のブロックの動き情報を予測するために、リファインされていない動きベクトル（複数可）を使用することは、空間進化型動きベクトル予測（ＡＭＶＰ：advanced motion vector prediction）、時間動きベクトル予測（ＴＭＶＰ：temporal motion vector prediction）、進化型時間動きベクトル予測（ＴＭＶＰ）などの１つまたは複数の技術を使用して、およびリファインされていない動きベクトル（複数可）を空間マージ候補として使用して実行される。空間予測のケースでは、第２のブロックは、第１のブロックの空間隣接であってもよく、時間予測のケースでは、第２のブロックは、後続にコーディングされるピクチャの併置ブロックであってもよい。いくつかの実施形態では、第１のブロックに対するデブロッキングフィルタ強度は、第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルの少なくとも一部に基づいて判定される。
【0007】
ビデオコーディング方法の別の実施例では、第１のブロックと関連付けられた第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルが識別される。第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルは、例えば、ＤＭＶＲを使用して、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルを生成するようリファインされる。第２のブロックの動き情報は、空間動き予測または時間動き予測のいずれかを使用して予測され、（ｉ）空間動き予測が使用される場合、第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルの一方または両方が動き情報を予測するために使用され、（ｉｉ）時間動き予測が使用される場合、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルの一方または両方が動き情報を予測するために使用される。
【0008】
ビデオコーディング方法の別の実施例では、カレントブロックの動き情報を予測するための少なくとも１つの予測子が選択される。選択は、利用可能な予測子の組の中から行われ、利用可能な予測子は、カレントブロックの空間的な隣接ブロックからの少なくとも１つのリファインされていない動きベクトルおよび（ｉｉ）カレントブロックの併置ブロックからの少なくとも１つのリファインされた動きベクトルを含む。
【0009】
ビデオコーディング方法の別の実施例では、スライス内の少なくとも２つの重複しない領域が判定される。第１の領域内の第１のブロックと関連付けられた第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルが識別される。第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルは、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルを生成するようリファインされる。第１のブロックに隣接した第２のブロックの動き情報が第１のブロックの動き情報を使用して予測されるとの判定に応答して、第２のブロックの動き情報は、（ｉ）第１のブロックが第１の領域の下側境界または右側境界上にない場合に、第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルの一方または両方を使用して予測され、（ｉｉ）第１のブロックが第１の領域の下側境界または右側境界上にある場合に、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルの一方または両方を使用して予測される。
【0010】
ビデオコーディング方法の別の実施例では、スライス内の少なくとも２つの重複しない領域が判定される。第１の領域内の第１のブロックと関連付けられた第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルが識別される。第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルは、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルを生成するようリファインされる。第１のブロックに隣接した第２のブロックの動き情報が第１のブロックの動き情報を使用して予測されるとの判定に応答して、第２のブロックの動き情報は、（ｉ）第２のブロックが第１の領域内にある場合に、第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルの一方または両方を使用して予測され、（ｉｉ）第２のブロックが第１の領域内にない場合に、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルの一方または両方を使用して予測される。
【0011】
ビデオコーディング方法の別の実施例では、スライス内の少なくとも２つの重複しない領域が判定される。第１の領域内の第１のブロックと関連付けられた第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルが識別される。第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルは、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルを生成するようリファインされる。第２のブロックの動き情報は、空間動き予測または時間動き予測のいずれかを使用して予測され、（ｉ）第１のブロックが第１の領域の下側境界または右側境界上にない場合、および空間動き予測が使用される場合に、第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルの一方または両方が、動き情報を予測するために使用され、（ｉｉ）第１のブロックが第１の領域の下側境界または右側境界上にある場合、および時間動き予測が使用される場合に、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルの一方または両方が、動き情報を予測するために使用さる。
【0012】
ビデオコーディング方法の別の実施例では、少なくとも２つの重複しない領域がスライス内で定義される。第１の領域内のカレントブロックの動き情報の予測に対する利用可能な予測子の組が判定され、利用可能な予測子の組は、第１の領域とは異なる第２の領域内のいずれかのブロックの動き情報を含まないよう制約される。
【0013】
いくつかの実施形態は、動きベクトルをリファインする方法に関する。一実施例では、カレントブロックに対する第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルが判定される。第１の予測Ｉ(0)は、第１のリファインされていない動きベクトルを使用して生成され、第２の予測Ｉ(1)は、第２のリファインされていない動きベクトルを使用して生成される。カレントブロックに対する動きリファインメント
【0014】
【数1】
【0015】
を判定するために、オプティカルフローモデルが使用される。第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルは、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルを生成するよう、動きリファインメントを使用してリファインされる。カレントブロックは、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルを使用して、双予測により予測される。
【0016】
ビデオコーディング方法の別の実施例では、カレントブロックに対する第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルが判定される。第１の予測Ｉ(0)は、第１のリファインされていない動きベクトルを使用して生成され、第２の予測Ｉ(1)は、第２のリファインされていない動きベクトルを使用して生成される。カレントブロックに対する動きリファインメント
【0017】
【数2】
【0018】
が判定され、
【0019】
【数3】
【0020】
であり、θは、カレントブロック内の全てのサンプルの座標の組であり、
【0021】
【数4】
【0022】
である。第１のリファインされていない動きベクトルおよび第２のリファインされていない動きベクトルは、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルを生成するよう、動きリファインメントを使用してリファインされる。カレントブロックは、第１のリファインされた動きベクトルおよび第２のリファインされた動きベクトルを使用して、双予測により予測される。
【0023】
ビデオコーディング方法の別の実施例では、カレントブロックに対する第１の動きベクトルおよび第２の動きベクトルが判定される。第１の動きベクトルおよび第２の動きベクトルは、
（ａ）第１の動きベクトルを使用して第１の予測Ｐ0を生成し、第２の動きベクトルを使用して第２の予測Ｐ1を生成することと、
（ｂ）第１の予測Ｐ0および第２の予測Ｐ1を平均化することによって、双予測テンプレート信号Ｐtmpを生成することと、
（ｃ）テンプレート信号Ｐtmpに基づいて、第１の動きベクトルに対する第１の動きリファインメント（Δｘ，Δｙ）* 0および第２の動きベクトルに対する第２の動きリファインメント（Δｘ，Δｙ）* 1を判定するために、オプティカルフローモデルを使用することと、
（ｄ）第１の動きリファインメント（Δｘ，Δｙ）* 0を使用して第１の動きベクトルをリファインし、第２の動きリファインメント（Δｘ，Δｙ）* 1を使用して第２の動きベクトルをリファインすることと、
を含むステップを反復的に実行することによってリファインされる。
（ａ）第１の動きベクトルを使用して第１の予測Ｐ0を生成し、第２の動きベクトルを使用して第２の予測Ｐ1を生成することと、
（ｂ）第１の予測Ｐ0および第２の予測Ｐ1を平均化することによって、双予測テンプレート信号Ｐtmpを生成することと、
（ｃ）テンプレート信号Ｐtmpに基づいて、第１の動きベクトルに対する第１の動きリファインメント（Δｘ，Δｙ）* 0および第２の動きベクトルに対する第２の動きリファインメント（Δｘ，Δｙ）* 1を判定するために、オプティカルフローモデルを使用することと、
（ｄ）第１の動きリファインメント（Δｘ，Δｙ）* 0を使用して第１の動きベクトルをリファインし、第２の動きリファインメント（Δｘ，Δｙ）* 1を使用して第２の動きベクトルをリファインすることと、
を含むステップを反復的に実行することによってリファインされる。
【0024】
更なる実施形態は、本明細書で説明される方法を実行するように構成されたエンコーダおよびデコーダ（集合的に「コーデック」）システムを含む。そのようなシステムは、プロセッサおよび非一時的コンピュータ記憶媒体を含んでもよく、非一時的コンピュータ記憶媒体は、プロセッサ上で実行されるとき、本明細書で説明される方法を実行するよう動作可能な命令を記憶している。追加の実施形態は、本明細書で説明される方法を使用して符号化されたビデオを記憶した非一時的コンピュータ可読媒体を含む。
【図面の簡単な説明】
【0025】
【図1A】１つまたは複数の開示される実施形態を実装することができる、実施例の通信システムを例示したシステム図である。
【図2】ＶＶＣに対して使用されるエンコーダなどのブロックベースビデオエンコーダ（block-based video encoder）の機能的ブロック図である。
【図3A】マルチタイプツリー構造におけるブロック区画、四分区画（quaternary partition）を示す。
【図3B】マルチタイプツリー構造におけるブロック区画、垂直二分区画（vertical binary partition）を示す。
【図3C】マルチタイプツリー構造におけるブロック区画、水平二分区画（horizontal binary partition）を示す。
【図3D】マルチタイプツリー構造におけるブロック区画、垂直三分区画（vertical ternary partition）を示す。
【図3E】マルチタイプツリー構造におけるブロック区画、水平三分区画（horizontal ternary partition）を示す。
【図4】ＶＶＣに対して使用されるデコーダなどのブロックベースビデオデコーダ（block-based video decoder）の機能的ブロック図である。
【図5】空間動きベクトル予測の実施例を例示する。
【図6】時間動きベクトル予測（ＴＭＶＰ）の実施例を例示する。
【図7】進化型時間動きベクトル予測（ＡＴＭＶＰ）の実施例を例示する。
【図8A】デコーダ側動きベクトルリファインメント（ＤＭＶＲ）の実施例を例示する。
【図8B】デコーダ側動きベクトルリファインメント（ＤＭＶＲ）の実施例を例示する。
【図9】ＶＴＭ－１．０に対する並列復号を例示する。
【図10】ＤＭＶＲによって生じる復号待ち時間を例示する。
【図11】ＤＭＶＲからのリファインされたＭＶが双予測信号を生成するためのみに使用される実施形態を例示する。
【図12】ＤＭＶＲからのリファインされたＭＶが時間動き予測およびデブロックキングに対して使用され、リファインされていないＭＶが空間動き予測に対して使用される実施形態を例示する。
【図13】ＤＭＶＲからのリファインされたＭＶが時間動き予測に対して使用され、リファインされていないＭＶが空間動き予測およびデブロックキングに対して使用される実施形態を例示する。
【図14】いくつかの実施形態に従った、ＤＭＶＲに対して待ち時間除去方法を適用した後の並列復号を例示する。
【図15】空間動き予測およびデブロックキングに対してピクチャセグメント内部のＤＭＶＲブロックに対するリファインされていないＭＶを使用する実施形態を例示する。
【図16】カレントピクチャが複数のセグメントに分割され、コーディング待ち時間が各々のセグメント内部のブロックに対して低減される実施形態を例示する。
【図17】カレントピクチャが複数のセグメントに分割され、コーディング待ち時間が異なるセグメントからのブロックに対して低減される実施形態を例示する。
【図18】いくつかの実施形態に従った、オプティカルフローを使用した動きリファインメント処理のフローチャートである。
【発明を実施するための形態】
【0026】
実施形態の実装態様に対する実施例のネットワーク
図１Ａは、１つまたは複数の開示される実施形態を実装することができる、例示的な通信システム１００を示す図である。通信システム１００は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムであってもよい。通信システム１００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通じて、そのようなコンテンツにアクセスすることを可能にすることができる。例えば、通信システム１００は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、ゼロテールユニークワード離散フーリエ変換拡散ＯＦＤＭ（ＺＴ ＵＷ ＤＴＳ－Ｓ－ＯＦＤＭ）、ユニークワードＯＦＤＭ（ＵＷ－ＯＦＤＭ）、リソースブロックフィルタードＯＦＤＭ、およびフィルタバンクマルチキャリア（ＦＢＭＣ）など、１つまたは複数のチャネルアクセス方法を利用してもよい。
図１Ａは、１つまたは複数の開示される実施形態を実装することができる、例示的な通信システム１００を示す図である。通信システム１００は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムであってもよい。通信システム１００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通じて、そのようなコンテンツにアクセスすることを可能にすることができる。例えば、通信システム１００は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、ゼロテールユニークワード離散フーリエ変換拡散ＯＦＤＭ（ＺＴ ＵＷ ＤＴＳ－Ｓ－ＯＦＤＭ）、ユニークワードＯＦＤＭ（ＵＷ－ＯＦＤＭ）、リソースブロックフィルタードＯＦＤＭ、およびフィルタバンクマルチキャリア（ＦＢＭＣ）など、１つまたは複数のチャネルアクセス方法を利用してもよい。
【0027】
図１Ａに示されるように、通信システム１００は、無線送信／受信ユニット（ＷＴＲＵ）１０２ａ、１０２ｂ、１０２ｃ、１０２ｄと、ＲＡＮ１０４／１１３と、ＣＮ１０６と、公衆交換電話網（ＰＳＴＮ）１０８と、インターネット１１０と、他のネットワーク１１２とを含んでもよいが、開示される実施形態は、いずれかの数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素を考慮していることが認識されよう。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの各々は、無線環境において動作および／または通信するように構成されたいずれかのタイプのデバイスであってもよい。例として、そのいずれかが、「局」および／または「ＳＴＡ」と称されてもよい、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、無線信号を送信および／または受信するように構成されてもよく、ユーザ機器（ＵＥ）、移動局、固定または移動加入者ユニット、サブスクリクションベースのユニット、ページャ、セルラ電話、パーソナルデジタルアシスタント（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポットまたはＭｉ－Ｆｉデバイス、モノのインターネット（ＩｏＴ）デバイス、ウォッチまたは他のウェアラブル、ヘッドマウントディスプレイ（ＨＭＤ）、車両、ドローン、医療用デバイスおよびアプリケーション（例えば、遠隔手術）、工業用デバイスおよびアプリケーション（例えば、工業用および／または自動化された処理チェーン状況において動作するロボットおよび／または他の無線デバイス）、家電デバイス、ならびに商業用および／または工業用無線ネットワーク上において動作するデバイスなどを含んでもよい。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのいずれも、交換可能にＵＥと称されてもよい。
【0028】
通信システム１００はまた、基地局１１４ａおよび／または基地局１１４ｂを含んでもよい。基地局１１４ａ、１１４ｂの各々は、ＣＮ１０６、インターネット１１０、および／または他のネットワーク１１２など、１つまたは複数の通信ネットワークへのアクセスを容易にするために、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの少なくとも１つと無線でインタフェースをとるように構成されたいずれかのタイプのデバイスであってもよい。例として、基地局１１４ａ、１１４ｂは、基地送受信機局（ＢＴＳ）、ＮｏｄｅＢ、ｅＮｏｄｅＢ、ホームＮｏｄｅＢ、ホームｅＮｏｄｅＢ、ｇＮＢ、ＮＲ ＮｏｄｅＢ、サイトコントローラ、アクセスポイント（ＡＰ）、および無線ルータなどであってもよい。基地局１１４ａ、１１４ｂは、各々が、単一の要素として表されているが、基地局１１４ａ、１１４ｂは、任意の数の相互接続された基地局および／またはネットワーク要素を含んでもよいことが理解されよう。
【0029】
基地局１１４ａは、ＲＡＮ１０４／１１３の一部であってもよく、ＲＡＮ１０４／１１３は、他の基地局、および／または基地局コントローラ（ＢＳＣ）、無線ネットワークコントローラ（ＲＮＣ）、中継ノードなどのネットワーク要素（図示されず）も含んでもよい。基地局１１４ａおよび／または基地局１１４ｂは、セル（図示されず）と称されてもよい、１つまたは複数のキャリア周波数上において、無線信号を送信および／または受信するように構成されてもよい。これらの周波数は、認可スペクトル、非認可スペクトル、または認可スペクトルと非認可スペクトルとの組み合わせの中にあってもよい。セルは、相対的に固定であってもよくまたは時間とともに変化してもよい特定の地理的エリアに、無線サービス用のカバレージを提供してもよい。セルは、更に、セルセクタに分割されてもよい。例えば、基地局１１４ａと関連付けられたセルは、３つのセクタに分割されてもよい。したがって、一実施形態では、基地局１１４ａは、送受信機を３つ、すなわち、セルの各セクタに対して１つずつ含んでよい。実施形態では、基地局１１４ａは、多入力多出力（ＭＩＭＯ）技術を利用してもよく、セルの各セクタに対して複数の送受信機を利用してもよい。例えば、所望の空間的方向において信号を送信および／または受信するために、ビームフォーミングが使用されてもよい。
【0030】
基地局１１４ａ、１１４ｂは、エアインタフェース１１６上において、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの１つまたは複数と通信してもよく、エアインタフェース１１６は、いずれかの適切な無線通信リンク（例えば、無線周波（ＲＦ）、マイクロ波、センチメートル波、マイクロメートル波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光など）であってもよい。エアインタフェース１１６は、任意の適切な無線アクセス技術（ＲＡＴ）を使用して確立されてもよい。
【0031】
より具体的には、上述されたように、通信システム１００は、多元接続システムであってもよく、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、およびＳＣ－ＦＤＭＡなど、１つまたは複数のチャネルアクセス方式を採用してもよい。例えば、ＲＡＮ１０４／１１３内の基地局１１４ａと、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとは、広帯域ＣＤＭＡ（ＷＣＤＭＡ）を使用して、エアインタフェース１１６を確立してもよい、ユニバーサル移動体通信システム（ＵＭＴＳ）地上無線アクセス（ＵＴＲＡ）などの無線技術を実装してもよい。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）および／または進化型ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含んでよい。ＨＳＰＡは、高速ダウンリンク（ＤＬ）パケットアクセス（ＨＳＤＰＡ）、および／または高速アップリンク（ＵＬ）パケットアクセス（ＨＳＵＰＡ）を含んでもよい。
【0032】
実施形態では、基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ロングタームエボリューション（ＬＴＥ）、および／またはＬＴＥアドバンスト（ＬＴＥ－Ａ）、および／またはＬＴＥアドバンストプロ（ＬＴＥ－Ａ Ｐｒｏ）を使用して、エアインタフェース１１６を確立してもよい、進化型ＵＭＴＳ地上無線アクセス（Ｅ－ＵＴＲＡ）などの無線技術を実装してもよい。
【0033】
実施形態では、基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ニューラジオ（ＮＲ）を使用して、エアインタフェース１１６を確立してもよい、ＮＲ無線アクセスなどの無線技術を実装してもよい。
【0034】
実施形態では、基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、複数の無線アクセス技術を実装してもよい。例えば、基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、例えば、デュアルコネクティビティ（ＤＣ）原理を使用して、ＬＴＥ無線アクセスおよびＮＲ無線アクセスを共に実装してもよい。したがって、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃによって利用されるエアインタフェースは、複数のタイプの無線アクセス技術、ならびに／または複数のタイプの基地局（例えば、ｅＮＢおよびｇＮＢ）に送信される／そこから送信される送信によって特徴付けられてもよい。
【0035】
他の実施形態では、基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＩＥＥＥ８０２．１１（すなわち、ワイヤレスフィデリティ（ＷｉＦｉ））、ＩＥＥＥ８０２．１６（すなわち、Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ（ＷｉＭＡＸ））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ ＥＶ－ＤＯ、暫定標準２０００（ＩＳ－２０００）、暫定標準９５（ＩＳ－９５）、暫定標準８５６（ＩＳ－８５６）、移動体通信用グローバルシステム（ＧＳＭ）、ＧＳＭエボリューション用高速データレート（ＥＤＧＥ）、およびＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）などの無線技術を実装してもよい。
【0036】
図１Ａにおける基地局１１４ｂは、例えば、無線ルータ、ホームＮｏｄｅＢ、ホームｅＮｏｄｅＢ、またはアクセスポイントであってもよく、事業所、自宅、車両、キャンパス、産業用施設、（例えば、ドローンによって使用される）エアコリド、および車道など、局所化されたエリアにおける無線接続性を容易にするために、任意の適切なＲＡＴを利用してもよい。一実施形態では、基地局１１４ｂと、ＷＴＲＵ１０２ｃ、１０２ｄとは、ＩＥＥＥ８０２．１１などの無線技術を実装して、無線ローカルエリアネットワーク（ＷＬＡＮ）を確立してもよい。実施形態では、基地局１１４ｂと、ＷＴＲＵ１０２ｃ、１０２ｄとは、ＩＥＥＥ８０２．１５などの無線技術を実装して、無線パーソナルエリアネットワーク（ＷＰＡＮ）を確立してもよい。また別の実施形態では、基地局１１４ｂと、ＷＴＲＵ１０２ｃ、１０２ｄとは、セルラベースのＲＡＴ（例えば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ－Ａ、ＬＴＥ－Ａ Ｐｒｏ、ＮＲなど）を利用して、ピコセルまたはフェムトセルを確立してもよい。図１Ａに示されるように、基地局１１４ｂは、インターネット１１０への直接的な接続を有してもよい。したがって、基地局１１４ｂは、ＣＮ１０６／１１５を介してインターネット１１０にアクセスする必要がないことがある。
【0037】
ＲＡＮ１０４／１１３は、ＣＮ１０６／１１５と通信してもよく、ＣＮ１０６／１１５は、音声、データ、アプリケーション、および／またはボイスオーバインターネットプロトコル（ＶｏＩＰ）サービスを、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの１つまたは複数に提供するように構成された任意のタイプのネットワークであってもよい。データは、異なるスループット要件、遅延要件、エラー耐性要件、信頼性要件、データスループット要件、およびモビリティ要件など、様々なサービス品質（ＱｏＳ）要件を有してもよい。ＣＮ１０６／１１５は、呼制御、ビリングサービス、モバイルロケーションベースのサービス、プリペイド発呼、インターネット接続性、ビデオ配信などを提供してもよく、および／またはユーザ認証など、高レベルセキュリティ機能を実行してもよい。図１Ａには示されていないが、ＲＡＮ１０４／１１３および／またはＣＮ１０６／１１５は、ＲＡＮ１０４／１１３と同じＲＡＴまたは異なるＲＡＴを利用する他のＲＡＮと直接的または間接的通信を行ってもよいことが理解されよう。例えば、ＮＲ無線技術を利用していることがあるＲＡＮ１０４／１１３に接続されていることに加えて、ＣＮ１０６／１１５は、ＧＳＭ、ＵＭＴＳ、ＣＤＭＡ２０００、ＷｉＭＡＸ、Ｅ－ＵＴＲＡ、またはＷｉＦｉ無線技術を利用する別のＲＡＮ（図示されず）とも通信してもよい。
【0038】
ＣＮ１０６／１１５は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄが、ＰＳＴＮ１０８、インターネット１１０、および／または他のネットワーク１１２にアクセスするためのゲートウェイとしての役割も果たしてもよい。ＰＳＴＮ１０８は、基本電話サービス（ＰＯＴＳ）を提供する、回線交換電話網を含んでよい。インターネット１１０は、ＴＣＰ／ＩＰインターネットプロトコルスイート内の送信制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、および／またはインターネットプロトコル（ＩＰ）など、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークおよびデバイスからなる地球規模のシステムを含んでよい。ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される、有線および／または無線通信ネットワークを含んでもよい。例えば、ネットワーク１１２は、ＲＡＮ１０４／１１３と同じＲＡＴまたは異なるＲＡＴを利用してもよい１つまたは複数のＲＡＮに接続された、別のＣＮを含んでもよい。
【0039】
通信システム１００内のＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちのいくつかまたは全ては、マルチモード機能を含んでよい（例えば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、異なる無線リンク上において、異なる無線ネットワークと通信するための、複数の送受信機を含んでよい）。例えば、図１Ａに示されるＷＴＲＵ１０２ｃは、セルラベースの無線技術を採用してもよい基地局１１４ａと通信するように、またＩＥＥＥ８０２無線技術を利用してもよい基地局１１４ｂと通信するように構成されてもよい。
【0040】
図１Ｂは、例示的なＷＴＲＵ１０２を示すシステム図である。図１Ｂに示されるように、ＷＴＲＵ１０２は、とりわけ、プロセッサ１１８、送受信機１２０、送信／受信要素１２２、スピーカ／マイクロフォン１２４、キーパッド１２６、ディスプレイ／タッチパッド１２８、非リムーバブルメモリ１３０、リムーバブルメモリ１３２、電源１３４、全地球測位システム（ＧＰＳ）チップセット１３６、および／または他の周辺機器１３８を含んでよい。ＷＴＲＵ１０２は、実施形態との整合性を維持しながら、上記の要素の任意のサブコンビネーションを含んでよいことが理解されよう。
【0041】
プロセッサ１１８は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、他の任意のタイプの集積回路（ＩＣ）、および状態機械などであってもよい。プロセッサ１１８は、信号コーディング、データ処理、電力制御、入力／出力処理、および／またはＷＴＲＵ１０２が無線環境において動作することを可能にする他の任意の機能性を実行してもよい。プロセッサ１１８は、送受信機１２０に結合されてもよく、送受信機１２０は、送信／受信要素１２２に結合されてもよい。図１Ｂは、プロセッサ１１８と送受信機１２０を別個の構成要素として表しているが、プロセッサ１１８と送受信機１２０は、電子パッケージまたはチップ内に共に統合されてもよいことが理解されよう。
【0042】
送信／受信要素１２２は、エアインタフェース１１６上において、基地局（例えば、基地局１１４ａ）に信号を送信し、または基地局から信号を受信するように構成されてもよい。例えば、一実施形態では、送信／受信要素１２２は、ＲＦ信号を送信および／または受信するように構成されたアンテナであってもよい。実施形態では、送信／受信要素１２２は、例えば、ＩＲ、ＵＶ、または可視光信号を送信および／または受信するように構成された放射器／検出器であってもよい。また別の実施形態では、送信／受信要素１２２は、ＲＦ信号および光信号の両方を送信および／または受信するように構成されてもよい。送信／受信要素１２２は、無線信号の任意の組み合わせを送信および／または受信するように構成されてもよいことが理解されよう。
【0043】
図１Ｂにおいては、送信／受信要素１２２は、単一の要素として表されているが、ＷＴＲＵ１０２は、任意の数の送信／受信要素１２２を含んでよい。より具体的には、ＷＴＲＵ１０２は、ＭＩＭＯ技術を利用してもよい。したがって、一実施形態では、ＷＴＲＵ１０２は、エアインタフェース１１６上において無線信号を送信および受信するための２つ以上の送信／受信要素１２２（例えば、複数のアンテナ）を含んでよい。
【0044】
送受信機１２０は、送信／受信要素１２２によって送信されることになる信号を変調し、送信／受信要素１２２によって受信された信号を復調するように構成されてもよい。上で言及されたように、ＷＴＲＵ１０２は、マルチモード機能を有してもよい。したがって、送受信機１２０は、ＷＴＲＵ１０２が、例えば、ＮＲおよびＩＥＥＥ８０２．１１など、複数のＲＡＴを介して通信することを可能にするための、複数の送受信機を含んでよい。
【0045】
ＷＴＲＵ１０２のプロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８（例えば、液晶表示（ＬＣＤ）ディスプレイユニットもしくは有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合されてもよく、それらからユーザ入力データを受信してもよい。プロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８にユーザデータを出力してもよい。加えて、プロセッサ１１８は、非リムーバブルメモリ１３０および／またはリムーバブルメモリ１３２など、任意のタイプの適切なメモリから情報を入手してもよく、それらにデータを記憶してもよい。非リムーバブルメモリ１３０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ハードディスク、または他の任意のタイプのメモリ記憶デバイスを含んでよい。リムーバブルメモリ１３２は、加入者識別モジュール（ＳＩＭ）カード、メモリスティック、およびセキュアデジタル（ＳＤ）メモリカードなどを含んでよい。他の実施形態では、プロセッサ１１８は、サーバまたはホームコンピュータ（図示されず）上などに配置された、ＷＴＲＵ１０２上に物理的に位置していないメモリから情報にアクセスしてもよく、それらにデータを記憶してもよい。
【0046】
プロセッサ１１８は、電源１３４から電力を受信してもよく、ＷＴＲＵ１０２内の他の構成要素に電力を分配するように、および／またはそれらへの電力を制御するように構成されてもよい。電源１３４は、ＷＴＲＵ１０２に給電するための任意の適切なデバイスであってもよい。例えば、電源１３４は、１つまたは複数の乾電池（例えば、ニッケル－カドミウム（ＮｉＣｄ）、ニッケル－亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウム－イオン（Ｌｉ－ｉｏｎ）など）、太陽電池、および燃料電池などを含んでよい。
【0047】
プロセッサ１１８は、ＧＰＳチップセット１３６にも結合されてもよく、ＧＰＳチップセット１３６は、ＷＴＲＵ１０２の現在の位置に関する位置情報（例えば、経度および緯度）を提供するように構成されてもよい。ＧＰＳチップセット１３６からの情報に加えて、またはそれの代わりに、ＷＴＲＵ１０２は、基地局（例えば、基地局１１４ａ、１１４ｂ）からエアインタフェース１１６上において位置情報を受信してもよく、および／または２つ以上の近くの基地局から受信されている信号のタイミングに基づいて、自身の位置を決定してもよい。ＷＴＲＵ１０２は、実施形態との整合性を維持しながら、任意の適切な位置決定方法を用いて、位置情報を取得してもよいことが理解されよう。
【0048】
プロセッサ１１８は更に、他の周辺機器１３８に結合されてもよく、他の周辺機器１３８は、追加の特徴、機能性、および／または有線もしくは無線接続性を提供する、１つまたは複数のソフトウェアモジュールおよび／またはハードウェアモジュールを含んでよい。例えば、周辺機器１３８は、加速度計、ｅコンパス、衛星送受信機、（写真および／またはビデオ用の）デジタルカメラ、ユニバーサルシリアルバス（ＵＳＢ）ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実および／または拡張現実（ＶＲ／ＡＲ）デバイス、ならびにアクティビティトラッカなどを含んでよい。周辺機器１３８は、１つまたは複数のセンサを含んでよく、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、バイオメトリックセンサ、および／または湿度センサのうちの１つまたは複数であってもよい。
【0049】
ＷＴＲＵ１０２は、（例えば、（例えば、送信用の）ＵＬと（例えば、受信用の））ダウンリンクの両方のための特定のサブフレームと関連付けられた信号のいくつかまたは全ての送信および受信が、並列および／または同時であってもよい、全二重無線機を含んでよい。全二重無線機は、ハードウェア（例えば、チョーク）を介して、またはプロセッサ（例えば、別個のプロセッサ（図示されず）もしくはプロセッサ１１８）を介する信号処理を介して、自己干渉を低減させ、および／または実質的に除去するために、干渉管理ユニット１３９を含んでよい。実施形態では、ＷＴＲＵ１０２は、（例えば、（例えば、送信用の）ＵＬまたは（例えば、受信用の）ダウンリンクのどちらかのための特定のサブフレームと関連付けられた）信号のいくつかまたは全ての送信および受信のための、半二重無線を含んでよい。
【0050】
図１Ａ乃至１Ｂにおいては、ＷＴＲＵは、無線端末として説明されるが、ある代表的な実施形態では、そのような端末は、通信ネットワークとの有線通信インタフェースを（例えば、一時的または永続的に）使用することができることが企図されている。
【0051】
代表的な実施形態では、他のネットワーク１１２は、ＷＬＡＮであってもよい。
【0052】
図１Ａ乃至１Ｂおよび対応する説明に鑑みて、本明細書において説明される機能の１つもしくは複数または全ては、１つまたは複数のエミュレーションデバイス（図示されず）によって実行されてもよい。エミュレーションデバイスは、本明細書において説明される機能の１つもしくは複数または全てをエミュレートするように構成された、１つまたは複数のデバイスであってもよい。例えば、エミュレーションデバイスは、他のデバイスをテストするために、ならびに／またはネットワークおよび／もしくはＷＴＲＵ機能をシミュレートするために、使用されてもよい。
【0053】
エミュレーションデバイスは、実験室環境において、および／またはオペレータネットワーク環境において、他のデバイスの１つまたは複数のテストを実施するように設計されてもよい。例えば、１つまたは複数のエミュレーションデバイスは、通信ネットワーク内の他のデバイスをテストするために、有線および／または無線通信ネットワークの一部として、完全または部分的に実施および／または展開されながら、１つもしくは複数または全ての機能を実行してもよい。１つまたは複数のエミュレーションデバイスは、有線および／または無線通信ネットワークの一部として、一時的に実施／展開されながら、１つもしくは複数または全ての機能を実行してもよい。エミュレーションデバイスは、テストの目的で、別のデバイスに直接的に結合されてもよく、および／またはオーバジエア無線通信を使用して、テストを実行してもよい。
【0054】
１つまたは複数のエミュレーションデバイスは、有線および／または無線通信ネットワークの一部として実施／展開されずに、全ての機能を含む、１つまたは複数の機能を実行してもよい。例えば、エミュレーションデバイスは、１つまたは複数の構成要素のテストを実施するために、テスト実験室、ならびに／または展開されていない（例えば、テスト）有線および／もしくは無線通信ネットワークにおける、テストシナリオにおいて利用されてもよい。１つまたは複数のエミュレーションデバイスは、テスト機器であってもよい。データを送信および／または受信するために、直接ＲＦ結合、および／または（例えば、１つもしくは複数のアンテナを含んでよい）ＲＦ回路を介した無線通信が、エミュレーションデバイスによって使用されてもよい。
【0055】
ブロックベースビデオコーディング
ＨＥＶＣのように、ＶＶＣは、ブロックベースハイブリッドビデオコーディングフレームワーク上で構築される。図２は、ブロックベースハイブリッドビデオ符号化システムの実施例の機能的ブロック図である。入力ビデオ信号１０３は、ブロックごとに処理される。ブロックは、コーディングユニット（ＣＵ）と称されてもよい。ＶＴＭ－１．０では、ＣＵは、最大で１２８×１２８画素であってもよい。しかしながら、四分木のみに基づいてブロックを区画化するＨＥＶＣと比較して、ＶＴＭ－１．０では、コーディングツリーユニット（ＣＴＵ）は、四分／二分／三分木に基づいて、変化する特性に適合するようＣＵに分割されてもよい。加えて、ＨＥＶＣにおける複数の区画ユニットタイプの概念は排除されることがあり、その結果、ＶＶＣでは、ＣＵ、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）の分離は使用されず、代わりに、各々のＣＵは、更なる区画なしに予測および変換の両方のための基本単位として使用されることがある。マルチタイプツリー構造では、ＣＴＵは、四分木構造によって最初に区画化される。次いで、各々の四分木リーフノードは更に、二分木および三分木構造によって区画化されてもよい。図３Ａ～３Ｅに示されるように、５つの分岐タイプ、四分区画化（quaternary partitioning）、水平二分区画化（horizontal binary partitioning）、垂直二分区画化（vertical binary partitioning）、水平三分区画化（horizontal ternary partitioning）、および垂直三分区画化（vertical ternary partitioning）が存在してもよい。
ＨＥＶＣのように、ＶＶＣは、ブロックベースハイブリッドビデオコーディングフレームワーク上で構築される。図２は、ブロックベースハイブリッドビデオ符号化システムの実施例の機能的ブロック図である。入力ビデオ信号１０３は、ブロックごとに処理される。ブロックは、コーディングユニット（ＣＵ）と称されてもよい。ＶＴＭ－１．０では、ＣＵは、最大で１２８×１２８画素であってもよい。しかしながら、四分木のみに基づいてブロックを区画化するＨＥＶＣと比較して、ＶＴＭ－１．０では、コーディングツリーユニット（ＣＴＵ）は、四分／二分／三分木に基づいて、変化する特性に適合するようＣＵに分割されてもよい。加えて、ＨＥＶＣにおける複数の区画ユニットタイプの概念は排除されることがあり、その結果、ＶＶＣでは、ＣＵ、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）の分離は使用されず、代わりに、各々のＣＵは、更なる区画なしに予測および変換の両方のための基本単位として使用されることがある。マルチタイプツリー構造では、ＣＴＵは、四分木構造によって最初に区画化される。次いで、各々の四分木リーフノードは更に、二分木および三分木構造によって区画化されてもよい。図３Ａ～３Ｅに示されるように、５つの分岐タイプ、四分区画化（quaternary partitioning）、水平二分区画化（horizontal binary partitioning）、垂直二分区画化（vertical binary partitioning）、水平三分区画化（horizontal ternary partitioning）、および垂直三分区画化（vertical ternary partitioning）が存在してもよい。
【0056】
図２では、空間予測（１６１）および／または時間予測（１６３）が実行されてもよい。空間予測（または、「イントラ予測」）は、カレントビデオブロックを予測するために、同一のビデオピクチャ／スライス内の既にコーディングされた隣接ブロック（参照サンプルと称される）のサンプルからの画素を使用する。空間予測は、ビデオ信号に内在する空間的冗長性を低減させる。時間予測（「インター予測」または「動き補償された予測」と称される）は、カレントビデオブロックを予測するために、既にコーディングされたビデオピクチャからの構築されていない画素を使用する。時間予測は、ビデオ信号に内在する時間的冗長性を低減させる。所与のＣＵに対する時間予測信号は通常、１つまたは複数の動きベクトル（ＭＶ）によってシグナリングされ、１つまたは複数の動きベクトル（ＭＶ）は、カレントＣＵとその時間参照（temporal reference）との間の動きの量および動きの方向を示す。また、複数の参照ピクチャがサポートされる場合、加えて、参照ピクチャストア（１６５）内のどの参照ピクチャから時間予測信号が到来するかを識別するために使用される、参照ピクチャインデックスが送信される。
【0057】
空間予測および／または時間予測の後、エンコーダにおけるモード決定ブロック（１８１）は、例えば、レート歪みの最適化法に基づいて、最良の予測モードを選択する。予測ブロックは次いで、カレントビデオブロック（１１７）から差し引かれ、予測残差は、変換（１０５）を使用して非相関化され（de-correlated）、量子化される（１０７）。量子化された残差係数は、再構築された残差を形成するよう、逆量子化され（１１１）、逆変換され（１１３）、再構築された残差は次いで、ＣＵの再構築された信号を形成するよう、予測ブロック（１２７）に再度追加される。更に、デブロッキングフィルタなどのインループフィルタリングは、参照ピクチャストア（１６５）に置く前に、再構築されたＣＵに対して適用されてもよく、後のビデオブロックをコーディングするために使用されてもよい。出力ビデオビットストリーム１２１を形成するために、コーディングモード（インターまたはイントラ）、予測モード情報、動き情報、および量子化された残差係数は全て、更に圧縮およびパックされてビットストリームを形成するよう、エントロピコーディングユニット（１０９）に送信される。
【0058】
図４は、ブロックベースビデオデコーダの機能的ブロック図である。ビデオビットストリーム２０２は、エントロピ復号ユニット２０８においてアンパックされ、およびエントロピ復号される。コーディングモードおよび予測情報は、予測ブロックを形成するよう、空間予測ユニット２６０（イントラコーディングされる場合）または時間予測ユニット２６２（インターコーディングされる場合）のいずれかに送信される。残差変換係数は、残差ブロックを再構築するよう、逆量子化ユニット２１０および逆変換ユニット２１２に送信される。予測ブロックおよび残差ブロックは次いで、２２６において共に追加される、再構築されたブロックは更に、参照ピクチャストア２６４に記憶される前に、インループフィルタリングを通過する。参照ピクチャストア内の再構築されたビデオは次いで、後のビデオブロックを予測するために使用されると共に、ディスプレイデバイスを駆動するよう送出される。
【0059】
前に言及されたように、ＢＭＳ－１．０は、図２および図４に示されるように、ＶＴＭ－１．０の同一の符号化／復号ワークフローに準拠する。しかしながら、特に時間予測と関連付けられたいくつかのコーディングモジュールは更に、拡張および強化される。以下では、ＢＭＳ－１．０または前のＪＥＭに含まれるいくつかのインターツールが簡潔に説明される。
【0060】
動きベクトル予測
ＨＥＶＣのように、動き情報をシグナリングするオーバヘッドを低減させるために、ＶＴＭおよびＢＭＳの両方は、各々のＣＵの動き情報をコーディングする２つのモード、すなわち、マージモードおよび非マージモードを含む。マージモードでは、カレントＣＵの動き情報は、空間隣接ブロックおよび時間隣接ブロックから直接導出され、競合ベーススキーム（competition-based scheme）は、全ての利用可能な候補の中から最良の隣接ブロックを選択するために適用され、それに対応して、最良の候補のインデックスのみが、デコーダにおいてＣＵの動き情報を再構築するために送信される。インターコーディングされたＰＵが非マージモードにおいてコーディングされる場合、ＭＶは、進化型動きベクトル予測（ＡＭＶＰ）技術から導出されたＭＶ予測子を使用して異なってコーディングされる。マージモードのように、ＡＭＶＰは、空間隣接候補および時間隣接候補からＭＶ予測子を導出する。次いで、ＭＶ予測子と実際のＭＶとの間の差、および予測子のインデックスがデコーダに送信される。
ＨＥＶＣのように、動き情報をシグナリングするオーバヘッドを低減させるために、ＶＴＭおよびＢＭＳの両方は、各々のＣＵの動き情報をコーディングする２つのモード、すなわち、マージモードおよび非マージモードを含む。マージモードでは、カレントＣＵの動き情報は、空間隣接ブロックおよび時間隣接ブロックから直接導出され、競合ベーススキーム（competition-based scheme）は、全ての利用可能な候補の中から最良の隣接ブロックを選択するために適用され、それに対応して、最良の候補のインデックスのみが、デコーダにおいてＣＵの動き情報を再構築するために送信される。インターコーディングされたＰＵが非マージモードにおいてコーディングされる場合、ＭＶは、進化型動きベクトル予測（ＡＭＶＰ）技術から導出されたＭＶ予測子を使用して異なってコーディングされる。マージモードのように、ＡＭＶＰは、空間隣接候補および時間隣接候補からＭＶ予測子を導出する。次いで、ＭＶ予測子と実際のＭＶとの間の差、および予測子のインデックスがデコーダに送信される。
【0061】
図５は、空間ＭＶ予測に対する実施例を示す。コーディングされることになるカレントピクチャ（ＣｕｒｒＰｉｃ）では、正方形のＣｕｒｒＣＵがカレントＣＵであり、参照ピクチャ（ＣｕｒｒＲｅｆＰｉｃ）内で最良の一致するブロック（ＣｕｒｒＲｅｆＣＵ）を有する。ＣｕｒｒＣＵのＭＶ、すなわち、ＭＶ２が予測されることになる。カレントＣＵの空間隣接は、カレントＣＵの上方に隣接したＣＵ、左に隣接したＣＵ、上左に隣接したＣＵ、下左に隣接したＣＵ、上右に隣接したＣＵである。図５では、隣接ＣＵは、上方に隣接したＣＵ、ＮｅｉｇｈｂＣＵとして示される。ＮｅｉｇｈｂＣＵがＣｕｒｒＣＵの前にコーディングされていたことを理由に、ＮｅｉｇｈｂＣＵの参照ピクチャ（ＮｅｉｇｈｂＲｅｆＰｉｃ）およびＭＶ（ＭＶ１）の両方が既知である。
【0062】
図６は、時間ＭＶ予測（ＴＭＶＰ）に対する実施例を示す。４つのピクチャ（ＣｏｌＲｅｆＰｉｃ、ＣｕｒｒＲｅｆＰｉｃ、ＣｏｌＰｉｃ、ＣｕｒｒＰｉｃ）が図６に示される。コーディングされることになるカレントピクチャ（ＣｕｒｒＰｉｃ）では、正方形のＣｕｒｒＣＵがカレントＣＵであり、参照ピクチャ（ＣｕｒｒＲｅｆＰｉｃ）内で最良の一致するブロック（ＣｕｒｒＲｅｆＣＵ）を有する。ＣｕｒｒＣＵのＭＶ、すなわち、ＭＶ２が予測されることになる。カレントＣＵの時間隣接は、隣接ピクチャ（ＣｏｌＰｉｃ）内の併置（collocated）ＣＵ（ＣｏｌＣＵ）として指定される。ＣｏｌＰｉｃがＣｕｒｒＰｉｃの前にコーディングされていたことを理由に、ＣｏｌＣＵの参照ピクチャ（ＣｏｌＲｅｆＰｉｃ）およびＭＶ（ＭＶ１）の両方が既知である。
【0063】
空間動きベクトル予測および時間動きベクトル予測に対し、時間および空間が制限されることを仮定して、異なるブロックの間のＭＶは、均一の速度により並進的（translational）であるとして扱われる。図５および６の実施例では、ＣｕｒｒＰｉｃとＣｕｒｒＲｅｆＰｉｃとの間の時間距離は、ＴＢであり、図５におけるＣｕｒｒＰｉｃとＮｅｉｇｈｂＲｅｆＰｉｃとの間の時間距離、または図６におけるＣｏｌＰｉｃとＣｏｌＲｅｆＰｉｃとの間の時間距離は、ＴＤである。スケーリングされたＭＶ予測子は、式（１）として計算されてもよい。
【0064】
【数5】
【0065】
ＶＴＭ－１．０では、各々のマージブロックは、各々の予測方向Ｌ０およびＬ１に対する動きパラメータの最大で１つのセット（１つの動きベクトルおよび１つの参照ピクチャインデックス）を有する。対照的に、進化型時間動きベクトル予測（ＡＴＭＶＰ）に基づいた追加のマージ候補は、サブブロックレベルにおける動き情報の導出を可能にするようＢＭＳ－１．０に含まれる。そのようなモードを使用して、時間動きベクトル予測は、ＣＵがＣＵ内のサブブロックに対する複数のＭＶを導出することを可能にすることによって改善される。概して、ＡＴＭＶＰは、図７に示されるように、２つのステップにおいてカレントＣＵの動き情報を導出する。第１のステップは、時間参照ピクチャ内のカレントブロック（併置ブロックと称される）の対応するブロックを識別することである。選択された時間参照ピクチャは、併置ピクチャと称される。第２のステップは、カレントブロックをサブブロックに分割し、併置ピクチャ内の対応するスモールブロックから各々のサブブロックの動き情報を導出することである。
【0066】
第１のステップでは、併置ブロックおよび併置ピクチャは、カレントブロックの空間隣接ブロックの動き情報によって識別される。現在の設計では、マージ候補リスト内の第１の利用可能な候補が考慮される。図７は、この処理を例示する。特に、図７の実施例では、ブロックＡは、マージ候補リストの走査順序に基づいて、カレントブロックの第１の利用可能なマージ候補として識別される。次いで、ブロックＡの対応する動きベクトル（ＭＶＡ）と共に、その参照インデックスは、併置ピクチャおよび併置ブロックを識別するために使用される。併置ピクチャ内の併置ブロックの位置は、ブロックＡの動きベクトル（ＭＶＡ）をカレントブロックの座標に追加することによって判定される。
【0067】
第２のステップでは、カレントブロック内の各々のサブブロックに対し、併置ブロック内のその対応するスモールブロック（図７における小さい矢印によって示される）の動き情報は、サブブロックの動き情報を導出するために使用される。特に、併置ブロック内の各々のスモールブロックの動き情報が識別された後、それは、ＴＭＶＰと同一の方式において、カレントブロック内の対応するサブブロックの動きベクトルおよび参照インデックスに変換される。
【0068】
デコーダ側動きベクトルリファインメント（ＤＭＶＲ）
ＶＴＭにおけるマージモードに対し、選択されたマージ候補が双予測されるとき、カレントＣＵの予測信号は、候補の参照リストＬ０およびＬ１と関連付けられた２つのＭＶを使用して、２つの予測ブロックを平均化することによって形成される。しかしながら、マージ候補の動き情報（カレントＣＵの空間隣接または空間隣接のいずれかから導出される）は、カレントＣＵの真の動きを表すのに十分に正確でないことがあり、したがって、インター予測の効率性を悪化させることがある。マージモードのコーディング性能を更に改善するために、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）方法は、マージモードのＭＶをリファインするためにＢＭＳ－１．０において適用される。特に、選択されたマージ候補が双予測されるとき、双予測テンプレートは、参照リストＬ０およびＬ１のそれぞれからのＭＶに基づいて、２つの予測信号の平均として最初に生成される。次いで、ブロックマッチングベース動きリファインメント（block-matching based motion refinement）は、以下に説明されるように、ターゲットとして双予測テンプレートを使用して、初期ＭＶの周りで局所的に実行される。
ＶＴＭにおけるマージモードに対し、選択されたマージ候補が双予測されるとき、カレントＣＵの予測信号は、候補の参照リストＬ０およびＬ１と関連付けられた２つのＭＶを使用して、２つの予測ブロックを平均化することによって形成される。しかしながら、マージ候補の動き情報（カレントＣＵの空間隣接または空間隣接のいずれかから導出される）は、カレントＣＵの真の動きを表すのに十分に正確でないことがあり、したがって、インター予測の効率性を悪化させることがある。マージモードのコーディング性能を更に改善するために、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）方法は、マージモードのＭＶをリファインするためにＢＭＳ－１．０において適用される。特に、選択されたマージ候補が双予測されるとき、双予測テンプレートは、参照リストＬ０およびＬ１のそれぞれからのＭＶに基づいて、２つの予測信号の平均として最初に生成される。次いで、ブロックマッチングベース動きリファインメント（block-matching based motion refinement）は、以下に説明されるように、ターゲットとして双予測テンプレートを使用して、初期ＭＶの周りで局所的に実行される。
【0069】
図８Ａは、ＤＭＶＲにおいて適用される動きリファインメント処理を示す。概して、ＤＭＶＲは、以下の２つのステップによって、マージ候補のＭＶをリファインする。図８Ａに示されるように、第１のステップにおいて、マージ候補のＬ０およびＬ１における初期ＭＶ（すなわち、ＭＶ0およびＭＶ1）を使用して２つの予測ブロックを平均化することによって、双予測テンプレートが生成される。次いで、各々の参照リスト（すなわち、Ｌ０またはＬ１）に対し、初期ＭＶの周りの局所的領域内でブロックマッチングベース動き動き探索（block-matching based motion search）が実行される。各々のＭＶに対し、すなわち、対応する参照リスト内の初期ＭＶの周りのそのリストのＭＶ0またはＭＶ1に対し、双予測テンプレートとその動きベクトルを使用する対応する予測ブロックとの間のコスト値（例えば、絶対差の合計（ＳＡＤ：sum of absolute difference））が測定される。２つの予測方向の各々に対し、その予測方向におけるテンプレートを最小化するＭＶは、マージ候補の参照リスト内の最終ＭＶとして考えられる。現在のＢＭＳ－１．０では、各々の予測方向に対し、初期ＭＶを囲む８個の隣接ＭＶ（１つの整数サンプルオフセットを有する）は、動きリファインメント処理の間に考慮される。最終的に、２つのリファインされたＭＶ（図８Ａに示されるＭＶ0’およびＭＶ1’）は、カレントＣＵの最終双予測信号を生成するために使用される。加えて、従来のＤＭＶＲでは、コーディング効率を更に改善するために、ＤＭＶＲブロックのリファインされたＭＶは、その空間隣接ブロックおよび時間隣接ブロックの動き情報を予測するために（例えば、空間ＡＭＶＰ、空間マージ候補、ＴＭＶＰ、およびＡＴＭＶＰに基づいて）、ならびにカレントＣＵに適用されるデブロッキングフィルタの境界強度値（boundary strength value）を計算するために使用される。図８Ｂは、ＤＭＶＲ処理の実施例のフローチャートであり、「空間ＡＭＶＰ」および「空間マージ候補」は、カレントピクチャ内にあり、ＣＵのコーディング順序（coding order）ごとにカレントＣＵの後にコーディングされる、空間隣接ＣＵに対する空間ＭＶ予測処理を指し、「ＴＭＶＰ」および「ＡＴＭＶＰ」は、後続のピクチャ（ピクチャコーディング順序に基づいてカレントピクチャの後にコーディングされるピクチャ）内の後のＣＵに対する時間ＭＶ予測処理を指し、「デブロッキング」は、カレントブロックおよびその空間隣接ブロックの両方のデブロッキングフィルタリング処理を指す。
【0070】
図８Ｂに示される方法では、８０２において双予測テンプレートが生成される。８０４において、Ｌ０動きベクトルに対して動きリファインメントが実行され、８０６において、Ｌ１動きベクトルに対して動きリファインメントが実行される。８０８において、リファインされたＬ０およびＬ１動きベクトルを使用して、最終双予測が生成される。図８Ｂの方法では、後続でコーディングされるブロックの動きを予測するために、リファインされた動きベクトルが使用される。例えば、リファインされた動きベクトルは、空間ＡＭＶＰ（８１０）、ＴＭＶＰ（８１４）、およびＡＴＭＶＰ（８１６）に対して使用される。リファインされた動きベクトルはまた、空間マージ候補（８１２）として、及びカレントＣＵ（８１８）に適用されるデブロッキングフィルタの境界強度値を計算するために使用される。
【0071】
双方向オプティカルフロー
ＶＴＭ／ＢＭＳ－１．０における双予測は、平均化を使用して既に再構築された参照ピクチャから取得された２つの時間予測ブロックの組み合わせである。しかしながら、ブロックベース動き補償の制限に起因して、それらは、２つの予測ブロックの間で取得することができる残りの小さな動きであることがあり、よって、動き補償された予測の効率性を低減させる。この問題に対処するために、ブロック内部のサンプルごとにそのような動きを補償するために、ＪＥＭにおいて双方向オプティカルフロー（ＢＩＯ）が使用されている。特に、ＢＩＯは、双予測が使用されるときのブロックベース動き補償された予測の上位で実行される、サンプルごとの動きリファインメントである。１つのブロック内の各々のサンプルに対するリファインされた動きベクトルの導出は、古典的なオプティカルフローモデルに基づいている。Ｉ(k)（ｘ，ｙ）が参照ピクチャリストｋ（ｋ＝０，１）から導出される予測ブロックの行列（ｘ，ｙ）におけるサンプル値であり、∂Ｉ(k)（ｘ，ｙ）／∂ｘおよび∂Ｉ(k)（ｘ，ｙ）／∂ｙが、サンプルの水平勾配および垂直勾配であるとする。ＢＩＯによって修正された双予測信号は、式（２）として取得される。
ＶＴＭ／ＢＭＳ－１．０における双予測は、平均化を使用して既に再構築された参照ピクチャから取得された２つの時間予測ブロックの組み合わせである。しかしながら、ブロックベース動き補償の制限に起因して、それらは、２つの予測ブロックの間で取得することができる残りの小さな動きであることがあり、よって、動き補償された予測の効率性を低減させる。この問題に対処するために、ブロック内部のサンプルごとにそのような動きを補償するために、ＪＥＭにおいて双方向オプティカルフロー（ＢＩＯ）が使用されている。特に、ＢＩＯは、双予測が使用されるときのブロックベース動き補償された予測の上位で実行される、サンプルごとの動きリファインメントである。１つのブロック内の各々のサンプルに対するリファインされた動きベクトルの導出は、古典的なオプティカルフローモデルに基づいている。Ｉ(k)（ｘ，ｙ）が参照ピクチャリストｋ（ｋ＝０，１）から導出される予測ブロックの行列（ｘ，ｙ）におけるサンプル値であり、∂Ｉ(k)（ｘ，ｙ）／∂ｘおよび∂Ｉ(k)（ｘ，ｙ）／∂ｙが、サンプルの水平勾配および垂直勾配であるとする。ＢＩＯによって修正された双予測信号は、式（２）として取得される。
【0072】
【数6】
【0073】
τ0およびτ1は、カレントピクチャへのＩ(0)およびＩ(1)と関連付けられた参照ピクチャＲｅｆ０およびＲｅｆ１の時間距離である。更に、サンプル位置（ｘ，ｙ）における動きリファインメント（ｖx，ｖy）は、式（３）として示されるように、動きリファインメント補償の後にサンプルの値の間の差Δを最小化することによって計算される。
【0074】
【数7】
【0075】
加えて、導出された動きリファインメントの規則性をもたらすために、動きリファインメントが（ｘ，ｙ）において中心となる局所的周囲エリア（local surrounding area）内で一貫することが想定され、したがって、式（４）として、（ｘ，ｙ）におけるカレントサンプルの周りの５×５のウインドウΩ内部のオプティカルフロー誤差メトリックΔを最小化することによって、（ｖx，ｖy）の値が導出される。
【0076】
【数8】
【0077】
ＤＭＶＲとは異なり、ＢＩＯによって導出される動きリファインメント（ｖx，ｖy）は、双予測信号を強化するためにのみ適用され、カレントＣＵの動き情報を修正するためには適用されないことに留意されるべきである。言い換えると、空間隣接ブロックおよび時間隣接ブロックのＭＶを予測し、カレントＣＵのデブロッキング境界強度を決定するために使用されるＭＶはなお、元のＭＶである（すなわち、ＢＩＯが適用される前にブロックベース動き補償信号Ｉ(0)（ｘ，ｙ）およびＩ(1)（ｘ，ｙ）を生成するために使用されるＭＶ）。
【0078】
ＤＭＶＲコーディング待ち時間
ＨＥＶＣおよびそれに先行したもののように、ＶＴＭ－１．０は、ピクチャの間の時間的冗長性を効率的に低減させるために、動き補償された予測（ＭＣＰ：motion compensated prediction）を採用し、よって、高いインターコーディング効率を達成する。１つのＣＵの予測信号を生成するために使用されるＭＶがビットストリームにおいてシグナリングされ、またはその空間／時間隣接から継承されるかのいずれかであることを理由に、空間隣接ＣＵのＭＣＰの間の依存性は存在しない。結果として、同一のピクチャ／スライス内の全てのインターブロックのＭＣＰ処理は、相互に独立している。よって、ＶＴＭ－１．０およびＨＥＶＣに対し、複数のインターブロックの復号処理を並列して行うことができ、例えば、それらは、並列性を利用するために、異なるスレッドに割り当てられてもよい。
ＨＥＶＣおよびそれに先行したもののように、ＶＴＭ－１．０は、ピクチャの間の時間的冗長性を効率的に低減させるために、動き補償された予測（ＭＣＰ：motion compensated prediction）を採用し、よって、高いインターコーディング効率を達成する。１つのＣＵの予測信号を生成するために使用されるＭＶがビットストリームにおいてシグナリングされ、またはその空間／時間隣接から継承されるかのいずれかであることを理由に、空間隣接ＣＵのＭＣＰの間の依存性は存在しない。結果として、同一のピクチャ／スライス内の全てのインターブロックのＭＣＰ処理は、相互に独立している。よって、ＶＴＭ－１．０およびＨＥＶＣに対し、複数のインターブロックの復号処理を並列して行うことができ、例えば、それらは、並列性を利用するために、異なるスレッドに割り当てられてもよい。
【0079】
上記説明されたように、ＤＭＶＲツールは、ＢＭＳ－１．０において適用される。余分なシグナリングオーバヘッドを生じさせることを回避するために、ＣＵの元のＬ０およびＬ１ ＭＶと関連付けられた２つの予測信号を使用して、動きリファインメントが導出される。よって、ＤＭＶＲによってコーディングされるその空間隣接の１つから、ＣＵの動き情報が予測されるとき（例えば、ＡＭＶＰおよびマージモード）によって）、その復号処理は、隣接ブロックのＭＶがＤＭＶＲによって完全に再構築されるまで待機する。これは、特にデコーダ側おけるパイプライン設計を著しく複雑にし、したがって、ハードウェアの実装態様に対する著しい複雑性の増大につながる。
【0080】
ＤＭＶＲによって生じるコーディング待ち時間を示すために、図９および図１０は、ＶＴＭ－１．０およびＢＭＳ－１．０の復号処理を比較する例を示す。説明を容易にするために、等しいブロックサイズの４個のＣＵが存在し、全ての４個のＣＵがＤＭＶＲによってコーディングされ、その各々が別個の復号スレッドによって復号され、各々の個々の復号モジュール（例えば、ＭＣＰ、ＤＭＶＲ、逆量子化、および逆変換）の復号の複雑性が４個のＣＵに対して同一であると推定される、ケースが説明される。図９に示されるように、４個のＣＵを並列して復号することができることを理由に、ＶＴＭ－１．０の総復号時間は、１つのＣＵの復号時間、すなわち、ＴMCP＋Ｔde-quant＋Ｔinv-transに等しい。ＤＭＶＲによって導入される依存性に起因して、ＢＭＳ－１．０の復号処理（図１０に示され）に対して、その空間隣接ブロックのＤＭＶＲが完全に終了するまで、各々の個々のコーディングブロックの復号を呼び出すことができない。よって、ＢＭＳ－１．０に対する４個のＣＵの総復号時間は、Ｔtotal＝４×（ＴMCP＋ＴDMVR）＋Ｔde-quant＋Ｔinv-transに等しい。理解することができるように、ＤＭＶＲによって動き情報をリファインするための予測サンプルの使用は、隣接インターブロックの中で依存性を導入し、したがって、符号化処理および復号処理の両方に対して待ち時間を著しく増大させる。
【0081】
待ち時間低減方法のオーバビュー
ＤＭＶＲの符号化／復号待ち時間を除去または低減させると共に、その主要なコーディング性能を保持する方法が本開示において提案される。特に、開示の様々な実施形態は、以下の態様のうちの１つまたは複数を含む。
ＤＭＶＲの符号化／復号待ち時間を除去または低減させると共に、その主要なコーディング性能を保持する方法が本開示において提案される。特に、開示の様々な実施形態は、以下の態様のうちの１つまたは複数を含む。
【0082】
その空間／時間隣接ブロックの動きを予測し、デブロッキングフィルタ構造を導出するために１つのブロックのリファインされたＤＭＶＲ動きが常に使用される、ＢＭＳ－１．０における現在のＤＭＶＲ方法にあるのとは異なり、いくつかの実施形態では、ＭＶ予測およびデブロッキング処理に対してＤＭＶＲブロックのリファインされていないＭＶ（元の双予測信号を生成するためにしようされるＭＶ）を完全にまたは部分的に使用することが提案される。ＤＭＶＲなしに構文解析および動きベクトル再構築（動きベクトル予測子に加え構文解析された動きベクトル差）から元のＭＶを直接取得することができると仮定して、隣接ブロックの間の依存性が存在せず、複数のインターＣＵの復号処理を並列して行うことができる。
【0083】
リファインされていないＭＶがリファインされたＭＶよりも精度が劣ることがあるので、これは、何らかのコーディング性能の劣化をもたらすことがある。そのような損失を低減させるために、いくつかの実施形態では、ピクチャ／スライスを複数の領域に分割することが提案される。その上、いくつかの実施形態では、同一の領域内部の複数のＣＵの復号または異なる領域からの複数のＣＵの復号を独立して実行することができるように、追加の制約が提案される。
【0084】
いくつかの実施形態では、各々のＤＭＶＲ ＣＵの動きリファインメントを計算するためのブロックマッチングベース動き探索を置き換える、オプティカルフローに基づいた動き導出方法が提案される。小型ローカルウインドウ内で動き探索を実行するブロックマッチングベース方法と比較して、いくつかの実施形態は、空間サンプル導関数（derivative）および時間サンプル導関数に基づいて、動きリファインメントを直接計算する。これは、導出されたリファインされた動きの値が探索ウインドウに制限されないことを理由に、計算上の複雑性を低減させることができるだけでなく、動きリファインメント精度を増大させることもできる。
【0085】
ＤＭＶＲ待ち時間低減に対するリファインされていない動きベクトルの使用
上記指摘されたように、カレントブロックのリファインされたＭＶがＤＭＶＲを通じて完全に再構築されるまで隣接ブロックの符号化／復号が実行されないことを理由に、１つのＤＭＶＲブロックのリファインされたＭＶを、その隣接ブロックのＭＶ予測子として使用することは、真のＣＯＤＥＣ設計に対する並列符号化／復号に対して不適切である。そのような分析に基づいて、この章では、ＤＭＶＲによって生じるコーディング待ち時間を除去する方法が提案される。いくつかの実施形態では、ＤＭＶＲのコア設計（例えば、ブロックマッチングベース動きリファインメント）は、既存の設計と同一のままである。しかしながら、ＭＶ予測（例えば、ＡＭＶＰ、マージ、ＴＭＶＰ、およびＡＴＭＶＰ）ならびにデブロッキングを実行するために使用されるＤＭＶＲブロックのＭＶは、ＤＭＶＲによって生じる隣接ブロックの間の依存性を除去することができるように修正される。
上記指摘されたように、カレントブロックのリファインされたＭＶがＤＭＶＲを通じて完全に再構築されるまで隣接ブロックの符号化／復号が実行されないことを理由に、１つのＤＭＶＲブロックのリファインされたＭＶを、その隣接ブロックのＭＶ予測子として使用することは、真のＣＯＤＥＣ設計に対する並列符号化／復号に対して不適切である。そのような分析に基づいて、この章では、ＤＭＶＲによって生じるコーディング待ち時間を除去する方法が提案される。いくつかの実施形態では、ＤＭＶＲのコア設計（例えば、ブロックマッチングベース動きリファインメント）は、既存の設計と同一のままである。しかしながら、ＭＶ予測（例えば、ＡＭＶＰ、マージ、ＴＭＶＰ、およびＡＴＭＶＰ）ならびにデブロッキングを実行するために使用されるＤＭＶＲブロックのＭＶは、ＤＭＶＲによって生じる隣接ブロックの間の依存性を除去することができるように修正される。
【0086】
空間動き予測および時間動き予測に対するリファインされていない動きベクトルの使用
いくつかの実施形態では、リファインされた動きを使用する代わりに、ＤＭＶＲブロックのリファインされていない動きを使用してＭＶ予測およびデブロッキングを常に実行することが提案される。図１１は、そのような方法が適用された後の修正されたＤＭＶＲ処理を示す。図１１に示されるように、リファインされたＭＶを使用する代わりに、ＭＶ予測子を導出し、デブロッキングフィルタの境界強度を判定するために、リファインされていないＭＶ（ＤＭＶＲの前の元のＭＶ）が使用される。ブロックの最終双予測信号を生成するために、リファインされたＭＶのみが使用される。カレントブロックのリファインされたＭＶとその隣接ブロックの復号との間の依存性が存在しないことを理由に、ＤＭＶＲの符号化／復号待ち時間を除去するために、そのような実施形態が使用されてもよい。
いくつかの実施形態では、リファインされた動きを使用する代わりに、ＤＭＶＲブロックのリファインされていない動きを使用してＭＶ予測およびデブロッキングを常に実行することが提案される。図１１は、そのような方法が適用された後の修正されたＤＭＶＲ処理を示す。図１１に示されるように、リファインされたＭＶを使用する代わりに、ＭＶ予測子を導出し、デブロッキングフィルタの境界強度を判定するために、リファインされていないＭＶ（ＤＭＶＲの前の元のＭＶ）が使用される。ブロックの最終双予測信号を生成するために、リファインされたＭＶのみが使用される。カレントブロックのリファインされたＭＶとその隣接ブロックの復号との間の依存性が存在しないことを理由に、ＤＭＶＲの符号化／復号待ち時間を除去するために、そのような実施形態が使用されてもよい。
【0087】
空間動き予測に対するリファインされていない動きベクトルの使用
図１１の実施例では、ＴＭＶＰおよびＡＴＭＶＰを通じて後のピクチャ内の併置ブロックに対する時間動き予測子を導出し、カレントブロックとその空間隣接との間のデブロッキングフィルタに対する境界強度を計算するために、ＤＭＶＲブロックのリファインされていないＭＶが使用される。リファインされていないＭＶがリファインされたＭＶよりも精度が劣ることがあることを理由に、これは、何らかのコーディング性能損失につながることがある。一方で、時間動き予測（ＴＭＶＰおよびＡＴＭＶＰ）は、前に復号されたピクチャ（特に、併置ピクチャ）のＭＶを使用して、カレントピクチャ内のＭＶを予測する。したがって、カレントピクチャに対して時間動き予測を実行する前に、併置ピクチャ内のＤＭＶＲ ＣＵのリファインされたＭＶは、既に再構築されている。同様の状況もデブロッキングフィルタ処理に適用可能であり、デブロッキングフィルタが再構築された再構築されたサンプルに適用されることを理由に、カレントブロックのサンプルがＭＣ（ＤＭＶＲを含む）、逆量子化、および逆変換を通じて完全に再構築された後にのみ、それを起動することができる。したがって、デブロッキングがＤＭＶＲブロックに適用される前に、リファインされたＭＶが既に利用可能である。
図１１の実施例では、ＴＭＶＰおよびＡＴＭＶＰを通じて後のピクチャ内の併置ブロックに対する時間動き予測子を導出し、カレントブロックとその空間隣接との間のデブロッキングフィルタに対する境界強度を計算するために、ＤＭＶＲブロックのリファインされていないＭＶが使用される。リファインされていないＭＶがリファインされたＭＶよりも精度が劣ることがあることを理由に、これは、何らかのコーディング性能損失につながることがある。一方で、時間動き予測（ＴＭＶＰおよびＡＴＭＶＰ）は、前に復号されたピクチャ（特に、併置ピクチャ）のＭＶを使用して、カレントピクチャ内のＭＶを予測する。したがって、カレントピクチャに対して時間動き予測を実行する前に、併置ピクチャ内のＤＭＶＲ ＣＵのリファインされたＭＶは、既に再構築されている。同様の状況もデブロッキングフィルタ処理に適用可能であり、デブロッキングフィルタが再構築された再構築されたサンプルに適用されることを理由に、カレントブロックのサンプルがＭＣ（ＤＭＶＲを含む）、逆量子化、および逆変換を通じて完全に再構築された後にのみ、それを起動することができる。したがって、デブロッキングがＤＭＶＲブロックに適用される前に、リファインされたＭＶが既に利用可能である。
【0088】
図１１に示される方法では、１１００において、第１のブロックに対するリファインされていない動きベクトルが識別される。様々な利用可能なＭＶシグナリング技術のいずれかを使用して、リファインされていない動きベクトルが第１のブロックに対してシグナリングされていてもよい。１１０２において、双予測テンプレートを生成するために、リファインされていない動きベクトルが使用される。１１０４において、Ｌ０動きベクトルに対して動きリファインメントが実行され、１１０６において、Ｌ１動きベクトルに対して動きリファインメントが実行される。１１０８において、リファインされたＬ０およびＬ１動きベクトルを使用して、第１のブロックの最終双予測が生成される。図１１の方法では、後続にコーディングされるブロック（例えば、第２のブロック）の動きを予測するために、リファインされていない動きベクトルが使用される。例えば、リファインされていない動きベクトルは、空間ＡＭＶＰ（１１１０）、ＴＭＶＰ（１１１４）、およびＡＴＭＶＰ（１１１６）に対して使用される。リファインされていない動きベクトルも、空間マージ候補（１１１２）として、およびデブロッキングフィルタ（１１１８）の境界強度値を計算するために使用される。
【0089】
別の実施形態では、それらの問題に対処し、より良好なコーディング性能を達成するために、空間動き予測、時間動き予測、およびデブロッキングフィルタに対してＤＭＶＲブロックの異なるＭＶ（リファインされていないＭＶおよびリファインされたＭＶ）を使用することが提案される。特に、この実施形態では、空間動き予測（例えば、空間ＡＭＶＰおよび空間マージ候補）に対してＭＶ予測子を導出するために、リファインされていないＭＶのみが使用され、ブロックの最終予測を導出するだけでなく、時間動き予測（ＴＭＶＰおよびＡＴＭＶＰ）に対するＭＶ予測子を生成し、デブロッキングフィルタの境界強度パラメータを計算するためにも、リファインされたＭＶが使用される。図１２は、この第２の実施形態に従ったＤＭＶＲ処理を示す。
【0090】
図１２に示される方法では、１２００において、第１のブロックに対するリファインされていない動きベクトルが識別される。様々な利用可能なＭＶシグナリング技術のいずれかを使用して、リファインされていない動きベクトルが第１のブロックに対してシグナリングされていてもよい。１２０２において、双予測テンプレートを生成するために、リファインされていない動きベクトルが使用される。１２０４において、Ｌ０動きベクトルに対して動きリファインメントが実行され、１２０６において、Ｌ１動きベクトルに対して動きリファインメントが実行される。１２０８において、リファインされたＬ０およびＬ１動きベクトルを使用して、第１のブロックの最終双予測が生成される。図１２の方法では、第１のブロックと同一のピクチャ内の後続にコーディングされるブロック（例えば、第２のブロック）の動きを予測するために、リファインされていない動きベクトルが使用される。例えば、リファインされていない動きベクトルは、空間ＡＭＶＰ（１１１０）に対して、および空間マージ候補（１２１２）として使用される。例えば、ＴＭＶＰ（１２１４）またはＡＴＭＶＰ（１２１６）を使用して、他のピクチャ内の後続にコーディングされるブロック（例えば、第３のブロック）の動きを予測するために、リファインされた動きベクトルが使用される。リファインされた動きベクトルも、デブロッキングフィルタ（１２１８）の境界強度値を計算するために使用される。
【0091】
空間動き予測およびデブロッキングに対するリファインされていない動きベクトルの使用
図１２の実施例では、空間動き予測およびデブロッキングフィルタに対してＤＭＶＲブロックの異なるＭＶが使用される。一方で、時間動き予測に対して使用されるＭＶ（外部メモリに記憶された）とは異なり、空間動き予測およびデブロッキングに対して使用されるＭＶは、データアクセス速度を増大させるために、実用的なＣＯＤＥＣ設計に対してオンチップメモリを使用して記憶されることが多い。したがって、図１２の方法のいくつかの実装態様は、２つの異なるオンチップメモリが、各々のＤＭＶＲブロックに対してリファインされていないＭＶおよびリファインされたＭＶの両方を記憶することを要求する。これは、ＭＶをキャッシュするために使用されるラインバッファサイズを二倍にすることがあり、ハードウェアの実装態様に対して望ましくないことがある。ＭＶの記憶の総オンチップメモリサイズをＶＴＭ－１．０にあるのと同一に維持するために、更なる実施形態では、デブロッキング処理に対してＤＭＶＲブロックのリファインされていないＭＶを使用することが提案される。図１３は、この実施形態に従ったＤＭＶＲ処理の実施例を示す。特に、図１２における方法のように、最終双予測信号の生成に加え、ＴＭＶＰおよびＡＴＭＶＰを通じて時間動き予測子を生成するために、リファインされたＤＭＶＲ ＭＶも使用される。しかしながら、図１３の実施形態では、空間動き予測子（空間ＡＭＶＰおよび空間マージ）を導出するだけでなく、カレントブロックのデブロッキングフィルタに対する境界強度を判定するためにも、リファインされていないＭＶが使用される。
図１２の実施例では、空間動き予測およびデブロッキングフィルタに対してＤＭＶＲブロックの異なるＭＶが使用される。一方で、時間動き予測に対して使用されるＭＶ（外部メモリに記憶された）とは異なり、空間動き予測およびデブロッキングに対して使用されるＭＶは、データアクセス速度を増大させるために、実用的なＣＯＤＥＣ設計に対してオンチップメモリを使用して記憶されることが多い。したがって、図１２の方法のいくつかの実装態様は、２つの異なるオンチップメモリが、各々のＤＭＶＲブロックに対してリファインされていないＭＶおよびリファインされたＭＶの両方を記憶することを要求する。これは、ＭＶをキャッシュするために使用されるラインバッファサイズを二倍にすることがあり、ハードウェアの実装態様に対して望ましくないことがある。ＭＶの記憶の総オンチップメモリサイズをＶＴＭ－１．０にあるのと同一に維持するために、更なる実施形態では、デブロッキング処理に対してＤＭＶＲブロックのリファインされていないＭＶを使用することが提案される。図１３は、この実施形態に従ったＤＭＶＲ処理の実施例を示す。特に、図１２における方法のように、最終双予測信号の生成に加え、ＴＭＶＰおよびＡＴＭＶＰを通じて時間動き予測子を生成するために、リファインされたＤＭＶＲ ＭＶも使用される。しかしながら、図１３の実施形態では、空間動き予測子（空間ＡＭＶＰおよび空間マージ）を導出するだけでなく、カレントブロックのデブロッキングフィルタに対する境界強度を判定するためにも、リファインされていないＭＶが使用される。
【0092】
図１３に示される方法では、１３００において、第１のブロックに対するリファインされていない動きベクトルが識別される。様々な利用可能なＭＶシグナリング技術のいずれかを使用して、リファインされていない動きベクトルが第１のブロックに対してシグナリングされていてもよい。１３０２において、双予測テンプレートを生成するために、リファインされていない動きベクトルが使用される。１３０４において、Ｌ０動きベクトルに対して動きリファインメントが実行され、１３０６において、Ｌ１動きベクトルに対して動きリファインメントが実行される。１３０８において、リファインされたＬ０およびＬ１動きベクトルを使用して、第１のブロックの最終双予測が生成される。図１３の方法では、第１のブロックと同一のピクチャ内の後続にコーディングされるブロック（例えば、第２のブロック）の動きを予測するために、リファインされていない動きベクトルが使用される。例えば、リファインされていない動きベクトルは、空間ＡＭＶＰ（１３１０）に対して、および空間マージ候補（１３１２）として使用される。例えば、ＴＭＶＰ（１３１４）またはＡＴＭＶＰ（１３１８）を使用して、他のピクチャ内の後続にコーディングされるブロック（例えば、第３のブロック）の動きを予測するために、リファインされた動きベクトルが使用される。
【0093】
図１１乃至１３の実施形態は、その空間隣接ＤＭＶＲブロックのリファインされたＭＶの再構築に対する１つのブロックの復号の依存性がそれらの実施形態に存在しないと仮定して、ＤＭＶＲによって生じる符号化／復号待ち時間を低減させまたは除去することができる。図１０における同一の実施例に基づいて、図１４は、図１１乃至１３の方法の１つが適用されるときの並列復号処理の実施例を示す。図１４に示されるように、複数のＤＭＶＲブロックの復号を並列に実行することができることを理由に、隣接ブロックの間の復号待ち時間が存在しない。それに対応して、総復号時間が１つのブロックの復号に等しいことがあり、それは、ＴMCP＋ＴDMVR＋Ｔde-quant＋Ｔinv-transとして表されてもよい。
【0094】
ＤＭＶＲ待ち時間低減に対するセグメントベース方法
上記指摘されたように、ＤＭＶＲに対する符号化／復号待ち時間の１つの原因は、空間動き予測（例えば、空間ＡＭＶＰおよび空間マージモード）によって被られる、ＤＭＶＲブロックのリファインされたＭＶの再構築とその隣接ブロックの復号との間の依存性である。図１１乃至１３の方法などの方法は、ＤＭＶＲのコーディング待ち時間を除去または低減させることができるが、この低減した待ち時間は、精度が劣るリファインされていないＭＶが空間動き予測に対して使用されることに起因して、コーディング効率が劣化することの犠牲となることがある。一方で、図１０に示されるように、ＤＭＶＲによって生じる最悪のケースの符号化／復号待ち時間は、ＤＭＶＲモードによってコーディングされる最大数の連続ブロックに直接関連する。それらの問題に対処するために、いくつかの実施形態では、符号化／復号待ち時間を低減させると共に、空間動き予測に対してリファインされていないＭＶを使用することによって生じるコーディング損失を低減させるために、領域ベース方法（region-based method）が使用される。
上記指摘されたように、ＤＭＶＲに対する符号化／復号待ち時間の１つの原因は、空間動き予測（例えば、空間ＡＭＶＰおよび空間マージモード）によって被られる、ＤＭＶＲブロックのリファインされたＭＶの再構築とその隣接ブロックの復号との間の依存性である。図１１乃至１３の方法などの方法は、ＤＭＶＲのコーディング待ち時間を除去または低減させることができるが、この低減した待ち時間は、精度が劣るリファインされていないＭＶが空間動き予測に対して使用されることに起因して、コーディング効率が劣化することの犠牲となることがある。一方で、図１０に示されるように、ＤＭＶＲによって生じる最悪のケースの符号化／復号待ち時間は、ＤＭＶＲモードによってコーディングされる最大数の連続ブロックに直接関連する。それらの問題に対処するために、いくつかの実施形態では、符号化／復号待ち時間を低減させると共に、空間動き予測に対してリファインされていないＭＶを使用することによって生じるコーディング損失を低減させるために、領域ベース方法（region-based method）が使用される。
【0095】
特に、いくつかの実施形態では、ピクチャは、複数の重複しないセグメントに分割され、セグメント内の各々のＤＭＶＲブロックのリファインされていないＭＶは、同一のセグメント内のその隣接ブロックのＭＶを予測するための予測子として使用される。しかしながら、ＤＭＶＲブロックがセグメントの右側境界または下側境界上に位置するとき、そのリファインされていないＭＶが使用されず、代わりに、ブロックのリファインされたＭＶが、より良好な空間動き予測の効率性のために、隣接セグメントからのブロックのＭＶを予測するための予測子として使用される。
【0096】
図１５は、一実施形態に従った、ＤＭＶＲ処理の実施例を示し、図１６は、ブランクブロックが、空間動き予測、空間マージ、およびデブロッキングに対してリファインされていないＭＶを使用するＤＭＶＲブロックを表し、パターン化されたブロックが、空間動き予測、空間マージ、およびデブロッキングに対してリファインされたＭＶを使用するＤＭＶＲブロックを表す実施例を示す。図１６の実施例では、同一のセグメント内部の異なるインターブロックの符号化／復号は、相互に独立して実行されてもよく、異なるセグメントからのブロックの復号はなお依存している。例えば、セグメント＃２の左側境界上のブロックがセグメント＃１内の隣接ＤＭＶＲブロックのリファインされたＭＶを空間ＭＶ予測子として使用することができることを理由に、セグメント＃１内のそれらの隣接ブロックのＤＭＶＲが完全に行われるまで、それらの復号処理を開始することができない。加えて、図１５に示されるように、図１３における方法と同様に、１つのＤＭＶＲブロックの同一のＭＶは、ＭＶを記憶するためのオンチップメモリを増大させることを回避するために、空間動き予測およびデブロッキングフィルタに対して使用される。別の実施形態では、デブロッキング処理に対してリファインされたＭＶを常に使用することが提案される。
【0097】
図１５に示される方法では、１５０２において、第１のブロックに対するリファインされていない動きベクトルが識別される。様々な利用可能なＭＶシグナリング技術のいずれかを使用して、リファインされていない動きベクトルが第１のブロックに対してシグナリングされていてもよい。１５０４において、双予測テンプレートを生成するために、リファインされていない動きベクトルが使用される。１５０６において、Ｌ０動きベクトルに対して動きリファインメントが実行され、１５０８において、Ｌ１動きベクトルに対して動きリファインメントが実行される。１５１０において、リファインされたＬ０およびＬ１動きベクトルを使用して、第１のブロックの最終双予測が生成される。
【0098】
１５１２において、第１のブロックが右側セグメント境界または下側セグメント境界上に位置するかどうかの判定が行われる。第１のブロックが右側セグメント境界または下側セグメント境界上に位置しない場合、次いで、第１のブロックと同一のピクチャ内の後続にコーディングされるブロック（例えば、第２のブロック）の動きを予測するために、リファインされていない動きベクトルが使用される。例えば、リファインされていない動きベクトルは、空間ＡＭＶＰ（１５１４）に対して、および空間マージ候補（１５１６）として使用される。リファインされていない動きベクトルも、デブロッキングフィルタ（１５１８）の境界強度値を計算するために使用される。一方で、第１のブロックが右側セグメント境界または下側セグメント境界上に位置する場合、次いで、第１のブロックと同一のピクチャ内の後続にコーディングされるブロック（例えば、第２のブロック）の動きを予測するために（例えば、ＡＭＶＰ１５１４および空間マージ候補１５１６により）、リファインされた動きベクトルが使用され、リファインされた動きベクトルも、デブロッキングフィルタ（１５１８）の境界強度値を計算するために使用される。１５１２における判定の結果に関わらず、例えば、ＴＭＶＰ（１５２０）またはＡＴＭＶＰ（１５２２）を使用して、他のピクチャ内の後続にコーディングされるブロック（例えば、第３のブロック）の動きを予測するために、リファインされた動きベクトルが使用される。
【0099】
図１６の実施形態では、リファインされたＭＶのみが、１つのピクチャ内部のセグメントの左側／上側境界上に存在するブロックの空間動き予測に対して有効にされる。しかしながら、セグメントサイズに応じて、リファインされたＭＶを空間動き予測に対して適用することができるブロックの全体割合は、相対的に小さいことがある。結果はなお、空間動き予測に対して無視できない性能低下となることがある。性能を更に改善するために、いくつかの実施形態では、１つのセグメント内部のＤＭＶＲブロックのリファインされたＭＶが、同一のセグメント内部の隣接ブロックのＭＶを予測することを可能にすることが提案される。しかしながら、結果として、１つのセグメント内部の複数のブロックの復号を並列して行うことができない。符号化／復号並列性を改善するために、この方法では、カレントブロックが、空間動き予測（例えば、空間ＡＭＶＰおよび空間マージ）に対して、別のセグメントからである隣接ブロックのＭＶ（リファインされていないＭＶまたはリファインされたＭＶのいずれか）を予測子として使用することを禁止することも提案される。特に、そのような方法によって、隣接ブロックが異なるセグメントからカレントブロックへとある場合、それは、空間動きベクトル予測に対して使用可能でないとして扱われる。
【0100】
１つのそのような実施形態が図１７に示される。図１７では、ブランクブロックは、空間動き予測に対して隣接ＭＶを使用することを許可されたＣＵを表し（隣接ＭＶは、隣接ブロックが１つのＤＭＶＲブロックである場合にリファインされたＭＶであり、またはそうでない場合、リファインされていないＭＶである）、パターン化されたブロックは、空間動き予測に対して異なるセグメントからのその隣接ブロックのＭＶを使用することが防止されたＣＵを表す。図１７に従った実施形態は、１つのセグメント内にないが、セグメントにまたがったインターブロックの並列化された復号を可能にする。
【0101】
概して、ＤＭＶＲのみが、前方予測信号および後方予測信号の両方を有する双方向予測されたＣＵに対して有効にされる。特に、ＤＭＶＲは、一方がより小さいピクチャオーダカウント（ＰＯＣ：picture order count）を有し、もう一方がカレントピクチャのＰＯＣよりも大きいＰＯＣを有する、２つの参照ピクチャの使用を要求する。対照的に、低遅延（ＬＤ）ピクチャは、その両方が表示順序においてカレントピクチャよりも先行する、カレントピクチャのＰＯＣよりも小さいＬ０およびＬ１における全ての参照ピクチャのＰＯＣを有する参照ピクチャから予測される。したがって、ＤＭＶＲをＬＤピクチャに適用することができず、ＤＭＶＲによって生じるコーディング待ち時間は、ＬＤピクチャに存在しない。そのような分析に基づいて、いくつかの実施形態では、ＤＭＶＲが適用されるとき、非ＬＤピクチャに対して上記ＤＭＶＲ並列性制約（セグメント境界にまたがって空間動き予測を無効にすること）のみを適用することが提案される。ＬＤピクチャに対し、制約が適用されず、別のセグメントからのその空間隣接のＭＶに基づいて、カレントブロックのＭＶを予測することがなおも許容される。更なる実施形態では、エンコーダ／デコーダは、追加のシグナリングなしに、Ｌ０およびＬ１における全ての参照ピクチャのＰＯＣを検査することに基づいて、制約が適用されるか否かを判定する。別の実施形態では、ＤＭＶＲ並列性制約がカレントピクチャ／スライスに適用されるか否かを示すよう、ピクチャ／スライス－レベルフラグを追加することが提案される。
【0102】
いくつかの実施形態では、ピクチャ／スライス内部のセグメントの数および各々のセグメントの位置は、エンコーダによって選択され、デコーダにシグナリングされる。シグナリングは、ＨＥＶＣおよびＪＥＭにおける他の並列性ツール（例えば、スライス、タイル、およびウェーブフロント並列処理（ＷＰＰ））に同様に実行されてもよい。様々な選択は、コーディング性能と符号化／復号並列性との間の異なるトレードオフにつながることがある。一実施形態では、１つのＣＴＵのサイズに等しい各々のセグメントのサイズを設定することが提案される。シグナリングの観点では、シーケンスレベルおよび／またはピクチャレベルにおいてシンタックス要素が追加されてもよい。例えば、各々のセグメント内のＣＴＵの数は、シーケンスパラメータセット（ＳＰＳ）および／もしくはピクチャパラメータセット（ＰＰＳ）においてシグナリングされてもよく、またはスライスヘッダにおいてシグナリングされてもよい。シンタックス要素の他の変形が使用されてもよく、例えば、他の代替の中で、各々のピクチャ／スライス内のＣＴＵ行の数が使用されてもよく、各々のピクチャ／スライス内のセグメントの数が使用されてもよい。
【0103】
動きリファインメント方法の実施例
本明細書で説明される追加の実施形態は、ＤＭＶＲ動きリファインメントを計算するためのブロックマッチング動き探索を置き換えるよう機能する。小型ローカルウインドウ内で動き探索を実行するブロックマッチングベース方法と比較して、実施例の実施形態は、空間サンプル導関数および時間サンプル導関数に基づいて、動きリファインメントを直接計算する。そのような実施形態は、導出されたリファインされた動きの値が探索ウインドウに制限されないことを理由に、計算上の複雑性を低減させ、リファインメント精度を増大させることができる。
本明細書で説明される追加の実施形態は、ＤＭＶＲ動きリファインメントを計算するためのブロックマッチング動き探索を置き換えるよう機能する。小型ローカルウインドウ内で動き探索を実行するブロックマッチングベース方法と比較して、実施例の実施形態は、空間サンプル導関数および時間サンプル導関数に基づいて、動きリファインメントを直接計算する。そのような実施形態は、導出されたリファインされた動きの値が探索ウインドウに制限されないことを理由に、計算上の複雑性を低減させ、リファインメント精度を増大させることができる。
【0104】
ブロックレベルＢＩＯを使用した動きリファインメント
上記議論されたように、ブロックが双予測されるとき、ブロックベース動き補償された予測の上位に対してサンプルごとの動きリファインメントをもたらすために、ＪＥＭにおいてＢＩＯが使用されている。現在の設計に基づいて、ＢＩＯは、ＭＶバッファに記憶され、空間動き予測および時間動き予測ならびにデブロッキングフィルタに対して使用されるＭＶを更新することなく、リファインメントの結果として動き補償された予測サンプルを強化するにすぎない。これは、現在のＤＭＶＲとは反対に、ＢＩＯは、隣接ブロックの間のいずれの符号化／復号待ち時間をもたらさない。しかしながら、現在のＢＩＯ設計では、動きリファインメントは、小さい単位（例えば、４×４）で導出される。これは、特にデコーダ側において、無視できない計算上の複雑性を招く。これは、ハードウェアＣＯＤＥＣ実装態様に対して望ましくない。したがって、ＤＭＶＲの待ち時間に対処すると共に、許容できるコーディングの複雑性を維持するために、いくつかの実施形態では、ＤＭＶＲによってコーディングされるビデオブロックに対する局所的動きリファインメントを計算するために、ブロックベースＢＩＯを使用することが提案される。特に、提案される実施形態では、ＢＩＯのコア設計（例えば、勾配およびリファインされた動きベクトルの計算）は、動きリファインメントを計算する既存の設計にあるのと同一に維持される。しかしながら、複雑性を低減させるために、動きリファインメントの量は、ＣＵレベルに基づいて導出され、単一の値は、ＣＵ内部の全てのサンプルに対して集約され、単一の動きリファインメントを計算するために使用され、カレントＣＵ内部の全てのサンプルは、同一の動きリファインメントを共有する。ＢＩＯに関して上記使用された同一の表記に基づいて、提案されるブロックレベルＢＩＯ動きリファインメントの例は、式（５）として導出される。
上記議論されたように、ブロックが双予測されるとき、ブロックベース動き補償された予測の上位に対してサンプルごとの動きリファインメントをもたらすために、ＪＥＭにおいてＢＩＯが使用されている。現在の設計に基づいて、ＢＩＯは、ＭＶバッファに記憶され、空間動き予測および時間動き予測ならびにデブロッキングフィルタに対して使用されるＭＶを更新することなく、リファインメントの結果として動き補償された予測サンプルを強化するにすぎない。これは、現在のＤＭＶＲとは反対に、ＢＩＯは、隣接ブロックの間のいずれの符号化／復号待ち時間をもたらさない。しかしながら、現在のＢＩＯ設計では、動きリファインメントは、小さい単位（例えば、４×４）で導出される。これは、特にデコーダ側において、無視できない計算上の複雑性を招く。これは、ハードウェアＣＯＤＥＣ実装態様に対して望ましくない。したがって、ＤＭＶＲの待ち時間に対処すると共に、許容できるコーディングの複雑性を維持するために、いくつかの実施形態では、ＤＭＶＲによってコーディングされるビデオブロックに対する局所的動きリファインメントを計算するために、ブロックベースＢＩＯを使用することが提案される。特に、提案される実施形態では、ＢＩＯのコア設計（例えば、勾配およびリファインされた動きベクトルの計算）は、動きリファインメントを計算する既存の設計にあるのと同一に維持される。しかしながら、複雑性を低減させるために、動きリファインメントの量は、ＣＵレベルに基づいて導出され、単一の値は、ＣＵ内部の全てのサンプルに対して集約され、単一の動きリファインメントを計算するために使用され、カレントＣＵ内部の全てのサンプルは、同一の動きリファインメントを共有する。ＢＩＯに関して上記使用された同一の表記に基づいて、提案されるブロックレベルＢＩＯ動きリファインメントの例は、式（５）として導出される。
【0105】
【数9】
【0106】
θは、カレントＣＵ内のサンプルの座標の組であり、Δ（ｘ，ｙ）は、上記式（３）に示されたようなオプティカルフロー誤差メトリックである。
【0107】
上記示されたように、ＢＩＯの動機は、カレントブロック内部の各々のサンプル位置における局所的勾配情報に基づいて、予測サンプルの精度を改善することである。多くのサンプルを含む大型ビデオブロックに対し、異なるサンプル位置における局所的勾配が、非常に変わりやすい特性を示すことがある可能性がある。そのようなケースでは、上記ブロックベースＢＩＯ導出は、カレントブロックに対する信頼できる動きリファインメントをもたらさないことがあり、したがって、コーディング性能損失につながる。そのような考慮に基づいて、いくつかの実施形態では、そのブロックサイズが小さいとき（例えば、１つの所与の閾値以下である）、ＤＭＶＲブロックに対してＣＵベースＢＩＯ動き導出のみを有効にすることが提案される。そうでなければ、ＣＵベースＢＩＯ動き導出が無効にされ、代わりに、カレントブロックに対する局所的動きリファインメントを導出するために、既存のブロックマッチングベース動きリファインメント（上記説明された提案されたＤＭＶＲ待ち時間除去／低減方法がいくつかの実施形態において適用される）が使用される。
【0108】
オプティカルフローを使用した動きリファインメント
上述したように、ＢＩＯは、各々のサンプル位置における導出されたＬ０およびＬ１動きリファインメントがカレントピクチャの周りで対称である、すなわち、
上述したように、ＢＩＯは、各々のサンプル位置における導出されたＬ０およびＬ１動きリファインメントがカレントピクチャの周りで対称である、すなわち、
【0109】
【数10】
【0110】
および
【0111】
【数11】
【0112】
であるという想定に基づいて、局所的動きリファインメントを推定し、
【0113】
【数12】
【0114】
および
【0115】
【数13】
【0116】
は、予測リストＬ０およびＬ１と関連付けられた水平動きリファインメントおよび垂直動きリファインメントである。しかしながら、そのような想定は、ＤＭＶＲによってコーディングされるブロックに対しては当てはまらないことがある。例えば、既存のＤＭＶＲ（図８Ａに示されるような）では、Ｌ０およびＬ１予測信号のテンプレートコストを最小化するＭＶが異なることができるように、２つの別個のブロックマッチングベース動き探索が、Ｌ０およびＬ１に対して実行される。そのような対称動き制約に起因して、ＢＩＯによって導出される動きリファインメントは、ＤＭＶＲに対する予測品質を強化するのに常に正確でないことがある（時に、予測品質を劣化させることさえある）。
【0117】
いくつかの実施形態では、ＤＭＶＲに対する動きリファインメントを計算するために、改善された動き導出方法が使用される。古典的なオプティカルフローモデルは、式（６）として表されるように、ピクチャの明度が時間の変化と共に一定のままであることを述べる。
【0118】
【数14】
【0119】
ｘおよびｙは、空間座標を表し、ｔは、時間を表す。式（６）の右側は、（ｘ，ｙ，ｔ）に関するテイラー展開によって展開されてもよい。その後、オプティカルフローの式は、一次に、式（７）になる。
【0120】
【数15】
【0121】
カメラの捕捉時間を基本的な時間単位として使用して（例えば、ｄｔ＝１を設定する）、式（７）は、オプティカルフロー関数を連続ドメインから離散ドメインに変更することによって離散化されてもよい。Ｉ（ｘ，ｙ）がカメラから捕捉されたサンプル値であるとして、次いで、式（７）は、式（８）になる。
【0122】
【数16】
【0123】
様々な実施形態では、１つまたは複数の誤差メトリックは、式（９）において左にある式がゼロに等しくない程度に基づいて定義されてもよい。動きリファインメントは、誤差メトリックを実質的に最小化するよう採用されてもよい。
【0124】
いくつかの実施形態では、Ｌ０およびＬ１における局所的動きリファインメントを推定するために、離散化されたオプティカルフローモデルを使用することが提案される。特に、双予測テンプレートは、マージ候補の初期のＬ０およびＬ１ ＭＶを使用して２つの予測ブロックを平均化することによって生成される。しかしながら、局所的領域内でブロックマッチング動き探索を実行する代わりに、式（８）におけるオプティカルフローモデルは、いくつかの提案された実施形態では、式（９）に表されるように、各々の参照リストＬ０／Ｌ１に対するリファインされたＭＶを直接導出するために使用される。
【0125】
【数17】
【0126】
Ｐ0およびＰ1は、参照リストＬ０およびＬ１のそれぞれに対する元のＭＶを使用して生成された予測信号であり、Ｐtmpは、双予測テンプレート信号であり、
【0127】
【数18】
【0128】
および
【0129】
【数19】
【0130】
は、異なる勾配フィルタ、例えば、Ｓｏｂｅｌフィルタ、またはＢＩＯによって使用される２Ｄ分離可能勾配フィルタ（Ｊ．Ｃｈｅｎ，Ｅ．Ａｌｓｈｉｎａ，Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ，Ｊ．Ｒ．Ｏｈｍ，Ｊ．Ｂｏｙｃｅ，“Ａｌｇｏｒｉｔｈｍ ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｔｅｓｔ ｍｏｄｅｌ ６”，ＪＶＥＴ－Ｇ１００１，Ｊｕｌ．２０１７，Ｔｏｒｉｎｏ，Ｉｔａｌｙにおいて記述される）に基づいて計算することができる、予測信号Ｐ0およびＰ1の水平／垂直勾配である。式（９）は、それに対して１つの個々の
【0131】
【数20】
【0132】
、
【0133】
【数21】
【0134】
、ならびにＰtmp－Ｐkを計算することができる、予測信号Ｐ0またはＰ1における各々のサンプルに対する式の組を表す。２つの未知のパラメータΔｘkおよびΔｙkにより、式（１０）として、式（９）の二乗誤差和を最小化することによって、過剰に決定された問題を解決することができる。
【0135】
【数22】
【0136】
【数23】
【0137】
は、Ｌ０／Ｌ１予測信号と双予測テンプレート信号との間の時間差であり、θは、コーディングブロック内の座標の集合である。式（１０）における線形最小平均二乗誤差（ＬＬＭＳＥ）問題を解決することによって、式（１１）として、（Δｘ，Δｙ）*
kの解析表現を取得することができる。
【0138】
【数24】
【0139】
式（１１）に基づいて、いくつかの実施形態では、導出されたＭＶの精度を改善するために、そのような方法は、回帰的方式において動きリファインメント（すなわち、（Δｘ，Δｙ）*
k）を選択することができる。そのような実施形態は、カレントブロックの元のＬ０およびＬ１ ＭＶを使用して、初期の双予測テンプレート信号を生成し、式（１１）に基づいて、対応するデルタ動き（Δｘ，Δｙ）*
kを計算することによって機能することができ、リファインされたＭＶは次いで、新たなＬ０およびＬ１予測サンプルと共に、双予測テンプレートサンプルを生成するための動きとして使用され、双予測テンプレートサンプルは次いで、局所的リファインメント（Δｘ，Δｙ）*
kの値を更新するために使用される。この処理は、ＭＶが更新されなくなるまで、または最大数の繰り返しに到達するまで繰り返されてもよい。そのような処理の１つの実施例は、図１８に示されるように、以下の手順によって要約される。
【0140】
１８０２において、カウンタｌがｌ＝０に初期化される。１８０４において、初期のＬ０およびＬ１予測信号
【0141】
【数25】
【0142】
および
【0143】
【数26】
【0144】
、ならびに初期の双予測テンプレート信号
【0145】
【数27】
【0146】
は、ブロックの元のＭＶ
【0147】
【数28】
【0148】
および
【0149】
【数29】
【0150】
を使用して生成される。１８０６および１８０８における式（１１）に基づいた局所的Ｌ０およびＬ１動きリファインメント
【0151】
【数30】
【0152】
および
【0153】
【数31】
【0154】
、ならびにブロックのＭＶが、
【0155】
【数32】
【0156】
および
【0157】
【数33】
【0158】
として更新される。
【0159】
【数34】
【0160】
および
【0161】
【数35】
【0162】
は、ゼロである場合（１８１０において判定される）、またはｌ＝ｌmaxである場合（１８１２において判定される）、次いで、１８１４において、リファインされた動きベクトルを使用して最終双予測が生成されてもよい。そうでなければ、１８１６において、カウンタｌがインクリメントされ、処理が繰り返され、ＭＶ
【0163】
【数36】
【0164】
および
【0165】
【数37】
【0166】
を使用して、Ｌ０およびＬ１予測信号
【0167】
【数38】
【0168】
および
【0169】
【数39】
【0170】
ならびに双予測テンプレート信号
【0171】
【数40】
【0172】
が更新される（１８０６、１８０８において）。
【0173】
図１８は、ＤＭＶＲブロックの動きリファインメントを計算するための実施例のオプティカルフローベース動き導出方法（optical-flow-based motion derivation method）を使用したＤＭＶＲ処理の実施例を示す。図１８に示されるように、１つのＤＭＶＲブロックのオプティカルＭＶは、オプティカルフローモデルに基づいて元のＭＶを反復的に修正することによって識別される。そのような方法は、良好な動き推定精度をもたらすことができるが、著しく複雑性を増大させることを招くこともある。導出の複雑性を低減させるために、開示の１つの実施形態では、例えば、ＤＭＶＲブロックの修正されたＭＶを導出するよう、１８０４乃至１８０８において示された処理を適用することのみのために、提案された動き導出方法を使用して動きリファインメントを導出するための１回のみの反復を適用することが提案される。
【0174】
オプティカルフローベース動き導出モデルは、スモールブロック内部のサンプルの特性の中での高い一貫性に起因して、大型のＣＵよりも小型のＣＵに対してより効率的であることができる。いくつかの実施形態では、そのブロックサイズが小型であるとき（例えば、所与の閾値以下である）、ＤＭＶＲブロックに対して提案されたオプティカルフローベース動き導出を有効にすることが提案される。そうでなければ、既存のブロックマッチングベース動きリファインメントは、カレントブロックに対する局所的動きリファインメントを導出するために使用される（例えば、本明細書で説明された提案されたＤＭＶＲ待ち時間除去／低減方法に従って）。
【0175】
説明された実施形態の１つまたは複数の様々なハードウェア要素は、それぞれのモジュールと関連して本明細書で説明される様々な機能を実行する「モジュール」を指すことに留意されよう。本明細書で使用されるように、モジュールは、所与の実装態様に対して当業者によって認識されるハードウェア（例えば、１つまたは複数のプロセッサ、１つまたは複数のマイクロプロセッサ、１つまたは複数のマイクロコントローラ、１つまたは複数のマイクロチップ、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、１つまたは複数のメモリデバイス）を含む。各々の説明されたモジュールは、それぞれのモジュールによって実行されるとして説明された１つまたは複数の機能を実行するよう実行可能な命令をも含んでもよく、それらの命令は、ハードウェア（すなわち、ハードワイヤドされた）命令、ファームウェア命令、および／またはソフトウェア命令、などの形式を取ってもよく、もしくはそれらを含んでもよく、ＲＡＭ、ＲＯＭなどと一般的に称されるいずれかの適切な非一時的コンピュータ可読媒体に記憶されてもよいことに留意されよう。
【0176】
特徴および要素が特定の組み合わせにおいて上記説明されたが、当業者は、各々の特徴または要素が単独で使用されてもよく、または他の特徴および要素とのいずれかの組み合わせにおいて使用されてもよいことを認識するであろう。加えて、本明細書で説明される方法は、コンピュータまたはプロセッサによる実行のための、コンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、またはファームウェアにおいて実装されてもよい。コンピュータ可読記憶媒体の例は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび着脱可能ディスクなどの磁気媒体、磁気光学媒体、ならびにＣＤ－ＲＯＭディスクおよびデジタル多用途ディスク（ＤＶＤ）などの光学媒体を含むが、それらに限定されない。ソフトウェアと関連したプロセッサは、ＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ、またはいずれかのホストコンピュータにおける使用に対して無線周波数送受信機を実装するために使用されてもよい。
【図1A】
【図1B】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】