特許 7548908 重み付け予測に適応された双方向オプティカルフローによる映像符号化及び復号の方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】重み付け予測に適応された双方向オプティカルフローによる映像符号化及び復号の方法及び装置

(51)【国際特許分類】

   H04N 19/513 20140101AFI20240903BHJP

   H04N 19/573 20140101ALI20240903BHJP

【ＦＩ】

H04N19/513

H04N19/573

【請求項の数】 36

(21)【出願番号】P 2021536079

(86)(22)【出願日】2020-01-10

(65)【公表番号】

(43)【公表日】2022-03-11

(86)【国際出願番号】 US2020013026

(87)【国際公開番号】W WO2020150080

(87)【国際公開日】2020-07-23

【審査請求日】2023-01-05

(31)【優先権主張番号】19305044.0

(32)【優先日】2019-01-14

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】19305267.7

(32)【優先日】2019-03-07

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ギャルピン，フランク

(72)【発明者】

【氏名】ボルデ，フィリップ

(72)【発明者】

【氏名】フランソワ，エドワール

【審査官】岩井 健二

(56)【参考文献】

【文献】国際公開第２０２０／０９４０００（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０６９０７６（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１９７１４６（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１３４９５７（ＷＯ，Ａ１）

【文献】Chun-Chi Chen, Xiaoyu Xiu, Yuwen He, and Yan Ye，Generalized Bi-prediction Method for Future Video Coding，2016 Picture Coding Symposium (PCS)，IEEE，2016年，pp.1-5

【文献】Tomonori Hashimoto, Takeshi Chujoh, Tomohiro Ikai, and Eiichi Sasaki，Non-CE4: Weighted prediction with BDOF and bi-prediction with CU weights harmonization，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0067-v1，13th Meeting: Marrakech, MA，2019年01月02日，pp.1-6

【文献】F. Galpin, T. Poirier, and P. Bordes，CE9-related: BDOF-BWA unification，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-N0239，14th Meeting: Geneva, CH，2019年03月，pp.1-3

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

画像の少なくとも一部のブロック単位の動き補償予測の双方向オプティカルフローを使用してサンプル単位の動き精緻化を行うことであって、前記ブロック単位の動き補償予測は、双方向予測であり、
前記双方向オプティカルフローは、前記画像の前記少なくとも一部の前記双方向予測において使用される等しくない重みをビット深度シフトすることを含む、行うことと、
サンプル単位の動き精緻化予測を使用して前記画像の少なくとも一部を符号化又は復号することと
を含む方法。

【請求項2】

等しくない重みを使用した前記双方向予測は、一般化双方向予測、コーディングユニットレベル重みによる双方向予測、画像レベル重みによる双方向予測、画像距離に基づく重みによる双方向予測の１つである、請求項１に記載の方法。

【請求項3】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みを定量化することを含む、請求項１又は２に記載の方法。

【請求項4】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みから、前記画像の前記一部の前記ブロック単位の動き補償予測に適用する修正重みを導出することを含む、請求項１～３のいずれか一項に記載の方法。

【請求項5】

メモリ及び１つ又は複数のプロセッサを含む装置であって、前記１つ又は複数のプロセッサは、
画像の少なくとも一部のブロック単位の動き補償予測の双方向オプティカルフローを使用してサンプル単位の動き精緻化を行うことであって、前記双方向オプティカルフローは、前記ブロック単位の動き補償予測の双方向予測において使用される等しくない重みをビット深度シフトすることを含む、行うことと、
サンプル単位の動き精緻化予測を使用して前記画像の少なくとも一部を符号化又は復号することと
を行うように構成されている、装置。

【請求項6】

等しくない重みを使用した前記双方向予測は、一般化双方向予測、コーディングユニットレベル重みによる双方向予測、画像レベル重みによる双方向予測、画像距離に基づく重みによる双方向予測の１つである、請求項５に記載の装置。

【請求項7】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みの定量化を含む、請求項５又は６に記載の装置。

【請求項8】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みからの、前記画像の前記一部の前記ブロック単位の動き補償予測に適用する修正重みの導出を含む、請求項５～７のいずれか一項に記載の装置。

【請求項9】

非一時的コンピュータ可読媒体であって、１つ又は複数のプロセッサによって実行されると、
画像の少なくとも一部のブロック単位の動き補償予測の双方向オプティカルフローを使用してサンプル単位の動き精緻化を行うことであって、前記双方向オプティカルフローは、前記ブロック単位の動き補償予測の双方向予測において使用される等しくない重みをビット深度シフトすることを含む、行うことと、
サンプル単位の動き精緻化予測を使用して前記画像の少なくとも一部を符号化又は復号することと
を行う命令をその上に格納した非一時的コンピュータ可読媒体。

【請求項10】

等しくない重みを使用した前記双方向予測は、一般化双方向予測、コーディングユニットレベル重みによる双方向予測、画像レベル重みによる双方向予測、画像距離に基づく重みによる双方向予測の１つである、請求項９に記載の非一時的コンピュータ可読媒体。

【請求項11】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みの定量化を含む、請求項９又は１０に記載の非一時的コンピュータ可読媒体。

【請求項12】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みからの、前記画像の前記一部の前記ブロック単位の動き補償予測に適用する修正重みの導出を含む、請求項９～１１のいずれか一項に記載の非一時的コンピュータ可読媒体。

【請求項13】

画像の少なくとも一部のブロック単位の動き補償予測の双方向オプティカルフローを使用してサンプル単位の動き精緻化を行うことであって、前記ブロック単位の動き補償予測は、双方向予測であり、
前記双方向オプティカルフローは、前記ブロック単位の動き補償予測の双方向予測において使用される等しくない重みの定量化を含む、行うことと、
サンプル単位の動き精緻化予測を使用して前記画像の少なくとも一部を符号化又は復号することと
を含む方法。

【請求項14】

等しくない重みを使用した前記双方向予測は、一般化双方向予測、コーディングユニットレベル重みによる双方向予測、画像レベル重みによる双方向予測、画像距離に基づく重みによる双方向予測の１つである、請求項１３に記載の方法。

【請求項15】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みをビット深度シフトすることを含む、請求項１３又は１４に記載の方法。

【請求項16】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みから、前記画像の前記一部の前記ブロック単位の動き補償予測に適用する修正重みを導出することを含む、請求項１３～１５のいずれか一項に記載の方法。

【請求項17】

メモリ及び１つ又は複数のプロセッサを含む装置であって、前記１つ又は複数のプロセッサは、
画像の少なくとも一部のブロック単位の動き補償予測の双方向オプティカルフローを使用してサンプル単位の動き精緻化を行うことであって、前記双方向オプティカルフローは、前記ブロック単位の動き補償予測の双方向予測において使用される等しくない重みの定量化を含む、行うことと、
サンプル単位の動き精緻化予測を使用して前記画像の少なくとも一部を符号化又は復号することと
を行うように構成されている、装置。

【請求項18】

等しくない重みを使用した前記双方向予測は、一般化双方向予測、コーディングユニットレベル重みによる双方向予測、画像レベル重みによる双方向予測、画像距離に基づく重みによる双方向予測の１つである、請求項１７に記載の装置。

【請求項19】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みのビット深度シフトを含む、請求項１７又は１８に記載の装置。

【請求項20】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みからの、前記画像の前記一部の前記ブロック単位の動き補償予測に適用する修正重みの導出を含む、請求項１７～１９のいずれか一項に記載の装置。

【請求項21】

非一時的コンピュータ可読媒体であって、１つ又は複数のプロセッサによって実行されると、
画像の少なくとも一部のブロック単位の動き補償予測の双方向オプティカルフローを使用してサンプル単位の動き精緻化を行うことであって、前記双方向オプティカルフローは、前記ブロック単位の動き補償予測の双方向予測において使用される等しくない重みの定量化を含む、行うことと、
サンプル単位の動き精緻化予測を使用して前記画像の少なくとも一部を符号化又は復号することと
を行う命令をその上に格納した非一時的コンピュータ可読媒体。

【請求項22】

等しくない重みを使用した前記双方向予測は、一般化双方向予測、コーディングユニットレベル重みによる双方向予測、画像レベル重みによる双方向予測、画像距離に基づく重みによる双方向予測の１つである、請求項２１に記載の非一時的コンピュータ可読媒体。

【請求項23】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みのビット深度シフトを含む、請求項２１又は２２に記載の非一時的コンピュータ可読媒体。

【請求項24】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みからの、前記画像の前記一部の前記ブロック単位の動き補償予測に適用する修正重みの導出を含む、請求項２１～２３のいずれか一項に記載の非一時的コンピュータ可読媒体。

【請求項25】

画像の少なくとも一部のブロック単位の動き補償予測の双方向オプティカルフローを使用してサンプル単位の動き精緻化を行うことであって、前記ブロック単位の動き補償予測は、双方向予測であり、
前記双方向オプティカルフローは、前記双方向予測において使用される等しくない重みから、前記画像の前記一部の前記ブロック単位の動き補償予測に適用する修正重みを導出することを含む、行うことと、
サンプル単位の動き精緻化予測を使用して前記画像の少なくとも一部を符号化又は復号することと
を含む方法。

【請求項26】

等しくない重みを使用した前記双方向予測は、一般化双方向予測、コーディングユニットレベル重みによる双方向予測、画像レベル重みによる双方向予測、画像距離に基づく重みによる双方向予測の１つである、請求項２５に記載の方法。

【請求項27】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みをビット深度シフトすることを含む、請求項２５又は２６に記載の方法。

【請求項28】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みを定量化することを含む、請求項２５～２７のいずれか一項に記載の方法。

【請求項29】

メモリ及び１つ又は複数のプロセッサを含む装置であって、前記１つ又は複数のプロセッサは、
画像の少なくとも一部のブロック単位の動き補償予測の双方向オプティカルフローを使用してサンプル単位の動き精緻化を行うことであって、前記双方向オプティカルフローは、前記ブロック単位の動き補償予測の双方向予測において使用される等しくない重みから、前記画像の前記一部の前記ブロック単位の動き補償予測に適用する修正重みを導出することを含む、行うことと、
サンプル単位の動き精緻化予測を使用して前記画像の少なくとも一部を符号化又は復号することと
を行うように構成されている、装置。

【請求項30】

等しくない重みを使用した前記双方向予測は、一般化双方向予測、コーディングユニットレベル重みによる双方向予測、画像レベル重みによる双方向予測、画像距離に基づく重みによる双方向予測の１つである、請求項２９に記載の装置。

【請求項31】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みのビット深度シフトを含む、請求項２９又は３０に記載の装置。

【請求項32】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みの定量化を含む、請求項２９～３１のいずれか一項に記載の装置。

【請求項33】

非一時的コンピュータ可読媒体であって、１つ又は複数のプロセッサによって実行されると、
画像の少なくとも一部のブロック単位の動き補償予測の双方向オプティカルフローを使用してサンプル単位の動き精緻化を行うことであって、前記双方向オプティカルフローは、前記ブロック単位の動き補償予測の双方向予測において使用される等しくない重みから、前記画像の前記一部の前記ブロック単位の動き補償予測に適用する修正重みを導出することを含む、行うことと、
サンプル単位の動き精緻化予測を使用して前記画像の少なくとも一部を符号化又は復号することと
を行う命令をその上に格納した非一時的コンピュータ可読媒体。

【請求項34】

等しくない重みを使用した前記双方向予測は、一般化双方向予測、コーディングユニットレベル重みによる双方向予測、画像レベル重みによる双方向予測、画像距離に基づく重みによる双方向予測の１つである、請求項３３に記載の非一時的コンピュータ可読媒体。

【請求項35】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みのビット深度シフトを含む、請求項３３又は３４に記載の非一時的コンピュータ可読媒体。

【請求項36】

前記双方向オプティカルフローは、前記双方向予測において使用される前記等しくない重みの定量化を含む、請求項３３～３５のいずれか一項に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
本実施形態の少なくとも１つは、概して、例えば画像の一部を符号化又は復号する方法又は装置に関し、より具体的には、重み付け予測のためのインター予測における双方向オプティカルフローを修正することを含む方法又は装置に関する。

【背景技術】

【0002】

背景
１つ又は複数の実装形態の技術分野は、概して、映像圧縮に関する。少なくとも一部の実施形態は、ＨＥＶＣ（ＨＥＶＣは、高効率映像コーディングを指し、“ITU-T H.265 Telecommunication standardization sector of ITU (10/2014), series H: audiovisual and multimedia systems, infrastructure of audiovisual services - coding of moving video, High efficiency video coding, Recommendation ITU-T H.265”に記載されるＨ．２６５及びＭＰＥＧ－Ｈパート２としても知られる）などの既存の映像圧縮システムと比較して、又はＶＶＣ（ＪＶＥＴ（ジョイント映像専門家チーム）により開発されている新標準である汎用映像コーディング）などの開発中の映像圧縮システムと比較して圧縮効率を改善することに関する。

【0003】

高い圧縮効率を実現するために、画像及び映像コーディングの方式は、通常、映像コンテンツ内の空間的及び時間的冗長性を活用するために画像の分割、動きベクトル予測を含む予測及び変換を採用する。一般的に、イントラ予測又はインター予測がフレーム内又はフレーム間相関を活用するために使用され、次に元画像と予測画像との差（多くの場合に予測誤差又は予測残差と呼ばれる）が周波数領域係数に変換され、これらの係数は、量子化され、且つエントロピー符号化される。映像を再構築するために、圧縮データは、エントロピー復号、逆量子化、逆変換及び予測に対応する逆処理により復号される。

【0004】

図１は、ＶＶＣなどのコーデック内のインター予測処理の例示的フローチャートを示す。例えば、ＪＶＥＴ（ジョイント映像専門家チーム）グループにより開発されたジョイント探索モデル（ＪＥＭ）及びＶＶＣ基準ソフトウェアは、図１のインター予測処理パイプラインの各段階において関連するツールのいくつかを記述する。ＶＶＣコーデックでは、ＨＥＶＣの双方向予測のいくつかの拡張が提案された。少なくとも一部の実施形態は、インター予測にさらに関係し、その中でも、以下の２つの特定のツールは、双方向予測に関係する。
－ 一般化双方向予測（ＧＢＩ）又はＣＵレベル重みによる双方向予測（ＢＣＷ）、ここで、２つの予測の混合中の重み付けは、等しくない重みを使用する。
－ ＢＩＯ：双方向オプティカルフロー（ＢＤＯＦとしても知られる）。

【0005】

ＨＥＶＣ又はＶＶＣなどの既存の映像圧縮システムと比較して、インター符号化ブロックにおける双方向予測構文及び処理を改善することが望ましい。

【発明の概要】

【0006】

概要
本発明の目的は、従来技術の欠点の少なくとも１つを克服することである。この目的のため、少なくとも１つの実施形態の一般的態様によると、画像の一部を符号化する方法であって、双方向オプティカルフローを使用したサンプル単位の（sample-wise）精緻化を含み、少なくとも双方向オプティカルフローの式は、画像の一部の重み付け予測における等しくない重みについて修正される、方法が提示される。

【0007】

少なくとも１つの実施形態の別の一般的態様によると、画像の一部を復号する方法であって、双方向オプティカルフローを使用したサンプル単位の精緻化を含み、少なくとも双方向オプティカルフローの式は、画像の一部の重み付け予測における等しくない重みについて修正される、方法が提示される。

【0008】

少なくとも１つの実施形態の別の一般的態様によると、符号化方法の実施形態の任意の１つを実施する手段を含む、映像符号化の装置が提示される。

【0009】

少なくとも１つの実施形態の別の一般的態様によると、復号方法の実施形態の任意の１つを実施する手段を含む、映像復号の装置が提示される。

【0010】

少なくとも１つの実施形態の別の一般的態様によると、１つ又は複数のプロセッサ及び少なくとも１つのメモリを含む、映像符号化の装置が提供される。１つ又は複数のプロセッサは、符号化方法の実施形態の任意の１つを実施するように構成されている。

【0011】

少なくとも１つの実施形態の別の一般的態様によると、１つ又は複数のプロセッサ及び少なくとも１つのメモリを含む、映像復号の装置が提供される。１つ又は複数のプロセッサは、復号方法の実施形態の任意の１つを実施するように構成されている。

【0012】

少なくとも１つの実施形態の別の一般的態様によると、重み付け予測は、一般化双方向予測、コーディングユニットレベル重みによる双方向予測、画像レベル重みによる重み付け予測、画像距離に基づく重み付け双方向予測の１つである。

【0013】

少なくとも１つの実施形態の別の一般的態様によると、少なくとも１つの双方向オプティカルフロー式を修正することは、重み付け予測において使用される等しくない重みをビット深度シフトすることを含む。

【0014】

少なくとも１つの実施形態の別の一般的態様によると、少なくとも１つの双方向オプティカルフロー式を修正することは、重み付け予測において使用される等しくない重みを定量化することを含む。

【0015】

少なくとも１つの実施形態の別の一般的態様によると、少なくとも１つの双方向オプティカルフロー式を修正することは、重み付け予測において使用される等しくない重みから、画像の一部の予測に適用する修正重みを導出することを含む。

【0016】

少なくとも１つの実施形態の別の一般的態様によると、前述の説明のいずれかの方法又は装置によって生成されたデータコンテンツを含む非一時的コンピュータ可読媒体が提示される。

【0017】

少なくとも１つの実施形態の別の一般的態様によると、前述の説明のいずれかの方法又は装置によって生成された映像データを含む信号又はビットストリームが提供される。

【0018】

本実施形態の１つ又は複数は、コンピュータ可読記憶媒体であって、上記の方法のいずれかに従って双方向オプティカルフローを行い、映像データを符号化又は復号するための命令をその上に格納したコンピュータ可読記憶媒体も提供する。本実施形態は、コンピュータ可読記憶媒体であって、上記の方法に従って生成されたビットストリームをその上に格納したコンピュータ可読記憶媒体も提供する。本実施形態は、上記の方法に従って生成されたビットストリームを送信する方法及び装置も提供する。本実施形態は、説明した方法のいずれかを行うための命令を含むコンピュータプログラム製品も提供する。

【図面の簡単な説明】

【0019】

図面の簡単な説明

【図1】符号器アーキテクチャにおけるインター予測処理の例示的フローチャートを示す。

【図2】ＨＥＶＣにおける双方向予測処理の例示的実施形態を示す。

【図3】特定の実施形態によるＢＤＯＦにおいて使用される例示的拡張ＣＵ領域を示す。

【図4】特定の実施形態による予測モード互換性ツリーの判断の例示的フローチャートを示す。

【図5】特定の実施形態によるオプティカルフロー軌跡の例を示す。

【図6】実施形態の様々な態様が実装され得る映像符号器の実施形態のブロック図を示す。

【図7】実施形態の様々な態様が実装され得る映像復号器の実施形態のブロック図を示す。

【図8】実施形態の様々な態様が実装され得る例示的装置のブロック図を示す。

【図9】特定の実施形態による重み付け予測のためのインター予測における双方向オプティカルフロー処理の例示的フローチャートを示す。

【発明を実施するための形態】

【0020】

詳細な説明
図及び説明は、典型的な復号及び／又は符号化デバイスにおいて見出される多くの他の要素を明暸性のために省く一方、本原理の明確な理解のために重要な要素を示すために簡略化されたことが理解されるべきである。様々な要素を説明するために、本明細書では、用語「第１」及び「第２」が使用され得るが、これらの要素は、これらの用語により限定されるべきでないことが理解される。

【0021】

これらの用語は、１つの要素を別の要素から区別するためにのみ使用される。

【0022】

様々な実施形態は、画像の符号化／復号に関して説明される。様々な実施形態は、画像の一部（スライス又はタイルなど）、タイルグループ又は画像のシーケンス全体を符号化／復号するために適用され得る。

【0023】

様々な方法が上に説明されたが、上記の方法のそれぞれは、説明された方法を実現するための１つ又は複数の工程又は行為を含む。特定の順番の工程又は行為が本方法の適切な操作に必要でない限り、特定の工程及び／又は行為の順番及び／又は使用は、修正され得るか又は組み合わされ得る。

【0024】

少なくとも一部の実施形態は、重み付けをインター予測方法及びより具体的には双方向オプティカルフロー（ＢＩＯ）に導入することに関係する。

【0025】

以下では、一般化双方向予測（ＧＢＩ又はＢＣＷ）及び双方向オプティカルフロー（ＢＩＯ又はＢＤＯＦ）に関するいくつかの制限が開示され、修正されたＢＩＯ処理のための汎用実施形態が開示され、ＧＢＩ重み付けを取り込む修正ＢＩＯ処理のいくつかの実施形態が開示され、ＧＢＩ及び非対称双方向予測の両方の統一された重み付けのいくつかの実施形態が開示され、追加情報及び汎用実施形態が開示される。

【0026】

一般化双方向予測（ＧＢＩ）
ＨＥＶＣでは、双方向予測のための２つの単方向予測信号の平均化は、入力ビット深度又は内部ビット深度のいずれかより高い精度で行われる。図２は、ＨＥＶＣにおける双方向予測処理の例示的実施形態を示す。双方向予測式が以下の式１に示され、ここで、オフセット及びシフトは、最終予測子を入力ビット深度に正規化するために使用されるパラメータである。
Ｐ_bidir＝（Ｐ_L0＋Ｐ_L1＋オフセット）＞＞シフト 式１
Ｐ_L0及びＰ_L1は、双方向予測モードにおけるリストＬ０及びリストＬ１の基準サンプルの動き補償（ＭＣ）処理により構築された予測サンプルである。加えて、サンプルに基づく計算精度を増加するために、サンプル値は、増加されたビット深度の精度で格納される。

【0027】

通常、予測サンプルＰ_L0及びＰ_L1は、内部オフセット：OFFSETINTERNALにより修正され、且つBITDEPTHINTERNALを使用して表現される。オフセットは、以下のように推論される。
OFFSETINTERNAL＝＝（１＜＜（BITDEPTHINTERNAL-1））
通常、BITDEPTHINTERNAL＝１４である。

【0028】

ビット深度ビット上で表現される最終予測Ｐ’_L0に関して、以下の関係式を有することが意味される。
Ｐ’_L0＝（Ｐ_L0＋OFFSETINTERNAL）＞＞（BITDEPTHINTERNAL－ビット深度）

【0029】

これは、以下の終値を与える。
シフト＝（BITDEPTHINTERNAL＋１－ビット深度）
及び
オフセット＝（１＜＜（シフト－１））＋OFFSETINTERNAL

【0030】

中間段においていかなる丸め込みもないため、ＨＥＶＣ補間フィルタがいくつかの実装最適化を可能にする。

【0031】

ＶＶＣでは、双方向予測を得るために２つの単方向予測（ＧＢＩ）を平均化するための複数の重みが使用される。通常、使用される重みは、｛－１／４，５／４｝、｛３／８，５／８｝又は｛１／２，１／２｝（ここで、｛１／２，１／２｝は、ＨＥＶＣにおいて使用される重みである）であり、双方向予測式は、式２に示すように修正される。全ブロックに対して１つのみの重みが使用される。
Ｐ_bidir＝（（１－ｗ₁）＊Ｐ_L0＋ｗ₁＊Ｐ_L1＋オフセット）＞＞シフト 式２

【0032】

次に、新しい値は、
シフト＝BITDEPTHINTERNAL－ビット深度＋ＧｂｉＢｄ
オフセット＝（１＜＜（シフト－１））＋OFFSETINTERNAL＜＜ＧｂｉＢｄ
であり、ここで、ＧｂｉＢｄは、ＧＢＩの重みのビット深度であり、通常、表１における例に描写するようにＧｂｉＢｄ＝３である。Ｇｂｉ重み（ｗ０＋ｗ１）の和は、１であることに留意されたい。

【0033】

【表1】

【0034】

双方向オプティカルフロー
ＶＶＣの最新の開発（テストモデルＶＴＭ－３）は、双方向オプティカルフロー（ＢＤＯＦ）ツールを含む。ＢＤＯＦ（ＢＩＯとして以前参照された）は、特にＢＩＯの旧バージョンと比較して、乗算の数及び乗算器のサイズの観点ではるかに少ない計算を必要とするより単純なバージョンである。

【0035】

ＢＤＯＦは、４×４サブブロックレベルにおけるＣＵの双方向予測信号を精緻化するために使用される。ＢＤＯＦは、以下の条件を満足する場合にＣＵに適用される。
１）ＣＵの高さは、４ではなく、ＣＵは、４×８のサイズではないこと、
２）ＣＵは、アフィンモード又はＡＴＭＶＰマージモードを使用してコード化されないこと、
３）ＣＵは、「真の」双方向予測モードを使用してコード化され、すなわち、２つの基準ピクチャの１つは、表示順番が現在の画像より前であり、他の基準ピクチャは、表示順番が現在のピクチャの後であること。

【0036】

ＢＤＯＦは、輝度成分のみに適用される。

【0037】

その名称が示すように、ＢＤＯＦモードは、オプティカルフロー概念に基づいており、物体の動きが滑らかであり、且つその輝度が考慮される時間間隔に沿って一定であると仮定する。４×４サブブロック毎に、動き精緻化（motion refinement）（ｖ_x、ｖ_y）は、Ｌ０予測サンプルとＬ１予測サンプルとの差を最小化することにより計算される。次に、動き精緻化は、４×４サブブロック内の双方向予測サンプル値を調整するために使用される。以下の工程がＢＤＯＦ処理において適用される。

【0038】

最初に、２つの予測信号の水平方向及び垂直方向勾配

【数1】

及び

【数2】

、ｋ＝０，１は、２つの隣接サンプル間の差を直接計算することにより計算され、すなわち、

【数3】

であり、ここで、Ｉ^(k)（ｉ，ｊ）は、リストｋ，ｋ＝０，１内の予測信号の座標（ｉ，ｊ）におけるサンプル値である。

【0039】

次に、勾配の自己及び相互相関Ｓ₁、Ｓ₂、Ｓ₃、Ｓ₅及びＳ₆が以下のように計算される。

【数4】

ここで、

【数5】

であり、ここで、Ωは、４×４サブブロックを取り囲む６×６ウィンドウである。次に、動き精緻化（ｖ_x，ｖ_y）は、以下の式を使用する相互相関項及び自己相関項を使用して導出される。

【数6】

ここで、

【数7】

であり、

【数8】

は、フロア関数である。

【0040】

動き精緻化及び勾配に基づき、以下の調整が４×４サブブロック内のサンプル毎に計算される。

【数9】

【0041】

最後に、ＣＵのＢＤＯＦサンプルは、以下のように双方向予測サンプルを調整することにより計算される。
ｐｒｅｄ_BDOF（ｘ，ｙ）＝（Ｉ⁽⁰⁾（ｘ，ｙ）＋Ｉ⁽¹⁾（ｘ，ｙ）＋ｂ（ｘ，ｙ）＋ο_offset）＞＞シフト 式３－６

【0042】

上記では、ｎ_a、ｎ_b及び

【数10】

の値は、それぞれ３、６及び１２に等しい。これらの値は、ＢＤＯＦ処理における乗算器が１５ビットを超えないように選択され、及びＢＤＯＦ処理における中間パラメータの最大ビット幅は、３２ビット内に維持される。

【0043】

勾配値を導出するために、現在のＣＵ境界の外のリストｋ（ｋ＝０，１）内のいくつかの予測サンプルＩ^(k)（ｉ，ｊ）が生成される必要がある。図３に描写するように、ＶＴＭ－３．０におけるＢＤＯＦは、ＣＵの境界の周囲の１つの拡張行／列を使用する。境界外予測サンプルを生成する計算複雑性を制御するために、双線形フィルタは、拡張エリア（白色位置）内の予測サンプルを生成するために使用され、通常の８タップ動き補償補間フィルタは、ＣＵ（灰色の位置）内の予測サンプルを生成するために使用される。これらの拡張されたサンプル値は、勾配計算においてのみ使用される。ＢＤＯＦ処理における残りの工程に関して、ＣＵ境界の外の任意のサンプル値及び勾配値が必要である場合、これらは、最近傍のものから当てがわれる（すなわち繰り返される）。図３は、ＢＤＯＦにおいて使用される例示的拡張ＣＵ領域を示す。

【0044】

双方向オプティカルフロー（ＢＩＯ）は、双方向予測のためのブロック単位の（block-wise）動き補償に対して行われるサンプル単位の動き精緻化を含む。サンプルレベル動き精緻化は、シグナリングを使用しない。双方向予測の場合、ＢＩＯのゴールは、２つの基準ピクチャ間の直線変位を仮定し、オプティカルフローのエルミート補間に基づいて各サンプルの動きを精緻化することである。

【0045】

ＢＤＯＦ及びＧＢＩのいくつかの制限
ＶＶＣの最新の開発（テストモデルＶＴＭ－３）では、３つのモード（ＧＢＩ、ＢＤＯＦ及び非対称双方向予測）は、現在、排他的であり、したがってすべての可能なコーディングモードにおいて常に利用可能であるとは限らない。図４は、ＶＶＣの最新の開発による予測モード互換性ツリーの判断の例示的フローチャートを示す。図４では、破線は、モードがオフである場合を示し、実線は、モードが活性化された場合を示した。

【0046】

有利には、予測モード互換性ツリーは、コード化をより単純にする（探索されるモード選択組み合わせを低減し、且つ復号パイプラインを軽減する）。ＶＶＣの最新バージョンでは、ＢＤＯＦ及びＧＢＩは、互いに排他的であり、及びＢＤＯＦは、対称的双方向予測のため（すなわち基準ピクチャが現在のフレームの過去及び将来のフレーム内にある場合）にのみ活性化される。

【0047】

以前の従来技術手法（ＶＶＣの以前のテストモデルバージョン）では、テストモデルソフトウェアは、現在のＰＯＣがＰＯＣ０とＰＯＣ１との中央に位置しない場合（図５に描写するような非対称双方向予測）を扱うために基準ピクチャ及び現在のピクチャのＰＯＣに依存して勾配画像の重み付けを含んでいた。しかし、重み付けは、ＢＤＯＦ処理内で完全には行われなかった。すなわち、空間的勾配のみが時間的距離により重み付けられた（式３－１）。

【0048】

以前の従来技術手法では、特にＬＤＢ（低遅延双方向予測プロファイル）において使用される非対称双方向予測のための適応化重み付けに準拠する方法が開示されている。したがって、非対称双方向予測の重みを実施するＢＤＯＦ処理の適応が望ましい。加えて、以前の従来技術手法のテストモデルソフトウェアは、最終ＢＤＯＦ式３－６内のＧＢＩ重みを単純に考慮することによる潜在的ＧＢＩ及びＢＤＯＦ統一化を含んでいた。ＧＢＩ及びＢＤＯＦ統一化方法の改良も望ましい。

【0049】

ＢＤＯＦ処理を重み付け予測に適応させる方法の少なくとも１つの実施形態
上に提示された制限に対処するために、以下を行う少なくとも１つの実施形態が開示される。
－ ビット深度制約を考慮してＧＢＩ重み付けをＢＤＯＦ処理に取り込むこと。
－ ＧＢＩ制約及び非対称双方向予測制約の両方の制約の重み付けを統一すること。

【0050】

したがって、ＢＤＯＦをＧＢＩ重み付けに適応させる方法の少なくとも１つの実施形態は、
－ 開示されたオフセット／シフトのためにＢＩＯ＋ＧＢＩ重み付け性能を改善すること、
－ 非重み付け予測の精度を失うことなく予測重み付けをＢＩＯ処理内に含めること、
－ 最大精度を維持するために、予測サンプル重み付けの代わりに予測重み付けをＢＩＯ処理内に含めること、
－ 記憶ビット深度を低く維持するためにＢＩＯ処理期間中の重み付けを近似すること（以下の実施形態において説明される量子化を介して）
を可能にする。

【0051】

図９は、特定の実施形態による重み付け予測のためのインター予測における双方向オプティカルフロー処理の例示的フローチャートを示す。有利には、双方向オプティカルフロー処理は、符号化方法、復号方法、符号器又は復号器の任意のインター予測に適用される。前に説明したように、双方向オプティカルフロー処理は、インター予測のサンプル単位の精緻化を含み、ここで、補正項ｂが双方向予測サンプル値を調整するために使用される。本原理によると、双方向オプティカルフローは、重み付け予測に適応され、少なくとも双方向オプティカルフローの式は、画像の一部の重み付け予測における等しくない重みについて修正される。非限定的な例によると、重み付け予測は、一般化双方向予測、コーディングユニットレベル重みによる双方向予測、画像レベル重みによる重み付け予測、画像距離に基づく重み付け双方向予測の１つである。後に詳述されるように、様々な特性に従って双方向オプティカルフロー式を修正することは、重み付け予測において使用される重みをビット深度シフトすること、重み付け予測において使用される重みを定量化すること又は重み付け予測において使用される重みから、画像の一部の予測に適用する修正重みを導出することを含む。

【0052】

図９に示し、且つＢＤＯＦ式４－ｘ及び式５－ｘにより説明されるように、双方向オプティカルフローは、画像の一部の第１の予測Ｉ⁽⁰⁾及び第２の予測Ｉ⁽¹⁾にアクセスする予備工程Ｓ１１０、重み付け予測の重みにアクセスする別の予備工程Ｓ１２０並びに精緻化された予測ｐｒｅｄ_BDOF（ｘ，ｙ）を取得するために第１の予測Ｉ⁽⁰⁾、第２の予測Ｉ⁽¹⁾及び重みω₀、ω₁を入力として使用して修正双方向オプティカルフローを適用することを含む。

【0053】

ＢＤＯＦ処理をＧＢｉ重み付けに適応させる方法の少なくとも１つの第１の実施形態
第１の実施形態の特定の変形形態によると、ＧＢＩの重み付けは、簡略化される。第１の実施形態のこの変形形態では、本発明者らは、画像の任意の重み付けに由来する画像に対する重み付けを考慮し、通常、ＧＢＩ重みが画像に適用される。

【0054】

第１の実施形態の特定の変形形態によると、全ＢＩＯ処理のために重みを入力予測に対して適用する代わりに、最終式３－６のみが修正される。
ｐｒｅｄ_BDOF（ｘ，ｙ）＝（２（ω₀Ｉ⁽⁰⁾（ｘ，ｙ）＋ω₁Ｉ⁽¹⁾（ｘ，ｙ））／（ω₀＋ｗ１）＋ｂ（ｘ，ｙ）＋ο_offset）＞＞シフト
ここで、ω₀及びω₁は、ＧＢＩ重みであり、通常、３ビット重みである。

【0055】

有利には、精度を増加するために、式は、以下のように書き換えられ、ここで、ω₀、ω₁は、ＧＢＩの分子である（表１を参照されたい）。
ｐｒｅｄ_BDOF（ｘ，ｙ）＝（（ω₀Ｉ⁽⁰⁾（ｘ，ｙ）＋ω₁Ｉ⁽¹⁾（ｘ，ｙ））＋（ｂ（ｘ，ｙ）＜＜シフト２）＋ο_offset）＞＞シフト
ここで、新しい値は、
シフト＝BITDEPTHINTERNAL－ビット深度＋ＧｂｉＢｄ
シフト２＝ＧｂｉＢｄ
ο_offset＝（（１＜＜（シフト－１））＋OFFSETINTERNAL＜＜ＧｂｉＢｄ）＋（１＜＜（シフト２－１））
である。

【0056】

新しいオフセットは、ここで、ＢＩＯ補正項最終シフトを考慮に入れるために、丸め込みのための補正係数を取り込むことに留意されたい。

【0057】

有利には、修正式３－６内のシフト２によるシフトを避けるために、
ｐｒｅｄ_BDOF（ｘ，ｙ）＝（（ω₀Ｉ⁽⁰⁾（ｘ，ｙ）＋ω₁Ｉ⁽¹⁾（ｘ，ｙ））＋（ｂ（ｘ，ｙ）＜＜シフト２）＋ο_offset）＞＞シフト
である。

【0058】

本処理は、ｂ補正係数の計算を変更することによりさらに簡略化される。実際、ｂ係数は、シフト２（通常、シフト２＝３）だけシフトされる。

【0059】

式３－５から、

【数11】

２による除算及び丸め込みが除去され、以下の式を得る。

【数12】

【0060】

次に、ｖ_x係数及びｖ_y係数は、（シフト２－１）だけさらにシフトされる（式３－５内の除算の除去が既に１ビット除去したため）。次に、式３－４内のシフト演算は、以下のようにさらに適応される。

【数13】

ここで、
Ｌ０＝［log₂S₁］－（シフト－１）
Ｌ１＝［log₂S₅］－（シフト－１）
である。

【0061】

したがって、ｔｈ’_BIOは、元の閾値と比較して適応され得る。

【0062】

本実施形態は、有利には、式３－５における除算（又はシフト）を避け、且つ係数ｖ_x、ｖ_yの精度を増加する。全体として、複雑性は、全ＧＢＩ及びＢＩＯ組み合わせと比較して低減され、性能は、ＢＩＯの最後の工程のＧＢＩとＢＩＯとの単純な組み合わせのみと比較して改善される。

【0063】

ＢＩＯ処理を非対称双方向予測に適応させる方法の少なくとも１つの第２の実施形態
この少なくとも１つの第２の実施形態では、本発明者らは、画像に対する重み付けが、通常、画像間の（非対称）時間的距離に由来すると考える。

【0064】

元のＢＩＯ式では、各予測画像に対する重みを考慮することで式（３－ｘ）における以下の変更に到り、他の式は、“Bi-directional optical flow for future codec”by A. Alshin, E. Alshina in DCC 2016において開示されたものと同じままである。

【0065】

空間的勾配：

【数14】

【0066】

ＢＩＯ補正：

【数15】

【0067】

エルミート補間による最終重み付け：

【数16】

【0068】

少なくとも１つの第２の実施形態の変形形態では、一定ビット深度がＢＩＯ重み付けに関して維持される。内部格納のための同じビット深度（式４－１における勾配に対応する）を維持することでＢＩＯ処理が適応される。本発明者らは、１ビットに対する重み付け（重みは、以下の２つの値：１又は２を取り得る）を有する１つの非限定的な例の処理を示す。

【0069】

この例では、本発明者らは、重みが値１又は２（任意選択的に極性を有する）のみを取り得ると仮定する。本発明者らは、Ｍ＝（１＜＜ｎ）＝２と定義する。

【0070】

空間的勾配：
式は、以下のように変更される。

【数17】

【0071】

ｍの値は、以下のように計算される。
ｐ＝ｍｉｎ（｜ω₀｜，｜ω₁｜）

【数18】

ここで、クリップ関数clip（ｘ，ａ，ｂ）は、値ｘをａとｂとの間にクリップし、ａ／ｂは、整数除算を表す。

【数19】

【0072】

第１のケース（ａ）では、ＢＩＯ処理は、通常処理と比較して不変である。

【0073】

第２のケースでは、空間的勾配は、最小重みによる空間的勾配が元の空間的勾配の半分になるように重み付けられ、最大重みによる空間的勾配は、変更されない。

【0074】

ｎ＝１，（Ｍ＝２），ω₀＝２、ω₁＝６の例：

【数20】

【0075】

重み計算のための変形形態
最大重みと最小重みとの間のスケール係数は、量子化され得る。例えば、最大重みω_c及びスケール係数の２の量子化により、本発明者らは、以下の式を得る。

【数21】

【0076】

例えば、スケール係数量子化なしのｎ＝１，（Ｍ＝２），ω₀＝２、ω₁＝４では、結果は、以下のようになる。

【数22】

【0077】

２のスケール係数により、結果は、以下のようになる。

【数23】

【0078】

Ｂｉｏ補正
ｂｉｏ補正項は、以下のように修正される。

【数24】

【0079】

重みがｎ＝１ビットでコード化されるため、

【数25】

は、最大で４であり、シフト演算を使用して行われ得る。

【0080】

項（ω₀’＋ω₁）²は、以下のいずれかであり得る。
－ 重みが（１に）等しい場合には４であり、除算は、ビットシフトを使用して行われるか、又は
－ ９（重みが１に等しく、且つ他のものが２に等しい場合）。この場合、除算は、８による除算（ビットシフトを使用する）により近似され、最大重みは、３（４の代わりに）により２乗近似される。

【0081】

例：

【数26】

【0082】

最終重み付け：

【数27】

【0083】

最終重み付けでは、重みは、除算の代わりにビットシフト演算を使用するために変更される。等しい重みの場合、この処理は、不変である。本発明者らは、１つのケースの処理を説明した（他のケースは、対称的なものである）。

【0084】

例：

【数28】

【0085】

追加実施形態及び情報
本出願は、ツール、特徴、実施形態、モデル、手法などを含む様々な態様を説明する。これらの態様の多くは、特異性により説明されるが、少なくとも個々の特徴を示すために限定するように思われる得る方法で多くの場合に説明される。しかし、これは、説明における明暸性のためであり、したがってこれらの態様の用途又は範囲を限定しない。実際、様々な態様のすべては、別の態様を提供するために組み合わされ得るか又はそれと交換され得る。さらに、態様は、以前の出願において説明された態様と組み合わされ得るか又はそれと交換され得る。

【0086】

本出願において説明及び企図された態様は、多くの異なる形式で実施され得る。以下の図６、７、８は、一部の実施形態を提供するが、他の実施形態が企図され、したがって、図６、７、８の論述は、実装形態の範囲を限定しない。態様の少なくとも１つは、概して、映像符号化及び復号に関し、少なくとも１つの他の態様は、概して、生成又は符号化されるビットストリームを送信することに関する。これら及び他の態様は、方法、装置、コンピュータ可読記憶媒体であって、説明された方法のいずれかによって映像データを符号化若しくは復号するための命令をその上に格納したコンピュータ可読記憶媒体及び／又はコンピュータ可読記憶媒体であって、説明された方法のいずれかによって生成されたビットストリームをその上に格納したコンピュータ可読記憶媒体として実施され得る。

【0087】

本出願では、用語「再構築された」及び「復号された」は、交換可能に使用され得、用語「ピクセル」及び「サンプル」は、交換可能に使用され得、用語「画像」、「ピクチャ」及び「フレーム」は、交換可能に使用され得る。一般的に、しかし必ずしもではなく、用語「再構築された」は、符号器側において使用される一方、「復号された」は、復号器側において使用される。様々な方法が本明細書において説明され、上記の方法のそれぞれは、説明された方法を実現するための１つ又は複数の工程又は行為を含む。特定の順番の工程又は行為が本方法の適切な動作に必要でない限り、特定の工程及び／又は行為の順番及び／又は使用は、修正され得るか又は組み合わされ得る。

【0088】

本出願において説明された様々な方法及び他の態様は、モジュール（例えば、図６及び図７に示すような映像符号器１００及び復号器２００の動き補償モジュール（１７０）並びに動き推定モジュール（１７５、２７５））を修正するために使用され得る。さらに、本態様は、ＶＶＣ又はＨＥＶＣに限定されず、したがって例えば他の標準及び勧告（既存であるか又は将来開発されるかに関わらず）並びに任意のこのような標準及び勧告の拡張（ＶＶＣ及びＨＥＶＣを含む）に適用され得る。別途指示されない限り又は技術的に排除されない限り、本出願において説明される態様は、個々に使用され得るか又は組み合わせで使用され得る。

【0089】

様々な数値が本出願において使用される。特定の値は、例示的目的のためのものであり、したがって、説明される態様は、これらの特定の値に限定されない。

【0090】

図６は、符号器１００を示す。この符号器１００の変形形態が企図されるが、符号器１００は、すべての予測される変形形態を説明することなく、明暸性のために以下に説明される。

【0091】

符号化される前に、映像シーケンスは、前符号化処理（１０１）、例えば色変換（例えば、ＲＧＢ ４：４：４からＹＣｂＣｒ ４：２：０への変換）を入力カラーピクチャに適用すること又は圧縮に対してより弾力性がある信号分配を得るために入力ピクチャ成分の再マッピングを行う（例えば、色成分の１つの色成分のヒストグラム等化を使用して）ことを経由し得る。メタデータは、前処理に関連付けられ、ビットストリームに添付され得る。

【0092】

符号器１００では、ピクチャは、以下に述べるように符号器要素により符号化される。符号化されるピクチャは、分割され（１０２）、且つ例えばＣＵの単位で処理される。各単位は、例えば、イントラモード又はインターモードのいずれかを使用して符号化される。１単位がイントラモードにおいて符号化されると、符号器１００は、イントラ予測を行う（１６０）。インターモードでは、動き推定（１７５）と動き補償（１７０）とが行われる。符号器（１０５）は、その単位を符号化するためにイントラモード又はインターモードのいずれを使用すべきかを判断し、且つ例えば予測モードフラグによりイントラ／インター判断を指示する。予測残差は、例えば、元画像ブロックから予測ブロックを減じる（１１０）ことにより計算される。

【0093】

次に、予測残差は、変換され（１２５）、且つ量子化される（１３０）。量子化された変換係数並びに動きベクトル及び他の構文要素は、エントロピー符号化され（１４５）、ビットストリームを出力する。符号器は、この変換をスキップし、且つ変換されなかった残留信号に量子化を直接適用し得る。符号器は、変換及び量子化の両方をバイパスし得、すなわち、残差は、変換処理又は量子化処理の適用なしに直接コード化される。

【0094】

符号器は、さらなる予測のための基準を提供するために、符号化されたブロックを復号する。量子化された変換係数は、逆量子化され（１４０）、且つ予測残差を復号するために逆変換される（１５０）。復号された予測残差と予測されたブロックとを組み合わせる（１５５）ことで画像ブロックが再構築される。インループフィルタ（１６５）は、例えば、符号化アーチファクトを低減するためにデブロッキング／ＳＡＯ（サンプル適応化オフセット）フィルタリングを行うために、再構築された画像に適用される。フィルタリングされた画像は、基準ピクチャバッファ（１８０）に格納される。

【0095】

図７は、映像復号器２００のブロック図を示す。復号器２００では、ビットストリームは、以下に述べるように復号器要素により復号される。映像復号器２００は、一般的に、図６において説明した符号化パスに対して相反な復号パスを行う。符号器１００は、一般的に、映像データの符号化の一部として映像復号も行う。

【0096】

特に、復号器の入力は、映像符号器１００により生成され得る映像ビットストリームを含む。ビットストリームは、最初に、変換係数、動きベクトル及び他のコード化情報を取得するためにエントロピー復号される（２３０）。ピクチャ分割情報は、どのように画像が分割されるかを指示する。したがって、復号器は、復号されたピクチャ分割情報に従ってピクチャを分割し得る（２３５）。変換係数は、逆量子化され（２４０）、且つ予測残差を復号するために逆変換される（２５０）。復号された予測残差と予測ブロックとを組み合わせる（２５５）ことで画像ブロックが再構築される。予測ブロックは、イントラ予測（２６０）又は動き補償予測（すなわちインター予測）（２７５）から取得され得る（２７０）。インループフィルタ（２６５）は、再構築された画像に適用される。フィルタリングされた画像は、基準ピクチャバッファ（２８０）に格納される。復号されたピクチャは、後復号処理（２８５）（例えば、逆色変換（例えば、ＹＣｂＣｒ ４：２：０からＲＧＢ ４：４：４への変換）又は前符号化処理（１０１）において行われた再マッピング処理の逆を行う逆再マッピング）をさらに経由し得る。後復号処理は、前符号化処理において導出され、且つビットストリームで信号伝達されるメタデータを使用し得る。

【0097】

図７は、様々な態様及び実施形態が実施されるシステムの例のブロック図を示す。システム１０００は、以下に説明される様々な部品を含むデバイスとして具現化され得、本明細書に記載された態様の１つ又は複数を行うように構成されている。このようなデバイスの例は、限定しないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルＴＶ受信機、パーソナル映像記録システム、インターネット家電、サーバなどの様々な電子デバイスを含む。システム１０００の要素（単独での又は組み合せにおける）は、単一の集積回路（ＩＣ）、複数のＩＣ及び／又は個別部品で具現化され得る。例えば、少なくとも１つの実施形態では、システム１０００の処理要素及び符号器／復号器要素は、複数のＩＣ及び／又は個別部品にわたって分散される。様々な実施形態では、システム１０００は、例えば、通信バスを介して又は専用入力及び／又は出力ポートを介して１つ又は複数の他のシステム又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム１０００は、本明細書に記載された態様の１つ又は複数を実施するように構成されている。

【0098】

システム１０００は、例えば、本明細書に記載された様々な態様を実施するためにその中にロードされた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、埋め込みメモリ、入出力インターフェース及び当技術分野において知られた様々な他の回路系を含み得る。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイス及び／又は不揮発性メモリデバイス）を含む。システム１０００は、限定しないが、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュ、磁気ディスクデバイス及び／又は光ディスクドライブを含む不揮発性メモリ及び／又は揮発性メモリを含み得る記憶デバイス１０４０を含む。記憶デバイス１０４０は、非限定的な例として、内部記憶デバイス、取り付け型記憶デバイス（取り外し可能又は取り外し不能記憶デバイスを含む）及び／又はネットワークアクセス可能記憶デバイスを含み得る。

【0099】

システム１０００は、例えば、符号化された映像又は復号された映像を提供するためにデータを処理するように構成された符号器／復号器モジュール１０３０を含む。符号器／復号器モジュール１０３０は、それ自体のプロセッサ及びメモリを含み得る。符号器／復号器モジュール１０３０は、符号化及び／又は復号機能を行うためにデバイスに含まれ得るモジュールを表す。知られているように、デバイスは、符号化モジュール及び復号モジュールの一方又は両方を含み得る。加えて、符号器／復号器モジュール１０３０は、システム１０００の別個の要素として実現され得るか、又は当業者に知られているようにハードウェアとソフトウェアとの組み合わせとしてプロセッサ１０１０内に取り込まれ得る。

【0100】

本明細書に記載された様々な態様を行うためにプロセッサ１０１０又は符号器／復号器１０３０にロードされるプログラムコードは、記憶デバイス１０４０内に格納され、その後、プロセッサ１０１０による実行のためにメモリ１０２０にロードされ得る。様々な実施形態によると、プロセッサ１０１０、メモリ１０２０、記憶デバイス１０４０及び符号器／復号器モジュール１０３０の１つ又は複数は、本明細書に記載された処理の実行中に１つ又は複数の様々なアイテムを格納し得る。このような格納されるアイテムは、限定しないが、入力された映像、復号された映像又は復号された映像の一部、ビットストリーム、行列、変数並びに式、公式、演算及び演算論理の処理からの中間又は最終結果を含み得る。

【0101】

一部の実施形態では、プロセッサ１０１０及び／又は符号器／復号器モジュール１０３０の内部のメモリは、命令を格納するために且つ符号化又は復号中に必要とされる処理の作業メモリを提供するために使用される。しかし、他の実施形態では、処理デバイスの外のメモリ（例えば、処理デバイスは、プロセッサ１０１０又は符号器／復号器モジュール１０３０のいずれかであり得る）がこれらの機能の１つ又は複数の機能のために使用される。外部メモリは、メモリ１０２０及び／又は記憶デバイス１０４０（例えば、ダイナミック揮発性メモリ及び／又は不揮発性フラッシュメモリ）であり得る。いくつかの実施形態では、外部不揮発性フラッシュメモリがテレビ（例えば）のオペレーティングシステムを格納するために使用される。少なくとも１つの実施形態では、ＲＡＭなどの高速外部ダイナミック揮発性メモリは、ＭＰＥＧ２（ＭＰＥＧは、動画専門家グループを指し、ＭＰＥＧ２は、ＩＳＯ／ＩＥＣ １３８１８とも呼ばれ、１３８１８－１は、Ｈ．２２２としても知られ、１３８１８－２は、Ｈ．２６２としても知られる）、ＨＥＶＣ（ＨＥＶＣは、Ｈ．２６５及びＭＰＥＧ－Ｈパート２としても知られる高効率映像コーディングを指す）又はＶＶＣ（ＪＶＥＴ（ジョイント映像専門家チーム）により開発されている新標準である汎用映像コーディング）などの映像コーディング及び復号操作のための作業メモリとして使用される。

【0102】

システム１０００の要素への入力は、ブロック１１３０内に指示される様々な入力デバイスを介して提供され得る。このような入力デバイスは、限定しないが、（ｉ）例えば、放送者により無線で送信されたＲＦ信号を受信する無線周波数（ＲＦ）部、（ｉｉ）部品（ＣＯＭＰ）入力端子（又はＣＯＭＰ入力端子の組）、（ｉｉｉ）ユニバーサルシリアルバス（ＵＳＢ）入力端子、及び／又は（ｉｖ）高精細度マルチメディアインターフェース（ＨＤＭＩ）入力端子を含む。図１０に示さない他の例は、コンポジットビデオ信号を含む。

【0103】

様々な実施形態では、ブロック１１３０の入力デバイスは、当技術分野において知られるような関連付けられたそれぞれの入力処理要素を有する。例えば、ＲＦ部は、（ｉ）所望周波数を選択する（信号を選択するか又は信号を周波数帯に帯域制限するとも言われる）ために、（ｉｉ）選択された信号をダウンコンバートするために、（ｉｉｉ）特定の実施形態ではチャネルと呼ばれ得る信号周波数帯域を（例えば）選択するために狭帯域の周波数に再び帯域制限するために、（ｉｖ）ダウンコンバートされ、帯域制限された信号を復調するために、（ｖ）誤り訂正を行うために、且つ（ｖｉ）データパケットの所望のストリームを選択するために逆多重化するために好適な素子に関連付けられ得る。様々な実施形態のＲＦ部は、これらの機能を行うために１つ又は複数の要素（例えば、周波数選択器、信号選択器、帯域制限器、チャネル選択器、フィルタ、ダウンコンバータ、復調器、誤り訂正器及び逆多重化器）を含む。ＲＦ部は、例えば、受信信号をより低い周波数（例えば、中間周波数若しくは近ベースバンド周波数）又はベースバンドにダウンコンバートすることを含む様々なこれらの機能を行う同調器を含み得る。１つのセットトップボックス実施形態では、ＲＦ部及びその関連する入力処理要素は、有線（例えば、ケーブル）媒体上で送信されるＲＦ信号を受信し、且つ所望周波数帯域にフィルタリング、ダウンコンバート及び再びフィルタリングすることにより周波数選択を行う。様々な実施形態は、上述の（及び他の）要素の順番を再配置するこれらの要素のいくつかを除去し、及び／又は同様若しくは異なる機能を行う他の要素を追加する。要素を追加することは、既存の要素間に要素を挿入すること（例えば、増幅器及びアナログ／デジタル変換器を挿入することなど）を含み得る。様々な実施形態では、ＲＦ部は、アンテナを含む。

【0104】

加えて、ＵＳＢ及び／又はＨＤＭＩ端子は、システム１０００をＵＳＢ及び／又はＨＤＭＩ接続部にわたって他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様（例えば、リードソロモン誤り訂正）は、例えば、必要に応じて別個の入力処理ＩＣ内又はプロセッサ１０１０内で実施され得ることが理解されるべきである。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の態様は、必要に応じて、別個のインターフェースＩＣ内又はプロセッサ１０１０内で実施され得る。復調、エラー訂正及び逆多重化ストリームは、出力デバイス上の提示のために必要に応じてデータストリームを処理するために、様々な処理要素（例えば、プロセッサ１０１０並びにメモリ及び記憶要素と組み合わせて動作する符号器／復号器１０３０を含む）に提供される。

【0105】

システム１０００の様々な要素は、一体化筐体内に設けられ得る。一体化筐体内では、様々な要素は、相互接続され得、好適な接続配置１１４０（例えば、ＩＣ間（Ｉ２Ｃ）バス、配線及びプリント回路基板を含む、当技術分野において知られた内部バス）を使用してデータをその間で送信し得る。

【0106】

システム１０００は、通信チャネル１０６０を介した他のデバイスとの通信を可能にする通信インターフェース１０５０を含む。通信インターフェース１０５０は、限定しないが、通信チャネル１０６０上でデータを送信及び受信するように構成された送受信器を含み得る。通信インターフェース１０５０は、限定しないが、モデム又はネットワークカードを含み得、通信チャネル１０６０は、例えば、有線媒体及び／又は無線媒体内で実現され得る。

【0107】

データは、Wi-Fiネットワーク（例えば、ＩＥＥＥ ８０２．１１：ＩＥＥＥは、電気電子技術者協会を指す）などの無線ネットワークを使用することにより、様々な実施形態においてシステム１０００にストリーミングされるか又は他に提供される。これらの実施形態のWi-Fi信号は、Wi-Fi通信に適応された通信チャネル１０６０及び通信インターフェース１０５０上で受信される。これらの実施形態の通信チャネル１０６０は、通常、ストリーミングアプリケーション及び他のオーバザトップ通信を可能にするインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態は、データを入力ブロック１１３０のＨＤＭＩ接続部上で送達するセットトップボックスを使用することにより、ストリームデータをシステム１０００に提供する。さらに他の実施形態は、入力ブロック１１３０のＲＦ接続部を使用することにより、ストリームデータをシステム１０００に提供する。上に示したように、様々な実施形態は、非ストリーミング的な方法でデータを提供する。加えて、様々な実施形態は、Wi-Fi以外の無線ネットワーク（例えば、セルラーネットワーク、ブルートゥースネットワーク）を使用する。

【0108】

システム１０００は、ディスプレイ１１００、スピーカ１１１０及び他の周辺デバイス１１２０を含む様々な出力デバイスに出力信号を提供し得る。様々な実施形態のディスプレイ１１００は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ及び／又は折り畳み可能ディスプレイの１つ又は複数を含む。ディスプレイ１１００は、テレビ、タブレット、ラップトップ、携帯電話（モバイルフォン）又は他のデバイスのためのものであり得る。ディスプレイ１１００はまた、他の部品（例えば、スマートフォン内の部品）と一体化され得るか又は別個（例えば、ラップトップの外部モニタ）であり得る。他の周辺デバイス１１２０は、実施形態の様々な例では、スタンドアロンディジタルビデオディスク（又はデジタルバーサタイルディスク）（両方ともＤＶＲと称する）、ディスクプレーヤ、ステレオシステム及び／又は照明システムの１つ又は複数を含む。様々な実施形態は、システム１０００の出力に基づいて機能を提供する１つ又は複数の周辺デバイス１１２０を使用する。例えば、ディスクプレーヤは、システム１０００の出力を再生する機能を行う。

【0109】

様々な実施形態では、制御信号は、AV.Link、消費者電子機器制御（ＣＥＣ）又はユーザ介入の有無にかかわらずデバイスツーデバイス制御を可能にする他の通信プロトコルなどのシグナリングを使用することにより、システム１０００と、ディスプレイ１１００、スピーカ１１１０又は他の周辺デバイス１１２０との間で伝達される。出力デバイスは、それぞれのインターフェース１０７０、１０８０、１０９０を介した専用接続部を介してシステム１０００に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース１０５０を介した通信チャネル１０６０を使用することにより、システム１０００に接続され得る。ディスプレイ１１００及びスピーカ１１１０は、例えば、テレビなどの電子デバイス内のシステム１０００の他の部品と共に単一のユニットに組み込まれ得る。様々な実施形態では、ディスプレイインターフェース１０７０は、例えば、タイミングコントローラ（Ｔ Ｃｏｎ）チップなどのディスプレイドライバを含む。

【0110】

ディスプレイ１１００及びスピーカ１１１０は、代替的に、例えば入力ブロック１１３０のＲＦ部が別個のセットトップボックスの一部である場合、他の部品の１つ又は複数から分離され得る。ディスプレイ１１００及びスピーカ１１１０が外部部品である様々な実施形態では、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート又はＣＯＭＰ出力を含む専用出力接続を介して提供され得る。

【0111】

実施形態は、プロセッサ１０１０若しくはハードウェア又はハードウェア及びソフトウェアの組み合わせによって実装されるコンピュータソフトウェアによって実行され得る。非限定的な例として、実施形態は、１つ又は複数の集積回路により実現され得る。メモリ１０２０は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースメモリデバイス、固定メモリ及び着脱可能メモリなどの任意の適切なデータ記憶技術を使用して実現され得る。プロセッサ１０１０は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、特殊用途コンピュータ及びマルチコアアーキテクチャに基づくプロセッサの１つ又は複数を包含し得る。

【0112】

様々な実装形態は、復号に関与する。本出願に使用される「復号」は、例えば、表示に好適な最終出力を生成するために、受信された符号化シーケンスに対して行われる処理のすべて又は一部を包含し得る。様々な実施形態では、このような処理は、復号器により通常行われる処理（例えば、エントロピー復号、逆量子化、逆変換及び差分復号）の１つ又は複数を含む。様々な実施形態では、このような処理は、同様に又は代替的に、本出願において説明される様々な実装形態の復号器により行われる処理（例えば、ＢＩＯ処理及び非対称双方向予測におけるＧＢＩ重み付けを含むインター予測を判断すること）を含む。

【0113】

別の例として、一実施形態では、「復号」は、エントロピー復号のみを指し、別の実施形態では、「復号」は、差分復号のみを指し、且つ別の実施形態では、「復号」は、エントロピー復号と差分復号との組み合わせを指す。語句「復号処理」が特に操作の部分集合又は一般的により広い復号処理を参照するように意図されているかは、特定の説明に関連して明らかとなり、したがって当業者により十分に理解されると考えられる。

【0114】

様々な実装形態は、符号化に関与する。「復号」に関する上記の論述と同様に、本出願において使用される「符号化」は、符号化されたビットストリームを生成するために、例えば入力映像シーケンスに対して行われる処理のすべて又は一部を包含し得る。様々な実施形態では、このような処理は、符号器により通常行われる処理（例えば、分割、差分符号化、変換、量子化及びエントロピー符号化）の１つ又は複数を含む。様々な実施形態では、このような処理は、同様に又は代替的に、本明細書で説明する様々な実装形態の符号器により行われる処理（例えば、ＢＩＯ処理及び非対称双方向予測におけるＧＢＩ重み付けを含むインター予測を判断すること）を含む。

【0115】

別の例として、一実施形態では、「符号化」は、エントロピー符号化のみを指し、別の実施形態では、「符号化」は、差分符号化のみを指し、別の実施形態では、「符号化」は、差分符号化とエントロピー符号化との組み合わせを指す。語句「符号化処理」が特に操作の部分集合又は一般的により広い符号化処理を参照するように意図されているかは、特定の説明に関連して明らかとなり、したがって当業者により十分に理解されると考えられる。

【0116】

本明細書において使用される構文要素は、記述的な用語であることに留意されたい。したがって、本明細書において使用される構文要素は、他の構文要素名の使用を妨げない。

【0117】

図がフロー図として提示される場合、図は、対応する装置のブロック図も提供することが理解されるべきである。同様に、図がブロック図として提示される場合、図は、対応する方法／処理のフロー図も提供することが理解されるべきである。

【0118】

本明細書で説明される実装形態及び態様は、例えば、方法若しくは処理、装置、ソフトウェアプログラム、データストリーム又は信号で実施され得る。単一の形式の実装形態に関連してのみ論述された（例えば、方法としてのみ論述された）としても、論述された特徴の実装形態は、他の形式（例えば、装置又はプログラム）でも実施され得る。装置は、例えば、適切なハードウェア、ソフトウェア及びファームウェアで実現され得る。本方法は、例えば、処理デバイス全般（例えば、コンピュータ、マイクロプロセッサ、集積回路又はプログラマブルロジックデバイスを含む）を指す、例えばプロセッサ内で実施され得る。プロセッサは、例えば、コンピュータ、携帯電話、携帯／個人用デジタル補助装置（ＰＤＡ）及びエンドユーザ間の情報の伝達を容易にする他のデバイスなどの通信装置も含む。

【0119】

「一実施形態」、又は「実施形態」、又は「一実装形態」、又は「実装形態」及び他の変形への参照は、実施形態に関連して説明される特定の機能、構造又は特徴等が少なくとも一実施形態に含まれることを意味する。したがって、本出願の全体にわたって様々な箇所に出現する語句「一実施形態において」、又は「実施形態において」、又は「一実装形態において」、又は「実装形態において」及び任意の他の変形の出現は、必ずしも同じ実施形態を参照するとは限らない。

【0120】

加えて、本出願は、様々な情報を「判断する」ことに言及し得る。情報を判断することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること又はメモリから情報を取り出すことの１つ又は複数を含み得る。

【0121】

さらに、本出願は、様々な情報に「アクセスする」ことに言及し得る。情報にアクセスすることは、例えば、情報を受信すること、情報を（例えば、メモリから）取り出すこと、情報を格納すること、情報を移動すること、情報を複製すること、情報を計算すること、情報を判断すること、情報を予測すること又は情報を推定することの１つ又は複数を含み得る。

【0122】

加えて、本出願は、様々な情報を「受信すること」に言及し得る。受信することは、「アクセスすること」と同様に広義語であるように意図されている。情報を受信することは、例えば、情報にアクセスすること又は情報を（例えば、メモリから）取り出すことの１つ又は複数を含み得る。さらに、「受信すること」は、通常、例えば情報を格納すること、情報を処理すること、情報を送信すること、情報を移動すること、情報を複製すること、情報を消去すること、情報を計算すること、情報を判断すること、情報を予測すること又は情報を推定することなどの動作中に何らかの方法で関与する。

【0123】

例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも１つ」の場合における「／」、「及び／又は」及び「少なくとも１つ」の任意のものの使用は、第１の列記された選択肢（Ａ）のみの選択、又は第２の列記された選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含するように意図されていることが理解されるべきである。別の例として、「Ａ、Ｂ及び／又はＣ」及び「Ａ、Ｂ及びＣの少なくとも１つ」の場合、このような語句は、第１の列記された選択肢（Ａ）のみの選択、又は第２の列記された選択肢（Ｂ）のみの選択、又は第３の列記された選択肢（Ｃ）のみの選択、又は第１及び第２の列記された選択肢（Ａ及びＢ）のみの選択、又は第１及び第３の列記された選択肢（Ａ及びＣ）のみの選択、又は第２及び第３の列記された選択肢（Ｂ及びＣ）のみの選択、又はすべての３つの選択肢（Ａ、及びＢ、及びＣ）の選択を包含するように意図されている。これは、当技術分野及び関連する技術分野の当業者に明らかであるように、列挙されたのと同じ数のアイテムまで拡張され得る。

【0124】

また、本明細書で使用されるように、単語「信号」は、とりわけ、対応する復号器に何らかを指示することを指す。例えば、特定の実施形態では、符号器は、インター予測処理における重み付けを可能にするための複数のパラメータの特定の１つ（例えば、シフト時に考慮されるビット深度）を信号で伝える。このようにして、一実施形態では、同じパラメータが符号器側及び復号器側の両方において使用される。したがって、例えば、符号器は、特定のパラメータを復号器が同じパラメータを使用し得るように復号器に送信し得る（明示的シグナリング）。逆に、復号器が特定のパラメータ及び他のパラメータも既に有する場合、シグナリングは、送信することなく（暗黙的シグナリング）、復号器が簡単に特定のパラメータを知り、且つ選択することを可能にするために使用され得る。いかなる実際機能の送信も避けることにより、ビット節約が様々な実施形態において実現される。シグナリングは、様々な方法で達成され得ることが認識されるべきである。例えば、１つ又は複数の構文要素、フラグ等が、様々な実施形態において対応する復号器に情報を信号で伝えるために使用される。上記は、単語「信号」の動詞形式に関連するが、単語「信号」は、名詞としても本明細書で使用され得る。

【0125】

当業者に明らかになるように、実装形態は、例えば、格納又は送信され得る情報を運ぶようにフォーマット化される多様な信号を生成し得る。情報は、例えば、方法を実行するための命令又は説明された実施形態の１つにより生成されるデータを含み得る。例えば、信号は、説明された実施形態のビットストリームを運ぶためにフォーマット化され得る。このような信号は、例えば、電磁波として（例えば、スペクトルの高周波部分を使用して）又はベースバンド信号としてフォーマット化され得る。フォーマット化は、例えば、データストリームを符号化することと、符号化データストリームにより搬送波を変調することとを含み得る。信号が運ぶ情報は、例えば、アナログ又はデジタル情報であり得る。信号は、知られているように、多様な有線又は無線リンク上で送信され得る。信号は、プロセッサ可読媒体上に格納され得る。

【0126】

本発明者らは、多くの実施形態について説明している。これらの実施形態の特徴は、様々な請求項のカテゴリ及びタイプ全体にわたって単独で又は任意の組み合わせで提供され得る。さらに、実施形態は、様々な請求項のカテゴリ及びタイプ全体にわたる以下の特徴、デバイス又は態様の１つ又は複数を単独で又は任意の組み合わせで含み得る。
・復号器及び／又は符号器において適用されるパラメータの重み付けを可能にするインター予測処理を修正すること。
・復号器及び／又は符号器において適用される一般化双方向予測重み付けへの適応のためのインター予測処理における双方向オプティカルフローを修正すること。
・復号器及び／又は符号器における修正された双方向オプティカルフロー内のビット深度シフトを可能にすること。
・復号器及び／又は符号器における修正された双方向オプティカルフロー内の重み付けを近似／定量化すること可能にすること。
・復号器及び／又は符号器における修正された双方向オプティカルフロー内の予測サンプル重み付けの代わりに予測重み付けを使用すること。
・復号器及び／又は符号器において適用されるインター予測処理におけるＧＢＩ及び非対称双方向予測の両方のための重み付けを修正及び／又は統一すること。
・使用する修正されたインター予測方法における重み付けを復号器が識別することを可能にするシグナリング構文要素を挿入すること。
・復号器において適用される修正されたインター予測方法をこれらの構文要素に基づいて選択すること。
・説明された構文要素又はその変形形態の１つ又は複数を含むビットストリーム又は信号。
・説明した実施形態の任意の実施形態に従って生成された情報を運ぶ構文を含むビットストリーム又は信号。
・符号器により使用されるものに対応する方法でインター予測方法を復号器が修正することを可能にするシグナリング構文要素を挿入すること。
・説明された構文要素又はその変形形態の１つ又は複数を含むビットストリーム又は信号を生成、及び／又は送信、及び／又は受信、及び／又は復号すること。
・説明された実施形態の任意の実施形態に従って生成、及び／又は送信、及び／又は受信、及び／又は復号すること。
・説明された実施形態の任意の実施形態に従って命令を格納する方法、処理、装置、媒体、データ又は信号を格納する媒体。
・説明された実施形態の任意の実施形態に従ってインター予測方法の適応を行うテレビ、セットトップボックス、携帯電話、タブレット又は他の電子デバイス。
・説明された実施形態の任意の実施形態に従ってインター予測方法の適応を行い、且つ結果画像を表示する（例えば、モニタ、画面又は他のタイプのディスプレイを使用して）テレビ、セットトップボックス、携帯電話、タブレット又は他の電子デバイス。
・説明された実施形態の任意の実施形態に従い、符号化された画像を含む信号を受信するためにチャネルを選択し（例えば、同調器を使用することにより）、且つインター予測方法の適応を行うテレビ、セットトップボックス、携帯電話、タブレット又は他の電子デバイス。
・説明された実施形態の任意の実施形態に従い、符号化された画像を含む信号を無線で受信し（例えば、アンテナを使用することにより）、且つインター予測方法の適応を行うテレビ、セットトップボックス、携帯電話、タブレット又は他の電子デバイス。
［付記１］
画像の一部を符号化する方法であって、
双方向オプティカルフローを使用したサンプル単位の精緻化（Ｓ１３０）
を含み、少なくとも前記双方向オプティカルフローの式は、前記画像の前記一部の重み付け予測における等しくない重みについて修正される、方法。
［付記２］
画像の一部を復号する方法であって、
双方向オプティカルフローを使用したサンプル単位の精緻化（Ｓ１３０）
を含み、少なくとも前記双方向オプティカルフローの式は、前記画像の前記一部の重み付け予測における等しくない重みについて修正される、方法。
［付記３］
画像の一部を符号化する装置であって、
１つ又は複数のプロセッサであって、双方向オプティカルフローを使用してサンプル単位の精緻化を行うように構成されている１つ又は複数のプロセッサ
を含み、少なくとも前記双方向オプティカルフローの式は、前記画像の前記一部の重み付け予測における等しくない重みについて修正される、装置。
［付記４］
画像の一部を復号する装置であって、
１つ又は複数のプロセッサであって、双方向オプティカルフローを使用してサンプル単位の精緻化を行うように構成されている１つ又は複数のプロセッサ
を含み、少なくとも前記双方向オプティカルフローの式は、前記画像の前記一部の重み付け予測における等しくない重みについて修正される、装置。
［付記５］
重み付け予測は、一般化双方向予測、コーディングユニットレベル重みによる双方向予測、画像レベル重みによる重み付け予測、画像距離に基づく重み付け双方向予測の１つである、付記１若しくは２に記載の方法又は付記３若しくは４に記載の装置。
［付記６］
前記少なくとも１つの双方向オプティカルフロー式を修正することは、前記重み付け予測において使用される前記等しくない重みをビット深度シフトすることを含む、付記１、２若しくは５のいずれか一項に記載の方法又は付記３～５のいずれか一項に記載の装置。
［付記７］
前記少なくとも１つの双方向オプティカルフロー式を修正することは、前記重み付け予測において使用される前記等しくない重みを定量化することを含む、付記１、２又は５若しくは６のいずれか一項に記載の方法或いは付記３～６のいずれか一項に記載の装置。
［付記８］
前記少なくとも１つの双方向オプティカルフロー式を修正することは、重み付け予測において使用される前記等しくない重みから、前記画像の前記一部の予測に適用する修正重みを導出することを含む、付記１、２若しくは５～７のいずれか一項に記載の方法又は付記３～７のいずれか一項に記載の装置。
［付記９］
コンピュータプログラム製品であって、１つ又は複数のプロセッサによって実行されると、付記１、２又は５～８のいずれか一項に記載の方法を行うためのコンピューティング命令を含むコンピュータプログラム製品。
［付記１０］
非一時的コンピュータ可読媒体であって、１つ又は複数のプロセッサによって実行されると、付記１、２又は５～８のいずれか一項に記載の方法を行うための命令をその上に格納した非一時的コンピュータ可読媒体。
［付記１１］
双方向オプティカルフローを使用してサンプル単位の精緻化を行うことによって形成される、画像の符号化された部分を含む信号であって、少なくとも前記双方向オプティカルフローの式は、前記画像の前記部分の重み付け予測における等しくない重みについて修正される、信号。
［付記１２］
非一時的コンピュータ可読媒体であって、プロセッサを使用した再生のための、付記３～８のいずれか一項に記載の装置又は付記１、２若しくは４～８いずれか一項に記載の方法によって生成されたデータコンテンツを含む非一時的コンピュータ可読媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】