(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】適応動きベクトル解像度によるアフィンモードへの構文の使用
(51)【国際特許分類】
H04N 19/70 20140101AFI20241008BHJP
H04N 19/52 20140101ALI20241008BHJP
【FI】
H04N19/70
H04N19/52
【外国語出願】
(21)【出願番号】P 2023002631
(22)【出願日】2023-01-11
(62)【分割の表示】P 2021513387の分割
【原出願日】2019-09-19
【審査請求日】2023-01-31
(31)【優先権主張番号】PCT/CN2018/106513
(32)【優先日】2018-09-19
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2019/074433
(32)【優先日】2019-02-01
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Beijing Bytedance Network Technology Co., Ltd.
【住所又は居所原語表記】Room B-0035, 2/F, No.3 Building, No.30, Shixing Road, Shijingshan District Beijing 100041 China
(73)【特許権者】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】リウ ホンビン
(72)【発明者】
【氏名】ジャン リー
(72)【発明者】
【氏名】ジャン カイ
(72)【発明者】
【氏名】ワン ユエ
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第2019/235896(WO,A1)
【文献】米国特許出願公開第2018/0098089(US,A1)
【文献】米国特許出願公開第2018/0098063(US,A1)
【文献】米国特許出願公開第2017/0332095(US,A1)
【文献】特表2018-524918(JP,A)
【文献】Yuwen He, Xiaoyu Xiu, and Yan Ye,CE4-related: Adaptive precision for affine MVD coding,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-L0259,12th Meeting: Macao, CN,2018年09月,pp.1-4
【文献】Hongbin Liu, et al.,CE4-related: Adaptive Motion Vector Resolution for Affine Inter Mode,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-L0332-v1,12th Meeting: Macao, CN,2018年09月,pp.1-3
【文献】Benjamin Bross, Jianle Chen, and Shan Liu,Versatile Video Coding (Draft 3),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-L1001 (version 9),12th Meeting: Macao, CN,2018年12月10日,pp.37-39,67-70,218-222
【文献】Hongbin Liu, et al.,CE2: Adaptive Motion Vector Resolution for Affine Inter Mode (Test 2.1.2),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-M0246_r1,13th Meeting: Marrakech, MA,2019年01月09日,pp.1-10
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
映像データを処理する方法であって、
第1の映像ブロックのコーディングモードがアフィンインターモードであることを判定することと、
前記第1の映像ブロックの動き情報に対して、複数の動き精度を含む動き精度セットから動き精度を判定することと、
判定された前記コーディングモードと判定された前記動き精度とに基づいて、前記第1の映像ブロックを
コーディングすることと、を含み、
複数の構文要素が、前記動き精度セット内の前記動き精度を示すために、映像ビットストリームに選択的に存在し、
前記複数の構文要素は、第1の構文要素及び第2の構文要素を含み、
前記第2の構文要素は、前記第1の構文要素が特定の値で前記映像ビットストリームに存在する場合、前記映像ビットストリームに存在し、
前記動き精度は、前記複数の構文要素のうちの1つ以上の構文要素が前記映像ビットストリームに存在することに関連し、
前記第1の映像ブロックの前記第1の構文要素が前記映像ビットストリームに存在するか否かが、1)アフィンインターコーディングブロックの複数の動きベクトル差(MVD)精度からの選択が有効であるか無効であるか、又は、2)前記第1の映像ブロックの制御点動きベクトルのMVD、のうち少なくとも1つに基づいている、
方法。
【請求項2】
前記複数の構文要素のうち少なくとも1つの構文要素の意味論は、非アフィンインターモードと前記アフィンインターモードとで異なる、
請求項1に記載の方法。
【請求項3】
前記第1の映像ブロックの全ての制御点動きベクトルの動きベクトル差(MVD)がゼロであることと、
前記アフィンインターコーディングブロックの複数のMVD精度が無効であることと、
のうち少なくとも1つの条件が満たされることに基づいて、前記第1の構文要素が前記映像ビットストリームに存在しない、
請求項1又は2に記載の方法。
【請求項4】
前記アフィンインターコーディングブロックの複数のMVD精度が有効であることと、
前記第1の映像ブロックの前記コーディングモードが前記アフィンインターモードとして判定されることと、
前記第1の映像ブロックの少なくとも1つの制御点動きベクトルの少なくとも1つの動きベクトル差が非ゼロであることと、
のうち少なくとも1つの条件が満たされることに基づいて、前記第1の構文要素が前記映像ビットストリームに存在する、
請求項1から3のいずれか1項に記載の方法。
【請求項5】
前記第1の映像ブロックの制御点動きベクトルの前記動きベクトル差(MVD)は、各制御点動きベクトルの各有効予測方向におけるMVDを含み、
前記MVDの水平成分及び垂直成分の両方がゼロである場合、前記MVDがゼロMVDである、
請求項1から4のいずれか1項に記載の方法。
【請求項6】
前記第1の映像ブロックの前記動き精度は、前記第1の構文要素が前記映像ビットストリームに存在しないこと、又は、前記第1の構文要素がゼロに等しいこと、に応じて、デフォルト精度である第1の動き精度である、
請求項1から5のいずれか1項に記載の方法。
【請求項7】
前記第1の動き精度は、1/4輝度サンプルである、
請求項6に記載の方法。
【請求項8】
前記第1の構文要素が非ゼロに等しいことと、
前記第1の映像ブロックの前記コーディングモードが前記アフィンインターモードであることと、
のうち少なくとも1つの条件が満たされることに基づいて、前記第2の構文要素が前記映像ビットストリームに存在する、
請求項1から7のいずれか1項に記載の方法。
【請求項9】
前記第2の構文要素は、前記動き精度が1/16輝度サンプルであることに対応してゼロに等しく、前記動き精度が整数輝度サンプルであることに対応して非ゼロに等しい、
請求項1から8のいずれか1項に記載の方法。
【請求項10】
前記第2の構文要素の同じ値は、前記アフィンインターモードでコーディングされたブロックと通常のインターモードでコーディングされたブロックとで異なる動き精度を示す、
請求項1から9のいずれか1項に記載の方法。
【請求項11】
前記第2の構文要素は、イントラブロックコピーモードでコーディングされたブロックに対する動き精度セットの動き精度を示すために映像ビットストリームに選択的に存在し、
前記第1の構文要素は、前記イントラブロックコピーモードでコーディングされたブロックに対してスキップされる、
請求項1から10のいずれか1項に記載の方法。
【請求項12】
前記第1の構文要素は、少なくとも1つのコンテキストモデル及び少なくとも1つのコンテキストの使用を含むコンテキストベースのコーディングを用いてコーディングされ、
少なくとも1つの同じコンテキストモデルは、前記アフィンインターモードでコーディングされたブロック及び通常のインターモードでコーディングされたブロックの両方の前記第1の構文要素に対して使用され、
コンテキストの選択は、前記ブロックの前記コーディングモードが前記アフィンインターモード又は前記通常のインターモードであるかどうかに依存する、
請求項1から11いずれか1項に記載の方法。
【請求項13】
前記第2の構文要素は、少なくとも1つのコンテキストモデル及び少なくとも1つのコンテキストの使用を含むコンテキストベースのコーディングを用いてコーディングされ、
少なくとも1つの同じコンテキストモデル及び少なくとも1つの同じコンテキストは、前記アフィンインターモードでコーディングされたブロック及び通常のインターモードでコーディングされたブロックの両方の前記第2の構文要素に使用される、
請求項1から12のいずれか1項に記載の方法。
【請求項14】
前記動き情報は、動きベクトル差(MVD)、動きベクトル予測子(MVP)、及び動きベクトル(MV)のうち少なくとも1つを含む、
請求項1から13のいずれか1項に記載の方法。
【請求項15】
前記コーディングは、前記第1の映像ブロックを前記映像ビットストリームに符号化することを含む、
請求項1から14のいずれか1項に記載の方法。
【請求項16】
前記コーディングは、映像ビットストリームから前記第1の映像ブロックを復号化することを含む、請求項1から14のいずれか1項に記載の方法。
【請求項17】
処理装置と、命令が記憶された非一時的メモリと、を備える映像処理装置であって、
前記命令、前記処理装置による実行時に、前記処理装置に、
第1の映像ブロックのコーディングモードがアフィンインターモードであることを判定することと、
前記第1の映像ブロックの動き情報に対して、複数の動き精度を含む動き精度セットから動き精度を判定することと、
判定された前記コーディングモードと判定された前記動き精度とに基づいて、前記第1の映像ブロックを
コーディングすることと、を実行させ、
複数の構文要素が、前記動き精度セット内の前記動き精度を示すために、映像ビットストリームに選択的に存在し、
前記複数の構文要素は、第1の構文要素及び第2の構文要素を含み、
前記第2の構文要素は、前記第1の構文要素が特定の値で前記映像ビットストリームに存在する場合、前記映像ビットストリームに存在し、
前記動き精度は、前記複数の構文要素のうちの1つ以上の構文要素が前記映像ビットストリームに存在することに関連し、
前記第1の映像ブロックの前記第1の構文要素が前記映像ビットストリームに存在するか否かが、1)アフィンインターコーディングブロックの複数の動きベクトル差(MVD)精度からの選択が有効であるか無効であるか、又は、2)前記第1の映像ブロックの制御点動きベクトルのMVD、のうち少なくとも1つに基づいている、
映像処理装置。
【請求項18】
命令を記憶する非一時的なコンピュータ可読記憶媒体であって、
前記命令は、処理装置に、
第1の映像ブロックのコーディングモードがアフィンインターモードであることを判定することと、
前記第1の映像ブロックの動き情報に対して、複数の動き精度を含む動き精度セットから動き精度を判定することと、
判定された前記コーディングモードと判定された前記動き精度とに基づいて、前記第1の映像ブロックを
コーディングすることと、を実行させ、
複数の構文要素が、前記動き精度セット内の前記動き精度を示すために、映像ビットストリームに選択的に存在し、
前記複数の構文要素は、第1の構文要素及び第2の構文要素を含み、
前記第2の構文要素は、前記第1の構文要素が特定の値で前記映像ビットストリームに存在する場合、前記映像ビットストリームに存在し、
前記動き精度は、前記複数の構文要素のうちの1つ以上の構文要素が前記映像ビットストリームに存在することに関連し、
前記第1の映像ブロックの前記第1の構文要素が前記映像ビットストリームに存在するか否かが、1)アフィンインターコーディングブロックの複数の動きベクトル差(MVD)精度からの選択が有効であるか無効であるか、又は、2)前記第1の映像ブロックの制御点動きベクトルのMVD、のうち少なくとも1つに基づいている、
非一時的なコンピュータ可読記憶媒体。
【請求項19】
映像のビットストリームを記憶する方法であって、
第1の映像ブロックのコーディングモードがアフィンインターモードであることを判定することと、
前記第1の映像ブロックの動き情報に対して、複数の動き精度を含む動き精度セットから動き精度を判定することと、
判定された前記コーディングモードと判定された前記動き精度とに基づいて、前記第1の映像ブロックを
コーディングすることと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することと、
を含み、
複数の構文要素が、前記動き精度セット内の前記動き精度を示すために、映像ビットストリームに選択的に存在し、
前記複数の構文要素は、第1の構文要素及び第2の構文要素を含み、
前記第2の構文要素は、前記第1の構文要素が特定の値で前記映像ビットストリームに存在する場合、前記映像ビットストリームに存在し、
前記動き精度は、前記複数の構文要素のうちの1つ以上の構文要素が前記映像ビットストリームに存在することに関連し、
前記第1の映像ブロックの前記第1の構文要素が前記映像ビットストリームに存在するか否かが、1)アフィンインターコーディングブロックの複数の動きベクトル差(MVD)精度からの選択が有効であるか無効であるか、又は、2)前記第1の映像ブロックの制御点動きベクトルのMVD、のうち少なくとも1つに基づいている、
方法。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2018年9月19日出願の国際特許出願PCT/CN2018/106513号、2019年2月1日出願の国際特許出願PCT/CN2019/074433号の優先権および利益を適時に主張することを目的とする。米国法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
【0002】
本特許明細書は、映像処理技術、デバイスおよびシステムに関する。
【背景技術】
【0003】
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像の受信および表示が可能な接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが期待される。
【発明の概要】
【0004】
デジタル映像コーディングに関し、具体的には、適応動きベクトル解像度(AMVR)を有するアフィンモードのための動きベクトル予測子の導出および信号通知に関するデバイス、システム、および方法を説明する。記載された方法は、既存の映像コーディング規格(例えば、高効率映像コーディング(HEVC))および将来の映像符号化規格またはビデオコーデックの両方に適用され得る。
【0005】
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在のブロックのコーディング表現と現在のブロックとの間で変換するために、現在の映像ブロックを含む映像領域に適用可能な許容される複数のMVD精度のセットから、変換に使用される動きベクトル差(MVD)精度を判定することと、MVD精度に基づいて変換を行うことと、を含む。
【0006】
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、1つの映像の1つ以上の映像ブロックおよびこの映像のコーディング表現を含む映像領域に対して、この映像領域におけるこの1つ以上の映像ブロックを変換するための複数の動きベクトル差(MVD)精度の使用を判定することと、この判定に基づいてこの変換を行うこととを含む。
【0007】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の1つ以上の映像ブロックおよび映像のコーディング表現を含む映像領域に対して、現在の映像ブロックと映像のコーディング表現との間で変換するために、現在の映像ブロックに適応動きベクトル解像度(AMVR)処理をどの適用するか否かを判定することと、この判定に基づいてこの変換を行うことと、を含む。
【0008】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の1つ以上の映像ブロックおよび映像のコーディング表現を含む映像領域に対して、現在の映像ブロックと映像のコーディング表現との間で変換するために、現在の映像ブロックに適応動きベクトル解像度(AMVR)処理をどのように適用するかを判定することと、この判定に基づいてこの変換を行うこと、とを含む。
【0009】
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、アフィンコーディングモードを用いる現在のコーディングユニットの親コーディングユニットのコーディングモードまたはアフィンコーディングモードのひずみ率(RD)コストに基づいて、映像の現在のブロックのコーディング表現と現在のブロックとの間で変換するために適応動きベクトル解像度(AMVR)の使用を判定することと、判定した結果に従って変換を行うことと、を含む。
【0010】
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在のブロックのコーディング表現と、高度動きベクトル予測(AMVP)コーディングモードを使用する現在のブロックとの間で変換するための適応動きベクトル解像度(AMVR)の使用量を、AMVPコーディングモードのひずみ率(RD)コストに基づいて判定することと、判定の結果に従って変換を行うことと、を含む。
【0011】
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在のブロックのコーディング表現と現在のブロックとの間で変換するために、4パラメータアフィンモデルまたは6パラメータアフィンモデルを使用してMV(動きベクトル)精度のセットを生成することと、MV精度のセットに基づいてこの変換を行うことと、を含む。
【0012】
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、アフィンコーディングモードを使用する現在のブロックの親ブロックのコーディングモードに基づいて、復号化時の動きベクトル解像度を改善するために適応動きベクトル解像度(AMVR)ツールを使用して変換を行うかどうかを判定することと、判定の結果に従って変換を行うことと、を含む。
【0013】
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、アフィンコーディングモードを使用して前にコーディングされた前のブロックのMV精度の使用に基づいて、現在のブロックのコーディング表現と現在のブロックとの間で変換するためにアフィンコーディングモードを使用する、現在のブロックのMV精度のひずみ率(RD)計算の終了を判定することと、この判定の結果に従って、変換を行うことと、を含む。
【0014】
別の代表的な態様において、上記方法は、処理装置が実行可能なコードの形式で実施され、コンピュータ可読プログラム媒体に記憶される。
【0015】
さらに別の代表的な態様では、上述した方法を行うように構成された、または行うように動作可能なデバイスが開示される。このデバイスは、この方法を実装するようにプログラムされた処理装置を含んでもよい。
【0016】
さらに別の代表的な態様では、ビデオデコーダ装置は、本明細書で説明されるような方法を実装し得る。
【0017】
開示される技術の上記および他の態様および特徴は、図面、説明および特許請求の範囲でより詳細に説明される。
【図面の簡単な説明】
【0018】
【
図3】空間的マージ候補の冗長性チェックの対象となる候補対の例を示す。
【
図4A】現在のブロックのサイズおよび形状に基づく第2の予測ユニット(PU)の位置の例を示す。
【
図4B】現在のブロックのサイズおよび形状に基づく第2の予測ユニット(PU)の位置の例を示す。
【
図5】時間的マージ候補のための動きベクトルのスケーリングの例を示す。
【
図6】時間マージ候補の候補位置の一例を示す図である。
【
図9】空間的動きベクトル候補のための動きベクトルのスケーリングの例を示す。
【
図10】コーディングユニット(CU)のために代替の時間的動きベクトル予測(ATMVP)アルゴリズムを使用する動き予測の例を示す。
【
図11】空間的-時間的動きベクトル予測(STMVP)アルゴリズムで使用されるサブブロックおよび近傍のブロックを有するコーディングユニット(CU)の例を示す。
【
図12】異なるMV精度でコーディングするための例示的なフローチャートを示す。
【
図13A】重複ブロック動き補償(OBMC)アルゴリズムを使用する場合のサブブロックの例示的なスナップショットを示す。
【
図13B】重複ブロック動き補償(OBMC)アルゴリズムを使用する場合のサブブロックの例示的なスナップショットを示す。
【
図14】局所照明補償(LIC)アルゴリズムのパラメータを導出するために使用される近傍のサンプルの例を示す。
【
図15】簡略化したアフィン動きモデルの一例を示す。
【
図16】サブブロックごとのアフィン動きベクトルフィールド(MVF)の例を示す。
【
図17】AF_INTERアフィン動きモードにおける動きベクトル予測(MVP)の例を示す。
【
図18A】それぞれ4パラメータおよび6パラメータアフィンモードの例を示す。
【
図18B】それぞれ4パラメータおよび6パラメータアフィンモードの例を示す。
【
図19A】AF_MERGEアフィン動きモードの候補の例を示す。
【
図19B】AF_MERGEアフィン動きモードの候補の例を示す。
【
図20】フレームレートアップ変換(FRUC)アルゴリズムに基づく特殊なマージモードである、パターンマッチング動きベクトル導出(PMMVD)モードにおけるバイラテラルマッチングの例を示す。
【
図21】FRUCアルゴリズムにおけるテンプレートマッチングの一例を示す。
【
図22】FRUCアルゴリズムにおけるユニラテラル動き推定の例を示す。
【
図23】双方向オプティカルフロー(BIO)アルゴリズムで使用されるオプティカルフローの軌跡の例を示す。
【
図24A】ブロック拡張なしの双方向オプティカルフロー(BIO)アルゴリズムを使用した例示的なスナップショットを示す。
【
図24B】ブロック拡張なしの双方向オプティカルフロー(BIO)アルゴリズムを使用した例示的なスナップショットを示す。
【
図25】バイラテラルテンプレートマッチングに基づくデコーダ側動きベクトル改良(DMVR)アルゴリズムの一例を示す。
【
図26A】開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。
【
図26B】開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。
【
図26C】開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。
【
図26D】開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。
【
図26E】開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。
【
図26F】開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。
【
図26G】開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。
【
図26H】開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。
【
図26I】開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。
【
図27】本明細書に記載されるビジュアルメディアの復号化またはビジュアルメディアの符号化技術を実装するためのハードウェアプラットフォームの一例を示すブロック図である。
【
図29】本明細書に記載される映像処理システムを実装するためのハードウェアプラットフォームの一例を示す別のブロック図である。
【発明を実施するための形態】
【0019】
より高い解像度の映像の需要が増大しているため、近代技術において、映像コーディング法および技術は、遍在している。ビデオコーデックは、一般的に、デジタル映像を圧縮または展開する電子回路またはソフトウェアを含み、より高いコーディング効率を提供するように絶えず改良されている。ビデオコーデックは、非圧縮映像を圧縮フォーマットに変換する、またはその逆である。映像の品質、映像を表現するために使用されるデータの数(ビットレートで決まる)、符号化および復号化アルゴリズムの複雑性、データの損失およびエラーに対する敏感さ、編集のしやすさ、ランダムアクセス、およびエンドツーエンドの遅延(待ち時間)の間には複雑な関係がある。この圧縮フォーマットは、通常、標準的な映像圧縮仕様、例えば、高効率映像コーディング(HEVC)規格(H.265またはMPEG-H Part2としても知られている)、完成させるべき汎用映像コーディング規格、または他の現在のおよび/または将来の映像コーディング基準に準拠する。
【0020】
開示される技術の実施形態は、圧縮性能を向上させるために、既存の映像コーディング規格(例えば、HEVC、H.265)および将来の規格に適用されてもよい。本明細書では、説明の可読性を向上させるために章の見出しを使用しており、説明または実施形態(および/または実装形態)をそれぞれの章のみに限定するものではない。
【0021】
1. HEVC/H.265におけるインター予測の例
【0022】
映像コーディング規格は、長年にわたって大幅に改善され、現在、部分的には、高いコーディング効率を実現し、より高い解像度をサポートする。HEVCおよびH.265などの最近の規格は、時間予測プラス変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。
【0023】
1.1 予測モードの例
【0024】
各インター予測されたPU(予測ユニット)は、1つまたは2つの参照ピクチャリストのための動きパラメータを有する。いくつかの実施形態において、動きパラメータは、動きベクトルおよび参照ピクチャインデックスを含む。他の実施形態において、2つの参照ピクチャリストのうちの1つの参照ピクチャリストの使用は、inter_pred_idcを用いて信号通知されてもよい。さらに他の実施形態において、動きベクトルは、予測子に対するデルタ(delta)として明確にコーディングされてもよい。
【0025】
1つのコーディングユニット(CU)がスキップモードでコーディングされる場合、1つのPUがこのCUに関連付けられ、有意な残差係数がなく、コーディング動きベクトルデルタも参照ピクチャインデックスもない。マージモードを指定し、これにより、現在のPUのための動きパラメータを、空間的および時間的候補を含む近傍のPUから取得する。マージモードは、スキップモードのためだけでなく、任意のインター予測されたPUに適用することができる。マージモードの代替としては、動きパラメータの明確な送信があり、PUごとに、各参照ピクチャリストおよび参照ピクチャリストの使用に対応する参照ピクチャインデックスである、動きベクトルを明確に信号通知する。
【0026】
2つの参照ピクチャリストのうちの1つを使用することを信号通知が示す場合、1つのサンプルのブロックからPUを生成する。これを「単一予測」と呼ぶ。PスライスおよびBスライスの両方に対して単一予測が利用可能である。
【0027】
両方の参照ピクチャリストを使用することを信号通知が示す場合、2つのサンプルのブロックからPUを生成する。これを「双予測」と呼ぶ。Bスライスのみに双予測が利用可能である。
【0028】
1.1.1 マージモードの候補を構築する実施形態
【0029】
マージモードを使用してPUを予測する場合、ビットストリームからマージ候補リストにおけるエントリを指すインデックスを構文解析し、これを使用して動き情報を検索する。このリストの構成は、以下のステップのシーケンスに基づいてまとめることができる。
【0030】
ステップ1:初期候補導出
ステップ1.1:空間的候補導出
ステップ1.2:空間的候補の冗長性チェック
ステップ1.3:時間的候補導出
ステップ2:追加候補挿入
ステップ2.1:双予測候補の作成
ステップ2.2:動きゼロ候補の挿入
【0031】
図1は、上記ステップのシーケンスに基づいて、マージ候補リストを構築する例を示す。空間的マージ候補導出のために、5つの異なる位置にある候補の中から最大4つのマージ候補を選択する。時間的マージ候補導出のために、2つの候補の中から最大1つのマージ候補を選択する。デコーダ側ではPUごとに一定数の候補を想定しているので、候補数がスライスヘッダで信号通知されるマージ候補(MaxNumMergeCand)の最大数に達しない場合、追加の候補を生成する。候補の数は一定であるので、短縮された単項2値化(TU)を使用して最良マージ候補のインデックスをエンコードする。CUのサイズが8に等しい場合、現在のCUのすべてのPUは、2N×2N予測ユニットのマージ候補リストと同じ1つのマージ候補リストを共有する。
【0032】
1.1.2 空間的マージ候補の構築
【0033】
空間的マージ候補の導出において、
図2に示す位置にある候補の中から、最大4つのマージ候補を選択する。導出の順序はA
1、B
1、B
0、A
0、B
2である。位置A
1、B
1、B
0、A
0のいずれかのPUが利用可能でない場合(例えば、別のスライスまたはタイルに属しているため)、またはイントラコーディングされた場合にのみ、位置B
2が考慮される。位置A
1の候補を加えた後、残りの候補を加えると、冗長性チェックを受け、それにより、同じ動き情報を有する候補を確実にリストから排除でき、コーディング効率を向上させることができる。
【0034】
計算の複雑性を低減するために、前述の冗長性チェックにおいて、考えられる候補対のすべてを考慮することはしない。その代わりに、
図3の矢印で結ばれたペアのみを考慮し、冗長性チェックに使用された対応する候補が同じ動き情報を持っていない場合に、候補をリストに追加するのみである。重複した動き情報の別のソースは、2N×2Nとは異なる分割に関連付けられた「第2のPU」である。一例として、
図4Aおよび
図4Bは、それぞれ、N×2Nおよび2N×Nの場合の第2のPUを描いている。現在のPUをN×2Nに分割する場合、リスト構築に位置A
1の候補は考慮されない。いくつかの実施形態において、この候補を加えることにより、2つの予測ユニットが同じ動き情報を有するようになり、1つのコーディングユニットに1つのPUのみを有することは冗長である。同様に、現在のPUを2N×Nに分割する場合、位置B
1は考慮されない。
【0035】
1.1.3 時間的マージ候補の構築
【0036】
このステップにおいて、1つの候補のみがリストに追加される。具体的には、この時間的マージ候補の導出において、所与の参照ピクチャリストにおける現在のピクチャとの間に最小のピクチャオーダカウント(POC)差を有するピクチャに属する同一位置PUに基づいて、スケーリングされた動きベクトルを導出する。スライスヘッダにおいて、同一位置PUの導出に用いられる参照ピクチャリストが明確に信号通知される。
【0037】
図5は、POC距離tb、tdを用いて、同一位置PUの動きベクトルからスケーリングされた、現在のピクチャの参照ピクチャと現在のピクチャとの間のPOC差をtbとし、同一位置ピクチャの参照ピクチャと同一位置ピクチャとの間のPOC差をtdとする、時間的マージ候補のためのスケーリングされた動きベクトル(点線)の導出の例を示す。時間的マージ候補の参照ピクチャインデックスをゼロに等しく設定する。Bスライスの場合、2つの動きベクトル、即ち、1つは参照ピクチャリスト0のためのもの、もう1つは参照ピクチャリスト1のためのものを取得し、これらを組み合わせることによって、双予測マージ候補を形成する。
【0038】
参照フレームに属する同一位置PU(Y)において、
図6に示すように、候補C
0と候補C
1との間で時間的候補の位置を選択する。位置C
0のPUが利用可能でない場合、イントラコーディングされている場合、または現在のCTUの外側にある場合、位置C
1が使用される。そうでない場合、位置C
0が時間的マージ候補の導出に使用される。
【0039】
1.1.4 追加タイプのマージ候補の構築
【0040】
時空間的マージ候補の他に、2つの追加のタイプのマージ候補、すなわち、結合双予測マージ候補およびゼロマージ候補がある。時空間的マージ候補を利用して、結合双予測マージ候補を生成する。結合双予測マージ候補は、Bスライスのみに使用される。最初の候補の第1の参照ピクチャリスト動きパラメータと別の候補の第2の参照ピクチャリスト動きパラメータとを組み合わせることで、結合双予測候補を生成する。これら2つのタプルが異なる動き仮説を提供する場合、これらのタプルは、新しい双予測候補を形成する。
【0041】
図7は、この処理の例を示しており、mvL0、refIdxL0、またはmvL1、refIdxL1を有するオリジナルリスト(710、左側)における、2つの候補を使用して、最終リスト(720、右側)に加えられる結合双予測マージ候補を生成する。
【0042】
動きゼロ候補を挿入し、マージ候補リストにおける残りのエントリを埋めることにより、MaxNumMergeCand容量にヒットする。これらの候補は、空間的変位がゼロであり、新しいゼロ動き候補をリストに加える度にゼロから始まり増加する参照ピクチャインデックスを有する。これらの候補が使用する参照フレームの数は、それぞれ、一方向予測の場合は1つ、双方向予測の場合は2つである。いくつかの実施形態において、これらの候補に対して冗長性チェックは行われない。
【0043】
1.1.5 並列処理のための動き推定領域の例
【0044】
符号化処理を高速化するために、動き推定を並列に行うことができ、それによって、所与の領域内のすべての予測ユニットの動きベクトルを同時に導出する。1つの予測ユニットは、その関連する動き推定が完了するまで、隣接するPUから動きパラメータを導出することができないので、空間的近傍からのマージ候補の導出は、並列処理に干渉する可能性がある。コーディング効率と処理待ち時間との間のトレードオフを緩和するために、動き推定領域(MER)を規定することができる。「log2_parallel_merge_level_minus2」構文要素を使用して、ピクチャパラメータセット(PPS)においてMERのサイズを信号通知してもよい。1つのMERを規定するとき、同じ領域にあるマージ候補は使用不可としてマークされ、それゆえにリスト構築においては考慮されない。
【0045】
1.2 高度動きベクトル予測(AMVP)の実施形態
【0046】
AMVPは、動きパラメータの明確な伝送に使用される、動きベクトルの近傍のPUとの空間的-時間的相関を利用する。まず、左側、上側の時間的に近傍のPU位置の可用性をチェックし、冗長な候補を取り除き、ゼロベクトルを加えることで、候補リストの長さを一定にすることで、動きベクトル候補リストを構築する。次いで、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を示す対応するインデックスを送信することができる。マージインデックスの信号通知と同様に、最良の動きベクトル候補のインデックスは、短縮された単項を使用して符号化される。この場合に符号化対象の最大値は2である(
図8参照)。以下の章では、動きベクトル予測候補の導出処理の詳細を説明する。
【0047】
1.2.1 動きベクトル予測候補の構築例
【0048】
図8は、動きベクトル予測候補の導出処理をまとめたものであり、refidxを入力として、各参照ピクチャリストに対して実装されてもよい。
【0049】
動きベクトル予測において、空間的動きベクトル候補と時間的動きベクトル候補という2つのタイプの動きベクトル候補が考えられる。空間的動きベクトル候補を導出するために、先に
図2に示したように、5つの異なる位置にある各PUの動きベクトルに基づいて、最終的には2つの動きベクトル候補を導出する。
【0050】
時間的動きベクトル候補を導出するために、2つの異なる同一位置に配置された位置に基づいて導出された2つの候補から1つの動きベクトル候補を選択する。第1の時空間的候補リストを作成した後、リストにおける重複した動きベクトル候補を除去する。候補の数が2よりも多い場合、関連づけられた参照ピクチャリストにおける参照ピクチャインデックスが1よりも大きい動きベクトル候補をリストから削除する。空間的―時間的動きベクトル候補の数が2未満である場合は、追加のゼロ動きベクトル候補をリストに加える。
【0051】
1.2.2 空間的動きベクトル候補の構築
【0052】
空間的動きベクトル候補の導出において、前述の
図2に示したような位置にあるPUから導出された5つの候補のうち、最大2つの候補を考慮され、それらの位置は動きマージの位置と同じである。現在のPUの左側のための導出の順序は、A
0、A
1、スケーリングされたA
0、スケーリングされたA
1として規定される。現在のPUの上側のための導出の順序は、B
0、B
1、B
2、スケーリングされたB
0、スケーリングされたB
1、スケーリングされたB
2として規定される。そのため、辺ごとに、動きベクトル候補として使用できる場合は4つ、すなわち空間的スケーリングを使用する必要がない2つの場合と、空間的スケーリングを使用する2つの場合とがある。4つの異なる場合をまとめると、以下のようになる。
【0053】
--空間的スケーリングなし
(1)同じ参照ピクチャリスト、および同じ参照ピクチャインデックス(同じPOC)
(2)異なる参照ピクチャリストであるが、同じ参照ピクチャインデックス(同じPOC)
--空間的スケーリング
(3)同じ参照ピクチャリストであるが、異なる参照ピクチャインデックス(異なるPOC)
(4)異なる参照ピクチャリスト、および異なる参照ピクチャインデックス(異なるPOC)
【0054】
まず、非空間的スケーリングの場合をチェックし、次に、空間的スケーリングを可能にする場合をチェックする。参照ピクチャリストにかかわらず、POCが近傍のPUの参照ピクチャと現在のPUの参照ピクチャとで異なる場合、空間的スケーリングを考慮する。左側候補のすべてのPUが利用可能でないか、またはイントラコーディングされている場合、上側の動きベクトルのスケーリングは、左側および上側MV候補の並列導出に役立つ。そうでない場合、上側の動きベクトルに対して空間的スケーリングは許可されない。
【0055】
図9の例に示すように、空間的スケーリングの場合は、時間的スケーリングの場合と同様に、近傍のPUの動きベクトルがスケーリングされる。1つの違いは、現在のPUの参照ピクチャリストおよびインデックスを入力として与え、実際のスケーリング処理は時間的スケーリングと同じであることである。
【0056】
1.2.3 時間的動きベクトル候補の構築
【0057】
参照ピクチャインデックスを導出すること以外は、時間的マージ候補を導出するためのすべての処理は、空間的動きベクトル候補を導出するための処理と同じである(
図6の例に示す)。いくつかの実施形態において、参照ピクチャインデックスはデコーダに信号通知される。
【0058】
2. 共同探索モデル(Joint Exploration Model:JEM)におけるインター予測方法の例
【0059】
いくつかの実施形態において、将来の映像コーディング技術は、共同探索モデル(JEM)として知られる参照ソフトウェアを使用して探索される。JEMでは、サブブロックベースの予測は、アフィン予測、代替時間的動きベクトル予測(ATMVP)、空間的-時間的動きベクトル予測(STMVP)、双方向オプティカルフロー(BIO)、フレームレートアップ変換(FRUC)、ローカル適応動きベクトル解像度(LAMVR)、重複ブロック動き補償(OBMC)、ローカル照明補償(LIC)、デコーダ側動きベクトル改良(DMVR)などの、いくつかのコーディングツールで適用されている。
【0060】
2.1 サブCUに基づく動きベクトル予測の例
【0061】
4分木に2分木を加えたJEM(QTBT)において、各CUは、各予測方向に対して最大1つの動きパラメータのセットを有することができる。いくつかの実施形態において、エンコーダにおいて、ラージCUをサブCUに分割し、ラージCUのすべてのサブCUの動き情報を導出することにより、2つのサブCUレベルの動きベクトル予測方法を考慮する。代替的な時間的動きベクトル予測(ATMVP)方法により、各CUが、配列された参照ピクチャにおける現在のCUよりも小さい複数のブロックから複数の動き情報のセットをフェッチすることが可能となる。空間的-時間的動きベクトル予測(STMVP)法において、時間的動きベクトル予測子および空間的近傍動きベクトルを使用して、サブCUの動きベクトルを再帰的に導出する。いくつかの実施形態において、サブCU動き予測のためにより正確な動きフィールドを維持するために、参照フレームの動き圧縮は無効にされてもよい。
【0062】
2.1.1 代替の時間的動きベクトル予測(ATMVP)の例
【0063】
ATMVP法において、時間的動きベクトル予測(TMVP)法は、現在のCUより小さいブロックから複数のセットの動き情報(動きベクトルおよび参照インデックスを含む)を取り出すことで修正される。
【0064】
図10は、CU1000におけるATMVP動き予測処理の一例を示す。ATMVP法は、CU1000におけるサブCU1001の動きベクトルを2つのステップで予測する。第1のステップでは、参照ピクチャ1050における対応するブロック1051を時間的ベクトルで特定する。参照ピクチャ1050は、モーションソースピクチャとも呼ばれる。第2のステップでは、現在のCU1000をサブCU1001に分割し、各サブCUに対応するブロックから、各サブCUの動きベクトルおよび参照インデックスを得る。
【0065】
第1のステップにおいて、現在のCU1000の空間的に近傍のブロックの動き情報によって、参照ピクチャ1050および対応するブロックを判定する。近傍のブロックの繰り返し走査処理を回避するために、現在のCU1000のマージ候補リストにおける第1のマージ候補を用いる。第1の利用可能な動きベクトルおよびその関連する参照インデックスを、時間的ベクトルおよびモーションソースピクチャのインデックスに設定する。このように、TMVPに比べて、対応するブロックをより正確に特定することができ、対応するブロック(配列されたブロックと呼ばれることがある)は、常に現在のCUに対して右下または中心位置にある。
【0066】
第2のステップにおいて、現在のCUの座標に時間的ベクトルを加えることで、モーションソースピクチャ1050における時間的ベクトルによって、サブCU1051の対応するブロックを特定する。サブCUごとに、その対応するブロックの動き情報(例えば、中心サンプルを覆う最小の動きグリッド)を使用して、サブCUの動き情報を導出する。対応するN×Nブロックの動き情報を特定した後、HEVCのTMVPと同様に、現在のサブCUの動きベクトルおよび参照インデックスに変換され、動きスケーリングや他の手順が適用される。例えば、デコーダは、低遅延条件(例えば、現在のピクチャのすべての参照ピクチャのPOCが現在のピクチャのPOCよりも小さい)が満たされているかどうかをチェックし、場合によっては、動きベクトルMVx(例えば、参照ピクチャリストXに対応する動きベクトル)を使用して、各サブCUの動きベクトルMVy(例えば、Xが0または1に等しく、Yが1-Xに等しい)を予測する。
【0067】
2.1.2 空間的-時間的動きベクトル予測(STMVP)の例
【0068】
STMVP法において、サブCUの動きベクトルは、ラスタスキャンの順に沿って再帰的に導出される。
図11は、4つのサブブロックおよび近傍のブロックを有する1つのCUの例を示す。4つの4×4個のサブCU、A(1101)、B(1102)、C(1103)、およびD(1104)を含む8×8個のCU1100を考える。現在のフレームにおける近傍の4×4ブロックを、a(1111)、b(1112)、c(1113)、d(1114)とラベルする。
【0069】
サブCU Aの動きの導出は、その2つの空間的近傍を特定することで始まる。第1の近傍は、サブCU A1101の上のN×Nブロックである(ブロックc1113)。このブロックc(1113)が利用可能でない、またはイントラコーディングされている場合、サブCU A(1101)の上の他のN×N個のブロックをチェックする(ブロックc1113から始まって左から右へ)。第2の近傍は、サブCU A1101の左側のブロックである(ブロックb1112)。ブロックb(1112)が利用可能でない、またはイントラコーディングされている場合、サブCU A1101の左側の他のブロックをチェックする(ブロックb1112から始まり、上から下へ)。各リストの近傍のブロックから得られた動き情報を、所与のリストの第1の参照フレームにスケーリングする。次に、HEVCに規定されているTMVP導出と同じ手順に従って、サブブロックA1101の時間的動きベクトル予測子(TMVP)を導出する。ブロックD1104における配列されたブロックの動き情報がフェッチされ、それに応じてスケーリングされる。最後に、動き情報を検索し、スケーリングした後、参照リストごとにすべての利用可能な動きベクトルを別々に平均する。この平均化された動きベクトルを現在のサブCUの動きベクトルとする。
【0070】
2.1.3 サブCUの動き予測モード信号通知の例
【0071】
いくつかの実施形態において、サブCUモードは追加のマージ候補として有効とされ、モードを信号通知するために追加の構文要素は必要とされない。ATMVPモードおよびSTMVPモードを表すように、各CUのマージ候補リストに2つの追加のマージ候補を加える。他の実施形態において、シーケンスパラメータセットがATMVPおよびSTMVPが有効であることを示す場合、7個までのマージ候補を使用してもよい。追加のマージ候補のエンコーディングロジックは、HMにおけるマージ候補の場合と同じであり、つまり、PまたはBスライスにおける各CUについて、2つの追加のマージ候補に対して2回以上のRDチェックが必要となるかもしれない。いくつかの実施形態において、例えばJEMのように、マージインデックスのすべての2値(bin)はコンテキストベースの適応型2進算術コーディング(CABAC)によりコンテキストコーディングされる。他の実施形態、例えばHEVCにおいては、第1の2値のみがコンテキストコーディングされ、残りの2値はコンテキストバイパスコーディングされる。
【0072】
2.2 適応動きベクトル差解像度の例
【0073】
いくつかの実施形態において、use_integer_MV_flagがスライスヘッダにおいて0であるとき、4分の1輝度サンプルの単位で動きベクトルの差(MVD)(動きベクトルとPUの予測動きベクトルとの差)を信号通知される。JEMにおいて、ローカル適応動きベクトル解像度(LAMVR)が導入される。JEMにおいて、MVDは、1/4輝度サンプル、整数輝度サンプルまたは4つの輝度サンプルの単位でコーディングできる。MVD分解能はコーディングユニット(CU)レベルで制御され、MVD解像度フラグは、少なくとも1つのノンゼロMVDモジュールを有する各CUに対して条件付きで信号通知される。
【0074】
少なくとも1つのノンゼロMVDモジュールを有するCUの場合、1/4輝度サンプルMV精度がCUにおいて使用されるかどうかを示すために、第1のフラグが信号通知される。第1のフラグ(1に等しい)が、1/4輝度サンプルMV精度が使用されていないことを示す場合、整数輝度サンプルMV精度が使用されるかまたは4輝度サンプルMV精度が使用されるかを示すために、別のフラグが信号通知される。
【0075】
CUの第1のMVD解像度フラグがゼロであるか、またはCUに対してコーディングされていない(つまり、CUにおけるすべてのMVDがゼロである)場合、CUに対して1/4輝度サンプルMV解像度が使用される。CUが整数輝度サンプルMV精度または4輝度サンプルMV精度を使用する場合、CUのAMVP候補リストにおけるMVPを対応する精度に丸める。
【0076】
エンコーダにおいて、CUレベルのRDチェックは、どのMVD解像度をCUに用いるかを判定するために用いられる。すなわち、1つのMVD解像度ごとに3回、CUレベルのRDチェックを行う。エンコーダの速度を速めるために、JEMにおいては、以下の符号化方式が適用される。
【0077】
--通常の1/4輝度サンプルMVD解像度を有するCUのRDチェック中、現在のCUの動き情報(整数輝度サンプル精度)が記憶される。整数輝度サンプルおよび4輝度サンプルのMVD解像度を有する同じCUのRDチェック中に、記憶された動き情報(丸められた後)は、更なる小範囲動きベクトル改良の開始点として使用されるので、時間がかかる動き推定処理が3回重複しない。
【0078】
--4輝度サンプルMVD解像度を有するCUのRDチェックを条件付きで呼び出す。CUの場合、整数輝度サンプルMVD解像度のRDコストが1/4輝度サンプルMVD解像度のそれよりもはるかに大きい場合、CUのための4輝度サンプルMVD解像度のRDチェックは省略される。
【0079】
符号化処理を
図12に示す。まず、1/4画素MVをテストし、RDコストを計算し、RDCost0と表し、次に、整数MVをテストし、RDコストをRDCost1と表す。RDCost1<th*RDCost0(ここで、thは正値の閾値である)である場合、4画素MVをテストし、そうでない場合、4画素MVをスキップする。基本的に、整数または4画素MVをチェックするときには、1/4画素MVに対して動き情報およびRDコスト等が既知であり、これを再利用して整数または4画素MVの符号化処理を高速化することができる。
【0080】
2.3 動きベクトルの記憶精度を向上させる例
【0081】
HEVCにおいて、動きベクトルの精度は、1/4画素(4:2:0映像の場合、1/4輝度サンプルおよび1/8クロマサンプル)である。JEMにおいて、内部の動きベクトルの記憶およびマージ候補の精度は、1/16画素にまで向上する。スキップ/マージモードでコーディングされたCUの動き補償インター予測には、より高い動きベクトル精度(1/16画素)が用いられる。通常のAMVPモードでコーディングされたCUの場合、整数画素または1/4画素の動きのいずれかが使用される。
【0082】
HEVC動き補償補間フィルタと同じフィルタ長と正規化係数を有するSHVCアップサンプリング補間フィルタを、追加の分数画素位置の動き補償補間フィルタとして使用する。JEMにおいて、クロマ成分の動きベクトルの精度は1/32サンプルであり、近傍の2つの1/16画素の端数位置のフィルタの平均を用いて、1/32画素の端数位置の追加の補間フィルタを導出する。
【0083】
2.4 重複ブロック動き補償(OBMC)の例
【0084】
JEMにおいて、OBMCは、CUレベルの構文を使用してオン/オフを切り替えることができる。JEMにおいてOBMCを使用する場合、OBMCは、CUの右下の境界を除くすべての動き補償(MC)ブロック境界に対して実行される。また、輝度およびクロマ成分の両方に適用される。JEMにおいて、MCブロックはコーディングブロックに対応する。CUがサブCUモードでコーディングされた(サブCUマージ、アフィン、およびFRUCモードを含む)場合、CUの各サブブロックは1つのMCブロックである。均一にCU境界を処理するために、OBMCは、すべてのMCブロック境界に対してサブブロックレベルで実行され、ここで、サブブロックサイズは、
図13A、13Bに示すように、4×4に等しく設定される。
【0085】
図13Aは、CU/PU境界におけるサブブロックを示し、斜線を付けたサブブロックは、OBMCが適用される場所である。同様に、
図13Bは、ATMVPモードのサブPUを示す。
【0086】
OBMCが現在のサブブロックに適用される場合、現在の動きベクトルの他に、4つの接続された近傍のサブブロックの動きベクトルも、利用可能であり、現在の動きベクトルと同一でない場合には、現在のサブブロックのための予測ブロックを導出するために使用される。複数の動きベクトルに基づくこれらの複数の予測ブロックを組み合わせ、現在のサブブロックの最終予測信号を生成する。
【0087】
近傍のサブブロックの動きベクトルに基づく予測ブロックをPN(Nは、近傍の上、下、左、右のサブブロックのインデックス)とし、現在のサブブロックの動きベクトルに基づく予測ブロックをPCとする。PNが現在のサブブロックと同じ動き情報を含む近傍のサブブロックの動き情報に基づく場合、OBMCはPNから行われない。そうでない場合、PNのすべてのサンプルをPC内の同じサンプルに加える。すなわち、PNの4つの行/列をPCに加える。PNには重み係数{1/4,1/8,1/16,1/32}を用い、PCには重み係数{3/4,7/8,15/16,31/32}を用いる。例外は、小さなMCブロック(すなわち、コーディングブロックの高さまたは幅が4に等しいか、または1つのCUがサブCUモードでコーディングされる場合)であり、その場合、2つの行/列のPNのみがPCに追加される。この場合、PNに対して重み係数{1/4,1/8}が使用され、PCに対して重み係数{3/4,7/8}が使用される。垂直(水平)方向に近傍のサブブロックの動きベクトルに基づいて生成されたPNに対して、PNの同じ行(列)におけるサンプルを、同じ重み係数でPCに加算する。
【0088】
JEMにおいて、サイズが256輝度サンプル以下のCUの場合、現在のCUに対してOBMCが適用されているかどうかを示すように、CUレベルフラグが信号通知される。サイズが256輝度サンプルよりも大きい、またはAMVPモードでコーディングされていないCUの場合、OBMCがデフォルトで適用される。エンコーダにおいて、OBMCがCUに適用される場合、その影響は動き推定ステージ中に考慮される。上側近傍のブロックおよび左側近傍のブロックの動き情報を用いてOBMCにより形成された予測信号は、現在のCUの元の信号の上側および左側の境界を補償するために用いられ、その後、通常の動き推定処理が適用される。
【0089】
2.5 局所照明補償(LIC)の例
【0090】
LICは、倍率aおよびオフセットbを用いて、照明変化の線形モデルに基づく。そして、各インターモードコーディングユニット(CU)に対して適応的に有効または無効とされる。
【0091】
LICがCUに適用される場合、現在のCUの近傍のサンプルおよびそれらに対応する参照サンプルを使用することによって、パラメータaおよびbを導出するために、最小二乗誤差法が使用される。
図14は、ICアルゴリズムのパラメータを導出するために使用される近傍のサンプルの例を示す。具体的には、
図14に示すように、CUのサブサンプリング(2:1のサブサンプリング)された近傍サンプルと、参照ピクチャ内の対応するサンプル(現在のCUまたはサブCUの動き情報によって特定される)とが使用される。ICパラメータは、各予測方向に対して別々に導出され、適用される。
【0092】
1つのCUがマージモードでコーディングされる場合、マージモードにおける動き情報のコピーと同様に、近傍のブロックからLICフラグをコピーし、そうでない場合、CUにLICフラグを信号通知してLICが適用されるかどうかを示す。
【0093】
1つのピクチャに対してLICが有効化されるとき、1つのCUに対してLICが適用されるかどうかを判定するために、追加のCUレベルRDチェックが必要である。CUのためにLICが有効化される場合、整数画素動き探索および小数画素動き探索のために、SADおよびSATDの代わりに、それぞれ、絶対差の平均除去和(MR-SAD)および絶対アダマール変換差の平均除去和(MR-SATD)が使用される。
【0094】
符号化の複雑性を低減するために、JEMにおいては、以下のコーディング方式が適用される。
【0095】
--現在の画像とその参照ピクチャとの間に明瞭な照度変化がない場合、LICは画像全体に対して無効にされる。この状況を識別するために、エンコーダにおいて、現在のピクチャおよび現在のピクチャのすべての参照ピクチャのヒストグラムを計算する。現在のピクチャと現在のピクチャのすべての参照ピクチャとの間のヒストグラム差が所与の閾値よりも小さい場合、現在のピクチャに対してLICを無効化し、そうでない場合、現在のピクチャに対してLICを有効化する。
【0096】
2.6 アフィン動き補償予測の例
【0097】
HEVCにおいて、動き補償予測(MCP)のために並進運動モデルのみが適用される。しかしながら、カメラおよび対象物は、様々な種類の動き、例えば、ズームイン/ズームアウト、回転、透視運動、および/または他の不規則な動きを有してもよい。一方、JEMは、簡易アフィン変換動き補償予測を適用する。
図15は、2つの制御点動きベクトルV
0およびV
1によって記述されるブロック1400のアフィン動きフィールドの例を示す。ブロック1400の動きベクトルフィールド(MVF)は、以下の式で表すことができる。
【0098】
【0099】
図15に示すように、(v
0x,v
0y)は左上隅の制御点の動きベクトルであり、(v
1x,v
1y)は右上隅の制御点の動きベクトルである。動き補償予測を簡単にするために、サブブロックに基づくアフィン変換予測を適用することができる。サブブロックのサイズM×Nは、以下のように導出される。
【0100】
【0101】
ここで、MvPreは、動きベクトルの分数精度(例えば、JEMでは1/16)である。(v2x,v2y)は、式(1)に従って算出された左下制御点の動きベクトルである。必要であれば、MおよびNを下方に調整して、それぞれwおよびhの除数にすることができる。
【0102】
図16は、ブロック1500のためのサブブロックごとのアフィンMVFの例を示す。各M×Nサブブロックの動きベクトルを導出するためには、各サブブロックの中心サンプルの動きベクトルを式(1)に従って算出し、動きベクトルの分数精度(例えば、JEMでは1/16)に丸めればよい。次に、動き補償補間フィルタを適用して、導出された動きベクトルを用いて各サブブロックの予測を生成することができる。MCPの後、各サブブロックの高精度動きベクトルを丸め、通常の動きベクトルと同じ精度で保存する。
【0103】
2.6.1 AF_INTERモードの実施形態
【0104】
JEMにおいて、2つのアフィン動きモード、AF_INTERモードおよびAF_MERGEモードがある。幅と高さの両方が8より大きいCUの場合、AF_INTERモードを適用することができる。AF_INTERモードが使用されるかどうかを示すために、ビットストリームにおいてCUレベルのアフィンフラグが信号通知される。AF_INTERモードにおいて、近傍のブロックを用いて動きベクトル対{(v0,v1)|v0={vA,vB,vC},v1={vD,vE}}を有する候補リストを構築する。
【0105】
図17は、AF_INTERモードにおけるブロック1600のための動きベクトル予測(MVP)の例を示す。
図17に示すように、v
0は、サブブロックA、B、またはCの動きベクトルから選択され、近傍のブロックからの動きベクトルは、参照リストに従ってスケーリングすることができる。また、動きベクトルは、近傍のブロックの参照のピクチャオーダカウント(POC)と、現在のCUの参照のPOCと、現在のCUのPOCとの間の関係に基づいてスケーリングされてもよい。近傍のサブブロックDおよびEからv
1を選択する方法は類似している。候補リストの数が2未満である場合、AMVP候補の各々を複製した動きベクトル対でリストを埋める。候補リストが2よりも大きい場合、まず、近傍の動きベクトルに基づいて(例えば、対候補における2つの動きベクトルの類似性に基づいて)候補をソートする。いくつかの実装形態において、最初の2つの候補を保持する。いくつかの実施形態において、ひずみ率(RD)コストチェックを用いて、どの動きベクトル対候補を現在のCUの制御点動きベクトル予測(CPMVP)として選択するかを判定する。ビットストリームにおいて、候補リストにおけるCPMVPの位置を示すインデックスを信号通知することができる。現在のアフィンCUのCPMVPを判定した後、アフィン動き推定を適用し、制御点動きベクトル(CPMV)を求める。次に、CPMVとCPMVPとの差をビットストリームにおいて信号通知する。
【0106】
AF_INTERモードにおいて、4/6パラメータアフィンモードが使用される場合、2/3個の制御点が必要であり、従って、
図18A、18Bに示すように、これらの制御点のために2/3個のMVDをコーディングすることが必要である。既存の実装形態において、MVは、例えば、mvd0からmvd1およびmvd2を予測することで、以下のように導出されてもよい。
【0107】
【0108】
ここでm ̄v ̄
i、mvd
i、mv
1は、それぞれ、
図18Bに示すように、左上の画素(i=0)、右上の画素(i=1)、左下の画素(i=2)の予測動きベクトル、動きベクトルの差分、動きベクトルである。いくつかの実施形態において、2つの動きベクトル(例えば、mvA(xA,yA)およびmvB(xB,yB))の加算は、2つの成分を別々に合計することに等しい。例えば、newMV=mvA+mvBは、newMVの2つの成分を、それぞれ(xA+xB)および(yA+yB)に設定することを意味する。
【0109】
2.6.2 AF_INTERモードにおける高速アフィンMEアルゴリズムの例
【0110】
アフィンモードのいくつかの実施形態において、2つまたは3つの制御点のMVは、一緒に判定される必要がある。複数のMVをまとめて直接検索することは、計算が複雑である。一例において、高速アフィンMEアルゴリズムが提案され、VTM/BMSに採用される。
【0111】
例えば、4パラメータアフィンモデルに対して高速アフィンMEアルゴリズムを説明し、この考えを6パラメータアフィンモデルに拡張することができる。
【0112】
【0113】
【0114】
(a-1)をa’に置き換えることにより、動きベクトルを以下のように書き換えることができる。
【0115】
【0116】
2つの制御点(0,0)および(0,w)の動きベクトルが既知であると仮定すると、式(5)から、アフィンパラメータは、以下のように導出されてもよい。
【0117】
【0118】
動きベクトルは、ベクトルの形で以下のように書き換えることができる。
【0119】
【0120】
ここで、P=(x,y)は、画素位置である。
【0121】
【0122】
いくつかの実施形態において、エンコーダにおいて、AF_INTERのMVDは反復して導出されることができる。MVi(P)を位置Pのi番目の反復で導出されたMVとし、dMVC
iをi番目の反復でMVCに対して更新されたデルタとして示す。次に、(i+1)番目の繰り返しにおいて、
【0123】
【0124】
Picrefを参照ピクチャとし、Piccurを現在のピクチャとし、Q=P+MVi(P)を表す。MSEをマッチング基準として用いる場合、最小化する必要がある関数は、以下のように表されてもよい。
【0125】
【0126】
(dMVC
i)Tが十分に小さいと仮定すると、Picref(Q+A(P)*(dMVC
i)T)は、1次のテイラー展開に基づく近似として、以下のように書き換えられてもよい。
【0127】
【0128】
ここで、以下である。
【0129】
【0130】
Ei+1(P)=Piccur(P)-Picref(Q)の表記を採用する場合、以下のようになる。
【0131】
【0132】
誤差関数の導関数をゼロに設定し、次に、A(P)*(dMVC
i)Tに基づいて、制御点(0,0)および(0,w)のデルタMVを以下のように算出することで、項dMVC
iを導出することができる。
【0133】
【0134】
いくつかの実施形態において、このMVD導出処理をn回繰り返し、次のようにして最終MVDを算出することができる。
【0135】
【0136】
上記実装形態において、mvd0で表される制御点(0,0)のデルタMVから、mvd1で表される制御点(0,w)のデルタMVを予測することは、mvd1に対して(Σi=0
n-1dMVC
i[1]*w,-Σi=0
n-1dMVC
i[3]*w)の場合のみ符号化されることになる。
【0137】
2.6.3 AF_MERGEモードの実施形態
【0138】
AF_MERGEモードにおいてCUを適用する場合、CUは、有効な近傍の再構築ブロックから、アフィンモードでコーディングされた第1のブロックを得る。
図19Aは、現在のCU1800のための候補ブロックの選択順序の例を示す。
図19Aに示すように、選択順序は、現在のCU1800の左(1801)、上(1802)、右(1803)、左下(1804)、左上(1805)の順とすることができる。
図19Bは、AF_MERGEモードにおける現在のCU1800の候補ブロックの別の例を示す。近傍の左下ブロック1801がアフィンモードでコーディングされている場合、
図19Bに示すように、サブブロック1801を含むCUの左上隅、右上隅、左下隅の動きベクトルv
2、v
3、v
4が導出される。v2、v3、v4に基づいて、現在のCU1800における左上隅の動きベクトルv
0を算出する。従って、現在のCUの右上の動きベクトルv1を算出することができる。
【0139】
式(1)のアフィン動きモデルに従って現在のCU v0,v1のCPMVを計算した後、現在のCUのMVFを生成することができる。現在のCUがAF_MERGEモードでコーディングされているかどうかを識別するために、アフィンモードでコーディングされている近傍のブロックが少なくとも1つある場合、ビットストリーム内にアフィンフラグを信号通知することができる。
【0140】
2.7 パターンマッチング動きベクトル導出(PMMVD)の例
【0141】
PMMVDモードは、フレームレートアップ変換(FRUC)法に基づく特殊マージモードである。このモードでは、ブロックの動き情報は信号通知されず、デコーダ側で導出される。
【0142】
FRUCフラグは、そのマージフラグが真である場合、CUに信号通知され得る。FRUCフラグが偽である場合、マージインデックスを信号通知することができ、通常のマージモードが使用される。FRUCフラグが真である場合、追加のFRUCモードフラグを信号通知して、どの方法(例えば、バイラテラルマッチングまたはテンプレートマッチング)を使用してブロックの動き情報を導出するかを示すことができる。
【0143】
エンコーダ側では、CUのためにFRUCマージモードを使用するかどうかの決定は、通常のマージ候補に対して行われるのと同じように、RDコストの選択に基づく。例えば、RDコスト選択を使用して、1つのCUに対して複数のマッチングモード(例えば、バイラテラルマッチングおよびテンプレートマッチング)をチェックする。最小コストに導くものが、他のCUモードと比較される。FRUCマッチングモードが最も効率的なものである場合、CUに対してFRUCフラグを真に設定し、関連するマッチングモードを使用する。
【0144】
一般的に、FRUCマージモードにおける動きの導出処理では、まずCUレベルの動き探索が行われ、次にサブCUレベルの動きの改良を行うという2つのステップを有する。CUレベルでは、バイラテラルマッチングまたはテンプレートマッチングに基づいて、CU全体のための初期の動きベクトルを導出する。まず、MV候補のリストを生成し、最小マッチングコストに導く候補を、さらなるCUレベル改良の開始点として選択する。そして、開始点付近でのバイラテラルマッチングまたはテンプレートマッチングに基づく局所検索を行う。最小マッチングコストにおけるMVの結果を、CU全体のMVとする。続いて、導出されたCU動きベクトルを開始点として、サブCUレベルでの動き情報をさらに改良する。
【0145】
例えば、W×H CU動き情報導出のために、以下の導出処理を行う。第1のステージにおいて、W×H CU全体のためのMVが導出される。第2のステージにおいて、CUは、M×M個のサブCUにさらに分割される。Mの値は、式(22)のように計算されるが、Dは、予め規定された分割深さであり、JEMにおいてデフォルトで3に設定される。そして、各サブCUのMVを導出する。
【0146】
【0147】
図20は、フレームレートアップ変換(FRUC)法で使用されるバイラテラルマッチングの例を示す。このバイラテラルマッチングは、2つの異なる参照ピクチャ(1910、1911)における現在のCU(1900)の動き軌跡に沿った2つのブロック間の最も近いマッチングを見出すことで、現在のCUの動き情報を導出するために用いられる。連続した動き軌跡を仮定すると、2つの参照ブロックを指す動きベクトルMV0(1901)、MV1(1902)は、現在のピクチャと2つの参照ピクチャとの間の時間的距離に比例し、例えば、TD0(1903)、TD1(1904)である。いくつかの実施形態において、現在のピクチャ1900が2つの参照ピクチャ(1910、1911)の間にあり、現在のピクチャから2つの参照ピクチャまでの時間的距離が同じである場合、バイラテラルマッチングはミラーに基づく双方向MVとなる。
【0148】
図21は、フレームレートアップ変換(FRUC)法で使用されるテンプレートマッチングの例を示す。テンプレートマッチングを使用して、現在のピクチャにおけるテンプレート(例えば、現在のCUの上側および/または左側の近傍のブロック)と参照ピクチャ2010におけるブロック(例えば、テンプレートと同じサイズ)との間の最も近いマッチングを見出すことで、現在のCU2000の動き情報を導出することができる。前述のFRUCマージモード以外に、テンプレートマッチングは、AMVPモードにも適用できる。JEMおよびHEVCの両方において、AMVPは2つの候補を有する。テンプレートマッチング法を用いることで、新しい候補を導出することができる。テンプレートマッチングによって新規に導出された候補が、第1の既存のAMVP候補と異なる場合、AMVP候補リストの最初に挿入し、次に、(例えば、第2の既存のAMVP候補を取り除くことによって)リストサイズを2に設定する。AMVPモードに適用される場合、CUレベル検索のみが適用される。
【0149】
CUレベルのMV候補セットは、以下を含むことができる。(1)現在のCUがAMVPモードにある場合、元のAMVP候補、(2)すべてのマージ候補、(3)補間されたMVフィールド内の複数のMV(後述)、および左上の近傍の動きベクトル。
【0150】
バイラテラルマッチングを使用する場合、マージ候補の各有効なMVを入力として使用して、バイラテラルマッチングを仮定してMV対を生成することができる。例えば、マージ候補の1つの有効なMVは、参照リストAにおいて(MVa,refa)であり、そして、その対をなすバイラテラルMVの参照ピクチャrefbが他の参照リストBにおいて見出され、refaおよびrefbは、時間的に現在のピクチャの異なる側にある。参照リストBにおいてこのようなrefbが利用可能でない場合、refbをrefaとは異なる参照として判定し、現在のピクチャとの時間的距離はリストBにおける最小値である。refbを判定した後、現在のピクチャとrefa,refbとの時間距離に基づいてMVaをスケーリングすることでMVbを導出する。
【0151】
いくつかの実装形態において、補間されたMVフィールドからの4つのMVをCUレベル候補リストに追加してもよい。具体的には、現在のCUの(0,0)、(W/2,0)、(0,H/2)、(W/2,H/2)の位置の補間されたMVを加算する。AMVPモードでFRUCを適用する場合、元のAMVP候補をCUレベルMV候補セットにも加える。いくつかの実装形態において、CUレベルにおいて、AMVP CUのための15個のMVおよびマージCUに対し、13個のMVを候補リストに加えることができる。
【0152】
サブCUレベルのMV候補セットは、CUレベルの検索によって判定されたMVと、(2)上側、左側、左上、右上の近傍のMVと、(3)参照ピクチャからの配列されたMVのスケーリングされたバージョンと、(4)1つ以上(例えば、4つまで)のATMVP候補と、(5)1つ以上(例えば、4つまで)のSTMVP候補とを含む。参照ピクチャからのスケーリングされたMVは、以下のように導出される。両方のリストにおける参照ピクチャをトラバースする。参照ピクチャにおけるサブCUの配列位置にあるMVは、開始CUレベルMVの参照に対してスケーリングされる。ATMVPおよびSTMVPの候補は、最初の4つの候補であってもよい。サブCUレベルにおいて、1つ以上(例えば、最大17個)のMVが候補リストに追加される。
【0153】
補間されたMVフィールドの生成。あるフレームをコーディングする前に、片側MEに基づいてピクチャ全体に対して補間された動きフィールドを生成する。そして、この動きフィールドを後にCUレベルまたはサブCUレベルのMV候補として使用してもよい。
【0154】
いくつかの実施形態において、両方の参照リストにおける各参照ピクチャの動きフィールドは、4×4ブロックレベルでトラバースされる。
図22は、FRUC方法におけるユニラテラル動き推定(ME)2100の例を示す。各4×4ブロックにおいて、現在のピクチャの4×4ブロックを通過するブロックに関連する動きで、補間された動きがまだ割り当てられていない場合、時間的距離TD0およびTD1に基づいて(HEVCにおけるTMVPのMVスケーリングと同様に)、参照ブロックの動きを現在のピクチャにスケーリングし、スケーリングされた動きを現在のフレームのブロックに割り当てる。4×4ブロックにスケーリングされたMVが割り当てられていない場合、ブロックの動きは、補間された動きフィールドにおいて利用不可能であるとマークされる。
【0155】
補間およびマッチングコスト。1つの動きベクトルが1つの小数のサンプル位置を指す場合、動き補償補間が必要である。複雑性を低減するために、通常の8タップHEVC補間の代わりに、バイラテラルマッチングおよびテンプレートマッチングの両方に双線形補間を使用できる。
【0156】
マッチングコストの計算は、異なるステップでは少し異なる。CUレベルの候補セットから候補を選択する場合、マッチングコストは、バイラテラルマッチングまたはテンプレートマッチングの絶対和差(SAD)であってもよい。開始MVを判定した後、サブCUレベル検索におけるバイラテラルマッチングのマッチングコストCを以下のように算出する。
【0157】
【0158】
ここで、wは重み係数である。いくつかの実施形態において、wは経験的に4に設定されてもよい。MVおよびMVsは、それぞれ、現在のMVおよび開始MVを示す。SADは、依然として、サブCUレベル検索におけるテンプレートマッチングのマッチングコストとして使用されてもよい。
【0159】
FRUCモードにおいて、MVは、輝度サンプルのみを使用することによって導出される。導出された動きは、MCインター予測のために、輝度およびクロマの両方に使用される。MVを判定した後、輝度用の8タップ補間フィルタおよびクロマ用の4タップ補間フィルタを使用して、最終的なMCを行う。
【0160】
MV改良は、バイラテラルマッチングコストまたはテンプレートマッチングコストの基準を有するパターンに基づくMV検索である。JEMでは、2つの検索パターン、即ち、無制限中心バイアス菱形検索(UCBDS)およびCUレベルおよびサブCUレベルでのMV改良のための適応クロス検索をそれぞれサポートする。CUおよびサブCUレベルのMV改善の両方のために、MVは、1/4輝度サンプルMVの精度で直接検索され、これに続いて1/8輝度サンプルMVの改良が行われる。CUおよびサブCUステップのためのMV改良の検索範囲は、8つの輝度サンプルに等しく設定される。
【0161】
バイラテラルマッチングマージモードにおいては、双予測が適用される。なぜなら、2つの異なる参照ピクチャにおける現在のCUの動き軌跡に沿った2つのブロック間の最も近いマッチングに基づいて、CUの動き情報を導出するからである。テンプレートマッチングマージモードにおいて、エンコーダは、list0からの単一予測、list1からの単一予測、またはCUのための双予測のうちから選択することができる。選択は、テンプレートマッチングコストに基づいて、以下のように行うことができる。
【0162】
costBi<=factor*min(cost0,cost1)の場合
双予測を用いる。
そうでない場合、cost0<=cost1であれば
list0からの単一予測を用いる。
そうでない場合、
list1からの単一予測を用いる。
【0163】
ここで、cost0はlist0テンプレートマッチングのSADであり、cost1はlist1テンプレートマッチングのSADであり、costBiは双予測テンプレートマッチングのSADである。例えば、factorの値が1.25である場合、選択処理が双予測に偏っていることを意味する。このインター予測方向選択は、CUレベルのテンプレートマッチング処理に適用することができる。
【0164】
2.8 双方向オプティカルフロー(BIO)の例
【0165】
双方向オプティカルフロー(BIO)方法は、双予測のためにブロック単位の動き補償の上で実行されるサンプル単位の動きの改良である。いくつかの実装形態において、サンプルレベルの動きの改良は、信号通知を用いない。
【0166】
I(k)をブロック動き補償後の参照k(k=0,1)からの輝度をとし、I(k)勾配の水平成分と垂直成分をそれぞれ∂I(k)/∂xと∂I(k)/∂yとする。オプティカルフローが有効であると仮定すると、動きベクトルフィールド(vx,vy)は、式(24)で与えられる。
【0167】
【0168】
このオプティカルフロー方程式と各試料の動き軌跡のエルミート補間を組み合わせると、関数値I(k)と導関数∂I(k)/∂xと∂I(k)/∂yの両方に一致するユニークな3次多項式が得られる。t=0におけるこの多項式の値がBIO予測である。
【0169】
【0170】
図23は、双方向オプティカルフロー(BIO)法におけるオプティカルフローの軌跡の一例を示す。ここで、τ
0およびτ
1は、参照フレームまでの距離を示す。距離τ
0およびτ
1は、Ref
0およびRef
1のPOCに基づいて、τ
0=POC(current)-POC(Ref
0),τ
1=POC(Ref
1)-POC(current)のように計算される。両方の予測が同じ時系列から来たものである場合(両方とも過去から来たものであるか、または両方とも将来から来たものである)、符号が異なっている(例えばτ
0・τ
1<0)。この場合、予測が同じ時間モーメントからでない場合(例えば、τ
0≠τ
1)には、BIOが適用される。両方の参照領域は非ゼロの動き(例えば、MVx
0,MVy
0,MVx
1,MVy
1≠0)を有し、ブロック動きベクトルは時間距離(例えば、MVx
0/MVx
1=MVy
0/MVy
1=-τ
0/τ
1)に比例する。
【0171】
点Aと点Bの間の値の差を最小化することで、動きベクトルフィールド(v
x,v
y)を判定する。
図9A~9Bは、動き軌跡と参照フレーム平面との交差の例を示す。モデルは、△に対してローカルテイラー展開の第1の線形項のみを用いる。
【0172】
【0173】
上記式におけるすべての値は、(i’,j’)として表されるサンプル位置に依存する。動きがローカル周辺エリアにおいて一貫していると仮定すると、△は、現在の予測点(i,j)を中心とする(2M+1)×(2M+1)の正方形窓Ωの内側で最小化することができ、ここで、Mは2に等しい。
【0174】
【0175】
この最適化問題に対して、JEMは、まず垂直方向に最小化し、次に水平方向に最小化する簡単なアプローチを使用する。その結果、以下のようになる。
【0176】
【0177】
ゼロまたは非常に小さな値での除算を回避するために、正則化パラメータrおよびmを式(28)および式(29)に導入することができる。
r=500・4d-8 式(31)
m=700・4d-8 式(32)
ここで、dは映像サンプルのビット深さである。
【0178】
BIOのメモリアクセスを通常の二重予測動き補償と同じにするために、すべての予測値と勾配値であるI
(k),∂I
(k)/∂x,∂I
(k)/∂yは、現在のブロック内の位置について計算される。
図24Aは、ブロック2300の外側のアクセス位置の例を示す。
図24Aの式(28)に示すように、(2M+1)×(2M+1)の正方形窓Ωは、現在予測されているブロックの境界上の予測点を中心としたブロック外の位置にアクセスする必要がある。JEMでは、ブロック外のI
(k),∂I
(k)/∂x,∂I
(k)/∂yの値は、ブロック内で最も近い利用可能な値に等しくなるように設定されている。例えば、これは、
図24Bに示すように、パディング領域2301として実装することができる。
【0179】
BIOを用いることで、各サンプルに動きフィールドを改良することができる。計算の複雑性を低減するために、JEMではブロックに基づくBIOの設計が用いられている。動きの改良は、4×4ブロックに基づいて計算することができる。ブロックに基づくBIOにおいて、4×4ブロック内で、全てのサンプルの式(28)内のsnの値を集約することができ、次いで、集約されたsnの値を使用して、4×4ブロックのオフセットされたBIO動きベクトルを導出する。具体的には、ブロックに基づくBIO導出には、以下の式を用いることができる。
【0180】
【0181】
ここで、bkは、予測ブロックのk番目の4×4のブロックに属するサンプルのセットを示す。式(28)および式(29)におけるsnを((sn,bk)>>4)に置き換え、関連する動きベクトルオフセットを導出する。
【0182】
シナリオによってはBIOのMVレジメンがノイズや不規則な動きで信頼できない場合がある。従って、BIOにおいて、MVレジメンの大きさは閾値にクリップされる。閾値は、現在のピクチャの参照ピクチャがすべて一方向からのものであるかどうかに基づいて判定される。例えば、現在のピクチャの参照ピクチャが全て一方向からのものであれば、閾値は、12×2(14-d)に設定され、そうでなければ、12×2(13-d)に設定される。
【0183】
BIOの勾配は、HEVC動き補償処理(例えば、2Dの分離可能な有限インパルス応答(FIR))に準拠した演算を使用して、動き補償補間と同時に計算されてもよい。いくつかの実施形態において、2Dの分離可能なFIRのための入力は、ブロック動きベクトルの端数部分に基づいて、動き補償処理および端数位置(fracX,fracY)のためのものと同じ参照フレームサンプルである。水平勾配∂I/∂xの場合、信号は、まず、スケーリングシフトd-8で端数位置fracYに対応するBIOfilterSを使用して垂直方向に補間される。次に、勾配フィルタBIOfilterGを、端数位置fracXに対応する水平方向に適用し、スケーリング解除を18-dだけシフトする。垂直方向の勾配∂I/∂yについては、スケーリングシフトd-8で端数位置fracYに対応するBIOfilterGを用いて垂直方向に勾配フィルタをかける。次に、BIOFilterSを使用して、端数位置fracXに対応する水平方向への信号の変位を行い、スケーリングを18-dだけシフトする。妥当な複雑性を維持するために、勾配計算BIOFilterGおよび信号変位BIOFilterFのための補間フィルタの長さを短く(例えば、6タップ)してもよい。表1は、BIOにおけるブロック動きベクトルの異なる端数位置の勾配計算に使用できる例示的なフィルタを示す。表2は、BIOにおける予測信号の生成に使用できる例示的な補間フィルタを示す。
【0184】
表1:BIOにおける勾配計算のための例示的なフィルタ
【0185】
【0186】
表2:BIOにおける予測信号生成のための例示的な補間フィルタ
【0187】
【0188】
本JEMにおいて、2つの予測が異なる参照ピクチャからのものである場合、BIOをすべての双予測ブロックに適用することができる。CUのローカル照明補償(LIC)を有効にすると、BIOを無効にすることができる。
【0189】
いくつかの実施形態において、OBMCは、通常のMC処理の後、1つのブロックに適用される。計算の複雑性を低減するために、OBMC処理中にBIOを適用しなくてもよい。つまり、BIOは、それ自身のMVを使用する場合、1つのブロックのMC処理において適用され、OBMC処理において近傍のブロックのMVを使用する場合、MC処理においては適用されない。
【0190】
2.9 デコーダ側動きベクトル改良(DMVR)の例
【0191】
双予測演算において、1つのブロック領域を予測するために、list0の動きベクトル(MV)およびlist1のMVをそれぞれ使用して構成される双予測ブロックを組み合わせ、1つの予測信号を形成する。デコーダ側動きベクトル改良(DMVR)方法において、バイラテラルテンプレートマッチング処理によって、双予測の2つの動きベクトルをさらに改良する。追加の動き情報を送信することなく改良されたMVを得るために、デコーダにおいてバイラテラルテンプレートマッチングを適用し、バイラテラルテンプレートと参照ピクチャにおける再構成サンプルとの間でひずみに基づく検索を行う。
【0192】
DMVRにおいて、
図25に示すように、list0の最初のMV0とlist1のMV1とから、それぞれ双予測ブロックの重み付け結合(すなわち、平均)としてバイラテラルテンプレートを生成する。テンプレートマッチング操作は、生成されたテンプレートと参照ピクチャにおけるサンプル領域(最初の予測ブロックの付近)との間のコスト尺度を計算することからなる。2つの参照ピクチャの各々について、テンプレートコストが最小となるMVを、そのリストの更新されたMVと見なし、元のMVに置き換える。JEMにおいて、各リストに対して9つのMV候補を検索する。9つのMV候補は、元のMVと、水平または垂直方向のいずれかまたは両方向に元のMVに対してオフセットしている1つの輝度サンプルを有する8つの周囲のMVを含む。最後に、2つの新しいMV、即ち、MV0’およびMV1’は、
図25に示すように、最終的な双予測結果を生成するために使用される。絶対差の合計(SAD)をコスト尺度として使用する。
【0193】
DMVRは、追加の構文要素を送信することなく、過去の参照ピクチャからの1つのMVと、将来の参照ピクチャからの1つのMVとの間の双予測のマージモードに適用される。JEMにおいて、CUに対してLIC、アフィン動き、FRUCまたはサブCUマージ候補が有効である場合、DMVRは適用されない。
【0194】
2.10 対称動きベクトル差の例
【0195】
より効率的にMVDを符号化するために、対称動きベクトル差(SMVD)を提案する。
【0196】
まず、スライスレベルにおいて、変数BiDirPredFlag、RefIdxSymL0、RefIdxSymL1を以下のように導出する。
【0197】
現在のピクチャに最も近い参照ピクチャリスト0における前方参照ピクチャを検索する。見つかった場合、RefIdxSymL0を前方ピクチャの参照インデックスに等しく設定する。
【0198】
現在のピクチャに最も近い参照ピクチャリスト1における後方参照ピクチャを検索する。見つかった場合、RefIdxSymL1を後方ピクチャの参照インデックスに等しく設定する。
【0199】
前方および後方ピクチャの両方が見つかった場合、BiDirPredFlagは1に等しく設定される。
【0200】
そうでない場合、以下が適用される。
【0201】
現在の参照ピクチャに最も近い参照ピクチャリスト0における後方参照ピクチャを検索する。見つかった場合、RefIdxSymL0を後方ピクチャの参照インデックスに等しく設定する。
【0202】
現在の参照ピクチャに最も近い参照ピクチャリスト1における前方参照ピクチャを検索する。見つかった場合、RefIdxSymL1を前方ピクチャの参照インデックスに等しく設定する。
【0203】
後方および前方ピクチャの両方が見つかった場合、BiDirPredFlagは1に等しく設定される。そうでない場合、BiDirPredFlagは0に等しく設定される。
【0204】
第2に、CUレベルにおいて、CUの予測方向が双予測であり、BiDirPredFlagが1に等しい場合、対称モードを使用するかどうかを示す対称モードフラグを明確に信号通知する。
【0205】
このフラグが真である場合、mvp_l0_flag、mvp_l1_flag、およびMVD0のみが明確に信号通知される。参照インデックスは、リスト0およびリスト1に対して、それぞれRefIdxSymL0、RefIdxSymL1に等しく設定される。MVD1は単に-MVD0に設定される。最終的動きベクトルを以下の式に示す。
【0206】
【0207】
【0208】
表3に、コーディングユニットの構文の修正を示す。
【0209】
表3:コーディングユニット構文の修正
【0210】
【0211】
2.10.1 アフィン双予測コーディングのための対称MVD
【0212】
アフィンモードのためのSMVDは、対称MVDモードの応用をアフィン双予測に拡張するために提案される。対称MVDモードをアフィン双予測コーディングに適用する場合、制御点MVDは信号通知されずに導出される。list-1の左上の制御点のMVDは、線形の動きの仮定に基づいてlist-0から導出される。list-0の他方の制御点MVDはゼロに設定される。
【0213】
2.11 コンテキスト適応2進算術コーディング(CABAC)
【0214】
2.11.1 HEVCにおけるCABAC設計
【0215】
2.11.1.1 HEVCにおける文脈表現および初期化処理
【0216】
HEVCにおいて、各コンテキスト変数に対して、2つの変数pStateIdxおよびvalMpsを初期化する。
【0217】
8ビットテーブルエントリinitValueから、2つの4ビット変数slopeIdx,offsetIdxを以下のように導出する。
【0218】
slopeIdx=initValue>>4
offsetIdx=initValue&15 (34)
【0219】
コンテキスト変数の初期化に使用される変数mおよびnは、slopeIdxおよびoffsetIdxから以下のように導出される。
【0220】
m=slopeIdx*5-45
n=(offsetIdx<<3)-16 (35)
【0221】
初期化のためにpStateIdxおよびvalMpsに割り当てられる2つの値は、SliceQpYで表されるスライスの輝度の量子化パラメータから導出される。変数mおよびnを特定すると、初期化は以下のように特定される。
【0222】
preCtxState=Clip3(1,126,((m*Clip3(0,51,SliceQpY))>>4)+n)
valMps=(preCtxState<=63)?0:1
pStateIdx=valMps?(preCtxState-64):(63-preCtxState) (36)
【0223】
2.11.1.2 HEVCにおける状態遷移処理
【0224】
この処理への入力は、現在のpStateIdx、ctxTableおよびctxIdxに関連付けられたコンテキスト変数の復号値binValおよびvalMpsである。
【0225】
この処理の出力は、ctxIdxに関連付けられたコンテキスト変数の更新されたpStateIdxおよびvalMpsである。
【0226】
復号値binValに基づいて、ctxIdxに関連付けられた2つの変数pStateIdxおよびvalMpsの更新は、以下の(37)のように導出される。
【0227】
if(binVal==valMps)
pStateIdx=transIdxMps(pStateIdx)
else{
if(pStateIdx==0)valMps=1-valMps
pStateIdx=transIdxLps(pStateIdx)
} (37)
【0228】
2.11.2 VVCにおけるCABAC設計
【0229】
VVCにおける文脈適応型2値算術コーディング器(BAC)は、VVCにおいて文脈更新処理および算術コーディング器の点でHEVCと異なる改良がなされている。
【0230】
最近採用された提案(JVET-M0473,CEtest5.1.13)の概要を以下に示す。
【0231】
表4:VVCにおけるCABAC修正の概要
【0232】
【0233】
2.11.2.1 VVCにおけるコンテキスト初期化処理
【0234】
VVCにおいて、初期化のためにpStateIdx0およびpStateIdx1に割り当てられる2つの値は、SliceQpYから導出される。変数mおよびnを特定すると、初期化は以下のように特定される。
【0235】
preCtxState=Clip3(0,127,((m*Clip3(0,51,SliceQpY))>>4)+n)
pStateIdx0=initStateIdxToState[preCtxState]>>4
pStateIdx1=initStateIdxToState[preCtxState] (38)
【0236】
2.11.2.2 VVCにおける状態遷移処理
【0237】
この処理への入力は、現在のpStateIdx0およびpStateIdx1、並びに復号値binValである。
【0238】
この処理の出力は、ctxIdxに関連付けられたコンテキスト変数の更新されたpStateIdx0およびpStateIdx1である。
【0239】
変数shift0(VVCTable4におけるCABAC修正の概要における変数に対応する)およびshift1(VVCTable4におけるCABAC修正の概要における変数bに対応する)は、ctxTableおよびctxIncに関連付けられたshiftIdx値から導出される。
【0240】
shift0=(shiftIdx>>2)+2
shift1=(shiftIdx&3)+3+shift0 (39)
【0241】
復号値binValに依存して、ctxIdxに関連付けられた2つの変数pStateIdx0およびpStateIdx1の更新は、以下のように導出される。
【0242】
pStateIdx0=pStateIdx0-(pStateIdx0>>shift0)+(1023*binVal>>shift0)
pStateIdx1=pStateIdx1-(pStateIdx1>>shift1)+(16383*binVal>>shift1) (40)
【0243】
3. 既存の実装形態の欠点
【0244】
いくつかの既存の実装形態において、MV/MV差(MVD)をアフィンコーディングブロックのための1組の複数のMV/MVD精度のセットから選択することができる場合、より正確な動きベクトルをどのようにして取得することができるかは、依然として不確定である。
【0245】
他の既存の実装形態において、MV/MVD精度情報は、アフィンモードに適用されるAMVRの全体的なコーディング利得の判定においても重要な役割を果たすが、この目標を達成するかどうかは依然として不確定である。
【0246】
4. AMVRを用いるアフィンモード用のMV予測子のための例示的な方法
【0247】
本開示の技術の実施形態は、既存の実装形態の欠点を克服し、それにより、より高いコーディング効率を有する映像コーディングを提供する。開示された技術に基づいて、適応動きベクトル解像度(AMVR)を有するアフィンモード用の動きベクトル予測子を導出し、信号通知することにより、既存のおよび将来の映像コーディング規格の両方を向上させることができ、様々な実装形態に対して説明する以下の例で明らかにする。以下に提供される開示される技術の例は、一般的な概念を説明するものであり、限定するものと解釈されるべきではない。一例において、明確に示されていない限り、逆に示されていない限り、これらの例に記載されている様々な特徴を組み合わせることができる。
【0248】
いくつかの実施形態において、AMVRが適用されるとき、アフィンモードまたはノーマルモードに次のような例を適用することができる。これらの例は、AF_INTERモードでMVDをコーディングするため、または通常のインターモードでMVDをコーディングするために、精度Prec(即ち、MVは1/(2^Prec)の精度を有する)を使用すると仮定する。動きベクトル予測子(例えば、近傍のブロックMVから継承される)およびその精度を、それぞれMVPred(MVPredX,MVPredY)およびPredPrecと表す。
【0249】
AMVRをサポートしたアフィンモードの改善
【0250】
1. 許容されるMVD精度のセットは、ピクチャごとに、スライスごとに、またはブロックごとに異なっていてもよい。
a. 一例において、許容されるMVD精度のセットは、ブロックサイズ、ブロック形状他のようなコーディングされた情報に依存してもよい。
b. 許容されるMV精度のセットは、{1/16,1/4,1}など、予め規定されてもよい。
c. 許可されるMV精度の指示は、CTUのSPS/PPS/VPS/シーケンスヘッダ/ピクチャヘッダ/スライスヘッダ/グループ等において信号通知されてもよい。
d. 許容されるMV精度のセットから選択されたMV精度を信号通知することは、1つのブロックに対して許容されるMV精度の数にさらに依存する。
【0251】
2. アフィンインターモードで使用されるMVD精度を示すために、1つの構文要素がデコーダに信号通知される。
a. 一例において、1つの単一の構文要素のみが、アフィンモードおよびAMVRモードに適用されるMVD精度を示すために使用される。
i. 一例において、同じ意味論が使用され、即ち、同じ値の構文要素が、AMVRおよびアフィンモードのために同じMVD精度にマッピングされる。
ii. 代替的に、単一の構文要素の意味論は、AMVRモードおよびアフィンモードによって異なる。すなわち、AMVRおよびアフィンモードに対して、同じ構文要素の値を異なるMVD精度にマッピングしてもよい。
b. 一例において、アフィンモードがAMVRと同じMVD精度のセットを使用する(例えば、MVD精度セットが{1,1/4,4}-画素)の場合、AMVRにおけるMVD精度構文要素は、アフィンモードで再使用され、即ち、単一の構文要素のみが使用される。
i. 代替的に、さらに、CABACエンコーダ/デコーダにおいて、この構文要素を符号化/復号化する時に、AMVRおよびアフィンモードに対して同じまたは異なるコンテキストモデルを使用してもよい。
ii. 代替的に、この構文要素は、AMVRおよびアフィンモードにおいて異なる意味論を有してもよい。例えば、AMVRにおいて、0、1、および2に等しい構文要素は、それぞれ1/4画素、1画素、および4画素のMV精度を示し、一方、アフィンモードにおいて、0、1、および2に等しい構文要素は、それぞれ1/4画素、1/16画素、および1画素のMV精度を示す。
c. 一例において、アフィンモードがAMVRと同数のMVD精度を使用するが、異なるMVD精度のセット(例えば、AMVRのMVD精度セットは{1,1/4,4}-画素であり、アフィンの場合、それは{1/16,1/4,1}-画素}である)を使用する場合、AMVRにおけるMVD精度構文要素は、アフィンモードで再使用される、即ち、1つの構文要素のみが使用される。
i. 代替的に、さらに、CABACエンコーダ/デコーダにおいて、この構文要素を符号化/復号化する時に、AMVRおよびアフィンモードに対して同じまたは異なるコンテキストモデルを使用してもよい。
ii. 代替的に、この構文要素は、AMVRおよびアフィンモードにおいて異なる意味論を有してもよい。
d. 一例において、アフィンモードは、AMVRよりも小さいMVD精度を使用し、AMVRにおけるMVD精度構文要素は、アフィンモードで再使用される。しかしながら、構文要素値のサブセットのみがアフィンモードに有効である。
i. 代替的に、さらに、CABACエンコーダ/デコーダにおいて、この構文要素を符号化/復号化する時に、AMVRおよびアフィンモードに対して同じまたは異なるコンテキストモデルを使用してもよい。
ii. 代替的に、この構文要素は、AMVRおよびアフィンモードにおいて異なる意味論を有してもよい。
e. 一例において、アフィンモードは、AMVRよりも高いMVD精度を使用し、AMVRにおけるMVD精度構文要素は、アフィンモードで再使用される。しかしながら、このような構文要素は、アフィンモードにおいてより多くの値を許容するように拡張される。
i. 代替的に、さらに、CABACエンコーダ/デコーダにおいて、この構文要素を符号化/復号化する時に、AMVRおよびアフィンモードに対して同じまたは異なるコンテキストモデルを使用してもよい。
ii. 代替的に、この構文要素は、AMVRおよびアフィンモードにおいて異なる意味論を有してもよい。
f. 一例において、アフィンモードのMVD精度をコーディングするために新しい構文要素が使用され、すなわち、AMVRのMVD精度をコーディングするためとアフィンモードのために2つの異なる構文要素が使用される。
g. アフィンモードのMVD精度の指示のための構文は、以下の条件のうちの1つまたはすべてが真である下で信号通知されてもよい。
i. すべての制御点のMVDがゼロでない。
ii. 少なくとも1つの制御点のためのMVDがゼロでない。
iii. 1つの制御点(例えば、第1のCPMV)のMVDがゼロでない。
この場合、上記条件の1つまたはそれらすべてが満たされなかったときは、MVD精度を信号通知する必要がない。
h. アフィンモードまたはAMVRモードのいずれかに対するMVD精度を示すための構文要素は、コンテキストでコーディングされてもよく、コンテキストは、コーディングされた情報に依存する。
i. 一例において、1つの構文要素しかない場合、コンテキストは、現在のブロックがアフィンモードでコーディングされているかどうかに依存してもよい。
i. 一例において、コンテキストは、近傍のブロック/時間層インデックス/予測方向のブロックサイズ/ブロック形状/MVD精度等に依存してもよい。
j. アフィンモードにおいて複数のMVD精度の使用を有効にするか無効にするかは、SPS/PPS/VPS/シーケンスヘッダ/ピクチャヘッダ/スライスヘッダ/CTU群等において信号通知されてもよい。
i. 一例において、アフィンモードのために複数のMVD精度の使用を許可するかまたは禁止するかの情報を信号通知するかは、他の構文要素に依存してもよい。例えば、複数のMVおよび/またはMVPおよび/またはMVD精度のアフィンモードでの使用を有効にするまたは無効にする情報は、アフィンモードが有効にされている場合には信号通知され、アフィンモードが無効にされている場合には信号通知されず、0であると推測される。
k. 代替的に、複数の構文要素は、アフィンインターモードにおいて、使用されるMVおよび/またはMVPおよび/またはMVD精度(以下の説明において、全て「MVD精度」と呼ばれる)を示すように信号通知されてもよい。
i. 一例において、アフィンインターモードおよび通常インターモードにおいて使用されるMVD精度を示すための構文要素は、異なってもよい。
1. アフィンインターモードおよび通常インターモードにおいて使用されるMVD精度を示すための構文要素の数は、異なってもよい。
2. アフィンインターモードおよび通常インターモードにおいて使用されるMVD精度を示すための構文要素の意味論は、異なってもよい。
3. 1つの構文要素をコーディングし、アフィンインターモードおよび通常インターモードで使用されるMVD精度を示すための算術コーディングにおけるコンテキストモデルは、異なってもよい。
4. アフィンインターモードおよび通常インターモードで使用されるMVD精度を示すように、1つの構文要素をコーディングするために、算術コーディングにおいてコンテキストモデルを導出する方法は、異なってもよい。
ii. 一例において、第1の構文要素(例えば、amvr_flag))は、アフィンコーディングブロックにおいてAMVRを適用するかどうかを示すように信号通知されてもよい。
1. 第1の構文要素は、条件付きで信号通知される。
a. 一例において、現在のブロックが特定のモード(例えば、CPR/IBCモード)でコーディングされる場合、第1の構文要素(amvr_flag)の信号通知はスキップされる。
b. 一例において、すべてのCPMVのMVD(水平成分および垂直成分の両方を含む)がすべてゼロである場合、第1の構文要素(amvr_flag)の信号通知はスキップされる。
c. 一例において、選択されたCPMVのMVD(水平成分および垂直成分の両方を含む)がすべてゼロである場合、第1の構文要素(amvr_flag)の信号通知はスキップされる。
i. 一例において、選択されたCPMVのMVDは、符号化/復号化される第1のCPMVのMVDである。
d. 一例において、アフィンコーディングブロックのために複数のMVD精度を有効にすることの使用が偽である場合、第1の構文要素(amvr_flag)の信号通知はスキップされる。
e. 一例において、第1の構文要素は、以下の条件下で信号通知されてもよい。
i. アフィンコーディングブロックのために複数のMVD精度を可能にすることの使用は真であり、現在のブロックはアフィンモードでコーディングされる。
ii. 代替的に、アフィンコーディングブロックのために複数のMVD精度を有効にすることの使用は真であり、現在のブロックは、アフィンモードでコーディングされ、CPMVのMVDの少なくとも1つのコンポーネントは、0に等しくない。
iii. 代替的に、アフィンコーディングブロックのために複数のMVD精度を有効にすることの使用は真であり、現在のブロックは、アフィンモードでコーディングされ、選択されたCPMVのMVDの少なくとも1つのコンポーネントは、0に等しくない。
1. 一例において、選択されたCPMVのMVDは、符号化/復号化される第1のCPMVのMVDである。
2. アフィンコーディングブロックにAMVRを適用しない場合、または第1の構文要素が存在しない場合、デフォルトのMVおよび/またはMVD精度が利用される。
a. 一例において、デフォルト精度は、1/4画素である。
b. 代替的に、デフォルトの精度は、アフィンコーディングブロックの動き補償に用いられる精度に設定される。
3. 例えば、amvr_flagが0である場合、アフィンモードのMVD精度は1/4画素であり、そうでない場合、アフィンモードのMVD精度は他の値であってもよい。
a. 代替的に、追加のMVD精度は、第2の構文要素を介してさらに信号通知されてもよい。
iii. 一例において、第2の構文要素(例えば、amvr_coarse_precision_flag)は、アフィンモードのMVD精度を示すように信号通知されてもよい。
1. 一例において、第2の構文要素が信号通知されるかどうかは、第1の構文要素に依存してもよい。例えば、第2の構文要素は、第1の構文要素が1であるときにのみ信号通知される。
2. 一例において、第2の構文要素が0である場合、アフィンモードのMVD精度は1画素であり、そうでない場合、アフィンモードのMVD精度は1/16画素である。
3. 一例において、第2の構文要素が0である場合、アフィンモードのMVD精度は1/16画素であり、そうでない場合、アフィンモードのMVD精度は全画素である。
iv. 一例において、アフィンインターモードにおいて使用されるMVD精度を示すために使用される構文要素は、同じ名前を有するが通常のインターモードにおいて使用されるMVD精度を示すために使用される構文要素と同じコンテキストモデルを共有する。
1. 代替的に、アフィンインターモードで使用されるMVD精度を示すのに使用される構文要素は、同じ名前を有するが通常のインターモードで使用されるMVD精度を示すのに使用される構文要素として、異なるコンテキストモデルを使用する。
【0252】
3. アフィンコーディングブロックに対してAMVRを適用するかどうか、またはどのように適用するかは、現在のブロックの参照ピクチャに依存してもよい。
i.一例において、参照ピクチャが現在のピクチャである場合、即ち、現在のブロックにおいてイントラブロックコピーが適用される場合、AMVRは適用されない。
【0253】
エンコーダのためのアフィンモードにおけるAVMRの高速アルゴリズム
アフィンモードとAMVPモードのRDコスト(実質RDコスト、またはSATD/SSE/SADコストにラフビットコストを加えたもの)を、IMV=iのときのaffineCosti、amvpCostiと表す。ここで、i=0,1,2である。ここで、IMV=0は1/4画素のMVを意味し、IMV=1はAMVPモードでは整数MV、アフィンモードでは1/16画素のMVを意味し、IMV=2はAMVPモードでは4画素のMV、アフィンモードでは整数MVを意味する。マージモードのRDコストをmergeCostとする。
【0254】
4. 現在のCUのアフィンモードにおいて、その親CUのベストモードがAF_INTERモードでもAF_MERGEモードでもない場合、AMVRを無効にすることが提案される。
a. 代替的に、AMVRは、その親CUの最良のモードがAF_INTERモードでない場合、現在のCUのアフィンモードのために無効にされる。
【0255】
5. affineCost0>th1*amvpCost0(ここで、th1は正の閾値である)の場合、AMVRはアフィンモードに対して無効にされることが提案される。
a. 代替的に、min(affineCost0,amvpCost0)>th2*mergeCost(ここで、th2は正の閾値である)である場合、AMVRはアフィンモードに対して無効にされる。
b. 代替的に、affineCost0>th3*affineCost1(ここで、th3は正の閾値であるである)場合、整数MVはアフィンモードに対して無効にされる。
【0256】
6. amvpCost0>th4*affineCost0(ここで、th4は正の閾値である)の場合、AMVPモードではAMVRを無効にすることが提案される。
a. 代替的に、AMVPモードでは、min(affineCost0,amvpCost0)>th5*mergeCost(ここで、th5は正の閾値である)の場合、AMVRは無効にされる。
【0257】
7. 1つのMV精度で得られた4/6パラメータアフィンモデルを、他のMV精度のための候補開始探索点として使用してもよいことが提案される。
a. 一例において、1/16MVで得られた4/6パラメータアフィンモデルを、他のMV精度のための候補開始探索点として使用してもよい。
b. 一例において、1/4MVで得られた4/6パラメータアフィンモデルを、他のMV精度のための候補開始探索点として使用してもよい。
【0258】
8. エンコーダにおいて、現在のブロックの親ブロックがアフィンモードを選択していない場合、アフィンモードのAMVRはチェックされない。
【0259】
9. 前述のコーディングされたフレーム/スライス/タイル/CTU行におけるアフィンコーディングブロックのための異なるMV精度の使用の統計を利用して、現在のスライス/タイル/CTU行におけるアフィンコーディングブロックのためのMV精度のひずみ率計算を早期に終了させることができる。
a. 一例において、特定のMV精度を有するアフィンコーディングブロックのパーセンテージが記録される。百分率が小さ過ぎる場合、対応するMV精度のチェックはスキップされる。
b. 一例において、あるMV精度をスキップするかどうかを判定するために、同じ時間層を有する、以前コーディングされたフレームが利用される。
【0260】
10. 上記提案の方法は、ブロックサイズ、スライス/ピクチャ/タイルタイプ、または動き情報等の特定の条件下で適用されてもよい。
a. 一例において、ブロックサイズがM*Hサンプルより小さい、例えば、16個または32個または64個の輝度サンプルを含む場合、提案した方法は許可されない。
b. 代替的に、ブロックの幅および/または高さの最小サイズがXよりも小さいまたはX以下の場合、提案した方法は許可されない。一例において、Xは8に設定される。
c. 代替的に、ブロックの幅および/または高さの最小サイズがXよりも小さくない場合、提案される方法は許可されない。一例において、Xは8に設定される。
d. 代替的に、ブロックの幅>th1または>=th1および/またはブロックの高さ>th2または>=th2の時、提案した方法は許可されない。一例において、th1および/またはth2は、8に設定される。
e. 代替的に、ブロックの幅<th1または<=th1および/またはブロックの高さ<th2または<=th2の時、提案された方法は許可されない。一例において、th1および/またはth2は、8に設定される。
f. 代替的に、上記方法を有効または無効にするか、および/またはどの方法を適用するかは、ブロックの寸法、映像処理データユニット(VPDU)、ピクチャタイプ、低遅延チェックフラグ、現在のブロックのコーディングされた情報(例えば、参照ピクチャ、単または双予測)または以前コーディングされたブロックに依存することができる。
【0261】
11. アフィンモードのためのAMVR方法は、イントラブロックコピー(IBC、別名、現在のピクチャリファレンス(CPR))を適用するかどうかで、異なる方法で実施することができる。
a. 一例において、1つのブロックがIBCによってコーディングされる場合、アフィンモードのためのAMVRを使用できない。
b. 一例において、アフィンモードのためのAMVRを使用してもよいが、1つのブロックがIBCによってコーディングされる場合、候補MV/MVD/MVP精度は、非IBCコーディングアフィンコーディングブロックのために使用されるものと異なってもよい。
【0262】
12. 文書における「スライス」という用語はすべて、「タイルグループ」または「タイル」に置き換えてもよい。
【0263】
13. VPS/SPS/PPS/スライスヘッダ/タイルグループヘッダにおいて、1に等しい構文要素(例:no_amvr_constraint_flag)は、AMVRが有効かどうかを示す構文要素(例:sps_amvr_enabled_flag)と、アフィンAMVRが有効かどうかを示す構文要素(例:sps_affine_avmr_enabled_flag)の両方が0に等しいことがビットストリーム適合性の要件であることを指定している。0に等しい構文要素(例えば、no_amvr_constraint_flag)は、制約を課さない。
【0264】
14. VPS/SPS/PPS/スライスヘッダ/タイルグループヘッダまたは他の映像データユニットにおいて、構文要素(例えば、no_affine_amvr_constraint_flag)を信号通知することができる。
a. 一例において、no_affine_amvr_constraint_flagが1に等しいことは、アフィンAMVRが有効化されるかどうかを示すための構文要素(例えば、sps_affine_avmr_enabled_flag)が0に等しいことがビットストリーム適合性の要件であることを指定する。構文要素(例えば、no_affine_amvr_constraint_flag)が0に等しい場合、制約は課されない。
【0265】
5. 実施形態
【0266】
5.1. 実施形態1:アフィンAMVRモードの使用方法の表示
それは、SPS/PPS/VPS/APS/シーケンスヘッダ/ピクチャヘッダ/タイルグループヘッダ等で信号通知されてもよい。この章では、SPSにおける信号通知について説明する。
【0267】
5.1.1. SPS構文テーブル
【0268】
【0269】
代替のSPS構文テーブルは、以下のように与えられる。
【0270】
【0271】
意味論:
sps_affine_amvr_enabled_flag=1は、アフィンインターモードの動きベクトルコーディングに適応動きベクトル差解像度を用いることを指定する。amvr_enabled_flag equal to 0は、アフィンインターモードの動きベクトルコーディングに適応動きベクトル差分解像度を用いないことを指定する。
【0272】
5.2. アフィンAMVRモード情報の構文解析処理
【0273】
アフィンAMVRモード情報の構文は、それをAMVRモード情報(通常のインターモードに適用される)に再利用してもよい。代替的に、異なる構文要素を利用してもよい。
アフィンAMVRモード情報は、条件付きで信号通知されてもよい。以下の異なる実施形態は、この条件のいくつかの例を示す。
【0274】
5.2.1. 実施形態#1:CU構文テーブル
【0275】
【0276】
5.2.2. 実施形態2:代替CU構文テーブル設計
【0277】
【0278】
5.2.3. 実施形態3:第3CU構文テーブル設計
【0279】
【0280】
5.2.4. 実施形態4:AMVRおよびアフィンAMVRモードのための異なる構文を有する構文テーブル設計
【0281】
【0282】
・一例において、conditionsAは、以下のように定義される。
(sps_affine_amvr_enabled_flag && inter_affine_flag==1 &&
(MvdCpL0[x0][y0][0][0]!=0||
MvdCpL0[x0][y0][0][1]!=0||
MvdCpL1[x0][y0][0][0]!=0||
MvdCpL1[x0][y0][0][1]!=0||
MvdCpL0[x0][y0][1][0]!=0||
MvdCpL0[x0][y0][1][1]!=0||
MvdCpL1[x0][y0][1][0]!=0||
MvdCpL1[x0][y0][1][1]!=0||
MvdCpL0[x0][y0][2][0]!=0||
MvdCpL0[x0][y0][2][1]!=0||
MvdCpL1[x0][y0][2][0]!=0||
MvdCpL1[x0][y0][2][1]!=0))
【0283】
代替的に、conditionsAは、以下のように定義される。
(sps_affine_amvr_enabled_flag && inter_affine_flag==1 &&
(MvdCpL0[x0][y0][0][0]!=0||
MvdCpL0[x0][y0][0][1]!=0||
MvdCpL1[x0][y0][0][0]!=0||
MvdCpL1[x0][y0][0][1]!=0)
【0284】
代替的に、conditionsAは、以下のように定義される。
(sps_affine_amvr_enabled_flag && inter_affine_flag==1 &&
(MvdCpLX[x0][y0][0][0]!=0||
MvdCpLX[x0][y0][0][1]!=0)
ここで、Xは、0または1である。
【0285】
代替的に、conditionsAは、以下のように定義される。
(sps_affine_amvr_enabled_flag && inter_affine_flag==1)
【0286】
・一例において、conditionsBは、以下のように定義される。
!sps_cpr_enabled_flag||!(inter_pred_idc[x0][y0]==PRED_L0 &&
ref_idx_l0[x0][y0]==num_ref_idx_l0_active_minus1)
【0287】
代替的に、conditionsBは、以下のように定義される。
!sps_cpr_enabled_flag||!(pred_mode[x0][y0]==CPR).
【0288】
代替的に、conditionsBは、以下のように定義される。
!sps_ibc_enabled_flag||!(pred_mode[x0][y0]==IBC).
【0289】
AMVRまたはアフィンAMVRをコーディングするために異なる構文要素を使用する場合、アフィンAMVRに適用される5.5の実施形態に使用されるコンテキストモデリングおよび/またはコンテキストをしかるべく適用することができる。
【0290】
5.2.5. 意味論
【0291】
amvr_flag[x0][y0]は、動きベクトルの差の解像度を指定する。配列インデックスx0,y0は、ピクチャの左上輝度サンプルに対するコーディングブロックの左上輝度サンプルの位置(x0,y0)を指定する。amvr_flag[x0][y0]が0に等しい場合は、動きベクトル差の解像度が輝度サンプルの1/4であることを指定し、amvr_flag[x0][y0]が1に等しい場合は、動きベクトル差の解像度がamvr_coarse_precisoin_flag[x0][y0]でさらに指定されることを指定する。
amvr_flag[x0][y0]が存在しない場合、次のように推論される。
-sps_cpr_enabled_flagが1に等しい場合、amvr_flag[x0][y0]は1に等しいと推測される。
-そうでない場合(sps_cpr_enabled_flagが0に等しい)、amvr_flag[x0][y0]は0に等しいと推論される。
【0292】
amvr_coarse_precisoin_flag[x0][y0]が1に等しい場合、動きベクトル差分の解像度はinter_affine_flagが0の場合は4輝度サンプル、inter_affine_flagが1の場合は1輝度サンプルであることを指定する。配列インデックスx0,y0は、ピクチャの左上輝度サンプルに対する、考慮されるコーディングブロックの左上輝度サンプルの位置(x0,y0)を指定する。
amvr_coarse_precisoin_flag[x0][y0]が存在しない場合、0に等しいと推測される。
【0293】
inter_affine_flag[x0][y0]が0の場合、変数MvShiftは(amvr_flag[x0][y0]+amvr_coarse_precisoin_flag[x0][y0])<<1に設定され、変数MvdL0[x0][y0][0]、MvdL0[x0][y0][1]、MvdL1[x0][y0][0]、MvdL1[x0][y0][1]は以下のように修正される。
【0294】
MvdL0[x0][y0][0]=MvdL0[x0][y0][0]<<(MvShift+2) (7-70)
MvdL0[x0][y0][1]=MvdL0[x0][y0][1]<<(MvShift+2) (7-71)
MvdL1[x0][y0][0]=MvdL1[x0][y0][0]<<(MvShift+2) (7-72)
MvdL1[x0][y0][1]=MvdL1[x0][y0][1]<<(MvShift+2) (7-73)
【0295】
inter_affine_flag[x0][y0]が1の場合、変数MvShiftは、(amvr_coarse_precisoin_flag?(amvr_coarse_precisoin_flag<<1):(-(amvr_flag<<1)))に設定され、変数MvdCpL0[x0][y0][0][0]、MvdCpL0[x0][y0][0][1]、MvdCpL0[x0][y0][1][0]、MvdCpL0[x0][y0][1][1]、MvdCpL0[x0][y0][2][0]、MvdCpL0[x0][y0][2][1]は、以下のように修正される。
【0296】
MvdCpL0[x0][y0][0][0]=MvdCpL0[x0][y0][0][0]<<(MvShift+2) (7-73)
MvdCpL1[x0][y0][0][1]=MvdCpL1[x0][y0][0][1]<<(MvShift+2) (7-67)
MvdCpL0[x0][y0][1][0]=MvdCpL0[x0][y0][1][0]<<(MvShift+2) (7-66)
MvdCpL1[x0][y0][1][1]=MvdCpL1[x0][y0][1][1]<<(MvShift+2) (7-67)
MvdCpL0[x0][y0][2][0]=MvdCpL0[x0][y0][2][0]<<(MvShift+2) (7-66)
MvdCpL1[x0][y0][2][1]=MvdCpL1[x0][y0][2][1]<<(MvShift+2) (7-67)
【0297】
代替的に、inter_affine_flag[x0][y0]が1に等しい場合、変数MvShiftは、(affine_amvr_coarse_precisoin_flag?(affine_amvr_coarse_precisoin_flag<<1):(-(affine_amvr_flag<<1)))に等しく設定される。
【0298】
5.3. 動きベクトルの丸め処理
【0299】
丸め処理は、所与のrightShift値が0(1/16画素の精度で発生する)である場合、丸めオフセットを(1<<(rightShift-1))ではなく、0に設定するように修正される。
【0300】
例えば、MVのための丸め処理の従属節は、以下のように修正される。
この処理への入力は以下の通りである。
-動きベクトルmvX、
-丸めるときの右シフトパラメータrightShift、
-解像度を上げるための、左シフトパラメータleftShift。
この処理の出力が丸められた動きベクトルmvXである。
mvXを丸める場合、以下が適用される。
【0301】
offset=(rightShift==0)?0:(1<<(rightShift-1)) (8-371)
mvX[0]=(mvX[0]>=0?(mvX[0]+offset)>>rightShift:
-((-mvX[0]+offset)>>rightShift))<<leftShift (8-372)
mvX[1]=(mvX[1]>=0?(mvX[1]+offset)>>rightShift:
-((-mvX[1]+offset)>>rightShift))<<leftShift (8-373)
【0302】
5.4. 復号化処理
【0303】
アフィン動きベクトル導出処理において呼び出される丸め処理は、2に固定される代わりに、(MvShift+2)の入力を用いて行われる。
【0304】
輝度アフィン制御点動きベクトル予測子の導出処理
この処理への入力は以下の通りである。
-現在のピクチャの左上の輝度サンプルに対する現在の輝度コーディングブロックの左上のサンプルの輝度位置(xCb、yCb)
-現在の輝度コーディングブロックの幅および高さを指定する2つの変数cbWidthおよびcbHeigh
-現在のコーディングユニットrefIdxLXの参照インデックスであり、Xは0または1である。
-制御点動きベクトルnumCpMvの数
この処理の出力は、Xが0または1として、cpIdx=0..numCpMv-1の輝度アフィン制御点動きベクトル予測子mvpCpLX[cpIdx]である。
【0305】
Xが0または1として、cpMvpListLXである制御点動きベクトル予測子候補リストを導出するために、以下の順序付けられたステップが適用される。
【0306】
リストnumCpMvpCandLXにおける制御点動きベクトル予測子の候補の数は、0に等しく設定される。
変数availableFlagAおよびavailableFlagBは、いずれもFALSEに等しく設定される。
【0307】
…
8.4.2.14節で規定された動きベクトルの丸め処理は、cpMvpLX[cpIdxに等しく設定したmvX、(MvShift+2)に等しく設定したrightShift、(MvShift+2)に等しく設定したleftShiftを入力とし、cpIdx=0..numCpMv-1で丸められたcpMvpLX[cpIdx]を出力として用いて呼び出される。
【0308】
…
変数availableFlagAはTRUEに等しく設定される。
8.4.4.5節で規定された近傍のブロックからの輝度アフィン制御点動きベクトルの導出処理は、輝度コーディングブロック位置(xCb,yCb)、輝度コーディングブロック幅と高さ(cbWidth,cbHeight)、近傍の輝度コーディングブロック位置(xNb,yNb)、近傍の輝度コーディングブロック幅と高さ(nbW,nbH)、制御点動きベクトル数numCpMvを入力とし、制御点動きベクトル予測子候補cpMvpLY[cpIdx](cpIdx=0..numCpMv-1)を出力として用いて呼び出される。
8.4.2.14節で規定された動きベクトルの丸め処理は、cpMvpLY[cpIdx]と等しく設定したmvX、(MvShift+2)に等しく設定したrightShift、(MvShift+2)に等しく設定したleftShiftを入力とし、cpIdx=0..numCpMv-1で丸められたcpMvpLY[cpIdx]を出力として用いて呼び出される。
【0309】
…
8.4.4.5節で規定された近傍のブロックからの輝度アフィン制御点動きベクトルの導出処理は、輝度コーディングブロック位置(xCb,yCb)、輝度コーディングブロック幅および高さ(cbWidth,cbHeight)、近傍の輝度コーディングブロック位置(xNb,yNb)、および制御点動きベクトル数numCpMvを入力とし、制御点動きベクトル予測子候補cpMvpLX[cpIdx](cpIdx=0...numCpMv-1)を出力として用いて呼び出される。
8.4.2.14節で規定された動きベクトルの丸め処理は、cpMvpLX[cpIdx]に等しく設定したmvX、(MvShift+2)に等しく設定したrightShift、(MvShift+2)に等しく設定したleftShiftを入力とし、cpIdx=0..numCpMv-1で丸められたcpMvpLX[cpIdx]を出力として用いて呼び出される。
【0310】
以下の割り当てを行う。
cpMvpListLX[numCpMvpCandLX][0]=cpMvpLX[0] (8-618)
cpMvpListLX[numCpMvpCandLX][1]=cpMvpLX[1] (8-619)
cpMvpListLX[numCpMvpCandLX][2]=cpMvpLX[2] (8-620)
numCpMvpCandLX=numCpMvpCandLX+1 (8-621)
あるいは、PredFlagLY[xNbBk][yNbBk](withY=!X)が1に等しく、DiffPicORDerCnt(RefPicListY[RefIdxLY[xNbBk][yNbBk]],RefPicListX[refIdxLX])が0に等しい場合、以下が適用される。
【0311】
変数availableFlagBはTRUEに設定される。
8.4.4.5節で規定された近傍のブロックからの輝度アフィン制御点動きベクトルの導出処理は、輝度コーディングブロック位置(xCb,yCb)、輝度コーディングブロック幅と高さ(cbWidth,cbHeight)、近傍の輝度コーディングブロック位置(xNb,yNb)、近傍の輝度コーディングブロック幅と高さ(nbW,nbH)、制御点動きベクトル数numCpMvを入力とし、制御点動きベクトル予測子候補cpMvpLY[cpIdx](cpIdx=0..numCpMv-1)を出力として用いて呼び出される。
8.4.2.14節で規定された動きベクトルの丸め処理は、cpMvpLY[cpIdx]と等しく設定したmvX、(MvShift+2)に等しく設定したrightShift、(MvShift+2)に等しく設定したleftShiftを入力とし、cpIdx=0..numCpMv-1で丸められたcpMvpLY[cpIdx]を出力として用いて呼び出される。
【0312】
以下の割り当てを行う。
cpMvpListLX[numCpMvpCandLX][0]=cpMvpLY[0] (8-622)
cpMvpListLX[numCpMvpCandLX][1]=cpMvpLY[1] (8-623)
cpMvpListLX[numCpMvpCandLX][2]=cpMvpLY[2] (8-624)
numCpMvpCandLX=numCpMvpCandLX+1 (8-625)
【0313】
numCpMvpCandLXが2未満である場合、以下が適用される。
8.4.4.8節で規定するアフィン制御点動きベクトル予測候補の導出処理は、輝度コーディングブロック位置(xCb,yCb)、輝度コーディングブロック幅cbWidth、輝度コーディングブロック高さcbHeight、現在のコーディングユニットrefIdxLXの参照インデックスを入力とし、可用性フラグavailableConsFlagLX、可用性フラグavailableFlagLX[cpIdx]およびcpMvpLX[cpIdx](cpIdx=0..numCpMv-1)を出力として用いて呼び出される。
【0314】
availableConsFlagLXが1に等しく、numCpMvpCandLXが0に等しい場合、以下の割り当てが行われる。
cpMvpListLX[numCpMvpCandLX][0]=cpMvpLX[0] (8-626)
cpMvpListLX[numCpMvpCandLX][1]=cpMvpLX[1] (8-627)
cpMvpListLX[numCpMvpCandLX][2]=cpMvpLX[2] (8-628)
numCpMvpCandLX=numCpMvpCandLX+1 (8-629)
【0315】
cpIdx=0..numCpMv-1に適用される。
numCpMvpCandLXが2未満であり、かつavailableFlagLX[cpIdx]が1に等しい場合、以下の割り当てが行われる。
cpMvpListLX[numCpMvpCandLX][0]=cpMvpLX[cpIdx] (8-630)
cpMvpListLX[numCpMvpCandLX][1]=cpMvpLX[cpIdx] (8-631)
cpMvpListLX[numCpMvpCandLX][2]=cpMvpLX[cpIdx] (8-632)
numCpMvpCandLX=numCpMvpCandLX+1 (8-633)
【0316】
numCpMvpCandLXが2未満である場合、以下が適用される。
8.4.2.11節に記載の時間的輝度動きベクトル予測の導出処理は、輝度コーディングブロック位置(xCb,yCb)、輝度コーディングブロックの幅cbWidth、輝度コーディングブロックの高さcbHeight、refIdxLXを入力とし、可用性フラグavailabilityFlagLXCol、および時間的動きベクトル予測子mvLXColを出力として使用して呼び出される。
【0317】
availableFlagLXColが1に等しい場合、以下が適用される。
8.4.2.14節に記載の動きベクトルの丸め処理は、mvLXColと等しく設定されたmvX、(MvShift+2)と等しいrightShift set、(MvShift+2)と等しく設定されたleftShiftを入力とし、丸めたmvLXColを出力として使用して呼び出される。
【0318】
以下の割り当てを行う。
cpMvpListLX[numCpMvpCandLX][0]=mvLXCol (8-634)
cpMvpListLX[numCpMvpCandLX][1]=mvLXCol (8-635)
cpMvpListLX[numCpMvpCandLX][2]=mvLXCol (8-636)
numCpMvpCandLX=numCpMvpCandLX+1 (8-637)
【0319】
numCpMvpCandLXが2未満である場合、numCpMvpCandLXが2に等しくなり、mvZero[0]およびmvZero[1]の両方が0に等しくなるまで、以下を繰り返す。
cpMvpListLX[numCpMvpCandLX][0]=mvZero (8-638)
cpMvpListLX[numCpMvpCandLX][1]=mvZero (8-639)
cpMvpListLX[numCpMvpCandLX][2]=mvZero (8-640)
numCpMvpCandLX=numCpMvpCandLX+1 (8-641)
【0320】
Xが0または1であるアフィン制御点動きベクトル予測子cpMvpLXは、以下のように導出される。
cpMvpLX=cpMvpListLX[mvp_lX_flag[xCb][yCb]] (8-642)
【0321】
構築されたアフィン制御点動きベクトル予測候補の導出処理
この処理への入力は以下の通りである。
-現在のピクチャの左上の輝度サンプルに対する現在の輝度コーディングブロックの左上のサンプルを指定する輝度位置(xCb,yCb)
-現在の輝度コーディングブロックの幅および高さを指定する2つの変数cbWidthおよびcbHeigh
-現在の予測ユニットの分割refIdxLX(Xが0または1)の参照インデックス。
この処理の出力は以下の通りである。
-構築されたアフィン制御点動きベクトル予測候補の可用性フラグavailableConsFlagLX(Xは0または1)
-availability flags availabilityLX[cpIdx](cpIdx=0..2で、Xは0または1)-構築されたアフィン制御点動きベクトル予測候補cpMvLX[cpIdx](cpIdx=0..numCpMv-1、Xは0または1)
【0322】
第1の(左上)制御点動きベクトルcpMvLX[0]および可用性フラグavailabilityFlagLX[0]は、以下の順序ステップで導出される。
サンプル位置(xNbB2,yNbB2),(xNbB3,yNbB3)および(xNbA2,yNbA2)は、それぞれ、(xCb-1,yCb-1),(xCb,yCb-1)and(xCb-1,yCb)に等しく設定される。
可用性フラグavailabilityFlagLX[0]は0に等しく設定され、cpMvLX[0]の両方のコンポーネントは0に等しく設定される。
【0323】
以下は、(xNbTL,yNbTL)をB2,B3,A2に置き換えた場合に適用される。
節に記載のコーディングブロックの可用性導出処理は、輝度コーディングブロック位置(xCb,yCb)、輝度コーディングブロックの幅cbWidth、輝度コーディングブロックの高さcbHeight、(xNbTL,yNbTL)に等しく設定された輝度位置(xNbY,yNbY)を入力として呼び出され、出力は符号化ブロック可用性フラグavailabilityTRに割り当てられる。
【0324】
availableTLがTRUEに等しく、かつavailableFlagLX[0]が0に等しい場合、以下が適用される。
【0325】
PredFlagLX[xNbTL][yNbTL]が1に等しく、DiffPicORDerCnt(RefPicListX[RefIdxLX[xNbTL][yNbTL]],RefPicListX[refIdxLX])が0に等しく、RefIdxLX[xNbTL][yNbTL]に対応する参照ピクチャが現在のピクチャでない場合、availableFlagLX[0]は、1に等しく設定され、下記のような割り当てを行う。
【0326】
cpMvLX[0]=MvLX[xNbTL][yNbTL] (8-643)
【0327】
そうでない場合、PredFlagLY[xNbTL][yNbTL](Y=!X)が1に等しく、DiffPicORDerCnt(RefPicListY[RefIdxLY[xNbTL][yNbTL]],RefPicListX[refIdxLX])が0に等しく、RefIdxLY[xNbTL][yNbTL]に対応する参照ピクチャが現在の画像でない場合、availableFlagLX[0]を1に等しく設定して下記のような割り当てを行う。
【0328】
cpMvLX[0]=MvLY[xNbTL][yNbTL] (8-644)
【0329】
availableFlagLX[0]が1の場合、8.4.2.14節で指定された動きベクトルの丸め処理は、cpMvLX[0]に等しく設定されたmvX、(MvShift+2)に等しく設定されたrightShift、(MvShift+2)に等しく設定されたleftShiftを入力とし、丸められたcpMvLX[0]を出力として呼び出される。
【0330】
第2の(右上)制御点動きベクトルcpMvLX[1]および可用性フラグavailabilityFlagLX[1]は、以下の順序ステップで導出される。
サンプル位置(xNbB1,yNbB1)と(xNbB0,yNbB0)は、それぞれ、(xCb+cbWidth-1,yCb-1)および(xCb+cbWidth,yCb-1)と等しく設定される。
可用性フラグavailabilityFlagLX[1]は0に設定され、cpMvLX[1]の両方のコンポーネントは0に設定される。
【0331】
以下は、(xNbTR,yNbTR)をB1およびB0に置き換えた場合に適用される。
6.4.X節に指定されたように、コーディングブロックの可用性導出処理は、輝度コーディングブロック位置(xCb,yCb)、輝度コーディングブロックの幅cbWidth、輝度コーディングブロックの高さcbHeight、(xNbTR,yNbTR)と等しく設定された輝度位置(xNbY,yNbY)を入力として呼び出され、出力はコーディングブロック可用性フラグavailabilityTRに割り当てられる。
【0332】
availableTRがTRUEに等しく、かつavailableFlagLX[1]が0に等しい場合、以下が適用される。
【0333】
PredFlagLX[xNbTR][yNbTLR]が1に等しく、DiffPicOrderCnt(RefPicListX[RefIdxLX[xNbTR][yNbTR]],RefPicListX[refIdxLX])が0に等しく、RefIdxLX[xNbTR][yNbTR]に対応する参照ピクチャが現在のピクチャでない場合、availableFlagLX[1]は、1に等しく設定して下記のような割り当てを行う。
【0334】
cpMvLX[1]=MvLX[xNbTR][yNbTR] (8-645)
【0335】
そうでない場合、PredFlagLY[xNbTR][yNbTR](Y=!X)が1に等しく、DiffPicORDerCnt(RefPicListY[RefIdxLY[xNbTR][yNbTR]],RefPicListX[refIdxLX])が0に等しく、RefIdxLY[xNbTR][yNbTR]に対応する参照ピクチャが現在の画像でない場合、availableFlagLX[1]を1に等しく設定して下記のような割り当てを行う。
【0336】
cpMvLX[1]=MvLY[xNbTR][yNbTR] (8-646)
【0337】
availableFlagLX[1]が1に等しい場合、8.4.2.14節で指定された動きベクトルの丸め処理は、cpMvLX[1]に等しく設定したmvX、(MvShift+2)に等しく設定したrightShift、(MvShift+2)に等しく設定したleftShiftを入力とし、丸められたcpMvLX[1]を出力として呼び出される。
【0338】
第3の(左下)制御点動きベクトルcpMvLX[2]および可用性フラグavailabilityFlagLX[2]は、以下の順序ステップで導出される。
【0339】
サンプル位置(xNbA1,yNbA1)および(xNbA0,yNbA0)は、それぞれ、(xCb-1,yCb+cbHeight-1)および(xCb-1,yCb+cbHeight)に等しく設定される。
可用性フラグavailabilityFlagLX[2]は0に等しく設定され、cpMvLX[2]の両方のコンポーネントは0に等しく設定される。
【0340】
以下は、(xNbBL,yNbBL)に適用され、BLがA1およびA0に置き換えられる。
【0341】
6.4.X節に記載のコーディングブロックの可用性導出処理は、輝度コーディングブロック位置(xCb,yCb)、輝度コーディングブロックの幅cbWidth、輝度コーディングブロックの高さcbHeight、輝度位置(xNbY,yNbY)=(xNbBL,yNbBL)を入力として呼び出され、その出力は、コーディングブロック可用性フラグavailabilityBLに割り当てられる。
【0342】
availableBLがTRUEに等しく、かつavailableFlagLX[2]が0に等しい場合、以下が適用される。
【0343】
PredFlagLX[xNbBL][yNbBL]が1に等しく、DiffPicORDerCnt(RefPicListX[RefIdxLX[xNbBL][yNbBL]],RefPicListX[refIdxLX])が0に等しく、RefIdxLY[xNbBL][yNbBL]に対応する参照ピクチャが現在のピクチャでない場合、availableFlagLX[2]を1に設定し、以下のような割り当てを行う。
【0344】
cpMvLX[2]=MvLX[xNbBL][yNbBL] (8-647)
【0345】
そうでない場合、PredFlagLY[xNbBL][yNbBL](Y=!X)が1に等しく、DiffPicORDerCnt(RefPicListY[RefIdxLY[xNbBL][yNbBL]],RefPicListX[refIdxLX])が0に等しく、RefIdxLY[xNbBL][yNbBL]に対応する参照ピクチャが現在の画像でない場合、availableFlagLX[2]を1に等しく設定して下記のような割り当てを行う。
【0346】
cpMvLX[2]=MvLY[xNbBL][yNbBL] (8-648)
【0347】
availableFlagLX[2]が1に等しい場合、8.4.2.14節で指定された動きベクトルの丸め処理は、cpMvLX[2]に等しく設定したmvX、(MvShift+2)に等しく設定したrightShift、(MvShift+2)に等しく設定したleftShiftを入力とし、丸められたcpMvLX[2]を出力として呼び出される。
【0348】
5.5. コンテキストモデリング
【0349】
コンテキストコーディングされた2値を使用した構文要素へのctxIncの割り当て:
【0350】
【0351】
左上の構文要素を使用するctxIncの仕様:
一例において、コンテキストインクリメントオフセットctxInc=(condL && availableL)+(condA && availableA)+ctxSetIdx*3である。
代替的に、ctxInc=((condL && availableL)||(condA && availableA))+ctxSetIdx*3である。
ctxInc=(condL && availableL)+M*(condA &&
availableA)+ctxSetIdx*3.(例えば、M=2)
ctxInc=M*(condL && availableL)+(condA && availableA)+ctxSetIdx*3.(例えば、M=2)
【0352】
【0353】
amvr_flagのctxIdxのinitValueの値:
現在のブロックがアフィンまたは非アフィンである場合、異なるコンテキストが使用される。
【0354】
【0355】
amvr_coarse_precisoin_flagのctxIdxのinitValueの値:
現在のブロックがアフィンまたは非アフィンである場合、異なるコンテキストが使用される。
【0356】
【0357】
上述された例は、以下に説明される方法、例えば、方法2600から2680に関連して組み込まれてもよく、これらは、ビデオデコーダまたはビデオエンコーダにおいて実装されてもよい。
【0358】
図26Aは、例示的な映像処理方法のフローチャートを示す。方法2600は、ステップ2602で、映像の現在のブロックのコーディング表現と現在のブロックとの間で変換するために、現在の映像ブロックを含む映像領域に適用される許容される複数のMVD精度のセットから、変換に使用される動きベクトル差(MVD)精度を判定することを含む。方法2600は、ステップ2604において、MVD精度に基づいて変換を行うことを含む。
【0359】
図26Bは、例示的な映像処理方法のフローチャートを示す。
図26Bに示す方法2610は、ステップ2612において、映像の1つ以上の映像ブロックを含む映像領域と映像のコーディング表現のために、映像領域における1つ以上の映像ブロックの変換のために複数の動きベクトル差(MVD)精度を使用することを判定することを含む。方法2610は、ステップ2614において、判定に基づいて変換を行うことを含む。
【0360】
図26Cは、例示的な映像処理方法のフローチャートを示す。
図26Cに示す方法2620は、ステップ2622において、映像の1つ以上の映像ブロックおよび映像のコーディング表現を含む映像領域に対して、現在の映像ブロックと映像のコーディング表現との間で変換するために、現在の映像ブロックに適応動きベクトル解像度(AMVR)処理を適用するか否かを判定することを含む。方法2620は、ステップ2624において、判定に基づいて変換を行うことを含む。
【0361】
図26Dは、例示的な映像処理方法のフローチャートを示す。
図26Dに示す方法2630は、ステップ2632において、映像の1つ以上の映像ブロックおよび映像のコーディング表現を含む映像領域に対して、現在の映像ブロックと映像のコーディング表現との間で変換するために、どのようにして現在の映像ブロックに適応動きベクトル解像度(AMVR)処理を適用するかを判定することを含む。方法2630は、ステップ2634において、判定に基づいて変換を行うことを含む。
【0362】
図26Eは、例示的な映像処理方法のフローチャートを示す。
図26Eに示す方法2640は、ステップ2642において、アフィンコーディングモードを用いる現在のコーディングユニットの親コーディングユニットのコーディングモードまたはアフィンコーディングモードのひずみ率(RD)コストに基づいて、映像の現在のブロックのコーディング表現と現在のブロックとの間で変換するために適応動きベクトル解像度(AMVR)の使用を判定することを含む。方法2640は、ステップ2644において、判定した結果に基づいて変換を行うことを含む。
【0363】
図26Fは、例示的な映像処理方法のフローチャートを示す。
図26Fに示す方法2650は、ステップ2652において、映像の現在のブロックのコーディング表現と、高度動きベクトル予測(AMVP)コーディングモードを使用する現在のブロックとの間で変換するための適応動きベクトル解像度(AMVR)の使用法を判定することを含み、その判定は、前記AMVPコーディングモードのひずみ率(RD)コストに基づいて行われる。方法2650は、ステップ2654において、判定した結果に基づいて変換を行うことを含む。
【0364】
図26Gは、例示的な映像処理方法のフローチャートを示す。
図26Gに示す方法2660は、ステップ2662において、映像の現在のブロックのコーディング表現と現在のブロックとの間で変換するために、4パラメータアフィンモデルまたは6パラメータアフィンモデルを使用してMV(動きベクトル)精度のセットを生成することを含む。方法2660は、ステップ2664において、MV精度のセットに基づいて変換を行うことを含む。
【0365】
図26Hは、例示的な映像処理方法のフローチャートを示す。
図26Hに示す方法2670は、ステップ2672において、アフィンコーディングモードを使用する現在のブロックの親ブロックのコーディングモードに基づいて、復号化時の動きベクトル解像度を改善するために適応動きベクトル解像度(AMVR)ツールを使用して変換を行うかどうかを判定することを含む。方法2670は、ステップ2674において、判定した結果に基づいて変換を行うことを含む。
【0366】
図26Iは、例示的な映像処理方法のフローチャートを示す。
図26Iに示す方法2680は、ステップ2682において、アフィンコーディングモードを使用して以前にコーディングされた前のブロックに対するMV精度の使用に基づいて、現在のブロックのコーディング表現と現在のブロックとの間で変換するためにアフィンコーディングモードを使用する、現在のブロックのためのMV精度のひずみ率(RD)計算の終了を判定することを含む。方法2680は、ステップ2684において、判定した結果に基づいて変換を行うことを含む。
【0367】
5. 開示される技術の例示的な実装形態
【0368】
図27は、映像処理装置2700のブロック図の一例である。装置2700は、本明細書で説明される方法の1つ以上を実装するために使用してもよい。装置2700は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機等に実施されてもよい。装置2700は、1つ以上の処理装置2702と、1つ以上のメモリ2704と、映像処理ハードウェア2706と、を含んでもよい。1つ以上の処理装置2702は、本明細書に記載される1つ以上の方法(方法2610および2680を含むが、これに限定されない)を実装するように構成されてもよい。メモリ(複数可)2704は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア2706は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
【0369】
図29は、開示される技術が実装され得る映像処理システムのブロック図の別の例である。
図29は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム2900を示すブロック図である。様々な実装形態は、システム2900のモジュールの一部または全部を含んでもよい。システム2900は、映像コンテンツを受信するための入力ユニット2902を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、8または10ビットのマルチモジュール画素値で受信されてもよく、または圧縮または符号化フォーマットで受信されてもよい。入力ユニット2902は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PON)等の有線インターフェース、およびWi-Fiまたはセルラーインターフェース等の無線インターフェースを含む。
【0370】
システム2900は、本明細書に記載される様々なコーディングまたは符号化方法を実装することができるコーディングモジュール2904を含んでもよい。コーディングモジュール2904は、入力ユニット2902からの映像の平均ビットレートをコーディングモジュール2904の出力に低減し、映像のコーディング表現を生成してもよい。従って、このコーディング技術は、映像圧縮または映像コード変換技術と呼ばれることがある。コーディングモジュール2904の出力は、モジュール2906によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット2902において受信された、記憶されたまたは通信された映像のビットストリーム(またはコーディング)表現は、モジュール2908によって使用されて、表示インターフェースユニット2910に送信される画素値または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張(映像展開)と呼ばれることがある。さらに、特定の映像処理動作を「コーディング」動作またはツールと呼ぶが、コーディングツールまたは動作は、エンコーダによって行われ、対応する復号化ツールまたは動作であって復号化の結果を逆にするものは、デコーダによって行われることが理解されよう。
【0371】
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス(USB)または高精細マルチメディアインターフェース(HDMI(登録商標))またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント(SATA)、PCI、IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および/または映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
【0372】
いくつかの実施形態において、映像処理方法は、
図27または29を参照して説明したように、ハードウェアプラットフォームに実装される装置を用いて実施されてもよい。
【0373】
様々な技術および実施形態を、以下の節に基づくフォーマットを使用して説明することができる。これらの節は、いくつかの実施形態の好適な特徴として実装されてもよい。
【0374】
複数の節のうちの第1の組では、例えば、前の章の節1,2、および13~15に記載された技術のうちの一部を使用する。
【0375】
1. 映像の現在のブロックのコーディング表現と現在のブロックとの間で変換するために、現在の映像ブロックを含む映像領域に適用可能な許容される複数のMVD精度のセットから、変換に使用される動きベクトル差(MVD)精度を判定することと、MVD精度に基づいて変換を行うことと、を含む、映像処理の方法。
【0376】
2. 前記許容される複数のMVD精度のセットは、前記映像データのピクチャ、スライス、またはブロックに依存する、第1節に記載の方法。
【0377】
3. 許容される複数のMVD精度のセットは、現在のブロックのコーディングされた情報に依存する、第1節に記載の方法。
【0378】
4. 許容される複数のMVD精度のセットは、予め規定される、第1節に記載の方法。
【0379】
5. 許容される複数のMVD精度のセットは、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、映像パラメータセット(VPS)、シーケンスヘッダ、ピクチャヘッダ、スライスヘッダ、コーディングツリーユニットの群(CTU)において信号通知される、第1節に記載の方法。
【0380】
6. 現在のブロックのための許容されるMV精度の数に基づいて、許容される複数のMVD精度のセットから、判定されたMVD精度を信号通知することをさらに含む、第1節に記載の方法。
【0381】
7. MVD精度を判定することは、1つ以上の構文要素に基づいており、現在のブロックは、アフィンモードを使用してコーディングされる、第1節に記載の方法。
【0382】
8. アフィンモードおよび非アフィンモードの両方に適用される許容される複数のMVD精度のセットから設定されたMVD精度を示すために、同じ構文要素が使用される、第3または7節に記載の方法。
【0383】
9. アフィンモードおよび非アフィンモードは、許容される複数のMVD精度の同じセットを使用する、第3、7または8節に記載の方法。
【0384】
10. アフィンコーディングブロックは、非アフィンモードで使用されるものとは異なる、
許容される複数のMVD精度のセットを使用する、第3、7、または8節に記載の方法。
【0385】
11. 非アフィンモードで使用されるものと同じ数の許容される複数のMVD精度を有する異なるセットは、非アフィンモードで使用される構文要素を前記アフィンモードで再使用する、第10節に記載の方法。
【0386】
12. 異なるセットは、非アフィンモードで使用されるものとは異なる、少なくとも1つのMVD精度を有する、第10節に記載の方法。
【0387】
13. 非アフィンモードおよびアフィンモードで使用される構文要素の意味論が異なり、構文要素が、異なるMVD精度に解釈される同じ復号値を有する、第3、7または8節に記載の方法。
【0388】
14. アフィンモードで使用される、許容される複数のMVD精度の数は、非アフィンモードで使用されるものよりも少ない、第3、7、または8節に記載の方法。
【0389】
15. 前記非アフィンモードのための前記構文値の1つ以上のサブセットは、前記アフィンモードにおいて有効でない、第8節に記載の方法。
【0390】
16. 非アフィンモードおよびアフィンモードで使用される構文要素の意味論が異なり、同じ値の構文要素が、異なるMVD精度に解釈される、第8または14節に記載の方法。
【0391】
17. アフィンモードで使用される、許容される複数のMVD精度の数は、非アフィンモードで使用されるものよりも多い、第3または7節に記載の方法。
【0392】
18. 非アフィンモードにおける1つ以上の構文要素は、前記アフィンモードのためのより多くの値を許容するように拡張される、第17節に記載の方法。
【0393】
19. アフィンモードのMVD精度を処理するために、非アフィンモードのMVD精度を処理するために使用されるものとは異なる追加の構文要素を使用する、第7節に記載の方法。
【0394】
20. アフィンモードのためのMVD精度の指示が、選択的に信号通知される、第7節に記載の方法。
【0395】
21. すべての制御点動きベクトル(CPMV)のMVDがゼロでない場合、アフィンモードのためのMVD精度の指示が信号通知される、第20節に記載の方法。
【0396】
22. 少なくとも1つのCPMVのためのMVDがゼロでない場合、アフィンモードのためのMVD精度の指示が信号通知される、第20節に記載の方法。
【0397】
23. 1つの選択されたCPMVのMVDがゼロでない場合、アフィンモードのためのMVD精度の指示が信号通知される、第20節に記載の方法。
【0398】
24. 第1のCPMVのMVDがゼロでない場合、アフィンモードのためのMVD精度の指示が信号通知される、第20節に記載の方法。
【0399】
25. 1つ以上の所定の条件が満たされない場合、アフィンモードのためのMVD精度の指示が信号通知されない、第20節に記載の方法。
【0400】
26. アフィンモードまたは非アフィンモードのいずれかに関連付けられたMVD精度表示のための構文要素が、現在のブロックのコーディングされた情報に依存するコンテキストでコーディングされる、第7節に記載の方法。
【0401】
27. アフィンモードまたは非アフィンモードのいずれかに関連付けられたMVD精度表示のための前記構文要素のコンテキスト選択は、現在のブロックがアフィンモードでコーディングされているかどうかに依存する、第7節に記載の方法。
【0402】
28. 1つのコンテキストは、1つのアフィンコーディングブロックのためのMVD精度指示のための構文要素に使用され、別のコンテキストは、1つの非アフィンコーディングブロックのために使用される、第7節に記載の方法。
【0403】
29. 近傍のブロックのサイズ、形状、またはMVD精度、時間層インデックス、または予測方向に基づいて、MVD精度指標のためのコンテキストを判定する、第7節に記載の方法。
【0404】
30. アフィンモードのために許容される複数のMVD精度の使用を有効にするかまたは無効にするかは、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、映像パラメータセット(VPS)、シーケンスヘッダ、ピクチャヘッダ、スライスヘッダ、またはコーディングツリーユニット(CTU)の群において信号通知される、第7節に記載の方法。
【0405】
31. アフィンモードのために許容される複数のMVD精度の使用を許可するかまたは禁止するかは、1つ以上の構文要素に依存する、第7節に記載の方法。
【0406】
32. 前記許容される複数のMVD精度の使用を許可するかまたは禁止するかの情報は、前記アフィンモードが許可されると、信号通知され、前記アフィンモードが禁止されると、信号通知されない、第7節に記載の方法。
【0407】
33. 前記1つ以上の構文要素は、スライスレベル、ピクチャレベル、またはシーケンスレベルで含まれる、第7~32節のいずれか1節に記載の方法。
【0408】
34. 前記スライスがタイル群またはタイルに置き換えられる、第5、30、または33節に記載の方法。
【0409】
35. VPS、SPS、PPS、スライスヘッダ、またはタイルグループヘッダにおいて、1に等しい構文要素は、コーディング表現に準拠するための要件を指定し、複数のMVD精度の第1のセットが非アフィンモードで有効であるかどうかを示すための第1の構文要素と、複数のMVD精度の第2のセットがアフィンモードで有効であるかどうかを示すための第2の構文要素との両方がゼロであることを示すことを要求する、第1~34節のいずれか1節に記載の方法。
【0410】
36. 1つの構文要素が、VPS、SPS、PPS、スライスヘッダ、タイルグループヘッダ、または他の映像データユニットにおいて信号通知される、第1~34節のいずれか1節に記載の方法。
【0411】
37. 1に等しい構文要素は、コーディング表現に準拠するための要件を指定し、前記要件は、アフィンモードに対して複数のMVD精度が有効にされているかどうかを示すための構文要素が0に等しいことを要求する、第36節に記載の方法。
【0412】
38. アフィンコーディングブロックに対して同じMVD精度で動きベクトル予測子を利用する、第7から37節のいずれか1節に記載の方法。
【0413】
39. 現在のブロックの最終的動きベクトルを、アフィンコーディングブロックに対して同じMVD精度で利用する、第7~37節のいずれか1節に記載の方法。
【0414】
40. 前記変換を行うことは、現在のブロックから前記コーディング表現を生成するステップを含む、第1~39節のいずれか1節に記載の方法。
【0415】
41. 前記変換を行うことは、前記コーディング表現から前記現在のブロックを生成することを含む、第1~39節のいずれか1節に記載の方法。
【0416】
42. 処理装置と、その処理装置に命令が記憶された非一時的メモリとを備える装置であって、命令が処理装置によって実装されることにより、処理装置に、第1節~41節のいずれか1節に記載の方法を実施させる映像システムの装置。
【0417】
43. 非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、第1~41節のいずれか1節に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
【0418】
第2の組の節目は、例えば、前節の第3、4、12節を含む、先行する節に記載されたいくつかの技術を使用する。
【0419】
1. 映像の1つ以上の映像ブロックおよびこの映像のコーディング表現を含む映像領域に対して、この映像領域におけるこの1つ以上の映像ブロックの変換のために複数の動きベクトル差(MVD)精度を使用することを判定することと、この判定に基づいてこの変換を行うこととを含む、映像処理方法。
【0420】
2. 1つ以上の映像ブロックの少なくとも一部の前記変換は、アフィンモードコーディングに基づく、第1節に記載の方法。
【0421】
3. 使用は、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、映像パラメータセット(VPS)、シーケンスヘッダ、ピクチャヘッダ、スライスヘッダ、またはコーディングツリーユニット群(CTU)を含むコーディング表現で示される第1または2節に記載の方法。
【0422】
4. 使用は、MVD精度を示すために使用される構文要素に依存して示される、第3節に記載の方法。
【0423】
5. 映像の1つ以上の映像ブロックおよびこの映像のコーディング表現を含む映像領域に対して、現在の映像ブロックとこの映像のコーディング表現との間で変換するために、現在の映像ブロックに適応動きベクトル解像度(AMVR)処理を適用するかどうかを判定することと、この判定に基づいてこの変換を行うことと、を含む、映像処理方法。
【0424】
6. 映像の1つ以上の映像ブロックおよびこの映像のコーディング表現を含む映像領域に対して、現在の映像ブロックとこの映像のコーディング表現との間で変換するために、どのようにして現在の映像ブロックに適応動きベクトル解像度(AMVR)処理を適用するかを判定することと、この判定に基づいてこの変換を行うことと、を含む、映像処理方法。
【0425】
7. 現在の映像ブロックの変換は、アフィンモードコーディングに基づく、第5または6節に記載の方法。
【0426】
8. 判定することは、現在の映像ブロックの参照ピクチャに依存する、第7節に記載の方法。
【0427】
9. 参照ピクチャが現在のピクチャである場合、判定することは、AMVR処理を適用しないと判定する、第8節に記載の方法。
【0428】
10. 判定することは、現在のブロックにイントラブロックコピー(IBC)を適用するかどうかに依存する、第5または6節に記載の方法。
【0429】
11. 判定することは、IBCによってコーディングされた現在のブロックにAMVR処理を適用することを判定する、第10節に記載の方法。
【0430】
12. IBCコーディングブロックのためのMV(動きベクトル)、MVD、またはMVP(動きベクトル予測)の精度の候補は、IBCコーディングブロックにおいて、IBCコーディングされていない他の映像ブロックに用いられるものと異なる、第11節に記載の方法。
【0431】
13. IBCコーディングブロックのためのMV(動きベクトル)、MVD、またはMVP(動きベクトル予測)の精度の候補は、アフィンモードでコーディングされた別の映像ブロックに使用されるものと異なる、第11節に記載の方法。
【0432】
14. 前記変換を行うことは、現在のブロックから前記コーディング表現を生成するステップを含む、第1~13節のいずれか1節に記載の方法。
【0433】
15. 前記変換を行うことは、前記コーディング表現から前記現在のブロックを生成することを含む、第1~13節のいずれか1節に記載の方法。
【0434】
16. 処理装置と、その処理装置に命令が記憶された非一時的メモリとを備える装置であって、命令が処理装置によって実装されることにより、処理装置に、第1節~15節のいずれか1節に記載の方法を実施させる映像システムの装置。
【0435】
17. 非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、第1~15節のいずれか1節に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
【0436】
第3の組の節目は、例えば、前節の第5~10、および13節を含む、先行する節に記載されたいくつかの技術を使用する。
【0437】
1. アフィンコーディングモードを使用する現在のコーディングユニットの親コーディングユニットのコーディングモードまたはこのアフィンコーディングモードのひずみ率(RD)コストに基づいて、映像の現在のブロックのコーディング表現とこの現在のブロックとの間で変換するために適応動きベクトル解像度(AMVR)を使用することを判定することと、この判定した結果に基づいてこの変換を行うことを含む、映像処理方法。
【0438】
2. 親コーディングユニットのコーディングモードがAF_InterモードまたはAF_MERGEモードでない場合、判定することは、AMVRを現在のコーディングユニットに使用できないようにする、第1節に記載の方法。
【0439】
3. 親コーディングユニットのコーディングモードがAF_Interモードでない場合、判定することは、前記AMVRを現在のコーディングユニットに使用できないようにする、第1節に記載の方法。
【0440】
4. アフィンコーディングモードのRDが高度動きベクトル予測(AMVP)モードの正の閾値とRDコストとの乗算よりも大きい場合、判定することは、前記AMVRを現在のコーディングユニットに使用できないようにする、第1節に記載の方法。
【0441】
5. 判定は、1/4画素のMV精度に適用される、第4節に記載の方法。
【0442】
6. 最小RDコストは、正の閾値とマージモードのRDコストとの乗算よりも大きい場合、判定することは、AMVRを現在のコーディングユニットに使用することを無効にし、最小RDコストは、アフィンコーディングモードのRDコストと高度動きベクトル予測(AMVP)モードのRDコストとの最小値である、第1節に記載の方法。
【0443】
7. 判定は、1/4画素のMV精度に適用される、第6節に記載の方法。
【0444】
8. 映像の現在のブロックのコーディング表現と、高度動きベクトル予測(AMVP)コーディングモードを使用する現在のブロックとの間で変換するための適応動きベクトル解像度(AMVR)の使用量を、AMVPコーディングモードのひずみ率(RD)コストに基づいて判定することと、判定の結果に従って変換を行うことと、を含む、映像処理方法。
【0445】
9. AMVPコーディングモードのRDコストが、正の閾値とアフィンモードのRDコストとの乗算よりも大きい場合、判定することは、前記AMVRの使用を無効にする、第8節に記載の方法。
【0446】
10. 判定は、1/4画素のMV精度に適用される、第8節に記載の方法。
【0447】
11. 最小RDコストは、正の閾値とマージモードのRDコストとの乗算よりも大きい場合、判定することは、AMVRの使用を無効にし、最小RDコストは、アフィンモードのRDコストとAMVPコーディングモードのRDコストとの最小値である、第8節に記載の方法。
【0448】
12. 判定は、1/4画素のMV精度に適用される、第11節に記載の方法。
【0449】
13. 映像の現在のブロックのコーディング表現と現在のブロックとの間で変換するために、4パラメータアフィンモデルまたは6パラメータアフィンモデルを使用してMV(動きベクトル)精度のセットを生成することと、このMV精度のセットに基づいてこの変換を行うこととを含む、映像処理方法。
【0450】
14. 単一のMV精度で得られた4パラメータアフィンモデルまたは6パラメータアフィンモデルを、他のMV精度のための候補開始探索点として用いる、第13節に記載の方法。
【0451】
15. 単一MV精度は、1/16MV精度を含む、第14節に記載の方法。
【0452】
16. 単一MV精度は、1/4MV精度を含む、第14節に記載の方法。
【0453】
17. アフィンコーディングモードを使用する現在のブロックの親ブロックのコーディングモードに基づいて、適応動きベクトル解像度(AMVR)ツールを使用して変換を行うかどうかを判定し、AMVRツールを使用して復号化時の動きベクトル解像度を改善することと、この判定の結果に基づいて変換を行うことと、を含む、映像処理方法。
【0454】
18. 現在のブロックの親ブロックがアフィンコーディングモードでない場合、判定することは、現在のブロックのためにAMVRをチェックしないようにする、第17節に記載の方法。
【0455】
19. アフィンコーディングモードを使用して前にコーディングされた前のブロックのMV精度の使用に基づいて、現在のブロックのコーディング表現と現在のブロックとの間で変換するためにアフィンコーディングモードを使用する、現在のブロックのMV精度ひずみ率(RD)計算の終了を判定することと、この判定の結果に基づいてこの変換を行うこととを含む、映像処理方法。
【0456】
20. 現在のブロックおよび前のブロックは、それぞれ、現在の画像セグメントおよび前の画像セグメントに含まれ、現在の画像セグメントおよび前の画像セグメントは、ピクチャ、スライス、タイルまたはコーディングツリーユニット(CTU)行である、第19節に記載の方法。
【0457】
21. 前記変換を行うことは、現在のブロックから前記コーディング表現を生成するステップを含む、第1~20節のいずれか1節に記載の方法。
【0458】
22. 前記変換を行うことは、前記コーディング表現から前記現在のブロックを生成することを含む、第1~20節のいずれか1節に記載の方法。
【0459】
23. 処理装置と、その処理装置に命令が記憶された非一時的メモリとを備える装置であって、命令が処理装置によって実装されることにより、処理装置に、第1節~22節のいずれか1節に記載の方法を実施させる映像システムの装置。
【0460】
24. 非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、第1節~22節のいずれか1節に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
【0461】
以上、説明の目的で本開示の技術の特定の実施形態を説明したが、本発明の範囲から逸脱することなく様々な修正が可能であることは、理解されるであろう。従って、本開示の技術は、添付の特許請求の範囲による場合を除き、限定されない。
【0462】
本特許明細書に記載された主題および機能操作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、様々なシステム、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実施することができる。本明細書に記載された主題の実装形態は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実行されるため、またはデータ処理装置の操作を制御するために、有形で非可搬性のコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実装することができる。このコンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1つ以上の組み合わせであってもよい。「データ処理ユニット」または「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置若しくはコンピュータを含め、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1つ以上の組み合わせを構成するコードを含んでもよい。
【0463】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、それは、スタンドアロンプログラムとして、または演算環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットを含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開可能である。
【0464】
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はまた、特定用途のロジック回路として実装することができる。
【0465】
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上の処理装置を含む。一般的に、処理装置は、読み出し専用メモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するための処理装置と、命令およびデータを記憶するための1つ以上のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュメモリデバイス等の半導体メモリデバイスを含む。処理装置およびメモリは、特定用途のロジック回路によって補完されても、または組み込まれてもよい。
【0466】
本明細書は、図面とともに、例示のみを目的とするものであり、例示的とは例を意味することが意図される。本明細書で使用される場合、「または」の使用は、文脈からそうでないことが明確に示されていない限り、「および/または」を含むことが意図される。
【0467】
本特許明細書は多くの詳細を含むが、これらは、任意の発明の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許明細書において別の実施形態の文脈で説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、単一の例の文脈で説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切な副結合で実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、副結合または副結合のバリエーションに向けられてもよい。
【0468】
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で実行されること、または示された全ての操作が実行されることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムモジュールの分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
【0469】
いくつかの実装形態および例のみが記載されており、本特許明細書に記載され図示されている内容に基づいて、他の実施形態、拡張および変形が可能である。