特表 2024-523868 動きベクトルリファインメントを有する幾何学的分割モードの方法及びデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-02

(54)【発明の名称】動きベクトルリファインメントを有する幾何学的分割モードの方法及びデバイス

(51)【国際特許分類】

   H04N 19/105 20140101AFI20240625BHJP

   H04N 19/13 20140101ALI20240625BHJP

   H04N 19/513 20140101ALI20240625BHJP

   H04N 19/139 20140101ALI20240625BHJP

   H04N 19/176 20140101ALI20240625BHJP

【ＦＩ】

H04N19/105

H04N19/13

H04N19/513

H04N19/139

H04N19/176

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023577272

(86)(22)【出願日】2022-06-14

(85)【翻訳文提出日】2024-02-09

(86)【国際出願番号】 US2022033473

(87)【国際公開番号】W WO2022266128

(87)【国際公開日】2022-12-22

(31)【優先権主張番号】63/210,484

(32)【優先日】2021-06-14

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521147444

【氏名又は名称】ベイジン ダージャー インターネット インフォメーション テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＤＡＪＩＡ ＩＮＴＥＲＮＥＴ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100226263

【弁理士】

【氏名又は名称】中田 未来生

(72)【発明者】

【氏名】シュウ シャオユウ

(72)【発明者】

【氏名】チェン ウェイ

(72)【発明者】

【氏名】クオ チェウェイ

(72)【発明者】

【氏名】チュウ ホンチェン

(72)【発明者】

【氏名】ヤン ニン

(72)【発明者】

【氏名】チェン イーウェン

(72)【発明者】

【氏名】ワン シエンリン

(72)【発明者】

【氏名】ユウ ビン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159NN21

5C159TA30

5C159TA58

5C159TB08

5C159TC12

(57)【要約】

動きベクトルリファインメント（ＭＶＲ）オフセットのセット間の適応切り替えを可能にする制御変数を受信することと、符号化レベルの下でＭＶＲオフセットのセットにおけるオフセットの大きさを２値化する符号語表間の適応切り替えを可能にする指示変数を受信することと、ビデオブロックを第１及び第２幾何学的パーティションに分割することと、前記制御変数に基づいて、１つのＭＶＲオフセットのセットを選択することと、構文要素を受信して、前記指示変数により前記選択されたＭＶＲオフセットのセットから前記第１及び第２幾何学的パーティションに適用される第１及び第２ＭＶＲオフセットを決定することと、前記第１及び第２幾何学的パーティションの候補リストから第１及び第２ＭＶを取得することと、前記第１及び第２ＭＶ、並びに、前記第１及び第２ＭＶＲオフセットに基づいて、第１及び第２リファインＭＶを算出することと、前記第１及び第２リファインＭＶに基づいて、予測サンプルを取得することと、を含む、ビデオ復号化方法を提供する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ビデオブロックに関連付けられた、複数の動きベクトルリファインメント（ＭＶＲ）オフセットのセット間の適応切り替えを可能にして符号化レベルで適用される制御変数を受信することと、
前記ビデオブロックに関連付けられた、前記符号化レベルの下で前記複数のＭＶＲオフセットのセットにおける複数のオフセットの大きさを２値化する複数の符号語表間の適応切り替えを可能にする指示変数を受信することと、
前記ビデオブロックを第１幾何学的パーティションと第２幾何学的パーティションに分割することと、
前記制御変数に基づいて、前記複数のＭＶＲオフセットのセットから１つのＭＶＲオフセットのセットを選択することと、
１つ以上の構文要素を受信して、前記指示変数により前記選択されたＭＶＲオフセットのセットから前記第１及び第２幾何学的パーティションに適用される第１ＭＶＲオフセット及び第２ＭＶＲオフセットを決定することと、
前記第１幾何学的パーティション及び前記第２幾何学的パーティションの候補リストから、第１動きベクトル（ＭＶ）及び第２ＭＶを取得することと、
前記第１及び第２ＭＶ、並びに、前記第１及び第２ＭＶＲオフセットに基づいて、第１リファインＭＶ及び第２リファインＭＶを算出することと、
前記第１及び第２リファインＭＶに基づいて、前記ビデオブロックのための予測サンプルを取得することと、
を含む、幾何学的分割モード（ＧＰＭ）でビデオブロックを復号化する方法。

【請求項2】

前記符号化レベルは、シーケンスレベル、画像レベル、符号化ツリーユニットレベル又は符号化ブロックレベルを含む、請求項１に記載の方法。

【請求項3】

前記複数のＭＶＲオフセットのセットは、第１ＭＶＲオフセットのセットと、第２ＭＶＲオフセットのセットとを含み、
前記第２ＭＶＲオフセットのセットは、前記第１ＭＶＲオフセットのセットのオフセットの大きさ及びＭＶＲの方向を含み、
前記複数の符号語表は、第１符号語表と第２符号語表とを含み、前記第１及び第２ＭＶＲオフセットのセットにおけるオフセットの大きさは、それぞれ前記第１及び第２符号語表を用いて２値化される、請求項１に記載の方法。

【請求項4】

前記制御変数が０に等しいと判定したことに応じて、前記第１ＭＶＲオフセットのセットを適用すると判定することと、
前記制御変数が１に等しいと判定したことに応じて、前記第２ＭＶＲオフセットのセットを適用すると判定することと、
を更に含む、請求項３に記載の方法。

【請求項5】

前記指示変数が０に等しいと判定したことに応じて、第１符号語表を適用すると判定することと、
前記指示変数が１に等しいと判定したことに応じて、第２符号語表を適用すると判定することと、
を更に含む、請求項４に記載の方法。

【請求項6】

前記第１ＭＶＲオフセットのセットは、複数のデフォルトオフセットの大きさを含み、前記複数のデフォルトオフセットの大きさは、
前記ビデオブロックから１／４画素の距離を示す第１デフォルトオフセットの大きさと、
前記ビデオブロックから１／２画素の距離を示す第２デフォルトオフセットの大きさと、
前記ビデオブロックから１画素の距離を示す第３デフォルトオフセットの大きさと、
前記ビデオブロックから２画素の距離を示す第４デフォルトオフセットの大きさと、
前記ビデオブロックから４画素の距離を示す第５デフォルトオフセットの大きさと、
前記ビデオブロックから８画素の距離を示す第６デフォルトオフセットの大きさと、
前記ビデオブロックから１６画素の距離を示す第７デフォルトオフセットの大きさと、
前記ビデオブロックから３２画素の距離を示す第８デフォルトオフセットの大きさと、を含み、
前記第２ＭＶＲオフセットのセットは、複数の代替オフセットの大きさを含み、前記複数の代替オフセットの大きさは、
前記ビデオブロックから１／４画素の距離を示す第１代替オフセットの大きさと、
前記ビデオブロックから１／２画素の距離を示す第２代替オフセットの大きさと、
前記ビデオブロックから１画素の距離を示す第３代替オフセットの大きさと、
前記ビデオブロックから２画素の距離を示す第４代替オフセットの大きさと、
前記ビデオブロックから３画素の距離を示す第５代替オフセットの大きさと、
前記ビデオブロックから４画素の距離を示す第６代替オフセットの大きさと、
前記ビデオブロックから６画素の距離を示す第７代替オフセットの大きさと、
前記ビデオブロックから８画素の距離を示す第８代替オフセットの大きさと、
前記ビデオブロックから１６画素の距離を示す第９代替オフセットの大きさと、
を含む、請求項５に記載の方法。

【請求項7】

前記制御変数が０に等しく、前記指示変数が０に等しいと判定したことに応じて、前記第１ＭＶＲオフセットのセットを適用し、前記第１符号語表を用いて複数のデフォルトオフセットの大きさを２値化すると判定することを更に含み、
前記第１符号語表を用いて前記複数のデフォルトオフセットの大きさを２値化することは、
前記第１デフォルトオフセットの大きさを１として２値化することと、
前記第２デフォルトオフセットの大きさを１０として２値化することと、
前記第３デフォルトオフセットの大きさを１１０として２値化することと、
前記第４デフォルトオフセットの大きさを１１１０として２値化することと、
前記第５デフォルトオフセットの大きさを１１１１０として２値化することと、
前記第６デフォルトオフセットの大きさを１１１１１０として２値化することと、
前記第７デフォルトオフセットの大きさを１１１１１１０として２値化することと、
前記第８デフォルトオフセットの大きさを１１１１１１１として２値化することと、
を含む、請求項６に記載の方法。

【請求項8】

前記制御変数が０に等しく、前記指示変数が１に等しいと判定したことに応じて、前記第１ＭＶＲオフセットのセットを適用し、前記第２符号語表を用いて前記複数のデフォルトオフセットの大きさを２値化すると判定することを更に含み、
前記第２符号語表を用いて前記複数のデフォルトオフセットの大きさを２値化することは、
前記第１デフォルトオフセットの大きさを１１１１１０として２値化することと、
前記第２デフォルトオフセットの大きさを１として２値化することと、
前記第３デフォルトオフセットの大きさを１０として２値化することと、
前記第４デフォルトオフセットの大きさを１１０として２値化することと、
前記第５デフォルトオフセットの大きさを１１１０として２値化することと、
前記第６デフォルトオフセットの大きさを１１１１０として２値化することと、
前記第７デフォルトオフセットの大きさを１１１１１１０として２値化することと、
前記第８デフォルトオフセットの大きさを１１１１１１１１として２値化することと、
を含む、請求項６に記載の方法。

【請求項9】

前記制御変数が１に等しく、前記指示変数が０に等しいと判定したことに応じて、前記第２ＭＶＲオフセットのセットを適用し、前記第１符号語表を用いて前記複数の代替オフセットの大きさを２値化することを更に含み、
前記第１符号語表を用いて前記複数の代替オフセットの大きさを２値化することは、
前記第１代替オフセットの大きさを１として２値化することと、
前記第２代替オフセットの大きさを１０として２値化することと、
前記第３代替オフセットの大きさを１１０として２値化することと、
前記第４代替オフセットの大きさを１１１０として２値化することと、
前記第５代替オフセットの大きさを１１１１０として２値化することと、
前記第６代替オフセットの大きさを１１１１１０として２値化することと、
前記第７代替オフセットの大きさを１１１１１１０として２値化することと、
前記第８代替オフセットの大きさを１１１１１１１０として２値化することと、
前記第９代替オフセットの大きさを１１１１１１１１として２値化することと、
を含む、請求項６に記載の方法。

【請求項10】

前記制御変数が１に等しく、前記指示変数が１に等しいと判定したことに応じて、前記第２ＭＶＲオフセットのセットを適用し、前記第２符号語表を用いて前記複数の代替オフセットの大きさを２値化することを更に含み、
前記第２符号語表を用いて前記複数の代替オフセットの大きさを２値化することは、
前記第１代替オフセットの大きさを１１１１１０として２値化することと、
前記第２代替オフセットの大きさを１として２値化することと、
前記第３代替オフセットの大きさを１０として２値化することと、
前記第４代替オフセットの大きさを１１０として２値化することと、
前記第５代替オフセットの大きさを１１１０として２値化することと、
前記第６代替オフセットの大きさを１１１１０として２値化することと、
前記第７代替オフセットの大きさを１１１１１１０として２値化することと、
前記第８代替オフセットの大きさを１１１１１１１０として２値化することと、
前記第９代替オフセットの大きさを１１１１１１１１として２値化することと、
を含む、請求項６に記載の方法。

【請求項11】

前記複数のＭＶＲオフセットのセットは、第１ＭＶＲオフセットのセットと、第２ＭＶＲオフセットのセットとを含み、
前記第１及び第２ＭＶＲオフセットのセットにおけるオフセットの方向は、それぞれ固定長符号語を用いて２値化される、請求項１に記載の方法。

【請求項12】

１つ以上の構文要素を受信して、前記選択されたＭＶＲオフセットのセットから前記第１及び第２幾何学的パーティションに適用される第１ＭＶＲオフセット及び第２ＭＶＲオフセットを決定することは、
前記ＭＶＲが前記第１幾何学的パーティションに適用されるか否かを示す第１幾何学的パーティション有効構文要素を受信することと、
前記幾何学的パーティション有効構文要素が１に等しいと判定したことに応じて、前記選択されたＭＶＲオフセットのセットに基づいて決定された前記第１幾何学的パーティションの前記第１ＭＶＲオフセットの方向及び大きさを示す第１方向構文要素及び第１大きさ構文要素を受信することと、
前記ＭＶＲが前記第２幾何学的パーティションに適用されるか否かを示す第２幾何学的パーティション有効構文要素を受信することと、
前記第２幾何学的パーティション有効構文要素が１に等しいと判定したことに応じて、前記選択されたＭＶＲオフセットのセットに基づいて決定された前記第２幾何学的パーティションの前記第２ＭＶＲオフセットの方向及び大きさを示す第２方向構文要素及び第２大きさ構文要素を受信することと、
を含む、請求項１に記載の方法。

【請求項13】

前記第１幾何学的パーティション有効構文要素は、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇを含み、
前記第１方向構文要素及び前記第１大きさ構文要素は、それぞれ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘを含み、
前記第２幾何学的パーティション有効構文要素は、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇを含み、
前記第２方向構文要素及び前記第２大きさ構文要素は、それぞれ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘを含む、請求項１２に記載の方法。

【請求項14】

１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行可能な命令を格納するように構成されたメモリと、を含み、
前記１つ以上のプロセッサは、前記命令の実行時に、請求項１～１３のいずれか一項に記載の方法を実行するように構成される、ビデオ復号化装置。

【請求項15】

１つ以上のコンピュータプロセッサによって実行されると、前記１つ以上のコンピュータプロセッサに請求項１～１３のいずれか一項に記載の方法を実行させるコンピュータ実行可能な命令を格納する、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本願は、２０２１年６月１４日に提出された米国仮特許出願第６３／２１０，４８４号に基づき優先権を主張し、その開示は、あらゆる目的でその全体が参照により本明細書に組み込まれる。

【技術分野】

【0002】

本開示は、ビデオ符号化復号化及び圧縮に関する。より詳細には、本開示は、角度重み付け予測（ＡＷＰ）モードとしても知られる幾何学的分割モード（ＧＰＭ）の符号化復号化効率を向上させる方法及び装置に関する。

【背景技術】

【0003】

ビデオデータを圧縮するためには、様々なビデオ符号化復号化技術を用いることができる。ビデオ符号化復号化は、１つ以上のビデオ符号化復号化標準に従って実行される。例えば、今日ではよく知られたいくつかのビデオ符号化復号化標準として、ＩＳＯ／ＩＥＣ ＭＰＥＧとＩＴＵ－Ｔ ＶＥＣＧによって共同開発された汎用ビデオ符号化復号化（ＶＶＣ）、高効率ビデオ符号化復号化（ＨＥＶＣ、Ｈ．２６５又はＭＰＥＧ－Ｈ Ｐａｒｔ ２としても知られる）、及び高度ビデオ符号化復号化（ＡＶＣ、Ｈ．２６４又はＭＰＥＧ－４ Ｐａｒｔ １０としても知られる）が挙げられる。ＡＯメディアビデオ１（ＡＶ１）は、先行標準ＶＰ９の後継としてアライアンス・フォー・オープン・メディア（ＡＯＭ）によって開発された。デジタルオーディオ及びデジタルビデオ圧縮標準を指すオーディオビデオ符号化復号化（ＡＶＳ）は、中国のオーディオ及びビデオ符号化復号化標準ワークグループによって開発された別のビデオ圧縮標準シリーズである。既存のビデオ符号化復号化標準の多くは、例えば、ブロックベースの予測方法（例えば、インター予測、イントラ予測）を用いてビデオ又はシーケンスに存在する冗長性を削減し、変換符号化を用いて予測誤差のエネルギーを圧縮するなどのように、有名なハイブリッドビデオ符号化復号化フレームワークに基づいて構築される。ビデオ符号化復号化技術の１つの重要な目標は、ビデオ品質の劣化を回避又は最小限に抑えながら、ビデオデータを、より低いビットレートによる形式に圧縮することである。

【発明の概要】

【0004】

本開示は、ビデオ符号化復号化方法及び装置、並びに非一時的コンピュータ可読記憶媒体を提供する。

【0005】

本開示の第１態様において、ＧＰＭでビデオブロックを復号化する方法が提供される。前記方法は、前記ビデオブロックに関連付けられた、複数の動きベクトルリファインメント（ＭＶＲ）オフセットのセット間の適応切り替えを可能にすることができって符号化レベルで適用される制御変数を受信することを含んでもよい。前記方法は、前記ビデオブロックに関連付けられた、前記符号化レベルの下で複数のＭＶＲオフセットのセットにおける複数のオフセットの大きさを２値化する複数の符号語表間の適応切り替えを可能にすることができる指示変数を受信することを含んでもよい。前記方法は、前記ビデオブロックを第１幾何学的パーティションと第２幾何学的パーティションに分割することを含んでもよい。前記方法は、前記制御変数に基づいて、前記複数のＭＶＲオフセットのセットから１つのＭＶＲオフセットのセットを選択することを含んでもよい。前記方法は、１つ以上の構文要素を受信して、選択されたＭＶＲオフセットのセットから前記第１及び第２幾何学的パーティションに適用される第１ＭＶＲオフセット及び第２ＭＶＲオフセットを決定することを含んでもよい。前記方法は、前記第１幾何学的パーティション及び前記第２幾何学的パーティションの候補リストから、第１動きベクトル（ＭＶ）及び第２ＭＶを取得することを含んでもよい。前記方法は、前記第１及び第２ＭＶ、並びに、前記第１及び第２ＭＶＲオフセットに基づいて、第１リファインＭＶ及び第２リファインＭＶを算出することを含んでもよい。また、前記方法は、前記第１及び第２リファインＭＶに基づいて、前記ビデオブロックのための予測サンプルを取得することを含んでもよい。

【0006】

本開示の第２態様において、ビデオ復号化装置が提供される。前記装置は、１つ以上のプロセッサと、非一時的コンピュータ可読記憶媒体とを含んでもよい。前記非一時的コンピュータ可読記憶媒体は、前記１つ以上のプロセッサによって実行可能な命令を格納するように構成される。前記１つ以上のプロセッサは、前記命令の実行時に、前記第１態様に係る方法を実行するように構成される。

【0007】

本開示の第３態様において、非一時的コンピュータ可読記憶媒体が提供される。前記非一時的コンピュータ可読記憶媒体は、１つ以上のコンピュータプロセッサによって実行されると、前記１つ以上のコンピュータプロセッサに前記第１態様に係る方法を実行させるコンピュータ実行可能な命令を格納してもよい。

【0008】

前述の一般的な説明と以下の詳細な説明は、いずれも単なる例であり、本開示を限定するものではないことを理解されたい。

【図面の簡単な説明】

【0009】

本明細書に組み込まれ、その一部を構成する添付図面は、本開示と一致する実施例を示しており、説明とともに、本開示の原理を説明する役割を果たす。

【0010】

【図1】本開示の１つの実施例に係るエンコーダのブロック図である。

【図2A】本開示の１つの実施例に係る、マルチタイプツリー構造のブロック分割を示す図である。

【図2B】本開示の１つの実施例に係る、マルチタイプツリー構造のブロック分割を示す図である。

【図2C】本開示の１つの実施例に係る、マルチタイプツリー構造のブロック分割を示す図である。

【図2D】本開示の１つの実施例に係る、マルチタイプツリー構造のブロック分割を示す図である。

【図2E】本開示の１つの実施例に係る、マルチタイプツリー構造のブロック分割を示す図である。

【図3】本開示の１つの実施例に係るデコーダのブロック図である。

【図4】本開示の１つの実施例に係る、許容された幾何学的分割（ＧＰＭ）パーティションの図示である。

【図5】本開示の１つの実施例に係る、単方向予測動きベクトルの選択を示す表である。

【図6A】本開示の１つの実施例に係る動きベクトル差分（ＭＭＶＤ）モードの図示である。

【図6B】本開示の１つの実施例に係るＭＭＶＤモードの図示である。

【図7】本開示の１つの実施例に係るテンプレートマッチング（ＴＭ）アルゴリズムの図示である。

【図8】本開示の１つの実施例に係る、ＧＰＭでビデオブロックを復号化する方法である。

【図9】本開示の１つの実施例に係る、ユーザインターフェースに結合されたコンピューティング環境を示す図である。

【図10】本開示のいくつかの実施例に係る、ビデオブロックの符号化及び復号化のためのシステムを示すブロック図である。

【発明を実施するための形態】

【0011】

実施形態を詳細に参照し、それらの実施例を添付図面に示す。以下の説明は、添付図面を参照し、異なる図面中の同じ番号は、特に示さない限り、同じ又は類似の要素を表す。実施形態の以下の説明に記載される実装形態は、本開示と一致する全ての実装形態を表すわけではない。むしろ、それらは、添付の特許請求の範囲に記載されるように、本開示に関連する態様と一致する装置及び方法の単なる例である。

【0012】

本開示で使用される用語は、特定の実施形態を説明するためだけのものであり、本開示を限定することを意図するものではない。本開示及び添付の特許請求の範囲で使用されるように、単数形「１つ」などは、文脈において別途明確に示さない限り、複数形も含むことが意図される。なお、本明細書で使用される「及び／又は」という用語は、関連する列挙された項目のうちの１つ以上の任意の又は全ての可能な組み合わせを意味し、含むことが意図される。

【0013】

なお、「第１」、「第２」、「第３」などの用語は、様々な情報を説明するために本明細書で使用され得るが、情報は、これらの用語によって限定されるべきではない。これらの用語は、情報の１つのカテゴリを別のカテゴリから区別するためにのみ使用される。例えば、本開示の範囲から逸脱することなく、第１情報を第２情報と呼ぶことができ、同様に、第２情報を第１情報と呼ぶこともできる。本明細書で使用されるように、用語「もし～ば」は、文脈に応じて、「～場合」、「～すると」又は「判定に応じて」を意味すると理解されてもよい。

【0014】

第１世代のＡＶＳ標準は、中国の国家標準「情報技術、高度なオーディオビデオ符号化復号化、第２部分：ビデオ」（ＡＶＳ１として知られる）及び「情報技術、高度なオーディオビデオ符号化復号化、第１６部分：ラジオテレビビデオ」（ＡＶＳ＋として知られる）を含む。ＭＰＥＧ－２標準と比較して、同じ知覚品質で約５０％ビットレートを節約することができる。ＡＶＳ１標準のビデオ部分は、２００６年２月に中国の国家標準として公布された。第２世代のＡＶＳ標準は、主に追加のＨＤ ＴＶプログラムの送信を対象とした一連の中国国家標準「情報技術、効率的なマルチメディア符号化復号化」（ＡＶＳ２として知られる）を含む。ＡＶＳ２の符号化復号化効率は、ＡＶＳ＋の２倍である。２０１６年５月に、ＡＶＳ２は、中国の国家標準として発行された。一方、ＡＶＳ２標準のビデオ部分は、アプリケーションの国際標準の１つとして電気電子学会（ＩＥＥＥ）によって提出された。ＡＶＳ３標準は、最新の国際標準ＨＥＶＣの符号化復号化効率を超えることを目的とした、ＵＨＤビデオアプリケーション用の新世代のビデオ符号化復号化標準の１つである。２０１９年３月に、第６８回のＡＶＳ会議で、ＨＥＶＣ標準よりも約３０％のビットレートを節約するＡＶＳ３－Ｐ２ベースラインが完成した。現在、ハイパフォーマンスモデル（ＨＰＭ）と呼ばれる１つの参照ソフトウェアがあり、参照ソフトウェアは、ＡＶＳグループによってメンテナンスされて、ＡＶＳ３標準の参照実装形態を実証する。

【0015】

ＡＶＳ３標準は、ＨＥＶＣと同様に、ブロックベースのハイブリッドビデオ符号化復号化フレームワークに基づいて構築される。

【0016】

図１０は、本開示のいくつかの実装形態に係る、ビデオブロックの符号化及び復号化を並列に行う例示的なシステム１０を示すブロック図である。図１に示すように、システム１０は、目標装置１４によって後で復号化されるビデオデータを生成して符号化するソース装置１２を含む。ソース装置１２及び目標装置１４は、デスクトップ又はラップトップコンピュータ、タブレットコンピュータ、スマートフォン、セットトップボックス、デジタルテレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む多種多様な電子デバイスのいずれかを含んでもよい。いくつかの実装形態では、ソース装置１２及び目標装置１４は、無線通信機能を備える。

【0017】

いくつかの実装形態では、目標装置１４は、リンク１６を介して、復号化される符号化されたビデオデータを受信してもよい。リンク１６は、符号化されたビデオデータをソース装置１２から目標装置１４に移動させることが可能な任意のタイプの通信媒体又はデバイスを含んでもよい。１つの実施例では、リンク１６は、ソース装置１２が符号化されたビデオデータを目標装置１４にリアルタイムで直接送信できるようにする通信媒体を含んでもよい。符号化されたビデオデータは、無線通信プロトコルなどの通信標準に従って変調され、目標装置１４に送信されてもよい。通信媒体は、無線周波数（ＲＦ）スペクトル又は１つ以上の物理伝送線などの、任意の無線又は有線の通信媒体を含んでもよい。通信媒体は、ローカルエリアネットワーク、広域ネットワーク、又はインターネットなどのグローバルネットワークなどのパケットベースのネットワークの一部を構成してもよい。通信媒体は、ルータ、スイッチ、基地局、又はソース装置１２から目標装置１４への通信を容易にするのに有用であり得る任意の他の機器を含んでもよい。

【0018】

いくつかの他の実装形態では、符号化されたビデオデータは、出力インターフェース２２からストレージ装置３２に送信されてもよい。その後、ストレージ装置３２内の符号化されたビデオデータは、入力インターフェース２８を介して目標装置１４からアクセスされてもよい。ストレージ装置３２は、ハードドライブ、ブルーレイディスク、デジタルバーサタイルディスク（ＤＶＤ）、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、フラッシュメモリ、揮発性又は不揮発性メモリ、又は符号化されたビデオデータを格納する任意の他の適切なデジタル記憶媒体などの、分散型又はローカルにアクセスされる様々なデータ記憶媒体のいずれかを含んでもよい。更なる実施例では、ストレージ装置３２は、ソース装置１２によって生成された符号化されたビデオデータを保持し得るファイルサーバ又は他の中間ストレージ装置に対応してもよい。目標装置１４は、ストリーミング又はダウンロードを介して、ストレージ装置３２からの格納されたビデオデータにアクセスしてもよい。ファイルサーバは、符号化されたビデオデータを格納するとともに、符号化されたビデオデータを目標装置１４へ送信することが可能な任意のタイプのコンピュータであってもよい。例示的なファイルサーバは、（例えば、ウェブサイト用の）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、又はローカルディスクドライブを含む。目標装置１４は、ファイルサーバに格納された符号化されたビデオデータにアクセスするのに適した無線チャネル（例えば、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）接続）、有線接続（例えば、ＤＳＬ（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ、デジタル加入者線）、ケーブルモデムなど）、又は両方の組み合わせを含む任意の標準データ接続を通じて、符号化されたビデオデータにアクセスしてもよい。ストレージ装置３２からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、又は両方の組み合せであってもよい。

【0019】

図１０に示すように、ソース装置１２は、ビデオソース１８、ビデオエンコーダ２０、及び出力インターフェース２２を含む。ビデオソース１８は、ビデオカメラ、以前にキャプチャされたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するビデオフィードインターフェースなどのビデオキャプチャデバイス、及び／又は、ソースビデオとしてのコンピュータグラフィックデータを生成するコンピュータグラフィックシステムなどのソース、又は、これらのソースの組み合わせを含んでもよい。１つの実施例として、ビデオソース１８がセキュリティ監視システムのビデオカメラである場合には、ソース装置１２及び目標装置１４は、カメラフォン又はビデオフォンを形成してもよい。しかしながら、本願で説明される実装形態は、一般にビデオ符号化復号化に適用可能であり、無線及び／又は有線のアプリケーションにも適用可能である。

【0020】

キャプチャされたビデオ、予めキャプチャされたビデオ、又はコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化されてもよい。符号化されたビデオデータは、ソース装置１２の出力インターフェース２２を介して、目標装置１４に直接送信されてもよい。符号化されたビデオデータはまた（又は代わりに）、目標装置１４又は他のデバイスによって後でアクセスされて、復号化及び／又は再生されるように、ストレージ装置３２に格納されてもよい。出力インターフェース２２は、モデム及び／又は送信機を更に含んでもよい。

【0021】

目標装置１４は、入力インターフェース２８、ビデオデコーダ３０、及びディスプレイデバイス３４を含む。入力インターフェース２８は、受信機及び／又はモデムを含み、リンク１６を介して符号化されたビデオデータを受信してもよい。リンク１６を介して通信されるか又はストレージ装置３２に提供される符号化されたビデオデータは、ビデオデコーダ３０がビデオデータの復号化に用いる、ビデオエンコーダ２０が生成した様々な構文要素を含んでもよい。そのような構文要素は、通信媒体に送信されるか、記憶媒体に格納されるか、又はファイルサーバに格納される符号化されたビデオデータ内に含まれてもよい。

【0022】

いくつかの実装形態では、目標装置１４は、一体化されたディスプレイデバイス、及び目標装置１４と通信するように構成された外部ディスプレイデバイスであり得るディスプレイデバイス３４を含んでもよい。ディスプレイデバイス３４は、復号化されたビデオデータをユーザに表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は他のタイプのディスプレイデバイスなどの様々なディスプレイデバイスのいずれかを含んでもよい。

【0023】

ビデオエンコーダ２０及びビデオデコーダ３０は、例えば、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ－４、Ｐａｒｔ １０、ＡＶＣなどの独自又は産業上の標準に従って動作してもよいし、それらの標準の拡張に従って動作してもよい。本願は、特定のビデオ符号化／復号化標準に限定されず、他のビデオ符号化／復号化標準にも適用可能であることを理解されたい。一般に、ソース装置１２のビデオエンコーダ２０は、これらの現在又は将来のいずれかの標準に従ってビデオデータを符号化するように構成されてもよいことが考えられる。同様に、目標装置１４のビデオデコーダ３０は、これらの現在又は将来のいずれかの標準に従ってビデオデータを復号化するように構成されてもよいことも一般に考えられる。

【0024】

ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又はこれらの組み合わせなどの様々な適切なエンコーダ及び／又はデコーダ回路のいずれかとして実装されてもよい。電子デバイスは、ソフトウェアで部分的に実装される場合には、ソフトウェアの命令を適切な非一時的コンピュータ可読媒体に格納し、１つ以上のプロセッサによってハードウェアで命令を実行して、本開示で開示されるビデオ符号化／復号化動作を実行してもよい。ビデオエンコーダ２０及びビデオデコーダ３０のそれぞれは、１つ以上のエンコーダ又はデコーダに含まれていてもよく、いずれか一方が、各デバイス内の組み合わせたエンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合されてもよい。

【0025】

図１は、ＶＶＣのブロックベースのビデオエンコーダの一般的な図を示す。具体的には、図１は、典型的なエンコーダ１００を示す。エンコーダ１００は、図１０に示すビデオエンコーダ２０であってもよい。エンコーダ１００は、ビデオ入力１１０、動き補償１１２、動き推定１１４、イントラ／インターモード決定１１６、ブロック予測子１４０、加算器１２８、変換１３０、量子化１３２、予測関連情報１４２、イントラ予測１１８、画像バッファ１２０、逆量子化１３４、逆変換１３６、加算器１２６、メモリ１２４、インループフィルタ１２２、エントロピー符号化１３８、及びビットストリーム１４４を含む。

【0026】

エンコーダ１００では、ビデオフレームは、処理のために複数のビデオブロックに分割される。所与の各ビデオブロックに対して、インター予測アプローチ又はイントラ予測アプローチに基づいて予測が形成される。なお、「フレーム」という用語は、ビデオ符号化復号化の分野では、「画像」又は「画像」という用語の同義語として使用されてもよい。

【0027】

ビデオ入力１１０の一部である現在のビデオブロックと、ブロック予測子１４０の一部であるその予測子との間の差を表す予測残差は、加算器１２８から変換１３０に送られる。次に、変換係数は、エントロピー低減のために、変換１３０から量子化１３２に送られる。次に、量子化係数がエントロピー符号化１３８に供給されて、圧縮されたビデオビットストリームを生成する。図１に示すように、ビデオブロック分割情報、動きベクトル（ＭＶ）、参照画像インデックス、及びイントラ予測モードなどのイントラ／インターモード決定１１６からの予測関連情報１４２もエントロピー符号化１３８によって供給され、圧縮されたビットストリーム１４４に保存される。圧縮されたビットストリーム１４４は、ビデオビットストリームを含む。

【0028】

エンコーダ１００では、予測の目的で画素を再構成するために、デコーダ関連の回路も必要である。まず、逆量子化１３４と逆変換１３６によって予測残差を再構成する。この再構成された予測残差をブロック予測子１４０と組み合わせて、現在のビデオブロックについてフィルタ処理されていない再構成された画素を生成する。

【0029】

空間予測（又は「イントラ予測」）は、現在のビデオブロックと同じビデオフレーム内の既に符号化された隣接ブロックのサンプル（参照サンプルと呼ばれる）からの画素を使用して、現在のビデオブロックを予測する。

【0030】

時間予測（「インター予測」とも呼ばれる）は、既に符号化されたビデオ画像からの再構成された画素を使用して、現在のビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間冗長性を低減する。所与の符号化ユニット（ＣＵ）又は符号化ブロックの時間予測信号は、通常、現在のＣＵとその時間基準との間の動きの量及び方向を示す１つ以上のＭＶによってシグナリングされる。また、複数の参照画像がサポートされる場合には、１つの参照画像インデックスが更に送られ、参照画像インデックスは、時間予測信号が参照画像記憶装置内のどの参照画像から来るかを特定するために使用される。

【0031】

動き推定１１４は、ビデオ入力１１０及び画像バッファ１２０からの信号を取り込み、動き推定信号を動き補償１１２に出力する。動き補償１１２は、ビデオ入力１１０、画像バッファ１２０からの信号、及び動き推定１１４からの動き推定信号を取り込み、動き補償信号をイントラ／インターモード決定１１６に出力する。

【0032】

空間及び／又は時間予測が実行された後、エンコーダ１００のイントラ／インターモード決定１１６は、例えば、レート歪み最適化法に基づいて、最良の予測モードを選択する。次いで、ブロック予測子１４０は、現在のビデオブロックから減算され、得られた予測残差は、変換１３０及び量子化１３２により相関解除される。得られた量子化残差係数は、逆量子化１３４によって逆量子化され、逆変換１３６によって逆変換されて再構成された残差を形成し、次いで、再構成された残差は、予測ブロックに加算されて、ＣＵの再構成された信号を形成する。デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）、及び／又は適応インループフィルタ（ＡＬＦ）などの更なるインループフィルタリング１２２を、再構成されたＣＵが画像バッファ１２０の参照画像記憶装置に入れられ、将来のビデオブロックを符号化復号化するために使用される前に、再構成されたＣＵに適用することができる。出力ビデオビットストリーム１４４を形成するために、符号化モード（インター又はイントラ）、予測モード情報、動き情報、及び量子化残差係数は、全て、エントロピー符号化ユニット１３８に送られ、更に圧縮され、パックされてビットストリームを形成する。

【0033】

図１は、一般的なブロックベースのハイブリッドビデオ符号化システムのブロック図を示す。入力ビデオ信号は、（符号化ユニット（ＣＵ）と呼ばれる）ブロック毎に処理される。ＡＶＳ３では、４分木のみに基づいてブロックを分割するＨＥＶＣとは異なり、１つの符号化ツリーユニット（ＣＴＵ）は、４分木／２分木／３分木に基づいて、変動するローカル特性に適応するようにＣＵに分割される。更に、ＨＥＶＣにおける多重分割ユニットタイプの概念は、除去され、即ち、ＣＵ、予測ユニット（ＰＵ）、及び変換ユニット（ＴＵ）の分離は、ＡＶＳ３に存在せず、代わりに、各ＣＵは、更なる分割なしで、予測及び変換の両方のための基本ユニットとして常に使用される。ＡＶＳ３のツリー分割構造では、まず、１つのＣＴＵは、４分木構造に基づいて分割される。次に、各４分木リーフノードは、２分木構造及び拡張４分木構造に基づいて更に分割され得る。

【0034】

図２Ａ、図２Ｂ、図２Ｃ、図２Ｄ、及び図２Ｅに示すように、５つの分割タイプ、即ち、４分割、水平２分割、垂直２分割、水平拡張４分木分割、及び垂直拡張４分木分割がある。

【0035】

図２Ａは、本開示に係る、マルチタイプツリー構造におけるブロックの４分割を示す図を示す。

【0036】

図２Ｂは、本開示に係る、マルチタイプツリー構造におけるブロックの垂直２分割を示す図を示す。

【0037】

図２Ｃは、本開示に係る、マルチタイプツリー構造におけるブロックの水平２分割を示す図を示す。

【0038】

図２Ｄは、本開示に係る、マルチタイプツリー構造におけるブロックの垂直３分割を示す図を示す。

【0039】

図２Ｅは、本開示に係る、マルチタイプツリー構造におけるブロック水平３分割を示す図を示す。

【0040】

図１では、空間予測及び／又は時間予測を行ってもよい。空間予測（又は「イントラ予測」）は、同じビデオ画像／スライスの既に符号化された隣接ブロックのサンプル（参照サンプルと呼ばれる）からの画素を使用して、現在のビデオブロックを予測する。空間予測は、ビデオ信号に固有の空間冗長性を低減する。時間予測（「インター予測」又は「動き補償予測」とも呼ばれる）は、既に符号化されたビデオ画像からの再構成された画素を使用して、現在のビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間冗長性を低減する。所与のＣＵについての時間予測信号は、通常、現在のＣＵとその時間参照との間の動きの量及び方向を示す１つ以上の動きベクトル（ＭＶ）によってシグナリングされる。また、複数の参照画像がサポートされる場合には、１つの参照画像インデックスが更に送られ、参照画像インデックスは、時間予測信号が参照画像記憶装置内のどの参照画像から来るかを特定するために使用される。空間及び／又は時間予測の後、エンコーダのモード決定ブロックは、例えば、レート歪み最適化法に基づいて、最良の予測モードを選択する。次いで、予測ブロックは、現在のビデオブロックから減算され、予測残差は、変換を用いて相関解除されて、量子化される。量子化残差係数は、逆量子化され、逆変換されて再構成された残差を形成し、次いで、再構成された残差は、予測ブロックに再加算されて、ＣＵの再構成された信号を形成する。更に、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）及び適応インループフィルタ（ＡＬＦ）などのインループフィルタリングを、再構成されたＣＵが参照画像記憶装置に入れられ、将来のビデオブロックを符号化復号化するために参照として使用される前に、再構成されたＣＵに適用することができる。出力ビデオビットストリームを形成するために、符号化モード（インター又はイントラ）、予測モード情報、動き情報、及び量子化残差係数は、全て、エントロピー符号化ユニットに送られ、更に圧縮され、パックされる。

【0041】

図３は、本開示のいくつかの実装形態に係る、ブロックベースのビデオデコーダを示すブロック図である。ブロックベースのビデオデコーダは、例えば、図１０に示すビデオデコーダ３０であってもよい。ビデオビットストリームは、エントロピー復号化ユニット（例えば、エントロピー復号化３０１）において最初にエントロピー復号化される。符号化モード及び予測情報は、空間予測ユニット（イントラ符号化されている場合）（例えば、イントラ予測３０８）又は時間予測ユニット（インター符号化されている場合）（例えば、動き補償３０７）に送られて、予測ブロックを形成する。残差変換係数は、逆量子化ユニット（例えば、逆量子化３０２）と逆変換ユニット（例えば、逆変換３０３）に送られて、残差ブロックを再構成する。次に、予測ブロックと残差ブロックとが加算される（例えば、イントラ／インターモード選択３０９を介して、及び／又はメモリ３０４に格納される）。再構成されたブロックは、参照画像記憶装置（例えば、画像バッファ３０６）に格納される前に、インループフィルタリングを更に行うことができる。次に、参照画像記憶装置の再構成されたビデオは、将来のビデオブロックを予測するために使用されるだけでなく、ディスプレイデバイスを駆動するために送られる。

【0042】

本開示の焦点は、ＶＶＣ標準とＡＶＳ３標準の両方で使用される幾何学的分割モード（ＧＰＭ）の符号化復号化性能を向上させることである。ＡＶＳ３では、このツールは、角度重み付け予測（ＡＷＰ）としても知られており、ＡＷＰは、ＧＰＭと同じ設計精神に従うが、特定の設計の詳細にいくつかの微妙な違いがある。本開示の説明を容易にするために、以下では、ＶＶＣ標準における既存のＧＰＭ設計は、ＧＰＭ／ＡＷＰツールの主な態様を説明するために例として使用される。一方、ＶＶＣ標準とＡＶＳ３標準の両方に適用される動きベクトル差分を有するマージモード（ＭＭＶＤ）と呼ばれる他の既存のインター予測技術も、本開示で提案された技術と密接に関連しているため、簡単に概説する。その後、現在のＧＰＭ／ＡＷＰ設計のいくつかの欠点が特定される。最後に、提案された方法について詳細に説明する。なお、ＶＶＣ標準の既存のＧＰＭ設計が本開示全体を通じて例として使用されるが、最新のビデオ符号化復号化技術の当業者にとって、提案された技術は、同じ又は同様の設計思想を有する他のＧＰＭ／ＡＷＰ設計又は他の符号化ツールにも適用することができる。

【0043】

幾何学的分割モード（ＧＰＭ）
ＶＶＣでは、インター予測のために、幾何学的分割モードがサポートされる。幾何学的分割モードは、１つの特別なマージモードとして、１つのＣＵレベルフラグによってシグナリングされる。現在のＧＰＭ設計では、８×６４と６４×８を除いて、幅と高さの両方が８以上６４以下の可能なサイズのＣＵ毎に、合計６４個のパーティションがＧＰＭモードによってサポートされる。

【0044】

このモードが使用される場合には、図４に示すように、ＣＵは、幾何学的に配置された直線によって２つの部分に分割される（説明は以下に提供される）。分割線の位置は、特定のパーティションの角度及びオフセットパラメータから数学的に導出される。ＣＵ内の幾何学的パーティションの各部分は、それぞれの動きを用いてインター予測され、パーティション毎に単方向予測のみが許容され、即ち、各部分は、１つの動きベクトルと１つの参照インデックスを有する。単方向予測動き制約は、従来の双方向予測と同様に、各ＣＵに必要な動き補償予測が２回だけであることを保証するために適用される。現在のＣＵに幾何学的分割モードが使用される場合には、幾何学的パーティションの分割モードを示す幾何学的分割インデックス（角度とオフセット）及び２つのマージインデックス（各パーティションに１つ）が更にシグナリングされる。最大ＧＰＭ候補サイズの数は、シーケンスレベルで明示的にシグナリングされる。

【0045】

図４は、許容されたＧＰＭパーティションを示しており、各ピクチャの分割は、１つの同じ分割方向を有する。

【0046】

単方向予測候補リストの構築
１つの幾何学的パーティションに対する単方向予測動きベクトルを導出するために、１つの単方向予測候補リストは、通常のマージ候補リスト生成プロセスから最初に直接導出される。ｎは、幾何学的単方向予測候補リストにおける単方向予測動きのインデックスとして表される。ｎ番目のマージ候補のＬＸ動きベクトル（Ｘがｎのパリティに等しい）は、幾何学的分割モードのｎ番目の単方向予測動きベクトルとして使用される。

【0047】

これらの動きベクトルは、図５に「ｘ」でマークされている（後述する）。ｎ番目の拡張マージ候補の対応するＬＸ動きベクトルが存在しない場合には、代わりに、同じ候補のＬ（１－Ｘ）動きベクトルが幾何学的分割モードの単方向予測動きベクトルとして使用される。

【0048】

図５は、ＧＰＭのマージ候補リストの動きベクトルからの単方向予測動きベクトルの選択を示す。

【0049】

幾何学的パーティションエッジに沿ったブレンディング
各幾何学的パーティションがそれぞれの動きを使用して取得された後、ブレンディングが２つの単方向予測信号に適用されて、幾何学的パーティションエッジの周囲のサンプルを導出する。ＣＵの各位置のブレンディング重みは、それぞれの個別のサンプル位置から対応するパーティションエッジまでの距離に基づいて導出される。

【0050】

ＧＰＭシグナリング設計
現在のＧＰＭ設計によれば、ＧＰＭの使用は、１つのフラグをＣＵレベルでシグナリングすることによって示される。このフラグは、現在のＣＵがマージモード又はスキップモードで符号化されている場合にのみシグナリングされる。具体的には、フラグが１に等しい場合には、それは、現在のＣＵがＧＰＭによって予測されていることを示す。それ以外の場合（フラグが０に等しい場合）には、ＣＵは、通常のマージモード、動きベクトル差分を有するマージモード、組み合わせられたインター及びイントラ予測などの他のマージモードによって符号化されている。現在のＣＵに対してＧＰＭが有効である場合には、適用された幾何学的分割モード（図４に示すように、ＣＵを２つのパーティションに分割するＣＵ中心からの直線の方向とオフセットを指定する）を示す１つの構文要素、即ち、ｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘは、更にシグナリングされる。その後、第１及び第２ＧＰＭパーティションに使用される単方向予測マージ候補のインデックスを示す２つの構文要素ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０及びｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１は、シグナリングされる。より具体的には、これらの２つの構文要素は、「単方向予測マージリストの構築」というセクションで説明したように、単方向予測マージリストから２つのＧＰＭパーティションの単方向ＭＶを決定するために使用される。現在のＧＰＭ設計によれば、２つの単方向ＭＶをより異なるものにするために、２つのインデックスを同じにすることはできない。このような事前知識に基づいて、第１ＧＰＭパーティションの単方向予測マージインデックスが最初にシグナリングされて予測子として使用されて、第２ＧＰＭパーティションの単方向予測マージインデックスのシグナリングオーバーヘッドを削減する。詳細には、第２単方向予測マージインデックスが第１単方向予測マージインデックスよりも小さい場合には、その元の値がそのままシグナリングされる。それ以外の場合（第２単方向予測マージインデックスが第１単方向予測マージインデックスよりも大きい場合）には、その値は、ビットストリームにシグナリングされる前に１減算される。デコーダ側では、第１単方向予測マージインデックスは、最初に復号化される。次に、第２単方向予測マージインデックスの復号化では、解析された値が第１単方向予測マージインデックスよりも小さい場合には、第２単方向予測マージインデックスは、解析された値に等しく設定され、それ以外の場合（解析された値が第１単方向予測マージインデックス以上である場合）には、第２単方向予測マージインデックスは、解析された値に１を加えた値に等しく設定される。表１は、現在のＶＶＣ仕様でＧＰＭモードに使用される既存の構文要素を示す。
表１ ＶＶＣ仕様のマージデータ構文表における既存のＧＰＭ構文要素

【表1】

【0051】

一方、現在のＧＰＭ設計では、切り捨てられた単進コードは、２つの単方向予測マージインデックス、即ち、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０及びｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の２値化に使用される。また、２つの単方向予測マージインデックスを同じにすることができないため、異なる最大値を使用して、２つの単方向予測マージインデックスの符号語を切り捨て、２つの単方向予測マージインデックスは、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０及びｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１に対して、それぞれＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－１及びＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－２に等しく設定される。ＭａｘＧＰＭＭｅｒｇｅＣａｎｄは、単方向予測マージリストにおける候補の数である。

【0052】

ＧＰＭ／ＡＷＰモードが適用される場合には、２つの異なる２値化方法は、構文ｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘを２値ビットの列に変換するために適用される。具体的には、構文要素は、ＶＶＣ標準及びＡＶＳ３標準では、それぞれ固定長コード及び切り捨てられた２値コードによって２値化される。一方、ＡＶＳ３におけるＡＷＰモードに対して、異なる最大値は、構文要素の値の２値化に使用される。具体的には、ＡＶＳ３では、許容されたＧＰＭ／ＡＷＰ分割モードの数は、５６（即ち、ｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘの最大値が５５である）であるが、ＶＶＣでは、その数は、６４（即ち、ｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘの最大値が６３である）に増加する。

【0053】

動きベクトル差分を有するマージモード（ＭＭＶＤ）
１つの現在のブロックの動き情報をその空間／時間隣接ブロックから導出する従来のマージモードに加えて、ＭＭＶＤ／ＵＭＶＥモードは、１つの特別なマージモードとして、ＶＶＣ標準とＡＶＳ標準の両方に導入される。具体的には、ＶＶＣ及びＡＶＳ３の両方では、モードは、符号化ブロックレベルで１つのＭＭＶＤフラグによってシグナリングされる。ＭＭＶＤモードでは、通常のマージモードのマージリスト内の最初の２つの候補は、ＭＭＶＤの２つのベースマージ候補として選択される。１つのベースマージ候補が選択されてシグナリングされた後、選択されたマージ候補の動きに加算される動きベクトル差分（ＭＶＤ）を示す追加の構文要素がシグナリングされる。ＭＭＶＤ構文要素は、ベースマージ候補を選択するためのマージ候補フラグと、ＭＶＤの大きさを指定する距離インデックスと、ＭＶＤ方向を示す方向インデックスと、を含む。

【0054】

既存のＭＭＶＤ設計では、距離インデックスは、始点からの所定の１セットのオフセットに基づいて定義されるＭＶＤの大きさを指定する。図６Ａ及び図６Ｂに示すように、オフセットは、開始ＭＶ（即ち、選択されたベースマージ候補のＭＶ）の水平成分又は垂直成分に加算される。

【0055】

図６Ａは、Ｌ０参照のＭＭＶＤモードを示す。図６Ｂは、Ｌ１参照のＭＭＶＤモードを示す。

【0056】

表２は、ＡＶＳ３で適用されるＭＶＤオフセットをそれぞれ示す。
表２ ＡＶＳ３で使用されたＭＶＤオフセット

【表2】

【0057】

表３に示すように、方向インデックスは、シグナリングされたＭＶＤのコードを特定するために用いられる。なお、ＭＶＤコードの意味は、開始ＭＶに応じて変化し得る。開始ＭＶが単方向予測ＭＶ、又はＰＯＣが両方とも現在の画像のＰＯＣよりも大きいか、両方とも現在の画像のＰＯＣよりも小さい２つの参照画像を指すＭＶを有する双方向予測ＭＶである場合には、シグナリングされたコードは、開始ＭＶに追加されるＭＶＤのコードである。開始ＭＶが、一方の画像のＰＯＣが現在の画像のＰＯＣよりも大きく、他方の画像のＰＯＣが現在の画像のＰＯＣよりも小さい２つの参照画像を指す双方向予測ＭＶである場合には、シグナリングされたコードは、Ｌ０ ＭＶＤに適用され、シグナリングされたコードの反対の値がＬ１ ＭＶＤに適用される。
表３ 方向インデックスによって指定されたＭＶＤコード

【表3】

【0058】

通常のインターモードの動きシグナリング
ＨＥＶＣ標準と同様に、マージ／スキップモードに加えて、ＶＶＣ及びＡＶＳ３の両方で、１つのインターＣＵがビットストリームでその動き情報を明示的に指定することができる。全体として、ＶＶＣとＡＶＳ３の両方の動き情報シグナリングは、ＨＥＶＣ標準のものと同じに保持される。具体的には、予測信号がリストＬ０からのものであるか、Ｌ１からのものであるか、又はその両方からのものであるかを示す１つのインター予測構文、即ち、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃは、最初にシグナリングされる。使用された参照リスト毎に、対応する参照画像は、対応する参照リストの１つの参照画像インデックスｒｅｆ＿ｉｄｘ＿ｌｘ（ｘ＝０、１）をシグナリングすることによって特定され、対応するＭＶは、ＭＶ予測子（ＭＶＰ）を選択するために使用される１つのＭＶＰインデックスｍｖｐ＿ｌｘ＿ｆｌａｇ（ｘ＝０、１）で表され、その後にそのターゲットＭＶと選択されたＭＶＰとの間の動きベクトル差分（ＭＶＤ）で表される。また、ＶＶＣ標準では、１つの制御フラグｍｖｄ＿ｌ１＿ｚｅｒｏ＿ｆｌａｇは、スライスレベルでシグナリングされる。ｍｖｄ＿ｌ１＿ｚｅｒｏ＿ｆｌａｇが０に等しい場合には、Ｌ１ＭＶＤは、ビットストリームでシグナリングされ、それ以外の場合（ｍｖｄ＿ｌ１＿ｚｅｒｏ＿ｆｌａｇが１に等しい場合）には、Ｌ１ＭＶＤは、シグナリングされておらず、その値がエンコーダ及びデコーダで常に０と推定される。

【0059】

ＣＵレベルの重みによる双方向予測
ＶＶＣとＡＶＳ３よりも前の標準では、重み付け予測（ＷＰ）が適用されない場合には、双方向予測信号は、２つの参照画像から取得された単方向予測信号を平均化することにより生成される。ＶＶＣでは、１回のツール符号化、即ち、ＣＵレベルの重みによる双方向予測（ＢＣＷ）が導入されて、双方向予測の効率を向上させた。具体的には、ＢＣＷにおける双方向予測は、単純な平均化の代わりに、以下のように、２つの予測信号の重み付け平均化を可能にすることにより拡張される。

【数1】

【0060】

【0061】

テンプレートマッチング
テンプレートマッチング（ＴＭ）は、現在のＣＵの上と左の隣接する再構成されたサンプルからなる１つのテンプレートと、参照画像内の参照ブロック（即ち、テンプレートと同じサイズ）との間の最良の一致を見つけることによって、現在のＣＵの動き情報をリファインするデコーダ側のＭＶ導出方法である。図７に示すように、１つのＭＶは、［－８，＋８］の画素検索範囲内で現在のＣＵの初期動きベクトルを中心として検索される。最良の一致は、例えば、現在のテンプレートと参照テンプレートとの差分絶対値の和（ＳＡＤ）、変換された差分絶対値の和（ＳＡＴＤ）などの最小マッチングコストを達成するＭＶとして定義されてもよい。以下の２つの異なる方法でインター符号化復号化にＴＭモードを適用する。

【0062】

ＡＭＶＰモードでは、ＭＶＰ候補は、現在のブロックテンプレートと参照ブロックテンプレートとの差分が最小となるものをピックアップするために、テンプレートマッチングの差分に基づいて決定され、その後、ＴＭは、ＭＶリファインメントのためにこの特定のＭＶＰ候補に対してのみ実行される。ＴＭは、反復的ダイヤモンド検索を使用することによって、［－８、＋８］画素の検索範囲内のフル画素ＭＶＤ精度（又は、４画素ＡＭＶＲモードの場合には、４画素）から開始して、このＭＶＰ候補をリファインする。ＡＭＶＰ候補は、以下の表１４に示すように、フル画素ＭＶＤ精度（４画素ＡＭＶＲモードの場合には、４画素）のクロス検索、続いてＡＭＶＲモードに応じたハーフ画素のクロス検索と１／４画素のクロス検索を順に行うことで、更にリファインすることができる。この検索プロセスによって、ＭＶＰ候補がＴＭプロセスの後にもＡＭＶＲモードで示されるものと同じＭＶ精度をすることが保証される。
表１４

【表4】

【0063】

マージモードでは、マージインデックスにより示されたマージ候補に対して同様の検索方法が適用される。上記表に示すように、ＴＭは、マージされた動き情報に応じて代替補間フィルタ（ＡＭＶＲがハーフ画素モードの場合に使用される）を使用するか否かに応じて、１／８画素ＭＶＤ精度まで全て行ってもよいし、ハーフ画素ＭＶＤ精度を超える精度をスキップしてもよい。

【0064】

上述したように、２つのＧＰＭパーティションの予測サンプルを生成するために使用される単方向動きは、通常のマージ候補から直接取得される。空間／時間隣接ブロックのＭＶ間に強い相関関係がない場合には、マージ候補から導出された単方向ＭＶは、ＧＰＭパーティションの真の動きを捕捉するには十分な精度がない可能性がある。動き推定は、より正確な動きを提供することが可能であるが、これは、任意の動きのリファインメントが既存の単方向ＭＶの上で適用できるため、無視できないシグナリングのオーバヘッドを犠牲にする。一方、ＭＶＭＤモードは、ＶＶＣ標準とＡＶＳ３標準の両方で利用されており、ＭＶＤシグナリングオーバーヘッドを削減する効率的なシグナリングメカニズムの１つであることが証明されている。したがって、ＧＰＭモードとＭＭＶＤモードを組み合わせることも有利であり得る。このような組み合わせは、より正確なＭＶを提供して各ＧＰＭパーティションの個々の動きを捕捉することで、ＧＰＭツール全体の符号化復号化効率を向上させる可能性がある。

【0065】

前述したように、ＶＶＣ標準及びＡＶＳ３標準の両方では、ＧＰＭモードは、マージ／スキップモードにのみ適用される。このような設計は、全ての非マージインターＣＵがＧＰＭの柔軟な非矩形パーティションから利点を得ることができないことを考慮すると、符号化復号化効率の観点から最適ではない可能性がある。一方、上述と同様の理由により、通常のマージ／スキップモードから導出された単方向予測動き候補は、２つの幾何学的パーティションの真の動きを正確に捕捉できるとは限られない。このような分析に基づいて、ＧＰＭモードを非マージインターモード（即ち、ビットストリームでそれらの動き情報を明示的にシグナリングするＣＵ）に合理的に拡張することで、追加の符号化復号化利得が期待できる。しかしながら、ＭＶ精度の向上は、シグナリングオーバヘッドの増加を犠牲にする。したがって、ＧＰＭモードを明示的なインターモードに効率的に適用するためには、２つの幾何学的パーティションに対してより正確なＭＶを提供しながら、シグナリングコストを最小化できる１つの有効なシグナリングスキームを特定することが重要となる。

【0066】

提案された方法
本開示では、各ＧＰＭパーティションに適用される既存の単方向ＭＶの上で、更なる動きリファインメントを適用することによって、ＧＰＭの符号化復号化効率を更に向上させる方法が提案されている。提案された方法は、動きベクトルリファインメントを有する幾何学的分割モード（ＧＰＭ－ＭＶＲ）と呼ばれる。また、提案されたスキームでは、動きリファインメントは、既存のＭＭＶＤ設計と同様の方式で、即ち、１セットの所定のＭＶＤの大きさと動きリファインメントの方向に基づいてシグナリングされる。

【0067】

本開示の別の方面では、ＧＰＭモードを明示的なインターモードに拡張するための解決手段が提供される。説明を簡単にするために、これらのスキームは、明示的な動きシグナリングを有する幾何学的分割モード（ＧＰＭ－ＥＭＳ）と呼ばれる。具体的には、通常のインターモードとのより良い調和を達成するために、提案されたＧＰＭ－ＥＭＳスキームでは、既存の動きシグナリングメカニズム、即ち、ＭＶＰ＋ＭＶＤを利用して、２つの幾何学的パーティションの対応する単方向ＭＶを指定する。

【0068】

個別の動きベクトルリファインメントを有する幾何学的分割モード
ＧＰＭの符号化復号化効率を向上させるために、このセクションでは、個別の動きベクトルリファインメントを有する改良された幾何学的分割モードが提案されている。具体的には、ＧＰＭパーティションが与えられた場合には、提案された方法としては、既存の構文ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０及びｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１を最初に使用して、既存の単方向予測マージ候補リストから２つのＧＰＭパーティションの単方向ＭＶを特定し、それらをベースＭＶとして使用する。２つのベースＭＶを決定した後に、２セットの新しい構文要素を導入して、２つのＧＰＭパーティションのベースＭＶの上で適用される動きリファインメントの値を個別に特定する。具体的には、ＧＰＭ－ＭＶＲが第１及び第２ＧＰＭパーティションに適用されるか否かをそれぞれ示す２つのフラグ、即ち、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇは、最初にシグナリングされる。１つのＧＰＭパーティションのフラグが１に等しい場合には、当該パーティションのベースＭＶに適用されるＭＶＲの対応する値、即ち、ＭＶＲの大きさを指定するための１つの距離インデックス（構文要素ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘによって示される）と、ＭＶＲの方向を指定するための１つの方向インデックス（構文要素ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘによって示される）とは、ＭＭＶＤスタイルで、シグナリングされる。表４は、提案されたＧＰＭ－ＭＶＲ方法で導入される構文要素を示す。
表４ 提案された、２つのＧＰＭパーティションの個別のＭＶＲを有するＧＰＭ－ＭＶＲ方法（方法１）の構文要素

【表5】

【0069】

表４に示す提案された構文要素に基づいて、デコーダで、各ＧＰＭパーティションの単方向予測サンプルを生成するために使用される最終ＭＶは、シグナリングされた動きベクトルリファインメントと対応するベースＭＶとの和に等しい。実際には、ＭＶＲの大きさと方向の異なるセットが予め定義されて、提案されたＧＰＭ－ＭＶＲスキームに適用されてもよく、これにより、動きベクトル精度とシグナリングオーバーヘッドとの間に様々なトレードオフを与えることができる。１つの具体例では、ＶＶＣ標準で使用される８つのＭＶＤオフセット（即ち、１／４画素、１／２画素、１画素、２画素、４画素、８画素、１６画素及び３２画素）及び４つのＭＶＤ方向（即ち、＋／－ｘ軸及び＋／－ｙ軸）を提案されたＧＰＭ－ＭＶＲスキームで再利用することが提案されている。他の実施例では、ＡＶＳ３標準で使用されている既存の５つのＭＶＤオフセット｛１／４画素、１／２画素、１画素、２画素及び４画素｝及び４つのＭＶＤ方向（即ち、＋／－ｘ軸及び＋／－ｙ軸）は、提案されたＧＰＭ－ＭＶＲスキームに適用される。

【0070】

「ＧＰＭシグナリング設計」というセクションで議論したように、２つのＧＰＭパーティションに使用される単方向ＭＶを同じにすることができないため、既存のＧＰＭ設計では、２つの単方向予測マージインデックスが異なるように強制する１つの制約が適用される。しかしながら、提案されたＧＰＭ－ＭＶＲスキームでは、既存のＧＰＭ単方向ＭＶの上で、更なる動きリファインメントが適用される。したがって、２つのＧＰＭパーティションのベースＭＶが同じであっても、２つの動きベクトルリファインメントの値が同じでなければ、２つのパーティションを予測するために使用される最終単方向ＭＶは、異なり得る。以上の考慮に基づいて、提案されたＧＰＭ－ＭＶＲスキームが適用される場合には、（２つの単方向予測マージインデックスが異なるように制限する）制約は除去される。また、２つの単方向予測マージインデックスを同じにすることができるため、同じ最大値ＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－１は、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の両方の２値化に使用され、ＭａｘＧＰＭＭｅｒｇｅＣａｎｄは、単方向予測マージリストの候補の数である。

【0071】

上で分析したように、２つのＧＰＭパーティションの単方向予測マージインデックス（即ち、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０及びｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１）が同じである場合には、２つの動きベクトルリファインメントの値は、２つのパーティションの最終ＭＶが異なることを保証するために、同じにすることができない。このような条件に基づいて、本開示の一実施形態では、２つのＧＰＭパーティションの単方向予測マージインデックスが同じである（即ち、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０がｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１に等しい）場合には、第１ＧＰＭパーティションのＭＶＲを使用して、第２ＧＰＭパーティションのＭＶＲのシグナリングオーバーヘッドを削減するシグナリング冗長性除去方法が提案されている。１つの実施例では、以下のシグナリング条件が適用される。

【0072】

第１に、フラグｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇが０に等しい（即ち、ＧＰＭ－ＭＶＲが第１ＧＰＭパーティションに適用されない）場合には、フラグｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇは、シグナリングされていないが、１と推定される（即ち、ＧＰＭ－ＭＶＲが第２ＧＰＭパーティションに適用される）。

【0073】

第２に、フラグｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇの両方が１に等しく（即ち、ＧＰＭ＿ＭＶＲが２つのＧＰＭパーティションに適用される）、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘがｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘに等しい（即ち、２つのＧＰＭパーティションのＭＶＲは、同じ方向を有する）場合には、第１ＧＰＭパーティションのＭＶＲの大きさ（即ち、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）は、第２ＧＰＭパーティションのＭＶＲの大きさ（即ち、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）を予測するために使用される。具体的には、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘがｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘよりも小さい場合には、その元の値は、直接シグナリングされる。それ以外の場合（ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘがｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘよりも大きい場合）には、その値は、ビットストリームにシグナリングされる前に１減算される。デコーダ側では、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘの値を復号化するために、解析された値がｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘよりも小さい場合には、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘは、解析された値に等しく設定され、それ以外の場合（解析された値がｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ以上である場合）には、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘは、解析された値に１を加えた値に等しく設定される。このような場合には、オーバーヘッドを更に削減するために、異なる最大値ＭａｘＧＰＭＭＶＲＤｉｓｔａｎｃｅ－１及びＭａｘＧＰＭＭＶＲＤｉｓｔａｎｃｅ－２は、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘの２値化に使用することができ、ＭａｘＧＰＭＭＶＲＤｉｓｔａｎｃｅは、動きベクトルリファインメントの許容される大きさの数である。

【0074】

他の実施形態では、ＭＶＲの大きさがＭＶＲの大きさよりも前にシグナリングされるように、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ／ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘと、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ／ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘとのシグナリング順序を切り替えることが提案されている。このようにして、上記と同様のロジックに従って、エンコーダ／デコーダは、第１ＧＰＭパーティションのＭＶＲ方向によって、第２ＧＰＭパーティションのＭＶＲ方向のシグナリングを調整することができる。他の実施形態では、第２ＧＰＭパーティションのＭＶＲの大きさと方向を最初にシグナリングし、それらを第２ＧＰＭパーティションのＭＶＲの大きさと方向のシグナリングを条件にすることが提案されている。

【0075】

他の実施形態では、既存のＧＰＭ構文要素のシグナリングの前にＧＰＭ－ＭＶＲに関する構文要素をシグナリングすることが提案されている。具体的には、このような設計では、ＧＰＭ－ＭＶＲが第１及び第２ＧＰＭパーティションに適用されるか否かをそれぞれ示す２つのフラグ、即ち、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇは、最初にシグナリングされる。１つのＧＰＭパーティションのフラグが１に等しい場合には、距離インデックス（構文要素ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘによって示される）と、方向インデックス（構文要素ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）とは、ＭＶＲの方向を指定する。その後、既存の構文ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１は、２つのＧＰＭパーティションの単方向ＭＶ、即ち、ベースＭＶを特定するためにシグナリングされる。表５は、提案されたＧＰＭ－ＭＶＲシグナリングスキームを示す。
表５ 提案された、２つのＧＰＭパーティションの個別のＭＶＲを有するＧＰＭ－ＭＶＲ方法（方法２）の構文要素

【表6】

【0076】

表４のシグナリング方法と同様に、表５のＧＰＭ－ＭＶＲシグナリング方法が適用される場合に、２つのＧＰＭパーティションの予測に使用される得られたＭＶが同じでないことを保証するために、特定の条件が適用されてもよい。具体的には、第１と第２ＧＰＭパーティションに適用されるＭＶＲの値に応じて、単方向予測マージインデックスｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０及びｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１のシグナリングを制約するために、以下の条件が提案されている。

【0077】

第１に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇの両方の値が０に等しい（即ち、ＧＰＭ－ＭＶＲが２つのＧＰＭパーティションで無効である）場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができない。

【0078】

第２に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇが１に等しく（即ち、ＧＰＭ－ＭＶＲが第１ＧＰＭパーティションで有効である）、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇが０に等しい（即ち、ＧＰＭ－ＭＶＲが第２ＧＰＭパーティションで無効である）場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。

【0079】

第３に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇが０に等しく（即ち、ＧＰＭ－ＭＶＲが第１ＧＰＭパーティションで無効である）、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇが１に等しい（即ち、ＧＰＭ－ＭＶＲが第２ＧＰＭパーティションで有効である）場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。

【0080】

第４に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇの両方の値が１に等しい（即ち、ＧＰＭ＿ＭＶＲが２つのＧＰＭパーティションの両方に対して有効である）場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができるか否かについての判定は、２つのＧＰＭパーティションに適用されるＭＶＲ（ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ、及び、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘによって示される）の値に依存する。２つのＭＶＲの値が等しい場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１を同じにすることができない。それ以外の場合（２つのＭＶＲの値が等しくない場合）には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。

【0081】

上記４つの場合では、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができないとき、一方のパーティションのインデックス値は、他方のパーティションのインデックス値の予測子として使用することができる。１つの方法では、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０を最初にシグナリングし、その値を用いてｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１を予測することが提案されている。具体的には、エンコーダでは、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１がｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０よりも大きい場合には、デコーダに送られるｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値は１減少する。デコーダでは、受信されたｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値が受信されたｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０の値以上である場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値は１増加する。他の方法では、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１を最初にシグナリングし、その値を用いてｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０を予測することが提案されている。したがって、このような場合には、エンコーダでは、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０がｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１よりも大きい場合には、デコーダに送られるｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０の値は１減少する。デコーダでは、受信されたｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０の値が受信されたｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値以上である場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０の値は１増加する。また、既存のＧＰＭシグナリング設計と同様に、異なる最大値ＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－１及びＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－２は、それぞれ、シグナリング順序に応じて第１及び第２インデックス値の２値化に使用することができる。一方、２つのインデックス値に相関関係がないため、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができるとき、同じ最大値ＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－１は、２つのインデックス値の両方の２値化に使用することができる。

【0082】

上記方法では、シグナリングコストを削減するために、異なる最大値は、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の２値化に適用されてもよい。対応する最大値の選択は、ＭＶＲの復号化された値（ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ、及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘによって示される）に依存する。このような設計は、異なるＧＰＭ構文要素間に望ましくない解析依存性を引き起こし、これは、全体の解析に影響を与える可能性がある。このような問題を解決するために、１つの実施形態では、１つの同じ最大値（例えば、ＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－１）は、常にｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を解析することに使用されることが提案されている。このような方法を用いる場合には、２つのＧＰＭパーティションの復号化された２つのＭＶが同じであることを防止するために、１つのビットストリーム適合性制約を使用してもよい。他の方法では、２つのＧＰＭパーティションの復号化されたＭＶを同じにすることができるように、そのような非同一性制約を除去することもできる。一方、このような方法が適用される（即ち、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１に対して同じ最大値を用いる）場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０／ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１と他のＧＰＭ－ＭＶＲの構文要素との間に解析依存性はない。したがって、これらの構文要素をシグナリングする順序は、もう重要ではない。１つの実施例では、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０／ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１のシグナリングを、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ、及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘのシグナリングの前に移動させることが提案されている。

【0083】

対称動きベクトルリファインメントを有する幾何学的分割モード
上記ＧＰＭ－ＭＶＲ方法では、２つの別個のＭＶＲ値がシグナリングされ、そのうちの１つのＭＶＲ値が１つのＧＰＭパーティションのみのベースＭＶを向上させるために適用されている。このような方法は、各ＧＰＭパーティションに独立した動きリファインメントを可能とすることで、予測精度の向上に有効である。しかしながら、このような柔軟な動きリファインメントは、エンコーダからデコーダに異なる２セットのＧＭＰ－ＭＶＲの構文要素を送る必要があることを考慮すると、シグナリングオーバヘッドの増加を犠牲にする。シグナリングのオーバーヘッドを削減するために、このセクションでは、対称動きベクトルリファインメントを有する幾何学的分割モードが提案されている。具体的には、この方法では、１つのＭＶＲ値は、１つのＧＰＭ ＣＵにシグナリングされ、かつ現在の画像と２つのＧＰＭパーティションに関連付けられた参照画像との画像順序カウント（ＰＯＣ）値の対称性の関係に応じて、２つのＧＰＭパーティションの両方に使用される。表６は、提案された方法が適用される場合の構文要素を示す。
表６ 提案された、２つのＧＰＭパーティションの対称ＭＶＲを有するＧＰＭ－ＭＶＲ方法（方法１）の構文要素

【表7】

【0084】

表６に示すように、２つのＧＰＭパーティションのベースＭＶが（ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１に基づいて）選択された後、ＧＰＭ－ＭＶＲモードが現在のＧＰＭ ＣＵに適用されるか否かを示す１つのフラグｇｐｍ＿ｍｖｒ＿ｅｎａｂｌｅ＿ｆｌａｇは、シグナリングされる。フラグが１に等しい場合には、２つのＧＰＭパーティションのベースＭＶを強化するために動きリファインメントが適用されることを示す。それ以外の場合（フラグが０に等しい場合）には、２つのパーティションのいずれにも動きリファインメントが適用されないことを示す。ＧＰＭ－ＭＶＲモードが有効である場合には、追加の構文要素は、方向インデックスｇｐｍ＿ｍｖｒ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ及び大きさインデックスｇｐｍ＿ｍｖｒ＿ｄｉｓｔａｎｃｅ＿ｉｄｘによって適用されたＭＶＲの値を指定するために、更にシグナリングされる。また、ＭＭＶＤモードと同様に、ＭＶＲコードの意味は、現在の画像のＰＯＣとＧＰＭパーティションの２つの参照画像との関係に応じて変化し得る。具体的には、２つの参照画像の両方のＰＯＣが現在の画像のＰＯＣよりも大きいか又は小さい場合には、シグナリングされたコードは、２つのベースＭＶの両方に追加されるＭＶＲのコードである。それ以外の場合（一方の参照画像のＰＯＣが現在の画像よりも大きく、かつ他方の参照画像のＰＯＣが現在の画像よりも小さい場合）には、シグナリングされたコードは、第１ＧＰＭパーティションのＭＶＲに適用され、逆コードは、第２ＧＰＭパーティションに適用される。表６では、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。

【0085】

他の実施形態では、２つのＧＰＭパーティションのＧＰＭ－ＭＶＲモードの有効／無効を個別に制御するために、２つの異なるフラグをシグナリングすることが提案されている。しかしながら、ＧＰＭ－ＭＶＲモードが有効である場合には、１つのＭＶＲのみは、構文要素ｇｐｍ＿ｍｖｒ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｄｉｓｔａｎｃｅ＿ｉｄｘに基づいてシグナリングされる。このようなシグナリング方法の対応する構文表は、表７に示される。
表７ 提案された、２つのＧＰＭパーティションの対称ＭＶＲを有するＧＰＭ－ＭＶＲ方法（方法２）の構文要素

【表8】

【0086】

表７のシグナリング方法が適用される場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。しかしながら、２つのＧＰＭパーティションに適用される得られたＭＶが冗長でないことを保証するために、フラグｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇが０に等しい（即ち、ＧＰＭ－ＭＶＲが第１ＧＰＭパーティションに適用されない）場合には、フラグｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇは、シグナリングされていないが、１と推定される（即ち、ＧＰＭ－ＭＶＲが第２ＧＰＭパーティションに適用される）。

【0087】

ＧＰＭ－ＭＶＲの許容されたＭＶＲの適応
上記ＧＰＭ－ＭＶＲ方法では、１つのグループの固定されたＭＶＲ値は、１つのビデオシーケンスにおいて、エンコーダとデコーダの両方でＧＰＭ ＣＵに使用される。このような設計は、高解像度のビデオコンテンツ又は激しい動きを有するビデオコンテンツに対しては最適以下である。それらの場合には、ＭＶが非常に大きくなる傾向にあるため、固定されたＭＶＲの値は、それらののブロックの実際の動きを捕捉するのに最適ではない可能性がある。ＧＰＭ－ＭＶＲモードの符号化復号化性能を更に向上させるために、本開示では、シーケンスレベル、画像／スライス画像、符号化ブロックグループレベルなどの様々な符号化レベルで、ＧＰＭ－ＭＶＲモードによって選択可能なＭＶＲ値の適応をサポートすることが提案されている。例えば、複数のＭＶＲセットと対応する符号語とは、異なるビデオシーケンスの特定の動き特性に応じて、オフラインで導出されてもよい。エンコーダは、最良のＭＶＲセットを選択し、選択されたＭＶＲセットの対応するインデックスをデコーダにシグナリングすることができる。

【0088】

本開示のいくつかの実施形態では、ＧＰＭ－ＭＶＲモードに対して、８つのオフセットの大きさ（即ち、１／４画素、１／２画素、１画素、２画素、４画素、８画素、１６画素、及び３２画素）と４つのＭＶＲ方向（＋／－ｘ軸及び＋／－ｙ軸）を含むデフォルトＭＶＲオフセットに加えて、以下の表で定義されている他のＭＶＲオフセットが提案されている。表１５は、提案された、第２ＭＶＲオフセットのセットにおけるオフセットの大きさを示す。表１６は、提案された、第２ＭＶＲオフセットのセットにおけるＭＶＲ方向を示す。
表１５

【表9】

表１６

【表10】

【0089】

上記表１５及び表１６では、ｘ軸及びｙ軸の値＋１／２及び－１／２は、水平方向及び垂直方向の対角方向（＋４５°及び－４５°）を示す。表１５及び表１６に示すように、既存のＭＶＲオフセットのセットと比較して、第２ＭＶＲオフセットのセットには、２つの新しいオフセットの大きさ（即ち、３画素及び６画素）と、４つのオフセットの方向（４５°、１３５°、２２５°、及び３１５°）とが導入される。新しく追加されたＭＶＲオフセットにより、第２ＭＶＲオフセットのセットは、複雑な動きを有するビデオブロックを符号化するのにより適する。また、２つのＭＶＲオフセットのセット間の適応切り替えを可能にするために、１つの制御フラグを１つの特定の符号化レベル（例えば、シーケンス、画像、スライス、ＣＴＵ、符号化ブロックなど）でシグナリングして、当該符号化レベルで適用されるＧＰＭ－ＭＶＲモードにどのＭＶＲオフセットのセットが選択されるかを示すことが提案されている。提案された適応が画像レベルで実行されると仮定すると、以下の表１７は、画像ヘッダでシグナリングされた対応する構文要素を示す。
表１７

【表11】

【0090】

上記表１７では、新しいフラグｐｈ＿ｇｐｍ＿ｍｖｒ＿ｏｆｆｓｅｔ＿ｓｅｔ＿ｆｌａｇは、画像に使用される対応するＧＰＭ＿ＭＶＲオフセットの選択を示すために使用される。フラグが０に等しい場合には、デフォルトＭＶＲオフセット（即ち、１／４画素、１／２画素、１画素、２画素、４画素、８画素、１６画素、及び３２画素の大きさ、及び、４つのＭＶＲ方向＋／－ｘ軸及び＋／－ｙ軸）が画像内のＧＰＭ－ＭＶＲモードに適用されることを意味する。それ以外の場合（フラグが１に等しい場合）には、第２ＭＶＲオフセット（即ち、１／４画素、１／２画素、１画素、２画素、３画素、４画素、６画素、８画素、及び１６画素の大きさ、及び、８つのＭＶＲ方向＋／－ｘ軸、＋／－ｙ軸、４５°、１３５°、２２５°、及び３１５°）が画像内のＧＰＭ－ＭＶＲモードに適用されることを意味する。

【0091】

異なる方法でＭＶＲオフセットをシグナリングしてもよい。まず、ＭＶＲ方向が、通常、統計的に均等に分布することを考慮すると、固定長の符号語を使用してＭＶＲ方向を２値化することが提案されている。デフォルトＭＶＲオフセットを例にとると、合計４つの方向があり、００、０１、１０、及び１１の符号語は、４つの方向を表すために使用することができる。一方、ＭＶＲオフセットの大きさがビデオコンテンツの特定の動き特性に適応した様々な分布を有する可能性があるため、可変長の符号語を使用してＭＶＲの大きさを２値化することが提案されている。以下の表１８は、デフォルトＭＶＲオフセットのセット及び第２ＭＶＲオフセットのセットのＭＶＲの大きさの２値化に使用できる１つの特定の符号語表を示す。
表１８

【表12】

【0092】

他の実施形態では、デフォルトＭＶＲオフセットのセット及び第２ＭＶＲオフセットのセットのＭＶＲオフセットの大きさを２値化するために異なる固定長の可変符号語が適用されてもよく、例えば、上記符号語表におけるビン「０」とビン「１」とは、コンテキスト適応２値算術符号化復号化（ＣＡＢＡＣ）エンジンの様々な０／１統計量に適応するために交換されてもよい。

【0093】

１つの具体例では、２つの異なる符号語表が設けられて、ＭＶＲの大きさの値を２値化する。以下の表は、第１及び第２符号語表で適用されるデフォルト及び第２ＭＶＲオフセットのセットの対応する符号語を示す。表１９は、第１符号語表におけるＭＶＲオフセットの大きさの符号語を示す。表２０は、第２符号語表におけるＭＶＲオフセットの大きさの符号語を示す。
表１９

【表13】

表２０

【表14】

【0094】

２つの符号語表間の適応切り替えを可能にするために、１つの指示フラグを１つの符号化レベル（例えば、シーケンス、画像、スライス、ＣＴＵ、符号化ブロックなど）でシグナリングして、当該符号化レベルでＭＶＲの大きさを２値化するためにどの符号語表が使用されるかを指定することが提案されている。提案された適応が画像レベルで実行されると仮定すると、以下の表２１は、画像ヘッダでシグナリングされた対応する構文要素を示しており、新しく追加された構文要素は、斜体の太字で示されている。
表２１

【表15】

【0095】

上記構文表では、新しいフラグｐｈ＿ｇｐｍ＿ｍｖｒ＿ｓｔｅｐ＿ｃｏｄｅｗｏｒｄ＿ｆｌａｇは、画像のＭＶＲの大きさの２値化に使用される対応する符号語表の選択を示すために使用される。フラグが０に等しい場合には、それは、第１符号語表が画像に適用されることを示し、それ以外の場合（即ち、フラグが１に等しい場合）には、それは、第２符号語表が画像に適用されることを示す。

【0096】

他の実施形態では、ビデオシーケンス全体の符号化／復号化中にＭＶＲオフセットの大きさを２値化するために１つの符号語表を常に使用することが提案されている。１つの実施例では、ＭＶＲの大きさの２値化のために第１符号語表を常に使用することが提案されている。他の実施例では、ＭＶＲの大きさの２値化のために第２符号語表を常に使用することが提案されている。

【0097】

他の方法では、１つの統計ベースの２値化方法を適用して、シグナリングなしにオンザフライでＭＶＲオフセットの大きさに対する最適な符号語を適応的に設計してもよい。最適な符号語を決定するために使用される統計量は、以前に符号化された多数の画像、スライス、及び／又は符号化ブロックについて収集されたＭＶＲオフセットの大きさの確率分布であってもよいが、これに限定されない。符号語は、様々な周波数レベルで再決定／更新されてもよい。例えば、更新は、ＣＵがＧＰＭ－ＭＶＲモードで符号化復号化されるたびに実行されてもよい。他の実施例では、ＧＰＭ－ＭＶＲモードで符号化復号化された複数（例えば８個又は１６個）のＣＵが存在するたびに、更新が再決定され、及び／又は、更新されてもよい。

【0098】

他の方法では、１つの新しい符号語のセットを再設計する代わりに、提案された統計ベースの方法は、より多く使用される大きさに短い符号語を割り当て、あまり使用されていない大きさに長い符号語を割り当てるために、同じ符号語のセットに基づいて、ＭＶＲの大きさの値を再順序付けするのにも使用することができる。以下の表を例にとると、統計量が画像レベルで収集されると仮定すると、「使用率」という列は、以前に符号化された画像におけるＧＰＭ－ＭＶＲの符号化ブロックによって使用される、異なるＭＶＲオフセットの大きさの対応する割合を示す。「使用率」という列の値に応じて、同じ２値化方法（即ち、切り捨てられた単進符号語）で、エンコーダ／デコーダは、ＭＶＲの大きさの値をそれらの使用率に基づいて順位付け、その後、エンコーダ／デコーダは、最も頻繁に使用されるＭＶＲの大きさ（即ち、１画素）に最も短い符号語（即ち、「１」）を割り当て、２番目に頻繁に使用されるＭＶＲの大きさ（即ち、１／２画素）に２番目に短い符号語（即ち、「０１」）を割り当て、…、最もまれに使用される２つのＭＶＲの大きさ（即ち、１６画素と３２画素）に最も長い符号語（即ち、「００００００１」と「０００００００」）を割り当てることができる。したがって、このような再順序付けのスキームにより、ＭＶＲの大きさの統計量分布の動的な変化に適応するように、同じ符号語のセットを自由に再順序付けすることができる。

【表16】

【0099】

ＧＰＭ－ＭＶＲレート歪み最適化のためのエンコーダスピードアップロジック
提案されたＧＰＭ－ＭＶＲスキームについて、各ＧＰＭパーティションの最適なＭＶＲを決定するためには、エンコーダは、各ＧＰＭパーティションのレート歪みコストを複数回テストする必要があり、毎回のテストにおいて、適用されているＭＶＲの値を変える。これにより、ＧＰＭモードの符号化復号化複雑度を大幅に増加させる可能性がある。符号化復号化複雑度の問題を解決するために、このセクションでは、以下の高速符号化復号化ロジックが提案されている。

【0100】

第１に、ＶＶＣとＡＶＳ３で適用される４分木／２分木／３分木のブロック分割構造により、１つの同じ符号化ブロックがレート歪み最適化（ＲＤＯ）プロセス中にチェックでき、毎回、当該同じ符号化ブロックがそれぞれ異なる分割パスによって分割される。現在のＶＴＭ／ＨＰＭエンコーダの実装形態では、異なるブロックパーティションの組み合わせで同じＣＵが得られるたびに、ＧＰＭ、ＧＰＭ－ＭＶＲモードと、他のインター及びイントラ符号化復号化モードとが常にテストされる。一般的に言えば、異なる分割パスについて、１つのＣＵの隣接ブロックのみが異なる可能性があるが、これは、１つのＣＵが選択する最適符号化復号化モードに比較的小さい影響を与えるべきである。このような考慮に基づいて、適用されているＧＰＭ ＲＤＯの総数を削減するために、１つのＣＵのＲＤコストが初めてチェックされるときにＧＰＭモードが選択されたか否かの決定を格納することが提案されている。その後、同じＣＵがＲＤＯプロセスによって（他の分割パスによって）再びチェックされる場合には、ＣＵに対してＧＰＭが初めて選択された場合にのみ、ＧＰＭのＲＤコスト（ＧＰＭ－ＭＶＲを含む）がチェックされる。１つのＣＵの最初のＲＤチェックのためにＧＰＭが選択されなかった場合には、同じＣＵが他の分割パスによって得られたときにＧＰＭのみ（ＧＰＭ－ＭＶＲなし）がテストされる。他の方法では、１つのＣＵの最初のＲＤチェックのためにＧＰＭが選択されなかった場合には、同じＣＵが他の分割パスによって得られたときにＧＰＭとＧＰＭ－ＭＶＲの両方がテストされない。

【0101】

第２に、ＧＰＭ－ＭＶＲモードのＧＰＭパーティションの数を削減するために、１つのＣＵのＲＤコストが初めてチェックされるときに、ＲＤコストが最小ではない最初のＭ個のＧＰＭ分割モードを維持することが提案されている。その後、同じＣＵがＲＤＯプロセスによって（他の分割パスによって）再びチェックされる場合には、ＧＰＭ－ＭＶＲモードについて、それらのｍ個のＧＰＭ分割モードのみがテストされる。

【0102】

第３に、最初のＲＤＯプロセスでテストされるＧＰＭパーティションの数を削減するために、各ＧＰＭパーティションについて、２つのＧＰＭパーティションに対して異なる単方向予測マージ候補を使用するときに差分絶対値の和（ＳＡＤ）を最初に算出することが提案されている。次に、１つの特定の分割モードの下での各ＧＰＭパーティションについて、最小のＳＡＤ値を有する最良の単方向予測マージ候補を選択し、２つのＧＰＭパーティションについての最良の単方向予測マージ候補のＳＡＤ値の和に等しい当該分割モードの対応するＳＡＤ値を算出する。次に、以下のＲＤプロセスでは、ＧＰＭ－ＭＶＲモードについて、前のステップでの最良のＳＡＤ値を有する最初のＮ個の分割モードのみがテストされる。

【0103】

明示的な動きシグナリングを有する幾何学的パーティション
このセクションでは、２つの単方向ＭＶがエンコーダからデコーダに明示的にグナリングされるＧＰＭモードを、通常のインターモードの双方向予測に拡張する複数の方法が提案されている。

【0104】

第１解決策（解決策１）では、既存の双方向予測の動きシグナリングを完全に再利用して、ＧＰＭモードの２つの単方向ＭＶをシグナリングすることが提案されている。表８は、提案されたスキームの修正された構文表を示しており、新しく追加された構文要素は、斜体の太字で示されている。表８に示すように、この解決策では、Ｌ０及びＬ１の動き情報をシグナリングする全ての既存の構文要素は、２つのＧＰＭパーティションの単方向ＭＶをそれぞれ示すために完全に再利用される。また、Ｌ０ ＭＶは、第１ＧＰＭパーティションに常に関連付けられ、Ｌ１ ＭＶは、第２ＧＰＭパーティションに常に関連付けられると想定される。一方、表８では、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃの値がＧＰＭフラグ（即ち、ｇｐｍ＿ｆｌａｇ）の存在を条件付けるために使用できるように、インター予測構文、即ち、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃは、ｇｐｍ＿ｆｌａｇの前にシグナリングされる。具体的には、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃがＰＲＥＤ＿ＢＩ（即ち、双方向予測）に等しく、ｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇ及びｓｙｍ＿ｍｖｄ＿ｆｌａｇの両方が０に等しい（即ち、ＣＵがアフィンモードでもＳＭＶＤモードでも符号化復号化されていない）場合にのみ、フラグｇｐｍ＿ｆｌａｇは、シグナリングされる必要がある。フラグｇｐｍ＿ｆｌａｇがシグナリングされない場合には、その値は、常に０と推定される（即ち、ＧＰＭモードが無効である）。ｇｐｍ＿ｆｌａｇが１である場合には、現在のＣＵに対して（合計６４個のＧＰＭパーティションのうち）選択されたＧＰＭモードを示す他の構文要素ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘは、更にシグナリングされる。
表８ 解決策１（オプション１）の動きシグナリングのための修正された構文表

【表17】

【0105】

他の方法では、ｇｐｍ＿ｆｌａｇの値が、他のインター構文要素が存在する必要があるか否かを判定するために使用できるように、フラグｇｐｍ＿ｆｌａｇを他のインターシグナリング構文要素の前にシグナリングすることが提案されている。表９は、そのような方法が適用される場合の対応する構文表を示しており、新しく追加された構文要素は、斜体の太字で示されている。見て分かるように、ｇｐｍ＿ｆｌａｇが表９で最初にシグナリングされる。ｇｐｍ＿ｆｌａｇが１に等しい場合には、対応するｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃ、ｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇ、及びｓｙｍ＿ｍｖｄ＿ｆｌａｇのシグナリングは、バイパスすることができる。その代わりに、３つの構文要素の対応する値は、それぞれＰＲＥＤ＿ＢＩ、０、及び０と推定することができる。
表９ 解決策１（オプション２）の動きシグナリングのための修正された構文表

【表18】

【0106】

表８と表９の両方では、ＳＭＶＤモードは、ＧＰＭモードと組み合わせることができない。他の実施例では、現在のＣＵがＧＰＭモードによって符号化復号化される場合には、ＳＭＶＤモードを許容することが提案されている。このような組み合わせが許容される場合には、ＳＭＶＤの同じ設計に従うことにより、２つのＧＰＭパーティションのＭＶＤが対称であると想定され、それにより、第１ＧＰＭパーティションのＭＶＤのみがシグナリングされる必要があり、第２ＧＰＭパーティションのＭＶＤが第１ＭＶＤと常に対称となる。このような方法が適用される場合には、ｇｐｍ＿ｆｌａｇ上のｓｙｍ＿ｍｖｄ＿ｆｌａｇの対応するシグナリング条件は、削除することができる。

【0107】

以上に示すように、第１解決策では、Ｌ０ ＭＶが第１ＧＰＭパーティションに使用され、Ｌ１ ＭＶが第２ＧＰＭパーティションに使用されると常に想定される。このような設計は、この方法が、２つのＧＰＭパーティションのＭＶが同一の予測リスト（Ｌ０又はＬ１）から取得されることを禁止するという意味で最適ではない可能性がある。このような問題を解決するために、表１０に示すようなシグナリング設計を有する代替ＧＰＭ－ＥＭＳスキームである解決策２が提案されている。表１０では、新しく追加された構文要素は、斜体の太字で示されている。表１０に示すように、フラグｇｐｍ＿ｆｌａｇが最初にシグナリングされる。フラグが１に等しい（即ち、ＧＰＭが有効である）場合には、選択されたＧＰＭモードを指定するための構文ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘは、シグナリングされる。次に、第１ＧＰＭパーティションのＭＶが由来する対応する予測リストを示す追加フラグｇｐｍ＿ｐｒｅｄ＿ｄｉｒ＿ｆｌａｇ０は、シグナリングされる。フラグｇｐｍ＿ｐｒｅｄ＿ｄｉｒ＿ｆｌａｇ０が１に等しい場合には、第１ＧＰＭパーティションのＭＶがＬ１から由来することを示し、それ以外の場合（フラグが０に等しい場合）には、第１ＧＰＭパーティションのＭＶがＬ０から由来することを示す。その後、既存の構文要素ｒｅｆ＿ｉｄｘ＿ｌ０、ｍｖｐ＿ｌ０＿ｆｌａｇ、及びｍｖｄ＿ｃｏｄｉｎｇ（）は、第１ＧＰＭパーティションの参照ピクチャインデックス、ｍｖｐインデックス、及びＭＶＤの値をシグナリングするように利用される。一方、第１パーティションと同様に、他の構文要素ｇｐｍ＿ｐｒｅｄ＿ｄｉｒ＿ｆｌａｇ１は、第２ＧＰＭパーティションの対応する予測リストを選択するように導入され、その後に、第２ＧＰＭパーティションのＭＶの導出に使用される既存の構文要素ｒｅｆ＿ｉｄｘ＿ｌ１、ｍｖｐ＿ｌ１＿ｆｌａｇ、及びｍｖｄ＿ｃｏｄｉｎｇ（）が導入される。
表１０ 解決策２の動きシグナリングのための修正された構文表

【表19】

【0108】

最後に、ＧＰＭモードが２つの単方向予測パーティション（分割エッジ上のブレンディングサンプルを除く）で構成されていることを考慮すると、提案されたＧＰＭ－ＥＭＳスキームが１つのインターＣＵに対して有効である場合に、双方向オプティカルフロー、デコーダ側の動きベクトルリファインメント（ＤＭＶＲ）、ＣＵ重みを有する双方向予測（ＢＣＷ）などの、双方向予測のために特定に設計されたＶＶＣ及びＡＶＳ３のいくつかの既存の符号化ツールは、自動的にバイパスすることができる。例えば、提案されたＧＰＭ－ＥＭＳのうちの１つが１つのＣＵに対して有効である場合には、ＢＣＷがＧＰＭモードに適用できないことを考慮すると、シグナリングオーバーヘッドを削減するために、対応するＢＣＷ重みをＣＵに対して更にシグナリングする必要はない。

【0109】

ＧＰＭ－ＭＶＲとＧＰＭ－ＥＭＳとの組み合わせ
このセクションでは、幾何学的パーティションを有する１つのＣＵに対してＧＰＭ－ＭＶＲとＧＰＭ－ＥＭＳを組み合わせることが提案されている。具体的には、マージベースの動きシグナリング及び明示的シグナリングの一方のみが２つのＧＰＭパーティションの単方向予測ＭＶをシグナリングするために適用できるＧＰＭ－ＭＶＲ又はＧＰＭ－ＥＭＳとは異なり、提案されたスキームでは、１）一方のパーティションがＧＰＭ－ＭＶＲベースの動きシグナリングを使用するが、他方のパーティションがＧＰＭ－ＥＭＳベースの動きシグナリングを使用すること、又は、２）２つのパーティションがＧＰＭ－ＭＶＲベースの動きシグナリングを使用すること、又は、３）２つのパーティションがＧＰＭ－ＥＭＳベースの動きシグナリングを使用することが許容される。表４のＧＰＭ－ＭＶＲシグナリング及び表１０のＧＰＭ－ＥＭＳにより、提案されたＧＰＭ－ＭＶＲとＧＰＭ－ＥＭＳとの組み合わせの後の対応する構文表を表１１に示す。表１１では、新しく追加された構文要素は、斜体の太字で示されている。表１１に示すように、２つの追加の構文要素ｇｐｍ＿ｍｅｒｇｅ＿ｆｌａｇ０及びｇｐｍ＿ｍｅｒｇｅ＿ｆｌａｇ１がパーティション＃１及び＃２にそれぞれ導入され、これは、対応するパーティションがＧＰＭ－ＭＶＲベースのマージシグナリング又はＧＰＭ－ＥＭＳベースの明示的なシグナリングを使用することを指定する。フラグが１である場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘＸ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘＸ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘＸ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ、及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘＸ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ（Ｘ＝０、１）によってＧＰＭ単方向予測動きがシグナリングされるパーティションに対して、ＧＰＭ－ＭＶＲベースのシグナリングが有効であることを意味する。それ以外の場合には、フラグが０である場合には、パーティションの単方向予測動きが構文要素ｇｐｍ＿ｐｒｅｄ＿ｄｉｒ＿ｆｌａｇＸ、ｒｅｆ＿ｉｄｘ＿ｌＸ、ｍｖｐ＿ｌＸ＿ｆｌａｇ、及びｍｖｄ＿ｌＸ（Ｘ＝０、１）によりＧＰＭ－ＥＭＳの方式で明示的にシグナリングされることを意味する。
表１１ 提案されたＧＰＭ－ＭＶＲとＧＰＭ－ＥＭＳとの組み合わせを有するＧＰＭモードの構文表

【表20】

【0110】

ＧＰＭ－ＭＶＲとテンプレートマッチングとの組み合わせ
このセクションでは、ＧＰＭ－ＭＶＲとテンプレートマッチングとを組み合わせるために、異なる解決策が提供される。

【0111】

方法１では、１つのＣＵがＧＰＭモードで符号化復号化される場合には、２つのＧＰＭパーティションに対して、対応するパーティションの単方向動きがテンプレートマッチングによって更にリファインか否かをそれそれ示す２つの別個のフラグをシグナリングすることが提案されている。フラグが有効である場合には、テンプレートは、現在のＣＵの左と上の隣接する再構成されたサンプルを使用して生成され、次に、パーティションの単方向動きは、「テンプレートマッチング」というセクションで説明したものと同じ手順に従って、テンプレートとその参照サンプルとの間の差分を最小限に抑えることによってリファインされる。それ以外の場合（フラグが無効である場合）には、テンプレートマッチングがパーティションに適用されず、ＧＰＭ－ＭＶＲが更に適用されてもよい。表５のＧＰＭ－ＭＶＲシグナリング方法を例にとると、表１２は、ＧＰＭ－ＭＶＲとテンプレートマッチングを組み合わせた場合の対応する構文表を示す。表１２では、新しく追加された構文要素は、斜体の太字で示されている。
表１２ 提案された、ＧＰＭ－ＭＶＲとテンプレートマッチングとを組み合わせる方法（方法１）の構文要素

【表21】

【0112】

表１２に示すように、提案されたスキームでは、動きが２つのＧＰＭパーティションに対してリファインされるか否かをそれぞれ示す２つの追加のフラグｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ０及びｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ１は、最初にシグナリングされる。フラグが１である場合には、ＴＭが１つのパーティションの単方向ＭＶをリファインするために適用されることを示す。フラグが０である場合には、ＧＰＭ＿ＭＶＲがＧＰＭパーティションに適用されるか否かを示す１つのフラグ（ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇ又はｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇ）は、更にシグナリングされる。１つのＧＰＭパーティションのフラグが１に等しい場合には、距離インデックス（構文要素ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘによって示される）と、方向インデックス（構文要素ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）とは、ＭＶＲの大きさを指定する。その後、２つのＧＰＭパーティションの単方向ＭＶを特定するための既存の構文ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１は、シグナリングされる。一方、表５に適用されるシグナリング条件と同様に、２つのＧＰＭパーティションの予測に使用される得られたＭＶが同じでないことを保証するために、以下の条件が適用されてもよい。

【0113】

第１に、ｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ０とｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ１の両方の値が１に等しい場合（即ち、ＴＭが２つのＧＰＭパーティションの両方に対して有効である場合）には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができない。

【0114】

第２に、ｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ０とｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ１の一方が１であり、他方が０である場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。

【0115】

それ以外の場合、即ち、ｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ０とｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ１の両方が１に等しい場合には、第１に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇの両方が０に等しい（即ち、ＧＰＭ－ＭＶＲが２つのＧＰＭパーティションの両方に対して無効である）とき、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができず、第２に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇが１に等しく（即ち、ＧＰＭ－ＭＶＲが第１ＧＰＭパーティションに対して有効である）、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇが０に等しい（即ち、ＧＰＭ－ＭＶＲが２つのＧＰＭパーティションに対して無効である）とき、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができ、第３に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇが０に等しく（即ち、ＧＰＭ－ＭＶＲが第１ＧＰＭパーティションに対して無効である）、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇが１に等しい（即ち、ＧＰＭ－ＭＶＲが第２ＧＰＭパーティションに対して有効である）とき、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができ、第４に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇの両方の値が１に等しい（即ち、ＧＰＭ＿ＭＶＲが２つのＧＰＭパーティションの両方に対して有効である）とき、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができるか否かについての判定は、２つのＧＰＭパーティションに適用されるＭＶＲ（ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ、及び、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘによって示される）の値に依存する。２つのＭＶＲの値が等しい場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１を同じにすることができない。それ以外の場合（２つのＭＶＲの値が等しくない場合）には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。

【0116】

上記方法１では、ＴＭとＭＶＲは、ＧＰＭに排他的に適用される。このようなスキームでは、ＴＭモードのリファインＭＶの上で、ＭＶＲを更に適用することが禁止される。したがって、ＧＰＭの更に多くのＭＶ候補を提供するために、ＴＭのリファインＭＶの上でＭＶＲオフセットを適用できるようにする方法２が提案されている。表１３は、ＧＰＭ－ＭＶＲとテンプレートマッチングを組み合わせた場合の対応する構文表を示す。表１３では、新しく追加された構文要素は、斜体の太字で示されている。
表１３ 提案された、ＧＰＭ－ＭＶＲとテンプレートマッチングとを組み合わせる方法（方法２）の構文要素

【表22】

【0117】

表１３に示すように、表１２とは異なり、ｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ０及びｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ１上のｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇのシグナリング条件が削除される。そのため、ＴＭが１つのＧＰＭパーティションの単方向動きをリファインするか否かに関わらず、ＭＶリファインメントが常にＧＰＭパーティションのＭＶに適用することができる。従来と同様に、２つのＧＰＭパーティションの得られたＭＶが同じでないことを保証するために、以下の条件を適用する必要がある。

【0118】

第１に、ｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ０とｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ１の一方が１であり、他方が０である場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。

【0119】

それ以外の場合、即ち、ｇｐｍ＿ｅｎａｂｌｅ＿ｆｌａｇ０とｇｐｍ＿ｅｎａｂｌｅ＿ｆｌａｇ１の両方が１に等しいか、又は、両方のフラグが０に等しい場合には、第１に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇの両方が０に等しい（即ち、ＧＰＭ－ＭＶＲが２つのＧＰＭパーティションの両方に対して無効である）とき、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができず、第２に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇが１に等しく（即ち、ＧＰＭ－ＭＶＲが第１ＧＰＭパーティションに対して有効である）、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇが０に等しい（即ち、ＧＰＭ－ＭＶＲが第２ＧＰＭパーティションに対して無効である）とき、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができ、第３に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇが０に等しく（即ち、ＧＰＭ－ＭＶＲが第１ＧＰＭパーティションに対して無効である）、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇが１に等しい（即ち、ＧＰＭ－ＭＶＲが第２ＧＰＭパーティションに対して有効である）とき、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができ、第４に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇの両方の値が１に等しい（即ち、ＧＰＭ＿ＭＶＲが２つのＧＰＭパーティションの両方に対して有効である）とき、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができるか否かについての判定は、２つのＧＰＭパーティションに適用されるＭＶＲ（ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ、及び、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘによって示される）の値に依存する。２つのＭＶＲの値が等しい場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１を同じにすることができない。それ以外の場合（２つのＭＶＲの値が等しくない場合）には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。

【0120】

上記２つの方法では、ＴＭが各ＧＰＭパーティションに適用されるか否かを示す２つの別個のフラグがシグナリングされる必要がある。付加されたシグナリングは、追加のオーバーヘッドにより、特に低ビットレートの場合には、全体的な符号化復号化効率を低下させる可能性がある。シグナリングオーバヘッドを削減するために、追加のシグナリングを導入する代わりに、ＴＭベースの単方向ＭＶをＧＰＭモードの単方向ＭＶ候補リストに挿入する方法３が提案されている。ＴＭベースの単方向ＭＶは、「テンプレートマッチング」というセクションで説明したものと同じＴＭプロセスに従って、ＧＰＭの元の単方向ＭＶを最初のＭＶとして生成される。このようなスキームにより、エンコーダからデコーダに追加の制御フラグを更にシグナリングする必要がなくなる。代わりに、デコーダは、ビットストリームから受信された対応するマージインデックス（即ち、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０及びｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１）を通じて、１つのＭＶがＴＭによってリファインされるか否かを特定することができる。異なる方法で通常のＧＰＭのＭＶ候補（即ち、ｎｏｎ－ＴＭ）とＴＭベースのＭＶ候補を配置し得る。１つの方法では、ＭＶ候補リストの先頭に最初にＴＭベースのＭＶ候補を配置し、次に非ＴＭベースのＭＶ候補を配置することが提案されている。他の方法では、最初に非ＴＭベースのＭＶ候補を配置し、次にＴＭベースのＭＶ候補を配置することが提案されている。他の方法では、ＴＭベースのＭＶ候補と、非ＴＭベースのＭＶ候補とをインターリーブ方式で配置することが提案されている。例えば、最初のＮ個の非ＴＭベースの候補を配置し、次に全てのＴＭベースの候補を配置し、最後に残りの非ＴＭベースの候補を配置することができる。他の実施例では、最初のＮ個のＴＭベースの候補を配置し、次に全ての非ＴＭベースの候補を配置し、最後に残りのＴＭベースの候補を配置することができる。他の実施例では、非ＴＭベースの候補とＴＭベースの候補とを交互に、即ち、１つの非ＴＭベースの候補、１つのＴＭベースの候補などのように配置することが提案されている。

【0121】

上記方法は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子コンポーネントを含む１つ以上の回路を含む装置を採用して実装され得る。装置は、上述の方法を実行するために、他のハードウェア又はソフトウェアコンポーネントと組み合わせて回路を採用することができる。上記で開示された各モジュール、サブモジュール、ユニット、又はサブユニットは、１つ以上の回路で少なくとも部分的に実装され得る。

【0122】

図９は、ユーザインターフェース９６０に結合されたコンピューティング環境（又はコンピューティングデバイス）９１０を示す。コンピューティング環境９１０は、データ処理サーバの一部とすることができる。いくつかの実施形態では、コンピューティングデバイス９１０は、以上に説明したような、本開示の様々な実施例に係る様々な方法又はプロセス（例えば、符号化／復号化方法又はプロセス）のいずれかを実行することができる。コンピューティング環境９１０は、プロセッサ９２０と、メモリ９４０と、Ｉ／Ｏインターフェース９５０とを含んでもよい。

【0123】

プロセッサ９２０は、典型的には、ディスプレイ、データ取得、データ通信、及び画像処理に関連する動作などの、コンピューティング環境９１０の全体的な動作を制御する。プロセッサ９２０は、上述方法のステップの全部又は一部を実行する命令を実行するための１つ以上のプロセッサを含んでもよい。また、プロセッサ９２０は、プロセッサ９２０と他のコンポーネントとの間のインタラクションを容易にする１つ以上のモジュールを含んでもよい。上記プロセッサは、中央処理装置（ＣＰＵ）、マイクロプロセッサ、シングルチップマシン、ＧＰＵなどであってもよい。

【0124】

メモリ９４０は、コンピューティング環境９１０の動作をサポートするために、様々なタイプのデータを格納するように構成される。メモリ９４０は、所定のソフトウェア９４２を含んでもよい。そのようなデータの例は、コンピューティング環境９１０上で動作する任意のアプリケーション又は方法のための命令、ビデオデータセット、画像データなどを含む。メモリ９４０は、静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクなどの任意のタイプの揮発性又は不揮発性メモリ装置、又はそれらの組み合わせを使用することによって実装され得る。

【0125】

Ｉ／Ｏインターフェース９５０は、プロセッサ９２０と、キーボード、クリックホイール、ボタンなどの周辺インターフェースモジュールとの間のインターフェースを提供する。ボタンは、ホームボタン、スタートスキャンボタン、及びストップスキャンボタンを含んでもよいが、これらに限定されない。Ｉ／Ｏインターフェース９５０は、エンコーダ及びデコーダに結合することができる。

【0126】

いくつかの実施形態では、上述の方法を実行するために、コンピューティング環境９１０内のプロセッサ９２０によって実行可能な、メモリ９４０に含まれるような複数のプログラムを含む非一時的コンピュータ可読記憶媒体も提供される。例えば、非一時的コンピュータ可読記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶デバイスなどであってもよい。

【0127】

非一時的コンピュータ可読記憶媒体は、１つ以上のプロセッサを有するコンピューティングデバイスによって実行される複数のプログラムを格納しており、複数のプログラムは、１つ以上のプロセッサによって実行されると、コンピューティングデバイスに上述の動き予測方法を実行させる。

【0128】

いくつかの実施形態では、コンピューティング環境９１０は、上記方法を実行するために、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィカルプロセッシングユニット（ＧＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子コンポーネントを用いて実装され得る。

【0129】

図８は、本開示の一実施例に係る、ＧＰＭでビデオブロックを復号化する方法を示すフローチャートである。

【0130】

ステップ８０１では、プロセッサ９２０は、ビデオブロックに関連付けられた制御フラグを受信してもよい。制御フラグは、２値フラグ、非２値フラグなどの１つ以上のフラグを含む制御変数又は任意の他の変数であってもよい。１つ以上の実施例では、制御変数は、表１７又は表２１に示すように、フラグ「ｐｈ＿ｇｐｍ＿ｍｖｒ＿ｏｆｆｓｅｔ＿ｓｅｔ＿ｆｌａｇ」であってもよい。

【0131】

いくつかの実施例では、制御変数は、複数のＭＶＲオフセットのセット間の適応切り替えを可能にし、符号化レベルで適用される。

【0132】

いくつかの実施例では、符号化レベルは、シーケンスレベル、画像／スライスレベル、ＣＴＵレベル又は符号化ブロックレベルであってもよい。例えば、制御変数がエンコーダ側で画像レベルでシグナリングされる場合には、デコーダ側は、現在のビデオブロックに関連付けられた対応するＭＶＲオフセットを選択するという目的のために、どのＭＶＲオフセットセットを選択するかを示すための制御変数を画像レベルで対応して受信する。

【0133】

ステップ８０２では、プロセッサ９２０は、ビデオブロックに関連付けられた指示フラグを受信してもよい。指示フラグは、２値フラグ、非２値フラグなどの１つ以上のフラグを含む指示変数又は任意の他の変数であってもよい。１つ以上の実施例では、制御変数は、表２１に示すように、フラグ「ｐｈ＿ｇｐｍ＿ｍｖｒ＿ｓｔｅｐ＿ｃｏｄｅｗｏｒｄ＿ｆｌａｇ」であってもよい。フラグ「ｐｈ＿ｇｐｍ＿ｍｖｒ＿ｓｔｅｐ＿ｃｏｄｅｗｏｒｄ＿ｆｌａｇ」の値は、異なる符号語表によって異なるオフセットのセットを２値化するように２値化表を切り替えることで、より高い柔軟性が得られる。

【0134】

いくつかの実施例では、指示変数は、符号化レベルの下で複数のＭＶＲオフセットのセットにおける複数のオフセットの大きさを２値化する複数の符号語表間の適応切り替えを可能にする。

【0135】

ステップ８０３では、プロセッサ９２０は、ビデオブロックを第１幾何学的パーティションと第２幾何学的パーティションに分割してもよい。

【0136】

ステップ８０４では、プロセッサ９２０は、制御変数に基づいて、複数のＭＶＲオフセットのセットから１つのＭＶＲオフセットのセットを選択してもよい。

【0137】

ステップ８０５では、プロセッサ９２０は、１つ以上の構文要素を受信して、選択されたＭＶＲオフセットのセットから第１及び第２幾何学的パーティションに適用される第１ＭＶＲオフセット及び第２ＭＶＲオフセットを決定してもよい。選択されたＭＶＲオフセットは、制御変数によって選択された１つのＭＶＲオフセットであってもよい。

【0138】

いくつかの実施例では、複数のＭＶＲオフセットのセットは、第１ＭＶＲオフセットのセット及び第２ＭＶＲオフセットのセットを含んでもよい。いくつかの実施例では、第１ＭＶＲオフセットのセットは、複数のデフォルトオフセットの大きさ及び複数のデフォルトＭＶＲ方向を含む複数のデフォルトＭＶＲオフセットを含んでもよい。いくつかの実施例では、第２ＭＶＲオフセットのセットは、複数の代替オフセットの大きさ及び複数の代替ＭＶＲ方向を含む複数の代替ＭＶＲオフセットを含んでもよい。いくつかの実施例では、第２ＭＶＲオフセットのセットは、第１ＭＶＲオフセットのセットよりも多くのオフセットの大きさ及び第１ＭＶＲオフセットのセットよりも多くのＭＶＲ方向を含んでもよい。例えば、複数のデフォルトオフセットの大きさ及び複数のデフォルトＭＶＲ方向は、８つのオフセットの大きさ（例えば、１／４画素、１／２画素、１画素、２画素、４画素、８画素、１６画素、及び３２画素）及び４つのＭＶＲ方向（＋／－ｘ軸及び＋／－ｙ軸）を含んでもよい。複数の代替オフセットの大きさ及び複数の代替ＭＶＲ方向は、表１５、表１６、表１９及び表２０に示すように、オフセット及び方向を含んでもよい。

【0139】

表１５、表１６、表１９及び表２０に示すように、代替ＭＶＲオフセットのセットは、複数のデフォルトオフセットの大きさに加えて、より多くのオフセットの大きさを含んでもよく、複数のデフォルトＭＶＲ方向に加えて、より多くのＭＶＲ方向を含んでもよい。

【0140】

いくつかの実施例では、プロセッサ９２０は、制御変数が０に等しいと判定したことに応じて、第１ＭＶＲオフセットのセットを適用すると判定してもよく、制御変数が１に等しいと判定したことに応じて、第２ＭＶＲオフセットのセットを適用すると判定してもよい。

【0141】

いくつかの実施例では、複数の符号語表は、第１符号語表と第２符号語表とを含み、第１及び第２ＭＶＲオフセットのセットは、図１９及び図２０に示すように、それぞれ、第１及び第２符号語表を用いて２値化される。

【0142】

表１９及び表２０に示すように、第１デフォルトオフセットの大きさ（例えば、１／４画素）は、ビデオブロックから１／４画素の距離を示し、第２デフォルトオフセットの大きさ（例えば、１／２画素）は、ビデオブロックから１／２画素の距離を示し、第３デフォルトオフセットの大きさ（例えば、１画素）は、ビデオブロックから１画素の距離を示し、第４デフォルトオフセットの大きさ（例えば、２画素）は、ビデオブロックから２画素の距離を示し、第５デフォルトオフセットの大きさ（例えば、４画素）は、ビデオブロックから４画素の距離を示し、第６デフォルトオフセットの大きさ（例えば、８画素）は、ビデオブロックから８画素の距離を示し、第７デフォルトオフセットの大きさ（例えば、１６画素）は、ビデオブロックから１６画素の距離を示し、第８デフォルトオフセットの大きさ（例えば、３２画素）は、ビデオブロックから３２画素の距離を示す。

【0143】

更に、表１９及び表２０に示すように、第１代替オフセットの大きさ（例えば、１／４画素）は、ビデオブロックから１／４画素の距離を示し、第２代替オフセットの大きさ（例えば、１／２画素）は、ビデオブロックから１／２画素の距離を示し、第３代替オフセットの大きさ（例えば、１画素）は、ビデオブロックから１画素の距離を示し、第４代替オフセットの大きさ（例えば、２画素）は、ビデオブロックから２画素の距離を示し、第５代替オフセットの大きさ（例えば、３画素）は、ビデオブロックから３画素の距離を示し、第６代替オフセットの大きさ（例えば、４画素）は、ビデオブロックから４画素の距離を示し、第７代替オフセットの大きさ（例えば、６画素）は、ビデオブロックから６画素の距離を示し、第８代替オフセットの大きさ（例えば、８画素）は、ビデオブロックから８画素の距離を示し、第９代替オフセットの大きさ（例えば、１６画素）は、ビデオブロックから１６画素の距離を示す。

【0144】

いくつかの実施例では、プロセッサ９２０は、制御変数が０に等しく、指示変数が０に等しいと判定したことに応じて、第１ＭＶＲオフセットのセットを適用し、第１符号語表を用いて複数のデフォルトオフセットの大きさを２値化することを更に判定してもよい。表１９に示すように、第１デフォルトオフセットの大きさを１として２値化し、第２デフォルトオフセットの大きさを１０として２値化し、第３デフォルトオフセットの大きさを１１０として２値化し、第４デフォルトオフセットの大きさを１１１０として２値化し、第５デフォルトオフセットの大きさを１１１１０として２値化し、第６デフォルトオフセットの大きさを１１１１１０として２値化し、第７デフォルトオフセットの大きさを１１１１１１０として２値化し、第８デフォルトオフセットの大きさを１１１１１１１として２値化する。

【0145】

いくつかの実施例では、プロセッサ９２０は、制御変数が０に等しく、指示変数が１に等しいと判定したことに応じて、第１ＭＶＲオフセットのセットを適用し、第２符号語表を用いて複数のデフォルトオフセットの大きさを２値化することを更に判定してもよい。表２０に示すように、第１デフォルトオフセットの大きさを１１１１１０として２値化し、第２デフォルトオフセットの大きさを１として２値化し、第３デフォルトオフセットの大きさを１０として２値化し、第４デフォルトオフセットの大きさを１１０として２値化し、第５デフォルトオフセットの大きさを１１１０として２値化し、第６デフォルトオフセットの大きさを１１１１０として２値化し、第７デフォルトオフセットの大きさを１１１１１１０として２値化し、第８デフォルトオフセットの大きさを１１１１１１１として２値化する。

【0146】

いくつかの実施例では、プロセッサ９２０は、制御変数が１に等しく、指示変数が０に等しいと判定したことに応じて、第２ＭＶＲオフセットのセットを適用し、第１符号語表を用いて複数の代替オフセットの大きさを２値化することを更に判定してもよい。表１９に示すように、第１代替オフセットの大きさを１として２値化し、第２代替オフセットの大きさを１０として２値化し、第３代替オフセットの大きさを１１０として２値化し、第４代替オフセットの大きさを１１１０として２値化し、第５代替オフセットの大きさを１１１１０として２値化し、第６代替オフセットの大きさを１１１１１０として２値化し、第７代替オフセットの大きさを１１１１１１０として２値化し、第８代替オフセットの大きさを１１１１１１１０として２値化し、第９代替オフセットの大きさを１１１１１１１１として２値化する。

【0147】

いくつかの実施例では、プロセッサ９２０は、制御変数が１に等しく、指示変数が１に等しいと判定したことに応じて、第２ＭＶＲオフセットのセットを適用し、第２符号語表を用いて複数の代替オフセットの大きさを２値化することを更に判定してもよい。表２０に示すように、第１代替オフセットの大きさを１１１１１０として２値化し、第２代替オフセットの大きさを１として２値化し、第３代替オフセットの大きさを１０として２値化し、第４代替オフセットの大きさを１１０として２値化し、第５代替オフセットの大きさを１１１０として２値化し、第６代替オフセットの大きさを１１１１０として２値化し、第７代替オフセットの大きさを１１１１１１０として２値化し、第８代替オフセットの大きさを１１１１１１１０として２値化し、第９代替オフセットの大きさを１１１１１１１１として２値化する。

【0148】

いくつかの実施例では、プロセッサは、更に、固定長符号語使用して第１及び第２ＭＶＲオフセットのセットにおけるオフセットの方向をそれぞれ２値化してもよい。

【0149】

いくつかの実施例では、プロセッサ９２０は、更に、ＭＶＲが第１幾何学的パーティションに適用されるか否かを示す第１幾何学的パーティション有効構文要素（例えば、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇ）を受信し、幾何学的パーティション有効構文要素が１に等しいと判定したことに応じて、選択されたＭＶＲオフセットのセットに基づいて決定された第１幾何学的パーティションの第１ＭＶＲオフセットの方向及び大きさを示す第１方向構文要素（例えば、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）及び第１大きさ構文要素（例えば、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）を受信し、ＭＶＲが第２幾何学的パーティションに適用されるか否かを示す第２幾何学的パーティション有効構文要素（例えば、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇ）を受信し、第２幾何学的パーティション有効構文要素が１に等しいと判定したことに応じて、選択されたＭＶＲオフセットのセットに基づいて決定された第２幾何学的パーティションの第２ＭＶＲオフセットの方向及び大きさを示す第２方向構文要素（例えば、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）及び第２大きさ構文要素（例えば、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）を受信してもよい。

【0150】

ステップ８０６では、プロセッサ９２０は、第１幾何学的パーティション及び第２幾何学的パーティションの候補リストから第１ＭＶ及び第２ＭＶを取得してもよい。

【0151】

ステップ８０７では、プロセッサ９２０は、第１及び第２ＭＶ、並びに、第１及び第２ＭＶＲオフセットに基づいて、第１リファインＭＶ及び第２リファインＭＶを算出してもよい。

【0152】

ステップ８０８では、プロセッサ９２０は、第１及び第２リファインＭＶに基づいて、ビデオブロックの予測サンプルを取得してもよい。

【0153】

いくつかの実施例では、ＧＰＭでビデオブロックを復号化する装置が提供される。装置は、プロセッサ９２０と、プロセッサによって実行可能な命令を格納するメモリ９４０とを含み、プロセッサは、命令の実行時に、図８に示す方法を実行するように構成される。

【0154】

他のいくつかの実施例では、命令を格納する非一時的コンピュータ可読記憶媒体が提供される。命令がプロセッサ９２０によって実行されると、命令は、図８に示す方法をプロセッサに実行させる。

【0155】

本開示の他の実施例は、本明細書に開示された本開示の明細書及び実施を考慮することにより、当業者には明らかとなるであろう。本願は、その一般的な原理に従い、本分野で既知又は慣例の範囲内にある本開示からの逸脱を含む、本開示のあらゆる変形、使用、又は適応を網羅することを意図している。明細書及び実施例は、例示としてのみ考慮されることを意図している。

【0156】

本開示は、上述した、添付の図面によって示された正確な実施例に限定されるものではなく、本開示の範囲から逸脱することなく様々な修正及び変更を行うことができることが理解されるであろう。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2024-02-09

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ビデオブロックに関連付けられた、複数の動きベクトルリファインメント（ＭＶＲ）オフセットのセット間の適応切り替えを可能にして符号化レベルで適用される制御変数を受信することと、
前記ビデオブロックに関連付けられた、前記符号化レベルの下で前記複数のＭＶＲオフセットのセットにおける複数のオフセットの大きさを２値化する複数の符号語表間の適応切り替えを可能にする指示変数を受信することと、
前記ビデオブロックを第１幾何学的パーティションと第２幾何学的パーティションに分割することと、
前記制御変数に基づいて、前記複数のＭＶＲオフセットのセットから１つのＭＶＲオフセットのセットを選択することと、
１つ以上の構文要素を受信して、前記選択されたＭＶＲオフセットのセットから前記第１及び第２幾何学的パーティションに適用される第１ＭＶＲオフセット及び第２ＭＶＲオフセットを決定することと、
前記第１幾何学的パーティション及び前記第２幾何学的パーティションの候補リストから、第１動きベクトル（ＭＶ）及び第２ＭＶを取得することと、
前記第１及び第２ＭＶ、並びに、前記第１及び第２ＭＶＲオフセットに基づいて、第１リファインＭＶ及び第２リファインＭＶを算出することと、
前記第１及び第２リファインＭＶに基づいて、前記ビデオブロックのための予測サンプルを取得することと、
を含む、幾何学的分割モード（ＧＰＭ）でビデオブロックを復号化する方法。

【請求項2】

前記符号化レベルは、シーケンスレベル、画像レベル、符号化ツリーユニットレベル又は符号化ブロックレベルを含む、請求項１に記載の方法。

【請求項3】

前記複数のＭＶＲオフセットのセットは、第１ＭＶＲオフセットのセットと、第２ＭＶＲオフセットのセットとを含み、
前記第２ＭＶＲオフセットのセットは、前記第１ＭＶＲオフセットのセットのオフセットの少なくとも1つの大きさを含み、
前記複数の符号語表は、第１符号語表と第２符号語表とを含み、前記第１符号語表は、前記第１ＭＶＲオフセットのセットにおけるオフセットの大きさを２値化するためのものであり、前記第２符号語表は、前記第２ＭＶＲオフセットのセットにおけるオフセットの大きさを２値化するためのものである、請求項１に記載の方法。

【請求項4】

前記制御変数が０に等しいと判定したことに応じて、前記第１ＭＶＲオフセットのセットを適用すると判定することと、
前記制御変数が１に等しいと判定したことに応じて、前記第２ＭＶＲオフセットのセットを適用すると判定することと、
を更に含む、請求項３に記載の方法。

【請求項5】

前記指示変数が０に等しいと判定したことに応じて、第１符号語表を適用すると判定することと、
前記指示変数が１に等しいと判定したことに応じて、第２符号語表を適用すると判定することと、
を更に含む、請求項４に記載の方法。

【請求項6】

前記第１ＭＶＲオフセットのセットは、複数のデフォルトオフセットの大きさを含み、前記複数のデフォルトオフセットの大きさは、
前記ビデオブロックから１／４画素の距離を示す第１デフォルトオフセットの大きさと、
前記ビデオブロックから１／２画素の距離を示す第２デフォルトオフセットの大きさと、
前記ビデオブロックから１画素の距離を示す第３デフォルトオフセットの大きさと、
前記ビデオブロックから２画素の距離を示す第４デフォルトオフセットの大きさと、
前記ビデオブロックから４画素の距離を示す第５デフォルトオフセットの大きさと、
前記ビデオブロックから８画素の距離を示す第６デフォルトオフセットの大きさと、
前記ビデオブロックから１６画素の距離を示す第７デフォルトオフセットの大きさと、
前記ビデオブロックから３２画素の距離を示す第８デフォルトオフセットの大きさと、を含み、
前記第２ＭＶＲオフセットのセットは、複数の代替オフセットの大きさを含み、前記複数の代替オフセットの大きさは、
前記ビデオブロックから１／４画素の距離を示す第１代替オフセットの大きさと、
前記ビデオブロックから１／２画素の距離を示す第２代替オフセットの大きさと、
前記ビデオブロックから１画素の距離を示す第３代替オフセットの大きさと、
前記ビデオブロックから２画素の距離を示す第４代替オフセットの大きさと、
前記ビデオブロックから３画素の距離を示す第５代替オフセットの大きさと、
前記ビデオブロックから４画素の距離を示す第６代替オフセットの大きさと、
前記ビデオブロックから６画素の距離を示す第７代替オフセットの大きさと、
前記ビデオブロックから８画素の距離を示す第８代替オフセットの大きさと、
前記ビデオブロックから１６画素の距離を示す第９代替オフセットの大きさと、
を含む、請求項５に記載の方法。

【請求項7】

前記制御変数が０に等しく、前記指示変数が０に等しいと判定したことに応じて、前記第１ＭＶＲオフセットのセットを適用し、前記第１符号語表を用いて前記複数のデフォルトオフセットの大きさを２値化すると判定することを更に含み、
前記第１符号語表を用いて前記複数のデフォルトオフセットの大きさを２値化することは、
前記第１デフォルトオフセットの大きさを１として２値化することと、
前記第２デフォルトオフセットの大きさを１０として２値化することと、
前記第３デフォルトオフセットの大きさを１１０として２値化することと、
前記第４デフォルトオフセットの大きさを１１１０として２値化することと、
前記第５デフォルトオフセットの大きさを１１１１０として２値化することと、
前記第６デフォルトオフセットの大きさを１１１１１０として２値化することと、
前記第７デフォルトオフセットの大きさを１１１１１１０として２値化することと、
前記第８デフォルトオフセットの大きさを１１１１１１１として２値化することと、
を含む、請求項６に記載の方法。

【請求項8】

前記制御変数が０に等しく、前記指示変数が１に等しいと判定したことに応じて、前記第１ＭＶＲオフセットのセットを適用し、前記第２符号語表を用いて前記複数のデフォルトオフセットの大きさを２値化すると判定することを更に含み、
前記第２符号語表を用いて前記複数のデフォルトオフセットの大きさを２値化することは、
前記第１デフォルトオフセットの大きさを１１１１１０として２値化することと、
前記第２デフォルトオフセットの大きさを１として２値化することと、
前記第３デフォルトオフセットの大きさを１０として２値化することと、
前記第４デフォルトオフセットの大きさを１１０として２値化することと、
前記第５デフォルトオフセットの大きさを１１１０として２値化することと、
前記第６デフォルトオフセットの大きさを１１１１０として２値化することと、
前記第７デフォルトオフセットの大きさを１１１１１１０として２値化することと、
前記第８デフォルトオフセットの大きさを１１１１１１１１として２値化することと、
を含む、請求項６に記載の方法。

【請求項9】

前記制御変数が１に等しく、前記指示変数が０に等しいと判定したことに応じて、前記第２ＭＶＲオフセットのセットを適用し、前記第１符号語表を用いて前記複数の代替オフセットの大きさを２値化することを更に含み、
前記第１符号語表を用いて前記複数の代替オフセットの大きさを２値化することは、
前記第１代替オフセットの大きさを１として２値化することと、
前記第２代替オフセットの大きさを１０として２値化することと、
前記第３代替オフセットの大きさを１１０として２値化することと、
前記第４代替オフセットの大きさを１１１０として２値化することと、
前記第５代替オフセットの大きさを１１１１０として２値化することと、
前記第６代替オフセットの大きさを１１１１１０として２値化することと、
前記第７代替オフセットの大きさを１１１１１１０として２値化することと、
前記第８代替オフセットの大きさを１１１１１１１０として２値化することと、
前記第９代替オフセットの大きさを１１１１１１１１として２値化することと、
を含む、請求項６に記載の方法。

【請求項10】

前記制御変数が１に等しく、前記指示変数が１に等しいと判定したことに応じて、前記第２ＭＶＲオフセットのセットを適用し、前記第２符号語表を用いて前記複数の代替オフセットの大きさを２値化することを更に含み、
前記第２符号語表を用いて前記複数の代替オフセットの大きさを２値化することは、
前記第１代替オフセットの大きさを１１１１１０として２値化することと、
前記第２代替オフセットの大きさを１として２値化することと、
前記第３代替オフセットの大きさを１０として２値化することと、
前記第４代替オフセットの大きさを１１０として２値化することと、
前記第５代替オフセットの大きさを１１１０として２値化することと、
前記第６代替オフセットの大きさを１１１１０として２値化することと、
前記第７代替オフセットの大きさを１１１１１１０として２値化することと、
前記第８代替オフセットの大きさを１１１１１１１０として２値化することと、
前記第９代替オフセットの大きさを１１１１１１１１として２値化することと、
を含む、請求項６に記載の方法。

【請求項11】

前記複数のＭＶＲオフセットのセットは、第１ＭＶＲオフセットのセットと、第２ＭＶＲオフセットのセットとを含み、
前記第２ＭＶＲオフセットのセットは、前記第１ＭＶＲオフセットのセットの少なくとも1つのオフセットの方向を含み、
前記第１及び第２ＭＶＲオフセットのセットにおけるオフセットの方向は、それぞれ固定長符号語を用いて２値化される、請求項１に記載の方法。

【請求項12】

１つ以上の構文要素を受信して、前記選択されたＭＶＲオフセットのセットから前記第１及び第２幾何学的パーティションに適用される第１ＭＶＲオフセット及び第２ＭＶＲオフセットを決定することは、
前記ＭＶＲが前記第１幾何学的パーティションに適用されるか否かを示す第１幾何学的パーティション有効構文要素を受信することと、
前記第１幾何学的パーティション有効構文要素が１に等しいと判定したことに応じて、前記選択されたＭＶＲオフセットのセットに基づいて決定された前記第１幾何学的パーティションの前記第１ＭＶＲオフセットのオフセット方向及びオフセット大きさを示す第１方向構文要素及び第１大きさ構文要素を受信することと、
前記ＭＶＲが前記第２幾何学的パーティションに適用されるか否かを示す第２幾何学的パーティション有効構文要素を受信することと、
前記第２幾何学的パーティション有効構文要素が１に等しいと判定したことに応じて、前記選択されたＭＶＲオフセットのセットに基づいて決定された前記第２幾何学的パーティションの前記第２ＭＶＲオフセットのオフセット方向及びオフセット大きさを示す第２方向構文要素及び第２大きさ構文要素を受信することと、
を含む、請求項１に記載の方法。

【請求項13】

前記第１幾何学的パーティション有効構文要素は、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇを含み、
前記第１方向構文要素及び前記第１大きさ構文要素は、それぞれ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘを含み、
前記第２幾何学的パーティション有効構文要素は、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇを含み、
前記第２方向構文要素及び前記第２大きさ構文要素は、それぞれ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘを含む、請求項１２に記載の方法。

【請求項14】

１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行可能な命令を格納するように構成されたメモリと、を含み、
前記１つ以上のプロセッサは、前記命令の実行時に、請求項１～１３のいずれか一項に記載の方法を実行するように構成される、ビデオ復号化装置。

【請求項15】

１つ以上のコンピュータプロセッサによって実行されると、前記１つ以上のコンピュータプロセッサに請求項１～１３のいずれか一項に記載の方法を実行させ、請求項１～１３のいずれか一項に記載の方法によって復号化されるビットストリームを格納するコンピュータ実行可能な命令を格納する、非一時的コンピュータ可読記憶媒体。

【請求項16】

請求項１～１３のいずれか一項に記載の方法によって復号化されるビットストリーム。

【請求項17】

ビットストリームを格納するための命令を有するコンピュータプログラムであって、
前記ビットストリームは、請求項１～１３のいずれか一項に記載の方法によって復号化される符号化ビデオデータを含む、コンピュータプログラム。

【請求項18】

請求項１～１３のいずれか一項に記載の方法によって復号化されるデータ構造。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本願は、２０２１年６月１４日に提出された米国仮特許出願第６３／２１０，４８４号に基づき優先権を主張し、その開示は、あらゆる目的でその全体が参照により本明細書に組み込まれる。

【技術分野】

【0002】

本開示は、ビデオ符号化復号化及び圧縮に関する。より詳細には、本開示は、角度重み付け予測（ＡＷＰ）モードとしても知られる幾何学的分割モード（ＧＰＭ）の符号化復号化効率を向上させる方法及び装置に関する。

【背景技術】

【0003】

ビデオデータを圧縮するためには、様々なビデオ符号化復号化技術を用いることができる。ビデオ符号化復号化は、１つ以上のビデオ符号化復号化標準に従って実行される。例えば、今日ではよく知られたいくつかのビデオ符号化復号化標準として、ＩＳＯ／ＩＥＣ ＭＰＥＧとＩＴＵ－Ｔ ＶＥＣＧによって共同開発された汎用ビデオ符号化復号化（ＶＶＣ）、高効率ビデオ符号化復号化（ＨＥＶＣ、Ｈ．２６５又はＭＰＥＧ－Ｈ Ｐａｒｔ ２としても知られる）、及び高度ビデオ符号化復号化（ＡＶＣ、Ｈ．２６４又はＭＰＥＧ－４ Ｐａｒｔ １０としても知られる）が挙げられる。ＡＯメディアビデオ１（ＡＶ１）は、先行標準ＶＰ９の後継としてアライアンス・フォー・オープン・メディア（ＡＯＭ）によって開発された。デジタルオーディオ及びデジタルビデオ圧縮標準を指すオーディオビデオ符号化復号化（ＡＶＳ）は、中国のオーディオ及びビデオ符号化復号化標準ワークグループによって開発された別のビデオ圧縮標準シリーズである。既存のビデオ符号化復号化標準の多くは、例えば、ブロックベースの予測方法（例えば、インター予測、イントラ予測）を用いてビデオ又はシーケンスに存在する冗長性を削減し、変換符号化を用いて予測誤差のエネルギーを圧縮するなどのように、有名なハイブリッドビデオ符号化復号化フレームワークに基づいて構築される。ビデオ符号化復号化技術の１つの重要な目標は、ビデオ品質の劣化を回避又は最小限に抑えながら、ビデオデータを、より低いビットレートによる形式に圧縮することである。

【発明の概要】

【0004】

本開示は、ビデオ符号化復号化方法及び装置、並びに非一時的コンピュータ可読記憶媒体を提供する。

【0005】

本開示の第１態様において、ＧＰＭでビデオブロックを復号化する方法が提供される。前記方法は、前記ビデオブロックに関連付けられた、複数の動きベクトルリファインメント（ＭＶＲ）オフセットのセット間の適応切り替えを可能にすることができって符号化レベルで適用される制御変数を受信することを含んでもよい。前記方法は、前記ビデオブロックに関連付けられた、前記符号化レベルの下で複数のＭＶＲオフセットのセットにおける複数のオフセットの大きさを２値化する複数の符号語表間の適応切り替えを可能にすることができる指示変数を受信することを含んでもよい。前記方法は、前記ビデオブロックを第１幾何学的パーティションと第２幾何学的パーティションに分割することを含んでもよい。前記方法は、前記制御変数に基づいて、前記複数のＭＶＲオフセットのセットから１つのＭＶＲオフセットのセットを選択することを含んでもよい。前記方法は、１つ以上の構文要素を受信して、選択されたＭＶＲオフセットのセットから前記第１及び第２幾何学的パーティションに適用される第１ＭＶＲオフセット及び第２ＭＶＲオフセットを決定することを含んでもよい。前記方法は、前記第１幾何学的パーティション及び前記第２幾何学的パーティションの候補リストから、第１動きベクトル（ＭＶ）及び第２ＭＶを取得することを含んでもよい。前記方法は、前記第１及び第２ＭＶ、並びに、前記第１及び第２ＭＶＲオフセットに基づいて、第１リファインＭＶ及び第２リファインＭＶを算出することを含んでもよい。また、前記方法は、前記第１及び第２リファインＭＶに基づいて、前記ビデオブロックのための予測サンプルを取得することを含んでもよい。

【0006】

本開示の第２態様において、ビデオ復号化装置が提供される。前記装置は、１つ以上のプロセッサと、非一時的コンピュータ可読記憶媒体とを含んでもよい。前記非一時的コンピュータ可読記憶媒体は、前記１つ以上のプロセッサによって実行可能な命令を格納するように構成される。前記１つ以上のプロセッサは、前記命令の実行時に、前記第１態様に係る方法を実行するように構成される。

【0007】

本開示の第３態様において、非一時的コンピュータ可読記憶媒体が提供される。前記非一時的コンピュータ可読記憶媒体は、１つ以上のコンピュータプロセッサによって実行されると、前記１つ以上のコンピュータプロセッサに前記第１態様に係る方法を実行させるコンピュータ実行可能な命令を格納してもよい。

【0008】

前述の一般的な説明と以下の詳細な説明は、いずれも単なる例であり、本開示を限定するものではないことを理解されたい。

【図面の簡単な説明】

【0009】

本明細書に組み込まれ、その一部を構成する添付図面は、本開示と一致する実施例を示しており、説明とともに、本開示の原理を説明する役割を果たす。

【0010】

【図1】本開示の１つの実施例に係るエンコーダのブロック図である。

【図2A】本開示の１つの実施例に係る、マルチタイプツリー構造のブロック分割を示す図である。

【図2B】本開示の１つの実施例に係る、マルチタイプツリー構造のブロック分割を示す図である。

【図2C】本開示の１つの実施例に係る、マルチタイプツリー構造のブロック分割を示す図である。

【図2D】本開示の１つの実施例に係る、マルチタイプツリー構造のブロック分割を示す図である。

【図2E】本開示の１つの実施例に係る、マルチタイプツリー構造のブロック分割を示す図である。

【図3】本開示の１つの実施例に係るデコーダのブロック図である。

【図4】本開示の１つの実施例に係る、許容された幾何学的分割モード（ＧＰＭ）パーティションの図示である。

【図5】本開示の１つの実施例に係る、単方向予測動きベクトルの選択を示す表である。

【図6A】本開示の１つの実施例に係る動きベクトル差分（ＭＭＶＤ）モードを有するマージモードの図示である。

【図6B】本開示の１つの実施例に係るＭＭＶＤモードの図示である。

【図7】本開示の１つの実施例に係るテンプレートマッチング（ＴＭ）アルゴリズムの図示である。

【図8】本開示の１つの実施例に係る、ＧＰＭでビデオブロックを復号化する方法である。

【図9】本開示の１つの実施例に係る、ユーザインターフェースに結合されたコンピューティング環境を示す図である。

【図10】本開示のいくつかの実施例に係る、ビデオブロックの符号化及び復号化のためのシステムを示すブロック図である。

【発明を実施するための形態】

【0011】

実施形態を詳細に参照し、それらの実施例を添付図面に示す。以下の説明は、添付図面を参照し、異なる図面中の同じ番号は、特に示さない限り、同じ又は類似の要素を表す。実施形態の以下の説明に記載される実装形態は、本開示と一致する全ての実装形態を表すわけではない。むしろ、それらは、添付の特許請求の範囲に記載されるように、本開示に関連する態様と一致する装置及び方法の単なる例である。

【0012】

本開示で使用される用語は、特定の実施形態を説明するためだけのものであり、本開示を限定することを意図するものではない。本開示及び添付の特許請求の範囲で使用されるように、単数形「１つ」などは、文脈において別途明確に示さない限り、複数形も含むことが意図される。なお、本明細書で使用される「及び／又は」という用語は、関連する列挙された項目のうちの１つ以上の任意の又は全ての可能な組み合わせを意味し、含むことが意図される。

【0013】

なお、「第１」、「第２」、「第３」などの用語は、様々な情報を説明するために本明細書で使用され得るが、情報は、これらの用語によって限定されるべきではない。これらの用語は、情報の１つのカテゴリを別のカテゴリから区別するためにのみ使用される。例えば、本開示の範囲から逸脱することなく、第１情報を第２情報と呼ぶことができ、同様に、第２情報を第１情報と呼ぶこともできる。本明細書で使用されるように、用語「もし～ば」は、文脈に応じて、「～場合」、「～すると」又は「判定に応じて」を意味すると理解されてもよい。

【0014】

第１世代のＡＶＳ標準は、中国の国家標準「情報技術、高度なオーディオビデオ符号化復号化、第２部分：ビデオ」（ＡＶＳ１として知られる）及び「情報技術、高度なオーディオビデオ符号化復号化、第１６部分：ラジオテレビビデオ」（ＡＶＳ＋として知られる）を含む。ＭＰＥＧ－２標準と比較して、同じ知覚品質で約５０％ビットレートを節約することができる。ＡＶＳ１標準のビデオ部分は、２００６年２月に中国の国家標準として公布された。第２世代のＡＶＳ標準は、主に追加のＨＤ ＴＶプログラムの送信を対象とした一連の中国国家標準「情報技術、効率的なマルチメディア符号化復号化」（ＡＶＳ２として知られる）を含む。ＡＶＳ２の符号化復号化効率は、ＡＶＳ＋の２倍である。２０１６年５月に、ＡＶＳ２は、中国の国家標準として発行された。一方、ＡＶＳ２標準のビデオ部分は、アプリケーションの国際標準の１つとして電気電子学会（ＩＥＥＥ）によって提出された。ＡＶＳ３標準は、最新の国際標準ＨＥＶＣの符号化復号化効率を超えることを目的とした、ＵＨＤビデオアプリケーション用の新世代のビデオ符号化復号化標準の１つである。２０１９年３月に、第６８回のＡＶＳ会議で、ＨＥＶＣ標準よりも約３０％のビットレートを節約するＡＶＳ３－Ｐ２ベースラインが完成した。現在、ハイパフォーマンスモデル（ＨＰＭ）と呼ばれる１つの参照ソフトウェアがあり、参照ソフトウェアは、ＡＶＳグループによってメンテナンスされて、ＡＶＳ３標準の参照実装形態を実証する。

【0015】

ＡＶＳ３標準は、ＨＥＶＣと同様に、ブロックベースのハイブリッドビデオ符号化復号化フレームワークに基づいて構築される。

【0016】

図１０は、本開示のいくつかの実装形態に係る、ビデオブロックの符号化及び復号化を並列に行う例示的なシステム１０を示すブロック図である。図１０に示すように、システム１０は、目標装置１４によって後で復号化されるビデオデータを生成して符号化するソース装置１２を含む。ソース装置１２及び目標装置１４は、デスクトップ又はラップトップコンピュータ、タブレットコンピュータ、スマートフォン、セットトップボックス、デジタルテレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む多種多様な電子デバイスのいずれかを含んでもよい。いくつかの実装形態では、ソース装置１２及び目標装置１４は、無線通信機能を備える。

【0017】

いくつかの実装形態では、目標装置１４は、リンク１６を介して、復号化される符号化されたビデオデータを受信してもよい。リンク１６は、符号化されたビデオデータをソース装置１２から目標装置１４に移動させることが可能な任意のタイプの通信媒体又はデバイスを含んでもよい。１つの実施例では、リンク１６は、ソース装置１２が符号化されたビデオデータを目標装置１４にリアルタイムで直接送信できるようにする通信媒体を含んでもよい。符号化されたビデオデータは、無線通信プロトコルなどの通信標準に従って変調され、目標装置１４に送信されてもよい。通信媒体は、無線周波数（ＲＦ）スペクトル又は１つ以上の物理伝送線などの、任意の無線又は有線の通信媒体を含んでもよい。通信媒体は、ローカルエリアネットワーク、広域ネットワーク、又はインターネットなどのグローバルネットワークなどのパケットベースのネットワークの一部を構成してもよい。通信媒体は、ルータ、スイッチ、基地局、又はソース装置１２から目標装置１４への通信を容易にするのに有用であり得る任意の他の機器を含んでもよい。

【0018】

いくつかの他の実装形態では、符号化されたビデオデータは、出力インターフェース２２からストレージ装置３２に送信されてもよい。その後、ストレージ装置３２内の符号化されたビデオデータは、入力インターフェース２８を介して目標装置１４からアクセスされてもよい。ストレージ装置３２は、ハードドライブ、ブルーレイディスク、デジタルバーサタイルディスク（ＤＶＤ）、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、フラッシュメモリ、揮発性又は不揮発性メモリ、又は符号化されたビデオデータを格納する任意の他の適切なデジタル記憶媒体などの、分散型又はローカルにアクセスされる様々なデータ記憶媒体のいずれかを含んでもよい。更なる実施例では、ストレージ装置３２は、ソース装置１２によって生成された符号化されたビデオデータを保持し得るファイルサーバ又は他の中間ストレージ装置に対応してもよい。目標装置１４は、ストリーミング又はダウンロードを介して、ストレージ装置３２からの格納されたビデオデータにアクセスしてもよい。ファイルサーバは、符号化されたビデオデータを格納するとともに、符号化されたビデオデータを目標装置１４へ送信することが可能な任意のタイプのコンピュータであってもよい。例示的なファイルサーバは、（例えば、ウェブサイト用の）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、又はローカルディスクドライブを含む。目標装置１４は、ファイルサーバに格納された符号化されたビデオデータにアクセスするのに適した無線チャネル（例えば、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）接続）、有線接続（例えば、ＤＳＬ（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ、デジタル加入者線）、ケーブルモデムなど）、又は両方の組み合わせを含む任意の標準データ接続を通じて、符号化されたビデオデータにアクセスしてもよい。ストレージ装置３２からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、又は両方の組み合せであってもよい。

【0019】

図１０に示すように、ソース装置１２は、ビデオソース１８、ビデオエンコーダ２０、及び出力インターフェース２２を含む。ビデオソース１８は、ビデオカメラ、以前にキャプチャされたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するビデオフィードインターフェースなどのビデオキャプチャデバイス、及び／又は、ソースビデオとしてのコンピュータグラフィックデータを生成するコンピュータグラフィックシステムなどのソース、又は、これらのソースの組み合わせを含んでもよい。１つの実施例として、ビデオソース１８がセキュリティ監視システムのビデオカメラである場合には、ソース装置１２及び目標装置１４は、カメラフォン又はビデオフォンを形成してもよい。しかしながら、本願で説明される実装形態は、一般にビデオ符号化復号化に適用可能であり、無線及び／又は有線のアプリケーションにも適用可能である。

【0020】

キャプチャされたビデオ、予めキャプチャされたビデオ、又はコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化されてもよい。符号化されたビデオデータは、ソース装置１２の出力インターフェース２２を介して、目標装置１４に直接送信されてもよい。符号化されたビデオデータはまた（又は代わりに）、目標装置１４又は他のデバイスによって後でアクセスされて、復号化及び／又は再生されるように、ストレージ装置３２に格納されてもよい。出力インターフェース２２は、モデム及び／又は送信機を更に含んでもよい。

【0021】

目標装置１４は、入力インターフェース２８、ビデオデコーダ３０、及びディスプレイデバイス３４を含む。入力インターフェース２８は、受信機及び／又はモデムを含み、リンク１６を介して符号化されたビデオデータを受信してもよい。リンク１６を介して通信されるか又はストレージ装置３２に提供される符号化されたビデオデータは、ビデオデコーダ３０がビデオデータの復号化に用いる、ビデオエンコーダ２０が生成した様々な構文要素を含んでもよい。そのような構文要素は、通信媒体に送信されるか、記憶媒体に格納されるか、又はファイルサーバに格納される符号化されたビデオデータ内に含まれてもよい。

【0022】

いくつかの実装形態では、目標装置１４は、一体化されたディスプレイデバイス、及び目標装置１４と通信するように構成された外部ディスプレイデバイスであり得るディスプレイデバイス３４を含んでもよい。ディスプレイデバイス３４は、復号化されたビデオデータをユーザに表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は他のタイプのディスプレイデバイスなどの様々なディスプレイデバイスのいずれかを含んでもよい。

【0023】

ビデオエンコーダ２０及びビデオデコーダ３０は、例えば、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ－４、Ｐａｒｔ １０、ＡＶＣなどの独自又は産業上の標準に従って動作してもよいし、それらの標準の拡張に従って動作してもよい。本願は、特定のビデオ符号化／復号化標準に限定されず、他のビデオ符号化／復号化標準にも適用可能であることを理解されたい。一般に、ソース装置１２のビデオエンコーダ２０は、これらの現在又は将来のいずれかの標準に従ってビデオデータを符号化するように構成されてもよいことが考えられる。同様に、目標装置１４のビデオデコーダ３０は、これらの現在又は将来のいずれかの標準に従ってビデオデータを復号化するように構成されてもよいことも一般に考えられる。

【0024】

ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又はこれらの組み合わせなどの様々な適切なエンコーダ及び／又はデコーダ回路のいずれかとして実装されてもよい。電子デバイスは、ソフトウェアで部分的に実装される場合には、ソフトウェアの命令を適切な非一時的コンピュータ可読媒体に格納し、１つ以上のプロセッサによってハードウェアで命令を実行して、本開示で開示されるビデオ符号化／復号化動作を実行してもよい。ビデオエンコーダ２０及びビデオデコーダ３０のそれぞれは、１つ以上のエンコーダ又はデコーダに含まれていてもよく、いずれか一方が、各デバイス内の組み合わせたエンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合されてもよい。

【0025】

図１は、ＶＶＣのブロックベースのビデオエンコーダの一般的な図を示す。具体的には、図１は、典型的なエンコーダを示す。エンコーダは、図１０に示すビデオエンコーダ２０であってもよい。エンコーダは、ビデオ入力、動き補償１０１、動き推定１０２、イントラ／インターモード決定１０３、ブロック予測子、加算器１２８、変換１０８、量子化１０９、予測関連情報、イントラ予測１０４、画像バッファ１０６、逆量子化１１１、逆変換１１２、加算器１２６、メモリ１０５、インループフィルタ１０７、エントロピー符号化１１０、及びビットストリームを含む。

【0026】

エンコーダでは、ビデオフレームは、処理のために複数のビデオブロックに分割される。所与の各ビデオブロックに対して、インター予測アプローチ又はイントラ予測アプローチに基づいて予測が形成される。なお、「フレーム」という用語は、ビデオ符号化復号化の分野では、「画像」又は「画像」という用語の同義語として使用されてもよい。

【0027】

ビデオ入力の一部である現在のビデオブロックと、ブロック予測子の一部であるその予測子との間の差を表す予測残差は、加算器１２８から変換１０８に送られる。次に、変換係数は、エントロピー低減のために、変換１０８から量子化１０９に送られる。次に、量子化係数がエントロピー符号化１１０に供給されて、圧縮されたビデオビットストリームを生成する。図１に示すように、ビデオブロック分割情報、動きベクトル（ＭＶ）、参照画像インデックス、及びイントラ予測モードなどのイントラ／インターモード決定１０３からの予測関連情報もエントロピー符号化１１０によって供給され、圧縮されたビットストリームに保存される。圧縮されたビットストリームは、ビデオビットストリームを含む。

【0028】

エンコーダでは、予測の目的で画素を再構成するために、デコーダ関連の回路も必要である。まず、逆量子化１１１と逆変換１１２によって予測残差を再構成する。この再構成された予測残差をブロック予測子と組み合わせて、現在のビデオブロックについてフィルタ処理されていない再構成された画素を生成する。

【0029】

空間予測（又は「イントラ予測」）は、現在のビデオブロックと同じビデオフレーム内の既に符号化された隣接ブロックのサンプル（参照サンプルと呼ばれる）からの画素を使用して、現在のビデオブロックを予測する。

【0030】

時間予測（「インター予測」とも呼ばれる）は、既に符号化されたビデオ画像からの再構成された画素を使用して、現在のビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間冗長性を低減する。所与の符号化ユニット（ＣＵ）又は符号化ブロックの時間予測信号は、通常、現在のＣＵとその時間基準との間の動きの量及び方向を示す１つ以上のＭＶによってシグナリングされる。また、複数の参照画像がサポートされる場合には、１つの参照画像インデックスが更に送られ、参照画像インデックスは、時間予測信号が参照画像記憶装置内のどの参照画像から来るかを特定するために使用される。

【0031】

動き推定１０２は、ビデオ入力及び画像バッファ１０６からの信号を取り込み、動き推定信号を動き補償１０１に出力する。動き補償１０１は、ビデオ入力、画像バッファ１０６からの信号、及び動き推定１０２からの動き推定信号を取り込み、動き補償信号をイントラ／インターモード決定１０３に出力する。

【0032】

空間及び／又は時間予測が実行された後、エンコーダのイントラ／インターモード決定１０３は、例えば、レート歪み最適化法に基づいて、最良の予測モードを選択する。次いで、ブロック予測子は、現在のビデオブロックから減算され、得られた予測残差は、変換１０８及び量子化１０９により相関解除される。得られた量子化残差係数は、逆量子化１１１によって逆量子化され、逆変換１１２によって逆変換されて再構成された残差を形成し、次いで、再構成された残差は、予測ブロックに加算されて、ＣＵの再構成された信号を形成する。デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）、及び／又は適応インループフィルタ（ＡＬＦ）などの更なるインループフィルタリング１０７を、再構成されたＣＵが画像バッファ１０６の参照画像記憶装置に入れられ、将来のビデオブロックを符号化復号化するために使用される前に、再構成されたＣＵに適用することができる。出力ビデオビットストリームを形成するために、符号化モード（インター又はイントラ）、予測モード情報、動き情報、及び量子化残差係数は、全て、エントロピー符号化ユニット１１０に送られ、更に圧縮され、パックされてビットストリームを形成する。

【0033】

図１は、一般的なブロックベースのハイブリッドビデオ符号化システムのブロック図を示す。入力ビデオ信号は、（符号化ユニット（ＣＵ）と呼ばれる）ブロック毎に処理される。ＡＶＳ３では、４分木のみに基づいてブロックを分割するＨＥＶＣとは異なり、１つの符号化ツリーユニット（ＣＴＵ）は、４分木／２分木／３分木に基づいて、変動するローカル特性に適応するようにＣＵに分割される。更に、ＨＥＶＣにおける多重分割ユニットタイプの概念は、除去され、即ち、ＣＵ、予測ユニット（ＰＵ）、及び変換ユニット（ＴＵ）の分離は、ＡＶＳ３に存在せず、代わりに、各ＣＵは、更なる分割なしで、予測及び変換の両方のための基本ユニットとして常に使用される。ＡＶＳ３のツリー分割構造では、まず、１つのＣＴＵは、４分木構造に基づいて分割される。次に、各４分木リーフノードは、２分木構造及び拡張４分木構造に基づいて更に分割され得る。

【0034】

図２Ａ、図２Ｂ、図２Ｃ、図２Ｄ、及び図２Ｅに示すように、５つの分割タイプ、即ち、４分割、水平２分割、垂直２分割、水平拡張４分木分割、及び垂直拡張４分木分割がある。

【0035】

図２Ａは、本開示に係る、マルチタイプツリー構造におけるブロックの４分割を示す図を示す。

【0036】

図２Ｂは、本開示に係る、マルチタイプツリー構造におけるブロックの垂直２分割を示す図を示す。

【0037】

図２Ｃは、本開示に係る、マルチタイプツリー構造におけるブロックの水平２分割を示す図を示す。

【0038】

図２Ｄは、本開示に係る、マルチタイプツリー構造におけるブロックの垂直３分割を示す図を示す。

【0039】

図２Ｅは、本開示に係る、マルチタイプツリー構造におけるブロック水平３分割を示す図を示す。

【0040】

図１では、空間予測及び／又は時間予測を行ってもよい。空間予測（又は「イントラ予測」）は、同じビデオ画像／スライスの既に符号化された隣接ブロックのサンプル（参照サンプルと呼ばれる）からの画素を使用して、現在のビデオブロックを予測する。空間予測は、ビデオ信号に固有の空間冗長性を低減する。時間予測（「インター予測」又は「動き補償予測」とも呼ばれる）は、既に符号化されたビデオ画像からの再構成された画素を使用して、現在のビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間冗長性を低減する。所与のＣＵについての時間予測信号は、通常、現在のＣＵとその時間参照との間の動きの量及び方向を示す１つ以上の動きベクトル（ＭＶ）によってシグナリングされる。また、複数の参照画像がサポートされる場合には、１つの参照画像インデックスが更に送られ、参照画像インデックスは、時間予測信号が参照画像記憶装置内のどの参照画像から来るかを特定するために使用される。空間及び／又は時間予測の後、エンコーダのモード決定ブロックは、例えば、レート歪み最適化法に基づいて、最良の予測モードを選択する。次いで、予測ブロックは、現在のビデオブロックから減算され、予測残差は、変換を用いて相関解除されて、量子化される。量子化残差係数は、逆量子化され、逆変換されて再構成された残差を形成し、次いで、再構成された残差は、予測ブロックに再加算されて、ＣＵの再構成された信号を形成する。更に、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）及び適応インループフィルタ（ＡＬＦ）などのインループフィルタリングを、再構成されたＣＵが参照画像記憶装置に入れられ、将来のビデオブロックを符号化復号化するために参照として使用される前に、再構成されたＣＵに適用することができる。出力ビデオビットストリームを形成するために、符号化モード（インター又はイントラ）、予測モード情報、動き情報、及び量子化残差係数は、全て、エントロピー符号化ユニットに送られ、更に圧縮され、パックされる。

【0041】

図３は、本開示のいくつかの実装形態に係る、ブロックベースのビデオデコーダを示すブロック図である。ブロックベースのビデオデコーダは、例えば、図１０に示すビデオデコーダ３０であってもよい。ビデオビットストリームは、エントロピー復号化ユニット（例えば、エントロピー復号化３０１）において最初にエントロピー復号化される。符号化モード及び予測情報は、空間予測ユニット（イントラ符号化されている場合）（例えば、イントラ予測３０８）又は時間予測ユニット（インター符号化されている場合）（例えば、動き補償３０７）に送られて、予測ブロックを形成する。残差変換係数は、逆量子化ユニット（例えば、逆量子化３０２）と逆変換ユニット（例えば、逆変換３０３）に送られて、残差ブロックを再構成する。次に、予測ブロックと残差ブロックとが加算される（例えば、イントラ／インターモード選択３０９を介して、及び／又はメモリ３０４に格納される）。再構成されたブロックは、参照画像記憶装置（例えば、画像バッファ３０６）に格納される前に、インループフィルタリング（例えば、インループフィルタ３０５）を更に行うことができる。次に、参照画像記憶装置の再構成されたビデオは、将来のビデオブロックを予測するために使用されるだけでなく、ディスプレイデバイスを駆動するために送られる。

【0042】

本開示の焦点は、ＶＶＣ標準とＡＶＳ３標準の両方で使用される幾何学的分割モード（ＧＰＭ）の符号化復号化性能を向上させることである。ＡＶＳ３では、このツールは、角度重み付け予測（ＡＷＰ）としても知られており、ＡＷＰは、ＧＰＭと同じ設計精神に従うが、特定の設計の詳細にいくつかの微妙な違いがある。本開示の説明を容易にするために、以下では、ＶＶＣ標準における既存のＧＰＭ設計は、ＧＰＭ／ＡＷＰツールの主な態様を説明するために例として使用される。一方、ＶＶＣ標準とＡＶＳ３標準の両方に適用される動きベクトル差分を有するマージモード（ＭＭＶＤ）と呼ばれる他の既存のインター予測技術も、本開示で提案された技術と密接に関連しているため、簡単に概説する。その後、現在のＧＰＭ／ＡＷＰ設計のいくつかの欠点が特定される。最後に、提案された方法について詳細に説明する。なお、ＶＶＣ標準の既存のＧＰＭ設計が本開示全体を通じて例として使用されるが、最新のビデオ符号化復号化技術の当業者にとって、提案された技術は、同じ又は同様の設計思想を有する他のＧＰＭ／ＡＷＰ設計又は他の符号化ツールにも適用することができる。

【0043】

幾何学的分割モード（ＧＰＭ）
ＶＶＣでは、インター予測のために、幾何学的分割モードがサポートされる。幾何学的分割モードは、１つの特別なマージモードとして、１つのＣＵレベルフラグによってシグナリングされる。現在のＧＰＭ設計では、８×６４と６４×８を除いて、幅と高さの両方が８以上６４以下の可能なサイズのＣＵ毎に、合計６４個のパーティションがＧＰＭモードによってサポートされる。

【0044】

このモードが使用される場合には、図４に示すように、ＣＵは、幾何学的に配置された直線によって２つの部分に分割される（説明は以下に提供される）。分割線の位置は、特定のパーティションの角度及びオフセットパラメータから数学的に導出される。ＣＵ内の幾何学的パーティションの各部分は、それぞれの動きを用いてインター予測され、パーティション毎に単方向予測のみが許容され、即ち、各部分は、１つの動きベクトルと１つの参照インデックスを有する。単方向予測動き制約は、従来の双方向予測と同様に、各ＣＵに必要な動き補償予測が２回だけであることを保証するために適用される。現在のＣＵに幾何学的分割モードが使用される場合には、幾何学的パーティションの分割モードを示す幾何学的分割インデックス（角度とオフセット）及び２つのマージインデックス（各パーティションに１つ）が更にシグナリングされる。最大ＧＰＭ候補サイズの数は、シーケンスレベルで明示的にシグナリングされる。

【0045】

図４は、許容されたＧＰＭパーティションを示しており、各ピクチャの分割は、１つの同じ分割方向を有する。

【0046】

単方向予測候補リストの構築
１つの幾何学的パーティションに対する単方向予測動きベクトルを導出するために、１つの単方向予測候補リストは、通常のマージ候補リスト生成プロセスから最初に直接導出される。ｎは、単方向予測候補リストにおける単方向予測動きのインデックスとして表される。ｎ番目のマージ候補のＬＸ動きベクトル（Ｘがｎのパリティに等しい）は、幾何学的分割モードのｎ番目の単方向予測動きベクトルとして使用される。

【0047】

これらの動きベクトルは、図５に「ｘ」でマークされている（後述する）。ｎ番目の拡張マージ候補の対応するＬＸ動きベクトルが存在しない場合には、代わりに、同じ候補のＬ（１－Ｘ）動きベクトルが幾何学的分割モードの単方向予測動きベクトルとして使用される。

【0048】

図５は、ＧＰＭのマージ候補リストの動きベクトルからの単方向予測動きベクトルの選択を示す。

【0049】

幾何学的パーティションエッジに沿ったブレンディング
各幾何学的パーティションがそれぞれの動きを使用して取得された後、ブレンディングが２つの単方向予測信号に適用されて、幾何学的パーティションエッジの周囲のサンプルを導出する。ＣＵの各位置のブレンディング重みは、それぞれの個別のサンプル位置から対応するパーティションエッジまでの距離に基づいて導出される。

【0050】

ＧＰＭシグナリング設計
現在のＧＰＭ設計によれば、ＧＰＭの使用は、１つのフラグをＣＵレベルでシグナリングすることによって示される。このフラグは、現在のＣＵがマージモード又はスキップモードで符号化されている場合にのみシグナリングされる。具体的には、フラグが１に等しい場合には、それは、現在のＣＵがＧＰＭによって予測されていることを示す。それ以外の場合（フラグが０に等しい場合）には、ＣＵは、通常のマージモード、動きベクトル差分を有するマージモード、組み合わせられたインター及びイントラ予測などの他のマージモードによって符号化されている。現在のＣＵに対してＧＰＭが有効である場合には、適用された幾何学的分割モード（図４に示すように、ＣＵを２つのパーティションに分割するＣＵ中心からの直線の方向とオフセットを指定する）を示す１つの構文要素、即ち、ｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘは、更にシグナリングされる。その後、第１及び第２ＧＰＭパーティションに使用される単方向予測マージ候補のインデックスを示す２つの構文要素ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０及びｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１は、シグナリングされる。より具体的には、これらの２つの構文要素は、「単方向予測マージリストの構築」というセクションで説明したように、単方向予測マージリストから２つのＧＰＭパーティションの単方向ＭＶを決定するために使用される。現在のＧＰＭ設計によれば、２つの単方向ＭＶをより異なるものにするために、２つのインデックスを同じにすることはできない。このような事前知識に基づいて、第１ＧＰＭパーティションの単方向予測マージインデックスが最初にシグナリングされて予測子として使用されて、第２ＧＰＭパーティションの単方向予測マージインデックスのシグナリングオーバーヘッドを削減する。詳細には、第２単方向予測マージインデックスが第１単方向予測マージインデックスよりも小さい場合には、その元の値がそのままシグナリングされる。それ以外の場合（第２単方向予測マージインデックスが第１単方向予測マージインデックスよりも大きい場合）には、その値は、ビットストリームにシグナリングされる前に１減算される。デコーダ側では、第１単方向予測マージインデックスは、最初に復号化される。次に、第２単方向予測マージインデックスの復号化では、解析された値が第１単方向予測マージインデックスよりも小さい場合には、第２単方向予測マージインデックスは、解析された値に等しく設定され、それ以外の場合（解析された値が第１単方向予測マージインデックス以上である場合）には、第２単方向予測マージインデックスは、解析された値に１を加えた値に等しく設定される。表１は、現在のＶＶＣ仕様でＧＰＭモードに使用される既存の構文要素を示す。
表１ ＶＶＣ仕様のマージデータ構文表における既存のＧＰＭ構文要素

【表1】

【0051】

一方、現在のＧＰＭ設計では、切り捨てられた単進コードは、２つの単方向予測マージインデックス、即ち、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０及びｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の２値化に使用される。また、２つの単方向予測マージインデックスを同じにすることができないため、異なる最大値を使用して、２つの単方向予測マージインデックスの符号語を切り捨て、２つの単方向予測マージインデックスは、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０及びｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１に対して、それぞれＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－１及びＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－２に等しく設定される。ＭａｘＧＰＭＭｅｒｇｅＣａｎｄは、単方向予測マージリストにおける候補の数である。

【0052】

ＧＰＭ／ＡＷＰモードが適用される場合には、２つの異なる２値化方法は、構文ｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘを２値ビットの列に変換するために適用される。具体的には、構文要素は、ＶＶＣ標準及びＡＶＳ３標準では、それぞれ固定長コード及び切り捨てられた２値コードによって２値化される。一方、ＡＶＳ３におけるＡＷＰモードに対して、異なる最大値は、構文要素の値の２値化に使用される。具体的には、ＡＶＳ３では、許容されたＧＰＭ／ＡＷＰ分割モードの数は、５６（即ち、ｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘの最大値が５５である）であるが、ＶＶＣでは、その数は、６４（即ち、ｍｅｒｇｅ＿ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘの最大値が６３である）に増加する。

【0053】

動きベクトル差分を有するマージモード（ＭＭＶＤ）
１つの現在のブロックの動き情報をその空間／時間隣接ブロックから導出する従来のマージモードに加えて、ＭＭＶＤ／ＵＭＶＥモードは、１つの特別なマージモードとして、ＶＶＣ標準とＡＶＳ標準の両方に導入される。具体的には、ＶＶＣ及びＡＶＳ３の両方では、モードは、符号化ブロックレベルで１つのＭＭＶＤフラグによってシグナリングされる。ＭＭＶＤモードでは、通常のマージモードのマージリスト内の最初の２つの候補は、ＭＭＶＤの２つのベースマージ候補として選択される。１つのベースマージ候補が選択されてシグナリングされた後、選択されたマージ候補の動きに加算される動きベクトル差分（ＭＶＤ）を示す追加の構文要素がシグナリングされる。ＭＭＶＤ構文要素は、ベースマージ候補を選択するためのマージ候補フラグと、ＭＶＤの大きさを指定する距離インデックスと、ＭＶＤ方向を示す方向インデックスと、を含む。

【0054】

既存のＭＭＶＤ設計では、距離インデックスは、始点からの所定の１セットのオフセットに基づいて定義されるＭＶＤの大きさを指定する。図６Ａ及び図６Ｂに示すように、オフセットは、開始ＭＶ（即ち、選択されたベースマージ候補のＭＶ）の水平成分又は垂直成分に加算される。

【0055】

図６Ａは、Ｌ０参照のＭＭＶＤモードを示す。図６Ｂは、Ｌ１参照のＭＭＶＤモードを示す。

【0056】

表２は、ＡＶＳ３で適用されるＭＶＤオフセットの大きさをそれぞれ示す。
表２ ＡＶＳ３で使用されたＭＶＤオフセットの大きさ

【表2】

【0057】

表３に示すように、方向インデックスは、シグナリングされたＭＶＤのコードを特定するために用いられる。なお、ＭＶＤコードの意味は、開始ＭＶに応じて変化し得る。開始ＭＶが単方向予測ＭＶ、又はＰＯＣが両方とも現在の画像のＰＯＣよりも大きいか、両方とも現在の画像のＰＯＣよりも小さい２つの参照画像を指すＭＶを有する双方向予測ＭＶである場合には、シグナリングされたコードは、開始ＭＶに追加されるＭＶＤのコードである。開始ＭＶが、一方の画像のＰＯＣが現在の画像のＰＯＣよりも大きく、他方の画像のＰＯＣが現在の画像のＰＯＣよりも小さい２つの参照画像を指す双方向予測ＭＶである場合には、シグナリングされたコードは、Ｌ０ ＭＶＤに適用され、シグナリングされたコードの反対の値がＬ１ ＭＶＤに適用される。
表３ 方向インデックスによって指定されたＭＶＤコード

【表3】

【0058】

通常のインターモードの動きシグナリング
ＨＥＶＣ標準と同様に、マージ／スキップモードに加えて、ＶＶＣ及びＡＶＳ３の両方で、１つのインターＣＵがビットストリームでその動き情報を明示的に指定することができる。全体として、ＶＶＣとＡＶＳ３の両方の動き情報シグナリングは、ＨＥＶＣ標準のものと同じに保持される。具体的には、予測信号がリストＬ０からのものであるか、Ｌ１からのものであるか、又はその両方からのものであるかを示す１つのインター予測構文、即ち、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃは、最初にシグナリングされる。使用された参照リスト毎に、対応する参照画像は、対応する参照リストの１つの参照画像インデックスｒｅｆ＿ｉｄｘ＿ｌｘ（ｘ＝０、１）をシグナリングすることによって特定され、対応するＭＶは、ＭＶ予測子（ＭＶＰ）を選択するために使用される１つのＭＶＰインデックスｍｖｐ＿ｌｘ＿ｆｌａｇ（ｘ＝０、１）で表され、その後にそのターゲットＭＶと選択されたＭＶＰとの間の動きベクトル差分（ＭＶＤ）で表される。また、ＶＶＣ標準では、１つの制御フラグｍｖｄ＿ｌ１＿ｚｅｒｏ＿ｆｌａｇは、スライスレベルでシグナリングされる。ｍｖｄ＿ｌ１＿ｚｅｒｏ＿ｆｌａｇが０に等しい場合には、Ｌ１ＭＶＤは、ビットストリームでシグナリングされ、それ以外の場合（ｍｖｄ＿ｌ１＿ｚｅｒｏ＿ｆｌａｇが１に等しい場合）には、Ｌ１ＭＶＤは、シグナリングされておらず、その値がエンコーダ及びデコーダで常に０と推定される。

【0059】

ＣＵレベルの重みによる双方向予測
ＶＶＣとＡＶＳ３よりも前の標準では、重み付け予測（ＷＰ）が適用されない場合には、双方向予測信号は、２つの参照画像から取得された単方向予測信号を平均化することにより生成される。ＶＶＣでは、１回のツール符号化、即ち、ＣＵレベルの重みによる双方向予測（ＢＣＷ）が導入されて、双方向予測の効率を向上させた。具体的には、ＢＣＷにおける双方向予測は、単純な平均化の代わりに、以下のように、２つの予測信号の重み付け平均化を可能にすることにより拡張される。

【数1】

【0060】

【0061】

テンプレートマッチング
テンプレートマッチング（ＴＭ）は、現在のＣＵの上と左の隣接する再構成されたサンプルからなる１つのテンプレートと、参照画像内の参照ブロック（即ち、テンプレートと同じサイズ）との間の最良の一致を見つけることによって、現在のＣＵの動き情報をリファインするデコーダ側のＭＶ導出方法である。図７に示すように、１つのＭＶは、［－８，＋８］の画素検索範囲内で現在のＣＵの初期動きベクトルを中心として検索される。最良の一致は、例えば、現在のテンプレートと参照テンプレートとの差分絶対値の和（ＳＡＤ）、変換された差分絶対値の和（ＳＡＴＤ）などの最小マッチングコストを達成するＭＶとして定義されてもよい。以下の２つの異なる方法でインター符号化復号化にＴＭモードを適用する。

【0062】

ＡＭＶＰモードでは、ＭＶＰ候補は、現在のブロックテンプレートと参照ブロックテンプレートとの差分が最小となるものをピックアップするために、テンプレートマッチングの差分に基づいて決定され、その後、ＴＭは、ＭＶリファインメントのためにこの特定のＭＶＰ候補に対してのみ実行される。ＴＭは、反復的ダイヤモンド検索を使用することによって、［－８、＋８］画素の検索範囲内のフル画素ＭＶＤ精度（又は、４画素ＡＭＶＲモードの場合には、４画素）から開始して、このＭＶＰ候補をリファインする。ＡＭＶＰ候補は、以下の表１４に示すように、フル画素ＭＶＤ精度（４画素ＡＭＶＲモードの場合には、４画素）のクロス検索、続いてＡＭＶＲモードに応じたハーフ画素のクロス検索と１／４画素のクロス検索を順に行うことで、更にリファインすることができる。この検索プロセスによって、ＭＶＰ候補がＴＭプロセスの後にもＡＭＶＲモードで示されるものと同じＭＶ精度をすることが保証される。
表１４

【表4】

【0063】

マージモードでは、マージインデックスにより示されたマージ候補に対して同様の検索方法が適用される。上記表に示すように、ＴＭは、マージされた動き情報に応じて代替補間フィルタ（ＡＭＶＲがハーフ画素モードの場合に使用される）を使用するか否かに応じて、１／８画素ＭＶＤ精度まで全て行ってもよいし、ハーフ画素ＭＶＤ精度を超える精度をスキップしてもよい。

【0064】

上述したように、２つのＧＰＭパーティションの予測サンプルを生成するために使用される単方向動きは、通常のマージ候補から直接取得される。空間／時間隣接ブロックのＭＶ間に強い相関関係がない場合には、マージ候補から導出された単方向ＭＶは、ＧＰＭパーティションの真の動きを捕捉するには十分な精度がない可能性がある。動き推定は、より正確な動きを提供することが可能であるが、これは、任意の動きのリファインメントが既存の単方向ＭＶの上で適用できるため、無視できないシグナリングのオーバヘッドを犠牲にする。一方、ＭＶＭＤモードは、ＶＶＣ標準とＡＶＳ３標準の両方で利用されており、ＭＶＤシグナリングオーバーヘッドを削減する効率的なシグナリングメカニズムの１つであることが証明されている。したがって、ＧＰＭモードとＭＭＶＤモードを組み合わせることも有利であり得る。このような組み合わせは、より正確なＭＶを提供して各ＧＰＭパーティションの個々の動きを捕捉することで、ＧＰＭツール全体の符号化復号化効率を向上させる可能性がある。

【0065】

前述したように、ＶＶＣ標準及びＡＶＳ３標準の両方では、ＧＰＭモードは、マージ／スキップモードにのみ適用される。このような設計は、全ての非マージインターＣＵがＧＰＭの柔軟な非矩形パーティションから利点を得ることができないことを考慮すると、符号化復号化効率の観点から最適ではない可能性がある。一方、上述と同様の理由により、通常のマージ／スキップモードから導出された単方向予測動き候補は、２つの幾何学的パーティションの真の動きを正確に捕捉できるとは限られない。このような分析に基づいて、ＧＰＭモードを非マージインターモード（即ち、ビットストリームでそれらの動き情報を明示的にシグナリングするＣＵ）に合理的に拡張することで、追加の符号化復号化利得が期待できる。しかしながら、ＭＶ精度の向上は、シグナリングオーバヘッドの増加を犠牲にする。したがって、ＧＰＭモードを明示的なインターモードに効率的に適用するためには、２つの幾何学的パーティションに対してより正確なＭＶを提供しながら、シグナリングコストを最小化できる１つの有効なシグナリングスキームを特定することが重要となる。

【0066】

提案された方法
本開示では、各ＧＰＭパーティションに適用される既存の単方向ＭＶの上で、更なる動きリファインメントを適用することによって、ＧＰＭの符号化復号化効率を更に向上させる方法が提案されている。提案された方法は、動きベクトルリファインメントを有する幾何学的分割モード（ＧＰＭ－ＭＶＲ）と呼ばれる。また、提案されたスキームでは、動きリファインメントは、既存のＭＭＶＤ設計と同様の方式で、即ち、１セットの所定のＭＶＤの大きさと動きリファインメントの方向に基づいてシグナリングされる。

【0067】

本開示の別の方面では、ＧＰＭモードを明示的なインターモードに拡張するための解決手段が提供される。説明を簡単にするために、これらのスキームは、明示的な動きシグナリングを有する幾何学的分割モード（ＧＰＭ－ＥＭＳ）と呼ばれる。具体的には、通常のインターモードとのより良い調和を達成するために、提案されたＧＰＭ－ＥＭＳスキームでは、既存の動きシグナリングメカニズム、即ち、ＭＶＰ＋ＭＶＤを利用して、２つの幾何学的パーティションの対応する単方向ＭＶを指定する。

【0068】

個別の動きベクトルリファインメントを有する幾何学的分割モード
ＧＰＭの符号化復号化効率を向上させるために、このセクションでは、個別の動きベクトルリファインメントを有する改良された幾何学的分割モードが提案されている。具体的には、ＧＰＭパーティションが与えられた場合には、提案された方法としては、既存の構文ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０及びｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１を最初に使用して、既存の単方向予測マージ候補リストから２つのＧＰＭパーティションの単方向ＭＶを特定し、それらをベースＭＶとして使用する。２つのベースＭＶを決定した後に、２セットの新しい構文要素を導入して、２つのＧＰＭパーティションのベースＭＶの上で適用される動きリファインメントの値を個別に特定する。具体的には、ＧＰＭ－ＭＶＲが第１及び第２ＧＰＭパーティションに適用されるか否かをそれぞれ示す２つのフラグ、即ち、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇは、最初にシグナリングされる。１つのＧＰＭパーティションのフラグが１に等しい場合には、当該パーティションのベースＭＶに適用されるＭＶＲの対応する値、即ち、ＭＶＲの大きさを指定するための１つの距離インデックス（構文要素ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘによって示される）と、ＭＶＲの方向を指定するための１つの方向インデックス（構文要素ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘによって示される）とは、ＭＭＶＤスタイルで、シグナリングされる。表４は、提案されたＧＰＭ－ＭＶＲ方法で導入される構文要素を示す。
表４ 提案された、２つのＧＰＭパーティションの個別のＭＶＲを有するＧＰＭ－ＭＶＲ方法（方法１）の構文要素

【表5】

【0069】

表４に示す提案された構文要素に基づいて、デコーダで、各ＧＰＭパーティションの単方向予測サンプルを生成するために使用される最終ＭＶは、シグナリングされた動きベクトルリファインメントと対応するベースＭＶとの和に等しい。実際には、ＭＶＲの大きさと方向の異なるセットが予め定義されて、提案されたＧＰＭ－ＭＶＲスキームに適用されてもよく、これにより、動きベクトル精度とシグナリングオーバーヘッドとの間に様々なトレードオフを与えることができる。１つの具体例では、ＶＶＣ標準で使用される８つのＭＶＤの大きさ（即ち、１／４画素、１／２画素、１画素、２画素、４画素、８画素、１６画素及び３２画素）及び４つのＭＶＤ方向（即ち、＋／－ｘ軸及び＋／－ｙ軸）を提案されたＧＰＭ－ＭＶＲスキームで再利用することが提案されている。他の実施例では、ＡＶＳ３標準で使用されている既存の５つのＭＶＤの大きさ｛１／４画素、１／２画素、１画素、２画素及び４画素｝及び４つのＭＶＤ方向（即ち、＋／－ｘ軸及び＋／－ｙ軸）は、提案されたＧＰＭ－ＭＶＲスキームに適用される。

【0070】

「ＧＰＭシグナリング設計」というセクションで議論したように、２つのＧＰＭパーティションに使用される単方向ＭＶを同じにすることができないため、既存のＧＰＭ設計では、２つの単方向予測マージインデックスが異なるように強制する１つの制約が適用される。しかしながら、提案されたＧＰＭ－ＭＶＲスキームでは、既存のＧＰＭ単方向ＭＶの上で、更なる動きリファインメントが適用される。したがって、２つのＧＰＭパーティションのベースＭＶが同じであっても、２つの動きベクトルリファインメントの値が同じでなければ、２つのパーティションを予測するために使用される最終単方向ＭＶは、異なり得る。以上の考慮に基づいて、提案されたＧＰＭ－ＭＶＲスキームが適用される場合には、（２つの単方向予測マージインデックスが異なるように制限する）制約は除去される。また、２つの単方向予測マージインデックスを同じにすることができるため、同じ最大値ＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－１は、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の両方の２値化に使用され、ＭａｘＧＰＭＭｅｒｇｅＣａｎｄは、単方向予測マージリストの候補の数である。

【0071】

上で分析したように、２つのＧＰＭパーティションの単方向予測マージインデックス（即ち、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０及びｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１）が同じである場合には、２つの動きベクトルリファインメントの値は、２つのパーティションの最終ＭＶが異なることを保証するために、同じにすることができない。このような条件に基づいて、本開示の一実施形態では、２つのＧＰＭパーティションの単方向予測マージインデックスが同じである（即ち、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０がｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１に等しい）場合には、第１ＧＰＭパーティションのＭＶＲを使用して、第２ＧＰＭパーティションのＭＶＲのシグナリングオーバーヘッドを削減するシグナリング冗長性除去方法が提案されている。１つの実施例では、以下のシグナリング条件が適用される。

【0072】

第１に、フラグｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇが０に等しい（即ち、ＧＰＭ－ＭＶＲが第１ＧＰＭパーティションに適用されない）場合には、フラグｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇは、シグナリングされていないが、１と推定される（即ち、ＧＰＭ－ＭＶＲが第２ＧＰＭパーティションに適用される）。

【0073】

第２に、フラグｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇの両方が１に等しく（即ち、ＧＰＭ＿ＭＶＲが２つのＧＰＭパーティションに適用される）、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘがｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘに等しい（即ち、２つのＧＰＭパーティションのＭＶＲは、同じ方向を有する）場合には、第１ＧＰＭパーティションのＭＶＲの大きさ（即ち、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）は、第２ＧＰＭパーティションのＭＶＲの大きさ（即ち、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）を予測するために使用される。具体的には、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘがｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘよりも小さい場合には、その元の値は、直接シグナリングされる。それ以外の場合（ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘがｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘよりも大きい場合）には、その値は、ビットストリームにシグナリングされる前に１減算される。デコーダ側では、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘの値を復号化するために、解析された値がｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘよりも小さい場合には、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘは、解析された値に等しく設定され、それ以外の場合（解析された値がｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ以上である場合）には、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘは、解析された値に１を加えた値に等しく設定される。このような場合には、オーバーヘッドを更に削減するために、異なる最大値ＭａｘＧＰＭＭＶＲＤｉｓｔａｎｃｅ－１及びＭａｘＧＰＭＭＶＲＤｉｓｔａｎｃｅ－２は、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘの２値化に使用することができ、ＭａｘＧＰＭＭＶＲＤｉｓｔａｎｃｅは、動きベクトルリファインメントの許容される大きさの数である。

【0074】

他の実施形態では、ＭＶＲの方向がＭＶＲの大きさよりも前にシグナリングされるように、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ／ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘと、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ／ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘとのシグナリング順序を切り替えることが提案されている。このようにして、上記と同様のロジックに従って、エンコーダ／デコーダは、第１ＧＰＭパーティションのＭＶＲ方向によって、第２ＧＰＭパーティションのＭＶＲ方向のシグナリングを調整することができる。他の実施形態では、第２ＧＰＭパーティションのＭＶＲの大きさと方向を最初にシグナリングし、それらを第１ＧＰＭパーティションのＭＶＲの大きさと方向のシグナリングを条件にすることが提案されている。

【0075】

他の実施形態では、既存のＧＰＭ構文要素のシグナリングの前にＧＰＭ－ＭＶＲに関する構文要素をシグナリングすることが提案されている。具体的には、このような設計では、ＧＰＭ－ＭＶＲが第１及び第２ＧＰＭパーティションに適用されるか否かをそれぞれ示す２つのフラグ、即ち、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇは、最初にシグナリングされる。１つのＧＰＭパーティションのフラグが１に等しい場合には、距離インデックス（構文要素ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘによって示される）と、方向インデックス（構文要素ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）とは、シグナリングされてＭＶＲの方向を指定する。その後、既存の構文ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１は、２つのＧＰＭパーティションの単方向ＭＶ、即ち、ベースＭＶを特定するためにシグナリングされる。表５は、提案されたＧＰＭ－ＭＶＲシグナリングスキームを示す。
表５ 提案された、２つのＧＰＭパーティションの個別のＭＶＲを有するＧＰＭ－ＭＶＲ方法（方法２）の構文要素

【表6】

【0076】

表４のシグナリング方法と同様に、表５のＧＰＭ－ＭＶＲシグナリング方法が適用される場合に、２つのＧＰＭパーティションの予測に使用される得られたＭＶが同じでないことを保証するために、特定の条件が適用されてもよい。具体的には、第１と第２ＧＰＭパーティションに適用されるＭＶＲの値に応じて、単方向予測マージインデックスｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０及びｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１のシグナリングを制約するために、以下の条件が提案されている。

【0077】

第１に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇの両方の値が０に等しい（即ち、ＧＰＭ－ＭＶＲが２つのＧＰＭパーティションで無効である）場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができない。

【0078】

第２に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇが１に等しく（即ち、ＧＰＭ－ＭＶＲが第１ＧＰＭパーティションで有効である）、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇが０に等しい（即ち、ＧＰＭ－ＭＶＲが第２ＧＰＭパーティションで無効である）場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。

【0079】

第３に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇが０に等しく（即ち、ＧＰＭ－ＭＶＲが第１ＧＰＭパーティションで無効である）、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇが１に等しい（即ち、ＧＰＭ－ＭＶＲが第２ＧＰＭパーティションで有効である）場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。

【0080】

第４に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇの両方の値が１に等しい（即ち、ＧＰＭ＿ＭＶＲが２つのＧＰＭパーティションの両方に対して有効である）場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができるか否かについての判定は、２つのＧＰＭパーティションに適用されるＭＶＲ（ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ、及び、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘによって示される）の値に依存する。２つのＭＶＲの値が等しい場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１を同じにすることができない。それ以外の場合（２つのＭＶＲの値が等しくない場合）には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。

【0081】

上記４つの場合では、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができないとき、一方のパーティションのインデックス値は、他方のパーティションのインデックス値の予測子として使用することができる。１つの方法では、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０を最初にシグナリングし、その値を用いてｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１を予測することが提案されている。具体的には、エンコーダでは、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１がｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０よりも大きい場合には、デコーダに送られるｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値は１減少する。デコーダでは、受信されたｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値が受信されたｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０の値以上である場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値は１増加する。他の方法では、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１を最初にシグナリングし、その値を用いてｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０を予測することが提案されている。したがって、このような場合には、エンコーダでは、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０がｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１よりも大きい場合には、デコーダに送られるｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０の値は１減少する。デコーダでは、受信されたｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０の値が受信されたｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値以上である場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０の値は１増加する。また、既存のＧＰＭシグナリング設計と同様に、異なる最大値ＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－１及びＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－２は、それぞれ、シグナリング順序に応じて第１及び第２インデックス値の２値化に使用することができる。一方、２つのインデックス値に相関関係がないため、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができるとき、同じ最大値ＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－１は、２つのインデックス値の両方の２値化に使用することができる。

【0082】

上記方法では、シグナリングコストを削減するために、異なる最大値は、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の２値化に適用されてもよい。対応する最大値の選択は、ＭＶＲの復号化された値（ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ、及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘによって示される）に依存する。このような設計は、異なるＧＰＭ構文要素間に望ましくない解析依存性を引き起こし、これは、全体の解析に影響を与える可能性がある。このような問題を解決するために、１つの実施形態では、１つの同じ最大値（例えば、ＭａｘＧＰＭＭｅｒｇｅＣａｎｄ－１）は、常にｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を解析することに使用されることが提案されている。このような方法を用いる場合には、２つのＧＰＭパーティションの復号化された２つのＭＶが同じであることを防止するために、１つのビットストリーム適合性制約を使用してもよい。他の方法では、２つのＧＰＭパーティションの復号化されたＭＶを同じにすることができるように、そのような非同一性制約を除去することもできる。一方、このような方法が適用される（即ち、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１に対して同じ最大値を用いる）場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０／ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１と他のＧＰＭ－ＭＶＲの構文要素との間に解析依存性はない。したがって、これらの構文要素をシグナリングする順序は、もう重要ではない。１つの実施例では、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０／ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１のシグナリングを、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ、及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘのシグナリングの前に移動させることが提案されている。

【0083】

対称動きベクトルリファインメントを有する幾何学的分割モード
上記ＧＰＭ－ＭＶＲ方法では、２つの別個のＭＶＲ値がシグナリングされ、そのうちの１つのＭＶＲ値が１つのＧＰＭパーティションのみのベースＭＶを向上させるために適用されている。このような方法は、各ＧＰＭパーティションに独立した動きリファインメントを可能とすることで、予測精度の向上に有効である。しかしながら、このような柔軟な動きリファインメントは、エンコーダからデコーダに異なる２セットのＧＭＰ－ＭＶＲの構文要素を送る必要があることを考慮すると、シグナリングオーバヘッドの増加を犠牲にする。シグナリングのオーバーヘッドを削減するために、このセクションでは、対称動きベクトルリファインメントを有する幾何学的分割モードが提案されている。具体的には、この方法では、１つのＭＶＲ値は、１つのＧＰＭ ＣＵにシグナリングされ、かつ現在の画像と２つのＧＰＭパーティションに関連付けられた参照画像との画像順序カウント（ＰＯＣ）値の対称性の関係に応じて、２つのＧＰＭパーティションの両方に使用される。表６は、提案された方法が適用される場合の構文要素を示す。
表６ 提案された、２つのＧＰＭパーティションの対称ＭＶＲを有するＧＰＭ－ＭＶＲ方法（方法１）の構文要素

【表7】

【0084】

表６に示すように、２つのＧＰＭパーティションのベースＭＶが（ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１に基づいて）選択された後、ＧＰＭ－ＭＶＲモードが現在のＧＰＭ ＣＵに適用されるか否かを示す１つのフラグｇｐｍ＿ｍｖｒ＿ｅｎａｂｌｅ＿ｆｌａｇは、シグナリングされる。フラグが１に等しい場合には、２つのＧＰＭパーティションのベースＭＶを強化するために動きリファインメントが適用されることを示す。それ以外の場合（フラグが０に等しい場合）には、２つのパーティションのいずれにも動きリファインメントが適用されないことを示す。ＧＰＭ－ＭＶＲモードが有効である場合には、追加の構文要素は、方向インデックスｇｐｍ＿ｍｖｒ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ及び大きさインデックスｇｐｍ＿ｍｖｒ＿ｄｉｓｔａｎｃｅ＿ｉｄｘによって適用されたＭＶＲの値を指定するために、更にシグナリングされる。また、ＭＭＶＤモードと同様に、ＭＶＲコードの意味は、現在の画像のＰＯＣとＧＰＭパーティションの２つの参照画像との関係に応じて変化し得る。具体的には、２つの参照画像の両方のＰＯＣが現在の画像のＰＯＣよりも大きいか又は小さい場合には、シグナリングされたコードは、２つのベースＭＶの両方に追加されるＭＶＲのコードである。それ以外の場合（一方の参照画像のＰＯＣが現在の画像よりも大きく、かつ他方の参照画像のＰＯＣが現在の画像よりも小さい場合）には、シグナリングされたコードは、第１ＧＰＭパーティションのＭＶＲに適用され、逆コードは、第２ＧＰＭパーティションに適用される。表６では、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。

【0085】

他の実施形態では、２つのＧＰＭパーティションのＧＰＭ－ＭＶＲモードの有効／無効を個別に制御するために、２つの異なるフラグをシグナリングすることが提案されている。しかしながら、ＧＰＭ－ＭＶＲモードが有効である場合には、１つのＭＶＲのみは、構文要素ｇｐｍ＿ｍｖｒ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｄｉｓｔａｎｃｅ＿ｉｄｘに基づいてシグナリングされる。このようなシグナリング方法の対応する構文表は、表７に示される。
表７ 提案された、２つのＧＰＭパーティションの対称ＭＶＲを有するＧＰＭ－ＭＶＲ方法（方法２）の構文要素

【表8】

【0086】

表７のシグナリング方法が適用される場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。しかしながら、２つのＧＰＭパーティションに適用される得られたＭＶが冗長でないことを保証するために、フラグｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇが０に等しい（即ち、ＧＰＭ－ＭＶＲが第１ＧＰＭパーティションに適用されない）場合には、フラグｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇは、シグナリングされていないが、１と推定される（即ち、ＧＰＭ－ＭＶＲが第２ＧＰＭパーティションに適用される）。

【0087】

ＧＰＭ－ＭＶＲの許容されたＭＶＲの適応
上記ＧＰＭ－ＭＶＲ方法では、１つのグループの固定されたＭＶＲ値は、１つのビデオシーケンスにおいて、エンコーダとデコーダの両方でＧＰＭ ＣＵに使用される。このような設計は、高解像度のビデオコンテンツ又は激しい動きを有するビデオコンテンツに対しては最適以下である。それらの場合には、ＭＶが非常に大きくなる傾向にあるため、固定されたＭＶＲの値は、それらののブロックの実際の動きを捕捉するのに最適ではない可能性がある。ＧＰＭ－ＭＶＲモードの符号化復号化性能を更に向上させるために、本開示では、シーケンスレベル、画像／スライス画像、符号化ブロックグループレベルなどの様々な符号化レベルで、ＧＰＭ－ＭＶＲモードによって選択可能なＭＶＲ値の適応をサポートすることが提案されている。例えば、複数のＭＶＲセットと対応する符号語とは、異なるビデオシーケンスの特定の動き特性に応じて、オフラインで導出されてもよい。エンコーダは、最良のＭＶＲセットを選択し、選択されたＭＶＲセットの対応するインデックスをデコーダにシグナリングすることができる。

【0088】

本開示のいくつかの実施形態では、ＧＰＭ－ＭＶＲモードに対して、８つのオフセットの大きさ（即ち、１／４画素、１／２画素、１画素、２画素、４画素、８画素、１６画素、及び３２画素）と４つのオフセット方向（＋／－ｘ軸及び＋／－ｙ軸）を含むデフォルトＭＶＲオフセットに加えて、以下の表で定義されている他のＭＶＲオフセットが提案されている。表１５は、提案された、第２ＭＶＲオフセットのセットにおけるオフセットの大きさを示す。表１６は、提案された、第２ＭＶＲオフセットのセットにおけるオフセット方向を示す。
表１５

【表9】

表１６

【表10】

【0089】

上記表１５及び表１６では、ｘ軸及びｙ軸の値＋１／２及び－１／２は、水平方向及び垂直方向の対角方向（＋４５°及び－４５°）を示す。表１５及び表１６に示すように、既存のＭＶＲオフセットのセットと比較して、第２ＭＶＲオフセットのセットには、２つの新しいオフセットの大きさ（即ち、３画素及び６画素）と、４つのオフセットの方向（４５°、１３５°、２２５°、及び３１５°）とが導入される。新しく追加されたＭＶＲオフセットにより、第２ＭＶＲオフセットのセットは、複雑な動きを有するビデオブロックを符号化するのにより適する。また、２つのＭＶＲオフセットのセット間の適応切り替えを可能にするために、１つの制御フラグを１つの特定の符号化レベル（例えば、シーケンス、画像、スライス、ＣＴＵ、符号化ブロックなど）でシグナリングして、当該符号化レベルで適用されるＧＰＭ－ＭＶＲモードにどのＭＶＲオフセットのセットが選択されるかを示すことが提案されている。提案された適応が画像レベルで実行されると仮定すると、以下の表１７は、画像ヘッダでシグナリングされた対応する構文要素を示す。
表１７

【表11】

【0090】

上記表１７では、新しいフラグｐｈ＿ｇｐｍ＿ｍｖｒ＿ｏｆｆｓｅｔ＿ｓｅｔ＿ｆｌａｇは、画像に使用される対応するＧＰＭ＿ＭＶＲオフセットの選択を示すために使用される。フラグが０に等しい場合には、デフォルトＭＶＲオフセット（即ち、１／４画素、１／２画素、１画素、２画素、４画素、８画素、１６画素、及び３２画素のオフセットの大きさ、及び、４つのオフセット方向＋／－ｘ軸及び＋／－ｙ軸）が画像内のＧＰＭ－ＭＶＲモードに適用されることを意味する。それ以外の場合（フラグが１に等しい場合）には、第２ＭＶＲオフセット（即ち、１／４画素、１／２画素、１画素、２画素、３画素、４画素、６画素、８画素、及び１６画素のオフセットの大きさ、及び、８つのオフセット方向＋／－ｘ軸、＋／－ｙ軸、４５°、１３５°、２２５°、及び３１５°）が画像内のＧＰＭ－ＭＶＲモードに適用されることを意味する。

【0091】

異なる方法でＭＶＲオフセットをシグナリングしてもよい。まず、ＭＶＲ方向が、通常、統計的に均等に分布することを考慮すると、固定長の符号語を使用してＭＶＲ方向を２値化することが提案されている。デフォルトＭＶＲオフセットを例にとると、合計４つの方向があり、００、０１、１０、及び１１の符号語は、４つの方向を表すために使用することができる。一方、ＭＶＲオフセットの大きさがビデオコンテンツの特定の動き特性に適応した様々な分布を有する可能性があるため、可変長の符号語を使用してＭＶＲオフセットの大きさを２値化することが提案されている。以下の表１８は、デフォルトＭＶＲオフセットのセット及び第２ＭＶＲオフセットのセットのＭＶＲオフセットの大きさの２値化に使用できる１つの特定の符号語表を示す。
表１８

【表12】

【0092】

他の実施形態では、デフォルトＭＶＲオフセットのセット及び第２ＭＶＲオフセットのセットのＭＶＲオフセットの大きさを２値化するために異なる固定長の可変符号語が適用されてもよく、例えば、上記符号語表におけるビン「０」とビン「１」とは、コンテキスト適応２値算術符号化復号化（ＣＡＢＡＣ）エンジンの様々な０／１統計量に適応するために交換されてもよい。

【0093】

１つの具体例では、２つの異なる符号語表が設けられて、ＭＶＲオフセットの大きさの値を２値化する。以下の表は、第１及び第２符号語表で適用されるデフォルト及び第２ＭＶＲオフセットのセットの対応する符号語を示す。表１９は、第１符号語表におけるＭＶＲオフセットの大きさの符号語を示す。表２０は、第２符号語表におけるＭＶＲオフセットの大きさの符号語を示す。
表１９

【表13】

表２０

【表14】

【0094】

２つの符号語表間の適応切り替えを可能にするために、１つの指示フラグを１つの符号化レベル（例えば、シーケンス、画像、スライス、ＣＴＵ、符号化ブロックなど）でシグナリングして、当該符号化レベルでＭＶＲオフセットの大きさを２値化するためにどの符号語表が使用されるかを指定することが提案されている。提案された適応が画像レベルで実行されると仮定すると、以下の表２１は、画像ヘッダでシグナリングされた対応する構文要素を示しており、新しく追加された構文要素は、斜体の太字で示されている。
表２１

【表15】

【0095】

上記構文表では、新しいフラグｐｈ＿ｇｐｍ＿ｍｖｒ＿ｓｔｅｐ＿ｃｏｄｅｗｏｒｄ＿ｆｌａｇは、画像のＭＶＲオフセットの大きさの２値化に使用される対応する符号語表の選択を示すために使用される。フラグが０に等しい場合には、それは、第１符号語表が画像に適用されることを示し、それ以外の場合（即ち、フラグが１に等しい場合）には、それは、第２符号語表が画像に適用されることを示す。

【0096】

他の実施形態では、ビデオシーケンス全体の符号化／復号化中にＭＶＲオフセットの大きさを２値化するために１つの符号語表を常に使用することが提案されている。１つの実施例では、ＭＶＲオフセットの大きさの２値化のために第１符号語表を常に使用することが提案されている。他の実施例では、ＭＶＲオフセットの大きさの２値化のために第２符号語表を常に使用することが提案されている。

【0097】

他の方法では、１つの統計ベースの２値化方法を適用して、シグナリングなしにオンザフライでＭＶＲオフセットの大きさに対する最適な符号語を適応的に設計してもよい。最適な符号語を決定するために使用される統計量は、以前に符号化された多数の画像、スライス、及び／又は符号化ブロックについて収集されたＭＶＲオフセットの大きさの確率分布であってもよいが、これに限定されない。符号語は、様々な周波数レベルで再決定／更新されてもよい。例えば、更新は、ＣＵがＧＰＭ－ＭＶＲモードで符号化復号化されるたびに実行されてもよい。他の実施例では、ＧＰＭ－ＭＶＲモードで符号化復号化された複数（例えば８個又は１６個）のＣＵが存在するたびに、更新が再決定され、及び／又は、更新されてもよい。

【0098】

他の方法では、１つの新しい符号語のセットを再設計する代わりに、提案された統計ベースの方法は、より多く使用される大きさに短い符号語を割り当て、あまり使用されていない大きさに長い符号語を割り当てるために、同じ符号語のセットに基づいて、ＭＶＲオフセットの大きさの値を再順序付けするのにも使用することができる。以下の表を例にとると、統計量が画像レベルで収集されると仮定すると、「使用率」という列は、以前に符号化された画像におけるＧＰＭ－ＭＶＲの符号化ブロックによって使用される、異なるＭＶＲオフセットの大きさの対応する割合を示す。「使用率」という列の値に応じて、同じ２値化方法（即ち、切り捨てられた単進符号語）で、エンコーダ／デコーダは、ＭＶＲオフセットの大きさの値をそれらの使用率に基づいて順位付け、その後、エンコーダ／デコーダは、最も頻繁に使用されるＭＶＲオフセットの大きさ（即ち、１画素）に最も短い符号語（即ち、「１」）を割り当て、２番目に頻繁に使用されるＭＶＲオフセットの大きさ（即ち、１／２画素）に２番目に短い符号語（即ち、「０１」）を割り当て、…、最もまれに使用される２つのＭＶＲオフセットの大きさ（即ち、１６画素と３２画素）に最も長い符号語（即ち、「００００００１」と「０００００００」）を割り当てることができる。したがって、このような再順序付けのスキームにより、ＭＶＲオフセットの大きさの統計量分布の動的な変化に適応するように、同じ符号語のセットを自由に再順序付けすることができる。

【表16】

【0099】

ＧＰＭ－ＭＶＲレート歪み最適化のためのエンコーダスピードアップロジック
提案されたＧＰＭ－ＭＶＲスキームについて、各ＧＰＭパーティションの最適なＭＶＲを決定するためには、エンコーダは、各ＧＰＭパーティションのレート歪みコストを複数回テストする必要があり、毎回のテストにおいて、適用されているＭＶＲの値を変える。これにより、ＧＰＭモードの符号化復号化複雑度を大幅に増加させる可能性がある。符号化復号化複雑度の問題を解決するために、このセクションでは、以下の高速符号化復号化ロジックが提案されている。

【0100】

第１に、ＶＶＣとＡＶＳ３で適用される４分木／２分木／３分木のブロック分割構造により、１つの同じ符号化ブロックがレート歪み最適化（ＲＤＯ）プロセス中にチェックでき、毎回、当該同じ符号化ブロックがそれぞれ異なる分割パスによって分割される。現在のＶＴＭ／ＨＰＭエンコーダの実装形態では、異なるブロックパーティションの組み合わせで同じＣＵが得られるたびに、ＧＰＭ、ＧＰＭ－ＭＶＲモードと、他のインター及びイントラ符号化復号化モードとが常にテストされる。一般的に言えば、異なる分割パスについて、１つのＣＵの隣接ブロックのみが異なる可能性があるが、これは、１つのＣＵが選択する最適符号化復号化モードに比較的小さい影響を与えるべきである。このような考慮に基づいて、適用されているＧＰＭ ＲＤＯの総数を削減するために、１つのＣＵのＲＤコストが初めてチェックされるときにＧＰＭモードが選択されたか否かの決定を格納することが提案されている。その後、同じＣＵがＲＤＯプロセスによって（他の分割パスによって）再びチェックされる場合には、ＣＵに対してＧＰＭが初めて選択された場合にのみ、ＧＰＭのＲＤコスト（ＧＰＭ－ＭＶＲを含む）がチェックされる。１つのＣＵの最初のＲＤチェックのためにＧＰＭが選択されなかった場合には、同じＣＵが他の分割パスによって得られたときにＧＰＭのみ（ＧＰＭ－ＭＶＲなし）がテストされる。他の方法では、１つのＣＵの最初のＲＤチェックのためにＧＰＭが選択されなかった場合には、同じＣＵが他の分割パスによって得られたときにＧＰＭとＧＰＭ－ＭＶＲの両方がテストされない。

【0101】

第２に、ＧＰＭ－ＭＶＲモードのＧＰＭパーティションの数を削減するために、１つのＣＵのＲＤコストが初めてチェックされるときに、ＲＤコストが最小である最初のＭ個のＧＰＭ分割モードを維持することが提案されている。その後、同じＣＵがＲＤＯプロセスによって（他の分割パスによって）再びチェックされる場合には、ＧＰＭ－ＭＶＲモードについて、それらのｍ個のＧＰＭ分割モードのみがテストされる。

【0102】

第３に、最初のＲＤＯプロセスでテストされるＧＰＭパーティションの数を削減するために、各ＧＰＭパーティションについて、２つのＧＰＭパーティションに対して異なる単方向予測マージ候補を使用するときに差分絶対値の和（ＳＡＤ）を最初に算出することが提案されている。次に、１つの特定の分割モードの下での各ＧＰＭパーティションについて、最小のＳＡＤ値を有する最良の単方向予測マージ候補を選択し、２つのＧＰＭパーティションについての最良の単方向予測マージ候補のＳＡＤ値の和に等しい当該分割モードの対応するＳＡＤ値を算出する。次に、以下のＲＤプロセスでは、ＧＰＭ－ＭＶＲモードについて、前のステップでの最良のＳＡＤ値を有する最初のＮ個の分割モードのみがテストされる。

【0103】

明示的な動きシグナリングを有する幾何学的パーティション
このセクションでは、２つの単方向ＭＶがエンコーダからデコーダに明示的にグナリングされるＧＰＭモードを、通常のインターモードの双方向予測に拡張する複数の方法が提案されている。

【0104】

第１解決策（解決策１）では、既存の双方向予測の動きシグナリングを完全に再利用して、ＧＰＭモードの２つの単方向ＭＶをシグナリングすることが提案されている。表８は、提案されたスキームの修正された構文表を示しており、新しく追加された構文要素は、斜体の太字で示されている。表８に示すように、この解決策では、Ｌ０及びＬ１の動き情報をシグナリングする全ての既存の構文要素は、２つのＧＰＭパーティションの単方向ＭＶをそれぞれ示すために完全に再利用される。また、Ｌ０ ＭＶは、第１ＧＰＭパーティションに常に関連付けられ、Ｌ１ ＭＶは、第２ＧＰＭパーティションに常に関連付けられると想定される。一方、表８では、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃの値がＧＰＭフラグ（即ち、ｇｐｍ＿ｆｌａｇ）の存在を条件付けるために使用できるように、インター予測構文、即ち、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃは、ｇｐｍ＿ｆｌａｇの前にシグナリングされる。具体的には、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃがＰＲＥＤ＿ＢＩ（即ち、双方向予測）に等しく、ｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇ及びｓｙｍ＿ｍｖｄ＿ｆｌａｇの両方が０に等しい（即ち、ＣＵがアフィンモードでもＳＭＶＤモードでも符号化復号化されていない）場合にのみ、フラグｇｐｍ＿ｆｌａｇは、シグナリングされる必要がある。フラグｇｐｍ＿ｆｌａｇがシグナリングされない場合には、その値は、常に０と推定される（即ち、ＧＰＭモードが無効である）。ｇｐｍ＿ｆｌａｇが１である場合には、現在のＣＵに対して（合計６４個のＧＰＭパーティションのうち）選択されたＧＰＭモードを示す他の構文要素ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘは、更にシグナリングされる。
表８ 解決策１（オプション１）の動きシグナリングのための修正された構文表

【表17】

【0105】

他の方法では、ｇｐｍ＿ｆｌａｇの値が、他のインター構文要素が存在する必要があるか否かを判定するために使用できるように、フラグｇｐｍ＿ｆｌａｇを他のインターシグナリング構文要素の前にシグナリングすることが提案されている。表９は、そのような方法が適用される場合の対応する構文表を示しており、新しく追加された構文要素は、斜体の太字で示されている。見て分かるように、ｇｐｍ＿ｆｌａｇが表９で最初にシグナリングされる。ｇｐｍ＿ｆｌａｇが１に等しい場合には、対応するｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃ、ｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇ、及びｓｙｍ＿ｍｖｄ＿ｆｌａｇのシグナリングは、バイパスすることができる。その代わりに、３つの構文要素の対応する値は、それぞれＰＲＥＤ＿ＢＩ、０、及び０と推定することができる。
表９ 解決策１（オプション２）の動きシグナリングのための修正された構文表

【表18】

【0106】

表８と表９の両方では、ＳＭＶＤモードは、ＧＰＭモードと組み合わせることができない。他の実施例では、現在のＣＵがＧＰＭモードによって符号化復号化される場合には、ＳＭＶＤモードを許容することが提案されている。このような組み合わせが許容される場合には、ＳＭＶＤの同じ設計に従うことにより、２つのＧＰＭパーティションのＭＶＤが対称であると想定され、それにより、第１ＧＰＭパーティションのＭＶＤのみがシグナリングされる必要があり、第２ＧＰＭパーティションのＭＶＤが第１ＭＶＤと常に対称となる。このような方法が適用される場合には、ｇｐｍ＿ｆｌａｇ上のｓｙｍ＿ｍｖｄ＿ｆｌａｇの対応するシグナリング条件は、削除することができる。

【0107】

以上に示すように、第１解決策では、Ｌ０ ＭＶが第１ＧＰＭパーティションに使用され、Ｌ１ ＭＶが第２ＧＰＭパーティションに使用されると常に想定される。このような設計は、この方法が、２つのＧＰＭパーティションのＭＶが同一の予測リスト（Ｌ０又はＬ１）から取得されることを禁止するという意味で最適ではない可能性がある。このような問題を解決するために、表１０に示すようなシグナリング設計を有する代替ＧＰＭ－ＥＭＳスキームである解決策２が提案されている。表１０では、新しく追加された構文要素は、斜体の太字で示されている。表１０に示すように、フラグｇｐｍ＿ｆｌａｇが最初にシグナリングされる。フラグが１に等しい（即ち、ＧＰＭが有効である）場合には、選択されたＧＰＭモードを指定するための構文ｇｐｍ＿ｐａｒｔｉｔｉｏｎ＿ｉｄｘは、シグナリングされる。次に、第１ＧＰＭパーティションのＭＶが由来する対応する予測リストを示す追加フラグｇｐｍ＿ｐｒｅｄ＿ｄｉｒ＿ｆｌａｇ０は、シグナリングされる。フラグｇｐｍ＿ｐｒｅｄ＿ｄｉｒ＿ｆｌａｇ０が１に等しい場合には、第１ＧＰＭパーティションのＭＶがＬ１から由来することを示し、それ以外の場合（フラグが０に等しい場合）には、第１ＧＰＭパーティションのＭＶがＬ０から由来することを示す。その後、既存の構文要素ｒｅｆ＿ｉｄｘ＿ｌ０、ｍｖｐ＿ｌ０＿ｆｌａｇ、及びｍｖｄ＿ｃｏｄｉｎｇ（）は、第１ＧＰＭパーティションの参照ピクチャインデックス、ｍｖｐインデックス、及びＭＶＤの値をシグナリングするように利用される。一方、第１パーティションと同様に、他の構文要素ｇｐｍ＿ｐｒｅｄ＿ｄｉｒ＿ｆｌａｇ１は、第２ＧＰＭパーティションの対応する予測リストを選択するように導入され、その後に、第２ＧＰＭパーティションのＭＶの導出に使用される既存の構文要素ｒｅｆ＿ｉｄｘ＿ｌ１、ｍｖｐ＿ｌ１＿ｆｌａｇ、及びｍｖｄ＿ｃｏｄｉｎｇ（）が導入される。
表１０ 解決策２の動きシグナリングのための修正された構文表

【表19】

【0108】

最後に、ＧＰＭモードが２つの単方向予測パーティション（分割エッジ上のブレンディングサンプルを除く）で構成されていることを考慮すると、提案されたＧＰＭ－ＥＭＳスキームが１つのインターＣＵに対して有効である場合に、双方向オプティカルフロー、デコーダ側の動きベクトルリファインメント（ＤＭＶＲ）、ＣＵ重みを有する双方向予測（ＢＣＷ）などの、双方向予測のために特定に設計されたＶＶＣ及びＡＶＳ３のいくつかの既存の符号化ツールは、自動的にバイパスすることができる。例えば、提案されたＧＰＭ－ＥＭＳのうちの１つが１つのＣＵに対して有効である場合には、ＢＣＷがＧＰＭモードに適用できないことを考慮すると、シグナリングオーバーヘッドを削減するために、対応するＢＣＷ重みをＣＵに対して更にシグナリングする必要はない。

【0109】

ＧＰＭ－ＭＶＲとＧＰＭ－ＥＭＳとの組み合わせ
このセクションでは、幾何学的パーティションを有する１つのＣＵに対してＧＰＭ－ＭＶＲとＧＰＭ－ＥＭＳを組み合わせることが提案されている。具体的には、マージベースの動きシグナリング及び明示的シグナリングの一方のみが２つのＧＰＭパーティションの単方向予測ＭＶをシグナリングするために適用できるＧＰＭ－ＭＶＲ又はＧＰＭ－ＥＭＳとは異なり、提案されたスキームでは、１）一方のパーティションがＧＰＭ－ＭＶＲベースの動きシグナリングを使用するが、他方のパーティションがＧＰＭ－ＥＭＳベースの動きシグナリングを使用すること、又は、２）２つのパーティションがＧＰＭ－ＭＶＲベースの動きシグナリングを使用すること、又は、３）２つのパーティションがＧＰＭ－ＥＭＳベースの動きシグナリングを使用することが許容される。表４のＧＰＭ－ＭＶＲシグナリング及び表１０のＧＰＭ－ＥＭＳにより、提案されたＧＰＭ－ＭＶＲとＧＰＭ－ＥＭＳとの組み合わせの後の対応する構文表を表１１に示す。表１１では、新しく追加された構文要素は、斜体の太字で示されている。表１１に示すように、２つの追加の構文要素ｇｐｍ＿ｍｅｒｇｅ＿ｆｌａｇ０及びｇｐｍ＿ｍｅｒｇｅ＿ｆｌａｇ１がパーティション＃１及び＃２にそれぞれ導入され、これは、対応するパーティションがＧＰＭ－ＭＶＲベースのマージシグナリング又はＧＰＭ－ＥＭＳベースの明示的なシグナリングを使用することを指定する。フラグが１である場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘＸ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘＸ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘＸ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ、及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘＸ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ（Ｘ＝０、１）によってＧＰＭ単方向予測動きがシグナリングされるパーティションに対して、ＧＰＭ－ＭＶＲベースのシグナリングが有効であることを意味する。それ以外の場合には、フラグが０である場合には、パーティションの単方向予測動きが構文要素ｇｐｍ＿ｐｒｅｄ＿ｄｉｒ＿ｆｌａｇＸ、ｒｅｆ＿ｉｄｘ＿ｌＸ、ｍｖｐ＿ｌＸ＿ｆｌａｇ、及びｍｖｄ＿ｌＸ（Ｘ＝０、１）によりＧＰＭ－ＥＭＳの方式で明示的にシグナリングされることを意味する。
表１１ 提案されたＧＰＭ－ＭＶＲとＧＰＭ－ＥＭＳとの組み合わせを有するＧＰＭモードの構文表

【表20】

【0110】

ＧＰＭ－ＭＶＲとテンプレートマッチングとの組み合わせ
このセクションでは、ＧＰＭ－ＭＶＲとテンプレートマッチングとを組み合わせるために、異なる解決策が提供される。

【0111】

方法１では、１つのＣＵがＧＰＭモードで符号化復号化される場合には、２つのＧＰＭパーティションに対して、対応するパーティションの単方向動きがテンプレートマッチングによって更にリファインか否かをそれそれ示す２つの別個のフラグをシグナリングすることが提案されている。フラグが有効である場合には、テンプレートは、現在のＣＵの左と上の隣接する再構成されたサンプルを使用して生成され、次に、パーティションの単方向動きは、「テンプレートマッチング」というセクションで説明したものと同じ手順に従って、テンプレートとその参照サンプルとの間の差分を最小限に抑えることによってリファインされる。それ以外の場合（フラグが無効である場合）には、テンプレートマッチングがパーティションに適用されず、ＧＰＭ－ＭＶＲが更に適用されてもよい。表５のＧＰＭ－ＭＶＲシグナリング方法を例にとると、表１２は、ＧＰＭ－ＭＶＲとテンプレートマッチングを組み合わせた場合の対応する構文表を示す。表１２では、新しく追加された構文要素は、斜体の太字で示されている。
表１２ 提案された、ＧＰＭ－ＭＶＲとテンプレートマッチングとを組み合わせる方法（方法１）の構文要素

【表21】

【0112】

表１２に示すように、提案されたスキームでは、動きが２つのＧＰＭパーティションに対してリファインされるか否かをそれぞれ示す２つの追加のフラグｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ０及びｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ１は、最初にシグナリングされる。フラグが１である場合には、ＴＭが１つのパーティションの単方向ＭＶをリファインするために適用されることを示す。フラグが０である場合には、ＧＰＭ＿ＭＶＲがＧＰＭパーティションに適用されるか否かを示す１つのフラグ（ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇ又はｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇ）は、更にシグナリングされる。１つのＧＰＭパーティションのフラグが１に等しい場合には、距離インデックス（構文要素ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘによって示される）と、方向インデックス（構文要素ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）とは、ＭＶＲの大きさを指定する。その後、２つのＧＰＭパーティションの単方向ＭＶを特定するための既存の構文ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１は、シグナリングされる。一方、表５に適用されるシグナリング条件と同様に、２つのＧＰＭパーティションの予測に使用される得られたＭＶが同じでないことを保証するために、以下の条件が適用されてもよい。

【0113】

第１に、ｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ０とｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ１の両方の値が１に等しい場合（即ち、ＴＭが２つのＧＰＭパーティションの両方に対して有効である場合）には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができない。

【0114】

第２に、ｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ０とｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ１の一方が１であり、他方が０である場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。

【0115】

それ以外の場合、即ち、ｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ０とｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ１の両方が１に等しい場合には、第１に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇの両方が０に等しい（即ち、ＧＰＭ－ＭＶＲが２つのＧＰＭパーティションの両方に対して無効である）とき、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができず、第２に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇが１に等しく（即ち、ＧＰＭ－ＭＶＲが第１ＧＰＭパーティションに対して有効である）、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇが０に等しい（即ち、ＧＰＭ－ＭＶＲが２つのＧＰＭパーティションに対して無効である）とき、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができ、第３に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇが０に等しく（即ち、ＧＰＭ－ＭＶＲが第１ＧＰＭパーティションに対して無効である）、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇが１に等しい（即ち、ＧＰＭ－ＭＶＲが第２ＧＰＭパーティションに対して有効である）とき、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができ、第４に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇの両方の値が１に等しい（即ち、ＧＰＭ＿ＭＶＲが２つのＧＰＭパーティションの両方に対して有効である）とき、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができるか否かについての判定は、２つのＧＰＭパーティションに適用されるＭＶＲ（ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ、及び、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘによって示される）の値に依存する。２つのＭＶＲの値が等しい場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１を同じにすることができない。それ以外の場合（２つのＭＶＲの値が等しくない場合）には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。

【0116】

上記方法１では、ＴＭとＭＶＲは、ＧＰＭに排他的に適用される。このようなスキームでは、ＴＭモードのリファインＭＶの上で、ＭＶＲを更に適用することが禁止される。したがって、ＧＰＭの更に多くのＭＶ候補を提供するために、ＴＭのリファインＭＶの上でＭＶＲオフセットを適用できるようにする方法２が提案されている。表１３は、ＧＰＭ－ＭＶＲとテンプレートマッチングを組み合わせた場合の対応する構文表を示す。表１３では、新しく追加された構文要素は、斜体の太字で示されている。
表１３ 提案された、ＧＰＭ－ＭＶＲとテンプレートマッチングとを組み合わせる方法（方法２）の構文要素

【表22】

【0117】

表１３に示すように、表１２とは異なり、ｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ０及びｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ１上のｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇ及びｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇのシグナリング条件が削除される。そのため、ＴＭが１つのＧＰＭパーティションの単方向動きをリファインするか否かに関わらず、ＭＶリファインメントが常にＧＰＭパーティションのＭＶに適用することができる。従来と同様に、２つのＧＰＭパーティションの得られたＭＶが同じでないことを保証するために、以下の条件を適用する必要がある。

【0118】

第１に、ｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ０とｇｐｍ＿ｔｍ＿ｅｎａｂｌｅ＿ｆｌａｇ１の一方が１であり、他方が０である場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。

【0119】

それ以外の場合、即ち、ｇｐｍ＿ｅｎａｂｌｅ＿ｆｌａｇ０とｇｐｍ＿ｅｎａｂｌｅ＿ｆｌａｇ１の両方が１に等しいか、又は、両方のフラグが０に等しい場合には、第１に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇの両方が０に等しい（即ち、ＧＰＭ－ＭＶＲが２つのＧＰＭパーティションの両方に対して無効である）とき、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができず、第２に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇが１に等しく（即ち、ＧＰＭ－ＭＶＲが第１ＧＰＭパーティションに対して有効である）、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇが０に等しい（即ち、ＧＰＭ－ＭＶＲが第２ＧＰＭパーティションに対して無効である）とき、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができ、第３に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇが０に等しく（即ち、ＧＰＭ－ＭＶＲが第１ＧＰＭパーティションに対して無効である）、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇが１に等しい（即ち、ＧＰＭ－ＭＶＲが第２ＧＰＭパーティションに対して有効である）とき、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができ、第４に、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇの両方の値が１に等しい（即ち、ＧＰＭ＿ＭＶＲが２つのＧＰＭパーティションの両方に対して有効である）とき、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができるか否かについての判定は、２つのＧＰＭパーティションに適用されるＭＶＲ（ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ、及び、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘとｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘによって示される）の値に依存する。２つのＭＶＲの値が等しい場合には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１を同じにすることができない。それ以外の場合（２つのＭＶＲの値が等しくない場合）には、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０とｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１の値を同じにすることができる。

【0120】

上記２つの方法では、ＴＭが各ＧＰＭパーティションに適用されるか否かを示す２つの別個のフラグがシグナリングされる必要がある。付加されたシグナリングは、追加のオーバーヘッドにより、特に低ビットレートの場合には、全体的な符号化復号化効率を低下させる可能性がある。シグナリングオーバヘッドを削減するために、追加のシグナリングを導入する代わりに、ＴＭベースの単方向ＭＶをＧＰＭモードの単方向ＭＶ候補リストに挿入する方法３が提案されている。ＴＭベースの単方向ＭＶは、「テンプレートマッチング」というセクションで説明したものと同じＴＭプロセスに従って、ＧＰＭの元の単方向ＭＶを最初のＭＶとして生成される。このようなスキームにより、エンコーダからデコーダに追加の制御フラグを更にシグナリングする必要がなくなる。代わりに、デコーダは、ビットストリームから受信された対応するマージインデックス（即ち、ｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ０及びｍｅｒｇｅ＿ｇｐｍ＿ｉｄｘ１）を通じて、１つのＭＶがＴＭによってリファインされるか否かを特定することができる。異なる方法で通常のＧＰＭのＭＶ候補（即ち、ｎｏｎ－ＴＭ）とＴＭベースのＭＶ候補を配置し得る。１つの方法では、ＭＶ候補リストの先頭に最初にＴＭベースのＭＶ候補を配置し、次に非ＴＭベースのＭＶ候補を配置することが提案されている。他の方法では、最初に非ＴＭベースのＭＶ候補を配置し、次にＴＭベースのＭＶ候補を配置することが提案されている。他の方法では、ＴＭベースのＭＶ候補と、非ＴＭベースのＭＶ候補とをインターリーブ方式で配置することが提案されている。例えば、最初のＮ個の非ＴＭベースの候補を配置し、次に全てのＴＭベースの候補を配置し、最後に残りの非ＴＭベースの候補を配置することができる。他の実施例では、最初のＮ個のＴＭベースの候補を配置し、次に全ての非ＴＭベースの候補を配置し、最後に残りのＴＭベースの候補を配置することができる。他の実施例では、非ＴＭベースの候補とＴＭベースの候補とを交互に、即ち、１つの非ＴＭベースの候補、１つのＴＭベースの候補などのように配置することが提案されている。

【0121】

上記方法は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子コンポーネントを含む１つ以上の回路を含む装置を採用して実装され得る。装置は、上述の方法を実行するために、他のハードウェア又はソフトウェアコンポーネントと組み合わせて回路を採用することができる。上記で開示された各モジュール、サブモジュール、ユニット、又はサブユニットは、１つ以上の回路で少なくとも部分的に実装され得る。

【0122】

図９は、ユーザインターフェース９６０に結合されたコンピューティング環境（又はコンピューティングデバイス）９１０を示す。コンピューティング環境９１０は、データ処理サーバの一部とすることができる。いくつかの実施形態では、コンピューティングデバイス９１０は、以上に説明したような、本開示の様々な実施例に係る様々な方法又はプロセス（例えば、符号化／復号化方法又はプロセス）のいずれかを実行することができる。コンピューティング環境９１０は、プロセッサ９２０と、メモリ９４０と、Ｉ／Ｏインターフェース９５０とを含んでもよい。

【0123】

プロセッサ９２０は、典型的には、ディスプレイ、データ取得、データ通信、及び画像処理に関連する動作などの、コンピューティング環境９１０の全体的な動作を制御する。プロセッサ９２０は、上述方法のステップの全部又は一部を実行する命令を実行するための１つ以上のプロセッサを含んでもよい。また、プロセッサ９２０は、プロセッサ９２０と他のコンポーネントとの間のインタラクションを容易にする１つ以上のモジュールを含んでもよい。上記プロセッサは、中央処理装置（ＣＰＵ）、マイクロプロセッサ、シングルチップマシン、ＧＰＵなどであってもよい。

【0124】

メモリ９４０は、コンピューティング環境９１０の動作をサポートするために、様々なタイプのデータを格納するように構成される。メモリ９４０は、所定のソフトウェア９４２を含んでもよい。そのようなデータの例は、コンピューティング環境９１０上で動作する任意のアプリケーション又は方法のための命令、ビデオデータセット、画像データなどを含む。メモリ９４０は、静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクなどの任意のタイプの揮発性又は不揮発性メモリ装置、又はそれらの組み合わせを使用することによって実装され得る。

【0125】

Ｉ／Ｏインターフェース９５０は、プロセッサ９２０と、キーボード、クリックホイール、ボタンなどの周辺インターフェースモジュールとの間のインターフェースを提供する。ボタンは、ホームボタン、スタートスキャンボタン、及びストップスキャンボタンを含んでもよいが、これらに限定されない。Ｉ／Ｏインターフェース９５０は、エンコーダ及びデコーダに結合することができる。

【0126】

いくつかの実施形態では、上述の方法を実行するために、コンピューティング環境９１０内のプロセッサ９２０によって実行可能な、メモリ９４０に含まれるような複数のプログラムを含む非一時的コンピュータ可読記憶媒体も提供される。例えば、非一時的コンピュータ可読記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶デバイスなどであってもよい。

【0127】

非一時的コンピュータ可読記憶媒体は、１つ以上のプロセッサを有するコンピューティングデバイスによって実行される複数のプログラムを格納しており、複数のプログラムは、１つ以上のプロセッサによって実行されると、コンピューティングデバイスに上述の動き予測方法を実行させる。

【0128】

いくつかの実施形態では、コンピューティング環境９１０は、上記方法を実行するために、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィカルプロセッシングユニット（ＧＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子コンポーネントを用いて実装され得る。

【0129】

図８は、本開示の一実施例に係る、ＧＰＭでビデオブロックを復号化する方法を示すフローチャートである。

【0130】

ステップ８０１では、プロセッサ９２０は、ビデオブロックに関連付けられた制御フラグを受信してもよい。制御フラグは、２値フラグ、非２値フラグなどの１つ以上のフラグを含む制御変数又は任意の他の変数であってもよい。１つ以上の実施例では、制御変数は、表１７又は表２１に示すように、フラグ「ｐｈ＿ｇｐｍ＿ｍｖｒ＿ｏｆｆｓｅｔ＿ｓｅｔ＿ｆｌａｇ」であってもよい。

【0131】

いくつかの実施例では、制御変数は、複数のＭＶＲオフセットのセット間の適応切り替えを可能にし、符号化レベルで適用される。

【0132】

いくつかの実施例では、符号化レベルは、シーケンスレベル、画像／スライスレベル、ＣＴＵレベル又は符号化ブロックレベルであってもよい。例えば、制御変数がエンコーダ側で画像レベルでシグナリングされる場合には、デコーダ側は、現在のビデオブロックに関連付けられた対応するＭＶＲオフセットを選択するという目的のために、どのＭＶＲオフセットセットを選択するかを示すための制御変数を画像レベルで対応して受信する。

【0133】

ステップ８０２では、プロセッサ９２０は、ビデオブロックに関連付けられた指示フラグを受信してもよい。指示フラグは、２値フラグ、非２値フラグなどの１つ以上のフラグを含む指示変数又は任意の他の変数であってもよい。１つ以上の実施例では、指示変数は、表２１に示すように、フラグ「ｐｈ＿ｇｐｍ＿ｍｖｒ＿ｓｔｅｐ＿ｃｏｄｅｗｏｒｄ＿ｆｌａｇ」であってもよい。フラグ「ｐｈ＿ｇｐｍ＿ｍｖｒ＿ｓｔｅｐ＿ｃｏｄｅｗｏｒｄ＿ｆｌａｇ」の値は、異なる符号語表によって異なるオフセットのセットを２値化するように２値化表を切り替えることで、より高い柔軟性が得られる。

【0134】

いくつかの実施例では、指示変数は、符号化レベルの下で複数のＭＶＲオフセットのセットにおける複数のオフセットの大きさを２値化する複数の符号語表間の適応切り替えを可能にする。

【0135】

ステップ８０３では、プロセッサ９２０は、ビデオブロックを第１幾何学的パーティションと第２幾何学的パーティションに分割してもよい。

【0136】

ステップ８０４では、プロセッサ９２０は、制御変数に基づいて、複数のＭＶＲオフセットのセットから１つのＭＶＲオフセットのセットを選択してもよい。

【0137】

ステップ８０５では、プロセッサ９２０は、１つ以上の構文要素を受信して、選択されたＭＶＲオフセットのセットから第１及び第２幾何学的パーティションに適用される第１ＭＶＲオフセット及び第２ＭＶＲオフセットを決定してもよい。選択されたＭＶＲオフセットのセットは、制御変数によって選択された１つのＭＶＲオフセットのセットであってもよい。

【0138】

いくつかの実施例では、複数のＭＶＲオフセットのセットは、第１ＭＶＲオフセットのセット及び第２ＭＶＲオフセットのセットを含んでもよい。いくつかの実施例では、第１ＭＶＲオフセットのセットは、複数のデフォルトオフセットの大きさ及び複数のデフォルトオフセット方向を含む複数のデフォルトＭＶＲオフセットを含んでもよい。いくつかの実施例では、第２ＭＶＲオフセットのセットは、複数の代替オフセットの大きさ及び複数の代替オフセット方向を含む複数の代替ＭＶＲオフセットを含んでもよい。いくつかの実施例では、第２ＭＶＲオフセットのセットは、第１ＭＶＲオフセットのセットよりも多くのオフセットの大きさ及び第１ＭＶＲオフセットのセットよりも多くのオフセット方向を含んでもよい。例えば、複数のデフォルトオフセットの大きさ及び複数のデフォルトオフセット方向は、８つのオフセットの大きさ（例えば、１／４画素、１／２画素、１画素、２画素、４画素、８画素、１６画素、及び３２画素）及び４つのオフセット方向（＋／－ｘ軸及び＋／－ｙ軸）を含んでもよい。複数の代替オフセットの大きさ及び複数の代替オフセット方向は、表１５、表１６、表１９及び表２０に示すように、大きさ及び方向を含んでもよい。

【0139】

表１５、表１６、表１９及び表２０に示すように、代替ＭＶＲオフセットのセットは、複数のデフォルトオフセットの大きさに加えて、より多くのオフセットの大きさを含んでもよく、複数のデフォルトオフセット方向に加えて、より多くのオフセット方向を含んでもよい。

【0140】

いくつかの実施例では、プロセッサ９２０は、制御変数が０に等しいと判定したことに応じて、第１ＭＶＲオフセットのセットを適用すると判定してもよく、制御変数が１に等しいと判定したことに応じて、第２ＭＶＲオフセットのセットを適用すると判定してもよい。

【0141】

いくつかの実施例では、複数の符号語表は、第１符号語表と第２符号語表とを含み、第１符号語表と第２符号語表は、表１９及び表２０に示すように、それぞれ、第１及び第２ＭＶＲオフセットのセットにおけるオフセットの大きさを２値化するためのものである。

【0142】

表１９及び表２０に示すように、第１デフォルトオフセットの大きさ（例えば、１／４画素）は、ビデオブロックから１／４画素の距離を示し、第２デフォルトオフセットの大きさ（例えば、１／２画素）は、ビデオブロックから１／２画素の距離を示し、第３デフォルトオフセットの大きさ（例えば、１画素）は、ビデオブロックから１画素の距離を示し、第４デフォルトオフセットの大きさ（例えば、２画素）は、ビデオブロックから２画素の距離を示し、第５デフォルトオフセットの大きさ（例えば、４画素）は、ビデオブロックから４画素の距離を示し、第６デフォルトオフセットの大きさ（例えば、８画素）は、ビデオブロックから８画素の距離を示し、第７デフォルトオフセットの大きさ（例えば、１６画素）は、ビデオブロックから１６画素の距離を示し、第８デフォルトオフセットの大きさ（例えば、３２画素）は、ビデオブロックから３２画素の距離を示す。

【0143】

更に、表１９及び表２０に示すように、第１代替オフセットの大きさ（例えば、１／４画素）は、ビデオブロックから１／４画素の距離を示し、第２代替オフセットの大きさ（例えば、１／２画素）は、ビデオブロックから１／２画素の距離を示し、第３代替オフセットの大きさ（例えば、１画素）は、ビデオブロックから１画素の距離を示し、第４代替オフセットの大きさ（例えば、２画素）は、ビデオブロックから２画素の距離を示し、第５代替オフセットの大きさ（例えば、３画素）は、ビデオブロックから３画素の距離を示し、第６代替オフセットの大きさ（例えば、４画素）は、ビデオブロックから４画素の距離を示し、第７代替オフセットの大きさ（例えば、６画素）は、ビデオブロックから６画素の距離を示し、第８代替オフセットの大きさ（例えば、８画素）は、ビデオブロックから８画素の距離を示し、第９代替オフセットの大きさ（例えば、１６画素）は、ビデオブロックから１６画素の距離を示す。

【0144】

いくつかの実施例では、プロセッサ９２０は、制御変数が０に等しく、指示変数が０に等しいと判定したことに応じて、第１ＭＶＲオフセットのセットを適用し、第１符号語表を用いて複数のデフォルトオフセットの大きさを２値化することを更に判定してもよい。表１９に示すように、第１デフォルトオフセットの大きさを１として２値化し、第２デフォルトオフセットの大きさを１０として２値化し、第３デフォルトオフセットの大きさを１１０として２値化し、第４デフォルトオフセットの大きさを１１１０として２値化し、第５デフォルトオフセットの大きさを１１１１０として２値化し、第６デフォルトオフセットの大きさを１１１１１０として２値化し、第７デフォルトオフセットの大きさを１１１１１１０として２値化し、第８デフォルトオフセットの大きさを１１１１１１１として２値化する。

【0145】

いくつかの実施例では、プロセッサ９２０は、制御変数が０に等しく、指示変数が１に等しいと判定したことに応じて、第１ＭＶＲオフセットのセットを適用し、第２符号語表を用いて複数のデフォルトオフセットの大きさを２値化することを更に判定してもよい。表２０に示すように、第１デフォルトオフセットの大きさを１１１１１０として２値化し、第２デフォルトオフセットの大きさを１として２値化し、第３デフォルトオフセットの大きさを１０として２値化し、第４デフォルトオフセットの大きさを１１０として２値化し、第５デフォルトオフセットの大きさを１１１０として２値化し、第６デフォルトオフセットの大きさを１１１１０として２値化し、第７デフォルトオフセットの大きさを１１１１１１０として２値化し、第８デフォルトオフセットの大きさを１１１１１１１として２値化する。

【0146】

いくつかの実施例では、プロセッサ９２０は、制御変数が１に等しく、指示変数が０に等しいと判定したことに応じて、第２ＭＶＲオフセットのセットを適用し、第１符号語表を用いて複数の代替オフセットの大きさを２値化することを更に判定してもよい。表１９に示すように、第１代替オフセットの大きさを１として２値化し、第２代替オフセットの大きさを１０として２値化し、第３代替オフセットの大きさを１１０として２値化し、第４代替オフセットの大きさを１１１０として２値化し、第５代替オフセットの大きさを１１１１０として２値化し、第６代替オフセットの大きさを１１１１１０として２値化し、第７代替オフセットの大きさを１１１１１１０として２値化し、第８代替オフセットの大きさを１１１１１１１０として２値化し、第９代替オフセットの大きさを１１１１１１１１として２値化する。

【0147】

いくつかの実施例では、プロセッサ９２０は、制御変数が１に等しく、指示変数が１に等しいと判定したことに応じて、第２ＭＶＲオフセットのセットを適用し、第２符号語表を用いて複数の代替オフセットの大きさを２値化することを更に判定してもよい。表２０に示すように、第１代替オフセットの大きさを１１１１１０として２値化し、第２代替オフセットの大きさを１として２値化し、第３代替オフセットの大きさを１０として２値化し、第４代替オフセットの大きさを１１０として２値化し、第５代替オフセットの大きさを１１１０として２値化し、第６代替オフセットの大きさを１１１１０として２値化し、第７代替オフセットの大きさを１１１１１１０として２値化し、第８代替オフセットの大きさを１１１１１１１０として２値化し、第９代替オフセットの大きさを１１１１１１１１として２値化する。

【0148】

いくつかの実施例では、プロセッサは、更に、固定長符号語使用して第１及び第２ＭＶＲオフセットのセットにおけるオフセットの方向をそれぞれ２値化してもよい。

【0149】

いくつかの実施例では、プロセッサ９２０は、更に、ＭＶＲが第１幾何学的パーティションに適用されるか否かを示す第１幾何学的パーティション有効構文要素（例えば、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｅｎａｂｌｅ＿ｆｌａｇ）を受信し、幾何学的パーティション有効構文要素が１に等しいと判定したことに応じて、選択されたＭＶＲオフセットのセットに基づいて決定された第１幾何学的パーティションの第１ＭＶＲオフセットのオフセット方向及びオフセット大きさを示す第１方向構文要素（例えば、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）及び第１大きさ構文要素（例えば、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ０＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）を受信し、ＭＶＲが第２幾何学的パーティションに適用されるか否かを示す第２幾何学的パーティション有効構文要素（例えば、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｅｎａｂｌｅ＿ｆｌａｇ）を受信し、第２幾何学的パーティション有効構文要素が１に等しいと判定したことに応じて、選択されたＭＶＲオフセットのセットに基づいて決定された第２幾何学的パーティションの第２ＭＶＲオフセットのオフセット方向及びオフセット大きさを示す第２方向構文要素（例えば、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）及び第２大きさ構文要素（例えば、ｇｐｍ＿ｍｖｒ＿ｐａｒｔＩｄｘ１＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）を受信してもよい。

【0150】

ステップ８０６では、プロセッサ９２０は、第１幾何学的パーティション及び第２幾何学的パーティションの候補リストから第１ＭＶ及び第２ＭＶを取得してもよい。

【0151】

ステップ８０７では、プロセッサ９２０は、第１及び第２ＭＶ、並びに、第１及び第２ＭＶＲオフセットに基づいて、第１リファインＭＶ及び第２リファインＭＶを算出してもよい。

【0152】

ステップ８０８では、プロセッサ９２０は、第１及び第２リファインＭＶに基づいて、ビデオブロックの予測サンプルを取得してもよい。

【0153】

いくつかの実施例では、ＧＰＭでビデオブロックを復号化する装置が提供される。装置は、プロセッサ９２０と、プロセッサによって実行可能な命令を格納するメモリ９４０とを含み、プロセッサは、命令の実行時に、図８に示す方法を実行するように構成される。

【0154】

他のいくつかの実施例では、命令を格納する非一時的コンピュータ可読記憶媒体が提供される。命令がプロセッサ９２０によって実行されると、命令は、図８に示す方法をプロセッサに実行させる。

【0155】

本開示の他の実施例は、本明細書に開示された本開示の明細書及び実施を考慮することにより、当業者には明らかとなるであろう。本願は、その一般的な原理に従い、本分野で既知又は慣例の範囲内にある本開示からの逸脱を含む、本開示のあらゆる変形、使用、又は適応を網羅することを意図している。明細書及び実施例は、例示としてのみ考慮されることを意図している。

【0156】

本開示は、上述した、添付の図面によって示された正確な実施例に限定されるものではなく、本開示の範囲から逸脱することなく様々な修正及び変更を行うことができることが理解されるであろう。

【手続補正3】

【補正対象書類名】図面

【補正対象項目名】図１

【補正方法】変更

【補正の内容】

【図1】

【国際調査報告】