特開 2023-63506 構築されたアフィンマージ候補を導出する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023063506

(43)【公開日】2023-05-09

(54)【発明の名称】構築されたアフィンマージ候補を導出する方法

(51)【国際特許分類】

   H04N 19/52 20140101AFI20230427BHJP

【ＦＩ】

H04N19/52

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023041350

(22)【出願日】2023-03-15

(62)【分割の表示】P 2021534245の分割

【原出願日】2019-12-13

(31)【優先権主張番号】62/779,423

(32)【優先日】2018-12-13

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】521248394

【氏名又は名称】ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＤＡＪＩＡ ＩＮＴＥＲＮＥＴ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】チェン、イー－ウェン

(72)【発明者】

【氏名】ワン、シアンリン

(57)【要約】

【課題】本開示は、構築されたアフィンマージ候補を導出するための方法に関する。
【解決方法】本方法は、デコーダから１以上の制御点集合を取得し、デコーダによって、第１の参照ピクチャリスト内の参照ピクチャを指し示す参照インデックスに関連する、制御点集合内の制御点集合インデックスの各制御点が、ゼロ以上であり、各々が互いに等しいかどうかを判定し、デコーダによって、第２の参照ピクチャリスト内の参照ピクチャを指し示す参照インデックスに関連する、制御点集合内の制御点集合インデックスの各制御点がゼロ以上であり、各々が互いに等しいかどうかを判定し、デコーダによって、判定結果に基づいてアフィン動きモデルが利用可能であると判定すること、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

ビデオ符号化方法であって、
１以上の制御点集合をエンコーダにより取得し、各制御点集合は、制御点集合インデックスと複数の制御点とを含み、
前記エンコーダによって、参照リスト内の参照インデックスに関連する制御点集合が、有効であるかをチェックし、
前記関連する制御点集合が有効である場合、前記エンコーダによって、前記関連する制御点集合によりアフィン動きモデルを導出し、
前記関連する制御点集合内の前記制御点集合インデックスの各制御点の参照インデックスが、ゼロ以上であり、各々が互いに等しいかどうかが判定される
ことを含む、方法。

【請求項2】

前記参照リストは、第１の参照リストと第２の参照リストとを含み、
前記第１の参照リスト内の参照インデックスに関連する、前記制御点集合内の前記制御点集合インデックスの各制御点の参照インデックスが、ゼロ以上であり、各々が互いに等しいこと、及び、
前記第２の参照リスト内の参照インデックスに関連する、前記制御点集合内の前記制御点集合インデックスの各制御点の参照インデックスが、ゼロ以上であり、各々が互いに等しいこと、
の少なくとも一方の場合に、アフィン動きモデルが利用可能であることを示すフラグを設定すること
をさらに含む、請求項１に記載の方法。

【請求項3】

前記エンコーダにより前記制御点集合を取得することは、
入力されたビデオから空間隣接ブロックおよび時間ブロックを取得し、
前記空間隣接ブロックおよび前記時間ブロックに基づいて制御点を決定し、
前記空間隣接ブロックおよび前記時間ブロックからの前記制御点に基づいて動き情報を導出し、
前記制御点に基づいて前記制御点集合を定義すること
を含み、
制御点集合は制御点集合インデックスを含む、請求項１に記載の方法。

【請求項4】

前記制御点集合は、少なくとも２つの制御点を含み、
各制御点は、第１の参照インデックス、第１の動きベクトル、第２の参照ピクチャインデックス、及び第２の動きベクトルを含む、
請求項３に記載の方法。

【請求項5】

現在のブロックの関連する制御点の動き情報を、前記制御点集合内の前記制御点の動き情報と同じに設定して、構築されたアフィン動きモデルを導出し、
前記構築されたアフィン動きモデルが利用可能であると判定し、前記構築されたアフィン動きモデルをアフィンマージ候補リストに挿入すること
をさらに含む、請求項１記載の方法。

【請求項6】

前記現在のブロックの参照インデックスを、前記アフィンマージ候補リスト内の前記構築されたアフィン動きモデルの参照インデックスと同じに設定すること
をさらに含む、請求項５に記載の方法。

【請求項7】

前記参照リスト内の動きベクトルに関連する、前記制御点集合内の制御点集合インデックスの第１の制御点の動きベクトルが、前記参照リスト内の動きベクトルに関連する、前記制御点集合内の前記制御点集合インデックスの第２の制御点の動きベクトルに等しくないこと、又は、前記第１の制御点の動きベクトルが、前記参照リスト内の動きベクトルに関連する、前記制御点集合内の前記制御点集合インデックスの第３の制御点の動きベクトルに等しくないことを判定し、
現在のブロックの関連する制御点の動き情報を、前記制御点集合インデックスの前記制御点集合内の前記制御点の動き情報と同じに設定して、構築されたアフィン動きモデルを導出すること、
をさらに含む、請求項１に記載の方法。

【請求項8】

１以上のプロセッサと、
前記１以上のプロセッサによって実行可能な命令を格納する、非一時的コンピュータ可読メモリと、
を備え、
前記１以上のプロセッサは、
１以上の制御点集合を取得し、各制御点集合が制御点集合インデックスと複数の制御点とを含み、
参照リスト内の参照インデックスに関連する制御点集合が、有効であるかをチェックし、
前記関連する制御点集合が有効である場合、前記関連する制御点集合によりアフィン動きモデルを導出し、
前記関連する制御点集合内の前記制御点集合インデックスの各制御点の参照インデックスが、ゼロ以上であり、各々が互いに等しいかどうかが判定される
よう構成される、ビデオ符号化装置。

【請求項9】

１以上のプロセッサを有するコンピュータ装置によって実行される複数のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記複数のプログラムは、前記１以上のプロセッサによって実行されると、前記コンピュータ装置に、請求項１～請求項７のいずれか一項に記載のビデオ符号化方法を実行させる、非一時的コンピュータ可読記憶媒体。

【請求項10】

プログラムを記憶した非一時的コンピュータ可読記憶媒体であって、前記プログラムが実行されるとコンピュータに、請求項１～請求項７のいずれか一項に記載のビデオ符号化方法を実行させて、ビデオビットストリームを生成する、
非一時的コンピュータ可読記憶媒体。

【請求項11】

１以上のプロセッサと、
前記１以上のプロセッサによって実行される命令を記憶する、非一時的コンピュータ可読記憶媒体と、
を備え、
前記１以上のプロセッサは、請求項１～請求項７のいずれか一項に記載のビデオ符号化を実行して、ビデオビットストリームを生成するように構成される、
コンピュータ装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１８年１２月１３日に出願された米国仮出願第６２／７７９，４２３号に基づき、その優先権を主張し、その全内容は、参照により本明細書に組み込まれる。

【0002】

本出願は、ビデオ（動画像）の符号化と圧縮に関する。より具体的には、本出願は、ビデオ符号化におけるアフィン動き予測のためのシステムおよび方法に関する。

【背景技術】

【0003】

ビデオデータを圧縮するために、様々なビデオ符号化技術を使用することができる。ビデオ符号化は、一つ以上のビデオ符号化規格に従って実行される。例えば、ビデオ符号化規格は、汎用ビデオ符号化（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ：ＶＶＣ）、ジョイント探索テストモデル（ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｔｅｓｔ ｍｏｄｅｌ：ＪＥＭ）、高効率ビデオ符号化（Ｈ．２６５／ＨＥＶＣ）、アドバンストビデオ符号化（Ｈ．２６４／ＡＶＣ）、動画像エキスパートグループ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ：ＭＰＥＧ）符号化などを含む。ビデオ符号化は一般に、ビデオ画像またはシーケンスに存在する冗長性を利用する予測方法（例えば、インター予測、イントラ予測など）を利用する。ビデオ符号化技術の重要な目標は、ビデオ品質の劣化を回避または最小限に抑えながら、ビデオデータを、より低いビットレートを使用する形式に圧縮することである。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の例は、構築されたアフィンマージ（ｍｅｒｇｅ）候補を導出するための方法を提供する。

【課題を解決するための手段】

【0005】

本開示の第１の態様によれば、ビデオ復号化方法が提供され、ビデオ復号化方法は、１以上の制御点集合をデコーダにより取得し、各制御点集合は、制御点集合インデックスと複数の制御点とを含み、各制御点は、第１の参照インデックスと、第１の動きベクトルと、第２の参照インデックスと、第２の動きベクトルと、を含み、前記デコーダによって、第１の参照リスト内の参照インデックスに関連する、前記制御点集合内の前記制御点集合インデックスの各制御点の参照インデックスが、ゼロ以上であり、各々が互いに等しいかどうかを判定し、前記デコーダによって、第２の参照リスト内の参照インデックスに関連する、前記制御点集合内の前記制御点集合インデックスの各制御点の参照インデックスが、ゼロ以上であり、各々が互いに等しいかどうかを判定し、前記デコーダによって、前記判定の結果に基づいて、アフィン動きモデルが利用可能であることを示すフラグを設定することを含む。

【0006】

本開示の第２の態様によれば、ビデオ復号化装置が提供され、ビデオ復号化装置は、１以上のプロセッサと、前記１以上プロセッサによって実行可能な命令を格納する、非一時的コンピュータ可読メモリと、を備え、前記１以上のプロセッサは、デコーダにより１以上の制御点集合を取得し、各制御点集合が、制御点集合インデックスと複数の制御点とを含み、各制御点が、第１の参照インデックスと、第１の動きベクトルと、第２の参照インデックスと、第２の動きベクトルと、を含み、前記デコーダによって、第１の参照リスト内の参照インデックスに関連する、前記制御点集合内の前記制御点集合インデックスの各制御点の参照インデックスが、ゼロ以上であり、各々が互いに等しいかどうかを判定し、 前記デコーダによって、第２の参照リスト内の参照インデックスに関連する、前記制御点集合内の前記制御点集合インデックスの各制御点の参照インデックスが、ゼロ以上であり、各々が互いに等しいかどうかを判定し、前記デコーダによって、前記判定の結果に基づいて、アフィン動きモデルが利用可能であることを示すフラグを設定するよう構成される。

【0007】

本開示の第３の態様によれば、１以上のプロセッサを有するビデオ復号化装置によって実行される複数のプログラムを記憶する非一時的コンピュータ可読記憶媒体が提供され、前記複数のプログラムは、前記１以上のプロセッサによって実行されると、前記ビデオ復号化装置に、デコーダにより１以上の制御点集合を取得し、各制御点集合が、制御点集合インデックスと複数の制御点とを含み、各制御点が、第１の参照インデックスと、第１の動きベクトルと、第２の参照インデックスと、第２の動きベクトルと、を含み、前記デコーダによって、第１の参照リスト内の参照インデックスに関連する、前記制御点集合内の前記制御点集合インデックスの各制御点の参照インデックスが、ゼロ以上であり、各々が互いに等しいかどうかを判定し、前記デコーダによって、第２の参照リスト内の参照インデックスに関連する、前記制御点集合内の前記制御点集合インデックスの各制御点の参照インデックスが、ゼロ以上であり、各々が互いに等しいかどうかを判定し、前記デコーダによって、前記判定の結果に基づいて、アフィン動きモデルが利用可能であることを示すフラグを設定することを含む復号化動作を実行させる。

【0008】

前述の一般的な説明および以下の詳細な説明の双方は例示にすぎず、本開示を限定するものではないことを理解されたい。

【0009】

本明細書に組み込まれ、その一部を構成する添付の図面は、本開示と一致する例を示し、詳細な説明とともに、本開示の原理を説明する役割を果たす。

【図面の簡単な説明】

【0010】

【図1】本開示の一例によるエンコーダのブロック図である。

【図2】本開示の一例によるデコーダのブロック図である。

【図3】本開示の一例による、構築されたアフィンマージ候補を導出するための方法を示すフローチャートである。

【図4】本開示の一例による、構築されたアフィンマージ候補を導出する方法を示すフローチャートである。

【図5】本開示の一例による、構築されたアフィンマージ候補を導出する方法を示すフローチャートである。

【図6A】本開示の一例による、制御点ベースのアフィン動きモデルである。

【図6B】本開示の一例による、制御点ベースのアフィン動きモデルである。

【図7】本開示の一例による、サブブロックごとのアフィン動きベクトルフィールド（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｆｉｅｌｄ：ＭＶＦ）である。

【図8】本開示の一例による、候補位置の配置である。

【図9】本開示の一例による制御点動きベクトルである。

【図10】本開示の一例による、候補位置の配置である。

【図11】本開示の一例による、構築されたアフィンマージ候補を導出するフローチャートである。

【図12】本開示の一例による、動きベクトルの使用を示す図である。

【図13】本開示の一例による、アフィンマージ候補を導出する方法である。

【図14】本開示の一例による、アフィン動きモデルの導出を示す図である。

【図15】本開示の一例による、アフィン動きモデルの導出を示す図である。

【図16】本開示の一例による、アフィン動きモデルの導出を示す図である。

【図17】本開示の一例によるコンピューティング環境のブロック図である。

【発明を実施するための形態】

【0011】

添付の図面に例が示される例示的な実施形態について詳細に説明する。以下の説明は添付の図面を参照し、異なる図面中の同じ番号は、特に示さない限り、同一または類似の要素を表す。例示的な実施形態の以下の説明に記載される実装は、本開示と一致するすべての実装を表すわけではない。むしろそれらは、添付の特許請求の範囲に記載されるような開示に関連する態様と一致する装置および方法の例にすぎない。

【0012】

本開示で使用される用語は、特定の実施形態を説明する目的のものであり、本開示を限定することを意図するものではない。本開示および添付の特許請求の範囲で使用されるように、単数形「ａ」、「ａｎ」、および「前記（ｔｈｅ）」は、文脈が明確にそうでないことを示さない限り、複数形も含むことが意図される。また、本明細書で使用される用語「および／または」は、関連する列挙された項目のうちの１以上の任意の、またはすべての可能な組合せを意味し、含むことを意図することを理解されたい。

【0013】

「第１の」、「第２の」、「第３の」などの用語は、本明細書では様々な情報を説明するために使用され得るが、情報はこれらの用語によって限定されるべきではない。これらの用語は、１つのカテゴリの情報を別のカテゴリから区別するためにのみ使用される。例えば、本開示の範囲から逸脱することなく、第１の情報を第２の情報と呼ぶことができ、同様に、第２の情報も第１の情報と呼ぶことができる。本明細書で使用される場合、用語「～である場合（ｉｆ）」は、文脈に応じて「～であるとき（ｗｈｅｎ）」または「～であると（ｕｐｏｎ）」または「判定に応答して」を意味すると理解されたい。

【0014】

概念上、ビデオ符号化規格は類似している。例えば、多くはブロックベースの処理を使用し、同様のビデオ符号化ブロック図を共有して、ビデオ圧縮を達成する。

【0015】

図１は、典型的なエンコーダ（符号化器）１００を示す。エンコーダ１００は、ビデオ入力１１０、動き補償器１１２、動き推定器１１４、インター／イントラモード決定器１１６、ブロック予測器１４０、加算器１２８、変換器１３０、量子化器１３２、予測関連情報１４２、イントラ予測器１１８、ピクチャバッファ１２０、逆量子化器１３４、逆変換器１３６、加算器１２６、メモリ１２４、ループ内フィルタ１２２、エントロピー符号化器１３８、およびビットストリーム１４４を有する。

【0016】

エンコーダの例示的な実施形態では、ビデオフレームは、処理のためにブロックに分割される。各所与のビデオブロックについて、インター予測またはイントラ予測のいずれかに基づいて予測が生成される。インター予測では、以前に再構成されたフレームからのピクセルに基づいて、動き推定および動き補償によって予測器（ｐｒｅｄｉｃｔｏｒｓ）が形成され得る。イントラ予測では、現在のフレーム内の再構成されたピクセルに基づいて予測器が形成され得る。モード決定により、現在のブロックを予測するために最良の予測器が選択され得る。

【0017】

予測残差（すなわち、現在のブロックとその予測器との間の差）は、変換モジュールに送られる。次いで、エントロピー低減のために、変換係数が量子化モジュールに送られる。量子化された係数は、圧縮されたビデオビットストリームを生成するためにエントロピー符号化モジュールに供給される。図１に示すように、ブロック分割情報、動きベクトル、参照ピクチャインデックス、およびイントラ予測モードなどの、インター予測モジュールおよび／またはイントラ予測モジュールからの予測関連情報も、エントロピー符号化モジュールを通過し、ビットストリームに保存される。

【0018】

エンコーダでは、予測目的のためにピクセルを再構成するために、デコーダ関連モジュールも必要である。まず、逆量子化と逆変換を通して予測残差が再構成される。このような再構成予測残差をブロック予測器と組み合わせて、現在のブロックについてフィルタ処理されていない再構成画素を生成する。

【0019】

符号化効率および表示品質を改善するために、ループ内フィルタが一般に使用される。例えば、非ブロック化フィルタが、ＡＶＣ、ＨＥＶＣ、及び現在のＶＶＣにおいて利用可能である。ＨＥＶＣでは、符号化効率をさらに改善するために、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ：サンプル適応オフセット）と呼ばれる追加のループ内フィルタが定義される。最新のＶＶＣでは、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ：適応ループフィルタ）と呼ばれるさらに別のループ内フィルタが積極的に研究されており、最終的な規格に含まれる可能性が高い。

【0020】

これらのループ内フィルタ操作はオプションである。通常、それらをオン（有効）にすることは、符号化効率および表示品質を改善するのに役立つ。また、計算の複雑さを省くために、エンコーダの決定としてオフ（無効）にすることもある。

【0021】

イントラ予測は、通常、フィルタリングされていない再構成画素に基づいているが、一方、インター予測は、これらのフィルタオプションがエンコーダによってオンにされている場合、フィルタリングされた再構成画素に基づいていることに留意されたい。

【0022】

図２は、典型的なデコーダ（復号化器）２００のブロック図を示す。デコーダ２００は、ビットストリーム２１０、エントロピー復号化器２１２、逆量子化器２１４、逆変換器２１６、加算器２１８、イントラ／インターモード選択器２２０、イントラ予測器２２２、メモリ２３０、ループ内フィルタ２２８、動き補償器２２４、ピクチャバッファ２２６、予測関連情報２３４、およびビデオ出力２３２を有する。

【0023】

デコーダにおいて、ビットストリームはまず、量子化された係数レベルおよび予測関連情報を導出するために、エントロピー復号化モジュールを介して復号化される。次に、逆量子化及び逆変換モジュールを通して量子化係数レベルを処理し、再構成予測残差を得る。復号された予測情報に基づいて、イントラ予測または動き補償プロセスのいずれかによって、ブロック予測器が形成される。再構成された予測残差とブロック予測器を合計することにより、フィルタリングされていない再構成画素を得る。ループ内フィルタがオンになっている場合、出力のための最終的な再構成ビデオを導出するために、フィルタリング操作がこれらの画素に対して実行される。

【0024】

図３は、本開示による方法３００のステップを説明する例示的なフローチャートを示す。

【0025】

関連する制御点集合が有効であるかどうかのチェックを含む、構築されたアフィンマージ導出は、エンコーダ側とデコーダ側との両方で実行される。

【0026】

ステップ３１０では、デコーダから１以上の制御点集合を取得し、１以上の制御点集合は、制御点集合インデックスと制御点とを含み、各制御点集合は複数の制御点を含み、各制御点は、第１の参照ピクチャインデックスと、ｌｉｓｔ０動きベクトルと、ｌｉｓｔ１参照ピクチャインデックスと、ｌｉｓｔ１動きベクトルと、を含む。

【0027】

例示的な実施形態では、デコーダから制御点集合を取得することは、ビデオ入力から空間隣接ブロックおよび時間ブロックを取得し、空間隣接ブロックおよび時間ブロックに基づいて制御点を決定し、空間隣接ブロックおよび時間ブロックからの制御点に基づいて動き情報を導出し、制御点に基づいて制御点集合を定義することを含み、制御点集合は、制御点集合インデックスを含む。

【0028】

各制御点は、２つの参照インデックスを有する。一つの制御点は参照ピクチャリスト０の参照ピクチャを参照し、他の一つは参照ピクチャリスト１の参照ピクチャを指し示す。ＶＶＣ仕様では、ｌｉｓｔ０／ｌｉｓｔ１予測のいずれが使用されるか示すために２つのフラグが使用される。例えば、フラグ１フラグＸ１（ｆｌａｇ ｏｎｅ ｆｌａｇ Ｘ ｏｎｅ）は、リストＸが使用されるか否かを示すために使用される。（ここで、Ｘは０または１であり得る）

【0029】

ｌｉｓｔ０予測のみを使用する制御点（通常、片予測（ｕｎｉ－ｐｒｅｄｉｃｔｉｏｎ）と呼ぶ）の場合、そのｌｉｓｔ０参照インデックスは１つの参照ピクチャを指す必要があり、従って、インデックス値は０以上である必要がある。そして、そのｌｉｓｔ１参照インデックスは、どの参照ピクチャも指し示さず、その値は無効を表す値（例えば、ＶＶＣ仕様では－１）に設定される。さらに、この場合、フラグ１Ｎは１／真（ｔｒｕｅ）にセットされ、フラグ２Ｎは０／偽（ｆａｌｓｅ）にセットされる。

【0030】

ｌｉｓｔ１予測のみを使用する制御点（通常、片予測（ｕｎｉ－ｐｒｅｄｉｃｔｉｏｎ）と呼ぶ）の場合、そのｌｉｓｔ１参照インデックスは１つの参照ピクチャを指す必要があり、従って、インデックス値は０以上である必要がある。また、そのｌｉｓｔ０参照インデックスは、どの参照ピクチャも指し示さず、その値は無効を表す値（例えば、ＶＶＣ仕様では－１）に設定される。さらに、この場合、フラグ１Ｎは０／偽に設定され、フラグ２Ｎは１／真に設定される。

【0031】

ｌｉｓｔ０およびｌｉｓｔ１予測の両方を利用する制御点については、そのｌｉｓｔ０参照インデックスおよびｌｉｓｔ１参照インデックスの両方が０以上である。さらに、この場合、フラグ１Ｎは１／真に設定され、フラグ２Ｎは１／真に設定される。

【0032】

ステップ３１２では、デコーダによって、第１の参照ピクチャリスト内の参照ピクチャを指し示す参照インデックスに関連する、制御点集合内の制御点集合インデックスの各制御点の参照インデックスが、ゼロ以上であり、かつ、それぞれが互いに等しいかどうかを判定する。

【0033】

ステップ３１４では、デコーダによって、第２の参照ピクチャリスト内の参照ピクチャを指し示す参照インデックスに関連する、制御点集合内の制御点集合インデックスの各制御点の参照インデックスが、ゼロ以上であり、かつ、それぞれが互いに等しいかどうかを判定する。

【0034】

ステップ３１６では、デコーダによって、判定結果に基づいて、制御点集合内の制御点の動きベクトルにかかわらず、アフィン動きモデルが利用可能であると判定する。

【0035】

図４は、本開示による方法４００のステップを説明する例示的なフローチャートを示す。

【0036】

ステップ４１０では、デコーダによって、参照ピクチャｌｉｓｔ０を指し示す参照インデックスに関連する、制御点集合内の制御点集合インデックスの各制御点の参照インデックスが、ゼロ以上であり、かつ、互いに等しいことを判定する。

【0037】

ステップ４１２において、デコーダによって、参照ピクチャｌｉｓｔ０を指し示す動きベクトルに関連する、制御点集合内の制御点集合インデックスの第１の制御点の動きベクトルが、参照ピクチャｌｉｓｔ０を指し示す動きベクトルに関連する、制御点集合内の制御点集合インデックスの第２の制御点の動きベクトルと等しくないこと、または、第１の制御点の動きベクトルが、第１の参照ピクチャｌｉｓｔ０を指し示す動きベクトルに関連する、制御点集合内の制御点集合インデックスの第３の制御点の動きベクトルと等しくないことを判定する。

【0038】

ステップ４１４において、デコーダによって、制御点集合インデックスの制御点集合内の制御点の動き情報を、現在のブロックの関連する制御点の動き情報として設定して、第１のリストアフィン動きモデルを導出する。

【0039】

ステップ４１６では、デコーダによって、参照ピクチャｌｉｓｔ０を指し示す参照インデックスに関連する、制御点集合内の制御点集合インデックスのｘ制御点の参照インデックスが、ゼロ以上であることを判定する。

【0040】

ステップ４１８では、デコーダによって、参照ピクチャｌｉｓｔ０を指し示す参照インデックスに関連する、制御点集合内の制御点集合インデックスのｘ制御点の動き情報を、現在のブロックのすべての制御点の動き情報として設定して、第１のリストアフィン動きモデルを導出する。

【0041】

図５は、本開示による方法５００のステップを説明する例示的なフローチャートを示す。

【0042】

ステップ５１０において、デコーダによって、第１の参照ピクチャリスト内の参照ピクチャを指し示す参照インデックスに関連する、制御点集合内の制御点集合インデックスの各制御点の参照インデックスが、ゼロ以上であることを判定する。

【0043】

ステップ５１２において、デコーダによって、制御点集合インデックス内の制御点の動き情報を、現在のブロックの関連する制御点の動き情報として設定して、第１のリストアフィン動きモデルを導出する。

【0044】

ステップ５１４では、デコーダによって、制御点集合インデックスの参照ピクチャインデックスを、現在のブロックの参照ピクチャインデックスとして設定する。

【0045】

ＨＥＶＣでは、動き補償予測（ＭＣＰ）のために並進運動（ｔｒａｎｓｌａｔｉｏｎ ｍｏｔｉｏｎ）モデルのみが適用される。一方、現実世界では、例えば、ズームイン／ズームアウト、回転、透視運動、および他の不規則な動きなど、多くの種類の動きがある。ＶＶＣ（ＶＴＭ３）の現在の基準ソフトウェアでは、ブロックベースのアフィン変換動き補償予測が適用される。図６Ａおよび図６Ｂ（後述）に示すように、ブロックのアフィン動きフィールドは、２つの制御点（４パラメータ）または３つの制御点動きベクトル（６パラメータ）の動き情報によって記述される。

【0046】

図６Ａは、４パラメータアフィンモデルの制御点に基づくアフィン運動モデルを示す。

【0047】

図６Ｂは、６パラメータアフィンモデルの制御点に基づくアフィン運動モデルを示す。

【0048】

４パラメータアフィン動きモデルの場合、ブロック内のサンプル位置（ｘ、ｙ）における動きベクトルは、以下のように導出される。

【数1】

【0049】

６パラメータアフィン動きモデルの場合、ブロック内のサンプル位置（ｘ、ｙ）における動きベクトルは、以下のように導出される。

【数2】

【0050】

ここで、（ｍｖ_０ｘ、ｍｖ_０ｙ）は左上隅制御点の動きベクトル、（ｍｖ_１ｘ、ｍｖ_１ｙ）は右上隅制御点の動きベクトル、（ｍｖ_２ｘ、ｍｖ_２ｙ）は左下隅制御点の動きベクトルである。

【0051】

動き補償予測を単純化するために、ブロックベースのアフィン変換予測が適用される。各４×４輝度サブブロックの動きベクトルを導出するために、図７（後述）に示されるように、各サブブロックの中心サンプルの動きベクトルは上記の式に従って計算され、１／１６分数精度に丸められる。次に、動き補償補間フィルタを適用して、導出した動きベクトルを持つ各サブブロックの予測が生成される。彩度成分のサブブロックサイズも４×４に設定される。４×４彩度サブブロックの動きベクトル（ＭＶ）は、４つの対応する４×４輝度サブブロックのＭＶの平均として計算される。

【0052】

図７は、サブブロックごとのアフィン動きベクトルフィールド（ＭＶＦ）を示す。

【0053】

並進運動インター予測において行われるように、アフィン動きインター予測モードにも、アフィンマージモードおよびアフィンＡＭＶＰモードの２つがある。

【0054】

アフィンマージ予測

【0055】

ＡＦ＿ＭＥＲＧＥモードは、幅と高さの両方が８以上のＣＵ（符号化ユニット）に適用することができる。このモードでは、現在のＣＵの制御点の動きベクトル（ＣＰＭＶ）は、空間的に隣接するＣＵの動き情報に基づいて生成される。５つまでのＣＰＭＶＰ候補が存在し得、インデックスは、現在のＣＵのために使用されるべきものを示すようにシグナリングされる。次の３種類のＣＰＭＶ候補が、アフィンマージ候補リストを形成するために使用される。
１．隣接ＣＵのＣＰＭＶから外挿された継承アフィンマージ候補。
２．隣接ＣＵの並進（ｔｒａｎｓｌａｔｉｏｎａｌ）ＭＶを使用して導出される構築されたアフィンマージ候補ＣＰＭＶＰ。
３．ゼロＭＶ。

【0056】

ＶＴＭ３では、最大２つの継承アフィン候補があり、これらは、隣接ブロックのアフィン動きモデルから導出され、１つは左側隣接ＣＵから、１つは上側隣接ＣＵから導出される。候補ブロックを図８（後述）に示す。左の予測器の場合、スキャン順序はＡ０－＞Ａ１であり、上の予測器の場合、スキャン順序はＢ０－＞Ｂ１－＞Ｂ２である。各側から最初に継承された候補のみが選択される。２つの継承された候補間で枝刈り検査は行われない。隣接するアフィンＣＵが識別されると、その制御点動きベクトルは、現在のＣＵのアフィンマージリスト内のＣＰＭＶＰ候補を導出するために使用される。図９（後述）に示すように、隣接する左下ブロックＡをアフィンモードで符号化すると、ブロックＡを含むＣＵの左上隅、右上隅、及び、左下隅の動きベクトルｖ_２、ｖ_３、ｖ_４が得られる。ブロックＡが４パラメータアフィンモデルで符号化される場合、現在のＣＵの２つのＣＰＭＶは、ｖ_２およびｖ_３に従って計算される。ブロックＡが６パラメータアフィンモデルで符号化される場合、現在のＣＵの３つのＣＰＭＶは、ｖ_２、ｖ_３、およびｖ_４に従って計算される。

【0057】

図８は、継承されたアフィン動き予測器の位置を示す。

【0058】

図９は、制御点動きベクトル継承を示す。

【0059】

構築されたアフィン候補とは、各制御点の隣接（近傍）並進運動情報を組み合わせることによって候補が構築されることを意味する。制御点の動き情報は、図１０（後述）に示す特定の空間的近傍および時間的近傍から導出される。ＣＰ_ｋ（ｋ＝１、２、３、４）はｋ番目の制御点を表す。ＣＰ_１は現在のブロックの左上隅にある制御点であり、Ｂ２－＞Ｂ３－＞Ａ２ブロックがチェックされ、使用可能な最初のブロックのＭＶがＣＰ_１の動き情報として使用される。ＣＰ_２は現在のブロックの右上隅にある制御点であり、Ｂ１－＞Ｂ０ブロックがチェックされ、使用可能な最初のブロックのＭＶがＣＰ_２の動き情報として使用される。ＣＰ_３は現在のブロックの左下隅にある制御点であり、Ａ１－＞Ａ０ブロックがチェックされる。また、時間的動きベクトル予測器（ＴＭＶＰ）は、それが利用可能であれば、右下制御点ＣＰ_４として使用される。

【0060】

図１０は、構築されたアフィンマージモードの候補位置の配置を示す。
４つの制御点が得られた後、制御点の動き情報に基づいてアフィンマージ候補が構築される。以下の６つの制御点の組み合わせを使用して、構築されたアフィンマージ候補を順番に構築する。
｛ＣＰ_１、ＣＰ_２、ＣＰ_３｝，｛ＣＰ_１、ＣＰ_２、ＣＰ_４｝，｛ＣＰ_１、ＣＰ_３、ＣＰ_４｝，
｛ＣＰ_２、ＣＰ_３、ＣＰ_４｝，｛ＣＰ_１、ＣＰ_２｝，｛ＣＰ_１、ＣＰ_３｝

【0061】

３つの制御点の組み合わせは６パラメータアフィンマージ候補を構成し、２つの制御点の組み合わせは４パラメータアフィンマージ候補を構成する。動きスケーリング処理を回避するために、制御点の参照インデックスが異なる場合、関連する制御点ＭＶの組み合わせは破棄される。さらに、２つのＣＰＭＶが４パラメータアフィンモデルの下で同一である（３つのＣＰＭＶが６パラメータアフィンモデルの下で同一である）場合、関連する制御点ＭＶの組合せも破棄される。構築されたアフィンマージ候補を導出するフローチャートを図１１（後述）に示す。

【0062】

図１１は、構築されたアフィンマージ候補を導出するフローチャートを示す。

【0063】

アフィンＡＭＶＰ予測

【0064】

アフィンＡＭＶＰモードは、幅と高さの両方が１６以上のＣＵに適用することができる。ＣＵレベルのアフィンフラグは、アフィンＡＭＶＰモードが使用されているかどうかを示すためにビットストリームでシグナリングされ、次に別のフラグが、４パラメータのアフィンか６パラメータのアフィンかを示すためにシグナリングされる。このモードでは、現在のＣＵのＣＰＭＶとそれらの予測器ＣＰＭＶＰとの差が、ビットストリームにおいてシグナリングされる。アフィンＡＭＶＰ候補リストサイズは２で、次の４種類のＣＰＭＶ候補を順に使用して生成される。
１．隣接ＣＵのＣＰＭＶから外挿された継承アフィンＡＭＶＰ候補。
２．隣接ＣＵの並進ＭＶを用いて導出される構築されたアフィンＡＭＶＰ候補ＣＰＭＶＰ。
３．隣接するＣＵからの並進ＭＶ。
４．ゼロＭＶ。

【0065】

継承アフィンＡＭＶＰ候補の検査順序は、継承アフィンマージ候補の検査順序と同じである。唯一の違いは、ＡＭＶＰ候補に対しては、現在のブロックと同じ参照ピクチャを有するアフィンＣＵのみが考慮されることである。継承されたアフィン動き予測器を候補リストに挿入する際、枝刈りプロセスは適用されない。

【0066】

構築されたＡＭＶＰ候補は、図１０に示される指定された空間近傍からのみ導出される。アフィンマージ候補構築と同様の検査順序が用いられる。さらに、隣接ブロックの参照ピクチャインデックスも検査される。インター符号化され、現在のＣＵと同じ参照ピクチャを有する、検査順序における最初のブロックが使用される。

【0067】

３つのＣＰＭＶすべてがある場合、そのままアフィンＡＭＶＰリストに挿入される。ｍｖ_０およびｍｖ_１のみが利用可能な場合、ｍｖ_２は次のように導出される。

【数3】

【0068】

ここで、現在のＣＵサイズはｗ×ｈである。ｍｖ_０およびｍｖ_２のみが利用可能な場合、ｍｖ_１は次のように導出される。

【数4】

【0069】

アフィンＡＭＶＰリスト候補が依然として２未満である場合、利用可能な場合、ｍｖ_０、ｍｖ_１、ｍｖ_２が、現在のＣＵのすべての制御点ＭＶを予測するための並進ＭＶとして順番に追加される。

【0070】

アフィン動き情報記憶部

【0071】

ＶＴＭ３では、アフィンＣＵのＣＰＭＶは別個のバッファに記憶される。記憶されたＣＰＭＶは、最近に符号化されたＣＵのために、アフィンマージモードおよびアフィンＡＭＶＰモードで継承されたＣＰＭＶＰを生成するためにのみ使用される。ＣＰＭＶから導出されたサブブロックＭＶは、動き補償、並進ＭＶのマージ／ＡＭＶＰリストのＭＶ導出、および非ブロック化（ｄｅ－ｂｌｏｃｋｉｎｇ）のために使用される。

【0072】

追加のＣＰＭＶのためのピクチャラインバッファを回避するために、上部ＣＴＵからのＣＵからのアフィン動きデータ継承は、通常の隣接するＣＵからの継承とは異なる扱われ方をする。アフィン動きデータ継承のための候補ＣＵが上部ＣＴＵラインにある場合、ＣＰＭＶの代わりに、ラインバッファ内の左下および右下のサブブロックＭＶがアフィンＭＶＰ導出に使用される。このように、ＣＰＭＶはローカルバッファにのみ記憶される。候補ＣＵが６パラメータアフィン符号化されている場合、アフィンモデルは４パラメータモデルに劣化する。図１２（後述）に示すように、ＣＴＵ上部境界に沿って、ＣＵの左下と右下のサブブロック動きベクトルが、下部ＣＴＵにおけるＣＵのアフィン継承に使用される。

【0073】

図１２は、提案された組合せ方法への動きベクトル使用の説明を示す。

【0074】

一実施形態では、構築されたアフィンマージ候補を導出するとき、並進運動モデルは、制御点間のＭＶが同一であり得るので、有効なアフィンマージ候補とみなされる。構築されたアフィンマージ候補について並進運動モデルを可能にするために、制御点のＭＶ間の比較を除外することが提案される。ＭＶ間の比較が除外されるので、提案した方式は構築されたアフィンマージ候補の導出を単純化できる。既存の方法に基づくフローチャートの一例を図１３（後述）に示す。

【0075】

図１３は、アフィンマージ候補を導出する方法のフローチャートを示す。
別の実施形態では、制御点間の参照インデックスが異なる場合、これに関連する制御点集合によって導出されたアフィン運動モデルは、利用不可能とみなされる。さらに別の提案された方式では、制御点間の動き情報の検査は、制御点間の参照インデックスが異なる場合の条件を考慮するように修正される。提案された方式では、参照インデックスが制御点間で異なる場合、選択された１つの制御点の動き情報が、すべての制御点の動き情報として使用される。図１４および図１５（後述）には、ｌｉｓｔ０（または順方向参照ピクチャリストと呼ばれる）６パラメータアフィン動きモデルの導出について、提案された修正を実証するための２つの例が示されている。一般性を失うことなく、同じ修正をｌｉｓｔ１または４パラメータアフィン動きモデル導出にも適用することができる。

【0076】

図１４は、制御点間で異なる参照インデックスを考慮したアフィン動きモデルの導出を示す。

【0077】

図１５は、制御点間で異なる参照インデックスを考慮したアフィン動きモデルの導出を示す。

【0078】

さらに別の提案された方式では、制御点間の動き情報の検査はすべて禁止される。提案された方式では、制御点が動き情報を持つ限り、それらが異なる参照ピクチャインデックスを持つ場合でも、アフィン動きモデルを構築するために使用される。既存の方法に基づくフローチャートの一例を図１６（後述）に示す。

【0079】

他の実施形態は、本明細書の考慮および本明細書に開示された実施形態の実施から当業者には明らかであろう。本出願は、その一般的な原理に従い、当技術分野における既知のまたは慣例的な実施の範囲内に含まれるような本開示からの逸脱を含む、実施形態の任意の変形、使用、または適応を包含することが意図される。本明細書および実施例は、単に例示的なものとみなされ、実施形態の真の範囲および精神は、以下の特許請求の範囲によって示されることが意図される。

【0080】

本実施形態は、上述し、添付図面に示した例に厳密に限定されるものではなく、その範囲から逸脱することなく、様々な修正及び変更を行うことができることが理解されるであろう。実施形態の範囲は、添付の特許請求の範囲によってのみ限定されることが意図される。

【0081】

図１６は、参照ピクチャインデックスを考慮したアフィン運動モデルの導出を示す。

【0082】

図１７は、ユーザインターフェース１７６０に結合されたコンピューティング環境１７１０を示す。コンピューティング環境１７１０は、データ処理サーバの一部とすることができる。コンピューティング環境１７１０は、プロセッサ１７２０、メモリ１７４０、およびＩ／Ｏインターフェース１７５０を含む。

【0083】

プロセッサ１７２０は、典型的には、ディスプレイ、データ取得、データ通信、および画像処理に関連する動作のような、コンピューティング環境１７１０の全体的な動作を制御する。プロセッサ１７２０は、上述の方法におけるステップのすべてまたは一部を実行する命令を実行するための１つ以上のプロセッサを含んでもよい。さらに、プロセッサ１７２０は、プロセッサ１７２０と他の構成要素との間の対話相互作用を容易にする１つ以上のモジュールを含んでもよい。プロセッサは、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、シングルチップマシン、ＧＰＵなどであってよい。

【0084】

メモリ１７４０は、コンピューティング環境１７１０の動作をサポートするために、様々なタイプのデータを記憶するように構成される。そのようなデータの例は、コンピューティング環境１７１０上で動作する任意のアプリケーションまたは方法のための命令、ＭＲＩデータセット、画像データなどを含む。メモリ１７４０は、静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、プログラマブル読取専用メモリ（ＰＲＯＭ）、読取専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク、または光ディスクなど、任意の種類の揮発性または不揮発性のメモリ装置、またはそれらの組合せを使用することによって実装され得る。

【0085】

Ｉ／Ｏインターフェース１７５０は、プロセッサ１７２０と、キーボード、クリックホイール、ボタンなどの周辺インターフェースモジュールとの間のインターフェースを提供する。ボタンは、ホームボタン、スタートスキャンボタン、およびストップスキャンボタンを含むことができるが、これらに限定されない。Ｉ／Ｏインターフェース１７５０は、エンコーダおよびデコーダに結合されることができる。

【0086】

一実施形態では、上述の方法を実行するために、コンピューティング環境１７１０内のプロセッサ１７２０によって実行可能な、メモリ１７４０に含まれるような複数のプログラムを含む非一時的コンピュータ可読記憶媒体も提供される。例えば、非一時的コンピュータ可読記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク（登録商標）、光データ記憶装置等であってもよい。

【0087】

非一時的コンピュータ可読記憶媒体は、１つ以上のプロセッサを有するコンピュータ装置によって実行される複数のプログラムを記憶しており、複数のプログラムは、１つ以上のプロセッサによって実行されると、コンピュータ装置に上述した動き予測方法を実行させる。

【0088】

一実施形態では、コンピューティング環境１７１０は、上述の方法を実行するために、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィカル処理ユニット（ＧＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子構成要素を用いて実装され得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】