特表 2024-531578 ビデオ符号化復号化におけるアフィンマージモードの候補導出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-29

(54)【発明の名称】ビデオ符号化復号化におけるアフィンマージモードの候補導出

(51)【国際特許分類】

   H04N 19/109 20140101AFI20240822BHJP

   H04N 19/157 20140101ALI20240822BHJP

   H04N 19/176 20140101ALI20240822BHJP

   H04N 19/54 20140101ALI20240822BHJP

   H04N 19/46 20140101ALI20240822BHJP

【ＦＩ】

H04N19/109

H04N19/157

H04N19/176

H04N19/54

H04N19/46

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024514503

(86)(22)【出願日】2022-09-06

(85)【翻訳文提出日】2024-04-25

(86)【国際出願番号】 US2022042654

(87)【国際公開番号】W WO2023034640

(87)【国際公開日】2023-03-09

(31)【優先権主張番号】63/241,094

(32)【優先日】2021-09-06

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521147444

【氏名又は名称】ベイジン ダージャー インターネット インフォメーション テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＤＡＪＩＡ ＩＮＴＥＲＮＥＴ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100163511

【弁理士】

【氏名又は名称】辻 啓太

(72)【発明者】

【氏名】チェン ウェイ

(72)【発明者】

【氏名】シュウ シャオユウ

(72)【発明者】

【氏名】チェン イーウェン

(72)【発明者】

【氏名】チュウ ホンチェン

(72)【発明者】

【氏名】クオ チェウェイ

(72)【発明者】

【氏名】ヤン ニン

(72)【発明者】

【氏名】ワン シャンリン

(72)【発明者】

【氏名】ユ ビン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA05

5C159NN10

5C159NN11

5C159NN21

5C159NN31

5C159RC12

5C159TA61

5C159TB08

5C159TC12

5C159TC31

5C159TC42

5C159UA02

5C159UA05

5C159UA22

(57)【要約】

ビデオ符号化の方法、装置、及びその非一時的コンピュータ可読記憶媒体を提供する。この方法は、現在のブロックに隣接しない複数の非隣接近傍ブロックから１つ以上のアフィン候補を取得するステップを含む。この方法は、１つ以上のアフィン候補に基づいて、現在のブロックの１つ以上の制御ポイント動きベクトル（ＣＰＭＶ）を取得するステップを更に含んでもよい。

【特許請求の範囲】

【請求項1】

現在のブロックに隣接しない複数の非隣接近傍ブロックから１つ以上のアフィン候補を取得するステップと、
前記１つ以上のアフィン候補に基づいて、前記現在のブロックの１つ以上の制御ポイント動きベクトル（ＣＰＭＶ）を取得するステップと、を含む、ビデオ符号化の方法。

【請求項2】

走査規則に従って前記１つ以上のアフィンマージ候補を取得するステップを更に含む、請求項１に記載の方法。

【請求項3】

少なくとも１つの走査領域、少なくとも１つの走査距離、及び走査順序に基づいて前記走査規則を決定するステップを更に含む、請求項２に記載の方法。

【請求項4】

前記少なくとも１つの走査距離は、前記現在のブロックの辺から離れたブロックの数を示す、請求項３に記載の方法。

【請求項5】

第１走査領域内の複数の非隣接近傍ブロックを走査して、アフィンモードで符号化された１つ以上の非隣接近傍ブロックを取得するステップと、
アフィンモードで符号化された前記１つ以上の非隣接近傍ブロックを前記１つ以上のアフィン候補として決定するステップと、を更に含む、請求項４に記載の方法。

【請求項6】

取得されたアフィンモードで符号化された前記１つ以上の非隣接近傍ブロックの数が所定の数に達したと決定することに応答して、前記第１走査領域内での走査を停止するステップを更に含む、請求項５に記載の方法。

【請求項7】

前記現在のブロックの左辺と平行な走査線に沿って、第１開始非隣接近傍ブロックから走査するステップであって、前記第１開始非隣接ブロックが前記第１走査領域内の底部ブロックであり、前記第１走査領域内のブロックが前記現在のブロックの左辺から第１走査距離離れた位置にある、ステップを更に含む、請求項６に記載の方法。

【請求項8】

前記第１開始非隣接ブロックは、第２走査領域内の第２開始非隣接近傍ブロックの底部及び左側にあり、前記第２走査領域内のブロックは、前記現在のブロックの左辺から第２走査距離離れた位置にある、請求項７に記載の方法。

【請求項9】

前記現在のブロックの上辺と平行な走査線に沿って、第３開始非隣接近傍ブロックから走査するステップであって、前記第３開始非隣接ブロックが前記第１走査領域内の右側ブロックであり、前記第１走査領域内のブロックが前記現在のブロックの上辺から第１走査距離離れた位置にある、ステップを更に含む、請求項５に記載の方法。

【請求項10】

前記第３開始非隣接ブロックは、第２走査領域内の第４開始非隣接近傍ブロックの上部及び右側にあり、前記第２走査領域内のブロックは、前記現在のブロックの上辺から第２走査距離離れた位置にある、請求項９に記載の方法。

【請求項11】

前記少なくとも１つの走査領域は、前記現在のブロックの左側にある少なくとも１つの左側走査領域と、前記現在のブロックの上方にある少なくとも１つの上部走査領域とを含み、
前記方法は、
前記少なくとも１つの左側走査領域内の複数の第１非隣接近傍ブロックを走査して、アフィンモードで符号化された１つ以上の第１非隣接近傍ブロックを取得するステップと、
前記少なくとも１つの上部走査領域内の複数の第２非隣接近傍ブロックを走査して、アフィンモードで符号化された１つ以上の第２非隣接近傍ブロックを取得するステップと、
アフィンモードで符号化された前記１つ以上の第１非隣接近傍ブロック及びアフィンモードで符号化された前記１つ以上の第２非隣接近傍ブロックを前記１つ以上のアフィン候補として決定するステップと、を更に含む、請求項４に記載の方法。

【請求項12】

前記少なくとも１つの左側走査領域は、第１左側走査領域、第２左側走査領域、及び第３左側走査領域を含み、
前記第１左側走査領域内のブロックは、前記現在のブロックの左辺から第１走査距離離れた位置にあり、前記第２左側走査領域内のブロックは、前記現在のブロックの左辺から第２走査距離離れた位置にあり、前記第３左側走査領域内のブロックは、前記現在のブロックの左辺から第３走査距離離れた位置にあり、
前記少なくとも１つの左側走査領域内の複数の前記第１非隣接近傍ブロックを走査するステップは、
前記現在のブロックの左辺と平行な第１走査線に沿って、第１開始非隣接近傍ブロックから走査するステップであって、前記第１開始非隣接ブロックが前記第１左側走査領域内の底部ブロックである、ステップと、
前記現在のブロックの左辺と平行な第２走査線に沿って、第２開始非隣接近傍ブロックから走査するステップであって、前記第２開始非隣接近傍ブロックが前記第２左側走査領域内の底部ブロックである、ステップと、
前記現在のブロックの左辺と平行な第３走査線に沿って、第３開始非隣接近傍ブロックから走査するステップであって、前記第３開始非隣接近傍ブロックが前記第３左側走査領域内の底部ブロックである、ステップと、を含む、請求項１１に記載の方法。

【請求項13】

前記少なくとも１つの上部走査領域は、第１上部走査領域、第２上部走査領域、及び第３上部走査領域を含み、
前記第１上部走査領域内のブロックは、前記現在のブロックの上辺から第１走査距離離れた位置にあり、前記第２上部走査領域内のブロックは、前記現在のブロックの上辺から第２走査距離離れた位置にあり、前記第３上部走査領域内のブロックは、前記現在のブロックの上辺から第３走査距離離れた位置にあり、
前記少なくとも１つの上部走査領域内の複数の前記第２非隣接近傍ブロックを走査するステップは、
前記現在のブロックの上辺と平行な第４走査線に沿って、第４開始非隣接近傍ブロックから走査するステップであって、前記第４開始非隣接ブロックが前記第１上部走査領域内の右側ブロックである、ステップと、
前記現在のブロックの上辺と平行な第５走査線に沿って、第５開始非隣接近傍ブロックから走査するステップであって、前記第５開始非隣接近傍ブロックが前記第２上部走査領域内の右側ブロックである、ステップと、
前記現在のブロックの上辺と平行な第６走査線に沿って、第６開始非隣接近傍ブロックから走査するステップであって、前記第６開始非隣接近傍ブロックが前記第３上部走査領域内の右側ブロックである、ステップと、を含む、請求項１２に記載の方法。

【請求項14】

前記第１走査距離は、前記第２走査距離又は第３走査距離より小さく、前記第２走査距離は、前記第３走査距離より小さい、請求項１３に記載の方法。

【請求項15】

走査規則に基づいて、第１アフィン候補の第１候補位置と、第２アフィン候補の第２候補位置とを取得するステップと、
前記第１候補位置及び第２候補位置に基づいて、第３アフィン候補の第３候補位置を決定するステップと、
前記第１候補位置、前記第２候補位置、及び前記第３候補位置に基づいて仮想ブロックを取得するステップと、
前記第１候補位置、前記第２候補位置、及び前記第３候補位置での並進ＭＶに基づいて、前記仮想ブロックの３つの制御ポイント動きベクトル（ＣＰＭＶ）を取得するステップと、
継承された候補導出に使用される同じ投影プロセスを使用して、前記仮想ブロックの３つのＣＰＭＶに基づいて、前記現在のブロックの２つ又は３つのＣＰＭＶを取得するステップと、を更に含む、請求項１に記載の方法。

【請求項16】

前記仮想ブロックは、矩形の符号化ブロックであり、前記第３候補位置は、前記第１候補位置の垂直位置と前記第２候補位置の水平位置に基づいて決定される、請求項１５に記載の方法。

【請求項17】

少なくとも１つの走査領域、少なくとも１つの走査方向、少なくとも１つの走査距離、及び走査順序に基づいて前記走査規則を決定するステップを更に含む、請求項１６に記載の方法。

【請求項18】

前記現在のブロックの上辺に垂直な第１走査方向に沿って、第１走査距離で第１走査領域内に走査することによって前記第１候補位置を取得するステップであって、前記第１走査距離が第１数の動き場を含み、前記第１候補位置と前記上辺の右側及び上方にある隣接動き場との間の距離が前記第１走査距離であり、前記第１走査領域が前記上辺の右側及び上方にある１ラインの連続動き場を含む、ステップと、
前記現在のブロックの左辺に垂直な第２走査方向に沿って、第２走査距離で第２走査領域内に走査することによって前記第２候補位置を取得するステップであって、前記第２走査距離が第２数の動き場を含み、前記第２候補位置と前記左辺の左側及び下部にある隣接動き場との間の距離が前記第２走査距離であり、前記第２走査領域が前記左辺の左側及び下部にある１ラインの連続動き場を含む、ステップと、を更に含む、請求項１７に記載の方法。

【請求項19】

前記第１走査領域又は前記第２走査領域内に、前記現在のブロックから離れて面する走査順序で走査するステップを更に含む、請求項１８に記載の方法。

【請求項20】

前記現在のブロックの上辺に平行な第３走査方向に沿って、第３走査距離で第３走査領域内に走査することによって前記第１候補位置を取得するステップと、
前記現在のブロックの左辺に平行な第４走査方向に沿って、第４走査距離で第４走査領域内に走査することによって前記第２候補位置を取得するステップと、を更に含む、請求項１７に記載の方法。

【請求項21】

左側から右側への走査順序で前記第３走査領域内に走査するステップと、
上から下への走査順序で前記第４走査領域内に走査するステップと、を更に含む、請求項２０に記載の方法。

【請求項22】

前記現在のブロックの上辺に平行な第３走査方向と、前記上辺に垂直な第１走査方向との組み合わせに沿って第５走査距離で第５走査領域内に走査することによって、前記第１候補位置を取得するステップと、
前記現在のブロックの左辺に平行な第４走査方向と、前記左辺に垂直な第２走査方向との組み合わせに沿って第６走査距離で第６走査領域内に走査することによって、前記第２候補位置を取得するステップと、を更に含む、請求項１７に記載の方法。

【請求項23】

左側から右側への組み合わせ走査順序で、前記現在のブロックから離れて面して、前記第５走査領域内に走査するステップと、
上から下への組み合わせ走査順序で、前記現在のブロックから離れて面して、前記第６走査領域内に走査するステップと、を更に含む、請求項２２に記載の方法。

【請求項24】

前記１つ以上のアフィン候補の数が所定の数に達したと決定することに応答して、前記少なくとも１つの走査領域内での走査を停止するステップを更に含む、請求項１７に記載の方法。

【請求項25】

前記第１アフィン候補、前記第２アフィン候補、及び前記第３アフィン候補の動き情報が利用可能であると決定することに応答して、前記仮想ブロックが６パラメータアフィンモデルを表すと決定するステップと、
前記第１アフィン候補、前記第２アフィン候補、及び前記第３アフィン候補のうちの１つのアフィン候補の動き情報が担保できないと決定することに応答して、前記仮想ブロックが４パラメータアフィンモデルを表すと決定するステップと、
前記第１アフィン候補、前記第２アフィン候補、及び前記第３アフィン候補のうちの２つのアフィン候補の動き情報が担保できないと決定することに応答して、前記仮想ブロックが有効なアフィンモデルを表すことができないと決定するステップと、を更に含む、請求項１５に記載の方法。

【請求項26】

第１アフィン候補の１つ以上の制御ポイント動きベクトル（ＣＰＭＶ）に関連付けられた第１セットのアフィンモデルパラメータを計算するステップと、
第２アフィン候補の１つ以上のＣＰＭＶに関連付けられた第２セットのアフィンモデルパラメータを計算するステップと、
前記第１セットのアフィンモデルパラメータ及び前記第２セットのアフィンモデルパラメータに基づいて、前記第１アフィン候補と前記第２アフィン候補との間の類似性チェックを実行するステップと、を含む、アフィン候補をプルーニングする方法。

【請求項27】

前記第１セットのアフィンモデルパラメータが前記第２セットのアフィンモデルパラメータに類似すると決定することに応答して、前記第１アフィン候補が前記第２アフィン候補に類似すると決定し、前記第１アフィン候補及び前記第２アフィン候補のうちの１つをプルーニングするステップを更に含む、請求項２６に記載の方法。

【請求項28】

前記第１セットのアフィンモデルパラメータの１つのパラメータと前記第２セットのアフィンモデルパラメータの１つのパラメータとの差が所定の閾値より小さいと決定することに応答して、前記第１アフィン候補が前記第２アフィン候補に類似すると決定するステップを更に含む、請求項２６に記載の方法。

【請求項29】

前記現在のブロックの幅及び高さに従って、前記第１アフィン候補の１つ以上のＣＰＭＶに関連付けられた前記第１セットのアフィンモデルパラメータを計算するステップと、
前記現在のブロックの幅及び高さに従って、前記第２アフィン候補の１つ以上のＣＰＭＶに関連付けられた前記第２セットのアフィンモデルパラメータを計算するステップと、を更に含む、請求項２６に記載の方法。

【請求項30】

異なるアフィンモデルは、前記第１アフィン候補と前記第２アフィン候補にそれぞれ適用され、前記第１セットのアフィンモデルパラメータと前記第２セットのアフィンモデルパラメータは、それぞれ異なる前記アフィンモデルに関連付けられる、請求項２６に記載の方法。

【請求項31】

異なる前記アフィンモデルは、４パラメータアフィンモデル及び６パラメータアフィンモデルを含む、請求項３０に記載の方法。

【請求項32】

１つ以上のプロセッサと、
前記１つ以上のプロセッサに結合され、前記１つ以上のプロセッサによって実行可能な命令を記憶するように構成されたメモリと、を含み、
前記１つ以上のプロセッサは、前記命令の実行時に、請求項１～３１のいずれか一項に記載の方法を実行するように構成される、ビデオ符号化のための装置。

【請求項33】

１つ以上のコンピュータプロセッサによって実行されると、前記１つ以上のコンピュータプロセッサに請求項１～３１のいずれか一項に記載の方法を実行させるコンピュータ実行可能命令を記憶する非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本願は、２０２１年９月６日に提出された、名称が「Ｃａｎｄｉｄａｔｅ Ｄｅｒｉｖａｔｉｏｎ ｆｏｒ Ａｆｆｉｎｅ Ｍｅｒｇｅ Ｍｏｄｅ ｉｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」である米国仮特許出願第６３／２４１０９４号に対する優先権を主張するものであり、その内容全体は、参照により本明細書に組み込まれるものとする。

【技術分野】

【0002】

本開示は、ビデオ符号化復号化及び圧縮に関し、特に、ビデオ符号化又は復号プロセスにおけるアフィン動き予測モードのアフィンマージ候補導出を改善する方法及び装置に関するが、これらに限定されない。

【背景技術】

【0003】

ビデオデータを圧縮するためには、様々なビデオ符号化復号化技術を使用することができる。ビデオ符号化復号化は、１つ以上のビデオ符号化復号化標準に従って実行される。例えば、今日ではよく知られているいくつかのビデオ符号化復号化標準として、ＩＳＯ／ＩＥＣ ＭＰＥＧとＩＴＵ－Ｔ ＶＥＣＧによって共同開発された汎用ビデオ符号化復号化（ＶＶＣ）、高効率ビデオ符号化復号化（ＨＥＶＣ、Ｈ．２６５又はＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られる）、及び高度ビデオ符号化復号化（ＡＶＣ、Ｈ．２６４又はＭＰＥＧ－４ Ｐａｒｔ１０としても知られる）が挙げられる。ＡＯメディアビデオ１（ＡＶ１）は、先行標準ＶＰ９の後継としてＡｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ（ＡＯＭ）によって開発された。デジタルオーディオ及びデジタルビデオ圧縮標準を指すオーディオビデオ符号化復号化（ＡＶＳ）は、中国のオーディオ及びビデオ符号化標準ワークグループによって開発された別のビデオ圧縮標準シリーズである。既存のビデオ符号化復号化標準の多くは、例えば、ブロックベースの予測方法（例えば、インター予測、イントラ予測）を使用してビデオイメージ又はシーケンスに存在する冗長性を削減し、変換符号化を使用して予測誤差のエネルギーを圧縮するなどのように、有名なハイブリッドビデオ符号化復号化フレームワークに基づいて構築される。ビデオ符号化復号化技術の１つの重要な目標は、ビデオ品質の劣化を回避するか又は最小限に抑えながら、ビデオデータを、より低いビットレートを使用する形式に圧縮することである。

【0004】

第１世代のＡＶＳ標準は、中国の国家標準「情報技術、高度なオーディオビデオ符号化復号化、パート２：ビデオ」（ＡＶＳ１として知られている）及び「情報技術、高度なオーディオビデオ符号化復号化、パート１６：ラジオテレビビデオ」（ＡＶＳ＋として知られている）を含む。ＭＰＥＧ－２標準と比較して、同じ知覚品質で約５０％ビットレートを節約することができる。ＡＶＳ１標準のビデオ部分は、２００６年２月に中国の国家標準として公布された。第２世代のＡＶＳ標準は、主に追加のＨＤ ＴＶプログラムの送信を対象とした一連の中国国家標準「情報技術、効率的なマルチメディア符号化」（単にＡＶＳ２ともいう）を含む。ＡＶＳ２の符号化効率は、ＡＶＳ＋の２倍である。２０１６年５月に、ＡＶＳ２は、中国の国家標準として発行された。一方、ＡＶＳ２標準のビデオ部分は、アプリケーションの国際標準の１つとして電気電子学会（ＩＥＥＥ）によって提出された。ＡＶＳ３標準は、最新の国際標準ＨＥＶＣの符号化効率を超えることを目的とした、ＵＨＤビデオアプリケーション用の新世代のビデオ符号化復号化標準である。２０１９年３月に、第６８回のＡＶＳ会議で、ＨＥＶＣ標準よりも約３０％のビットレートを節約するＡＶＳ３－Ｐ２ベースラインが完成された。現在、ハイパフォーマンスモデル（ＨＰＭ）と呼ばれる１つの参照ソフトウェアがあり、該当参照ソフトウェアは、ＡＶＳグループによってメンテナンスされて、ＡＶＳ３標準の参照実装を実証する。

【発明の概要】

【0005】

本開示は、ビデオ符号化又は復号化プロセスにおけるアフィン動き予測モードのアフィンマージ候補導出の改善に関する技術の例を提供する。

【0006】

本開示の第１態様では、ビデオ符号化の方法を提供する。前記方法は、現在のブロックに隣接しない複数の非隣接近傍ブロックから１つ以上のアフィン候補を取得するステップを含んでもよい。更に、前記方法は、前記１つ以上のアフィン候補に基づいて、前記現在のブロックの１つ以上の制御ポイント動きベクトル（ＣＰＭＶ）を取得するステップを含んでもよい。

【0007】

本開示の第２態様では、アフィン候補をプルーニングする方法を提供する。前記方法は、第１アフィン候補の１つ以上のＣＰＭＶに関連付けられた第１セットのアフィンモデルパラメータを計算するステップを含んでもよい。更に、前記方法は、第２アフィン候補の１つ以上のＣＰＭＶに関連付けられた第２セットのアフィンモデルパラメータを計算するステップを含んでもよい。更に、前記方法は、前記第１セットのアフィンモデルパラメータ及び前記第２セットのアフィンモデルパラメータに基づいて、前記第１アフィン候補と前記第２アフィン候補との間の類似性チェックを実行するステップを含んでもよい。

【0008】

本開示の第３態様では、ビデオ符号化のための装置を提供する。前記装置は、１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行可能な命令を記憶するように構成されたメモリとを含む。更に、前記１つ以上のプロセッサは、前記命令の実行時に、第１態様又は第２態様に係る方法を実行するように構成される。

【0009】

本開示の第４態様では、１つ以上のコンピュータプロセッサによって実行されると、前記１つ以上のコンピュータプロセッサに第１態様又は第２態様に係る方法を実行させるコンピュータ実行可能命令を記憶する非一時的コンピュータ可読記憶媒体を提供する。

【図面の簡単な説明】

【0010】

添付の図面に示される具体的な実施例を参照して、本開示の実施例をより具体的に説明する。これらの図面は、いくつかの実施例を示すものに過ぎず、範囲を限定するものと考えられないことが考慮され、添付の図面を使用して追加の特異性及び詳細によりそれらの実施例を説明する。

【0011】

【図1】本開示のいくつかの実施例に係るエンコーダのブロック図である。

【図2】本開示のいくつかの実施例に係るデコーダのブロック図である。

【図3A】本開示のいくつかの実施例に係るマルチタイプツリー構造のブロックパーティションを示す図である。

【図3B】本開示のいくつかの実施例に係るマルチタイプツリー構造のブロックパーティションを示す図である。

【図3C】本開示のいくつかの実施例に係るマルチタイプツリー構造のブロックパーティションを示す図である。

【図3D】本開示のいくつかの実施例に係るマルチタイプツリー構造のブロックパーティションを示す図である。

【図3E】本開示のいくつかの実施例に係るマルチタイプツリー構造のブロックパーティションを示す図である。

【図4A】本開示のいくつかの実施例に係る４パラメータアフィンモデルを示す。

【図4B】本開示のいくつかの実施例に係る４パラメータアフィンモデルを示す。

【図5】本開示のいくつかの実施例に係る６パラメータアフィンモデルを示す。

【図6】本開示のいくつかの実施例に係る、継承されたアフィンマージ候補の隣接近傍ブロックを示す。

【図7】本開示のいくつかの実施例に係る、構築されたアフィンマージ候補の隣接近傍ブロックを示す。

【図8】本開示のいくつかの実施例に係る、継承されたアフィンマージ候補の非隣接近傍ブロックを示す。

【図9】本開示のいくつかの実施例に係る、非隣接近傍ブロックを使用する構築されたアフィンマージ候補の導出を示す図である。

【図10】本開示のいくつかの実施例に係る非隣接近傍ブロックの垂直走査を示す。

【図11】本開示のいくつかの実施例に係る非隣接近傍ブロックの平行走査を示す。

【図12】本開示のいくつかの実施例に係る、非隣接近傍ブロックの垂直走査と平行走査との組み合わせを示す。

【図13】本開示のいくつかの実施例に係る、ユーザインタフェースに結合されたコンピューティング環境を示す図である。

【図14】本開示のいくつかの実施例に係るビデオ符号化の方法を示すフローチャートである。

【図15】本開示のいくつかの実施例に係る、アフィン候補をプルーニングする方法を示すフローチャートである。

【図16】本開示のいくつかの実施例に係る、ビデオブロックの符号化及び復号化のためのシステムを示すブロック図である。

【発明を実施するための形態】

【0012】

具体的な実施形態を詳細に参照し、それらの実施例を添付図面に示す。以下の詳細な説明では、本明細書に示される主題を完全に理解するために、多数の非限定的で具体的な詳細が示されている。しかしながら、様々な代替実施形態を使用できることが当業者には明らかであろう。例えば、本明細書に示される主題は、デジタルビデオ機能を有する複数のタイプの電子機器に実施可能であることが当業者には明らかであろう。

【0013】

本明細書全体を通じて、「一実施形態」、「１つの実施形態」、「一実施例」、「いくつかの実施形態」、「いくつかの実施例」、又は類似の用語への言及は、記載される特定の特徴、構造、又は特性が少なくとも１つの実施形態又は実施例に含まれることを意味する。１つ又はいくつかの実施形態に関連して記載される特徴、構造、要素、又は特性は、特に明記されていない限り、他の実施形態にも適用可能である。

【0014】

本開示全体を通して、「第１」、「第２」、「第３」などの用語は全て、特に明記されていない限り、空間的又は時系列的な順序を暗示することなく、関連する要素、例えば装置、構成要素、組成、ステップなどを参照するための命名法としてのみ使用される。例えば、「第１装置」と「第２装置」は、別々に形成された２つの装置、又は同じ装置の２つの部分、構成要素、若しくは動作状態を指し、任意に命名されてもよい。

【0015】

「モジュール」、「サブモジュール」、「回路」、「サブ回路」、「回路システム」、「サブ回路システム」、「ユニット」、又は「サブユニット」という用語は、１つ以上のプロセッサによって実行できるコード又は命令を記憶するメモリ（共有、専用、又はグループ）を含んでもよい。モジュールは、記憶されたコード又は命令の有無にかかわらず、１つ以上の回路を含んでもよい。モジュール又は回路は、直接又は間接的に接続された１つ以上の構成要素を含んでもよい。これらの構成要素は、互いに物理的に取り付けられるか、又は互いに隣接して配置される場合があり、そうでない場合がある。

【0016】

本明細書で使用されるように、「もし…ば」又は「…場合」という用語は、文脈に応じて、「…ときに」又は「…に応じて」を意味すると理解されてもよい。これらの用語は、特許請求の範囲に出現する場合、関連する限定又は特徴が条件付き又は選択的であることを示していない場合がある。例えば、１つの方法は、ｉ）条件Ｘが存在する場合、又は存在すれば、機能又は作用Ｘ’を実行するステップと、ｉｉ）条件Ｙが存在する場合、又は存在すれば、機能又は作用Ｙ’を実行するステップとを含んでもよい。この方法は、機能又は作用Ｘ’を実行する能力と、機能又は作用Ｙ’を実行する能力との両方により実施されてもよい。したがって、機能Ｘ’とＹ’とは、両方とも、異なる時間にこの方法の複数回の実行で実現されてもよい。

【0017】

ユニット又はモジュールは、完全にソフトウェアによって、完全にハードウェアによって、又はハードウェアとソフトウェアとの組み合わせによって実装されてもよい。完全なソフトウェアの実装では、例えば、ユニット又はモジュールは、特定の機能を実行するために、直接又は間接的にリンクされた機能的に関連するコードブロック又はソフトウェア構成要素を含んでもよい。

【0018】

図１６は、本開示のいくつかの実施形態に係る、ビデオブロックの符号化及び復号化を並行して行う例示的なシステム１０を示すブロック図である。図１６に示すように、システム１０は、宛先装置１４によって後で復号化されるビデオデータを生成して符号化するソース装置１２を含む。ソース装置１２及び宛先装置１４は、デスクトップ又はラップトップコンピュータ、タブレットコンピュータ、スマートフォン、セットトップボックス、デジタルテレビ、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミング装置などを含む様々な電子装置のいずれかを含んでもよい。いくつかの実施形態では、ソース装置１２及び宛先装置１４は、無線通信機能を備える。

【0019】

いくつかの実施形態では、宛先装置１４は、リンク１６を介して、復号される符号化ビデオデータを受信してもよい。リンク１６は、符号化ビデオデータをソース装置１２から宛先装置１４に移動させることができる任意のタイプの通信媒体又は装置を含んでもよい。一実施例では、リンク１６は、ソース装置１２が符号化ビデオデータを宛先装置１４にリアルタイムに直接送信できるようにする通信媒体を含んでもよい。符号化ビデオデータは、無線通信プロトコルなどの通信標準に従って変調され、宛先装置１４に送信されてもよい。通信媒体は、無線周波数（ＲＦ）スペクトル又は１つ以上の物理伝送線などの、任意の無線通信媒体又は有線通信媒体を含んでもよい。通信媒体は、ローカルエリアネットワーク、広域ネットワーク、又はインターネットなどのグローバルネットワークなどのパケットベースのネットワークの一部を構成してもよい。通信媒体は、ルータ、スイッチ、基地局、又はソース装置１２から宛先装置１４への通信を容易にするのに有用であり得る任意の他の機器を含んでもよい。

【0020】

いくつかの他の実施形態では、符号化ビデオデータは、出力インタフェース２２から記憶装置３２に送信されてもよい。その後、記憶装置３２内の符号化ビデオデータは、入力インタフェース２８を介して宛先装置１４によってアクセスされてもよい。記憶装置３２は、ハードドライブ、ブルーレイディスク、デジタルバーサタイルディスク（ＤＶＤ）、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、フラッシュメモリ、揮発性若しくは不揮発性メモリ、又は符号化ビデオデータを記憶する任意の他の適切なデジタル記憶媒体などの、様々な分散型又はローカルにアクセスされるデータ記憶媒体のうちのいずれかを含んでもよい。更なる実施例では、記憶装置３２は、ソース装置１２によって生成された符号化ビデオデータを記憶し得るファイルサーバ又は他の中間記憶装置に対応してもよい。宛先装置１４は、ストリーミング又はダウンロードを介して、記憶装置３２から記憶されたビデオデータにアクセスしてもよい。ファイルサーバは、符号化ビデオデータを記憶するとともに、符号化ビデオデータを宛先装置１４に送信することができる任意のタイプのコンピュータであってもよい。例示的なファイルサーバは、（例えば、ウェブサイト用の）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、ネットワーク接続ストレージ（ＮＡＳ）装置、又はローカルディスクドライブを含む。宛先装置１４は、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに適した無線チャネル（例えば、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）接続）、有線接続（例えば、ＤＳＬ（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ、デジタル加入者線）、ケーブルモデムなど）、又は両方の組み合わせを含む任意の標準データ接続を通じて、符号化ビデオデータにアクセスしてもよい。記憶装置３２からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又は両方の組み合せであってもよい。

【0021】

図１６に示すように、ソース装置１２は、ビデオソース１８、ビデオエンコーダ２０、及び出力インタフェース２２を含む。ビデオソース１８は、ビデオカメラなどのビデオキャプチャ装置、以前にキャプチャされたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するビデオフィードインタフェース、及び／又は、ソースビデオとしてコンピュータグラフィックデータを生成するコンピュータグラフィックシステムなどのソース、又は、これらのソースの組み合わせを含んでもよい。一実施例として、ビデオソース１８がセキュリティ監視システムのビデオカメラであれば、ソース装置１２及び宛先装置１４は、カメラフォン又はビデオフォンを形成してもよい。しかしながら、本願に説明される実施形態は、一般にビデオ符号化復号化に適用可能であってもよく、無線及び／又は有線アプリケーションにも適用可能であってもよい。

【0022】

キャプチャされたビデオ、予めキャプチャされたビデオ、又はコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化されてもよい。符号化ビデオデータは、ソース装置１２の出力インタフェース２２を介して、宛先装置１４に直接送信されてもよい。符号化ビデオデータはまた（又は代替的に）、宛先装置１４又は他の装置によって後でアクセスされて復号及び／又は再生されるように、記憶装置３２に記憶されてもよい。出力インタフェース２２は、モデム及び／又は送信機を更に含んでもよい。

【0023】

宛先装置１４は、入力インタフェース２８、ビデオデコーダ３０、及び表示装置３４を含む。入力インタフェース２８は、受信機及び／又はモデムを含み、リンク１６を介して符号化ビデオデータを受信してもよい。リンク１６を介して通信され、又は記憶装置３２に提供される符号化ビデオデータは、ビデオデータを復号する際にビデオデコーダ３０によって使用される、ビデオエンコーダ２０によって生成された様々な構文要素を含んでもよい。そのような構文要素は、通信媒体に送信され、記憶媒体に記憶され、又はファイルサーバに記憶される符号化ビデオデータ内に含まれてもよい。

【0024】

いくつかの実施形態では、宛先装置１４は、統合表示装置、及び宛先装置１４と通信するように構成された外部表示装置であり得る表示装置３４を含んでもよい。表示装置３４は、復号化ビデオデータをユーザに表示させ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は他のタイプの表示装置などの様々な表示装置のいずれかを含んでもよい。

【0025】

ビデオエンコーダ２０及びビデオデコーダ３０は、例えば、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ－４、Ｐａｒｔ １０、ＡＶＣなどの独自又は産業上の標準に従って動作してもよく、それらの標準の拡張に従って動作してもよい。本願は、特定のビデオ符号化／復号標準に限定されず、他のビデオ符号化／復号標準にも適用可能であることを理解されたい。一般に、ソース装置１２のビデオエンコーダ２０は、これらの現在又は将来の標準のうちのいずれかに従ってビデオデータを符号化するように構成されてもよいことが考えられる。同様に、一般に、宛先装置１４のビデオデコーダ３０は、これらの現在又は将来の標準のうちのいずれかに従ってビデオデータを復号するように構成されてもよいことも考えられる。

【0026】

ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又はこれらの任意の組み合わせなどの様々な適切なエンコーダ及び／又はデコーダ回路のうちのいずれかとして実装されてもよい。ソフトウェアで部分的に実装される場合、電子機器は、ソフトウェアのための命令を適切な非一時的コンピュータ可読媒体に記憶し、１つ以上のプロセッサを使用してハードウェアで命令を実行して、本開示に開示されるビデオ符号化／復号動作を実行してもよい。ビデオエンコーダ２０及びビデオデコーダ３０のそれぞれは、１つ以上のエンコーダ又はデコーダに含まれてもよく、いずれも、組み合わせたエンコーダ／デコーダ（ＣＯＤＥＣ）の一部としてそれぞれの装置内に統合されてもよい。

【0027】

ＨＥＶＣと同様に、ＶＶＣは、ブロックベースのハイブリッドビデオ符号化復号化フレームワークに基づいて構築される。図１は、本開示のいくつかの実施形態に係る、ブロックベースのビデオエンコーダを示すブロック図である。エンコーダ１００において、入力ビデオ信号は、符号化ユニット（ＣＵ）と呼ばれるブロック毎に処理される。エンコーダ１００は、図１６に示すように、ビデオエンコーダ２０であってもよい。ＶＴＭ－１．０では、ＣＵは、最大１２８×１２８画素まで可能である。しかしながら、４分木のみに基づいてブロックを分割するＨＥＶＣとは異なり、ＶＶＣでは、１つの符号化ツリーユニット（ＣＴＵ）は、４分木／２分木／３分木に基づいて、様々な局所的な特性に適応するようにＣＵに分割される。更に、ＨＥＶＣにおける多重分割ユニットタイプの概念が除去され、即ち、ＣＵ、予測ユニット（ＰＵ）、及び変換ユニット（ＴＵ）の分離はもはやＶＶＣに存在せず、代わりに、各ＣＵは、更なる分割なしで、予測及び変換の両方のための基本ユニットとして常に使用される。マルチタイプツリー構造において、まず、１つのＣＴＵは、４分木構造によって分割される。次に、各４分木リーフノードは、２分木構造及び３分木構造によって更に分割することができる。

【0028】

図３Ａ～３Ｅは、本開示のいくつかの実施形態に係るマルチタイプツリーパーティションモードを示す概略図である。図３Ａ～３Ｅはそれぞれ、４分割（図３Ａ）、垂直２分割（図３Ｂ）、水平２分割（図３Ｃ）、垂直３分割（図３Ｄ）、及び水平３分割（図３Ｅ）を含む５つの分割タイプを示す。

【0029】

所与のビデオブロックごとに、空間的予測及び／又は時間予測を実行してもよい。空間的予測（又は「イントラ予測」）は、同じビデオピクチャ／スライス内の既に符号化された近傍ブロックのサンプル（参照サンプルと呼ばれる）からの画素を使用して、現在のビデオブロックを予測する。空間的予測は、ビデオ信号に固有の空間冗長性を削減する。時間予測（「インター予測」又は「動き補償予測」とも呼ばれる）は、既に符号化されたビデオピクチャからの再構成された画素を使用して、現在のビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間冗長性を削減する。所与のＣＵについての時間予測信号は、通常、現在のＣＵとその時間基準との間の動きの量及び方向を示す１つ以上の動きベクトル（ＭＶ）によってシグナリングされる。また、複数の参照ピクチャがサポートされる場合、１つの参照ピクチャインデックスが追加的に送信され、参照ピクチャインデックスは、時間予測信号が参照ピクチャストア内のどの参照ピクチャからのものであるかを識別するために使用される。

【0030】

空間的予測及び／又は時間予測の後、エンコーダ１００のイントラ／インターモード決定回路１２１は、例えば、レート歪み最適化法に基づいて、最適な予測モードを選択する。次いで、ブロック予測器１２０は、現在のビデオブロックから減算され、取得された予測残差は、変換回路１０２及び量子化回路１０４を使用して無相関化される。取得された量子化残差係数は、逆量子化回路１１６によって逆量子化され、逆変換回路１１８によって逆変換されることで、再構成された残差を形成し、次いで、再構成された残差は、予測ブロックに加算されることで、ＣＵの再構成された信号を形成する。更に、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）、及び／又は適応インループフィルタ（ＡＬＦ）などのインループフィルタリング１１５は、再構成されたＣＵがピクチャバッファ１１７の参照ピクチャストアに入れられ将来のビデオブロックを符号化するために使用される前に、再構成されたＣＵに適用することができる。出力ビデオビットストリーム１１４を形成するために、符号化モード（インター又はイントラ）、予測モード情報、動き情報、及び量子化残差係数は、全て、エントロピー符号化ユニット１０６に送信され、更に圧縮され、パックされてビットストリームを形成する。

【0031】

例えば、デブロッキングフィルタは、ＡＶＣ、ＨＥＶＣ、及びＶＶＣの最新バージョンで利用可能である。ＨＥＶＣでは、符号化効率を更に向上させるために、ＳＡＯと呼ばれる追加のインループフィルタが定義されている。ＶＶＣ標準の最新バージョンでは、ＡＬＦと呼ばれる別のインループフィルタが積極的に研究されており、最終標準に含まれる可能性が高くなる。

【0032】

これらのインループフィルタ動作は、選択可能なものである。これらの動作を実行することは、符号化効率及び視覚的な品質の向上に役立つ。これらの動作は、計算の複雑さを低減するために、エンコーダ１００によって与えられる決定としてオフにされてもよい。

【0033】

なお、これらのフィルタオプションがエンコーダ１００によってオンにされる場合、イントラ予測は、通常、フィルタリングされていない再構成画素に基づくものであるのに対し、インター予測は、フィルタリングされた再構成画素に基づくものである。

【0034】

図２は、多くのビデオ符号化複号化標準と組み合わせて使用され得るブロックベースのビデオデコーダ２００を示すブロック図である。該当デコーダ２００は、図１のエンコーダ１００に存在する再構成関連部分に類似している。ブロックベースのビデオデコーダ２００は、図１６に示すように、ビデオデコーダ３０であってもよい。デコーダ２００では、入力ビデオビットストリーム２０１は、まず、エントロピー復号２０２によって復号されることで、量子化係数レベル及び予測関連情報を導出する。次に、量子化係数レベルは、逆量子化２０４及び逆変換２０６によって処理されて、再構成された予測残差を取得する。イントラ／インターモード選択２１２で実現されるブロック予測器メカニズムは、復号された予測情報に基づいて、イントラ予測２０８又は動き補償２１０を実行するように構成される。フィルタリングされていない再構成画素セットは、逆変換２０６からの再構成された予測残差とブロック予測器メカニズムにより生成された予測出力とを加算器２１４を使用して加算することにより取得される。

【0035】

再構成されたブロックは、参照ピクチャストアとして機能するピクチャバッファ２１３に記憶される前に、インループフィルタ２０９を更に通過してもよい。ピクチャバッファ２１３の再構成されたビデオは、将来のビデオブロックを予測するために使用されるだけでなく、表示装置を駆動するために送信されてもよい。インループフィルタ２０９がオンにする場合には、これらの再構成画素に対してフィルタリング動作を実行して、最終的な再構成されたビデオ出力２２２を導出する。

【0036】

現在のＶＶＣ及びＡＶＳ３標準では、現在の符号化ブロックの動き情報は、マージ候補インデックスによって特定された空間的又は時間的近傍ブロックからコピーされ、又は動き推定の明示的なシグナリングによって取得される。本開示の焦点は、アフィンマージ候補の導出方法を改善することによって、アフィンマージモードの動きベクトルの精度を改善することである。本開示の説明を容易にするために、ＶＶＣ標準における既存のアフィンマージモード設計が、提案されたアイデアを説明するために例として使用される。なお、ＶＶＣ標準の既存のアフィンモード設計が本開示全体を通じて例として使用されるが、当業者にとって、提案された技術は、同じ又は類似の設計思想を有するアフィン動き予測モードの異なる設計又は他の符号化ツールにも適用することができる。

【0037】

アフィンモード
ＨＥＶＣでは、並進動きモデルのみが動き補償予測に適用されている。現実世界では、ズームインズームアウト、回転、視点の動き、他の不規則的な動きなど、様々な動きが存在する。ＶＶＣ及びＡＶＳ３では、並進動きモデル又はアフィン動きモデルがインター予測に適用されるか否かを示すために、インター符号化ブロックごとに１つのフラグをシグナリングすることによって、アフィン動き補償予測を適用する。現在のＶＶＣ及びＡＶＳ３設計では、４パラメータアフィンモード及び６パラメータアフィンモードを含む２つのアフィンモードは、１つのアフィン符号化ブロックに対してサポートされる。

【0038】

４パラメータアフィンモデルには、水平方向と垂直方向の並進移動にそれぞれ用いられる２つのパラメータと、ズーム動きに用いられる１つのパラメータと、両方向の回転動きに用いられる１つのパラメータとがある。このモデルでは、水平ズームパラメータは、垂直ズームパラメータと等しく、水平回転パラメータは、垂直回転パラメータと等しい。動きベクトルとアフィンパラメータをより適切に調整するために、これらのアフィンパラメータは、現在のブロックの左上隅と右上隅に配置される２つのＭＶ（制御ポイント動きベクトル（ＣＰＭＶ）とも呼ばれる）から導出される。図４Ａ及び図４Ｂに示すように、ブロックのアフィン動き場は、２つのＣＰＭＶ（Ｖ_０，Ｖ_１）によって記載される。制御ポイント動きに基づいて、１つのアフィン符号化ブロックの動き場（ｖ_ｘ，ｖ_ｙ）は、以下のように記載される。

【数1】

【0039】

６パラメータアフィンモードには、水平方向と垂直方向の並進移動にそれぞれ用いられる２つのパラメータと、水平方向のズーム動きと回転動きにそれぞれ用いられる２つのパラメータと、垂直方向のズーム動きと回転動きに用いられる別の２つのパラメータとがある。６パラメータアフィン動きモデルは、３つのＣＰＭＶで符号化される。図５に示すように、１つの６パラメータアフィンブロックの３つの制御ポイントは、ブロックの左上隅、右上隅及び左下隅に配置される。左上制御ポイントの動きは、並進動きに関連し、右上制御ポイントの動きは、水平方向の回転及びズームの動きに関連し、左下制御ポイントの動きは、垂直方向の回転及びズームの動きに関連する。４パラメータのアフィン動きモデルと比較すると、６パラメータの水平方向の回転及びズームの動きは、垂直方向の動きと同じではない可能性がある。（ｖ_０，ｖ_１，ｖ_２）が図５の現在のブロックの左上隅、右上隅及び左下隅のＭＶであると仮定すると、各サブブロックの動きベクトル（ｖ_ｘ，ｖ_ｙ）は、制御ポイントの３つのＭＶを使用して以下のように導出される。

【数2】

【0040】

アフィンマージモード
アフィンマージモードでは、現在のブロックのＣＰＭＶは、明示的にシグナリングされないが、近傍ブロックから導出される。具体的には、このモードでは、空間的近傍ブロックの動き情報を使用して、現在のブロックのＣＰＭＶを生成する。アフィンマージモードの候補リストは、有限サイズを有する。例えば、現在のＶＶＣデザインでは、最大５つの候補が存在する可能性である。エンコーダは、レート歪み最適化アルゴリズムに基づいて最適な候補インデックスを評価及び選択してもよい。次に、選択された候補インデックスは、デコーダ側にシグナリングされる。アフィンマージ候補は、３つの方法で決定することができる。第１方法では、近傍アフィン符号化ブロックからアフィンマージ候補を継承してもよい。第２方法では、近傍ブロックからの並進ＭＶからアフィンマージ候補を構築する。第３方法では、ゼロＭＶをアフィンマージ候補として使用する。

【0041】

継承方法について、最大２つの候補が存在する可能である。候補は、利用可能な場合、現在のブロックの左下に配置される近傍ブロック（例えば、図６に示すように、走査順序は、Ａ０からＡ１である）と、現在のブロックの右上に配置される近傍ブロック（例えば、図６に示すように、走査順序は、Ｂ０からＢ２である）とから取得される。

【0042】

構築方法では、候補は、近傍ブロックの並進ＭＶの組み合わせであり、以下の２つのステップで生成されてもよい。

【0043】

ステップ１では、利用可能な近傍ブロックからＭＶ１、ＭＶ２、ＭＶ３及びＭＶ４を含む４つの並進ＭＶを取得する。
ＭＶ１については、現在のブロックの左上隅に近接する３つの近傍ブロックのうちの１つからのＭＶである。図７に示すように、走査順序は、Ｂ２、Ｂ３、Ａ２である。
ＭＶ２については、現在のブロックの右上隅に近接する２つの近傍ブロックのうちの１つからのＭＶである。図７に示すように、走査順序は、Ｂ１、Ｂ０である。
ＭＶ３については、現在のブロックの左下隅に近接する２つの近傍ブロックのうちの１つからのＭＶである。図７に示すように、走査順序は、Ａ１、Ａ０である。
ＭＶ４については、現在のブロックの右下隅に近接する近傍ブロックの時間的配列ブロックからのＭＶである。図に示すように、近傍ブロックは、Ｔである。

【0044】

ステップ２では、ステップ１からの４つの並進ＭＶに基づいて組み合わせを導出する。
組み合わせ１は、ＭＶ１、ＭＶ２、ＭＶ３である。
組み合わせ２は、ＭＶ１、ＭＶ２、ＭＶ４である。
組み合わせ３は、ＭＶ１、ＭＶ３、ＭＶ４である。
組み合わせ４は、ＭＶ２、ＭＶ３、ＭＶ４である。
組み合わせ５は、ＭＶ１、ＭＶ２である。
組み合わせ６は、ＭＶ１、ＭＶ３である。

【0045】

継承候補と構築候補で充填された後、マージ候補リストがフルでない場合、リストの最後にゼロＭＶを挿入する。

【0046】

現在のビデオ標準ＶＶＣ及びＡＶＳでは、それぞれ、継承候補と構築候補について、図６及び図７に示すように、現在のブロックのアフィンマージ候補を導出するために隣接近傍ブロックのみが使用される。マージ候補の多様性を高め、空間的相関を更に調査するには、近傍ブロックのカバー範囲を隣接領域から非隣接領域に直接に拡張する。

【0047】

本開示では、アフィンマージモードの候補導出プロセスは、隣接近傍ブロックだけでなく、非隣接近傍ブロックを使用することによって拡張される。詳細な方法は、アフィンマージ候補のプルーニング、継承されたアフィンマージ候補の非隣接近傍ベースの導出プロセス、及び構築されたアフィンマージ候補の非隣接近傍ベースの導出プロセスを含む３つの態様に要約されてもよい。

【0048】

アフィンマージ候補のプルーニング
一般的なビデオ符号化標準におけるアフィンマージ候補リストは、通常、有限サイズを有するため、候補のプルーニングは、冗長な候補を削除するために不可欠なプロセスである。アフィンマージの継承候補と構築候補の両方に対して、このプルーニングプロセスが必要である。紹介したセクションで説明したように、現在のブロックのＣＰＭＶは、アフィン動き補償に直接使用される。代わりに、ＣＰＭＶは、現在のブロック内の各サブブロックの位置で並進ＭＶに変換される必要がある。変換プロセスは、以下に示すように、一般的なアフィンモデルに従って実行される。

【数3】

【0049】

ここで、（ａ，ｂ）は、デルタ並進パラメータであり、（ｃ，ｄ）は、水平方向のデルタズーム及び回転パラメータであり、（ｅ，ｆ）は、垂直方向のデルタズーム及び回転パラメータであり、（ｘ，ｙ）は、サブブロックのピボット位置（中央又は左上隅など）と現在のブロックの左上隅に対する水平距離及び垂直距離（例えば、図５に示す座標（ｘ，ｙ））であり、（ｖ_ｘ，ｖ_ｙ）はサブブロックのターゲット並進ＭＶである。

【0050】

６パラメータアフィンモデルの場合、Ｖ０、Ｖ１、及びＶ２と呼ばれる３つのＣＰＭＶが利用可能である。次にａ、ｂ、ｃ、ｄ、ｅ、及びｆという６つのモデルパラメータは、以下のように計算することができる。

【数4】

【0051】

４パラメータアフィンモデルの場合、Ｖ０とＶ１と呼ばれる左上隅ＣＰＭＶと右上隅ＣＰＭＶが利用可能であれば、ａ、ｂ、ｃ、ｄ、ｅ、及びｆという６つのパラメータは、以下のように計算することができる。

【数5】

【0052】

４パラメータアフィンモデルの場合、Ｖ０とＶ２と呼ばれる左上隅ＣＰＭＶと左下隅ＣＰＭＶが利用可能であれば、ａ、ｂ、ｃ、ｄ、ｅ、及びｆという６つのパラメータは、以下のように計算することができる。

【数6】

【0053】

ＣＰＭＶの２つのマージ候補セットが冗長性チェックのために比較される場合、６つのアフィンモデルパラメータの類似性をチェックすることが提案されている。したがって、候補プルーニングプロセスは、２つのステップで実行することができる。

【0054】

ステップ１では、ＣＰＭＶの２つの候補セットが与えられると、各候補セットに対応するアフィンモデルパラメータが導出される。より具体的には、ＣＰＭＶの２つの候補セットは、２セットのアフィンモデルパラメータ、例えば、（ａ_１，ｂ_１，ｃ_１，ｄ_１，ｅ_１，ｆ_１）及び（ａ_２，ｂ_２，ｃ_２，ｄ_２，ｅ_２，ｆ_２）によって表されてもよい。

【0055】

ステップ２では、１つ以上の所定の閾値に基づいて、２セットのアフィンモデルパラメータ間の類似性チェックを実行する。一実施形態では（ａ_１－ａ_２）、（ｂ_１－ｂ_２）、（ｃ_１－ｃ_２）、（ｄ_１－ｄ_２）、（ｅ_１－ｅ_２）及び（ｆ_１－ｆ_２）の絶対値がいずれも値１などの正の閾値未満である場合、２つの候補は、類似していると見なされ、そのうちの１つをプルーニング／削除してマージ候補リストに入れないようにすることができる。

【0056】

変換されたアフィンモデルパラメータを候補の冗長性チェックに使用する利点は、異なるアフィンモデルタイプを有する候補に対して統一された類似性チェックプロセスを作成し、例えば、あるマージ候補が３つのＣＰＭＶを有する６パラメータアフィンモデルを使用してもよく、別の候補が２つのＣＰＭＶを有する４パラメータアフィンモデルを使用してもよいことと、各サブブロックでターゲットＭＶを導出する場合、マージ候補内の各ＣＰＭＶの様々な影響を考慮することと、現在のブロックの幅及び高さに関連する２つのアフィンマージ候補の類似性の重要性を提供することと、を含む。

【0057】

継承されたアフィンマージ候補の非隣接近傍ベースの導出プロセス
継承されたマージ候補の場合、非隣接近傍ベースの導出プロセスは、３つのステップで実行されてもよい。ステップ１は、候補の走査に用いられる。ステップ２は、ＣＰＭＶの投影に用いられる。ステップ３は、候補のプルーニングに用いられる。

【0058】

ステップ１では、以下の方法で非隣接近傍ブロックを走査し、選択する。

【0059】

走査領域及び距離
いくつかの実施例では、非隣接近傍ブロックは、現在の符号化ブロックの左側領域及び上方領域から走査されてもよい。走査距離は、走査位置から現在の符号化ブロックの左辺又は上辺までの符号化ブロックの数として定義されてもよい。

【0060】

図８に示すように、現在の符号化ブロックの左側又は上方のいずれかで複数のラインの非隣接近傍ブロックが走査されてもよい。図８に示す距離は、各候補位置から現在のブロックの左辺又は上辺までの符号化ブロックの数を表す。例えば、現在のブロックの左辺において「距離２」を有する領域は、この領域に配置される候補近傍ブロックが現在のブロックから２つのブロック離れることを示す。同様の指示は、異なる距離を有する他の走査領域に適用されてもよい。

【0061】

１つ以上の実施例では、特定の距離での各走査領域内で、開始近傍ブロック及び終了近傍ブロックは、位置に依存してもよい。

【0062】

一実施例では、左辺の走査領域について、開始近傍ブロックは、より小さい距離を有する隣接走査領域の開始近傍ブロックの隣接左下ブロックであってもよい。例えば、図８に示すように、現在のブロックの左辺にある「距離２」走査領域の開始近傍ブロックは、「距離１」走査領域の開始近傍ブロックの隣接左下近傍ブロックである。終了近傍ブロックは、より小さい距離を有する上方走査領域の終了近傍ブロックの隣接左側ブロックであってもよい。例えば、図８に示すように、現在のブロックの左辺にある「距離２」走査領域の終了近傍ブロックは、現在のブロックの上方にある「距離１」走査領域の終了近傍ブロックの隣接左側近傍ブロックである。

【0063】

同様に、上辺の走査領域の場合、開始近傍ブロックは、より小さい距離を有する隣接走査領域の開始近傍ブロックの隣接右上ブロックであってもよい。終了近傍ブロックは、より小さい距離を有する隣接走査領域の終了近傍ブロックの隣接左上ブロックであってもよい。

【0064】

走査順序
近傍ブロックが非隣接領域で走査される場合、一定の順序又は／及び規則に従って、走査される近傍ブロックの選択を決定してもよい。

【0065】

一実施例では、まず左側領域を走査し、次に上方領域を走査してもよい。図８に示すように、まず左辺の３ラインの非隣接領域（例えば、距離１から距離３まで）を走査し、次に現在のブロックの上方３ラインのの非隣接領域を走査してもよい。

【0066】

別の実施例では、左側領域と上方領域を交互に走査してもよい。例えば、図８に示すように、まず「距離１」を有する左側走査領域を走査し、次に「距離１」を有する上方領域を走査する。

【0067】

同じ側に位置する走査領域（左側領域又は上方領域など）について、走査順序は、距離の小さい領域から距離の大きい領域までの順序になる。この順序は、走査順序の他の実施形態と柔軟に組み合わせられてもよい。例えば、左側領域と上方領域を交互に走査してもよく、同じ側の領域の場合の順序は、小さい距離から大きい距離への順序となるように予定される。

【0068】

特定の距離での各走査領域内で、走査順序を定義してもよい。一実施形態では、左側走査領域について、底部近傍ブロックから上部近傍ブロックまでに走査を開始してもよい。上方走査領域について、右側ブロックから左側ブロックまでに走査を開始してもよい。

【0069】

走査終了
継承されたマージ候補について、アフィンモードで符号化された近傍ブロックは、適切な候補として定義される。一実施例では、走査プロセスが交互に実行されてもよい。例えば、最初のＸ個の適切な候補が識別された時点で、特定の距離での特定の領域で実行される走査を停止してもよく、ただし、Ｘが所定の正の値である。例えば、図８に示すように、前の１つ以上の適切な候補が識別された時点で、距離１を有する左側走査領域における走査を停止してもよい。次に、所定の走査順序／規則によって制御される別の走査領域をターゲットすることで、走査プロセスの次の繰り返しが開始される。

【0070】

別の実施例では、走査プロセスは、連続的に実行されてもよい。例えば、カバーされる近傍ブロックが全て走査され、適切な候補がそれ以上識別されなくなり、或いは候補の最大許容数に達した場合には、特定の距離での特定の領域で実行される走査は停止することができる。

【0071】

更に、ステップ２では、現在のＡＶＳ標準及びＶＶＣ標準で使用されているのと同じＣＰＭＶ投影プロセスを利用してもよい。このＣＰＭＶ投影プロセスでは、現在のブロックおよび選択された近傍ブロックは同一のアフィンモデルを共有することが想定されると、近傍ブロックが４パラメータアフィンモデル又は６パラメータアフィンモデルで符号化されるか否かに応じて、２つ又は３つの隅部画素の座標（例えば、現在のブロックが４パラメータモデルを使用する場合、２つの座標（左上の画素／サンプルの位置、及び右上の画素／サンプルの位置）が使用され、現在のブロックが６パラメータモデルを使用する場合、３つの座標（左上の画素／サンプル位置、右上の画素／サンプル位置、及び左下の画素／サンプル位置）が使用される）を式（１）又は（２）に代入して、２つ又は３つのＣＰＭＶを生成する。

【0072】

ステップ３では、ステップ１で識別され、ステップ２で変換された任意の適切な候補と、マージ候補リストに既に存在する全ての既存の候補との類似性チェックを実行してもよい。類似性チェックの詳細については、上記アフィンマージ候補のプルーニングのセクションで既に説明する。新たに適切な候補が候補リスト内の既存の候補と類似していることが判明した場合、この新たに適切な候補は、削除／プルーニングされる。

【0073】

構築されたアフィンマージ候補の非隣接近傍ベースの導出プロセス
継承されたマージ候補を導出する場合、一回で１つの近傍ブロックが識別され、この単一の近傍ブロックは、アフィンモードで符号化される必要があり、２つ又は３つのＣＰＭＶを含んでもよい。構築されたマージ候補を導出する場合、一回で２つ又は３つの近傍ブロックが識別されてもよく、識別された各近傍ブロックは、アフィンモードで符号化される必要がなく、このブロックから１つの並進ＭＶのみが検索される。

【0074】

図９は、非隣接近傍ブロックを使用することによって構築されたアフィンマージ候補を導出する可能である実施例を示す。図９において、Ａ、Ｂ及びＣは、３つの非隣接近傍ブロックの地理的位置である。仮想符号化ブロックは、Ａの位置を左上隅として、Ｂの位置を右上隅として、Ｃの位置を左下隅として使用して形成される。仮想ＣＵをアフィン符号化ブロックとすると、Ａ’、Ｂ’、及びＣ’の位置にあるＭＶを式（３）に従って導出でき、ただし、モデルパラメータ

が、Ａ、Ｂ、及びＣの位置にある並進ＭＶによって求められる。導出されると、Ａ’、Ｂ’、及びＣ’の位置にあるＭＶを現在のブロックの３つのＣＰＭＶとして使用され、構築されたアフィンマージ候補を生成する既存のプロセス（ＡＶＳ及びＶＶＣ標準で使用されているプロセス）を使用することができる。

【0075】

構築されたマージ候補について、非隣接近傍ベースの導出プロセスは、エンコーダ又はデコーダなどの装置において５つのステップで実行されてもよい。ステップ１は、候補の走査である。ステップ２は、アフィンモデルの決定である。ステップ３は、ＣＰＭＶの投影である。ステップ４は、候補の生成である。ステップ５は、候補のプルーニングである。ステップ１では、以下の方法により、非隣接近傍ブロックを走査し、選択してもよい。

【0076】

走査領域及び距離
いくつかの実施例では、矩形の符号化ブロックを維持するために、走査プロセスは、２つの非隣接近傍ブロックのみに対して実行される。第３非隣接近傍ブロックは、第１非隣接近傍ブロック及び第２非隣接近傍ブロックの水平位置及び垂直位置に依存してもよい。

【0077】

一実施例では、図９に示すように、走査プロセスは、Ｂの位置及びＣの位置のみに対して実行される。Ａの位置は、Ｃの水平位置及びＢの垂直位置によって一意に決定されてもよい。この場合、特定の走査方向に従って走査領域及び距離を定義してもよい。

【0078】

一実施例では、走査方向は、現在のブロックの辺に垂直であってもよい。図１０に一実施例が示されており、走査領域は、現在のブロックの左側又は上方にある１ラインの連続動き場として定義される。走査距離は、走査位置から現在のブロックの辺までの動き場の数として定義される。なお、動き場のサイズは、適用可能なビデオ符号化標準の最大粒度に依存してもよい。図１０に示す実施例では、動き場のサイズは、現在のＶＶＣ標準に合わせて４×４に設定されることと仮定される。

【0079】

別の実施例では、走査方向は、現在のブロックの辺に平行であってもよい。一実施例は、図１１に示されており、走査領域は、現在のブロックの左側又は上方にある１ラインの連続符号化ブロックとして定義される。

【0080】

別の実施例では、走査方向は、現在のブロックの辺に対する垂直走査と平行走査との組み合わせであってもよい。図１２に示すように、一実施例を示している。図１２に示すように、走査方向は、平行と斜めとの組み合わせであってもよい。位置Ｂでの走査は、左側から右側に開始し、次に左側ブロックと上部ブロックに向かって斜め方向に実行される。位置Ｂでの走査は、図１２に示すように繰り返す。同様に、位置Ｃでの走査は、上部から下部に開始し、次に左側のブロックと上部のブロックに向かって斜め方向に実行される。位置Ｃでの走査は、図１２に示すように繰り返す。

【0081】

走査順序
一実施例では、走査順序は、現在の符号化ブロックまでの距離が小さい位置から現在の符号化ブロックまでの距離が大きい位置への順序として定義されてもよい。この順序は、垂直走査の場合に適用されてもよい。

【0082】

別の実施例では、走査順序は、固定パターンとして定義されてもよい。この固定パターンの走査順序は、同様の距離を有する候補位置に用いられてもよい。一実施例は、平行走査の場合である。一実施例では、走査順序は、図１１に示す実施例のように、左側走査領域に対して上方向から下方向への順序として定義されてもよく、上方走査領域に対して左方向から右方向への順序として定義されてもよい。

【0083】

組み合わせられた走査方法の場合、走査順序は、図１２に示す実施例のように、固定パターンと距離依存との組み合わせであってもよい。

【0084】

走査終了
構築されたマージ候補について、並進ＭＶのみが必要であるため、適切な候補をアフィン符号化する必要がない。

【0085】

必要な候補数に応じて、最初のＸ個の適切な候補が識別された場合に、走査プロセスを終了することができ、ただし、Ｘは、正の値である。

【0086】

ステップ２では、ステップ１の後で選択された候補の位置での並進ＭＶを評価し、適切なアフィンモデルを決定することができる。一般性を失わずに説明を容易にするために、図９を例として再度使用する。

【0087】

ハードウェアの制約、実施の複雑さ、様々な参照インデックスなどの要因により、十分な数の候補が識別される前に走査プロセスを終了してもよい。例えば、ステップ１の後の選択された候補のうちの１つ以上の候補の動き場の動き情報が利用できない可能性がある。

【0088】

全ての３つの候補の動き情報が利用可能である場合、対応する仮想符号化ブロックは、６パラメータアフィンモデルを表す。３つの候補のうちの１つの候補の動き情報が担保できない場合、対応する仮想符号化ブロックは、４パラメータアフィンモデルを表す。３つの候補のうちの１つ以上の候補の動き情報が担保できない場合、対応する仮想符号化ブロックは、有効なアフィンモデルを表すことができない可能性がある。

【0089】

ステップ３では、仮想符号化ブロックが有効なアフィンモデルを表すことができる場合、継承されたマージ候補に使用される同じ投影プロセスを使用してもよい。

【0090】

ステップ４では、ステップ３の後の投影されたＣＰＭＶに基づいて、一実施例では、現在のＶＶＣ又はＡＶＳ標準で使用される同じ候補生成プロセスを使用してもよい。別の実施形態では、現在のＶＶＣ又はＡＶＳ標準の候補生成プロセスで使用される時間動きベクトルは、非隣接近傍ブロックベースの導出方法に使用されない可能性がある。

【0091】

ステップ５では、ステップ４の後の新たに生成された候補と、マージ候補リストに既に存在する全ての既存の候補との類似性チェックを実行してもよい。類似性チェックの詳細については、アフィンマージ候補のプルーニングのセクションで既に説明した。新たに生成された候補が候補リスト内の既存の候補と類似していることが判明した場合、この新たに生成された候補は、削除又はプルーニングされる。

【0092】

図１３は、ユーザインタフェース１３６０に結合されたコンピューティング環境（又はコンピューティング装置）１３１０を示す。コンピューティング環境１３１０は、データ処理サーバの一部であってもよい。いくつかの実施形態では、コンピューティング装置１３１０は、以上に説明したように、本開示の様々な実施例に係る様々な方法又はプロセス（例えば、符号化／復号化方法又はプロセス）のいずれかを実行することができる。コンピューティング環境１３１０は、プロセッサ１３２０、メモリ１３４０、及びＩ／Ｏインタフェース１３５０を含んでもよい。

【0093】

プロセッサ１３２０は、典型的には、ディスプレイ、データ取得、データ通信、及び画像処理に関連する動作などの、コンピューティング環境１３１０の全体的な動作を制御する。プロセッサ１３２０は、上述の方法のステップの全部又は一部を実行する命令を実行するための１つ以上のプロセッサを含んでもよい。また、プロセッサ１３２０は、プロセッサ１３２０と他の構成要素との間のインタラクションを容易にする１つ以上のモジュールを含んでもよい。上記プロセッサは、中央処理装置（ＣＰＵ）、マイクロプロセッサ、シングルチップマシン、ＧＰＵなどであってもよい。

【0094】

メモリ１３４０は、コンピューティング環境１３１０の動作をサポートするために、様々なタイプのデータを記憶するように構成される。メモリ１３４０は、所定のソフトウェア１３４２を含んでもよい。そのようなデータの例は、コンピューティング環境１３１０上で動作する任意のアプリケーション又は方法のための命令、ビデオデータセット、画像データなどを含む。メモリ１３４０は、静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクなどの任意のタイプの揮発性若しくは不揮発性メモリ装置、又はそれらの組み合わせを使用することによって実装されてもよい。

【0095】

Ｉ／Ｏインタフェース１３５０は、プロセッサ１３２０と、キーボード、クリックホイール、ボタンなどの周辺インタフェースモジュールとの間のインタフェースを提供する。ボタンは、ホームボタン、走査開始ボタン及び走査停止ボタンを含んでもよいが、これらに限定されない。Ｉ／Ｏインタフェース１３５０は、エンコーダ及びデコーダに結合することができる。

【0096】

いくつかの実施形態では、上述の方法を実行するために、コンピューティング環境１３１０内のプロセッサ１３２０によって実行可能な、メモリ１３４０に含まれるような複数のプログラムを含む非一時的コンピュータ可読記憶媒体も提供される。例えば、非一時的コンピュータ可読記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などであってもよい。

【0097】

非一時的コンピュータ可読記憶媒体は、１つ以上のプロセッサを有するコンピューティング装置によって実行される複数のプログラムを記憶しており、複数のプログラムは、１つ以上のプロセッサによって実行されると、コンピューティング装置に上述の動き予測方法を実行させる。

【0098】

いくつかの実施形態では、コンピューティング環境１３１０は、上記方法を実行するために、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジック装置（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィカルプロセッシングユニット（ＧＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子構成要素を使用して実装されてもよい。

【0099】

図１４は、本開示の一実施例に係るビデオ符号化復号化方法を示すフローチャートである。

【0100】

ステップ１４０１では、プロセッサ１３２０は、現在のブロックに隣接しない複数の非隣接近傍ブロックから１つ以上のアフィン候補を取得することができる。

【0101】

ステップ１４０２では、プロセッサ１３２０は、１つ以上のアフィン候補に基づいて、現在のブロックの１つ以上のＣＰＭＶを取得することができる。

【0102】

いくつかの実施例では、プロセッサ１３２０は、走査規則に従って１つ以上のアフィンマージ候補を取得してもよい。

【0103】

いくつかの実施例では、走査規則は、少なくとも１つの走査領域、少なくとも１つの走査距離、及び走査順序に基づいて決定されてもよい。

【0104】

いくつかの実施例では、少なくとも１つの走査距離は、現在のブロックの辺から離れたブロックの数を示す。

【0105】

いくつかの実施例では、プロセッサ１３２０は、更に、第１走査領域内に複数の非隣接近傍ブロックを走査して、アフィンモードで符号化された１つ以上の非隣接近傍ブロックを取得し、アフィンモードで符号化された１つ以上の非隣接近傍ブロックを１つ以上のアフィン候補として決定してもよい。例えば、第１走査領域は、図８に示すように、現在のブロックの左側にある走査領域であってもよい。第１走査領域は、図１に示すように、現在の上方にある走査領域であってもよい。

【0106】

いくつかの実施例では、走査終了として、プロセッサ１３２０は、取得されたアフィンモードで符号化復号化された１つ以上の非隣接近傍ブロックの数が所定の数に達したと決定することに応答して、第１走査領域内での走査を停止してもよい。

【0107】

いくつかの実施例では、プロセッサ１３２０は、現在のブロックの左辺と平行な第１走査線に沿って、第１開始非隣接近傍ブロックから走査してもよく、第１開始非隣接ブロックが第１走査領域内の底部ブロックであり、第１走査領域内のブロックが現在のブロックの左辺から第１走査距離離れた位置にある。例えば、第１開始非隣接ブロックは、図８に示すように、距離１、距離２、又は距離３を有する左側走査領域内の底部ブロックであってもよい。

【0108】

いくつかの実施例では、第１開始非隣接ブロックは、第２走査領域内の第２開始非隣接近傍ブロックの底部及び左側にあってもよく、第２走査領域内のブロックは、現在のブロックの左辺から第２走査距離離れた位置にあってもよい。例えば、図８に示すように、第１開始非隣接ブロックは、距離２を有する左側走査領域内の底部ブロックであってもよく、第１開始非隣接ブロックは、距離１を有する左側走査領域内の開始非隣接近傍ブロックの底部及び左側にあってもよい。

【0109】

いくつかの実施例では、プロセッサ１３２０は、現在のブロックの上辺と平行な走査線に沿って、第３開始非隣接近傍ブロックから走査してもよく、第３開始非隣接ブロックが第１走査領域内の右側ブロックであってもよく、第１走査領域内のブロックが現在のブロックの上辺から第１走査距離離れた位置にあってもよい。例えば、第３開始非隣接ブロックは、図８に示すように、距離１、距離２、又は距離３を有する上方又は上部走査領域内の右側ブロックであってもよい。

【0110】

いくつかの実施例では、第３開始非隣接ブロックは、第２走査領域内の第４開始非隣接近傍ブロックの上部及び右側にあってもよく、第２走査領域内のブロックは、現在のブロックの上辺から第２走査距離離れた位置にあってもよい。例えば、図８に示すように、第３開始非隣接ブロックは、距離２を有する上方又は上部走査領域の右側にあってもよく、距離１を有する上方又は上部走査領域内の開始非隣接ブロックの右側及び上方にあってもよい。

【0111】

いくつかの実施例では、少なくとも１つの走査領域は、現在のブロックの左側にある少なくとも１つの左側走査領域と、現在のブロックの上方にある少なくとも１つの上部走査領域とを含んでもよい。プロセッサ１３２０は、少なくとも１つの左側走査領域内の複数の第１非隣接近傍ブロックを走査して、アフィンモードで符号化された１つ以上の第１非隣接近傍ブロックを取得し、少なくとも１つの上部走査領域内の複数の第２非隣接近傍ブロックを走査して、アフィンモードで符号化された１つ以上の第２非隣接近傍ブロックを取得し、アフィンモードで符号化された１つ以上の第１非隣接近傍ブロック及びアフィンモードで符号化された１つ以上の第２非隣接近傍ブロックを１つ以上のアフィン候補として決定してもよい。

【0112】

いくつかの実施例では、少なくとも１つの左側走査領域は、第１左側走査領域、第２左側走査領域、及び第３左側走査領域を含んでもよい。更に、第１左側走査領域内のブロックは、現在のブロックの左辺から第１走査距離離れた位置にあってもよく、第２左側走査領域内のブロックは、現在のブロックの左辺から第２走査距離離れた位置にあってもよく、第３左側走査領域内のブロックは、現在のブロックの左辺から第３走査距離離れた位置にあってもよい。例えば、少なくとも１つの左側走査領域は、距離１、距離２、及び距離３を有する左側走査領域を含んでもよい。

【0113】

更に、プロセッサ１３２０は、現在のブロックの左辺と平行な第１走査線に沿って、第１開始非隣接近傍ブロックから走査するステップであって、第１開始非隣接ブロックが第１左側走査領域内の底部ブロックであってもよい、ステップと、現在のブロックの左辺と平行な第２走査線に沿って、第２開始非隣接近傍ブロックから走査するステップであって、第２開始非隣接近傍ブロックが第２左側走査領域内の底部ブロックであってもよい、ステップと、現在のブロックの左辺と平行な第３走査線に沿って、第３開始非隣接近傍ブロックから走査するステップであって、第３開始非隣接近傍ブロックが第３左側走査領域内の底部ブロックであってもよい、ステップとを実行することによって、少なくとも１つの左側走査領域内の複数の第１非隣接近傍ブロックを走査してもよい。

【0114】

いくつかの実施例では、少なくとも１つの上部走査領域は、第１上部走査領域、第２上部走査領域、及び第３上部走査領域を含んでもよく、第１上部走査領域内のブロックは、現在のブロックの上辺から第１走査距離離れた位置にあってもよく、第２上部走査領域内のブロックは、現在のブロックの上辺から第２走査距離離れた位置にあってもよく、第３上部走査領域内のブロックは、現在のブロックの上辺から第３走査距離離れた位置にあってもよい。更に、プロセッサ１３２０は、現在のブロックの上辺と平行な第４走査線に沿って、第４開始非隣接近傍ブロックから走査するステップであって、第４開始非隣接ブロックが第１上部走査領域内の右側ブロックであってもよい、ステップと、現在のブロックの上辺と平行な第５走査線に沿って、第５開始非隣接近傍ブロックから走査するステップであって、第５開始非隣接近傍ブロックが第２上部走査領域内の右側ブロックであってもよい、ステップと、現在のブロックの上辺と平行な第６走査線に沿って、第６開始非隣接近傍ブロックから走査するステップであって、第６開始非隣接近傍ブロックが第３上部走査領域内の右側ブロックであってもよい、ステップとを実行することによって、少なくとも１つの上部走査領域内の複数の第２非隣接近傍ブロックを走査してもよい。

【0115】

いくつかの実施例では、第１走査距離は、第２走査距離又は第３走査距離より小さくてもよく、第２走査距離は、第３走査距離より小さくてもよい。

【0116】

いくつかの実施例では、プロセッサ１３２０は、更に、走査規則に基づいて、第１アフィン候補の第１候補位置と、第２アフィン候補の第２候補位置とを取得し、第１候補位置及び第２候補位置に基づいて、第３アフィン候補の第３候補位置を決定し、第１候補位置、第２候補位置、及び第３候補位置に基づいて仮想ブロックを取得し、第１候補位置、第２候補位置、及び第３候補位置での並進ＭＶに基づいて、仮想ブロックの３つのＣＰＭＶを取得し、継承された候補導出に使用される同じ投影プロセスを使用して、仮想ブロックの３つのＣＰＭＶに基づいて、現在のブロックの２つ又は３つのＣＰＭＶを取得してもよい。

【0117】

いくつかの実施例では、仮想ブロックは、矩形の符号化ブロックであってもよく、第３候補位置は、第１候補位置の垂直位置と第２候補位置の水平位置に基づいて決定されてもよい。例えば、仮想ブロックは、図９に示すように、位置Ａ、位置Ｂ、及び位置Ｃを含む仮想ブロックであってもよい。

【0118】

いくつかの実施例では、プロセッサ１３２０は、少なくとも１つの走査領域、少なくとも１つの走査方向、少なくとも１つの走査距離、及び走査順序に基づいて走査規則を決定してもよい。

【0119】

いくつかの実施例では、プロセッサ１３２０は、更に、現在のブロックの上辺に垂直な第１走査方向に沿って、第１走査距離で第１走査領域内に走査することによって第１候補位置を取得してもよく、第１走査距離が第１数の動き場を含んでもよく、第１候補位置と上辺の右側及び上方にある隣接動き場との間の距離が第１走査距離であってもよく、第１走査領域が上辺の右側及び上方にある１ラインの連続動き場を含んでもよい。更に、プロセッサ１３２０は、現在のブロックの左辺に垂直な第２走査方向に沿って、第２走査距離で第２走査領域内に走査することによって第２候補位置を取得してもよく、第２走査距離が第２数の動き場を含んでもよく、第２候補位置と左辺の左側及び下部にある隣接動き場との間の距離が第２走査距離であってもよく、第２走査領域が左辺の左側及び下部にある１ラインの連続動き場を含んでもよい。

【0120】

いくつかの実施例では、プロセッサ１３２０は、第１走査領域又は第２走査領域内に、現在のブロックから離れて面する走査順序で走査してもよい。

【0121】

いくつかの実施例では、プロセッサ１３２０は、現在のブロックの上辺に平行な第３走査方向に沿って、第３走査距離で第３走査領域内に走査することによって第１候補位置を取得してもよく、現在のブロックの左辺に平行な第４走査方向に沿って、第４走査距離で第４走査領域内に走査することによって第２候補位置を取得してもよい。

【0122】

いくつかの実施例では、プロセッサ１３２０は、現在のブロックの上辺に平行な第３走査方向と、上辺に垂直な第１走査方向との組み合わせに沿って第５走査距離で第５走査領域内に走査することによって、第１候補位置を取得してもよく、現在のブロックの左辺に平行な第４走査方向と、左辺に垂直な第２走査方向との組み合わせに沿って第６走査距離で第６走査領域内に走査することによって、第２候補位置を取得してもよい。

【0123】

いくつかの実施例では、プロセッサ１３２０は、左側から右側への組み合わせ走査順序で、現在のブロックから離れて面して、第５走査領域内に走査し、上から下への組み合わせ走査順序で、現在のブロックから離れて面して、第６走査領域内に走査してもよい。

【0124】

いくつかの実施例では、プロセッサ１３２０は、１つ以上のアフィン候補の数が所定の数に達したと決定することに応答して、少なくとも１つの走査領域内での走査を停止してもよい。

【0125】

いくつかの実施例では、プロセッサ１３２０は、第１アフィン候補、第２アフィン候補、及び第３アフィン候補の動き情報が利用可能であると決定することに応答して、仮想ブロックが６パラメータアフィンモデルを表すと決定してもよく、第１アフィン候補、第２アフィン候補、及び第３アフィン候補のうちの１つのアフィン候補の動き情報が担保できないと決定することに応答して、仮想ブロックが４パラメータアフィンモデルを表すと決定してもよく、仮想ブロックが有効なアフィンモデルを表すことができないと決定してもよい。

【0126】

図１５は、本開示の一実施例に係るアフィン候補をプルーニングする方法を示すフローチャートである。

【0127】

ステップ１５０１では、プロセッサ１３２０は、第１アフィン候補の１つ以上のＣＰＭＶに関連付けられた第１セットのアフィンモデルパラメータを計算してもよい。

【0128】

ステップ１５０２では、プロセッサ１３２０は、第２アフィン候補の１つ以上のＣＰＭＶに関連付けられた第２セットのアフィンモデルパラメータを計算してもよい。

【0129】

ステップ１５０２では、プロセッサ１３２０は、第１セットのアフィンモデルパラメータ及び第２セットのアフィンモデルパラメータに基づいて、第１アフィン候補と第２アフィン候補との間の類似性チェックを実行してもよい。

【0130】

いくつかの実施例では、プロセッサ１３２０は、第１セットのアフィンモデルパラメータが第２セットのアフィンモデルパラメータに類似すると決定することに応答して、第１アフィン候補が第２アフィン候補に類似すると決定し、第１アフィン候補及び第２アフィン候補のうちの１つをプルーニングしてもよい。

【0131】

いくつかの実施例では、プロセッサ１３２０は、第１セットのアフィンモデルパラメータの１つのパラメータと第２セットのアフィンモデルパラメータの１つのパラメータとの差が所定の閾値より小さいと決定することに応答して、第１アフィン候補が第２アフィン候補に類似すると決定してもよい。

【0132】

いくつかの実施例では、プロセッサ１３２０は、現在のブロックの幅及び高さに従って、第１アフィン候補の１つ以上のＣＰＭＶに関連付けられた第１セットのアフィンモデルパラメータを計算してもよく、現在のブロックの幅及び高さに従って、第２アフィン候補の１つ以上のＣＰＭＶに関連付けられた第２セットのアフィンモデルパラメータを計算してもよい。

【0133】

いくつかの実施例では、異なるアフィンモデルは、第１アフィン候補と第２アフィン候補にそれぞれ適用され、第１セットのアフィンモデルパラメータと第２セットのアフィンモデルパラメータは、それぞれ異なるアフィンモデルに関連付けられる。

【0134】

いくつかの実施例では、異なるアフィンモデルは、４パラメータアフィンモデル及び６パラメータアフィンモデルを含む。

【0135】

いくつかの実施例では、ビデオ符号化のための装置が提供される。装置は、プロセッサ１３２０と、プロセッサによって実行可能な命令を記憶するように構成されたメモリ１３４０とを含み、プロセッサは、命令の実行時に、図１４に示すような方法を実行するように構成される。

【0136】

他のいくつかの実施例では、命令を記憶する非一時的コンピュータ可読記憶媒体が提供される。命令がプロセッサ１３２０によって実行されると、命令は、図１４に示すような方法をプロセッサに実行させる。

【0137】

いくつかの実施例では、ビデオ符号化のための装置が提供される。装置は、プロセッサ１３２０と、プロセッサによって実行可能な命令を記憶するように構成されたメモリ１３４０とを含み、プロセッサは、命令の実行時に、図１５に示すような方法を実行するように構成される。

【0138】

他のいくつかの実施例では、命令を記憶する非一時的コンピュータ可読記憶媒体が提供される。命令がプロセッサ１３２０によって実行されると、命令は、図１５に示すような方法をプロセッサに実行させる。

【0139】

本開示の他の実施例は、本明細書に開示された本開示の明細書及び実施を考慮することにより、当業者には明らかとなるであろう。本願は、その一般的な原理に従い、本分野で既知又は慣例的な実施の範囲内に含まれる本開示からの逸脱を含む、本開示の任意の変形、使用、又は適応を包含することが意図される。本明細書及び実施例は、単に例示的なものと見なされることが意図される。

【0140】

本開示は、上述した、添付の図面によって示された実施例に厳密に限定されるものではなく、本開示の範囲から逸脱することなく、様々な修正及び変更を行うことができることが理解されるであろう。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【手続補正書】

【提出日】2024-04-25

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本願は、２０２１年９月６日に提出された、名称が「Ｃａｎｄｉｄａｔｅ Ｄｅｒｉｖａｔｉｏｎ ｆｏｒ Ａｆｆｉｎｅ Ｍｅｒｇｅ Ｍｏｄｅ ｉｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」である米国仮特許出願第６３／２４１０９４号に対する優先権を主張するものであり、その内容全体は、参照により本明細書に組み込まれるものとする。

【技術分野】

【0002】

本開示は、ビデオ符号化復号化及び圧縮に関し、特に、ビデオ符号化又は復号プロセスにおけるアフィン動き予測モードのアフィンマージ候補導出を改善する方法及び装置に関するが、これらに限定されない。

【背景技術】

【0003】

ビデオデータを圧縮するためには、様々なビデオ符号化復号化技術を使用することができる。ビデオ符号化復号化は、１つ以上のビデオ符号化復号化標準に従って実行される。例えば、今日ではよく知られているいくつかのビデオ符号化復号化標準として、ＩＳＯ／ＩＥＣ ＭＰＥＧとＩＴＵ－Ｔ ＶＥＣＧによって共同開発された汎用ビデオ符号化復号化（ＶＶＣ）、高効率ビデオ符号化復号化（ＨＥＶＣ、Ｈ．２６５又はＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られる）、及び高度ビデオ符号化復号化（ＡＶＣ、Ｈ．２６４又はＭＰＥＧ－４ Ｐａｒｔ１０としても知られる）が挙げられる。ＡＯメディアビデオ１（ＡＶ１）は、先行標準ＶＰ９の後継としてＡｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ（ＡＯＭ）によって開発された。デジタルオーディオ及びデジタルビデオ圧縮標準を指すオーディオビデオ符号化復号化（ＡＶＳ）は、中国のオーディオ及びビデオ符号化標準ワークグループによって開発された別のビデオ圧縮標準シリーズである。既存のビデオ符号化復号化標準の多くは、例えば、ブロックベースの予測方法（例えば、インター予測、イントラ予測）を使用してビデオイメージ又はシーケンスに存在する冗長性を削減し、変換符号化を使用して予測誤差のエネルギーを圧縮するなどのように、有名なハイブリッドビデオ符号化復号化フレームワークに基づいて構築される。ビデオ符号化復号化技術の１つの重要な目標は、ビデオ品質の劣化を回避するか又は最小限に抑えながら、ビデオデータを、より低いビットレートを使用する形式に圧縮することである。

【0004】

第１世代のＡＶＳ標準は、中国の国家標準「情報技術、高度なオーディオビデオ符号化復号化、パート２：ビデオ」（ＡＶＳ１として知られている）及び「情報技術、高度なオーディオビデオ符号化復号化、パート１６：ラジオテレビビデオ」（ＡＶＳ＋として知られている）を含む。ＭＰＥＧ－２標準と比較して、同じ知覚品質で約５０％ビットレートを節約することができる。ＡＶＳ１標準のビデオ部分は、２００６年２月に中国の国家標準として公布された。第２世代のＡＶＳ標準は、主に追加のＨＤ ＴＶプログラムの送信を対象とした一連の中国国家標準「情報技術、効率的なマルチメディア符号化」（単にＡＶＳ２ともいう）を含む。ＡＶＳ２の符号化効率は、ＡＶＳ＋の２倍である。２０１６年５月に、ＡＶＳ２は、中国の国家標準として発行された。一方、ＡＶＳ２標準のビデオ部分は、アプリケーションの国際標準の１つとして電気電子学会（ＩＥＥＥ）によって提出された。ＡＶＳ３標準は、最新の国際標準ＨＥＶＣの符号化効率を超えることを目的とした、ＵＨＤビデオアプリケーション用の新世代のビデオ符号化復号化標準である。２０１９年３月に、第６８回のＡＶＳ会議で、ＨＥＶＣ標準よりも約３０％のビットレートを節約するＡＶＳ３－Ｐ２ベースラインが完成された。現在、ハイパフォーマンスモデル（ＨＰＭ）と呼ばれる１つの参照ソフトウェアがあり、該当参照ソフトウェアは、ＡＶＳグループによってメンテナンスされて、ＡＶＳ３標準の参照実装を実証する。

【発明の概要】

【0005】

本開示は、ビデオ符号化又は復号化プロセスにおけるアフィン動き予測モードのアフィンマージ候補導出の改善に関する技術の例を提供する。

【0006】

本開示の第１態様では、ビデオ符号化の方法を提供する。前記方法は、現在のブロックに隣接しない複数の非隣接近傍ブロックから１つ以上のアフィン候補を取得するステップを含んでもよい。更に、前記方法は、前記１つ以上のアフィン候補に基づいて、前記現在のブロックの１つ以上の制御ポイント動きベクトル（ＣＰＭＶ）を取得するステップを含んでもよい。

【0007】

本開示の第２態様では、アフィン候補をプルーニングする方法を提供する。前記方法は、第１アフィン候補の１つ以上のＣＰＭＶに関連付けられた第１セットのアフィンモデルパラメータを計算するステップを含んでもよい。更に、前記方法は、第２アフィン候補の１つ以上のＣＰＭＶに関連付けられた第２セットのアフィンモデルパラメータを計算するステップを含んでもよい。更に、前記方法は、前記第１セットのアフィンモデルパラメータ及び前記第２セットのアフィンモデルパラメータに基づいて、前記第１アフィン候補と前記第２アフィン候補との間の類似性チェックを実行するステップを含んでもよい。

【0008】

本開示の第３態様では、ビデオ符号化のための装置を提供する。前記装置は、１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行可能な命令を記憶するように構成されたメモリとを含む。更に、前記１つ以上のプロセッサは、前記命令の実行時に、第１態様又は第２態様に係る方法を実行するように構成される。

【0009】

本開示の第４態様では、１つ以上のコンピュータプロセッサによって実行されると、前記１つ以上のコンピュータプロセッサに第１態様又は第２態様に係る方法を実行させるコンピュータ実行可能命令を記憶する非一時的コンピュータ可読記憶媒体を提供する。

【図面の簡単な説明】

【0010】

添付の図面に示される具体的な実施例を参照して、本開示の実施例をより具体的に説明する。これらの図面は、いくつかの実施例を示すものに過ぎず、範囲を限定するものと考えられないことが考慮され、添付の図面を使用して追加の特異性及び詳細によりそれらの実施例を説明する。

【0011】

【図1】本開示のいくつかの実施例に係るエンコーダのブロック図である。

【図2】本開示のいくつかの実施例に係るデコーダのブロック図である。

【図3A】本開示のいくつかの実施例に係るマルチタイプツリー構造のブロックパーティションを示す図である。

【図3B】本開示のいくつかの実施例に係るマルチタイプツリー構造のブロックパーティションを示す図である。

【図3C】本開示のいくつかの実施例に係るマルチタイプツリー構造のブロックパーティションを示す図である。

【図3D】本開示のいくつかの実施例に係るマルチタイプツリー構造のブロックパーティションを示す図である。

【図3E】本開示のいくつかの実施例に係るマルチタイプツリー構造のブロックパーティションを示す図である。

【図4A】本開示のいくつかの実施例に係る４パラメータアフィンモデルを示す。

【図4B】本開示のいくつかの実施例に係る４パラメータアフィンモデルを示す。

【図5】本開示のいくつかの実施例に係る６パラメータアフィンモデルを示す。

【図6】本開示のいくつかの実施例に係る、継承されたアフィンマージ候補の隣接近傍ブロックを示す。

【図7】本開示のいくつかの実施例に係る、構築されたアフィンマージ候補の隣接近傍ブロックを示す。

【図8】本開示のいくつかの実施例に係る、継承されたアフィンマージ候補の非隣接近傍ブロックを示す。

【図9】本開示のいくつかの実施例に係る、非隣接近傍ブロックを使用する構築されたアフィンマージ候補の導出を示す図である。

【図10】本開示のいくつかの実施例に係る非隣接近傍ブロックの垂直走査を示す。

【図11】本開示のいくつかの実施例に係る非隣接近傍ブロックの平行走査を示す。

【図12】本開示のいくつかの実施例に係る、非隣接近傍ブロックの垂直走査と平行走査との組み合わせを示す。

【図13】本開示のいくつかの実施例に係る、ユーザインタフェースに結合されたコンピューティング環境を示す図である。

【図14】本開示のいくつかの実施例に係るビデオ符号化の方法を示すフローチャートである。

【図15】本開示のいくつかの実施例に係る、アフィン候補をプルーニングする方法を示すフローチャートである。

【図16】本開示のいくつかの実施例に係る、ビデオブロックの符号化及び復号化のためのシステムを示すブロック図である。

【発明を実施するための形態】

【0012】

具体的な実施形態を詳細に参照し、それらの実施例を添付図面に示す。以下の詳細な説明では、本明細書に示される主題を完全に理解するために、多数の非限定的で具体的な詳細が示されている。しかしながら、様々な代替実施形態を使用できることが当業者には明らかであろう。例えば、本明細書に示される主題は、デジタルビデオ機能を有する複数のタイプの電子機器に実施可能であることが当業者には明らかであろう。

【0013】

本明細書全体を通じて、「一実施形態」、「１つの実施形態」、「一実施例」、「いくつかの実施形態」、「いくつかの実施例」、又は類似の用語への言及は、記載される特定の特徴、構造、又は特性が少なくとも１つの実施形態又は実施例に含まれることを意味する。１つ又はいくつかの実施形態に関連して記載される特徴、構造、要素、又は特性は、特に明記されていない限り、他の実施形態にも適用可能である。

【0014】

本開示全体を通して、「第１」、「第２」、「第３」などの用語は全て、特に明記されていない限り、空間的又は時系列的な順序を暗示することなく、関連する要素、例えば装置、構成要素、組成、ステップなどを参照するための命名法としてのみ使用される。例えば、「第１装置」と「第２装置」は、別々に形成された２つの装置、又は同じ装置の２つの部分、構成要素、若しくは動作状態を指し、任意に命名されてもよい。

【0015】

「モジュール」、「サブモジュール」、「回路」、「サブ回路」、「回路システム」、「サブ回路システム」、「ユニット」、又は「サブユニット」という用語は、１つ以上のプロセッサによって実行できるコード又は命令を記憶するメモリ（共有、専用、又はグループ）を含んでもよい。モジュールは、記憶されたコード又は命令の有無にかかわらず、１つ以上の回路を含んでもよい。モジュール又は回路は、直接又は間接的に接続された１つ以上の構成要素を含んでもよい。これらの構成要素は、互いに物理的に取り付けられるか、又は互いに隣接して配置される場合があり、そうでない場合がある。

【0016】

本明細書で使用されるように、「もし…ば」又は「…場合」という用語は、文脈に応じて、「…ときに」又は「…に応じて」を意味すると理解されてもよい。これらの用語は、特許請求の範囲に出現する場合、関連する限定又は特徴が条件付き又は選択的であることを示していない場合がある。例えば、１つの方法は、ｉ）条件Ｘが存在する場合、又は存在すれば、機能又は作用Ｘ’を実行するステップと、ｉｉ）条件Ｙが存在する場合、又は存在すれば、機能又は作用Ｙ’を実行するステップとを含んでもよい。この方法は、機能又は作用Ｘ’を実行する能力と、機能又は作用Ｙ’を実行する能力との両方により実施されてもよい。したがって、機能Ｘ’とＹ’とは、両方とも、異なる時間にこの方法の複数回の実行で実現されてもよい。

【0017】

ユニット又はモジュールは、完全にソフトウェアによって、完全にハードウェアによって、又はハードウェアとソフトウェアとの組み合わせによって実装されてもよい。完全なソフトウェアの実装では、例えば、ユニット又はモジュールは、特定の機能を実行するために、直接又は間接的にリンクされた機能的に関連するコードブロック又はソフトウェア構成要素を含んでもよい。

【0018】

図１６は、本開示のいくつかの実施形態に係る、ビデオブロックの符号化及び復号化を並行して行う例示的なシステム１０を示すブロック図である。図１６に示すように、システム１０は、宛先装置１４によって後で復号化されるビデオデータを生成して符号化するソース装置１２を含む。ソース装置１２及び宛先装置１４は、デスクトップ又はラップトップコンピュータ、タブレットコンピュータ、スマートフォン、セットトップボックス、デジタルテレビ、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミング装置などを含む様々な電子装置のいずれかを含んでもよい。いくつかの実施形態では、ソース装置１２及び宛先装置１４は、無線通信機能を備える。

【0019】

いくつかの実施形態では、宛先装置１４は、リンク１６を介して、復号される符号化ビデオデータを受信してもよい。リンク１６は、符号化ビデオデータをソース装置１２から宛先装置１４に移動させることができる任意のタイプの通信媒体又は装置を含んでもよい。一実施例では、リンク１６は、ソース装置１２が符号化ビデオデータを宛先装置１４にリアルタイムに直接送信できるようにする通信媒体を含んでもよい。符号化ビデオデータは、無線通信プロトコルなどの通信標準に従って変調され、宛先装置１４に送信されてもよい。通信媒体は、無線周波数（ＲＦ）スペクトル又は１つ以上の物理伝送線などの、任意の無線通信媒体又は有線通信媒体を含んでもよい。通信媒体は、ローカルエリアネットワーク、広域ネットワーク、又はインターネットなどのグローバルネットワークなどのパケットベースのネットワークの一部を構成してもよい。通信媒体は、ルータ、スイッチ、基地局、又はソース装置１２から宛先装置１４への通信を容易にするのに有用であり得る任意の他の機器を含んでもよい。

【0020】

いくつかの他の実施形態では、符号化ビデオデータは、出力インタフェース２２から記憶装置３２に送信されてもよい。その後、記憶装置３２内の符号化ビデオデータは、入力インタフェース２８を介して宛先装置１４によってアクセスされてもよい。記憶装置３２は、ハードドライブ、ブルーレイディスク、デジタルバーサタイルディスク（ＤＶＤ）、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、フラッシュメモリ、揮発性若しくは不揮発性メモリ、又は符号化ビデオデータを記憶する任意の他の適切なデジタル記憶媒体などの、様々な分散型又はローカルにアクセスされるデータ記憶媒体のうちのいずれかを含んでもよい。更なる実施例では、記憶装置３２は、ソース装置１２によって生成された符号化ビデオデータを記憶し得るファイルサーバ又は他の中間記憶装置に対応してもよい。宛先装置１４は、ストリーミング又はダウンロードを介して、記憶装置３２から記憶されたビデオデータにアクセスしてもよい。ファイルサーバは、符号化ビデオデータを記憶するとともに、符号化ビデオデータを宛先装置１４に送信することができる任意のタイプのコンピュータであってもよい。例示的なファイルサーバは、（例えば、ウェブサイト用の）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、ネットワーク接続ストレージ（ＮＡＳ）装置、又はローカルディスクドライブを含む。宛先装置１４は、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに適した無線チャネル（例えば、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）接続）、有線接続（例えば、ＤＳＬ（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ、デジタル加入者線）、ケーブルモデムなど）、又は両方の組み合わせを含む任意の標準データ接続を通じて、符号化ビデオデータにアクセスしてもよい。記憶装置３２からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又は両方の組み合せであってもよい。

【0021】

図１６に示すように、ソース装置１２は、ビデオソース１８、ビデオエンコーダ２０、及び出力インタフェース２２を含む。ビデオソース１８は、ビデオカメラなどのビデオキャプチャ装置、以前にキャプチャされたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するビデオフィードインタフェース、及び／又は、ソースビデオとしてコンピュータグラフィックデータを生成するコンピュータグラフィックシステムなどのソース、又は、これらのソースの組み合わせを含んでもよい。一実施例として、ビデオソース１８がセキュリティ監視システムのビデオカメラであれば、ソース装置１２及び宛先装置１４は、カメラフォン又はビデオフォンを形成してもよい。しかしながら、本願に説明される実施形態は、一般にビデオ符号化復号化に適用可能であってもよく、無線及び／又は有線アプリケーションにも適用可能であってもよい。

【0022】

キャプチャされたビデオ、予めキャプチャされたビデオ、又はコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化されてもよい。符号化ビデオデータは、ソース装置１２の出力インタフェース２２を介して、宛先装置１４に直接送信されてもよい。符号化ビデオデータはまた（又は代替的に）、宛先装置１４又は他の装置によって後でアクセスされて復号及び／又は再生されるように、記憶装置３２に記憶されてもよい。出力インタフェース２２は、モデム及び／又は送信機を更に含んでもよい。

【0023】

宛先装置１４は、入力インタフェース２８、ビデオデコーダ３０、及び表示装置３４を含む。入力インタフェース２８は、受信機及び／又はモデムを含み、リンク１６を介して符号化ビデオデータを受信してもよい。リンク１６を介して通信され、又は記憶装置３２に提供される符号化ビデオデータは、ビデオデータを復号する際にビデオデコーダ３０によって使用される、ビデオエンコーダ２０によって生成された様々な構文要素を含んでもよい。そのような構文要素は、通信媒体に送信され、記憶媒体に記憶され、又はファイルサーバに記憶される符号化ビデオデータ内に含まれてもよい。

【0024】

いくつかの実施形態では、宛先装置１４は、統合表示装置、及び宛先装置１４と通信するように構成された外部表示装置であり得る表示装置３４を含んでもよい。表示装置３４は、復号化ビデオデータをユーザに表示させ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は他のタイプの表示装置などの様々な表示装置のいずれかを含んでもよい。

【0025】

ビデオエンコーダ２０及びビデオデコーダ３０は、例えば、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ－４、Ｐａｒｔ １０、ＡＶＣなどの独自又は産業上の標準に従って動作してもよく、それらの標準の拡張に従って動作してもよい。本願は、特定のビデオ符号化／復号標準に限定されず、他のビデオ符号化／復号標準にも適用可能であることを理解されたい。一般に、ソース装置１２のビデオエンコーダ２０は、これらの現在又は将来の標準のうちのいずれかに従ってビデオデータを符号化するように構成されてもよいことが考えられる。同様に、一般に、宛先装置１４のビデオデコーダ３０は、これらの現在又は将来の標準のうちのいずれかに従ってビデオデータを復号するように構成されてもよいことも考えられる。

【0026】

ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又はこれらの任意の組み合わせなどの様々な適切なエンコーダ及び／又はデコーダ回路のうちのいずれかとして実装されてもよい。ソフトウェアで部分的に実装される場合、電子機器は、ソフトウェアのための命令を適切な非一時的コンピュータ可読媒体に記憶し、１つ以上のプロセッサを使用してハードウェアで命令を実行して、本開示に開示されるビデオ符号化／復号動作を実行してもよい。ビデオエンコーダ２０及びビデオデコーダ３０のそれぞれは、１つ以上のエンコーダ又はデコーダに含まれてもよく、いずれも、組み合わせたエンコーダ／デコーダ（ＣＯＤＥＣ）の一部としてそれぞれの装置内に統合されてもよい。

【0027】

ＨＥＶＣと同様に、ＶＶＣは、ブロックベースのハイブリッドビデオ符号化復号化フレームワークに基づいて構築される。図１は、本開示のいくつかの実施形態に係る、ブロックベースのビデオエンコーダを示すブロック図である。エンコーダ１００において、入力ビデオ信号は、符号化ユニット（ＣＵ）と呼ばれるブロック毎に処理される。エンコーダ１００は、図１６に示すように、ビデオエンコーダ２０であってもよい。ＶＴＭ－１．０では、ＣＵは、最大１２８×１２８画素まで可能である。しかしながら、４分木のみに基づいてブロックを分割するＨＥＶＣとは異なり、ＶＶＣでは、１つの符号化ツリーユニット（ＣＴＵ）は、４分木／２分木／３分木に基づいて、様々な局所的な特性に適応するようにＣＵに分割される。更に、ＨＥＶＣにおける多重分割ユニットタイプの概念が除去され、即ち、ＣＵ、予測ユニット（ＰＵ）、及び変換ユニット（ＴＵ）の分離はもはやＶＶＣに存在せず、代わりに、各ＣＵは、更なる分割なしで、予測及び変換の両方のための基本ユニットとして常に使用される。マルチタイプツリー構造において、まず、１つのＣＴＵは、４分木構造によって分割される。次に、各４分木リーフノードは、２分木構造及び３分木構造によって更に分割することができる。

【0028】

図３Ａ～３Ｅは、本開示のいくつかの実施形態に係るマルチタイプツリーパーティションモードを示す概略図である。図３Ａ～３Ｅはそれぞれ、４分割（図３Ａ）、垂直２分割（図３Ｂ）、水平２分割（図３Ｃ）、垂直３分割（図３Ｄ）、及び水平３分割（図３Ｅ）を含む５つの分割タイプを示す。

【0029】

所与のビデオブロックごとに、空間的予測及び／又は時間予測を実行してもよい。空間的予測（又は「イントラ予測」）は、同じビデオピクチャ／スライス内の既に符号化された近傍ブロックのサンプル（参照サンプルと呼ばれる）からの画素を使用して、現在のビデオブロックを予測する。空間的予測は、ビデオ信号に固有の空間冗長性を削減する。時間予測（「インター予測」又は「動き補償予測」とも呼ばれる）は、既に符号化されたビデオピクチャからの再構成された画素を使用して、現在のビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間冗長性を削減する。所与のＣＵについての時間予測信号は、通常、現在のＣＵとその時間基準との間の動きの量及び方向を示す１つ以上の動きベクトル（ＭＶ）によってシグナリングされる。また、複数の参照ピクチャがサポートされる場合、１つの参照ピクチャインデックスが追加的に送信され、参照ピクチャインデックスは、時間予測信号が参照ピクチャストア内のどの参照ピクチャからのものであるかを識別するために使用される。

【0030】

空間的予測及び／又は時間予測の後、エンコーダ１００のイントラ／インターモード決定回路１２１は、例えば、レート歪み最適化法に基づいて、最適な予測モードを選択する。次いで、ブロック予測器１２０は、現在のビデオブロックから減算され、取得された予測残差は、変換回路１０２及び量子化回路１０４を使用して無相関化される。取得された量子化残差係数は、逆量子化回路１１６によって逆量子化され、逆変換回路１１８によって逆変換されることで、再構成された残差を形成し、次いで、再構成された残差は、予測ブロックに加算されることで、ＣＵの再構成された信号を形成する。更に、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）、及び／又は適応インループフィルタ（ＡＬＦ）などのインループフィルタリング１１５は、再構成されたＣＵがピクチャバッファ１１７の参照ピクチャストアに入れられ将来のビデオブロックを符号化するために使用される前に、再構成されたＣＵに適用することができる。出力ビデオビットストリーム１１４を形成するために、符号化モード（インター又はイントラ）、予測モード情報、動き情報、及び量子化残差係数は、全て、エントロピー符号化ユニット１０６に送信され、更に圧縮され、パックされてビットストリームを形成する。

【0031】

例えば、デブロッキングフィルタは、ＡＶＣ、ＨＥＶＣ、及びＶＶＣの最新バージョンで利用可能である。ＨＥＶＣでは、符号化効率を更に向上させるために、ＳＡＯと呼ばれる追加のインループフィルタが定義されている。ＶＶＣ標準の最新バージョンでは、ＡＬＦと呼ばれる別のインループフィルタが積極的に研究されており、最終標準に含まれる可能性が高くなる。

【0032】

これらのインループフィルタ動作は、選択可能なものである。これらの動作を実行することは、符号化効率及び視覚的な品質の向上に役立つ。これらの動作は、計算の複雑さを低減するために、エンコーダ１００によって与えられる決定としてオフにされてもよい。

【0033】

なお、これらのフィルタオプションがエンコーダ１００によってオンにされる場合、イントラ予測は、通常、フィルタリングされていない再構成画素に基づくものであるのに対し、インター予測は、フィルタリングされた再構成画素に基づくものである。

【0034】

図２は、多くのビデオ符号化複号化標準と組み合わせて使用され得るブロックベースのビデオデコーダ２００を示すブロック図である。該当デコーダ２００は、図１のエンコーダ１００に存在する再構成関連部分に類似している。ブロックベースのビデオデコーダ２００は、図１６に示すように、ビデオデコーダ３０であってもよい。デコーダ２００では、入力ビデオビットストリーム２０１は、まず、エントロピー復号２０２によって復号されることで、量子化係数レベル及び予測関連情報を導出する。次に、量子化係数レベルは、逆量子化２０４及び逆変換２０６によって処理されて、再構成された予測残差を取得する。イントラ／インターモード選択２１２で実現されるブロック予測器メカニズムは、復号された予測情報に基づいて、イントラ予測２０８又は動き補償２１０を実行するように構成される。フィルタリングされていない再構成画素セットは、逆変換２０６からの再構成された予測残差とブロック予測器メカニズムにより生成された予測出力とを加算器２１４を使用して加算することにより取得される。

【0035】

再構成されたブロックは、参照ピクチャストアとして機能するピクチャバッファ２１３に記憶される前に、インループフィルタ２０９を更に通過してもよい。ピクチャバッファ２１３の再構成されたビデオは、将来のビデオブロックを予測するために使用されるだけでなく、表示装置を駆動するために送信されてもよい。インループフィルタ２０９がオンにする場合には、これらの再構成画素に対してフィルタリング動作を実行して、最終的な再構成されたビデオ出力２２２を導出する。

【0036】

現在のＶＶＣ及びＡＶＳ３標準では、現在の符号化ブロックの動き情報は、マージ候補インデックスによって特定された空間的又は時間的近傍ブロックからコピーされ、又は動き推定の明示的なシグナリングによって取得される。本開示の焦点は、アフィンマージ候補の導出方法を改善することによって、アフィンマージモードの動きベクトルの精度を改善することである。本開示の説明を容易にするために、ＶＶＣ標準における既存のアフィンマージモード設計が、提案されたアイデアを説明するために例として使用される。なお、ＶＶＣ標準の既存のアフィンモード設計が本開示全体を通じて例として使用されるが、当業者にとって、提案された技術は、同じ又は類似の設計思想を有するアフィン動き予測モードの異なる設計又は他の符号化ツールにも適用することができる。

【0037】

アフィンモード
ＨＥＶＣでは、並進動きモデルのみが動き補償予測に適用されている。現実世界では、ズームインズームアウト、回転、視点の動き、他の不規則的な動きなど、様々な動きが存在する。ＶＶＣ及びＡＶＳ３では、並進動きモデル又はアフィン動きモデルがインター予測に適用されるか否かを示すために、インター符号化ブロックごとに１つのフラグをシグナリングすることによって、アフィン動き補償予測を適用する。現在のＶＶＣ及びＡＶＳ３設計では、４パラメータアフィンモード及び６パラメータアフィンモードを含む２つのアフィンモードは、１つのアフィン符号化ブロックに対してサポートされる。

【0038】

４パラメータアフィンモデルには、水平方向と垂直方向の並進移動にそれぞれ用いられる２つのパラメータと、ズーム動きに用いられる１つのパラメータと、両方向の回転動きに用いられる１つのパラメータとがある。このモデルでは、水平ズームパラメータは、垂直ズームパラメータと等しく、水平回転パラメータは、垂直回転パラメータと等しい。動きベクトルとアフィンパラメータをより適切に調整するために、これらのアフィンパラメータは、現在のブロックの左上隅と右上隅に配置される２つのＭＶ（制御ポイント動きベクトル（ＣＰＭＶ）とも呼ばれる）から導出される。図４Ａ及び図４Ｂに示すように、ブロックのアフィン動き場は、２つのＣＰＭＶ（Ｖ_０，Ｖ_１）によって記載される。制御ポイント動きに基づいて、１つのアフィン符号化ブロックの動き場（ｖ_ｘ，ｖ_ｙ）は、以下のように記載される。

【数1】

【0039】

６パラメータアフィンモードには、水平方向と垂直方向の並進移動にそれぞれ用いられる２つのパラメータと、水平方向のズーム動きと回転動きにそれぞれ用いられる２つのパラメータと、垂直方向のズーム動きと回転動きに用いられる別の２つのパラメータとがある。６パラメータアフィン動きモデルは、３つのＣＰＭＶで符号化される。図５に示すように、１つの６パラメータアフィンブロックの３つの制御ポイントは、ブロックの左上隅、右上隅及び左下隅に配置される。左上制御ポイントの動きは、並進動きに関連し、右上制御ポイントの動きは、水平方向の回転及びズームの動きに関連し、左下制御ポイントの動きは、垂直方向の回転及びズームの動きに関連する。４パラメータのアフィン動きモデルと比較すると、６パラメータの水平方向の回転及びズームの動きは、垂直方向の動きと同じではない可能性がある。（ｖ_０，ｖ_１，ｖ_２）が図５の現在のブロックの左上隅、右上隅及び左下隅のＭＶであると仮定すると、各サブブロックの動きベクトル（ｖ_ｘ，ｖ_ｙ）は、制御ポイントの３つのＭＶを使用して以下のように導出される。

【数2】

【0040】

アフィンマージモード
アフィンマージモードでは、現在のブロックのＣＰＭＶは、明示的にシグナリングされないが、近傍ブロックから導出される。具体的には、このモードでは、空間的近傍ブロックの動き情報を使用して、現在のブロックのＣＰＭＶを生成する。アフィンマージモードの候補リストは、有限サイズを有する。例えば、現在のＶＶＣデザインでは、最大５つの候補が存在する可能性である。エンコーダは、レート歪み最適化アルゴリズムに基づいて最適な候補インデックスを評価及び選択してもよい。次に、選択された候補インデックスは、デコーダ側にシグナリングされる。アフィンマージ候補は、３つの方法で決定することができる。第１方法では、近傍アフィン符号化ブロックからアフィンマージ候補を継承してもよい。第２方法では、近傍ブロックからの並進ＭＶからアフィンマージ候補を構築する。第３方法では、ゼロＭＶをアフィンマージ候補として使用する。

【0041】

継承方法について、最大２つの候補が存在する可能である。候補は、利用可能な場合、現在のブロックの左下に配置される近傍ブロック（例えば、図６に示すように、走査順序は、Ａ０からＡ１である）と、現在のブロックの上辺に配置される近傍ブロック（例えば、図６に示すように、走査順序は、Ｂ０からＢ２である）とから取得される。

【0042】

構築方法では、候補は、近傍ブロックの並進ＭＶの組み合わせであり、以下の２つのステップで生成されてもよい。

【0043】

ステップ１では、利用可能な近傍ブロックからＭＶ１、ＭＶ２、ＭＶ３及びＭＶ４を含む４つの並進ＭＶを取得する。
ＭＶ１については、現在のブロックの左上隅に近接する３つの近傍ブロックのうちの１つからのＭＶである。図７に示すように、走査順序は、Ｂ２、Ｂ３、Ａ２である。
ＭＶ２については、現在のブロックの右上隅に近接する２つの近傍ブロックのうちの１つからのＭＶである。図７に示すように、走査順序は、Ｂ１、Ｂ０である。
ＭＶ３については、現在のブロックの左下隅に近接する２つの近傍ブロックのうちの１つからのＭＶである。図７に示すように、走査順序は、Ａ１、Ａ０である。
ＭＶ４については、現在のブロックの右下隅に近接する近傍ブロックの時間的配列ブロックからのＭＶである。図７に示すように、近傍ブロックは、Ｔである。

【0044】

ステップ２では、ステップ１からの４つの並進ＭＶに基づいて組み合わせを導出する。
組み合わせ１は、ＭＶ１、ＭＶ２、ＭＶ３である。
組み合わせ２は、ＭＶ１、ＭＶ２、ＭＶ４である。
組み合わせ３は、ＭＶ１、ＭＶ３、ＭＶ４である。
組み合わせ４は、ＭＶ２、ＭＶ３、ＭＶ４である。
組み合わせ５は、ＭＶ１、ＭＶ２である。
組み合わせ６は、ＭＶ１、ＭＶ３である。

【0045】

継承候補と構築候補で充填された後、マージ候補リストがフルでない場合、リストの最後にゼロＭＶを挿入する。

【0046】

現在のビデオ標準ＶＶＣ及びＡＶＳでは、それぞれ、継承候補と構築候補について、図６及び図７に示すように、現在のブロックのアフィンマージ候補を導出するために隣接近傍ブロックのみが使用される。マージ候補の多様性を高め、空間的相関を更に調査するには、近傍ブロックのカバー範囲を隣接領域から非隣接領域に直接に拡張する。

【0047】

本開示では、アフィンマージモードの候補導出プロセスは、隣接近傍ブロックだけでなく、非隣接近傍ブロックを使用することによって拡張される。詳細な方法は、アフィンマージ候補のプルーニング、継承されたアフィンマージ候補の非隣接近傍ブロックベースの導出プロセス、及び構築されたアフィンマージ候補の非隣接近傍ブロックベースの導出プロセスを含む３つの態様に要約されてもよい。

【0048】

アフィンマージ候補のプルーニング
一般的なビデオ符号化標準におけるアフィンマージ候補リストは、通常、有限サイズを有するため、候補のプルーニングは、冗長な候補を削除するために不可欠なプロセスである。アフィンマージの継承候補と構築候補の両方に対して、このプルーニングプロセスが必要である。紹介したセクションで説明したように、現在のブロックのＣＰＭＶは、アフィン動き補償に直接使用される。代わりに、ＣＰＭＶは、現在のブロック内の各サブブロックの位置で並進ＭＶに変換される必要がある。変換プロセスは、以下に示すように、一般的なアフィンモデルに従って実行される。

【数3】

【0049】

ここで、（ａ，ｂ）は、デルタ並進パラメータであり、（ｃ，ｄ）は、水平方向のデルタズーム及び回転パラメータであり、（ｅ，ｆ）は、垂直方向のデルタズーム及び回転パラメータであり、（ｘ，ｙ）は、サブブロックのピボット位置（中央又は左上隅など）と現在のブロックの左上隅に対する水平距離及び垂直距離（例えば、図５に示す座標（ｘ，ｙ））であり、（ｖ_ｘ，ｖ_ｙ）はサブブロックのターゲット並進ＭＶである。

【0050】

６パラメータアフィンモデルの場合、Ｖ０、Ｖ１、及びＶ２と呼ばれる３つのＣＰＭＶが利用可能である。次にａ、ｂ、ｃ、ｄ、ｅ、及びｆという６つのモデルパラメータは、以下のように計算することができる。

【数4】

【0051】

４パラメータアフィンモデルの場合、Ｖ０とＶ１と呼ばれる左上隅ＣＰＭＶと右上隅ＣＰＭＶが利用可能であれば、ａ、ｂ、ｃ、ｄ、ｅ、及びｆという６つのパラメータは、以下のように計算することができる。

【数5】

【0052】

４パラメータアフィンモデルの場合、Ｖ０とＶ２と呼ばれる左上隅ＣＰＭＶと左下隅ＣＰＭＶが利用可能であれば、ａ、ｂ、ｃ、ｄ、ｅ、及びｆという６つのパラメータは、以下のように計算することができる。

【数6】

【0053】

ＣＰＭＶの２つのマージ候補セットが冗長性チェックのために比較される場合、６つのアフィンモデルパラメータの類似性をチェックすることが提案されている。したがって、候補プルーニングプロセスは、２つのステップで実行することができる。

【0054】

ステップ１では、ＣＰＭＶの２つの候補セットが与えられると、各候補セットに対応するアフィンモデルパラメータが導出される。より具体的には、ＣＰＭＶの２つの候補セットは、２セットのアフィンモデルパラメータ、例えば、（ａ_１，ｂ_１，ｃ_１，ｄ_１，ｅ_１，ｆ_１）及び（ａ_２，ｂ_２，ｃ_２，ｄ_２，ｅ_２，ｆ_２）によって表されてもよい。

【0055】

ステップ２では、１つ以上の所定の閾値に基づいて、２セットのアフィンモデルパラメータ間の類似性チェックを実行する。一実施形態では（ａ_１－ａ_２）、（ｂ_１－ｂ_２）、（ｃ_１－ｃ_２）、（ｄ_１－ｄ_２）、（ｅ_１－ｅ_２）及び（ｆ_１－ｆ_２）の絶対値がいずれも値１などの正の閾値未満である場合、２つの候補は、類似していると見なされ、そのうちの１つをプルーニング／削除してマージ候補リストに入れないようにすることができる。

【0056】

変換されたアフィンモデルパラメータを候補の冗長性チェックに使用する利点は、異なるアフィンモデルタイプを有する候補に対して統一された類似性チェックプロセスを作成し、例えば、あるマージ候補が３つのＣＰＭＶを有する６パラメータアフィンモデルを使用してもよく、別の候補が２つのＣＰＭＶを有する４パラメータアフィンモデルを使用してもよいことと、各サブブロックでターゲットＭＶを導出する場合、マージ候補内の各ＣＰＭＶの様々な影響を考慮することと、現在のブロックの幅及び高さに関連する２つのアフィンマージ候補の類似性の重要性を提供することと、を含む。

【0057】

継承されたアフィンマージ候補の非隣接近傍ブロックベースの導出プロセス
継承されたマージ候補の場合、非隣接近傍ブロックベースの導出プロセスは、３つのステップで実行されてもよい。ステップ１は、候補の走査に用いられる。ステップ２は、ＣＰＭＶの投影に用いられる。ステップ３は、候補のプルーニングに用いられる。

【0058】

ステップ１では、以下の方法で非隣接近傍ブロックを走査し、選択する。

【0059】

走査領域及び距離
いくつかの実施例では、非隣接近傍ブロックは、現在の符号化ブロックの左側領域及び上方領域から走査されてもよい。走査距離は、走査位置から現在の符号化ブロックの左辺又は上辺までの符号化ブロックの数として定義されてもよい。

【0060】

図８に示すように、現在の符号化ブロックの左側又は上方のいずれかで複数のラインの非隣接近傍ブロックが走査されてもよい。図８に示す距離は、各候補位置から現在のブロックの左辺又は上辺までの符号化ブロックの数を表す。例えば、現在のブロックの左辺において「距離２」を有する領域は、この領域に配置される候補近傍ブロックが現在のブロックから２つのブロック離れることを示す。同様の指示は、異なる距離を有する他の走査領域に適用されてもよい。

【0061】

１つ以上の実施例では、特定の距離での各走査領域内で、開始近傍ブロック及び終了近傍ブロックは、位置に依存してもよい。

【0062】

一実施例では、左辺の走査領域について、開始近傍ブロックは、より小さい距離を有する隣接走査領域の開始近傍ブロックの隣接左下ブロックであってもよい。例えば、図８に示すように、現在のブロックの左辺にある「距離２」走査領域の開始近傍ブロックは、「距離１」走査領域の開始近傍ブロックの隣接左下近傍ブロックである。終了近傍ブロックは、より小さい距離を有する上方走査領域の終了近傍ブロックの隣接左側ブロックであってもよい。例えば、図８に示すように、現在のブロックの左辺にある「距離２」走査領域の終了近傍ブロックは、現在のブロックの上方にある「距離１」走査領域の終了近傍ブロックの隣接左側近傍ブロックである。

【0063】

同様に、上辺の走査領域の場合、開始近傍ブロックは、より小さい距離を有する隣接走査領域の開始近傍ブロックの隣接右上ブロックであってもよい。終了近傍ブロックは、より小さい距離を有する隣接走査領域の終了近傍ブロックの隣接左上ブロックであってもよい。

【0064】

走査順序
近傍ブロックが非隣接領域で走査される場合、一定の順序又は／及び規則に従って、走査される近傍ブロックの選択を決定してもよい。

【0065】

一実施例では、まず左側領域を走査し、次に上方領域を走査してもよい。図８に示すように、まず左辺の３ラインの非隣接領域（例えば、距離１から距離３まで）を走査し、次に現在のブロックの上方３ラインのの非隣接領域を走査してもよい。

【0066】

別の実施例では、左側領域と上方領域を交互に走査してもよい。例えば、図８に示すように、まず「距離１」を有する左側走査領域を走査し、次に「距離１」を有する上方領域を走査する。

【0067】

同じ側に位置する走査領域（左側領域又は上方領域など）について、走査順序は、距離の小さい領域から距離の大きい領域までの順序になる。この順序は、走査順序の他の実施形態と柔軟に組み合わせられてもよい。例えば、左側領域と上方領域を交互に走査してもよく、同じ側の領域の場合の順序は、小さい距離から大きい距離への順序となるように予定される。

【0068】

特定の距離での各走査領域内で、走査順序を定義してもよい。一実施形態では、左側走査領域について、底部近傍ブロックから上部近傍ブロックまでに走査を開始してもよい。上方走査領域について、右側ブロックから左側ブロックまでに走査を開始してもよい。

【0069】

走査終了
継承されたマージ候補について、アフィンモードで符号化された近傍ブロックは、適切な候補として定義される。一実施例では、走査プロセスが交互に実行されてもよい。例えば、最初のＸ個の適切な候補が識別された時点で、特定の距離での特定の領域で実行される走査を停止してもよく、ただし、Ｘが所定の正の値である。例えば、図８に示すように、前の１つ以上の適切な候補が識別された時点で、距離１を有する左側走査領域における走査を停止してもよい。次に、所定の走査順序／規則によって制御される別の走査領域をターゲットすることで、走査プロセスの次の繰り返しが開始される。

【0070】

別の実施例では、走査プロセスは、連続的に実行されてもよい。例えば、カバーされる近傍ブロックが全て走査され、適切な候補がそれ以上識別されなくなり、或いは候補の最大許容数に達した場合には、特定の距離での特定の領域で実行される走査は停止することができる。

【0071】

更に、ステップ２では、現在のＡＶＳ標準及びＶＶＣ標準で使用されているのと同じＣＰＭＶ投影プロセスを利用してもよい。このＣＰＭＶ投影プロセスでは、現在のブロックおよび選択された近傍ブロックは同一のアフィンモデルを共有することが想定されると、近傍ブロックが４パラメータアフィンモデル又は６パラメータアフィンモデルで符号化されるか否かに応じて、２つ又は３つの隅部画素の座標（例えば、現在のブロックが４パラメータモデルを使用する場合、２つの座標（左上の画素／サンプルの位置、及び右上の画素／サンプルの位置）が使用され、現在のブロックが６パラメータモデルを使用する場合、３つの座標（左上の画素／サンプル位置、右上の画素／サンプル位置、及び左下の画素／サンプル位置）が使用される）を式（１）又は（２）に代入して、２つ又は３つのＣＰＭＶを生成する。

【0072】

ステップ３では、ステップ１で識別され、ステップ２で変換された任意の適切な候補と、マージ候補リストに既に存在する全ての既存の候補との類似性チェックを実行してもよい。類似性チェックの詳細については、上記アフィンマージ候補のプルーニングのセクションで既に説明する。新たに適切な候補が候補リスト内の既存の候補と類似していることが判明した場合、この新たに適切な候補は、削除／プルーニングされる。

【0073】

構築されたアフィンマージ候補の非隣接近傍ブロックベースの導出プロセス
継承されたマージ候補を導出する場合、一回で１つの近傍ブロックが識別され、この単一の近傍ブロックは、アフィンモードで符号化される必要があり、２つ又は３つのＣＰＭＶを含んでもよい。構築されたマージ候補を導出する場合、一回で２つ又は３つの近傍ブロックが識別されてもよく、識別された各近傍ブロックは、アフィンモードで符号化される必要がなく、このブロックから１つの並進ＭＶのみが検索される。

【0074】

図９は、非隣接近傍ブロックを使用することによって構築されたアフィンマージ候補を導出する可能である実施例を示す。図９において、Ａ、Ｂ及びＣは、３つの非隣接近傍ブロックの地理的位置である。仮想符号化ブロックは、Ａの位置を左上隅として、Ｂの位置を右上隅として、Ｃの位置を左下隅として使用して形成される。仮想ＣＵをアフィン符号化ブロックとすると、Ａ’、Ｂ’、及びＣ’の位置にあるＭＶを式（３）に従って導出でき、ただし、モデルパラメータ

が、Ａ、Ｂ、及びＣの位置にある並進ＭＶによって求められる。導出されると、Ａ’、Ｂ’、及びＣ’の位置にあるＭＶを現在のブロックの３つのＣＰＭＶとして使用され、構築されたアフィンマージ候補を生成する既存のプロセス（ＡＶＳ及びＶＶＣ標準で使用されているプロセス）を使用することができる。

【0075】

構築されたマージ候補について、非隣接近傍ブロックベースの導出プロセスは、エンコーダ又はデコーダなどの装置において５つのステップで実行されてもよい。ステップ１は、候補の走査である。ステップ２は、アフィンモデルの決定である。ステップ３は、ＣＰＭＶの投影である。ステップ４は、候補の生成である。ステップ５は、候補のプルーニングである。ステップ１では、以下の方法により、非隣接近傍ブロックを走査し、選択してもよい。

【0076】

走査領域及び距離
いくつかの実施例では、矩形の符号化ブロックを維持するために、走査プロセスは、２つの非隣接近傍ブロックのみに対して実行される。第３非隣接近傍ブロックは、第１非隣接近傍ブロック及び第２非隣接近傍ブロックの水平位置及び垂直位置に依存してもよい。

【0077】

一実施例では、図９に示すように、走査プロセスは、Ｂの位置及びＣの位置のみに対して実行される。Ａの位置は、Ｃの水平位置及びＢの垂直位置によって一意に決定されてもよい。この場合、特定の走査方向に従って走査領域及び距離を定義してもよい。

【0078】

一実施例では、走査方向は、現在のブロックの辺に垂直であってもよい。図１０に一実施例が示されており、走査領域は、現在のブロックの左側又は上方にある１ラインの連続動き場として定義される。走査距離は、走査位置から現在のブロックの辺までの動き場の数として定義される。なお、動き場のサイズは、適用可能なビデオ符号化標準の最大粒度に依存してもよい。図１０に示す実施例では、動き場のサイズは、現在のＶＶＣ標準に合わせて４×４に設定されることと仮定される。

【0079】

別の実施例では、走査方向は、現在のブロックの辺に平行であってもよい。一実施例は、図１１に示されており、走査領域は、現在のブロックの左側又は上方にある１ラインの連続符号化ブロックとして定義される。

【0080】

別の実施例では、走査方向は、現在のブロックの辺に対する垂直走査と平行走査との組み合わせであってもよい。図１２に示すように、一実施例を示している。図１２に示すように、走査方向は、平行と斜めとの組み合わせであってもよい。位置Ｂでの走査は、左側から右側に開始し、次に左側ブロックと上部ブロックに向かって斜め方向に実行される。位置Ｂでの走査は、図１２に示すように繰り返す。同様に、位置Ｃでの走査は、上部から下部に開始し、次に左側のブロックと上部のブロックに向かって斜め方向に実行される。位置Ｃでの走査は、図１２に示すように繰り返す。

【0081】

走査順序
一実施例では、走査順序は、現在の符号化ブロックまでの距離が小さい位置から現在の符号化ブロックまでの距離が大きい位置への順序として定義されてもよい。この順序は、垂直走査の場合に適用されてもよい。

【0082】

別の実施例では、走査順序は、固定パターンとして定義されてもよい。この固定パターンの走査順序は、同様の距離を有する候補位置に用いられてもよい。一実施例は、平行走査の場合である。一実施例では、走査順序は、図１１に示す実施例のように、左側走査領域に対して上方向から下方向への順序として定義されてもよく、上方走査領域に対して左方向から右方向への順序として定義されてもよい。

【0083】

組み合わせられた走査方法の場合、走査順序は、図１２に示す実施例のように、固定パターンと距離依存との組み合わせであってもよい。

【0084】

走査終了
構築されたマージ候補について、並進ＭＶのみが必要であるため、適切な候補をアフィン符号化する必要がない。

【0085】

必要な候補数に応じて、最初のＸ個の適切な候補が識別された場合に、走査プロセスを終了することができ、ただし、Ｘは、正の値である。

【0086】

ステップ２では、ステップ１の後で選択された候補の位置での並進ＭＶを評価し、適切なアフィンモデルを決定することができる。一般性を失わずに説明を容易にするために、図９を例として再度使用する。

【0087】

ハードウェアの制約、実施の複雑さ、様々な参照インデックスなどの要因により、十分な数の候補が識別される前に走査プロセスを終了してもよい。例えば、ステップ１の後の選択された候補のうちの１つ以上の候補の動き場の動き情報が利用できない可能性がある。

【0088】

全ての３つの候補の動き情報が利用可能である場合、対応する仮想符号化ブロックは、６パラメータアフィンモデルを表す。３つの候補のうちの１つの候補の動き情報が利用できない場合、対応する仮想符号化ブロックは、４パラメータアフィンモデルを表す。３つの候補のうちの１つ以上の候補の動き情報が利用できない場合、対応する仮想符号化ブロックは、有効なアフィンモデルを表すことができない可能性がある。

【0089】

ステップ３では、仮想符号化ブロックが有効なアフィンモデルを表すことができる場合、継承されたマージ候補に使用される同じ投影プロセスを使用してもよい。

【0090】

ステップ４では、ステップ３の後の投影されたＣＰＭＶに基づいて、一実施例では、現在のＶＶＣ又はＡＶＳ標準で使用される同じ候補生成プロセスを使用してもよい。別の実施形態では、現在のＶＶＣ又はＡＶＳ標準の候補生成プロセスで使用される時間動きベクトルは、非隣接近傍ブロックベースの導出方法に使用されない可能性がある。

【0091】

ステップ５では、ステップ４の後の新たに生成された候補と、マージ候補リストに既に存在する全ての既存の候補との類似性チェックを実行してもよい。類似性チェックの詳細については、アフィンマージ候補のプルーニングのセクションで既に説明した。新たに生成された候補が候補リスト内の既存の候補と類似していることが判明した場合、この新たに生成された候補は、削除又はプルーニングされる。

【0092】

図１３は、ユーザインタフェース１３６０に結合されたコンピューティング環境（又はコンピューティング装置）１３１０を示す。コンピューティング環境１３１０は、データ処理サーバの一部であってもよい。いくつかの実施形態では、コンピューティング環境１３１０は、以上に説明したように、本開示の様々な実施例に係る様々な方法又はプロセス（例えば、符号化／復号化方法又はプロセス）のいずれかを実行することができる。コンピューティング環境１３１０は、プロセッサ１３２０、メモリ１３４０、及びＩ／Ｏインタフェース１３５０を含んでもよい。

【0093】

プロセッサ１３２０は、典型的には、ディスプレイ、データ取得、データ通信、及び画像処理に関連する動作などの、コンピューティング環境１３１０の全体的な動作を制御する。プロセッサ１３２０は、上述の方法のステップの全部又は一部を実行する命令を実行するための１つ以上のプロセッサを含んでもよい。また、プロセッサ１３２０は、プロセッサ１３２０と他の構成要素との間のインタラクションを容易にする１つ以上のモジュールを含んでもよい。上記プロセッサは、中央処理装置（ＣＰＵ）、マイクロプロセッサ、シングルチップマシン、ＧＰＵなどであってもよい。

【0094】

メモリ１３４０は、コンピューティング環境１３１０の動作をサポートするために、様々なタイプのデータを記憶するように構成される。メモリ１３４０は、所定のソフトウェア１３４２を含んでもよい。そのようなデータの例は、コンピューティング環境１３１０上で動作する任意のアプリケーション又は方法のための命令、ビデオデータセット、画像データなどを含む。メモリ１３４０は、静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクなどの任意のタイプの揮発性若しくは不揮発性メモリ装置、又はそれらの組み合わせを使用することによって実装されてもよい。

【0095】

Ｉ／Ｏインタフェース１３５０は、プロセッサ１３２０と、キーボード、クリックホイール、ボタンなどの周辺インタフェースモジュールとの間のインタフェースを提供する。ボタンは、ホームボタン、走査開始ボタン及び走査停止ボタンを含んでもよいが、これらに限定されない。Ｉ／Ｏインタフェース１３５０は、エンコーダ及びデコーダに結合することができる。

【0096】

いくつかの実施形態では、上述の方法を実行するために、コンピューティング環境１３１０内のプロセッサ１３２０によって実行可能な、メモリ１３４０に含まれるような複数のプログラムを含む非一時的コンピュータ可読記憶媒体も提供される。例えば、非一時的コンピュータ可読記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などであってもよい。

【0097】

非一時的コンピュータ可読記憶媒体は、１つ以上のプロセッサを有するコンピューティング装置によって実行される複数のプログラムを記憶しており、複数のプログラムは、１つ以上のプロセッサによって実行されると、コンピューティング装置に上述の動き予測方法を実行させる。

【0098】

いくつかの実施形態では、コンピューティング環境１３１０は、上記方法を実行するために、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジック装置（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィカルプロセッシングユニット（ＧＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子構成要素を使用して実装されてもよい。

【0099】

図１４は、本開示の一実施例に係るビデオ符号化復号化方法を示すフローチャートである。

【0100】

ステップ１４０１では、プロセッサ１３２０は、現在のブロックに隣接しない複数の非隣接近傍ブロックから１つ以上のアフィン候補を取得することができる。

【0101】

ステップ１４０２では、プロセッサ１３２０は、１つ以上のアフィン候補に基づいて、現在のブロックの１つ以上のＣＰＭＶを取得することができる。

【0102】

いくつかの実施例では、プロセッサ１３２０は、走査規則に従って１つ以上のアフィンマージ候補を取得してもよい。

【0103】

いくつかの実施例では、走査規則は、少なくとも１つの走査領域、少なくとも１つの走査距離、及び走査順序に基づいて決定されてもよい。

【0104】

いくつかの実施例では、少なくとも１つの走査距離は、現在のブロックの辺から離れたブロックの数を示す。

【0105】

いくつかの実施例では、プロセッサ１３２０は、更に、第１走査領域内に複数の非隣接近傍ブロックを走査して、アフィンモードで符号化された１つ以上の非隣接近傍ブロックを取得し、アフィンモードで符号化された１つ以上の非隣接近傍ブロックを１つ以上のアフィン候補として決定してもよい。例えば、第１走査領域は、図８に示すように、現在のブロックの左側にある走査領域であってもよい。第１走査領域は、図８に示すように、現在ブロックの上方にある走査領域であってもよい。

【0106】

いくつかの実施例では、走査終了として、プロセッサ１３２０は、取得されたアフィンモードで符号化復号化された１つ以上の非隣接近傍ブロックの数が所定の数に達したと決定することに応答して、第１走査領域内での走査を停止してもよい。

【0107】

いくつかの実施例では、プロセッサ１３２０は、現在のブロックの左辺と平行な第１走査線に沿って、第１開始非隣接近傍ブロックから走査してもよく、第１開始非隣接近傍ブロックが第１走査領域内の底部ブロックであり、第１走査領域内のブロックが現在のブロックの左辺から第１走査距離離れた位置にある。例えば、第１開始非隣接近傍ブロックは、図８に示すように、距離１、距離２、又は距離３を有する左側走査領域内の底部ブロックであってもよい。

【0108】

いくつかの実施例では、第１開始非隣接近傍ブロックは、第２走査領域内の第２開始非隣接近傍ブロックの底部及び左側にあってもよく、第２走査領域内のブロックは、現在のブロックの左辺から第２走査距離離れた位置にあってもよい。例えば、図８に示すように、第１開始非隣接近傍ブロックは、距離２を有する左側走査領域内の底部ブロックであってもよく、第１開始非隣接近傍ブロックは、距離１を有する左側走査領域内の開始非隣接近傍ブロックの底部及び左側にあってもよい。

【0109】

いくつかの実施例では、プロセッサ１３２０は、現在のブロックの上辺と平行な走査線に沿って、第３開始非隣接近傍ブロックから走査してもよく、第３開始非隣接近傍ブロックが第１走査領域内の右側ブロックであってもよく、第１走査領域内のブロックが現在のブロックの上辺から第１走査距離離れた位置にあってもよい。例えば、第３開始非隣接近傍ブロックは、図８に示すように、距離１、距離２、又は距離３を有する上方又は上部走査領域内の右側ブロックであってもよい。

【0110】

いくつかの実施例では、第３開始非隣接近傍ブロックは、第２走査領域内の第４開始非隣接近傍ブロックの上部及び右側にあってもよく、第２走査領域内のブロックは、現在のブロックの上辺から第２走査距離離れた位置にあってもよい。例えば、図８に示すように、第３開始非隣接近傍ブロックは、距離２を有する上方又は上部走査領域の右側にあってもよく、距離１を有する上方又は上部走査領域内の開始非隣接近傍ブロックの右側及び上方にあってもよい。

【0111】

いくつかの実施例では、少なくとも１つの走査領域は、現在のブロックの左側にある少なくとも１つの左側走査領域と、現在のブロックの上方にある少なくとも１つの上部走査領域とを含んでもよい。プロセッサ１３２０は、少なくとも１つの左側走査領域内の複数の第１非隣接近傍ブロックを走査して、アフィンモードで符号化された１つ以上の第１非隣接近傍ブロックを取得し、少なくとも１つの上部走査領域内の複数の第２非隣接近傍ブロックを走査して、アフィンモードで符号化された１つ以上の第２非隣接近傍ブロックを取得し、アフィンモードで符号化された１つ以上の第１非隣接近傍ブロック及びアフィンモードで符号化された１つ以上の第２非隣接近傍ブロックを１つ以上のアフィン候補として決定してもよい。

【0112】

いくつかの実施例では、少なくとも１つの左側走査領域は、第１左側走査領域、第２左側走査領域、及び第３左側走査領域を含んでもよい。更に、第１左側走査領域内のブロックは、現在のブロックの左辺から第１走査距離離れた位置にあってもよく、第２左側走査領域内のブロックは、現在のブロックの左辺から第２走査距離離れた位置にあってもよく、第３左側走査領域内のブロックは、現在のブロックの左辺から第３走査距離離れた位置にあってもよい。例えば、少なくとも１つの左側走査領域は、距離１、距離２、及び距離３を有する左側走査領域を含んでもよい。

【0113】

更に、プロセッサ１３２０は、現在のブロックの左辺と平行な第１走査線に沿って、第１開始非隣接近傍ブロックから走査するステップであって、第１開始非隣接近傍ブロックが第１左側走査領域内の底部ブロックであってもよい、ステップと、現在のブロックの左辺と平行な第２走査線に沿って、第２開始非隣接近傍ブロックから走査するステップであって、第２開始非隣接近傍ブロックが第２左側走査領域内の底部ブロックであってもよい、ステップと、現在のブロックの左辺と平行な第３走査線に沿って、第３開始非隣接近傍ブロックから走査するステップであって、第３開始非隣接近傍ブロックが第３左側走査領域内の底部ブロックであってもよい、ステップとを実行することによって、少なくとも１つの左側走査領域内の複数の第１非隣接近傍ブロックを走査してもよい。

【0114】

いくつかの実施例では、少なくとも１つの上部走査領域は、第１上部走査領域、第２上部走査領域、及び第３上部走査領域を含んでもよく、第１上部走査領域内のブロックは、現在のブロックの上辺から第１走査距離離れた位置にあってもよく、第２上部走査領域内のブロックは、現在のブロックの上辺から第２走査距離離れた位置にあってもよく、第３上部走査領域内のブロックは、現在のブロックの上辺から第３走査距離離れた位置にあってもよい。更に、プロセッサ１３２０は、現在のブロックの上辺と平行な第４走査線に沿って、第４開始非隣接近傍ブロックから走査するステップであって、第４開始非隣接近傍ブロックが第１上部走査領域内の右側ブロックであってもよい、ステップと、現在のブロックの上辺と平行な第５走査線に沿って、第５開始非隣接近傍ブロックから走査するステップであって、第５開始非隣接近傍ブロックが第２上部走査領域内の右側ブロックであってもよい、ステップと、現在のブロックの上辺と平行な第６走査線に沿って、第６開始非隣接近傍ブロックから走査するステップであって、第６開始非隣接近傍ブロックが第３上部走査領域内の右側ブロックであってもよい、ステップとを実行することによって、少なくとも１つの上部走査領域内の複数の第２非隣接近傍ブロックを走査してもよい。

【0115】

いくつかの実施例では、第１走査距離は、第２走査距離より小さくてもよく、第２走査距離は、第３走査距離より小さくてもよい。

【0116】

いくつかの実施例では、プロセッサ１３２０は、更に、走査規則に基づいて、第１アフィン候補の第１候補位置と、第２アフィン候補の第２候補位置とを取得し、第３アフィン候補に対する第１候補位置及び第２候補位置に基づいて、第３候補位置を決定し、第１候補位置、第２候補位置、及び第３候補位置に基づいて仮想ブロックを取得し、第１候補位置、第２候補位置、及び第３候補位置での並進ＭＶに基づいて、仮想ブロックの３つのＣＰＭＶを取得し、継承された候補導出に使用される同じ投影プロセスを使用して、仮想ブロックの３つのＣＰＭＶに基づいて、現在のブロックの２つ又は３つのＣＰＭＶを取得してもよい。

【0117】

いくつかの実施例では、仮想ブロックは、矩形の符号化ブロックであってもよく、第３候補位置は、第１候補位置の垂直位置と第２候補位置の水平位置に基づいて決定されてもよい。例えば、仮想ブロックは、図９に示すように、位置Ａ、位置Ｂ、及び位置Ｃを含む仮想ブロックであってもよい。

【0118】

いくつかの実施例では、プロセッサ１３２０は、少なくとも１つの走査領域、少なくとも１つの走査方向、少なくとも１つの走査距離、及び走査順序に基づいて走査規則を決定してもよい。

【0119】

いくつかの実施例では、プロセッサ１３２０は、更に、現在のブロックの上辺に垂直な第１走査方向に沿って、第１走査距離で第１走査領域内に走査することによって第１候補位置を取得してもよく、第１走査距離が第１数の動き場を含んでもよく、第１候補位置と上辺の右側及び上方にある隣接動き場との間の距離が第１走査距離であってもよく、第１走査領域が上辺の右側及び上方にある１ラインの連続動き場を含んでもよい。更に、プロセッサ１３２０は、現在のブロックの左辺に垂直な第２走査方向に沿って、第２走査距離で第２走査領域内に走査することによって第２候補位置を取得してもよく、第２走査距離が第２数の動き場を含んでもよく、第２候補位置と左辺の左側及び下部にある隣接動き場との間の距離が第２走査距離であってもよく、第２走査領域が左辺の左側及び下部にある１ラインの連続動き場を含んでもよい。

【0120】

いくつかの実施例では、プロセッサ１３２０は、第１走査領域又は第２走査領域内に、現在のブロックから離れて面する走査順序で走査してもよい。

【0121】

いくつかの実施例では、プロセッサ１３２０は、現在のブロックの上辺に平行な第３走査方向に沿って、第３走査距離で第３走査領域内に走査することによって第１候補位置を取得してもよく、現在のブロックの左辺に平行な第４走査方向に沿って、第４走査距離で第４走査領域内に走査することによって第２候補位置を取得してもよい。

【0122】

いくつかの実施例では、プロセッサ１３２０は、現在のブロックの上辺に平行な第３走査方向と、上辺に垂直な第１走査方向との組み合わせに沿って第５走査距離で第５走査領域内に走査することによって、第１候補位置を取得してもよく、現在のブロックの左辺に平行な第４走査方向と、左辺に垂直な第２走査方向との組み合わせに沿って第６走査距離で第６走査領域内に走査することによって、第２候補位置を取得してもよい。

【0123】

いくつかの実施例では、プロセッサ１３２０は、左側から右側への組み合わせ走査順序で、現在のブロックから離れて面して、第５走査領域内に走査し、上から下への組み合わせ走査順序で、現在のブロックから離れて面して、第６走査領域内に走査してもよい。

【0124】

いくつかの実施例では、プロセッサ１３２０は、１つ以上のアフィン候補の数が所定の数に達したと決定することに応答して、少なくとも１つの走査領域内での走査を停止してもよい。

【0125】

いくつかの実施例では、プロセッサ１３２０は、第１アフィン候補、第２アフィン候補、及び第３アフィン候補の動き情報が利用可能であると決定することに応答して、仮想ブロックが６パラメータアフィンモデルを表すと決定してもよく、第１アフィン候補、第２アフィン候補、及び第３アフィン候補のうちの１つのアフィン候補の動き情報が利用できないと決定することに応答して、仮想ブロックが４パラメータアフィンモデルを表すと決定してもよく、第１アフィン候補、第２アフィン候補、及び第３アフィン候補のうちの１つ以上の動き情報が利用できないことに応答して、仮想ブロックが有効なアフィンモデルを表すことができないと決定してもよい。

【0126】

図１５は、本開示の一実施例に係るアフィン候補をプルーニングする方法を示すフローチャートである。

【0127】

ステップ１５０１では、プロセッサ１３２０は、第１アフィン候補の１つ以上のＣＰＭＶに関連付けられた第１セットのアフィンモデルパラメータを計算してもよい。

【0128】

ステップ１５０２では、プロセッサ１３２０は、第２アフィン候補の１つ以上のＣＰＭＶに関連付けられた第２セットのアフィンモデルパラメータを計算してもよい。

【0129】

ステップ１５０３では、プロセッサ１３２０は、第１セットのアフィンモデルパラメータ及び第２セットのアフィンモデルパラメータに基づいて、第１アフィン候補と第２アフィン候補との間の類似性チェックを実行してもよい。

【0130】

いくつかの実施例では、プロセッサ１３２０は、第１セットのアフィンモデルパラメータが第２セットのアフィンモデルパラメータに類似すると決定することに応答して、第１アフィン候補が第２アフィン候補に類似すると決定し、第１アフィン候補及び第２アフィン候補のうちの１つをプルーニングしてもよい。

【0131】

いくつかの実施例では、プロセッサ１３２０は、第１セットのアフィンモデルパラメータの１つのパラメータと第２セットのアフィンモデルパラメータの１つのパラメータとの差が所定の閾値より小さいと決定することに応答して、第１アフィン候補が第２アフィン候補に類似すると決定してもよい。

【0132】

いくつかの実施例では、プロセッサ１３２０は、現在のブロックの幅及び高さに従って、第１アフィン候補の１つ以上のＣＰＭＶに関連付けられた第１セットのアフィンモデルパラメータを計算してもよく、現在のブロックの幅及び高さに従って、第２アフィン候補の１つ以上のＣＰＭＶに関連付けられた第２セットのアフィンモデルパラメータを計算してもよい。

【0133】

いくつかの実施例では、異なるアフィンモデルは、第１アフィン候補と第２アフィン候補にそれぞれ適用され、第１セットのアフィンモデルパラメータと第２セットのアフィンモデルパラメータは、それぞれ異なるアフィンモデルに関連付けられる。

【0134】

いくつかの実施例では、異なるアフィンモデルは、４パラメータアフィンモデル及び６パラメータアフィンモデルを含む。

【0135】

いくつかの実施例では、ビデオ符号化のための装置が提供される。装置は、プロセッサ１３２０と、プロセッサによって実行可能な命令を記憶するように構成されたメモリ１３４０とを含み、プロセッサは、命令の実行時に、図１４に示すような方法を実行するように構成される。

【0136】

他のいくつかの実施例では、命令を記憶する非一時的コンピュータ可読記憶媒体が提供される。命令がプロセッサ１３２０によって実行されると、命令は、図１４に示すような方法をプロセッサに実行させる。

【0137】

いくつかの実施例では、ビデオ符号化のための装置が提供される。装置は、プロセッサ１３２０と、プロセッサによって実行可能な命令を記憶するように構成されたメモリ１３４０とを含み、プロセッサは、命令の実行時に、図１５に示すような方法を実行するように構成される。

【0138】

他のいくつかの実施例では、命令を記憶する非一時的コンピュータ可読記憶媒体が提供される。命令がプロセッサ１３２０によって実行されると、命令は、図１５に示すような方法をプロセッサに実行させる。

【0139】

本開示の他の実施例は、本明細書に開示された本開示の明細書及び実施を考慮することにより、当業者には明らかとなるであろう。本願は、その一般的な原理に従い、本分野で既知又は慣例的な実施の範囲内に含まれる本開示からの逸脱を含む、本開示の任意の変形、使用、又は適応を包含することが意図される。本明細書及び実施例は、単に例示的なものと見なされることが意図される。

【0140】

本開示は、上述した、添付の図面によって示された実施例に厳密に限定されるものではなく、本開示の範囲から逸脱することなく、様々な修正及び変更を行うことができることが理解されるであろう。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

現在のブロックに隣接しない複数の非隣接近傍ブロックから１つ以上のアフィン候補を取得するステップと、
前記１つ以上のアフィン候補に基づいて、前記現在のブロックの１つ以上の制御ポイント動きベクトル（ＣＰＭＶ）を取得するステップと、を含む、ビデオ復号化の方法。

【請求項2】

少なくとも１つの走査領域、少なくとも１つの走査距離、及び走査順序に基づいて決定されている走査規則に従って前記１つ以上のアフィンマージ候補を取得するステップを更に含む、請求項１に記載の方法。

【請求項3】

前記少なくとも１つの走査距離は、前記現在のブロックの辺から離れたブロックの数を示す、請求項２に記載の方法。

【請求項4】

第１走査領域内の複数の非隣接近傍ブロックを走査して、アフィンモードで符号化された１つ以上の非隣接近傍ブロックを取得するステップと、
アフィンモードで符号化された前記１つ以上の非隣接近傍ブロックを前記１つ以上のアフィン候補として決定するステップと、
取得されたアフィンモードで符号化された前記１つ以上の非隣接近傍ブロックの数が所定の数に達したと決定することに応答して、前記第１走査領域内での走査を停止するステップと、
を更に含む、請求項３に記載の方法。

【請求項5】

前記現在のブロックの左辺と平行な走査線に沿って、第１開始非隣接近傍ブロックから走査するステップであって、前記第１開始非隣接近傍ブロックが前記第１走査領域内の底部ブロックであり、前記第１走査領域内のブロックが前記現在のブロックの左辺から第１走査距離離れた位置にある、ステップ
前記第１開始非隣接ブロックは、第２走査領域内の第２開始非隣接近傍ブロックの底部及び左側にあり、前記第２走査領域内のブロックは、前記現在のブロックの左辺から第２走査距離離れた位置にある、ステップ
を更に含む、請求項４に記載の方法。

【請求項6】

前記現在のブロックの上辺と平行な走査線に沿って、第３開始非隣接近傍ブロックから走査するステップであって、前記第３開始非隣接近傍ブロックが前記第１走査領域内の右側ブロックであり、前記第１走査領域内のブロックが前記現在のブロックの上辺から第１走査距離離れた位置にある、ステップ
前記第３開始非隣接ブロックは、第２走査領域内の第４開始非隣接近傍ブロックの上部及び右側にあり、前記第２走査領域内のブロックは、前記現在のブロックの上辺から第２走査距離離れた位置にある、ステップ
を更に含む、請求項４に記載の方法。

【請求項7】

前記少なくとも１つの走査領域は、前記現在のブロックの左側にある少なくとも１つの左側走査領域と、前記現在のブロックの上方にある少なくとも１つの上部走査領域とを含み、
前記方法は、
前記少なくとも１つの左側走査領域内の複数の第１非隣接近傍ブロックを走査して、アフィンモードで符号化された１つ以上の第１非隣接近傍ブロックを取得するステップと、
前記少なくとも１つの上部走査領域内の複数の第２非隣接近傍ブロックを走査して、アフィンモードで符号化された１つ以上の第２非隣接近傍ブロックを取得するステップと、
アフィンモードで符号化された前記１つ以上の第１非隣接近傍ブロック及びアフィンモードで符号化された前記１つ以上の第２非隣接近傍ブロックを前記１つ以上のアフィン候補として決定するステップと、を更に含む、請求項３に記載の方法。

【請求項8】

前記少なくとも１つの左側走査領域は、第１左側走査領域、第２左側走査領域、及び第３左側走査領域を含み、
前記第１左側走査領域内のブロックは、前記現在のブロックの左辺から第１走査距離離れた位置にあり、前記第２左側走査領域内のブロックは、前記現在のブロックの左辺から第２走査距離離れた位置にあり、前記第３左側走査領域内のブロックは、前記現在のブロックの左辺から第３走査距離離れた位置にあり、
前記少なくとも１つの左側走査領域内の複数の前記第１非隣接近傍ブロックを走査するステップは、
前記現在のブロックの左辺と平行な第１走査線に沿って、第１開始非隣接近傍ブロックから走査するステップであって、前記第１開始非隣接近傍ブロックが前記第１左側走査領域内の底部ブロックである、ステップと、
前記現在のブロックの左辺と平行な第２走査線に沿って、第２開始非隣接近傍ブロックから走査するステップであって、前記第２開始非隣接近傍ブロックが前記第２左側走査領域内の底部ブロックである、ステップと、
前記現在のブロックの左辺と平行な第３走査線に沿って、第３開始非隣接近傍ブロックから走査するステップであって、前記第３開始非隣接近傍ブロックが前記第３左側走査領域内の底部ブロックである、ステップと、を含む、請求項７に記載の方法。

【請求項9】

前記少なくとも１つの上部走査領域は、第１上部走査領域、第２上部走査領域、及び第３上部走査領域を含み、
前記第１上部走査領域内のブロックは、前記現在のブロックの上辺から第１走査距離離れた位置にあり、前記第２上部走査領域内のブロックは、前記現在のブロックの上辺から第２走査距離離れた位置にあり、前記第３上部走査領域内のブロックは、前記現在のブロックの上辺から第３走査距離離れた位置にあり、
前記少なくとも１つの上部走査領域内の複数の前記第２非隣接近傍ブロックを走査するステップは、
前記現在のブロックの上辺と平行な第４走査線に沿って、第４開始非隣接近傍ブロックから走査するステップであって、前記第４開始非隣接近傍ブロックが前記第１上部走査領域内の右側ブロックである、ステップと、
前記現在のブロックの上辺と平行な第５走査線に沿って、第５開始非隣接近傍ブロックから走査するステップであって、前記第５開始非隣接近傍ブロックが前記第２上部走査領域内の右側ブロックである、ステップと、
前記現在のブロックの上辺と平行な第６走査線に沿って、第６開始非隣接近傍ブロックから走査するステップであって、前記第６開始非隣接近傍ブロックが前記第３上部走査領域内の右側ブロックである、ステップと、を含み、
前記第１走査距離は、前記第２走査距離又は第３走査距離より小さく、前記第２走査距離は、前記第３走査距離より小さい、請求項８に記載の方法。

【請求項10】

走査規則に基づいて、第１アフィン候補の第１候補位置と、第２アフィン候補の第２候補位置とを取得するステップと、
第３アフィン候補の前記第１候補位置及び第２候補位置に基づいて、前記第３アフィン候補の第３候補位置を決定するステップと、
前記第１候補位置、前記第２候補位置、及び前記第３候補位置に基づいて仮想ブロックを取得するステップと、
前記第１候補位置、前記第２候補位置、及び前記第３候補位置での並進ＭＶに基づいて、前記仮想ブロックの３つの制御ポイント動きベクトル（ＣＰＭＶ）を取得するステップと、
継承された候補導出に使用される同じ投影プロセスを使用して、前記仮想ブロックの３つのＣＰＭＶに基づいて、前記現在のブロックの２つ又は３つのＣＰＭＶを取得するステップと、を更に含み、
前記仮想ブロックは、矩形の符号化ブロックであり、前記第３候補位置は、前記第１候補位置の垂直位置と前記第２候補位置の水平位置に基づいて決定され、
少なくとも１つの走査領域、少なくとも１つの走査方向、少なくとも１つの走査距離、及び走査順序に基づいて前記走査規則を決定する請求項１に記載の方法。

【請求項11】

前記現在のブロックの上辺に垂直な第１走査方向に沿って、第１走査距離で第１走査領域内に走査することによって前記第１候補位置を取得するステップであって、前記第１走査距離が第１数の動き場を含み、前記第１候補位置と前記上辺の右側及び上方にある隣接動き場との間の距離が前記第１走査距離であり、前記第１走査領域が前記上辺の右側及び上方にある１ラインの連続動き場を含み、
前記現在のブロックの左辺に垂直な第２走査方向に沿って、第２走査距離で第２走査領域内に走査することによって前記第２候補位置を取得するステップであって、前記第２走査距離が第２数の動き場を含み、前記第２候補位置と前記左辺の左側及び下部にある隣接動き場との間の距離が前記第２走査距離であり、前記第２走査領域が前記左辺の左側及び下部にある１ラインの連続動き場を含み、
前記第１走査領域又は前記第２走査領域内に、前記現在のブロックから離れて面する走査順序で走査する請求項１０に記載の方法。

【請求項12】

前記現在のブロックの上辺に平行な第３走査方向に沿って、第３走査距離で第３走査領域内に走査することによって前記第１候補位置を取得し、
前記現在のブロックの左辺に平行な第４走査方向に沿って、第４走査距離で第４走査領域内に走査することによって前記第２候補位置を取得し、
左側から右側への走査順序で前記第３走査領域内に走査し、
上から下への走査順序で前記第４走査領域内に走査する、請求項１０に記載の方法。

【請求項13】

前記現在のブロックの上辺に平行な第３走査方向と、前記上辺に垂直な第１走査方向との組み合わせに沿って第５走査距離で第５走査領域内に走査することによって、前記第１候補位置を取得し、
前記現在のブロックの左辺に平行な第４走査方向と、前記左辺に垂直な第２走査方向との組み合わせに沿って第６走査距離で第６走査領域内に走査することによって、前記第２候補位置を取得し、
左側から右側への組み合わせ走査順序で、前記現在のブロックから離れて面して、前記第５走査領域内に走査し、
上から下への組み合わせ走査順序で、前記現在のブロックから離れて面して、前記第６走査領域内に走査する、請求項１０に記載の方法。

【請求項14】

前記１つ以上のアフィン候補の数が所定の数に達したと決定することに応答して、前記少なくとも１つの走査領域内での走査を停止するステップを更に含む、請求項１０に記載の方法。

【請求項15】

前記第１アフィン候補、前記第２アフィン候補、及び前記第３アフィン候補の動き情報が利用可能であると決定することに応答して、前記仮想ブロックが６パラメータアフィンモデルを表すと決定するステップと、
前記第１アフィン候補、前記第２アフィン候補、及び前記第３アフィン候補のうちの１つのアフィン候補の動き情報が利用できないと決定することに応答して、前記仮想ブロックが４パラメータアフィンモデルを表すと決定するステップと、
前記第１アフィン候補、前記第２アフィン候補、及び前記第３アフィン候補のうちの２つのアフィン候補の動き情報が利用できないと決定することに応答して、前記仮想ブロックが有効なアフィンモデルを表すことができないと決定するステップと、を更に含む、請求項１０に記載の方法。

【請求項16】

１つ以上のプロセッサと、
前記１つ以上のプロセッサに結合され、前記１つ以上のプロセッサによって実行可能な命令を記憶するように構成されたメモリと、を含み、
前記１つ以上のプロセッサは、前記命令の実行時に、請求項１～１５のいずれか一項に記載の方法を実行するように構成される、ビデオ復号化のための装置。

【請求項17】

請求項１６に記載のビデオ復号化のための装置で復号化されるビデオビットストリームを記憶する非一時的コンピュータ可読記憶媒体。

【請求項18】

請求項１～１５のいずれか一項に記載の方法によって復号化される符号化ビデオデータを含むビットストリームを記憶する命令を有するコンピュータプログラム。

【請求項19】

請求項１～１５のいずれか一項に記載の方法で用いられるビットストリームを記憶するための方法。

【国際調査報告】