▶ ベイジン バイトダンス ネットワーク テクノロジー カンパニー リミテッドの特許一覧 ▶ バイトダンス インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-15
(45)【発行日】2024-10-23
(54)【発明の名称】適応動きベクトル解像度による動きベクトルの変更
(51)【国際特許分類】
H04N 19/513 20140101AFI20241016BHJP
【ＦＩ】
H04N19/513
【請求項の数】
16
【外国語出願】
(21)【出願番号】P 2023045399
(22)【出願日】2023-03-22
(62)【分割の表示】P 2021514371の分割
【原出願日】2019-09-23
(65)【公開番号】P2023078364
(43)【公開日】2023-06-06
【審査請求日】2023-03-29
(31)【優先権主張番号】PCT/CN2018/107168
(32)【優先日】2018-09-23
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ
(73)【特許権者】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】ＢＹＴＥＤＡＮＣＥ ＩＮＣ．
【住所又は居所原語表記】１２６５５ Ｗｅｓｔ Ｊｅｆｆｅｒｓｏｎ Ｂｏｕｌｅｖａｒｄ， Ｓｉｘｔｈ Ｆｌｏｏｒ， Ｓｕｉｔｅ Ｎｏ． １３７ Ｌｏｓ Ａｎｇｅｌｅｓ， Ｃａｌｉｆｏｒｎｉａ ９００６６ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】リウ ホンビン
(72)【発明者】
【氏名】ジャン リー
(72)【発明者】
【氏名】ジャン カイ
(72)【発明者】
【氏名】ワン ユエ
【審査官】田中 純一
(56)【参考文献】
【文献】特開２００６－１８７０２５（ＪＰ，Ａ）
【文献】特表２０１７－５０８３４６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０１９５５６２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２００４／０２４０５５０（ＵＳ，Ａ１）
【文献】特表２０２１－５３６６８６（ＪＰ，Ａ）
【文献】Jianle Chen, et al.，Algorithm Description of Joint Exploration Test Model 7 (JEM 7) [online]， JVET-G JVET-G1001-v1，ITU-T インターネット＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/7_Torino/wg11/JVET-G1001-v1.zip＞＜JVET-G1001-v1.docx＞，2017年08月19日，i-iv,1-44
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
映像処理方法であって、現在の映像ブロックの信号通知された動きベクトル差（ＭＶＤ）について、精度セットから第１の精度を判定することと、
前記第１の精度に基づいて、予め定義された第２の精度を有する動きベクトルを取得することと、前記第２の精度は、ブロックを予測するために記憶された動きベクトルの精度と同じであり、前記動きベクトルは、動きベクトル予測子（ＭＶＰ）を前記動きベクトル差（ＭＶＤ）に加えることに基づいており、
前記動きベクトルに基づいて、前記現在の映像ブロックをコーディングすることと、を含み、
前記ＭＶＤは、前記ＭＶＰを前記ＭＶＤに加える前にスケールされ、
前記ＭＶＰは、前記第１の精度に基づいて前記ＭＶＰを前記ＭＶＤに加える前に修正される、映像処理方法。
【請求項2】
前記第２の精度は、１／１６画素精度である、請求項１に記載の方法。
【請求項3】
前記第１の精度が１画素精度よりも低いまたは１画素精度に等しいと判定されると前記ＭＶＰをスケーリングすることをさらに含む、請求項１に記載の方法。
【請求項4】
前記ＭＶＰは、空間的に近傍のブロックまたは時間的に近傍のブロックのうちの少なくとも１つから導出されるか、またはデフォルトＭＶＰである、請求項１に記載の方法。
【請求項5】
前記精度セットは、１／１６画素精度、１／４画素精度および１画素精度を含む、請求項１に記載の方法。
【請求項6】
前記第１の精度は、ビットストリームで示される、請求項１に記載の方法。
【請求項7】
前記現在の映像ブロックは、アフィンインターモードでコーディングされる、請求項１に記載の方法。
【請求項8】
前記第１の精度は、適応型動きベクトル解像度（ＡＭＶＲ）ツールを使用して判定される、請求項１に記載の方法。
【請求項9】
前記コーディングは、前記現在の映像ブロックをビットストリームに符号化することを含む、請求項１に記載の方法。
【請求項10】
前記コーディングは、ビットストリームから前記現在の映像ブロックを復号することを含む、請求項１に記載の方法。
【請求項11】
処理装置と命令が記憶された非一時的メモリとを備える映像処理装置であって、前記命令が前記処理装置によって実行されると、前記処理装置に、現在の映像ブロックの信号通知された動きベクトル差（ＭＶＤ）について、精度セットから第１の精度を判定することと、
前記第１の精度に基づいて、予め定義された第２の精度を有する動きベクトルを取得することと、前記第２の精度は、ブロックを予測するために記憶された動きベクトルの精度と同じであり、前記動きベクトルは、動きベクトル予測子（ＭＶＰ）を前記動きベクトル差（ＭＶＤ）に加えることに基づいており、
前記動きベクトルに基づいて、前記現在の映像ブロックをコーディングすることと、を行わせ、
前記ＭＶＤは、前記ＭＶＰを前記ＭＶＤに加える前にスケールされ、
前記ＭＶＰは、前記第１の精度に基づいて前記ＭＶＰを前記ＭＶＤに加える前に修正される、映像処理装置。
【請求項12】
前記第２の精度は、１／１６画素精度である、請求項１１に記載の装置。
【請求項13】
前記精度セットは、１／１６画素精度、１／４画素精度および１画素精度を含む、請求項１１に記載の装置。
【請求項14】
前記第１の精度は、ビットストリームで示される、請求項１１に記載の装置。
【請求項15】
命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記命令は処理装置に、現在の映像ブロックの信号通知された動きベクトル差（ＭＶＤ）について、精度セットから第１の精度を判定することと、
前記第１の精度に基づいて、予め定義された第２の精度を有する動きベクトルを取得することと、前記第２の精度は、ブロックを予測するために記憶された動きベクトルの精度と同じであり、前記動きベクトルは、動きベクトル予測子（ＭＶＰ）を前記動きベクトル差（ＭＶＤ）に加えることに基づいており、
前記動きベクトルに基づいて、前記現在の映像ブロックをコーディングすることと、を行わせ、
前記ＭＶＤは、前記ＭＶＰを前記ＭＶＤに加える前にスケールされ、
前記ＭＶＰは、前記第１の精度に基づいて前記ＭＶＰを前記ＭＶＤに加える前に修正される、非一時的なコンピュータ可読記憶媒体。
【請求項16】
映像のビットストリームを記憶する方法であって、前記方法が、現在の映像ブロックの信号通知された動きベクトル差（ＭＶＤ）について、精度セットから第１の精度を判定することと、
前記第１の精度に基づいて、予め定義された第２の精度を有する動きベクトルを取得することと、前記第２の精度は、ブロックを予測するために記憶された動きベクトルの精度と同じであり、前記動きベクトルは、動きベクトル予測子（ＭＶＰ）を前記動きベクトル差（ＭＶＤ）に加えることに基づいており、
前記動きベクトルに基づいて、前記現在の映像ブロックを前記ビットストリームに符号化することと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することと、を含み、
前記ＭＶＤは、前記ＭＶＰを前記ＭＶＤに加える前にスケールされ、
前記ＭＶＰは、前記第１の精度に基づいて前記ＭＶＰを前記ＭＶＤに加える前に修正される、方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、２０１８年９月２３日出願の国際特許出願第ＰＣＴ／ＣＮ２０１８／１０７１６８号の優先権および利益を主張する、２０１９年９月２３日出願の国際特許出願ＰＣＴ／ＩＢ２０１９／０５８０３４の国内段階である、日本国特許出願第２０２１－５１４３７１号の分割出願である。前述すべての特許出願は、その全体が参照によりここに組み込まれる。
本願は、２０１８年９月２３日出願の国際特許出願第ＰＣＴ／ＣＮ２０１８／１０７１６８号の優先権および利益を主張する、２０１９年９月２３日出願の国際特許出願ＰＣＴ／ＩＢ２０１９／０５８０３４の国内段階である、日本国特許出願第２０２１－５１４３７１号の分割出願である。前述すべての特許出願は、その全体が参照によりここに組み込まれる。
【0002】
本特許明細書は、映像符号化技術、デバイスおよびシステムに関する。
【背景技術】
【0003】
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像の受信および表示が可能な接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
【発明の概要】
【0004】
デジタル映像符号化に関し、具体的には、適応動きベクトル解像度（ＡＭＶＲ）を有するアフィンモードのための動きベクトル予測子の導出および信号通知に関するデバイス、システム、および方法を説明する。記載された方法は、既存の映像符号化規格（例えば、高効率映像符号化（ＨＥＶＣ））および将来の映像符号化規格またはビデオコーデックの両方に適用され得る。
【0005】
１つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換するために、現在の映像ブロックに関連付けられた各動きベクトルの解像度を適宜選択する符号化ツールを使用して、最終的動きベクトルを判定することであって、最終的動きベクトルの精度は、現在の映像ブロックの記憶された動きベクトルの精度と同一である、判定することと、最終的動きベクトルに基づいて、ビットストリーム表現と現在の映像ブロックとの間で変換を行うことと、を含む。
【0006】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換するために、現在の映像ブロックに関連付けられた各動きベクトルの解像度を適宜選択する符号化ツールを使用して、最終的動きベクトルを判定することであって、現在の映像ブロックはアフィンモードで符号化され、ビットストリーム表現は、現在の映像ブロックに関連付けられた動きベクトルの精度または動きベクトルの差を示す２つ以上のビットを含むフィールドを含む、判定することと、最終的動きベクトルに基づいて、ビットストリーム表現と現在の映像ブロックとの間の変換を実行することと、を含む。
【0007】
さらに別の代表的な態様において、上記方法は、処理装置が実行可能なコードの形式で実施され、コンピュータ可読プログラム媒体に記憶される。
【0008】
さらに別の代表的な態様において、上述した方法を行うように構成された、または動作可能なデバイスが開示される。この装置は、この方法を実装するようにプログラムされた処理装置を含んでもよい。
【0009】
さらに別の代表的な態様において、ビデオデコーダ装置は、本明細書で説明されるような方法を実装してもよい。
【0010】
開示される技術の上記および他の態様および特徴は、図面、説明および特許請求の範囲でより詳細に説明される。
【図面の簡単な説明】
【0011】
【図1】マージ候補リストを構築する例を示す。
【図2】空間的候補の位置の一例を示す。
【図3】空間的マージ候補の冗長性チェックの対象となる候補対の例を示す。
【図4A】現在のブロックのサイズおよび形状に基づく第２の予測ユニット（ＰＵ）の位置の例を示す。
【図4B】現在のブロックのサイズおよび形状に基づく第２の予測ユニット（ＰＵ）の位置の例を示す。
【図5】時間的マージ候補のための動きベクトルのスケーリングの例を示す。
【図6】時間的マージ候補の候補位置の一例を示す図である。
【図7】結合双予測マージ候補を生成する例を示す。
【図8】動きベクトル予測候補の構築例を示す。
【図9】空間的動きベクトル候補のための動きベクトルのスケーリングの例を示す。
【図10】符号化ユニット（ＣＵ）のために代替の時間的動きベクトル予測（ＡＴＭＶＰ）アルゴリズムを使用する動き予測の例を示す。
【図11】空間的－時間的動きベクトル予測（ＳＴＭＶＰ）アルゴリズムで使用されるサブブロックおよび近傍のブロックを有する符号化ユニット（ＣＵ）の例を示す。
【図12A】重複ブロック動き補償（ＯＢＭＣ）アルゴリズムを使用する場合のサブブロックの例示的なスナップショットを示す。
【図12B】重複ブロック動き補償（ＯＢＭＣ）アルゴリズムを使用する場合のサブブロックの例示的なスナップショットを示す。
【図13】ローカル照明補償（ＬＩＣ）アルゴリズムのパラメータを導出するために使用される近傍のサンプルの例を示す。
【図14】簡略化したアフィン動きモデルの一例を示す。
【図15】サブブロックごとのアフィン動きベクトルフィールド（ＭＶＦ）の例を示す。
【図16】ＡＦ＿ＩＮＴＥＲアフィン動きモードにおける動きベクトル予測（ＭＶＰ）の例を示す。
【図17A】それぞれ４パラメータおよび６パラメータアフィンモードの例を示す。
【図17B】それぞれ４パラメータおよび６パラメータアフィンモードの例を示す。
【図18A】ＡＦ＿ＭＥＲＧＥアフィン動きモードの候補の例を示す。
【図18B】ＡＦ＿ＭＥＲＧＥアフィン動きモードの候補の例を示す。
【図19】フレームレートアップ変換（ＦＲＵＣ）アルゴリズムに基づく特殊なマージモードである、パターンマッチング動きベクトル導出（ＰＭＭＶＤ）モードにおけるバイラテラルマッチングの例を示す。
【図20】ＦＲＵＣアルゴリズムにおけるテンプレートマッチングの一例を示す。
【図21】ＦＲＵＣアルゴリズムにおけるユニラテラル動き推定の例を示す。
【図22】映像処理のための例示的な方法のフローチャートを示す。
【図23】映像処理の他の例示的な方法のフローチャートを示す。
【図24】本明細書に記載されるビジュアルメディアの復号化またはビジュアルメディアの符号化技術を実装するためのハードウェアプラットフォームの一例を示すブロック図である。
【図25】開示される技術が実装され得る例示的な映像処理システムのブロック図である。
【発明を実施するための形態】
【0012】
より高い解像度の映像の需要が増大しているため、近代技術において、映像符号化法および技術は、遍在している。ビデオコーデックは、一般的に、デジタル映像を圧縮または展開する電子回路またはソフトウェアを含み、より高い符号化効率を提供するように絶えず改良されている。ビデオコーデックは、非圧縮映像を圧縮フォーマットに変換する、またはその逆である。映像の品質、映像を表現するために使用されるデータの数（ビットレートで決まる）、エンコーディングおよびデコーディングアルゴリズムの複雑性、データの損失およびエラーに対する敏感さ、編集のしやすさ、ランダムアクセス、およびエンドツーエンドの遅延（待ち時間）の間には複雑な関係がある。この圧縮フォーマットは、通常、標準的な映像圧縮規格、例えば、高効率映像符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）規格（Ｈ．２６５またはＭＰＥＧ－Ｈ Ｐａｒｔ ２としても知られている）［１］、完成させるべき汎用映像符号化規格、または他の現在および／または将来の映像符号化規格に準拠している。
【0013】
開示される技術の実施形態は、圧縮性能を向上させるために、既存の映像符号化規格（例えば、ＨＥＶＣ、Ｈ．２６５）および将来の規格に適用されてもよい。本明細書では、説明の可読性を向上させるために章の見出しを使用しており、説明または実施形態（および／または実装形態）をそれぞれの章のみに限定するものではない。
【0014】
１． ＨＥＶＣ／Ｈ．２６５におけるインター予測の例
映像符号化規格は、長年にわたって大幅に改善され、現在、部分的には、高いコーディング効率を実現し、より高い解像度をサポートする。ＨＥＶＣおよびＨ．２６５などの最近の規格は、時間予測プラス変換コーディングが利用されるハイブリッド映像符号化構造に基づく。
映像符号化規格は、長年にわたって大幅に改善され、現在、部分的には、高いコーディング効率を実現し、より高い解像度をサポートする。ＨＥＶＣおよびＨ．２６５などの最近の規格は、時間予測プラス変換コーディングが利用されるハイブリッド映像符号化構造に基づく。
【0015】
１．１ 予測モードの例
各インター予測されたＰＵ（予測ユニット）は、１つまたは２つの参照ピクチャリストのための動きパラメータを有する。いくつかの実施形態において、動きパラメータは、動きベクトルおよび参照ピクチャインデックスを含む。他の実施例において、２つの参照ピクチャリストのうちの１つの参照ピクチャリストの使用は、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃを用いて通知されてもよい。さらに他の実施形態において、動きベクトルは、予測子に対するデルタ（ｄｅｌｔａ）として明確にコーディングされてもよい。
各インター予測されたＰＵ（予測ユニット）は、１つまたは２つの参照ピクチャリストのための動きパラメータを有する。いくつかの実施形態において、動きパラメータは、動きベクトルおよび参照ピクチャインデックスを含む。他の実施例において、２つの参照ピクチャリストのうちの１つの参照ピクチャリストの使用は、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃを用いて通知されてもよい。さらに他の実施形態において、動きベクトルは、予測子に対するデルタ（ｄｅｌｔａ）として明確にコーディングされてもよい。
【0016】
１つのＣＵがスキップモードでコーディングされる場合、１つのＰＵがこのＣＵに関連付けられ、有意な残差係数がなく、コーディング動きベクトルデルタも参照ピクチャインデックスもない。マージモードを指定し、これにより、現在のＰＵのための動きパラメータを、空間的および時間的候補を含む近傍のＰＵから取得する。マージモードは、スキップモードのためだけでなく、任意のインター予測されたＰＵに適用することができる。マージモードの代替としては、動きパラメータの明確な送信があり、ＰＵごとに、各参照ピクチャリストおよび参照ピクチャリストの使用に対応する参照ピクチャインデックスである、動きベクトルを明確に信号通知する。
【0017】
２つの参照ピクチャリストのうちの１つを使用することを信号通知が示す場合、１つのサンプルのブロックからＰＵを生成する。これを「単一予測」と呼ぶ。単一予測は、ＰスライスおよびＢスライスの両方に利用可能である［２］。
【0018】
両方の参照ピクチャリストを使用することを信号通知が示す場合、２つのサンプルのブロックからＰＵを生成する。これを「双予測」と呼ぶ。Ｂスライスのみに双予測が利用可能である。
【0019】
１．１．１ マージモードの候補を構築する実施形態
マージモードを使用してＰＵを予測する場合、ビットストリームからマージ候補リストにおけるエントリを指すインデックスを構文解析し、これを使用して動き情報を検索する。このリストの構成は、以下のステップのシーケンスに基づいてまとめることができる。
マージモードを使用してＰＵを予測する場合、ビットストリームからマージ候補リストにおけるエントリを指すインデックスを構文解析し、これを使用して動き情報を検索する。このリストの構成は、以下のステップのシーケンスに基づいてまとめることができる。
【0020】
ステップ１：初期候補導出
ステップ１．１：空間的候補導出
ステップ１．２：空間的候補の冗長性チェック
ステップ１．３：時間的候補導出
ステップ２：追加候補挿入
ステップ２．１：双予測候補の作成
ステップ２．２：動きゼロ候補の挿入
ステップ１．１：空間的候補導出
ステップ１．２：空間的候補の冗長性チェック
ステップ１．３：時間的候補導出
ステップ２：追加候補挿入
ステップ２．１：双予測候補の作成
ステップ２．２：動きゼロ候補の挿入
【0021】
図１は、上記ステップのシーケンスに基づいて、マージ候補リストを構築する例を示す。空間的マージ候補導出のために、５つの異なる位置にある候補の中から最大４つのマージ候補を選択する。時間的マージ候補導出のために、２つの候補の中から最大１つのマージ候補を選択する。デコーダ側ではＰＵごとに一定数の候補を想定しているので、候補数がスライスヘッダで信号通知されるマージ候補（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）の最大数に達しない場合、追加の候補を生成する。候補の数は一定であるので、短縮された単項２値化（ＴＵ）を使用して最良マージ候補のインデックスをエンコードする。ＣＵのサイズが８に等しい場合、現在のＣＵのすべてのＰＵは、２Ｎ×２Ｎ予測ユニットのマージ候補リストと同じ１つのマージ候補リストを共有する。
【0022】
１．１．２ 空間的マージ候補の構築
空間的マージ候補の導出において、図２に示す位置にある候補の中から、最大４つのマージ候補を選択する。導出の順序はＡ１、Ｂ１、Ｂ０、Ａ０、Ｂ２である。位置Ａ１、Ｂ１、Ｂ０、Ａ０のいずれかのＰＵが利用可能でない場合（例えば、別のスライスまたはタイルに属しているため）、またはイントラコーディングされた場合にのみ、位置Ｂ２が考慮される。位置Ａ１の候補を加えた後、残りの候補を加えると、冗長性チェックを受け、それにより、同じ動き情報を有する候補を確実にリストから排除でき、コーディング効率を向上させることができる。
空間的マージ候補の導出において、図２に示す位置にある候補の中から、最大４つのマージ候補を選択する。導出の順序はＡ１、Ｂ１、Ｂ０、Ａ０、Ｂ２である。位置Ａ１、Ｂ１、Ｂ０、Ａ０のいずれかのＰＵが利用可能でない場合（例えば、別のスライスまたはタイルに属しているため）、またはイントラコーディングされた場合にのみ、位置Ｂ２が考慮される。位置Ａ１の候補を加えた後、残りの候補を加えると、冗長性チェックを受け、それにより、同じ動き情報を有する候補を確実にリストから排除でき、コーディング効率を向上させることができる。
【0023】
計算の複雑性を低減するために、前述の冗長性チェックにおいて、考えられる候補対のすべてを考慮することはしない。その代わりに、図３の矢印で結ばれたペアのみを考慮し、冗長性チェックに使用された対応する候補が同じ動き情報を持っていない場合に、候補をリストに追加するのみである。重複した動き情報の別のソースは、２Ｎ×２Ｎとは異なるパーティションに関連付けられた「第２のＰＵ」である。一例として、図４Ａおよび図４Ｂは、それぞれ、Ｎ×２Ｎおよび２Ｎ×Ｎの場合の第２のＰＵを描いている。現在のＰＵをＮ×２Ｎに分割する場合、リスト構築に位置Ａ１の候補は考慮されない。いくつかの実施形態において、この候補を加えることにより、２つの予測ユニットが同じ動き情報を有するようになり、１つのコーディングユニットに１つのＰＵのみを有することは冗長である。同様に、現在のＰＵを２Ｎ×Ｎに分割する場合、位置Ｂ１は考慮されない。
【0024】
１．１．３ 時間的マージ候補の構築
このステップにおいて、１つの候補のみがリストに追加される。具体的には、この時間的マージ候補の導出において、所与の参照ピクチャリストにおける現在のピクチャとの間に最小のＰＯＣ差を有するピクチャに属する同一位置ＰＵに基づいて、スケーリングされた動きベクトルを導出する。スライスヘッダにおいて、同一位置ＰＵの導出に用いられる参照ピクチャリストが明確に信号通知される。
このステップにおいて、１つの候補のみがリストに追加される。具体的には、この時間的マージ候補の導出において、所与の参照ピクチャリストにおける現在のピクチャとの間に最小のＰＯＣ差を有するピクチャに属する同一位置ＰＵに基づいて、スケーリングされた動きベクトルを導出する。スライスヘッダにおいて、同一位置ＰＵの導出に用いられる参照ピクチャリストが明確に信号通知される。
【0025】
図５は、ＰＯＣ距離ｔｂ、ｔｄを用いて、同一位置ＰＵの動きベクトルからスケーリングされた、現在のピクチャの参照ピクチャと現在のピクチャとの間のＰＯＣ差をｔｂとし、同一位置ピクチャの参照ピクチャと同一位置ピクチャとの間のＰＯＣ差をｔｄとする、時間的マージ候補のためのスケーリングされた動きベクトル（点線）の導出の例を示す。時間的マージ候補の参照ピクチャインデックスをゼロに等しく設定する。Ｂスライスの場合、２つの動きベクトル、即ち、１つは参照ピクチャリスト０のためのもの、もう１つは参照ピクチャリスト１のためのものを取得し、これらを組み合わせることによって、双予測マージ候補を形成する。
【0026】
参照フレームに属する同一位置ＰＵ（Ｙ）において、図６に示すように、候補Ｃ０と候補Ｃ１との間で時間的候補の位置を選択する。位置Ｃ０のＰＵが利用可能でない場合、イントラコーディングされている場合、または現在のＣＴＵの外側にある場合、位置Ｃ１が使用される。そうでない場合、位置Ｃ０が時間的マージ候補の導出に使用される。
【0027】
１．１．４ 追加タイプのマージ候補の構築
時空間的マージ候補の他に、２つの追加のタイプのマージ候補、すなわち、結合双予測マージ候補およびゼロマージ候補がある。時空間的マージ候補を利用して、結合双予測マージ候補を生成する。結合双予測マージ候補は、Ｂスライスのみに使用される。最初の候補の第１の参照ピクチャリスト動きパラメータと別の候補の第２の参照ピクチャリスト動きパラメータとを組み合わせることで、結合双予測候補を生成する。これら２つのタプルが異なる動き仮説を提供する場合、これらのタプルは、新しい双予測候補を形成する。
時空間的マージ候補の他に、２つの追加のタイプのマージ候補、すなわち、結合双予測マージ候補およびゼロマージ候補がある。時空間的マージ候補を利用して、結合双予測マージ候補を生成する。結合双予測マージ候補は、Ｂスライスのみに使用される。最初の候補の第１の参照ピクチャリスト動きパラメータと別の候補の第２の参照ピクチャリスト動きパラメータとを組み合わせることで、結合双予測候補を生成する。これら２つのタプルが異なる動き仮説を提供する場合、これらのタプルは、新しい双予測候補を形成する。
【0028】
図７は、このプロセスの例を示しており、ｍｖＬ０、ｒｅｆＩｄｘＬ０、またはｍｖＬ１、ｒｅｆＩｄｘＬ１を有するオリジナルリスト（７１０、左側）における、２つの候補を使用して、最終リスト（７２０、右側）に加えられる結合双予測マージ候補を生成する。
【0029】
動きゼロ候補を挿入し、マージ候補リストにおける残りのエントリを埋めることにより、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ容量にヒットする。これらの候補は、空間的変位がゼロであり、新しいゼロ動き候補をリストに加える度にゼロから始まり増加する参照ピクチャインデックスを有する。これらの候補が使用する参照フレームの数は、それぞれ、一方向予測の場合は１つ、双方向予測の場合は２つである。いくつかの実施形態において、これらの候補に対して冗長性チェックは行われない。
【0030】
１．１．５ 並列処理のための動き推定領域の例
エンコーディング処理を高速化するために、動き推定を並列に行うことができ、それによって、所与の領域内のすべての予測ユニットの動きベクトルを同時に導出する。１つの予測ユニットは、その関連する動き推定が完了するまで、隣接するＰＵから動きパラメータを導出することができないので、空間的近傍からのマージ候補の導出は、並列処理に干渉する可能性がある。コーディング効率と処理待ち時間との間のトレードオフを緩和するために、動き推定領域（ＭＥＲ）を規定することができる。「ｌｏｇ２＿ｐａｒａｌｌｅｌ＿ｍｅｒｇｅ＿ｌｅｖｅｌ＿ｍｉｎｕｓ２」構文要素を使用して、ピクチャパラメータセット（ＰＰＳ）においてＭＥＲのサイズを信号通知してもよい。１つのＭＥＲを規定するとき、同じ領域にあるマージ候補は使用不可としてマークされ、それゆえにリスト構築においては考慮されない。
エンコーディング処理を高速化するために、動き推定を並列に行うことができ、それによって、所与の領域内のすべての予測ユニットの動きベクトルを同時に導出する。１つの予測ユニットは、その関連する動き推定が完了するまで、隣接するＰＵから動きパラメータを導出することができないので、空間的近傍からのマージ候補の導出は、並列処理に干渉する可能性がある。コーディング効率と処理待ち時間との間のトレードオフを緩和するために、動き推定領域（ＭＥＲ）を規定することができる。「ｌｏｇ２＿ｐａｒａｌｌｅｌ＿ｍｅｒｇｅ＿ｌｅｖｅｌ＿ｍｉｎｕｓ２」構文要素を使用して、ピクチャパラメータセット（ＰＰＳ）においてＭＥＲのサイズを信号通知してもよい。１つのＭＥＲを規定するとき、同じ領域にあるマージ候補は使用不可としてマークされ、それゆえにリスト構築においては考慮されない。
【0031】
１．２ 高度動きベクトル予測（ＡＭＶＰ）の実施形態
ＡＭＶＰは、動きパラメータの明確な伝送に使用される、動きベクトルの近傍のＰＵとの空間的－時間的相関を利用する。まず、左側、上側の時間的に近傍のＰＵ位置の可用性をチェックし、冗長な候補を取り除き、ゼロベクトルを加えることで、候補リストの長さを一定にすることで、動きベクトル候補リストを構築する。次いで、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を示す対応するインデックスを送信することができる。マージインデックスの信号通知と同様に、最良の動きベクトル候補のインデックスは、短縮された単項を使用してエンコードされる。この場合に符号化されるべき最大値は２である（図８参照）。以下の章では、動きベクトル予測候補の導出処理の詳細を説明する。
ＡＭＶＰは、動きパラメータの明確な伝送に使用される、動きベクトルの近傍のＰＵとの空間的－時間的相関を利用する。まず、左側、上側の時間的に近傍のＰＵ位置の可用性をチェックし、冗長な候補を取り除き、ゼロベクトルを加えることで、候補リストの長さを一定にすることで、動きベクトル候補リストを構築する。次いで、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を示す対応するインデックスを送信することができる。マージインデックスの信号通知と同様に、最良の動きベクトル候補のインデックスは、短縮された単項を使用してエンコードされる。この場合に符号化されるべき最大値は２である（図８参照）。以下の章では、動きベクトル予測候補の導出処理の詳細を説明する。
【0032】
１．２．１ 動きベクトル予測候補の構築例
図８は、動きベクトル予測候補の導出処理をまとめたものであり、ｒｅｆｉｄｘを入力として、各参照ピクチャリストに対して実装されてもよい。
図８は、動きベクトル予測候補の導出処理をまとめたものであり、ｒｅｆｉｄｘを入力として、各参照ピクチャリストに対して実装されてもよい。
【0033】
動きベクトル予測において、空間的動きベクトル候補と時間的動きベクトル候補という２つのタイプの動きベクトル候補が考えられる。空間的動きベクトル候補を導出するために、最終的には、図２に示したように、５つの異なる位置にある各ＰＵの動きベクトルに基づいて、２つの動きベクトル候補を導出する。
【0034】
時間的動きベクトル候補を導出するために、２つの異なる同じ場所に配置された位置に基づいて導出された２つの候補から１つの動きベクトル候補を選択する。第１の時空間的候補リストを作成した後、リストにおける重複した動きベクトル候補を除去する。候補の数が２よりも多い場合、関連づけられた参照ピクチャリストにおける参照ピクチャインデックスが１よりも大きい動きベクトル候補をリストから削除する。空間的―時間的動きベクトル候補の数が２未満である場合は、追加のゼロ動きベクトル候補をリストに加える。
【0035】
１．２．２ 空間的動きベクトル候補の構築
空間的動きベクトル候補の導出において、前回図２に示したような位置にあるＰＵから導出された５つの候補のうち、最大２つの候補を考慮され、それらの位置は動きマージの位置と同じである。現在のＰＵの左側のための導出の順序は、Ａ０、Ａ１、スケーリングされたＡ０、スケーリングされたＡ１として規定される。現在のＰＵの上側のための導出の順序は、Ｂ０、Ｂ１、Ｂ２、スケーリングされたＢ０、スケーリングされたＢ１、スケーリングされたＢ２として規定される。そのため、辺ごとに、動きベクトル候補として使用できる場合は４つ、すなわち空間的スケーリングを使用する必要がない２つの場合と、空間的スケーリングを使用する２つの場合とがある。４つの異なる場合をまとめると、以下のようになる。
空間的動きベクトル候補の導出において、前回図２に示したような位置にあるＰＵから導出された５つの候補のうち、最大２つの候補を考慮され、それらの位置は動きマージの位置と同じである。現在のＰＵの左側のための導出の順序は、Ａ０、Ａ１、スケーリングされたＡ０、スケーリングされたＡ１として規定される。現在のＰＵの上側のための導出の順序は、Ｂ０、Ｂ１、Ｂ２、スケーリングされたＢ０、スケーリングされたＢ１、スケーリングされたＢ２として規定される。そのため、辺ごとに、動きベクトル候補として使用できる場合は４つ、すなわち空間的スケーリングを使用する必要がない２つの場合と、空間的スケーリングを使用する２つの場合とがある。４つの異なる場合をまとめると、以下のようになる。
【0036】
－－空間的スケーリングなし
（１）同じ参照ピクチャリスト、および同じ参照ピクチャインデックス（同じＰＯＣ）
（２）異なる参照ピクチャリストであるが、同じ参照ピクチャ（同じＰＯＣ）
－－空間的スケーリング
（３）同じ参照ピクチャリストであるが、異なる参照ピクチャ（異なるＰＯＣ）
（４）異なる参照ピクチャリスト、および異なる参照ピクチャ（異なるＰＯＣ）
（１）同じ参照ピクチャリスト、および同じ参照ピクチャインデックス（同じＰＯＣ）
（２）異なる参照ピクチャリストであるが、同じ参照ピクチャ（同じＰＯＣ）
－－空間的スケーリング
（３）同じ参照ピクチャリストであるが、異なる参照ピクチャ（異なるＰＯＣ）
（４）異なる参照ピクチャリスト、および異なる参照ピクチャ（異なるＰＯＣ）
【0037】
まず、非空間的スケーリングの場合をチェックし、次に、空間的スケーリングを可能にする場合をチェックする。参照ピクチャリストにかかわらず、ＰＯＣが近傍のＰＵの参照ピクチャと現在のＰＵの参照ピクチャとで異なる場合、空間的スケーリングを考慮する。左側候補のすべてのＰＵが利用可能でないか、またはイントラコーディングされている場合、上側の動きベクトルのスケーリングは、左側および上側ＭＶ候補の並列導出に役立つ。そうでない場合、上側の動きベクトルに対して空間的スケーリングは許可されない。
【0038】
図９の例に示すように、空間的スケーリングの場合は、時間的スケーリングの場合と同様に、近傍のＰＵの動きベクトルがスケーリングされる。１つの違いは、現在のＰＵの参照ピクチャリストおよびインデックスを入力として与え、実際のスケーリング処理は時間的スケーリングと同じであることである。
【0039】
１．２．３ 時間的動きベクトル候補の構築
参照ピクチャインデックスを導出すること以外は、時間的マージ候補を導出するためのすべての処理は、空間的動きベクトル候補を導出するための処理と同じである（図６の例に示す）。いくつかの実施形態において、参照ピクチャインデックスはデコーダに信号通知される。
参照ピクチャインデックスを導出すること以外は、時間的マージ候補を導出するためのすべての処理は、空間的動きベクトル候補を導出するための処理と同じである（図６の例に示す）。いくつかの実施形態において、参照ピクチャインデックスはデコーダに信号通知される。
【0040】
２． 共同探索モデル（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ：ＪＥＭ）におけるインター予測方法の例
いくつかの実施形態において、将来の映像符号化技術は、Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（ＪＥＭ）［３］［４］として知られる参照ソフトウェアを用いて検討される。ＪＥＭでは、サブブロックベースの予測は、アフィン予測、代替時間的動きベクトル予測（ＡＴＭＶＰ）、空間的－時間的動きベクトル予測（ＳＴＭＶＰ）、双方向オプティカルフロー（ＢＩＯ）、フレームレートアップ変換（ＦＲＵＣ）、ローカル適応動きベクトル解像度（ＬＡＭＶＲ）、オーバーラップブロック動き補償（ＯＢＭＣ）、ローカル照明補償（ＬＩＣ）、デコーダ側動きベクトル改良（ＤＭＶＲ）などの、いくつかの符号化ツールで適用されている。
いくつかの実施形態において、将来の映像符号化技術は、Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（ＪＥＭ）［３］［４］として知られる参照ソフトウェアを用いて検討される。ＪＥＭでは、サブブロックベースの予測は、アフィン予測、代替時間的動きベクトル予測（ＡＴＭＶＰ）、空間的－時間的動きベクトル予測（ＳＴＭＶＰ）、双方向オプティカルフロー（ＢＩＯ）、フレームレートアップ変換（ＦＲＵＣ）、ローカル適応動きベクトル解像度（ＬＡＭＶＲ）、オーバーラップブロック動き補償（ＯＢＭＣ）、ローカル照明補償（ＬＩＣ）、デコーダ側動きベクトル改良（ＤＭＶＲ）などの、いくつかの符号化ツールで適用されている。
【0041】
２．１ サブＣＵに基づく動きベクトル予測の例
４分木に２分木を加えたＪＥＭ（ＱＴＢＴ）において、各ＣＵは、各予測方向に対して最大１つの動きパラメータのセットを有することができる。いくつかの実施形態において、エンコーダにおいて、ラージＣＵをサブＣＵに分割し、ラージＣＵのすべてのサブＣＵの動き情報を導出することにより、２つのサブＣＵレベルの動きベクトル予測方法を考慮する。代替的な時間的動きベクトル予測（ＡＴＭＶＰ）方法により、各ＣＵが、配列された参照ピクチャにおける現在のＣＵよりも小さい複数のブロックから複数の動き情報のセットをフェッチすることが可能となる。空間的－時間的動きベクトル予測（ＳＴＭＶＰ）法において、時間的動きベクトル予測子および空間的近傍動きベクトルを使用して、サブＣＵの動きベクトルを再帰的に導出する。いくつかの実施形態において、サブＣＵ動き予測のためにより正確な動きフィールドを維持するために、参照フレームの動き圧縮は無効にされてもよい。
４分木に２分木を加えたＪＥＭ（ＱＴＢＴ）において、各ＣＵは、各予測方向に対して最大１つの動きパラメータのセットを有することができる。いくつかの実施形態において、エンコーダにおいて、ラージＣＵをサブＣＵに分割し、ラージＣＵのすべてのサブＣＵの動き情報を導出することにより、２つのサブＣＵレベルの動きベクトル予測方法を考慮する。代替的な時間的動きベクトル予測（ＡＴＭＶＰ）方法により、各ＣＵが、配列された参照ピクチャにおける現在のＣＵよりも小さい複数のブロックから複数の動き情報のセットをフェッチすることが可能となる。空間的－時間的動きベクトル予測（ＳＴＭＶＰ）法において、時間的動きベクトル予測子および空間的近傍動きベクトルを使用して、サブＣＵの動きベクトルを再帰的に導出する。いくつかの実施形態において、サブＣＵ動き予測のためにより正確な動きフィールドを維持するために、参照フレームの動き圧縮は無効にされてもよい。
【0042】
２．１．１ 代替の時間的動きベクトル予測（ＡＴＭＶＰ）の例
ＡＴＭＶＰ法において、時間的動きベクトル予測（ＴＭＶＰ）法は、現在のＣＵより小さいブロックから複数セットの動き情報（動きベクトルおよび参照インデックスを含む）を取り出すことで修正される。
ＡＴＭＶＰ法において、時間的動きベクトル予測（ＴＭＶＰ）法は、現在のＣＵより小さいブロックから複数セットの動き情報（動きベクトルおよび参照インデックスを含む）を取り出すことで修正される。
【0043】
図１０は、ＣＵ１０００におけるＡＴＭＶＰ動き予測処理の一例を示す。ＡＴＭＶＰ法は、ＣＵ１０００におけるサブＣＵ１００１の動きベクトルを２つのステップで予測する。第１のステップでは、参照ピクチャ１０５０における対応するブロック１０５１を時間的ベクトルで特定する。参照ピクチャ１０５０は、モーションソースピクチャとも呼ばれる。第２のステップでは、現在のＣＵ１０００をサブＣＵ１００１に分割し、各サブＣＵに対応するブロックから、各サブＣＵの動きベクトルおよび参照インデックスを得る。
【0044】
第１のステップにおいて、現在のＣＵ１０００の空間的に近傍のブロックの動き情報によって、参照ピクチャ１０５０および対応するブロックを判定する。近傍のブロックの繰り返し走査処理を回避するために、現在のＣＵ１０００のマージ候補リストにおける第１のマージ候補を用いる。第１の利用可能な動きベクトルおよびその関連する参照インデックスを、時間的ベクトルおよびモーションソースピクチャのインデックスに設定する。このように、ＴＭＶＰに比べて、対応するブロックをより正確に特定することができ、対応するブロック（配列されたブロックと呼ばれることがある）は、常に現在のＣＵに対して右下または中心位置にある。
【0045】
第２のステップにおいて、現在のＣＵの座標に時間的ベクトルを加えることで、モーションソースピクチャ１０５０における時間的ベクトルによって、サブＣＵ１０５１の対応するブロックを特定する。サブＣＵごとに、その対応するブロックの動き情報（例えば、中心サンプルを覆う最小の動きグリッド）を使用して、サブＣＵの動き情報を導出する。対応するＮ×Ｎブロックの動き情報を特定した後、ＨＥＶＣのＴＭＶＰと同様に、現在のサブＣＵの動きベクトルおよび参照インデックスに変換され、動きスケーリングや他の手順が適用される。例えば、デコーダは、低遅延条件（例えば、現在のピクチャのすべての参照ピクチャのＰＯＣが現在のピクチャのＰＯＣよりも小さい）が満たされているかどうかをチェックし、場合によっては、動きベクトルＭＶｘ（例えば、参照ピクチャリストＸに対応する動きベクトル）を使用して、各サブＣＵの動きベクトルＭＶｙ（例えば、Ｘが０または１に等しく、Ｙが１－Ｘに等しい）を予測する。
【0046】
２．１．２ 空間的－時間的動きベクトル予測（ＳＴＭＶＰ）の例
ＳＴＭＶＰ法において、サブＣＵの動きベクトルは、ラスタスキャンの順に沿って再帰的に導出される。図１１は、４つのサブブロックおよび近傍のブロックを有する１つのＣＵの例を示す。４つの４×４個のサブＣＵ、Ａ（１１０１）、Ｂ（１１０２）、Ｃ（１１０３）、およびＤ（１１０４）を含む８×８個のＣＵ１１００を考える。現在のフレームにおける近傍の４×４ブロックを、ａ（１１１１）、ｂ（１１１２）、ｃ（１１１３）、およびｄ（１１１４）とラベルする。
ＳＴＭＶＰ法において、サブＣＵの動きベクトルは、ラスタスキャンの順に沿って再帰的に導出される。図１１は、４つのサブブロックおよび近傍のブロックを有する１つのＣＵの例を示す。４つの４×４個のサブＣＵ、Ａ（１１０１）、Ｂ（１１０２）、Ｃ（１１０３）、およびＤ（１１０４）を含む８×８個のＣＵ１１００を考える。現在のフレームにおける近傍の４×４ブロックを、ａ（１１１１）、ｂ（１１１２）、ｃ（１１１３）、およびｄ（１１１４）とラベルする。
【0047】
サブＣＵのＡの動きの導出は、その２つの空間的近傍を特定することで始まる。第１の近傍は、サブＣＵ、Ａ１１０１の上のＮ×Ｎブロックである（ブロックｃ１１１３）。このブロックｃ（１１１３）が利用可能でない、またはイントラ符号化されている場合、サブＣＵ Ａ（１１０１）の上の他のＮ×Ｎ個のブロックをチェックする（ブロックｃ１１１３から始まって左から右へ）。第２の近傍は、サブＣＵ Ａ１１０１の左側のブロックである（ブロックｂ１１１２）。ブロックｂ（１１１２）が利用可能でない、またはイントラ符号化されている場合、サブＣＵ Ａ１１０１の左側の他のブロックをチェックする（ブロックｂ１１１２から始まり、上から下へ）。各リストの近傍のブロックから得られた動き情報を、所与のリストの第１の参照フレームにスケーリングする。次に、ＨＥＶＣに規定されているＴＭＶＰ導出と同じ手順に従って、サブブロックＡ１１０１の時間的動きベクトル予測子（ＴＭＶＰ）を導出する。ブロックＤ１１０４における同一位置とされたブロックの動き情報がフェッチされ、それに応じてスケーリングされる。最後に、動き情報を検索し、スケーリングした後、参照リストごとにすべての利用可能な動きベクトルを別々に平均する。この平均化された動きベクトルを現在のサブＣＵの動きベクトルとする。
【0048】
２．１．３ サブＣＵの動き予測モード信号通知の例
いくつかの実施形態において、サブＣＵモードは追加のマージ候補として有効とされ、モードを信号通知するために追加の構文要素は必要とされない。ＡＴＭＶＰモードおよびＳＴＭＶＰモードを表すように、各ＣＵのマージ候補リストに２つの追加のマージ候補を加える。他の実施形態において、シーケンスパラメータセットがＡＴＭＶＰおよびＳＴＭＶＰが有効であることを示す場合、７個までのマージ候補を使用してもよい。追加のマージ候補のエンコーディングロジックは、ＨＭにおけるマージ候補の場合と同じであり、つまり、ＰまたはＢスライスにおける各ＣＵについて、２つの追加のマージ候補に対して２回以上のＲＤチェックが必要となる可能性がある。いくつかの実施形態において、例えばＪＥＭのように、マージインデックスのすべての２値（ｂｉｎ）はコンテキストベースの適応型バイナリ算術コーディング（ＣＡＢＡＣ）によりコンテキストコーディングされる。他の実施形態、例えばＨＥＶＣにおいては、第１の２値のみがコンテキストコーディングされ、残りの２値はコンテキストバイパスコーディングされる。
いくつかの実施形態において、サブＣＵモードは追加のマージ候補として有効とされ、モードを信号通知するために追加の構文要素は必要とされない。ＡＴＭＶＰモードおよびＳＴＭＶＰモードを表すように、各ＣＵのマージ候補リストに２つの追加のマージ候補を加える。他の実施形態において、シーケンスパラメータセットがＡＴＭＶＰおよびＳＴＭＶＰが有効であることを示す場合、７個までのマージ候補を使用してもよい。追加のマージ候補のエンコーディングロジックは、ＨＭにおけるマージ候補の場合と同じであり、つまり、ＰまたはＢスライスにおける各ＣＵについて、２つの追加のマージ候補に対して２回以上のＲＤチェックが必要となる可能性がある。いくつかの実施形態において、例えばＪＥＭのように、マージインデックスのすべての２値（ｂｉｎ）はコンテキストベースの適応型バイナリ算術コーディング（ＣＡＢＡＣ）によりコンテキストコーディングされる。他の実施形態、例えばＨＥＶＣにおいては、第１の２値のみがコンテキストコーディングされ、残りの２値はコンテキストバイパスコーディングされる。
【0049】
２．２ 適応動きベクトル差解像度の例
本発明の実施例中において、ｕｓｅ＿ｉｎｔｅｇｅｒ＿ｍｖ＿ｆｌａｇがスライスヘッダにおいて０であるとき、４分の１輝度サンプルの単位で動きベクトルの差（ＭＶＤ）（動きベクトルとＰＵの予測動きベクトルとの間）を信号通知される。ＪＥＭにおいて、ローカル適応動きベクトル解像度（ＬＡＭＶＲ）が導入される。ＪＥＭにおいて、ＭＶＤは、１／４輝度サンプル、整数輝度サンプルまたは４つの輝度サンプルの単位でコーディングできる。ＭＶＤ分解能はコーディングユニット（ＣＵ）レベルで制御され、ＭＶＤ解像度フラグは、少なくとも１つのノンゼロＭＶＤモジュールを有する各ＣＵに対して条件付きで信号通知される。
本発明の実施例中において、ｕｓｅ＿ｉｎｔｅｇｅｒ＿ｍｖ＿ｆｌａｇがスライスヘッダにおいて０であるとき、４分の１輝度サンプルの単位で動きベクトルの差（ＭＶＤ）（動きベクトルとＰＵの予測動きベクトルとの間）を信号通知される。ＪＥＭにおいて、ローカル適応動きベクトル解像度（ＬＡＭＶＲ）が導入される。ＪＥＭにおいて、ＭＶＤは、１／４輝度サンプル、整数輝度サンプルまたは４つの輝度サンプルの単位でコーディングできる。ＭＶＤ分解能はコーディングユニット（ＣＵ）レベルで制御され、ＭＶＤ解像度フラグは、少なくとも１つのノンゼロＭＶＤモジュールを有する各ＣＵに対して条件付きで信号通知される。
【0050】
少なくとも１つのノンゼロＭＶＤモジュールを有するＣＵの場合、１／４輝度サンプルＭＶ精度がＣＵにおいて使用されるかどうかを示すために、第１のフラグが信号通知される。第１のフラグ（１に等しい）が、１／４輝度サンプルＭＶ精度が使用されていないことを示す場合、整数輝度サンプルＭＶ精度が使用されるかまたは４輝度サンプルＭＶ精度が使用されるかを示すために、別のフラグが信号通知される。
【0051】
ＣＵの第１のＭＶＤ解像度フラグがゼロであるか、またはＣＵに対してコーディングされていない（つまり、ＣＵにおけるすべてのＭＶＤがゼロである）場合、ＣＵに対して１／４輝度サンプルＭＶ解像度が使用される。ＣＵが整数輝度サンプルＭＶ精度または４輝度サンプルＭＶ精度を使用する場合、ＣＵのＡＭＶＰ候補リストにおけるＭＶＰを対応する精度に丸める。
【0052】
エンコーダにおいて、ＣＵレベルのＲＤチェックは、どのＭＶＤ解像度をＣＵに用いるかを決定するために用いられる。すなわち、１つのＭＶＤ解像度ごとに３回、ＣＵレベルのＲＤチェックを行う。エンコーダの速度を速めるために、ＪＥＭにおいては、以下の符号化方式が適用される。
【0053】
－－通常の１／４輝度サンプルＭＶＤ解像度を有するＣＵのＲＤチェック中、現在のＣＵの動き情報（整数輝度サンプル精度）が記憶される。整数輝度サンプルおよび４輝度サンプルのＭＶＤ解像度を有する同じＣＵのＲＤチェック中に、記憶された動き情報（丸められた後）は、更なる小範囲動きベクトル改良の開始点として使用されるので、時間がかかる動き推定処理が３回重複しない。
【0054】
－－４輝度サンプルＭＶＤ解像度を有するＣＵのＲＤチェックを条件付きで呼び出す。ＣＵの場合、整数輝度サンプルＭＶＤ解像度のＲＤコストが１／４輝度サンプルＭＶＤ解像度のそれよりもはるかに大きい場合、ＣＵのための４輝度サンプルＭＶＤ解像度のＲＤチェックは省略される。
【0055】
２．３ 動きベクトルの記憶精度を向上させる例
ＨＥＶＣにおいて、動きベクトルの精度は、１／４画素（４：２：０映像の場合、１／４輝度サンプルおよび１／８クロマサンプル）である。ＪＥＭにおいて、内部の動きベクトルの記憶およびマージ候補の精度は、１／１６画素にまで向上する。スキップ／マージモードで符号化されたＣＵの動き補償インター予測には、より高い動きベクトル精度（１／１６画素）が用いられる。通常のＡＭＶＰモードで符号化されたＣＵの場合、整数画素または１／４画素の動きのいずれかが使用される。
ＨＥＶＣにおいて、動きベクトルの精度は、１／４画素（４：２：０映像の場合、１／４輝度サンプルおよび１／８クロマサンプル）である。ＪＥＭにおいて、内部の動きベクトルの記憶およびマージ候補の精度は、１／１６画素にまで向上する。スキップ／マージモードで符号化されたＣＵの動き補償インター予測には、より高い動きベクトル精度（１／１６画素）が用いられる。通常のＡＭＶＰモードで符号化されたＣＵの場合、整数画素または１／４画素の動きのいずれかが使用される。
【0056】
ＨＥＶＣ動き補償補間フィルタと同じフィルタ長と正規化係数を有するＳＨＶＣアップサンプリング補間フィルタを、追加の分数画素位置の動き補償補間フィルタとして使用する。ＪＥＭにおいて、クロマ成分の動きベクトルの精度は１／３２サンプルであり、近傍の２つの１／１６画素の分数位置のフィルタの平均を用いて、１／３２画素の分数位置の追加の補間フィルタを導出する。
【0057】
２．４ 重複ブロック動き補償（ＯＢＭＣ）の例
ＪＥＭにおいて、ＯＢＭＣは、ＣＵレベルの構文を使用してオン／オフを切り替えることができる。ＪＥＭにおいてＯＢＭＣを使用する場合、ＯＢＭＣは、ＣＵの右下の境界を除くすべての動き補償（ＭＣ）ブロック境界に対して実行される。また、輝度およびクロマ成分の両方に適用される。ＪＥＭにおいて、ＭＣブロックは符号化ブロックに対応する。ＣＵがサブＣＵモードで符号化された（サブＣＵマージ、アフィン、およびＦＲＵＣモードを含む）場合、ＣＵの各サブブロックは１つのＭＣブロックである。均一にＣＵ境界を処理するために、ＯＢＭＣは、すべてのＭＣブロック境界に対してサブブロックレベルで実行され、ここで、サブブロックサイズは、図１２Ａ、１２Ｂに示すように、４×４に等しく設定される。
ＪＥＭにおいて、ＯＢＭＣは、ＣＵレベルの構文を使用してオン／オフを切り替えることができる。ＪＥＭにおいてＯＢＭＣを使用する場合、ＯＢＭＣは、ＣＵの右下の境界を除くすべての動き補償（ＭＣ）ブロック境界に対して実行される。また、輝度およびクロマ成分の両方に適用される。ＪＥＭにおいて、ＭＣブロックは符号化ブロックに対応する。ＣＵがサブＣＵモードで符号化された（サブＣＵマージ、アフィン、およびＦＲＵＣモードを含む）場合、ＣＵの各サブブロックは１つのＭＣブロックである。均一にＣＵ境界を処理するために、ＯＢＭＣは、すべてのＭＣブロック境界に対してサブブロックレベルで実行され、ここで、サブブロックサイズは、図１２Ａ、１２Ｂに示すように、４×４に等しく設定される。
【0058】
【0059】
ＯＢＭＣが現在のサブブロックに適用される場合、現在の動きベクトルの他に、４つの接続された近傍のサブブロックの動きベクトルも、利用可能であり、現在の動きベクトルと同一でない場合には、現在のサブブロックのための予測ブロックを導出するために使用される。複数の動きベクトルに基づくこれらの複数の予測ブロックを組み合わせ、現在のサブブロックの最終予測信号を生成する。
【0060】
近傍のサブブロックの動きベクトルに基づく予測ブロックをＰＮ（Ｎは、近傍の上、下、左、右のサブブロックのインデックス）とし、現在のサブブロックの動きベクトルに基づく予測ブロックをＰＣとする。ＰＮが現在のサブブロックと同じ動き情報を含む近傍のサブブロックの動き情報に基づく場合、ＯＢＭＣはＰＮから行われない。そうでない場合、ＰＮのすべてのサンプルをＰＣ内の同じサンプルに加える。すなわち、ＰＮの４つの行／列をＰＣに加える。ＰＮには重み係数｛１／４，１／８，１／１６，１／３２｝を用い、ＰＣには重み係数｛３／４，７／８，１５／１６，３１／３２｝を用いる。例外は、小さなＭＣブロック（すなわち、符号化ブロックの高さまたは幅が４に等しいか、または１つのＣＵがサブＣＵモードで符号化された場合）であり、その場合、２つの行／列のＰＮのみがＰＣに追加される。この場合、ＰＮに対して重み係数｛１／４，１／８｝が使用され、ＰＣに対して重み係数｛３／４，７／８｝が使用される。垂直（水平）方向に近傍のサブブロックの動きベクトルに基づいて生成されたＰＮに対して、ＰＮの同じ行（列）におけるサンプルを、同じ重み係数でＰＣに加算する。
【0061】
ＪＥＭにおいて、サイズが２５６輝度サンプル以下のＣＵの場合、現在のＣＵに対してＯＢＭＣが適用されているかどうかを示すように、ＣＵレベルフラグが信号通知される。サイズが２５６輝度サンプルよりも大きい、またはＡＭＶＰモードで符号化されていないＣＵの場合、ＯＢＭＣがデフォルトで適用される。エンコーダにおいて、ＯＢＭＣがＣＵに適用される場合、その影響は動き推定ステージ中に考慮される。上側近傍のブロックおよび左側近傍のブロックの動き情報を用いてＯＢＭＣにより形成された予測信号は、現在のＣＵの元の信号の上側および左側の境界を補償するために用いられ、その後、通常の動き推定処理が適用される。
【0062】
２．５ ローカル照明補償（ＬＩＣ）の例
ＬＩＣは、倍率ａおよびオフセットｂを用いて、照明変化の線形モデルに基づく。そして、各インターモードコーディングユニット（ＣＵ）に対して適宜有効または無効とされる。
ＬＩＣは、倍率ａおよびオフセットｂを用いて、照明変化の線形モデルに基づく。そして、各インターモードコーディングユニット（ＣＵ）に対して適宜有効または無効とされる。
【0063】
ＬＩＣがＣＵに適用される場合、現在のＣＵの近傍のサンプルおよびそれらに対応する参照サンプルを使用することによって、パラメータａおよびｂを導出するために、最小二乗誤差法が使用される。図１３は、ＩＣアルゴリズムのパラメータを導出するために使用される近傍のサンプルの例を示す。具体的には、図１に示すようになる。具体的には、図１３に示すように、ＣＵのサブサンプリング（２：１のサブサンプリング）された近傍サンプルと、参照ピクチャ内の対応するサンプル（現在のＣＵまたはサブＣＵの動き情報によって特定される）とが使用される。ＩＣパラメータは、各予測方向に対して別々に導出され、適用される。
【0064】
１つのＣＵがマージモードで符号化される場合、マージモードにおける動き情報のコピーと同様に、近傍のブロックからＬＩＣフラグをコピーし、そうでない場合、ＣＵにＬＩＣフラグを信号通知してＬＩＣが適用されるかどうかを示す。
【0065】
１つのピクチャに対してＬＩＣが有効化されるとき、１つのＣＵに対してＬＩＣが適用されるかどうかを判定するために、追加のＣＵレベルＲＤチェックが必要である。ＣＵのためにＬＩＣが有効化される場合、整数画素動き探索および小数画素動き探索のために、ＳＡＤおよびＳＡＴＤの代わりに、それぞれ、絶対差の平均除去和（ＭＲ－ＳＡＤ）および絶対アダマール変換差の平均除去和（ＭＲ－ＳＡＴＤ）が使用される。
【0066】
符号化の複雑性を低減するために、ＪＥＭにおいては、以下のエンコーディング方式が適用される。
【0067】
－－現在の画像とその参照ピクチャとの間に明瞭な照度変化がない場合、ＬＩＣは画像全体に対して無効にされる。この状況を特定するために、エンコーダにおいて、現在のピクチャおよび現在のピクチャのすべての参照ピクチャのヒストグラムを計算する。現在のピクチャと現在のピクチャのすべての参照ピクチャとの間のヒストグラム差が所与の閾値よりも小さい場合、現在のピクチャに対してＬＩＣを無効化し、そうでない場合、現在のピクチャに対してＬＩＣを有効化する。
【0068】
２．６ アフィン動き補償予測の例
ＨＥＶＣにおいて、動き補償予測（ＭＣＰ）のために並進運動モデルのみが適用される。しかしながら、カメラおよび対象物は、様々な種類の動き、例えば、ズームイン／ズームアウト、回転、透視運動、および／または他の不規則な動きを有してもよい。一方、ＪＥＭは、簡易アフィン変換動き補償予測を適用する。図１４は、２つの制御点動きベクトルＶ０およびＶ１によって記述されるブロック１４００のアフィン動きフィールドの例を示す。ブロック１４００の動きベクトルフィールド（ＭＶＦ）は、以下の式で表すことができる。
ＨＥＶＣにおいて、動き補償予測（ＭＣＰ）のために並進運動モデルのみが適用される。しかしながら、カメラおよび対象物は、様々な種類の動き、例えば、ズームイン／ズームアウト、回転、透視運動、および／または他の不規則な動きを有してもよい。一方、ＪＥＭは、簡易アフィン変換動き補償予測を適用する。図１４は、２つの制御点動きベクトルＶ０およびＶ１によって記述されるブロック１４００のアフィン動きフィールドの例を示す。ブロック１４００の動きベクトルフィールド（ＭＶＦ）は、以下の式で表すことができる。
【0069】
【数1】
【0070】
図１４に示すように、（ｖ０ｘ，ｖ０ｙ）は左上隅の制御点の動きベクトルであり、（ｖ１ｘ，ｖ１ｙ）は右上隅の制御点の動きベクトルである。動き補償予測を簡単にするために、サブブロックに基づくアフィン変換予測を適用することができる。サブブロックのサイズＭ×Ｎは、以下のように導出される。
【0071】
【数2】
【0072】
ここで、ＭｖＰｒｅは、動きベクトルの分数精度（例えば、ＪＥＭでは１／１６）である。（ｖ２ｘ，ｖ２ｙ）は、式（１）に従って算出された左下制御点の動きベクトルである。必要であれば、ＭおよびＮを下方に調整して、それぞれｗおよびｈの除数にすることができる。
【0073】
図１５は、ブロック１５００のためのサブブロックごとのアフィンＭＶＦの例を示す。各Ｍ×Ｎサブブロックの動きベクトルを導出するためには、各サブブロックの中心サンプルの動きベクトルを式（１）に従って算出し、動きベクトルの分数精度（例えば、ＪＥＭでは１／１６）に丸めればよい。次に、動き補償補間フィルタを適用して、導出された動きベクトルを用いて各サブブロックの予測を生成することができる。ＭＣＰの後、各サブブロックの高精度動きベクトルを丸め、通常の動きベクトルと同じ精度で保存する。
【0074】
２．６．１ ＡＦ＿ＩＮＴＥＲモードの実施形態
ＪＥＭにおいて、２つのアフィン動きモード、ＡＦ＿ＩＮＴＥＲモードおよびＡＦ＿ＭＥＲＧＥモードがある。幅と高さの両方が８より大きいＣＵの場合、ＡＦ＿ＩＮＴＥＲモードを適用することができる。ＡＦ＿ＩＮＴＥＲモードが使用されるかどうかを示すために、ビットストリームにおいてＣＵレベルのアフィンフラグが信号通知される。ＡＦ＿ＩＮＴＥＲモードにおいて、近傍のブロックを用いて動きベクトル対
ＪＥＭにおいて、２つのアフィン動きモード、ＡＦ＿ＩＮＴＥＲモードおよびＡＦ＿ＭＥＲＧＥモードがある。幅と高さの両方が８より大きいＣＵの場合、ＡＦ＿ＩＮＴＥＲモードを適用することができる。ＡＦ＿ＩＮＴＥＲモードが使用されるかどうかを示すために、ビットストリームにおいてＣＵレベルのアフィンフラグが信号通知される。ＡＦ＿ＩＮＴＥＲモードにおいて、近傍のブロックを用いて動きベクトル対
【0075】
【数3】
【0076】
を有する候補リストを構築する。
【0077】
図１６は、ＡＦ＿ＩＮＴＥＲモードにおけるブロック１６００のための動きベクトル予測（ＭＶＰ）の例を示す。図１６に示すように、ｖ０は、サブブロックＡ、Ｂ、またはＣの動きベクトルから選択される。近傍のブロックからの動きベクトルは、参照リストに従ってスケーリングすることができる。また、動きベクトルは、近傍のブロックの参照のピクチャオーダカウント（ＰＩＣ）と、現在のＣＵの参照のＰＯＣと、現在のＣＵのＰＯＣとの間の関係に基づいてスケーリングされてもよい。近傍のサブブロックＤおよびＥからｖ１を選択する方法は類似している。候補リストの数が２未満である場合、ＡＭＶＰ候補の各々を複製した動きベクトル対でリストを埋める。候補リストが２よりも大きい場合、まず、近傍の動きベクトルに基づいて（例えば、対候補における２つの動きベクトルの類似性に基づいて）候補をソートする。いくつかの実装形態において、最初の２つの候補を保持する。いくつかの実施形態において、レート歪み（ＲＤ）コストチェックを用いて、どの動きベクトル対候補を現在のＣＵの制御点動きベクトル予測（ＣＰＭＶＰ）として選択するかを判定する。ビットストリームにおいて、候補リストにおけるＣＰＭＶＰの位置を示すインデックスを信号通知することができる。現在のアフィンＣＵのＣＰＭＶＰを判定した後、アフィン動き推定を適用し、制御点動きベクトル（ＣＰＭＶ）を求める。次に、ＣＰＭＶとＣＰＭＶＰとの差をビットストリームにおいて信号通知する。
【0078】
ＡＦ＿ＩＮＴＥＲモードにおいて、４／６パラメータアフィンモードが使用される場合、２／３個の制御点が必要であり、従って、図１７Ａ、１７Ｂに示すように、これらの制御点のために２／３個のＭＶＤを符号化することが必要である。既存の実装形態［５］において、ＭＶは、例えば、ｍｖｄ０からｍｖｄ１およびｍｖｄ２を予測することで、以下のように導出されてもよい。
【0079】
【数4】
【0080】
ここでｍ￣ｖ￣ｉ、ｍｖｄｉ、ｍｖ１は、それぞれ、図１８Ｂに示すように、左上の画素（ｉ＝０）、右上の画素（ｉ＝１）、左下の画素（ｉ＝２）の予測動きベクトル、動きベクトルの差分、動きベクトルである。いくつかの実施形態において、２つの動きベクトル（例えば、ｍｖＡ（ｘＡ，ｙＡ）およびｍｖＢ（ｘＢ，ｙＢ））の加算は、２つの成分を別々に合計することに等しい。例えば、ｎｅｗＭＶ＝ｍｖＡ＋ｍｖＢは、ｎｅｗＭＶの２つの成分を、それぞれ（ｘＡ＋ｘＢ）および（ｙＡ＋ｙＢ）に設定することを意味する。
【0081】
２．６．２ ＡＦ＿ＩＮＴＥＲモードにおける高速アフィンＭＥアルゴリズムの例
アフィンモードのいくつかの実施形態において、２つまたは３つの制御点のＭＶは、一緒に判定される必要がある。複数のＭＶをまとめて直接検索することは、計算が複雑である。一例において、高速アフィンＭＥアルゴリズム［６］が提案され、ＶＴＭ／ＢＭＳに採用される。
アフィンモードのいくつかの実施形態において、２つまたは３つの制御点のＭＶは、一緒に判定される必要がある。複数のＭＶをまとめて直接検索することは、計算が複雑である。一例において、高速アフィンＭＥアルゴリズム［６］が提案され、ＶＴＭ／ＢＭＳに採用される。
【0082】
例えば、４パラメータアフィンモデルに対して高速アフィンＭＥアルゴリズムを説明し、この考えを６パラメータアフィンモデルに拡張することができる。
【0083】
【数5】
【0084】
【数6】
【0085】
（ａ－１）をａ’に置き換えることにより、動きベクトルを以下のように書き換えることができる。
【0086】
【数7】
【0087】
２つの制御点（０，０）および（０，ｗ）の動きベクトルが既知であると仮定すると、式（５）から、アフィンパラメータは、以下のように導出されてもよい。
【0088】
【数8】
【0089】
動きベクトルは、ベクトルの形で以下のように書き換えることができる。
【0090】
【数9】
【0091】
ここで、Ｐ＝（ｘ，ｙ）は、画素位置である。
【0092】
【数10】
【0093】
いくつかの実施形態において、エンコーダにおいて、ＡＦ＿ＩＮＴＥＲのＭＶＤは反復して導出されることができる。ＭＶｉ（Ｐ）を位置Ｐのｉ番目の反復で導出されたＭＶとし、ｄＭＶＣ
ｉをｉ番目の反復でＭＶＣに対して更新されたデルタとして示す。次に、（ｉ＋１）番目の繰り返しにおいて、
【0094】
【数11】
【0095】
Ｐｉｃｒｅｆを参照ピクチャとし、Ｐｉｃｃｕｒを現在のピクチャとし、Ｑ＝Ｐ＋ＭＶｉ（Ｐ）を表す。ＭＳＥをマッチング基準として用いる場合、最小化する必要がある関数は、以下のように表されてもよい。
【0096】
【数12】
【0097】
（ｄＭＶＣ
ｉ）Ｔが十分に小さいと仮定すると、Ｐｉｃｒｅｆ（Ｑ＋Ａ（Ｐ）＊（ｄＭＶＣ
ｉ）Ｔ）は、１次のテイラー展開に基づく近似として、以下のように書き換えられてもよい。
【0098】
【数13】
【0099】
ここで、
【0100】
【数14】
【0101】
である。Ｅｉ＋１（Ｐ）＝Ｐｉｃｃｕｒ（Ｐ）－Ｐｉｃｒｅｆ（Ｑ）の表記を採用する場合、以下のようになる。
【0102】
【数15】
【0103】
誤差関数の導関数をゼロに設定し、次に、Ａ（Ｐ）＊（ｄＭＶＣ
ｉ）Ｔに基づいて、制御点（０，０）および（０，ｗ）のデルタＭＶを以下のように算出することで、項ｄＭＶＣ
ｉを導出することができる。
【0104】
【数16】
【0105】
【数17】
【0106】
【数18】
【0107】
【数19】
【0108】
いくつかの実施形態において、このＭＶＤ導出処理をｎ回繰り返し、次のようにして最終ＭＶＤを算出することができる。
【0109】
【数20】
【0110】
【数21】
【0111】
【数22】
【0112】
【数23】
【0113】
上記実装形態［５］において、ｍｖｄ０で表される制御点（０，０）のデルタＭＶから、ｍｖｄ１で表される制御点（０，ｗ）のデルタＭＶを予測することは、ｍｖｄ１に対して
【0114】
【数24】
【0115】
の場合のみ符号化されることになる。
【0116】
２．６．３ ＡＦ＿ＭＥＲＧＥモードの実施形態
ＡＦ＿ＭＥＲＧＥモードにおいてＣＵを適用する場合、ＣＵは、有効な近傍の再構築ブロックから、アフィンモードで符号化された第１のブロックを得る。図１８Ａは、現在のＣＵ１８００のための候補ブロックの選択順序の例を示す。図１８Ａに示すように、選択順序は、現在のＣＵ１８００の左（１８０１）、上（１８０２）、右（１８０３）、左下（１８０４）、左上（１８０５）の順とすることができる。図１８Ｂは、ＡＦ＿ＭＥＲＧＥモードにおける現在のＣＵ１８００の候補ブロックの別の例を示す。近傍の左下ブロック１８０１がアフィンモードで符号化されている場合、図１８Ｂに示すように、サブブロック１８０１を含むＣＵの左上隅、右上隅、左下隅の動きベクトルｖ２、ｖ３、ｖ４が導出される。ｖ２、ｖ３、ｖ４に基づいて、現在のＣＵ１８００における左上隅の動きベクトルｖ０を算出する。従って、現在のＣＵの右上の動きベクトルｖ１を算出することができる。
ＡＦ＿ＭＥＲＧＥモードにおいてＣＵを適用する場合、ＣＵは、有効な近傍の再構築ブロックから、アフィンモードで符号化された第１のブロックを得る。図１８Ａは、現在のＣＵ１８００のための候補ブロックの選択順序の例を示す。図１８Ａに示すように、選択順序は、現在のＣＵ１８００の左（１８０１）、上（１８０２）、右（１８０３）、左下（１８０４）、左上（１８０５）の順とすることができる。図１８Ｂは、ＡＦ＿ＭＥＲＧＥモードにおける現在のＣＵ１８００の候補ブロックの別の例を示す。近傍の左下ブロック１８０１がアフィンモードで符号化されている場合、図１８Ｂに示すように、サブブロック１８０１を含むＣＵの左上隅、右上隅、左下隅の動きベクトルｖ２、ｖ３、ｖ４が導出される。ｖ２、ｖ３、ｖ４に基づいて、現在のＣＵ１８００における左上隅の動きベクトルｖ０を算出する。従って、現在のＣＵの右上の動きベクトルｖ１を算出することができる。
【0117】
式（１）のアフィン運動モデルに従って現在のＣＵｖ０，ｖ１のＣＰＭＶを計算した後、現在のＣＵのＭＶＦを生成することができる。現在のＣＵがＡＦ＿ＭＥＲＧＥモードで符号化されているかどうかを識別するために、アフィンモードで符号化されている近傍のブロックが少なくとも１つある場合、ビットストリーム内にアフィンフラグを信号通知することができる。
【0118】
２．７ パターンマッチング動きベクトル導出（ＰＭＭＶＤ）の例
ＰＭＭＶＤモードは、フレームレートアップ変換（ＦＲＵＣ）法に基づく特殊マージモードである。このモードでは、ブロックの動き情報は信号通知されず、デコーダ側で導出される。
ＰＭＭＶＤモードは、フレームレートアップ変換（ＦＲＵＣ）法に基づく特殊マージモードである。このモードでは、ブロックの動き情報は信号通知されず、デコーダ側で導出される。
【0119】
ＦＲＵＣフラグは、そのマージフラグが真である場合、ＣＵに信号通知され得る。ＦＲＵＣフラグが偽である場合、マージインデックスを信号通知することができ、通常のマージモードが使用される。ＦＲＵＣフラグが真である場合、追加のＦＲＵＣモードフラグを信号通知して、どの方法（例えば、バイラテラルマッチングまたはテンプレートマッチング）を使用してブロックの動き情報を導出するかを示すことができる。
【0120】
エンコーダ側では、ＣＵのためにＦＲＵＣマージモードを使用するかどうかの決定は、通常のマージ候補に対して行われるのと同じように、ＲＤコストの選択に基づく。例えば、ＲＤコスト選択を使用して、１つのＣＵに対して複数のマッチングモード（例えば、バイラテラルマッチングおよびテンプレートマッチング）をチェックする。最小コストに導くものが、他のＣＵモードと比較される。ＦＲＵＣマッチングモードが最も効率的なものである場合、ＣＵに対してＦＲＵＣフラグを真に設定し、関連するマッチングモードを使用する。
【0121】
一般的に、ＦＲＵＣマージモードにおける動き導出処理では、まずＣＵレベルの動き探索が行われ、次にサブＣＵレベルの動き改良を行うという２つのステップを有する。ＣＵレベルでは、バイラテラルマッチングまたはテンプレートマッチングに基づいて、ＣＵ全体のための初期の動きベクトルを導出する。まず、ＭＶ候補のリストを生成し、最小マッチングコストに導く候補を、さらなるＣＵレベル改善の開始点として選択する。そして、開始点付近でのバイラテラルマッチングまたはテンプレートマッチングに基づく局所検索を行う。最小マッチングコストにおけるＭＶの結果を、ＣＵ全体のＭＶとする。続いて、導出されたＣＵ動きベクトルを開始点として、サブＣＵレベルでの動き情報をさらに改良する。
【0122】
例えば、Ｗ×Ｈ ＣＵ動き情報導出のために、以下の導出処理を行う。第１のステージにおいて、Ｗ×Ｈ ＣＵ全体のためのＭＶが導出される。第２のステージにおいて、ＣＵは、Ｍ×Ｍ個のサブＣＵにさらに分割される。Ｍの値は、式（３）のように計算されるが、Ｄは、予め規定された分割深さであり、ＪＥＭにおいてデフォルトで３に設定される。
そして、各サブＣＵのＭＶを導出する。
そして、各サブＣＵのＭＶを導出する。
【0123】
【数25】
【0124】
図１９は、フレームレートアップ変換（ＦＲＵＣ）法で使用されるバイラテラルマッチングの例を示す。このバイラテラルマッチングは、２つの異なる参照ピクチャ（１９１０、１９１１）における現在のＣＵ（１９００）の動き軌跡に沿った２つのブロック間の最も近いマッチングを見出すことで、現在のＣＵの動き情報を導出するために用いられる。連続した動き軌跡を仮定すると、２つの参照ブロックを指す動きベクトルＭＶ０（１９０１）、ＭＶ１（１９０２）は、現在のピクチャと２つの参照ピクチャとの間の時間的距離に比例し、例えば、ＴＤ０（１９０３）、ＴＤ１（１９０４）である。いくつかの実施形態において、現在のピクチャ１９００が２つの参照ピクチャ（１９１０、１９１１）の間にあり、現在のピクチャから２つの参照ピクチャまでの時間的距離が同じである場合、バイラテラルマッチングはミラーに基づく双方向ＭＶとなる。
【0125】
図２０は、フレームレートアップ変換（ＦＲＵＣ）法で使用されるテンプレートマッチングの例を示す。テンプレートマッチングを使用して、現在のピクチャにおけるテンプレート（例えば、現在のＣＵの上側および／または左側の近傍のブロック）と参照ピクチャ２０１０におけるブロック（例えば、テンプレートと同じサイズ）との間の最も近いマッチングを見出すことで、現在のＣＵ２０００の動き情報を導出することができる。前述のＦＲＵＣマージモード以外に、テンプレートマッチングは、ＡＭＶＰモードにも適用できる。ＪＥＭおよびＨＥＶＣの両方において、ＡＭＶＰは２つの候補を有する。テンプレートマッチング法を用いることで、新しい候補を導出することができる。テンプレートマッチングによって新規に導出された候補が、第１の既存のＡＭＶＰ候補と異なる場合、ＡＭＶＰ候補リストの最初に挿入し、次に、（例えば、第２の既存のＡＭＶＰ候補を取り除くことによって）リストサイズを２に設定する。ＡＭＶＰモードに適用される場合、ＣＵレベル検索のみが適用される。
【0126】
ＣＵレベルのＭＶ候補セットは、以下を含むことができる。（１）現在のＣＵがＡＭＶＰモードにある場合、元のＡＭＶＰ候補、（２）すべてのマージ候補、（３）補間されたＭＶフィールド内の複数のＭＶ（後述）、および左上の近傍の動きベクトル。
【0127】
バイラテラルマッチングを使用する場合、マージ候補の各有効なＭＶを入力として使用して、バイラテラルマッチングを仮定してＭＶ対を生成することができる。例えば、マージ候補の１つの有効なＭＶは、参照リストＡにおいて（ＭＶａ，ｒｅｆａ）である。そして、その対をなすバイラテラルＭＶの参照ピクチャｒｅｆｂが他の参照リストＢにおいて見出され、ｒｅｆａおよびｒｅｆｂは、時間的に現在のピクチャの異なる側にある。参照リストＢにおいてこのようなｒｅｆｂが利用可能でない場合、ｒｅｆｂをｒｅｆａとは異なる参照として決定し、現在のピクチャとの時間的距離はリストＢにおける最小値である。ｒｅｆｂを決定した後、現在のピクチャとｒｅｆａ，ｒｅｆｂとの時間距離に基づいてＭＶａをスケーリングすることでＭＶｂを導出する。
【0128】
いくつかの実装形態において、補間されたＭＶフィールドからの４つのＭＶをＣＵレベル候補リストに追加してもよい。具体的には、現在のＣＵの（０，０）、（Ｗ／２，０）、（０，Ｈ／２）、（Ｗ／２，Ｈ／２）の位置の補間ＭＶを加算する。ＡＭＶＰモードでＦＲＵＣを適用する場合、元のＡＭＶＰ候補をＣＵレベルＭＶ候補セットにも加える。いくつかの実装形態において、ＣＵレベルにおいて、ＡＭＶＰ ＣＵのための１５個のＭＶおよびマージＣＵに対し、１３個のＭＶを候補リストに加えることができる。
【0129】
サブＣＵレベルのＭＶ候補セットは、ＣＵレベルの検索によって決定されたＭＶと、（２）上、左、左上、右上の近傍のＭＶと、（３）参照ピクチャからの配列されたＭＶのスケーリングされたバージョンと、（４）１つ以上（例えば、４つまで）のＡＴＭＶＰ候補と、（５）１つ以上（例えば、４つまで）のＳＴＭＶＰ候補とを含む。参照ピクチャからのスケーリングされたＭＶは、以下のように導出される。両方のリストにおける参照ピクチャをトラバースする。参照ピクチャにおけるサブＣＵの配列位置にあるＭＶは、開始ＣＵレベルＭＶの参照に対してスケーリングされる。ＡＴＭＶＰおよびＳＴＭＶＰの候補は、最初の４つの候補であってもよい。サブＣＵレベルにおいて、１つ以上（例えば、最大１７個）のＭＶが候補リストに追加される。
【0130】
補間ＭＶフィールドの生成。あるフレームをコーディングする前に、片側ＭＥに基づいてピクチャ全体に対して補間動きフィールドを生成する。そして、この動きフィールドを後にＣＵレベルまたはサブＣＵレベルのＭＶ候補として使用してもよい。
【0131】
いくつかの実施形態において、両方の参照リストにおける各参照ピクチャの動きフィールドは、４×４ブロックレベルでトラバースされる。図２１は、ＦＲＵＣ方法におけるユニラテラル動き推定（ＭＥ）２１００の例を示す。各４×４ブロックにおいて、現在のピクチャの４×４ブロックを通過するブロックに関連する動きで、補間動きがまだ割り当てられていない場合、時間距離ＴＤ０およびＴＤ１に基づいて（ＨＥＶＣにおけるＴＭＶＰのＭＶスケーリングと同様に）、参照ブロックの動きを現在のピクチャにスケーリングし、スケーリングされた動きを現在のフレームのブロックに割り当てる。スケーリングされないＭＶが４×４ブロックに割り当てられる場合、ブロックの動きは、補間された動きフィールドにおいて利用不可能であるとマークされる。
【0132】
補間およびマッチングコスト。１つの動きベクトルが１つの小数のサンプル位置を指す場合、動き補償補間が必要である。複雑性を低減するために、通常の８タップＨＥＶＣ補間の代わりに、バイラテラルマッチングおよびテンプレートマッチングの両方に双線形補間を使用できる。
【0133】
マッチングコストの計算は、異なるステップでは少し異なる。ＣＵレベルの候補セットから候補を選択する場合、マッチングコストは、バイラテラルマッチングまたはテンプレートマッチングの絶対和差（ＳＡＤ）であってもよい。開始ＭＶを決定した後、サブＣＵレベル検索におけるバイラテラルマッチングのマッチングコストＣを以下のように算出する。
【0134】
【数26】
【0135】
ここで、ｗは重み係数である。いくつかの実施形態において、ｗは経験的に４に設定されてもよい。ＭＶおよびＭＶＳは、それぞれ、現在のＭＶおよび開始ＭＶを示す。ＳＡＤは、依然として、サブＣＵレベル検索におけるテンプレートマッチングのマッチングコストとして使用されてもよい。
【0136】
ＦＲＵＣモードにおいて、ＭＶは、輝度サンプルのみを使用することによって導出される。導出された動きは、ＭＣインター予測のために、輝度およびクロマの両方に使用される。ＭＶを決定した後、輝度用の８タップ補間フィルタおよびクロマ用の４タップ補間フィルタを使用して、最終的なＭＣを行う。
【0137】
ＭＶ改良は、バイラテラルマッチングコストまたはテンプレートマッチングコストの基準を有するパターンに基づくＭＶ検索である。ＪＥＭでは、２つの検索パターン、即ち、無制限中心バイアス菱形検索（ＵＣＢＤＳ）およびＣＵレベルおよびサブＣＵレベルでのＭＶ改良のための適応クロス検索をそれぞれサポートする。ＣＵおよびサブＣＵレベルのＭＶ改善の両方のために、ＭＶは、１／４輝度サンプルＭＶの正確度で直接検索され、これに続いて１／８輝度サンプルＭＶの改良が行われる。ＣＵおよびサブＣＵステップのためのＭＶ改良の検索範囲は、８つの輝度サンプルに等しく設定される。
【0138】
バイラテラルマッチングマージモードにおいては、双予測が適用される。なぜなら、２つの異なる参照ピクチャにおける現在のＣＵの動き軌跡に沿った２つのブロック間の最も近いマッチングに基づいて、ＣＵの動き情報を導出するからである。テンプレートマッチングマージモードにおいて、エンコーダは、ｌｉｓｔ０からの単一予測、ｌｉｓｔ１からの単一予測、またはＣＵのための双予測のうちから選択することができる。選択は、テンプレートマッチングコストに基づいて、以下のように行うことができる。
【0139】
ｃｏｓｔＢｉ＜＝ｆａｃｔｏｒ＊ｍｉｎ（ｃｏｓｔ０，ｃｏｓｔ１）の場合
双予測を用いる。
それ以外の場合、ｃｏｓｔ０＜＝ｃｏｓｔ１
ｌｉｓｔ０からの単一予測を用いる。
そうでない場合、
ｌｉｓｔ１からの単一予測を用いる。
双予測を用いる。
それ以外の場合、ｃｏｓｔ０＜＝ｃｏｓｔ１
ｌｉｓｔ０からの単一予測を用いる。
そうでない場合、
ｌｉｓｔ１からの単一予測を用いる。
【0140】
ここで、ｃｏｓｔ０はｌｉｓｔ０テンプレートマッチングのＳＡＤであり、ｃｏｓｔ１はｌｉｓｔ１テンプレートマッチングのＳＡＤであり、ｃｏｓｔＢｉは双予測テンプレートマッチングのＳＡＤである。例えば、ｆａｃｔｏｒの値が１．２５である場合、選択処理が双予測に偏っていることを意味する。このインター予測方向選択は、ＣＵレベルのテンプレートマッチング処理に適用することができる。
【0141】
３． 既存の実装形態の欠点
いくつかの既存の実装形態において、ＭＶ／ＭＶ差（ＭＶＤ）をアフィン符号化ブロックのための１組の複数のＭＶ／ＭＶＤ精度のセットから選択することができる場合、より正確な動きベクトルをどのようにして取得することができるかは、依然として不確定である。
いくつかの既存の実装形態において、ＭＶ／ＭＶ差（ＭＶＤ）をアフィン符号化ブロックのための１組の複数のＭＶ／ＭＶＤ精度のセットから選択することができる場合、より正確な動きベクトルをどのようにして取得することができるかは、依然として不確定である。
【0142】
他の既存の実装形態において、ＭＶ／ＭＶＤ精度情報は、アフィンモードに適用されるＡＭＶＲの全体的な符号化利得の判定においても重要な役割を果たすが、この目標を達成するかどうかは依然として不確定である。
【0143】
４． ＡＭＶＲを用いるアフィンモード用のＭＶ予測子のための例示的な方法
本開示の技術の実施形態は、既存の実装の欠点を克服し、それにより、より高い符号化効率を有する映像符号化を提供する。開示された技術に基づいて、適応動きベクトル解像度（ＡＭＶＲ）を有するアフィンモード用の動きベクトル予測子を導出し、信号通知することにより、既存のおよび将来の映像符号化規格の両方を向上させることができ、様々な実装形態に対して説明する以下の例で明らかにする。以下に提供される開示される技術の例は、一般的な概念を説明するものであり、限定するものと解釈されるべきではない。一例において、明確に反対の指示がない限り、これらの例に記載されている様々な特徴を組み合わせることができる。
本開示の技術の実施形態は、既存の実装の欠点を克服し、それにより、より高い符号化効率を有する映像符号化を提供する。開示された技術に基づいて、適応動きベクトル解像度（ＡＭＶＲ）を有するアフィンモード用の動きベクトル予測子を導出し、信号通知することにより、既存のおよび将来の映像符号化規格の両方を向上させることができ、様々な実装形態に対して説明する以下の例で明らかにする。以下に提供される開示される技術の例は、一般的な概念を説明するものであり、限定するものと解釈されるべきではない。一例において、明確に反対の指示がない限り、これらの例に記載されている様々な特徴を組み合わせることができる。
【0144】
いくつかの実施形態において、ＡＭＶＲが適用されるとき、アフィンモードまたはノーマルモードに次のような例を適用することができる。これらの例は、ＡＦ＿ＩＮＴＥＲモードでＭＶＤを符号化するため、または通常のインターモードでＭＶＤを符号化するために、精度Ｐｒｅｃ（即ち、ＭＶは１／（２＾Ｐｒｅｃ）の精度を有する）を使用すると仮定する。動きベクトル予測子（例えば、近傍のブロックＭＶから継承される）およびその精度を、それぞれＭＶＰｒｅｄ（ＭＶＰｒｅｄＸ，ＭＶＰｒｅｄＹ）、ＰｒｅｄＰｒｅｃと表す。
【0145】
例１ 最終的なＭＶ精度は変化させず、即ち記憶されるべき動きベクトルの精度と同じに維持されることが提案される。
（ａ）一例において、最終ＭＶ精度は、１／１６画素または１／８画素に設定されてもよい。
（ｂ）一例において、信号通知されたＭＶＤは、まずスケーリングされ、次にＭＶＰに加えられ、１つのブロックのための最終ＭＶを形成する。
（ａ）一例において、最終ＭＶ精度は、１／１６画素または１／８画素に設定されてもよい。
（ｂ）一例において、信号通知されたＭＶＤは、まずスケーリングされ、次にＭＶＰに加えられ、１つのブロックのための最終ＭＶを形成する。
【0146】
例２ まず、近傍のブロック（例えば、空間的または時間的）またはデフォルトＭＶＰから直接導出されたＭＶＰを修正し、次に、信号通知されたＭＶＤに加えて、（現在の）ブロックのための最終ＭＶを形成することができる。
（ａ）代替的に、ＭＶＰの修正を適用するかどうか、およびどのように適用するかは、Ｐｒｅｃの異なる値ごとに異なってもよい。
（ｂ）一例において、Ｐｒｅｃが１よりも大きい（すなわち、ＭＶＤが分数精度である）場合、近傍のＭＶの精度は変更されず、スケーリングは実行されない。
（ｃ）一例において、Ｐｒｅｃが１に等しい（すなわち、ＭＶＤが１画素の精度を有する）場合、ＭＶ予測子（すなわち、近傍のブロックのＭＶ）をスケーリングする必要がある。
（ｄ）一例において、Ｐｒｅｃが１よりも小さい（すなわち、ＭＶＤが４画素精度である）場合、ＭＶ予測子（すなわち、近傍のブロックのＭＶ）をスケーリングする必要がある。
（ａ）代替的に、ＭＶＰの修正を適用するかどうか、およびどのように適用するかは、Ｐｒｅｃの異なる値ごとに異なってもよい。
（ｂ）一例において、Ｐｒｅｃが１よりも大きい（すなわち、ＭＶＤが分数精度である）場合、近傍のＭＶの精度は変更されず、スケーリングは実行されない。
（ｃ）一例において、Ｐｒｅｃが１に等しい（すなわち、ＭＶＤが１画素の精度を有する）場合、ＭＶ予測子（すなわち、近傍のブロックのＭＶ）をスケーリングする必要がある。
（ｄ）一例において、Ｐｒｅｃが１よりも小さい（すなわち、ＭＶＤが４画素精度である）場合、ＭＶ予測子（すなわち、近傍のブロックのＭＶ）をスケーリングする必要がある。
【0147】
例３ 一例において、ＭＶＤ信号の精度が記憶されたＭＶの精度と同じである場合、アフィンＭＶを再構築した後、スケーリングは必要とされず、そうでない場合、ＭＶは、信号通知されたＭＶＤの精度で再構成され、その後、記憶されたＭＶの精度にスケーリングされる。
【0148】
例４ 一例において、通常インターモードおよびＡＦ＿ＩＮＴＥＲモードは、上述された異なる例に基づいて実装形態を選択してもよい。
【0149】
例５ 一例において、アフィンモードのためのＭＶ／ＭＶＤ精度を示すための構文要素（または２ビット以上のビット、例えば２ビットを含むフィールド）が、以下の意味論で信号通知されてもよい。
（ａ）一例において、０、１、および２に等しい構文要素は、それぞれ、１／４画素、１／１６画素、および１画素のＭＶ精度を示す。
（ｂ）あるいは、アフィンモードにおいて、０、１、および２に等しい構文要素は、それぞれ１／４画素、１画素、および１／１６画素のＭＶ精度を示す。
（ｃ）あるいは、アフィンモードにおいて、０、１、および２に等しい構文要素は、それぞれ１／１６画素、１／４画素、および１画素のＭＶ精度を示す。
（ａ）一例において、０、１、および２に等しい構文要素は、それぞれ、１／４画素、１／１６画素、および１画素のＭＶ精度を示す。
（ｂ）あるいは、アフィンモードにおいて、０、１、および２に等しい構文要素は、それぞれ１／４画素、１画素、および１／１６画素のＭＶ精度を示す。
（ｃ）あるいは、アフィンモードにおいて、０、１、および２に等しい構文要素は、それぞれ１／１６画素、１／４画素、および１画素のＭＶ精度を示す。
【0150】
例６ 一例において、アフィンモードのためにＡＭＶＲを有効化するかまたは無効化するかは、ＳＰＳ、ＰＰＳ、ＶＰＳ、シーケンス／ピクチャ／スライスヘッダ／タイル等において信号通知されてもよい。
【0151】
例７ 一例において、許可されたＭＶ／ＭＶＤ精度の指示は、ＳＰＳ、ＰＰＳ、ＶＰＳ、シーケンス／ピクチャ／スライスヘッダ／タイル等において信号通知されてもよい。
（ａ）選択されたＭＶＤ精度の指示は、各符号化ツリーユニット（ＣＴＵ）および／または各領域に信号通知されてもよい。
（ｂ）許容されるＭＶ／ＭＶＤ精度のセットは、現在のブロックの符号化モード（例えば、アフィンまたは非アフィン）に依存し得る。
（ｃ）許容されるＭＶ／ＭＶＤ精度のセットは、スライスタイプ／時間層インデックス／低遅延チェックフラグに依存し得る。
（ｄ）許容されるＭＶ／ＭＶＤ精度のセットは、現在のブロックまたは近傍のブロックのブロックサイズおよび／またはブロック形状に依存し得る。
（ｅ）許容されるＭＶ／ＭＶＤ精度のセットは、復号化ピクチャバッファに記憶されるべきＭＶの精度に依存し得る。
（ａ）選択されたＭＶＤ精度の指示は、各符号化ツリーユニット（ＣＴＵ）および／または各領域に信号通知されてもよい。
（ｂ）許容されるＭＶ／ＭＶＤ精度のセットは、現在のブロックの符号化モード（例えば、アフィンまたは非アフィン）に依存し得る。
（ｃ）許容されるＭＶ／ＭＶＤ精度のセットは、スライスタイプ／時間層インデックス／低遅延チェックフラグに依存し得る。
（ｄ）許容されるＭＶ／ＭＶＤ精度のセットは、現在のブロックまたは近傍のブロックのブロックサイズおよび／またはブロック形状に依存し得る。
（ｅ）許容されるＭＶ／ＭＶＤ精度のセットは、復号化ピクチャバッファに記憶されるべきＭＶの精度に依存し得る。
【0152】
（ｉ）一例において、記憶されたＭＶがＸ画素（Ｘ－ｐｅｌ）である場合、許容されるＭＶ／ＭＶＤ精度セットは、少なくともＸ画素（Ｘ－ｐｅｌ）を有してもよい。
【0153】
上述された例は、以下に説明される方法、例えば、方法２２００および２３００に関連して組み込まれてもよく、方法２２００および２３００は、ビデオデコーダまたはビデオエンコーダにおいて実装されてもよい。
【0154】
図２２は、映像復号化のための例示的な方法のフローチャートを示す。方法２２００は、ステップ２２１０において現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換するために、現在の映像ブロックに関連付けられた各動きベクトルの解像度を適宜選択する符号化ツールを使用して、精度が現在の映像ブロックの記憶された動きベクトルの精度と同一である最終的動きベクトルを判定することを含む。
【0155】
方法２２００は、ステップ２２２０において、最終的動きベクトルに基づいて、ビットストリーム表現と現在の映像ブロックとの間で変換を行うことを含む。
【0156】
図２３は、映像復号化のための別の例示的な方法のフローチャートを示す。方法２３００は、ステップ２３１０において、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換するために、現在の映像ブロックに関連付けられた各動きベクトルの解像度を適宜選択する符号化ツールを使用して、最終的動きベクトルを判定することであって、現在の映像ブロックは、アフィンモードで符号化されており、ビットストリーム表現は、現在の映像ブロックに関連付けられた動きベクトルまたは動きベクトルの差の精度を示す２つ以上のビットを含むフィールドを含む、判定することを含む。
【0157】
方法２３００は、ステップ２３２０において、最終的動きベクトルに基づいて、ビットストリーム表現と現在の映像ブロックとの間で変換を行うことを含む。
【0158】
いくつかの実施形態において、以下の技術的解決策を実装することができる。
【0159】
Ａ１．映像処理のための方法（例えば、図２２の方法２２００）であって、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換するために、現在の映像ブロックに関連付けられた各動きベクトルの解像度を適宜選択する符号化ツールを使用して、精度が現在の映像ブロックの格納された動きベクトルの精度と同一である最終的動きベクトルを判定すること（２２１０）と、最終的動きベクトルに基づいて、ビットストリーム表現と現在の映像ブロックとの間で変換を行うこと（２２２０）、とを含む方法。
【0160】
Ａ２．最終的動きベクトルの精度は、１／１６画素である、解決策Ａ１に記載の方法。
【0161】
Ａ３．最終的動きベクトルの精度は、１／８画素である、解決策Ａ１に記載の方法。
【0162】
Ａ４．最終的動きベクトルは、動きベクトル差（ＭＶＤ）に動きベクトル予測子（ＭＶＰ）を加えることに基づく、解決策Ａ１～Ａ３のいずれかに記載の方法。
【0163】
Ａ５．ＭＶＤにＭＶＰを加える前に、ＭＶＤをスケーリングする、解決策Ａ４に記載の方法。
【0164】
Ａ６．ＭＶＰは、空間的または時間的に近傍のブロックから導出される、解決策Ａ４に記載の方法。
【0165】
Ａ７．ＭＶＰがデフォルトＭＶＰである、解決策Ａ４に記載の方法。
【0166】
Ａ８．ＭＶＰをＭＶＤに添加する前に、ＭＶＰを修正する、解決策Ａ６またはＡ７に記載の方法。
【0167】
Ａ９．ＭＶＰを修正することは、ＭＶＤの精度に基づく、解決策Ａ７に記載の方法。
【0168】
Ａ１０．ＭＶＤの精度が分数であると判定されると、ＭＶＰのためのスケーリング演算をバイパスすることをさらに含む、解決策Ａ９に記載の方法。
【0169】
Ａ１１．ＭＶＤの精度が１以下であると判定されると、ＭＶＰをスケーリングすることをさらに含む、解決策Ａ９に記載の方法。
【0170】
Ａ１２．ＭＶＤの精度が記憶された動きベクトルの精度と同一であると判定されると、最終的動きベクトルのためにスケーリング演算をバイパスすることをさらに含む、解決策Ａ４に記載の方法。
【0171】
Ａ１３．ＭＶＤの精度が記憶された動きベクトルの精度と異なると判定された場合、最終的動きベクトルをスケーリングすることをさらに含む、解決策Ａ４に記載の方法。
【0172】
Ａ１４．現在の映像ブロックは、非アフィンインターモードまたはアフィンインターモードで符号化される、解決策Ａ１～Ａ１３のいずれかに記載の方法。
【0173】
Ａ１５．各動きベクトルに対して解像度を適宜選択する符号化ツールは、適応動きベクトル解像度（ＡＭＶＲ）ツールである、解決策Ａ１～Ａ１４のいずれかに記載の方法。
【0174】
Ａ１６．変換は、ビットストリーム表現から現在の映像ブロックを生成する、解決策Ａ１～Ａ１５のいずれかに記載の方法。
【0175】
Ａ１７．変換は、現在の映像ブロックからビットストリーム表現を生成する、解決策Ａ１～Ａ１５のいずれかに記載の方法。
【0176】
Ａ１８．処理装置と、命令を搭載した非一時的メモリとを備える、映像システムにおける装置であって、処理装置が実行する前記命令は、前記処理装置に、解決策Ａ１～Ａ１７のいずれかに記載の方法を実装させる映像システムにおける装置。
【0177】
Ａ１９．非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、解決策Ａ１～Ａ１７のいずれかに記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
【0178】
上記解決策に加え、いくつかの実施形態において、以下の解決策を実装することができる。
【0179】
Ｂ１．現在の映像ブロックと、現在の映像ブロックの、ビットストリーム表現との間の変換に関して、現在の映像ブロックに関連付けられた各動きベクトルの解像度を適宜選択する符号化ツールを使用して、最終的動きベクトルを判定することであって、現在の映像ブロックは、アフィンモードで符号化されており、ビットストリーム表現は、現在の映像ブロックに関連付けられた動きベクトルまたは動きベクトルの差の精度を示す２つ以上のビットを含むフィールドを含む、判定することと、最終的動きベクトルに基づいて、ビットストリーム表現と現在の映像ブロックとの間の変換を実行することと、を含む、映像処理方法。
【0180】
Ｂ２．フィールドの異なる値は、動きベクトルまたは動きベクトルの差の精度が、１／４画素、１／１６画素または１画素であることを示す、解決策Ｂ１に記載の方法。
【0181】
Ｂ３．フィールドの値が０、１または２であることは、動きベクトルの精度がそれぞれ１／４画素、１／１６画素および１画素であることに対応する、解決Ｂ２に記載の方法。
【0182】
Ｂ４．フィールドの値が０、１または２であることは、動きベクトルの精度がそれぞれ１／４画素、１画素および１／１６画素であることに対応する、解決Ｂ２に記載の方法。
【0183】
Ｂ５．フィールドの値が０、１または２であることは、動きベクトルの精度がそれぞれ１／１６画素、１／４画素および１画素であることに対応する、解決策Ｂ２に記載の方法。
【0184】
Ｂ６．シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、映像パラメータセット（ＶＰＳ）、スライスヘッダ、タイルヘッダ、シーケンスヘッダ、またはピクチャヘッダにおける信号通知に基づいて、アフィンモードのための符号化ツールを有効にする、解決策Ｂ１～Ｂ５のいずれかに記載の方法。
【0185】
Ｂ７．シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、映像パラメータセット（ＶＰＳ）、スライスヘッダ、タイルヘッダ、シーケンスヘッダ、またはピクチャヘッダにおいて、アフィンモードまたは非アフィンモードにおける動きベクトルまたは動きベクトル差の精度のための１つの許容値のセットを信号通知する、解決策Ｂ１～Ｂ５のいずれかに記載の方法。
【0186】
Ｂ８．現在のブロックの各符号化ツリーユニット（ＣＴＵ）に前記許容値のセットを信号通知する、解決策Ｂ７に記載の方法。
【0187】
Ｂ９．前記許容値のセットは、現在のブロックの符号化モードまたは寸法に基づく、解決策Ｂ７に記載の方法。
【0188】
Ｂ１０．前記符号化モードは、アフィンモードまたは非アフィンモードである、解決策Ｂ９に記載の方法。
【0189】
Ｂ１１．前記許容値のセットは、スライスタイプ、時間層インデックス、または低遅延チェックフラグに基づく、解決策Ｂ７に記載の方法。
【0190】
Ｂ１２．前記許容値のセットは、復号化ピクチャバッファに記憶される動きベクトルの精度に基づく、解決策Ｂ７に記載の方法。
【0191】
Ｂ１３．各動きベクトルの解像度を適宜選択する符号化ツールが、適応動きベクトル解像度（ＡＭＶＲ）ツールである、解決策Ｂ１～Ｂ１２のいずれかに記載の方法。
【0192】
Ｂ１４．変換は、ビットストリーム表現から現在の映像ブロックを生成する、解決策Ｂ１～Ｂ１３のいずれかに記載の方法。
【0193】
Ｂ１５．変換は、現在の映像ブロックからビットストリーム表現を生成する、解決策Ｂ１～Ｂ１３のいずれかに記載の方法。
【0194】
Ｂ１６．処理装置と、命令を搭載した非一時的メモリとを備える、映像システムにおける装置であって、処理装置が実行する前記命令は、前記処理装置に、解決策Ｂ１～Ｂ１５のいずれかに記載の方法を実装させることを特徴とする装置。
【0195】
Ｂ１７．非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、前記コンピュータプログラム製品は、解決策Ｂ１～Ｂ１５のいずれか１項に記載の方法を実行するためのプログラムコードを含む。
【0196】
５． 開示される技術の例示的な実装形態
図２４は、映像処理装置２４００のブロック図である。装置２４００は、本明細書で説明される方法の１つ以上を実装するために使用してもよい。装置２４００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ）受信機等に実施されてもよい。装置２４００は、１つ以上の処理装置２４０２と、１つ以上のメモリ２４０４と、映像処理ハードウェア２４０６と、を含んでもよい。処理装置２４０２は、本明細書に記載の１つ以上の方法（方法２２００および２３００を含むが、これらに限定されない）を実装するように構成されてもよい。メモリ（メモリ）２４０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア２４０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
図２４は、映像処理装置２４００のブロック図である。装置２４００は、本明細書で説明される方法の１つ以上を実装するために使用してもよい。装置２４００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ）受信機等に実施されてもよい。装置２４００は、１つ以上の処理装置２４０２と、１つ以上のメモリ２４０４と、映像処理ハードウェア２４０６と、を含んでもよい。処理装置２４０２は、本明細書に記載の１つ以上の方法（方法２２００および２３００を含むが、これらに限定されない）を実装するように構成されてもよい。メモリ（メモリ）２４０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア２４０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
【0197】
いくつかの実施形態において、映像符号化方法は、図２４を参照して説明したように、ハードウェアプラットフォームに実装される装置を用いて実施されてもよい。
【0198】
図２５は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム２５００を示すブロック図である。様々な実装形態は、システム２５００のモジュールの一部または全部を含んでもよい。システム２５００は、映像コンテンツを受信するための入力ユニット２５０２を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、８または１０ビットの多成分の画素値で受信されても、あるいは圧縮または符号化フォーマットで受信されてもよい。入力ユニット２５０２は、ネットワークインターフェース、周辺バスインターフェースユニット、または記憶インターフェースユニットを表してもよい。ネットワークインターフェースユニットの例は、イーサネット（登録商標）、パッシブ光ネットワーク（ＰＯＮ）等の有線インターフェースユニット、およびＷｉ－Ｆｉまたはセルラーインターフェースユニット等の無線インターフェースユニットを含む。
【0199】
システム２５００は、本明細書に記載される様々な符号化または符号化方法を実装することができる符号化モジュール２５０４を含んでもよい。符号化モジュール２５０４は、入力ユニット２５０２からの映像の平均ビットレートを符号化モジュール２５０４の出力に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール２５０４の出力は、モジュール２５０６によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット２５０２において受信された、記憶されたまたは通信された映像のビットストリーム（または符号化）表現は、モジュール２５０８によって使用されて、表示インターフェースユニット２５１０に送信される画素値または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成するプロセスは、映像展開と呼ばれることがある。さらに、特定の映像処理動作を「符号化」動作またはツールと呼ぶが、符号化ツールまたは動作は、エンコーダおよびそれに対応する、復号化の結果を逆にする復号化ツールまたは動作が、デコーダによって行われることが理解されよう。
【0200】
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス（ＵＳＢ）または高精細マルチメディアインターフェース（ＨＤＭＩ（登録商標））またはディスプレイポート等を含んでもよい。ストレージインターフェースユニットの例は、シリアル・アドバンスドテクノロジーアタッチメント（ＳＡＴＡ）、ＰＣＩ、ＩＤＥインターフェースユニット等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および／または映像表示を行うことができる他のデバイス等の様々な電子機器に実施されてもよい。
【0201】
以上、説明の目的で本開示の技術の特定の実施形態を説明したが、本発明の範囲から逸脱することなく様々な修正が可能であることは、理解されるであろう。従って、本開示の技術は、添付の特許請求の範囲による場合を除き、限定されない。
【0202】
本特許明細書に記載された主題および機能操作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、様々なシステム、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの１つ以上の組み合わせで実施してもよい。本明細書に記載された主題の実施形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実行されるため、またはデータ処理装置の操作を制御するために、有形で非可搬性のコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、記憶装置、機械可読伝播信号をもたらす物質の組成物、またはこれらの１つ以上の組み合わせであってもよい。「データ処理ユニット」または「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置若しくはコンピュータを含め、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１つ以上の組み合わせを構成するコードを含んでもよい。
【0203】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットを含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。１つのコンピュータプログラムを、１つのサイトに位置する１つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開可能である。
【0204】
本明細書に記載されたプロセスおよびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブル処理装置によって行うことができる。プロセスおよびロジックフローはまた、特別目的のロジック回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって実行することができ、装置はまた、特別目的のロジック回路として実装することができる。
【0205】
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上の処理装置を含む。一般的に、処理装置は、読み出し専用メモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するための処理装置と、命令およびデータを記憶するための１つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、および記憶装置を含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ記憶装置等の半導体記憶装置を含む。処理装置およびメモリは、専用ロジック回路によって補完されてもよく、または専用ロジック回路に組み込まれてもよい。
【0206】
本明細書は、図面とともに、例示のみを目的とするものであり、例示的とは例を意味することが意図される。本明細書において、「または」の使用は、文脈からそうでないことが明確に示されていない限り、「および／または」を含むことが意図される。
【0207】
本特許明細書は多くの詳細を含むが、これらは、任意の発明の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許明細書において別の実施形態の文脈で説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、単一の例の文脈で説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブ組み合わせまたはサブ組み合わせのバリエーションに向けられてもよい。
【0208】
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で実行されること、または示された全ての操作が実行されることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムモジュールの分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
【0209】
いくつかの実装形態および例のみが記載されており、本特許明細書に記載され図示されている内容に基づいて、他の実施形態、拡張および変形が可能である。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18A】
【図18B】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
