知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-02
(45)【発行日】2024-07-10
(54)【発明の名称】ビデオ符号化の動きベクトル予測子インデックス符号化
(51)【国際特許分類】
H04N 19/52 20140101AFI20240703BHJP
H04N 19/91 20140101ALI20240703BHJP
【ＦＩ】
H04N19/52
H04N19/91
【請求項の数】
17
(21)【出願番号】P 2023020238
(22)【出願日】2023-02-13
(62)【分割の表示】P 2021507481の分割
【原出願日】2019-09-19
(65)【公開番号】P2023053273
(43)【公開日】2023-04-12
【審査請求日】2023-02-13
(31)【優先権主張番号】1815443.5
(32)【優先日】2018-09-21
(33)【優先権主張国・地域又は機関】GB
(31)【優先権主張番号】1815564.8
(32)【優先日】2018-09-24
(33)【優先権主張国・地域又は機関】GB
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】ラロシュ， ギローム
(72)【発明者】
【氏名】ジスケ， クリストフ
(72)【発明者】
【氏名】オンノ， パトリス
(72)【発明者】
【氏名】タケ， ジョナサン
【審査官】田中 純一
(56)【参考文献】
【文献】国際公開第２０１３／０１８３６９（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１５／０２６４３９０（ＵＳ，Ａ１）
【文献】特表２０１９－５１９９８０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０３３２０９５（ＵＳ，Ａ１）
【文献】Jianle Chen, et.al.，Algorithm Description of Joint Exploration Test Model 7 (JEM 7) [online]， JVET-G JVET-G1001-v1，ITU-T インターネット＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/7_Torino/wg11/JVET-G1001-v1.zip＞＜JVET-G1001-v1.docx＞，2017年08月19日，pp.i-iv, pp.1-44
【文献】Haitao Yang, et.al.，Description of CE4: Inter prediction and motion vector coding [online]， JVET-J JVET-J1024，ITU-T インターネット＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/10_San%20Diego/wg11/JVET-J1024-v1.zip＞＜JVET-J1024.docx＞，2018年04月20日，pp.1-44
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００ － １９／９８
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
サブブロックコロケーテッド時間的予測のための候補と、サブブロックアフィン予測のための候補とを含むことが可能な複数の動きベクトル予測子候補のリストを生成することと、ＣＡＢＡＣ復号を用いて、動きベクトル予測子インデックスを復号することと、
当該動きベクトル予測子インデックスを用いて、前記リスト内の前記複数の動きベクトル予測子候補のうちの１つを特定することと、を有し、
前記動きベクトル予測子インデックスの最初のビットはコンテキスト変数を用いたＣＡＢＡＣ復号により復号され、前記動きベクトル予測子インデックスの前記最初のビットを除く前記動きベクトル予測子インデックスの全てのビットはバイパス復号され、
前記リストに含まれることが可能な動きベクトル予測子候補の最大候補数は、前記サブブロックアフィン予測が有効化されているかに依存する、
ことを特徴とする方法。
【請求項2】
前記サブブロックコロケーテッド時間的予測は、画像中の現在のブロックと同一位置の他の画像中のブロックにおける複数のサブブロックの各々の動き情報を用いることが可能である、
ことを特徴とする請求項１に記載の方法。
【請求項3】
前記他の画像中のブロックにおける前記複数のサブブロックは、当該他の画像中の当該ブロックを４分割することで得られる複数のサブブロックである、
ことを特徴とする請求項２に記載の方法。
【請求項4】
前記サブブロックアフィン予測は、２つまたは３つの動き情報を用いて、現在のブロックにおける複数のサブブロックの各々の動き情報を導出することが可能である、
ことを特徴とする請求項１に記載の方法。
【請求項5】
前記サブブロックアフィン予測で動き情報が導出される複数のサブブロックの各々は４×４のサイズである、
ことを特徴とする請求項４に記載の方法。
【請求項6】
前記サブブロックアフィン予測は、現在のブロックの左上位置に対応する動き情報と、当該現在のブロックの右上位置に対応する動き情報と、を用いて、当該現在のブロックにおける複数のサブブロックの各々の動き情報を導出することが可能である、
ことを特徴とする請求項１に記載の方法。
【請求項7】
前記リストに含まれることが可能な動きベクトル予測子候補の最大候補数は、更に、ＳＰＳレベルで前記サブブロックコロケーテッド時間的予測が有効化されているかに依存する、
ことを特徴とする請求項１に記載の方法。
【請求項8】
前記複数の動きベクトル予測子候補はマージ候補であり、前記動きベクトル予測子インデックスはマージインデックスである、ことを特徴とする請求項１に記載の方法。
【請求項9】
サブブロックコロケーテッド時間的予測のための候補と、サブブロックアフィン予測のための候補とを含むことが可能な複数の動きベクトル予測子候補を含むリストを生成する生成手段と、ＣＡＢＡＣ復号を用いて、動きベクトル予測子インデックスを復号する復号手段と、
当該動きベクトル予測子インデックスを用いて、前記リスト内の複数の動きベクトル予測子候補のうちの１つを特定する特定手段と、を有し、
前記動きベクトル予測子インデックスの最初のビットはコンテキスト変数を用いたＣＡＢＡＣ復号により復号され、前記動きベクトル予測子インデックスの前記最初のビットを除く前記動きベクトル予測子インデックスの全てのビットはバイパス復号され、
前記リストに含まれることが可能な動きベクトル予測子候補の最大候補数は、前記サブブロックアフィン予測が有効化されているかに依存する、
ことを特徴とする復号装置。
【請求項10】
前記サブブロックコロケーテッド時間的予測は、画像中の現在のブロックと同一位置の他の画像中のブロックにおける複数のサブブロックの各々の動き情報を用いることが可能である、
ことを特徴とする請求項９に記載の復号装置。
【請求項11】
前記他の画像中のブロックにおける前記複数のサブブロックは、当該他の画像中の当該ブロックを４分割することで得られる複数のサブブロックである、
ことを特徴とする請求項１０に記載の復号装置。
【請求項12】
前記サブブロックアフィン予測は、２つまたは３つの動き情報を用いて、現在のブロックにおける複数のサブブロックの各々の動き情報を導出することが可能である、
ことを特徴とする請求項９に記載の復号装置。
【請求項13】
前記サブブロックアフィン予測で動き情報が導出される複数のサブブロックの各々は４×４のサイズである、
ことを特徴とする請求項１２に記載の復号装置。
【請求項14】
前記サブブロックアフィン予測は、現在のブロックの左上位置に対応する動き情報と、当該現在のブロックの右上位置に対応する動き情報と、を用いて、当該現在のブロックにおける複数のサブブロックの各々の動き情報を導出することが可能である、
ことを特徴とする請求項９に記載の復号装置。
【請求項15】
前記リストに含まれることが可能な動きベクトル予測子候補の最大候補数は、更に、ＳＰＳレベルで前記サブブロックコロケーテッド時間的予測が有効化されているかに依存する、
ことを特徴とする請求項９に記載の復号装置。
【請求項16】
前記複数の動きベクトル予測子候補はマージ候補であり、前記動きベクトル予測子インデックスはマージインデックスである、ことを特徴とする請求項９に記載の復号装置。
【請求項17】
コンピュータ又はプロセッサに請求項１乃至８のいずれか１項に記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ符号化及び復号化に関する。
【背景技術】
【0002】
最近、共同ビデオ専門家チーム（ＪＶＥＴ）は、すなわちＭＰＥＧとＩＴＵ－Ｔスタディグループ１６のＶＣＥＧによって形成された共同チーム、多用途ビデオ符号化（ＶＶＣ）と呼ばれる新しいビデオ符号化規格の研究を開始した。ＶＶＣの目標は、既存のＨＥＶＣ規格（すなわち、典型的には以前の２倍）を超える圧縮性能の著しい改良を提供すること、及び２０２０年に完了することである。主な対象アプリケーション及びサービスは３６０度及びハイダイナミックレンジ（ＨＤＲ）ビデオを含むが、これに限定されない。全体的に、ＪＶＥＴは、独立した試験所により実施された正式な主観的試験を用いて、３２団体からの応答を評価した。いくつかの提案は、ＨＥＶＣを使用する場合と比較して、典型的には４０％以上の圧縮効率ゲインを実証した。特定の有効性が、超高精細（ＵＨＤ）ビデオの試験材料に関して示された。したがって、我々は、最終的な規格の目標とする５０％をはるかに超える圧縮効率ゲインを予想することができる。
【0003】
ＪＶＥＴ探索モデル（ＪＥＭ）は、全てのＨＥＶＣツールを使用する。ＨＥＶＣには存在しない更なるツールは、動き補償を適用する時に、「アフィン動きモード」を使用することである。ＨＥＶＣにおける動き補償は、平行移動に限定されるが、現実的には例えばズームイン／アウト、回転、遠近感の運動、及び他の不規則な動作のような多くの種類の動きがある。アフィン動きモードを利用する場合、そのような動きの形態をより正確に予測しようとするために、より複雑な変換がブロックに適用される。
【0004】
ＨＥＶＣに存在しない別のツールは、オルタナティブ・テンポラル・モーション・ベクタ・プレディクション（ＡＴＭＶＰ）を使用することである。オルタナティブ・テンポラル・モーション・ベクタ・プレディクション（ＡＴＭＶＰ）は、特定の動き補償である。経時的基準フレームからの現在のブロックについて１つの動き情報のみを考慮する代わりに、それぞれ配置されたブロックの各動き情報が考慮される。したがって、この時間的動きベクトル予測は、各サブブロックの関連する動き情報を有する現在のブロックの分割を与える。現在のＶＴＭ参照ソフトウェアでは、ＡＴＭＶＰがマージ候補のリストに挿入されたマージ候補として伝達される。ＡＴＭＶＰが、ＳＰＳレベルで有効化されると、マージ候補の最大個数は１だけ増加される。従って、このモードが無効化される場合、６個の候補が５個の代わりに考慮される。
【発明の概要】
【0005】
これら、及び後述する他のツールは、マージ候補のリストの中からどのマージ候補が選択されるかを信号伝達するために使用されるマージインデックスの符号化の符号化効率及び複雑さに関する問題を引き起こしている。したがって、上記の問題の少なくとも１つの解決方法が望ましい。
【0006】
本発明の第１の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、ＡＴＭＶＰ候補を含む動きベクトル予測子候補のリストを生成することと、前記リスト内の動きベクトル予測子候補のうちの１つを選択することと、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックス（マージインデックス）を生成することと、前記動きベクトル予測子インデックスの１つ以上のビットが、バイパスＣＡＢＡＣ符号化されることを含む、ことを特徴とする方法が提供される。
【0007】
一実施形態では、前記動きベクトル予測子インデックスの第１番目のビットを除く全てのビットは、バイパスＣＡＢＡＣ符号化される。
【0008】
本発明の第２の態様によれば、動きベクトル予測子インデックスを復号化する方法であって、
ＡＴＭＶＰ候補を含む動きベクトル予測子候補のリストを生成することと、
ＣＡＢＡＣ復号化を使用して前記動きベクトル予測子インデックスを復号化することと、動きベクトル予測子インデックスの１つ以上のビットが、バイパスＣＡＢＡＣ復号化され、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用することを含む、ことを特徴とする方法が提供される。
ＡＴＭＶＰ候補を含む動きベクトル予測子候補のリストを生成することと、
ＣＡＢＡＣ復号化を使用して前記動きベクトル予測子インデックスを復号化することと、動きベクトル予測子インデックスの１つ以上のビットが、バイパスＣＡＢＡＣ復号化され、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用することを含む、ことを特徴とする方法が提供される。
【0009】
一実施形態では、前記動きベクトル予測子インデックスの第１番目のビットを除く全てのビットが、バイパスＣＡＢＡＣ復号化される。
【0010】
本発明の第３の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、ＡＴＭＶＰ候補を含む動きベクトル予測子候補のリストを生成する手段と、前記リスト内の動きベクトル予測子候補のうちの１つを選択する手段と、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックス（マージインデックス）を生成する手段と、前記動きベクトル予測子インデックスの１つ以上のビットが、バイパスＣＡＢＡＣ符号化されることを含む、ことを特徴とする装置が提供される。
【0011】
本発明の第４の態様によれば、動きベクトル予測子インデックスを復号化する装置であって、ＡＴＭＶＰ候補を含む動きベクトル予測子候補のリストを生成する手段と、ＣＡＢＡＣ復号化を使用して、前記動きベクトル予測子インデックスを復号化する手段と、前記動きベクトル予測子インデックスの１つ以上のビットは、バイパスＣＡＢＡＣ復号化され、リスト内の前記動きベクトル予測子のうちの１つを識別するために、前記復号化された動きベクトル予測子インデックスを使用する手段を含む、ことを特徴とする装置が提供される。
【0012】
本発明の第５の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、動きベクトル予測子候補のリストを生成することと、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択することと、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成することを含み、前記動きベクトル予測子インデックスの２以上のビットは同じコンテキストを共有する、ことを特徴とする方法が提供される。
【0013】
一実施形態では、前記動きベクトル予測子インデックスの全てのビットは、前記同じコンテキストを共有する。
【0014】
本発明の第６の態様によれば、動きベクトル予測子インデックスを復号化する方法であって、動きベクトル予測子候補のリストを生成することと、ＣＡＢＡＣ復号化を使用して、前記動きベクトル予測子インデックスを復号化することと、前記動きベクトル予測子インデックスの２以上のビットは同じコンテキストを共有することと、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用することを含む、ことを特徴とする方法が提供される。
【0015】
一実施形態では、前記動きベクトル予測子インデックスの全てのビットは、前記同じコンテキストを共有する。
【0016】
本発明の第７の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択する手段と、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段を含み、前記動きベクトル予測子インデックスの２以上のビットは同じコンテキストを共有する、ことを特徴とする装置が提供される。
【0017】
本発明の第８の態様によれば、動きベクトル予測子インデックスを復号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、ＣＡＢＡＣ復号化を使用して、前記動きベクトル予測子インデックスを復号化する手段と、前記動きベクトル予測子インデックスの２以上のビットは同じコンテキストを共有し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用する手段を含む、ことを特徴とする装置が提供される。
【0018】
本発明の第９の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、動きベクトル予測子候補のリストを生成することと、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択することと、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成することを含み、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、前記現在のブロックに隣接する少なくとも１つの動きベクトル予測子インデックスに依存する、ことを特徴とする方法が提供される。
【0019】
一実施形態では、前記動きベクトル予測子インデックスの少なくとも１つの前記コンテキスト変数は、少なくとも２つの隣接するブロックの前記それぞれの動きベクトル予測子インデックスに依存する。
【0020】
別の実施形態では、動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、現在のブロックの左にある左隣接ブロックの動きベクトル予測子インデックスと、現在のブロックの上にある上隣接ブロックの動きベクトル予測子インデックスに依存する。
【0021】
別の実施形態では、左隣接ブロックはＡ２であり、上隣接ブロックはＢ３である。
【0022】
別の実施形態では、左隣接ブロックはＡ１であり、上隣接ブロックはＢ１である。
【0023】
別の実施形態では、コンテキスト変数は、３つの異なる可能な値を有する。
【0024】
別の実施形態は、少なくとも１つの隣接ブロックの動きベクトル予測子インデックスと、現在のブロックの動きベクトル予測子インデックスのインデックス値を比較することと、比較結果に基づいて前記コンテキスト変数を設定することを含む。
【0025】
別の実施形態は、少なくとも１つの隣接ブロックの動きベクトル予測子インデックスと、現在のブロックの動きベクトル予測子インデックス内の１つ又は前記ビットのビット位置を表すパラメータと比較することと、比較結果に基づいて前記コンテキスト変数を設定することを含む。
【0026】
さらに別の実施形態は、第１の比較を行うことと、第１の隣接ブロックの動きベクトル予測子インデックスを、現在のブロックの動きベクトル予測子インデックス内の１つ又は前記ビットのビット位置を表すパラメータと比較することと、第２の比較を行うことと、第２の隣接ブロックの動きベクトル予測子インデックスを前記パラメータと比較することと、第１及び第２の比較の結果に依存して前記コンテキスト変数を設定することを含む。
【0027】
本発明の第１０の態様によれば、動きベクトル予測子インデックスを復号化する方法であって、動きベクトル予測子候補のリストを生成することと、ＣＡＢＡＣ復号化を使用して、前記動きベクトル予測子インデックスを復号化することと、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、前記現在のブロックに隣接する少なくとも１つのブロックの動きベクトル予測子インデックスに依存し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用することを含む、ことを特徴とする方法が提供される。
【0028】
一実施形態では、動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が少なくとも２つの隣接ブロックのそれぞれの動きベクトル予測子インデックスに依存する。
【0029】
別の実施形態では、動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、現在のブロックの左の左隣接ブロックの動きベクトル予測子インデックスと、現在のブロックの上側の隣接ブロックの動きベクトル予測子インデックスに依存する。
【0030】
別の実施形態では、左隣接ブロックはＡ２であり、上隣接ブロックはＢ３である。別の実施形態では、左隣接ブロックはＡ１であり、上隣接ブロックはＢ１である。別の実施形態では、コンテキスト変数が３つの異なる可能な値を有する。
【0031】
別の実施形態は、少なくとも１つの隣接ブロックの動きベクトル予測子インデックスを現在のブロックの動きベクトル予測子インデックスのインデックス値と比較することと、比較結果に依存して前記コンテキスト変数を設定することを含む。
【0032】
別の実施形態は、少なくとも１つの隣接ブロックの動きベクトル予測子インデックスを現在のブロックの動きベクトル予測子インデックス内の１つ又は前記ビットのビット位置を表すパラメータと比較することと、比較結果に依存して前記コンテキスト変数を設定することを含む。
【0033】
さらに別の実施形態は、第１の比較を行うことと、第１の隣接ブロックの動きベクトル予測子インデックスを、現在のブロックの動きベクトル予測子インデックス内の１つ又は前記ビットのビット位置を表すパラメータと比較することと、第２の比較を行うことと、第２の隣接ブロックの動きベクトル予測子インデックスを前記パラメータと比較することと、第１及び第２の比較の結果に依存して前記コンテキスト変数を設定することを含む。
【0034】
本発明の第１１の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択する手段と、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段と、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、前記現在のブロックに隣接する少なくとも１つのブロックの動きベクトル予測子インデックスに依存することを特徴とする装置が提供される。
【0035】
本発明の第１２の態様によれば、動きベクトル予測子インデックスを復号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、ＣＡＢＡＣ復号化を使用して、前記動きベクトル予測子インデックスを復号化する手段と、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、前記現在のブロックに隣接する少なくとも１つのブロックの動きベクトル予測子インデックスに依存し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用する手段を含む、ことを特徴とする装置が提供される。
【0036】
本発明の第１３の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、動きベクトル予測子候補のリストを生成することと、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択することと、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成することと、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、前記現在のブロックのスキップフラグに依存する、ことを特徴とする方法が提供される。
【0037】
本発明の第１４の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、動きベクトル予測子候補のリストを生成することと、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択することと、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成することと、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、別のパラメータ又は前記動きベクトル予測子インデックスの復号化の前に利用可能である前記現在のブロックのシンタックス要素に依存する、ことを特徴とする方法が提供される。
【0038】
本発明の第１５の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、動きベクトル予測子候補のリストを生成することと、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択することと、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成することと、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、別のパラメータ又は前記現在のブロックの複雑度の指標である前記現在のブロックのシンタックス要素に依存する、ことを特徴とする方法が提供される。
【0039】
本発明の第１６の態様によれば、動きベクトル予測子インデックスを復号化する方法であって、動きベクトル予測子候補のリストを生成することと、ＣＡＢＡＣ符号化を使用して、前記動きベクトル予測子インデックスを符号化することと、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、前記現在のブロックのスキップフラグに依存し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用することを含む、ことを特徴とする方法が提供される。
【0040】
本発明の第１７の態様によれば、動きベクトル予測子インデックスを復号化する方法であって、動きベクトル予測子候補のリストを生成することと、ＣＡＢＡＣ符号化を使用して、前記動きベクトル予測子インデックスを符号化することと、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、別のパラメータ又は前記動きベクトル予測子インデックスの復号化の前に利用可能である前記現在のブロックのシンタックス要素に依存し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用することを含む、ことを特徴とする方法が提供される。
【0041】
本発明の第１８の態様によれば、動きベクトル予測子インデックスを復号化する方法であって、動きベクトル予測子候補のリストを生成することと、ＣＡＢＡＣ符号化を使用して、前記動きベクトル予測子インデックスを符号化することと、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、別のパラメータ又は前記現在のブロックの複雑度の指標である前記現在のブロックのシンタックス要素に依存し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用することを含む、ことを特徴とする方法が提供される。
【0042】
本発明の第１９の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択する手段と、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段と、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、前記現在のブロックのスキップフラグに依存する、ことを特徴とする装置が提供される。
【0043】
本発明の第２０の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択する手段と、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段と、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、別のパラメータ又は前記動きベクトル予測子インデックスの復号化の前に利用可能である前記現在のブロックのシンタックス要素に依存する、ことを特徴とする装置が提供される。
【0044】
本発明の第２１の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択する手段と、ＣＡＢＡＣ符号化を使用して選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段と、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、別のパラメータ又は前記現在のブロックの複雑度の指標である前記現在のブロックのシンタックス要素に依存する、ことを特徴とする装置が提供される。
【0045】
本発明の第２２の態様によれば、動きベクトル予測子インデックスを復号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、ＣＡＢＡＣ符号化を使用して、前記動きベクトル予測子インデックスを復号化する手段と、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、前記現在のブロックのスキップフラグに依存し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用する手段を含む、ことを特徴とする装置が提供される。
【0046】
本発明の第２３の態様によれば、動きベクトル予測子インデックスを復号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、ＣＡＢＡＣ符号化を使用して、前記動きベクトル予測子インデックスを復号化する手段と、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、別のパラメータ又は前記動きベクトル予測子インデックスの復号化の前に利用可能である前記現在のブロックのシンタックス要素に依存し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用する手段を含む、ことを特徴とする装置が提供される。
【0047】
本発明の第２４の態様によれば、動きベクトル予測子インデックスを復号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、ＣＡＢＡＣ符号化を使用して、前記動きベクトル予測子インデックスを復号化する手段と、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、別のパラメータ又は前記現在のブロックの複雑度の指標である前記現在のブロックのシンタックス要素に依存し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用する手段を含む、ことを特徴とする装置が提供される。
【0048】
本発明の第２５の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、動きベクトル予測子候補のリストを生成することと、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択することと、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成することを含み、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、前記リスト内にアフィン動きベクトル予測子候補があれば依存する、ことを特徴とする方法が提供される。
【0049】
一実施形態では、コンテキスト変数が第１のアフィン動きベクトル予測子候補の前記リスト内の位置に依存する。
【0050】
本発明の第２６の態様によれば、動きベクトル予測子インデックスを復号化する方法であって、動きベクトル予測子候補のリストを生成することと、ＣＡＢＡＣ復号化を使用して、前記動きベクトル予測子インデックスを復号化することと、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、前記リスト内にアフィン動きベクトル予測子候補があれば依存し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用することを含む、ことを特徴とする方法が提供される。
【0051】
一実施形態では、コンテキスト変数が第１のアフィン動きベクトル予測子候補の前記リスト内の位置に依存する。
【0052】
本発明の第２７の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択する手段と、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段と、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、前記リスト内のアフィン動きベクトル予測子候補があれば依存する、ことを特徴とする装置が提供される。
【0053】
本発明の第２８の態様によれば、動きベクトル予測子インデックスを復号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、ＣＡＢＡＣ復号化を使用して、前記動きベクトル予測子インデックスを復号化する手段と、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、前記リスト内にアフィン動きベクトル予測子候補があれば依存し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用する手段を含む、ことを特徴とする装置が提供される。
【0054】
本発明の第２９の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、アフィン動きベクトル予測子候補を含む動きベクトル予測子候補のリストを生成することと、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択することと、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成することと、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、前記現在のブロックの及び／又は前記現在のブロックに隣接する少なくとも１つのブロックのアフィンフラグに依存する、ことを特徴とする方法が提供される。
【0055】
本発明の第３０の態様によれば、動きベクトル予測子インデックスを復号化する方法であって、アフィン動きベクトル予測子候補を含む動きベクトル予測子候補のリストを生成することと、ＣＡＢＡＣ復号化を使用して、前記動きベクトル予測子インデックスを復号化することと、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、前記現在のブロックの及び／又は前記現在のブロックに隣接する少なくとも１つのブロックのアフィンフラグに依存し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用することを含む、ことを特徴とする方法が提供される。
【0056】
本発明の第３１の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、アフィン動きベクトル予測子候補を含む動きベクトル予測子候補のリストを生成する手段と、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択する手段と、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段と、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、前記現在のブロックの及び／又は前記現在のブロックに隣接する少なくとも１つのブロックのアフィンフラグに依存する、ことを特徴とする装置が提供される。
【0057】
本発明の第３２の態様によれば、動きベクトル予測子インデックスを復号化する装置であって、アフィン動きベクトル予測子候補を含む動きベクトル予測子候補のリストを生成する手段と、ＣＡＢＡＣ復号化を使用して、前記動きベクトル予測子インデックスを復号化する手段と、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、前記現在のブロックの及び／又は前記現在のブロックに隣接する少なくとも１つのブロックのアフィンフラグに依存し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用する手段を含む、ことを特徴とする装置が提供される。
【0058】
本発明の第３３の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、動きベクトル予測子候補のリストを生成することと、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択することと、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成することと、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、前記現在のブロックのスキップフラグとアフィンフラグの少なくとも１つのコンテキスト変数から導出される、ことを特徴とする方法が提供される。
【0059】
本発明の第３４の態様によれば、動きベクトル予測子インデックスを復号化する方法であって、動きベクトル予測子候補のリストを生成することと、ＣＡＢＡＣ復号化を使用して、前記動きベクトル予測子インデックスを復号化することと、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、前記現在のブロックのスキップフラグとアフィンフラグの少なくとも１つのコンテキスト変数から導出され、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用することを含む、ことを特徴とする方法が提供される。
【0060】
本発明の第３５の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択する手段と、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段と、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、前記現在のブロックのスキップフラグとアフィンフラグの少なくとも１つのコンテキスト変数から導出される、ことを特徴とする装置が提供される。
【0061】
本発明の第３６の態様によれば、動きベクトル予測子インデックスを復号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、ＣＡＢＡＣ復号化を使用して、前記動きベクトル予測子インデックスを復号化する手段と、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、前記現在のブロックのスキップフラグとアフィンフラグの少なくとも１つのコンテキスト変数から導出され、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用する手段を含む、ことを特徴とする装置が提供される。
【0062】
本発明の第３７の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、動きベクトル予測子候補のリストを生成することと、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択することと、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成することと、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、２つのことなる可能な値のみを有する、ことを特徴とする方法が提供される。
【0063】
本発明の第３８の態様によれば、動きベクトル予測子インデックスを復号化する方法であって、動きベクトル予測子候補のリストを生成することと、ＣＡＢＡＣ復号化を使用して、前記動きベクトル予測子インデックスを復号化することと、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、前記現在のブロックのスキップフラグとアフィンフラグの少なくとも１つのコンテキスト変数から導出され、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用することを含む、ことを特徴とする方法が提供される。
【0064】
本発明の第３９の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択する手段と、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段と、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、２つの異なる可能な値のみを有する、ことを特徴とする装置が提供される。
【0065】
本発明の第４０の態様によれば、動きベクトル予測子インデックスを復号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、ＣＡＢＡＣ復号化を使用して、前記動きベクトル予測子インデックスを復号化する手段と、現在のブロックの前記動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、２つの異なる可能な値のみを有し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用する手段を含む、ことを特徴とする装置が提供される。
【0066】
本発明の第４１の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、動きベクトル予測子候補のリストを生成することと、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択することと、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成することと、現在のブロックの前記動きベクトル予測子インデックスが、前記リスト内のアフィン動きベクトル予測子候補があれば依存する、ことを特徴とする方法が提供される。
【0067】
一実施形態では、動きベクトル予測子インデックスはマージインデックスである。
【0068】
本発明の第４２の態様によれば、動きベクトル予測子インデックスを復号化する方法であって、動きベクトル予測子候補のリストを生成することと、ＣＡＢＡＣ復号化を使用して、前記動きベクトル予測子インデックスを復号化することと、現在のブロックの前記動きベクトル予測子インデックスは、前記リスト内のアフィン動きベクトル予測子候補があれば依存し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用することを含む、ことを特徴とする方法が提供される。
【0069】
一実施形態では、動きベクトル予測子インデックスはマージインデックスである。
【0070】
本発明の第４３の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択する手段と、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段と、現在のブロックの前記動きベクトル予測子インデックスが、前記リスト内のアフィン動きベクトル予測子候補があれば依存する、ことを特徴とする装置が提供される。
【0071】
本発明の第４４の態様によれば、動きベクトル予測子インデックスを復号化する装置であって、動きベクトル予測子候補のリストを生成する手段と、ＣＡＢＡＣ復号化を使用して前記動きベクトル予測子インデックスを復号化する手段と、現在のブロックの前記動きベクトル予測子インデックスは、前記リスト内のアフィン動きベクトル予測子候補があれば依存し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用する手段を含む、ことを特徴とする装置が提供される。
【0072】
本発明の第４５の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、アフィン動きベクトル予測子候補を含む動きベクトル予測子候補のリストを生成することと、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択することと、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成することと、現在のブロックの前記動きベクトル予測子インデックスが、前記現在のブロック及び／又は前記現在のブロックに隣接する少なくとも１つのブロックのアフィンフラグに依存する、ことを特徴とする方法が提供される。
【0073】
一実施形態では、動きベクトル予測子インデックスはマージインデックスである。
【0074】
本発明の第４６の態様によれば、動きベクトル予測子インデックスを復号化する方法であって、アフィン動きベクトル予測子候補を含む動きベクトル予測子候補のリストを生成することと、ＣＡＢＡＣ復号化を使用して、前記動きベクトル予測子インデックスを復号化することと、現在のブロックの前記動きベクトル予測子インデックスは、前記現在のブロック及び／又は前記現在のブロックに隣接する少なくとも１つのブロックのアフィンフラグに依存し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用することを含む、ことを特徴とする方法が提供される。
【0075】
一実施形態では、動きベクトル予測子インデックスはマージインデックスである。
【0076】
本発明の第４７の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、アフィン動きベクトル予測子候補を含む動きベクトル予測子候補のリストを生成する手段と、前記リスト内の前記動きベクトル予測子候補のうちの１つを選択する手段と、ＣＡＢＡＣ符号化を使用して、選択された前記動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段と、現在のブロックの前記動きベクトル予測子インデックスが、前記現在のブロック及び／又は前記現在のブロックに隣接する少なくとも１つのブロックのアフィンフラグに依存する、ことを特徴とする装置が提供される。
【0077】
本発明の第４８の態様によれば、動きベクトル予測子インデックスを復号化する装置であって、アフィン動きベクトル予測子候補を含む動きベクトル予測子候補のリストを生成する手段と、ＣＡＢＡＣ復号化を使用して、前記動きベクトル予測子インデックスを復号化する手段と、現在のブロックの前記動きベクトル予測子インデックスは、前記現在のブロック及び／又は前記現在のブロックに隣接する少なくとも１つのブロックのアフィンフラグに依存し、前記リスト内の前記動きベクトル予測子候補のうちの１つを識別するために、復号化された前記動きベクトル予測子インデックスを使用する手段を含む、ことを特徴とする装置が提供される。
【0078】
本発明のさらに別の態様は、コンピュータ又はプロセッサによって実行されると、コンピュータ又はプロセッサに前述の態様の方法のいずれかを実行させるプログラムに関する。プログラムは、それ自体で提供されてもよく、又は搬送媒体上で、搬送媒体によって、又は搬送媒体内で搬送されてもよい。搬送媒体は非一時的であってもよく、例えば、記憶媒体、特にコンピュータ可読記憶媒体であってもよい。搬送媒体はまた、一時的なものであってよく、例えば、信号又は他の伝送媒体であってもよい。信号は、インターネットを含む任意の適切なネットワークを介して送信されてもよい。
【0079】
本発明のさらに別の態様は、前述のデバイス態様のいずれかによるデバイスを備えるカメラに関する。一実施形態では、カメラがズーム手段をさらに備える。一実施形態では、カメラは、前記ズーム手段が動作可能である時を示し、ズーム手段が動作中であるという前記指示に依存してアフィンモードを伝達するように適合される。別の実施形態では、カメラがパン手段をさらに備える。別の実施形態では、カメラは、前記パン手段が動作可能である時を示し、パン手段が動作中であることを前記表示に依存してアフィンモードを送信するように適合される。
【0080】
本発明のさらに別の態様によれば、上記のカメラ態様のいずれかを具現化するカメラを備えるモバイル装置が提供される。一実施形態では、モバイル装置がモバイル装置の向きの変化を感知するように適合された少なくとも１つの位置センサをさらに備える。一実施形態では、モバイル装置は、モバイル装置の向きにおける変化を前記検知に依存してアフィンモードを伝達するよう適合されている。本発明のさらなる特徴は、他の独立及び従属請求項によって特徴付けられる。
【0081】
本発明の一態様における任意の特徴は、任意の適切な組み合わせで、本発明の他の態様に適用されてもよい。特に、方法の態様は、装置の態様に適用されてもよく、逆もまた同様である。さらに、ハードウェアで実装される特徴は、ソフトウェアで実装されてもよく、逆もまた同様である。本明細書におけるソフトウェア及びハードウェアの特徴へのいかなる基準も、それに応じて解釈されるべきである。本明細書に記載されるような任意の装置特徴は、方法特徴として提供されてもよく、逆もまた同様である。本明細書で使用されるように、手段プラス機能の特徴は、適切にプログラムされたプロセッサ及び関連するメモリのような、それらの対応する構造に関して代替的に表現されてもよい。また、本発明の任意の態様において説明され、定義された様々な特徴の特定の組合せは、独立して実装及び／又は供給及び／又は使用されることができることを理解されたい。
【図面の簡単な説明】
【0082】
例として、以下の図面を参照して説明する。
【0083】
【発明を実施するための形態】
【0084】
以下で説明する本発明の実施形態は、ＣＡＢＡＣを使用してインデックスの符号化及び復号化を改善することに関する。実施形態を説明する前に、ビデオ符号化及び復号化技術、ならびに関連する符号化部及び復号化部について説明する。図１は、高効率ビデオ符号化（ＨＥＶＣ）ビデオ規格で使用される符号化構造に関する。ビデオシーケンス１は、一連のデジタル画像ｉから構成される。このような各デジタル画像は、１つ以上のマトリクスによって表される。マトリクス係数はピクセルを表す。シーケンスの画像２はスライス３に分割され得る。スライスは、いくつかの例では画像全体を構成することができる。これらのスライスは、非重複の符号化ツリーユニット（ＣＴＵ）に分割される。符号化ツリーユニット（ＣＴＵ）は、高効率ビデオ符号化（ＨＥＶＣ）ビデオ規格の基本的な処理ユニットであり、概念的には、いくつかの以前のビデオ規格で使用されたマクロブロックユニットに構造内で対応する。ＣＴＵは時々、最大符号化ユニット（ＬＣＵ）とも呼ばれる。ＣＴＵは輝度及び彩度の構成要素部分を有し、構成要素部分の各々は、符号化ツリーブロック（ＣＴＢ）と呼ばれる。これらの異なる色成分は、図１には示されていない。
【0085】
ＣＴＵは一般的に、ＨＥＶＣ用のサイズ６４ピクセルｘ６４ピクセルであるが、ＶＶＣ用にはこのサイズが１２８ピクセルｘ１２８ピクセルであり得る。各ＣＴＵは順次、四分木分解を使用して、より小さい可変サイズ符号化ユニット（ＣＵ）５に反復的に分割されてもよい。符号化ユニットは、基本符号化要素であり、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）と変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）と呼ばれる２種類のサブユニットによって構成される。ＰＵ又はＴＵの最大サイズは、ＣＵサイズに等しい。予測ユニットは、ピクセル値の予測のためのＣＵの仕切りに対応する。４つの正方形ＰＵへの仕切りと、２つの長方形ＰＵへの２つの異なる仕切りを含む、６０６によって示されるように、ＰＵへのＣＵの様々な異なる仕切りが可能である。変換ユニットは、ＤＣＴを使用して空間変換の対象となる基本ユニットである。ＣＵは、四分木表現６０７に基づいてＴＵに分割され得る。
【0086】
各スライスは、１つのネットワーク抽象化層（ＮＡＬ）ユニットに埋め込まれる。さらに、ビデオシーケンスの符号化パラメータは、パラメータセットと呼ばれる専用ＮＡＬユニットに記憶される。ＨＥＶＣ及びＨ．２６４／ＡＶＣでは、２種類のパラメータセットＮＡＬユニット、すなわち、第１に、ビデオシーケンス全体の間に変更されない全てのパラメータを収集するシーケンスパラメータセット(ＳＰＳ)ＮＡＬユニットが使用される。典型的には、それは符号化プロファイル、ビデオフレームのサイズ、及び他のパラメータを処理する。第２に、ピクチャパラメータセット（ＰＰＳ）ＮＡＬユニットは、シーケンスの１つの画像（又はフレーム）から別に変更することができるパラメータを含む。ＨＥＶＣは、ビットストリームの全体的な構造を記述するパラメータを含むビデオパラメータセット（ＶＰＳ）ＮＡＬユニットも含む。ＶＰＳは、ＨＥＶＣで定義された新しいタイプのパラメータセットであり、ビットストリームの全てのレイヤに適用する。レイヤは、複数の時間的サブレイヤを含めることができ、全てのバージョン１のビットストリームは、単一のレイヤに制限される。ＨＥＶＣは、拡張性とマルチビューのための特定の層拡張を有し、これらは複数の層が後方互換性バージョン１基本レイヤを備えることを可能にする。
【0087】
図２は、本発明の１つ以上の実施形態が実装され得るデータ通信システムを示す。データ通信システムは、データ通信ネットワーク２００を介して、データストリームのデータパケットを受信装置、この場合はクライアント端末２０２に送信するように動作可能な送信装置、この場合はサーバ２０１を含む。データ通信ネットワーク２００は、ワイドエリアネットワーク（ＷＡＮ）又はローカルエリアネットワーク（ＬＡＮ）であってもよい。このようなネットワークは例えば、無線ネットワーク（Ｗｉｆｉ／８０２．１１ａ又はｂ又はｇ）、イーサネットネットワーク、インターネットネットワーク、又は複数の異なるネットワークから構成される混合ネットワークであってもよい。本発明の特定の実施形態では、データ通信システムは、サーバ２０１が同じデータコンテンツを複数のクライアントに送信するデジタルテレビ放送システムであってもよい。
【0088】
サーバ２０１によって提供されるデータストリーム２０４は、ビデオ及びオーディオデータを表すマルチメディアデータから構成されてもよい。オーディオ及びビデオデータストリームは、本発明のいくつかの実施形態では、それぞれマイクロフォン及びカメラを使用してサーバ２０１によってキャプチャされ得る。いくつかの実施形態において、データストリームは、サーバ２０１上に記憶されてもよく、あるいは別のデータプロバイダからサーバ２０１によって受信されてもよく、あるいはサーバ２０１で生成されてもよい。サーバ２０１は特に、符号化部への入力として提示されるデータのよりコンパクトな表現である送信用の圧縮ビットストリームを提供するために、ビデオ及びオーディオストリームを符号化するための符号化部を備える。送信データの品質対送信データの量のより良好な比を得るために、ビデオデータの圧縮は例えば、ＨＥＶＣフォーマット又はＨ．２６４／ＡＶＣフォーマットに従ってもよい。
【0089】
クライアント２０２は、表示装置上のビデオ画像と拡声器による音声データを再生するために、送信されたビットストリームを受信し、再構成されたビットストリームを復号化する。図２の例ではストリーミングシナリオが考慮されているが、本発明のいくつかの実施形態では符号化部と復号化部との間のデータ通信が例えば、光ディスクなどの媒体記憶装置を使用して実行され得ることが理解される。本発明の１つ以上の実施形態では、ビデオ画像は、画像の再構成されたピクセルへの適用について、最終画像内のフィルタリングされたピクセルを提供するために、補償オフセットを表すデータと共に送信される。
【0090】
図３は、本発明の少なくとも１つの実施形態を実施するように構成された処理装置３００を模式的に示す。処理装置３００は、マイクロコンピュータ、ワークステーション、又はライトポータブルデバイスなどの装置であってもよい。装置３００は、以下に接続された通信バス３１３を含む、すなわち、ＣＰＵで示されるマイクロプロセッサなどの中央演算処理装置３１１、本発明を実施するためのコンピュータプログラムを記憶するためのＲＯＭと表記される読み出し専用メモリ３０６、本発明の実施形態の方法の実行コード及びディグのシーケンスを符号化する方法を実行するために必要な変数及びパラメータを記録するよう適合されたレジスタを記憶するためのＲＡＭと表記されたランダムアクセスメモリ３１２、処理されるデジタルデータが送信又は受信される通信ネットワーク３０３に接続された通信インターフェース３０２。
【0091】
任意で、装置３００は、以下の構成要素を含むこともできる、すなわち、本発明の１つ以上の実施形態の方法を実施するためのコンピュータプログラム、及び本発明の１つ以上の実施形態の実施中に使用又は生成されるデータを記憶するための、ハードディスクなどのデータ記憶手段３０４、ディスク３０６のためのディスクドライブ３０５、ディスク３０６からデータを読み取るか、又は前記ディスクにデータを書き込むように構成されるディスクドライブ、キーボード３１０又は他の任意の指示手段によって、データを表示及び／又はグラフィカルユーザインタフェースをユーザに提供するための画面３０９。装置３００は例えば、デジタルカメラ３２０又はマイクロフォン３０８のような種々の周辺機器に接続されてよく、それぞれはマルチメディアデータを装置３００に供給するための、入力／出力カード（図示せず）に接続される。
【0092】
通信バスは、装置３００に含まれる、又はそれに接続される種々の要素間の通信及び相互運用性を提供する。バスの表現は限定されず、特に、中央演算装置は直接的に、又は装置３００の別の要素の手段によって、装置３００の任意の要素に命令を通信するように動作可能である。ディスク３０６は、マイクロコンピュータ又はマイクロプロセッサによって読み取られ得る情報記憶手段によって、例えばコンパクトディスク（ＣＤ－ＲＯＭ）、書き換え可能又はそうではない、ＺＩＰディスク又はメモリカード及び一般的な用語において等の任意の情報媒体に置き換えられてよく、装置に統合され又はそうではない、可能であればリムーバブルであり、実行がデジタル画像のシーケンスを符号化する方法及び／又は本発明によるビットストリームの復号方法を可能にするよう１つ以上のプログラムを記憶するように適合され得る。
【0093】
実行可能コードは、読み出し専用メモリ３０６、ハードディスク３０４又は先に説明したような例えばディスク３０６のようなリムーバブルデジタル媒体のいずれかに格納され得る。変形例によれば、プログラムの実行可能コードは、ハードディスク３０４のような実行される前に装置３００の記憶手段の１つに記憶されるために、インターフェース３０２を介して、通信ネットワーク３０３の手段によって受信され得る。中央演算処理装置３１１は、命令又はプログラムのソフトウェアコードの一部又は本発明に記載のプログラム、前述の記憶手段のうち１つに記憶される命令の実行を制御及び指示するよう適合されている。電源オン時に、例えばハードディスク３０４又は読み出し専用メモリ３０６上の不揮発性メモリに記憶されるプログラム又はプログラムは、ランダムアクセスメモリ３１２に転送され、それは次にプログラム又はプログラムの実行可能コードと、本発明を実施するために必要な変数及びパラメータを記憶するためのレジスタを含む。
【0094】
この実施形態では、装置が本発明を実施するためのソフトウェアを使用するプログラマブル装置である。しかしながら、代替的に、本発明はハードウェア（例えば、特定用途向け集積回路又はＡＳＩＣの形態で）において実施されてもよい。図４は、本発明の少なくとも１つの実施形態による符号化部のブロック図を示す。符号化部は、接続されたモジュールによって表され、各モジュールは例えば、デバイス３００のＣＰＵ３１１によって実行されるべきプログラム命令の形態で、本発明の１つ以上の実施形態による画像シーケンスの画像を符号化する少なくとも１つの実施形態を実施する方法の少なくとも１つの対応するステップを実施するように適合される。デジタル画像ｉ０からｉｎ４０１のオリジナルシーケンスは、符号化部４００によって入力として受信される。各デジタル画像は、ピクセルとして知られるサンプルのセットによって表される。
【0095】
ビットストリーム４１０は、符号化処理の実装後の符号化部４００による出力である。ビットストリーム４１０は、複数の符号化ユニット又はスライスを備え、各スライスは符号化されたビデオデータを備えるスライスとスライス本体を符号化するために使用される符号化パラメータの符号化値を送信するためのスライスヘッダを備える。入力デジタル画像ｉ０からｉｎ４０１は、モジュール４０２によってピクセルのブロックに分割される。ブロックは画像部分に対応し、可変サイズであってもよい（例えば、４×４、８×８、１６×１６、３２×３２、６４×６４、１２８×１２８ピクセル、及びいくつかの矩形ブロックサイズが考慮されてもよい）。符号化モードは、各入力ブロックに対して選択される。符号化モードの２つのファミリーが提供される、つまり、空間的予測符号化（イントラ予測）に基づく符号化モードと、時間的予測（インター符号化、マージ、スキップ）に基づく符号化モード。可能な符号化モードがテストされる。
【0096】
モジュール４０３は、符号化されるべき所定のブロックが、符号化されるべき前記ブロックの近傍の画素から計算された予測子によって予測されるイントラ予測処理を実施する。選択されたイントラ予測子の指示及び所定のブロックとそれの予測子との間の差分は、イントラ符号化が選択される場合に残差を提供するために符号化される。時間的予測は、動き推定モジュール４０４及び動き補償モジュール４０５によって実施される。最初に、基準画像４１６のセットの中から基準画像が選択され、符号化されるべき所定のブロックに最も近い領域である基準領域又は画像部分とも呼ばれる基準画像の部分が、動き推定モジュール４０４によって選択される。次いで、動き補償モジュール４０５は、選択された領域を使用して、符号化されるべきブロックを予測する。残差ブロックとも呼ばれる、選択された基準領域と所定のブロックとの間の差分は、動き補償モジュール４０５によって計算される。選択された基準領域は、動きベクトルによって示される。
【0097】
このように、両方の場合（空間的及び時間的予測）、残差は元のブロックから予測を減算することによって計算される。モジュール４０３によって実施されるイントラ予測では、予測方向が符号化される。時間的予測では、少なくとも１つの動きベクトルが符号化される。インター予測が選択される場合、動きベクトル及び残差ブロックに対する情報が符号化される。ビットレートをさらに低減するために、動きが同種であると仮定すると、動きベクトルは、動きベクトル予測子に対する差分によって符号化される。動き情報予測子セットの動きベクトル予測子は、動きベクトル予測と符号化モジュール４１７によって動きベクトル場４１８から得られる。符号化部４００はさらに、レート歪み基準などの符号化コスト基準を適用することによって、符号化モード選択のための選択モジュール４０６を備える。冗長性をさらに低減するために、変換モジュール４０７によって変換（ＤＣＴなど）が残差ブロックに適用され、得られた変換データは、量子化モジュール４０８によって量子化され、エントロピー符号化モジュール４０９によってエントロピー符号化される。最後に、符号化されている現在のブロックの符号化された残差ブロックは、ビットストリーム４１０に挿入される。
【0098】
また、符号化部４００は後続の画像の動き推定のための参照画像を生成するために、符号化された画像の復号化を行う。これは、ビットストリームを受信する符号化部及び複合化部が同じ参照フレームを有することを可能にする。逆量子化モジュール４１１は、量子化データの逆量子化を行い、逆変換モジュール４１２による逆変換が続く。逆方向イントラ予測モジュール４１３は、所定のブロックにどの予測子を使用するかを判定するために予測情報を使用し、逆方向動き補償モジュール４１４は、モジュール４１２によって取得された残差を、参照画像４１６のセットから取得された参照領域に実際に加える。次いで、ポストフィルタリングは、再構成された画素のフレームをフィルタリングするために、モジュール４１５によって適用される。本発明の実施形態では、補償オフセットが再構成画像の再構成画素の画素値に付加される、ＳＡＯループフィルタが使用される。
【0099】
図５は、本発明の一実施形態による、符号化部からデータを受信するために使用され得る復号化部６０のブロック図を示す。復号化部は、接続されたモジュールによって表され、各モジュールは例えば、デバイス３００のＣＰＵ３１１によって実行されるプログラム命令の形式で、復号化部６０によって実施される方法の対応するステップを実施するように適合される。復号化部６０は符号化ユニットを含むビットストリーム６１を受信し、それぞれは符号化パラメータに関する情報を含むヘッダと、符号化されたビデオデータを含む本体から構成される。図４に関して説明したように、符号化されたビデオデータはエントロピー符号化され、動きベクトル予測子のインデックスは、所定のブロックに対して、予め定めたビット数で符号化される。受信された符号化ビデオデータは、モジュール６２によってエントロピー復号化される。次いで、残差データはモジュール６３によって逆量子化され、次いで、画素値を得るために逆変換がモジュール６４によって適用される。
【0100】
符号化モードを示すモードデータはまた、エントロピー復号化され、モードに基づいて、イントラ型復号化又はインター型復号化が画像データの符号化ブロック上に実行される。イントラモードの場合、イントラ予測子は、ビットストリームで指定されたイントラ予測モードに基づいて、イントラ逆予測モジュール６５によって判定される。モードがインターである場合、符号化部によって使用される参照領域を見つけるために、動き予測情報がビットストリームから抽出される。動き予測情報は、参照フレームインデックスと動きベクトル残差から構成される。動きベクトル復号モジュール７０によって動きベクトルを得るために、動きベクトル予測子が動きベクトル残差に加えられる。
【0101】
動きベクトル復号化モジュール７０は、動き予測によって符号化された現在のブロックごとに対して動きベクトル復号化を適用する。現在のブロックについて、動きベクトル予測子のインデックスは、復号され得る現在のブロックに関連する動きベクトルの実際の値がいったん取得されると、モジュール６６によって逆方向動き補償を適用するために使用される。復号化された動きベクトルによって示される参照画像部分は、逆方向動き補償６６を適用するために、参照画像６８から抽出される。動きベクトル場データ７１は後続の復号化された動きベクトルの逆予測に使用するために、復号化された動きベクトルで更新される。最後に、復号されたブロックが得られる。ポストフィルタリングは、ポストフィルタリングモジュール６７によって適用される。復号化されたビデオ信号６９は、最終的に復号化部６０によって提供される。
【0102】
（ＣＡＢＡＣ）
ＨＥＶＣは、コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）、ゴロムライス符号、又は固定長符号化と呼ばれる単純なバイナリ表現など、複数種類のエントロピー符号化を使用する。ほとんどの場合、異なるシンタックス要素を表現するために、バイナリ符号化処理が実行される。このバイナリ符号化処理はまた、非常に具体的であり、異なる構文要素に依存する。算術符号化は、それらの現在の確率に従ってシンタックス要素を表す。ＣＡＢＡＣは、コンテキスト変数によって定義される「コンテキスト」に応じてシンタックス要素の確率を分離する算術符号化の拡張である。これは条件付き確率に相当する。コンテキスト変数は、すでに符号化されている左上のブロック（以下により詳細に説明するように、図６ｂのＡ２）及び左上のブロック（図６ｂのＢ３）の現在のシンタックス値から導き出され得る。
ＨＥＶＣは、コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）、ゴロムライス符号、又は固定長符号化と呼ばれる単純なバイナリ表現など、複数種類のエントロピー符号化を使用する。ほとんどの場合、異なるシンタックス要素を表現するために、バイナリ符号化処理が実行される。このバイナリ符号化処理はまた、非常に具体的であり、異なる構文要素に依存する。算術符号化は、それらの現在の確率に従ってシンタックス要素を表す。ＣＡＢＡＣは、コンテキスト変数によって定義される「コンテキスト」に応じてシンタックス要素の確率を分離する算術符号化の拡張である。これは条件付き確率に相当する。コンテキスト変数は、すでに符号化されている左上のブロック（以下により詳細に説明するように、図６ｂのＡ２）及び左上のブロック（図６ｂのＢ３）の現在のシンタックス値から導き出され得る。
【0103】
ＣＡＢＡＣは、Ｈ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣ規格の基準部分として採用されている。Ｈ．２６４／ＡＶＣでは、それはエントロピー符号化の２つの代替方法のうちの１つである。Ｈ．２６４／ＡＶＣに指定された他の方法は、可変長符号のコンテキスト適応的切り替えセット、いわゆるコンテキスト適応型可変長符号化（ＣＡＶＬＣ）の使用に基づく、低複雑性エントロピー符号化技術である。ＣＡＢＡＣと比較して、ＣＡＶＬＣは、より低い圧縮効率を犠牲にして、低減された実装コストを提供する。標準又は高精細解像度のＴＶ信号について、ＣＡＢＡＣは一般的に、同じ目的ビデオ品質でＣＡＶＬＣに対し、１０から２０％のビットレート節約を提供する。ＨＥＶＣでは、ＣＡＢＡＣが唯一のエントロピー符号化方法である。図１７は、ＣＡＢＡＣ符号化部の主要ブロックを示す。
【0104】
非バイナリ値である入力シンタックス要素は、バイナライザ１７０１によって２値化される。ＣＡＢＡＣの符号化戦略は、動きベクトル差又は変換係数レベル値の構成要素のような、ハイブリッドブロックベースのビデオコーダにおけるシンタックス要素値の非常に効率的な符号化がコンテキストモデリング及びバイナリ算術符号化の後続ステージのための一種の前処理ユニットとして２値化方式を使用することによって達成され得るという探索に基づいている。一般に、２値化スキームは、シンタックス要素値の一意のマッピングをバイナリ決定のシーケンス、バイナリコードツリーの面でも解釈され得る、いわゆるビンへ定義する。ＣＡＢＡＣにおける２値化方式の設計は、構造が簡単なオンライン計算を可能にし、いくつかの適切なモデル確率分布に適応される少数の初歩的プロトタイプに基づいている。
【0105】
各ビンは、スイッチ１７０２の設定に従って、２つの基本的な方法のうちの１つで処理され得る。スイッチが「正規」設定にある場合、ビンはコンテキストモデラ１７０３及び正規符号化エンジン１７０４に供給される。スイッチが「バイパス」設定にある場合、コンテキストモデラはバイパスされ、ビンはバイパス符号化エンジン１７０５に供給される。符号化エンジン１７０４及び１７０５のうちの適用可能な１つによって符号化されたビンは、ＣＡＢＡＣ符号化部の出力としてビットストリームを形成することができるように、別のスイッチ１７０６はスイッチ１７０２と同様の「正規」及び「バイパス」設定を有する。
【0106】
各シンタックス要素値をビンのシーケンスに分解することによって、ＣＡＢＡＣにおける各ビン値のさらなる処理は、通常又はバイパスモードのいずれかとして選択され得る、関連する符号化モード決定に依存する。後者は、符号情報に関連するビン、又は一様に分布していると仮定され、結果的に、全ての正規のバイナリ算術符号化処理が単にバイパスされる、下位の有意なビンのために選択される。通常の符号化モードでは、各ビン値は、関連する確率モデルは任意のコンテキストモデリングなしに固定選択、又は関連するコンテキストモデルに応じて適応的に選択されるかのいずれかによって判定される、通常のバイナリ算術符号化エンジンを使用することによって符号化される。重要な設計決定として、後者の場合は一般に、最も頻繁に観測されるビンのみに適用され、一方、他は通常、頻繁に観測されないビンは、結合、典型的には０次確率モデルを使用して処理される。このように、ＣＡＢＡＣはサブシンボルレベルでの選択的なコンテキストモデリングを可能にし、これにより、全体的なモデリング又は学習コストを大幅に低減したシンボル間冗長性を利用するための効率的な手段を提供する。コンテキストモデルの特定の選択に対して、４つの基本設計タイプは、それらのうちの２つは変換係数レベルのみの符号化に適用される、ＣＡＢＡＣで使用される。これらの４つのプロトタイプの設計は、モデル化されるソースデータの典型的な特性に関する先験的な知識に基づいており、それは不必要なモデル化コストのオーバヘッドを回避することと、統計的依存性を大幅に利用することとの相容れない目的との間の良好な妥協点を見つける目的を反映している。
【0107】
ＣＡＢＡＣにおける最低レベルの処理では、各ビン値は、通常又はバイパス符号化モードのいずれかで、バイナリ算術符号化部に入る。後者について、相当複雑さが低減された符号化エンジンの高速分岐が使用される、一方、前者の符号化モードについて、所定のビン値の符号化は、ビン値と共にＭコーダに渡される関連する適応確率モデルの実際の状態（ＣＡＢＡＣにおけるテーブルベースのバイナリ算術符号化エンジンのために選択された用語）に依存する。
【0108】
ＨＥＶＣは、３つの異なるインターモード、すなわち、インターモード、マージモード、及びマージスキップモードを使用する。これらのモード間の主な違いは、ビットストリームにおけるデータ伝達である。動きベクトル符号化について、現在のＨＥＶＣ規格は、規格の先のバージョンには存在しなかった動きベクトル予測のための競合ベースの方式を含む。インター又はマージモードのそれぞれについて最良の動きベクトル予測子又は最良の動き情報を見つけるために、いくつかの候補が符号化部側で歪みレート基準と競合していることを意味する。最良の予測子又は動き情報の最良の候補に対応するインデックスが、ビットストリームに挿入される。復号化部は、予測子又は候補の同じセットを導出することができ、複合化されたインデックスに従って最良の１つを使用する。ＨＥＶＣの画面コンテンツ拡張では、イントラブロックコピーと呼ばれる新しい符号化ツールが、それらの３つのインターモードのいずれかとして伝達され、ＩＢＣと同等のインターモードとの間の差分は、基準フレームが現在の１つであるかどうかをチェックすることによって行われる。これは、例えば、リストＬ０の参照インデックスをチェックすることと、これがそのリスト内の最後のフレームである場合、これがイントラブロックコピーであると推定することによって実施され得る。実施するための別の方法は、現在のピクチャオーダカウントと参照フレームを比較している、すなわち、等しい場合、これはイントラブロックコピーである。
【0109】
予測子及び候補の導出の設計は、複雑さに不均衡な影響を与えることなく、最良の符号化効率を達成する上で重要である。ＨＥＶＣでは、２つの動きベクトル導出が使用される、すなわち、インターモード用の１つ（高度動きベクトル予測（ＡＭＶＰ）)及び、マージモード用の１つ(マージ導出処理)。以下、これらの処理を説明する。図６ａ及び図６ｂは、ＨＥＶＣ符号化及び復号化システムの高度動きベクトル予測（ＡＭＶＰ）及びマージモードにおける動きベクトル予測子を生成するために使用され得る空間的及び時間的ブロックを示し、図７は、ＡＭＶＰ予測子セット導出のプロセスの簡略化されたステップを示す。
【0110】
２つの予測子、すなわちＡＭＶＰモードの２つの空間動きベクトルは、上の角部のブロック（ブロックＢ２）及び左角部のブロック（ブロックＡ０）を含む上ブロック（文字「Ｂ」によって示される）及び左ブロック（文字「Ａ」によって示される）の中から選択され、１つの予測子が図６ａに示されるように、配置されたブロックの右下ブロック（Ｈ）及び中央ブロック（中央）の中から選択される。以下の表１は、図６ａ及び６ｂに示されるように、現在のブロックに対する用語でブロックを参照するときに使用される命名法の概要を示す。この命名法は、簡略標記として使用されるが、特に将来の規格のバージョンでは他のラベル付けシステムが使用されてもよいことを理解されたい。
【0111】
【表1】
【0112】
「現在のブロック」は、サイズが例えば４ｘ４、１６ｘ１６、３２ｘ３２、６４ｘ６４、１２８ｘ１２８、又はその間の任意のサイズなど、可変であってよいことに注意されるべきである。ブロックの次元は、これは、バイナリ符号化を使用する場合、ビットのより効率的な使用をもたらすように、好ましくは２のファクタ（すなわち２＾ｎ×２＾ｍ、ここでｎ及びｍは正の整数である）である。現在のブロックは正方形である必要はないが、これはしばしば、符号化の複雑さのための好ましい実施形態である。図７を参照すると、第１のステップは左下のブロックＡ０及びＡ１の中から、空間位置が図６に示されている第１の空間予測子（候補１、７０６）を選択することを目的としている。そのために、これらのブロックは所定の順序で次々に選択され（７００、７０２）、選択されたブロックごとに、所定の順序で以下の条件が評価され（７０４）、条件が満たされる第１のブロックは、予測子として設定される、すなわち、同じ参照リストと同じ参照画像からの動きベクトルと、他の参照リストと同じ参照画像からの動きベクトルと、同じ参照リストと異なる参照画像からのスケーリングされた動きベクトル又は他の参照リストと異なる参照画像からのスケーリングされた動きベクトル。
【0113】
値が見つからない場合、左の予測子は使用不可と見なされる。この場合、それは関連ブロックがイントラ符号化されているか、又はそれらのブロックが存在しないことを示す。次のステップは、空間的位置が図６に示されている右上ブロックＢ０、上ブロックＢ１、及び左上ブロックＢ２の中から第２の空間予測子（候補２、７１６）を選択することを目的とする。そのために、これらのブロックは次々に、所定の順序で選択され（７０８、７１０、７１２）、そして選択されたブロックごとに、上記の条件が所定の順序で評価され（７１４）、上記の条件が満たされる第１のブロックは、予測子として設定される。
【0114】
再び、値が見つからない場合、上の予測子は利用不可能であると見なされる。この場合、関連ブロックがイントラ符号化されているか、又はそれらのブロックが存在しないことを示す。次のステップ（７１８）において、２つの予測子は両方が利用可能である場合、それらが等しい場合（すなわち、同じ動きベクトル値、同じ参照リスト、同じ参照インデックス、及び同じ方向タイプ）、それらのうちの１つを除去するために、互いに比較される。１つの空間的予測子のみが利用可能である場合、アルゴリズムは、次のステップにおいて時間的予測子を探している。時間的動き予測子（候補３、７２６）は、次のように導出される、すなわち、前のフレームにおいて配置されたブロックの右下（Ｈ、７２０）位置がまず、利用可能性チェックモジュール７２２において考慮される。それが存在しない場合、又は動きベクトル予測子が利用可能でない場合、配置されたブロックの中央（中央、７２４）がチェックされるように選択される。これらの時間的位置（中央及びＨ）は図６に示されている。いずれの場合も、拡大縮小７２３は現在のフレームと第１のフレームとの間の時間的距離が参照リストであることに一致するように、それらの候補に適用される。
【0115】
次に、動き予測子値が予測子のセットに追加される。次に、予測子の数（Ｎｂ＿Ｃａｎｄ）が、予測子の最大個数（Ｍａｘ＿Ｃａｎｄ）と比較される（７２８）。上述のとおり、ＡＭＶＰの導出処理が生成する必要がある動きベクトル予測子の最大予測子数（Ｍａｘ＿Ｃａｎｄ）は、ＨＥＶＣ規格の現在のバージョンでは２である。この最大数に達する場合、ＡＭＶＰ予測子の最終リスト又はセット（７３２）が構築される。そうでない場合、ゼロ予測子がリストに追加される（７３０）。ゼロ予測子は、（０，０）に等しい動きベクトルである。図７に示すように、ＡＭＶＰ予測子の最終リスト又はセット（７３２）は、空間的動き予測子のサブセット（７００～７１２）及び時間的動き予測子のサブセット（７２０、７２４）から構築される。
【0116】
上述のように、マージモード又はマージスキップモードの動き予測子候補は、方向、リスト、参照フレームインデックス及び動きベクトルという全ての必要な動き情報を表す。複数の候補のインデックス付きリストは、マージ導出処理によって生成される。現在のＨＥＶＣ設計では、両方のマージモードの候補の最大個数は５に等しい（４つの空間的候補及び１つの時間的候補）。図８は、マージモードの動きベクトル導出処理の概略図である。導出処理の第１のステップでは、５つのブロック位置が考慮される（８００～８０８）。これらの位置は、基準Ａ１、Ｂ１、Ｂ０、Ａ０、及びＢ２で図３に示される空間的位置である。次のステップでは、空間的動きベクトルの利用可能性がチェックされ、多くても５つの動きベクトルが選択される（８１０）。それが存在する場合及びブロックがイントラ符号化されていない場合、予測子は利用可能であると見なされる。したがって、５つのブロックに対応する動きベクトルを候補として選択することは、以下の条件に従って行われる、すなわち、
【0117】
「左」のＡ１動きベクトル（８００）が利用可能である場合（８１０）、すなわち、それが存在する場合及びこのブロックがイントラ符号化されていない場合、「左」のブロックの動きベクトルが選択され、候補リスト内の第１の候補として使用され（８１４）、「上」のＢ１動きベクトル（８０２）が利用可能である場合（８１０）、候補「上」のブロック動きベクトルは、存在する場合、「左」のＡ１動きベクトルと比較される（８１２）。Ｂ１動きベクトルがＡ１動きベクトルに等しい場合、Ｂ１は空間的候補のリストに追加されない（８１４）。逆に、Ｂ１動きベクトルがＡ１動きベクトルに等しくない場合、Ｂ１が空間的候補のリストに追加され（８１４）、「右上」のＢ０動きベクトル（８０４）が利用可能である場合（８１０）、「右上」の動きベクトルがＢ１動きベクトルと比較される（８１２）。Ｂ０動きベクトルがＢ１動きベクトルに等しい場合、Ｂ０動きベクトルは空間的候補のリストに追加されない（８１４）。逆に、Ｂ０動きベクトルがＢ１動きベクトルに等しくない場合、Ｂ０動きベクトルが空間的候補のリストに追加され（８１４）、
【0118】
「左下」のＡ０動きベクトル（８０６）が利用可能である場合（８１０）、「左下」の動きベクトルがＡ１動きベクトルと比較される（８１２）。Ａ０動きベクトルがＡ１動きベクトルに等しい場合、Ａ０動きベクトルは空間的候補のリストに追加されない（８１４）。逆に、Ａ０動きベクトルがＡ１動きベクトルと等しくない場合、Ａ０動きベクトルが空間的候補のリストに追加され（８１４）、空間的候補のリストが４つの候補を含まない場合、「左上」のＢ２動きベクトル（８０８）の利用可能性がチェックされる（８１０）。利用可能であれば、それはＡ１動きベクトル及びＢ１動きベクトルと比較される。Ｂ２動きベクトルがＡ１動きベクトル又はＢ１動きベクトルに等しい場合、Ｂ２動きベクトルは空間的候補のリストに追加されない（８１４）。逆に、Ｂ２動きベクトルがＡ１動きベクトル又はＢ１動きベクトルに等しくない場合、Ｂ２動きベクトルが空間的候補のリストに追加される（８１４）。
【0119】
この段階の最後に、空間的候補のリストは、４つまでの候補を含む。時間的候補について、２つの位置は使用され得る、すなわち、配置されたブロックの右下の位置（図６においてＨで示される８１６）及び配置されたブロックの中心（８１８）。これらの位置は図６に示される。ＡＭＶＰ動きベクトル導出処理について、第１のステップは、Ｈ位置におけるブロックの可用性をチェックすること（８２０）を目的とする。次に、それが利用可能でない場合、中心位置におけるブロックの利用可能性がチェックされる（８２０）。これらの位置の少なくとも１つの動きベクトルが利用可能である場合、時間的動きベクトルは、マージ動きベクトル予測子候補のリストに追加される時間的候補（８２４）を作成するために、必要であれば、リストＬ０及びＬ１の両方について、インデックス０を有する参照フレームにスケーリングされ得る（８２２）。それは、リスト内の空間的候補の後に配置される。リストＬ０及びＬ１は、ゼロ、１つ以上の参照フレームを含む２つの参照フレームリストである。
【0120】
候補の数（Ｎｂ＿Ｃａｎｄ）が候補の最大数より厳密に少ない場合（８２６）（値は、ビットストリームスライスヘッダにおいて伝達され、現在のＨＥＶＣ設計において５に等しいＭａｘ＿Ｃａｎｄ）、及び現在のフレームがＢタイプである場合、結合された候補が生成される（８２８）。結合された候補は、マージ動きベクトル予測子候補のリストの利用可能な候補に基づいて生成される。それは主に、リストＬ０の１つの候補の動きベクトルをリストＬ１の１つの候補の動きベクトルと組み合わせることからなる。候補数（Ｎｂ＿Ｃａｎｄ）が最大候補数（Ｍａｘ＿Ｃａｎｄ）よりも厳密に少ないままの（８３０）場合、マージ動きベクトル予測子候補リストの候補数が最大候補数に達するまで、ゼロ動き候補が生成される（８３２）。
【0121】
この処理の終わりに、マージ動きベクトル予測子候補のリスト又はセットが構築される（８３４）。図８に示すように、マージ動きベクトル予測子候補のリスト又はセットは、空間的候補のサブセット（８００～８０８）及び時間的候補のサブセット（８１６、８１８）から構築される（８３４）。
【0122】
（オルタナティブ・テンポラル・モーション・ベクタ・プレディクション（ＡＴＭＶＰ））
オルタナティブ・テンポラル・モーション・ベクタ・プレディクション（ＡＴＭＶＰ）は、特定の動き補償である。時間的基準フレームからの現在のブロックについて１つの動き情報のみを考慮する代わりに、それぞれ配置されたブロックの各動き情報が考慮される。したがって、この時間的動きベクトル予測は図９に示すように、各サブブロックの関連する動き情報と一緒に、現在のブロックの分割を与える。現在のＶＴＭ参照ソフトウェアでは、ＡＴＭＶＰがマージ候補のリストに挿入されたマージ候補として伝達される。ＳＰＳレベルでＡＴＭＶＰが有効化されると、最大マージ候補数は１つ増加される。したがって、このモードが無効化されている場合、５の代わりに６の候補が考慮される。
オルタナティブ・テンポラル・モーション・ベクタ・プレディクション（ＡＴＭＶＰ）は、特定の動き補償である。時間的基準フレームからの現在のブロックについて１つの動き情報のみを考慮する代わりに、それぞれ配置されたブロックの各動き情報が考慮される。したがって、この時間的動きベクトル予測は図９に示すように、各サブブロックの関連する動き情報と一緒に、現在のブロックの分割を与える。現在のＶＴＭ参照ソフトウェアでは、ＡＴＭＶＰがマージ候補のリストに挿入されたマージ候補として伝達される。ＳＰＳレベルでＡＴＭＶＰが有効化されると、最大マージ候補数は１つ増加される。したがって、このモードが無効化されている場合、５の代わりに６の候補が考慮される。
【0123】
さらに、この予測がＳＰＳレベルで有効化されると、マージインデックスの全てのビンは、ＣＡＢＡＣによって符号化されたコンテキストになる。ＨＥＶＣ内にある間、又はＡＴＭＶＰがＳＰＳレベルで有効化されていない場合、第１のビンのみが符号化されたコンテキストであり、残りのビンはバイパス符号化コンテキストである。図１０（ａ）は、ＨＥＶＣに対する、又はＡＴＭＶＰがＳＰＳレベルで有効化されていない場合のマージインデックスの符号化を示す。これは、単項最大符号化に対応する。さらに、第１番目のビットはＣＡＢＡＣ符号化され、他のビットはバイパスＣＡＢＡＣ符号化される。図１０（ｂ）は、ＡＴＭＶＰがＳＰＳレベルで有効化される時のマージインデックスの符号化を示す。さらに、全てのビットがＣＡＢＡＣ符号化される（第１から第５ビットまで）。各インデックスはそれ自体のコンテキストを有し、言い換えれば、それらの確率は分離されることに留意されたい。
【0124】
（アフィンモード）
ＨＥＶＣでは、動き補償予測（ＭＣＰ）のために並進運動モデルのみが適用される。一方、現実世界では、例えばズームイン／ズームアウト、回転、遠近運動、及び他の不規則な動きなど、多くの種類の運動がある。ＪＥＭでは、簡易アフィン変換動き補償予測が適用され、２０１７年７月１３～２１日にトリノのＪＶＥＴ会議で発表された文書ＪＶＥＴ－Ｇ１００１の抽出に基づいて、アフィンモードの一般原理を以下に述べる。この文書全体は、それはＪＥＭで使用される他のアルゴリズムを記述するので、ここに参照により組み込まれる。図１１（ａ）に示すように、ブロックのアフィン動き場は、２つの制御点動きベクトルによって記述される。ブロックの動きベクトル場（ＭＶＦ）は、以下の式によって記述される。
ＨＥＶＣでは、動き補償予測（ＭＣＰ）のために並進運動モデルのみが適用される。一方、現実世界では、例えばズームイン／ズームアウト、回転、遠近運動、及び他の不規則な動きなど、多くの種類の運動がある。ＪＥＭでは、簡易アフィン変換動き補償予測が適用され、２０１７年７月１３～２１日にトリノのＪＶＥＴ会議で発表された文書ＪＶＥＴ－Ｇ１００１の抽出に基づいて、アフィンモードの一般原理を以下に述べる。この文書全体は、それはＪＥＭで使用される他のアルゴリズムを記述するので、ここに参照により組み込まれる。図１１（ａ）に示すように、ブロックのアフィン動き場は、２つの制御点動きベクトルによって記述される。ブロックの動きベクトル場（ＭＶＦ）は、以下の式によって記述される。
【0125】
【数1】
【0126】
ここで、（ｖ０ｘ、ｖ０ｙ）は左上角部の制御点の動きベクトルであり、（ｖ１ｘ、ｖ１ｙ）は右上角部の制御点の動きベクトルである。動き補償予測をさらに単純化するために、サブブロックベースのアフィン変換予測が適用される。サブブロックサイズは数式２のように導出され、ここで、ＭｖＰｒｅは動きベクトル分数精度（ＪＥＭでは１／１６）であり、（ｖ２ｘ，ｖ２ｙ）は数式１に従って計算された左下制御点の動きベクトルである。
【0127】
【数2】
【0128】
数式２によって導出された後、Ｍ及びＮは必要であれば、それぞれｗ及びｈの除数になるように下方に調整されてもよい。各Ｍ×Ｎサブブロックの動きベクトルを導出するために、図６ａに示されるように、各サブブロックの中央サンプルの動きベクトルは、式１に従って計算され、１／１６分数精度に切り上げられる。次に、動き補償補間フィルタは、導出した動きベクトルを有する各サブブロックの予測を生成するために、適用される。アフィンモードは、インターモード（ＡＭＶＰ、マージ、マージスキップ)としての動き補償モードである。それの原理は、２つ又は３つの隣接する動き情報に従って画素毎に１つの動き情報を生成することである。現在のＶＴＭ参照ソフトウェアでは、図１１（ａ）に示すように、アフィンモードは４ｘ４ブロックごとに１つの動き情報を導き出す。このモードはＡＭＶＰ用に使用可能であり、両方のマージモードはフラグによって有効化される。このフラグはＣＡＢＡＣ符号化される。一実施形態では、コンテキストは左ブロック（図６ｂの位置Ａ２）及び左上ブロック（図６ｂの位置Ｂ３）のアフィンフラグの合計に依存する。
【0129】
したがって、ＪＥＭでは、以下の式で与えられるアフィンフラグに対して３つのコンテキスト変数（０、１又は２）を取り得る。
Ctx = IsAffine(A2) + IsAffine(B3)
ここで、ＩｓＡｆｆｉｎｅ（ｂｌｏｃｋ）はブロックがアフィンブロックでない場合に０を、ブロックがアフィンである場合に１を返す関数である。
Ctx = IsAffine(A2) + IsAffine(B3)
ここで、ＩｓＡｆｆｉｎｅ（ｂｌｏｃｋ）はブロックがアフィンブロックでない場合に０を、ブロックがアフィンである場合に１を返す関数である。
【0130】
（アフィンマージ候補導出）
ＪＥＭでは、アフィンマージモード（マージ又はマージスキップ）は位置Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２のブロック間でアフィンである第１の隣接ブロックから導出される。これらの位置は、図６ａ及び６ｂに示される。しかしながら、どのようにアフィンパラメータが導出されるかは、完全には定義されておらず、本発明は、少なくともこの点を改善することを目的とする。
ＪＥＭでは、アフィンマージモード（マージ又はマージスキップ）は位置Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２のブロック間でアフィンである第１の隣接ブロックから導出される。これらの位置は、図６ａ及び６ｂに示される。しかしながら、どのようにアフィンパラメータが導出されるかは、完全には定義されておらず、本発明は、少なくともこの点を改善することを目的とする。
【0131】
（アフィンマージ伝達）
図１２は、符号化モードに関連するいくつかのシンタックス要素の部分復号化処理のフローチャートである。この図では、スキップフラグ（１２０１）、予測モード（１２１１）、マージフラグ（１２０３）、マージインデックス（１２０８）、及びアフィンフラグ（１２０７）が復号化され得る。インタースライス内の全てのＣＵについて、スキップフラグが復号化される（１２０１）。ＣＵがスキップでない場合（１２０２）、プレドモード（予測モード）が復号される（１２１１）。このシンタックス要素は、現在のＣＵがインター又はイントラモードであるかを示す。ＣＵがスキップ（１２０２）である場合、それの現在のモードはインターモードであることに留意されたい。ＣＵ（１２１２）の場合、ＣＵはＡＭＶＰ内又はマージモード内で符号化される。ＣＵがインター(１２１２）である場合、マージフラグが復号化される（１２０３）。ＣＵがマージである場合（１２０４）又はＣＵがスキップである場合（１２０２）、アフィンフラグ（１２０６）が復号化される必要があるかが検証される（１２０５）。現在のＣＵが、現在のＶＶＣにおいてＣＵの高さ及び幅が等しくならなければならないことを意味する、２Ｎ×２ＮＣＵである場合、このフラグは復号化される。
図１２は、符号化モードに関連するいくつかのシンタックス要素の部分復号化処理のフローチャートである。この図では、スキップフラグ（１２０１）、予測モード（１２１１）、マージフラグ（１２０３）、マージインデックス（１２０８）、及びアフィンフラグ（１２０７）が復号化され得る。インタースライス内の全てのＣＵについて、スキップフラグが復号化される（１２０１）。ＣＵがスキップでない場合（１２０２）、プレドモード（予測モード）が復号される（１２１１）。このシンタックス要素は、現在のＣＵがインター又はイントラモードであるかを示す。ＣＵがスキップ（１２０２）である場合、それの現在のモードはインターモードであることに留意されたい。ＣＵ（１２１２）の場合、ＣＵはＡＭＶＰ内又はマージモード内で符号化される。ＣＵがインター(１２１２）である場合、マージフラグが復号化される（１２０３）。ＣＵがマージである場合（１２０４）又はＣＵがスキップである場合（１２０２）、アフィンフラグ（１２０６）が復号化される必要があるかが検証される（１２０５）。現在のＣＵが、現在のＶＶＣにおいてＣＵの高さ及び幅が等しくならなければならないことを意味する、２Ｎ×２ＮＣＵである場合、このフラグは復号化される。
【0132】
さらに、少なくとも１つの隣接するＣＵ Ａ１又はＢ１又はＢ０又はＡ０又はＢ２は、アフィンモード（マージ又はＡＭＶＰ）で符号化されなければならない。最終的に、現在のＣＵは４ｘ４ ＣＵであってはならず、デフォルトによりＣＵ ４ｘ４はＶＴＭ参照ソフトウェアにおいて無効化される。この条件（１２０５）が偽である場合、現在のＣＵが古典的マージモード又はマージスキップモードで符号化され、マージインデックスが復号化されることが確実である（１２０８）。アフィンフラグ（１２０６）が１に等しく設定される場合（１２０７）、ＣＵはマージアフィンＣＵ又はマージスキップアフィンＣＵであり、マージインデックス（１２０８）は復号される必要はない。そうでない場合、現在のＣＵは古典的な（基本的な）マージ又はマージスキップＣＵであり、マージインデックス候補（１２０８）は復号される。そうでない場合、現在のＣＵは古典的な（基本的な）マージ又はマージスキップＣＵであり、マージインデックス候補（１２０８）は復号される。この明細書では、「伝達」がモード他の情報の有効化又は無効化を表す１つ以上のシンタックス要素への挿入又はビットストリームからの抽出を参照することができる。
【0133】
（マージ候補導出）
図１３は、マージ候補導出を示すフローチャートである。この導出は図８に示されるＨＥＶＣのマージリスト導出の上に構築されている。ＨＥＶＣと比較した主な変更は、ＡＴＭＶＰ候補（１３１９、１３２１、１３２３）の追加、候補の完全な重複チェック（１３２０、１３２５）、及び候補の新しい順序である。ＡＴＭＶＰ予測は、それは現在のＣＵのいくつかの動き情報を表すので、特別な候補として設定される。第１のサブブロック（左上）の値は時間的候補と比較され、時間的候補はそれらが等しい場合、マージリストに追加されない（１３２０）。ＡＴＭＶＰ候補は、他の空間的候補とは比較されない。リスト内に既にある各空間的候補と比較される時間的候補とは反対に（１３２５）、それが重複候補である場合、マージ候補リスト内に追加されない。
図１３は、マージ候補導出を示すフローチャートである。この導出は図８に示されるＨＥＶＣのマージリスト導出の上に構築されている。ＨＥＶＣと比較した主な変更は、ＡＴＭＶＰ候補（１３１９、１３２１、１３２３）の追加、候補の完全な重複チェック（１３２０、１３２５）、及び候補の新しい順序である。ＡＴＭＶＰ予測は、それは現在のＣＵのいくつかの動き情報を表すので、特別な候補として設定される。第１のサブブロック（左上）の値は時間的候補と比較され、時間的候補はそれらが等しい場合、マージリストに追加されない（１３２０）。ＡＴＭＶＰ候補は、他の空間的候補とは比較されない。リスト内に既にある各空間的候補と比較される時間的候補とは反対に（１３２５）、それが重複候補である場合、マージ候補リスト内に追加されない。
【0134】
空間的候補がリスト内に追加される場合、それは、ＨＥＶＣの最終バージョンの場合ではないリスト内の他の空間的候補と比較される（１３１０）。現在のＶＴＭバージョンでは、マージ候補のリストが、それは符号化テスト条件にわたって最良の結果を提供するよう判定されるので、以下の順序として設定される。
・Ａ１
・Ｂ１
・Ｂ０
・Ａ０
・ＡＴＭＶＰ
・Ｂ２
・時間的
・組み合わせ
・Ｚｅｒｏ＿ＭＶ
・Ａ１
・Ｂ１
・Ｂ０
・Ａ０
・ＡＴＭＶＰ
・Ｂ２
・時間的
・組み合わせ
・Ｚｅｒｏ＿ＭＶ
【0135】
空間的候補Ｂ２は、ＡＴＭＶＰ候補の後に設定されることに留意することが重要である。さらに、ＡＴＭＶＰがスライスレベルで有効化される場合、候補リストの最大数は５ではなく６である。実施形態は特に明記しない限り組み合わされてもよく、例えば、実施形態の特定の組合せは増加した複雑さにおいて符号化効率を改善することができ、これは特定の使用形態において許容され得ることに留意されたい。
【0136】
（第１実施形態）
上述のように、現在のＶＴＭ参照ソフトウェアでは、ＡＴＭＶＰがマージ候補のリストに挿入されたマージ候補として伝達される。ＡＴＭＶＰは、（ＳＰＳレベルで）シーケンス全体に対して有効化又は無効化され得る。ＡＴＭＶＰが無効化される場合、最大マージ候補数は５である。ＡＴＭＶＰが有効化される場合、最大マージ候補数は、５から６に１つだけ増加される。符号化部では、マージ候補リストは、図１３の方法を使用して生成される。１つのマージ候補が、例えばレート歪み基準に基づいてマージ候補のリストから選択される。
上述のように、現在のＶＴＭ参照ソフトウェアでは、ＡＴＭＶＰがマージ候補のリストに挿入されたマージ候補として伝達される。ＡＴＭＶＰは、（ＳＰＳレベルで）シーケンス全体に対して有効化又は無効化され得る。ＡＴＭＶＰが無効化される場合、最大マージ候補数は５である。ＡＴＭＶＰが有効化される場合、最大マージ候補数は、５から６に１つだけ増加される。符号化部では、マージ候補リストは、図１３の方法を使用して生成される。１つのマージ候補が、例えばレート歪み基準に基づいてマージ候補のリストから選択される。
【0137】
現在のＶＴＭ参照ソフトウェアでは、ＡＴＭＶＰが有効又は無効に応じて、マージインデックスの符号化方法は異なる。図１０（ａ）は、ＡＴＭＶＰがＳＰＳレベルで有効化されない場合のマージインデックスの符号化を示す。５つのマージ候補、すなわち、候補０、候補１、候補２、候補３、及び候補４は、それぞれ、０、１０、１１０、１１１０、及び１１１１に符号化される。これは、単項最大符号化に対応する。さらに、第１番目のビットは、単一のコンテキストを使用してＣＡＢＡＣによって符号化され、他のビットはバイパス符号化される。図１０（ｂ）は、ＡＴＭＶＰが有効化される場合のマージインデックスの符号化を示す。６つのマージ候補、すなわち、Ｃａｎｄ０、Ｃａｎｄ１、Ｃａｎｄ２、Ｃａｎｄ３、Ｃａｎｄ４、及びＣａｎｄ５は、それぞれ、０、１０、１１０、１１１０、１１１１０、及び１１１１１に符号化される。この場合では、マージインデックスの全てのビット（第１番目から第５番目のビットまで）がＣＡＢＡＣによってコンテキスト符号化される。各ビットはそれ自体のコンテキストを有し、異なるビットに対して別々の確率モデルが存在する。
【0138】
本発明の第１実施形態では、図１４に示すように、マージ候補のリストにマージ候補としてＡＴＭＶＰが含まれている場合（例えば、ＳＰＳレベルでＡＴＭＶＰが有効化される場合）、マージインデックスの符号化は、マージインデックスの第１番目のビットのみが単一のコンテキストを使用してＣＡＢＡＣによって符号化されるように修正される。コンテキストは、ＡＴＭＶＰがＳＰＳレベルで有効化されていない場合、現在のＶＴＭ参照ソフトウェアにおいて同じ方法で設定される。他のビット（第２番目から第５番目のビットまで）はバイパス符号化される。マージ候補リストにマージ候補としてＡＴＭＶＰが含まれていない場合（例えば、ＳＰＳレベルでＡＴＭＶＰが有効化されていない場合）、５つのマージ候補が存在する。マージインデックスの第１番目のビットのみが、単一のコンテキストを使用してＣＡＢＡＣによって符号化される。コンテキストは、ＡＴＭＶＰがＳＰＳレベルで有効化されていない場合、現在のＶＴＭ参照ソフトウェアにおいて同じ方法で設定される。他のビット（第２から第４ビットまで）はバイパス符号化される。
【0139】
復号化部は、符号化部と同じマージ候補リストを生成する。これは、図１３の方法を使用することによって達成され得る。ＡＴＭＶＰがマージ候補のリストにマージ候補として含まれていない場合（例えば、ＡＴＭＶＰがＳＰＳレベルで有効化されていない場合）、５つのマージ候補がある。マージインデックスの第１番目のビットのみが、単一のコンテキストを使用してＣＡＢＡＣによって復号化される。他のビット（第２番目から第４番目のビットまでのビット）は、バイパス符号化される。現在の参照ソフトウェアとは反対に、ＡＴＭＶＰがマージ候補リストにマージ候補として含まれる場合（例えば、ＡＴＭＶＰがＳＰＳレベルで有効化される場合）、マージインデックスの復号化において単一のコンテキストを使用して、マージインデックスの第１番目のビットのみがＣＡＢＡＣによって復号化される。他のビット（第２番目から第５番目のビットまで）は、バイパス符号化される。復号化されたマージインデックスは、マージ候補リストの中から符号化部によって選択されたマージ候補を識別するために使用される。
【0140】
ＶＴＭ２．０参照ソフトウェアと比較したこの実施形態の利点は、符号化効率に影響を与えることなく、マージインデックス復号化及び復号化部設計（及び符号化部設計）の複雑さ低減である。実際、この実施形態とともに、現在のＶＴＭマージインデックス符号化／復号化のために５ではなく、１つのＣＡＢＡＣ状態のみがマージインデックスのために必要とされる。さらに、他のビットは符号化する全てのビットをＣＡＢＡＣと比較して演算数を減らすバイパスＣＡＢＡＣ符号化されるので、それは最悪の場合の複雑さを減らす。
【0141】
（第２実施形態）
第２実施形態ではマージインデックスの全てのビットは、ＣＡＢＡＣ符号化されるが、それらは全て同じコンテキストを共有する。この場合、ビット間で共有される、第１の実施形態のような単一のコンテキストが存在してもよい。その結果、マージ候補リストにマージ候補としてＡＴＭＶＰが含まれている場合（例えば、ＳＰＳレベルでＡＴＭＶＰが有効化されている場合）、ＶＴＭ２．０参照ソフトウェアで５と比較される、１つのコンテキストのみが使用される。ＶＴＭ２．０参照ソフトウェアと比較したこの実施形態の利点は、符号化効率に影響を与えることなく、マージインデックス復号化及び復号化部設計（及び符号化部設計）の複雑さ低減である。あるいは、以下に第３から第１５の実施形態に関連して説明するように、コンテキスト変数は２つ以上のコンテキストが利用可能であるが、現在のコンテキストがビットによって共有されるように、ビット間で共有されてもよい。
第２実施形態ではマージインデックスの全てのビットは、ＣＡＢＡＣ符号化されるが、それらは全て同じコンテキストを共有する。この場合、ビット間で共有される、第１の実施形態のような単一のコンテキストが存在してもよい。その結果、マージ候補リストにマージ候補としてＡＴＭＶＰが含まれている場合（例えば、ＳＰＳレベルでＡＴＭＶＰが有効化されている場合）、ＶＴＭ２．０参照ソフトウェアで５と比較される、１つのコンテキストのみが使用される。ＶＴＭ２．０参照ソフトウェアと比較したこの実施形態の利点は、符号化効率に影響を与えることなく、マージインデックス復号化及び復号化部設計（及び符号化部設計）の複雑さ低減である。あるいは、以下に第３から第１５の実施形態に関連して説明するように、コンテキスト変数は２つ以上のコンテキストが利用可能であるが、現在のコンテキストがビットによって共有されるように、ビット間で共有されてもよい。
【0142】
ＡＴＭＶＰが無効化される場合、同じコンテキストが全てのビットに対して依然として使用される。ＡＴＭＶＰが利用可能なモードでないか、又は無効化されている場合であっても、この実施形態及び以降の全ての実施形態は適用され得る。第２実施形態の変形例では、マージインデックスの任意の２つ以上のビットがＣＡＢＡＣ符号化され、同じコンテキストを共有する。マージインデックスの他のビットは、バイパス符号化される。例えば、マージインデックスの最初のＮビットは、ＣＡＢＡＣ符号化されてもよく、ここで、Ｎは２以上である。
【0143】
（第３実施形態）
第１実施形態では、マージインデックスの第１番目のビットが単一のコンテキストを使用してＣＡＢＡＣ符号化された。第３実施形態では、マージインデックスのビットのコンテキスト変数が隣接ブロックのマージインデックスの値に依存する。これは、コンテキスト変数の異なる値に対応する各コンテキストとともに、ターゲットビットのために１つ以上のコンテキストを見積もる。それのマージインデックスは、現在のブロックが復号されている時間により復号部に利用可能であるように、隣接ブロックは既に復号されている任意のブロックであってもよい。例えば、隣接ブロックは、図６ｂに示されるブロックＡ０、Ａ１、Ａ２、Ｂ０、Ｂ１、Ｂ２、及びＢ３のいずれかであってもよい。
第１実施形態では、マージインデックスの第１番目のビットが単一のコンテキストを使用してＣＡＢＡＣ符号化された。第３実施形態では、マージインデックスのビットのコンテキスト変数が隣接ブロックのマージインデックスの値に依存する。これは、コンテキスト変数の異なる値に対応する各コンテキストとともに、ターゲットビットのために１つ以上のコンテキストを見積もる。それのマージインデックスは、現在のブロックが復号されている時間により復号部に利用可能であるように、隣接ブロックは既に復号されている任意のブロックであってもよい。例えば、隣接ブロックは、図６ｂに示されるブロックＡ０、Ａ１、Ａ２、Ｂ０、Ｂ１、Ｂ２、及びＢ３のいずれかであってもよい。
【0144】
第１の変形例では、第１番目のビットだけがこのコンテキスト変数を使用してＣＡＢＡＣ符号化される。第２の変形例では、マージインデックスの最初のＮビットは、ここでＮは２以上である、ＣＡＢＡＣ符号化され、コンテキスト変数はそれらのＮビット間で共有される。第３の変形例では、マージインデックスの任意のＮビットは、ここでＮは２以上である、ＣＡＢＡＣ符号化され、コンテキスト変数がそれらのＮビット間で共有される。第４の変形例では、マージインデックスの最初のＮビットは、ここでＮは２以上である、ＣＡＢＡＣ符号化され、Ｎのコンテキスト変数がそれらのＮビットのために使用される。コンテキスト変数がＫの値を有すると仮定すると、ＫｘＮのＣＡＢＡＣ状態が使用される。例えば、本実施形態では、１つの隣接ブロックを用いて、コンテキスト変数は２つの値、例えば、０及び１を都合よく有することができる。すなわち、２ＮのＣＡＢＡＣ状態が使用される。第５の変形例では、マージインデックスの任意のＮビットは、ここでＮは２以上である、適応的ＰＭ符号化され、Ｎのコンテキスト変数がそれらのＮビットのために使用される。同様の変形例は、以下に説明する第４から第１６の実施形態に適用可能である。
【0145】
（第４実施形態）
第４実施形態では、マージインデックスのビットのためにコンテキスト変数が、２つ以上の隣接ブロックのマージインデックスのそれぞれの値に依存する。例えば、第１の隣接ブロックは、左ブロックＡ０、Ａ１又はＡ２であってよく、第２の隣接ブロックは上部ブロックＢ０、Ｂ１、Ｂ２又はＢ３であってもよい。２つ以上のマージインデックス値を組み合わせる方法は、特に限定されない。例を以下に示す。コンテキスト変数は都合よく、２つの隣接するブロックが存在するので、この場合、３つの異なる値、例えば、０、１、及び２を有することができる。したがって、第３実施形態に関連して説明した第４の変形例が、３つの異なる値を有するこの実施形態に適用される場合、Ｋは２ではなく３である。すなわち、３ＮのＣＡＢＡＣ状態が使用される。
第４実施形態では、マージインデックスのビットのためにコンテキスト変数が、２つ以上の隣接ブロックのマージインデックスのそれぞれの値に依存する。例えば、第１の隣接ブロックは、左ブロックＡ０、Ａ１又はＡ２であってよく、第２の隣接ブロックは上部ブロックＢ０、Ｂ１、Ｂ２又はＢ３であってもよい。２つ以上のマージインデックス値を組み合わせる方法は、特に限定されない。例を以下に示す。コンテキスト変数は都合よく、２つの隣接するブロックが存在するので、この場合、３つの異なる値、例えば、０、１、及び２を有することができる。したがって、第３実施形態に関連して説明した第４の変形例が、３つの異なる値を有するこの実施形態に適用される場合、Ｋは２ではなく３である。すなわち、３ＮのＣＡＢＡＣ状態が使用される。
【0146】
（第５実施形態）
第５実施形態では、マージインデックスのビットのコンテキスト変数が隣接ブロックＡ２及びＢ３のマージインデックスのそれぞれの値に依存する。
第５実施形態では、マージインデックスのビットのコンテキスト変数が隣接ブロックＡ２及びＢ３のマージインデックスのそれぞれの値に依存する。
【0147】
（第６実施形態）
第６実施形態では、マージインデックスのビットのコンテキスト変数が、隣接ブロックＡ１及びＢ１のマージインデックスのそれぞれの値に依存する。この変形例の利点は、マージ候補導出との位置合わせである。
第６実施形態では、マージインデックスのビットのコンテキスト変数が、隣接ブロックＡ１及びＢ１のマージインデックスのそれぞれの値に依存する。この変形例の利点は、マージ候補導出との位置合わせである。
【0148】
（第７実施形態）
第７実施形態では、現在のブロックのマージインデックスにおけるビット位置ｉｄｘ＿ｎｕｍを有するビットのためのコンテキスト変数が以下の式に従って得られる、すなわち、
ctxIdx =(Merge_index_left == idx_num)+(Merge_index_up == idx_num)、ここで、Merge_index_leftは左ブロックのマージインデックスであり、Merge_index_upは上位ブロックのマージインデックスであり、シンボル＝＝は等価シンボルである。６つのマージ候補がある場合、例えば、０ ＜= idx_num ＜= ５である。左ブロックはブロックＡ１であってもよく、上部ブロックはブロックＢ１であってよい（第６実施形態のように）。あるいは、左ブロックがブロックＡ２であってもよく、上部ブロックがブロックＢ３であってもよい（第５実施形態のように）。左ブロックのマージインデックスがｉｄｘ＿ｎｕｍと等しい場合、式(Merge_index_left == idx_num)は１に等しくなる。以下の表２は、この式の結果を示す(Merge_index_left == idx_num)。
第７実施形態では、現在のブロックのマージインデックスにおけるビット位置ｉｄｘ＿ｎｕｍを有するビットのためのコンテキスト変数が以下の式に従って得られる、すなわち、
ctxIdx =(Merge_index_left == idx_num)+(Merge_index_up == idx_num)、ここで、Merge_index_leftは左ブロックのマージインデックスであり、Merge_index_upは上位ブロックのマージインデックスであり、シンボル＝＝は等価シンボルである。６つのマージ候補がある場合、例えば、０ ＜= idx_num ＜= ５である。左ブロックはブロックＡ１であってもよく、上部ブロックはブロックＢ１であってよい（第６実施形態のように）。あるいは、左ブロックがブロックＡ２であってもよく、上部ブロックがブロックＢ３であってもよい（第５実施形態のように）。左ブロックのマージインデックスがｉｄｘ＿ｎｕｍと等しい場合、式(Merge_index_left == idx_num)は１に等しくなる。以下の表２は、この式の結果を示す(Merge_index_left == idx_num)。
【0149】
【表2】
【0150】
もちろん、式(Merge_index_up == idx_num)の表は同じである。以下の表３に、各マージインデックス値の単項最大符号と、各ビットの相対的なビット位置を与える。この表３は、図１０（ｂ）に対応する。
【0151】
【表3】
【0152】
左ブロックがマージブロック又はアフィンマージブロックでない場合、左ブロックは利用可能でないと見なされる。同様の条件が、上ブロックについて適用される。例えば、第１番目のビットのみがＣＡＢＡＣ符号化される場合、コンテキスト変数ｃｔｘＩｄｘは、以下に等しく設定される、すなわち、左及び上ブロックがマージインデックスを有しない場合、又は左ブロックマージインデックスが第１のインデックスでない（すなわち０でない）場合、及び上位ブロックマージインデックスが第１のインデックスでない（すなわち０でない）場合に０、左及び上ブロックの一方ではなく他方が第１のインデックスに等しいそれのマージインデックスを有する場合に１、及び左及び上ブロックのそれぞれについてマージインデックスが第１のインデックスに等しい場合に２。より一般的には、ＣＡＢＡＣ符号化される位置ｉｄｘ＿ｎｕｍにおけるターゲットビットについて、コンテキスト変数ｃｔｘＩｄｘは以下のように設定される、すなわち、左及び上ブロックがマージインデックスを有していない場合、又は左ブロックマージインデックスがｉ番目インデックスでない場合(ここで、i = idx_num)、及び上ブロックマージインデックスがｉ番目インデックスでない場合に０、左及び上ブロックの一方ではなく他方が、ｉ番目インデックスと等しいマージインデックスを有する場合に１、左及び上ブロックのそれぞれについてマージインデックスがｉ番目インデックスと等しい場合に２。ここで、ｉ番目インデックスは、i = ０の場合は第１のインデックス、i = １の場合は第２のインデックス等を意味する。
【0153】
（第８実施形態）
第８実施形態では、現在のブロックのマージインデックスにおけるビット位置ｉｄｘ＿ｎｕｍを有するビットのコンテキスト変数が以下の式に従って得られる、すなわち、
Ctx =(Merge_index_left ＞ idx_num)+(Merge_index_up ＞ idx_num)、ここで、Ｍｅｒｇｅ＿ｉｎｄｅｘ＿ｌｅｆｔは左ブロックのためのマージインデックスであり、Ｍｅｒｇｅ＿ｉｎｄｅｘ＿ｕｐは上ブロックのためのマージインデックスであり、記号＞は「より大きい」ことを意味する。６つのマージ候補がある場合、例えば、０ ＜= idx_num ＜= ５である。左ブロックはブロックＡ１であってよく、上ブロックはブロックＢ１であってよい（第５実施形態のように）。あるいは、左ブロックがブロックＡ２であってよく、上ブロックがブロックＢ３であってもよい（第６実施形態のように）。左ブロックのマージインデックスがｉｄｘ＿ｎｕｍより大きい場合、式(Merge_index_left ＞ idx_num)は１に等しくなる。左ブロックがマージブロック又はアフィンマージブロックでない場合、左ブロックは利用可能でないと見なされる。同様の条件が、上ブロックについて適用される。以下の表４は、この式の結果を与える(Merge_index_left ＞ idx_num)。
第８実施形態では、現在のブロックのマージインデックスにおけるビット位置ｉｄｘ＿ｎｕｍを有するビットのコンテキスト変数が以下の式に従って得られる、すなわち、
Ctx =(Merge_index_left ＞ idx_num)+(Merge_index_up ＞ idx_num)、ここで、Ｍｅｒｇｅ＿ｉｎｄｅｘ＿ｌｅｆｔは左ブロックのためのマージインデックスであり、Ｍｅｒｇｅ＿ｉｎｄｅｘ＿ｕｐは上ブロックのためのマージインデックスであり、記号＞は「より大きい」ことを意味する。６つのマージ候補がある場合、例えば、０ ＜= idx_num ＜= ５である。左ブロックはブロックＡ１であってよく、上ブロックはブロックＢ１であってよい（第５実施形態のように）。あるいは、左ブロックがブロックＡ２であってよく、上ブロックがブロックＢ３であってもよい（第６実施形態のように）。左ブロックのマージインデックスがｉｄｘ＿ｎｕｍより大きい場合、式(Merge_index_left ＞ idx_num)は１に等しくなる。左ブロックがマージブロック又はアフィンマージブロックでない場合、左ブロックは利用可能でないと見なされる。同様の条件が、上ブロックについて適用される。以下の表４は、この式の結果を与える(Merge_index_left ＞ idx_num)。
【0154】
【表4】
【0155】
例えば、第１番目のビットのみがＣＡＢＡＣ符号化される場合、コンテキスト変数ｃｔｘＩｄｘは、以下に等しく設定される、すなわち、左及び上ブロックがマージインデックスを有する場合、又は左ブロックマージインデックスが第１のインデックス以下又は等しい（すなわち０でない）場合、及び上ブロックマージインデックスが第１のインデックスより小さい又は等しい（すなわち０でない）場合に０、左及び上ブロックの一方ではなく他方が第１のインデックスより大きいマージインデックスを有する場合に１、左及び上ブロックのそれぞれについてマージインデックスが第１のインデックスより大きい場合に２。より一般的には、ＣＡＢＡＣ符号化される位置ｉｄｘ＿ｎｕｍにおけるターゲットビットについて、コンテキスト変数ｃｔｘＩｄｘは以下と等しく設定される、すなわち、左及び上ブロックはマージインデックスを有さない場合、又は左ブロックマージインデックスがｉ番目インデックスより小さい場合(ここでi = idx_num)、及び上ブロックマージインデックスがｉ番目インデックスより小さい又は等しい場合に０、左及び上ブロックの一方ではなく他方が、ｉ番目インデックスより大きいそれのマージインデックスを有する場合に１、左及び上ブロックのそれぞれについてマージインデックスがｉ番目インデックスより大きい場合に２。第８実施形態は、第７実施形態よりもさらに符号化効率を向上することを提供する。
【0156】
（第９の実施形態）
第４から第８実施形態では、現在のブロックのマージインデックスのビットのコンテキスト変数が２つ以上の隣接ブロックのマージインデックスのそれぞれの値に依存した。第９実施形態では、現在のブロックのマージインデックスのビットのコンテキスト変数が２つ以上の隣接ブロックのそれぞれのマージフラグに依存する。例えば、第１の隣接ブロックは左ブロックＡ０、Ａ１又はＡ２であってよく、第２の隣接ブロックは上ブロックＢ０、Ｂ１、Ｂ２又はＢ３であってもよい。マージフラグは、ブロックがマージモードを使用して符号化される場合に１に設定され、スキップモード又はアフィンマージモード等の別のモードの場合に０に設定される。ＶＭＴ２．０では、アフィンマージが基本又は「古典的」マージモードとは別のモードであることに留意されたい。アフィンマージモードは、専用のアフィンフラグを使用して伝達され得る。あるいは、マージ候補リストがアフィンマージ候補を含んでもよく、その場合、アフィンマージモードが選択され、かつ、マージインデックスを使用して伝達されてもよい。
第４から第８実施形態では、現在のブロックのマージインデックスのビットのコンテキスト変数が２つ以上の隣接ブロックのマージインデックスのそれぞれの値に依存した。第９実施形態では、現在のブロックのマージインデックスのビットのコンテキスト変数が２つ以上の隣接ブロックのそれぞれのマージフラグに依存する。例えば、第１の隣接ブロックは左ブロックＡ０、Ａ１又はＡ２であってよく、第２の隣接ブロックは上ブロックＢ０、Ｂ１、Ｂ２又はＢ３であってもよい。マージフラグは、ブロックがマージモードを使用して符号化される場合に１に設定され、スキップモード又はアフィンマージモード等の別のモードの場合に０に設定される。ＶＭＴ２．０では、アフィンマージが基本又は「古典的」マージモードとは別のモードであることに留意されたい。アフィンマージモードは、専用のアフィンフラグを使用して伝達され得る。あるいは、マージ候補リストがアフィンマージ候補を含んでもよく、その場合、アフィンマージモードが選択され、かつ、マージインデックスを使用して伝達されてもよい。
【0157】
その後、コンテキスト変数は以下のように設定される、すなわち、左と上の隣接ブロックのどちらも、１に設定されたそれのマージフラグを有さない場合に０、左及び右に隣接するブロックの一方ではなく他方が１に設定されたマージフラグを有する場合に１、左及び上の隣接ブロックの各々が１に設定されたそれのマージフラグを有する場合に２。この単純な手段は、ＶＴＭ２．０よりも符号化効率の改善を達成する。他の利点は、第７及び第８実施形態と比較して、隣接ブロックのマージインデックスではなくマージフラグのみがチェックされる必要があるので、より低い複雑さとなる。変形例では、現在のブロックのマージインデックスのビットのコンテキスト変数が単一の隣接ブロックのマージフラグに依存する。
【0158】
（第１０実施形態）
第３から第９実施形態では、現在のブロックのマージインデックスのビットのコンテキスト変数が１つ以上の隣接ブロックのマージインデックス値又はマージフラグに依存した。第１０実施形態では、現在のブロックのマージインデックスのビットのためのコンテキスト変数が現在のブロック（現在の符号化ユニット、又はＣＵ）のためのスキップフラグの値に依存する。スキップフラグは、現在のブロックがマージスキップモードを使用する場合に１に等しく、そうでない場合に０に等しくなる。スキップフラグは、現在のブロックに対して既に復号化又は解析されている別の変数又はシンタックス要素の第１の例である。この他の変数又はシンタックス要素は、好ましくは現在のブロックにおける動き情報の複雑さの指標である。マージインデックス値の発生は、動き情報の複雑さに依存するので、スキップフラグのような変数又はシンタックス要素は一般にマージインデックス値と相関する。
第３から第９実施形態では、現在のブロックのマージインデックスのビットのコンテキスト変数が１つ以上の隣接ブロックのマージインデックス値又はマージフラグに依存した。第１０実施形態では、現在のブロックのマージインデックスのビットのためのコンテキスト変数が現在のブロック（現在の符号化ユニット、又はＣＵ）のためのスキップフラグの値に依存する。スキップフラグは、現在のブロックがマージスキップモードを使用する場合に１に等しく、そうでない場合に０に等しくなる。スキップフラグは、現在のブロックに対して既に復号化又は解析されている別の変数又はシンタックス要素の第１の例である。この他の変数又はシンタックス要素は、好ましくは現在のブロックにおける動き情報の複雑さの指標である。マージインデックス値の発生は、動き情報の複雑さに依存するので、スキップフラグのような変数又はシンタックス要素は一般にマージインデックス値と相関する。
【0159】
より具体的には、マージスキップモードが一般に、静的シーン又は一定の動きを伴うシーンに対して選択される。その結果、マージインデックス値は一般に、ブロック残差を含むインター予測を符号化するために使用される古典的なマージモードよりもマージスキップモードの方が低い。これは、一般に、より複雑な動きに対して生じる。しかしながら、これらのモード間の選択は、しばしば量子化及び／又はＲＤ基準にも関連する。この単純な手段は、ＶＴＭ２．０よりも符号化効率を向上させることを提供する。それは隣接するブロック又はマージインデックス値をチェックすることを伴わないので、それはまた実施するのが非常に簡単である。第１の変形例では、現在のブロックのマージインデックスのビットのコンテキスト変数が、簡単に現在のブロックのスキップフラグに等しく設定される。ビットは、第１ビットのみであってもよい。他のビットは、第１実施形態のようにバイパス符号化される。第２の変形例では、マージインデックスの全てのビットがＣＡＢＡＣ符号化され、それらの各々はマージフラグに応じてそれ自体のコンテキスト変数を有する。これは、（６つのマージ候補に対応する）マージインデックス内に５つのＣＡＢＡＣ符号化ビットがある場合に１０の確率状態を必要とする。
【0160】
第３の変形例では、状態の数を制限するために、マージインデックスのＮビットのみがＣＡＢＡＣ符号化され、ここでＮは２以上、例えば最初のＮビットである。これは、２Ｎの状態を必要とする。例えば、最初の２ビットがＣＡＢＡＣ符号化される場合、４つの状態が必要とされる。一般に、スキップフラグの代わりに、現在のブロックに対して既に復号又は解析されていて、現在のブロックにおける動き情報の複雑さの指標である任意の他の変数又はシンタックス要素を使用することが可能である。
【0161】
（第１１実施形態）
第１１実施形態は、図１１（ａ）、図１１（ｂ）及び図１２を参照して前述したアフィンマージ伝達に関する。第１１実施形態では、現在のブロック（現在のＣＵ）のマージインデックスのＣＡＢＡＣ符号化ビットのコンテキスト変数がもしあれば、マージ候補のリスト内のアフィンマージ候補に依存する。このビットはマージインデックスの第１番目のビットのみ又は最初のＮビットであってよく、ここでＮは２以上又は任意のＮビットである。他のビットはバイパス符号化される。アフィン予測は複雑な動きを補償するために設計されている。したがって、複雑な動きに対するマージインデックスは一般に、それほど複雑でない動きよりも高い値を有する。第１のアフィンマージ候補がリストからはるかに下にある場合、又はアフィンマージ候補が全くない場合、現在のＣＵのマージインデックスは、小さい値を有する可能性があることになる。したがって、コンテキスト変数は、リスト内の少なくとも１つのアフィンマージ候補の存在及び／又は位置に依存することが効果的である。
第１１実施形態は、図１１（ａ）、図１１（ｂ）及び図１２を参照して前述したアフィンマージ伝達に関する。第１１実施形態では、現在のブロック（現在のＣＵ）のマージインデックスのＣＡＢＡＣ符号化ビットのコンテキスト変数がもしあれば、マージ候補のリスト内のアフィンマージ候補に依存する。このビットはマージインデックスの第１番目のビットのみ又は最初のＮビットであってよく、ここでＮは２以上又は任意のＮビットである。他のビットはバイパス符号化される。アフィン予測は複雑な動きを補償するために設計されている。したがって、複雑な動きに対するマージインデックスは一般に、それほど複雑でない動きよりも高い値を有する。第１のアフィンマージ候補がリストからはるかに下にある場合、又はアフィンマージ候補が全くない場合、現在のＣＵのマージインデックスは、小さい値を有する可能性があることになる。したがって、コンテキスト変数は、リスト内の少なくとも１つのアフィンマージ候補の存在及び／又は位置に依存することが効果的である。
【0162】
例えば、コンテキスト変数は、以下のように設定されてもよい、すなわち、
Ａ１がアフィンである場合に１
Ｂ１がアフィンである場合に２
Ｂ０がアフィンである場合に３
Ａ０がアフィンである場合に４
Ｂ２がアフィンである場合に５
隣接ブロックがアフィンでない場合に０
現在のブロックのマージインデックスが復号又は解析される場合、これらの位置におけるマージ候補のアフィンフラグは、既にチェックされている。したがって、現在のブロックのマージインデックスのコンテキストを導出するために、さらなるメモリアクセスは必要とされない。この実施形態は、ＶＴＭ２．０よりも符号化効率を向上させることを提供する。ステップ１２０５は既に隣接するＣＵアフィンモードをチェックすることを含むので、追加のメモリアクセスは必要とされない。
Ａ１がアフィンである場合に１
Ｂ１がアフィンである場合に２
Ｂ０がアフィンである場合に３
Ａ０がアフィンである場合に４
Ｂ２がアフィンである場合に５
隣接ブロックがアフィンでない場合に０
現在のブロックのマージインデックスが復号又は解析される場合、これらの位置におけるマージ候補のアフィンフラグは、既にチェックされている。したがって、現在のブロックのマージインデックスのコンテキストを導出するために、さらなるメモリアクセスは必要とされない。この実施形態は、ＶＴＭ２．０よりも符号化効率を向上させることを提供する。ステップ１２０５は既に隣接するＣＵアフィンモードをチェックすることを含むので、追加のメモリアクセスは必要とされない。
【0163】
第１の変形例では、状態の数を制限するために、コンテキスト変数は以下のように設定されてもよい、すなわち、
隣接ブロックがアフィンでない場合、又はＡ１又はＢ１がアフィンである場合に０、
Ｂ０、Ａ０又はＢ２がアフィンである場合に１。
第２の変形例では、状態の数を制限するために、コンテキスト変数は以下のように設定されてもよい、すなわち、
隣接ブロックがアフィンでない場合に０、
Ａ１又はＢ１がアフィンである場合に１、
Ｂ０、Ａ０又はＢ２がアフィンである場合に２。
第３の変形例では、コンテキスト変数は以下と等しく設定されてもよい、すなわち、
Ａ１がアフィンである場合に１、
Ｂ１がアフィンである場合に２、
Ｂ０がアフィンである場合に３、
Ａ０又はＢ２がアフィンである場合に４、
隣接ブロックがアフィンでない場合に０。
隣接ブロックがアフィンでない場合、又はＡ１又はＢ１がアフィンである場合に０、
Ｂ０、Ａ０又はＢ２がアフィンである場合に１。
第２の変形例では、状態の数を制限するために、コンテキスト変数は以下のように設定されてもよい、すなわち、
隣接ブロックがアフィンでない場合に０、
Ａ１又はＢ１がアフィンである場合に１、
Ｂ０、Ａ０又はＢ２がアフィンである場合に２。
第３の変形例では、コンテキスト変数は以下と等しく設定されてもよい、すなわち、
Ａ１がアフィンである場合に１、
Ｂ１がアフィンである場合に２、
Ｂ０がアフィンである場合に３、
Ａ０又はＢ２がアフィンである場合に４、
隣接ブロックがアフィンでない場合に０。
【0164】
これらの位置は、アフィンフラグ復号化がこれらの位置に依存するので、マージインデックスが復号又は構文解析される場合に既にチェックされていることに留意されたい。従って、アフィンフラグの後に符号化されるマージインデックスコンテキストを導出するために、追加のメモリアクセスを必要としない。
【0165】
（第１２実施形態）
第１２実施形態では、アフィンモードを伝達することは、アフィンモードを候補動き予測子として挿入することを含むアフィンモードを含む。第１２実施形態の一例では、アフィンマージ（及びマージスキップ）はマージ候補として伝達される。その場合、図１２のモジュール１２０５、１２０６、１２０７は除去される。加えて、マージモードの符号化効率に影響を与えないように、マージ候補の最大可能数はインクリメントされる。例えば、現在のＶＴＭバージョンでは、この値は６に等しく設定され、したがって、この実施形態をＶＴＭの現在のバージョンに適用する場合、値は７になる。利点は、シンタックス要素は復号される必要が少ないため、マージモードのシンタックス要素の設計簡素化となる。状況によっては、符号化効率は観察され得る。
第１２実施形態では、アフィンモードを伝達することは、アフィンモードを候補動き予測子として挿入することを含むアフィンモードを含む。第１２実施形態の一例では、アフィンマージ（及びマージスキップ）はマージ候補として伝達される。その場合、図１２のモジュール１２０５、１２０６、１２０７は除去される。加えて、マージモードの符号化効率に影響を与えないように、マージ候補の最大可能数はインクリメントされる。例えば、現在のＶＴＭバージョンでは、この値は６に等しく設定され、したがって、この実施形態をＶＴＭの現在のバージョンに適用する場合、値は７になる。利点は、シンタックス要素は復号される必要が少ないため、マージモードのシンタックス要素の設計簡素化となる。状況によっては、符号化効率は観察され得る。
【0166】
この例を実施するための２つの可能性はここで説明する、すなわち、アフィンマージインデックスは、他のマージＭＶの値が何であれ、リスト内で常に同じ位置を有する。候補動き予測子の位置は選択されるそれの確信度を示し、それがリストのより上に置かれた場合（より低いインデックス値）、動きベクトル予測子が選択される可能性が高くなる。第１の例では、アフィンマージインデックスがマージ候補のリスト内で常に同じ位置を有する。これは、固定されたマージｉｄｘ値を有することを意味する。例えば、アフィンマージモードが最も確率の高いコンテンツではない複雑な動きを表すべきであるので、この値は５に等しく設定されてよい。この実施形態の追加の利点は、現在のブロックが構文解析される場合（シンタックス要素の復号化／読み出しだけであり、データ自体を復号化しない）、現在のブロックはアフィンブロックとして設定されてもよい、ことである。したがって、値は、ＡＭＶＰに使用されるアフィンフラグのＣＡＢＡＣコンテキストを判定するために使用されてよい。したがって、条件付き確率はこのアフィンフラグについて改善されるべきであり、符号化効率は、より良好であるべきである。
【0167】
第２の例では、アフィンマージ候補が他のマージ候補と共に導出される。この例では、新しいアフィンマージ候補がマージ候補のリストに追加される。図１８はこの例を示す。図１３と比較すると、アフィン候補は、第１のアフィン隣接ブロックＡ１、Ｂ１、Ｂ０、Ａ０、Ｂ２（１９１７）である。図１２の１２０５と同じ条件が有効である場合（１９２７）、アフィンパラメータを用いて生成された動きベクトル場が、アフィン候補を得るために生成される（１９２９）。初期候補のリストは、ＡＴＭＶＰ、時間的、及びアフィン候補の使用に従って、４、５、６、又は７つの候補を有することができる。全てのこれらの候補の間の順序は、より可能性の高い候補はそれらが動きベクトル候補のカットを行う可能性がより高いことを保証するために、最初に処理されるべきであるため、重要であり、好ましい順序は、以下の通りである、すなわち、
Ａ１
Ｂ１
Ｂ０
Ａ０
アフィンマージ
ＡＴＭＶＰ
Ｂ２
時間的
組み合わせ
Ｚｅｒｏ＿ＭＶ
Ａ１
Ｂ１
Ｂ０
Ａ０
アフィンマージ
ＡＴＭＶＰ
Ｂ２
時間的
組み合わせ
Ｚｅｒｏ＿ＭＶ
【0168】
アフィンマージはＡＴＭＶＰモードの前であるが、４つの主要な隣接ブロックの後にあることに留意することが重要である。ＡＴＭＶＰ候補の前にアフィンマージを設定する利点は、ＡＴＭＶＰ及び時間的予測子の後にそれを設定することと比較すると、符号化効率向上である。この符号化効率向上は、ＧＯＰ（ピクチャグループ）構造と、ＧＯＰ内の各ピクチャの量子化パラメータ（ＱＰ）設定とに依存する。しかし、最も使用されるＧＯＰ及びＱＰ設定について、この順序は符号化効率に増加を与える。このソリューションのさらなる利点は、シンタックス及び導出の両方のためのマージ及びマージスキップのきれいな設計である。さらに、アフィン候補マージインデックスは、リスト内の以前の候補の可用性又は値（重複チェック）に従って変更することができる。したがって、効率的な信号化が得られる。さらなる例では、アフィンマージインデックスは、１つ又はいくつかの条件に従って可変である。
【0169】
例えば、アフィン候補に関連付けられたリスト内のマージインデックス又は位置は、基準に応じて変化する。原理は、アフィンマージが選択される高い確率を有する場合、アフィンマージに対応するマージインデックスに低い値を（選択される低い確率が存在する場合、高い値を）設定することである。第１２の実施形態では、アフィンマージ候補がマージインデックス値を有する。マージインデックスの符号化効率を改善するために、マージインデックスのビットのコンテキスト変数を、隣接ブロック及び／又は現在のブロックのアフィンフラグに依存させることが有効である。例えば、コンテキスト変数は、以下の式を使用して決定されてよい。
ctxIdx = IsAffine(A１)+ IsAffine(B１)+ IsAffine(B０)+ IsAffine(A０)+ IsAffine(B２）
生じるコンテキスト値は、値０、１、２、３、又は４を有することができる。アフィンフラグは、符号化効率を高める。
ctxIdx = IsAffine(A１)+ IsAffine(B１)+ IsAffine(B０)+ IsAffine(A０)+ IsAffine(B２）
生じるコンテキスト値は、値０、１、２、３、又は４を有することができる。アフィンフラグは、符号化効率を高める。
【0170】
第１の変形例では、より少ない隣接ブロックを含むために、ctxIdx = IsAffine(A１)+ IsAffine(B１）である。生じるコンテキスト値は、値０、１、又は２を有することができる。第２の変形例ではまた、より少ない隣接ブロック、ctxIdx = IsAffine(A２)+ IsAffine(B３）を含む。再び、生じるコンテキスト値は、値０、１、又は２を有することができる。第３の変形例では、隣接ブロック、ctxIdx = IsAffine(現在のブロック）を含まない。生じるコンテキスト値は、値０又は１を有することができる。図１６は、第３の変形例を有する符号化モードに関連するいくつかのシンタックス要素の部分符号化処理のフローチャートである。この図では、スキップフラグ（１６０１）、予測モード（１６１１）、マージフラグ（１６０３）、マージインデックス（１６０８）、及びアフィンフラグ（１６０６）が復号されてよい。このフローチャートは、先に説明した図１２のそれと同様であり、よって詳細な説明は省略される。違いは、ＶＴＭ２．０の場合ではない、アフィンマージフラグに対するマージインデックスが存在することである。ＶＴＭ２．０では、現在のブロックのアフィンフラグが、それが常に同じ値「０」を有するので、マージインデックスのコンテキストを取得するために使用され得ない。
【0171】
（第１３実施形態）
第１０の実施形態では、現在のブロックのマージインデックスのビットに対するコンテキスト変数が、現在のブロック（現在の符号化ユニット、又はＣＵ）に対するスキップフラグの値に依存した。第１３の実施形態ではマージインデックスのターゲットビットのためのコンテキスト変数を導出するためにスキップフラグ値を直接使用する代わりに、ターゲットビットのためのコンテキスト値は現在のＣＵのスキップフラグのためのコンテキスト変数から導出される。これは、スキップフラグ自体がＣＡＢＡＣ符号化され、したがってコンテキスト変数を有するために可能となる。好ましくは、現在のＣＵのマージインデックスのターゲットビットに対するコンテキスト変数が、現在のＣＵのスキップフラグに対するコンテキスト変数（からコピーされる）に等しく設定される。ターゲットビットは、第１番目のビットのみであってよい。他のビットは、第１の実施形態のようにバイパス符号化される。
第１０の実施形態では、現在のブロックのマージインデックスのビットに対するコンテキスト変数が、現在のブロック（現在の符号化ユニット、又はＣＵ）に対するスキップフラグの値に依存した。第１３の実施形態ではマージインデックスのターゲットビットのためのコンテキスト変数を導出するためにスキップフラグ値を直接使用する代わりに、ターゲットビットのためのコンテキスト値は現在のＣＵのスキップフラグのためのコンテキスト変数から導出される。これは、スキップフラグ自体がＣＡＢＡＣ符号化され、したがってコンテキスト変数を有するために可能となる。好ましくは、現在のＣＵのマージインデックスのターゲットビットに対するコンテキスト変数が、現在のＣＵのスキップフラグに対するコンテキスト変数（からコピーされる）に等しく設定される。ターゲットビットは、第１番目のビットのみであってよい。他のビットは、第１の実施形態のようにバイパス符号化される。
【0172】
現在のＣＵのスキップフラグのコンテキスト変数は、ＶＴＭ２．０に規定された方法で導出される。ＶＴＭ２．０参照ソフトウェアと比較したこの実施形態の利点は、符号化効率に影響を与えることなく、マージインデックス復号化及び復号化部設計（及び符号化部設計）の複雑さ低減である。実際、この実施形態では、最低で、現在のＶＴＭマージインデックス符号化／復号化のために５ではなく、１のＣＡＢＡＣ状態のみがマージインデックスのために必要とされる。さらに、他のビットは、ＣＡＢＡＣで全てのビットを符号化することと比較して操作数を減らすバイパスＣＡＢＡＣ符号化されるので、それは最悪の場合の複雑さを減らす。
【0173】
（第１４実施形態）
第１３の実施形態では、ターゲットビットのコンテキスト値が現在のＣＵのスキップフラグのコンテキスト変数から導出された。第１４の実施形態では、ターゲットビットのコンテキスト値が現在のＣＵのアフィンフラグのコンテキスト変数から導出される。これは、アフィンフラグ自体がＣＡＢＡＣ符号化され、したがってコンテキスト変数を有するために可能である。好ましくは、現在のＣＵのマージインデックスのターゲットビットに対するコンテキスト変数が、現在のＣＵのアフィンフラグに対するコンテキスト変数（からコピーされる）に等しく設定される。ターゲットビットは、第１番目のビットのみであってよい。他のビットは、第１の実施形態のようにバイパス符号化される。現在のＣＵのアフィンフラグのコンテキスト変数は、ＶＴＭ２．０に規定された方法で導出される。ＶＴＭ２．０参照ソフトウェアと比較したこの実施形態の利点は、符号化効率に影響を与えることなく、マージインデックス復号及び復号化部設計（及び符号化部設計）の複雑さ低減である。実際、この実施形態では、最低で、現在のＶＴＭマージインデックス符号化／復号化のために５ではなく、１のＣＡＢＡＣ状態のみがマージインデックスのために必要とされる。さらに、他のビットは、ＣＡＢＡＣで全てのビットを符号化することと比較して操作数を減らす、ＣＡＢＡＣバイパス符号化されるので、それは最悪の場合の複雑さを減らす。
第１３の実施形態では、ターゲットビットのコンテキスト値が現在のＣＵのスキップフラグのコンテキスト変数から導出された。第１４の実施形態では、ターゲットビットのコンテキスト値が現在のＣＵのアフィンフラグのコンテキスト変数から導出される。これは、アフィンフラグ自体がＣＡＢＡＣ符号化され、したがってコンテキスト変数を有するために可能である。好ましくは、現在のＣＵのマージインデックスのターゲットビットに対するコンテキスト変数が、現在のＣＵのアフィンフラグに対するコンテキスト変数（からコピーされる）に等しく設定される。ターゲットビットは、第１番目のビットのみであってよい。他のビットは、第１の実施形態のようにバイパス符号化される。現在のＣＵのアフィンフラグのコンテキスト変数は、ＶＴＭ２．０に規定された方法で導出される。ＶＴＭ２．０参照ソフトウェアと比較したこの実施形態の利点は、符号化効率に影響を与えることなく、マージインデックス復号及び復号化部設計（及び符号化部設計）の複雑さ低減である。実際、この実施形態では、最低で、現在のＶＴＭマージインデックス符号化／復号化のために５ではなく、１のＣＡＢＡＣ状態のみがマージインデックスのために必要とされる。さらに、他のビットは、ＣＡＢＡＣで全てのビットを符号化することと比較して操作数を減らす、ＣＡＢＡＣバイパス符号化されるので、それは最悪の場合の複雑さを減らす。
【0174】
（第１５実施形態）
前述の実施形態のいくつかでは、コンテキスト変数が２を超える値、例えば、３つの値０、１、及び２を有していた。しかしながら、複雑さを低減するため、及び、処理される状態の数を低減するために、許可されるコンテキスト変数値の数を２、例えば、０及び１に制限することが可能である。これは、例えば、値２を有する任意の初期コンテキスト変数を１に変更することによって達成され得る。実際には、この単純化が符号化効率に影響を及ぼさないか、又は限定された影響しか有さない。
前述の実施形態のいくつかでは、コンテキスト変数が２を超える値、例えば、３つの値０、１、及び２を有していた。しかしながら、複雑さを低減するため、及び、処理される状態の数を低減するために、許可されるコンテキスト変数値の数を２、例えば、０及び１に制限することが可能である。これは、例えば、値２を有する任意の初期コンテキスト変数を１に変更することによって達成され得る。実際には、この単純化が符号化効率に影響を及ぼさないか、又は限定された影響しか有さない。
【0175】
（実施形態の組合せ）
前述の実施形態のうちの任意の２つ以上が組み合わされてもよい。前述の説明は、マージインデックスの符号化及び復号化に焦点を当ててきた。例えば、第１の実施形態はＡＴＭＶＰ候補を含むマージ候補のリストを生成することと、リスト内のマージ候補のうちの１つを選択することと、ＣＡＢＡＣ符号化を使用して、選択されたマージ候補のためのマージインデックスを生成することとを含み、マージインデックスの１つ以上のビットは、バイパスＣＡＢＡＣ符号化される。原則として、本発明は動きベクトル予測子（ＭＶＰ）候補のリストを生成すること、リスト内のＭＶＰ候補のうちの１つを選択することと、選択されたＭＶＰ候補に対するインデックスを生成することを含むマージモード以外のモードに適用され得る。したがって、本発明はマージモードに限定されず、符号又は復号されるインデックスはマージインデックスに限定されない。例えば、ＶＶＣの開発において、前述の実施形態の技術は、ＨＥＶＣのＡＭＶＰモード又はＶＶＣにおけるそれの同等のモードのような、マージモード以外のモードに拡張されるように適用され得ることが考えられる。それにより、添付の特許請求の範囲は、解釈されるべきである。
前述の実施形態のうちの任意の２つ以上が組み合わされてもよい。前述の説明は、マージインデックスの符号化及び復号化に焦点を当ててきた。例えば、第１の実施形態はＡＴＭＶＰ候補を含むマージ候補のリストを生成することと、リスト内のマージ候補のうちの１つを選択することと、ＣＡＢＡＣ符号化を使用して、選択されたマージ候補のためのマージインデックスを生成することとを含み、マージインデックスの１つ以上のビットは、バイパスＣＡＢＡＣ符号化される。原則として、本発明は動きベクトル予測子（ＭＶＰ）候補のリストを生成すること、リスト内のＭＶＰ候補のうちの１つを選択することと、選択されたＭＶＰ候補に対するインデックスを生成することを含むマージモード以外のモードに適用され得る。したがって、本発明はマージモードに限定されず、符号又は復号されるインデックスはマージインデックスに限定されない。例えば、ＶＶＣの開発において、前述の実施形態の技術は、ＨＥＶＣのＡＭＶＰモード又はＶＶＣにおけるそれの同等のモードのような、マージモード以外のモードに拡張されるように適用され得ることが考えられる。それにより、添付の特許請求の範囲は、解釈されるべきである。
【0176】
（本発明の実施形態の実装）
図２０は、本発明の１つ以上の実施形態を実装するためのコンピューティングデバイス２０００の模式的なブロック図である。コンピューティングデバイス２０００は、マイクロコンピュータ、ワークステーション、又はライトポータブルデバイスなどのデバイスであってよい。コンピューティングデバイス２０００は、以下に接続された通信バスを備える、マイクロプロセッサなどの中央処理装置（ＣＰＵ）２００１、本発明の実施形態の方法の実行可能コードを記憶するためのランダムアクセスメモリ（ＲＡＭ）２００２及び本発明の実施形態に係る画像の少なくとも一部を符号化又は復号化するための方法を実現するために必要な変数及びパラメータを記録するために適合されたレジスタ、それらのメモリ容量は例えば、拡張ポートに接続されたオプションのＲＡＭによって拡張されてもよく、本発明の実施形態を実現するためのコンピュータプログラムを記憶するための読み出し専用メモリ（ＲＯＭ）２００３、ネットワークインターフェース（ＮＥＴ）２００４は処理されるデジタルデータが送信又は受信される通信ネットワークに典型的に接続される。ネットワークインターフェース（ＮＥＴ）２００４は単一のネットワークインターフェースであってもよいし、異なるネットワークインターフェース（例えば、有線及び無線インターフェース、又は異なる種類の有線又は無線インターフェース）のセットで構成されてもよい。
図２０は、本発明の１つ以上の実施形態を実装するためのコンピューティングデバイス２０００の模式的なブロック図である。コンピューティングデバイス２０００は、マイクロコンピュータ、ワークステーション、又はライトポータブルデバイスなどのデバイスであってよい。コンピューティングデバイス２０００は、以下に接続された通信バスを備える、マイクロプロセッサなどの中央処理装置（ＣＰＵ）２００１、本発明の実施形態の方法の実行可能コードを記憶するためのランダムアクセスメモリ（ＲＡＭ）２００２及び本発明の実施形態に係る画像の少なくとも一部を符号化又は復号化するための方法を実現するために必要な変数及びパラメータを記録するために適合されたレジスタ、それらのメモリ容量は例えば、拡張ポートに接続されたオプションのＲＡＭによって拡張されてもよく、本発明の実施形態を実現するためのコンピュータプログラムを記憶するための読み出し専用メモリ（ＲＯＭ）２００３、ネットワークインターフェース（ＮＥＴ）２００４は処理されるデジタルデータが送信又は受信される通信ネットワークに典型的に接続される。ネットワークインターフェース（ＮＥＴ）２００４は単一のネットワークインターフェースであってもよいし、異なるネットワークインターフェース（例えば、有線及び無線インターフェース、又は異なる種類の有線又は無線インターフェース）のセットで構成されてもよい。
【0177】
データパケットは送信のためにネットワークインターフェースに書き込まれるか、又はＣＰＵ２００１で実行するソフトウェアアプリケーションの制御の下で受信用のネットワークインターフェースから読み出される、ユーザインターフェース（ＵＩ）２００５がユーザからの入力を受信するため又はユーザに情報を表示するために使用されてもよい、ハードディスク（ＨＤ）２００６は大容量記憶装置として提供されてもよい、入力／出力モジュール（ＩＯ）２００７が、ビデオソース又はディスプレイなどの外部装置から／までデータを受信／送信するために使用されてもよい。実行可能符号は、ＲＯＭ２００３、ＨＤ２００６、又は例えばディスクのようなリムーバブルデジタル媒体のいずれかに格納されてもよい。変形例によれば、プログラムの実行可能符号は実行される前に、ＨＤ２００６などの通信装置２０００の記憶手段の１つに記憶されるために、ＮＥＴ２００４を介して、通信ネットワークの手段によって受信され得る。ＣＰＵ２００１は、命令が前述の記憶手段の１つに格納される、本発明の実施形態によるプログラム又はプログラムのソフトウェアコードの命令又は部分の実行を制御し、指示するように適合される。電源オン後、ＣＰＵ２００１は例えば、プログラムＲＯＭ２００３又はＨＤ２００６からこれらの命令がロードされた後に、メインＲＡＭメモリ２００２から、ソフトウェアアプリケーションに関する命令を実行することができる。このようなソフトウェアアプリケーションは、ＣＰＵ２００１によって実行されると、本発明による方法のステップを実行させる。
【0178】
また、本発明の他の実施形態によれば、コンピュータ、携帯電話（携帯電話）、タブレット、又はユーザにコンテンツを提供／表示することができる他の任意の種類のデバイス（例えば、ディスプレイ装置）などのユーザ端末に、前述の実施形態による復号化部が提供されることも理解される。さらに別の実施形態によれば、前述の実施形態による符号化部は、符号化部が符号化するためのコンテンツをキャプチャ及び提供するカメラ、ビデオカメラ、又はネットワークカメラ（例えば、閉回路テレビ又はビデオ監視カメラ）も備える画像キャプチャ装置において提供される。２つのこのような例は、図２０及び２１を参照して以下に提供される。
【0179】
図２０は、ネットワークカメラ２１０２及びクライアント装置２１０４を含むネットワークカメラシステム２１００を示す図である。ネットワークカメラ２１０２は、撮像部２１０６と、符号化部２１０８と、通信部２１１０と、制御部２１１２とを含む。ネットワークカメラ２１０２とクライアント装置２１０４は、ネットワーク２００を介して相互に通信可能なように相互接続されている。撮像部２１０６は、レンズ及び撮像素子（例えば、電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ））を含み、被写体の画像を撮像し、その画像に基づいて画像データを生成する。この画像は静止画像又はビデオ画像であってもよい。また、撮像部は、（光学的又はデジタル的のいずれかで）ズーム又はパンするように適合されるズーム手段及び／又はパン手段をそれぞれ備えてもよい。符号化部２１０８は、第１から第５実施形態で説明された前記符号化方法を用いて画像データを符号化する。符号化部２１０８は、第１から第５の実施形態で説明された符号化方法の少なくとも１つを使用する。他の例について、符号化部２１０８は、第１から第５の実施形態で説明された符号化方法の組み合わせを使用することができる。
【0180】
ネットワークカメラ２１０２の通信部２１１０は、符号化部２１０８で符号化された符号化画像データをクライアント装置２１０４に送信する。さらに、通信部２１１０は、クライアント装置２１０４からのコマンドを受信する。コマンドは、符号化部２１０８の符号化のためのパラメータを設定するためのコマンドを含む。制御部２１１２は、通信部２１１０によって受信されたコマンドに従って、ネットワークカメラ２１０２内の他の部を制御する。クライアント装置２１０４は、通信部２１１４、復号化部２１１６、及び制御部２１１８を有する。クライアント装置２１０４の通信部２１１８は、ネットワークカメラ２１０２にコマンドを送信する。さらに、クライアント装置２１０４の通信部２１１８は、ネットワークカメラ２１０２から符号化画像データを受信する。復号化部２１１６は、第１から第５の実施形態のいずれかで説明された前記復号化方法を用いることにより、符号化画像データを復号する。別の例として、復号化部２１１６は、第１から第５の実施形態で説明された復号化方法の組み合わせを使用することができる。
【0181】
クライアント装置２１０４の制御部２１１８は、通信部２１１４が受信したユーザ操作又はコマンドに従って、クライアント装置２１０４内の他の部を制御する。クライアント装置２１０４の制御部２１１８は、復号化部２１１６で復号された画像を表示するために表示装置２１２０を制御する。また、クライアント装置２１０４の制御部２１１８は、符号化部２１０８の符号化のためのパラメータを含むネットワークカメラ２１０２のパラメータの値を指定するＧＵＩ（グラフィカルユーザインタフェース）を表示するために表示装置２１２０を制御する。また、クライアント装置２１０４の制御部２１１８は、表示装置２１２０により表示されるＧＵＩへのユーザ操作入力に応じて、クライアント装置２１０４内の他の部を制御する。クライアント装置２１０４の制御部２１１８は、表示装置２１２０により表示されるＧＵＩへのユーザ操作入力に応じて、ネットワークカメラ２１０２のパラメータの値を指定するコマンドをネットワークカメラ２１０２に送信するために、クライアント装置２１０４の通信部２１１４を制御する。ネットワークカメラシステム２１００は、ビデオの記録中にカメラ２１０２がズーム又はパンを利用するかどうかを判定することができ、このような情報は、ビデオストリームをズーム又はパンとして符号化する場合、撮影がズーム、回転、及び／又は伸張（特にレンズが「魚眼」レンズである場合、パンの副作用になり得る）などの複雑な動きを符号化するのによく適したアフィンモードの使用から利益を得ることができる間に、使用されてもよい。
【0182】
図２１は、スマートフォン２２００を示す図である。スマートフォン２２００は、通信部２２０２と、復号化／符号化部２２０４、制御部２２０６及び表示部２２０８を含む。通信部２２０２は、符号化された画像データをネットワーク経由で受信する。復号化部２２０４は、通信部２２０２により受信された符号化画像データを復号する。復号化部２２０４は第１から第５の実施形態で説明された前記復号方法を用いることにより、符号化画像データを復号する。復号化部２２０４は、第１から第５の実施形態で説明された復号化方法の少なくとも１つを使用することができる。例えば、符号化部２２０２は、第１から第５の実施形態で説明された復号化方法の組み合わせを使用することができる。制御部２２０６は、通信部２２０２により受信されたユーザ操作又はコマンドに応じて、スマートフォン２２００内の他の部を制御する。
【0183】
例えば、制御部２２０６は、復号化部２２０４により復号された画像を表示するために表示装置２２０８を制御する。スマートフォンは画像又はビデオを記録するための画像記録装置２２１０（例えば、回路に関連付けられたデジタルカメラ）をさらに備えることができる。このような記録された画像又はビデオは、制御部２２０６の指示の下、復号化／符号化部２２０４によって符号化されてもよい。スマートフォンはさらに、モバイル装置の向きを感知するように適合されたセンサ２２１２を備えてもよい。このようなセンサは、加速度計、ジャイロスコープ、コンパス、全地球測位（ＧＰＳ）ユニット又は同様の位置センサを含むことができる。そのようなセンサ２２１２は、スマートフォンが向きを変えるかどうかを判定することができ、そのような情報は、撮影が回転のような複雑な動きを符号化によく適したアフィンモードの使用から利益を得ることができる間に、ビデオストリームを向きにおける変化として符号化する場合に、使用されてもよい。
【0184】
（代替例及び修正例）
本発明の目的はアフィンモードが最も効率的な方法で利用されることを保証することであり、上述の特定の例は、アフィンモードが有用であると知覚される可能性に依存して、アフィンモードの使用を伝達することに関することが理解されるであろう。これのさらなる例は複雑な動き（アフィン変換が特に効率的である）が符号化されていることが知られている場合に、符号化部に適用され得る。このような場合の例には以下を含む。
ａ)カメラズームイン／ズームアウト
ｂ）撮影（すなわち、回転運動）中に向きを変えるポータブルカメラ（例えば、携帯電話）
ｃ）「魚眼」レンズカメラのパン（例えば、画像の一部の伸張／歪曲）
そのようなものとして、アフィンモードがスライス、フレームシーケンス、又は実際のビデオストリーム全体のために使用される可能性が高く与えられるように、記録プロセス中に複雑な動きの表示は上げられてよい。さらなる例では、アフィンモードがビデオを記録するために使用されるデバイスの特徴又は機能性に応じて、使用される高い可能性が与えられてよい。例えば、モバイル装置は、固定監視カメラ（と言う）よりも向きを変える可能性が高いので、アフィンモードは前者からのビデオを符号化するためにより適切であってよい。特徴又は機能の例は、ズーム手段の存在／使用、位置センサの存在／使用、パン手段の存在／使用、デバイスが携帯型であるか否か、又はデバイス上のユーザ選択を含む。
本発明の目的はアフィンモードが最も効率的な方法で利用されることを保証することであり、上述の特定の例は、アフィンモードが有用であると知覚される可能性に依存して、アフィンモードの使用を伝達することに関することが理解されるであろう。これのさらなる例は複雑な動き（アフィン変換が特に効率的である）が符号化されていることが知られている場合に、符号化部に適用され得る。このような場合の例には以下を含む。
ａ)カメラズームイン／ズームアウト
ｂ）撮影（すなわち、回転運動）中に向きを変えるポータブルカメラ（例えば、携帯電話）
ｃ）「魚眼」レンズカメラのパン（例えば、画像の一部の伸張／歪曲）
そのようなものとして、アフィンモードがスライス、フレームシーケンス、又は実際のビデオストリーム全体のために使用される可能性が高く与えられるように、記録プロセス中に複雑な動きの表示は上げられてよい。さらなる例では、アフィンモードがビデオを記録するために使用されるデバイスの特徴又は機能性に応じて、使用される高い可能性が与えられてよい。例えば、モバイル装置は、固定監視カメラ（と言う）よりも向きを変える可能性が高いので、アフィンモードは前者からのビデオを符号化するためにより適切であってよい。特徴又は機能の例は、ズーム手段の存在／使用、位置センサの存在／使用、パン手段の存在／使用、デバイスが携帯型であるか否か、又はデバイス上のユーザ選択を含む。
【0185】
本発明は実施形態を参照して説明されたが、本発明は開示された実施形態に限定されないことを理解されたい。添付の特許請求の範囲に定義されるように、本発明の範囲から逸脱することなく、様々な変更及び修正は行われることは、当業者には理解される。本明細書に開示された全ての特徴（添付の特許請求の範囲、要約及び図面を含む）、及び／又はそのように開示された任意の方法又は処理の全てのステップはそのような特徴及び／又はステップの少なくとも一部が相互に排他的である組み合わせを除き、任意の組み合わせで組み合わせられてよい。本明細書に開示される各特徴（添付の特許請求の範囲、要約及び図面を含む）は別段の記載がない限り、同一の、同等の、又は類似の目的を果たす代替的特徴に置き換えられてよい。したがって、別段の記載がない限り、開示される各特徴は、同等又は同様の特徴の一般的なシリーズの一例にすぎない。
【0186】
また、示されるか、又は判定／推論された結果は例えば、復号化処理中に、比較、判定、評価、選択、実行、実施、又は考慮を実際に実行する代わりに、処理において使用され得るように、上述の比較、判定、評価、選択、実行、実施、又は考慮の任意の結果、例えば、符号化又はフィルタ処理中に行われる選択はビットストリーム内のデータから、例えば、結果を示すフラグ又はデータに示され、又は判定可能／推論可能であってもよい、ことを理解されたい。特許請求の範囲において、単語「有する」は他の要素又はステップを排除するものではなく、不定冠詞「ａ」又は「ａｎ」は複数を排除するものではない。異なる特徴が相互に異なる従属請求項に記載されているという単なる事実は、これらの特徴の組合せが有利に使用され得ないことを示すものではない。特許請求の範囲に現れる参照符号は説明としてのみであり、特許請求の範囲に限定的な影響を及ぼさない。
【0187】
前述の実施形態では、説明された機能がハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。ソフトウェアで実施される場合、機能は、１つ以上の命令又はコードとして、コンピュータ可読媒体上に記憶され、又は送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体はデータ記憶媒体のような有形媒体に対応するコンピュータ可読記憶媒体、又は例えば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、又は（２）信号又は搬送波などの通信媒体に対応することができる。データ記憶媒体は本開示に記載される技術の実施のための命令、コード及び／又はデータ構造を検索するために、１つ以上のコンピュータ又は１つ以上のプロセッサによってアクセスされ得る任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
【0188】
限定ではなく、一例として、このようなコンピュータ可読記憶媒体はＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ又は他の光ディスク記憶装置、磁気ディスク記憶装置、又は他の磁気記憶装置、フラッシュメモリ、又は命令又はデータ構造の形成で所望のプログラムコードを記憶するために使用されてよく、かつ、コンピュータによってアクセスされ得る任意の他の媒体を含むことができる。また、任意の接続は、コンピュータ可読媒体と適切に呼ばれる。例えば、命令が同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかし、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的な媒体を含まず、代わりに非一時的な有形の記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク及びディスクはコンパクトディスク（ＣＤ）、レーザディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、及びブルーレイディスクを含み、ここで、ディスクは通常、磁気的にデータを再生するが、ディスクは、レーザで光学的にデータを再生する。上記の組合せは、コンピュータ可読媒体の範囲内にも含まれるべきである。
【0189】
命令は、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、又は他の同等の集積又は離散的論理回路など、１つ以上のプロセッサによって実行されてよい。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造のいずれか、又は本明細書で説明される技法の実装に適した他の任意の構造を指すことがある。さらに、いくつかの態様では本明細書に記載される機能性が符号化及び復号化のために構成された専用のハードウェア及び／又はソフトウェアモジュール内で提供されてもよく、又は結合されたコーデックに組み込まれてもよい。また、本技術は、１つ以上の回路又は論理素子で完全に実装され得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6a】
【図6b】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】