知財求人 - 知財ポータルサイト「IP Force」
▶ ベイジン ダイジャ インターネット インフォメーション テクノロジー カンパニー リミテッドの特許一覧
特許7124228映像符号化における動きマージモードのシグナリングのためのシステム、方法および非一時的コンピュータ可読記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-15
(45)【発行日】2022-08-23
(54)【発明の名称】映像符号化における動きマージモードのシグナリングのためのシステム、方法および非一時的コンピュータ可読記憶媒体
(51)【国際特許分類】
H04N 19/70 20140101AFI20220816BHJP
H04N 19/52 20140101ALI20220816BHJP
【ＦＩ】
H04N19/70
H04N19/52
【請求項の数】
20
(21)【出願番号】P 2021538770
(86)(22)【出願日】2019-12-30
(65)【公表番号】
(43)【公表日】2022-02-22
(86)【国際出願番号】 US2019068977
(87)【国際公開番号】W WO2020142448
(87)【国際公開日】2020-07-09
【審査請求日】2021-06-30
(31)【優先権主張番号】62/787,230
(32)【優先日】2018-12-31
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
【前置審査】
(73)【特許権者】
【識別番号】521289098
【氏名又は名称】ベイジン ダジア インターネット インフォメーション テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＤＡＪＩＡ ＩＮＴＥＲＮＥＴ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ １０１Ｄ１－７，１ｓｔ Ｆｌｏｏｒ，Ｂｕｉｌｄｉｎｇ １，Ｎｏ．６，Ｓｈａｎｇｄｉ Ｗｅｓｔ Ｒｏａｄ，Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ，Ｂｅｉｊｉｎｇ １０００８５，Ｐ．Ｒ．Ｃｈｉｎａ
(74)【代理人】
【識別番号】100112656
【弁理士】
【氏名又は名称】宮田 英毅
(74)【代理人】
【識別番号】100089118
【弁理士】
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】チェン，イーウェン
(72)【発明者】
【氏名】ワン，シャンリン
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第２０２０／１２３９９８（ＷＯ，Ａ１）
【文献】国際公開第２０２０／１１７６１９（ＷＯ，Ａ１）
【文献】Seungsoo Jeong, et al.，CE4 Ultimate motion vector expression (Test 4.5.4)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0054，12th Meeting: Macao, CN，2018年10月，pp.1-6
【文献】Benjamin Bross, Jianle Chen, and Shan Liu，Versatile Video Coding (Draft 3)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L1001-v7 (version 11)，12th Meeting: Macao, CN，2018年12月20日，pp.34-38, 61-65
【文献】Eiichi Sasaki, Takeshi Chujoh, and Tomohiro Ikai，Non-CE4: Syntax change of MMVD，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0069，13th Meeting: Marrakech, MA，2018年12月28日，pp.1-6
【文献】Yi-Wen Chen, and Xianglin Wang，Non-CE4: Regular merge flag coding，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0231，13th Meeting: Marrakech, MA，2019年01月，pp.1-3
【文献】Han Huang, et al，Non-CE4: Merge Modes Signaling ，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O0249，15th Meeting: Gothenburg, SE，2019年07月，pp.1-10
【文献】Benjamin Bross, Jianle Chen, and Shan Liu，Versatile Video Coding (Draft 6)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O2001-vE (version 14)，15th Meeting: Gothenburg, SE，2019年07月31日，pp.71,146-148
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
コンピュータが動きマージ処理を実行する方法であって、マージモードおよびマージ関連モードとして符号化されている符号化ユニット（Coding Unit：ＣＵ）に対する通常のマージフラグをデコーダから取得することと、
前記通常のマージフラグが１の場合、通常のマージモードまたは差分動きベクトルマージモード（Merge mode with Motion Vector Difference：ＭＭＶＤ）が、前記ＣＵによって使用されることを示し、前記ＣＵに対する単一のマージリストを構築することと、
前記通常のマージフラグが０の場合、前記通常のマージモードが前記ＣＵによって使用されないことを示し、さらにモードフラグの制約条件が満たされるときに使用される付随するマージ関連モードを示すモードフラグを受信することと、
を含み、
前記単一のマージリストは、どの候補が使用されるかを示す通常のマージインデックスによって選択される通常の動きベクトル候補とＭＭＶＤ動きベクトル候補とを含み、
前記単一のマージリストは、前記通常のマージモードと前記ＭＭＶＤとの両方に対して構築される、方法。
【請求項2】
ＭＭＶＤフラグが１に等しい場合、前記デコーダによって、ＭＭＶＤマージフラグ、ＭＭＶＤ距離インデックス、およびＭＭＶＤ方向インデックスを受信すること、をさらに含む、請求項１に記載の方法。
【請求項3】
サブブロックフラグを受信することをさらに含み、前記サブブロックフラグの制約条件は、
デコーダから幅および高さを有する符号化ブロックを取得することと、
前記デコーダによって、サブブロックベースマージングＭＶＰ候補（ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）の最大数が、０より大きいかどうかを判定することと、
前記デコーダによって、符号化ブロック幅が８以上かどうかを判定することと、
前記デコーダによって、符号化ブロック高さが８以上かどうかを判定することと、
を含む、請求項１に記載の方法。
【請求項4】
前記モードフラグは、組み合わせインターおよびイントラ予測（Combined Inter and Intra Prediction：ＣＩＩＰ）フラグであり、前記ＣＩＩＰの制約条件は、デコーダから幅および高さを有する符号化ブロックを取得することと、
前記デコーダによって、ｓｐｓ＿ｍｈ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが設定されているかどうかを判定することと、
前記デコーダによって、ｃｕ＿ｓｋｉｐ＿ｆｌａｇが０に等しいかどうかを判定することと、
前記デコーダによって、前記符号化ブロック幅かける前記符号化ブロック高さが６４以上であるかどうかを判定することと、
前記デコーダによって、符号化ブロック幅が１２８未満であるかどうかを判定することと、
前記デコーダによって、符号化ブロック高さが１２８未満であるかどうかを判定することと、
を含む、請求項１に記載の方法。
【請求項5】
前記モードフラグの制約条件が満たされるときに前記デコーダによって前記モードフラグを受信する前に、前記デコーダによって、通常のマージフラグを受信すること、をさらに含む、請求項１に記載の方法。
【請求項6】
差分動きベクトルマージモード（ＭＭＶＤ）フラグの制約条件が満たされるときに前記デコーダによって前記差分動きベクトルマージモード（ＭＭＶＤ）フラグを受信する前に、前記デコーダによって、通常のマージフラグを受信すること、をさらに含む、請求項５に記載の方法。
【請求項7】
インターおよびイントラ予測（ＣＩＩＰ）フラグの制約条件が満たされるときに前記デコーダによって前記インターおよびイントラ予測（ＣＩＩＰ）フラグを受信する前に、前記デコーダによって、通常のマージフラグを受信すること、をさらに含む、請求項５に記載の方法。
【請求項8】
モードフラグの制約条件が満たされるときに前記デコーダによって前記モードフラグを受信した後に、前記デコーダによって、通常のマージフラグを受信すること、をさらに含む、請求項１に記載の方法。
【請求項9】
サブブロックマージモードフラグの制約条件が満たされるときに前記デコーダによって前記サブブロックマージモードフラグを受信した後に、前記デコーダによって、通常のマージフラグを受信すること、をさらに含む、請求項８に記載の方法。
【請求項10】
複数のコンテキストモデルを用いるコンテキスト適応型２値算術符号化（Context-Adaptive Binary Arithmetic Coding：ＣＡＢＡＣ）を使用した前記通常のマージフラグを前記デコーダによって受信すること、をさらに含み、前記コンテキストモデルの選択は、符号化された情報に基づく、請求項１に記載の方法。
【請求項11】
１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサによって実行可能な命令を記憶している非一時的コンピュータ可読メモリと、を備えるコンピューティングデバイスであって、
前記１つまたは複数のプロセッサは、
マージモードおよびマージ関連モードとして符号化されている符号化ユニット（ＣＵ）に対する通常のマージフラグをデコーダから取得し、
前記通常のマージフラグが１の場合、通常のマージモードまたは差分動きベクトルマージモード（ＭＭＶＤ）が、前記ＣＵによって使用されることを示し、前記ＣＵに対する単一のマージリストを構築し、
前記通常のマージフラグが０の場合、前記通常のマージモードが前記ＣＵによって使用されないことを示し、さらにモードフラグの制約条件が満たされるときに使用される付随するマージ関連モードを示すモードフラグを受信する、
ように構成され、
前記単一のマージリストは、どの候補が使用されるかを示す通常のマージインデックスによって選択される通常の動きベクトル候補とＭＭＶＤ動きベクトル候補とを含み、
前記単一のマージリストは、前記通常のマージモードと前記ＭＭＶＤとの両方に対して構築される、コンピューティングデバイス。
【請求項12】
前記１つまたは複数のプロセッサは、ＭＭＶＤフラグが１に等しい場合の、前記デコーダによる、ＭＭＶＤマージフラグ、ＭＭＶＤ距離インデックス、およびＭＭＶＤ方向インデックスの受信、を実行する、請求項１１に記載のコンピューティングデバイス。
【請求項13】
前記１つまたは複数のプロセッサは、サブブロックフラグを受信するようにさらに構成され、前記サブブロックフラグの制約条件は、デコーダからの幅および高さを有する符号化ブロックの取得と、
前記デコーダによる、サブブロックベースマージングＭＶＰ候補（ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）の最大数が、０より大きいかどうかの判定と、
前記デコーダによる、符号化ブロック幅が８以上かどうかの判定と、
前記デコーダによる、符号化ブロック高さが８以上かどうかの判定と、
を含む、請求項１１に記載のコンピューティングデバイス。
【請求項14】
前記モードフラグは、組み合わせインターおよびイントラ予測（ＣＩＩＰ）フラグであり、前記ＣＩＩＰの制約条件は、
デコーダからの幅および高さを有する符号化ブロックの取得と、
前記デコーダによる、ｓｐｓ＿ｍｈ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが設定されているかどうかの判定と、
前記デコーダによる、ｃｕ＿ｓｋｉｐ＿ｆｌａｇが０に等しいかどうかの判定と、
前記デコーダによる、前記符号化ブロック幅かける前記符号化ブロック高さが６４以上であるかどうかの判定と、
前記デコーダによる、符号化ブロック幅が１２８未満であるかどうかの判定と、
前記デコーダによる、符号化ブロック高さが１２８未満であるかどうかの判定と、
を含む、請求項１１に記載のコンピューティングデバイス。
【請求項15】
前記１つまたは複数のプロセッサは、前記モードフラグの制約条件が満たされるときに前記デコーダによって前記モードフラグをシグナリングする前の、前記デコーダによる通常のマージフラグのシグナリング、を実行する、請求項１１に記載のコンピューティングデバイス。
【請求項16】
前記１つまたは複数のプロセッサは、インターおよびイントラ予測（ＣＩＩＰ）フラグの制約条件が満たされるときに前記デコーダによって前記インターおよびイントラ予測（ＣＩＩＰ）フラグをシグナリングする前の、前記デコーダによる、通常のマージフラグのシグナリング、を実行する、請求項１５に記載のコンピューティングデバイス。
【請求項17】
前記１つまたは複数のプロセッサは、モードフラグの制約条件が満たされるときに前記デコーダによって前記モードフラグを受信した後の、前記デコーダによる、通常のマージフラグの受信、をさらに含む、請求項１１に記載のコンピューティングデバイス。
【請求項18】
前記１つまたは複数のプロセッサは、サブブロックマージモードフラグの制約条件が満たされるときに前記デコーダによって前記サブブロックマージモードフラグを受信した後の、前記デコーダによる、通常のマージフラグの受信、を実行する、請求項１７に記載のコンピューティングデバイス。
【請求項19】
前記１つまたは複数のプロセッサは、複数のコンテキストモデルを用いるコンテキスト適応型２値算術符号化（ＣＡＢＡＣ）を使用した前記通常のマージフラグの前記デコーダによる受信、を実行し、前記コンテキストモデルの選択は、符号化された情報に基づく、請求項１１に記載のコンピューティングデバイス。
【請求項20】
１つまたは複数のプロセッサを有するコンピューティングデバイスによって実行される複数のプログラムを記憶している非一時的コンピュータ可読記憶媒体であって、前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、前記コンピューティングデバイスに、
マージモードおよびマージ関連モードとして符号化されている符号化ユニット（ＣＵ）に対する通常のマージフラグをデコーダから取得することと、
前記通常のマージフラグが１の場合、通常のマージモードまたは差分動きベクトルマージモード（ＭＭＶＤ）が、前記ＣＵによって使用されることを示し、前記ＣＵに対する単一のマージリストを構築することと、
前記通常のマージフラグが０の場合、前記通常のマージモードが前記ＣＵによって使用されないことを示し、さらにモードフラグの制約条件が満たされるときに使用される付随するマージ関連モードを示すモードフラグを受信することと、
を含む操作を実施させ、
前記単一のマージリストは、どの候補が使用されるかを示す通常のマージインデックスによって選択される通常の動きベクトル候補とＭＭＶＤ動きベクトル候補とを含み、
前記単一のマージリストは、前記通常のマージモードと前記ＭＭＶＤとの両方に対して構築される、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０１８年１２月３１日に出願の仮出願番号第６２／７８７，２３０号に基づき、かつその利益を主張し、その全内容は参照により本明細書に援用される。
本出願は、２０１８年１２月３１日に出願の仮出願番号第６２／７８７，２３０号に基づき、かつその利益を主張し、その全内容は参照により本明細書に援用される。
【0002】
本出願は、映像符号化および圧縮に関する。より具体的には、本出願は、映像符号化の動きマージモードのシグナリングのためのシステムおよび方法に関する。
【背景技術】
【0003】
種々の映像符号化技法が、映像データを圧縮するために使用される場合がある。映像符号化は、１つまたは複数の映像符号化規格に従って実施される。例えば、映像符号化規格には、汎用映像符号化（Versatile Video Coding：ＶＶＣ）、ジョイント探索テストモデル（Joint Exploration test Model：ＪＥＭ）、高性能映像符号化（Ｈ．２６５／High-Efficiency Video Coding：ＨＥＶＣ）、高度映像符号化（Ｈ．２６４／Advanced Video Coding：ＡＶＣ）、動画専門家集団（Moving Picture Experts Group：ＭＰＥＧ）符号化などが含まれる。映像符号化は、一般に、映像画像またはシーケンスに存在する冗長性を活用する予測方法（例えば、インター予測、イントラ予測など）を利用する。映像符号化技法の重要な目的は、映像品質の低下を回避するかまたは最小化するのと共に、より低いビットレートを使用する形式に映像データを圧縮することである。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示の例は、マージ関連モードのシンタックスシグナリングの効率を向上させるための方法を提供する。
本開示の第１態様によれば、動き予測のためのコンピュータ実行方法は、マージモードおよびマージ関連モードとして符号化されている符号化ユニット（Coding Unit：ＣＵ）に対する通常のマージフラグをデコーダから取得することと、該通常のマージフラグが１の場合、通常のマージモードまたは差分動きベクトルマージモード（Merge mode with Motion Vector Difference：ＭＭＶＤ）がＣＵによって使用されることを示し、ＣＵに対する動きベクトルマージリストを構築し、どの候補が使用されるかを示す通常のマージインデックスを使用することと、該通常のマージフラグが０の場合、通常のマージモードがＣＵによって使用されないことを示し、さらにモードフラグの制約条件が満たされるときに使用される付随するマージ関連モードを示すモードフラグを受信することと、を含む。
本開示の第２態様によれば、コンピューティングデバイスは、１つまたは複数のプロセッサと、該１つまたは複数のプロセッサによって実行可能な命令を記憶している非一時的コンピュータ可読メモリと、を備え、該１つまたは複数のプロセッサは、マージモードおよびマージ関連モードとして符号化されている符号化ユニット（ＣＵ）に対する通常のマージフラグをデコーダから取得し、該通常のマージフラグが１の場合、通常のマージモードまたは差分動きベクトルマージモード（ＭＭＶＤ）がＣＵによって使用されることを示し、ＣＵに対する動きベクトルマージリストを構築し、どの候補が使用されるかを示す通常のマージインデックスを使用し、該通常のマージフラグが０の場合、通常のマージモードがＣＵによって使用されないことを示し、さらにモードフラグの制約条件が満たされるときに使用される付随するマージ関連モードを示すモードフラグを受信するように構成される。
本開示の第３態様によれば、それ自体に記憶された命令を有する非一時的コンピュータ可読記憶媒体が提供される。装置の１つまたは複数のプロセッサによって命令が実行されると、該命令は、該装置に、マージモードおよびマージ関連モードとして符号化されている符号化ユニット（ＣＵ）に対する通常のマージフラグをデコーダから取得することと、該通常のマージフラグが１の場合、通常のマージモードまたは差分動きベクトルマージモード（ＭＭＶＤ）がＣＵによって使用されることを示し、ＣＵに対する動きベクトルマージリストを構築し、どの候補が使用されるかを示す通常のマージインデックスを使用することと、該通常のマージフラグが０の場合、通常のマージモードがＣＵによって使用されないことを示し、さらにモードフラグの制約条件が満たされるときに使用される付随するマージ関連モードを示すモードフラグを受信することと、を行わせる。
本開示の第１態様によれば、動き予測のためのコンピュータ実行方法は、マージモードおよびマージ関連モードとして符号化されている符号化ユニット（Coding Unit：ＣＵ）に対する通常のマージフラグをデコーダから取得することと、該通常のマージフラグが１の場合、通常のマージモードまたは差分動きベクトルマージモード（Merge mode with Motion Vector Difference：ＭＭＶＤ）がＣＵによって使用されることを示し、ＣＵに対する動きベクトルマージリストを構築し、どの候補が使用されるかを示す通常のマージインデックスを使用することと、該通常のマージフラグが０の場合、通常のマージモードがＣＵによって使用されないことを示し、さらにモードフラグの制約条件が満たされるときに使用される付随するマージ関連モードを示すモードフラグを受信することと、を含む。
本開示の第２態様によれば、コンピューティングデバイスは、１つまたは複数のプロセッサと、該１つまたは複数のプロセッサによって実行可能な命令を記憶している非一時的コンピュータ可読メモリと、を備え、該１つまたは複数のプロセッサは、マージモードおよびマージ関連モードとして符号化されている符号化ユニット（ＣＵ）に対する通常のマージフラグをデコーダから取得し、該通常のマージフラグが１の場合、通常のマージモードまたは差分動きベクトルマージモード（ＭＭＶＤ）がＣＵによって使用されることを示し、ＣＵに対する動きベクトルマージリストを構築し、どの候補が使用されるかを示す通常のマージインデックスを使用し、該通常のマージフラグが０の場合、通常のマージモードがＣＵによって使用されないことを示し、さらにモードフラグの制約条件が満たされるときに使用される付随するマージ関連モードを示すモードフラグを受信するように構成される。
本開示の第３態様によれば、それ自体に記憶された命令を有する非一時的コンピュータ可読記憶媒体が提供される。装置の１つまたは複数のプロセッサによって命令が実行されると、該命令は、該装置に、マージモードおよびマージ関連モードとして符号化されている符号化ユニット（ＣＵ）に対する通常のマージフラグをデコーダから取得することと、該通常のマージフラグが１の場合、通常のマージモードまたは差分動きベクトルマージモード（ＭＭＶＤ）がＣＵによって使用されることを示し、ＣＵに対する動きベクトルマージリストを構築し、どの候補が使用されるかを示す通常のマージインデックスを使用することと、該通常のマージフラグが０の場合、通常のマージモードがＣＵによって使用されないことを示し、さらにモードフラグの制約条件が満たされるときに使用される付随するマージ関連モードを示すモードフラグを受信することと、を行わせる。
【0005】
前述の基本的な説明および以下の詳細な説明の両方は、本開示を例示するためだけのものであり、本開示を限定するものではないことを理解すべきである。
【図面の簡単な説明】
【0006】
本明細書の一部に組み込まれ、かつ本明細書の一部を構成する添付図面は、本開示と一致した例を示し、本開示の原理を説明するために提供される。
【0007】
【図1】本開示の例によるエンコーダのブロック図である。
【図2】本開示の例によるデコーダのブロック図である。
【図3】本開示の例による、構築されたアフィンマージ候補を導出するための方法を示すフローチャートである。
【図4】本開示の例による、フラグ制約条件が満たされるかどうかを判定するための方法を示すフローチャートである。
【図5A】本開示の例による、ＭＭＶＤ探索ポイントを示す図である。
【図5B】本開示の例による、ＭＭＶＤ探索ポイントを示す図である。
【図6A】本開示の例による、制御ポイントベースアフィン動きモデルの図である。
【図6B】本開示の例による、制御ポイントベースアフィン動きモデルの図である。
【図7】本開示の例による、サブブロックごとのアフィン動きベクトルフィールド（Motion Vector Field：ＭＶＦ）を示す図である。
【図8】本開示の例による、継承されたアフィン動き予測子の位置を示す図である。
【図9】本開示の例による、制御ポイント動きベクトル継承を示す図である。
【図10】本開示の例による、候補配置の位置を示す図である。
【図11】本開示の例による、サブブロックベース時間動きベクトル予測（Subblock based Temporal Motion Vector Prediction：ＳｂＴＭＶＰ）によって使用される空間隣接ブロックを示す図である。
【図12A】本開示の例による、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）処理を示す図である。
【図12B】本開示の例による、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）処理を示す図である。
【図13A】本開示の例による、三角形分割を示す図である。
【図13B】本開示の例による、三角形分割を示す図である。
【図14】本開示の例による、ユーザインターフェースに接続されたコンピューティング環境を示す図である。
【発明を実施するための形態】
【0008】
参照番号が、例示的実施形態の詳細に付与され、その例が添付の図面に示されている。以下の説明は、添付図面について言及するが、異なる図面内の同じ参照番号は、表されていない場合を除き、同じまたは類似の要素を表す。例示的実施形態の以下の説明に記述されている実装形態は、本開示と整合する全ての実装形態を表しているわけではない。それよりもむしろ、それら実装形態は、単に添付の特許請求の範囲で説明されるような本開示に関連する態様と整合する装置および方法の例である。
【0009】
本開示で使用される用語は、特定の実施形態を説明することのみを目的としており、本開示を限定することを意図していない。本開示および添付の特許請求の範囲で使用される場合、文脈上特に明記されていない限り、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、同様に複数形を含むことも意図する。本明細書で使用される「および／または」という用語は、１つまたは複数の関連する列挙されたアイテムの任意または全ての可能な組み合わせを表すことを意図し、かつそれらを包含することも理解されたい。
【0010】
種々の情報を説明するために、用語「第１」、「第２」、「第３」などが本明細書で使用される場合があるが、これらの情報は、これらの用語によって制限されるべきではないこともさらに理解される。これらの用語は、情報のあるカテゴリーを別のものと区別するためのみに使用される。例えば、本開示の範囲から逸脱することなく、第１情報は第２情報と称される場合があり、また同様に、第２情報は、第１情報と称される場合もある。本明細書で使用される場合、用語「～する場合」は、「～するとき」、「～の際」、あるいは文脈によって「判断に応じて」を意味すると理解される場合がある。
【0011】
映像符号化システム
概念的には、各映像符号化規格は類似している。例えば、多くは、映像圧縮を実現するために、ブロックベース処理を使用し、かつ類似の映像符号化ブロック図を共有する場合がある。
概念的には、各映像符号化規格は類似している。例えば、多くは、映像圧縮を実現するために、ブロックベース処理を使用し、かつ類似の映像符号化ブロック図を共有する場合がある。
【0012】
本開示のこの実施形態において、マージ関連モードのシンタックスシグナリングの効率を向上させるいくつかの方法を提案する。提案する方法は、独立してまたは組み合わされて適用される場合があることに留意されたい。
【0013】
図１は、典型的なエンコーダ１００を示している。エンコーダ１００は、映像入力１１０、動き補償１１２、動き推定１１４、イントラ／インターモード決定１１６、ブロック予測子１４０、加算器１２８、変換１３０、量子化１３２、予測関連情報１４２、イントラ予測１１８、ピクチャバッファ１２０、逆量子化１３４、逆変換１３６、加算器１２６、メモリ１２４、ループ内フィルタ１２２、エントロピー符号化１３８およびビットストリーム１４４を有する。
【0014】
エンコーダの例示的実施形態において、映像フレームは、処理のためにブロックに分割される。所与の映像ブロックごとに、予測は、インター予測またはイントラ予測のいずれかに基づいて形成される。インター予測では、予測子は、先に再構築されたフレームからの画素に基づいて、動き推定および動き補償を通して形成することができる。イントラ予測では、予測子は、現在のフレーム内の再構築された画素に基づいて形成することができる。モード決定を通して、最良の予測子が、現在のブロックを予測するために選択される場合がある。
【0015】
予測残差（すなわち、現在のブロックと、その予測子との差）は、変換モジュールに送信される。次いで、変換係数が、エントロピー低減のために量子化モジュールに送信される。量子化された係数が、圧縮された映像ビットストリームを生成するためにエントロピー符号化モジュールに供給される。図１に示すように、ブロック分割情報、動きベクトル、参照ピクチャインデックス、およびイントラ予測モードなどのインターおよび／またはイントラ予測モジュールからの予測関連情報はまた、エントロピー符号化モジュールを通過して、ビットストリームに保存される。
【0016】
エンコーダにおいて、デコーダ関連モジュールもまた、予測目的で画素を再構築するために必要とされる。まず、予測残差が逆量子化および逆変換を通して再構築される。このような再構築された予測残差は、現在のブロックに対するフィルタなし再構築画素を生成するために、ブロック予測子と組み合わされる。
【0017】
符号化効率および視覚的品質を向上させるために、ループ内フィルタが一般に使用される。例えば、デブロッキングフィルタが、ＡＶＣ、ＨＥＶＣならびに現在のＶＶＣで利用可能である。ＨＥＶＣでは、サンプル適応オフセット（Sample Adaptive Offset：ＳＡＯ）と呼ばれる追加のループ内フィルタが、符号化効率をさらに向上させるために規定されている。最新のＶＶＣでは、適応ループフィルタ（Adaptive Loop Filter：ＡＬＦ）と呼ばれるさらに別のループ内フィルタが、積極的に調査されており、最終的な規格に含まれる可能性が高い。
【0018】
図２は、典型的なデコーダ２００のブロック図を示している。デコーダ２００は、ビットストリーム２１０、エントロピーデコーディング２１２、逆量子化２１４、逆変換２１６、加算器２１８、イントラ／インターモード選択２２０、イントラ予測２２２、メモリ２３０、ループ内フィルタ２２８、動き補償２２４、ピクチャバッファ２２６、予測関連情報２３４および映像出力２３２を有する。
【0019】
デコーダにおいて、ビットストリームは、まず、量子化された係数レベルおよび予測関連情報を導出するためにエントロピーデコーディングモジュールを通してデコードされる。量子化された係数レベルは、次いで、再構築された予測残差を得るために、逆量子化および逆変換モジュールを通して処理される。ブロック予測子は、デコードされた予測情報に基づいて、イントラ予測または動き補償処理のいずれかを通して形成される。フィルタなし再構築画素は、再構築された予測残差とブロック予測子とを合計することによって得られる。ループ内フィルタが適用されるケースでは、出力向けの最終再構築映像を導出するために、フィルタリング操作がこれらの画素に対して実施される。
【0020】
図３は、本開示による、構築されたアフィンマージ候補を導出するための例示的方法を示している。
【0021】
ステップ３１０で、マージモードおよびマージ関連モードとして符号化されている符号化ユニット（ＣＵ）に対する通常のマージフラグをデコーダから取得する。
【0022】
ステップ３１２で、該通常のマージフラグが１の場合、通常のマージモードまたは差分動きベクトルマージモード（ＭＭＶＤ）がＣＵによって使用されることを示し、ＣＵに対する動きベクトルマージリストを構築し、どの候補が使用されるかを示す通常のマージインデックスを使用する。
【0023】
ステップ３１４で、該通常のマージフラグが０の場合、通常のマージモードがＣＵによって使用されないことを示し、さらにモードフラグの制約条件が満たされるときに使用される付随するマージ関連モードを示すモードフラグを受信する。
【0024】
図４は、本開示による、フラグ制約条件が満たされるかどうかを判定するための例示的方法を示している。
【0025】
ステップ４１０で、デコーダから符号化ブロックを取得する。この際、符号化ブロックは、幅および高さを有する。
【0026】
ステップ４１２で、デコーダによって、符号化ブロック幅および符号化ブロック高さのそれぞれが、４と等しくないかどうかを判定する。
【0027】
ステップ４１４で、デコーダによって、符号化ブロック幅が８と等しくないか、または符号化ブロック高さが４と等しくないかどうかを判定する。
【0028】
ステップ４１６で、デコーダによって、符号化ブロック幅が４と等しくないか、または符号化ブロック高さが８と等しくないかどうかを判定する。
【0029】
ステップ４１８で、デコーダによって、通常のマージフラグが設定されていないかどうかを判定する。
【0030】
汎用映像符号化（ＶＶＣ）
第１０回ＪＶＥＴ会議（２０１８年４月１０日から２０日、サンディエゴ、米国）において、ＪＶＥＴは、汎用映像符号化（ＶＶＣ）およびＶＶＣテストモデル１（Vvc Test Model 1：ＶＴＭ１）エンコーディング方法の第１ドラフトを規定した。ＶＶＣの初期の新しい符号化機能として、符号化ブロック構造を分割する２分木および３分木を使用するネストされたマルチタイプ木を伴う４分木を含むことが決定された。それ以降、エンコーディング方法およびドラフトＶＶＣデコーディング処理を実行する参照ソフトウェアＶＴＭは、ＪＶＥＴ会議において拡張されてきた。
第１０回ＪＶＥＴ会議（２０１８年４月１０日から２０日、サンディエゴ、米国）において、ＪＶＥＴは、汎用映像符号化（ＶＶＣ）およびＶＶＣテストモデル１（Vvc Test Model 1：ＶＴＭ１）エンコーディング方法の第１ドラフトを規定した。ＶＶＣの初期の新しい符号化機能として、符号化ブロック構造を分割する２分木および３分木を使用するネストされたマルチタイプ木を伴う４分木を含むことが決定された。それ以降、エンコーディング方法およびドラフトＶＶＣデコーディング処理を実行する参照ソフトウェアＶＴＭは、ＪＶＥＴ会議において拡張されてきた。
【0031】
ピクチャ分割構造は、入力映像を符号化木ユニット（Coding Tree Unit：ＣＴＵ）と呼ばれるブロックに分割する。ＣＴＵは、ネストされたマルチタイプ木構造を伴う４分木を使用して、同じ予測モード（例えば、イントラまたはインター）を共有する領域を画定する葉符号化ユニット（ＣＵ）と共に符号化ユニット（ＣＵ）に分割される。本明細書において、用語「ユニット」は、全ての成分をカバーする画像の領域を定義し、用語「ブロック」は、特定の成分（例えば、輝度）をカバーする領域を定義するために使用されるが、４：２：０などの彩度サンプリングフォーマットを考慮する場合は空間的位置が異なる場合がある。
【0032】
ＶＶＣの拡張されたマージモード
ＶＴＭ３では、マージ候補リストは、以下の５つのタイプの候補を順番に含むことによって構築される。
１．空間隣接ＣＵからのＳｐａｔｉａｌ ＭＶＰ
２．同一位置（ｃｏｌｌｏｃａｔｅｄ）ＣＵからのＴｅｍｐｏｒａｌ ＭＶＰ
３．ＦＩＦＯテーブルからのＨｉｓｔｏｒｙ－ｂａｓｅｄ ＭＶＰ
４．Ｐａｉｒｗｉｓｅ ａｖｅｒａｇｅ ＭＶＰ
５．Ｚｅｒｏ ＭＶ
ＶＴＭ３では、マージ候補リストは、以下の５つのタイプの候補を順番に含むことによって構築される。
１．空間隣接ＣＵからのＳｐａｔｉａｌ ＭＶＰ
２．同一位置（ｃｏｌｌｏｃａｔｅｄ）ＣＵからのＴｅｍｐｏｒａｌ ＭＶＰ
３．ＦＩＦＯテーブルからのＨｉｓｔｏｒｙ－ｂａｓｅｄ ＭＶＰ
４．Ｐａｉｒｗｉｓｅ ａｖｅｒａｇｅ ＭＶＰ
５．Ｚｅｒｏ ＭＶ
【0033】
マージリストのサイズは、スライスヘッダにシグナリングされ、マージリストの最大許容サイズは、ＶＴＭ３においては６である。マージモードのＣＵ符号ごとに、最良のマージ候補のインデックスが、短縮単項２値化（Truncated Unary binarization：ＴＵ）を使用してエンコードされる。マージインデックスの第１ビンは、コンテキストを用いて符号化され、バイパス符号化が他のビンに使用される。本開示の以下の文脈では、拡張されたマージモードはまた、その概念が、ＨＥＶＣで使用されるマージモードと同じであるので、通常のマージモードとも呼ばれる。
【0034】
ＭＶＤマージモード（ＭＭＶＤ）
暗に導出された動き情報が現在のＣＵの予測サンプル生成に直接使用されるマージモードに加えて、差分動きベクトルマージモード（ＭＭＶＤ）が、ＶＶＣに導入される。ＭＭＶＤフラグは、ＭＭＶＤモードがＣＵに使用されるかどうかを明示するために、スキップフラグおよびマージフラグの送信直後にシグナリングされる。
暗に導出された動き情報が現在のＣＵの予測サンプル生成に直接使用されるマージモードに加えて、差分動きベクトルマージモード（ＭＭＶＤ）が、ＶＶＣに導入される。ＭＭＶＤフラグは、ＭＭＶＤモードがＣＵに使用されるかどうかを明示するために、スキップフラグおよびマージフラグの送信直後にシグナリングされる。
【0035】
ＭＭＶＤでは、マージ候補が選択された後に、そのマージ候補は、シグナリングされたＭＶＤ情報によってより洗練される。別の情報は、マージ候補フラグ、動きの大きさを明示するインデックス、および動き方向のインジケーションのインデックスを含む。ＭＭＶＤモードでは、マージリストの最初の２つの候補のうちの１つは、ＭＶベースとして使用されるように選択される。マージ候補フラグは、どちらが使用されるかを明示するためにシグナリングされる。
【0036】
距離インデックスは、動きの大きさ情報を明示し、かつ開始ポイントからの既定のオフセットを示す。図５に示す（以下に述べる）ように、オフセットは、開始ＭＶの水平成分または垂直成分のいずれかに加えられる。距離インデックスと既定のオフセットとの関係について、表１に明示する。
【表1】
【0037】
方向インデックスは、開始ポイントに対するＭＶＤの方向を表す。方向インデックスは、表２に示すように、４つの方向を表す場合がある。ＭＶＤ記号の意味は、開始ＭＶの情報によって変化する場合があることに留意されたい。開始ＭＶが、現在のピクチャの同じ側を指す両方のリストポイントを伴う非予測ＭＶまたは双予測ＭＶである場合（すなわち、２つの参照のＰＯＣの両方が、現在のピクチャのＰＯＣよりも大きいか、または現在のピクチャのＰＯＣよりも小さい場合）、表２の記号は、開始ＭＶに加えられたＭＶオフセットの記号を明示する。開始ＭＶが、現在のピクチャの異なる側を指す２つのＭＶポイントを伴う双予測ＭＶの場合（すなわち、片方の参照のＰＯＣが、現在のピクチャのＰＯＣよりも大きく、かつ他方の参照のＰＯＣが、現在のピクチャのＰＯＣよりも小さい場合）、表２の記号は、開始ＭＶのリスト０ＭＶ成分に加えられたＭＶオフセットの記号を明示し、リスト１ＭＶに対する記号は、反対の値を有する。
【表2】
【0038】
図５Ａは、本開示による第１リスト（Ｌ０）参照向けのＭＭＶＤ探索ポイントを示す図を示している。
【0039】
図５Ｂは、本開示による第２リスト（Ｌ１）参照向けのＭＭＶＤ探索ポイントを示す図を示している。
【0040】
アフィン動き補償予測
ＨＥＶＣでは、並進動きモデルのみが、動き補償予測（Motion Compensation Prediction：ＭＣＰ）に適用される。ところが、実世界においては、ズームイン／アウト、回転、遠近の動き、および他の不規則な動きなど、多くの種類の動きが存在する。ＶＴＭ３では、ブロックベースアフィン変換動き補償予測が適用される。図６Ａおよび図６Ｂに示す（以下に述べる）ように、ブロックのアフィン動きフィールドは、２つの制御ポイント動きベクトル（４パラメータ）または３つの制御ポイント動きベクトル（６パラメータ）の動き情報によって説明される。
ＨＥＶＣでは、並進動きモデルのみが、動き補償予測（Motion Compensation Prediction：ＭＣＰ）に適用される。ところが、実世界においては、ズームイン／アウト、回転、遠近の動き、および他の不規則な動きなど、多くの種類の動きが存在する。ＶＴＭ３では、ブロックベースアフィン変換動き補償予測が適用される。図６Ａおよび図６Ｂに示す（以下に述べる）ように、ブロックのアフィン動きフィールドは、２つの制御ポイント動きベクトル（４パラメータ）または３つの制御ポイント動きベクトル（６パラメータ）の動き情報によって説明される。
【0041】
図６Ａは、本開示による４パラメータアフィンモデルの制御ポイントベースアフィン動きモデルを示す。
【0042】
図６Ｂは、本開示による６パラメータアフィンモデルの制御ポイントベースアフィン動きモデルを示す。
【0043】
４パラメータアフィン動きモデルの場合、ブロック内のサンプル位置（ｘ、ｙ）の動きベクトルは下式（１）のように導出される。
【数1】
【0044】
６パラメータアフィン動きモデルの場合、ブロック内のサンプル位置（ｘ、ｙ）の動きベクトルは下式（２）のように導出される。
【数2】
【0045】
式中、（ｍｖ０ｘ， ｍｖ０ｙ）は、左上角の制御ポイントの動きベクトルであり、（ｍｖ１ｘ， ｍｖ１ｙ）は、右上角の制御ポイントの動きベクトルであり、（ｍｖ２ｘ， ｍｖ２ｙ）は、左下角の制御ポイントの動きベクトルである。
【0046】
動き補償予測を簡略化するために、ブロックベースアフィン変換予測が適用される。各４×４輝度サブブロックの動きベクトルを導出するために、図７に示す（以下に述べる）ように、各サブブロックの中央サンプルの動きベクトルが、上式に従って計算されて、１／１６の精度に丸められる。次いで、動き補償補間フィルタが、導出された動きベクトルを用いて各サブブロックの予測を引き起こすために適用される。彩度成分のサブブロックサイズもまた、４×４に設定される。４×４彩度サブブロックのＭＶは、４つの対応する４×４輝度サブブロックのＭＶの平均として計算される。
【0047】
図７は、本開示による、サブブロックごとのアフィン動きベクトルフィールド（ＭＶＦ）を示している。
【0048】
並進動きインター予測のために行われるような、２つのアフィン動きインター予測モード、すなわち、アフィンマージモードおよびアフィンＡＭＶＰモードがある。
【0049】
アフィンマージ予測
ＡＦ＿ＭＥＲＧＥモードは、幅と高さの両方が８以上のＣＵ向けに適用される場合がある。このモードでは、現在のＣＵのＣＰＭＶは、空間隣接ＣＵの動き情報に基づいて生成される。５つまでのＣＰＭＶＰ候補が存在する場合があり、インデックスは、現在のＣＵに使用される１つを示すためにシグナリングされる。以下の３つのタイプのＣＰＶＭ候補が、アフィンマージ候補リストを形成するために使用される。
６．隣接ＣＵのＣＰＭＶから推定される継承されたアフィンマージ候補
７．隣接ＣＵの並進ＭＶを使用して導出される構築されたアフィンマージ候補ＣＰＭＶＰ
８．Ｚｅｒｏ ＭＶ
ＡＦ＿ＭＥＲＧＥモードは、幅と高さの両方が８以上のＣＵ向けに適用される場合がある。このモードでは、現在のＣＵのＣＰＭＶは、空間隣接ＣＵの動き情報に基づいて生成される。５つまでのＣＰＭＶＰ候補が存在する場合があり、インデックスは、現在のＣＵに使用される１つを示すためにシグナリングされる。以下の３つのタイプのＣＰＶＭ候補が、アフィンマージ候補リストを形成するために使用される。
６．隣接ＣＵのＣＰＭＶから推定される継承されたアフィンマージ候補
７．隣接ＣＵの並進ＭＶを使用して導出される構築されたアフィンマージ候補ＣＰＭＶＰ
８．Ｚｅｒｏ ＭＶ
【0050】
ＶＴＭ３では、最大２つの継承されたアフィン候補があり、これは左隣接ＣＵと上隣接ＣＵからの隣接ブロックのアフィン動きモデルから導出される。候補ブロックについて、図８に示す（以下に述べる）。左予測子の場合、スキャンの順番はＡ０－＞Ａ１であり、上予測子の場合、スキャンの順番はＢ０－＞Ｂ１－＞Ｂ２である。各側から第１の継承された候補のみが、選択される。２つの継承された候補間での刈り込みチェックは実施されない。隣接アフィンＣＵが識別されると、その制御ポイント動きベクトルは、現在のＣＵのアフィンマージリスト内のＣＰＭＶＰ候補を導出するために使用される。図９に示す（以下に述べる）ように、隣接左下ブロックＡが、アフィンモードで符号化される場合、ブロックＡを含むＣＵの左上角、右上角、および左下角の動きベクトルｖ２、ｖ３およびｖ４が、得られる。ブロックＡが４パラメータアフィンモデルで符号化されると、現在のＣＵの２つのＣＰＭＶは、ｖ２およびｖ３に従って計算される。ブロックＡが６パラメータアフィンモデルで符号化されるケースでは、現在のＣＵの３つのＣＰＭＶはｖ２、ｖ３およびｖ４に従って計算される。
【0051】
図８は、本開示による継承されたアフィン動き予測子の位置を示している。
【0052】
図９は、本開示による制御ポイント動きベクトル継承を示している。
構築されたアフィン候補とは、各制御ポイントの隣接並進動き情報を組み合わせることによって候補が構築されることを意味する。制御ポイントの動き情報は、図１０に示す（以下に述べる）ように、明示された空間隣接および時間隣接から導出される。ＣＰＭＶｋ（ｋ＝１、２、３、４）は、ｋ番目の制御ポイントを表す。ＣＰＭＶ１の場合、Ｂ２－＞Ｂ３－＞Ａ２ブロックがチェックされて、第１の利用可能ブロックのＭＶが使用される。ＣＰＭＶ２の場合、Ｂ１－＞Ｂ０ブロックがチェックされ、ＣＰＭＶ３の場合、Ａ１－＞Ａ０ブロックがチェックされる。ＴＭＶＰの場合、利用可能であればＣＰＭＶ４として使用される。
構築されたアフィン候補とは、各制御ポイントの隣接並進動き情報を組み合わせることによって候補が構築されることを意味する。制御ポイントの動き情報は、図１０に示す（以下に述べる）ように、明示された空間隣接および時間隣接から導出される。ＣＰＭＶｋ（ｋ＝１、２、３、４）は、ｋ番目の制御ポイントを表す。ＣＰＭＶ１の場合、Ｂ２－＞Ｂ３－＞Ａ２ブロックがチェックされて、第１の利用可能ブロックのＭＶが使用される。ＣＰＭＶ２の場合、Ｂ１－＞Ｂ０ブロックがチェックされ、ＣＰＭＶ３の場合、Ａ１－＞Ａ０ブロックがチェックされる。ＴＭＶＰの場合、利用可能であればＣＰＭＶ４として使用される。
【0053】
図１０は、本開示による構築されたアフィンマージモードの候補配置の位置を示している。
【0054】
４つの制御ポイントのＭＶが得られた後に、アフィンマージ候補が、対応する動き情報に基づいて構築される。制御ポイントＭＶの以下の組み合わせが、構築のために順番に使用される。
｛ＣＰＭＶ１、ＣＰＭＶ２、ＣＰＭＶ３｝、｛ＣＰＭＶ１、ＣＰＭＶ２、ＣＰＭＶ４｝、｛ＣＰＭＶ１、ＣＰＭＶ３、ＣＰＭＶ４｝、｛ＣＰＭＶ２、ＣＰＭＶ３、ＣＰＭＶ４｝、｛ＣＰＭＶ１、ＣＰＭＶ２｝、｛ＣＰＭＶ１、ＣＰＭＶ３｝
｛ＣＰＭＶ１、ＣＰＭＶ２、ＣＰＭＶ３｝、｛ＣＰＭＶ１、ＣＰＭＶ２、ＣＰＭＶ４｝、｛ＣＰＭＶ１、ＣＰＭＶ３、ＣＰＭＶ４｝、｛ＣＰＭＶ２、ＣＰＭＶ３、ＣＰＭＶ４｝、｛ＣＰＭＶ１、ＣＰＭＶ２｝、｛ＣＰＭＶ１、ＣＰＭＶ３｝
【0055】
３つのＣＰＭＶの組み合わせが、６パラメータアフィンマージ候補を構築し、２つのＣＰＭＶの組み合わせが、４パラメータアフィンマージ候補を構築する。動きスケーリング処理を回避するために、制御ポイントの参照インデックスが異なる場合、制御ポイントＭＶの関連する組み合わせは破棄される。
【0056】
継承されたアフィンマージ候補および構築されたアフィンマージ候補がチェックされた後も、リストに依然として空きがある場合、ゼロＭＶがリストの終わりに挿入される。
【0057】
サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）
【0058】
ＶＴＭはサブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）方法をサポートしている。ＨＥＶＣの時間動きベクトル予測（Temporal Motion Vector Prediction：ＴＭＶＰ）と同様に、ＳｂＴＭＶＰは、現在のピクチャのＣＵの動きベクトル予測およびマージモードを向上させるために、同一位置ピクチャの動きフィールドを使用する。ＴＭＶＰによって使用される同じ同一位置ピクチャが、ＳｂＴＶＭＰにも使用される。ＳｂＴＭＶＰは、以下の２つの主要な態様においてＴＭＶＰとは異なる。
１．ＴＭＶＰは、ＣＵレベルで動きを予測するが、ＳｂＴＭＶＰは、サブＣＵレベルで動きを予測する。
２．ＴＭＶＰは、同一位置ピクチャの同一位置ブロックから時間動きベクトルを取り込む（同一位置ブロックは、現在のＣＵに対する右下または中央ブロックである）が、ＳｂＴＭＶＰは、同一位置ピクチャからの時間動き情報を取り出す前に、動きシフトを適用するが、この際、動きシフトは、現在のＣＵの空間隣接ブロックの１つからの動きベクトルから得られる。
１．ＴＭＶＰは、ＣＵレベルで動きを予測するが、ＳｂＴＭＶＰは、サブＣＵレベルで動きを予測する。
２．ＴＭＶＰは、同一位置ピクチャの同一位置ブロックから時間動きベクトルを取り込む（同一位置ブロックは、現在のＣＵに対する右下または中央ブロックである）が、ＳｂＴＭＶＰは、同一位置ピクチャからの時間動き情報を取り出す前に、動きシフトを適用するが、この際、動きシフトは、現在のＣＵの空間隣接ブロックの１つからの動きベクトルから得られる。
【0059】
ＳｂＴＶＭＰ処理について、図１１、図１２Ａ、および図１２Ｂに示す（以下に述べる）。ＳｂＴＭＶＰは、２つのステップで、現在のＣＵ内のサブＣＵの動きベクトルを予測する。第１ステップで、図１１の空間隣接は、Ａ１、Ｂ１、Ｂ０、およびＡ０の順番で評価される。その参照ピクチャとして同一位置ピクチャを使用し、動きベクトルを有する第１空間隣接ブロックが識別されるとすぐに、この動きベクトルは、適用される動きシフトになるものとして選択される。空間隣接からそのような動きが識別されない場合、動きシフトは（０，０）に設定される。
【0060】
図１１は、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）によって使用される空間隣接ブロックを示している。ＳｂＴＭＶＰはまた、代替の時間動きベクトル予測（Alternative Temporal Motion Vector Prediction：ＡＴＭＶＰ）としても知られている。
【0061】
第２ステップで、図１２Ａおよび１２Ｂに示すように、同一位置ピクチャからサブＣＵレベル動き情報（動きベクトルおよび参照インデックス）を得るために、ステップ１で識別された動きシフトが適用される（すなわち、現在のブロックの座標に加えられる）。図１２Ａおよび１２Ｂの例は、動きシフトがブロックＡ１の動きに設定されることを仮定している。次いで、サブＣＵごとに、同一位置ピクチャ内のその対応するブロックの動き情報（中央サンプルをカバーする最小動きグリッド）が、サブＣＵ向けの動き情報を導出するために使用される。同一位置サブＣＵの動き情報は、識別された後に、ＨＥＶＣのＴＭＶＰ処理と類似の方式で、現在のサブＣＵの動きベクトルおよび参照インデックスに変換される。この際、時間動きスケーリングが、時間動きベクトルの参照ピクチャを、現在のＣＵのそれらに位置合わせするために適用される。
【0062】
図１２Ａは、空間隣接からの動きシフトを適用して、対応する同一位置サブＣＵからの動き情報をスケーリングすることによって、サブＣＵ動きフィールドを導出する際の、同一位置ピクチャに対するＶＶＣのＳｂＴＭＶＰ処理を示している。
【0063】
図１２Ｂは、空間隣接からの動きシフトを適用して、対応する同一位置サブＣＵからの動き情報をスケーリングすることによって、サブＣＵ動きフィールドを導出する際の、現在のピクチャに対するＶＶＣのＳｂＴＭＶＰ処理を示している。
【0064】
ＶＴＭ３では、ＳｂＴＶＭＰ候補とアフィンマージ候補との両方を含む組み合わされたサブブロックベースマージリストが、サブブロックベースマージモードのシグナリングに使用される。以下の文脈では、サブブロックマージモードが使用される。ＳｂＴＶＭＰモードは、シーケンスパラメータセット（Sequence Parameter Set：ＳＰＳ）フラグによって、有効／無効にされる。ＳｂＴＭＶＰモードが有効にされる場合、ＳｂＴＭＶＰ予測子は、サブブロックベースマージ候補のリストの第１エントリとして加えられ、その後に、アフィンマージ候補が続く。サブブロックベースマージリストのサイズは、ＳＰＳでシグナリングされ、サブブロックベースマージリストの最大許容サイズは、ＶＴＭ３では５である。
【0065】
ＳｂＴＭＶＰで使用されるサブＣＵサイズは、８×８に固定され、これはアフィンマージモードで行われるのと同じであり、ＳｂＴＭＶＰモードは、幅と高さの両方が８以上のＣＵにのみ適用可能である。
【0066】
追加のＳｂＴＭＶＰマージ候補のエンコーディング論理は、他のマージ候補に対するものと同じであり、すなわち、ＰまたはＢスライス内のＣＵごとに、ＳｂＴＭＶＰ候補を使用するかどうかを決定するために、追加のＲＤチェックが実施される。
【0067】
組み合わせインターおよびイントラ予測（Combined Inter and Intra Prediction：ＣＩＩＰ）
【0068】
ＶＴＭ３では、ＣＵがマージモードで符号化され、かつＣＵが少なくとも６４の輝度サンプルを含む場合（すなわち、ＣＵ幅かけるＣＵ高さが、６４以上である場合）、追加のフラグが、組み合わせインター／イントラ予測（ＣＩＩＰ）モードが、現在のＣＵに適用されるかどうかを示すためにシグナリングされる。
【0069】
ＣＩＩＰ予測を形成するために、まず、イントラ予測モードが、２つの追加のシンタックス要素から導出される。４つまでの可能なイントラ予測モード、すなわち、ＤＣ、プラナー、水平および垂直が使用される場合がある。次いで、インター予測およびイントラ予測信号が、通常のイントラおよびインターデコーディング処理を使用して導出される。最後に、インターおよびイントラ予測信号の重み付き平均が、ＣＩＩＰ予測を得るために実施される。
【0070】
イントラ予測モード導出
ＤＣ、ＰＬＡＮＡＲ、ＨＯＲＩＺＯＮＴＡＬおよびＶＥＲＴＩＣＡＬモードを含む、４つまでのイントラ予測モードは、ＣＩＩＰモードで輝度成分を予測するために使用される場合がある。ＣＵ形状が非常に広い場合（すなわち、幅が高さの２倍を超える場合）、ＨＯＲＩＺＯＮＴＡＬモードは不可である。ＣＵ形状が非常に狭い場合（すなわち、高さが幅の２倍を超える場合）、ＶＥＲＴＩＣＡＬモードは不可である。これらのケースでは、３つのイントラ予測モードだけが可能である。
ＤＣ、ＰＬＡＮＡＲ、ＨＯＲＩＺＯＮＴＡＬおよびＶＥＲＴＩＣＡＬモードを含む、４つまでのイントラ予測モードは、ＣＩＩＰモードで輝度成分を予測するために使用される場合がある。ＣＵ形状が非常に広い場合（すなわち、幅が高さの２倍を超える場合）、ＨＯＲＩＺＯＮＴＡＬモードは不可である。ＣＵ形状が非常に狭い場合（すなわち、高さが幅の２倍を超える場合）、ＶＥＲＴＩＣＡＬモードは不可である。これらのケースでは、３つのイントラ予測モードだけが可能である。
【0071】
ＣＩＩＰモードは、イントラ予測のために３つの最確モード（Most Probable Mode：ＭＰＭ）を使用する。ＣＩＩＰ ＭＰＭ候補リストは、以下のように形成される。
－左および上隣接ブロックは、それぞれ、ＡおよびＢと設定される。
－ｉｎｔｒａＭｏｄｅＡおよびｉｎｔｒａＭｏｄｅＢと表されるブロックＡおよびブロックＢのイントラ予測モードは、以下のように導出される。
○ＸをＡまたはＢのいずれかとする
○ｉｎｔｒａＭｏｄｅＸは、１）ブロックＸが利用可能でない場合、２）ブロックＸがＣＩＩＰモードまたはイントラモードを使用して予測されない場合、３）ブロックＢが現在のＣＴＵの外側にある場合、ＤＣに設定される。
○その他の場合、ｉｎｔｒａＭｏｄｅＸは、１）ブロックＸのイントラ予測モードがＤＣまたはＰＬＡＮＡＲの場合、ＤＣまたはＰＬＡＮＡＲに、２）ブロックＸのイントラ予測モードが「垂直のような」角度モード（３４より大きい）の場合、ＶＥＲＴＩＣＡＬに、あるいは３）ブロックＸのイントラ予測モードが、「水平のような」角度モード（３４以下）の場合、ＨＯＲＩＺＯＮＴＡＬに、設定される。
－ｉｎｔｒａＭｏｄｅＡと、ｉｎｔｒａＭｏｄｅＢが同じ場合、
○ｉｎｔｒａＭｏｄｅＡがＰＬＡＮＡＲまたはＤＣの場合、３つのＭＰＭは、｛ＰＬＡＮＡＲ、ＤＣ、ＶＥＲＴＩＣＡＬ｝の順番で設定される
○その他の場合、３つのＭＰＭは、｛ｉｎｔｒａＭｏｄｅＡ、ＰＬＡＮＡＲ、ＤＣ｝の順番で設定される
－その他の場合（ｉｎｔｒａＭｏｄｅＡと、ｉｎｔｒａＭｏｄｅＢが異なる場合）
○最初の２つのＭＰＭが、｛ｉｎｔｒａＭｏｄｅＡ、ｉｎｔｒａＭｏｄｅＢ｝の順番で設定される
○最初の２つのＭＰＭ候補モードに対して順番にＰＬＡＮＡＲ、ＤＣおよびＶＥＲＴＩＣＡＬの一意性がチェックされ、一意のモードが発見されるとすぐに、３番目のＭＰＭに加えられる。
－左および上隣接ブロックは、それぞれ、ＡおよびＢと設定される。
－ｉｎｔｒａＭｏｄｅＡおよびｉｎｔｒａＭｏｄｅＢと表されるブロックＡおよびブロックＢのイントラ予測モードは、以下のように導出される。
○ＸをＡまたはＢのいずれかとする
○ｉｎｔｒａＭｏｄｅＸは、１）ブロックＸが利用可能でない場合、２）ブロックＸがＣＩＩＰモードまたはイントラモードを使用して予測されない場合、３）ブロックＢが現在のＣＴＵの外側にある場合、ＤＣに設定される。
○その他の場合、ｉｎｔｒａＭｏｄｅＸは、１）ブロックＸのイントラ予測モードがＤＣまたはＰＬＡＮＡＲの場合、ＤＣまたはＰＬＡＮＡＲに、２）ブロックＸのイントラ予測モードが「垂直のような」角度モード（３４より大きい）の場合、ＶＥＲＴＩＣＡＬに、あるいは３）ブロックＸのイントラ予測モードが、「水平のような」角度モード（３４以下）の場合、ＨＯＲＩＺＯＮＴＡＬに、設定される。
－ｉｎｔｒａＭｏｄｅＡと、ｉｎｔｒａＭｏｄｅＢが同じ場合、
○ｉｎｔｒａＭｏｄｅＡがＰＬＡＮＡＲまたはＤＣの場合、３つのＭＰＭは、｛ＰＬＡＮＡＲ、ＤＣ、ＶＥＲＴＩＣＡＬ｝の順番で設定される
○その他の場合、３つのＭＰＭは、｛ｉｎｔｒａＭｏｄｅＡ、ＰＬＡＮＡＲ、ＤＣ｝の順番で設定される
－その他の場合（ｉｎｔｒａＭｏｄｅＡと、ｉｎｔｒａＭｏｄｅＢが異なる場合）
○最初の２つのＭＰＭが、｛ｉｎｔｒａＭｏｄｅＡ、ｉｎｔｒａＭｏｄｅＢ｝の順番で設定される
○最初の２つのＭＰＭ候補モードに対して順番にＰＬＡＮＡＲ、ＤＣおよびＶＥＲＴＩＣＡＬの一意性がチェックされ、一意のモードが発見されるとすぐに、３番目のＭＰＭに加えられる。
【0072】
上述のようにＣＵ形状が非常に広いか非常に狭い場合、ＭＰＭフラグは、シグナリングなしで１であると推定される。その他の場合、ＭＰＭフラグは、ＣＩＩＰイントラ予測モードがＣＩＩＰ ＭＰＭ候補モードのうちの１つであるかどうかを示すためにシグナリングされる。
【0073】
ＭＰＭフラグが１の場合、ＭＰＭ候補モードのうちのどれがＣＩＩＰイントラ予測に使用されるかを示すために、ＭＰＭインデックスがさらにシグナリングされる。その他のＭＰＭフラグが０の場合、イントラ予測モードは、ＭＰＭ候補リストで「存在しない」モードに設定される。例えば、ＰＬＡＮＡＲモードがＭＰＭ候補リストにない場合、ＰＬＡＮＡＲは存在しないモードであり、イントラ予測モードは、ＰＬＡＮＡＲに設定される。４つの可能なイントラ予測モードが、ＣＩＩＰで許容されるので、ＭＰＭ候補リストは、３つのイントラ予測モードのみを含み、４つの可能なモードのうち１つは、存在しないモードである。
【0074】
彩度成分に関して、ＤＭモードは、常に追加のシグナリングなしで適用される。すなわち、彩度は輝度と同じ予測モードを使用する。
【0075】
ＣＩＩＰ符号化ＣＵのイントラ予測モードは保存されて、将来の隣接ＣＵのイントラモード符号化で使用される。
【0076】
組み合わせインターおよびイントラ予測信号
ＣＩＩＰモードにおけるインター予測信号Ｐｉｎｔｅｒは、通常のマージモードに適用されるのと同じインター予測処理を使用して導出され、イントラ予測信号Ｐｉｎｔｒａは、通常のイントラ予測処理に続くＣＩＩＰイントラ予測モードを使用して導出される。次に、イントラおよびインター予測信号は、重み付き平均を使用して組み合わされ、この際、重み値はイントラ予測モードに応じ、サンプルは、以下のように符号化ブロックに位置付けされる。
－イントラ予測モードがＤＣまたはプラナーモードの場合、またはブロック幅もしくは高さが４より小さい場合、等しい重みが、イントラ予測信号およびインター予測信号に適用される。
－その他の場合、重みはイントラ予測モード（このケースでは、水平モードまたは垂直モードのいずれか）およびブロック内のサンプル位置に基づいて決定される。例えば、水平予測モードをとる（垂直モードに対する重みは、同様に導出されるが、直交方向にある）。ブロックの幅はＷと表し、ブロックの高さはＨと表す。符号化ブロックは、まず４つの等積部分に分割され、それぞれの寸法は、（Ｗ／４）×Ｈである。イントラ予測参照サンプルに最も近い部分から開始して、イントラ予測参照サンプルから最も遠い部分で終わり、４つの領域のそれぞれに対する重みｗｔは、６、５、３および２にそれぞれ設定される。最終的なＣＩＩＰ予測信号は、下式（３）を使用して導出される。
ＣＩＩＰモードにおけるインター予測信号Ｐｉｎｔｅｒは、通常のマージモードに適用されるのと同じインター予測処理を使用して導出され、イントラ予測信号Ｐｉｎｔｒａは、通常のイントラ予測処理に続くＣＩＩＰイントラ予測モードを使用して導出される。次に、イントラおよびインター予測信号は、重み付き平均を使用して組み合わされ、この際、重み値はイントラ予測モードに応じ、サンプルは、以下のように符号化ブロックに位置付けされる。
－イントラ予測モードがＤＣまたはプラナーモードの場合、またはブロック幅もしくは高さが４より小さい場合、等しい重みが、イントラ予測信号およびインター予測信号に適用される。
－その他の場合、重みはイントラ予測モード（このケースでは、水平モードまたは垂直モードのいずれか）およびブロック内のサンプル位置に基づいて決定される。例えば、水平予測モードをとる（垂直モードに対する重みは、同様に導出されるが、直交方向にある）。ブロックの幅はＷと表し、ブロックの高さはＨと表す。符号化ブロックは、まず４つの等積部分に分割され、それぞれの寸法は、（Ｗ／４）×Ｈである。イントラ予測参照サンプルに最も近い部分から開始して、イントラ予測参照サンプルから最も遠い部分で終わり、４つの領域のそれぞれに対する重みｗｔは、６、５、３および２にそれぞれ設定される。最終的なＣＩＩＰ予測信号は、下式（３）を使用して導出される。
【数3】
【0077】
インター予測のための三角形分割
ＶＴＭ３では、新しい三角形分割モードが、インター予測向けに導入される。三角形分割モードは、８×８以上のＣＵにのみ適用され、スキップモードまたはマージモードで符号化される。これらの条件を満たし、マージフラグがオンになっているＣＵの場合、ＣＵレベルフラグは、三角形分割モードが適用されるかどうかを示すためにシグナリングされる。
ＶＴＭ３では、新しい三角形分割モードが、インター予測向けに導入される。三角形分割モードは、８×８以上のＣＵにのみ適用され、スキップモードまたはマージモードで符号化される。これらの条件を満たし、マージフラグがオンになっているＣＵの場合、ＣＵレベルフラグは、三角形分割モードが適用されるかどうかを示すためにシグナリングされる。
【0078】
このモードが使用される場合、対角分割または非対角分割のいずれかを使用して、ＣＵは２つの三角形状分割に均等に分割される（図１３Ａおよび図１３Ｂを参照。後述する）。ＣＵ内の三角形分割のそれぞれは、それ自体の動きを使用してインター予測され、単一の予測のみが各分割に対して許容され、すなわち、各分割は、１つの動きベクトルおよび１つの参照インデックスを有する。単一の予測動き制約条件は、従来の双予測と同じように、各ＣＵに対して２つの動き補償予測のみが必要であることを保証するために適用される。
【0079】
現在のＣＵが三角形分割モードを使用して符号化されていることをＣＵレベルフラグが示す場合、［０、３９］の範囲のインデックスがさらにシグナリングされる。この三角形分割インデックスを使用して、三角形分割（対角または非対角）の方向、ならびに分割のそれぞれに対する動きは、ルックアップテーブルを通して得ることができる。三角形分割のそれぞれの予測後、対角または非対角エッジに沿ったサンプル値は、適応重みを伴う混合処理を使用して調整される。これは、全ＣＵに対する予測信号であり、変換および量子化処理が、その他の予測モードのように全ＣＵに適用される。最後に、三角形分割モードを使用して予測されるＣＵの動きフィールドは、４×４単位で記憶される。
【0080】
図１３Ａは、本開示による三角形分割ベースインター予測を示している。
【0081】
図１３Ｂは、本開示による三角形分割ベースインター予測を示している。
【0082】
コンテキスト適応型２値算術符号化（Context-Adaptive Binary Arithmetic Coding：ＣＡＢＡＣ）
【0083】
コンテキスト適応型２値算術符号化（ＣＡＢＡＣ）は、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣおよび高性能映像符号化（ＨＥＶＣ）規格ならびにＶＶＣで使用されるエントロピーエンコーディングの形式である。ＣＡＢＡＣは、映像エンコーディング規格のニーズに適応させるためにいくつかの技術革新および変更を伴う算術符号化に基づく。
・複雑性を低く保ち、任意のシンボルのより頻繁に使用されるビットの確率モデリングを可能にする２値シンボルをエンコードする。
・通常、各符号化モードは局所的によく相関するので、確率モデルは、局所コンテキストに基づいて適応的に選択されて、確率のより良いモデリングが可能になる。
・量子化された確率範囲および確率状態を用いる乗算フリー範囲除算（ｍｕｌｔｉｐｌｉｃａｔｉｏｎ－ｆｒｅｅ ｒａｎｇｅ ｄｉｖｉｓｉｏｎ）を使用する。
・複雑性を低く保ち、任意のシンボルのより頻繁に使用されるビットの確率モデリングを可能にする２値シンボルをエンコードする。
・通常、各符号化モードは局所的によく相関するので、確率モデルは、局所コンテキストに基づいて適応的に選択されて、確率のより良いモデリングが可能になる。
・量子化された確率範囲および確率状態を用いる乗算フリー範囲除算（ｍｕｌｔｉｐｌｉｃａｔｉｏｎ－ｆｒｅｅ ｒａｎｇｅ ｄｉｖｉｓｉｏｎ）を使用する。
【0084】
ＣＡＢＡＣは、異なるコンテキストに対して複数の確率モードを有する。まず全ての非２値シンボルを２値に変換する。次いで、ビン（またはビットと称される）ごとに、符号器は、使用する確率モデルを選択して、近傍要素からの情報を使用して確率推定を最適化する。最後に、算術符号化が適用されて、データが圧縮される。
【0085】
コンテキストモデリングにより、符号化シンボルの条件付き確率の推定がもたらされる。好適なコンテキストモデルを利用することで、エンコードするために、現在のシンボルの隣接にある既に符号化されたシンボルに従って異なる確率モデル間を切り替えることによって、所与のインターシンボル冗長性を活用することができる。
【0086】
データシンボルの符号化は、以下の段階を伴う。
・２値化：ＣＡＢＡＣは、２値決定（１または０）のみがエンコードされることを意味する２値算術符号化を使用する。非２値シンボル（例えば、変換係数または動きベクトル）は、算術符号化の前に、「２値化」されるか、または２値符号に変換される。この処理は、データシンボルを可変長のコードに変換する処理に類似したものであるが、２値符号は、伝送前にさらに（算術符号器によって）エンコードされる。
・段階は、２値化されたシンボルのビン（または「ビット」）ごとに繰り返される。
・コンテキストモデル選択：「コンテキストモデル」は、２値化されたシンボルの１つまたは複数のビン向けの確率モデルである。このモデルは、直近で符号化されたデータシンボルの統計に応じて、利用可能なモデルの選択肢から選択されてよい。コンテキストモデルは、「１」または「０」となる各ビンの確率を記憶する。
・算術エンコーディング：算術符号器は、選択された確率モデルに従って各ビンをエンコードする。ビンごとに２つのサブ範囲（「０」または「１」に対応する）のみが存在することに留意されたい。
・確率更新：選択されたコンテキストモデルは、実際に符号化された値に基づいて更新される（例えば、ビン値が「１」であった場合、「１」の回数カウントが上げられる）。
・２値化：ＣＡＢＡＣは、２値決定（１または０）のみがエンコードされることを意味する２値算術符号化を使用する。非２値シンボル（例えば、変換係数または動きベクトル）は、算術符号化の前に、「２値化」されるか、または２値符号に変換される。この処理は、データシンボルを可変長のコードに変換する処理に類似したものであるが、２値符号は、伝送前にさらに（算術符号器によって）エンコードされる。
・段階は、２値化されたシンボルのビン（または「ビット」）ごとに繰り返される。
・コンテキストモデル選択：「コンテキストモデル」は、２値化されたシンボルの１つまたは複数のビン向けの確率モデルである。このモデルは、直近で符号化されたデータシンボルの統計に応じて、利用可能なモデルの選択肢から選択されてよい。コンテキストモデルは、「１」または「０」となる各ビンの確率を記憶する。
・算術エンコーディング：算術符号器は、選択された確率モデルに従って各ビンをエンコードする。ビンごとに２つのサブ範囲（「０」または「１」に対応する）のみが存在することに留意されたい。
・確率更新：選択されたコンテキストモデルは、実際に符号化された値に基づいて更新される（例えば、ビン値が「１」であった場合、「１」の回数カウントが上げられる）。
【0087】
図１４は、ユーザインターフェース１４６０に接続されたコンピューティング環境１４１０を示している。コンピューティング環境１４１０は、データ処理サーバの一部である場合がある。コンピューティング環境１４１０は、プロセッサ１４２０、メモリ１４４０、およびＩ／Ｏインターフェース１４５０を含む。
【0088】
プロセッサ１４２０は、典型的には、ディスプレイ、データ収集、データ通信および画像処理に関連する操作などの、コンピューティング環境１４１０の全体的な操作を制御する。プロセッサ１４２０は、上述した方法のステップの全てまたはいくつかを実施する命令を実行する１つまたは複数のプロセッサを含んでいてもよい。さらに、プロセッサ１４２０は、プロセッサ１４２０と他の構成要素と相互作用を促進する１つまたは複数のモジュールを含んでいてもよい。プロセッサは、中央演算処理装置（Central Processing Unit：ＣＰＵ）、マイクロプロセッサ、シングルチップマシン、ＧＰＵなどであってもよい。
【0089】
メモリ１４４０は、コンピューティング環境１４１０の操作をサポートするために様々なタイプのデータを記憶するように構成される。このようなデータの例としては、ＭＲＩデータセット、画像データなど、コンピューティング環境１４１０で操作される任意のアプリケーションまたは方法のための命令が含まれる。メモリ１４４０は、静的ランダムアクセスメモリ（Static Random Access Memory：ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（Electrically Erasable Programmable Read-Only Memory：ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（Erasable Programmable Read-Only Memory：ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（Programmable Read-Only Memory：ＰＲＯＭ）、読み取り専用メモリ（Read-Only Memory：ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気または光学ディスクなど、任意のタイプの揮発性または不揮発性メモリデバイス、あるいはそれらの組み合わせを使用して実装されてよい。
【0090】
Ｉ／Ｏインターフェース１４５０は、プロセッサ１４２０と、キーボード、クリックホイール、ボタンなどのインターフェースモジュールとの間のインターフェースを提供する。ボタンとしては、限定はされないが、ホームボタン、スキャン開始ボタン、スキャン停止ボタンなどが挙げられる。Ｉ／Ｏインターフェース１４５０は、エンコーダおよびデコーダに接続される場合がある。
【0091】
一実施形態において、メモリ１４４０に含まれ、コンピューティング環境１４１０内のプロセッサ１４２０によって実行可能であり、上述した方法を実施するための複数のプログラムを含む非一時的コンピュータ可読記憶媒体もまた提供される。例えば、非一時的コンピュータ可読記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光学データ記憶デバイスなどであってよい。
【0092】
非一時的コンピュータ可読記憶媒体は、それ自体に記憶され、１つまたは複数のプロセッサを有するコンピューティングデバイスによって実行される複数のプログラムを有し、該複数のプログラムは、１つまたは複数のプロセッサによって実行されると、該コンピューティングデバイスに動き予測について上述した方法を実施させる。
【0093】
一実施形態において、コンピューティング環境１４１０は、上述の方法を実施するために、１つまたは複数の特定用途向け集積回路（Application-Specific Integrated Circuit：ＡＳＩＣ）、デジタル信号プロセッサ（Digital Signal Processor：ＤＳＰ）、デジタル信号処理デバイス（Digital Signal Processing Device：ＤＳＰＤ）、プログラマブル論理デバイス（Programmable Logic Device：ＰＬＤ）、フィールドプログラマブルゲートアレイ（Field-Programmable Gate Array：ＦＰＧＡ）、グラフィック処理装置（Graphical Processing Unit：ＧＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子構成要素と共に実装されてよい。
【0094】
本開示による方法
上述のように、ＶＴＭ－３．０では、マージモードは、さらに５つのカテゴリー、すなわち、通常のマージ、マージモードＭＶＤ（ＭＭＶＤ）、サブブロックマージ（アフィンマージおよびサブブロックベース時間動きベクトル予測を含む）、組み合わせインターおよびイントラ予測（ＣＩＩＰ）、ならびに三角形分割マージに分類される。現在のＶＶＣにおけるマージモードシグナリングのシンタックスを下表３－１、表３－２に示す。
要約のために、現在のＶＶＣにおける、対応するマージモードを示すためにシグナリングされるシンタックス（関連するフラグ）について以下に示す。
上述のように、ＶＴＭ－３．０では、マージモードは、さらに５つのカテゴリー、すなわち、通常のマージ、マージモードＭＶＤ（ＭＭＶＤ）、サブブロックマージ（アフィンマージおよびサブブロックベース時間動きベクトル予測を含む）、組み合わせインターおよびイントラ予測（ＣＩＩＰ）、ならびに三角形分割マージに分類される。現在のＶＶＣにおけるマージモードシグナリングのシンタックスを下表３－１、表３－２に示す。
【表3-1】
【表3-2】
【表4】
【0095】
５０％を超えるマージモードが、通常のマージモードであることが観察される。しかし、ＶＴＭ－３．０では、通常のマージモード用の符合語は、５つの異なるマージモードの中の最も長いものであり、これは、シンタックス解析の観点から効率的な設計ではない。現在のＶＶＣでは、スキップモードは、マージモードと類似のシンタックス設計を有するが、スキップ用のＣＩＩＰモードはない。しかし、同じ観測結果が、スキップモードで得られた。
【0096】
通常のマージ用のシンタックス
上述のように、現在のＶＶＣの通常のマージモードのスキームは、（通常のマージ、ＭＭＶＤ、サブブロックマージ、ＣＩＩＰおよび三角形マージ）を含むいくつかのマージ関連モードの中で最も頻繁に使用される。本開示の一実施形態において、通常のマージモードが使用されるかどうかを示すために、通常のマージモード用の明確なフラグをシグナリングする。下表に示すように、１つの通常のフラグ（または通常のマージフラグと称される）は、ビットストリームに明確にシグナリングし、関連フラグのシグナリングの全ては、それに応じて修正される。通常のマージフラグは、ＣＡＢＡＣを使用して符合化されたコンテキストである。あるスキームでは、１つのコンテキストのみが、通常のマージフラグを符号化するために使用される。さらに別のスキームでは、複数のコンテキストモデルが、通常のマージフラグを符号化するために使用され、コンテキストモデルの選択は、隣接ブロックの通常のマージフラグ、または現在のＣＵのサイズなど符号化された情報に基づく。
上述のように、現在のＶＶＣの通常のマージモードのスキームは、（通常のマージ、ＭＭＶＤ、サブブロックマージ、ＣＩＩＰおよび三角形マージ）を含むいくつかのマージ関連モードの中で最も頻繁に使用される。本開示の一実施形態において、通常のマージモードが使用されるかどうかを示すために、通常のマージモード用の明確なフラグをシグナリングする。下表に示すように、１つの通常のフラグ（または通常のマージフラグと称される）は、ビットストリームに明確にシグナリングし、関連フラグのシグナリングの全ては、それに応じて修正される。通常のマージフラグは、ＣＡＢＡＣを使用して符合化されたコンテキストである。あるスキームでは、１つのコンテキストのみが、通常のマージフラグを符号化するために使用される。さらに別のスキームでは、複数のコンテキストモデルが、通常のマージフラグを符号化するために使用され、コンテキストモデルの選択は、隣接ブロックの通常のマージフラグ、または現在のＣＵのサイズなど符号化された情報に基づく。
【表5】
【0097】
現在のＶＶＣでは、各マージ関連モードを有効にするための制約条件は異なるので、各マージ関連モードのフラグのシグナリングもまた、下記の要約のように異なるものである。
【表6】
【0098】
したがって、通常のマージフラグのシグナリングはまた、各フラグシグナリングに適用される異なる制約条件を考慮する必要がある。例えば、ブロックサイズが、４×４、８×４または４×８の場合、通常のマージモードおよびＭＭＶＤのみが有効である。これらの条件（ブロックサイズが４×４、８×４または４×８）では、通常のマージフラグのみがシグナリングされ、通常のマージフラグが１に等しい場合は通常のマージモードが使用され、その他の通常のマージフラグが０に等しい場合はＭＭＶＤが使用される。現在のＶＶＣ動作ドラフトに基づくシンタックスの例を以下の表７－１、表７－２、表７－３に示す。
【表7-1】
【表7-2】
【表7-3】
【0099】
例では、通常のマージフラグがビットストリームに明確にシグナリングされることに留意されたい。しかし、通常のマージフラグは、任意の配置でシグナリングされてよく、上述したような第１の配置である必要はない。さらに別のスキームでは、通常のマージフラグは、シグナリングされるが、ＭＭＶＤおよびサブブロックマージフラグの後にシグナリングされる。
【0100】
通常のマージモードへの関連マージモードの統合
本開示の一実施形態において、ＭＭＶＤ、ＣＩＩＰ、および三角形マージは、通常のマージモードに結合される。このスキームでは、ＭＭＶＤ候補、ＣＩＩＰ候補および三角形マージ候補の全ては、通常のマージ候補と見なされ、通常のマージインデックスは、どの候補が使用されるかを示すために利用される。通常のマージ候補リストのサイズは、それに応じて拡大される必要がある。一例では、Ｎに等しい通常のマージインデックス（Ｎは任意の正整数であってよく、かつ通常のマージ候補リストの最大サイズよりも小さい）は、ＭＭＶＤモードが選択されて、どのＭＭＶＤ候補が使用されるかを示すために別のシンタックスがシグナリング／受信されることを意味する。同じスキームが、ＣＩＩＰおよび三角形マージモードにも適用されてよい。
本開示の一実施形態において、ＭＭＶＤ、ＣＩＩＰ、および三角形マージは、通常のマージモードに結合される。このスキームでは、ＭＭＶＤ候補、ＣＩＩＰ候補および三角形マージ候補の全ては、通常のマージ候補と見なされ、通常のマージインデックスは、どの候補が使用されるかを示すために利用される。通常のマージ候補リストのサイズは、それに応じて拡大される必要がある。一例では、Ｎに等しい通常のマージインデックス（Ｎは任意の正整数であってよく、かつ通常のマージ候補リストの最大サイズよりも小さい）は、ＭＭＶＤモードが選択されて、どのＭＭＶＤ候補が使用されるかを示すために別のシンタックスがシグナリング／受信されることを意味する。同じスキームが、ＣＩＩＰおよび三角形マージモードにも適用されてよい。
【0101】
さらに別の例では、ＣＩＩＰおよび三角形マージは、通常のマージモードに結合される。このスキームでは、ＣＩＩＰ候補および三角形マージ候補の全ては、通常のマージ候補と見なされ、通常のマージインデックスは、どの候補が使用されるかを示すために利用される。通常のマージ候補リストのサイズは、それに応じて拡大される必要がある。
【0102】
制約条件の調整
上述のように、異なるマージ関連モードを有効にする制約条件は異なる。本開示の一実施形態において、異なるマージモードを有効にし、かつ関連フラグをシグナリングする制約条件は、さらに調整される。一例では、制約条件は、下表に示すように修正される。
上述のように、異なるマージ関連モードを有効にする制約条件は異なる。本開示の一実施形態において、異なるマージモードを有効にし、かつ関連フラグをシグナリングする制約条件は、さらに調整される。一例では、制約条件は、下表に示すように修正される。
【表8】
【0103】
本開示のさらに別の例では、制約条件は、下表に示すように修正される。
【0104】
【表9】
【0105】
本開示のさらに別の例では、制約条件は、下表に示すように修正される。このスキームでは、ＣＩＩＰのフラグは、ブロック幅＝１２８またはブロック高さ＝１２８であっても、シグナリングされ、ブロック幅＝１２８またはブロック高さ＝１２８の場合、イントラ予測がこれらの条件をサポートしないので、常に０に制約されることに留意されたい。
【0106】
【表10】
【0107】
本開示のさらに別の例では、制約条件は、下表に示すように修正される。このスキームでは、ＣＩＩＰのフラグは、ブロック幅＝１２８またはブロック高さ＝１２８であっても、シグナリングされ、ブロック幅＝１２８またはブロック高さ＝１２８の場合、イントラ予測がこれらの条件をサポートしないので、常に０に制約されることに留意されたい。
【0108】
【表11】
【0109】
ＣＩＩＰフラグおよび三角形マージフラグの順番の切り替え
三角形マージモードは、より頻繁に使用されることが観察されるので、ＣＩＩＰフラグおよび三角形マージフラグのシグナリングの順番を切り替える。
三角形マージモードは、より頻繁に使用されることが観察されるので、ＣＩＩＰフラグおよび三角形マージフラグのシグナリングの順番を切り替える。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図14】