(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-30
(45)【発行日】2024-02-07
(54)【発明の名称】ビデオデータをコーディングするためのデバイス及び方法
(51)【国際特許分類】
H04N 19/105 20140101AFI20240131BHJP
H04N 19/70 20140101ALI20240131BHJP
H04N 19/172 20140101ALI20240131BHJP
H04N 19/176 20140101ALI20240131BHJP
【ＦＩ】
H04N19/105
H04N19/70
H04N19/172
H04N19/176
【請求項の数】
11
(21)【出願番号】P 2022542730
(86)(22)【出願日】2021-03-19
(65)【公表番号】
(43)【公表日】2023-03-13
(86)【国際出願番号】 CN2021081709
(87)【国際公開番号】W WO2021185345
(87)【国際公開日】2021-09-23
【審査請求日】2022-07-12
(31)【優先権主張番号】62/992,092
(32)【優先日】2020-03-19
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518446879
【氏名又は名称】鴻穎創新有限公司
【氏名又は名称原語表記】ＦＧ ＩＮＮＯＶＡＴＩＯＮ ＣＯＭＰＡＮＹ ＬＩＭＩＴＥＤ
【住所又は居所原語表記】Ｆｌａｔ ２６２３，２６／Ｆ Ｔｕｅｎ Ｍｕｎ Ｃｅｎｔｒａｌ Ｓｑｕａｒｅ，２２ Ｈｏｉ Ｗｉｎｇ Ｒｏａｄ，Ｔｕｅｎ Ｍｕｎ，Ｎｅｗ Ｔｅｒｒｉｔｏｒｉｅｓ，Ｔｈｅ Ｈｏｎｇ Ｋｏｎｇ Ｓｐｅｃｉａｌ Ａｄｍｉｎｉｓｔｒａｔｉｖｅ Ｒｅｇｉｏｎ ｏｆ ｔｈｅ Ｐｅｏｐｌｅ’ｓ Ｒｅｐｕｂｌｉｃ ｏｆ Ｃｈｉｎａ
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】ヤン，ユチァオ
(72)【発明者】
【氏名】テン，チユ
【審査官】松元 伸次
(56)【参考文献】
【文献】特表２０２３－５１７０８５（ＪＰ，Ａ）
【文献】Olena Chubach et al.，CE4-related: On maximum number of subblock-based merging candidates，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 October 2019，JVET-P0152-v1，2019年10月04日，pp.1-2
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
電子デバイスによってビットストリームを復号化する方法であって、前記方法は、前記ビットストリームを受信する工程、
前記ビットストリームからの１つ又は複数の画像フレームに対応するアフィン有効化フラグを決定する工程、
前記アフィン有効化フラグが真であるとき、前記ビットストリームからの前記１つ又は複数の画像フレームに対応する最大インデックスを決定する工程であって、
前記最大インデックスのインデックス値は、０からＮ－Ｋのインデックス範囲内にあり、Ｎは、第１の整数であり、Ｋは、Ｎより小さい第２の整数であり、
前記最大インデックスの前記インデックス値は、Ｋが１であるとき、０からＮ－１の前記インデックス範囲内にある、工程、
前記アフィン有効化フラグが真であり、Ｋが１であるとき、ゼロ以上のサブブロックベースマージ動きベクトル予測子（ＭＶＰ）候補の最大数は、１からＮの数値範囲であり、Ｎから前記最大インデックスの前記インデックス値を減算することによって生成されることを決定する工程、及び
ゼロ以上のサブブロックベースマージＭＶＰ候補の前記最大数に基づいて、前記１つ又は複数の画像フレームを再構成する工程、
を含む、方法。
【請求項2】
Ｎは、５である、請求項１に記載の方法。
【請求項3】
前記アフィン有効化フラグが偽のとき、前記ビットストリームから前記最大インデックスを決定せずに、サブブロックベース一時的ＭＶＰフラグおよび一時的ＭＶＰフラグに基づいて前記最大数を決定する工程、を更に含む、請求項１に記載の方法。
【請求項4】
前記アフィン有効化フラグ、前記サブブロックベース一時的ＭＶＰフラグ及び前記最大インデックスは、前記ビットストリームのシーケンスパラメータセット（ＳＰＳ）に含まれ、前記一時的ＭＶＰフラグは、前記ビットストリームのピクチャヘッダに含まれ、
前記１つ又は複数の画像フレームのそれぞれは、前記ＳＰＳに基づいて再構成され、且つ
前記ピクチャヘッダに基づいて、前記１つ又は複数の画像フレームの少なくとも１つは、再構成される
、請求項３に記載の方法。
【請求項5】
前記最大数は、Ｋが１と異なるとき、ＫからＮの数値範囲である、請求項１に記載の方法。
【請求項6】
ビットストリームを復号化するための電子デバイスであって、前記電子デバイスは、少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに結合され、前記少なくとも１つのプロセッサによって実行されるとき、前記電子デバイスに、
前記ビットストリームを受信すること、
前記ビットストリームからの１つ又は複数の画像フレームに対応するアフィン有効化フラグを決定すること、
前記アフィン有効化フラグが真であるとき、前記ビットストリームからの前記１つ又は複数の画像フレームに対応する最大インデックスを決定することであって、
前記最大インデックスのインデックス値は、０からＮ－Ｋのインデックス範囲内にあり、Ｎは、第１の整数であり、Ｋは、Ｎより小さい第２の整数であり、
前記最大インデックスの前記インデックス値は、Ｋが１であるとき、０からＮ－１の前記インデックス範囲内にある、こと、
前記アフィン有効化フラグが真であり、Ｋが１であるとき、ゼロ以上のサブブロックベースマージ動きベクトル予測子（ＭＶＰ）候補の最大数は、１からＮの数値範囲であり、Ｎから前記最大インデックスの前記インデックス値を減算することによって生成されることを決定すること、及び
ゼロ以上のサブブロックベースマージＭＶＰ候補の前記最大数に基づいて、前記１つ又は複数の画像フレームを再構成すること、
を実行させるプログラムを保存する、記憶デバイスと、
を含む、電子デバイス。
【請求項7】
Ｎは、５である、請求項６に記載の電子デバイス。
【請求項8】
前記最大数は、Ｋが１と異なるとき、ＫからＮの数値範囲である、請求項６に記載の電子デバイス。
【請求項9】
前記プログラムは、前記少なくとも１つのプロセッサに実行されるとき、前記電子デバイスに、
前記アフィン有効化フラグが偽のとき、前記ビットストリームから前記最大インデックスを決定せずに、サブブロックベース一時的ＭＶＰフラグおよび一時的ＭＶＰフラグに基づいた前記最大数を決定することを実行させる、請求項６に記載の電子デバイス。
【請求項10】
電子デバイスによってビットストリームを復号化する方法であって、前記方法は、前記ビットストリームを受信する工程、
前記ビットストリームからの１つ又は複数の画像フレームに対応する最大インデックスを決定する工程であって、前記最大インデックスのインデックス値は、０からＮ－Ｋのインデックス範囲内にあり、Ｎは、第１の整数であり、Ｋは、Ｎより小さい第２の整数である、工程、
前記最大インデックスのインデックス値をＮから減算することによって、ゼロ以上のサブブロックベースマージ動きベクトル予測子（ＭＶＰ）候補の最大数を決定し、前記最大インデックスの前記インデックス値は、０からＮ－１の前記インデックス範囲内にあり、前記最大数は、Ｋが１であるとき、１からＮの数値範囲内にある、工程、及び
ゼロ以上のサブブロックベースマージＭＶＰ候補の前記最大数に基づいて前記１つ又は複数の画像フレームを再構成する工程、
を含む、方法。
【請求項11】
前記ビットストリームからの前記１つ又は複数の画像フレームに対応するアフィン有効化フラグを決定する工程を更に含み、前記アフィン有効化フラグが真のとき、前記最大インデックスは、前記ビットストリームから決定され、
前記アフィン有効化フラグが偽のとき、前記ビットストリームから前記最大インデックスを決定せずに、サブブロックベース一時的ＭＶＰフラグおよび一時的ＭＶＰフラグに基づいて前記最大数を決定する、請求項１０に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願の相互参照〕
本開示は、２０２０年３月１９日に出願された“High Level Syntax for Merge Modes”という名称の米国仮特許出願第６２／９９２０９２号（以下、「０９２仮特許」と称する）の利益及び優先権を主張する。‘０９２仮特許の開示は、参照により本開示に完全に組み込まれる。
本開示は、２０２０年３月１９日に出願された“High Level Syntax for Merge Modes”という名称の米国仮特許出願第６２／９９２０９２号（以下、「０９２仮特許」と称する）の利益及び優先権を主張する。‘０９２仮特許の開示は、参照により本開示に完全に組み込まれる。
【0002】
〔分野〕
本開示は一般に、ビデオコーディングに関し、特に、高レベルシンタックスを使用し、マージ候補の数を決定するための技術に関する。
本開示は一般に、ビデオコーディングに関し、特に、高レベルシンタックスを使用し、マージ候補の数を決定するための技術に関する。
【背景技術】
【0003】
従来のビデオコーディング方法において、エンコーダは、ビデオデータを符号化し、複数のフラグ及び複数のインデックスを有する符号化されたデータを生成し、符号化されたデータをデコーダに提供することができる。フラグは、複数のコーディングモードが有効であるか否かを示してよい。例えば、符号化されたデータは、いくつかの画像フレームのためにアフィンモードが有効かを示すアフィン有効化フラグを含んでよい。その上、インデックスは、コーディングモードのためのモード候補の最大数を示すことができる。
【0004】
符号化されたデータは、異なるレベルのシンタックス要素の各々において、コーディングモード毎にフラグ及びインデックスを含むことができるが、コーディング効率が低下することがある。従って、エンコーダ及びデコーダは、符号化されたデータ内のビット数が過度に増加することを防止するために、フラグ及びインデックスをより効率的に使用するための方法を有する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は、マージ候補の数を決定するために高レベルシンタックスを使用するためのデバイス及び方法を対象とする。
【0006】
本開示の第１の態様において、ビットストリームを復号化するための方法、及び本方法を実行するための電子デバイスが、提供される。本方法は、ビットストリームを受信する工程、ビットストリームからの１つ又は複数の画像フレームに対応するアフィン有効化フラグを決定する工程、アフィン有効化フラグが真であるとき、ビットストリームからの１つ又は複数の画像フレームに対応する最大インデックスを決定する工程であって、最大インデックスのインデックス値は、０からＮ－Ｋのインデックス範囲内にあり、Ｎは、第１の整数であり、Ｋは、Ｎより小さい第２の整数である、工程、アフィン有効化フラグが真であるとき、最大インデックスに基づいて、ゼロ以上のサブブロックベースマージ動きベクトル予測子（ＭＶＰ）候補の最大数を決定する工程、及びゼロ以上のサブブロックベースマージＭＶＰ候補の最大数に基づいて、１つ又は複数の画像フレームを再構成する工程を含む。
【0007】
本開示の第２の態様において、ビットストリームを復号化するための方法、及び本方法を実行するための電子デバイスが、提供される。本方法は、ビットストリームを受信する工程、ビットストリームからの１つ又は複数の画像フレームに対応する最大インデックスを決定する工程であって、最大インデックスのインデックス値は、０からＮ－Ｋのインデックス範囲内にあり、Ｎは、第１の整数であり、Ｋは、Ｎより小さい第２の整数である、工程、Ｎから最大インデックスのインデックス値を減算することによってゼロ以上のサブブロックベースマージ動きベクトル予測子（ＭＶＰ）候補の最大数を決定する工程、及びゼロ以上のサブブロックベースマージＭＶＰ候補の最大数に基づいて、１つ又は複数の画像フレームを再構成する工程を含む。
【図面の簡単な説明】
【0008】
本開示の態様は、以下の詳細な開示及び対応する図面から最もよく理解される。様々な特徴は、縮尺通りに描かれておらず、様々な特徴の寸法は、議論を明確にするために任意に増減されてもよい。
【発明を実施するための形態】
【0009】
以下の開示は、本開示における実施形態に関連する特定の情報を含む。図面及び対応する詳細な開示は、例としての実施形態に向けられる。しかしながら、本開示は、これらの例としての実施形態に限定されない。本開示の他の変形例及び実施形態は、当業者に想起されるであろう。
【0010】
特に断りのない限り、図中の同様の又は対応する要素は、同様の又は対応する参照符号によって示され得る。本開示における図面及び例示は、概して、縮尺通りではなく、実際の相対的寸法に対応することを意図していない。
【0011】
一貫性の目的及び理解の容易さのために、同様の特徴は、例示的な図において（いくつかの実施例において、図示されていないが）参照符号によって識別されている。しかしながら、異なる実施形態における特徴は、他の点で異なってよく、図に示されるものに狭く限定されるべきではない。
【0012】
本開示は、「一実施形態において」又は「いくつかの実施形態において」という語句を使用し、同一又は異なる実施形態の一つ又は複数を参照することがある。用語「結合された」は、直接的であろうと間接的であろうと、介在する部品を介して接続されたものとして定義され、必ずしも物理的接続に限定されない。用語「備える」は、「含むが、必ずしもそれに限定されない」ことを意味し、特に、そのように記載された組み合わせ、群、グループ、シリーズ及び等価物におけるオープンエンドの包含又はメンバーシップを示す。
【0013】
説明及び非限定の目的のために、開示された技術の理解を提供するための機能エンティティ、技法、プロトコル、及び規格といった特定の詳細は、記載される。周知の方法、技術、システム、及びアーキテクチャの詳細な開示は、本開示を不必要な詳細で曖昧にしないように省略される。
【0014】
当業者は、本開示に記載された任意の開示されたコーディング機能又はアルゴリズムが、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアとの組み合わせによって実施され得ることを直ちに認識するであろう。開示される機能は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せであるモジュールに対応し得る。
【0015】
ソフトウェア実施形態は、メモリ又は他の種類の記憶装置といったコンピュータ可読媒体上に記憶されたコンピュータ実行可能命令を有するプログラムを含み得る。例えば、通信処理能力を有する１つ又は複数のマイクロプロセッサ又は汎用コンピュータは、実行可能命令でプログラムされ、開示された機能又はアルゴリズムを実行することができる。
【0016】
マイクロプロセッサ又は汎用コンピュータは、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理アレイ、及び／又は１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）を使用して形成することができる。開示されている実施形態のいくつかは、コンピュータハードウェア上にインストールされ実行されるソフトウェアを指向しているが、ファームウェアとして、又はハードウェアとして、又はハードウェアとソフトウェアの組合せとして実施される代替的な実施形態は、十分に本開示の範囲内にある。コンピュータ可読媒体は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、磁気カセット、磁気テープ、磁気ディスク記憶、又はコンピュータ可読命令を記憶することができる他の任意の同等の媒体を含むが、これらに限定されない。
【0017】
図１は、本開示の一実施形態に従った、ビデオデータを符号化及び復号化するように構成されたシステム１００のブロック図を示す。システム１００は、第１の電子デバイス１１０、第２の電子デバイス１２０、及び通信媒体１３０を含む。
【0018】
第１の電子デバイス１１０は、ビデオデータを符号化し、符号化されたビデオデータを通信媒体１３０に送信するように構成された任意のデバイスを含むソースデバイスであってよい。第２の電子デバイス１２０は、通信媒体１３０を介して符号化されたビデオデータを受信し、符号化されたビデオデータを復号化するように構成された任意のデバイスを含む宛先デバイスであってよい。
【0019】
第１の電子デバイス１１０は、通信媒体１３０を介して第２の電子デバイス１２０と有線又は無線で通信することができる。第１の電子デバイス１１０は、ソースモジュール１１２、エンコーダモジュール１１４、及び第１のインターフェース１１６を含むことができる。第２の電子デバイス１２０は、ディスプレイモジュール１２２、デコーダモジュール１２４、及び第２のインターフェース１２６を含むことができる。第１の電子デバイス１１０は、ビデオエンコーダであってよく、第２の電子デバイス１２０は、ビデオデコーダであってよい。
【0020】
第１の電子デバイス１１０及び／又は第２の電子デバイス１２０は、携帯電話、タブレット、デスクトップ、ノートブック、又は他の電子デバイスであってよい。図１は、第１の電子デバイス１１０及び第２の電子デバイス１２０の１つの実施例を示す。第１の電子デバイス１１０及び第２の電子デバイス１２０は、図示されたものよりも多い又は少ない部品を含むことができ、又は様々な図示された部品の異なる構成を有することができる。
【0021】
ソースモジュール１１２は、新しいビデオをキャプチャするためのビデオキャプチャデバイス、以前にキャプチャされたビデオを格納するためのビデオアーカイブ、及び／又はビデオコンテンツプロバイダーからビデオを受信するためのビデオフィードインターフェースを含むことができる。ソースモジュール１１２は、ソースビデオとしてコンピュータグラフィックスベースのデータを生成する、又はソースビデオとしてライブビデオ、アーカイブビデオ、及びコンピュータ生成されたビデオの組み合わせを生成することができる。ビデオキャプチャデバイスは、電荷結合デバイス（ＣＣＤ）イメージセンサ、相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサ、又はカメラであってよい。
【0022】
エンコーダモジュール１１４及びデコーダモジュール１２４は、それぞれ、１つ又は複数のマイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、システムオンチップ（ＳｏＣ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せといった、様々な適切な符号化／復号化回路のいずれかとして実施され得る。ソフトウェアで部分的に実施されるとき、デバイスは、ソフトウェアのための命令を有するプログラムを適切な非一時的コンピュータ可読媒体に記憶し、開示された方法を実行するために１つ又は複数のプロセッサを用いてハードウェアで命令を実行することができる。エンコーダモジュール１１４及びデコーダモジュール１２４の各々は、１つ又は複数のエンコーダ又はデコーダに含まれてもよく、これらのエンコーダ又はデコーダの内の任意のものは、デバイス内の複合エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合されてよい。
【0023】
第１のインターフェース１１６及び第２のインターフェース１２６は、イーサネット、ＩＥＥＥ ８０２．１１又はＩＥＥＥ ８０２．１５シリーズ、無線ＵＳＢ又は通信規格、移動通信のためのグローバルシステム（ＧＳＭ）、符号分割多元接続２０００（ＣＤＭＡ２０００）、時分割同期符号分割多元接続（ＴＤ－ＳＣＤＭＡ）、マイクロ波アクセスのための世界的相互運用性（ＷｉＭＡＸ）、第３世代パートナーシッププロジェクトロングタームエボリューション（３ＧＰＰ－ＬＴＥ）又は時分割ＬＴＥ（ＴＤ－ＬＴＥ）を含むが、これらに限定されない、カスタマイズされたプロトコルを利用する、又はデファクトスタンダードに従うことができる。第１のインターフェース１１６及び第２のインターフェース１２６は、それぞれ、通信媒体１３０を介して準拠したビデオビットストリームを送信し及び／又は格納するように構成され、且つ、通信媒体１３０を介して準拠したビデオビットストリームを受信するように構成された任意のデバイスを含んでよい。
【0024】
第１のインターフェース１１６及び第２のインターフェース１２６は、準拠したビデオビットストリームを記憶装置に記憶すること、又は記憶装置から受信することを可能にするコンピュータシステムインターフェースを含んでよい。例えば、第１のインターフェース１１６及び第２のインターフェース１２６は、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）及びペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）バスプロトコル、独自のバスプロトコル、ユニバーサルシリアルバス（ＵＳＢ）プロトコル、Ｉ２Ｃ、又はピアデバイスを相互接続するために使用することができる他の任意の論理及び物理構造をサポートするチップセットを含むことができる。
【0025】
ディスプレイモジュール１２２は、液晶ディスプレイ（ＬＣＤ）技術、プラズマディスプレイ技術、有機発光ダイオード（ＯＬＥＤ）ディスプレイ技術、又は発光ポリマーディスプレイ（ＬＰＤ）技術を用いたディスプレイを、他の実施形態で使用される他のディスプレイ技術と共に含んでもよい。ディスプレイモジュール１２２は、高精細ディスプレイ又は超高精細ディスプレイを含むことができる。
【0026】
図２は、本開示の一実施形態に従った、図１に示される第２の電子デバイス１２０のデコーダモジュール１２４のブロック図を示す。デコーダモジュール１２４は、エントロピーデコーダ（例えば、エントロピー復号化ユニット２２４１）、予測プロセッサ（例えば、予測プロセスユニット２２４２）、逆量子化／逆変換プロセッサ（例えば、逆量子化／逆変換ユニット２２４３）、加算器（例えば、加算器２２４４）、フィルタ（例えば、フィルタリングユニット２２４５）、及び復号化された画像バッファ（例えば、復号化された画像バッファ２２４６）を含む。予測プロセスユニット２２４２は、イントラ予測プロセッサ（例えば、イントラ予測ユニット２２４２１）、及びインター予測プロセッサ（例えば、インター予測ユニット２２４２２）を更に含む。デコーダモジュール１２４は、ビットストリームを受信し、ビットストリームを復号化して、復号化されたビデオを出力する。
【0027】
エントロピー復号化ユニット２２４１は、図１において第２のインターフェース１２６から複数のシンタックス要素を含むビットストリームを受信し、ビットストリームからシンタックス要素を抽出するパーシング動作をビットストリーム上で実行してよい。パーシング動作の一部として、エントロピー復号化ユニット２２４１は、ビットストリームをエントロピー復号化し、量子化変換係数、量子化パラメータ、変換データ、動きベクトル、イントラモード、分割情報、及び他のシンタックス情報を生成することができる。
【0028】
エントロピー復号化ユニット２２４１は、量子化変換係数を生成するために、コンテキスト適応可変長符号化（ＣＡＶＬＣ）、コンテキスト適応２進算術符号化（ＣＡＢＡＣ）、シンタックスベースのコンテキスト適応２進算術符号化（ＳＢＡＣ）、確率間隔分割エントロピー（ＰＩＰＥ）符号化、又は別のエントロピーコーディング技法を実行することができる。エントロピー復号化ユニット２２４１は、量子化された変換係数、量子化パラメータ、及び変換データを逆量子化／逆変換ユニット２２４３に提供し、動きベクトル、イントラモード、分割情報、及び他のシンタックス情報を予測処理ユニット２２４２に提供することができる。
【0029】
予測プロセスユニット２２４２は、エントロピー復号化ユニット２２４１から、動きベクトル、イントラモード、分割情報、及び他のシンタックス情報などのシンタックス要素を受信することができる。予測プロセスユニット２２４２は、分割情報を含むシンタックス要素を受信し、分割情報に従って画像フレームを分割することができる。
【0030】
各画像フレームは、分割情報に従って少なくとも１つの画像ブロックに分割されてよい。少なくとも１つの画像ブロックは、複数の輝度サンプルを再構成するための輝度ブロック、及び複数の色差サンプルを再構成するための少なくとも１つの色差ブロックを含んでよい。輝度ブロック及び少なくとも１つの色差ブロックは、マクロブロック、コーディングツリーユニット（ＣＴＵ）、コーディングブロック（ＣＢ）、そのサブ分割、及び／又は別の同等のコーディングユニットを生成するために、更に分割されてもよい。
【0031】
復号化プロセスの間、予測プロセスユニット２２４２は、画像フレームの内の特定の１つの現在の画像ブロックのためのイントラモード又は動きベクトルを含む予測されたデータを受信することができる。現在の画像ブロックは、輝度ブロックであっても、特定の画像フレームの中の色差ブロックの一つであってもよい。
【0032】
イントラ予測ユニット２２４２１は、予測されたブロックを生成するために、イントラモードに関連するシンタックス要素に基づいて、現在のブロックユニットと同じフレーム内の１つ又は複数の隣接ブロックに対する現在のブロックユニットのイントラ予測コーディングを実行することができる。イントラモードは、現在のフレーム内の隣接ブロックから選択された参照サンプルの位置を指定することができる。イントラ予測ユニット２２４２１は、クロマ成分が予測プロセスユニット２２４２によって再構成されるとき、現在のブロックユニットの複数のルマ成分に基づいて、現在のブロックユニットの複数のクロマ成分を再構成してよい。
【0033】
イントラ予測ユニット２２４２１は、予測プロセスユニット２２４２によって、現在のブロックのルマ成分が再構成されるとき、現在のブロックユニットの複数のルマ成分に基づいて、現在のブロックユニットの複数のクロマ成分を再構成することができる。
【0034】
インター予測ユニット２２４２２は、予測されたブロックを生成するために、動きベクトルに関連するシンタックス要素に基づいて、１つ又は複数の参照画像ブロック内の１つ又は複数のブロックに対する現在のブロックユニットのインター予測コーディングを実行することができる。
【0035】
動きベクトルは、参照画像ブロック内の参照ブロックユニットに対する現在の画像ブロック内の現在のブロックユニットの変位を示すことができる。参照ブロックユニットは、現在のブロックユニットと密接に一致するように決定されたブロックである。
【0036】
インター予測ユニット２２４２２は、復号化された画像バッファ２２４６に格納された参照画像ブロックを受信し、受信した参照画像ブロックに基づいて現在のブロックユニットを再構成してもよい。
【0037】
逆量子化／逆変換ユニット２２４３は、逆量子化及び逆変換を適用し、画素領域内の残差ブロックを再構成してもよい。逆量子化／逆変換ユニット２２４３は、残差量子化変換係数に逆量子化を適用して残差変換係数を生成し、次いで残差変換係数に逆変換を適用して画素領域内の残差ブロックを生成してもよい。
【0038】
逆変換は、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、適応多重変換（ＡＭＴ）、モード依存非分離二次変換（ＭＤＮＳＳＴ）、ハイパーキューブギブンス変換（ＨｙＧＴ）、信号依存変換、カルマンローブ変換（ＫＬＴ）、ウェーブレット変換、整数変換、サブバンド変換又は概念的に類似した変換のような変換プロセスによって逆に適用することができる。逆変換は、周波数ドメインといった変換領域からの残差情報を画素領域に戻すように変換してもよい。逆量子化の度合いは、量子化パラメータを調整することによって修正されてもよい。
【0039】
加算器２２４４は、再構成された残差ブロックを、予測プロセスユニット２２４２から提供される予測されたブロックに追加し、再構成されたブロックを生成する。
【0040】
フィルタリングユニット２２４５は、再構成されたブロックからブロッキングアーチファクトを除去するために、デブロッキングフィルタ、サンプル適応オフセットフィルタ、バイラテラルフィルタ、及び／又は適応ループフィルタ（ＡＬＦ）を含んでもよい。デブロッキングフィルタ、ＳＡＯフィルタ、バイラテラルフィルタ、及びＡＬＦに加えて、追加のフィルタ（ループ又はポストループ）を使用することもできる。このようなフィルタは、簡潔にするために明示的に示されていないが、加算器２２４４の出力をフィルタリングすることができる。フィルタリングユニット２２４５は、フィルタリングユニット２２４５が特定の画像フレームの再構成されたブロックに対するフィルタリングプロセスを実行した後、復号化されたビデオをディスプレイモジュール１２２又は他のビデオ受信ユニットに出力することができる。
【0041】
復号化された画像バッファ２２４６は、（インターコーディングモードで）ビットストリームを復号化する際に予測プロセスユニット２２４２による使用のための参照ブロックを格納する参照画像メモリであってもよい。復号化された画像バッファ２２４６は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、又は他の種類のメモリデバイスを含む、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）といった、様々なメモリデバイスのいずれかによって形成され得る。復号化された画像バッファ２２４６は、デコーダモジュール１２４の他の部品とオンチップであってもよく、又はそれらの部品に対してオフチップであってもよい。
【0042】
図３は、本開示の一実施形態に従った、電子デバイスによるビデオデータを復号化する方法３００のフローチャートを示す。方法３００は、ビデオデータの復号化を実行する様々な方法があるため、単なる一実施例である。
【0043】
方法３００は、図１及び図２に示される設定を使用して実行されてもよく、これらの図の様々な要素は、方法３００に関して参照される。図３に示される各ブロックは、実行される１つ又は複数のプロセス、方法、又はサブルーチンを表すことができる。
【0044】
図３内のブロックの順序は、例示的なものにすぎず、変更できる。本開示から逸脱することなく、追加のブロックが追加されてもよく、又はより少ないブロックが利用されてもよい。
【0045】
ブロック３１０において、デコーダモジュール１２４は、ビデオデータを受信する。ビデオデータは、ビットストリームであってよい。
【0046】
図１及び図２を参照すると、第２の電子デバイス１２０は、第１の電子デバイス１１０といったエンコーダ、又は第２のインターフェース１２６を介して他のビデオプロバイダーからビットストリームを受信することができる。第２のインターフェース１２６は、ビットストリームをデコーダモジュール１２４に提供することができる。
【0047】
エントロピー復号化ユニット２２４１は、ビットストリームを復号化して、複数のビデオ画像のための複数の予測インディケーション及び複数の分割インディケーションを決定することができる。次いで、デコーダモジュール１２４は、予測インディケーション及び分割インディケーションに基づいて、複数のビデオ画像を更に再構成することができる。予測インディケーション及び分割インディケーションは、複数のフラグ及び複数のインデックスを含むことができる。
【0048】
ブロック３２０において、デコーダモジュール１２４は、ビデオデータからの１つ又は複数の画像フレームに対応するアフィン有効化フラグを決定する。更に図１及び図２を参照すると、デコーダモジュール１２４は、ビットストリームから１つ又は複数の画像フレームを決定し、１つ又は複数の画像フレームに対応する第１のパラメータセットを決定することができる。
【0049】
第１のパラメータセットは、複数の第１の予測インディケーション及び複数の第１の分割インディケーションを含むことができる。ビットストリームは、前記１つ又は複数の画像フレームを除く他の画像フレームの内の１つ又は複数に対応する第２のパラメータセットを更に含むことができる。
【0050】
第１のパラメータセットと第２のパラメータセットの両方は、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、画像パラメータセット（ＰＰＳ）、及び画像ヘッダ（ＰＨ）のいずれかである。例えば、アフィン有効化フラグがＳＰＳに含まれているとき、アフィン有効化フラグは、フラグｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇであってよい。１つ又は複数の画像フレームの各々は、第１のパラメータセットがＳＰＳであるとき、ＳＰＳに基づいて再構成される。
【0051】
デコーダモジュール１２４は、ビットストリームの第１のパラメータセットからの１つ又は複数の画像フレームに対応するアフィン有効化フラグを決定することができる。アフィン有効化フラグは、１つ又は複数の画像フレームのためにアフィンモデルベースの動き補償が有効であるかどうかを決定するために使用される。ビットストリーム内のブロックベースシンタックスは、アフィン有効化フラグが１に等しいとき、１つ又は複数の画像フレームの１つから分割された画像ブロックのためにアフィンモデルベースの動き補償が使用されるかどうかを決定するためのブロックベースのアフィンフラグを更に含むことができる。アフィンモデルベースの動き補償は、アフィンマージ予測子（複数の継承アフィンマージ候補から選択された複数のアフィンマージ候補、複数の構築されたアフィンマージ候補、及び少なくとも１つのゼロ動きベクトル（ＭＶ）候補を有する）、及びアフィンアドバンスド動きベクトル予測子（ＡＭＶＰ）予測子（複数の継承アフィンＡＭＶＰ候補から選択された複数のアフィンＡＭＶＰ候補、複数の構築されたアフィンＡＭＶＰ候補、隣接ブロックから決定された翻訳ＭＶ候補、及びゼロＭＶ候補を有する）を含むことができる。
【0052】
ブロック３３０において、デコーダモジュール１２４は、アフィン有効化フラグが真であるかどうかを決定する。方法３００は、アフィン有効化フラグが真であるとデコーダモジュール１２４が決定したとき、ブロック３４０に進むことができる。方法３００は、アフィン有効化フラグが偽であるとデコーダモジュール１２４が決定したとき、ブロック３５０に進むことができる。
【0053】
デコーダモジュール１２４は、アフィン有効化フラグが１に等しいとき、アフィン有効化フラグが真であると決定する。デコーダモジュール１２４は、アフィン有効化フラグがゼロに等しいとき、アフィン有効化フラグが偽であると決定する。
【0054】
アフィン有効化フラグは、アフィン有効化フラグがＶＰＳに含まれているとき、フラグｖｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇである。アフィン有効化フラグは、アフィン有効化フラグがＳＰＳに含まれているとき、フラグｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇである。アフィン有効化フラグは、アフィン有効化フラグがＰＰＳに含まれているとき、フラグｐｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇである。アフィン有効化フラグは、アフィン有効化フラグがＰＨに含まれているとき、フラグｐｈ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇである。
【0055】
ブロック３４０において、デコーダモジュール１２４は、ビデオデータから１つ又は複数の画像フレームに対応する最大インデックスを決定する。図１及び図２を更に参照すると、デコーダモジュール１２４は、アフィン有効化フラグが真であるとき、１つ又は複数の画像フレームに対応する第１のパラメータセットから最大インデックスを決定することができる。従って、最大インデックスは、１つ又は複数の画像フレームにも対応する。アフィン有効化フラグがＳＰＳに含まれているとき、最大インデックスは、ＳＰＳに含まれる。
【0056】
最大インデックスは、アフィン有効化フラグが真であるとき、ゼロ以上のサブブロックベースマージ動きベクトル予測子（ＭＶＰ）候補の最大数を計算するために使用される。最大数は、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄとして表すことができる。最大インデックスのインデックス値は、０からＮ１－Ｋのインデックス範囲であってよい。数Ｎ１は、第１の整数であり、数Ｋは、数Ｎ１より小さい第２の整数である。最大インデックスは、ＳＰＳに最大インデックスが含まれているとき、インデックスｓｐｓ＿Ｎ１＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄである。最大インデックスは、最大インデックスがＳＰＳに含まれ、数Ｎ１が５に等しいとき、インデックスｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄである。最大インデックスがＰＰＳに含まれ、数Ｎ１が６に等しいとき、最大インデックスは、インデックスｐｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄになる。
【0057】
数Ｋは、ゼロ又は１に等しくてよい。数Ｋがゼロに等しいとき、最大インデックスのインデックス値は、０から５のインデックス範囲内であってよい。数Ｋが１に等しいとき、最大インデックスのインデックス値は、０から４のインデックス範囲内にあってよい。
【0058】
ブロック３５０において、デコーダモジュール１２４は、ビデオデータから最大インデックスを決定することなく、サブブロックベース一時的ＭＶＰ（ｓｂＴＭＶＰ）フラグ及び一時的ＭＶＰ（ＴＭＶＰ）フラグに基づいて、１つ又は複数の画像フレームのために、ゼロ又は複数のサブブロックベースマージＭＶＰ候補の最大数を決定する。
【0059】
最大数は、アフィン有効化フラグが偽のとき、ビデオデータから最大インデックスを決定することなく、ｓｂＴＭＶＰフラグ及びＴＭＶＰフラグに基づいて計算される。ｓｂＴＭＶＰフラグは、一つ又は複数の画像フレームに対応する第１のパラメータセットから決定されてよい。従って、ｓｂＴＭＶＰは、１つ又は複数の画像フレームに対応してもよい。
【0060】
ｓｂＴＭＶＰフラグは、アフィン有効化がＳＰＳに含まれているとき、ＳＰＳに含まれるフラグｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇであってよい。ＴＭＶＰフラグは、別のレベルのパラメータセットから決定してもよい。
【0061】
例えば、ＴＭＶＰフラグは、ＴＭＶＰフラグが１つ又は複数の画像フレームの内の少なくとも１つに対応する画像ヘッダに含まれるとき、フラグｐｈ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇであってよい。従って、ＴＭＶＰフラグは、１つ又は複数の画像フレームの内の少なくとも１つに対応してよい。１つ又は複数の画像フレームの内の少なくとも１つは、１つ又は複数の画像フレームの内の少なくとも１つに対応する画像ヘッダに基づいて再構成される。
【0062】
ｓｂＴＭＶＰフラグは、１又はゼロに等しくてよく、ＴＭＶＰフラグは、１又はゼロに等しくてよい。アフィン有効化フラグが偽であるとき、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄの最大数は、（ｓｂＴＭＶＰフラグ＆＆ＴＭＶＰフラグ）に等しくてよい。論理演算子＆＆は、２つの値のブール論理“及び（ａｎｄ）”である。従って、アフィン有効化フラグが偽であり、ｓｂＴＭＶＰフラグとＴＭＶＰフラグがそれぞれ１に等しいとき、最大数ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、１に等しくてよい。
【0063】
換言すると、アフィン有効化フラグが偽であり、ｓｂＴＭＶＰフラグ及びＴＭＶＰフラグの内の少なくとも１つがゼロであるとき、最大数ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、ゼロに等しくてよい。従って、アフィン有効化フラグが偽のとき、最大数ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、次のように導出されてよい：
ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ ＝ ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ ＆＆ ｐｈ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇ。
ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ ＝ ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ ＆＆ ｐｈ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇ。
【0064】
ブロック３６０において、デコーダモジュール１２４は、最大インデックスに基づいて最大数を決定する。最大数は、アフィン有効化フラグが真のとき、数Ｎ１から最大インデックスを引くことによって計算されてよい。従って、最大数は、アフィン有効化フラグが真であり、数Ｎ１が５に等しいとき、５から最大インデックスを引くことによって計算されてよい。換言すると、アフィン有効化フラグが真であり、数Ｎ１が５に等しい場合、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄの最大数は、次のように導出される：
ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ ＝ ５－ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄ。
ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ ＝ ５－ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄ。
【0065】
アフィン有効化フラグが真であるとき、最大インデックスのインデックス値は、０からＮ１－Ｋのインデックス範囲内であってよく、最大数は、数Ｎ１から最大インデックスを減算することによって計算されてよい。従って、最大数の値は、Ｎ１－（Ｎ１－Ｋ）からＮ１の値範囲（すなわち、ＫからＮ１の値範囲）内にある。アフィン有効化フラグが真であり、数Ｋが１に等しいとき、最大数の値は、１からＮ１の値範囲内にあり、最大インデックスのインデックス値は、０からＮ１－１のインデックス範囲内にある。アフィン有効化フラグが真であり、数Ｋが０に等しいとき、最大数の値は、０からＮ１の値範囲内にあってよく、最大インデックスのインデックス値は、０からＮ１のインデックス範囲内にある。その上、最大数の値は、１から５の値範囲内であり、最大インデックスのインデックス値は、０から４のインデックス範囲内であり、アフィン有効化フラグが真であるとき、数Ｎ１は、５に等しく、数Ｋは、１に等しい。最大数の値は、０から５の値の値範囲内であってよく、最大インデックスのインデックス値は、０から５のインデックス範囲内であり、アフィン有効化フラグが真であるとき、数Ｎ１は、５に等しく、数Ｋは、０に等しい。
【0066】
図３のブロック３３０から３５０を参照すると、最大数ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、次のように導出できる：
【0067】
【数1】
【0068】
デコーダモジュール１２４は、最大数が値範囲内に含まれるかどうかを決定することができる。最大数が値範囲から除外されるとデコーダモジュール１２４が決定したとき、デコーダモジュール１２４は、ビデオデータがデコーダモジュール１２４に準拠していないと決定することができる。
【0069】
従って、デコーダモジュール１２４は、１つ又は複数の画像フレームのエラー信号を出力することができる。換言すると、デコーダモジュール１２４は、最大数が値範囲内に含まれているとデコーダモジュール１２４が決定したとき、ビデオデータがデコーダモジュール１２４に準拠していると決定することができる。従って、デコーダモジュール１２４は、ビットストリームを復号化して、１つ又は複数の画像フレームを再構成してよい。
【0070】
デコーダモジュール１２４は、アフィン有効化フラグが真であるとき、最大インデックスがインデックス範囲内に含まれるかどうかを決定することができる。最大インデックスがインデックス範囲から除外されるとデコーダモジュール１２４が決定したとき、デコーダモジュール１２４は、ビデオデータがデコーダモジュール１２４に準拠していないと決定することができる。従って、デコーダモジュール１２４は、１つ又は複数の画像フレームのエラー信号を出力することができる。上述した決定は、汎用ビデオコーディング（ＶＶＣ）といったビデオコーディング規格におけるビットストリーム適合要件の内の１つとすることができる。
【0071】
換言すると、デコーダモジュール１２４は、最大インデックスがインデックス範囲内に含まれるとデコーダモジュール１２４が決定したとき、ビデオデータがデコーダモジュール１２４に準拠していると決定することができる。従って、デコーダモジュール１２４は、ビットストリームを復号化して、１つ又は複数の画像フレームを再構成してよい。
【0072】
ブロック３７０において、デコーダモジュール１２４は、ゼロ以上のサブブロックベースマージＭＶＰ候補の最大数に基づいて、１つ又は複数の画像フレームを再構成する。図１及び図２を更に参照すると、デコーダモジュール１２４は、１つ又は複数の画像フレーム中の複数の画像ブロックのそれぞれのために、ゼロ以上のサブブロックベースマージＭＶＰ候補を含む複数のモード候補から予測モードを選択し、予測モードに基づいて複数の予測ブロックを決定することができる。１つ又は複数の画像フレーム内の各画像ブロックのためにゼロ以上のサブブロックベースマージＭＶＰ候補の数は、最大数によって制限される。従って、デコーダモジュール１２４は、最大数によって制限されるゼロ以上のサブブロックベースマージＭＶＰ候補に基づいて、１つ又は複数の画像フレームを再構成する。ゼロ以上のサブブロックベースマージＭＶＰ候補は、ゼロ以上の複数のｓｂＴＭＶＰ候補、複数のアフィンマージ予測子候補、及び少なくとも１つのゼロパディング候補を含んでよい。デコーダモジュール１２４は、画像ブロックの各々のために、ビットストリームから複数の残差成分を決定し、残差成分を予測されたブロックの対応する１つに加算して、画像ブロックを再構成することができる。デコーダモジュール２２２は、ビデオ画像を再構成するために画像フレームの全てを再構成することができる。
【0073】
高効率ビデオコーディング（ＨＥＶＣ）及びＶＶＣといったビデオコーディング規格において、サブブロックベースマージＭＶＰ候補を含むサブブロックベースマージモードの複数の第１の検索候補は、アフィンＡＭＶＰ予測子の複数の第２の検索候補よりも効率的であり得る。しかしながら、サブブロックベースマージモードの第１の検索候補の数は、最大数ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄによって制限されてよい。従って、エンコーダの複雑さのために、最大数ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、アフィンモデルベースの動き補償が有効にされるとき、サブブロックベースのマージモードは、最大数だけ無効にされないことを保証するようにセットされ得る。従って、最大数ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、数Ｋがゼロよりも大きくなるようにセットされるとき、１よりも大きくなる。最大数がゼロに等しく、サブブロックベースマージモードを無効にするという条件は、存在しないため、最大インデックスのシグナリングは、無用でなく、浪費されない。
【0074】
複雑さを低減するために、サブブロックベースマージモードは、アフィン有効化フラグが真であるとき、使用されてよい。アフィン有効化フラグが真であるとき、最大数ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄの値範囲を変更するために、数Ｋは、１に等しくてよい。しかしながら、サブブロックベースマージモードが他の方法のために既に無効にされているとき、サブブロックベースマージＭＶＰ候補のための候補を予約する必要はない。従って、サブブロックベースのマージモードが無効にされたとき、値範囲を変化させないように維持するために、数Ｋは、ゼロに等しくてよい。従って、数Ｋは、サブブロックベースマージモードのためにセットされてよい。
【0075】
図４は、本開示の一実施形態に従った、電子デバイスによるビデオデータを復号化する方法４００のフローチャートを示す。方法４００は、ビデオデータを復号化するための様々な方法があるため、ただの一実施例である。
【0076】
ビットストリームを復号化し、ブロックユニットを再構成するための方法４００は、図１及び図２に示される設定を使用して実行されてよく、これらの図の様々な要素は、方法４００に関して参照される。図４に示される各ブロックは、実行される１つ又は複数のプロセス、方法、又はサブルーチンを表すことができる。
【0077】
図４内のブロックの順序は、例示的なものにすぎず、変更することができる。本開示から逸脱することなく、追加のブロックは、追加されてよく、又はより少ないブロックが利用されてよい。
【0078】
ブロック４１０において、デコーダモジュール１２４は、ビデオデータを受信する。ビデオデータは、ビットストリームであってよい。図１及び図２を参照すると、第２の電子デバイス１２０は、第１の電子デバイス１１０といったエンコーダ、又は第２のインターフェース１２６を介して他のビデオプロバイダーからビットストリームを受信することができる。第２のインターフェース１２６は、ビットストリームをデコーダモジュール１２４に提供することができる。
【0079】
ブロック４２０において、デコーダモジュール１２４は、ビデオデータから、１つ又は複数の画像フレームに対応する最大インデックスを決定する。図１及び図２を更に参照して、デコーダモジュール１２４は、ビットストリームから１つ又は複数の画像フレームを決定し、１つ又は複数の画像フレームに対応する第１のパラメータセットを決定することができる。ビットストリームは、１つ又は複数の画像フレームを除く他の画像フレームの内の１つ又は複数に対応する第２のパラメータセットを更に含むことができる。第１のパラメータセット及び第２のパラメータセットの両方は、ＶＰＳ、ＳＰＳ、ＰＰＳ、及びＰＨの内の１つであってよい。
【0080】
デコーダモジュール１２４は、１つ又は複数の画像フレームに対応する第１のパラメータセットから最大インデックスを決定することができる。従って、最大インデックスは、１つ又は複数の画像フレームにも対応する。第１のパラメータセットがＳＰＳのとき、最大インデックスは、ＳＰＳに含まれてもよい。
【0081】
最大インデックスは、ゼロ以上のマージ動きベクトル予測子（ＭＶＰ）候補の最大数を計算するために使用される。最大数は、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄとして表すことができる。最大インデックスのインデックス値は、０からＮ２のインデックス範囲であってよい。数値Ｎ２は、整数である。
【0082】
最大インデックスがＳＰＳに含まれているとき、最大インデックスは、インデックスｓｐｓ＿Ｎ２＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄであってよい。最大インデックスは、最大インデックスがＳＰＳに含まれ、数Ｎ２が６に等しいとき、インデックスｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄであってよい。最大インデックスがＰＰＳに含まれ、数Ｎ２が５に等しいとき、最大インデックスは、インデックスｐｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄであってよい。
【0083】
ブロック４３０において、デコーダモジュール１２４は、最大インデックスに基づいて、ゼロ以上のマージＭＶＰ候補の最大数を決定する。最大数は、１つ又は複数の画像フレームに対応し、ゼロを含む値範囲内にある最大数の数値を有する。
【0084】
最大数は、数Ｎ２から最大インデックスを減算することによって計算することができる。従って、最大数は、数Ｎ２が６に等しいとき、６から最大インデックスを減算することによって計算されてよい。換言すると、数Ｎ２が６に等しいとき、最大数ＭａｘＮｕｍＭｅｒｇｅＣａｎｄは、以下のように導出されてもよい：
ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ ＝ ６－ｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ。
ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ ＝ ６－ｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ。
【0085】
最大インデックスのインデックス値は、０からＮ２のインデックス範囲であってよい。従って、最大数の値は、０からＮ２の値範囲内であり、０は、値範囲内に含まれる。最大数の値は、数Ｎ２が６に等しい場合、０から６の値範囲内にある。
【0086】
デコーダモジュール１２４は、最大数が値範囲内に含まれるかを決定することができる。デコーダモジュール１２４は、最大数が値範囲から除外されるとデコーダモジュール１２４が決定したとき、ビデオデータがデコーダモジュール１２４に準拠していないと決定することができる。従って、デコーダモジュール１２４は、前記１つ又は複数の画像フレームのエラー信号を出力することができる。
【0087】
デコーダモジュール１２４は、最大インデックスがインデックス範囲内に含まれるかどうかを決定することができる。デコーダモジュール１２４は、最大インデックスがインデックス範囲から除外されるとデコーダモジュール１２４が決定したとき、ビデオデータがデコーダモジュール１２４に準拠していないと決定することができる。従って、デコーダモジュール１２４は、１つ又は複数の画像フレームのエラー信号を出力することができる。
【0088】
ブロック４４０において、デコーダモジュール１２４は、最大数に基づいて１つ又は複数の画像フレームを再構成する。図１及び図２を更に参照すると、デコーダモジュール１２４は、ゼロ以上のマージＭＶＰ候補を含む複数のモード候補から、１つ以上の画像フレーム内の複数の画像ブロックの各々のために予測モードを選択し、予測モードに基づいて複数の予測されたブロックを決定することができる。ゼロ以上のマージＭＶＰ候補は、ゼロ以上の複数の空間ＭＶＰ候補、複数の一時的ＭＶＰ候補、複数の履歴ベースＭＶＰ候補、複数のペアワイズ平均ＭＶＰ候補、及びゼロＭＶ候補を含むことができる。空間ＭＶＰ候補は、空間隣接ブロックの動きベクトルから決定されてもよく、一時的ＭＶＰ候補は、並置されたブロックの動きベクトルから決定されてもよく、履歴ベースのＭＶＰ候補は、先入れ先出し（ＦＩＦＯ）表から決定されてもよい。
【0089】
デコーダモジュール１２４は、各画像ブロックのためにビットストリームから複数の残差成分を決定し、残差成分を予測されたブロックの対応する１つに追加し、画像ブロックを再構成することができる。デコーダモジュール２２２は、ビデオ画像を再構成するために画像フレームの全てを再構成することができる。
【0090】
ＨＥＶＣ及びＶＶＣといった、ビデオコーディング規格において、インター予測モードが有効化されるとき、マージＭＶＰ候補を含む通常マージモードも有効化され得る。しかしながら、マージ候補を復号化し構築するためのプロセスは、通常インターモードを復号化するためのプロセスよりも複雑であり得る。従って、パイプライン遅延も問題であり、パイプライン遅延を低減するために、通常マージモードは、直接的に無効化され得る。
【0091】
通常マージモードは、ＶＰＳ、ＳＰＳ、ＰＰＳといった高レベルシンタックスによって直接的に無効化することができる。ゼロが値範囲内に含まれるとき、最大数は、通常マージモードを直接的に無効化するためにゼロに等しくてよい。従って、通常マージモードは、最大インデックスを含む第１のパラメータセットが１つ又は複数の画像フレームに対応するため、最大インデックスによってのみ１つ又は複数の画像フレームで無効化することが許される。
【0092】
図５は、本開示の一実施形態に従った、電子デバイスによるビデオデータを復号化するための方法５００のフローチャートを示す。方法５００は、ビデオデータを復号化するための様々な方法が存在するため、一実施例にすぎない。
【0093】
ビットストリームを復号化し、ブロックユニットを再構成するための方法５００は、図１及び図２に示される設定を使用して実行されてもよく、これらの図の様々な要素は、方法５００に関して参照される。図５に示される各ブロックは、実行される１つ又は複数のプロセス、方法、又はサブルーチンを表すことができる。
【0094】
図５内のブロックの順序は、例示的なものにすぎず、変更することができる。本開示から逸脱することなく、追加のブロックは、追加されてよく、又はより少ないブロックが利用されてよい。
【0095】
ブロック５１０において、デコーダモジュール１２４は、ビデオデータを受信する。ビデオデータは、ビットストリームであってよい。図１及び図２を参照すると、第２の電子デバイス１２０は、第１の電子デバイス１１０といったエンコーダ、又は第２のインターフェース１２６を介して他のビデオプロバイダーからビットストリームを受信することができる。第２のインターフェース１２６は、ビットストリームをデコーダモジュール１２４に提供することができる。
【0096】
ブロック５２０において、デコーダモジュール１２４は、ビデオデータからの１つ又は複数の画像フレームに対応する通常マージ有効化フラグを決定する。更に図１及び図２を参照すると、デコーダモジュール１２４は、ビットストリームから１つ又は複数の画像フレームを決定し、１つ又は複数の画像フレームに対応する第１のパラメータセットを決定することができる。第１のパラメータセットは、複数の第１の予測インディケーション及び複数の第１の分割インディケーションを含むことができる。ビットストリームは、１つ又は複数の画像フレームを除く他の画像フレームの内の１つ又は複数に対応する第２のパラメータセットを更に含むことができる。
【0097】
第１のパラメータセット及び第２のパラメータセットの両方は、ＶＰＳ、ＳＰＳ、ＰＰＳ、及びＰＨの内の１つであり得る。例えば、通常マージ有効化フラグがＳＰＳに含まれているとき、通常マージ有効化フラグは、フラグｓｐｓ＿ｒｅｇｕｌａｒ＿ｍｅｒｇｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇであってよい。
【0098】
デコーダモジュール１２４は、ビットストリームの第１のパラメータセットからの１つ又は複数の画像フレームに対応する通常マージ有効化フラグを決定することができる。通常マージ有効化フラグは、１つ又は複数の画像フレームのために通常マージモードが有効かどうかを決定するために使用される。ビットストリーム内のブロックベースシンタックスは、通常マージ有効化フラグが１に等しいとき、１つ又は画像フレームの１つから分割された画像ブロックのために通常マージモードが使用されるかどうかを決定するためのブロックベース通常マージフラグを更に含んでもよい。
【0099】
通常マージモードは、複数のマージＭＶＰ候補を含むことができる。マージＭＶＰ候補は、複数の空間ＭＶＰ候補、複数の一時的ＭＶＰ候補、複数の履歴ベースＭＶＰ候補、複数のペアワイズ平均ＭＶＰ候補、及びゼロＭＶ候補をゼロ以上含むことができる。空間ＭＶＰ候補は、空間隣接ブロックの動きベクトルから決定されてもよく、一時的ＭＶＰ候補は、並置されたブロックの動きベクトルから決定されてもよく、履歴ベースのＭＶＰ候補は、ＦＩＦＯ表から決定されてもよい。
【0100】
通常マージ有効化フラグが存在しないとき、通常マージ有効化フラグは、ゼロに等しいと推測される。換言すると、デコーダモジュール１２４は、通常マージ有効化フラグが存在しないとき、通常マージ有効化フラグが偽であると決定してよい。
【0101】
ブロック５３０において、デコーダモジュール１２４は、通常マージ有効化フラグが真であるかどうかを決定する。方法５００は、通常マージ有効化フラグが真であるとデコーダモジュール１２４が決定したとき、ブロック５４０に進むことができる。方法５００は、通常マージ有効化フラグが偽であるとデコーダモジュール１２４が決定したとき、ブロック５５０に進むことができる。
【0102】
デコーダモジュール１２４は、通常マージ有効化フラグが１に等しいとき、通常マージ有効化フラグが真であると決定する。デコーダモジュール１２４は、通常マージ有効化フラグがゼロに等しいとき、通常マージ有効化フラグが偽であると決定する。通常マージ有効化フラグは、通常マージ有効化フラグがＳＰＳに含まれているとき、フラグｓｐｓ＿ｒｅｇｕｌａｒ＿ｍｅｒｇｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇであってよい。
【0103】
ブロック５４０において、デコーダモジュール１２４は、ビデオデータから１つ又は複数の画像フレームに対応する最大インデックスを決定する。図１及び図２に更に参照して、デコーダモジュール１２４は、通常マージ有効化フラグが真であるとき、１つ又は複数の画像フレームに対応する第１のパラメータセットから最大インデックスを決定することができる。従って、最大インデックスは、１つ又は複数の画像フレームにも対応する。通常マージ有効化フラグがＳＰＳに含まれているとき、最大インデックスは、ＳＰＳに含まれる。
【0104】
最大インデックスは、通常マージ有効化フラグが真のとき、マージＭＶＰ候補のゼロ以上の最大数を計算するために使用される。最大数は、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄとして表すことができる。
【0105】
最大インデックスのインデックス値は、０からＮ３－Ｐのインデックス範囲であってよい。数Ｎ３は、第１の整数であってよく、数Ｐは、数Ｎ３より小さい第２の整数であってよい。
【0106】
最大インデックスがＳＰＳに含まれているとき、最大インデックスは、インデックスｓｐｓ＿Ｎ３＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄであってよい。最大インデックスは、最大インデックスがＳＰＳに含まれ、数Ｎ３が６に等しいとき、インデックスｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄであってよい。最大インデックスがＰＰＳに含まれ、数Ｎが５に等しいとき、最大インデックスは、インデックスｐｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄであってよい。
【0107】
数Ｐは、正の整数であってよい。例えば、数Ｐは、１に等しくてよい。数Ｐが１に等しく、数Ｎ３が６に等しいとき、最大インデックスのインデックス値は、０から５のインデックス範囲内であってよい。
【0108】
ブロック５５０において、デコーダモジュール１２４は、ビデオデータから最大インデックスを決定することなく、１つ又は複数の画像フレームのために、ゼロに等しいゼロ以上のマージＭＶＰ候補の最大数を決定する。
【0109】
通常マージ有効化フラグが偽であるとき、最大数は、ビデオデータから最大インデックスを決定せずに、ゼロとして直接的に決定される。通常マージ有効化フラグが偽であるとき、通常マージモードは、１つ又は複数の画像フレーム内で無効になる。従って、１つ又は複数の画像フレームから分割された複数のブロックの全てを予測するために、マージＭＶＰ候補の全ては、使用することはできず、通常マージ有効化フラグが偽であるとき、第１のパラメータセットからの任意のフラグ又はインデックスを更にパリングすることなく、最大数は、直接的にゼロとしてセットすることができる。
【0110】
ブロック５６０において、デコーダモジュール１２４は、最大インデックスに基づいて最大数を決定する。最大数は、通常マージ有効化フラグが真であるとき、数Ｎ３から最大インデックスを減算することによって計算できる。従って、通常マージ有効化フラグが真であり、数Ｎ３が６に等しいとき、最大数は、６から最大インデックスを減算することによって計算できる。換言すると、通常マージ有効化フラグが真であり、数Ｎ３が６に等しいとき、最大数ＭａｘＮｕｍＭｅｒｇｅＣａｎｄは、以下のように導出されてよい：
ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ ＝ ６－ｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ。
ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ ＝ ６－ｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ。
【0111】
最大インデックスのインデックス値は、０からＮ３－Ｐのインデックス範囲であってよい。従って、通常有効化フラグが真であるとき、最大数の値は、ＰからＮ３の値範囲内である。通常マージ有効化フラグが真であり、数Ｎ３は、６に等しく、数Ｐは、１に等しいとき、最大数の値は、１から６の値範囲内にある。従って、通常マージ有効化フラグが真であるとき、最大数は、ゼロに等しくないことがある。
【0112】
図５内のブロック５３０－５６０を参照すると、最大数ＭａｘＮｕｍＭｅｒｇｅＣａｎｄは、以下のように導出され得る：
【0113】
【数2】
【0114】
デコーダモジュール１２４は、最大数が値範囲内に含まれるかどうかを決定することができる。最大数が値範囲から除外されるとデコーダモジュール１２４が決定したとき、デコーダモジュール１２４は、ビデオデータがデコーダモジュール１２４に準拠していないと決定することができる。従って、デコーダモジュール１２４は、１つ又は複数の画像フレームのエラー信号を出力することができる。
【0115】
デコーダモジュール１２４は、最大インデックスがインデックス範囲内に含まれるかどうかを決定することができる。最大インデックスがインデックス範囲から除外されるとデコーダモジュール１２４が決定したとき、デコーダモジュール１２４は、ビデオデータがデコーダモジュール１２４に準拠していないと決定することができる。従って、デコーダモジュール１２４は、１つ又は複数の画像フレームのエラー信号を出力することができる。
【0116】
ブロック５７０において、デコーダモジュール１２４は、ゼロ以上のマージＭＶＰ候補の最大数に基づいて、１つ又は複数の画像フレームを再構成する。
【0117】
図１及び図２を更に参照すると、デコーダモジュール１２４は、ゼロ以上のマージＭＶＰ候補を含む複数のモード候補から、１つ以上の画像フレーム内の複数の画像ブロックのそれぞれのために予測モードを選択し、予測モードに基づいて複数の予測ブロックを決定することができる。デコーダモジュール１２４は、各画像ブロックのためにビットストリームから複数の残差成分を決定し、残差成分を予測されたブロックの対応する１つに追加し、画像ブロックを再構成することができる。デコーダモジュール２２２は、ビデオ画像を再構成するために画像フレームの全てを再構成することができる。
【0118】
通常マージモードは、ＶＰＳ、ＳＰＳ、ＰＰＳといった高レベルシンタックスによって直接的に無効化され、パイプライン遅延を減少させることができる。従って、高レベルシンタックスは、マージＭＶＰ候補が１つ又は複数の画像フレーム内で有効になっているかどうかを決定するために、通常マージ有効化フラグを含むことができる。その上、通常マージモードが、通常マージ有効化フラグによって直接的に無効化されうるため、通常マージモードを無効化するために最大数の値範囲は、ゼロを含む必要はない。従って、数Ｐは、１といった、正の整数であってよい。
【0119】
図６は、本開示の一実施形態に従った、電子デバイスによるビデオデータを復号化する方法６００のフローチャートを示す。方法６００は、方法を実行する様々な方法が存在するため、一実施例にすぎない。
【0120】
ビットストリームを復号化し、ブロックユニットを再構成するための方法６００は、図１及び図２に示される構成を使用して実行されてもよく、これらの図の様々な要素は、方法６００に関して参照される。図６に示される各ブロックは、実行される１つ又は複数のプロセス、方法、又はサブルーチンを表すことができる。
【0121】
図６内のブロックの順序は、例示的なものにすぎず、変更することができる。本開示から逸脱することなく、追加のブロックは、追加されてよく、又はより少ないブロックは、利用されてよい。
【0122】
ブロック６１０において、デコーダモジュール１２４は、ビデオデータを受信する。ビデオデータは、ビットストリームであってよい。図１及び図２を参照すると、第２の電子デバイス１２０は、第１の電子デバイス１１０といった、エンコーダ、又は第２のインターフェース１２６を介して他のビデオプロバイダーからビットストリームを受信することができる。第２のインターフェース１２６は、ビットストリームをデコーダモジュール１２４に提供することができる。
【0123】
ブロック６２０において、デコーダモジュール１２４は、ビデオデータからイントラブロックコピー（ＩＢＣ）有効化フラグを決定する。更に図１及び図２を参照すると、デコーダモジュール１２４は、ビットストリームから１つ又は複数の画像フレームを決定し、１つ又は複数の画像フレームに対応する第１のパラメータセットを決定することができる。第１のパラメータセットは、ＶＰＳ、ＳＰＳ、ＰＰＳ、及びＰＨの内の１つであってよい。例えば、ＩＢＣ有効化フラグがＳＰＳに含まれるとき、ＩＢＣ有効化フラグは、フラグｓｐｓ＿ｉｂｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇであってよい。
【0124】
デコーダモジュール１２４は、ビットストリームからＩＢＣ有効化フラグを決定してよい。デコーダモジュール１２４は、ビットストリーム内にセットされた第１のパラメータからＩＢＣ有効化フラグを決定してよい。第１のパラメータセットが一つ又は複数の画像フレームに対応するため、ＩＢＣ有効化フラグは、一つ又は複数の画像フレームにも対応することがある。
【0125】
ＩＢＣ有効化フラグは、１つ又は複数の画像フレームのためにＩＢＣ予測モードが有効化されることを決定するために使用される。ＩＢＣ予測モードは、ブロックレベルコーディングモードとして実行される。従って、一つ又は複数の画像フレームから分割された複数の画像ブロックの各々のために、最適なブロックベクトルを見つけるために、エンコーダでブロックマッチングは、行われる。ブロックベクトルは、現在の画像フレーム内の現在の画像ブロックから、現在の画像内で既に再構成されている参照画像ブロックへの変位を示すために使用される。
【0126】
ブロック６３０において、デコーダモジュール１２４は、ＩＢＣ有効化フラグが真であるかどうかを判定する。方法６００は、ＩＢＣ有効化フラグが真であるとデコーダモジュール１２４が決定したとき、ブロック６４０に進むことができる。方法６００は、ＩＢＣ有効化フラグが偽であるとデコーダモジュール１２４が決定したとき、ブロック６５０に進むことができる。
【0127】
ＩＢＣ有効化フラグが１に等しいとき、デコーダモジュール１２４は、ＩＢＣ有効化フラグが真であると決定する。ＩＢＣ有効化フラグがゼロに等しいとき、デコーダモジュール１２４は、ＩＢＣ有効化フラグが偽であると決定する。ＩＢＣ有効化フラグがＳＰＳに含まれているとき、ＩＢＣ有効化フラグは、フラグｓｐｓ＿ｉｂｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇであってよい。
【0128】
ブロック６４０において、デコーダモジュール１２４は、ビデオデータから最大インデックスを決定する。図１及び図２を更に参照すると、デコーダモジュール１２４は、ＩＢＣ有効化フラグが真であるとき、ビデオデータから最大インデックスを決定することができる。最大インデックスは、ＶＰＳ、ＳＰＳ、ＰＰＳ、及びＰＨの内の１つに含まれてよい。
【0129】
最大インデックスは、ＩＢＣ有効化フラグが真であるとき、ゼロ以上のＩＢＣマージブロックベクトル予測子（ＢＶＰ）候補の最大数を計算するために使用されてよい。最大数は、ＭａｘＮｕｍＩｂｃＭｅｒｇｅＣａｎｄとして表すことができる。
【0130】
最大インデックスのインデックス値は、０からＮ４のインデックス範囲であり得る。数Ｎ４は、整数であってよい。
【0131】
最大インデックスがＳＰＳに含まれているとき、最大インデックスは、インデックスｓｐｓ＿Ｎ４＿ｍｉｎｕｓ＿ｍａｘ＿ｉｂｃ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄであってよい。最大インデックスは、最大インデックスがＳＰＳに含まれ、数Ｎが６に等しいとき、インデックスｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｉｂｃ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄであってよい。最大インデックスがＰＰＳに含まれ、数Ｎが５に等しいとき、最大インデックスは、インデックスｐｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｉｂｃ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄであってよい。
【0132】
ブロック６５０において、デコーダモジュール１２４は、ビデオデータから最大インデックスを決定せずに、ゼロ以上のＩＢＣマージＢＶＰ候補の最大数がゼロに等しいことを決定する。最大数は、数Ｎ４から最大インデックスを減算することによって計算することができる。従って、数Ｎ４が６に等しいとき、最大数は、６から最大インデックスを減算することによって計算されてよい。換言すると、数Ｎ４が６に等しいとき、最大数ＭａｘＮｕｍＩｂｃＭｅｒｇｅＣａｎｄは、以下のように導出されてよい：
ＭａｘＮｕｍＩｂｃＭｅｒｇｅＣａｎｄ ＝ ６ － ｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｉｂｃ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ。
ＭａｘＮｕｍＩｂｃＭｅｒｇｅＣａｎｄ ＝ ６ － ｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｉｂｃ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ。
【0133】
最大インデックスのインデックス値は、０からＮ４のインデックス範囲であってよい。従って、最大数の値は、０からＮ４の値範囲内であってよく、ゼロは、値範囲内に含まれる。最大数の値は、数Ｎ４が６に等しいとき、０から６の値範囲内であってよい。
【0134】
ブロック６６０において、デコーダモジュール１２４は、最大インデックスに基づいて最大数を決定し、最大数は、ゼロを含む値範囲内の数値を有する。最大数は、ＩＢＣ有効化フラグが真のとき、数Ｎ４から最大インデックスを減算することによって計算できる。従って、ＩＢＣ有効化フラグが真であり、数Ｎ４が６に等しいとき、最大数は、６から最大インデックスを減算することによって計算できる。換言すると、最大数ＭａｘＮｕｍＩｂｃＭｅｒｇｅＣａｎｄは、以下のように導出されてよい：
ＭａｘＮｕｍＩｂｃＭｅｒｇｅＣａｎｄ ＝ ６ － ｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｉｂｃ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ。
ＭａｘＮｕｍＩｂｃＭｅｒｇｅＣａｎｄ ＝ ６ － ｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｉｂｃ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ。
【0135】
最大インデックスのインデックス値は、０からＮ４のインデックス範囲であってよい。従って、ＩＢＣ有効化フラグが真であるとき、最大数の値は、０からＮ４の値範囲内であってよい。したがって、ＩＢＣ有効化フラグが真であるとき、ゼロは、値範囲内に依然として含まれる。一実施形態において、数Ｎ４が６に等しいとき、最大数の値は、０から６の値範囲であってよい。
【0136】
図６内のブロック６３０－６６０を参照すると、最大数ＭａｘＮｕｍＩｂｃＭｅｒｇｅＣａｎｄは、以下のように導出されてよい：
【0137】
【数3】
【0138】
デコーダモジュール１２４は、最大数が値範囲内に含まれるかどうかを決定することができる。最大数が値範囲から除外されるとデコーダモジュール１２４が決定したとき、デコーダモジュール１２４は、ビデオデータがデコーダモジュール１２４に準拠していないと決定することができる。従って、デコーダモジュール１２４は、エラー信号を出力することができる。
【0139】
ＩＢＣ有効化フラグが真であるとき、デコーダモジュール１２４は、最大インデックスがインデックス範囲内に含まれるかどうかを決定することができる。最大インデックスがインデックス範囲から除外されるとデコーダモジュール１２４が決定したとき、デコーダモジュール１２４は、ビデオデータがデコーダモジュール１２４に準拠していないと決定することができる。従って、デコーダモジュール１２４は、エラー信号を出力することができる。
【0140】
ブロック６７０において、デコーダモジュール１２４は、最大数に基づいて、画像フレームから分割され、最大数に対応する画像ブロックを再構成する。
【0141】
更に図１及び図２を参照すると、デコーダモジュール１２４は、ゼロ以上のＩＢＣマージＢＶＰ候補を含む複数のモード候補から、１つ以上の画像フレームの内の１つから分割された画像ブロックの予測モードを選択し、予測モードに基づいて予測されたブロックを決定することができる。ゼロ以上のＩＢＣマージＢＶＰ候補は、ゼロ以上の複数の空間ＩＢＣ ＭＶＰ候補、複数の履歴ベースＭＶＰ候補、及び複数のペアワイズ平均ＭＶＰ候補を含むことができる。
【0142】
空間ＭＶＰ候補は、空間隣接ブロックの動きベクトルから決定されてもよく、履歴ベースのＭＶＰ候補は、ＦＩＦＯ表から決定されてもよい。デコーダモジュール１２４は、画像ブロックのビットストリームから複数の残差成分を決定し、残差成分を予測ブロックに追加して画像ブロックを再構成することができる。
【0143】
デコーダモジュール２２２は、ビデオ画像を再構成するために画像フレームの全てを再構成することができる。ＨＥＶＣ及びＶＶＣといった、ビデオコーディング規格において、ＩＢＣ予測モードは、ＩＢＣインターモード及びＩＢＣマージ候補を有するＩＢＣマージモードを含むことができる。しかしながら、ＩＢＣマージＢＶＰ候補を復号化し、構築するためのプロセスは、ＩＢＣインターモードを復号化するためのプロセスよりも複雑であり得る。従って、パイプライン遅延も問題であり、パイプライン遅延を低減するためにＩＢＣマージモードを直接的に無効化することができる。
【0144】
ＩＢＣマージモードは、ＶＰＳ、ＳＰＳ、ＰＰＳといった、高レベルシンタックスによって直接的に無効化することができる。ゼロが値範囲内に含まれるとき、最大数は、ＩＢＣマージモードを直接的に無効化するためにゼロに等しくなるように許可されてもよい。従って、最大インデックス及びＩＢＣ有効化フラグの両方が第１のパラメータに含まれているとき、ＩＢＣマージモードは、１つ又は複数の画像フレームにおいて１つの最大インデックスのみによって無効化することができる。
【0145】
例えば、最大インデックス及びＩＢＣ有効化フラグの両方は、ＳＰＳに含まれる。ＩＢＣ有効化フラグのシンタックスレベルが最大インデックスのシンタックスレベルよりも高い場合、ＩＢＣマージモードは、１又は複数の画像フレームの一部で異なる最大インデックスによって無効化することができる。例えば、最大インデックスは、ＰＰＳに含まれ、ＩＢＣ有効化フラグは、ＳＰＳに含まれる。
【0146】
図７は、本開示の一実施形態に従って、電子デバイスによってビデオデータを復号化するための方法７００のフローチャートを示す。方法７００は、ビデオデータを復号化するための様々な方法が存在するため、一実施例にすぎない。
【0147】
ビットストリームを復号化し、ブロックユニットを再構成するための方法７００は、図１及び図２に示される設定を使用して実行されてもよく、これらの図の様々な要素は、方法７００に関して参照される。図７に示される各ブロックは、実行される１つ又は複数のプロセス、方法、又はサブルーチンを表すことができる。
【0148】
図７内のブロックの順序は、例示的なものにすぎず、変更することができる。本開示から逸脱することなく、追加のブロックは、追加されてよく、又はより少ないブロックは、利用されてもよい。
【0149】
ブロック７１０において、デコーダモジュール１２４は、ビデオデータを受信する。ビデオデータは、ビットストリームであってよい。図１及び図２を参照すると、第２の電子デバイス１２０は、第１の電子デバイス１１０といった、エンコーダ、又は第２のインターフェース１２６を介して他のビデオプロバイダーからビットストリームを受信することができる。第２のインターフェース１２６は、ビットストリームをデコーダモジュール１２４に提供することができる。
【0150】
ブロック７２０において、デコーダモジュール１２４は、ビデオデータから、複数のマージモードの全てが有効であるかどうかを示す汎用マージ有効化フラグを決定する。更に図１及び図２を参照すると、デコーダモジュール１２４は、ビットストリームから１つ又は複数の画像フレームを決定し、１つ又は複数の画像フレームに対応する第１のパラメータセットを決定することができる。第１のパラメータセットは、ＶＰＳ、ＳＰＳ、ＰＰＳ、及びＰＨの内の１つであってよい。
【0151】
デコーダモジュール１２４は、ビットストリームから汎用マージ有効化フラグを決定することができる。デコーダモジュール１２４は、ビットストリーム内にセットされた第１のパラメータから汎用マージ有効化フラグを決定してよい。第１のパラメータセットは、一つ又は複数の画像フレームに対応するため、汎用マージ有効化フラグは、一つ又は複数の画像フレームにも対応してよい。
【0152】
汎用マージ有効化フラグは、一つ又は複数の画像フレームのために有効化されたマージモードの全てを決定するために使用されることがある。マージモードは、通常マージモード、アフィンマージモード、ＩＢＣマージモード、及び他のマージモードを含むことができる。
【0153】
汎用マージ有効化フラグが偽のとき、全てのマージモードは、１つ又は複数のマージモードで無効になってよい。汎用マージ有効化フラグが真のとき、マージモードは、１つ又は複数のマージモードで有効になってよい。汎用マージ有効化フラグが真のとき、その他のフラグがあるため、ゼロ以上のマージモードは、１つ又は複数のマージモードにおいて、無効になってよい。例えば、汎用マージ有効化フラグが真のとき、ＩＢＣ有効化フラグがあるため、ＩＢＣマージモードは、無効になってよい。
【0154】
汎用マージ有効化フラグが存在しないとき、汎用マージ有効化フラグは、ゼロに等しいと推論される。換言すると、汎用マージ有効化フラグが存在しないとき、デコーダモジュール１２４は、汎用マージ有効化フラグがゼロに等しいと推論されることを決定してよい。
【0155】
ブロック７３０において、デコーダモジュール１２４は、汎用マージ有効化フラグに基づいて、マージモードの特定の１つにおいてゼロ以上の特定マージ候補の最大数を決定する。図１及び図２を更に参照すると、デコーダモジュール１２４は、最大数のために、１つ又は複数の画像フレームに対応する第１のパラメータセットから最大インデックスを決定することができる。従って、最大インデックスは、１つ又は複数の画像フレームにも対応する。第１のパラメータセットがＳＰＳであるとき、最大インデックスは、ＳＰＳに含まれる。しかしながら、最大インデックスが存在しないとき、最大インデックスは、推定値に等しくてよい。
【0156】
最大インデックスは、特定マージモードにおいてゼロ以上の特定マージ候補の最大数を計算するために使用される。最大インデックスのインデックス値は、インデックス範囲内にあってよく、従って、最大数の値は、値範囲内にあってよい。ビデオデータがデコーダモジュール１２４に準拠しているかどうかを決定するために、デコーダモジュール１２４は、最大数を値範囲と比較する、又は最大インデックスをインデックス範囲と比較することができる。
【0157】
一実施形態において、特定マージモードが通常マージモードであるとき、最大インデックスは、ゼロ以上のマージＭＶＰ候補の最大数を計算するために使用されてよい。最大数は、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄとして表すことができる。最大インデックスがＳＰＳに含まれているとき、最大インデックスは、インデックスｓｐｓ＿Ｎ５＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄであってよい。数Ｎ５は、正の整数であってよい。
【0158】
汎用マージ有効化フラグが真であるとき、デコーダモジュール１２４は、ビデオデータから通常マージモードの最大インデックスを決定してよい。汎用マージ有効化フラグが偽であるとき、デコーダモジュール１２４は、ビデオデータから最大インデックスをパーシングせずに、最大インデックスの推論された値が数Ｎ５に等しいと決定してよい。
【0159】
最大インデックスがＳＰＳに含まれ、数Ｎ５が６に等しいとき、最大インデックスは、インデックスｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄであってよい。通常マージモードの最大数は、数Ｎ５から最大インデックスを減算することによって計算することができる。従って、最大数ＭａｘＮｕｍＭｅｒｇｅＣａｎｄは、以下のように導出されてよい：
【0160】
【数4】
【0161】
一実施形態において、特定マージモードがアフィンマージモードであるとき、最大インデックスは、ゼロ以上のサブブロックベースのマージＭＶＰ候補の最大数を計算するために使用されてよい。最大数は、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄとして表すことができる。最大インデックスがＳＰＳに含まれているとき、最大インデックスは、インデックスｓｐｓ＿Ｎ６＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄであってよい。数Ｎ６は、正の整数であってよい。
【0162】
アフィン有効化フラグ及び汎用マージ有効化フラグの両方が真であるとき、デコーダモジュール１２４は、ビデオデータから最大インデックスを決定してよい。アフィン有効化フラグ又は汎用マージモードが偽であるとき、デコーダモジュール１２４は、最大インデックスをパーシングせずに、推論された値が数Ｎ６に等しいと決定してよい。最大インデックスがＳＰＳに含まれ、数Ｎ６が５に等しいとき、アフィンマージモードの最大インデックスは、インデックスｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄであってよい。
【0163】
アフィン有効化フラグが真であるとき、アフィンマージモードの最大数は、数Ｎ６から最大インデックスを減算することによって計算されてよい。アフィン有効化フラグが偽であるとき、アフィンマージモードの最大数は、汎用マージ有効化フラグ、サブブロックベース一時的ＭＶＰ（ｓｂＴＭＶＰ）フラグ、及び一時的ＭＶＰ（ＴＭＶＰ）フラグに基づいて計算することができる。例えば、最大数ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、以下のように導出されてよい：
【0164】
【数5】
【0165】
一実施形態において、特定マージモードがＩＢＣマージモードであるとき、最大インデックスは、ゼロ以上のＩＢＣマージＢＶＰ候補の最大数を計算するために使用されてよい。最大数は、ＭａｘＮｕｍＩｂｃＭｅｒｇｅＣａｎｄとして表すことができる。最大インデックスがＳＰＳに含まれているとき、最大インデックスは、インデックスｓｐｓ＿Ｎ７＿ｍｉｎｕｓ＿ｍａｘ＿ｉｂｃ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄであってよい。数Ｎ７は、正の整数であってよい。
【0166】
ＩＢＣ有効化フラグ及び汎用マージ有効化フラグの両方が真であるとき、デコーダモジュール１２４は、ビデオデータから最大インデックスを決定してよい。ＩＢＣ有効化フラグ又は汎用マージモードが偽のとき、デコーダモジュール１２４は、最大インデックスをパーシングせずに、推論された値が数Ｎ７に等しいと決定してよい。
【0167】
最大インデックスがＳＰＳに含まれ、数Ｎ７が６に等しいとき、ＩＢＣマージモードの最大インデックスは、インデックスｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｉｂｃ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄであってよい。ＩＢＣ有効化フラグが真のとき、ＩＢＣマージモードの最大数は、数Ｎ７から最大インデックスを減算することによって計算できる。アフィン有効化フラグが偽のとき、ＩＢＣマージモードの最大数は、汎用マージ有効化フラグに基づいて決定できる。例えば、最大数ＭａｘＮｕｍＩｂｃＭｅｒｇｅＣａｎｄは、次のように導出されてよい：
【0168】
【数6】
【0169】
別の実施形態において、デコーダモジュール１２４は、汎用マージ有効化フラグに基づいて、方法７００の第１から第３の実施形態の少なくとも２つに従って、異なるマージモードに対してそれぞれ複数の最大数を決定してよい。例えば、デコーダモジュール１２４は、汎用マージ有効化フラグに基づいて、通常マージモードの最大数及びＩＢＣマージモードの最大数を決定することができる。
【0170】
ブロック７４０において、デコーダモジュール１２４は、最大数に基づいて、画像フレームから分割された画像ブロックを再構成する。図１及び図２を更に参照すると、デコーダモジュール１２４は、ゼロ又は複数の固有のマージ候補を含む複数のモード候補から、１又は複数の画像フレーム中の複数の画像ブロックの各々について予測モードを選択し、予測モードに基づいて複数の予測ブロックを決定することができる。デコーダモジュール１２４は、画像ブロックの各々のためにビットストリームから複数の残差成分を決定し、残差成分を予測ブロックの対応する１つに加算して、画像ブロックを再構成することができる。デコーダモジュール２２２は、ビデオ画像を再構成するために画像フレームの全てを再構成することができる。
【0171】
全てのマージモードは、ＶＰＳ、ＳＰＳ、ＰＰＳといった、高レベルシンタックスによって直接的に無効化され、パイプライン遅延を削減できる。従って、高レベルシンタックスは、全てのマージモードが１つ又は複数の画像フレームにおいて有効であるか否かを決定するために、汎用マージ有効化フラグを含むことができる。その上、マージモードの各最大数は、コーディング効率を更に向上させるために、汎用マージ有効化フラグによって制御されてもよい。
【0172】
図８は、本開示の一実施形態に従った、図１に示される第１の電子デバイスのエンコーダモジュール１１４のブロック図を示す。エンコーダモジュール１１４は、予測プロセッサ（例えば、予測プロセスユニット８１４１）、少なくとも第１の加算器（例えば、第１の加算器８１４２）及び第２の加算器（例えば、第２の加算器８１４５）、変換／量子化プロセッサ（例えば、変換／量子化ユニット８１４３）、逆量子化／逆変換プロセッサ（例えば、逆量子化／逆変換ユニット８１４４）、フィルタ（例えば、フィルタリングユニット８１４６）、復号化された画像バッファ（例えば復号化された画像バッファ８１４７）、エントロピーエンコーダ（例えば、エントロピー符号化ユニット８１４８）を含んでよい。エンコーダモジュール１１４の予測プロセスユニット８１４１は、分割プロセッサ（例えば、分割ユニット８１４１１）、イントラ予測プロセッサ（例えば、イントラ予測ユニット８１４１２）、及びインター予測プロセッサ（例えば、インター予測ユニット８１４１３）を更に含むことができる。
【0173】
エンコーダモジュール１１４は、ソースビデオを受信し、ビットストリームを出力するためにソースビデオを符号化することができる。エンコーダモジュール１１４は、複数の画像フレームを含むソースビデオを受信し、次いで、符号化構造に従って画像フレームを分割することができる。各画像フレームは、少なくとも１つの画像ブロックに分割されてよい。
【0174】
少なくとも１つの画像ブロックは、複数の輝度サンプルを有する輝度ブロックと、複数の色差サンプルを有する少なくとも１つの色差ブロックとを含み得る。輝度ブロック及び少なくとも１つの色差ブロックは、マクロブロック、コーディングツリーユニット（ＣＴＵ）、コーディングブロック（ＣＢ）、そのサブ分割、及び／又は別の同等のコーディングユニットを生成するために、更に分割されてよい。
【0175】
エンコーダモジュール１１４は、ソースビデオの追加のサブ分割を実行することができる。開示された実施形態は、符号化の前に及び／又は間にソースビデオがどのように分割されるかにかかわらず、一般にビデオコーディングに適用可能であることに留意されたい。
【0176】
符号化プロセスの間、予測プロセスユニット８１４１は、画像フレームの内の特定の１つの画像フレームの現在の画像ブロックを受信することができる。現在の画像ブロックは、特定の画像フレーム内の輝度ブロックであっても、色差ブロックの一つであってもよい。
【0177】
分割ユニット８１４１１は、現在の画像ブロックを複数のブロックユニットに分割する。イントラ予測ユニット８１４１２は、空間予測を提供するために、現在のブロックユニットと同じフレーム内の１つ又は複数の隣接ブロックに対する現在のブロックユニットのイントラ予測コーディングを実行してよい。インター予測ユニット８１４１３は、１つ又は複数の参照画像ブロック内の１つ又は複数のブロックに対して、現在のブロックユニットのインター予測コーディングを実行して、一時的予測を提供してよい。
【0178】
予測プロセスユニット８１４１は、コスト関数といった、モード選択方法に基づいて、イントラ予測ユニット８１４１２及びインター予測ユニット８１４１３によって生成されるコーディング結果の内の１つを選択してよい。モード選択方法は、レート歪み最適化（ＲＤＯ）プロセスであってよい。
【0179】
予測プロセスユニット８１４１は、選択されたコーディング結果を決定し、残留ブロックを生成するための第１の加算器８１４２と、符号化されたブロックユニットを再構築するための第２の加算器８１４５とに、選択されたコーディング結果に対応する予測されたブロックを提供してよい。予測プロセスユニット８１４１は、動きベクトル、イントラモードインジケータ、分割情報、及び他のシンタックス情報といった、シンタックス要素をエントロピー符号化ユニット８１４８に更に提供することができる。
【0180】
イントラ予測ユニット８１４１２は、現在のブロックユニットをイントラ予測することができる。イントラ予測ユニット８１４１２は、現在のブロックユニットを符号化するために、現在のブロックユニットに隣接する再構築されたサンプルに向けられたイントラ予測モードを決定することができる。
【0181】
イントラ予測ユニット８１４１２は、様々なイントラ予測モードを使用して、現在のブロックユニットを符号化することができる。イントラ予測ユニット８１４１２又は予測プロセスユニット８１４１は、選択されたモードから、適切なイントラ予測モードを選択することができる。イントラ予測ユニット８１４１２は、交差成分予測モードを使用して、現在のブロックユニットのルマ成分に基づいて、現在のブロックユニットの２つのクロマ成分のうちの１つを予測するために、現在のブロックユニットを符号化することができる。イントラ予測ユニット８１４１２は、現在のブロックユニットの２つのクロマ成分の内の２番目のクロマ成分に基づいて、現在のブロックユニットの２つのクロマ成分の内の１番目の１つを予測することができる。
【0182】
インター予測ユニット８１４１３は、イントラ予測ユニット８１４１２によって実行されるイントラ予測の代替として、現在のブロックユニットをインター予測してもよい。インター予測ユニット８１４１３は、動き推定を実行し、動きベクトルを生成するための現在のブロックユニットの動きを推定してもよい。
【0183】
動きベクトルは、参照画像ブロック内の参照ブロックユニットに対する、現在の画像ブロックユニット内の現在のブロックユニットの変位を示すことができる。インター予測ユニット８１４１３は、復号化された画像バッファ８１４７に保存された少なくとも１つの参照画像ブロックを受信し、受信された参照画像ブロックに基づいて動きを推定し、動きベクトルを生成することができる。
【0184】
第１の加算器８１４２は、予測プロセスユニット８１４１によって決定される予測ブロックを、元の現在のブロックユニットから減算することによって、残留ブロックを生成してもよい。第１の加算器８１４２は、この減算を実行する部品を表すことができる。
【0185】
変換／量子化ユニット８１４３は、残差変換係数を生成し、次いで、残差変換係数を量子化し、ビットレートを更に低減するために、残差ブロックに変換を適用してもよい。変換は、ＤＣＴ、ＤＳＴ、ＡＭＴ、ＭＤＮＳＳＴ、ＨｙＧＴ、信号依存変換、ＫＬＴ、ウェーブレット変換、整数変換、サブバンド変換、又は概念的に同様の変換の内の１つとすることができる。
【0186】
変換は、残差情報をピクセル値領域から、周波数ドメインといった、変換領域に変換することができる。量子化の度合いは、量子化パラメータを調整することによって修正されてもよい。
【0187】
変換／量子化ユニット８１４３は、量子化変換係数を含むマトリックスの走査を行ってよい。また、エントロピー符号化ユニット８１４８は、走査を行ってもよい。
【0188】
エントロピー符号化ユニット８１４８は、予測プロセスユニット８１４１及び変換／量子化ユニット８１４３から、量子化パラメータ、変換データ、動きベクトル、イントラモード、分割情報、及び他のシンタックス情報を含む複数のシンタックス要素を受信することができる。エントロピー符号化ユニット８１４８は、シンタックス要素をビットストリームに符号化してもよい。
【0189】
エントロピー符号化ユニット８１４８は、符号化されたビットストリームを生成するために、ＣＡＶＬＣ、ＣＡＢＡＣ、ＳＢＡＣ、ＰＩＰＥコーディング、又は別のエントロピーコーディング技法を実行することによって、量子化された変換係数をエントロピー符号化することができる。符号化されたビットストリームは、別のデバイス（すなわち、図１内の第２の電子デバイス１２０）に送信されてもよく、又は後の伝送又は検索のためにアーカイブされてもよい。
【0190】
逆量子化／逆変換ユニット８１４４は、逆量子化及び逆変換を適用し、後で参照ブロックとして使用するために、画素領域内の残留ブロックを再構成することができる。第２の加算器８１４５は、復号化された画像バッファ８１４７に格納するための再構成ブロックを生成するために、再構成された残差ブロックを、予測プロセスユニット８１４１から提供された予測ブロックに追加することができる。
【0191】
フィルタリングユニット８１４６は、再構成されたブロックからブロッキングアーチファクトを除去するために、デブロッキングフィルタ、ＳＡＯフィルタ、バイラテラルフィルタ、及び／又はＡＬＦを含むことができる。デブロッキングフィルタ、ＳＡＯフィルタ、バイラテラルフィルタ、及びＡＬＦに加えて、追加のフィルタ（ループ又はポストループ）を使用することができる。このようなフィルタは、簡潔にするために図示されておらず、第２の加算器８１４５の出力をフィルタリングすることができる。
【0192】
復号化された画像バッファ８１４７は、イントラ又はインターコーディングモードといった、ビデオを符号化するためのエンコーダモジュール１１４によって使用される参照ブロックを保存する参照画像メモリとすることができる。復号化された画像バッファ８１４７は、（ＳＤＲＡＭ、ＭＲＡＭ、ＲＲＡＭ、又は他のタイプのメモリデバイスを含む）ＤＲＡＭといった様々なメモリデバイスを含むことができる。復号化された画像バッファ８１４７は、エンコーダモジュール１１４の他の部品とオンチップであってもよく、又はこれらの部品に対してオフチップであってもよい。
【0193】
エンコーダモジュール１１４は、ビデオデータを受信し、複数の予測モードを使用し、ビデオデータ内の複数の画像フレームを予測することができる。予測モードは、複数のマージ候補を有する複数のマージモードを含んでよい。エンコーダモジュール１１４は、予測結果に基づいて、対応するモードが１つ以上の画像フレームに対して有効であるかどうかを決定するために、図３内のアフィン有効化フラグ、図５内の通常マージ有効化フラグ、図６内のＩＢＣ有効化フラグ、及び図７内の汎用マージ有効化フラグの内の少なくとも１つをシグナルし得る。
【0194】
エンコーダモジュール１１４は、予測結果に基づいて、対応する最大数を決定するために図３から７の方法３００から７００に対する最大インデックスをシグナルすることができる。その上、図３を参照すると、エンコーダモジュール１１４は、アフィンマージＭＶＰ候補の最大数を決定するために、サブブロックベース一時的ＭＶＰフラグ及び一時的ＭＶＰフラグをシグナルすることができる。次に、エンコーダモジュール１１４は、フラグ及びインデックスを含む符号化されたデータを、デコーダモジュール１２４に提供するためにビットストリームに追加することができる。
【0195】
開示された実施形態は、全ての点で、例示的なものと見なされるべきであり、限定的なものと見なされるべきではない。また、本開示は、特定の開示された実施形態に限定されず、本開示の範囲から逸脱することなく、多くの再設計、修正、及び置換が可能であることを理解されたい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】