▶ ホアウェイ・テクノロジーズ・カンパニー・リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-16
(45)【発行日】2023-10-24
(54)【発明の名称】画像予測方法および装置
(51)【国際特許分類】
H04N 19/51 20140101AFI20231017BHJP
H04N 19/139 20140101ALI20231017BHJP
H04N 19/52 20140101ALI20231017BHJP
【ＦＩ】
H04N19/51
H04N19/139
H04N19/52
【請求項の数】
8
【外国語出願】
(21)【出願番号】P 2021078566
(22)【出願日】2021-05-06
(62)【分割の表示】P 2020031872の分割
【原出願日】2016-09-08
(65)【公開番号】P2021119709
(43)【公開日】2021-08-12
【審査請求日】2021-05-12
(31)【優先権主張番号】201510632589.1
(32)【優先日】2015-09-29
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】504161984
【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】チェン、ファンバン
(72)【発明者】
【氏名】リン、シィン
(72)【発明者】
【氏名】ツアン、ホン
【審査官】間宮 嘉誉
(56)【参考文献】
【文献】特許第３６５４６６４（ＪＰ，Ｂ２）
【文献】特許第６８８２５６０（ＪＰ，Ｂ２）
【文献】MATHEW, Reji et al.，Quad-Tree Motion Modeling with Leaf Merging，IEEE Transactions on Circuits and Systems for Video Technology，IEEE，2010年09月20日，Vol.20, No.10，pp.1331-1345，https://doi.org/10.1109/TCSVT.2010.2077480
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００－１９／９８
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
予測画像を復号するための方法であって、第１の指示情報を取得すべく、ビットストリームを解析する段階と、
前記第１の指示情報に従って、第１の処理されるべき画像領域のモードの候補の集合を決定する段階であって、前記第１の指示情報は、前記第１の処理されるべき画像領域の前記モードの候補の集合にアフィンモードがあるかを示す、段階と、
第２の指示情報を取得すべく、前記ビットストリームを解析する段階と、
前記第１の処理されるべき画像領域の予測モードの候補の集合において、前記第２の指示情報に従って、処理されるべき画像ユニットの予測モードを決定する段階であって、前記処理されるべき画像ユニットは、前記第１の処理されるべき画像領域に属する、段階と、
前記予測モードに従って、前記処理されるべき画像ユニットの予測画像を決定する段階と
を備える方法。
【請求項2】
前記第１の処理されるべき画像領域は、画像シーケンス、画像ピクチャ、画像タイル集合、画像スライス集合、画像タイル、画像スライス、画像符号化ユニット集合、または、画像符号化ユニットを含む、請求項１に記載の方法。
【請求項3】
予測画像を符号化するための方法であって、第１の処理されるべき画像領域のモードの候補の集合を決定する段階と、
前記第１の処理されるべき画像領域の予測モードの候補の集合において、処理されるべき画像ユニットの予測モードを決定する段階であって、前記処理されるべき画像ユニットは、前記第１の処理されるべき画像領域に属する、段階と、
前記予測モードに従って、前記処理されるべき画像ユニットの予測画像を決定する段階と、
第１の指示情報および第２の指示情報をビットストリームに符号化する段階であって、前記第１の指示情報は、前記第１の処理されるべき画像領域の前記モードの集合にアフィンモードがあるかを示し、前記第２の指示情報は、前記予測モードを示す、段階と
を備える方法。
【請求項4】
前記第１の処理されるべき画像領域は、画像シーケンス、画像ピクチャ、画像タイル集合、画像スライス集合、画像タイル、画像スライス、画像符号化ユニット集合、または画像符号化ユニットを含む、請求項３に記載の方法。
【請求項5】
予測画像を復号するための装置であって、第１の指示情報を取得すべく、ビットストリームを解析するよう構成される第１の解析モジュールと、
前記第１の指示情報に従って、第１の処理されるべき画像領域のモードの候補の集合を決定するよう構成される第１の決定モジュールであって、前記第１の指示情報は、前記第１の処理されるべき画像領域の前記モードの候補の集合にアフィンモードがあるかを示す、第１の決定モジュールと、
第２の指示情報を取得すべく、前記ビットストリームを解析するよう構成される第２の解析モジュールと、
前記第１の処理されるべき画像領域の予測モードの候補の集合において、前記第２の指示情報に従って、処理されるべき画像ユニットの予測モードを決定するよう構成される第２の決定モジュールであって、前記処理されるべき画像ユニットは、前記第１の処理されるべき画像領域に属する、第２の決定モジュールと、
前記予測モードに従って、前記処理されるべき画像ユニットの予測画像を決定するよう構成される第３の決定モジュールと
を備える装置。
【請求項6】
前記第１の処理されるべき画像領域は、画像シーケンス、画像ピクチャ、画像タイル集合、画像スライス集合、画像タイル、画像スライス、画像符号化ユニット集合、または、画像符号化ユニットを含む、請求項５に記載の装置。
【請求項7】
予測画像を符号化するための装置であって、第１の処理されるべき画像領域のモードの候補の集合を決定するよう構成される第１の符号化モジュールと、
前記第１の処理されるべき画像領域の予測モードの候補の集合において、処理されるべき画像ユニットの予測モードを決定するよう構成される第１の決定モジュールであって、前記処理されるべき画像ユニットは、前記第１の処理されるべき画像領域に属する、第１の決定モジュールと、
前記予測モードに従って、前記処理されるべき画像ユニットの予測画像を決定するよう構成される第２の決定モジュールと、
第１の指示情報および第２の指示情報をビットストリームに符号化するよう構成される第２の符号化モジュールであって、前記第１の指示情報は、前記第１の処理されるべき画像領域の前記モードの候補の集合にアフィンモードがあるかを示し、前記第２の指示情報は、前記予測モードを示す、第２の符号化モジュールと
を備える装置。
【請求項8】
前記第１の処理されるべき画像領域は、画像シーケンス、画像ピクチャ、画像タイル集合、画像スライス集合、画像タイル、画像スライス、画像符号化ユニット集合、または画像符号化ユニットを含む、請求項７に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本願発明は、ビデオ符号化および圧縮の分野に関し、特に、画像予測方法および装置に関する。
【背景技術】
【0002】
デジタルビデオ能力は、デジタルテレビ、デジタルダイレクトブロードキャストシステム、無線ブロードキャストシステム、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子書籍リーダー、デジタルカメラ、デジタル記録装置、デジタルメメディアプレーヤ、ビデオゲーム装置、ビデオゲームコンソール、セルラまたは衛星無線電話、ビデオ会議装置、ビデオストリーミング装置などを含む、広範囲の装置に組み込まれることができる。デジタルビデオ装置は、ＭＰＥＧ－２，ＭＰＥＧ－４，ＩＴＵ－Ｔ Ｈ．２６３，ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４，Ｐａｒｔ １０：ｔｈｅ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）規格、および、ＩＴＵ－Ｔ Ｈ．２６５：ｔｈｅ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）規格により定義された規格に説明されており、そのような規格の拡張版に説明されているビデオ圧縮技術などのビデオ圧縮技術を実装し、デジタルビデオ情報をより効率的に送受信する。そのようなビデオ符号化技術を実装することにより、ビデオ装置は、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶することができる。
【0003】
ビデオ圧縮技術は、空間的な（ピクチャ内）予測、および／または、時間的な（ピクチャ間）予測を含んでおり、ビデオシーケンスにおける固有の冗長性を低減する、または除去する。ブロックベースのビデオ符号化について、ビデオスライス（すなわち、ビデオフレームまたはビデオフレームの一部）が、いくつかのビデオブロックに区画されてよい。ビデオブロックは、ツリーブロック、符号化ユニット（ＣＵ）、および／または符号化ノードとも称されてよい。ピクチャのイントラ符号化（Ｉ）スライスにおけるビデオブロックが、同じピクチャの隣接ブロックにおける基準サンプルに対して、空間的な予測によって符号化される。ピクチャのインター符号化（ＰまたはＢ）スライスにおけるビデオブロックが、同じピクチャの隣接ブロックにおける基準サンプルに対する空間的な予測、または別の基準ピクチャにおける基準サンプルに対する時間的な予測を用いてよい。ピクチャは、フレームと称されてよく、基準ピクチャは、基準フレームと称されてよい。
【0004】
空間的な、または時間的な予測は、符号化されるべきブロックの予測ブロックをもたらす。残差データは、元の符号化されるべきブロックと予測ブロックとの間の画素差を示す。インター符号化ブロックは、予測ブロックを形成する基準サンプルのブロックを指す動きベクトルと、符号化ブロックと予測ブロックとの間の差を示す残差データとに従って符号化される。イントラ符号化ブロックは、イントラ符号化モードと残差データとに従って、符号化される。さらなる圧縮に対して、残差データは、画素領域から変換領域へ変換されてよく、それにより、残差変換係数を生成する。残差変換係数は次に、定量化され得る。２次元配列に最初に配置される、定量化された変換係数は、変換係数の１次元ベクトルを生成すべく、順次に走査されてよく、エントロピー符号化は、もっとさらなる圧縮を達成すべく、適用されてよい。
【発明の概要】
【0005】
本願発明は、符号化効率を向上させる画像予測方法を説明する。処理されるべき画像ユニットの隣接画像ユニットの予測情報もしくはユニットサイズ、または領域レベルをマーキングする予測モードの候補の集合に従って、処理されるべき画像ユニットの予測モードが導出される。先の情報が予測モードの符号化のために提供されるので、予測モードを符号化するビットレートが低減され、それにより、符号化効率を向上させる。
【0006】
本願発明の技術に従って、予測画像を復号するための方法は、処理されるべき画像ユニットに隣接する隣接画像ユニットについての情報に従って、処理されるべき画像ユニットの予測モードの候補の集合がアフィンマージモードを含むかどうかを決定する段階であって、アフィンマージモードは、処理されるべき画像ユニット、および処理されるべき画像ユニットの隣接画像ユニットのそれぞれの予測画像が、同じアフィンモードを用いることによって取得されることを示す、段階と、第１の指示情報を取得すべくビットストリームを解析する段階と、予測モードの候補の集合において、第１の指示情報に従って、処理されるべき画像ユニットの予測モードを決定する段階と、予測モードに従って、処理されるべき画像ユニットの予測画像を決定する段階とを備える。
【0007】
処理されるべき画像ユニットの隣接画像ユニットは、少なくとも、処理されるべき画像ユニットの上、左、右上、左下、左上における隣接画像ユニットを含む。
【0008】
本願発明の技術によれば、処理されるべき画像ユニットに隣接する隣接画像ユニットについての情報に従って、処理されるべき画像ユニットの予測モードの候補の集合がアフィンマージモードを含むかどうかを決定する段階は、以下の実装方式を含む。
【0009】
第１の実装方式は、隣接画像ユニットのうちの少なくとも１つの予測モードが、アフィンモデルを用いることによって予測画像を取得している場合、第２の指示情報を取得すべく、ビットストリームを解析する段階であって、第２の指示情報が１であるとき、予測モードの候補の集合は、アフィンマージモードを含むか、または、第２の指示情報が０であるとき、予測モードの候補の集合は、アフィンマージモードを含まないか、そうでない場合、予測モードの候補の集合は、アフィンマージモードを含まない、段階を含む。
【0010】
第２の実装方式は、隣接画像ユニットのうちの少なくとも１つの予測モードが、アフィンモデルを用いることによって予測画像を取得している場合、予測モードの候補の集合は、アフィンマージモードを含むか、そうでない場合、予測モードの候補の集合は、アフィンマージモードを含まないことを含む。
【0011】
第３の実装方式は以下を含む。予測モードは、少なくとも、第１のアフィンモデルを用いることによって予測画像を取得する第１のアフィンモード、または、第２のアフィンモデルを用いることによって予測画像を取得する第２のアフィンモードを含み、それに対応して、アフィンマージモードは、少なくとも、第１のアフィンモードをマージする第１のアフィンマージモード、または、第２のアフィンモードをマージする第２のアフィンマージモードを含み、それに対応して、処理されるべき画像ユニットに隣接する隣接画像ユニットについての情報に従って、処理されるべき画像ユニットの予測モードの候補の集合がアフィンマージモードを含むかどうかを決定する段階は、隣接予測ユニットの予測モードの中で、第１のアフィンモードが数量において１番目にランクするとき、予測モードの候補の集合は、第１のアフィンマージモードを含み、第２のアフィンマージモードを含まないか、隣接予測ユニットの予測モードの中で、第２のアフィンモードが数量において１番目にランクするとき、予測モードの候補の集合は、第２のアフィンマージモードを含み、第１のアフィンマージモードを含まないか、または、隣接予測ユニットの予測モードの中で、非アフィンモードが数量において１番目にランクするとき、予測モードの候補の集合は、アフィンマージモードを含まないことを含む。
【0012】
第３の実装方式はさらに以下を含む。隣接予測ユニットの予測モードの中で、第１のアフィンモードが数量において１番目にランクするとき、予測モードの候補の集合は、第１のアフィンマージモードを含み、第２のアフィンマージモードを含まないか、隣接予測ユニットの予測モードの中で第２のアフィンモードが数量において１番目にランクするとき、予測モードの候補の集合は、第２のアフィンマージモードを含み、第１のアフィンマージモードを含まないか、隣接予測ユニットの予測モードの中で非アフィンモードが数量において１番目にランクし、かつ、第１のアフィンモードが数量において２番目にランクするとき、予測モードの候補の集合は、第１のアフィンマージモードを含み、第２のアフィンマージモードを含まないか、または、隣接予測ユニットの予測モードの中で非アフィンモードが数量において１番目にランクし、かつ、第２のアフィンモードが数量において２番目にランクするとき、予測モードの候補の集合は、第２のアフィンマージモードを含み、第１のアフィンマージモードを含まない。
【0013】
第４の実装方式は、隣接画像ユニットのうちの少なくとも１つの予測モードが、アフィンモデルを用いることによって予測画像を取得しており、かつ、隣接画像ユニットのうちの少なくとも１つの幅および高さがそれぞれ、処理されるべき画像ユニットの幅および高さより小さい場合、第３の指示情報を取得すべく、ビットストリームを解析する段階であって、第３の指示情報が１であるとき、予測モードの候補の集合は、アフィンマージモードを含むか、または、第３の指示情報が０であるとき、予測モードの候補の集合は、アフィンマージモードを含まないか、そうでない場合、予測モードの候補の集合は、アフィンマージモードを含まない、段階を含む。
【0014】
第５の実装方式は以下を含む。隣接画像ユニットのうちの少なくとも１つの予測モードが、アフィンモデルを用いることによって予測画像を取得しており、かつ、隣接画像ユニットのうちの少なくとも１つの幅よび高さがそれぞれ、処理されるべき画像ユニットの幅および高さより小さい場合、予測モードの候補の集合は、アフィンマージモードを含むか、そうでない場合、予測モードの候補の集合は、アフィンマージモードを含まない。
【0015】
本願発明の技術によれば、予測画像を復号するための方法は、第１の指示情報を取得すべく、ビットストリームを解析する段階と、第１の指示情報に従って、第１の処理されるべき画像領域のモードの候補の集合を決定する段階であって、第１の指示情報が０であるとき、並進モデルを用いることによって予測画像を取得する予測モードを示す並進モードの候補の集合が、第１の処理されるべき画像領域のモードの候補の集合として用いられるか、または、第１の指示情報が１であるとき、並進モードの候補の集合と、アフィンモデルを用いることによって予測画像を取得する予測モードを示すアフィンモードの候補の集合とが、第１の処理されるべき画像領域のモードの候補の集合として用いられる、段階と、第２の指示情報を取得すべく、ビットストリームを解析する段階と、第１の処理されるべき画像領域の予測モードの候補の集合において、第２の指示情報に従って、処理されるべき画像ユニットの予測モードを決定する段階であって、処理されるべき画像ユニットは、第１の処理されるべき画像領域に属する、段階と、予測モードに従って、処理されるべき画像ユニットの予測画像を決定する段階とを含む。
【0016】
第１の処理されるべき画像領域は、画像フレームグループ、画像フレーム、画像タイル集合、画像スライス集合、画像タイル、画像スライス、画像符号化ユニット集合、または画像符号化ユニットのうちの１つを含む。
【0017】
一例において、予測画像を復号するための方法は、処理されるべき画像ユニットに隣接する隣接画像ユニットについての情報に従って、処理されるべき画像ユニットの予測モードの候補の集合がアフィンマージモードを含むかどうかを決定する段階であって、アフィンマージモードは、処理されるべき画像ユニット、および処理されるべき画像ユニットの隣接画像ユニットのそれぞれの予測画像が同じアフィンモードを用いることによって取得されることを示す、段階と、第１の指示情報を取得すべく、ビットストリームを解析する段階と、予測モードの候補の集合において、第１の指示情報に従って、処理されるべき画像ユニットの予測モードを決定する段階と、予測モードに従って、処理されるべき画像ユニットの予測画像を決定する段階とを備える。
【0018】
別の例において、予測画像を符号化する方法は、処理されるべき画像ユニットに隣接する隣接画像ユニットについての情報に従って、処理されるべき画像ユニットの予測モードの候補の集合がアフィンマージモードを含むかどうかを決定する段階であって、アフィンマージモードは、処理されるべき画像ユニット、および処理されるべき画像ユニットの隣接画像ユニットのそれぞれの予測画像が同じアフィンモードを用いることによって取得されることを示す、段階と、予測モードの候補の集合において、処理されるべき画像ユニットの予測モードを決定する段階と、予測モードに従って、処理されるべき画像ユニットの予測画像を決定する段階と、第１の指示情報をビットストリームに符号化する段階であって、第１の指示情報は、予測モードを示す、段階とを備える。
【0019】
別の例において、予測画像を復号するための方法は、第１の指示情報を取得すべく、ビットストリームを解析する段階と、第１の指示情報に従って、第１の処理されるべき画像領域のモードの候補の集合を決定する段階であって、第１の指示情報が０であるとき、並進モデルを用いることによって予測画像を取得する予測モードを示す並進モードの候補の集合が、第１の処理されるべき画像領域のモードの候補の集合として用いられるか、または、第１の指示情報が１であるとき、並進モードの候補の集合と、アフィンモデルを用いることによって予測画像を取得する予測モードを示すアフィンモードの候補の集合とが、第１の処理されるべき画像領域のモードの候補の集合として用いられる、段階と、第２の指示情報を取得すべく、ビットストリームを解析する段階と、第１の処理されるべき画像領域の予測モードの候補の集合において、第２の指示情報に従って、処理されるべき画像ユニットの予測モードを決定する段階であって、処理されるべき画像ユニットは、第１の処理されるべき画像領域に属する、段階と、予測モードに従って、処理されるべき画像ユニットの予測画像を決定する段階とを備える。
【0020】
別の例において、予測画像を符号化するための方法は、並進モデルを用いることによって予測画像を取得する予測モードを示す並進モードの候補の集合が、第１の処理されるべき画像領域のモードの候補の集合として用いられる場合、第１の指示情報を０に設定し、かつ、第１の指示情報をビットストリームに符号化するか、または、並進モードの候補の集合と、アフィンモデルを用いることによって予測画像を取得する予測モードを示すアフィンモードの候補の集合とが、第１の処理されるべき画像領域のモードの候補の集合として用いられる場合、第１の指示情報を１に設定し、第１の指示情報をビットストリームに符号化する段階と、第１の処理されるべき画像領域の予測モードの候補の集合において、処理されるべき画像ユニットの予測モードを決定する段階であって、処理されるべき画像ユニットは、第１の処理されるべき画像領域に属する、段階と、予測モードに従って、処理されるべき画像ユニットの予測画像を決定する段階と、第２の指示情報をビットストリームに符号化する段階であって、第２の指示情報は予測モードを示す、段階とを備える。
【0021】
別の例において、予測画像を復号するための装置は、処理されるべき画像ユニットに隣接する隣接画像ユニットについての情報に従って、処理されるべき画像ユニットの予測モードの候補の集合がアフィンマージモードを含むかどうかを決定するよう構成される第１の決定モジュールであって、アフィンマージモードは、処理されるべき画像ユニット、および処理されるべき画像ユニットの隣接画像ユニットのそれぞれの予測画像が同じアフィンモードを用いることによって取得されることを示す、第１の決定モジュールと、第１の指示情報を取得すべく、ビットストリームを解析するよう構成される解析モジュールと、予測モードの候補の集合において、第１の指示情報に従って、処理されるべき画像ユニットの予測モードを決定するよう構成される第２の決定モジュールと、予測モードに従って、処理されるべき画像ユニットの予測画像を決定するよう構成される第３の決定モジュールとを備える。
【0022】
別の例において、予測画像を符号化するための装置は、処理されるべき画像ユニットに隣接する隣接画像ユニットについての情報に従って、処理されるべき画像ユニットの予測モードの候補の集合がアフィンマージモードを含むかどうかを決定するよう構成される第１の決定モジュールであって、アフィンマージモードは、処理されるべき画像ユニット、および処理されるべき画像ユニットの隣接画像ユニットのそれぞれの予測画像が同じアフィンモードを用いることによって取得されることを示す、第１の決定モジュールと、予測モードの候補の集合において、処理されるべき画像ユニットの予測モードを決定するよう構成される第２の決定モジュールと、予測モードに従って、処理されるべき画像ユニットの予測画像を決定するよう構成される第３の決定モジュールと、第１の指示情報をビットストリームに符号化するよう構成される符号化モジュールであって、第１の指示情報は予測モードを示す、符号化モジュールとを備える。
【0023】
別の例において、予測画像を復号するための装置は、第１の指示情報を取得すべく、ビットストリームを解析するよう構成される第１の解析モジュールと、第１の指示情報に従って、第１の処理されるべき画像領域のモードの候補の集合を決定するよう構成される第１の決定モジュールであって、第１の指示情報が０であるとき、並進モデルを用いることによって予測画像を取得する予測モードを示す並進モードの候補の集合が、第１の処理されるべき画像領域のモードの候補の集合として用いられるか、または、第１の指示情報が１であるとき、並進モードの候補の集合と、アフィンモデルを用いることによって予測画像を取得する予測モードを示すアフィンモードの候補の集合とが、第１の処理されるべき画像領域のモードの候補の集合として用いられる、第１の決定モジュールと、第２の指示情報を取得すべく、ビットストリームを解析するよう構成される第２の解析モジュールと、第１の処理されるべき画像領域の予測モードの候補の集合において、第２の指示情報に従って、処理されるべき画像ユニットの予測モードを決定するよう構成される第２の決定モジュールであって、処理されるべき画像ユニットは、第１の処理されるべき画像領域に属する、第２の決定モジュールと、予測モードに従って、処理されるべき画像ユニットの予測画像を決定するよう構成される第３の決定モジュールとを備える。
【0024】
別の例において、予測画像を符号化するための装置は、並進モデルを用いることによって予測画像を取得する予測モードを示す並進モードの候補の集合が第１の処理されるべき画像領域のモードの候補の集合として用いられる場合、第１の指示情報を０に設定し、かつ、第１の指示情報をビットストリームに符号化するか、または、並進モードの候補の集合と、アフィンモデルを用いることによって予測画像を取得する予測モードを示すアフィンモードの候補の集合とが、第１の処理されるべき画像領域のモードの候補の集合として用いられる場合、第１の指示情報を１に設定し、かつ、第１の指示情報をビットストリームに符号化するよう構成される第１の符号化モジュールと、第１の処理されるべき画像領域の予測モードの候補の集合において、処理されるべき画像ユニットの予測モードを決定するよう構成される第１の決定モジュールであって、処理されるべき画像ユニットは、第１の処理されるべき画像領域に属する、第１の決定モジュールと、予測モードに従って、処理されるべき画像ユニットの予測画像を決定するよう構成される第２の決定モジュールと、第２の指示情報をビットストリームに符号化するよう構成される第２の符号化モジュールであって、第２の指示情報は、予測モードを示す、第２の符号化モジュールとを備える。
【0025】
別の例において、ビデオデータを復号するためのデバイスが提供される。デバイスは、処理されるべき画像ユニットに隣接する隣接画像ユニットについての情報に従って、処理されるべき画像ユニットの予測モードの候補の集合がアフィンマージモードを含むかどうかを決定する動作であって、アフィンマージモードは、処理されるべき画像ユニット、および処理されるべき画像ユニットの隣接画像ユニットのそれぞれの予測画像が同じアフィンモードを用いることによって取得されることを示す、動作と、第１の指示情報を取得すべく、ビットストリームを解析する動作と、予測モードの候補の集合において、第１の指示情報に従って、処理されるべき画像ユニットの予測モードを決定する動作と、予測モードに従って、処理されるべき画像ユニットの予測画像を決定する動作とを実行するよう構成されるビデオデコーダを備える。
【0026】
別の例において、ビデオデータを符号化するためのデバイスが提供される。デバイスは、処理されるべき画像ユニットに隣接する隣接画像ユニットについての情報に従って、処理されるべき画像ユニットの予測モードの候補の集合が、アフィンマージモードを含むかどうかを決定する動作であって、アフィンマージモードは、処理されるべき画像ユニット、および処理されるべき画像ユニットの隣接画像ユニットのそれぞれの予測画像が同じアフィンモードを用いることによって取得されることを示す、動作と、予測モードの候補の集合において、処理されるべき画像ユニットの予測モードを決定する動作と、予測モードに従って、処理されるべき画像ユニットの予測画像を決定する動作と、第１の指示情報をビットストリームに符号化する動作であって、第１の指示情報は、予測モードを示す、動作とを実行するよう構成されるビデオエンコーダを備える。
【0027】
別の例において、ビデオデータを復号するためのデバイスが提供される。デバイスは、第１の指示情報を取得すべく、ビットストリームを解析する動作と、第１の指示情報に従って、第１の処理されるべき画像領域のモードの候補の集合を決定する動作であって、第１の指示情報が０であるとき、並進モデルを用いることによって予測画像を取得する予測モードを示す並進モードの候補の集合が、第１の処理されるべき画像領域のモードの候補の集合として用いられるか、または、第１の指示情報が１であるとき、並進モードの候補の集合と、アフィンモデルを用いることによって予測画像を取得する予測モードを示すアフィンモードの候補の集合とが第１の処理されるべき画像領域のモードの候補の集合として用いられる、動作と、第２の指示情報を取得すべく、ビットストリームを解析する動作と、第１の処理されるべき画像領域の予測モードの候補の集合において、第２の指示情報に従って、処理されるべき画像ユニットの予測モードを決定する動作であって、処理されるべき画像ユニットは、第１の処理されるべき画像領域に属する、動作と、予測モードに従って、処理されるべき画像ユニットの予測画像を決定する動作とを実行するよう構成されるビデオデコーダを備える。
【0028】
別の例において、ビデオデータを符号化するためのデバイスが提供される。デバイスは、並進モデルを用いることによって予測画像を取得する予測モードを示す並進モードの候補の集合が第１の処理されるべき画像領域のモードの候補の集合として用いられる場合、第１の指示情報を０に設定し、かつ、第１の指示情報をビットストリームに符号化するか、または、並進モードの候補の集合と、アフィンモデルを用いることによって予測画像を取得する予測モードを示すアフィンモードの候補の集合とが、第１の処理されるべき画像領域のモードの候補の集合として用いられる場合、第１の指示情報を１に設定し、かつ、第１の指示情報をビットストリームに符号化する動作と、第１の処理されるべき画像領域の予測モードの候補の集合において、処理されるべき画像ユニットの予測モードを決定する動作であって、処理されるべき画像ユニットは、第１の処理されるべき画像領域に属する、動作と、予測モードに従って、処理されるべき画像ユニットの予測画像を決定する動作と、第２の指示情報をビットストリームに符号化する動作であって、第２の指示情報は予測モードを示す、動作とを実行するよう構成されるビデオエンコーダを備える。
【0029】
別の例において、命令を記憶するコンピュータ可読記憶媒体が提供される。実行されているとき、命令は、処理されるべき画像ユニットに隣接する隣接画像ユニットについての情報に従って、処理されるべき画像ユニットの予測モードの候補の集合がアフィンマージモードを含むかどうかを決定する動作であって、アフィンマージモードは、処理されるべき画像ユニット、および処理されるべき画像ユニットの隣接画像ユニットのそれぞれの予測画像が同じアフィンモードを用いることによって取得されることを示す、動作と、第１の指示情報を取得すべく、ビットストリームを解析する動作と、予測モードの候補の集合において、第１の指示情報に従って、処理されるべき画像ユニットの予測モードを決定する動作と、予測モードに従って、処理されるべき画像ユニットの予測画像を決定する動作とを、ビデオデータを復号するためのデバイスの１つまたは複数のプロセッサに実行させる。
【0030】
別の例において、命令を記憶するコンピュータ可読記憶媒体が提供される。実行されているとき、命令は、処理されるべき画像ユニットに隣接する隣接画像ユニットについての情報に従って、処理されるべき画像ユニットの予測モードの候補の集合がアフィンマージモードを含むかどうかを決定する動作であって、アフィンマージモードは、処理されるべき画像ユニット、および処理されるべき画像ユニットの隣接画像ユニットのそれぞれの予測画像が同じアフィンモードを用いることによって取得されることを示す、動作と、予測モードの候補の集合において、処理されるべき画像ユニットの予測モードを決定する動作と、予測モードに従って、処理されるべき画像ユニットの予測画像を決定する動作と、第１の指示情報をビットストリームに符号化する動作であって、第１の指示情報は予測モードを示す、動作とを、ビデオデータを符号化するためのデバイスの１つまたは複数のプロセッサに実行させる。
【0031】
別の例において、命令を記憶するコンピュータ可読記憶媒体が提供される。実行されているとき、命令は、第１の指示情報を取得すべく、ビットストリームを解析する動作と、第１の指示情報に従って、第１の処理されるべき画像領域のモードの候補の集合を決定する動作であって、第１の指示情報が０であるとき、並進モデルを用いることによって予測画像を取得する予測モードを示す並進モードの候補の集合が第１の処理されるべき画像領域のモードの候補の集合として用いられるか、または、第１の指示情報が１であるとき、並進モードの候補の集合と、アフィンモデルを用いることによって予測画像を取得する予測モードを示すアフィンモードの候補の集合とが第１の処理されるべき画像領域のモードの候補の集合として用いられる、動作と、第２の指示情報を取得すべく、ビットストリームを解析する動作と、第１の処理されるべき画像領域の予測モードの候補の集合において、第２の指示情報に従って、処理されるべき画像ユニットの予測モードを決定する動作であって、処理されるべき画像ユニットは第１の処理されるべき画像領域に属する、動作と、予測モードに従って、処理されるべき画像ユニットの予測画像を決定する動作とを、ビデオデータを復号するためのデバイスの１つまたは複数のプロセッサに実行させる。
【0032】
別の例において、命令を記憶するコンピュータ可読記憶媒体が提供される。実行されているとき、命令は、並進モデルを用いることによって予測画像を取得する予測モードを示す並進モードの候補の集合が第１の処理されるべき画像領域のモードの候補の集合として用いられる場合、第１の指示情報を０に設定し、かつ、第１の指示情報をビットストリームに符号化するか、または、並進モードの候補の集合と、アフィンモデルを用いることによって予測画像を取得する予測モードを示すアフィンモードの候補の集合とが第１の処理されるべき画像領域のモードの候補の集合として用いられる場合、第１の指示情報を１に設定し、かつ、第１の指示情報をビットストリームに符号化する動作と、第１の処理されるべき画像領域の予測モードの候補の集合において、処理されるべき画像ユニットの予測モードを決定する動作であって、処理されるべき画像ユニットは、第１の処理されるべき画像領域に属する、動作と、予測モードに従って、処理されるべき画像ユニットの予測画像を決定する動作と、第２の指示情報をビットストリームに符号化する動作であって、第２の指示情報は予測モードを示す、動作とを、ビデオデータを符号化するためのデバイスの１つまたは複数のプロセッサに実行させる。
【図面の簡単な説明】
【0033】
本願発明の実施形態における技術的解決手段をより明確に説明するために、以下では、実施形態または先行技術を説明するために必要とされる添付の図面を簡潔に説明する。明らかに、以下の説明における添付の図面は、本願発明のいくつかの実施形態を示すに過ぎず、当業者は、創造的努力なく、これらの添付の図面から、さらに他の図面を導出し得る。
【0034】
【図1】本発明の実施形態に係るビデオ符号化システムの概略ブロック図である。
【0035】
【図2】本発明の実施形態に係るビデオエンコーダの概略ブロック図である。
【0036】
【図3】本発明の実施形態に係るビデオエンコーダの例示的な動作を示す概略フローチャートである。
【0037】
【図4】本発明の実施形態に係る、処理されるべきブロックの位置、および処理されるべきブロックに隣接する再構築ブロックの位置の概略図である。
【0038】
【図5】本発明の実施形態に係る別のビデオエンコーダの概略ブロック図である。
【0039】
【図6】本発明の実施形態に係るビデオエンコーダの別の例示的な動作を示す概略フローチャートである。
【0040】
【図7】本発明の実施形態に係るさらに別のビデオエンコーダの概略ブロック図である。
【0041】
【図8】本発明の実施形態に係るビデオデコーダの概略ブロック図である。
【0042】
【図9】本発明の実施形態に係るビデオデコーダの例示的な動作を示す概略フローチャートである。
【0043】
【図10】本発明の実施形態に係る別のビデオデコーダの概略ブロック図である。
【0044】
【図11】本発明の実施形態に係るビデオデコーダの別の例示的な動作を示すｒ概略フローチャートである。
【0045】
【図12】本発明の実施形態に係るさらに別のビデオデコーダの概略ブロック図である。
【発明を実施するための形態】
【0046】
以下では、本願発明の実施形態の添付の図面を参照して、本願発明の実施形態における技術的解決手段を明確に、かつ完全に説明する。明らかに、説明される実施形態は、本願発明の実施形態の一部であってすべてではない。当業者により、本願発明の実施形態に基づき創造的努力なく、得られる他のすべての実施形態は、本願発明の保護範囲内に含まれるものとする。
【0047】
動き補償が、ビデオ符号化において圧縮効率を向上させるための重要な技術の１つである。ブロックマッチングに基づく従来の動き補償は、主流のビデオエンコーダに、特に、ビデオ符号化規格において広く適用されている方法である。ブロックマッチングに基づく動き補償方法において、インター予測ブロックは、並進運動モデルを用い、並進運動モデルは、一ブロックのすべての画素位置における動きベクトルが等しいことを仮定する。しかしながら、この仮定は、多くの場合においては無効である。実際に、ビデオ中の物体の動きは通常、並進運動、回転運動、およびズームなどの、動きの複雑な組み合わせである。画素ブロックがこれらの複雑な動きを含む場合、ブロックマッチングに基づく従来の動き補償方法を用いて取得される予測信号は不正確である。その結果、フレーム間の相関が、完全に除去されることができない。該問題を解決するために、上位の動きモデルが、ビデオ符号化の動き補償に導入される。上位の動きモデルは、並進運動モデルより高い自由度を有し、インター予測ブロックの画素が異なる動きベクトルを有することを可能にする。すなわち、上位の動きモデルによって生成される動きベクトルフィールドがより正確である。
【0048】
制御点に基づいて説明されるアフィン運動モデルが、上位の動きモデルの代表的な種類である。従来の並進運動モデルと異なり、ブロックにおけるそれぞれの画素ポイントの動きベクトルの値が、画素ポイントの位置に関連し、座標位置の１次線型方程式である。アフィン運動モデルは、基準ブロックの回転またはズームなどの歪曲変換を可能にし、動き補償によって、より正確な予測ブロックを取得することができる。
【0049】
動き補償によって、アフィン運動モデルを用いることによって予測ブロックを取得する上述のインター予測の種類は概して、アフィンモードと称される。現在の主流のビデオ圧縮符号化規格において、インター予測の種類は、高度な動きベクトル予測（Ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＡＭＶＰ）モード、および、マージ（Ｍｅｒｇｅ）モードといった２つのモードを含む。ＡＭＶＰにおいて、それぞれの符号化ブロックに対して、予測方向、基準フレームインデックス、および実際の動きベクトルと予測動きベクトルとの間の差は、明示的に転送される必要がある。しかしながら、マージモードにおいて、現在の符号化ブロックの動き情報は、隣接ブロックの動きベクトルから直接導出される。アフィンモードと、並進運動モデルに基づく、ＡＭＶＰまたはＭｅｒｇｅなどのインター予測方式は、組み合わされてよく、アフィン運動モデルに基づく、ＡＭＶＰまたはＭｅｒｇｅなどの新たなインター予測モードを形成してよい。例えば、アフィン運動モデルに基づくマージモードは、アフィンマージモード（Ａｆｆｉｎｅ Ｍｅｒｇｅ）と称されてよい。予測モードを選択する過程において、新たな予測モードと現在の規格における予測モードとが共に、「性能／コスト比」の比較処理に参加し、予測モードとしての最適なモードを選択し、処理されるべきブロックの予測画像を生成する。概して、予測モード選択結果が符号化され、符号化された予測モード選択結果は、復号側へ伝送される。
【0050】
アフィンモードは、予測ブロックの精度をさらに向上させ得て、符号化効率を向上させ得る。しかしながら、一方、アフィンモードについて、制御点の動き情報を符号化するために、並進運動モデルに基づく一様の動き情報のために必要とされるビットレートより多くのビットレートを消費する必要がある。加えて、候補予測モードが増加するので、予測モード選択結果を符号化するために用いられるビットレートも増加する。そのような追加のビットレート消費はすべて、符号化効率の向上に影響を与える。
【0051】
本願発明の技術的解決手段によると、一方で、処理されるべき画像ユニットの予測モードの候補の集合がアフィンマージモードを含むかどうかは、処理されるべき画像ユニットの隣接画像ユニットの予測モード情報またはサイズ情報に従って決定され、指示情報を取得すべく、ビットストリームが解析され、予測モードの候補の集合において、指示情報に従って処理されるべき画像ユニットの予測モードが決定され、かつ、処理されるべき画像ユニットの予測画像が、予測モードに従って決定される。他方、ビットストリームが解析され、特定の領域がアフィンモードを含む予測モードの候補の集合を用いるかどうかは、指示情報を用いることによって決定され、予測モードの候補の集合と他の受信された指示情報と従って、予測モードが決定され、かつ、予測画像が生成される。
【0052】
従って、処理されるべき画像ユニットの隣接画像ユニットの予測モード情報またはサイズ情報は、処理されるべきブロックの予測情報を符号化するための予備的知識として、用いられてよい。領域における予測モードの候補の集合を含む指示情報は、処理されるべきブロックの予測情報を符号化するための予備的知識としても用いられてよい。予備的知識は、予測モードの符号化を命令し、符号化モード選択の情報のビットレートを低減し、それにより、符号化効率を向上させる。
【0053】
加えて、例えば、特許出願番号第ＣＮ２０１０１０２４７２７５．７号、第ＣＮ２０１４１０５８４１７５．１号、第ＣＮ２０１４１０５２６６０８．８号、第ＣＮ２０１５１００８５３６２．Ｘ号、第ＰＣＴ／ＣＮ２０１５／０７３９６９号、第ＣＮ２０１５１０２４９４８４．８号、第ＣＮ２０１５１０３９１７６５．７号、および第ＣＮ２０１５１０５４３５４２．８号などの、アフィンモデルの動き情報の符号化における効率を向上させるための複数の解決手段が存在し、これらの出願の全体が参照により本明細書に組み込まれている。解決される具体的な技術的問題が異なるので、本願発明の技術的解決手段は、上述の解決手段に適用されてよく、さらに、符号化効率を向上させることが理解されるべきである。
【0054】
アフィンモデルは、非並進運動モデルの一般的な用語であることがさらに理解されるべきである。回転、ズーム、変形、透視、および同様のものを含む実際の動きはすべて、異なる動きモデルを確立することによって、インター予測における動き推定および動き補償のために用いられてよく、別々に、略して第１のアフィンモデルおよび第２のアフィンモデルなどと称される。
【0055】
図１は、本発明の実施形態に係るビデオ符号化システム１０の概略ブロック図である。本明細書において説明されているように、「ビデオコーダ」という用語は一般的に、ビデオエンコーダおよびビデオデコーダの両方を指す。本願発明において、「ビデオ符号化」または「符号化」という用語は一般的に、ビデオ符号化またはビデオ復号を指してよい。
【0056】
図１に示されているように、ビデオ符号化システム１０は、ソース装置１２と、宛先装置１４とを含む。ソース装置１２は、符号化ビデオデータを生成する。従って、ソース装置１２は、ビデオ符号化装置、またはビデオ符号化デバイスと称されてよい。宛先装置１４は、ソース装置１２により生成された符号化ビデオデータを復号し得る。従って、宛先装置１４は、ビデオ復号装置、またはビデオ復号デバイスと称されてよい。ソース装置１２および宛先装置１４は、ビデオ符号化装置、またはビデオ符号化デバイスの例であってよい。ソース装置１２および宛先装置１４は、デスクトップコンピュータ、モバイルコンピューティング装置、ノートブック（例えば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、テレビ、カメラ、表示装置、デジタルメメディアプレーヤ、ビデオゲームコンソール、車載コンピュータ、または同様のものを含む、広範囲の装置を含んでよい。
【0057】
宛先装置１４は、チャネル１６を用いることによって、ソース装置１２から符号化ビデオデータを受信してよい。チャネル１６は、符号化ビデオデータをソース装置１２から宛先装置１４へ移動することができる１つまたは複数の媒体および／または装置を含んでよい。一例において、チャネル１６は、ソース装置１２がリアルタイムで、符号化ビデオデータを宛先装置１４へ直接伝送することを可能にする１つまたは複数の通信媒体を含んでよい。この例において、ソース装置１２は、通信規格（例えば、無線通信プロトコル）に従って、符号化ビデオデータを変調してよく、変調されたビデオデータを宛先装置１４へ伝送してよい。１つまたは複数の通信媒体は、例えば、無線周波数（ＲＦ）スペクトル、または１つまたは複数の物理的伝送回線のような無線および／または有線通信媒体を含んでよい。１つまたは複数の通信媒体は、パケットベースのネットワーク（例えば、ローカルエリアネットワーク、広域ネットワーク、または（インターネットなどの）グローバルネットワーク）の一部を形成し得る。１つまたは複数の通信媒体は、ルータ、スイッチ、基地局、または、ソース装置１２から宛先装置１４への通信を容易にする別のデバイスを含んでよい。
【0058】
別の例において、チャネル１６は、ソース装置１２により生成された符号化ビデオデータを記憶する記憶媒体を含んでよい。この例において、宛先装置１４は、ディスクアクセス、またはカードアクセスによって、記憶媒体へアクセスしてよい。記憶媒体は、ブルーレイディスク（登録商標）、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、または、符号化ビデオデータを記憶するための他の適したデジタル記憶媒体などの様々な局所的にアクセスされるデータ記録媒体を含んでよい。
【0059】
別の例において、チャネル１６は、ファイルサーバ、または、ソース装置１２により生成された符号化ビデオデータを記憶する別の中間記憶装置を含んでよい。この例において、宛先装置１４は、ストリーミング伝送またはダウンロードによって、ファイルサーバまたは別の中間記憶装置に記憶されている符号化ビデオデータへアクセスしてよい。ファイルサーバは、符号化ビデオデータを記憶し、符号化ビデオデータを宛先装置１４へ伝送することができるサーバの１種であってよい。ファイルサーバの例は、（例えば、ウェブサイトの）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、ネットワークアタッチトストレージ（ＮＡＳ）装置、およびローカルディスクドライブを含む。
【0060】
宛先装置１４は、（インターネット接続などの）規格データ接続によって、符号化ビデオデータへアクセスしてよい。データ接続の例示的な種類は、無線チャネル（例えば、Ｗｉ－Ｆｉ（登録商標）接続）、有線接続（例えば、ＤＳＬまたはケーブルモデム）、または、ファイルサーバに記憶されている符号化ビデオデータへのアクセスに適した、両方の組み合わせを含んでよい。ファイルサーバからの符号化ビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、または、両方の組み合わせであってよい。
【0061】
本願発明の技術は、無線アプリケーションまたは設定に限定されない。技術は、例えば、地上波テレビブロードキャスティング、ケーブルテレビ伝送、衛星テレビ伝送、ストリーミングビデオ伝送（例えば、インターネットによって）、データ記録媒体に記憶されているビデオデータの符号化、データ記録媒体に記憶されているビデオデータの復号、または別のアプリケーションのような様々なマルチメディアアプリケーションのサポートにおいて、ビデオ符号化に適用されてよい。いくつかの例において、ビデオ符号化システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどのアプリケーションをサポートするように、片方向または双方向のビデオ伝送をサポートするよう構成されてよい。
【0062】
図１の例において、ソース装置１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。いくつかの例において、出力インターフェース２２は、変調器／復調器（モデム）、および／またはトランスミッタを含んでよい。ビデオソース１８は、（ビデオカメラなどの）ビデオキャプチャ装置、先に捕捉したビデオデータを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオデータを受信するためのビデオフィードインターフェース、および／または、ビデオデータを生成するためのコンピュータグラフィックスシステム、または、そのような、ビデオデータのソースの組み合わせを含んでよい。
【0063】
ビデオエンコーダ２０は、ビデオソース１８からのビデオデータを符号化してよい。いくつかの例において、ソース装置１２は、出力インターフェース２２を用いることによって、符号化ビデオデータを宛先装置１４へ直接伝送する。あるいは、符号化ビデオデータは、復号および／または再生のために宛先装置１４による後のアクセスのために、記憶媒体またはファイルサーバに記憶されてよい。
【0064】
図１の例において、宛先装置１４は、入力インターフェース２８と、ビデオデコーダ３０と、表示装置３２とを含む。いくつかの例において、入力インターフェース２８は、受信機および／またはモデムを含む。入力インターフェース２８は、チャネル１６を用いることによって符号化ビデオデータを受信してよい。表示装置３２は、宛先装置１４と統合されてよく、または、宛先装置１４の外部にあってよい。一般的に、表示装置３２は、復号されたビデオデータを表示する。表示装置３２は、例えば、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または、別の種類の表示装置のような様々な表示装置を含んでよい。
【0065】
ビデオエンコーダ２０およびビデオデコーダ３０は、（高効率ビデオ符号化（Ｈ．２６５）規格などの）ビデオ圧縮規格に従って動作してよく、ＨＥＶＣテストモデル（ＨＭ）に準拠する。Ｈ．２６５規格のテキスト説明ＩＴＵ－Ｔ Ｈ．２６５（Ｖ３）（０４／２０１５）が、２０１５年４月２９日に公開され、ｈｔｔｐ：／／ｈａｎｄｌｅ．ｉｔｕ．ｉｎｔ／１１．１００２／１０００／１２４５５からダウンロードできる。ファイルの内容全体が参照により本明細書に組み込まれている。
【0066】
あるいは、ビデオエンコーダ２０およびビデオデコーダ３０は、他のプロプライエタリまたは産業規格に従って、動作してよい。規格は、ＩＴＵ－Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣＭＰＥＧ－１ Ｖｉｓｕａｌ、ＩＴＵ－Ｔ Ｈ．２６２、または、ＩＳＯ／ＩＥＣＭＰＥＧ－２ Ｖｉｓｕａｌ、ＩＴＵ－Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣＭＰＥＧ－４ Ｖｉｓｕａｌ、およびＩＴＵ－Ｔ Ｈ．２６４（さらに、ＩＳＯ／ＩＥＣＭＰＥＧ－４ＡＶＣと称される）を含み、かつ、それらのスケーラブルビデオ符号化（ＳＶＣ）およびマルチビュービデオ符号化（ＭＶＣ）拡張を含む。しかしながら、本願発明の技術は、任意の特定の符号化規格または技術に限定されない。
【0067】
加えて、図１は、本願発明の技術の一例に過ぎず、必ずしも符号化装置と復号装置との間の任意のデータ通信を含むわけではないビデオ符号化設定（例えば、ビデオ符号化またはビデオ復号）に適用されてよい。他の例において、データは、ローカルメモリから読み出され、ネットワークにわたってストリームされる、または、同様の方式で操作される。符号化装置は、データを符号化して、符号化されたデータをメモリに記憶してよく、および／または、復号装置は、メモリからデータを読み出して、データを復号してよい。多くの例において、符号化および復号は、互いに通信しないが、単にデータをメモリへ符号化する、および／または、メモリからデータを読み出してデータを復号する複数の装置により実行される。
【0068】
ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ハードウェア、またはそれらの任意の組み合わせなどの、様々な好適な回路のうちのいずれかとして実装されてよい。技術がソフトウェアに部分的に実装されている場合、装置は、適した非一時的コンピュータ可読記憶媒体においてソフトウェアの命令を記憶してよく、本願発明の技術を実行すべく、１つまたは複数のプロセッサを用いることによってハードウェアにおける命令を実行してよい。上述のうちの（ハードウェア、ソフトウェア、ハードウェアおよびソフトウェアの組み合わせ、または同様のものを含む）いずれかが、１つまたは複数のプロセッサとしてみなされてよい。ビデオエンコーダ２０およびビデオデコーダ３０のそれぞれは、１つまたは複数のエンコーダまたはデコーダに含まれてよく、ビデオエンコーダ２０およびビデオデコーダ３０のいずれかが、各装置において組み合わされたエンコーダ／デコーダ（エンコーダおよびデコーダ（ＣＯＤＥＣ））の一部として統合されてよい。
【0069】
本願発明は概して、ビデオエンコーダ２０が特定の情報を（ビデオデコーダ３０などの）別の装置へ「シグナリング」することを指してよい。「シグナリング」という用語は概して、構文要素および／または符号化ビデオデータを表す他のデータの通信を指してよい。そのような通信は、リアルタイムで、またはほぼリアルタイムで発生し得る。あるいは、そのような通信は、ある期間にわたって発生し得る。例えば、構文要素が符号化する間に符号化ビットストリームとしてコンピュータ可読記憶媒体に記憶されているとき、通信は発生し得る。構文要素は次に、この媒体に記憶された後に、任意の時間で復号装置により読み出されてよい。
【0070】
上で簡潔に言及されているように、ビデオエンコーダ２０は、ビデオデータを符号化する。ビデオデータは、１つ又は複数のピクチャを含んでよい。ピクチャのそれぞれは、静止画像であってよい。いくつかの例において、ピクチャは、ビデオ「フレーム」と称されてよい。ビデオエンコーダ２０は、ビットストリームを生成してよく、ビットストリームは、ビデオデータの符号化表示を形成するビットのシーケンスを含む。ビデオデータの符号化表示は、符号化ピクチャおよび関連データを含んでよい。符号化ピクチャは、ピクチャの符号化表示である。関連データは、シーケンスパラメータ集合（ＳＰＳ）、ピクチャパラメータ集合（ＰＰＳ）、および別の構文構造を含んでよい。ＳＰＳは、ピクチャのゼロまたはゼロより多くのシーケンスに適用可能なパラメータを含んでよい。ＰＰＳは、ゼロまたはゼロより多くのピクチャに適用可能なパラメータを含んでよい。構文構造は、指定の順序のビットストリームにおいて共に表示されるゼロまたはゼロより多くの構文要素の集合であってよい。
【0071】
ピクチャの符号化表示を生成するために、ビデオエンコーダ２０は、ピクチャを符号化ツリーブロック（ＣＴＢ）のグリッドに区画してよい。いくつかの例において、ＣＴＢは、「ツリーブロック」、「最大符号化ユニット」（ＬＣＵ）、または「符号化ツリーユニット」と称されてよい。ＨＥＶＣのＣＴＢは、（Ｈ．２６４／ＡＶＣなどの）先の規格のマクロブロックと大まかに類似してよい。しかしながら、ＣＴＢは、必ずしも特定のサイズに限定されるわけではなく、１つまたは複数の符号化ユニット（ＣＵ）を含んでよい。
【0072】
ＣＴＢのそれぞれは、ピクチャ内の同サイズのブロックの異なる画素に関連付けられてよい。各画素は、輝度（ｌｕｍｉｎａｎｃｅまたはｌｕｍａ）サンプルと、２つのクロミナンス（ｃｈｒｏｍｉｎａｎｃｅまたはｃｈｒｏｍａ）サンプルとを含んでよい。従って、各ＣＴＢは、１ブロックの輝度サンプルと、２つのブロックのクロミナンスサンプルとに関連付けられてよい。説明を容易にするために、本願発明において、２次元画素配列は、画素ブロックと称されてよく、２次元サンプル配列は、サンプルブロックと称されてよい。ビデオエンコーダ２０は、４分木区画によって、ＣＴＢに関連付けられる画素ブロックを、ＣＵに関連付けられる画素ブロックに区画してよく、従って、それらは「符号化ツリーブロック」と名付けられる。
【0073】
ピクチャのＣＴＢは、１つまたは複数のスライスにグループ化されてよい。いくつかの例において、スライスのそれぞれは、整数個のＣＴＢを含む。ピクチャ符号化の部分として、ビデオエンコーダ２０は、符号化表示（すなわち、ピクチャの各スライスの符号化されたスライス）を生成してよい。符号化されたスライスを生成するために、ビデオエンコーダ２０は、符号化表示（すなわち、スライスのＣＴＢのそれぞれの符号化ＣＴＢ）を生成すべく、スライスの各ＣＴＢを符号化してよい。
【0074】
符号化ＣＴＢを生成するために、ビデオエンコーダ２０は、画素ブロックを次第に小さくなる画素ブロックに区画すべくＣＴＢに関連付けられる画素ブロックに対して４分木区画を再帰的に実行してよい。より小さい画素ブロックのそれぞれは、ＣＵに関連付けられてよい。区画されたＣＵは、画素ブロックが別のＣＵに関連付けられる画素ブロックに区画されるＣＵであってよい。非区画ＣＵは、画素ブロックが別のＣＵに関連付けられる画素ブロックに区画されていないＣＵであってよい。
【0075】
ビデオエンコーダ２０は、各非区画ＣＵの１つまたは複数の予測ユニット（ＰＵ）を生成してよい。ＣＵのＰＵのそれぞれは、ＣＵの画素ブロックにおける異なる画素ブロックに関連付けられてよい。ビデオエンコーダ２０は、ＣＵの各ＰＵの予測画素ブロックを生成してよい。ＰＵの予測画素ブロックは、画素ブロックであってよい。
【0076】
ビデオエンコーダ２０は、イントラ予測またはインター予測によって、ＰＵの予測画素ブロックを生成してよい。ビデオエンコーダ２０がイントラ予測によってＰＵの予測画素ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられるピクチャの復号画素に基づき、ＰＵの予測画素ブロックを生成してよい。ビデオエンコーダ２０がインター予測によって、ＰＵの予測画素ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられるピクチャ以外の１つ又は複数のピクチャの復号画素に基づき、ＰＵの予測画素ブロックを生成してよい。
【0077】
ビデオエンコーダ２０は、ＣＵのＰＵの予測画素ブロックに基づき、ＣＵの残差画素ブロックを生成してよい。ＣＵの残差画素ブロックは、ＣＵのＰＵの予測画素ブロックにおけるサンプルと、ＣＵの元の画素ブロックにおける対応するサンプルとの間の差を示し得る。
【0078】
加えて、非区画ＣＵの符号化の部分として、ビデオエンコーダ２０は、ＣＵの残差画素ブロックを、ＣＵの変換ユニット（ＴＵ）に関連付けられる１つまたは複数のより小さい残差画素ブロックに区画すべく、ＣＵの残差画素ブロックに対して、再帰的な４分木区画を実行してよい。ＴＵに関連付けられる画素ブロックにおける画素がそれぞれ、輝度サンプルと２つのクロミナンスサンプルとを含むので、ＴＵのそれぞれは、輝度サンプルの残差サンプルブロックと、クロミナンスサンプルの２つの残差サンプルブロックとに関連付けられ得る。
【0079】
ビデオコーダ２０は、係数ブロック（すなわち、係数のブロック）を生成すべく、ＴＵに関連付けられる残差サンプルブロックに対して１つまたは複数の変換を適用してよい。ビデオエンコーダ２０は、係数ブロックのそれぞれに対して量子化処理を実行してよい。量子化は概して、係数を表すために用いられるデータの量を可能な限り、低減すべく、係数が定量化され、それにより、さらなる圧縮を実行する処理を指す。
【0080】
ビデオエンコーダ２０は、定量化された係数ブロックにおける係数を表す構文要素の集合を生成し得る。ビデオエンコーダ２０は、（コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）操作などの）エントロピー符号化動作を、これらの構文要素のうちの少なくとも一部に適用してよい。
【0081】
ＣＡＢＡＣ符号化を構文要素に適用するために、ビデオエンコーダ２０は、（「ビン」と称される）一連の１つまたは複数のビットを含む２進数字列を形成すべく、構文要素を２値化してよい。ビデオエンコーダ２０は、規則的ＣＡＢＡＣ符号化によって、ビンのうちのいくつかを符号化してよく、バイパス符号化によって、ビンのうちの他のものを符号化してよい。
【0082】
ビデオエンコーダ２０が規則的ＣＡＢＡＣ符号化によってビンのシーケンスを符号化するとき、ビデオエンコーダ２０はまず、符号化コンテキストを識別してよい。符号化コンテキストは、特定の値を有する符号化ビンの確率を識別してよい。例えば、符号化コンテキストは、０値のビンを符号化する可能性が０．７であり、１値のビンを符号化する可能性が０．３であることを示し得る。符号化コンテキストを識別した後に、ビデオエンコーダ２０は、インターバルを下部のサブインターバルと上部のサブインターバルとに分割してよい。一方のサブインターバルは、値０に関連付けられてよく、他方のサブインターバルは、値１に関連付けられてよい。サブインターバルの幅は、識別された符号化コンテキストにより関連値のために示された可能性に比例してよい。
【0083】
構文要素のビンが下部のサブインターバルに関連付けられる値を有する場合、符号化値は、下部のサブインターバルの下方境界に等しい場合がある。構文要素の同じビンが、上部のサブインターバルに関連付けられる値を有する場合、符号化値は、上部のサブインターバルの下方境界に等しい場合がある。構文要素の次のビンを符号化するために、ビデオエンコーダ２０は、符号化ビットの値に関連付けられるサブインターバルが含まれるインターバルに対してこれらの段階を繰り返してよい。ビデオエンコーダ２０が次のビンのためにこれらの段階を繰り返すとき、ビデオエンコーダ２０は、識別された符号化コンテキストにより示された可能性と、符号化ビンの実際の値とに基づいて変更された可能性を用いてよい。
【0084】
ビデオエンコーダ２０が、バイパス符号化によって、ビンのシーケンスを符号化するとき、ビデオエンコーダ２０は、単一サイクルにおいていくつかのビンを符号化できる場合があるが、ビデオエンコーダ２０が、規則的ＣＡＢＡＣ符号化によって、ビンのシーケンスを符号化するとき、ビデオエンコーダ２０は、一サイクルにおいて単一ビンのみを符号化できる場合がある。バイパス符号化は比較的簡単である場合があり、なぜならば、バイパス符号化において、ビデオエンコーダ２０はコンテキストを選択する必要がなく、かつ、ビデオエンコーダ２０は、両方のシンボル（０および１）に対する確率が１／２（５０％）であると仮定することができるからである。従って、バイパス符号化において、インターバルは、半分に直接分割される。実際に、バイパス符号化は、算術符号化エンジンのコンテキスト適応の部分をバイパスする。
【0085】
ビンに対するバイパス符号化の実行は、ビンに対する規則的ＣＡＢＡＣ符号化の実行と比べてより少ない計算を必要とする。加えて、バイパス符号化の実行は、より高い平行度およびより高いスループットを可能にし得る。バイパス符号化によって符号化されたビンは、「バイパス符号化ビン」と称されてよい。
【0086】
係数ブロックにおける構文要素に対するエントロピー符号化の実行に加えて、ビデオエンコーダ２０は、変換ブロックから残差サンプルブロックを再構成するように、変換ブロックに対して逆量子化および逆変換を適用してよい。ビデオエンコーダ２０は、再構築サンプルブロックを生成すべく、再構築残差サンプルブロックを、１つ又は複数の予測サンプルブロックから対応するサンプルに追加してよい。各色成分のサンプルブロックを再構築することによって、ビデオエンコーダ２０は、ＴＵに関連付けられる画素ブロックを再構成し得る。このようにＣＵの各ＴＵの画素ブロックを再構築することによって、ビデオエンコーダ２０は、ＣＵの画素ブロックを再構成し得る。
【0087】
ビデオエンコーダ２０がＣＵの画素ブロックを再構成した後に、ビデオエンコーダ２０は、ＣＵに関連付けられるブロッキングアーチファクトを低減すべく、デブロッキング動作を実行してよい。ビデオエンコーダ２０がデブロッキング動作を実行した後に、ビデオエンコーダ２０は、サンプルアダプティブオフセット（ＳＡＯ）を用いることによって、ピクチャのＣＴＢの再構築画素ブロックを変更してよい。一般的に、オフセット値をピクチャの画素に追加することは、符号化効率を向上させることができる。これらの動作を実行した後に、ビデオエンコーダ２０は、別のＣＵの予測画素ブロックの生成に使用するために、ＣＵの再構築画素ブロックを復号ピクチャバッファに記憶してよい。
【0088】
ビデオデコーダ３０は、ビットストリームを受信してよい。ビットストリームは、ビデオエンコーダ２０により符号化されたビデオデータの符号化表示を含んでよい。ビデオデコーダ３０は、ビットストリームから構文要素を抽出すべく、ビットストリームを解析してよい。ビットストリームからの少なくともいくつかの構文要素の抽出の部分として、ビデオデコーダ３０は、ビットストリームにおけるデータをエントロピー復号してよい。
【0089】
ビデオデコーダ３０がＣＡＢＡＣ復号を実行するとき、ビデオデコーダ３０は、いくつかのビンに対して規則的ＣＡＢＡＣ復号を実行してよく、かつ、他のビンに対してバイパス復号を実行してよい。ビデオデコーダ３０が構文要素に対して規則的ＣＡＢＡＣ復号を実行するとき、ビデオデコーダ３０は、符号化コンテキストを識別してよい。ビデオデコーダ３０は、次に、インターバルを、下部サブインターバルおよび上部サブインターバルに分割してよい。一方のサブインターバルは、値０に関連付けられてよく、他方のサブインターバルは、値１に関連付けられてよい。サブインターバルの幅は、識別された符号化コンテキストにより示された、関連値に対する可能性と比例してよい。符号化値が下部サブインターバル内にある場合、ビデオデコーダ３０は、下部サブインターバルに関連付けられる値を有するビンを復号してよい。符号化値が上部サブインターバル内にある場合、ビデオデコーダ３０は、上部サブインターバルに関連付けられる値を有するビンを復号してよい。構文要素の次のビンを復号すべく、ビデオデコーダ３０は、符号化値を含むサブインターバルが含まれるインターバルに対してこれらの段階を繰り返してよい。ビデオデコーダ３０が次のビンに対してこれらの段階を繰り返すとき、ビデオデコーダ３０は、識別された符号化コンテキストおよび復号されたビンにより示された可能性に基づいて変更された可能性を用いてよい。ビデオデコーダ３０は、次に、構文要素を復元すべく、ビンをデバイナライズ（ｄｅ‐ｂｉｎａｒｉｚｅ）してよい。デバイナライズは、２進数字列と構文要素値との間のマッピングに従って構文要素値を選択し得ることを意味してよい。
【0090】
ビデオデコーダ３０がバイパス復号を実行するとき、ビデオデコーダ３０は、単一サイクルでいくつかのビンを復号することができる場合があるが、ビデオデコーダ３０が規則的ＣＡＢＡＣ復号を実行するとき、ビデオデコーダ３０は概して、サイクルで単一ビンのみを復号することができる場合があるか、または、単一ビンのために１つより多くのサイクルを必要とする場合がある。ビデオデコーダ３０がコンテキストを選択する必要がなく、かつ、両方のシンボル（０および１）に対する確率が１／２であることを仮定できるので、バイパス復号は、規則的ＣＡＢＡＣ復号より簡単であり得る。このように、ビンに対するバイパス符号化および／または復号の実行は、ビンに対する規則的符号化の実行と比べてより少ない計算を必要としてよく、より高い平行度およびより高いスループットを可能にすることができる。
【0091】
ビデオデコーダ３０は、ビットストリームから抽出された構文要素に基づき、ビデオデータのピクチャを再構成してよい。構文要素に基づき、ビデオデータを再構築するプロセスは概して、構文要素を生成する、ビデオエンコーダ２０により実行されるプロセスと相反してよい。例えば、ビデオデコーダ３０は、ＣＵに関連付けられる構文要素に基づき、ＣＵのＰＵの予測画素ブロックを生成してよい。加えて、ビデオデコーダ３０はＣＵのＴＵに関連付けられる係数ブロックを逆量子化してよい。ビデオデコーダ３０は、ＣＵのＴＵに関連付けられる残差画素ブロックを再構成すべく、係数ブロックに対して逆変換を実行してよい。ビデオデコーダ３０は、予測画素ブロックおよび残差画素ブロックに基づき、ＣＵの画素ブロックを再構成してよい。
【0092】
ビデオデコーダ３０がＣＵの画素ブロックを再構成した後に、ビデオデコーダ３０は、ＣＵに関連付けられるブロッキングアーチファクトを低減すべく、デブロッキング動作を実行してよい。加えて、１つまたは複数のＳＡＯ構文要素に基づき、ビデオデコーダ３０は、ビデオエンコーダ２０により適用されるＳＡＯを適用してよい。ビデオデコーダ３０がこれらの動作を実行した後に、ビデオデコーダ３０は、ＣＵの画素ブロックを復号ピクチャバッファに記憶してよい。復号ピクチャバッファは、後続動き補償、イントラ予測、および表示装置上の提示の基準ピクチャを提供してよい。
【0093】
図２は、本願発明の技術を実装するよう構成されるビデオエンコーダ２０の一例を示すブロック図である。図２は、説明目的のために提供されており、本願発明において広く例示されて説明されている技術を限定するものとして解釈されるべきではない。説明目的のために、本願発明において、ビデオエンコーダ２０は、ＨＥＶＣ符号化の画像予測において説明されている。しかしながら、本願発明の技術は、別の符号化規格または方法に適用可能である。
【0094】
図２の例において、ビデオエンコーダ２０は、予測処理ユニット１００と、残差生成ユニット１０２と、変換処理ユニット１０４と、量子化ユニット１０６と、逆量子化ユニット１０８と、逆変換処理ユニット１１０と、再構築ユニット１１２と、フィルタユニット１１３と、復号ピクチャバッファ１１４と、エントロピー符号化ユニット１１６とを含む。エントロピー符号化ユニット１１６は、規則的ＣＡＢＡＣ符号化エンジン１１８およびバイパス符号化エンジン１２０を含む。予測処理ユニット１００は、インター予測処理ユニット１２１およびイントラ予測処理ユニット１２６を含む。インター予測処理ユニット１２１は、動き推定ユニット１２２および動き補償ユニット１２４を含む。別の例において、ビデオエンコーダ２０は、より多くの、より少ない、または、異なる機能的構成要素を含んでよい。
【0095】
ビデオエンコーダ２０は、ビデオデータを受信する。ビデオデータを符号化すべく、ビデオエンコーダ２０は、ビデオデータの各ピクチャの各スライスを符号化してよい。スライスの符号化の部分として、ビデオエンコーダ２０は、スライスの各ＣＴＢを符号化してよい。ＣＴＢの符号化の部分として、予測処理ユニット１００は、画素ブロックを次第に小さくなる画素ブロックに区画すべく、ＣＴＢに関連付けられる画素ブロックに対して４分木区画を実行してよい。より小さい画素ブロックは、ＣＵに関連付けられ得る。例えば、予測処理ユニット１００は、ＣＴＢの画素ブロックを４つの同サイズのサブブロックに区画してよく、サブブロックのうちの１つまたは複数を４つの同サイズのサブのサブブロックに区画してよい、等など。
【0096】
ビデオエンコーダ２０は、ＣＵの符号化表示（すなわち、符号化されたＣＵ）を生成すべく、ピクチャのＣＴＢのＣＵを符号化してよい。ビデオエンコーダ２０は、ｚ形走査順でＣＴＢのＣＵを符号化してよい。言い換えれば、ビデオエンコーダ２０は順次に、左上のＣＵ、右上のＣＵ、左下のＣＵ、そして、右下のＣＵを符号化してよい。ビデオエンコーダ２０が区画されたＣＵを符号化するとき、ビデオエンコーダ２０は、ｚ形走査順で区画されたＣＵの画素ブロックのサブブロックに関連付けられるＣＵを符号化してよい。
【0097】
加えて、ＣＵの符号化の部分として、予測処理ユニット１００は、ＣＵの１つまたは複数のＰＵの中でＣＵの画素ブロックを区画してよい。ビデオエンコーダ２０およびビデオデコーダ３０は、様々なＰＵサイズをサポートし得る。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２０およびビデオデコーダ３０は、イントラ予測のために、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズをサポートしてよく、インター予測のために、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または同様のものの対称型ＰＵサイズをサポートしてよい。ビデオエンコーダ２０およびビデオデコーダ３０は、インター予測のために、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズに対する非対称型区画もサポートしてよい。
【0098】
インター予測処理ユニット１２１は、ＣＵの各ＰＵに対してインター予測を実行することによって、ＰＵの予測データを生成してよい。ＰＵの予測データは、ＰＵに対応する予測画素ブロックとＰＵの動き情報とを含んでよい。スライスは、Ｉスライス、Ｐスライス、または、Ｂスライスであってよい。インター予測ユニット１２１は、ＰＵがＩスライス、Ｐスライス、またはＢスライスにあるかに依存して、ＣＵのＰＵに対して異なる動作を実行してよい。Ｉスライスにおいて、すべてのＰＵは、イントラ予測される。従って、ＰＵがＩスライスにある場合、インター予測ユニット１２１は、ＰＵに対してインター予測を実行しない。
【0099】
ＰＵがＰスライスにある場合、動き推定ユニット１２２は、ＰＵの基準ブロックのために、基準ピクチャのリスト（「リスト０」など）における基準ピクチャを検索してよい。ＰＵの基準ブロックは、ＰＵの画素ブロックにもっとも密接に対応する画素ブロックであってよい。動き推定ユニット１２２は、ＰＵの基準ブロックを含むリスト０における基準ピクチャを示す基準ピクチャインデックスと、ＰＵの画素ブロックと基準ブロックとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット１２２は、ＰＵの動き情報として、基準ピクチャインデックスおよび動きベクトルを出力してよい。動き補償ユニット１２４は、ＰＵの動き情報により示された基準ブロックに基づき、ＰＵの予測画素ブロックを生成してよい。
【0100】
ＰＵがＢスライスにある場合、動き推定ユニット１２２は、ＰＵに対して、単方向インター予測、または双方向インター予測を実行してよい。ＰＵに対して単方向インター予測を実行すべく、ＰＵの基準ブロックのために、動き推定ユニット１２２は、第１の参照ピクチャリスト（「リスト０」）または第２の基準ピクチャリスト（「リスト１」）における基準ピクチャを検索してよい。動き推定ユニット１２２は、ＰＵの動き情報として、基準ブロックを含む基準ピクチャの、リスト０またはリスト１における位置を示す基準ピクチャインデックスと、ＰＵの画素ブロックと基準ブロックとの間の空間変位を示す動きベクトルと、基準ピクチャがリスト０またはリスト１にあるかを示す予測方向インジケータとを出力してよい。
【0101】
ＰＵに対して双方向インター予測を実行すべく、動き推定ユニット１２２は、ＰＵの基準ブロックのためにリスト０における基準ピクチャを検索してよく、ＰＵの別の基準ブロックのためにリスト１における基準ピクチャを検索してもよい。動き推定ユニット１２２は、基準ブロックを含む基準ピクチャの、リスト０およびリスト１における位置を示す基準ピクチャインデックスを生成してよい。加えて、動き推定ユニット１２２は、ＰＵの基準ブロックと画素ブロックとの間の空間変位を示す動きベクトルを生成してよい。ＰＵの動き情報は、ＰＵの基準ピクチャインデックスおよび動きベクトルを含んでよい。動き補償ユニット１２４は、ＰＵの動き情報により示される基準ブロックに基づき、ＰＵの予測画素ブロックを生成してよい。
【0102】
イントラ予測処理ユニット１２６は、ＰＵに対してイントラ予測を実行することによって、ＰＵの予測データを生成してよい。ＰＵの予測データは、ＰＵの予測画素ブロックおよび様々な構文要素を含んでよい。イントラ予測処理ユニット１２６は、Ｉスライス、Ｐスライス、およびＢスライスにあるＰＵに対してイントラ予測を実行してよい。
【0103】
ＰＵに対してイントラ予測を実行すべく、イントラ予測処理ユニット１２６は、複数のイントラ予測モードを用いることによって、ＰＵの予測データの複数の集合を生成してよい。イントラ予測モードを用いることによってＰＵの予測データの集合を生成すべく、イントラ予測処理ユニット１２６は、イントラ予測モードに関連付けられた方向において、ＰＵのサンプルブロックにわたって隣接ＰＵのサンプルブロックからサンプルを拡張してよい。左から右へおよび上から下への符号化順序がＰＵ、ＣＵ、およびＣＴＢに用いられることを仮定した場合、隣接ＰＵは、ＰＵの上、右上、左上、または左にあったよい。イントラ予測処理ユニット１２６は、様々な数量のイントラ予測モード、例えば、３３個の方向性のイントラ予測モードを用いてよい。いくつかの例において、イントラ予測モードの量は、ＰＵの画素ブロックのサイズに依存し得る。
【0104】
予測処理ユニット１００は、インター予測処理ユニット１２１により生成されたＰＵの予測データから、またはイントラ予測処理ユニット１２６により生成されたＰＵの予測データから、ＣＵのＰＵの予測データを選択してよい。いくつかの例において、予測処理ユニット１００は、予測データの集合のレート／歪みメトリックスに基づき、ＣＵのＰＵの予測データを選択する。選択された予測データの予測画素ブロックは、本明細書において、選択された予測画像ブロックと称されてよい。
【0105】
残差生成ユニット１０２は、ＣＵの画素ブロックおよびＣＵのＰＵの選択された予測画像ブロックに基づき、ＣＵの残差画素ブロックを生成してよい。例えば、残差生成ユニット１０２は、ＣＵの残差画素ブロックを生成してよく、これにより、残差画素ブロックにおける各サンプルは、ＣＵの画素ブロックにおけるサンプルと、ＣＵのＰＵの選択された予測画像ブロックにおける対応するサンプルとの間の差に等しい値を有する。
【0106】
予測処理ユニット１００は、４分木区画を実行してＣＵの残差画素ブロックをサブブロックに区画してよい。各未区画の残差画素ブロックは、ＣＵの異なるＴＵに関連付けられてよい。ＣＵのＴＵに関連付けられる残差画素ブロックのサイズおよび位置は、ＣＵのＰＵの画素ブロックのサイズおよび位置に基づいてよく、または基づかなくてよい。
【0107】
ＴＵの残差画素ブロックの画素はそれぞれ一輝度サンプルおよび２つのクロミナンスサンプルを含み得るので、ＴＵのそれぞれは、一ブロックの輝度サンプルおよび２つのブロックのクロミナンスサンプルに関連付けられ得る。変換処理ユニット１０４は、１つまたは複数の変換をＴＵに関連付けられた残差サンプルブロックに適用することによって、ＣＵの各ＴＵの係数ブロックを生成してよい。変換処理ユニット１０４は、様々な変換を、ＴＵに関連付けられた残差サンプルブロックに適用してよい。例えば、変換処理ユニット１０４は、ディスクリートコサイン変換（ＤＣＴ）、方向性変換、または概念的に同様の変換を、残差サンプルブロックに適用してよい。
【0108】
量子化ユニット１０６は、係数ブロックにおける係数を量子化してよい。量子化処理は、係数のうちの一部またはそのすべてに関連付けられたビット深さを低減し得る。例えば、ｎビットの係数は、量子化の間でｍビットの係数まで切り下げられてよく、ここで、ｎは、ｍより大きい。量子化ユニット１０６は、ＣＵに関連付けられた量子化パラメータ（ＱＰ）値に基づき、ＣＵのＴＵに関連付けられた係数ブロックを量子化してよい。ビデオエンコーダ２０は、ＣＵに関連付けられたＱＰ値を調整することによって、ＣＵに関連付けられた係数ブロックに適用される量子化の程度を調整してよい。
【0109】
係数ブロックから残差サンプルブロックを再構成すべく、逆量子化ユニット１０８および逆変換処理ユニット１１０は別々に、逆量子化および逆変換を係数ブロックに適用してよい。再構築ユニット１１２は、ＴＵに関連付けられる再構築サンプルブロックを生成すべく、予測処理ユニット１００により生成された１つ又は複数の予測サンプルブロックから、再構築残差サンプルブロックのサンプルを対応するサンプルに追加してよい。このようにＣＵの各ＴＵに対してサンプルブロックを再構築することによって、ビデオエンコーダ２０は、ＣＵの画素ブロックを再構成してよい。
【0110】
フィルタユニット１１３は、ＣＵに関連付けられた画素ブロックにおけるブロッキングアーチファクトを低減すべく、デブロッキング動作を実行してよい。加えて、フィルタユニット１１３は、画素ブロックを復元すべく、予測処理ユニット１００により決定されたＳＡＯオフセットを再構築サンプルブロックに適用してよい。フィルタユニット１１３は、ＣＴＢのＳＡＯ構文要素のシーケンスを生成してよい。ＳＡＯ構文要素は、規則的ＣＡＢＡＣ符号化ビンおよびバイパス符号化ビンを含んでよい。本願発明の技術によれば、シーケンス内において、色成分のバイパス符号化ビンは、同じ色成分の規則的ＣＡＢＡＣ符号化ビンのうちの２つの間に存在しない。
【0111】
復号ピクチャバッファ１１４は、再構築画素ブロックを記憶してよい。インター予測ユニット１２１は、再構築画素ブロックを含む基準ピクチャを用いることによって、別のピクチャのＰＵに対してインター予測を実行してよい。加えて、イントラ予測処理ユニット１２６は、復号ピクチャバッファ１１４における再構築画素ブロックを用いることによって、ＣＵとして同じピクチャにおける別のＰＵに対してイントラ予測を実行しよてい。
【0112】
エントロピー符号化ユニット１１６は、ビデオエンコーダ２０の別の機能的な構成要素からデータを受信してよい。例えば、エントロピー符号化ユニット１１６は、量子化ユニット１０６から係数ブロックを受信してよく、予測処理ユニット１００から構文要素を受信してよい。エントロピー符号化ユニット１１６は、エントロピー符号化データを生成すべく、データに対して、１つまたは複数のエントロピー符号化動作を実行してよい。例えば、エントロピー符号化ユニット１１６は、コンテキスト適応型可変長符号化（ＣＡＶＬＣ）操作、ＣＡＢＡＣ操作、可変長ツー可変長（Ｖ２Ｖ）符号化操作、構文ベースのコンテキスト適応型バイナリ算術符号化（ＳＢＡＣ）操作、可能性インターバル区画エントロピー（ＰＩＰＥ）符号化操作、または別の種類のエントロピー符号化動作を、データに対して実行してよい。特定の例において、エントロピー符号化ユニット１１６は、フィルタユニット１１３により生成されたＳＡＯ構文要素を符号化してよい。ＳＡＯ構文要素の符号化の部分として、エントロピー符号化ユニット１１６は、規則的ＣＡＢＡＣ符号化エンジン１１８を用いることによって、ＳＡＯ構文要素の規則的ＣＡＢＡＣ符号化ビンを符号化してよく、かつ、バイパス符号化エンジン１２０を用いることによって、バイパス符号化ビンを符号化してよい。
【0113】
本願発明の技術によれば、インター予測ユニット１２１は、フレーム間の予測モードの候補の集合を決定する。このように、ビデオエンコーダ２０は、ビデオエンコーダの例である。本願発明の技術によれば、ビデオエンコーダは、処理されるべき画像ユニットに隣接する隣接画像ユニットについての情報に従って、処理されるべき画像ユニットの予測モードの候補の集合が、処理されるべき画像ユニット、および処理されるべき画像ユニットの隣接画像ユニットのそれぞれの予測画像が同じアフィンモードを用いることによって取得されることを示すアフィンマージモードを含むかどうかを決定し、予測モードの候補の集合において、処理されるべき画像ユニットの予測モードを決定し、予測モードに従って、処理されるべき画像ユニットの予測画像を決定し、かつ、予測モードを示す第１の指示情報をビットストリームに符号化するよう構成される。
【0114】
図３は、本願発明の１つまたは複数の技術に係る、ビデオデータを符号化するためのビデオエンコーダの例示的な動作２００を示すフローチャートである。図３は、例として提供される。別の例において、本願発明の技術は、図３の例において示されている段階より多くの、より少ない、または異なる段階を用いることによって、実装されてよい。図３の例示的な方法によれば、ビデオエンコーダ２０は、以下の段階を実行する。
【0115】
Ｓ２１０．処理されるべき画像ユニットに隣接する隣接画像ユニットについての情報に従って、処理されるべき画像ユニットの予測モードの候補の集合がアフィンマージモードを含むかどうかを決定する段階である。
【0116】
具体的には、図４に示されているように、ブロックＡ、Ｂ、Ｃ、Ｄ、およびＥは、現在の符号化されるべきブロックの再構築ブロックに隣接し、符号化されるべきブロックの上、左、右上、左下、および左上にそれぞれ位置する。隣接再構築ブロックの符号化情報に従って、現在の符号化されるべきブロックの予測モードの候補の集合がアフィンマージモードを含むかどうかが決定されてよい。
【0117】
本発明のこの実施形態において、図４は、例示目的のために、符号化されるべきブロックの隣接再構築ブロックの数量および位置を示すことが理解されるべきである。隣接再構築ブロックの数量は、５より多い又は少ない場合があり、このことについて限定されるものではない。
【0118】
第１の可能な実装方式において、隣接再構築ブロックの中で予測種類がアフィン予測であるブロックが存在するかどうかが決定される。隣接再構築ブロックの中で予測種類がアフィン予測であるブロックが存在しない場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含まないか、または、隣接再構築ブロックの中で予測種類がアフィン予測であるブロックが存在する場合、図２に示されている符号化過程は、符号化されるべきブロックの予測モードの候補の集合がアフィンマージモードを含む場合、および、符号化されるべきブロックの予測モードの候補の集合がアフィンマージモードを含まない場合という２つの場合に従って、別々に実行される。１つ目の場合の符号化性能がより良いとき、符号化されるべきブロックの予測モードの候補の集合はアフィンマージモードを含み、第２の指示情報として仮定され得る指示情報が、１に設定されてビットストリームに符号化される。そうでない場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含まず、第２の指示情報は、０に設定されてビットストリームに符号化される。
【0119】
第２の可能な実装方式において、隣接再構築ブロックの中で予測種類がアフィン予測であるブロックが存在するかどうかが決定される。隣接再構築ブロックの中で予測種類がアフィン予測であるブロックが存在しない場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含まないか、または、隣接再構築ブロックの中で予測種類がアフィン予測であるブロックが存在する場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含む。
【0120】
第３の可能な実装方式において、隣接再構築ブロックは、複数のアフィンモードを含み、アフィンモードは、例えば、第１のアフィンモード、または第２のアフィンモードを含み、それに対応して、アフィンマージモードは、第１のアフィンモードをマージする第１のアフィンマージモード、または第２のアフィンモードをマージする第２のアフィンマージモードを含む。隣接再構築ブロックの中で、第１のアフィンモード、第２のアフィンモード、および非アフィンモードの数量が別々に、統計収集を通じて取得される。隣接再構築ブロックの中で、第１のアフィンモードが数量において１番目にランクするとき、予測モードの候補の集合は、第１のアフィンマージモードを含み、第２のアフィンマージモードを含まない。隣接再構築ブロックの中で、第２のアフィンモードが数量において１番目にランクするとき、予測モードの候補の集合は、第２のアフィンマージモードを含み、第１のアフィンマージモードを含まない。隣接再構築ブロックの中で、非アフィンモードが数量において１番目にランクするとき、予測モードの候補の集合は、アフィンマージモードを含まない。
【0121】
あるいは、第３の可能な実装方式において、隣接再構築ブロックの中で、第１のアフィンモードが数量において１番目にランクするとき、予測モードの候補の集合は、第１のアフィンマージモードを含み、第２のアフィンマージモードを含まない。隣接再構築ブロックの中で、第２のアフィンモードが数量において１番目にランクするとき、予測モードの候補の集合は、第２のアフィンマージモードを含み、第１のアフィンマージモードを含まない。隣接再構築ブロックの中で、非アフィンモードが数量において１番目にランクするとき、隣接再構築ブロックの中で、第１のアフィンモードまたは第２のアフィンモードが数量において２番目にランクするかが統計収集を通じて得られる。隣接再構築ブロックの中で、第１のアフィンモードが数量において２番目にランクするとき、予測モードの候補の集合は、第１のアフィンマージモードを含み、第２のアフィンマージモードを含まない。隣接再構築ブロックの中で、第２のアフィンモードが数量において２番目にランクするとき、予測モードの候補の集合は、第２のアフィンマージモードを含み、第１のアフィンマージモードを含まない。
【0122】
第４の可能な実装方式において、（１）隣接再構築ブロックの中で、予測種類がアフィンモードであるブロックが存在するかどうか、および（２）アフィンモードにおける隣接ブロックの幅および高さが符号化されるべきブロックの幅および高さより小さいかどうかといった２つの条件が満たされるかどうかが決定される。いずれの条件も満たされない場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含まない。２つの条件が両方とも満たされた場合、図２において示されている符号化過程は別々に、符号化されるべきブロックの予測モードの候補の集合がアフィンマージモードを含む場合、および、符号化されるべきブロックの予測モードの候補の集合がアフィンマージモードを含まない場合といった２つの場合に従って、実行される。１つ目の場合の符号化性能がより良いとき、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含み、第３の指示情報として仮定され得る指示情報が１に設定されてビットストリームに符号化される。そうでない場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含まず、第３の指示情報は、０に設定されたビットストリームに符号化される。
【0123】
本発明のこの実施形態の決定条件（２）は、アフィンモードにおける隣接ブロックの幅が符号化されるべきブロックの幅より小さく、アフィンモードにおける隣接ブロックの高さが符号化されるべきブロックの高さより小さいことを意味することが理解されるべきである。別の実施形態において、代わりに、決定条件は、アフィンモードにおける隣接ブロックの幅が、符号化されるべきブロックの幅より小さいか、または、アフィンモードにおける隣接ブロックの高さが符号化されるべきブロックの高さより小さくてよく、このことについて限定されるものではない。
【0124】
第５の可能な実装方式において、（１）隣接再構築ブロックの中で予測種類がアフィンモードであるブロックが存在するかどうか、および（２）がアフィンモードにおける隣接ブロックの幅および高さが符号化されるべきブロックの幅および高さより小さいかどうかといった２つの条件が満たされるかどうかが決定される。いずれの条件も満たされない場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含まない。２つの条件が両方とも満たされた場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含む。
【0125】
本発明のこの実施形態において、隣接再構築ブロックの予測種類およびサイズは、現在の符号化されるべきブロックの予測モードの候補の集合を決定するためのベースとして用いられ、解析によって取得される隣接再構築ブロックの属性情報はさらに決定するために用いられることが、理解されるべきである。このことは本明細書において限定されない。
【0126】
本発明のこの実施形態における、第２の可能な実装方式などの様々な可能な実装方式において、例示目的のために、以下の決定基準が、隣接再構築ブロックの中で予測種類がアフィン予測であるブロックが存在するかどうかを決定するために用いられてよいことがさらに理解されるべきである。例示目的のために、少なくとも２つの隣接ブロックの予測種類がアフィンモードである場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含み、そうでない場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含まない。あるいは、予測種類がアフィンモードである隣接ブロックの数量が、少なくとも３つ、または、少なくとも４つであってもよく、このことについて限定されるものではない。
【0127】
本発明のこの実施形態における様々な可能な実装方式において、例示目的のために、例えば、第５の可能な実装方式において、（１）隣接再構築ブロックの中で予測種類がアフィンモードであるブロックが存在するかどうか、および（２）アフィンモードにおける隣接ブロックの幅および高さが符号化されるべきブロックの幅および高さより小さいかどうかといった２つの条件が満たされるかどうかが決定されることがさらに理解されるべきである。例示目的のために、第２の決定条件は、アフィンモードにおける隣接ブロックの幅および高さが符号化されるべきブロックの幅および高さの１／２、１／３、または１／４未満かどうかであってもよく、このことについて限定されるものではない。
【0128】
本発明のこの実施形態において、指示情報が０または１に設定されることが例示目的のものであることがさらに理解されるべきである。あるいは、逆の設定が実行されてよい。例示目的のために、例えば、第１の可能な実装方式において、隣接再構築ブロックの中で、予測種類がアフィン予測であるブロックが存在するかどうかが決定され得る。隣接再構築ブロックの中で予測種類がアフィン予測であるブロックが存在しない場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含まないか、または、隣接再構築ブロックの中で予測種類がアフィン予測であるブロックが存在する場合、図２に示されている符号化過程は、符号化されるべきブロックの予測モードの候補の集合がアフィンマージモードを含む場合、および符号化されるべきブロックの予測モードの候補の集合がアフィンマージモードを含まない場合といった２つの場合に従って、別々に実行される。１つ目の場合の符号化性能がより良いとき、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含み、第２の指示情報として仮定され得る指示情報が０に設定されてビットストリームに符号化される。そうでない場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含まず、第２の指示情報は、１に設定されてビットストリームに符号化される。
【0129】
Ｓ２２０．予測モードの候補の集合において、処理されるべき画像ユニットの予測モードを決定する段階である。
【0130】
予測モードの候補の集合は、Ｓ２１０において決定された予測モードの候補の集合である。符号化されるべきブロックの予測モードとして最適な符号化性能を有するモードを選択すべく、予測モードの候補の集合における各予測モードは順次に、図２において示されている符号化過程を実行するために用いられる。
【0131】
本発明のこの実施形態において、図２に示されている符号化過程を実行する目的は、最適な符号化性能を有する予測モードを選択するためであることが理解されるべきである。選択過程において、予測モードの性能／コスト比は、比較されてよい。性能が画像復元の品質により示されており、コストが符号化のビットレートにより示される。あるいは、予測モードの性能またはコストのみが比較されてよい。それに対応して、図２に示されているすべての符号化段階を完了させてよいか、または、比較する必要のあるインジケータが取得された後に、符号化過程を停止する。例えば、予測モードが性能のみに関して比較される場合、予測ユニットがその段階を実行した後に、符号化過程を停止することができ、このことについて限定されるものではない。
【0132】
Ｓ２３０．予測モードに従って、処理されるべき画像ユニットの予測画像を決定する段階である。
【0133】
上述に引用されるＨ．２６５規格および第ＣＮ２０１０１０２４７２７５．７号などの出願書類は、符号化されるべきブロックの予測画像が、並進モデルの予測モード、アフィン予測モード、アフィンマージモード、または同様のものを含む予測モードに従って生成されるプロセスを詳細に説明しており、詳細はここでは再び説明しない。
【0134】
Ｓ２４０．第１の指示情報をビットストリームに符号化する段階である。
【0135】
Ｓ２２０において決定された予測モードは、ビットストリームに符号化される。該段階は、Ｓ２２０の後の任意の時点において実行されてよく、段階が復号側により第１の指示情報を復号する段階に対応する限り、段階の順序について特定の限定はされないことが理解されるべきである。
【0136】
図５は、本願発明の１つまたは複数の技術に係る、ビデオデータを符号化するための別のビデオエンコーダ４０の例を示すブロック図である。
【0137】
ビデオエンコーダ４０は、第１の決定モジュール４１と、第２の決定モジュール４２と、第３の決定モジュール４３と、符号化モジュール４４とを含む。
【0138】
第１の決定モジュール４１は、処理されるべき画像ユニットに隣接する隣接画像ユニットについての情報に従って、処理されるべき画像ユニットの予測モードの候補の集合がアフィンマージモードを含むかどうかを決定するＳ２１０を実行するよう構成される。
【0139】
第２の決定モジュール４２は、予測モードの候補の集合において、処理されるべき画像ユニットの予測モードを決定するＳ２２０を実行するよう構成される。
【0140】
第３の決定モジュール４３は、予測モードに従って、処理されるべき画像ユニットの予測画像を決定するＳ２３０を実行するよう構成される。
【0141】
符号化モジュール４４は、第１の指示情報をビットストリームに符号化するＳ２４０を実行するよう構成される。
【0142】
隣接ブロックの動き情報は相関しているので、現在のブロックと隣接ブロックとは同じまたは同様の予測モードを有する可能性は非常に高い。本発明のこの実施形態において、現在のブロックの予測モード情報は、隣接ブロックについての情報を決定することによって導出され、予測モードを符号化するビットレートを低減し、それにより、符号化効率を向上させる。
【0143】
図６は、本願発明の１つまたは複数の技術に従って、ビデオデータを符号化するためのビデオエンコーダの例示的な動作３００を示すフローチャートである。図５は、例として提供される。別の例において、本願発明の技術は、図５の例に示されている段階より多くの、より少なお、または異なる段階を用いることによって実装されてよい。図５の例示的な方法によれば、ビデオエンコーダ２０は、以下の段階を実行する。
【0144】
Ｓ３１０．第１の処理されるべき画像領域の予測モードの候補の集合の指示情報を符号化する段階である。
【0145】
並進モードの候補の集合が第１の処理されるべき画像領域のモードの候補の集合として用いられる場合、第１の指示情報は、０に設定され、第１の指示情報は、ビットストリームに符号化され、ここで、並進モードは、並進モデルを用いることによって予測画像を取得する予測モードを示す。並進モードの候補の集合と、アフィンモードの候補の集合とが、第１の処理されるべき画像領域のモードの候補の集合として用いられる場合、第１の指示情報は、１に設定され、第１の指示情報は、ビットストリームに符号化され、ここで、アフィンモードは、アフィンモデルを用いることによって予測画像を取得する予測モードを示す。第１の処理されるべき画像領域は、画像フレームグループ、画像フレーム、画像タイル集合、画像スライス集合、画像タイル、画像スライス、画像符号化ユニット集合、または画像符号化ユニットのうちの任意の１つであってよい。それに対応して、第１の指示情報は、例えば、ビデオパラメータ集合（ＶＰＳ）、シーケンスパラメータ集合（ＳＰＳ）、補足増進情報（ＳＥＩ）、もしくは画像フレームヘッダ、または例えば、画像パラメータ集合（ＰＰＳ）、画像タイル集合のヘッダ、画像スライス集合のヘッダ、もしくは画像タイルのヘッダ、または例えば、画像タイルヘッダ（タイルヘッダ）、画像スライスヘッダ（スライスヘッダ）、画像符号化ユニット集合のヘッダ、または画像符号化ユニットのヘッダなどの、画像フレームグループのヘッダに符号化される。
【0146】
この段階における第１の処理されるべき画像領域は、予め構成されてよく、または、符号化過程において適応的に決定されてよいことが理解されるべきである。第１の処理されるべき画像領域の範囲の表示は、符号化／復号側のプロトコルから分かり得る。または、第１の処理されるべき画像領域の範囲は、伝送のためにビットストリームに符号化されてよく、このことについて限定されるものではない。
【0147】
予測モードの候補の集合は、予め構成されてよく、または、符号化性能の比較後に決定されてよく、このことについて限定されるものではないことがさらに理解されるべきである。
【0148】
本発明のこの実施形態において、指示情報が０または１に設定されることは例示目的のものであることがさらに理解されるべきである。あるいは、逆の設定は実行されてよい。
【0149】
Ｓ３２０．第１の処理されるべき画像領域における処理されるべきユニットに対して、第１の処理されるべき画像領域の予測モードの候補の集合において、処理されるべき画像ユニットの予測モードを決定する段階である。
【0150】
具体的な方法は、Ｓ２２０と同様であり、詳細はここでは再び説明しない。
【0151】
Ｓ３３０．予測モードに従って、処理されるべき画像ユニットの予測画像を決定する段階である。
【0152】
具体的な方法は、Ｓ２３０と同様であり、詳細はここでは再び説明しない。
【0153】
Ｓ３４０．処理されるべきユニットのために選択された予測モードをビットストリームに符号化する段階である。
【0154】
具体的な方法は、Ｓ２４０と同様であり、詳細はここでは再び説明しない。
【0155】
図７は、本願発明の１つまたは複数の技術に従って、ビデオデータを符号化するための別のビデオエンコーダ５０の例を示すブロック図である。
【0156】
ビデオエンコーダ５０は、第１の符号化モジュール５１と、第１の決定モジュール５２と、第２の決定モジュール５３と、第２の符号化モジュール５４とを含む。
【0157】
第１の符号化モジュール５１は、第１の処理されるべき画像領域の予測モードの候補の集合の指示情報を符号化するＳ３１０を実行するよう構成される。
【0158】
第１の決定モジュール５２は、第１の処理されるべき画像領域における処理されるべきユニットに対して、第１の処理されるべき画像領域の予測モードの候補の集合において、処理されるべき画像ユニットの予測モードを決定するＳ３２０を実行するよう構成される。
【0159】
第２の決定モジュール５３は、予測モードに従って、処理されるべき画像ユニットの予測画像を決定するＳ３３０を実行するよう構成される。
【0160】
第２の符号化モジュール５４は、処理されるべきユニットのために選択された予測モードをビットストリームに符号化するＳ３４０を実行するよう構成される。
【0161】
隣接ブロックの動き情報は相関しているので、並進運動のみが存在し、かつ、同じ領域においてアフィン運動が存在しない可能性が非常に高い。本発明のこの実施形態において、領域レベルをマーキングする予測モードの候補の集合が設定され、冗長モードを符号化するビットレートを回避し、それにより、符号化効率を向上させる。
【0162】
図８は、本願発明の技術を実装するよう構成されるビデオデコーダ３０の例を示すブロック図である。図８は、説明目的のために提供されてより、本願発明において広く例示され説明されている技術を限定するものとして解釈されるべきではない。説明目的のために、ビデオデコーダ３０は、ＨＥＶＣ符号化の画像予測において、本願発明において説明される。しかしながら、本願発明の技術は、別の符号化規格または方法に適用可能である。
【0163】
図８の例において、ビデオデコーダ３０は、エントロピー復号ユニット１５０と、予測処理ユニット１５２と、逆量子化ユニット１５４と、逆変換処理ユニット１５６と、再構築ユニット１５８と、フィルタユニット１５９と、復号ピクチャバッファ１６０とを含む。予測処理ユニット１５２は、動き補償ユニット１６２とイントラ予測処理ユニット１６４とを含む。エントロピー復号ユニット１５０は、規則的ＣＡＢＡＣ符号化エンジン１６６とバイパス符号化エンジン１６８とを含む。別の例において、ビデオデコーダ３０は、より多くの、より少ない、または異なる機能的構成要素を含んでよい。
【0164】
ビデオデコーダ３０は、ビットストリームを受信してよい。エントロピー復号ユニット１５０は、ビットストリームから構文要素を抽出すべく、ビットストリームを解析してよい。ビットストリームの解析の部分として、エントロピー復号ユニット１５０は、ビットストリームにおけるエントロピー符号化された構文要素をエントロピー復号してよい。予測処理ユニット１５２と、逆量子化ユニット１５４と、逆変換処理ユニット１５６と、再構築ユニット１５８と、フィルタユニット１５９とは、ビットストリームから抽出された構文要素に基づき、復号されたビデオデータを生成し得る。
【0165】
ビットストリームは、ＣＴＢの符号化されたＳＡＯ構文要素のシーケンスを含んでよい。ＳＡＯ構文要素は、規則的ＣＡＢＡＣ符号化ビンとバイパス符号化ビンとを含んでよい。本願発明の技術によれば、符号化されたＳＡＯ構文要素のシーケンスにおいて、バイパス符号化ビンは、規則的ＣＡＢＡＣ符号化ビンのうちの２つの間に存在しない。エントロピー復号ユニット１５０は、ＳＡＯ構文要素を復号し得る。ＳＡＯ構文要素の符号化の部分として、エントロピー復号ユニット１５０は、規則的ＣＡＢＡＣ符号化エンジン１６６を用いることによって規則的ＣＡＢＡＣ符号化ビンを復号してよく、バイパス符号化エンジン１６８を用いることによってバイパス符号化ビンを復号してよい。
【0166】
加えて、ビデオデコーダ３０は、非区画ＣＵに対して再構築動作を実行してよい。非区画ＣＵに対して再構築動作を実行すべく、ビデオデコーダ３０は、ＣＵの各ＴＵに対して再構築動作を実行してよい。ＣＵの各ＴＵに対して再構築動作を実行することによって、ビデオデコーダ３０は、ＣＵと関連付けられた残差画素ブロックを再構成し得る。
【0167】
ＣＵのＴＵに対する再構築動作の実行の部分として、逆量子化ユニット１５４は、ＴＵに関連付けられた係数ブロックを逆量子化（すなわち、量子化解除）してよい。逆量子化ユニット１５４は、ＴＵの、ＣＵに関連付けられたＱＰ値を用いることによって量子化の程度を決定し、逆量子化ユニット１５４により適用されるべき逆量子化度を決定してよい。
【0168】
逆量子化ユニット１５４が係数ブロックを逆量子化した後に、逆変換処理ユニット１５６は、ＴＵに関連付けられる残差サンプルブロックを生成すべく、１つまたは複数の逆変換を係数ブロックに適用してよい。例えば、逆変換処理ユニット１５６は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ）変換（ＫＬＴ）、逆回転変換、逆方向性変換、または別の逆変換を係数ブロックに適用してよい。
【0169】
ＰＵがイントラ予測によって符号化された場合、イントラ予測処理ユニット１６４は、ＰＵの予測サンプルブロックを生成すべく、イントラ予測を実行してよい。イントラ予測処理ユニット１６４は、空間的に隣接するＰＵの画素ブロックに基づき、ＰＵの予測画素ブロックを生成すべく、イントラ予測モードを用いてよい。イントラ予測処理ユニット１６４は、解析によってビットストリームから取得された１つまたは複数の構文要素に基づき、ＰＵのイントラ予測モードを決定してよい。
【0170】
動き補償ユニット１６２は、ビットストリームから抽出された構文要素に基づき、第１の参照ピクチャリスト（リスト０）および第２の基準ピクチャリスト（リスト１）を構築してよい。加えて、ＰＵがインター予測によって符号化された場合、エントロピー復号ユニット１５０は、ＰＵの動き情報を抽出してよい。動き補償ユニット１６２は、ＰＵの動き情報に基づき、ＰＵの１つまたは複数の基準ブロックを決定してよい。動き補償ユニット１６２は、ＰＵの１つまたは複数の基準ブロックに基づき、ＰＵの予測画素ブロックを生成してよい。
【0171】
再構築ユニット１５８は、ＣＵの画素ブロックを再構成すべく、適用可能な場合、ＣＵのＴＵに関連付けられた残差画素ブロックと、ＣＵのＰＵの予測画素ブロック（すなわち、イントラ予測データまたはインター予測データ）とを用いてよい。特に、再構築ユニット１５８は、ＣＵの画素ブロックを再構成すべく、残差画素ブロックのサンプルを、予測画素ブロックの対応するサンプルに追加してよい。
【0172】
フィルタユニット１５９は、ＣＴＢのＣＵの画素ブロックに関連付けられるブロッキングアーチファクトを低減すべく、デブロッキング動作を実行してよい。加えて、フィルタユニット１５９は、ビットストリームから解析されたＳＡＯ構文要素に基づき、ＣＴＢの画素ブロックを変更してよい。例えば、フィルタユニット１５９は、ＣＴＢのＳＡＯ構文要素に基づいて値を決定し、決定された値をＣＴＢの再構築画素ブロックにおけるサンプルに追加してよい。ピクチャのＣＴＢの画素ブロックのうちの少なくとも一部を変更することによって、フィルタユニット１５９は、ＳＡＯ構文要素に基づき、ビデオデータの再構築されたピクチャを変更してよい。
【0173】
ビデオデコーダ３０は、ＣＵの画素ブロックを復号ピクチャバッファ１６０に記憶してよい。復号ピクチャバッファ１６０は、後続動き補償、イントラ予測、および（図１の表示装置３２などの）表示装置上の提示のために基準ピクチャを提供してよい。例えば、ビデオデコーダ３０は、復号ピクチャバッファ１６０における画素ブロックに基づき、別のＣＵのＰＵに対して、イントラ予測またはインター予測操作を実行してよい。
【0174】
本願発明の技術に従って、予測処理ユニット１５２は、フレーム間の予測モードの候補の集合を決定する。このように、ビデオデコーダ３０は、ビデオデコーダの一例である。本願発明の技術によれば、ビデオデコーダは、処理されるべき画像ユニットに隣接する隣接画像ユニットについての情報に従って、処理されるべき画像ユニットの予測モードの候補の集合が、処理されるべき画像ユニットと、処理されるべき画像ユニットの隣接画像ユニットとのそれぞれの予測画像が同じアフィンモードを用いることによって取得されることを示すアフィンマージモードを含むかどうかを決定し、第１の指示情報を取得すべく、ビットストリームを解析し、予測モードの候補の集合において、第１の指示情報に従って、処理されるべき画像ユニットの予測モードを決定し、かつ、予測モードに従って、処理されるべき画像ユニットの予測画像を決定するよう構成される。
【0175】
図９は、本願発明の１つまたは複数の技術に従って、ビデオデータを復号するためのビデオデコーダの例示的な動作４００を示すフローチャートである。図９は、例として提供される。別の例において、本願発明の技術は、図９の例において示されている段階より多くの、より少ない、または異なる段階を用いることによって実装されてよい。図９の例示的な方法によれば、ビデオデコーダ３０は、以下の段階を実行する。
【0176】
Ｓ４１０．処理されるべき画像ユニットに隣接する隣接画像ユニットについての情報に従って、処理されるべき画像ユニットの予測モードの候補の集合がアフィンマージモードを含むかどうかを決定する段階である。
【0177】
具体的には、図４に示されているように、ブロックＡ、Ｂ、Ｃ、Ｄ、およびＥは、現在の符号化されるべきブロックの隣接再構築ブロックであり、符号化されるべきブロックの上、左、右上、左下、および左上にそれぞれ位置する。隣接再構築ブロックの符号化情報に従って、現在の符号化されるべきブロックの予測モードの候補の集合がアフィンマージモードを含むかどうかが決定されてよい。
【0178】
本発明のこの実施形態において、図４は、例示目的のために、符号化されるべきブロックの隣接再構築ブロックの量および位置を示すことが理解されるべきである。隣接再構築ブロックの量は、５より多い又は少ない場合があり、このことについて限定されるものではない。
【0179】
第１の可能な実装方式において、隣接再構築ブロックの中で予測種類がアフィン予測であるブロックが存在するかどうかが決定される。隣接画像ユニットのうちの少なくとも１つの予測モードがアフィンモデルを用いることによって予測画像を取得している場合、ビットストリームは解析され、第２の指示情報を取得する。第２の指示情報が１であるとき、予測モードの候補の集合は、アフィンマージモードを含むか、または、第２の指示情報が０であるとき、予測モードの候補の集合は、アフィンマージモードを含まないか、そうでない場合、予測モードの候補の集合は、アフィンマージモードを含まない。
【0180】
第２の可能な実装方式において、隣接再構築ブロックの中で、予測種類がアフィン予測であるブロックが存在するかどうかが決定される。隣接再構築ブロックの中で、予測種類がアフィン予測であるブロックが存在しない場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含まないか、または、隣接再構築ブロックの中で、予測種類がアフィン予測であるブロックが存在する場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含む。
【0181】
第３の可能な実装方式において、隣接再構築ブロックは、複数のアフィンモードを含み、アフィンモードは、例えば、第１のアフィンモードまたは第２のアフィンモードを含み、それに対応して、アフィンマージモードは、第１のアフィンモードをマージする第１のアフィンマージモード、または第２のアフィンモードをマージする第２のアフィンマージモードを含む。隣接再構築ブロックの中で、第１のアフィンモード、第２のアフィンモード、および非アフィンモードの数量は別々に、統計収集を通じて取得される。隣接再構築ブロックの中で、第１のアフィンモードが数量において１番目にランクするとき、予測モードの候補の集合は、第１のアフィンマージモードを含み、第２のアフィンマージモードを含まない。隣接再構築ブロックの中で、第２のアフィンモードが数量において１番目にランクするとき、予測モードの候補の集合は、第２のアフィンマージモードを含み、第１のアフィンマージモードを含まない。隣接再構築ブロックの中で、非アフィンモードが数量において１番目にランクするとき、予測モードの候補の集合は、アフィンマージモードを含まない。
【0182】
あるいは、第３の可能な実装方式において、隣接再構築ブロックの中で、第１のアフィンモードが数量において１番目にランクするとき、予測モードの候補の集合は、第１のアフィンマージモードを含み、第２のアフィンマージモードを含まない。隣接再構築ブロックの中で、第２のアフィンモードが数量において１番目にランクするとき、予測モードの候補の集合は、第２のアフィンマージモードを含み、第１のアフィンマージモードを含まない。隣接再構築ブロックの中で、非アフィンモードが数量において１番目にランクするとき、隣接再構築ブロックの中で、第１のアフィンモードまたは第２のアフィンモードが数量において２番目にランクするかが、統計収集を通じて得られる。隣接再構築ブロックの中で、第１のアフィンモードが数量において２番目にランクするとき、予測モードの候補の集合は、第１のアフィンマージモードを含み、第２のアフィンマージモードを含まない。隣接再構築ブロックの中で、第２のアフィンモードが数量において２番目にランクするとき、予測モードの候補の集合は、第２のアフィンマージモードを含み、第１のアフィンマージモードを含まない。
【0183】
第４の可能な実装方式において、（１）隣接再構築ブロックの中で予測種類がアフィンモードであるブロックが存在するかどうか、および（２）アフィンモードにおける隣接ブロックの幅および高さが符号化されるべきブロックの幅および高さより小さいかどうかといった２つの条件が満たされるかが決定される。いずれの条件も満たされない場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含まない。２つの条件が両方とも満たされる場合、ビットストリームは解析され、第３の指示情報を取得する。第３の指示情報が１であるとき、予測モードの候補の集合は、アフィンマージモードを含むか、または、第３の指示情報が０であるとき、予測モードの候補の集合は、アフィンマージモードを含まないか、そうでない場合、予測モードの候補の集合は、アフィンマージモードを含まない。
【0184】
本発明のこの実施形態において、決定条件（２）は、アフィンモードにおける隣接ブロックの幅が、符号化されるべきブロックの幅より小さく、アフィンモードにおける隣接ブロックの高さが符号化されるべきブロックの高さより小さいことを意味することが理解されるべきである。別の実施形態において、あるいは、決定条件は、アフィンモードにおける隣接ブロックの幅が符号化されるべきブロックの幅より小さいこと、または、アフィンモードにおける隣接ブロックの高さが符号化されるべきブロックの高さより小さいことであってよく、このことについて限定されるものではない。
【0185】
第５の可能な実装方式において、（１）隣接再構築ブロックの中で予測種類がアフィンモードであるブロックが存在するかどうか、および（２）アフィンモードにおける隣接ブロックの幅および高さが、符号化されるべきブロックの幅および高さより小さいかどうかといった２つの条件が満たされるかどうかが決定される。いずれの条件も満たされない場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含まない。２つの条件が両方とも満たされる場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含む。
【0186】
本発明のこの実施形態において、隣接再構築ブロックの予測種類およびサイズは、現在の符号化されるべきブロックの予測モードの候補の集合を決定するベースとして用いられ、方法が符号化側に対応する限り、解析によって取得された隣接再構築ブロックの属性情報は、決定によりさらに用いられてよいことが理解されるべきである。このことについて、本明細書において限定されない。
【0187】
本発明のこの実施形態における、様々な可能な実装方式において、例示目的のために、例えば、第２の可能な実装方式のように、以下の決定基準は、隣接再構築ブロックの中で予測種類がアフィン予測であるブロックが存在するかどうかを決定するために用いられてよいことが、さらに理解されるべきである。例示目的のために、少なくとも２つの隣接ブロックの予測種類がアフィンモードである場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含む。そうでない場合、符号化されるべきブロックの予測モードの候補の集合は、アフィンマージモードを含まない。あるいは、予測種類がアフィンモードである隣接ブロックの数量は、これが符号化側に対応する限り、少なくとも３つ、または少なくとも４つであってもよく、このことについては限定されるものではない。
【0188】
本発明のこの実施形態における様々な可能な実装方式において、例示目的のために、例えば、第５の可能な実装方式のように、（１）隣接再構築ブロックの中で予測種類がアフィンモードであるブロックが存在するかどうか、および（２）アフィンモードにおける隣接ブロックの幅および高さが符号化されるべきブロックの幅および高さより小さいかどうかといった２つの条件が満たされるかどうかが決定されることが、さらに理解されるべきである。例示目的のために、第２の決定条件は、これが符号化側に対応する限り、アフィンモードにおける隣接ブロックの幅および高さが、符号化されるべきブロックの幅および高さの１／２、１／３、または１／４未満であるかどうかことであってもよく、このことについて限定されるものではない。
【0189】
本発明のこの実施形態において、０または１に設定されている指示情報は、符号化側に対応することがさらに理解されるべきである。
【0190】
Ｓ４２０．第１の指示情報を取得すべく、ビットストリームを解析する段階である。
【0191】
第１の指示情報は、復号化されるべきブロックの予測モードのインデックス情報を示す。この段階は、符号化側の段階Ｓ２４０に対応する。
【0192】
Ｓ４３０．予測モードの候補の集合において、第１の指示情報に従って、処理されるべき画像ユニットの予測モードを決定する段階である。
【0193】
候補予測モードの異なる集合は、予測モードの異なるリストに対応する。Ｓ４１０において決定された予測モードの候補の集合に対応する予測モードのリストは、Ｓ４２０において取得されたインデックス情報に従って検索され、これにより、復号化されるべきブロックの予測モードを見つけ出すことができる。
【0194】
Ｓ４４０．予測モードに従って、処理されるべき画像ユニットの予測画像を決定する段階である。
【0195】
具体的な方法は、Ｓ２３０と同様であり、詳細はここでは再び説明しない。
【0196】
図１０は、本願発明の１つまたは複数の技術に係る、ビデオデータを復号するための別のビデオデコーダ６０の例を示すブロック図である。
【0197】
ビデオデコーダ６０は、第１の決定モジュール６１と、解析モジュール６２と、第２の決定モジュール６３と、第３の決定モジュール６４とを含む。
【0198】
第１の決定モジュール６１は、処理されるべき画像ユニットに隣接する隣接画像ユニットについての情報に従って、処理されるべき画像ユニットの予測モードの候補の集合がアフィンマージモードを含むかどうかを決定するＳ４１０を実行するよう構成される。
【0199】
解析モジュール６２は、第１の指示情報を取得すべく、ビットストリームを解析するＳ４２０を実行するよう構成される。
【0200】
第２の決定モジュール６３は、予測モードの候補の集合において、第１の指示情報に従って、処理されるべき画像ユニットための予測モードを決定するＳ４３０を実行するよう構成される。
【0201】
第３の決定モジュール６４は、予測モードに従って、処理されるべき画像ユニットの予測画像を決定するＳ４４０を実行するよう構成される。
【0202】
隣接ブロックの動き情報は相関しているので、現在のブロックと隣接ブロックとは同じまたは同様の予測モードを有する可能性が非常に高い。本発明のこの実施形態において、現在のブロックの予測モード情報は、隣接ブロックについての情報を決定することによって導出され、予測モードを符号化するビットレートを低減し、それにより、符号化効率を向上させる。
【0203】
図１１は、本願発明の１つまたは複数の技術に係る、ビデオデータを復号するためのビデオデコーダの例示的な動作５００を示すフローチャートである。図１１は、例として提供される。別の例において、本願発明の技術は、図１１の例に示されている段階より多くの、より少ない、または異なる段階を用いることによって実装されてよい。図１１の例示的な方法によれば、ビデオデコーダ２０は、以下の段階を実行する。
【0204】
Ｓ５１０．第１の指示情報を取得すべく、ビットストリームを解析する段階である。
【0205】
第１の指示情報は、第１の処理されるべき画像領域のモードの候補の集合がアフィン運動モデルを含むかどうかを示す。この段階は、符号化側の段階Ｓ３１０に対応する。
【0206】
Ｓ５２０．第１の指示情報に従って、第１の処理されるべき画像領域のモードの候補の集合を決定する段階である。
【0207】
第１の指示情報が０であるとき、並進モードの候補の集合は、第１の処理されるべき画像領域のモードの候補の集合として用いられ、ここで、並進モードは、並進モデルを用いることによって予測画像を取得する予測モードを示す。第１の指示情報が１であるとき、並進モードの候補の集合と、アフィンモードの候補の集合とが、第１の処理されるべき画像領域のモードの候補の集合として用いられ、ここで、アフィンモードは、アフィンモデルを用いることによって予測画像を取得する予測モードを示す。第１の処理されるべき画像領域は、画像フレームグループ、画像フレーム、画像タイル集合、画像スライス集合、画像タイル、画像スライス、画像符号化ユニット集合、または画像符号化ユニットのうちの任意の１つであってよい。それに対応して、第１の指示情報は、例えば、ビデオパラメータ集合（ＶＰＳ）、シーケンスパラメータ集合（ＳＰＳ）、補足増進情報（ＳＥＩ）、または画像フレームヘッダ、もしくは例えば、画像パラメータ集合（ＰＰＳ）、画像タイル集合のヘッダ、画像スライス集合のヘッダ、または画像タイルのヘッダ、もしくは例えば、画像タイルヘッダ（タイルヘッダ）、画像スライスヘッダ（スライスヘッダ）、画像符号化ユニット集合のヘッダ、または画像符号化ユニットのヘッダなどの、画像フレームグループのヘッダに符号化される。
【0208】
該段階における第１の処理されるべき画像領域は、予め構成されてよく、または、符号化過程において適応的に決定されてよいことが理解されるべきである。第１の処理されるべき画像領域の範囲の表示は、符号化／復号側のプロトコルから分かり得る。または、これが符号化側に対応する限り、第１の処理されるべき画像領域の範囲は、符号化側からビットストリームにおいて受信され得て、このことについて限定されるものではない。
【0209】
本発明のこの実施形態において、指示情報は、０または１に設定されることは、これが符号化側に対応する限り、例示目的のものであることがさらに理解されるべきである。
【0210】
Ｓ５３０．第２の指示情報を取得すべく、ビットストリームを解析する段階である。
【0211】
第２の指示情報は、第１の処理されるべき画像領域における処理されるべきブロックの予測モードを示す。この段階は、符号化側の段階Ｓ３４０に対応する。
【0212】
Ｓ５４０．第１の処理されるべき画像領域の予測モードの候補の集合において、第２の指示情報に従って、処理されるべき画像ユニットの予測モードを決定する段階である。
【0213】
具体的な方法はＳ３２０と同様であり、詳細はここでは再び説明しない。
【0214】
Ｓ５５０．予測モードに従って、処理されるべき画像ユニットの予測画像を決定する段階である。
【0215】
具体的な方法は、Ｓ３３０と同様であり、詳細はここでは再び説明しない。
【0216】
図１２は、本願発明の１つまたは複数の技術に係る、ビデオデータを復号するための別のビデオデコーダ７０の例を示すブロック図である。
【0217】
ビデオデコーダ７０は、第１の解析モジュール７１と、第１の決定モジュール７２と、第２の解析モジュール７３と、第２の決定モジュール７４と、第３の決定モジュール７５とを含む。
【0218】
第１の解析モジュール７１は、第１の指示情報を取得すべく、ビットストリームを解析するＳ５１０を実行するよう構成される。
【0219】
第１の決定モジュール７２は、第１の指示情報に従って、第１の処理されるべき画像領域のモードの候補の集合を決定するＳ５２０を実行するよう構成される。
【0220】
第２の解析モジュール７３は、第２の指示情報を取得すべく、ビットストリームを解析するＳ５３０を実行するように構成される。
【0221】
第２の決定モジュール７４は、第１の処理されるべき画像領域の予測モードの候補の集合において、第２の指示情報に従って、処理されるべき画像ユニットの予測モードを決定するＳ５４０を実行するよう構成される。
【0222】
第３の決定モジュール７５は、予測モードに従って、処理されるべき画像ユニットの予測画像を決定するＳ５５０を実行するよう構成される。
【0223】
隣接ブロックの動き情報は相関しているので、並進運動のみが存在し、かつ、同じ領域においてアフィン運動が存在しない可能性が非常に高い。本発明のこの実施形態において、領域レベルをマーキングする予測モードの候補の集合が設定され、冗長モードを符号化するビットレートを回避し、それにより、符号化効率を向上させる。
【0224】
１つ又は複数の実施形態において、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにより実装されてよい。機能がソフトウェアにより実装された場合、機能は、１つまたは複数の命令としてコンピュータ可読媒体に記憶されてよく、または、コンピュータ可読媒体により符号化もしくは送信されてよく、ハードウェアに基づき、処理ユニットにより実行される。コンピュータ可読媒体は、（データ記録媒体などの有形媒体に対応する）コンピュータ可読記憶媒体、または通信媒体を含んでよい。通信媒体は、例えば、コンピュータプログラムを用いることによって、通信プロトコルに従って、ある場所から別の場所へのデータの伝送を促進する任意の媒体を含む。この方式において、コンピュータ可読媒体は概して、（１）非一時的な有形コンピュータ可読記憶媒体、または（２）信号またはキャリアなどの通信媒体に対応してよい。データ記録媒体は、本願発明において説明されている技術を実装するための、命令、コード、および／またはデータ構造を読み出すべく、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによりアクセスされることができる任意の利用できる媒体であってよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでよい。
【0225】
限定ではなく、例として、いくつかのコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、別の光ディスクストレージ、または磁気ディスクストレージ、別の磁気ストレージ装置、フラッシュメモリ、または、命令もしくはデータ構造の形態において必要とされるプログラムコードを記憶でき、コンピュータによりアクセスされることができる任意の他の媒体を含んでよい。加えて、任意の接続は、コンピュータ可読媒体と適切に称されてよい。例えば、命令が、同軸ケーブル、光ケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または無線技術（例えば、赤外線、無線、またはマイクロ波）を用いることによって、ウェブサイト、サーバ、または別のリモートソースから伝送される場合、該同軸ケーブル、光ケーブル、ツイストペア、ＤＳＬ、または無線技術（例えば、赤外線、無線、またはマイクロ波）は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記録媒体は、接続、キャリア、信号、または別の一時的な媒体を含まない場合があり、非一時的な有形記憶媒体であることが理解されるべきである。本明細書において用いられるディスクおよび光ディスクは、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピ（登録商標）ディスク、およびブルーレイディスク（登録商標）を含み、ここで、ディスクは概して、データを磁気方式においてコピーし、光ディスクは、レーザを用いることによって光学的方式においてデータをコピーする。上述の対象の組み合わせはさらに、コンピュータ可読媒体の範囲に含まれるものとする。
【0226】
命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数のプロセッサ、一般的なマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または別の同等の統合された、もしくはディスクリートのロジック回路により、実行されてよい。従って、本明細書において用いられている「プロセッサ」という用語は、上述の構造、または、本明細書において説明されている技術の実装に適用され得る任意の他の構造を指してよい。加えて、いくつかの態様において、本明細書に説明されている機能性は、符号化および復号のために構成される専用ハードウェアおよび／またはソフトウェアモジュールに提供されてよく、または、組み合わされたコーダ－デコーダに組み込まれてよい。加えて、技術は、１つまたは複数の回路またはロジック要素に完全に実装されてよい。
【0227】
本願発明における技術は、複数の装置またはデバイスに広く実装されてよい。装置またはデバイスは、無線ハンドセット、集積回路（ＩＣ）、またはＩＣセット（例えば、チップセット）を含む。本願発明において、様々な構成要素、モジュール、およびユニットは、開示されている技術を実装するよう構成される装置の機能を強調するために説明されるが、機能は、必ずしも異なるハードウェアユニットによって実装される必要がない。精確には、上述において説明されているように、様々なユニットは、コーダ－デコーダのハードウェアユニットに組み合わされてよく、または、適切なソフトウェアおよび／またはファームウェアと併せて、（上述において説明されている１つまたは複数のプロセッサを含む）相互利用可能なハードウェアユニットのセットにより提供されてよい。
【0228】
明細書全体において言及されている「一実施形態」または「実施形態」は、実施形態に関連する特定の機能、構造、または特徴が、本発明の少なくとも１つの実施形態に含まれることを意味することが理解されるべきである。従って、明細書全体にわたって出現している「一実施形態」または「実施形態」は、必ずしも同じ実施形態を指すわけではない。加えて、これらの特定の機能、構造、または特徴は、任意の適切な方式を用いることによって、１つ又は複数の実施形態に組み合わされてよい。
【0229】
本願発明の様々な実施形態において、上述のプロセスのシーケンス番号は、実行シーケンスを意味しておらず、本願発明の実施形態の実装方式のプロセスに対するいかなる限定として解釈されるべきではないことが理解されるべきである。プロセスの実行シーケンスは、プロセスの機能および内部ロジックに従って決定されるべきである。
【0230】
加えて、「システム」および「ネットワーク」という用語は、本明細書において互換的に用いられてよい。本明細書における「および／または」という用語は、関連対象を説明するための関連関係を説明するだけであって、３つの関係が存在し得ることを表している。例えば、Ａおよび／またはＢは、Ａのみが存在する場合、ＡおよびＢの両方が存在する場合、および、Ｂのみが存在する場合といった３つの場合を表し得る。加えて、本明細書における「／」という記号は概して、関連対象の間の「または」という関係性を示す。
【0231】
本出願の実施形態において、「Ａに対応するＢ」は、Ｂは、Ａに関連付けられており、Ｂは、Ａに従って決定され得ることを示すことが理解されるべきである。しかしながら、Ｂに従ってＡを決定することは、Ｂは、Ａのみに従って決定されることを意味しておらず、ＢはＡおよび／または他の情報に従っても決定され得ることがさらに理解されるべきである。
【0232】
当業者は、本明細書に開示されている実施形態において説明されている例との組み合わせにおいて、ユニットおよびアルゴリズム段階は、電子的ハードウェア、コンピュータソフトウェア、またはそれらの組み合わせによって実装されてよいことを認識し得る。ハードウェアとソフトウェアとの間の互換性を明確に説明するために、上述は概して、機能に応じて各例の組成および段階を説明している。機能がハードウェアまたはソフトウェアによって実行されるかは、技術的解決手段の特定のアプリケーションおよび設計制約の条件に依存する。当業者は、各特定のアプリケーションに対して説明した機能を実装するために異なる方法を用いてよいが、実装方式が本願発明の範囲を超えるものとしてみなされるべきではない。
【0233】
当業者ならば明確に理解し得るように、簡便かつ簡潔な説明を目的として、上述のシステム、装置、及びユニットの詳細な動作プロセスについて、上述の方法の実施形態における対応するプロセスが参照されてよく、詳細はここでは再び説明しない。
【0234】
本出願において提供されるいくつかの実施形態において、開示されたシステム、装置、および方法は他の方式で実装されてよいことが理解されるべきである。例えば、説明されている装置の実施形態は例に過ぎない。例えば、ユニットの区分は、論理機能の区分に過ぎず、実際の実装方式において、他の区分であってよい。例えば、複数のユニットまたは構成要素は、別のシステムに組み合わされもしくは統合されてよく、または、いくつかの特徴は、無視されてよく、もしくは実行されなくてよい。加えて、表示されまたは説明されている相互連結または直接連結もしくは通信接続は、いくつかのインターフェースを用いることによって実装されてよい。装置またはユニットの間の間接連結または通信接続は、電子的、機械的、または他の形式において実装されてよい。
【0235】
別個の部分として説明されているユニットは、物理的に別個のものであってよく、またはそうでなくてもよく、ユニットとして表示されている部分は、物理的ユニットであってよく、またはそうでなくてもよく、１つの場所に位置してよく、または複数のネットワークユニットに分散されてよい。ユニットの一部またはすべては、実施形態の解決手段の目的を達成するために、実際の要求に従って選択されてよい。
【0236】
加えて、本願発明の実施形態における機能的ユニットは、１つの処理ユニットに統合されてよく、または、ユニットのそれぞれは、物理的に単独で存在してよく、または、２つまたはそれより多くのユニットは、１つのユニットに統合される。
【0237】
上述の説明は、本願発明の具体的な実装方式に過ぎず、本願発明の保護範囲を限定することを意図していない。本願発明において開示されている技術的範囲内に当業者により容易に想到されるいかなる変形または置換は、本願発明の保護範囲内に含まれるものとする。従って、本願発明の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
