特許 7420807 マージリストにおける動きベクトル予測子候補の順序付け

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-15

(45)【発行日】2024-01-23

(54)【発明の名称】マージリストにおける動きベクトル予測子候補の順序付け

(51)【国際特許分類】

   H04N 19/52 20140101AFI20240116BHJP

【ＦＩ】

H04N19/52

【請求項の数】 20

(21)【出願番号】P 2021529468

(86)(22)【出願日】2019-11-25

(65)【公表番号】

(43)【公表日】2022-01-28

(86)【国際出願番号】 US2019062975

(87)【国際公開番号】W WO2020112620

(87)【国際公開日】2020-06-04

【審査請求日】2022-11-25

(31)【優先権主張番号】18306584.6

(32)【優先日】2018-11-29

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】318017914

【氏名又は名称】インターデイジタル ヴィーシー ホールディングス インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ファブリス ルルアンネック

(72)【発明者】

【氏名】アントワーヌ ロベール

(72)【発明者】

【氏名】タンギ ポワリエ

【審査官】岩井 健二

(56)【参考文献】

【文献】特開２０２０－１０８０８１（ＪＰ，Ａ）

【文献】特開２０２０－０８８６６０（ＪＰ，Ａ）

【文献】国際公開第２０２０／１４２６８５（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０６１３９５（ＷＯ，Ａ１）

【文献】Yu-Ling Hsiao, et al.，CE4.4.12: Pairwise average candidates，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0090-v2，12th Meeting: Macao, CN，2018年10月，pp.1-18

【文献】Jaeho Lee, et al.，CE4-related: Composite merge candidate，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0144_r2，12th Meeting: Macau, CN，2018年10月，pp.1-3

【文献】Li Zhang, et al.，CE4: History-based Motion Vector Prediction (Test 4.4.7)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0266-v2，12th Meeting: Macao, CN，2018年10月，pp.1-6

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

ピクチャをエンコードまたはデコードする方法であって、
前記ピクチャの現ブロックについて、前記現ブロックに先行するブロックの動き情報を使用して１つまたは複数の履歴ベース動きベクトル予測子候補を決定するステップであって、前記１つまたは複数の履歴ベース動きベクトル予測子候補は、先入れ先出し規則に従ってテーブルに保持される、ステップと、
前記現ブロックについて、動きベクトル予測子候補のリスト中の動きベクトル予測子候補のペアを平均することによって１つまたは複数の平均動きベクトル予測子候補を決定するステップであって、リスト中の前記動きベクトル予測子候補は、前記現ブロックを空間的および時間的に囲む少なくとも１つまたは複数のブロックの動き情報を使用して形成される、ステップと、
前記平均動きベクトル予測子候補のうちの１つまたは複数を、履歴ベース動きベクトル予測子候補のうちの１つまたは複数の前に動きベクトル予測子候補のリストに挿入するステップと
を備える方法。

【請求項2】

前記現ブロックの全ての平均動きベクトル予測子候補は、前記現ブロックの履歴ベース動きベクトル予測子候補の前に、動きベクトル予測子候補の前記リストに挿入される、請求項１の方法。

【請求項3】

履歴ベース動きベクトル予測子候補は、前記平均動きベクトル予測子候補を挿入した後少なくとも２つの空きが前記リストに残っている場合、動きベクトル予測子候補の前記リストに挿入される、請求項２の方法。

【請求項4】

履歴ベース動きベクトル予測子候補は、前記平均動きベクトル予測子候補を挿入した後、リスト中に任意の空きが残っている場合、動きベクトル予測子候補の前記リストに挿入される、請求項２の方法。

【請求項5】

前記平均動きベクトル予測子候補は、リスト中に少なくとも２つの空きが利用可能である場合、動きベクトル予測子候補の前記リストにのみ挿入される、請求項２の方法。

【請求項6】

動きベクトル予測子候補の前記リストにおける前記履歴ベース動きベクトル予測子候補および平均動きベクトル予測子候補の順序付けは、動きベクトル予測子候補の前記リストの最大リストサイズに依存する、請求項１の方法。

【請求項7】

最大リストサイズが予め定められた値以上である場合、前記平均動きベクトル予測子候補は、前記履歴ベース動きベクトル予測子候補の前に動きベクトル予測子候補の前記リストに挿入され、最大リストサイズが前記予め定められた値よりも小さい場合、前記平均動きベクトル予測子候補は、前記履歴ベース動きベクトル予測子候補の後に動きベクトル予測子候補の前記リストに挿入される、請求項６の方法。

【請求項8】

前記最大リストサイズは、スライスまたはピクチャヘッダパラメータとして符号化される、請求項７の方法。

【請求項9】

履歴ベース動きベクトル予測子候補は、前記平均動きベクトル予測子候補を挿入した後少なくとも２つの空きが前記リストに残っている場合、動きベクトル予測子候補の前記リストに挿入される、請求項７の方法。

【請求項10】

少なくとも２つの空きが前記リストに残っている場合、最大リストサイズに基づいて選択される第１の候補タイプの動きベクトル予測子候補が挿入され、前記第１の候補タイプの動きベクトル予測子候補を挿入した後、前記リストが一杯でない場合、第２の候補タイプの動きベクトル予測子候補が挿入される、請求項７の方法。

【請求項11】

前記履歴ベース動きベクトル予測子候補および前記平均動きベクトル予測子候補は、互いにインタリーブされるように、動きベクトル予測子候補の前記リストに挿入される、請求項１の方法。

【請求項12】

１つまたは複数のプロセッサを備えた、ピクチャをエンコードまたはデコードする装置であって、前記１つまたは複数のプロセッサは、
前記ピクチャの現ブロックについて、前記現ブロックに先行するブロックの動き情報を使用して１つまたは複数の履歴ベース動きベクトル予測子候補を決定することであって、前記１つまたは複数の履歴ベース動きベクトル予測子候補は、先入れ先出し規則に従ってテーブルに保持される、ことと、
前記現ブロックについて、動きベクトル予測子候補のリスト中の動きベクトル予測子候補のペアを平均することによって１つまたは複数の平均動きベクトル予測子候補を決定することであって、リスト中の前記動きベクトル予測子候補は、前記現ブロックを空間的および時間的に囲む少なくとも１つまたは複数のブロックの動き情報を使用して形成される、ことと、
前記平均動きベクトル予測子候補のうちの１つまたは複数を、履歴ベース動きベクトル予測子候補のうちの１つまたは複数の前に動きベクトル予測子候補のリストに挿入することと
を行うように構成された装置。

【請求項13】

前記現ブロックの全ての平均動きベクトル予測子候補は、前記現ブロックの前記履歴ベース動きベクトル予測子候補の前に、動きベクトル予測子候補の前記リストに挿入される、請求項１２の装置。

【請求項14】

前記平均動きベクトル予測子候補は、リスト中に少なくとも２つの空きが利用可能である場合、動きベクトル予測子候補の前記リストにのみ挿入される、請求項１３の装置。

【請求項15】

動きベクトル予測子候補の前記リストにおける前記履歴ベース動きベクトル予測子候補および平均動きベクトル予測子候補の順序付けは、動きベクトル予測子候補の前記リストの最大リストサイズに依存する、請求項１２の装置。

【請求項16】

最大リストサイズが予め定められた値以上である場合、前記平均動きベクトル予測子候補は、前記履歴ベース動きベクトル予測子候補の前に動きベクトル予測子候補の前記リストに挿入され、最大リストサイズが前記予め定められた値よりも小さい場合、前記平均動きベクトル予測子候補は、前記履歴ベース動きベクトル予測子候補の後に動きベクトル予測子候補の前記リストに挿入される、請求項１５の装置。

【請求項17】

前記最大リストサイズは、スライスまたはピクチャヘッダパラメータとして符号化される、請求項１６の装置。

【請求項18】

履歴ベース動きベクトル予測子候補は、前記平均動きベクトル予測子候補を挿入した後少なくとも２つの空きが前記リストに残っている場合、動きベクトル予測子候補の前記リストに挿入される、請求項１６の装置。

【請求項19】

少なくとも２つの空きが前記リストに残っている場合、最大リストサイズに基づいて選択される第１の候補タイプの動きベクトル予測子候補が挿入され、前記第１の候補タイプの動きベクトル予測子候補を挿入した後、前記リストが一杯でない場合、第２の候補タイプの動きベクトル予測子候補が挿入される、請求項１６の装置。

【請求項20】

前記履歴ベース動きベクトル予測子候補および前記平均動きベクトル予測子候補は、互いにインタリーブされるように、動きベクトル予測子候補の前記リストに挿入される、請求項１２の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、ビデオ圧縮の分野にあり、既存のビデオ圧縮システムと比較して改善された圧縮効率を目指す。

【背景技術】

【0002】

ビデオデータの圧縮のためには、ビデオソース信号の異なるピクチャ間の時間的冗長性を利用するインターピクチャ予測を使用して、またはソース信号の単一ピクチャ中の空間的冗長性を利用するイントラピクチャ予測を使用して、ピクチャのブロック形状領域がコーディングされる。この目的で、使用される圧縮標準に応じて、ピクチャ中の様々なブロックサイズが指定され得る。予測残差が、残差内部の相関を除去するための変換を使用してさらに圧縮され、その後、量子化され、最終的に、残差コーディングとも呼ばれるエントロピーコーディングを使用してより一層圧縮される。

【0003】

ＨＥＶＣビデオ圧縮標準（非特許文献１参照）では、考慮される予測ユニット（Prediction Unit）（ＰＵ）の動き補償時間的予測のために、単予測（uni-predictional）ＰＵには１つの動きベクトル（ＭＶ）が割り当てられ、双予測（bi-predictional）ＰＵには動きベクトルのペアが割り当てられる。動きデータをエンコードするために、ＨＥＶＣでは２つのモードが採用される。これらはそれぞれ、ＡＭＶＰ（適応動きベクトル予測）およびマージと呼ばれる。

【0004】

ＡＭＶＰは、基本的に、現ＰＵを予測するのに使用される参照ピクチャと、動きベクトル予測子インデックス（２つの予測子のリストから採られる）と、動きベクトル差とをシグナリングすることを含む。マージモードは、動きデータ予測子のリスト中の収集されたいくらかの動きデータのインデックスをシグナリングおよびデコードすることを含む。このマージリストは、５つの候補からなり、デコーダ側とエンコーダ側とで同じようにして構築される。マージリストは通常、現ＰＵが処理されているときに復号状態で利用可能ないくつかの空間的および時間的周囲ブロックに関連付けられた動き情報を含む。

【0005】

また、ＶＴＭ－３（非特許文献２参照）では、２つのタイプのマージ候補が採用されている。いわゆる、履歴ベース動きベクトル予測子（history-based motion vector predictor）（ＨＭＶＰ）およびペアワイズ平均候補（pairwise average candidate）である。

【先行技術文献】

【非特許文献】

【0006】

【文献】ITU-T H.265 TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (10/2014), SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Infrastructure of audiovisual services - Coding of moving video, High efficiency video coding, Recommendation ITU-T H. 265

【文献】“Versatile Video Coding (Draft3)”, B. Bross, J. Chen, S. Liu, document JVET-L1001, Macao, October 2018

【文献】JVET-L0090 “CE4.4.12: Pairwise average candidates”, Y.-L. Hsiao, T.-D. Chuang,C.-Y. Chen,C.-W .Hsu,Y.-W. Huang,S.-M. Lei,Macao, October 2018

【文献】JVET-L0266 “CE4: History-based Motion Vector Prediction (Test 4.4.7)”, L. Zhang, K. Zhang, H. Liu, Y. Wang, P. Zhao, D. Hong, Macao, October 2018

【文献】JVET-L0318 “CE4: ranking based spatial merge candidate list for inter prediction (Test CE4.4.14)”, G .Li, X. Xu, X. Li, S. Liu (Tencent), Macao,October 2018

【発明の概要】

【0007】

本開示の態様によれば、ピクチャをエンコードおよび／またはデコードする方法が開示される。このような方法は、ピクチャの現ブロックについて、現ブロックに先行するブロックの動き情報を使用して１つまたは複数の履歴ベース動きベクトル予測子候補を決定するステップと、現ブロックについて、動きベクトル予測子候補のリスト中の動きベクトル予測子候補のペアを平均することによって１つまたは複数の平均動きベクトル予測子候補を決定するステップであって、リスト中の動きベクトル予測子候補は、現ブロックを空間的および／または時間的に囲むブロックの動き情報を使用して形成される、ステップと、平均動きベクトル予測子候補のうちの１つまたは複数を、履歴ベース動きベクトル予測子候補のうちの１つまたは複数の前に動きベクトル予測子候補のリストに挿入するステップを含む。

【0008】

本開示の別の態様によれば、ピクチャをエンコードおよび／またはデコードするための装置が開示される。このような装置は１つまたは複数のプロセッサを備え、１つまたは複数のプロセッサは、ピクチャの現ブロックについて、現ブロックに先行するブロックの動き情報を使用して１つまたは複数の履歴ベース動きベクトル予測子候補を決定することと、現ブロックについて、動きベクトル予測子候補のリスト中の動きベクトル予測子候補のペアを平均することによって１つまたは複数の平均動きベクトル予測子候補を決定することであって、リスト中の動きベクトル予測子候補は、現ブロックを空間的および／または時間的に囲むブロックの動き情報を使用して形成される、ことと、平均動きベクトル予測子候補のうちの１つまたは複数を、履歴ベース動きベクトル予測子候補のうちの１つまたは複数の前に動きベクトル予測子候補のリストに挿入することを行うように構成される。

【0009】

本開示の別の態様によれば、ピクチャをエンコードおよび／またはデコードするための装置が開示される。この装置は、ピクチャの現ブロックについて、現ブロックに先行するブロックの動き情報を使用して１つまたは複数の履歴ベース動きベクトル予測子候補を決定する手段と、現ブロックについて、動きベクトル予測子候補のリスト中の動きベクトル予測子候補のペアを平均することによって１つまたは複数の平均動きベクトル予測子候補を決定する手段であって、リスト中の動きベクトル予測子候補は、現ブロックを空間的および／または時間的に囲むブロックの動き情報を使用して形成される、手段と、平均動きベクトル予測子候補のうちの１つまたは複数を、履歴ベース動きベクトル予測子候補のうちの１つまたは複数の前に動きベクトル予測子候補のリストに挿入する手段を備える。

【0010】

本開示の態様によれば、ピクチャをエンコードおよび／またはデコードする方法が開示される。このような方法は、ピクチャの現ブロックについて、現ブロックに先行するブロックの動き情報を使用して１つまたは複数の履歴ベース動きベクトル予測子候補を決定するステップと、現ブロックについて、１つもしくは複数の平均動きベクトル予測子候補、および／または１つもしくは複数の結合動きベクトル予測子候補を決定するステップと、決定された動きベクトル予測子候補を、現ブロックに対する参照フレームの時間的構造に応じて動きベクトル予測子候補のリストに挿入するステップを含む。

【0011】

本開示の別の態様によれば、ピクチャをエンコードおよび／またはデコードするための装置が開示される。このような装置は１つまたは複数のプロセッサを備え、前記１つまたは複数のプロセッサは、ピクチャの現ブロックについて、現ブロックに先行するブロックの動き情報を使用して１つまたは複数の履歴ベース動きベクトル予測子候補を決定することと、現ブロックについて、１つもしくは複数の平均動きベクトル予測子候補、および／または１つもしくは複数の結合動きベクトル予測子候補を決定することと、決定された動きベクトル予測子候補を、現ブロックに対する参照フレームの時間的構造に応じて動きベクトル予測子候補のリストに挿入することを行うように構成される。

【0012】

本開示の別の態様によれば、ピクチャをエンコードおよび／またはデコードするための装置が開示される。この装置は、ピクチャの現ブロックについて、現ブロックに先行するブロックの動き情報を使用して１つまたは複数の履歴ベース動きベクトル予測子候補を決定する手段と、現ブロックについて、１つもしくは複数の平均動きベクトル予測子候補、および／または１つもしくは複数の結合動きベクトル予測子候補を決定する手段と、決定された動きベクトル予測子候補を、現ブロックに対する参照フレームの時間的構造に応じて動きベクトル予測子候補のリストに挿入する手段とを備える。

【0013】

本開示はまた、命令を含むコンピュータプログラム製品を提供し、命令は、コンピュータによって実行されたとき、本明細書で述べられた方法をコンピュータに実施させる。本開示はまた、実行可能プログラム命令を記憶した非一時的コンピュータ可読媒体を提供し、実行可能プログラム命令は、本明細書で述べられた方法のいずれかを、命令を実行するコンピュータに実施させる。本開示はまた、本明細書で述べられた方法のいずれかに従って生成されたデータを含む信号を提供する。本開示はまた、本明細書で述べられた方法のいずれかに従って構文要素およびエンコード済み画像情報を含むようにフォーマットされたビットストリームを提供する。

【0014】

本開示はまた、デバイスを提供する。デバイスは、上述したような装置を備え、（ｉ）信号を受信するように構成されたアンテナであって、信号は画像情報を表すデータを含む、アンテナと、（ｉｉ）受信された信号を、画像情報を表すデータを含む周波数帯域に制限するように構成された帯域リミッタと、（ｉｉｉ）画像情報からの画像を表示するように構成されたディスプレイとのうちの少なくとも１つを備える。

【0015】

上記は、発明の主題の実施形態のいくつかの態様の基本的な理解を提供するために、主題の簡略化された概要を提示する。この概要は、主題の広範な概観ではない。これは、実施形態の重要な／クリティカルな要素を識別するものとはされず、また、主題の範囲を示すものともされない。この唯一の目的は、主題のいくつかの概念を、後述する詳細な記述に対する前置きとして簡略化された形で提示することである。

【0016】

本開示の追加の特徴および利点は、添付の図を参照しながら進行する例証的な実施形態に関する後続の詳細な記述から明らかにされるであろう。

【図面の簡単な説明】

【0017】

図面は、様々な態様および実施形態を例証するためのものであり、可能な唯一の構成とは限らないことを理解されたい。様々な図を通して、同じ参照指示子は、同じまたは類似の特徴を指す。

【図1】汎用的なビデオ圧縮方式の例のブロック図である。

【図2】汎用的なビデオ伸張方式の例のブロック図である。

【図3】圧縮されたＨＥＶＣピクチャを表すいくつかのコーディングツリーユニット（Coding Tree Unit）を示す図である。

【図4】コーディングツリーユニットをコーディングユニット（Coding Unit）、予測ユニット、および変換ユニット（Transform Unit）に分割することを示す図である。

【図5】ＨＥＶＣ仕様書によるインター予測情報のシグナリングを示す図である。

【図6】ＨＥＶＣにおけるマージ動きベクトル予測子候補のリストの構築を示す図である。

【図7a】ＨＥＶＣにおけるマージモードで使用される空間的（ａ）動きベクトル予測子の位置を示す図である。

【図7b】ＨＥＶＣにおけるマージモードで使用される時間的（ｂ）動きベクトル予測子の位置を示す図である。

【図8】図７に示される空間的および時間的動きベクトル予測子の位置に対するマージ動きベクトル予測子候補のリストの構築を示す図である。

【図9】履歴ベース動きベクトル予測子候補を使用する方法においてテーブルを更新する例を示す図である。

【図10】ＶＶＣ Ｄｒａｆｔ３による非サブブロック（または平行移動（translational））マージ候補リスト構築を示す図である。

【図11】ＶＴＭ－３によるサブブロックベースの動きベクトル予測子候補のリストの構築を示す図である。

【図12】第１の実施形態の第１の変形による修正された平行移動マージ候補リスト構築を示す図である。

【図13】履歴ベース動きベクトル予測子を挿入する条件が修正された、第１の実施形態の第２の変形を示す図である。

【図14】ペアワイズ平均動きベクトル予測子を挿入する条件が修正された、第１の実施形態の第３の変形を示す図である。

【図15】候補リスト構築中のペアワイズ動きベクトル予測子と履歴ベース動きベクトル予測子との間の順序が最大リストサイズに依存する、第２の実施形態の第１の変形を示す図である。

【図16】ＨＭＶＰ候補およびペアワイズ候補を考慮する条件が第１の変形と比較して修正された、第２の実施形態の第２の変形を示す図である。

【図17】履歴ベース動きベクトル予測子とペアワイズ候補とがマージリスト中でインタリーブされる、候補リスト構築の第３の実施形態の第１の変形を示す図である。

【図18】ＨＭＶＰ候補の挿入の条件が第１の変形と比較して修正された、候補リスト構築の第３の実施形態の第２の変形を示す図である。

【図19】結合候補およびペアワイズ候補が現フレームの時間的構造に応じて追加される、候補リスト構築の第４の実施形態を示す図である。

【図20】本開示の実施形態による方法の汎用的なフローチャートである。

【図21】例示的な実施形態の様々な態様がその中で実装され得るシステムの例のブロック図である。

【発明を実施するための形態】

【0018】

記述を明確にするために、以下の記述では、例えばＨＥＶＣおよび／またはＶＶＣ／Ｈ．２６６などのビデオ圧縮技術を伴う実施形態に関して、態様について述べる。しかし、述べられる態様は、他のビデオ処理技術および標準にも適用可能である。

【0019】

図１は、例示的なビデオエンコーダ１００を示す。このエンコーダ１００の変形も企図されるが、以下では、明確にするために、予想される全ての変形については述べられず、エンコーダ１００について述べられる。

【0020】

ビデオシーケンスは、エンコードされる前に、符号化前処理（１０１）を経ることができる。これは例えば、入力カラーピクチャに色変換を適用すること（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０へのコンバージョン）、または、圧縮からの回復力がより高い信号分布を得るために入力ピクチャ成分の再マッピングを実施すること（例えば、色成分のうちの１つのヒストグラム均等化を使用して）である。メタデータが、前処理に関連付けられてよく、ビットストリームに添付されてよい。

【0021】

１つまたは複数のピクチャを含むビデオシーケンスをエンコードするために、ピクチャは、例えば１つまたは複数のスライスに区分化（１０２）され、各スライスは、１つまたは複数のスライスセグメントを含むことができる。ＨＥＶＣでは、スライスセグメントは、コーディングユニット、予測ユニット、および変換ユニットに編成される。ＨＥＶＣ仕様書は「ブロック」と「ユニット」とを区別している。「ブロック」は、サンプルアレイ中の特定エリア（例えば輝度（luma）、Ｙ）を対象とし、「ユニット」は、エンコードされた全ての色成分（Ｙ、Ｃｂ、Ｃｒ、または単色）の連結ブロックと、構文要素と、ブロックに関連付けられた予測データ（例えば動きベクトル）とを含む。

【0022】

エンコーダ１００中では、後述されるようにエンコーダ要素によってピクチャがエンコードされる。エンコードされることになるピクチャは、例えばＣＵの単位で処理される。各ユニットは、例えばイントラモードとインターモードのいずれかを使用してエンコードされる。ユニットがイントラモードでエンコードされるときは、イントラ予測（１６０）を実施する。インターモードでは、動き推定（１７５）および補償（１７０）が実施される。エンコーダは、イントラモードとインターモードのどちらをユニットの符号化に使用するかを決定し（１０５）、イントラ／インター決定を、例えば予測モードフラグによって示す。予測残差が、例えば予測されたブロックを元の画像ブロックから引くこと（１１０）によって計算される。

【0023】

予測残差は、変換（１２５）および量子化（１３０）される。量子化された変換係数、並びに動きベクトルおよび他の構文要素は、エントロピー符号化（１４５）されて、ビットストリームが出力される。エンコーダは、変換をスキップし、未変換の残差信号に量子化を直接に適用できる。エンコーダは、変換と量子化の両方を迂回でき、すなわち、残差は、変換プロセスも量子化プロセスも適用されずに直接に符号化される。

【0024】

エンコーダは、エンコードされたブロックをデコードして、さらに後の予測のための参照を提供する。量子化された変換係数は、逆量子化（１４０）および逆変換（１５０）されて、予測残差がデコードされる。デコードされた予測残差と予測されたブロックとを結合（１５５）することで、画像ブロックが再構築される。再構築されたピクチャにインループフィルタ（１６５）が適用されて、例えばデブロッキング／ＳＡＯ（サンプル適応オフセット（Sample Adaptive Offset））フィルタリングが実施され、それにより符号化アーチファクトが低減される。フィルタリングされた画像は、参照ピクチャバッファ（１８０）に記憶される。

【0025】

図２は、ビデオデコーダ２００のブロック図を示す。デコーダ２００中では、後述されるようにビットストリームがデコーダ要素によってデコードされる。ビデオデコーダ２００は一般に、図１で述べられた符号化パスと逆の復号パスを実施する。エンコーダ１００もまた一般に、ビデオデータの符号化の一部としてビデオ復号を実施する。

【0026】

特に、デコーダの入力は、ビデオエンコーダ１００によって生成され得るビデオビットストリームを含む。ビットストリームは最初にエントロピー復号（２３０）されて、変換係数、動きベクトル、および他の符号化済み情報が得られる。ピクチャ区分情報は、どのようにピクチャが区分化されるかを示す。したがって、デコーダは、復号されたピクチャ区分情報に従ってピクチャを分割（２３５）できる。変換係数は、逆量子化（２４０）および逆変換（２５０）されて、予測残差がデコードされる。デコードされた予測残差と予測されたブロックとを結合（２５５）することで、画像ブロックが再構築される。予測されたブロックは、イントラ予測（２６０）または動き補償予測（すなわちインター予測）（２７５）から得ることができる（２７０）。再構築された画像にインループフィルタ（２６５）が適用される。フィルタリングされた画像は、参照ピクチャバッファ（２８０）に記憶される。

【0027】

復号されたピクチャはさらに、復号後処理（２８５）を経ることができる。これは例えば、逆色変換（例えば、ＹＣｂＣｒ４：２：０からＲＧＢ４：４：４へのコンバージョン）、または、符号化前処理（１０１）で実施された再マッピングプロセスの逆を実施する逆再マッピングである。復号後処理は、符号化前処理で導出されビットストリーム中でシグナリングされたメタデータを使用することができる。

【0028】

本出願は、動き補償時間的予測を採用してビデオシーケンスの連続的なピクチャ間に存在する冗長性を利用する、図１および図２にそれぞれ示されるようなエンコーダおよびデコーダ中で、動きベクトル予測子のリストを適応させることを提案する。

【0029】

ＨＥＶＣビデオ圧縮標準、またはＨＥＶＣに類似する技術では、動きベクトルが予測ユニット（ＰＵ）に関連付けられる。エンコードまたはデコードされることになるピクチャは、符号化の基本単位であるいわゆるコーディングツリーユニット（ＣＴＵ）に分割され、ＣＴＵの連続的なセットは、スライスにグループ化される。ＣＴＵは普通、３つのコーディングツリーブロック（ＣＴＢ：Coding Tree Block）、すなわち輝度サンプルのための１つのブロックおよび彩度サンプルのための２つのブロックと、関連する構文要素とを含む。コーディングツリーユニットはさらにコーディングユニット（ＣＵ）に分離されることができ、ＣＵは、予測タイプ決定のための、すなわちインターピクチャ予測を実施するかイントラピクチャ予測を実施するかを決定するための最小符号化要素である。最後に、コーディングユニットは１つまたは複数の予測ユニット（ＰＵ）にさらに分離される。

【0030】

図３に、ピクチャの一部をＣＴＵ０、１、２に区分化する例が示される。図では、左のＣＴＵ０はそのまま直接に使用され、その右のＣＴＵ１は、ＣＴＵによってカバーされるピクチャ領域の信号特性に基づいて、より小さい複数のセクションに区分化される。矢印は、それぞれのセクションの動きベクトルを示す。

【0031】

ＣＴＢは、コーディングブロック（ＣＢ：Coding Block）への四分木区分化の根であり、コーディングブロックは、１つまたは複数の予測ブロック（ＰＢ：Prediction Block）に区分化されてよく、変換ブロック（ＴＢ：Transform Block）への四分木区分化の根を形成する。４×４よりも大きい変換ブロック（ＴＢ）は、係数グループ（ＣＧ：Coefficient Group）と呼ばれる量子化済み係数の４×４サブブロックに分割される。コーディングブロック、予測ブロック、および変換ブロックに対応して、コーディングユニット（ＣＵ）は、予測ユニット（ＰＵ）と、変換ユニット（ＴＵ）の木構造セットとを含む。ＰＵは、全ての色成分についての予測情報を含み、ＴＵは、各色成分についての残差コーディング構文構造を含む。同じ予測が、予測ブロック（ＰＢ）に適用される。輝度成分のＣＢ、ＰＢ、およびＴＢのサイズは、対応するＣＵ、ＰＵ、およびＴＵに適用される。図４に、コーディングツリーユニットをコーディングユニット、予測ユニット、および変換ユニットに分割する例が示される。

【0032】

以下では、提案される方法が詳述される。最初に、マージモード、ペアワイズ平均、および履歴ベース動きベクトル予測子候補の一般原理について述べられる。次に、ペアワイズ平均および履歴ベース動きベクトル予測子候補を含むマージ候補リストの構築のための、種々の実施形態が提案される。

【0033】

ＨＥＶＣ標準によるマージモードは、選択された動き情報予測子候補から、所与の予測ユニットのインター予測情報（以下では動き情報とも呼ばれる）を導出することを含む。ここで考察される動き情報は、ＰＵの全てのインター予測パラメータ、すなわち以下のパラメータを含む。
－ 単方向または双方向の時間的予測タイプ
－ 各参照ピクチャリスト内の参照ピクチャインデックス
－ 動きベクトル

【0034】

図５に、ＨＥＶＣにおけるインター予測情報の符号化および復号が要約される。図に示すように、動き情報符号化／復号は、スキップモードとマージモードとで類似する。この２つのモードでは、ＰＵの動き情報をデコーダが取り出せるようにするために、１つの単一フィールドがシグナリングされている。いわゆるマージインデックスＭｅｒｇｅ＿ｉｄｘである。マージインデックスは、現ＰＵの動き情報を導出するのに、マージ動き情報予測子のリスト中のどの動きベクトル予測子が使用されるかを示す。以下では、動き情報予測子のリストは、マージリストまたはマージ候補リストとも呼ばれる。さらに、候補動き情報予測子は、マージ候補と呼ばれる。

【0035】

ＨＥＶＣでは、マージ候補リストは、体系的に５つのマージ候補を含む。図６は、エンコーダ側とデコーダ側の両方でどのようにマージリストが構築されるかを示す。最初に、いくつかの潜在的候補を取り出すために、５つまでの空間的位置が考慮される。これらは、以下の順序に従って訪問される。
１ 左（Ａ１）
２ 上（Ｂ１）
３ 右上（Ｂ０）
４ 左下（Ａ０）
５ 左上（Ｂ２）
符号Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２は、図７ａに示される空間的位置を表す。

【0036】

相互に異なる最大４つの空間的候補が選択される。さらに、図７ｂに示される位置における時間的動き情報を考慮することによって、すなわち、位置Ｈ、次いで、考慮されている参照ピクチャ中の位置Ｈにおける候補が利用可能でない場合には「中央」における時間的動き情報を考慮することによって、ＴＭＶＰとして表される時間的予測子が選択される。次いで、選択された空間的および時間的候補のセットが冗長候補を含まないことを確実にするために、プルーニングプロセスが行われる。

【0037】

次に、Ｂスライスの場合、マージリストが一杯でないならば、別のタイプの候補がマージリストにプッシュされる。いわゆる結合候補である。これは、リスト中にすでに存在するある候補からの一方の参照ピクチャリスト（Ｌ０）に関連付けられた動き情報と、マージリスト中にすでに存在する別の候補からの他方の参照ピクチャリスト（Ｌ１）に関連付けられた動き情報とからなる候補を形成することにある。

【0038】

最後に、マージリストがまだ一杯でない場合、すなわち５つの要素をまだ含まない場合は、一杯になるまでゼロ動きベクトルがマージリストの末尾（back）にプッシュされる。

【0039】

図８に、ＨＥＶＣにおけるマージリスト構築の全体的なプロセスが詳述される。

【0040】

ＪＶＥＴ－Ｌ００９０（例えば、非特許文献３参照）では、いわゆるペアワイズ平均候補がマージ候補リストに追加されて、ＶＴＭ－２圧縮効率が改善される。これらのペアワイズ平均候補は、次のように計算される。各参照ピクチャリストにつき、いくつかの事前定義済み候補ペアがマージ候補リストから採られ、平均される。マージリストは、ペアワイズ平均候補が計算されているとき、その現在状態で採られる。ペアワイズ候補は、マージ候補リスト中で、考慮されている参照ピクチャリストについて、考慮されている位置で１つまたは２つの候補が利用可能である場合に形成される。６つまでの候補が考慮されて、マージ候補リストが拡充される。

【0041】

Ｄｒａｆｔ ＶＶＣ標準の一部である最後の新しいマージ向上ツールは、履歴ベース動きベクトル予測と呼ばれる（ＪＶＥＴ－Ｌ０２６６。例えば、非特許文献４参照）。

【0042】

履歴ベース動きベクトル予測は、現ブロックに先行するブロックの符号化に使用される複数の動き情報からなるテーブルを維持することを含む。非アフィンインターブロックが符号化されるたびに、それに関連付けられた動きデータが、新しいＨＭＶＰマージ候補としてテーブルの最後に追加される。ＨＭＶＰテーブル中の動きベクトル予測子の最大数は６であり、過去の動きデータは、ＦＩＦＯ（先入れ先出し）規則に従ってテーブルから廃棄される。図９に、動きベクトル予測子の履歴ベースバッファ（テーブル）の管理が示される。

【0043】

図１０に、ＶＶＣ Ｄｒａｆｔ３による、伝統的な（または、アフィンもしくはサブブロックベースとは反対に、非サブブロックもしくは平行移動）マージリスト構築が示される。ここで、「伝統的」とは、各参照ピクチャリストにつきＣＵに１つの動きベクトルが関連付けられた、平行移動動き補償時間的予測に使用されるマージリストを意味する。

【0044】

ＨＥＶＣと比較して、伝統的なマージリストの構築は、次のように拡充される。図１０に示されるように、プロセスの第１段階の間は、同じ空間的および時間的予測子が使用される。空間的および時間的ＭＶ予測子が追加された後、マージリストに少なくとも２つの空きがある場合は、ＨＭＶＰ候補がリストに追加される。この段階の間、１つまたは複数のＨＭＶＰ候補が反復的に候補リストの末尾にプッシュされる。リスト中の残りの空きの数が１つまで減少すると、または利用可能なＨＭＶＰ候補がなくなったときは、この反復的なＨＭＶＰ充填ステップは停止される。

【0045】

次に、リストがまだ一杯でない（すなわち、追加された候補の数がマージ候補の最大許容数未満である）場合は、いくつかのペアワイズマージ候補が評価され、リストに追加される。この段階は、ペアワイズ候補を反復的に計算してマージ候補リストの末尾にプッシュすることを含む。この反復プロセスは、マージ候補リストが一杯になったとき、または利用可能なペアワイズ候補がなくなったときに停止される。

【0046】

最後に、伝統的なマージリストがまだ一杯でない場合は、それはゼロ動きベクトルで埋められる。

【0047】

図１１に、ＶＶＣ Ｄｒａｆｔ３におけるようなアフィンマージリストの構築が示される。アフィンマージリストは、サブブロックベースの動き補償時間的予測を伴う全てのマージＭＶ予測子を集める。したがって、これは、高度時間的動きベクトル予測（ＡＴＭＶＰ：advanced temporal motion vector prediction）マージモードおよびアフィンマージモードを含む。アフィンマージ候補は、現ＣＵについて４×４ブロックベースのアフィン動きフィールドがそれらから導出されて現ＣＵの時間的予測において使用されるような、マージ候補を意味する。

【0048】

ＡＴＭＶＰは、現ブロックの空間的近傍ブロックから導出された動きベクトルによってポイントされる参照ピクチャ中のエリアから、現ブロックの１つまたは複数の動きベクトルを時間的に予測することを含む。

【0049】

図１０に示されるように、ＶＶＣ Ｄｒａｆｔ３では、ペアワイズ平均候補が挿入される前に、ＨＭＶＰマージ候補が最初にマージリストに挿入される。さらに、これらは、ＨＭＶＰ候補が考慮されている時点で少なくとも２つの空きがマージリスト中に残っている場合に、マージ候補リストに含められる。実際、ＨＭＶＰ候補を考慮する前、マージリスト構築プロセスは、空間的および時間的予測子が利用可能ならそれらでリストを埋める。

【0050】

このマージリスト編成は、符号化効率の視点からは最適でない場合があることが観察されている。したがって、本出願で提案される解決法では、マージリストにおけるレート歪み効率の高い方式で、すなわち、例えばＶＴＭ－３のような既存のコーデックよりも符号化効率を改善するようにして、ＨＭＶＰ候補とペアワイズ候補を順序付けるための、いくつかの方法が提案される。特に、最大許容リストサイズ（６、８または１０個の最大候補）に応じて、ＨＭＶＰ候補をペアワイズ候補の前に挿入することが符号化効率の点で最適でない場合があることが認められている。

【0051】

これらの観察の結果として、本開示の基本原理の１つは、いくつかのペアワイズ候補をＨＭＶＰ候補の前にマージ候補リストに入れることである。この目的で、いくつかの実施形態が提供され、以下で詳述される。

【0052】

第１の実施形態によれば、ペアワイズ平均候補がＨＭＶＰ候補の前にマージ候補リストに挿入される。図１２により、平行移動マージ候補リストを構築するための提案されるプロセスが与えられる。このプロセスは、エンコーダとデコーダの両方によって実施される。図に示されるように、この修正されたプロセスは、ペアワイズ平均マージ候補とＨＭＶＰマージ候補がリストに入れられる順序を反転させることを含む。

【0053】

図１３により、提案されるプロセスのさらに修正されたバージョンが提供される。この変形は、前のものと比較してさらに精緻化されたプロセスであり、ＨＭＶＰ候補をリストに挿入する条件が修正されている。ここで、ＨＭＶＰ候補は、マージリストがまだ一杯でなければすぐに挿入される。この修正は、ＨＭＶＰ候補が考慮される前にペアワイズ候補がすでに計算されてリストに入れられていることによって正当化される。

【0054】

図１４に示される別の変形によれば、ペアワイズ平均候補を挿入する条件が修正され、それにより、ペアワイズ候補は、リスト中に少なくとも２つの空きが残っている場合に使用される。そうでない場合は、ペアワイズ候補は考慮されない。

【0055】

さらに他の実施形態によれば、ＨＭＶＰ候補とペアワイズ候補との間のマージリストの順序付けは、マージリストの最大許容サイズに依存する。実際、最大リストサイズが８のときにペアワイズ候補をＨＭＶＰ候補の前に入れることが符号化効率を改善することが観察されている。最大リストサイズが６の場合は、符号化効率の変化は観察されない。

【0056】

したがって、この実施形態では、順序付けを最大リストサイズに依存させることが提案される。最大リストサイズは、スライスまたはピクチャヘッダパラメータとして符号化され、ＶＶＣではこれまでのところ多くても６に等しい。この実施形態では、マージリストサイズを６よりも大きく、おそらくは１０までにできるようにすることが想定される。

【0057】

この場合、マージリストにおけるＨＭＶＰとペアワイズとの間の順序は、最大マージリストサイズの関数として自動的に決定される。それが閾値（例えば８）以上である場合は、マージリスト構築プロセスにおいてペアワイズ候補がＨＭＶＰの前に考慮される。そうでない場合は、ＶＶＣ Ｄｒａｆｔ３の場合のように、ＨＭＶＰ候補が先に考慮される。

【0058】

図１５および図１６の２つの変形によって、提案される実施形態が示される。図１５に示される第１の変形では、ＨＭＶＰ候補およびペアワイズ候補を考慮するそれぞれの条件は、ＶＴＭ－３と比較して変わらない。これは、ＨＭＶＰ候補が、マージリスト中に少なくとも２つの空きが残っている場合に処理されることを意味する。ペアワイズ候補は、リストが一杯でない場合に考慮される。

【0059】

図１６に示される第２の変形では、考慮される第１の候補タイプ（動的に選ばれた順序による）は、構築中のマージリスト中に少なくとも２つの空きが残っている場合に処理される。選ばれた順序で処理されている第２の候補タイプは、マージリストがまだ一杯でない場合に処理される。

【0060】

さらに他の実施形態によれば、ＨＭＶＰ候補とペアワイズ候補とが、マージリスト中でインタリーブされる。図１７にこれが示される。この新しい実施形態は、図１７の破線で囲まれた反復プロセスを含む。このループは、利用可能なＨＭＶＰ候補およびペアワイズ候補がなくなるまで、ＨＭＶＰ候補とペアワイズ候補とを交互に挿入することを含む。ループの間、利用可能なＨＭＶＰはもうないが、いくつかのペアワイズ候補はまだ利用可能である場合は、利用可能なペアワイズ候補がなくなるまでループが継続する。同様にして、ループの間、利用可能なペアワイズ候補はもうないが、いくつかのＨＭＶＰ候補はまだ利用可能である場合は、利用可能なＨＭＶＰ候補がなくなるまでループが継続する。

【0061】

この実施形態の変形によれば、図１８に示されるように、ＨＭＶＰ候補がマージリストに挿入されなければならかいかどうかチェックするために駆動されるテストが修正される。挿入すべき第１のＨＭＶＰ候補について、プロセスは、リスト中で少なくとも２つの空きが利用可能かどうかテストする。そうである場合は、ＨＭＶＰ候補は挿入され、そうでない場合は、プロセスは、代わりに挿入すべき第１のペアワイズ候補を考慮する。次に、後続の反復では、ＨＭＶＰ候補およびペアワイズ候補の挿入に同じ条件が使用される。すなわち、これらの候補は、リストがまだ一杯でない場合にリストに追加される。

【0062】

ＪＶＥＴ－Ｌ００９０では、ペアワイズ候補を追加することの利得は、低遅延構成よりもランダムアクセス構成において、より高いことが主張されている。ＨＥＶＣ結合候補は、ランダムアクセス構成よりも低遅延において、より効率的である。

【0063】

本実施形態によれば、マージ候補導出プロセスは、参照フレームの現在の時間的構造に依存する。全ての参照フレームが現在のピクチャ順序カウント（ＰＯＣ：Picture Order Count）よりも小さいＰＯＣを有する場合、すなわち参照フレームが過去にある場合は、現フレームは低遅延（ＬＤ）構成を有すると考えられる。いくつかの参照フレームは過去にあり他の参照フレームは未来にある場合、現フレームはランダムアクセス（ＲＡ）構成を有すると考えられる。本実施形態では、図１９に描かれるように、現ピクチャがランダムアクセス構成を有する場合はペアワイズ候補が追加され、現ピクチャが低遅延構成を有する場合は結合候補が追加される。

【0064】

この実施形態の変形では、ＨＭＶＰ挿入位置は、低遅延構成に依存する。

【0065】

別の実施形態によれば、リストにおけるＨＭＶＰ候補とペアワイズ平均候補との間の順序付けは、過去のコーディングユニットにおけるこの２つの候補それぞれの使用率に従って導出される。ＪＶＥＴ－Ｌ０３１８（例えば、非特許文献５参照）は、インター予測のためのランク付けベースの空間的マージ候補リストを提案している。ここでは、同様のアプローチが、平行移動マージ候補リストにおけるＨＭＶＰとペアワイズとの間のランク付けに適用される。したがって、コーディングユニットがデコードまたはエンコードされている限り、ＨＭＶＰおよびペアワイズそれぞれの使用率が維持される。次いで、より発生数の多いモードが先にリストに入れられる。

【0066】

提案される様々な実施形態は、レート歪み効率の高い方式でＨＭＶＰおよびペアワイズ候補を含むマージリストを提供する。図２０に、これらの実施形態の一般的な基本原理を示す汎用的なフローチャート３００が示される。ステップ３１０で、ピクチャの現ブロックについて、現ブロックに先行するブロックの動き情報を使用して１つまたは複数の履歴ベース動きベクトル予測子候補が決定される。さらに、ステップ３２０で、現ブロックについて、動きベクトル予測子候補のリスト中の動きベクトル予測子候補のペアを平均することによって１つまたは複数の平均動きベクトル予測子候補が決定される。リスト中の動きベクトル予測子候補は、現ブロックを空間的および／または時間的に囲むブロックの動き情報を使用して形成される。最後に、平均動きベクトル予測子候補のうちの１つまたは複数が、履歴ベース動きベクトル予測子候補のうちの１つまたは複数の前に、動きベクトル予測子候補のリストに挿入される。

【0067】

本出願は、ツール、特徴、実施形態、モデル、アプローチなどを含む様々な態様について述べている。これらの態様の多くは具体的に述べられ、また、少なくとも個別の特性を示すために、限定的と思われ得る方式でしばしば述べられる。しかし、これは記述を明確にするためであり、これらの態様の適用または範囲を限定しない。実際、種々の態様は全て、さらに他の態様を提供するために結合および交換されることが可能である。さらに、態様は、以前の出願で述べられた態様と結合および交換されることも可能である。

【0068】

本出願で記述および企図される態様は、多くの異なる形で実装され得る。図１、図２、および以下の図２１は、いくつかの実施形態を提供するが、他の実施形態も企図され、図１、図２、および図２１についての考察は実装形態の広さを限定しない。態様の少なくとも１つは一般に、ビデオ符号化および復号に関し、少なくとも１つの他の態様は一般に、生成または符号化されたビットストリームを送信することに関する。これらおよび他の態様は、方法として、装置として、述べられた方法のいずれかに従ってビデオデータを符号化もしくは復号するための命令が記憶されたコンピュータ可読記憶媒体として、かつ／または、述べられた方法のいずれかに従って生成されたビットストリームが記憶されたコンピュータ可読記憶媒体として、実装されることが可能である。

【0069】

本出願では、用語「再構築される」と「復号される」は交換可能に使用されることがあり、用語「画素」と「サンプル」は交換可能に使用されることがあり、用語「画像」と「ピクチャ」と「フレーム」は交換可能に使用されることがある。必ずしもそうとは限らないが普通は、用語「再構築される」はエンコーダ側で使用され、「復号される」はデコーダ側で使用される。

【0070】

本明細書では様々な方法について述べられ、各方法は、述べられた方法を達成するための１つまたは複数のステップまたはアクションを含む。方法の正しい動作のためにステップまたはアクションの特定の順序が必要とされるのでない限り、具体的なステップおよび／またはアクションの順序および／または使用は、修正または結合されてもよい。

【0071】

本出願で述べられた様々な方法および他の態様を使用して、図１および図２に示されるビデオエンコーダ１００およびデコーダ２００のモジュール、例えばエントロピー符号化および／または復号モジュール（１７０、１７５、２７５）を修正できる。さらに、これらの態様は、ＶＶＣまたはＨＥＶＣに限定されず、例えば、既存のものであろうと将来開発されるものであろうと他の標準および勧告に適用されることも可能であり、そのようないずれかの標準および勧告（ＶＶＣおよびＨＥＶＣを含む）の拡張に適用されることも可能である。別段の指示がない限り、または技術的に除外されない限り、本出願で述べられた態様は、個別にまたは組み合わせて使用されることが可能である。

【0072】

本出願では、様々な数値が使用される。例えば、マージ候補リスト中の残りのスポットの数、および、マージ候補リストの最大許容サイズに対する閾値が使用される。具体的な値は例示のためのものであり、述べられた態様はこれらの具体的な値に限定されない。

【0073】

図２１は、様々な態様および実施形態がその中で実装されるシステムの例のブロック図を示す。システム１０００は、後述される様々なコンポーネントを備えるデバイスとして具体化でき、本文書で述べられた態様のうちの１つまたは複数を実施するように構成される。このようなデバイスの例は、次のものに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、ディジタルマルチメディアセットトップボックス、ディジタルテレビジョン受像機、パーソナルビデオ録画システム、ネット接続家電、およびサーバなど、様々な電子デバイスを含む。システム１０００の要素は、単一でまたは組合せで、単一の集積回路（ＩＣ）、複数のＩＣ、および／または個別コンポーネントにおいて具体化されることが可能である。例えば、少なくとも１つの実施形態では、システム１０００の処理およびエンコーダ／デコーダ要素は、複数のＩＣおよび／または個別コンポーネントにわたって分散される。様々な実施形態で、システム１０００は、例えば通信バスまたは専用の入力および／もしくは出力ポートを介して、１つまたは複数の他のシステムまたは他の電子デバイスに通信可能に結合される。様々な実施形態で、システム１０００は、本文書で述べられた態様のうちの１つまたは複数を実装するように構成される。

【0074】

システム１０００は少なくとも１つのプロセッサ１０１０を備え、プロセッサ１０１０は、例えば本文書で述べられた様々な態様を実装するために、それにロードされた命令を実行するように構成される。プロセッサ１０１０は、組込みメモリ、入出力インタフェース、および当技術分野で知られている他の様々な回路を備え得る。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイスおよび／または不揮発性メモリデバイス）を備える。システム１０００は記憶デバイス１０４０を備え、記憶デバイス１０４０は、次のものに限定されないが、電気的に消去可能読取り可能な読取専用メモリ（ＥＥＰＲＯＭ）、読取専用メモリ（ＲＯＭ）、プログラム可能な読取専用メモリ（ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、および／または光学ディスクドライブを含む、不揮発性メモリおよび／または揮発性メモリを含み得る。記憶デバイス１０４０は、非限定的な例として、内部記憶デバイス、取り付けられた記憶デバイス（着脱可能および非着脱可能な記憶デバイスを含む）、並びに／またはネットワークアクセス可能な記憶デバイスを含み得る。

【0075】

システム１０００は、データを処理して符号化済みビデオまたは復号済みビデオを提供するように例えば構成された、エンコーダ／デコーダモジュール１０３０を備え、エンコーダ／デコーダモジュール１０３０は、それ自体のプロセッサおよびメモリを備えることができる。エンコーダ／デコーダモジュール１０３０は、符号化および／または復号機能を実施するためにデバイスに備えられることが可能なモジュールを表す。知られているように、デバイスは、符号化モジュールと復号モジュールの一方または両方を備えることができる。また、エンコーダ／デコーダモジュール１０３０は、システム１０００の別要素として実装されてもよく、または、当業者に知られているようにハードウェアとソフトウェアの組合せとしてプロセッサ１０１０内に組み込まれてもよい。

【0076】

本文書で述べられた様々な態様を実施するためにプロセッサ１０１０またはエンコーダ／デコーダ１０３０にロードされることになるプログラムコードは、記憶デバイス１０４０に記憶されて、その後、プロセッサ１０１０による実行のためにメモリ１０２０にロードされ得る。様々な実施形態によれば、プロセッサ１０１０、メモリ１０２０、記憶デバイス１０４０、およびエンコーダ／デコーダモジュール１０３０のうちの１つまたは複数は、本文書で述べられたプロセスの実施中に様々なアイテムのうちの１つまたは複数を記憶できる。記憶されるこのようなアイテムは、次のものに限定されないが、入力ビデオ、復号済みビデオまたは復号済みビデオの一部、ビットストリーム、行列、変数、および、等式や公式や演算や演算ロジックの処理からの中間結果または最終結果、を含み得る。

【0077】

いくつかの実施形態では、プロセッサ１０１０および／またはエンコーダ／デコーダモジュール１０３０の内部のメモリを使用して、命令が記憶され、また、符号化中または復号中に必要とされる処理のための作業メモリが提供される。しかし、他の実施形態では、処理デバイス（例えば、処理デバイスは、プロセッサ１０１０とエンコーダ／デコーダモジュール１０３０とのいずれかであってよい）の外部のメモリが、これらの機能のうちの１つまたは複数に使用される。外部メモリは、メモリ１０２０および／または記憶デバイス１０４０、例えば、ダイナミック揮発性メモリおよび／または不揮発性フラッシュメモリとすることができる。いくつかの実施形態では、外部不揮発性フラッシュメモリを使用して、例えばテレビジョンのオペレーティングシステムが記憶される。少なくとも１つの実施形態では、ＭＰＥＧ－２（ＭＰＥＧは、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐを指す。ＭＰＥＧ－２はＩＳＯ／ＩＥＣ１３８１８とも呼ばれ、１３８１８－１はＨ．２２２としても知られ、１３８１８－２はＨ．２６２としても知られる）、ＨＥＶＣ（ＨＥＶＣは、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇを指し、これはＨ．２６５およびＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られる）、またはＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ。ＪＶＥＴ（Joint Video Experts Team）によって開発中の新標準）などの場合のビデオ符号化および復号動作のための作業メモリとして、ＲＡＭなどの高速外部ダイナミック揮発性メモリが使用される。

【0078】

システム１０００の要素への入力は、ブロック１１３０に示されるように様々な入力デバイスを介して提供され得る。このような入力デバイスは、次のものに限定されないが、（ｉ）放送事業者によって電波を介して例えば送信されたＲＦ信号を受信する無線周波数（ＲＦ）部、（ｉｉ）コンポーネント（ＣＯＭＰ）入力端子（もしくはＣＯＭＰ入力端子のセット）、（ｉｉｉ）ＵＳＢ入力端子、および／または（ｉｖ）ＨＤＭＩ（登録商標）入力端子を含む。図２１に示されていない他の例は、コンポジットビデオを含む。

【0079】

様々な実施形態で、ブロック１１３０の入力デバイスには、当技術分野で知られているようにそれぞれの入力処理要素が関連付けられている。例えば、ＲＦ部は、次のことに適した要素に関連付けられ得る。すなわち、（ｉ）所望の周波数を選択すること（信号を選択すること、または信号を周波数帯域に帯域制限することとも言われる）、（ｉｉ）選択された信号をダウンコンバートすること、（ｉｉｉ）より狭い周波数帯域に再び帯域制限して、（例えば）いくつかの実施形態でチャネルと呼ばれ得る信号周波数帯域を選択すること、（ｉｖ）ダウンコンバートされ帯域制限された信号を復調すること、（ｖ）誤り訂正を実施すること、および（ｖｉ）多重分離してデータパケットの所望のストリームを選択することである。様々な実施形態のＲＦ部は、これらの機能を実施するための１つまたは複数の要素、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、およびデマルチプレクサを備える。ＲＦ部は、これらの機能のうち、受信信号をより低い周波数（例えば、中間周波数もしくはベースバンド付近周波数）またはベースバンドにダウンコンバートすることを例えば含む様々な機能を実施するチューナを備えることができる。あるセットトップボックスの実施形態では、ＲＦ部およびそれに関連付けられた入力処理要素は、有線（例えばケーブル）媒体を介して送信されたＲＦ信号を受信し、フィルタリング、ダウンコンバート、および再度のフィルタリングを行って所望の周波数帯域にすることによって周波数選択を実施する。様々な実施形態は、前述の（および他の）要素の順序を並べ替えること、これらの要素のいくつかを除去すること、並びに／または、同様のもしくは異なる機能を実施する他の要素を追加することを行う。要素を追加することは、既存の要素間に要素を挿入すること、例えば増幅器およびアナログ－ディジタル変換器を挿入することなどを含むことができる。様々な実施形態で、ＲＦ部はアンテナを含む。

【0080】

ＵＳＢおよび／またはＨＤＭＩ端子は、ＵＳＢおよび／またはＨＤＭＩ接続を介してシステム１０００を他の電子デバイスに接続するための、それぞれのインタフェースプロセッサを備え得る。入力処理の様々な態様、例えばリードソロモン誤り訂正が、必要に応じて例えば別個の入力処理ＩＣ内またはプロセッサ１０１０内で実装できることを理解されたい。同様に、ＵＳＢまたはＨＤＭＩインタフェース処理の態様も、必要に応じて別個のインタフェースＩＣ内またはプロセッサ１０１０内で実装され得る。復調され、誤り訂正され、多重分離されたストリームは、プロセッサ１０１０およびエンコーダ／デコーダ１０３０を例えば含む様々な処理要素に提供され、プロセッサ１０１０およびエンコーダ／デコーダ１０３０は、必要に応じて、出力デバイス上での提示のために、メモリおよび記憶要素と共に動作してデータストリームを処理する。

【0081】

システム１０００の様々な要素は、一体型の筐体内に設けられることができる。一体型の筐体内で、様々な要素は、適切な接続構成、例えば、Ｉｎｔｅｒ－ＩＣ（Ｉ２Ｃ）バスを含む当技術分野で知られている内部バス、ワイヤ配線、およびプリント回路板を使用して、相互接続されてそれらの間でデータを伝送することができる。

【0082】

システム１０００は、通信チャネル１０６０を介した他のデバイスとの通信を可能にする通信インタフェース１０５０を備える。通信インタフェース１０５０は、次のものに限定されないが、通信チャネル１０６０を介してデータを送受信するように構成された送受信機を含み得る。通信インタフェース１０５０は、次のものに限定されないが、モデムまたはネットワークカードを含むことができ、通信チャネル１０６０は、例えば有線および／または無線媒体内で実装できる。

【0083】

データは、様々な実施形態で、例えばＩＥＥＥ８０２．１１（ＩＥＥＥはＩｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓを指す）のようなＷｉ－Ｆｉネットワークなど、無線ネットワークを使用して、システム１０００にストリーミングされるかまたは他の方法で提供される。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に適合された通信チャネル１０６０および通信インタフェース１０５０を介して受信される。これらの実施形態の通信チャネル１０６０は通常、ストリーミング応用例および他のオーバーザトップ通信を可能にするためにインターネットを含む外部ネットワークへのアクセスを提供する、アクセスポイントまたはルータに接続される。他の実施形態は、入力ブロック１１３０のＨＤＭＩ接続を介してデータを送達するセットトップボックスを使用して、システム１０００にストリーミングデータを提供する。さらに他の実施形態は、入力ブロック１１３０のＲＦ接続を使用して、システム１０００にストリーミングデータを提供する。上述したように、様々な実施形態は、非ストリーミング方式でデータを提供する。様々な実施形態は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えばセルラーネットワークやブルートゥース（登録商標）ネットワークを使用する。

【0084】

システム１０００は、ディスプレイ１１００、スピーカ１１１０、および他の周辺デバイス１１２０を含む様々な出力デバイスに出力信号を提供できる。様々な実施形態のディスプレイ１１００は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、曲面ディスプレイ、および／または折畳み可能ディスプレイのうちの１つまたは複数を含む。ディスプレイ１１００は、テレビジョン、タブレット、ラップトップ、セルフォン（モバイルフォン）、または他のデバイスのためのものとすることができる。ディスプレイ１１００はまた、他のコンポーネントと統合されてもよく（例えばスマートフォンにおけるように）、または別個であってもよい（例えば、ラップトップのための外部モニタ）。他の周辺デバイス１１２０は、実施形態の様々な例で、スタンドアロンディジタルビデオディスク（またはディジタル多用途ディスク）（両方の用語に対してＤＶＲ）、ディスクプレーヤ、ステレオシステム、および／または照明システムのうちの１つまたは複数を含む。様々な実施形態は、システム１０００の出力に基づく機能を提供する１つまたは複数の周辺デバイス１１２０を使用する。例えば、ディスクプレーヤは、システム１０００の出力を再生する機能を実施する。

【0085】

様々な実施形態で、システム１０００とディスプレイ１１００、スピーカ１１１０、または他の周辺デバイス１１２０との間で、ＡＶ．Ｌｉｎｋ、コンシューマエレクトロニクスコントロール（ＣＥＣ）、またはユーザ介入ありもしくはなしのデバイス間制御を可能にする他の通信プロトコル、などのシグナリングを使用して制御信号が通信される。出力デバイスは、それぞれのインタフェース１０７０、１０８０および１０９０を通した専用接続を介して、システム１０００に通信可能に接続できる。あるいは、出力デバイスは、通信インタフェース１０５０を介して通信チャネル１０６０を使用してシステム１０００に接続されることもできる。ディスプレイ１１００およびスピーカ１１１０は、電子デバイス、例えばテレビジョンにおいて、システム１０００の他のコンポーネントと単一ユニット中で統合され得る。様々な実施形態で、ディスプレイインタフェース１０７０は、ディスプレイドライバ、例えばタイミングコントローラ（Ｔ Ｃｏｎ）チップなどを含む。

【0086】

あるいは、ディスプレイ１１００およびスピーカ１１１０は、例えば入力１１３０のＲＦ部が別個のセットトップボックスの一部である場合に、他のコンポーネントのうちの１つまたは複数とは別個であってもよい。ディスプレイ１１００およびスピーカ１１１０が外部コンポーネントである場合の様々な実施形態では、出力信号は、ＨＤＭＩポート、ＵＳＢポート、またはＣＯＭＰ出力を例えば含む専用の出力接続を介して提供され得る。

【0087】

実施形態は、プロセッサ１０１０によって実装されるコンピュータソフトウェアによって、またはハードウェアによって、またはハードウェアとソフトウェアの組合せによって実施できる。非限定的な例として、実施形態は、１つまたは複数の集積回路によって実装されることができる。メモリ１０２０は、技術環境に適した任意のタイプのものであってよく、非限定的な例として、光学メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、および取外し可能メモリなど、任意の適切なデータ記憶技術を使用して実装できる。プロセッサ１０１０は、技術環境に適した任意のタイプのものであってよく、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、および、マルチコアアーキテクチャに基づくプロセッサ、のうちの１つまたは複数を含むことができる。

【0088】

様々な実装形態は、復号を伴う。本出願で使用される「復号」は、表示に適した最終出力を生成するために、受信された符号化済みシーケンスに対して例えば実施されるプロセスの、全てまたは一部を含むことができる。様々な実施形態で、このようなプロセスは、デコーダによって通常実施されるプロセス、例えばエントロピー復号、逆量子化、逆変換、および差分復号、のうちの１つまたは複数を含む。様々な実施形態で、このようなプロセスはまた、または代替として、本出願で述べられた様々な実装形態のデコーダによって実施されるプロセスを含む。

【0089】

他の例として、一実施形態では、「復号」はエントロピー復号のみを指し、別の実施形態では、「復号」は差分復号のみを指し、別の実施形態では、「復号」はエントロピー復号と差分復号の組合せを指す。「復号プロセス」という句が動作のサブセットを特に指すものとされるか、それともより広範な復号プロセスを一般に指すものとされるかは、具体的な記述のコンテキストに基づいて明らかであろうし、当業者には十分理解されると思われる。

【0090】

様々な実装形態は、符号化を伴う。「復号」に関する上記の考察と同様にして、本明細書で使用される「符号化」は、符号化済みビットストリームを生成するために入力ビデオシーケンスに対して例えば実施されるプロセスの全てまたは一部を含むことができる。様々な実施形態で、このようなプロセスは、エンコーダによって通常実施されるプロセス、例えば区分化、差分符号化、変換、量子化、およびエントロピー符号化、のうちの１つまたは複数を含む。様々な実施形態で、このようなプロセスはまた、または代替として、本出願で述べられた様々な実装形態のエンコーダによって実施されるプロセスを含む。

【0091】

他の例として、一実施形態では、「符号化」はエントロピー符号化のみを指し、別の実施形態では、「符号化」は差分符号化のみを指し、別の実施形態では、「符号化」は差分符号化とエントロピー符号化の組合せを指す。「符号化プロセス」という句が動作のサブセットを特に指すものとされるか、それともより広範な符号化プロセスを一般に指すものとされるかは、具体的な記述のコンテキストに基づいて明らかであろうし、当業者には十分に理解されると思われる。

【0092】

図は、流れ図として提示されるときには、対応する装置のブロック図も提供すると理解されたい。同様に、図は、ブロック図として提示されるときには、対応する方法／プロセスの流れ図も提供すると理解されたい。

【0093】

本明細書で述べられた実装形態および態様は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号において実装されることが可能である。考察される特徴の実装形態は、単一の形の実装形態のコンテキストでのみ考察される（例えば方法としてのみ考察される）場合であっても、他の形（例えば装置やプログラム）で実装できる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアにおいて実装できる。方法は、例えばプロセッサにおいて実装されることが可能であり、プロセッサは、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを例えば含む処理デバイスを一般に指す。プロセッサはまた、例えばコンピュータ、セルフォン、ポータブル／パーソナルディジタルアシスタント（ＰＤＡ）、およびエンドユーザ間の情報の通信を容易にする他のデバイスなど、通信デバイスも含む。

【0094】

「一実施形態」または「実施形態」または「一実装形態」または「実装形態」、並びにこれらの他の変形への言及は、実施形態に関連して述べられた特定の特徴、構造、特性などが少なくとも１つの実施形態に含まれることを意味する。したがって、本出願の全体にわたる様々な場所で「一実施形態で」または「実施形態で」または「一実装形態で」または「実装形態で」という句、並びにいずれか他の変形が現れる場合、これは、全てが同じ実施形態を指すとは限らない。

【0095】

本出願は、様々な情報を「決定する」ことに言及することがある。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、または情報をメモリから取り出すことのうちの１つまたは複数を含むことができる。

【0096】

本出願は、様々な情報に「アクセスする」ことに言及することがある。情報にアクセスすることは、例えば、情報を受け取ること、情報を（例えばメモリから）取り出すこと、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することのうちの１つまたは複数を含むことができる。

【0097】

本出願は、様々な情報を「受け取る」ことに言及することがある。受け取ることは、「アクセスする」ことと同様、広範な用語であるものとされる。情報を受け取ることは、例えば、情報にアクセスすること、または情報を（例えばメモリから）取り出すことのうちの１つまたは複数を含むことができる。さらに、「受け取る」ことは通常、例えば情報の記憶、情報の処理、情報の伝送、情報の移動、情報のコピー、情報の消去、情報の計算、情報の決定、情報の予測、または情報の推定などの動作中に、何らかの方法で関係する。

【0098】

例えば「Ａ／Ｂ」、「Ａおよび／またはＢ」、および「ＡとＢのうちの少なくとも一方」の場合の、「／」、「および／または」、「少なくとも一方」のいずれかの使用は、列挙された第１のオプション（Ａ）のみの選択、または列挙された第２のオプション（Ｂ）のみの選択、または両方のオプション（ＡとＢ）の選択を含むものとされることを認識されたい。さらに他の例として、「Ａ、Ｂ、および／またはＣ」、および「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、このような語法は、列挙された第１のオプション（Ａ）のみの選択、または列挙された第２のオプション（Ｂ）のみの選択、または列挙された第３のオプション（Ｃ）のみの選択、または列挙された第１および第２のオプション（ＡおよびＢ）のみの選択、または列挙された第１および第３のオプション（ＡおよびＣ）のみの選択、または列挙された第２および第３のオプション（ＢおよびＣ）のみの選択、または３つのオプション全ての選択（ＡおよびＢおよびＣ）を含むものとされる。これは、当技術分野および関連技術分野の当業者には明確なように、列挙された数のアイテムに拡張され得る。

【0099】

当業者には明白であろうが、実装形態は、例えば記憶または伝送され得る情報を搬送するようにフォーマットされた、様々な信号を生成できる。情報は、例えば、方法を実施するための命令、または、述べられた実装形態の１つによって生成されたデータを含むことができる。例えば、信号は、述べられた実施形態のビットストリームを搬送するようにフォーマットされ得る。このような信号は、例えば、電磁波（例えば、スペクトルの無線周波数部分を使用する）として、またはベースバンド信号としてフォーマットされることが可能である。フォーマットすることは、例えば、データストリームを符号化し、符号化済みデータストリームでキャリアを変調することを含み得る。信号が搬送する情報は、例えば、アナログまたはディジタル情報であってよい。信号は、知られている様々な異なる有線または無線リンクを介して伝送され得る。信号は、プロセッサ可読媒体に記憶できる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7a】

【図7b】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】