特許 6388929 マルチレイヤビデオコーディングにおけるレイヤ間予測タイプに関するビットストリーム制約を処理すること

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6388929

(24)【登録日】2018年8月24日

(45)【発行日】2018年9月12日

(54)【発明の名称】マルチレイヤビデオコーディングにおけるレイヤ間予測タイプに関するビットストリーム制約を処理すること

(51)【国際特許分類】

   H04N 19/50 20140101AFI20180903BHJP

   H04N 19/30 20140101ALI20180903BHJP

   H04N 19/70 20140101ALI20180903BHJP

【ＦＩ】

   H04N19/50

   H04N19/30

   H04N19/70

【請求項の数】15

【全頁数】57

(21)【出願番号】特願2016-519571(P2016-519571)

(86)(22)【出願日】2014年6月9日

(65)【公表番号】特表2016-524877(P2016-524877A)

(43)【公表日】2016年8月18日

(86)【国際出願番号】US2014041505

(87)【国際公開番号】WO2014200899

(87)【国際公開日】20141218

【審査請求日】2017年5月11日

(31)【優先権主張番号】61/833,836

(32)【優先日】2013年6月11日

(33)【優先権主張国】US

(31)【優先権主張番号】61/859,702

(32)【優先日】2013年7月29日

(33)【優先権主張国】US

(31)【優先権主張番号】14/298,555

(32)【優先日】2014年6月6日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100194814

【弁理士】

【氏名又は名称】奥村 元宏

(72)【発明者】

【氏名】セレジン、バディム

(72)【発明者】

【氏名】ワン、イェ−クイ

【審査官】 堀井 啓明

(56)【参考文献】

【文献】 特表２０１０−５１７３４３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／００５１４７２（ＵＳ，Ａ１）

【文献】 Miska M. Hannuksela (Nokia)，MV-HEVC/SHVC HLS: On inter-layer sample and syntax prediction indications (combining aspects of JCTVC-M0205 and JCTVC-M0046)[online]， JCT3V-D JCT3V-D0313_v2，インターネット＜URL:http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/4_Incheon/wg11/JCT3V-D0313-v2.zip＞

【文献】 Miska M. Hannuksela Nokia Research Center Visiokatu 3, 33720 Tampere, Finland，MV-HEVC/SHVC HLS: On inter-layer sample and syntax prediction indications[online]， JCT3V-D JCT3V-D0042r1，インターネット＜URL:http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/4_Incheon/wg11/JCT3V-D0042-v2.zip＞

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

ビデオ情報をコーディングする方法であって、
少なくとも１つのタイプのレイヤ間予測（ＩＬＰ）を用いて、予測される現在のピクチャを識別することと、前記タイプのＩＬＰはレイヤ間動き予測（ＩＬＭＰ）、またはレイヤ間サンプル予測（ＩＬＳＰ）、あるいはその両方を備えるものである、
前記現在のピクチャが少なくともＩＬＭＰを用いて予測される場合、一時的動きベクトル予測のために用いられる前記現在のピクチャの配列ピクチャのインデックスを示す配列参照インデックス値を処理することと、前記配列参照インデックス値は前記現在のピクチャに関連し、ここにおいて前記配列参照インデックス値は、一時的動きベクトル予測のために用いられる第１の参照ピクチャを指定するものである、
前記配列参照インデックス値によって示される前記第１の参照ピクチャがＩＬＭＰにとって有効かどうかを決定することと、前記第１の参照ピクチャがＩＬＭＰにとって有効であるかどうかを前記決定することは、前記第１の参照ピクチャの動き予測有効フラグ値を決定することを備えるものである、
前記現在のピクチャが少なくともＩＬＳＰを用いて予測される場合、前記現在のピクチャにおけるブロックの予測ユニットのための参照ピクチャのインデックスを示す参照インデックス値を処理することと、前記参照インデックス値は前記現在のピクチャ内の前記ブロックに関連し、ここにおいて前記参照インデックス値はＩＬＰを用いて前記現在のピクチャ内の前記ブロックを予測する際に用いられる第２の参照ピクチャを指定するものである、
前記参照インデックス値によって示される前記第２の参照ピクチャがＩＬＳＰにとって有効かどうかを決定することと、前記第２の参照ピクチャがＩＬＳＰにとって有効であるかどうかを前記決定することは、前記第２の参照ピクチャのサンプル予測有効フラグ値を決定することを備えるものである、
を備える、方法。

【請求項2】

前記動き予測有効フラグ値が１と等しい場合、前記第１の参照ピクチャがＩＬＭＰにとって有効であると決定することをさらに備える、請求項１に記載の方法。

【請求項3】

前記動き予測有効フラグ値が０と等しい場合、前記第１の参照ピクチャがＩＬＭＰにとって有効ではないと決定することをさらに備える、請求項１に記載の方法。

【請求項4】

前記サンプル予測有効フラグ値が１と等しい場合、前記第２の参照ピクチャがＩＬＳＰにとって有効であると決定することをさらに備える、請求項１に記載の方法。

【請求項5】

前記サンプル予測有効フラグ値が０と等しい場合、前記第２の参照ピクチャがＩＬＳＰにとって有効ではないと決定することをさらに備える、請求項１に記載の方法。

【請求項6】

前記第１の参照ピクチャがＩＬＭＰにとって有効である場合、ビットストリーム内の前記配列参照インデックス値をシグナリングすること、または、前記第２の参照ピクチャがＩＬＳＰにとって有効である場合、前記ビットストリーム内の前記参照インデックス値をシグナリングすること、あるいはその両方を行うことをさらに備える、請求項１に記載の方法。

【請求項7】

ビットストリーム内の前記配列参照インデックス値または前記参照インデックス値を受信することをさらに備える、請求項１に記載の方法。

【請求項8】

前記第１の参照ピクチャがＩＬＭＰにとって有効である場合、ビットストリーム内の前記配列参照インデックス値を符号化すること、または、前記第２の参照ピクチャがＩＬＳＰにとって有効である場合、前記ビットストリーム内の前記参照インデックス値を符号化すること、あるいはその両方を行うことをさらに備える、請求項１に記載の方法。

【請求項9】

ビットストリーム内の前記配列参照インデックス値または前記参照インデックス値を復号することをさらに備える、請求項１に記載の方法。

【請求項10】

コンピュータハードウェアを備えるプロセッサ上で実行されると、前記プロセッサに、請求項１から９のうちのいずれか一項に記載の方法を実行させる命令を備える、非一時的コンピュータ可読媒体。

【請求項11】

ビデオ情報をコーディングするように構成された装置であって、
ビデオ情報を記憶するための手段と、
少なくとも１つのタイプのレイヤ間予測（ＩＬＰ）を用いて、予測される現在のピクチャを識別するための手段と、前記タイプのＩＬＰはレイヤ間動き予測（ＩＬＭＰ）、またはレイヤ間サンプル予測（ＩＬＳＰ）、あるいはその両方を備えるものである、
前記現在のピクチャが少なくともＩＬＭＰを用いて予測される場合、一時的動きベクトル予測のために用いられる前記現在のピクチャの配列ピクチャのインデックスを示す配列参照インデックス値を処理するための手段と、前記配列参照インデックス値は前記現在のピクチャに関連し、ここにおいて前記配列参照インデックス値は、一時的動きベクトル予測のために用いられる第１の参照ピクチャを指定するものである、
前記配列参照インデックス値によって示される前記第１の参照ピクチャがＩＬＭＰにとって有効かどうかを決定するようにさらに構成された前記配列参照インデックス値を処理するための前記手段と、前記手段は、前記第１の参照ピクチャの動き予測有効フラグ値を決定することによって、前記第１の参照ピクチャがＩＬＭＰにとって有効であるかどうかを決定するように構成されるものである、
前記現在のピクチャが少なくともＩＬＳＰを用いて予測される場合、前記現在のピクチャにおけるブロックの予測ユニットのための参照ピクチャのインデックスを示す参照インデックス値を処理するための手段と、前記参照インデックス値は前記現在のピクチャ内の前記ブロックに関連し、ここにおいて前記参照インデックス値は、ＩＬＰを用いて前記現在のピクチャ内の前記ブロックを予測する際に用いられる第２の参照ピクチャを指定するものである、
前記参照インデックス値によって示される前記第２の参照ピクチャがＩＬＳＰにとって有効かどうかを決定するようにさらに構成された前記参照インデックス値を処理するための前記手段と、前記手段は、前記第２の参照ピクチャのサンプル予測有効フラグ値を決定することによって、前記第２の参照ピクチャがＩＬＳＰにとって有効であるかどうかを決定するように構成されるものである、
を備える、装置。

【請求項12】

前記動き予測有効フラグ値が１と等しい場合、前記第１の参照ピクチャがＩＬＭＰにとって有効であると決定するようにさらに構成される、請求項１１に記載の装置。

【請求項13】

前記動き予測有効フラグ値が０と等しい場合、前記第１の参照ピクチャがＩＬＭＰにとって有効ではないと決定するようにさらに構成される、請求項１１に記載の装置。

【請求項14】

前記サンプル予測有効フラグ値が１と等しい場合、前記第２の参照ピクチャがＩＬＳＰにとって有効であると決定するようにさらに構成される、請求項１１に記載の装置。

【請求項15】

前記サンプル予測有効フラグ値が０と等しい場合、前記第２の参照ピクチャがＩＬＳＰにとって有効ではないと決定するようにさらに構成される、請求項１１に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本開示は、ビデオコーディングおよび圧縮の分野に関する。詳細には、本開示は、アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）のためのスケーラブルビデオコーディング（ＳＶＣ：scalable video coding）を含むＳＶＣ、並びにスケーラブルＨＥＶＣ（ＳＨＶＣ：Scalable HEVC）とも呼ばれる高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）のためのＳＶＣに関する。本開示は、ＭＶ−ＨＥＶＣと呼ばれる、ＨＥＶＣのマルチビュー拡張などの３Ｄビデオコーディングにも関する。様々な実施形態は、レイヤ間動き予測参照リサンプリング、およびレイヤ間サンプル予測参照リサンプリングの独立制御のための、並びにレイヤ間予測タイプに関するビットストリーム制約を処理するためのシステムおよび方法に関する。

【背景技術】

【0002】

[0002] デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ １０，Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。

【0003】

[0003] ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を含む。ブロックベースのビデオコーディングの場合、ビデオスライス（例えば、ビデオフレームまたはビデオフレームの一部分）が、ツリーブロック、コーディングユニット（ＣＵ：coding units）および／またはコーディングノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコーディングされた（Ｉ：intra-coded）スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコーディングされた（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

【0004】

[0004] 空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初は２次元アレイで構成され、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピーコーディングが適用され得る。

【発明の概要】

【0005】

[0005] 一般に、本開示は、スケーラブルビデオコーディング（ＳＶＣ）に関する技法を記載する。以下で説明する様々な技法は、レイヤ間動き予測参照リサンプリングおよびレイヤ間サンプル予測参照リサンプリングの独立制御のための方法およびデバイスを提供説明する。以下で説明する様々な技法は、レイヤ間予測タイプに関するビットストリーム制約を処理するための方法およびデバイスを提供説明する。

【0006】

[0006] 特定の態様によるビデオ情報をコーディングするための装置は、メモリとコンピューティングハードウェアとを含む。メモリユニットは、ビデオ情報を記憶するように構成される。コンピューティングハードウェアは、少なくとも１つのタイプのレイヤ間予測（ＩＬＰ：inter layer prediction）を用いて、予測される現在のピクチャを識別することであって、このタイプのＩＬＰはレイヤ間動き予測（ＩＬＭＰ：inter layer motion prediction）またはレイヤ間サンプル予測（ＩＬＳＰ：inter layer sample prediction）の１つまたは複数を備えるものである、識別することと、（１）ＩＬＭＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数と（２）ＩＬＳＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数とを制御することとをするように構成され、ここにおいてコンピューティングハードウェアは、ＩＬＭＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数を、ＩＬＳＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数とは無関係に制御するように構成される。

【0007】

[0007] 特定の態様によるビデオ情報をコーディングするための装置は、メモリとコンピューティングハードウェアとを含む。メモリユニットは、ビデオ情報を記憶するように構成される。コンピューティングハードウェアは、少なくとも１つのタイプのレイヤ間予測（ＩＬＰ）を用いて、予測される現在のピクチャを識別することであって、このタイプのＩＬＰはレイヤ間動き予測（ＩＬＭＰ）またはレイヤ間サンプル予測（ＩＬＳＰ）、あるいはその両方を備えるものである、識別することと、現在のピクチャが少なくともＩＬＭＰを用いて予測される場合、現在のピクチャに関連する配列参照インデックス値（collocated reference index value）を処理することと、ここにおいて配列参照インデックス値は、ＩＬＭＰを用いて現在のピクチャを予測する際に用いられる第１の参照ピクチャを示すもので、配列参照インデックス値によって示される第１の参照ピクチャがＩＬＭＰにとって有効かどうかを決定することと、現在のピクチャが少なくともＩＬＳＰを用いて予測される場合、現在のピクチャ内のブロックに関連する参照インデックス値を処理することと、ここにおいて参照インデックス値は、ＩＬＳＰを用いて現在のピクチャ内のブロックを予測する際に用いられる第２の参照ピクチャを示すもので、参照インデックス値によって示される第２の参照ピクチャがＩＬＳＰにとって有効かどうかを決定することとをするように構成される。

【0008】

[0008] １つまたは複数の例の詳細を、添付の図面および以下の説明に記載し、これは、本明細書で説明する本発明の概念の完全な範囲を限定するものではない。他の特徴、目的、および利点は、その説明および図面から、並びに特許請求の範囲から明らかになろう。

【0009】

[0009] 図面全体にわたって、参照される要素間の対応を示すために参照番号が再使用されることがある。図面は、本明細書に記載される例示的な実施形態を図示するために提供され、本開示の範囲を限定するものではない。

【図面の簡単な説明】

【0010】

【図1】本開示で説明する態様に従って技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図である。

【図2A】本開示で説明する態様に従って技法を実装し得るビデオエンコーダの一例を示すブロック図である。

【図2B】本開示で説明する態様に従って技法を実装し得るビデオエンコーダの一例を示すブロック図である。

【図3A】本開示で説明する態様に従って技法を実装し得るビデオデコーダの一例を示すブロック図である。

【図3B】本開示で説明する態様に従って技法を実装し得るビデオデコーダの一例を示すブロック図である。

【図4】本開示の態様による、レイヤ間動き予測参照リサンプリングおよびレイヤ間サンプル予測参照リサンプリングの独立制御のための例示的な方法を示すフローチャートである。

【図5】レイヤ間予測タイプに関するビットストリーム制約を処理するための例示的な方法を示すフローチャートである。

【発明を実施するための形態】

【0011】

[0017] 本開示で説明する技法は、概して、スケーラブルビデオコーディング（ＳＨＶＣ、ＳＶＣ）およびマルチビュー／３Ｄビデオコーディング（例えば、マルチビューコーディングプラス深度、ＭＶＣ＋Ｄ）に関係する。例えば、本技法は、高効率ビデオコーディング（ＨＥＶＣ）のスケーラブルビデオコーディング（ＳＨＶＣと呼ばれることがある、ＳＶＣ）拡張に関係し、それとともにまたはそれの中で使用され得る。ＳＨＶＣ、ＳＶＣ拡張では、ビデオ情報の複数のレイヤがあり得る。ビデオ情報の最下位レベルのレイヤは、ベースレイヤ（ＢＬ：base layer）または参照レイヤ（ＲＬ：reference layer）の機能を果たすことができ、ビデオ情報の最上部のレイヤ（または、最上位レイヤ）は、エンハンスメントレイヤ（ＥＬ：enhanced layer）の機能を果たすことができる。「エンハンストレイヤ」は「エンハンスメントレイヤ（enhancement layer）」と呼ばれることがあり、これらの用語は互換的に使用され得る。ベースレイヤは「参照レイヤ」と呼ばれることがあり、これらの用語は互換的に使用され得る。ベースレイヤとトップレイヤとの間の全てのレイヤは、追加のＥＬおよび／または参照レイヤの機能を果たすことができる。例えば、所与のレイヤは、ベースレイヤまたは任意の介在エンハンスメントレイヤなどの、所与のレイヤの下の（例えば、先行する）レイヤにとってＥＬであり得る。さらに、所与のレイヤはまた、所与のレイヤの上の（例えば、それに続く）１つまたは複数のエンハンスメントレイヤにとってＲＬの機能を果たすことができる。ベースレイヤ（例えば、例えばレイヤ識別子（ＩＤ）セットを有する、または「１」と等しい、最下位レイヤ）と、トップレイヤ（または、最上位レイヤ）との間の任意のレイヤは、所与のレイヤよりも上位のレイヤによるレイヤ間予測のための参照として使用することができ、また、所与のレイヤよりも下位のレイヤをレイヤ間予測のための参照として使用できる。例えば、所与のレイヤは、所与のレイヤよりも下位のレイヤをレイヤ間予測のための参照として使用して決定され得る。

【0012】

[0018] 簡単のために、ＢＬおよびＥＬのただ２つのレイヤに関して例を提示するが、以下で説明するアイデアおよび実施形態が複数のレイヤを用いる場合にも適用可能であることを十分理解されたい。さらに、説明を簡単にするために、「フレーム」または「ブロック」という用語をしばしば使用する。但し、これらの用語は限定的なものではない。例えば、以下で説明する技法は、限定はしないが、ピクセル、ブロック（例えば、ＣＵ、ＰＵ、ＴＵ、マクロブロックなど）、スライス、フレーム、ピクチャなどを含む様々なビデオユニットのいずれかとともに使用され得る。

【0013】

ビデオコーディング
[0019] ビデオコーディング規格は、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、およびそれのスケーラブルビデオコーディング（ＳＶＣ）拡張と、マルチビュービデオコーディング（ＭＶＣ）拡張と、マルチビューコーディングプラス深度（ＭＶＣ＋Ｄ）と拡張とを含む、（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４を含む。以下、ＨＥＶＣ ＷＤ１０と呼ばれる、最新のＨＥＶＣのドラフト仕様書が、
http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zipから入手可能である。ＨＥＶＣへのマルチビュー拡張、すなわちＭＶ−ＨＥＶＣもまた、ＪＣＴ−３Ｖによって開発されている。以下、ＭＶ−ＨＥＶＣ ＷＤ３の最新のワーキングドラフト（ＷＤ）が、
http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-C1004-v4.zipから入手可能である。ＨＥＶＣへのスケーラブル拡張、すなわちＳＨＶＣもまた、ＪＣＴ−ＶＣによって開発されている。以下、ＳＨＶＣ ＷＤ２と呼ばれる、ＳＨＶＣの最新のワーキングドラフト（ＷＤ）が、
http://phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M1008-v1.zipから入手可能である。

【0014】

[0020] ＳＶＣおよびＳＨＶＣでは、ビデオ情報が、複数のレイヤとして与えられ得る。最下位レベルにあるレイヤはちょうどベースレイヤ（ＢＬ）として働き、最上位レベルにあるレイヤはエンハンスメントレイヤ（ＥＬ）として働き得る。トップレイヤとボトムレイヤとの間にある全てのレイヤは、エンハンスメントレイヤと参照レイヤとの両方として働き得る。例えば、中間にあるレイヤは、それの下のレイヤのためのＥＬでよく、同時にそれの上のレイヤのためのＲＬであり得る。説明を簡単にするために、以下で説明する技法を示す際に、ＢＬとＥＬとの２つのレイヤがあると仮定できる。しかしながら、本明細書において説明する全ての技法が、複数の（２つ以上の）レイヤを用いる場合にも適用可能である。

【0015】

[0021] スケーラブルビデオコーディング（ＳＶＣ）は、（信号対雑音比（ＳＮＲ）とも呼ばれる）品質スケーラビリティ、空間スケーラビリティ、および／または時間スケーラビリティを実現するために使用され得る。例えば、一実施形態で、参照レイヤ（例えば、ベースレイヤ）は、第１の品質レベルでビデオを表示するのに十分なビデオ情報を含み、エンハンスメントレイヤは、参照レイヤと比べてさらなるビデオ情報を含み、その結果、参照レイヤおよびエンハンスメントレイヤは一緒に、第１の品質レベルよりも高い第２の品質レベル（例えば、少ない雑音、大きい解像度、より良いフレームレートなど）でビデオを表示するのに十分なビデオ情報を含む。強調レイヤは、ベースレイヤとは異なる空間解像度を有し得る。例えば、ＥＬとＢＬとの間の空間アスペクト比は、１．０、１．５、２．０、または他の異なる比であり得る。言い換えれば、ＥＬの空間アスペクトは、ＢＬの空間アスペクトの１．０倍、１．５倍、または２．０倍に等しいことがある。いくつかの例で、ＥＬの倍率は、ＢＬの倍率よりも大きいことがある。例えば、ＥＬ内のピクチャのサイズは、ＢＬ内のピクチャのサイズよりも大きいことがある。このようにして、限定ではないが、ＥＬの空間解像度がＢＬの空間解像度よりも大きいことは可能であり得る。

【0016】

[0022] Ｈ．２６４のＳＶＣ拡張、またはＨ．２６５のＳＨＶＣ拡張を参照するＳＶＣでは（上述のように）、現在のブロックの予測は、ＳＶＣのために提供される異なるレイヤを使用して行われ得る。そのような予測は、レイヤ間予測と呼ばれることがある。レイヤ間予測方法は、レイヤ間冗長性を低減するためにＳＶＣにおいて利用され得る。レイヤ間予測のいくつかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、およびレイヤ間残差予測があり得る。レイヤ間イントラ予測は、ベースレイヤ中のコロケートブロックの再構成を使用してエンハンスメントレイヤ中の現在ブロックを予測する。レイヤ間動き予測は、エンハンスメントレイヤにおける動きを予測するために、ベースレイヤの動き情報（動きベクトルを含む）を使用する。レイヤ間残差予測は、ベースレイヤの残差を使用してエンハンスメントレイヤの残差を予測する。

【0017】

概要
[0023] ＳＨＶＣでは、レイヤ間予測（ＩＬＰ）において用いられるレイヤ間参照ピクチャ（ＩＬＲＰ）が、レイヤ間動き予測（ＩＬＭＰ）、レイヤ間サンプル予測（ＩＬＳＰ）、またはその両方のために用いられ得る。ＩＬＲＰが用いられるＩＬＰのタイプは、レイヤ間予測タイプ（例えば、ＩＬＭＰ、ＩＬＳＰ、またはその両方）と呼ばれ得る。ＩＬＳＰのためだけに用いられる参照ピクチャについては、参照レイヤピクチャが現在のピクチャとは異なるピクチャサイズを有する場合、参照レイヤピクチャは、ＩＬＲＰを生成するためにサンプルリサンプリングされるべきであるが、動き情報は使用されないので動きリサンプリングされるべきではない。ＩＬＭＰのためだけに用いられる参照ピクチャについては、参照レイヤピクチャが現在のピクチャとは異なるピクチャサイズを有する場合、参照レイヤピクチャが、ＩＬＲＰを生成するために動きリサンプリングされるべきであるが、参照レイヤピクチャからのサンプルが使用されないのでサンプルリサンプリングされるべきではない。ＩＬＳＰとＩＬＭＰとの両方のために用いられる参照ピクチャについては、参照ピクチャが現在のピクチャとは異なるサイズを有する場合、参照レイヤピクチャがサンプルリサンプリングされて、動きリサンプリングされるべきである。

【0018】

[0024] ＳＨＶＣワーキングドラフト（ＷＤ）の初期バージョンでは、参照レイヤピクチャが現在のピクチャとは異なるサイズを有する場合、参照レイヤピクチャのレイヤ間予測タイプ（例えば、ＩＬＭＰ、ＩＬＳＰ、またはその両方）をチェックせずにレイヤ間参照ピクチャを導出するために、リサンプリングプロセスが呼び出される。これは、たとえＩＬＲＰからのサンプルが必要ない場合でも、ＩＬＭＰのためだけに用いられるＩＬＲＰをサンプルリサンプリングすることにつながることがある。さらに、いくつかのＳＨＶＣプロファイルでは、任意の特定のピクチャを復号するためにリサンプリングされ得るレイヤ間参照ピクチャの数が、特定の数（例えば、１）に限定され得る。しかしながら、２つのリサンプリングプロセス（例えば、サンプルリサンプリングおよび動きリサンプリング）は、リサンプリングされたピクチャの数をカウントする際に別々に考慮されていない。従って、レイヤ間動き予測のためだけに用いられるピクチャのためにサンプルリサンプリングプロセスが呼び出されると、サンプルリサンプリングプロセスは、特定のピクチャを復号する際に、もはやレイヤ間サンプル予測のための別のピクチャのために呼び出すことはできない。従って、ＩＬＭＰのためだけに用いられるＩＬＲＰをサンプルリサンプリングしないこと、また特定のピクチャのためにリサンプリングされたＩＬＲＰの数の限定に対して、ＩＬＭＰのためだけに用いられるＩＬＲＰのサンプルリサンプリングをカウントしないことが有利であろう。別の例では、ＩＬＳＰのためだけに用いられるピクチャのために動きリサンプリングプロセスが呼び出されると、動きリサンプリングプロセスが、特定のピクチャを復号する際に、もはやＩＬＭＰのための別のピクチャのために呼び出すことはできない。ＩＬＳＰのためだけに用いられるＩＬＲＰを動きリサンプリングしないこと、また特定のピクチャのためにリサンプリングされたＩＬＲＰの数の限定に対して、ＩＬＳＰのためだけに用いられるＩＬＲＰの動きリサンプリングをカウントしないことが有利であろう。議論を容易にするために、特定のピクチャのためにリサンプリングされるＩＬＲＰの数の限定は、「リサンプリングされたピクチャカウント」とも呼ばれ得る。

【0019】

[0025] これらおよび他の問題に対処するために、本技法は、レイヤ間動き予測のためだけに用いられるレイヤ間参照ピクチャのためのリサンプリングプロセスを呼び出すことを回避できる。本技法はまた、たとえＩＬＲＰが現在のピクチャとは異なるピクチャサイズを有する場合でも、リサンプリングされたピクチャカウントに対して、レイヤ間動き予測のためだけに用いられるレイヤ間参照ピクチャをカウントできない。

【0020】

[0026] 特定の実施形態では、本技法が、リサンプリングされたピクチャの数の制約に関してレイヤ間サンプル予測のために用いられるレイヤ間参照ピクチャとは別にレイヤ間動き予測のために用いられるレイヤ間参照ピクチャをカウントできる。例えば、本技法は、ＩＬＭＰのためのＩＬＲＰについての１つのリサンプリングされたピクチャカウント、およびＩＬＳＰのためのＩＬＲＰについての別のリサンプリングされたピクチャカウントを有することができる。

【0021】

[0027] さらに、本技法はまた、レイヤ間予測タイプに関するビットストリーム制約を提供および／または処理できる。例えば、本技法は、配列参照インデックス（例えば、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘ）が、少なくともＩＬＭＰのために用いられるＩＬＲＰだけを参照できる、ビットストリーム制約を提供および／または処理できる。本技法はまた、参照インデックス（例えば、ｒｅｆ＿ｉｄｘ）が、少なくともＩＬＳＰのために用いられるＩＬＲＰだけを参照できる、ビットストリーム制約を提供および／または処理できる。ビットストリーム制約は、１つまたは複数のフラグを用いて実装され得る。

【0022】

[0028] 添付の図面を参照しながら新規のシステム、装置、および方法の様々な態様について以下でより十分に説明する。但し、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈すべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように与えられる。本明細書の教示に基づいて、本開示の範囲は、本発明の他の態様とは無関係に実装されるにせよ、または本発明の他の態様と組み合わされるにせよ、本明細書で開示する新規のシステム、装置、および方法のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。例えば、本明細書に記載した態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本発明の範囲は、本明細書に記載の本発明の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示するどの態様も請求項の１つまたは複数の要素によって実施され得ることを理解されたい。

【0023】

[0029] 本明細書では特定の態様が記載されるが、これらの態様の多くの変形形態および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点が言及されるが、本開示の範囲は、特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々なワイヤレス技術、システム構成、ネットワーク、および伝送プロトコルに広く適用可能であるものとし、それらのいくつかを例として、図および好適な態様についての以下の説明において示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。

【0024】

ビデオコーディングシステム
[0030] 図１は、本開示で説明する態様による技法を利用し得る例示的なビデオコーディングシステム１０を示すブロック図である。本明細書で使用し説明する「ビデオコーダ」という用語は、総称的にビデオエンコーダとビデオデコーダの両方を指す。本開示では、「ビデオコーディング」または「コーディング」という用語が、ビデオ符号化とビデオ復号とを総称的に指し得る。

【0025】

[0031] 図１に示すように、ビデオコーディングシステム１０は、ソースデバイス１２と宛先デバイス１４とを含む。ソースデバイス１２は符号化ビデオデータを生成する。宛先デバイス１４は、ソースデバイス１２によって生成された符号化ビデオデータを復号し得る。ソースデバイス１２は、コンピュータ可読記憶媒体または他の通信チャネルを含み得る通信チャネル１６を介して宛先デバイス１４にビデオデータを提供できる。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、車内コンピュータ、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスを含み得る。ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のために装備され得る。

【0026】

[0032] 宛先デバイス１４は、通信チャネル１６を介して復号されるべき符号化ビデオデータを受信し得る。通信チャネル１６は、ソースデバイス１２から宛先デバイス１４に符号化されたビデオデータを移動させることができるタイプの媒体またはデバイスを備え得る。例えば、通信チャネル１６は、ソースデバイス１２が、符号化ビデオデータを宛先デバイス１４にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路など、ワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を可能にするために有用であり得るルータ、スイッチ、基地局、または他の機器を含み得る。

【0027】

[0033] いくつかの実施形態では、符号化データが、出力インターフェース２２から記憶デバイスに出力され得る。そのような例では、チャネル１６が、ソースデバイス１２によって生成された符号化されたビデオデータを記憶する記憶デバイスまたはコンピュータ可読記憶媒体に対応し得る。例えば、宛先デバイス１４は、ディスクアクセスまたはカードアクセスを介してコンピュータ可読記憶媒体にアクセスし得る。同様に、符号化データは、入力インターフェース２８によってコンピュータ可読記憶媒体からアクセスされ得る。コンピュータ可読記憶媒体は、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性メモリ、またはビデオデータを記憶するための他のデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。コンピュータ可読記憶媒体は、ソースデバイス１２によって生成された符号化ビデオを記憶し得るファイルサーバまたは別の中間記憶デバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介してコンピュータ可読記憶媒体から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１４に送信することが可能なタイプのサーバであり得る。例示的なファイルサーバは、（例えば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、インターネット接続を含む、標準のデータ接続を介して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（例えば、ＤＳＬ、ケーブルモデムなど）、または両方の組合せを含み得る。コンピュータ可読記憶媒体からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。

【0028】

[0034] 本開示の技法は、ワイヤレス適用例または設定に加えて適用例または設定を適用できる。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ：dynamic adaptive streaming over HTTP）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例をサポートするビデオコーディングに適用され得る。いくつかの実施形態では、システム１０が、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。

【0029】

[0035] 図１では、ソースデバイス１２が、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。ソースデバイス１２のビデオエンコーダ２０は、複数の規格または規格拡張に準拠するビデオデータを含むビットストリームをコーディングするための技法を適用するように構成され得る。他の実施形態では、ソースデバイスおよび宛先デバイスが他の構成要素または構成を含み得る。例えば、ソースデバイス１２は、外部カメラなど、外部ビデオソース１８からビデオデータを受信し得る。同様に、宛先デバイス１４は、内蔵ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。

【0030】

[0036] ソースデバイス１２のビデオソース１８は、ビデオカメラなどのビデオキャプチャデバイス、予めキャプチャされたビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。ビデオソース１８は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。いくつかの実施形態では、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４が、いわゆるカメラフォンまたはビデオフォンを形成し得る。キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成ビデオは、ビデオエンコーダ２０によって符号化され得る。符号化されたビデオ情報は、出力インターフェース２２によって、上記で説明したコンピュータ可読記憶媒体を含み得る通信チャネル１６に出力され得る。

【0031】

[0037] コンピュータ可読記憶媒体は、ワイヤレスブロードキャストまたはワイヤードネットワーク送信などの一時媒体、またはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、または他のコンピュータ可読媒体などの記憶媒体（例えば、非一時的記憶媒体）を含み得る。ネットワークサーバ（図示せず）は、（例えば、ネットワーク送信を介して）ソースデバイス１２から符号化されたビデオデータを受信し、宛先デバイス１４に符号化されたビデオデータを与え得る。ディスクスタンピング設備など、媒体製造設備のコンピューティングデバイスは、ソースデバイス１２から符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを生成し得る。従って、通信チャネル１６は、様々な形態の１つまたは複数のコンピュータ可読記憶媒体を含むと理解され得る。

【0032】

[0038] 宛先デバイス１４の入力インターフェース２８は、通信チャネル１６から情報を受信し得る。通信チャネル１６の情報は、ビデオエンコーダ２０によって定義され、ビデオデコーダ３０によって使用され得る、ブロックおよび他のコード化ユニット、例えば、ＧＯＰの特性および／または処理を記述するシンタックス要素（syntax elements）を含む、シンタックス情報を含み得る。ディスプレイデバイス３２は、復号されたビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを含み得る。

【0033】

[0039] ビデオエンコーダ２０およびビデオデコーダ３０は、現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格などのビデオコーディング規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。代替的に、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４，Ｐａｒｔ １０，Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他のプロプライエタリ規格もしくは業界規格、またはそのような規格の拡張に従って動作し得る。但し、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオコーディング規格の他の例としては、ＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３がある。図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０が、それぞれオーディオエンコーダおよびオーディオデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

【0034】

[0040] 図１は例にすぎず、本開示の技法は、符号化デバイスと復号デバイスとの間の任意のデータ通信を必ずしも含むとは限らないビデオコーディング設定（例えば、ビデオ符号化、またはビデオ復号）に適用できる。他の例では、データが、ローカルメモリから取り出されてもよく、ネットワークを介してストリーミングされてもよく、または同様の方法で取得されてもよい。符号化デバイスがデータを符号化してメモリに記憶してもよく、および／または復号デバイスがメモリからデータを取り出して復号してもよい。多くの例では、符号化および復号が、相互に通信しないデバイスによって行われるが、単にデータをメモリに符号化して、および／またはメモリからデータを取り出して復号する。

【0035】

[0041] ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組合せなど、様々な好適なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、１つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を行い得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２０および／またはビデオデコーダ３０を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備え得る。

【0036】

[0042] ＪＣＴ−ＶＣは、ＨＥＶＣ規格およびその拡張の開発に取り組んでおり、バージョン１が完成されている。ＨＥＶＣ規格化の取り組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコーディングデバイスの発展的モデルに基づく。ＨＭは、例えば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存のデバイスに対してビデオコーディングデバイスのいくつかの追加の能力を仮定する。例えば、Ｈ．２６４は９つのイントラ予測符号化モードを提供するが、ＨＭは３３個ものイントラ予測符号化モードを提供し得る。

【0037】

[0043] 概して、ＨＭの作業モデルは、ビデオフレームまたはピクチャが、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロック（treeblocks）または最大コーディングユニット（ＬＣＵ：largest coding unit）に分割され得ることを記載している。ビットストリーム内のシンタックスデータが、ピクセルの数に関して最大コーディングユニットであるＬＣＵのサイズを定義し得る。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分され得る。各ツリーブロックは、４分木（quadtree）に従ってコーディングユニット（ＣＵ）に分割され得る。概して、４分木データ構造はＣＵごとに１つのノードを含み、ルートノードはツリーブロックに対応する。ＣＵが４つのサブＣＵに分割された場合、ＣＵに対応するノードは４つのリーフノード（leaf nodes）を含み、リーフノードの各々はサブＣＵのうちの１つに対応する。

【0038】

[0044] ４分木データ構造の各ノードは、対応するＣＵのシンタックスデータを与え得る。例えば、４分木のノードは、そのノードに対応するＣＵがサブＣＵに分割されるかどうかを示す分割フラグを含み得る。ＣＵのシンタックス要素は、再帰的に定義され得、ＣＵがサブＣＵに分割されるかどうかに依存し得る。ＣＵがさらに分割されない場合、そのＣＵはリーフＣＵ（leaf-CU）と呼ばれる。本開示では、元のリーフＣＵの明示的分割が存在しない場合でも、リーフＣＵの４つのサブＣＵをリーフＣＵとも呼ぶ。例えば、１６×１６サイズのＣＵがさらに分割されない場合、この１６×１６ＣＵが決して分割されなくても、４つの８×８サブＣＵをリーフＣＵとも呼ぶ。

【0039】

[0045] ＣＵは、ＣＵがサイズの差異を有さないことを除いて、Ｈ．２６４規格のマクロブロックと同様の目的を有する。例えば、ツリーブロックは、４つの子ノード（サブＣＵとも呼ばれる）に分割され得、各子ノードは、今度は親ノードとなり、別の４つの子ノードに分割され得る。４分木のリーフノードと呼ばれる、最後の分割されていない子ノードは、リーフＣＵとも呼ばれるコーディングノードを備える。コード化ビットストリームに関連するシンタックスデータは、最大ＣＵ深さと呼ばれる、ツリーブロックが分割され得る最大回数を定義し得、また、コーディングノードの最小サイズを定義し得る。それに応じて、ビットストリームは最小コーディングユニット（ＳＣＵ：smallest coding unit）をも定義し得る。本開示では、ＨＥＶＣのコンテキストにおけるＣＵ、ＰＵ、もしくはＴＵ、または他の規格のコンテキストにおける同様のデータ構造（例えば、Ｈ．２６４／ＡＶＣにおけるマクロブロックおよびそれのサブブロック）のいずれかを指すために「ブロック」という用語を使用する。

【0040】

[0046] ＣＵは、コーディングノードと、コーディングノードに関連する予測ユニット（ＰＵ：prediction unit）および変換ユニット（ＴＵ：transform unit）とを含む。ＣＵのサイズは、コーディングノードのサイズに対応し、並びに形状が方形でなければならない。ＣＵのサイズは、８×８ピクセルから最大６４×６４以上のピクセルを有するツリーブロックのサイズまでに及び得る。各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含み得る。ＣＵに関連するシンタックスデータは、例えば、ＣＵを１つまたは複数のＰＵに区分することを記述し得る。区分モードは、ＣＵが、スキップモード符号化もしくはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、またはインター予測モード符号化されるかによって異なり得る。ＰＵは、形状が非方形になるように区分され得る。ＣＵに関連するシンタックスデータは、例えば、４分木に従って、ＣＵを１つまたは複数のＴＵに区分することも記述し得る。ＴＵは、形状が方形または非方形（例えば、矩形）であり得る。

【0041】

[0047] ＨＥＶＣ規格は、ＣＵごとに異なり得るＴＵに従う変換を可能にする。ＴＵは、一般に、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは、一般にＰＵと同じサイズであるかまたはＰＵよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルが、「残差クワッドツリー」（ＲＱＴ：residual quad tree）として知られるクワッドツリー構造を使用して、より小さいユニットに再分割され得る。ＲＱＴのリーフノードは変換ユニット（ＴＵ）と呼ばれることがある。ＴＵに関連するピクセル差分値は、量子化され得る変換係数を生成するために変換され得る。

【0042】

[0048] リーフＣＵは、１つまたは複数の予測ユニット（ＰＵ）を含み得る。概して、ＰＵは、対応するＣＵの全部または一部分に対応する空間的エリアを表し、そのＰＵの参照サンプルを取り出すためのデータを含み得る。その上、ＰＵは、予測に関係するデータを含む。例えば、ＰＵがイントラモード符号化されるとき、ＰＵについてのデータは、ＰＵに対応するＴＵについてのイントラ予測モードを記述するデータを含み得る残差４分木（ＲＱＴ）中に含まれ得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵのための１つまたは複数の動きベクトルを定義するデータを含み得る。ＰＵの動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（例えば、１／４ピクセル精度または１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトルの参照ピクチャリスト（例えば、リスト０、リスト１、またはリストＣ）を記述し得る。

【0043】

[0049] １つまたは複数のＰＵを有するリーフＣＵはまた、１つまたは複数の変換ユニット（ＴＵ）を含み得る。変換ユニットは、上記で説明したように、（ＴＵ４分木構造とも呼ばれる）ＲＱＴを使用して指定され得る。例えば、分割フラグは、リーフＣＵが４つの変換ユニットに分割されるかどうかを示し得る。次いで、各変換ユニットは、さらに、さらなるサブＴＵに分割され得る。ＴＵがさらに分割されないとき、そのＴＵはリーフＴＵと呼ばれることがある。概して、イントラコーディングの場合、リーフＣＵに属する全てのリーフＴＵは同じイントラ予測モードを共有する。すなわち、概して、リーフＣＵの全てのＴＵの予測値を計算するために同じイントラ予測モードが適用される。イントラコーディングの場合、ビデオエンコーダ２０は、イントラ予測モードを使用して各リーフＴＵの残差値をＴＵに対応するＣＵの一部と元のブロックとの間の差分として計算し得る。ＴＵは、必ずしもＰＵのサイズに制限されるとは限らない。従って、ＴＵはＰＵよりも大きくまたは小さくなり得る。イントラコーディングの場合、ＰＵは、同じＣＵの対応するリーフＴＵとコロケートされ得る。いくつかの例では、リーフＴＵの最大サイズが、対応するリーフＣＵのサイズに対応し得る。

【0044】

[0050] さらに、リーフＣＵのＴＵはまた、残差４分木（ＲＱＴ：residual quadtrees）と呼ばれる、それぞれの４分木データ構造に関連付けられ得る。すなわち、リーフＣＵは、リーフＣＵがどのようにＴＵに区分されるかを示す４分木を含み得る。ＴＵ４分木のルートノードは概してリーフＣＵに対応し、ＣＵ４分木のルートノードは概してツリーブロック（またはＬＣＵ）に対応する。分割されないＲＱＴのＴＵはリーフＴＵと呼ばれる。概して、本開示では、特に明記しない限り、リーフＣＵおよびリーフＴＵに言及するためにそれぞれＣＵおよびＴＵという用語を使用する。

【0045】

[0051] ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャグループ（ＧＯＰ）は、概して、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰ中に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコーディングノードに対応し得る。ビデオブロックは、固定サイズまたは可変サイズを有し得、指定のコーディング規格に応じてサイズが異なり得る。

【0046】

[0052] 一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向が区分されないが、他の方向が２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という表示によって示される。従って、例えば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ ＰＵと下部の２Ｎ×１．５Ｎ ＰＵとで水平方向に区分された２Ｎ×２Ｎ ＣＵを指す。

【0047】

[0053] 本開示では、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」が、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法、例えば、１６×１６（16x16）ピクセルまたは１６×１６（16 by 16）ピクセルを指すために互換的に使用され得る。概して、１６×１６ブロックは、垂直方向に１６ピクセルを有し（ｙ＝１６）、水平方向に１６ピクセルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮピクセルを有し、水平方向にＮピクセルを有し、但し、Ｎは非負整数値を表す。ブロック中のピクセルは行と列で構成され得る。さらに、ブロックは、必ずしも、水平方向に垂直方向と同じ数のピクセルを有する必要はない。例えば、ブロックはＮ×Ｍピクセルを備え得、但し、Ｍは必ずしもＮに等しいとは限らない。

【0048】

[0054] ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（ピクセル領域とも呼ばれる）空間領域において予測ピクセルデータを生成する方法またはモードを記述するシンタックスデータを備え得、ＴＵは、変換、例えば、残差ビデオデータへの離散サイン変換（ＤＳＴ）、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＴＵを変換して、ＣＵの変換係数を生成し得る。

【0049】

[0055] 変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は、変換係数の量子化を行い得る。量子化は、その最も広い通常の意味を有することが意図された広義の用語である。一実施形態で、量子化は、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。例えば、量子化中にｎビット値がｍビット値に切り捨てられ得、但し、ｎはｍよりも大きい。

【0050】

[0056] 量子化の後に、ビデオエンコーダは、変換係数を走査して、量子化変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、より高いエネルギー（従ってより低い周波数）の係数をアレイの前方に配置し、より低いエネルギー（従ってより高い周波数）の係数をアレイの後方に配置するように設計され得る。いくつかの例で、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するために予め定義された走査順序を利用し得る。他の例で、ビデオエンコーダ２０は適応型走査を行い得る。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、例えば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context-adaptive variable length coding）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディング、または別のエントロピー符号化方法に従って１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。

【0051】

[0057] ＣＡＢＡＣを行うために、ビデオエンコーダ２０は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、例えば、シンボルの隣接値が非０であるか否かに関係し得る。ＣＡＶＬＣを行うために、ビデオエンコーダ２０は、送信されるべきシンボルのための可変長コードを選択し得る。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、ＶＬＣの使用は、例えば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。

【0052】

[0058] ビデオエンコーダ２０は、さらに、ブロックベースのシンタックスデータ、フレームベースのシンタックスデータ、およびＧＯＰベースのシンタックスデータなどのシンタックスデータを、例えば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、またはＧＯＰヘッダ中でビデオデコーダ３０に送り得る。ＧＯＰシンタックスデータは、それぞれのＧＯＰ中のいくつかのフレームを記述し得、フレームシンタックスデータは、対応するフレームを符号化するために使用される符号化／予測モードを示し得る。

【0053】

ビデオエンコーダ
[0059] 図２Ａは、本開示で説明する態様による技法を実装し得るビデオエンコーダの例を示すブロック図である。ビデオエンコーダ２０は、ＨＥＶＣのような、ビデオビットストリームの単一のレイヤを処理するように構成され得る。さらに、ビデオエンコーダ２０は、限定ではないが、図４〜図５を参照して上記または以下でより詳細に説明する、レイヤ間動き予測参照リサンプリングおよびレイヤ間サンプル予測参照リサンプリングの独立制御の方法、レイヤ間予測タイプに関するビットストリーム制約の処理の方法、並びに関連プロセスを含む、本開示の技法のうちのいずれかまたは全てを行うように構成され得る。一例として、レイヤ間予測ユニット６６（与えられる場合）は、本開示で説明する技法のいずれかまたは全てを行うように構成され得る。但し、本開示の態様はそのように限定されない。いくつかの例では、本開示で説明する技法が、ビデオエンコーダ２０の様々な構成要素間で共有され得る。いくつかの例では、さらに、または代替で、プロセッサ（図示せず）が、本開示において説明する技法のいずれかまたは全てを行うように構成され得る。

【0054】

[0060] 説明のために、本開示は、ＨＥＶＣコーディングの文脈でビデオエンコーダ２０を説明する。しかしながら、本開示の技法は、他のコーディング規格または方法に適用可能であり得る。図２Ａのエンコーダ２０は、コーデックの単一のレイヤを示している。しかしながら、図２Ｂを参照してさらに説明するように、ビデオエンコーダ２０のうちのいくつかまたは全ては、マルチレイヤコーデックによる処理のために複製され得る。

【0055】

[0061] ビデオエンコーダ２０は、ビデオスライス内のビデオブロックの（イントラコーディング、レイヤコーディング、またはレイヤ間コーディングといつか呼ばれる）イントラ予測、インター予測、およびレイヤ間予測を行い得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間的冗長性を低減または除去するために時間的予測に依拠する。レイヤ間コーディングは、同じビデオコーディングシーケンス内の異なるレイヤ内のビデオに基づく予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースのコーディングモードのいずれかを指し得る。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースのコーディングモードのいずれかを指し得る。

【0056】

[0062] 図２Ａに示すように、ビデオエンコーダ２０は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図２Ａの例では、ビデオエンコーダ２０が、モード選択ユニット４０と、参照フレームメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。モード選択ユニット４０は、今度は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測ユニット４６と、レイヤ間予測ユニット６６と、パーティションユニット４８とを含む。参照フレームメモリ６４は、復号されたピクチャバッファを含み得る。復号されたピクチャバッファは、その通常の意味を有する、およびいくつかの実施形態で、参照フレームのビデオコーデックが管理するデータ構造を指す、広義の用語である。

【0057】

[0063] ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換ユニット６０と、加算器６２とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ（図２Ａに図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器６２の出力をフィルタ処理することになる。また、デブロッキングフィルタに加えて追加のフィルタ（ループ内またはループ後）が使用され得る。そのようなフィルタは、簡潔のために示されていないが、所望される場合、（ループ内フィルタとして）加算器５０の出力をフィルタ処理し得る。

【0058】

[0064] 符号化プロセス中に、ビデオエンコーダ２０は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは複数のビデオブロックに分割され得る。動き推定ユニット４２および動き補償ユニット４４は、時間的予測を行うために、１つまたは複数の参照フレーム中の１つまたは複数のブロックに対して、受信されたビデオブロックのインター予測コーディングを行う。イントラ予測ユニット４６は、代替的に、空間的予測を行うために、コーディングされるべきブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対して受信されたビデオブロックのイントラ予測コーディングを行い得る。ビデオエンコーダ２０は、例えば、ビデオデータのブロックごとに適切なコーディングモードを選択するために、複数のコーディングパスを行い得る。

【0059】

[0065] その上、パーティションユニット４８は、前のコーディングパスにおける前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。例えば、パーティションユニット４８は、初めにフレームまたはスライスをＬＣＵに区分し、レートひずみ分析（例えば、レートひずみ最適化など）に基づいてＬＣＵの各々をサブＣＵに区分し得る。モード選択ユニット４０は、ＬＣＵをサブＣＵに区分することを示す４分木データ構造をさらに生成し得る。４分木のリーフノードＣＵは、１つまたは複数のＰＵおよび１つまたは複数のＴＵを含み得る。

【0060】

[0066] モード選択ユニット４０は、例えば、誤差結果に基づいてコーディングモード、すなわち、イントラ予測モード、インター予測モード、またはレイヤ間予測モードのうちの１つを選択し、残差ブロックデータを生成するために、得られたイントラコード化ブロック、インターコード化ブロック、またはレイヤ間コード化ブロックを加算器５０に与え、参照フレームとして使用するための符号化ブロックを再構成するために、得られたイントラコード化ブロック、インターコード化ブロック、またはレイヤ間コード化ブロックを加算器６２に与え得る。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、パーティション情報、および他のそのようなシンタックス情報などのシンタックス要素をエントロピー符号化ユニット５６に与える。

【0061】

[0067] 動き推定ユニット４２および動き補償ユニット４４は、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定ユニット４２によって行われる動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在のフレーム（または他のコード化ユニット）内でコーディングされている現在のブロックに対する参照フレーム（または他のコード化ユニット）内の予測ブロックに対する現在のビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。予測ブロックは、絶対値差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきブロックにぴったり一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ２０が、参照フレームメモリ６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。例えば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間し得る。従って、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに対する動き探索を行い、分数ピクセル精度で動きベクトルを出力し得る。

【0062】

[0068] 動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライスにおけるビデオブロックのＰＵのための動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの参照ピクチャリストの各々は、参照フレームメモリ６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。

【0063】

[0069] 動き補償ユニット４４によって行われる動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することに関与し得る。いくつかの例で、動き推定ユニット４２および動き補償ユニット４４は機能的に統合され得る。現在のビデオブロックのＰＵについての動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストのうちの１つにおいて指す予測ブロックの位置を特定し得る。加算器５０は、以下で説明するように、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。いくつかの実施形態で、動き推定ユニット４２はルーマ成分に対して動き推定を行い得、動き補償ユニット４４は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用し得る。モード選択ユニット４０は、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。

【0064】

[0070] イントラ予測ユニット４６は、上記で説明したように、動き推定ユニット４２および動き補償ユニット４４によって行われるインター予測の代替として、現在ブロックをイントラ予測または計算し得る。特に、イントラ予測ユニット４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例で、イントラ予測ユニット４６は、例えば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し得、イントラ予測ユニット４６（または、いくつかの例で、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。

【0065】

[0071] 例えば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、並びに符号化ブロックを生成するために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを決定するために、様々な符号化ブロックのひずみおよびレートから比率を計算し得る。

【0066】

[0072] ブロックのためのイントラ予測モードを選択した後に、イントラ予測ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供し得る。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、送信ビットストリーム中に、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを含み得る。

【0067】

[0073] ビデオエンコーダ２０はレイヤ間予測ユニット６６を含み得る。レイヤ間予測ユニット６６は、ＳＶＣにおいて利用可能である１つまたは複数の異なるレイヤ（例えば、ベースレイヤまたは参照レイヤ）を使用して現在ブロック（例えば、ＥＬ中の現在ブロック）を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット６６は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、およびレイヤ間残差予測がある。レイヤ間イントラ予測は、ベースレイヤ中のコロケートブロックの再構成を使用してエンハンスメントレイヤ中の現在ブロックを予測する。レイヤ間動き予測は、ベースレイヤの動き情報を使用してエンハンスメントレイヤ中の動作を予測する。レイヤ間残差予測は、ベースレイヤの残差を使用してエンハンスメントレイヤの残差を予測する。ベースレイヤとエンハンスメントレイヤとが異なる空間解像度を有する場合、空間動きベクトルスケーリングおよび／または時間的スケーリング機能を使用するレイヤ間位置マッピングは、以下でより詳細に説明するように、レイヤ間予測ユニット６６によって行われる得る。

【0068】

[0074] ビデオエンコーダ２０は、コーディングされている元のビデオブロックから、モード選択ユニット４０からの予測データを減算することによって残差ビデオブロックを形成する。加算器５０は、この減算動作を行う１つまたは複数の構成要素を表す。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット５２は、ＤＣＴと概念的に同様である他の変換を行い得る。例えば、離散サイン変換（ＤＳＴ）、ウェーブレット変換、整数変換、サブバンド変換または他のタイプの変換も使用され得る。

【0069】

[0075] 変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成し得る。変換は、残差情報をピクセル値領域から周波数領域などの変換領域に変換し得る。変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット５４が、次いで、量子化変換係数を含む行列の走査を行い得る。代替的に、エントロピー符号化ユニット５６が走査を行い得る。

【0070】

[0076] 量子化の後、エントロピー符号化ユニット５６は、量子化変換係数をエントロピー符号化する。例えば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピーコーディング技法を行い得る。コンテキストベースのエントロピーコーディングの場合、コンテキストは、隣接するブロックに基づき得る。エントロピーコーディングユニット５６によるエントロピーコーディングの後、符号化されたビットストリームは、別のデバイス（例えば、ビデオデコーダ３０）に送信されるか、または後で送信するかまたは取り出すためにアーカイブされ得る。

【0071】

[0077] 逆量子化ユニット５８および逆変換ユニット６０は、それぞれ逆量子化および逆変換を適用して、例えば参照ブロックとして後で使用するために、ピクセル領域中で残差ブロックを再構成する。動き補償ユニット４４は、残差ブロックを参照フレームメモリ６４のフレームのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、再構成された残差ブロックに１つまたは複数の補間フィルタを適用して、動き推定において使用するサブ整数ピクセル値を計算し得る。加算器６２は、再構成された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照フレームメモリ６４に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコーディングするために動き推定ユニット４２および動き補償ユニット４４によって参照ブロックとして使用され得る。

【0072】

マルチレイヤビデオエンコーダ
[0078] 図２Ｂは、本開示で説明する態様に従って技法を実装し得るマルチレイヤビデオエンコーダ２１の例を示すブロック図である。ビデオエンコーダ２１は、ＳＨＶＣおよびマルチビューコーディングのような、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオエンコーダ２１は、本開示の技法のいずれかまたは全てを行うように構成され得る。

【0073】

[0079] ビデオエンコーダ２１は、ビデオエンコーダ２０Ａとビデオエンコーダ２０Ｂとを含み、それらの各々は、図２Ａのビデオエンコーダ２０として構成され得、ビデオエンコーダ２０に関して上記で説明した機能を行い得る。さらに、参照番号の再利用によって示されるように、ビデオエンコーダ２０Ａと２０Ｂとは、ビデオエンコーダ２０としてシステムとサブシステムとのうちの少なくともいくつかを含み得る。ビデオエンコーダ２１は、２つのビデオエンコーダ２０Ａと２０Ｂとを含むものとして示されているが、ビデオエンコーダ２１はそのように限定されず、任意の数のビデオエンコーダ２０レイヤを含み得る。いくつかの実施形態では、ビデオエンコーダ２１が、アクセスユニット内のピクチャまたはフレームごとにビデオエンコーダ２０を含み得る。例えば、５個のピクチャを含むアクセスユニットは、５個のエンコーダレイヤを含むビデオエンコーダによって処理されてもよく、符号化されてもよい。いくつかの実施形態では、ビデオエンコーダ２１が、アクセスユニット内のフレームよりも多くのエンコーダレイヤを含み得る。いくつかのそのようなケースでは、ビデオエンコーダレイヤのうちのいくつかが、いくつかのアクセスユニットを処理する際に非アクティブであり得る。

【0074】

[0080] ビデオエンコーダ２０Ａと２０Ｂとに加えて、ビデオエンコーダ２１はリサンプリングユニット９０を含み得る。リサンプリングユニット９０は、例えばエンハンスメントレイヤを作成するために、場合によっては受信されたビデオフレームのベースレイヤをアップサンプリングし得る。リサンプリングユニット９０は、受信されたフレームのベースレイヤに関連付けられる特定の情報をアップサンプリングし得るが、他の情報はアップサンプリングできない。例えば、リサンプリングユニット９０は、ベースレイヤの空間サイズまたはピクセル数をアップサンプリングし得るが、スライスの数またはピクチャオーダーカウントは一定のままでよい。場合によっては、リサンプリングユニット９０は、受信されたビデオを処理しない場合があり、および／または任意であり得る。例えば、場合によっては、モード選択ユニット４０がアップサンプリングを行い得る。いくつかの実施形態で、リサンプリングユニット９０は、スライス境界ルールのセットおよび／またはラスタ走査ルールを順守するために、レイヤをアップサンプリングして、１つまたは複数のスライスを再編成、再定義、修正、または調整するように構成される。主に、ベースレイヤ、またはアクセスユニット内の下位層のアップサンプリングとして説明したが、場合によっては、リサンプリングユニット９０はレイヤをダウンサンプリングし得る。例えば、ビデオのストリーミング中に帯域幅が低減されている場合、フレームはアップサンプリングではなくダウンサンプリングされ得る。リサンプリングユニット９０は、トリミングおよび／またはパディング操作も行うようにさらに構成され得る。

【0075】

[0081] リサンプリングユニット９０は、下位層エンコーダ（例えば、ビデオエンコーダ２０Ａ）の復号されたピクチャバッファ１１４からピクチャまたはフレーム（あるいは、ピクチャに関連付けられるピクチャ情報）を受信して、ピクチャ（または、受信されたピクチャ情報）をアップサンプリングするように構成され得る。次いで、このアップサンプリングされたピクチャは、下位層エンコーダと同じアクセスユニット内のピクチャを符号化するように構成された上位層エンコーダ（例えば、ビデオエンコーダ２０Ｂ）のモード選択ユニット４０に提供され得る。場合によっては、上位層エンコーダは、下位層エンコーダから除去された１つのレイヤである。他の場合では、図２Ｂのレイヤ０ビデオエンコーダとレイヤ１エンコーダとの間に、１つまたは複数の上位層エンコーダがあり得る。

【0076】

[0082] 場合によっては、リサンプリングユニット９０は、省略または迂回され得る。そのような場合、ビデオエンコーダ２０Ａの復号されたピクチャバッファ６４からのピクチャは、直接、または少なくともリサンプリングユニット９０、ビデオエンコーダ２０Ｂのモード選択ユニット４０に提供されることなしに提供され得る。例えば、ビデオエンコーダ２０Ｂに提供されたビデオデータ、およびビデオエンコーダ２０Ａの復号されたピクチャバッファ６４からの参照ピクチャが、同じサイズまたは解像度である場合、参照ピクチャは、任意のリサンプリングなしにビデオエンコーダ２０Ｂに提供され得る。

【0077】

[0083] いくつかの実施形態で、ビデオエンコーダ２１は、ビデオデータがビデオエンコーダ２０Ａに提供される前に、ダウンサンプリングユニット９４を用いて下位層エンコーダに提供されるべきビデオデータをダウンサンプリングする。あるいは、ダウンサンプリングユニット９４は、ビデオデータのアップサンプリングまたはダウンサンプリングが可能なリサンプリングユニット９０であり得る。他の実施形態で、ダウンサンプリングユニット９４は省略され得る。

【0078】

[0084] 図２Ｂに示されるように、ビデオエンコーダ２１は、マルチプレクサ９８、すなわちｍｕｘをさらに含み得る。ｍｕｘ９８は、組み合わされたビットストリームをビデオエンコーダ２１から出力できる。組み合わされたビットストリームは、ビデオエンコーダ２０Ａと２０Ｂとの各々からビットストリームを取って、所与の時間にどのビットストリームが出力されるかをオルタネート（ａｌｔｅｒｎａｔｅ）することによって作成され得る。場合によっては、２つ（または、２つ以上のビデオエンコーダレイヤの場合は、より多数）のビットストリームからのビットは、一度に１ビットが交互にオルタネートされるが、多くの場合、ビットストリームは異なるように組み合わせられる。例えば、出力ビットストリームは、選択されたビットストリームを一度に１ブロックをオルタネートすることによって作成され得る。別の例で、出力ビットストリームは、ビデオエンコーダ２０Ａと２０Ｂとの各々から非１：１比のブロックを出力することによって作成され得る。例えば、２つのブロックは、ビデオエンコーダ２０Ａから出力されたブロックごとにビデオエンコーダ２０Ｂから出力され得る。いくつかの実施形態で、ｍｕｘ９８からの出力ストリームは事前にプログラムされ得る。他の実施形態で、ｍｕｘ９８は、ソースデバイス１２上のプロセッサからなどの、ビデオエンコーダ２１の外部のシステムから受信された制御信号に基づいて、ビデオエンコーダ２０Ａ、２０Ｂからのビットストリームを組み合わせることができる。制御信号は、ビデオソース１８からのビデオの解像度またはビットレートに基づいて、チャネル１６の帯域幅に基づいて、ユーザに関連付けられるサブスクリプション（例えば、有料購読対、無料購読）に基づいて、あるいは、ビデオエンコーダ２１から所望される解像度出力を決定するための他の任意の要因に基づいて生成され得る。

【0079】

ビデオデコーダ
[0085] 図３Ａは、本開示で説明する態様による技法を実装し得るビデオデコーダの例を示すブロック図である。ビデオデコーダ３０は、ＨＥＶＣのような、ビデオビットストリームの単一のレイヤを処理するように構成され得る。さらに、ビデオデコーダ３０は、限定ではないが、図４〜図５を参照して上記または以下でより詳細に説明する、レイヤ間動き予測参照リサンプリングおよびレイヤ間サンプル予測参照リサンプリングの独立制御の方法、レイヤ間予測タイプに関するビットストリーム制約の処理の方法、並びに関連プロセスを含む、本開示の技法のうちのいずれかまたは全てを行うように構成され得る。一例として、レイヤ間予測ユニット７５は、本開示で説明する技法のいずれかまたは全てを行うように構成され得る。但し、本開示の態様はそのように限定されない。いくつかの例では、本開示で説明する技法が、ビデオデコーダ３０の様々な構成要素間で共有され得る。いくつかの例では、さらに、または代替で、プロセッサ（図示せず）が、本開示において説明する技法のいずれかまたは全てを行うように構成され得る。

【0080】

[0086] 説明のために、本開示は、ＨＥＶＣコーディングの文脈でビデオデコーダ３０を説明する。しかしながら、本開示の技法は、他のコーディング規格または方法に適用可能であり得る。図３Ａのデコーダ３０は、コーデックの単一のレイヤを示している。しかしながら、図３Ｂを参照してさらに説明するように、ビデオデコーダ３０のうちのいくつかまたは全ては、マルチレイヤコーデックによる処理のために複製され得る。

【0081】

[0087] 図３Ａの例では、ビデオデコーダ３０が、エントロピー復号ユニット７０と、動き補償ユニット７２と、イントラ予測ユニット７４と、レイヤ間予測ユニット７５と、逆量子化ユニット７６と、逆変換ユニット７８と、参照フレームメモリ８２と、加算器８０とを含む。いくつかの実施形態では、動き補償ユニット７２および／またはイントラ予測ユニット７４がレイヤ間予測を行うように構成され得、その場合、レイヤ間予測ユニット７５が省略され得る。ビデオデコーダ３０は、いくつかの例で、ビデオエンコーダ２０（図２Ａ）に関して説明した符号化パスとは概して逆の復号パスを行い得る。動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルに基づいて予測データを生成し得、イントラ予測ユニット７４は、エントロピー復号ユニット７０から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。参照フレームメモリ８２は、復号されたピクチャバッファを含み得る。復号されたピクチャバッファは、その通常の意味を有する、およびいくつかの実施形態で、参照フレームのビデオコーデックが管理するデータ構造を指す、広義の用語である。

【0082】

[0088] 復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット７０は、量子化係数、動きベクトルまたはイントラ予測モードインジケータ、および他のシンタックス要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット７０は、動きベクトルツーと他の予測シンタックス要素とを動き補償ユニット７２に転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。

【0083】

[0089] ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされるとき、イントラ予測ユニット７４は、シグナリングされたイントラ予測モードと、現在フレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（例えば、Ｂ、ＰまたはＧＰＢ）スライスとしてコーディングされるとき、動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、参照フレームメモリ８２に記憶された参照ピクチャに基づいてデフォルト構成技法を用いて、参照フレームリスト、リスト０とリスト１とを構成し得る。動き補償ユニット７２は、動きベクトルと他のシンタックス要素とをパースする（parsing）ことによって現在のビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在のビデオブロックのための予測ブロックを生成する。例えば、動き補償ユニット７２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（例えば、イントラまたはインター予測）と、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）と、スライスの参照ピクチャリストのうちの１つまたは複数のための構成情報（construction information）と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のいくつかを使用する。

【0084】

[0090] 動き補償ユニット７２はまた、補間フィルタに基づいて補間を行い得る。動き補償ユニット７２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。この場合、動き補償ユニット７２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。

【0085】

[0091] ビデオデコーダ３０もレイヤ間予測ユニット７５を含み得る。レイヤ間予測ユニット７５は、ＳＶＣにおいて利用可能である１つまたは複数の異なるレイヤ（例えば、ベースレイヤまたは参照レイヤ）を使用して現在ブロック（例えば、ＥＬ中の現在ブロック）を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット７５は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、およびレイヤ間残差予測がある。レイヤ間イントラ予測は、ベースレイヤ中のコロケートブロックの再構成を使用してエンハンスメントレイヤ中の現在ブロックを予測する。レイヤ間動き予測は、ベースレイヤの動き情報を使用してエンハンスメントレイヤ中の動作を予測する。レイヤ間残差予測は、ベースレイヤの残差を使用してエンハンスメントレイヤの残差を予測する。ベースレイヤとエンハンスメントレイヤとが異なる空間解像度を有する場合、空間動きベクトルスケーリングおよび／またはレイヤ間位置マッピングは、以下でより詳細に説明するように、時間的スケーリング機能を用いてレイヤ間予測ユニット７５によって行われ得る。

【0086】

[0092] 逆量子化ユニット７６は、ビットストリーム中で与えられ、エントロピー復号ユニット７０によって復号された量子化変換係数を逆量子化（inverse quantize）、例えば、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオデコーダ３０によって計算される量子化パラメータＱＰＹの使用を含み得る。

【0087】

[0093] 逆変換ユニット７８は、ピクセル領域において残差ブロックを生成するために、逆変換、例えば逆ＤＣＴ、逆ＤＳＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。

【0088】

[0094] 動き補償ユニット７２が、動きベクトルと他のシンタックス要素とに基づいて現在のビデオブロックのための予測ブロックを生成した後に、ビデオデコーダ３０は、逆変換ユニット７８からの残差ブロックを動き補償ユニット７２によって生成された対応する予測ブロックに加算することによって、復号されたビデオブロックを形成する。加算器９０は、この加算動作を行う１つまたは複数の構成要素を表す。所望される場合、ブロッキネスアーティファクトを除去するために、復号ブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。ピクセル遷移を平滑化するために、または場合によってはビデオ品質を改善するために、他のループフィルタも（コーディングループ中またはコーディングループ後のいずれかで）使用され得る。所与のフレームまたはピクチャ中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照フレームメモリ８２に記憶される。参照フレームメモリ８２はまた、図１のディスプレイデバイス３２などのディスプレイデバイス上での後の表示のための、復号されたビデオを記憶する。

【0089】

マルチレイヤデコーダ
[0095] 図３Ｂは、本開示で説明する態様に従って技法を実装し得るマルチレイヤビデオデコーダ３１の例を示すブロック図である。ビデオデコーダ３１は、ＳＨＶＣおよびマルチビューコーディングのような、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオデコーダ３１は、本開示の技法のいずれかまたは全てを行うように構成され得る。

【0090】

[0096] ビデオデコーダ３１は、ビデオデコーダ３０Ａとビデオデコーダ３０Ｂとを含み、それらの各々は、図３Ａのビデオデコーダ３０として構成され得、ビデオデコーダ３０に関して上記で説明した機能を行い得る。さらに、参照番号の再利用によって示されるように、ビデオデコーダ３０Ａと３０Ｂとは、ビデオデコーダ３０としてシステムとサブシステムとのうちの少なくともいくつかを含み得る。ビデオデコーダ３１は、２つのビデオデコーダ３０Ａと３０Ｂとを含むものとして示されているが、ビデオデコーダ３１はそのように限定されず、任意の数のビデオデコーダ３０レイヤを含み得る。いくつかの実施形態では、ビデオデコーダ３１が、アクセスユニット内のピクチャまたはフレームごとにビデオデコーダ３０を含み得る。例えば、５個のピクチャを含むアクセスユニットは、５個のデコーダレイヤを含むビデオデコーダによって処理されてもよく、復号されてもよい。いくつかの実施形態では、ビデオデコーダ３１が、アクセスユニット内のフレームよりも多くのデコーダレイヤを含み得る。いくつかのそのようなケースでは、ビデオデコーダレイヤのうちのいくつかが、いくつかのアクセスユニットを処理する際に非アクティブであり得る。

【0091】

[0097] ビデオデコーダ３０Ａと３０Ｂとに加えて、ビデオデコーダ３１はアップサンプリングユニット９２を含み得る。いくつかの実施形態では、アップサンプリングユニット９２が、フレームまたはアクセスユニットのための参照ピクチャリストに追加されるべきエンハンストレイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。このエンハンストレイヤは、参照フレームメモリ８２（例えば、その復号されたピクチャバッファなど）に記憶され得る。いくつかの実施形態では、アップサンプリングユニット９２が、図２Ａのリサンプリングユニット９０に関して説明する実施形態のうちのいくつかまたは全てを含み得る。いくつかの実施形態では、アップサンプリングユニット９２が、スライス境界ルールのセットおよび／またはラスタ走査ルールを順守するために、レイヤをアップサンプリングして、１つまたは複数のスライスを再編成、再定義、修正、または調整するように構成される。場合によっては、アップサンプリングユニット９２は、受信されたビデオフレームのレイヤをアップサンプリングおよび／またはダウンサンプリングするように構成されたリサンプリングユニットであり得る。

【0092】

[0098] アップサンプリングユニット９２は、下位層デコーダ（例えば、ビデオデコーダ３０Ａ）の復号されたピクチャバッファ８２からピクチャまたはフレーム（あるいは、ピクチャに関連付けられるピクチャ情報）を受信して、ピクチャ（または、受信されたピクチャ情報）をアップサンプリングするように構成され得る。次いで、アップサンプリングされたピクチャは、下位層デコーダと同じアクセスユニット内のピクチャを復号するように構成された上位層デコーダ（例えば、ビデオデコーダ３０Ｂ）のモード選択ユニット７１に提供され得る。場合によっては、上位層デコーダは、下位層デコーダから除去された１つのレイヤである。他の場合では、図３Ｂのレイヤ０デコーダとレイヤ１デコーダとの間に、１つまたは複数の上位層デコーダがあり得る。

【0093】

[0099] 場合によっては、アップサンプリングユニット９２は、省略または迂回され得る。そのような場合、ビデオデコーダ３０Ａの復号されたピクチャバッファ８２からのピクチャは、直接、または少なくともアップサンプリングユニット９２、ビデオデコーダ３０Ｂのモード選択ユニット７１に提供されることなしに提供され得る。例えば、ビデオデコーダ３０Ｂに提供されたビデオデータ、およびビデオデコーダ３０Ａの復号されたピクチャバッファ８２からの参照ピクチャが、同じサイズまたは解像度である場合、参照ピクチャは、アップサンプリングなしにビデオデコーダ３０Ｂに提供され得る。さらに、いくつかの実施形態では、アップサンプリングユニット９２が、ビデオデコーダ３０Ａの復号されたピクチャバッファ８２から受信された参照ピクチャをアップサンプリングまたはダウンサンプリングするように構成されたリサンプリングユニット９０であり得る。

【0094】

[00100] 図３Ｂに示されるように、ビデオデコーダ３１は、デマルチプレクサ９９、すなわちｄｅｍｕｘをさらに含み得る。ｄｅｍｕｘ９９は、符号化されたビデオビットストリームを複数のビットストリームに分割することができ、ｄｅｍｕｘ９９によって出力された各ビットストリームが、異なるビデオデコーダ３０Ａと３０Ｂとに提供されている。複数のビットストリームは、ビットストリームを受信することによって作成され得、ビデオデコーダ３０Ａと３０Ｂとの各々は、所与の時間にビットストリームの一部分を受信する。場合によっては、ｄｅｍｕｘ９９で受信されたビットストリームからのビットは、ビデオデコーダの各々（例えば、図３Ｂの例におけるビデオデコーダ３０Ａと３０Ｂ）の間で一度に１ビットがオルタネートされ得るが、多くの場合、ビットストリームは異なるように分割される。例えば、ビットストリームは、どのビデオデコーダがビットストリームを一度に１ブロック受信するかをオルタネートすることによって分割され得る。別の例で、ビットストリームは、ビデオデコーダ３０Ａと３０Ｂとの各々へのブロックの非１：１比によって分割され得る。例えば、２つのブロックは、ビデオデコーダ３０Ａに提供されたブロックごとにビデオデコーダ３０Ｂに提供され得る。いくつかの実施形態で、ｄｅｍｕｘ９９によるビットストリームの分割は事前にプログラムされ得る。他の実施形態で、ｄｅｍｕｘ９９は、宛先デバイス１４上のプロセッサからなどの、ビデオデコーダ３１の外部のシステムから受信された制御信号に基づいて、ビットストリームを分割できる。制御信号は、入力インターフェース２８からのビデオの解像度またはビットレートに基づいて、チャネル１６の帯域幅に基づいて、ユーザに関連付けられるサブスクリプション（例えば、有料購読対、無料購読）に基づいて、あるいは、ビデオデコーダ３１によって取得可能な解像度を決定するための他の任意の要因に基づいて生成され得る。

【0095】

参照レイヤタイプ
[00101] ＭＶ−ＨＥＶＣおよびＳＨＶＣの一実装形態では、レイヤ間予測のためにどのレイヤが用いられ得るかを指定するｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇシンタックス要素がある。０に等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ]［ｊ］は、インデックスｊを有するレイヤは、インデックスｉを有するレイヤのための直接参照レイヤではないと指定する。１に等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊを有するレイヤは、インデックスｉを有するレイヤのための直接参照レイヤであり得ると指定する。０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内にｉおよびｊのためのｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］が存在しない場合、０に等しいと推測される。

【0096】

[00102] さらに、レイヤ間動き予測とレイヤ間サンプル予測の２つのタイプのレイヤ間予測、またはその両方が適用され得る。いくつかの特定のレイヤにとってどのレイヤ間予測タイプが利用可能か指定するために、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｔｙｐｅがシグナリングされる。

【0097】

[00103] ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｔｙｐｅ［ｉ］［ｊ］は、変数ＮｕｍＳａｍｐｌｅＰｒｅｄＲｅｆＬａｙｅｒｓ［ｉ］、ＮｕｍＭｏｔｉｏｎＰｒｅｄＲｅｆＬａｙｅｒｓ［ｉ］、ＳａｍｐｌｅＰｒｅｄＥｎａｂｌｅｄＦｌａｇ［ｉ］［ｊ］、およびＭｏｔｉｏｎＰｒｅｄＥｎａｂｌｅｄＦｌａｇ［ｉ］［ｊ］を導出するために用いられる。変数ＮｕｍＳａｍｐｌｅＰｒｅｄＲｅｆＬａｙｅｒｓ［ｉ］は、インデックスｉを有するレイヤのサンプル予測のために用いられ得る参照レイヤの数を指すことができる。変数ＮｕｍＭｏｔｉｏｎＰｒｅｄＲｅｆＬａｙｅｒｓ［ｉ］は、インデックスｉを有するレイヤの動き予測のために用いられ得る参照レイヤの数を指すことができる。変数ＳａｍｐｌｅＰｒｅｄＥｎａｂｌｅｄＦｌａｇ［ｉ］［ｊ］は、インデックスｊを有するレイヤを用いるサンプル予測が、インデックスｉを有するレイヤにとって有効かどうかを指すことができる。変数ＭｏｔｉｏｎＰｒｅｄＥｎａｂｌｅｄＦｌａｇ［ｉ］［ｊ］は、インデックスｊを有するレイヤを用いる動き予測が、インデックスｉを有するレイヤにとって有効であることを指すことができる。ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｔｙｐｅ［ｉ］［ｊ］は、ビットストリーム内の、０から２まで（両方を含めて）の範囲内にあるべきである。ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｔｙｐｅ［ｉ］［ｊ］の値は０から２まで（両方を含めて）の範囲内にあるべきであるが、デコーダは、３から２³²−２の範囲内まで（両方を含めて）のｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｔｙｐｅ［ｉ］［ｊ］の値がシンタックス内に現れることを許容するべきである。

【0098】

[00104] 変数ＮｕｍＳａｍｐｌｅＰｒｅｄＲｅｆＬａｙｅｒｓ［ｉ］、ＮｕｍＭｏｔｉｏｎＰｒｅｄＲｅｆＬａｙｅｒｓ［ｉ］、ＳａｍｐｌｅＰｒｅｄＥｎａｂｌｅｄＦｌａｇ［ｉ］［ｊ］、ＭｏｔｉｏｎＰｒｅｄＥｎａｂｌｅｄＦｌａｇ［ｉ］［ｊ］、ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｉ］、ＲｅｆＬａｙｅｒＩｄ［ｉ］［ｊ］、ＭｏｔｉｏｎＰｒｅｄＲｅｆＬａｙｅｒＩｄ［ｉ］［ｊ］、およびＳａｍｐｌｅＰｒｅｄＲｅｆＬａｙｅｒＩｄ［ｉ］［ｊ］は、以下のように導出される。

【0099】

【数1】

【0100】

リサンプリングを伴うレイヤ間参照のために用いられるピクチャの数の制限
[00105] ＳＨＶＣ一実装形態では、任意の特定のピクチャを復号するためにリサンプリングされる必要があるレイヤ間参照ピクチャの数が最大１に限定される。リサンプリングプロセスは、例えば、参照レイヤとエンハンスメントレイヤが異なるピクチャサイズを有する場合に呼び出される。

【0101】

[00106] しかしながら、リサンプリングされるレイヤ間参照ピクチャの数に限定を有することは、以下のような問題を引き起こすことがある。
・現在のピクチャを復号する際に、（サンプル予測ではなく）レイヤ間動き予測のためだけに用いられるピクチャも、それが現在のピクチャとは異なる空間分解能を有する場合はリサンプリングされる。しかしながら、そのようなピクチャのリサンプリングは、コンピューティングリソースを不要に浪費することがある。
・現在のピクチャを復号する際に、レイヤ間動き予測のためだけに用いられるピクチャが存在する場合、リサンプリングを伴うレイヤ間参照のために用いられるピクチャの数は１を超えることができないという制限に従って、レイヤ間サンプル予測のための他のどのピクチャもサンプルリサンプリングできない。言い換えれば、そのようなピクチャが存在する場合、現在のピクチャと同じ分解能を有する他のレイヤ間ピクチャがない場合、たとえ異なる空間分解能を有する別の低レイヤピクチャがあっても、サンプルのレイヤ間予測は現在のピクチャのために使用できない。
・レイヤ間サンプル予測のために用いられないと示されている、またはレイヤ間動き予測のために用いられないと示されている、特定の直接参照レイヤのピクチャについて、ビットストリーム適合性制限が欠けている。
・レイヤ間参照のためのピクチャが、準最適であるピクチャのために示された異なるタイプのレイヤ間予測間に違いをもたらさずに、（参照ピクチャリスト修正コマンドの前に）初期参照ピクチャリストに含まれている。
・スライスヘッダ内でシグナリングされたｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘのコーディングと、ブロック（例えば、ＣＵ、ＰＵ等）レベルでシグナリングされた参照インデックスとが、より多くのビットを不要に使用することがある。

【0102】

マルチレイヤビデオコーディングにおけるレイヤ間予測タイプ
[00107] これらおよび他の問題に対処するために、特定の態様による本技法は、レイヤ間動き予測のためにリサンプリングされる参照ピクチャの数と、レイヤ間サンプル予測のためにリサンプリングされる参照ピクチャの数とを独立制御できる。本技法はまた、レイヤ間予測タイプに関するビットストリーム制約を提供および／または処理できる。より具体的には、本技法は、配列参照インデックス（例えば、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘ）が、少なくともＩＬＭＰのために用いられるＩＬＲＰだけを参照できる、ビットストリーム制約を提供および／または処理できる。本技法はまた、参照インデックス（例えば、ｒｅｆ＿ｉｄｘ）が、少なくともＩＬＳＰのために用いられるＩＬＲＰだけを参照できる、ビットストリーム制約を提供および／または処理できる。

【0103】

[00108] このように、現在のピクチャを復号する際に、ＩＬＭＰにおいてのみ用いられるＩＬＲＰは、サンプルリサンプリングされる必要がない。また、ＩＬＭＰにおいてのみ用いられるＩＬＲＰは、別のＩＬＲＰがＩＬＰにおいて用いられることを防ぐ必要はない。例えば、ＩＬＳＰにおいて用いられるＩＬＲＰは、ＩＬＰにおいてサンプルリサンプリングされて用いられ得る。これは、より正確な予測と、より効率的なコーディングをもたらし得る。例えば、１つまたは複数のタイプのＩＬＰ（例えば、上記の例におけるＩＬＳＰ）が用いられ得る。さらに、不要なリサンプリングプロセスを呼び出すことを回避することによって、計算の複雑性が減少され得る。本技法に関する特定の詳細は、以下で説明する。

【0104】

レイヤ間サンプル予測のために用いられないと示されるピクチャ
[00109] 特定の態様によれば、本技法は、レイヤ間参照ピクチャがレイヤ間動き予測のためだけに用いられると示されている場合、リサンプリングプロセスからレイヤ間参照ピクチャを除外できる。このタイプのピクチャのために、サンプル（ピクセル）情報がメモリに記憶される必要はない。

【0105】

[00110] さらに、レイヤ間動き予測のためだけに用いられると示されるレイヤ間参照ピクチャは、サンプルは予測間目的のために用いられないので、サンプルリサンプリングプロセスを必要とするピクチャとしてカウントされない。その結果、異なる空間解像度を持つ別の低レイヤピクチャが現在のピクチャのためのサンプルのレイヤ間予測のために用いられ得る。

【0106】

[00111] さらに、レイヤ間サンプル予測のために用いられないと示されるピクチャは、ブロック（例えば、ＣＵ、ＰＵ等）レベルでシグナリングされた参照インデックスによって参照することはできない。例えば、そのようなピクチャは、予測間のために使用することはできない。

【0107】

[00112] さらに、参照インデックスシグナリングにおいて用いられる参照ピクチャの合計数は、ブロック（例えば、ＣＵ、ＰＵ等）レベルでシグナリングされた参照インデックスがより少ないビットを使用できるように、予測間のために用いられ得るピクチャだけを含むように調整され得る。

【0108】

レイヤ間動き予測のために用いられないと示されるピクチャ
[00113] 特定の態様によれば、レイヤ間動き予測のために用いられないと示される（例えば、レイヤ間サンプル予測のためだけに用いられると示される）ピクチャのために、動き情報は導出される必要はなく、このピクチャは一時的動きベクトル（ＴＭＶＰ）導出のために用いることができない。例えば、そのようなピクチャは、ＴＭＶＰ導出において配列ピクチャとして用いることができない。また、このピクチャについて動き情報を記憶できない。

【0109】

[00114] 例えばｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘシンタックス要素によって定義された配列ピクチャは、レイヤ間動き予測のために用いられないと示されるピクチャではあり得ないことが含意され得る。言い換えれば、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘは、レイヤ間サンプル予測のためだけの、またはレイヤ間予測のためにまったく用いられない低レイヤピクチャを指してはならない。

【0110】

[00115] さらに、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘ範囲を定義するために用いられる参照ピクチャの合計数は、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘのシグナリングがより少ないビットを使用できるように、ＴＭＶＰ導出のために用いられ得るピクチャだけを含むように調整され得る。

【0111】

[00116] このタイプの参照ピクチャを配列ピクチャとして使用しない代わりに、レイヤ間サンプルだけの予測ピクチャにデフォルト動き情報が割り当てられ得る。デフォルト動き情報は、少なくとも予測モードと、動きベクトルと、参照インデックスと、参照ピクチャピクチャオーダーカウント（ＰＯＣ）とを含み得る。例えば、動き情報を指定しないイントラ予測モードが、レイヤ間サンプルだけの予測ピクチャのために割り当てられ得る。そのような場合、イントラ予測モードが割り当てられているためにこのピクチャが配列ピクチャとして用いられる場合、どのＴＭＶＰも導出されない。従って、デフォルト動き情報が割り当てられ得る。

【0112】

サンプルリサンプリングされ、動きリサンプリングされたレイヤ間ピクチャの数の個別の制約
[00117] 一実施形態では、レイヤ間動き予測のために用いられるレイヤ間参照ピクチャが、リサンプリングされたピクチャの数の制約に対して、レイヤ間サンプル予測とは別にカウントされる。ＳＨＶＣの初期バージョンでは、ただ１つのリサンプリングされたピクチャが用いられ得る。サンプルリサンプリングされ、動きリサンプリングされたピクチャは別々にカウントされず、その結果、上述のように、場合によっては、ただ１つのＩＬＰタイプ（例えば、ＩＬＭＰのみ、またはＩＬＳＰのみ）が用いられ得る。サンプルリサンプリングされ、動きリサンプリングされたピクチャが別々にカウントされる場合、最大で１つのサンプルリサンプリングが適用されてよく、最大で１つの動きリサンプリングが適用され得る。

【0113】

[00118] 別の実施形態では、サンプルリサンプリングされたレイヤ間ピクチャの数と、動きリサンプリングされたレイヤ間ピクチャの数とが、異なる数で別々に制限および／または限定され得る。例えば、１つのサンプルリサンプリングされたレイヤ間ピクチャと、２つの動きリサンプリングされたレイヤ間ピクチャが用いられるよう制限され得る。

【0114】

[00119] 上述の技法は、以下の例において示されるように実装され得る。例は、ＳＨＶＣの初期バージョンとの関連で提供される。ＳＨＶＣの初期バージョンからの変更点は、イタリック体で示される。特定の実施形態では、本技法が、リサンプリングされたピクチャ数に対して、レイヤ間動き予測だけに用いられるピクチャをカウントしないことがある。

【0115】

【表1】

【0116】

[00120] 例１で、動きリサンプリングプロセスは、ＩＬＭＰのためだけにＩＬＲＰが用いられるサンプルリサンプリングプロセスとは別に呼ばれる。この例では、ＩＬＲＰピクチャがＩＬＭＰとＩＬＳＰとの両方のために用いられる場合、動きリサンプリングプロセスがサンプルリサンプリングプロセスを通じて呼び出される。代替の説明は例２において提供される。上記および以下の例および説明では、イタリック体の部分がＳＨＶＣの初期バージョンへの変更を示し得る。下線部分は、ＳＨＶＣだけに対して特異的であり、ＭＶ−ＨＥＶＣ内には存在しない部分を示し得る。
例２
[00121] 例２では、ＩＬＭＰおよび／またはＩＬＳＰのためにＩＬＲＰが用いられるかどうかに応じて２つのプロセス（例えば、動きリサンプリングおよびサンプルリサンプリング）が個別に呼ばれる、代替の説明が提供される。動きリサンプリングプロセスの呼出しは、例えば、仕様テキストの読みやすさを向上させるために、セクションＧ．８．１．４におけるサンプルリサンプリングから削除されて、別のセクションＧ．８．１．５に移動される。

【0117】

【表2】

【0118】

【0119】

【0120】

【0121】

【0122】

【0123】

ビットストリーム制約
[00122] 上記で説明したように、本技法はまた、レイヤ間予測タイプに関するビットストリーム制約を提供および／または処理できる。「ビットストリーム制約」という用語または表現は、最も広い通常の意味を有することを意図する広義の用語および／または表現である。一実施形態では、ビットストリーム制約が、エンコーダまたはデコーダが特定の規格に準拠するように従うべきルールを指すことができる。例えば、特定の標準ビットストリームへの準拠は、制約に違反する要素（例えば、シンタックス要素）を含めるべきではない。制約違反の場合には、ビットストリームは準拠していないものとして扱われ、デコーダによって復号されないことがある。

【0124】

[00123] より具体的には、本技法は、配列参照インデックス（例えば、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘ）が、少なくともＩＬＭＰのために用いられるＩＬＲＰだけを参照できる、ビットストリーム制約を提供および／または処理できる。本技法はまた、参照インデックス（例えば、ｒｅｆ＿ｉｄｘ）が、少なくともＩＬＳＰのために用いられるＩＬＲＰだけを参照できる、ビットストリーム制約を提供および／または処理できる。いくつかの実施形態では、ビットストリーム制約が、以下のように定義され得る。例えば、
・ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘは、一時的動きベクトル予測のために用いられる配列ピクチャの参照インデックスを指定する。
−ｓｌｉｃｅ＿ｔｙｐｅがＰと等しい場合、またはｓｌｉｃｅ＿ｔｙｐｅがＢと等しく、ｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０が１と等しい場合、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘはリスト０内のピクチャを指し、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘの値は０からｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１まで（両方を含めて）の範囲内であるべきである。
−ｓｌｉｃｅ＿ｔｙｐｅがＢと等しく、ｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０が０と等しい場合、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘはリスト１内のピクチャを指し、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘの値は０からｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ１＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１まで（両方を含めて）の範囲内であるべきである。
−ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘによって参照されるピクチャが、コード化されたピクチャの全てのスライスに対して同じであるべきであることは、ビットストリームの適合性の要件である。
−ｒｅｆＬａｙｅｒＩｄをｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘによって参照されるピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値とし、ｃｕｒｒＬａｙｅｒＩｄを現在のピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値とする。ＭｏｔｉｏｎＰｒｅｄＥｎａｂｌｅｄＦｌａｇは［ｃｕｒｒＬａｙｅｒＩｄ］［ｒｅｆＬａｙｅｒＩｄ］が１と等しくあるべきであることは、ビットストリームの適合性の要件である。
・ｒｅｆ＿ｉｄｘ＿ｌ０［ｘ０］［ｙ０］は、現在の予測ユニットのためのリスト０参照ピクチャインデックスを指定する。配列インデックスｘ０、ｙ０は、ピクチャの左上の輝度サンプルに関する考慮される予測ブロックの左上の輝度サンプルの位置（ｘ０，ｙ０）を指定する。
−ｒｅｆ＿ｉｄｘ＿ｌ０［ｘ０］［ｙ０］が存在しない場合、それは０と等しいと推測される。
−ｒｅｆＬａｙｅｒＩｄをｒｅｆ＿ｉｄｘ＿ｌ０［ｘ０］［ｙ０］によって参照されるピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値とし、ｃｕｒｒＬａｙｅｒＩｄを現在のピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値とする。ＳａｍｐｌｅＰｒｅｄＥｎａｂｌｅｄＦｌａｇ［ｃｕｒｒＬａｙｅｒＩｄ］［ｒｅｆＬａｙｅｒＩｄ］が１と等しくあるべきであることは、ビットストリームの適合性の要件である。
−ｒｅｆ＿ｉｄｘ＿ｌ１［ｘ０］［ｙ０］は、ｒｅｆ＿ｉｄｘ＿ｌ０と同じセマンティクスを有し、ｌ０とリスト０とが、それぞれｌ１とリスト１とによって置換されている。

【0125】

[00124] 本技法に関連する特定の詳細が、以下で図４および図５を参照して説明される。本開示を通じて使用される様々な用語は、それらの通常の意味を有する広義の用語である。さらに、いくつかの実施形態では、特定の用語が以下のビデオ概念に関連する。その用語が現在の標準（例えば、ＨＥＶＣ、ＳＨＶＣ）で使用される場合、画像はビデオ画像を指すことができる。図４および図５に関して説明した方法は、コンピューティングハードウェアによって実装され得る。いくつかの実施形態では、コンピューティングハードウェアが、コンピュータハードウェアを備える１つまたはコンピューティングデバイスを含み得る。

【0126】

レイヤ間動き予測参照リサンプリングおよびレイヤ間サンプル予測参照リサンプリングの独立制御のための方法
[00125] 図４は、本開示の態様による、レイヤ間動き予測参照リサンプリングおよびレイヤ間サンプル予測参照リサンプリングの独立制御のための例示的な方法を示すフローチャートである。プロセス４００は、実施形態に応じて、エンコーダ（例えば、図２Ａ、図２Ｂ等に示されるエンコーダ）、デコーダ（例えば、図３Ａ、図３Ｂ等に示されるデコーダ）、または他の何らかの構成要素によって行われ得る。プロセス４００のブロックは、図３Ｂのデコーダ３１に関連して説明されているが、プロセス４００は上述のエンコーダなどの他の構成要素によって行われ得る。デコーダ３１のレイヤ１ビデオデコーダ３０Ｂ、および／またはデコーダ３１のレイヤ０デコーダ３０Ａは、実施形態に応じてプロセス４００を行い得る。図４に関連して説明される全ての実施形態は別々に実装されてもよく、相互に組み合わせて実装されてもよい。プロセス４００に関連する特定の詳細は上記で説明される。

【0127】

[00126] プロセス４００はブロック４０１から開始する。デコーダ３１は、ビデオ情報を記憶するためのメモリ（例えば、参照フレームメモリ８２）を含み得る。

【0128】

[00127] ブロック４０２で、デコーダ３１は、少なくとも１つのタイプのレイヤ間予測（ＩＬＰ）を用いて、予測される現在のピクチャを識別し、このタイプのＩＬＰは、レイヤ間動き予測（ＩＬＭＰ）またはレイヤ間サンプル予測（ＩＬＳＰ）の１つまたは複数を備える。

【0129】

[00128] ブロック４０３で、デコーダ３１は、（１）ＩＬＭＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数と、（２）ＩＬＳＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数とを制御する。ＩＬＭＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数は、ＩＬＳＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数とは無関係に制御され得る。例えば、デコーダ３１は、ＩＬＳＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数とは無関係に、ＩＬＭＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数を制御できる。

【0130】

[00129] 「とは無関係に制御される（controlled independent）」、「独立制御（independent control）」という用語または表現、またはそれらの変形は、最も広い通常の意味を有することを意図する広義の用語および／または表現である。議論を容易にするために、「独立制御」という用語または表現が以下の説明で用いられる。一実施形態では、独立制御が、ＩＬＳＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数に影響を与ること、またはそれを設定することなしに、ＩＬＭＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数に影響を与えること、またはそれを設定することを指すことができ、逆もまた同様である。

【0131】

[00130] 別の実施形態では、独立制御が、ＩＬＭＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数と、ＩＬＳＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数とについて別々の限定を有することを指すことができる。ＩＬＭＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数と、ＩＬＳＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数とへの限定は、実施形態に応じて同じでもよく異なっていてもよい。別の実施形態では、独立制御が、ＩＬＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数の限定に対して、ＩＬＭＰを用いて現在のピクチャを予測するためにリサンプリング（例えば、サンプルリサンプリング、動きリサンプリング、またはその両方）されて用いられ得るピクチャをカウントしないことを指すことができる。

【0132】

[00131] いくつかの実施形態では、ＩＬＭＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数と、ＩＬＳＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数とが同じである（例えば、両方とも１に等しい）。他の実施形態では、ＩＬＭＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数と、ＩＬＳＰを用いて現在のピクチャを予測するためにリサンプリングされて用いられ得るピクチャの数とが異なる。

【0133】

[00132] 特定の実施形態では、デコーダ３１が、少なくとも１つのリサンプリングされたピクチャを用いて現在のピクチャを予測する。少なくとも１つのリサンプリングされたピクチャは、実施形態に応じて、ＩＬＭＰ、ＩＬＳＰ、またはその両方を用いて現在のピクチャを予測するために用いられ得る。

【0134】

[00133] プロセス４００は、ブロック４０４において終了する。プロセス４００におけるブロックは実施形態に応じて追加および／または省略されてよく、プロセス４００のブロックは実施形態に応じて異なる順序で行われ得る。本開示においてリサンプリングに関連して説明される任意の特徴および／または実施形態は、別々に実装されてもよく、それらの任意の組合せで実装されてもよい。例えば、図４に関連して説明される任意の特徴および／または実施形態は、図５に関連して説明される任意の特徴および／または実施形態との任意の組合せで実装されてもよく、その逆でもよい。

【0135】

レイヤ間予測タイプに関するビットストリーム制約を処理するための方法
[00134] 図５は、レイヤ間予測タイプに関するビットストリーム制約を処理するための例示的な方法を示すフローチャートである。プロセス５００は、実施形態に応じて、エンコーダ（例えば、図２Ａ、図２Ｂ等に示されるエンコーダ）、デコーダ（例えば、図３Ａ、図３Ｂ等に示されるデコーダ）、または他の何らかの構成要素によって行われ得る。プロセス５００のブロックは、図３Ｂのエンコーダ２１に関連して説明されているが、プロセス５００は上述のデコーダなどの他の構成要素によって行われ得る。エンコーダ２１のレイヤ１ビデオエンコーダ２０Ｂ、および／またはエンコーダ２１のレイヤ０エンコーダ２０Ａは、実施形態に応じてプロセス５００を行い得る。図５に関連して説明される全ての実施形態は別々に実装されてもよく、相互に組み合わせて実装されてもよい。プロセス５００に関連する特定の詳細は上記で、例えば図４に関連して説明される。

【0136】

[00135] プロセス５００はブロック５０１から開始する。エンコーダ２１は、ビデオ情報を記憶するためのメモリ（例えば、参照フレームメモリ８２）を含み得る。

【0137】

[00136] ブロック５０２で、エンコーダ２１は、少なくとも１つのタイプのレイヤ間予測（ＩＬＰ）を用いて、予測される現在のピクチャを識別する。ＩＬＰのタイプは、レイヤ間動き予測（ＩＬＭＰ）、またはレイヤ間サンプル予測（ＩＬＳＰ）、あるいはその両方を含み得る。

【0138】

[00137] ブロック５０３で、エンコーダ２１は、現在のピクチャが少なくともＩＬＭＰを用いて予測される場合、現在のピクチャに関連する配列参照インデックス値を処理し、ここにおいて配列参照インデックス値は、ＩＬＰを用いて現在のピクチャを予測する際に用いられる第１の参照ピクチャを示す。いくつかの実施形態では、配列参照インデックス値が、配列参照インデックスの値を指すことができる。特定の実施形態では、配列参照インデックスが、配列参照インデックス値とも呼ばれ得る。

【0139】

[00138] ブロック５０４で、エンコーダ２１は、配列参照インデックス値によって示される第１の参照ピクチャがＩＬＭＰにとって有効であるかどうかを決定する。例えば、エンコーダ２１は、現在のピクチャが少なくともＩＬＭＰを用いて予測される場合、第１の参照ピクチャがＩＬＭＰにとって有効であるかどうかを決定できる。いくつかの実施形態では、エンコーダ２１が、第１の参照ピクチャの動き予測有効フラグの値を決定することによって、第１の参照ピクチャがＩＬＭＰにとって有効であるかどうかを決定する。例えば、エンコーダ２１は、動き予測有効フラグ値が１と等しい場合、第１の参照ピクチャはＩＬＭＰにとって有効であると決定できる。別の例では、エンコーダ２１が、動き予測有効フラグ値が０と等しい場合、第１の参照ピクチャがＩＬＭＰにとって有効ではないと決定できる。他の実施形態で、動き予測有効フラグ値の他の値は、第１の参照ピクチャがＩＬＭＰにとって有効であるか否か（例えば、２、３等と等しい）を決定するために用いられ得る。

【0140】

[00139] ブロック５０５で、エンコーダ２１は、現在のピクチャが少なくともＩＬＳＰを用いて予測される場合、現在のピクチャにおけるブロックに関連する参照インデックス値を処理し、ここにおいて参照インデックス値は、ＩＬＰを用いて現在のピクチャにおけるブロックを予測する際に用いられる第２の参照ピクチャを示す。いくつかの実施形態では、参照インデックス値が、参照インデックスの値を指すことができる。特定の実施形態では、参照インデックスが、参照インデックス値とも呼ばれ得る。

【0141】

[00140] ブロック５０６で、エンコーダ２１は、参照インデックス値によって示される第２の参照ピクチャがＩＬＳＰにとって有効であるかどうかを決定する。例えば、エンコーダ２１は、現在のピクチャが少なくともＩＬＳＰを用いて予測される場合、第２の参照ピクチャがＩＬＳＰにとって有効であるかどうかを決定できる。いくつかの実施形態では、エンコーダ２１が、第１の参照ピクチャのサンプル予測有効フラグの値を決定することによって、第２の参照ピクチャがＩＬＭＰにとって有効であるかどうかを決定する。例えば、エンコーダ２１は、サンプル予測有効フラグ値が１と等しい場合、第２の参照ピクチャはＩＬＳＰにとって有効であると決定できる。別の例で、エンコーダ２１は、サンプル予測有効フラグ値が０と等しい場合、第２の参照ピクチャがＩＬＳＰにとって有効ではないと決定できる。他の実施形態で、サンプル予測有効フラグ値の他の値は、第２の参照ピクチャがＩＬＳＰにとって有効であるか否か（例えば、２、３等と等しい）を決定するために用いられ得る。

【0142】

[00141] 特定の実施形態では、エンコーダ２１が、第１の参照ピクチャがＩＬＭＰにとって有効である場合、ビットストリーム内の配列参照インデックス値をシグナリングする、または、第２の参照ピクチャがＩＬＳＰにとって有効である場合、ビットストリーム内の参照インデックス値をシグナリングする、あるいはその両方である。例えば、エンコーダ２１は、ＩＬＭＰにとって有効である参照ピクチャを示す配列参照インデックス値だけをシグナリングする。または、エンコーダ２１は、ＩＬＳＰにとって有効である参照ピクチャを示す参照インデックス値をシグナリングする。または、エンコーダ２１は、その両方を行うことができる。このように、対応するタイプの参照ピクチャを参照するインデックス値だけ（例えば、配列参照インデックスにとって有効であるＩＬＭＰ、参照インデックスにとって有効であるＩＬＳＰ、等）がビットストリーム内でシグナリングされ得る。

【0143】

[00142] いくつかの実施形態では、第１の参照ピクチャと第２の参照ピクチャとが同じであり得る。例えば、参照ピクチャは、ＩＬＭＰとＩＬＳＰとの両方のために用いられ得る（例えば、動き情報とサンプルとの両方を有する）。

【0144】

[00143] プロセス５００は、ブロック５０７において終了する。プロセス５００におけるブロックは実施形態に応じて追加および／または省略されてよく、プロセス５００のブロックは実施形態に応じて異なる順序で行われ得る。本開示においてリサンプリングに関連して説明される任意の特徴および／または実施形態は、別々に実装されてもよく、それらの任意の組合せで実装されてもよい。例えば、図５に関連して説明される任意の特徴および／または実施形態は、図４に関連して説明される任意の特徴および／または実施形態との任意の組合せで実装されてもよく、その逆でもよい。

【0145】

参照ピクチャリストにおけるレイヤ間ピクチャオーダー
[00144] 一実装形態では、動きだけのレイヤ間ピクチャと、サンプルだけのレイヤ間ピクチャと、その両方との、３つのタイプのレイヤ間ピクチャも可能である。これらのタイプの全てのピクチャは、レイヤ間参照ピクチャセットに含まれる。しかしながら、これらのタイプを有するピクチャは、コーディング効率に等しく寄与しないことがある。例えば、レイヤ間サンプル予測のために用いられるピクチャは、レイヤ間動き予測のためだけのピクチャよりも重要であることがある。従って、レイヤ間動き予測のためだけのピクチャと比較して、レイヤ間サンプル予測のためのピクチャのためにより小さい参照インデックスを有することが有利なことがある。

【0146】

[00145] 一実施形態では、レイヤ間サンプル予測のためのピクチャの後、参照ピクチャセットの終わりと最初のレイヤ間参照ピクチャセットに、レイヤ間動き予測のためだけのピクチャを置くことが示唆される。全ての一時的参照ピクチャの後の参照ピクチャリスト内、およびレイヤ間参照ピクチャセット内のオーダーは、ピクチャを２つのサブセットに分割することによって以下のようになり得る：レイヤ間サンプル予測のためのピクチャと、レイヤ間動き予測のためだけのピクチャ。代替で、上記の２つの部分と同様に、全ての一時的参照ピクチャの後の参照ピクチャリスト内、およびレイヤ間参照ピクチャセット内のオーダーは、ピクチャを３つのサブセットに分割することによって以下のようになり得る：レイヤ間サンプルおよび動き予測のためのピクチャと、レイヤ間サンプル予測のためだけのピクチャと、レイヤ間動き予測のためだけのピクチャ。さらに、各サブセット内で、オーダリングはレイヤ間ピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄの降順で行われ得る。代替で、オーダーは、レイヤ間予測のための参照レイヤの明示的にシグナリングされたオーダーに従うことができ、それはＶＰＳまたは他の場所においてシグナリングされ得る。

【0147】

[00146] 上述の２つのサブセットの場合、別のタイプの参照ピクチャセットが割り当てられ得る。例えば、サンプルレイヤ間参照ピクチャセットは、レイヤ間サンプル予測のためだけ、または、レイヤ間サンプル予測とレイヤ間動き予測の両方のために用いられるピクチャを含むことができ、動きレイヤ間参照ピクチャセットは、レイヤ間動き予測のためだけに用いられるピクチャだけを含み得る。さらに、オーダリングが適用されてよく、動きレイヤ間参照ピクチャセットが、サンプルレイヤ間参照ピクチャセットの後の初期参照ピクチャリスト内に配置され得る。同様に、３つのサブセットの場合、レイヤ間予測のために用いられるピクチャを初期参照ピクチャリスト内に配置する際に、以下の新しいレイヤ間参照ピクチャセットとオーダリングとが適用され得る：サンプルおよび動きレイヤ間参照ピクチャセットと、サンプルだけのレイヤ間参照ピクチャセットと、動きだけのレイヤ間参照ピクチャセット。サブセットと同様に、各新しいレイヤ間参照ピクチャセットにおいて、ピクチャオーダリングはレイヤ間ピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄの降順で行われ得る。

【0148】

参照インデックスシグナリング
[00147] 本技法は、ＰＵレベルで参照インデックスを、およびスライスレベルで配列参照インデックスをシグナリングする際に、最適化を提供できる。例えば、参照インデックスシグナリングにおいて用いられる参照ピクチャの合計数は、ブロック（例えば、ＣＵ、ＰＵ等）レベルでシグナリングされた参照インデックスがより少ないビットを使用できるように、予測間のために用いられ得るピクチャだけを含むように調整され得る。さらに、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘ範囲を定義するために用いられる参照ピクチャの合計数は、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘのシグナリングがより少ないビットを使用できるように、ＴＭＶＰ導出のために用いられ得るピクチャだけを含むように調整され得る。

【0149】

[00148] いくつかの実施形態では、Ｘが０および１と等しい変数ＮｕｍＯｎｌｙＳａｍｐｌｅＲｅｆＩｄｘＬＸとＮｕｍＯｎｌｙＭｏｔｉｏｎＲｅｆＩｄｘＬＸとが、以下のように導出される。

【0150】

【数2】

【0151】

１．ＰＵ参照シグナリング
[00149] 一実施形態では、ｒｅｆ＿ｉｄｘ＿ｌ０［ｘ０］［ｙ０］が、現在の予測ユニットのためのリスト０参照ピクチャインデックスを指定する。配列インデックスｘ０、ｙ０は、ピクチャの左上の輝度サンプルに関する考慮される予測ブロックの左上の輝度サンプルの位置（ｘ０，ｙ０）を指定する。ｒｅｆ＿ｉｄｘ＿ｌ１［ｘ０］［ｙ０］は、ｒｅｆ＿ｉｄｘ＿ｌ０と同じセマンティクスを有し、ｌ０とリスト０とが、それぞれｌ１とリスト１とによって置換されている。特定の実施形態では、コーディングプロセスが、ＳＨＶＣの初期バージョンから以下のように変更され得る（変更は、太字およびイタリック体で示されている）。

【0152】

【表3】

【0153】

[00150] ｒｅｆ＿ｉｄｘ＿ｌＸ［Ｘ０］［ｙ０］は以下のように調整され、Ｘは０および１と等しい。

【0154】

【数3】

【0155】

２．配列参照インデックスシグナリング
[00151] 一実施形態では、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘが、一時的動きベクトル予測のために用いられる配列ピクチャの参照インデックスを指定する。

【0156】

[00152] ｓｌｉｃｅ＿ｔｙｐｅがＰと等しい場合、またはｓｌｉｃｅ＿ｔｙｐｅがＢと等しく、ｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０が１と等しい場合、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘはリスト０内のピクチャを指し、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘの値は、０からｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１−ＮｕｍＯｎｌｙＳａｍｐｌｅＲｅｆＩｄｘＬ０まで（両方を含めて）の範囲内であるべきである。

【0157】

[00153] ｓｌｉｃｅ＿ｔｙｐｅがＢと等しく、ｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０が０と等しい場合、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘはリスト１内のピクチャを指し、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘの値は、０からｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ１＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１−ＮｕｍＯｎｌｙＳａｍｐｌｅＲｅｆＩｄｘＬ１まで（両方を含めて）の範囲内であるべきである。

【0158】

[00154] ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘによって参照されるピクチャが、コード化されたピクチャの全てのスライスに対して同じであるべきであることは、ビットストリームの適合性の要件である。

【0159】

[00155] ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘは以下のように調整される。

【0160】

【数4】

【0161】

Ｘはｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０と等しい。

【0162】

用語
[00156] 上記の開示は特定の実施形態を記載しているが、多くの変形形態が可能である。例えば、上述されたように、上記の技法は３Ｄビデオコーディングに適用され得る。３Ｄビデオのいくつかの実施形態では、参照レイヤ（例えば、ベースレイヤ）が、ビデオの第１のビューを表示するのに十分なビデオ情報を含み、エンハンスメントレイヤが、参照レイヤに比べてさらなるビデオ情報を含み、その結果、参照レイヤおよびエンハンスメントレイヤが一緒に、ビデオの第２のビューを表示するのに十分な情報を含む。これらの２つのビューは、立体的な画像を生成するために使用され得る。上記で説明されたように、本開示の態様に従って、エンハンスメントレイヤ内でビデオユニットを符号化または復号するとき、参照レイヤからの動き情報は、さらなる暗黙的な仮説を識別するために使用され得る。これにより、３Ｄビデオのビットストリームについてのより大きいコーディング効率が実現され得る。

【0163】

[00157] 例によっては、本明細書で説明された技法のうちいずれかの、いくつかの行為またはイベントは、異なるシーケンスで行われ得、追加、マージ、または完全に除外され得る（例えば、全ての説明した作用またはイベントが、本技法の実施のために必要であるとは限らない）ことを認識されたい。さらに、いくつかの例では、行為またはイベントが、連続的にではなく、例えば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して、同時に行われ得る。

【0164】

[00158] 本明細書で開示される情報および信号は、多種多様な技術および技法のいずれかを使用して表され得る。例えば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁界もしくは磁性粒子、光場もしくは光学粒子、またはそれらの任意の組合せによって表され得る。

【0165】

[00159] 本明細書で開示した実施形態に関して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、概してそれらの機能に関して上記で説明した。そのような機能がハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課された設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈されるべきではない。

【0166】

[00160] 本明細書で説明した技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。モジュールまたは構成要素として説明した任意の特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装された場合、本技法は、実行されたとき、上記で説明した方法のうちの１つまたは複数を行う命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、磁気または光学データ記憶媒体など、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または電波など、命令またはデータ構造の形態でプログラムコードを搬送または伝達し、コンピュータによってアクセスされ、読み取られ、および／または実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。

【0167】

[00161] プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の等価の集積回路もしくはディスクリート論理回路など、１つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明する技法のいずれかを行うように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、例えば、ＤＳＰおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装され得る。従って、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、または本明細書で説明する技法の実装に好適な他の構造または装置のいずれかを指す。さらに、いくつかの態様では、本明細書で説明した機能が、符号化および復号のために構成された専用のソフトウェアモジュールもしくはハードウェアモジュール内に提供され得、または複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。

【0168】

[00162] 本明細書に記載のコーディング技法は、例示的なビデオ符号化および復号システムにおける実施形態であり得る。システムは、後に宛先デバイスによって復号されるべき符号化されたビデオデータを提供するソースデバイスを含む。特に、ソースデバイスは、コンピュータ可読媒体を介してビデオデータを宛先デバイスに提供する。ソースデバイスおよび宛先デバイスは、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーム機、ビデオストリーミングデバイスなどを含む、広い範囲のデバイスのいずれかを備え得る。場合によっては、ソースデバイスおよび宛先デバイスはワイヤレス通信のために装備され得る。

【0169】

[00163] 宛先デバイスは、コンピュータ可読媒体を介して復号されるべき符号化されたビデオデータを受信できる。コンピュータ可読媒体は、符号化されたビデオデータをソースから宛先デバイスに移動させることが可能な任意のタイプの媒体またはデバイスを備え得る。一例で、コンピュータ可読媒体は、ソースデバイス１２が、符号化されたビデオデータをリアルタイムに宛先デバイスに直接伝送することを可能にするための通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に応じて変調されて、宛先デバイスに伝送され得る。通信媒体は、無線周波数（ＲＦ）スペクトル、あるいは１つまたは複数の物理的伝送回線などの、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネット等のグローバルネットワークなどの、パケットベースのネットワークの一部を形成できる。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイスから宛先デバイスへの通信を容易にするために有用であり得る他の何らかの装置を含み得る。

【0170】

[00164] いくつかの例では、符号化されたデータが、出力インターフェースから記憶デバイスに出力され得る。同様に、符号化されたデータは、入力インターフェースによって記憶デバイスからアクセスされ得る。記憶デバイスは、ハードドライブ、ブルーレイディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化されたビデオデータを記憶するための他の何らかの適切なデジタル記憶媒体などの、様々な分散された、またはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる例では、記憶デバイスが、ソースデバイスによって生成された、符号化されたビデオを記憶できるファイルサーバまたは別の中間記憶デバイスに対応し得る。宛先デバイスは、ストリーミングまたはダウンロードを介して、記憶デバイスから記憶されたビデオデータにアクセスできる。ファイルサーバは、符号化されたビデオデータを記憶して、その符号化されたビデオデータを宛先デバイスに伝送することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、ウェブサーバ（例えば、ウェブサイト用の）、ＦＴＰサーバ、ネットワーク接続型記憶（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイスは、インターネット接続を含む任意の標準的なデータ接続を通じて、符号化されたビデオデータにアクセスできる。これは、ファイルサーバに記憶された、符号化されたビデオデータにアクセスするために適したワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ接続）、ワイヤード接続（例えば、ＤＳＬ、ケーブルモデム等）、または両方の組合せを含み得る。記憶デバイスからの符号化されたビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、またはそれらの組合せであり得る。

【0171】

[00165] 本開示の技法は、必ずしもワイヤレスアプリケーションまたは設定に限定されるとは限らない。本技法は、無線テレビ放送、ケーブルテレビ伝送、衛星テレビ伝送、動的適応型ＨＴＴＰストリーミング（ＤＡＳＨ）などのインターネットストリーミングビデオ伝送、データ記憶媒体に符号化されたデジタルビデオなどの、データ記憶媒体に記憶されたデジタルビデオの復号、または他のアプリケーションなどの、様々なマルチメディアアプリケーションのいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システムが、ビデオストリーミング、ビデオ再生、ビデオ放送、および／またはビデオ電話などのアプリケーションをサポートするために、一方向または双方向ビデオ伝送をサポートするように構成され得る。

【0172】

[00166] 一例では、ソースデバイスが、ビデオソースと、ビデオエンコーダと、出力インターフェースとを含む。宛先デバイスは、入力インターフェースと、ビデオエンコーダと、ディスプレイデバイスとを含み得る。ソースデバイスのビデオエンコーダは、本明細書に開示された技法を適用するように構成され得る。他の例では、ソースデバイスと宛先デバイスが、他の構成要素または配置を含み得る。例えば、ソースデバイスは、外部カメラなどの外部のビデオソースからビデオデータを受信できる。同様に、宛先デバイスは、一体型ディスプレイデバイスを含むのではなく、外部のディスプレイデバイスとインターフェースできる。

【0173】

[00167] 上記の例示的なシステムは、一例に過ぎない。ビデオデータを並列に処理するための技法は、任意のデジタルビデオ符号化および／または復号化デバイスによって行われ得る。本開示の技法は、一般的にビデオエンコーディングデバイスによって行われるが、本技法はまた、典型的に「ＣＯＤＥＣ」と呼ばれるビデオエンコーダ／デコーダによって行われ得る。さらに、本開示の技法はまた、ビデオプリプロセッサによって行われ得る。ソースデバイスと宛先デバイスは、ソースデバイスが、宛先デバイスに伝送するための符号化されたビデオデータを生成するようなコーディングデバイスの単なる例である。いくつかの例では、ソースデバイスと宛先デバイスが、デバイスのそれぞれがビデオ符号化および復号化構成要素を含むように、実質的に対称的に動作できる。従って、例示的なシステムは、例えば、ビデオストリーミング、ビデオ再生、ビデオ放送、またはビデオ電話のための、ビデオデバイス間の一方向または双方向ビデオ伝送をサポートできる。

【0174】

[00168] ビデオソースは、ビデオカメラ、以前にキャプチャされたビデオを含むビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなどのビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソースは、ソースビデオとしてのコンピュータグラフィックベースのデータ、またはライブビデオと、アーカイブされたビデオと、コンピュータ生成ビデオとの組合せを生成できる。場合によっては、ビデオソースがビデオカメラの場合、ソースデバイスと宛先デバイスは、いわゆるカメラ付き電話またはビデオ電話を形成できる。しかしながら、上述のように、本開示に記載された技法は、一般的なビデオコーディングに適用可能でよく、ワイヤレスおよび／またはワイヤードアプリケーションに適用され得る。各場合において、キャプチャされた、事前にキャプチャされた、またはコンピュータで生成されたビデオは、ビデオエンコーダによって符号化され得る。次いで、符号化されたビデオ情報は、出力インターフェースによってコンピュータ可読媒体上に出力され得る。

【0175】

[00169] 上述のように、コンピュータ可読媒体は、ワイヤレスブロードキャストまたはワイヤードネットワーク伝送などの一時的媒体を含んでもよく、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、または他のコンピュータ可読媒体などの記憶媒体（すなわち、非一時的記憶媒体）を含んでもよい。いくつかの例では、ネットワークサーバ（図示せず）が、ソースデバイスから符号化されたビデオデータを受信して、例えばネットワーク伝送を介して、符号化されたビデオデータを宛先デバイスに提供できる。同様に、ディスクスタンピング設備などの、媒体製造設備（medium production facility）のコンピューティングデバイスは、ソースデバイスから符号化されたビデオデータを受信して、符号化されたビデオデータを含むディスクを生成できる。従って、様々な例において、コンピュータ可読媒体は、様々な形態の１つまたは複数のコンピュータ可読媒体を含むものと理解され得る。

【0176】

[00170] 宛先デバイスの入力インターフェースは、コンピュータ可読媒体から情報を受信する。コンピュータ可読媒体の情報は、ビデオエンコーダによって定義され、ビデオデコーダによっても使用され得る、ブロックおよび他の符号化されたユニット、例えば画像のグループ（ＧＯＰ）の特性および／またはプロセスを記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイスは、復号されたビデオデータをユーザに表示して、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなどの、様々なディスプレイデバイスのいずれかを備え得る。本発明の様々な実施形態を説明してきた。これらおよび他の実施形態は、以下の特許請求の範囲内である。

【0177】

[00171] 本発明の様々な実施形態について説明した。これらおよび他の実施形態は、以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオ情報をコーディングするように構成された装置であって、
ビデオ情報を記憶するように構成されたメモリと、
前記メモリに動作可能に結合され、
少なくとも１つのタイプのレイヤ間予測（ＩＬＰ）を用いて、予測される現在のピクチャを識別することであって、前記タイプのＩＬＰはレイヤ間動き予測（ＩＬＭＰ）、またはレイヤ間サンプル予測（ＩＬＳＰ）、あるいはその両方を備えるものである、識別することと、
前記現在のピクチャが少なくともＩＬＭＰを用いて予測される場合、前記現在のピクチャに関連する配列参照インデックス値を処理することと、ここにおいて前記配列参照インデックス値はＩＬＰを用いて前記現在のピクチャを予測する際に用いられる第１の参照ピクチャを示すものである、
前記配列参照インデックス値によって示される前記第１の参照ピクチャがＩＬＭＰにとって有効かどうかを決定することと、
前記現在のピクチャが少なくともＩＬＳＰを用いて予測される場合、前記現在のピクチャ内のブロックに関連する参照インデックス値を処理することと、ここにおいて前記参照インデックス値はＩＬＰを用いて前記現在のピクチャ内の前記ブロックを予測する際に用いられる第２の参照ピクチャを示すものである、
前記参照インデックス値によって示される前記第２の参照ピクチャがＩＬＳＰにとって有効かどうかを決定することとをするように構成されたコンピューティングハードウェアと
を備える、装置。
［Ｃ２］
前記コンピューティングハードウェアは、前記第１の参照ピクチャの前記動き予測有効フラグの値を決定することによって、前記第１の参照ピクチャがＩＬＭＰにとって有効であるかどうかを決定するように構成される、Ｃ１に記載の装置。
［Ｃ３］
前記コンピューティングハードウェアは、前記動き予測有効フラグ値が１と等しい場合、前記第１の参照ピクチャがＩＬＭＰにとって有効であると決定するようにさらに構成される、Ｃ２に記載の装置。
［Ｃ４］
前記コンピューティングハードウェアは、前記動き予測有効フラグ値が０と等しい場合、前記第１の参照ピクチャがＩＬＭＰにとって有効ではないと決定するようにさらに構成される、Ｃ２に記載の装置。
［Ｃ５］
前記コンピューティングハードウェアは、前記第２の参照ピクチャの前記サンプル予測有効フラグの値を決定することによって、前記第２の参照ピクチャがＩＬＳＰにとって有効であるかどうかを決定するように構成される、Ｃ１に記載の装置。
［Ｃ６］
前記コンピューティングハードウェアは、前記サンプル予測有効フラグ値が１と等しい場合、前記第２の参照ピクチャがＩＬＳＰにとって有効であると決定するようにさらに構成される、Ｃ５に記載の装置。
［Ｃ７］
前記コンピューティングハードウェアは、前記サンプル予測有効フラグ値が０と等しい場合、前記第２の参照ピクチャがＩＬＳＰにとって有効ではないと決定するようにさらに構成される、Ｃ５に記載の装置。
［Ｃ８］
前記コンピューティングハードウェアは、前記第１の参照ピクチャがＩＬＭＰにとって有効である場合、ビットストリーム内の前記配列参照インデックス値をシグナリングする、または、前記第２の参照ピクチャがＩＬＳＰにとって有効である場合、前記ビットストリーム内の前記参照インデックス値をシグナリングする、あるいはその両方を行うようにさらに構成される、Ｃ１に記載の装置。
［Ｃ９］
前記コンピューティングハードウェアは、ビットストリーム内の前記配列参照インデックスまたは前記参照インデックスを受信するようにさらに構成される、Ｃ１に記載の装置。
［Ｃ１０］
前記コンピューティングハードウェアは、前記第１の参照ピクチャがＩＬＭＰにとって有効である場合、ビットストリーム内の前記配列参照インデックス値を符号化する、または、前記第２の参照ピクチャがＩＬＳＰにとって有効である場合、前記ビットストリーム内の前記参照インデックス値を符号化する、あるいはその両方を行うようにさらに構成される、Ｃ１に記載の装置。
［Ｃ１１］
前記コンピューティングハードウェアは、ビットストリーム内の前記配列参照インデックスまたは前記参照インデックスを復号するようにさらに構成される、Ｃ１に記載の装置。
［Ｃ１２］
前記装置は、デスクトップコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、およびビデオストリーミングデバイスのうちの１つまたは複数からなる群から選択される、Ｃ１に記載の装置。
［Ｃ１３］
ビデオ情報をコーディングする方法であって、
少なくとも１つのタイプのレイヤ間予測（ＩＬＰ）を用いて、予測される現在のピクチャを識別することであって、前記タイプのＩＬＰはレイヤ間動き予測（ＩＬＭＰ）、またはレイヤ間サンプル予測（ＩＬＳＰ）、あるいはその両方を備えるものである、識別することと、
前記現在のピクチャが少なくともＩＬＭＰを用いて予測される場合、前記現在のピクチャに関連する配列参照インデックス値を処理することと、ここにおいて前記配列参照インデックス値はＩＬＰを用いて前記現在のピクチャを予測する際に用いられる第１の参照ピクチャを示すものである、
前記配列参照インデックス値によって示される前記第１の参照ピクチャがＩＬＭＰにとって有効かどうかを決定することと、
前記現在のピクチャが少なくともＩＬＳＰを用いて予測される場合、前記現在のピクチャ内のブロックに関連する参照インデックス値を処理することと、ここにおいて前記参照インデックス値はＩＬＰを用いて前記現在のピクチャ内の前記ブロックを予測する際に用いられる第２の参照ピクチャを示すものである、
前記参照インデックス値によって示される前記第２の参照ピクチャがＩＬＳＰにとって有効かどうかを決定することと
を備える、方法。
［Ｃ１４］
前記第１の参照ピクチャがＩＬＭＰにとって有効であるかどうかを決定する前記ことは、前記第１の参照ピクチャの前記動き予測有効フラグの値を決定することを備える、Ｃ１３に記載の方法。
［Ｃ１５］
前記動き予測有効フラグ値が１と等しい場合、前記第１の参照ピクチャがＩＬＭＰにとって有効であると決定することをさらに備える、Ｃ１４に記載の方法。
［Ｃ１６］
前記動き予測有効フラグ値が０と等しい場合、前記第１の参照ピクチャがＩＬＭＰにとって有効ではないと決定することをさらに備える、Ｃ１４に記載の方法。
［Ｃ１７］
前記第２の参照ピクチャがＩＬＳＰにとって有効であるかどうかを決定する前記ことは、前記第２の参照ピクチャの前記サンプル予測有効フラグの値を決定することを備える、Ｃ１３に記載の方法。
［Ｃ１８］
前記サンプル予測有効フラグ値が１と等しい場合、前記第２の参照ピクチャがＩＬＳＰにとって有効であると決定することをさらに備える、Ｃ１７に記載の方法。
［Ｃ１９］
前記サンプル予測有効フラグ値が０と等しい場合、前記第２の参照ピクチャがＩＬＳＰにとって有効ではないと決定することをさらに備える、Ｃ１７に記載の方法。
［Ｃ２０］
前記第１の参照ピクチャがＩＬＭＰにとって有効である場合、ビットストリーム内の前記配列参照インデックス値をシグナリングすること、または、前記第２の参照ピクチャがＩＬＳＰにとって有効である場合、前記ビットストリーム内の前記参照インデックス値をシグナリングすること、あるいはその両方を行うことをさらに備える、Ｃ１３に記載の方法。
［Ｃ２１］
ビットストリーム内の前記配列参照インデックスまたは前記参照インデックスを受信することをさらに備える、Ｃ１３に記載の方法。
［Ｃ２２］
前記第１の参照ピクチャがＩＬＭＰにとって有効である場合、ビットストリーム内の前記配列参照インデックス値を符号化すること、または、前記第２の参照ピクチャがＩＬＳＰにとって有効である場合、前記ビットストリーム内の前記参照インデックス値を符号化すること、あるいはその両方を行うことをさらに備える、Ｃ１３に記載の方法。
［Ｃ２３］
ビットストリーム内の前記配列参照インデックスまたは前記参照インデックスを復号することをさらに備える、Ｃ１３に記載の方法。
［Ｃ２４］
コンピュータハードウェアを備えるプロセッサ上で実行されると、前記プロセッサに、
少なくとも１つのタイプのレイヤ間予測（ＩＬＰ）を用いて、予測される現在のピクチャを識別することであって、前記タイプのＩＬＰはレイヤ間動き予測（ＩＬＭＰ）、またはレイヤ間サンプル予測（ＩＬＳＰ）、あるいはその両方を備えるものである、識別することと、
前記現在のピクチャが少なくともＩＬＭＰを用いて予測される場合、前記現在のピクチャに関連する配列参照インデックス値を処理することと、ここにおいて前記配列参照インデックス値は、ＩＬＰを用いて前記現在のピクチャを予測する際に用いられる第１の参照ピクチャを示すものである、
前記配列参照インデックス値によって示される前記第１の参照ピクチャがＩＬＭＰにとって有効かどうかを決定することと、
前記現在のピクチャが少なくともＩＬＳＰを用いて予測される場合、前記現在のピクチャ内のブロックに関連する参照インデックス値を処理することと、ここにおいて前記参照インデックス値はＩＬＰを用いて前記現在のピクチャ内の前記ブロックを予測する際に用いられる第２の参照ピクチャを示すものである、
前記参照インデックス値によって示される前記第２の参照ピクチャがＩＬＳＰにとって有効かどうかを決定することとを行わせる命令を備える、非一時的コンピュータ可読媒体。
［Ｃ２５］
前記プロセッサに、前記第１の参照ピクチャの前記動き予測有効フラグの値を決定することによって、前記第１の参照ピクチャがＩＬＭＰにとって有効であるかどうかを決定させる命令をさらに備える、Ｃ２４に記載のコンピュータ可読媒体。
［Ｃ２６］
前記プロセッサに、前記第２の参照ピクチャの前記サンプル予測有効フラグの値を決定することによって、前記第２の参照ピクチャがＩＬＳＰにとって有効であるかどうかを決定させる命令をさらに備える、Ｃ２４に記載のコンピュータ可読媒体。
［Ｃ２７］
ビデオ情報をコーディングするように構成された装置であって、
ビデオ情報を記憶するための手段と、
少なくとも１つのタイプのレイヤ間予測（ＩＬＰ）を用いて、予測される現在のピクチャを識別するための手段であって、前記タイプのＩＬＰはレイヤ間動き予測（ＩＬＭＰ）、またはレイヤ間サンプル予測（ＩＬＳＰ）、あるいはその両方を備えるものである、識別するための手段と、
前記現在のピクチャが少なくともＩＬＭＰを用いて予測される場合、前記現在のピクチャに関連する配列参照インデックス値を処理するための手段と、ここにおいて前記配列参照インデックス値は、ＩＬＰを用いて前記現在のピクチャを予測する際に用いられる第１の参照ピクチャを示すものである、
前記配列参照インデックス値によって示される前記第１の参照ピクチャがＩＬＭＰにとって有効かどうかを決定するようにさらに構成された前記配列参照インデックス値を処理するための手段と、
前記現在のピクチャが少なくともＩＬＳＰを用いて予測される場合、前記現在のピクチャ内のブロックに関連する参照インデックス値を処理するための手段と、ここにおいて前記参照インデックス値は、ＩＬＰを用いて前記現在のピクチャ内の前記ブロックを予測する際に用いられる第２の参照ピクチャを示すものである、
前記参照インデックス値によって示される前記第２の参照ピクチャがＩＬＳＰにとって有効かどうかを決定するようにさらに構成された前記参照インデックス値を処理するための手段と
を備える、装置。
［Ｃ２８］
前記第１の参照ピクチャがＩＬＭＰにとって有効であるかどうかを決定するための前記手段は、前記第１の参照ピクチャの前記動き予測有効フラグの値を決定することによって、前記第１の参照ピクチャがＩＬＭＰにとって有効であるかどうかを決定するように構成される、Ｃ２７に記載の装置。
［Ｃ２９］
前記第２の参照ピクチャがＩＬＳＰにとって有効であるかどうかを決定するための前記手段は、前記第２の参照ピクチャの前記サンプル予測有効フラグの値を決定することによって、前記第２の参照ピクチャがＩＬＳＰにとって有効であるかどうかを決定するように構成される、Ｃ２７に記載の装置。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5】