特許 6367309 映像情報のスケーラブルコーディングのためのデバイス及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6367309

(24)【登録日】2018年7月13日

(45)【発行日】2018年8月1日

(54)【発明の名称】映像情報のスケーラブルコーディングのためのデバイス及び方法

(51)【国際特許分類】

   H04N 19/70 20140101AFI20180723BHJP

   H04N 19/31 20140101ALI20180723BHJP

【ＦＩ】

   H04N19/70

   H04N19/31

【請求項の数】15

【全頁数】42

(21)【出願番号】特願2016-506623(P2016-506623)

(86)(22)【出願日】2014年4月3日

(65)【公表番号】特表2016-518771(P2016-518771A)

(43)【公表日】2016年6月23日

(86)【国際出願番号】US2014032860

(87)【国際公開番号】WO2014168814

(87)【国際公開日】20141016

【審査請求日】2017年3月9日

(31)【優先権主張番号】61/809,818

(32)【優先日】2013年4月8日

(33)【優先権主張国】US

(31)【優先権主張番号】14/243,835

(32)【優先日】2014年4月2日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100194814

【弁理士】

【氏名又は名称】奥村 元宏

(72)【発明者】

【氏名】ラパカ、クリシュナカンス

(72)【発明者】

【氏名】チェン、ジャンレ

(72)【発明者】

【氏名】カークゼウィックズ、マルタ

【審査官】 牛丸 太希

(56)【参考文献】

【文献】 特開２０１０−００４４３４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０１８３０７７（ＵＳ，Ａ１）

【文献】 特開２０１１−０４１３１７（ＪＰ，Ａ）

【文献】 Truong Cong Thang, et al.，Proposal to the Extension of Video Parameter Set，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 14-23 Jan. 2013，SW，ITU-T，２０１３年 １月 ８日，JCTVC-L0246

【文献】 Jill Boyce, et al.，Extensible High Layer Syntax for Scalability，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, CH, 16-23 March, 2011，SW，２０１１年 ３月２２日，JCTVC-E279

【文献】 Jill Boyce, et al.，Layers present SEI message，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Incheon, KR, 18-26 Apr. 2013，SW，２０１３年 ４月 ４日，JCTVC-M0043

【文献】 Jianle Chen et al.，SHVC Draft Text 1，JCTVC-L1008，２０１３年 ３月２０日，pp.11,18

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

映像コーディングデバイスであって、
基本層および拡張層に関連する映像情報を格納するための手段と、ここにおいて、前記基本層は、時間的副層の第１のセットを備え、前記拡張層は、時間的副層の第２のセットを備える、
前記基本層に関連する第１の存在情報を決定するための手段と、ここにおいて、前記第１の存在情報は、ビットストリーム内におけるコーディングされた映像シーケンスに関して、時間的副層の前記第１のセットの１つ以上の時間的副層が前記ビットストリーム内に存在するかどうかを示し、前記第１の存在情報は、いくつの数の時間的副層が前記基本層内に存在するかを示す構文要素を備える、
前記拡張層に関連する第２の存在情報を決定するための手段と、ここにおいて、前記第２の存在情報は、前記ビットストリーム内における前記コーディングされた映像シーケンスに関して、時間的副層の前記第２のセットの１つ以上の時間的副層が前記ビットストリーム内に存在するかどうかを示し、前記第２の存在情報は、いくつの数の時間的副層が前記拡張層内に存在するかを示す構文要素を備える、
を備える、映像コーディングデバイス。

【請求項2】

前記第１の存在情報および前記第２の存在情報は、映像パラメータセット（ＶＰＳ）内でシグナリングされ、または、
前記第１の存在情報および前記第２の存在情報は、補足的エンハンスメント情報（ＳＥＩ）メッセージとしてシグナリングされる請求項１に記載の映像コーディングデバイス。

【請求項3】

前記第１の存在情報は、時間的副層の前記第１のセット内の各時間的副層に関して、時間的副層の前記第１のセット内の前記時間的副層の各々が存在するかどうかを示すフラグまたは構文要素を備え、前記第２の存在情報は、時間的副層の前記第２のセット内の各時間的副層に関して、時間的副層の前記第２のセット内の前記時間的副層の各々が存在するかどうかを示すフラグまたは構文要素を備える請求項１に記載の映像コーディングデバイス。

【請求項4】

前記第１のセットの前記時間的副層のうちの１つは、基本層ピクチャを含み、前記映像コーディングデバイスは、拡張層ピクチャのスライスに関して、前記第１のセットの前記１つの時間的副層が前記ビットストリーム内に存在しないことを前記第１の存在情報が示す場合は前記拡張層ピクチャの層間予測に関して前記基本層ピクチャが使用されるかどうかを、スライスレベルで決定することを控えるようにさらに構成される請求項１に記載の映像コーディングデバイス。

【請求項5】

前記映像コーディングデバイスは、前記映像コーディングデバイスによって出力される映像信号を変化させずに前記基本層ピクチャが層間予測に関して使用されるかどうかを、スライスレベルで決定することを控えるように構成される請求項４に記載の映像コーディングデバイス。

【請求項6】

前記映像コーディングデバイスは、符号器を備え、前記ビットストリーム内の前記映像情報を符号化するように構成される請求項１に記載の映像コーディングデバイス。

【請求項7】

前記映像コーディングデバイスは、符号器から映像情報を受信して前記映像情報の修正されたバージョンを復号器に転送するように構成されたミドルボックスを備え、前記ミドルボックスは、前記１つ以上の時間的副層の部分組を前記ビットストリームから取り除くように構成される請求項１に記載の映像コーディングデバイス。

【請求項8】

前記デバイスは、前記ビットストリーム内の前記映像情報を復号するように構成された復号器を備える、請求項１に記載の映像コーディングデバイス。

【請求項9】

前記映像コーディングデバイスは、コンピュータ、ノートブック、ラップトップ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームプレイコンソール、及び車載コンピュータから選択される請求項１に記載の映像コーディングデバイス。

【請求項10】

映像情報をコーディングする方法であって、
時間的副層の第１のセットを備える基本層および時間的副層の第２のセットを備える拡張層に関連する映像情報を格納することと、
前記基本層に関連する第１の存在情報を決定することと、ここにおいて、前記第１の存在情報は、ビットストリーム内におけるコーディングされた映像シーケンスに関して、時間的副層の前記第１のセットの１つ以上の時間的副層が前記ビットストリーム内に存在するかどうかを示し、前記第１の存在情報は、いくつの数の時間的副層が前記基本層内に存在するかを示す構文要素を備える、
前記拡張層に関連する第２の存在情報を決定することと、ここにおいて、前記第２の存在情報は、前記ビットストリーム内における前記コーディングされた映像シーケンスに関して、時間的副層の前記第２のセットの１つ以上の時間的副層が前記ビットストリーム内に存在するかどうかを示し、前記第２の存在情報は、いくつの数の時間的副層が前記拡張層内に存在するかを示す構文要素を備える、
を備える、方法。

【請求項11】

前記第１の存在情報および前記第２の存在情報は、映像パラメータセット（ＶＰＳ）内でシグナリングされ、または、
前記第１の存在情報および前記第２の存在情報は、補足的エンハンスメント情報（ＳＥＩ）メッセージとしてシグナリングされる請求項１０に記載の方法。

【請求項12】

前記第１の存在情報は、前記ビットストリーム内の各層に関して、いくつの数の時間的副層が前記層内に存在するかを示す構文要素を備える請求項１０に記載の方法。

【請求項13】

拡張層ピクチャのスライスに関して、前記第１のセットの前記時間的副層のうちの１つが前記ビットストリーム内に存在しないことを前記第１の存在情報が示す場合は前記拡張層ピクチャの層間予測に関して前記第１のセットの前記１つの時間的副層内の基本層ピクチャが使用されるかどうかを、スライスレベルで決定することを控えることをさらに備える請求項１０に記載の方法。

【請求項14】

前記基本層ピクチャが層間予測に関して使用されるかどうかを、スライスレベルで決定することを前記控えることは、出力される映像信号を変化させずに行われる請求項１３に記載の方法。

【請求項15】

非一時的なコンピュータによって読み取り可能な記憶媒体であって、実行されたときに、装置に、請求項１０−１２のうちのいずれかに記載の方法を行わせるコードを備える、非一時的なコンピュータによって読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［０００１］本開示は、映像のコーディング及び圧縮の分野に関するものであり、特に、スケーラブル映像コーディング（ＳＶＣ）又はマルチビュー映像コーディング（ＭＶＣ、３ＤＶ）に関するものである。

【背景技術】

【0002】

［０００２］デジタル映像能力を広範なデバイス内に組み入れることができ、デジタルテレビと、デジタル直接放送システムと、無線放送システムと、パーソナルデジタルアシスタント（ＰＤＡ）と、ラップトップ又はデスクトップコンピュータと、デジタルカメラと、デジタル記録デバイスと、デジタルメディアプレーヤーと、ビデオゲームプレイ装置と、ビデオゲームコンソールと、セルラー又は衛星無線電話と、ビデオ会議装置と、映像ストリーミングデバイスと、等、を含む。デジタル映像デバイスは、映像圧縮技法、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ１０、アドバンストビデオコーディング（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ））によって定義される規格、現在策定中の高効率映像コーディング（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）規格、及び該規格の拡張版において説明されるそれらを実装する。映像デバイスは、該映像コーディング技法を実装することによってデジタル映像情報をより効率的に送信、受信、符号化、復号、及び／又は格納することができる。

【0003】

［０００３］映像圧縮技法は、映像シーケンスに固有の冗長性を低減又は除去するために空間的（イントラピクチャ）予測及び／又は時間的（インターピクチャ）予測を行う。ブロックに基づく映像コーディングでは、映像スライス（例えば、映像フレーム、映像フレームの一部分、等）を映像ブロックに分割することができ、それらは、ツリーブロック、コーディングユニット（ＣＵ）及び／又はコーディングノードと呼ぶこともできる。ピクチャのイントラコーディングされた（Ｉ）スライス内の映像ブロックは、同じピクチャ内の近隣ブロック内の基準サンプルに関して空間的予測を用いて符号化される。ピクチャのインターコーディングされた（Ｐ又はＢ）スライス内の映像ブロックは、同じピクチャ内の近隣ブロック内の基準サンプルに関しては空間的予測、その他の基準ピクチャ内の基準サンプルに関しては時間的予測を使用することができる。ピクチャは、フレームと呼ぶことができ、基準ピクチャは、基準フレームと呼ぶことができる。

【0004】

［０００４］空間的又は時間的予測の結果、コーディングされるべきブロックに関する予測ブロックが得られる。残差データは、コーディングされるべきオリジナルのブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する基準サンプルのブロックを指し示す動きベクトル、及びコーディングされたブロックと予測ブロックとの間の差分を示す残差データにより符号化される。イントラコーディングされたブロックは、イントラコーディングモード及び残差データにより符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換することができ、その結果残差変換係数が得られ、それらは量子化することができる。量子化された変換係数は、当初は二次元配列で配置され、変換係数の一次元ベクトルを生成するために走査することができ、及び、さらなる圧縮を達成させるためにエントロピー符号化を適用することができる。

【発明の概要】

【0005】

［０００５］スケーラブル映像コーディング（ＳＶＣ）は、基準層（ＲＬ）と時折呼ばれる基本層（ＢＬ）、及び１つ以上のスケーラブルな拡張層（ＥＬ）が使用される映像コーディングを意味する。ＳＶＣでは、基本層は、基本的なレベルの品質を有する映像データを搬送することができる。１つ以上の拡張層は、例えば、より高い空間的レベル、時間的レベル、及び／又は信号対雑音（ＳＮＲ）レベルをサポートするために追加の映像データを搬送することができる。拡張層は、前に符号化された層と比較して定義することができる。例えば、最下部の層は、ＢＬとして働くことができ、最上層は、ＥＬとして働くことができる。中間層は、ＥＬ又はＲＬ、又は両方として働くことができる。例えば、中間の１つの層は、その下方にある層、例えば、基本層又はいずれかの介在する拡張層、に関するＥＬであることができ、と同時に、その上方にある１つ以上の拡張層に関するＲＬとして働く。同様に、ＨＥＶＣ規格のマルチビュー又は３Ｄ拡張では、複数のビューが存在することができ、１つのビューの情報を、他のビューの情報（例えば、動き推定、動きベクトル予測及び／又はその他の冗長性）をコーディング（例えば、符号化又は復号）するために利用することができる。

【0006】

［０００６］ＳＶＣでは、ＥＬは、ＢＬから導き出された情報に基づいて予測することができる。例えば、ＢＬピクチャは、アップサンプリングすることができ、そのＢＬピクチャと同じアクセスユニット内にあるＥＬピクチャに関する予測子として働くことができる。コーディングされたビットストリームは、１つ以上のＥＬピクチャを予測するためにＢＬピクチャが使用されるかどうかを示すフラグを含むことができる。該フラグは、スライスヘッダにおいてシグナリングすることができる。換言すると、ＢＬピクチャが層内予測のために使用されるかどうかの決定は、ビットがスライスレベルで構文解析された後のみに生じることができる。

【0007】

［０００７］さらに、ＳＶＣでは、映像層は、１つ以上の時間的副層を含むことができる。時間的副層は、映像層内における時間的スケーラビリティを提供する。例えば、ビットストリーム内の特定の映像層は、３つの時間的副層、すなわち、副層＃１、副層＃２、及び副層＃３、を有することができる。それらの副層の各々は、互いに関連する複数のピクチャ（又は映像スライス）を含むことができる。ビットストリームを受信する復号器は、例えば、副層＃１のみ、副層＃１と副層＃２のみ、又は副層＃１乃至＃３のすべてを使用することができる。時間的副層のうちのいくつが使用されるかに依存して、復号器によって出力される映像信号の品質が異なる。幾つかの実装においては、時間的副層のうちの１つ以上をサブビットストリーム抽出プロセスにおいて取り除くことができる。時間的副層は、様々な理由、例えば、使用しない又は帯域幅低減、のために取り除くことができる。該事例においては、復号器は、時間的副層が送信中に取り除かれているか又は失われているかを知ることができない。

【0008】

［０００８］従って、時間的副層の存在をシグナリングすることによって、復号器は、なくなっている時間的副層が意図的に取り除かれたものであるか又は偶然に失われたものであるかを知ることができる。さらに、該存在情報をシーケンスレベルで提供することによって、復号器は、（取り除かれた時間的副層の一部であることができる）幾つかのピクチャが層内予測のために使用されるかどうかを知るためにスライスレベルのビットが構文解析されるまで待つ必要がなく、該存在情報を使用することによって復号プロセスをより良く最適化することができる。従って、時間的副層の存在情報を提供することは、コーディング効率を向上させること及び／又は計算の複雑さを低減させることができる。

【0009】

［０００９］本開示のシステム、方法及びデバイスは、各々、革新的な態様を有しており、そのうちのいずれの１つも、ここにおいて開示される望ましい属性に関して単独で担当しているわけではない。

【0010】

［００１０］一実施形態においては、映像情報をコーディング（例えば、符号化又は復号）するように構成された装置は、メモリユニットと、メモリユニットと通信状態にあるプロセッサと、を含む。メモリユニットは、１つ以上の時間的副層を備える映像層に関連する映像情報を格納するように構成される。プロセッサは、ビットストリーム内のコーディングされた映像シーケンスに関する存在情報を決定するように構成され、存在情報は、映像層の該１つ以上の時間的副層がビットストリーム内に存在するかどうかを示す。

【0011】

［００１１］一実施形態においては、映像情報をコーディング（例えば、符号化又は復号）する方法は、１つ以上の時間的副層を備える映像層に関連する映像情報を格納することと、ビットストリーム内のコーディングされた映像シーケンスに関する存在情報を決定することと、を備え、存在情報は、映像層の該１つ以上の時間的副層がビットストリーム内に存在するかどうかを示す。

【0012】

［００１２］一実施形態においては、非一時的なコンピュータによって読み取り可能な媒体は、実行されたときに、プロセスを実行することを装置に行わせるコードを備える。プロセスは、１つ以上の時間的副層を備える映像層に関連する映像情報を格納することと、ビットストリーム内のコーディングされた映像シーケンスに関する存在情報を決定することと、を備え、存在情報は、映像層の該１つ以上の時間的副層がビットストリーム内に存在するかどうかを示す。

【0013】

［００１３］一実施形態においては、１つ以上の時間的副層を備える映像層に関連する映像情報を格納するための手段と、ビットストリーム内のコーディングされた映像シーケンスに関する存在情報を決定するための手段と、を備え、存在情報は、映像層の該１つ以上の時間的副層がビットストリーム内に存在するかどうかを示す。

【図面の簡単な説明】

【0014】

【図1】［００１４］本開示において説明される態様による技法を利用することができる映像符号化及び復号システムの例を示したブロック図である。

【図2A】［００１５］本開示において説明される態様による技法を利用することができる映像符号器の例を示したブロック図である。

【図2B】［００１６］本開示において説明される態様による技法を利用することができる映像符号器の例を示したブロック図である。

【図3A】［００１７］本開示において説明される態様による技法を利用することができる映像復号器の例を示したブロック図である。

【図3B】［００１８］本開示において説明される態様による技法を利用することができる映像復号器の例を示したブロック図である。

【図4】［００１９］本開示の一実施形態による、基本層及び拡張層における様々なピクチャを例示した概略図である。

【図5】［００２０］本開示の一実施形態による、映像情報をコーディングする方法を例示したフローチャートである。

【図6】［００２１］本開示の一実施形態による、映像情報をコーディングする方法を例示したフローチャートである。

【図7】［００２２］本開示の一実施形態による、映像情報をコーディングする方法を例示したフローチャートである。

【発明を実施するための形態】

【0015】

［００２３］ここにおいて説明される幾つかの実施形態は、高度な映像コーデック、例えば、ＨＥＶＣ（高効率映像コーディング）、に関するスケーラブル映像コーディングのための層間予測に関するものである。より具体的には、本開示は、ＨＥＶＣのスケーラブル映像コーディング（ＳＶＣ）拡張における層間予測の性能向上のためのシステム及び方法に関するものである。

【0016】

［００２４］以下の説明では、幾つかの実施形態に関連するＨ．２６４／ＡＶＣ技法が説明される。ＨＥＶＣ規格及び関連する技法についても論じられる。幾つかの実施形態は、ここにおいてはＨＥＶＣ規格及び／又はＨ．２６４規格の点で説明されている一方で、ここにおいて開示されるシステム及び方法は、あらゆる適切な映像コーディング規格に対して適用可能であることを当業者は評価するであろう。例えば、ここにおいて開示される実施形態は、次の規格のうちの１つ以上に対して適用可能である。すなわち、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２、ＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ４ Ｖｉｓｕａｌ及びＩＴＵ−Ｔ Ｈ．２６４（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとも呼ばれる）であり、そのスケーラブル映像コーディング（ＳＶＣ）及びマルチビュー映像コーディング（ＭＶＣ）拡張を含む。

【0017】

［００２５］ＨＥＶＣは、概して、多くの点において、それ以前の映像コーディング規格の枠組に従う。ＨＥＶＣにおける予測単位は、幾つかの以前の映像コーディング規格（例えば、マクロブロック）と異なる。実際、幾つかの以前の映像コーディング規格において理解されるように、マクロブロック概念は、ＨＥＶＣでは存在しない。マクロブロックは、四分木方式に基づく階層構造に取って代わられており、それは、可能な利益の中でとりわけ高い柔軟性を提供することができる。例えば、ＨＥＶＣ方式では、３つのタイプのブロック、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、及び変換ユニット（ＴＵ）が定義されている。ＣＵは、基本的な領域分割単位を意味する。ＣＵは、マクロブロック概念と類似であるとみなすことができるが、最大サイズを制限しておらず、コンテンツの適合性を向上させるために４つの等しいサイズのＣＵへの反復的分割を可能にすることができる。ＰＵは、インター／イントラ予測の基本単位であるとみなすことができ、不正規な画像パターンを有効にコーディングするために複数の任意の形状分割を単一のＰＵ内に入れることができる。ＴＵは、変換の基本単位であるとみなすことができる。それは、ＰＵと独立して定義することができるが、そのサイズは、ＴＵが属するＣＵに制限することができる。３つの異なる概念へのブロック構造のこの分離は、その役割に従って各々を最適化することができ、その結果として、向上されたコーディング効率を得ることができる。

【0018】

［００２６］例示することのみを目的として、ここにおいて開示される幾つかの実施形態は、２つのみの層（例えば、より下位の層、例えば、基本層、及びより高位の層、例えば、拡張層）を含む例を用いて説明されている。該例は、複数の基本層及び／又は拡張層を含む構成に対して適用可能であることが理解されるべきである。さらに、説明を容易にするために、次の開示は、幾つかの実施形態を参照する用語“フレーム”又は“ブロック”を含む。しかしながら、これらの用語は、限定することは意味しない。例えば、以下において説明される技法は、あらゆる適切な映像単位、例えば、ブロック（例えば、ＣＵ、ＰＵ、ＴＵ、マクロブロック、等）、スライス、フレーム、等とともに使用することができる。

【0019】

映像コーディング規格
［００２７］デジタル画像、例えば、ビデオ画像、ＴＶ画像、静止画像、又は、ビデオレコーダ又はコンピュータによって生成された画像、は、水平線及び垂直線で配置されたピクセル又はサンプルから成ることができる。単一の画像内のピクセル数は、典型的には、数万にも及ぶ。各ピクセルには、典型的には、ルミナンス情報及びクロミナンス情報が入っている。圧縮しなければ、画像符号器から画像復号器に運ばれる情報量は非常に膨大であり、リアルタイムでの画像送信を不可能にしてしまう。送信されるべき情報量を低減させるために、幾つかの異なる圧縮法、例えば、ＪＰＥＧ、ＭＰＥＧ及びＨ．２６３規格が開発されている。

【0020】

［００２８］映像コーディング規格は、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２、ＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ及びＩＴＵ−Ｔ Ｈ．２６４（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとも呼ばれる）であり、そのスケーラブル映像コーディング（ＳＶＣ）及びマルチビュー映像コーディング（ＭＶＣ）拡張を含む。

【0021】

［００２９］さらに、新しい映像コーディング規格、すなわち、高効率映像コーディング（ＨＥＶＣ）が、ＩＴＵ−Ｔビデオコーディングエキスパーツグループ（ＶＣＥＧ）及びＩＳＯ／ＩＥＣモーションピクチャエキスパーツグループ（ＭＰＥＧ）の映像コーディングに関する共同作業チーム（ＪＣＴ−ＶＣ）によって現在策定中である。ＨＥＶＣドラフト１０に関する完全な引用名は、document JCTVC-L1003, Bross et al., "High Efficiency Video Coding(HEVC) Text Specification Draft 10," Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 12th Meeting: Geneva, Switzerland, January 14, 2013 to January 23, 2013である。ＨＥＶＣのマルチビュー拡張版、すなわち、ＭＶ−ＨＥＶＣ、及びＨＥＶＣのスケーラブル拡張版、すなわち、ＳＨＶＣも、ＪＣＴ−３Ｖ（３Ｄ映像コーディング拡張版策定に関するＩＴＵ−Ｔ／ＩＳＯ／ＩＥＣ共同作業チーム）及びＪＣＴ−ＶＣによってそれぞれ策定中である。

【0022】

［００３０］以下において、新規のシステム、装置、及び方法の様々な態様が、添付された図面を参照してより完全に説明される。しかしながら、本開示は、数多くの異なる形態で具現化することができ、本開示全体を通じて提示される特定の構造又は機能に限定されるとは解釈されるべきでない。むしろ、これらの態様は、本開示が徹底的でかつ完全なものになり、さらに本開示の適用範囲を当業者に完全に伝達するようにするために提供される。ここにおける教示に基づき、本開示の適用範囲は、ここにおいて開示される新規のシステム、装置、及び方法の態様を網羅することが意図されており、本開示のその他の態様から独立して実装されるか又は本開示のその他の態様と組み合わせて実装されるかを問わないことを当業者は評価すべきである。例えば、ここにおいて説明されるあらゆる数の態様を用いて装置を実装することができ及び方法を実践することができる。さらに、本開示の適用範囲は、ここにおいて説明される本開示の様々な態様に加えての又はここにおいて説明される本開示の様々な態様以外のその他の構造、機能、又は構造と機能を用いて実装される装置又は実践される方法を網羅することが意図される。ここにおいて開示されるいずれの態様も、請求項の１つ以上の要素によって具現化することができることが理解されるべきである。

【0023】

［００３１］ここにおいては特定の態様が説明されるが、これらの態様の数多くの変形及び置換が本開示の適用範囲内に入る。好ましい態様の幾つかの利益及び利点が述べられているが、本開示の適用範囲は、特定の利益、用途、又は目標に限定されることは意図されない。むしろ、本開示の態様は、異なる無線技術、システム構成、ネットワーク、及び送信プロトコルに対して広範囲にわたって適用可能であることが意図され、それらのうちの一部は、図内において及び好ましい態様に関する以下の説明において例を通じて示される。発明を実施するための形態及び図面は、本開示を限定するのではなく、単なる例示であるにすぎず、本開示の適用範囲は、添付される請求項及びそれらの同等物によって定義される。

【0024】

［００３２］添付される図面は、例を示すものである。添付される図面において参照数字によって示される要素は、以下の説明において同様の参照数字によって示される要素に対応する。本開示において、序数（例えば、“第１の”、“第２の”、“第３の”、等）で始まる名称を有する要素は、それらの要素が特定の順序を有することは必ずしも意味しない。むしろ、該序数は、単に、同じ又は同様のタイプの異なる要素を意味するために使用されるにすぎない。

【0025】

映像コーディングシステム
［００３３］図１は、本開示において説明される態様による技法を利用することができる映像コーディングシステム例１０を示すブロック図である。ここにおいて使用される場合、用語“映像コーダ”は、概して、映像符号器及び映像復号器の両方を意味する。本開示においては、用語“映像コーディング”又は“コーディング”は、概して、映像符号化及び映像復号を意味することができる。

【0026】

［００３４］図１において示されるように、映像コーディングシステム１０は、ソースデバイス１２と、行先デバイス１４と、を含む。ソースデバイス１２は、符号化された映像データを生成する。行先デバイス１４は、ソースデバイス１２によって生成された符号化された映像データを復号することができる。ソースデバイス１２及び行先デバイス１４は、広範なデバイスを備えることができ、デスクトップコンピュータ、ノートブック（例えば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、例えば、いわゆる“スマート”フォン、いわゆる“スマート”パッド、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール、車載コンピュータ、等を含む。幾つかの事例においては、ソースデバイス１２及び行先デバイス１４は、無線通信のために装備することができる。

【0027】

［００３５］行先デバイス１４は、チャネル１６を介してソースデバイス１２から符号化された映像データを受信することができる。チャネル１６は、符号化された映像データをソースデバイス１２から行先デバイス１４に移動させることが可能なあらゆるタイプの媒体又はデバイスを備えることができる。一例では、チャネル１６は、ソースデバイス１２が符号化された映像データをリアルタイムで直接行先デバイス１４に送信するのを可能にする通信媒体を備えることができる。この例では、ソースデバイス１２は、通信規格、例えば、無線通信プロトコル、により符号化された映像データを変調することができ、及び、変調された映像データを行先デバイス１４に送信することができる。通信媒体は、無線又は有線の通信媒体、例えば、無線周波数（ＲＦ）スペクトル又は１つ以上の物理的送信ライン、を備えることができる。通信媒体は、パケットに基づくネットワーク、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、又はグローバルネットワーク、例えば、インターネット、の一部を形成することができる。通信媒体は、ルータ、スイッチ、基地局、又はソースデバイス１２から行先デバイス１４への通信を容易にするのに役立つことができるその他のあらゆる装置を含むことができる。

【0028】

［００３６］他の例においては、チャネル１６は、ソースデバイス１２によって生成された符号化された映像データを格納する記憶媒体に対応することができる。この例では、行先デバイス１４は、ディスクアクセス又はカードアクセスを介して記憶媒体にアクセスすることができる。記憶媒体は、様々なローカルでアクセスされるデータ記憶媒体、例えば、Ｂｌｕｅ−ｒａｙディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、又は符号化された映像データを格納するためのその他の適切なデジタル記憶媒体を含むことができる。さらなる例では、チャネル１６は、ソースデバイス１２によって生成された符号化された映像を格納するファイルサーバ又は他の中間的な記憶デバイスを含むことができる。この例では、行先デバイス１４は、ストリーミング又はダウンロードを介してファイルサーバ又はその他の中間的な記憶デバイスにおいて格納される符号化された映像データにアクセスすることができる。ファイルサーバは、符号化された映像データを格納すること及びその符号化された映像データを行先デバイス１４に送信することが可能なあらゆるタイプのサーバであることができる。ファイルサーバ例は、（例えば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）デバイス、及びローカルディスクドライブを含む。行先デバイス１４は、インターネット接続を含む標準的なデータ接続を通じて符号化された映像データにアクセスすることができる。データ接続タイプ例は、ファイルサーバに格納された符号化された映像データにアクセスするのに適する無線チャネル（例えば、Ｗｉ−Ｆｉ接続、等）、有線接続（例えば、ＤＳＬ、ケーブルモデム、等）、又は両方の組み合わせを含むことができる。ファイルサーバからの符号化された映像データの送信は、ストリーミング送信、ダウンロード送信、又は両方の組み合わせであることができる。

【0029】

［００３７］本開示の技法は、無線の用途又はセッティングには必ずしも限定されない。それらの技法は、映像コーディングに適用することができ、様々なマルチメディア用途、例えば、オーバー・ザ・エアテレビ放送、ケーブルテレビ送信、衛星テレビ送信、例えば、インターネットを介してのストリーミング映像送信（例えば、ダイナミックアダプティブストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）、等）、データ記憶媒体上に格納するためのデジタル映像の符号化、データ記憶媒体に格納されたデジタル映像の復号、又はその他の用途をサポートする。幾つかの例では、映像コーディングシステム１０は、映像ストリーミング、映像再生、映像放送、及び／又は映像テレフォニー、等の用途をサポートするために１方向又は２方向の映像送信をサポートするように構成することができる。

【0030】

［００３８］図１の例では、ソースデバイス１２は、映像ソース１８と、映像符号器２０と、出力インタフェース２２と、を含む。幾つかの事例においては、出力インタフェース２２は、変調器／復調器（モデム）及び／又は送信機を含むことができる。ソースデバイス１２において、映像ソース１８は、ソース、例えば、映像キャプチャデバイス、例えば、ビデオカメラ、以前にキャプチャされた映像が入った映像アーカイブ、及び／又は映像コンテンツプロバイダからの映像を受信するための映像フィードインタフェース、及び／又は、映像データを生成するためのコンピュータグラフィックスシステム、又は、該ソースの組み合わせを含むことができる。

【0031】

［００３９］映像符号器２０は、キャプチャされた、予めキャプチャされた、又はコンピュータによって生成される映像データを符号化するように構成することができる。符号化された映像データは、ソースデバイス１２の出力インタフェース２２を介して行先デバイス１４に直接送信することができる。符号化された映像データは、復号及び／又は再生を目的として行先デバイス１４がのちにアクセスするために記憶媒体又はファイルサーバに格納することもできる。

【0032】

［００４０］図１の例において、行先デバイス１４は、入力インタフェース２８と、映像復号器３０と、表示装置３２と、を含む。幾つかの事例においては、入力インタフェース２８は、受信機及び／又はモデムを含むことができる。行先デバイス１４の入力インタフェース２８は、チャネル１６を通じて符号化された映像データを受信する。符号化された映像データは、映像符号器２０によって生成され、映像データを表す様々な構文要素を含むことができる。構文要素は、ブロック及びその他のコーディングされたユニット、例えば、ピクチャのグループ（ＧＯＰ）、の特徴及び／又は処理を記述することができる。該構文要素は、通信媒体で送信される符号化された映像データとともに含めること、記憶媒体に格納すること、又はファイルサーバに格納することができる。

【0033】

［００４１］表示装置３２は、行先デバイス１４と一体化すること又は行先デバイス１４の外部に存在することができる。幾つかの例においては、行先デバイス１４は、一体化された表示装置を含むことができ及び外部の表示デバイスとインタフェースするように構成することもできる。その他の例においては、行先デバイス１４は、表示装置であることができる。概して、表示装置３２は、復号された映像データをユーザに表示する。表示装置３２は、様々な表示装置、例えば、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は他のタイプの表示装置、を備えることができる。

【0034】

［００４２］映像符号器２０及び映像復号器３０は、映像圧縮規格、例えば、現在策定中の高効率映像コーディング（ＨＥＶＣ）規格、に従って動作することができ、及びＨＥＶＣテストモデル（ＨＭ）に準拠することができる。代替として、映像符号器２０及び映像復号器３０は、その他の独占規格又は工業規格、例えば、ＩＴＵ−Ｔ Ｈ．２６４規格、代替でＭＰＥＧ−４、Ｐａｒｔ１０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）と呼ばれる、又は該規格の拡張版、により動作することができる。しかしながら、本開示の技法は、特定のコーディング規格には限定されない。映像圧縮規格のその他の例は、ＭＰＥＧ−２と、ＩＴＵ−Ｔ Ｈ．２６３と、を含む。

【0035】

［００４３］図１の例には示されていないが、映像符号器２０及び映像復号器３０は、各々、音声符号器及び復号器と一体化することができ、及び、共通のデータストリーム又は別々のデータストリーム内の音声及び映像の両方の符号化を取り扱うための該当するＭＵＸ−ＤＥＭＵＸユニット、又はその他のハードウェア及びソフトウェアを含むことができる。該当する場合は、幾つかの例においては、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はその他のプロトコル、例えば、ユーザデータグラムプロトコル（ＵＤＰ）、に準拠することができる。

【0036】

［００４４］繰り返しになるが、図１は単なる例であり、本開示の技法は、符号化デバイスと復号デバイスとの間でのデータ通信を必ずしも含まない映像コーディング設定（例えば、映像符号化又は映像復号）に対して適用することができる。その他の例においては、データは、ローカルメモリから取り出す、ネットワークを通じてストリーミングする、等であることができる。符号化デバイスは、データを符号化してメモリに格納することができ、及び／又は、復号デバイスは、データをメモリから取り出して復号することができる。多くの例において、符号化及び復号は、互いに通信せず、単にメモリへのデータを符号化する及び／又はメモリからデータを取り出して復号するデバイスによって行われる。

【0037】

［００４５］映像符号器２０及び映像復号器３０は、各々、様々な適切な符号器回路、例えば、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ハードウェア、又はそれらのあらゆる組み合わせのうちのいずれかとして実装することができる。技法がソフトウェア内において部分的に実装されるときには、デバイスは、ソフトウェアに関する命令を適切な、非一時的なコンピュータによって読み取り可能な媒体に格納することができ及び本開示の技法を実行するために１つ以上のプロセッサを用いてハードウェア内で命令を実行することができる。図１の例においては映像符号器２０及び映像復号器３０は、別個のデバイスに実装されるとして示されているが、本開示は、該構成には限定されず、映像符号器２０及び映像復号器３０は、同じデバイス内に実装することができる。映像符号器２０及び映像復号器３０の各々は、１つ以上の符号器又は復号器に含めることができ、それらのいずれも、各々のデバイスにおいて結合された符号器／復号器（ＣＯＤＥＣ）の一部として一体化することができる。映像符号器２０及び／又は映像復号器３０を含むデバイスは、集積回路、マイクロプロセッサ、及び／又は無線通信デバイス、例えば、携帯電話、を備えることができる。

【0038】

［００４６］上において簡単に述べられているように、映像符号器２０は、映像データを符号化する。映像データは、１つ以上のピクチャを備えることができる。それらのピクチャの各々は、映像の一部を形成する静止画像である。幾つかの例においては、ピクチャは、映像“フレーム”と呼ぶことができる。映像符号器２０が映像データを符号化するときには、映像符号器２０は、ビットストリームを生成することができる。ビットストリームは、映像データのコーディングされた表現を形成するビットのシーケンスを含むことができる。ビットストリームは、コーディングされたピクチャと、関連するデータと、を含むことができる。コーディングされたピクチャは、ピクチャのコーディングされた表現である。

【0039】

［００４７］ビットストリームを生成するために、映像符号器２０は、映像データ内の各ピクチャに関して符号化動作を行うことができる。映像符号器２０がピクチャに関して符号化動作を行うときには、映像符号器２０は、一連のコーディングされたピクチャ及び関連するデータを生成することができる。関連するデータは、映像パラメータセット（ＶＰＳ）と、シーケンスパラメータセットと、ピクチャパラメータセットと、好適化パラメータセットと、その他の構文構造と、を含むことができる。シーケンスパラメータセット（ＳＰＳ）は、ゼロ以上のシーケンスのピクチャに適用可能なパラメータを入れることができる。ピクチャパラメータセット（ＰＰＳ）は、ゼロ以上のピクチャに適用可能なパラメータを入れることができる。好適化パラメータセット（ＡＰＳ）は、ゼロ以上のピクチャに適用可能なパラメータを入れることができる。ＡＰＳ内のパラメータは、ＰＰＳ内のパラメータよりも変化する可能性が高いパラメータであることができる。

【0040】

［００４８］コーディングされたピクチャを生成するために、映像符号器２０は、ピクチャを等しいサイズの映像ブロックに分割することができる。映像ブロックは、サンプルの二次元配列であることができる。それらの映像ブロックの各々は、ツリーブロックと関連付けられる。幾つかの例においては、ツリーブロックは、最大のコーディングユニット（ＬＣＵ）と呼ぶことができる。ＨＥＶＣのツリーブロックは、以前の規格、例えば、Ｈ．２６４／ＡＶＣ、のマクロブロックにほぼ類似する。しかしながら、ツリーブロックは、必ずしも特定のサイズには限定されず、１つ以上のコーディングユニット（ＣＵ）を含むことができる。映像符号器２０は、ツリーブロックの映像ブロックをＣＵに関連する映像ブロックに分割するために四分木分割を使用することができ、従って、それらは、“ツリーブロック”という名称を有する。

【0041】

［００４９］幾つかの例においては、映像符号器２０は、ピクチャを複数のスライスに分割することができる。それらのスライスの各々は、整数の数のＣＵを含むことができる。幾つかの例においては、スライスは、整数の数のツリーブロックを備える。その他の例においては、スライスの境界は、ツリーブロック内に存在することができる。

【0042】

［００５０］ピクチャに関して符号化動作を行う一部として、映像符号器２０は、そのピクチャの各スライスに関して符号化動作を行うことができる。映像符号器２０がスライスに関して符号化動作を行うときには、映像符号器２０は、そのスライスに関連する符号化されたデータを生成することができる。スライスに関連する符号化されたデータは、“コーディングされたスライス”と呼ぶことができる。

【0043】

［００５１］コーディングされたスライスを生成するために、映像符号器２０は、スライス内の各ツリーブロックに関して符号化動作を行うことができる。映像符号器２０がツリーブロックに関して符号化動作を行うときには、映像符号器２０は、コーディングされたツリーブロックを生成することができる。コーディングされたツリーブロックは、ツリーブロックの符号化されたバージョンを表現するデータを備えることができる。

【0044】

［００５２］映像符号器２０がコーディングされたスライスを生成するときには、映像符号器２０は、ラスター走査順序に従ってスライス内のツリーブロックに関して符号化動作（例えば、符号化）を行うことができる。例えば、映像符号器２０は、スライス内のツリーブロックの最上行を左から右に横断して進み、次に、ツリーブロックの次に低い行を左から右に横断して進み、以下同様であり、映像符号器２０がスライス内の各ツリーブロックを符号化するまで続ける。

【0045】

［００５３］ラスター走査順序に従ってツリーブロックを符号化した結果として、所定のツリーブロックの上方及び左側のツリーブロックが符号化されているが、所定のツリーブロックの下方及び右側のツリーブロックはまだ符号化されていない。従って、映像符号器２０は、所定のツリーブロックを符号化するときには所定のツリーブロックの上方及び左側のツリーブロックを符号化することによって生成された情報にアクセスすることができる。しかしながら、映像符号化器２０は、所定のツリーブロックを符号化するときには所定のツリーブロックの下方及び右側のツリーブロックを符号化することによって生成された情報にはアクセスすることができない。

【0046】

［００５４］コーディングされたツリーブロックを生成するために、映像符号器２０は、映像ブロックを徐々に小さくなる映像ブロックに分割するためにツリーブロックの映像ブロックに関して四分木分割を繰り返し行うことができる。それらのより小さい映像ブロックの各々は、異なるＣＵと関連付けることができる。例えば、映像符号器２０は、ツリーブロックの映像ブロックを４つの等しいサイズのサブブロックに分割し、それらのサブブロックのうちの１つ以上を４つの等しいサイズのサブサブブロックに分割し、以下同様であることができる。分割されたＣＵは、それの映像ブロックがその他のＣＵに関連する映像ブロックに分割されるＣＵであることができる。分割されないＣＵは、それの映像ブロックがその他のＣＵに関連する映像ブロックに分割されないＣＵであることができる。

【0047】

［００５５］ビットストリーム内の１つ以上の構文要素は、映像符号器２０がツリーブロックの映像ブロックを分割することができる最大回数を示すことができる。ＣＵの映像ブロックは、形状が正方形であることができる。ＣＵの映像ブロックのサイズ（例えば、ＣＵのサイズ）は、８×８ピクチャからツリーブロックの映像ブロックのサイズ（例えば、ツリーブロックのサイズ）までの範囲であることができ、最大は、６４×６４ピクセル以上である。

【0048】

［００５６］映像符号器２０は、ｚ走査順序に従ってツリーブロックの各ＣＵに関して符号化動作（例えば、符号化）を行うことができる。換言すると、映像符号器２０は、最上部−左ＣＵ、最上部−右ＣＵ、最下部−左ＣＵ、次に最下部−右ＣＵをその順序で符号化することができる。映像符号器２０が分割されたＣＵに関して符号化動作を行うときには、映像符号器２０は、ｚ走査順序に従って分割されたＣＵの映像ブロックのサブブロックに関連するＣＵを符号化することができる。換言すると、映像符号器２０は、最上部−左サブブロック、最上部−右サブブロックに関連するＣＵ、最下部−左サブブロックに関連するＣＵ、次に最下部−右サブブロックに関連するＣＵをその順序で符号化することができる。

【0049】

［００５７］ｚ走査順序に従ってツリーブロックのＣＵを符号化した結果、所定のＣＵの上方のＣＵ、上方−左側のＣＵ、上方−右側のＣＵ、左側のＣＵ、及び下方−左側のＣＵを符号化することができる。所定のＣＵの下方及び右側のＣＵはまだ符号化されていない。従って、映像符号器２０は、所定のＣＵを符号化するときに所定のＣＵの近隣に存在する幾つかのＣＵを符号化することによって生成された情報にアクセスすることができる。しかしながら、映像符号化器２０は、所定のＣＵを符号化するときに所定のＣＵの近隣に存在するその他のＣＵを符号化することによって生成された情報にアクセスすることができない。

【0050】

［００５８］映像符号器２０が分割されていないＣＵを符号化するときには、映像符号器２０は、そのＣＵに関する１つ以上の予測ユニット（ＰＵ）を生成することができる。ＣＵのＰＵの各々は、ＣＵの映像ブロック内の異なる映像ブロックと関連付けることができる。映像符号器２０は、ＣＵの各ＰＵに関する予測された映像ブロックを生成することができる。ＰＵの予測された映像ブロックは、サンプルのブロックであることができる。映像符号器２０は、ＰＵに関する予測された映像ブロックを生成するためにイントラ予測又はインター予測を使用することができる。

【0051】

［００５９］映像符号器２０がＰＵの予測された映像ブロックを生成するためにイントラ予測を使用するときには、映像符号器２０は、そのＰＵに関連するピクチャの復号されたサンプルに基づいてＰＵの予測された映像ブロックを生成することができる。映像符号器２０がＣＵのＰＵの予測された映像ブロックを生成するためにイントラ予測を使用する場合は、ＣＵは、イントラ予測されたＣＵである。映像符号器２０がＰＵの予測された映像ブロックを生成するためにインター予測を使用するときには、映像符号器２０は、ＰＵに関連するピクチャ以外の１つ以上のピクチャの復号されたサンプルに基づいてＰＵの予測された映像ブロックを生成することができる。映像符号器２０がＣＵのＰＵの予測された映像ブロックを生成するためにインター予測を使用する場合は、そのＣＵは、インター予測されたＣＵである。

【0052】

［００６０］さらに、映像符号器２０がＰＵに関する予測された映像ブロックを生成するためにインター予測を使用するときには、映像符号器２０は、そのＰＵに関する動き情報を生成することができる。ＰＵに関する動き情報は、そのＰＵの１つ以上の基準ブロックを示すことができる。ＰＵの各基準ブロックは、基準ピクチャ内の映像ブロックであることができる。基準ピクチャは、ＰＵに関連するピクチャ以外のピクチャであることができる。幾つかの例においては、ＰＵの基準ブロックは、そのＰＵの“基準サンプル”と呼ぶこともできる。映像符号器２０は、ＰＵの基準ブロックに基づいてＰＵに関する予測された映像ブロックを生成することができる。

【0053】

［００６１］映像符号器２０がＣＵの１つ以上のＰＵに関する予測された映像ブロックを生成した後は、映像符号器２０は、ＣＵのＰＵに関する予測された映像ブロックに基づいてＣＵに関する残差データを生成することができる。ＣＵに関する残差データは、ＣＵのＰＵに関する予測された映像ブロック内のサンプルとＣＵのオリジナルの映像ブロックとの間の差分を示すことができる。

【0054】

［００６２］さらに、分割されないＣＵに関して符号化動作を行う一部として、映像符号器２０は、ＣＵの変換ユニット（ＴＵ）に関連する残差データの１つ以上のブロック（例えば、残差映像ブロック）にＣＵの残差データを分割するためにＣＵの残差データに関して反復的な四分木分割を行うことができる。ＣＵの各ＴＵは、異なる残差映像ブロックに関連することができる。

【0055】

［００６３］映像コーダ２０は、ＴＵに関連する変換係数ブロック（例えば、変換係数のブロック）を生成するためにＴＵに関連する残差映像ブロックに１つ以上の変換を適用することができる。概念的には、変換係数ブロックは、変換係数の二次元（２Ｄ）行列であることができる。

【0056】

［００６４］変換係数ブロックを生成した後は、映像符号器２０は、その変換係数ブロックに関する量子化プロセスを実行することができる。量子化は、概して、変換係数を表すために使用されるデータ量を低減させ、さらなる圧縮を提供するために変換係数が量子化されるプロセスを意味する。量子化プロセスは、変換係数の一部又は全部に関連するビット深度を小さくすることができる。例えば、量子化中にｎビット値が切り捨てられてｍビット値になり、ここで、ｎはｍよりも大きい。

【0057】

［００６５］映像符号器２０は、各ＣＵを量子化パラメータ（ＱＰ）値と関連付けることができる。ＣＵと関連付けられたＱＰ値は、映像符号器２０がＣＵに関連する変換係数ブロックをどのようにして量子化するかを決定することができる。映像符号器２０は、ＣＵと関連付けられたＱＰ値を調整することによってＣＵに関連する変換係数ブロックに適用された量子化度を調整することができる。

【0058】

［００６６］映像符号器２０が変換係数ブロックを量子化した後は、映像符号器２０は、量子化された変換係数ブロック内の変換係数を表す構文要素の組を生成することができる。映像符号器２０は、エントロピー符号化動作、例えば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）動作、をこれらの構文要素の一部に適用することができる。その他のエントロピーコーディング技法、例えば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、確率間隔分割エントロピー（ＰＩＰＥ）コーディング、又はその他のバイナリ算術コーディング、も使用可能である。

【0059】

［００６７］映像符号器２０によって生成されたビットストリームは、一連のネットワーク抽象層（ＮＡＬ）ユニットを含むことができる。それらのＮＡＬユニットの各々は、ＮＡＬユニット内のデータのタイプの表示及びそのデータが入ったバイトが入った構文構造であることができる。例えば、ＮＡＬユニットは、映像パラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、コーディングされたスライス、補足的エンハンスメント情報（ＳＥＩ）、アクセスユニットデリミッタ、フィラーデータ、又は他のタイプのデータを表現するデータを入れることができる。ＮＡＬユニット内のデータは、様々な構文構造を含むことができる。

【0060】

［００６８］映像復号器３０は、映像符号器２０によって生成されたビットストリームを受信することができる。ビットストリームは、映像符号器２０によって符号化された映像データのコーディングされた表現を含むことができる。映像復号器３０がビットストリームを受信したときには、映像復号器３０は、ビットストリームに関する構文解釈動作を行うことができる。映像復号器３０が構文解析動作を行うときには、映像復号器３０は、ビットストリームから構文要素を抽出することができる。映像復号器３０は、ビットストリームから抽出された構文要素に基づいて映像データのピクチャを再構築することができる。構文要素に基づいて映像データを再構築するプロセスは、概して、構文要素を生成するために映像符号器２０によって実行されるプロセスと相互的であることができる。

【0061】

［００６９］映像復号器３０がＣＵに関連する構文要素を抽出した後は、映像復号器３０は、構文要素に基づいてＣＵのＰＵに関する予測された映像ブロックを生成することができる。さらに、映像復号器３０は、ＣＵのＴＵに関連する変換係数ブロックを逆量子化することができる。映像復号器３０は、ＣＵのＴＵに関連する残差映像ブロックを再構築するために変換係数ブロックに関して逆変換を行うことができる。予測された映像ブロックを生成し、残差映像ブロックを再構築した後は、映像復号器３０は、予測された映像ブロック及び残差映像ブロックに基づいてＣＵの映像ブロックを再構築することができる。このようにして、映像復号器３０は、ビットストリーム内の構文要素に基づいてＣＵの映像ブロックを再構築することができる。

【0062】

映像符号器
［００７０］図２Ａは、本開示において説明される態様による技法を実装することができる映像符号器の例を示したブロック図である。映像符号器２０は、例えば、ＨＥＶＣに関して、映像フレームの単層を処理するように構成することができる。さらに、映像符号器２０は、本開示の技法のうちのいずれか又は全部を実行するように構成することができる。一例として、予測処理ユニット１００は、本開示において説明される技法のうちのいずれか又は全部を実行するように構成することができる。他の実施形態においては、映像符号器２０は、本開示において説明される技法のうちのいずれか又は全部を実行するように構成される任意選択の層間予測ユニット１２８を含む。その他の実施形態においては、層間予測は、予測処理ユニット１００（例えば、インター予測ユニット１２１及び／又はイントラ予測ユニット１２６）によって行うことができ、その場合は、層間予測ユニット１２８は省略することができる。しかしながら、本開示の態様は、そのようには限定されない。幾つかの例においては、本開示において説明される技法は、映像符号器２０の様々なコンポーネント間で共有することができる。幾つかの例においては、さらに加えて又は代替として、プロセッサ（示されていない）は、本開示において説明される技法のうちのいずれか又は全部を実行するように構成することができる。

【0063】

［００７１］説明を目的として、本開示は、ＨＥＶＣコーディングの観点で映像符号器２０について説明している。しかしながら、本開示の技法は、その他のコーディング規格又は方法に対して適用することができる。図２Ａにおいて描かれる例は、単層コーデックに関するものである。しかしながら、図２Ｂに関してさらに説明されるように、映像符号器２０の一部又は全部を、多層コーデック処理のために複製することができる。

【0064】

［００７２］映像符号器２０は、映像スライス内の映像ブロックのイントラコーディング及びインターコーディングを行うことができる。イントラコーディングは、所定の映像フレーム又はピクチャ内における映像の空間的冗長性を低減させる又は除去するために空間的予測に依存する。インターコーディングは、映像シーケンスの隣接するフレーム又はピクチャ内における映像の時間的冗長性を低減させる又は除去するために時間的予測に依存する。イントラモード（Ｉモード（登録商標））は、幾つかの空間に基づくコーディングモードのうちのいずれかを意味することができる。インターモード、例えば、単一方向性予測（Ｐモード）又は両方向予測（Ｂモード）、は、幾つかの時間に基づくコーディングモードのうちのいずれかを意味することができる。

【0065】

［００７３］図２Ａの例において、映像符号器２０は、複数の機能上のコンポーネントを含む。映像符号器２０の機能上のコンポーネントは、予測処理ユニット１００と、残差生成ユニット１０２と、変換処理ユニット１０４と、量子化ユニット１０６と、逆量子化ユニット１０８と、逆変換ユニット１１０と、再構築ユニット１１２と、フィルタユニット１１３と、復号ピクチャバッファ１１４と、エントロピー符号化ユニット１１６と、を含む。予測処理ユニット１００は、インター予測ユニット１２１と、動き推定ユニット１２２と、動き補償ユニット１２４と、イントラ予測ユニット１２６と、層間予測ユニット１２８と、を含む。その他の例では、映像符号器２０は、より多くの、より少ない、又は異なるコンポーネントを含むことができる。さらに、動き推定ユニット１２２及び動き補償ユニット１２４は、高度に一体化することができるが、図２Ａの例では説明目的のために別々に示されている。

【0066】

［００７４］映像符号器２０は、映像データを受信することができる。映像符号器２０は、様々なソースから映像データを受信することができる。例えば、映像符号器２０は、映像ソース１８（図１）又は他のソースから映像データを受信することができる。映像データは、一連のピクチャを表すことができる。映像データを符号化するために、映像符号器２０は、各々のピクチャに関して符号化動作を行うことができる。ピクチャに関して符号化動作を行う一部として、映像符号器２０は、ピクチャの各スライスに関して符号化動作を行うことができる。スライスに関して符号化動作を行う一部として、映像符号器２０は、スライス内のツリーブロックに関して符号化動作を行うことができる。

【0067】

［００７５］ツリーブロックに関して符号化動作を行う一部として、予測処理ユニット１００は、映像ブロックを徐々に小さくなる映像ブロックに分割するためにツリーブロックの映像ブロックに関して四分木分割を行うことができる。より小さい映像ブロックの各々は、異なるＣＵと関連させることができる。例えば、映像符号器１００は、ツリーブロックの映像ブロックを４つの等しいサイズのサブブロックに分割し、それらのサブブロックのうちの１つ以上を４つの等しいサイズのサブサブブロックに分割し、以下同様であることができる。

【0068】

［００７６］ＣＵに関連する映像ブロックのサイズは、８×８ピクチャからツリーブロックの映像ブロックのサイズまでの範囲であることができ、最大は、６４×６４サンプル以上である。本開示においては、“Ｎ×Ｎ”及び“Ｎ ｂｙ Ｎ”は、垂直及び水平の寸法に関する映像ブロックのサンプル寸法を意味するために互換可能な形で使用することができ、例えば、１６×１６サンプル又は１６ ｂｙ １６サンプル。概して、１６×１６映像ブロックは、垂直方向に１６サンプル（ｙ＝１６）及び水平方向に１６サンプル（ｘ＝１６）を有する。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮのサンプル及び水平方向にＮのサンプルを有し、ここで、Ｎは、負でない整数値を表す。

【0069】

［００７７］さらに、ツリーブロックに関して符号化動作を行う一部として、予測処理ユニット１００は、ツリーブロックに関する階層的四分木データ構造を生成することができる。例えば、ツリーブロックは、四分木データ構造の根ノードに対応することができる。予測処理ユニット１００がツリーブロックの映像ブロックを４つのサブブロックに分割する場合は、根ノードは、四分木データ構造において４つの子ノードを有する。それらの子ノードの各々は、サブブロックのうちの１つに関連するＣＵに対応する。予測処理ユニット１００がサブブロックのうちの１つを４つのサブサブブロックに分割する場合は、サブブロックに関連するＣＵに対応するノードは、４つの子ノードを有することができ、それらの各々は、サブサブブロックのうちの１つに関連するＣＵに対応する。

【0070】

［００７８］四分木データ構造の各ノードは、対応するツリーブロック又はＣＵに関する構文データ（例えば、構文要素）を入れることができる。例えば、四分木内のノードは、そのノードに対応するＣＵの映像ブロックが４つのサブブロックに分割（例えば、スプリット）されるかどうかを示すスプリットフラグを含むことができる。ＣＵに関する構文要素は、反復的に定義することができ、及び、ＣＵの映像ブロックがサブブロックにスプリットされるかどうかに依存することができる。映像ブロックが分割されないＣＵは、四分木データ構造内の葉ノードに対応することができる。コーディングされたツリーブロックは、対応するツリーブロックに関する四分木データ構造に基づいたデータを含むことができる。

【0071】

［００７９］映像符号器２０は、ツリーブロックの各々の分割されていないＣＵに関して符号化動作を行うことができる。映像符号器２０が分割されていないＣＵに関して符号化動作を行うときには、映像符号器２０は、分割されていないＣＵの符号化された表現を表すデータを生成する。

【0072】

［００８０］ＣＵに関して符号化動作を行う一部として、予測処理ユニット１００は、ＣＵの１つ以上のＰＵの間でＣＵの映像ブロックを分割することができる。映像符号器２０及び映像復号器３０は、様々なＰＵサイズをサポートすることができる。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、映像符号器２０及び映像復号器３０は、２Ｎ×２Ｎ又はＮ×ＮのＰＵサイズでのイントラ予測、及び２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、ｎＬ×２Ｎ、ｎＲ×２Ｎの対称的ＰＵサイズでのインター予測をサポートすることができる。映像符号器２０及び映像復号器３０は、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、及びｎＲ×２ＮのＰＵサイズに関する非対称的な分割もサポートすることもできる。幾つかの例においては、予測処理ユニット１００は、ＣＵの映像ブロックの側面に直角に出会わない境界に沿ってＣＵのＰＵ間でのＣＵの映像ブロックを分割するために幾何学的分割を行うことができる。

【0073】

［００８１］インター予測ユニット１２１は、ＣＵの各ＰＵに関してインター予測を行うことができる。インター予測は、時間的圧縮を提供することができる。ＰＵに関してインター予測を行うために、動き推定ユニット１２２は、ＰＵに関する動き情報を生成することができる。動き補償ユニット１２４は、ＣＵに関連するピクチャ（例えば、基準ピクチャ）以外のピクチャの動き情報及び復号されたサンプルに基づいてＰＵに関する予測された映像ブロックを生成することができる。本開示では、動き補償ユニット１２４によって生成された予測された映像ブロックは、インター予測された映像ブロックと呼ぶことができる。

【0074】

［００８２］スライスは、Ｉスライス、Ｐスライス、又はＢスライスであることができる。動き推定ユニット１２２及び動き補償ユニット１２４は、ＣＵのＰＵがＩスライス、Ｐスライス、又はＢスライスのいずれに存在するかに依存してそのＰＵに関して異なる動作を行うことができる。Ｉスライスでは、すべてのＰＵがイントラ予測される。従って、ＰＵがＩスライス内にある場合は、動き推定ユニット１２２及び動き補償ユニット１２４は、ＰＵに関してインター予測を行わない。

【0075】

［００８３］ＰＵがＰスライス内にある場合は、ＰＵが入っているピクチャが、“リスト０”と呼ばれる基準ピクチャのリストと関連付けられる。リスト０内の基準ピクチャの各々は、その他のピクチャのインター予測のために使用することができるサンプルが入っている。動き推定ユニット１２２がＰスライス内のＰＵに関して動き推定動作を行うときには、動き推定ユニット１２２は、ＰＵに関する基準ブロックに関してリスト０内の基準ピクチャを探索することができる。ＰＵの基準ブロックは、ＰＵの映像ブロック内のサンプルに最も密接に対応するサンプルの組、例えば、サンプルのブロック、であることができる。動き推定ユニット１２２は、基準ピクチャ内の一組のサンプルがＰＵの映像ブロック内のサンプルにどれだけ密接に対応するかを決定するために様々なメトリックを使用することができる。例えば、動き推定ユニット１２２は、基準ピクチャ内の一組のサンプルがＰＵの映像ブロック内のサンプルにどれだけ密接に対応するかを差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、又はその他の差分メトリックによって決定することができる。

【0076】

［００８４］Ｐスライス内のＰＵの基準ブロックを識別後は、動き推定ユニット１２２は、基準ブロックが入っているリスト０内の基準ピクチャを示す基準インデックス及びＰＵと基準ブロックとの間の空間変位を示す動きベクトルを生成することができる。様々な例において、動き推定ユニット１２２は、様々な精度で動きベクトルを生成することができる。例えば、動き推定ユニット１２２は、１／４のサンプル精度、１／８のサンプル精度、又はその他の分数のサンプル精度で動きベクトルを生成することができる。分数のサンプル精度の場合は、基準ブロック値は、基準ピクチャ内の整数位置サンプル値から内挿することができる。動き推定ユニット１２２は、基準インデックス及び動きベクトルをＰＵの動き情報として出力することができる。動き補償ユニット１２４は、ＰＵの動き情報によって識別された基準ブロックに基づいてＰＵの予測された映像ブロックを生成することができる。

【0077】

［００８５］ＰＵがＢスライス内にある場合は、ＰＵが入っているピクチャは、“リスト０”及び“リスト１”と呼ばれる２つの基準ピクチャリストと関連付けることができる。幾つかの例においては、Ｂスライスが入っているピクチャは、リスト０とリスト１の組み合わせであるリスト結合と関連付けることができる。

【0078】

［００８６］さらに、ＰＵがＢスライス内にある場合は、動き推定ユニット１２２は、ＰＵに関して単一方向性予測又は両方向性予測を行うことができる。動き推定ユニット１２２がＰＵに関して単一方向性予測を行う場合は、動き推定ユニット１２２は、ＰＵに関する基準ブロックに関してリスト０又はリスト１の基準ピクチャを探索することができる。次に、動き推定ユニット１２２は、基準ブロックが入っているリスト０又はリスト１内の基準ピクチャを示す基準インデックス及びＰＵと基準ブロックとの間の空間変位を示す動きベクトルを生成することができる。動き推定ユニット１２２は、基準インデックス、予測方向インジケータ、及び動きベクトルをＰＵの動き情報として出力することができる。予測方向インジケータは、基準インデックスがリスト０又はリスト１のいずれの基準ピクチャを示すかを示すことができる。動き補償ユニット１２４は、ＰＵの動き情報によって示された基準ブロックに基づいてＰＵの予測された映像ブロックを生成することができる。

【0079】

［００８７］動き推定ユニット１２２がＰＵに関して両方向性予測を行うときには、動き推定ユニット１２２は、ＰＵに関する基準ブロックに関してリスト０内の基準ピクチャを探索することができ及びＰＵに関する他の基準ブロックに関してリスト１内の基準ピクチャを探索することもできる。次に、動き推定ユニット１２２は、基準ブロックとＰＵとの間の空間変位を示す動きベクトル及び基準ブロックが入っているリスト０及びリスト１内の基準ピクチャを示す基準インデックスを生成することができる。動き推定ユニット１２２は、ＰＵの基準インデックス及び動きベクトルをＰＵに関する動き情報として出力することができる。動き補償ユニット１２４は、ＰＵの動き情報によって示された基準ブロックに基づいてＰＵの予測された映像ブロックを生成することができる。

【0080】

［００８８］幾つかの例においては、動き推定ユニット１２２は、ＰＵに関する動き情報の完全な組をエントロピー符号化ユニット１１６に出力しない。むしろ、動き推定ユニット１２２は、他のＰＵの動き情報を参照してＰＵの動き情報をシグナリングすることができる。例えば、動き推定ユニット１２２は、ＰＵの動き情報が近隣ＰＵの動き情報と十分に類似すると決定することができる。この例では、動き推定ユニット１２２は、ＰＵに関連する構文構造において、ＰＵが近隣ＰＵと同じ動き情報を有することを映像復号器３０に示す値を示すことができる。他の例においては、動き推定ユニット１２２は、ＰＵに関連する構文構造において、近隣ＰＵ及び動きベクトル差分（ＭＶＤ）を識別することができる。動きベクトル差分は、ＰＵの動きベクトルと示された近隣ＰＵの動きベクトルとの間の差分を示す。映像復号器３０は、ＰＵの動きベクトルを決定するために示された近隣ＰＵの動きベクトル及び動きベクトル差分を使用することができる。第２のＰＵの動き情報をシグナリングするときに第１のＰＵの動き情報を参照することによって、映像符号器２０は、より少ないビットを用いて第２のＰＵの動き情報をシグナリングすることができる。

【0081】

［００８９］以下において図５乃至７を参照してさらに説明されるように、予測処理ユニット１００は、図５乃至７において例示される方法を実行することによってＰＵ（又はその他の拡張層ブロック又は映像ユニット）をコーディング（例えば、符号化又は復号）するように構成することができる。例えば、インター予測ユニット１２１（例えば、動き推定ユニット１２２及び／又は動き補償ユニット１２４を介する）、イントラ予測ユニット１２６、又は層間予測ユニット１２８は、図５乃至７において例示される方法をまとめて又は別々に実行するように構成することができる。

【0082】

［００９０］ＣＵに関して符号化動作を実行する一部として、イントラ予測ユニット１２６は、ＣＵのＰＵに関するイントラ予測を行うことができる。イントラ予測は、空間圧縮を提供することができる。イントラ予測ユニット１２６がＰＵに関してイントラ予測を行うときには、イントラ予測ユニット１２６は、同じピクチャ内のその他のＰＵの復号されたサンプルに基づいてＰＵに関する予測データを生成することができる。ＰＵに関する予測データは、予測された映像ブロック及び様々な構文要素を含むことができる。イントラ予測ユニット１２６は、Ｉスライス、Ｐスライス、及びＢスライス内のＰＵに関してイントラ予測を行うことができる。

【0083】

［００９１］ＰＵに関してイントラ予測を行うために、イントラ予測ユニット１２６は、ＰＵに関する複数の組の予測データを生成するために複数のイントラ予測モードを使用することができる。イントラ予測ユニット１２６がＰＵに関する一組の予測データを生成するためにイントラ予測モードを使用するときには、イントラ予測ユニット１２６は、近隣ＰＵの映像ブロックからＰＵの映像ブロックを横切ってイントラ予測モードに関連する方向に及び／又は傾斜でサンプルを延長させることができる。ＰＵ、ＣＵ、及びツリーブロックに関して左から右へ、上から下への符号化順序を仮定した場合、近隣ＰＵは、ＰＵの上方、右上、左上、又は左であることができる。イントラ予測ユニット１２６は、ＰＵのサイズに依存して、様々な数のイントラ予測モード、例えば、３３の方向性イントラ予測モード、を使用することができる。

【0084】

［００９２］予測処理ユニット１００は、ＰＵに関して動き補償ユニット１２４によって生成された予測データ又はＰＵに関してイントラ予測ユニット１２６によって生成された予測データの中からＰＵに関する予測データを選択することができる。幾つかの例においては、予測処理ユニット１００は、予測データの組のレート／歪みメトリックに基づいてＰＵに関する予測データを選択する。

【0085】

［００９３］予測処理ユニット１００がイントラ予測ユニット１２６によって生成された予測データを選択する場合は、予測処理ユニット１００は、ＰＵに関する予測データを生成するために使用されたイントラ予測モード、例えば、選択されたイントラ予測モード、をシグナリングすることができる。予測処理ユニット１００は、選択されたイントラ予測モードを様々な方法でシグナリングすることができる。例えば、選択されたイントラ予測モードが近隣ＰＵのイントラ予測モードと同じである可能性が高い。換言すると、近隣ＰＵのイントラ予測モードは、現在のＰＵに関する最も可能性が高いモードであることができる。従って、予測処理ユニット１００は、選択されたイントラ予測モードが近隣ＰＵのイントラ予測モードと同じであることを示すための構文要素を生成することができる。

【0086】

［００９４］上述されるように、映像符号器２０は、層間予測ユニット１２８を含むことができる。層間予測ユニット１２８は、ＳＶＣにおいて利用可能である１つ以上の異なる層（例えば、基本層又は拡張層）を用いて現在のブロック（例えば、ＥＬ内の現在のブロック）を予測するように構成される。該予測は、層間予測と呼ぶことができる。層間予測ユニット１２８は、層間冗長性を低減させるための予測方法を利用し、それによって、コーディング効率を向上させ、計算リソースに関する要求を低減させる。層間予測の幾つかの例は、層間イントラ予測と、層間動き予測と、層間残差予測と、を含む。層間イントラ予測は、拡張層内の現在のブロックを予測するために基本層内での共配置されたブロックの再構築を使用する。層間動き予測は、拡張層内の動きを予測するために基本層の動き情報を使用する。層間残差予測は、拡張層の残差を予測するために基本層の残差を使用する。層間予測方式の各々が以下においてさらに詳細に説明される。

【0087】

［００９５］予測処理ユニット１００がＣＵのＰＵに関する予測データを選択した後は、残差生成ユニット１０２は、ＣＵの映像ブロックからＣＵのＰＵの予測された映像ブロックを減じる（例えば、マイナス符号によって示される）ことによってＣＵに関する残差データを生成することができる。ＣＵの残差データは、ＣＵの映像ブロック内のサンプルの異なるサンプルコンポーネントに対応する２Ｄ残差映像ブロックを含むことができる。例えば、残差データは、ＣＵのＰＵの予測された映像ブロック内のサンプルのルミナンス成分とＣＵのオリジナルの映像ブロック内のサンプルのルミナンス成分との間の差分に対応する残差映像ブロックを含むことができる。さらに、ＣＵの残差データは、ＣＵのＰＵの予測された映像ブロック内のサンプルのクロミナンス成分とＣＵのオリジナルの映像ブロック内のサンプルのクロミナンス成分との間の差分に対応する残差映像ブロックを含むことができる。

【0088】

［００９６］予測処理ユニット１００は、ＣＵの残差映像ブロックをサブブロックに分割するための四分木分割を行うことができる。各々の分割されない残差映像ブロックは、ＣＵの異なるＴＵと関連させることができる。ＣＵのＴＵに関連する残差映像ブロックのサイズ及び位置は、ＣＵのＰＵに関連する映像ブロックのサイズ及び位置に基づく場合と基づかない場合がある。“残差四分木”（ＲＱＴ）と呼ばれる四分木構造は、残差映像ブロックの各々に関連するノードを含むことができる。ＣＵのＴＵは、ＲＱＴの葉ノードに対応することができる。

【0089】

［００９７］変換処理ユニット１０４は、ＴＵに関連する残差映像ブロックに１つ以上の変換を適用することによってＣＵの各ＴＵに関する１つ以上の変換係数ブロックを生成することができる。変換係数ブロックの各々は、変換係数の２Ｄ行列であることができる。変換処理ユニット１０４は、ＴＵに関連する残差映像ブロックに様々な変換を適用することができる。例えば、変換処理ユニット１０４は、離散コサイン変換（ＤＣＴ）、方向性変換、又は概念的に類似する変換をＴＵに関連する残差映像ブロックに適用することができる。

【0090】

［００９８］変換処理ユニット１０４がＴＵに関連する変換係数ブロックを生成した後は、量子化ユニット１０６は、変換係数ブロック内の変換係数を量子化することができる。量子化ユニット１０６は、ＣＵに関連するＱＰ値に基づいてＣＵのＴＵに関連する変換係数ブロックを量子化することができる。

【0091】

［００９９］映像符号器２０は、様々な方法でＱＰ値をＣＵに関連させることができる。例えば、映像符号器２０は、ＣＵに関連するツリーブロックに関するレート−歪み解析を行うことができる。レート−歪み解析では、映像符号器２０は、ツリーブロックに関して符号化動作を複数回行うことによってツリーブロックの複数のコーディングされた表現を生成することができる。映像符号器２０は、映像符号器２０がツリーブロックの異なる符号化された表現を生成するときに異なるＱＰ値をＣＵに関連させることができる。映像符号器２０は、最低のビットレート及び歪みメトリックを有するツリーブロックのコーディングされた表現内のＣＵと所定のＱＰ値が関連するときに所定のＱＰ値がＣＵに関連することをシグナリングすることができる。

【0092】

［００１００］逆量子化ユニット１０８及び逆変換ユニット１１０は、変換係数ブロックから残差映像ブロックを再構築するために逆量子化及び逆変換を変換係数ブロックにそれぞれ適用することができる。再構築ユニット１１２は、ＴＵに関連する再構築された映像ブロックを生成するために予測処理ユニット１００によって生成された１つ以上の予測された映像ブロックからの対応するサンプルに再構築された残差映像ブロックを加えることができる。このようにしてＣＵの各ＴＵに関して映像ブロックを再構築することによって、映像符号器２０は、ＣＵの映像ブロックを再構築することができる。

【0093】

［００１０１］再構築ユニット１１２がＣＵの映像ブロックを再構築した後は、フィルタユニット１１３は、ＣＵに関連する映像ブロック内のブロッキングアーティファクトを低減させるためのデブロッキング動作を行うことができる。１つ以上のデブロッキング動作を行った後は、フィルタユニット１１３は、ＣＵの再構築された映像ブロックを復号ピクチャバッファ内に格納することができる。動き推定ユニット１２２及び動き補償ユニット１２４は、後続するピクチャのＰＵに関してインター予測を行うために再構築された映像ブロックが入った基準ピクチャを使用することができる。さらに、イントラ予測ユニット１２６は、ＣＵと同じピクチャ内のその他のＰＵに関してイントラ予測を行うために復号ピクチャバッファ１１４内の再構築された映像ブロックを使用することができる。

【0094】

［００１０２］エントロピー符号化ユニット１１６は、映像符号器２０のその他の機能上のコンポーネントからデータを受信することができる。例えば、エントロピー符号化ユニット１１６は、量子化ユニット１０６から変換係数ブロックを受信することができ及び予測処理ユニット１００から構文要素を受信することができる。エントロピー符号化ユニット１１６がデータを受信したときには、エントロピー符号化ユニット１１６は、エントロピー符号化されたデータを生成するために１つ以上のエントロピー符号化動作を行うことができる。例えば、映像符号器２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変−可変（Ｖ２Ｖ）長コーディング動作、構文に基づくコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）動作、確率間隔分割エントロピー（ＰＩＰＥ）コーディング動作、又は他のタイプのエントロピー符号化動作をデータに対して実行することができる。エントロピー符号化ユニット１１６は、エントロピー符号化されたデータを含むビットストリームを出力することができる。

【0095】

［００１０３］データに対してエントロピー符号化動作を行う一部として、エントロピー符号化ユニット１１６は、コンテキストモデルを選択することができる。エントロピー符号化ユニット１１６がＣＡＢＡＣ動作を実行中である場合は、コンテキストモデルは、特定の値を有する特定のビンの確率の推定値を示すことができる。ＣＡＢＡＣに関して、用語“ビン”は、構文要素のバイナリ化されたバージョンの１ビットを意味するために使用される。

【0096】

多層映像符号器
［００１０４］図２Ｂは、本開示において説明される態様による技法を実装することができる多層映像符号器２１の例を示したブロック図である。映像符号器２１は、例えば、ＳＨＶＣ及びマルチビューコーディングに関して、多層映像フレームを処理するように構成することができる。さらに、映像符号器２１０は、本開示の技法のうちのいずれか又は全部を実行するように構成することができる。

【0097】

［００１０５］映像符号器２１は、映像符号器２０Ａと映像符号器２０Ｂとを含み、それらの各々は、映像符号器２０として構成することができ、及び、映像符号器２０に関して上述される機能を実行することができる。さらに、参照数字を再使用することによって示されるように、映像符号器２０Ａ及び映像符号器２０Ｂは、システム及びサブシステムの少なくとも一部を映像符号器２０として含むことができる。映像符号器２１は、２つの映像符号器２０Ａ及び２０Ｂを含むとして例示されるが、映像符号器２１はそのようには限定されず、あらゆる数の映像符号器２０層を含むことができる。幾つかの実施形態においては、映像符号器２１は、アクセスユニット内の各ピクチャ又はフレームに関する映像符号器２０を含むことができる。例えば、５つのピクチャを含むアクセスユニットは、５つの符号器層を含む映像符号器によって処理又は符号化することができる。幾つかの実施形態においては、映像符号器２１は、アクセスユニット内のフレームよりも多くの符号器層を含むことができる。幾つかの該事例においては、映像符号器層の一部は、幾つかのアクセスユニットを処理するときには非アクティブであることができる。

【0098】

［００１０６］映像符号器２０Ａ及び２０Ｂに加えて、映像符号器２１は、再サンプリングユニット９０を含むことができる。再サンプリングユニット９０は、幾つかの事例においては、例えば、拡張層を生成するために受信された映像フレームの基本層をアップサンプリングすることができる。再サンプリングユニット９０は、フレームの受信された基本層に関連する特定の情報をアップサンプリングすることができ、その他の情報はアップサンプリングすることができない。例えば、再サンプリングユニット９０は、基本層の空間サイズ又はピクセル数をアップサンプリングすることができるが、スライス数又はピクチャオーダーカウントは一定のままであることができる。幾つかの事例においては、再サンプリングユニット９０は、受信された映像を処理することができず及び／又は任意選択であることができる。例えば、幾つかの事例においては、予測処理ユニット１００は、アップサンプリングを行うことができる。幾つかの実施形態においては、再サンプリングユニット９０は、一組のスライス境界規則及び／又はラスター走査順序に準拠するために層をアップサンプリングして１つ以上のスライスを再編、再定義、修正、又は調整するように構成される。主に、基本層、又はアクセスユニット内のより下位の層をアップサンプリングするとして説明されているが、幾つかの事例においては、再サンプリングユニット９０は、層をダウンサンプリングすることができる。例えば、映像のストリーミング中に帯域幅が縮小される場合は、フレームは、アップサンプリングの代わりにダウンサンプリングすることができる。

【0099】

［００１０７］再サンプリングユニット９０は、より下位の層の符号器（例えば、映像符号器２０Ａ）の復号ピクチャバッファ１１４からピクチャ又はフレーム（又は、ピクチャに関連するピクチャ情報）を受信するように及びピクチャ（又は受信されたピクチャ情報）をアップサンプリングするように構成することができる。このアップサンプリングされたピクチャは、より下位の層と同じアクセスユニット内のピクチャを符号化するように構成されたより高位の層の符号器（例えば、映像符号器２０Ｂ）の予測処理ユニット１００に提供することができる。幾つかの事例においては、より高位の層の符号器は、より下位の層の符号器から取り除かれた１つの層である。その他の事例においては、図２Ｂの層０映像符号器と層１符号器との間に１つ以上のより高位の層の符号器が存在することができる。

【0100】

［００１０８］幾つかの事例においては、再サンプリングユニット９０は、省くこと又は迂回することができる。該事例においては、映像符号器２０Ａの復号ピクチャバッファ１１４からのピクチャは、映像符号器２０Ｂの予測処理ユニット１００に直接、又は少なくとも再サンプリングユニット９０に提供せずに、提供することができる。例えば、映像符号器２０Ｂに提供された映像データ及び映像符号器２０Ａの復号ピクチャバッファ１１４からの基準ピクチャが同じサイズ又は解像度である場合は、基準ピクチャは、再サンプリングを行わずに映像符号器２０Ｂに提供することができる。

【0101】

［００１０９］幾つかの実施形態においては、映像符号器２１は、映像データが映像符号器２０Ａに提供される前にダウンサンプリングユニット９４を使用してより下位の層の符号器に提供されるべき映像データをダウンサンプリングする。代替として、ダウンサンプリングユニット９４は、映像データをアップサンプリング又はダウンサンプリングすることが可能な再サンプリングユニット９０であることができる。さらにその他の実施形態においては、ダウンサンプリングユニット９４は、省くことができる。

【0102】

［００１１０］図２Ｂにおいて例示されるように、映像符号器２１は、マルチプレクサ９８、又はｍｕｘをさらに含むことができる。ｍｕｘ９８は、結合されたビットストリームを映像符号器２１から出力することができる。結合されたビットストリームは、各々の映像符号器２０Ａ及び２０Ｂからビットストリームを取り出して所定の時間に出力されるビットストリームを交互させることによって生成することができる。幾つかの事例においては、２つの（又は、３つ以上の映像符号器層の場合はそれよりも多い）ビットストリームからのビットを一度に１ビット交互させることができる一方で、多くの事例においては、ビットストリームは、異なる方法で結合される。例えば、出力ビットストリームは、選択されたビットストリームを１度に１ブロック交互させることによって生成することができる。他の例においては、出力ビットストリームは、１：１の比でないブロックを映像符号器２０Ａ及び２０Ｂの各々から出力することによって生成することができる。例えば、映像符号器２０Ａから出力された各ブロックに関して映像符号器２０Ｂから２つのブロックを出力することができる。幾つかの実施形態においては、ｍｕｘ９８からの出力ストリームは、予めプログラミングすることができる。その他の実施形態においては、ｍｕｘ９８は、映像符号器２１の外部のシステム、例えば、ソースデバイス１２上のプロセッサ、から受信された制御信号に基づいて映像符号器２０Ａ、２０Ｂからのビットストリームを結合することができる。制御信号は、映像ソース１８からの映像の解像度又はビットレートに基づいて、チャネル１６の帯域幅に基づいて、ユーザに関連する加入（有料加入及び無料加入）に基づいて、又は映像符号器２１からの希望される解像度出力を決定するためのその他の要因に基づいて生成することができる。

【0103】

映像復号器
［００１１１］図３Ａは、本開示において説明される態様による技法を実装することができる映像復号器の例を示したブロック図である。映像復号器３０は、例えば、ＨＥＶＣに関して、映像フレームの単層を処理するように構成することができる。さらに、映像復号器３０は、本開示の技法のうちのいずれか又は全部を実行するように構成することができる。一例として、動き補償ユニット１６２及び／又はイントラ予測ユニット１６４は、本開示において説明される技法のうちのいずれか又は全部を実行するように構成することができる。一実施形態においては、映像復号器３０は、任意選択で、本開示において説明される技法のうちのいずれか又は全部を実行するように構成される層間予測ユニット１６６を含むことができる。その他の実施形態においては、層間予測は、予測処理ユニット１５２（例えば、動き補償ユニット１６２及び／又はイントラ予測ユニット１６４）によって行うことができ、その場合は、層間予測ユニット１６６は省くことができる。しかしながら、本開示の態様は、そのようには限定されない。幾つかの例においては、本開示において説明される技法は、映像復号器３０の様々なコンポーネント間で共有することができる。幾つかの例においては、追加で又は代替として、プロセッサ（示されていない）は、本開示において説明される技法のうちのいずれか又は全部を実行するように構成することができる。

【0104】

［００１１２］説明の目的上、本開示は、ＨＥＶＣコーディングに関する映像復号器３０について説明する。しかしながら、本開示の技法は、その他のコーディング規格又は方法に適用可能である。図３Ａにおいて描かれる例は、単層コーデックを対象にしている。しかしながら、図３Ｂに関してさらに説明されるように、映像復号器３０の一部又は全部を、多層コーデックの処理のために複製することができる。

【0105】

［００１１３］図３Ａの例においては、映像復号器３０は、複数の機能上のコンポーネントを含む。映像復号器３０の機能上のコンポーネントは、エントロピー復号ユニット１５０と、予測処理ユニット１５２と、逆量子化ユニット１５４と、逆変換ユニット１５６と、再構築ユニット１５８と、フィルタユニット１５９と、復号ピクチャバッファ１６０と、を含む。予測処理ユニット１５２は、動き補償ユニット１６２と、イントラ予測ユニット１６４と、層間予測ユニット１６６と、を含む。幾つかの例においては、映像復号器３０は、図２Ａの映像符号器２０に関して説明される符号化パス（ｅｎｃｏｄｉｎｇ ｐａｓｓ）と概して相互的な復号パスを行うことができる。その他の例においては、映像復号器３０は、それよりも多い、より少ない、又は異なる機能上のコンポーネントを含むことができる。

【0106】

［００１１４］映像復号器３０は、符号化された映像データを備えるビットストリームを受信することができる。ビットストリームは、複数の構文要素を含むことができる。映像復号器３０がビットストリームを受信したときには、エントロピー復号ユニット１５０は、ビットストリームに関して構文解析動作を行うことができる。ビットストリームに関する構文解析動作を行った結果、エントロピー復号ユニット１５０は、ビットストリームから構文要素を抽出することができる。構文解析動作を行う一部として、エントロピー復号ユニット１５０は、ビットストリーム内のエントロピー符号化された構文要素をエントロピー復号することができる。予測処理ユニット１５２、逆量子化ユニット１５４、逆変換ユニット１５６と、再構築ユニット１５８、及びフィルタユニット１５９は、ビットストリームから抽出された構文要素に基づいて復号された映像データを生成する再構築動作を行うことができる。

【0107】

［００１１５］上述されるように、ビットストリームは、一連のＮＡＬユニットを備えることができる。ビットストリームのＮＡＬユニットは、映像パラメータセットＮＡＬユニット、シーケンスパラメータセットＮＡＬユニット、ピクチャパラメータセットＮＡＬユニット、ＳＥＩ ＮＡＬユニット、等を含むことができる。ビットストリームに関して構文解析動作を行う一部として、エントロピー復号ユニット１５０は、シーケンスパラメータセットＮＡＬからシーケンスパラメータセットを、ピクチャパラメータセットＮＡＬユニットからピクチャパラメータセットを、ＳＥＩ ＮＡＬユニットからＳＥＩデータを、以下同様、抽出してエントロピー復号する構文解析動作を行うことができる。

【0108】

［００１１６］さらに、ビットストリームのＮＡＬユニットは、コーディングされたスライスＮＡＬユニットを含むことができる。ビットストリームに関して構文解析動作を行う一部として、エントロピー復号ユニット１５０は、コーディングされたスライスＮＡＬユニットからコーディングされたスライスを抽出してエントロピー復号する構文解析動作を行うことができる。コーディングされたスライスの各々は、スライスヘッダと、スライスデータと、を含むことができる。スライスヘッダは、スライスに関する構文要素を入れることができる。スライスヘッダ内の構文要素は、スライスが入っているピクチャに関連するピクチャパラメータセットを識別する構文要素を含むことができる。エントロピー復号ユニット１５０は、スライスヘッダを復元するためにコーディングされたスライスヘッダ内の構文要素に関してエントロピー復号動作、例えば、ＣＡＢＡＣ復号動作、を行うことができる。

【0109】

［００１１７］コーディングされたスライスＮＡＬユニットからスライスデータを抽出する一部として、エントロピー復号ユニット１５０は、スライスデータ内のコーディングされたＣＵから構文要素を抽出する構文解析動作を行うことができる。抽出された構文要素は、変換係数ブロックに関連する構文要素を含むことができる。エントロピー復号ユニット１５０は、構文要素の一部に関してＣＡＢＡＣ復号動作を行うことができる。

【0110】

［００１１８］エントロピー復号ユニット１５０が分割されないＣＵに関して構文解析動作を行った後は、映像復号器３０は、分割されないＣＵに関して再構築動作を行うことができる。分割されないＣＵに関して再構築動作を行うために、映像復号器３０は、ＣＵの各ＴＵに関して再構築動作を行うことができる。ＣＵの各ＴＵに関して再構築動作を行うことによって、映像復号器３０は、ＣＵに関連する残差映像ブロックを再構築することができる。

【0111】

［００１１９］ＴＵに関して再構築動作を行う一部として、逆量子化ユニット１５４は、そのＴＵに関連する変換係数ブロックを逆量子化、例えば、量子化解除（ｄｅ−ｑｕａｎｔｉｚｅ）、することができる。逆量子化ユニット１５４は、ＨＥＶＣに関して提案された又はＨ．２６４復号規格によって定義された逆量子化プロセスに類似する方法で変換係数ブロックを逆量子化することができる。逆量子化ユニット１５４は、量子化度、そして同様に、適用されるべき逆量子化ユニット１５４に関する逆量子化度、を決定するために変換係数ブロックのＣＵに関して映像符号器２０によって計算された量子化パラメータＱＰを使用することができる。

【0112】

［００１２０］逆量子化ユニット１５４が変換係数ブロックを逆量子化した後は、逆変換ユニット１５６は、変換係数ブロックに関連するＴＵに関して残差映像ブロックを生成することができる。逆変換ユニット１５６は、ＴＵに関して残差映像ブロックを生成するために変換係数ブロックに逆変換を適用することができる。例えば、逆変換ユニット１５６は、逆ＤＣＴ、逆整数変換、逆Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ変換（ＫＬＴ）、逆回転変換、逆方向性変換、又は他の逆変換を変換係数ブロックに適用することができる。幾つかの例においては、逆変換ユニット１５６は、映像符号器２０からのシグナリングに基づいて変換係数ブロックに適用すべき逆変換を決定することができる。該例においては、逆変換ユニット１５６は、変換係数ブロックに関連するツリーブロックに関する四分木の根ノードにおいてシグナリングされた変換に基づいて逆変換を決定することができる。その他の例においては、逆変換ユニット１５６は、１つ以上のコーディング特性、例えば、ブロックサイズ、コーディングモード、等、から逆変換を推論することができる。幾つかの例においては、逆変換ユニット１５６は、カスケード方式の逆変換を適用することができる。

【0113】

［００１２１］幾つかの例においては、動き補償ユニット１６２は、内挿フィルタに基づいて内挿を行うことによってＰＵの予測された映像ブロックを精巧にすることができる。サブサンプルの精度を有する動き補償のために使用される内挿フィルタに関する識別子は、構文要素内に含めることができる。動き補償ユニット１６２は、基準ブロックの整数以下のサンプルに関する内挿された値を計算するためにＰＵの予測された映像ブロックの生成中に映像符号器２０によって使用されるのと同じ内挿フィルタを使用することができる。動き補償ユニット１６２は、受信された構文情報に従って映像符号器２０によって使用される内挿フィルタを決定することができ、及び、予測された映像ブロックを生成するために内挿フィルタを使用することができる。

【0114】

［００１２２］以下において図５乃至７を参照してさらに説明されるように、予測処理ユニット１５２は、図５乃至７において例示される方法を実行することによってＰＵ（又はその他の拡張層ブロック又は映像ユニット）をコーディング（例えば、符号化又は復号）することができる。例えば、動き補償ユニット１６２、イントラ予測ユニット１６４、又は層間予測ユニット１６６は、図５乃至７において例示される方法をいっしょに又は別々に実行するように構成することができる。

【0115】

［００１２３］イントラ予測を用いてＰＵが符号化される場合は、イントラ予測ユニット１６４は、ＰＵに関する予測された映像ブロックを生成するためにイントラ予測を行うことができる。例えば、イントラ予測ユニット１６４は、ビットストリーム内の構文要素に基づいてＰＵに関するイントラ予測モードを決定することができる。ビットストリームは、イントラ予測ユニット１６４がＰＵのイントラ予測モードを決定するために使用することができる構文要素を含むことができる。

【0116】

［００１２４］幾つかの例においては、構文要素は、イントラ予測ユニット１６４が現在のＰＵのイントラ予測モードを決定するために他のＰＵのイントラ予測モードを使用すべきであることを示すことができる。例えば、現在のＰＵのイントラ予測モードは、近隣ＰＵのイントラ予測モードと同じである可能性が高い。換言すると、近隣ＰＵのイントラ予測モードは、現在のＰＵに関する最も可能性が高いモードであることができる。従って、この例では、ビットストリームは、ＰＵのイントラ予測モードが近隣ＰＵのイントラ予測モードと同じであることを示す小さい構文要素を含むことができる。イントラ予測ユニット１６４は、空間的に近隣のＰＵの映像ブロックに基づいてＰＵに関する予測データ（例えば、予測されたサンプル）を生成するためにイントラ予測モードを使用することができる。

【0117】

［００１２５］上述されるように、映像復号器３０は、層間予測ユニット１６６を含むこともできる。層間予測ユニット１６６は、ＳＶＣにおいて利用可能である１つ以上の異なる層（例えば、基本層又は拡張層）を用いて現在のブロック（例えば、ＥＬ内の現在のブロック）を予測するように構成される。該予測は、層間予測と呼ぶことができる。層間予測ユニット１６６は、層間冗長性を低減させるための予測方法を利用し、それによって、コーディング効率を向上させ、計算リソースに関する要求を低減させる。層間予測の幾つかの例は、層間イントラ予測と、層間動き予測と、層間残差予測と、を含む。層間イントラ予測は、拡張層内の現在のブロックを予測するために基本層内での共配置されたブロックの再構築を使用する。層間動き予測は、拡張層内の動きを予測するために基本層の動き情報を使用する。層間残差予測は、拡張層の残差を予測するために基本層の残差を使用する。層間予測方式の各々が以下においてさらに詳細に説明される。

【0118】

［００１２６］再構築ユニット１５８は、ＣＵの映像ブロックを再構築するために、ＣＵのＴＵに関連する残差映像ブロック及びＣＵのＰＵの予測された映像ブロック、例えば、イントラ予測データ又はインター予測データ（適宜）、を使用することができる。従って、映像復号器３０は、ビットストリーム内の構文要素に基づいて予測された映像ブロック及び残差映像ブロックを生成することができ、及び、予測された映像ブロック及び残差映像ブロックに基づいて映像ブロックを生成することができる。

【0119】

［００１２７］再構築ユニット１５８がＣＵの映像ブロックを再構築した後は、フィルタユニット１５９は、ＣＵに関連するブロッキングアーティファクトを低減させるためのデブロッキング動作を行うことができる。フィルタユニット１５９がＣＵに関連するブロッキングアーティファクトを低減させるためのデブロッキング動作を行った後は、映像復号器３０は、ＣＵの映像ブロックを復号ピクチャバッファ１６０内に格納することができる。復号ピクチャバッファ１６０は、後続する動き補償、イントラ予測、及び表示装置、例えば、図１の表示装置３２、上での提示のために基準ピクチャを提供することができる。例えば、映像復号器３０は、復号ピクチャバッファ１６０内の映像ブロックに基づいて、その他のＣＵのＰＵに関してイントラ予測又はインター予測動作を行うことができる。

【0120】

多層復号器
［００１２８］図３Ｂは、本開示において説明される態様による技法を実装することができる多層映像復号器３１の例を示したブロック図である。映像復号器３１は、例えば、ＳＨＶＣ又はマルチビューコーディングに関する多層映像フレームを処理するように構成することができる。さらに、映像復号器３１は、本開示のいずれかの又はすべての技法を実行するように構成することができる。

【0121】

［００１２９］映像復号器３１は、映像復号器３０Ａと、映像復号器３０Ｂと、を含み、それらの各々は、映像復号器３０として構成することができ及び映像復号器３０に関して上述される機能を果たすことができる。さらに、参照数字の再使用によって示されるように、映像復号器３０Ａ、３０Ｂは、システム及びサブシステムのうちの少なくとも一部を映像復号器３０として含むことができる。映像復号器３１は、２つの映像復号器３０Ａ及び３０Ｂを含むとして例示されているが、映像復号器３１は、そのようには限定されず、あらゆる数の映像復号器３０層を含むことができる。幾つかの実施形態においては、映像復号器３１は、アクセスユニット内の各ピクチャ又はフレームに関する映像復号器３０を含むことができる。例えば、５つのピクチャを含むアクセスユニットは、５つの復号器層を含む映像復号器によって処理又は復号することができる。幾つかの実施形態においては、映像復号器３１は、アクセスユニット内のフレームよりも多くの復号器層を含むことができる。幾つかの該事例においては、映像復号器層のうちの一部は、幾つかのアクセスユニットを処理するときには非アクティブであることができる。

【0122】

［００１３０］映像復号器３０Ａ及び３０Ｂに加えて、映像復号器３１は、アップサンプリングユニット９２を含むことができる。幾つかの実施形態においては、アップサンプリングユニット９２は、フレーム又はアクセスユニットに関する基準ピクチャリストに加えられるべき拡張層を生成するために受信された映像フレームの基本層をアップサンプリングすることができる。この拡張層は、復号ピクチャバッファ１６０に格納することができる。幾つかの実施形態においては、アップサンプリングユニット９２は、図２Ａの再サンプリングユニット９０に関して説明される実施形態のうちの一部又は全部を含むことができる。幾つかの実施形態においては、アップサンプリングユニット９２は、層をアップサンプリングし、及び、一組のスライス境界規則及び／又はラスタスキャン規則に準拠するために１つ以上のスライスを再編成、再定義、修正、又は調整するように構成される。幾つかの事例においては、アップサンプリングユニット９２は、受信された映像フレームの層をアップサンプリング及び／又はダウンサンプリングするように構成された再サンプリングユニットであることができる。

【0123】

［００１３１］アップサンプリングユニット９２は、より下位の層の復号器（例えば、映像復号器３０Ａ）の復号ピクチャバッファ１６０からピクチャ又はフレーム（又は、ピクチャに関連するピクチャ情報）を受信するように及びピクチャ（又は、受信されたピクチャ情報）をアップサンプリングするように構成することができる。次に、このアップサンプリングされたピクチャは、より下位の層の復号器と同じアクセスユニット内のピクチャを復号するように構成されたより高位の層の復号器（例えば、映像復号器３０Ｂ）の予測処理ユニット１５２に提供することができる。幾つかの事例においては、より高位の層の復号器は、より下位の層の復号器から１つの層だけ取り除かれる。その他の事例においては、図３Ｂの層０復号器と層１復号器との間に１つ以上のより高位の層の復号器が存在することができる。

【0124】

［００１３２］幾つかの事例においては、アップサンプリングユニット９２は、省略すること又は迂回することができる。該事例においては、映像復号器３０Ａの復号ピクチャバッファ１６０からのピクチャは、直接、又は、少なくとも再サンプリングユニット９０に提供せずに、映像復号器３０Ｂの予測処理ユニット１５２に提供することができる。例えば、映像復号器３０Ｂに提供された映像データ及び映像復号器３０Ａの復号ピクチャバッファ１６０からの基準ピクチャが同じサイズ又は解像度である場合は、基準ピクチャは、アップサンプリングせずに映像復号器３０Ｂに提供することができる。さらに、幾つかの実施形態においては、アップサンプリングユニット９２は、映像復号器３０Ａの復号ピクチャバッファ１６０か受信された基準ピクチャをアップサンプリング又はダウンサンプリングするように構成された再サンプリングユニット９０であることができる。

【0125】

［００１３３］図３Ｂにおいて例示されるように、映像復号器３１は、デマルチプレクサ９９、又はｄｅｍｕｘをさらに含むことができる。ｄｅｍｕｘ９９は、符号化された映像ビットストリームを複数のビットストリームに分割することができ、ｄｅｍｕｘ９９によって出力された各ビットストリームは、異なる映像復号器３０Ａ及び３０Ｂに提供される。複数のビットストリームは、ビットストリームを受信することによって生成することができ、映像復号器３０Ａ及び３０Ｂの各々は、所定の時間にビットストリームの一部分を受信する。幾つかの事例においては、ｄｅｍｕｘ９９において受信されたビットストリームからのビットは、各々の映像復号器（例えば、図３Ｂの例における映像復号器３０Ａ及び３０Ｂ）の間で一度に１ビット交互させることができる一方で、多くの事例においては、ビットストリームは、異なった形で分割される。例えば、ビットストリームは、いずれの映像復号器がビットストリームを一度に１つのブロックずつ受信するかを交互させることによって分割することができる。他の例では、ビットストリームは、１：１の比でないブロックを映像復号器３０Ａ及び３０Ｂの各々に提供することによって分割することができる。例えば、映像復号器３０Ａに提供される各ブロックに関して２つのブロックを映像復号器３０Ｂに提供することができる。幾つかの実施形態においては、ｄｅｍｕｘ９９によるビットストリームの分割は、予めプログラミングすることができる。その他の実施形態においては、ｄｅｍｕｘ９９は、映像復号器３１の外部のシステムから、例えば、行先デバイス１４のプロセッサから、受信された制御信号に基づいてビットストリームを分割することができる。制御信号は、入力インタフェース２８からの映像の解像度又はビットレートに基づいて、チャネル１６の帯域幅に基づいて、ユーザに関連する加入（例えば、有料加入対無料加入）に基づいて、又は映像復号器３１によって入手可能である解像度を決定するためのその他の要因に基づいて、生成することができる。

【0126】

コーディングされたビットストリーム及び時間的副層
［００１３４］図２Ｂ及び３Ｂに関して論じられるように、スケーラブルビットストリーム内には２層以上の映像情報（例えば、Ｎの層数）が存在することができる。Ｎが１に等しい場合は、１つの層のみが存在し、それは、基本層と呼ぶこともできる。例えば、単層を有するコーディングされたビットストリームは、ＨＥＶＣに適合可能である。他の例においては、Ｎは、１よりも大きいことができ、それは、複数の層が存在することを意味する。層数は、映像パラメータセット（ＶＰＳ）において示すことができる。幾つかの実装においては、所定のＶＰＳに関する層数（例えば、マイナス１）を示す構文要素ｖｐｓ_ｍａｘ_ｌａｙｅｒｓ_ｍｉｍｕｓ１は、ＶＰＳにおいてシグナリングすることができる。

【0127】

［００１３５］さらに、ビットストリーム内に存在する各映像層は、１つ以上の時間的副層を含むことができる。時間的副層は、時間的スケーラビリティを提供し、従って、スケーラブル映像コーディング一般において提供される時間的層に類似する。時間的層は、復号器に転送される前に（例えば、図３Ｂのｄｅｍｕｘ９９によって）取り除くことができるのとまったく同じように、時間的副層のうちの１つ以上を取り除くことができる。例えば、時間的副層は、他の層の層間予測のために使用されない場合に取り除くことができる。他の例においては、時間的副層は、ビットストリームに関連するフレームレートを低減させるか又は帯域幅を短縮させるためにビットストリームから取り除くことができる。例えば、６つの時間的副層のうちの３つが特定の層から取り除かれる場合は、その特定の層に関連するビットレートは、１／２だけ低減させることができる。

【0128】

［００１３６］一実装においては、符号器と復号器との間に配置されたミドルボックスは、１つ以上の時間的副層をビットストリームから取り除くことができる。ミドルボックスは、映像復号器の外部に配置され、映像復号器に転送されたビットストリームに対して処理を行うエンティティであることができる。例えば、ミドルボックスは、コーディングされたビットストリームを符号器から受信する。受信されたビットストリームからサブビットストリームを抽出後は、ミドルボックスは、抽出されたサブビットストリームを復号器に転送することができる。時間的副層のうちの１つ以上を取り除くことに加えて、ミドルボックスは、追加情報を復号器に提供することもできる。例えば、復号器に転送されたビットストリームは、１つ以上の時間的副層がビットストリーム内に存在するかどうかを示す存在情報を含むことができる。存在情報に基づいて、復号器は、時間的副層のうちのいずれがビットストリーム内に存在するかを理解することができる。存在情報は、以下において図５乃至７を参照してさらに説明される。

【0129】

［００１３７］幾つかの実施形態においては、時間的副層の取り除きは、好適に行われる。例えば、条件Ａが満たされている場合は、時間的副層のうちのいずれも取り除かれず、条件Ｂが満たされている場合は、時間的副層のうちの半分を取り除き、条件Ｃが満たされる場合は、すべての取り除くことが可能な時間的副層が取り除かれる（例えば、１つの時間的副層を残す）。１つ以上の時間的副層が取り除かれた後は、その結果得られるビットストリーム（又はサブビットストリーム）は、復号器に転送することができる。幾つかの実施形態においては、時間的副層の取り除きはサイド情報に基づくことができ、それは、限定されることなしに、カラースペース（色空間）、カラーフォーマット（４：２：２、４：２：０、等）、フレームサイズ、フレームタイプ、予測モード、インター予測方向、イントラ予測モード、コーディングユニット（ＣＵ）サイズ、最大／最小コーディングユニットサイズ、量子化パラメータ（ＱＰ）、最大／最小変換ユニット（ＴＵ）サイズ、最大変換ツリー深度基準フレームインデックス、時間層ｉｄ、等を含むことができる。

【0130】

［００１３８］各時間的副層には、時間的ＩＤを割り当てることができる。例えば、ゼロの時間的ＩＤを有する時間的副層は、基本的な時間的副層であることができる。幾つかの実装においては、瞬時復号リフレッシュ（ＩＤＲ）ピクチャ（例えば、以前のフレームを参照せずにコーディングすることができるピクチャ）又はイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャ（例えば、Ｉスライスのみが入っているピクチャ）は、ゼロの時間的ＩＤを有する副層内にしか存在することができない。一実施形態においては、基本的時間的副層は、（例えば、サブビットストリーム抽出中には）ビットストリームから取り除くことができない。一実施形態においては、時間的副層の最大数は、７に制限される。ビットストリーム内の異なる映像層は、異なる数の時間的副層を有することができる。

【0131】

［００１３９］図４は、基準層（ＲＬ）４０１及び拡張層（ＥＬ）４０２の一部分を例示した概略図である。ＲＬ４０１は、ピクチャ４２０と４２２とを含み、ＥＬ４０２は、ピクチャ４２４と４２６とを含む。ピクチャ４２０は、ＲＬ４０１の時間的副層４０１Ａに属し、ピクチャ４２２は、ＲＬ４０１の時間的副層４０１Ｂに属し、ピクチャ４２４は、ＥＬ４０２の時間的副層４０２Ａに属し、ピクチャ４２６は、ＥＬ４０２の時間的副層４０２Ｂに属する。図４の例においては、ピクチャ４２０及び４２４は同じアクセスユニット内にあり、ピクチャ４２２及び４２６は同じアクセスユニット内にある。従って、ピクチャ４２０及び４２４は、同じＴｅｍｐｏｒａｌＩｄ（例えば、時間的副層ＩＤ）を有し、ピクチャ４２２及び４２６は、同じＴｅｍｐｏｒａｌＩｄを有する。一実施形態においては、ピクチャ４２６は、ピクチャ４２２の情報を用いて予測することができる。例えば、ピクチャ４２２は、ＲＬ４０１とＥＬ４０２との間のスケーラビリティ比に従ってアップサンプリングしてＥＬ４０２の基準ピクチャセット（ＲＰＳ）に加えることができ、ピクチャ４２６は、ピクチャ４２２のアップサンプリングされたバージョンを予測子として使用して予測することができる。幾つかの実装においては、ピクチャ４２２がピクチャ４２６の層間予測のために使用されるかどうかを示すフラグがビットストリーム内に存在することができる。該フラグは、ピクチャ４２６に含まれるスライスのスライスヘッダ内おいて提供することができる。

【0132】

［００１４０］例えば、ＲＬ４０１に関して時間的副層４０１Ａのみが存在する場合がある。ＲＬ４０１及びＥＬ４０２を含むビットストリームが適合する（例えば、合法的ビットストリームである）場合は、ピクチャ４２２は、符号器側及び復号器側のいずれにおいても、ＥＬ４０２内のピクチャを予測するためには使用されない。従って、当然のことであるが、ビットストリームは、復号プロセスが存在していないピクチャを予測のために使用しない又はその他の規則に違反しないような形で符号化される。しかしながら、復号器は、ピクチャ４２２は層間予測のためには使用されないということをスライスレベルで認識するだけである。例えば、ピクチャ４２２が層間予測のために使用されないことを復号器が知るためにビットストリーム全体をスライスレベルまで構文解析しなければならないことがある。ピクチャ４２２が層間予測のために使用されないことを復号器が事前に知っている場合は、復号器は、各スライスに関して、ピクチャ４２２が層間予測のために使用中であるかどうかを決定する必要がない。その代わりに、復号器は、ピクチャ４２２をアップサンプリングしない又はその他の形で処理しないことを事前に決定することができ、それは、層間予測に関して存在情報がビットストリーム内に存在しないことによって示される。例えば、幾つかの実装においては、特定のピクチャ（例えば、のちに復号されるべきである将来のピクチャに対応する基準層ピクチャ）が層間予測のために使用されないことがスライスヘッダにおいて示される場合でも、復号プロセスを督促するために、アップサンプリング又はその他の処理は、特定のピクチャが層間予測のために使用されないと決定する前にその他の復号プロセスと並行して実施することができ、従って、特定のピクチャのアップサンプリングされた又はその他の形で処理されたバージョンを必要な場合に使用することができる。特定のピクチャが層間予測のために使用されるか又は使用されないかを復号器が事前に知っている場合は、該アップサンプリング又は処理は、行うことができない。従って、計算数を減少させること及びそれに関連する遅延を短縮することができる。

【0133】

［００１４１］他の実施形態においては、時間的副層４０１Ｂが存在するかどうかを示す存在情報は、ビットストリーム内で提供することができる。ここにおいて説明される映像符号器又はミドルボックスは、存在情報をシグナリングする（例えば、ビットストリーム内に存在情報を含める）ことができる。該存在情報は、パラメータセットのうちの１つ（例えば、映像パラメータセット）においてシグナリングすることができる。他の例においては、存在情報は、補足的エンハンスメント情報（ＳＥＩ）メッセージとしてシグナリングすることができる。パラメータセットでのシグナリングとＳＥＩメッセージとしてのシグナリングの１つの相違点は、ＳＥＩは任意選択であり、パラメータセットはそうではないことである。他の相違点は、シグナリングの位置であることができる。例えば、時間的副層４０１Ｂがビットストリーム内に存在しない（例えば、取り除かれている）ことを存在情報が示す場合は、復号器は、時間的副層４０１Ｂの一部であるピクチャ４２２が層間予測のために使用されないと推論することができる。（例えば、ビットをスライスレベルで構文解析した後に同じ情報を受信するのではなく）ビットストリームにおいて早期に時間的副層４０１Ｂ及び／又はピクチャ４２２の存在に関するその情報を有することで、復号器は、全体的な復号プロセスを最適化することができる。例えば、復号器が存在情報を有した時点で、復号器は、もはや、各スライスに関して、特定のスライスが１つ以上のＲＬピクチャを用いて予測されるかどうかを決定する必要がない。従って、該決定を行うことに関連する計算上の複雑さを小さくすること又はなくすことができる。一実施形態においては、復号器によって行われる最適化は、復号器によって出力された映像信号を変えない。存在情報を提供する方法が以下において図５乃至７を参照してさらに説明される。

【0134】

［００１４２］図５は、本開示の実施形態による映像情報をコーディングするための方法５００を例示したフローチャートである。図５において例示されるステップは、符号器（例えば、図２Ａ又は図２Ｂにおいて示される映像符号器）、復号器（例えば、図３Ａ又は図３Ｂにおいて示される映像復号器）、又はいずれかのその他のコンポーネント（例えば、符号器と復号器との間において提供されるミドルボックス）によって実行することができる。便宜上、方法５００は、コーダによって実行されるとして説明され、それは、符号器、復号器、又は他のコンポーネントであることができる。

【0135】

［００１４３］方法５００は、ブロック５０１において開始する。ブロック５０５において、コーダは、時間的副層を備える映像層に関連する映像情報を格納する。例えば、映像層は、基準層（例えば、基本層）又は拡張層であることができる。ブロック５１０において、コーダは、ビットストリームのシーケンスレベルで存在情報を決定し、ここで、存在情報は、映像層の時間的副層がビットストリーム内に存在するかどうかを示す。例えば、存在情報の決定は、ビットストリームで存在情報をシグナリングする前に行うことができる。他の例においては、存在情報の決定は、ビットストリーム内の該当するビットを構文解析後に行うことができる。方法５００は、ブロック５１５において終了する。

【0136】

［００１４４］上述されるように、本開示において論じられる技法、例えば、時間的副層がビットストリーム内に存在するかどうかを示す存在情報を決定する、のうちのいずれかを実装するために、図２Ａの映像符号器２０、図２Ｂの映像符号器２１、図３Ａの映像復号器３０、又は図３Ｂの映像復号器３１（例えば、層間予測ユニット１２８及び／又は層間予測ユニット１６６）のうちの１つ以上のコンポーネントを使用することができる。

【0137】

［００１４５］上述されるように、存在情報を有することによって、復号器は、特定の副層が送信中に意図的に取り除かれているか又は偶発的に失われたかを理解することができる。例えば、特定の層内に４つの副層が存在することを存在情報が示す場合は、復号器が復号プロセスをどのようにして最適化するかは、復号器が実際には４つの副層を受信するか（例えば、すべての情報が受信されている）又は２つの副層を受信するか（例えば、その他の２つの副層が送信中に失われた）に依存して異なる。

【0138】

実装例＃１
［００１４６］図６は、本開示の実施形態による、映像情報をコーディングするための方法６００を例示したフローチャートである。図６において例示されるステップは、符号器（例えば、図２Ａ又は図２Ｂにおいて示される映像符号器）、復号器（例えば、図３Ａ又は図３Ｂにおいて示される映像復号器）、又はいずれかのその他のコンポーネント（例えば、符号器と復号器との間において提供されるミドルボックス）によって実行することができる。便宜上、方法６００は、コーダによって実行されるとして説明され、それは、符号器、復号器、又は他のコンポーネントであることができる。

【0139】

［００１４７］方法６００は、ブロック６０１において開始する。ブロック６０５において、コーダは、アクティブな映像パラメータセット（ＶＰＳ）を決定する。例えば、アクティブなＶＰＳのＩＤは、所定の層内の層数及び副層数を取り出すために使用される。ブロック６１０において、コーダは、映像層内の各時間的副層に関する存在情報を決定する。例えば、存在情報の決定は、ビットストリームで存在情報をシグナリングする前に行うことができる。他の例においては、存在情報の決定は、ビットストリーム内の該当するビットを構文解析後に行うことができる。ブロック６２０において、コーダは、すべての映像層がアドレッシングされているか（例えば、横断されているか）どうかを決定する。残っている映像層が存在するとコーダが決定した場合は、コーダは、ブロック６１５に進み、ここで、コーダは、次の映像層（例えば、残っている映像層のうちの１つ）の各時間的副層に関する存在情報を決定する。ブロック６１５は、残っている映像層が存在しなくなるまで繰り返される。残っている映像層が存在しないとコーダが決定した場合は、方法６００は、ブロック６２５において終了する。

【0140】

［００１４８］上述されるように、本開示において論じられる技法、例えば、時間的副層がビットストリーム内に存在するかどうかを示す存在情報を決定する、のうちのいずれかを実装するために、図２Ａの映像符号器２０、図２Ｂの映像符号器２１、図３Ａの映像復号器３０、又は図３Ｂの映像復号器３１（例えば、層間予測ユニット１２８及び／又は層間予測ユニット１６６）のうちの１つ以上のコンポーネントを使用することができる。

【表1】

【0141】

［００１５０］表１は、時間的副層の存在情報をシグナリングするためにビットストリーム内に含めることができる構文例を示す。表１の例において、各層及び各副層内を横断するために２つのＦＯＲループが使用される（例えば、第１のＦＯＲループが層内を横断し、第２のＦＯＲループが所定の層内の副層内を横断する）。すべての層に関して、その層内の副層の各々に関してフラグがシグナリングされる。例えば、２つの層が存在することをｖｐｓ_ｍａｘ_ｌａｙｅｒｓ_ｍｉｎｕｓ１が示し、それらの２つの層が５つの副層をそれぞれ有することをｖｐｓ_ｍａｘ_ｓｕｂ_ｌａｙｅｒｓ_ｍｉｎｕｓ１が示し、各層の最初の２つの副層のみがビットストリーム内に存在する場合は、ｓｕｂ_ｌａｙｅｒ_ｐｒｅｓｅｎｔ_ｆｌａｇ［ｉ］［ｊ］に対応するビットは、１１０００１１０００であることができ、ここにおいて、最初の５ビットは、第１の層に関連する存在情報を備え、次の５ビットは、第２の層に関連する存在情報を備える。

【0142】

［００１５１］表１の例において、ａｃｔｉｖｅ_ｖｉｄｅｏ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、ＳＥＩメッセージに関連するアクセスユニットのＶＣＬ ＮＡＬユニットによって参照されるＶＰＳのｖｐｓ_ｖｉｄｅｏ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す。ｖｐｓ_ｍａｘ_ｌａｙｅｒｓ_ｍｉｎｕｓ１及びｖｐｓ_ｍａｘ_ｓｕｂ_ｌａｙｅｒｓ_ｍｉｎｕｓ１はＶＰＳにおいて定義され、これらの変数を取り出すためにａｃｔｉｖｅ_ｖｐｓ_ｖｉｄｅｏ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄを使用することができるため、アクティブなＶＰＳは、存在情報をシグナリングする前に識別される。幾つかの実装においては、ａｃｔｉｖｅ_ｖｉｄｅｏ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値は、０乃至１５の範囲内にある。

【0143】

［００１５２］表１の例において、ｓｕｂ_ｌａｙｅｒ_ｐｒｅｓｅｎｔ_ｆｌａｇ［ｉ］［ｊ］は、ｊ以上のＴｅｍｐｏｒａｌＩｄ（例えば、時間的副層に割り当てられたＩＤ）及びｌａｙｅｒ_ｉｄ_ｉｎ_ｎｕｈ［ｉ］に等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有する副層に関する現在のアクセスユニット内にＮＡＬユニットが存在しない場合は０の値を有する。ｓｕｂ_ｌａｙｅｒ_ｐｒｅｓｅｎｔ_ｆｌａｇ［ｉ］［ｊ］は、ｊ以上のＴｅｍｐｏｒａｌＩｄ（例えば、時間的副層に割り当てられたＩＤ）及びｌａｙｅｒ_ｉｄ_ｉｎ_ｎｕｈ［ｉ］に等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有する副層に関する現在のアクセスユニット内にＮＡＬユニットが存在する場合は１の値を有する。幾つかの実施形態においては、ｓｕｂ_ｌａｙｅｒ_ｐｒｅｓｅｎｔ_ｆｌａｇ［ｉ］［ｊ］は、ＴｅｍｐｏｒａｌＩｄがゼロに等しい副層は含まない。例えば、ゼロのＴｅｍｐｏｒａｌＩｄ値を有する副層が常に存在すべきであり、絶対的に意図的にビットストリームから取り除かれるべきでないことを復号器が知っていることができる又は仮定することができる。

【0144】

［００１５３］表１において示される構文は、パラメータセット内（例えば、ＶＰＳ拡張内）に含めることができる。代替として、構文は、ＳＥＩメッセージとして含めることができる。一実施形態においては、構文は、スケーラブルなネスティングＳＥＩメッセージ内に含めることができない。

【0145】

［００１５４］一実施形態においては、ｓｕｂ_ｌａｙｅｒ_ｐｒｅｓｅｎｔ_ｆｌａｇ［ｉ］［ｊ］が、ｌａｙｅｒ_ｉｄ_ｉｎ_ｎｕｈ［ｉ］に等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有する特定の層に関して１に等しく、特定の副層がｊに等しいＴｅｍｐｏｒａｌＩｄを有するときには、ｓｕｂ_ｌａｙｅｒ_ｐｒｅｓｅｎｔ_ｆｌａｇ［ＲｅｆＬａｙｅｒＩｄ［ｉ］［ｋ］［ｊ］は、範囲［０，ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｉ］−１］内のすべてのｊに関して１に等しい。

【0146】

［００１５５］一実施形態においては、表１において示されるようにシグナリングされる存在情報は、現在のアクセスユニット、及び、次回に他の存在情報がシグナリングされるまで又はコーデッド映像シーケンス（ＣＶＳ）の最後のうちの復号順序でより早い方までの（例えば、復号順序の）すべての後続するアクセスユニットに対して適用される。

【0147】

実装例＃２
［００１５６］図７は、本開示の他の実施形態による、映像情報をコーディングするための方法７００を例示したフローチャートである。図７において例示されるステップは、符号器（例えば、図２Ａ又は図２Ｂにおいて示される映像符号器）、復号器（例えば、図３Ａ又は図３Ｂにおいて示される映像復号器）、又はいずれかのその他のコンポーネント（例えば、符号器と復号器との間において提供されるミドルボックス）によって実行することができる。便宜上、方法７００は、コーダによって実行されるとして説明され、それは、符号器、復号器、又は他のコンポーネントであることができる。

【0148】

［００１５７］方法７００は、ブロック７０１において開始する。ブロック７０５において、コーダは、アクティブな映像パラメータセット（ＶＰＳ）を決定する。例えば、アクティブなＶＰＳのＩＤは、所定の層内の層数及び副層数を取り出すために使用される。ブロック７１０において、コーダは、映像層の存在情報を決定する。上述されるように、存在情報は、ビットストリーム内に１つ以上の副層が存在するかどうかを示すことができる。一実施形態においては、存在情報の決定は、ビットストリームで存在情報をシグナリングする前に行うことができる。例えば、符号器又はミドルボックスは、ビットストリームで存在情報をシグナリングする前に存在情報を決定することができる。他の実施形態においては、存在情報の決定は、ビットストリーム内の該当するビットを構文解析後に行うことができる。例えば、復号器は、存在情報を含むビットストリーム部分の構文解析後に存在情報を決定すること及び復号プロセスを最適化するために存在情報を使用することができる。一例においては、映像層の存在情報は、どれだけの数の時間的副層が映像層内に存在するかを示す。ブロック７２０において、コーダは、すべての映像層がアドレッシングされているか（横断されているか）どうかを決定する。残っている映像層が存在するとコーダが決定した場合は、コーダは、ブロック７１５に進み、ここで、コーダは、次の映像層（例えば、残っている映像層のうちの１つ）の存在情報を決定する。ブロック７１５は、残っている映像層が存在しなくなるまで繰り返される。残っている層が存在しないとコーダが決定した場合は、方法７００は、ブロック７２５において終了する。

【0149】

［００１５８］上述されるように、本開示において論じられる技法、例えば、映像層の存在情報を決定する、のうちのいずれかを実装するために、図２Ａの映像符号器２０、図２Ｂの映像符号器２１、図３Ａの映像復号器３０、又は図３Ｂの映像復号器３１のうちの１つ以上のコンポーネント（例えば、層間予測ユニット１２８及び／又は層間予測ユニット１６６）を使用することができる。

【0150】

［００１５９］表２を参照し、方法７００に対応する構文例が以下において説明される。

【表2】

【0151】

［００１６０］表２は、時間的副層の存在情報をシグナリングするためにビットストリーム内に含めることができる構文例を示す。表２の例において、層内を横断するために単一のＦＯＲループが使用される。各層に関して、構文要素がシグナリングされ、層内に存在する副層数を示す。例えば、２つの層が存在することをｖｐｓ_ｍａｘ_ｌａｙｅｒｓ_ｍｉｎｕｓ１が示し、各層の最初の３つの副層のみがビットストリーム内に存在する場合は、ｓｕｂ_ｌａｙｅｒ_ｐｒｅｓｅｎｔ_ｉｄ_ｍｉｎｕｓ１［ｉ］に対応するビットは、１０ １０であることができ、ここにおいて、最初の２つのビットは、第１の層内に存在する副層数（例えば、３つ）を示し、次の２つのビットは、第２の層内に存在する副層数（例えば、３つ）を示す。

【0152】

［００１６１］表２の例において、ａｃｔｉｖｅ_ｖｉｄｅｏ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、ＳＥＩメッセージに関連するアクセスユニットのＶＣＬ ＮＡＬユニットによって参照されるＶＰＳのｖｐｓ_ｖｉｄｅｏ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す。ｖｐｓ_ｍａｘ_ｌａｙｅｒｓ_ｍｉｎｕｓ１はＶＰＳにおいて定義され、この値を取り出すためにａｃｔｉｖｅ_ｖｐｓ_ｖｉｄｅｏ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄを使用することができるため、アクティブなＶＰＳは、存在情報をシグナリングする前に識別される。一実装においては、この値を取り出すためにａｃｔｉｖｅ_ｖｉｄｅｏ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄを使用することができる。一実装においては、ａｃｔｉｖｅ_ｖｉｄｅｏ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値は、０乃至１５の範囲内にある。

【0153】

［００１６２］表２の例において、ｓｕｂ_ｌａｙｅｒ_ｐｒｅｓｅｎｔ_ｉｄ_ｍｉｎｕｓ［ｉ］ｐｌｕｓ １は、ｌａｙｅｒ_ｉｄ_ｉｎ_ｎｕｈ［ｉ］に等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有する特定の層内の副層数を示す。例えば、ｓｕｂ_ｌａｙｅｒ_ｐｒｅｓｅｎｔ_ｉｄ_ｍｉｎｕｓ［ｉ］ｐｌｕｓ １の値以上のＴｅｍｐｏｒａｌＩｄを有するＮＡＬユニットが現在のアクセスユニット内に存在しないことができる。

【0154】

［００１６３］表２において示される構文は、パラメータセット内（例えば、ＶＰＳ拡張内）に含めることができる。代替として、構文は、ＳＥＩメッセージとして含めることができる。一実施形態においては、構文は、スケーラブルなネスティングＳＥＩメッセージ内に含めることができない。

【0155】

［００１６４］一実施形態においては、ｓｕｂ_ｌａｙｅｒ_ｐｒｅｓｅｎｔ_ｉｄ_ｍｉｎｕｓ１［ｉ］が、ｌａｙｅｒ_ｉｄ_ｉｎ_ｎｕｈ［ｉ］に等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有する特定の層に関するｃｕｒｒ_ｓｕｂ_ｌａｙｅｒＩＤに等しいときには、ｓｕｂ_ｌａｙｅｒ_ｐｒｅｓｅｎｔ_ｉｄ_ｍｉｎｕｓ１［ＲｅｆＬａｙｅｒＩｄ［ｉ］［ｋ］］は、範囲［０，ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｉ］−１］内のすべてのｊに関してｃｕｒｒ_ｓｕｂ_ｌａｙｅｒ Ｉｄに等しい。

【0156】

［００１６５］一実施形態においては、表２において示されるようにシグナリングされる存在情報は、現在のアクセスユニット、及び、次回に他の存在情報が（例えば、パラメータセット内で又はＳＥＩメッセージとして）シグナリングされるまで又はコーデッド映像シーケンス（ＣＶＳ）の最後のうちの復号順序でより早い方までの（例えば、復号順序の）すべての後続するアクセスユニットに対して適用される。

【0157】

［００１６６］上述される方法例及び実装例は、ＭＶ−ＨＥＶＣ及びＨＥＶＣ ３ＤＶにも適用することができる。

【0158】

［００１６７］ここにおいて開示される情報及び信号は、様々な異なる技術及び技法のうちのいずれかを用いて表すことができる。例えば、上記の説明全体を通じて参照されることがあるデータ、命令、コマンド、情報、信号、ビット、シンボル、及びチップは、電圧、電流、電磁波、磁場、磁粒子、光学場、光学粒子、又はそれらのあらゆる組合せによって表すことができる。

【0159】

［００１６８］ここにおいて開示される実施形態と関係させて説明される様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムのステップは、電子ハードウェア、コンピュータソフトウェア、又は両方の組み合わせとして実装することができる。ハードウェアとソフトウェアのこの互換性を明確に例示するため、上記においては、様々な例示的なコンポーネント、ブロック、モジュール、回路、及びステップが、それらの機能の観点で一般的に説明されている。該機能がハードウェアとして又はソフトウェアとして実装されるかは、特定の用途及び全体的システムに対する設計上の制約事項に依存する。当業者は、説明されている機能を各々の特定の用途に合わせて様々な形で実装することができるが、該実装決定は、本開示の適用範囲からの逸脱を生じさせるものであるとは解釈されるべきではない。

【0160】

［００１６９］ここにおいて説明される技法は、ハードウェア、ソフトウェア、ファームウェア、又はそれらのあらゆる組み合わせにおいて実装することができる。該技法は、様々なデバイスのうちのいずれか、例えば、汎用コンピュータ、無線通信デバイスハンドセット、又は、無線通信デバイスハンドセット及びその他のデバイスにおけるアプリケーションを含む複数の用途を有する集積回路デバイス、において実装することができる。モジュール又はコンポーネントとして説明される特徴は、一体化された論理デバイスにおいてまとめて又は個別の、ただし相互運用可能な論理デバイスとして別々に実装することができる。ソフトウェアにおいて実装された場合は、技法は、実行されたときに、上述される方法のうちの１つ以上を実行する命令を含むプログラムコードを備えるコンピュータによって読み取り可能なデータ記憶媒体によって少なくとも部分的に実現することができる。コンピュータによって読み取り可能なデータ記憶媒体は、コンピュータプログラム製品の一部を成すことができ、それは、パッケージング材料を含むことができる。コンピュータによって読み取り可能な媒体は、メモリ又はデータ記憶媒体、例えば、ランダムアクセスメモリ（ＲＡＭ）、例えば、同期的ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、非揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気データ記憶媒体、光学的データ記憶媒体、等を備えることができる。技法は、さらに加えて、又は代替として、命令又はデータ構造の形態でプログラムコードを搬送又は通信し、コンピュータによってアクセスすること、読み取ること、及び／又は実行することができる、コンピュータによって読み取り可能な通信媒体によって少なくとも部分的に実現することができる。

【0161】

［００１７０］プログラムコードは、プロセッサによって実行することができ、それは、１つ以上のプロセッサ、例えば、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、又は、その他の同等の集積回路又はディスクリートロジック回路、を含むことができる。該プロセッサは、本開示において説明される技法のうちのいずれかを実行するように構成することができる。汎用プロセッサは、マイクロプロセッサであることができるが、代替においては、プロセッサは、従来のどのようなプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。プロセッサは、コンピューティングデバイスの組合せ、例えば、ＤＳＰと、１つのマイクロプロセッサとの組合せ、複数のマイクロプロセッサとの組合せ、ＤＳＰコアと関連する１つ以上のマイクロプロセッサとの組合せ、又はあらゆるその他の該構成、として実装することも可能である。従って、ここにおいて使用される用語“プロセッサ”は、上記の構造のうちのいずれか、上記の構造のあらゆる組み合わせ、又はここにおいて説明される技法の実装に適するその他のいずれかの構造又は装置を意味することができる。さらに、幾つかの態様においては、ここにおいて説明される機能は、符号化及び復号のために構成された専用ソフトウェアモジュール又はハードウェアモジュール内において提供すること、又は、結合された映像符号器−復号器（ＣＯＤＥＣ）内に組み入れることができる。さらに、技法は、１つ以上の回路又は論理素子内において完全に実装することができる。

【0162】

［００１７１］本開示の技法は、無線ハンドセット、集積回路（ＩＣ）又は一組のＩＣ（例えば、チップセット）を含む非常に様々なデバイス又は装置内に実装することができる。本開示では、開示される技法を実施するように構成されたデバイスの機能上の態様を強調するために様々なコンポーネント、モジュール、又はユニットが説明されるが、異なるハードウェアユニットによる実現は必ずしも要求しない。むしろ、上述されるように、様々なユニットは、適切なソフトウェア及び／又はファームウェアと関係させて、コーデックハードウェアユニット内において結合させること又は上述されるように１つ以上のプロセッサを含む相互運用的なハードウェアユニットの集合によって提供することができる。

【0163】

［０１７２］本発明の様々な実施形態が説明されている。これらの及びその他の実施形態は、以下の請求項の範囲内である。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］映像情報をコーディングするように構成された装置であって、
１つ以上の時間的副層を備える映像層に関連する映像情報を格納するように構成されたメモリユニットと、
前記メモリユニットと通信状態にあるプロセッサと、を備え、前記プロセッサは、ビットストリーム内におけるコーディングされた映像シーケンスに関する存在情報を決定するように構成され、前記存在情報は、前記映像層の前記１つ以上の時間的副層が前記ビットストリーム内に存在するかどうかを示す、装置。
［Ｃ２］前記存在情報は、映像パラメータセット（ＶＰＳ）内でシグナリングされるＣ１に記載の装置。
［Ｃ３］前記存在情報は、補足的エンハンスメント情報（ＳＥＩ）メッセージとしてシグナリングされるＣ１に記載の装置。
［Ｃ４］前記存在情報は、前記ビットストリーム内のすべての層に関して、それの各時間的副層が存在するかどうかを示すＣ１に記載の装置。
［Ｃ５］前記存在情報は、前記ビットストリーム内のすべての層に関して、いくつの数の時間的副層が存在するかを示すＣ１に記載の装置。
［Ｃ６］前記１つ以上の時間的副層のうちの１つは、基準層ピクチャを含み、前記プロセッサは、前記１つ以上の時間的副層のうちの前記１つが前記ビットストリーム内に存在しないことを前記存在情報が示す場合は前記ビットストリーム内の他の層の層間予測に関する前記基準層ピクチャをアップサンプリングすることを控えるようにさらに構成されるＣ１に記載の装置。
［Ｃ７］前記基準層ピクチャをアップサンプリングすることを前記控えることは、前記装置によって出力される映像信号を変化させずに行われるＣ６に記載の装置。
［Ｃ８］前記装置は、符号器を備え、前記プロセッサは、前記ビットストリーム内の前記映像層を符号化するようにさらに構成されるＣ１に記載の装置。
［Ｃ９］前記装置は、符号器から映像情報を受信して前記映像情報の修正されたバージョンを復号器に転送するように構成されたミドルボックスを備え、前記プロセッサは、前記１つ以上の時間的副層の部分組を前記ビットストリームから取り除くようにさらに構成されるＣ１に記載の装置。
［Ｃ１０］前記装置は、復号器を備え、前記プロセッサは、前記ビットストリーム内の前記映像層を復号するようにさらに構成されるＣ１に記載の装置。
［Ｃ１１］前記装置は、コンピュータ、ノートブック、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームプレイコンソール、及び車載コンピュータのうちの１つ以上から成るグループから選択されたデバイスを備えるＣ１に記載の装置。
［Ｃ１２］映像情報をコーディングする方法であって、
１つ以上の時間的副層を備える映像層に関連する映像情報を格納することと、
ビットストリーム内におけるコーディングされた映像シーケンスに関する存在情報を決定することと、を備え、前記存在情報は、前記映像層の前記１つ以上の時間的副層が前記ビットストリーム内に存在するかどうかを示す、方法。
［Ｃ１３］前記存在情報は、前記映像パラメータセット（ＶＰＳ）内でシグナリングされるＣ１２に記載の方法。
［Ｃ１４］前記存在情報は、補足的エンハンスメント情報（ＳＥＩ）メッセージとしてシグナリングされるＣ１２に記載の方法。
［Ｃ１５］前記存在情報は、前記ビットストリーム内のすべての層に関して、それの各時間的副層が存在するかどうかを示すＣ１２に記載の方法。
［Ｃ１６］前記存在情報は、前記ビットストリーム内のすべての層に関して、いくつの数の時間的副層が存在するかを示すＣ１２に記載の方法。
［Ｃ１７］１つ以上の時間的副層のうちの１つが前記ビットストリーム内に存在しないことを前記存在情報が示す場合は前記ビットストリーム内の他の層の層間予測に関する前記１つ以上の時間的副層のうちの前記１つにおいて基準層ピクチャをアップサンプリングすることを控えることをさらに備えるＣ１２に記載の方法。
［Ｃ１８］前記基準層ピクチャをアップサンプリングすることを前記控えることは、前記方法を用いて出力される映像信号を変化させずに行われるＣ１７に記載の方法。
［Ｃ１９］非一時的なコンピュータによって読み取り可能な媒体であって、
実行されたときに、
１つ以上の時間的副層を備える映像層に関連する映像情報を格納することと、
ビットストリーム内におけるコーディングされた映像シーケンスに関する存在情報を決定することであって、前記存在情報は、前記映像層の前記１つ以上の時間的副層が前記ビットストリーム内に存在するかどうかを示すことと、を備えるプロセスを実行することを装置に行わせるコードを備える、非一時的なコンピュータによって読み取り可能な媒体。
［Ｃ２０］前記存在情報は、前記映像パラメータセット（ＶＰＳ）内で又は補足的エンハンスメント情報（ＳＥＩ）メッセージとしてシグナリングされるＣ１９に記載のコンピュータによって読み取り可能な媒体。
［Ｃ２１］前記存在情報は、前記ビットストリーム内のすべての層に関して、それの各時間的副層が存在するかどうか及びいくつの数の時間的副層が存在するかのうちの１つを示すＣ１９に記載のコンピュータによって読み取り可能な媒体。
［Ｃ２２］映像情報をコーディングするように構成された映像コーディングデバイスであって、
１つ以上の時間的副層を備える映像層に関連する映像情報を格納するための手段と、
ビットストリーム内におけるコーディングされた映像シーケンスに関する存在情報を決定するための手段と、を備え、前記存在情報は、前記映像層の前記１つ以上の時間的副層が前記ビットストリーム内に存在するかどうかを示す、映像コーディングデバイス。
［Ｃ２３］前記存在情報は、前記映像パラメータセット（ＶＰＳ）内で又は補足的エンハンスメント情報（ＳＥＩ）メッセージとしてシグナリングされるＣ２２に記載の映像コーディングデバイス。
［Ｃ２４］前記存在情報は、前記ビットストリーム内のすべての層に関して、それの各時間的副層が存在するかどうか及びいくつの数の時間的副層が存在するかのうちの１つを示すＣ２２に記載の映像コーディングデバイス。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】