特許 6760911 エンハンスメント層の中の変換係数ブロックの副ブロックに基づいた符号化を使用するスケーラブルビデオ符号化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6760911

(24)【登録日】2020年9月7日

(45)【発行日】2020年9月23日

(54)【発明の名称】エンハンスメント層の中の変換係数ブロックの副ブロックに基づいた符号化を使用するスケーラブルビデオ符号化

(51)【国際特許分類】

   H04N 19/119 20140101AFI20200910BHJP

   H04N 19/14 20140101ALI20200910BHJP

   H04N 19/176 20140101ALI20200910BHJP

   H04N 19/187 20140101ALI20200910BHJP

   H04N 19/30 20140101ALI20200910BHJP

   H04N 19/70 20140101ALI20200910BHJP

【ＦＩ】

   H04N19/119

   H04N19/14

   H04N19/176

   H04N19/187

   H04N19/30

   H04N19/70

【請求項の数】10

【全頁数】108

(21)【出願番号】特願2017-198961(P2017-198961)

(22)【出願日】2017年10月13日

(62)【分割の表示】特願2015-534999(P2015-534999)の分割

【原出願日】2013年10月1日

(65)【公開番号】特開2018-42257(P2018-42257A)

(43)【公開日】2018年3月15日

【審査請求日】2017年11月10日

(31)【優先権主張番号】61/708,201

(32)【優先日】2012年10月1日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】515089080

【氏名又は名称】ジーイー ビデオ コンプレッション エルエルシー

(74)【代理人】

【識別番号】100079577

【弁理士】

【氏名又は名称】岡田 全啓

(72)【発明者】

【氏名】ヒンツ トビアス

(72)【発明者】

【氏名】ラクシュマン ハリチャラン

(72)【発明者】

【氏名】シュテーゲマン ヤン

(72)【発明者】

【氏名】ヘレ フィリップ

(72)【発明者】

【氏名】ジークマン ミーシャ

(72)【発明者】

【氏名】ズューリング カルステン

(72)【発明者】

【氏名】マルペ デトレフ

(72)【発明者】

【氏名】シュヴァルツ ハイコ

(72)【発明者】

【氏名】バルトニク クリスティアン

(72)【発明者】

【氏名】ハイラト アブデルハミド アリ アテフ イブラヒム

(72)【発明者】

【氏名】キルヒホッファー ハイナー

(72)【発明者】

【氏名】ウィーガント トーマス

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 特許第６３０１９３２（ＪＰ，Ｂ２）

【文献】 特開２０１２−１６９７６２（ＪＰ，Ａ）

【文献】 国際公開第２０１１／１２８３０３（ＷＯ，Ａ２）

【文献】 特開２００８−０９９０４５（ＪＰ，Ａ）

【文献】 特表２００８−５３０９２７（ＪＰ，Ａ）

【文献】 特表２０１０−５１７３４３（ＪＰ，Ａ）

【文献】 特開２００５−１３５２４９（ＪＰ，Ａ）

【文献】 Nguyen Nguyen, et al.，Multi-level Significance Maps for Small Transform Units，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 8th Meeting: San Jose, 1-10 February, 2012，２０１２年 ２月 ４日，JCTVC-H0526，pp1-13

【文献】 Shih-Ta Hsiang, et al.，Non-CE3: Modified method for coding transform coefficient levels，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 9th Meeting: Geneva, CH, 27 April - 7 May 2012，２０１２年 ４月２８日，JCTVC-I0176，pp1-8

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

符号化データストリームからビデオを再構成（６０）するように構成されたビデオデコーダであって、
前記ビデオの前記再構成（６０）は、
以下の構成によって、前記符号化データストリームからエンハンスメント層信号（４００）の残留信号の部分（４０４）のスペクトル分解を表わす変換係数の変換係数ブロック（４０２）を復号することによって実施され、
ベース層信号またはベース層残留信号の対応する部分（４０６）のスペクトル分解を表わす変換係数に基づいて、可能な副ブロックの副分割の組の中で副ブロックの副分割を選択し、
１つの副ブロックの中の全ての位置が直接に連続して横断されて、前記副ブロックの中で定義された副ブロック順序において次の副ブロックに進むように、前記変換係数ブロック（４０２）が、選択された前記副ブロックの副分割に従って規則的に副分割される、副ブロック（４１２）の単位で前記変換係数の位置を横断し、
現在訪問されている副ブロックに対して、
前記現在訪問されている副ブロックが重要な変換係数を有するか否かを示す構文要素（４１６）をデータストリームから復号し、
仮に、前記構文要素（４１６）が、前記現在訪問されている副ブロックが重要な変換係数を有さないことを示すならば、前記現在訪問されている副ブロックの中の前記変換係数をゼロにセットし、
仮に、前記構文要素が、前記現在訪問されている副ブロックが重要な変換係数を有することを示すならば、前記現在訪問されている副ブロックの中の前記変換係数のレベルを示す構文要素（４１８）を前記データストリームから復号し、
前記ビデオデコーダは前記データストリームから前記構文要素（４１８）を復号する際に、算術復号化または可変長復号化を使用するように構成されていること、
を特徴とする、ビデオデコーダ。

【請求項2】

前記エンハンスメント層信号の前記残留信号は、予測信号の予測残留を表わすこと、を特徴とする、請求項１に記載のビデオデコーダ。

【請求項3】

空間的に、時間的に、および／またはレイヤ間層予測によって、かつ、予測残留として、変換係数の逆変換ブロックを適用することによって、前記ビデオを再構成（６０）するように構成されていること、を特徴とする、請求項１または請求項２に記載のビデオデコーダ。

【請求項4】

前記ベース層信号または前記ベース層残留信号のエッジを検出し、かつ、前記選択された副ブロックの副分割の前記副ブロックの拡張が、前記エッジに対して垂直な空間周波数軸に沿って長くなるように、セットすることによって、前記可能な副ブロックの副分割の組の中で前記副ブロックの副分割を選択するように構成されていること、を特徴とする、請求項１〜請求項３のいずれかに記載のビデオデコーダ。

【請求項5】

前記選択された副ブロックの副分割の前記副ブロックの拡張が、前記ベース層信号または前記ベース層残留信号の前記対応する部分（４０６）の前記スペクトル分解のスペクトルエネルギー分布がより狭くなる空間周波数軸に対して垂直な空間周波数軸に沿って長くなるように、セットすることによって、前記可能な副ブロックの副分割の組の中で前記副ブロックの副分割を選択するように構成されていること、を特徴とする、請求項１〜請求項３のいずれかに記載のビデオデコーダ。

【請求項6】

符号化データストリームからビデオを再構成（６０）することを含むスケーラブルビデオ復号化方法であって、
前記ビデオの前記再構成（６０）は、
以下の構成によって、前記符号化データストリームからエンハンスメント層信号（４０
０）の残留信号の部分（４０４）のスペクトル分解を表わす変換係数の変換係数ブロック（４０２）を復号することによって実施され、
ベース層信号またはベース層残留信号の対応する部分（４０６）のスペクトル分解を表わす変換係数に基づいて、可能な副ブロックの副分割の組の中で副ブロックの副分割を選択し、
１つの副ブロックの中の全ての位置が直接に連続して横断されて、前記副ブロックの中で定義された副ブロック順序において次の副ブロックに進むように、前記変換係数ブロック（４０２）が、前記選択された副ブロックの副分割に従って規則的に副分割される、副ブロック（４１２）の単位で前記変換係数の位置を横断し、
現在訪問されている副ブロックに対して、
前記現在訪問されている副ブロックが重要な変換係数を有するか否かを示す構文要素（４１６）をデータストリームから復号し、
仮に、前記構文要素（４１６）が、前記現在訪問されている副ブロックが重要な変換係数を有さないことを示すならば、前記現在訪問されている副ブロックの中の前記変換係数をゼロにセットし、
仮に、前記構文要素が、前記現在訪問されている副ブロックが重要な変換係数を有することを示すならば、前記現在訪問された副ブロックの中の前記変換係数のレベルを示す構文要素（４１８）を前記データストリームから復号し、
前記構文要素（４１８）を前記データストリームから復号する際に、算術復号化または可変長復号化が使用されること
を特徴とする、スケーラブルビデオ復号化方法。

【請求項7】

符号化データストリームの中へビデオを符号化するように構成されたビデオエンコーダであって、
前記ビデオの前記符号化は、
以下の構成によって、前記符号化データストリームの中へエンハンスメント層信号（４
００）の残留信号の部分（４０４）のスペクトル分解を表わす変換係数の変換係数ブロック（４０２）を符号化し、
ベース層信号またはベース層残留信号の対応する部分（４０６）のスペクトル分解を表わす変換係数に基づいて、可能な副ブロックの副分割の組の中で副ブロックの副分割を選択し、
１つの副ブロックの中の全ての位置が直接に連続して横断されて、前記副ブロックの中で定義された副ブロック順序において次の副ブロックに進むように、前記変換係数ブロック（４０２）が、前記選択された副ブロックの副分割に従って規則的に副分割される、副ブロックの単位で前記変換係数の位置を横断し、
現在訪問されている副ブロックに対して、
前記現在訪問されている副ブロックが重要な変換係数を有するか否かを示す構文要素をデータストリームに符号化し、
仮に、前記構文要素が、前記現在訪問されている副ブロックが重要な変換係数を有することを示すならば、前記現在訪問されている副ブロックの中の変換係数のレベルを示す構文要素（４１８）を前記データストリームに符号化し、
前記ビデオエンコーダは、前記データストリームに前記構文要素（４１８）を符号化する際に、算術符号化または可変長符号化を使用するように構成されていること、
を特徴とする、ビデオエンコーダ。

【請求項8】

符号化データストリームの中へビデオを符号化することを含むスケーラブルビデオ符号化方法であって、
前記ビデオの前記符号化は、
以下の構成によって、前記符号化データストリームの中へエンハンスメント層信号（４
００）の残留信号の部分（４０４）のスペクトル分解を表わす変換係数の変換係数ブロック（４０２）を符号化し、
ベース層信号またはベース層残留信号の対応する部分（４０６）のスペクトル分解を表わす変換係数に基づいて、可能な副ブロックの副分割の組の中で副ブロックの副分割を選択し、
１つの副ブロックの中の全ての位置が直接に連続して横断されて、前記副ブロックの中で定義された副ブロック順序において次の副ブロックに進むように、前記変換係数ブロック（４０２）が、前記選択された副ブロックの副分割に従って規則的に副分割される、副ブロックの単位で変換係数の位置を横断し、
現在訪問されている副ブロックに対して、
前記現在訪問されている副ブロックが重要な変換係数を有するか否かを示す構文要素をデータストリームに符号化し、
仮に、前記構文要素が、前記現在訪問されている副ブロックが重要な変換係数を有することを示すならば、前記現在訪問されている副ブロックの中の変換係数のレベルを示す構文要素（４１８）を前記データストリームに符号化し、
前記データストリームに前記構文要素（４１８）を符号化する際に、算術符号化または可変長符号化が使用されること、
を特徴とする、スケーラブルビデオ符号化方法。

【請求項9】

プログラムコードがコンピュータ上で実行されると、前記コンピュータが請求項６に記載のスケーラブルビデオ復号化方法を実行する、前記プログラムコードを有するコンピュータプログラム。

【請求項10】

プログラムコードがコンピュータ上で実行されると、前記コンピュータが請求項８に記載のスケーラブルビデオ符号化方法を実行する、前記プログラムコードを有するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スケーラブルビデオ符号化に関する。

【背景技術】

【0002】

非スケーラブル（ｎｏｎ−ｓｃａｌａｂｌｅ）符号化において、内部符号化は、既に符号化された画像の引用データでなく、現在の画像の既に符号化された部分のデータ（例えば、再構築サンプル、符号化モード、またはシンボル統計）だけを利用する符号化技術を引用する。例えば、内部符号化された画像（内部画像）は、いわゆるランダムアクセスポイントで、デコーダをビットストリームに同調させるために、放送ビットストリームの中で使用される。また、内部画像は、エラー傾向がある環境の中で、エラー伝播を制限するために使用される。一般に、引用画像として使用される画像は、ここでは入手できないので、符号化映像系列の最初の画像は、内部画像として符号化されなければならない。また、内部画像は、時間予測が適した予測信号を通常提供できない場面カットで使用される。

【0003】

さらに、内部符号化モードは、いわゆる中間画像の中で特定の領域／ブロックのために使用される。そこでは、それらは、比率歪み効率に対して中間符号化モードより良く実行する。これは、時間予測が相当不十分に行われる領域（閉塞、一部溶解または衰退物）と同様に、平坦な領域の中でよくある場合である。

【0004】

スケーラブル（ｓｃａｌａｂｌｅ）符号化において、内部符号化の概念（内部画像の符号化と中間画像の中の内部ブロックの符号化）は、同じアクセスユニットまたは時間瞬間に属する全ての画像に拡張される。従って、空間または品質エンハンスメント（ｅｎｈａｎｃｅｍｅｎｔ）層のための内部符号化モードは、符号化効率を増加させると同時に瞬時に、下層画像から中間層予測の使用をすることができる。それは、現在のエンハンスメント層の画像の中で既に符号化された部分が内部予測のために使用できるだけではなく、同時に瞬時に既に符号化された下層画像も利用できることを意味する。また、後者の概念は、中間層内部予測とも称される。

【0005】

最先端のハイブリッドビデオ符号化規格（Ｈ．２６４／ＡＶＣまたはＨＥＶＣなど）において、ビデオ系列の画像はサンプルのブロックに区分される。ブロックのサイズは、固定されるか、または、符号化手法はブロックをさらに小さいブロックのサイズに副区分されることを許す階層構造を提供される。通常、ブロックの再構成は、ブロックの予測信号を発生させて、送信された残留信号を付加することによって得られる。通常、残留信号は、変換符号化を使用して、送信される。それは、変換係数のための量子化インデックスリスト（変換係数レベルとも称される）が、エントロピー符号化技術を使用して、送信されることを意味する。そして、デコーダ側では、予測信号に追加される残留信号を得るために、これら送信された変換係数レベルが、スケーリングされ、逆変換される。残留信号は、（現在の時間の瞬間のための既に送信されたデータのみを使用する）内部予測によって、または、（異なる時間の瞬間のために既に送信されたデータを使用する）中間予測によって発生する。

【0006】

仮に中間予測が使用されるならば、予測ブロックは、既に再構成されたフレームのサンプルを使用して、作動補償予測によって得られる。これは、（１つの引用画像と１組の作動パラメータを使用して、）単方向の予測によって行うことができる。あるいは、予測信号は、マルチ仮説予測によって発生することができる。後者の場合、２つ以上の予測信号が重畳される。すなわち、各サンプルに対して、重み付け平均が、最終予測信号を形成す
るために構成される。（重畳された）多重予測信号は、異なる仮説（例えば、異なる引用画像または作動ベクトル）毎に異なる作動パラメータを使用して発生される。また、単方向の予測に対して、作動補償予測信号のサンプルに定数因子を掛けて、最終予測信号を形成するために一定のオフセットを加えることも可能である。また、このようなスケーリングとオフセット補正が、マルチ仮説予測において、全ての仮説に、または、選択された仮説にも使用される。

【0007】

現在の技術レベルのビデオ符号化技術において、ブロックのための内部予測信号が、現在のブロックの空間隣接（それは、順に処理しているブロックに従って現在のブロックの前で再構成されたブロック）からサンプルを予測することによって得られる。最新の規格において、空間領域で予測を実行する様々な予測手法が、利用される。隣接ブロックのサンプルをフィルタにかけた、または、フィルタにかけなかった、精密な粒状の方向性予測モードが、予測信号を発生させるために、特定の角度に拡張される。更に、平坦な予測平面またはＤＣ予測ブロックを発生させるために、隣接するブロックのサンプルを使用する平面に基づいたおよびＤＣに基づいた予測モードもある。

【0008】

古いビデオ符号化規格（例えば、Ｈ．２６３、ＭＰＥＧ−４）において、内部予測は変換領域の中で実行された。この場合、送信係数は逆量子化された。そして、変換係数の副組（ｓｕｂｓｅｔ）に対して、変換係数値は、隣接するブロックの対応する再構成された変換係数を使用して、予測された。逆量子化変換係数は、予測変換係数値に追加され、そして、再構成された変換係数は、逆変換に入力として使用された。逆変換の出力は、ブロックのための最終再構成信号を形成した。

【0009】

スケーラブルビデオ符号化においても、ベース層情報は、エンハンスメント層のための予測過程を補助するために利用される。スケーラブル符号化のための最先端のビデオ符号化規格（Ｈ．２６４／ＡＶＣのＳＶＣ拡張）において、エンハンスメント層の中で内部予測過程の符号化効率を向上させるための１つの追加モードがある。このモードは、マクロブロックレベル（１６×１６個のルマ（ｌｕｍａ）のサンプルのブロック）で合図される。このモードは、下層の中の共同配置されたサンプルが、内部予測モードを使用して、符号化される場合にだけ、補助される。仮に、このモードが、品質エンハンスメント層の中でマクロブロックのために選択されるならば、予測信号は、非ブロッキングフィルタ操作の前に、再構成された下層信号の共同配置されたサンプルによって組み立てられる。仮に、中間層内部予測モードが、空間エンハンスメント層の中で選択されるならば、予測信号は、（非ブロッキングフィルタ操作の後で、）共同配置された再構成されたベース層信号を抽出することによって発生する。抽出するために、ＦＩＲフィルタが使用される。一般に、中間層内部予測モードのためには、追加残留信号が変換符号化によって送信される。また、仮に、それがビットストリームの中で対応して合図されるならば、残留信号の送信は省略できる（ゼロに等しいと推論される）。最終再構成信号が、（送信された変換係数レベルをスケーリングして、逆空間変換を適用することによって得られる）再構成された残留信号を予測信号に追加することによって得られる。

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、スケーラブルビデオ符号化において、より高い符号化効率を達成できることが好ましい。

【0011】

従って、本発明の目的は、より高い符号化効率を実現するスケーラブルビデオ符号化のための概念を提供することである。

【課題を解決するための手段】

【0012】

この目的は同時期に提出の書類に記載の独立請求項の内容によって達成される。

【0013】

本発明の１つの実施の形態は、仮に、それぞれの変換係数ブロックの副ブロックの副分割が、ベース層残留信号またはベース層信号に基づいて制御されるならば、エンハンスメント層の変換係数ブロックの副ブロックに基づいた符号化が、より効率的にされる、ということである。特に、それぞれのベース層ヒントを利用することによって、副ブロックは、ベース層残留信号またはベース層信号から観察可能なエッジ拡張に対して水平な空間周波数軸に沿って、より長くなる。このため、副ブロックの形状を、増加する確率では、各副ブロックが、ほぼ完全に重要な変換係数（すなわち、ゼロに量子化されていない変換係数）、または、非重要な変換係数（すなわち、ゼロに量子化された変換係数だけ）のいずれかで充満され、一方、減少する確率では、どんな副ブロックも、一方に重要な変換係数の数と他方に非重要な変換係数の数を同数有するように、エンハンスメント層変換係数ブロックの変換係数のエネルギーの推定分布に適合させることが可能である。しかしながら、重要な変換係数を有さない副ブロックが、単に１つの旗（ｆｌａｇ）の使用などによって、データストリームの中で効率的に合図されるという事実のため、そして、重要な変換係数で殆んど完全に充満された副ブロックが、そこに点在する非重要な変換係数を符号化するための信号化量の浪費を必要としないという事実のため、エンハンスメント層の変換係数ブロックを符号化するための符号化効率が増加する。

【0014】

本発明の１つの実施の形態は、スケーラブルビデオ符号化の中で、エンハンスメント層信号を予測的に符号化するための、より良い予測器（ｐｒｅｄｉｃｔｏｒ）が、エンハンスメント層予測信号を得るために、異なる空間周波数成分に対して異なる重み付けの方法で、中間層予測信号とエンハンスメント層内部予測信号とから、エンハンスメント層予測信号を形成することによって（すなわち、現在再構成されるべき部分で、中間層予測信号とエンハンスメント層内部予測信号との重み付け平均を形成することによって）達成されるので、中間層予測信号とエンハンスメント層内部予測信号がエンハンスメント層予測信号に寄与する重み付けが、異なる空間周波数成分を変化する、ということである。このため、個別の寄与成分（すなわち、一方で中間層予測信号および他方でエンハンスメント層内部予測信号）のスペクトル特性に対して最適化された方法で、中間層予測信号およびエンハンスメント層内部予測信号から、エンハンスメント層予測信号を解釈することが可能である。例えば、解像度または品質の改良に基づいて、中間層予測信号が、再構成されたベース層信号から得られる。中間層予測信号は、高周数波と比較して低周波数で、より正確である。エンハンスメント層内部予測信号に関する限り、特性は逆である。すなわち、その精度は、低周波数と比較して高周数波に対して増加する。この例では、低周波数では、中間層予測信号のエンハンスメント層予測信号への寄与が、それぞれの重み付けで、エンハンスメント層内部予測信号のエンハンスメント層予測信号への寄与を超える。そして、高周波に関する限り、エンハンスメント層内部予測信号のエンハンスメント層予測信号への寄与を超えない。このため、より正確なエンハンスメント層予測信号が達成される。その結果、符号化効率が増加して、より高い圧縮率がもたらされる。

【0015】

様々な実施の形態によって、異なる可能性が、ちょうど概説された概念を、概念に基づいたどんなスケーラブルビデオ符号化にも組み込むために説明される。例えば、重み付け平均の形成は空間領域または変換領域の中のいずれかで形成される。スペクトル重み付け平均の実行は、個別の寄与（すなわち、中間層予測信号とエンハンスメント層内部予測）で実行されるべき変換を必要とする。しかし、例えば、ＦＩＲまたはＩＩＲフィルタリングを含む空間領域の中の中間層予測信号とエンハンスメント層内部予測信号とのいずれかをスペクトル的にフィルタにかけることを避ける。しかしながら、空間領域の中のスペクトル重み付け平均の形成を実行することは、変換領域を経由して重み付け平均への個別の寄与の回り道は避ける。領域が実際にスペクトル重み付け平均の形成を実行するために選択される決定は、スケーラブルビデオデータストリームが、エンハンスメント層信号の中
で現在構成されるべき部分に対して、変換係数の形式で残留信号を含んでいるか否かに依存している。仮に、含んでいなければ、変換領域を経由する回り道は止められる。一方、残留信号が存在する場合、変換領域を経由する回り道は、変換領域の中の送信された残留信号に対して、変換領域の中のスペクトル重み付け平均に直接に加算することを許容するので、更に有利である。

【0016】

本発明の１つの実施の形態は、ベース層の符号化／復号化から利用可能な情報（すなわち、ベース層ヒント）が、より効率的にエンハンスメント層作動（ｍｏｔｉｏｎ）パラメータを符号化することによって、エンハンスメント層の作動補償予測をより効率的にすることに利用される、ということである。特に、エンハンスメント層信号のフレームの隣接する既に再構成されたブロックから集められた作動パラメータ候補組は、たぶんベース層信号（エンハンスメント層のフレームのブロックに共同配置されたベース層信号）のブロックの１つ以上のベース層作動パラメータ組によって拡大される。その結果、作動パラメータ候補組の利用可能な品質が、エンハンスメント層信号のブロックの作動補償予測が、拡張された作動パラメータ候補組の作動パラメータ候補の１つを選択して、その選択された作動パラメータ候補を予測のために使用して、実行されることに基づいて向上する。追加的に、または、２者択一的に、エンハンスメント層信号の作動パラメータ候補リストが、ベース層の符号化／復号化に関わるベース層作動パラメータに依存して順序付けされる。このため、順序付けされた作動パラメータ候補リストからエンハンスメント層作動パラメータを選択するための確率分布は、例えば、明らかに合図されたインデックス構文要素が、少ないビットを使用して、（例えば、エントロピー符号化などを使用して、）符号化されるように圧縮される。さらに、付加的に、または、２者択一的に、ベース層の符号化／復号化の中で使用されたインデックスが、エンハンスメント層のための作動パラメータ候補リストの中にインデックスを決定する基礎として補助する。このため、エンハンスメント層のためのインデックスのどんな合図も、完全に避けられる。または、単にインデックスに対して、このようにして決定した予測の偏差が、エンハンスメント層副ストリームの中で送信される。その結果、符号化効率が向上する。

【0017】

本発明の１つの実施の形態は、スケーラブルビデオ符号化が、ベース層信号の上でベース層符号化パラメータの空間的な変化を評価することによって、エンハンスメント層ブロックの可能な副ブロックの副分割の組の中で、エンハンスメント層予測のために使用されるべき副ブロックの副分割の派生／選択によって、より効率的にされる、ということである。このため、仮に、そうならば、少ない信号化オーバーヘッドが、エンハンスメント層データストリームの中で、この副ブロックの副分割に合図するために費やされなければならない。このようにして選択された副ブロックの副分割は、エンハンスメント層信号を予測的に符号化／復号化する際に使用される。

【0018】

本発明の１つの実施の形態は、スケーラブルビデオ符号化の符号化効率が、ベース層信号の共同配置されたブロックの内部予測パラメータの使用によって、エンハンスメント層の現在のブロックの空間隣接部の中の失われている空間内部予測パラメータ候補を代用することによって増加する、ということである。このため、空間内部予測パラメータを符号化するための符号化効率は、エンハンスメント層の内部予測パラメータの組の改良された予測品質のために増加する、または、より正確に述べると、増加する見込みである。エンハンスメント層の内部予測されたブロックのための内部予測パラメータのための適切な予測器が、有用であり、その結果、それぞれのエンハンスメント層ブロックの内部予測パラメータの合図が、平均的に少ないビットで実行される、という見込みを増加させる。

【0019】

更なる有利な実現は従属クレームで説明される。

【0020】

好ましい実施の形態が、図面に関して以下に詳細に説明される。

【図面の簡単な説明】

【0021】

【図1】スケーラブルビデオエンコーダの一実施の形態を示すブロック図である。

【図2】図１のスケーラブルビデオエンコーダに合うスケーラブルビデオデコーダの一実施の形態を示すブロック図である。

【図3】スケーラブルビデオエンコーダのより特定した実施の形態を示すブロック図である。

【図4】図３のスケーラブルビデオエンコーダに合うスケーラブルビデオデコーダのブロック図である。

【図5】符号化／復号化の順序付けを更に説明する、ビデオ、そのベース層およびエンハンスメント層のバージョンを示す模式図である。

【図6】エンハンスメント層のための可能な予測モードを説明するために階層にされたビデオ信号の一部分を示す模式図である。

【図7】エンハンスメント層内部予測信号と中間層予測信号との間の重み付けをスペクトル的に変えて使用して、エンハンスメント層予測信号の形成を示す構成図である。

【図8】エンハンスメント層の副ストリームの中にたぶん含まれた構文要素の模式図である。

【図9】形成／結合が空間領域の中で実行された実施の形態に従って、図７の形成の可能な実現を示す模式図である。

【図10】形成／結合がスペクトル領域の中で実行された実施の形態に従って、図７の形成の実現を説明するための模式図である。

【図11】ベース層からエンハンスメント層信号への空間内部予測パラメータ派生を説明するために、階層化されたビデオ信号から取り出した一部分を示す模式図である。

【図12】図１１の派生の拡張を説明する模式図である。

【図13】ベース層から得られた１つ空間内部予測パラメータが挿入される１組の空間内部予測パラメータ候補を示す模式図である。

【図14】ベース層からの予測パラメータ粒状派生を説明するために、階層化されたビデオ信号から取り出した一部分を示す模式図である。

【図15】図１５ａと図１５ｂは、ベース層の中で２つの異なるサンプルに従って、ベース層作動パラメータの空間的な変化を使用して、現在のブロックのために適切な副分割の選択方法を示す模式図である。

【図15c】現在のエンハンスメント層のブロックのために可能な副ブロックの副分割の中で最も粗い選択方法の第１の可能性を説明するための模式図である。

【図15d】現在のエンハンスメント層のブロックのために可能な副ブロックの副分割の中で最も粗い選択方法の第２の可能性を説明するための模式図である。

【図16】現在のエンハンスメント層のブロックのために副ブロックの副分割の派生の使用を説明するために、階層化されたビデオ信号から取り出した一部分を示す模式図である。

【図17】エンハンスメント層作動パラメータデータを効率的に符号化するためのベース層ヒントの利用を説明するために階層化されたビデオ信号から取り出した一部分を示す模式図である。

【図18】エンハンスメント層作動パラメータ信号化の効率を増加させる第１の可能性を説明するための模式図である。

【図19a】エンハンスメント層作動パラメータ信号化をより効率的にするためのベース層ヒントを利用する方法の第２の可能性を示す模式図である。

【図19b】エンハンスメント層作動パラメータ候補のリストに載っている順にベース層を移送する第１の可能性を説明するための模式図である。

【図19c】エンハンスメント層作動パラメータ候補のリストに載っている順にベース層を移送する第２の可能性を説明するための模式図である。

【図20】エンハンスメント層作動パラメータ信号化をより効率的にするためのベース層ヒントを利用する別の可能性を説明するための模式図である。

【図21】変換係数ブロックの副ブロックの副分割が、適切にベース層から得られたヒントに調整される実施の形態を説明するために、階層化されたビデオ信号から取り出した一部分を説明するための模式図である。

【図22】ベース層からの変換係数ブロックの適切な副ブロックの副分割の取得方法の異なる可能性を説明する模式図である。

【図23】スケーラブルビデオデコーダのためのさらに詳細な実施の形態を示すブロック図である。

【図24a】図２４は、図２３のスケーラブルビデオデコーダに合うスケーラブルビデオエンコーダを示すブロック図である。

【図24b】図２４は、図２３のスケーラブルビデオデコーダに合うスケーラブルビデオエンコーダを示すブロック図である。

【図25】（抽出された／フィルタにかけられた）ベース層再構成信号（ＢＬ Ｒｅｃｏ）と、既に符号化された隣接ブロックの差（ｄｉｆｆｅｒｅｎｃｅ）信号（ＥＨ Ｄｉｆｆ）を使用する空間内部予測との合計によって、中間層内部予測信号の生成を説明するための模式図である。

【図26】（抽出された／フィルタにかけられた）ベース層残留信号（ＢＬ Ｒｅｓｉ）と、既に符号化された隣接ブロックの再構成されたエンハンスメント層のサンプル（ＥＨ Ｒｅｃｏ）を使用する空間内部予測との合計によって、中間層の内部予測信号の生成を説明するための模式図である。

【図27】（抽出された／フィルタにかけられた）ベース層再構成信号（ＢＬ Ｒｅｃｏ）と、既に符号化された隣接ブロックの再構成されたエンハンスメント層のサンプル（ＥＨ Ｒｅｃｏ）を使用する空間内部予測とを、周波数で重み付けした合計によって、中間層内部予測信号の生成を説明するための模式図である。

【図28】明細書中で使用されるベース層信号とエンハンスメント層信号とを説明するための模式図である。

【図29】エンハンスメント層の作動補償予測を説明する模式図である。

【図30】ベース層残留とエンハンスメント層再構成とを使用する予測を説明するための模式図である。

【図31】ＢＬ再構成とＥＬ差信号とを使用する予測を説明するための模式図である。

【図32】ＢＬ再構成とＥＬ差信号の第２仮説とを使用する予測を説明するための模式図である。

【図33】ＢＬ再構成とＥＬ再構成とを使用する予測を説明するための模式図である。

【図34】一例として、画像を正方形ブロックに分解することと、対応する４枝ツリー構造を説明するための模式図である。

【図35】好ましい実施の形態において、副ブロックの中に正方形ブロックの許容された分解を説明するための模式図である。

【図36】作動ベクトル予測の位置を説明するための模式図である。（ａ）は空間候補の位置を表現し、（ｂ）は時間候補の位置を表現する。

【図37】アルゴリズムと融合するブロック（ａ）と、空間候補のための冗長検査（ｂ）とを説明するための模式図である。

【図38】アルゴリズムと融合するブロック（ａ）と、空間候補のための冗長検査（ｂ）とを説明するための模式図である。

【図39】４×４変換ブロックのための走査方向（対角線、垂直、水平）を説明するための模式図である。

【図40】８×８変換ブロックのための走査方向（対角線、垂直、水平）を説明するための模式図である。斜線の領域は重要な副グループを定義する。

【図41】対角線の走査だけが定義されている、１６×１６変換図である。

【図42】ＪＣＴＶＣ−Ｇ７０３で提案されるように、１６×１６変換のための垂直走査を説明するための模式図である。

【図43】１６×１６変換ブロックのための垂直かつ水平な走査の実現を説明するための模式図である。係数副グループは、それぞれ一つの行または一つの列と定義される。

【図44】１６×１６変換ブロックのための垂直かつ水平な走査を説明するための模式図である。

【図45】隣接する再構成されたエンハンスメント層のサンプルと再構成されたベース層のサンプルとを使用する後方に適応したエンハンスメント層内部予測を説明するための模式図である。

【図46】差信号の空間的な挿入を説明するために、エンハンスメント層の画像／フレームを示す模式図である。

【発明を実施するための形態】

【0022】

図１は、以下に概説された実施の形態が組み込まれる、スケーラブルビデオエンコーダのための実施の形態を一般的な方法で示す。図１のスケーラブルビデオエンコーダは、一般に、引用符号２を使用して示され、ビデオ４を受信して符号化する。スケーラブルビデオエンコーダ２は、スケーラブル方法で、ビデオ４をデータストリーム６の中に符号化するように構成されている。すなわち、データストリーム６は、第１の情報内容量でその中に符号化されたビデオ４を有している第１の部分６ａと、第１の部分６ａより大きい情報内容量でその中に符号化されたビデオ４を有している別の部分６ｂと、を含む。例えば、部分６ａと６ｂの情報内容量は、品質または忠実度において、すなわち、オリジナルビデオ４からの画素的な偏差の量および／または空間解像度において異なる。しかしながら、また、情報内容量の異なる他の形式が、例えば、色忠実度などに適用される。部分６ａはベース層データストリームまたはベース層副ストリームと呼ばれる。一方、部分６ｂはエンハンスメント層データストリームまたはエンハンスメント層副ストリームと呼ばれる。

【0023】

スケーラブルビデオエンコーダ２は、一方でエンハンスメント層副ストリーム６ｂ無しでベース層副ストリーム６ａから、他方で副ストリーム６ａと６ｂの両方から、再構成可能なビデオ４のバージョン８ａと８ｂとの間の冗長を利用するように構成されている。そうするために、スケーラブルビデオエンコーダ２は中間層予測を使用する。

【0024】

図１に示すように、スケーラブルビデオエンコーダ２は、２者択一的に、ビデオ４の２つのバージョン４ａと４ｂを受信する。両方のバージョン４ａと４ｂは、ちょうどベース層副ストリーム６ａとエンハンスメント層副ストリーム６ｂとがするように、情報内容量が互いに異なる。従って、例えば、スケーラブルビデオエンコーダ２は、副ストリーム６ａと６ｂを発生させるように構成される。その結果、ベース層副ストリーム６ａは、その中に符号化されたバージョン４ａを有する。一方、エンハンスメント層データストリーム（副ストリーム）６ｂは、ベース層副ストリーム６ｂに基づいた中間層予測を使用して、その中に符号化されたバージョン４ｂを有する。副ストリーム６ａと６ｂの符号化は共に損失する。

【0025】

仮に、スケーラブルビデオエンコーダ２が、単に、ビデオ４のオリジナルバージョンを受信するのみであっても、スケーラブルビデオエンコーダ２は、例えば、空間的ダウンスケーリング、および／または、より高いビット深さからより低いビット深さへのトーンマッピング（写像）によって、ベース層バージョン４ａを得ることによって、そこから内部的に２つのバージョン４ａと４ｂを得るように構成されている。

【0026】

図２は、図１のスケーラブルビデオエンコーダ２に合うスケーラブルビデオデコーダを、以下に概説された実施の形態を取り入れるのに適した同様な方法で示す。図２のスケーラブルビデオデコーダは、一般に、引用符号１０を使用して示される。スケーラブルビデ
オデコーダは、一般的に、仮に、完全な方法で、データストリーム６の両方の部分６ａと６ｂがスケーラブルビデオデコーダ１０に達するならば、そこからビデオのエンハンスメント層バージョン８ｂを再構成するように、または、仮に、例えば、部分６ｂが送信損失などのために利用できないならば、そこからビデオのベース層バージョン８ａを再構成するように、符号化データストリーム６をデコード（復号化）するように構成されている。すなわち、スケーラブルビデオデコーダ１０は、ベース層副ストリーム６ａだけからバージョン８ａを再構成でき、かつ、部分６ａと６ｂの両方から中間層予測を使用して、バージョン８ｂを再構成できるように構成されている。

【0027】

より詳細な以下の本発明の実施の形態（すなわち、実施の形態は、図１と図２の実施の形態を示す）が明確に詳細に説明される前に、図１と図２のスケーラブルビデオエンコーダとデコーダのより詳しい実現が、図３と図４に対して説明される。図３は、ベース層符号化器１２、エンハンスメント層符号化器１４およびマルチプレクサ（回線多重化装置）１６を備えたスケーラブルビデオエンコーダ２を示す。ベース層符号化器１２は、入力ビデオのベース層バージョン４ａを符号化するように構成されている。エンハンスメント層符号化器１４は、ビデオのエンハンスメント層バージョン４ｂを符号化するように構成されている。従って、マルチプレクサ１６は、ベース層符号化器１２からのベース層副ストリーム６ａとエンハンスメント層符号化器１４からのエンハンスメント層副ストリーム６ｂとを受信して、出力のときに符号化データストリーム６の中に両者を多重化して送信する。

【0028】

図３に示されているように、両方の符号化器１２と１４は、それぞれの入力バージョン４ａと４ｂを、それぞれの副ストリーム６ａと６ｂの中に符号化するために、例えば、空間予測および／または時間予測を使用する予測符号化器である。特に、符号化器１２と１４はそれぞれ、ハイブリッドビデオブロック符号化器である。すなわち、符号化器１２と１４のそれぞれは、例えば、ビデオバージョン４ａと４ｂの画像またはフレームが、それぞれ副分割されるブロックの各ブロックのための異なる予測モードの間で選択されている間、ブロックごとに基づいて、ビデオのそれぞれの入力バージョンを符号化するように構成されている。ベース層符号化器１２の異なる予測モードは、空間および／または時間予測モードを含む。一方、エンハンスメント層符号化器１４は、追加して、中間層予測モードを補助する。ブロックの中の副分割は、ベース層とエンハンスメント層の間で異なっている。予測モード、様々なブロックのために選択された予測モードのための予測パラメータ、予測残留、そして、任意に、それぞれのビデオバージョンのブロック副分割は、エントロピー符号化を使用して、順番にそれぞれの副ストリーム６ａ，６ｂの中に符号化される構文要素を含むそれぞれの構文を使用して、それぞれの符号化器１２，１４によって記述される。中間層予測は、２，３の例で言及したように、エンハンスメント層ビデオ、予測モード、予測パラメータ、および／または、ブロックの副分割のサンプルを予測するために、例えば１回以上利用される。従って、ベース層符号化器１２とエンハンスメント層符号化器１４の両方が、それぞれ、エントロピー符号化器１９ａ，１９ｂが後に続く予測符号化器１８ａ，１８ｂを含む。一方、予測符号化器１８ａ，１８ｂは、それぞれ入力（ｉｎｂｏｕｎｄ）バージョン４ａと４ｂから、予測符号化を使用して、構文要素ストリームを形成する。エントロピー符号化器１９ａ，１９ｂは、それぞれの予測符号化器１８ａ，１８ｂによって出力された構文要素をエントロピー符号化する。ちょうど言及するように、エンコーダ２の中間層予測は、エンハンスメント層の符号化手順の中で異なる時に関係する。従って、予測符号化器１８ｂは、予測符号化器１８ａ、それの出力、およびエントロピー符号化器１９ａの１つ以上に接続されるように示される。同様に、エントロピー符号化器１９ｂは、例えば、ベース層からのエントロピー符号化のために使用された文脈を予測することによって、任意に中間層予測を利用する。従って、エントロピー符号化器１９ｂは、任意に、ベース層符号化器１２の要素のどれかに接続されるように示される。

【0029】

図１に対する図２と同じ方法で、図４は、図３のスケーラブルビデオエンコーダに合うスケーラブルビデオデコーダ１０の可能な実現を示す。従って、図４のスケーラブルビデオデコーダ１０は、副ストリーム６ａと６ｂを得るためにデータストリーム６を受信するデマルチプレクサ４０と、ベース層副ストリーム６ａを復号するように構成されたベース層デコーダ８０と、エンハンスメント層副ストリーム６ｂを復号するように構成されたエンハンスメント層デコーダ６０と、を備えている。示されているように、デコーダ６０は、中間層予測を利用するためにそこから情報を受信するためにベース層デコーダ８０に接続されている。これにより、ベース層デコーダ８０は、ベース層副ストリーム６ａからベース層バージョン８ａを再構成できる。そして、エンハンスメント層デコーダ６０は、エンハンスメント層副ストリーム６ｂを使用して、ビデオのエンハンスメント層バージョン８ｂを再構成するように構成されている。図３のスケーラブルビデオエンコーダと類似して、それぞれエンハンスメント層デコーダ６０とベース層デコーダ８０は、エントロピーデコーダ１００，３２０、続いて、予測デコーダ１０２，３２２を内部に含む。

【0030】

以下の実施の形態の理解を簡素化するために、図５は、ビデオ４の異なるバージョン、すなわち、符号化損失によって互いから逸れているベース層バージョン４ａと８ａとを例示的に示す。同様に、エンハンスメント層バージョン４ｂと８ｂとは、それぞれ符号化損失によって互いから逸れている。ベース層信号とエンハンスメント層信号は、それぞれ画像２２ａと２２ｂの系列で構成される。それらは、時間軸２４に沿って互い（すなわち、エンハンスメント層信号の時間的に対応する画像２２ｂの他にも、ベース層バージョンの画像２２ａ）に登録されるように、図５の中に示されている。前述のように、画像２２ｂは、より高い空間解像度を有し、および／または、より高い忠実度などで（例えば、画像のサンプル値の、より高いビット深さで）ビデオ４を表す。実線および点線を使用して、符号化／復号化の順序が、画像２２ａ，２２ｂの間で定義されるために示される。図５の中で示された例に従って、符号化／復号化の順序が、所定の時間の時刻／瞬間のベース層画像２２ａは、エンハンスメント層信号の同じ時間の時刻のエンハンスメント層画像２２ｂの前に横断されるような方法で、画像２２ａと２２ｂを横断する。時間軸２４に対して、画像２２ａ，２２ｂは、提供時間の順序で符号化／復号化の順序２６によって横断される。しかし、画像２２ａ，２２ｂの提供時間の順序から逸れる順序も、可能である。エンコーダ２もデコーダ１０も、符号化／復号化の順序２６に沿って連続して符号化／復号化する必要はない。むしろ、符号化／復号化は平行して使用される。符号化／復号化の順序２６は、空間的、時間的、および／または、中間層の意味で、互いに隣接するベース層信号とエンハンスメント層信号の部分の間の利用性を定義する。その結果、エンハンスメント層の現在の部分を符号化／復号化する時に、その現在のエンハンスメント層部分の利用可能な部分が、符号化／復号化の順序を通して定義される。従って、この符号化／復号化の順序２６に従って利用可能である単に隣接する部分が、予測のためにエンコーダによって使用されるので、デコーダは、予測を手直しするために、同じ情報源にアクセスする。

【0031】

以下の図に対して、図１〜図４に対して前述したスケーラブルビデオエンコーダまたはデコーダが、１つの実施例に従って、本発明の実施の形態をどのように形成するかが説明される。以下で説明される実施例の可能な実例が、表示「実施例Ｃ」を使用して議論される。

【0032】

特に、図６は、引用符号３６０を使用して示されたエンハンスメント層信号の画像２２ｂと、引用符号２００を使用して示されたベース層信号の画像２２ａを説明する。異なる層の時間的に対応する画像は、時間軸２４に対して互いに示された方法で示される。斜線を使用して、符号化／復号化の順序に従って既に符号化／復号化されているベースとエンハンスメント層信号の中の部分２００とが、図５に示された符号化／復号化の順序に従って未だ符号化または復号化されていない部分３６と区別される。また、図６は、現在符号化／復号化されるエンハンスメント層信号３６０の一部分２８を示す。

【0033】

現在説明されている実施の形態に従って、部分２８の予測は、部分２８を予測するために、エンハンスメント層自体の中の内部層予測とベース層からの中間層予測の両方を使用する。しかしながら、予測は、これらの予測がスペクトル的に変化する方法で、部分２８の最終予測に寄与するように結合される。その結果、特に、両方の寄与の間の比率は、スペクトル的に変化する。

【0034】

特に、部分２８は、エンハンスメント層信号４００の既に再構成された部分（すなわち、図６でエンハンスメント層信号４００の中の斜線によって示された部分）から、空間的または時間的に予測される。空間予測は矢印３０を使用して説明される。一方、時間予測は矢印３２を使用して説明される。時間予測は、例えば、作動ベクトルの情報が、現在の部分２８のために、エンハンスメント層副ストリームの中で送信されるに従って、作動補償予測を含む。作動ベクトルは、現在の部分２８の時間予測を得るために、コピーされるべきエンハンスメント層信号４００の引用画像の一部分の置き換えを示す。空間予測３０は、現在の部分２８の中に、推定する空間的に隣接する部分、画像２２ｂの既に符号化／復号化された部分、空間的に隣接する現在の部分２８を含む。このために、推定（または角度）方向のような内部予測情報が、現在の部分２８のために、エンハンスメント層副ストリームの中で合図される。また、空間予測３０および時間予測３２の組み合わせが、同様に使用される。どのような場合でも、その結果、エンハンスメント層の内部予測信号３４が、図７で説明されるように得られる。

【0035】

現在の部分２８の別の予測を得るために、中間層予測が使用される。このために、ベース層信号２００は、エンハンスメント層信号４００の現在の部分２８に空間的かつ時間的に対応する部分３６で、現在の部分２８のための中間予測信号が、増加する潜在的解像度を得るために、解像度または品質の改良を受ける。改良手順は図６の矢印３８を使用して説明され、図７に示すように中間層予測信号３９をもたらす。

【0036】

従って、２つの予測寄与３４と３９が、現在の部分２８のために存在する。そして、両方の寄与の重み付け平均が、現在の部分２８に対して、中間層予測信号とエンハンスメント層内部予測信号とが、エンハンスメント層予測信号４２に寄与する重み付けが、図７に４４で図式的に示すように、空間周波数成分を異なって変化する方法で、エンハンスメント層予測信号４２を得るために形成される。図７は、例示的に、あらゆる空間周波数成分に対して、予測信号３４と３８が最終予測信号に寄付する重み付けが、全てのスペクトル的成分に対して、しかしながら、予測信号３４に適用された重み付けと予測信号３９に適用された重み付けとの間の比をスペクトル的に変化する状態で、同じ値４６を加算する場合を示す。

【0037】

一方、予測信号４２が、現在の部分２８に、エンハンスメント層信号４００によって直接使用される。あるいはまた、残留信号は、現在の部分２８の再構成されたバージョン５４の中で、例えば図７で示される加算のように予測信号４２との結合５０によって、もたらされる現在の部分２８のエンハンスメント層副ストリーム６ｂの中に提供される。中間的注意として、スケーラブルビデオエンコーダとデコーダの両方は、予測残留を符号化／復号化するために、変換符号化を使用して、予測的符号化を使用するハイブリッドビデオデコーダ／エンコーダである、ことが注意される。

【0038】

図６，７の記述をまとめると、エンハンスメント層副ストリーム６ｂが、現在の部分２８に対して、空間的および／または時間的予測３０，３２を制御するための内部予測パラメータ５６と、任意に、スペクトル重み付け平均の形成４１を制御するための重み付けパラメータ５８と、残留信号４８に合図するための残留情報５９とを含む。一方、スケーラブルビデオエンコーダは、それに従って、これらのパラメータ５６，５８，５９の全てを
決定し、エンハンスメント層副ストリーム６ｂの中に、パラメータ５６，５８，５９を差し込む。スケーラブルビデオデコーダは、上に概説したように、現在の部分２８を再構成するためにパラメータ５６，５８，５９を使用する。これらの要素５６，５８，５９の全てが、量子化（すなわち、量子化として比／歪費用関数を使用する）のいくつかを受ける。そして、それに従って、スケーラブルビデオエンコーダは、これらのパラメータ／要素を決定する。興味あることに、エンコーダ２は、現在の部分２８に対して再構成されたバージョン５４を得るために、例えば、符号化／復号化の順序で続く、エンハンスメント層信号４００の部分のためのどんな予測の基礎としても役立つように、このようにして決められたパラメータ／要素５６，５８，５９を使用する。

【0039】

異なる可能性が、重み付けパラメータ５８と、それらがスペクトル重み付け平均の形成４１を制御する方法とのために存在する。例えば、重み付けパラメータ５８が、現在の部分２８に対して、２つの状態（すなわち、今までに説明したスペクトル重み付け平均の形成を活性化する一方の状態、および、中間層予測信号３８の寄与を非活性化する他方の状態）の１つにのみ合図する。その結果、最終エンハンスメント層予測信号４２は、その場合、エンハンスメント層内部予測信号３４によってのみ作成される。現在の部分２８のための重み付けパラメータ５８は、一方のスペクトル的重み付け平均形成の活性化と、他方の単独でエンハンスメント層予測信号４２を形成する中間層予測信号３９との間を切り換わる。また、重み付けパラメータ５８は、言及した３つの状態／２者択一の１つに合図するように設計される。あるいはまた、重み付けパラメータ５８は、さらに、現在の部分２８に対して、予測信号３４と３９が最終予測信号４２に寄与する重み付けの間の比率のスペクトル変化に関して、スペクトル重み付け平均形成４１を制御する。後で、ペクトル重み付け平均形成４１が、予測信号３４と３９を加算する前の予測信号３４と３９の１つまたは両方を、例えば、ハイパスフィルタおよび／またはローパスフィルタを使用して、フィルタにかけることを伴う、ことが説明される。その場合、重み付けパラメータ５８は、現在の部分２８の予測に対して使用されるべきフィルタのためのフィルタ特性に合図する。２者択一として、重み付けパラメータ５８は、スペクトル重み付け平均形成４１におけるスペクトル重み付けが、変換領域の中のスペクトル成分の個々の重み付けによって達成され、従って、この場合、重み付けパラメータ５８は、これらのスペクトル成分の個々の重み付けの値を合図／設定できる、ということが以下で説明される。

【0040】

追加的に、または、二者択一的に、現在の部分２８のための加重（重み付け）パラメータは、ステップ４１の中であるペクトル加重が、変換領域または空間領域の中で実行されるか否かを合図できる。

【0041】

図９は空間領域の中のスペクトル重み付け平均構成を実行するための実施の形態を説明する。予測信号３９と３４は、現在の部分２８の画素ラスタ（ｒａｓｔｅｒ）と一致しているそれぞれの画素配列の形式で得られるように図示されている。スペクトル重み付け平均構成を実行するために、予測信号３４と３９の両方の画素配列は、フィルタリングを受けるように示される。図９は、例えばＦＩＲフィルタリングを実行するために、予測信号３４と３９の画素配列を移動しているフィルタ核（ｋｅｒｎｅｌ）６２と６４を示すことによって、実例としてフィルタリングを図示する。しかしながら、また、ＩＩＲフィルタリングも可能である。さらに、予測信号３４と３９の１つのみが、フィルタリングを受けてもよい。両方のフィルタ６２と６４の伝達関数は異なっているので、予測信号３９と３４の画素配列のフィルタリングの結果の加算６６は、スペクトル重み付け平均構成の結果、すなわち、エンハンスメント層予測信号４２をもたらす。言い換えれば、加算６６は、それぞれフィルタ６２と６４を使用して、フィルタがかけられた予測信号３９と３４の中の共同配置されたサンプルを容易に加算する。その結果、６２〜６６はスペクトル重み付け平均構成４１をもたらす。図９は、変換係数の形式で存在している残留情報５９の場合、変換領域の中の残留信号４８に合図し、逆変換６８が画素配列７０の形式で空間領域を
もたらすために使用され、その結果、再構成されたバージョン５５をもたらしている結合５２が、残留信号アレイ７０とエンハンスメント層予測信号４２との簡単な画素的付加によって実現されることを図示する。

【0042】

再び、予測が、デコーダとエンコーダの中でそれぞれ再構成のための予測を使用して、スケーラブルビデオエンコーダとデコーダによって実行されることを思い出してください。

【0043】

図１０は、変換領域の中でどのようにスペクトル重み付け平均構成が実行されるかを例示的に示す。ここで、予測信号３９と３４の画素配列は、それぞれ変換７２と７４を受ける。その結果、それぞれスペクトル分解７６と７８をもたらす。各スペクトル分解７６と７８は、１スペクトル成分当たり１つの変換係数で、変換係数アレイが作成される。それぞれの変換係数ブロック７６と７８は、重み付けの対応するブロック、つまり、ブロック８２と８４に掛けられる。その結果、スペクトル成分毎に、ブロック７６と７８の変換係数は個別に重み付けされる。スペクトル成分毎に、ブロック８２と８４の加重値は、全てのスペクトル成分に共通の値を加算する。しかし、これは義務的ではない。事実上、ブロック７６と８２との間の乗数８６と、ブロック７８とブロック８４の間の乗数８８とは、それぞれ変換領域の中のスペクトルフィルタリングを表す。そして、変換係数／スペクトル成分的追加９０は、変換係数の１ブロックの形式でエンハンスメント層予測信号４２の変換領域バージョンをもたらすために、スペクトル重み付け平均構成４１を終了する。図１０に示すように、変換係数ブロックの形式で残留信号４８に合図する残留信号５９の場合、残留信号５９は、変換領域の中の現在の部分２８の再構成されたバージョンをもたらすために、エンハンスメント層予測信号４２を表す変換係数ブロックと、容易に変換係数的加算結合（または別の結合）５２がされる。従って、結合５２の付加結果に適用される逆変換８４は、現在の部分２８を再構成している画素配列、すなわち、再構成されたバージョン５４をもたらす。

【0044】

前述したように、現在の部分２８のためのエンハンスメント層副ストリーム６ｂの中の現在のパラメータが、平均構成４１が図１０に示した変換領域、または、図９に従った空間領域の中で実行されるかどうかのために合図する。例えば、仮に、残留情報５９は、現在の部分２８のためのどんな変換係数ブロックの欠如も示す。また、空間領域が使用される。あるいは、加重パラメータ５８は、変換係数を含む残留情報５９または変換係数を含まない残留情報５９の如何に関係なく両方の領域を切り換える。

【0045】

その後、層中間エンハンスメント層内部予測信号を得るために、差信号が、エンハンスメント層信号の既に再構成された部分と中間層予測信号との間で、計算されて管理されることが、説明される。第１の部分の差信号に関する空間予測はエンハンスメント層信号の一部分に共同配置された第１の部分で差信号の空間予測は、現在、差信号の第２の部分から再構成される。エンハンスメント層信号の第１の部分に空間的に隣接して、かつ、既に再構成された部分に属して、その時、差信号を空間的に予測するために使用される。あるいはまた、第１の部分の差信号の時間予測はエンハンスメント層信号の部分に共同配置されて、現在、エンハンスメント層信号の以前に再構成されたフレームに属しなが差信号の第２の部分から再構成されるのは、時間的に予測された差信号を得るために使用される。中間層予測信号と予測された差信号とは、エンハンスメント層内部予測信号を得るために使用され、次に、中間層予測信号と結合される。

【0046】

以下の図に対して、図１〜図４に対して前述したようなスケーラブルビデオエンコーダまたはデコーダが、どのように応用の別の面に従って本発明の実施の形態を形成するために実行されるかが記載される。

【0047】

この内容について説明するために、図１１を参照する。図１１は現在の部分２８の空間予測３０を実行する可能性を示す。その結果、図１１の以下の記述は、図６〜図１０に関する記述と組み合わされる。特に、以下に説明される内容は、「実施例」ＸとＹに言及することによって、図示された実現の例に対して後で説明される。

【0048】

図１１に示された状況は、図６に示されたものに対応する。すなわち、ベース層信号２００とエンハンスメント層信号４００が示される。既に符号化／復号化された部分が、斜線を使用して示されている。エンハンスメント層信号４００の中で、現在、符号化／復号化されるべき部分は、隣接するブロック９２と９４を有している。ここで、例示的に、現在のブロック２８と同じサイズを有している両方のブロック９２と９４に対して、現在の部分２８の上側にブロック９２が描かれ、左側にブロック９４が描かれている。しかしながら、サイズの一致は義務的ではない。むしろ、エンハンスメント層信号４００の画像２２ｂが副分割されているブロックの部分は、異なるサイズを有している。それらは四角形に制限さえされていない。それらは、長方形または他の形であってもよい。さらに、現在のブロック２８は、図１１に明確に表現されていない隣接ブロックを有している。しかしながら、隣接ブロックは、まだ復号化／符号化されていない。すなわち、隣接ブロックは、符号化／復号化の順序で続き、その結果、予測のために利用できない。これを超えて、符号化／復号化の順序に従って既に符号化／復号化されたブロック９２と９４より別のブロック（現在のブロック２８に隣接する、例えば現在のブロック２８の左上隅で斜めに隣接するブロック９６のようなブロック）が存在する。しかし、ブロック９２と９４は、ここで考慮された例における内部予測３０を受ける現在のブロック２８のための内部予測パラメータを予測する役割を果たす、予め決められた隣接するブロックである。そのような予め決められた隣接するブロックの数は、２つに制限されない。それは、より多くても、または１つでもよい。

【0049】

スケーラブルビデオエンコーダとスケーラブルビデオデコーダは、既に符号化された隣接するブロックの組から、予め決められた隣接するブロックの組（ここでは、ブロック９２，９４）を決定する。ここに、ブロック９２〜９６は、例えば、その左上のサンプルのように現在の部分２８の中の予め決められたサンプル位置９８に依存する。例えば、現在の部分２８のそれらの既に符号化された隣接するブロックのみが、予め決められたサンプル位置９８に直に隣接するサンプル位置を含む「予め決められた隣接するブロック」の組を形成する。どのような場合でも、隣接する既に符号化／復号化されたブロックは、現在のブロック２８の領域が空間的に予測されるべきサンプル値に基づいた現在のブロック２８に隣接するサンプル１０２を含む。このために、５６などの空間予測パラメータは、エンハンスメント層副ストリーム６ｂの中で合図される。例えば、現在のブロック２８のための空間予測パラメータは、サンプル１０２のサンプル値が現在のブロック２８の領域の中にコピーされるべき空間的方向を指示する。

【0050】

どのような場合でも、少なくとも、時間的に対応する画像２２ａの関係する空間的に対応する領域に関する限り、上で説明したように、ブロック的な予測を使用し、例えば、空間予測モードと時間予測モードとの間のブロック的な選択を使用して、現在のブロック２８を空間的に予測する時、スケーラブルビデオデコーダ／エンコーダは、ベース層副ストリーム６ａを使用して、ベース層２００を既に再構成している（エンコーダの場合には、符号化されている）。

【0051】

図１１において、ベース層信号２００の時間で並べられた画像２２ａが副分割される数ブロック１０４は、例示的に表現された現在の部分２８に局所的に対応する領域の中、および、その周りに横たわる。それはちょうどエンハンスメント層信号４００の中の空間的に予測されたブロックの場合である。空間予測パラメータは、ベース層信号２００の中で、それらのブロック１０４のためのベース層副ストリームの中に含まれる、または、合図
される。空間予測モードの選択は、ベース層信号に対して合図される。

【0052】

ここで、例示的に、空間的な内部層予測３０が選択されたブロック２８に関する符号化データストリームから、エンハンスメント層信号の再構成を許すために、内部予測パラメータが、以下のビットストリームの中で使用され、符号化される。

【0053】

内部予測パラメータは、全ての可能な内部予測パラメータのかなり小さいサブ組である「最もありそうな内部予測パラメータ」の概念を使用してしばしば符号化される。「最もありそうな内部予測パラメータ」は、。例えば、最もありそうな内部予測パラメータの組は、１つ、２つまたは３つの内部予測パラメータを含む。一方、例えば、全ての可能な内部予測パラメータの組は、３５個の内部予測パラメータを含むことができる。仮に、内部予測パラメータが、最もありそうな内部予測パラメータの組に含まれているならば、それは、ビットストリームの中で、少ない数のビットで、合図される。仮に、内部予測パラメータが、最もありそうな内部予測パラメータの組に含まれていないならば、ビットストリームの中のその合図は、より多くのビットを必要とする。従って、現在の内部予測されたブロックのための内部予測パラメータに合図するために、構文要素に費やされるべきビットの量は、最もありそうな、または、たぶん有利な内部予測パラメータの組の品質に依存する。この概念を使用して、平均的に、低い数のビットが内部予測パラメータを符号化するために必要である。最もありそうな内部予測パラメータの組が、適当に得られることが評価される。

【0054】

通常、最もありそうな内部予測パラメータの組は、それが、直接に隣接するブロックの内部予測パラメータを含む、および／または、追加的に、例えば初期設定パラメータの形で内部予測パラメータをしばしば使用する方法で選択される。例えば、隣接するブロックの主な勾配方向が同じであるので、最もありそうな内部予測パラメータの組の中の隣接するブロックの内部予測パラメータを含むことは、一般に有利である。

【0055】

しかしながら、仮に、隣接するブロックが、空間内部予測モードで符号化されないならば、それらのパラメータは、デコーダ側で利用できない。

【0056】

スケーラブル符号化において、共同配置されたベース層ブロックの内部予測パラメータを使用することは、しかしながら可能である。従って、以下に概説される実施例に従って、この状況が、空間内部予測モードの中の符号化されない隣接するブロックの場合に、共同配置されたベース層ブロックの内部予測パラメータを使用して利用される。

【0057】

その結果、図１１に従って、現在のエンハンスメント層ブロックのためのたぶん有利な内部予測パラメータの組は、予め決められた隣接するブロックの内部予測パラメータを点検することによって、そして、例えば、それぞれの予め決められた隣接するブロックが、内部予測モードで符号化されないので、予め決められた隣接するブロックが、それに関係した適当な内部予測パラメータを有さない場合に、ベース層の中の共同配置されたブロックに例外的に再区分することによって、構成される。

【0058】

先ず、現在のブロック２８のブロック９２または９４などの予め決められた隣接するブロックが、空間内部予測モードを使用して予測されたか否かをチェックされる。すなわち、空間内部予測モードが、その隣接するブロックのために選択されたか否かをチェックされる。それによって、その隣接するブロックの内部予測パラメータが、現在のブロック２８のためのたぶん有利な内部予測パラメータの組、または、もしあれば、代替として、ベース層の共同配置されたブロック１０８の内部予測パラメータの中に含まれる。この過程は、予め決められた隣接するブロック９２と９４のそれぞれに対して実行できる。

【0059】

例えば、仮に、それぞれの予め決められた隣接するブロックが、空間内部予測ブロックでないならば、初期設定予測のようなものを使用して、代わりに、ベース層信号２００のブロック１０８の内部予測パラメータが、現在のブロック２８に共同配置されている、現在のブロック２８のためのたぶん有利な予測パラメータの組の中に含まれる。例えば、共同配置されたブロック１０８は、現在のブロック２８の予め決められたサンプル位置９８を使用して決定される。つまり、ブロック１０８は、ベース層信号２００の時間的に並べられた画像２２ａの中の予め決められたサンプル位置９８に局所的に対応している位置１０６をカバーする。当然に、予めベース層信号２００の中のこの共同配置されたブロック１０８が、実際に空間内部予測ブロックであるか否か、の更なるチェックが実行される。図１１の場合において、これがその場合であることが例示的に説明される。しかしながら、仮に、共同配置されたブロックも、内部予測モードの中で符号化されないならば、たぶん有利な内部予測パラメータの組が、その予め決められた隣接するブロックのために少しの寄与も無く残される。または、初期設定内部予測パラメータが、代替として代わりに使用される。すなわち、初期設定内部予測パラメータは、たぶん有利な内部予測パラメータの組に挿入される。

【0060】

従って、仮に、現在のブロック２８に共同配置されたブロック１０８が、空間的に内部予測であれば、ベース層副ストリーム６ａの中で合図されたその内部予測パラメータは、一種の代替として、内部予測パラメータが時間予測モードのような別の予測モードを使用して符号化されるため、どんな内部予測パラメータも有していない、現在のブロック２８の予め決められた隣接するブロック９２または９４のために使用される。

【0061】

別の実施の形態に従って、所定の場合、仮に、それぞれの予め決められた隣接するブロックが、内部予測モードのものであっても、予め決められた隣接するブロックの内部予測パラメータは、共同配置されたベース層ブロックの内部予測パラメータによって代替えされる。例えば、内部予測パラメータが所定の基準を満たしているか否かのような更なるチェックが、内部予測モードのどんな予め決められた隣接するブロックに対しても実行される。仮に、所定の基準が、隣接するブロックの内部予測パラメータによって満たされていない、しかし、同じ基準が、共同配置されたベース層ブロックの内部予測パラメータによって満たされているならば、代替が、内部符号化された非常に隣接するブロックにも関わらず実行される。例えば、仮に、隣接するブロックの内部予測パラメータが、角度（ａｎｇｕｌａｒ）内部予測モード（しかし、例えばＤＣまたは平面内部予測モード）を表わない、しかし、共同配置されたベース層ブロックの内部予測パラメータが角度内部予測モードを表わすならば、隣接するブロックの内部予測パラメータが、ベース層ブロックの内部予測パラメータによって取り替えられる。

【0062】

現在のブロック２８のための中間予測パラメータは、その時、現在のブロック２８のためのエンハンスメント層副ストリーム６ｂ、および、たぶん有利な内部予測パラメータの組などの符号化データストリームの中に存在する構文要素に基づいて決定される。すなわち、構文要素は、たぶん有利な内部予測パラメータの組のメンバーである現在のブロック２８のための中間予測パラメータの場合に、たぶん有利な内部予測パラメータの組に繋がらない、可能な内部予測パラメータの組の残りのメンバーの場合より、少ないビットを使用して符号化される。

【0063】

可能な内部予測パラメータの組は、現在のブロックが、それぞれのモード／パラメータの角度方向に沿ってコピーすることによって、既に符号化／復号化された隣接するサンプルからコピーすることによって満たされることに従ういくつかの角度方向のモードと、現在のブロックのサンプルが、例えばいくつかの平均によって、既に符号化／復号化された隣接するサンプルなどに基づいて決められた一定値にセットされることに従う１つのＤＣモードと、現在のブロックのサンプルが、例えば、既に符号化／復号化された隣接するサ
ンプルに基づいて決められる、ｘとｙのスロープおよび遮断の一次関数をフォローする値分布にセットされることに従う平面モードとを含む。

【0064】

図１２は、ベース層の共同配置されたブロック１０８から得られた空間予測パラメータの代替が、エンハンスメント層副ストリームの中で合図された構文要素と共に、どのように使用されるかについての可能性を示す。図１２は、拡大した方法で、隣接する既に符号化／復号化されたサンプル１０２と予め決められた隣接するブロック９２および９４と共に、現在のブロック２８を示す。また、図１２は、共同配置されたブロック１０８の空間予測パラメータによって示される角度の方向１１２を例示的に示す。

【0065】

現在のブロック２８のためにエンハンスメント層副ストリーム６ｂの中で合図された構文要素１１４は、例えば図１３に示されるように、条件付きで符号化されたインデックス１１８を、ここに例示的に、角度方向１２４として図示された、可能な有利な内部予測パラメータの結果であるリスト１２２の中に合図することができる。、または、仮に、実際の内部予測パラメータ１１６が、最もありそうな組１２２の中になく、１２７に示されるように、可能性として除外される可能な内部予測モードのリスト１２５の中のインデックス１２３であるならば、リスト１２２の候補は、その結果、実際の内部予測パラメータ１１６を特定する。構文要素の符号化は、リスト１２２の中に属する実際の内部予測パラメータの場合、より少ないビットを消費する。例えば、構文要素は旗（ｆｌａｇ）とインデックス部とを含む。旗は、リスト１２２のメンバーを含めるか、または、除外するか、インデックスがリスト１２２またはリスト１２５のいずれかを指摘するか、つまり、リスト１２２のメンバーに含めるかまたは除外するかを示す。構文要素は、リスト１２２のメンバー１２４またはエスケープコードの一つを特定する分野を含む。そして、構文要素は、エスケープコードの場合、リスト１２２のメンバーを含むまたは除外するリスト１２５からメンバーを特定する第２の分野を含む。リスト１２２の中のメンバー１２４の中の順序は、例えば、初期設定規則に基づいて決定される。

【0066】

従って、スケーラブルビデオデコーダは、エンハンスメント層副ストリーム６ｂから構文要素１１４を得る、または、検索する。そして、スケーラブルビデオエンコーダは、構文要素１１４をエンハンスメント層副ストリーム６ｂに挿入する。そして、次に、例えば、構文要素１１４は、リスト１２２から１つの空間予測パラメータを索引するために使用される。リスト１２２を形成する際に、前述の代替は、予め決められた隣接ブロック９２と９４が、空間予測符号化モードタイプであるか否かがチェックされて実行される。そうでなければ、前述したように、共同配置されたブロック１０８は、順に空間的に予測されたブロックであるか否かがチェックされ、そうであれば、この共同配置されたブロック１０８を空間的に予測するために使用される角度方向１１２のような、同じ空間予測パラメータがリスト１２２に含まれる。また、仮に、ベース層ブロック１０８が、適した内部予測パラメータを含まないならば、リスト１２２はそれぞれの予め決められた隣接ブロック９２または９４から寄与無しで外される。なぜなら、リスト１２２が空であることを避けるために、例えば、予め決められた隣接ブロック９２、９８の両方が、内部予測されているので、適した内部予測パラメータを欠いている共同配置されたブロック１０８と同様に、少なくともメンバー１２４の１つは初期設定内部予測パラメータを使用して、無条件に決定される。あるいはまた、リスト１２２が空であることが許容される。

【0067】

当然、図１１〜図１３に対して説明した実施例は、図６〜図１０に対して概説した実施例と繋がることができる。特に、図１１〜図１３に従ってベース層を回り道して引き出された空間内部予測パラメータを使用して得られた内部予測は、スペクトル的に重み付けされた方法で、上述したように中間層予測信号３８に結合されるために、図６〜図１０の実施例のエンハンスメント層中間予測信号３４を表わす。

【0068】

以下の図面に対して、図１〜図４に対して記載したように、スケーラブルビデオエンコーダまたはデコーダが、どのようにして応用の別の実施例に従って本応用の実施の形態を形成するかが説明される。後で、以下に記載された実施例のために、追加の実現例が実施例ＴとＵを引用して提示される。

【0069】

図１４は、エンハンスメント層信号４００とベース層信号２００の画像２２ｂと２２ａを、それぞれ時間的登録方法で示す。現在、符号化／復号化されるべき部分は２８で示されている。現在の実施例に従って、ベース層信号２００は、ベース層信号を空間的に変化させているベース層符号化パラメータを使用して、スケーラブルビデオエンコーダによって予測的に符号化され、スケーラブルビデオデコーダによって予測的に再構成されている。空間的な変化は、非斜線領域によって囲まれた斜線部分１３２を使用して、図１４に示されている。斜線部分１３２の中では、ベース層信号２００を予測的に符号化／再構成化するために使用されるベース層符号化パラメータが一定である。斜線部分１３２から非斜線領域に移行するとき、ベース層符号化パラメータが変化する。上で概説された実施例によると、エンハンスメント層信号４００は、ブロックのユニットの中で符号化／再構成化されている。現在の部分２８はそのようなブロックである。上で概説された実施例に従って、現在の部分２８のための副ブロックの副分割は、ベース層信号２００の共同配置された部分１３４の中で、すなわち、ベース層信号２００の時間的に対応する画像２２ａの空間的に共同配置された部分の中で、ベース層符号化パラメータの空間的変化に基づいて１組の可能な副ブロックの副分割から選択される。

【0070】

特に、現在の部分２８のために、エンハンスメント層副ストリーム６ｂの副分割情報の中で合図する代わりに、上の記述が、選択された副ブロックの副分割が、可能な副ブロックの副分割の組の中で最も粗いように、現在の部分２８の可能な副ブロックの副分割の組の中で副ブロックの副分割を選択すること、を提示する。そこでは、ベース層信号の共同配置された部分１３４の上に移されたとき、ベース層符号化パラメータは、それぞれの副ブロックの副分割の各副ブロックの中で、互いに十分同様であるように、ベース層信号２００を副分割する。理解し易くするために、図１５ａを参照する。図１５ａは共同配置された部分１３４の中で、ベース層符号化パラメータの空間的な変化を、斜線を使用して、記載している部分２８を示す。特に、部分２８は、ブロック２８に適用されている異なる副ブロックの副分割が、３回示されている。特に、４枝ツリーの副分割が、図１５ａの場合に例示的に使用されている。すなわち、可能な副ブロックの副分割の組は、４枝ツリーの副分割である（あるいは、それによって定義される）。そして、図１５ａに表現された部分２８の副ブロックの副分割の３つの具体例が、ブロック２８の４枝ツリーの副分割の異なる階層のレベルに属する。下から上まで、副ブロックの中のブロック２８の副分割のレベルまたは粗さは増加する。最高レベルでは、部分２８はそのまま残される。次の下のレベルでは、ブロック２８は４つの副ブロックに副分割される。そして、少なくとも後者の１つは、次の下のレベルなどでさらに４つの副ブロックに副分割される。図１５ａの中で、各レベルにおいて、４枝ツリーの副分割は、副ブロックの数が最も小さい場所、それでも、ベース層符号化パラメータ変化境界と重複している副ブロックでない場所が選択される。すなわち、図１５ａの場合、ブロック２８を副分割するために選択されるべきブロック２８の４枝ツリーの副分割は、図１５ａに示されている中で最も低いものであると認められる。ここで、ベース層のベース層符号化パラメータは、副ブロックの副分割のそれぞれの副ブロックに共同配置された各部分の中で一定である。

【0071】

従って、ブロック２８のための副分割情報は、エンハンスメント層副ストリーム６ｂの中で合図される必要はない。その結果、符号化効率が増加する。そのうえ、概説されているように、副分割を得る方法は、どんなグリッド（格子）に関する現在の部分２８の位置、または、ベース層信号２００のサンプルアレイのどんな登録にも関係なく適切である。また、特に、副分割派生は、ベース層とエンハンスメント層との間の断片的な空間分解比
率の場合に働く。

【0072】

このようにして決定された部分２８の副ブロックの副分割に基づいて、部分２８は、予側的に再構成／符号化される。上の記述に対して、異なる可能性が、現在のブロック２８の異なる利用可能な副ブロックの副分割の粗さを「測る」ために存在することに注意するべきである。例えば、粗さの大きさは副ブロックの数に基づいて決定される。それぞれの副ブロックの副分割が有している副ブロックが多ければ多いほど、レベルはより低くなる。この定義は、それぞれの副ブロックの副分割の副ブロックの数と、それぞれの副ブロックの副分割の全ての副ブロックの最も小さいサイズとの組み合わせによって、「粗さの大きさ」が決定される図１５ａの場合において、明らかに適用されない。

【0073】

完全を期すために、図１５ｂは、利用可能な組として、図３５の副分割を例示的に使用するとき、現在のブロック２８のために利用可能な副ブロックの副分割の１組から一つの可能な副ブロックの副分割を選択する場合を例示的に示す。異なる斜線（および非斜線）は、ベース層信号の中のそれぞれに共同配置された領域が、それらに関係した同じベース層符号化パラメータを有している領域を示す。

【0074】

前述したように、概説された選択は、粗さの増加するレベルまたは減少するレベルの順序のように、ある連続した順序に従って、可能な副ブロックの副分割を横断して、そして、それぞれの副ブロックの副分割の各副ブロックの中で、ベース層符号化パラメータが互いに十分同様である状況で、可能な副ブロックの副分割からその可能な副ブロックの副分割を選択することによって実行される。（増加する粗さのレベルに従う横断を使用する場合において）もはや適用されない。あるいは、（減少する粗さのレベルに従う横断を使用する場合において）最初にたまたま適用する。２者択一的に、全ての可能な副分割がテストされる。

【0075】

図１４と図１５ａ、図１５ｂの記述において、広義語「ベース層符号化パラメータ」は、好ましい実施の形態の中で使用されるけれども、これらのベース層符号化パラメータは、ベース層予測パラメータ、すなわち、ベース層信号の予測の形成に関するけれども、予測残留の構成に関係しないパラメータを表す。従って、例えば、ベース層符号化パラメータは、空間予測（角度方向などの空間予測に割り当てられたベース層信号のブロック／部分のための予測パラメータ）と時間予測（作動パラメータなどの時間予測に割り当てられたベース層信号のブロック／部分のための予測パラメータ）との間を区別する予測モードを含む。

【0076】

しかしながら、所定の副ブロックの中で、ベース層符号化パラメータの類似性の「十分」の定義は、ベース層符号化パラメータの副組を決定／定義するだけである。例えば、類似性は、予測モードだけに基づいて決定される。あるいはまた、さらに空間予測および／または時間予測を調整する予測パラメータは、所定の副ブロックの中でベース層符号化パラメータの類似性が依存するパラメータを形成する。

【0077】

さらに、既に概説したように、互いに十分に類似になるために、所定の副ブロックの中で、ベース層符号化パラメータは、それぞれの副ブロックの中で互いに完全に等しい必要がある。あるいはまた、使用される類似性の大きさは、「類似性」の基準を満たすために、所定の間隔の範囲内であることが必要である。

【0078】

上に概説したように、選択された副ブロックの副分割は、ベース層信号から予測される、または、移送される量だけではない。むしろ、ベース層符号化パラメータ自体が、それに基づいて、ベース層信号からエンハンスメント層信号に、選択された副ブロックの副分割を移送することによって得られた副ブロックの副分割の副ブロックのためのエンハンス
メント層符号化パラメータを得るために、エンハンスメント層信号に移送される。作動パラメータに関する限り、例えば、スケーリングは、ベース層からエンハンスメント層へ移送するために使用される。好ましくは、ベース層の予測パラメータのそれらの部分または構文要素のみが、類似性の大きさに影響するベース層から得られた現在の部分の副ブロックの副分割の副ブロックを設定するために使用される。この大きさによって、選択された副ブロックの副分割の各副ブロックの中の予測パラメータのこれらの構文要素が、どうにか互いに同様であるという事実は、現在の部分３０８の副ブロックの対応する予測パラメータを予測するために使用されるベース層予測パラメータの構文要素が、同様である、または、互いと等しくさえあることを保証する。その結果、いくつかの変化を許す初めての場合に、それぞれの副ブロックによってカバーされたベース層信号の部分に対応するベース層予測パラメータの構文要素のいくつかの重要な「意味」が、対応する副ブロックのための予測器として使用される。しかしながら、また、類似性の大きさに寄与する構文要素の部分のみが、モード特定ベース層予測パラメータが類似性の大きさ決定に参加するけれども、現在の部分２８の副ブロックのモードを推測または予め設定するように、副分割の転写自体だけを追加してエンハンスメント層の副分割の副ブロックの予測パラメータを予測するために使用されることもある。

【0079】

ベース層からエンハンスメント層への副分割中間層予測だけを使用しないというそのような１つの可能性は、現在、次の図（図１６）に対して説明される。図１６は、提供時間軸２４に沿って登録された方法で、エンハンスメント層信号４００の画像２２ｂと、ベース層信号２００の画像２２ａを示す。

【0080】

図１６の実施の形態に従って、ベース層信号２００は、ベース層信号２００の画像２２ａを、内部ブロックおよび中間ブロックの中に副分割することによって、スケーラブルビデオデコーダによって予測的に再構成され、そして、スケーラブルビデオエンコーダの使用によって予測的に符号化される。図１６の例に従って、後者の副分割は２ステージ法でなされる。まず、フレーム２２ａは、正規に、図１６の中で引用符号３０２によって示された、最も大きいブロックまたは最も大きい符号化ユニットに、その周辺に沿って二重線を使用して、副分割される。それから、それぞれの最も大きいブロック３０２が、前述の内部ブロックおよび中間ブロックを形成している符号化ユニットの中の階層的四枝ツリーの副分割に従属させられる。その結果、それらは、最も大きいブロック３０２の四枝ツリーの副分割の葉である。図１６では、引用符号３０４は、これらの葉のブロックまたは符号化ユニットを示すために使用される。通常、実線は、これらの符号化ユニットの周辺を示すために使用される。一方、空間内部予測は内部ブロックのために使用される。時間中間予測は中間ブロックのために使用される。空間内部予想と時間中間予測とに関係した予測パラメータは、それぞれ、より小さいブロックのユニットの中にセットされる。しかしながら、内部および中間ブロックまたは符号化ユニット３０４は、副分割される。そのような副分割は、より小さいブロックを示すために引用符号３０６を使用して、符号化ユニット３０４の１つに対して、図１６で例示的に示される。より小さいブロック３０４は、点線を使用して外形が形成される。すなわち、図１６の実施の形態の場合、空間的なビデオエンコーダは、ベース層のそれぞれの符号化ユニット３０４に対して、一方の空間予測と他方の時間予測との間で選択する機会を有している。しかしながら、エンハンスメント層信号に関する限り、自由度は増加する。ここで、特に、エンハンスメント層信号４００のフレーム２２ｂは、エンハンスメント層信号４００のフレーム２２ｂが副分割される符号化ユニットの中で、空間内部予測と時間中間予測だけではなく、以下に詳細に概説されるような中間層予測も含む１組の予測モードのそれぞれの１つに割り当てられる。これらの符号化ユニットの中の副分割は、ベース層信号に対して説明されるように同じ方法でなされる。先ず、フレーム２２ｂは正規に、階層的な四枝ツリーの副分割過程の中で、通常の実線を使用して、外形が形成された符号化ユニットの中に、副分割される二重線を使用して、外形が形成された最も大きいブロックの行と列に副分割される。

【0081】

エンハンスメント層信号４００の現在の画像２２ｂの１つの符号化ユニット３０８は、例示的に、中間層予測モードに割り当てられると推論され、斜線を使用して示される。図１４、図１５ａおよび図１５ｂと同様の方法で、図１６は、３１２で、符号化ユニット３０８の副分割が、ベース層信号から局所移送によって予測的にどのように得られるかを示す。特に、符号化ユニット３０８によって重畳された局部領域が、３１２に示されている。この領域の中では、点線はベース層信号の隣接しているブロックの間の境界、または、より一般的にベース層のベース層符号化パラメータが経由してたぶん変化する境界を示す。その結果、これらの境界は、ベース層信号２００の予測ブロック３０６の境界であり、そして、それぞれベース層信号２００の隣接している符号化ユニット３０４、または、等しく隣接している最も大きい符号化ユニット３０２の間の境界と部分的に一致する。３１２における点線は、ベース層信号２００からの局部移送によって引き出された／選択された予測ブロックの中の現在の符号化ユニット３０８の副分割を示す。局部移送に関する詳細は、前述した。

【0082】

図１６の実施の形態に従って、既に説明したように、予測ブロックの中の副分割だけがベース層から採用されない。むしろ、領域３１２の中で使用されたベース層信号の予測パラメータが、エンハンスメント層信号４００の符号化ユニット３０８の予測ブロックに対して、予測を実行するために使用されるべき予測パラメータを得るために使用される。

【0083】

特に、図１６の実施の形態に従って、予測ブロックの中の副分割が、ベース層信号から得られるだけでなく、予測モードも、得られた副分割のそれぞれの副ブロックによって局所的にカバーされたそれぞれの領域を符号化／再構成化するために、ベース層信号２００の中で使用される。１つの例が以下である。前述に従って符号化ユニット３０８の副分割を得るために、予測モードが、関係しているベース層信号２００と繋がって使用される。モード特有の予測パラメータは、上で議論した「類似性」を決定するために使用される。従って、図１６で示された異なる斜線は、ベース層の異なる予測ブロック３０６に対応する。異なる予測ブロック３０６の各々は、内部または中間予測モード（すなわち、それらに関係した空間または時間予測モード）を有している。上で説明したように、「十分に類似」になるために、符号化ユニット３０８の副分割のそれぞれの副ブロックに共同配置された領域の中で使用された予測モードと、副エリアの中でそれぞれの予測モードのために特定の予測パラメータとは、互いに完全に等しくなければならない。あるいはまた、何らかの変化は我慢してもよい。

【0084】

特に、図１６の実施の形態に従って、左上から右下に延びる斜線によって示された全てのブロックは、ベース層信号の局所的に対応する部分が、それらに関係した空間内部予測モードを有している予測ブロック３０６によってカバーされているので、符号化ユニット３０８の内部予測ブロックにセットされる。一方、他のブロック（すなわち、左下から右上に延びる斜線によって示されたブロック）は、ベース層信号の局所的に対応する部分が、それらに関係した時間中間予測モードを有している予測ブロック３０６によってカバーされているので、中間予測ブロックにセットされる。

【0085】

一方、代替の実施の形態に対して、予測の派生が、符号化ユニット３０８の中で、予測を実行するための詳細がここで止められる。すなわち、予測ブロックの中の符号化ユニット３０８の副分割の派生と、非時間予測または空間予測を使用して符号化された予測ブロックの中および時間予測を使用して符号化された予測ブロックの中のこれらの予測ブロックの割り当てと、が制限される。それは図１６の実施の形態に従わない。

【0086】

後者の実施の形態に従って、それに割り当てられた非時間予測モードを有する符号化ユニット３０８の全ての予測ブロックは、これらの非時間モードのブロックのエンハンスメ
ント層予測パラメータとして、ベース層信号２００の局所的に一致している内部ブロックの予測パラメータから派生された予測パラメータを使用している間、空間内部予測などの非時間予測を受ける。その結果、そのような派生は、ベース層信号２００の局所的に共同配置された内部ブロックの空間予測パラメータに関係する。例えば、そのような空間予測パラメータは、空間予測が実行されるに沿う角度方向の指示であってもよい。上に概説したように、空間ベース層予測パラメータが、符号化ユニット３０８のそれぞれの非時間予測ブロックが、互いに同じであることによって重畳する、または、符号化ユニット３０８のそれぞれの非時間予測ブロックに対して、空間ベース層予測パラメータの平均が、それぞれの非時間予測ブロックが、それぞれの非時間予測ブロックの予測パラメータを派生するために使用されることによって重畳する、といういずれか一方の自身による類似性の定義が必要である。

【0087】

あるいはまた、割り当てられた非時間予測モードを有している符号化ユニット３０８の全ての予測ブロックは、以下の方法で、中間層予測をする。先ず、ベース層信号が、少なくとも符号化ユニット３０８の非時間予測モード予測ブロックに空間的に共同配置されたそれらの領域の中で、中間層予測信号を得るために分解または品質改良を受ける。そして、次に、符号化ユニット３０８のこれらの予測ブロックが、中間層予測信号を使用して、予測される。

【0088】

スケーラブルビデオデコーダとエンコーダは、初期設定によって、符号化ユニット３０８の全てに、空間予測または中間層予測を受けさせる。あるいはまた、スケーラブルビデオエンコーダ／デコーダは、両方の代替をサポートし、符号化ビデオデータストリーム信号の中で合図する。そのバージョンは、符号化ユニット３０８の非時間予測モード予測ブロックに関する限り使用される。特に、両方の代替の中での決定は、例えば、個別的に符号化ユニット３０８のどんな大きさでも、データストリームの中で合図される。

【0089】

符号化ユニット３０８の別の予測ブロックに関する限り、符号化ユニット３０８は、ちょうどそれが非時間予測モード予測ブロックの場合であるとして、局所的に一致している中間ブロックの予測パラメータから派生される予測パラメータを使用して、時間中間予測を受ける。その結果、派生は、順に、ベース層信号の対応している部分に割り当てられた作動ベクトルに関係する。

【0090】

それに割り当てられた空間内部予測モードと時間中間予測モードのいずれも有している全ての別の符号化ユニットに対して、別の符号化ユニットは、空間予測または時間予測を、以下の方法で受ける。特に、別の符号化ユニットは、それに割り当てられた予測モードを有している予測ブロックの中に更に副分割される。予測モードは、符号化ユニットの中で、予測ブロックの全てに対して共通し、特に、それぞれの符号化ユニットに割り当てられる同じ予測モードである。すなわち、符号化ユニット３０８などの符号化ユニットと異なっていて、それに関係した空間内部予測モードを有している、または、それに関係した時間中間予測モードを有している符号化ユニットが、同じ予測モードの予測ブロックに副分割される。すなわち、予測モードは、それらがそれぞれの符号化ユニットの副分割によって派生したそれぞれの符号化ユニットから受け継ぐのみである。

【0091】

３０８を含む全ての符号化ユニットの副分割は、予測ブロックの中の四枝ツリーの副分割である。

【0092】

符号化ユニット３０８のような中間層予測モードの符号化ユニットと、空間内部予測モードまたは時間的中間予測モードの符号化ユニットとの間の更なる差は、空間内部予測モード符号化ユニットまたは時間中間予測モード符号化ユニットの予測ブロックに、空間予測および時間予測をそれぞれ受けさせるときである。予測パラメータは、例えば、エンハ
ンスメント層副ストリーム６ｂの中で合図する方法によって、ベース層信号２００などに依存することなくセットされる。符号化ユニット３０８のようなそれらに関係する中間層予測モードを有しているそれら以外の符号化ユニットの副分割でさえ、エンハンスメント層信号６ｂの中で合図される。すなわち、３０８などの中間層予測モード符号化ユニットは、低いビット伝送速度の信号化の必要性の利点がある。実施の形態に従って、符号化ユニット３０８自体のモード指標は、エンハンスメント層副ストリームの中で合図される必要がない。任意に、別のパラメータは、個々の予測ブロックのために、予測パラメータ残留などの符号化ユニット３０８に対して送信される。追加的に、または、二者択一的に、符号化ユニット３０８ための予測残留が、エンハンスメント層副ストリーム６ｂの中で送信され／合図される。一方、スケーラブルビデオデコーダは、エンハンスメント層副ストリームからのこの情報を検索し、現在の実施の形態に従ったスケーラブルビデオエンコーダは、これらのパラメータを決定して、これらのパラメータをエンハンスメント層副ストリーム６ｂの中に挿入する。

【0093】

言い換えれば、ベース層信号２００の予測は、ベース層符号化パラメータを使用して、ベース層符号化パラメータが、ベース層ブロック３０４のユニットの中で、ベース層信号２００を空間的に変化するという方法でなされる。ベース層に利用可能な予測モードは、例えば、空間および時間予測を含む。ベース層符号化パラメータは、さらに、角度方向（空間的に予測されたブロック３０４に関係する限り）、および、作動ベクトル（時間的に予測されたブロック３０４に関する限り）のような予測モードの個別の予測パラメータを含む。後者の予測モードの個別の予測パラメータは、ベース層ブロック３０４より小さいユニットの中で、すなわち、前述の予測ブロック３０６の中で、ベース層信号を変化する。十分な類似性の前に概説した要件を満足させるために、それぞれ可能な副ブロックの副分割の領域を重複している全てのベース層ブロック３０４の予測モードが、互いに等しい、ということが必要である。そして、それぞれの副ブロックの副分割のみが、選択された副ブロックの副分割を得るために選抜候補リストに入れられる。しかしながら、要件は更に厳しい。それは、それぞれの副ブロックの副分割の共通領域を重複している、予測ブロックの予測モード個別予測パラメータも、互いに等しくなければならないということである。ベース層信号の中で、このそれぞれの副ブロックの副分割および対応する領域の各副ブロックに対して、この要件を満足する副ブロックの副分割のみが、最終選択された副ブロックの副分割を得るために選抜候補リストに入れられる。

【0094】

特に、上に簡潔に概説したように、可能な副ブロックの分割の組の中で、選択を実行する方法に対して異なる可能性がある。更に詳細にこれについて概説するために、図１５ｃと図１５ｄを参照する。組３５２が、現在のブロック２８の全ての可能な副ブロックの副分割３５４を取り囲むと想像してください。当然、図１５ｃは単に一例を示す。現在のブロック２８の可能な、または、利用可能な副ブロックの副分割の組３５２は、初期設定によってスケーラブルビデオデコーダとスケーラブルビデオエンコーダに知られる、または、例えば画像または同様のものの系列などの符号化データストリームの中で合図される。図１５ｃの例に従って、組３５２の各メンバー、すなわち、それぞれの利用可能な副ブロックの副分割３５４は、チェック３５６を受け、それぞれの副ブロックの副分割３５４をエンハンスメント層からベース層に移送することによって、副分割されるベース層信号の共同配置された部分１０８の中の領域が、予測ブロック３０６および符号化ユニット３０４によって単に重ねられるか否かをチェックされる。そして、ベース層符号化パラメータが、十分な類似性の要件を満たしているか否かをチェックする。例えば引用番号３５４が付いている例示的な副分割を参照してください。この例示的利用可能な副ブロックの副分割に従って、現在のブロック２８は、４つの四分円／副ブロック３５８に副分割される。そして、左上の副ブロックは、ベース層の中で、領域３６２に対応している。明らかに、この領域３６２は、ベース層の４つブロック（すなわち、予測ブロックの中の別の副分割でなくて、その結果、予測ブロック自身を表わす、２つの予測ブロック３０６と２つの符
号化ユニット３０４）に重複する。従って、仮に、領域３６２を重複しているこれらの予測ブロックの全てのベース層符号化パラメータが、類似性の基準を満足し、そして、これが更に可能な副ブロックの副分割３５４の全ての副ブロック／四分円、および、それらの対応する領域を重複しているベース層符号化パラメータの場合であるならば、この可能な副ブロックの副分割３５４は、それぞれの副ブロックの副分割の副ブロックによってカバーされた全ての領域に対して十分な要件を満たして、副ブロックの副分割の組３６４に属する。それから、この組３６４の中で、最も粗い副分割は矢印３６６によって示されるように選択され、その結果、組３５２から、選択された副ブロックの副分割３６８が得られる。

【0095】

明らかに、組３５２の全てのメンバーに対してチェック３５６を実行することを避けようとすることは好ましい。従って、図１５ｄに示すように、かつ、前述したように、可能な副分割３５４が大きさを増加または減少するために横断される。横断は、双頭矢印３７２を使用して示される。図１５ｄは、少なくとも利用可能な副ブロックの副分割のいくつかに対して、大きさのレベルまたは大きさが互いに等しいことを示す。言い換えれば、大きさの増加または減少するレベルに従った順序付けはあいまいである。しかしながら、そのような等しく大きい可能な副ブロックの副分割の１つが、組３６４に属するだけなので、これは、組３６４に属する「最も大きい副ブロックの副分割」の検索を妨げない。従って、選択されるべき副ブロックの副分割３５４である２番目から最後へ横断された可能な副ブロックの副分割で、大きさが増加するレベルの方向に横断するときには、基準チェック３５６の結果が、充填されるから充填されないへ変わると直ぐに、最も大きい可能な副ブロックの副分割３６８が見つけられる。または、副ブロックの副分割３６８である大部分が最近横断された副ブロックの副分割で、大きさが減少するレベルの方向に横断するときには、基準チェック３５６の結果が、充填されないから充填されるへ切り替わる。

【0096】

以下の図に対して、図１〜図４に対して前述したようなスケーラブルビデオエンコーダまたはデコーダが、応用の別の面に従って本応用の実施の形態を形成するために実施される。以下で記載された実施例の可能な実施の形態が、実施例Ｋ、Ａ、およびＭを引用しながら提示される。

【0097】

実施例について説明するために、図１７を参照する。図１７は現在の部分２８の時間予測３２に対する可能性を示す。その結果、図１７の以下の記述は、中間層予測信号との組み合わせに関係する限り、図６〜図１０に関する記述に組み合わされる。あるいは、時間中間層予測モードとの組み合わせに関係する限り、図１１〜図１３に関する記述に組み合わされる。

【0098】

図１７に示された状況は、図６に示された状況に対応する。すなわち、ベース層信号２００とエンハンスメント層信号４００とは、斜線を使用して示されている既に符号化／復号化された部分と共に、示されている。エンハンスメント層信号４００の中で、現在、符号化／復号化されるべき部分は、ここで、例示的に、現在の部分２８の上のブロック９２と左の９４として記載された、隣接するブロック９２と９４とを有している。両方のブロック９２と９４は、例示的に、現在のブロック２８と同じサイズを持っている。しかしながら、サイズの一致は義務的ではない。むしろ、副分割されているエンハンスメント層信号４００の画像２２ｂの中のブロックの部分は、異なるサイズを有する。それらは矩形にさえ制限されない。それらは、長方形、または、他の形でもよい。別の隣接しているブロックを有する現在のブロック２８は、図１７に明確に記載されていない。しかしながら、別の隣接しているブロックは、未だ符号化／復号化されていない。すなわち、それらは、符号化／復号化の順序で続き、その結果、予測のために利用できない。これ以外に、既に符号化／復号化の順序に従って符号化／復号化されたブロック９２および９４より他のブロック、例示的に、現在のブロック２８の隣の、現在のブロック２８の左上斜めにあるブ
ロック９６が存在する。しかし、ブロック９２と９４は、ここで考慮された例において、中間予測３０を受ける現在のブロック２８のための中間予測パラメータを予測する役割をする、隣接するブロックを予め決められる。そのような予め決められた隣接するブロックの数は、２つに制限されない。それは、１より大きくてもよいし、単に１でもよい。可能な実施の形態の議論は図３６〜図３８に対して提示される。

【0099】

スケーラブルビデオエンコーダとスケーラブルビデオデコーダは、その左上のサンプルなどの現在の部分２８の中に、例えば、予め決められたサンプル位置９８に依存している、既に符号化された隣接しているブロック（ここでは、ブロック９２〜９６）の組から、予め決められた隣接しているブロック（ここでは、ブロック９２，９４）の組を決定する。例えば、現在の部分２８のそれらの既に符号化された隣接しているブロックのみが、予め決められたサンプル位置９８に直に隣接したサンプル位置を含む「予め決められた隣接しているブロック」の組を形成する。別の可能性は図３６〜図３８に対して説明される。

【0100】

どのような場合でも、復号化／符号化の順序に従って、作動ベクトル５０４によって現在のブロック２８の共同配置された位置から置き換えられた、エンハンスメント層信号４００の以前に符号化／復号化された画像２２ｂの部分５０２が、単なるコピーや補間などによって予測される部分２８のサンプル値に基づいて再構成されたサンプル値を含む。このために、作動ベクトル５０４は、エンハンスメント層副ストリーム６ｂの中で合図される。例えば、現在のブロック２８のための時間予測パラメータは、部分２８のサンプルの上にコピーされるために、任意に補間によって引用画像２２ｂの中の部分２８の共同配置された位置から部分５０２の置換えを示している変位ベクトル５０６を示す。

【0101】

どのような場合でも、現在のブロック２８を時間的に予測する時に、スケーラブルビデオデコーダ／エンコーダは、ベース層副ストリーム６ａを使用して、ベース層２００を既に再構成している（そして、エンコーダの場合は、既に符号化している）。少なくとも、時間的に対応する画像２２ａの関係する空間的に対応する領域がそのように関係する限り、前述したように、ブロック的な予測を使用し、そして、例えば、空間予測モードと時間予測モードとの間のブロック的な選択を使用する。

【0102】

図１７において、ベース層信号２００の画像２２ａを共同配置された時間が、数ブロック１０４に副分割されている。ブロック１０４は、例示的に表わされる現在の部分２８に局所的に対応している領域で、周りに位置する。ちょうどそれは、エンハンスメント層信号４００の中の空間的に予測されたブロックを有する場合である。空間予測パラメータは、ベース層信号２００の中でそれらのブロック１０４に対してベース層副ストリーム６ａの中に含まれ、または合図される。空間予測モードの選択は、ベース層信号２００に対して合図される。

【0103】

ここで、例示的に、時間内部層予測３２が選択されたブロック２８に対して、符号化データストリームからエンハンスメント層信号の再構成を許すために、作動パラメータのような中間予測パラメータが、以下の方法のどれかを使用して決定される。

【0104】

最初の可能性は図１８に対して説明される。特に、先ず、作動パラメータ候補５１４の組５１２が、予め決められたブロック９２と９４のようなフレームの隣接する既に再構成されたブロックから集められる、または、発生される。作動パラメータは作動ベクトルである。ブロック９２と９４の作動ベクトルは、（その中に、）それぞれ１と２が記された矢印５１６と５１８を使用して、表わされる。示されているように、これらの作動パラメータ５１６と５１８は、直接に候補５１４を形成する。いくつかの候補は図１８に示すように、５１８や５１６のような作動ベクトルを結合することによって形成される。

【0105】

さらに、部分２８に共同配置された、ベース層信号２００のブロック１０８の１つ以上のベース層作動パラメータ５２４の組５２２は、ベース層作動パラメータから集められ、または、発生される。言い換えれば、ベース層の中で共同配置されたブロック１０８に関係した作動パラメータは、１つ以上のベース層作動パラメータ５２４を得るために使用される。

【0106】

その時は、１つ以上のベース層作動パラメータ５２４、または、それのスケーリングされたバージョンが、作動パラメータ候補の拡張作動パラメータ候補組５２８を得るために、作動パラメータ候補５１４の組５１２に加算５２６される。これは、候補５１４のリストの終わりでベース層作動パラメータ５２４を単に追加するような多岐の方法で、または、一例が図１９ａに対して概説される異なる方法でなされる。

【0107】

少なくとも拡張作動パラメータ候補組５２８の作動パラメータ候補５３２の一つが、次に、選択される。部分２８の作動補償予測によって、時間予測３２が、拡張作動パラメータ候補組の作動パラメータ候補の選択された一つを使用して、実行される。選択５３４は、リスト／組５２８の中のインデックス５３６の方法によって、部分２８のための副ストリーム６ｂのようなデータストリームの中で合図化される、または、図１９ａに対して説明される別の方法で実行される。

【0108】

前述したように、ベース層作動パラメータ５２３が、融合を使用して、ベース層副ストリーム６ａのような符号化データストリームの中で符号化されたか否かがチェックされる。そして、仮に、ベース層作動パラメータ５２３が、融合を使用して、符号化データストリームの中で符号化されるならば、加算５２６は抑圧される。

【0109】

図１８に従って述べた作動パラメータは、作動ベクトル（作動ベクトル予測）だけに、または、ブロック、引用インデックスリスト、仕切っている情報（融合）毎に、作動仮説の数を含む作動パラメータの完全な組に関係する。従って、「スケーリングされたバージョン」は、空間スケーラビリティの場合に、ベース層信号とエンハンスメント層信号との間の空間解像度比率に従ってベース層信号の中で使用される作動パラメータのスケーリングから由来する。符号化データストリームの方法によって、ベース層信号のベース層作動パラメータの符号化／復号化が、空間的または時間的のような作動ベクトル予測、または、融合化に関わる。

【0110】

融合／作動ベクトル候補５３２の組５２８の中のベース層信号の共同配置された部分１０８で使用された作動パラメータ５２３の編入５２６は、内部層候補５１４と１つ以上の中間層候補５２４との中で、非常に有能な索引を可能にする。選択５３４は、予測ブロック毎に、符号化ユニットまたは同様のもの毎に、エンハンスメント層信号６ｂの中の作動パラメータ候補の拡張された組／リストの中のインデックスの明白な合図に関わる。あるいはまた、選択インデックス５３６は、エンハンスメント層信号６ｂの別の情報、または、中間層の情報から推論される。

【0111】

図１９ａの可能性に従って、部分２８のためのエンハンスメント層信号のための最終作動パラメータ候補リストの形成５４２は、図１８に関して概説されているように、任意に実行されるだけである。すなわち、形成５４２は、５２８または５１２でもよい。しかしながら、リスト５２８／５１２は、例えば、共同配置されたベース層ブロック１０８の（作動ベクトル５２３によって表わされた）作動パラメータなどのベース層作動パラメータに依存して順序付け５４４られる。例えば、メンバー（すなわち、リスト５２８／５１２の作動パラメータ候補５３２または５１４）のランクが、作動パラメータ５２３の潜在的にスケーリングされたバージョンに対して、それぞれのメンバーの偏差に基づいて決定される。偏差が大きければ大きいほど、順序付けリスト５２８／５１２´の中のそれぞれの
メンバー５３２／５１２のランクが低い。その結果、順序付け５４４は、リスト５２８／５１２のメンバー５３２／５１４毎に、偏差の大きさの決定に関わる。順序付けリスト５２８／５１２´の中の１つの候補５３２／５１２の選択５３４は、エンハンスメント層信号の部分２８に対して、順序付けられた作動パラメータ候補リスト５２８／５１２´からエンハンスメント層作動パラメータを得るために、符号化データストリームの中の明らかに合図されたインデックス構文要素５３６を経由して実行され、制御される。そして、次に、時間予測３２は、エンハンスメント層信号の部分２８の作動補償予測によって、インデックス５３６が５３４を指す、選択された作動パラメータを使用して実行される。

【0112】

図１９ａで言及された作動パラメータに対して、上で図１８に関して述べられた作動パラメータが適用される。符号化データストリームからのベース層作動パラメータ５２０の復号化は、（任意に）空間的または時間的作動ベクトル予測、または、融合に関わる。順序付けが、ちょうど、エンハンスメント層信号の現在のブロックに共同配置されたベース層信号のブロックに関係して、それぞれのエンハンスメント層作動パラメータ候補とベース層信号のベース層作動パラメータとの間の差を大きくする大きさに従ってなされる。すなわち、エンハンスメント層信号の現在のブロックに対して、エンハンスメント層作動パラメータ候補のリストが、最初に決定される。次に、順序付けが実行されることが、説明される。以下に、選択は明白な合図で実行される。

【0113】

あるいはまた、順序付け５４４が、エンハンスメント層信号の現在のブロック２８に共同配置されたベース層信号のブロック１０８に関係しているベース層信号のベース層作動パラメータ５２３と、ベース層の中の空間的および／または時間的に隣接するブロック５４８のベース層作動パラメータ５４６との間の差を大きくする大きさに従ってなされる。次に、ベース層の中の決定された順序付けが、エンハンスメント層に移送される。その結果、エンハンスメント層作動パラメータ候補が、対応するベース層候補に対して、決定された順序付けと同じ方法で、順序付けられる。この点で、関係ベース層ブロック５４８が、考慮されたエンハンスメント層作動パラメータに関係する、隣接するエンハンスメント層ブロック９２と９４に空間的／時間的に共同配置されるとき、ベース層作動パラメータ５４６が、隣接しているエンハンスメント層ブロック９２，９４のエンハンスメント層作動パラメータに対応すると言われる。あるいはまた、関係ベース層ブロック５４８と現在のエンハンスメント層ブロック２８に共同配置されたブロック１０８との間の隣接関係（左隣、上隣、Ａ１，Ａ２，Ｂ１，Ｂ２，Ｂ０、または、更なる例に対して図３６〜図３８を参照）が、現在のエンハンスメント層ブロック２８とそれぞれエンハンスメント層隣接ブロック９２，９４との間の隣接関係と同じであるとき、ベース層作動パラメータ５４６は、エンハンスメント層隣接ブロック９２，９４のエンハンスメント層作動パラメータに対応すると言われる。ベース層順序付けに基づいて、選択５３４が、その時、明白な合図によって実行される。

【0114】

さらに詳細にこれについて説明するために、図１９ｂを参照する。図１９ｂは、ベース層ヒントを使用して、作動パラメータ候補のリストのために順序付けされるエンハンスメント層を得るための概説される代替の１番目を示す。図１９ｂは、代替の現在のブロック２８と、３つの異なる予め決められたサンプル（すなわち、例示的に、左上のサンプル５８１、左下のサンプル５８３および右上のサンプル５８５）の位置とを示す。例は、説明としてのみ挿入される。予め決められた隣接するブロックの組が、例示的に隣接の４つのタイプ含む。隣接するブロック９４ａは、サンプル位置５８１の直ぐ上に隣接するサンプル位置５８７をカバーする。隣接するブロック９４ｂは、サンプル位置５８５の直ぐ上に隣接して位置するサンプル位置５８９を含む、またはカバーする。同様に、隣接するブロック９２ａと９２ｂは、サンプル位置５８１と５８３の直ぐ左側に隣接して位置するサンプル位置５９１と５９３を含む。また、図３６〜図３８に対して説明されるように、予め決められた数の決定規則にもかかわらず、予め決められた隣接するブロックの数は変化す
る。それにもかかわらず、予め決められた隣接するブロック９２ａ，９２ｂ，９４ａ，９４ｂは、それらの決定規則によって区別できる。

【0115】

図１９ｂの代替に従って、それぞれ予め決められた隣接するブロック９２ａ，９２ｂ，９４ａ，９４ｂに対して、ベース層の中の共同配置されたブロックが決定される。例えば、このために、それぞれ隣接するブロックの左上のサンプル５９５が使用される。ちょうどそれは、図１９ａの中で正式に言及された左上のサンプル５８１に関して、現在のブロック２８を有する場合である。これは、図１９ｂに中で、点線の矢印を使用して説明される。この手段によって、予め決められた隣接するブロックのそれぞれに対して、対応するブロック５９７が、共同配置されたブロック１０８、共同配置された現在のブロック２８に加えて見つけられる。共同配置されたベース層ブロック５９７の作動パラメータｍ１，ｍ２，ｍ３，ｍ４と、共同配置されたベース層ブロック１０８のベース層作動パラメータｍに対するそれらのそれぞれの差とを使用して、予め決められた隣接するブロック９２ａ，９２ｂ，９４ａ，９４ｂのエンハンスメント層Ｍ１，Ｍ２，Ｍ３，Ｍ４が、リスト５２８または５１２の中で順序付けされる。例えば、ｍ１〜ｍ４のどれかの距離が大きければ大きいほど、対応するエンハンスメント層作動パラメータＭ１〜Ｍ４はより高い。すなわち、より高いインデックスリストが、リスト５２８／５１２´から同じ状態で索引を付けるために必要である。距離の大きさに対して、絶対差が使用される。同様にして、作動パラメータ候補５３２または５１４は、エンハンスメント層作動パラメータＭ１〜Ｍ４の結合であるそれらのランクに対して、リストの中で再配列される。

【0116】

図１９ｃは、ベース層の中の対応するブロックが、別の方法で決定される代替を示す。特に、図１９ｃは、現在のブロック２８の予め決められた隣接ブロック９２ａ，９２ｂ，９４ａ，９４ｂ、および、現在のブロック２８の共同配置されたブロック１０８を示す。図１９ｃの実施の形態に従って、現在のブロック２８のこれらに対応するベース層ブロック（すなわち、９２ａ，９２ｂ，９４ａ，９４ｂ）が、これらのベース層ブロックが、これらのベース層隣接ブロックを決定するために同じ隣接決定規則を使用して、エンハンスメント層隣接ブロック９２ａ，９２ｂ，９４ａ，９４ｂに関係するような方法で決定される。特に、図１９ｃは、共同配置されたブロック１０８の予め決められたサンプル位置、すなわち、左上、左下、および右上のサンプル位置６０１を示す。これらのサンプル位置に基づいて、ブロック１０８の４つの隣接ブロックが、現在のブロック２８の予め決められたサンプル位置５８１，５８３，５８５に関するエンハンスメント層隣接ブロック９２ａ，９２ｂ，９４ａ，９４ｂに関して記述されたのと同じ方法で決定される。４つのベース層隣接ブロック６０３ａ，６０３ｂ，６０５ａ，６０５ｂは、この様にして見つけられる。６０３ａは、明らかにエンハンスメント層隣接ブロック９２ａに対応する。ベース層ブロック６０３ｂは、エンハンスメント層隣接ブロック９２ｂに対応する。ベース層ブロック６０５ａは、エンハンスメント層隣接ブロック９４ａに対応する。ベース層ブロック６０５ｂは、エンハンスメント層隣接ブロック９４ｂに対応する。以前説明したのと同じ方法で、ベース層ブロック９０３ａ，９０３ｂ，９０５ａ，９０５ｂのベース層作動パラメータＭ１〜Ｍ４と、共同配置されたベース層ブロック１０８のベース層作動パラメータｍに対するそれらの距離とが、エンハンスメント層ブロック９２ａ，９２ｂ，９４ａ，９４ｂの作動パラメータＭ１〜Ｍ４から形成されたリスト５２８／５１２の中で作動パラメータ候補を順序付けるために使用される。

【0117】

図２０の可能性に従って、部分２８のためのエンハンスメント層信号のための最終作動パラメータ候補リストの形成５６２は、図１８および／または図１９に対して概説されているように、単に任意に実行される。すなわち、形成５６２は、５２８または５１２または５２８／５１２´である。引用符号５６４は図２０で使用される。図２０に従って、作動パラメータ候補リスト５６４の中で指摘するインデックス５６６は、例えば、共同配置されたブロック１０８に対して、ベース層信号を符号化／復号化するために使用された、
作動パラメータ候補リスト５６８の中のインデックス５６７に依存して決定される。例えば、ブロック１０８でベース層信号を再構成する際、作動パラメータ候補のリスト５６８は、予め決められた隣接するエンハンスメント層ブロック９２，９４と現在のブロック２８との間の隣接関係と同じであるブロック１０８に対して、隣接関係（左側に隣接、上側に隣接、Ａ１，Ａ２，Ｂ１，Ｂ２，Ｂ０、または、別の例に対しては図３６〜３８参照）を有しているブロック１０８の隣接するブロック５４８の作動パラメータ５４８に基づいて決定される。ここで、リスト５６７の決定５７２は、リスト５６８と５６４のリストメンバーの中の順序付けなどの形成５６２の中で使用されるのと同じ構成規則を潜在的に使用する。より一般的に、エンハンスメント層のためのインデックス５６６は、その隣接するエンハンスメント層ブロック９２，９４が、索引をつけられたベース層候補（すなわち、インデックス５６７が指摘するもの）に関係したベース層ブロック５４８と共同配置されたインデックス５６６によって指摘される方法で決定される。その結果、インデックス５６７は、インデックス５６６の重要な予測として機能する。エンハンスメント層作動パラメータは、その時、作動パラメータ候補リスト５６４の中のインデックス５６６を使用して決定され、そして、ブロック２８の作動補償予測は、決定された作動パラメータを使用して実行される。

【0118】

図２０で言及した作動パラメータに対して、図１８と図１９に関して上述したと同じことが適用される。

【0119】

以下の図に関して、図１〜図４に対して上述したそれらのように、スケーラブルビデオエンコーダまたはデコーダが、応用の別の実施例に従って、本応用の実施の形態を形成するためにどのようにして実行できるかが記載される。以下に説明される実施例の詳細な実現は、以下で実施例Ｖを引用して説明される。

【0120】

本実施例は、エンハンスメント層の中の残留符号化に関する。特に、図２１は、例示的に、エンハンスメント層信号４００の画像２２ｂと、ベース層信号２００の画像２２ａとを、時間的に登録された方法で示す。図２１は、スケーラブルビデオデコーダの中で再構成する、または、スケーラブルビデオエンコーダの中で符号化する方法、およびエンハンスメント層信号を示し、エンハンスメント層信号４００を表わす変換係数４０２の予め決められた変換係数ブロックと予め決められた部分４０４とに集中する。言い換えれば、変換係数ブロック４０２は、エンハンスメント層信号４００の部分４０４の空間分解を表わす。符号化／復号化の順序付けに従って既に上で説明したように、ベース層信号２００の対応する部分４０６は、変換係数ブロック４０２を復号化／符号化する時に、既に復号化／符号化されている。ベース層信号２００に関する限り、予測の符号化／復号化は、ベース層副ストリーム６ａなどの符号化データストリームの中のベース層残留信号の信号化を含めて、使用されている。

【0121】

図２１に対して記載された実施例に従って、スケーラブルビデオデコーダ／エンコーダは、ベース層信号またはベース層残留信号の評価４０８が、部分４０４に共同配置された部分４０６にて、副ブロック４１２の中の変換係数ブロック４０２の副分割の有利な選択をもたらすという事実を利用する。特に、変換係数ブロック４０２を副ブロックに副分割するためのいくつかの可能な副ブロックの副分割が、スケーラブルビデオデコーダ／エンコーダによってサポートされる。これらの可能な副ブロックの副分割は、規則的に矩形の副ブロック４１２の中の変換係数ブロック４０２を副分割する。すなわち、変換係数ブロック４０２の変換係数４１４が、列と行に配置され、そして、可能な副ブロックの副分割に従って、これらの変換係数４１４が、規則的に副ブロック４１２の中に密集させられるので、副ブロック４１２自身が行と列に並べられる。評価４０８は、このようにして選択された副ブロックの副分割を使用して、変換係数ブロック４０２の符号化が、最も効率的であるような方法で、副ブロック４１２の行の数と列の数との間の比（すなわち、それら
の幅と高さとの間の比）を設定可能にする。仮に、例えば、評価４０８が、共同配置された部分４０６の中の再構成されたベース層信号２００、または少なくとも対応する部分４０６の中のベース層残留信号が、空間領域の中の水平なエッジで主として構成される、ということを判明するならば、変換係数ブロック４０２は、重要さ（すなわち、変換係数レベルが非ゼロである、すなわち、量子化された変換係数が、変換係数ブロック４０２のゼロ水平周波数側の近くである）を有して、たぶん存在する。垂直なエッジの場合、変換係数ブロック４０２は、変換係数ブロック４０２のゼロ垂直周波数側の近くの位置で、非ゼロの変換係数レベルを有して、たぶん存在する。従って、先ず、副ブロック４１２が、垂直方向に沿ってより長く、かつ、水平方向に沿ってより小さくなるように選択される。そして、２番目に、副ブロックは、水平方向により長く、かつ、垂直方向により小さくされる。後者の場合が模式的に図４０に示されている。

【0122】

すなわち、スケーラブルビデオデコーダ／エンコーダは、ベース層残留信号またはベース層信号に基づいて、可能な副ブロックの副分割の組の中で、１つの副ブロックの副分割を選択する。その時、変換係数ブロック４０２の符号化４１４または復号化が、選択された副ブロックの副分割を適用しながら実行される。特に、変換係数４１４の位置が、副ブロック４１２のユニットの中で横断されるので、１つの副ブロックの中の全ての位置は、副ブロックの中で定義された副ブロックの順序付けの中で、次の副ブロックに直ぐに連続して続く方法で横断される。副ブロック４１２などの現在訪問された副ブロックが、図４０に例示的に示されている、構文要素は、現在訪問された副ブロックが重要な変換係数を有するか否かを示す、エンハンスメント層副ストリーム６ｂなどのデータストリームの中で合図される。図２１では、構文要素４１６が、２つの例示的な副ブロックに対して説明される。仮に、それぞれの副ブロックのそれぞれの構文要素が、重要でない変換係数を示すならば、他には何も、データストリームまたはエンハンスメント層副ストリーム６ｂのの中で送信される必要がない。むしろ、スケーラブルビデオデコーダは、その副ブロックの中の変換係数をゼロに設定する。しかしながら、仮に、それぞれの副ブロックの構文要素４１６が、この副ブロックは重要な変換係数を有する、ことを示すならば、その副ブロックの中で変換係数に関係する別の情報が、データストリームまたは副ストリーム６ｂの中で合図される。復号化側では、スケーラブルビデオデコーダが、データストリームまたは副ストリーム６ｂから、それぞれの副ブロックの中の変換係数のレベルを示す構文要素４１８を復号化する。構文要素４１８は、それぞれの副ブロックの中のこれらの変換係数の中の走査順序、および、任意に、それぞれの副ブロックの中の変換係数の中の走査順序に従って、その副ブロックの中の重要な変換係数の位置を示す。

【0123】

図２２は、評価４０８の中の可能な副ブロックの副分割の中での選択を実行するためにそれぞれ存在する、異なる可能性を示す。図２２は、変換係数ブロック４０２が部分４０４のスペクトル分解を表すことに関係する、エンハンスメント層信号の部分４０４を再び記載する。例えば、変換係数ブロック４０２は、エンハンスメント層信号を予測的に符号化／復号化するスケーラブルビデオデコーダ／エンコーダを伴う、エンハンスメント層残留信号のスペクトル分解を表わす。特に、変換の符号化／復号化は、エンハンスメント層残留信号を符号化するために、スケーラブルビデオデコーダ／エンコーダによって使用される。変換の符号化／復号化は、ブロック的な（すなわち、エンハンスメント層信号の画像２２ｂが副分割されるブロックの）方法で実行される。図２２は、ベース層信号の、対応するまたは共同配置された部分４０６を示す。ここに、スケーラブルビデオデコーダ／エンコーダは、ベース層信号の予測残留に対して（すなわち、ベース層残留信号に対して）変換の符号化／復号化を使用しながら、予測的な符号化／復号化をベース層信号に適用する。特に、ブロック的な変換は、ベース層残留信号に対して使用される。すなわち、ベース層残留信号は、図２２に点線で記載されている個別に変換されたブロックで、ブロック的に変換される。図２２に記載されているように、ベース層の変換ブロックのブロック境界は、共同配置された部分４０６の外形と一致する必要はない。

【0124】

それにもかかわらず、評価４０８を実行するために、以下のオプションＡ〜Ｃの１つまたは組み合わせが使用される。

【0125】

特に、スケーラブルビデオデコーダ／エンコーダは、符号化／復号化されるべき変換係数ブロック４０２にサイズで一致する変換係数の変換係数ブロック４２４を得るために、部分４０６の中で、ベース層残留信号または再構成されたベース層信号に、変換４２２を実行する。変換係数ブロック４２４，４２６の中の変換係数の値の分布の点検は、水平周波数の方向４２８に沿って副ブロック４１２の寸法を適切に設定し、かつ、垂直周波数の方向４３２に沿って副ブロック４１２の寸法を適切に設定するために使用される。

【0126】

追加して、あるいは、２者択一的に、スケーラブルビデオデコーダ／エンコーダは、少なくとも共同配置された部分４０６を部分的に重ねる、図２２の異なる斜線によって記載されたベース層変換ブロック４３４の全ての変換係数ブロックを点検する。図２２の例示的な場合において、４つのベース層変換ブロックが存在し、次に、それらの変換係数ブロックが点検される。特に、これらのベース層変換ブロックの全ては、互いに異なるサイズであり、変換係数ブロック４１２に対してさらにサイズが異なる。スケーリング４３６は、部分４０６の中でベース層残留信号のスペクトル分解の変換係数ブロック４３８の近似をもたらすために、ベース層変換ブロック４３４を重ねるこれらの変換係数ブロックに対して実行される。その変換係数ブロック４３８の中の変換係数の値の分布（すなわち、４４２）は、副ブロックの寸法４２８と４３２を適切に設定するために、評価４０８の中で使用される。その結果、変換係数ブロック４０２の副ブロックの副分割が選択される。

【0127】

さらに、評価４０８が、追加して、あるいは、２者択一的に、実行される。評価４０８とは、空間領域の中で、エッジ検出４４４の使用または主な勾配方向の決定（例えば、副ブロックの寸法４２８と４３２を適切に設定するために、検出されたエッジの拡大方向に基づいた決定、または、共同配置された部分４０６の中で決定された勾配）によって、ベース層残留信号または再構成されたベース層信号を点検することである。

【0128】

上で明確に説明されていないけれども、変換係数の位置と副ブロック４１２のユニットとを横断することにおいて、変換係数ブロックのゼロ周波数角部（図２１の左上隅部）から出発して、ブロック４０２の最も高い周波数角部（図２１の右下隅部）に至る順序で、副ブロック４１２を横断することが好ましい。さらに、エントロピー符号化が、データストリーム６ｂの中で構文要素に合図するために使用される。すなわち、構文要素４１６と４１８は、演算、可変長符号化または別の形式のエントロピー符号化などの、符号化された都合の良いエントロピー符号化である。副ブロック４１２を横断する順序付けは、４０８に従って選択された副ブロック形状にも依存している。それらの高さより広くなるように選択された副ブロックに対して、縦断の順序は、最初列的に副ブロックを横断して、次に、次の列などに進行する。これを超えて、副ブロックの寸法を選択するために使用されるベース層情報が、自身再構成されたベース層残留信号またはベース層信号自体である、ということに再び注意しなさい。

【0129】

以下では、上で説明された実施例に組み合わせられる、異なる実施の形態が説明される。以下で記載された実施の形態は、スケーラブルビデオ符号化を更に効率的にするための多くの異なる実施例または施策に関係する。部分的に、上の実施例は、それの別の派生した実施の形態を提示するために、一般概念を保持した状態で、以下で詳細に説明される。これらの以下に提示された記述は、上の実施の形態／実施例の代替または拡大を得るために使用される。しかしながら、以下で記載された実施の形態の大部分は、任意に、上で既に説明された実施例に組み合わされる。すなわち、それらは、同時に１つのスケーラブルビデオデコーダ／エンコーダの中で、上の実施の形態と共に実行される。しかし、そうす
る必要はない。

【0130】

前の記述をより容易に理解するために、実施の形態や実施の形態の組み合わせを取り込んだ適切なスケーラブルビデオエンコーダ／デコーダを実行のためのより詳細な実施の形態が、次に提示される。以下で記載された異なる実施例は、英数字の符号の使用によって列挙される。これらの実施例は、今説明した図面の中のこれらの実施例の引用要素のいくつかの記述を、ここでは１つの実施の形態に従って、一般的に実行する。しかしながら、個々の実施例が関する限り、スケーラブルビデオデコーダ／エンコーダの実現の中の要素の提供が、あらゆる実施例に関する限り、必要ではない。問題の実施例に依存して、いくつかの要素といくつかの相互接続とが、次に記載された図面の中で省略される。それぞれの実施例に対して引用された要素のみが、それぞれの実施例の記述で言及した仕事または関数を実行するために提供される。しかしながら、ここで、数要素が１つの機能に対して引用されるとき、時々、代替が特に存在する。

【0131】

しかしながら、スケーラブルビデオデコーダ／エンコーダの関数性の概観を提供するために、次に記載された実施例が実行される。以下の図に示された要素は、現在簡潔に説明される。

【0132】

図２３は、符号化データストリーム６の主の副部分（すなわち、６ａ）が第１の解像度または品質レベルで映像を表わすような方法で、映像が符号化される符号化データストリーム６を復号化するためのスケーラブルビデオデコーダを示す。符号化データストリームの追加部分６ｂは、増加する解像度または品質レベルで映像の表現に対応している。符号化データストリーム６のデータ量を低く保つために、副ストリーム６ａと６ｂの間の中間層の冗長が、副ストリーム６ｂを形成する際に利用される。以下で記載された実施例のいくつかが、副ストリーム６ａが関係するベース層からの中間層の予測に向けられ、そして、副ストリーム６ｂが関係するエンハンスメント層に向けられる。

【0133】

スケーラブルビデオデコーダは、並行に稼働する２つのブロックベースの予測デコーダ８０、６０を含み、副ストリーム６ａと６ｂをそれぞれ受信する。図に示すように、デマルチプレクサ４０は、別々に復号化ステージ８０と６０を、対応する副ストリーム６ａと６ｂと共に提供する。

【0134】

ブロックベースの予測符号化ステージ８０と６０の内部の構造は、図に示されているように、同じである。エントロピーがモジュール１００を復号化して、復号化ステージ８０，６０のそれぞれの入力から、エントロピー符号化モジュール１００；３２０、逆変換器５６０；５８０、加算器１８０；３４０、任意のフィルタ１２０；３００および１４０；２８０が、この記述の順序に直列に接続されている。その結果、この直列接続の最後に、再構成されたベース層信号６００と再構成されたエンハンスメント層信号３６０が、それぞれ得られる。一方、加算器１８０，３４０とフィルタ１２０，１４０，３００，２８０の出力が、それぞれベース層信号とエンハンスメント層信号の再構成の異なるバージョンを提供する。そうすれば、それぞれの予測プロバイダ１６０；２６０は、これらのバージョンの副組または全てを受信して、それに基づいて、予測信号を加算器１８０；３４０の残留入力へ提供するために提供する。エントロピー復号化ステージ１００；３２０は、それぞれの入力信号６ａと６ｂから復号化し、変換係数ブロックは逆変換器５６０；５８０に入り、予測プロバイダ１６０；２６０のための予測パラメータを含むパラメータを符号化する。

【0135】

従って、予測プロバイダ１６０と２６０は、それぞれの解像度／品質レベルで映像のフレームのブロックを予測する。そして、このために、予測プロバイダ１６０と２６０は、空間内部予測モードや時間中間予測モードのような所定の予測モードの中で選択される。
両方のモードは、内部層予測モード（すなわち、それぞれのレベルが入っている副ストリームの中のデータに唯一依存する予測モード）である。

【0136】

しかしながら、前述の中間層の冗長を利用するために、エンハンスメント層復号化ステージ６０は、符号化パラメータ中間層予測器２４０、解像度／品質改良器２２０、および／または、予測プロバイダ１６０と比較される予測プロバイダ２６０を付加的に含む。さらに、／あるいはまた、エンハンスメント層復号化ステージ６０は、ベース層復号化ステージ８０の内部ステージから得られたデータに基づいたエンハンスメント層予測信号４２０を提供できる中間層予測モードを補助する。解像度／品質改良器２２０は、中間層予測信号３８０を得るために、再構成されたベース層信号２００ａ，２００ｂ，２００ｃまたはベース層残留信号４８０のどれかに、解像度または品質の改良を受けさせる。符号化パラメータ中間層予測器２４０は、それぞれ予測パラメータや作動パラメータのような符号化パラメータをどうにか予測することである。予測プロバイダ２６０は、例えば、さらに、２００ａ，２００ｂ，２００ｃのようなベース層信号の再構成された部分に従って、中間層予測モードを補助する。あるいは、増加する解像度／品質レベルに潜在的に改良されたベース層残留信号６４０の再構成された部分が、引用／基礎として使用される。

【0137】

前述したように、復号化ステージ６０と８０は、ブロックベースの方法で操作される。すなわち、映像のフレームは、ブロックのような部分に副分割される。異なる粗さレベルは、予測プロバイダ１６０，２６０によって実行される予測モード、逆変換器５６０，５８０による局所変換、フィルタ１２０，１４０によるフィルタ係数選択、および、予測プロバイダ１６０，２６０による予測モードのための予測パラメータ設定を割り当てるために使用される。すなわち、フレームを予測ブロックに副仕切ることは、順番に、予測モードが選択されているブロック（例えば、いわゆる符号化ユニットまたは予測ユニット）へのフレームの副仕切りの連続である。変換符号化のためにブロックへのフレームの副仕切り（いわゆる変換ユニット）は、予測ユニットへの仕切りと異なる。予測プロバイダ２６０によって使用される中間層予測モードのいくつかは、以下で実施例に対して説明される。予測プロバイダ２６０は、いくつかの内部層予測モード、すなわち、それぞれの加算器１８０，３４０に入力されるそれぞれの予測信号を内部的に得る予測モード、すなわち、それぞれ、現在のレベルの符号化ステージ６０，８０に関わる状態に唯一基づいて適用される。

【0138】

図に示されたブロックのいくつかの別の詳細が、以下の個々の実施例の記述から明らかになる。そのような記述が提供された実施例に明確に関係しない限り、これらの記述は、等しく一般に別の実施例と図の記述に転載可能であることに注意してください。

【0139】

特に、図２３のスケーラブルビデオデコーダのための実施の形態は、図２と図４に従って、スケーラブルビデオデコーダの可能な実現を表す。図２３に従ったスケーラブルビデオデコーダは前述されているけれども、図２３は、対応するスケーラブルビデオエンコーダを示し、同じ引用符号が図２３と図２４の中の予測符号化／復号方式の内部要素のために使用される。理由は前出のとおりである。また、エンコーダとデコーダとの間の一般的な予測基礎を維持する目的のために、ベースとエンハンスメント層信号の再構成可能バージョンは、エンコーダで使用され、また、スケーラブルビデオの再構成可能バージョンを得るために、この終わりまで既に符号化された部分を再構成する。従って、図２３の記述との唯一の差は、符号化パラメータ中間層予測器２４０と同様に、予測プロバイダ１６０と予測プロバイダ２６０とが、データストリームから予測パラメータを受信するよりむしろ、何らかの比率／歪最適化の過程の中で予測パラメータを決定する、ということである。むしろ、プロバイダは、このようにして決定された予測パラメータを、エントロピーデコーダ１９ａと１９ｂに送信する。エントロピーデコーダ１９ａと１９ｂは、データストリーム６の中に含めるために、マルチプレクサ１６を経由して、それぞれのベース層副ス
トリーム６ａとエンハンスメント層副ストリーム６ｂを順番に送信する。同様の方法で、これらのエントロピーエンコーダ１９ａと１９ｂが、そのような残留のエントロピー復号化結果を出力するよりむしろ、変換モジュール７２４，７２６が後に続く減算器７２０と７２２を経由して得られるように、再構成されたベース層信号２００および再構成されたエンハンスメント層信号４００と、オリジナルのベース層およびエンハンスメント層バージョン４ａ，４ｂとの間の予測残留を受信する。しかしながら、この他、図２４のスケーラブルビデオエンコーダの構造は、図２３のスケーラブルビデオデコーダの構造と一致する。従って、これらの問題に関して、引用が図２３の上の記述に対してなされる。ここでは、ちょうど概説されているように、どんなデータストリームからのどんな派生も、それぞれのデータストリームの中へのその後の挿入を有するそれぞれの要素のそれぞれの決定に変えられなければならない。

【0140】

次に記載された実施の形態に使用されるエンハンスメント層信号の内部符号化のための技術は、エンハンスメント層ブロックのために、内部予測信号を（ベース層データを使用して）発生させるための多重方法を含む。これらの方法は、再構成されたエンハンスメント層のサンプルだけに基づいて内部予測信号を発生させる方法に追加して提供される。

【0141】

内部予測は、内部符号化されたブロックの再構成の過程の一部である。最終再構成ブロックは、変換で符号化された残留信号（ゼロであるかもしれない）を内部予測信号に追加することによって得られる。残留信号は、逆変換が後に続いたビットストリームの中で送信された変換係数レベルの逆量子化（スケーリング）によって発生する。

【0142】

以下の記述は、（ベース層と同じ解像度を有するけれども、より高い品質または忠実度を有する入力ビデオを表わす）品質エンハンスメント層を有するスケーラブル符号化と、（ベース層より高い解像度、つまり、より多くのサンプル数を有する）空間エンハンスメント層を有するスケーラブル符号化とに適用される。品質エンハンスメント層の場合には、ベース層信号の抽出は、ブロック２２０などの中で必要でないけれども、再構成されたベース層のサンプルのフィルタリング５００などには適用される。空間エンハンスメント層の場合には、一般に、ベース層信号の抽出が、ブロック２２０などの中で要求される。

【0143】

次に記載された実施例は、エンハンスメント層ブロックの内部予測に対して、再構成されたベース層サンプル（２００に例える）またはベース層残留サンプル（６４０に例える）を使用するために、異なる方法をサポートする。以下に記載された方法の１つ以上は、内部層内部符号化（そこでは再構成されたエンハンスメント層サンプル（４００に例える）だけが内部予測のために使用される）に加えて、サポートすることができる。特定の方法の使用が、最も大きいサポートされたブロックサイズ（ＨＥＶＣの中のＨ．２６４／ＡＶＣまたは符号化ツリーのブロック／最も大きい符号化ユニットの中のマクロブロックなどのサイズ）のレベルにて、合図される。または、それは、全てのサポートされたブロックサイズにて合図される。あるいは、それは、サポートされたブロックサイズの副組に対して合図される。

【0144】

以下に記載される全ての方法に対して、予測信号が、ブロックのための再構成信号として直接に使用される。すなわち、残留は全く送信されない。または、中間層内部予測のための選択された方法は、残留符号化と組み合わされる。特定の実施の形態において、残留信号は、変換符号化を経由して送信される。すなわち、量子化された変換係数（変換係数レベル）は、エントロピー符号化技術（例えば、可変長符号化または算術符号化（１９ｂに例える））を使用して、送信される。そして、残留は、送信された変換係数レベルを逆量子化（スケーリング）して、逆変換（５８０に例える）を適用することによって得られる。特定のバージョンでは、中間層内部予測信号が発生するブロックに対応する完全な残留ブロックが、一つの変換を使用して変換される（７２６に例える）。すなわち、全体の
ブロックが、予測ブロックと同じサイズの一つの変換を使用して変換される。別の実施の形態では、予測ブロックが、（例えば、階層的な分解を使用して、）より小さいブロックにさらに副分割される。そして、小さいブロック（また、異なるブロックサイズを有することができる）のそれぞれに対して、別々の変換が適用される。別の実施の形態では、符号化ユニットが、より小さい予測ブロックに分割される。そして、予測ブロックのゼロ以上に対して、予測信号が、中間層内部予測のための方法の１つを使用して発生する。そして、次に、全体の符号化ユニットの残留が、一つの変換（７２６に例える）を使用して変換される。または、符号化ユニットが、異なる変換ユニットに副分割される。ここで、変換ユニット（一つの変換が適用されるブロック）を形成するための副分割は、符号化ユニットを予測ブロックに分解するための副分割と異なる。

【0145】

特定の実施の形態において、（抽出される／フィルタにかけられる）再構成されたベース層信号（３８０に例える）は、予測信号として直接に使用される。エンハンスメント層を内部予測するためにベース層を使うための多重方法は、以下の方法を含む。（抽出される／フィルタにかけられる）再構成されたベース層信号（３８０に例える）は、エンハンスメント層予測信号として直接に使用される。この方法は、周知のＨ．２６４／ＳＶＣの中間層内部予測モードと同様である。この方法において、エンハンスメント層のための予測ブロックは、エンハンスメント層の対応するサンプル位置に整合するために抽出（２２０に例える）され、かつ、抽出の前または後に任意にフィルタにかけられた、ベース層再構成信号の共同配置されたサンプルによって形成される。ＳＶＣ中間層内部予測モードと対照して、このモードは、マクロブロックレベル（または、最も大きいサポートされたブロックサイズ）にてサポートされるだけでなく、任意のブロックサイズにてサポートされる。それは、モードは、最も大きいサポートされたブロックサイズに対して合図されるだけではなく、最も大きいサポートされたブロックサイズのブロック（ＭＰＥＧ４，Ｈ．２６４の中のマクロブロックと、ＨＥＶＣの中の符号化ツリーブロック／最も大きい符号化ユニット）が、より小さいブロック／符号化ユニットに階層的に副分割され、そして、中間層内部予測モードの使用が、（対応するブロックに対して）どんなサポートさられたブロックサイズにても合図されることを意味する。特定の実施の形態では、このモードは選択されたブロックサイズのためにサポートされるだけである。次に、このモードの使用を合図する構文要素が、対応するブロックサイズに対してだけ送信される。または、このモードの使用を（別の符号化パラメータの中で）合図する構文要素の値が、別のブロックサイズに対して、対応して制限される。Ｈ．２６４／ＡＶＣのＳＶＣ拡張の中の中間層内部予測モードとの別の差は、中間層内部予測モードが、ベース層の中の共同配置された領域が内部符号化される場合にサポートされるだけではなく、共同配置されたベース層領域が中間符号化または一部中間符号化される場合にもサポートされるということである。

【0146】

特定の実施の形態において、差信号（実施例Ａ参照）の空間内部予測が実行される。多重方法は以下の方法を含む。（潜在的に抽出される／フィルタにかけられる）再構成されたベース層信号（３８０に例える）は、空間内部予測信号と組み合わされる。そこでは、空間内部予測（４２０に例える）が、隣接するブロックのための差サンプルに基づいて得られる（２６０に例える）。差サンプルは、再構成されたエンハンスメント層信号（４００に例える）と、（潜在的に抽出される／フィルタにかけられる）再構成されたベース層信号（３８０に例える）との差を表わす。

【0147】

図２５は、（抽出される／フィルタにかけられる）ベース層再構成信号３８０（ＢＬ Ｒｅｃｏ）と、既に符号化された隣接ブロック７３６の差信号７３４（ＥＨ Ｄｉｆｆ）を使用する空間内部予測との合計７３２によって、中間層内部予測信号の発生を示す。そこでは、既に符号化されたブロック７３６のための差信号（ＥＨ Ｄｉｆｆ）が、再構成されたエンハンスメント層信号（ＥＨ Ｒｅｃｏ）（４００に例える）から、（抽出される／フィルタにかけられる）ベース層再構成信号３８０（ＢＬ Ｒｅｃｏ）を引き算する
こと７３８によって発生する。現在の符号化された／復号化された、ブロック／領域／部分は２８である。すなわち、図２５に記載された中間層内部予測方法は、予測ブロックを発生させるために、２つの重ねられた入力信号を使用する。この方法のために、差信号７３４が必要である。差信号７３４は、再構成されたエンハンスメント層信号４００と共同配置された再構成されたベース層信号２００との差である。前記ベース層信号２００は、エンハンスメント層の対応するサンプル位置に整合するために抽出２２０され、抽出の前または後に任意にフィルタにかけられる（それが品質スケーラブル符号化の場合であるとき、仮に、抽出が適用されないならば、それはフィルタにかけられる）。特に、空間スケーラブル符号化のために、通常、差信号７３４は、主として高周波成分を含む。差信号７３４は、全ての既に再構成されたブロック（すなわち、既に符号化／復号化された全てのエンハンスメント層ブロック）に利用可能である。既に符号化／復号化されたブロック７３６の隣接するサンプル７４２のための差信号７３４は、空間内部予測技術（Ｈ．２６４／ＡＶＣまたはＨＥＶＣの中で指定された空間内部予測モードなど）への入力として使用される。矢印７４４によって記載された空間内部予測によって、予測されるべきブロック２８の異なる成分ための予測信号７４６が発生する。特定の実施の形態では、空間内部予測の過程（Ｈ．２６４／ＡＶＣまたはＨＥＶＣから周知であるように）のどんな切り取りの機能性も、差信号７３４の動的範囲と整合するために変更される、または無効にされる。実際に使用された内部予測方法（複数の提供された方法の１つであり、どんな特定の角度も有する平面内部予測、ＤＣ内部予測、または、方向内部予測７４４を含むことができる）は、ビットストリーム６ｂの中で合図される。Ｈ．２６４／ＡＶＣとＨＥＶＣに提供された方法と異なる空間内部予測技術（既に符号化された隣接するブロックのサンプルを使用して、予測信号を発生させるための方法）を使用することが可能である。（隣接するブロックの差サンプルを使用して、）得られた予測ブロック７４６は、最終予測ブロック４２０の第１の部分である。

【0148】

予測信号の第２の部分が、ベース層の再構成された信号２００の中の共同配置された領域２８を使用して発生する。品質エンハンスメント層に対して、共同配置されたベース層のサンプルが、直接に使用される、または、例えば、ローパスフィルタまたは高周波成分を減衰させるフィルタ５００によって、任意にフィルタにかけられる。空間エンハンスメント層に対して、共同配置されたベース層のサンプルが抽出される。抽出２２０のために、ＦＩＲフィルタまたはＦＩＲフィルタの組が使用される。ＩＩＲフィルタも使用できる。任意に、再構成されたベース層のサンプル２００が、抽出前にフィルタにかけられる。または、ベース層予測信号（ベース層を抽出した後に得られた信号）が、抽出段階の後にフィルタにかけられる。ベース層の再構成の過程は、非ブロック化フィルタ（１２０に例える）や適応型のループフィルタ（１４０に例える）などの１個以上の追加フィルタを含むことができる。抽出のために使用されるベース層再構成２００は、いずれかのループフィルタの前の再構成信号である（２００ｃに例える）。あるいは、それは、非ブロック化フィルタの後、しかし、いずれかの別のフィルタの前の再構成信号である（２００ｂに例える）。あるいは、それは、特定のフィルタの後の再構成信号、または、ベース層復号化過程で使用される全てのフィルタを適用した後の再構成信号である（２００ａに例える）。

【0149】

予測信号の２つの発生した部分（空間的に予測された差信号７４６と潜在的にフィルタにかけられた／抽出されたベース層再構成３８０）が、最終予測信号４２０を形成するために、サンプルごとに追加７３２される。

【0150】

ちょうど概説した実施例を図６〜図１０の実施の形態に移すことは、エンハンスメント層信号の現在のブロックを予測することのちょうど概説された可能性が、図６〜図１０に関して概説された予測スキームに代わるものとして、それぞれのスケーラブルビデオデコーダ／エンコーダによってサポートされるということである。使用されるモードが、図８
に示されないそれぞれの予測モード識別子を経由して、エンハンスメント層副ストリーム６ｂの中で合図される。

【0151】

特定の実施の形態において、内部予測は中間層残留予測に続く（実施例Ｂ参照）。ベース層データを使用して内部予測信号を発生させるための多重方法は、以下の方法を含む。（隣接する再構成されたエンハンスメント層のサンプルを使用して得られた）従来の空間内部予測信号は、（抽出された／フィルタにかけられた）ベース層残留信号（ベース層変換係数の逆変換、または、ベース層再構成とベース層予測との間の差）に結合される。

【0152】

図２６は、（抽出された／フィルタにかけられた）ベース層残留信号７５４（ＢＬ Ｒｅｓｉ）と、点線７６２で記載された既に符号化された隣接ブロックの再構成されたエンハンスメント層のサンプル７５８（ＥＨ Ｒｅｃｏ）を使用する空間内部予測７５６との合計７５２による、中間層内部予測信号４２０の発生を示す。

【0153】

図２６に示された概念は、予測ブロック４２０を形成するために、２つの予測信号を重ねる。そこでは、一方の予測信号７６４が、既に再構成されたエンハンスメント層サンプル７５８から発生し、他方の予測信号７５４が、ベース層残留サンプル４８０から発生する。予測信号４２０の第１の部分７６４が、再構成されたエンハンスメント層サンプル７５８を使用して、空間内部予測７５６を適用することによって得られる。空間内部予測７５６は、Ｈ．２６４／ＡＶＣの中で指定された方法の１つである。または、ＨＥＶＣの中で指定された方法の１つである。あるいは、それは、隣接するブロック７６２のサンプル７５８を形成する現在のブロック１８のために、予測信号７６４を発生する別の空間内部予測技術である。実際に使用された内部予測方法７５６（複数の提供された方法の１つであり、平面内部予測、ＤＣ内部予測、または、どんな特定の角度も有する方向内部予測を含むことができる）は、ビットストリーム６ｂの中で合図される。Ｈ．２６４／ＡＶＣとＨＥＶＣとに提供された方法と異なる空間内部予測技術（既に符号化された隣接するブロックのサンプルを使用して、予測信号を発生させるための方法）を使用することは、可能である。予測信号４２０の第２の部分７５４が、ベース層の共同配置された残留信号４８０を使用して発生する。品質エンハンスメント層に対して、残留信号が、ベース層の中で再構成されるように使用できる。または、残留信号は、追加してフィルタにかけることができる。空間エンハンスメント層４８０に対して、残留信号は、それが予測信号の第２の部分として使用される前に、（ベース層サンプル位置をエンハンスメント層サンプル位置に写像するために、）抽出２２０される。また、ベース層残留信号４８０は、抽出ステージの前または後に、フィルタにかけることができる。残留信号を抽出２２０するために、ＦＩＲフィルタが適用される。抽出過程は、抽出の目的のために適用されるベース層の中の変換ブロック境界を横切ってフィルタにかけられない方法で、構成される。

【0154】

中間層予測のために使用されるベース層残留信号４８０は、スケーリングおよび逆変換５６０によって、ベース層の変換係数レベルが得られる残留信号である。または、ベース層残留信号４８０は、再構成されたベース層信号２００（非ブロック化および追加フィルタリングの前または後、あるいは、どんなフィルタリング操作の間でも）と、ベース層の中で使用された予測信号６６０との間の差である。

【0155】

２つの発生した信号要素（空間内部予測信号７６４と中間層残留予測信号７５４）は、最終エンハンスメント層内部予測信号を形成するために、追加７５２される。

【0156】

これは、図２６に関してちょうど概説した予測モードが、現在の符号化／復号化された部分２８に対して、図６〜図１０に関して上で記述した代替の予測モードを形成するために、図６〜図１０に従ってどんなスケーラブルビデオデコーダ／エンコーダでも使用される、または、サポートされる、という意味である。

【0157】

特定の実施の形態において、空間内部予測とベース層再構成との重み付けされた予測（実施例Ｃ参照）が、使用される。これは、図６〜図１０に関して上で概説された実施の形態の特定の実現を発表した明細書を、従って、上の実施の形態の代替えとしてだけでなく、所定の実施例と異なって図６〜図１０に関して上で概説された実施の形態を実行する方法の可能性の記述としても解釈された、そのような重み付けされた予測に関する記述を、実際に表わす。

【0158】

ベース層データを使用して、内部予測信号を発生させるための多重方法は、以下の方法を含む。（抽出された／フィルタにかけられた）再構成されたベース層信号は、空間内部予測信号に結合される。そこでは、空間内部予測が、隣接するブロックの再構成されたエンハンスメント層のサンプルに基づいて得られる。最終予測信号は、異なる周波数成分が異なる重み付けを使用する方法で、空間予測信号とベース層予測信号とが重み付け（４１に例える）されることによって、得られる。これは、例えば、ローパスフィルタでベース層予測信号（３８に例える）にフィルタをかけ（６２に例える）、かつ、ハイパスフィルタで空間内部予測信号（３４に例える）にフィルタをかけ（６４に例える）て、そして、得られたフィルタにかけられた信号を追加する（６６に例える）ことによって、実現される。または、周波数に基づいた重み付けが、変換ブロックを重ねるベース層予測信号（３８に例える）とエンハンスメント層予測信号（３４に例える）とを変換（７２、７４に例える）し、得られた変換ブロック（７６、７８に例える）を重ねることによって、実現される。そこでは、異なる重み付け係数（８２、８４に例える）は、異なる周波数位置に対して使用される。次に、得られた変換ブロック（図１０の４２に例える）は、逆変換（８４に例える）され、エンハンスメント層予測信号（５４に例える）として使用される。あるいは、得られた変換係数は、スケーリングされた送信された変換係数レベル（５９に例える）に追加（５２に例える）され、そして、非ブロック化および内ループ過程の前に、再構成されたブロック（５４に例える）を得るために、逆変換（８４に例える）される。

【0159】

図２７は、（抽出された／フィルタにかけられた）ベース層再構成信号（ＢＬ Ｒｅｃｏ）と、既に符号化された隣接するブロックの再構成されたエンハンスメント層のサンプル（ＥＨ Ｒｅｃｏ）を使用する空間内部予測との周波数重み付けされた合計による、中間層内部予測信号の発生を示す。

【0160】

図２７の概念は、予測ブロック４２０を形成するために、２つの重畳信号７７２、７７４を使用する。信号４２０の第１の部分７７４が、エンハンスメント層の中の既に構成された隣接するブロックの再構成されたサンプル７７８を使用して、図６の３０に対応している空間内部予測７７６を適用することによって得られる。予測信号４２０の第２の部分７７２が、ベース層の共同配置された再構成された信号２００を使用して発生する。品質エンハンスメント層に対して、共同配置されたベース層サンプル２００が、直接に使用される。または、それらは、例えば、ローパスフィルタまたは高周波成分を減衰させるフィルタによって、任意にフィルタにかけられる。空間エンハンスメント層に対して、共同配置されたベース層のサンプルが、抽出２２０される。抽出のために、ＦＩＲフィルタまたはＦＩＲフィルタの組が使用される。また、ＩＩＲフィルタを使用することも可能である。任意に、再構成されたベース層のサンプルが、抽出の前にフィルタにかけられる。あるいは、ベース層予測信号（ベース層を抽出した後に得られた信号）が、抽出段階の後にフィルタにかけられる。ベース層の再構成の過程は、非ブロック化フィルタ１２０や適応型ループフィルタ１４０などの１つ以上の追加フィルタを含むことができる。抽出のために使用されるベース層再構成２００は、いずれかのループフィルタ１２０、１４０の前の再構成信号２００ｃである。あるいは、それは、非ブロック化フィルタ１２０の後、しかし、別のフィルタの前の再構成信号２００ｂである。あるいは、それは、特定のフィルタの後の再構成信号２００ａ、または、ベース層復号化過程で使用される全てのフィルタ１２
０、１４０を適用した後の再構成信号である。

【0161】

図２３と図２４で使用された引用符号と、図６〜図１０に関連して使用された引用符号とが比較されるとき、ブロック２２０は、図６で使用された引用符号３８に対応している。３９は、３８０の部分に対応している。少なくとも、現在の部分２８に共同配置された部分が関する限り、現在の部分２８に共同配置された４２０は、４２に対応している。空間予測７７６は、３２に対応する。

【0162】

２つの予測信号（潜在的に抽出された／フィルタにかけられたベース層再構成３８６とエンハンスメント層内部予測７８２）が、最終予測信号４２０を形成するために結合される。これらの信号を結合するための方法は、異なる重み付け因子が異なる周波数成分のために使用されるという特性を有することができる。特定の実施の形態では、抽出されたベース層再構成は、ローパスフィルタ（６２に例える）でフィルタにかけられる（また、抽出２２０の前にベース層再構成をフィルタにかけることも可能である）。内部予測信号（３０によって得られた３４に例える）は、ハイパスフィルタ（６４に例える）でフィルタにかけられる。両方のフィルタにかけられた信号は、最終予測信号４２０を形成するために、追加７８４（６６に例える）される。ローパスフィルタとハイパスフィルタの一対は、直角位相鏡フィルタの一対を表わすけれども、これは必ずしも必要ではない。

【0163】

別の特定の実施の形態（図１０に例える）において、２つの予測信号３８０と７８２との結合過程は、空間変換を介して実現される。（潜在的に抽出された／フィルタにかけられた）ベース層再構成３８０と内部予測信号７８２との両方が、空間変換を使用して変換（７２、７４に例える）される。次に、両方の信号の変換係数（７６、７８に例える）は、適切な重み付け係数（８２、８４に例える）でスケーリングされて、次に、最終予測信号の変換係数ブロック（４２に例える）を形成するために、追加（９０に例える）される。１つのバージョンにおいて、重み付け係数（８２、８４に例える）は、それぞれの変換係数位置に対して、両方の信号の成分のための重み付け係数の合計が１と等しい方法で選択される。別のバージョンにおいて、いくつかのまたは全ての変換係数位置に対して、重み付け係数の合計が１に等しくない。特定のバージョンにおいて、重み付け係数が、低周波数成分を表わす変換係数に対して、ベース層再構成のための重み付け係数は、エンハンスメント層内部予測信号のための重み付け係数より大きく、そして、高周波成分を表す変換係数に対して、ベース層再構成のための重み付け係数が、エンハンスメント層内部予測信号のための重み付け係数より少なくなる方法で選択される。

【0164】

１つの実施の形態において、（両方の成分に対して、重み付けされた変換された信号をまとめることによって）得られた変換係数ブロック（４２に例える）は、最終予測信号４２０（５４に例える）を形成するために、逆変換（８４に例える）される。別の実施の形態において、予測は変換領域の中で直接になされる。すなわち、符号化された変換係数レベル（５９に例える）は、スケーリングされ（すなわち、逆量子化され）て、（両方の成分のための重み付けされた変換信号をまとめることによって得られた）予測信号の変換係数（４２に例える）、および、次に、（図１０では示されていないけれども、（潜在的非ブロック化１２０とさらに内ループフィルタリング段階１４０の前に、）現在のブロックのためので再構成された信号４２０を得るために、逆変換（８４に例える）される）変換係数の結果として起こるブロックに追加（５２に例える）される。言い換えれば、最初の実施の形態では、両方の成分のための重み付けされた変換信号をまとめることによって得られた変換ブロックは、逆変換されてエンハンスメント層予測信号として使用される。あるいは、２番目の実施の形態では、スケーリングされた送信された変換係数レベルに追加されて、非ブロック化と内ループ過程との前に再構成されたブロックを得るために、逆変換される。

【0165】

ベース層再構成と残留信号との選択（実施例Ｄ参照）も使用される。再構成されたベース層信号を使用する（上で記述した）方法のために、以下のバージョンが使用される。

【0166】

・非ブロック化１２０とさらに内ループ過程１４０（サンプルとして適応型オフセットフィルタまたは適応型ループフィルタなど）の前の再構成されたベース層サンプル２００ｃ。
・非ブロック化１２０の後、しかし、別の内ループ過程１４０（サンプルとして適応型オフセットフィルタまたは適応型ループフィルタなど）の前の再構成されたベース層サンプル２００ｂ。
・非ブロック化１２０とさらに内ループ過程１４０（サンプルとして適応型オフセットフィルタまたは適応型ループフィルタなど）後の、または、複数の内ループ過程段階の間の再構成されたベース層サンプル２００ａ。

【0167】

対応するベース層信号２００ａ、ｂ、ｃの選択は、特定のデコーダ（そして、エンコーダ）の実現のために固定される。または、それは、ビットストリーム６の中で合図される。後者の場合に対して、異なるバージョンが使用される。ベース層信号の特定のバージョンの用法が、系列レベルにおいて、または、画像レベルにおいて、または、スライスレベルにおいて、または、最も大きい符号化ユニットレベルにおいて、または、符号化ユニットレベル、または、予測ブロックレベルにおいて、または、変換ブロックレベルにおいて、または、いかなる別のブロックレベルにおいても合図される。別のバージョンでは、選択は、（符号化モードのような）別の符号化パラメータに、または、ベース層信号の特性に依存するようにすることができる。

【0168】

別の実施の形態では、（抽出された／フィルタにかけられた）ベース層信号２００を使用する方法の複数のバージョンが、使用される。例えば、抽出されたベース層信号（すなわち、２００ａ）を直接に使用する２つの異なるモードが、提供される。そこでは、２つのモードは、異なる補間フィルタを使用する。または、１つのモードが、（抽出された）ベース層再構成信号の追加フィルタリング５００を使用する。同様に、前述した別の他のモードのための複数の異なるバージョンが、提供される。モードの異なるバージョンのための採用された抽出された／フィルタにかけられたベース層信号３８０が、使用された補間フィルタ（整数サンプル位置もフィルタにかける補間フィルタを含む）の中で異なる。または、第２のバージョンのための抽出された／フィルタにかけられたベース層信号３８０が、第１のバージョンのための抽出された／フィルタにかけられたベース層５００をフィルタにかけることによって、得られる。異なるバージョンの１つの選択が、系列、画像、スライス、最も大きい符号化ユニット、符号化ユニットレベル、予測ブロックレベル、または変換ブロックレベルで合図される。あるいは、それは、対応する再構成されたベース層信号または送信された符号化パラメータの特性から推論される。

【0169】

同様のことが、４８０を経由して、再構成されたベース層残留信号を使用するモードに適用される。ここで、使用された補間フィルタまたは追加フィルタリング段階と異なるバージョンも使用される。

【0170】

異なるフィルタが、再構成されたベース層信号とベース層残留信号とを抽出する／フィルタにかけるために使用される。それは、ベース層残留信号を抽出するために、異なるアプローチが、ベース層再構成信号の抽出より使用されることを意味する。

【0171】

ベース層ブロックに対して、残留信号はゼロである（すなわち、変換係数レベルは、全くブロックに送信されない）。対応するベース層残留信号は、ベース層から得られた別の信号と取り替えられる。例えば、これは、再構成されたベース層ブロックのハイパスフィルタバージョン、または、隣接するブロックの再構成されたベース層残留のサンプルから
得られた別の異なるような信号である。

【0172】

エンハンスメント層の中の空間内部予測のために使用されるサンプル（実施例Ｈ参照）に関する限り、以下の特別な処理が提供される。空間内部予測を使用するモードに対して、エンハンスメント層の中の利用できない隣接するサンプル（隣接するブロックは、現在のブロックの後に符号化されるので、隣接するサンプルは利用できない）が、抽出された／フィルタにかけられたベース層信号の対応するサンプルに取り替えられる。

【0173】

内部予測モードの符号化（実施例Ｘ参照）に関する限り、以下の特別なモードと機能性が提供される。３０ａのような空間内部予測を使用するモードに対して、内部予測モードの符号化は、（仮に、利用可能であるならば、）ベース層の中の内部予測モードについての情報が、エンハンスメント層の中の内部予測モードをより効率的に符号化するために使用される方法で変更される。これは、例えば、パラメータ５６のために使用される。仮に、ベース層の中の共同配置された領域（３６に例える）が、特定の空間内部予測モードを使用して、内部符号化されるならば、同様の内部予測モードが、エンハンスメント層ブロック（２８に例える）の中で使用されそうである。内部予測モードは、通常、可能な内部予測モードの組の中で、１つ以上のモードが、最もありそうなモードとして分類される方法で合図される。そこでは、より短いワードで合図される。あるいは、算術的符号化が短ければ短いほど、二者択一はより少ないビットをもたらす。ＨＥＶＣの内部予測の中で、（仮に、利用可能であるならば）上のブロックの内部予測モードと、（仮に、利用可能であるならば）左のブロックの内部予測モードとは、最もありそうなモードの組の中に含まれる。これらのモードに追加して、１つ以上の追加モード（しばしば使用される）が、最もありそうなモードのリストの中に含めらる。そこでは、実際の追加モードが、現在のブロックの上のブロックおよび現在のブロックの左のブロックの内部予測モードの有用性に依存する。ＨＥＶＣの中で、３つのモードが、最もありそうなモードとして正確に分類される。Ｈ．２６４／ＡＶＣの中で、１つのモードが、最もありそうなモードとして分類される。このモードは、現在のブロックの上のブロックおよび現在のブロックの左のブロックのために使用される内部予測モードに基づいて得られる。内部予測モードを分類するためのいかなる他の概念（Ｈ．２６４／ＡＶＣとＨＥＶＣとから異なる）も可能であり、以下の拡張のために使用される。

【0174】

エンハンスメント層の中の内部予測モードの効率的符号化に対してベース層データを使用するために、１つ以上の最もありそうなモードを使用する概念が、（仮に、対応するベース層ブロックが、内部符号化されるならば、）最もありそうなモードが共同配置されたベース層ブロックの中で使用された内部予測モードを含む方法で、変更される。特定の実施の形態において、以下のアプローチが使用される。現在のエンハンスメント層ブロックが与えられると、共同配置されたベース層ブロックは決定される。特定のバージョンでは、共同配置されたベース層ブロックは、エンハンスメントブロックの左上サンプルの共同配置された位置をカバーするベース層ブロックである。別のバージョンでは、共同配置されたベース層ブロックが、エンハンスメントブロックの中央部のサンプルの共同配置された位置をカバーするベース層ブロックである。他のバージョンでは、エンハンスメント層ブロックの中の別のサンプルが、共同配置されたベース層ブロックを決定するために使用される。仮に、決定された共同配置されたベース層ブロックが内部符号化され、ベース層内部予測モードが角度内部予測モードを指定して、現在のエンハンスメント層ブロックの左側のエンハンスメント層ブロックから得られた内部予測モードが、角度内部予測モードを使用しないならば、左のエンハンスメント層ブロックから得られた内部予測モードは、対応するベース層内部予測モードに取り替えられる。さもなければ、仮に、決定された共同配置されたベース層ブロックは、内部符号化され、ベース層内部予測モードは、角度内部予測モードを指定し、現在のエンハンスメント層ブロックの上のエンハンスメント層ブロックから得られた内部予測モードは、角度内部予測モードを使用しないならば、上記の
エンハンスメント層ブロックから得られた内部予測モードは、対応するベース層内部予測モードに取り替えられる。他のバージョンでは、ベース層内部予測モードを使用して、（単一要素から成る）最もありそうなモードのリストを変更するための異なるアプローチが使用される。

【0175】

空間かつ品質のエンハンスメント層のための中間符号化技術が、次に、提供される。

【0176】

最先端のハイブリッドビデオ符号化規格（Ｈ．２６４／ＡＶＣまたは今度のＨＥＶＣなど）において、画像系列の画像が、サンプルのブロックに分割される。ブロックサイズは、固定される、または、符号化手法が、ブロックを、より小さいブロックサイズを有するブロックに更に副分割することを許容する階層構造を提供する。ブロックの再構成は、通常、ブロックのための予測信号を発生させて、送信された残留信号を追加されることによって得られる。残留信号は、通常、変換符号化を使用して送信される。それは、変換係数（また、変換係数レベルとも呼ばれる）のための量子化インデックスリストが、エントロピー符号化技術を使用して送信されることを意味する。そして、デコーダ側では、これらの送信された変換係数レベルは、予測信号に追加される残留信号を得るために、スケーリングされ、そして、逆変換される。残留信号は、（現在の時間瞬間のために既に送信されたデータのみを使用して）内部予測によって、または、（異なる時間瞬間のために既に送信されたデータを使用して）中間予測のいずれかによって発生する。

【0177】

中間予測において、予測ブロックは、既に再構成されたフレームのサンプルを使用して、作動補償予測によって得られる。これは、（１つの引用画像と１組の作動パラメータを使用して）単方向の予測によってなされる。または、予測信号は、多重仮説予測によって発生させることができる。後者の場合、２つ以上の予測信号が重ねられる。すなわち、各サンプルに対して、重み付け平均が、最終予測信号を形成するために構成される。（重ねられる）多重予測信号は、異なる仮説のための異なる作動パラメータ（例えば、異なる引用画像または作動ベクトル）を使用して、発生される。また、単方向の予測に対して、一定の係数を有する作動補償予測信号のサンプルを掛けて、最終予測信号を形成するために一定のオフセットを追加することも可能である。また、そのようなスケーリングとオフセット補正が、多重仮説予測の中の全てのまたは選択された仮説のために使用される。

【0178】

スケーラブルビデオ符号化の中でも、ベース層情報が、エンハンスメント層のための中間予測過程をサポートするために利用される。スケーラブル符号化のための最先端のビデオ符号化規格、Ｈ．２６４／ＡＶＣのＳＶＣ拡張は、エンハンスメント層の中の中間予測過程の符号化効率を向上させるための１つの追加モードである。このモードは、マクロブロックレベル（１６×１６個のｌｕｍａサンプルのブロック）で合図される。このモードの中で、低層の中の再構成された残留サンプルは、エンハンスメント層の中の作動補償予測信号を改良するために使用される。このモードは、中間層の残留予測とも呼ばれる。仮に、このモードが、品質エンハンスメント層の中のマクロブロックのために選択されるならば、中間層の予測信号は、再構成された低層残留信号の共同配置されたサンプルによって組み立てられる。仮に、中間層残留予測モードが、空間エンハンスメント層の中で選択されるならば、予測信号は、共同配置された再構成されたベース層残留信号を抽出することによって発生する。抽出に対して、ＦＩＲフィルタが使用される。しかし、フィルタリングは、変換ブロック境界を横切って適用されない。再構成されたベース層残留のサンプルから発生する予測信号は、エンハンスメント層ブロックのための最終予測信号を形成するために、従来の作動補償予測信号に追加される。一般的に、中間層残留予測モードに対して、追加残留信号が、変換符号化によって送信される。残留信号の送信は、仮に、それがビットストリームの中で対応して合図されるならば、省略される（ゼロに等しいと推論される）。最終再構成信号は、送信された変換係数レベルをスケーリングして、逆空間変換を適用することによって得られる再構成された残留信号を、予測信号に追加することに
よって得られる。そこでは、中間層残留予測信号を作動補償予測信号に追加することによって得られる。

【0179】

次に、エンハンスメント層信号の中間符号化のための技術が説明される。このセクションは、スケーラブルビデオ符号化シナリオの中で符号化されるべきエンハンスメント層信号を内部予測するために、既に再構成されたエンハンスメント層信号に加えて、ベース層信号を採用するための方法を説明する。符号化されるべきエンハンスメント層信号を中間予測するためのベース層信号を採用することによって、予測誤差が十分に抑えられる。それは、エンハンスメント層の符号化に対して節約する総合的なビット伝送速度をもたらす。このセクションの主な焦点は、ベース層からの追加信号を有する既に符号化されたエンハンスメント層のサンプルを使用して、エンハンスメント層のサンプルのブロックベースの作動補償を増大させることである。以下の記述は、符号化されたベース層から様々な信号を使用するための可能性を提供する。四枝ツリーブロック仕切りが、好ましい実施の形態として、一般に採用されるけれども、提示された例は、どんな特定のブロック仕切りも仮定することなく、一般的なブロックベースのハイブリッド符号化アプローチに応用される。現在の時間インデックスのベース層再構成、現在の時間インデックスのベース層残留、または、符号化されるべきエンハンスメント層ブロックの中間予測のための既に符号化された画像のベース層再構成の使用さえ説明される。また、現在のエンハンスメント層のための、より良い予測を得るために、ベース層信号が既に符号化されたエンハンスメント層信号と結合する方法が説明される。
最先端の主な技術の１つは、Ｈ．２６４／ＳＶＣの中の中間層残留予測である。Ｈ．２６４／ＳＶＣの中の中間層残留予測は、それらがベースモード旗または従来のマクロブロックタイプのどれかを使用することによって合図されたＳＶＣマクロブロックタイプを使用して、符号化されるか否かに関係なく、全ての中間符号化されたマクロブロックに対して採用される。旗は、空間かつ品質のエンハンスメント層のためのマクロブロック構文（中間層残留予測の用法を合図する）に追加される。この残留予測旗が１と等しいとき、引用層の中の対応する領域の残留信号が、双線型フィルタを使用してブロック的に抽出され、エンハンスメント層マクロブロックの残留信号のための予測として使用される。その結果、対応する差信号だけが、エンハンスメント層の中で符号化される必要がある。
このセクションの記述において、以下の記法が使用される。
ｔ₀：＝現在の画像の時間インデックス
ｔ₁：＝既に再構成された画像の時間インデックス
ＥＬ：＝エンハンスメント層
ＢＬ：＝ベース層
ＥＬ（ｔ₀）：＝符号化されるべき現在のエンハンスメント層画像
ＥＬ＿ｒｅｃｏ：＝エンハンスメント層再構成
ＢＬ＿ｒｅｃｏ：＝ベース層再構成
ＢＬ＿ｒｅｓｉ：＝ベース層残留信号（ベース層変換係数の逆変換、または、ベース層再構成とベース層予測との間の差）
ＥＬ＿ｄｉｆｆ：＝エンハンスメント層再構成と、抽出された／フィルタにかけられたベース層再構成との間の差
異なるベース層信号とエンハンスメント層信号とは、図２８の中で説明された記載の中で使用される。

【0180】

記述に対して、フィルタの以下の特性が使用される。
・直線性：記述の中で言及した多くのフィルタが直線的であるけれども、非線形のフィルタも使用される。
・出力サンプルの数：抽出操作において、出力サンプルの数は、入力サンプルの数より大きい。ここで、入力データのフィルタリングは、入力値より多いサンプルを作り出す。従来のフィルタリングでは、出力サンプルの数は、入力のサンプルの数と等しい。そのよ
うなフィルタリング操作は、例えば、品質スケーラブル符号化の中で使用される。
・位相遅延：整数位置でのサンプルのフィルタリングに対して、位相遅延は、通常、ゼロ（または、サンプルの中の整数値の遅延）である。断片的な位置（例えば、半分ペルの位置または４分の１ペルの位置）のサンプルの発生に対して、通常、（サンプルのユニットの中の）断片的な遅延を有するフィルタが、整数格子のサンプルに適用される。

【0181】

全てのハイブリッドビデオ符号化規格（例えば、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ、または、今度のＨＥＶＣ規格）に使用された従来の作動補償予測は、図２９で説明される。現在のブロックの信号を予測するために、既に再構成された画像の領域は、予測信号として置き換えられて、使用される。置き換えの合図のために、作動ベクトルが、ビットストリームの中で、通常、符号化される。整数サンプルの精度作動ベクトルに対して、予測信号を形成するために引用画像の中の引用領域が直接にコピーされる。しかしながら、断片的なサンプルの精度作動ベクトルを送信することも可能である。この場合、予測信号が、断片的なサンプル遅延を有するフィルタで、引用信号をフィルタリングすることによって得られる。使用された引用画像は、通常、引用画像インデックスを、ビットストリーム構文に含めることによって指定される。一般に、最終予測信号を形成するために、２つ以上の予測信号を重ねることも可能である。概念は、例えば、２つの作動仮説で、Ｂスライスの中でサポートされる。この場合、多重予測信号は、異なる仮説に対する異なる作動パラメータ（例えば、異なる引用画像または作動ベクトル）を使用して発生する。単一方向の予測に対して、一定の要因を有する作動補償予測信号のサンプルを掛けて、最終予測信号を形成するために一定のオフセットを加えることも可能である。そのようなスケーリングとオフセット補正が、また、マルチ仮説予測の中の全てまたは選択された仮説のために使用される。

【0182】

以下の記述は、品質エンハンスメント層を有するスケーラブル符号化（エンハンスメント層は、ベース層と同じ解像度を持っているけれども、より高い品質または忠実度を有する入力ビデオを表わす）、および、空間エンハンスメント層を有するスケーラブル符号化（エンハンスメント層は、ベース層より高い解像度、すなわち、サンプルのより大きな数を持っている）に適用される。品質エンハンスメント層に対して、ベース層信号の抽出は必要でないけれども、再構成されたベース層のサンプルのフィルタリングは適用される。空間エンハンスメント層の場合、ベース層信号の抽出が一般に必要である。

【0183】

実施の形態は、エンハンスメント層ブロックの中間予測のために、再構成されたベース層サンプルまたはベース層残留サンプルを使用するための異なる方法をサポートする。従来の中間予測と内部予測とを追加して、以下に記載された１つ以上の方法を支持することが可能である。特定の方法の使用法が、最も大きいサポートされたブロックサイズ（Ｈ．２６４／ＡＶＣの中のマクロブロック、または、ＨＥＶＣの中の符号化ツリーブロック／最も大きい符号化ユニットなど）のレベルで合図される。それは、合図された全てのサポートされたブロックサイズに合図される。または、それは、サポートされたブロックサイズの副組のために合図される。

【0184】

以下で記載された全ての方法に対して、予測信号が、ブロックのための再構成信号として、直接に使用される。あるいは、中間層中間予測のための選択された方法が、残留符号化と結合される。特定の実施の形態において、残留信号は、変換符号化を経由して送信される。そして、すなわち、量子化変換係数（変換係数レベル）は、エントロピー符号化技術（例えば、可変長符号化または算術符号化）を使用して送信され、そして、残留が、送信された変換係数レベルを逆量子化（スケーリング）して、逆変換を適用することによって得られる。特定のバージョンでは、中間層中間予測信号が発生するブロックに対応する完全な残留ブロックが、単一の変換を使用して変換される。すなわち、全体のブロックが、予測ブロックと同じサイズの単一の変換を使用して変換される。別の実施の形態では、
予測ブロックが、例えば、階層的な分解を使用して、より小さいブロックに更に副分割される。そして、それぞれの異なるブロックサイズを有する、より小さいブロックに対して、別々の変換が適用される。別の実施の形態では、符号化ユニットは、より小さい予測ブロックに分割される。そして、予測ブロックのゼロ以上に対して、予測信号が、中間層中間予測のための方法の１つを使用して発生する。そして、次に、全体の符号化ユニットの残留が、単一の変換を使用して変換される。または、符号化ユニットは、異なる変換ユニットに副分割される。そこでは、変換ユニット（単一の変換が適用されるブロック）を形成するための副分割が、符号化ユニットを予測ブロックに分解するための副分割と異なる。

【0185】

以下では、ベース層残留とエンハンスメント層再構成を使用して、予測を実行する可能性が説明される。多重方法は以下の方法を含む。（既に再構成されたエンハンスメント層の画像の作動補償された補間によって得られた）従来の中間予測信号は、（抽出されるた／フィルタにかけられた）ベース層残留信号（ベース層変換係数の逆変換、または、ベース層再構成とベース層予測との間の差）に結合される。この方法は「ＢＬ＿ｒｅｓｉ」モード（図３０に例えて）とも呼ばれる。

【0186】

要するに、エンハンスメント層のサンプルのための予測が、以下に記載される。
ＥＬ ｐｒｅｄｉｃｔｉｏｎ＝ｆｉｌｔｅｒ（ＢＬ＿ｒｅｓｉ（ｔ₀））＋ＭＣＰ＿ｆ
ｉｌｔｅｒ（ＥＬ＿ｒｅｃｏ（ｔ₁））
エンハンスメント層再構成信号の２つ以上仮説が使用されることも、可能である。例えば、
ＥＬ ｐｒｅｄｉｃｔｉｏｎ＝ｆｉｌｔｅｒ（ＢＬ＿ｒｅｓｉ（ｔ₀））＋ＭＣＰ＿ｆ
ｉｌｔｅｒ１（ＥＬ＿ｒｅｃｏ（ｔ₁））＋ＭＣＰ＿ｆｉｌｔｅｒ２（ＥＬ＿ｒｅｃｏ（
ｔ₂））
エンハンスメント層（ＥＬ）引用画像の上で使用される作動補償予測（ＭＣＰ）フィルタは、整数または断片的なサンプル精度のものである。ＥＬ引用画像の上で使用されるＭＣＰフィルタは、ＢＬ復号化過程の間に、ＢＬ引用画像の上で使用されるＭＣＰフィルタと同じである、または、異なる。
作動ベクトルＭＶ（ｘ、ｙ、ｔ）は、ＥＬ引用画像の中の特定の位置を示すために定義される。パラメータｘとｙが、画像の中の空間位置を示す。パラメータｔは、引用画像の時間インデックスを記述するために使用され、引用インデックスとも呼ばれる。しばしば、用語作動ベクトルは、２つの空間要素（ｘ、ｙ）だけについて言及するために使用される。ＭＶの整数部分は、引用画像からの１組のサンプルを取ってくるために使用される。そして、ＭＶの断片的な部分は、１組のフィルタからＭＣＰフィルタを選択するために使用される。取ってこられた引用サンプルは、フィルタにかけられた引用サンプルを作り出すために、フィルタにかけられる。作動ベクトルは、一般に、異なる予測を使用して符号化される。それは、作動ベクトル予測器が、既に符号化された作動ベクトル（そして、構文要素が、潜在的作動ベクトル予測器の組の使用された１つを、潜在的に示す）に基づいて得られ、そして、異なるベクトルが、ビットストリームの中に含まれていることを意味する。最終作動ベクトルは、送信された作動ベクトル差を、作動ベクトル予測器に加えることによって得られる。通常、ブロックのための作動パラメータを完全に得ることも可能である。従って、通常、潜在的作動パラメータ候補のリストは、既に符号化されたデータに基づいて構成される。このリストは、引用フレームの中の共同配置されたブロックの中の作動パラメータに基づいて得られる作動パラメータと同様に、空間的に隣接するブロックの作動パラメータを含むことができる。
ベース層（ＢＬ）残留信号は、以下の１つと定義できる。
・ＢＬ変換係数の逆変換、または、
・ＢＬ再構成とＢＬ予測との間の差、または、
・ＢＬ変換係数の逆変換がゼロであるＢＬブロックに対して、それは、ＢＬ（例えば、
再構成されたＢＬブロックのハイパスフィルタにかけられたバージョン）から得られた別の信号に取り替えることができる、または、
・上の方法の組み合わせ。
現在のＢＬ残留からＥＬ予測要素を計算するために、ＥＬの画像の中の考慮される領域と共同配置されたＢＬ画像の中の領域が特定され、そして、残留信号が、特定されたＢＬ領域から取り出される。共同配置された領域の定義は、それが、ＢＬ解像度の整数のスケーリング係数（例えば、２×スケーラビリティ）、または、ＢＬ解像度の断片的なけたスケーリング係数（例えば、１．５×スケーラビリティ）を説明するように作られる。または、ＢＬ解像度と同じＥＬ解像度（例えば、品質スケーラビリティ）を生み出すことさえできる。品質スケーラビリティの場合、ＢＬ画像の中の共同配置されたブロックは、予測されるべきＥＬブロックと同じ座標を有する。
共同配置されたＢＬ残留は、フィルタにかけられたＢＬ残留サンプルを発生させるために抽出される／フィルタにかけられることができる。
最終ＥＬ予測は、フィルタにかけられたＥＬ再構成サンプルと、フィルタにかけられたＢＬ残留サンプルとを加えることによって得られる。

【0187】

ベース層再構成とエンハンスメント層差信号（実施例Ｊ参照）を使用する予測に関する多重方法は、以下の方法を含む。（抽出された／フィルタにかけられた）再構成されたベース層信号は、作動補償予測信号に結合される。そこでは、作動補償予測信号が、動作補償差画像によって得られる。差画像は、引用画像に対して、再構成されたエンハンスメント層信号と、（抽出された／フィルタにかけられた）再構成されたベース層信号との差を表わす。この方法は、ＢＬ＿ｒｅｃｏモードとも呼ばれる。

【0188】

この概念は図３１で説明される。要するに、ＥＬサンプルのための予測が、以下に記載される。
ＥＬ ｐｒｅｄｉｃｔｉｏｎ＝ｆｉｌｔｅｒ（ＢＬ＿ｒｅｃｏ（ｔ₀））＋ＭＣＰ＿ｆ
ｉｌｔｅｒ（ＥＬ＿ｄｉｆｆ（ｔ₁））

【0189】

ＥＬ差信号の２つ以上の仮説が使用されることも可能である。例えば、
ＥＬ ｐｒｅｄｉｃｔｉｏｎ＝ｆｉｌｔｅｒ（ＢＬ＿ｒｅｓｉ（ｔ₀））＋ＭＣＰ＿ｆ
ｉｌｔｅｒ１（ＥＬ＿ｄｉｆｆ（ｔ₁））＋ＭＣＰ＿ｆｉｌｔｅｒ２（ＥＬ＿ｄｉｆｆ（
ｔ₂））

【0190】

ＥＬ差信号に対して、以下のバージョンが使用される。
・ＥＬ再構成と抽出された／フィルタにかけられたＢＬ再構成との間の差、または、
・（非ブロック化、ＳＡＯ、ＡＬＦのような）ループフィルタリング段階の前または間のＥＬ再構成と、抽出された／フィルタにかけられたＢＬ再構成との間の差。

【0191】

特定のバージョンの使用法は、デコーダの中で固定される、または、それは、系列レベルで、画像レベルで、スライスレベルで、最も大きい符号化ユニットレベルで、符号化ユニットレベルで、または、別の仕切りレベルで合図される。あるいは、それは、別の符号化パラメータに依存することができる。

【0192】

ＥＬ差信号が、ＥＬ再構成と抽出された／フィルタにかけられたＢＬ再構成との間の差を使用して定義されるとき、ちょうどＥＬ再構成とＢＬ再構成とを保存し、スプレディクション（ｓｐｒｅｄｉｃｔｉｏｎ）モードを使用して、ブロックのために急いでＥＬ差信号を計算することに従順になる。その結果、ＥＬ差信号を収納するために必要なメモリを保存する。しかしながら、それはわずかな計算の複雑オーバーヘッドを招く。

【0193】

ＥＬ差画像の上で使用されるＭＣＰフィルタは、整数または断片的なサンプル精度のも
のであることができる。
・差画像のＭＣＰに対して、再構成された画像のＭＣＰと異なる補間フィルタが使用できる。
・差画像のＭＣＰに対して、補間フィルタが、差画像の中の対応する領域の特性に基づいて、（または、ビットストリームの中の符号化パラメータに基づいて、または、送信された情報に基づいて、）選択される。

【0194】

作動ベクトルＭＶ（ｘ，ｙ，ｔ）は、ＥＬ差画像の中の特定の位置を指摘するために定義される。パラメータｘとｙは、画像の中で空間位置を指摘し、そして、パラメータｔが、フィルタにかけられた差画像の時間インデックスを記述するために使用される。

【0195】

ＭＶの整数部分は、差画像から１組のサンプルを取ってくるために使用され、ＭＶの断片的な部分は、１組のフィルタからＭＣＰフィルタを選択するために使用される。取ってこられた差サンプルは、フィルタにかけられた差サンプルを作り出すためにフィルタにかけられる。

【0196】

差画像のダイナミック（能動）範囲は、理論的にオリジナル画像のダイナミック範囲を超えることができる。範囲［０ ２５５］の中の像の８ビット表現を仮定する場合、差画像は範囲［−２５５ ２５５］を持つことができる。しかしながら、実際には、振幅の大部分は、０の±付近の周りに分布される。差画像を格納する好ましい実施の形態において、１２８の一定のオフセットが加えられ、結果は、範囲［０ ２５５］に切り取られ、正規の８ビット像として格納される。その後、符号化および復号化過程の中で、１２８のオフセットが、差画像から読み込まれた差振幅から引き算されて戻される。

【0197】

再構成されたＢＬ信号を使用する方法に対して、以下のバージョンを使用できる。これは、固定される、または、それは、系列レベルで、画像レベルで、スライスレベルで、最も大きい符号化ユニットレベルで、符号化ユニットレベルで、または、別の仕切りレベルで合図される。あるいは、それは、別の符号化パラメータに依存することができる。
・非ブロック化および更に内ループ過程の前の再構成されたベース層サンプル（そのようなサンプルとして、適応型オフセットフィルタまたは適応型ループフィルタ）。
・非ブロック化の後、しかし、更に内ループ過程の前の再構成されたベース層サンプル（そのようなサンプルとして、適応型オフセットフィルタまたは適応型ループフィルタ）。
・非ブロック化および更に内ループ過程の後の再構成されたベース層サンプル（そのようなサンプルとして、適応型オフセットフィルタまたは適応型ループフィルタ）、あるいは、複数の内ループ過程ステップの間の再構成されたベース層サンプル。

【0198】

現在のＢＬ再構成からＥＬ予測成分を計算するために、ＥＬ画像の中で考慮された領域に共同配置されたＢＬ画像の中の領域が特定される。そして、再構成信号が、特定されたＢＬ領域から取り出される。共同配置された領域の定義は、それが、ＢＬ解像度の整数スケーリング係数（例えば、２×スケーラビリティ）、または、ＢＬ解像度の端数のスケーリング係数（例えば、１．５×スケーラビリティ）、または、ＢＬ解像度（例えば、ＳＮＲスケーラビリティ）と同じＥＬ解像度を生み出すことさえ説明するように作られる。ＳＮＲスケーラビリティの場合、ＢＬ画像の中の共同配置されたブロックは、予測されるべきＥＬブロックと同じ座標を有する。

【0199】

最終ＥＬ予測は、フィルタにかけられたＥＬ差サンプルとフィルタにかけられたＢＬ再構成サンプルとを追加することによって得られる。

【0200】

（抽出された／フィルタにかけられた）ベース層再構成信号と作動補償されたエンハン
スメント層差信号とを結合するモードのいくつかの可能な変化が、以下に記載される。
・（抽出された／フィルタにかけられた）ＢＬ信号を使用する方法の複数のバージョンが、使用される。これらのバージョンのために採用された抽出された／フィルタにかけられたＢＬ信号が、使用された（整数サンプル位置もフィルタにかける補間フィルタを含む）補間フィルタと異なることができる、または、２番目のバージョンのために抽出された／フィルタにかけられたＢＬ信号が、最初のバージョンのために抽出された／フィルタにかけられたＢＬ信号を、フィルタにかけることによって得られる。異なるバージョンの１つの選択が、系列で、画像で、スライスで、最も大きい符号化ユニットで、符号化ユニットレベルで、または、画像仕切りの別のレベルで合図される。あるいは、それは、対応する再構成されたＢＬ信号、または、送信された符号化パラメータの特性から推論される。
・異なるフィルタは、ＢＬ＿ｒｅｃｏモードの場合の抽出された／フィルタにかけられたＢＬ再構成された信号と、ＢＬ＿ｒｅｓｉモードの場合のＢＬ残留信号とのために使用される。
・抽出された／フィルタにかけられたＢＬ信号は、作動補償された差信号の２つ以上の仮説に結合されることも可能である。これは図３２で説明される。

【0201】

上記を考慮すると、予測は、ベース層再構成とエンハンスメント層再構成の組み合わせを使用して実行される（実施例Ｃ参照）。図１１、図１２、図１３に関する上の記述との１つの大きな差は、空間的というよりむしろ時間的に実行される内部層予測３４を得るための符号化モードである。すなわち、空間予測３０の代わりに、時間予測３２が、内部層予測信号３４を形成するために使用される。従って、以下で記載されたいくつかの実施例が、図６〜図１０と図１１〜図１３とのそれぞれの上の実施の形態に容易に移転可能である。多重方法は以下の方法を含む。（抽出された／フィルタにかけられた）再構成されたベース層信号は、中間予測信号に結合される。そこでは、中間予測が、再構成されたエンハンスメント層の画像を使用して、作動補償予測によって得られる。最終予測信号は、異なる周波数成分が、異なる重み付けを使用する方法で、中間予測信号とベース層予測信号とを重み付けすることによって得られる。例えば、これは、以下のいずれかによって実現できる。
・ローパスフィルタでベース層予測信号をフィルタにかけて、ハイパスフィルタで中間予測信号をフィルタにかけて、得られたフィルタにかけられた信号を合計すること。
・ベース層予測信号と中間予測信号とを変換して、得られた変換ブロックを重畳すること。そこでは、異なる重み付け係数が、異なる周波数位置のために使用される。次に、得られた変換ブロックは、逆変換され、エンハンスメント層予測信号として使用される。あるいは、得られた変換係数は、スケーリングされた送信された変換係数レベルに追加され、非ブロック化および内ループ過程の前に再構成されたブロックを得るために逆変換される。

【0202】

このモードは、図３３で記載された「ＢＬ＿ｃｏｍｂ」モードとも呼ばれる。

【0203】

要するに、ＥＬ予測は、以下に記載される。
ＥＬ ｐｒｅｄｉｃｔｉｏｎ＝ＢＬ＿ｗｅｉｇｈｔｉｎｇ（ＢＬ＿ｒｅｃｏ（ｔ₀））
＋ＥＬ＿ｗｅｉｇｈｔｉｎｇ（ＭＣＰ＿ｆｉｌｔｅｒ（ＥＬ＿ｒｅｃｏ（ｔ₁）））

【0204】

好ましい実施の形態では、重み付けは、ＥＬ解像度対ＢＬ解像度の比率に依存してなされる。例えば、ＢＬが、範囲［１ １．２５］の中で係数によってスケーリングアップされるべきとき、ＥＬおよびＢＬ再構成のための所定の組の重み付けが使用される。ＢＬが、範囲［１．２５ １．７５］の中で係数によってスケーリングアップされるべきとき、異なる組の重み付けが使用される。ＢＬが、１．７５以上の係数によってスケーリングアップされるべきとき、別の異なる組の重み付けなどが使用される。

【0205】

スケーリング因子分離ベース層とエンハンスメント層とに依存する特定の重み付けをすることも、空間内部層予測に関する他方の実施の形態で可能である。

【0206】

別の好ましい実施の形態では、重み付けが、予測されるためにＥＬブロックサイズに依存してなされる。例えば、ＥＬの中での４×４ブロックに対して、ＥＬ再構成変換係数のための重み付けを指定する重み付けマトリックスが、定義される。そして、ＢＬ再構成変換係数のための重み付けを指定する別の重み付けマトリックスが、定義される。ＢＬ再構成変換係数のための重み付けマトリックスは、例えば、以下の通りである。
６４，６３，６１，４９，
６３，６２，５７，４０，
６１，５６，４４，２８，
４９，４６，３２，１５，
そして、ＥＬ再構成変換係数のための重み付けマトリックスは、例えば、以下の通りである。
０，２，８，２４，
３，７，１６，３２，
９，１８，２０，２６，
２２，３１，３０，２３，

【0207】

同様に、８×８、１６×１６、３２×３２などのようなブロックサイズに対して、分離重み付けマトリックスが定義される。

【0208】

周波数領域の重み付けに使用される実際の変換は、予測残留を符号化するために使用される変換と同じである、または、異なっている。例えば、ＤＣＴのための整数近似は、周波数領域の重み付けと、周波数領域の中で符号化されるべき予測残留の変換係数を計算することの両方に使用できる。

【0209】

別の好ましい実施の形態では、最大の変換サイズは、計算量を制限するために、周波数領域の重み付けのために定義される。仮に、考慮されているＥＬブロックサイズが、最大の変換サイズより大きいならば、ＥＬ再構成とＢＬ再構成とは、一連の隣接する副ブロックに空間的に分離される。周波数領域の重み付けは、副ブロックに実行される。最終予測信号は、重み付けされた結果を組み立てることによって形成される。

【0210】

その上、重み付けは、輝度と色差成分、または、色成分の選択された副組を実行できる。

【0211】

以下では、エンハンスメント層符号化パラメータを得るための異なる可能性が、説明される。エンハンスメント層ブロックを再構成するために使用されるべき符号化（または、予測）パラメータは、ベース層の中の共同配置された符号化パラメータから多重方法によって得られる。ベース層とエンハンスメント層とは、異なる空間解像度を持つことができる、または、それらは同じ空間解像度を持つことができる。

【0212】

Ｈ．２６４／ＡＶＣのスケーラブルビデオ拡張において、中間層作動予測が、構文要素ベースモード旗によって合図されるマクロブロック型に対して実行される。仮に、ベースモード旗が１と等しく、ベース層の中の対応する引用マクロブロックが中間符号化されるならば、エンハンスメント層マクロブロックも、中間符号化される、そして、全ての作動パラメータが、共同配置されたベース層ブロックから推論される。さもなければ（ベースモード旗は０と等しい）、各作動ベクトル、いわゆる「作動予測旗」に対して、構文要素は送信され、ベース層作動ベクトルが、作動ベクトル予測器として使用されるか否かを指定される。仮に、「作動予測旗」が１と等しいならば、ベース層の共同配置された引用ブ
ロックの作動ベクトル予測器は、解像度比率に従ってスケーリングされて、作動ベクトル予測器として使用される。仮に、「作動予測旗」が０と等しいならば、作動ベクトル予測器は、Ｈ．２６４／ＡＶＣの中で指定されたように計算される。

【0213】

以下では、エンハンスメント層符号化パラメータを得るための方法が説明される。ベース層の画像に関係しているサンプルアレイは、ブロックに分解され、各ブロックは、符号化（または、予測）パラメータが関係する。言い換えれば、特定のブロックの中の全てのサンプル位置は、特定の関係符号化（または、予測）パラメータを有する。符号化パラメータは、作動仮説、引用インデックスリスト、作動ベクトル、作動ベクトル予測器識別子、および融合識別子の数を含む作動補償予測のためのパラメータを含む。符号化パラメータは、内部予測方向などの内部予測パラメータも含む。

【0214】

エンハンスメント層の中のブロックが、ベース層からの共同配置された情報を使用して符号化されることは、ビットストリームの中で合図される。

【0215】

例えば、エンハンスメント層符号化パラメータの派生（実施例Ｔ参照）は、以下の通りに作られる。共同配置されたベース層情報を使用して合図されるエンハンスメント層のＮ×Ｍブロックに対して、ブロックの中のサンプル位置に関係した符号化パラメータは、ベース層サンプルアレイの中の共同配置されたサンプル位置に関係した符号化パラメータに基づいて得られる。

【0216】

特定の実施の形態において、この過程は以下のステップによってなされる。
１．ベース層符号化パラメータに基づいて、Ｎ×Ｍエンハンスメント層ブロックの中の各サンプル位置のための符号化パラメータの派生。
２．特定の副ブロックの中の全てのサンプル位置が、同一の関係した符号化パラメータを持つように、副ブロック中のＮ×Ｍエンハンスメント層ブロックの仕切りの派生。

【0217】

また、２番目のステップは省略できる。

【0218】

ステップ１は、エンハンスメント層サンプル位置ｐ_elの関数ｆ_cを使用し、符号化パラ
メータｃを与えて実行される。すなわち、
ｃ＝ｆ_c（ｐ_el）

【0219】

【0220】

２つの水平または垂直の隣接するベース層のサンプル位置ベース層の間の距離は、その
結果、１に等しい。最も左上のベース層のサンプルと、最も左上のエンハンスメント層のサンプルの両方が、ｐ＝（０，０）の位置を持つ。

【0221】

別の例として、関数ｆ_c（ｐ_el）は、ベース層サンプル位置ｐ_elに最も近い、ベース層
サンプル位置ｐ_blに関係した符号化パラメータｃに戻すことができる。
また、関数ｆ_c（ｐ_el）は、特定のエンハンスメント層サンプル位置が、ベース層サン
プル位置の間の距離のユニットの中の断片的な成分を有する場合において、符号化パラメータを補間できる。

【0222】

作動パラメータを戻す前に、関数ｆ_cは、エンハンスメント層サンプル抽出格子の中で
最も近い利用可能な値に対して、作動パラメータの空間置換成分を一周する。

【0223】

各サンプル位置が、ステップ１の後に予測パラメータに関係するので、ステップ１の後に、それぞれのエンハンスメント層のサンプルが予測される。それにもかかわらず、ステップ２では、ブロック仕切りが、より大きいブロックのサンプルの予測操作を実行するために、または、派生した仕切りのブロックの中で予測残留を変換符号化するために得られる。

【0224】

ステップ２は、エンハンスメント層サンプル位置を、正方形または長方形のブロックに分類することによって実行される。それぞれは、副ブロックの中の許された分解の１組の１つに分解される。正方形または長方形のブロックは、それらが図３４の中で表現された異なるレベルに存在できる４枝ツリー構造の中の葉に相当する。

【0225】

それぞれの正方形または長方形のブロックのレベルと分解は、以下の順序付けされたステップを実行することによって決定される。
ａ）最高レベルをサイズＮ×Ｍのブロックに対応するレベルに設定すること。現在のレベルを、最も低いレベル（すなわち、正方形または長方形のブロックが、最小のブロックサイズの単一ブロックを含むレベル）に設定すること。ステップｂ）に行く。
ｂ）現在のレベルでそれぞれの正方形または長方形のブロックに対して、仮に、正方形または長方形のブロックの許された分解が存在するならば、それぞれの副ブロックの中の全てのサンプル位置が、同じ符号化パラメータに関係する、または、（何らかの差の大きさに従って、）小さい差で符号化パラメータに関係する。その分解は、候補分解である。全ての候補分解のうち、正方形または長方形のブロックを、副ブロックの最少の数に分解するものを選択する。仮に、現在のレベルが最高レベルであれば、ステップｃ）に行く。さもなければ、現在のレベルを、次のより高いレベルに設定して、ステップｂ）に行く。
ｃ）終了

【0226】

関数ｆ_cは、ステップｂ）の中のあるレベルで、常に、少なくとも１つの候補分解が存
在するような方法で選択される。

【0227】

同じ符号化パラメータを有するブロックの組分けは、正方形ブロックに制限されないけれども、ブロックを矩形ブロックにまとめることができる。されに、組分けは四枝ツリー構造に制限されない。ブロックが２つの同じサイズの矩形ブロックに、または、２つの異なるサイズの矩形ブロックに分解される分解構造を使用することも可能である。四枝ツリー分解を特定のレベルまで使用して、次に２つの矩形ブロックへの分解を使用する分解構造を使用することも可能である。また、いかなる他のブロック分解も可能である。

【0228】

ＳＶＣ中間層の作動パラメータ予測モードと対照して、記載されたモードは、マクロブロックレベル（または、最も大きく支持するられたブロックサイズ）で支持するられているだけではなく、任意のブロックサイズでも支持するられている。それは、モードは、最
も大きく支持するられたブロックサイズのために合図されるだけではなく、最も大きく支持するられたブロックサイズのブロック（ＭＰＥＧ４、Ｈ．２６４の中のマクロブロック、および、ＨＥＶＣの中の符号化ツリーブロック／最も大きい符号化ユニット）が、階層的にをより小さいブロック／符号化ユニットに副分割され、中間層作動モードの使用法が、（対応するブロックに対して）どんな支持されたブロックサイズにも合図されるということを意味している。特定の実施の形態では、このモードは、選択されたブロックサイズだけを支持する。次に、このモードの使用法を合図する構文要素は、対応するブロックサイズのためだけに送信される。または、このモードの使用法を（別の符号化パラメータの中で）合図する構文要素の値は、別のブロックサイズに対応して制限される。Ｈ．２６４／ＡＶＣのＳＶＣ拡張の中の中間層作動パラメータ予測モードとの別の差は、このモードで符号化されたブロックが、完全に中間符号化されていないということである。ブロックは、共同配置されたベース層信号に依存して、内部符号化された副ブロックを含むことができる。

【0229】

上の記載された方法によって得られた符号化パラメータを使用して、Ｍ×Ｍエンハンスメント層ブロックのサンプルを再構成するためのいくつかの方法の１つが、ビットストリームの中で合図される。得られた符号化パラメータを使用して、エンハンスメント層ブロックを予測するためのそのような方法は、以下を含む。
・作動補償のために、得られた作動パラメータと、再構成されたエンハンスメント層引用画像とを使用して、エンハンスメント層ブロックのための予測信号を得ること。
・（抽出された／フィルタにかけられた）ベース層再構成を、再構成されたエンハンスメント層の画像から引き算することによって発生する、得られた作動パラメータとエンハンスメント層引用画像を使用して、（ａ）現在の画像のための（抽出されるた／フィルタにかけられた）ベース層再構成と、（ｂ）作動補償信号との組み合わせ。
・（ａ）（抽出されるた／フィルタにかけられた）ベース層残留電流画像（再構成された信号と予測との間の差、または、符号化された変換係数値の逆変換）と、（ｂ）得られた作動パラメータと再構成されたエンハンスメント層引用画像を使用する作動補償信号との組み合わせ。

【0230】

別の副ブロックが、中間符号化されるとして、分類されている間、現在のブロックに対してより小さいブロックの中の仕切りを得て、副ブロックに対して符号化パラメータを得るための過程が、内部符号化されるとして、いくつかの副ブロックに分類できる。中間符号化された副ブロックに対して、作動パラメータが、共同配置されたベース層ブロックから得られる。しかし、仮に、共同配置されたベース層ブロックが、内部符号化されるならば、エンハンスメント層の中の対応する副ブロックは、内部符号化されるとして分類される。そのような内部符号化された副ブロックのサンプルに対して、エンハンスメント層信号が、ベース層から情報を使用することによって、予測される。例えば、
・対応するベース層再構成の（抽出された／フィルタにかけられた）バージョンは、内部予測信号として使用される。
・得られた内部予測パラメータは、エンハンスメント層の中に空間内部予測のために使用される。

【0231】

予測信号の重み付けされた組み合わせを使用して、エンハンスメント層ブロックを予測するために以下の実施の形態は、（ａ）再構成されたエンハンスメント層のサンプルを使用して、空間的または時間的（すなわち、差補償）予測によって得られたエンハンスメント層内部予測信号と、（ｂ）現在の画像のための（抽出された／フィルタにかけられた）ベース層再構成であるベース層予測信号とを結合することによって、エンハンスメント層ブロックのための予測信号を発生させるための方法を含む。最終予測信号は、各サンプルに対して、重み付け関数に従った重み付けが使用される方法で、エンハンスメント層内部予測信号とベース層予測信号との重み付けによって得られる。

【0232】

例えば、重み付け関数は、以下の方法によって実現される。オリジナルのエンハンスメント層内部予測信号ｖのローパスフィルタにかけられたバージョンを、ベース層再構成ｕのローパスフィルタにかけられたバージョンと比較してください。その比較から、オリジナルの中間予測信号と（抽出された／フィルタにかけられた）ベース層再構成とを結合するために、使用されるべき各サンプル位置のための重み付けを得てください。例えば、重み付けは、伝達関数ｔを使用して、重み付けｗに対して差ｕ−ｖを写像することによって得られる。すなわち、
ｔ（ｕ−ｖ）＝ｗ

【0233】

異なる重み付け関数が、予測されるべき現在のブロックの異なるブロックサイズのために使用される。また、重み付け関数が、中間予測仮説が得られる引用画像の時間的距離に従って変更される。

【0234】

内部予測信号であるエンハンスメント層内部予測信号の場合、重み付け関数が、例えば、予測されるべき現在のブロックの中の位置に依存する異なる重み付けを使用して、実現される。

【0235】

好ましい実施の形態において、エンハンスメント層符号化パラメータを得るための方法が使用される。そして、方法のステップ２が、図３５に記載されたように、正方形ブロックの許された分解の組を使用している。

【0236】

好ましい実施の形態において、関数ｆ_c（ｐ_el）は、上でｍ＝４、ｎ＝４で記載された
関数ｆ_p,m×_n（ｐ_el）によって与えられたベース層サンプル位置に関係した符号化パラメータを戻す。

【0237】

実施の形態において、関数ｆ_c（ｐ_el）は、以下の符号化パラメータｃを戻す。
・最初に、ベース層サンプル位置は、ｐ_bl＝ｆ_p,4×₄（ｐ_el）として得る。
・仮に、ｐ_blが、以前に符号化されたベース層ブロックと融合することによって得られた関係した中間予測パラメータを持つ（または、同じ作動パラメータを持つ）ならば、ｃは、ベース層の中で融合するために使用される、ベース層ブロックに対応するエンハンスメント層ブロックの作動パラメータと等しい（すなわち、作動パラメータは、対応するエンハンスメント層ブロックからコピーされる）。
・さもなければ、ｃはｐ_blに関係した符号化パラメータと等しい。

【0238】

また、上の実施の形態の組み合わせも可能である。

【0239】

別の実施の形態では、共同配置されたベース層情報を使用して、合図されるべきエンハンスメント層ブロックに対して、作動パラメータの初期設定組から得られた内部予測パラメータとそれらのエンハンスメント層サンプル位置に関係するので、ブロックは、これらのサンプル（すなわち、作動パラメータの初期設定組のコピー）を含むブロックと融合される。作動パラメータの初期設定組は、１つまたは２つの仮説を使用するための指示器、引用画像のリストの中の最初の画像を引用する引用インデックスリスト、および、ゼロ空間置き換えを有する作動ベクトルからなる。

【0240】

別の実施の形態では、共同配置されたベース層情報を使用して、合図されるべきエンハンスメント層ブロックに対して、得られた作動パラメータを有するエンハンスメント層サンプルが、ある順序付けで最初に、予測されて、再構成される。その後に、得られた内部予測パラメータを有するサンプルが、内部再構成順序で予測される。その結果、内部予測は、（ａ）隣接する中間予測ブロックと、（ｂ）内部再構成順序の中の前任の隣接する内
部予測ブロックとから、既に再構成されたサンプル値を使用できる。

【0241】

別の実施の形態では、融合されている（すなわち、別の中間予測ブロックから得られた作動パラメータを取る）エンハンスメント層ブロックに対して、融合候補のリストは、追加的に、対応するベース層ブロックから候補を含む。そして、仮に、エンハンスメント層が、ベース層より高い空間抽出比率を有するならば、追加して、空間置換成分をエンハンスメント層の中の利用可能な隣接する値のみを改良することによっ、ベース層候補から得られた最大４つの候補を含む。

【0242】

別の実施の形態では、ステップ２ｂ）で使用された差の大きさは、仮に差が全てなくなるなる場合にだけ、副ブロックの中に小さい差があると主張する。すなわち、全ての含まれたサンプル位置が、同じ得られた符号化パラメータを持つときだけ、副ブロックは形成される。

【0243】

別の実施の形態において、仮に、（ａ）全ての含まれたサンプル位置が、得られた作動パラメータを持ち、そして、ブロックの中のサンプル位置の組が、対応する作動ベクトルに適用されたベクトル標準に従って特定の値より多い異なる得られた作動パラメータを持っていないならば、あるいは、（ｂ）全ての含まれたサンプル位置が、得られた内部予測パラメータを持ち、そして、ブロックの中のサンプル位置の組が、方向の内部予測の特定の角度より大きい異なる得られた内部予測パラメータを持っていないならば、ステップ２ｂ）で使用された差の大きさは、副ブロックの中に小さい差があると主張する。副ブロックのためにもたらされたパラメータは、意味のある、または、中央の操作によって計算される。
別の実施の形態では、ベース層から符号化パラメータを推論することによって得られた仕切りは、ビットストリームの中で合図されたサイド情報に基づいてさらに改良される。
別の実施の形態では、符号化パラメータがベース層から推論されるブロックのための残留符号化は、ベース層から推論されるブロックの中の仕切りから独立している。例えば、それは、ベース層からの符号化パラメータの推論が、ブロックを、符号化パラメータの別々の組を有してそれぞれいくつかの副ブロックに仕切るけれども、単一の変換がブロックに適用されることを意味する。または、副ブロックのための仕切りと符号化パラメータとがベース層から推論されるブロックが、残留を変換符号化する目的のために、より小さいブロックに分割される。そこでは、変換ブロックへの分割が、異なる符号化パラメータを有するブロックの中の推論された仕切りから独立している。

【0244】

別の実施の形態では、符号化パラメータがベース層から推論されるブロックのための残留符号化が、ベース層から推論されるブロックの中の仕切りに依存している。例えば、それは、変換符号化に対して、変換ブロックの中のブロックの分割が、ベース層から推論される仕切りに依存することを意味する。あるバージョンでは、単一の変換が、異なる符号化パラメータを有するそれぞれの副ブロックに適用される。別のバージョンでは、仕切りが、ビットストリームの中に含むサイド情報に基づいて改良される。別のバージョンでは、いくつかの副ブロックが、残留信号を変換符号化の目的のために、ビットストリームの中で合図されるように、より大きなブロックにまとめられる。

【0245】

また、前述の実施の形態の組み合わせによって得られた実施の形態も可能である。

【0246】

エンハンスメント層作動ベクトル符号化に関係して、この次の部分は、エンハンスメント層の作動情報を効率的に符号化するために、複数のエンハンスメント層予測器を提供して、ベース層の中で符号化された作動情報を使うことによって、スケーラブルビデオ符号化応用の中で作動情報を減少するための方法を説明する。この考えは、空間、時間および品質のスケーラビリティを含むスケーラブルビデオ符号化のために適切である。

【0247】

Ｈ．２６４／ＡＶＣ中間層のスケーラブルビデオ拡張において、作動予測は、構文要素「ベースモード旗」によって合図されるマクロブロックタイプのために実行される。
仮に、「ベースモード旗」が１に等しく、かつ、ベース層の中の対応する引用マクロブロックが中間符号化されるならば、エンハンスメント層マクロブロックも、中間符号化される。そして、全ての作動パラメータが、共同配置されたベース層ブロックから推論される。さもなければ（「ベースモード旗」が０に等しいならば）、各作動ベクトル（いわゆる「作動予測旗」の構文要素）は、ベース層作動ベクトルが作動ベクトル予測器として使用されるか否かに関係なく、送信され、指定される。仮に、「作動予測旗」が１に等しいならば、ベース層の共同配置された引用ブロックの作動ベクトル予測器は、解像度比率に従ってスケーリングされて、作動ベクトル予測器として使用される。仮に、「作動予測旗」が０に等しいならば、作動ベクトル予測器は、Ｈ．２６４／ＡＶＣで規定されるように計算される。
ＨＥＶＣにおいて、作動パラメータは、高度な作動ベクトル競争（ＡＭＶＰ）を適用することによって予測される。ＡＭＶＰは互いに競争する２つの空間作動ベクトル予測器と１つの時間作動ベクトル予測器とを特色とする。空間候補は、現在の予測ブロックの左または上に位置した、隣接する予測ブロックの位置から選択される。時間候補は、前に符号化された画像の共同配置された位置の中で選択される。全ての空間的で時間的候補の位置は、図３６の中で表示される。

【0248】

空間的で時間的候補が推論された後に、ゼロ作動ベクトルを候補としてリストに導入する冗長検査が、実行される。インデックスを記述する候補リストは、作動補償予測のために、作動ベクトル差と共に使用される作動ベクトル予測器を特定するために送信される。
ＨＥＶＣは、更に、符号化構成に基づいた四枝ツリーから生じる符号化冗長作動パラメータの減少を狙うブロック融合アルゴリズムを用いる。これは、特定作動パラメータを共有する多重予測ブロックから成る領域を、作成することによって達成される。これらの作動パラメータは、新しい作動情報の種を蒔いている各領域の最初の予測ブロックのために、一度符号化される必要があるだけである。ＡＭＶＰと同様に、ブロック融合アルゴリズムは、それぞれの予測ブロックのために、可能な融合候補を含むリストを構成する。候補の数は、スライスヘッダーの中で合図されて１から５までの範囲がある「ＮｕｍＭｅｒｇｅＣａｎｄｓ」によって定義される。候補は、空間隣接予測ブロックと共同配置された時間画像の中の予測ブロックとから推論される。候補であるとみなされる予測ブロックのための可能なサンプル位置は、図３６に示された位置と等しい。ＨＥＶＣの中の可能な予測ブロック仕切りを有するブロック融合アルゴリズムの例は、図３７で説明される。図３７（ａ）の中の太い線は、１つの領域に融合されて特定の作動データを保持する予測ブロックを全て定義する。この作動データはブロックＳだけに送られる。符号化されるべき現在の予測ブロックは、「Ｘ」によって示される。取り外された領域の中の予想ブロックは、ブロック走査順序の中で予測ブロックＸの後継者であるので、関係した予測データをまだ有さない。ドットは、可能な空間融合候補である隣接するブロックのサンプル位置を示す。可能な候補が予測器リストに挿入される前に、空間候補のための冗長検査が、図３７（ｂ）の中で指示されるように実行される。

【0249】

空間的で時間的な候補の数が、「ＮｕｍＭｅｒｇｅＣａｎｄｓ」より少ない場合、追加候補が、既存の候補と結合することによって、または、ゼロ作動ベクトル候補を挿入することによって提供される。仮に、候補がリストに追加されるならば、それは候補を特定するために使用されるインデックスを備えている。新しい候補がリストへ追加されると、リストが、インデックス「ＮｕｍＭｅｒｇｅＣａｎｄｓ」−１によって特定された最後の候補で完成する融合インデックスは（０からスタートして）増加する。固定長符号ワードは、候補リストの派生およびビットストリームの構文解析の独立操作を確実にするために、融合候補インデックスを符号化するために使用される。

【0250】

以下のセクションは、エンハンスメント層の作動パラメータを符号化するために、ベース層から得られた予測器を含む、多重エンハンスメント層予測器を使用するための方法を説明する。ベース層のために既に符号化された作動情報は、エンハンスメント層を符号化している間、作動データ速度をかなり減少させるために用いることができる。この方法は、ベース層から予測ブロックの全ての作動データを直接に得る可能性を含む。この場合、追加作動データは、符号化される必要がない。以下の記述において、ターム（ｔｅｒｍ）予測ブロックは、ＨＥＶＣの中の予測ユニット（Ｈ．２６４／ＡＶＣの中のＭ×Ｎブロック）を示し、画像の中のサンプルの一般的な組として理解される。

【0251】

現在のセクションの最初の部分は、ベース層作動ベクトル予測器（実施例Ｋ参照）によって作動ベクトル予測候補のリストを拡張することに関するものである。ベース層作動ベクトルは、エンハンスメント層符号化の間、作動ベクトル予測器リストに追加される。これは、ベース層からの共同配置された予測ブロックの１つまたは多重の作動ベクトル予測器を推論し、そして、作動補償予測のための予測器のリストの中の候補としてそれらを使用することによって達成される。ベース層の共同配置された予測ブロックは、現在のブロックの中央、左、上、右または下部に位置している。仮に、選択された位置のベース層の予想ブロックが、作動関係データを含まない、または、現在の範囲の外に存在して、それ故に現在アクセス可能でないならば、２者択一の位置が、作動ベクトル予測器を推論するために使用できる。これらの２者択一の位置は図３８に表現される。

【0252】

ベース層の推論された作動ベクトルは、予測器候補としてそれらが使用される前に、解像度比率に従ってスケーリングされる。作動ベクトル差と同様に、作動ベクトル予測器の候補リストを記述するインデックスが、作動補償予測のために使用される最終作動ベクトルを指定する予測ブロックに送信される。Ｈ．２６４／ＡＶＣ規格のスケール可能な拡張と対照して、ここに提示された実施の形態は、引用画像の中の共同配置されたブロックの作動ベクトル予測器の使用法を構成しない−むしろそれは、別の予測器の中のリストの中で利用可能であり、送信されるインデックスによって記述される。
実施の形態において、作動ベクトルは、ベース層の共同配置された予測ブロックの中心位置Ｃ₁から得られ、最初のエントリーとして候補リストの先頭に加えられる。作動ベク
トル予測器の候補リストは、１つの項目によって拡張される。仮に、サンプル位置Ｃ₁の
ために利用可能なベース層の中に作動データが全くなければ、リスト構造は触れられない。別の実施の形態では、ベース層の中のサンプル位置のどんな系列も、作動データに対してチェックされる。作動データが見つけられた場合において、対応する位置の作動ベクトル予測器は、候補リストに挿入され、エンハンスメント層の作動補償予測のために利用可能である。その上、ベース層から得られた作動ベクトル予測器は、リストのいかなる他の位置の候補リストにも挿入される。別の実施の形態では、仮に、所定の規制が認められるならば、ベース層作動予測器は候補リストに挿入されるだけである。これらの規制は、ゼロと等しくなければならない、共同配置された引用ブロックの融合旗の値を含む。別の規制は、解像度比率に対してベース層の共同配置された予測ブロックの広さと等しいエンハンスメント層の中の予測ブロックの広さである。例えば、Ｋ×空間スケーラビリティの応用において、仮に、ベース層の中の共同配置されたブロックの幅がＮと等しく、エンハンスメント層の中の符号化されるべき予測ブロックの幅がＫ^*Ｎと等しいならば、作動ベク
トル予測器が推論されるのみである。
別の実施の形態では、ベース層の数個のサンプル位置からの１個以上の作動ベクトル予測器が、エンハンスメント層の候補リストに追加される。別の実施の形態では、共同配置されたブロックから推論された作動ベクトル予測器を有する候補が、リストを拡張することよりむしろ、リストの中の空間的で時間的な候補に置き代わる。また、作動ベクトル予測器候補リストの中のベース層データから得られた多重作動ベクトル予測器を含むことも可能である。

【0253】

第２の部分は、ベース層候補によって融合候補のリストを拡張することに関するものである（実施例Ｋ参照）。ベース層の１つ以上の共同配置されたブロックの作動データは、融合候補リストに追加される。この方法は、ベース層とエンハンスメント層とを横切って特定の作動パラメータを共有する融合領域を作成する可能性を可能にする。前のセクションと同様、図３８に表現されるように、中央位置で共同配置されたサンプルをカバーするベース層ブロックは、この中央位置に制限されるのではなく、直ぐ近傍のどんな位置からも得られる。どんな作動データも、所定の位置に対して利用可能でなく、または、アクセス可能でない場合、２者択一の位置が、可能な融合候補を推論するために選択できる。得られた作動データが、融合候補リストに挿入される前に、それは、解像度比率に従ってスケーリングされる。融合候補リストを記述するインデックスは、送信され、作動ベクトルを定義する。それは、作動補償予測のために使用される。しかしながら、また、方法は、ベース層の中の予測ブロックの作動データに依存する可能な作動予測器候補を抑圧する。
実施の形態において、図３８のサンプル位置Ｃ₁をカバーするベース層の中の共同配置
されたブロックの作動ベクトル予測器は、エンハンスメント層の中の現在予測ブロックを符号化するための可能な融合候補であるとみなされる。しかしながら、仮に、引用ブロックの「ｍｅｒｇｅ＿ｆｌａｇ」（融合旗）が１と等しい、または、共同配置された引用ブロックが作動データを全く含んでいないならば、作動ベクトル予測器はリストに挿入されない。いかなる他の場合でも、得られた作動ベクトル予測器は、２番目のエントリーとして融合候補リストに追加される。この実施の形態では、融合候補リストの長さが保有され、拡張されないことに注意しなさい。別の実施の形態では、図３８に表現されているように、１個以上の作動ベクトル予測器が、候補リストを融合するために加えられるように、サンプル位置のいずれもカバーする予測ブロックから得られる。別の実施の形態では、ベース層の１個または数個の作動ベクトル予測器が、どんな位置にても融合候補リストに追加される。別の実施の形態では、仮に、所定の規制が認められるならば、１個または複数個の作動ベクトル予測器が、融合候補リストに追加されるだけである。そのような規制は、（作動ベクトル予測のために前の実施の形態のセクションの中で記載された解像度比率に関する）ベース層の共同配置されたブロックの広さに整合するエンハンスメント層の予測ブロックの広さを含む。別の実施の形態の中の別の規制は、１に等しい「ｍｅｒｇｅ＿ｆｌａｇ」の値である。別の実施の形態では、融合候補リストの長さが、ベース層の共同配置された引用ブロックから推論された作動ベクトル予測器の数によって拡張される。

【0254】

この明細書の３番目の部分は、ベース層データ（実施例Ｌ参照）を使用して、作動パラメータ（または、融合）候補リストを再順序付けすることに対してであって、ベース層の中の既に符号化された情報に従って、融合候補リストを再順序付けする過程について説明する。仮に、現在のブロックのサンプルをカバーする共同配置されたベース層ブロックが、特定のオリジナルから得られた候補を有する作動補償予測であれば、（仮に存在するならば）同等のオリジナルからの対応するエンハンスメント層候補が、最初のエントリーとして、融合候補リストの先頭に置かれる。このステップは、最も低いインデックスを有するこの候補を記述することに等しい。最も低いインデックスは、最も簡素な符号ワードをこの候補に割り当てる。
実施の形態では、共同配置されたベース層ブロックは、図３８に表現されるように、サンプル位置Ａ₁をカバーする予測ブロックから発生する候補と共に作動補償予測される。
仮に、エンハンスメント層の中の予測ブロックの融合候補リストが、作動ベクトル予測器がエンハンスメント層の中に対応するサンプル位置Ａ₁から発生する候補を含むならば、
この候補は、最初のエントリーとしてリストの中に置かれる。その結果、この候補は、インデックス０によって索引を付けられ、従って、最も短い固定長符号ワードを割り当てられる。この実施の形態において、このステップは、エンハンスメント層の中の融合候補リストに対して、共同配置されたベース層ブロックの作動ベクトル予測器の派生の後に実行される。従って、再順序付け過程は、共同配置されたベース層ブロックの作動ベクトル予
測器として、対応するブロックから発生する候補に最も低いインデックスを割り当てる。２番目に低いインデックスは、このセクションの２番目の部分で説明されているように、ベース層の中の共同配置されたブロックから派生する候補に割り当てられる。その上、再順序付けの過程は、ベース層の中の共同配置されたブロックの「ｍｅｒｇｅ＿ｆｌａｇ」が１と等しい場合にだけ、行われる。別の実施の形態では、再順序付けの過程は、ベース層の中の共同配置された予測ブロックの「ｍｅｒｇｅ＿ｆｌａｇ」の値の如何に関わらず実行される。別の実施の形態において、対応するオリジナルの作動ベクトル予測器を有する候補は、融合候補リストのどんな位置にも置かれる。別の実施の形態では、再順序付けの過程は、融合候補リストの中の他の全ての候補を取り除く。ここに、作動ベクトル予測器が、ベース層の中の共同配置されたブロックの作動補償予測のために使用される作動ベクトル予測器と同じオリジナルを有している候補だけが、リストの中に留まる。この場合、単独の候補が利用され、そして、インデックスは全く送信されない。

【0255】

この明細書の４番目の部分は、ベース層データを使用して、作動ベクトル予測器候補リストを再順序付けすること（実施例Ｌ参照）に対してであって、ベース層ブロックの作動パラメータを使用して、作動ベクトル予測の候補リストを再順序付けする過程を実施の形態とする。仮に、現在の予測ブロックのサンプルをカバーする共同配置されたベース層ブロックが、特定のオリジナルからの作動ベクトルを使用するならば、エンハンスメント層の中の対応するオリジナルからの作動ベクトル予測器は、最初のエントリーとして、現在の予測ブロックの作動ベクトル予測器リストの中で使用される。これは、最も安い符号ワードを、この候補に割り当てることをもたらす。
実施の形態において、共同配置されたベース層ブロックは、図３８に表わされるように、サンプル位置Ａ₁をカバーする予測ブロックから発生する候補と共に、作動補償予測さ
れる。仮に、エンハンスメント層の中のブロックの作動ベクトル予測器候補リストが、作動ベクトル予測器がエンハンスメント層の中に対応するサンプル位置Ａ₁から発生する候
補を含むならば、この候補は最初のエントリーとしてリストの中に置かれる。その結果、この候補は、インデックス０によって索引を付けられ、従って、最も短い固定長符号ワードを割り当てられる。この実施の形態において、このステップは、エンハンスメント層の中の作動ベクトル予測器リストに対して、共同配置されたベース層ブロックの作動ベクトル予測器の派生の後に実行される。従って、再順序付け過程は、共同配置されたベース層ブロックの作動ベクトル予測器として、対応するブロックから発生する候補に最も低いインデックスを割り当てる。２番目に低いインデックスは、このセクションの最初の部分で説明されているように、ベース層の中の共同配置されたブロックから派生する候補に割り当てられる。その上、再順序付けの過程は、ベース層の中の共同配置されたブロックの「ｍｅｒｇｅ＿ｆｌａｇ」が０と等しい場合にだけ、行われる。別の実施の形態では、再順序付けの過程は、ベース層の中の共同配置された予測ブロックの「ｍｅｒｇｅ＿ｆｌａｇ」の値の如何に関わらず実行される。別の実施の形態において、対応するオリジナルの作動ベクトル予測器を有する候補は、ｓ同ベクトル予測器候補リストのどんな位置にも置かれる。

【0256】

以下は変換係数のエンハンスメント層符号化に関するものである。

【0257】

最先端のビデオと画像符号化において、予測信号の残留は、前に変換され、結果の量子化された変換係数が、ビットストリームの中で合図される。この係数符号化は固定されたスキームに続く。

【0258】

変換サイズ（ルマ（ｌｕｍａ）残留に対して：４×４，８×８，１６×１６，３２×３２）に依存して、異なる走査方向が定義される。走査順に最初と最後の位置が与えられ、これらの走査は、どの係数位置が重要である場合があるかを唯一決定して、その結果、符号化される必要がある。全ての走査の中で、最後の位置はビットストリームの中で合図さ
れなければならないけれども、最初の係数は位置（０，０）におけるＤＣ係数であるように設定される。ビットストリームは、変換ブロックの中で（水平な）ｘと（垂直な）ｙの位置を符号化することによって行われる。最後の位置からスタートして、重要な係数の合図が、ＤＣ位置に達するまで、逆の走査順でなされる。

【0259】

変換サイズ１６×１６と３２×３２に対して、１つの走査、すなわち、「対角線走査」だけが定義される。ところが、サイズ２×２と４×４と８×８の変換ブロックは、さらに、「垂直」で「水平」な走査を利用できる。しかしながら、垂直で水平な走査の使用は、内部予測符号化ユニットの残留に制限される。そして、実際に使用された走査が、その内部予測の指示モードから得られる。インデックスが６と１４の範囲にある指示モードは、垂直な走査をもたらす。インデックスが２２と３０の範囲にある指示モードは、水平な走査をもたらす。全ての残留指示モードが、対角線の走査をもたらす。

【0260】

図３９は、４×４変換ブロックに対して定義される対角線の走査、垂直な走査および水平な走査を示す。より大きい変換の係数は、１６の係数の副グループに副分割される。これらの副グループは重要な係数位置の階層的な符号化を許す。非重要であるとして合図された副グループは、重要な係数を含まない。８×８と１６×１６に対しての変換は、走査と図４０と図４１のそれらが関係した副グループ区分と共にそれぞれ表わされる。大きい矢印は係数副グループの走査順を表する。

【0261】

ジグザグの走査において、４×４より大きいサイズのブロックに対して、副グループは、ジグザグの走査で走査された４×４画素のブロックからなる。副グループはジグザグな方法で走査される。図４２は、ＪＣＴＶＣ−Ｇ７０３の中で提案されるように、１６×１６変換のための垂直な走査を示す。

【0262】

以下の段落は変換係数符号化のための拡張について説明する。これらは新しい走査モード（変換ブロックへの走査と重要な係数位置の変更された符号化を割り当てる方法）の導入を含む。これらの拡張は、変換ブロックの中に異なる係数分布の、より良い適合を許し、その結果、比率歪関数の中で符号化利得を達成する。

【0263】

垂直で水平な走査パターンのための新しい実現は、１６×１６と３２×３２変換ブロックのために導入される。以前に提案された走査パターンと対照して、走査副グループのサイズは、水平な走査に対して１６×１で、垂直な走査に対して１×１６である。また、８×２と２×８のサイズを有する副グループは、それぞれ選択される。副グループ自体は同じ方法で走査される。

【0264】

垂直な走査は、拡げられた行のようなものの中に位置している変換係数のために効率的である。これは、水平なエッジを含む画像の中で認められる。

【0265】

水平な走査は、拡げられた列のようなものの中に位置している変換係数のために効率的である。これは、垂直なエッジを含む画像の中で認められる。

【0266】

図４３は、１６×１６変換ブロックのための垂直で水平な走査の実現を示す。係数副グループは、それぞれ一つの行または一つの列として定義される。垂直で水平な走査は、導入された走査パターンである。その走査パターンは、列のような走査によって、行の中に係数の符号化を許す。４×４ブロックに対して、最初の行は、最初の列の残りに続いて走査され、次に、２番目の行の残りに続いて走査され、次に、２番目の列の中の係数の残りに続いて走査される。次に、３番目の行の残りが走査され、最後に４番目の列と行の残りが走査される。

【0267】

より大きいブロックに対しては、ブロックは４×４の副グループに区分される。これらの４×４ブロックは、垂直で水平な走査で走査され、副グループは垂直で水平な走査自体で走査される。

【0268】

垂直で水平な走査は、係数がブロックの中の最初の行と列に位置している場合に使用される。このように、係数は、別の走査（例えば対角線走査）を使用する場合より早く走査される。これは、水平なエッジと垂直なエッジとを両方を含む画像に対して認められる。

【0269】

図４４は１６×１６変換ブロックに対して垂直で水平な走査を示す。

【0270】

別の走査も同様に可能である。例えば、走査と副グループとの間の全ての組み合わせが使用できる。例えば、４×４ブロックに対して水平走査を使用して、副グループに対して対角線走査を使用して、走査の適切な選択が、各副グループに対して異なる走査を選択することによって適用される。

【0271】

変換係数がエンコーダ側での量子化の後に並び替えられて、従来の符号化が使用される方法で、異なる走査が実現できる、ということを述べるべきである。デコーダ側で、変換係数は、従来の復号化が行われて、スケーリングと逆変換との前に（または、スケーリングの後と逆の変換の前に）並び替えられる。

【0272】

ベース層信号の異なる部分は、ベース層信号から符号化パラメータを得るために利用される。ベース層信号の中には以下がある。
・共同配置された再構成されたベース層信号
・共同配置された残留ベース層信号
・エンハンスメント層予測信号を再構成されたベース層信号から引き算することによって得られた、推定されたエンハンスメント層の残留信号
・ベース層フレームの画像仕切り

【0273】

［勾配パラメータ］
勾配パラメータは以下の通り得られる：
調査されたブロックの各画素に対して、勾配が計算される。これらの勾配から、大きさと角度が計算される。ブロックの中で最も起きた角度は、ブロックに関係する（ブロック角度）。角度は、３つの方向のみ、水平（０°）、垂直（９０°）、対角（４５°）を使用するように向く。

【0274】

［エッジ検出］
エッジ検出器は、以下のような調査されたブロックに適用される：
最初に、ブロックが、ｎ×ｎ円滑フィルタ（例えば、ガウス系）によって円滑にされる。
サイズｍ×ｍの勾配マトリクスが、各画素の勾配を計算するために使用される。あらゆる画素の大きさと角度が計算される。角度は、３つの方向のみ、水平（０°）、垂直（９０°）、対角（４５°）を使用するように向く。
所定の閾値１より大きい大きさを有するあらゆる画素に対して、隣接する画素がチェックされる。仮に、隣接する画素が閾値２より大きい大きさを有し、そして、現在の画素と同じ角度を有しているならば、この角度の計数器が増加する。全体のブロックに対して、最高値の計数器がブロックの角度として選択される。

【0275】

［前の変換によってベース層係数を得ること］
特定のＴＵに対して、ベース層信号の周波数領域から符号化パラメータを得るために、調査され共同配置された信号（再構成されたベース層信号／残留ベース層信号／推定され
たエンハンスメント層信号）は、周波数領域の中で変換される。好ましくは、これは、その特定のエンハンスメント層ＴＵによって使用される同じ変換を使用して、実行される。
結果としてもたらされるベース層変換係数は、量子化されても、されなくてもよい。
エンハンスメント層ブロックと比較可能な係数分布を得るために、変更されたラムダによる比率歪量子化が使用される。

【0276】

［特定の分布および走査の走査有効スコア］
特定の重要な係数分布の走査有効スコアが、以下の通り定義される：
調査されたブロックの各位置を、調査された走査の順にインデックスによって表わせてください。次に、重要な係数位置のインデックス値の合計が、この走査の有効スコアと定義される。その結果、より小さいスコアを有する走査であればあるほど、特定の分布は、より良い効率性を表わす。

【0277】

［変換係数符号化に対して適切な走査パターン選択］
仮に、いくつかの走査が、特定のＴＵに対して利用可能であるならば、走査の１つを唯一選択する規則が、定義される必要がある。

【0278】

［走査パターン選択のための方法］
選択された走査が、（どんな追加データも送信されること無く）既に復号化された信号から直接得ることができる。これは、共同配置されたベース層信号の特性に基づいて、または、エンハンスメント層信号だけを利用することによってのどちらかによってできる。
走査パターンが、以下によって、ＥＬ信号から得ることができる。
・前述された最先端の派生規則。
・共同配置された輝度残留のために選択された色差残留のための走査パターンを使用すること。
・符号化モードと使用した走査パターンとの間の固定写像を定義すること。
・最後の重要な係数位置から走査パターンを得ること（推定された固定走査パターンに比例して）。
・
好ましい実施の形態において、走査パターンが、以下の通り既に復号化された最後の位置に依存して選択される：

【0279】

最後の位置は、変換ブロックの中のｘとｙ座標として表わされ、既に復号化される（符号化される最後に依存する走査に対して、固定走査パターンが、最後の位置の復号化過程のために推定される。それは、そのＴＵの最先端の走査パターンである）。Ｔを特定の変換サイズに依存する、定義された閾値であるとしなさい。仮に、最後の重要な位置のｘ座標もｙ座標も、Ｔを超えないならば、対角線走査が選択される。

【0280】

さもなければ、ｘはｙと比較される。仮に、ｘがｙを超えるならば、水平走査が選択され、垂直走査は選択されない。４×４ＴＵのためのＴの好ましい値は１である。４×４より大きいＴＵのためのＴの好ましい値は４である。

【0281】

別の好ましい実施の形態において、前の実施の形態の中で説明される走査パターンの派生は、サイズ１６×１６と３２×３２のＴＵのためだけにされるべく制限される。それは、さらに輝度信号だけに制限される。

【0282】

また、走査パターンは、ＢＬ信号から得られる。ベース層信号から選択された走査パターンを得るために、前述したどんな符号化パラメータも使用できる。特に、共同配置されたベース層信号の勾配が、計算され、事前に定義された閾値と比較される、および／または、潜在的に見つけられたエッジが利用できる。

【0283】

好ましい実施の形態において、走査方向が、以下の通り、ブロック勾配角度に依存して得られる。水平方向において量子化された勾配に対して、垂直な走査が使用される。垂直方向において量子化された勾配に対して、水平走査が使用される。さもなければ、対角線走査が選択される。

【0284】

別の好ましい実施の形態において、走査パターンは、前の実施の形態で記載されたように得られる。しかし、ブロック角度の発生数が閾値を超えている、それらの変換ブロックだけに対して得られる。残っている変換ユニットは、ＴＵの最先端の走査パターンを使用して、復号化される。

【0285】

仮に、共同配置されたブロックのベース層係数が有効であり、明らかに、ベース層データストリームの中で合図される、または、前の変換によって計算されるならば、ベース層係数は以下の方法で利用できる。
・それぞれの利用可能な走査に対して、ベース層係数を符号化するための費用が評価される。最低費用を有する走査は、エンハンスメント層係数を復号化のために使用される。
・それぞれの利用可能な走査の有効スコアは、ベース層係数分布のために計算される。最小のスコアを有する走査は、エンハンスメント層係数を復号化するために使用される。
・変換ブロックの中のベース層係数の分布は、特定の走査パターンに関係している分布の事前に定義された組の１つに分類される。
・走査パターンは、最後の重要なベース層係数に依存して選択される。

【0286】

仮に、共同配置されたベース層ブロックが、内部予測を使用して、予測されたならば、その予測の内部方向が、エンハンスメント層走査パターンを得るために使用される。

【0287】

その上、共同配置されたベース層ブロックの変換サイズは、走査パターンを得るために利用される。

【0288】

好ましい実施の形態において、走査パターンが、ＩＮＴＲＡ＿ＣＯＰＹモード予測ブロックの残留を表わすＴＵだけに対して、ＢＬ信号から得られる。そして、それらの共同配置されたベース層ブロックは、内部予測されている。それらのブロックに対して、変更された最先端技術の走査選択が使用される。最先端技術の走査選択と対照して、共同配置されたベース層ブロックの内部予測方向は、走査パターンを選択するために使用される。

【0289】

ビットストリームの中で走査パターンインデックスに合図すること（実施例Ｒ参照）。
変換ブロックの走査パターンが、エンコーダによって比率歪価値の中で選択され、次に、ビットストリームの中で合図される。

【0290】

特定の走査パターンが、利用できる走査パターン候補のリストの中のインデックスに合図することによって、符号化できる。このリストは、特定の変換サイズのために定義された走査パターンの固定リストであるか、または、復号化過程の中の能動的に満たすことができる。能動的にリストを満たすことは、それらの走査パターンの適した選択を許す。走査パターンは、たぶん最も効率的に、特定の係数分布を符号化する。そうすることによって、特定のＴＵのための利用可能な走査パターンの数は減少できる。そして、その結果、そのリストの中のインデックスの合図は、それほど高価ではない。仮に、特定のリストの中の走査パターンの数が、１つまで減少するならば、合図は必要ない。
特定のＴＵに対して、走査パターン候補を選択する過程は、前述した、どんな符号化パラメータも利用してよい、および／または、その特定のＴＵの特定の特性を利用する所定の規則に従う。それらの中に、以下がある。
・ＴＵは輝度／色差信号の残留を表わす。
・ＴＵは、特定のサイズを有する。
・ＴＵは特定の予測モードの残留を表わす。
・ＴＵの中の最後の重要な位置は、デコーダによって知られ、ＴＵの特定の副分割の中に属する。
・ＴＵは１つのＩ／Ｂ／Ｐ−スライス（Ｓｉｃｅ）の部分である。
・ＴＵの係数は、特定の量子化パラメータを使用して、量子化される。

【0291】

好ましい実施の形態において、走査パターン候補のリストは、全てのＴＵに対して、３つの走査を含む：「対角線走査」、「垂直走査」および「水平走査」。

【0292】

別の実施の形態が、候補リストに、走査パターンの任意の組み合わせを含ませることによって、得られる。

【0293】

特定の好ましい実施の形態の中で、走査パターン候補のリストは、「対角線走査」、「垂直走査」および「水平走査」のどれかを含む。

【0294】

ところが、（前述の）最先端の走査派生によって選択された走査パターンが、最初に、リストの中にあるように設定される。特定のＴＵが１６×１６または３２×３２のサイズを有する場合にだけ、別の候補がリストに追加される。残っている走査パターンの順序は、最後の重要な係数位置に依存する。

【0295】

（注意：対角線の走査は、いつも、１６×１６と３２×３２変換を推定するリストの中で最初のパターンである）

【0296】

仮に、ｘ座標の大きさがｙ座標の大きさを超えるならば、水平走査が次に選ばれる。そして、垂直走査が最後の位置に置かれる。さもなければ、垂直走査は、水平走査が後に続く、２番目の位置に置かれる。

【0297】

別の好ましい実施の形態が、リストの中に１つ以上の候補を有しているために、更に条件を制限することによって得られる。

【0298】

別の実施の形態において、仮に、変換ブロックの係数が、輝度信号の残留を表わすならば、垂直で水平な走査は、１６×１６と３２×３２変換ブロックの候補リストに追加されるだけである。

【0299】

別の実施の形態において、仮に、最後の重要な位置のｘとｙ座標の両方が、特定の閾値より大きいならば、垂直で水平な走査は、変換ブロックの候補リストに追加される。この閾値はサイズに依存するモードおよび／またはＴＵである。好ましい閾値は、４×４より大きい全てのサイズに対して３であり、４×４ＴＵに対しては１である。

【0300】

別の実施の形態において、仮に、最後の重要な位置のｘとｙ座標のいずれかが、特定の閾値より大きいならば、垂直で水平な走査は、変換ブロックの候補リストに追加されるだけである。この閾値はサイズに依存するモードおよび／またはＴＵである。好ましい閾値は、４×４より大きい全てのサイズに対して３であり、４×４ＴＵに対しては１である。

【0301】

別の実施の形態において、仮に、最後の重要な位置のｘとｙ座標の両方が、特定の閾値より大きいならば、垂直で水平な走査は、１６×１６と３２×３２変換ブロックの候補リストに追加されるだけである。この閾値はサイズに依存するモードおよび／またはＴＵである。好ましい閾値は、４×４より大きい全てのサイズに対して３であり、４×４ＴＵに対しては１である。

【0302】

別の実施の形態において、仮に、最後の重要な位置のｘとｙ座標のいずれかが、特定の閾値より大きいならば、垂直で水平な走査は、１６×１６と３２×３２変換ブロックの候補リストに追加されるだけである。この閾値はサイズに依存するモードおよび／またはＴＵである。好ましい閾値は、４×４より大きい全てのサイズに対して３であり、４×４ＴＵに対しては１である。

【0303】

記載された実施の形態のいずれかに対して、特定の走査パターンが、ビットストリームの中で合図される。合図自体は、異なる合図レベルでなされる。特に、合図は、残留四枝ツリーのどんな節（ノード）（その節の全ての副ＴＵ、それは合図された走査を使用し、同じ候補リストインデックスを使用する）で、ＣＵ／ＬＣＵレベルで、または、スライスレベルで、合図された走査パターンを有したＴＵの副グループの中で低下する各ＴＵに対してなされる。

【0304】

候補リストの中のインデックスが、固定長さ符号化、可変長さ符号化、算術符号化（文脈に適した２進の算術符号化を含む）、または、ＰＩＰＥ符号化を使用して、送信される。仮に、文脈に適した符号化が使用されるならば、文脈は、隣接するブロック、前述した符号化モード、および／または、特定のＴＵ自身の特性のパラメータに基づいて得られる。

【0305】

好ましい実施の形態において、文脈に適した符号化は、ＴＵの走査パターン候補リストの中のインデックスに合図するために使用される。しかし、文脈モデルは、ＴＵの中で、最後の重要な位置の変換サイズおよび／または位置に基づいて得られる。
走査パターンを得るために前述したいずれかの方法が、特定のＴＵに対して、明白な走査パターンに合図するための文脈モデルを得るために使用される。

【0306】

最後の重要な走査位置を符号化するために、以下の変更がエンハンスメント層の中で使用される。
・別々の文脈モデルが、ベース層情報を使用して、全てのまたは副組の符号化モードに対して使用される。また、異なる文脈モデルを、ベース層情報を有する異なるモードに対して使用することも可能である。
・文脈モデルは、共同配置されたベース層ブロックの中のデータに依存できる（例えば、ベース層の中の変換係数分布、ベース層の勾配情報、共同配置されたベース層ブロックの中の最後のキャン位置）。
・最後の走査位置が、最後のベース層走査位置との差として符号化できる。
・仮に、最後の走査位置が、ＴＵの中で、ｘとｙ位置に合図することによって符号化されるならば、２番目の合図された座標の文脈モデルは、最初の合図の値に依存できる。
・最後の重要な位置から独立している走査パターンを得るために、前述のいずれかの方法が、最後の重要な位置に合図するために、文脈モデルを得るために使用される。

【0307】

特定のバージョンにおいて、走査パターン派生は、最後の重要な位置に依存する：
・仮に、最後の走査位置が、ＴＵの中で、そのｘとｙ位置に合図することによって符号化されるならば、２番目の座標の文脈モデルは、既に最初の座標を知るとき、まだ可能な候補であるそれらの走査パターンに依存できる。
・仮に、最後の走査位置が、ＴＵの中で、そのｘとｙ位置に合図することによって符号化されるならば、２番目の座標の文脈モデルは、既に最初の座標を知るとき、走査パターンが既に唯一選択されるかどうかに依存できる。

【0308】

別のバージョンにおいて、走査パターン派生は、最後の重要な位置から独立している。
・文脈モデルは、特定のＴＵの中の使用された走査パターンに依存できる。
・走査パターンを得るために前述した方法のいずれかが、最後の重要な位置に合図するために文脈モデルを得るために使用される。

【0309】

ＴＵの中の重要な位置と重要な旗（一つの変換係数のための副グループ旗および／または重要な旗）を符号化するために、それぞれ、以下の変更がエンハンスメント層の中で使用される：
・別々の文脈モデルは、ベース層情報を使用する全てのまたは副組の符号化モードに対して使用される。また、ベース層情報を有する異なるモードに対して異なる文脈モデルを使用することも可能である。
・文脈モデルは、共同配置されたベース層ブロックの中のデータ（例えば、特定の周波数位置対して、重要な変換係数の数）に依存できる。
・走査パターンを得るために前述した方法のいずれかが、重要な位置および／またはそれらのレベルに合図するために、文脈モデルを得るために使用される。
・符号化されるべき係数の空間的近傍の中の既に符号化された変換係数レベルの重要な数、および、同様の周波数位置の共同配置されたベース層信号の中の重要な変換係数の数の両方を評価する一般化されたテンプレートが、使用される。
・符号化されるべき係数の空間的近傍の中の既に符号化された変換係数レベルの重要な数、および、同様の周波数位置の共同配置されたベース層信号の中の重要な変換係数のレベルの両方を評価する一般化されたテンプレートが、使用される。
・副グループ旗のためにモデル化される文脈は、使用された走査パターンおよび／または特定の変換サイズに依存する。

【0310】

ベース層とエンハンスメント層のための異なる文脈初期化テーブルの使用法が使用される。エンハンスメント層のための文脈モデル初期化は、以下の方法で変更される。
・エンハンスメント層は、初期化値の別々の組を使用する。
・エンハンスメント層は、異なる操作モード（空間的／時間的、または、品質のスケーラビリティ）に対して、初期化値の別々の組を使用する。
・ベース層の中の計数部分を有するエンハンスメント層文脈モデルが、初期化状態として、それらの計数部分の状態を使用する。
・文脈の初期状態を得るためのアルゴリズムが、ベース層ＱＰおよび／またはデルタＱＰ依存である。

【0311】

次に、ベース層データを使用して、後方の適切なエンハンスメント層の符号化の可能性が説明される。以下の部分は、スケーラブルビデオ符号化システムの中で、エンハンスメント層予測信号を生成する方法を説明する。その方法は、予測パラメータの値を推論するために画像のサンプル情報を復号化したベース層を使用する。予測パラメータの値は、符号化映像ビットストリームの中に送信されないけれども、エンハンスメント層のための予測信号を形成するために使用される。従って、エンハンスメント層信号を符号化するために必要な総合的なビット比率は減少する。

【0312】

最先端のハイブリッドビデオエンコーダは、原初（ソース）イメージを、通常、階層構造に従って、異なるサイズのブロックに分解する。各ブロックに対して、ビデオ信号は、空間的に隣接するブロックから予測される（内部予測）、または、以前に時間的に符号化された画像から予測される（中間予測）。予測と実際のイメージとの間の差は、変換と量子化である。結果としてもたらされる予測パラメータと変換係数は、符号化映像ビットストリームを形成するためにエントロピー符号化される。整合しているデコーダは、逆の順序のステップに従う…
ビットストリームを符号化するスケーラブルビデオは、異なる層で構成される：完全な復号化可能ビデオを提供するベース層と、復号化のために追加して使用されるエンハンスメント層とである。エンハンスメント層は、より高い空間解像度（空間的スケーラビリテ
ィ）、時間解像度（時間的スケーラビリティ）または品質（ＳＮＲスケーラビリティ）を提供できる。
Ｈ．２６４／ＡＶＣ ＳＶＣのような以前の規格では、作動ベクトル、引用画像インデックスまたは内部予測モードのような構文要素は、符号化されたベース層の中の対応する構文要素から直接に予測される。
エンハンスメント層の中では、メカニズムは、ブロックレベルで、ベース層構文要素から得られた、あるいは、別のエンハンスメント層構文要素または復号化されたエンハンスメント層サンプルから予測された予測信号を使用して、その間において切り換えるために存在する。

【0313】

以下の部分では、ベース層データが、デコーダ側でエンハンス層パラメータを得るために使用される。

【0314】

［方法１：作動パラメータ候補派生］
空間的または品質的エンハンスメント層の画像のブロック（ａ）に対して、ベース層の画像の対応するブロック（ｂ）が決定される。それは同じ画像領域をカバーする。
エンハンスメント層のブロック（ａ）のための中間予測信号は、以下の方法を使用して形成される：
１．作動補償パラメータ組候補は、例えば、時間的または空間的に隣接するエンハンスメント層ブロックまたはそれの派生物から決定される。
２．作動補償は、各候補の作動補償パラメータ組に対して、エンハンスメント層の中で中間予測信号を形成するために実行される。
３．最も良い作動補償パラメータ組は、エンハンスメント層ブロック（ａ）のための予測信号と、ベース層ブロック（ｂ）の再構成信号との間の誤差の大きさを最小にすることによって選択される。空間的スケーラビリティにおいて、ベース層ブロック（ｂ）は、補間フィルタを使用して、空間的に抽出される。

【0315】

作動補償パラメータ組は、作動補償パラメータの特定の組み合わせを含む。

【0316】

作動補償パラメータは、作動ベクトル、引用画像インデックス、１つおよび２つの予測と別のパラメータとの間の選択である。

【0317】

２者択一の実施の形態において、ベース層ブロックから、作動補償パラメータ組の候補が使用される。また、中間予測は、（ベース層の引用画像を使用して、）ベース層の中で実行される。誤差の大きさを適用するために、ベース層ブロック（ｂ）再構成信号が、抽出されることなく、直接に使用される。選択された最適作動補償パラメータ組は、ブロック（ａ）の予測信号を形成するためにエンハンスメント層の引用画像に適用される。作動ベクトルが空間エンハンスメント層の中で適用されるとき、作動ベクトルは解像度変化に従ってスケーリングされる。
エンコーダとデコーダの両方が、利用可能な候補の中で、最適作動補償パラメータ組を選択して、同じ予測信号を作成するために、同じ予測ステップを実行できる。これらのパラメータは、符号化映像ビットストリームの中で合図されない。

【0318】

予測方法の選択は、ビットストリームの中で合図され、エントロピー符号化を使用して、符号化される。階層的なブロック副分割構造の中で、この符号化方法は、あらゆる副レベル、または、替りに符号化階層構造の副組だけで選択できる。替りの実施の形態において、エンコーダは、改良作動パラメータ組予測信号をデコーダに送信できる。改良信号は作動パラメータの符号化された値を差動的に含む。改良信号は、エントロピー符号化される。

【0319】

代替の実施の形態において、デコーダは最も良い候補のリストを生成する。使用された作動パラメータ組のインデックスは、符号化映像ビットストリームの中で合図される。インデックスは、エントロピー符号化される。実施例において、リストは誤差の大きさを増加させることによって順序付けされる。

【0320】

実施例は、作動補償パラメータ組候補を生成させるために、ＨＥＶＣの適した作動ベクトル予測（ＡＭＶＰ）候補リストを使用する。
別の実施例は、作動補償パラメータ組候補を生成させるために、ＨＥＶＣの融合モード候補リストを使用する。

【0321】

［方法２：作動ベクトル派生］
空間的または品質のエンハンスメント層の画像のブロック（ａ）に対して、同じ画像領域をカバーするベース層の画像の対応するブロック（ｂ）が決定される。

【0322】

エンハンスメント層のブロック（ａ）のための中間予測信号は、以下の方法を使用して形成される：
１．作動ベクトル予測が選択される。
２．検索位置の定義された組の作動の推定が、エンハンスメント層の引用画像で実行される。
３．それぞれの検索位置に対して、誤差の大きさが決定され、最も小さい誤差を有する作動ベクトルが選択される。
４．ブロック（ａ）の予測信号が、選択された作動ベクトルを使用して形成される。

【0323】

替わりの実施の形態において、検索が、再構成されたベース層信号で実行される。空間スケーラビリティに対して、選択された作動ベクトルは、ステップ４の中で予測信号を生成する前に、空間解像度変化に従って、スケーリングされる。

【0324】

検索位置は、完全な解像度または副ペル（ｓｕｂ−ｐｅｌ）の解像度でできる。また、検索は複数のステップの中で、例えば、選択された完全なペル位置に基づいた別の組の候補が後に続く、最も良い完全なペル位置を最初に決定することを実行できる。例えば、誤差の大きさが、定義された閾値の下であるとき、検索が早く終了できる。

【0325】

エンコーダとデコーダの両方が、候補の中で最適作動ベクトルを選択して、同じ予測信号を生成するために、同じ予測ステップを実行できる。これらのベクトルは、符号化映像ビットストリームの中で合図されない。

【0326】

予測方法の選択は、ビットストリームの中で合図して、エントロピー符号化を使用して、符号化される。階層的なブロック副分割構造の中で、この符号化方法が、あらゆる副レベルの中で、または、替りの符号化階層の副組だけで選択される。替りの実施の形態において、エンコーダは、改良作動ベクトル予測信号をデコーダに送信できる。改良信号は、エントロピー符号化される。

【0327】

実施例は、作動ベクトル予測器を選ぶために、方法１で記載されたアルゴリズムを使用する。

【0328】

別の実施例は、エンハンスメント層の時間的または空間的に隣接するブロックから作動ベクトル予測器を選ぶために、ＨＥＶＣの適した作動ベクトル予測（ＡＭＶＰ）方法を使用する。

【0329】

［方法３：内部予測モード派生］
エンハンスメント層（ｎ）画像の中の各ブロック（ａ）に対して、再構成されたベース層（ｎ−１）の画像の中の同じ領域をカバーする、対応するブロック（ｂ）が決定される。

【0330】

スケーラブルビデオデコーダにおいて、それぞれのベース層ブロック（ｂ）に対して、内部予測信号が、以下のアルゴリズムによって推論される内部予測モード（ｐ）を使用して、形成される。
１）内部予測信号は、エンハンスメント層の内部予測のための規則に従い、しかし、ベース層からサンプル値を使用して、それぞれの利用可能な内部予測モードのために生成される。
２）最も良い予測モード（ｐ_best）は、内部予測信号と復号化されたベース層ブロック（ｂ）との間の誤差の大きさ（例えば、絶対差の合計）を最小にすることによって決定される。
３）ステップ２）の中で選択された予測（ｐ_best）モードは、エンハンスメント層のための内部予測規則をサポートして、エンハンスメント層ブロック（ａ）のための予測信号を生成するために使用される。

【0331】

エンコーダとデコーダの両方が、最も良い予測モード（ｐ_best）を選択して、整合している予測信号を形成するために、同じステップを実行できる。実際の内部予測モード（ｐ_best）は、符号化映像ビットストリームの中でこうして合図されない。

【0332】

予測方法の選択は、ビットストリームの中で合図されて、エントロピー符号化を使用して、符号化される。階層的なブロック副分割構造の中で、この符号化モードは、あらゆる副レベルの中で、または、替りに符号化階層の副組だけで選択される。替りの実施の形態は、内部予測信号を生成するために、ステップ２）の中でエンハンスメント層からサンプルを使用する。空間スケーラブルエンハンスメント層に対して、ベース層は、誤差の大きさを適用するために、補間フィルタを使用して、抽出される。

【0333】

代替の実施の形態は、エンハンスメント層ブロックを、より小さいブロックサイズ（ａ_i）の複数のブロックに分ける（例えば、１６×１６ブロック（ａ）は１６個の４×４ブ
ロック（ａ_i）に分けられる）。前述したアルゴリズムは、それぞれの副ブロック（ａ_i）と、対応するベース層ブロック（ｂ_i）とに適用される。ブロック（ａ_i）の予測の後に、残留符号化が適用される、そして、結果は、ブロック（ａ_i+1）を予測するために使用さ
れる。

【0334】

代替の実施の形態は、予測された内部予測モード（ｐ_best）を決定するために、（ｂ）または（ｂ_i）の周囲のサンプル値を使用する。例えば、空間エンハンスメント層（ｎ）
の４×４ブロック（ａ_i）が、対応する２×２ベース層ブロック（ｂ_i）を有するとき、（ｂ_i）の周囲のサンプルが、予測された内部予測モード（ｐ_best）の決定のために使用さ
れる４×４ブロック（ｃ_i）を形成するために使用される。

【0335】

代替の実施の形態において、エンコーダは、改良内部予測方向信号をデコーダに送信できる。例えば、ＨＥＶＣのような映像コーデックにおいて、ほとんどの内部予測モードが、境界画素が予測信号を形成するために使用される角度に対応している。最適モードへのオフセットが、（上で説明されているように決定されている）予測された内部予測モード（ｐ_best）に対する差として送信される。改良モードは、エントロピー符号化される。

【0336】

内部予測モードは、通常、それらの確率に依存して符号化される。Ｈ．２６４／ＡＶＣにおいて、最もありそうなモードは、ブロックの（空間的）近傍で使用されるモードに基づいて決定される。ＨＥＶＣリストにおいて、最もありそうなモードが作成される。これ
らの最もありそうなモードは、全体のモード数が必要とするより少ない、ビットストリームの中の記号を使用して選択される。代替の実施の形態は、最もありそうなモード、または、最もありそうなモードのリストのメンバーとして、ブロック（ａ）（前述のアルゴリズムで説明されているように決定されている）に対して、予測された内部予測モード（ｐ_best）を使用する。

【0337】

［方法４：境界領域を使用する内部予測］
スケーラブルまたは品質のエンハンスメント層のブロック（ａ）（図４５参照）のための内部予測信号を形成するためのスケーラブルビデオデコーダにおいて、同じ層の周囲領域からのサンプル（ｂ）のラインは、ブロック領域の中に満たされるように使用される。これらのサンプルは、既に符号化された領域から取られる（通常、しかし、上側と左側の境界上に必要ない）。

【0338】

これらの画素を選択する以下の代替の変形が使用される。
ａ）仮に、周囲領域の中の画素が、まだ符号化されていないならば、画素値は、現在のブロックを予測するために使用されない。
ｂ）仮に、周囲領域の中の画素が、まだ符号化されていないならば、画素値は、既に符号化された隣接する画素から得られる（例えば、反復によって）。
ｃ）仮に、周囲領域の中の画素が、まだ符号化されていないならば、画素値は、復号化されたベース層の画像の対応する領域の中で画素から得られる。

【0339】

ブロック（ａ）の内部予測を形成するために、上で説明されるように得られる画素（ｂ）の隣接するラインが、ブロック（ａ）のそれぞれのライン（ａ_j）の中を満たすための
テンプレートとして、使用される。

【0340】

ブロック（ａ）のライン（ａ_j）は、ｘ軸に沿って一つ一つ満たされる。可能な限り良
い予測信号を達成するために、テンプレートサンプル（ｂ）の列は、関係ライン（ａ_j）
のための予測信号（ｂ´_j）を形成するためにｙ軸に沿って移行する。

【0341】

各ラインの中で最適の予測を見付けるために、移行オフセット（ｏ_j）が、結果として
得られた予測信号（ａ_j）とベース層の中の対応するラインのサンプル値との間の誤差の
大きさを最小にすることによって、決定される。

【0342】

仮に、（ｏ_j）が非整数値であれば、補間フィルタが、（ｂ´₇）の中に示されているように、（ａ_j）の整数サンプル位置に（ｂ）の値を写像するために使用される。

【0343】

仮に、空間スケーラビリティが使用されるならば、補間フィルタが、ベース層の対応するラインのサンプル値の整合する数を作成するために使用される。

【0344】

充満方向（ｘ軸）は、水平（左右）、垂直（上下）、対角またはいかなる他の角度にもできる。テンプレートライン（ｂ）のために使用されるサンプルは、ｘ軸に沿ったブロックの直接に隣接するサンプルである。テンプレートライン（ｂ）は、ｘ軸に対して９０°の角度を形成するｙ軸に沿って移行する。

【0345】

ｘ軸の最適な方向を見付けるために、充填内部予測信号が、ブロック（ａ）のために生成される。予測信号と対応するベース層ブロックとの間の最小の誤差大きさを有する角度が選択される。
可能な角度の数は制限される。

【0346】

エンコーダとデコーダの両方が、最も良い予測角度とオフセットとを決定するために、
同じアルゴリズムを実行する。どんな明白な角度情報またはオフセット情報も、ビットストリームの中で合図される必要はない。
代替の実施の形態では、ベース層の画像のサンプルだけが、オフセット（ｏ_i）を決定
するために使用される。

【0347】

代替の実施の形態では、予測されたオフセット（ｏ_i）の改良（例えば、差の値）が、
ビットストリームの中で合図される。エントロピー符号化が、改良オフセット値を符号化するために使用される。

【0348】

代替の実施の形態では、予測された方向の改良（例えば、差の値）が、ビットストリームの中で、合図される。エントロピー符号化が、改良方向値を符号化するために使用される。

【0349】

仮に、ライン（ｂ´_j）が予測のために使用されるならば、代替の実施の形態は、選択
するために閾値を使用する。仮に、最適なオフセット（ｏ_j）のための誤差大きさが、閾
値未満であるならば、ライン（ｃ_i）は、ブロックライン（ａ_j）の値を決定するために使用される。仮に、最適なオフセット（ｏ_j）のための誤差大きさが、閾値以上であるなら
ば、（抽出された）ベース層信号は、ブロックライン（ａ_j）の値を決定するために使用
される。

【0350】

［方法５：別の予測パラメータ］
別の予測情報が、例えば、副ブロックの中のブロックの仕切りのために、方法１〜３と同様にして推論される。

【0351】

空間または品質のエンハンスメント層の画像のブロック（ａ）に対して、ベース層の画像の対応するブロック（ｂ）が決定される。それは、同じ画像領域をカバーする。

【0352】

エンハンスメント層のブロック（ａ）のための予測信号は、以下の方法を使用して形成される。
１）予測信号は、テストされたパラメータのそれぞれの可能な値のために生成される。
２）最も良い予測モード（ｐ_best）が、予測信号と復号化されたベース層ブロック（ｂ）との間の誤差大きさ（例えば、絶対差の合計）を最小にすることによって決定される。
３）ステップ２）で選択された予測（ｐ_best）モードが、エンハンスメント層ブロック（ａ）のための予測信号を生成するために使用される。

【0353】

エンコーダとデコーダの両方が、可能な候補の中で最適な予測モードを選択して同じ予測信号を生成するために、同じ予測ステップを実行できる。実際の予測モードは、符号化映像ビットストリームの中で合図されない。

【0354】

予測方法の選択が、ビットストリームの中で合図されて、エントロピー符号化を使用して符号化される。階層的なブロック副分割構造の中で、この符号化方法は、あらゆる副レベルの中で、または、符号化階層のサブ組のみに対して２者択一的に選択される。

【0355】

以下の記述は、簡潔に、上の実施の形態のいくつかをまとめる。

【0356】

［再構成されたベース層のサンプルを使用して、内部予測信号を生成するための多重方法を有するエンハンスメント層符号化］
主な実施例：エンハンスメント層の中のブロックを符号化することに対して、再構成されたベース層のサンプルを使用して内部予測信号を生成するための多重方法が、再構成されたエンハンスメント層のサンプルだけに基づく予測信号を生成する方法に加えて、提供
される。

【0357】

副実施例：
・多重方法は以下の方法を含む。（抽出された／フィルタにかけられた）再構成されたベース層信号は、エンハンスメント層予測信号として直接に使用される。
・多重方法は以下の方法を含む。（抽出された／フィルタにかけられた）再構成されたベース層信号は、空間内部予測信号に結合される。そこでは、空間内部予測が、隣接するブロックに対して差サンプルに基づいて得られる。差サンプルは、再構成されたエンハンスメント層信号と（抽出された／フィルタにかけられた）再構成されたベース層信号との差を表わす（実施例Ａ参照）。
・多重方法は以下の方法を含む。（隣接する再構成されたエンハンスメント層のサンプルを使用して得られた）従来の空間内部予測信号は、（抽出された／フィルタにかけられた）ベース層残留信号（ベース層変換係数の逆変換、または、ベース層再構成とベース層予測の差）に結合される（実施例Ｂ参照）。
・多重方法は以下の方法を含む。（抽出された／フィルタにかけられた）再構成されたベース層信号は、空間内部予測信号に結合される。そこでは、空間内部予測が、隣接するブロックの再構成されたエンハンスメント層のサンプルに基づいて得られる。最終予測信号が、異なる周波数成分が異なる重み付けを使用する方法で、空間予測信号とベース層予測信号とに重み付けすることによって得られる（実施例Ｃ１参照）。
これは、例えば、以下のどれかによって実現される。
○ベース層予測信号を、ローパスフィルタによってフィルタにかけ、空間内部予測信号を、ハイパスフィルタによってフィルタにかけ、得られたフィルタにかけられた信号を加算すること（実施例Ｃ２参照）。
○ベース層予測信号とエンハンスメント層予測信号を変換し、得られた変換ブロックを重ねる。そこでは、異なる重み付け係数が、異なる周波数位置に対して使用される（実施例Ｃ３参照）。得られた変換ブロックは、逆変換され、エンハンスメント層予測信号として使用される。あるいは、得られた変換係数は、スケーリングされた送信された変換係数レベルに追加され、次に、非ブロック化および内ループ過程の前に再構成されたブロックを得るために、逆変換される（実施例Ｃ４参照）。
・再構成されたベース層信号を使用する方法に対して、以下のバージョンが使用される。これは固定される、または、それは、系列レベル、画像レベル、スライスレベル、最も大きい符号化ユニットレベル、符号化ユニットレベルで合図される。または、それは、別の符号化パラメータに依存して作成される。
○非ブロック化および内ループ過程の前の再構成されたベース層のサンプル（サンプルとして、適応型オフセットフィルタまたは適応型ループフィルタ）。
○非ブロック化の後で、内ループ過程の前の再構成されたベース層のサンプル（サンプルとして、適応型オフセットフィルタまたは適応型ループフィルタ）。
○非ブロック化および内ループ過程の後の再構成されたベース層のサンプル（サンプルとして、適応型オフセットフィルタまたは適応型ループフィルタ）、または、多重内ループ過程ステップの間の再構成されたベース層のサンプル（実施例Ｄ参照）。
・（抽出された／フィルタにかけられた）ベース層信号を使用する方法の多重バージョンが使用される。これらのバージョンのために採用された、抽出された／フィルタにかけられたベース層信号が、使用された補間フィルタ（整数サンプル位置をフィルタにかける補間フィルタを含む）の中で異なる。または、２番目のバージョンのために抽出された／フィルタにかけられたベース層信号が、最初のバージョンのために抽出された／フィルタにかけられたベース層信号をフィルタにかけることによって得られる。異なるバージョンの１つの選択が、系列レベル、画像レベル、スライスレベル、最も大きい符号化ユニットレベル、符号化ユニットレベルで合図される。それは、対応する再構成されたベース層信号、または、送信された符号化パラメータの特性から推論される（実施例Ｅ参照）。
・異なるフィルタが、再構成されたベース層信号（実施例Ｅ参照）およびベース層残留
信号（実施例Ｆ参照）を、抽出する／フィルタにかけるために使用される。
・残留信号がゼロであるベース層ブロックに対して、それは、ベース層から得られた別の信号（例えば、再構成されたベース層ブロックのハイパスフィルタにかけられたバージョン）に取り替えられる、（実施例Ｇ参照）。
・空間内部予測を使用するモードに対して、（特定の符号化順序による）エンハンスメント層の中の利用できない隣接するサンプルが、抽出された／フィルタにかけられたベース層信号の対応するサンプルに取り替えられる（実施例Ｈ参照）。
・空間内部予測を使用するモードに対して、内部予測モードの符号化が変更される。最もありそうなモードのリストは、共同配置されたベース層信号の内部予測モードを含む。
・特定のバージョンにおいて、エンハンスメント層の画像は、２段階の過程の中で復号化される。最初の段階では、予測のために、ベース層信号を使用するブロックだけ（隣接するブロックを使用しない）が、または、中間予測信号が、復号化され、再構成される。２番目の段階では、予測のための隣接するサンプルを使用する残留ブロックは、再構成される。２番目の段階で再構成されたブロックに対して、空間内部予測概念が拡張される（実施例Ｉ参照）。既に再構成されたブロックの有用性に基づいて、現在のブロックの上側や左側に隣接するサンプルだけではなく、下側や右側に隣接するサンプルも、空間内部予測のために使用される。

【0358】

［再構成されたベース層のサンプルを使用して、中間予測信号を発生させるための多重方法を有するエンハンスメント層符号化］
主な実施例：エンハンスメント層の中のブロックを符号化することに対して、再構成されたベース層のサンプルを使用して、中間予測信号を発生させるための多重方法が、再構成されたエンハンスメント層のサンプルだけに基づいて予測信号を発生させる方法に追加して提供される。

【0359】

副実施例：
・多重方法は以下の方法を含む。（既に再構成されたエンハンスメント層の画像の作動補償された補間によって得られる）従来の中間予測信号は、（抽出された／フィルタにかけられた）ベース層残留信号（ベース層変換係数の逆変換、または、ベース層再構成とベース層予測との間の差）に結合される。
・多重方法は以下の方法を含む。（抽出された／フィルタにかけられた）再構成されたベース層信号は、作動補償予測信号に結合される。そこでは、作動補償予測信号が、作動補償差画像によって得られる。差画像は、引用画像に対して、再構成されたエンハンスメント層信号と（抽出された／フィルタにかけられた）再構成されたベース層信号との間の差を表わす（実施例Ｊ参照）。
・多重方法は以下の方法を含む。（抽出された／フィルタにかけられた）再構成されたベース層信号は、中間予測信号に結合される。そこでは、中間予測が、再構成されたエンハンスメント層の画像を使用して、作動補償予測によって得られる。最終予測信号が、異なる周波数成分が異なる重み付け付けを使用する方法で、中間予測信号およびベース層予測信号を重み付けすることによって得られる（実施例Ｃ参照）。
これは、例えば、以下のどれかによって実現できる。
○ローパスフィルタでベース層予測信号をフィルタにかけ、ハイパスフィルタで中間予測信号をフィルタにかけ、得られたフィルタにかけられた信号を加算すること。
○ベース層予測信号および中間予測信号を変換し、得られた変換ブロックを重ねる。そこでは、異なる重み付け係数が、異なる周波数位置に対して使用される。得られた変換ブロックは、非ブロック化および内ループ過程の前に再構成されたブロックを得るために、逆変換され、エンハンスメント層予測信号として使用される、あるいは、得られた変換係数が、スケーリングされた送信された変換係数レベルに追加され、次に、逆変換される。
・再構成されたベース層信号を使用する方法に対して、以下のバージョンが使用される
。これが固定される、または、それが、系列レベル、画像レベル、スライスレベル、最も大きい符号化ユニットレベル、符号化ユニットレベルで合図される。または、それが、別の符号化パラメータに依存して作成される。
○非ブロック化および内ループ過程の前の再構成されたベース層のサンプル（サンプルとして、適応型オフセットフィルタまたは適応型ループフィルタ）。
○非ブロック化の後で、内ループ過程の前の再構成されたベース層のサンプル（サンプルとして、適応型オフセットフィルタまたは適応型ループフィルタ）。
○非ブロック化および内ループ過程の後の再構成されたベース層のサンプル（サンプルとして、適応型オフセットフィルタまたは適応型ループフィルタ）、または、多重内ループ過程ステップの間の再構成されたベース層のサンプル（実施例Ｄ参照）。
・残留信号がゼロであるベース層ブロックに対して、それは、ベース層から得られた別の信号（例えば、再構成されたベース層ブロックのハイパスフィルタにかけられたバージョン）に取り替えられる、（実施例Ｇ参照）。
・（抽出された／フィルタにかけられた）ベース層信号を使用する方法の多重バージョンが使用される。これらのバージョンのために採用された、抽出された／フィルタにかけられたベース層信号が、使用された補間フィルタ（整数サンプル位置をフィルタにかける補間フィルタを含む）の中で異なる。または、２番目のバージョンのために抽出された／フィルタにかけられたベース層信号が、最初のバージョンのために抽出された／フィルタにかけられたベース層信号をフィルタにかけることによって得られる。異なるバージョンの１つの選択が、系列レベル、画像レベル、スライスレベル、最も大きい符号化ユニットレベル、符号化ユニットレベルで合図される。それは、対応する再構成されたベース層信号、または、送信された符号化パラメータの特性から推論される（実施例Ｅ参照）。
・異なるフィルタが、再構成されたベース層信号（実施例Ｅ参照）およびベース層残留信号（実施例Ｆ参照）を、抽出する／フィルタにかけるために使用される。
・差画像（エンハンスメント層再構成と、抽出された／フィルタにかけられたベース層信号との間の差）の作動補償予測に対して（実施例Ｊ参照）、異なる補間フィルタが、再構成された画像の作動補償予測に対してより使用される。
・差画像（エンハンスメント層再構成と、抽出された／フィルタにかけられたベース層信号との間の差）の作動補償予測に対して（実施例Ｊ参照）、補間フィルタが、差分画像の中の対応する領域の特性に基づいて（または、符号化パラメータに基づいて、または、ビットストリームの中で送信された情報に基づいて）選択される。

【0360】

［エンハンスメント層作動パラメータ符号化］
主な実施例：エンハンスメント層作動パラメータ符号化のために、複数のエンハンスメント層予測器と、ベース層から得られた少なくとも１つの予測器との使用。

【0361】

副実施例：
・（スケーリングされた）ベース層作動ベクトルを、作動ベクトル予測器リストに追加すること（実施例Ｋ参照）。
○現在のブロックの中央位置の共同配置されたサンプルをカバーするベース層ブロックの使用（可能な別の派生）。
○解像度比率に従うスケール作動ベクトル。
・共同配置されたベース層ブロックの作動データを融合候補リストに加えること（実施例Ｋ参照）。
○現在のブロックの中央位置の共同配置されたサンプルをカバーするベース層ブロックの使用（可能な別の派生）。
○解像度比率に従うスケール作動ベクトル。
○仮に、ベース層の中で「融合＿旗」が１と等しいならば、加算しない。
・ベース層融合情報に基づく融合候補リストの再順序付け（実施例Ｌ参照）
○仮に、共同配置されたベース層ブロックが、特定の候補に融合されるならば、対応
するエンハンスメント層候補が、エンハンスメント層融合候補リストの中で、最初のエントリーとして使用される。
・ベース層作動予測器情報に基づく作動予測器候補リストの再順序付け（実施例Ｌ参照）
○仮に、共同配置されたベース層ブロックが、特定の作動ベクトル予測器を使用するならば、対応するエンハンスメント層作動ベクトル予測器が、エンハンスメント層作動ベクトル予測器候補リストの中で、最初のエントリーとして使用される。
・融合インデックスの派生（すなわち、現在のブロックが融合される候補）は、共同配置されたブロックの中のベース層情報に基づく（実施例Ｍ参照）。例として、仮に、ベース層ブロックが、特定の隣接するブロックに融合され、そして、それが、エンハンスメント層ブロックも融合するビットストリームの中で合図されるならば、融合インデックスは、全く送信されないけれども、代わりに、エンハンスメント層ブロックが、共同配置されたベース層ブロックとして、同じ隣接するブロック（しかし、エンハンスメント層の中の）に融合される。

【0362】

［エンハンスメント層仕切りと作動パラメータ推論］
主な実施例：ベース層仕切りおよび作動パラメータに基づいた、エンハンスメント層仕切りおよび作動パラメータの推論（たぶん、この実施例を副実施例のどれかに結合することが要求される）。

【0363】

副実施例：
・共同配置されたベース層作動データに基づくエンハンスメント層のＮ×Ｍ副ブロックのための作動パラメータを得ること。同じ得られたパラメータ（または、小さい差を有するパラメータ）を有するブロックを、より大きいブロックに纏めること。予測と符号化ユニットを決定すること。（実施例Ｔ参照）
・作動パラメータは、作動仮説、引用インデックスリスト、作動ベクトル、作動ベクトル予測器識別子、融合識別子の数を含む。
・エンハンスメント層予測信号を発生させるための多重方法の１つに合図すること。そのような方法は以下を含む。
○得られた作動パラメータおよび再構成されたエンハンスメント層の引用画像を使用する作動補償。
○（ａ）現在の画像のための（抽出された／フィルタにかけられた）ベース層再構成と、（ｂ）得られた作動パラメータを使用する作動補償信号と、再構成されたエンハンスメント層の画像から、（抽出された／フィルタにかけられた）ベース層再構成を引き算することによって発生するエンハンスメント層の引用画像とを結合すること。
○（ａ）現在の画像のための（抽出された／フィルタにかけられた）ベース層残留（再構成された信号と予測との間の差、または、符号化された変換係数値の逆変換）と、（ｂ）得られた作動パラメータを使用する作動補償信号と、再構成されたエンハンスメント層の引用画像とを結合すること。
・仮に、ベース層の中の共同配置されたブロックが、内部符号化されているならば、対応するエンハンスメント層Ｍ×Ｎブロック（または、ＣＵ）も、また、内部符号化される。そこでは、内部予測信号が、ベース層情報を使用して得られる（実施例Ｕ参照）。例えば、
○対応するベース層再構成の（抽出された／フィルタにかけられた）バージョンは、内部予測信号として使用される（実施例Ｕ参照）。
○内部予測モードは、ベース層の中で使用された内部予測モードに基づいて得られる。そして、この内部予測モードは、エンハンスメント層の中の空間内部予測のために使用される。
・仮に、Ｍ×Ｎエンハンスメント層ブロック（副ブロック）のための共同配置されたベース層ブロックが、以前に符号化されたベース層ブロックに融合される（または、同じ作
動パラメータを有する）ならば、Ｍ×Ｎエンハンスメント層（副）ブロックも、また、ベース層の中で融合するために使用されるベース層ブロックに対応するエンハンスメント層ブロックに融合される（すなわち、作動パラメータは、対応するエンハンスメント層ブロックからコピーされる）（実施例Ｍ参照）。

【0364】

［変換係数レベルの符号化／文脈モデル化］
主な実施例：異なる走査パターンを使用して、変換係数を符号化すること。エンハンスメント層に対して、符号化モードおよび／またはベース層データに基づいて文脈をモデル化すること、そして、文脈モードに対して異なる初期化をすること。

【0365】

副実施例：
・１つ以上の追加走査パターン、例えば、水平で垂直な走査パターンを導入すること。追加走査パターンのために副ブロックを再定義すること。４×４副ブロックの代わりに、例えば１６×１または１×１６副ブロックが使用される。または、８×２や８×２副ブロックが使用される。追加走査パターンは、特定のサイズ、例えば８×８または１６×１６より大きいまたは等しいブロックに対してのみ導入される（実施例Ｖ参照）。
・（仮に、符号化されたブロック旗が１と等しいならば、）選択された走査パターンは、ビットストリームの中で合図される（実施例Ｎ参照）。対応する構文要素に合図するために、固定文脈が使用される。または、対応する構文要素のための文脈派生は、以下のどれかに依存できる。
○共同配置された再構成されたベース層信号または再構成されたベース層残留の勾配。または、ベース層信号の中で検出されたエッジ。
○共同配置されたベース層ブロックの中の変換係数分布。
・選択された走査は、共同配置されたベース層信号の特性に基づいて、ベース層信号（どんな追加データも送信されることなく）から直接に得られる（実施例Ｎ参照）。
○共同配置された再構成されたベース層信号または再構成されたベース層残留の勾配。または、ベース層信号の中で検出されたエッジ。
○共同配置されたベース層ブロックの中の変換係数分布。
・異なる走査が、変換係数がエンコーダ側で量子化の後に再順序付けされ、かつ、従来の符号化が使用される方法で実現される。デコーダ側では、変換係数は、従来通り復号化され、スケーリングおよび逆変換前に（または、スケーリング後および逆変換前に）、再順序付けされる。
・重要な旗（単一の変換係数のための副グループ旗および／または重要な旗）を符号化するために、以下の変更が、エンハンスメント層の中で使用される。
○分離文脈モデルが、ベース層情報を使用する符号化モードの全てまたは副組のために使用される。また、ベース層情報を有する異なるモードに対して、異なる文脈モデルを使用することも可能である。
○文脈モデル化は、共同配置されたベース層ブロックのデータ（例えば、特定の周波数位置のための重要な変換係数の数）に依存できる（実施例Ｏ参照）。
○符号化されるべき係数の空間的近傍の中の既に符号化された重要な変換係数レベルの数、および、同じ周波数位置の共同配置されたベース層信号の中の重要な変換係数の数の両方を評価した一般化されたテンプレートが使用される（実施例Ｏ参照）。
・最後の重要な走査位置を符号化するために、以下の変更がエンハンスメント層の中で使用される。
○分離文脈モデルが、ベース層情報を使用する符号化モードの全てまたは副組のために使用される。また、ベース層情報を有する異なるモードに対して、異なる文脈モデルを使用することも可能である（実施例Ｐ参照）。
○文脈モデル化は、共同配置されたベース層ブロックの中のデータに依存できる（例えば、ベース層の中の変換係数分布、ベース層の勾配情報、共同配置されたベース層ブロックの中の最後の走査位置）。
○最後の走査位置は、最後のベース層走査位置に対する差として符号化される（実施例Ｓ参照）。
・ベース層およびエンハンスメント層のための異なる文脈初期化テーブルの使用方法。

【0366】

［ベース層データを使用する、後方の適応エンハンスメント層の符号化］
主な実施例：エンハンスメント層符号化パラメータを得るためのベース層データの使用。

【0367】

副実施例：
・（潜在的に抽出される）ベース層再構成に基づいた融合候補を得ること。エンハンスメント層の中では、融合の使用だけが合図される。しかし、実際には、現在のブロックを融合するために使用される候補が、再構成されたベース層信号に基づいて得られる。従って、全ての融合候補に対して、現在のエンハンスメント層ブロックのための（潜在的に抽出される）ベース層信号と、（融合候補に作動パラメータを使用して得られた）対応する予測信号との間の誤差の大きさが、全ての融合候補（または、その副組）に対して評価される。そして、最も小さい誤差の大きさに関係する融合候補が選択される。また、誤差の大きさが、再構成されたベース層信号とベース層の引用画像とを使用して、ベース層の中で計算される（実施例Ｑ参照）。
・（潜在的に抽出される）ベース層再構成に基づいた融合候補を得ること。作動ベクトル差は、符号化されないけれども、再構成されたベース層に基づいて推論される。現在のブロックのために、作動ベクトル予測器を決定し、作動ベクトル予測器の周囲に位置する定義された検索の組を評価すること。それぞれの検索位置に対して、現在のエンハンスメント層ブロックのための（潜在的に抽出される）ベース層信号と、置き換えられた引用フレーム（置き換えは、検索位置によって与えられる）との間の誤差の大きさを決定すること。最も小さい誤差の大きさをもたらす検索位置／作動ベクトルを選択すること。検索は、いくつかの段階に分けられる。例えば、完全なペル検索が最初に行われる。続いて、半分ペル検索が、完全なペルベクトルの周囲で行われる。続いて、４分の１ペル検索が、最も良い完全な／半分ペルベクトルの周囲でおこなわれる。また、検索は、再構成されたベース層信号とベース層の引用画像とを使用して、ベース層の中で行われる。見つけられた作動ベクトルは、次に、ベース層とエンハンスメント層との間の解像度変化に従ってスケーリングされる（実施例Ｑ参照）。
・（潜在的に抽出される）ベース層再構成に基づいた内部予測モードを得ること。内部予測モードは、符号化されないけれども、再構成されたベース層に基づいて推論される。それぞれの可能な内部予測モード（または、その副組）に対して、（テストされた予測節（ノード）を使用して、）現在のエンハンスメント層ブロックのための（潜在的に抽出される）ベース層信号と、内部予測信号との間の誤差の大きさを決定すること。最も小さい誤差の大きさをもたらす予測モードを選択すること。また、誤差の大きさの計算は、ベース層の中の再構成されたベース層信号と内部予測信号とを使用して、ベース層の中でされる。さらに、内部ブロックは、４×４ブロック（または、別のブロックサイズ）に分解できる。そして、各４×４ブロックに対して、分離内部予測モードが決定される（実施例Ｑ参照）。
・内部予測信号は、再構成されたベース層信号を有する境界サンプルの列の整合または列の整合によって決定される。隣接するサンプルと現在のライン／列との間の移行を得るために、誤差の大きさは、隣接するサンプルの移行されたライン／列と再構成されたベース層信号との間で計算される。そして、最も小さい誤差の大きさをもたらすシフトが、選択される。隣接するサンプルとして、（抽出された）ベース層のサンプル、または、エンハンスメント層のサンプルが使用される。また、誤差の大きさが、ベース層の中で直接に計算される（実施例Ｗ参照）。
・ブロック仕切りなどの別の符号化パラメータの派生のために、後方の適応手法を使用すること。

【0368】

前記実施の形態の更なる簡潔な概要が、以下に提示される。特に、前記実施の形態が説明される。

【0369】

Ａ１）スケーラブルビデオデコーダは、
符号化データストリーム（６）からベース層信号（２００ａ，２００ｂ，２００ｃ）を再構成（８０）し、
エンハンスメント層信号（３６０）を再構成（６０）し、
再構成（６０）は、
中間層予測信号（３８０）を得るために、再構成されたベース層信号（２００ａ，２００ｂ，２００ｃ）に解像度または品質改良を受け（２２０）させ、
エンハンスメント層信号の既に再構成された部分（４００ａまたは４００ｂ）と中間層予測信号（３８０）との間の差信号を計算（２６０）し、
空間内部予測信号を得るために、現在再構成されるべきエンハンスメント層信号（３６０）の部分に共同配置された第１の部分（４４０、図４６に例えて）で、空間的に前記第１の部分に隣接し、かつ、エンハンスメント層信号（３６０）の既に再構成された部分に属する、差信号の第２の部分（４６０）から差信号を空間的に予測（２６０）し、
エンハンスメント層予測信号（４２０）を得るために、中間層予測信号（３８０）と空間内部予測信号とを結合（２６０）し、
エンハンスメント層予測信号（４２０）を使用して、エンハンスメント層信号（３６０）を予測的に再構成（３２０，５８０，３４０，３００，２８０）することを含む、ように構成されている。
実施例Ａ１に従って、ベース層信号は、例えば、ベース層残留信号６４０／４８０が関係する限り、変換復号化を有する前述したブロックに基づいた予測方法で、符号化データストリーム６または副ストリーム６ａから、ベース層復号化ステージ８０によってそれぞれ再構成される。しかし、別の代替の再構成も可能である。
エンハンスメント層復号化ステージ６０によるエンハンスメント層信号３６０の再構成に関する限り、再構成されたベース層信号２００ａ，２００ｂまたは２００ｃが受ける解像度または品質の改良は、例えば、解像度の改良の場合には抽出、または、品質の改良の場合にはコピー、または、ビット深さの改良の場合にはｎビットからｍビットへのトーン写像（ｍ＞ｎ）を意味する。
差信号の計算は、画素的になされる。すなわち、一方にエンハンスメント層信号および他方に予測信号３８０が共同配置された画素が、互いからを引き算される。そして、これは画素位置毎になされる。
差信号の空間予測は、符号化データストリーム６の中で、または、副ストリーム６ｂの中で、内部予測方向のような内部予測パラメータを送信して、そして、エンハンスメント層信号の現在の部分の中のこの内部予測方向に沿って、現在再構成されるべきエンハンスメント層信号３６０の部分に接する既に再構成された画素をコピー／補間するような、何らかの方法によってなされる。組み合わせは、周波数領域の中の寄与を異なって重み付けする組み合わせのように、加算、重み付けされた合計または更に精巧な組み合わせを意味する。
エンハンスメント層予測信号４２０を使用するエンハンスメント層信号３６０の予測再構成は、図に示されているように、エンハンスメント層残留信号５４０のエントロピー復号化および逆変換と、エンハンスメント層予測信号４２０および後者５４０の組み合わせ３４０とを意味する。

【0370】

Ｂ１）スケーラブルビデオデコーダは、
符号化データストリーム（６）からベース層残留信号（４８０）を復号化（１００）し、
エンハンスメント層信号（３６０）を再構成（６０）し、
再構成（６０）は、
中間層残留予測信号（３８０）を得るために、再構成されたベース層残留信号（４８０）に、解像度または品質の改良を受け（２２０）させ、
エンハンスメント層内部予測信号を得るために、エンハンスメント層信号（３６０）の既に再構成された部分から、現在再構成されるべきエンハンスメント層信号（３６０）の部分を空間的に予測（２６０）し、
エンハンスメント層予測信号（４２０）を得るために、中間層残留予測信号とエンハンスメント層内部予測信号とを結合（２６０）して、
エンハンスメント層予測信号（４２０）を使用して、エンハンスメント層信号（３６０）を予測的に再構成（３４０）することを含む、ように構成されている。
符号化データストリームからのベース層残留信号の復号化は、図に示すように、エントロピー復号化と逆変換とを使用して実行される。さらに、スケーラブルビデオデコーダは、任意に、ベース層予測信号６６０を得て、この信号とベース層残留信号４８０とを結合することによって、予測的に復号化することによって、ベース層信号自体の再構成を実行する。ちょうど言及するように、これは単に任意である。
エンハンスメント層信号の再構成に関する限り、解像度または品質の改良が、実施例Ａ）に対して前記指示したように実行される。
また、エンハンスメント層信号の部分の空間的予測に関する限り、この空間的予測は、異なる信号に関するＡ）に例示的に概説されているように実行される。組み合わせと予測的再構成に関する限り、同様の注意は有効である。
しかしながら、実施例Ｂ）の中のベース層残留信号４８０が、ベース層残留信号４８０の明らかに合図されたバージョンと等しいように制限されないということが言及される。むしろ、スケーラブルビデオデコーダが、ベース層予測信号６６０を有するどんな再構成されたベース層信号バージョン２００も引き算すること、は可能である。その結果、フィルタ１２０または１４０のようなフィルタ関数から食い止めている偏差によって明らかに合図されたものから逸れるベース層残留信号４８０を得る。また、後者の状態は、ベース層残留信号が中間層予測に関わる別の実施例に対して有効である。

【0371】

Ｃ１）スケーラブルビデオデコーダは、
符号化データストリーム（６）からベース層信号（２００ａ，２００ｂ，２００ｃ）を再構成（８０）し、
エンハンスメント層信号（３６０）を再構成（６０）し、
再構成（６０）は、
中間層予測信号（３８０）を得るために、再構成されたベース層信号（２００）に、解像度または品質の改良を受け（２２０）させ、
エンハンスメント層内部予測信号を得るために、エンハンスメント層信号（３６０）の既に再構成された部分（「空間的」の場合は４００ａ，ｂ；「時間的」の場合は４００ａ，ｂ，ｃ）から現在再構成されるべきエンハンスメント層信号（３６０）の部分を空間的または時間的に予測（２６０）し、
中間層予測信号とエンハンスメント層内部予測信号（３８０）がエンハンスメント層予測信号（４２０）に寄与する重み付けが、異なる空間周波数成分に亘って変化させるように、エンハンスメント層予測信号（４２０）を得るために、現在再構成されるべき部分で、中間層予測信号とエンハンスメント層内部予測信号（３８０）との重み付け平均を形成（２６０）して、
エンハンスメント層予測信号（４２０）を使用して、エンハンスメント層信号（３６０）を予測的に再構成（３４０）することを含む、ように構成されている。

【0372】

Ｃ２）ここで、重み付け平均の形成（２６０）は、現在再構成されるべき部分で、フィルタがかけられた信号を得るために、ローパスフィルタで中間層予測信号（３８０）をフィルタ（２６０）にかけ、かつ、ハイパスフィルタでエンハンスメント層内部予測信号を
フィルタ（２６０）にかけて、得られたフィルタにかけられた信号を合計することを含む。
Ｃ３）ここで、重み付け平均の形成（２６０）は、現在再構成されるべき部分で、変換係数を得るために、中間層予測信号とエンハンスメント層内部予測信号とを変換（２６０）し、そして、重畳された変換係数を得るために、得られた変換係数に、異なる空間周波数成分に対して異なる重み付け係数を使用して重畳（２６０）し、そして、エンハンスメント層予測信号を得るために、重畳された変換係数を逆変換することを含む。
Ｃ４）ここで、エンハンスメント層予測信号（４２０）を使用して、エンハンスメント層信号の予測再構成（３２０，３４０）は、符号化データストリーム（６）からエンハンスメント層信号のための変換係数レベルを引き出し（３２０）、エンハンスメント層信号の変換バージョンを得るために、変換係数レベルと重畳された変換係数の合計を実行（３４０）して、エンハンスメント層信号（３６０）を得るために、エンハンスメント層信号の変換バージョンに逆変換を受けさせる（すなわち、図の中の逆変換Ｔ^-1が、少なくともその符号化モードのために、加算器３４０の下流に置かれる）ことを含む。
ベース層信号の再構成に関する限り、引用が、一般的には図に対して、そして、実施例Ａ）およびＢ）に対するように、前述に対してなされる。
同じことが、空間予測と同様に、Ｃ）の中で言及されたを解像度または品質の改良に適用される。
Ｃ）で言及された時間予測は、作動予測パラメータを、符号化データストリーム６と副ストリーム６ａからそれぞれ得ている予測プロバイダ１６０に関わる。作動パラメータは、作動ベクトル、引用フレームインデックスを含む。あるいは、作動パラメータは、現在再構成された部分の副ブロック毎に、作動副分割情報と作動ベクトルの組み合わせを含む。
前述したように、重み付け平均の形成は、空間領域または変換領域の中で終わる。従って、加算器３４０での加算は、空間領域または変換領域の中で実行される。後者の場合、逆変換器５８０は逆変換を重み付け平均に適用する。

【0373】

Ｄ１）スケーラブルビデオデコーダは、
符号化データストリーム（６）からベース層信号（２００ａ，２００ｂ，２００ｃ）を再構成（８０）し、
エンハンスメント層信号（３８０）を再構成（６０）し、
再構成（６０）は、
中間層予測信号（３８０）を得るために、再構成されたベース層信号に、解像度または品質の改良を受け（２２０）させ、
中間層予測信号（３８０）を使用して、エンハンスメント層信号（３６０）を予測的に再構成（３２０、３４０）し、
ここで、エンハンスメント層信号の再構成（６０）は、中間層予測信号（３８０）が発展するように実行され、ベース層信号とエンハンスメント層信号それぞれによってスケール的に表わされたビデオの異なる部分に対して、非ブロック化および内ループのフィルタリング（１４０）の何も無い（２００ａ）、または、１つまたは全て（２００ｂ，２００ｃ）のうちの異なる１つから、符号化ビットストリームの中のサイド情報を経由して制御される、ように構成されている。

【0374】

ベース層信号の再構成に関する限り、引用が、一般的には図に対して、そして、実施例Ａ）およびＢ）に対するように、前述に対してなされる。同じことが、解像度または品質の改良に適用される。
Ｄ）で言及された予測再構成は、前述したように、予測プロバイダ１６０に関わる。そして、予測再構成は、
エンハンスメント層内部予測信号を得るために、エンハンスメント層信号（３８０）の既に再構成された部分から、現在再構成されるべきエンハンスメント層信号（３６０）の
部分を空間的または時間的に予測（２６０）し、
エンハンスメント層予測信号（４２０）を得るために、中間層予測信号（３８０）とエンハンスメント層内部予測信号とを結合（２６０）することに関わる。
中間層予測信号（３８０）が発展するという事実は、符号化されたビットストリーム（３６０）の中のサイド情報を経由して、非ブロック化の何も無い（２００ａ）、または、１つまたは全て（２００ｂ，２００ｃ）の異なる１つから制御され、以下に意味するビデオの異なる部分に対して、内ループのフィルタ（１４０）がかけられるということがある。
当然、ベース層副ストリーム６ａ自体は、全てのフィルタ１２０，１４０をバイパスするように、最終ベース層信号６００をもたらすために異なる手段の使用（非ブロック化のみの使用、または、内ループフィルタリングのみの使用、または、非ブロック化および内ループフィルタリングの両方の使用）を（任意に）合図する。フィルタ伝達関数さえ、ベース層副ストリーム６ａの中のサイド情報によって合図され、変化される。これらの変化が行われる異なる部分を定義する大きさは、前述の符号化ユニット、予測ブロックまたはいかなる他の大きさによっても定義される。その結果、スケーラブルビデオデコーダ（符号化ステージ８０）は、仮に、ベース層信号のみが再構成されるのであれば、これらの変化を適用する。しかしながら、そこから独立して（すなわち、ベース層信号６ａの中のちょうど言及されたサイド情報から独立して）、副ストリーム６ｂは、フィルタリングの組み合わせが、ベース層信号を得るために使用される新しい変化を合図するサイド情報を含む。そこでは、全てのフィルタ１２０，１４０をバイパスさせて、エンハンスメント信号の予測的再構成の中で使用（非ブロック化のみの使用、または、内ループフィルタリングのみの使用、または、非ブロック化および内ループフィルタリングとの両方の使用）される。すなわち、フィルタ伝達関数さえ、副ストリーム６ｂの中のサイド情報によって合図され、変化される。これらの変化が行われる異なる部分を定義する大きさは、前述の符号化ユニット、または、予測ブロック、または、いかなる別の大きさによっても定義され、この合図がベース層信号６ａの中で使用される大きさと異なる。

【0375】

Ｅ１）スケーラブルビデオデコーダは、
符号化データストリーム（６）からベース層信号（２００ａ，２００ｂ，２００ｃ）を再構成（８０）し、
エンハンスメント層信号（３６０）を再構成（６０）し、
再構成（６０）は、
中間層予測信号（３８０）を得るために、再構成されたベース層信号に、解像度または品質の改良を受け（２２０）させ、
中間層予測信号（３８０）を使用して、エンハンスメント層信号（６０）を予測的に再構成（３２０、３４０）し、
ここで、エンハンスメント層信号（３６０）の再構成（６０）は、中間層予測信号が発展するように実行され、符号化されたビットストリーム（６）の中のサイド情報を経由して、または、合図に依存して、ベース層信号とエンハンスメント層信号それぞれによってスケール的に表わされたビデオの異なる部分に対して、抽出補間フィルタ（２２０）のための異なるフィルタ伝達関数から制御されることを含む、ように構成されている。

【0376】

ベース層信号の再構成に関する限り、引用が、一般的には図に対して、そして、実施例Ａ）およびＢ）に対するように、前述に対してなされる。同じことが、解像度または品質の改良に適用される。
言及された予測再構成は、前述したように、予測プロバイダ１６０に関わる。そして、予測再構成は、
エンハンスメント層内部予測信号を得るために、エンハンスメント層信号（３６０）の既に再構成された部分から、現在再構成されるべきエンハンスメント層信号（３６０）の部分を空間的または時間的に予測（２６０）し、
エンハンスメント層予測信号（４２０）を得るために、中間層予測信号（３８０）とエンハンスメント層内部予測信号とを結合（２６０）することに関わる。
中間層予測信号が発展するという事実は、符号化されたビットストリーム（６）の中のサイド情報を経由して、または、合図に依存して、以下のビデオ手段の異なる部分に対して、抽出補間フィルタ（２２０）のための異なるフィルタ伝達関数から制御されるということである。
当然、ベース層副ストリーム６ａ自体は、全てのフィルタ１２０，１４０をバイパスするように、最終ベース層信号６００をもたらすために異なる手段の使用（非ブロック化のみの使用、または、内ループフィルタリングのみの使用、または、非ブロック化および内ループフィルタリングとの両方の使用）を（任意に）合図する。フィルタ伝達関数さえ、ベース層副ストリーム６ａの中のサイド情報によって合図され、変化される。これらの変化が行われる異なる部分を定義する大きさは、前述の符号化ユニット、予測ブロックまたはいかなる別の大きさによっても定義される。その結果、スケーラブルビデオデコーダ（符号化ステージ８０）は、仮に、ベース層信号のみが再構成されるのであれば、これらの変化を適用する。しかしながら、そこから独立して（すなわち、ベース層信号６ａの中のちょうど言及されたサイド情報から独立して）、副ストリーム６ｂは、改良された信号３８０を得るために、改良器２２０の中で使用されるフィルタ伝達関数の変化を追加的に合図するサイド情報を含む。これらの変化が行われる異なる部分を定義する大きさは、前述の符号化ユニット、または、予測ブロック、または、いかなる別の大きさによっても定義され、ベース層信号６ａの前述の大きさと異なる。
前述のように、使用されるべき変化は、追加サイド情報の使用の有る無しに関わらず、ベース層信号またはベース層残留信号または副ストリーム６ａの中の符号化パラメータから、信号に依存して推論される。

【0377】

Ｆ１）スケーラブルビデオデコーダは、
符号化データストリームからベース層残留信号（４８０）を復号化（１００）し、
中間層残留予測信号（３８０）を得るために、再構成されたベース層残留信号（４８０）に、解像度または品質の改良を受け（２２０）させることによって、エンハンスメント層信号（３６０）を再構成（６０）し、そして、中間層残留予測信号（３８０）を使用して、エンハンスメント層信号（３６０）を予測的に再構成（３２０，３４０、および任意に２６０）し、
ここで、エンハンスメント層信号（３６０）の再構成（６０）は、中間層残留予測信号が発展するように実行され、符号化されたビットストリーム（６）の中のサイド情報を経由して、または、合図に依存して、ベース層信号とエンハンスメント層信号それぞれによってスケール的に表わされたビデオの異なる部分に対して、異なるフィルタ伝達関数から制御されるように構成されている。
ベース層残留信号の再構成に関する限り、引用が、一般的には図に対して、そして、実施例Ｂ）に対するように、前述に対してなされる。同じことが、解像度または品質の改良に適用される。
言及された予測再構成は、前述したように、予測プロバイダ１６０に関わる。そして、予測再構成は、
エンハンスメント層内部予測信号を得るために、エンハンスメント層信号（３６０）の既に再構成された部分から、現在再構成されるべきエンハンスメント層信号（３６０）の部分を空間的または時間的に予測（２６０）し、
エンハンスメント層残留信号を、符号化されたデータストリームから復号化（３２０）し、
エンハンスメント層信号（３６０）を得るために、エンハンスメント層内部予測信号と中間層残留予測信号（３８０）とエンハンスメント層残留信号とを結合（３４０と２６０とに関わる）することに関わる。
中間層残留予測信号が発展するという事実は、符号化されたビットストリームの中のサ
イド情報を経由して、以下のビデオ手段の異なる部分に対して、異なるフィルタ伝達関数から制御されるということである。
当然、ベース層副ストリーム６ａ自体は、全てのフィルタ１２０，１４０をバイパスするように、最終ベース層信号６００をもたらすために異なる手段の使用に（任意に）合図する。前述のＤ）とＥ）を参照してください。しかしながら、そこから独立して（すなわち、ベース層信号６ａの中のちょうど言及されたサイド情報から独立して）、副ストリーム６ｂは、改良された残留信号３８０を得るために、改良器２２０の中で使用されるフィルタ伝達関数の変化を追加的に合図するサイド情報を含む。これらの変化が行われる異なる部分を定義する大きさは、前述の符号化ユニット、または、予測ブロック、または、いかなる別の大きさによっても定義され、ベース層信号６ａの前述の大きさと異なる。
前述のように、使用されるべき変化は、追加サイド情報の使用の有る無しに関わらず、ベース層信号またはベース層残留信号または副ストリーム６ａの中の符号化パラメータから、信号に依存して推論される。

【0378】

Ｇ１）スケーラブルビデオデコーダは、
符号化データストリーム（６）からベース層信号（２００）のベース層残留信号（４８０）を復号化（１００）し、
中間層残留予測信号（３８０）を得るために、再構成されたベース層残留信号（４８０）に、解像度または品質の改良を受け（２２０）させることによって、エンハンスメント層信号（３６０）を再構成（６０）し、そして、中間層残留予測信号（４８０）を使用して、エンハンスメント層信号（３６０）を予測的に再構成（３２０，３４０、および任意に２６０）し、
ここで、エンハンスメント層信号（３６０）の再構成（６０）は、全てをゼロにされたベース層残留信号（４８０）のブロックを識別（２６０）して、識別されたブロックを、ベース層信号（２００）の部分から得られた交換信号に取り替えることを含む、
ように構成されている。
ベース層残留信号の復号化に関する限り、引用が、一般的に対して、そして、実施例Ｂ）に対するように、前述に対してなされる。同じことが、解像度または品質の改良に適用される。
言及された予測再構成は、前述したように、予測プロバイダ１６０に関わる。そして、予測再構成は、
エンハンスメント層内部予測信号を得るために、エンハンスメント層信号（３６０）の既に再構成された部分から、現在再構成されるべきエンハンスメント層信号（３６０）の部分を空間的または時間的に予測（２６０）し、
エンハンスメント層残留信号を、符号化されたデータストリームから復号化（３２０）し、
エンハンスメント層信号（３６０）を得るために、エンハンスメント層内部予測信号と中間層残留予測信号（３８０）とエンハンスメント層残留信号とを結合（３４０と２６０とに関わる）することに関わる。
好ましくは、識別は、ベース層ストリーム（６ａ）の中の構文要素をチェックし、それぞれの変換ブロックが全てゼロであるか否かに対して、例えば、前述の符号化ユニットの別の副分割である変換ブロックの大きさで示すプロバイダ２６０に関わる。
前述するように、交換に使用されるベース層信号の部分は、例えば、ベース層信号２００ａ，ｂ，ｃのハイパスフィルタにかけられたバージョンである。

【0379】

Ｈ１）スケーラブルビデオデコーダは、
符号化データストリーム（６）からベース層信号（２００ａ，ｂ，ｃ）を再構成（８０）し、
エンハンスメント層信号を再構成（６０）し、
再構成（６０）は、
中間層予測信号（３８０）を得るために、再構成されたベース層信号（２００）に解像度または品質の改良を受け（２２０）させ、
エンハンスメント層予測信号（４２０）を得るために、エンハンスメント層信号（３６０）の既に再構成された部分から、現在再構成されるべきエンハンスメント層信号（３６０）の部分を空間予測（２６０）し、
エンハンスメント層予測信号（４２０）を使用して、エンハンスメント層信号（３６０）を予測的に再構成（３４０）し、
ここで、空間予測（２６０）は、現在再構成されるべき部分の予め決められた隣接部分の中の非利用可能な部分を、中間層予測信号（３８０）の非利用可能な部分に共同配置された、共同配置された部分と取り替えて、中間層予測信号（３８０）の共同配置された部分に依存する空間予測も実行することを含む、
ように構成されている。
ベース層信号の再構成に関する限り、引例が、一般的には図に対して、そして、実施例Ａ）およびＢ）に対するように、前述に対してなされる。同じことが、前述された空間予測と予測的再構成と同様に、解像度または品質の改良に適用される。
非利用可能性は以下の事実から生じる。予め決められた隣接部分が、その右に更に拡がるサンプルと同様に、現在再構成されるべき部分／ブロックの上側エッジの上に隣接しているサンプルと、その下方に更に拡がるサンプルと同様に、再構成されるべき現在のブロック／部分の左側エッジの左に隣接しているサンプルとを含む、と想像してください。さらに、空間予測が、副分割に基づいた多枝ツリーの葉であるブロック／部分に適用され、そして、これらのブロックが、深く最初にジグザグに横断する順序で、予測再構成過程の中を横断される、と想像してください。次に、いくつかのブロックが、利用可能な問題の中に全ての隣接するサンプルを有している。すなわち、それらは既に再構成されている。しかしながら、いくつかのブロックは、これらのいくつかのサンプルを欠いている。すなわち、それらは完全には再構成されていない。そして、説明されるように、初期設定サンプルが取り替えられる。潜在的に交換を必要とする別の事実は、どんなフレームに対しても内部の中のスライス境界の位置である。交換自体は、初期設定サンプルに対して、中間層予測信号（３８０）の共同配置されたサンプルをコピーすることによって行われる。次に、空間予測が、中間層予測信号（３８０）からコピーされたサンプルと再構成されたエンハンスメント層信号からのサンプルとを含んでいる完全な（完成された）予め決められた隣接部分を使用して行われる。

【0380】

Ｉ１）スケーラブルビデオデコーダは、
フレームの異なるブロックに対して、中間層予測モード、時間中間予測モードおよび空間内部予測モードのうちの異なる１つを使用して、エンハンスメント層信号（３６０）を再構成（６０）するように構成され、
ここで、ケーラブルビデオデコーダは、エンハンスメント層信号（３６０）を再構成（６０）する中で、最初の走査と、次の、２番目の走査との中で、ブロックを横断することによってブロックを再構成（６０）し、最初の走査の中で、空間内部予測モードを使用して、再構成されるべきブロックを跳ばし、中間層予測モードおよび中間予測モードの１つを使用して、再構成されるべきブロックを再構成し、そして、２番目の走査の中で、空間内部予測モードを使用して、再構成されるべきブロックを再構成するように構成されている。
「空間内部予測モード」と「時間中間予測モード」に関する限り、引用が、可能な実現のための前述の議論に対してなされる。「中間層予測モード」に関する限り、そのようなモードのための例のいずれも、今までのところまたは以下で説明されるように、使用される。既に再構成されたサンプルによって囲まれたエンハンスメント層信号の空間的内部予測モードブロックの完全な外形を持つ増加する機会のために、現在予測された空間内部予測モードブロックの内部が充填されるべき隣接するサンプルのテンプレートは、外形を完全に囲むために増加する。

【0381】

Ｊ１）スケーラブルビデオデコーダは、
符号化データストリーム（６）からベース層信号（２００ａ，ｂ，ｃ）を再構成（８０）し、
エンハンスメント層信号（３６０）を再構成（６０）し、
再構成（６０）は、
引用フレームと現在のフレームに対して、中間層予測信号（３８０）を得るために、再構成されたベース層信号（２００ａ，ｂ，ｃ）に、解像度または品質の改良を受け（２２０）させ、
引用フレームの中間層予測信号（３８０）と引用フレームの既に再構成されたエンハンスメント層信号（３６０）との間の差信号を形成（２６０）し、
現在のフレームの差信号予測を得るために、差信号に作動補償予測を受け（２６０）させ、
エンハンスメント層予測信号（４２０）を得るために、現在のフレームの中間層予測信号（３８０）と現在のフレームの差信号予測とを結合（２６０）し、
エンハンスメント層予測信号（４２０）を使用して、エンハンスメント層信号（３６０）を予測的に再構成（３２０，３４０，３００，２８０）することを含む、
ように構成されている。
Ｊ２）ここで、引用フレームの差信号の形成において、使用された再構成されたエンハンスメント層信号は、非ブロック化の前、または、非ブロック化の後で任意の内ループフィルタリングの前、または、非ブロック化および任意の内ループフィルタリングの後のエンハンスメント層再構成である。
Ｊ３）ここで、引用フレームの差信号を形成するために使用されるエンハンスメント層信号の選択は、系列、画像、またはブロックレベルで、ビットストリームの中で合図される。
作動補償予測は、エンハンスメント信号（デコーダ３２０に関わる派生）の現在再構成されたブロックに対して、作動予測パラメータを、それぞれ符号化データストリーム６と副ストリーム６ｂとか得ている予測プロバイダ２６０に関わる。作動ベクトルは、現在再構成されるべきエンハンスメント層信号の部分の位置に適用される。そして、それぞれ置き換えられた部分は、差信号から、（断片的なサンプル補間の有る無しに関わらず）コピーされる。このようにしてコピーされた部分は、例えば、画素的な組み合わせの中で、現在再構成されるべき部分に共同配置された中間層予測信号（３８０）の部分に加算される。

【0382】

Ｋ１）スケーラブルビデオデコーダは、
符号化データストリーム（６）からベース層作動パラメータ（５２０）を復号し、
エンハンスメント層信号（２６０）を再構成（６０）し、
再構成（６０）は、
エンハンスメント層信号（３６０）のフレームのブロックに対して、フレームの隣接する既に再構成されたブロックから作動パラメータ候補の組を集め（２６０）、
ベース層作動パラメータ（５２０）から、エンハンスメント層信号（３６０）のフレームのブロックに共同配置されたベース層信号のブロックのベース層作動パラメータを集め（２６０）、
作動パラメータ候補の拡張作動パラメータ候補組を得るために、ベース層作動パラメータまたはベース層作動パラメータのスケーリングされたバージョンを、作動パラメータ候補の組に加算（２６０）し、
少なくとも拡張作動パラメータ候補組の作動パラメータ候補の１つを選択（２６０）し、
作動補償予測によって、拡張作動パラメータ候補組の作動パラメータ候補の選択された１つを使用して、エンハンスメント層信号を予測（２６０）することを含む、ように構成
されている。

【0383】

Ｋ２）ここで、スケーラブルビデオデコーダは、ベース層作動パラメータのスケーリングされたバージョンを得るために、ベース層信号とエンハンスメント層信号との間の空間解像度比率に従って、ベース層作動パラメータをスケーリングするように構成されている。
Ｋ３）ここで、スケーラブルビデオデコーダは、ベース層作動パラメータが、融合を使用して、符号化データストリームの中で符号化されるか否かをチェックし、仮に、ベース層作動パラメータが、融合を使用して、符号化データストリームの中で符号化されるならば、加算を抑圧するように構成されている。
この実施例で言及された作動パラメータは、作動ベクトル（作動ベクトル予測）のみに、または、ブロック毎の作動仮説、引用インデックスリスト、仕切っている情報（融合化）の数を含む作動パラメータの完全な組に関係する。
従って、「スケーリングされたバージョン」は、空間スケーラビリティの場合において、ベース層信号とエンハンスメント層信号との間の空間解像度比率に従って、ベース層信号の中で使用された作動パラメータのスケーリングから由来してもよい。
符号化データストリームからのベース層作動パラメータ５２０の復号化は、作動ベクトル予測または融合化にも関わる。
融合化／作動ベクトル候補の組の中のベース層信号の共同配置された部分で、使用された作動パラメータの補間は、内部層候補および中間層候補の中で、非常に有効な索引を可能にする。
選択は、予測ブロックや符号化ユニットのようなエンハンスメント層信号の中の、作動パラメータ候補の拡張された組／リストの中のインデックスの明白な合図に関わる。あるいはまた、選択インデックスはエンハンスメント層信号６ｂまたは中間層情報の別の情報から推論される。

【0384】

Ｌ１）スケーラブルビデオデコーダは、
符号化データストリーム（６）からベース層作動パラメータ（５２０）を復号（１００）し、
エンハンスメント層信号（３６０）を再構成（６０）し、
再構成（６０）は、
ベース層作動パラメータに依存するエンハンスメント層信号のための作動パラメータ候補リストを順序付け（２４０）し、
符号化データストリーム（６）の中の明らかに合図されたインデックス構文要素を経由して制御された、エンハンスメント層信号のための順序付けされた作動パラメータ候補リストからエンハンスメント層作動パラメータを選択（２４０）し、
作動補償パラメータによって、決められた作動パラメータを使用して、エンハンスメント層信号を予測（２６０）することを含む、ように構成されている。
この実施例で言及された作動パラメータに関する限り、実施例Ｋに関して上で述べたと同じことが適用される。
符号化データストリームからのベース層作動パラメータ５２０の復号化は、（任意に）作動ベクトル予測または融合にも関わる。
順序付けは、それぞれのエンハンスメント層作動パラメータ候補と、エンハンスメント層信号の現在のブロックに共同配置されたベース層信号のブロックに関係するベース層信号のベース層作動パラメータとの間の差を測る大きさに従ってなされる。すなわち、エンハンスメント層信号の現在のブロックに対して、エンハンスメント層作動パラメータ候補のリストが、最初に決定される。次に、順序付けが、ちょうど述べられるように実行される。以下に、選択が明白な合図で実行される。
また、順序付けは、エンハンスメント層信号の現在のブロックと、ベース層の中の空間的および／または時間的に隣接するブロックのベース層作動パラメータに共同配置された
ベース層信号のブロックに関係するベース層信号のベース層作動パラメータとの間の差を測る大きさに従ってもなされる。次に、ベース層の中の決められた順序付けが、エンハンスメント層に移送される。その結果、エンハンスメント層作動パラメータ候補が、対応するベース層候補に対して決められた順序付けと同じ方法で順序付けされる。ここで、関係したベース層ブロックが、考慮されたエンハンスメント層作動パラメータ候補に関係しているエンハンスメント層ブロックに、空間的／時間的に共同配置されるとき、ベース層作動パラメータ候補は、エンハンスメント層作動パラメータ候補に対応すると言われる。順序付けに基づいて、選択は明白な合図によって実行される。

【0385】

Ｍ１）スケーラブルビデオデコーダは、
ベース層信号（２００）ための作動パラメータ候補リストの中のインデックスを使用して、符号化データストリーム（６）からベース層作動パラメータ（５２０）を復号（１００）し、
エンハンスメント層信号（３６０）を再構成（６０）し、
再構成（６０）は、
ベース層信号のための作動パラメータ候補リストの中のインデックスに依存するエンハンスメント層信号のための作動パラメータ候補リストの中のインデックスを決定（２４０）し、
エンハンスメント層信号のための作動パラメータ候補リストの中のインデックスを使用して、エンハンスメント層作動パラメータを決定（２４０）して、
作動補償予測によって、決められた作動パラメータを使用して、エンハンスメント層信号を予測（２６０）することを含む、ように構成されている。
この実施例で言及された作動パラメータに関する限り、実施例Ｋに関して上で述べたと同じことが適用される。
ベース層作動パラメータ５２０の復号化は、ベース層信号のブロックに対して、
現在のブロックのための作動パラメータが、融合または融合無しの方法（予測的にまたは非予測的に符号化される方法）で、ベース層副ストリーム６ａの中で合図されるか否かに対して合図する旗を点検し、
仮に、融合を使用して、符号化される、または、予測的に符号化されるならば、ベース層作動パラメータ（例えば、ベース層作動パラメータは、決定のために使用されるベース層信号の隣接するブロックのために使用／選択される）のリストを決定し、
それぞれのリストの中のインデックスは、ベース層信号６ａから得られ、リストの中のベース層作動パラメータの１つを選択するために使用され、
エンハンスメント層のためのインデックスは、インデックスされたベース層候補に関係するベース層ブロックに共同配置されたエンハンスメント層ブロックが、選択される方法で決定されること、を含む。
エンハンスメント層信号の現在のブロックに対して、エンハンスメント層作動パラメータのリストが決定される。例えば、エンハンスメント層信号の隣接するブロックのために使用／選択される作動パラメータは、決定のために使用される。
エンハンスメント層の中の作動パラメータインデックスの選択は、それぞれのエンハンスメント層作動パラメータと、エンハンスメント層信号の現在のブロックに共同配置されたベース層信号のブロックに関係するベース層信号の（中で使用／選択される）ベース層作動パラメータとの間の差を測る大きさに従って実行される。
また、エンハンスメント層の中の作動パラメータインデックスの選択は、エンハンスメント層信号の現在のブロックに共同配置されたベース層信号のブロックに関係するベース層信号のベース層作動パラメータと、ベース層の中の空間的および／または時間的に隣接するブロックのベース層作動パラメータとの間の差を測る大きさに従って実行される。次に、ベース層のための選択が、エンハンスメント層に移される。その結果、選択されたベース層候補に対応するエンハンスメント層作動パラメータ候補が、選ばれる。関係ベース層ブロックが、考慮されるエンハンスメント層作動パラメータ候補に関係しているエンハ
ンスメント層ブロックに空間的／時間的に共同配置されるとき、ベース層作動パラメータ候補は、エンハンスメント層作動パラメータ候補に対応すると言われる。

【0386】

Ｎ１）スケーラブルビデオデコーダは、
符号化データストリーム（６）からベース層残留信号（４８０）を復号（１００）し、
エンハンスメント層信号（３６０）を再構成（６０）し、
再構成（６０）は、
走査予測器（５２０）を得るために、ベース層残留信号（４８０）またはベース層信号の、スペクトル分解の勾配または情報を決定（２４０）し、
走査予測器（５２０）に依存する走査パターンを使用して、符号化データストリーム（６）から、エンハンスメント層残留信号（５４０）の変換係数を復号（３２０）することを含む、ように構成されている。
すなわち、変換係数の復号化は、そのすべてが変換ブロックを完全にカバーする、可能な走査パターンの組からの走査パターンの選択に関わる。好ましくは、選択された走査パターンが、ベース層残留信号の重要なスペクトル成分を、可能な走査パターンの組の別の走査パターンよりも早く横断するように、選択される。

【0387】

Ｒ１）ビデオデコーダは、
そのすべてが変換ブロックを完全にカバーする、可能な走査パターンの組からの走査パターンの選択によって、符号化データストリーム（６）から残留信号（５４０または１００の出力）の変換ブロックの変換係数を復号（３２０）し、選択は、符号化データストリームの中の明白な合図に依存するように構成されている。
Ｒ２）ここで、復号（３２０）は、走査パターンの（５２０と２４０を経由した）選択に依存する変換係数に関係する構文要素のための文脈モデルを使用する。
Ｒ２ａ）ここで、変換係数に関係する構文要素は、変換係数が、特定の走査位置に対して、ゼロに等しいか、または、ゼロに等しくないか指示する構文要素を含む。
Ｒ２ｂ）ここで、変換係数に関係する構文要素は、特定の走査順序における最後のゼロでない変換係数の位置を指示する構文要素を含む。
Ｒ２ｃ）ここで、変換係数に関係する構文要素は、変換ブロックの副ブロックが、ゼロに等しくない変換係数を含むか否かを指示する構文要素を含む。
Ｒ３）ここで、明白な合図が、ベース層残留信号（４８０）またはベース層信号の、勾配、または、スペクトル的分解の情報に依存する、文脈モデルを使用して、可能な走査パターンの組の中のインデックスをエントロピー復号化（３２０）することに関わる。
Ｒ４）ここで、変換係数レベルの復号化（３２０）に対して、変換ブロックは副ブロックに副分割され、副ブロックがゼロでない変換係数を含むか否かを合図する構文要素は送信され、そして、副ブロックのサイズまたは形状は、または、副ブロックの中の変換ブロックの仕切りは、選択された走査パターンに依存する。

【0388】

Ｓ１）スケーラブルビデオデコーダは、
ベース層残留信号の変換ブロックの最後の重要な変換係数の位置を指示する符号化データストリームから最初の構文要素を復号化することを含む、符号化データストリーム（６）からベース層残留信号の変換ブロックの変換係数を復号（１００）し、
符号化データストリームから２番目の復号化構文要素を含み、最初の構文要素と２番目の構文要素に基づくエンハンスメント層残留信号の位置を計算する、エンハンスメント層残留信号の変換ブロックの変換係数を復号（１００）するように構成されている。

【0389】

Ｏ１）スケーラブルビデオデコーダは、
符号化データストリーム（６）からベース層信号のベース層残留信号（４８０）を復号（１００）し、
エンハンスメント層信号（３６０）を再構成（６０）し、
再構成（６０）は、
ベース層残留信号（４８０）またはベース層信号に（５２０と２４０を経由して）依存する文脈モデルまたは予測器を使用して、符号化データストリーム（６）から、エンハンスメント層残留信号（５４０）の変換係数ブロックに関係する構文要素を復号（３２０）することを含む、ように構成されている。
例えば、テンプレートは、現在訪問された変換係数位置での所定の変換係数を符号化するための文脈を決定するために使用される。そして、また、テンプレートは、（ベース層とエンハンスメント層の中の変換ブロックのサイズの大きさでの）位置、および、スペクトル周波数の観点から、所定の変換係数位置に対応するベース層残留信号の中の１つ以上の変換ブロックの中の位置に関わる。
または、ベース層残留信号（４８０）またはベース層信号の勾配またはスペクトル分解の情報が、文脈モデルを決定するために使用される。

【0390】

Ｐ１）スケーラブルビデオデコーダは、
符号化データストリーム（６）からベース層信号のベース層残留信号（４８０）を復号（１００）し、
エンハンスメント層信号（３６０）を再構成（６０）し、
再構成（６０）は、
エンハンスメント層信号（３６０）の部分と異なる予測モードに従って、エンハンスメント層信号（３６０）、ベース層残留信号およびベース層信号の既に再構成された部分から、エンハンスメント層信号（３６０）の部分を予測（２６０）し、
変換係数ブロックが属するエンハンスメント層信号（３６０）が、ベース層残留信号とベース層信号とのいずれかに基づいた中間層予測に関わるか否かに（５２０と２４０を経由して）依存する文脈モデルを使用して、符号化データストリーム（６）から、エンハンスメント層残留信号（５４０）の変換係数ブロックに関係する構文要素を復号（３２０）し、
そして、エンハンスメント層予想信号（４２０）を使用して、エンハンスメント層信号（３６０）を予測的に再構成（３４０）することを含む、
ように構成されている。

【0391】

Ｑ１）スケーラブルビデオデコーダは、
符号化データストリーム（６）からベース層信号（２００ａ，ｂ，ｃ）を再構成（８０）し、
エンハンスメント層信号（３６０）を再構成（６０）し、
再構成（６０）は、
中間層予測信号（３８０）を得るために、再構成されたベース層信号（２００）に解像度または品質の改良を受け（２２０）させ、
符号化パラメータの組の各符号化パラメータ候補に対して、それぞれの試験的な再構成または部分的な再構成の結果を得るために、それぞれの符号化パラメータ候補を使用して、エンハンスメント層信号（３６０）の再構成または部分的な再構成を試験的に実行（２６０）し、
各符号化パラメータ候補に対して、中間層予測信号（３８０）とそれぞれの試験的な再構成または部分的再構成の結果との間の差の大きさを決定（２６０）し、
各符号化パラメータ候補に対して大きさに依存して、符号化パラメータ候補の組の中で選択（２６０）し、
そして、選択された符号化パラメータ候補を使用して、エンハンスメント層信号（３６０）を等しく再構成（３２０，３４０，２６０）することを含む、
ように構成されている。
Ｑ２）ここで、エンハンスメント層に対して決定された符号化パラメータは、内部予測モードに関係する。
Ｑ３）ここで、エンハンスメント層に対して決定された符号化パラメータは、引用画像または作動ベクトルなどの作動パラメータに関係する。
Ｑ４）ここで、エンハンスメント層に対して決定された符号化パラメータは、融合候補に関係する。

【0392】

Ｚ１）スケーラブルビデオデコーダは、
符号化データストリーム（６）からベース層信号（２００ａ，ｂ，ｃ）を再構成（８０）し、
エンハンスメント層信号（３６０）を再構成（６０）し、
再構成（６０）は、
符号化パラメータの組の各符号化パラメータ候補に対して、それぞれの試験的な再構成または部分的な再構成の結果を得るために、それぞれの符号化パラメータ候補を使用して、ベース層信号（３６０）の再構成または部分的な再構成を試験的に実行（２６０）し、
各符号化パラメータ候補に対して、実際に復号化されたベース層再構成とそれぞれの実験的な再構成または部分的な再構成の結果との間の差の大きさを決定（２６０）し、
各符号化パラメータ候補に対して大きさに依存して、符号化パラメータ候補の組の中で選択（２６０）し、
選択された符号化パラメータ候補をエンハンスメント層に移送し、移送は解像度の差に従うスケーリングを含み、
そして、移送された符号化パラメータ候補を使用して、エンハンスメント層信号（３６０）を等しく再構成（３２０，３４０，２６０）することを含む、
ように構成されている。

【0393】

Ｔ１）スケーラブルビデオデコーダは、
内部ブロックのための空間内部予測および中間ブロックのための時間中間予測を使用して、内部ブロックおよび中間ブロックの中の副分割フレームによって、ベース層信号を予測的に再構成（１００，１８０，１６０）し、
エンハンスメント層信号（３６０）を予測的に再構成（３２０，３４０，２６０）し、
再構成（３２０，３４０，２６０）は、
現在再構成されるべきエンハンスメント層信号（３６０）の部分の副部分を得るために、現在再構成されるべきエンハンスメント層信号（３６０）の部分に共同配置されたベース層信号のブロックのブロック副分割を、現在再構成されるべきエンハンスメント層信号（３６０）の部分に局所的に移送し、そして、関係するエンハンスメント層作動ベクトルを、ベース層作動ベクトルに基づく副部分に局所的に移送し、
ベース層作動ベクトルに基づく副部分に関係するエンハンスメント層作動ベクトルを使用して、エンハンスメント層信号（３６０）の既に再構成された部分から、現在再構成されるべきエンハンスメント層信号（３６０）の部分を、作動補償予測によって予測（２６０）することを含む、
ように構成されている。

【0394】

Ｔ２）スケーラブルビデオデコーダは、
ベース層信号を空間的に変化させるベース層符号化パラメータを使用して、ベース層信号を予測的に再構成（１０，１８，１６）し、
ブロックのユニットの中でエンハンスメント層信号（３６）を再構成（３２，３４，２６）し、
再構成（３２，３４，２６）は、
ブロックの予め決められたブロックに対して、ベース層信号の共同配置された部分に移送されたとき、選択された副ブロックの副分割が、副分割される可能な副ブロックの副分割の組の中で最も粗いように、可能な副ブロックの副分割の組の中の副ブロックの副分割を選択し、その結果、ベース層信号は、それぞれの副ブロックの副分割の各副ブロックの
中で、ベース層符号化パラメータは互いに十分同じであり、
選択された副ブロックの副分割を使用して、予め決められたブロックを予測的に再構成することを含む、
ように構成されている。

【0395】

Ｕ１）スケーラブルビデオデコーダは、
内部ブロックのための空間内部予測と中間ブロックのための時間中間予測を使用して、内部ブロックと中間ブロックの中のベース層信号のフレームを副分割して、そして、内部ブロックと中間ブロックが副分割されるブロックのユニットの中で、それぞれ空間内部予測と時間中間予測に関係した予測パラメータをセットすることによって、ベース層信号を予測的にそれぞれ再構成（１００，１８０，１６０）し、
エンハンスメント層信号（３６０）を予測的に再構成（３２０，３４０，２６０）し、
再構成（３２０，３４０，２６０）は、
符号化データストリームの中の予測モード構文を経由して制御され、エンハンスメント信号のフレームが、空間内部予測モード、時間中間予測モードおよび中間層予測モードを含む予測モードの組のそれぞれの１つに副分割される符号化ユニットの中のエンハンスメント信号のフレームを割り当て、
それぞれの符号化ユニットが割り当てられたそれぞれの予測モードを使用して、各符号化ユニットを予測的に再構成し、
割り当てられた空間内部予測モードおよび時間中間予測モードのいずれかを有する符号化ユニットに対して、
更に予測ブロックの中の符号化ユニットを副分割して、それぞれの符号化ユニットが予測ブロックのユニットの中で割り当てられたそれぞれの予測モードに関係する予測パラメータをセットし、
割り当てられた空間内部予測を有するそれぞれの符号化ユニットの場合には、予測パラメータ組を使用して、全ての予測ブロックに空間内部予測を受けさせ、そして、割り当てられた時間中間予測を有するそれぞれの符号化ユニットの場合には、予測パラメータ組を使用して、全ての予測ブロックに時間中間予測を受けさせ、
割り当てられた中間層予測モードを有するそれぞれの符号化ユニットに対して、
内部ブロックおよび中間ブロックの両方に局所的に重なる符号化ユニットが、非時間的モードに関係しかつ内部ブロックに局所的に一致する少なくとも１つの予測ブロックと、時間中間予測モードに関係しかつ中間ブロックに局所的に一致する少なくとも１つの予測ブロックとに副分割されるように、ベース層信号の内部ブロックと中間ブロックとの副分割を、それぞれ符号化ユニットに局所的に移送し、
割り当てられた非時間的予測モードを有するそれぞれの符号化ユニットの全ての予測ブロックに、局所的に一致する内部ブロックの予測パラメータから得られた予測パラメータを使用して、空間内部予測を受けさせ、あるいは、中間層予測の場合には、中間層予測信号（３８０）を得るために、ベース層信号に、解像度または品質の改良を受け（２２０）させ、
中間層予測信号（３８０）を使用して、割り当てられた非時間的予測モードを有するそれぞれの符号化ユニットの予測ブロックを予測（２６０）し、
そして、割り当てられた時間中間予測モードを有するそれぞれの符号化ユニットの全ての予測ブロックに、局所的に一致する中間ブロックの予測パラメータから得られた予測パラメータを使用して、時間中間予測を受けさせることを含む、ように構成されている。

【0396】

Ｖ１）スケーラブルビデオデコーダは、
符号化データストリーム（６）からベース層信号（２００）のベース層残留信号（４８０）を復号（１００）し、
エンハンスメント層信号（３６０）を再構成（６０）し、
再構成（６０）は、
以下の構成によって、符号化データストリームからエンハンスメント層信号を表す変換係数の変換係数ブロックを復号し、
ベース層残留信号またはベース層信号に基づいて、可能な副ブロックの副分割の組の中で副ブロックの副分割を選択し、
１つの副ブロックの中の全ての位置が、副ブロックの中で定義された副ブロックの順序で次の副ブロックに続く直ぐに連続した方法で、横断されるように、変換係数ブロックが、選択された副ブロックの副分割に従って規則的に副分割される、副ブロックのユニットの中の変換係数の位置を横断し、
現在訪問された副ブロックに対して、
データストリームから、現在訪問された副ブロックが重要な変換係数を有するか否かを示す構文要素を復号し、
仮に、構文要素が、現在訪問された副ブロックは重要な変換係数を有さないことを示すならば、現在訪問された副ブロックの中の変換係数をゼロにセットし、
仮に、構文要素が、現在訪問された副ブロックは重要な変換係数を有することを示すならば、データストリームから、現在訪問された副ブロックの中の変換係数のレベルを示す構文要素を復号することを含む、
ように構成されている。

【0397】

Ｗ１）スケーラブルビデオデコーダは、
符号化データストリーム（６）からベース層信号（２００）を再構成（８０）し、
エンハンスメント層信号（３６０）を再構成（６０）し、
再構成（６０）は、
以下の構成によって、エンハンスメント層信号のブロックを空間的に予測し、
中間層予測信号（３８０）を得るために、再構成されたベース層信号（２００ａ，２００ｂ，２００ｃ）に、解像度または品質の改良を受け（２２０）させ、
中間層予測信号（３８０）の第１のラインを登録（２６０）し、エンハンスメント層信号の既に再構成された部分の第２のラインでブロックを局所的に重ね、第１のラインと第２のラインが両方ともライン方向に平行であるブロックを隣接させ、それによってシフト値を得て、
第１のラインの内容で、第１のラインに共同配置されたブロックのラインを充填（２６０）し、シフト値によってシフトすることを含む、ように構成されている。
例えば、ライン方向は水平または垂直である。その結果、予測は、それぞれ、列に従って、または、行に従ってなされる。

【0398】

Ｘ１）スケーラブルビデオデコーダは、
ブロック的予測と、空間内部予測モードと時間中間予測モードとの間のブロック的選択と、空間内部予測モードが選択されたベース層信号のブロックのための内部予測パラメータを使用することによって、符号化データストリーム（６）からベース層信号（２００）を再構成（８０）し、
ブロック的予測と、空間内部予測モードと時間中間予測モードとの間のブロック的選択と、空間内部予測モードが選択されたエンハンスメント層信号のブロックのための内部予測パラメータを使用することによって、符号化データストリーム（６）からエンハンスメント層信号（３６０）を再構成（６０）し、
再構成（６０）は、
エンハンスメント層信号の現在のブロックに隣接する、エンハンスメント層信号の隣接するブロックが、空間内部予測モードを使用して予測されたか否かのために、エンハンスメント層信号の隣接するブロックをチェックし、
仮に、そうであるならば、現在のブロックのためのたぶん有利な内部予測パラメータを、隣接するブロックの内部予測パラメータと指摘し、
仮に、そうでなければ、現在のブロックのためのたぶん有利な内部予測パラメータを、
現在のブロックに共同配置されたベース層信号のブロックの内部予測パラメータと指摘し、
現在のブロックのための符号化データストリームの中に存在する構文要素に基づいた現在のブロックための内部予測パラメータと、たぶん有利な内部予測パラメータとを決定することを含む、ように構成されている。

【0399】

Ｙ１）スケーラブルビデオデコーダは、
ブロック的予測と、空間内部予測モードと時間中間予測モードとの間のブロック的選択と、空間内部予測モードが選択されたベース層信号のブロックの副組のための角度内部予測パラメータを使用することによって、符号化データストリーム（６）からベース層信号（２００）を再構成（８０）し、
ブロック的予測と、空間内部予測モードと時間中間予測モードとの間のブロック的選択と、空間内部予測モードが選択されたベース層信号のブロックの副組のための角度内部予測パラメータを使用することによって、符号化データストリーム（６）からエンハンスメント層信号（３６０）を再構成（６０）し、
再構成（６０）は、
エンハンスメント層信号の現在のブロックに隣接する、エンハンスメント層信号の隣接するブロックが、角度内部予測パラメータを有する空間内部予測モードを使用して予測されたか否かのために、エンハンスメント層信号の隣接するブロックをチェックし、
仮に、そうであるならば、現在のブロックのためのたぶん有利な内部予測パラメータを、隣接するブロックの角度内部予測パラメータと指摘し、
仮に、そうではないけれども、現在のブロックに共同配置されたベース層信号のブロックが、角度内部予測パラメータで符号化されるならば、現在のブロックのためのたぶん有利な内部予測パラメータを、現在のブロックに共同配置されたベース層信号のブロックの角度内部予測パラメータと指摘し、
現在のブロックのための符号化データストリームの中に存在する構文要素に基づいた現在のブロックための内部予測パラメータと、たぶん有利な内部予測パラメータと決定することを含む、ように構成されている。

【0400】

いくつかの実施例が装置の文脈の中で説明されているけれども、これらの実施例が、対応する方法の記述を表わすことも明確である。そこでは、ブロックまたはデバイスが、方法ステップまたは方法ステップの特徴に対応する。また、類似して、方法ステップの文脈の中で記載された実施例は、対応する装置の対応するブロックまたは項目または特徴の記述を表わす。方法ステップのいくつかまたは全てが、ハードウェア装置、例えば、マイクロプロセッサのようなプログラム可能なコンピュータまたは電子回路によって（または、使用して）実行される。いくつかの実施の形態の中で、最も重要な方法ステップの１つ以上が、そのような装置によって実行される。

【0401】

所定の実現の要求に依存して、本発明の実施の形態が、ハードウェアまたはソフトウェアの中で実現することができる。実現が、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する（または、協働できる）、保存された電子的に読み込み可能な制御信号を有するデジタル保存媒体、例えば、フロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ（登録商標）、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実行される。従って、デジタル保存媒体は、コンピュータ読み込み可能である。

【0402】

本発明に従ったいくつかの実施の形態が、ここに記載された方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働できる電子的に読み込み可能な制御信号を有するデータキャリアを含む。

【0403】

一般に、本発明の実施の形態が、プログラムコードを有するコンピュータプログラム製品として実行される。コンピュータプログラム製品がコンピュータで稼働するとき、プログラムコードが、方法の１つを実行するために操作される。例えば、プログラムコードは、機械読み込み可能なキャリアに保存される。

【0404】

別の実施の形態は、機械読み込み可能なキャリアに保存された、ここに記載された方法の１つを実行するためのコンピュータプログラムを含む。

【0405】

言い換えれば、発明の方法の実施の形態は、コンピュータプログラムがコンピュータで稼働するとき、コンピュータプログラムは、方法の１つを実行するためのプログラムコードを有する。

【0406】

従って、発明の方法の更なる実施の形態は、データキャリア（または、デジタル保存媒体、または、コンピュータ読み込み可能な媒体）は、その上に記録された、ここに記載された方法の１つを実行するためのコンピュータプログラムを含む。データキャリア、デジタル保存媒体または記録媒体は、通常、触知できるおよび／または触知できない。

【0407】

従って、発明の方法の更なる実施の形態は、ここに記載された方法の１つを実行するためのコンピュータプログラムを表わすデータストリームまたは信号の系列である。例えば、データストリームまたは信号の系列が、データ通信接続経由で（例えば、インターネット経由で）移送されるように構成される。

【0408】

更なる実施の形態は、プロセス手段（例えば、コンピュータまたはプログラム可能論理回路）が、ここに記載された方法の１つが実行されるように構成される、または、適合される。

【0409】

更なる実施の形態は、ここに記載された方法の１つが実行するためのコンピュータプログラムをインストールしたコンピュータを含む。

【0410】

本発明に係る更なる実施の形態は、ここに記載された方法の１つを実行するためのコンピュータプログラムを、受信機に（例えば、電子的または光学的に）移送するように構成された装置またはシステムを含む。例えば、受信機は、コンピュータ、モバイル機器、メモリ素子または同様のものである。例えば、装置またはシステムは、コンピュータプログラムを受信機に移送するためにファイルサーバーを含む。

【0411】

いくつかの実施の形態において、プログラム可能論理回路（例えば、フィールドプログラム可能なゲートアレイ）は、ここに記載された方法の関数性のいくつかまたは全てを実行するために使用される。いくつかの実施の形態において、フィールドプログラム可能なゲートアレイは、ここに記載された方法の１つを実行するためにマイクロプロセッサと協働する。一般に、好ましくは、方法はどんなハードウェア装置によっても実行される。

【0412】

上述の実施の形態は、本発明の原理のためにのみ例示するだけである。配置および本明細書において記載される詳細の修正および変更は、他の当業者にとって明らかであるものと理解される。従って、差し迫った本発明の特許請求の範囲の概要のみに制限され、本実施の形態の記述および説明の目的により特定の詳細な表現によっては制限されないことを意図している。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図15c】

【図15d】

【図16】

【図17】

【図18】

【図19a】

【図19b】

【図19c】

【図20】

【図21】

【図22】

【図23】

【図24a】

【図24b】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】