特許 6393323 画像シーケンスを表すスケーラブル・ストリームを復号する方法及びデバイス、並びに対応する符号化方法及びデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6393323

(24)【登録日】2018年8月31日

(45)【発行日】2018年9月19日

(54)【発明の名称】画像シーケンスを表すスケーラブル・ストリームを復号する方法及びデバイス、並びに対応する符号化方法及びデバイス

(51)【国際特許分類】

   H04N 19/70 20140101AFI20180910BHJP

   H04N 19/30 20140101ALI20180910BHJP

   H04N 19/50 20140101ALI20180910BHJP

【ＦＩ】

   H04N19/70

   H04N19/30

   H04N19/50

【請求項の数】20

【全頁数】23

(21)【出願番号】特願2016-526536(P2016-526536)

(86)(22)【出願日】2014年7月10日

(65)【公表番号】特表2016-526865(P2016-526865A)

(43)【公表日】2016年9月5日

(86)【国際出願番号】EP2014064817

(87)【国際公開番号】WO2015007604

(87)【国際公開日】20150122

【審査請求日】2017年7月6日

(31)【優先権主張番号】1357034

(32)【優先日】2013年7月17日

(33)【優先権主張国】FR

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ボルデ フィリップ

(72)【発明者】

【氏名】ロペス パトリック

(72)【発明者】

【氏名】チュルカン メフメト

【審査官】 冨田 高史

(56)【参考文献】

【文献】 特開２００５−１４２６５４（ＪＰ，Ａ）

【文献】 JCTVC-K0033，２０１２年１０月１１日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有するスケーラブル・ストリームを復号する方法であって、
前記ベースレイヤから少なくとも１つの画像を再構成するステップと、
前記再構成された少なくとも１つの画像の少なくとも１つの領域を特定する情報の少なくとも１つの項目を有する復号されたエンハンスメントデータへと、複数のブロックのグループに関連する前記少なくとも１つのエンハンスメントレイヤの第１部分を復号するステップと、
前記情報の少なくとも１つの項目によって特定される前記再構成された少なくとも１つの画像の前記少なくとも１つの領域を処理するステップと、
前記少なくとも１つのエンハンスメントレイヤの第２部分から前記グループの中の少なくとも１つのブロックについて残差を求めるステップと、
前記残差から及び前記処理された少なくとも１つの領域から前記少なくとも１つのブロックを再構成するステップと
を有する方法。

【請求項2】

前記グループは、画像スライスである、
請求項１に記載の方法。

【請求項3】

前記再構成された少なくとも１つの画像の少なくとも１つの領域を特定する前記情報の少なくとも１つの項目は、前記グループの中のブロックに対応する前記再構成された少なくとも１つの画像の各ブロックについて、前記再構成された少なくとも１つの画像の当該ブロックが処理されるべきか否かを示すマップである、
請求項１又は２に記載の方法。

【請求項4】

前記再構成された少なくとも１つの画像の少なくとも１つの領域を特定する前記情報の少なくとも１つの項目は、前記グループの中の各ブロックについて、前記グループの中の当該ブロックがその再構成のために前記再構成された少なくとも１つの画像の処理されたブロックを使用するかどうかを示すマップである、
請求項１又は２に記載の方法。

【請求項5】

前記再構成された少なくとも１つの画像の少なくとも１つの領域を特定する前記情報の少なくとも１つの項目が前記グループのために符号化されるか否かを示す前記グループについての追加情報の項目を前記少なくとも１つのエンハンスメントレイヤから復号するステップを有する
請求項１乃至４のうちいずれか一項に記載の方法。

【請求項6】

前記少なくとも１つのエンハンスメントレイヤの少なくとも１つの画像について、前記再構成された少なくとも１つの画像の少なくとも１つの領域を特定する前記情報の少なくとも１つの項目が、前記エンハンスメントレイヤの前記少なくとも１つの画像の複数のブロックのグループのために符号化され得るか否かを示す追加情報の第１項目を前記少なくとも１つのエンハンスメントレイヤから復号するステップを有する
請求項１乃至４のうちいずれか一項に記載の方法。

【請求項7】

前記追加情報の第１項目が、前記再構成された少なくとも１つの画像の少なくとも１つの領域を特定する前記情報の少なくとも１つの項目が符号化され得ることを示す場合に、
前記エンハンスメントレイヤの前記少なくとも１つの画像の前記複数のブロックのグループについて、前記再構成された少なくとも１つの画像の少なくとも１つの領域を特定する前記情報の少なくとも１つの項目が前記エンハンスメントレイヤの前記少なくとも１つの画像の前記複数のブロックのグループのために符号化されるか否かを示す追加情報の第２項目を、前記少なくとも１つのエンハンスメントレイヤから復号するステップを有する
請求項６に記載の方法。

【請求項8】

ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有するスケーラブル・ストリームの形で画像のシーケンスを符号化する方法であって、
前記ベースレイヤにおいて少なくとも１つの画像を符号化し、該少なくとも１つの画像を再構成するステップと、
複数のブロックのグループに関連する前記少なくとも１つのエンハンスメントレイヤの第１部分においてエンハンスメントデータを符号化するステップであって、該エンハンスメントデータが、前記再構成された少なくとも１つの画像の少なくとも１つの領域を特定する情報の少なくとも１つの項目を有する、ステップと、
前記情報の少なくとも１つの項目によって特定される前記再構成された少なくとも１つの画像の前記少なくとも１つの領域を処理するステップと、
前記グループの中の少なくとも１つのブロックについて、該少なくとも１つのブロックから及び前記処理された少なくとも１つの領域から残差を求めるステップと、
前記少なくとも１つのエンハンスメントレイヤの第２部分において前記残差を符号化するステップと
を有する方法。

【請求項9】

前記グループは、少なくとも１つの画像スライスを有する、
請求項８に記載の方法。

【請求項10】

前記再構成された少なくとも１つの画像の少なくとも１つの領域を特定する前記情報の少なくとも１つの項目は、前記グループの中のブロックに対応する前記再構成された少なくとも１つの画像の各ブロックについて、前記再構成された少なくとも１つの画像の当該ブロックが処理されるべきか否かを示すマップである、
請求項８又は９に記載の方法。

【請求項11】

前記再構成された少なくとも１つの画像の少なくとも１つの領域を特定する前記情報の少なくとも１つの項目は、前記グループの中の各ブロックについて、前記グループの中の当該ブロックがその再構成のために前記再構成された少なくとも１つの画像の処理されたブロックを使用するかどうかを示すマップである、
請求項８又は９に記載の方法。

【請求項12】

前記再構成された少なくとも１つの画像の少なくとも１つの領域を特定する前記情報の少なくとも１つの項目が前記グループのために符号化されるか否かを示す前記グループについての追加情報の項目を前記少なくとも１つのエンハンスメントレイヤにおいて符号化するステップを有する
請求項８乃至１１のうちいずれか一項に記載の方法。

【請求項13】

前記少なくとも１つのエンハンスメントレイヤの少なくとも１つの画像について、前記再構成された少なくとも１つの画像の少なくとも１つの領域を特定する前記情報の少なくとも１つの項目が、前記少なくも１つのエンハンスメントレイヤの前記少なくとも１つの画像の複数のブロックのグループのために符号化され得るか否かを示す追加情報の第１項目を前記前記少なくとも１つのエンハンスメントレイヤにおいて符号化するステップを有する
請求項８乃至１１のうちいずれか一項に記載の方法。

【請求項14】

前記追加情報の第１項目が、前記再構成された少なくとも１つの画像の少なくとも１つの領域を特定する前記情報の少なくとも１つの項目が符号化され得ることを示す場合に、
前記少なくとも１つのエンハンスメントレイヤの前記少なくとも１つの画像の前記複数のブロックのグループについて、前記再構成された少なくとも１つの画像の少なくとも１つの領域を特定する前記情報の少なくとも１つの項目が、前記少なくとも１つのエンハンスメントレイヤの前記少なくとも１つの画像の前記複数のブロックのグループのために符号化されるか否かを示す追加情報の第２項目を、前記少なくとも１つのエンハンスメントレイヤにおいて符号化するステップを有する
請求項１３に記載の方法。

【請求項15】

ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有するスケーラブル・ストリームを復号するよう構成される復号器であって、
前記ベースレイヤから少なくとも１つの画像を再構成する手段と、
前記再構成された少なくとも１つの画像の少なくとも１つの領域を特定する情報の少なくとも１つの項目を有する復号されたエンハンスメントデータへと、複数のブロックのグループに関連する前記少なくとも１つのエンハンスメントレイヤの第１部分を復号する手段と、
前記情報の少なくとも１つの項目によって特定される前記再構成された少なくとも１つの画像の前記少なくとも１つの領域を処理する手段と、
前記少なくとも１つのエンハンスメントレイヤの第２部分から前記グループの中の少なくとも１つのブロックについて残差を求める手段と、
前記残差から及び前記処理された少なくとも１つの領域から前記少なくとも１つのブロックを再構成する手段と
を有する復号器。

【請求項16】

請求項１乃至７のうちいずれか一項に記載の復号する方法のステップを実行するよう構成される
請求項１５に記載の復号器。

【請求項17】

ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有するスケーラブル・ストリームの形で画像のシーケンスを符号化するよう構成される符号器であって、
前記ベースレイヤにおいて少なくとも１つの画像を符号化し、該少なくとも１つの画像を再構成する手段と、
複数のブロックのグループに関連する前記少なくとも１つのエンハンスメントレイヤの第１部分において、前記再構成された少なくとも１つの画像の少なくとも１つの領域を特定する情報の少なくとも１つの項目を有するエンハンスメントデータを符号化する手段と、
前記情報の少なくとも１つの項目によって特定される前記再構成された少なくとも１つの画像の前記少なくとも１つの領域を処理する手段と、
前記グループの中の少なくとも１つのブロックについて、該少なくとも１つのブロックから及び前記処理された少なくとも１つの領域から残差を求める手段と、
前記少なくとも１つのエンハンスメントレイヤの第２部分において前記残差を符号化する手段と
を有する符号器。

【請求項18】

請求項８乃至１４のうちいずれか一項に記載の符号化する方法のステップを実行するよう構成される
請求項１７に記載の符号器。

【請求項19】

コンピュータで実行される場合に請求項１乃至７のうちいずれか一項に記載の方法のステップを実行するプログラムコード命令を有することを特徴とするコンピュータプログラム。

【請求項20】

コンピュータで実行される場合に請求項８乃至１４のうちいずれか一項に記載の方法のステップを実行するプログラムコード命令を有することを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像シーケンスのスケーラブル符号化の全般的分野に関する。特に、本発明は、ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有する画像シーケンスを表すスケーラブル・ストリームを復号する方法にも関する。本発明は、符号化方法及び対応するデバイスにも関する。

【背景技術】

【0002】

スケーラブル符号化方法は、情報が階層的に符号化されることを可能にすることが知られている。それにより、この情報は、異なる分解能（空間スケーラビリティ）及び異なる品質（ＳＮＲ（Signal to Noise Ratio）スケーラビリティ）で、異なる色域又は色空間（ＣＧＳ（Colour Gamut Scalability）スケーラビリティ）を有して復号され得る。スケーラブル符号器によって生成されたストリームは、異なるレイヤ、すなわち、ベースレイヤ及び１つ以上のエンハンスメントレイヤに分けられる。そのようなデバイスは、異なる伝送条件（バンド幅、エラー率、等）に、更には、受信デバイスの機能に適応するデータのストリームを生成することができる。スケーラブル符号器は、ベースレイヤにおいては低解像の画像に関するデータの第１部分を、少なくとも１つのエンハンスメントレイヤにおいては高解像の画像（すなわち、水平方向及び／又は垂直方向のピクセルの数において低解像の画像よりもサイズが大きい画像）に関するデータの他の部分を空間的に符号化する。エンハンスメントレイヤにおいて符号化されたデータは、一般に、ベースレイヤからのデータを考慮することによってそのようにされ、それにより、低解像の画像と高解像の画像との間の冗長性が低減されるとともに、符号化費用も削減される。図１を参照して、Ｉ_ＢＬ画像と呼ばれる低解像の画像を符号化し（１０）、それらを少なくとも部分的に再構成してそれらを処理し（１２）、つまり、Ｉ_ＥＬ画像と呼ばれる高解像の画像のサイズでそれらをサンプリングし直すことが知られる。このようにして再サンプリングされたＩ_ＢＬ画像は、Ｉ_ＥＬ画像の符号化（１４）を目的としてＩ_ＥＬ画像を予測するために使用される。異なるレイヤは、単一のスケーラブル・ストリームＳへと場合により多重化され得る（１６）。スケーラブル符号化は、空間スケーラブル符号化に制限されない。よって、スケーラブル符号器は、第１色空間において表現される画像に関するデータをベースレイヤにおいて符号化し、第１色空間とは異なる第２色空間において表現される画像に関するデータを少なくとも１つのエンハンスメントレイヤにおいて符号化することが知られる。少なくとも部分的に再構成されたベースレイヤの画像は、次いで、色に関するそれらの特性がエンハンスメントレイヤの画像の色に関する特性と近いように処理される。このようにして処理されたＩ_ＢＬ画像は、Ｉ_ＥＬ画像の符号化を目的としてＩ_ＥＬ画像を予測するために使用される。

【0003】

一般に、ベースレイヤの画像は、エンハンスメントレイヤのリファレンス画像バッファ又はＤＰＢ（Decoding Picture Buffer；復号化ピクチャバッファ）に記憶される前に、完全に処理される。ベースレイヤの画像の処理は、例えば、それが予測するために使用されるエンハンスメントレイヤの画像の復号化の直前に実行される。そのような解決法は、再構成されたベースレイヤの画像全体の処理を必要とし、これは、計算に関して費用がかかり得る。

【0004】

変形例に従って、エンハンスメントレイヤのブロックがベースレイヤの画像から再構成される場合に、ブロックの符号化モードがそれを示す。従って、エンハンスメントレイヤのかかるブロックを復号する場合に、このブロックの符号化モードを確認し、関連するブロックを再構成するのに必要な再構成されたベースレイヤの画像の領域のみを処理することが可能である。この場合において、関連するブロックを再構成するのに必要な再構成されたベースレイヤの画像の処理は、ブロックの符号化モードの復号化の直後に実行される。この解決法は、エンハンスメントレイヤの画像を再構成するのに必要なベースレイヤの再構成された画像の領域のみが処理されるので、計算に関して経済的である。しかし、この解決法は、再構成されたベースレイヤの画像を記憶しているバッファへの多数のアクセスと、処理関数の多数の呼び出しとを必要とする。実際に、処理関数は、ベースレイヤ画像に関連して予測されることを示す符号化モード（インターレイヤ・モード）を有するブロックが復号される回数だけ呼び出される。

【発明の概要】

【0005】

本発明の目的は、先行技術の欠点のうちの少なくとも１つを解決することである。このために、ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有するスケーラブル・ストリームを復号する方法が記載される。方法は、
前記ベースレイヤから少なくとも１つの画像を再構成するステップと、
前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する情報の少なくとも１つの項目を有する復号されたエンハンスメントデータへと、ブロックのグループに関連する前記少なくとも１つのエンハンスメントレイヤの第１部分を復号するステップと、
前記情報によって特定される前記再構成された画像の前記少なくとも１つの領域を処理するステップと、
前記少なくとも１つのエンハンスメントレイヤの第２部分から前記ブロックのグループの中の少なくとも１つのブロックについて残差を求めるステップと、
前記残差から及び前記処理された少なくとも１つの領域から前記グループのブロックを再構成するステップと
を有する。

【0006】

この復号化方法は、有利なことには、処理関数へのアクセスの回数を減らすのみならず、再構成されたベースレイヤの画像の有用な領域のみを処理する。

【0007】

特定の実施形態に従って、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報は、前記ブロックのグループの中のブロックに対応する前記再構成された画像の各ブロックについて当該ブロックが処理されるべきか否かを示すマップである。

【0008】

変形例に従って、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報は、前記ブロックのグループの中の各ブロックについて当該ブロックがその再構成のために前記再構成された画像の処理されたブロックを使用するかどうかを示すマップである。

【0009】

本発明の特定の特徴に従って、前記ベースレイヤは、前記少なくとも１つのエンハンスメントレイヤよりも下位の他のエンハンスメントレイヤである。

【0010】

有利なことには、方法は、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報がブロックの少なくとも１グループのために符号化されるか否かを示す当該ブロックのグループについての情報の追加項目の前記エンハンスメントレイヤからの復号化ステップを有する。

【0011】

本発明の特定の特徴に従って、前記ブロックのグループは、画像スライス又は画像である。

【0012】

本発明の他の態様に従って、復号化方法は、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報がブロックのグループのために符号化され得るか否かを示す情報の第１追加項目を前記エンハンスメントレイヤから復号するステップを有する。

【0013】

本発明の特定の特徴に従って、前記情報の第１追加項目は少なくとも１つの画像について復号され、方法は、前記情報の第１追加項目が、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する情報の項目が符号化され得ることを示す場合に、ブロックのグループについて、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報が当該ブロックのグループのために符号化されるか否かを示す追加情報の第２項目を、前記エンハンスメントレイヤから復号するステップを有する。

【0014】

ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有するスケーラブル・ストリームの形で画像のシーケンスを符号化する方法も記載される。符号化方法は、
前記ベースレイヤにおいて少なくとも１つの画像を符号化し、該少なくとも１つの画像を再構成するステップと、
ブロックのグループに関連する前記エンハンスメントレイヤの第１部分においてエンハンスメントデータを符号化するステップであって、該エンハンスメントデータが、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する情報の項目を有する、ステップと、
前記情報によって特定される前記再構成された画像の前記少なくとも１つの領域を処理するステップと、
前記グループのブロックから及び前記処理された少なくとも１つの領域から前記ブロックのグループの中の少なくとも１つのブロックについて残差を求めるステップと、
前記エンハンスメントレイヤの第２部分において前記残差を符号化するステップと
を有する。

【0015】

特定の実施形態に従って、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報は、前記ブロックのグループの中のブロックに対応する前記再構成された画像の各ブロックについて当該ブロックが処理されるべきか否かを示すマップである。

【0016】

変形例に従って、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報は、前記ブロックのグループの中の各ブロックについて当該ブロックがその再構成のために前記再構成された画像の処理されたブロックを使用するかどうかを示すマップである。

【0017】

本発明の特定の特徴に従って、前記ベースレイヤは、前記少なくとも１つのエンハンスメントレイヤよりも下位の他のエンハンスメントレイヤである。

【0018】

有利なことには、方法は、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報がブロックの少なくとも１グループのために符号化されるか否かを示す当該ブロックのグループについての情報の追加項目を前記エンハンスメントレイヤにおいて符号化するステップを有する。

【0019】

変形例として、符号化方法は、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報がブロックのグループのために符号化され得るか否かを示す情報の第１追加項目を前記エンハンスメントレイヤにおいて符号化するステップを有する。

【0020】

本発明の特定の特徴に従って、前記情報の第１追加項目は少なくとも１つの画像について符号化され、当該方法は、前記情報の第１追加項目が、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する情報の項目が符号化され得ることを示す場合に、ブロックのグループについて、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報が当該ブロックのグループのために符号化されるか否かを示す追加情報の第２項目を、前記エンハンスメントレイヤにおいて符号化するステップを有する。

【0021】

ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有するスケーラブル・ストリームを復号するよう構成される復号器が記載される。復号器は、
前記ベースレイヤから少なくとも１つの画像を再構成する手段と、
前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する情報の少なくとも１つの項目を有する復号されたエンハンスメントデータへと、ブロックのグループに関連する前記少なくとも１つのエンハンスメントレイヤの第１部分を復号する手段と、
前記情報によって特定される前記再構成された画像の前記少なくとも１つの領域を処理する手段と、
前記少なくとも１つのエンハンスメントレイヤの第２部分から前記ブロックのグループの中の少なくとも１つのブロックについて残差を求める手段と、
前記残差から及び前記処理された少なくとも１つの領域から前記グループのブロックを再構成する手段と
を有する。

【0022】

復号器は、実施形態の１つに従う復号化方法のステップを実行するよう構成される。

【0023】

ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有するスケーラブル・ストリームの形で画像のシーケンスを符号化するよう構成される符号器が記載される。符号器は、
前記ベースレイヤにおいて少なくとも１つの画像を符号化し、該少なくとも１つの画像を再構成する手段と、
ブロックのグループに関連する前記エンハンスメントレイヤの第１部分において、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する情報の項目を有するエンハンスメントデータを符号化する手段と、
前記情報によって特定される前記再構成された画像の前記少なくとも１つの領域を処理する手段と、
前記グループのブロックから及び前記処理された少なくとも１つの領域から前記ブロックのグループの中の少なくとも１つのブロックについて残差を求める手段と、
前記エンハンスメントレイヤの第２部分において前記残差を符号化する手段と
を有する。

【0024】

符号器は、記載されている実施形態の１つに従う符号化方法のステップを実行するよう構成される。

【0025】

ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有する画像のシーケンスを表す符号化されたデータストリームが記載される。前記ベースレイヤは、該ベースレイヤの少なくとも１つの画像に関するデータを有する。前記エンハンスメントレイヤは、ブロックのグループに関する第１部分において、再構成後に処理すべき前記ベースレイヤの前記画像の少なくとも１つの領域を特定する情報の項目を有するエンハンスメントデータを有し、第２部分において、前記グループの中の少なくとも１つのブロックから及び処理された前記少なくとも１つの領域から求められる残差を表すデータを有する。

【0026】

コンピュータで実行される場合に実施形態の１つに従う復号化方法のステップを実行するプログラムコード命令を有するコンピュータプログラムプロダクトが記載される。

【0027】

コンピュータで実行される場合に実施形態の１つに従う符号化方法のステップを実行するプログラムコード命令を有するコンピュータプログラムプロダクトが記載される。

【図面の簡単な説明】

【0028】

本発明は、添付の図面を参照して、非制限的な実施形態及び有利な実施を用いて説明され、より良く理解されるであろう。

【図1】先行技術に従う符号化方法を示す。

【図2】本発明の特定の非制限的な実施形態に従う復号化方法を示す。

【図3】再構成されたベースレイヤの画像の中の処理すべき少なくとも１つの領域を特定する情報の項目ｉｎｆｏを具体的なマップの形で示す。

【図4】再構成されたベースレイヤの画像の中の処理すべき少なくとも１つの領域を特定する情報の項目ｉｎｆｏを具体的なマップの形で示す。

【図5】本発明の実施形態に従うエンハンスメントレイヤの部分を示す。

【図6】本発明の別の実施形態に従うエンハンスメントレイヤの部分を示す。

【図7】本発明の別の実施形態に従うエンハンスメントレイヤの部分を示す。

【図8】本発明の特定の非制限的な実施形態に従う符号化方法を示す。

【図9】本発明の特定の非制限的な実施形態に従う復号化デバイスを示す。

【図10】本発明の特定の非制限的な実施形態に従う復号化デバイスを示す。

【図11】本発明の特定の非制限的な実施形態に従う符号化デバイスを示す。

【図12】本発明の特定の非制限的な実施形態に従う符号化デバイスを示す。

【発明を実施するための形態】

【0029】

本発明は、ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有する画像シーケンスを表すスケーラブル・ストリームを復号するデバイスに関する。

【0030】

画像シーケンスは、複数の画像の連続である。各画像は、ピクセル又は画像点を有し、それらの夫々は、画像データの少なくとも１つの項目を関連付けられている。画像データの項目は、例えば、輝度データの項目又はクロミナンスデータの項目である。以降の記載では、符号化方法及び復号化方法は、ピクセルのブロックを参照して記載される。それらの方法は、１つ以上の画像の再構成を夫々符号化することを目的として、画像のいくつかの画像に且つシーケンスのいくつかの画像に適用され得ることが明らかである。スケーラビリティの具体的な場合において、スケーラブル・ストリームは、異なったバージョン、例えば、異なった分解能、異なった色域／色空間、等において、画像シーケンスを表現する。

【0031】

“モーションデータ”との表現は、最も広い意味で理解されるべきである。それは、動きベクトルと、場合により、リファレンス画像が画像シーケンスにおいて識別されることを可能にするリファレンス画像インデックスとを表す。それは、予測ブロックを決定するために使用される補間タイプを示す情報の項目を更に有することができる。実際に、ブロックＢｃに関連する動きベクトルが整数座標を有さない場合において、画像データは、予測ブロックを決定するようリファレンス画像Ｉｒｅｆにおいて補間されるべきである。あるブロックに関連するモーションデータは、一般に、動き推定方法によって、例えば、ブロック・ペアリングによって、計算される。しかし、本発明は、動きベクトルがブロックと関連付けられることを可能にする方法によって決して制限されない。

【0032】

“残差データ”との表現は、他のデータの取り出し後に得られるデータを表す。取り出しは、一般に、ソースデータからの予測データのピクセル毎の減算である。しかし、取り出しは、より一般的であり、とりわけ加重減算を有する。“残差データ”との表現は、語“残差”と同義である。

【0033】

“変換された残差データ”との表現は、変換が適用された残差データを表す。ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）は、２００３年９月にJ. Wiley & Sonsによって公表された、“H.264 and MPEG-4 video compression”と題されたI. E. Richardsonによる文献の第３．４．２．２章に記載されているような変換の一例である。I. E. Richardsonによる文献の第３．４．２．２章に記載されているウェーブレット変換、及びアダマール（Hadamard）変換は、他の例である。そのような変換は、画像データのブロック、例えば、輝度及び／又はクロミナンス残差データを、“変換後データ”とも呼ばれる“変換後データのブロック”、“周波数データブロック”又は“係数のブロック”へと“変換”する。係数のブロックは、一般に、直流係数又はＤＣ係数の名の下で知られている低周波係数と、ＡＣ係数の名の下で知られている高周波係数とを有する。

【0034】

“予測データ”との表現は、他のデータを予測するために使用されるデータを表す。予測ブロック又は予測子は、予測データが関連付けられるピクセルのブロックである。

【0035】

予測ブロックは、それが予測するブロックが属する画像と同じ画像のブロック若しくは複数のブロックから（空間予測又はイントラ画像予測）、又はそれが予測するブロックが属する画像とは異なる画像の１つのブロック（単方向予測）若しくは複数のブロック（双方向若しくは２回予測予測）から、得られる。スケーラブルの場合において、予測ブロックは、エンハンスメントレイヤのブロックについて、ベースレイヤの画像の少なくとも１つのブロック、例えば、同じ場所にあるブロック（インターレイヤ予測）からも得られる。

【0036】

“予測モード”との表現は、ブロックが予測される方法を表す。“符号化モード”との表現は、ブロックがストリームにおいて符号化される方法を表す。それは、予測される場合に予測モードを含む。予測モードの中には、空間予測に対応するイントラ（INTRA）モードと、時間予測に対応するインター（INTER）モードと、インターレイヤ予測に対応するインターレイヤ（INTER-LAYER）モードとがある。インターレイヤモードは、ベースレイヤの再構成された画像がエンハンスメントレイヤのリファレンスバッファに記憶される場合にインターモードのように実施され得る点に留意されたい。よって、標準的なインターモードは、リファレンスインデックスの値によって、インターレイヤモードに対応するインターモードと区別される。予測モードは、ブロックが符号化されるよう分割される方法を特定することができる。よって、サイズ１６×１６のブロックに関連する８×８インター予測モードは、１６×１６ブロックが４つの８×８ブロックに分割され、時間予測によって予測されることを表す。

【0037】

“再構成されたデータ”との表現は、残差を予測データとマージした後に得られるデータ（例えば、ピクセル、ブロック）を表す。マージは、一般に、予測データと残差との和である。しかし、マージすることは、より一般的であり、とりわけ加重和を有する。再構成されたブロックは、再構成されたピクセルのブロックである。

【0038】

現在のブロックの“因果近傍領域”は、現在のブロックのピクセルより前に符号化／再構成されたピクセルを有する当該ブロックの近傍領域を表す。

【0039】

画像復号化に関連して、語“再構成”及び“復号化”は、同義であるものとして何度も使用される。よって、“再構成されたブロック”は、“復号されたブロック”の用語の下でも指し示される。

【0040】

語“符号化”は、最も広い意味で解釈されるべきである。符号化は、場合により、画像データの変換の及び／又は量子化を有する。それはまた、エントロピ符号化のみを表すこともできる。

【0041】

図２は、本発明の特定の非制限的な実施形態に従って、ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有するスケーラブル・ストリームＳの復号化方法を示す。当然に、ベースレイヤ及びエンハンスメントレイヤについて記載される本発明は、異なるレベルの２つのエンハンスメントレイヤに適用されてよく、下位のエンハンスメントレイヤが上位のエンハンスメントレイヤに対してベースレイヤの役割を果たす。

【0042】

ステップ２０の間、ベースレイヤの少なくとも１つの画像Ｉ_ＢＬは、ベースレイヤから再構成される。このために、ベースレイヤは、エントロピ復号化によって、例えば、ＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding；コンテキスト適応型二値算術符号化）復号化又はＣＡＶＬＣ（Context-Adaptive Variable-Length Coding；コンテキスト適応型可変長符号化）復号化によって、少なくとも部分的に復号される。復号されたデータは、とりわけ、残差を表すデータ、例えば、量子化されたＤＣＴ係数、符号化モード、場合によりモーションデータを有する。画像の現在のブロックについての画像Ｉ_ＢＬの再構成は、そのブロックの符号化モードに従う空間又は時間予測子の取得を有する。予測子は、再構成すべき現在のブロックと同じ画像において（空間予測）、又はリファレンス画像と呼ばれる他の画像において（時間予測）、前もって再構成された画像の部分から得られる。予測子は、現在のブロックを再構成するよう残差に加えられる。残差は、例えば、ベースレイヤのエントロピ復号化の間に得られた残差に関するデータの逆量子化又は逆変換によって、得られる。語“逆”は、復号器における量子化及び変換の動作が符号器において使用されるそれらの動作と逆行することを表すために使用される。変形例に従って、現在のブロックが予測によらずに（例えば、Ｈ．２６４のＩＰＣＭイントラモードに従って）符号化される具体的な場合においては、予測子は残差に加えられない。残差は、後者の場合では、再構成された現在のブロックに直接対応する。他の変形例に従って、残差はヌルである。これは、スキップモードと呼ばれる特定の符号化モードに従って符号化される現在のブロックについて特に当てはまる。再構成された現在のブロックは、この場合に予測ブロックである。現在のブロックについて記載される再構成プロセスは、ベースレイヤの画像Ｉ_ＢＬを再構成するよう繰り返される。当然に、このプロセスは、ベースレイヤの全ての画像を再構成するためにも繰り返され得る。

【0043】

ステップ２２の間、ブロックのグループに関連するエンハンスメントレイヤの第１部分ＥＬ１は、復号されたエンハンスメントデータへと復号される。ブロックのグループは、再構成すべきエンハンスメントレイヤの画像に属する。部分ＥＬ１は、エントロピ復号化によって、例えば、ＣＡＢＡＣ復号化によって、復号される。このようにして、復号されたエンハンスメントデータは、再構成すべきエンハンスメントレイヤの画像のブロックのグループに関する情報を有する。ブロックのグループは、例えば、画像又は画像スライスである。例えば、このエンハンスメントデータは、画像スライスヘッダ、ＰＰＳ（Picture Parameter Set；ピクチャパラメータセット）、又はメッセージＳＥＩ（Supplemental Enhancement Information；補足エンハンスメント情報）を復号することによって得られる。語ＰＰＳ及びＳＥＩは、とりわけ、ビデオ符号化標準規格Ｈ．２６４を記述するＩＳＯ／ＩＥＣドキュメント１４４９６−１０の夫々第３．１０７項（定義）及び付録Ｄにおいて定義されている。実際に、そのような要素は、ブロックのグループに関する情報を含む。しかし、画像スライスは単一のブロックしか含み得ない点に留意されたい。なお、単一ブロックの画像スライスを有する画像を符号化することは、ビットレートに関して非効率的である。各スライスが複数のブロック（例えば、２つのブロック）を含むところのスライス符号化は、共通の情報をまとめて、各ブロックのヘッダにおいて同じ情報を複製することを防ぐ。有利なことには、この符号化されたエンハンスメントデータは、ステップ２０で再構成された画像Ｉ_ＢＬの中の処理すべき少なくとも１つの領域を特定する情報の項目ｉｎｆｏを有する。よって、ブロックのグループに関連するエンハンスメントレイヤの第１部分ＥＬ１の復号化から、復号器は、再構成された画像Ｉ_ＢＬの中の処理すべき領域、すなわち、エンハンスメントレイヤの画像の再構成の間に有効に使用される領域の知見を有する。よって、この情報は、エンハンスメントレイヤの画像の再構成の間に使用される、よって、処理されるべき再構成された画像Ｉ_ＢＬの領域と、使用されない、よって、処理されるべきでない領域とを区別することができる。

【0044】

この情報ｉｎｆｏは、例えば、エンハンスメントレイヤのブロックのグループの中の各ブロックについて、ベースレイヤの対応する領域（例えば、ブロック）が処理されるべきか否かを示すマップの形で、与えられる。再構成された画像Ｉ_ＢＬの領域は、それが同じ位置にあるならば、すなわち、それが、場合により処理後に、同じ空間位置を画像において占有するならば（空間スケーラビリティの場合）、エンハンスメントレイヤの画像のブロックに対応する。

【0045】

変形例として、情報ｉｎｆｏは、例えば、ブロックのグループの中のあるブロックに対応する再構成された画像Ｉ_ＢＬの各領域（例えば、ブロック）について、この領域が処理されるべきか否かを示すマップの形で、与えられる。

【0046】

この情報は、それがベースレイヤ又はエンハンスメントレイヤのいずれに関するものかに関わらず、正則マップの形で、例えば、ＨＥＶＣ標準規格の場合に、各ＣＴＵ（Coding Tree Unit；符号化ツリーユニット）について、あるいは、図３に示されるように各マクロブロックについて、符号化される。実施形態の変形例に従って、この情報は、非正則マップの形で、例えば、ＨＥＶＣ標準規格の場合に、図４に示されるように各ＣＵ（Coding Unit；符号化ユニット）について、符号化される。それらの図において、値０は、再構成された領域Ｉ_ＢＬが処理されるべきでないことを示し、値１は、それが処理されるべきであることを示す。当然に、反対のものが、慣例により選択されてよい。この情報は、エントロピ復号化、例えば、ＣＡＶＬＣ又はＣＡＢＡＣによって、復号される。

【0047】

ステップ２４の間、ステップ２２において復号された情報ｉｎｆｏによって特定される再構成されたベースレイヤの画像の１つ以上の領域は、処理される。処理は、例えば、空間スケーラビリティの場合には領域の再サンプリングであり、ＣＧＳスケーラビリティの場合には色変換であり、ＳＮＲスケーラビリティの場合にはノイズ低減フィルタリングである。

【0048】

この解決法は、有利なことには、再構成された画像Ｉ_ＢＬの有用な領域のみが処理されること、すなわち、エンハンスメントレイヤの画像Ｉ_ＥＬのブロックの再構成において使用されることを可能にする。更には、このようにして処理することによって、ベースレイヤの有用な領域は、ブロックのグループの中のブロックの再構成の前に処理され、よって、ブロックのグループの再構成の間に全てが利用可能である。これは、再構成されたベースレイヤの画像バッファへの頻繁なアクセスと、処理関数に対する多数のアクセスとを回避する。

【0049】

ステップ２６の間、残差は、エンハンスメントレイヤの第２部分ＥＬ２からブロックのグループの中の少なくとも１つのブロックについて求められる。変形例に従って、残差は、ブロックのグループの中の各ブロックについて求められる。この第２部分は、残差を表すデータ、例えば、残差が計算される量子化されたＤＣＴ係数、又はそれらの残差がヌルであることを示す特定の符号化モード（スキップモード）を有する。このステップは、場合により、残差ｒｅｓを得るよう、第２部分のデータ、例えば、量子化されたＤＣＴ係数のエントロピ復号化、逆量子化及び逆変換を有する。この第２部分は、場合によりモーションデータを有する。

【0050】

ステップ２８の間、グループのブロックは、残差ｒｅｓから及び処理された領域から再構成される。このために、グループの各ブロックについて、予測子は、前もって再構成された画像部分から、又は再構成すべきグループの現在のブロックと同じ画像から（空間予測）、又はエンハンスメントレイヤの他の画像から（時間予測）、又は再構成された画像Ｉ_ＢＬの中の処理された領域から（インターレイヤ予測）、得られる。予測子は、現在のブロックを再構成するよう、現在のブロックの残差に加えられる。変形例に従って、現在のブロックが予測によらずに（例えば、Ｈ．２６４のＩＰＣＭ符号化モードに従って）符号化される特定の場合では、予測子は現在のブロックの残差に加えられない点に留意されたい。残差は、後者の場合において、再構成された現在のブロックに直接対応する。ブロックのグループにおいて、符号化モードは様々であり得る。いくつかのブロックはＩＰＣＭモードに従って空間予測によって符号化され、他のブロックは時間予測により、他はインターレイヤ予測により、他はスキップモードに従う。

【0051】

特定の実施形態に従って、情報の追加項目は、スケーラブル・ストリームから、もっと正確に言えば、例えば、再構成された画像Ｉ_ＢＬの中の処理すべき少なくとも１つの領域を特定する情報の項目がブロックのこのグループのために符号化されるか否かを示す画像スライスヘッダの又はＰＰＳのエンハンスメントレイヤから、復号される。この特定の情報を用いると、再構成された画像Ｉ_ＢＬの中の処理すべき少なくとも１つの領域を特定する情報の項目が符号化されるか否かを、各画像について、又は各画像スライスについて指定することが可能である。

【0052】

追加情報は、例えば、フラグ、すなわち、バイナリデータである。簡単な実例として、第１ＰＰＳ１は、再構成された画像Ｉ_ＢＬの中の処理すべき少なくとも１つの領域を特定する情報の項目が符号化されることを示すＦｌｇ１に等しい付加的な値（例えば、１）により復号される。第２ＰＰＳ２は、再構成された画像Ｉ_ＢＬの中の処理すべき少なくとも１つの領域を特定する情報の項目が符号化されないことを示すＦｌｇ２に等しい付加的な値（例えば、０）により復号される。よって、エンハンスメントレイヤの各画像は、場合により、ＰＰＳの一方又は他方を参照することができる。エンハンスメントレイヤの画像Ｉ_ＥＬが第１ＰＰＳ１を参照する場合は、再構成された画像Ｉ_ＢＬの中の処理すべき少なくとも１つの領域を特定する情報の項目は、例えば、図５に示されるように、エンハンスメントレイヤの画像の各スライスヘッダにおいて復号される。画像Ｉ_ＥＬがＰＰＳ２を参照する場合は、情報の項目ｉｎｆｏは存在しない。変形例に従って、このフラグは、各画像スライスヘッダにおいて符号化され得る。その場合に、再構成された画像Ｉ_ＢＬの中の処理すべき少なくとも１つの領域を特定する情報の項目が符号化されることを値が示すならば、再構成された画像Ｉ_ＢＬの中の処理すべき少なくとも１つの領域を特定する情報のこの項目は、図６に示されるように、追加情報ストリームにおいてＦｌｇに続く。

【0053】

図７によって表される他の実施形態に従って、追加情報の第１項目Ｆｌｇ１は、エンハンスメントレイヤから復号され、再構成された画像Ｉ_ＢＬの中の処理すべき少なくとも１つの領域を特定する情報ｉｎｆｏがブロックのグループのために復号され得るか否かを示す。追加情報のこの第１項目Ｆｌｇ１は、例えば、ＰＰＳから復号される。例えば、その値が０である場合は、これは、再構成された画像Ｉ_ＢＬの中の処理すべき少なくとも１つの領域を特定する情報の項目がストリームから復号され得ないことを表す。その値が１である場合は、これは、再構成された画像Ｉ_ＢＬの中の処理すべき少なくとも１つの領域を特定する情報の項目が復号され得ることを表す。この場合に、追加情報の第２項目Ｆｌｇ２は、例えば、各画像スライスのヘッダにおいて、復号され、ブロックのグループについて、再構成された画像Ｉ_ＢＬの中の処理すべき少なくとも１つの領域を特定する情報の項目ｉｎｆｏがこのブロックのグループのために符号化されるか否かを示す。情報の第２項目が、ブロックのグループについて、再構成された画像Ｉ_ＢＬの中の処理すべき少なくとも１つの領域を特定する情報の上記の項目が符号化されることを示す場合において、情報のこの項目ｉｎｆｏは、ストリームにおいて情報の第２項目に続く。この解決法は、更なる柔軟性を可能にする。

【0054】

図８は、本発明の特定の非制限的な実施形態に従って、ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有するスケーラブル・ストリームの形をとる画像シーケンスの符号化方法を示す。復号化方法に関して記載されたのと同じ変形例は、それらが以降で明示的に記載され得ない場合でさえも符号化方法に当てはまる。

【0055】

ステップ８０の間、ベースレイヤの少なくとも１つの画像Ｉ_ＢＬは、ベースレイヤにおいて符号化される。符号化は、一般に、画像のブロックについて、ブロックの空間又は時間予測と、符号化すべきブロックから予測子を減じることによる残差の取得と、エントロピ符号化前の残差の変換及び量子化とを有する。復号化方法に関して記載された同じ符号化モードが使用されてよく、特に、ＡＶＣのＩＰＣＭ符号化モード及びスキップモードが使用されてよい。例えば符号化モード、場合によりモーションデータといった、他のデータも符号化される。符号化は、ベースレイヤの画像の再構成を有する。実際に、再構成は、次いで、他のデータの予測のために使用され得る。それらのステップは、ビデオ符号化の当業者によく知られており、これ以上詳細には記載されない。プロセスは、シーケンス全体を符号化するために、ベースレイヤの全ての画像について繰り返され得る。

【0056】

ステップ８２の間、エンハンスメントデータは、再構成すべきエンハンスメントレイヤの画像のブロックのグループに関連するエンハンスメントレイヤの第１部分ＥＬ１において符号化される。ブロックのグループは、例えば、画像又は画像のスライスである。例えば、このエンハンスメントデータは、画像スライスヘッダにおいて、ＰＰＳにおいて、又はＳＥＩメッセージにおいて符号化される。実際に、そのような要素は、ブロックのグループに関する情報を含む。しかし、画像スライスは単一のブロックしか含み得ない点に留意されたい。なお、単一ブロックの画像スライスを有する画像を符号化することは、ビットレートに関して非効率的である。各スライスが複数のブロック（例えば、２つのブロック）を含むところのスライス符号化は、共通の情報をまとめて、各ブロックのヘッダにおいて同じ情報を複製することを防ぐ。有利なことには、この符号化されたエンハンスメントデータは、再構成された画像Ｉ_ＢＬの中の処理すべき少なくとも１つの領域を特定する情報の項目ｉｎｆｏを有する。例えば、この情報は、符号化モードを決める前のステップの間に得られる。実際に、グループのブロックの符号化モードが選択されると直ぐに、例えば、ビットレート歪みタイプ基準を最小限に評価することによって、このマップは構成され得る。実際に、インターレイヤ予測モードに対応するマップの全てのブロックは、処理される再構成されたベースレイヤの画像のブロックに関して予測される。このブロックは、次いで、処理すべき領域に属するものとしてマップにおいて特定されるべきである。よって、ブロックのグループに関連するエンハンスメントレイヤの第１部分ＥＬ１の復号化から、復号器は、再構成された画像Ｉ_ＢＬの中の処理すべき１つ以上の領域、すなわち、エンハンスメントレイヤの画像の再構成の間に有効に使用される領域の知見を有する。よって、この情報は、エンハンスメントレイヤの画像の再構成の間に使用される、よって、処理されるべき再構成された画像Ｉ_ＢＬの領域と、使用されない、よって、処理されるべきでない領域とを区別することができる。この情報ｉｎｆｏは、例えば、エンハンスメントレイヤのブロックのグループの中の各ブロックについて、ベースレイヤの対応する領域（例えば、ブロック）が処理されるべきか否かを示すマップの形で、与えられる。再構成された画像Ｉ_ＢＬの領域は、それが同じ位置にあるならば、すなわち、それが、場合により処理後に、同じ空間位置を画像において占有するならば（空間スケーラビリティの場合）、エンハンスメントレイヤの画像のブロックに対応する。変形例として、情報ｉｎｆｏは、例えば、ブロックのグループの中のあるブロックに対応する再構成された画像Ｉ_ＢＬの各領域（例えば、ブロック）について、この領域が処理されるべきか否かを示すマップの形で、与えられる。この情報は、それがベースレイヤ又はエンハンスメントレイヤのいずれに関するものかに関わらず、正則マップの形で、例えば、ＨＥＶＣ標準規格の場合に、各ＣＴＵ（Coding Tree Unit；符号化ツリーユニット）について、あるいは、図３に示されるように各マクロブロックについて、符号化される。実施形態の変形例に従って、この情報は、非正則マップの形で、例えば、ＨＥＶＣ標準規格の場合に、図４に示されるように各ＣＵ（Coding Unit；符号化ユニット）について、符号化される。それらの図において、値０は、再構成された領域Ｉ_ＢＬが処理されるべきでないことを示し、値１は、それが処理されるべきであることを示す。当然に、反対のものが、慣例により選択されてよい。この情報は、エントロピ符号化、例えば、ＣＡＶＬＣ又はＣＡＢＡＣによって、符号化される。

【0057】

ステップ８４の間、ステップ８２で符号化された情報ｉｎｆｏによって特定される再構成されたベースレイヤの画像の１つ以上の領域は、処理される。

【0058】

処理は、例えば、空間スケーラビリティの場合には領域の再サンプリングであり、ＣＧＳスケーラビリティの場合には色変換であり、ＳＮＲスケーラビリティの場合にはノイズ低減フィルタリングである。

【0059】

この解決法は、有利なことには、再構成された画像Ｉ_ＢＬの有用な領域のみが処理されること、すなわち、エンハンスメントレイヤの画像Ｉ_ＥＬのブロックの符号化において使用されることを可能にする。更には、このようにして処理することによって、ベースレイヤの有用な領域は、ブロックのグループの中のブロックの符号化の前に処理され、よって、ブロックのグループの符号化の間に全てが利用可能である。これは、再構成されたベースレイヤの画像バッファへの頻繁なアクセスと、処理関数に対する多数のアクセスとを回避する。

【0060】

ステップ８６の間、残差は、グループのブロックから及び処理された領域からグループの中の少なくとも１つのブロックについて求められる。変形例に従って、残差は、ブロックのグループの中の各ブロックについて求められる。このために、グループの各ブロックについて、予測子は、前もって再構成された画像部分から、又は符号化すべき現在のブロックと同じ画像から（空間予測）、又はエンハンスメントレイヤの他の画像から（時間予測）、又は上記の再構成された画像Ｉ_ＢＬの中の処理された領域から（インターレイヤ予測）、得られる。予測子は、残差を得るよう、現在のブロックから減じられる。変形例に従って、ブロックが予測によらずに（例えば、Ｈ．２６４のＩＰＣＭ符号化モードに従って）符号化される特定の場合では、予測子は現在のブロックから減じられる点に留意されたい。残差は、後者の場合において、符号化すべきブロックに直接対応する。スキップモードの場合に、残差はヌルである。それを示すのは、ストリームにおいて符号化されるブロックの符号化モードである。ブロックのグループにおいて、符号化モードは様々であり得る。いくつかのブロックはＩＰＣＭモードに従って空間予測によって符号化され、他のブロックは時間予測により、他はインターレイヤ予測により、他はスキップモードに従う。

【0061】

ステップ８８の間、ブロックのグループの中の少なくとも１つのブロックに関連する残差は、エンハンスメントレイヤの第２部分において符号化される。このステップは、場合により、残差のエントロピ符号化の前に、それらの変換及び量子化を有する。

【0062】

特定の実施形態に従って、図５乃至７において示され且つ復号化方法に関して記載された追加情報が、スケーラブル・ストリームＳにおいて符号化される。復号化方法に関して記載された全ての実施形態は、符号化方法に対称的に当てはまる。

【0063】

本発明は、画像シーケンスを表すスケーラブル・ストリームにも関する。このストリームは、例えば、上述された符号化方法によって生成される。

【0064】

このスケーラブル・ストリームは、ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有する。ベースレイヤは、ベースレイヤの少なくとも１つの画像に関するデータを有する。

【0065】

エンハンスメントレイヤは、ベースレイヤの再構成後に処理すべきベースレイヤの画像の中の少なくとも１つの領域を特定する情報の項目を含むエンハンスメントデータを、ブロックのグループに関連する第１部分ＥＬ１において有する。

【0066】

エンハンスメントレイヤは、ブロックのグループの中の少なくとも１つのブロックについての残差を表すデータを、第２部分ＥＬ２において有する。残差は、グループの中の少なくとも１つのブロックから及び処理された領域から求められる。変形例に従って、エンハンスメントレイヤは、ブロックのグループの中のブロックの夫々についての残差を表すデータを、第２部分ＥＬ２において有する。このデータは、例えば、残差に関するデータの（例えば、量子化されたＤＣＴ係数）、又はそのような残差が決定されることを可能にするデータの符号化モード（例えば、スキップ符号化モード）、場合により、モーションデータを有する。

【0067】

有利なことには、スケーラブル・ストリームは、図５乃至７において示され且つ復号化方法に関して記載された追加情報を有する。

【0068】

図９は、本発明の非制限的な実施形態に従う復号化デバイス９を示す。復号化デバイス９は、スケーラブル・ストリームＳのベースレイヤＢＬを復号すること及びベースレイヤの画像を再構成することができる復号化モジュール９０を有する。復号化モジュール９０は、とりわけ、復号化方法のステップ２０を実施するよう構成される。復号化デバイス９は、再構成されたベースレイヤの画像の中の少なくとも１つの領域を処理することができる処理モジュール９２を更に有する。処理モジュール９２は、とりわけ、復号化方法のステップ２４を実施するよう構成される。復号化デバイス９は、スケーラブル・ストリームＳのエンハンスメントレイヤＥＬを復号すること及びエンハンスメントレイヤの画像を再構成することができる他の復号化モジュール９４を更に有する。復号化モジュール９４は、処理モジュール９２に情報ｉｎｆｏを供給することもできる。復号化モジュール９４は、とりわけ、復号化方法のステップ２２、２６及び２８を実施するよう構成される。復号化デバイス９は、スケーラブル・ストリームＳをベースレイヤＢＬ及び１つ以上のエンハンスメントレイヤＥＬに分離するよう構成される逆多重化モジュール９６を任意に有する。

【0069】

図１０は、そのような復号化デバイス９の特定の実施を示す。復号化デバイス９は、例えば、少なくとも１つのプロセッサ９００（例えば、ＣＰＵ／ＧＰＵ）、メモリ９０２（例えば、ＲＡＭ）、ユーザインタフェース９０４（例えば、キーボード、マウス、等）、及び他のデバイスへ接続可能な１つ以上の入出力（Ｉ／Ｏ）インタフェース９０６といった、ハードウェアコンポーネントを有する。それらのコンポーネントは、例えば、アドレス及びデータバス９０８によって相互接続される。実施例に従って、電源を入れられる場合に、プロセッサ９００は、復号化方法のステップに対応する命令をメモリ９０２にロードし、それらを実行する。

【0070】

特定の実施形態に従って、復号化デバイス９は、有利なことには、デジタルデータ担体９１０に記憶されているコンピュータプログラムを読み出すインタフェースを有する。デジタルデータ担体９１０は、プログラムコード命令を記憶しており、プログラムコード命令は、それらがプロセッサ９００によって実行される場合に、上述された本発明の実施形態のいずれか１つに従う復号化方法のステップを実行する。変形例に従って、ユーザインタフェースは、復号化デバイス９の外部にある。

【0071】

図１１は、本発明の非制限的な実施形態に従う符号化デバイス１１を示す。符号化デバイス１１は、スケーラブル・ストリームのベースレイヤＢＬにおいて画像Ｉ_ＢＬを符号化し再構成することができる符号化モジュール１１０を有する。符号化モジュール１１０は、とりわけ、符号化方法のステップ８０を実施するよう構成される。符号化デバイス１１は、再構成されたベースレイヤの画像の中の少なくとも一部分を処理することができる処理モジュール１１２を更に有する。処理モジュール１１２は、とりわけ、符号化方法のステップ８４を実施するよう構成される。符号化デバイス１１は、スケーラブル・ストリームＳのエンハンスメントレイヤＥＬにおいて画像Ｉ_ＥＬを符号化することができる他の符号化モジュール１１４を更に有する。符号化モジュール１１４は、処理モジュール１１２に情報ｉｎｆｏを供給することもできる。符号化モジュール１１４は、とりわけ、符号化方法のステップ８２、８６及び８８を実施するよう構成される。符号化デバイス１１は、ベースレイヤ及び１つ以上のエンハンスメントレイヤを単一のスケーラブル・ストリームＳに多重化するよう構成される多重化モジュール１１６を任意に有する。

【0072】

図１２は、そのような符号化デバイス１１の特定の実施を示す。符号化デバイス１１は、例えば、少なくとも１つのプロセッサ１１００（例えば、ＣＰＵ／ＧＰＵ）、メモリ１１０２（例えば、ＲＡＭ）、ユーザインタフェース１１０４、及び他のデバイスへ接続可能な１つ以上の入出力（Ｉ／Ｏ）インタフェース１１０６といった、ハードウェアコンポーネントを有する。それらのコンポーネントは、例えば、アドレス及びデータバス１１０８によって相互接続される。実施例に従って、電源を入れられる場合に、プロセッサ１１００は、符号化方法のステップに対応する命令をメモリ１１０２にロードし、それらを実行する。

【0073】

符号化デバイス１１は、有利なことには、デジタルデータ担体１１１０に記憶されているコンピュータプログラムを読み出すインタフェースを有する。デジタルデータ担体１１１０は、プログラムコード命令を記憶しており、プログラムコード命令は、それらがプロセッサ１１００によって実行される場合に、上述された本発明の実施形態のいずれか１つに従う符号化方法のステップを実行する。変形例に従って、ユーザインタフェースは、符号化デバイス１１の外部にある。

【0074】

記載されている復号化デバイス９及び符号化デバイス１１は、明りょうさのために単純化されている。実際のデバイスは、例えば、内蔵又は外付けバッテリ、不揮発性メモリ（例えば、フラッシュメモリ、ハードディスクドライブ、等）、等といった、他の要素を有してよい。変形例に従って、本発明に従う復号化デバイス９及び符号化デバイス１１は、純粋にハードウェアの実施形態に従って、例えば、専用のコンポーネントの形で（例えば、ＡＳＩＣ（Application Specific Integrated Circuit；特定用途向け集積回路）又はＦＰＧＡ（Field-Programmable Gate Array；フィールド・プログラマブル・ゲート・アレイ）又はＶＬＳＩ（Very Large Scale Integration；超大規模集積）において）、又はデバイスに組み込まれた複数の電子部品の形で、あるいは、ハードウェア要素とソフトウェア要素との組み合わせの形において、実施される。

【0075】

夫々の実施形態は、他の実施形態から独立して使用されてよく、あるいは、実施形態は、互いと組み合わされてよい。

【0076】

当然に、ベースレイヤ及びエンハンスメントレイヤについて記載される本発明は、異なったレベイスの２つのエンハンスメントレイヤに適用されてよく、下位のエンハンスメントレイヤが上位のエンハンスメントレイヤに対してベースレイヤの役割を果たす。更には、本発明は、使用される量子化、変換、又はエントロピ符号化のタイプによって制限されない。
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有するスケーラブル・ストリームを復号する方法であって、
前記ベースレイヤから少なくとも１つの画像を再構成するステップと、
前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する情報の少なくとも１つの項目を有する復号されたエンハンスメントデータへと、ブロックのグループに関連する前記少なくとも１つのエンハンスメントレイヤの第１部分を復号するステップと、
前記情報によって特定される前記再構成された画像の前記少なくとも１つの領域を処理するステップと、
前記少なくとも１つのエンハンスメントレイヤの第２部分から前記ブロックのグループの中の少なくとも１つのブロックについて残差を求めるステップと、
前記残差から及び前記処理された少なくとも１つの領域から前記グループのブロックを再構成するステップと
を有する方法。
（付記２）
前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報は、前記ブロックのグループの中のブロックに対応する前記再構成された画像の各ブロックについて当該ブロックが処理されるべきか否かを示すマップである、
付記１に記載の方法。
（付記３）
前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報は、前記ブロックのグループの中の各ブロックについて当該ブロックがその再構成のために前記再構成された画像の処理されたブロックを使用するかどうかを示すマップである、
付記１に記載の方法。
（付記４）
前記ベースレイヤは、前記少なくとも１つのエンハンスメントレイヤよりも下位の他のエンハンスメントレイヤである、
付記１乃至３のうちいずれか一つに記載の方法。
（付記５）
前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報がブロックの少なくとも１グループのために符号化されるか否かを示す当該ブロックのグループについての情報の追加項目の前記エンハンスメントレイヤからの復号化ステップを有する
付記１乃至４のうちいずれか一つに記載の方法。
（付記６）
前記ブロックのグループは、画像スライス又は画像である、
付記５に記載の方法。
（付記７）
前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報がブロックのグループのために符号化され得るか否かを示す情報の第１追加項目を前記エンハンスメントレイヤから復号するステップを有する
付記１乃至４のうちいずれか一つに記載の方法。
（付記８）
前記情報の第１追加項目は少なくとも１つの画像について復号され、当該方法は、
前記情報の第１追加項目が、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する情報の項目が符号化され得ることを示す場合に、
ブロックのグループについて、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報が当該ブロックのグループのために符号化されるか否かを示す追加情報の第２項目を、前記エンハンスメントレイヤから復号するステップを有する
付記７に記載の方法。
（付記９）
ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有するスケーラブル・ストリームの形で画像のシーケンスを符号化する方法であって、
前記ベースレイヤにおいて少なくとも１つの画像を符号化し、該少なくとも１つの画像を再構成するステップと、
ブロックのグループに関連する前記エンハンスメントレイヤの第１部分においてエンハンスメントデータを符号化するステップであって、該エンハンスメントデータが、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する情報の項目を有する、ステップと、
前記情報によって特定される前記再構成された画像の前記少なくとも１つの領域を処理するステップと、
前記グループのブロックから及び前記処理された少なくとも１つの領域から前記ブロックのグループの中の少なくとも１つのブロックについて残差を求めるステップと、
前記エンハンスメントレイヤの第２部分において前記残差を符号化するステップと
を有する方法。
（付記１０）
前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報は、前記ブロックのグループの中のブロックに対応する前記再構成された画像の各ブロックについて当該ブロックが処理されるべきか否かを示すマップである、
付記９に記載の方法。
（付記１１）
前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報は、前記ブロックのグループの中の各ブロックについて当該ブロックがその再構成のために前記再構成された画像の処理されたブロックを使用するかどうかを示すマップである、
付記９に記載の方法。
（付記１２）
前記ベースレイヤは、前記少なくとも１つのエンハンスメントレイヤよりも下位の他のエンハンスメントレイヤである、
付記９乃至１１のうちいずれか一つに記載の方法。
（付記１３）
前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報がブロックの少なくとも１グループのために符号化されるか否かを示す当該ブロックのグループについての情報の追加項目を前記エンハンスメントレイヤにおいて符号化するステップを有する
付記９乃至１２のうちいずれか一つに記載の方法。
（付記１４）
前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報がブロックのグループのために符号化され得るか否かを示す情報の第１追加項目を前記エンハンスメントレイヤにおいて符号化するステップを有する
付記９乃至１２のうちいずれか一つに記載の方法。
（付記１５）
前記情報の第１追加項目は少なくとも１つの画像について符号化され、当該方法は、
前記情報の第１追加項目が、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する情報の項目が符号化され得ることを示す場合に、
ブロックのグループについて、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する前記情報が当該ブロックのグループのために符号化されるか否かを示す追加情報の第２項目を、前記エンハンスメントレイヤにおいて符号化するステップを有する
付記１４に記載の方法。
（付記１６）
ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有するスケーラブル・ストリームを復号するよう構成される復号器であって、
前記ベースレイヤから少なくとも１つの画像を再構成する手段と、
前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する情報の少なくとも１つの項目を有する復号されたエンハンスメントデータへと、ブロックのグループに関連する前記少なくとも１つのエンハンスメントレイヤの第１部分を復号する手段と、
前記情報によって特定される前記再構成された画像の前記少なくとも１つの領域を処理する手段と、
前記少なくとも１つのエンハンスメントレイヤの第２部分から前記ブロックのグループの中の少なくとも１つのブロックについて残差を求める手段と、
前記残差から及び前記処理された少なくとも１つの領域から前記グループのブロックを再構成する手段と
を有する復号器。
（付記１７）
付記１乃至８のうちいずれか一つに記載の復号する方法のステップを実行するよう構成される
付記１６に記載の復号器。
（付記１８）
ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有するスケーラブル・ストリームの形で画像のシーケンスを符号化するよう構成される符号器であって、
前記ベースレイヤにおいて少なくとも１つの画像を符号化し、該少なくとも１つの画像を再構成する手段と、
ブロックのグループに関連する前記エンハンスメントレイヤの第１部分において、前記再構成された画像の中の処理すべき少なくとも１つの領域を特定する情報の項目を有するエンハンスメントデータを符号化する手段と、
前記情報によって特定される前記再構成された画像の前記少なくとも１つの領域を処理する手段と、
前記グループのブロックから及び前記処理された少なくとも１つの領域から前記ブロックのグループの中の少なくとも１つのブロックについて残差を求める手段と、
前記エンハンスメントレイヤの第２部分において前記残差を符号化する手段と
を有する符号器。
（付記１９）
付記９乃至１５のうちいずれか一つに記載の符号化する方法のステップを実行するよう構成される
付記１８に記載の符号器。
（付記２０）
ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを有する画像シーケンスを表すデータストリームであって、
前記ベースレイヤは、該ベースレイヤの少なくとも１つの画像に関するデータを有し、
前記エンハンスメントレイヤは、
ブロックのグループに関する第１部分において、再構成後に処理すべき前記ベースレイヤの前記画像の少なくとも１つの領域を特定する情報の項目を有するエンハンスメントデータを有し、
第２部分において、前記グループの中の少なくとも１つのブロックから及び処理された前記少なくとも１つの領域から求められる残差を表すデータを有する、
データストリーム。
（付記２１）
コンピュータで実行される場合に付記１乃至８のうちいずれか一つに記載の方法のステップを実行するプログラムコード命令を有することを特徴とするコンピュータプログラム。
（付記２２）
コンピュータで実行される場合に付記９乃至１５のうちいずれか一つに記載の方法のステップを実行するプログラムコード命令を有することを特徴とするコンピュータプログラム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】