特許 5964446 異なる動的サンプル値範囲の層間の層間予測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5964446

(24)【登録日】2016年7月8日

(45)【発行日】2016年8月3日

(54)【発明の名称】異なる動的サンプル値範囲の層間の層間予測

(51)【国際特許分類】

   H04N 19/36 20140101AFI20160721BHJP

   H04N 19/463 20140101ALI20160721BHJP

【ＦＩ】

   H04N19/36

   H04N19/463

【請求項の数】25

【全頁数】36

(21)【出願番号】特願2014-540363(P2014-540363)

(86)(22)【出願日】2012年5月4日

(65)【公表番号】特表2015-502061(P2015-502061A)

(43)【公表日】2015年1月19日

(86)【国際出願番号】EP2012058227

(87)【国際公開番号】WO2013068132

(87)【国際公開日】20130516

【審査請求日】2014年7月8日

(31)【優先権主張番号】61/557,675

(32)【優先日】2011年11月9日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】591037214

【氏名又は名称】フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ

(74)【代理人】

【識別番号】100079577

【弁理士】

【氏名又は名称】岡田 全啓

(74)【代理人】

【識別番号】100167966

【弁理士】

【氏名又は名称】扇谷 一

(72)【発明者】

【氏名】ガルバス イェンス−ウーヴェ

(72)【発明者】

【氏名】トーマ ヘルベルト

【審査官】 久保 光宏

(56)【参考文献】

【文献】 特表２０１１−５１７２４５（ＪＰ，Ａ）

【文献】 特表２０１２−５２０６１９（ＪＰ，Ａ）

【文献】 Shan Liu, et.al.，"Bit-depth Scalable Coding for High Dynamic Range Video"，Proc. SPIE 6822, Visual Communications and Image Processing 2008，２００８年 １月２８日，Vol.6822，p.68220O-1〜68220O-10，doi:10.1117/12.766601

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８，

ＣＳＤＢ（日本国特許庁），

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

第１の動的サンプル値範囲を有し、画像の第１のトーンマッピングされたバージョンを符号化するための第１の画像符号化ステージ（１２）と、第１の動的サンプル値範囲より大きい第２の動的サンプル値範囲を有し、画像の第２のバージョンを符号化するための第２の画像符号化ステージ（１４）との間の層間予測を実行する装置であって、前記装置は、
画像の第１のトーンマッピングされたバージョン（３６）および画像の第２のバージョン（３８）における同じ位置に配置されたサンプルの値の対の統計分析に基づいて全体的なトーンマッピング機能（４０）を引き出し、画像の第２のバージョンのために全体的に予測された参照画像（５２）を得るために画像の第１のトーンマッピングされたバージョン（３６）に全体的なトーンマッピング機能（４０）を適用するように構成される全体的な予測手段（２６）、および
全体的に予測される参照画像（５２）および画像の第２のバージョン（３８）が分割されるサブ部分を単位にして画像の第２のバージョン（３８）および全体的に予測された参照画像（５２）において同じ位置に配置されるサンプルの値の統計分析に基づいて局所的に様々なトーンマッピング機能を局所的に引き出し、画像の第２のバージョン（３８）のための全体的におよび局所的に予測された参照画像（５４）を得るために全体的に予測された参照画像（５２）に局所的に様々なトーンマッピング機能を適用するように構成された予測手段（２８）を含み、
局所的な予測手段（２８）は、それぞれのサブ部分に対して局所的に様々なトーンマッピング機能を局所的に引き出す際に、画像の第２のバージョン（３８）および全体的に予測された参照画像（５２）のそれぞれのサブ部分（５６）において同じ位置に配置されたサンプルの値の対の分布（６４）を通る回帰線（６２）の傾斜（５８）およびインターセプト（６０）を決定し、
第２の画像符号化ステージによって生成される強化データストリームへのサイド情報としてサブ部分に対して決定され、第１の画像符号化ステージによって出力されるデータストリームに関連して強化層を形成する傾斜およびインターセプトを符号化するように構成され、
第２の画像符号化ステージは、全体的におよび局所的に予測された参照画像と、画像の第２のバージョンとの間の予測残差を強化データストリームへ不可逆符号化するように構成され、局所的な予測手段（２８）は、
その傾斜が前に符号化された隣接するサブ部分の傾斜から空間的な予測の予測残差としてそれぞれのサブ部分（５６）に対して決定される傾斜（５８）を符号化し、
一方において予測残差および全体的におよび局所的に予測される参照画像、および他方において全体的に予測された参照画像に基づいて、再建可能なかぎり画像の第２のバージョンの隣接するサブ部分（７０）における同じ位置に配置されたサンプルの値の対の分布に、それぞれのサブ部分（５６）の傾斜を有する直線（７２）を適合させ、直線のインターセプトを決定するように構成され、
直線（７４）のインターセプトに応じて空間的なインターセプト予測に関連する予測残差としてそれぞれのサブ部分（５６）のインターセプト（６０）を符号化する、装置。

【請求項2】

全体的な予測手段（２６）は、第１の動的なサンプル値範囲（４２）の可能な値のそれぞれのために、その値がそれぞれの可能な値に等しい第１のトーンマッピングされたバージョン（３６）において同じ位置に配置される画像の第２のバージョン（３８）におけるサンプルの値の分布の中心傾向によって全体的なトーンマッピング機能（４０）を引き出すように構成された、請求項１に記載の装置。

【請求項3】

全体的な予測手段は、中心傾向が算術平均値のような平均値であるように構成される、請求項２に記載の装置。

【請求項4】

全体的な予測手段は、全体的なトーンマッピング機能を引き出し、画像の第１のトーンマッピングされたバージョンに全体的なトーンマッピング機能を適用する際に、画像の第１のトーンマッピングされたバージョンにおけるサンプルの値に第１のカラーフォーマットから第２のカラーフォーマットへ色変換実行するように構成され、色変換は画像の第１のトーンマッピングされたバージョンおよび第２のバージョンとは無関係に常に設定され、第２のカラーフォーマットにおいて全体的なトーンマッピング機能の導出および全体的なトーンマッピング機能の適用を実行するように構成される、請求項１ないし請求項３のいずれかに記載の装置。

【請求項5】

全体的な予測手段（２６）は、第２のカラーフォーマットが対数的に輝度に関連しているｌｕｍａ成分を含むように構成された、請求項４に記載の装置。

【請求項6】

全体的な予測手段（２６）は、第２の画像符号化ステージ（１４）によって生成される強化データストリームにサイド情報として全体的なトーンマッピング機能を符号化し、第１の画像符号化ステージ（１２）によって出力されるデータストリームに比べて強化層を形成するように構成された、請求項１ないし請求項５のいずれかに記載の装置。

【請求項7】

全体的な予測手段（２６）は、差動符号化を用いて第１の動的サンプル値範囲の増加するあるいは減少する可能な値の向きに沿って連続して全体的なトーンマッピング機能を符号化するように構成される、請求項６に記載の装置。

【請求項8】

局所的な予測手段（２８）は、傾斜（５８）によって重み付けされインターセプト（６０）によってシフトされるそのサンプルを有する画像の第２のバージョン（３８）のそれぞれのサブ部分（５６）および全体的に予測された参照画像（５２）のそれぞれのサブ部分（５６）に依存するコスト関数を最小にすることによって傾斜（５８）およびインターセプト（６０）を量子化するように構成される、請求項１ないし請求項７のいずれかに記載の装置。

【請求項9】

局所的な予測手段（２８）は、傾斜（５８）によって重み付けされインターセプト（６０）によってシフトされるそのサンプルを有する画像の第２のバージョン（３８）のそれぞれのサブ部分（５６）および全体的に予測される参照画像（５２）のそれぞれのサブ部分（５６）の間の偏差を符号化するための第２の画像符号化ステージ（１４）によって必要とされるデータ転送速度とともに単調に増加し、および第２の画像符号化ステージ（１４）によって生じる歪みとともに単調に増加するコスト関数を最小にすることによって傾斜（５８）およびインターセプト（６０）を量子化するように構成される、請求項１ないし請求項８のいずれかに記載の装置。

【請求項10】

全体的な予測手段（２６）は、所定の閾値を超える全体的なトーンマッピング機能（４０）の周囲の画像の第１のトーンマッピングされたバージョン（３６）および画像の第２のバージョン（３８）において同じ位置に配置されたサンプルの値の対の分散の場合における全体的なトーンマッピング機能（４０）の適用を抑圧するように構成され、局所的な予測手段（２８）は、抑圧の場合には、全体的に予測された画像（５２）よりむしろ画像の第１のトーンマッピングされたバージョン（３６）に局所的な導出または適用を実行するように構成される、請求項１ないし請求項９のいずれかに記載の装置。

【請求項11】

全体的な予測手段（２６）は、第２の画像符号化ステージによって生成される強化データストリームの範囲内のサイド情報として全体的なトーンマッピング機能の適用の抑圧の信号を送り、第１の画像符号化ステージによって出力されるデータストリームに関連する強化層を形成するように構成される、請求項１０に記載の装置。

【請求項12】

画像の第１のトーンマッピングされたバージョンにおけるサンプルは、ビット長の整数値ｍであり、画像の第２のバージョンのサンプルは、ｎ＞ｍであるビット長ｎである、請求項１ないし請求項１１に記載の装置。

【請求項13】

画像はビデオの画像であり、第１の画像符号化ステージは、データストリームに第１のトーンマッピングされたバージョンを符号化するように構成されたハイブリッド・ビデオコーダである、請求項１ないし請求項１２のいずれかに記載の装置。

【請求項14】

第２の符号化ステージは、全体的におよび局所的に予測された参照画像および画像の第２のバージョンの間の予測残差を強化データストリームへ変換符号化するように構成される、請求項１ないし請求項１３のいずれかに記載の装置。

【請求項15】

第１の動的サンプル値範囲を有し、画像の第１のトーンマッピングされたバージョン（３６）を復号化するための第１の画像復号化ステージと、第１の動的サンプル値範囲より大きい第２の動的サンプル値範囲を有し、画像の第２のバージョンを復号化するための第２の画像復号化ステージとの間の層間予測を実行するための装置であって、前記装置は、
第２の画像復号化ステージ（５０４）の強化データストリームのサイド情報（４１）から全体的なトーンマッピング機能を引き出し、画像の第２のバージョンのための全体的に予測された参照画像（５２）を得るために画像の第１のトーンマッピングされたバージョン（３６）のサンプルに全体的にトーンマッピング機能を全体的に適用するように構成される全体的な予測手段（５１８）、および
その中に画像の全体的に予測された参照画像（５２）および第２のバージョン（３８）が分割されたサブ部分を単位にしてサイド情報から局所的に様々なトーンマッピング機能を局所的に引き出し、画像の第２のバージョンのための全体的におよび局所的に予測される参照画像（５４）を得るために、全体的に予測される参照画像（５２）に局所的に様々なトーンマッピング機能を適用するように構成され、
局所的な予測手段（５２０）は、
局所的に様々なトーンマッピング機能を局所的に引き出し、サイド情報（６６）から各サブ部分（５６）、傾斜（５８）およびインターセプト（６０）に対して再建するように構成され、
全体的に予測される参照画像に局所的に様々なトーンマッピング機能を適用する際に、傾斜およびそれに加えてインターセプトを用いて、各サブ部分（５６）のために、それぞれのサブ部分（５６）において全体的に予測する参照画像（５２）のサンプルを重み付けするように構成され、
局所的な予測手段（５２０）は、
サイド情報からサブ部分のための傾斜およびインターセプト残差を復号化し、傾斜予測を得るために前に再建された隣接するサブ部分の傾斜から現在のサブ部分のための傾斜を空間的に予測することによりサイド情報からサブ部分のための傾斜およびインターセプトを連続して引き出し、
現在のサブ部分のための傾斜予測および傾斜残差に基づいて現在のサブ部分のための傾斜を再建し、
画像の第２のバージョンおよび全体的に予測された参照画像の隣接するサブ部分における同じ位置に配置されたサンプルの値の対の分布に、現在のサブ部分の傾斜を有する直線を適合させ、インターセプト予測を得るために直線のインターセプトを決定し、
現在のサブ部分（５６）のためのインターセプト予測およびインターセプト残差に基づいて現在のサブ部分（５６）のインターセプトを再建するように構成された、装置。

【請求項16】

全体的な予測手段（５１８）は、全体的なトーンマッピング機能を引き出し、画像の第１のトーンマッピングされたバージョン（３６）に全体的なトーンマッピング機能を適用する際に、画像の第１のトーンマッピングされたバージョン（３６）におけるサンプルの値に第１のカラーフォーマットから第２のカラーフォーマットに色変換を実行し、色変換は画像の第１のトーンマッピングされたバージョン（３６）および第２のバージョン（３８）とは無関係に常に設定され、第２のカラーフォーマットにおいて全体的なトーンマッ
ピング機能の適用を実行するように構成される、請求項１５に記載の装置。

【請求項17】

全体的な予測手段は、第２のカラーフォーマットが輝度に対数的に関連するｌｕｍａ成分を含むように構成される、請求項１６に記載の装置。

【請求項18】

全体的な予測手段（５１８）は、差動復号化を用いて第１の動的サンプル値範囲を増加または減少する可能な値の向きに沿ってサイド情報から連続して全体的なトーンマッピング機能を復号化するように構成される、請求項１５ないし請求項１７のいずれかに記載の装置。

【請求項19】

全体的な予測手段（５１８）は、サイド情報における信号伝達に応答して全体的なトーンマッピング機能（４０）の導出および適用を抑圧するように構成され、局所的な予測手段（５２０）は、抑圧の場合には、全体的に予測された参照画像よりむしろ画像の第１のトーンマッピングされたバージョンへの適用を実行するように構成される、請求項１５ないし請求項１８のいずれかに記載の装置。

【請求項20】

画像の第１のトーンマッピングされたバージョンにおけるサンプルはビット長が整数値ｍであり、画像の第２のバージョンはビット長がｎであり、ｎ＞ｍである、請求項１５ないし請求項１９のいずれかに記載の装置。

【請求項21】

画像はビデオの画像であり、第１の画像復号化ステージは、第１のトーンマッピングされたバージョンはハイブリッド・ビデオコーダにより符号化されるデータストリームから第１のトーンマッピングされたバージョンを復号化するように構成される、請求項１５ないし請求項２０のいずれかに記載の装置。

【請求項22】

第２の復号化ステージ（５０４）は、強化データストリームから全体的にあるいは局所的に予測された参照画像および画像の第２のバージョンの間の予測残差（６８）を変換復号化するように構成され、予測残差（６８）および全体的にあるいは局所的に予測された参照画像（５４）に基づいて画像の第２のバージョンを再建するように構成された、請求項１５ないし請求項２１のいずれかに記載の装置。

【請求項23】

第１の動的サンプル値範囲を有し、画像の第１のトーンマッピングされたバージョンを符号化するための第１の画像符号化ステージ（１２）と、第１の動的サンプル値範囲より大きい第２の動的サンプル値範囲を有し、画像の第２のバージョンを符号化するための第２の画像符号化ステージ（１４）との間の層間予測を実行するための方法であって、方法はコンピュータまたはハードウエア装置により実行され、かつ、
画像の第１のトーンマッピングされたバージョン（３６）および第２のバージョン（３８）における同じ位置に配置されるサンプルの値の対の統計分析に基づいて全体的なトーンマッピング機能（４０）を引き出すステップ、
画像の第２のバージョンのための全体的に予測された参照画像（５２）を得るために、画像の第１のトーンマッピングされたバージョン（３６）に全体的なトーンマッピング機能（４０）を適用するステップ、
その中に全体的に予測された参照画像（５２）と画像の第２のバージョン（３８）とが分割されるサブ部分を単位にして、画像の第２のバージョン（３８）および全体的に予測された参照画像（５２）における同じ位置に配置されるサンプルの値の統計分析に基づいて局所的に様々なトーンマッピング機能を局所的に引き出すステップ、および
画像の第２のバージョン（３８）のための全体的におよび局所的に予測された参照画像（５４）を得るために、全体的に予測された参照画像（５２）に局所的に変化するトーンマッピング機能を適用するステップを含み、
局所的に様々なトーンマッピング機能の局所的な導出は、それぞれのサブ部分のために、画像の第２のバージョン（３８）および全体的に予測された参照画像（５２）のサブ部分（５６）における同じ位置に配置されるサンプルの値の対の分布（６４）を通る回帰線
（６２）の傾斜（５８）およびインターセプト（６０）を決定するステップを含み、
この方法は、さらに、第２の画像符号化ステージによって生成される強化データストリームにサイド情報としてサブ部分のために決定される傾斜およびインターセプトを符号化するステップと、第１の画像符号化ステージによって出力されるデータストリームに関連して強化層を形成するステップとを含み、
第２の画像符号化ステージは、全体的におよび局所的に予測された参照画像および画像の第２のバージョンの間の予測残差を強化データストリームに不可逆符号化するステップを含み、傾斜およびインターセプトを符号化するステップは、
前に符号化された傾斜であって隣接するサブ部分の傾斜から空間的な予測の予測残差としてそれぞれのサブ部分（５６）のために決定される傾斜（５８）を符号化するステップと、
一方において全体的におよび局所的に予測された参照画像、および他方において全体的に予測された参照画像に基づいて再建可能である限り、画像の第２のバージョンの隣接するサブ部分（７０）における同じ位置に配置される値の対の分布に、それぞれのサブ部分（５６）の傾斜を有する直線（７２）を適合させるステップとを含み、直線のインターセプトを決定し、
直線（７４）のインターセプトに応じて空間的なインターセプト予測に関連した予測残差としてそれぞれのサブ部分（５６）のインターセプトを符号化するステップを含む、方法。

【請求項24】

第１の動的サンプル値範囲を有し、画像の第１のトーンマッピングされたバージョン（３６）を復号化するための第１の画像復号化ステージと、第１の動的サンプル値範囲より大きい第２の動的サンプル値範囲を有し、画像の第２のバージョンを復号化するための第２の画像復号化ステージとの間の層間予測を実行するための方法であって、方法は、コンピュータまたはハードウエア装置により実行され、かつ、
第２の画像復号化ステージ（５０４）の強化データストリームのサイド情報（４１）から全体的なトーンマッピング機能を引き出すステップ、
画像の第２のバージョンのための全体的に予測される参照画像（５２）を得るために、画像の第１のトーンマッピングされたバージョン（３６）のサンプルに全体的なトーンマッピング機能を全体的に適用するステップ、
その中に画像の全体的に予測された参照画像（５２）および第２のバージョン（３８）が分割されるサブ部分を単位にしてサイド情報から局所的に様々なトーンマッピング機能を局所的に引き出すステップ、および
画像の第２のバージョンのための全体的におよび局所的に予測される参照画像（５４）を得るために、全体的に予測される参照画像（５２）に局所的に変化するトーンマッピング機能を提供するステップを含み、
局所的に様々なトーンマッピング機能の導出は、サイド情報（６６）から各サブ部分（５６）、傾斜（５８）およびインターセプト（６０）のために再建するステップを含み、
全体的に予測される参照画像への局所的に様々なトーンマッピング機能の適用は、各サブ部分（５６）のために、それに傾斜およびそれに加えてインターセプトを用いてそれぞれのサブ部分（５６）における全体的に予測された参照画像（５２）のサンプルを重み付けするステップを含み、
方法は、
サイド情報からサブ部分のための傾斜およびインターセプト残差を復号化し、傾斜予測を得るために前に再建された隣接するサブ部分の傾斜から現在のサブ部分のための傾斜を空間的に予測することによってサイド情報からサブ部分のための傾斜およびインターセプトを連続して引き出すステップ、
傾斜予測および現在のサブ部分のための傾斜残差に基づいて現在のサブ部分のための傾斜を再建するステップ、
画像の第２のバージョンおよび全体的に予測された参照画像の隣接するサブ部分における同じ位置に配置されるサンプルの値の対の分布に、現在のサブ部分の傾斜を有する直線を適合させるステップを含み、インターセプト予測を得るために直線のインターセプトを決定し、
インターセプト予測および現在のサブ部分（５６）のためのインターセプト残差に基づいて現在のサブ部分（５６）のインターセプトを再建するステップを含む、方法。

【請求項25】

コンピュータ上で実行されるとき、請求項２３または請求項２４の方法が実行される、コンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像および／またはビデオ符号化の異なる動的サンプル値範囲の層間の層間予測に関する。

【背景技術】

【0002】

人間の視覚システムは約８桁の輝度範囲を把握することができ、ある光条件に適用されるときに、同時に約５桁の輝度範囲を把握することができる［１］。対照的に、数年前までは、大部分のビデオ・キャプチャおよび表示装置のダイナミックレンジは、約２桁に限られていた。今日、大量生産されるＨＤＲディスプレイの導入に伴って、完全な可視光範囲がＨＤＲビデオを介して送信されるときに、劇的に増加したリアリズムが期待されることができる［１］。ＬＤＲからＨＤＲビデオへの継ぎ目のない移行を可能にするために、このような将来のＨＤＲ符号化基準の過去への互換性は、時代に合わなくなった装置の再生を許容するのに極めて役立つ。これまで、文献において、過去への互換性を持つＨＤＲビデオ符号化へのほんの少数のアプローチだけが存在する［２−６］。〔２〕におけるアプローチが８ビットのビット深度を有するＭＰＥＧ−４の高度で単純な側面の実現に基づくのに対して、［３−６］はＨ．２６４／ＡＶＣ（別名、ＳＶＣ）のスケーラブルなビデオ符号化側面の拡張である。ＳＶＣは、８ビット以上のビット深度を可能にする。

【0003】

全ての場合において、符号化の前に、ＬＤＲビデオ・シーケンスは、トーンマッピングを介してオリジナルのＨＤＲビデオデータから発生しなければならない。トーンマッピング・オペレータ（ＴＭＯ）は、全ての画像において全体的に（全体的方法）、局所的に（局所的方法）、 または両方で作用することができる。最も重要なＴＭＯへの総合的な導入は、テキストブックにおいてなされる［１］。ＬＤＲビデオからＨＤＲビデオ・シーケンスを再建する方法は、それがスケーラブルなビデオ符号化のために使われるときに、逆トーンマッピング（ＩＴＭＯ）または好ましくは層間予測（ＩＬＰ）として表されることができる［３］。この文脈において、ＩＬＰは、残余の情報を送信するための必要なビット・レートを低下させるためにＬＤＲおよびＨＤＲ層の間の冗長性を減らす作業がある。符号化シナリオにおいて、ＩＬＰは、通常効率的である選ばれたＴＭＯに関して、不可知論的に動かさなければならない。例えば、〔２〕および〔４〕において、著者は、各ＬＤＲフレームまたは全部のＬＤＲシーケンスさえＨＤＲシーケンスのダイナミックレンジに全体的に拡大するために単純なマッピング機能を使用することを提案している。しかしながら、ＬＤＲビデオが局所的に適応できるＴＭＯ（それは、通常より魅力的なＬＤＲビデオを生産する）によって発生したときはいつでも、この予測手段の効率は低い。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】E. Reinhard, G. Ward, S. N. Pattanaik, P.E. Debevec, W. Heidrich, and K. Myszkowski, High Dynamic Range Imaging？Acquisition, Display, and Image？Based Lighting (2.ed.). 1em plus 0.5em minus 0.4em Academic Press, 2010.

【非特許文献2】R. Mantiuk, A. Efremov, K. Myszkowski, and H.-P. Seidel, "Backward compatible high dynamic range mpeg video compression," ACM Trans. Graph., vol.25, pp.713-723, July 2006.

【非特許文献3】S. Liu, W.-S. Kim, and A. Vetro, "Bit-depth scalable coding for high dynamic range video," in Proc. SPIE 6822, 68220O(2008), 2008.

【非特許文献4】M. Winken, D. Marpe, H. Schwartz, and T. Wiegand, "Bit-depth scalable video coding," in Intl. Conf. on Image Proc. (ICIP), San Antonio, USA, Oct. 2007.

【非特許文献5】A. Segall, "Scalable coding of high dynamic range video," in Intl. Conf. on Image Proc. (ICIP), San Antonio, USA. Oct. 2007.

【非特許文献6】Y. Gao, Y. Wu, and Y. Chen, H.264/Advanced Video Coding(AVC) backward-compatible bit-depth scalable coding," IEEE Trans. On Circ. And Syst for Video Techn., vol.19, no.4, pp.500-510, Apr. 2009.

【発明の概要】

【発明が解決しようとする課題】

【0005】

［３−６］におけるアプローチは、ブロック的なＩＬＰを用いて、いくつかの局所的な適応性を示しているが、それらは、ＨＤＲデータを送信することに適していない色空間において作動している。さらにまた、それらはＩＬＰパラメータ評価に対して限られた可能性だけを有し、必要なサイド情報は非効率的に符号化される。

【0006】

したがって、一方では符号化品質、すなわち符号化損失が欠点になっている再構築可能な品質および符号化速度、すなわち必要なデータ量の間の比率に関する符号化効率が増加するように、概念を画像（例えばビデオ）符号化の異なる動的サンプル値範囲の層の間の層間予測を実行するための概念を提供することが本発明の目的である。

【課題を解決するための手段】

【0007】

この目的は、同封の一組の独立請求項の主題によって達成される。

【0008】

本発明の基本的な発見は、全体的な予測手段および局所的な予測手段が共に用いられる場合、一方では符号化品質および他方では符号化速度の間の比率が増加することができるということである。全体的な予測手段は、第１のトーンマッピングされたバージョンおよび画像の第２のバージョンにおける同じ位置に配置されたサンプルの値の対の統計分析に基づいて全体的なトーンマッピング機能を引き出して、画像の第２のバージョンのための全体的に予測された参照画像を得るために、画像の第１のトーンマッピングされたバージョンに全体的なトーンマッピング機能を適用する。局所的な予測手段は、全体的に予測された参照画像および画像の第２のバージョンが分割されるサブ部分を単位にして画像の第２のバージョンおよび全体的に予測された参照画像における同じ位置に配置されたサンプルの値の統計分析に基づいて局所的に様々なトーンマッピング機能を引き出して、画像の第２のバージョンのために全体的に、そして、局所的に予測された参照画像を得るために、全体的に予測された参照画像に局所的に様々なトーンマッピング機能を適用する。復号側で、全体的な予測手段および局所的な予測手段があり、そして、各々が強化データストリームのサイド情報から全体的なトーンマッピング機能および局所的に様々なトーンマッピング機能を引き出す。

【0009】

本発明の実施例によれば、全体的な予測は抑制可能である。すなわち、これらの実施例によれば、全体的な予測手段は、所定の閾値を上回っている全体的なトーンマッピング機能の周辺で画像の第１のトーンマッピングされたバージョンおよび画像の第２のバージョンにおける同じ位置に配置されたサンプルの値の対の分散の場合には全体的なトーンマッピング機能の適用を抑制するように構成され、局所的な予測手段は、抑制の場合には、全体的に予測された参照画像よりむしろ画像の第１のトーンマッピングされたバージョンの局所的な派生、および適用を実行するように構成される。したがって、これらの実施例によれば、エンコーダからデコーダへの全体的なトーンマッピング機能の伝送は、全体的なトーンマッピングおよびその適用の伝送が価値がある画像に制限され、その一方で、全体的な予測が全体的なトーンマッピング機能の伝送に費やされる符号化速度に関して主としてペナルティの原因となる画像のための伝送オーバーヘッドを回避する。抑制決定は、デコーダに信号で伝えられることができる。

【0010】

本願の更なる実施例によれば、局所的な予測手段は、局所的に様々なトーンマッピング機能を引き出す際に、画像の第２のバージョンのそれぞれのサブ部分および全体的に予測された参照画像において同じ位置に配置されたサンプルの値の対の分布を通る回帰線の傾斜およびインターセプトをそれぞれのサブ部分のために決定するように構成される。能率的に傾斜およびインターセプトを符号化するために、現在のサブ部分のために決定される傾斜は、その傾斜が以前符号化された隣接するサブ部分の傾斜からの空間予測の予測残差として符号化されることができる。実施例によれば、現在のサブ部分の傾斜を有する直線は、一方では今までのところ再建されたような画像の第２のバージョン、他方では全体的に予測された参照画像の隣接するサブ部分において同じ位置に配置されたサンプルの値の対の分布に一致し、直線のインターセプトが決定され、それぞれのサブ部分のインターセプトは、直線のインターセプトに依存する空間的なインターセプト予測と関連して予測残差として符号化される。これらの実施例は、局所的な予測手段によって決定される局所的な様々な傾斜が空間予測符号化に適していて、空間予測符号化から高い符号化ゲインを提供する発明者の観察を利用し、その一方で、隣接するサブ部分の間のインターセプト相関は、局所的な様々な傾斜によって影響され、したがって、隣接するインターセプト値の間の局所的な相関は、第１に、隣接するサブ部分のための傾斜として現在のサブ部分の予測された傾斜を用いた別の直線調整を実施することにより可能性を示し、現在のサブ部分の傾斜を空間的に予測するための結果として生じるインターセプトを使用する。

【0011】

本発明の実施例の上述したおよび更に有利な実施態様は、従属クレームの主題である。

【0012】

特に、本出願の好ましい実施例は、図面を参照して以下で更に詳細に概説される。

【図面の簡単な説明】

【0013】

【図1】図１は、実施例に従う符号化サイトで層間予測を実行する装置のブロック図を示す。

【図2】図２は、図１の実施例のありうる実施のブロック図を示す。

【図3A】図３ａは、低いダイナミックレンジ画像を引き出すために適用される異なるトーンマッピングのための図１の結果として得られる全体的なトーンマッピング機能を示す。

【図3B】図３ｂは、低いダイナミックレンジ画像を引き出すために適用される異なるトーンマッピングのための図１の結果として得られる全体的なトーンマッピング機能を示す。

【図4】図４ａおよび図４ｂは、異なる符号化結果を示す。

【図5】図５は、実施例による、図１の実施例に適合する復号サイトで層間予測を実行するための装置のブロック図を示す。

【発明を実施するための形態】

【0014】

図１は、画像の第１のトーンマッピングされたバージョンを符号化するための第１の画像符号化ステージ１２と、画像の第２のバージョンを符号化するための第２の画像符号化ステージ１４との間で層間予測を実行するための装置１０の実施例を示す。第１の画像符号化ステージ１２によって符号化される画像の第１のトーンマッピングされたバージョンは、第１の動的サンプル値範囲を有する。例えば、第１の画像符号化ステージ１２は、ビット長ｍの整数サンプル値で作動する。第２の画像符号化ステージ１４によって符号化される画像の第２のバージョンは、第１の動的サンプル値範囲より大きい第２の動的サンプル値範囲を有する。例えば、第２の画像符号化ステージ１４は、ｎ＞ｍであるビット長ｎの整数サンプル値で作動するように構成される。図２のより詳細な実施例において、ｎは１２であり、ｍは８である。

【0015】

図１は、層間予測を実行するための装置１０、スケーラブルな画像コーダ１６を形成するために互いに接続される第１の画像符号化ステージ１２および第２の画像符号化ステージ１４を示す。第１の画像符号化ステージ１２は、スケーラブルな画像コーダ１６の低いダイナミックレンジ入力１８に接続している入力を有し、同様に、第２の画像符号化ステージ１４はスケーラブルな画像コーダ１６の高いダイナミックレンジ入力２０に接続している入力を含む。第１の画像符号化ステージ１２の出力はスケーラブルな画像コーダ１６の基準層データストリーム出力２２に接続され、第２の画像符号化ステージ１４の出力はスケーラブルな画像コーダ１６の強化データストリーム出力２４に強化データストリームを出力する。図２から明らかなように、出力は物理的に明瞭である必要はない。むしろ、出力２２および２４の両方のデータストリームは、コーダ１６が単に１つの共通出力を与えなければならないだけであるスケーラブルなデータストリームにおいて、多重化されることができる。

【0016】

装置１０は、第１の画像符号化ステージ１２および第２の画像符号化ステージ１４の間に接続される。特に、図１において点線で示すように、全体的な予測手段１０は、第１の画像符号化ステージ１２によって任意に生じる符号化損失のない画像の第１のトーンマッピングされたバージョンに作用するために、第１の画像符号化ステージ１２に到着する画像の第１のトーンマッピングされたバージョンのオリジナルのバージョンを受信するために入力１８に接続されるその入力を有することができる。この変形例も、可逆的に画像の第１のトーンマッピングされたバージョンを符号化するように構成されている後者の場合、第１の画像符号化ステージ１２の出力を有する装置１０の入力の接続に等しい。しかしながら、不可逆符号化の場合、装置１０が、次に、出力２２または２２の基準層データストリーム出力に基づく再建可能である画像の第１のトーンマッピングされたバージョンの再建可能なバージョンが符号化ステージ１２の内部予測ループの内部バッファのように例えば導き出せる若干の他の出力に接続している第１の画像符号化ステージ１２の出力に接続しているその入力を有していれば好ましい。第１のトーンマッピングされた画像バージョンのこの後者の再建可能なバージョンは、更に後述する層間予測が復号側で正確に回復されることができる基準層データストリーム２２に基づいて復号側でも利用可能である。

【0017】

内部的には、層間予測を実行する装置は、全体的な予測手段２６および局所的な予測手段２８を含む。全体的な予測手段２６および局所的な予測手段２８は、装置１０の入力と、装置１０が第２の画像符号化ステージ１４の層間予測入力に参照画像を出力する装置１０の出力との間に連続的に接続される。全体的なおよび局所的な予測手段２６および２８は、画像の第２のバージョンが与えられる入力２０に接続される。さらに、全体的なおよび局所的な予測手段２６および２８は、第２の画像符号化ステージ１４によって強化データストリーム出力のサイド情報を形成するために、サイド情報を生成して、出力２４にこのサイド情報を出力することができる。第２の画像符号化ステージから局所的な予測手段２８まで通じている点線で図１に示されているように、局所的な予測手段２８および第２の画像符号化ステージ１４は、図１に示される装置１０のより特定の実施例に関して下で更に詳細に概説されるように、相互作用的な方法で協働することができる。

【0018】

図１は、スケーラブルな画像コーダ１６がどのようにして入力１８および２０で画像の第１および第２のバージョンを供給されるかについて図解的に示す。異なる解決手段も実現可能であると強調される。いずれにせよ、図１に示される解決手段によれば、高いダイナミックレンジ画像はノード３０に到達する。トーンマッピング装置３２は、ノード３０で高いダイナミックレンジ画像から画像のトーンマッピングされたバージョンを引き出すために、このノード３０および入力１８の間に接続される。図１において点線で示されるように、更なるトーンマッピング装置３４は、ノード３０および入力２０の間に任意に接続される。すなわち、第２の画像符号化ステージ１４によって符号化される画像の第２のバージョンがノード３０自体の高いダイナミックレンジ画像でもよく、または、そのトーンマッピングされたバージョンでもよく、それは、しかしながら、入力１８でのバージョンと比較してより大きな動的サンプル値範囲を有するそのトーンマッピングされたバージョンであってもよい。

【0019】

装置１０の構造およびそのスケーラブルな画像コーダ１６への統合および基準層データストリームおよび強化データストリームへのノード３０での画像を符号化するシステムを記載した後に、それぞれ、図１に示される装置１０および他の要素の動作モードが説明される。

【0020】

図１の上記説明から明らかになったように、近くにより低い動的サンプル値範囲のバージョンの再建を有するときに、低い動的サンプル値範囲を有する画像のバージョンが基準層データストリームから導き出され、低い動的サンプル値範囲が手元にあるときにより大きな動的サンプル値範囲を有する画像のバージョンが強化データストリームから導き出されるように、出力２４で強化データストリームを伴う出力２２で基準層データストリームにスケーラブルな方法でノード３０において画像を符号化することが、図１に示される全システムの目的である。より正確には、伝送のために必要なデータ転送速度を小さくするために、装置１０は、入ってくる第２の、より高いダイナミックレンジ画像に、予測された参照画像を有する第２の画像符号化ステージ１４を提供することによって、トーンマッピングされたより低いダイナミックレンジのバージョンと、第２の、より高いダイナミックレンジのバージョンとの間の冗長性を利用する。したがって、第２の画像符号化ステージ１４は、単に予測された参照画像の予測残差、すなわち本来到着しているより高いダイナミックレンジのバージョンおよび層間予測されたバージョンの間の差を符号化するだけであるように構成されることができる。残差を符号化するために、第２の画像符号化ステージ１４は、その量子化の結果、すなわち変換係数レベルが強化データストリームにおいて符号化されるブロック的なＤＣＴ等のような変換符号化を含む量子化を含む不可逆符号化を使用することができる。予測残差を表している符号化残差は、第２の画像符号化ステージ１４によって出力される。全体的なおよび局所的な予測手段２６および２８は、復号側において全体的なおよび局所的な予測手段が装置１０の予測手段２６および２８と同様に層間予測を実行することを可能にしているちょうど言及されたサイド情報を加えることができる。

【0021】

本出願の明細書の前書き部分の考察から明らかになったように、トーンマッピング装置３２は画像３０上へ適用されるトーンマッピング機能を選ぶことができる。特に、これは、トーンマッピング装置３２が高いダイナミックレンジ画像３０のサンプル上へ局所的に様々なトーンマッピング機能を適用することができることを意味する。スケーラブルな画像コーダ１６のすべての要素が動作モードおよびトーンマッピング装置３２の実際の選ばれたトーンマッピング機能に関して不可知論者である点に注意することは重要である。実際のシナリオにおいて、例えば、トーンマッピング装置３２は映画製作者によって制御されることができ、その人は第１の画像符号化ステージ１２のダイナミックレンジ範囲の中で高いダイナミックレンジ画像３０の感じの良い表現を達成するためにトーンマッピング装置３２のトーンマッピング機能を制御する。

【0022】

すなわち、トーンマッピング装置３２によって適用されるトーンマッピング機能は、ノード３０で画像の範囲内で局所的に変化する。ビデオの画像および第１の画像符号化ステージ１２、したがってビデオ・コーダの画像である場合、トーンマッピング装置３２によって与えられるトーンマッピング機能は時間内に変化する。局所的にビデオの個々の画像の範囲内のトーンマッピング機能の局所的な／空間的なバリエーションさえ、時間内に変化することができる。たとえば、トーンマッピング装置３２は、ビデオの１つの場面から他の場面に変わるときにトーンマッピング機能を変えるように、または、画像内で背景および前景等の間にトーンマッピング機能を変えるように制御されることができる。また、符号化ステージ１２も装置１０もこれらの変化に関して不可知論者である。

【0023】

同様に、任意のトーンマッピング装置３４は、画像の第２のバージョンを引き出すために高いダイナミックレンジ画像上へ空間的または空間的／時間的に変化するトーンマッピング機能を適用することができ、そしてまた、装置１０およびコーダ１４はこの種の変化に関して不可知論者である。また、オペレータは、符号化ステージ１４によって課される動的サンプル範囲の画像の感じの良い表現を得るために、トーンマッピング装置３４を制御することができる。

【0024】

後で、図１の実施例のより明確な実施が示される図２に関して、コーダ１２および１４が異なる色空間に作用するように、入力１８および２０を供給することが実行される、すなわち入力１８および２０で与えられるバージョンが、それぞれ、異なる色空間の色を表しているそれらのサンプルを有することが明らかになる。その場合、装置１０によって実行される層間予測は、これらの色空間または第３の色空間のいずれかによって実行される。さらに、以下で更に詳細に示される全体的なおよび局所的な予測手段２６および２８によって実行される層間予測は、単にそれぞれの色空間の輝度成分だけに関係することができる。色空間変換は、異なる色空間との間で切り換わるために用いることができる。しかしながら、以下に記載される実施例の全てが、画像が単にグレイスケールにおいて定められるだけである実施例に容易に移転可能であることは明らかにされなければならない。

【0025】

図１のこのむしろ一般的な紹介の説明の後、全体的な予測手段２６および局所的な予測手段２８の動作モードが記載される。予測手段２６および２８は、二段階方法で動作する。全体的な予測手段２６は、画像のより低いダイナミックレンジ・バージョンのサンプル値および画像のより高いダイナミックレンジ・バージョンのサンプル値の間の全体的な関係を確認して、効果的に予測的に画像のより高いダイナミックレンジ・バージョンを符号化するための符号化ステージ１４によって使われるために参照画像を決定する際の第１のステップを実行するためにこの全体的な関係を使用しようとする。特に、全体的な予測手段２６は、画像の第１のトーンマッピングされたバージョンおよび第２のバージョンの同じ位置に配置されたサンプルの値の対の統計分析に基づいて全体的なトーンマッピング機能を引き出して、画像の第２のバージョンのための全体的に予測された参照画像を得るために画像の第１のトーンマッピングされたバージョンの上へ全体的なトーンマッピング機能を適用するように構成される。これを例示するために、図１は、３６で画像の第１のトーンマッピングされたバージョンおよび３８で画像の第２のバージョンを例示する。両方のバージョン３６および３８が同じ画像のバージョンであるので、同じ位置への配置は両方のバージョン３６および３８のサンプルの間に定められることができる。上述の通り、バージョン３６のサンプルは、バージョン３８のサンプルと比較して、より低い動的サンプル値レンジに定められる。たとえば、バージョン３８のサンプルが１２ビットを使用して符号化されるのに対して、バージョン３６のサンプルは８ビットを使用して符号化される。小さいクロスによって、図１は、同じ位置に配置されたサンプルの対を代表として例示する。バージョン３６および３８の同じ位置に配置されたサンプルの対の統計分析は、例えば、低い動的サンプル値画像バージョン３６の可能な値以上に定められて、可能な値ごとに画像バージョン３８の対応する高い動的サンプル値の中心傾向または平均値を有する全体的なトーンマッピング機能の形成を含む。より正確には、全体的な予測手段２６は、画像バージョン３６の第１の動的サンプル値範囲４２の可能な値ｘ_lowの各々−または、少なくとも可能な値の中のそれぞれのサポートしている値のサブセット−のために、画像の第１のトーンマッピングされたバージョン３６のサンプルと同じ位置に配置され、その値ｘ_lowはそれぞれの可能な値に等しい、画像の第２のバージョン３８のサンプルの値ｘ_Highの分布の中心傾向を決定することによって全体的なトーンマッピング機能４０を引き出すように構成されることができる。図１において、例えば、１つの可能な値は４４で点線によって図解的に示され、画像バージョン３８の同じ位置に配置される、すなわちこの代表的な可能な低いダイナミックレンジ値４４を有する画像バージョン３６のサンプルと同じ位置に配置されるサンプルのサンプル値ｘ_Highの棒グラフまたは分布は４６で示される。前述のように、全体的な予測手段２６は、算術平均４８のようなこの分布４６の中心傾向を決定して、この値４８を代表的な可能な値４４の全体的なトーンマッピング機能４０の値として採用する。したがって、全体的なトーンマッピング機能４０は、画像バージョン３６の動的サンプル値範囲４２と画像バージョン３８の第２の動的サンプル値範囲５０との間でマッピングを実行する。特に、全体的なトーンマッピング手段２６は、異なる可能な値ｘ_lowのためのちょうど言及された手順を実行することによって、全体的なトーンマッピング機能４０を得る。全体的な予測手段２６は、あらゆる可能な値のためのちょうど概説された手順を実行することができる。しかしながら、計算オーバーヘッドを合理的な範囲に保つために、全体的な予測手段２６は、その間で全体的なトーンマッピング機能を得るように、これらの支持位置の間に挿入すると共に、すべての可能な値のためというよりむしろ単に支持位置または可能な値の適当なサブセットのためにちょうど概説された手順を実行することができる。

【0026】

図１に示すように、全体的な予測手段２６は、第２の画像符号化ステージ１４によって発生して、第１の画像符号化ステージ１２によって出力される基準層データストリーム出力の拡張を形成する強化データストリームへのサイド情報として全体的なトーンマッピング機能４０を符号化するように構成される。

【0027】

画像の第１のトーンマッピングされたバージョン３６の上への全体的なトーンマッピング機能４０の適用は、対応する全体的なトーンマッピング機能値、すなわちその低い動的サンプル値が全体的なトーンマッピング機能４０に従ってマッピングされる平均値に画像バージョン３６の範囲内で各サンプル値を設定することを含む。したがって、全体的な予測手段２６による出力をこのように得られた全体的に予測された参照画像は、予測される画像バージョン３８のより高い動的サンプル値範囲においてすでに定められたサンプル値を有する。

【0028】

意外なことに、全体的な予測手段２６は、トーンマッピング装置３２の範囲内で実行されるトーンマッピングについてのいかなる知識もまたはトーンマッピング装置３４によって任意に実行されたトーンマッピングについてのいかなる知識も使用しなかった。

【0029】

全体的な予測手段２６は、可能な値ｘ_lowを増加または減少する連続方向に差動的に全体的なトーンマッピング機能４０を符号化、例えば差ｆ（ｘ_low＝ｉ）−ｆ（ｘ_low＝ｉ−１）、ｆ（ｘ_low＝ｉ＋１）−ｆ（ｘ_low＝ｉ）・・・を符号化する。しかしながら、まず多項式の次数ｐ≧１等のテイラー近似を用いた曲線のあてはめを用いて関数ｆを近似し、次に残差符号化が再度差分符号化を用いて行われる残差の符号化を含む他のアプローチも可能である。

【0030】

局所的な予測手段２８は、全体的に予測された参照画像５２および画像の第２のバージョン３８が分割されたサブ部分を単位にして画像の第２のバージョン３８および全体的に予測された参照画像５２において同じ位置に配置されたサンプルの値の統計分析に基づいて局所的に様々なトーンマッピング機能を局所的に引き出すように構成され、画像の第２のバージョン３８のための全体的におよび局所的に予測された参照画像５４を得るために、全体的に予測された参照画像５２の上に局所的に様々なトーンマッピング機能を適用するように構成される。たとえば、分割することは、図１に点線で示されているように、同じサイズのブロックに均一に分割され、縦横に配置されるか、または、画像バージョン３８および全体的に予測された参照画像５２をサブ部分が互いに隣接する同じ位置に配置されたボーダーを有するサブ部分に分割される。局所的な予測手段２８は、局所的に様々なトーンマッピング機能を局所的に引き出す際に、それぞれのサブ部分５６ごとに、画像バージョン３８および全体的に予測された参照画像５２のそれぞれのサブ部分５６において同じ位置に配置されたサンプルの値の対の分布６４、すなわち現在のサブ部分５６の範囲内でサンプル位置を示すｉを有する位置（ｘ_High（ｉ）、ｘ_glRef（ｉ））の分布を通る回帰直線６２の傾斜５８およびインターセプト６０を決定する。図１において、参照画像５２の中のサンプルのサンプル値はｘ_glRefで示され、一方で、画像バージョン３８のサンプル値はｘ_highで示される。以下で更に詳細に概説されるより多くの特定の実施例において、傾斜はωとして示され、インターセプトはｏとして示される。両方の値は、サブ部分５６ごとに、そのまさしくサブ部分５６で局所的に様々なトーンマッピング機能を定める。言い換えても、局所的な予測手段２８は、破線の矢印６６によって示されるように、値は出力２４の強化データストリームへのサイド情報として符号化される傾斜５８およびインターセプト６０の対をサブ部分５６ごとに決定する。

【0031】

以下で更に詳細に説明するように、局所的な予測手段２８は、高いダイナミックレンジ画像バージョン３８の各サブ部分５６および傾斜によって量子化されインターセプト６０によってシフトされたサンプルを有する全体的に予測された参照画像５２のそれぞれのサブ部分５６に依存するコスト関数を最小化することによって傾斜５８およびインターセプト６０を量子化するように構成される。すなわち、量子化された傾斜５８および量子化されたインターセプト６０は、以下の方法において最後に予測された参照画像５４を得るために捧げられる：参照画像５２のサブ部分５６の範囲内のサンプル値ｘ_glRefはωによって重み付けされ（乗算され）、ｏは結果として生じる結果に加えられ、すなわちサブ部分５６の範囲内のすべてのサンプル位置ｉのためのｘ_lo+glRef（ｉ）＝ｘ_glRefω＋ｏとなる。これは、量子化されたωおよびｏの対応する一対を使用しているサブ部分５６ごとにされる。

【0032】

【0033】

このように、最後に、局所的な予測手段２８の出力において、各サブ部分５６の範囲内で、参照画像５２の各サンプル値がそこからもたらされた結果にｏを加えることでそれぞれのサブ部分の対応する傾斜値５８によって重み付けされたという点で、全体的に予測された参照画像５２と異なる全体的におよび局所的に予測された参照画像５４が与えられる。第２の画像符号化ステージ１４は、層間予測を実行するためのこの参照画像５４を使用することができる。特に、第２の画像符号化ステージ１４は、全体的におよび局所的に予測された参照画像５４と画像バージョン３８との間の予測残差を強化データストリーム、すなわち同じ位置に配置されたサンプル位置ｉのためのｘ_High（ｉ）−ｘ_lo+glRef（ｉ）に符号化し、この目的を達成するために、例えば変換符号化を使用する。しかしながら、第２の画像符号化ステージ１４はちょうど記載されている層間予測モードより別の予測モードを認めることもできる点に留意する必要がある。すなわち、画像バージョン３８を表すためのその出力において出力される予測残差６８を形成するために、第２の画像符号化ステージ１４は予測モードを画像バージョン３８の分割の各々に割り当てることができ、その１つは参照画像５４の同じ位置に配置された分割に基づいて現在の分割を予測することを含む。他の予測モードは、例えば、入力２０で入ってくるビデオの以前に符号化された画像から時間的にそれぞれの分割を予測することによって、例えば他の参照画像に基づいて予測残差を決定することができる。後の分割に関する分割をすることは、サブ部分５６を定める分割に等しいか、または異なる。

【0034】

【0035】

特に、局所的な予測手段２８は、その傾斜ωが以前符号化されたサブ部分７０のような隣接したサブ部分の傾斜ωからの局所的な予測の予測残差として特定のサブ部分５６のために決定される傾斜５８を符号化するように構成されることができる。たとえば、局所的な予測手段２８は、画像の上から下までサブ部分の傾斜およびインターセプト値ｏおよびωを順次１列ずつ符号化するためにラスタ・スキャン順序を使用することができる。各列の中で、スキャン順序は、左から右に導くことができる。したがって、上部および左側のサブ部分は、隣接したサブ部分７０として役立つことができ、その傾斜値は例えばその平均等を使用しているそれを結合することによって現在のサブ部分の傾斜値を局所的に予測することとして役に立つことができる。

【0036】

【0037】

以下で公開される説明から明らかになるように、全体的な予測手段２６は、全体的なトーンマッピング機能４０、すなわち所定の閾値を超えるｘ_Lowのすべての可能な値を呈しているｊを有するｆ（ｊ）の周囲で、画像の第１のトーンマッピングされたバージョン３６および画像の第２のバージョン３８、すなわち画像における全てのｉサンプル位置ｉのための位置（ｘ_High（ｉ），ｘ_Low（ｉ））において、同じ位置に配置されたサンプルの値の対の散乱の場合には全体的なトーンマッピング機能４０の適用を抑えるように構成される。より正確には、各可能な値４４のための平均値４８のまわりの分布４６は、画像バージョン３８のサンプル値が分布させられる全体的なトーンマッピング機能４０の周囲で通路を形成し、この通路があまりに広い場合、全体的な予測手段２６は全体的なトーンマッピング機能４０の適用を抑制することができる。分散のための計測またはちょうど言及された通路の広さとして、異なる可能な値の分布４６の分散の合計が使われる。局所的な予測手段２８は、抑制の場合、すなわち所定の閾値を超えているちょうど言及された分散の場合には、全体的に予測された参照画像５２よりむしろ画像の第１のトーンマッピング・バージョン３６上の局所的な様々なトーンマッピング機能の局所的な偏差の適用を実行する。

【0038】

全体的な予測手段２６は、復号側にサイド情報の範囲内で抑制の信号を送ることができる。換言すれば、全体的な予測の抑制が使われる画像のために、抑制は信号で伝えられ、全体的なトーンマッピング機能４０は出力２４で強化データストリームの中のサイド情報として送信される必要はない。

【0039】

図１の装置に合う復号側で層間予測を実行する装置のための実施例を記載する前に、図１の装置のより詳細な実施例は、図２に関連して記載される。

【0040】

図２によれば、高いダイナミックレンジ・ビデオは符号化され、したがって符号化ステージ１２はビデオ・コーダである。特に、ここで示されるまさしくその実施例において、Ｈ．２６４に合致するハイブリッドのビデオ・コーダが使われる。しかしながら、これは、強制的なものではない。さらに、以下の説明は１つの一般のデータストリームに出力２２および２４におけるデータストリームをインターリーブすることが可能であることを示すが、これも当然ながら必要ではない。通常、図２の実施例を記載する中で、図１において用いられているのと同じ参照符号は、両方の図で起こっている要素の機能の反復説明を回避するために採用された。その限りにおいて、図２の実施例も特に図１の要素を実施することの可能性を示すことと解釈され、これらの可能性の全ては図１の個々の要素に個々に適用できることと解釈される。

【0041】

まず第一に、図１と比較した構造的詳細が記載される。たとえば、図２は空間的および時間的予測モードを入ってくる画像のブロックに対してサポートしている予測ループ９０を含むハイブリッドのビデオ・コーダとしての符号化ステージ１２、およびその後にエントロピー・コーダ９４が続く不可逆性残差変換コーダ９２の可能な実施を示す。特に、図２のハイブリッドのビデオ・コーダ１２は、エントロピーコーダ９４に加えて、それらが言及される順序でハイブリッドのビデオ・コーダ１２の入力およびその出力の間に接続される減算器９５、変換器９６および量子化ステージ９８を含み、変換器９６および量子化ステージ９８は、一緒に不可逆性の残差変換器９２を形成する。予測ループは、互いに連続的にループ状に接続される加算器１００、非ブロック化フィルタ１０２、フレーム・バッファ１０４およびインター／イントラ予測モジュール１０６を含み、予測モジュール１０６の出力が加算器１００の第１の入力に接続される。その第２の入力は、逆変換器１０８を介して量子化ステージ９８の出力に接続される。予測モジュール１０６の出力は、減算器９５の減算入力にも接続している。運動予測データ等のように、予測モジュール１０６によって決定される予測パラメータは、破線１０８で示すように、エントロピーコーダ９４に供給される。

【0042】

したがって、作動中に、減算器９５は、減算器９５の非反転回路においてビデオ・コーダ１２を入力する現在の画像から予測信号１１０を減算し、それによって、減算器９５の出力で残差信号１１２を得る。変換器９６はそれからブロック的な変換によってスペクトル的にこの残差信号１１２を分解し、そして、量子化ステージ９８はこのように得られた変換係数を量子化し、それによって、符号化損失を導く。逆変換器１０８が復号側で、また再建可能な残差信号を現す一方、エントロピーコーダ９４はちょうど記載の予測パラメータ１０７、すなわち選ばれた予測モード、時間的に予測されたブロックの運動パラメータおよびイントラ予測されたブロックのイントラ予測パラメータとともに、基順層データストリーム２２に無損失性で、エントロピー符号化を使用して、残差信号を符号化する。逆変換器１０８の出力における再建された予測信号１１２´、予測モジュール１０６によって出力される予測信号１１０を含む加算器１００の出力において、任意の非ブロック化フィルタ１０２によってフィルタリングされる任意にインループ・フィルタリングの影響を受ける再建された画像が得られ、再建された画像はフレームバッファ１０４に格納される。予測モジュール１０６は、続きの符号化画像の中間予測ブロックのための時間的予測を行うためのフレーム１０４に格納された再建された画像を使用する。復号側で、基準層デコーダは、基準層信号２２を介して送られる残差信号に予測パラメータを与えることによって同じ再建された画像を正確に再生する等しい予測ループを含む。

【0043】

図２に示すように、ハイブリッド・コーダ１２は、ＹＣｂＣｒ色空間のｌｕｍａ成分を表している８ビットのｌｕｍａサンプル値に作用することができる。したがって、フレーム・バッファ１０４に格納される参照画像は、同じビット長、すなわち８ビットのｌｕｍａサンプルから成る。

【0044】

図２の具体例によれば、高いダイナミックレンジ・ビデオは、サンプルごとに個々の色構成要素を示している浮動小数点を使用しているＲＧＢ色空間フォーマットのノード３０で与えられることができた。図２のトーンマッピング装置３２は、２つの連続的な方法、すなわち、後に色変換１２２が続く実際に示されたマッピング１２０に分割されることを手本となって示す。しかしながら、方法の中の順序は、あるいは、切替えられることができる。カラー変換過程１２２はダイナミックレンジがノード３０、すなわちＲＧＢにおいて高いダイナミックレンジ・ビデオの最初の色空間からビデオ・コーダ１２、すなわちＹＣｂＣｒの色空間への移行を一定に保つことを表す一方、トーンマッピング１２０はノード３０でビデオのサンプル上へ上述した空間−時間的に様々なトーンマッピング機能を適用し、それによって、最初のものからビデオ・コーダ１２の８ビット幅サンプル代表のダイナミックレンジまでダイナミックレンジを減らす。

【0045】

図２の実施例によれば、ノード３０のＨＤＲ浮動小数点表示から整数への移行がコーダ１４の１２ビット幅ｌｕｍａ表現を抑えるトーンマッピング装置３４がある。特に、表すことができるダイナミックレンジを利用するために、ｌｕｍａまたは輝き成分がその可能な値の間隔が定期的に輝きの対数領域の部分区間のサンプルをとる１２ビット幅整数値によって表される所で、ＬｏｇＬｕｖ代表または色空間が使われる。換言すれば、図２のトーンマッピング装置３４は、２つの機能、すなわち、１つの色空間から他の色空間への移動、つまり、ＲＧＢから輝きの対数を示しているコンポーネントＬを有するＬｕｖを実行し、コーダ１４に供給されるｌｕｍａサンプルのサンプル値レンジ上にトーンマッピング装置３４によってマッピングされるサブインターバルを空間的／時間的に変化させる。例えば、グラフが図２の１２４で示されるのを見られたい。高いダイナミックレンジ・サンプルによって表すことができる輝きの対数の表現間隔は、１２６に示される。換言すれば、ノード３０で高いダイナミックレンジ・ビデオのカラー表現のすべての可能な浮動小数点状態を輝度値に回して、そこから対数をとるときに、間隔１２６はカバーされる。トーンマッピング装置３４は、トーンマッピングを実行する際に、符合化ステージ１４に送り込まれるビデオのｌｕｍａサンプルの整数表現またはダイナミックレンジ５０上に直線的にマッピングされるサブインターバル１２８を空間的、時間的に変化させ、それは軸Ｌ_floatに沿ったその位置と同様に間隔１２８の幅である

【0046】

したがって、図２も、２つの機能、すなわち、コーダ１２のフレーム・バッファ１０４からの現在の画像のサンプルに全体的に与えられる実際の全体的なトーンマッピング１３２によって続く、コーダ１２の色空間、すなわちＹＣｂＣｒからＬｕｖ色空間への移行のための色空間変換１３０を含むものとしての全体的な予測手段２６を示す。たとえば、色空間転換１３０の出力の色空間の輝度値はコーダ１２、すなわち、例えば８ビットの低いビット長をまだ有することができるが、図１に関して上で概説され下で更に詳細に示すように、全体的な層間予測１３２の出力で、参照画像は１２ビットを有する。

【0047】

内部的には、符号化ステージ１４は、減算器１４０、変換器１４２、量子化器１４４およびエントロピーコーダ１４６の連結を含む。色空間変換器１３０、全体的なトーンマッピング装置１３２および局部的な予測手段２８は、フレーム・バッファ１０４および減算器１４０の反転入力の間に連続的に接続されて、図１という意味において層間装置を形成する。したがって、減算器１４０はそれから、エントロピーコーダ１４６によって量子化器１４４の変換係数の量子化および変換係数の量子化レベルの可逆エントロピー符号化が続くＤＣＴのようなブロック的な変換のようなスペクトル分解を実行する変換器１４２によって符号化される不可逆変換である予測残差１４８を得るためにトーンマッピング装置３４から局所的な予測手段２８によって帰りの現在符号化画像から出力される参照画像５４を減算し、それによって、予測残差６８を産生する。「ＩＬＰ側情報」で示すように、全体的なおよび局所的な予測手段２６および２８によって発生するサイド情報は、強化データストリーム２４を形成するためのエントロピーコーダ１４６にも入れられる。

【0048】

両方のデータストリーム、基準層データストリーム２２および強化データストリーム２４は、マルチプレクサ１５２を経由して一般のデータストリーム１５０に図２の実施例に従って多重送信されるが、多重化は任意である。

【0049】

上記の概説された実施例に適合する復号側で層間予測を実行する装置を記載することを続行する前に、いくつかの注意点が、前記説明のありうる一般化において示される。

【0050】

たとば、画像の第１のトーンマッピングされたバージョン３６および第２のバージョン３８のサンプルの整数値が対数輝度領域の外のサブ間隔の一次関数の共同領域に関連する領域において層間予測の全体的なおよび局所的な予測が実行されるが、上述の実施例はこの実施例に限定されない。むしろ、他の輝度領域が、使われることもできる。さらに、前記実施例は、輝度成分に上記の層間予測を実行するために制限されない。むしろ、前記実施例は、他の色構成要素に適用されることもできる。

【0051】

さらに、図２の特定実施例が特にコーダ１２によって符号化される画像のサンプルのための８ビット幅表現およびコーダ１４のサンプルのための１２ビット幅表現を使用したにもかかわらず、コーダ１４によって使用するビット長ｎがコーダ１２によって使用するビット長ｍより大きい場合、他のビット長を有する整数が使われることもできる。

【0052】

符号化ステージ１４に関する限り、それが予測残差を符号化するために変換符号化を使用することに制限されないことに注意されたい。むしろ、それは、空間領域において直接予測残差を符号化することができる。さらに、それは、別の実施例によって予測残差を可逆符号化することができる。エントロピー・コーダに関する限り、それは、例えば算術または可変長符号化のようないかなるエントロピー符号化にも制限されない。むしろ、同じ可逆コーダは、他のタイプの可逆圧縮技術を使用して行うことができる。

【0053】

より特定の語において、図２は、スケーラブルなＨＤＲビデオ・コーデック（ＨＤＲ ＳＶＣ）のアーキテクチャのブロック図を示す。上部１２は、ＬＤＲ基準層を構成する。それは、ＹＣｈＣｒ４：２：０の色空間（例えば、トーンマッピング、図２におけるｓＲＧＢ→ＹＣｈＣｒ）におけるトーンマッピングされた生のビデオ・シーケンスによって供給される。基準層は、変更されていないＳＶＣ基準層エンコーダ（８ビット／コンポーネント）であり、このようにＨ．２６４／ＡＶＣ基準と互換性を持つ。

【0054】

【0055】

【0056】

【0057】

【0058】

【0059】

【0060】

【0061】

【0062】

【0063】

局所的な層間予測
２８において適用され、図２に関して以下に記載されるマクロ・ブロック（ＭＢ）的なＩＬＰは、ＲＤ最適化パラメータを用いて評価を行い、大きいダイナミックレンジを示すのに適した色空間を使用する。さらに、方法は、能率的にその原因となる近傍から各ＭＢのＩＬＰパラメータを予測して、それにより必要なサイド情報を大幅に減少させる。したがって、ここでは、Ｈ．２６４から公知のマクロブロックは、図１を用いて丁寧に記載されたサブブロック５６の表現として役立つ。

【0064】

スケールおよびオフセット評価
ブロック２８のＭＢ的なＩＬＰは、複雑さ、必要なサイド情報および予測効率の間の良好なトレードオフのための線形モデルに基づく。よりよく以下の数学的説明を理解するために、図１が共同で使われるならば、次の記載に関する限りにおいて、引用符号も図１の実行２８の可能な方法である。

【0065】

【0066】

【0067】

【0068】

【0069】

【0070】

【0071】

【0072】

実験の結果
実験は、行われた。変更された実験を実行するに際して、実験は、それが以前のセクションにおいて導入されるＩＬＰメカニズムをサポートすることができるように、ＳＶＣ参照ソフトウェア（ＪＳＶＭ８．１２）が修正された。符号化実験は、３つのＨＤＲ試験シーケンスによって実行された：パノラマ、トンネルおよび太陽（６４０×４８０ピクセル、３０ｆｐｓ）である。パノラマ試験シーケンスは、８０００×４０００ピクセルＨＤＲパノラマ画像をパンすることによってつくり出した［１１］。その全体のダイナミックレンジは、１０¹⁰：１の範囲のものである。両方とも、トンネルおよび太陽は、マックス−プランク研究所から自由に入手可能である［１２］。これらのシーケンスにおいて表される全体のダイナミックレンジは、それぞれ１０⁵：１および１０⁷：１である。２つの測定基準は、復号化ＨＤＲビデオの品質を評価するために用いられ：それらは、ＨＤＲ可視差予測手段（ＶＤＰ）［１３］および知覚的に同一のピークの信号対雑音比（ＰＵ ＰＳＮＲ）［１４］である。トーンマッピングされたＬＤＲ層シーケンスは、ｐｆｓｔｍｏソフトウェア・パッケージのすべての部分である６つの異なる一般的に用いられるＴＭＯｓによって発生した［１０］。ｐｆｓｔｍｏの以下のラベルは、我々の実験のブラケットにおけるＴＭＯ番号によって示され：それは、ｄｕｒａｎｄ０２（ＴＭＯ１）、ｐａｔｔａｎａｉｋ００（ＴＭＯ２）、ｆａｔｔａｌ０２（ＴＭＯ３）、ｍａｎｔｉｕｋ０６（ＴＭＯ４）、ｒｅｉｎｈａｒｄ０２（ＴＭＯ５）、ｄｒａｇｏ０３（ＴＭＯ６）である。すべての演算子がそれらのデフォルト・パラメータによって用いられたが、ｒｅｉｎｈａｒｄ０２の局所的に適応できるバージョンが使われた。

【0073】

符号化結果は、両方の速さ、埋め込み基準層ビット・ストリームと共に強化層、すなわち出力２２および２４のデータ速度に関して、２４で出力されるものとして上述したＨＤＲ強化層の品質を示す。ＬＤＲ基準層は、単にこのビット・ストリームから抽出されることができる。スペースの不足のため、基準層符号化結果は、ここで示されない。両方の層のためのほぼ等しい品質が推測されることができるように、ＬＤＲおよびＨＤＲ層のための等価なＱＰｓを有する一定のＱＰ符号化が使われた。もちろん、最適ビット配分はＳＶＣの重要な問題であるが、それはこの説明の範囲をはるかに越える。

【0074】

図４ａおよび４ｂは、ＬＤＲ層がＴＭＯ６によって発生したパノラマ試験シーケンスのための符号化結果を示す。特に、パノラマ試験シーケンスのための符号化結果は、ビット・レート以上のＰＵ ＰＳＮＲ（図４ａ）およびＨＤＲ ＶＤＰ（図４ｂ）によって与えられる。ＩＬＰが使われない（すなわちＬＤＲおよびＨＤＲ層の同時放送）場合、４つの曲線は、参考事例とともに、全体的な、局所的な、および全体的＋局所的なＩＬＰ（図１および２の１０を参照）方法の効率を示す。

【0075】

ＰＵ ＰＳＮＲおよびＨＤＲ ＶＤＰ品質メリットに関して、両方とも、図１および２の１０による結合した全体的な＋局所的なＩＬＰがベストの実行をすることを見ることができる。全ての我々の実験の間にＨＤＲ ＶＤＰおよびＰＵ ＰＳＮＲ結果が整合していたので、後半で、ＰＵ ＰＳＮＲ結果が示される。

【0076】

【表1】

【0077】

【表2】

【0078】

【表3】

【0079】

表１−３は、それぞれ、同時放送の場合（すなわちＩＬＰでない）に関して、３つの試験シーケンスのための、それぞれ、ＰＵ ＰＳＮＲゲイン（ΔＰＳＮＲ）またはビットレート節約（Δｒａｔｅ）を示す。平均化することは、Bjontegaard metric[15]にしたがって行われた。全体的な（Ｇ）、局所的な（Ｌ）、および上で概説した組み合わせ（Ｇ+Ｌ）ＩＬＰの結果は、考慮中のすべてのＴＭＯｓのための表において与えられる。図４ａおよび４ｂのＲＤプロットに対応する表３のエントリは、イタリック（ＴＭＯ６）で記載される。表の底の列の平均値は、本発明の実施例がＬＤＲシーケンスを生成するのに用いられたＴＭＯとは無関係に最適に実行されたことを示している。最大で５０％の平均ビット・レート削減または最大６ｄＢの品質ゲインが我々の結果において見つけることができた。場合によっては、全体的なＩＬＰは、主として少ないサイド情報を要求するために、上述の実施例にしたがった組み合わせＩＬＰよりもいくらか異なるＴＭＯｓの若干良い結果を実現させることに注目すべきである。しかしながら、強い局所的な適応を有するＴＭＯｓのために、この方法は、明らかに失敗する：例えば、表２において、ＴＭＯ３および４のために、必要なビット・レートが、ＬＤＲおよびＨＤＲ層が無関係に（それぞれ、４４％または８２％）ときに、必要とされるビット・レートを著しく上回ることが分かる。

【0080】

以下に提示される局所的な＋全体的なＩＬＰ方法の符号化効率におけるゲインが、文献［２−６］の方法と比べて、表１−３におけるＬまたはＧと比較したＧ+Ｌのゲイン、さらに、組み合わせＩＬＰ戦略に加えて、混合ＩＬＰアプローチは、適切なＨＤＲ色空間、速度歪み最適化パラメータ選択、およびＩＬＰパラメータの効果的な符号化より高いことに注目すべきである。

【0081】

復号サイト
図５は、第１の動的サンプル値範囲を有する、画像の第１のトーンマッピングされたバージョンを復号化するための第１の画像復号化ステージ５０２と、第１の動的サンプル値範囲より大きい第２の動的サンプル値範囲を有する画像の第２のバージョンを復号化するための第２の画像復号化ステージ５０４との間で層間予測を実行する装置５００を示す。その範囲において、図５も、第２の動的サンプル値範囲の画像を復号化することが可能であるデコーダ５０６を示す。この目的で、第１の画像復号化ステージ５０２は、入力５０８および装置５００の入力の間に接続される。基準層データストリーム２２は、入力５０８に達する。第１の画像復号化ステージ５０２は、任意に２つの出力、すなわち、参照符号５１０を用いて示されるその再建のための第１の動的サンプル値範囲における再建された画像を出力するための１つ、および例えば図２のバッファ１０４においてバッファリングされるようにインループ再建結果を出力するための第２の出力５１２を有することができる。装置５００の入力は、これらの出力のいずれかに接続される。さらに、出力５１０は、任意のものであり、離れていてもよい。さらに、出力５１２のバージョン出力と比較して、出力５１０および５１２のバージョン出力は、互いに等しくてもよく、または出力５１０で再生されるバージョンを得るために適用される追加再生フィルタを通って互いに異なっていてもよい。

【0082】

第２の画像復号化ステージ５０４は、デコーダ５０６の入力５１４および高いダイナミックレンジ画像を出力するためのデコーダ５０６の出力５１６の間に接続される。装置５００は、入力５１５にも接続している。より正確には、装置５００は、全体的な予測手段５１８および局所的な予測手段５２０の結合を含み、第２の画像復号化ステージ５０４は、全体的なおよび局所的な予測手段５１８および５２０が、それぞれ、サイド情報４１および６６を受信する間、強化データストリームから予測残差６８を得る。局所的な予測手段５２０の出力で参照画像５４が得られ、第２の画像復号化ステージ５０４の基準入力に出力される。図１の説明と同様に、第２の画像復号化ステージ５０４は、現在復号化された画像の高いダイナミックレンジの以前に再建されたサブ部分へのアクセスを有する局所的な予測手段５２０を提供するように構成される。

【0083】

このように、動作中に、第１の画像復号化ステージ５０２は、基準層データストリーム２２から画像の第１のトーンマッピングされたバージョン３６を再建する。このように得られた第１のトーンマッピングされたバージョン３６は、好ましい実施例にしたがって、符号化側で全体的な予測手段２６に到着するのと同様であり、それにより、符号化側で第１の画像符号化ステージ１２の中で任意に起こる符合化損失がエンコーダおよびデコーダの状態／動作の間の逸脱に結びつかない。

【0084】

全体的な予測手段５１８は、第２の画像復号化ステージ５０４の強化データストリームのサイド情報４１から全体的なトーンマッピング機能を引き出すように構成され、全体的に予測された参照画像５２を得るために、画像の第１のトーンマッピングされたバージョン３６のサンプル上に、全体的トーンマッピング機能を全体的に適用する。全体的なトーンマッピング機能は単調に、そして、ゆっくり変化している機能である可能性が高く、図１の全体的な予測手段２６は差分符号化を用いて第１の動的サンプル値範囲の可能な値を増減する方向に沿って順次全体的なトーンマッピング機能を符号化するように実施され、その一方で、全体的な予測手段５１８は、次に、差分復号化を用いて同一方向に沿って順次全体的なトーンマッピング機能を復号化するように実施することができる。他の可能性が、上述するように、同様に存在する。

【0085】

全体的なトーンマッピング機能を引き出し、画像の第１のトーンマッピングされたバージョン３６の上に全体的なトーンマッピング機能を適用する際に、全体的な予測手段５１８は、さらに、データストリーム２２のカラーフォーマットから強化データストリーム２４までおよび復号化ステージ５０４でそれぞれのカラーフォーマットに導かれる第１のトーンマッピングされたバージョン３６においてサンプルの値に図２の色変換１３０を実行するように構成され、色変換は、第２の画像復号化ステージ５０４によって再建される画像の第１のトーンマッピングされたバージョン３６および第２のバージョンとは無関係に常に設定され、それから、第２のカラーフォーマットにおいて全体的なトーンマッピング機能の実際の適用を実行する。

【0086】

より正確には、局所的な予測手段５１８は、サイド情報４１から図１に示される全体的なトーンマッピング機能４０を明らかにして、画像の第１のトーンマッピングされたバージョン３６のサンプル値ｘ_lowを、それがトーンマッピング機能４０、すなわち画像のすべてのサンプル位置ｉのためのｘ_glRef（ｉ）＝ｆ（_xlow（ｉ））に従ってマッピングされる値にセットする。結果は、全体的に予測された参照画像５２である。

【0087】

局所的な予測手段５２０は、全体的に予測された参照画像５２および画像の第２のバージョン３８が分割される図１に示されるサブ部分５６を単位にしてサイド情報から局所的に様々なトーンマッピング機能を局所的に引き出して、全体的に、および、局所的に予測された参照画像５４を得るために全体的に予測された参照画像４２上へ局所的に様々なトーンマッピング機能を適用するように構成される。

【0088】

上述の通り、局所的な予測手段５２０は、局所的に様々なトーンマッピング機能を局所的に引き出す際に、サイド情報６６からサブ部分５６ごとに傾斜５８およびインターセプト６０を再建することができ、そして、全体的に予測された参照画像に局所的に様々なトーンマッピングを適用し、各サブ部分５６のために、傾斜を使用し、傾斜ωおよびそれぞれのサンプルの結果にインターセプトを加えて、それぞれのサブ部分５６において全体的に予測された参照画像５２のサンプルに重み付けをする。すなわち、各サブ部分５６の範囲内で、局所的な予測手段５２０は、それぞれのサブ部分の範囲内の各サンプル位置に対して、現在のサブ部分の範囲内の全てのサンプル位置Ｉに対するｘ_glRef（ｉ）・ω+ｏ＝ｘ_gl+loRef（ｉ）を計算し、ここにおいて、ｘ_glRefは全体的な参照画像５２のサブ部分のそれぞれのサンプル位置のサンプル値であり、ｘ_gl+loRefは全体的に、そして、局所的に予測された参照画像５４の同じサブ部分５６の範囲内で同じ位置に配置されたサンプル位置のために計算されるサンプル値であり、ωはこのサブ部分５６のためのサイド情報６６に由来する傾斜であり、ｏはサイド情報６６からこのサブ部分５６のために決定されるインターセプトである。

【0089】

すでに上述したように、傾斜ωおよびサブ部分５６のためのインターセプトｏに関する情報は、それぞれ、強化データストリームおよびサイド情報６６に能率的に符号化されることができる。したがって、局所的な予測手段５２０は、順次サイド情報６６から傾斜ωおよびサブ部分５６のためのインターセプトｏを引き出すように構成される。上述したように、行型のラスタ・スキャン順序が、サブ部分５６をスキャンするために使用される。しかしながら、他のスキャンも可能である。いずれにせよ、局所的な予測手段５２０は、それぞれの実施例に従って、サイド情報６６からサブ部分５６のための傾斜およびインターセプト残余を復号化して、以前再建された隣接するサブ部分７０の傾斜から空間的に現在のサブ部分のための傾斜ωを予測して、現在のサブ部分のために予測された傾斜および傾斜残差に基づいて現在のサブ部分５６のための傾斜ωを再建する。それから、局所的な予測手段５２０は、以前に再建された画像の第２のバージョンおよび全体的に予測された参照画像５２の隣接するサブ部分７０において同じ位置に配置されたサンプルの値の対の分布に再建された現在のサブ部分の傾斜ωを有する直線７２を適合し、直線７２の遮断７４を決定する。局所的な予測手段５２０は、それからこのように得られたインターセプト予測および現在のサブ部分５６のためのインターセプト残差に基づいて現在のサブ部分５６のインターセプトを再建する。

【0090】

特に、局所的な予測手段５２０および復号ステージ５０４の間の相互作用は、第２の画像復号ステージ５０４が、残差情報６８からこのサブ部分のための予測残差を引き出し、例えば付け加えることにより、それにその同じ位置に配置されたサブ部分において全体的におよび局所的に予測される参照画像を組み合わせることによって再建される画像バージョン３８の特定のサブ部分の再建を終わらせることでもよい。第２の画像復号ステージ５０４は、それから、局所的な予測手段５２０により用いられるサブ部分の中の前述のスキャン順序の次のサブ部分を再建することを続行する。特に、局所的な予測手段５２０は、それから、傾斜およびちょうど記載されている方法に従ってこの次のサブ部分のための傾斜およびインターセプトを復号化し、その際、局所的な予測手段５２０は画像バージョン３８の隣接するサブ部分のすでに再建されたサンプル価値を使用して、ちょうど言及された直線適合を実行することが可能である。サイド情報６６から現在のサブ部分のための傾斜およびインターセプトを復号化した後に、局部的な予測手段５２０は予測的に復号化された傾斜および遮断を用いて全体的に予測された画像５２の同じ位置に配置されたサブ部分の範囲内で同じ位置に配置サンプルを重み付けおよびシフトさせることによって現在のサブ部分５６で全体的におよび局部的に予測された画像を引き出し、復号ステージ５０４は、強化データストリームおよび残差情報６８のそれぞれから引き出された予測残差に対応して用いられる現在のサブ部分を再建することができる。このような手段で、局所的な予測手段５２０および復号化ステージ５０４は、記載のサブ部分の中のスキャン順序に沿って、交互に動作することができる。

【0091】

上述のように、全体的な予測手段５１８は、派生およびサイド情報６６のシグナリングに応答する全体的なトーンマッピング機能４０の適用を抑制するように構成され、局所的な予測手段５２０は、抑制の場合には、全体的に予測された参照画像５２よりむしろ画像の第１のトーンマッピングされたバージョン３６に適用を実行するように構成される。

【0092】

完全性だけのために、符号化側に関して記載されている他の詳細の全てが、対応する方法で、図５の復号化の例に移転可能であることに注意されたい。たとえば、第２の復号化ステージ５０４は、強化データストリームからの全体的なおよび局所的な予測された参照画像および画像バージョン３８の間の予測残差６８を変換復号化するように構成され、例えば加算することによって予測残差６８および全体的におよび局所的に予測された参照画像に基づいて画像バージョン３８を再建するように構成される。

【0093】

上の説明を要約すると、高いダイナミックレンジ（ＨＤＲ）ビデオデータの効果的な符号化に対するフレームワークは、上記の実施例を通して提示された。前記実施例の共同のＩＬＰ方式がＨ．２６４／ＡＶＣのスケーラブルなビデオ符号化拡張の上に形成されるので、それは過去さの互換性を持つ符号化を可能にさせる。すなわち、符号化されたビット・ストリームから不必要な部分を切り取ることによって、低いダイナミックレンジ（ＬＤＲ）ビデオは、引き出されることができる。効果的な層間予測のための方法は、ＨＤＲおよびＬＤＲ情報を送信するのに関連する冗長性を減らすために提案された。それは、予測パラメータの速度歪み最適化評価および必要なサイド情報の効果的な符号化とともに、一般のＨＤＲ色空間変換および共同の全体的なおよび局所的な予測戦略を含む。実験は、トーンマッピングオペレータとは関係なく、上で示された実施例がフレーム的に全体的なまたはブロック的に局所的な予測戦略と比べて優れた符号化結果を提供することを示した。さらに、ＬＤＲおよびＨＤＲ情報の独立伝送と比較して、それは、必要なビット・レートを５０％まで削減することができる。

【0094】

換言すれば、過去への層間予測を形成する上述の実施例のいくつか、および過去への層間予測として実行可能ないくつかは、ＳＶＣを有する高いダイナミックレンジ・ビデオ符号化と互換性がある。いくつかの実施形態では、過去の互換性を持つ高いダイナミックレンジ・ビデオ符号化フレームワークは、Ｈ．２６４／ＡＶＣに基づいている。それは、１つの圧縮されたビットストリームから高いダイナミックレンジ（ＨＤＲ）ビデオと同様に標準的な低いダイナミックレンジ（ＬＤＲ）を抽出することを可能にする。共同の全体的なおよび局所的な層間予測方法は、ＬＤＲとＨＤＲ層との間の冗長性を減らすために提案される。それは、知覚的に可逆性ＨＤＲビデオデータを表すことができる一般の色空間に基づく。それは、どのようにして層間予測パラメータが速度歪み最適化方法が推定されることができ、サイド情報を減らすために効果的に符号化されることができるかに関して示される。任意のトーンマッピング・オペレータのための最高水準の技術と比較して、評価は、フレームワークが最適に実行することを証明した。同時放送に関して、最大で５０％までビット・レート節減を可能にする。

【0095】

他の語においてさえ、前記実施例は、１つの圧縮ビット・ストリームから高いダイナミックレンジ（ＨＤＲ）ビデオと同様に標準的な低いダイナミックレンジ（ＬＤＲ）を抽出することができる過去の互換性を持つ高いダイナミックレンジ・ビデオ符号化方式を明らかにし、共同の全体的なおよび局所的な層間予測方法は、ＬＤＲおよびＨＤＲビデオ層の間の冗長性を減らす。知覚的に可逆のＨＤＲビデオデータを表す一般の色空間が使われる。層間予測パラメータは、速度歪み最適化方法で推定されることができ、サイド情報を減らすために、効果的に符号化されることができる。

【0096】

ＨＤＲビデオのためのスケーラブルな符号化は例えば参考文献［２］−［６］において提案されているが、先に実施例において記載された共同のＩＬＰコンセプトは、最高水準の技術を上回る：
−結合した全体的なおよび局所的な予測を用いた層間予測
−ＨＤＲ層のための適合するｌｏｇＬｕｖ色空間（我々の発明１０Ｆ５１６５８−ＩＩＳ１参照）
−層間予測のための速度歪み最適化パラメータの決定のための方法
−層間予測のためのパラメータの効果的な符号化の方法
○全体的なパラメータ：例えば、画像パラメータセットにおいて伝達されたフレーム ごとに差動符号化されたルックアップテーブル（残念ながら、［４］にすでに記 載されているが、局所的なパラメータとの組み合わせは主張できる）
○局所的なパラメータ：上および左のマクロブロックから予測されるスケール、上お よび左および同じ位置に配置される層マクロブロックから予測されるオフセット （同じ原理が符号化ユニットまたは近づきつつあるＨＥＶＣスタンダードに適用 されるため、別の局所的な近傍は、例えば左上および右上のマクロブロックと同 様に、さらに、とにかく、クレームはＨ２６４の不可知論者であるべきである）

【0097】

コンピュータプログラム実装
若干の態様が装置の関連で記載されているが、これらの態様も対応する方法の説明を表すことは明らかであり、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの関連で記載されている態様は、対応する装置の対応するブロックまたは部材または特徴の説明を表す。いくつかのまたは全てのステップは、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（または使用することによって）、実行される。いくつかの実施形態では、最も重要な方法ステップのいくつかまたはそれ以上は、この種の装置によって実行されることができる。

【0098】

特定の実施要件に応じて、本発明の実施例は、ハードウェアにおいて、または、ソフトウェアで実施されることができる。実施はその上に格納される電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えばフレキシブルディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実行されることができ、それぞれの方法が実行されるように、それはプログラム可能なコンピュータシステムと協働する（または協働することができる）。したがって、デジタル記憶媒体は、計算機可読である。

【0099】

本発明による若干の実施例は、電子的に読み込み可能な制御信号を有するデータキャリアを含み、ここにおいて記載されている方法のうちの１つが実行されるように、それはプログラム可能なコンピュータシステムと協働することができる。

【0100】

通常、本発明の実施例はプログラムコードを有するコンピュータ・プログラム製品として実施されることができ、コンピュータ・プログラム製品がコンピュータで動くときに、プログラムコードが方法のうちの１つを実行するために実施される。プログラムコードは、例えば、機械読み取り可読キャリアに格納される。

【0101】

他の実施例は、ここにおいて記載されていて、機械読み取り可読キャリアに格納される方法のうちの１つを実行するためのコンピュータ・プログラムを含む。

【0102】

換言すれば、発明の方法の実施例は、従って、コンピュータ・プログラムがコンピュータで働くときに、ここにおいて記載されている方法のうちの１つを実行するためのプログラムコードを有するコンピュータ・プログラムである。

【0103】

発明の方法の更なる実施例は、従って、その上に記録されて、ここにおいて記載されている方法のうちの１つを実行するためのコンピュータプログラムから成っているデータキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体または記録メディアは、典型的に有形でおよび／または移り変わりのないものである。

【0104】

発明の方法の更なる実施例は、従って、ここにおいて記載されている方法のうちの１つを実行するためのコンピュータ・プログラムを表しているデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、データ通信接続を経て、例えばインターネットで転送されるように例えば構成されることができる。

【0105】

更なる実施例は、ここに説明された方法の１つを実行するために構成または適応される処理手段、例えばコンピュータまたはプログラム可能な論理装置を含む。

【0106】

更なる実施例は、その上に、ここに記載されている方法のうちの１つを実行するためのコンピュータ・プログラムをインストールしているコンピュータを含む。

【0107】

本発明による更なる実施例は、レシーバに本願明細書において記載されている方法のうちの１つを実行するためのコンピュータ・プログラムを移す（例えば、電子的に、または、光学的に）ように構成される装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイル機器、メモリデバイス等でもよい。装置またはシステムは、例えば、コンピュータ・プログラムを受取人に譲渡するためのファイル・サーバを含む。

【0108】

いくつかの実施形態において、プログラム可能な論理装置（例えばフィールド・プログラマブル・ゲート・アレイ）は、ここにおいて記載されている方法の機能のいくらかまたは全てを実行するために用いることができる。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、ここにおいて記載されている方法のうちの１つを実行するために、マイクロプロセッサと協働することができる。通常、方法は、いかなるハードウェア装置によっても好ましくは実行される。

【0109】

上記した実施例は、本発明の原理のために、単に図示するだけである。配置の修正変更およびここにおいて記載されている詳細が他の当業者にとって明らかであるものと理解される。したがって、間近に迫った特許クレームの範囲だけによって正弦され、ここにおいて実施例の説明および説明として示される具体的な詳細によって制限されないことが、意図するところである。

【0110】

参照
[1] E. Reinhard, G. Ward, S. N. Pattanaik, P. E. Debevec, W. Heidrich, and K. Myszkowski, High Dynamic Range Imaging - Acquisition, Display, and Image-Based Lighting (2. ed.). 1em plus 0.5em minus 0.4em Academic Press, 2010.

[2] R. Mantiuk, A. Efremov, K. Myszkowski, and H.-P. Seidel, ``Backward compatible high dynamic range mpeg video compression,'' ACM Trans. Graph., vol. 25, pp. 713--723, July 2006.

[3] S. Liu, W.-S. Kim, and A. Vetro, ``Bit-depth scalable coding for high dynamic range video,'' in Proc. SPIE 6822, 68220O (2008), 2008.

[4] M. Winken, D. Marpe, H. Schwarz, and T. Wiegand, ``Bit-depth scalable video coding,'' in Intl. Conf. on Image Proc. (ICIP), San Antonio, USA, Oct. 2007.

[5] A. Segall, ``Scalable coding of high dynamic range video,'' in Intl. Conf. on Image Proc. (ICIP), San Antonio, USA, Oct. 2007.

[6] Y. Gao, Y. Wu, and Y. Chen, ``H.264/Advanced Video Coding (AVC) backward-compatible bit-depth scalable coding,'' IEEE Trans. on Circ. and Syst. for Video Techn., vol. 19, no. 4, pp. 500--510, Apr. 2009.

[7] J.-U. Garbas and H. Thoma, ``Temporally coherent luminance-to-luma mapping for high dynamic range video coding with H.264/AVC,'' in Intl. Conf. on Acous., Speech and Signal Proc. (ICASSP), May 2011, pp. 829--832.

[8] G. W. Larson, ``The LogLuv encoding for full gamut, high dynamic range images,'' Journal of Graph. Tools, vol. 3, no. 1, pp. 15--31, 1998.

[9] ITU-R rec. BT.709, basic parameter values for the HDTV standard for the studio and for international programme exchange, Geneva, 1990.

[10] G. Krawczyk and R. Mantiuk, ``pfstmo tone mapping library,'' http://pfstools.sourceforge.net/pfstmo.html =0pt

[11] S. Steuerwald and A. Waggershauser, ``Sample panorama image: Florist Shop.'' http://www.lizardq.com/cdn/sample#images/3-Florist-Shop.hdr =0pt

[12] G. Krawczy, ``HDR video environment maps samples,'' http://www.mpi-inf.mpg.de/resources/hdr/video/ , Max-Planck Institute for Informatics.

[13] R. Mantiuk, S. Daly, K. Myszkowski, and H.-P. Seidel, ``Predicting visible differences in high dynamic range images - model and its calibration,'' in Human Vision and Electronic Imaging X, Proc. of SPIE, vol. 5666, 2005, pp. 204--214.

[14] T. O. Aydn, R. Mantiuk, and H.-P. Seidel, ``Extending quality metrics to full dynamic range images,'' in Human Vision and Electronic Imaging XIII, Proc. of SPIE, San Jose, USA, Jan. 2008, pp. 6806--6810.

[15] G. Bjontegaard, ``Calculation of average PSNR differences between RD-curves,'' in ITU-T SG 16 Q. 6 Video Coding Experts Group (VCEG), document VCEG-M33 , Austin, USA, Apr. 2001.

【図1】

【図2】

【図3A】

【図4】

【図5】

【図3B】