【文献】
Zicong Mai,Optimizing a Tone Curve for Backward-Compatible High Dynamic Range Image and Video Compression,IEEE Transactions on Image Processing,米国,IEEE,2011年 6月,Vol.20 No.6,P.1558-1571
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0021】
本原理は、トーンマッピング技術を用いたHDR画像及びビデオの符号化及び復号化に向けられている。トーンマッピング関数は、入力として高ビットデプス整数値をとり、低ビットデプス整数値を返し、逆トーンマッピング関数は、入力として低ビットデプス整数値をとり、高ビットデプス整数値を返す。本願において、我々は、語「トーンマッピング関数」、「トーンマッピング曲線」及び「トーン曲線」を同義的に使用し、語「逆トーンマッピング関数」及び「逆トーンマッピング曲線」を同義的に使用する。
一実施形態において、我々は、
図1に表されるように、圧縮スキームの数学モデルを定義する。このモデルにおいて、我々は、画像が圧縮されることと、ピクセルが実数値(必ずしも整数ではない。)を有することとを考える。入力画像Iは、確率分布関数(pdf;probability distribution function)を有し、その最小ピクセル値及び最大ピクセル値は、夫々、x
min及びx
maxである。
【0022】
最初に、圧縮関数Fがピクセル値に適用される。Fはインターバル[x
min,x
max]に対して定義され、F(x
min)=0且つF(x
max)=2
n−1である。nは、LDR符号器によって符号化されるLDR画像のビットデプスである。この数学モデルにおいて、圧縮関数は、実数入力及び出力を有する連続的な(狭義)単調関数を表す。そのような特性は、Fが逆関数f
−1(展開関数として表される。)を有することを確かにする。数学モデルがHDR画像を符号化することに適用される場合に、圧縮関数は、出力が整数であるトーンマッピング関数に対応する。トーンマッピング関数は、圧縮関数と一様量子化(丸め)との連結と見なされ得る。Fは数学的に可逆であるから、関数Fを適用した後、理論上、データは失われない。我々は、圧縮関数からの出力画像をI
Fと、そして、I
Fの確率分布関数をp
Fと定義する。
【0023】
次いで、I
F及びもしあればフォーマット変換による丸め誤差を符号化するときに導入される符号器エラーをモデル化するよう、確率変数(ε)が夫々のピクセル値に加えられる。ここで、我々は、確率変数の分布がピクセルの1又は値に依存しないと仮定する。我々はまた、確率変数εがゼロ平均及び分散σ
2を有すると考える。I
Fが符号化された後、展開子F
−1が、HDR画像I
recを再構成するよう適用される。
【0024】
数学モデルにおいて、我々は、実数値が入力及び出力として使用されると考える。数学モデルが実際に適用される場合に、我々は、LDR符号器によって符号化される低ビットデプス(例えば、8ビット)整数値を生成する必要があるので、入力は、通常は整数であり、出力も整数である。
【0025】
図1に示されるモデルについてトーンマッピング曲線を設計するよう、我々は、レートひずみ関数J=D
tot+λ
0・Rを定式化する。D
totは、原HDR画像Iと、再構成されたHDR画像I
recとの間の全体のひずみであり、Rは、LDR画像を符号化するビットレートであり、λ
0は、レートひずみ性能を改善するよう調整されるラグランジュ乗数である。画像I及び符号器を考えると、我々は、符号化された画像のビットレートRがI
Fのエントロピーに比例すると考える。よって、D
tot+λ
0・Rを最小限とすることは、D
tot+λ・エントロピー(I
F)を最小限とすることと等価である。なお、λは他のラグランジュ乗数である。
【0026】
一実施形態において、我々は、ひずみが平均二乗誤差(MSE;mean square error)によって測定されると考える。すなわち、D
tot=E{(I
rec−I)
2}。E{.}は、確率変数の期待値を計算する。我々の目標は、レートひずみ関数D
tot+λ・エントロピー(I
F)を最小限とする関数F
*を見つけることである。関数F
*の導関数は:
【数1】
のように定式化され得ることが、解析的に示され得る。よって、
【数2】
cは、F
*(x
max)=2
n−1であるように調整され得る定数である。
【0027】
しかし、我々は、λ及びσを考慮してcの値を決定する解析的な解法を持たない。更には、使用される実際の符号器及び符号化パラメータ(例えば、制限なしに、HEVCにおける量子化パラメータ及びLDR画像のビットデプス)のモデルは、σの値を求めるために必要とされる。変数c及びσに対する関数F
*(x)の依存性を除くよう、我々は、関数
【数3】
を定義する。あらゆる正の値λ及びσについて:
【数4】
であるように、
(外1)
が存在することが示され得る。結果として、パラメータλ
iのみが、トーンマッピング関数を導出するために必要とされる。一実施形態において、我々は、数値積分法によってS(x,λ
i)を計算し、結果をS(x
max,λ
i)で除することができる。
【0028】
図2は、本原理に従ってトーンマッピングを用いてHDR画像を符号化する例となる実施形態を表す。入力されるHDR画像のピクセル値は、高ビットデプス整数値又は浮動小数点値によってそもそも表現されてよい。HDR画像が浮動小数点値によって表現される場合には、整数値への変換が使用され得る。例えば、入力画像が半精度浮動小数点(half-float)フォーマットにおいて定義される場合に、整数値と解釈されるビットパターン(すなわち、1つの符号ビット、5つの指数ビット、及び10個の仮数ビット)をとることは、浮動小数点から16ビット整数値への可逆変換を提供する。画像が正の値しか含まない場合には、この変換は、元の浮動小数点値のログ(log)符号化を近似する。
【0029】
他の例において、我々は、対数関数を浮動小数点値に適用し、結果を整数値に丸めてよい。その場合に、使用される関数は、ゼロ及び最大浮動小数点値が夫々0及び2
nHDR−1にマッピングされるように調整されるべきである。n
HDRは、HDR画像の整数バージョンのビットデプスである。n
HDRの値に対する妥当な選択は、原画像が半精度浮動小数点フォーマット(すなわち、16ビット浮動小数点値)にある場合には16であり、原画像が単精度浮動小数点(single precision float)フォーマット(すなわち、32ビット浮動小数点値)にある場合にはn
HDR=32である。対応する逆変換関数は、復号された整数HDR画像を浮動小数点データに逆変換するために、復号された整数HDR画像に適用されるべきである。
【0030】
次いで、期待値最大化が、ピクセル値の確率分布関数pの混合ガウスモデルを得るよう実施される。GMMモデルは、パラメータセットΘ(平均、分散、ガウス分布の重み)によって記述される。Θ、x
min及びx
max(画像の最小及び最大ピクセル値)は、トーンマッピングLUTを計算するために使用される。符号化パラメータQPから計算されるラグランジュ乗数λ
iも、LUTの計算のために考慮される。次いで、LUTは、LDRバージョンを得るよう画像に適用される。LDRバージョンは、符号化パラメータQPを用いてLDR符号器へ送られる。最後に、パラメータΘ、x
min及びx
maxは、LDR画像を表すビットストリームにおいて示される。以下で、我々は、確率分布関数及びラグランジュ乗数の決定を更に詳細に記載する。
【0031】
[確率分布関数の決定]
式(4)で記載されたようにトーンマッピング関数を導出するよう、ピクセル値の確率分布関数(p(x))は決定される必要がある。一例において、p(x)は、画像のヒストグラムを計算することによって決定され得る。復号器が逆トーンマッピング曲線を計算するために、確率分布関数を定義するパラメータは復号器に知られる必要がある。p(x)を表すために符号化される必要があるパラメータの数を減らすよう、我々はヒストグラムをパラメータ化する。
【0032】
一実施形態において、我々は、ヒストグラムを近似するために混合ガウスモデルを使用することができる。GMMは、幾つかのガウス分布の加重和である。モデルパラメータは、混合モデルにおける夫々のガウス分布jの分散v
j、平均値μ
j及び重みα
jである。確率分布関数のモデルは:
【数5】
のように定式化され得る。mは、モデルにおいて使用されるガウス分布の数であり、gはガウス関数である:
【数6】
【0033】
期待値最大化(EM;Expectation Maximization)アルゴリズムは、フィッティング演算のために使用され得る。このアルゴリズムは、Dempster et al.,“Maximum Likelihood from Incomplete Data via the EM Algorithm”,Journal of the Royal Statistical Society,1997年において定義されている。ガウスモデルの数m及び初期パラメータセットθ
0=(α
j0,μ
j0,v
j0)(j∈[1,m])を考えると、目的は、対数尤度関数:
【数7】
を最大化するθを見つけることである。Nはピクセルの数であり、x
iはピクセルiの値である。
【0034】
アルゴリズムの夫々の繰り返しkは、次のステップから成る:
1.[1,m]に含まれるj及び[1,N]に含まれるiの夫々について、
(外2)
を計算する。
2.新しい平均
(外3)
を計算する。
3.新しい分散
(外4)
を計算する。
4.新しい重み
(外5)
を計算する。
5.収束に達する場合に(すなわち、|J(θ
k−1)−J(θ
k)|<閾値)(例えば、閾値=10
−9)、停止する。それ以外の場合に、次の繰り返しを行う。
【0035】
EMによって得られたGMMパラメータは、次いで、式(5)を用いてx
minからx
maxまでの如何なる整数値xでも確率分布関数を計算するために使用され得る。
図3Aは、例となるヒストグラムを示し、
図3Bは、EMによる近似された(fitted)GMMを示す。
【0036】
我々は、範囲[x
min,x
max]を超えるピクセルの確率がヌルであると考える。よって、GMMパラメータに加えて、最小値x
min及び最大値x
maxも、復号器が確率分布関数を生成するためにビットストリームにおいて示される。
【0037】
HDR画像において、非常に低い値を持った少数のピクセルを画像が含むことがあり得る。それらのピクセルはアルゴリズムの計算を妨げ得るので、我々は、EMアルゴリズムを実行する前に、所与の百分率(例えば、0.1%)を下回る値をクリッピングしてよい。その場合に、x
lowの値はx
minとして使用される。同様に、非常に高い値を持った少数のピクセルを画像が含む場合には、我々は、EMアルゴリズムを実行する前に、所与の百分率を下回る高い値をクリッピングしてよい。その場合に、x
highの値はx
maxとして使用される。
【0038】
[ラグランジュ乗数の決定]
式(4)で記載されたようにトーンマッピング関数を導出するよう、我々は、更に、ラグランジュ乗数λ
iを決定する必要がある。λ
iの値は、使用される符号器(例えば、HEVC、MPEG−2、MPEG−4、AVC/H.264、又はJPEG)、LDR符号器によって受け入れられる入力データフォーマットのビットデプス、及び符号化パラメータ(例えば、HEVCにおける量子化パラメータQP)に依存してよい。以下で、我々は、ラグランジュ乗数λ
iを決定する方法を更に詳細に論じる。
【0039】
一実施形態において、我々は、いくつかの品質パラメータ(例えば、HEVCのQP値)及びλ
iの値を用いていくつかの画像を符号化してよい。夫々のQPでの所与の画像について、符号化は、λ
iの値を広い範囲にわたって変化させることによって、数回実施される。QP値を考えると、最適なλ
iを用いて得られるレートひずみ(RD;Rate Distortion)点は、
図4に表されるように、全てのRD点の組の凸包上にある。よって、我々は、QPの関数としてラグランジュ乗数λ
i*を導出することができる。例えば、16ビット画像が8ビットにトーンマッピングされ、HEVCにより符号化される場合に、次の指数関数が、ラグランジュ乗数を表現するために求められた:
λ
i*=100*2
0.37QP (8)
式(8)で記載される関数を考えると、QP値が復号器によって知られているので、符号器及び復号器においてλ
iの同じ値が導出され得る。
【0040】
[ルックアップテーブルの生成]
一実施形態において、我々は、本原理を実現するよう数値積分法を実施する必要があり得る。あらゆるピクセルの和を計算することは非常に時間を要するので、我々は、x−1で結果を累積することによって、値xについて、式(10)において以下で示されるように、和を計算してよい。他の方法は、算術演算を実施するために使用されてよい。
【0041】
先に説明されたように、関数F
*’は、値λ
i及び確率分布pを考慮して式(9)から計算され得る:
【数8】
F
*’の値が夫々の整数値x∈[x
min,x
max]について計算される場合に、それは、式(3)で定義される関数Sを近似するF
numを計算するよう数値積分され得る。例えば、累積合計は:
【数9】
のように実施され得る。
【0042】
我々は、トーンマッピング曲線を表現するルックアップテーブル(LUT)を生成してよい。特に、関数Fは、LDR画像の必要とされるビットデプスnを持った整数を得るようスケーリングされ且つ丸められてよい:
【数10】
F
num(x)/F
num(x
max)は、式(4)からのs(x,λ
i)/s(x
max,λ
i)の数値近似である点に留意されたい。LUTが生成された後、トーンマッピング動作は、LUTを原HDR画像のあらゆるピクセルに適用することができる。得られた画像は、次いで、LDR符号器により圧縮される。トーンマッピング曲線の構成のために必要とされるパラメータ(例えば、確率分布関数パラメータ、x
min、x
max)は、例えば、可逆符号化を用いて、復号器へ通信される必要がある。
【0043】
図5は、本原理に従って逆トーンマッピングを用いてHDR画像を復号する例となる実施形態を表す。
図5の入力ビットストリームは、
図2に従って生成されてよい。LDR画像及びモデルパラメータ(例えば、Θ、x
min、x
max及びQP)は、ビットストリームから復号され得る。パラメータが知られると、式(5)、(9)、(10)及び(11)で記載される演算が、トーンマッピング・ルックアップテーブルを生成するよう実施され得る。次いで、LUTは、逆トーンマッピング・ルックアップテーブルを生成するよう反転される。逆LUTは、HDR画像を再構成するよう、復号されたLDRに適用される。原画像が浮動小数点フォーマットにおいて定義される場合には、再構成されたHDR画像は、整数から浮動小数点へ逆変換され得る。
【0044】
図6A乃至6H及び7A乃至7Hは、HEVC符号器がLDR符号器として使用される場合に、入力される16ビットHDR画像、確率分布関数、並びに16ビット画像と8ビット画像との間の変換のためのトーンマッピング曲線及び逆トーンマッピング曲線の例を表す。
図6Aは、x
min=0及びx
max=27024を有する画像“ペニシェ”を示す。
図6Bは、画像“ペニシェ”についての推定された確率分布関数を示す。
図6C及び6Dは、QP=0(λ
i=100)の場合のトーンマッピングLUT及び逆トーンマッピングLUTを夫々示す。
図6E及び6Fは、QP=16(λ
i=6055)の場合のトーンマッピングLUT及び逆トーンマッピングLUTを夫々示す。
図6G及び6Hは、QP=32(λ
i=3.67e+05)の場合のトーンマッピングLUT及び逆トーンマッピングLUTを夫々示す。
【0045】
図7Aは、x
min=1834及びx
max=23634を有する画像“モンゴルフィエ”を示す。
図7Bは、画像“モンゴルフィエ”についての推定された確率分布関数を示す。
図7C及び7Dは、QP=0(λ
i=100)の場合のトーンマッピングLUT及び逆トーンマッピングLUTを夫々示す。
図7E及び7Fは、QP=16(λ
i=6055)の場合のトーンマッピングLUT及び逆トーンマッピングLUTを夫々示す。
図7G及び7Hは、QP=32(λ
i=3.67e+05)の場合のトーンマッピングLUT及び逆トーンマッピングLUTを夫々示す。
【0046】
我々は、
図6A乃至6H及び7A乃至7Hから、QPの値が高い(且つλiが高い)ほどトーンマッピング曲線が滑らかになることに気付く。QPが低いほど、トーンマッピング曲線は確率分布関数に依存し、曲線の傾きは、確率値が高いほど急になる。結果として、それらの値は、より正確にトーンマッピングされる。
【0047】
符号器でトーンマッピング曲線を決定する場合に、我々は、MSEがひずみを測定するために使用され得、且つ、GMMによる期待値最大化が確率分布を推定するために使用され得る、と先に論じてきた。変形例において、平均二乗誤差に代えて、我々は、ひずみ係数として累積絶対値誤差(SAD;sum of absolute difference)を選択することができる。この場合に、式(1)乃至(3)における立方根は平方根によって置換される。
【0048】
他の変形例において、我々は、ヒストグラムの簡易バージョンを計算し、少ないパラメータで確率分布関数をモデル化してよい。具体的に、夫々の整数値で画像のピクセルの数を含む完全なヒストグラムを計算することに代えて、我々は、範囲[x
min,x
max]を同じ長さの少数のインターバルに分けることができる。夫々のインターバルKについて、このインターバルに入る画像のピクセルの数N
Kは計算され得る。次いで、インターバルK内の夫々の値xについて、確率はp(x)=N
K/(ピクセルの総数)によって推定される。例えば、我々は、100個のインターバルをとることができ、そして、100の値N
K(K∈[1,100])並びに値x
min及びx
maxが復号器に送られる必要がある。
図3Aに示される例となるヒストグラムについて、
図3Cは、100個のインターバルにより計算された確率分布関数を示す。
【0049】
様々な符号器、例えば、MPEG−2、MPEG−4 AVC/H.264、及びHEVCに従う符号器は、LCD符号器として使用され得る。LDR符号器は、ビットデプスをスケーリング可能なビデオ符号器のベースレイヤ符号器であってもよい。上記の例において、我々は、トーンマッピング関数を示すパラメータを符号化するために使用されるビットレートがとるに足りず、レートひずみ最小化問題に含まれないと考える。我々はまた、それらのパラメータのビットレートを、それがより有意になる場合には我々のモデルに含めてよい。以上において、我々は1つの画像を入力として使用されてきた。本原理は、ビデオシーケンスが入力して使用される場合にも適用可能であり、我々は、画像ごとにパラメータを変えてよい。
【0050】
いくつかの数値は、例えば、λ
iの計算、ヒストグラムのインターバル、並びに割合が小さい非常に低い及び高いピクセル値についての例を与えるために、先に使用されてきた。それらの数値は、入力画像及び/又は符号化設定が変わる場合に変更され得る。
【0051】
本原理は、レートひずみ性能に対してトーンマッピング曲線を設計する場合に、再構成されたHDR画像のひずみ及びHDR画像を符号化するレートの両方を考慮に入れるという利点を有する。我々の原理に従うトーンマッピング曲線及び逆トーンマッピング曲線は、入力されたHDR画像の特性に依存するだけではなく、符号化設定の影響も考慮する。一実施形態において、我々は、入力画像に固有であるパラメータ(すなわち、Θ、x
min、x
max)の組をビットストリームにおいて示す。固有パラメータのこの組及び符号化パラメータ(例えば、量子化パラメータ)に基づき、我々は、量子化パラメータ、ひいてはビットレートに適応したトーンマッピング曲線及び逆トーンマッピング曲線の種々の組を生成することができる。HDR再構成に必要な逆トーンマッピング曲線は、明示的に送信される必要はない。むしろ、それは、符号化パラメータと、入力画像に固有であるパラメータの組とから、復号器によって計算され得る。結果として、本原理に従う方法は、符号化設定(例えば、ビットレート)に適応し、HDR画像を符号化する場合の圧縮効率を改善することができる。
【0052】
図8は、本原理に従ってHDR画像を符号化する例となる方法800を表す。方法800は初期化ステップ810から開始し、入力されたHDR画像のフォーマット及びLDR画像の受け入れられるフォーマットを決定してよい。ステップ820で、方法800は、例えば、GMMに伴う期待値最大化を用いて、あるいは、ヒストグラムの簡易バージョンを用いて、HDR画像の確率分布関数をモデル化する。
【0053】
ステップ830で、ラグランジュ乗数は、例えば、量子化パラメータの関数として、推定される。ラグランジュ乗数は符号器設定、例えば、使用されるビデオ圧縮標準と、LDR符号器のフォーマットのビットデプスと、に依存し得るので、我々は、ラグランジュ乗数を計算するための関数を復号器へ送ってよく、あるいは、符号器及び復号器はいずれも、ラグランジュ乗数を所定の数として記憶してよい。
【0054】
ステップ820でモデル化された確率分布関数及びステップ830で推定されたラグランジュ乗数に基づき、トーンマッピング関数は、例えば、式(4)に従って、生成され得る。数値演算を実施するよう、ルックアップテーブルが生成されてよい。ステップ850で、HDR画像は、トーンマッピング関数を用いてLDR画像に変換される。LDR画像及びトーンマッピング関数を示すパラメータ、例えば、確率分布関数を示すパラメータは、ステップ860でビットストリームにおいて符号化される。
【0055】
方法800は、
図8に示されるのとは異なる順序で起こってよい。例えば、ステップ830はステップ820の前に実施されてよい。ラグランジュ乗数は入力画像に依存しなくてよいので、それは、入力されたHDR画像を符号化する前に導出されてよい。よって、ステップ830は任意であることができる。
【0056】
図9は、本原理に従ってHDR画像を復号する例となる方法900を表す。方法900の入力は、方法800に従って生成されたビットストリームであってよい。方法900は初期化ステップ910から開始し、再構成されたHDR画像のフォーマットを決定してよい。ステップ920で、LDR画像及びトーンマッピング関数を示すパラメータが復号される。トーンマッピング関数を示すパラメータに基づき、トーンマッピング関数は、例えば、式(4)に従って、生成され得る。続いて、逆トーンマッピング関数はステップ930で生成され得る。方法800で実行されるのと同様に、ルックアップテーブル及び逆ルックアップテーブルは、数値演算を実施するために生成され得る。ステップ940で、LDR画像は、逆トーンマッピング関数を用いてHDR画像に変換される。
【0057】
図10は、HDR画像を符号化する例となる符号器1000のブロック図を表す。符号器1000の入力は、符号化されるHDR画像、符号化パラメータ、及び/又はラグランジュ乗数を推定するために使用され得る他の画像を含む。確率推定部1010は、入力画像の確率分布関数を推定する。トーン曲線推定部1020は、例えば、量子化パラメータに基づき、ラグランジュ乗数を推定し、確率分布関数及びラグランジュ乗数に基づき、例えば、式(4)を用いて、トーンマッピング曲線を生成する。トーンマッピング曲線に基づき、LDR画像生成部1030は、HDR画像をLDR画像に変換する。LDR符号部1040は、LDR画像を符号化し、トーン曲線パラメータ符号部1050は、例えば、確率分布関数パラメータ並びに入力画像の最小及び最大ピクセル値のような、トーンマッピング関数を示すパラメータを符号化する。ラグランジュ乗数を記述するパラメータがビットストリームにおいて示されるべき場合には、それらのパラメータもトーン曲線パラメータ符号部1050によって符号化される。トーン曲線パラメータ符号部1050は標準モジュールであることができ、あるいは、それはLDR符号部1040に含まれ得る。
【0058】
図11は、HDR画像を復号する例となる復号器1100のブロック図を表す。復号器1100の入力は、復号されるビットストリームを含む。入力ビットストリームは、符号器1000によって生成されてよい。LDR復号部1110は、LDR画像を復号し、トーン曲線パラメータ復号部1120は、確率分布関数パラメータ並びに入力画像の最小及び最大ピクセル値のような、トーンマッピング関数を示すパラメータを復号する。トーン曲線パラメータ復号部1120は標準モジュールであることができ、あるいは、それはLDR復号部1110に含まれ得る。
【0059】
逆トーン曲線推定部1130は、ビットストリームから復号された量子化パラメータに基づき、ラグランジュ乗数のようなパラメータを推定し、例えば、式(4)を用いて、トーンマッピング曲線を生成する。逆トーンマッピング曲線に基づき、HDR画像生成部1140は、復号されたLDR画像をHDR画像に変換する。
【0060】
これより
図12を参照すると、データ送信システム又は装置1200が示されている。そのシステム又は装置1200には、上述された機構及び原理が適用されてよい。データ送信システム又は装置1200は、例えば、様々な媒体、例えば、衛星、ケーブル、電話回線、又は地上放送、のいずれかを用いて信号を送信するヘッドエンド又は送信システムであってよい。データ送信システム又は装置1200はまた、あるいは代替的に、例えば、記憶のために信号を提供するのに使用されてよい。送信は、インターネット又は何らかの他のネットワークを介して提供されてよい。データ送信システム又は装置1200は、例えば、ビデオコンテンツ及び他のコンテンツを生成し配信することが可能である。
【0061】
データ送信システム又は装置1200は、処理されたデータ及び他の情報をプロセッサ1201から受ける。1つの実施において、プロセッサ1201はHDR画像をLDR画像に変換する。データ送信システム又は装置1200は、符号器1202と、符号化された信号を送信することができる送信器1204とを有する。符号器1202は、データ情報をプロセッサ1201から受ける。符号器1202は、符号化された信号を生成する。いくつかの実施において、符号器1202はプロセッサ1201を含み、従って、プロセッサ1201の動作を実施する。
【0062】
送信器1204は、符号化された信号を符号器1202から受信し、符号化された信号を1つ以上の出力信号において送信する。送信器1204は、例えば、符号化されたピクチャ及び/又はそれに関連した情報を表す1つ以上のビットストリームを有するプログラム信号を送信するよう構成されてよい。典型的な送信器は、例えば、エラー訂正符号化を提供すること、データを信号においてインターリーブすること、エネルギを信号においてランダム化すること、及び変調器1206を用いて信号を1つ以上のキャリアに変調すること、のうちの1つ以上のような機能を実施する。送信器1204は、アンテナ(図示せず。)を含むか、あるいは、それとインターフェイス接続してよい。更には、送信器1204の実施は、変調器1206に制限されなくてよい。
【0063】
データ送信システム又は装置1200はまた、記憶部1208へ通信上結合されている。1つの実施において、記憶部1208は符号器1202へ結合されており、符号器1202からの符号化されたビットストリームを記憶する。他の実施において、記憶部1208は送信器1204へ結合されており、送信器1204からのビットストリームを記憶する。送信器1204からのビットストリームは、例えば、送信器1204によって更に処理されている1つ以上の符号化されたビットストリームを含んでよい。記憶部1208は、異なる実施において、標準DVD、ブルーレイディスク、ハードドライブ、何らかの他の記憶デバイスの1つ以上である。
【0064】
これより
図13を参照すると、データ受信システム又は装置1300が示されている。そのシステム又は装置1300には、上述された機構及び原理が適用されてよい。データ受信システム又は装置1300は、例えば、記憶デバイス、衛星、ケーブル、電話回線、又は地上放送のような、様々な媒体を介して信号を受信するよう構成されてよい。信号は、インターネット又は何らかの他のネットワークを介して受信されてよい。
【0065】
データ受信システム又は装置1300は、例えば、携帯電話機、コンピュータ、セットトップボックス、テレビ受信機、又は符号化されたビデオを受けて、例えば、復号されたビデオ信号を表示(例えば、ユーザへの表示)のために、処理のために、又は記憶のために提供する他のデバイスであってよい。よって、データ受信システム又は装置1300は、その出力を、例えば、テレビ受信機のスクリーン、コンピュータのモニタ、コンピュータ(記憶、処理又は表示のため。)、又は何らの他の記憶、処理若しくは表示デバイスへ供給してよい。
【0066】
データ受信システム又は装置1300は、例えば、本願の実施において記載された信号のような、符号化された信号を受信する受信器1302を有する。受信器1302は、例えば、
図12のデータ送信システム1200から出力された信号を受信してよい。
【0067】
受信器1302は、例えば、符号化されたピクチャを表す複数のビットストリームを有するプログラム信号を受信するよう構成されてよい。典型的な受信器は、例えば、変調及び符号化されたデータ信号を受信すること、復調器1304を用いて1つ以上のキャリアからデータ信号を復調すること、信号においてエネルギをデランダマイズすること、信号においてデータをデインターリーブすること、及び信号をエラー訂正復号すること、のうちの1つ以上のような機能を実施する。受信器1302は、アンテナ(図示せず。)を含むか、あるいは、それとインターフェイス接続してよい。更には、受信器1302の実施は、復調器1304に制限されなくてよい。
【0068】
データ受信システム又は装置1300は復号器1306を有する。受信器1302は、受信された信号を復号器1306へ供給する。受信器1302によって復号器1306へ供給された信号は、1つ以上の符号化されたビットストリームを含んでよい。復号器1306は、例えば、ビデオ情報を含む復号されたビデオ信号のような、復号された信号を出力する。復号器1306は、例えば、
図11に記載された復号器1100であってよい。
【0069】
データ受信システム又は装置1300はまた、記憶部1307へ通信上結合されている。1つの実施において、記憶部1307は、受信器1302へ結合されており、受信器1302は、記憶部1307のビットストリームにアクセスする。他の実施において、記憶部1307は、復号器1306へ結合されており、復号器1306は、記憶部1307のビットストリームにアクセスする。記憶部1307からアクセスされたビットストリームは、異なる実施において、1つ以上の符号化されたビットストリームを含む。記憶部1307は、異なる実施において、標準DVD、ブルーレイディスク、ハードドライブ、何らかの他の記憶デバイスの1つ以上である。
【0070】
復号器1306からの出力データは、1つの実施において、プロセッサ1308へ供給される。いくつかの実施において、復号器1306はプロセッサ1308を含み、従って、プロセッサ1308の動作を実施する。他の実施において、プロセッサ1308は、例えば、セットトップボックス又はテレビ受信機のような、下流のデバイスの部分である。
【0071】
ここで記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において、実装されてよい。たとえ1つの実施形態に関してしか議論されない(例えば、方法としてしか議論されない)としても、議論されている特徴の実施は、他の形態(例えば、装置又はプログラム)でも実装されてよい。装置並びにそれに含まれている構成要素、例えば、プロセッサ、符号器及び復号器は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装されてよい。方法は、例えば、プロセッサのような装置において実施されてよい。プロセッサは、処理デバイス全般を指し、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能な論理デバイスを含む。プロセッサは、例えば、コンピュータ、携帯電話機、ポータブル/パーソナルデジタルアシスタント(“PDA”)、及びエンドユーザ間の情報のやり取りを助ける他のデバイスのような、通信デバイスを更に含む。
【0072】
本原理の「一実施形態」若しくは「実施形態」又は「1つの実施」若しくは「実施」との言及、並びにそれらの他の変形物は、実施形態に関連して記載されている特定の機能、構造、特性、などが、本原理の少なくとも1つの実施形態に含まれることを意味する。よって、明細書の全体を通じて様々な場所に現れる「一実施形態において」若しくは「実施形態において」又は「1つの実施において」若しくは「実施において」との表現並びにあらゆる他の変形物の出現は、必ずしも全てが同じ実施形態に言及しているわけではない。
【0073】
加えて、本願又はその特許請求の範囲は、様々な情報片を“決定する”ことに言及してよい。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又はメモリから情報を取り出すこと、のうちの1つ以上を含んでよい。
【0074】
更には、本願又はその特許請求の範囲は、様々な情報片に“アクセスする”ことに言及してよい。情報にアクセスすることは、例えば、情報を受け取ること、情報を(例えば、メモリから)取り出すこと、情報を記憶すること、情報を処理すること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定すること、のうちの1つ以上を含んでよい。
【0075】
加えて、本願又はその特許請求の範囲は、様々な情報を“受け取る”ことに言及してよい。受け取ることは、“アクセスする”ことと同様に、広義な語であるよう意図される。情報を受け取ることは、例えば、情報にアクセスすること、又は情報を(例えば、メモリから)取り出すこと、のうちの1つ以上を含んでよい。更には、“受け取る”ことは、通常は、1つの方法又は他において、例えば、情報を記憶すること、情報を処理すること、情報を送ること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定することのような動作の間に、関係している。
【0076】
当業者に明らかなように、実施は、情報(例えば、記憶又は送信され得る情報)を搬送するようフォーマットされた様々な信号を生成してよい。情報は、例えば、方法を実施する命令、又は記載されている実施の1つによって生成されたデータを含んでよい。例えば、信号は、記載された実施形態のビットストリームを搬送するようフォーマットされてよい。そのような信号は、例えば、電磁波として(例えば、スペクトル無線周波数部分を使用する。)、あるいは、ベースバンド信号として、フォーマットされてよい。フォーマッティングは、例えば、データストリームを符号化し、符号化されたデータストリームによりキャリアを変調することを含んでよい。信号が運ぶ情報は、例えば、アナログ又はデジタルの情報であってよい。信号は、知られているような多種多様な有線若しくは無線リンクにわたって送信されてよい。信号は、プロセッサ可読媒体において記憶されてよい。
上記の実施形態に加えて、以下の付記を開示する。
(付記1)
高ダイナミックレンジ(HDR)画像を復号する方法であって、
前記HDR画像が含まれているビットストリームにアクセスするステップと、
前記ビットストリームから低ダイナミックレンジ(LDR)画像を復号するステップと、
前記ビットストリームからの情報にアクセスするステップであって、該アクセスされた情報は、前記LDR画像を符号化するために使用されるパラメータを含む、前記情報にアクセスするステップと、
前記アクセスされたパラメータに応じて前記LDR画像から前記HDR画像を生成するステップと
を有する方法。
(付記2)
前記アクセスされた情報は、逆トーンマッピング関数を示し、
当該方法は、前記アクセスされた情報に応じて前記逆トーンマッピング関数を生成するステップを更に有し、
前記HDR画像を生成することは、前記逆トーンマッピング関数に応答する、
付記1に記載の方法。
(付記3)
前記アクセスされたパラメータは、量子化パラメータである、
付記1に記載の方法。
(付記4)
前記アクセスされた情報は、復号される前記HDR画像に対応する原HDR画像のダイナミックレンジを示すパラメータを含む、
付記1に記載の方法。
(付記5)
前記アクセスされた情報は、復号される前記HDR画像に対応する原HDR画像の確率分布関数を示すパラメータを更に含む、
付記1に記載の方法。
(付記6)
高ダイナミックレンジ(HDR)画像を符号化する方法であって、
前記HDR画像及び少なくとも1つの符号化パラメータに応じてトーンマッピング関数を決定するステップと、
前記トーンマッピング関数に応じて前記HDR画像からLDR画像を決定するステップと、
前記決定されたLDR画像と、前記決定されたトーンマッピング関数を示す情報とを符号化するステップであって、前記少なくとも1つの符号化パラメータは、前記LDR画像を符号化するために使用される、前記符号化するステップと
を有する方法。
(付記7)
前記少なくとも1つの符号化パラメータは、量子化パラメータを含む、
付記6に記載の方法。
(付記8)
前記トーンマッピング関数を決定するステップは、前記量子化パラメータに応じてラグランジュ乗数を決定することを有する、
付記7に記載の方法。
(付記9)
前記トーンマッピング関数を決定するステップは、前記HDR画像のダイナミックレンジ及び前記HDR画像の確率分布関数のうちの少なくとも1つを決定することを有する、
付記6に記載の方法。
(付記10)
前記トーンマッピング関数を決定するステップは、レートひずみ関数に応答する、
付記6に記載の方法。
(付記11)
高ダイナミックレンジ(HDR)画像を復号する装置であって、
前記HDR画像が含まれているビットストリームから低ダイナミックレンジ(LDR)画像を復号するよう構成される復号器と、
前記ビットストリームからの情報にアクセスするよう構成されるプロセッサであって、該アクセスされた情報は、前記LDR画像を符号化するために使用されるパラメータを含む、前記プロセッサと、
前記アクセスされたパラメータに応じて前記LDR画像から前記HDR画像を生成するよう構成されるHDR画像生成器と
を有する装置。
(付記12)
前記アクセスされた情報は、逆トーンマッピング関数を示し、
当該装置は、前記アクセスされた情報に応じて前記逆トーンマッピング関数を生成するよう構成される逆トーン曲線推定器を更に有し、
前記HDR画像生成器は、前記逆トーンマッピング関数に応答して前記HDR画像を生成するよう構成される、
付記11に記載の装置。
(付記13)
前記アクセスされたパラメータは、量子化パラメータである、
付記12に記載の装置。
(付記14)
前記アクセスされた情報は、復号される前記HDR画像に対応する原HDR画像のダイナミックレンジを示すパラメータを含む、
付記12に記載の装置。
(付記15)
前記アクセスされた情報は、復号される前記HDR画像に対応する原HDR画像の確率分布関数を示すパラメータを更に含む、
付記12に記載の装置。
(付記16)
高ダイナミックレンジ(HDR)画像を符号化する装置であって、
前記HDR画像及び少なくとも1つの符号化パラメータに応じてトーンマッピング関数を決定するよう構成されるトーン曲線推定器と、
前記トーンマッピング関数に応じて前記HDR画像からLDR画像を決定するよう構成されるLDR画像生成器と、
前記決定されたLDR画像と、前記決定されたトーンマッピング関数を示す情報とを符号化するよう構成されるプロセッサであって、前記少なくとも1つの符号化パラメータは、前記LDR画像を符号化するために使用される、前記プロセッサと
を有する装置。
(付記17)
前記少なくとも1つの符号化パラメータは、量子化パラメータを含む、
付記16に記載の装置。
(付記18)
前記トーン曲線推定器は、前記量子化パラメータに応じてラグランジュ乗数を決定する、
付記17に記載の装置。
(付記19)
前記トーン曲線推定器は、前記HDR画像のダイナミックレンジ及び前記HDR画像の確率分布関数のうちの少なくとも1つを決定する、
付記16に記載の装置。
(付記20)
前記トーン曲線推定器は、レートひずみ関数に応答して前記トーンマッピング関数を決定する、
付記16に記載の装置。
(付記21)
付記1乃至10に従って、高ダイナミックレンジ(HDR)画像を符号化又は復号する命令を記憶しているコンピュータ可読記憶媒体。
(付記22)
付記6乃至10に従って生成されたビットストリームを記憶しているコンピュータ可読記憶媒体。
【0077】
[関連出願の相互参照]
本願は、2014年2月26日付けで出願された欧州特許出願第14305266号及び2014年4月1日付けで出願された欧州特許出願第14305480号の優先権を主張する。これらの特許出願は、その全文を参照により本願に援用される。