特許 6937781 高ダイナミックレンジ画像を符号化ビットストリームへ符号化／復号する方法と装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6937781

(24)【登録日】2021年9月2日

(45)【発行日】2021年9月22日

(54)【発明の名称】高ダイナミックレンジ画像を符号化ビットストリームへ符号化／復号する方法と装置

(51)【国際特許分類】

   H04N 19/85 20140101AFI20210909BHJP

   H04N 19/46 20140101ALI20210909BHJP

【ＦＩ】

   H04N19/85

   H04N19/46

【請求項の数】10

【全頁数】23

(21)【出願番号】特願2018-556989(P2018-556989)

(86)(22)【出願日】2017年4月25日

(65)【公表番号】特表2019-515562(P2019-515562A)

(43)【公表日】2019年6月6日

(86)【国際出願番号】EP2017059791

(87)【国際公開番号】WO2017190985

(87)【国際公開日】20171109

【審査請求日】2020年3月11日

(31)【優先権主張番号】16305525.4

(32)【優先日】2016年5月4日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】フランソワ，エドワール

(72)【発明者】

【氏名】セリエ，フランソワ

(72)【発明者】

【氏名】トゥゼ，デイビッド

(72)【発明者】

【氏名】ツァイ，カンイン

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 K. Minoo et al.，Description of the reshaper parameters derivation process in ETM reference software，Joint Collaborative Team on Video Coding (JCT-VC)，2016年01月11日，[JCTVC-W0031] (version 1)

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

符号化ビットストリームから少なくとも１つの高ダイナミックレンジ画像を復号する方法であって、
−前記符号化ビットストリームから標準ダイナミックレンジ画像を復号することと、
−前記符号化ビットストリームから、調整関数ｆ_ａｄｊを表すピボット点の集合を復号することと、
−所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を選択することと、
−調整された色補正関数ｂ_ａｄｊを定め、前記選択された所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を調整することと、
−前記復号された標準ダイナミックレンジ画像と前記調整された色補正関数ｂ_ａｄｊから、前記標準ダイナミックレンジとは異なるダイナミックレンジを有する前記高ダイナミックレンジ画像を再構築することと、を含み、
少なくとも１つの前処理色補正関数ｂ_０を使用することにより、前記高ダイナミックレンジ画像は前記標準ダイナミックレンジ画像に分解され、
前記前処理色補正関数ｂ_０から後処理色補正関数ｂ_ｐが定められ、
前記所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を使用することにより、前記高ダイナミックレンジ画像の所定色が補正され、
前記調整された色補正関数ｂ_ａｄｊは、次式：１／ｂ_ａｄｊ［Ｙ］＝ｆ_ａｄｊ［Ｙ］×（１／ｂ_{ｐ＿ｄｅｆａｕｌｔ}［Ｙ］）、ここでＹは輝度値である、により定められ、
前記調整関数ｆ_ａｄｊは、１／ｂ_ｐと１／ｂ_ａｄｊ間の誤差の最小化を実行することにより定められる、方法。

【請求項2】

少なくとも１つの高ダイナミックレンジ画像を符号化ビットストリームに符号化する方法であって、
−少なくとも１つの前処理色補正関数ｂ_０を使用することにより、前記高ダイナミックレンジ画像を標準ダイナミックレンジ画像に分解することと、
−前記前処理色補正関数ｂ_０から後処理色補正関数ｂ_ｐを定めることと、
−所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を選択することと、
−前記所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を調整するのに使用される調整関数ｆ_ａｄｊと調整された色補正関数ｂ_ａｄｊとを定めることと、
−前記定められた調整関数ｆ_ａｄｊを表すピボット点の集合を前記符号化ビットストリームに符号化することと、
−前記高ダイナミックレンジとは異なるダイナミックレンジを有する前記標準ダイナミックレンジ画像を前記符号化ビットストリームに符号化することと、を含み、
所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を使用することにより、前記高ダイナミックレンジ画像の所定色が補正され、
前記調整された色補正関数ｂ_ａｄｊは、次式：１／ｂ_ａｄｊ［Ｙ］＝ｆ_ａｄｊ［Ｙ］×（１／ｂ_{ｐ＿ｄｅｆａｕｌｔ}［Ｙ］）、ここでＹは輝度値である、により定められ、
前記調整関数ｆ_ａｄｊは、１／ｂ_ｐと１／ｂ_ａｄｊ間の誤差の最小化を実行することにより定められる、方法。

【請求項3】

符号化ビットストリームから少なくとも１つの高ダイナミックレンジ画像を復号する装置であって、
−前記符号化ビットストリームから標準ダイナミックレンジ画像を復号し、
−前記符号化ビットストリームから、調整関数ｆ_ａｄｊを表すピボット点の集合を復号し、
−所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を選択し、
−調整された色補正関数ｂ_ａｄｊを定め、前記選択された所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を調整し、
−前記復号された標準ダイナミックレンジ画像と前記調整された色補正関数ｂ_ａｄｊから、前記標準ダイナミックレンジとは異なるダイナミックレンジを有する前記高ダイナミックレンジ画像を再構築するように構成された少なくとも１つのプロセッサを含み、
少なくとも１つの前処理色補正関数ｂ_０を使用することにより、前記高ダイナミックレンジ画像は前記標準ダイナミックレンジ画像に分解され、
前記前処理色補正関数ｂ_０から後処理色補正関数ｂ_ｐが定められ、
前記所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を使用することにより、前記高ダイナミックレンジ画像の所定色が補正され、
前記調整された色補正関数ｂ_ａｄｊは、次式：１／ｂ_ａｄｊ［Ｙ］＝ｆ_ａｄｊ［Ｙ］×（１／ｂ_{ｐ＿ｄｅｆａｕｌｔ}［Ｙ］）、ここでＹは輝度値である、により定められ、
前記調整関数ｆ_ａｄｊは、１／ｂ_ｐと１／ｂ_ａｄｊ間の誤差の最小化を実行することにより定められる、装置。

【請求項4】

少なくとも１つの高ダイナミックレンジ画像を符号化ビットストリームに符号化する装置であって、
−少なくとも１つの前処理色補正関数ｂ_０を使用することにより、前記高ダイナミックレンジ画像を標準ダイナミックレンジ画像に分解し、
−前記前処理色補正関数ｂ_０から後処理色補正関数ｂ_ｐを定め、
−所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を選択し、
−前記所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を調整するのに使用される調整関数ｆ_ａｄｊと調整された色補正関数ｂ_ａｄｊとを定め、
−前記定められた調整関数ｆ_ａｄｊを表すピボット点の集合を前記符号化ビットストリームに符号化し、
−前記高ダイナミックレンジは異なるダイナミックレンジを有する前記標準ダイナミックレンジ画像を前記符号化ビットストリームに符号化する、ように構成された少なくとも１つのプロセッサを含み、
所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を使用することにより、前記高ダイナミックレンジ画像の所定色が補正され、
前記調整された色補正関数ｂ_ａｄｊは、次式：１／ｂ_ａｄｊ［Ｙ］＝ｆ_ａｄｊ［Ｙ］×（１／ｂ_{ｐ＿ｄｅｆａｕｌｔ}［Ｙ］）、ここでＹは輝度値である、により定められ、
前記調整関数ｆ_ａｄｊは、１／ｂ_ｐと１／ｂ_ａｄｊ間の誤差の最小化を実行することにより定められる、装置。

【請求項5】

プロセッサにより実行されると請求項１に記載の方法を実行するためのソフトウェアコード命令を含むコンピュータプログラム。

【請求項6】

請求項３に記載の復号装置を内蔵する電子装置。

【請求項7】

モバイル装置、通信装置、ゲーム装置、セットトップボックス、テレビセット、タブレット、ラップトップ、ディスプレイおよび復号チップからなる群から選択された請求項６に記載の電子装置。

【請求項8】

請求項４に記載の符号化装置を内蔵する電子装置。

【請求項9】

モバイル装置、通信装置、ゲーム装置、タブレット、ラップトップ、静止画カメラ、ビデオカメラ、符号化チップ、静止画サーバ、およびビデオサーバからなる群から選択された請求項８に記載の電子装置。

【請求項10】

プロセッサにより実行されると請求項２に記載の方法を実行するためのソフトウェアコード命令を含むコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

１．技術分野
本開示は一般的には、画像／ビデオ符号化および復号に関する。本開示の技術分野は、特に、しかし排他的でなく、その画素値が高ダイナミックレンジに属する画像の符号化／復号に関する。

【背景技術】

【0002】

２．背景技術
以下では、カラー画像は、画像（またはビデオ）の画素値に関係するすべての情報と例えば画像（またはビデオ）を視覚化および／または復号するためのディスプレイおよび／または任意の他の装置により使用され得るすべての情報とを規定する特定画像／ビデオフォーマットのいくつかの配列のサンプル（画素値）を含む。カラー画像は、第１の配列のサンプルの形状の少なくとも１つの成分（通常は、輝度（lumaまたはluminance）成分）と、少なくとも１つの他の配列のサンプルの形状の少なくとも１つの他の成分とを含む。または、等価的に、同情報はまた、伝統的三色ＲＧＢ表現などの一組の配列のカラーサンプル（カラー成分）により表され得る。

【0003】

画素値はｃ個の値のベクトルにより表され、ｃは成分の数である。ベクトルの各値は、画素値の最大ダイナミックレンジを規定するビット数により表される。

【0004】

標準ダイナミックレンジ画像（ＳＤＲ（Standard-Dynamic-Range）画像）は、その輝度値が２のべき乗（すなわちｆ値）で通常は測定される限定的ダイナミックレンジで表されるカラー画像である。ＳＤＲ画像は、約１０のｆ値（すなわち線形領域における最も明るい画素と最も暗い画素との比１０００）のダイナミックレンジを有する。ＳＤＲ画像は、ダイナミックレンジを低減するために例えばITU-R BT.709 OETF(Optico-Electrical-Transfer-Function)(Rec.ITU-R BT.709-5,April 2002)またはITU-R BT.2020 OETF(Rec.ITU-R BT.2020-1,June 2014)を使用することにより非線形領域では限定数（ＨＤＴＶ（ハイビジョンシステム）およびＵＨＤＴＶ（超高解像度テレビシステム）ではほとんどの場合８または１０個）のビットで符号化される。この限定された非線形表現は、特に暗い輝度範囲および明るい輝度範囲における小さな信号変動の正しい描写を可能にしない。高ダイナミックレンジ画像（ＨＤＲ画像）では、信号ダイナミックレンジははるかに高く（最大２０のｆ値、最も明るい画素と最も暗い画素との間で１００万の比）、新しい非線形表現が、その全範囲にわたって信号の高精度を維持するために必要である。ＨＤＲ画像では、生データは通常、浮動小数点形式（成分毎に３２ビットまたは１６ビットのいずれか、すなわち浮動または半浮動）で表され、最も人気のあるフォーマットは、ｏｐｅｎＥＸＲ半浮動フォーマット（ＲＧＢ成分当たり１６ビット、すなわち４８ビット／画素）である、または長い表現（典型的には少なくとも１６ビット）を有する整数である。

【0005】

色域（color gamut）は１つの完全な組の色である。最も一般的な使用は、所与の色空間内などの所与の状況において、またはある出力装置により精確に表され得る一組の色を指す。

【0006】

色域は時に、図８に示すようなＣＩＥ１９３１色空間色度図において提供されるＲＧＢ原色と白色点とにより定義される。

【0007】

所謂ＣＩＥ１９３１色空間色度図では原色を定義することが一般的である。これは、輝度成分上で色を独立に定義する２次元図（ｘ，ｙ）である。次に、任意の色ＸＹＺが次式の変換のおかげでこの図内に投影される：

【数1】

【0008】

ｚ＝１−ｘ−ｙ成分も定義されるが、いかなる追加情報も担持しない。

【0009】

全域（gamut）は、その頂点が三原色ＲＧＢの一組の（ｘ，ｙ）座標である三角形によりこの図では定義される。白色点Ｗは、三角形に属する別の所与（ｘ，ｙ）点（通常三角形中心に近い）である。例えば、Ｗは三角形の中心として定義され得る。

【0010】

カラーボリュームは色空間と前記色空間内に表された値のダイナミックレンジとにより定義される。

【0011】

例えば、色域はＵＨＤＴＶのＲＧＢ ＩＴＵ−Ｒ勧告ＢＴ．２０２０色空間により定義される。より古い標準規格（ＩＴＵ−Ｒ勧告ＢＴ．７０９）はＨＤＴＶのより小さな色域を定義する。ＳＤＲでは、ダイナミックレンジは、データが符号化されるカラーボリュームについて最大１００ｎｉｔ（カンデラ／平方メートル）まで公式に定義される。但し、いくつかの表示技術はより明るい画素を示し得る。

【0012】

高ダイナミックレンジ画像（ＨＤＲ画像）は、その輝度値がＳＤＲ画像のダイナミックレンジより高いＨＤＲダイナミックレンジにより表されるカラー画像である。

【0013】

Danny Pascaleによる「A Review of RGB Color Spaces」により広範に説明されるように、全域の変更（すなわち三原色と白色点とを全域から別の全域へとマッピングする変換）は線形ＲＧＢ色空間において３×３行列を使用することにより行われ得る。また、ＸＹＺからＲＧＢへの空間の変更は３×３行列により行われる。結果として、色空間がＲＧＢであろうとＸＹＺであろうと、全域の変更は３×３行列により行われ得る。例えば、ＢＴ．２０２０線形ＲＧＢからＢＴ．７０９ ＸＹＺへの全域変更は３×３行列により行われ得る。

【0014】

ＨＤＲダイナミックレンジは標準規格により未だ定義されていないが、最大数千ｎｉｔまでのダイナミックレンジが期待され得る。例えば、ＨＤＲカラーボリュームはＲＧＢ ＢＴ．２０２０色空間により定義され、前記ＲＧＢ色空間において表される値は０〜４０００ｎｉｔのダイナミックレンジに属する。ＨＤＲカラーボリュームの別の例はＲＧＢ ＢＴ．２０２０色空間により定義され、前記ＲＧＢ色空間において表される値は０〜１０００ｎｉｔのダイナミックレンジに属する。

【0015】

画像（またはビデオ）を色等級付けすることは、画像（またはビデオ）の色を変更／強化する処理である。通常、画像を色等級付けすることは、カラーボリューム（色空間および／またはダイナミックレンジ）の変更または当該画像に対する色域の変更を含む。したがって、同じ画像の２つの異なる色等級付けバージョンは、その値が異なるカラーボリューム（または色域）において表される当該画像のバージョン、またはそれらの色のその少なくとも１つが異なる色等級に従って変更／強化された画像のバージョンである。これはユーザ相互作用を含み得る。

【0016】

例えば、映画製作において、画像およびビデオは、三色カメラを使用することにより３つの成分（赤、緑、および青）で構成されたＲＧＢ色値内へ捕捉される。ＲＧＢ色値はセンサの三色特性（原色）に依存する。次に、捕捉された画像の第１の色等級付けバージョンが、劇場的描写を得るために取得される（特定劇場等級を使用して）。通常、捕捉画像の第１の色等級付けバージョンの値は、ＵＨＤＴＶのパラメータ値を定義するＢＴ．２０２０などの標準化ＹＵＶフォーマットに従って表される。

【0017】

ＹＵＶフォーマットは典型的には、非線形関数（非線形成分Ｒ’Ｇ’Ｂ’を取得するために線形ＲＧＢ成分へ所謂光学電子伝達関数（ＯＥＴＦ：Optical Electronic Transfer Function））を適用し、次に３つの成分ＹＵＶを取得するために色変換（通常３×３行列）を取得非線形Ｒ’Ｇ’Ｂ’成分へ適用することにより行われる。第１の成分Ｙは輝度成分であり、２つの成分Ｕ、Ｖは色成分である。

【0018】

次に、カラリストは通常は撮影監督と協力して、芸術的意図を埋め込むためにいくつかの色値を微調整することにより、捕捉画像の第１の色等級付けバージョンの色値に対し制御を実行する。

【0019】

例えば標準規格ＨＥＶＣなどの既知のＭＰＥＧビデオ符号器はＨＤＲ（高ダイナミックレンジ）ビデオと互換性が無い。さらに、多くのディスプレイ／端末はＨＤＲビデオと互換性が無い。

【0020】

圧縮されたＨＤＲビデオを多種多様のディスプレイ／端末へ分配するために、そして既知のビデオ符号化ツール（ＭＰＥＧビデオ符号化標準規格などの）を使用することを可能にするために、ＨＤＲビデオは、ＳＤＲビデオからのＨＤＲビデオの再構築を可能にするより限定されたダイナミックレンジと一組のパラメータとを有するＨＤＲを表すＳＤＲビデオとして分配される。このようなシステムでは、ＳＤＲビデオは、標準規格ＨＥＶＣ Ｍａｉｎ １０プロファイルなどの既知ツールを使用して圧縮される。

【0021】

符号化側では、ＨＤＲビデオは、最初にＳＤＲビデオに分解され、このような分解は、ＨＤＲビデオを復号ＳＤＲビデオから復号器においてまたはディスプレイレベルにおいて再構築するのに好適な一組のパラメータを配送する。このような一組のパラメータは、典型的にはＨＥＶＣ標準規格のＳＥＩ（Supplemental Enhancement Information）メッセージなどの任意選択シンタックスメッセージ内で圧縮ＳＤＲビデオと共へ符号化され得る。図３は、ＨＤＲ画像のＨＤＲ−ｔｏ−ＳＤＲ分解を描写する。ＨＤＲ−ｔｏ−ＳＤＲ分解処理は、入力線光４：４：４ ＨＤＲ画像をＳＤＲ互換バージョンへ（また４：４：４フォーマットで）変換することを目的とする。このような処理は、ＨＤＲおよびＳＤＲ画像のコンテナのマスタリング表示ピーク輝度、三原色、色域などのサイド情報を使用する。このようなサイド情報は画像またはビデオの特性から判断される。ＨＤＲ−ｔｏ−ＳＤＲ分解処理は、高品質再構築ＨＤＲ信号を保証する可逆処理を使用することにより入力ＨＤＲ信号からＳＤＲ後方互換バージョンを生成する。

【0022】

工程Ｅ３０では、入力ＨＤＲ画像とその特性（サイド情報）から、マッピング変数が導出される。このようなマッピングパラメータ導出工程は、ＨＤＲ画像の線光輝度値をＳＤＲ型輝度値へマッピングすることを可能にする輝度マッピング関数ＬＵＴ_ＴＭ（ルックアップテーブル）を提供する。

【0023】

工程Ｅ３１では、次に、輝度信号は、輝度マッピング変数を使用することにより、ＳＤＲ輝度信号へマッピングされる。すなわち、入力ＨＤＲ画像の画素毎に、輝度Ｌは、画素のＨＤＲ線光Ｒ、Ｇ、Ｂ値と、次のように輝度マッピング関数とから導出される：

【数2】

ここで、Ａ＝［Ａ_１ Ａ_２ Ａ_３］^Ｔは従来の３×３Ｒ’Ｇ’Ｂ’−ｔｏ−Ｙ’ＣｂＣｒ変換行列（例えば色空間に応じてＢＴ．２０２０またはＢＴ．７０９）であり、Ａ_１、Ａ_２、Ａ_３は１×３行列である。

【0024】

線光輝度Ｌは、輝度マッピング関数を使用することにより次式のようにＳＤＲ的輝度Ｙ_ｐｒｅ０へマッピングされる：Ｙ_ｐｒｅ０＝ＬＵＴ_ＴＭ（Ｌ）。

【0025】

工程Ｅ３２では、ＳＤＲ信号の色度成分を導出するための色のマッピングが適用される。色度成分Ｕ_ｐｒｅ０、Ｖ_ｐｒｅ０は以下のように構築される：

【0026】

平方根を使用する疑似ガンマ化（ＢＴ．７０９ ＯＥＴＦに近い）が画素のＲＧＢ値へ適用される。

【数3】

【0027】

次に、Ｕ_ｐｒｅ０およびＶ_ｐｒｅ０の値は次式のように導出される。

【数4】

【0028】

この工程は、入力ＨＤＲ信号と比較される色相および彩度の変化である全域シフトを生じる。このような全域シフトは色域補正の工程Ｅ３４により補正される。工程Ｅ３４では、色度成分値は次式のように補正される：

【数5】

ここで、Ａ_２、Ａ_３は、Ｒ’Ｇ’Ｂ’−ｔｏ−Ｙ’ＣｂＣｒ変換行列の係数の第２および第３ラインからなり、ｂ_０は前処理色補正ＬＵＴ（ルックアップテーブルの）である。

【0029】

輝度成分は次式のように補正される：Ｙ_ｐｒｅ１＝Ｙ_ｐｒｅ０−ｖ×ｍａｘ（０，ａ×Ｕ_ｐｒｅｌ＋ｂ×Ｖ_ｐｒｅｌ）、ここで、ａおよびｂは所定パラメータであり、ｖは彩度を制御することを可能にする制御パラメータである。値Ｙが高ければ高いほど、画像はより少なく飽和される。ＨＤＲ画像−ｔｏ−ＳＤＲ画像分解は、画素配列Ｙ_ｐｒｅ１ Ｕ_ｐｒｅ１ Ｖ_ｐｒｅ１を有する出力ＳＤＲ画像を生じる。

【0030】

ＨＤＲ再構築処理はＨＤＲ−ｔｏ−ＳＤＲ分解処理の逆である。図４はこのようなＨＤＲ再構築処理を示す。復号ＳＤＲ画像は、それぞれが画像の輝度および色度成分に対応する３つの配列の画素ＳＤＲ_ｙ、ＳＤＲ_Ｃｂ、ＳＤＲ_ｃｒを含む。ＨＤＲ再構築はＳＤＲ画像の画素毎に以下の工程を処理する。

【0031】

工程Ｅ４０では、値Ｕ_{ｐｏｓｔ１}およびＶ_{ｐｏｓｔ１}は、ＳＤＲ画像の画素（ｘ，ｙ）毎に次式のように導出される：

【数6】

ここで、ｍｉｄＳａｍｐｌｅＶａｌは所定シフト定数である。

【0032】

工程Ｅ４１では、ＳＤＲ画像の画素（ｘ，ｙ）の値Ｙ_{ｐｏｓｔ１}は次式のように導出される：
Ｙ_{ｐｏｓｔ１}＝ＳＤＲ_ｙ［ｘ］［ｙ］＋ｖ×ｍａｘ（０，ａ×Ｕ_{ｐｏｓｔ１}＋ｂ×Ｖ_{ｐｏｓｔ１}）
ここで、ａおよびｂは同じ所定パラメータであり、ｖは、分解処理におけるものと同様に、彩度を制御することを可能にする制御パラメータである。したがって、このようなパラメータは再構築モジュールへ知らされるべきである。このようなパラメータは、圧縮ＳＤＲ画像と共に符号化されたＨＤＲパラメータの一部であり得る、または復号器において予め定義される。

【0033】

このような工程は恐らく、レガシー信号範囲外となるのを回避する為のクリッピングが続き得る。

【0034】

工程Ｅ４２では、色補正が行われる。工程Ｅ４２では、Ｕ_{ｐｏｓｔ１}およびＶ_{ｐｏｓｔ１}は次式のように修正される：

【数7】

ここで、ｂ_ｐは、前処理色補正ＬＵＴ ｂ_０に直接依存する後処理色補正ＬＵＴである。

【0035】

後処理色補正ＬＵＴ ｂ_ｐは次式により定められ得る：

【数8】

ここで、Ｋは一定値であり、ＬはＬ＝ｉｎｖＬＵ_ＴＭ［Ｙ］から導出される線光輝度であり、ｉｎｖＬＵＴ_ＴＭはＬＵＴ_ＴＭの逆関数であり、ＹはＳＤＲ信号の輝度値である。

【0036】

工程Ｅ４３では、画素のＲＧＢ（ＨＤＲ_Ｒ，ＨＤＲ_Ｇ，ＨＤＲ_Ｂ）値が再構築される。工程Ｅ４３では、値Ｔは次式のように導出される：
Ｔ＝ｋ０×Ｕ_{ｐｏｓｔ１}×Ｖ_{ｐｏｓｔ１}＋ｋｌ×Ｕ_{ｐｏｓｔ１}×Ｕ_{ｐｏｓｔ１}＋ｋ２×Ｖ_{ｐｏｓｔ１}×Ｖ_{ｐｏｓｔ１}、ここで、ｋ０、ｋ１、ｋ２はＳＤＲ色域に依存する所定値である。次に、Ｓ０は０へ初期化され、以下の条件文が適用される：
−Ｔ≦１であれば、Ｓ０は Ｓｑｒｔ（１−Ｔ）に設定される
−そうでなければ、Ｕ_{ｐｏｓｔ１}およびＶ_{ｐｏｓｔ１}は次式のように修正される：

【数9】

【0037】

値Ｒ１、Ｇ１、Ｂ１は次式のように導出される。

【数10】

ここで、Ｍγ’_{ＣｂＣｒ−ｔｏ−Ｒ}’_Ｇ’_Ｂ’はＹ’ＣｂＣｒからＲ’Ｇ’Ｂ’への従来の変換行列である。

【0038】

工程Ｅ４４では、次に、ＨＤＲ画像からのＲＧＢ値がＳＤＲ ＲＧＢ値から再構築される。工程Ｅ４４では、値Ｒ２、Ｇ２、Ｂ２は次式のようにＲ１、Ｇ１、Ｂ１から導出される：

【数11】

ここで、ｉｎｖＬＵＴは、再構築モジュールへ送信された輝度マッピングパラメータから導出される逆ルックアップテーブルＬＵＴ_ＴＭの平方根に対応する。

【0039】

そして出力サンプルＨＤＲ_Ｒ、ＨＤＲ_Ｇ、ＨＤＲ_Ｂは次式のようにＲ２、Ｇ２、Ｂ２から導出される：

【数12】

【0040】

出力ＨＤＲ信号の範囲を制限するためにクリッピングが適用され得る。

【0041】

このような分解および再構築処理は式（式１）によりリンクされる前処理および後処理色補正関数ｂ_０およびｂ_ｐを利用するということが分かる。

【0042】

高忠実度ＨＤＲビデオ信号を表すＳＤＲビデオ信号を分配するために、前処理色補正ｂ_０の計算は、ＲＧＢ ＳＤＲ信号およびＲＧＢ ＨＤＲ信号間の再構築誤差の最小化により符号化側で行われる。このような最小化操作は、ビデオの画像毎に計算された彩度パラメータ（彩度スキュー）により制御され、導出ＳＤＲ信号の彩度を制御することを可能にする。したがって、前処理色補正関数ｂ_０としたがって後処理色補正関数ｂ_ｐはＨＤＲビデオの元のＨＤＲ画像に依存する。後処理色補正関数ｂ_ｐの同じ導出処理は復号器側において適用され得ない。

【0043】

その代り、復号器側において、一組の所定デフォルトＬＵＴ ｂ_{ｐ＿ｄｅｆａｕｌｔ}［ｋ］（ｋ＝１〜Ｎ）が使用される。例えば、１つのＬＵＴがトリプル（コンテナ色域、コンテンツ色域、ピーク輝度）毎に定義される。前処理側では、調整関数ｆ_ａｄｊは、ＬＵＴ ｂ_{ｐ＿ｄｅｆａｕｌｔ}［ｋ］を実際のＬＵＴ ｂ_ｐへ可能な限りマッピングするように、すなわち、ｂ_{ｐ＿ｃｏｄ}［Ｙ］＝ｆ_ａｄｊ［Ｙ］×ｂ_{Ｐ＿ｄｅｆａｕｉｔ}［ｋ］［Ｙ］ （式２）
がすべてのＹ値に関しｂ_ｐ［Ｙ］に可能な限り近くなるように構築され、ここで、ｂ_ｐは式１を使用することにより前処理色補正関数ｂ_０から導出される。

【0044】

符号化コストを制限するために、関数ｆ_ａｄｊは区分線形モデル（ＰＷＬ：piece-wise linear model）のピボット点を使用することによりモデル化される。これらのＰＷＬピボット点だけが符号化される。後処理工程では、これらの点が復号され得、関数ｆ_ａｄｊが構築され、ｂ_{ｐ＿ｃｏｄ} ＬＵＴは、式２を適用することにより、デフォルトＬＵＴ ｂ_{ｐ＿ｄｅｆａｕｌｔ}（符号化コンテンツ特性パラメータのおかげで識別される）とｆ_ａｄｊとから再構築される。

【0045】

ＬＵＴ ｂ_ｐは通常、関数Ａ／Ｙに近い形状を有し、Ａは定数であり、Ｙは図９に示すように輝度値である。図９は、正規化範囲のＹ値を有するＬＵＴ ｂ_ｐの例を示す。このような形状は小さなＹ値については大きな傾斜に至る。したがって、Ｙの小さな値についてのｆ_ａｄｊの小さな誤差はｂ_ｐの大きな誤差に至り得、したがって復号ＨＤＲ信号の質および忠実性再構築を劣化させる。

【0046】

したがって、圧縮された標準ダイナミックレンジ画像から再構築されたＨＤＲ画像の質を改善する必要性がある。

【発明の概要】

【課題を解決するための手段】

【0047】

３．概要
本原理の一態様によると、符号化ビットストリームから少なくとも１つの高ダイナミックレンジ画像を復号する方法が開示される。このような方法は：
−前記符号化ビットストリームから標準ダイナミックレンジ画像を復号する工程と、
−前記符号化ビットストリームから、調整関数ｆ_ａｄｊを表すピボット点の集合を復号する工程と、
−所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を選択する工程と、
−調整された色補正関数ｂ_ａｄｊを次式：１／ｂ_ａｄｊ［Ｙ］＝ｆ_ａｄｊ［Ｙ］×（ｌ／ｂ_{ｐ＿ｄｅｆａｕｌｔ}［Ｙ］）、ここでＹは輝度値である、より定める工程と、
−復号された標準ダイナミックレンジ画像と調整された色補正関数ｂ_ａｄｊとから高ダイナミックレンジ画像を再構築する工程と、を含む。

【0048】

この原理によると、再構築された高ダイナミックレンジ画像上の再構築誤差が制限される。復号器において使用される後処理色補正関数ｂ_ａｄｊは、所与の式を使用することにより実際の後処理色補正ｂ_ｐから最後にモデル化される。１／ｂ_ａｄｊの形状は、ＬＵＴ １／ｂ_ｐの形状と同様に直線に近い（Ｙ値の範囲全体にわたって一貫した傾斜を有する）。したがって、本原理は、Ｙ値の全範囲に沿った誤差を、この範囲に沿ったより一貫した振幅でもってより良く制御できるようにする。

【0049】

本開示の別の態様は、少なくとも１つの高ダイナミックレンジ画像を符号化ビットストリームへ符号化する方法である。前記方法は、
−少なくとも１つの前処理色補正関数ｂ_０を使用することにより前記高ダイナミックレンジ画像を標準ダイナミックレンジ画像に分解する工程と、
−前記前処理色補正関数ｂ_０から後処理色補正関数ｂ_ｐを定める工程と、
−所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を選択する工程と、
−前記所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を調整するために使用される調整関数ｆ_ａｄｊを次式：１／ｂ_ａｄｊ［Ｙ］＝ｆ_ａｄｊ［Ｙ］×（１／ｂ_{ｐ＿ｄｅｆａｕｌｔ}［Ｙ］）、ここでＹは輝度値である、により定め、調整された色補正関数ｂ_ａｄｊを提供する工程であって、前記調整関数ｆ_ａｄｊを定める工程は１／ｂ_ｐおよび１／ｂ_ａｄｊ間の誤差の最小化を実行することを含む工程と、
−前記定められた調整関数ｆ_ａｄｊを表すピボット点の集合を前記符号化ビットストリームへ符号化する工程と、
−前記標準ダイナミックレンジ画像を前記符号化ビットストリームへ符号化する工程と、を含む。

【0050】

本開示の別の態様は、符号化ビットストリームから少なくとも１つの高ダイナミックレンジ画像を復号する装置である。前記復号装置は：
−前記符号化ビットストリームから標準ダイナミックレンジ画像を復号する手段と、
−前記符号化ビットストリームから、調整関数ｆ_ａｄｊを表すピボット点の集合を復号する手段と、
−所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を選択する手段と、
−調整された色補正関数ｂ_ａｄｊを次式：１／ｂ_ａｄｊ［Ｙ］＝ｆ_ａｄｊ［Ｙ］×（１／ｂ_{ｐ＿ｄｅｆａｕｌｔ}［Ｙ］）、ここでＹは輝度値である、により定める手段と、
−復号された標準ダイナミックレンジ画像および調整された色補正関数ｂ_ａｄｊから高ダイナミックレンジ画像を再構築する手段と、を含む。

【0051】

本開示の別の態様は、少なくとも１つの高ダイナミックレンジ画像を符号化ビットストリームへ符号化する装置である。前記符号化装置は：
−前処理色補正関数ｂ_０を使用することにより、前記高ダイナミックレンジ画像を標準ダイナミックレンジ画像に分解する手段と、
−前記前処理色補正関数ｂ_０から後処理色補正関数ｂ_ｐを定める手段と、
−所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を選択する手段と、
−前記所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を調整するために使用される調整関数ｆ_ａｄｊを次式：１／ｂ_ａｄｊ［Ｙ］＝ｆ_ａｄｊ［Ｙ］×（１／ｂ_{ｐ＿ｄｅｆａｕｌｔ}［Ｙ］）、ここでＹは輝度値である、により定め、調整された色補正関数ｂ_ａｄｊを提供する手段と、
１／ｂ_ｐおよび１／ｂ_ａｄｊ間の誤差の最小化を実行することにより、
−前記定められた調整関数ｆ_ａｄｊを表すピボット点の集合を前記符号化ビットストリームへ符号化する手段と、
−前記標準ダイナミックレンジ画像を前記符号化ビットストリームへ符号化する手段と、を含む。

【0052】

本開示の別の態様は、プロセッサにより実行されると本原理の任意の実施形態による方法を実行するためのソフトウェアコード命令を含むコンピュータプログラムである。

【0053】

本開示の別の態様は、少なくとも１つの符号化高ダイナミックレンジ画像を表すビットストリームである。このようなビットストリームは：
−前記高ダイナミックレンジ画像から取得された少なくとも１つの標準ダイナミックレンジ画像を表す符号化データと、
−所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を調整し、調整された色補正関数ｂ_ａｄｊを提供するために使用される調整関数ｆ_ａｄｊを表すピボット点の集合であって、前記調整された色補正関数ｂ_ａｄｊは１／ｂ_ａｄｊ［Ｙ］＝ｆ_ａｄｊ［Ｙ］×（１／ｂ_{ｐ＿ｄｅｆａｕｌｔ}［Ｙ］）、ここでＹは輝度値であり、により定められ、前記調整された色補正関数ｂ_ａｄｊは、前記復号された標準ダイナミックレンジ画像から前記高ダイナミックレンジ画像を再構築するために使用される、ピボット点の集合を表す符号化データと、を含む。

【0054】

構築するために使用される、ビットストリームを格納した非一時的プロセッサ可読媒体が開示される。ビットストリームは：
−前記高ダイナミックレンジ画像から取得された少なくとも１つの標準ダイナミックレンジ画像を表す符号化データと、
−所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を調整し、調整された色補正関数ｂ_ａｄｊを提供するために使用される調整関数ｆ_ａｄｊを表すピボット点の集合であって、前記調整された色補正関数ｂ_ａｄｊは１／ｂ_ａｄｊ［Ｙ］＝ｆ_ａｄｊ［Ｙ］×（１／ｂ_{ｐ＿ｄｅｆａｕｌｔ}［Ｙ］）、ここでＹは輝度値である、により定められ、前記調整された色補正関数ｂ_ａｄｊは、前記復号された標準ダイナミックレンジ画像から前記高ダイナミックレンジ画像を再構築するために使用される、ピボット点の集合を表す符号化データと、を含む。

【図面の簡単な説明】

【0055】

【図1】本原理の一実施形態による、ＨＤＲ画像を符号化ビットストリームへ符号化する例示的システムを示す。

【図2】本原理の一実施形態による、ＨＤＲ画像を符号化ビットストリームに復号する例示的システムを示す。

【図3】ＨＤＲ画像をＳＤＲ画像に分解する例示的方法のブロック図を示す。

【図4】符号化ビットストリームから復号されたＳＤＲ画像からＨＤＲ画像を再構築する例示的方法のブロック図を示す。

【図5】本原理の一実施形態による、ＨＤＲ画像を符号化ビットストリームへ符号化する例示的方法のブロック図を示す。

【図6】本原理の一実施形態による、符号化ビットストリームからＨＤＲ画像を復号する例示的方法のブロック図を示す。

【図7】本原理の一実施形態による本明細書において開示された方法の１つを実施する例示的装置を示す。

【図8】色度図の例を示す。

【図9】本明細書に開示される復号方式において使用される後処理色補正関数を表すＹ値の正規化範囲を有するＬＵＴ ｂ_ｐの例を示す。

【発明を実施するための形態】

【0056】

５．実施形態の説明
以下では、符号化／復号方法について、ＨＥＶＣ符号化ツールを使用して説明するが、本明細書で説明される符号化／復号方法は、ＳＤＲ画像と、圧縮ＳＤＲ画像からＨＤＲ画像を再構築するためのサイド情報としてのＨＤＲパラメータとを符号化するために使用される符号化ツールとは無関係である。したがって、本明細書に開示される原理は、ＳＤＲ画像およびサイド情報を符号化／復号するのに好適な任意の符号化ツールへ適用される。

【0057】

本実施形態の以下の説明では、関数ｆのＬＵＴ（ルックアップテーブル）が参照される場合、関数ｆにより行われる操作は、一組の輝度値の関数ｆの予め計算された値を含むＬＵＴを使用することにより実施されるということを理解すべきである。以下では、関数ｆまたはＬＵＴ ｆ（関数ｆより速い実施形態である）への参照は同じ関数を指す。

【0058】

図１は、本原理の一実施形態による、ＨＤＲ画像を符号化ビットストリームへ符号化する例示的システムを示す。このような符号化システムは、圧縮ＨＤＲビデオを分配する一方で、同時に、より限定されたダイナミックレンジを有するＨＤＲビデオを表す関連ＳＤＲビデオを分配するために使用され得る。このような符号化システムは、ＳＤＲ後方互換ＨＤＲ分配の解決策を提供する。

【0059】

本開示は、カラーＨＤＲ画像を符号化／復号することに関し説明されるが、一連の画像（ビデオ）の各カラー画像は以下に述べるように連続的符号化／復号されるので一連の画像（ビデオ）の符号化／復号まで拡張される。

【0060】

ＨＤＲ画像は最初に、ＨＤＲ−ｔｏ−ＳＤＲ分解のモジュールへ入力される。このようなモジュールは、ＨＤＲ−ｔｏ−ＳＤＲ分解を実行し、入力ＨＤＲ画像のダイナミックレンジの低減されたバージョンであるＳＤＲ画像を出力する。

【0061】

出力ＳＤＲ画像は、色相と知覚された彩度とが保存されＨＤＲ画像に対するＳＤＲ画像の視覚品質が改善されるように、再整形されたバージョンの入力ＨＤＲ画像である。ＨＤＲ−ｔｏ−ＳＤＲ分解モジュールはまた、ＨＤＲ画像再構築のためにさらに使用される一組のＨＤＲパラメータを出力する。

【0062】

このような一組のＨＤＲパラメータは、ＳＤＲ輝度をＨＤＲ輝度に変換するための逆輝度マッピングテーブル（ＬＵＴ）を導出することを可能にする少なくとも輝度マッピングパラメータを含む。

【0063】

ＳＤＲ画像は次に、画像符号化を実行する符号化モジュールへ入力される。このような符号化モジュールは、例えば１０ビット深さで表されたビデオおよび画像を符号化するのに好適なＨＥＶＣ Ｍａｉｎ １０符号器であり得る。符号化モジュールは、ＳＤＲ画像の圧縮バージョンを表す符号化ビットストリームを出力する。ＨＤＲパラメータはまた、符号化ビットストリームの一部分として符号化モジュールにより符号化される。一例として、このようなＨＤＲパラメータはＨＥＶＣ Ｍａｉｎ １０ビットストリームのＳＥＩメッセージ（Supplemental Enhancement Informationメッセージ）において符号化され得る。

【0064】

次に、このような符号化ビットストリームは伝送ケーブル上で格納または送信され得る。

【0065】

本明細書において提示される符号化システムの方法工程については、図５と共に本明細書において開示される様々な実施形態に従ってさらに説明される。

【0066】

図２は、本原理の一実施形態による、符号化ビットストリームからＨＤＲ画像を復号する例示的システムを示す。一例として、符号化ビットストリームはＨＥＶＣ Ｍａｉｎ １０プロファイルに準拠する。

【0067】

このような符号化ビットストリームは、ＳＤＲ画像を表す符号化データと、符号化ビットストリーム内で圧縮されたＳＤＲ画像の復号バージョンからＨＤＲ画像を再構築するのに好適なＨＤＲパラメータを表す符号化データとを含む。

【0068】

このような符号化ビットストリームは、メモリ内に格納されてもよいし、伝送ケーブルから受信されてもよい。

【0069】

符号化ビットストリームは最初に、画像復号およびＨＤＲパラメータ復号を実行する復号モジュールへ入力される。復号モジュールは例えば、ＨＥＶＣ Ｍａｉｎ １０プロファイル復号器に準拠した復号器であり得る。

【0070】

復号モジュールは復号ＳＤＲ画像と一組のＨＤＲパラメータとを出力する。復号ＳＤＲ画像はレガシーＳＤＲ表示（ＳＤＲ出力）により表示され得る。このようなＳＤＲ画像はエンドユーザにより自身のレガシーＳＤＲ表示から視ることが可能かもしれない。したがって、開示されたシステムは、任意のＳＤＲレガシー表示と後方互換である。

【0071】

復号されたＳＤＲ画像およびＨＤＲパラメータは次に，ＳＤＲ−ｔｏ−ＨＤＲ再構築のためのモジュールへ入力される。このようなモジュールは、所与のＨＤＲパラメータを使用することにより復号ＳＤＲ画像からＨＤＲ画像を再構築する。次に、復号されたＨＤＲ画像は出力され、ＨＤＲ互換ディスプレイ（ＨＤＲ出力装置）により表示され得る。

【0072】

本明細書において提示される復号システムの復号方法工程はさらに、図６と共に本明細書に開示される様々な実施形態に従って説明される。

【0073】

１．ＨＤＲ画像を符号化ビットストリームへ符号化する：
図５は、本原理の一実施形態による、ＨＤＲ画像を符号化ビットストリームへ符号化する例示的方法のブロック図を示す。

【0074】

工程Ｅ５０では、ＨＤＲ画像がＳＤＲ画像に分解される。このようなＨＤＲ−ｔｏ−ＳＤＲ分解は、図３を参照して説明された分解処理と同様に行われる。分解処理は前処理色補正関数ｂ_０を使用する。

【0075】

工程Ｅ５１では、後処理色補正関数ｂ_ｐは、上に説明した式１を使用することにより前記前処理色補正関数ｂ_０から定められる。

【0076】

工程Ｅ５２では、所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}は、一組の所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｉｔ}［ｋ］の中から選択される。このような関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}は、ＨＤＲ画像のコンテンツ特性またはＨＤＲ画像が属するシーケンスのコンテンツ特性に従って選択される。このような所定色補正関数セットは復号器へ知らされる。

【0077】

工程Ｅ５３では、調整関数ｆ_ａｄｊが定められる。このような調整関数は、調整された色補正関数ｂ_ａｄｊを提供するように前記所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}を調整するために使用される。本原理と共に、調整関数ｆ_ａｄｊは次式：
１／ｂ_ａｄｊ［Ｙ］＝ｆ_ａｄｊ［Ｙ］×（１／ｂ_{ｐ＿ｄｅｆａｕｌｔ}［Ｙ］）、ここでＹは輝度値である、に従って定義される。

【0078】

前記調整関数ｆ_ａｄｊは、すべてのＹ値の１／ｂ_ｐおよび１／ｂ_ａｄｊ間の誤差の最小化を実行することにより定められる。例えば、最小二乗法が、関数ｆ_ａｄｊを推定するために使用される可能性がある。結果のｆ_ａｄｊ関数は、符号化コストを制限するためにピボット点の集合（Ｙ，ｆ_ａｄｊ［Ｙ_ｉ］）、ｉ＝０から（Ｎ_ｐｗｉ−１）である、により近似される区分線形関数である。

【0079】

最小２乗平均手法では、関数ｆ_ａｄｊは、誤差

【数13】

が最小となるように計算され、ここで、Ｙ_ｍａｘはＹの最大可能値であり、ｆ_ａｄｊ［Ｙ］は次式のように導出される：
ｆ_ａｄｊ［Ｙ］＝ｆ_ａｄｊ［Ｙ_ｉ］＋（Ｙ−Ｙ_ｉ）／（Ｙ_ｉ＋１−Ｙ）×（ｆ_ａｄｊ［Ｙ_ｉ＋１］−ｆ_ａｄｊ［Ｙ_ｉ］） ［Ｙ_ｉ，Ｙ_ｉ＋ｌ］のＹは任意

【0080】

この最小化を実行するための可能な１つのアルゴリズムは以下のとおりである。

【0081】

区分線形関数ｆ_ａｄｊがＮ_ｐｗｉ＝（Ｙ_ｍａｘ−１）点により初期化され、各点（Ｙ_ｉ，ｆ_ａｄｊ［Ｙ_ｉ］），ｉ＝０から（Ｙ_ｍａｘ−１）である、は次式のように定義される：Ｙ_ｉ＝ｉ

【数14】

【0082】

対応誤差Ｅも導出される。

【0083】

次に、Ｎ_ｐｗｉが目標数の点（典型的には６点）より大きい間、除去されると最小誤差Ｅを生成する点（Ｙ_ｋ，ｆ_ａｄｊ［Ｙ_ｋ］）が識別され、ｆ_ａｄｊを表すピボット点のリストから除去される。これは、残りのＮ_ｐｗｉ個のピボット点の各１つを試験し、この点無しに生成された区分線形関数ｆ_ａｄｊから生じる対応誤差Ｅ_ｋを計算することにより行われる。Ｅ_ｋが最小である点は、除去され、Ｎ_ｐｗｉが１だけ減じられる。上記処理は、Ｎ_ｐｗｉがピボット点の目標数に達するまで、繰り返される。

【0084】

工程Ｅ５４では、このような組のピボット点は符号化ビットストリームへ符号化される。このようなピボット点の集合は例えば、図１の符号化方式において説明したようなＨＲＤパラメータの一部として符号化される。

【0085】

工程Ｅ５５では、ＳＤＲ画像もまた、図１との関連で説明したように前記符号化ビットストリームへ符号化される。

【0086】

２．符号化ビットストリームからＨＤＲ画像を復号すること
図６は、本原理の一実施形態による、符号化ビットストリームからＨＤＲ画像を復号する例示的方法のブロック図を示す。

【0087】

工程Ｅ６０では、ＳＤＲ画像が前記符号化ビットストリームから復号される。

【0088】

工程Ｅ６１では、ピボット点の集合が前記符号化ビットストリームから復号される。前記ピボット点の集合は調整関数ｆ_ａｄｊを表す。

【0089】

工程Ｅ６２では、所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}が、一組の所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｉｔ}［ｋ］の中から選択される。このような一組の所定色補正関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}［ｋ］は、図５に関連して符号器において定義されたものと同じである。このような関数ｂ_{ｐ＿ｄｅｆａｕｌｔ}は、ＨＤＲ画像のコンテンツ特性またはＨＤＲ画像が属するシーケンスのコンテンツ特性に従って選択される。このようなコンテンツ特性は、サイド情報として、または図２との関連で説明されたＨＤＲパラメータと共に、復号器へ送信される。

【0090】

工程Ｅ６３では、調整された色補正関数ｂ_ａｄｊが次式：１／ｂ_ａｄｊ［Ｙ］＝ｆ_ａｄｊ［Ｙ］×（１／ｂ_{ｐ＿ｄｅｆａｕｌｔ}［Ｙ］）、ここでＹは輝度値である、に従って構築され、調整関数ｆ_ａｄｊは復号されたピボット点の集合から再構築される。

【0091】

次に、工程Ｅ６４では、ＨＤＲ画像は、図４を参照して説明された再構築処理と同じように、復号されたＳＤＲ画像と調整された色補正関数ｂ_ａｄｊとから再構築される。

【0092】

図１〜図６では、方法工程は機能ユニットであるモジュールにより行われ、このようなモジュールは識別可能物理的ユニットへ関連付けられてもされなくてもよい。例えば、これらのモジュールまたはそのうちのいくつかは、独自部品または回路と一緒にされても良いし、ソフトウェアの機能に寄与してもよい。反対に、いくつかのモジュールは場合によっては、別個の物理的エンティティで構成され得る。本開示に適合する装置は、純粋なハードウェアを使用することにより、例えばＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）、またはＦＰＧＡ（Field-Programmable Gate Array：フィールドプログラマブルゲートアレイ）またはＶＬＳＩ（Very Large Scale Integration：超大規模集積回路）などの専用ハードウェアを使用することにより、または装置内に埋め込まれたいくつかの集積電子部品により、またはハードウェアおよびソフトウェア部品の混合物によりの、いずれかで実装される。

【0093】

図７は、図１〜６との関連で説明された方法を実施するように構成され得る装置７０の例示的構造を表す。

【0094】

装置７０は、データとアドレスバス７１とを併せて結合される以下の要素を含む：
−例えばＤＳＰ（すなわちデジタル信号プロセッサ：Digital Signal Processor）であるマイクロプロセッサ７２（またはＣＰＵ）；
−ＲＯＭ（すなわち読み取り専用メモリ）７３；
−ＲＡＭ（すなわちランダムアクセスメモリ）７４；
−アプリケーションからのデータの送信および／または受信のためのＩ／Ｏインターフェース７５；
−電池７６。

【0095】

一変形態様によると、電池７６は装置の外にある。図７のこれらの要素のそれぞれは、当業者により周知であり、したがってさらに開示されない。上記メモリのそれぞれにおいて、本明細書で使用される用語「レジスタ」は、小容量（いくつかのビット）の領域、または非常に大きな領域（例えば、全プログラム、または大量の受信または復号されたデータ）に対応し得る。ＲＯＭ７３は少なくとも１つのプログラムおよびパラメータを含む。本開示による方法のアルゴリズムはＲＯＭ７３内に格納される。スイッチオンされると、ＣＰＵ７３は、ＲＡＭ内のプログラムをアップロードし、対応命令を実行する。

【0096】

ＲＡＭ７４は、装置７１のスイッチオン後にＣＰＵ７２により実行されアップロードされるプログラムをレジスタ内に、入力データをレジスタ内に、本方法の様々な状態における中間データをレジスタ内に、および本方法の実行のために使用される他の変数をレジスタ内に含む。

【0097】

本明細書で説明される実装は、例えば方法または処理、装置、ソフトウェアプログラム、データストリーム、または信号で実施され得る。単一形式の実施の文脈においてだけ論述された（例えば、方法または装置として論述されただけ）としても、論述される特徴の実装は他の形式（例えばプログラム）で実装され得る。装置は例えば適切なハードウェア、ソフトウェアおよびファームウェアで実装され得る。本方法は例えば、処理装置全般（例えばコンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む）を指す例えばプロセッサなどの装置内に実装され得る。プロセッサはまた、例えばコンピュータ、セルラ電話、携帯／個人用デジタル補助装置（ＰＤＡ：portable/personal digital assistant）、およびエンドユーザ間の情報の伝達を容易にする他の装置などの通信装置を含む。

【0098】

符号化または符号器の特定の実施形態によると、ＨＤＲカラー画像はソースから取得される。例えば、ソースは、
−ローカルメモリ（７３または７４）、例えばビデオメモリまたはＲＡＭ（すなわちランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（すなわち読み取り専用メモリ）、ハードディスク；
−記憶装置インターフェース、例えば大量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスクまたは磁気式補助装置とのインターフェース；
−通信インターフェース（７５）、例えば有線インターフェース（例えばバスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）、または無線インターフェース（ＩＥＥＥ ８０２．１１インターフェースまたはBluetooth（登録商標）インターフェースなど）；および
−画像捕捉回路、（例えばＣＣＤ（すなわち電荷結合素子：Charge-Coupled Device）またはＣＭＯＳ（すなわち相補金属酸化物半導体：Complementary Metal-Oxide-Semiconductor）などのセンサ）を含む組に属する。

【0099】

復号または復号器の異なる実施形態によると、ＨＤＲ復号画像は送信先へ送信され；特に、送信先は、
−ローカルメモリ（７３または７４）、例えばビデオメモリまたはＲＡＭ（すなわちランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（すなわち読み取り専用メモリ）、ハードディスク；
−記憶装置インターフェース、例えば大量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスクまたは磁気式補助装置とのインターフェース；
−通信インターフェース（７５）、例えば有線インターフェース（例えばバスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）、または無線インターフェース（ＩＥＥＥ ８０２．１１インターフェースまたはBluetooth（登録商標）インターフェースなど）；および
−ディスプレイを含む組に属する。

【0100】

符号化または符号器の様々な実施形態によると、符号化ビットストリームは送信先へ送信される。一例として、符号化ビットストリームは、ローカルまたはリモートメモリ（例えばビデオメモリ（７４）、ＲＡＭ（７４）、ハードディスク（７３））内に格納される。変形形態では、ビットストリームは記憶装置インターフェース（例えば大量記憶装置、フラッシュメモリ、ＲＯＭ、光ディスクまたは磁気式補助装置とのインターフェース）へ送信される、および／または通信インターフェース（７５）、例えばポイントツウポイントリンク、通信バス、ポイントツーマルチポイントリンク、または放送網へのインターフェース上で送信される。

【0101】

復号または復号器の様々な実施形態によると、ビットストリームはソースから取得される。例示的に、ビットストリームは、ローカルメモリ（例えばビデオメモリ（７４）、ＲＡＭ（７４）、ＲＯＭ（７３）、フラッシュメモリ（７３）、ハードディスク（７３））から読み出される。変形形態では、ビットストリームは、記憶装置インターフェース（例えば大量記憶装置、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスク、または磁気式補助装置とのインターフェース）から受信される、および／または通信インターフェース（７５）、例えばポイントツウポイントリンク、バス、ポイントツーマルチポイントリンク、または放送網へのインターフェース上で受信される。

【0102】

様々な実施形態によると、図１または５との関連で説明された符号化方法を実施するように構成された装置７０は、
−モバイル装置；
−通信装置；
−ゲーム装置；
−タブレット（またはタブレットコンピュータ）；
−ラップトップ；
−静止画カメラ；
−ビデオカメラ；
−符号化チップ；
−静止画サーバ；および
−ビデオサーバ（例えば同報通信サーバ、ビデオオンディマンドサーバまたはウェブサーバ）を含む組に属する。

【0103】

様々な実施形態によると、図２または６の関連で説明された復号方法を実施するように構成された装置７０は、
−モバイル装置；
−通信装置；
−ゲーム装置；
−セットトップボックス；
−テレビセット；
−タブレット（またはタブレットコンピュータ）；
−ラップトップ；
−ディスプレイおよび
−復号チップを含む組に属する。

【0104】

本明細書で説明された様々な処理および特徴の実施形態は様々な異なる装置またはアプリケーション内で具現化され得る。このような装置の例は、符号器、復号器、復号器からの出力を処理するポストプロセッサ、入力を符号器へ提供するプリプロセッサ、ビデオ符号器、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、セルラ電話、ＰＤＡ、および画像を処理するための任意の他の装置、またはビデオまたは他の通信装置を含む。明らかなように、装置は可動であり、移動車両内にすら設置され得る。

【0105】

加えて、本方法は、プロセッサにより行われる命令により実施され得、このような命令（および／または実施により生成されたデータ値）はコンピュータ可読記憶媒体上に格納され得る。コンピュータ可読記憶媒体は、１つまたは複数のコンピュータ可読媒体内に具現化され、コンピュータにより実行可能であるその上に具現化されたコンピュータ可読プログラムコードを有するコンピュータ可読プログラム製品の形式を採り得る。本明細書で使用されるコンピュータ可読記憶媒体は、情報をその中に格納する固有能力とそれからの情報の検索を提供する固有能力とを与えられた非一時的記憶媒体と考えられる。コンピュータ可読記憶媒体は、例えば、限定しないが、電子的、磁気的、光学的、電磁気的、赤外線、または半導体システム、装置、またはデバイス、または上述のものの任意の好適な組合せであり得る。以下のものは、本原理が適用され得るコンピュータ可読記憶媒体のより具体的な例を提供する一方で、当業者により容易に理解されるように単に例示的であり、網羅的でないリストであるということを認識すべきである：携帯型コンピュータディスケット；ハードディスク；読み取り専用メモリ（ＲＯＭ）；消去可能プログラマブルＲＯＭ（ＥＰＲＯＭまたはフラッシュメモリ）；ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）；光学的記憶装置；磁気的格納装置；または上述したものの任意の好適な組合せ。

【0106】

命令はプロセッサ可読媒体上に有形に具現化されたアプリケーションプログラムを形成し得る。

【0107】

命令は、例えばハードウェア、ファームウェア、ソフトウェアまたはその組合せであり得る。命令は、例えばオペレーティングシステム、別個のアプリケーション、またはこれら２つの組合せたものの中に見出され得る。したがって、プロセッサは、例えば処理を行うように構成された装置と処理を行うための命令を有するプロセッサ可読媒体を含む装置（記憶装置などの）との両方として特徴付けられ得る。さらに、プロセッサ可読媒体は、命令に加えてまたはその代りに、実施により生成されたデータ値を格納し得る。

【0108】

当業者にとって明らかなように、実施は、例えば格納または送信され得る情報を担持するようにフォーマット化された様々な信号を生成し得る。情報は、例えば方法を実行するための命令または説明した実施の１つにより生成されたデータを含み得る。例えば、信号は、説明された実施形態のシンタックスを書き込むまたは読み出すための規則をデータとして担持するように、または説明された実施形態により書き込まれた実際のシンタックス値をデータとして担持するようにフォーマット化され得る。このような信号は、例えば電磁波として（例えば、スペクトルの高周波部分を使用して）フォーマット化されてもよいし、ベースバンド信号としてフォーマット化されてもよい。フォーマット化は例えば、データストリームを符号化することと、符号化データストリームにより搬送波を変調することとを含み得る。信号が担持する情報は例えばアナログまたはデジタル情報であり得る。信号は、知られているように様々な異なる有線または無線リンク上で送信され得る。信号はプロセッサ可読媒体上に格納され得る。

【0109】

多くの実施が説明された。それにもかかわらず、様々な修正がなされ得るということが理解される。例えば、様々な実施の要素は、他の実施を生成するために組み合わせられ、修正され、補完され、または除去され得る。加えて、当業者は「他の構造および処理が、開示されたものを置換し得る」ということと、「その結果の実施は、開示された実施と少なくともほぼ同じ結果を達成するために少なくともほぼ同じやり方で少なくともほぼ同じ機能を実行することになる」ということとを理解することになる。したがって、これらおよび他の実施は本出願により企図される。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
符号化ビットストリームから少なくとも１つの高ダイナミックレンジ画像を復号する方法であって、
−前記符号化ビットストリームから標準ダイナミックレンジ画像を復号することと、
−前記符号化ビットストリームから、調整関数ｆ_adjを表すピボット点の集合を復号することと、
−所定色補正関数ｂ_{p_default}を選択することと、
−調整された色補正関数ｂ_adjを次式：１／ｂ_adj［Ｙ］＝ｆ_adj［Ｙ］×（１／ｂ_{p_default}［Ｙ］）、ここでＹは輝度値である、により定めることと、
−前記復号された標準ダイナミックレンジ画像および前記調整された色補正関数ｂ_adjから高ダイナミックレンジ画像を再構築することと、を含む方法。
（付記２）
少なくとも１つの高ダイナミックレンジ画像を符号化ビットストリームに符号化する方法であって、
−少なくとも１つの前処理色補正関数ｂ₀を使用することにより、前記高ダイナミックレンジ画像を標準ダイナミックレンジ画像に分解することと、
−前記前処理色補正関数ｂ₀から後処理色補正関数ｂ_pを定めることと、
−所定色補正関数ｂ_{p_default}を選択することと、
−前記所定色補正関数ｂ_{p_default}を調整するために使用される調整関数ｆ_adjを次式：１／ｂ_adj［Ｙ］＝ｆ_adj［Ｙ］×（１／ｂ_{p_default}［Ｙ］）、ここでＹは輝度値である、により定め、調整された色補正関数ｂ_adjを提供することであって、前記調整関数ｆ_adjを前記定めることは、１／ｂ_pと１／ｂ_adj間の誤差の最小化を実行することを含む、ことと、
−前記定められた調整関数ｆ_adjを表すピボット点の集合を前記符号化ビットストリームに符号化することと、
−前記標準ダイナミックレンジ画像を前記符号化ビットストリームに符号化することと、を含む方法。
（付記３）
符号化ビットストリームから少なくとも１つの高ダイナミックレンジ画像を復号する装置であって、
−前記符号化ビットストリームから標準ダイナミックレンジ画像を復号し、
−前記符号化ビットストリームから、調整関数ｆ_adjを表すピボット点の集合を復号し、
−所定色補正関数ｂ_{p_default}を選択し、
−調整された色補正関数ｂ_adjを次式：１／ｂ_adj［Ｙ］＝ｆ_adj［Ｙ］×（１／ｂ_{p_default}［Ｙ］）、ここでＹは輝度値である、により定め、
−前記復号標準ダイナミックレンジ画像および前記調整された色補正関数ｂ_adjから高ダイナミックレンジ画像を再構築する、ように構成された少なくとも１つのプロセッサを含む装置。
（付記４）
少なくとも１つの高ダイナミックレンジ画像を符号化ビットストリームに符号化する装置であって、
−前処理色補正関数ｂ₀を使用することにより、前記高ダイナミックレンジ画像を標準ダイナミックレンジ画像に分解し、
−前記前処理色補正関数ｂ₀から後処理色補正関数ｂ_pを定め、
−所定色補正関数ｂ_{p_default}を選択し、
−前記所定色補正関数ｂ_{p_default}を調整するために使用される調整関数ｆ_adjを次式：１／ｂ_adj［Ｙ］＝ｆ_adj［Ｙ］×（１／ｂ_{p_default}［Ｙ］）、ここでＹは輝度値である、により定め、調整された色補正関数ｂ_adjを提供し、
１／ｂ_pと１／ｂ_adj間の誤差の最小化を実行することにより、
−前記定められた調整関数ｆ_adjを表すピボット点の集合を前記符号化ビットストリームに符号化し、
−前記標準ダイナミックレンジ画像を前記符号化ビットストリームに符号化する、ように構成された少なくとも１つのプロセッサを含む装置。
（付記５）
プロセッサにより実行されると付記１または２のいずれか一に記載の方法を実行するためのソフトウェアコード命令を含むコンピュータプログラム。
（付記６）
少なくとも１つの符号化高ダイナミックレンジ画像を表すビットストリームであって、
−前記高ダイナミックレンジ画像から取得された少なくとも１つの標準ダイナミックレンジ画像を表す符号化データと、
−所定色補正関数ｂ_{p_default}を調整し、調整された色補正関数ｂ_adjを提供するために使用される調整関数ｆ_adjを表すピボット点の集合であって、前記調整された色補正関数ｂ_adjは１／ｂ_adj［Ｙ］＝ｆ_adj［Ｙ］×（１／ｂ_{p_default}［Ｙ］）、ここでＹは輝度値である、により定められ、前記調整された色補正関数ｂ_adjは前記復号された標準ダイナミックレンジ画像から前記高ダイナミックレンジ画像を再構築するために使用される、ピボット点の集合を表す符号化データと、を含むビットストリーム。
（付記７）
付記３に記載の復号装置を内蔵する電子装置。
（付記８）
モバイル装置、通信装置、ゲーム装置、セットトップボックス、テレビセット、タブレット、ラップトップ、ディスプレイおよび復号チップからなる群から選択された付記７に記載の電子装置。
（付記９）
付記４に記載の符号化装置を内蔵する電子装置。
（付記１０）
モバイル装置、通信装置、ゲーム装置、タブレット、ラップトップ、静止画カメラ、ビデオカメラ、符号化チップ、静止画サーバ、およびビデオサーバからなる群から選択された付記９に記載の電子装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】