特許 5747136 ＨＤＲ画像のための画像処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5747136

(24)【登録日】2015年5月15日

(45)【発行日】2015年7月8日

(54)【発明の名称】ＨＤＲ画像のための画像処理

(51)【国際特許分類】

   H04N 1/41 20060101AFI20150618BHJP

   G06T 5/00 20060101ALI20150618BHJP

   H04N 19/85 20140101ALI20150618BHJP

   H04N 19/30 20140101ALI20150618BHJP

【ＦＩ】

   H04N1/41 B

   G06T5/00 700

   H04N19/85

   H04N19/30

【請求項の数】83

【全頁数】40

(21)【出願番号】特願2014-547579(P2014-547579)

(86)(22)【出願日】2013年7月31日

(65)【公表番号】特表2015-508589(P2015-508589A)

(43)【公表日】2015年3月19日

(86)【国際出願番号】US2013053036

(87)【国際公開番号】WO2014025588

(87)【国際公開日】20140213

【審査請求日】2014年6月11日

(31)【優先権主張番号】61/681,061

(32)【優先日】2012年8月8日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】シャフ，アンクール

(72)【発明者】

【氏名】ニナン，アジット

(72)【発明者】

【氏名】ジア，ウエンヒュイ

(72)【発明者】

【氏名】トング，ヒュイミング

(72)【発明者】

【氏名】ヤング，チアオリ

(72)【発明者】

【氏名】テン，アルカディ

(72)【発明者】

【氏名】ワング，ガヴェン

【審査官】 山内 裕史

(56)【参考文献】

【文献】 特開２００９−２００７４３（ＪＰ，Ａ）

【文献】 特開２０１１−０１０１０８（ＪＰ，Ａ）

【文献】 特開２０１２−０２９０２９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／４１

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ １９／３０

Ｈ０４Ｎ １９／８５

(57)【特許請求の範囲】

【請求項1】

集積回路（ＩＣ）デバイスによりＨＤＲ画像を符号化する方法であって、
前記ＨＤＲ画像における対数ルミナンスピクセル値のヒストグラムを計算するステップと、
前記ヒストグラムに基づきトーンマッピングされた曲線を生成するステップと、
前記ＨＤＲ画像における対数ルミナンスピクセル値と前記トーンマッピングされた曲線とに基づき、対数グローバルトーンマッピングされたルミナンス画像を計算するステップと、
前記対数グローバルトーンマッピングされたルミナンス画像に基づきダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像を計算するステップと、
前記ＨＤＲ画像における対数ルミナンスピクセル値と前記ダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像とに基づき対数レシオ画像を計算するステップと、
対数マルチスケールレシオ画像を生成するため、前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップと、
前記対数マルチスケールレシオ画像と前記ＨＤＲ画像における対数ルミナンスピクセル値とに基づき第２対数トーンマッピングされた画像を生成するステップと、
前記ダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像と前記第２対数トーンマッピングされた画像とに基づき出力トーンマッピングされた画像を生成するため、前記第２対数トーンマッピングされた画像を正規化するステップと、
前記入力ＨＤＲ画像と前記出力トーンマッピングされた画像とに基づき第２レシオ画像を生成するステップと、
量子化された第２レシオ画像を生成するため、前記第２レシオ画像を量子化するステップと、
を有する方法。

【請求項2】

前記量子化された第２レシオ画像と前記出力トーンマッピングされた画像とは、ＪＰＥＧ−ＨＤＲ画像を生成するため、エンコーダに提供される、請求項１記載の方法。

【請求項3】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、第１レベルダウンスケーリングされた対数レシオ画像を生成するため、係数Ｎ（Ｎは正の整数）により前記対数レシオ画像をダウンスケーリングすることを含む、請求項１記載の方法。

【請求項4】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、第２レベルダウンスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第１レベルダウンスケーリングされた対数レシオ画像をダウンスケーリングすることを含む、請求項３記載の方法。

【請求項5】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、第３レベルダウンスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第２レベルダウンスケーリングされた対数レシオ画像をダウンスケーリングすることを含む、請求項４記載の方法。

【請求項6】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、第３レベル重み付けされた対数レシオ画像を生成するため、第３レベルスケール係数により前記第３レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングすることを含む、請求項５記載の方法。

【請求項7】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、第２レベル重み付けされた対数レシオ画像を生成するため、第２レベルスケール係数により前記第２レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングすることを含む、請求項６記載の方法。

【請求項8】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、第２レベルアップスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第３レベル重み付けされた対数レシオ画像をアップスケーリングし、前記第２レベル重み付けされた対数レシオ画像を加算することを含む、請求項７記載の方法。

【請求項9】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、第１レベル重み付けされた対数レシオ画像を生成するため、第１レベルスケール係数により前記第１レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングすることを含む、請求項８記載の方法。

【請求項10】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、第１レベルアップスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第２レベルアップスケーリングされた対数レシオ画像をアップスケーリングし、前記第１レベル重み付けされた対数レシオ画像を加算することを含む、請求項９記載の方法。

【請求項11】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、ゼロレベル重み付けされた対数レシオ画像を生成するため、ゼロレベルスケール係数により前記対数レシオ画像のピクセル値をスケーリングすることを含む、請求項１０記載の方法。

【請求項12】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、前記対数マルチスケールレシオ画像を生成するため、前記係数Ｎにより前記第１レベルアップスケーリングされた対数レシオ画像をアップスケーリングし、前記ゼロレベル重み付けされた対数レシオ画像を加算することを含む、請求項１１記載の方法。

【請求項13】

前記入力対数レシオ画像を係数Ｎによりダウンスケーリングすることは、前記係数Ｎにより前記対数画像の水平方向のピクセル解像度と垂直方向のピクセル解像度とを低減することを含む、請求項３記載の方法。

【請求項14】

前記正の整数は８に等しい、請求項３記載の方法。

【請求項15】

前記ダウンスケーリングステップのそれぞれの出力をローパスフィルタリングするステップを更に有する、請求項３記載の方法。

【請求項16】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、
第１レベルダウンスケーリングされた対数レシオ画像を生成するため、係数Ｎ（Ｎは正の整数）により前記対数レシオ画像をダウンスケーリングするステップと、
第２レベルダウンスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第１レベルダウンスケーリングされた対数レシオ画像をダウンスケーリングするステップと、
第３レベルダウンスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第２レベルダウンスケーリングされた対数レシオ画像をダウンスケーリングするステップと、
第３レベル重み付け対数レシオ画像を生成するため、第３レベルスケール係数により前記第３レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングするステップと、
第２レベル重み付けされた対数レシオ画像を生成するため、第２レベルスケール係数により前記第２レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングするステップと、
第２レベルアップスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第３レベル重み付けされた対数レシオ画像をアップスケーリングし、前記第２レベル重み付けされた対数レシオ画像を加算するステップと、
第１レベル重み付けされた対数レシオ画像を生成するため、第１レベルスケール係数により前記第１レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングするステップと、
第１レベルアップスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第２レベルアップスケーリングされた対数レシオ画像をアップスケーリングし、前記第１レベル重み付けされた対数レシオ画像を加算するステップと、
ゼロレベル重み付けされた対数レシオ画像を生成するため、ゼロレベルスケール係数により前記対数レシオ画像のピクセル値をスケーリングするステップと、
前記対数マルチスケールレシオ画像を生成するため、前記係数Ｎにより前記第１レベルアップスケーリングされた対数レシオ画像をアップスケーリングし、前記ゼロレベル重み付けされた対数レシオ画像を加算するステップと、
を有する、請求項１記載の方法。

【請求項17】

前記ダウンスケーリングするステップのそれぞれの出力をローパスフィルタリングするステップを更に有する、請求項１６記載の方法。

【請求項18】

前記計算されたヒストグラムを正規化するステップを更に有する、請求項１記載の方法。

【請求項19】

前記ヒストグラムの正規化は、ＣＬＡＨＥ（Ｃｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ａｄａｐｔｉｖｅ Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎ）を含む、請求項１８記載の方法。

【請求項20】

前記ヒストグラムの正規化は、ＨＣＴＮ（Ｈｉｓｔｏｇｒａｍ ＣＬＡＨＥ Ｔｏｎｅ−ｍａｐ Ｎｏｒｍａｌｉｚａｔｉｏｎ）を含む、請求項１９記載の方法。

【請求項21】

半導体ダイと、
前記半導体ダイに配置され、トーンマッピング手段を有するよう構造的に構成され、設定され、又はプログラムされるアクティブデバイスのアレイであって、前記トーンマッピング手段は、
入力ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像における対数ルミナンスピクセル値のヒストグラムを計算し、
前記ヒストグラムに基づきトーンマッピングされた曲線を生成し、
前記ＨＤＲ画像における対数ルミナンスピクセル値と前記トーンマッピングされた曲線とに基づき、対数グローバルトーンマッピングされたルミナンス画像を計算し、
前記対数グローバルトーンマッピングされたルミナンス画像に基づきダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像を計算し、
前記ＨＤＲ画像における対数ルミナンスピクセル値と前記ダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像とに基づき対数レシオ画像を計算する、
よう機能する、アクティブデバイスのアレイと、
対数マルチスケールレシオ画像を生成するため、前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行し、
前記対数マルチスケールレシオ画像と前記ＨＤＲ画像における対数ルミナンスピクセル値とに基づき第２対数トーンマッピングされた画像を生成し、
前記ダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像と前記第２対数トーンマッピングされた画像とに基づき出力トーンマッピングされた画像を生成するため、前記第２対数トーンマッピングされた画像を正規化し、
前記入力ＨＤＲ画像と前記出力トーンマッピングされた画像とに基づき第２レシオ画像を生成する、
よう機能するマルチスケールフィルタと、
量子化された第２レシオ画像を生成するため、前記第２レシオ画像を量子化する量子化手段と、
を有する集積回路（ＩＣ）デバイス。

【請求項22】

前記量子化された第２レシオ画像と前記出力トーンマッピングされた画像とは、ＪＰＥＧ−ＨＤＲ画像を生成するため、エンコーダに提供される、請求項２１記載のＩＣデバイス。

【請求項23】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行することは更に、第１レベルダウンスケーリングされた対数レシオ画像を生成するため、係数Ｎ（Ｎは正の整数）により前記対数レシオ画像をダウンスケーリングすることを含む、請求項２１記載のＩＣデバイス。

【請求項24】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行することは更に、第２レベルダウンスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第１レベルダウンスケーリングされた対数レシオ画像をダウンスケーリングすることを含む、請求項２３記載のＩＣデバイス。

【請求項25】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行することは更に、第３レベルダウンスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第２レベルダウンスケーリングされた対数レシオ画像をダウンスケーリングすることを含む、請求項２４記載のＩＣデバイス。

【請求項26】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行することは更に、第３レベル重み付けされた対数レシオ画像を生成するため、第３レベルスケール係数により前記第３レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングすることを含む、請求項２５記載のＩＣデバイス。

【請求項27】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行することは更に、第２レベル重み付けされた対数レシオ画像を生成するため、第２レベルスケール係数により前記第２レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングすることを含む、請求項２６記載のＩＣデバイス。

【請求項28】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行することは更に、第２レベルアップスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第３レベル重み付けされた対数レシオ画像をアップスケーリングし、前記第２レベル重み付けされた対数レシオ画像を加算することを含む、請求項２７記載のＩＣデバイス。

【請求項29】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行することは更に、第１レベル重み付けされた対数レシオ画像を生成するため、第１レベルスケール係数により前記第１レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングすることを含む、請求項２８記載のＩＣデバイス。

【請求項30】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行することは更に、第１レベルアップスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第２レベルアップスケーリングされた対数レシオ画像をアップスケーリングし、前記第１レベル重み付けされた対数レシオ画像を加算することを含む、請求項２９記載のＩＣデバイス。

【請求項31】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行することは更に、ゼロレベル重み付けされた対数レシオ画像を生成するため、ゼロレベルスケール係数により前記対数レシオ画像のピクセル値をスケーリングすることを含む、請求項３０記載のＩＣデバイス。

【請求項32】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行することは更に、前記対数マルチスケールレシオ画像を生成するため、前記係数Ｎにより前記第１レベルアップスケーリングされた対数レシオ画像をアップスケーリングし、前記ゼロレベル重み付けされた対数レシオ画像を加算することを含む、請求項３１記載のＩＣデバイス。

【請求項33】

前記入力対数レシオ画像を係数Ｎによりダウンスケーリングすることは、前記係数Ｎにより前記対数画像の水平方向のピクセル解像度と垂直方向のピクセル解像度とを低減することを含む、請求項２３記載のＩＣデバイス。

【請求項34】

前記正の整数は８に等しい、請求項２３記載のＩＣデバイス。

【請求項35】

前記ダウンスケーリングステップのそれぞれの出力をローパスフィルタリングすることを更に有する、請求項３２記載のＩＣデバイス。

【請求項36】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行することは更に、
第１レベルダウンスケーリングされた対数レシオ画像を生成するため、係数Ｎ（Ｎは正の整数）により前記対数レシオ画像をダウンスケーリングし、
第２レベルダウンスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第１レベルダウンスケーリングされた対数レシオ画像をダウンスケーリングし、
第３レベルダウンスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第２レベルダウンスケーリングされた対数レシオ画像をダウンスケーリングし、
第３レベル重み付け対数レシオ画像を生成するため、第３レベルスケール係数により前記第３レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングし、
第２レベル重み付けされた対数レシオ画像を生成するため、第２レベルスケール係数により前記第２レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングし、
第２レベルアップスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第３レベル重み付けされた対数レシオ画像をアップスケーリングし、前記第２レベル重み付けされた対数レシオ画像を加算し、
第１レベル重み付けされた対数レシオ画像を生成するため、第１レベルスケール係数により前記第１レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングし、
第１レベルアップスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第２レベルアップスケーリングされた対数レシオ画像をアップスケーリングし、前記第１レベル重み付けされた対数レシオ画像を加算し、
ゼロレベル重み付けされた対数レシオ画像を生成するため、ゼロレベルスケール係数により前記対数レシオ画像のピクセル値をスケーリングし、
前記対数マルチスケールレシオ画像を生成するため、前記係数Ｎにより前記第１レベルアップスケーリングされた対数レシオ画像をアップスケーリングし、前記ゼロレベル重み付けされた対数レシオ画像を加算する、
ことを有する、請求項２１記載のＩＣデバイス。

【請求項37】

前記ダウンスケーリングするステップのそれぞれの出力をローパスフィルタリングすることを更に有する、請求項３６記載のＩＣデバイス。

【請求項38】

前記計算されたヒストグラムを正規化することを更に有する、請求項２１記載のＩＣデバイス。

【請求項39】

前記ヒストグラムの正規化は、ＣＬＡＨＥ（Ｃｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ａｄａｐｔｉｖｅ Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎ）、又はＨＣＴＮ（Ｈｉｓｔｏｇｒａｍ ＣＬＡＨＥ Ｔｏｎｅ−ｍａｐ Ｎｏｒｍａｌｉｚａｔｉｏｎ）の１以上を含む、請求項３８記載のＩＣデバイス。

【請求項40】

当該ＩＣデバイスは、
マイクロプロセッサ、
ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ ＩＣ）、
デジタル信号プロセッサ（ＤＳＰ）、
プログラマブルロジックデバイス（ＰＬＤ）、
ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、
マイクロコントローラ、
システム・オン・チップ（ＳＯＣ）、
グラフィックプロセッサ、又は
カメラ制御ＩＣ、
の１以上を含む、請求項２１記載のＩＣデバイス。

【請求項41】

符号化された命令を格納する非一時的なプロセッサ可読記憶媒体であって、前記命令は、プロセッサ上で実行されると、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を符号化するための処理を実行又は制御するよう前記プロセッサを制御、プログラム又は構成し、
前記処理は、
前記ＨＤＲ画像における対数ルミナンスピクセル値のヒストグラムを計算するステップと、
前記ヒストグラムに基づきトーンマッピングされた曲線を生成するステップと、
前記ＨＤＲ画像における対数ルミナンスピクセル値と前記トーンマッピングされた曲線とに基づき、対数グローバルトーンマッピングされたルミナンス画像を計算するステップと、
前記対数グローバルトーンマッピングされたルミナンス画像に基づきダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像を計算するステップと、
前記ＨＤＲ画像における対数ルミナンスピクセル値と前記ダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像とに基づき対数レシオ画像を計算するステップと、
対数マルチスケールレシオ画像を生成するため、前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップと、
前記対数マルチスケールレシオ画像と前記ＨＤＲ画像における対数ルミナンスピクセル値とに基づき第２対数トーンマッピングされた画像を生成するステップと、
前記ダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像と前記第２対数トーンマッピングされた画像とに基づき出力トーンマッピングされた画像を生成するため、前記第２対数トーンマッピングされた画像を正規化するステップと、
前記入力ＨＤＲ画像と前記出力トーンマッピングされた画像とに基づき第２レシオ画像を生成するステップと、
量子化された第２レシオ画像を生成するため、前記第２レシオ画像を量子化するステップと、
を有する記憶媒体。

【請求項42】

前記量子化された第２レシオ画像と前記出力トーンマッピングされた画像とは、ＪＰＥＧ−ＨＤＲ画像を生成するため、エンコーダに提供される、請求項４１記載の記憶媒体。

【請求項43】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、第１レベルダウンスケーリングされた対数レシオ画像を生成するため、係数Ｎ（Ｎは正の整数）により前記対数レシオ画像をダウンスケーリングすることを含む、請求項４１記載の記憶媒体。

【請求項44】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、第２レベルダウンスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第１レベルダウンスケーリングされた対数レシオ画像をダウンスケーリングすることを含む、請求項４３記載の記憶媒体。

【請求項45】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、第３レベルダウンスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第２レベルダウンスケーリングされた対数レシオ画像をダウンスケーリングすることを含む、請求項４４記載の記憶媒体。

【請求項46】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、第３レベル重み付けされた対数レシオ画像を生成するため、第３レベルスケール係数により前記第３レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングすることを含む、請求項４５記載の記憶媒体。

【請求項47】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、第２レベル重み付けされた対数レシオ画像を生成するため、第２レベルスケール係数により前記第２レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングすることを含む、請求項４６記載の記憶媒体。

【請求項48】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、第２レベルアップスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第３レベル重み付けされた対数レシオ画像をアップスケーリングし、前記第２レベル重み付けされた対数レシオ画像を加算することを含む、請求項４７記載の記憶媒体。

【請求項49】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、第１レベル重み付けされた対数レシオ画像を生成するため、第１レベルスケール係数により前記第１レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングすることを含む、請求項４８記載の記憶媒体。

【請求項50】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、第１レベルアップスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第２レベルアップスケーリングされた対数レシオ画像をアップスケーリングし、前記第１レベル重み付けされた対数レシオ画像を加算することを含む、請求項４９記載の記憶媒体。

【請求項51】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、ゼロレベル重み付けされた対数レシオ画像を生成するため、ゼロレベルスケール係数により前記対数レシオ画像のピクセル値をスケーリングすることを含む、請求項５０記載の記憶媒体。

【請求項52】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、前記対数マルチスケールレシオ画像を生成するため、前記係数Ｎにより前記第１レベルアップスケーリングされた対数レシオ画像をアップスケーリングし、前記ゼロレベル重み付けされた対数レシオ画像を加算することを含む、請求項５１記載の記憶媒体。

【請求項53】

前記入力対数レシオ画像を係数Ｎによりダウンスケーリングすることは、前記係数Ｎにより前記対数画像の水平方向のピクセル解像度と垂直方向のピクセル解像度とを低減することを含む、請求項４３記載の記憶媒体。

【請求項54】

前記正の整数は８に等しい、請求項４３記載の記憶媒体。

【請求項55】

前記ダウンスケーリングステップのそれぞれの出力をローパスフィルタリングするステップを更に有する、請求項５２記載の記憶媒体。

【請求項56】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行するステップは更に、
第１レベルダウンスケーリングされた対数レシオ画像を生成するため、係数Ｎ（Ｎは正の整数）により前記対数レシオ画像をダウンスケーリングするステップと、
第２レベルダウンスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第１レベルダウンスケーリングされた対数レシオ画像をダウンスケーリングするステップと、
第３レベルダウンスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第２レベルダウンスケーリングされた対数レシオ画像をダウンスケーリングするステップと、
第３レベル重み付け対数レシオ画像を生成するため、第３レベルスケール係数により前記第３レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングするステップと、
第２レベル重み付けされた対数レシオ画像を生成するため、第２レベルスケール係数により前記第２レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングするステップと、
第２レベルアップスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第３レベル重み付けされた対数レシオ画像をアップスケーリングし、前記第２レベル重み付けされた対数レシオ画像を加算するステップと、
第１レベル重み付けされた対数レシオ画像を生成するため、第１レベルスケール係数により前記第１レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングするステップと、
第１レベルアップスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第２レベルアップスケーリングされた対数レシオ画像をアップスケーリングし、前記第１レベル重み付けされた対数レシオ画像を加算するステップと、
ゼロレベル重み付けされた対数レシオ画像を生成するため、ゼロレベルスケール係数により前記対数レシオ画像のピクセル値をスケーリングするステップと、
前記対数マルチスケールレシオ画像を生成するため、前記係数Ｎにより前記第１レベルアップスケーリングされた対数レシオ画像をアップスケーリングし、前記ゼロレベル重み付けされた対数レシオ画像を加算するステップと、
を有する、請求項４１記載の記憶媒体。

【請求項57】

前記ダウンスケーリングするステップのそれぞれの出力をローパスフィルタリングするステップを更に有する、請求項５６記載の記憶媒体。

【請求項58】

前記計算されたヒストグラムを正規化するステップを更に有する、請求項４１記載の記憶媒体。

【請求項59】

前記ヒストグラムの正規化は、ＣＬＡＨＥ（Ｃｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ａｄａｐｔｉｖｅ Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎ）を含む、請求項５８記載の記憶媒体。

【請求項60】

前記ヒストグラムの正規化は、ＨＣＴＮ（Ｈｉｓｔｏｇｒａｍ ＣＬＡＨＥ Ｔｏｎｅ−ｍａｐ Ｎｏｒｍａｌｉｚａｔｉｏｎ）を含む、請求項５９記載の記憶媒体。

【請求項61】

ＨＤＲ画像を符号化するシステムであって、
前記ＨＤＲ画像における対数ルミナンスピクセル値のヒストグラムを計算する手段と、
前記ヒストグラムに基づきトーンマッピングされた曲線を生成する手段と、
前記ＨＤＲ画像における対数ルミナンスピクセル値と前記トーンマッピングされた曲線とに基づき、対数グローバルトーンマッピングされたルミナンス画像を計算する手段と、
前記対数グローバルトーンマッピングされたルミナンス画像に基づきダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像を計算する手段と、
前記ＨＤＲ画像における対数ルミナンスピクセル値と前記ダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像とに基づき対数レシオ画像を計算する手段と、
対数マルチスケールレシオ画像を生成するため、前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行する手段と、
前記対数マルチスケールレシオ画像と前記ＨＤＲ画像における対数ルミナンスピクセル値とに基づき第２対数トーンマッピングされた画像を生成する手段と、
前記ダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像と前記第２対数トーンマッピングされた画像とに基づき出力トーンマッピングされた画像を生成するため、前記第２対数トーンマッピングされた画像を正規化する手段と、
前記入力ＨＤＲ画像と前記出力トーンマッピングされた画像とに基づき第２レシオ画像を生成する手段と、
量子化された第２レシオ画像を生成するため、前記第２レシオ画像を量子化する手段と、
を有するシステム。

【請求項62】

前記量子化された第２レシオ画像と前記出力トーンマッピングされた画像とは、ＪＰＥＧ−ＨＤＲ画像を生成するため、エンコーダに提供される、請求項６１記載のシステム。

【請求項63】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行する手段は更に、第１レベルダウンスケーリングされた対数レシオ画像を生成するため、係数Ｎ（Ｎは正の整数）により前記対数レシオ画像をダウンスケーリングする手段を含む、請求項６１記載のシステム。

【請求項64】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行する手段は更に、第２レベルダウンスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第１レベルダウンスケーリングされた対数レシオ画像をダウンスケーリングする手段を含む、請求項６３記載のシステム。

【請求項65】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行する手段は更に、第３レベルダウンスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第２レベルダウンスケーリングされた対数レシオ画像をダウンスケーリングする手段を含む、請求項６４記載のシステム。

【請求項66】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行する手段は更に、第３レベル重み付けされた対数レシオ画像を生成するため、第３レベルスケール係数により前記第３レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングする手段を含む、請求項６５記載のシステム。

【請求項67】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行する手段は更に、第２レベル重み付けされた対数レシオ画像を生成するため、第２レベルスケール係数により前記第２レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングする手段を含む、請求項６６記載のシステム。

【請求項68】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行する手段は更に、第２レベルアップスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第３レベル重み付けされた対数レシオ画像をアップスケーリングし、前記第２レベル重み付けされた対数レシオ画像を加算する手段を含む、請求項６７記載のシステム。

【請求項69】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行する手段は更に、第１レベル重み付けされた対数レシオ画像を生成するため、第１レベルスケール係数により前記第１レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングする手段を含む、請求項６８記載のシステム。

【請求項70】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行する手段は更に、第１レベルアップスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第２レベルアップスケーリングされた対数レシオ画像をアップスケーリングし、前記第１レベル重み付けされた対数レシオ画像を加算する手段を含む、請求項６９記載のシステム。

【請求項71】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行する手段は更に、ゼロレベル重み付けされた対数レシオ画像を生成するため、ゼロレベルスケール係数により前記対数レシオ画像のピクセル値をスケーリングする手段を含む、請求項７０記載のシステム。

【請求項72】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行する手段は更に、前記対数マルチスケールレシオ画像を生成するため、前記係数Ｎにより前記第１レベルアップスケーリングされた対数レシオ画像をアップスケーリングし、前記ゼロレベル重み付けされた対数レシオ画像を加算する手段を含む、請求項７１記載のシステム。

【請求項73】

前記入力対数レシオ画像を係数Ｎによりダウンスケーリングする手段は、前記係数Ｎにより前記対数画像の水平方向のピクセル解像度と垂直方向のピクセル解像度とを低減する手段を含む、請求項６１記載のシステム。

【請求項74】

前記正の整数は８に等しい、請求項７３記載のシステム。

【請求項75】

前記ダウンスケーリング手段のそれぞれの出力をローパスフィルタリングする手段を更に有する、請求項７３記載のシステム。

【請求項76】

前記対数レシオ画像についてマルチスケール解像度フィルタリングを実行する手段は更に、
第１レベルダウンスケーリングされた対数レシオ画像を生成するため、係数Ｎ（Ｎは正の整数）により前記対数レシオ画像をダウンスケーリングする手段と、
第２レベルダウンスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第１レベルダウンスケーリングされた対数レシオ画像をダウンスケーリングする手段と、
第３レベルダウンスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第２レベルダウンスケーリングされた対数レシオ画像をダウンスケーリングする手段と、
第３レベル重み付け対数レシオ画像を生成するため、第３レベルスケール係数により前記第３レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングする手段と、
第２レベル重み付けされた対数レシオ画像を生成するため、第２レベルスケール係数により前記第２レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングする手段と、
第２レベルアップスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第３レベル重み付けされた対数レシオ画像をアップスケーリングし、前記第２レベル重み付けされた対数レシオ画像を加算する手段と、
第１レベル重み付けされた対数レシオ画像を生成するため、第１レベルスケール係数により前記第１レベルダウンスケーリングされた対数レシオ画像のピクセル値をスケーリングする手段と、
第１レベルアップスケーリングされた対数レシオ画像を生成するため、前記係数Ｎにより前記第２レベルアップスケーリングされた対数レシオ画像をアップスケーリングし、前記第１レベル重み付けされた対数レシオ画像を加算する手段と、
ゼロレベル重み付けされた対数レシオ画像を生成するため、ゼロレベルスケール係数により前記対数レシオ画像のピクセル値をスケーリングする手段と、
前記対数マルチスケールレシオ画像を生成するため、前記係数Ｎにより前記第１レベルアップスケーリングされた対数レシオ画像をアップスケーリングし、前記ゼロレベル重み付けされた対数レシオ画像を加算する手段と、
を有する、請求項６１記載のシステム。

【請求項77】

前記ダウンスケーリングする手段のそれぞれの出力をローパスフィルタリングする手段を更に有する、請求項７６記載のシステム。

【請求項78】

前記計算されたヒストグラムを正規化する手段を更に有する、請求項６１記載のシステム。

【請求項79】

前記ヒストグラムの正規化手段は、ＣＬＡＨＥ（Ｃｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ａｄａｐｔｉｖｅ Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎ）を実行する手段を含む、請求項７８記載のシステム。

【請求項80】

前記ヒストグラムの正規化手段は、ＨＣＴＮ（Ｈｉｓｔｏｇｒａｍ ＣＬＡＨＥ Ｔｏｎｅ−ｍａｐ Ｎｏｒｍａｌｉｚａｔｉｏｎ）を実行する手段を含む、請求項７９記載のシステム。

【請求項81】

当該システムは、集積回路（ＩＣ）デバイスに配置される、請求項６１記載のシステム。

【請求項82】

当該ＩＣデバイスが配置されたシステムは、システム・オン・チップ（ＳＯＣ）からなる、請求項８１記載のシステム。

【請求項83】

前記ＩＣデバイスは、
マイクロプロセッサ、
ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ ＩＣ）、
デジタル信号プロセッサ（ＤＳＰ）、
プログラマブルロジックデバイス（ＰＬＤ）、
ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、
マイクロコントローラ、
システム・オン・チップ（ＳＯＣ）、
グラフィックプロセッサ、又は
カメラ制御ＩＣ、
の１以上を含む、請求項８１記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、参照することによりその全体がここに援用される、２０１２年８月８日に出願された米国仮特許出願第６１／６８１，０６１号に対する優先権を主張する。

【0002】

本発明は、一般に画像処理に関する。より詳細には、本発明の実施例は、ハイダイナミックレンジ（ＨＤＲ）を有する画像のための画像処理に関する。

【背景技術】

【0003】

現在又は従来のデジタル画像は、２４ビットフォーマットに従う。これらの画像は、画像の各ピクセルについてルミナンス及びクロミナンスデータなどのカラーと輝度情報との双方を格納するため２４ビットと同程度のビットを有する。このようなフォーマットは、従来の電子ディスプレイにより画像がレンダリング又は再生されることを可能にするのに十分な画像情報を保持し、出力参照規格であると考えられる。従来のディスプレイは、典型的には、３桁のダイナミックレンジ（ＤＲ）を有する。通常の肉眼は１：１０，０００までの又はそれ以上のコントラスト比を識別できるが、有意に高いダイナミックレンジを有する画像が知覚される可能性がある。

【0004】

現在の電子ディスプレイ技術の発展は、より高いダイナミックレンジによる画像レンダリング及び再生を可能にし、これは、従来のディスプレイのＤＲを大きく超過する。ハイダイナミックレンジ（ＨＤＲ）画像は、出力参照規格に準拠した画像フォーマットより忠実に実世界のシーンを表現する。従って、ＨＤＲ画像は、シーン参照（ｓｃｅｎｅ ｒｅｆｅｒｒｅｄ）とみなされるかもしれない。ＨＤＲ画像とこれをレンダリング可能なディスプレイとに関して、より限定的なＤＲの従来画像及び他の画像及びディスプレイは、ここではローダイナミックレンジ（ＬＤＲ）画像／ディスプレイと呼ばれる。

【0005】

本セクションにおいて説明されるアプローチは、追求可能なアプローチであるが、以前に想到又は追求されたアプローチである必要はない。従って、特段の断りがない場合、本セクションにおいて説明されるアプローチの何れも単に本セクションに含まれることによって従来技術として認められることが想定されるべきでない。同様に、１以上のアプローチに関して特定される問題は、特段の断りがない場合、本セクションに基づき従来技術において認識された者であると想定されるべきでない。

【図面の簡単な説明】

【0006】

本発明が、添付した図面により限定することなく具体例により説明され、同様の参照番号は同様の要素を参照する。

【図1A】図１Ａは、本発明の実施例による一例となるローカルマルチスケールトーンマッピングシステムを示す。

【図1B】図１Ｂは、本発明の実施例による一例となる画像符号化処理を示す。

【図2】図２は、本発明の実施例による一例となるローカルマルチスケール画像処理方法を示す。

【図3A】図３Ａは、本発明の実施例による一例となるＨＣＴＮブロックを示す。

【図3B】図３Ｂは、本発明の実施例による一例となる対応するマルチスケールフィルタリングを示す。

【図4A】図４Ａは、本発明の実施例による一例となるマルチスケールフィルタブロックを示す。

【図4B】図４Ｂは、本発明の実施例による一例となる対応する一例となるマルチスケールフィルタリング実現形態を示す。

【図4C】図４Ｃは、本発明の実施例による一例となる方法を示す。

【図5】図５は、本発明の実施例による一例となるレシオ画像プロセッサを示す。

【図6A】図６Ａは、本発明の実施例によるＨＤＲ画像のための一例となる符号化処理データフローを示す。

【図6B】図６Ｂは、本発明の実施例によるＨＤＲ画像のための一例となる符号化処理データフローを示す。

【図7】図７は、本発明の実施例によるＨＤＲ画像を表示するためのフュージョン・マージエクスポージャ処理を示す。

【図8A】図８Ａは、本発明の実施例による広範な色域と複数のカラー空間とをサポートする一例となるＪＰＥＧ−ＨＤＲ符号化復号化処理を示す。

【図8B】図８Ｂは、本発明の実施例による広範な色域と複数のカラー空間とをサポートする一例となるＪＰＥＧ−ＨＤＲ符号化復号化処理を示す。

【発明を実施するための形態】

【0007】

ＨＤＲ画像の画像処理に関する実施例がここで説明される。以下の説明では、説明のため、多数の具体的な詳細が本発明の完全な理解を提供するため与えられる。しかしながら、本発明がこれらの具体的な詳細なしに実現可能であることは明らかであろう。他の例では、本発明の態様を不必要に閉塞、曖昧又は難解にすることを回避するため、周知の構成及び装置は網羅的に詳細には説明されない。
［概略−ＨＤＲ画像］
本概略は、発明の実施例のいくつかの態様の基本的説明を提供する。本概略は可能な実施例の態様の広範な又は網羅的なサマリでないことに留意すべきである。さらに、本概略は可能な実施例の特に重要な態様又は要素を特定するものとして理解されることを意図しておらず、一般に特定の可能な実施例又は本発明の範囲を限定するものとして理解されることを意図していないことに留意すべきである。本概略は、単に凝縮された簡略されたフォーマットによる可能な実施例に関連するいくつかのコンセプトしか提供せず、以下の実施例のより詳細な説明に対する単なる概念的な準備として理解されるべきである。

【0008】

本発明の実施例は、ＨＤＲ画像の符号化に関する。ＨＤＲ入力画像におけるログルミナンスは、ロググローバルトーンマッピングされたルミナンス画像が計算されると共に、トーンマップを生成するようヒストグラム化される。ロググローバルトーンマッピングされたルミナンス画像がダウンスケーリングされる。ログルミナンス及びロググローバルトーンマッピングされたルミナンス画像は、ログレシオ画像を生成する。ログレシオ画像をフィルタリングするマルチスケール解像度は、ログマルチスケールレシオ画像を生成する。ログマルチスケールレシオ画像及びログルミナンスは、第２ログトーンマッピングされた画像を生成し、ダウンスケーリングされたロググローバルトーンマッピングされたルミナンス画像及び正規化された画像に基づきトーンマッピングされた画像を出力するよう正規化される。ＨＤＲ入力画像及び出力されるトーンマッピングされた画像は、量子化される第２レシオ画像を生成する。

【0009】

アクティブデバイス（トランジスタなど）のアレイが、半導体ダイに配置される。アクティブデバイスは、画像エンコーダとして機能するよう構成又は動作相互接続される。エンコーダは、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）入力画像の各ピクセルから導出される複数のログルミナンス値をヒストグラム化するための第１トーンマッパを有する。第１トーンマッピング手段は、第１レシオ画像をダウンスケーリングし、それの各ピクセルを水平方向及び垂直方向に再帰的にローパス処理する。第１レシオ画像のサイズに依存して、第１レシオ画像は１、２又は３つのレベルに対して破棄及びフィルタリングされる。従って、対応するレシオ画像は、各レベルにおいてレンダリングされる。対応するレシオ画像のそれぞれは、ＩＣデバイスから独立した（例えば、外部の）ストレージ（メモリなど）に書き込まれる。各レベルにおけるアンプは、デシメータが機能する各レベルに対応するスケーリングファクタにより対応するレシオ画像のそれぞれのフィルタリングされたピクセルを重み付けする。バイリニア補間手段は、前のレベルのそれぞれに次に後続するレベルに重み付けされた各レシオ画像をアップスケーリングする。各レベルにおける加算手段は、重み付けされたレシオ画像のそれぞれを次の前のレベルからの重み付けされたレシオ画像と加算する。第２トーンマッピング手段は、ベース画像とそれのトーンマッピングされたレシオ画像とをマッピングし、そのそれぞれはより低いダイナミックレンジの入力ＨＤＲ画像に対応する。ベース画像とそれのベースレシオ画像とは量子化される。量子化されたベース画像とベースレシオ画像とは、ＪＰＥＧフォーマットによる圧縮用のＪＰＥＧエンコーダなどに出力されてもよい。

【0010】

いくつかの現在の電子ディスプレイは、従来のディスプレイのＤＲ能力を超える本質的にシーン参照されるＨＤＲ画像をレンダリングする。ディスプレイのＤＲ能力に関して、“レンダリング”、“再生”、“復元”、“提示”、“生成”、“回復”及び“生成”という用語は、ここでは同義的及び／又は互換的に利用されてもよい。本発明の実施例は、従来のディスプレイと共に現在のディスプレイにより効果的に機能する。実施例は、対応可能な現在のディスプレイが実質的にそのフルコントラスト比及び後方互換性によちＨＤＲ画像をレンダリングすることを可能にし、従来及びＬＤＲディスプレイデバイスが自らのより限定的なＤＲ再生能力の範囲内で画像をレンダリングすることを可能にする。実施例は、ＬＤＲディスプレイと新たなＨＤＲディスプレイ技術とに対するこのような後方互換性をサポートする。

【0011】

実施例は、画像に関する付加的な情報を提供する符号化されたメタデータと共に、トーンマッピングされたベース画像（画像の対応するＨＤＲインスタンスより低いＤＲを有する画像のインスタンスなど）により本質的にＨＤＲ画像を表現する。付加的な情報は、画像強度関連（ルミナンス、ルマなど）データ及び／又はカラー関連（クロミナンス、クロマなど）データを有する。付加的データは、ＨＤＲ画像インスタンスと対応するベース画像インスタンスとの間のＤＲの差分に関する。従って、相対的に限定的なＤＲ再生能力を有する第１（例えば、従来の）ディスプレイは、トーンマッピングされた画像を利用して、既存の、確立された又は一般的な画像圧縮／解凍（ｃｏｄｅｃ）規格などに従って通常のＤＲ画像を提示してもよい。

【0012】

実施例は、通常のＤＲ画像が、ここに完全に提供されるかのように、全ての目的のためその全体が参照することにより援用されるｔｈｅ Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ ａｎｄ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ，ＪＰＥＧ ＩＳＯ／ＩＥＣ１０９１８−１ ＩＴＵ−Ｔ Ｒｅｃ．Ｔ．８１のＪＰＥＧ規格に従って処理されることを可能にする。さらに、第２（例えば、現在の）ＨＤＲ対応可能なディスプレイは、ＨＤＲ画像を効果的に提示するための画像メタデータと共に、トーンマッピングされた画像を処理してもよい。一方では、トーンマッピングされた画像は、従来のディスプレイに通常のダイナミックレンジ画像を提示するのに利用される。他方、付加的なメタデータは、ＨＤＲ画像を生成、復元又は提示するため、トーンマッピングされた画像と共に利用されてもよい（例えば、ＨＤＲディスプレイなどにより）。実施例は、トーンマッピングオペレータ（ＴＭＯ）を用いて、ＨＤＲ画像に基づきトーンマッピングされた画像インスタンスを生成する。

【0013】

Ｒｅｉｎｈａｒｄグローバルフォトグラフィックオペレータなどの各種ＴＭＯが、トーンマッピングされた画像を相対的に効率的に生成するのに利用されてもよい。計算コストが無関係、利用可能又は無視できる場合、バイラテラルフィルタが、相対的に高品質のトーンマッピングされた画像を生成するのに利用されてもよい。バイラテラルフィルタリングは、典型的にはより計算効率的なＲｅｉｎｈａｒｄｔオペレータが失う可能性のある明るいエリアなどの画像詳細を保存することに役立つ。さらに又は代わりに、ヒストグラム調整オペレータＴＭＯ及び／又は勾配ドメインオペレータＴＭＯが利用されてもよい。

【0014】

実施例では、画像フォーマットは、非ＨＤＲ画像と共に、ＨＤＲ画像を良好かつ効率的にレンダリングする。実施例は、ＪＰＥＧフォーマット及び／又は他の各種画像フォーマットと共に機能してもよい。例えば、実施例は、画像関連の分野において当業者が精通するＭＰＥＧ、ＡＶＩ、ＴＩＦＦ、ＢＭＰ、ＧＩＦ又は他の適切なフォーマットの１以上により機能するものであってもよい。実施例はＪＰＥＧ−ＨＤＲ画像フォーマットに従って機能し、それは、ここに完全に提供されたかのように、全ての目的のため参照することによりその全体が援用される、Ｗａｒｄ，Ｇｒｅｇ ａｎｄ Ｓｉｍｍｏｎｓ，Ｍａｒｙａｎｎｅ，“Ｓｕｂｂａｎｄ Ｅｎｃｏｄｉｎｇ ｏｆ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｅｒｙ”，ｉｎ Ｆｉｒｓｔ ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ａｐｐｌｉｅｄ Ｐｅｒｃｅｐｔｉｏｎ ｉｎ Ｇｒａｐｈｉｃｓ ａｎｄ Ｖｉｓｕａｌｉｚａｔｉｏｎ（ＡＰＧＶ），ｐｐ．８３−９０（２００４）；Ｗａｒｄ，Ｇｒｅｇ ａｎｄ Ｓｉｍｍｏｎｓ，Ｍａｒｙａｎｎｅ，“ＪＰＥＧ−ＨＤＲ：Ｂａｃｋｗａｒｄｓ−Ｃｏｍｐａｔｉｂｌｅ，Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｅｘｔｅｎｓｉｏｎ ｔｏ ＪＰＥＧ”，ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｈｉｒｔｅｅｎｔｈ Ｃｏｌｏｒ Ｉｍａｇｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ，ｐｐ．２８３−２９０（２００５）；ａｎｄ Ｅ．Ｒｅｉｎｈａｒｄ，Ｇ．Ｗａｒｄ，ｅｔ ａｌ．Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｉｎｇ−Ａｃｑｕｉｓｉｔｉｏｎ，Ｄｉｓｐｌａｙ ａｎｄ Ｉｍａｇｅ−Ｂａｓｅｄ Ｌｉｇｈｔｉｎｇ，ｐｐ．１０５−１０８，Ｅｌｓｅｖｉｅｒ，ＭＡ（２０１０）に説明される。

【0015】

広範な画像レンダリング装置上に画像を表示するため、トーンマッピングオペレータ（ＴＭＯ）は、入力ＨＤＲ画像をトーンマッピング（ＴＭ）されたベース画像に処理する。ＴＭベース画像は、入力画像に対するカラー変化（例えば、色相変化、カラークリッピング、芸術的様相など）を含むものであってもよい。いくつかの技術の下、ＴＭベース画像は、入力ＨＤＲ画像に等しいＨＤＲ画像を再構成するためのルミナンスレシオと共にダウンストリーム画像デコーダに提供される。しかしながら、ダウンストリーム画像デコーダは、ＴＭベース画像及びグレイスケールルミナンスレシオに依拠して、再構成されたＨＤＲ画像におけるカラー変化を削除することができないであろう。この結果、カラー変化は、再構成されたＨＤＲ画像において顕著なままである。

【0016】

ここに説明される実施例のＨＤＲ画像エンコーダは、入力ＨＤＲ画像及びＴＭベース画像に基づきルミナンスレシオだけでなくカラー残差値もまた生成する。ルミナンスレシオ及びカラー残差値は、ＨＤＲ再構成データとして総称されてもよい。任意的に及び／又はさらに、ルミナンスレシオは、相対的に広範なルミナンス値をサポートするため、対数領域に変換される。任意的に及び／又はさらに、結果としての対数ルミナンスレシオ及びカラー残差値は量子化される。任意的に及び／又はさらに、量子化された対数レシオ及びカラー残差値は、残差画像に格納される。量子化された対数レシオ及びカラー残差値、又はいくつかの実施例では残差画像は、ＴＭベース画像と共にダウンストリーム画像デコーダに提供される。任意的に及び／又はさらに、量子化された対数レシオ及びカラー残差値（レンジリミットなど）に関連するパラメータがまた、ＴＭベース画像と共に提供される。

【0017】

ここに説明される実施例のＴＭＯは、低い（黒の）又は高い（白の）ルミナンスレベルを有する個々のピクセルについてカラーチャネルにおいてカラークリッピングを自由に実行してもよい。また、ここに説明されるＴＭＯは、各ピクセルにおける色相を維持することを要求されない。ここに説明される技術の下、ユーザは、画像コンテンツ（例えば、人間の姿、屋内画像、屋外シーン、夜間のビュー、日没など）又はアプリケーション（例えば、映画、ポスター、ウェディング写真、雑誌などにおいて使用される）に基づきＴＭＯを自由に選択する。カラークリッピング又は変更は、画像の芸術的様相を作成するのに慎重かつ自由に利用されてもよい。ＨＤＲ画像エンコーダ及びデコーダは、広範な可能なカラー変化を導入しうる異なるタイプの編集ソフトウェア及びカメラメーカーにより実行されるＴＭＯをサポートする。ここに説明された技術の下、ＨＤＲエンコーダは、カラー残差値をＨＤＲデコーダに提供する。次に、ＨＤＲデコーダは、カラー変更が再構成されたＨＤＲ画像に存在することを防ぐ（又は最小化）するため、カラー残差値を利用する。

【0018】

実施例は、ビットストリーム及び／又は画像ファイルを利用して、ＴＭベース画像及びそれらの各自の対応するＨＤＲ再構成データを格納し、復号化及び／又はレンダリングのためダウンストリーム画像ビューワ又はデコーダに提供してもよい。実施例では、画像フォーマットは、各種編集ソフトウェアアプリケーション及び／又はカメラメーカーにより実装されうるＴＭＯをサポートする。実施例は、例えば、標準的なＪＰＥＧ画像フォーマットと、ＪＰＥＧ−ＨＤＲなどの拡張、エンハンス又は改良されたＪＰＥＧ関連フォーマットを含む各種画像フォーマットにより機能してもよい。さらに、あるいは又は任意的に、実施例は、ＪＰＥＧ関連画像フォーマットと共に利用されてもよいものに関連して、１以上の実質的な態様、属性、オブジェクト、符号化仕様又はパフォーマンスパラメータが変更されるコーデック／規格に基づく又は一緒に利用される画像フォーマットを利用してもよい。実施例は、ＪＰＥＧ−ＨＤＲ画像フォーマットを利用して、ルミナンスレシオ及びカラー残差値と共にＴＭベース画像の格納をサポートする。さらに、任意的に又はあるいは、画像ファイルに格納されているＴＭベース画像と残差画像との１以上が圧縮されてもよい。実施例では、画像データ圧縮が、ＪＰＥＧ規格に従って実行される。さらに、あるいは又は任意的には、実施例は、ＪＰＥＧ関連画像フォーマットにより利用可能なものに関連して、１以上の実質的な態様、属性、オブジェクト、符号化仕様又はパフォーマンスパラメータが変更される規格に従って圧縮を実行してもよい。

【0019】

ＪＰＥＧフォーマットがＬＤＲ画像に限定されるとき、ＪＰＥＧ−ＨＤＲは、ＪＰＥＧフォーマットに対する実質的に後方互換的なＨＤＲの拡張を有する。ＪＰＥＧ−ＨＤＲは、新たなＨＤＲディスプレイデバイス上へのＨＤＲ画像レンダリングと、ＨＤＲ又は非ＨＤＲディスプレイデバイス上への非ＨＤＲ（ＬＤＲなど）画像レンダリングとを同時にサポートする。ＪＰＥＧ−ＨＤＲは、ＪＰＥＧにおいて規定されるような標準的な位置にトーンマッピングされた画像を格納し、非ＨＤＲディスプレイデバイスにより無視されうる新たな位置に付加的なメタデータを格納する。付加的なメタデータは、オリジナルＨＤＲ画像のＨＤＲバージョンを生成／復元するため、トーンマッピングされた画像と共に利用されてもよい。

【0020】

実施例では、ＪＰＥＧ ＨＤＲエンコーダは、集積回路（ＩＣ）デバイスにより実現又は配置される。実施例では、ここに説明されるデバイス、回路及び／又は機構は、カメラや他の画像レンダリング及びレンダリング又はディスプレイシステム、セルラ無線電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、パーソナル、ポータブル若しくはコンシューマ電子デバイス（例えば、写真、計算、映画、音楽、情報、娯楽、音声用など）におけるコンポーネントから構成される。

【0021】

実施例は、そのコピーがＡｎｎｅｘ Ａとして（出願された）本明細書に付属され、全ての目的のためにここに援用される、Ｗｅｎｈｕｉ Ｊｉａ，ｅｔ ａｌにより特許協力条約に従って２０１２年４月１６日に出願された特許出願番号ＰＣＴ／ＵＳ２０１２／０３３７９５“ＥＮＣＯＤＩＮＧ，ＤＥＣＯＤＩＮＧ，ＡＮＤ ＲＥＰＲＥＳＥＮＴＩＮＧ ＨＩＧＨ ＤＹＮＡＭＩＣ ＲＡＮＧＥ ＩＭＡＧＥＳ、又はＤｏｌｂｙ Ｌａｂｏｒａｔｏｒｉｅｓによる明細書”ＪＰＥＧ−ＨＤＲ Ｅｎｃｏｄｅｒ ａｎｄ Ｄｅｃｏｄｅｒ Ａｌｇｏｒｉｔｈｍ Ｓｐｅｃｉｆｉｃａｔｉｏｎ“に記載されるような１以上の機能を実行してもよい。

【0022】

実施例は、参照することにより全ての目的のためにその全体がここに援用される、Ｇｒｅｇｏｒｙ Ｊｏｈｎ ＷａｒｄによるＰＣＴに従って２０１２年３月１日に出願された特許出願番号ＰＣＴ／ＵＳ２０１２／０２７２６７号“ＬＯＣＡＬ ＭＵＬＴＩ−ＳＣＡＬＥ ＴＯＮＥ ＭＡＰＰＩＮＧ ＯＰＥＲＡＴＯＲ”に記載されるような１以上の機能を実行してもよい。

【0023】

ここに記載される好適な実施例と汎用的な原理及び特徴とに対する各種変更は、当業者に容易に明らかであろう。従って、本開示は、図示された実施例に限定されることを意図としておらず、ここに記載された原理及び特徴に整合した最も広範な範囲が与えられるべきである。
［一例となるＪＰＥＧ ＨＤＲエンコーダ］
実施例では、ＪＰＥＧ ＨＤＲエンコーダは、通常はチップとして参照されるＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）デバイスにより実現される。例えば、エンコーダは、ＩＣデバイス内に配置されてもよい。ＩＣデバイスは、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ ＩＣ）デバイス、デジタル信号プロセッサ（ＤＳＰ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）及び／又はグラフィックプロセッサとして実現されてもよい。ＩＣデバイスは、マイクロプロセッサ、プログラマブルロジックデバイス（ＰＬＤ）、ＦＰＧＡ又はマイクロコントローラなどの１以上の設定可能又はプログラム可能なデバイス又はＡＳＩＣを備えたシステム・オン・チップ（ＳＯＣ）として実現されてもよい。

【0024】

ＩＣデバイスは、半導体ダイ内に配置されるトランジスタなどのアクティブデバイスコンポーネントのアレイを有する。アクティブデバイスコンポーネントは、モジュール、レジスタ、キャッシュ、ロジックゲート、ロジック及び計算（算術／浮動小数点など）ユニットとして機能するか、又はＪＰＥＧ ＨＤＲ符号化に整合しうる他の処理を実行するようアレイ化、構成、設定及び／又はプログラムされる。アレイのアクティブコンポーネントは、アクティブデバイスコンポーネントとそれと共に形成される各種機能モジュールとの間の信号及びデータの電気的／電子的やりとりを可能にするためダイ内に配置されるトレース／ビアのネットワーク、アドレス／ワードラインの格子などの少なくとも部分的に導電性のルーティングファブリックにより相互接続される。アクティブコンポーネントは、ＩＣデバイスの外部の信号、データ及び電源との電気的、電子的及び／又は通信接続を可能にする少なくとも部分的に導電性のインタフェースにより動作的にアドレス指定可能である（ルーティングファブリックのノード又は一部などを介し）。

【0025】

ＪＰＥＧ ＨＤＲエンコーダの実施例が、ＡＳＩＣにより実現されるものとしてここでは説明される。簡単化のため、ここで説明されるＡＳＩＣの実装はまた、設定可能及びプログラム可能なＩＣの実装を表す。図１Ａは、本発明の実施例による一例となるＪＰＥＧ ＨＤＲエンコーダ１０を示す。

【0026】

エンコーダ１０は、ＡＳＩＣにより実現される。エンコーダ１０は、アドバンストハイパフォーマンスバス（ＡＨＢ）インタフェースを介し入力画像を受信する。プレトーンマッピングＰｒｅ＿ＴＭは、入力画像データをトーンマッピングに有用なフォーマットに変換する。ＰＲＥ＿ＴＭは、４：２：２クロマサンプリングフォーマットから４：４：４フォーマットなどへのクロマアップサンプリングを実行する。ＰＲＥ＿ＴＭは、画像入力のカラー空間（ＹＣｂＣｒなど）をＲＧＢなどの三刺激カラー空間に変換する。Ｐｒｅ＿ＴＭは、ＲＧＢ変換された画像に対してリバース（インバース）ガンマ（γ）訂正を実行する。

【0027】

エンコーダ１０は、入力ＨＤＲ画像からトーンマッピングされたベース画像を生成するトーンマッピング機能を実行する。エンコーダ１０は、以下のテーブル１に示される一例となる入力フォーマットなどの各種フォーマットにより入力されるＨＤＲ画像を処理するよう実現されてもよい。

【0028】

【表1】

トーンマッピング機能は、ｃｏｎｔｒａｓｔ−ｌｉｍｉｔｅｄ ａｄａｐｔｉｖｅ ｈｉｓｔｏｇｒａｍ ｅｑｕａｌｉｚａｔｉｏｎ（ＣＬＡＨＥ）を利用して、入力ＨＤＲ画像に対してトーンマップ正規化機能を実行するｈｉｓｔｏｇｒａｍ ａｄｊｕｓｔｅｄ ｍｕｌｔｉ−ｓｃａｌｅ ｔｏｎｅ ｍａｐｐｉｎｇ ｏｐｅｒａｔｏｒ（ＨＡＭＳ−ＴＭＯ）を有する。正規化機能は、入力画像に対するｈｉｓｔｏｇｒａｍ ＣＬＡＨＥ ｔｏｎｅ ｍａｐ ｎｏｒｍａｌｉｚａｔｉｏｎ（ＨＣＴＮ）により実現されてもよい。ＨＡＭＳ−ＴＭＯ ＨＣＴＮは、１２ビットリニアＲＧＢフォーマットにより正規化されたトーンマッピングされたベース画像を出力する。ＨＡＭＳ−ＴＭＯ ＨＣＴＮの実施例が以下に説明される（図２及び３）。レシオ画像プロセッサＲＩ＿Ｐｒｏｃは、正規化されたトーンマッピングされたベース画像から１以上のレシオ画像を計算及び処理してもよい。

【0029】

ＨＡＭＳ−ＴＭＯ ＨＣＴＮ処理によって、ポストトーンマッピングＰｏｓｔ＿ＴＭは、正規化された１２ビットＲＧＢ画像に対してガンマ訂正を復元し、これにより８ビットＲＢＧ画像を生成する。Ｐｏｓｔ＿ＴＭは、トーンマッピングされたベース画像を圧縮用にＪＰＥＧエンコーダに送信する。Ｐｏｓｔ＿ＴＭは、ガンマ再訂正された８ビット画像のＲＧＢカラー空間をＪＰＥＧ互換的なカラーフォーマットによるＹＣｂＣｒ画像（４：２：２又は４：２：０など）に変換する。例えば、Ｐｏｓｔ＿ＴＭＯは、ガンマ符号化（典型的には、ユーザにより規定されたルックアップテーブルを介し１２ビットＲＧＢ入力が８ビット入力に変換される場合）、ＲＧＢからＹＣｂＣｒカラー変換（３×３カラーマトリックス変換などを介し）、及びクロマカラー平面の適切なサブサンプリングを介した４：４：４から４：２：２又は４：２：０への変換を含むものであってもよい。エンコーダ１０は、複数のポストトーンマッピングモジュールＰｏｓｔ＿ＴＭサブブロックを有してもよい。例えば、エンコーダ１０は、３つのＰｏｓｔ＿ＴＭサブブロックにより実現されてもよい。

【0030】

図１Ｂは、本発明の実施例による一例となる画像符号化処理１００を示す。実施例では、エンコーダ１０は、入力ＨＤＲ画像を受信又はアクセスすると、処理１００に関して説明されたように機能する。ステップ１０１において、ＨＤＲ入力画像のピクセルの対数（ログ）ルミナンス値に基づきヒストグラムが計算される。ステップ１０２において、トーンマップ曲線が計算されたヒストグラムに基づき生成される。ステップ１０３において、対数グローバルトーンマッピングされたルミナンス画像が、入力ＨＤＲ画像の対数ルミナンスピクセル値及びトーンマップ曲線に基づき計算される。

【0031】

ステップ１０４において、対数グローバルトーンマッピングされたルミナンス画像は、ダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像を計算するためダウンサンプリングされる（例えば、垂直方向及び水平方向に間引かれるなど）。ステップ１０５において、ＨＤＲ入力画像のダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像及び対数ルミナンスピクセル値に基づき、対数レシオ画像が計算される。ステップ１０６において、マルチスケールフィルタリングが、対数マルチスケールレシオ画像を生成するため、対数レシオ画像に対して実行される。ステップ１０７において、第２対数トーンマッピングされた画像が、ＨＤＲ入力画像の対数マルチスケールレシオ画像及び対数ルミナンスピクセル値に基づき生成される。

【0032】

ステップ１０８において、第２対数トーンマッピングされた画像は、ピクセル強度値のレンジを変更し、コントラスト伸張を実現するため正規化される。出力されたトーンマッピングされた画像が、それとダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像とに基づき生成される。ステップ１０９において、第２レシオ画像が、出力されるトーンマッピングされた画像及び入力ＨＤＲ画像に基づき生成される。ステップ１１０において、第２レシオ画像が量子化される。ステップ１１１において、出力されるトーンマッピングされた画像及び量子化された第２レシオがＪＰＥＧエンコーダに出力される。一例となる処理１００の各ステップにおいて、生成されたグローバルトーンマッピングされた画像及びレシオ画像が、エンコーダ１０のインタフェースなどを介し外部メモリに対して読み書きされる。

【0033】

図２は、本発明の実施例による一例となるヒストグラム調整マルチスケールトーンマッピング手段２００を示す。実施例は、ヒストグラム調整マルチスケールトーンマッピング手段２００は、上述されたようなＨＡＭＳ−ＴＭＯ ＨＣＴＮ機能を実現する（図１）。ＨＡＭＳ−ＴＭＯ２００は、三刺激（ＲＧＢなど）又は他の（ＹＣｂＣｒなど）カラー空間によるＨＤＲ画像を受信する。ルミナンスモジュール（２０１）は、入力ＨＤＲ ＲＧＢ画像に対して１６ビットルミナンス値Ｙを計算する。対数ルミナンスモジュールＬＯＧ（２０２）は、ルミナンス値Ｙをリニアドメインから対数ドメインに変換する。ＬＯＧモジュール２０２は、ルミナンス値Ｙのベース２の対数“ｌｏｇＹ”への変換を実現する。

【0034】

１６ビットリニアルミナンス値を変換すると、ＬＯＧモジュールは、結果としてのベース２の対数（ｌｏｇ_２）値であるｌｏｇＹをＱ４．１２データとして保存する（例えば、想定バイナリポイント前の４ビットとその後の１２ビットなど）。例えば、対数は整数コンポーネントと小数コンポーネントとを有する。従って、実施例は、ベース２の対数ｌｏｇ_２Ｙを実現するため、整数ｌｏｇＹコンポーネントと小数ｌｏｇＹコンポーネントを分離する。整数部分は、正規化における左シフト数に従って計算され、小数の８ビットは、以下のテーブル２の一例となる擬似コードに示されるように、ルックアップテーブルＬＵＴにインデックス化される。

【0035】

【表2】

５１２個のビンを有するヒストグラムＨＩＳＴ（２０３）は、小数ｌｏｇＹコンポーネントから構成される。小数ログルミナンス値は、１６ビット整数値として扱われる。従って、ビン間のインターバルは、６５５３６／５１２＝１２８からなる。その後、ＨＡＭＳ−ＴＭＯ２００は、ヒストグラムに対してＣＬＡＨＥ調整を実行する。ダイナミックレンジは、例えば、以下のテーブル３Ａに示される一例となる擬似コードなどに従ってヒストグラムから計算される。

【0036】

【表3A】

出力ダイナミックレンジ（ＯＤＲ）は、５のベース２の値に変換される自然対数（ベースｅ）対数ドメインにおいてデフォルト値３．５により設定可能である。ヒストグラムクリッピングファクタ“ｃｆ”は、例えば、
ｃｆ＝（（ｏｄｒ＊（ｂｍａｘ−ｂｍｉｎ＋１））＜＜１２）／（ｄｒｉｎ）
などにより計算され、ヒストグラムは、以下のテーブル３Ｂに示される擬似コードなどに従って複数の繰り返しにより調整されてもよい。

【0037】

【表3B】

累積ヒストグラムは、調整されたヒストグラムから計算され、例えば、以下のテーブル３Ｃに示される擬似コードなどに従ってＱ４．１２データフォーマットの１２ビット対数ドメインにマッピングされる。

【0038】

【表3C】

このようなＣＬＡＨＥヒストグラム等価は、ｌｏｇＹ画像のグローバルトーンマッピングオペレータとして実現されるマッピング曲線を生成する。マッピング極性は５１２個のビンを有するため、リニア補間が、例えば、以下のテーブル３Ｄに示される擬似コードなどに従って５１２個のビンのそれぞれのルミナンス値に対して計算される。

【0039】

【表3D】

ＣＬＡＨＥマッピング出力は、Ｑ４．１２フォーマットのｌｏｇＹ画像（２０４）を有する。実施例では、ＨＡＭＳ−ＴＭＯ２００は、ヒストグラムＣＬＡＨＥ（ｃｏｎｔｒａｓｔ−ｌｉｍｉｔｅｄ ａｄａｐｔｉｖｅ ｈｉｓｔｏｇｒａｍ ｅｑｕａｌｉｚａｔｉｏｎ）トーンマップ正規化機能を実行するブロックにより実現される。

【0040】

図３Ａ及び３Ｂはそれぞれ、本発明の実施例による一例となるヒストグラムＣＬＡＨＥトーンマップ正規化（ＨＣＴＮ）ブロック３０と、対応する一例となるＨＣＴＮ処理３００のフローとを示す。ＨＣＴＮブロック３０は、２５００万以上のピクセルの画像をサポートするよう実現されてもよい。三刺激値（ＲＧＢなど）又は他の（ＹＣｂＣｒなど）カラー空間による入力画像を受信すると、ＨＣＴＮ３０は、それのルミナンス値Ｙを計算する（処理ステップ３０１）。ステップ３０２において、Ｙ値は、ＨＣＴＮブロック３０に返される対応する対数値ｌｏｇＹの計算用の共有ロジックに出力される。ステップ３０３において、ｌｏｇＹ値に基づきヒストグラムが計算され、テーブル“ｈｔ０”に格納される。全ての入力画像ピクセルを計数すると、ＣＬＡＨＥが、ステップ３０４において、ｈｔ０ヒストグラム値を正規化するため計算される。

【0041】

全ての入力画像ピクセルを計数すると、ＣＬＡＨＥが、ステップ３０４において、ｈｔ０ヒストグラム値を正規化するため計算される。ステップ３０５において、バッファされるｌｏｇＹ値が補間され、対数トーンマッピングされた画像ｌｏｇＹｔｍが生成される。例えば、トーンマッピング曲線は、ヒストグラムの５１２個のビンに対して実現される。従って、リニア補間が、ｌｏｇＹｔｍを実現するため、５１２個のビンのそれぞれにおけるルミナンス値に対して計算される。ステップ３０６において、対数レシオ画像ｌｏｇＲＩが、ｌｏｇＲＩ＝ｌｏｇＹｔｍ−ｌｏｇＹの対数ドメインに対して実行される減算関数によりｌｏｇＹ値及びｌｏｇＹｔｍ画像から計算される。ステップ３０７において、ｌｏｇＹヒストグラムがクリッピングされる。ステップ３０８において、マルチスケールフィルタリング後、トーンマッピングされたｌｏｇＹ値が、リニアルミナンス値Ｙ’に正規化される。ステップ３０９において、任意的な曲線関数が、最終的なトーンマッピングされた画像を出力するため、リニアトーンマッピングされたＹ’値に対して適用されてもよい。

【0042】

図４Ａ、４Ｂ及び４Ｃはそれぞれ、本発明の実施例による一例となるマルチスケールフィルタ（ＭＳＦ）ブロック４０００、対応する一例となるマルチスケールフィルタリング実現形態及び一例となる処理４００を示す。ＨＣＴＮブロック３０（図３Ａ）と同様に、ＭＳＦ４０００は、２５００万以上のピクセルの画像をサポートするよう実現されてもよい。ＭＳＦ４０００は、それの水平方向のサイズと垂直方向のサイズとに対して予め計算された係数（８など）によって入力対数レシオ画像ＩＢＩを間引きする。ＭＳＦ４０００は、７つなどの複数のタップに対して間引きされた画像を有する各ピクセルをローパスフィルタリングする。ローパスダウンスケーリングされた画像は、以前にダウンスケーリングされた予め計算された同一の係数などによって、以降にアップスケーリングされてもよい。

【0043】

ＭＳＦ４０００は、ｍｓｎ＝ｆｌｏｏｒ（ｌｏｇ_８ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ））＋１＝ｆｌｏｏｒ（ｌｏｇ_２ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）／３）＋１の一例となる実現式に従って、入力におけるそれのオリジナルのサイズに基づき入力画像がスケーリングされるステージ数ｍｓｎを予め計算する。ＭＳＦ４０００は、各サイズにおいてトータルで６４の４つのステージのそれぞれに対して水平方向のサイズと垂直方向のサイズとに対して、８までの係数により入力対数レシオ画像ＩＢＩを間引きするよう実現されてもよい。

【0044】

従って、実施例では、図４Ｂに示されるように、フィルタリング実現形態は４つのステージ４０、４１、４２、４３を有する。ステージ４０〜４３のそれぞれは、画像サイズが８^２＝６４の係数により低減され、ＭＳＦ４０００が６４のトータルの係数により画像を間引きするように、８の係数によって垂直方向及び水平方向に画像を間引く。従って、各ステージにおいて、対数レシオ画像が８の係数によりダウンスケーリングされる。８の係数によるダウンスケーリングは、以下のテーブル４に示される擬似コードなどに従ってｍｓｎレベル（ステージなど）のそれぞれにおいて繰り返される。

【0045】

【表4】

各ステージにおいて、７タップローパスフィルタリングが、間引きされた画像の各ピクセルに対して実行されてもよい。間引きされた各画像が第１空間方向に対応する水平方向においてまずフィルタリングされ、その後に、第１方向に関して空間的に垂直な垂直方向にフィルタリングされる実施例が実現される。各種のスケーリング画像が、ミラー拡張などのパディングなどによって、それらの境界において揃えられる。

【0046】

アンプは、各ステージにおいて加重係数“Ａｌｐｈａ”をレシオ画像に適用する。ステージｋのそれぞれについて（ｋはゼロからｍｓｎ−１までの整数（ｋ＝０，１，．．．，ｍｓｎ−１））、実施例は、Ａ_ｋ＝２＊（ｋ＋１）／（ｍｓｎ（ｍｓｎ＋１））に従って加重係数Ａｌｐｈａ（Ａ）を計算する。当該ウェイトの合計は１である。加重係数が２＊（ｍｓｎ−（ｋ−１）＋１）／ｍｓｎ＊（ｍｓｎ＋１）又は１／ｍｓｎとして計算される実施例が実現されてもよい。

【0047】

アップスケーリングが、ダウンスケーリングされたフィルタリングされたレシオ画像に対して（ｍｓｎ−１）回実行される。重み付けされた対数レシオ画像が、各ステージにおいてアップスケーリングされた画像に加えられる。実施例は、例えば、画像の空間的なコーナーにおける４つのポイントなどを利用して前のステージの低解像度画像の補間（バイリニア補間など）と、アップサンプリングされたブロックを構成するため、それの水平方向のサイズ及び垂直方向のサイズに対する補間とによるアップスケーリングを実現する。

【0048】

ステージ４０１は、入力画像Ｒ_０をダウンスケーリング及びフィルタリングし、第１レシオ画像Ｒ_１をステージ４０２にわたす。同様に、ステージ４０２及びステージ４０３〜４０７のそれぞれは、各自の前のステージのそれぞれによりわたされたレシオ画像の順序的に以降のダウンスケーリングされたローパスレシオ画像を各自の次のステージにわたす。各ステージからの重み付けされたレシオ画像は、次のステージからのアップスケーリングされた画像との和がとられる。

【0049】

ＭＳＦ４０００は、レジスタインタフェースを介しオフボードメモリにコンフィギュレーションレジスタにより書き込まれるトーンマッピングされたルマ、ルミナンス又は他の強度関連のトーンマッピングされた値を生成する。

【0050】

実施例では、ＭＳＦ４０００及び／又は実現形態４００は、一例となるマルチスケール解像度フィルタリング処理４００の１以上のステップに従って機能する。一例となる処理４００は図４Ｂ及び図４Ｃに示されるフローチャートを参照して後述される。処理４００は、レベル４１、４２及び４３のそれぞれに対して画像をプログレッシブにダウンスケーリングすることによって、対数レシオ画像Ｒ_０（図１Ｂのステップ１０５において生成される）の処理を開始する。ダウンスケーリングの各レベルにおいて、画像は垂直方向及び水平方向においてプログレッシブに間引きされる。

【0051】

ステップ４０１において、対数レシオ画像Ｒ_０は、Ｎの係数によって垂直方向及び水平方向にダウンスケーリングされる。ここで、Ｎは８などの正の整数からなる。第１レベルダウンスケーリングされた対数レシオ画像Ｒ_１が生成される。第１レベルダウンスケーリングされた対数レシオ画像Ｒ_１は、その後、第２レベルダウンスケーリングされた対数レシオ画像Ｒ_２を生成するため、ステップ４０２において、係数Ｎにより間引きされる。第２レベルダウンスケーリングされた対数レシオ画像Ｒ_２は、その後に第３レベルダウンスケーリングされた対数レシオ画像Ｒ_３を生成するため、ステップ４０３において係数Ｎにより間引きされる。実施例では、各レベルのダウンスケーリングされた画像出力がローパスされる。実施例では、全てのレベルが利用される必要はない。

【0052】

ステップ４０４において、第３レベルダウンスケーリングされた対数レシオ画像Ｒ_３のピクセル値が、第３レベルの重み付けされたレシオ画像Ｒ_３’を生成するため、第３レベルスケール係数（Ａｌｐｈａ［３］など）によりスケーリングされる。ステップ４０５において、第２レベルダウンスケーリングされた対数レシオ画像Ｒ_２のピクセル値は、第２レベルスケーリングされた重み付けされたレシオ画像Ｒ_２’を生成するため、第２レベルスケール係数（Ａｌｐｈａ［２］など）によりスケーリングされる。ステップ４０６において、第３レベル重み付けされたレシオ画像Ｒ_３’が係数Ｎによりアップスケーリングされ、第２レベルアップスケーリングされた対数レシオ画像

【数1】

を生成するため、第２レベルスケーリングされた重み付けされたレシオ画像Ｒ_２’との和がとられる。

【0053】

ステップ４０７において、第１レベルダウンスケーリングされたレシオ画像Ｒ_１’が、第１レベル重み付けされた対数レシオ画像Ｒ_１’を生成するため、第１レベルスケール係数（Ａｌｐｈａ［１］など）によりスケーリングされる。ステップ４０８において、第２レベルアップスケーリングされた対数レシオ画像

【数2】

が係数Ｎによりアップスケーリングされ、第１レベルアップスケーリングされた対数レシオ画像

【数3】

を生成するため、第２レベルスケーリングされた重み付けされたレシオ画像Ｒ_２’と和がとられる。ステップ４０９において、対数レシオ画像Ｒ_０は、ゼロレベル重み付けされた対数レシオ画像Ｒ_０’を生成するため、ゼロレベルスケーリング係数（Ａｌｐｈａ［０］など）によりスケーリングされる。ステップ４１０において、第１レベルアップスケーリングされた対数レシオ画像

【数4】

が、係数Ｎによりアップスケーリングされ、対数マルチスケールレシオ画像

【数5】

を生成するため、ゼロレベルスケーリングされた重み付けされたレシオ画像Ｒ_０’との和がとられる。一例となる処理４００のステップは任意的であってもよい。

【0054】

図５は、本発明の実施例による一例となるレシオ画像プロセッサ５００を示す。実施例は、レシオ画像プロセッサ５００によりＲＩ＿Ｐｒｏｃ（図１）を実現する。レシオ画像プロセッサ５００は、ＴＭＯ２００（図２）から入力画像を受信する。ルミナンスレシオが、オリジナルのＨＤＲ入力画像からのルミナンス値Ｙと、トーンマッピングされた画像からのルミナンス値とから計算される。最大値及び最小値がピクチャ全体に対して計算され、対数ルミナンス値ｌｏｇＹ及び差分画像のＣｂＣｒクロミナンス値ＤｉｆｆＣｂＣｒを量子化するのに利用される。

【0055】

ｌｏｇＹ及びＤｉｆｆＣｂＣｒ値は、Ａｄｖａｎｃｅｄ Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｂｕｓ Ａｒｃｈｉｔｅｃｔｕｒｅ Ａｄｖａｎｃｅｄ ｅＸｔｅｎｓｉｂｌｅ Ｉｎｔｅｒｆａｃｅ（ＡＸＩ）インタフェース又は同様に対応可能なインタフェースなどを介し外部メモリに保存／書き込まれる。外部に保存／格納された値は、タイムリに量子化するためＡＸＩを介しリード／ロードされる。リアにフィードバックシフトレジスタ（ＬＦＳＲ）は、量子化中にｌｏｇＹチャネルによりディザリングのため乱数値を生成する。ＲＩ＿Ｐｒｏｃ５００は、量子化されたＤｉｆｆＣｂＣｒ及びｌｏｇＹ値をＪＰＥＧエンコーダに出力し、ＪＰＥＧエンコーダは、入力画像に対応するＪＰＥＧフォーマットにより画像を出力する。

【0056】

図６Ａ及び６Ｂはそれぞれ、本発明の実施例による一例となる符号化処理６０及びそれの一例となるデータフロータイムラインを示す。ＨＤＲ入力ピクチャを受信すると（６１）、ステップ６２において、ヒストグラム及びダウンスケーリングされたＬｏｇＹ画像ＬｏｇＹ１が生成される。ヒストグラムは正規化される。フロー６００において、ＪＰＥＧ−ＨＤＲエンコーダ（図１のエンコーダ１００など）コアは、ＨＤＲ入力画像全体を読み込む。エンコーダは、入力画像ピクセルのＬｏｇＹ値に基づきヒストグラムを生成し、ヒストグラムを等化し、ＬｏｇＹ１をダウンスケーリングされた画像バッファＢｕｆｆ＿Ｌｏｇ１に書き込む。実施例では、ヒストグラムは、ＣＬＡＨＥを用いて等化される。

【0057】

ステップ６３において、トーンマッピングにおいて利用される実際のピクセル単位のスケーリング係数を生成するマルチスケールフィルタリングが実行される。ステップ６４において、ピクセル単位のスケーリング係数が各ピクセルに対して適用される。トーンマッピングされたベース画像は、８ビットガンマ符号化されたＹＣｂＣｒ４：２：２／４：２：０／４：４：４に変換され、外部メモリに圧縮されたベース画像を書き込むＪＰＥＧエンコーダに送信されてもよい。オリジナルのトーンマッピングされたＲＧＢデータは、外部メモリにまた書き込まれる生の予め量子化されたレシオ画像を生成するのに処理される。ステップ６５において、生のレシオ画像が外部メモリから読み出され、量子化される。量子化されたレシオ画像は、ＪＰＥＧエンコーダに出力され（６６）、圧縮されてもよい。
［一例となるＨＤＲ画像のための重み付けされたマルチリージョンベースエクスポージャ］
スマートフォン、コンピュータモニタなどの従来のローエンドコンシューマディスプレイデバイスは、ＪＰＥＧ−ＨＤＲ画像のフルダイナミックレンジを表示することができないかもしれない。このような場合、ディスプレイは、典型的には、対応するＨＤＲ画像のトーンマッピングされたローダイナミックレンジ（ＬＤＲ）バージョンを出力する。このトーンマッピングされた画像は、典型的には、ユーザからの入力なくカメラによって自動生成され、撮影者の意図をキャプチャしていない。

【0058】

いくつかの実施例では、ユーザは、タッチ画面、コンピュータマウス、スクロールバーなどのデバイスのユーザインタフェースを利用して、ＨＤＲピクチャをスクロールしてもよい。この場合、ユーザは、フルダイナミックレンジにより画像の一部を観察可能であってもよいが、画像の残りは暗すぎるか又は明るすぎて表示される可能性がある。しかしながら、ユーザは、画像の複数の部分の詳細を閲覧することを所望するかもしれない。従って、ユーザが関心領域に基づきＨＤＲ画像のエクスポージャを調整することを可能にすることが有用であろう。

【0059】

一実施例では、最終的なＨＤＲ画像のエクスポージャは、ユーザにより選択された２以上の関心領域を考慮してもよい。これらの領域は、画像をキャプチャする前（カメラ又は他のキャプチャリング装置などにより）又は画像のキャプチャ後（例えば、対応するＬＤＲ画像を表示するときなど）に選択されてもよい。タッチ画面インタフェース（ｉＰｈｏｎｅ又はｉＰａｄなど）によるいくつかの実施例では、これらの領域は、ユーザによりタッチされる１以上のピクセルを囲むほぼ同一のルミナンスのピクセルを表すものであってもよい。他の実施例では、ユーザは、コンピュータマウス、トラックボール、キーボードなどの他のインタフェースを用いてこれらの領域を選択してもよい。さらなる他の実施例では、これらの領域は、予め選択されたユーザの嗜好（顔、動物、テキストなど）に基づき自動的に選択されてもよい。

【0060】

一実施例では、第１タッチポイントを囲むエリアが、第１最適エクスポージャガンマに設定可能である（１８％グレイなど）。次に、第２タッチポイントについて、第２の最適エクスポージャガンマが計算される。最終的な画像は、第１及び第２エクスポージャガンマにより重み付けされた最終的なエクスポージャガンマを用いて表示されてもよい。これは、結果のピクチャの残りを合成しながら、ディスプレイのダイナミックレンジ内に第１及び第２タッチポイントの双方をもたらす。３、４又はＮ個などの何れかの個数のタッチポイントが特定可能である。重み付け係数は、平均値、中間値、中央値、比例するウェイト、線形、非線型及び／又はキャップされた（最大値／最小値）ものに等しくすることができる。特定の実施例では、当該技術はユーザコマンド（アンドゥボタンなど）により取り消すことができる。

【0061】

図７に示されるように、他の実施例では、結果としてのピクチャがフュージョン・マージ処理を用いて生成可能である。この処理では、選択された各関心ポイントについて（７１０）、当該処理は、対応するエクスポーズされたＬＤＲ画像を生成する（７２０）。オリジナルのＨＤＲ画像から生成されるこのようなＮ個のエクスポージャ（又はＬＤＲ画像）が与えられると、実施例は、Ｎ個全てのエクスポージャを単一の出力画像に適切に合成することによって、合成画像を生成してもよい（７３０）。このような合成処理の一例は、ここに完全に与えられるかのように、参照することにより全体が援用される“Ｅｘｐｏｓｕｒｅ Ｆｕｓｉｏｎ”，ｂｙ Ｔ．Ｍｅｒｔｅｎｓ．ｅｔ ａｌ．，１５ｔｈ Ｐａｃｉｆｉｃ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ（Ｐａｃｉｆｉｃ Ｇｒａｐｈｉｃｓ，２００７），ａｔ ｐｐ．３８２−３９０に記載される技術を用いて実現されてもよい。
［一例となる適応的レシオ画像量子化］
上述されたように、ルミナンスＨＤＲ画像（Ｙ_ｈ）及びそれのトーンマッピングされた表現（Ｙ_ｔ）が与えられると、レシオ画像Ｙ_Ｒは、

【数6】

として表現されてもよい。レシオ画像のダイナミックレンジは、対数関数や平方根関数などの可逆関数を適用することによって圧縮されてもよい。従って、対数関数が適用される一実施例では、

【数7】

である。

【0062】

対数レシオ画像（ｌｏｇ（Ｙ_Ｒ））はまた、８ビットレシオ画像を生成するため、さらに量子化されてもよい。

【0063】

【数8】

高精度により表現されたピクセル値又はダイナミックレンジを有するオリジナルレシオ画像では（浮動小数点数などを用いて）、レシオ画像を８ビットピクセル値に量子化することは、逆量子化関数を適用する際に復元不可な丸め誤差を生成する。この誤差は、画像符号化の精度に影響を与え、ＪＰＥＧ−ＨＤＲフォーマットを用いて符号化可能な画像のダイナミックレンジを限定するものであってもよい。

【0064】

実施例では、対数関数は、任意の可逆関数Ｆにより置換される。Ｆが与えられると、量子化された８ビットレシオ画像は、

【数9】

として表現されてもよい。これは、デコーダが

【数10】

に従ってオリジナルのレシオ画像を復元することを可能にする。ここで、Ｙ_Ｒ’は復元されたレシオ画像を示す。実施例では、最大値及び最小値Ｆ（Ｙ_Ｒ）は、ＪＰＥＧデコーダによりアクセス可能なメタデータとしてＪＰＥＧ−ＨＤＲ画像データに含まれる。

【0065】

実施例では、Ｆ関数は、Ｍ（Ｙ_Ｒ’，Ｙ_Ｒ）を最小化するように選択されてもよい。ここで、Ｍは、平均２乗誤差、ＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）又はＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）などのある品質基準に従って、Ｙ_Ｒ’とＹ_Ｒとの間の差分を測定する指標を示す。Ｍ（２つの画像の間のＭＳＥなど）は、Ｆの最適化処理のための目的関数を表す。Ｆは、パラメータ関数とすることが可能であり、あるいは、ルックアップテーブル（ＬＵＴ）を介し定義可能である。Ｍが与えられると、“Ａ ｓｉｍｐｌｅ ｍｅｔｈｏｄ ｆｏｒ ｆｕｎｃｔｉｏｎ ｍｉｎｉｍｉｚａｔｉｏｎ”，ｂｙ Ｊ．Ａ Ｎｅｌｄｅｒ，Ｊｏｈｎ ａｎｄ Ｒ．Ｍｅａｄ，Ｃｏｍｐｕｔｅｒ Ｊｏｕｒｎａｌ，Ｎｏ．７，ｐｐ．３０８−３１３，１９６５に記載されるＮｅｌｄｅｒ−Ｍｅａｄ法などの周知な最適化技術を適用して、Ｆを決定してもよい。

【0066】

実施例では、ＪＰＥＧ−ＨＤＲヘッダは、逆符号化関数Ｆ^−１を表す復号化ＬＵＴを含むものであってもよい。準拠するＪＰＥＧ−ＨＤＲデコーダは、ＬＵＴを用いて受信したレシオ画像を８ビットデータからより高い精度の（浮動小数点など）Ｙチャネルデータに変換してもよい。ＬＵＴは、８ビットデータを浮動小数点値に直接マッピングする２５６個のエントリを有してもよい。
［一例となるヒストグラム等化ベース方法］
実施例は、ヒストグラムの等化又はコントラスト限定ヒストグラムの等化がＦ関数を導出するための処理を提供する点で、計算効率性に関する。ヒストグラムの等化は、任意の分布を有するソースルミナンスを、一様なヒストグラムを有するルミナンスに変換し、これによりレシオ画像がより効率的に符号化される。ヒストグラムの等化を利用する実施例では、Ｆは後述されるように計算されてもよい。

【0067】

ａ）Ｙ_Ｒのヒストグラムｈｉｓｔを計算する。ヒストグラムは、単にピクセル値ｉがレシオ画像に出現するインスタンス数（ｈｉｓｔ_ｉなど）を示す。

【0068】

ｂ）ｈｉｓｔの累積ヒストグラムｃ＿ｈｉｓｔを計算する。例えば、累積ヒストグラムは、

【数11】

として計算されてもよい。

【0069】

ｃ）ｃ＿ｈｉｓｔを正規化及びスケーリングすることによってＦを決定する。例えば、

【数12】

である。ここで、変数ｓｃａｌｅは、２５５などのＦの最大値を決定する。

【0070】

上述されるように計算された符号化関数Ｆは、無限の微分係数又は傾きを有するエリアを有してもよく、このため、Ｆは一意的なマッピングを提供せず、逆関数Ｆ^−１は存在しない。Ｆの傾き又は微分係数を制限することは、実施例がＦにより提供されるマッピングの一意性及びＦ^−１の存在を保証することを可能にする。

【0071】

ヒストグラム等化アプローチは、符号化精度をルミナンス値の出現頻度に比例させる。従って、より低い頻度で出現するルミナンス値はより大きな誤差により等化され、頻繁に出現するルミナンス値はより小さな誤差により等化される。
［ＪＰＥＧ−ＨＤＲにおける一例となるカスタム色域サポート］
典型的な単一の画像ファイルフォーマットは、ＩＣＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｌｏｒ Ｃｏｎｓｏｒｔｉｕｍ）又はＷＣＳ（Ｗｉｎｄｏｗｓ Ｃｏｌｏｒ ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）プロファイルを用いて、レンダリングデバイス（ディスプレイなど）にカラー情報を通信してもよい。ＩＣＣプロファイル及びＷＣＳプロファイルは、画像が特定のカラー空間にレンダリングされることを要求する。レンダリングの一部として、ターゲットカラー空間において表現できない全てのカラーは、表現可能なカラーに色域マッピングされるべきである。この色域マッピングの結果として、カラー情報の一部はレンダリングされた画像において消失される可能性がある。

【0072】

例えば、画像はハイエンドで広範な色域のカメラによりキャプチャされてもよく、あるいは、コンピュータグラフィック（ＣＧ）ソフトウェアを用いて生成されてもよい。その後、結果として得られる画像は、ｓＲＧＢカラー空間にレンダリングされてもよい。ｓＲＧＢカラー空間は最も一般的なカラー空間であり、オペレーティングシステム及びディスプレイデバイスの大部分によりサポートされる。しかしながら、ｓＲＧＢカラー空間が相対的に小さな色域を有するとき、ｓＲＧＢによりカバーされない全ての画像カラーは、ｓＲＧＢカラーにマッピングされる必要がある。ｓＲＧＢ画像がその後にはるかに広範な色域を有する撮像デバイスに送信された場合、オリジナルのより広範な色域マッピングされたカラーを復元するための確実な方法はない。従って、色域マッピングは、非可逆的な情報の消失を生じさせ、サブ最適なカラー再生を生じさせる可能性がある。

【0073】

画像レンダリングの他の態様は、視聴状態の指定に関する。例えば、家庭とオフィスの視聴状態は、典型的には、カラーグレーディング又はカラーマッチング環境に用いられる視聴状態と異なる。ＩＣＣワークフローは正確な視聴状態（ＶＣ）を指定するため、ワークフローをフレキシブルでないものにする。ＷＣＳは、ある程度のＶＣフレキシビリティを可能にするが、画像がレンダリングされると、変更を逆転させることは実際的に不可能である。

【0074】

色域マッピングとＶＣとの双方は、画像がどのようにレンダリングされるかに関する仮定に基づきコンテンツ作成者が行うべきレンダリング決定セットを規定する。実生活では、可能性のある全ての利用ケース及び対象となる撮像デバイスと共に、全ての可能性のある目的のための最適なレンダリング決定を行うことは不可能である。

【0075】

実施例では、ＪＰＥＧ−ＨＤＲファイルフォーマットは、１つのセットはキャプチャデバイス又はオリジナルのＨＤＲデータに関するものであり、他のセットはカラー化された画像を利用する対象となる従来のワークフローに関するものである２つの別個の色域関連メタデータセットを可能にする。従って、標準的な色域及びダイナミックレンジを有する従来の撮像デバイスは、カラーが正確な画像コンテンツを提供するため、従来のＩＣＣ及びＷＣＳワークフローに基づくデフォルトのレンダリングされた画像を依然として示すことが可能である。同時に、広範な色域、より高いダイナミックレンジ及び／又はジャストインタイムなレンダリングをサポートするデバイスはまた、視聴状態とデバイス特性との双方を考慮したダイナミックレンダリングのためオリジナルの画像データを復元することが可能であってもよい。例えば、アプリケーションは、オリジナルのシーンデータを復元し、対象となるディスプレイデバイスの特性及び現在の視聴状態に基づきこれをレンダリングする。従って、ＪＰＥＧ−ＨＤＲメタデータがより正確かつフレキシブルなジャストインタイムなレンダリングを可能にしながら、ベース画像は、既存のカラー管理ワークフローとの後方互換性を提供する。

【0076】

ＪＰＥＧ−ＨＤＲ画像は、ベース画像（ベースラインＪＰＥＧ画像など）とＨＤＲメタデータ（レシオ画像及びカラー残差データなど）とを含む。ベース画像は、トーンマッピング及び色域マッピングされたレンダリングされた画像であり、典型的には、ｓＲＧＢカラー空間にレンダリングされる。ＪＰＥＧコンテナは、ベース画像のカラー空間を示すか、又は各種撮像デバイスに関する整合性のあるカラー再生を可能にするＩＣＣ／ＷＣＳカラープロファイルを含むものであってもよい。

【0077】

ＨＤＲメタデータはまた、ＸＹＺプライマリなどのデバイスから独立した空間か、又は付属の第２のＩＣＣ／ＷＣＳカラープロファイルの何れにカラー空間情報を含めてもよい。ＨＤＲメタデータカラー空間は、ベース画像のカラー空間とは異なるものであってもよい。メタデータの色域は、典型的には、ベース画像の色域より大きい。例えば、カメラのメタデータカラー空間は、典型的には、カメラセンサのカラー空間に一致する。ＣＧ画像について、メタデータカラー空間は、オリジナル画像に提示される全てのカラーを含むものであってもよい。従って、実施例は、プロファイルなどの２以上のカラー空間記述子を用いて、ＪＰＥＧ−ＨＤＲにおける広範な色域のエンハンスされたサポートを提供する。１つのプロファイルはベース画像の符号化カラー空間を規定し、第２プロファイルはＨＤＲメタデータの符号化カラー空間を規定する。

【0078】

図８Ａは、実施例によるデュアルカラー空間をサポートする符号化処理を示す。図８Ａに示されるように、カラー空間Ｂにおいてキャプチャされた入力ＨＤＲ画像８０５は、カラー空間Ｂにおいてトーンマッピングされた画像８１５を生成するため、ＴＭＯ処理８１０によりトーンマッピングされてもよい。画像８１５は、カラー空間Ａにおいてベース画像８２５を生成するため、色域変換処理８２０によりさらに処理されてもよい。２つのカラー空間に関する情報を利用して、カラー空間Ａからカラー空間Ｂに画像を変換するためのカラー変換Ｔ_ＡＢを生成してもよい。変換Ｔ_ＡＢは、カラー空間Ｂにおいてベース画像８４５を生成するため、カラー変換ステップ８４０においてベース画像８２５に適用されてもよい。

【0079】

オリジナルＨＤＲ画像８０５及びベース画像８４５を利用して、処理８３０は、本発明において上述された方法に従ってＨＤＲメタデータ８３５を生成してもよい。最後に、画像８２５（カラー空間Ａにおける）及びＨＤＲメタデータ８３５（カラー空間Ｂにおける）は、ＪＰＥＧ−ＨＤＲ画像を生成するため、符号化及び合成されてもよい（８５５）。ＪＰＥＧ−ＨＤＲ画像８５５のファイルフォーマットは、２つのカラー空間に適したカラー記述子を含むものであってもよい。いくつかの実施例では、処理ステップ８１０，８２０は単一のステップに合成されてもよく、カラー空間ＢによるＨＤＲ画像（８０５）が与えられると、それはカラー空間Ａによりトーンマッピングされた画像を出力する（８２５）。マトリックスＴＲＣ（Ｔｏｎｅ Ｒｅｐｒｏｄｕｃｔｉｏｎ Ｃｕｒｖｅ）などの加算的カラー空間を利用することは、色域マッピングとトーンマッピングとの双方がオリジナルなカラー空間（Ｂなど）において実行可能であるとき、符号化中にステップ８１０と８２０とを組み合わせることを可能にする。また、カラー空間の間のカラー変換は、より正確になり、より計算効率的になる。

【0080】

図８Ｂは、実施例によるデュアル色域をサポートする復号化処理を示す。図８Ｂに示されるように、カラー空間Ａによるベース画像とカラー空間ＢによるＨＤＲメタデータとの２つのカラー空間によりデータを規定する入力ＪＰＥＧ−ＨＤＲ画像が与えられると、ベースデコーダは、カラー空間Ａ（ｓＲＧＢ）によるベース画像８６５を抽出する。画像８６５は、標準的なダイナミックレンジによる従来のディスプレイデバイスにベース画像を表示するのに利用されてもよい。

【0081】

２つのカラー空間に関する情報を利用して、カラー空間Ａからカラー空間Ｂに画像を変換するためのカラー変換Ｔ_ＡＢを生成してもよい。変換Ｔ_ＡＢは、カラー空間Ｂによるベース画像８７５を生成するため、カラー変換ステップ８７０においてベース画像８６５に適用されてもよい。入力８５５が与えられると、メタデータ復号化処理８９０は、カラー空間ＢによるＨＤＲメタデータ８９５を抽出する。最後に、ＨＤＲデコーダ８８０は、カラー空間ＢによるＨＤＲ画像８８５を生成するため、ベース画像８７５及びメタデータ８９５を合成してもよい。

【0082】

ＨＤＲメタデータが画像の可能性のある全てのカラーを含む広範なカラー空間にある場合、符号化された画像の値は常に正である。正の値は、符号化ステージ及び復号化ステージの間に画像を確認することを可能にする。すなわち、負の値が検出された場合、これらの値はゼロにされ、及び／又はエラーメッセージが発信されてもよい。ここに説明される方法はまた、従来のＳＤＲ画像より広範な色域を有する入力された標準的なダイナミックレンジ（ＳＤＲ）画像の符号化に適用されてもよい。入力されたＳＤＲ画像（８０５など）について、ＴＭＯ処理ステップ（８１０）は省略されてもよい。

【0083】

画像８８５は、特定の及び現在の視聴状態について対象となる撮像デバイスに以降においてレンダリングされてもよい。標準的なディスプレイであるＨＤＲディスプレイ、広範な色域のディスプレイ及びプリンタが、対象となる撮像デバイスの具体例である。薄暗い自然色で塗装された部屋及び明るく黄色で塗装された部屋は、異なる視聴状態の具体例である。

【0084】

本発明の実施例は、ＨＤＲ画像の符号化に関して説明される。ＨＤＲ入力画像における対数ルミナンスはトーンマップを生成するためヒストグラム化されると共に、対数グローバルトーンマッピングされたルミナンス画像が計算される。対数グローバルトーンマッピングされたルミナンス画像はダウンスケーリングされる。対数ルミナンス及び対数グローバルトーンマッピングされたルミナンス画像は、対数レシオ画像を生成する。対数レシオ画像をフィルタリングするマルチスケール解像度は、対数マルチスケールレシオ画像を生成する。対数マルチスケールレシオ画像及び対数ルミナンスは、第２対数トーンマッピングされた画像を生成し、それは、ダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像及び正規化された画像に基づきトーンマッピングされた画像を出力するため正規化される。ＨＤＲ入力画像及び出力されるトーンマッピングされた画像は、量子化される第２レシオ画像を生成する。量子化されたベース画像及びベースレシオ画像は、例えば、ＪＰＥＧフォーマットによる圧縮用のＪＰＥＧエンコーダなどに出力されてもよい。
［一例となるマルチスケールレシオ画像形成によるＪＰＥＧ−ＨＤＲ符号化］
実施例では、追加的な画像メタデータは、オリジナルのＨＤＲ画像から導出されるローカルマルチスケールグレイスケールレシオ画像を有する。実施例は、ここでの画像フォーマットにより発信された拡張ＹＣＣ色域などの色域を利用して、トーンマッピングされた画像及びローカルマルチスケールグレイスケールレシオ画像から生成／復元されるようなオリジナルのＨＤＲ画像のＨＤＲバージョンによる各ピクセルにおけるフル復元を可能にする。実施例では、ここに説明される技術は、オリジナルＨＤＲ画像のＨＤＲバージョンによる各ピクセルにおけるフル復元を可能にするため、閾値（トーンマッピングされた画像のトータルのピクセル数の０．０１％、０．１％、１％、２％など）以下のトーンマッピングされた画像における完全に黒のトーンマッピングされた値の個数を最小化する。

【0085】

ここでの技術では、所望されるルミナンス値の出力レンジを適合させるためにグローバルコントラストを圧縮し、人間の視覚に重要なローカルコントラストを失わせるグローバルトーンマッピング（ＴＭ）オペレータを利用する代わりに、ローカルマルチスケールトーンマッピング処理が、マッピング全体をそのままにしながら、グローバルＴＭオペレータにおいて危険となるローカルコントラストを向上させるトーンマッピングされた画像を生成するのに利用されてもよい。実施例では、ローカルマルチスケールＴＭ処理は、グローバル曲線（ヒストグラム調整ＴＭ曲線など）を用いて、詳細を失うことなくルミナンス値をマッピングする。実施例では、ローカルマルチスケールＴＭ処理が、処理における新たなアーチファクト（ハローなど）を生成／導入することなく、効率的に実行される。特定の実施例では、効率的な再帰的処理が、高い計算効率性によりここに説明されるようなローカルマルチスケール処理を実行するため実現される。特定の可能な実施例では、ローカルマルチスケール処理は、グローバルＴＭオペレータによるＴＭ処理より３０％長い時間しか費やさない。

【0086】

実施例では、入力ＨＤＲ画像がロードされ、それのルミナンス値は対数ドメインに変換される。ヒストグラム調整ＴＭ曲線が計算され、グローバルレシオグレイスケール画像を決定するため、ルミナンス値に適用される。ここで用いられるレシオ画像は、一般にトーンマッピング前の画像（入力ＨＤＲ画像又はそれの対数等価など）におけるルミナンス値と、トーンマッピング後の画像（トーンマッピングされた画像又はそれの対数等価など）におけるルミナンス値との間のレシオ値を有する画像を表す。実施例では、レシオ画像は、非対数ドメインにおける各ピクセル位置におけるトーンマッピング後の画像により除算されたトーンマッピング前の画像として論理的には表現されるか、又は対数ドメインにおける各ピクセル位置のトーンマッピング前の画像からトーンマッピング後の画像を差し引いたものとして等価的に表される。他の実施例では、レシオ画像は、非対数ドメインにおける各ピクセル位置においてトーンマッピング前の画像により除算されたトーンマッピング後の画像として論理的に表されるか、又は対数ドメインの各ピクセル位置におけるトーンマッピング後の画像からトーンマッピング前の画像を差し引いたものとして等価的に表される。これらの全ての実施例において、レシオ画像（ローカルマルチスケールＴＭ画像など）とトーンマッピング前の画像（入力ＨＤＲ画像など）が既知である場合、トーンマッピング前の画像（ローカルマルチスケールＴＭ画像など）は、シンプルな代数演算（非対数ドメインにおける乗算／除算、対数ドメインにおける加算減算など）を介し取得されてもよいことに留意すべきである。

【0087】

実施例では、対数ドメインでは、ローカルマルチスケールレシオにマージされる他のレシオ画像を生成するのに利用されるグローバルレシオ画像は、１６ビット整数値を用いて減算により効率的に計算される。実施例では、トーンマッピングされた画像における参照最大値が計算され、トーンマッピングされた画像が、少ないパーセンテージのピクセル以下しかサポートされている色域（拡張ＹＣＣ色域など）の範囲外にならないように修正されてもよい。

【0088】

実施例では、対数ドメインでは、ローカルマルチスケールレシオにマージされる他のレシオ画像を生成するのに利用されるグローバルレシオ画像が、１６ビット整数値を用いて減算により効率的に計算される。実施例では、トーンマッピングされた画像における参照最大値が計算され、トーンマッピングされた画像が、少ないパーセンテージのピクセル以下しかサポートされている色域（拡張ＹＣＣ色域など）の範囲外にならないように修正されてもよい。
［均等、拡張、代替及びその他］
上記明細書では、本発明の実施例が実現形態毎に変化しうる多数の具体的な詳細を参照して説明された。従って、本発明が何であるか、また出願により本発明であると意図されているもの唯一及び排他的な指標は、以降の訂正を含む請求項の具体的な形式による本出願から発行された請求項のセットである。請求項に含まれる用語についてここで明示的に提供される定義は、請求項に用いられるような用語の意味を規定する。従って、請求項に明示的には記載されない限定、要素、性質、特徴、効果又は属性は、請求項の範囲を限定すべきでない。明細書及び図面は、限定的な意味でなく例示的なものとしてみなされるべきである。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図5】

【図6A】

【図6B】

【図6B-1】

【図6B-2】

【図7】

【図8A】

【図8B】