特表 2024-528890 トーンマッピングのための方法、コンピュータプログラム、および電子デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-01

(54)【発明の名称】トーンマッピングのための方法、コンピュータプログラム、および電子デバイス

(51)【国際特許分類】

   G06T 5/92 20240101AFI20240725BHJP

   G06T 1/00 20060101ALI20240725BHJP

【ＦＩ】

G06T5/92

G06T1/00 500A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024505063

(86)(22)【出願日】2021-08-20

(85)【翻訳文提出日】2024-02-14

(86)【国際出願番号】 EP2021073182

(87)【国際公開番号】W WO2023020705

(87)【国際公開日】2023-02-23

(81)【指定国・地域】

(71)【出願人】

【識別番号】522456833

【氏名又は名称】ドリーム・チップ・テクノロジーズ・ゲーエムベーハー

【氏名又は名称原語表記】Ｄｒｅａｍ ＣＨＩＰ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＧｍｂＨ

【住所又は居所原語表記】Ｓｔｅｉｎｒｉｅｄｅ １０，３０８２７ Ｇａｒｂｓｅｎ，Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】ブラバト、マイノルフ

(72)【発明者】

【氏名】カマル、サイカト

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CC01

5B057CE01

5B057CE11

5B057CE17

5B057DB02

5B057DB06

5B057DC06

5B057DC22

5B057DC25

(57)【要約】

ＨＤＲ入力画像をＬＤＲ出力画像にトーンマッピングするための方法、コンピュータプログラム、および電子デバイスが提案されており、前記方法は、ａ）入力画像の輝度成分を取得することと、ｂ）グローバルトーンマッピング曲線である初期トーンマッピング曲線を取得することと、ｃ）入力画像の輝度分布を表す輝度ヒストグラムを取得することと、ｄ）輝度ヒストグラムから輝度分布の複数のクラスタを決定することと、ここにおいて、各クラスタは重心を有する、ｅ）各クラスタに対して、そのクラスタにおける輝度値の濃度に応じて初期トーンマッピング曲線の勾配を適応させることによって、適応されたトーンマッピング曲線を生成することと、ここにおいて、輝度値の濃度が高いほど、適応されたトーンマッピング曲線の勾配が大きくなる、ｆ）適応されたトーンマッピング曲線を入力画像の少なくとも輝度成分に適用することによって出力画像を生成することと、を備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

高ダイナミックレンジ入力画像を低ダイナミックレンジ出力画像にトーンマッピングする方法であって、前記方法は少なくとも、
ａ）前記入力画像の輝度成分を取得することと、
ｂ）グローバルトーンマッピング曲線である初期トーンマッピング曲線（１）を取得することと、
ｃ）前記入力画像の輝度分布を表す輝度ヒストグラム（３）を取得することと、
ｄ）前記輝度ヒストグラム（３）から前記輝度分布の複数のクラスタを決定することと、ここにおいて、各クラスタは重心（ｃ_１、ｃ_２、ｃ_３）を有する、
ｅ）各クラスタに対して、そのクラスタにおける輝度値の濃度に応じて前記初期トーンマッピング曲線（１）の勾配（ｍ_ｉ１、ｍ_ｉ２、ｍ_ｉ３）を適応させることによって、適応されたトーンマッピング曲線（５）を生成することと、ここにおいて、前記クラスタにおける輝度値の濃度が高いほど、そのクラスタに対する前記適応されたトーンマッピング曲線（５）の勾配（ｍ_ａ１、ｍ_ａ２、ｍ_ａ３）が大きくなる、
ｆ）前記適応されたトーンマッピング曲線（５）を前記入力画像の少なくとも前記輝度成分に適用することによって前記出力画像を生成することと、
を行うステップを備える、方法。

【請求項2】

ステップｃ）が、
－前記入力画像を圧縮することと、
－前記圧縮された入力画像から前記輝度ヒストグラム（３）を取得することと、
を備えることを特徴とする、請求項１に記載の方法。

【請求項3】

前記入力画像は、グローバルトーンマッピング曲線、特に、前記初期トーンマッピング曲線（１）を適用することによって圧縮されることを特徴とする、請求項２に記載の方法。

【請求項4】

前記初期トーンマッピング曲線（１）は、Reinhardによるグローバルトーンマッピング演算子に基づくことを特徴とする、請求項１乃至３のいずれか一項に記載の方法。

【請求項5】

ステップｄ）において、前記複数のクラスタは、ｋ平均クラスタリングによって決定されることを特徴とする、請求項１乃至４のいずれか一項に記載の方法。

【請求項6】

ステップｄ）は、２つ以上のクラスタを、これらのクラスタ間の距離および／またはこれらのクラスタの前記重心（ｃ_１、ｃ_２、ｃ_３）に応じて、特に、前記距離が閾値よりも小さい場合に、マージすることを含むことを特徴とする、請求項１乃至５のいずれか一項に記載の方法。

【請求項7】

前記クラスタにおける輝度値の前記濃度は、少なくとも
そのクラスタにおける前記輝度値の変動量、および／または
特に、前記輝度ヒストグラム（３）における輝度値の総数に関連した、そのクラスタにおける輝度値の数
に基づいて決定されることを特徴とする、請求項１乃至６のいずれか一項に記載の方法。

【請求項8】

ステップｅ）において、各クラスタに対して、前記初期トーンマッピング曲線（１）の前記勾配（ｍ_ｉ１、ｍ_ｉ２、ｍ_ｉ３）は、適応領域（ａａ_１、ａａ_２、ａａ_３）内の輝度値の前記濃度に応じて、前記適応領域（ａａ_１、ａａ_２、ａａ_３）内で適応され、前記適応領域（ａａ_１、ａａ_２、ａａ_３）は、前記クラスタの前記重心（ｃ_１、ｃ_２、ｃ_３）の周りの輝度値の範囲を含むことを特徴とする、請求項１乃至７のいずれか一項に記載の方法。

【請求項9】

前記適応領域（ａａ_１、ａａ_２、ａａ_３）のサイズおよび／または位置は、輝度値を表す下側境界（ｂ_ｌ１、ｂ_ｌ２、ｂ_ｌ３）および上側境界（ｂ_ｕ１、ｂ_ｕ２、ｂ_ｕ３）によって制限され、前記下側境界（ｂ_ｌ１、ｂ_ｌ２、ｂ_ｌ３）および／または前記上側境界（ｂ_ｕ１、ｂ_ｕ２、ｂ_ｕ３）は、
－それぞれのクラスタの前記重心（ｃ_１、ｃ_２、ｃ_３）、および／または
－前記それぞれのクラスタにおける前記輝度値の推定されるまたは実際の変動量、および／または
－異なるクラスタの重心（ｃ_１、ｃ_２、ｃ_３）間の距離、特に、前記それぞれのクラスタの重心（ｃ_１、ｃ_２、ｃ_３）と隣接クラスタの重心（ｃ_１、ｃ_２、ｃ_３）との間の距離
に応じて決定されることを特徴とする、請求項８に記載の方法。

【請求項10】

ステップｅ）は、複数の輝度ゾーンを決定することであって、各輝度ゾーンは、輝度範囲の一部をカバーする、決定することと、各輝度ゾーンに対してその出力値を適応させることによって前記初期トーンマッピング曲線（１）の前記勾配（ｍ_ｉ１、ｍ_ｉ２、ｍ_ｉ３）を適応させることとを備えることを特徴とする、請求項１乃至９のいずれか一項に記載の方法。

【請求項11】

ステップａ）は、前記入力画像の輝度成分および複数のクロミナンス成分を取得することを備え、ステップｆ）は、前記適応されたトーンマッピング曲線（５）を前記輝度成分および前記複数のクロミナンス成分に適用することを備えることを特徴とする、請求項１乃至１０のいずれか一項記載の方法。

【請求項12】

ステップｆ）は、前記出力画像の結果として生じるクロミナンス成分を、特に、彩度低下スケーリング係数を前記クロミナンス成分に適用することによって、彩度低下させることをさらに備えることを特徴とする、請求項１１に記載の方法。

【請求項13】

前記ステップｅ）は、前記初期トーンマッピング曲線（１）の前記勾配（ｍ_ｉ１、ｍ_ｉ２、ｍ_ｉ３）を適応させた後に、結果として生じる適応されたトーンマッピング曲線を、特に、ベルシュタイン多項式および／またはベルシュタイン－ベジェ多項式および／またはベジェ曲線を適用することによって、平滑化することを備えることを特徴とする、請求項１乃至１２のいずれか一項に記載の方法。

【請求項14】

コンピュータプログラムであって、前記コンピュータプログラムがコンピュータ上で実行されるときに、請求項１乃至１３のいずれか一項に記載の方法を実行するように適応されたプログラムコード手段を有する、コンピュータプログラム。

【請求項15】

請求項１乃至１３のいずれか一項に記載の方法を実行するように適応された電子デバイス（２０３）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、高ダイナミックレンジ（ＨＤＲ）入力画像を低ダイナミックレンジ（ＬＤＲ）出力画像にトーンマッピングする（tone mapping）ための方法に関する。

【0002】

さらに、本発明は、そのような方法を実行するように適応されたプログラムコード手段を有するコンピュータプログラムに関する。

【0003】

さらに、本発明は、そのような方法を実行するように適応された電子デバイスに関する。

【背景技術】

【0004】

一般に、本発明は、高ダイナミックレンジ（ＨＤＲ）撮像の分野に関する。ＨＤＲ画像は、典型的には、１４～１６ビットから２０～２４ビットのダイナミックレンジを提供するが、従来のＬＤＲ画像（または標準ダイナミックレンジ画像）は、典型的には、８～１０ビットのダイナミックレンジしか提供しない。したがって、ＨＤＲ画像は、非常に明るい領域を含むが、非常に暗い領域も含む現実世界のシーンの詳細を、従来のＬＤＲ画像よりもはるかに良好に保存することを可能にする。輝度は、画素の明るさを測定するために写真およびビデオ技術で使用される測光量である。ＨＤＲ画像は、人間の目に類似したダイナミックレンジを捕捉することを可能にし、それは、約１０^１４までの輝度範囲を検出することができる。

【0005】

しかしながら、一般的なディスプレイは、従来のＬＤＲ画像の輝度範囲を再現することしかできない。現在、ＨＤＲ画像の輝度範囲を再現することができる利用可能なディスプレイは存在しないが、非常に少数の高価なディスプレイのみが、約１２ビットの輝度範囲を再現することができる。

【0006】

これらのディスプレイコントラストの制限により、入力ＨＤＲ画像の輝度範囲は、通常のディスプレイ上に表示されるために低減されなければならない。ＨＤＲ画像をＬＤＲ画像に変換するこのプロセスは、一般にトーンマッピングと称される。

【0007】

高ダイナミックレンジ入力画像を低ダイナミックレンジ出力画像にトーンマッピングするための方法に関する本出願の文脈において、「低ダイナミックレンジ出力画像」という用語は、一般に、高ダイナミックレンジ入力画像のダイナミックレンジよりも小さいダイナミックレンジを有する任意の画像を指すことができる。特に、ある特定の実施形態において、低ダイナミックレンジは、例えば、８～１０ビットのダイナミックレンジを有する従来の低ダイナミックレンジ画像および／または標準ダイナミックレンジ（ＳＤＲ）画像であることができる。

【0008】

入力画像および出力画像は、それぞれ、入力ビデオシーケンスおよび出力ビデオシーケンスの一部であることができる。

【0009】

トーンマッピング方法の目的は、特定のアプリケーションに応じて異なり得る。例えば、一方では人間視覚システム（ＨＶＳ：Human Visual System）に適合する画像を生成するために、他方では機械視覚システム（ＭＶＳ：Machine Vision System）アプリケーションのために、異なる基準が満たされなければならない。

【0010】

ＨＶＳに関して、例えば、８～１０ビットの表示可能なダイナミックレンジを有する標準ディスプレイ上にＨＤＲ画像を表示するために、２０～２４ビットの輝度範囲を備え得るＨＤＲ画像は、暗い、中間トーン、および明るい画像コンテンツの全てが人間の裸眼によって明確に区別可能であるように圧縮されなければならない。さらに、同時に、ディスプレイ上の画像の再現は、人間観察者にとってできるだけ現実的で自然に見えるべきである。

【0011】

一方、ＭＶＳに関して、ＨＤＲ画像（例えば、２０～２４ビットの輝度範囲を有する）をＬＤＲ画像（例えば、８～１０ビットの輝度範囲を有する）に圧縮するトーンマッピング方法は、ＭＶＳがトーンマッピングされた画像を可能な限り効果的に処理することを可能にすべきである。ほとんどの場合、これは、画像内の全ての構造（エッジ、テクスチャ）が可能な限り良好に保存されなければならないことを意味する。

【0012】

一般に、ＨＶＳおよびＭＶＳの両方のアプリケーションにおける共通のトーンマッピングの目的は、画像情報の損失を最小限にすることである。この目的のために、コントラスト、特に、局所的コントラスト（local contrast）を、意図された用途に関して適切に維持することが必要不可欠である。

【0013】

最新技術から、これらの課題を満たすために開発された様々な異なるトーンマッピング演算子（tone mapping operator）が知られている。それらは、グローバルトーンマッピング演算子および局所的トーンマッピング演算子の２つの主なタイプに分類され得る。

【0014】

一方、グローバルトーンマッピング演算子（またはグローバルトーンマッピング方法）は、画像内のその位置または周囲の画素とは無関係に、画像の全ての画素を同じようにマッピングする。一般に、グローバルトーンマッピング演算子は、特定の画像のグローバル輝度および／または他のグローバル特性に基づく非線形関数（トーンマッピング曲線（tone mapping curves）とも呼ばれる）である。特定の画像の全ての画素に同じ関数が適用されるので、グローバルトーンマッピング方法は、簡単かつ高速であり、少量の処理能力しか必要としない。したがって、それらは、例えば、ルックアップテーブルに基づいて、低コストのハードウェアを使用して実現されることができる。しかしながら、これらのグローバルな方法は、画像のグローバルな特性のみが考慮されるので、特に局所的画像の詳細に関して、コントラストの著しい損失を引き起こすことが多い。

【0015】

他方では、局所的トーンマッピング演算子（または局所的トーンマッピング方法）は、特に局所的画像特性に応じて、例えば、周囲の画素に応じて、画像の各画素を異なるようにマッピングする。正しく設計された場合、これらの方法は、意図された用途に関して有益であるので、局所的コントラストを保存することに関して非常に良好な結果を達成することができる。しかしながら、これらの局所的トーンマッピング方法は、ハロー効果およびリンギングのようなアーチファクトを生じやすく、それらの出力は、人間観察者には非現実的に見える可能性がある。さらに、これらの方法は、一般に、グローバルトーンマッピング方法よりも複雑であり、したがって、ほとんどの場合、かなり多くの処理能力を必要とする。

【0016】

例えば、米国特許出願公開第２０１８／００９７９９２号公報から、入力画像の輝度値の第１のヒストグラムを計算することと、画像の目標ヒストグラムにアクセスすることと、第１のヒストグラムおよび目標ヒストグラムに基づいて伝達関数を計算することとを含む、グローバルトーンマッピング方法および対応するシステムが知られている。トーンマッピングされた画像は、入力画像の画素値に伝達関数を適用することによって生成される。

【0017】

本発明の目的は、従来のグローバルトーンマッピング方法と比較して、画像の詳細およびコントラストの改善された保存を提供するが、複雑な局所的トーンマッピング方法よりも少ない量の処理能力を必要とする、ＨＤＲ入力画像のＬＤＲ出力画像へのトーンマッピングのための方法を提供することである。

【0018】

本発明の目的は、請求項１の特徴を有する、高ダイナミックレンジ（ＨＤＲ）入力画像を低ダイナミックレンジ（ＬＤＲ）出力画像にトーンマッピングするための方法によって達成される。

【発明の概要】

【0019】

本発明によれば、この方法は少なくとも以下のステップを含む：
ａ）入力画像の輝度成分を取得すること、
ｂ）グローバルトーンマッピング曲線である初期トーンマッピング曲線を取得すること、
ｃ）入力画像の輝度分布を表す輝度ヒストグラムを取得すること、
ｄ）輝度ヒストグラムから輝度分布の複数のクラスタを決定すること、ここにおいて、各クラスタは重心を有する、
ｅ）各クラスタに対して、そのクラスタにおける輝度値の濃度に応じて初期トーンマッピング曲線の勾配を適応させることによって、適応されたトーンマッピング曲線を生成すること、ここにおいて、クラスタにおける輝度値の濃度が高いほど、そのクラスタに対する適応されたトーンマッピング曲線の勾配が大きくなる、
ｆ）適応されたトーンマッピング曲線を入力画像の少なくとも輝度成分に適用することによって出力画像を生成すること
本方法のステップは、特定の順序で実行される必要はなく、本発明はそれに応じて限定されない、すなわち、文字のアルファベット順は、ステップａ）～ｆ）の特定のシーケンスを意味するものではない。例えば、当然ながら、ステップｂ）は、ステップｃ）およびｄ）の後に実行されてもよく、または方法のステップのうちのいくつかは、並行して実行されてもよい。

【0020】

ステップａ）において、入力画像の輝度成分が取得される。そのような輝度成分は、例えば、輝度強度値と色調値とが分離された色空間のルーマ成分（ルーマチャネル）、例えば、ＹＣｂＣｒ色空間のルーマ成分Ｙ（またはＹ’ＣｂＣｒ色空間のＹ’）であることができる。ＹＣｂＣｒ色空間のルーマ成分Ｙのように、輝度成分が輝度強度値と色調値とが分離された色空間のルーマ成分である場合、入力されたＨＤＲ画像を最初にそのような色空間に変換する必要がある。例えば、入力画像がＲＧＢ画像である場合、ＲＧＢ入力画像は、最初にＹＣｂＣｒ色空間に変換され得る。

【0021】

しかしながら、輝度成分は、一般に、画像の輝度を表す任意の色空間の成分の組み合わせまたは他の成分であることもできる。例えば、輝度成分は、画像の輝度を十分に良好に表すことができるので、ＲＧＢ色空間の緑成分Ｇであることもできる。当然ながら、輝度成分は複数の輝度値を備える。特に、入力画像の輝度成分は、入力画像の各画素について１つの輝度値を備えることができる。

【0022】

用語「ダイナミックレンジ（dynamic range）」および「輝度範囲（luminance range）」は、本出願の文脈において同等に使用される。

【0023】

ステップｂ）において、初期トーンマッピング曲線が取得され、これはグローバルトーンマッピング曲線である。換言すれば、ステップｂ）において、ＨＤＲ入力画像の入力輝度値を、ＬＤＲ出力画像の出力輝度値にマッピングするグローバルトーンマッピング関数（またはグローバルトーンマッピング演算子）が取得される。

【0024】

本発明の有利な実施形態において、初期トーンマッピング曲線および／または適応されたトーンマッピング曲線は、それぞれ、ルックアップテーブルとして実現され得る。本発明のそのような実施形態は、トーンマッピング方法が計算的に効率的な方法で実現されることができるという利点を提供する。

【0025】

さらに、本発明の別の有利な実施形態において、初期トーンマッピング曲線および／または適応されたトーンマッピング曲線は、ＨＤＲ入力画像をサブサンプリングし、サブサンプリングされた値の間を補間することによって構築されることができる。ＨＤＲ入力画像のダイナミックレンジは非常に大きくなり得るので、本発明のそのような実施形態は、必要とされる処理能力がさらに低減され得るという利点を提供する。

【0026】

ステップｃ）において、入力画像の輝度分布を表す輝度ヒストグラムが取得される。一般に、この輝度ヒストグラムは、元のＨＤＲ入力画像から取得することができる。しかしながら、以下でより詳細に説明するように、輝度ヒストグラムは、ステップｃ）に必要な処理能力を低減するために、入力画像の圧縮バージョンから取得することもできる。

【0027】

ステップｄ）において、輝度分布の複数のクラスタが輝度ヒストグラムから決定される。ステップｄ）において作成されるクラスタの数は、所定の数であり得る。特に、クラスタの数は、２より大きく、１２より小さくてもよい。特に、クラスタの数は、２より大きく、６より小さくてもよい。特に、クラスタの数は、２より大きく、５より小さくてもよい。しかしながら、クラスタの数は、予め決定されなくてもよい。例えば、クラスタの数は、適用されるクラスタリングアルゴリズムによって決定されることができる。

【0028】

ステップｅ）において、適応されたトーンマッピング曲線が、初期トーンマッピング曲線から生成される。この目的のために、ステップｄ）において決定された複数のクラスタの各々に対して、初期トーンマッピング曲線の勾配は、そのクラスタにおける輝度値の濃度に応じて適応され、それぞれのクラスタにおける輝度値の濃度が高いほど、そのクラスタに対する適応されたトーンマッピング曲線の勾配が大きくなる。それぞれのクラスタにおける輝度値の濃度は、クラスタにおける輝度値の変動量および／またはそのクラスタにおける輝度値の絶対数もしくは相対数を含む、異なるメトリックに基づいて決定されることができ、これについては、以下でより詳細に説明する。

【0029】

ステップｆ）において、出力画像は、適応されたトーンマッピング曲線を入力画像の少なくとも輝度成分に適用することによって生成される。

【0030】

本発明による方法は、関連する画像情報、例えば、オブジェクトの輪郭およびテクスチャの損失を効果的に回避する。この目的のために、画像のテクスチャ構造も備える局所的コントラストを保存することが必要不可欠である。本発明は、局所的コントラストの損失、従って、局所的画像情報の損失を可能な限り回避するために、トーンマッピング曲線が、個々のＨＤＲ入力画像において支配的である輝度範囲（ＨＤＲ）のそれらの部分に対して、十分に急勾配である、即ち、十分に大きな勾配を有することが重要であるという洞察に基づく。輝度範囲のこれらの部分は、支配的な階調範囲とも称される。本発明者は、輝度範囲のこれらの支配的な部分が、輝度ヒストグラムからの輝度値の濃度に基づいて決定され得ることを見出した。この理由は２つある。一方では、輝度ヒストグラムが輝度範囲のある特定の部分に高濃度の輝度値を示す場合、これは、これらの部分におけるダイナミックレンジを圧縮することが入力画像の特に大きな領域に影響を及ぼすことを意味する。他方では、輝度ヒストグラムが局所的に高濃度の輝度値を示している場合、これは、輝度範囲のこれらの部分において、入力画像には局所的コントラストの低い領域が含まれており、画素とその周囲の輝度値が特に近いことを意味する。入力画像のこれらの領域は、圧縮に対して特に敏感である。

【0031】

入力画像において支配的である輝度範囲の異なる部分を識別するために、クラスタリング方法が適用され、輝度ヒストグラムから輝度分布の複数のクラスタを決定する。この目的のために、既知のクラスタリングアルゴリズム、例えば、ｋ平均クラスタリングを使用することができる。そのクラスタにおける高濃度の輝度値は、輝度範囲の対応する部分が入力画像において支配的であることを示す。入力画像における高濃度の輝度値を有する輝度範囲のこれらの部分のためにトーンマッピング曲線の勾配を増加させることによって、入力画像の支配的な階調範囲は、より少ない程度に圧縮され、従って、コントラストが保存されることができる。換言すれば、入力画像において特に大量の情報を有する輝度範囲のこれらの部分は、過度に圧縮されないように保存される。

【0032】

その結果、本発明は、輝度分布の各クラスタの輝度値の濃度に基づいて決定される、画像の支配的な階調範囲におけるコントラストを保存することによって、関連する画像情報、例えば、オブジェクトの輪郭、テクスチャおよび詳細の損失を効果的に回避する。

【0033】

この効果は、初期トーンマッピング曲線のような、適応されたトーンマッピング曲線がグローバルトーンマッピング曲線であるので、グローバルトーンマッピングによって達成される。局所的トーンマッピング方法と比較して、これは、著しく低い処理能力要件をもたらす。したがって、本発明は、低コストのハードウェアを使用して有利に実現することができる。

【0034】

本発明の有利な実施形態によれば、ステップｃ）は、以下のステップを備えることが提案される。
－入力画像を圧縮することと、
－圧縮された入力画像から輝度ヒストグラムを取得すること。
本発明のそのような実施形態は、ステップｄ）においてヒストグラムを処理し、輝度値のクラスタを決定するために必要な処理能力を大幅に低減することができるという利点を提供する。

【0035】

一般に、輝度ヒストグラムは、ＨＤＲ入力画像から直接取得することもできる。しかしながら、ＨＤＲ階調範囲のサイズが非常に大きい（２０ビット、２４ビット、またはさらに多くのビットを使用し得る）ため、ヒストグラムを処理するために、特にステップｄ）においてヒストグラムから輝度値のクラスタを決定するために、大量の処理能力が必要となる。そのような処理能力は、一般的な画像処理パイプラインでは利用可能でない可能性があり、画像パイプラインにそのような処理能力を装備することは望ましくないか、または不可能でさえあることがある。

【0036】

それにもかかわらず、本出願の範囲は、非圧縮入力画像から輝度ヒストグラムを取得することも備える。したがって、本出願の範囲は、ＨＤＲ入力画像から直接輝度ヒストグラムを取得することも備える。

【0037】

本発明の別の有利な実施形態によれば、入力画像は、グローバルトーンマッピング曲線を適用することによって圧縮されることが提案される。特に、入力画像は、初期トーンマッピング曲線を適用することによって圧縮されることができる。この場合、ステップｅ）において適応されたトーンマッピング曲線を生成するための基礎としても使用される入力画像を圧縮するために、同じトーンマッピング曲線が使用される。

【0038】

本発明のそのような実施形態は、グローバルトーンマッピング曲線が、例えば、ルックアップテーブルとして実装されることができるので、入力画像が、特に効率的で計算的に安価な方法で圧縮されることができるという利点を提供する。その結果、必要な処理能力を低減することができる。

【0039】

本発明の別の有利な実施形態によれば、初期トーンマッピング曲線は、Reinhardによるグローバルトーンマッピング演算子に基づくことが提案される。

【0040】

Reinhardによるグローバルトーンマッピング演算子（Reinhardのトーンマッピング演算子とも称される）は、以下の式によって与えられる。

【0041】

【数1】

【0042】

ここで、Ｌ_ｏｕｔは、画素（ｘ，ｙ）に対する表示可能な出力輝度であり、Ｌ_ｉｎ（ｘ，ｙ）は、（スケーリングされた）入力輝度であり、Ｌ_{ｗｈｉｔｅ}は、純白にマッピングされる最小輝度である。このグローバルトーンマッピング演算子は、２００２年５月のACM Transactions on GraphicsにおけるE. Reinhard、J. FerwerdaおよびP. Shirleyによる論文「Photographic Tone Reproduction for Digital Images」に提示されている。「Reinhard曲線」という用語は、Reinhardのグローバルトーンマッピング演算子を適用することによって構築されるグローバルトーンマッピング曲線を指す。

【0043】

本発明の別の有利な実施形態によれば、初期トーンマッピング曲線は、Reinhard曲線であることが提案される。

【0044】

Reinhardのグローバルトーンマッピング演算子は、比較的単純であるが、従来のグローバルトーンマッピング演算子に対して、出力画像の品質に関して良好な結果を提供する。したがって、出力画像を生成するために使用される適応されたトーンマッピング曲線の基礎を形成する、初期トーンマッピング演算子にReinhardのグローバルトーンマッピング演算子を使用する本発明のそのような実施形態は、それらを実現するのは簡単であり、同時に、特に、画像コントラストおよび関連する詳細を保存することに関しては、出力画像の特に良好な品質をもたらすという利点を提供する。

【0045】

本発明の別の有利な実施形態によれば、ステップｄ）において、複数のクラスタがｋ平均クラスタリングによって決定されることが提案される。

【0046】

本発明のそのような実施形態は、周知のｋ平均クラスタリングアルゴリズムの計算上効率的な実現を使用して、輝度ヒストグラムから入力画像の輝度分布のクラスタの数を効果的に決定することができるという利点を提供する。

【0047】

本発明の別の有利な実施形態によれば、ステップｄ）は、特に距離が閾値よりも小さい場合に、これらのクラスタ間の距離および／またはこれらのクラスタの重心に応じて２つ以上のクラスタをマージすることを含む。

【0048】

そのような実施形態では、２つ以上のクラスタのマージは、クラスタが互いに近すぎる場合にクラスタの数を低減することをもたらす。したがって、本発明のそのような実施形態は、クラスタの数が個々の入力画像およびその輝度分布に適応され得るという利点を提供する。その結果、不適切な多数のクラスタを回避することができる。

【0049】

本発明の別の有利な実施形態によれば、クラスタにおける輝度値の濃度は、少なくとも以下に基づいて決定される。
－そのクラスタにおける輝度値の変動量、および／または
－特に、輝度ヒストグラムにおける輝度値の総数に関連した、そのクラスタにおける輝度値の数。

【0050】

上述したように、本発明は、重要な画像の詳細および局所的コントラストを保存するために、トーンマッピング曲線の十分に大きな勾配が、高濃度の輝度値を示す入力画像の輝度ヒストグラムのそれらの部分に対して保証されなければならないという発見に基づく。

【0051】

この目的のために、輝度値の濃度は、例えば、それぞれのクラスタにおける輝度値の変動量に基づいて決定され得る。濃度は、そのクラスタにおける輝度値の分散（dispersion）（変動性、散乱、または広がりとも称される）が変動量を反映することから、これに基づいて決定することもできる。輝度値の変動量および／または分散は、例えば、統計的分散の共通の尺度を使用して定量化することができる。そのような尺度の例には、標準偏差、分散（variance）、および変動係数が含まれる。

【0052】

輝度値の変動量および／または分散は、例えば、複数の画像から典型的な変動量を予め経験的に決定することによって推定することができる。特に、異なるクラスタ重心について、すなわち輝度範囲内の異なるクラスタの位置について、異なる変動量が推定されることができる。代替的にまたは追加的に、変動量および／または分散は、入力画像から（または、上述したように、入力画像の圧縮されたバージョンから）分析的に決定されることもできる。

【0053】

代替的にまたは追加的に、輝度値の濃度は、それぞれのクラスタにおける輝度値の数に基づいて決定されることができる。特に、輝度値の濃度は、輝度ヒストグラムにおける輝度値の総数に関連したそのクラスタにおける輝度値の数に基づいて決定されることができる。換言すれば、輝度値の濃度は、それぞれのクラスタにおける輝度値の比に基づいて決定されることができる。

【0054】

本発明のそのような実施形態は、輝度値の濃度が確実且つ効率的に決定され、したがって、適応されたトーンマッピング曲線の勾配がステップｅ）において適切に設定されることができるという利点を提供する。

【0055】

本発明の別の有利な実施形態によれば、ステップｅ）において、各クラスタに対して、初期トーンマッピング曲線の勾配が、適応領域における輝度値の濃度に応じて適応領域内で適応され、ここで、適応領域は、クラスタの重心の周りの輝度値の範囲を含むことが提案される。

【0056】

換言すれば、輝度値の濃度が決定され、トーンマッピング曲線の勾配がクラスタの重心の周りの領域に適応されることが提案される。

【0057】

本発明の別の有利な実施形態によれば、適応領域のサイズおよび／または位置は、輝度値を表す下側境界および上側境界によって制限されることが提案され、ここで、下側境界および／または上側境界は、以下に応じて決定される。
－それぞれのクラスタの重心（すなわち、輝度範囲内のクラスタの位置）、および／または
－それぞれのクラスタにおける前記輝度値の推定されたまたは実際の変動量、および／または
－異なるクラスタの重心間の距離、特に、それぞれのクラスタの重心と隣接するクラスタの重心との間の距離。

【0058】

輝度値の濃度を決定し、クラスタの重心の周りの適応領域におけるトーンマッピング曲線の勾配を適応させることに依拠する本発明の上述の実施形態は、クラスタ重心の周りに位置すると予想される、支配的な階調範囲を表す入力画像の輝度範囲のそれらの部分に対して、トーンマッピング曲線が特に適応されるという利点を提供する。その結果、画像コントラストの特に効果的な保存が達成され得る。

【0059】

本発明の別の有利な実施形態によれば、ステップｅ）は、複数の輝度ゾーンを決定することであって、各輝度ゾーンは、輝度範囲の一部をカバーする、決定することと、各輝度ゾーンに対してその出力値を適応させることによって、初期トーンマッピング曲線の勾配を適応させることとを備えることが提案される。

【0060】

本発明のそのような実施形態は、非常に大きくなり得る入力画像の輝度範囲の処理を簡単にし、さらに、輝度ゾーンが入力画像の個々の特性に応じて定義され得るので、トーンマッピング曲線の勾配を柔軟な方法で適応させることを可能にするという利点を提供する。

【0061】

本発明の別の有利な実施形態によれば、ステップａ）は、入力画像の輝度成分および複数のクロミナンス成分を取得することを備え、ステップｆ）は、適応されたトーンマッピング曲線を輝度成分および複数のクロミナンス成分に適用することを備えることが提案される。

【0062】

換言すれば、本発明による方法は、入力画像の輝度成分だけでなく、少なくとも１つのクロミナンス成分にも適用されることが提案される。特に、複数のクロミナンス成分は、入力画像の全てのクロミナンス成分を備えることができる。

【0063】

本発明のそのような実施形態は、上述の効果、特に、重要な画像の詳細および局所的コントラストを保存することが、入力画像の色情報のトーンマッピングのために使用されることができるという利点を提供する。同じ適応されたトーンマッピング曲線が、輝度成分にも使用されるクロミナンス成分に使用されることができるので、これは、入力画像の全ての成分を非常に効率的に処理することを可能にする。

【0064】

本発明の別の有利な実施形態によれば、ステップｆ）は、出力画像の結果として生じるクロミナンス成分を、特に、彩度低下スケーリング係数（desaturation scaling factor）をクロミナンス成分に適用することによって、彩度低下させる（desaturating）ことをさらに備えることが提案される。

【0065】

一般に、有色ＨＤＲ入力画像のＬＤＲ出力画像へのトーンマッピングは、出力画像のある特定の領域が過飽和（oversaturated）に見えるという望ましくない効果を有する可能性があり、これは、特に入力画像の明るい領域に当てはまり得る。これを補償するために、出力画像のクロミナンス成分は、例えば、実験的に決定され得る彩度低下スケーリングファクタを適用することによって、彩度低下され得る。例えば、スケーリングファクタは、ルックアップテーブルによって実現されることができる。

【0066】

したがって、本発明のそのような実施形態は、出力画像のクロミナンス成分の望ましくない過飽和状態（oversaturation）を補償することができるという利点を提供する。

【0067】

別の有利な実施形態によれば、ステップｅ）は、初期トーンマッピング曲線の勾配を適応させた後に、結果として生じる適応されたトーンマッピング曲線を、特に、ベルシュタイン多項式および／またはベルシュタイン－ベジェ多項式および／またはベジェ曲線を適用することによって、平滑化することを備えることが提案される。

【0068】

本発明のそのような実施形態は、滑らかな適応されたトーンマッピング曲線が生成され、出力画像に適用されることができるという利点を提供する。

【0069】

本発明の目的は、コンピュータプログラムがコンピュータ上で実行されるときに、上述した方法を実行するように適応されたプログラムコード手段を有するコンピュータプログラムによってさらに達成される。

【0070】

本発明の目的は、更に、上述した方法を実行するように適応された電子デバイスによって達成される。

【0071】

電子デバイスは、例えば、独立型集積回路（ＩＣ）またはその一部であることができる。電子デバイスは、システムオンチップ（ＳｏＣ）またはその一部であることもできる。電子デバイスは、画像処理パイプラインおよび／または画像処理チェーンの一部であることもできる。電子デバイスは、カメラまたはディスプレイ、あるいはカメラまたはディスプレイの一部であることもできる。電子デバイスは、カメラおよび／またはディスプレイを備えるシステムであることもできる。電子デバイスは、そのようなシステムの一部であることもできる。

【図面の簡単な説明】

【0072】

以下に、添付の図面に概略的に示された例示的な実施形態を用いて、本発明をより詳細に説明する。図面は以下を示す：

【図1】図１は、本発明によるトーンマッピングのための方法の概略図である。

【図2】図２は、輝度ヒストグラムの概略図である。

【図3】図３は、輝度ヒストグラムと、対応する重心および適応領域を有する複数のクラスタとの概略図である。

【図4】図４は、初期トーンマッピング曲線および適応されたトーンマッピング曲線の概略図である。

【図5】図５は、本発明による電子デバイスを備える例示的な画像処理システムの概略図である。

【実施形態の詳細な説明】

【0073】

図１は、本発明による、ＨＤＲ入力画像をＬＤＲ出力画像にトーンマッピングするための例示的な方法の概略図を示す。この例示的な実施形態では、ＨＤＲ入力画像は１６ビットのダイナミックレンジを有するが、ＬＤＲ出力画像は８ビットのみのダイナミックレンジを有する。

【0074】

上記で説明されたステップａ）に対応するステップ１０１および１０２において、入力画像の輝度成分および複数のクロミナンス成分、この例示的な実施形態では２つのクロミナンス成分、が取得される。この目的のために、ステップ１０１において、１６ビットの例示的なダイナミックレンジを有するＨＤＲ入力画像が読み取られ、これは、最初にＲＧＢフォーマットを有する。図１に示される例示的な実施形態において、ＹＣｂＣｒカラーモデルの輝度チャネルＹ（ルーマ成分Ｙとも称される）は、入力画像の輝度成分として使用され、ＣｂおよびＣｒチャネル（ＣｂおよびＣｒ成分とも称される）は、入力画像の２つのクロミナンス成分として使用される。したがって、ステップ１０２において、ＲＧＢ入力画像は、ＹＣｂＣｒカラーモデルに変換され、これは、輝度成分としてＹチャネルを、クロミナンス成分としてＣｂチャネルおよびＣｒチャネルを有するＹＣｂＣｒフォーマットのＨＤＲ入力画像を提供する。

【0075】

上記で説明されたステップｂ）に対応する、図１に示されるステップ１０３において、初期トーンマッピング曲線が取得され、これはグローバルトーンマッピング曲線である。この例示的な実施形態では、この目的のためにReinhardによるグローバルトーンマッピング演算子が使用され、これは、次によって与えられる、

【0076】

【数2】

【0077】

ここで、Ｌ_ｏｕｔは、画素（ｘ，ｙ）に対する表示可能な出力輝度であり、Ｌ_ｉｎ（ｘ，ｙ）は、（スケーリングされた）入力輝度であり、Ｌ_{ｗｈｉｔｅ}は、純白にマッピングされる最小輝度である。

【0078】

図１に示される次のステップ１０４および１０５は、上記で説明されたステップｃ）に対応する。この例示的な実施形態では、ステップ１０４において、初期トーンマッピング曲線を適用することによって、すなわち、ＨＤＲ入力画像の輝度成分ＹにReinhardのグローバルトーンマッピング演算子を適用することによって、入力画像が圧縮される。

【0079】

その後、ステップ１０５において、入力画像の輝度分布を表す輝度ヒストグラムが、圧縮された入力画像から取得される。

【0080】

図２は、図１に示されるステップ１０５、すなわち、上述した本発明による方法のステップｃ）において得られるような例示的な輝度ヒストグラム３の概略図を示す。図２に示される例示的な実施形態では、輝度ヒストグラム３は、８ビットの輝度範囲を備える、圧縮された入力画像から得られたものである。図２の図の水平軸５１は、０と２５５との間の輝度値Ｙを示し、ここで、０は最も暗い画素を表し、２５５は最も明るい画素を表す。垂直軸５２は、各輝度値に対する画素数を示す。

【0081】

再び図１を参照すると、ステップ１０６において、輝度分布の複数のクラスタが輝度ヒストグラム３から決定される。決定されたクラスタの各々は重心を有する。ここで説明される例示的な実施形態では、複数のクラスタは、ｋ平均クラスタリングアルゴリズムを使用して決定される。

【0082】

この例示的な実施形態では、ｋ平均クラスタリングアルゴリズムは、最初に、所定の数の４つのクラスタで開始される。しかしながら、互いに近すぎるクラスタを決定することを防止するために、追加の制約が定義されている。この目的のために、アルゴリズムの各反復において、クラスタの重心の任意の対の間の距離が所定の閾値よりも小さいかどうかがチェックされる。この場合、２つのクラスタ（またはそれらの重心）は互いに近すぎると仮定され、２つのクラスタはマージされる。この目的のために、マージから生じる新しい重心は、次のように計算される：

【0083】

【数3】

【0084】

ここで、ｃ_ｉｊは、マージされたクラスタの重心であり、ｃ_ｉおよびｃ_ｊは、それぞれ、互いに近すぎるとしてマージされたクラスタｉおよびｊの重心であり、ｎ_ｉおよびｎ_ｊは、それぞれ、クラスタｉおよびｊにおける輝度値（画素）の数である。

【0085】

結果として、ここで説明される例示的な実施形態では、輝度ヒストグラムから決定されるクラスタの数は、最初の４つのクラスタの数から、最終的な３つのクラスタの数に減らされ、そうでなければ、クラスタ重心のうちの２つが互いに近すぎることになる。したがって、ステップ１０６の完了後、クラスタ重心によって定義される入力画像の輝度分布の３つのクラスタが決定されている。

【0086】

図１に示される例示的な実施形態のステップ１０７において、入力画像の輝度分布の３つのクラスタの各々について適応領域が決定される。３つの適応領域の各々は、輝度値を表す下側境界および上側境界によって制限される。

【0087】

この例示的な実施形態では、下側境界および上側境界は、それぞれのクラスタの重心（重心の輝度値）およびそれぞれのクラスタ内の輝度値の推定される変動量に応じて決定される。この目的のために、次の近似推定メトリック（closeness estimation metric）が、各輝度値Ｙおよび各クラスタｉについて定義される：

【0088】

【数4】

【0089】

ここで、Ｙは、入力画像の輝度ヒストグラムからの輝度値であり、ｃ_ｉは、クラスタｉの重心であり、ｎは、クラスタの数であり、

【0090】

【数5】

【0091】

はクラスタｉにおける輝度値の推定される変動であり、これは推定される変動量についてのメトリックとして機能する。この例示的な実施形態では、Ｙは、上述したように、圧縮された入力画像の輝度値である。しかしながら、代替的な実施形態では、元の圧縮されていないＨＤＲ入力画像もこの目的のために使用され得る。近似推定メトリックｆ_{ｃｌｏｓｅ}が所定の閾値より大きいこれらの輝度値は、適応領域に含まれる。特に、この閾値は、クラスタの数に応じて定義されることができる。例えば、閾値は、クラスタの数が３より大きい場合には０．５として定義され、クラスタの数が３である場合には０．１として定義され、クラスタの数が３より小さい場合には０．００１として定義されることができる。

【0092】

代替的な実施形態では、下側境界および上側境界は、それぞれのクラスタの重心（重心の輝度値）、それぞれのクラスタにおける輝度値の推定されたまたは実際の変動量、およびそれぞれのクラスタの重心と隣接クラスタの重心との間の距離に応じて決定されることができる。例えば、クラスタの適応領域の上側境界および下側境界は、次の式に基づいて決定されることもできる：

【0093】

【数6】

【0094】

ここで、ｂ_ｕ，ｉおよびｂ_ｌ，ｉは、それぞれ、クラスタｉの上側境界および下側境界であり、ｃ_ｉは、クラスタ重心であり、σ_ｉは、クラスタｉにおける輝度値の推定された標準偏差であり、ｄ_ｉは、クラスタｉの重心と隣接クラスタの重心と間の距離である。

【0095】

ステップ１０１～１０７の結果は、図３に概略的に例示されている。図２の輝度ヒストグラム３に加えて、図３は、ステップ１０６において決定された輝度分布の３つのクラスタとそれらの重心ｃ_１、ｃ_２およびｃ_３とを示し、ここで、ｃ_１は、第１のクラスタの重心であり、ｃ_２は、第２のクラスタの重心であり、ｃ_３は、第３のクラスタの重心である。さらに、図３は、前述のように決定された３つの適応領域ａａ_１、ａａ_２、およびａａ_３を概略的に示す。適応領域の各々は、下側境界および上側境界によって制限され、ここで、第１のクラスタの適応領域ａａ_１は、下側境界ｂ_ｌ１および上側境界ｂ_ｕ１によって制限され、第２のクラスタの適応領域ａａ_２は、下側境界ｂ_ｌ２および上側境界ｂ_ｕ２によって制限され、第３のクラスタの適応領域ａａ_３は、下側境界ｂ_ｌ３および上側境界ｂ_ｕ３によって制限される。

【0096】

再び図１を参照すると、ステップ１０８において、各適応領域について輝度値の濃度が決定される。ここで説明される例示的な実施形態では、輝度値の濃度は輝度ヒストグラム３から決定される。特に、３つの適応領域ａａ_１、ａａ_２、ａａ_３の各々について、この例示的な実施形態の対応するクラスタにおける輝度値の濃度に対応する、その適応領域における輝度値の濃度は、輝度ヒストグラム３における輝度値の総数に関連した適応領域における輝度値の数に基づいて決定される。この例示的な実施形態では、適応領域における輝度値の数は、したがって、対応するクラスタにおける輝度値の数に対応する。

【0097】

他の実施形態では、輝度値の濃度は、追加的にまたは代替的に、既に上述したように、そのクラスタにおける輝度値の変動量に基づいて、特に、クラスタの適応領域における輝度値の変動量に基づいて、決定され得る。

【0098】

その後、図１に示されるステップ１０９において、各クラスタについて、そのクラスタにおける輝度値の濃度に応じて初期トーンマッピング曲線の勾配を適応させることによって、適応されたトーンマッピング曲線が生成され、ここで、クラスタにおける輝度値の濃度が高いほど、そのクラスタに対する適応されたトーンマッピング曲線の勾配が大きくなる。

【0099】

図１に示されるステップ１１０において、ステップ１０９から得られる適応されたトーンマッピング曲線は、ベルシュタイン－ベジェ多項式を適用することによって平滑化される。

【0100】

図４は、上記で説明した本発明による方法のステップｅ）に対応するステップ１０９および１１０の結果を概略的に例示する。この目的のために、図４は、例示的な初期トーンマッピング曲線１を示す。初期トーンマッピング曲線１は、上記で説明したようなReinhardのグローバルトーンマッピング演算子に基づき、水平軸６１上のＨＤＲ入力輝度Ｙ_ｉｎを、垂直軸６２上のＬＤＲ出力輝度Ｙ_ｏｕｔにマッピングする。それぞれの重心ｃ_１、ｃ_２、ｃ_３によって表される３つのクラスタのそれぞれについて、それぞれの適応領域ａａ_１、ａａ_２、ａａ_３内の輝度値の濃度に応じて、対応するクラスタのそれぞれの適応領域ａａ_１、ａａ_２、ａａ_３内の初期トーンマッピング曲線１の勾配を適応させることによって、適応されたトーンマッピング曲線５が生成される。これは、この例示的な実施形態において、対応する適応領域ａａ_１、ａａ_２、ａａ_３における輝度値の濃度によって表される、クラスタにおける輝度値の濃度が高いほど、そのクラスタに対する適応されたトーンマッピング曲線５の勾配が大きくなるように行われる。

【0101】

図４に見られるように、適応領域ａａ_１、ａａ_２、およびａａ_３の各々の中で、適応されたトーンマッピング曲線５の勾配は、初期トーンマッピング曲線１の勾配よりも大きい。これは、クラスタ重心ｃ_１、ｃ_２、ｃ_３の周りの比較的高濃度の輝度値によるものである。適応されたトーンマッピング曲線５のこれらの増加した勾配を例示するために、初期トーンマッピング曲線１および適応されたトーンマッピング曲線５の両方についての各適応領域ａａ_１、ａａ_２、ａａ_３内の平均勾配が、図４に概略的に示されている。３つの適応領域ａａ_１、ａａ_２、ａａ_３の各々について、適応されたトーンマッピング曲線５の平均勾配ｍ_ａ１、ｍ_ａ２、ｍ_ａ３は、初期トーンマッピング曲線１の平均勾配ｍ_ｉ１、ｍ_ｉ２、ｍ_ｉ３よりも著しく大きいことが分かる。

【0102】

クラスタ重心ｃ_１、ｃ_２、ｃ_３の周りの、すなわち、入力画像の輝度値の濃度が特に高い輝度範囲のそれらの部分における、トーンマッピング曲線の勾配のこの増加は、入力画像の局所的コントラストおよび関連する画像の詳細が効果的に保存されることができるので、生成されるＬＤＲ出力画像の改善された品質をもたらす。

【0103】

再び図１を参照すると、ステップ１１１において、ＬＤＲ出力画像は、適応されたトーンマッピング曲線５をＨＤＲ入力画像の輝度成分Ｙとクロミナンス成分ＣｂおよびＣｒに適用することによって生成される。

【0104】

最後に、ステップ１１２において、出力画像の結果として生じるクロミナンス成分は、クロミナンス成分に彩度低下スケーリングファクタを適用することによって、彩度低下される。

【0105】

したがって、図１に示されるステップ１１１および１１２は、上記で説明されたような本発明による方法のステップｆ）に対応する。

【0106】

図５は、例示的な画像処理システム２１１を示す。画像処理システム２１１は、図５の例示的な実施形態ではＨＤＲビデオカメラである、ＨＤＲ画像センサ２０１を備える。さらに、図５の画像処理２１１は、この例示的な実施形態では従来のＬＤＲディスプレイである、ディスプレイユニット２０９を備える。

【0107】

さらに、図５に示される画像処理システム２１１は、この例示的な実施形態では画像処理ユニットである、電子デバイス２０３を備える。画像処理ユニット２０３は、データ処理ユニット２０５と、画像データを記憶するメモリ２０７とを有する。データ処理ユニット２０５は、例えば、適切にプログラムされたマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、グラフィックス処理ユニット（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、等であることができる。データ処理ユニット２０５は、メモリ２０７から読み取り、メモリ２０７に書き込む。

【0108】

ＨＤＲビデオカメラ２０１は、ＨＤＲ入力画像のシーケンスを生成する。ＨＤＲビデオカメラ２０１は、画像処理ユニット２０３に直接的または間接的に接続され、これにより、画像処理ユニット２０３は、ビデオカメラ２０１によって生成されたＨＤＲ入力画像を読み取ることができる。画像処理ユニット２０３によって読み取られた各ＨＤＲ入力画像は、メモリ２０７に記憶されることができる。

【0109】

画像処理ユニット２０３は、ＨＤＲ入力画像をＬＤＲ出力画像にトーンマッピングするための上記で説明されたような方法を実行するように適応される。

【0110】

ＨＤＲ入力画像をＬＤＲ出力画像にトーンマッピングした後、すなわち、先に説明したようにＬＤＲ出力画像を生成した後、生成されたＬＤＲ出力画像は、出力画像が表示され得る、ディスプレイユニット２０９に送信されることができる。

【0111】

この手順は、ＨＤＲビデオカメラ２０１によって生成されたＨＤＲビデオシーケンスの各ＨＤＲ入力画像について繰り返すことができる。これは、ＬＤＲ出力画像のシーケンスであるＬＤＲ出力ビデオシーケンスの生成をもたらす。ＬＤＲ出力ビデオシーケンスは、ディスプレイユニット２０９上に表示されることができる。

【0112】

追加的にまたは代替的に、出力画像および／または出力ビデオシーケンスは、メモリに記憶され、および／またはデータ記憶ユニットに記憶され、および／またはデータ送信リンクを介して送信されることができる。

【0113】

［参照符号のリスト］
１ 初期トーンマッピング曲線
３ 輝度ヒストグラム
５ 適応されたトーンマッピング曲線
５１ 輝度ヒストグラムの水平軸
５２ 輝度ヒストグラムの垂直軸
６１ トーンマッピング曲線の水平軸
６２ トーンマッピング曲線の垂直軸
１０１～１１２ ステップ
２０１ ＨＤＲビデオカメラ（画像センサ）
２０３ 画像処理ユニット（電子デバイス）
２０５ データ処理ユニット
２０７ メモリ
２０９ ディスプレイユニット
２１１ 画像処理システム
ａａ_１、ａａ_２、ａａ_３ 適応領域
ｂ_ｌ１、ｂ_ｌ２、ｂ_ｌ３ 下側境界
ｂ_ｕ１、ｂ_ｕ２、ｂ_ｕ３ 上側境界
ｃ_１、ｃ_２、ｃ_３ 重心
ｄ_ｉ クラスタｉと隣接クラスタｉの重心間の距離
ｍ_ａ１、ｍ_ａ２、ｍ_ａ３ 適応されたトーンマッピング曲線の勾配
ｍ_ｉ１、ｍ_ｉ２、ｍ_ｉ３ 初期トーンマッピング曲線の勾配

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】