特許 7507554 画像処理装置、撮像装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-20

(45)【発行日】2024-06-28

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 5/92 20240101AFI20240621BHJP

【ＦＩ】

G06T5/92

【請求項の数】 25

(21)【出願番号】P 2019209824

(22)【出願日】2019-11-20

(65)【公開番号】P2021082069

(43)【公開日】2021-05-27

【審査請求日】2022-11-14

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】神崎 緋子

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１２－０５８８４９（ＪＰ，Ａ）

【文献】特開２００２－０３９８５９（ＪＰ，Ａ）

【文献】福田雄太 他，局所的な明暗順応に基づいたＨＤＲ画像レンダリングとその評価 HDR Image Rendering based on Local Adaptation to Luminosity and Its Evaluation，映像情報メディア学会技術報告，日本，（社）映像情報メディア学会，2010年10月11日，第34巻第41号，p17-20

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／９０－ ５／９４

(57)【特許請求の範囲】

【請求項1】

第１の画像における明度成分の分布を示す第１の明度成分画像に対して、周波数帯域が異なる複数の明度用のフィルタを個別に適用することにより、複数の明度用のフィルタ処理結果を生成する第１のフィルタ手段であって、前記複数の明度用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、第１のフィルタ手段と、
前記複数の明度用のフィルタ処理結果を合成することにより、前記第１の画像における明度対比の影響度合いの分布を示す明度対比影響情報を生成する第１の合成手段と、
前記明度対比影響情報に基づいて前記第１の明度成分画像を補正する第１の補正手段と、
前記補正された前記第１の明度成分画像と、前記第１の画像における色成分の分布を示す第１の色成分画像とを合成することにより、明度対比の影響が補正された第１の補正画像を生成する第１の生成手段と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記第１の補正手段は、前記補正された前記第１の明度成分画像を含む前記第１の補正画像における明度対比の影響が軽減されるように、前記第１の明度成分画像を補正する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

ＩＣｔＣｐ色空間又はＬａｂ色空間において、前記第１の画像から前記第１の明度成分画像及び前記第１の色成分画像を取得する取得手段を更に備える
ことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記複数の明度用のフィルタは、ガウシアンの２次微分関数を利用したフィルタである
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記第１のフィルタ手段は、前記第１の明度成分画像のガンマをリニアに変換した後に、前記複数の明度用のフィルタを個別に適用する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。

【請求項6】

前記第１のフィルタ手段は、前記第１の明度成分画像を縮小した後に、前記複数の明度用のフィルタを個別に適用する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項7】

前記第１の明度成分画像に対して前記複数の明度用のフィルタを個別に適用することは、対応する明度用のフィルタの周波数帯域に応じたゲインを適用することを含む
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。

【請求項8】

前記第１の合成手段は、前記第１の画像の各位置における明度対比の影響度合いを示す値として、前記複数の明度用のフィルタ処理結果の対応する位置における最大値を割り当てることにより、前記第１の画像における明度対比の影響度合いの分布を示す前記明度対比影響情報を生成する
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

前記第１の合成手段は、前記第１の画像の各位置における明度対比の影響度合いを示す値として、前記複数の明度用のフィルタ処理結果の対応する位置における平均値を割り当てることにより、前記第１の画像における明度対比の影響度合いの分布を示す前記明度対比影響情報を生成する
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項10】

第１の画像における明度成分の分布を示す第１の明度成分画像に対して、周波数帯域が異なる複数の明度用のフィルタを個別に適用することにより、複数の明度用のフィルタ処理結果を生成する第１のフィルタ手段であって、前記複数の明度用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、第１のフィルタ手段と、
前記複数の明度用のフィルタ処理結果を合成することにより、前記第１の画像における明度対比の影響度合いの分布を示す明度対比影響情報を生成する第１の合成手段と、
前記第１の画像における色成分の分布を示す第１の色成分画像に対して、周波数帯域が異なる複数の色用のフィルタを個別に適用することにより、複数の色用のフィルタ処理結果を生成する第２のフィルタ手段であって、前記複数の色用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、第２のフィルタ手段と、
前記複数の色用のフィルタ処理結果を合成することにより、前記第１の画像における色対比の影響度合いの分布を示す色対比影響情報を生成する第２の合成手段と、
前記明度対比影響情報に基づいて前記第１の明度成分画像を補正する第１の補正手段と、
前記色対比影響情報に基づいて前記第１の色成分画像を補正する第２の補正手段と、
前記補正された前記第１の明度成分画像と、前記補正された前記第１の色成分画像とを合成することにより、明度対比の影響及び色対比の影響が補正された第１の補正画像を生成する第１の生成手段と、
を備えることを特徴とする画像処理装置。

【請求項11】

前記第１の補正手段は、前記補正された前記第１の明度成分画像を含む前記第１の補正画像における明度対比の影響を軽減するように、前記第１の明度成分画像を補正し、
前記第２の補正手段は、前記補正された前記第１の色成分画像を含む前記第１の補正画像における色対比の影響を軽減するように、前記第１の色成分画像を補正する
ことを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記第１の画像から、前記第１の画像よりも明度成分のダイナミックレンジが小さい第２の画像を生成する画像生成手段と、
前記明度対比影響情報に基づいて、前記第２の画像における明度成分の分布を示す第２の明度成分画像を補正する第３の補正手段と、
前記補正された前記第２の明度成分画像と、前記第２の画像における色成分の分布を示す第２の色成分画像とを合成することにより、明度対比の影響が補正された第２の補正画像を生成する第２の生成手段と、
を更に備えることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。

【請求項13】

前記第３の補正手段は、前記補正された前記第２の明度成分画像を含む前記第２の補正画像における明度対比の影響を拡大するように、前記第２の明度成分画像を補正する
ことを特徴とする請求項１２に記載の画像処理装置。

【請求項14】

前記第１の画像から、前記第１の画像よりも明度成分及び色成分のダイナミックレンジが小さい第２の画像を生成する画像生成手段と、
前記明度対比影響情報に基づいて、前記第２の画像における明度成分の分布を示す第２の明度成分画像を補正する第３の補正手段と、
前記色対比影響情報に基づいて、前記第２の画像における色成分の分布を示す第２の色成分画像を補正する第４の補正手段と、
前記補正された前記第２の明度成分画像と、前記補正された前記第２の色成分画像とを合成することにより、明度対比の影響及び色対比の影響が補正された第２の補正画像を生成する第２の生成手段と、
を更に備えることを特徴とする請求項１０又は１１に記載の画像処理装置。

【請求項15】

前記第３の補正手段は、前記補正された前記第２の明度成分画像を含む前記第２の補正画像における明度対比の影響を拡大するように、前記第２の明度成分画像を補正し
前記第４の補正手段は、前記補正された前記第２の色成分画像を含む前記第２の補正画像における色対比の影響を拡大するように、前記第２の色成分画像を補正する
ことを特徴とする請求項１４に記載の画像処理装置。

【請求項16】

請求項１乃至１５のいずれか１項に記載の画像処理装置と、
前記第１の画像を生成する撮像手段と、
を備えることを特徴とする撮像装置。

【請求項17】

画像における色成分の分布を示す色成分画像に対して、周波数帯域が異なる複数の色用のフィルタを個別に適用することにより、複数の色用のフィルタ処理結果を生成するフィルタ手段であって、前記複数の色用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、フィルタ手段と、
前記複数の色用のフィルタ処理結果を合成することにより、前記画像における色対比の影響度合いの分布を示す色対比影響情報を生成する合成手段と、
前記色対比影響情報に基づいて前記色成分画像を補正する補正手段と、
を備えることを特徴とする画像処理装置。

【請求項18】

画像における彩度成分の分布を示す彩度成分画像に対して、周波数帯域が異なる複数の彩度用のフィルタを個別に適用することにより、複数の彩度用のフィルタ処理結果を生成するフィルタ手段であって、前記複数の彩度用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、フィルタ手段と、
前記複数の彩度用のフィルタ処理結果を合成することにより、前記画像における彩度対比の影響度合いの分布を示す彩度対比影響情報を生成する合成手段と、
前記彩度対比影響情報に基づいて前記彩度成分画像を補正する補正手段と、
を備えることを特徴とする画像処理装置。

【請求項19】

画像処理装置が実行する画像処理方法であって、
第１の画像における明度成分の分布を示す第１の明度成分画像に対して、周波数帯域が異なる複数の明度用のフィルタを個別に適用することにより、複数の明度用のフィルタ処理結果を生成する第１のフィルタ工程であって、前記複数の明度用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、第１のフィルタ工程と、
前記複数の明度用のフィルタ処理結果を合成することにより、前記第１の画像における明度対比の影響度合いの分布を示す明度対比影響情報を生成する第１の合成工程と、
前記明度対比影響情報に基づいて前記第１の明度成分画像を補正する第１の補正工程と、
前記補正された前記第１の明度成分画像と、前記第１の画像における色成分の分布を示す第１の色成分画像とを合成することにより、明度対比の影響が補正された第１の補正画像を生成する第１の生成工程と、
を備えることを特徴とする画像処理方法。

【請求項20】

画像処理装置が実行する画像処理方法であって、
第１の画像における明度成分の分布を示す第１の明度成分画像に対して、周波数帯域が異なる複数の明度用のフィルタを個別に適用することにより、複数の明度用のフィルタ処理結果を生成する第１のフィルタ工程であって、前記複数の明度用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、第１のフィルタ工程と、
前記複数の明度用のフィルタ処理結果を合成することにより、前記第１の画像における明度対比の影響度合いの分布を示す明度対比影響情報を生成する第１の合成工程と、
前記第１の画像における色成分の分布を示す第１の色成分画像に対して、周波数帯域が異なる複数の色用のフィルタを個別に適用することにより、複数の色用のフィルタ処理結果を生成する第２のフィルタ工程であって、前記複数の色用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、第２のフィルタ工程と、
前記複数の色用のフィルタ処理結果を合成することにより、前記第１の画像における色対比の影響度合いの分布を示す色対比影響情報を生成する第２の合成工程と、
前記明度対比影響情報に基づいて前記第１の明度成分画像を補正する第１の補正工程と、
前記色対比影響情報に基づいて前記第１の色成分画像を補正する第２の補正工程と、
前記補正された前記第１の明度成分画像と、前記補正された前記第１の色成分画像とを合成することにより、明度対比の影響及び色対比の影響が補正された第１の補正画像を生成する第１の生成工程と、
を備えることを特徴とする画像処理方法。

【請求項21】

画像処理装置が実行する画像処理方法であって、
画像における色成分の分布を示す色成分画像に対して、周波数帯域が異なる複数の色用のフィルタを個別に適用することにより、複数の色用のフィルタ処理結果を生成するフィルタ工程であって、前記複数の色用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、フィルタ工程と、
前記複数の色用のフィルタ処理結果を合成することにより、前記画像における色対比の影響度合いの分布を示す色対比影響情報を生成する合成工程と、
前記色対比影響情報に基づいて前記色成分画像を補正する補正工程と、
を備えることを特徴とする画像処理方法。

【請求項22】

画像処理装置が実行する画像処理方法であって、
画像における彩度成分の分布を示す彩度成分画像に対して、周波数帯域が異なる複数の彩度用のフィルタを個別に適用することにより、複数の彩度用のフィルタ処理結果を生成するフィルタ工程であって、前記複数の彩度用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、フィルタ工程と、
前記複数の彩度用のフィルタ処理結果を合成することにより、前記画像における彩度対比の影響度合いの分布を示す彩度対比影響情報を生成する合成工程と、
前記彩度対比影響情報に基づいて前記彩度成分画像を補正する補正工程と、
を備えることを特徴とする画像処理方法。

【請求項23】

コンピュータを、請求項１乃至１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【請求項24】

コンピュータを、請求項１７に記載の画像処理装置の各手段として機能させるためのプログラム。

【請求項25】

コンピュータを、請求項１８に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

近年、ダイナミックレンジが拡大したＨＤＲ対応表示機器の普及が進んでいる。ＨＤＲ画像は、従来に比べてより明るい映像表現が可能であり、その結果、従来のＳＤＲ画像に比べて対比効果が顕著に現れるようになった。本明細書における対比効果とは、背景の明るさや彩度が変化すると前景の明るさや彩度の見え方が変化する現象を指す。例えば、背景が明るくなったり彩度が高くなったりすると、前景が暗く見えたり、色がくすんで見えたり、コントラストが高くなったりしたように見える。

【0003】

対比効果によって、ＨＤＲ画像における主被写体の明るさや彩度の見え方が従来のＳＤＲ画像と比べると異なることが、一部のシーンで課題となっている。例えば、ＨＤＲ画像の人物シーンでは、逆光等で背景が明るい時、背景と前景の人物の明暗差が対比効果によって強調されて人物の顔が暗く見えてしまう。

【0004】

また、ＳＤＲモニタでもＨＤＲ画像を鑑賞するためにＨＤＲ画像をＳＤＲ画像に変換する技術があるが、ＨＤＲ画像とＳＤＲ画像を見比べた際に対比効果によってコントラストが異なって見えることが、一部のシーンで課題となっている。例えば、ＨＤＲ画像の夜景シーンでは、イルミネーションの光源付近が対比効果によってコントラストが高くきらめいて見える。しかしながら、変換したＳＤＲ画像では対比効果が薄れてコントラストが低くなり、ＨＤＲ画像で見た時の印象と変わってしまう。

【0005】

特許文献１は、ウェーブレット分解した輝度画像のそれぞれに対して、画素ごとの輝度値を光環境の設計の分野で一般的に使われている人間の明るさの感覚の形容詞（非常に暗い～非常に明るい）を便宜的に数値で割り振った値に変換する処理を行い、ウェーブレット合成を行うことで、複数の周波数を考慮した画像を生成する技術を開示している。また、特許文献２は、入力画像のダイナミックレンジに対応する階調変換カーブに対して、明部と暗部の輝度変化が視覚的に同等となるように調整して階調変換を行う技術を開示している。

【先行技術文献】

【特許文献】

【0006】

【文献】特許第４０１６０７２号公報

【文献】特開２０１９―０７１５６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に開示された技術では、ウェーブレット変換によるアーティファクトが画像で発生するため、直接画像を補正するのには適さない。また、特許文献２に開示された技術では、階調変換カーブを用いて調整を行うため、空間方向における対比の影響度合いの分布が考慮されず、画面一律に補正が行われてしまう。

【0008】

本発明はこのような状況に鑑みてなされたものであり、画像における対比の影響度合いの分布を示す情報を生成する技術を提供することを目的とする。なお、対比効果はＨＤＲ画像に限らず発生し得るので、ここで言う「画像」はＨＤＲ画像に限定されない。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明は、第１の画像における明度成分の分布を示す第１の明度成分画像に対して、周波数帯域が異なる複数の明度用のフィルタを個別に適用することにより、複数の明度用のフィルタ処理結果を生成する第１のフィルタ手段であって、前記複数の明度用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、第１のフィルタ手段と、前記複数の明度用のフィルタ処理結果を合成することにより、前記第１の画像における明度対比の影響度合いの分布を示す明度対比影響情報を生成する第１の合成手段と、前記明度対比影響情報に基づいて前記第１の明度成分画像を補正する第１の補正手段と、前記補正された前記第１の明度成分画像と、前記第１の画像における色成分の分布を示す第１の色成分画像とを合成することにより、明度対比の影響が補正された第１の補正画像を生成する第１の生成手段と、を備えることを特徴とする画像処理装置を提供する。

【発明の効果】

【0010】

本発明によれば、画像における対比の影響度合いの分布を示す情報を生成することが可能となる。

【0011】

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

【図面の簡単な説明】

【0012】

【図1】画像処理装置を備える撮像装置１００（例えば、デジタルカメラ）の構成を示すブロック図。

【図2】第１の実施形態に係る画像処理部１０４において対比補正処理に関与する部分の詳細な構成を示すブロック図。

【図3】明度対比影響情報生成部２０２の詳細な構成を示すブロック図。

【図4】彩度対比影響情報生成部２０３の詳細な構成を示すブロック図。

【図5】第１の実施形態に係る画像処理部１０４が実行する対比補正処理のフローチャート。

【図6】図５のＳ５０２の処理（明度対比影響情報生成部２０２が実行する処理）の詳細を示すフローチャート。

【図7】図５のＳ５０３の処理（彩度対比影響情報生成部２０３が実行する処理）の詳細を示すフローチャート。

【図8】明度対比影響マップの構成について説明する図。

【図9】（ａ）（ｂ）対比影響情報の生成に用いるフィルタの概念図、（ｃ）フィルタ処理結果を説明する図。

【図10】対比影響情報の生成に用いるフィルタのゲインを説明する図。

【図11】第２の実施形態に係る画像処理部１０４において対比補正処理に関与する部分の詳細な構成を示すブロック図。

【図12】ＨＤＲ／ＳＤＲ変換部１１０２の詳細な構成を示すブロック図。

【図13】第２の実施形態に係る画像処理部１０４が実行する対比補正処理のフローチャート。

【図14】図１３のＳ１３０４の処理（ＨＤＲ画像をＳＤＲ画像に変換する処理）の詳細を示すフローチャートである。

【図15】ガンマ変換をリニア空間で表現した図。

【図16】ローカルトーンマッピング処理の一例について説明する図。

【発明を実施するための形態】

【0013】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0014】

［第１の実施形態］
図１は、画像処理装置を備える撮像装置１００（例えば、デジタルカメラ）の構成を示すブロック図である。図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、及びシャッター装置を備えている。光学系１０１は、撮像部１０２に到達する被写体像の倍率、ピント位置、及び光量などを調整する。

【0015】

撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換により電気信号に変換する、ＣＣＤやＣＭＯＳセンサ等の光電変換素子である。Ａ／Ｄ変換部１０３は、入力された映像信号をデジタルの画像に変換する。

【0016】

画像処理部１０４は、通常の信号処理の他に、露光量算出処理、及び顔検出等の被写体検出処理を行う。加えて、画像処理部１０４は、対比影響に関する評価値（対比影響情報）を生成する処理、及び評価値を用いて画像を補正する処理を行う。画像処理部１０４は、Ａ／Ｄ変換部１０３から出力された画像のみでなく、記録部１０９から読み出した画像に対しても同様の画像処理を行うことができる。画像処理部１０４の詳細な構成及び動作については後述する。

【0017】

露光量制御部１０５は、画像処理部１０４によって算出された露光量を実現するために、光学系１０１及び撮像部１０２を制御して、絞り、シャッタースピード、及びセンサのアナログゲインを制御する。

【0018】

システム制御部１０６は、撮像装置１００全体の動作を制御、統括する制御機能部である。システム制御部１０６は、画像処理部１０４で処理された画像から得られる輝度値や操作部１０７から送信された指示に基づいて、光学系１０１や撮像部１０２の駆動制御も行う。

【0019】

表示部１０８は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、画像処理部１０４で生成された画像や、記録部１０９から読み出した画像を表示する。記録部１０９は、画像を記録する機能を有する。記録部１０９は、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよく、この情報記録媒体を着脱可能にしてもよい。

【0020】

バス１１０は、画像処理部１０４、システム制御部１０６、表示部１０８、及び、記録部１０９の間で画像をやり取りするために用いられる。

【0021】

以下では、ＨＤＲ画像の各位置における対比影響の度合い（ＨＤＲ画像における対比影響の度合いの分布）を示す対比影響情報を生成し、生成した対比影響情報を用いてＨＤＲ画像を補正する処理（対比補正処理）について説明する。対比影響情報のうち、明度に関する対比影響情報を明度対比影響情報と呼び、色に関する対比影響情報を色対比影響情報と呼ぶ。色対比の例としては彩度対比や色相対比があるが、本実施形態では彩度対比を例に説明し、彩度に関する対比影響情報を彩度対比影響情報と呼ぶ。なお、本実施形態において、対比補正処理の対象画像はＨＤＲ画像に限定されず、例えばＳＤＲ画像を対象画像として用いてもよい。

【0022】

図２は、画像処理部１０４において対比補正処理に関与する部分の詳細な構成を示すブロック図である。画像処理部１０４は、明度・色分離部２０１、明度対比影響情報生成部２０２、彩度対比影響情報生成部２０３、明度対比補正部２０４、彩度対比補正部２０５、及び明度・色統合部２０６を含む。

【0023】

明度・色分離部２０１には、画像処理部１０４の通常の信号処理によって現像されたＨＤＲ画像が入力され、対比補正処理が行われたＨＤＲ画像が明度・色統合部２０６から出力される。入力されるＨＤＲ画像は、例えば、撮像部１０２により撮像されたＲＡＷ画像を画像処理部１０４が現像することにより生成されたＨＤＲ画像である。現像は、例えば、ＳＴ２０８４のガンマ（ＰＱガンマ）とＲｅｃ．２０２０の色空間とを用いて行われる。出力されるＨＤＲ画像も、入力されるＨＤＲ画像と同様のガンマ特性及び色空間に対応する画像である。また、入力画像及び出力画像は、ＲＧＢ又はＹＵＶで構成される。

【0024】

図５は、画像処理部１０４が実行する対比補正処理のフローチャートである。処理対象のＨＤＲ画像が明度・色分離部２０１に入力されると、本フローチャートの処理が開始する。なお、特に断らない限り、システム制御部１０６は、ＲＯＭ（不図示）に格納された制御プログラムに従って画像処理部１０４の各部を含む撮像装置１００の各部を必要に応じて制御することにより、対比補正処理の制御を行う。

【0025】

Ｓ５０１で、明度・色分離部２０１は、入力されたＨＤＲ画像を明度成分画像と色成分画像とに分離する。具体的には、明度・色分離部２０１は、ＨＤＲ画像を人間の視覚特性を考慮したＩＣｔＣｐ色空間に変換し、明度成分画像と色成分画像とに分離する。Ｉが明度成分画像、Ｃｔ，Ｃｐが色成分画像を指す。ここではＩＣｔＣｐ色空間を用いて説明を行っているが、Ｌａｂによる知覚均等色空間（Ｌａｂ色空間）によって明度成分画像及び色成分画像の分離（取得）を行ってもよい。また、分離した明度成分画像又は色成分画像に対して縮小処理を行ってもよい。

【0026】

Ｓ５０２で、明度対比影響情報生成部２０２は、Ｓ５０１で分離した明度成分画像に基づいて、ＨＤＲ画像における明度対比の影響度合いの分布を示す明度対比影響情報を生成する。明度対比影響情報は、例えば、位置ごとに明度対比の影響度合いを表すマップの形式を持つ。以下の説明において、このマップを明度対比影響マップと呼ぶ。

【0027】

図８を参照して、明度対比影響マップの構成について説明する。図８（ａ）に示すように、明度対比影響マップには、左上の座標を（０，０）として、座標（ｘ，ｙ）ごとに明度対比の影響度合いを示す信号値が格納されている。例えば、図８（ｂ）に示すような逆光人物シーンでは、明度対比の影響度合いを表したマップは、図８（ｃ）に示すようになり、明度対比の影響で暗く見える（影響度合いが大きい）部分ほど、白く表現される。

【0028】

本実施形態では、明度対比影響マップは、明度対比の影響がない部分を０として、影響が大きくにつれて値が大きくなる信号値を持つ。例えば明度対比影響マップを８ｂｉｔで表現した場合は、明度対比の影響が大きくなるにつれて０から２５５へ近づくような信号値となっている。本実施形態では、明度対比影響情報生成部２０２は、入力された明度成分画像に対して、複数の異なる周波数帯域でフィルタ処理を行い、その結果を合成することで明度対比影響マップを生成する。明度対比影響情報を生成する処理の更なる詳細については後述する。

【0029】

本実施形態では、明度対比影響情報生成部２０２は入力された明度成分画像と同じサイズで明度対比影響マップを生成するが、縮小した明度成分画像から明度対比影響マップを生成した場合は、生成した明度対比影響マップを拡大して出力してもよい。

【0030】

Ｓ５０３で、彩度対比影響情報生成部２０３は、Ｓ５０１で分離した色成分画像から、ＨＤＲ画像における彩度対比の影響度合いの分布を示す彩度対比影響情報を生成する。彩度対比影響情報は、例えば、Ｓ５０２において説明した明度対比影響情報と同様に、位置ごとに彩度対比の影響度合いを表すマップの形式を持つ。以下の説明において、このマップを彩度対比影響マップと呼ぶ。彩度対比影響マップは、彩度対比の影響で彩度が低くくすんで見える（影響度合いが大きい）部分ほど、大きい信号値を持つ。

【0031】

本実施形態では、彩度対比の影響度合いは比率で表現されており、彩度対比影響マップは、彩度対比の影響がない部分を１倍として、影響が大きくなるにつれて比率が大きくなるような信号値を持つ。本実施形態では、彩度対比影響情報生成部２０３は、入力された色成分画像に対して、複数の異なる周波数帯域でフィルタ処理を行い、その結果を合成することで彩度対比影響マップを生成する。彩度対比影響情報を生成する処理の更なる詳細については後述する。

【0032】

本実施形態では、彩度対比影響情報生成部２０３は、入力された色成分画像と同じサイズで彩度対比影響マップを生成するが、縮小した色成分画像から彩度対比影響マップを生成した場合は、生成した彩度対比影響マップを拡大して出力してもよい。

【0033】

Ｓ５０４で、明度対比補正部２０４は、Ｓ５０２において生成された明度対比影響マップに基づいて、Ｓ５０１においてＨＤＲ画像から分離した明度成分画像に対して明度対比補正処理を行う。明度成分画像の座標（ｘ，ｙ）における信号値をＩ（ｘ，ｙ）、明度対比影響マップの座標（ｘ，ｙ）における信号値をＭａｐ＿Ｉ（ｘ，ｙ）とすると、明度対比補正処理後の明度成分画像の座標（ｘ，ｙ）における信号値 Ｉ’（ｘ，ｙ）は、式１に従って算出される。

Ｉ’（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋Ｍａｐ＿Ｉ（ｘ，ｙ） …（１）

前述した通り、明度対比影響マップは、明度対比の影響で暗く見える部分ほど、信号値が大きい。そのため、明度成分画像の信号値に対して明度対比影響マップの信号値を加算することで、明度対比の影響で暗く見える部分を明るく補正する（明度対比の影響を軽減する）ことが可能である。

【0034】

なお、明度対比の影響を補正する処理は、明度対比の影響を軽減する処理に限定されない。例えば、式１において明度対比影響マップの信号値を加算する代わりに減算することで、明度対比の影響を拡大するように補正を行ってもよい。このように明度対比の影響を拡大するように補正を行うことにより、例えば、夜景シーンにおいて明るい被写体を更に強調することができる。

【0035】

Ｓ５０５で、彩度対比補正部２０５は、Ｓ５０３において生成された彩度対比影響マップに基づいて、Ｓ５０１においてＨＤＲ画像から分離した色成分画像に対して彩度対比補正処理を行う。色成分画像の座標（ｘ，ｙ）における信号値をＣｔ（ｘ，ｙ），Ｃｐ（ｘ，ｙ）、彩度対比影響マップの座標（ｘ，ｙ）における信号値をＭａｐ＿ＣｔＣｐ（ｘ，ｙ）とすると、彩度対比補正処理後の色成分画像の座標（ｘ，ｙ）における信号値Ｃｔ’（ｘ，ｙ），Ｃｐ’（ｘ，ｙ）は、式１に従って算出される。

前述した通り、彩度対比影響マップは、彩度対比の影響でくすんで見える部分ほど、信号値が大きい。そのため、色成分画像の信号値に対して彩度対比影響マップの信号値を乗算することで、彩度対比の影響で彩度が低くくすんで見える部分を、彩度が高くなるように補正することが可能である。

【0036】

なお、彩度対比の影響を補正する処理は、彩度対比の影響を軽減する処理に限定されない。例えば、式２において彩度対比影響マップの信号値による乗算を行う代わりに除算を行うことで、彩度対比の影響を拡大するように補正を行ってもよい。このように彩度対比の影響を拡大するように補正を行うことにより、例えば、背景に比べて色鮮やかな被写体を更に強調ことができる。

【0037】

また、上の説明では、明度成分画像の信号値に対して明度対比影響マップの信号値を加算することで明度対比補正処理を行い、色成分画像の信号値に対して彩度対比影響マップの信号値を乗算することで彩度対比補正処理を行うものとした。しかしながら、明度対比影響マップを彩度対比影響マップのように比率を示す信号値で表現し、明度成分画像の信号値に対して明度対比影響マップの信号値を乗算することで明度対比補正処理を行う構成を採用することも可能である。また、彩度対比影響マップを明度対比影響マップのように影響度合いを示す信号値で表現し、色成分画像の信号値に対して彩度対比影響マップの信号値を加算することで彩度対比補正処理を行う構成を採用することも可能である。

【0038】

Ｓ５０６で、明度・色統合部２０６は、Ｓ５０４において明度対比補正処理が行われた明度成分画像と、Ｓ５０５において彩度対比補正処理が行われた色成分画像とを統合（合成）する。本実施形態では、明度・色統合部２０６は、明度対比補正処理が行われた明度成分画像（Ｉ画像）と、彩度対比補正処理が行われた色成分画像（Ｃｔ画像、Ｃｐ画像）とをＩＣｔＣｐ画像として統合する。そして、明度・色統合部２０６は、統合したＩＣｔＣｐ画像をＲＧＢ画像又はＹＵＶ画像に変換する。

【0039】

以上の処理により、入力されたＨＤＲ画像から、対比の影響度合いの分布を示す対比影響情報を生成し、対比補正が行われた（対比の影響が軽減又は拡大された）ＨＤＲ画像（補正画像）を生成することができる。

【0040】

なお、上の説明では、Ｓ５０１においてＨＤＲ画像から分離した明度成分画像と色成分画像の両方に対して対比補正処理を行うものとした。しかしながら、明度成分画像と色成分画像のどちらか一方に対してのみ対比補正処理を行ってもよい。例えば、明度成分画像に対して対比補正処理を行い、色成分画像に対して対比補正処理を行わない場合を考える。この場合、Ｓ５０３及びＳ５０５の処理は省略され、Ｓ５０６では、Ｓ５０４において明度対比補正処理が行われた明度成分画像と、Ｓ５０１において分離された色成分画像とを統合する処理が行われる。

【0041】

次に、図３及び図６を参照して、図５のＳ５０２の処理（明度対比影響情報を生成する処理）の詳細について説明する。前述した通り、本実施形態では明度対比影響情報の例として明度対比影響マップを用いる。

【0042】

図３は、明度対比影響情報生成部２０２の詳細な構成を示すブロック図である。明度対比影響情報生成部２０２は、第１のフィルタ処理部３０１、第２のフィルタ処理部３０２、第３のフィルタ処理部３０３、及び合成部３０４を含む。第１のフィルタ処理部３０１、第２のフィルタ処理部３０２、及び第３のフィルタ処理部３０３には、明度・色分離部２０１から明度成分画像が入力される。合成部３０４からは、明度対比影響マップが明度対比補正部２０４へと出力される。

【0043】

図６は、図５のＳ５０２の処理（明度対比影響情報生成部２０２が実行する処理）の詳細を示すフローチャートである。

【0044】

Ｓ６０１で、第１のフィルタ処理部３０１は、明度・色分離部２０１から入力された明度成分画像に対して、第１の周波数帯域で第１のフィルタ処理を行う。第１のフィルタ処理の詳細については後述する。

【0045】

Ｓ６０２で、第２のフィルタ処理部３０２は、明度・色分離部２０１から入力された明度成分画像に対して、第１の周波数帯域とは異なる第２の周波数帯域で第２のフィルタ処理を行う。第２のフィルタ処理の詳細については後述する。

【0046】

Ｓ６０３で、第３のフィルタ処理部３０３は、明度・色分離部２０１から入力された明度成分画像に対して、第１の周波数帯域及び第２の周波数帯域とは異なる第３の周波数帯域で第３のフィルタ処理を行う。第３のフィルタ処理の詳細については後述する。

【0047】

Ｓ６０４で、合成部３０４は、第１のフィルタ処理、第２のフィルタ処理、及び第３のフィルタ処理の結果を合成する。座標（ｘ，ｙ）における第１のフィルタ処理の結果の信号値をＦ_１（ｘ，ｙ）、第２のフィルタ処理の結果の信号値をＦ_２（ｘ，ｙ）、第３のフィルタ処理の結果の信号値をＦ_３（ｘ，ｙ）とすると、合成処理後の座標（ｘ，ｙ）における信号値Ｍａｐ＿Ｉ（ｘ，ｙ）は、下記の式３に従って算出される。

Ｍａｐ＿Ｉ（ｘ，ｙ）＝Ｍａｘ［Ｆ_１（ｘ，ｙ），Ｆ_２（ｘ，ｙ），Ｆ_３（ｘ，ｙ）］
…（３）

【0048】

なお、式３の例では複数のフィルタ処理結果のうちの最大値が合成処理後の信号値として選択されるが、下記の式４のように複数のフィルタ処理結果の平均値を算出することにより合成処理後の信号値を生成する構成を採用してもよい。

Ｍａｐ＿Ｉ（ｘ，ｙ）＝（Ｆ_１（ｘ，ｙ）＋Ｆ_２（ｘ，ｙ）＋Ｆ_３（ｘ，ｙ））÷３
…（４）

【0049】

以上の処理により、明度対比影響マップが生成される。

【0050】

なお、図３及び図６の例では、３つの異なる周波数帯域でフィルタ処理を行っているが、周波数帯域の数は３に限定されず、２以上（複数）であれば任意の数でよい。換言すると、明度対比影響情報生成部２０２（第１のフィルタ手段）は、明度成分画像に対して、周波数帯域が異なる複数の明度用のフィルタを個別に適用することにより、複数の明度用のフィルタ処理結果を生成する。明度対比影響情報生成部２０２は、周波数帯域の数に応じた数のフィルタ処理部を持つように構成され、合成部３０４は、明度対比影響情報生成部２０２が持つ複数のフィルタ処理部からの複数の明度用のフィルタ処理結果を合成する。

【0051】

次に、図４及び図７を参照して、図５のＳ５０３の処理（彩度対比影響情報を生成する処理）の詳細について説明する。前述した通り、本実施形態では彩度対比影響情報の例として彩度対比影響マップを用いる。彩度対比影響情報を生成する処理は、入力された色成分画像に直接フィルタ処理を行うのではなく、入力された色成分画像から彩度成分画像を生成し、生成された彩度成分画像に対してフィルタ処理を行う点で、明度対比影響情報を生成する処理と異なる。

【0052】

図４は、彩度対比影響情報生成部２０３の詳細な構成を示すブロック図である。彩度対比影響情報生成部２０３は、彩度信号生成部４０１、第１のフィルタ処理部４０２、第２のフィルタ処理部４０３、第３のフィルタ処理部４０４、及び合成部４０５を含む。彩度信号生成部４０１には、明度・色分離部２０１から色成分画像が入力される。合成部４０５からは、彩度対比影響マップが彩度対比補正部２０５へと出力される。

【0053】

図７は、図５のＳ５０３の処理（彩度対比影響情報生成部２０３が実行する処理）の詳細を示すフローチャートである。

【0054】

Ｓ７０１で、彩度信号生成部４０１は、入力された色成分画像から彩度成分画像を生成する。本実施形態では、色成分画像としてＣｔ，Ｃｐ画像が使用されている。Ｃｔ，Ｃｐ画像の座標（ｘ，ｙ）における信号値をＣｔ（ｘ，ｙ），Ｃｐ（ｘ，ｙ）とすると、彩度成分画像の座標（ｘ，ｙ）における信号値Ｓ（ｘ，ｙ）は、下記の式５に従って算出される。

【0055】

Ｓ７０２で、第１のフィルタ処理部４０２は、彩度信号生成部４０１から入力された彩度成分画像に対して、第１の周波数帯域で第１のフィルタ処理を行う。Ｓ７０２における第１のフィルタ処理はＳ６０１における第１のフィルタ処理と同様であるが、Ｓ７０２における第１の周波数帯域は、Ｓ６０１における第１の周波数帯域と同じであってもよいし、異なっていてもよい。

【0056】

Ｓ７０３で、第２のフィルタ処理部４０３は、彩度信号生成部４０１から入力された彩度成分画像に対して、第１の周波数帯域とは異なる第２の周波数帯域で第２のフィルタ処理を行う。Ｓ７０３における第２のフィルタ処理はＳ６０２における第２のフィルタ処理と同様であるが、Ｓ７０３における第２の周波数帯域は、Ｓ６０２における第２の周波数帯域と同じであってもよいし、異なっていてもよい。

【0057】

Ｓ７０４で、第３のフィルタ処理部４０４は、彩度信号生成部４０１から入力された彩度成分画像に対して、第１の周波数帯域及び第２の周波数帯域とは異なる第３の周波数帯域で第３のフィルタ処理を行う。Ｓ７０４における第３のフィルタ処理はＳ６０３における第３のフィルタ処理と同様であるが、Ｓ７０４における第３の周波数帯域は、Ｓ６０３における第３の周波数帯域と同じであってもよいし、異なっていてもよい。

【0058】

Ｓ７０５で、合成部４０５は、第１のフィルタ処理、第２のフィルタ処理、及び第３のフィルタ処理の結果を合成する。ここでの合成方法は、Ｓ６０４における合成方法と同様である。

【0059】

以上の処理により、彩度対比影響マップが生成される。

【0060】

なお、図４及び図７の例では、３つの異なる周波数帯域でフィルタ処理を行っているが、周波数帯域の数は３に限定されず、２以上（複数）であれば任意の数でよい。換言すると、彩度対比影響情報生成部２０３（第２のフィルタ手段）は、彩度成分画像に対して、周波数帯域が異なる複数の彩度用のフィルタを個別に適用することにより、複数の彩度用のフィルタ処理結果を生成する。彩度対比影響情報生成部２０３は、周波数帯域の数に応じた数のフィルタ処理部を持つように構成され、合成部４０５は、彩度対比影響情報生成部２０３が持つ複数のフィルタ処理部からの複数の彩度用のフィルタ処理結果を合成する。

【0061】

次に、図９及び図１０を参照して、図６のＳ６０１～Ｓ６０３及び図７のＳ７０２～Ｓ７０４におけるフィルタ処理の詳細について説明する。前述の通り、図７のＳ７０２～Ｓ７０４におけるフィルタ処理は、図６のＳ６０１～Ｓ６０３におけるフィルタ処理と同様であり、いずれのフィルタ処理においても、人間のコントラスト検出に関する視覚特性に基づく空間フィルタが用いられる。但し、前述の通り、図７のＳ７０２～Ｓ７０４におけるフィルタの周波数帯域は、図６のＳ６０１～Ｓ６０３におけるフィルタの周波数帯域と必ずしも同一ではない。

【0062】

図９（ａ）は、人間の視覚特性のうちコントラスト検出の特性に基づいたガウシアンの２次微分関数を利用したフィルタを１次元で表した図である。前記フィルタは、中心領域と周辺領域の差分をとるようなメキシカンハット型となっている。入力画像の対象画素（ｘ，ｙ）に対する前記フィルタ結果をＧｆ_ｋ（ｘ，ｙ）で表すと、式６のようになる。

式６において、ｒ_ｉｊはフィルタの対象画素（ｘ，ｙ）から座標（ｉ，ｊ）までの距離、σ_ｋはフィルタのパラメータ、ｗ_ｉｊは座標（ｉ，ｊ）におけるフィルタの重み、ｐｉｘ（ｉ，ｊ）は入力画像の座標（ｉ，ｊ）の信号値である。ｋはフィルタの識別番号であり、フィルタの数がｎ個ある場合は、ｋ＝０，１，２，…，ｎ－１で示す。

【0063】

σ_ｋは、検出する周波数帯域によって変化する。３つの異なる周波数帯域で検出した時の式６のフィルタの形状を１次元で表すと、図９（ｂ）のようになる。フィルタは、σ_ｋの値が大きくなるほど低周波の帯域で検出する特性を持ち、小さい値から大きい値に向かって、図９（ｂ）のフィルタ９０１、フィルタ９０２、フィルタ９０３のような形状に変化する。

【0064】

本実施形態では、式６のフィルタを用いて下記の式７のような演算を行うことで、フィルタ処理結果の信号値Ｆ_ｋ（ｘ，ｙ）が生成される。

Ｆ_ｋ（ｘ，ｙ）＝－１×（Ｇｆ_ｋ（ｘ，ｙ）－ｐｉｘ（ｘ，ｙ））×ｇａｉｎ_ｋ
…（７）

式７において、ｐｉｘ（ｘ，ｙ）は入力画像の座標（ｘ，ｙ）の信号値である。ｇａｉｎ_ｋは、検出する周波数帯域に応じたゲインであり、ｇａｉｎ_ｋの算出方法については後述する。

【0065】

また、フィルタ処理結果を差分値ではなく比率で表現する場合は、下記の式８のような演算を行うことで、フィルタ処理結果を生成することができる。

【0066】

本実施形態では、明度対比影響マップの生成に式７を用い、彩度対比影響マップの生成に式８を用いる。明度対比影響マップを生成する場合は、ｐｉｘ（ｘ，ｙ）として明度成分信号値Ｉ（ｘ，ｙ）を用い、彩度対比影響マップを生成する場合は、ｐｉｘ（ｘ，ｙ）として彩度成分信号値Ｓ（ｘ，ｙ）を用いる。

【0067】

なお、明度対比影響マップを生成する場合に、ｐｉｘ（ｘ，ｙ）として明度成分信号値Ｉ（ｘ，ｙ）をそのまま用いる代わりに、式９に示すようにＳＴ２０８４記載のモニタガンマ（ＥＯＴＦ）によって明度成分信号値Ｉ（ｘ，ｙ）をリニアに変換した信号をｐｉｘ（ｘ，ｙ）として用いてもよい。

式９において、ｐ＿ｏｕｔは、明度成分信号値Ｉ（ｘ，ｙ）を０．０～１．０に正規化した信号であり、１．０は出力ビット数に応じた上限値、０．０は出力ビット数に応じた下限値に対応する。例えば、出力ビット数が１０ビットである場合、上限値は１０２３、下限値は０である。ｐ＿ｉｎは、明度成分信号値Ｉ（ｘ，ｙ）をリニアに変換した信号であり、０．０～１．０に正規化されている。変換信号を１０ビットで表現する場合には、０．０を０として扱い、１．０を１０２３として扱う。

【0068】

図９（ｃ）は、前述した図９（ｂ）に示すような３つの異なる周波数帯域で入力画像に対してフィルタ処理を行った結果の概念図である。第１のフィルタ処理結果が９０５は、入力画像９０４に対して第１の周波数帯域に対応するフィルタ９０１を用いてフィルタ処理を行った結果を示す。第２のフィルタ処理結果９０６は、入力画像９０４に対して第２の周波数帯域に対応するフィルタ９０２を用いてフィルタ処理を行った結果を示す。第３のフィルタ処理結果９０７は、入力画像９０４に対して第３の周波数帯域に対応するフィルタ９０３を用いてフィルタ処理を行った結果を示す。フィルタ９０１のような高周波帯域では、人物と背景の境界に近い部分の対比の影響の検出が可能となり、フィルタ９０３の様な低周波帯域では、人物の顔の中まで検出が可能となる。前述のガウシアンの２次微分関数を利用したフィルタを用いて、入力画像に対して複数の周波数帯域でフィルタ処理を行うことで、大きさの異なる被写体の対比の影響を検出することが可能となっている。

【0069】

続いて、前述の式７及び式８で用いる周波数帯域に応じたゲインｇａｉｎ_ｋの算出方法について詳細に説明を行う。最初に、ゲインｇａｉｎ_ｋの算出方法の説明に必要なパラメータについて説明を行う。

【0070】

図１０（ａ）は、前述のガウシアンの２次微分関数を利用したフィルタを領域分割した図である。符号１００１で示しているフィルタの正の領域に相当する範囲をフィルタの中心領域、符号１００２で示しているフィルタの負の領域に相当する範囲をフィルタの周辺領域とする。中心領域１００１及び周辺領域１００２に相当する範囲の輝度の平均値を、それぞれフィルタの中心輝度ｘ_ｋ、フィルタの周辺輝度ｙ_ｋとし、中心領域１００１の範囲の大きさをｚ_ｋとする。

【0071】

本実施形態では、周波数帯域に応じたゲインｇａｉｎ_ｋを、フィルタの中心輝度ｘ_ｋ、周辺輝度ｙ_ｋ、及び中心領域の大きさｚ_ｋに基づくゲインｆ＿ｇａｉｎ_ｋ（ｘ_ｋ，ｙ_ｋ，ｚ_ｋ）とし、式１０のように表現する。

ｇａｉｎ_ｋ＝ｆ＿ｇａｉｎ_ｋ（ｘ_ｋ，ｙ_ｋ，ｚ_ｋ） …（１０）

以下、ゲインｆ＿ｇａｉｎ_ｋ（ｘ_ｋ，ｙ_ｋ，ｚ_ｋ）について説明を行う。

【0072】

ゲインｆ＿ｇａｉｎ_ｋ（ｘ_ｋ，ｙ_ｋ，ｚ_ｋ）は、フィルタの中心輝度ｘ_ｋ、周辺輝度ｙ_ｋ、及びフィルタの中心領域の大きさｚ_ｋの３つのパラメータを与えると１つのゲインが決まるような、予め決められたテーブルである。図１０（ｂ）は、１つのパラメータを変化させ、他の２つのパラメータを固定とした時のゲインｇａｉｎ_ｋを表した図である。テーブルは、フィルタの中心輝度ｘ_ｋが高くなるほどゲインが小さくなり、フィルタの周辺輝度ｙ_ｋが高くなるほどゲインが大きくなり、フィルタの中心領域の大きさｚ_ｋが大きくなるほどゲインが小さくなるような性質を持つ。このように、テーブルｆ＿ｇａｉｎ_ｋ（ｘ_ｋ，ｙ_ｋ，ｚ_ｋ）は、対比の影響に基づいてゲインが変化するテーブルとなっている。

【0073】

なお、上の説明では、周波数帯域に応じたゲインｇａｉｎ_ｋをｆ＿ｇａｉｎ_ｋ（ｘ_ｋ，ｙ_ｋ，ｚ_ｋ）と規定しているが、他の方法によりｇａｉｎ_ｋを規定してもよい。例えば、下記の式１１のような、シーンに基づいて主被写体の対比の影響を優先して補正するゲインｓｃｎ＿ｇａｉｎ_ｋ（ｚ_ｋ／Ｍ）を用いてゲインｇａｉｎ_ｋを規定してもよい。

式１１において、Ｍは主被写体の大きさ、ｚ_ｋはフィルタの中心領域の大きさである。主被写体の大きさＭは、被写体領域の検出結果のサイズ（顔検出結果の枠サイズ等）である。

【0074】

図１０（ｃ）は、主被写体の大きさＭに対するフィルタの中心領域の大きさｚ_ｋの比率を横軸とした時の、ｓｃｎ＿ｇａｉｎ_ｋ（ｚ_ｋ／Ｍ）を表した図である。ｓｃｎ＿ｇａｉｎ_ｋ（ｚ_ｋ／Ｍ）の算出は、図１０（ｃ）のように予め決められたテーブルを用いて行うことができる。主被写体の大きさＭよりフィルタの中心領域の大きさｚ_ｋが小さいフィルタによって対比の影響を補正すると、主被写体の内部の陰影等も補正してしまう特徴がある。そのため、主被写体の大きさＭに対するフィルタの中心領域の大きさｚ_ｋの比率が小さい場合はｓｃｎ＿ｇａｉｎ_ｋ（ｚ_ｋ／Ｍ）を小さくすることで、主被写体の陰影を残すことができるようなゲインを得ることができる。

【0075】

なお、上の説明では、ゲインｇａｉｎ_ｋの算出方法について、明度対比影響マップの生成時に用いるゲインの算出方法を説明しているが、彩度対比影響マップの生成時も、明度対比影響マップの生成時と同じゲインを用いることができる。或いは、上の説明における中心輝度及び周辺輝度の部分を中心彩度及び周辺彩度と読み替えることにより、彩度対比影響マップの生成時に用いるゲインを別途算出してもよい。

【0076】

本実施形態におけるゲインｇａｉｎ_ｋの算出方法についてここまで説明を行ってきたが、ｇａｉｎ_ｋの算出方法は上で説明した方法に限定されない。例えば、ゲインとして固定値を用いてもよい。

【0077】

以上説明したように、第１の実施形態によれば、撮像装置１００は、ＨＤＲ画像における明度成分の分布を示す明度成分画像に対して、周波数帯域が異なる複数の明度用のフィルタを個別に適用することにより、複数の明度用のフィルタ処理結果を生成する。複数の明度用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである。そして、撮像装置１００は、複数の明度用のフィルタ処理結果を合成することにより、ＨＤＲ画像における明度対比の影響度合いの分布を示す明度対比影響情報を生成する。

【0078】

また、撮像装置１００は、ＨＤＲ画像における彩度成分の分布を示す彩度成分画像に対して、周波数帯域が異なる複数の彩度用のフィルタを個別に適用することにより、複数の彩度用のフィルタ処理結果を生成する。複数の色用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである。そして、撮像装置１００は、複数の彩度用のフィルタ処理結果を合成することにより、ＨＤＲ画像における彩度対比の影響度合いの分布を示す彩度対比影響情報を生成する。

【0079】

これにより、画像における対比の影響度合いの分布を示す情報を生成することが可能となる。

【0080】

［第２の実施形態］
第２の実施形態では、ＨＤＲ画像から生成された対比影響情報に基づいて、ＨＤＲ画像から変換されたＳＤＲ画像に対して対比の影響を補正する処理を行う構成について説明する。本実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である。以下、主に第１の実施形態と異なる点について説明する。

【0081】

図１１は、第２の実施形態に係る画像処理部１０４において対比補正処理に関与する部分の詳細な構成を示すブロック図である。画像処理部１０４は、明度・色分離部１１０１、ＨＤＲ／ＳＤＲ変換部１１０２、明度対比影響情報生成部１１０３、及び彩度対比影響情報生成部１１０４を含む。画像処理部１０４はまた、明度・色分離部１１０５、明度対比補正部１１０６、彩度対比補正部１１０７、及び明度・色統合部１１０８を含む。

【0082】

明度・色分離部１１０１には、画像処理部１０４の通常の信号処理によって現像されたＨＤＲ画像が入力され、対比補正処理が行われたＳＤＲ画像が明度・色統合部１１０８から出力される。入力されるＨＤＲ画像は、例えば、撮像部１０２により撮像されたＲＡＷ画像を画像処理部１０４が現像することにより生成されたＨＤＲ画像である。現像は、例えば、ＳＴ２０８４のガンマ（ＰＱガンマ）とＲｅｃ．２０２０の色空間とを用いて行われる。出力されるＳＤＲ画像は、例えばｓＲＧＢガンマとｓＲＧＢ色域とを用いて現像された画像である。また、入力画像及び出力画像は、ＲＧＢ又はＹＵＶで構成される。

【0083】

なお、第１の実施形態と同様、入力画像はＨＤＲ画像に限定されない。また、出力画像はＳＤＲ画像に限定されず、入力画像よりも明度成分及び色成分のダイナミックレンジが小さい画像であれば、任意の形式の画像でよい。

【0084】

図１３は、第２の実施形態に係る画像処理部１０４が実行する対比補正処理のフローチャートである。処理対象のＨＤＲ画像が明度・色分離部１１０１に入力されると、本フローチャートの処理が開始する。なお、特に断らない限り、システム制御部１０６は、ＲＯＭ（不図示）に格納された制御プログラムに従って画像処理部１０４の各部を含む撮像装置１００の各部を必要に応じて制御することにより、対比補正処理の制御を行う。

【0085】

Ｓ１３０１～Ｓ１３０３で、明度・色分離部１１０１、明度対比影響情報生成部１１０３、及び彩度対比影響情報生成部１１０４は、図５のＳ５０１～Ｓ５０３と同様の処理を行う。

【0086】

Ｓ１３０４で、ＨＤＲ／ＳＤＲ変換部１１０２は、ＨＤＲ画像をＳＤＲ画像に変換する処理（ＨＤＲ画像からＳＤＲ画像を生成する画像生成処理）を行う。Ｓ１３０４の処理の詳細については後述する。

【0087】

Ｓ１３０５で、明度・色分離部１１０５は、Ｓ１３０４において生成されたＳＤＲ画像を明度成分画像と色成分画像とに分離する。分離方法の詳細については、図５のＳ５０１及び図１３のＳ１３０１と同様である。

【0088】

Ｓ１３０６で、明度対比補正部１１０６は、Ｓ１３０２において生成された明度対比影響マップに基づいて、Ｓ１３０５においてＳＤＲ画像から分離した明度成分画像に対して明度対比補正処理を行う。本実施形態における明度対比補正処理は、第１の実施形態における図５のＳ５０４とは異なる。明度成分画像の座標（ｘ，ｙ）における信号値をＩ（ｘ，ｙ）、明度対比影響マップの座標（ｘ，ｙ）における信号値をＭａｐ＿Ｉ（ｘ，ｙ）とすると、本実施形態における明度対比補正処理後の明度成分画像の座標（ｘ，ｙ）における信号値Ｉ’（ｘ，ｙ）は、式１２により表される。

Ｉ’（ｘ，ｙ）＝Ｉ（ｘ，ｙ）－Ｍａｐ＿Ｉ（ｘ，ｙ） …（１２）

前述した通り、明度対比影響マップは明度対比の影響で暗く見える部分程、信号値が高い。そのため、明度成分画像の信号値から明度対比影響マップの信号値を減算することで、ＨＤＲ画像からＳＤＲ画像への変換に起因してＨＤＲ画像と比べて明度対比によるコントラスト感が薄れて見える部分に対して、コントラストを加えることが可能となる。

【0089】

なお、明度対比の影響を補正する処理は、明度対比の影響を拡大する処理に限定されない。例えば、式１２において明度対比影響マップの信号値を減算する代わりに加算することで、明度対比の影響を軽減するように補正を行ってもよい。このように、ＳＤＲ画像に対しても、第１の実施形態と同様に明度対比の影響を軽減するように補正を行ってもよい。

【0090】

Ｓ１３０７で、彩度対比補正部１１０７は、Ｓ１３０３において生成された彩度対比影響マップに基づいて、Ｓ１３０５においてＳＤＲ画像から分離した色成分画像に対して彩度対比補正処理を行う。本実施形態における彩度対比補正処理は、第１の実施形態における図５のＳ５０５とは異なる。色成分画像の座標（ｘ，ｙ）における信号値をＣｔ（ｘ，ｙ），Ｃｐ（ｘ，ｙ）、彩度対比影響マップの座標（ｘ，ｙ）における信号値をＭａｐ＿ＣｔＣｐ（ｘ，ｙ）とすると、本実施形態における彩度対比補正処理後の色成分画像の座標（ｘ，ｙ）における信号値Ｃｔ’（ｘ，ｙ），Ｃｐ’（ｘ，ｙ）は、式１３により表される。

前述した通り、彩度対比影響マップは、彩度対比の影響でくすんで見える部分程、信号値が高い。そのため、色成分画像の信号値に対して彩度対比影響マップの信号値を乗算することで、ＨＤＲ画像からＳＤＲ画像への変換に起因してＨＤＲ画像と比べて彩度対比による彩度感が薄れて見える部分に対して、彩度を強調することが可能となる。

【0091】

なお、彩度対比の影響を補正する処理は、彩度対比の影響を拡大する処理に限定されない。例えば、式１３において彩度対比影響マップの信号値による除算を行う代わりに乗算を行うことで、彩度対比の影響を軽減するように補正を行ってもよい。このように、ＳＤＲ画像に対しても、第１の実施形態と同様に彩度対比の影響を軽減する補正を行ってもよい。

【0092】

Ｓ１３０８で、明度・色統合部１１０８は、Ｓ１１０６において明度対比補正処理が行われた明度成分画像と、Ｓ１１０７において彩度対比補正処理が行われた色成分画像とを統合（合成）する。統合方法の詳細については、図５のＳ５０６と同様である。

【0093】

以上の処理により、入力されたＨＤＲ画像から、対比の影響度合いの分布を示す対比影響情報を生成し、対比補正が行われた（対比の影響が拡大又は軽減された）ＳＤＲ画像（補正画像）を生成することができる。

【0094】

なお、上の説明では、Ｓ１３０５においてＳＤＲ画像から分離した明度成分画像と色成分画像の両方に対して対比補正処理を行うものとした。しかしながら、明度成分画像と色成分画像のどちらか一方に対してのみ対比補正処理を行ってもよい。例えば、明度成分画像に対して対比補正処理を行い、色成分画像に対して対比補正処理を行わない場合を考える。この場合、Ｓ１３０３及びＳ１３０７の処理は省略され、Ｓ１３０８では、Ｓ１３０６において明度対比補正処理が行われた明度成分画像と、Ｓ１３０５において分離された色成分画像とを統合する処理が行われる。

【0095】

次に、図１２及び図１４を参照して、図１３のＳ１３０４の処理（ＨＤＲ画像をＳＤＲ画像に変換する処理）の詳細について説明する。

【0096】

図１２は、ＨＤＲ／ＳＤＲ変換部１１０２の詳細な構成を示すブロック図である。ＨＤＲ／ＳＤＲ変換部１１０２は、ガンマ変換部１２０１、ローカルトーンマッピング処理部１２０２、及び色域変換部１２０３を含む。入力画像は、ガンマはＳＴ２０８４記載のＰＱガンマ、色空間はＲｅｃ．２０２０で現像されたＨＤＲ画像であり、出力画像は、ガンマはｓＲＧＢガンマ、色空間はｓＲＧＢ色域で現像されたＳＤＲ画像である。

【0097】

図１４は、図１３のＳ１３０４の処理（ＨＤＲ画像をＳＤＲ画像に変換する処理）の詳細を示すフローチャートである。

【0098】

Ｓ１４０１で、ガンマ変換部１２０１は、入力されたＨＤＲ画像に対し、ＳＤＲ画像に対応するガンマ変換を行う。ガンマ変換とは、ＨＤＲ画像で適用されているガンマをリニア空間に戻して、ＳＤＲ画像に適用すべきガンマに変換する処理を指す。

【0099】

最初に、ガンマ変換部１２０１は、ＨＤＲ画像で適用されているガンマをリニア空間に戻すために、ＨＤＲ画像に適用されているガンマの逆特性であるモニタガンマ（ＥＯＴＦ）を適用する。本実施形態では、前述の式９に記載されている様なＳＴ２０８４記載のモニタガンマ（ＥＯＴＦ）が適用される。前述の式９のｐ＿ｏｕｔは、ＨＤＲ画像の出力信号を０．０～１．０に正規化したＲ，Ｇ，Ｂの信号であり、１．０は出力ビット数に応じた上限値、０．０は下限値に対応する。例えば、出力ビット数が１０ビットである場合は、上限値は１０２３、下限値は０である。ｐ＿ｉｎは、ＨＤＲ画像をリニア空間に戻した入力信号を０．０～１．０に正規化したＲ，Ｇ，Ｂの信号であり、０．０が０ｃｄ／ｍ^２、１．０が１００００ｃｄ／ｍ^２の輝度値を示す。

【0100】

次に、ガンマ変換部１２０１は、リニア空間に戻した信号値に対してＳＤＲのガンマ（ＯＥＴＦ）を適用する。前述の式９で算出したｐ＿ｉｎは、０．０が０ｃｄ／ｍ^２、１．０が１００００ｃｄ／ｍ^２に対応している。ｐ＿ｉｎに後述の式１５のＳＤＲのガンマを適用するため、下記の式１４のように、ｐ＿ｉｎを０．０が０ｃｄ／ｍ^２、１．０が１００ｃｄ／ｍ^２に対応するように正規化し直す必要がある。ｐ＿ｉｎ’は正規化し直した信号値を指す。

ｐ＿ｉｎ’＝１００×ｐ＿ｉｎ …（１４）

【0101】

式１４によって正規化し直した信号値ｐ＿ｉｎ’を後述の式１５のｐ＿ｉｎとして適用することでガンマ変換を実現できる。ｐ＿ｉｎは、リニアである入力信号を０．０～１．０に正規化したＲ，Ｇ，Ｂの信号であり、０．０が０ｃｄ／ｍ^２、１．０が１００ｃｄ／ｍ^２の輝度値を示す。ｐ＿ｏｕｔは出力信号を０．０～１．０に正規化したＲ，Ｇ，Ｂの信号であり、１．０は出力ビット数に応じた上限値、０．０は下限値に対応する。例えば、出力ビット数が１０ビットである場合は、上限値は１０２３、下限値は０に対応する。

【0102】

図１５は、ガンマ変換をリニア空間で表現した図である。横軸は、入力のリニア信号、縦軸は、出力のリニア信号に対応する。点線で示した特性１５０１は、ＨＤＲ画像の入出力特性、実線で示した特性１５０２は、ガンマ変換後のＳＤＲ画像の入出力特性を指す。図１５のように、ガンマ変換後のＳＤＲ画像の入出力特性は、ＨＤＲ画像の入出力特性を線形に押し込めた形となる。

【0103】

Ｓ１４０２で、ローカルトーンマッピング処理部１２０２は、Ｓ１４０１においてガンマ変換を行った画像に対し、ローカルトーンマッピング処理を行う。ローカルトーンマッピング処理によって、暗部や明部の明るさを変化させつつ、階調圧縮等が起きる輝度域に対し、コントラストを高める処理を実施する。ローカルトーンマッピングの処理には、異なる周波数帯域の画像や領域の判別結果を用いて、局所的に階調特性が変化するようなゲインマップを生成し、生成したゲインマップを参照しながら階調処理を実施するような、一般的な手法を用いる。

【0104】

図１６を参照して、Ｓ１４０２のローカルトーンマッピング処理の一例について説明を行う。図１６は、ローカルトーンマッピングで使用する階調特性の一例を表している。入力信号は、Ｓ１４０１でＳＤＲガンマに変換された信号、出力信号は、ローカルトーンマッピングで処理した時に目標となる出力信号である。入力されたＨＤＲ画像に対してＳＤＲ画像に対応するガンマ変換が行われた信号は、前述の図１５を用いた説明の通り、広いダイナミックレンジの信号をＳＤＲのレンジに収めているため、ＨＤＲ画像で表現されていた明るさに比べて一律に暗くなる。そのため、図１６の階調特性１６０２のように、元の階調特性１６０１に対し、低輝度から中輝度を明るく補正する特性を作成する。図１６での階調特性をｙ＝ｔｍ（ｘ）とすると、ガンマ変換後の画像信号をｐとし、ガンマ変換後の画像信号に対しＬＰＦ処理などで生成した低周波画像をｐ＿ｌｐｆとすると、ローカルトーンマッピングによる出力信号ｐ＿ｏｕｔは式１６で表される。

【0105】

Ｓ１４０３で、色域変換部１２０３は、Ｓ１４０１において入力されたＨＤＲ画像のＲｅｃ．２０２０色域からＳＤＲ画像のｓＲＧＢ色域に変換する処理を行う。この処理については、単純なマトリクス変換による処理でもよいし、ルックアップテーブルを用いた色域マッピング処理でもよい。

【0106】

以上の処理により、ＨＤＲ画像がＳＤＲ画像に変換される。

【0107】

以上説明したように、第２の実施形態によれば、撮像装置１００は、ＨＤＲ画像から生成された対比影響情報に基づいて、ＨＤＲ画像から変換されたＳＤＲ画像に対して対比の影響を補正する処理を行う。これにより、ＨＤＲ画像からＳＤＲ画像への変換に起因してＨＤＲ画像と比べて対比の影響が薄れて見える部分に対して、対比の影響を拡大したり、更に軽減したりすることが可能となる。

【0108】

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0109】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0110】

１００…撮像装置、１０４…画像処理部、１０６…システム制御部、２０１…明度・色分離部、２０２…明度対比影響情報生成部、２０３…彩度対比影響情報生成部、２０４…明度対比補正部、２０５…彩度対比補正部、２０６…明度・色統合部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】