特許 7502902 画像処理装置、撮像装置、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-11

(45)【発行日】2024-06-19

(54)【発明の名称】画像処理装置、撮像装置、制御方法及びプログラム

(51)【国際特許分類】

   G06T 5/00 20240101AFI20240612BHJP

   H04N 23/63 20230101ALI20240612BHJP

   H04N 23/60 20230101ALI20240612BHJP

【ＦＩ】

G06T5/00

H04N23/63

H04N23/60

【請求項の数】 10

(21)【出願番号】P 2020094910

(22)【出願日】2020-05-29

(65)【公開番号】P2021189788

(43)【公開日】2021-12-13

【審査請求日】2023-05-29

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】久保 裕紀子

【審査官】三沢 岳志

(56)【参考文献】

【文献】国際公開第２０１６／１２５６９１（ＷＯ，Ａ１）

【文献】特開２０１１－１６００１９（ＪＰ，Ａ）

【文献】特開２０１９－０１２１７９（ＪＰ，Ａ）

【文献】特開２０１９－０７１５６８（ＪＰ，Ａ）

【文献】特開２０１４－１９４５２５（ＪＰ，Ａ）

【文献】特開２０１３－１２８１７７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０１６１８８２（ＵＳ，Ａ１）

【文献】池田 大介ほか，“多チャンネル映像の同時閲覧インタフェースの検討”，電子情報通信学会技術研究報告 = IEICE technical report : 信学技報，2004年12月17日，第104巻, 第526号，pp.49－54

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

画面に同時表示する複数の画像とその配置態様の情報を取得する取得手段と、
前記配置態様の情報に基づいて、前記取得手段により取得された前記複数の画像を同時表示する際に表れる、画像間の輝度及び色味の少なくともいずれかの差異に起因する視覚的な対比効果の影響を評価した複数種類の評価値を導出する評価手段と、
前記評価手段により導出された前記複数種類の評価値に基づいて、前記複数の画像それぞれの補正量を導出する導出手段と、
前記導出手段により導出された補正量に基づいて、前記複数の画像を補正する補正手段と、
を有し、
前記複数種類の評価値は、前記複数の画像のうちの、近接して配置される画像間の輝度及び色味の少なくともいずれかの差または比率に基づく評価値を含むことを特徴とする画像処理装置。

【請求項2】

前記複数種類の評価値は、前記複数の画像のうちの、近接して配置される画像間の前記画面における距離に基づく評価値を含むことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記複数種類の評価値は、前記複数の画像のうちの、近接して配置される画像間の表示サイズの差または比率に基づく評価値を含むことを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記複数種類の評価値は、前記複数の画像それぞれの輝度に基づく評価値を含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記複数種類の評価値は、前記複数の画像のそれぞれと、該画像に近接して配置される画像のうちの最大の平均輝度を示す画像とに基づく評価値を含むことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。

【請求項6】

前記補正手段により補正された前記複数の画像を前記配置態様の情報に基づいて配列することで、前記画面を生成する生成手段をさらに有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項7】

前記生成手段により生成された前記画面を表示する表示手段をさらに有することを特徴とする請求項６に記載の画像処理装置。

【請求項8】

撮像手段と、
請求項１乃至７のいずれか１項に記載の画像処理装置と、
を有し、
前記画像処理装置の前記取得手段が、前記撮像手段により撮像された画像を取得する
ことを特徴とする撮像装置。

【請求項9】

画面に同時表示する複数の画像とその配置態様の情報を取得する取得工程と、
前記配置態様の情報に基づいて、前記取得工程において取得された前記複数の画像を同時表示する際に表れる、画像間の輝度及び色味の少なくともいずれかの差異に起因する視覚的な対比効果の影響を評価した複数種類の評価値を導出する評価工程と、
前記評価工程において導出された前記複数種類の評価値に基づいて、前記複数の画像それぞれの補正量を導出する導出工程と、
前記導出工程において導出された補正量に基づいて、前記複数の画像を補正する補正工程と、
を有し、
前記複数種類の評価値は、前記複数の画像のうちの、近接して配置される画像間の輝度及び色味の少なくともいずれかの差または比率に基づく評価値を含むことを特徴とする画像処理装置の制御方法。

【請求項10】

コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、制御方法及びプログラムに関し、特に視覚的な効果を生じさせる画像処理技術に関する。

【0002】

本発明は、画像処理装置に関し、特にディスプレイ上に複数枚同時に表示される画像間で発生する対比効果の補正を行う画像処理に関するものである。

【背景技術】

【0003】

ディスプレイの表示可能な輝度（表示輝度）の範囲が拡張されたことに伴い、より人間の視覚に近い階調表現の画像表示が可能となってきている。これに伴い、デジタルカメラ等の撮像装置には、従来圧縮していた高輝度側の階調を含む、高分解能の階調表現（ＨＤＲ：ハイダイナミックレンジ）の画像を撮像する機能を備えるものも開発されてきている。例えば、ＨＤＲ映像信号規格であるＢＴ．２１００のＯＥＴＦ（Opto-Electronic transfer function）を用いて撮像画像の変換処理（以下、ガンマ処理）を行うことで、ＨＤＲモニタで高輝度側の階調を表示できる。

【0004】

ガンマ処理を適用して得られるＨＤＲ画像は、従来のＳＤＲ画像に比べて高輝度側の階調が表現される。このとき、例えば背景の明度や彩度が上がることで、前景が暗い、色がくすむ、コントラストが高い等、ＳＤＲ画像とは異なる印象の画像として知覚（視認）される対比効果が生じる。このような対比効果は、１つの画像内だけでなく、例えば１つの画面内に複数の画像を配置して表示する態様においても、画像間で生じ得る。例えばＨＤＲ画像とＳＤＲ画像を同時表示させる場合や、最高輝度の異なる複数のＨＤＲ画像を同時表示させる場合において、周辺に配置される画像よりも明度や彩度が低い画像は視認しにくくなる。より具体的には、画面に配置される１つの画像に着目する場合、該着目する画像（着目画像）の周辺に配置される画像の明度・彩度が高いと、着目画像は暗い、色がくすんでいるといった印象の画像として知覚される。

【0005】

特許文献１には、複数の動画のサムネイルをディスプレイに一覧表示する際に、撮影シーンごとに生じる明るさまたは色調のバラツキを低減すべく、各動画の階調の特徴量に基づいてサムネイルの階調値を補正する装置が記載されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００９－０５５２３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献２に記載される補正は動画の階調の特徴量に基づくものであり、例えば隣接して配置される場合のような対比効果がより強く表れる態様については考慮されていない。故に、複数の画像（サムネイル）の配置態様によっては、ユーザにより知覚される明度・彩度のバラツキが好適に低減されない可能性があった。

【0008】

本発明は、上述の問題点に鑑みてなされたものであり、複数の画像を同時表示する際に表れる対比効果の影響を低減する画像処理装置、撮像装置、制御方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の画像処理装置は、画面に同時表示する複数の画像とその配置態様の情報を取得する取得手段と、配置態様の情報に基づいて、取得手段により取得された複数の画像を同時表示する際に表れる、画像間の輝度及び色味の少なくともいずれかの差異に起因する視覚的な対比効果の影響を評価した複数種類の評価値を導出する評価手段と、評価手段により導出された複数種類の評価値に基づいて、複数の画像それぞれの補正量を導出する導出手段と、導出手段により導出された補正量に基づいて、複数の画像を補正する補正手段と、を有し、複数種類の評価値は、複数の画像のうちの、近接して配置される画像間の輝度及び色味の少なくともいずれかの差または比率に基づく評価値を含むことを特徴とする。

【発明の効果】

【0010】

このような構成により本発明によれば、複数の画像を同時表示する際に表れる対比効果の影響を低減することが可能となる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図

【図2】本発明の実施形態に係る画像処理部１０７の機能モジュールの構成を示したブロック図

【図3】本発明の実施形態に係るデジタルカメラ１００で実行される表示処理を例示したフローチャート

【図4】本発明の実施形態に係るマップ構成処理を例示したフローチャート

【図5】本発明の実施形態に係るマップ構成処理を説明するための図

【図6】本発明の実施形態に係る評価部２０２による評価を説明するための図

【図7】本発明の実施形態に係る影響マップの構成を説明するための図

【発明を実施するための形態】

【0012】

［実施形態］
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0013】

以下に説明する一実施形態は、画像処理装置の一例としての、撮像した画像の一覧表示機能を備えたデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、複数の画像を同時表示する際に、各画像の補正量を導出することが可能な任意の機器に適用可能である。また、本明細書において、「対比効果」とは、複数の画像を同時表示する際の、画像間の明度や彩度の差異に起因する視覚的な印象の違い（見え方の違い）を示すものとして説明する。

【0014】

《デジタルカメラの構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図である。

【0015】

システム制御部１０１は、例えばＣＰＵ等の、デジタルカメラ１００が備える各ブロックを制御する制御装置である。システム制御部１０１は、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２から読み出して、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。

【0016】

ＲＯＭ１０２は、例えばフラッシュＲＯＭ等の書き換え可能な不揮発性メモリである。ＲＯＭ１０２は、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。一方、ＲＡＭ１０３は、書き換え可能な揮発性メモリである。ＲＡＭ１０３は、デジタルカメラ１００が備える各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作により出力された中間データの一時的な記憶領域としても用いられる。本実施形態では、システム制御部１０１と後述の画像処理部１０７が、ＲＡＭ１０３をワークメモリとして使用するものとする。

【0017】

光学系１０４は、被写体像を撮像部１０５に結像する。光学系１０４には、例えば、固定レンズ、焦点距離を変更する変倍レンズ、焦点調節を行うフォーカスレンズ等が含まれている。光学系１０４には絞りも含まれており、絞りにより光学系の開口径を調節することで撮影時の光量調節を行う。

【0018】

撮像部１０５は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子である。撮像部１０５は、光学系１０４により撮像素子の撮像面に結像された光学像を光電変換してアナログ画像信号を得る。撮像部１０５は、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。

【0019】

Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用することで、デジタル画像データ（以下では単に画像として言及）を得る。Ａ／Ｄ変換部１０６は、得られた画像をＲＡＭ１０３に出力して記憶させる。

【0020】

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像に対して、各種の画像処理を行い、画像処理後の画像を記録媒体１０８に記録する。画像処理部１０７が行う画像処理は、例えば、ホワイトバランス調整、色補間、縮小／拡大に係る処理等を含むものであってよい。本実施形態のデジタルカメラ１００では、ＨＤＲ画像とＳＤＲ画像の２種類の画像を記録可能に構成されているものとする。ここで、ＨＤＲ画像とは、ＨＤＲ映像信号規格であるＢＴ．２１００に記載されたＰＱ、ＨＬＧ方式の映像信号を想定しているものとして説明する。より詳しくは、ＨＤＲ画像の色域はＢＴ．２０２０、デジタルカメラ１００内で使用するＨＤＲ画像のガンマがＰＱ方式であるものとして説明する。

【0021】

また画像処理部１０７は、後述の記録媒体１０８に記録されている画像を表示する画面を生成する処理も行う。ここで、画像の表示態様は、１つの画像のみを表示する態様と、複数の画像を画面内に配置して同時表示する態様の２種類が含まれるものとし、画像処理部１０７は設定されている表示態様に応じて処理内容を異ならせる。

【0022】

記録媒体１０８は、例えば、メモリカード等の、デジタルカメラ１００に着脱可能に構成されていてよい記録装置である。記録媒体１０８には、画像処理部１０７により画像処理が適用された画像（撮像画像）やＡ／Ｄ変換部１０６によりＡ／Ｄ変換された画像信号（ＲＡＷ画像）等が、記録画像として記録される。

【0023】

表示部１０９は、例えばＬＣＤ等の表示装置であり、デジタルカメラ１００における各種の情報提示を行う。表示部１０９は、デジタルカメラ１００が撮像モードに設定されて撮像部１０５により撮像が行われている際、Ａ／Ｄ変換された画像を表示（スルー表示）することで、デジタルビューファインダとして機能する。また表示部１０９は、デジタルカメラ１００が再生モードに設定されている際、記録媒体１０８に記録されている画像を表示する。

【0024】

操作入力部１１０は、例えばレリーズスイッチ、設定ボタン、モード設定ダイアル等のユーザ入力インタフェースを含み、ユーザによりなされた操作入力を検出すると、該操作入力に対応する制御信号をシステム制御部１０１に出力する。また表示部１０９がタッチパネルセンサを備えている態様においては、操作入力部１１０は、表示部１０９に対してなされたタッチ操作を検出するインタフェースとしても機能する。

【0025】

デジタルカメラ１００が備えるこれらの機能ブロックは、基本的にはバス１１１によって接続され、バス１１１を介してブロック間の信号のやり取りが可能に構成される。

【0026】

〈画像処理部１０７の詳細構成〉
次に、本実施形態のデジタルカメラ１００の再生モードにおける複数の画像の表示に係り、画像処理部１０７が有する各種の画像処理機能について、図２を参照して説明する。

【0027】

取得部２０１は、表示部１０９に表示する１つの画面について、該画面内に配置する複数の画像を記録媒体１０８から読み出して取得する。本実施形態では、発明の理解を容易にすべく、複数の画像はいずれも記録媒体１０８に記録されている画像であるものとして説明するが、本発明の実施において、画像の取得元がこれに限られるものではないことは容易に理解されよう。

【0028】

また取得部２０１は、表示対象の複数の画像について、画面内にどのように配置するかを示す配置態様の情報も取得する。１つの画像についての配置態様の情報は、例えば該画像の画面中の表示位置及び表示サイズの情報を含むものであってよい。本実施形態では表示対象の画像は、１つの画面中にモザイク状に配置されて同時表示されるものとし、その表示サイズには複数種類のサイズが設けられているものとする。以下では、１つの画面には、表示対象の画像が間隙なく配置されるものとして説明するが、配置態様はこれに限られるものではない。

【0029】

評価部２０２は、取得部２０１により取得された表示対象の画像及びその配置態様の情報に基づいて、該画像群を同時表示した場合に表れる視覚的な対比効果の影響を評価する。本実施形態では評価部２０２は、視覚的な対比効果の影響を評価値として導出し、表示する画面と同様の分布を示し、画素値として各画像が配置される領域にその評価値に基づく補正量を格納した影響マップを構成する。詳細は後述するが評価部２０２は、取得した画像を明るさ成分画像と色成分画像に分離する分離部２１１、各画像について評価値を導出する導出部２１２、及び導出された評価値に基づいて影響マップを構成するマップ構成部２１３を含む。

【0030】

補正部２０３は、評価部２０２により構成された影響マップに基づいて表示対象の複数の画像を補正する。各画像の補正量は、生成する画面における該画像の表示位置に対応した、影響マップ中の画素の画素値によって規定される。

【0031】

生成部２０４は、補正部２０３による補正がなされた画像と配置態様の情報とに基づいて、表示部１０９に表示する画面を生成する。より詳しくは、生成部２０４は、表示対象の画像の各々について、補正後の画像を表示サイズに基づいて拡大／縮小した上で、表示する画面を展開する例えばＲＡＭ１０３上の表示用領域に配置して画面を生成する。

【0032】

本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。

【0033】

《表示処理》
このような構成をもつ本実施形態のデジタルカメラ１００で、複数の画像を表示部１０９に表示する際に実行される表示処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。本表示処理は、例えばデジタルカメラ１００が再生モードで起動され、記録媒体１０８に記録されている複数の画像を同時表示する設定になされた際に開始し、該設定がなされている間、表示更新レートに従って繰り返し実行されるものとして説明する。

【0034】

Ｓ３０１で、システム制御部１０１は、画面に配列される表示対象の画像群の内容を変更するか否かを判断する。本実施形態では画面に配列される画像群は、表示送り操作に係る操作入力がなされたことに応じて変更されるものとして説明するが、本発明の実施はこれに限られるものではない。例えば、選択操作がなされた画像と関連性が高い画像が表示されるよう表示対象が変更されるものであってもよいし、反対に類似性が高い画像を除外して表示するよう表示対象が変更されるものであってもよい。また例えば、スライドショーのように、時間経過に応じて順次表示対象が変更されるものであってもよい。システム制御部１０１は、表示対象の画像群の内容を変更すると判断した場合は処理をＳ３０２に移し、変更しないと判断した場合は処理をＳ３０７に移す。

【0035】

Ｓ３０２で、システム制御部１０１は、表示対象の画像群の選択及びそれらの配置態様の情報の構成を行い、表示対象の画像群を特定する情報及び配置態様の情報を画像処理部１０７に伝送する。より詳しくはシステム制御部１０１は、表示対象の画像群を選択し、所定の配置規則に基づいて各画像の表示位置及びサイズを決定し、配置態様の情報を構成する。画像処理部１０７は、該情報を受信すると、システム制御部１０１の制御の下、以下のＳ３０３乃至Ｓ３０６の処理を実行する。なお、本実施形態では発明の理解を簡潔にすべく、表示対象の画像群はいずれもＨＤＲ画像であるものとし、表現可能な階調範囲に差異はないものとして説明する。

【0036】

Ｓ３０３で、画像処理部１０７の取得部２０１は、受信した情報に基づいて表示対象の画像を記録媒体１０８から読み出して取得する。読み出された画像は、例えばＲＡＭ１０３や画像処理部１０７が有する不図示の画像メモリに展開されるものであってよい。

【0037】

Ｓ３０４で、画像処理部１０７は、表示対象の画像についてマップ構成処理を実行し、影響マップを構成する。

【0038】

〈マップ構成処理〉
ここで、本ステップで実行されるマップ構成処理について、さらに図４のフローチャートを参照して詳細を説明する。なお、以下の例では、配置態様の情報は、図５（ａ）に示されるような配置態様で各画像が画面に配置されることを記述しているものとして説明する。

【0039】

Ｓ４０１で、分離部２１１は、表示対象の画像群の各々を、明るさ成分の画像と色成分画像とに分離する。より詳しくは分離部２１１は、表示対象の画像であるＨＤＲ画像を、人間の視覚特性を考慮したＩＣｔＣｐ色空間に変換することで、明るさ成分画像（Ｉ画像）と色成分画像（Ｃｔ画像、Ｃｐ画像）とに分離する。

【0040】

Ｓ４０２で、評価部２０２は、表示対象の画像群のうちから、評価値を未導出の画像を処理対象の画像（対象画像）として選択する。対象画像の選択順序はいずれであってもよく、表示対象の画像の全てについて本ステップで順に選択する。

【0041】

Ｓ４０３で、導出部２１２は、Ｓ４０２において選択された対象画像について視覚的な対比効果の影響を示す評価値を導出する。ここで、視覚的な対比効果の影響とは、１つの画面に配置して表示する場合に、対象画像の周辺に近接して配置される画像との対比で対象画像の視認性に生じる影響（暗く見える、色がにじむ等）を示す。本実施形態では、視覚的な対比効果の影響を定量的に評価すべく、導出部２１２は、画像間の明るさの差（平均輝度の差）、画像間の位置関係（画面配置時の中心間距離）及び画像間の表示サイズの比率について評価値の導出を行う。しかしながら、画像間に表れる視覚的な対比効果の影響は、これらの項目に限り評価されるものでなくてよい。

【0042】

またこれらの評価値の導出は、対象画像について、該対象画像の周辺に近接して配置される全ての画像のうちの、最大の平均輝度を示す画像（以下、最大輝度画像）との関係において行われるものとして以下では説明する。これは、最大輝度画像と対象画像との間で視覚的な対比効果の影響が最も強く表れるからである。しかしながら、本発明の実施はこれに限られるものではなく、各項目に係る対象画像の評価値は、該対象画像と最大輝度画像との関係について導出されるものに限られず、対象画像の周辺に配置される他の画像との関係について導出されるものであってもよい。なお、本実施形態では、周辺に配置される画像は、生成する画面において、対象画像（矩形）の辺または頂点に隣接して配置される画像、として定義する。しかしながら、１つの画面に複数の画像を配置して同時表示する態様における、任意の画像の周辺に配置される画像の定義は、適宜変更されるものであってよい。

【0043】

以下、配置態様の情報が図５（ａ）のような画面構成を示し、画面中の５０１で示される画像が対象画像である場合の、該対象画像に係る各種評価値の導出方法について例示する。ここでは、配置態様の情報が図５（ａ）のような画面構成を示す場合について、実際に表示部１０９に表示される画面ではなく、図６に示すような画面と同サイズの平均輝度マップを用いて各種評価値を導出する。しかしながら、各種評価値の導出に際して平均輝度マップの構成が必須ではないことは言うまでもない。

【0044】

対象画像と最大輝度画像の明るさの差に係る評価値Ｅ_aは、最大輝度画像の明るさ画像全体の平均輝度値と対象輝度の明るさ画像全体の平均輝度値の差として導出される。生成する画面に配置する画像の平均輝度が図６（ａ）に示される平均輝度マップのように分布する場合、最大輝度画像は対象画像の画面下方に配置される画像となる。図の例では、対象画像に対応する領域６０１には、該領域の辺または頂点を介して接する領域は４種類存在し、このうち平均輝度が最も高い７００ｎｉｔを示す領域６０２に対応する画像が最大輝度画像となる。このとき、領域６０１の平均輝度をＩ_i、領域６０２の平均輝度をＩ_i+1とすると、明るさの差に係る評価値Ｅ_aは、
Ｉ_i+1－Ｉ_i＝７００－８０＝６２０
となる。

【0045】

対象画像と最大輝度画像の位置関係に係る評価値Ｅ_bは、生成する画面における対象画像と最大輝度画像の中心（撮像画像の場合は光軸中心）座標の距離として導出される。これは、最大輝度画像と対象画像との視覚的な対比効果の影響が、画面上でのこれら画像の距離が小さいほど強く表れることによる。生成する画面に対応する平均輝度マップが図６（ａ）のとおりである場合、評価の対象は図６（ｂ）に示されるように、領域６０１の中心座標６１１と領域６０２の中心座標６１２との間の該マップにおける距離となる。このとき、中心座標６１１の座標を（ｘ_i，ｙ_i）、中心座標６１２の座標を（ｘ_i+1，ｙ_i+1）とすると、位置関係に係る評価値Ｅ_bは、

で導出できる。

【0046】

対象画像と最大輝度画像の表示サイズの比率に係る評価値Ｅ_cは、生成する画面における最大輝度画像の表示サイズ（面積、画素数）に対する対象画像の表示サイズ（面積、画素数）の比率として導出される。これは、最大輝度画像と対象画像との視覚的な対比効果の影響が、対象画像の面積が相対的に小さいほど強く表れることによる。生成する画面に対応する平均輝度マップが図６（ａ）のとおりである場合、対象画像が配置される領域６０１の面積をＳ_i、最大輝度画像が配置される領域６０２の面積をＳ_i+1とすると、表示サイズの比率に係る評価値Ｅ_cは、
Ｅ_c＝Ｓ_i／Ｓ_i+1
で導出できる。例えば、画面に配置される際の対象画像と最大輝度画像の画素数が図６（ｃ）のようである場合、表示サイズの比率に係る評価値Ｅ_cは１となる。

【0047】

Ｓ４０４で、マップ構成部２１３は、対象画像と最大輝度画像とについてＳ４０３で導出された評価値に基づいて、生成する画面に配置する際の対象画像の補正量を導出する。本実施形態のデジタルカメラ１００では、表示対象の各画像についての視覚的な対比効果の影響を低減する補正を後述の表示処理のＳ３０５で一括して行うため、本マップ構成処理では上述した影響マップの構成を行う。影響マップは、表示輝度マップと同様に生成する画面と同サイズで、かつ、該画面における表示対象の各画像の配置位置と対応する領域に、該画像の補正量を格納した二次元情報である。従って、マップ構成部２１３は、例えばＲＡＭ１０３に設けられた影響マップの展開領域の対象画像に対応する領域の画素値として、導出した補正量を格納する。

【0048】

ここで、対象画像の補正量の導出方法について図７を用いて説明する。本実施形態のデジタルカメラ１００では、１つの対象画像についての補正量は、該対象画像について最大輝度画像との関係で導出した３種類の評価値に基づいてそれぞれ導出される。対象画像と最大輝度画像との関係で導出した評価値の各々について、マップ構成部２１３は、予め定められた関数に基づいて補正量を導出する。本実施形態では補正量は、対象画像の明るさ成分（Ｉ）の値を変更する加算値（ｇａｉｎ）として表されるものとして説明するが、本発明の実施はこれに限られるものではない。例えば、補正量は所定の係数であり、乗算することで補正が行われるものであってもよい。

【0049】

周辺に配置される画像との平均輝度の差が大きいほど視覚的な対比効果の影響が強くなるため、明るさに係る関数は、図７（ａ）に示されるように明るさの差に係る評価値Ｅ_aが大きくなるほど大きい補正量ｇａｉｎ_aを出力する傾向を示す。また周辺に配置される画像との距離が短いほど視覚的な対比効果の影響が強くなるため、距離に係る関数は、図７（ｂ）に示されるように位置関係に係る評価値Ｅ_bが小さいほど大きい補正量ｇａｉｎ_bを出力する傾向を示す。また周辺に配置される画像との面積比が小さい、即ち、最大輝度画像の面積の方が大きいほど視覚的な対比効果の影響が強くなるため、面積比に係る関数は、図７（ｃ）に示されるように表示サイズの比率に係る評価値Ｅ_cが小さいほど大きい補正量ｇａｉｎ_cを出力する傾向を示す。

【0050】

さらに表示対象の画像群を同時表示する際に生じる視覚的な対比効果の影響は、対象画像とその周辺に配置される画像との間の輝度差、距離、面積比に応じて生じるものだけでなく、該対象画像の平均輝度に応じても生じる。換言すれば、対象画像が暗いほど視覚的な対比効果の影響が強くなる可能性が高いため、対象画像そのものの平均輝度に係る関数は、図７（ｄ）に示されるように、該平均輝度が小さいほど大きい補正量ｇａｉｎ_dを出力する傾向を示す。

【0051】

マップ構成部２１３は、このように導出された４種類の補正量に基づいて最終的な補正量Ｍａｐ_combを決定し、影響マップの対象画像に対応する領域の画素値として格納する。最終的な補正量Ｍａｐ_combは、例えば予備的に導出する補正量の数ｎ（本実施形態では４）を用いて、

で導出されるものであってよい。なお、画像間、または対象画像そのものについて行った複数の評価結果に基づく補正量は、このように複数の補正量の平均化によって導出されるものである必要はなく、重み付け加算等、異なる手法で導出されるものであってよい。

【0052】

Ｓ４０５で、画像処理部１０７は、対象画像として未選択の画像が表示対象の画像群に存在するか否かを判断する。画像処理部１０７は、対象画像として未選択の画像が表示対象の画像群に存在すると判断した場合は処理をＳ４０２に戻し、存在しないと判断した場合は本マップ構成処理を完了する。このようにすることで、生成する画面の各領域について補正量を格納した、図５（ｂ）に示されるような影響マップを構成することができる。図の例では、補正量の大きさによって画素値が変化しており、補正を行わない領域を黒（０）とし、補正での加算値が大きいほど白に近い色を示すよう構成されている。

【0053】

マップ構成処理が終了すると、画像処理部１０７の補正部２０３は表示処理のＳ３０５で、構成された影響マップに基づいて表示対象の各画像を補正する。より詳しくは、補正部２０３は、表示対象の各画像について、影響マップ中の該画像に対応する領域を参照し、該領域の画素値Ｍａｐ_combを各画像の明るさ成分に加算することで補正を行う。例えば、１つの画像の座標（ｘ，ｙ）の明るさ成分の信号値Ｉ’（ｘ，ｙ）は、同補正前の信号値Ｉ（ｘ，ｙ）を用いて、
Ｉ’（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋Ｍａｐ_comb
で導出できる。

【0054】

Ｓ３０６で、画像処理部１０７の生成部２０４は、補正後の表示対象の画像群を配置態様の情報に基づいて配列した画面を生成する。そしてシステム制御部１０１はＳ３０７で、該生成された画面を表示部１０９に表示するよう制御し、処理をＳ３０１に戻す。

【0055】

以上説明したように、本実施形態の画像処理装置によれば、同時表示する複数の画像について、それらの配置態様に応じて画像間に生じる視覚的な対比効果の影響を低減させた状態で表示させるよう制御することができる。

【0056】

なお、本実施形態では表示対象の画像群がいずれもＨＤＲ画像であるものとして説明したが、本発明の実施はこれに限られるものではない。表示対象の画像群は、例えばＨＤＲ画像に加え、ＳＤＲ画像が含まれるものであってもよい。この場合、ＨＤＲ画像とＳＤＲ画像は、前者がＢＴ．２１００記載のＰＱガンマ及びＢＴ２０２０の色空間で現像されており、後者がｓＲＧＢガンマ及びｓＲＧＢ色域の色空間で現像されている点で異なっている。従って、例えば表現される輝度の値範囲が異なっており、ＨＤＲ画像とＳＤＲ画像とを単純に比較することができないため、平均輝度の差を導出する際に、ＳＤＲ画像をＨＤＲ画像で用いられているガンマと色空間に変換すればよい。

【0057】

また本実施形態では表示対象の画像群について、明るさ成分Ｉ（明度、輝度）の大小に基づいて視覚的な対比効果の影響を評価する方法について説明したが、本発明の実施はこれに限られるものではない。例えば色成分Ｃｔ、Ｃｐから彩度（色味）に係る色情報を導出し、該色情報に基づいて評価を行うものとしてもよい。またこれらの双方を用いて評価を行うものとしてもよい

【0058】

また本実施形態では画像間に生じる視覚的な対比効果の影響の評価値として、明るさの差、表示サイズの比率を用いるものとして説明したが、本発明の実施において、画像間の差異を評価するにあたり、差、比率のいずれを用いてもよいことは言うまでもない。即ち、画像間の明るさの差異の評価は、２つの画像間の明るさの差または比率に基づいて行われるものであってよいし、表示サイズについても同様である。

【0059】

また本実施形態では表示対象の画像群の全てを対象画像として選択し、これら画像の全てについて補正量を導出する態様について説明したが、本発明の実施はこれに限られるものではない。例えば、同時表示される画像群のうちから、カーソルや枠等によって１つの画像をユーザが選択可能に構成されている場合、選択された画像についてのみ視覚的な対比効果の影響を低減するよう補正するものであってもよい。

【0060】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【0061】

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0062】

１００：デジタルカメラ、１０１：システム制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０７：画像処理部、１０９：表示部、２０１：取得部、２０２：評価部、２０３：補正部、２０４：生成部、２１１：分離部、２１２：導出部、２１３：マップ構成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】