(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-05
(45)【発行日】2023-12-13
(54)【発明の名称】画像処理装置および画像処理方法
(51)【国際特許分類】
H04N 23/63 20230101AFI20231206BHJP
G03B 17/18 20210101ALI20231206BHJP
【ＦＩ】
H04N23/63
G03B17/18
【請求項の数】
17
(21)【出願番号】P 2019218347
(22)【出願日】2019-12-02
(65)【公開番号】P2021090109
(43)【公開日】2021-06-10
【審査請求日】2022-11-28
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】松岡 成己
【審査官】▲うし▼田 真悟
(56)【参考文献】
【文献】特開２００６－３０９３０１（ＪＰ，Ａ）
【文献】特開２０１５－０９５８３３（ＪＰ，Ａ）
【文献】特開２０１６－２２００２３（ＪＰ，Ａ）
【文献】特開２００１－２４５２０４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６３
Ｇ０３Ｂ １７／１８
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ３／００
(57)【特許請求の範囲】
【請求項1】
画像データを取得する取得手段と、前記画像データの輝度または色成分の階調値のヒストグラムを表示装置に表示させる表示手段と、を有し、
前記表示手段は、前記画像データが取り得る最大値が前記画像データのビット深度によって定まる最大値よりも小さい場合と、そうでない場合とで、前記ヒストグラムの表示方法を異ならせる、
ことを特徴とする画像処理装置。
【請求項2】
前記表示手段は、前記画像データが取り得る最大値が前記画像データのビット深度によって定まる最大値より小さい場合には、前記画像データが取り得る最大値よりも大きな値の範囲と、前記画像データが取り得る値の範囲とが視覚的に区別できるように前記ヒストグラムを表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記表示手段は、前記画像データが取り得る最大値が前記画像データのビット深度によって定まる最大値よりも小さい場合には、前記ヒストグラムの階級の範囲の最大値を前記画像データが取り得る最大値に基づいて決定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項4】
前記表示手段は、前記画像データが取り得る最小値が前記画像データのビット深度によって定まる最小値より大きい場合には、前記画像データが取り得る最小値よりも小さな値の範囲と、前記画像データが取り得る値の範囲とが視覚的に区別できるように前記ヒストグラムを表示させることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項5】
前記表示手段は、前記画像データが取り得る最小値が前記画像データのビット深度によって定まる最小値より大きい場合には、前記ヒストグラムの階級の範囲の最小値を前記画像データが取り得る最小値に基づいて決定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項6】
前記画像データが取り得る最大値が、前記画像データを生成する際に用いる規格に応じて定まる値であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項7】
前記表示手段は、前記画像データが取り得る最大値よりも大きな値の範囲と、前記画像データが取り得る値の範囲とが視覚的に区別できるように前記ヒストグラムを表示させる場合、前記画像データが取り得る最大値よりも大きな値の範囲と、前記画像データが取り得る値の範囲とで、ビンの表示形態が同じになるようにすることを特徴とする請求項６に記載の画像処理装置。
【請求項8】
前記表示手段は、前記画像データが取り得る最大値の代わりに、前記画像データの最大値を用いることを特徴とする請求項６に記載の画像処理装置。
【請求項9】
前記表示手段は、前記画像データに、前記画像データが取り得る最大値よりも大きな値のデータが含まれる場合、該データの度数を前記画像データが取り得る最大値を含む区間の度数に含めることを特徴とする請求項６に記載の画像処理装置。
【請求項10】
前記画像データが取り得る最小値が、前記画像データを生成する際に用いる規格に応じて定まる値であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項11】
前記表示手段は、前記画像データが取り得る最小値よりも小さな値の範囲と、前記画像データが取り得る値の範囲とが視覚的に区別できるように前記ヒストグラムを表示させる場合、前記画像データが取り得る最小値よりも小さな値の範囲と、前記画像データが取り得る値の範囲とで、ビンの表示形態が同じになるようにすることを特徴とする請求項１０に記載の画像処理装置。
【請求項12】
前記表示手段は、前記画像データが取り得る最小値の代わりに、前記画像データの最小値を用いることを特徴とする請求項１０に記載の画像処理装置。
【請求項13】
前記表示手段は、前記画像データに、前記画像データが取り得る最小値よりも小さな値のデータが含まれる場合、該データの度数を前記画像データが取り得る最小値を含む区間の度数に含めることを特徴とする請求項１０に記載の画像処理装置。
【請求項14】
前記画像データが、輝度を絶対値として扱うＨＤＲ規格に準拠した画像データ、もしくは露光量の対数に比例した輝度を有する画像データであることを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
【請求項15】
撮像素子と、請求項１から１４のいずれか１項に記載の画像処理装置とを有し、
前記画像データが前記撮像素子によって得られることを特徴とする撮像装置。
【請求項16】
画像処理装置が実行する画像処理方法であって、画像データを取得する取得工程と、
前記画像データの輝度または色成分の階調値のヒストグラムを表示装置に表示させる表示工程と、を有し、
前記表示工程では、前記画像データが取り得る最大値が前記画像データのビット深度によって定まる最大値よりも小さい場合と、そうでない場合とで、前記ヒストグラムの表示方法を異ならせる、
ことを特徴とする画像処理方法。
【請求項17】
コンピュータを、請求項１から１４のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置および画像処理方法に関し、特にハイダイナミックレンジ（ＨＤＲ）信号の取り扱い技術に関する。
【背景技術】
【0002】
発光素子（例えばＬＥＤ）の性能向上などにより、従来よりも表示輝度のダイナミックレンジが広い表示装置が実現されている。このような表示装置では、従来の表示装置では表現できなかった、高輝度域の色やディテールを有する信号（ＨＤＲ信号）をより忠実に表示することができる。
【0003】
ＨＤＲ信号における映像信号レベルと表示輝度との関係を表す信号特性はＥＯＴＦ（Electro-Optical Transfer Function：電気光伝達関数）で規定される。そして、ＥＯＴＦにはＳＭＰＴＥ ＳＴ ２０８４で規格化されているＰＱ(Perceptual Quantization)と、ＡＲＩＢ ＳＴＤ－Ｂ６７で規格化されているＨＬＧ(Hybrid Log Gamma)の２つがある。ＨＬＧが表示輝度を相対値として扱うのに対して、ＰＱは表示輝度を最大１００００ｎｉｔｓ（またはｃｄ／ｍ２）の絶対値として扱う点が大きな違いである。そのため、出力ダイナミックレンジが変化するような撮影モードで撮影を行うと、ＰＱでは表示ピーク輝度が変化する場合がある。
【0004】
図１（ａ）に、異なる撮影モードに対応付けられた、出力ダイナミックレンジが異なる入出力特性（ガンマカーブ）４１、４２の例を示す。横軸は入力段数（ＥＶ）、縦軸は出力輝度である。入力段数０は、反射率１８％の無彩色被写体（標準反射体）の明るさに相当する。ガンマカーブ４１、４２は、入力段数が３程度までは違いが無いが、入力段数が３を超える高輝度の特性が異なっている。具体的には、ガンマカーブ４１の最大出力値（図中４３で示す）、ガンマカーブ４２の最大出力値（図中４４で示す）よりも小さい。また、最小出力値はいずれのガンマカーブも０であるが、最大出力値４３、４４はいずれも１０ビットデータの最大値である１０２３よりも小さい。
【0005】
また、広ダイナミックレンジの画像データを得るために、ＬＯＧガンマと呼ばれるガンマカーブを用いて撮影することが知られている。図１（ｂ）はＬＯＧガンマ４５の一例であり、横軸に入力段数、縦軸に出力輝度を示す。ＬＯＧガンマ４５を用いると、露光量の対数に比例した出力輝度を有する映像信号（ＬＯＧ信号またはＬＯＧデータとよぶ）が得られる。図１（ｂ）に示すＬＯＧガンマ４５を用いた場合、ＬＯＧ信号の輝度は、最小値ｍｉｎＤＲＬ４６から最大値ｍａｘＤＲＬ４７の範囲の値を有する。ここで、１０ビットで表現可能な信号値が０から１０２３であるとすると、最大出力値ｍａｘＤＲＬ４７は１０２３よりも小さく、最小出力値ｍｉｎＤＲＬ４６は０よりも大きい。なお、ＬＯＧデータはそのまま表示するとコントラストおよび彩度の低い画像となるため、グレーディングと呼ばれる画像処理を適用して、色や出力ダイナミックレンジを調整して用いる。
【0006】
このように、ビット深度によって定まる、表現可能な信号値の範囲（１０ビットであれば０から１０２３）よりも狭い範囲しか用いないガンマカーブが存在する。この場合、映像信号の最大値や最小値は、信号のビット深度で定まる最大値や最小値と一致しない。また、使用されるガンマカーブによって、映像信号の最大値や最小値が変化する。
【0007】
一方で、使用されるガンマカーブにかかわらず、入力輝度が高い場合に映像信号の白飛びは発生しうる。白飛びした映像信号からなる画像領域は階調を復元することができないため、例えば撮影時において、白飛びが発生する可能性があるかどうかを把握できることが望ましい。従来の表示輝度ダイナミックレンジ（Standard Dynamic Range:ＳＤＲ）の画像データを取り扱う撮像機器では、輝度ヒストグラムの最大レベル近傍の頻度を黒で、その他のレベルの頻度を白で表示するものがある（特許文献１）。
【先行技術文献】
【特許文献】
【0008】
【文献】特許４７３３４１９号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
特許文献１では、画像データのレベルが０から２５５である場合に、２４０以上のレベルを有する画素の頻度を黒く表示している。これは、画像データの取り得るレベルの範囲が、８ビット深度で表現可能な範囲と合致する場合である。
【0010】
しかしながら、図１に示したガンマカーブを用いて撮影された映像信号は、出力最大輝度に対応する信号値が、信号値を表すビット深度で表現可能な最大値よりも小さい。したがって、輝度ヒストグラムにおける最大レベルをビット深度に基づいて定めた場合、白飛びする可能性がユーザに正しく伝わらないことが起こりうる。例えば、特許文献１の構成であれば、輝度ヒストグラムにおいて黒で表示される頻度がない場合であっても、白飛びが発生することがあり得る。
【0011】
また、特許文献１には記載されていないが、低輝度領域における黒つぶれ発生について警告を行う場合についても同様の問題が生じる。
【0012】
本発明はこのような従来技術の課題に鑑みてなされたものである。本発明の目的は、信号のビット深度で表現可能な値の範囲より、信号値として使用される値の範囲が狭い映像信号について、白飛びや黒つぶれの発生可能性についてユーザが把握可能な表示を行う画像処理装置および画像処理方法を提供することである。
【課題を解決するための手段】
【0013】
上述の目的は、画像データを取得する取得手段と、画像データの輝度または色成分の階調値のヒストグラムを表示装置に表示させる表示手段と、を有し、表示手段は、画像データが取り得る最大値が画像データのビット深度によって定まる最大値よりも小さい場合と、そうでない場合とで、ヒストグラムの表示方法を異ならせる、ことを特徴とする画像処理装置によって達成される。
【発明の効果】
【0014】
本発明によれば、信号のビット深度で表現可能な値の範囲より、信号値として使用される値の範囲が狭い映像信号について、白飛びや黒つぶれの発生可能性についてユーザが把握可能な表示を行う画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【0015】
【図1】ガンマカーブの例を示す図
【図2】実施形態に係る画像処理装置の一例としてのデジタルカメラの断面図
【図5】ＰＱ（Ｐｅｒｃｅｐｔｕａｌ Ｑｕｏｎｔｉｚａｔｉｏｎ）のＥＯＴＦ特性を示した図
【図6】実施形態におけるＨＤＲ信号のヒストグラム表示動作に関する機能ブロック図
【図7】実施形態におけるｍａｘＤＲＬの算出動作に関するフローチャート
【図8】ＨＤＲ信号の例と、第１実施形態に係るヒストグラム表示に関する模式図
【図9】第３実施形態に係るヒストグラム表示に関する模式図
【図10】第５実施形態に係るヒストグラム表示に関する模式図
【図11】第６実施形態に係るヒストグラム表示に関する模式図
【発明を実施するための形態】
【0016】
●（第１実施形態）
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0017】
なお、以下の実施形態では、本発明をデジタル一眼レフカメラ（ＤＳＬＲ）で実施する場合に関して説明する。しかし、本発明は撮像機能を有する任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。
【0018】
図２は実施形態に係るデジタルカメラ（以下、カメラ）１００の、主な光学部材やセンサ等の配置例を示す断面図である。カメラ１００はレンズ交換可能なデジタル一眼レフカメラであり、カメラ本体１と交換レンズ２を有している。ただし、本発明は撮像素子を用いたカメラ全般に適用可能であり、レンズ交換が可能か否か、ミラーボックスを有するか否かといった構造の差異や、カメラの用途には依存しない。本発明はスマートフォン、コンピュータ、ゲーム機といった電子機器に内蔵されたカメラや、医療機器、産業機器、自動車などに搭載されるカメラなどにも適用可能である。カメラ本体１において撮像素子１０は例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサであり、複数の画素（蓄積型光電変換素子）が配列されている。撮像素子１０の前方近傍に設けられていたメカニカルシャッタ１１は、撮像素子１０の露出タイミングおよび露出時間を制御する。
【0019】
主ミラー３と、主ミラー３の半透過性部分の背面に配置された第１の反射ミラー７は、撮影時には交換レンズ２からの光が撮像素子１０に直接入射するよう、上方に移動（ミラーアップ）する。第２の反射ミラー８は、第１の反射ミラー７が反射した光束をさらに反射し、焦点検出用センサ（ＡＦセンサ）９に入射させる。ＡＦセンサ９は例えば画素数が撮像素子１０よりも少ない撮像素子であってよい。
【0020】
第１の反射ミラー７、第２の反射ミラー８および焦点検出用センサ９は、撮影画面内の任意の位置での位相差検出方式での焦点検出を行うための構成である。測光用センサ（ＡＥセンサ）６はペンタプリズム４および第３の反射ミラー５で反射された撮影画面の像を受光する。ＡＥセンサ６は受光部を複数の領域に分割し、領域ごとに被写体の輝度情報を出力できる。分割数に制限は無い。なお、撮像素子においては、受光部に配置される画素以外に、画素信号の増幅回路や信号処理用の周辺回路などが形成されている。
【0021】
ペンタプリズム４によってファインダー光学系が構成される。図２には示していないが、ペンタプリズム４で反射された被写体像はアイピースから観察可能である。ＡＥセンサ６には主ミラー３によって反射されてピント板１２によって拡散された光線のうち光軸外の一部が入射する。交換レンズ２はカメラ本体１に設けられたレンズマウントの接点を通じ、必要に応じてカメラ本体１と通信する。なお、ライブビュー表示および動画記録時には主ミラー３が上方に移動した状態のため、ＡＥセンサ６やＡＦセンサ９は使用できない。そのため、撮像素子１０で撮像された画像から得られる情報を使用して露出制御や焦点調節制御を行う。
【0022】
図４は、図３に示したカメラ本体１とその交換レンズ２の電気回路の構成例を示すブロック図である。カメラ本体１において制御部２１は例えば内部にＡＬＵ(ARITHMETIC and Logic Unit)、ＲＯＭ、ＲＡＭやＡ／Ｄコンバータ、タイマー、シリアル通信ポート（ＳＰＩ）等を内蔵したワンチップマイクロコンピュータである。制御部２１は、例えばＲＯＭに記憶されたプログラムをＲＡＭにロードして実行することにより、カメラ本体１および交換レンズ２の動作を制御する。制御部２１の具体的な動作については後述する。
【0023】
ＡＦセンサ９及びＡＥセンサ６の出力信号は、制御部２１のＡ／Ｄコンバータ入力端子に接続される。信号処理回路２５は制御部２１の指示に従って撮像素子１０を制御し、撮像素子１０が出力する画素信号にノイズ低減処理やＡ／Ｄ変換などの前処理を行ってＲＡＷ画像データを生成する。また、信号処理回路２５は、ＲＡＷ画像データに対して、色補間やホワイトバランス処理といった現像処理を適用し、画像信号（画像データ）を生成する。また信号処理回路２５は、得られた画像信号を記録するにあたって、圧縮および合成といった、必要な画像処理を行う。
【0024】
メモリ２８はＤＲＡＭ等であり、信号処理回路２５が種々の信号処理を行う際のワークメモリとして使われたり、後述する表示器２７に画像を表示する際のビデオメモリ（ＶＲＡＭ）として使われたりする。表示器２７はカメラ本体１の背面液晶ディスプレイや、外部ディスプレイであり、カメラ１００の設定値などの情報やメッセージ、メニュー画面等のＧＵＩ、また撮像された画像などを表示する。表示器２７はＨＤＲ表示が可能であるものとする。表示器２７は制御部２１からの指示により制御される。記憶部２６は例えば半導体メモリカードである。信号処理回路２５から供給される記録用の画像信号（動画または静止画信号）は、所定形式のデータファイルに格納され、記憶部２６に記録される。
【0025】
モーター２２は、制御部２１の制御に従い、主ミラー３及び第１の反射ミラー７の移動（アップおよびびダウン）やメカニカルシャッタ１１のチャージを行う。操作部２３はユーザがカメラを操作するために用いるスイッチなどの入力デバイス群である。操作部２３には撮影準備動作の開始および撮影開始を指示するためのレリーズスイッチ、撮影モードを選択するための撮影モード選択スイッチ、方向キー、決定キーなどが含まれる。接点部２９はレンズマウントに設けられ、交換レンズ２が装着されるとレンズ側の接点部５０と接触する。接点部２９は交換レンズ２に電源を供給したり交換レンズ２と通信したりするために用いられ、制御部２１のシリアル通信ポートの入出力信号が接続される。シャッタ駆動部２４は制御部２１の出力端子に接続されてメカニカルシャッタ１１を駆動する。
【0026】
交換レンズ２には、接点部２９と対をなす接点部５０が設けられている。接点部５０には、制御部２１と同様のワンチップマイクロコンピュータであるレンズ制御部５１が接続されている。レンズ制御部５１は接点部５０を通じてカメラ本体１の制御部２１と通信することができる。レンズ制御部５１は例えばマイクロプロセッサ、ＲＯＭ、およびＲＡＭを有し、ＲＯＭに記憶されたプログラムをＲＡＭにロードして実行することにより、制御部２１からの指示に基づいて交換レンズ２の動作を制御する。また、レンズ制御部５１は交換レンズ２の固有情報や現在の状態などを、制御部２１に通知する。フォーカスレンズ駆動部５２はレンズ制御部５１の出力端子に接続され、フォーカスレンズを駆動する。ズーム駆動部５３は、レンズ制御部５１の制御に従い、交換レンズ２の画角を変更する。絞り駆動部５４は、レンズ制御部５１の制御に従い、絞りの開口量を調整する。
【0027】
交換レンズ２がカメラ本体１に装着されると接点部２９および５０が接触する。これによりレンズ制御部５１とカメラ本体の制御部２１とが電気的に接続され、レンズ制御部５１と制御部２１とが通信可能となる。また、接点部２９および５０を通じ、交換レンズ２の動作に必要な電力もカメラ本体１から供給される。制御部２１が焦点検出や露出演算を行うために必要な交換レンズ２の固有情報や、フォーカスレンズの位置に基づいた現在の合焦距離に関する情報などがレンズ制御部５１から制御部２１へ、データ通信によって供給される。交換レンズ２の固有情報には、光学系の特性に関する情報や、機種情報などが含まれてよい。また、制御部２１による焦点検出処理や露出演算処理で得られた焦点調節情報や絞り情報は制御部２１からレンズ制御部５１にデータ通信によって供給される。レンズ制御部５１は、焦点調節情報に従ってフォーカスレンズを駆動したり、絞り情報に従って絞りの開口量を制御したりする。
【0028】
以下、第１実施形態における撮影から現像までの具体的な動作について、説明する。図４の操作部２３に含まれる電源スイッチがオンされるなどにより、制御部２１が動作可能になると、制御部２１は初期化処理を実行する。初期化処理において制御部２１は、交換レンズ２のレンズ制御部５１から、焦点検出や露出演算に必要なレンズ情報を取得する。初期化処理が完了すると制御部２１は撮影スタンバイ状態における動作を実行する。撮影スタンバイ状態において制御部２１は、例えば動画の撮影と、撮影された動画の表示を継続的に実行し、ライブビュー表示を実現する。また制御部２１は、操作部２３を監視し、操作部２３の操作が検出されると、検出された操作に応じた処理を実行する。
【0029】
例えば、操作部２３に含まれるレリーズスイッチの半押し操作が検出された場合、制御部２１は静止画の撮影準備処理を実行する。撮影準備処理には、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理などが含まれる。また、レリーズスイッチの全押し操作が検出された場合、制御部２１は静止画の撮影処理を実行する。静止画の撮影処理において制御部２１は、撮影準備処理で得られた焦点検出や露出演算の結果に基づいてフォーカスレンズの位置を調整したり、メカニカルシャッタ１１の動作を制御したりする。
【0030】
撮像素子１０の露光が終了し、画素信号が読み出されると、信号処理回路２５においてＲＡＷ画像データに対する現像処理が行われる。本実施形態のカメラ１００は、撮像で得られた画像をＳＤＲ画像として記録するか、ＨＤＲ画像として記録するかを設定可能である。信号処理回路２５は、ＳＤＲ画像の記録が設定されている場合はＳＤＲ用のパラメータを用いて現像処理を実行し、８ビットのＳＤＲ画像データを生成する。また、信号処理回路２５は、ＨＤＲ画像の記録が設定されている場合はＨＤＲ用のパラメータを用いて現像処理を実行し、１０ビットのＨＤＲ画像データを生成する。ここで、８ビット、１０ビットは各色成分（例えばＲ、Ｇ、Ｂ）の値を表すデータのビット深度である。なお、ＲＡＷ画像データを記録し、現像処理は後で適用してもよい。
【0031】
ＨＤＲ画像における映像信号レベルと表示輝度との関係を表す信号特性はＥＯＴＦ（Electro-Optical Transfer Function：電気光伝達関数）で規定される。そして、ＥＯＴＦにはＳＭＰＴＥ ＳＴ ２０８４で規格化されているＰＱ(Perceptual Quontization)と、ＡＲＩＢ ＳＴＤ－Ｂ６７で規格化されているＨＬＧ(Hybrid Log Gamma)の２つがある。ＨＬＧは、ＳＤＲと同様に表示輝度を相対値として扱うため、最大表示輝度（表示最大出力目標値）は表示装置によって変化する。一方、ＰＱは図５に示すように、表示輝度を最大１０,０００ｎｉｔｓ（またはｃｄ／ｍ２）の絶対値として扱うため、表示最大出力目標値は表示装置に依存せずに一定である。
【0032】
なお、本実施形態では、特に記載が無い限り、ＨＤＲ画像の信号特性は輝度を絶対値として取り扱うＥＯＴＦ（例えばＰＱ）に準拠しているものとする。したがって、信号処理回路２５は、ＰＱに従った輝度値を有するＨＤＲ画像データを生成する。そのため、図１（ａ）に例示したような、撮影モードによってダイナミックレンジ（より正確には出力最大値）が変化する場合、生成されるＨＤＲ画像データの表示最大出力目標値も撮影モードによって変化する。
【0033】
ＲＡＷ画像の現像処理について図４を用いて説明する。図４において、４０２～４０５、４０８～４１２は、信号処理回路２５が行う処理を機能ブロックとして記載したものであるが、機能ブロックの１つ以上が制御部２１によって実施されてもよい。ＲＡＷ画像データ４０１を構成する画素データのそれぞれは、対応する画素に設けられたカラーフィルタの色の強度を表し、他の色の情報は有していない。ここでは撮像素子１０の各画素にはＲ（赤）、Ｇ（緑）、Ｂ（青）のいずれかのカラーフィルタが設けられているものとする。
ホワイトバランス部４０２では、光源による色かぶりを補正して白を再現するための処理がなされる。具体的にはホワイトバランス部４０２は、ＲＡＷ画像データ４０１を構成する各画素のＲＧＢデータを、例えばｘｙ色空間等の所定の色空間にプロットする。そして、ホワイトバランス部４０２は、その色空間において光源色の可能性が高い黒体輻射軌跡付近にプロットされたデータのＲ，Ｇ，Ｂを積分し、その積分値からＲ及びＢ成分のホワイトバランス係数Ｇ／Ｒ及びＧ／Ｂを求める。ホワイトバランス部４０２はホワイトバランス係数を画像データに適用することによりホワイトバランス処理を実施する。
色補間部４０３ではノイズリダクション処理や、色補間処理により、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部４０４およびガンマ変換部４０５を経て基本的なカラー画像が生成される。ここでガンマ変換部４０５は、輝度取得部４０９が取得したガンマカーブ（コントラスト調整用カーブ４０７）を用いる。ＨＤＲ画像を得る場合のガンマカーブは、ＥＯＴＦの逆特性(Inverse EOTF)であり、例えば図５に示すＰＱ(Perceptual Quontization)の逆特性である。なお、Inverse EOTFとＯＯＴＦ(Opto-Optical Transfer Function)特性を組み合わせたＯＥＴＦ(Optical-Electro Transfer Function)を用いてもよい。
ホワイトバランス部４０２では、光源による色かぶりを補正して白を再現するための処理がなされる。具体的にはホワイトバランス部４０２は、ＲＡＷ画像データ４０１を構成する各画素のＲＧＢデータを、例えばｘｙ色空間等の所定の色空間にプロットする。そして、ホワイトバランス部４０２は、その色空間において光源色の可能性が高い黒体輻射軌跡付近にプロットされたデータのＲ，Ｇ，Ｂを積分し、その積分値からＲ及びＢ成分のホワイトバランス係数Ｇ／Ｒ及びＧ／Ｂを求める。ホワイトバランス部４０２はホワイトバランス係数を画像データに適用することによりホワイトバランス処理を実施する。
色補間部４０３ではノイズリダクション処理や、色補間処理により、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部４０４およびガンマ変換部４０５を経て基本的なカラー画像が生成される。ここでガンマ変換部４０５は、輝度取得部４０９が取得したガンマカーブ（コントラスト調整用カーブ４０７）を用いる。ＨＤＲ画像を得る場合のガンマカーブは、ＥＯＴＦの逆特性(Inverse EOTF)であり、例えば図５に示すＰＱ(Perceptual Quontization)の逆特性である。なお、Inverse EOTFとＯＯＴＦ(Opto-Optical Transfer Function)特性を組み合わせたＯＥＴＦ(Optical-Electro Transfer Function)を用いてもよい。
【0034】
＜最大出力目標値＞
カメラ１００には、図１（ａ）に示したような、出力ダイナミックレンジが異なる複数の撮影モードが用意されている。ユーザは例えば撮影するシーンのコントラストや明るさ、撮影した画像を表示するディスプレイが対応する出力輝度などを考慮して、撮影モードを選択することができる。
カメラ１００には、図１（ａ）に示したような、出力ダイナミックレンジが異なる複数の撮影モードが用意されている。ユーザは例えば撮影するシーンのコントラストや明るさ、撮影した画像を表示するディスプレイが対応する出力輝度などを考慮して、撮影モードを選択することができる。
【0035】
本明細書における最大出力目標値とは、画像データのビット深度で定まる、輝度の最大階調数（ビット深度が１０ビットであれば信号値０～１０２３に相当）のうち、現像処理後の画像データが取り得る最大の階調値である。したがって、最大出力目標値は、出力ダイナミックレンジの上限に対応する。図１（ａ）に示したガンマカーブは、いずれも最大出力目標値が１０２３より低いため、ＨＤＲ信号でも出力ダイナミックレンジは０～１０２３の範囲より狭くなる。
【0036】
最大出力目標値は撮影モードごとに予め定められる。カメラ１００はＨＤＲ撮影モードとして第１のモードと第２のモードを有し、第１のモードの最大出力目標値よりも第２のモードの方が、最大出力目標値が高いものとする。例えば図１（ａ）の例であれば、最大出力目標値４３を有するガンマカーブ４１が第１のモード、最大出力目標値４４を有するカーブ４２が第２のモードの入出力特性である。本実施形態では、第１のモードの最大出力目標値は２８８ｎｉｔｓ（対応する信号値６３２）、第２のモードの最大出力目標値は６４８ｎｉｔｓ（対応する信号値７２１）に予め定められているものとする。
【0037】
輝度を絶対値として扱う場合、表示輝度と信号値との関係は表示装置に依存しない。したがって、撮影モード間の最大出力目標値の差は、出力ダイナミックレンジの差となる。本実施形態では、最大出力目標値［ｎｉｔｓまたはｃｄ／ｍ２］、あるいは最大出力目標値に対応する信号値を、ｍａｘＤＲＬ(maximum Dynamic Range Level)と呼ぶ。ｍａｘＤＲＬを最大出力目標値に対応する信号値とした場合、第１のモードのｍａｘＤＲＬは６３２、第２のモードのｍａｘＤＲＬは７２１である。ＨＤＲ画像の輝度値を表すデータのビット深度が１０ビットの場合、データとして表現可能な値の範囲は０～１０２３である。しかし、第１のモード、第２のモードのいずれも、ｍａｘＤＲＬは１０２３より小さい。そのため、例えば第１のモードで撮影されたＨＤＲ画像において、６３３～１０２３の値を有する輝度データは存在しない。
【0038】
撮影モードに応じた異なる最大出力目標値を実現するため、撮影モードに応じたガンマカーブをコントラスト調整用カーブ４０７として、制御部２１のＲＯＭに予め格納しておく。そして、ガンマ選択部４０８は、現在設定されている撮影条件４０６を、例えばメモリ２８を参照して取得する。そして、ガンマ選択部４０８は、取得した撮影条件に含まれる撮影モードに対応するコントラスト調整用カーブ４０７を制御部２１から取得し、輝度取得部４０９に出力する。
【0039】
輝度取得部４０９は、取得したコントラスト調整用カーブ４０７をガンマ変換部４０５に供給する。また、輝度取得部４０９は、コントラスト調整用カーブ４０７の最大出力値を含む複数の出力値について、対応する絶対輝度を取得する。絶対輝度は、ＳＭＰＴＥ ＳＴ２０８４で規格化されているＰＱ方式のＥＯＴＦ（図５）から求めることができる。そして、輝度取得部４０９は、ｍａｘＤＲＬ（コントラスト調整用カーブ４０７の最大出力値または、最大出力値に対応する絶対輝度［ｎｉｔｓ］）を、例えばメモリ２８に格納する
【0040】
色輝度調整部４１０は、ガンマ変換部４０５がガンマ変換して生成したカラー画像データに対して、画像の見栄えを改善するための画像処理を適用する。色輝度調整部４１０は例えば、カラー画像に対してシーン検出処理を適用し、予め定められたシーンであると判定された場合には、シーンに関連づけられた画像処理を適用する。例えば夕景シーンであると判定された場合、色輝度調整部４１０は、彩度を強調する画像処理をカラー画像データに対して適用する。
【0041】
色輝度調整部４１０の出力する画像データは、圧縮部４１１でデータ量削減のために符号化される。符号化方法は例えばＨＥＶＣ規格に準拠した方法であってよいが、他の方法でもよい。記録部４１２は、符号化された画像データを格納した所定形式のデータファイルを生成する。また、記録部４１２は、ガンマ選択部４０８で選択されたコントラスト調整用カーブ４０７について輝度取得部４０９が取得したｍａｘＤＲＬを、データファイルのメタデータとして例えばヘッダに記載する。このようにして、記録部４１２は、ＨＤＲ信号４１３を生成し、出力する。なお、表示用の画像データを生成する場合、記録部４１２は生成した画像データをデータファイルに格納せずに、ｍａｘＤＲＬと関連づけてメモリ２８に格納してもよい。
【0042】
＜ヒストグラム表示＞
次に、ヒストグラム表示動作について説明する。本実施形態におけるヒストグラム表示とは、横軸に信号の輝度階調値ないし色階調値の階級を、縦軸に度数を示すヒストグラムを、撮像によって得られた画像データについて表示する機能である。輝度階調値は例えばＲＧＢ成分の値を用いて算出した輝度値を用いることができる。また、色階調値のヒストグラムは、色成分ごとに生成、表示することができる。
次に、ヒストグラム表示動作について説明する。本実施形態におけるヒストグラム表示とは、横軸に信号の輝度階調値ないし色階調値の階級を、縦軸に度数を示すヒストグラムを、撮像によって得られた画像データについて表示する機能である。輝度階調値は例えばＲＧＢ成分の値を用いて算出した輝度値を用いることができる。また、色階調値のヒストグラムは、色成分ごとに生成、表示することができる。
【0043】
ユーザはヒストグラムを参照することにより、現在の撮影条件で撮像した画像データに白飛びする領域や黒潰れする領域が存在するかどうかを把握できる。特に、白飛びした領域は輝度が飽和した領域であるため、撮像後の画像処理によって階調を復元することが困難である。このため、現在の撮影条件で白飛びする領域が存在することをユーザに報知することにより、ユーザは意図しない白飛び領域の発生を、撮影条件を変更することによって回避したり減らしたりすることができる。
【0044】
上述したように、輝度を絶対値として扱うＨＤＲ規格に準拠したＨＤＲ画像を撮像するする場合、ヒストグラム表示に関して特有の課題が存在する。ＳＤＲ画像や、輝度を相対値として取り扱うＨＤＲ規格に準拠したＨＤＲ画像であれば、画像データのビット深度で表現可能な最大値（例えば１０ビットであれば１０２３）を、画像データの最大表示輝度として取り扱えばよい。
【0045】
ＰＱ方式のように、輝度を絶対値として扱うＨＤＲ規格に準拠したＨＤＲ画像を撮像する場合には、画像データのビット深度で表現可能な最大値よりも、輝度の最大値に対応するデータの値が小さかったり、さらに撮影モードに応じて変化したりする。そのため、ＳＤＲ画像と同様のヒストグラム表示を行った場合、白飛びする領域が存在する画像データあっても、最大輝度を表す階級の頻度が０であることが起こりうる。
【0046】
そのため本実施形態では、ｍａｘＤＲＬに基づくヒストグラム表示を行う。以下、本実施形態のヒストグラム表示動作について、図６および図７を用いて説明する。図６は、ＨＤＲ信号４１３に基づくヒストグラム表示に関する信号処理回路２５の動作を、機能ブロックとして記載した図である。信号処理回路２５は、図４を用いて説明した処理によって生成したＨＤＲ信号４１３に基づくヒストグラム表示を行う際に以下の動作を実行する。なお、図６に示すヒストグラム表示部６０１を、制御部２１がＲＯＭに記憶されているプログラムを実行することにより実現してもよい。
【0047】
Ｓ７０１にて、輝度取得部４０９は、ヒストグラムを生成する対象のＨＤＲ画像データが、記憶部２６に保存されている記録済みＨＤＲ信号なのか否かを判定する。例えばカメラ１００が再生モードである場合、輝度取得部４０９はヒストグラムを生成する対象のＨＤＲ画像データが、記憶部２６に保存されている記録済みＨＤＲ画像データであると判定する。この場合、Ｓ７０２が実行される。一方、カメラ１００が撮影モードである場合、輝度取得部４０９はヒストグラムを生成する対象のＨＤＲ画像データが、記憶部２６に保存されている記録済みＨＤＲ画像データでないと判定する。この場合、Ｓ７０３が実行される。なお、Ｓ７０１における判定は、他の条件に基づいて行ってもよい。
【0048】
Ｓ７０２でヒストグラム表示部６０１は、表示対象となるＨＤＲ信号を格納するデータファイルのメタデータに記載されているｍａｘＤＲＬを取得する。
【0049】
Ｓ７０３が実行されるのは、撮影スタンバイ状態や動画撮影中に表示されるライブビュー画像のように、記憶部２６に記録されていない（撮影中の）ＨＤＲ信号を対象にヒストグラム表示を行う場合である。Ｓ７０３でヒストグラム表示部６０１は、ガンマ選択部４０８が選択したコントラスト調整用カーブ４０７から輝度取得部４０９が取得したｍａｘＤＲＬを、例えばメモリ２８から取得する。
【0050】
Ｓ７０４でヒストグラム表示部６０１は、Ｓ７０２またはＳ７０３で取得したｍａｘＤＲＬに基づくヒストグラム表示を行う。ヒストグラム表示は、表示器２７もしくは外部表示装置に対して行うことができる。また、ヒストグラムと、ヒストグラムの生成対象となった画像データとは、同じ画面に表示してもよいし、別個の画面に表示してもよい。
【0051】
ヒストグラム表示の一例について説明する。以下、特に記載がない限り、本実施形態では、ＨＤＲ画像データのビット深度を１０ビットとする。例えば、図８（ａ）が、ｍａｘＤＲＬが１０２３より小さいＨＤＲ画像データを模式的に示しているものとする。このＨＤＲ画像データをＳＤＲ画像データと同様に扱ってヒストグラム表示を行った例を図８（ｂ）に示す。この場合、ｍａｘＤＲＬとは無関係に、０から１０２３までの範囲の度数分布を示すヒストグラム８０１が表示されるため、ヒストグラム８０１からは、ＨＤＲ画像データにおける白飛びする領域の発生可能性を把握することができない。
【0052】
図８（ｃ）は、Ｓ７０４でヒストグラム表示部６０１が表示するヒストグラム８０１の例を示している。ヒストグラム８０１は、階級の範囲０～１０２３のうち、０からｍａｘＤＲＬまでの範囲８０２と、ｍａｘＤＲＬから１０２３までの範囲８０３とが視覚的に区別できるように表示される。これにより、範囲８０２に示される度数のうち、範囲８０３と８０２との境界（＝ｍａｘＤＲＬ）付近における度数から、白飛び領域の発生可能性について把握することができる。
【0053】
なお図８（ｃ）の例では、ある単一色のレイヤーを範囲８０３に重畳することにより、範囲８０２と８０３とを視覚的に区別可能にしているが、他の方法を用いてもよい。例えば縞模様など、特定のパターンを有するレイヤーを範囲８０３に重畳させたり、重畳させたレイヤーを周期的に明滅させたり、範囲８０２と８０３との境界に直線を描画するなどが考えられるが、これらに限定されない。また、０、１０２３、ｍａｘＤＲＬに対応するヒストグラムの横軸の位置の近傍に、「０」「１０２３」「ｍａｘＤＲＬ」のラベルを表示してもよい。
【0054】
本実施形態では、輝度値を絶対値として扱う規格に準じたＨＤＲ画像データのヒストグラムを、データのビット深度で表現可能な値の範囲のうち、ＨＤＲ画像データが取り得る最大値を超える範囲と超えない範囲とが視覚的に区別可能に表示するようにした。そのため、ＨＤＲ画像データが取り得る最大値がデータのビット深度で表現可能な最大値と一致しない場合や、ＨＤＲ画像データが取り得る最大値が撮影条件によって変化する場合であっても、ヒストグラムから白飛びの発生可能性を把握することができる。
【0055】
●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態は、Ｓ７０４でヒストグラム表示部６０１の行うヒストグラムの表示方法以外は第１実施形態と共通である。したがって、以下では、本実施形態におけるヒストグラム表示方法について説明する。
次に、本発明の第２実施形態について説明する。本実施形態は、Ｓ７０４でヒストグラム表示部６０１の行うヒストグラムの表示方法以外は第１実施形態と共通である。したがって、以下では、本実施形態におけるヒストグラム表示方法について説明する。
【0056】
第１実施形態では、輝度値を絶対値として扱う規格に準じたＨＤＲ画像データを対象とする場合も、他の規格に準じたＨＤＲ画像データやＳＤＲ画像データを対象とする場合も、階級の範囲は同じであった。つまり、ヒストグラムの対象とする画像データのビット深度が同じであれば、そのビット深度で表現可能な最小値と最大値（１０ビットであれば０と１０２３）を階級の範囲とするヒストグラムを表示していた。
【0057】
このため、ビット深度で表現可能な最大値とｍａｘＤＲＬとの差が大きい場合、ヒストグラムの表示領域が有効に活用されない。例えばｍａｘＤＲＬが５００の場合にはヒストグラムの表示領域の左半分のみにビンが描画され、右半分は無駄になってしまう。
【0058】
そのため、本実施形態では、ｍａｘＤＲＬに基づくヒストグラム表示を行う場合には、ヒストグラムの階級の最大値をｍａｘＤＲＬに応じて変更するようにした。図８（ｄ）は、図８（ａ）のＨＤＲ画像データについて、ヒストグラムの階級の範囲の最大値をｍａｘＤＲＬにしてヒストグラムを表示した例を示している。
【0059】
ここでは、ビンの見かけ上の幅を変更しないため、ビンあたりの階級の区間幅が狭くなっており、度数分布の分解能が高くなり、中間輝度についてよりきめ細かく度数分布を把握することができる。なお、ヒストグラムの階級の範囲の最大値をｍａｘＤＲＬにする代わりに、ヒストグラムの階級の範囲に、ｍａｘＤＲＬを超える値の範囲の一部を含めてもよい。この場合、ヒストグラム表示部６０１は、第１実施形態で説明したように、ｍａｘＤＲＬを超える範囲が視覚的に判別できるようにする。
【0060】
また、本実施形態においても、横軸の「０」、「ｍａｘＤＲＬ」を含む代表値に対応する近傍に、代表値のラベルを表示してもよい。
【0061】
本実施形態によれば、輝度値を絶対値として扱う規格に準じたＨＤＲ画像データのヒストグラムについて、階級の最大値をＨＤＲ画像データが取り得る最大値に基づいて定めるようにした。そのため、第１実施形態の効果に加え、ヒストグラム表示領域を効率的に利用することができる。また、階級の区間幅を変更した場合には、中間輝度の度数分布をよりきめ細かく把握することが可能になる。
【0062】
●（第３実施形態）
次に、本発明の第３実施形態について説明する。第１および第２実施形態ではＨＤＲ画像データについてのヒストグラムを表示したが、本実施形態では、露光量の対数に比例した輝度を有するＬＯＧデータについてのヒストグラムを表示する。なお、カメラ１００の構成や信号処理回路２５の機能構成については第１実施形態と同様であってよい。
次に、本発明の第３実施形態について説明する。第１および第２実施形態ではＨＤＲ画像データについてのヒストグラムを表示したが、本実施形態では、露光量の対数に比例した輝度を有するＬＯＧデータについてのヒストグラムを表示する。なお、カメラ１００の構成や信号処理回路２５の機能構成については第１実施形態と同様であってよい。
【0063】
本実施形態において、信号処理回路２５はＬＯＧデータを生成する。図４において、ガンマ選択部４０８が選択するコントラスト調整用カーブ４０７が、図１（ｂ）に示すようなＬＯＧガンマカーブ４５であることを除き、画像データの生成動作は基本的に第１実施形態と同様である。
【0064】
ただし、ＬＯＧガンマカーブを用いる場合、ＬＯＧデータが取り得る最大値と最小値の両方が、データのビット深度で表現可能な値の範囲の最大値と最小値と異なりうる。そのため、輝度取得部４０９は、ＬＯＧデータが取り得る最大値をｍａｘＤＲＬとして取得することに加え、ｍｉｎＤＲＬ（minimum Dynamic Range Level）を取得する。ｍｉｎＤＲＬは、最小出力目標値［ｎｉｔｓまたはｃｄ／ｍ２］、あるいは最小出力目標値に対応する信号値である。図１（ｂ）の例で言えば、出力最小値４６に対応する最小出力目標値もしくは最小出力値４６である。
【0065】
そして、記録部４１２は、輝度取得部４０９が取得したｍｉｎＤＲＬを、ｍａｘＤＲＬと同様にして、ＬＯＧデータとともにメモリもしくは記憶部２６に記録する。
【0066】
ｍｉｎＤＲＬが０よりも大きい場合、ＳＤＲ画像と同じヒストグラム表示では、黒潰れ領域の発生可能性についても把握が困難になる。そのため、本実施形態のヒストグラム表示部６０１は、ｍａｘＤＲＬに加え、ｍｉｎＤＲＬにも基づいてヒストグラムを表示する。
【0067】
具体的な表示方法の例を、図９に示す。図９（ａ）は、あるＬＯＧデータをＳＤＲ信号と同様に扱ってヒストグラム表示を行った例を示す。この場合、ｍｉｎＤＲＬ、ｍａｘＤＲＬとは無関係に、０から１０２３までの範囲の度数分布を示すヒストグラム９０１が表示される。そのため、ヒストグラム９０１からは、ＬＯＧデータにおいて黒つぶれする領域もしくは白飛びする領域の発生可能性を把握することができない。
【0068】
図９（ｂ）は、ＬＯＧデータのヒストグラム表示において第１実施形態と同様の構成を適用した例を示す。ヒストグラム表示部６０１は、階級の範囲０～１０２３のうち、ｍｉｎＤＲＬに満たない範囲９０４およびｍａｘＤＲＬを超える範囲９０２と、ｍｉｎＤＲＬ以上、ｍａｘＤＲＬ以下の値の範囲９０３とを視覚的に区別できるように表示する。
【0069】
あるいは、ヒストグラム表示部６０１は、図９（ｃ）に示すように、ＬＯＧデータのヒストグラム表示において第２実施形態と同様の構成を適用してもよい。この場合、ヒストグラム表示部６０１は、ヒストグラムの階級の範囲の最小値をｍｉｎＤＲＬに基づいて決定し、ヒストグラムの階級の範囲の最大値をｍａｘＤＲＬに基づいて決定する。
【0070】
図９（ｃ）は、ヒストグラムの階級の範囲の最小値をｍｉｎＤＲＬ、最大値をｍａｘＤＲＬにしてヒストグラムを表示した例を示している。なお、ヒストグラムの階級の範囲に、ｍｉｎＤＲＬに満たない値の範囲の一部や、ｍａｘＤＲＬを超える値の範囲の一部を含めてもよい。この場合、ヒストグラム表示部６０１は、図９（ｂ）に示すように、ｍｉｎＤＲＬに満たない範囲やｍａｘＤＲＬを超える範囲が視覚的に判別できるようにする。
【0071】
図９（ｃ）の例では、ビンの見かけ上の幅を変更していないため、ビンあたりの階級の区間幅が狭くなっており、度数分布の分解能が高くなり、中間輝度についてよりきめ細かく度数分布を把握することができる。
また、本実施形態においても、横軸の「ｍｉｎＤＲＬ」、「ｍａｘＤＲＬ」を含む代表値に対応する近傍に、代表値のラベルを表示してもよい。
また、本実施形態においても、横軸の「ｍｉｎＤＲＬ」、「ｍａｘＤＲＬ」を含む代表値に対応する近傍に、代表値のラベルを表示してもよい。
【0072】
本実施形態によれば、ＬＯＧデータのヒストグラム表示において、階級の最小値および最大値をＬＯＧデータが取り得る最小値および最大値に基づいて定めるようにした。そのため、ユーザは、ＬＯＧデータについての白飛び領域および黒潰れ領域の発生可能性を、ヒストグラムから容易に把握することができる。
【0073】
なお、ここでは、ＬＯＧデータが取り得る最大値と最小値の両方が、データのビット深度で表現可能な値の範囲の最大値と最小値と異なる場合について説明した。しかし、ＬＯＧデータが取り得る最大値が、データのビット深度で表現可能な値の範囲の最大値と異なるが、ＬＯＧデータが取り得る最小値は、データのビット深度で表現可能な値の範囲の最小値と合致する場合もある。この場合には、第１および第２実施形態と同様、ｍａｘＤＲＬのみに基づくヒストグラムの表示を行えばよい。最小値だけが合致しない場合も同様である。
【0074】
●（第４実施形態）
次に、本発明の第４実施形態について説明する。第１～第３実施形態では、ｍａｘＤＲＬおよびｍｉｎＤＲＬが固定値である場合のヒストグラム表示について説明した。本実施形態では、動画記録時など、ｍａｘＤＲＬおよびｍｉｎＤＲＬが時間変動しうる場合におけるヒストグラム表示について説明する。
次に、本発明の第４実施形態について説明する。第１～第３実施形態では、ｍａｘＤＲＬおよびｍｉｎＤＲＬが固定値である場合のヒストグラム表示について説明した。本実施形態では、動画記録時など、ｍａｘＤＲＬおよびｍｉｎＤＲＬが時間変動しうる場合におけるヒストグラム表示について説明する。
【0075】
ＨＤＲ動画やＬＯＧ動画の記録中に撮影条件を変更したり、異なるタイミングで撮影した動画をまとめて１つの動画ファイルを生成したりする場合などには、ｍａｘＤＲＬまたはｍｉｎＤＲＬが、動画のフレームごとやチャプターごとに変動しうる。この場合、記録部４１２は、動画ファイルにおける、フレームごとまたはチャプターごとのメタデータに、輝度取得部４０９が取得したｍａｘＤＲＬやｍｉｎＤＲＬを含めるようにする。
【0076】
このような動画ファイルを再生する場合、ヒストグラム表示部６０１は、再生対象のフレームに対応するメタデータを参照することで、再生対象のフレームに適用すべきｍａｘＤＲＬおよび／またはｍｉｎＤＲＬを取得することができる。そして、ヒストグラム表示部６０１は、第１～第４実施形態のいずれかで説明した方法でヒストグラム表示を行うことができる。
【0077】
なお、フレームごとまたはチャプターごとのメタデータを記録できない動画フォーマットの場合、記録部４１２は例えば最初のフレームまたはチャプターについてのｍａｘＤＲＬおよびｍｉｎＤＲＬを動画ファイルに記録する。また、再生時にも動画ファイルに記録されたｍａｘＤＲＬおよびｍｉｎＤＲＬを全フレームおよびチャプタに適用する。
【0078】
本実施形態によれば、１つの動画ファイルに記録されているＨＤＲ動画データやＬＯＧ動画データについて、ｍａｘＤＲＬやｍｉｎＤＲＬの値が時間変動する場合であっても、適切なヒストグラムを表示することができる。そのため、ユーザはｍａｘＤＲＬおよびｍｉｎＤＲＬの変動を意識することなく、白飛びや黒潰れの発生可能性を容易に把握することができる。
【0079】
●（第５実施形態）
次に、本発明の第５実施形態について説明する。第１の実施形態では、撮影モードなど、撮影条件で定まるガンマカーブの最大出力目標値（または対応する信号値）をｍａｘＤＲＬと定義していた。しかしながら、ガンマ変換部４０５でガンマカーブを用いた輝度補正処理を適用した後に、例えばシャープネス処理や明瞭度補正処理など、局所的にコントラストを強調する処理を適用すると、信号値がｍａｘＤＲＬよりも大きくなる場合がある。
次に、本発明の第５実施形態について説明する。第１の実施形態では、撮影モードなど、撮影条件で定まるガンマカーブの最大出力目標値（または対応する信号値）をｍａｘＤＲＬと定義していた。しかしながら、ガンマ変換部４０５でガンマカーブを用いた輝度補正処理を適用した後に、例えばシャープネス処理や明瞭度補正処理など、局所的にコントラストを強調する処理を適用すると、信号値がｍａｘＤＲＬよりも大きくなる場合がある。
【0080】
図１０（ａ）は、このような、ｍａｘＤＲＬよりも大きな値のデータが含まれるＨＤＲ画像データの度数分布の一例を示す。ここで、ｍａｘＤＲＬよりも大きな、画像データの最大値をＭ１で示している。このようなＨＤＲ画像データに対して第１実施形態のヒストグラム表示方法を適用した場合、図１０（ｂ）に示すような表示となる。
【0081】
ｍａｘＤＲＬより大きな信号値の度数に対して単一色のレイヤーが重畳表示されるため、ｍａｘＤＲＬより大きな信号値に対応するビンの色が他のビンの色と変わり、無効な信号値が記録されているかのような誤解をユーザに与えてしまう懸念がある。そのため、本実施形態において、ヒストグラム表示部６０１は、図１０（ｃ）のように、ヒストグラムの背景領域に対して単一色のレイヤーを重畳させ、さらにその前面のレイヤーにヒストグラムのビンを表示する。これにより、ｍａｘＤＲＬより大きい信号値に対応するビンの色（表示形態）が、ｍａｘＤＲＬ以下の信号値についてのビンの色（表示形態）と同じままとなる。そのため、ユーザは、ｍａｘＤＲＬを超える値のデータがｍａｘＤＲＬ以下の値のデータと同じ扱いであること（無効でないことを）を直感的に把握することができる。
【0082】
なお、第１実施形態や本実施形態ではレイヤーを用いてヒストグラムの一部領域の表示を視覚的に変更しているが、例えば、塗りつぶしを用いるなど、必ずしもレイヤーを重畳する方法を用いなくてもよい。
【0083】
なお、ＬＯＧデータのようにｍｉｎＤＲＬが０より大きくなる信号を扱う場合、前述の理由により、画像データにｍｉｎＤＲＬよりも小さい値が含まれることがある。このような場合にも、ｍａｘＤＲＬよｈり大きな値の範囲と同様の表示を行うようにする。
【0084】
本実施形態によれば、第１実施形態や第３実施形態の効果に加え、ガンマ補正後の画像処理により、ｍａｘＤＲＬより大きい値やｍｉｎＤＲＬより小さい値が画像データに含まれる場合であっても、白飛びや黒潰れの発生可能性をユーザが容易に把握できる。
【0085】
●（第６実施形態）
次に、本発明の第６実施形態について説明する。第５の実施形態では、ｍａｘＤＲＬよりも大きな信号値またはｍｉｎＤＲＬよりも小さな信号値を持つ信号における、第１実施形態の適用方法について説明した。本実施形態では、同様の信号に対する第２実施形態の適用方法について説明する。
次に、本発明の第６実施形態について説明する。第５の実施形態では、ｍａｘＤＲＬよりも大きな信号値またはｍｉｎＤＲＬよりも小さな信号値を持つ信号における、第１実施形態の適用方法について説明した。本実施形態では、同様の信号に対する第２実施形態の適用方法について説明する。
【0086】
図１０（ａ）に示すような度数分布を有する画像データに対して第２実施形態を適用すると、図１１（ａ）に示すように、ｍａｘＤＲＬより大きな値の度数（図１１（ａ）に点線で示す）がヒストグラムに表示されない。そのため、本実施形態のヒストグラム表示部６０１は、ｍａｘＤＲＬに基づいてヒストグラムの階級の範囲を決定する際、ヒストグラムを表示する対象の画像データがｍａｘＤＲＬより大きな信号値を取り得る場合、以下の方法１または方法２を採用する。
【0087】
＜方法１＞
ヒストグラム表示部６０１は、ヒストグラム表示を行う画像データの最大値を検出する。そして、ヒストグラム表示部６０１は、検出した最大値が、輝度取得部４０９で取得したｍａｘＤＲＬよりも大きい場合、ヒストグラムの階級の最大値を、検出した最大値以上の値とする。図１０（ｂ）に、ヒストグラムの階級の最大値を、検出した最大値とした場合の例を示している。
方法１を採用した場合、画像データにｍａｘＤＲＬよりも大きな値が含まれる場合であっても、ヒストグラムの表示領域を効率的に使用しつつ、漏れの無いヒストグラムを表示することができる。
ヒストグラム表示部６０１は、ヒストグラム表示を行う画像データの最大値を検出する。そして、ヒストグラム表示部６０１は、検出した最大値が、輝度取得部４０９で取得したｍａｘＤＲＬよりも大きい場合、ヒストグラムの階級の最大値を、検出した最大値以上の値とする。図１０（ｂ）に、ヒストグラムの階級の最大値を、検出した最大値とした場合の例を示している。
方法１を採用した場合、画像データにｍａｘＤＲＬよりも大きな値が含まれる場合であっても、ヒストグラムの表示領域を効率的に使用しつつ、漏れの無いヒストグラムを表示することができる。
【0088】
＜方法２＞
ヒストグラムの階級の最大値はｍａｘＤＲＬに基づいて決定し（第２実施形態と同様）、ヒストグラム表示を行う画像データ含まれる、ｍａｘＤＲＬよりも大きな値については、ｍａｘＤＲＬを含む区間の度数に含める。図１０（ｃ）に、ヒストグラムの階級の最大値をｍａｘＤＲＬとした場合の例を示している。
方法２を採用した場合、表示対象の画像データが変わっても、ヒストグラム表示における階級の範囲は変動しない。そのため、複数フレーム分のＨＤＲ画像データを手動で切替ながら順次再生させた場合に、画像間の輝度分布の比較が容易であり、かつその比較に基づいて白飛びの発生可能性について把握することができる。
ヒストグラムの階級の最大値はｍａｘＤＲＬに基づいて決定し（第２実施形態と同様）、ヒストグラム表示を行う画像データ含まれる、ｍａｘＤＲＬよりも大きな値については、ｍａｘＤＲＬを含む区間の度数に含める。図１０（ｃ）に、ヒストグラムの階級の最大値をｍａｘＤＲＬとした場合の例を示している。
方法２を採用した場合、表示対象の画像データが変わっても、ヒストグラム表示における階級の範囲は変動しない。そのため、複数フレーム分のＨＤＲ画像データを手動で切替ながら順次再生させた場合に、画像間の輝度分布の比較が容易であり、かつその比較に基づいて白飛びの発生可能性について把握することができる。
【0089】
なお、ＬＯＧデータのようにｍｉｎＤＲＬが０より大きくなる信号を扱う場合、前述の理由により、画像データにｍｉｎＤＲＬよりも小さい値が含まれることがある。このような場合にも、ｍａｘＤＲＬよりも大きい値と同様に取り扱うことができる。例えば、方法１を採用する場合、ヒストグラム表示部６０１は、画像データの最小値を検出し、最小値がｍｉｎＤＲＬよりも小さい場合、ヒストグラムの階級の範囲の最小値を、検出した最小値に基づいて決定する。また、方法２を採用する場合、ヒストグラム表示部６０１は、みｎＤＲＬより小さい値の度数を、ｍｉｎＤＲＬを含む区間の度数に含めたヒストグラムを表示する。
【0090】
本実施形態によれば、第２実施形態や第３実施形態の効果に加え、ガンマ補正後の画像処理により、ｍａｘＤＲＬより大きい値やｍｉｎＤＲＬより小さい値が画像データに含まれる場合であっても、白飛びや黒潰れの発生可能性をユーザが容易に把握できる。
【0091】
●（第７実施形態）
次に、本発明の第７実施形態について説明する。第１～第６実施形態で述べたヒストグラム表示動作は、撮影に係る機能を必須としてはいない。したがって、上述した実施形態は、カメラで撮影された画像を表示するディスプレイなどの表示装置や、パーソナルコンピュータやスマートフォン等の、カメラと双方向的な通信が可能な電子機器で実施することもできる。
次に、本発明の第７実施形態について説明する。第１～第６実施形態で述べたヒストグラム表示動作は、撮影に係る機能を必須としてはいない。したがって、上述した実施形態は、カメラで撮影された画像を表示するディスプレイなどの表示装置や、パーソナルコンピュータやスマートフォン等の、カメラと双方向的な通信が可能な電子機器で実施することもできる。
【0092】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0093】
本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0094】
１…カメラ本体、２…交換レンズ、１０…撮像素子、２１…制御部、２５…信号処理回路、５１…レンズ制御部、４０５…ガンマ変換部、４０７…コントラスト調整用カーブ、４０８…ガンマ選択部、４０９…輝度取得部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】