特許 7554566 画像処理装置、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-11

(45)【発行日】2024-09-20

(54)【発明の名称】画像処理装置、制御方法及びプログラム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20240912BHJP

   H04N 23/60 20230101ALI20240912BHJP

   G03B 7/095 20210101ALI20240912BHJP

   G03B 17/18 20210101ALI20240912BHJP

【ＦＩ】

H04N23/63

H04N23/60 500

G03B7/095

G03B17/18

【請求項の数】 12

(21)【出願番号】P 2020044385

(22)【出願日】2020-03-13

(65)【公開番号】P2021145302

(43)【公開日】2021-09-24

【審査請求日】2023-03-10

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】塩崎 智行

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１７－２１２５３２（ＪＰ，Ａ）

【文献】特開２００７－１２９３２８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ２３／６０

Ｇ０３Ｂ ７／０９５

Ｇ０３Ｂ １７／１８

(57)【特許請求の範囲】

【請求項1】

シーンを撮像して得られた撮像画像に基づいて、表示手段に表示される表示用画像を生成する画像処理装置であって、
前記撮像画像を取得する第１の取得手段と、
前記第１の取得手段により取得された前記撮像画像に係る露出設定を取得する第２の取得手段と、
前記シーンの輝度を取得する第３の取得手段と、
前記表示手段についての表示輝度設定及び表示特性を取得する第４の取得手段と、
前記表示用画像を生成するモードを設定する設定手段と、
前記設定手段により設定されているモードに応じて、前記第１の取得手段により取得された前記撮像画像を輝度変換して前記表示用画像を生成する生成手段と、
を有し、
前記生成手段は、前記第４の取得手段により取得された前記表示輝度設定及び前記表示特性に応じて、前記撮像画像の輝度変換に用いる変換特性を異ならせるものであり、
前記設定手段により第１のモードが設定されている場合に、前記シーンの輝度に対して一意に定まる変換後の出力輝度を一意に定める第１の変換特性であって、前記露出設定に応じて出力輝度が変化しない第１の変換特性を用いて前記撮像画像の輝度変換を行い、
前記設定手段により第２のモードが設定されている場合に、前記露出設定に応じて出力輝度が変化する第２の変換特性を用いて前記撮像画像の輝度変換を行い、
前記第１の変換特性は、前記表示用画像が前記表示手段に表示された際に、前記シーンの輝度に対して一意に定まる出力輝度を示すように構成される
ことを特徴とする画像処理装置。

【請求項2】

シーンを撮像して得られた撮像画像に基づいて、表示手段に表示される表示用画像を生成する画像処理装置であって、
前記撮像画像を取得する第１の取得手段と、
前記第１の取得手段により取得された前記撮像画像に係る露出設定を取得する第２の取得手段と、
前記シーンの輝度を取得する第３の取得手段と、
前記表示用画像を生成するモードを設定する設定手段と、
前記設定手段により設定されているモードに応じて、前記第１の取得手段により取得された前記撮像画像を輝度変換して前記表示用画像を生成する生成手段と、
を有し、
前記生成手段は、
前記設定手段により第１のモードが設定されている場合に、前記シーンの輝度に対して一意に定まる変換後の出力輝度を一意に定める第１の変換特性であって、前記露出設定に応じて出力輝度が変化しない第１の変換特性を用いて前記撮像画像の輝度変換を行い、
前記設定手段により第２のモードが設定されている場合に、前記露出設定に応じて出力輝度が変化する第２の変換特性を用いて前記撮像画像の輝度変換を行い、
輝度変換した前記撮像画像に対してさらに色及び輝度を調整する調整処理を行うことで前記表示用画像を生成し、
前記第１のモードである場合に行われる前記調整処理と、前記第２のモードである場合に行われる前記調整処理は異なる
ことを特徴とする画像処理装置。

【請求項3】

撮像手段がシーンを撮像して出力した撮像画像に基づいて、表示手段に表示される表示用画像を生成する画像処理装置であって、
前記撮像画像を取得する第１の取得手段と、
前記第１の取得手段により取得された前記撮像画像に係る露出設定を取得する第２の取得手段と、
前記シーンの輝度を取得する第３の取得手段と、
前記表示用画像を生成するモードを設定する設定手段と、
前記設定手段により設定されているモードに応じて、前記第１の取得手段により取得された前記撮像画像を輝度変換して前記表示用画像を生成する生成手段と、
前記表示手段への前記表示用画像の表示を制御する表示制御手段と、
を有し、
前記表示手段は、第１の表示手段と第２の表示手段とを含み、
前記画像処理装置は、前記第１の表示手段が鑑賞されていることを検知する検知手段をさらに有し、
前記生成手段は、
前記設定手段により第１のモードが設定されている場合に、前記シーンの輝度に対して一意に定まる変換後の出力輝度を一意に定める第１の変換特性であって、前記露出設定に応じて出力輝度が変化しない第１の変換特性を用いて前記撮像画像の輝度変換を行い、
前記設定手段により第２のモードが設定されている場合に、前記露出設定に応じて出力輝度が変化する第２の変換特性を用いて前記撮像画像の輝度変換を行い、
前記設定手段は、
前記検知手段により前記第１の表示手段が鑑賞されていることが検知されている場合に、前記表示用画像を生成するモードを前記第１のモードに設定し、
前記検知手段により前記第１の表示手段が鑑賞されていることが検知されていない場合に、前記表示用画像を生成するモードを前記第２のモードに設定する
ことを特徴とする画像処理装置。

【請求項4】

前記表示制御手段は、
前記検知手段により前記第１の表示手段が鑑賞されていることが検知されている場合に前記表示用画像を前記第１の表示手段に表示させるよう制御し、
前記検知手段により前記第１の表示手段が鑑賞されていることが検知されていない場合に前記表示用画像を前記第２の表示手段に表示させるよう制御する
ことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

撮像手段がシーンを撮像して出力した撮像画像に基づいて、表示手段に表示される表示用画像を生成する画像処理装置であって、
前記撮像画像を取得する第１の取得手段と、
前記第１の取得手段により取得された前記撮像画像に係る露出設定を取得する第２の取得手段と、
前記シーンの輝度を取得する第３の取得手段と、
前記表示用画像を生成するモードを設定する設定手段と、
前記設定手段により設定されているモードに応じて、前記第１の取得手段により取得された前記撮像画像を輝度変換して前記表示用画像を生成する生成手段と、
前記表示手段への前記表示用画像の表示を制御する表示制御手段と、
を有し、
前記表示手段は、接眼して鑑賞される第１の表示手段と、離眼して鑑賞される第２の表示手段とを含み、
前記生成手段は、
前記設定手段により第１のモードが設定されている場合に、前記シーンの輝度に対して一意に定まる変換後の出力輝度を一意に定める第１の変換特性であって、前記露出設定に応じて出力輝度が変化しない第１の変換特性を用いて前記撮像画像の輝度変換を行い、
前記設定手段により第２のモードが設定されている場合に、前記露出設定に応じて出力輝度が変化する第２の変換特性を用いて前記撮像画像の輝度変換を行い、
前記表示制御手段は、前記第２の変換特性を用いて生成された前記表示用画像を、前記第１の表示手段に表示させないよう制御する
ことを特徴とする画像処理装置。

【請求項6】

前記表示手段は、前記表示用画像を表示することで電子ビューファインダとして機能することを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。

【請求項7】

撮影指示を受け付ける操作入力手段と、
前記撮影指示に基づく撮影で得られた記録用画像を記録する記録手段と、をさらに有し、
前記生成手段は、前記第２の変換特性を用いて、前記撮影指示に応じて得られた前記撮像画像を輝度変換して前記記録用画像を生成する
ことを特徴とする請求項３乃至６のいずれか１項に記載の画像処理装置。

【請求項8】

前記表示制御手段は、前記記録用画像の記録に際して、前記表示手段の表示を、前記表示用画像から該記録用画像に切り替えることを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記撮像画像に基づいて、前記シーンの輝度を導出する導出手段をさらに有し、
前記第２の取得手段は、前記導出手段により導出された前記シーンの輝度を取得する
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

前記導出手段は、前記撮像画像の撮像時の撮像光学系による減光分を補正して得られた画像に基づいて、前記シーンの輝度を導出することを特徴とする請求項９に記載の画像処理装置。

【請求項11】

シーンを撮像して得られた撮像画像に基づいて、表示手段に表示される表示用画像を生成する画像処理装置の制御方法であって、
前記撮像画像を取得する第１の取得工程と、
前記第１の取得工程において取得された前記撮像画像に係る露出設定を取得する第２の取得工程と、
前記シーンの輝度を取得する第３の取得工程と、
前記表示手段についての表示輝度設定及び表示特性を取得する第４の取得工程と、
前記表示用画像を生成するモードを設定する設定工程と、
前記設定工程において設定されているモードに応じて、前記第１の取得工程において取得された前記撮像画像を輝度変換して前記表示用画像を生成する生成工程と、
を有し、
前記生成工程において、前記第４の取得工程で取得された前記表示輝度設定及び前記表示特性に応じて、前記撮像画像の輝度変換に用いる変換特性が異ならせる制御が行われ、
第１のモードが設定されている場合に、前記シーンの輝度に対して一意に定まる変換後の出力輝度を一意に定める第１の変換特性であって、前記露出設定に応じて出力輝度が変化しない第１の変換特性を用いて前記撮像画像の輝度変換が行われ、
第２のモードが設定されている場合に、前記露出設定に応じて出力輝度が変化する第２の変換特性を用いて前記撮像画像の輝度変換が行われ、
前記第１の変換特性は、前記表示用画像が前記表示手段に表示された際に、前記シーンの輝度に対して一意に定まる出力輝度を示すように構成される
ことを特徴とする制御方法。

【請求項12】

コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、制御方法及びプログラムに関し、特に撮像時のライブビュー表示技術に関する。

【背景技術】

【0002】

従来、アナログの一眼レフカメラには、光学ファインダ（以下、ＯＶＦ）が設けられている。ＯＶＦには、撮像レンズに入射した光がレフレックスミラーとペンタプリズムによって光路が屈折されて到達するため、ユーザは、あたかもカメラファインダで実風景を切り取って覗いているかのような没入感で被写体像を確認することができる。

【0003】

一方、デジタルカメラ等の撮像装置では、ＣＣＤやＣＭＯＳ素子等の撮像素子が所定の間隔で撮像した撮像画像を液晶モニタ等の表示装置に順次表示（ライブビュー表示）させることで、電子ビューファインダ（以下、ＥＶＦ）の機能を提供している。ＥＶＦとしては種々の画像処理を適用した画像を提示することができるため、例えば露出、シャッタスピード、ホワイトバランス等の撮像設定の効果を、ユーザは撮影前にＥＶＦで確認することができる。

【0004】

特許文献１には、ＥＶＦで提示される画像の視認性を高めるべく、階調補正を行って白飛びや黒潰れを低減させた、高階調の撮像画像を提示する画像表示装置が記載されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１０－２４５９２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、どのような画像が記録されるかをユーザに容易に把握させるため、一般的にＥＶＦで提示されるライブビュー画像は、撮影によって記録される画像をシミュレートした構成となる。ここで、人間がイメージとして記憶する記憶色（または印象色）は実際の色より鮮やかである場合が多いことから、撮像装置によって記録される画像は、鮮やかで、かつ、高コントラストとなるような画像処理が適用されたものとなる。

【0007】

しかしながら、このような画像に現れる色や輝度の表現は、人間が肉眼で見ている実風景に現れるものとは乖離するため、例えばＯＶＦのような、あたかもカメラファインダで実風景を切り取って覗いているかのような没入感をユーザは得にくい。

【課題を解決するための手段】

【0008】

本発明の画像処理装置は、シーンを撮像して得られた撮像画像に基づいて、表示手段に表示される表示用画像を生成する画像処理装置であって、撮像画像を取得する第１の取得手段と、第１の取得手段により取得された撮像画像に係る露出設定を取得する第２の取得手段と、シーンの輝度を取得する第３の取得手段と、表示手段についての表示輝度設定及び表示特性を取得する第４の取得手段と、表示用画像を生成するモードを設定する設定手段と、設定手段により設定されているモードに応じて、第１の取得手段により取得された撮像画像を輝度変換して表示用画像を生成する生成手段と、を有し、生成手段は、第４の取得手段により取得された表示輝度設定及び表示特性に応じて、撮像画像の輝度変換に用いる変換特性を異ならせるものであり、設定手段により第１のモードが設定されている場合に、シーンの輝度に対して一意に定まる変換後の出力輝度を一意に定める第１の変換特性であって、露出設定に応じて出力輝度が変化しない第１の変換特性を用いて撮像画像の輝度変換を行い、設定手段により第２のモードが設定されている場合に、露出設定に応じて出力輝度が変化する第２の変換特性を用いて撮像画像の輝度変換を行い、第１の変換特性は、表示用画像が表示手段に表示された際に、シーンの輝度に対して一意に定まる出力輝度を示すように構成されることを特徴とする。

【発明の効果】

【0009】

このような構成により本発明によれば、撮影に係り光学ファインダを使用した場合と同様の没入感を与えることが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係るデジタルカメラ１００の外観を例示した図

【図2】本発明の実施形態に係るデジタルカメラ１００の機能構成を例示したブロック図

【図3】本発明の実施形態に係る画像処理部２４の機能構成を例示したブロック図

【図4】本発明の実施形態に係るデジタルカメラ１００において表示されるメニュー画面を例示した図

【図5】本発明の実施形態に係るライブビュー表示の、モードごとの階調変換特性を例示した図

【図6】本発明の実施形態に係るデジタルカメラ１００で実行される、ライブビュー処理を例示したフローチャート

【図7】本発明の実施形態に係る表示部２８の表示を例示したタイミングチャート

【発明を実施するための形態】

【0011】

［実施形態］
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

以下に説明する一実施形態は、画像処理装置の一例としての、電子ビューファインダ機能を備えるデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮像により得られた撮像画像に対して所定の輝度変換を適用することで、表示用の画像を生成することが可能な任意の機器に適用可能である。

【0013】

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の外観を例示した図である。図１（ａ）はデジタルカメラ１００の前面斜視図、図１（ｂ）はデジタルカメラ１００の背面斜視図を示している。

【0014】

表示部２８は、画像や各種情報を表示する、デジタルカメラ１００背面に設けられた表示装置である。タッチパネル７０ａは、表示部２８の表示面（操作面）に対するタッチ操作を検出する。設定表示部４３は、カメラ上面に設けられた表示部であり、シャッタ速度や絞りをはじめとするデジタルカメラ１００の様々な設定値が表示される。

【0015】

シャッタボタン６１は、撮影指示を行うための操作部材である。モード切替スイッチ６０は、各種モードを切り替えるための操作部材である。端子カバー４０は、外部機器との接続ケーブルとデジタルカメラ１００とを接続するコネクタ（不図示）を保護するカバーである。電源スイッチ７２は、デジタルカメラ１００の電源のＯＮ及びＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は、回転可能に構成された操作部材であり、回転操作がなされることで選択枠の移動や画像送り指示を受け付ける。十字キー（４方向キー）７４は、上、下、左、右に分離して押し込み操作入力を受け付け可能に構成された操作部材である。ＳＥＴボタン７５は、押し込み操作入力を受付可能に構成された操作部材であり、選択項目の決定指示等を受け付ける。動画ボタン７６は、押し込み操作入力を受付可能に構成された操作部材であり、動画撮影（記録）の開始や停止の指示を受け付ける。ＡＥロックボタン７７は、押し込み操作入力を受付可能に構成された操作部材であり、デジタルカメラ１００が撮影待機状態にある場合に押下されることで、露出状態の固定指示を受け付ける。拡大ボタン７８は、押し込み操作入力を受付可能に構成された操作部材であり、撮影モードのライブビュー表示について、拡大表示のＯＮ、ＯＦＦ切り替え指示を受け付ける。

【0016】

メイン電子ダイヤル７１は、回転可能に構成された操作部材であり、回転操作がなされることでシャッタ速度や絞り等の設定値の変更指示を受け付ける。ライブビュー表示において拡大表示がＯＮにある場合には、メイン電子ダイヤル７１に対する回転操作は、ライブビュー画像の拡大、縮小指示として受け付けられる。また再生モードでは、メイン電子ダイヤル７１に対する回転操作は、再生画像の拡大指示、及び拡大率の増加指示として受け付ける。再生ボタン７９は、押し込み操作入力を受付可能に構成された操作部材であり、撮影モードと再生モードの切り替え指示を受け付ける。撮影モードにある場合に再生ボタン７９に対する操作入力がなされたことに応じて、デジタルカメラ１００は再生モードに移行し、例えば記録媒体２００に記録された画像のうちの最新の画像が表示部２８に表示される。メニューボタン８１は、押し込み操作入力を受付可能に構成された操作部材であり、各種の設定可能なメニュー画面の表示部２８への表示指示を受け付ける。該メニュー画面が表示されている場合、十字キー７４やＳＥＴボタン７５に対する操作入力に基づいて各種設定の変更指示が受け付けられる。

【0017】

通信端子１０は、後述のレンズユニット１５０と通信を行うための電気接点である。レンズユニット１５０は、デジタルカメラ１００に対して着脱可能に構成されており、図１では装着されていない。接眼部１６は、接眼ファインダ（覗き込み型のファインダ）に係る窓であり、ユーザは、接眼部１６を介することで内部のＥＶＦ２９（Electric View Finder）に表示された画像を鑑賞することができる。接眼検知部５７は、接眼部１６に接眼しているか否かを検知するセンサである。蓋２０２は、記録媒体２００を格納したスロットの蓋である。グリップ部９０は、デジタルカメラ１００を把持しやすくするための構造である。デジタルカメラ１００は、ユーザがグリップ部９０に右手の小指、薬指、中指を添えてデジタルカメラ１００を把持した状態で、右手の人差指で操作可能な位置にシャッタボタン６１、メイン電子ダイヤル７１が配置されるよう、形状が構成されている。また、右手の親指で操作可能な位置には、サブ電子ダイヤル７３が配置されるよう構成されている。

【0018】

〈デジタルカメラ１００の機能構成〉
続いて、デジタルカメラ１００の機能構成について、図２のブロック図を用いて説明する。図２では、レンズユニット１５０がデジタルカメラ１００に装着されている。

【0019】

レンズユニット１５０は、撮影レンズ群を搭載したユニットであり、デジタルカメラ１００に着脱可能に構成される。レンズ１０３は通常、複数枚のレンズから構成されるが、図２では簡略して１枚のレンズのみを示している。通信端子６は、レンズユニット１５０がデジタルカメラ１００と通信を行うための電気接点である。レンズユニット１５０が有するレンズ制御回路４は、該通信端子６とデジタルカメラ１００の通信端子１０とが物理的に接した場合に、後述のシステム制御部５０と通信可能となる。レンズ制御回路４は、レンズユニット１５０が有する各ブロックの動作を制御する。より詳しくは、レンズ制御回路４は、デジタルカメラ１００からの制御信号に基づき、絞り駆動回路２を介して絞り１の開閉制御を行い、ＡＦ駆動回路３を介して焦点状態変更に係るレンズ１０３の変位制御を行う。

【0020】

一方、デジタルカメラ１００が有する各ブロックの動作は、システム制御部５０により制御される。システム制御部５０は、少なくとも１つのプロセッサまたは回路からなる制御ユニットである。システム制御部５０は、デジタルカメラ１００が有する各ブロックの動作プログラムを不揮発性メモリ５６から読み出し、システムメモリ５２に展開して実行することでデジタルカメラ１００の動作制御を行う。

【0021】

不揮発性メモリ５６は、例えばＦｌａｓｈ－ＲＯＭ等の電気的に消去・記録可能に構成された記録装置である。不揮発性メモリ５６は、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要な定数を記録する。一方、システムメモリ５２は、例えばＲＡＭ等の記録装置であり、各ブロックの動作プログラムの展開領域として用いられる。

【0022】

シャッタ１０１は、フォーカルプレーンシャッタであり、システム制御部５０により設定された露光時間に応じて、その開閉時間が制御される。撮像部２２は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、レンズユニット１５０により撮像面に結像された光学像を電気信号に変換することで、アナログ画像信号を出力する。Ａ／Ｄ変換器２３は、撮像部２２により出力されたアナログ画像信号をデジタル画像信号（画像データ）に変換する。本実施形態では、撮像部２２は、一般的な原色カラーフィルタを備える単板カラー撮像素子であるものとして説明する。ここで原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタが、モザイク状に配置されて構成される。該原色カラーフィルタを適用することで、単板カラー撮像素子の各画素はＲ（赤）、Ｇ（緑）、またはＢ（青）のバンドのいずれかに対応する色プレーンを撮像する。換言すれば、単板カラー撮像素子を構成する光電変換素子は、各々単一の色プレーンに係る光強度を得ることしかできない。

【0023】

画像処理部２４は、Ａ／Ｄ変換器２３によって出力された画像データ、または、後述のメモリ制御部１５により読み出された画像データに対して、画素補間、リサイズ、色変換等の各種画像処理を行う。詳細は後述する。また画像処理部２４は、撮像により得られた画像データに対して演算処理を行うことで、露光制御、測距制御に必要となる情報を導出する。本実施形態のデジタルカメラ１００では、該情報に基づいて、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。また画像処理部２４は、撮像により得られた画像データに対して演算を行うことで、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

【0024】

メモリ制御部１５は、例えば揮発性の記録装置であってよいメモリ３２について、データの書き込み及び読み出しを制御する。メモリ３２は、デジタルカメラ１００の各ブロックの動作によって出力された中間データを格納する記憶領域として用いられる。例えば、撮像に応じてＡ／Ｄ変換器２３から出力された画像データは、メモリ制御部１５によってメモリ３２に格納される。よって、メモリ３２は、所定枚数の静止画像や所定時間の動画像及び音声のデータを格納するのに十分な記憶容量を備えている。またメモリ３２は、画像処理部２４における各種の画像処理の作業領域としても用いられる。

【0025】

またメモリ３２は、画像表示用のビデオメモリの機能も兼ねる。本実施形態のデジタルカメラ１００では、表示装置として表示部２８及びＥＶＦ２９が設けられており、これらに表示する画像データ（表示用画像）がメモリ３２に構成される。より詳しくは、例えばデジタルカメラ１００が撮影モードに設定されている場合には、画像処理部２４により生成された表示用の画像データ（表示用画像）がメモリ３２に構成される。そして構成された表示用画像は、Ｄ／Ａ変換器１９によりアナログ画像信号に変換され、表示部２８またはＥＶＦ２９に出力する。表示部２８及びＥＶＦ２９は、例えばＬＣＤや有機ＥＬ等であってよく、入力された画像信号に応じた表示を実現する。ここで、撮影モードにおいては、撮像により得られた画像データを、画像処理部２４による所定の変換処理を適用して表示部２８またはＥＶＦ２９に順次伝送することで、デジタルカメラ１００におけるライブビュー表示を実現することができる。以下、ライブビューで表示部２８またはＥＶＦ２９に表示される画像を、ライブビュー画像として言及する。

【0026】

設定表示部４３は、例えばシャッタ速度や絞り等の、デジタルカメラ１００の露出設定に係る種々の設定値を表示する。設定表示部４３の表示は、システム制御部５０の制御の下、設定表示駆動回路４４によって制御される。システムタイマ５３は、デジタルカメラ１００における各ブロックの動作制御に用いる、時刻や内蔵時計の時間を計測・管理する計時機能を実現する。

【0027】

操作部７０は、本実施形態のデジタルカメラ１００が備える、各種操作入力を受け付けるユーザインタフェースである。操作部７０は、各ユーザインタフェースに対する操作入力がなされたことを検出すると、対応する制御信号をシステム制御部５０に出力する。図２の例では、操作部７０は、モード切替スイッチ６０、シャッタボタン６１、電源スイッチ７２が含まれるものとして示されている。しかしながら、操作部７０は、上述したメイン電子ダイヤル７１、サブ電子ダイヤル７３、十字キー７４、ＳＥＴボタン７５、動画ボタン７６、ＡＥロックボタン７７、拡大ボタン７８、再生ボタン７９、メニューボタン８１を含むものであってよい。

【0028】

モード切替スイッチ６０は、デジタルカメラ１００の動作モードの切り替え指示に係る操作入力を受け付ける操作部材である。本実施形態のデジタルカメラ１００は、動作モードとして、少なくとも静止画撮影モード、動画撮影モード、再生モードを含み、モード切替スイッチ６０によって、いずれかのモードが指定される。また静止画撮影モードには、さらにオート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッタ速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）が含まれていてよい。この他、撮影シーン別の撮影設定となる各種シーンモードやカスタムモード等が含まれるものであってもよい。本実施形態ではデジタルカメラ１００の動作モードは、モード切替スイッチ６０によって直接切り替え可能であるものとして説明するが、他の操作部材を用いても切り替え可能に構成されるものであってもよい。同様に、動画撮影モードにも複数のモードが含まれてもよい。

【0029】

シャッタボタン６１は、第１シャッタスイッチ６２及び第２シャッタスイッチ６４を含んで構成される。シャッタボタン６１は、２段階の押下操作入力が可能に構成されており、半押し状態で第１シャッタスイッチ６２がＯＮ（撮影準備指示）となり、全押し状態で第２シャッタスイッチ６４がＯＮ（撮影指示）となる。第１シャッタスイッチ６２がＯＮになされたことを検出すると、操作部７０は、対応する制御信号（第１シャッタスイッチ信号ＳＷ１）をシステム制御部５０に出力する。システム制御部５０は、該ＳＷ１に基づき、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始するよう、各ブロックの動作を制御する。一方、第２シャッタスイッチ６４がＯＮになされたことを検出すると、操作部７０は、対応する制御信号（第２シャッタスイッチ信号ＳＷ２）をシステム制御部５０に出力する。システム制御部５０は、該ＳＷ２に基づいて、一連の撮影処理（撮像部２２による信号読み出し、画像データへの変換、記録用の画像処理、画像ファイルとしての格納）に係る動作を開始するよう、各ブロックの動作を制御する。

【0030】

また操作部７０は、表示部２８と一体に構成されたタッチパネル７０ａについても、なされたタッチ操作を検出する。操作部７０は、タッチ操作がなされると、該タッチ操作がなされた座標の情報を出力する。ここで、タッチパネル７０ａは、例えば表示部２８の表示を妨げない透過率の素材で構成され、表示部２８の表示面の上層に取り付けられるものであってよい。また、タッチ操作を検出する座標は、表示部２８の表示領域における座標と対応付けられて管理されるものであってよく、この場合、表示用画像に配置したいずれのオブジェクトに対してのタッチ操作であるかを容易に把握することができる。

【0031】

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部に供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等の、電源の供給源である。

【0032】

記録媒体２００は、例えばメモリカード（半導体メモリ）やハードディスク（磁気ディスク）等の、撮影により得られた画像データを記録するための記録装置である。記録媒体Ｉ／Ｆ１８は、記録媒体２００とデジタルカメラ１００とのデータのやり取りを可能ならしめるインタフェースであり、記録媒体２００へのデータの書き込み、及び記録媒体２００からのデータの読み出しを制御する。

【0033】

通信部５４は、デジタルカメラ１００が備える、該部機器との通信インタフェースである。通信部５４は、無線または有線で外部機器に接続し、映像信号や音声信号の送受信を行う。通信部５４は、無線ＬＡＮ（Local Area Network）、インターネットを介して間接的に外部機器と接続するものであってもよい。あるいは、通信部５４は、Bluetooth（登録商標）やBluetooth Low Energy等、直接的に外部機器と接続するものであってもよい。本実施形態のデジタルカメラ１００では、撮像部２２により撮像された画像（ライブビュー画像を含む）や、記録媒体２００に記録された画像が、通信部５４を介して外部機器に送信可能に構成される。

【0034】

姿勢検知部５５は、例えば加速度センサやジャイロセンサを含み、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５により検知された姿勢の情報は、撮影に係り記録された画像データに関連付けられて記録され、該画像データが、デジタルカメラ１００が横位置と縦位置のいずれの状態のときに撮影されたものであるかの判別に用いられる。あるいは、姿勢の情報を画像データに関連付けるのではなく、画像データを姿勢に基づいて回転させた状態として記録するものとしてもよい。この他、姿勢検知部５５は、例えばパン、チルト、持ち上げ、静止しているか否か等、デジタルカメラ１００の動きを検知するものであってもよい。

【0035】

接眼検知部５７は、ファインダの接眼部１６に対する目（物体）１６１の接近（接眼）及び遠離（離眼）を検知する（接近検知）センサである。本実施形態のデジタルカメラ１００では、システム制御部５０は、接眼検知部５７で検知された状態に応じて、表示部２８とＥＶＦ２９の状態を表示と非表示のいずれとするかを切り替える。より詳しくは、システム制御部５０は、少なくとも撮影待機状態で、かつ、表示先の切替が自動切替である場合において、非接眼中は表示先を表示部２８として表示をＯＮとし、ＥＶＦ２９は非表示とする。またシステム制御部５０は、接眼中は表示先をＥＶＦ２９として表示をＯＮとし、表示部２８は非表示とする。接眼検知部５７は、例えば赤外線近接センサを用いることができ、ＥＶＦ２９を内蔵するファインダの接眼部１６への何らかの物体の接近を検知する。物体が接近した場合は、接眼検知部５７の投光部（不図示）から投光した赤外線が反射して赤外線近接センサの受光部（不図示）に受光され、検知される。また接眼検知部５７は、受光された赤外線の量によって、物体が接眼部１６からどの程度の距離まで近づいているか（接眼距離）も判別することが可能であってよい。このように、接眼検知部５７は、接眼部１６への物体の近接距離を検知する接眼検知を行い、ＥＶＦ２９が鑑賞されていることの検知を行う。接眼検知部５７は、非接眼状態（非接近状態）から、接眼部１６に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとし、接眼状態から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼検知部５７は、接眼を検出した場合、離眼を検出するまでは接眼状態であるとして認識するものとする。そして接眼検知部５７は、離眼を検出した場合、次に接眼を検出するまでは非接眼状態であるとして認識するものとする。なお、赤外線近接センサは一例であって、接眼検知部５７には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサを採用してもよい。

【0036】

《現像処理》
以下、本実施形態のデジタルカメラ１００において、画像処理部２４により行われる現像処理について、図３を用いて説明する。図３では、現像処理の過程で画像処理部２４が実行する処理を、それぞれ異なるブロックとして分離して例示している。

【0037】

上述したように、撮像部２２には３種類の色フィルタがモザイク状に配置された原色カラーフィルタが適用されている。このため、撮像部２２による撮像に基づいてＡ／Ｄ変換器２３が変換して出力する画像データ（ＲＡＷ画像３０１）は、色モザイク画像である。画像処理部２４は、該ＲＡＷ画像３０１をメモリ３２から読み出して本現像処理を適用し、現像画像３０８を生成する。

【0038】

ホワイトバランス部３０２は、ＲＡＷ画像３０１に対して、本来白である被写体の像を白色にせしめるように色変換するホワイトバランス処理を行う。より詳しくはホワイトバランス部３０２は、ＲＡＷ画像３０１を構成する各画素のＲＧＢデータを、例えばｘｙ色空間等の所定の色空間にプロットする。そしてホワイトバランス部３０２は、該色空間上で光源色の可能性が高い黒体輻射の軌跡付近にプロットされたデータのＲ、Ｇ、Ｂを積分し、その積分値からＲ及びＢ成分のホワイトバランス係数（Ｇ／Ｒ及びＧ／Ｂ）を導出する。ホワイトバランス部３０２は、得られたホワイトバランス係数を用いてホワイトバランス処理を行う。

【0039】

色補間部３０３は、ホワイトバランス部３０２により変換された画像データに対して、ノイズリダクション処理、及び各画素に含まれない色成分の画素値を補間する処理を行う。当該処理により、全ての画素についてＲ、Ｇ及びＢの色情報（色成分の画素値）が揃った同時化画像が生成される。

【0040】

色補間部３０３により生成された同時化画像は、マトリクス変換部３０４によるマトリクス変換処理、及びガンマ変換部３０５によるガンマ変換処理が行われることで、処理の基本となるカラー画像に変換される。さらに、該カラー画像に対して、色輝度調整部３０６が色及び輝度を調整する調整処理を適用することで、現像画像とする内容のカラー画像が生成される。色輝度調整部３０６による調整は、例えば夕景であることを検出して彩度強調を行う等、撮像されたシーンに応じた補正を含む。

【0041】

そして、色輝度調整処理により生成されたカラー画像に対して圧縮部３０７が圧縮処理を行うことで現像処理は完了し、現像画像３０８が生成される。撮影が行われた場合には、生成された現像画像３０８は、メモリ３２に書き込まれた後に記録媒体２００に記録され、表示部２８またはＥＶＦ２９に表示される。

【0042】

ところで、上述したように本実施形態のデジタルカメラ１００では、撮影モードで動作している期間、表示部２８またはＥＶＦ２９にライブビュー画像の表示がなされるが、該ライブビュー画像の表現は切り替え可能に構成される。具体的には、ライブビュー表示について、「ＯＶＦ風」表示モードと「記録画質」表示モードの２種類の表示モードが設けられ、表示モードがいずれであるかに応じてライブビュー画像における表現が異なる。これらの表示モードは、撮影モードや再生モードのようなデジタルカメラ１００の動作モードとは異なる、ライブビュー表示で表示されるライブビュー画像をいずれとするかを設定するモードである。

【0043】

本実施形態の画像処理部２４では、変換設定選択部３１１が、表示モードの設定（モード設定３０９）に応じた変換データ３１０をガンマ変換部３０５及び色輝度調整部３０６に供給することで、現像画像として生成されるライブビュー画像の表現が変更される。即ち、２つの表示モードで表示されるライブビュー画像は、現像処理の過程において、ガンマ変換処理と色輝度調整処理の内容が異なって生成される。なお、変換データ３１０は、例えばシステムメモリ５２に記録されており、現像処理にあたりシステム制御部５０が画像処理部２４に供給するものであってよい。

【0044】

表示モードの変更は、例えばメニューボタン８１への操作入力に応じて表示される、図４（ａ）に示すようなメニュー画面において表示モードの項目を選択し、図４（ｂ）の画面に遷移させることで切り替え可能に構成されればよい。図４（ｂ）の画面では、表示モードをＯＶＦ風表示モードと記録画質表示モードのいずれとするかの選択に係る操作入力を受付可能に構成されている。

【0045】

ここで、ＯＶＦ風表示モードは、ＯＶＦで被写体を確認した場合と同様の没入感を与えるべく、実際の被写体の色味を再現したライブビュー画像を、表示部２８またはＥＶＦ２９に表示するモードである。即ち、ＯＶＦ風表示モードにてライブビュー画像として表示される画像は、撮影を行って記録される、例えば鮮やかで高コントラストの画像とは異なり、撮影者が眼球を介して捉えている、現実の被写体の色味や輝度が再現された内容となる。つまり、ＯＶＦ風表示モードである場合、規格に規定されているような変換特性ではなく、撮影シーンの実風景に応じた、該シーンの再現性が高い変換特性が、変換データ３１０として画像処理部２４に供給される。

【0046】

一方、記録画質表示モードは、撮影が行われた際に画像ファイルとして記録媒体２００に記録される画像データと同様の表現のライブビュー画像を、表示部２８またはＥＶＦ２９に表示するモードである。本実施形態のデジタルカメラ１００では、図４（ａ）のメニュー画面において記録画質の項目を選択することで、図４（ｃ）の画面に遷移させることで、撮影を行った際に記録される画像データにおける階調表現の変更を受け付けることができる。記録画質には、例えば、ＳＤＲ（スタンダードダイナミックレンジ）とＨＤＲ（ハイダイナミックレンジ）の２種類の設けられているものとする。従って、記録画質表示モードで、かつ、記録画質がＳＤＲである場合には、国際電気通信連合無線通信部門（ＩＴＵ－Ｒ）が勧告するＢＴ．６０１に規定された階調特性及び階調分解能の情報が変換データ３１０として画像処理部２４に供給される。また記録画質表示モードで、かつ、記録画質がＨＤＲである場合には、ＩＴＵ－Ｒ勧告ＢＴ．２１００に規定された階調特性及び階調分解能の情報が変換データ３１０として画像処理部２４に供給される。いずれにしても、記録画質表示モードである場合には、表示部２８、ＥＶＦ２９に表示されるライブビュー画像は、本撮影が行われた際に記録媒体２００に記録される画像データと同じ現像処理を施したものとなる。

【0047】

〈モードごとの階調変換特性〉
ここで、現像処理における、表示モードに応じたライブビュー画像生成時に行われる階調変換について、図５の例を参照して詳細を説明する。図５は、レンズユニット１５０を介して入射した光が、表示部２８やＥＶＦ２９の表示装置上の光として表示されるまでのシステム全体を通した変換特性であるＯＯＴＦ（Opto-Optical Transfer Function）を例示している。

【0048】

記録画質表示モードにおけるＯＯＴＦは、例えば図５（ａ）のようになる。図５（ａ）の例では、行われる階調変換を把握しやすいよう、入力ダイナミックレンジの最大値を１として入射輝度を正規化した値（入力相対輝度）Ｘを横軸とし、表示装置の最大表示輝度を１として表示輝度を正規化した値（表示相対輝度）Ｙを縦軸としている。ここで、「相対」との表現を用いているのは、撮像時の入力ダイナミックレンジが、絞り設定値、露光時間、ＩＳＯ感度値等の露出設定に応じて変化し得るものであることによる。

【0049】

図示されるように、記録画質表示モードにおけるＯＯＴＦ５０１は、破線で示した線形変換特性５０２（Ｙ＝Ｘ）に比べ、低輝度領域では表示輝度を低い値に抑え、高輝度領域では表示輝度を高い値に引き上げている。結果として、このような非線形のＯＯＴＦ５０１によれば、黒が締まり、コントラストが高い現像画像（ライブビュー画像）が出力される。また前述したように、撮影して記録される画像データにおける表現については、記憶色が重視されるため、例えば夕景では彩度を強調するといった、シーン検出結果に応じた画像補正が、色輝度調整部３０６により行われる。

【0050】

一方、ＯＶＦ風表示モードにおけるＯＯＴＦは、例えば図５（ｂ）のようになる。ＯＶＦ風表示モードでは、撮影者が眼球を介して捉えているシーンの輝度をライブビュー表示においても再現するものであるため、図５（ｂ）では、入力ダイナミックレンジ基準ではなく、横軸と縦軸をいずれも輝度［ｃｄ／ｍ²］に揃えている。即ち、撮像部２２によって出力されるアナログ画像信号に現れる信号強度は、撮像時の露出設定に応じた入力ダイナミックレンジにマッピングされた被写体の相対的な輝度を示すものであるため、実際の被写体の（絶対的な）輝度とは異なり得る。また露出設定に限られるものではなく、アナログ画像信号に現れる信号強度は、用いられるレンズユニット１５０の特性によっても変化し得るものである。

【0051】

図５（ｂ）に示すように、ＯＶＦ風表示モードにおけるＯＯＴＦは、露出設定によらない、そもそもの被写体の（見た目の）輝度（以下、シーン輝度として言及）に、表示輝度が一意に対応付けられる。つまり、ＯＶＦ風表示モードでは、撮影者が露出設定を変更しても、実際の被写体の明るさが同じである限り、表示されるライブビューの明るさは変化しない。また、さらに図５（ｂ）の例では、シーン輝度と表示輝度はリニアな関係を有する。このようにすることで、より撮影者の見た目に近い階調を表現することが可能となる。また、図５（ｂ）のような入出力特性であれば、シーン輝度が表示装置にそのまま、あるいは、ほぼ一致する表示輝度として現れことになる。図５（ｂ）の例では、表示可能な輝度範囲が（０～１０００［ｃｄ／ｍ²］である表示装置が採用される場合のＯＯＴＦ５１１を例示している。図示されるように、ＯＯＴＦ５１１は、表示装置で表示可能な１０００［ｃｄ／ｍ²］までのシーン輝度については、そのままの表示輝度で表示されるように線形的な変換特性を示す。一方で、１０００［ｃｄ／ｍ²］を超えるシーン輝度については、最大表示輝度で飽和する特性を示す。また現実のシーンを再現したライブビュー画像を表示すべく、モード設定３０９に供給される変換データ３１０は、実風景の色再現性を重視し、彩度強調等の画像補正を行わない構成とされる。

【0052】

本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。また本明細書で説明する各種の処理は、１つのハードウェアが実行するものであってもよいし、複数のハードウェアに分担、あるいは、ハードウェアとソフトウェアの双方で実現されるものであってもよい。

【0053】

《ライブビュー処理》
次に、このような構成をもつ本実施形態のデジタルカメラ１００において実行されるライブビュー処理について、図６のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部５０が、例えばシステムメモリ５２に記憶されている対応する処理プログラムを読み出し、不揮発性メモリ５６に展開して実行することにより実現することができる。本ライブビュー処理は、例えばデジタルカメラ１００が起動され、動作モードが撮影モードに設定された際に開始され、撮影モードでの動作が完了するまで繰り返し実行されるものとして説明する。

【0054】

Ｓ６０１で、システム制御部５０は、ライブビュー表示に係る表示モードがＯＶＦ風表示モードに設定されているか否かを判断する。本ステップの判断は、例えば不揮発性メモリ５６に格納されている表示モードの情報を参照することで行われるものであってよい。システム制御部５０は、ライブビュー表示に係る表示モードがＯＶＦ風表示モードであると判断した場合は処理をＳ６０２に移し、ＯＶＦ風表示モードではない、即ち、記録画質表示モードであると判断した場合は処理をＳ６０７に移す。

【0055】

Ｓ６０２で、システム制御部５０は、絞り１を開放状態とするようレンズユニット１５０を制御する。該制御は、システム制御部５０が絞り開放状態にさせる制御命令をレンズ制御回路４に伝送し、該情報の受信に応じてレンズ制御回路４が絞り駆動回路２に駆動命令を行うことで実現される。またシステム制御部５０は、絞り１が開放状態とされたことに伴い、レンズ制御回路４から絞り１の開放絞り値（Ａｏ）の情報を受信する。本実施形態のデジタルカメラ１００では、人間の視覚の分解能に近づけたライブビュー画像を表示させるべく、ＯＶＦ風表示モードでは絞りを開放状態とすることで、撮像部２２の低輝度部の入力ダイナミックレンジを十分に確保している。

【0056】

Ｓ６０３で、システム制御部５０は、絞り開放状態での撮像により得られた画像データ（色補間部３０３により生成された同時化画像）に基づいて、画素ごとの単位時間当たりの輝度情報Ｌを導出する。単位時間当たりの輝度情報Ｌは、例えば
Ｌ＝（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）／Ｔ
で導出されるものであってよい。ここで、Ｒ、Ｇ及びＢは、該画素が有する各色成分の画素値であり、Ｔは画像データの取得に用いられた露光時間、ａ、ｂ及びｃは、各画素の輝度変換係数である。

【0057】

Ｓ６０４で、システム制御部５０は、Ｓ６０３において導出した輝度情報Ｌに基づいて、画像データの各画素についてシーン輝度に係るシーン輝度値ＳＬを導出する。シーン輝度値ＳＬは、例えば
ＳＬ＝Ｋ・Ａｏ²・Ｌ
のように、レンズユニット１５０の開放絞り値Ａｏを加味した上で導出されるものであってよい。ここで、Ｋは校正係数であり、例えば予備的な実測に基づいて、絞り値ごとに導出される値であってよい。

【0058】

本実施形態のデジタルカメラ１００のように、撮像光学系として交換式のレンズユニット１５０を採用する態様では、装着するレンズユニット１５０ごとに開放絞り値Ａｏが異なり、撮像時のレンズユニット１５０による減光量が変化し得る。このため、開放絞り値Ａｏに応じた値を輝度情報Ｌに乗じることで、レンズユニット１５０に起因する減光分を補正したシーン輝度を導出する。

【0059】

Ｓ６０５で、システム制御部５０は、導出したシーン輝度値ＳＬとＯＶＦ風表示モード用の変換データ３１０とを画像処理部２４に供給し、ライブビュー画像（表示用画像）を生成させる。より詳しくは画像処理部２４において、ガンマ変換部３０５が図５（ｂ）に示したような変換特性で同時化画像の輝度変換を行う。また色輝度調整部３０６が、輝度変換後の画像に対して色や輝度の再現性を損なわない色輝度調整処理を適用し、得られた画像を圧縮部３０７が圧縮することで、ライブビュー画像が生成される。

【0060】

なお、本ステップで画像処理部２４に提供される変換データ３１０は、ライブビュー画像の表示に用いられる表示部２８またはＥＶＦ２９の明るさ（表示輝度）設定や表示特性の情報を含むものであってよい。即ち、ＯＶＦ風表示モードにおいては、ユーザによりなされた表示部２８の表示輝度設定に依らず、実風景と同様の色輝度の表示となるよう、明るさ設定及び表示特性を加味してライブビュー画像の生成が行われるものとする。つまり、ＯＶＦ風表示モードに係り生成されるライブビュー画像は、露出設定だけでなく、表示特性や表示設定に依らずに、表示部２８またはＥＶＦ２９に表示された際に実風景と同様の色輝度を示すように構成される。

【0061】

Ｓ６０６で、システム制御部５０は、画像処理部２４により生成されたライブビュー画像を、ライブビュー表示を行う表示装置（表示部２８またはＥＶＦ２９）に表示させるよう制御する。

【0062】

一方、Ｓ６０１において記録画質表示モードであると判断した場合、システム制御部５０はＳ６０７で、ＡＥによる自動絞り演算結果の絞り設定値、またはマニュアル操作で設定された絞り設定値の状態とするよう、レンズユニット１５０を制御する。即ち、記録画質表示モードにおいて行われる絞り開閉制御は、画像データの記録を予定している撮影時と同様のものとなり、該記録に係る露出及び被写界深度をシミュレート可能ならしめる撮像を実現する。

【0063】

Ｓ６０８で、システム制御部５０は、現在設定されている露出設定での撮像により得られた画像データと、露出設定の各種情報とに基づいて、被写体の露出（ＥＶ）値を導出する。ここで、露出設定とは、第２シャッタスイッチ６４に対する操作入力がなされたことを契機として、記録媒体２００に記録する画像データに係る撮影（本撮影）を行う際のデジタルカメラ１００及びレンズユニット１５０の設定を示す。従って、露出設定の各種情報は、絞り設定値、露光時間及びＩＳＯ感度値の情報を含むものとする。

【0064】

Ｓ６０９で、システム制御部５０は、導出した露出値と記録画質表示モード用の変換データ３１０とを画像処理部２４に供給し、ライブビュー画像（表示用画像）を生成させる。より詳しくは画像処理部２４において、ガンマ変換部３０５が図５（ａ）に示したような変換特性で同時化画像の輝度変換を行う。また色輝度調整部３０６が、輝度変換後の画像に対して記憶色に応じた色輝度調整処理を適用し、得られた画像を圧縮部３０７が圧縮することで、ライブビュー画像が生成される。記録画質表示モードについて生成されるライブビュー画像は、表示部２８について設定された、ユーザが所望する輝度設定にて表示されるものであってよく、その生成に係り表示輝度設定や表示特性を加味した補正を行う必要はない。なお、本ステップで画像処理部２４に提供される変換データ３１０は、ライブビュー画像の表示に用いられる表示部２８またはＥＶＦ２９の明るさ（表示輝度）設定や表示特性の情報を含むものであってよいし、含んでいなくともよい。

【0065】

このようにライブビュー処理が行われることで、撮影前の露出シミュレーションに適した、記録用の露出設定に応じたライブビュー画像の表示と、あたかも実風景を切り取って見ているかのような再現性の高いライブビュー画像の表示とを切り替えて提供できる。また、従来のＯＶＦを搭載した撮像装置では、装着するレンズユニット１５０の明るさに応じてファインダを通して見せるシーンの明るさは異なるものであったが、本手法のＯＶＦ風表示モードではこれに依存しないライブビュー画像の表示が可能となる。

【0066】

例えば、デジタルカメラ１００がＯＶＦ風表示モードに設定されている場合、画像データの記録を行う撮影の前後に係る表示部２８の表示処理の流れは、図７のタイミングチャートのようになる。図７の例では、ＯＶＦ風表示モードのライブビュー表示中７０１に撮影に係るシャッタボタン６１の操作入力がなされると、静止画撮影処理が実行されている期間７０２にライブビュー表示が一時中断し、撮像部２２による撮影用の画像取得の処理が行われる。ここで、撮影用の画像取得時には、これに先立って、撮影用の露出設定への変更制御（絞り値、露光時間及びＩＳＯ感度値の変更制御）が行われる。さらに撮像部２２は、撮影用の画像取得の処理が完了すると、再度ライブビュー表示用の画像の取得を行えるようになるため、表示部２８の表示は、期間７０２の後は再度ライブビュー表示７０３となる。

【0067】

一方、期間７０２で取得された画像について、画像処理部２４における記録用の各種画像処理及び記録媒体２００への記録が完了すると、クイックレビュー表示７０４として該画像が表示部２８に一定時間表示される。クイックレビュー表示７０４として表示される画像は、実際に記録された画像（記録用画像）であるため、ＯＶＦ風表示モードに設定されている場合であっても記録画質表示モードにおいて表示されるライブビュー画像と同様の表現となる。即ち、ライブビュー表示時には、実風景を切り取ったような、ＯＶＦの如きライブビュー画像を表示しつつ、撮影・記録が行われた際には、クイックレビュー表示７０４として露出設定の効果を確認できる画像が表示されるため、ＥＶＦの利点は損なわれない。

【0068】

以上説明したように、本実施形態の画像処理装置によれば、撮影に係りＯＶＦを使用した場合と同様の没入感の提示機能を担保しつつ、撮影によって記録される画像のシミュレーション機能を提供することができる。換言すれば、本発明に係る画像処理装置は、撮像によって得られた撮像画像を変換することで、ライブビュー画像（表示用画像）として以下の２種類を生成可能に構成される。１つの種類の表示用画像は、撮像画像に現れるシーンの輝度を、導出された該シーンの実際の輝度に応じて一意に定まる出力輝度に変換することで生成される画像である。一方、もう１つの種類の表示用画像は、撮像画像に現れるシーンの輝度を、設定された露出値に応じた出力輝度に変換することで生成される画像である。これらの２種類の表示用画像は、後者が、絞り状態、露出時間、ＩＳＯ感度等の露出設定に応じて出力輝度が変化するものであるのに対し、前者が、これら露出設定に依らず一定の出力輝度を示す点で異なる。また、両者は、表示装置において表示された場合に、後者が該表示装置の表示輝度設定や表示特性に応じて異なる態様を示すのに対し、前者が、これらに依らず一定の態様を示す点で異なる。

【0069】

なお、本実施形態ＯＶＦ風表示モードでは、表示部２８の表示輝度設定や表示特性に依らないライブビュー画像を出力すべく、画像処理部２４に提供するこれを無効化する変換データ３１０を供給するものとして説明したが、本発明の実施はこれに限られない。即ち、上述したように本発明は、ＯＶＦ風表示モードにおいて、導出されたシーンの実際の輝度に応じて一意に定まる出力輝度の表示用画像を生成するものであればよく、表示輝度設定を考慮した変換は他の構成により実現されるものであってもよい。

【0070】

また、本実施形態ではＯＶＦ風表示モードである場合に、絞り１を開放状態として得られた画像データに基づいてシーン輝度を導出するものとして説明したが、本発明の実施はこれに限られるものではない。即ち、ＯＶＦ風表示モードで表示されるライブビュー画像は、撮像により得られた画像データにおける輝度表現の分解能が高いほど、実風景をより細部まで再現した態様とすることができるが、ライブビュー画像は必ずしも精細である必要はない。従って、開放状態とは異なる絞り状態で撮像された画像データに基づいて、シーン輝度の導出、及びＯＶＦ風表示モードに係るライブビュー画像の生成が行われるものであってもよい。特に、撮像により得られた画像データにおいて高輝度成分が支配的となるシーンについては、逆に絞り１を閉側の状態とした方が好適な入力ダイナミックレンジを確保できるため、ＯＶＦ風表示モードの絞り状態が本発明を限定するものでないことは理解されよう。

【0071】

また、本実施形態ではレンズユニット１５０に応じた開放絞り値の差異を吸収した上でシーン導出を行うものとして説明したが、装着されるレンズユニット１５０によるシーン輝度演算への影響はこれに限られるものではない。例えば装着されるレンズユニット１５０よっては、撮像により得られる画像データにおいて、周辺光量落ちや色倍率収差も発生し得る。このため、ＯＶＦ風表示モードでのシーン輝度の導出は、これらに起因する輝度低下や画質低下を補正した上で行われるものであってもよい。ここで、周辺光量落ちとは、レンズ鏡筒などによって周辺光の一部がけられることにより生じ、画像中心の光量に比べて端部ほど光量が低下する現象である。従って、例えばレンズユニット１５０の絞り、焦点距離、撮影距離に応じた周辺光量落ちの補正データを予め不揮発性メモリ５６に格納しておき、該補正データを用いて画像データを補正することでシーン輝度の導出精度を向上させてもよい。また倍率色収差とは、レンズを通過した赤、緑、青の各光が、それらの波長ごとに光軸に対して直交する方向の異なる位置に集光されることにより、像の周辺の色が滲む現象である。このため、例えば同様に予め不揮発性メモリ５６にレンズユニット１５０の収差情報を格納しておき、該収差情報に基づいて被写体の輝度データ及び色差データを補正することでシーン輝度の導出精度を向上させてもよい。

【0072】

また本実施形態では、生成されたライブビュー画像が表示部２８及びＥＶＦ２９のいずれに表示されてもよく、接眼検知の結果に応じてこれが切り替えられる態様について説明したが、本発明の実施はこれに限られるものではない。例えば、ユーザが接眼部１６に接眼している状態で確認するＥＶＦ２９に、白輝度飽和（白飛び）領域があるライブビュー画像を表示することはユーザの目を眩ませ得るため、ＥＶＦ２９を表示に用いる場合にはＯＶＦ風表示モードが設定される構成としてもよい。この場合、表示部２８を表示に用いる場合には記録画質表示モードが設定される構成とすることで、例えばファインダから離眼して表示部２８を見る際には、記録画質を容易に確認可能な構成としてもよい。換言すれば、記録画質表示モードで生成されたライブビュー画像をＥＶＦ２９に表示させない表示制御が行われる（接眼が検知されている場合には強制的にＯＶＦ風表示モードとする）ことで、ユーザの目への配慮が実現される態様であってもよい。

【0073】

また本実施形態では、画像処理部２４が有するガンマ変換部３０５と色輝度調整部３０６の動作を設定されているモードに応じて切り替える態様について説明したが、本発明の実施はこれに限られるものではない。例えば、ＯＶＦ風表示モードと記録画質表示モードのそれぞれについて、専用の変換を行うハードウェアが設けられ、設定されているモードに応じていずれのハードウェアを使用するかが切り替えられる構成としてもよい。これにより、両モードの切り替えに係る処理に要する時間を短縮できる。

【0074】

また本実施形態では、シーン輝度の導出を、撮像により得られた画像データに基づいて行う態様について説明したが、本発明の実施はこれに限られるものではない。即ち、シーンの実際の輝度は、撮像画像の解析に基づいて行われるものである必要はなく、デジタルカメラ１００に搭載された別の測光センサや、デジタルカメラ１００と通信可能に構成された外部の測光センサによるセンサ出力を用いるものであってもよい。

【0075】

また、本実施形態ではＯＶＦ風表示モードに係るライブビュー画像の生成について、図５（ｂ）に例示したような、最大表示輝度まで線形変換特性を示し、最大表示輝度を超えるシーン輝度値については飽和させる階調変換特性を用いるものとして説明した。しかしながら、本発明の実施はこれに限られるものではなく、シーン輝度の導出を行った撮像画像を取得した際の露出設定に応じて、図５（ｂ）とは異なる変換特性を採用するものとしてもよい。例えば、非線形な階調変換特性を採用するものであってもよい。また、例えば１０万ｌｘを超える照度環境では、ユーザが表示部２８の表示を視認しにくいことを考慮し、飽和させる輝度値の変更や中間特性を異ならせる制御を行うものであってもよい。

【0076】

また本実施形態では撮影が行われた際には記録画質の画像、即ち、記録画質表示モードのライブビュー画像と同様の画像処理で生成された画像がクイックレビュー表示されるものとして説明したが、本発明の実施はこれに限られるものではない。クイックレビュー表示に、ＯＶＦ風表示モードと同様の画像処理で生成された画像を用いるものとしてもよい。

【0077】

また、本実施形態では、撮像手段を有するデジタルカメラ１００の画像処理部２４において２種類の画像を生成する態様について説明したが、本発明の実施はこれに限られるものではない。本発明は、取得した撮像画像から、シーン輝度に基づいて一意に定まる出力輝度に変換した表示用画像と、露出に基づく出力輝度に変換した表示用画像の２種類を生成可能に構成された画像処理装置であれば適用可能である。

【0078】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【0079】

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0080】

１００：デジタルカメラ、１８：記録媒体Ｉ／Ｆ、２２：撮像部、２４：画像処理部、２８：表示部、２９：ＥＶＦ、５０：システム制御部、５２：システムメモリ、５６：不揮発性メモリ、５７：接眼検知部、７０：操作部、２００：記録媒体、１５０：レンズユニット、１：絞り、２：絞り駆動回路、３：ＡＦ駆動回路、４：レンズ制御回路、１０３：レンズ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】