(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0012】
[実施形態]
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、逆光シーン用の撮影モードを予め備える、レンズ交換可能な所謂一眼レフタイプのデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮影対象が逆光シーンであることが検出可能な任意の機器に適用可能である。
【0013】
《デジタルカメラ100及び交換レンズ200の構成》
図1は、本発明の実施形態に係るデジタルカメラ100及び交換レンズ200の構成を示した図である。なお、
図1のデジタルカメラ100及び交換レンズ200の構成では、回路や光学部材駆動用のモータ等の部材は省略されている。
【0014】
〈デジタルカメラ100の構成〉
図示されるように、交換レンズ200を介してデジタルカメラ100に入射した光は、メカニカルシャッタ10及び光学ローパスフィルタ11を介して、撮像素子12に結像される。撮像素子12は、例えばCCDやCMOSセンサ等であり、蓄積型光電変換素子が2次元に配置されて構成される。
【0015】
また光軸上にはメインミラー13、第1反射ミラー14が配置される。これらの光学部材は撮像素子12に対して光学像を結像する場合は移動され、光軸上から除外される。
【0016】
メインミラー13は半透過性の所謂ハーフミラーである。メインミラー13により反射された光は、ピント板21により拡散され、ペンタプリズム22に入射する。ペンタプリズム22は拡散されて入射された光束を反射させて光学ファインダである接眼レンズ23及び撮影対象の輝度分布を測定する測光センサ26に到達させる。
【0017】
測光センサ26は、例えばCCDやCMOSセンサ等であり、撮像素子12と同様に蓄積型光電変換素子が2次元に配置されて構成される。本実施形態では測光センサ26は、撮影対象に対応した2次元の領域を例えば
図3に示されるような複数の領域に分割し、各領域に対応する被写体の輝度情報を出力することができる。測光センサ26は、光電変換素子以外に、信号増幅回路や信号処理回路等を同一チップ上に集積回路として含む。なお、本実施形態では測光センサ26の出力は、7×9=63の分割測光エリアPD
11乃至PD
79についてなされるものとして説明するが、領域の分割数についてはこれに限られるものではない。また測光センサ26に入射する光束は、第3反射ミラー24により屈折され、集光レンズ25により集光されて測光センサ26に入射される。なお、測光センサ26の代わりに、撮像素子12を撮影対象に対応した2次元の領域を例えば
図3に示されるような複数の領域に分割し、各領域に対応する被写体の輝度情報を出力する構成でもよい。
【0018】
また、第1反射ミラー14により反射された光は、撮像素子12の光学共役位置である近軸的結像面15よりも遠方にある第2反射ミラー16により屈折された後、赤外カットフィルタ17、絞り18、2次結像レンズ19を介して焦点検出センサ20に結像される。
【0019】
焦点検出センサ20は、例えばCCDやCMOSセンサ等であり、撮像素子12や測光センサ26と同様に蓄積型光電変換素子が2次元に配置されて構成される。本実施形態では焦点検出センサ20は、
図2に示されるように2種類の光電変換素子群20A及び20Bで構成される。絞り18には2つの開口部が存在しており、それぞれの開口部を通過した光束が2次結像レンズ19によって光電変換素子群20A及び20Bの各々に結像される。焦点検出センサ20は、光電変換素子群20A及び20Bのそれぞれから出力される像の相対的な位置ずれ量に基づいて、予め設定される測距エリアについての合焦度合いを検出する。予め設定される測距エリアは、本実施形態では例えば
図4に示されるように測光センサ26の分割測光エリアに対応した領域のうちの9つの領域S
01乃至S
09として設けられる。図の例ではS
01はPD
25、S
02はPD
34、S
03はPD
36、S
04はPD
43、S
05はPD
45、S
06はPD
47、S
07はPD
54、S
08はPD
56、S
09はPD
65に対応している。焦点検出センサ20は、光電変換素子以外に、信号蓄積部や信号処理回路等を同一チップ上に集積回路として含む。
【0020】
デジタルカメラ100にはこの他、交換レンズ200を取り付けるマウント部27、及び交換レンズ200が有する回路との情報通信用の接点28が設けられる。
【0021】
〈交換レンズ200の構成〉
図示されるように、交換レンズ200には各種光学レンズ30a乃至gが含まれる。また交換レンズ200は、光学レンズ30に加え、絞り31、デジタルカメラ100が有する回路との情報通信用の接点32、及びデジタルカメラ100のマウント部27に対応した交換レンズ200側のマウント部33を有する。
【0022】
《デジタルカメラ100及び交換レンズ200の機能構成》
以下、デジタルカメラ100及び交換レンズ200の機能構成について、さらに
図5を用いて詳細を説明する。
【0023】
〈デジタルカメラ100の機能構成〉
制御部101は、例えばALU、ROM、RAM、A/Dコンバータ、タイマ、シリアル通信ポート(SPI)等を有するワンチップマイクロコンピュータであり、デジタルカメラ100が有する各ブロックの動作を制御する。具体的には制御部101は、内蔵するROMに記憶された後述の撮影処理の動作プログラムを読み出し、内蔵するRAMに展開して実行することにより、各ブロックの動作を制御する。本実施形態では、制御部101のA/Dコンバータには焦点検出センサ20及び測光センサ26が接続され、各センサの出力信号はA/Dコンバータによりデジタルデータに変換される。また制御部101のSPIには接点28が接続されており、接点28及び接点32を介して接続された、後述する交換レンズ200のレンズ制御部201との情報通信はシリアル通信により行われる。
【0024】
信号処理部102は、デジタルカメラ100における様々な信号処理を行う。具体的には信号処理部102は、撮像素子12が光学像を光電変換することにより出力したアナログ画像信号に対してA/D変換処理を適用し、デジタル画像信号を出力する。また信号処理部102は、画像信号の記録指示があった場合は、予め設定された符号化方式に従った符号化処理等を適用し、符号化した画像データ信号を出力する。また本実施形態では信号処理部102は、逆光シーンにおける撮影では、露出量の異なる複数の画像を合成する画像合成処理を行い、撮影対象中の明部から暗部までの、より広い輝度範囲を再現域に納める所謂HDR画像(合成画像)を出力する。
【0025】
VRAM103は、例えばDRAMであり、信号処理部102における信号処理のワーキングメモリとして、あるいは表示部104に表示する画像信号の一時的な格納領域として用いられる。
【0026】
表示部104は、例えばLCD等のデジタルカメラ100が備える表示装置である。表示部104には、撮影により得られた画像や、ライブビューモードにおける撮像信号が表示される。
【0027】
記録媒体105は、例えばフラッシュメモリ等のデジタルカメラ100が有する不揮発性の内蔵メモリや、メモリカードやHDD等のデジタルカメラ100に着脱可能に接続された記録装置である。記録媒体105には、信号処理部102において符号化処理が適用されて得られた画像データが、画像ファイルとして格納される。
【0028】
第1モータ駆動部106は、第1モータ107の駆動制御を行う。第1モータ107は、メインミラー13及び第1反射ミラー14の光軸上への配置及び光軸上からの除外に関する移動、あるいはメカニカルシャッタ10をシャッタチャージ状態とするためのモータである。第1モータ107は、制御部101の制御を受けた第1モータ駆動部106により駆動制御される。
【0029】
操作入力部108は、例えばレリーズスイッチやモード選択スイッチ等のデジタルカメラ100が有するユーザインタフェースである。操作入力部108は、ユーザインタフェースがユーザにより操作されたことを検出すると、対応する制御信号を制御部101に出力する。
【0030】
シャッタ駆動部109は、第1モータ107によりシャッタチャージ状態にされたメカニカルシャッタ10を、制御部101から出力された制御信号に応じて開閉運動させ、シャッタ速度に規定される時間分、撮像素子12を露出する。
【0031】
〈交換レンズ200の機能構成〉
レンズ制御部201は、制御部101と同様に、例えばALU、ROM、RAM、A/Dコンバータ、タイマ、シリアル通信ポート(SPI)等を有するワンチップマイクロコンピュータであり、交換レンズ200が有する各ブロックの動作を制御する。具体的にはレンズ制御部201は、内蔵するROMに記憶された各ブロックの動作プログラムを読み出し、内蔵するRAMに展開して実行することにより、各ブロックの動作を制御する。本実施形態では、レンズ制御部201のA/Dコンバータには距離エンコーダ206及びズームエンコーダ207が接続され、各エンコーダの出力信号はA/Dコンバータによりデジタルデータに変換される。尚、距離エンコーダ及びズームエンコーダはグレーコードのパターン信号のようなデジタル信号入力でも構わない。またレンズ制御部201のSPIには接点32が接続されており、接点32及び接点28を介して接続された、デジタルカメラ100の制御部101との情報通信はシリアル通信により行われる。
【0032】
第2モータ駆動部202は、第2モータ203の駆動制御を行う。第2モータ203は、光学レンズ30のうち、合焦動作に係る焦点レンズの駆動を行うモータである。レンズ制御部201は、制御部101からの合焦動作指示を受信すると、該指示に応じて焦点レンズの駆動指示を第2モータ駆動部202に与え、第2モータ203を駆動させる。焦点レンズの現在位置の情報は、距離エンコーダ206により検出される。距離エンコーダ206は、焦点レンズの繰り出し量をレンズ制御部201に出力する。
【0033】
第3モータ駆動部204は、第3モータ205の駆動制御を行う。第3モータ205は、絞り31の開閉動作を行うモータである。レンズ制御部201は、制御部101から設定する絞り値の情報を受信すると、該指示に応じて絞りの開閉指示を第3モータ駆動部204に与え、第3モータ205を駆動させる。
【0034】
またズームエンコーダ207は、ユーザにより設定されたズーム状態に係るズームレンズの現在位置の情報を検出する。ズームエンコーダ207は、ズームレンズの繰り出し量をレンズ制御部201に出力する。
【0035】
〈撮影シーケンス〉
このような構成を有する本実施形態のデジタルカメラ100において、ユーザにより撮影指示がなされたことを示す制御信号を操作入力部108から制御部101が受信した場合に実行される、一連の撮影シーケンスについて以下に説明する。
【0036】
制御部101はまず、第1モータ駆動部106に対して制御信号を出力することで第1モータ107を駆動制御させ、メインミラー13及び第1反射ミラー14を跳ね上げ、光路上から除外する。
【0037】
制御部101はさらに、決定された露出設定のうちの絞り値の情報を接点28を介して交換レンズ200のレンズ制御部201に送信する。レンズ制御部201は、受信した絞り値の情報に応じて第3モータ駆動部204に第3モータ205を駆動させ、絞り31の開閉状態を制御する。
【0038】
撮影指示がなされたことを検出すると、制御部101はシャッタ駆動部109に対して制御信号を送信することで、決定された露出設定のうちのシャッタ速度で規定される時間(蓄積時間)分だけメカニカルシャッタ10を開放させ、撮像素子12を露光させる。このとき制御部101は、決定された露出設定のうちの撮像感度で規定される読み出しゲインを用いて、蓄積時間分の蓄積が撮像素子12において行われるよう、信号処理部102の動作を制御する。
【0039】
蓄積時間の経過後、制御部101は絞り31を絞り込み状態から絞り開放状態となるように、絞り開放指示を接点28を介してレンズ制御部201に送信する。レンズ制御部201は、絞り開放指示を受信すると、第3モータ駆動部204に対して絞り開放指示に応じた制御信号を出力することで、第3モータ205を駆動させて絞り31を絞り開放状態にさせる。また制御部101は、第1モータ駆動部106に対して制御信号を出力することで第1モータ107を駆動制御させ、メインミラー13及び第1反射ミラー14を再び光路上に配設させるとともに、メカニカルシャッタ10のメカチャージを行わせる。
【0040】
なお、蓄積時間の経過後、撮像素子12に蓄積された電荷は信号処理部102により読み出され、A/D変換処理、及び種々の補正あるいは補間処理が適用される。また信号処理部102は、制御部101の制御の下、該処理後の画像信号に対してホワイトバランス調整処理を適用する。具体的には信号処理部102は、1画面を複数の領域に分割し、各領域の色差信号に基づいて被写体の白色領域を抽出する。信号処理部102は、さらに抽出した領域の信号に基づいて、画面全体の赤チャンネル及び青チャンネルのゲイン補正を行うことでホワイトバランス調整処理を行う。
【0041】
制御部101は、ホワイトバランス調整処理が完了した画像信号に対して、信号処理部102に記録ファイル形式の符号化処理を適用させ、得られた画像データを画像ファイルとして記録媒体105に格納させる。
【0042】
《撮影処理》
次に、本実施形態のデジタルカメラ100の撮影処理について、
図6のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部101が、例えばROMに記憶されている対応する処理プログラムを読み出し、RAMに展開して実行することにより実現することができる。なお、本撮影処理は、例えばデジタルカメラ100が起動された際に開始されるものとして説明する。
【0043】
S601で、制御部101は、現在の交換レンズ200の設定情報(レンズ情報)を取得する。具体的には制御部101は、接点28を介して交換レンズ200のレンズ制御部201にレンズ情報の取得要求を送信する。レンズ制御部201は、レンズ情報の取得要求を受信すると、距離エンコーダ206及びズームエンコーダ207から現在の焦点レンズ及びズームレンズの駆動位置の情報を取得し、レンズ情報として接点32を介して制御部101に送信する。制御部101はレンズ情報を受信すると、該レンズ情報をRAMに格納する。
【0044】
S602で、制御部101は、予め設定される測距エリアS
01乃至S
09のうち、合焦させる測距エリアを決定し、該エリアに含まれる被写体について交換レンズ200の合焦動作を行わせる。具体的には制御部101は、焦点検出センサ20に対して制御信号を出力することで信号蓄積動作を開始させ、蓄積期間が経過した後、焦点検出センサ20から焦点検出用データ(2種類の2次元画像データ)を読み出す。なお、焦点検出用データに対しては、制御部101は、A/D変換処理及びシェーディング等の補正処理を適用しているものとする。予め設定される測距エリアのうちの合焦させる測距エリアは、例えば予め撮影モードについて設定されていてもよいし、ユーザにより任意に設定されてもよい。また本実施形態では、予め設定された測距エリアのうちのいずれか1つが、合焦させる測距エリアとして決定されるものとして説明するが、これに限られるものではないことは容易に想像されよう。
【0045】
制御部101は、合焦させる測距エリアについての焦点検出用データから、該エリアに含まれる像のデフォーカス量を取得する。制御部101は、取得したデフォーカス量の情報に基づき、合焦させる測距エリアにおいて合焦する焦点レンズの移動量を算出し、焦点レンズの駆動指示とともに接点28を介して交換レンズ200のレンズ制御部201に送信する。レンズ制御部201は焦点レンズの駆動指示を受信すると、共に受信した焦点レンズの移動量の情報を第2モータ駆動部202に伝送する。第2モータ駆動部202は、焦点レンズの移動量を受信すると、該移動量分だけ焦点レンズが移動するように第2モータ203を駆動制御する。
【0046】
またこのとき、焦点レンズの移動により交換レンズ200の設定情報が更新されるため、制御部101は交換レンズ200より焦点レンズ移動後のレンズ情報を接点28を介して受信する。
【0047】
S603で、制御部101は、撮影対象の測光値(分割測光エリアPD
11乃至PD
79に対応する輝度分布データED
11乃至ED
79)を取得する。具体的には制御部101は、測光センサ26に対して制御信号を出力することで信号蓄積動作を開始させ、蓄積期間が経過した後、測光センサ26から蓄積信号を順次読み出す。制御部101は測光センサ26から読み出した蓄積信号に対してA/D変換処理を適用し、得られたデータを複数の測光領域それぞれの測光値としてRAMに格納する。
【0048】
S604で、制御部101は、逆光シーン用の撮影モードが現在デジタルカメラ100に設定されているか否かを判断する。具体的には制御部101は、例えばROMに格納されている、現在設定されている撮影モードの情報を参照することで、逆光シーン用の撮影モードが設定されているか否かを判断する。なお、現在設定されている撮影モードの情報は、デジタルカメラ100の起動時にモード選択スイッチの状態を操作入力部108が検出する、あるいはユーザによりモード選択スイッチが操作されたことを操作入力部108が検出した際に変更される。即ち、操作入力部108から、設定されているモード選択スイッチの状態の情報を受信した際に、制御部101は、ROMに格納されている現在設定されている撮影モードの情報を変更する。制御部101は、逆光シーン用の撮影モードが設定されていると判断した場合は処理をS608に移し、設定されていないと判断した場合は処理をS605に移す。
【0049】
なお、本ステップでは逆光シーン用の撮影モードが設定されているか否かにより、逆光シーン用の処理を行うか否かを判断するものとして説明するが、逆光シーン用の処理の実行の有無の判断はこれに限られない。例えば本ステップでは、制御部101は逆光シーンであるか否かの判断を、撮影対象の輝度分布に基づく公知のシーン判定技術によって行なってもよい。即ち、制御部101は、前景(主被写体)である画面中央部と、背景である周辺部との輝度差、あるいはオートフォーカスの合焦領域とそれ以外の領域との輝度差等を算出し、逆光シーンであるか否かを判断してもよい。
【0050】
S605で、制御部101は、露出設定決定処理(非逆光時)を実行し、撮影指示がなされた場合のシャッタ速度、絞り値、撮影感度を含む露出設定を決定する。
【0051】
〈露出設定決定処理(非逆光時)〉
ここで、本実施形態のデジタルカメラ100で実行される露出設定決定処理(非逆光時)について、
図7のフローチャートを用いて詳細を説明する。
【0052】
S701で、制御部101は、撮影処理のS603で取得した撮影対象の輝度分布ED
11乃至ED
79を、レンズ情報に応じて補正する。具体的には制御部101は、現在の絞り31のF値によるレベル補正処理、及びレンズ周辺光量落ちに係る補正処理等を適用することで、輝度分布データを補正する。
【0053】
S702で、制御部101は、合焦被写体に重みをおいた、撮影対象の加重平均輝度Ea(第1の測光値)を算出する。
【0054】
具体的には制御部101は、まず焦点検出センサ20から焦点検出用データを取得し、測距エリアS
01乃至S
09についてデフォーカス量を取得する。そして制御部101は、撮影対象の全体について、測光エリアに対応したエリアの各々の重み付け値w(x,y)を決定する。本実施形態では、
図9(b)に示すような撮影範囲の中央部分に重点をおいたデフォルトの重み付け値w(x,y)の分布について、さらに各測距エリアのデフォーカス量に応じて値を変更した分布を、加重平均輝度Eaの算出に用いる。具体的には制御部101は、デフォルトの重み付け値の分布における測距エリアS
01乃至S
09に対応する重み付け値を、対応する測距エリアにおいて合焦状態とみなせる場合は値を10〜12程度に高くし、合焦状態とみなせない場合は1〜2程度に低くする。このようにすることで、デフォルトで中央部分に重み付けがなされているが主被写体が中央に存在しない場合であっても、合焦している領域についての重み付け値を高くして加重平均輝度Eaへの影響度を高めることができる。即ち、主被写体の領域についての重み付け値が高くなった加重平均輝度が算出される可能性を高めることができる。
【0055】
さらに制御部101は、このように決定した重み付け値の分布に応じて、輝度分布データを加重平均することで、加重平均輝度Eaを取得する。即ち、制御部101は、
を計算することで、合焦被写体に重みをおいた加重平均輝度Eaを得ることができる。
【0056】
即ち、本ステップでは制御部101は、撮影対象が適正露出となる露出設定を、予め定められた領域及び合焦している領域について優先して決定するために、基準となる輝度値(基準輝度値)を少なくとも合焦している被写体に重みをおいた加重平均により算出する。
【0057】
S703で、制御部101は、測光センサ26における領域の2次元配置に基づいて、補正後の輝度データから、1次元に射影した射影輝度値を生成する。具体的には制御部101は、測光センサ26における領域の2次元配置が有する各行及び各列の領域について、平均輝度を算出することで、各行あるいは各列の射影輝度値を生成する。即ち、各行あるいは各列の射影輝度値X
mあるいはY
n(mは列番号、nは行番号)は、
で算出することができる。なお、各射影輝度値と輝度分布データとの対応は
図9(a)のようであり、例えばX
2はED
12、ED
22、ED
32、ED
42、ED
52、ED
62、及びED
72の平均値である。
【0058】
S704で、制御部101は、S703において生成した射影輝度値のうちの最大値を有する射影輝度値Emaxが予め定められた輝度を超える(例えば、APEX系における明るさを示すBv値で10を超える)か否かを判断する。制御部101は、最大値を有する射影輝度値EmaxがBv値で10を超えると判断した場合は処理をS705に移し、超えないと判断した場合は処理をS706に移す。
【0059】
S705で、制御部101は、最大値を有する射影輝度値Emaxに応じて基準輝度値を変更するための高輝度被写体用の輝度変更値γを決定する。通常の撮影において、高輝度の被写体については、適正露出における撮影結果よりも明るく写った方が好ましい傾向にある。このため、本実施形態のデジタルカメラ100では、平均輝度がBv値で10を超える領域が撮影対象に存在する場合、制御部101は露出設定決定の基準となる基準輝度値を低めに設定することで、高輝度被写体についての撮影結果を明るくする。本ステップでは制御部101は、基準輝度値を低めに変更するための高輝度被写体用の輝度変更値γを決定する。具体的には制御部101は、輝度変更値γを
γ=(Emax−10)×0.25
として決定する。即ち、予め定められた輝度値を超えた平均輝度と該予め定められた輝度値との差分に対して、所定の係数を乗じた値が輝度変更値γとなる。なお、所定の係数として本実施形態では0.25を設定したが、該値はユーザの好みや実験的に求められた値に変更されてもよい。
【0060】
一方、S704において最大値を有する射影輝度値EmaxがBv値で10を超えないと判断した場合、制御部101はS706で、高輝度被写体用の輝度変更値γを0に設定する。
【0061】
S707で、制御部101は、S702において加重平均により算出された加重平均輝度Eaに輝度変更値を加味した最終的な基準輝度値Eeに基づいて、撮影対象についての露出設定(シャッタ速度、絞り値、撮影感度等の露出制御値)を決定する。具体的には制御部101は、
Ee=Ea−γ
により最終的な基準輝度値Eeを算出し、予め定められた露出設定決定方法に応じて該基準輝度値Eeについて露出設定を決定して本露出設定決定処理(非逆光時)を完了する。
【0062】
このように露出設定決定処理を実行することで、撮影指示がなされた場合の露出設定を決定した後、制御部101は処理をS606に移す。
【0063】
S606で、制御部101は、撮影指示がなされたか否かを判断する。具体的には制御部101は、ユーザにより撮影指示がなされたことを示す制御信号を操作入力部108から受信したか否かで、撮影指示の有無を判断する。制御部101は、撮影指示がなされたと判断した場合は処理をS607に移し、なされていないと判断した場合は処理をS601に戻す。
【0064】
S607で、制御部101は、決定した露出設定で撮影シーケンスを実行し、得られた画像に対して記録ファイル形式の符号化処理を信号処理部102に適用させる。そして制御部101は、得られた画像データを画像ファイルとして記録媒体105に記録し、本撮影処理を完了する。
【0065】
一方、S604において逆光シーン用の撮影モードが設定されていると判断した場合、制御部101はS608で、露出設定決定処理(逆光時)を実行し、撮影指示がなされた場合の露出設定を決定する。
【0066】
〈露出設定決定処理(逆光時)〉
ここで、本実施形態のデジタルカメラ100で実行される露出設定決定処理(逆光時)について、
図8のフローチャートを用いて詳細を説明する。なお、本露出設定決定処理(逆光時)の説明において、上述した露出設定決定処理(非逆光時)と同様の処理を行うステップについては同一の参照番号を付して説明を省略するものとする。
【0067】
高輝度被写体用の輝度変更値γの決定が完了した後、制御部101はS801で、S703で生成した射影輝度値のうちの最小値を有する射影輝度値Emin(第2の測光値)に応じて基準輝度値を変更するための低輝度被写体用の輝度変更値αを決定する。
【0068】
逆光シーンにおいて、構図や被写体の状態等により所望の被写体が主被写体(露出設定について影響度の高い被写体)として選択されなかった場合、主被写体について決定される露出設定は、所望の被写体について好ましい撮影結果を出力しない可能性がある。具体的には主被写体として選択された被写体について取得される加重平均輝度では、所望の被写体についての重み付け値が低い可能性があり、所望の被写体の輝度は露出設定決定の基準輝度値への影響度が低い。即ち、所望の被写体が主被写体として選択されなかった場合は、基準輝度値を基に決定した露出設定が所望の被写体に対応して決定されたものではないため、好ましい撮影結果を得ることができない。また、決定した露出設定を基準として、露出量を異ならせた複数の画像を撮影して合成したとしても、そもそも適した露出設定を基準としていないため、好ましい合成画像を得ることはできない。
【0069】
例えば、逆光シーンの典型例である、屋内の窓際において、屋外の風景1002と屋内の人物1001とを撮影する、
図10(a)のような状況について説明する。このとき、人物1001について適正露出となる撮影結果を得るためには、人物1001が主被写体として選択されることが好ましい。
図10(a)に示される構図では、人物1001は中央よりやや左によった位置に存在している。撮影範囲の輝度分布ED
11乃至ED
79が、各測光エリアにおいて
図10(b)のようであった場合、ED
44、ED
45等に重み付けが高くなるような重み付け値の分布であれば、好ましい基準輝度値が得られると考えられる。
【0070】
しかしながら、
図9(b)のようにデフォルトで撮影範囲の中央領域について重み付けされた分布を用いる場合、加重平均輝度の算出において中央からずれた位置に存在する人物1001の輝度値は反映されにくい。
図10(b)の例では、撮影範囲の中央の領域には、人物1001だけでなく窓枠1003や風景1002が含まれるため、中央の領域の輝度は風景1002の輝度につられて上昇しており、
図9(b)の重み付け分布である場合、加重平均輝度は7.625となる。例えば逆光シーン用の撮影モードにおいて、露出量の異なる3種類の階調の画像を合成し、各画像の露出設定が
・中間露出画像については加重平均輝度に基づいた露出設定
・高露出画像については加重平均輝度−3した輝度値に基づいた露出設定
・低露出画像については加重平均輝度+3した輝度値に基づいた露出設定
として定められていたとする。このとき、輝度の低い屋内の人物1001等に適した露出となる高露出画像は、
7.625−3=4.625
を基準輝度値として決定された露出設定で撮影される。しかしながら、該露出設定はED
44の輝度値4.125を適正露出とするための露出設定とは厳密には異なる。
【0071】
このため本実施形態では制御部101は、逆光シーン用の撮影モードが設定されている場合は、主被写体が誤って選択された際に所望の被写体が存在する可能性が高い、低輝度領域の輝度値に応じて露出設定決定の基準輝度値を変更する。即ち、所望の被写体が主被写体として選択されなかった場合は、加重平均輝度よりも低い輝度の領域内に所望の被写体が存在する可能性がある。このため制御部101は、最小値を有する射影輝度値Eminに応じて基準輝度値を変更するための低輝度被写体用の輝度変更値αを、以下の式で決定する。
α=(Emin−Ea)×0.5
【0072】
即ち、最小値の射影輝度値と加重平均輝度との差分に対して、所定の係数を乗じた値が輝度変更値αとなる。なお、所定の係数として本実施形態では0.5を設定したが、該値はユーザの好みや実験的に求められた値に変更されてもよい。
【0073】
S802で、制御部101は、S702において加重平均により算出された加重平均輝度Eaに輝度変更値を加味した最終的な基準輝度値Eeに基づいて、撮影対象についての露出設定(シャッタ速度、絞り値、撮影感度等の露出制御値)を決定する。具体的には制御部101は、
Ee=MAX(Ea−γ+α,Emax−klim)
を用いて最終的な基準輝度値Eeを算出する。なお、MAX()は、列挙される数値のうちの最大値を出力する関数である。ここで、最大値関数を設けている理由は以下による。
【0074】
ごくまれなケースではあるが、
図10(a)に示した逆光シーンに比べてさらに高輝度部と低輝度部との明暗差が大きい、撮影範囲に強い光源などが存在するシーンを考える。このとき、最終的な基準輝度値Eeを高輝度被写体用の輝度変更値γと低輝度被写体用の輝度変更値αとを用いて算出した場合、最高速のシャッタ速度を用いる低露出画像であっても高輝度部が飽和して階調が残らない可能性がある。即ち、加重平均輝度値Eaの算出において、光源等が含まれる高輝度領域の輝度値に応じて加重平均輝度値が上昇するため、加重平均輝度値に基づいて設定した低露出画像の露出時間が、
図10(a)のようなシーンに比べて長くなる可能性がある。
【0075】
このため本実施形態では、明暗差が大きいシーンにおいて階調が残らなくなることを回避するため、射影輝度値のうちの最大値を有する射影輝度値Emaxから所定値klimを減算して得られた値が最終的な基準輝度値Eeとして用いられるようにする。例えば、最大値を有する射影輝度値Emaxがシーンの最高輝度部分を含むと考えられるため、該射影輝度値から5段を下回らない輝度値範囲内で、中間露出画像についての最終的な基準輝度値Eeを決めればよい。このようにすることで、最高速のシャッタ速度を用いる低露出画像において低輝度部は黒つぶれする可能性はあるが、高輝度部の階調がほぼ確実に残る。なお、klimの値については、デジタルカメラ100の撮像レンジや複数回撮影の露光量の変化幅等を考慮して、逆光シーンにおいて合成する露光量の低い画像においても高輝度部の階調が確実に残る値を決定すればよい(例えばklim=5)。
【0076】
上述したような明暗差が大きいシーンを除く大多数の逆光シーンでは、上述した最大値関数の第1引数(Ea−γ+α)の方が第2引数(Emax−klim)よりは大きくなる。反対に、明暗差が大きいシーンでは、最大値関数の第1引数よりも第2引数の方が大きくなる。このため、本ステップでは最終的な基準輝度値Eeの算出において最大値関数を設けることで、想定される逆光シーンに対応した基準輝度値を出力する。
【0077】
例えば
図10(b)のシーンでは、最小値を有する射影輝度値Eminは5.25であるので、低輝度被写体用の輝度変更値αは−1.125となり、Ea−γ+αは6.5となる。一方、最大値を有する射影輝度値Emaxは9.125であるので、Emax−klimはklimが5の場合は4.125となる。即ち、最終的な基準輝度値Eeとして6.5が選択される。この場合、最高速のシャッタ速度を用いる低露出画像については6.5+3=9.5が露出設定決定用の基準輝度値となり、
図10(a)のシーンにおける屋外部分等の高輝度部を飽和することなく撮影可能な露出設定を決定できる。一方、最低速のシャッタ速度を用いる高露出画像については6.5−3=3.5が露出設定決定用の基準輝度値となり、
図10(a)のシーンにおける屋内、特に人物1001についても、黒つぶれすることなく、明るく撮影可能な露出設定を決定できる。
【0078】
このようにすることで、例外ケースを除き、高輝度被写体用の輝度変更値γ及び低輝度被写体用の輝度変更値αを加味した基準輝度値Eeを用いて露出設定を決定することができる。なお、本実施形態のデジタルカメラ100では、逆光シーン用の撮影モードが設定されている場合に、上述したように3種類の階調の画像を撮影して合成することで、階調表現を拡張した画像を生成する。各画像の露出設定の基準輝度値も、上述した例と同様であってよい。即ち、制御部101は、S802で算出した基準輝度値Eeに基づいて中間露出画像の露出設定、該基準輝度値Eeを基準とした3段階上及び3段階下の輝度値に基づいて低露出画像及び高露出画像の露出設定を決定すればよい。なお、本実施形態では露出量の異なる3種類の画像を合成することで、階調表現を拡張した合成画像を生成するものとして説明するが、合成する画像数や合成方法がこれに限定されるものではないことは理解されよう。
【0079】
このように露出設定決定処理を実行することで、撮影指示がなされた場合の、逆光シーン用の撮影モードにおいて撮影する3種類の階調の画像各々の露出設定を決定した後、制御部101は処理をS609に移す。
【0080】
S609で、制御部101は、撮影指示がなされたか否かを判断する。具体的には制御部101は、ユーザにより撮影指示がなされたことを示す制御信号を操作入力部108から受信したか否かで、撮影指示の有無を判断する。制御部101は、撮影指示がなされたと判断した場合は処理をS610に移し、なされていないと判断した場合は処理をS601に戻す。
【0081】
S610で、制御部101は、決定した露出設定のうち、高露出画像用の露出設定で撮影シーケンスを実行し、得られた画像をVRAM103に格納する。
【0082】
S611で、制御部101は、決定した露出設定のうち、中間露出画像用の露出設定で撮影シーケンスを実行し、得られた画像をVRAM103に格納する。
【0083】
S612で、制御部101は、決定した露出設定のうち、低露出画像用の露出設定で撮影シーケンスを実行し、得られた画像をVRAM103に格納する。
【0084】
S613で、制御部101は、VRAM103に格納された3種類の階調の画像から合成画像を信号処理部102に生成させる。具体的には信号処理部102は、3種類の階調の画像について階調値の対応付けがなされるようにトーンマッピングを行った後、
図11に示されるような合成比率を用いて3種類の階調の画像を合成する。
図11は、縦軸に合成比率、横軸にトーンマッピング後の明度を示しており、
・明度L1以下の画素については高露出画像の画素
・明度L1より高くL2以下の画素については高露出画像と中間露出画像の画素を合成
・明度L2より高くL3以下の画素については中間露出画像の画素
・明度L3より高くL4以下の画素については中間露出画像と低露出画像の画素を合成
・明度L4より高い画素については低露出画像の画素
を使用して合成画像を生成することを示している。このようにすることで、信号処理部102は、逆光シーンのような撮影対象の輝度差が大きい被写体であっても、白飛び及び黒つぶれ画素が少ない合成画像を生成することができる。
【0085】
そして制御部101は、得られた合成画像に対して記録ファイル形式の符号化処理を信号処理部102に適用させる。そして制御部101は、得られた画像データを画像ファイルとして記録媒体105に記録し、本撮影処理を完了する。
【0086】
なお、本実施形態では露出設定決定処理において、測光センサ26の輝度データから1次元に射影した、各行及び各列についての射影輝度値を生成するものとして説明したが、本発明の実施はこれに限られるものではない。即ち、露出設定決定に係る基準輝度値の変更において参照される輝度値は、撮影対象に含まれる所定の大きさの領域の平均輝度であってよく、領域の大きさや形状は上述した形状に限定されるものではない。例えば、
図12に示されるような分割測光エリアの3×3の領域Z
1乃至Z
9
Z
1:PD
22を中心とする3×3領域
Z
2:PD
25を中心とする3×3領域
Z
3:PD
28を中心とする3×3領域
Z
4:PD
42を中心とする3×3領域
Z
5:PD
45を中心とする3×3領域
Z
6:PD
48を中心とする3×3領域
Z
7:PD
62を中心とする3×3領域
Z
8:PD
65を中心とする3×3領域
Z
9:PD
68を中心とする3×3領域
の平均輝度値(ブロック分割輝度値)が、露出設定決定にかかる基準輝度値の変更において参照されてもよい。このように、重み付け演算に用いる測光領域の数よりも少ない数の複数の測光領域の測光値に基づいて露出設定(露出制御値の決定)を行えばよい。
【0087】
また本実施形態では、予め定められた重み付け値の分布における、合焦被写体に対応する領域についての重み付け値を変更することで、少なくとも合焦被写体に重みをおいた重み付け値の分布を基準輝度値の算出に用いるものとして説明した。しかしながら、本発明は構図等によって所望の被写体が主被写体(露出設定において優先される被写体)として選択されない場合に、所望の被写体が適正露出となる露出設定を決定するものであればよく、基準輝度値の算出に用いられる重み付けはこれに限られない。
【0088】
例えば、上述したように撮影範囲の中央の領域についての輝度値を優先する重み付け値の分布が定められているのではなく、合焦被写体を主被写体として選択する方法では、重み付け分布は例えば以下のようにして生成されてもよい。まず制御部101は、測距エリアS
01乃至S
09について取得したデフォーカス量に基づいて、対応するエリアの重み付け値w(x,y)を決定する。このとき、合焦しているエリアほど重み付け値を大きくする。そして測距エリアに対応していないエリアについては、制御部101は測距エリアに対応するエリアについて決定した重み付け値の補間演算により生成してもよい。
【0089】
またその他、制御部101は、例えば予め設定されている主被写体の決定方法に応じて撮影範囲のうちの主被写体が含まれる領域を決定し、該領域に重みをおいた重み付け値の分布を生成してもよい。
【0090】
また本実施形態では、逆光シーン用の撮影モードが設定されている場合の露出設定の決定において、高輝度被写体用の輝度変更値γ及び低輝度被写体用の輝度変更値αの絶対値を加重平均輝度Eaから減算することで基準輝度値を得るものとして説明した。しかしながら、本発明の実施はこれに限られるものではなく、単に低輝度被写体用の輝度変更値αの絶対値のみを加重平均輝度Eaから減算する構成であってもよい。また、輝度変更値αとγの大小関係を判断し、絶対値の大きいいずれか1つの輝度変更値の絶対値のみを加重平均輝度Eaから減算する構成であってもよい。
【0091】
また、本実施形態では撮影対象が逆光シーンであるか否かを、設定されているシーン設定が逆光シーン用の撮影モードであるか否かにより判断するものとして説明したが、逆光シーンであるか否かの判定方法はこれに限られるものではないことは容易に想像されよう。即ち、取得した輝度分布や公知のシーン判別技術等によって、逆光シーンであるか否かは判断されてよい。
【0092】
以上説明したように、本実施形態の撮像装置は、逆光時に主被写体が好適な露出となる露出制御を行う。具体的には撮像装置は、取得した撮影対象の輝度分布について、主被写体に重みをおいた撮影対象の加重平均輝度を取得する。また撮像装置は、撮影対象に含まれる所定の大きさの領域のうち、加重平均輝度よりも低い平均輝度を有する領域の平均輝度と加重平均輝度との差分に応じて加重平均輝度を変更し、変更後の輝度に基づいて露出制御値を決定する。
【0093】
このようにすることで、逆光シーンにおいて所望の被写体が主被写体として選択されなかった場合であっても、該被写体が好適な露出となる画像を撮影することができる。
【0094】
なお、加重平均輝度から輝度変更値の絶対値を減算することで露出制御値を決定するのではなく、加重平均輝度に基づいて決定した露出制御値を上述した輝度変更値に相当する補正値を用いて変更して、最終的な露出制御値を決定するようにしてもよい。
【0095】
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。