(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181265
(43)【公開日】2023-12-21
(54)【発明の名称】画像合成処理方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20231214BHJP
H04N 23/70 20230101ALI20231214BHJP
G03B 15/00 20210101ALI20231214BHJP
G03B 7/091 20210101ALI20231214BHJP
【ＦＩ】
H04N23/60 500
H04N23/70
G03B15/00 H
G03B7/091
【審査請求】有
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2023179777
(22)【出願日】2023-10-18
(62)【分割の表示】P 2022102960の分割
【原出願日】2018-07-05
(71)【出願人】
【識別番号】321001056
【氏名又は名称】ＯＭデジタルソリューションズ株式会社
(74)【代理人】
【識別番号】110002907
【氏名又は名称】弁理士法人イトーシン国際特許事務所
(72)【発明者】
【氏名】福田 崇徳
(57)【要約】
【課題】ライブビュー表示において、シャッタースピードを低速に設定した場合の撮影効果を得ると共に適切な明るさの画像を得る。
【解決手段】画像合成処理方法は、複数の撮像フレーム画像を合成する。画像合成処理方法は、合成画像の明るさを特定の明るさにするための合成方法を設定するステップと、特定の時間間隔で繰り返し撮像された複数の撮像フレーム画像を、設定された合成方法に従って合成することにより、特定の明るさの表示フレーム画像を生成するステップと、を備える。
【選択図】図３
【解決手段】画像合成処理方法は、複数の撮像フレーム画像を合成する。画像合成処理方法は、合成画像の明るさを特定の明るさにするための合成方法を設定するステップと、特定の時間間隔で繰り返し撮像された複数の撮像フレーム画像を、設定された合成方法に従って合成することにより、特定の明るさの表示フレーム画像を生成するステップと、を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
複数の撮像フレーム画像を合成する画像合成処理方法において、
合成画像の明るさを特定の明るさにするための合成方法を設定するステップと、
特定の時間間隔で繰り返し撮像された複数の撮像フレーム画像を、設定された上記合成方法に従って合成することにより、特定の明るさの表示フレーム画像を生成するステップと、
を具備することを特徴とする画像合成処理方法。
合成画像の明るさを特定の明るさにするための合成方法を設定するステップと、
特定の時間間隔で繰り返し撮像された複数の撮像フレーム画像を、設定された上記合成方法に従って合成することにより、特定の明るさの表示フレーム画像を生成するステップと、
を具備することを特徴とする画像合成処理方法。
【請求項2】
上記合成方法を設定するステップは、上記撮像フレーム画像の取得時の輝度情報及び撮像条件に基づいて、上記合成方法を設定することを特徴とする請求項１に記載の画像合成処理方法。
【請求項3】
上記合成方法を設定するステップは、複数の合成方法を組み合わせた合成方法を設定可能であることを特徴とする請求項１に記載の画像合成処理方法。
【請求項4】
上記表示フレーム画像を生成するステップは、新しい撮像フレーム画像が撮像されるたびに上記表示フレーム画像を更新することを特徴とする請求項１に記載の画像合成処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の撮像フレーム画像から表示フレーム画像を生成するための画像合成処理方法に関する。
【背景技術】
【0002】
昨今の撮像装置は、ライブビューと称する機能を有し、撮影前に写真の仕上がりを見ながら撮影時の設定を調整できるものが一般的になっている。ライブビューとは、撮影前に被写体の撮像及び表示を繰り返し行う機能のことである。ライブビューでは、レンズの絞りや露出補正に依る画像の明るさ、ＷＢ（White Balance）等の設定に依る効果を、表示された被写体画像で確認することができる。以下では、ライブビューに依る表示を「ライブビュー表示」とも称し、ライブビューに依り表示される画像を「ライブビュー画像」とも称す。
【0003】
また、撮像装置において、シャッタースピードの設定に依る効果を撮影前に確認することができるものが知られている。例えば、特許文献１には、撮影レンズに依り結像された被写体像を所定の時間間隔で撮像するとともに、撮像された画像を新しい順に記憶していき、所定の時間間隔ごとに、記憶されている最新の画像から設定されているシャッター速度前の画像までの間の、少なくとも最新画像と設定シャッター速度前の画像とを合成してスルー画像として表示するデジタルカメラが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００８－７９２２２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ライブビューでは、ＡＦ（Auto focus）性能や画質を確保するために、絞りや撮像感度等の撮像条件を限定するのが一般的である。特許文献１に開示された手法では、シャッタースピードをシミュレーションした画像をライブビュー表示できるものの、上記撮像条件に依る制約の下では、被写体の輝度に因って適切な明るさの画像を表示できない場合がある。この場合の一例を、図２６を用いて説明する。
【0006】
図２６は、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
なお、プログラム線図は、適正露出を得るためのＢｖ、Ｓｖ、Ａｖ、及びＴｖの関係を示すものである。ここで、Ｂｖは、被写体輝度に対応するＡＰＥＸ（Additive System of Photographic Exposure）値である。Ｓｖは、撮像感度に対応するＡＰＥＸ値である。Ａｖは、絞りに対応するＡＰＥＸ値である。Ｔｖは、シャッタースピードに対応するＡＰＥＸ値である。
なお、プログラム線図は、適正露出を得るためのＢｖ、Ｓｖ、Ａｖ、及びＴｖの関係を示すものである。ここで、Ｂｖは、被写体輝度に対応するＡＰＥＸ（Additive System of Photographic Exposure）値である。Ｓｖは、撮像感度に対応するＡＰＥＸ値である。Ａｖは、絞りに対応するＡＰＥＸ値である。Ｔｖは、シャッタースピードに対応するＡＰＥＸ値である。
【0007】
この例では、静止画撮影ではＡｖを２から９まで任意に変更可能であるものの、ライブビューではＡｖの上限値が６に制限されるカメラであると仮定する。
この仮定の下、シャッタースピードを、Ｔｖ＝０に対応する１秒に設定して静止画撮影を行う場合は、静止画撮影用のプログラム線図に示したとおり、－９≦Ｂｖ≦４のＢｖ範囲を適正露出で撮影できる。
この仮定の下、シャッタースピードを、Ｔｖ＝０に対応する１秒に設定して静止画撮影を行う場合は、静止画撮影用のプログラム線図に示したとおり、－９≦Ｂｖ≦４のＢｖ範囲を適正露出で撮影できる。
【0008】
一方、ライブビューでは、特許文献１の手法に従って複数の画像を例えば加算合成に依り合成してＴｖ＝０相当の合成画像をライブビュー画像として表示すると仮定する。この場合も静止画撮影と同じＢｖ範囲を適正露出で表示したいところであるが、Ａｖの上限値が６に制限されていることから、ライブビュー用のプログラム線図に示したとおり、Ｂｖが－９≦Ｂｖ≦１の範囲しか適正露出で表示できず、Ｂｖが１＜Ｂｖ≦４の範囲は露出オーバーで表示されてしまう。なお、図２６のライブビュー用のプログラム線図に示したＴｖは、合成画像であるライブビュー画像の明るさに対応するＴｖを示している。
【0009】
本発明は、上記実状に鑑み、ライブビュー表示において、シャッタースピードを低速に設定した場合の撮影効果を得ることができると共に適切な明るさの画像を得ることができる画像合成処理方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の一態様は、複数の撮像フレーム画像を合成する画像合成処理方法において、合成画像の明るさを特定の明るさにするための合成方法を設定するステップと、特定の時間間隔で繰り返し撮像された複数の撮像フレーム画像を、設定された上記合成方法に従って合成することにより、特定の明るさの表示フレーム画像を生成するステップと、を具備する画像合成処理方法である。
【発明の効果】
【0011】
本発明に依れば、ライブビュー表示において、シャッタースピードを低速に設定した場合の撮影効果を得ることができると共に適切な明るさの画像を得ることができる、という効果を奏する。
【図面の簡単な説明】
【0012】
【図1】第１の実施形態に係る撮像装置であるカメラの構成例を示す図である。
【図2】カメラにおいて実行されるメイン処理の流れを示すフローチャートである。
【図3】第１の実施形態に係る静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。
【図6】ライブビュー更新（Ｓ３１３）で液晶モニター又は電子ビューファインダーに表示されたライブビュー画像の一例を模式的に示す図である。
【図7】第１の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
【図8】第１の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の他の例を示す図である。
【図9】第１の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の他の例を示す図である。
【図13】第２の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
【図14】第２の実施形態に係る、重み付け加算合成処理で使用される重みＷとＢｖの関係の一例を示す図である。
【図15】第２の実施形態の変形例に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
【図16】第２の実施形態の変形例に係る、重み付け加算合成処理で使用される重みＷとＢｖの関係の一例を示す図である。
【図17】Ｓ３１４で検出された被写体輝度に対応するＢｖの値のフレーム毎の変化の一例を示す図である。
【図18】第３の実施形態に係る静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。
【図19】第３の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
【図20】第４の実施形態に係る静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。
【図21】第４の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
【図22】第５の実施形態に係る静止画撮影動作処理（Ｓ２０５）の流れを示すフローチャートである。
【図23】第５の実施形態に係る、静止画用のプログラム線図と静止画合成用のプログラム線図の一例を示す図である。
【図24】第６の実施形態に係る動画撮影待機動作処理（Ｓ２０７）の流れを示すフローチャートである。
【図25】第６の実施形態に係る動画撮影動作処理（Ｓ２０８）の流れを示すフローチャートである。
【図26】静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
【発明を実施するための形態】
【0013】
【0014】
図１に示したとおり、カメラ１００は、レンズユニット２００がボディユニット３００に装着された構成を有する。ボディユニット３００は、レンズユニット２００を着脱自在に構成されている。ボディユニット３００へのレンズユニット２００の装着は、ボディユニット３００に設けられたボディ側マウント部３０１とレンズユニット２００に設けられたレンズ側マウント部２０１とが互いに勘合することに依り行われる。これに依り、レンズユニット２００がボディユニット３００に固定されると共に、レンズユニット２００に設けられたレンズ側通信コネクタ２０２とボディユニット３００に設けられたボディ側通信コネクタ３０２とが電気的に接続され、レンズユニット２００とボディユニット３００との間で通信が可能になる。
【0015】
レンズユニット２００は、撮影レンズ２０３、レンズ駆動回路２０４、絞り２０５、絞り駆動回路２０６、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２０７、及びレンズ制御用マイクロコンピュータ（以下「ＬＣＰＵ」と称す）２０８を含む。
【0016】
撮影レンズ２０３は、被写体の光学像である被写体像を撮像素子３０６の撮像面に結像する。図１では、説明の便宜上、撮影レンズ２０３を１つのレンズとして示すが、実際には、フォーカスレンズやズームレンズを含む複数のレンズから構成されている。
【0017】
レンズ駆動回路２０４は、ＬＣＰＵ２０８の制御の下、撮影レンズ２０３に含まれるフォーカスレンズやズームレンズを駆動する。レンズ駆動回路２０４は、ステッピングモータやモータドライバを含んで構成される。モータドライバは、「モータドライブ回路」とも称す。
【0018】
絞り２０５は、開口面積を変化させることに依り、撮像面に結像される被写体像の光量を調整する。これに依り、露出の調整が行われる。
絞り駆動回路２０６は、ＬＣＰＵ２０８の制御の下、絞り２０５を駆動する。絞り駆動回路２０６は、ステッピングモータやモータドライバを含んで構成される。
絞り駆動回路２０６は、ＬＣＰＵ２０８の制御の下、絞り２０５を駆動する。絞り駆動回路２０６は、ステッピングモータやモータドライバを含んで構成される。
【0019】
ＥＥＰＲＯＭ２０７は、レンズユニット２００の動作を制御するプログラムや、そのプログラムの実行に必要なデータや、レンズユニット２００に関する情報等を記憶する。レンズユニット２００に関する情報は、撮影レンズ２０３の情報を含む。
【0020】
ＬＣＰＵ２０８は、例えばＣＰＵ（Central Processing Unit）といったプロセッサを含み、ＥＥＰＲＯＭ２０７に記憶されたプログラムを実行する。これに依り、ＬＣＰＵ２０８は、レンズ側通信コネクタ２０２を経由してボディ制御用マイクロコンピュータ（以下「ＢＣＰＵ」と称す）３２７と通信を行い、ＢＣＰＵ３２７の制御の下、レンズユニット２００の各部を制御してレンズユニット２００の全体動作を制御する。なお、ＬＣＰＵ２０８は、例えば、ＡＳＩＣ（application specific integrated circuit）又はＦＰＧＡ（field-programmable gate array）等の専用回路に依り構成されてもよい。
【0021】
ボディユニット３００は、シャッター３０３、シャッターチャージ機構３０４、シャッター制御回路３０５、撮像素子３０６、撮像素子インターフェース回路（以下「撮像素子Ｉ／Ｆ回路」と称す）３０７、画像処理コントローラ３０８、記録メディア３０９、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）３１０、ＦＬＡＳＨ ＲＯＭ（Read Only Memory）（以下「フラッシュＲＯＭ」と称す）３１１、外部出力端子３１２、液晶モニター３１３、電子ビューファインダー３１４、撮像ステージ３１５、撮像ステージ駆動回路３１６、姿勢変化検出部３１７、防振制御回路３１８、ストロボ３１９、ストロボ駆動回路３２０、電源回路３２１、電池３２２、無線回路３２３、動作表示部３２４、カメラ操作ＳＷ（switch）３２５、ＥＥＰＲＯＭ３２６、及びＢＣＰＵ３２７を含む。
【0022】
シャッター３０３は、先幕３０３１及び後幕３０３２の開閉動作を行うことに依り、撮像素子３０６の撮像面を露光状態又は遮光状態にする。シャッター３０３は、例えばフォーカルプレーンシャッターである。
【0023】
シャッターチャージ機構３０４は、ＢＣＰＵ３２７の制御の下、シャッター３０３の先幕３０３１と後幕３０３２を駆動するバネをチャージする。
シャッター制御回路３０５は、ＢＣＰＵ３２７の制御の下、シャッター３０３の動作を制御する。詳しくは、先幕３０３１と後幕３０３２の動作を制御する。
シャッター制御回路３０５は、ＢＣＰＵ３２７の制御の下、シャッター３０３の動作を制御する。詳しくは、先幕３０３１と後幕３０３２の動作を制御する。
【0024】
撮像素子３０６は、撮像面に結像された被写体像を電気信号に変換する。すなわち、被写体像を撮像する。撮像素子３０６は、例えばＣＣＤ（charge coupled device）又はＣＭＯＳ（complementary metal oxide semiconductor）等のイメージセンサである。
【0025】
撮像素子Ｉ／Ｆ回路３０７は、ＢＣＰＵ３２７の制御の下、撮像素子３０６の動作を制御すると共に、撮像素子３０６から出力される画像信号を画像処理コントローラ３０８へ出力する。なお、ＢＣＰＵ３２７に依る撮像素子Ｉ／Ｆ回路３０７の制御は、画像処理コントローラ３０８を経由して行われる。
【0026】
画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、撮像素子３０６から出力された画像信号に対してγ補正、色変換、デモザイキング等の各種の画像処理を施して画像データ（以下単に「画像」とも称す）を生成する。例えば、ライブビュー用に適した画像処理を施してライブビュー用の画像を生成したり、記録用に適した画像処理を施して記録用の画像を生成したりする。なお、ライブビュー用に適した画像処理や記録用に適した画像処理を現像処理とも称す。また、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、ＢＣＰＵ３２７に依り設定された合成処理方法に従って合成画像データ（以下単に「合成画像」とも称す）を生成する。また、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、生成した合成画像に対し、ライブビュー用に適した画像処理を施してライブビュー用の画像を生成したり、記録用に適した画像処理を施して記録用の画像を生成したりする。また、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、記録メディア３０９に記録された画像に対して伸張処理を含む画像処理を施して再生用の画像を生成する。なお、画像処理コントローラ３０８は、ＡＳＩＣやＦＰＧＡ等の専用回路に依り構成されてもよいし、例えばＣＰＵといったプロセッサを含んで構成されてもよい。
【0027】
記録メディア３０９は、ボディユニット３００に対して着脱自在なＳＤカード、コンパクトフラッシュ（登録商標）等の不揮発性の記録媒体である。なお、記録メディア３０９は、ボディユニット３００に内蔵されたハードディスクや半導体メモリ等でもよい。記録メディア３０９は、例えば、画像処理コントローラ３０８に依り生成された画像を記録する。
【0028】
ＳＤＲＡＭ３１０は、画像処理コントローラ３０８のワークエリアとして使用され、例えば、画像処理コントローラ３０８に依る処理中の画像が一時的に格納される。
フラッシュＲＯＭ３１１は、画像処理コントローラ３０８に依る画像処理に必要な各種パラメータ等を記憶する。なお、画像処理コントローラ３０８がプロセッサを含んで構成される場合は、フラッシュＲＯＭ３１１が、そのプロセッサに依り実行されるプログラムや、そのプログラムの実行に必要なデータ等を記憶してもよい。
フラッシュＲＯＭ３１１は、画像処理コントローラ３０８に依る画像処理に必要な各種パラメータ等を記憶する。なお、画像処理コントローラ３０８がプロセッサを含んで構成される場合は、フラッシュＲＯＭ３１１が、そのプロセッサに依り実行されるプログラムや、そのプログラムの実行に必要なデータ等を記憶してもよい。
【0029】
外部出力端子３１２は、ケーブルを経由して外部装置と接続され、例えば、画像処理コントローラ３０８に依り生成された画像を外部装置へ出力する。
液晶モニター３１３は、画像処理コントローラ３０８に依り生成された画像や各種情報等を表示する。
液晶モニター３１３は、画像処理コントローラ３０８に依り生成された画像や各種情報等を表示する。
【0030】
電子ビューファインダー３１４は、液晶モニター３１３と同様に、画像処理コントローラ３０８に依り生成された画像や各種情報等を表示する。
撮像ステージ３１５は、撮像素子３０６を撮像面に平行な方向へ移動させると共に、撮像素子３０６を、撮像面に直交する軸を回転軸として回転させる駆動機構である。撮像ステージ３１５は、撮像素子３０６を平行移動及び回転させるための複数のアクチュエータを含んで構成される。複数のアクチュエータは、例えばＶＣＭ（Voice Coil Motor）である。
撮像ステージ３１５は、撮像素子３０６を撮像面に平行な方向へ移動させると共に、撮像素子３０６を、撮像面に直交する軸を回転軸として回転させる駆動機構である。撮像ステージ３１５は、撮像素子３０６を平行移動及び回転させるための複数のアクチュエータを含んで構成される。複数のアクチュエータは、例えばＶＣＭ（Voice Coil Motor）である。
【0031】
撮像ステージ駆動回路３１６は、ＢＣＰＵ３２７及び防振制御回路３１８の制御の下、撮像ステージ３１５を駆動する。
姿勢変化検出部３１７は、カメラ１００の姿勢変化を検出する。姿勢変化検出部３１７は、Ｙ方向Ｇセンサ３１７１、Ｘ方向Ｇセンサ３１７２、ピッチジャイロセンサ（以下単に「ピッチジャイロ」と称す）３１７３、ヨージャイロセンサ（以下単に「ヨージャイロ」と称す）３１７４、ロールジャイロセンサ（以下単に「ロールジャイロ」と称す）３１７５を含む。なお、本実施形態では、撮影レンズ２０３の光軸方向をＺ方向とし、その光軸方向に直交し且つ互いに直交する２つの方向である水平方向及び垂直方向をＸ方向及びＹ方向とする。
姿勢変化検出部３１７は、カメラ１００の姿勢変化を検出する。姿勢変化検出部３１７は、Ｙ方向Ｇセンサ３１７１、Ｘ方向Ｇセンサ３１７２、ピッチジャイロセンサ（以下単に「ピッチジャイロ」と称す）３１７３、ヨージャイロセンサ（以下単に「ヨージャイロ」と称す）３１７４、ロールジャイロセンサ（以下単に「ロールジャイロ」と称す）３１７５を含む。なお、本実施形態では、撮影レンズ２０３の光軸方向をＺ方向とし、その光軸方向に直交し且つ互いに直交する２つの方向である水平方向及び垂直方向をＸ方向及びＹ方向とする。
【0032】
Ｙ方向Ｇセンサ３１７１は、カメラ１００のＹ方向の加速度を検出する。
Ｘ方向Ｇセンサ３１７２は、カメラ１００のＸ方向の加速度を検出する。
ピッチジャイロ３１７３は、カメラ１００のピッチ方向の回転角速度を検出する。ここで、カメラ１００のピッチ方向の回転角速度は、Ｘ方向の軸を回転軸とするカメラ１００の回転角速度でもある。
Ｘ方向Ｇセンサ３１７２は、カメラ１００のＸ方向の加速度を検出する。
ピッチジャイロ３１７３は、カメラ１００のピッチ方向の回転角速度を検出する。ここで、カメラ１００のピッチ方向の回転角速度は、Ｘ方向の軸を回転軸とするカメラ１００の回転角速度でもある。
【0033】
ヨージャイロ３１７４は、カメラ１００のヨー方向の回転角速度を検出する。ここで、カメラ１００のヨー方向の回転角速度は、Ｙ方向の軸を回転軸とするカメラ１００の回転角速度でもある。
【0034】
ロールジャイロ３１７５は、カメラ１００のロール方向の回転角速度を検出する。ここで、カメラ１００のロール方向の回転角速度は、Ｚ方向の軸を回転軸とするカメラ１００の回転角速度でもある。
【0035】
防振制御回路３１８は、ＢＣＰＵ３２７の制御の下、姿勢変化検出部３１７の検出結果であるＹ方向Ｇセンサ３１７１、Ｘ方向Ｇセンサ３１７２、ピッチジャイロ３１７３、ヨージャイロ３１７４、及びロールジャイロ３１７５の各検出結果に基づいて、撮像ステージ駆動回路３１６を制御することに依り、撮像素子３０６の撮像面に結像されている被写体像の像ぶれを打ち消す方向に撮像素子３０６を移動させる。
【0036】
ストロボ３１９は、露光動作であるシャッター３０３の動作に同期して発光する。ストロボ３１９は、光源として、例えばキセノンランプ又はＬＥＤ（Light Emitting Diode）を含む。
【0037】
ストロボ駆動回路３２０は、ＢＣＰＵ３２７の制御の下、ストロボ３１９を駆動して発光させる。
電源回路３２１は、ＢＣＰＵ３２７の制御の下、電池３２２の電圧を、カメラ１００の各部の回路が必要とする電圧に変換して供給する。
電源回路３２１は、ＢＣＰＵ３２７の制御の下、電池３２２の電圧を、カメラ１００の各部の回路が必要とする電圧に変換して供給する。
【0038】
無線回路３２３は、ＢＣＰＵ３２７の制御の下、図示しない外部装置と無線通信を行い、例えば、画像処理コントローラ３０８に依り生成された画像を外部装置へ出力する。
動作表示部３２４は、カメラ１００の動作状態をユーザに通知するためのＬＥＤを備え、ＢＣＰＵ３２７の制御の下、カメラ１００の動作状態に応じてＬＥＤを点灯又は消灯させる。
動作表示部３２４は、カメラ１００の動作状態をユーザに通知するためのＬＥＤを備え、ＢＣＰＵ３２７の制御の下、カメラ１００の動作状態に応じてＬＥＤを点灯又は消灯させる。
【0039】
カメラ操作ＳＷ３２５は、カメラ１００の電源をオン状態又はオフ状態へ切り換えるための指示入力を受け付ける電源スイッチ（以下「電源ＳＷ」と称す）、撮影指示入力を受け付けるレリーズスイッチ、動作モードを静止画撮影モード、動画撮影モード、又は再生モードへ切り換えるための指示入力を受け付けるモード切換スイッチ、メニュー画面を表示する指示入力を受け付けるメニュースイッチ、メニュー画面上の項目を選択する指示入力を受け付ける選択スイッチ、選択された項目を確定する指示入力を受け付ける確定スイッチ等の各種スイッチを備える。メニュー画面は、液晶モニター３１３又は電子ビューファインダー３１４に表示される。例えば、撮影時のシャッタースピードや露出等の撮影条件は、メニュースイッチ、選択スイッチ、及び確定スイッチの操作に依り、メニュー画面から入力、設定が可能である。なお、撮影時のシャッタースピードは、撮影時の露光時間に対応する。
【0040】
ＥＥＰＲＯＭ３２６は、カメラ１００の動作を制御するプログラムや、そのプログラムの実行に必要なデータ等を記憶する。
ＢＣＰＵ３２７は、例えばＣＰＵといったプロセッサを含み、ＥＥＰＲＯＭ３２６に記憶されたプログラムを実行する。これに依り、ＢＣＰＵ３２７は、ボディ側通信コネクタ３０２を経由してＬＣＰＵ２０８と通信を行うと共に、カメラ１００の各部を制御してカメラ１００の全体動作を制御する。例えば、カメラ操作ＳＷ３２５の操作に依り入力された撮影時のシャッタースピードや露出等の撮影条件の設定や、画像処理コントローラ３０８に対する合成処理方法の設定は、ＢＣＰＵ３２７に依り行われる。なお、ＢＣＰＵ３２７は、例えば、ＡＳＩＣ又はＦＰＧＡ等の専用回路に依り構成されてもよい。
ＢＣＰＵ３２７は、例えばＣＰＵといったプロセッサを含み、ＥＥＰＲＯＭ３２６に記憶されたプログラムを実行する。これに依り、ＢＣＰＵ３２７は、ボディ側通信コネクタ３０２を経由してＬＣＰＵ２０８と通信を行うと共に、カメラ１００の各部を制御してカメラ１００の全体動作を制御する。例えば、カメラ操作ＳＷ３２５の操作に依り入力された撮影時のシャッタースピードや露出等の撮影条件の設定や、画像処理コントローラ３０８に対する合成処理方法の設定は、ＢＣＰＵ３２７に依り行われる。なお、ＢＣＰＵ３２７は、例えば、ＡＳＩＣ又はＦＰＧＡ等の専用回路に依り構成されてもよい。
【0041】
次に、カメラ１００において実行される処理について説明する。
カメラ１００において実行される処理は、ＢＣＰＵ３２７の制御の下に行われる。
図２は、カメラ１００において実行されるメイン処理の流れを示すフローチャートである。
カメラ１００において実行される処理は、ＢＣＰＵ３２７の制御の下に行われる。
図２は、カメラ１００において実行されるメイン処理の流れを示すフローチャートである。
【0042】
図２に示したとおり、メイン処理では、まずＳ２０１において、ＢＣＰＵ３２７は、カメラ操作ＳＷ３２５の電源ＳＷに依り、カメラ１００の電源がオン状態にされたか否かを判定する。
【0043】
Ｓ２０１の判定結果がＮＯの場合は、Ｓ２０１の判定を繰り返す。
一方、Ｓ２０１の判定結果がＹＥＳの場合、Ｓ２０２において、ＢＣＰＵ３２７は、カメラ初期化処理を行う。この処理では、例えば、レンズユニット２００に関する情報をＬＣＰＵ２０８から取得する等の処理が行われる。
一方、Ｓ２０１の判定結果がＹＥＳの場合、Ｓ２０２において、ＢＣＰＵ３２７は、カメラ初期化処理を行う。この処理では、例えば、レンズユニット２００に関する情報をＬＣＰＵ２０８から取得する等の処理が行われる。
【0044】
Ｓ２０３において、ＢＣＰＵ３２７は、設定されている動作モードが、静止画撮影モード、動画撮影モード、及び再生モードのいずれであるかを判定する。なお、動作モードの切り換えは、カメラ操作ＳＷ３２５のモード切換スイッチに依り行われる。
【0045】
Ｓ２０３の判定結果が静止画撮影モードである場合、Ｓ２０４において、ＢＣＰＵ３２７は、静止画撮影待機動作処理を行う。この処理の詳細は、図３を用いて後述する。
Ｓ２０４の処理中において静止画撮影指示が為されると、Ｓ２０５において、ＢＣＰＵ３２７は、静止画撮影動作処理を行う。本実施形態では、設定されているシャッタースピード、露出等の撮影条件に従って被写体の静止画を撮影し、その静止画を記録メディア３０９に記録する、という静止画撮影動作を行うための処理が行われる。
Ｓ２０４の処理中において静止画撮影指示が為されると、Ｓ２０５において、ＢＣＰＵ３２７は、静止画撮影動作処理を行う。本実施形態では、設定されているシャッタースピード、露出等の撮影条件に従って被写体の静止画を撮影し、その静止画を記録メディア３０９に記録する、という静止画撮影動作を行うための処理が行われる。
【0046】
Ｓ２０６において、ＢＣＰＵ３２７は、静止画撮影動作が終了したか否かを判定する。
Ｓ２０６の判定結果がＮＯの場合は、Ｓ２０６の判定を繰り返す。
一方、Ｓ２０６の判定結果がＹＥＳの場合は、処理がＳ２１２へ進む。
Ｓ２０６の判定結果がＮＯの場合は、Ｓ２０６の判定を繰り返す。
一方、Ｓ２０６の判定結果がＹＥＳの場合は、処理がＳ２１２へ進む。
【0047】
Ｓ２０３の判定結果が動画撮影モードである場合、Ｓ２０７において、ＢＣＰＵ３２７は、動画撮影待機動作処理を行う。本実施形態では、被写体像を撮像して液晶モニター３１３又は電子ビューファインダー３１４に表示する、という動作を繰り返すための処理が行われる。
【0048】
Ｓ２０７の処理中において動画撮影開始指示が為されと、Ｓ２０８において、ＢＣＰＵ３２７は、動画撮影動作処理を行う。本実施形態では、動画撮影終了指示が為されるまで、設定されているシャッタースピードや露出等の撮影条件に従って被写体の動画を撮影し、その動画を記録メディア３０９に記録する、という動画撮影動作を行うための処理が行われる。
【0049】
Ｓ２０９において、ＢＣＰＵ３２７は、動画撮影動作が終了したか否かを判定する。
Ｓ２０９の判定結果がＮＯの場合は、Ｓ２０９の判定を繰り返す。
一方、Ｓ２０９の判定結果がＹＥＳの場合は、処理がＳ２１２へ進む。
Ｓ２０９の判定結果がＮＯの場合は、Ｓ２０９の判定を繰り返す。
一方、Ｓ２０９の判定結果がＹＥＳの場合は、処理がＳ２１２へ進む。
【0050】
Ｓ２０３の判定結果が再生モードである場合、Ｓ２１０において、ＢＣＰＵ３２７は、再生モード動作処理を行う。この処理では、例えば、記録メディア３０９に記録されている画像データを液晶モニター３１３に表示する、という再生モード動作を行うための処理が行われる。
【0051】
Ｓ２１１において、ＢＣＰＵ３２７は、再生モード動作が終了したか否かを判定する。
Ｓ２１１の判定結果がＮＯの場合は、Ｓ２１１の判定を繰り返す。
一方、Ｓ２１１の判定結果がＹＥＳの場合は、処理がＳ２１２へ進む。
Ｓ２１１の判定結果がＮＯの場合は、Ｓ２１１の判定を繰り返す。
一方、Ｓ２１１の判定結果がＹＥＳの場合は、処理がＳ２１２へ進む。
【0052】
Ｓ２１２において、ＢＣＰＵ３２７は、カメラ操作ＳＷ３２５の電源ＳＷに依り、カメラ１００の電源がオフ状態にされたか否かを判定する。
Ｓ２１２の判定結果がＮｏの場合は、処理がＳ２０３へ戻る。
Ｓ２１２の判定結果がＮｏの場合は、処理がＳ２０３へ戻る。
【0053】
一方、Ｓ２１２の判定結果がＹＥＳの場合、Ｓ２１３において、ＢＣＰＵ３２７は、終了処理を行い、そして図２に示したメイン処理が終了する。
図３は、静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。
図３は、静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。
【0054】
図３に示したとおり、静止画撮影待機動作処理では、まずＳ３０１において、ＢＣＰＵ３２７は、初期化処理を行う。この処理では、バッファクリア処理等が行われる。バッファクリア処理とは、ＳＤＲＡＭ３１０をクリアする処理のことである。
【0055】
Ｓ３０２において、ＢＣＰＵ３２７は、長秒時フラグを０に設定する。長秒時フラグは、長秒時ライブビュー機能がオフに設定されているときに０に設定され、長秒時ライブビュー機能がオンに設定されているときに１に設定されるフラグである。長秒時ライブビュー機能とは、長秒時の撮影時シャッタースピードに依る効果を撮影前に確認することができる機能のことであり、以下では単に「長秒時ライブビュー」とも称す。ここで想定される長秒時の撮影時シャッタースピードは、ライブビュー用のフレームレートに対応するシャッタースピードよりも低速のシャッタースピードである。例えば、ライブビュー用のフレームレートが１２０フレーム／秒であるとすると、想定される長秒時の撮影時シャッタースピードは、１／１２０よりも低速なシャッタースピードとなる。長秒時ライブビュー機能のオン又はオフは、カメラ操作ＳＷ３２５のメニュースイッチ、選択スイッチ、及び確定スイッチに依りメニュー画面から設定することができる。なお、この機能のオン又はオフは、メニュー画面から設定されるのではなく、専用のスイッチを用いて設定されてもよい。この場合は、カメラ操作ＳＷ３２５が、長秒時ライブビュー機能のオン又はオフを選択するための指示入力を受け付けるスイッチを備えてもよい。あるいは、そのスイッチの押下時のみ、もしくは、レリーズスイッチの半押下時のみ、長秒時ライブビュー機能がオンに設定されてもよい。
【0056】
Ｓ３０３において、ＢＣＰＵ３２７は、長秒時ライブビュー機能がオンに設定されているか否かを判定する。
Ｓ３０３の判定結果がＹＥＳの場合、Ｓ３０４において、ＢＣＰＵ３２７は、長秒時フラグを１に設定し、処理がＳ３０５へ進む。
Ｓ３０３の判定結果がＹＥＳの場合、Ｓ３０４において、ＢＣＰＵ３２７は、長秒時フラグを１に設定し、処理がＳ３０５へ進む。
【0057】
一方、Ｓ３０３の判定結果がＮＯの場合は、処理がＳ３０５へ進む。
Ｓ３０５において、ＢＣＰＵ３２７は、ライブビュー用の撮像素子駆動処理を開始する。ライブビュー用の撮像素子駆動処理とは、ライブビュー用のフレームレートに従って、被写体像の撮像及び画像信号の出力を繰り返す処理のことである。
Ｓ３０５において、ＢＣＰＵ３２７は、ライブビュー用の撮像素子駆動処理を開始する。ライブビュー用の撮像素子駆動処理とは、ライブビュー用のフレームレートに従って、被写体像の撮像及び画像信号の出力を繰り返す処理のことである。
【0058】
Ｓ３０６において、撮像素子Ｉ／Ｆ回路３０７は、ＢＣＰＵ３２７の制御の下、撮像素子３０６から１フレーム分の画像信号を読み出して画像処理コントローラ３０８へ出力する。これは、撮像素子Ｉ／Ｆ回路３０７が、撮像素子３０６から出力された１フレーム分の画像信号を画像処理コントローラ３０８へ出力することでもある。
【0059】
Ｓ３０７において、ＢＣＰＵ３２７は、当該Ｓ３０７の処理が、図３に示した静止画撮影待機動作処理の開始後に初めて行われるものであるか否かを判定する。
Ｓ３０７の判定結果がＹＥＳの場合は、処理がＳ３１４へ進む。
Ｓ３０７の判定結果がＹＥＳの場合は、処理がＳ３１４へ進む。
【0060】
一方、Ｓ３０７の判定結果がＮＯの場合、Ｓ３０８において、ＢＣＰＵ３２７は、長秒時フラグが１に設定されているか否かを判定する。
Ｓ３０８の判定結果がＮＯの場合は、処理がＳ３１２へ進む。
Ｓ３０８の判定結果がＮＯの場合は、処理がＳ３１２へ進む。
【0061】
一方、Ｓ３０８の判定結果がＹＥＳの場合、Ｓ３０９において、ＢＣＰＵ３２７は、合成枚数を算出する。合成枚数は、後述する画像合成処理（Ｓ３１１）において、合成画像の生成に用いられる画像の数である。合成枚数は、例えば、撮像素子３０６の１フレームの露光時間を、１／（ライブビュー用のフレームレート）とすると、（設定されている撮影時シャッタースピード）／（１／（ライブビュー用のフレームレート））に依り算出される。例えば、設定されている撮影時シャッタースピードが１／１５秒、ライブビュー用のフレームレートが１２０フレーム／秒であるとすると、（１／１５）／（１／１２０）＝８となり、合成枚数が８となる。但し、この算出方法では、算出結果の値が小数点以下を含む場合があり、必ずしも整数値にはならない。そこで、算出結果の値が小数点以下を含む場合は、小数点以下を切り捨て、切り上げ、又は四捨五入する等して、算出結果の値が整数値にされる。あるいは、算出結果の値が整数値にするために、ライブビュー用のフレームレートを変更してもよい。
【0062】
Ｓ３１０において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、Ｓ３０６で撮像素子３０６から読み出された画像信号に応じた画像を、ＳＤＲＡＭ３１０に格納する、という画像バッファリングを行う。このときにＳＤＲＡＭ３１０に格納された画像を、以下、「バッファリング画像」とも称す。
【0063】
Ｓ３１１において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、ＳＤＲＡＭ３１０に格納されている合成枚数分のバッファリング画像を後述のＳ３１６で設定される合成処理方法に従って合成することに依り、設定されている撮影時シャッタースピードに対応する露光時間で露光された画像相当の画像となる合成画像を生成する、という画像合成処理を行う。ここで、合成枚数は、Ｓ３０９で算出された合成枚数である。また、設定されている撮影時シャッタースピードに対応する露光時間で露光された画像相当の画像とは、擬似的にシャッタースピードを撮影時シャッタースピードまで延ばした場合の画像のことでもある。
【0064】
但し、Ｓ３１１において、合成枚数分のバッファリング画像がＳＤＲＡＭ３１０に格納されていない場合、又は、Ｓ３０９で算出された合成枚数が１以下の場合は、合成画像の生成を行わず、処理がＳ３１２へ進む。
【0065】
Ｓ３１１において合成画像の生成が行われる場合、合成画像の生成に用いられる合成枚数分のバッファリング画像は、ＳＤＲＡＭ３１０に最後に格納されたバッファリング画像をｉ番目に格納されたバッファリング画像とし、Ｓ３０９で算出された合成枚数をＮとすると、ｉ－Ｎ＋１番目からｉ番目までに格納されたＮ個のバッファリング画像となる。また、合成画像の生成は、合成枚数分のバッファリング画像を、ＢＣＰＵ３２７に依り設定された合成処理方法に従って合成することに依り行われるものであるが、その詳細については後述する。
【0066】
Ｓ３１２において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、現像処理を行う。詳しくは、Ｓ３１１の後のＳ３１２では、Ｓ３１１で生成された合成画像に対して現像処理を行う。但し、Ｓ３１１で合成画像の生成が行われていない場合には、Ｓ３１０でＳＤＲＡＭ３１０に最後に格納されたバッファリング画像に対して現像処理を行う。一方、Ｓ３０８の判定結果がＮＯである場合のＳ３１２では、Ｓ３０６で読み出された画像信号に応じた画像に対して現像処理を行う。なお、Ｓ３１２で現像処理が行われた画像は、ライブビュー画像でもある。
【0067】
Ｓ３１３において、ＢＣＰＵ３２７は、Ｓ３１２で現像処理が行われた画像を、液晶モニター３１３又は電子ビューファインダー３１４に表示する、或いは、液晶モニター３１３又は電子ビューファインダー３１４に表示されている画像を、Ｓ３１２で現像処理が行われた画像へ置き換える、というライブビュー更新処理を行う。なお、Ｓ３１２で現像処理が行われた画像の表示先又は出力先は、液晶モニター３１３又は電子ビューファインダー３１４に限らず、外部表示装置であってもよい。この場合、その外部表示装置は、外部出力端子３１２に接続された外部表示装置であってもよいし、無線回路３２３を介して無線接続された外部表示装置であってもよい。
【0068】
Ｓ３１４において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、被写体輝度を検出する。被写体輝度の検出は、例えば、Ｓ３０６で読み出された画像信号に基づいて行われる。
【0069】
Ｓ３１５において、ＢＣＰＵ３２７は、長秒時フラグが１に設定されているか否かを判定する。
Ｓ３１５の判定結果がＮＯの場合は、処理がＳ３１７へ進む。
Ｓ３１５の判定結果がＮＯの場合は、処理がＳ３１７へ進む。
【0070】
一方、Ｓ３１５の判定結果がＹＥＳの場合、Ｓ３１６において、ＢＣＰＵ３２７は、次回の画像合成処理（Ｓ３１１）で用いられる合成処理方法を決定し、画像処理コントローラ３０８に設定する。合成処理方法は、設定されている撮影時シャッタースピードに対応するライブビュー用のプログラム線図と、Ｓ３１４で検出された被写体輝度に対応するＢｖの値とに基づいて決定される。ライブビュー用のプログラム線図は、長秒時ライブビューにおいて適正露出を得るためのＢｖ、Ｓｖ、Ａｖ、及びＴｖｂの関係を示すと共に合成処理方法を指定するものである。ここで、Ｔｖｂは、合成画像であるライブビュー画像の明るさに対応するＴｖを示している。ライブビュー用のプログラム線図は、設定可能な撮影時シャッタースピード毎に用意され、例えばフラッシュＲＯＭ３１１に予め記憶されている。あるいは、基準となる撮影時シャッタースピードに対応するプログラム線図のみを記憶しておき、他の撮影時シャッタースピードに対応するプログラム線図は、基準となるプログラム線図に基づいて計算に依り求めてもよい。ライブビュー用のプログラム線図の詳細については後述する。Ｓ３１６の後は、処理がＳ３１７へ進む。
【0071】
Ｓ３１７において、ＢＣＰＵ３２７は、露出を設定する。詳しくは、Ｓ３１６の後のＳ３１７では、Ｓ３１６で使用したプログラム線図とＢｖの値とに基づいてＡｖ及びＳｖの値を決定し、決定したＡｖ及びＳｖの値に基づいて、絞り２０５の駆動及び撮像感度の設定を行う。絞り２０５の駆動は、決定したＡｖの値をＬＣＰＵ２０８に通知し、そのＡｖの値に基づいてＬＣＰＵ２０８が絞り駆動回路２０６を制御することに依って行われる。また、撮像感度の設定は、決定したＳｖの値に対応する撮像感度を、画像処理コントローラ３０８を経由して撮像素子Ｉ／Ｆ回路３０７に設定し、その設定に応じて撮像素子Ｉ／Ｆ回路３０７が撮像素子３０６を制御することに依って行われる。一方、ＳＳ３１５の判定結果がＮＯの場合のＳ３１７では、例えば、Ｓ３１４で検出された被写体輝度に基づいて、絞り２０５の駆動及び撮像感度の設定を行う。
【0072】
Ｓ３１８において、ＢＣＰＵ３２７は、静止画撮影指示が為されたか否かを判定する。なお、静止画撮影指示は、レリーズスイッチに依り行うことができる。
Ｓ３１８の判定結果がＮＯの場合は、処理がＳ３０６へ戻る。
Ｓ３１８の判定結果がＮＯの場合は、処理がＳ３０６へ戻る。
【0073】
一方、Ｓ３１８の判定結果がＹＥＳの場合、Ｓ３１９において、ＢＣＰＵ３２７は、Ｓ３０５で開始したライブビュー用の撮像素子駆動処理を終了し、図３に示した静止画撮影待機動作処理を終了する。
【0074】
図４は、図３に示した静止画撮影待機動作処理に従って行われるライブビュー動作のタイミングチャートである。但し、このライブビュー動作は、図３に示した静止画撮影待機動作処理において画像合成処理（Ｓ３１１）が繰り返し行われているときの動作を示している。
【0075】
図４に示したとおり、このライブビュー動作では、ライブビュー用のフレームレートに応じた垂直同期信号ＶＤの立ち上がりに同期して、ライブビュー用のフレームレートに対応する露光時間の露光及び画像信号の出力が行われ、続いて、画像合成処理、現像処理が行われて、その処理結果である画像が表示される、といった一連の処理が繰り返し行われる。ここで、露光は撮像に対応し、処理結果である画像はライブビュー画像に対応し、その表示はライブビュー表示に対応する。
【0076】
図５は、図３に示した静止画撮影待機動作処理の実行中における、撮像フレームと合成フレームの関係を示す概念図である。但し、ここでは、静止画撮影待機動作処理の実行中において、合成枚数に変化が無いとし、合成画像を生成する画像合成処理（Ｓ３１１）が繰り返し行われているとする。また、ライブビュー用のフレームレートが１２０フレーム／秒であるとし、撮影時シャッタースピードとして１／１５秒が設定されているとする。この場合は、撮像素子３０６の１フレームの露光時間を１／１２０秒とすると、（１／１５）／（１／１２０）＝８となり、合成枚数が８となる。
【0077】
図５に示したとおり、この場合は、合成枚数が８となるので、８枚の撮像フレーム画像を用いて表示フレーム画像の生成が行われる。なお、撮像フレーム画像は、バッファリング画像でもある。すなわち、８つのフレームを合成した合成フレームにおいて露光された８つの撮像フレーム画像を用いて、表示フレーム画像の生成が行われる。なお、表示フレーム画像は、現像処理（Ｓ３１２）の処理結果となる画像である。
【0078】
例えば、Ｎフレーム目の表示フレーム画像は、Ｎ－７フレーム目からＮフレーム目までのフレームを合成した合成フレームにおいて露光された８つの撮像フレーム画像を用いて生成、表示され、Ｎ＋１フレーム目の表示フレーム画像は、Ｎ－６フレーム目からＮ＋１フレーム目までのフレームを合成した合成フレームにおいて露光された８つの撮像フレーム画像を用いて生成、表示され、という方式で合成するフレームをずらしながら、表示フレーム画像の更新が行われる。
【0079】
図６は、ライブビュー更新（Ｓ３１３）で液晶モニター３１３又は電子ビューファインダー３１４に表示されたライブビュー画像の一例を模式的に示す図である。
図６の左側に示したライブビュー画像は、長秒時ライブビュー機能がオフに設定されているときに表示されたライブビュー画像である。このライブビュー画像は、画像信号に応じた画像に現像処理が行われた画像であり、所謂、通常時のライブビュー画像である。
図６の左側に示したライブビュー画像は、長秒時ライブビュー機能がオフに設定されているときに表示されたライブビュー画像である。このライブビュー画像は、画像信号に応じた画像に現像処理が行われた画像であり、所謂、通常時のライブビュー画像である。
【0080】
図６の右側に示したライブビュー画像は、長秒時ライブビュー機能がオンに設定されているときに表示されたライブビュー画像である。このライブビュー画像は、合成画像に現像処理が行われた画像である。
【0081】
図６に示したとおり、長秒時ライブビュー機能がオンに設定されているときのライブビュー画像に依るライブビュー表示に依れば、長秒時の撮影時シャッタースピードに依る効果を撮影前に確認することができる。
【0082】
次に、図７を用いて、合成処理方法設定（Ｓ３１６）及び露出設定（Ｓ３１７）の一例を説明する。
図７は、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。なお、図７に示した静止画撮影用のプログラム線図は、図２６に示した静止画撮影用のプログラム線図と同じものである。
図７は、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。なお、図７に示した静止画撮影用のプログラム線図は、図２６に示した静止画撮影用のプログラム線図と同じものである。
【0083】
この例では、ライブビュー用のフレームレートが６４フレーム／秒であるとし、撮影時シャッタースピードとして１秒が設定されているとする。なお、６４フレーム／秒のライブビュー用のフレームレートは、１／６４秒のシャッタースピード、Ｔｖ＝６に相当し、１秒の撮影時シャッタースピードは、Ｔｖ＝０に対応する。
【0084】
この例の場合、静止画撮影では、図７の静止画撮影用のプログラム線図に示したとおり、Ｂｖが－９から４までの範囲で適正露出の撮影が可能である。これに対し、長秒時ライブビューでは、合成処理方法として加算合成処理が設定されて合成画像の生成が行われる場合は、図７のライブビュー用のプログラム線図に示したとおり、Ｂｖが－９から１までの範囲でしか適正露出のライブビュー画像が得られない。なお、これについては、図２６を用いて説明したとおりである。
【0085】
そこで、合成処理方法設定（Ｓ３１６）では、図７のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次の合成処理方法が設定される。
【0086】
Ｂｖの値が－９≦Ｂｖ≦１のときは、加算合成処理が設定される。
Ｂｖの値が１＜Ｂｖ≦４のときは、平均合成処理が設定される。
平均合成処理では、被写体の動きとして、Ｔｖ＝０相当のスローシャッター効果を得ることができ、ライブビュー用のフレームレートにおける１フレーム分の画像の明るさとしてＴｖ＝６相当の明るさが維持されるため、Ｂｖが１＜Ｂｖ≦４の範囲でも適正露出の画像を得ることができる。
Ｂｖの値が１＜Ｂｖ≦４のときは、平均合成処理が設定される。
平均合成処理では、被写体の動きとして、Ｔｖ＝０相当のスローシャッター効果を得ることができ、ライブビュー用のフレームレートにおける１フレーム分の画像の明るさとしてＴｖ＝６相当の明るさが維持されるため、Ｂｖが１＜Ｂｖ≦４の範囲でも適正露出の画像を得ることができる。
【0087】
なお、加算合成処理では、対応する画素毎に画素値の累積加算を行うことに依って合成画像が生成され、平均合成処理では、対応する画素毎に画素値の平均を算出することに依って合成画像が生成される。
【0088】
露出設定（Ｓ３１７）では、図７のライブビュー用のプログラム線図に示したとおり、Ｂｖの値に応じて、次のＳｖ及びＡｖの値が決定され、その値に応じて露出が設定される。
【0089】
Ｂｖの値が－９≦Ｂｖ≦－３のときは、Ｓｖ＝－Ｂｖ＋２、Ａｖ＝２に決定される。
Ｂｖの値が－３＜Ｂｖ≦１のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ＋５に決定される。
Ｂｖの値が１＜Ｂｖ≦３のときは、Ｓｖ＝－Ｂｖ＋８、Ａｖ＝２に決定される。
Ｂｖの値が－３＜Ｂｖ≦１のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ＋５に決定される。
Ｂｖの値が１＜Ｂｖ≦３のときは、Ｓｖ＝－Ｂｖ＋８、Ａｖ＝２に決定される。
【0090】
Ｂｖの値が３＜Ｂｖ≦４のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ－１に決定される。
次に、図８を用いて、撮影時シャッタースピードが変更された場合の、合成処理方法設定（Ｓ３１６）及び露出設定（Ｓ３１７）の一例を説明する。
次に、図８を用いて、撮影時シャッタースピードが変更された場合の、合成処理方法設定（Ｓ３１６）及び露出設定（Ｓ３１７）の一例を説明する。
【0091】
図８は、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の他の例を示す図である。
この例では、撮影時シャッタースピードが１秒から１／４秒へ変更されたとする。１／４秒の撮影時シャッタースピードは、Ｔｖ＝２に対応する。この例では、Ｔｖの値が０から２へ２段シフトすることから、図８のプログラム線図に示したとおり、図７に示したプログラム線図に対して、合成処理方法及び露出を決定するＢｖの値もシフトする。
この例では、撮影時シャッタースピードが１秒から１／４秒へ変更されたとする。１／４秒の撮影時シャッタースピードは、Ｔｖ＝２に対応する。この例では、Ｔｖの値が０から２へ２段シフトすることから、図８のプログラム線図に示したとおり、図７に示したプログラム線図に対して、合成処理方法及び露出を決定するＢｖの値もシフトする。
【0092】
そこで、合成処理方法設定（Ｓ３１６）では、図８のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次の合成処理方法が設定される。
【0093】
Ｂｖの値が－７≦Ｂｖ≦３のときは、加算合成処理が設定される。
Ｂｖの値が３＜Ｂｖ≦６のときは、平均合成処理が設定される。
露出設定（Ｓ３１７）では、図８のライブビュー用のプログラム線図に示したとおり、Ｂｖの値に応じて、次のＳｖ及びＡｖの値が決定され、その値に応じて露出が設定される。
Ｂｖの値が３＜Ｂｖ≦６のときは、平均合成処理が設定される。
露出設定（Ｓ３１７）では、図８のライブビュー用のプログラム線図に示したとおり、Ｂｖの値に応じて、次のＳｖ及びＡｖの値が決定され、その値に応じて露出が設定される。
【0094】
Ｂｖの値が－７≦Ｂｖ≦－１のときは、Ｓｖ＝－Ｂｖ＋４、Ａｖ＝２に決定される。
Ｂｖの値が－１＜Ｂｖ≦３のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ＋３に決定される。
Ｂｖの値が３＜Ｂｖ≦６のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ－１に設定される。
Ｂｖの値が－１＜Ｂｖ≦３のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ＋３に決定される。
Ｂｖの値が３＜Ｂｖ≦６のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ－１に設定される。
【0095】
図７及び図８を用いて説明した、合成処理方法設定（Ｓ３１６）及び露出設定（Ｓ３１７）では、合成処理方法として加算合成処理を積極的に設定する例を示したが、例えば、長秒時ライブビューの画質を優先する場合には、平均合成処理を積極的に設定した方がよい。ここで、図９を用いて、平均合成処理を積極的に設定する場合の、合成処理方法設定（Ｓ３１６）及び露出設定（Ｓ３１７）の一例を説明する。
【0096】
図９は、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の他の例を示す図である。
この例でも、ライブビュー用のフレームレートが６４フレーム／秒であるとし、撮影時シャッタースピードとして１秒が設定されているとする。
この例でも、ライブビュー用のフレームレートが６４フレーム／秒であるとし、撮影時シャッタースピードとして１秒が設定されているとする。
【0097】
この例の場合、合成処理方法設定（Ｓ３１６）では、図９のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次の合成処理方法が設定される。
【0098】
Ｂｖの値が－９≦Ｂｖ＜－３のときは、加算合成処理が設定される。
Ｂｖの値が－３≦Ｂｖ≦４のときは、平均合成処理が設定される。
露出設定（Ｓ３１７）では、図９のライブビュー用のプログラム線図に示したとおり、Ｂｖの値に応じて、次のＳｖ及びＡｖの値が決定され、その値に応じて露出が設定される。
Ｂｖの値が－３≦Ｂｖ≦４のときは、平均合成処理が設定される。
露出設定（Ｓ３１７）では、図９のライブビュー用のプログラム線図に示したとおり、Ｂｖの値に応じて、次のＳｖ及びＡｖの値が決定され、その値に応じて露出が設定される。
【0099】
Ｂｖの値が－９≦Ｂｖ＜－３のときは、Ｓｖ＝－Ｂｖ＋２、Ａｖ＝２に決定される。
Ｂｖの値が－３≦Ｂｖ＜３のときは、Ｓｖ＝－Ｂｖ＋８、Ａｖ＝２に決定される。
Ｂｖの値が３≦Ｂｖ≦４のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ－１に決定される。
Ｂｖの値が－３≦Ｂｖ＜３のときは、Ｓｖ＝－Ｂｖ＋８、Ａｖ＝２に決定される。
Ｂｖの値が３≦Ｂｖ≦４のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ－１に決定される。
【0100】
【0101】
図１０は、図３に示した静止画撮影待機動作処理の実行中において、長秒時ライブビュー機能がオンに設定されたとき及びオフに設定されたときの、撮像フレームと合成フレームの関係を示す概念図である。但し、ここでは、静止画撮影待機動作処理の実行中において、長秒時ライブビュー機能がオンに設定されてからオフに設定されるまでの間は、合成枚数に変化が無いとし、画像合成処理（Ｓ３１１）が繰り返し行われるとする。また、このときの合成枚数を４とする。
【0102】
図１０に示したとおり、この場合は、長秒時ライブビュー機能がオフに設定されている間は、通常のライブビュー動作が行われる。通常のライブビュー動作とは、Ｓ３０３、Ｓ３０８、及びＳ３１５の判定結果がＮＯの場合の動作である。そして、長秒時ライブビュー機能がオンに設定されると、その時点を示す「開始トリガー」の後、合成枚数分の４つの撮像フレーム画像が揃ったところで、その４つの撮像フレーム画像を用いて表示フレーム画像の生成、表示が行われる。ここで、その４つの撮像フレーム画像は、Ｎ＋２フレーム目からＮ＋５フレーム目までの合成フレームにおいて露光された４つの撮像フレーム画像である。なお、長秒時ライブビュー機能がオンに設定されてから４つの撮像フレーム画像が揃う前までの間は、通常のライブビュー動作と同じ動作が行われる。その後、長秒時ライブビュー機能がオンに設定されている間は、図５に示したものと同様に、合成するフレームをずらしながら、表示フレーム画像の更新が行われる。そして、長秒時ライブビュー機能がオフに設定されると、その時点を示す「終了トリガー」の後、速やかに通常のライブビュー動作に戻る。
【0103】
図１１は、図１０に示した概念図において、長秒時ライブビュー機能がオンに設定されたときの動作及びオフに設定されたときの動作を変形したときの概念図である。
図１１に示したとおり、長秒時ライブビュー機能がオンに設定されてから合成枚数分の撮像フレーム画像が揃う前までの間は、１フレーム毎に、合成する撮像フレーム画像数を１つずつ増加させながら合成画像となる表示フレーム画像の生成を行ってもよい。また、長秒時ライブビュー機能がオフに設定されたときは、１フレーム毎に、合成する撮像フレーム画像数を１つずつ減少させながら合成画像となる表示フレーム画像の生成を行ってもよい。
図１１に示したとおり、長秒時ライブビュー機能がオンに設定されてから合成枚数分の撮像フレーム画像が揃う前までの間は、１フレーム毎に、合成する撮像フレーム画像数を１つずつ増加させながら合成画像となる表示フレーム画像の生成を行ってもよい。また、長秒時ライブビュー機能がオフに設定されたときは、１フレーム毎に、合成する撮像フレーム画像数を１つずつ減少させながら合成画像となる表示フレーム画像の生成を行ってもよい。
【0104】
あるいは、図１０の概念図に示した動作と図１１に示した概念図の動作とを組み合わせてもよい。
図１２は、図３に示した静止画撮影待機動作処理の実行中において、撮影時シャッタースピードが、より低速に変更されたときの、撮像フレームと合成フレームの関係を示す概念図である。但し、ここでは、静止画撮影待機動作処理の実行中において、画像合成処理（Ｓ３１１）が繰り返し行われているとする。また、撮影時シャッタースピードが、より低速に変更されたことに伴って、合成枚数が４から６へ変更されたとする。
図１２は、図３に示した静止画撮影待機動作処理の実行中において、撮影時シャッタースピードが、より低速に変更されたときの、撮像フレームと合成フレームの関係を示す概念図である。但し、ここでは、静止画撮影待機動作処理の実行中において、画像合成処理（Ｓ３１１）が繰り返し行われているとする。また、撮影時シャッタースピードが、より低速に変更されたことに伴って、合成枚数が４から６へ変更されたとする。
【0105】
図１２に示したとおり、この場合は、撮影時シャッタースピードが変更された時点でＳＤＲＡＭ３１０がクリアされ、その後、変更後の合成枚数分の６つの撮像フレーム画像が揃う前までの間は、１フレーム毎に、合成する撮像フレーム画像数を１つずつ増加させながら合成画像となる表示フレーム画像の生成、表示が行われる。その後、長秒時ライブビュー機能がオンに設定されている間は、図５に示したものと同様に、合成するフレームをずらしながら、表示フレーム画像の更新が行われる。
【0106】
また、図示はしないが、撮影時シャッタースピードが変更された時点でＳＤＲＡＭ３１０のクリアを行わず、その時点から、変更後の合成枚数分の６つの撮像フレーム画像が揃う前までの間は、１フレーム毎に、合成する撮像フレーム画像数を１つずつ増加させながら合成画像となる表示フレーム画像の生成、表示が行われてもよい。
【0107】
また、図示はしないが、撮影時シャッタースピードが、より高速に変更され、それに伴い合成枚数が減少する方向に変更された場合は、撮影時シャッタースピードが変更された時点から、１フレーム毎に、合成する撮像フレーム画像数を、変更後の合成枚数になるまで１つずつ減少させながら合成画像となる表示フレーム画像の生成、表示が行われる。
【0108】
以上のとおり、第１の実施形態に依れば、設定されている撮影時シャッタースピードが低速であっても、長秒時ライブビュー機能がオンに設定されていれば、ライブビュー表示において、その撮影時シャッタースピードのよる効果を確認することができると共に適切な明るさのライブビュー画像を表示することもできる。
【0109】
なお、本実施形態において、ライブビュー動作中は、画像信号の読み出しが連続的に行われる為、電子シャッターが用いられる。電子シャッターは、撮像素子３０６が有する電子シャッター機能に依り実現され、ＢＣＰＵ３２７の制御の下、撮像素子Ｉ／Ｆ回路３０７に依り制御される。
【0110】
また、本実施形態において、ライブビュー動作中の各フレームの非露光時間が長いと、画像合成処理（Ｓ３０７）に依り生成される合成画像が、動体領域において違和感のある画像になってしまう虞がある。そこで、ライブビュー動作中の撮像時シャッタースピードは、合成画像の生成に用いられる複数のバッファリング画像が取得される複数のフレームにおける各フレームの露光時間が不連続となるのを防止するため、上述のとおり１／（ライブビュー用のフレームレート）、又は、それにできるだけ近い値とされる。例えば、ライブビュー用のフレームレートが１２０フレーム／秒である場合は、ライブビュー動作中の撮像時シャッタースピードが１／１２０秒とされる。
【0111】
また、本実施形態において、設定されている撮影時シャッタースピードが、例えば１／（ライブビュー用のフレームレート）以上といった高速である場合は、撮影時シャッタースピードを忠実に再現するために、撮像時シャッタースピードを、撮影時シャッタースピードに合わせてもよい。あるいは、撮影時シャッタースピードが高速である場合は、ライブビュー表示において撮影時シャッタースピードに依る見え方の違いがほとんど無いため、ライブビュー表示の見易さを鑑みて、通常時のライブビュー動作と同様に撮像時シャッタースピードを制御してもよい。
＜第２の実施形態＞
＜第２の実施形態＞
【0112】
次に、本発明の第２の実施形態について説明する。この説明では、第１の実施形態に対して異なる点のみを説明する。また、第１の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
【0113】
第１の実施形態で説明した、合成処理方法設定（Ｓ３１６）及び露出設定（Ｓ３１７）では、特定の輝度においてＳｖやＡｖの値がジャンプする場合があった。ライブビュー表示の見栄えやＡＦ性能を考慮すると、ＳｖやＡｖの値を連続的に変化させる方が好ましい。そこで、第２の実施形態では、合成処理方法として更に重み付け加算合成処理を設定可能にすることで、それを可能にした。
【0114】
加算合成、平均合成、及び重み付け加算合成の各処理は、次の演算式に依って定義することができる。
加算合成：Ｓ＝Ｉ１＋Ｉ２＋Ｉ３＋…＋ＩＮ
加算合成：Ｓ＝Ｉ１＋Ｉ２＋Ｉ３＋…＋ＩＮ
【0115】
平均合成：Ｓ＝Ｉ１／Ｎ＋Ｉ２／Ｎ＋Ｉ３／Ｎ＋…＋ＩＮ／Ｎ
重み付け加算合成：Ｓ＝ＷＩ１＋ＷＩ２＋ＷＩ３＋…＋ＷＩＮ
ここで、ＩＫはＫ番目の画像の画素値、Ｓは合成画像の画素値、Ｎは合成フレーム数、Ｗは重みである。
重み付け加算合成：Ｓ＝ＷＩ１＋ＷＩ２＋ＷＩ３＋…＋ＷＩＮ
ここで、ＩＫはＫ番目の画像の画素値、Ｓは合成画像の画素値、Ｎは合成フレーム数、Ｗは重みである。
【0116】
図１３及び図１４を用いて、第２の実施形態に係る、合成処理方法設定（Ｓ３１６）及び露出設定（Ｓ３１７）の一例を説明する。
図１３は、第２の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。図１４は、第２の実施形態に係る、重み付け加算合成処理で使用される重みＷとＢｖの関係の一例を示す図である。
図１３は、第２の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。図１４は、第２の実施形態に係る、重み付け加算合成処理で使用される重みＷとＢｖの関係の一例を示す図である。
【0117】
この例では、図７を用いて説明した例と同様に、ライブビュー用のフレームレートが６４フレーム／秒であるとし、撮影時シャッタースピードとして１秒が設定されているとする。
【0118】
この例において、第２の実施形態に係る合成処理方法設定（Ｓ３１６）では、図１３のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次の合成処理方法が設定される。
【0119】
Ｂｖの値が－９≦Ｂｖ≦－３のときは、加算合成処理が設定される。
Ｂｖの値が－３＜Ｂｖ＜３のときは、重み付け加算合成処理が設定される。但し、このときの重みＷは、図１４に示したとおり、－ｌｏｇ２Ｗ＝Ｂｖ＋３という関係式を満たす値とされる。なお、この関係式は、例えば、図１３に示したライブビュー用のプログラム線図に対応付けられてフラッシュＲＯＭ３１１に記憶されている。
Ｂｖの値が－３＜Ｂｖ＜３のときは、重み付け加算合成処理が設定される。但し、このときの重みＷは、図１４に示したとおり、－ｌｏｇ２Ｗ＝Ｂｖ＋３という関係式を満たす値とされる。なお、この関係式は、例えば、図１３に示したライブビュー用のプログラム線図に対応付けられてフラッシュＲＯＭ３１１に記憶されている。
【0120】
Ｂｖの値が３≦Ｂｖ≦４のときは、平均合成処理が設定される。
第２の実施形態に係る露出設定（Ｓ３１７）では、図１３のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次のＳｖ及びＡｖの値が決定される。
第２の実施形態に係る露出設定（Ｓ３１７）では、図１３のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次のＳｖ及びＡｖの値が決定される。
【0121】
Ｂｖの値が－９≦Ｂｖ≦－３のときは、Ｓｖ＝－Ｂｖ＋２、Ａｖ＝２に決定される。
Ｂｖの値が－３＜Ｂｖ＜３のときは、Ｓｖ＝５、Ａｖ＝２に決定される。
Ｂｖの値が３≦Ｂｖ≦４のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ－１に決定される。
Ｂｖの値が－３＜Ｂｖ＜３のときは、Ｓｖ＝５、Ａｖ＝２に決定される。
Ｂｖの値が３≦Ｂｖ≦４のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ－１に決定される。
【0122】
重み付け加算合成処理では、平均合成処理と同様に、被写体の動きとして、Ｔｖ＝０相当のスローシャッター効果を得ることができる。また、ライブビュー用のフレームレートにおける１フレーム分の画像の明るさは重みＷに依って変化するため、ＳｖやＡｖの値を維持しつつＢｖが－３から３の範囲でも適正露出の画像を得ることが可能になる。
【0123】
以上のとおり、第２の実施形態に依れば、第１の実施形態と同様の効果が得られると共に、Ｂｖの値に応じてＳｖやＡｖの値がジャンプすることがないので、ライブビュー表示の見栄えやＡＦ性能に悪影響を及ぼす虞はない。
【0124】
なお、第２の実施形態において、例えば、静止画撮影時のシャッタースピード及び絞りに関わらず、常に適切な明るさのライブビュー画像を表示する構成とすることも可能である。これを、図１５及び図１６を用いて説明する。
【0125】
図１５は、第２の実施形態の変形例に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。図１６は、第２の実施形態の変形例に係る、重み付け加算合成処理で使用される重みＷとＢｖの関係の一例を示す図である。
【0126】
ここで説明する例では、静止画撮影時のシャッタースピード及び絞りを、Ｔｖ＝０に対応するシャッタースピード及びＡｖ＝５に対応する絞りであるとする。
この例において、第２の実施形態の変形例に係る合成処理方法設定（Ｓ３１６）では、図１５のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次の合成処理方法が設定される。
この例において、第２の実施形態の変形例に係る合成処理方法設定（Ｓ３１６）では、図１５のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次の合成処理方法が設定される。
【0127】
Ｂｖの値がＢｖ＜－６のときは、重み付け加算合成処理が設定される。但し、このときの重みＷは、図１６に示したとおり、－ｌｏｇ２Ｗ＝Ｂｖ＋６という関係式を満たす値とされる。
【0128】
Ｂｖの値が－６≦Ｂｖ≦０のときは、加算合成処理が設定される。
Ｂｖの値が０＜Ｂｖのときは、重み付け加算合成処理が設定される。但し、このときの重みＷは、図１６に示したとおり、－ｌｏｇ２Ｗ＝Ｂｖという関係式を満たす値とされる。
Ｂｖの値が０＜Ｂｖのときは、重み付け加算合成処理が設定される。但し、このときの重みＷは、図１６に示したとおり、－ｌｏｇ２Ｗ＝Ｂｖという関係式を満たす値とされる。
【0129】
なお、図１６に示した関係式は、例えば、図１５に示したライブビュー用のプログラム線図に対応付けられてフラッシュＲＯＭ３１１に記憶されている。
第２の実施形態の変形例に係る露出設定（Ｓ３１７）では、図１５のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次のＳｖ及びＡｖの値が決定される。
第２の実施形態の変形例に係る露出設定（Ｓ３１７）では、図１５のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次のＳｖ及びＡｖの値が決定される。
【0130】
Ｂｖの値がＢｖ＜－６のときは、Ｓｖ＝１１、Ａｖ＝５に決定される。
Ｂｖの値が－６≦Ｂｖ≦０のときは、Ｓｖ＝－Ｂｖ＋５、Ａｖ＝５に決定される。
Ｂｖの値が０＜Ｂｖのときは、Ｓｖ＝５、Ａｖ＝５に決定される。
Ｂｖの値が－６≦Ｂｖ≦０のときは、Ｓｖ＝－Ｂｖ＋５、Ａｖ＝５に決定される。
Ｂｖの値が０＜Ｂｖのときは、Ｓｖ＝５、Ａｖ＝５に決定される。
【0131】
この変形例に依れば、静止画撮影では－６≦Ｂｖ≦０の範囲でしか適正露出が得られないが、ライブビューではＢｖの全範囲で適正露出を得ることができる。加えて、撮影時シャッタースピードだけでなく被写界深度も静止画撮影と同等の画像をライブビュー表示することができる。
【0132】
また、第２の実施形態では、ライブビュー動作中に被写体輝度が時間的に変化すると、その変化のたびに画像合成処理（Ｓ３１１）で使用される合成処理方法が変更され、ライブビュー表示が安定しない虞があった。そこで、画像合成処理（Ｓ３１１）では、次に述べるとおり、ライブビュー表示の安定に好適な処理を行ってもよい。
【0133】
図１７は、Ｓ３１４で検出された被写体輝度に対応するＢｖの値のフレーム毎の変化の一例を示す図である。ここで、フレームは、ライブビュー用のフレームレートにおけるフレームである。
【0134】
図１７に示したとおり、この例では、ｉフレーム目以前はＢｖ＝－４であり、ｉ＋１フレーム目はＢｖ＝０であり、ｉ＋２フレーム目以降はＢｖ＝４である。
この場合、図１３に示したライブビュー用のプログラム線図及び図１４に示した重みＷとＢｖの関係に従って、合成処理方法設定（Ｓ３１６）及び露出設定（Ｓ３１７）が行われるとすると、撮像及び画像合成処理（Ｓ３１１）が次のとおり行われる。
この場合、図１３に示したライブビュー用のプログラム線図及び図１４に示した重みＷとＢｖの関係に従って、合成処理方法設定（Ｓ３１６）及び露出設定（Ｓ３１７）が行われるとすると、撮像及び画像合成処理（Ｓ３１１）が次のとおり行われる。
【0135】
ｉフレーム目までは、Ｂｖ＝－４であるので、Ｓｖ＝６に対応する感度、Ａｖ＝２に対応する絞りで撮像し、６４枚のバッファリング画像を加算合成する。これを式で表すと、Ｓｉ＝Ｉｉ－６３＋Ｉｉ－６２＋…＋Ｉｉ－１＋Ｉｉとなる。
【0136】
ｉ＋１フレーム目では、Ｂｖ＝０であるので、Ｓｖ＝５に対応する感度、Ａｖ＝２に対応する絞りで撮像し、ｉ＋１フレーム目のバッファリング画像のみを重み１／８で重み付け加算合成する。これを式で表すと、Ｓｉ＋１＝Ｉｉ－６２＋Ｉｉ－６１＋…＋Ｉｉ＋（１／８）Ｉｉ＋１となる。
【0137】
ｉ＋２フレーム目では、Ｂｖ＝４であるので、Ｓｖ＝５に対応する感度、Ａｖ＝３に対応する絞りで撮像し、ｉ＋２フレーム目のバッファリング画像のみを平均合成する。これを式で表すと、Ｓｉ＋２＝Ｉｉ－６１＋Ｉｉ－６０＋…＋（１／８）Ｉｉ＋１＋Ｉｉ＋２／６４となる。
【0138】
ｉ＋３フレーム目では、Ｂｖ＝４であるので、Ｓｖ＝５に対応する感度、Ａｖ＝３に対応する絞りで撮像し、ｉ＋２フレーム目とｉ＋３フレーム目のバッファリング画像のみを平均合成する。これを式で表すと、Ｓｉ＋３＝Ｉｉ－６０＋Ｉｉ－５９＋…＋（１／８）Ｉｉ＋１＋Ｉｉ＋２／６４＋Ｉｉ＋３／６４となる。
【0139】
以降、ｉ＋６４フレーム目までは、同様の処理を繰り返す。
ｉ＋６５フレーム目以降は、Ｂｖ＝４であるので、Ｓｖ＝５に対応する感度、Ａｖ＝３に対応する絞りで撮像し、６４枚のバッファリング画像を平均合成する。（Ｓｉ＋６５＝Ｉｉ＋２／６４＋Ｉｉ＋３／６４＋…＋Ｉｉ＋６４／６４＋Ｉｉ＋６５／６４）
ｉ＋６５フレーム目以降は、Ｂｖ＝４であるので、Ｓｖ＝５に対応する感度、Ａｖ＝３に対応する絞りで撮像し、６４枚のバッファリング画像を平均合成する。（Ｓｉ＋６５＝Ｉｉ＋２／６４＋Ｉｉ＋３／６４＋…＋Ｉｉ＋６４／６４＋Ｉｉ＋６５／６４）
【0140】
この処理に依り、ライブビュー表示を安定させることができる。
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。この説明では、第１の実施形態に対して異なる点のみを説明する。また、第１の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。この説明では、第１の実施形態に対して異なる点のみを説明する。また、第１の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
【0141】
図１８は、第３の実施形態に係る静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。
図１８に示したとおり、第３の実施形態に係る静止画撮影待機動作処理は、図３に示した第１の実施形態に係る静止画撮影待機動作処理に対して、Ｓ３１４の後であってＳ３１５の前に感度設定（Ｓ１８０１）が行われると共にＳ３１７の代わりに絞り設定（Ｓ１８０２）が行われる点が異なる。
図１８に示したとおり、第３の実施形態に係る静止画撮影待機動作処理は、図３に示した第１の実施形態に係る静止画撮影待機動作処理に対して、Ｓ３１４の後であってＳ３１５の前に感度設定（Ｓ１８０１）が行われると共にＳ３１７の代わりに絞り設定（Ｓ１８０２）が行われる点が異なる。
【0142】
感度設定（Ｓ１８０１）では、ＢＣＰＵ３２７が、設定されている撮影時シャッタースピードに対応するライブビュー用のプログラム線図と、Ｓ３１４で検出された被写体輝度に対応するＢｖの値とに基づいて、Ｓｖの値を決定し、そのＳｖの値に対応する感度を設定する。
【0143】
絞り設定（Ｓ１８０２）では、ＢＣＰＵ３２７が、設定されている撮影時シャッタースピードに対応するライブビュー用のプログラム線図と、Ｓ１８０１で決定されたＳｖの値とに基づいて、Ａｖの値を決定し、そのＡｖの値に対応する絞りを設定する。
【0144】
また、図１８に示した第３の実施形態に係る静止画撮影待機動作処理において、合成処理方法設定（Ｓ３１６）では、設定されている撮影時シャッタースピードに対応するライブビュー用のプログラム線図と、Ｓ１８０１で決定されたＳｖの値とに基づいて、合成処理方法が決定される。
【0145】
その他については、第１の実施形態に係る静止画撮影待機動作処理と同様である。
次に、図１９を用いて、第３の実施形態に係る、感度設定（Ｓ１８０１）、合成処理方法設定（Ｓ３１６）、及び絞り設定（Ｓ１８０２）の一例を説明する。
次に、図１９を用いて、第３の実施形態に係る、感度設定（Ｓ１８０１）、合成処理方法設定（Ｓ３１６）、及び絞り設定（Ｓ１８０２）の一例を説明する。
【0146】
図１９は、第３の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
この例では、ライブビュー用のフレームレートが６４フレーム／秒であるとし、撮影時シャッタースピードとして１／４秒が設定されているとする。
この例では、ライブビュー用のフレームレートが６４フレーム／秒であるとし、撮影時シャッタースピードとして１／４秒が設定されているとする。
【0147】
この例において、感度設定（Ｓ１８０１）では、図１９のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次のＳｖの値が決定される。
【0148】
Ｂｖの値が－７≦Ｂｖ＜－４のときは、Ｓｖ＝－Ｂｖ＋４に決定される。
Ｂｖの値が－４≦Ｂｖ≦０のときは、Ｓｖ＝８に決定される。
Ｂｖの値が０＜Ｂｖ＜３のときは、Ｓｖ＝－Ｂｖ＋８に決定される。
Ｂｖの値が－４≦Ｂｖ≦０のときは、Ｓｖ＝８に決定される。
Ｂｖの値が０＜Ｂｖ＜３のときは、Ｓｖ＝－Ｂｖ＋８に決定される。
【0149】
Ｂｖの値が３≦Ｂｖ≦６のときは、Ｓｖ＝５に決定される。
第３の実施形態に係る合成処理方法設定（Ｓ３１６）では、図１９のライブビュー用のプログラム線図に示したとおり、Ｓ１８０１で決定されたＳｖの値に応じて、次の合成処理方法が設定される。
第３の実施形態に係る合成処理方法設定（Ｓ３１６）では、図１９のライブビュー用のプログラム線図に示したとおり、Ｓ１８０１で決定されたＳｖの値に応じて、次の合成処理方法が設定される。
【0150】
Ｓｖの値が５≦Ｓｖ＜８のときは、平均合成処理が設定される。
Ｓｖの値が８≦Ｓｖ≦１１のときは、加算合成処理が設定される。
絞り設定（Ｓ１８０２）では、図１９のライブビュー用のプログラム線図に示したとおり、Ｓ１８０１で決定されたＳｖの値に応じて、次のＡｖの値が決定される。
Ｓｖの値が８≦Ｓｖ≦１１のときは、加算合成処理が設定される。
絞り設定（Ｓ１８０２）では、図１９のライブビュー用のプログラム線図に示したとおり、Ｓ１８０１で決定されたＳｖの値に応じて、次のＡｖの値が決定される。
【0151】
Ｓｖの値が５≦Ｓｖ＜８のときは、Ａｖ＝Ｂｖ＋Ｓｖ－６に決定される。
Ｓｖの値が８≦Ｓｖ≦１１のときは、Ａｖ＝Ｂｖ＋Ｓｖ－２に決定される。
以上のとおり、第３の実施形態に依っても、第１の実施形態と同様の効果を得ることができる。
＜第４の実施形態＞
Ｓｖの値が８≦Ｓｖ≦１１のときは、Ａｖ＝Ｂｖ＋Ｓｖ－２に決定される。
以上のとおり、第３の実施形態に依っても、第１の実施形態と同様の効果を得ることができる。
＜第４の実施形態＞
【0152】
次に、本発明の第４の実施形態について説明する。この説明では、第１の実施形態に対して異なる点のみを説明する。また、第１の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
【0153】
図２０は、第４の実施形態に係る静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。
図２０に示したとおり、第４の実施形態に係る静止画撮影待機動作処理は、図３に示した第１の実施形態に係る静止画撮影待機動作処理に対して、Ｓ３１４の後であってＳ３１５の前に絞り設定（Ｓ２００１）が行われると共にＳ３１７の代わりに感度設定（Ｓ２００２）が行われる点が異なる。
図２０に示したとおり、第４の実施形態に係る静止画撮影待機動作処理は、図３に示した第１の実施形態に係る静止画撮影待機動作処理に対して、Ｓ３１４の後であってＳ３１５の前に絞り設定（Ｓ２００１）が行われると共にＳ３１７の代わりに感度設定（Ｓ２００２）が行われる点が異なる。
【0154】
絞り設定（Ｓ２００１）では、ＢＣＰＵ３２７が、設定されている撮影時シャッタースピードに対応するライブビュー用のプログラム線図と、Ｓ３１４で検出された被写体輝度に対応するＢｖの値とに基づいて、Ａｖの値を決定し、そのＡｖの値に対応する絞りを設定する。
【0155】
感度設定（Ｓ２００２）では、ＢＣＰＵ３２７が、設定されている撮影時シャッタースピードに対応するライブビュー用のプログラム線図と、Ｓ２００１で決定されたＡｖの値とに基づいて、Ｓｖの値を決定し、そのＳｖの値に対応する感度を設定する。
【0156】
また、図２０に示した第４の実施形態に係る静止画撮影待機動作処理において、合成処理方法設定（Ｓ３１６）では、設定されている撮影時シャッタースピードに対応するライブビュー用のプログラム線図と、Ｓ２００１で決定されたＡｖの値とに基づいて、合成処理方法が決定される。
【0157】
その他については、第１の実施形態に係る静止画撮影待機動作処理と同様である。
次に、図２１を用いて、第４の実施形態に係る、絞り設定（Ｓ２００１）、合成処理方法設定（Ｓ３１６）、及び感度設定（Ｓ２００２）の一例を説明する。
次に、図２１を用いて、第４の実施形態に係る、絞り設定（Ｓ２００１）、合成処理方法設定（Ｓ３１６）、及び感度設定（Ｓ２００２）の一例を説明する。
【0158】
図２１は、第４の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
この例では、第３の実施形態と同様に、ライブビュー用のフレームレートが６４フレーム／秒であるとし、撮影時シャッタースピードとして１／４秒が設定されているとする。
この例では、第３の実施形態と同様に、ライブビュー用のフレームレートが６４フレーム／秒であるとし、撮影時シャッタースピードとして１／４秒が設定されているとする。
【0159】
この例において、絞り設定（Ｓ２００１）では、図２１のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次のＡｖの値が決定される。
【0160】
Ｂｖの値が－７≦Ｂｖ≦－１のときは、Ａｖ＝２に決定される。
Ｂｖの値が－１＜Ｂｖ＜１のときは、Ａｖ＝Ｂｖ＋３に決定される。
Ｂｖの値が１≦Ｂｖ≦５のときは、Ａｖ＝４に決定される。
Ｂｖの値が－１＜Ｂｖ＜１のときは、Ａｖ＝Ｂｖ＋３に決定される。
Ｂｖの値が１≦Ｂｖ≦５のときは、Ａｖ＝４に決定される。
【0161】
Ｂｖの値が５＜Ｂｖ≦６のときは、Ａｖ＝Ｂｖ－１に決定される。
第４の実施形態に係る合成処理方法設定（Ｓ３１６）では、図２１のライブビュー用のプログラム線図に示したとおり、Ｓ２００１で決定されたＡｖの値に応じて、次の合成処理方法が設定される。
第４の実施形態に係る合成処理方法設定（Ｓ３１６）では、図２１のライブビュー用のプログラム線図に示したとおり、Ｓ２００１で決定されたＡｖの値に応じて、次の合成処理方法が設定される。
【0162】
Ａｖの値が２≦Ａｖ≦４のときは、加算合成処理が設定される。
Ａｖの値が４＜Ａｖ≦５のときは、平均合成処理が設定される。
感度設定（Ｓ２００２）では、図２１のライブビュー用のプログラム線図に示したとおり、Ｓ２００１で決定されたＡｖの値に応じて、次のＳｖの値が決定される。
Ａｖの値が４＜Ａｖ≦５のときは、平均合成処理が設定される。
感度設定（Ｓ２００２）では、図２１のライブビュー用のプログラム線図に示したとおり、Ｓ２００１で決定されたＡｖの値に応じて、次のＳｖの値が決定される。
【0163】
Ａｖの値が２≦Ａｖ≦４のときは、Ｓｖ＝Ａｖ－Ｂｖ＋２に決定される。
Ａｖの値が４＜Ａｖ≦５のときは、Ｓｖ＝Ａｖ－Ｂｖ＋６に決定される。
以上のとおり、第４の実施形態に依っても、第１の実施形態と同様の効果を得ることができる。
＜第５の実施形態＞
Ａｖの値が４＜Ａｖ≦５のときは、Ｓｖ＝Ａｖ－Ｂｖ＋６に決定される。
以上のとおり、第４の実施形態に依っても、第１の実施形態と同様の効果を得ることができる。
＜第５の実施形態＞
【0164】
次に、本発明の第５の実施形態について説明する。この説明では、第１の実施形態に対して異なる点のみを説明する。また、第１の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
【0165】
第５の実施形態では、画像処理コントローラ３０８が、更に、撮影された静止画を合成する機能を有する。
図２２は、第５の実施形態に係る静止画撮影動作処理（Ｓ２０５）の流れを示すフローチャートである。
図２２は、第５の実施形態に係る静止画撮影動作処理（Ｓ２０５）の流れを示すフローチャートである。
【0166】
図２２に示したとおり、第５の実施形態に係る静止画撮影動作処理では、まずＳ２２０１において、ＢＣＰＵ３２７は、図３のＳ３０１の初期化処理と同様の処理を行う。
Ｓ２２０２において、ＢＣＰＵ３２７は、合成モードフラグを０に設定する。合成モードフラグは、静止画合成モードが設定されていないときは０に設定され、静止画合成モードが設定されているときは１に設定されるフラグである。静止画合成モードは、複数の静止画を合成して記録するモードである。静止画合成モードの設定は、カメラ操作ＳＷ３２５のメニュースイッチ、選択スイッチ、及び確定スイッチに依りメニュー画面から設定することができる。なお、この設定は、メニュー画面から行われるのではなく、専用のスイッチを用いて行われてもよい。この場合は、カメラ操作ＳＷ３２５が、静止画合成モードを設定するための指示入力を受け付けるスイッチを備えてもよい。
Ｓ２２０２において、ＢＣＰＵ３２７は、合成モードフラグを０に設定する。合成モードフラグは、静止画合成モードが設定されていないときは０に設定され、静止画合成モードが設定されているときは１に設定されるフラグである。静止画合成モードは、複数の静止画を合成して記録するモードである。静止画合成モードの設定は、カメラ操作ＳＷ３２５のメニュースイッチ、選択スイッチ、及び確定スイッチに依りメニュー画面から設定することができる。なお、この設定は、メニュー画面から行われるのではなく、専用のスイッチを用いて行われてもよい。この場合は、カメラ操作ＳＷ３２５が、静止画合成モードを設定するための指示入力を受け付けるスイッチを備えてもよい。
【0167】
Ｓ２２０３において、ＢＣＰＵ３２７は、静止画合成モードが設定されているか否かを判定する。
Ｓ２２０３の判定結果がＮＯの場合は、処理がＳ２２０６へ進む。
Ｓ２２０３の判定結果がＮＯの場合は、処理がＳ２２０６へ進む。
【0168】
一方、Ｓ２２０３の判定結果がＹＥＳの場合、Ｓ２２０４において、ＢＣＰＵ３２７は、合成モードフラグを１に設定する。
Ｓ２２０５において、ＢＣＰＵ３２７は、合成枚数を算出する。合成枚数は、後述するＳ２２１０で合成画像の生成に使用される静止画の数である。合成枚数は、ユーザが設定した総露光時間に基づいて算出される。総露光時間は、合成画像の生成に使用される複数の静止画の総露光時間である。総露光時間の設定は、例えば、カメラ操作ＳＷ３２５の操作に依り行うことができる。合成枚数の算出は、合成枚数をＭとし、設定されている総露光時間に相当するＴｖをＴｖｃとし、ライブビュー用のフレームレートの１フレームにおける露光時間に相当するＴｖをＴｖａとすると、合成枚数Ｍは、次式を用いて算出される。
Ｓ２２０５において、ＢＣＰＵ３２７は、合成枚数を算出する。合成枚数は、後述するＳ２２１０で合成画像の生成に使用される静止画の数である。合成枚数は、ユーザが設定した総露光時間に基づいて算出される。総露光時間は、合成画像の生成に使用される複数の静止画の総露光時間である。総露光時間の設定は、例えば、カメラ操作ＳＷ３２５の操作に依り行うことができる。合成枚数の算出は、合成枚数をＭとし、設定されている総露光時間に相当するＴｖをＴｖｃとし、ライブビュー用のフレームレートの１フレームにおける露光時間に相当するＴｖをＴｖａとすると、合成枚数Ｍは、次式を用いて算出される。
【0169】
Ｍ＝２＾（Ｔｖａ－Ｔｖｃ）、ここで、「＾」は冪乗を示す。
Ｓ２２０６において、ＢＣＰＵ３２７は、露出を設定する。詳しくは、Ｓ２２０３の判定結果がＹＥＳの後のＳ２２０６では、設定されている総露光時間に対応するＴｖであるＴｖｃに対応する静止画合成用のプログラム線図と、Ｓ３１４で最後に検出された被写体輝度に対応するＢｖの値とに基づいてＡｖ及びＳｖの値を決定し、決定したＡｖ及びＳｖの値に基づいて、絞り２０５の駆動及び撮像感度の設定を行う。一方、Ｓ２２０３の判定結果がＮＯの後のＳ２２０６では、Ｓ３１４で最後に検出された被写体輝度に基づいて、絞り２０５の駆動及び撮像感度の設定を行う。
Ｓ２２０６において、ＢＣＰＵ３２７は、露出を設定する。詳しくは、Ｓ２２０３の判定結果がＹＥＳの後のＳ２２０６では、設定されている総露光時間に対応するＴｖであるＴｖｃに対応する静止画合成用のプログラム線図と、Ｓ３１４で最後に検出された被写体輝度に対応するＢｖの値とに基づいてＡｖ及びＳｖの値を決定し、決定したＡｖ及びＳｖの値に基づいて、絞り２０５の駆動及び撮像感度の設定を行う。一方、Ｓ２２０３の判定結果がＮＯの後のＳ２２０６では、Ｓ３１４で最後に検出された被写体輝度に基づいて、絞り２０５の駆動及び撮像感度の設定を行う。
【0170】
Ｓ２２０７において、ＢＣＰＵ３２７は、静止画用の撮像素子駆動処理を開始する。
Ｓ２２０８において、撮像素子Ｉ／Ｆ回路３０７は、ＢＣＰＵ３２７の制御の下、撮像素子３０６から画像信号を読み出して画像処理コントローラ３０８へ出力する。画像処理コントローラ３０８は、撮像素子３０６から読み出された画像信号に応じた画像を、ＳＤＲＡＭ３１０に格納する。ここで格納された画像は、静止画に対応する。
Ｓ２２０８において、撮像素子Ｉ／Ｆ回路３０７は、ＢＣＰＵ３２７の制御の下、撮像素子３０６から画像信号を読み出して画像処理コントローラ３０８へ出力する。画像処理コントローラ３０８は、撮像素子３０６から読み出された画像信号に応じた画像を、ＳＤＲＡＭ３１０に格納する。ここで格納された画像は、静止画に対応する。
【0171】
Ｓ２２０９において、ＢＣＰＵ３２７は、合成モードフラグが１に設定されているか否かを判定する。
Ｓ２２０９の判定結果がＮＯの場合は、処理がＳ２２１２へ進む。
Ｓ２２０９の判定結果がＮＯの場合は、処理がＳ２２１２へ進む。
【0172】
一方、Ｓ２２０９の判定結果がＹＥＳの場合、Ｓ２２１０において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、ＳＤＲＡＭ３１０に格納された合成枚数分の画像を、設定されている合成処理方法に従って合成することに依り、設定されている総露光時間に対応する露光時間で露光された画像相当の合成画像を生成する、という画像合成処理を行う。ここで、合成枚数は、Ｓ２２０５で算出された合成枚数である。設定されている合成処理方法は、設定されている総露光時間に対応するＴｖであるＴｖｃに対応する静止画合成用のプログラム線図と、Ｓ３１４で最後に検出された被写体輝度に対応するＢｖの値とに基づいて決定される。
【0173】
但し、Ｓ２２１０において、合成枚数分の画像がＳＤＲＡＭ３１０に格納されていない場合は、合成画像の生成を行わず、処理がＳ２２１１へ進む。
Ｓ２２１１において、ＢＣＰＵ３２７は、撮影終了か否かを判定する。この判定では、Ｓ２２１０において合成画像の生成が行われ場合に判定結果がＹＥＳとなり、そうでない場合は判定結果がＮＯとなる。
Ｓ２２１１において、ＢＣＰＵ３２７は、撮影終了か否かを判定する。この判定では、Ｓ２２１０において合成画像の生成が行われ場合に判定結果がＹＥＳとなり、そうでない場合は判定結果がＮＯとなる。
【0174】
Ｓ２２１１の判定結果がＮＯの場合は、処理がＳ２２０８へ戻る。
一方、Ｓ２２１１の判定結果がＹＥＳの場合、Ｓ２２１２において、ＢＣＰＵ３２７は、静止画用の撮像素子駆動処理を終了する。
一方、Ｓ２２１１の判定結果がＹＥＳの場合、Ｓ２２１２において、ＢＣＰＵ３２７は、静止画用の撮像素子駆動処理を終了する。
【0175】
Ｓ２２１３において、ＢＣＰＵ３２７は、現像処理を行う。詳しくは、Ｓ２２０９の判定結果がＹＥＳの後のＳ２２１３では、Ｓ２２１０で生成された合成画像に対して現像処理を行う。一方、Ｓ２２０９の判定結果がＮＯの後のＳ２２１３では、Ｓ２２０８で読み出された画像信号に応じた画像に対して現像処理を行う。
【0176】
Ｓ２２１４において、ＢＣＰＵ３２７は、Ｓ２２１３で現像処理が行われた画像を液晶モニター３１３又は電子ビューファインダー３１４に表示する。なお、Ｓ２２１３で現像処理が行われた画像の表示先又は出力先は、液晶モニター３１３又は電子ビューファインダー３１４に限らず、外部表示装置であってもよい。この場合、その外部表示装置は、外部出力端子３１２に接続された外部表示装置であってもよいし、無線回路３２３を介して無線接続された外部表示装置であってもよい。
【0177】
Ｓ２２１５において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、Ｓ２２１３で現像処理が行われた画像、又は、Ｓ２２１４で液晶モニター３１３又は電子ビューファインダー３１４に表示された画像を、静止画用の画像として、記録メディア３０９に記録する。なお、静止画用の画像の記録先又は出力先は、記録メディア３０９に限らず、外部記録装置であってもよい。この場合、その外部記録装置は、外部出力端子３１２に接続された外部記録装置であってもよいし、無線回路３２３を介して無線接続された外部記録装置であってもよい。
【0178】
【0179】
図２３は、第５の実施形態に係る、静止画用のプログラム線図と静止画合成用のプログラム線図の一例を示す図である。
画像合成処理（Ｓ２２１０）で使用される合成処理方法の設定では、図２３の静止画合成用のプログラム線図に示したとおり、Ｓ３１４で最後に検出された被写体輝度に対応するＢｖの値に応じて、次の合成処理方法が設定される。
画像合成処理（Ｓ２２１０）で使用される合成処理方法の設定では、図２３の静止画合成用のプログラム線図に示したとおり、Ｓ３１４で最後に検出された被写体輝度に対応するＢｖの値に応じて、次の合成処理方法が設定される。
【0180】
Ｂｖの値が－７≦Ｂｖ＜－２のときは、加算合成処理が設定される。
Ｂｖの値が－２≦Ｂｖ≦６のときは、平均合成処理が設定される。
露出設定（Ｓ２２０６）では、図２３の静止画合成用のプログラム線図に示したとおり、Ｂｖの値に応じて、次のＳｖ及びＡｖの値が決定され、その値に応じて露出が設定される。
Ｂｖの値が－２≦Ｂｖ≦６のときは、平均合成処理が設定される。
露出設定（Ｓ２２０６）では、図２３の静止画合成用のプログラム線図に示したとおり、Ｂｖの値に応じて、次のＳｖ及びＡｖの値が決定され、その値に応じて露出が設定される。
【0181】
Ｂｖの値が－７≦Ｂｖ＜－６のときは、Ｓｖ＝－Ｂｖ－１、Ａｖ＝２
Ｂｖの値が－６≦Ｂｖ＜－２のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ＋８
Ｂｖの値が－２≦Ｂｖ＜３のときは、Ｓｖ＝－Ｂｖ＋８、Ａｖ＝２
Ｂｖの値が－６≦Ｂｖ＜－２のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ＋８
Ｂｖの値が－２≦Ｂｖ＜３のときは、Ｓｖ＝－Ｂｖ＋８、Ａｖ＝２
【0182】
Ｂｖの値が３≦Ｂｖ≦６のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ－１
以上のとおり、第５の実施形態に依れば、所望の総露光時間に対応する露光時間で露光された画像相当の静止画を、静止画の合成に依り生成することができる。
＜第６の実施形態＞
以上のとおり、第５の実施形態に依れば、所望の総露光時間に対応する露光時間で露光された画像相当の静止画を、静止画の合成に依り生成することができる。
＜第６の実施形態＞
【0183】
次に、本発明の第６の実施形態について説明する。この説明では、第１の実施形態に対して異なる点のみを説明する。また、第１の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
【0184】
図２４は、第６の実施形態に係る動画撮影待機動作処理（Ｓ２０７）の流れを示すフローチャートである。
図２４に示した動画撮影待機動作処理の流れは、基本的に、図３に示した第１の実施形態に係る静止画撮影待機動作処理の流れと同じである。
図２４に示した動画撮影待機動作処理の流れは、基本的に、図３に示した第１の実施形態に係る静止画撮影待機動作処理の流れと同じである。
【0185】
図２４に示した動画撮影待機動作処理において、Ｓ２４０１乃至Ｓ２４０４における処理は、図３のＳ３０１乃至Ｓ３０４における処理と同じである。なお、Ｓ２４０３では、長秒時動画であるか否かの判定がＢＣＰＵ３２７に依り行われる。この判定では、長秒時ライブビュー機能がオンに設定されている場合は長秒時動画であると判定され、長秒時ライブビュー機能がオフに設定されている場合は長秒時動画でないと判定される。従って、Ｓ２４０３の判定は、実質的に図３のＳ３０３の判定と同じである。
【0186】
Ｓ２４０５において、ＢＣＰＵ３２７は、動画用の撮像素子駆動処理を開始する。この動画用の撮像素子駆動処理は、図３のＳ３０５で開始されるライブビュー用の撮像素子駆動処理と実質的に同じである。
【0187】
Ｓ２４０６乃至Ｓ２４３１７における処理は、図３のＳ３０６乃至Ｓ３１７における処理と同じである。
Ｓ２４１８において、ＢＣＰＵ３２７は、動画撮影開始指示が為されたか否かを判定する。なお、動画撮影開始指示は、レリーズスイッチに依り行うことができる。
Ｓ２４１８において、ＢＣＰＵ３２７は、動画撮影開始指示が為されたか否かを判定する。なお、動画撮影開始指示は、レリーズスイッチに依り行うことができる。
【0188】
Ｓ２４１８の判定結果がＮＯの場合は、処理がＳ２４０６へ戻る。
一方、Ｓ２４１８の判定結果がＹＥＳの場合は、図２４に示した動画撮影待機動作処理が終了する。
一方、Ｓ２４１８の判定結果がＹＥＳの場合は、図２４に示した動画撮影待機動作処理が終了する。
【0189】
図２５は、第６の実施形態に係る動画撮影動作処理（Ｓ２０８）の流れを示すフローチャートである。
図２５に示した動画撮影動作処理において、Ｓ２５０１における処理は、図２４のＳ２４０６における処理と同じである。Ｓ２５０２乃至Ｓ２５０７における処理は、図２４のＳ２４０８乃至Ｓ２４１３における処理と同じである。
図２５に示した動画撮影動作処理において、Ｓ２５０１における処理は、図２４のＳ２４０６における処理と同じである。Ｓ２５０２乃至Ｓ２５０７における処理は、図２４のＳ２４０８乃至Ｓ２４１３における処理と同じである。
【0190】
Ｓ２５０８において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、Ｓ２５０６で現像処理が行われた画像、又は、Ｓ２５０７で液晶モニター３１３又は電子ビューファインダー３１４に表示された画像を、動画用の画像として、記録メディア３０９に記録する。なお、ここで記録される動画用の画像は、動画の１フレーム分の画像である。動画用の画像の記録先又は出力先は、記録メディア３０９に限らず、外部記録装置であってもよい。この場合、その外部記録装置は、外部出力端子３１２に接続された外部記録装置であってもよいし、無線回路３２３を介して無線接続された外部記録装置であってもよい。
【0191】
Ｓ２５０９乃至２５１２における処理は、Ｓ２４１４乃至Ｓ２４１７における処理と同じである。
Ｓ２５１３において、ＢＣＰＵ３２７は、動画撮影終了指示が為されたか否かを判定する。なお、動画撮影終了指示も、レリーズスイッチに依り行うことができる。
Ｓ２５１３において、ＢＣＰＵ３２７は、動画撮影終了指示が為されたか否かを判定する。なお、動画撮影終了指示も、レリーズスイッチに依り行うことができる。
【0192】
Ｓ２５１３の判定結果がＮＯの場合は、処理がＳ２５０１へ戻る。
一方、Ｓ２５１３の判定結果がＹＥＳの場合、Ｓ２５１４において、ＢＣＰＵ３２７は、Ｓ２４０５で開始した動画用の撮像素子駆動処理を終了し、図２５に示した動画撮影動作処理が終了する。
一方、Ｓ２５１３の判定結果がＹＥＳの場合、Ｓ２５１４において、ＢＣＰＵ３２７は、Ｓ２４０５で開始した動画用の撮像素子駆動処理を終了し、図２５に示した動画撮影動作処理が終了する。
【0193】
なお、第６の実施形態において、Ｓ２４１３及びＳ２５０７で表示されるライブビュー画像のサイズとＳ２５０８で記録される動画用の画像のサイズが異なる場合に、それぞれを別々に生成するのは非効率である。そこで、図２４に示した動画撮影待機動作処理及び図２５に示した動画撮影動作処理において扱う画像のサイズを、記録される動画用の画像サイズに合わせ、Ｓ２４１３及びＳ２５０７においては、画像サイズを縮小させた画像を表示してもよい。あるいは、動画用の画像に高い解像度が求められていない場合には、図２４に示した動画撮影待機動作処理及び図２５に示した動画撮影動作処理において扱う画像のサイズを適度な画像サイズとし、Ｓ２４１３及びＳ２５０７においては、画像サイズをアップコンバートに依り拡大させた画像を表示してもよい。なお、この画像サイズの縮小又は拡大は、例えば、Ｓ２４１２及びＳ２５０６の現像処理の中で行われる。
【0194】
以上のとおり、第６の実施形態に依れば、動画撮影待機動作中においてはライブビュー表示を行わせ、動画撮影動作中においてはライブビュー表示と共に、動画記録又は外部装置への動画出力を行わせることができる。ライブビュー表示においては、第１の実施形態と同様の効果が得られることは勿論である。
【0195】
以上に説明した各実施形態における合成処理方法の設定、Ｓｖ及びＡｖの値の決定について、以下、補足説明を行う。
まず、Ｔｖに関して、Ｔｖａ、Ｔｖｂ、及びＴｖｃを、次のとおり定義する。
まず、Ｔｖに関して、Ｔｖａ、Ｔｖｂ、及びＴｖｃを、次のとおり定義する。
【0196】
Ｔｖａ：合成前画像１つの露光時間に対応するＴｖ
Ｔｖｂ：合成後画像の明るさに相当するＴｖ
Ｔｖｃ：合成後画像の総露光時間に対応するＴｖ
Ｔｖｂ：合成後画像の明るさに相当するＴｖ
Ｔｖｃ：合成後画像の総露光時間に対応するＴｖ
【0197】
ここで、合成前画像は、撮像フレーム画像である。合成後画像は、合成画像である。合成後画像の総露光時間は、合成後画像の生成に使用された合成前画像の露光時間の合計である。
【0198】
合成前後で画像の明るさがＡ倍になった場合、Ｔｖｂ＝Ｔｖａ－ｌｏｇ２Ａと表すことができる。例えば、６４フレームのＴｖａ＝６の合成前画像を加算合成した場合、明るさは６４倍になるので、Ｔｖｂ＝６－ｌｏｇ２６４＝０となる。また、６４フレームのＴｖａ＝６の合成前画像を平均合成した場合、明るさは１倍になるので、Ｔｖｂ＝６－ｌｏｇ２１＝６となる。
【0199】
Ｎフレームの合成前画像を合成した場合、合成方法に依らず、Ｔｖｃ＝Ｔｖａ－ｌｏｇ２Ｎ＝Ｔｖｂ+ｌｏｇ２Ａ－ｌｏｇ２Ｎと表すことができる。例えば、６４フレームのＴｖａ＝６の合成前画像を合成した場合は、Ｔｖｃ＝６－ｌｏｇ２６４＝０となる。これについて、加算合成の観点では、６４フレームのＴｖａ＝６の合成前画像を加算合成した場合、明るさは６４倍になるので、Ｔｖｃ＝Ｔｖｂ+ｌｏｇ２６４－ｌｏｇ２６４＝Ｔｖｂ＝０となる。また、平均合成の観点では、６４フレームのＴｖａ＝６の合成前画像を平均合成した場合、明るさは１倍になるので、Ｔｖｃ＝Ｔｖｂ+ｌｏｇ２１－ｌｏｇ２４＝Ｔｖｂ‐６＝０となる。つまり、合成方法に依らず、Ｔｖｃ＝０となる。
【0200】
また、Ｔｖ０、Ｔｖａ０、Ｔｖｃ０を、次のとおり定義する。
Ｔｖ０：ユーザが設定した静止画撮影時の露光時間に相当するＴｖ
Ｔｖａ０：ライブビュー１フレームの露光時間に相当するＴｖ
Ｔｖ０：ユーザが設定した静止画撮影時の露光時間に相当するＴｖ
Ｔｖａ０：ライブビュー１フレームの露光時間に相当するＴｖ
【0201】
Ｔｖｃ０：合成に依るライブビュー画像の露光時間に相当するＴｖ
ここで、ユーザが設定した静止画撮影時の露光時間は、撮影時シャッタースピードである。Ｔｖａ０とＴｖ０の関係においては、Ｔｖａ０＞Ｔｖ０の関係がある。長秒時ライブビュー機能がオンに設定されている場合は、合成に依るライブビュー画像の露光時間を静止画撮影時の露光時間と同等とするため、Ｔｖｃ０＝Ｔｖ０の関係がある。加算合成の場合は、Ｔｖｂ＝Ｔｖｃ０の関係がある。平均合成の場合は、Ｔｖｂ＝Ｔｖａ０の関係がある。
ここで、ユーザが設定した静止画撮影時の露光時間は、撮影時シャッタースピードである。Ｔｖａ０とＴｖ０の関係においては、Ｔｖａ０＞Ｔｖ０の関係がある。長秒時ライブビュー機能がオンに設定されている場合は、合成に依るライブビュー画像の露光時間を静止画撮影時の露光時間と同等とするため、Ｔｖｃ０＝Ｔｖ０の関係がある。加算合成の場合は、Ｔｖｂ＝Ｔｖｃ０の関係がある。平均合成の場合は、Ｔｖｂ＝Ｔｖａ０の関係がある。
【0202】
また、カメラ１００は、次の範囲で静止画撮影可能と仮定する。
最大絞り：Ａｖｍｉｎ
最小絞り：Ａｖｍａｘ
最大絞り：Ａｖｍｉｎ
最小絞り：Ａｖｍａｘ
【0203】
最低感度：Ｓｖｍｉｎ
最高感度：Ｓｖｍａｘ
ここで、最大絞りとは、絞り２０５に依る開口面積を最大にした状態のことであり、この状態に対応するＡｖの値は最小となる。最小絞りとは、絞り２０５に依る開口面積を最小にした状態のことであり、この状態に対応するＡｖの値は最大となる。
最高感度：Ｓｖｍａｘ
ここで、最大絞りとは、絞り２０５に依る開口面積を最大にした状態のことであり、この状態に対応するＡｖの値は最小となる。最小絞りとは、絞り２０５に依る開口面積を最小にした状態のことであり、この状態に対応するＡｖの値は最大となる。
【0204】
また、静止画撮影で適正露出が得られる輝度範囲は、Ｔｖ＋Ａｖ＝Ｓｖ＋Ｂｖの関係から、次のとおり表される。
最低輝度：Ｂｖｍｉｎ＝Ｔｖ０＋Ａｖｍｉｎ－Ｓｖｍａｘ
最低輝度：Ｂｖｍｉｎ＝Ｔｖ０＋Ａｖｍｉｎ－Ｓｖｍａｘ
【0205】
最高輝度：Ｂｖｍａｘ＝Ｔｖ０＋Ａｖｍａｘ－Ｓｖｍｉｎ
これらを前提に、まず、第１の実施形態について補足説明を行う。
ここでは、ライブビューにおける最小絞りに次の制限があると仮定する。
これらを前提に、まず、第１の実施形態について補足説明を行う。
ここでは、ライブビューにおける最小絞りに次の制限があると仮定する。
【0206】
ライブビューにおける最小絞り：Ａｖｍａｘ'＜Ａｖｍａｘ
加算合成に依り適正露出が得られる輝度範囲は、次のとおり表される。
最低輝度：Ｂｖｍｉｎ（加算）＝Ｔｖｃ０＋Ａｖｍｉｎ－Ｓｖｍａｘ
加算合成に依り適正露出が得られる輝度範囲は、次のとおり表される。
最低輝度：Ｂｖｍｉｎ（加算）＝Ｔｖｃ０＋Ａｖｍｉｎ－Ｓｖｍａｘ
【0207】
最高輝度：Ｂｖｍａｘ（加算）＝Ｔｖｃ０＋Ａｖｍａｘ'－Ｓｖｍｉｎ
ここで、Ｂｖｍｉｎ（加算）＝Ｂｖｍｉｎでもあり、Ｂｖｍａｘ（加算）＜Ｂｖｍａｘ
でもある。
ここで、Ｂｖｍｉｎ（加算）＝Ｂｖｍｉｎでもあり、Ｂｖｍａｘ（加算）＜Ｂｖｍａｘ
でもある。
【0208】
平均合成に依り適正露出が得られる輝度範囲は、次のとおり表される。
最低輝度：Ｂｖｍｉｎ（平均）＝Ｔｖａ０＋Ａｖｍｉｎ－Ｓｖｍａｘ
最高輝度：Ｂｖｍａｘ（平均）＝Ｔｖａ０＋Ａｖｍａｘ'－Ｓｖｍｉｎ
最低輝度：Ｂｖｍｉｎ（平均）＝Ｔｖａ０＋Ａｖｍｉｎ－Ｓｖｍａｘ
最高輝度：Ｂｖｍａｘ（平均）＝Ｔｖａ０＋Ａｖｍａｘ'－Ｓｖｍｉｎ
【0209】
ここで、Ｂｖｍｉｎ（平均）＞Ｂｖｍｉｎ（加算）でもあり、Ｂｖｍａｘ（平均）＞Ｂｖｍａｘ（加算）でもある。
図７及び図８を用いて説明した例の場合は、検出された被写体輝度に対応するＢｖの値に依って、次のとおり合成処理方法が設定される。この設定方法は、加算合成処理を優先した設定方法でもある。
図７及び図８を用いて説明した例の場合は、検出された被写体輝度に対応するＢｖの値に依って、次のとおり合成処理方法が設定される。この設定方法は、加算合成処理を優先した設定方法でもある。
【0210】
Ｂｖｍｉｎ≦Ｂｖ≦Ｂｖｍａｘ（加算）：加算合成処理
Ｂｖｍａｘ（加算）＜Ｂｖ≦Ｂｖｍａｘ：平均合成処理
また、図９を用いて説明した例の場合は、検出された被写体輝度に対応するＢｖの値に依って、次のとおり合成処理方法が設定される。この設定方法は、平均合成処理を優先した設定方法でもある。
Ｂｖｍａｘ（加算）＜Ｂｖ≦Ｂｖｍａｘ：平均合成処理
また、図９を用いて説明した例の場合は、検出された被写体輝度に対応するＢｖの値に依って、次のとおり合成処理方法が設定される。この設定方法は、平均合成処理を優先した設定方法でもある。
【0211】
Ｂｖｍｉｎ≦Ｂｖ＜Ｂｖｍｉｎ（平均）：加算合成処理
Ｂｖｍｉｎ（平均）≦Ｂｖ≦Ｂｖｍａｘ：平均合成処理
Ａｖ、Ｓｖの値は、次の関係式を満たす値に決定される。
Ｂｖｍｉｎ（平均）≦Ｂｖ≦Ｂｖｍａｘ：平均合成処理
Ａｖ、Ｓｖの値は、次の関係式を満たす値に決定される。
【0212】
加算合成処理：Ａｖ－Ｓｖ＝Ｂｖ－Ｔｖｃ０
平均合成処理：Ａｖ－Ｓｖ＝Ｂｖ－Ｔｖａ０
この関係式に依ればＡｖとＳｖの値の決め方に自由度があるため、条件を設定して一意に決定する。第１実施形態の場合は、Ｓｖの値が最小となる条件を設定する。
平均合成処理：Ａｖ－Ｓｖ＝Ｂｖ－Ｔｖａ０
この関係式に依ればＡｖとＳｖの値の決め方に自由度があるため、条件を設定して一意に決定する。第１実施形態の場合は、Ｓｖの値が最小となる条件を設定する。
【0213】
次に、第２の実施形態について補足説明を行う。
重みＷ、合成枚数Ｎとして重み付け加算合成を行った場合、合成前後で明るさはＮ×Ｗ倍となるため、Ｔｖｂ＝Ｔｖａ０－ｌｏｇ２ＮＷ＝（Ｔｖａ０－ｌｏｇ２Ｎ）－ｌｏｇ２Ｗ＝Ｔｖｃ０－ｌｏｇ２Ｗと表される。
重みＷ、合成枚数Ｎとして重み付け加算合成を行った場合、合成前後で明るさはＮ×Ｗ倍となるため、Ｔｖｂ＝Ｔｖａ０－ｌｏｇ２ＮＷ＝（Ｔｖａ０－ｌｏｇ２Ｎ）－ｌｏｇ２Ｗ＝Ｔｖｃ０－ｌｏｇ２Ｗと表される。
【0214】
第２の実施形態では、絞りや感度のジャンプ、即ちＡｖやＳｖのジャンプ、を避けるため、各合成処理において、次のとおり制約が設けられる。
加算合成処理：Ａｖ＝Ａｖｍｉｎ
加算合成処理：Ａｖ＝Ａｖｍｉｎ
【0215】
重み付け加算合成処理：Ａｖ＝Ａｖｍｉｎ、Ｓｖ＝Ｓｖｍｉｎ、１／Ｎ＜Ｗ＜１
平均合成処理：Ｓｖ＝Ｓｖｍｉｎ
この制約の下、加算合成処理で適正露出が得られる輝度範囲は、次のとおり表される。
平均合成処理：Ｓｖ＝Ｓｖｍｉｎ
この制約の下、加算合成処理で適正露出が得られる輝度範囲は、次のとおり表される。
【0216】
最低輝度：Ｂｖｍｉｎ（加算）＝Ｔｖｃ０＋Ａｖｍｉｎ－Ｓｖｍａｘ
最高輝度：Ｂｖｍａｘ（加算）＝Ｔｖｃ０＋Ａｖｍｉｎ－Ｓｖｍｉｎ
ここで、Ｂｖｍｉｎ（加算）＝Ｂｖｍｉｎでもある。
最高輝度：Ｂｖｍａｘ（加算）＝Ｔｖｃ０＋Ａｖｍｉｎ－Ｓｖｍｉｎ
ここで、Ｂｖｍｉｎ（加算）＝Ｂｖｍｉｎでもある。
【0217】
重み付け加算合成処理で適正露出が得られる輝度範囲は、次のとおり表される。
最低輝度：Ｂｖｍｉｎ（重み付け加算）＝Ｔｖｃ０＋Ａｖｍｉｎ－Ｓｖｍｉｎ
最高輝度：Ｂｖｍａｘ（重み付け加算）＝Ｔｖａ０＋Ａｖｍｉｎ－Ｓｖｍｉｎ
最低輝度：Ｂｖｍｉｎ（重み付け加算）＝Ｔｖｃ０＋Ａｖｍｉｎ－Ｓｖｍｉｎ
最高輝度：Ｂｖｍａｘ（重み付け加算）＝Ｔｖａ０＋Ａｖｍｉｎ－Ｓｖｍｉｎ
【0218】
ここで、Ｂｖｍｉｎ（重み付け加算）＝Ｂｖｍａｘ（加算）でもあり、Ｂｖｍａｘ（重み付け加算）＝Ｂｖｍｉｎ（平均）でもある。
平均合成処理で適正露出が得られる輝度範囲は、次のとおり表される。
平均合成処理で適正露出が得られる輝度範囲は、次のとおり表される。
【0219】
最低輝度：Ｂｖｍｉｎ（平均）＝Ｔｖａ０＋Ａｖｍｉｎ－Ｓｖｍｉｎ
最高輝度：Ｂｖｍａｘ（平均）＝Ｔｖａ０＋Ａｖｍａｘ'－Ｓｖｍｉｎ
図１３及び図１４を用いて説明した例では、検出された被写体輝度に対応するＢｖの値に依って、次のとおり合成処理方法が設定される。
最高輝度：Ｂｖｍａｘ（平均）＝Ｔｖａ０＋Ａｖｍａｘ'－Ｓｖｍｉｎ
図１３及び図１４を用いて説明した例では、検出された被写体輝度に対応するＢｖの値に依って、次のとおり合成処理方法が設定される。
【0220】
Ｂｖｍｉｎ≦Ｂｖ≦Ｂｖｍａｘ（加算）：加算合成処理
Ｂｖｍａｘ（加算）＜Ｂｖ＜Ｂｖｍｉｎ（平均）：重み付け加算合成処理
Ｂｖｍｉｎ（平均）≦Ｂｖ≦Ｂｖｍａｘ：平均合成処理
Ｂｖｍａｘ（加算）＜Ｂｖ＜Ｂｖｍｉｎ（平均）：重み付け加算合成処理
Ｂｖｍｉｎ（平均）≦Ｂｖ≦Ｂｖｍａｘ：平均合成処理
【0221】
Ａｖ、Ｓｖの値は、次のとおり決定される。
加算合成処理：Ａｖ＝Ａｖｍｉｎ、Ｓｖ＝Ｔｖｃ０＋Ａｖｍｉｎ－Ｂｖ
重み付け加算合成処理：Ａｖ＝Ａｖｍｉｎ、Ｓｖ＝Ｓｖｍｉｎ、但し、重みＷは、ｌｏｇ２Ｗ＝Ｔｖｃ０＋Ａｖｍｉｎ－Ｓｖｍｉｎ－Ｂｖを満たす値
加算合成処理：Ａｖ＝Ａｖｍｉｎ、Ｓｖ＝Ｔｖｃ０＋Ａｖｍｉｎ－Ｂｖ
重み付け加算合成処理：Ａｖ＝Ａｖｍｉｎ、Ｓｖ＝Ｓｖｍｉｎ、但し、重みＷは、ｌｏｇ２Ｗ＝Ｔｖｃ０＋Ａｖｍｉｎ－Ｓｖｍｉｎ－Ｂｖを満たす値
【0222】
【0223】
Ｂｖｍｉｎ≦Ｂｖ≦Ｂｖｍａｘ（加算）：加算合成処理
Ｂｖ＜Ｂｖｍｉｎ（加算）、Ｂｖｍａｘ（加算）＜Ｂｖ：重み付け加算合成処理
図１５及び図１６を用いて説明した例は、Ａｖの値が固定の例であり、Ａｖ＝５となる。
Ｂｖ＜Ｂｖｍｉｎ（加算）、Ｂｖｍａｘ（加算）＜Ｂｖ：重み付け加算合成処理
図１５及び図１６を用いて説明した例は、Ａｖの値が固定の例であり、Ａｖ＝５となる。
【0224】
Ｓｖの値は、Ｂｖの値に応じて決定される。
次に、第３の実施形態について補足説明を行う。
第３の実施形態では、Ｓｖの値に依って、次のとおり合成処理方法が設定される。
次に、第３の実施形態について補足説明を行う。
第３の実施形態では、Ｓｖの値に依って、次のとおり合成処理方法が設定される。
【0225】
Ｓｖ０≦Ｓｖ≦Ｓｖｍａｘ：加算合成処理
Ｓｖｍｉｎ≦Ｓｖ＜Ｓｖ０：平均合成処理
なお、加算合成処理を実施するＳｖの範囲、平均合成処理を実施するＳｖの範囲は、予め決められている。
Ｓｖｍｉｎ≦Ｓｖ＜Ｓｖ０：平均合成処理
なお、加算合成処理を実施するＳｖの範囲、平均合成処理を実施するＳｖの範囲は、予め決められている。
【0226】
この制限の下、Ａｖが決定される。
次に、第４の実施形態について補足説明を行う。
第４の実施形態では、Ａｖの値に依って、次のとおり合成処理方法が設定される。
次に、第４の実施形態について補足説明を行う。
第４の実施形態では、Ａｖの値に依って、次のとおり合成処理方法が設定される。
【0227】
Ａｖｍｉｎ≦Ａｖ≦Ａｖ０：加算合成処理
Ａｖ０＜Ａｖ≦Ａｖｍａｘ'：平均合成処理
なお、加算合成処理を実施するＡｖの範囲、平均合成を実施するＡｖの範囲は、予め決められている。
Ａｖ０＜Ａｖ≦Ａｖｍａｘ'：平均合成処理
なお、加算合成処理を実施するＡｖの範囲、平均合成を実施するＡｖの範囲は、予め決められている。
【0228】
この制限の下、Ｓｖが決定される。
次に、第５の実施形態について補足説明を行う。
ここでは、Ｔｖ＝Ｔｖ０で撮影した画像をＭ枚平均合成して静止画を生成し記録する場合を仮定する。この場合、合成後の静止画に関するＴｖａ、Ｔｖｂ、Ｔｖｃは、次のとおり表される。
次に、第５の実施形態について補足説明を行う。
ここでは、Ｔｖ＝Ｔｖ０で撮影した画像をＭ枚平均合成して静止画を生成し記録する場合を仮定する。この場合、合成後の静止画に関するＴｖａ、Ｔｖｂ、Ｔｖｃは、次のとおり表される。
【0229】
Ｔｖａ＝Ｔｖ０
Ｔｖｂ＝Ｔｖ０
Ｔｖｃ＝Ｔｖ０－ｌｏｇ２Ｍ
Ｔｖｂ＝Ｔｖ０
Ｔｖｃ＝Ｔｖ０－ｌｏｇ２Ｍ
【0230】
なお、平均合成では合成前後で明るさが変化しないため、Ｔｖｂ＝Ｔｖ０となる。
静止画合成モードでは、Ｔｖａ、Ｔｖｂ、Ｔｖｃが、次のとおり表される。
Ｔｖａ＝Ｔｖａ０
静止画合成モードでは、Ｔｖａ、Ｔｖｂ、Ｔｖｃが、次のとおり表される。
Ｔｖａ＝Ｔｖａ０
【0231】
加算合成処理の場合のＴｖｂ＝Ｔｖ０－ｌｏｇ２Ｍ
平均合成処理の場合のＴｖｂ＝Ｔｖａ０
Ｔｖｃ＝Ｔｖ０－ｌｏｇ２Ｍ
平均合成処理の場合のＴｖｂ＝Ｔｖａ０
Ｔｖｃ＝Ｔｖ０－ｌｏｇ２Ｍ
【0232】
このとき、加算合成処理で適正露出が得られる輝度範囲は、次のとおり表される。
最低輝度：Ｂｖｍｉｎ（加算）＝Ｔｖ０－ｌｏｇ２Ｍ＋Ａｖｍｉｎ－Ｓｖｍａｘ
最高輝度：Ｂｖｍａｘ（加算）＝Ｔｖ０－ｌｏｇ２Ｍ＋Ａｖｍａｘ'－Ｓｖｍｉｎ
最低輝度：Ｂｖｍｉｎ（加算）＝Ｔｖ０－ｌｏｇ２Ｍ＋Ａｖｍｉｎ－Ｓｖｍａｘ
最高輝度：Ｂｖｍａｘ（加算）＝Ｔｖ０－ｌｏｇ２Ｍ＋Ａｖｍａｘ'－Ｓｖｍｉｎ
【0233】
また、平均合成処理で適正露出が得られる輝度範囲は、次のとおり表される。
最低輝度：Ｂｖｍｉｎ（平均）＝Ｔｖａ０＋Ａｖｍｉｎ－Ｓｖｍａｘ
最高輝度：Ｂｖｍａｘ（平均）＝Ｔｖａ０＋Ａｖｍａｘ'－Ｓｖｍｉｎ
最低輝度：Ｂｖｍｉｎ（平均）＝Ｔｖａ０＋Ａｖｍｉｎ－Ｓｖｍａｘ
最高輝度：Ｂｖｍａｘ（平均）＝Ｔｖａ０＋Ａｖｍａｘ'－Ｓｖｍｉｎ
【0234】
図２３を用いて説明した例では、検出された被写体輝度に対応するＢｖの値に依って、次のとおり合成処理方法が設定される。
Ｂｖｍｉｎ≦Ｂｖ≦Ｂｖｍａｘ（加算）：加算合成処理
Ｂｖｍａｘ（加算）＜Ｂｖ≦Ｂｖｍａｘ：平均合成処理
Ｂｖｍｉｎ≦Ｂｖ≦Ｂｖｍａｘ（加算）：加算合成処理
Ｂｖｍａｘ（加算）＜Ｂｖ≦Ｂｖｍａｘ：平均合成処理
【0235】
Ａｖ、Ｓｖの値は、第１の実施形態と同様に決定される。
第６の実施形態については、第１の実施形態と同様に、合成処理方法、Ｓｖの値、及びＡｖの値が決定される。
第６の実施形態については、第１の実施形態と同様に、合成処理方法、Ｓｖの値、及びＡｖの値が決定される。
【0236】
なお、以上に説明した各実施形態において、加算合成処理、平均合成処理、及び重み付け加算合成処理の各処理は、例えば、本出願人が過去に出願した特願２０１７－２１８７３３に開示の画像合成処理の手順に従って行われてもよい。この場合、例えば、加算合成処理では、ゲイン値を１として画像の累積加算が行われ、平均合成処理では、ゲイン値を１／合成枚数として画像の累積加算が行われる。
【0237】
以上、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせに依り、様々の発明を形成できる。例えば、実施形態に示される全構成要素のいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0238】
１００ カメラ
２００ レンズユニット
２０１ レンズ側マウント部
２０２ レンズ側通信コネクタ
２０３ 撮影レンズ
２０４ レンズ駆動回路
２０５ 絞り
２０６ 絞り駆動回路
２０７ ＥＥＰＲＯＭ
２０８ レンズ制御用マイクロコンピュータ（ＬＣＰＵ）
３００ ボディユニット
３０１ ボディ側マウント部
３０２ ボディ側通信コネクタ
３０３ シャッター
３０４ シャッターチャージ機構
３０５ シャッター制御回路
３０６ 撮像素子
３０７ 撮像素子インターフェース回路（撮像素子Ｉ／Ｆ回路）
３０８ 画像処理コントローラ
３０９ 記録メディア
３１０ ＳＤＲＡＭ
３１１ フラッシュＲＯＭ（ＦＲＡＳＨ ＲＯＭ）
３１２ 外部出力端子
３１３ 液晶モニター
３１４ 電子ビューファインダー
３１５ 撮像ステージ
３１６ 撮像ステージ駆動回路
３１７ 姿勢変化検出部
３１８ 防振制御回路
３１９ ストロボ
３２０ ストロボ駆動回路
３２１ 電源回路
３２２ 電池
３２３ 無線回路
３２４ 動作表示部
３２５ カメラ操作ＳＷ
３２６ ＥＥＰＲＯＭ
３２７ ボディ制御用マイクロコンピュータ（ＢＣＰＵ）
３０３１ 先幕
３０３２ 後幕
３１７１ Ｙ方向Ｇセンサ
３１７２ Ｘ方向Ｇセンサ
３１７３ ピッチジャイロセンサ（ピッチジャイロ）
３１７４ ヨージャイロセンサ（ヨージャイロ）
３１７５ ロールジャイロセンサ（ロールジャイロ）
２００ レンズユニット
２０１ レンズ側マウント部
２０２ レンズ側通信コネクタ
２０３ 撮影レンズ
２０４ レンズ駆動回路
２０５ 絞り
２０６ 絞り駆動回路
２０７ ＥＥＰＲＯＭ
２０８ レンズ制御用マイクロコンピュータ（ＬＣＰＵ）
３００ ボディユニット
３０１ ボディ側マウント部
３０２ ボディ側通信コネクタ
３０３ シャッター
３０４ シャッターチャージ機構
３０５ シャッター制御回路
３０６ 撮像素子
３０７ 撮像素子インターフェース回路（撮像素子Ｉ／Ｆ回路）
３０８ 画像処理コントローラ
３０９ 記録メディア
３１０ ＳＤＲＡＭ
３１１ フラッシュＲＯＭ（ＦＲＡＳＨ ＲＯＭ）
３１２ 外部出力端子
３１３ 液晶モニター
３１４ 電子ビューファインダー
３１５ 撮像ステージ
３１６ 撮像ステージ駆動回路
３１７ 姿勢変化検出部
３１８ 防振制御回路
３１９ ストロボ
３２０ ストロボ駆動回路
３２１ 電源回路
３２２ 電池
３２３ 無線回路
３２４ 動作表示部
３２５ カメラ操作ＳＷ
３２６ ＥＥＰＲＯＭ
３２７ ボディ制御用マイクロコンピュータ（ＢＣＰＵ）
３０３１ 先幕
３０３２ 後幕
３１７１ Ｙ方向Ｇセンサ
３１７２ Ｘ方向Ｇセンサ
３１７３ ピッチジャイロセンサ（ピッチジャイロ）
３１７４ ヨージャイロセンサ（ヨージャイロ）
３１７５ ロールジャイロセンサ（ロールジャイロ）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
