特許 6985898 撮像装置及び表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6985898

(24)【登録日】2021年11月30日

(45)【発行日】2021年12月22日

(54)【発明の名称】撮像装置及び表示方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20211213BHJP

   G03B 15/00 20210101ALI20211213BHJP

   G03B 17/00 20210101ALI20211213BHJP

   G03B 17/18 20210101ALI20211213BHJP

【ＦＩ】

   H04N5/232 935

   G03B15/00 H

   G03B17/00 Q

   G03B17/18 Z

   H04N5/232 290

   H04N5/232 300

   H04N5/232 939

【請求項の数】20

【全頁数】31

(21)【出願番号】特願2017-218733(P2017-218733)

(22)【出願日】2017年11月14日

(65)【公開番号】特開2019-92018(P2019-92018A)

(43)【公開日】2019年6月13日

【審査請求日】2020年10月14日

(73)【特許権者】

【識別番号】321001056

【氏名又は名称】ＯＭデジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110002907

【氏名又は名称】特許業務法人イトーシン国際特許事務所

(72)【発明者】

【氏名】福田 崇徳

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２０１６−２０１６８９（ＪＰ，Ａ）

【文献】 特開２０１７−１２３６７０（ＪＰ，Ａ）

【文献】 特開２０１７−１６３１９１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／００

Ｇ０３Ｂ １７／１８

(57)【特許請求の範囲】

【請求項1】

撮影時の露光時間を設定する露光時間設定部と、
被写体像を撮像する撮像部と、
複数の画像を用いて合成画像を生成する画像合成部と、
画像を表示する表示部と、
を備え、
前記撮像部は、露光及び画像信号の出力を、ライブビュー動作時の撮像条件に対応する一定の時間間隔で繰り返し、
前記画像合成部は、前記撮像部が前記露光及び前記画像信号の出力を複数回繰り返すことにより得られた複数の画像を累積加算した後、累積加算画像の数に応じて決定される任意の実数であるゲイン値を乗算することによって、前記露光時間設定部により設定された露光時間相当の画像となる合成画像を生成し、
前記表示部は、前記合成画像に基づいた画像を表示する、
ことを特徴とする撮像装置。

【請求項2】

前記画像合成部は、前記撮像部が前記露光及び前記画像信号の出力を行う毎に、直前に生成した前記合成画像の生成に用いられた前記複数の画像の中で最も古い画像の成分を前記合成画像から減算すると共に、前記撮像部が最後に出力した画像信号に応じた画像の成分を前記減算後の前記合成画像に加算することにより、前記露光時間設定部により設定された露光時間相当の画像となる合成画像を生成する、
ことを特徴とする請求項１記載の撮像装置。

【請求項3】

露光時間を入力する露光時間入力部を更に備え、
前記露光時間設定部は、前記露光時間入力部により入力された露光時間を、前記撮影時の露光時間として設定する、
ことを特徴とする請求項１又は２記載の撮像装置。

【請求項4】

前記露光時間設定部は、前記一定の時間間隔よりも長い時間を、前記撮影時の露光時間として設定する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。

【請求項5】

前記表示部は、前記合成画像に基づいた画像の表示を、前記露光時間設定部により設定された露光時間よりも短い時間間隔で更新する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。

【請求項6】

前記露光時間設定部により設定された露光時間が、前記一定の時間間隔と同じ、又は、前記一定の時間間隔よりも短い場合、前記表示部は、前記撮像部が出力した画像信号に応じた画像に基づいた画像を表示する、
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。

【請求項7】

前記画像合成部が前記合成画像の生成に用いる画像の数は、前記露光時間設定部により設定された露光時間を前記一定の時間間隔で除算した値に基づいて決定される、
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。

【請求項8】

前記表示部は、前記合成画像に基づいた画像と、前記撮像部が出力した画像信号に応じた画像に基づいた画像とを切り換えて表示すると共に、前記合成画像に基づいた画像と前記画像信号に応じた画像に基づいた画像のいずれが表示されているかを判別可能にする情報を表示する、
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。

【請求項9】

前記表示部は、前記合成画像に基づいた画像を表示すると共に、表示した前記合成画像に基づいた画像が前記露光時間設定部により設定された露光時間相当の画像になっているか否かを判別可能にする情報を表示する、
ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。

【請求項10】

画像を記録する記録部を更に備え、
前記記録部は、複数の、前記合成画像に基づいた画像を動画として記録する、
ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。

【請求項11】

前記撮像部は、更に、前記露光時間設定部により設定された露光時間の露光及び画像信号の出力を繰り返し、
前記記録部は、複数の、前記撮像部が出力した画像信号に応じた画像に基づいた画像を、動画として記録する、
ことを特徴とする請求項１０記載の撮像装置。

【請求項12】

画像を外部装置へ出力する出力部を更に備え、
前記出力部は、前記合成画像を静止画として出力し、又は、複数の前記合成画像を動画として出力する、
ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。

【請求項13】

前記撮像部は、更に、前記露光時間設定部により設定された露光時間の露光及び画像信号の出力を繰り返し、
前記出力部は、前記撮像部が出力した画像信号に応じた画像を静止画として出力し、又は、複数の、前記撮像部が出力した画像信号に応じた画像を、動画として出力する、
ことを特徴とする請求項１２記載の撮像装置。

【請求項14】

前記撮像装置の姿勢変化を検出する姿勢変化検出部を更に備え、
前記姿勢変化検出部の検出結果が所定の閾値範囲に含まれない場合、前記表示部は、前記撮像部が出力した画像信号に応じた画像に基づいた画像を表示する、
ことを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。

【請求項15】

前記撮像装置の姿勢変化を検出する姿勢変化検出部を更に備え、
前記姿勢変化検出部の検出結果が所定の閾値範囲に含まれない場合において前記画像合成部が合成画像の生成に用いる複数の画像の数は、前記姿勢変化検出部の検出結果が前記所定の閾値範囲に含まれる場合において前記画像合成部が合成画像の生成に用いる複数の画像の数よりも少ない、
ことを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。

【請求項16】

撮影時の露光時間を設定する露光時間設定ステップと、
被写体像を撮像する撮像ステップと、
複数の画像を用いて合成画像を生成する画像合成ステップと、
画像を表示する表示ステップと、
を備え、
前記撮像ステップでは、露光及び画像信号の出力を、ライブビュー動作時の撮像条件に対応する一定の時間間隔で繰り返し、
前記画像合成ステップでは、前記撮像ステップにおいて前記露光及び前記画像信号の出力を複数回繰り返すことにより得られた複数の画像を累積加算した後、累積加算画像の数に応じて決定される任意の実数であるゲイン値を乗算することによって、前記露光時間設定ステップにおいて設定された露光時間相当の画像となる合成画像を生成し、
前記表示ステップでは、前記合成画像に基づいた画像を表示する、
ことを特徴とする表示方法。

【請求項17】

前記画像合成ステップでは、前記撮像ステップにおいて前記露光及び前記画像信号の出力を行う毎に、直前に生成した前記合成画像の生成に用いられた前記複数の画像の中で最も古い画像の成分を前記合成画像から減算すると共に、前記撮像ステップにおいて最後に出力された画像信号に応じた画像の成分を前記減算後の前記合成画像に加算することにより、前記露光時間設定ステップにおいて設定された露光時間相当の画像となる合成画像を生成する、
ことを特徴とする請求項１６記載の表示方法。

【請求項18】

露光時間を入力する露光時間入力ステップを更に備え、
前記露光時間設定ステップでは、前記露光時間入力ステップにおいて入力された露光時間を、前記撮影時の露光時間として設定する、
ことを特徴とする請求項１６又は１７記載の表示方法。

【請求項19】

前記露光時間設定ステップでは、前記一定の時間間隔よりも長い時間を、前記撮影時の露光時間として設定する、
ことを特徴とする請求項１６乃至１８のいずれか１項に記載の表示方法。

【請求項20】

前記表示ステップでは、前記合成画像に基づいた画像の表示を、前記露光時間設定ステップにおいて設定された露光時間よりも短い時間間隔で更新する、
ことを特徴とする請求項１６乃至１９のいずれか１項に記載の表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、及び、その撮像装置において実行される表示方法に関する。

【背景技術】

【0002】

昨今の撮像装置は、ライブビュー機能を持ち、撮影前（撮影待機中）に写真の仕上がりを見ながら撮影時の設定を調整できるものが一般的になっている。ライブビュー機能とは、撮影前に被写体像の撮像及び表示を繰り返し行う機能のことである。ライブビュー機能の動作中は、レンズの絞りや露出補正による画像の明るさ、ＷＢ（White Balance）等の設定による効果を、表示された被写体画像で確認することができる。

【0003】

また、シャッタースピードの設定による効果を撮影前に確認することができる撮像装置が知られている（例えば特許文献１参照）。この撮像装置では、撮影前において、設定されているシャッタースピードに対応した露光時間での撮像及び表示が繰り返し行われる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−１０６４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１のような撮像装置では、撮影前において、低速のシャッタースピード（例えば１秒）が設定されると、その設定に伴って被写体像の撮像及び表示を繰り返す時間間隔が長くなってしまう。すなわち、表示される被写体像の更新時間間隔が長くなってしまう。その結果、表示された被写体画像を見ながらフレーミングを行うことが困難になったり、適切なタイミングで撮影ができなかったり、といった問題が生じ得る。

【0006】

本発明は、上記実状に鑑み、設定されている撮影時シャッタースピードが低速であっても、撮影前において、撮影時シャッタースピードによる効果を確認することができると共にフレーミングに支障をきたすことなく適切なタイミングで撮影することができる撮像装置及び表示方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の態様は、撮影時の露光時間を設定する露光時間設定部と、被写体像を撮像する撮像部と、複数の画像を用いて合成画像を生成する画像合成部と、画像を表示する表示部と、を備え、前記撮像部は、露光及び画像信号の出力を、ライブビュー動作時の撮像条件に対応する一定の時間間隔で繰り返し、前記画像合成部は、前記撮像部が前記露光及び前記画像信号の出力を複数回繰り返すことにより得られた複数の画像を累積加算した後、累積加算画像の数に応じて決定される任意の実数であるゲイン値を乗算することによって、前記露光時間設定部により設定された露光時間相当の画像となる合成画像を生成し、前記表示部は、前記合成画像に基づいた画像を表示する、ことを特徴とする撮像装置である。

【0008】

本発明の第２の態様は、第１の態様において、前記画像合成部は、前記撮像部が前記露光及び前記画像信号の出力を行う毎に、直前に生成した前記合成画像の生成に用いられた前記複数の画像の中で最も古い画像の成分を前記合成画像から減算すると共に、前記撮像部が最後に出力した画像信号に応じた画像の成分を前記減算後の前記合成画像に加算することにより、前記露光時間設定部により設定された露光時間相当の画像となる合成画像を生成する、ことを特徴とする。

【0009】

本発明の第３の態様は、第１又は２の態様において、露光時間を入力する露光時間入力部を更に備え、前記露光時間設定部は、前記露光時間入力部により入力された露光時間を、前記撮影時の露光時間として設定する、ことを特徴とする。

【0010】

本発明の第４の態様は、第１乃至３のいずれか１つの態様において、前記露光時間設定部は、前記一定の時間間隔よりも長い時間を、前記撮影時の露光時間として設定する、ことを特徴とする。

【0011】

本発明の第５の態様は、第１乃至４のいずれか１つの態様において、前記表示部は、前記合成画像に基づいた画像の表示を、前記露光時間設定部により設定された露光時間よりも短い時間間隔で更新する、ことを特徴とする。

【0012】

本発明の第６の態様は、第１乃至５のいずれか１つの態様において、前記露光時間設定部により設定された露光時間が、前記一定の時間間隔と同じ、又は、前記一定の時間間隔よりも短い場合、前記表示部は、前記撮像部が出力した画像信号に応じた画像に基づいた画像を表示する、ことを特徴とする。

【0013】

本発明の第７の態様は、第１乃至６のいずれか１つの態様において、前記画像合成部が前記合成画像の生成に用いる画像の数は、前記露光時間設定部により設定された露光時間を前記一定の時間間隔で除算した値に基づいて決定される、ことを特徴とする。

【0015】

本発明の第８の態様は、第１乃至７のいずれか１つの態様において、前記表示部は、前記合成画像に基づいた画像と、前記撮像部が出力した画像信号に応じた画像に基づいた画像とを切り換えて表示すると共に、前記合成画像に基づいた画像と前記画像信号に応じた画像に基づいた画像のいずれが表示されているかを判別可能にする情報を表示する、ことを特徴とする。

【0016】

本発明の第９の態様は、第１乃至８のいずれか１つの態様において、前記表示部は、前記合成画像に基づいた画像を表示すると共に、表示した前記合成画像に基づいた画像が前記露光時間設定部により設定された露光時間相当の画像になっているか否かを判別可能にする情報を表示する、ことを特徴とする。

【0017】

本発明の第１０の態様は、第１乃至９のいずれか１つの態様において、画像を記録する記録部を更に備え、前記記録部は、複数の、前記合成画像に基づいた画像を動画として記録する、ことを特徴とする。

【0018】

本発明の第１１の態様は、第１０の態様において、前記撮像部は、更に、前記露光時間設定部により設定された露光時間の露光及び画像信号の出力を繰り返し、前記記録部は、複数の、前記撮像部が出力した画像信号に応じた画像に基づいた画像を、動画として記録する、ことを特徴とする。

【0019】

本発明の第１２の態様は、第１乃至９のいずれか１つの態様において、画像を外部装置へ出力する出力部を更に備え、前記出力部は、前記合成画像を静止画として出力し、又は、複数の前記合成画像を動画として出力する、ことを特徴とする。

【0020】

本発明の第１３の態様は、第１２の態様において、前記撮像部は、更に、前記露光時間設定部により設定された露光時間の露光及び画像信号の出力を繰り返し、前記出力部は、前記撮像部が出力した画像信号に応じた画像を静止画として出力し、又は、複数の、前記撮像部が出力した画像信号に応じた画像を、動画として出力する、ことを特徴とする。

【0021】

本発明の第１４の態様は、第１乃至１３のいずれか１つの態様において、前記撮像装置の姿勢変化を検出する姿勢変化検出部を更に備え、前記姿勢変化検出部の検出結果が所定の閾値範囲に含まれない場合、前記表示部は、前記撮像部が出力した画像信号に応じた画像に基づいた画像を表示する、ことを特徴とする。

【0022】

本発明の第１５の態様は、第１乃至１３のいずれか１つの態様において、前記撮像装置の姿勢変化を検出する姿勢変化検出部を更に備え、前記姿勢変化検出部の検出結果が所定の閾値範囲に含まれない場合において前記画像合成部が合成画像の生成に用いる複数の画像の数は、前記姿勢変化検出部の検出結果が前記所定の閾値範囲に含まれる場合において前記画像合成部が合成画像の生成に用いる複数の画像の数よりも少ない、ことを特徴とする。

【0023】

本発明の第１６の態様は、撮影時の露光時間を設定する露光時間設定ステップと、被写体像を撮像する撮像ステップと、複数の画像を用いて合成画像を生成する画像合成ステップと、画像を表示する表示ステップと、を備え、前記撮像ステップでは、露光及び画像信号の出力を、ライブビュー動作時の撮像条件に対応する一定の時間間隔で繰り返し、前記画像合成ステップでは、前記撮像ステップにおいて前記露光及び前記画像信号の出力を複数回繰り返すことにより得られた複数の画像を累積加算した後、累積加算画像の数に応じて決定される任意の実数であるゲイン値を乗算することによって、前記露光時間設定ステップにおいて設定された露光時間相当の画像となる合成画像を生成し、前記表示ステップでは、前記合成画像に基づいた画像を表示する、ことを特徴とする表示方法である。

【0024】

本発明の第１７の態様は、第１６の態様において、前記画像合成ステップでは、前記撮像ステップにおいて前記露光及び前記画像信号の出力を行う毎に、直前に生成した前記合成画像の生成に用いられた前記複数の画像の中で最も古い画像の成分を前記合成画像から減算すると共に、前記撮像ステップにおいて最後に出力された画像信号に応じた画像の成分を前記減算後の前記合成画像に加算することにより、前記露光時間設定ステップにおいて設定された露光時間相当の画像となる合成画像を生成する、ことを特徴とする。

【0025】

本発明の第１８の態様は、第１６又は１７の態様において、露光時間を入力する露光時間入力ステップを更に備え、前記露光時間設定ステップでは、前記露光時間入力ステップにおいて入力された露光時間を、前記撮影時の露光時間として設定する、ことを特徴とする。

【0026】

本発明の第１９の態様は、第１６乃至１８のいずれか１つの態様において、前記露光時間設定ステップでは、前記一定の時間間隔よりも長い時間を、前記撮影時の露光時間として設定する、ことを特徴とする。

【0027】

本発明の第２０の態様は、第１６乃至１９のいずれか１つの態様において、前記表示ステップでは、前記合成画像に基づいた画像の表示を、前記露光時間設定ステップにおいて設定された露光時間よりも短い時間間隔で更新する、ことを特徴とする。

【発明の効果】

【0028】

本発明によれば、設定されている撮影時シャッタースピードが低速であっても、撮影前において、撮影時シャッタースピードによる効果を確認することができると共にフレーミングに支障をきたすことなく適切なタイミングで撮影することができる、という効果を奏する。

【図面の簡単な説明】

【0029】

【図1】第１の実施形態に係る撮像装置であるカメラの構成例を示す図である。

【図2】カメラにおいて実行されるメイン処理の流れを示すフローチャートである。

【図3】第１の実施形態に係る静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。

【図4】２回目以降の合成画像の生成が行われる画像合成処理（Ｓ３０７）の流れを示すフローチャートである。

【図5】図４に示した画像合成処理を示す処理ブロック図である。

【図6】合成枚数が変化しない場合の加減算処理（Ｓ５０１）を示す処理ブロック図である。

【図7】合成枚数が１つ増加した場合の加減算処理（Ｓ５０１）を示す処理ブロック図である。

【図8】合成枚数が１つ減少した場合の加減算処理（Ｓ５０１）を示す処理ブロック図である。

【図9】図３に示した静止画撮影待機動作処理に従って行われるライブビュー動作のタイミングチャートである。

【図10】図３に示した静止画撮影待機動作処理の実行中における、撮像フレームと合成フレームの関係を示す概念図である。

【図11】図１０に示した概念図において、画像合成処理（Ｓ３０７）として図４に示した画像合成処理が行われているときの概念図である。

【図12】図３に示した静止画撮影待機動作処理の実行中において、長秒時ライブビュー機能がオンに設定されたとき及びオフに設定されたときの、撮像フレームと合成フレームの関係を示す概念図である。

【図13】図１２に示した概念図において、長秒時ライブビュー機能がオンに設定されたときの動作及びオフに設定されたときの動作を変形したときの概念図である。

【図14】図３に示した静止画撮影待機動作処理の実行中において、撮影時シャッタースピードが、より低速に変更されたときの、撮像フレームと合成フレームの関係を示す概念図である。

【図15】フレーミング時のカメラのぶれ量の時間的変化の一例を示す図である。

【図16】第２の実施形態に係る静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。

【図17】図１６に示した静止画撮影待機動作処理の実行中において、カメラのアングル変更が行われたときの、撮像フレームと合成フレームの関係を示す概念図である。

【図18】第３の実施形態に係る静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。

【図19】図１８に示した静止画撮影待機動作処理のＳ３０９で液晶モニター又は電子ビューファインダーに表示された画像（ライブビュー画像）の一例を示す図である。

【図20】液晶モニター又は電子ビューファインダーに表示された画像（ライブビュー画像）の一例を示す図である。

【図21】第４の実施形態に係る動画撮影待機動作処理（Ｓ２０７）の流れを示すフローチャートである。

【図22】第４の実施形態に係る動画撮影動作処理（Ｓ２０８）の流れを示すフローチャートである。

【発明を実施するための形態】

【0030】

以下、図面を参照しながら、本発明の実施の形態について説明する。
＜第１の実施形態＞
図１は、第１の実施形態に係る撮像装置であるカメラの構成例を示す図である。

【0031】

図１に示したように、カメラ１００は、レンズユニット２００がボディユニット３００に装着された構成を有する。ボディユニット３００は、レンズユニット２００を着脱自在に構成されており、レンズユニット２００の装着は、ボディユニット３００に設けられたボディ側マウント部３０１とレンズユニット２００に設けられたレンズ側マウント部２０１とが互いに勘合することにより行われる。これにより、レンズユニット２００がボディユニット３００に固定されると共に、レンズユニット２００に設けられたレンズ側通信コネクタ２０２とボディユニット３００に設けられたボディ側通信コネクタ３０２とが電気的に接続され、レンズユニット２００とボディユニット３００との間で通信が可能になる。

【0032】

レンズユニット２００は、撮影レンズ２０３、レンズ駆動回路２０４、絞り２０５、絞り駆動回路２０６、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２０７、及びレンズ制御用マイクロコンピュータ（以下「ＬＣＰＵ」という）２０８を含む。

【0033】

撮影レンズ２０３は、被写体の光学像である被写体像を撮像素子３０６の撮像面に結像する。なお、図１では、説明の便宜上、撮影レンズ２０３を１つのレンズとして示すが、実際には、フォーカスレンズやズームレンズを含む複数のレンズから構成されている。

【0034】

レンズ駆動回路２０４は、ＬＣＰＵ２０８の制御の下、撮影レンズ２０３に含まれるフォーカスレンズやズームレンズを駆動する。レンズ駆動回路２０４は、ステッピングモータやモータドライバ（モータドライブ回路）を含んで構成される。

【0035】

絞り２０５は、開口面積を変化させることにより、撮像面に結像される被写体像の光量を調整する。これにより、露出の調整が行われる。
絞り駆動回路２０６は、ＬＣＰＵ２０８の制御の下、絞り２０５を駆動する。絞り駆動回路２０６は、ステッピングモータやモータドライバを含んで構成される。

【0036】

ＥＥＰＲＯＭ２０７は、レンズユニット２００の動作を制御するプログラムや、そのプログラムの実行に必要なデータや、レンズユニット２００に関する情報（撮影レンズ２０３の情報を含む）等を記憶する。

【0037】

ＬＣＰＵ２０８は、プロセッサ（例えばＣＰＵ）を含み、ＥＥＰＲＯＭ２０７に記憶されたプログラムを実行することにより、レンズ側通信コネクタ２０２を介してボディ制御用マイクロコンピュータ（以下「ＢＣＰＵ」という）３２７と通信を行い、ＢＣＰＵ３２７の制御の下、レンズユニット２００の各部を制御してレンズユニット２００の全体動作を制御する。なお、ＬＣＰＵ２０８は、例えば、ＡＳＩＣ（application specific integrated circuit）又はＦＰＧＡ（field-programmable gate array）等の専用回路により構成されてもよい。

【0038】

ボディユニット３００は、シャッター３０３、シャッターチャージ機構３０４、シャッター制御回路３０５、撮像素子３０６、撮像素子インターフェース回路（以下「撮像素子Ｉ／Ｆ回路」という）３０７、画像処理コントローラ３０８、記録メディア３０９、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）３１０、フラッシュＲＯＭ（ＦＬＡＳＨ ＲＯＭ（Read Only Memory））３１１、外部出力端子３１２、液晶モニター３１３、電子ビューファインダー３１４、撮像ステージ３１５、撮像ステージ駆動回路３１６、姿勢変化検出部３１７、防振制御回路３１８、ストロボ３１９、ストロボ駆動回路３２０、電源回路３２１、電池３２２、無線回路３２３、動作表示部３２４、カメラ操作ＳＷ（switch）３２５、ＥＥＰＲＯＭ３２６、及びＢＣＰＵ３２７を含む。

【0039】

シャッター３０３は、先幕３０３１及び後幕３０３２の開閉動作を行うことにより、撮像素子３０６の撮像面を露光状態又は遮光状態にする。シャッター３０３は、例えばフォーカルプレーンシャッターである。

【0040】

シャッターチャージ機構３０４は、ＢＣＰＵ３２７の制御の下、シャッター３０３の先幕３０３１と後幕３０３２を駆動するバネをチャージする。
シャッター制御回路３０５は、ＢＣＰＵ３２７の制御の下、シャッター３０３の動作（先幕３０３１と後幕３０３２の動作）を制御する。

【0041】

撮像素子３０６は、撮像面に結像された被写体像を電気信号に変換する。すなわち、被写体像を撮像する。撮像素子３０６は、例えばＣＣＤ（charge coupled device）又はＣＭＯＳ（complementary metal oxide semiconductor）等のイメージセンサである。

【0042】

撮像素子Ｉ／Ｆ回路３０７は、ＢＣＰＵ３２７の制御の下、撮像素子３０６の動作を制御すると共に、撮像素子３０６から出力される画像信号を画像処理コントローラ３０８へ出力する。

【0043】

画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、撮像素子３０６から出力された画像信号に対して各種の画像処理（γ補正、色変換、デモザイキング等）を施して画像（画像データ）を生成する。例えば、ライブビュー用に適した画像処理を施してライブビュー用の画像を生成したり、記録用に適した画像処理を施して記録用の画像を生成したりする。なお、ライブビュー用に適した画像処理や記録用に適した画像処理を現像処理ともいう。また、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、複数の画像（撮像素子３０６から出力された画像信号に応じた画像）を用いて合成画像（合成画像データ）を生成する。また、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、生成した合成画像に対し、ライブビュー用に適した画像処理を施してライブビュー用の画像を生成したり、記録用に適した画像処理を施して記録用の画像を生成したりする。また、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、記録メディア３０９に記録された画像データに対して伸張処理を含む画像処理を施して再生用の画像（画像データ）を生成する。なお、画像処理コントローラ３０８は、ＡＳＩＣやＦＰＧＡ等の専用回路により構成されてもよいし、プロセッサ（例えばＣＰＵ）を含んで構成されてもよい。

【0044】

記録メディア３０９は、ボディユニット３００に対して着脱自在なＳＤカード、コンパクトフラッシュ（登録商標）等の不揮発性の記録媒体である。なお、記録メディア３０９は、ボディユニット３００に内蔵された（固定の）ハードディスクや半導体メモリ等でもよい。記録メディア３０９は、例えば、画像処理コントローラ３０８により生成された画像を記録する。

【0045】

ＳＤＲＡＭ３１０は、画像処理コントローラ３０８のワークエリアとして使用され、例えば、画像処理コントローラ３０８による処理中の画像（画像データ）が一時的に格納される。

【0046】

フラッシュＲＯＭ３１１は、画像処理コントローラ３０８による画像処理に必要な各種パラメータ等を記憶する。なお、画像処理コントローラ３０８がプロセッサを含んで構成される場合は、フラッシュＲＯＭ３１１が、そのプロセッサにより実行されるプログラムや、そのプログラムの実行に必要なデータ等を記憶するようにしてもよい。

【0047】

外部出力端子３１２は、ケーブルを介して外部装置と接続され、例えば、画像処理コントローラ３０８により生成された画像を外部装置へ出力する。
液晶モニター３１３は、画像処理コントローラ３０８により生成された画像や各種情報等を表示する。

【0048】

電子ビューファインダー３１４は、液晶モニター３１３と同様に、画像処理コントローラ３０８により生成された画像や各種情報等を表示する。
撮像ステージ３１５は、撮像素子３０６を撮像面に平行な方向へ移動させると共に、撮像素子３０６を、撮像面に直交する軸を回転軸として回転させる駆動機構である。撮像ステージ３１５は、撮像素子３０６を平行移動及び回転させるための複数のアクチュエータ（例えばＶＣＭ（Voice Coil Motor））を含んで構成される。

【0049】

撮像ステージ駆動回路３１６は、ＢＣＰＵ３２７及び防振制御回路３１８の制御の下、撮像ステージ３１５を駆動する。
姿勢変化検出部３１７は、カメラ１００の姿勢変化を検出する。姿勢変化検出部３１７は、Ｙ方向Ｇセンサ３１７１、Ｘ方向Ｇセンサ３１７２、ピッチジャイロセンサ（以下「ピッチジャイロ」という）３１７３、ヨージャイロセンサ（以下「ヨージャイロ」という）３１７４、ロールジャイロセンサ（以下「ロールジャイロ」という）３１７５を含む。なお、本実施形態では、撮影レンズ２０３の光軸方向をＺ方向とし、その光軸方向に直交し且つ互いに直交する２つの方向（水平方向及び垂直方向）をＸ方向及びＹ方向とする。

【0050】

Ｙ方向Ｇセンサ３１７１は、カメラ１００のＹ方向の加速度を検出する。
Ｘ方向Ｇセンサ３１７２は、カメラ１００のＸ方向の加速度を検出する。
ピッチジャイロ３１７３は、カメラ１００のピッチ方向の回転角速度（Ｘ方向の軸を回転軸とするカメラ１００の回転角速度）を検出する。

【0051】

ヨージャイロ３１７４は、カメラ１００のヨー方向の回転角速度（Ｙ方向の軸を回転軸とするカメラ１００の回転角速度）を検出する。
ロールジャイロ３１７５は、カメラ１００のロール方向の回転角速度（Ｚ方向の軸を回転軸とするカメラ１００の回転角速度）を検出する。

【0052】

防振制御回路３１８は、ＢＣＰＵ３２７の制御の下、姿勢変化検出部３１７の検出結果（Ｙ方向Ｇセンサ３１７１、Ｘ方向Ｇセンサ３１７２、ピッチジャイロ３１７３、ヨージャイロ３１７４、ロールジャイロ３１７５の各検出結果）に基づいて、撮像素子３０６の撮像面に結像されている被写体像の像ぶれを打ち消す方向に撮像素子３０６を移動させるように、撮像ステージ駆動回路３１６を制御する。

【0053】

ストロボ３１９は、シャッター３０３の動作（露光動作）に同期して発光する。ストロボ３１９は、光源として、例えばキセノンランプ又はＬＥＤ（Light Emitting Diode）を含む。

【0054】

ストロボ駆動回路３２０は、ＢＣＰＵ３２７の制御の下、ストロボ３１９を駆動して発光させる。
電源回路３２１は、ＢＣＰＵ３２７の制御の下、電池３２２の電圧を、カメラ１００の各部（各回路）が必要とする電圧に変換して供給する。

【0055】

無線回路３２３は、ＢＣＰＵ３２７の制御の下、図示しない外部装置と無線通信を行い、例えば、画像処理コントローラ３０８により生成された画像を外部装置へ出力する。

【0056】

動作表示部３２４は、カメラ１００の動作状態をユーザに通知するためのＬＥＤを備え、ＢＣＰＵ３２７の制御の下、カメラ１００の動作状態に応じてＬＥＤを点灯又は消灯させる。

【0057】

カメラ操作ＳＷ３２５は、カメラ１００の電源をオン状態又はオフ状態へ切り換えるための指示入力を受け付ける電源スイッチ、撮影指示入力を受け付けるレリーズスイッチ、動作モードを静止画撮影モード、動画撮影モード、又は再生モードへ切り換えるための指示入力を受け付けるモード切換スイッチ、メニュー画面を表示する指示入力を受け付けるメニュースイッチ（メニューボタン）、メニュー画面上の項目を選択する指示入力を受け付ける選択スイッチ（選択ボタン）、選択された項目を確定する指示入力を受け付ける確定スイッチ（確定ボタン）等の各種スイッチを備える。メニュー画面は、液晶モニター３１３又は電子ビューファインダー３１４に表示される。例えば、撮影時の撮影条件（シャッタースピードや露出等）は、メニュースイッチ、選択スイッチ、及び確定スイッチの操作により、メニュー画面から入力、設定が可能である。なお、撮影時のシャッタースピードは、撮影時の露光時間に対応する。

【0058】

ＥＥＰＲＯＭ３２６は、カメラ１００の動作を制御するプログラムや、そのプログラムの実行に必要なデータ等を記憶する。
ＢＣＰＵ３２７は、プロセッサ（例えばＣＰＵ）を含み、ＥＥＰＲＯＭ３２６に記憶されたプログラムを実行することにより、ボディ側通信コネクタ３０２を介してＬＣＰＵ２０８と通信を行うと共に、カメラ１００の各部を制御してカメラ１００の全体動作を制御する。なお、ＢＣＰＵ３２７は、例えば、ＡＳＩＣ又はＦＰＧＡ等の専用回路により構成されてもよい。

【0059】

次に、カメラ１００において実行される処理について説明する。
カメラ１００において実行される処理は、ＢＣＰＵ３２７の制御の下に行われる。
図２は、カメラ１００において実行されるメイン処理の流れを示すフローチャートである。

【0060】

図２に示したように、メイン処理では、まずＳ２０１において、ＢＣＰＵ３２７は、カメラ操作ＳＷ３２５の電源スイッチ（電源ＳＷ）により、カメラ１００の電源がオン（ＯＮ）状態にされたか否かを判定する。

【0061】

Ｓ２０１の判定結果がＮＯの場合は、Ｓ２０１の判定を繰り返す。
一方、Ｓ２０１の判定結果がＹＥＳの場合、Ｓ２０２において、ＢＣＰＵ３２７は、カメラ初期化処理を行う。この処理では、例えば、レンズユニット２００に関する情報をＬＣＰＵ２０８から取得する等の処理が行われる。

【0062】

Ｓ２０３において、ＢＣＰＵ３２７は、設定されている動作モードが、静止画撮影モード、動画撮影モード、及び再生モードのいずれであるかを判定する。なお、動作モードの切り換えは、カメラ操作ＳＷ３２５のモード切換スイッチにより行われる。

【0063】

Ｓ２０３の判定結果が静止画撮影モードである場合、Ｓ２０４において、ＢＣＰＵ３２７は、静止画撮影待機動作処理を行う。詳細は、図３を用いて後述する。
Ｓ２０４の処理中において静止画撮影指示が為されると、Ｓ２０５において、ＢＣＰＵ３２７は、静止画撮影動作処理を行う。この処理では、設定されている撮影条件（シャッタースピード、露出等）に従って被写体の静止画を撮影し、その静止画を記録メディア３０９に記録する、という静止画撮影動作を行うための処理が行われる。

【0064】

Ｓ２０６において、ＢＣＰＵ３２７は、静止画撮影動作が終了したか否かを判定する。
Ｓ２０６の判定結果がＮＯの場合は、Ｓ２０６の判定を繰り返す。
一方、Ｓ２０６の判定結果がＹＥＳの場合は、処理がＳ２１２へ進む。

【0065】

Ｓ２０３の判定結果が動画撮影モードである場合、Ｓ２０７において、ＢＣＰＵ３２７は、動画撮影待機動作処理を行う。本実施形態では、被写体像を撮像して液晶モニター３１３又は電子ビューファインダー３１４に表示する、という動作を繰り返すための処理が行われる。

【0066】

Ｓ２０７の処理中において動画撮影開始指示が為されと、Ｓ２０８において、ＢＣＰＵ３２７は、動画撮影動作処理を行う。本実施形態では、動画撮影終了指示が為されるまで、設定されている撮影条件（シャッタースピード、露出等）に従って被写体の動画を撮影し、その動画を記録メディア３０９に記録する、という動画撮影動作を行うための処理が行われる。

【0067】

Ｓ２０９において、ＢＣＰＵ３２７は、動画撮影動作が終了したか否かを判定する。
Ｓ２０９の判定結果がＮＯの場合は、Ｓ２０９の判定を繰り返す。
一方、Ｓ２０９の判定結果がＹＥＳの場合は、処理がＳ２１２へ進む。

【0068】

Ｓ２０３の判定結果が再生モードである場合、Ｓ２１０において、ＢＣＰＵ３２７は、再生モード動作処理を行う。この処理では、例えば、記録メディア３０９に記録されている画像データを液晶モニター３１３に表示する、という再生モード動作を行うための処理が行われる。

【0069】

Ｓ２１１において、ＢＣＰＵ３２７は、再生モード動作が終了したか否かを判定する。
Ｓ２１１の判定結果がＮＯの場合は、Ｓ２１１の判定を繰り返す。
一方、Ｓ２１１の判定結果がＹＥＳの場合は、処理がＳ２１２へ進む。

【0070】

Ｓ２１２において、ＢＣＰＵ３２７は、カメラ操作ＳＷ３２５の電源スイッチにより、カメラ１００の電源がオフ（ＯＦＦ）状態にされたか否かを判定する。
Ｓ２１２の判定結果がＮｏの場合は、処理がＳ２０３へ戻る。

【0071】

一方、Ｓ２１２の判定結果がＹＥＳの場合、Ｓ２１３において、ＢＣＰＵ３２７は、終了処理を行い、そして図２に示したメイン処理が終了する。
図３は、静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。

【0072】

図３に示したように、静止画撮影待機動作処理では、まずＳ３０１において、ＢＣＰＵ３２７は、初期化処理を行う。この処理では、ＳＤＲＡＭ３１０をクリアする処理（バッファクリア処理）等が行われる。

【0073】

Ｓ３０２において、ＢＣＰＵ３２７は、ライブビュー用の撮像素子駆動処理を開始する。ライブビュー用の撮像素子駆動処理とは、ライブビュー用のフレームレートに従って、被写体像の撮像及び画像信号の出力を繰り返す処理のことである。

【0074】

Ｓ３０３において、撮像素子Ｉ／Ｆ回路３０７は、ＢＣＰＵ３２７の制御の下、撮像素子３０６から１フレーム分の画像信号を読み出して画像処理コントローラ３０８へ出力する。これは、撮像素子Ｉ／Ｆ回路３０７が、撮像素子３０６から出力された１フレーム分の画像信号を画像処理コントローラ３０８へ出力することでもある。

【0075】

Ｓ３０４において、ＢＣＰＵ３２７は、長秒時ライブビュー機能がオンに設定されているか否かを判定する。なお、長秒時ライブビュー機能とは、撮影時のシャッタースピードとして長秒時（低速）のシャッタースピードが設定されていたとしても、撮影前において、撮影時シャッタースピードによる効果を確認することができると共にフレーミングに支障をきたすことなく適切なタイミングで撮影することができるようにした機能である。ここで想定される長秒時のシャッタースピードは、ライブビュー用のフレームレートに対応するシャッタースピードよりも低速のシャッタースピードである。例えば、ライブビュー用のフレームレートが１２０フレーム／秒であるとすると、想定される長秒時シャッタースピードは、１／１２０よりも低速なシャッタースピードとなる。長秒時ライブビュー機能のオン又はオフは、カメラ操作ＳＷ３２５のメニュースイッチ、選択スイッチ、及び確定スイッチによりメニュー画面から設定することができる。なお、この機能のオン又はオフは、メニュー画面から設定されるのではなく、専用のスイッチを用いて設定されるようにしてもよい。この場合は、カメラ操作ＳＷ３２５が、長秒時ライブビュー機能のオン又はオフを選択するための指示入力を受け付けるスイッチ（ボタン）を備えるようにしてもよい。あるいは、そのボタンの押下時のみ、もしくは、レリーズスイッチ（レリーズボタン）の半押下時のみ、長秒時ライブビュー機能がオンに設定されるようにしてもよい。

【0076】

Ｓ３０４の判定結果がＮＯの場合は、処理がＳ３０８へ進む。
一方、Ｓ３０４の判定結果がＹＥＳの場合、Ｓ３０５において、ＢＣＰＵ３２７は、後述するＳ３０７において使用される合成枚数を算出する。合成枚数は、例えば、撮像素子３０６の１回（１フレーム）の露光時間を、１／（ライブビュー用のフレームレート）とすると、（設定されている撮影時シャッタースピード）／（１／（ライブビュー用のフレームレート））により算出される。例えば、設定されている撮影時シャッタースピードが１／１５秒、ライブビュー用のフレームレートが１２０フレーム／秒であるとすると、（１／１５）／（１／１２０）＝８により、合成枚数が８となる。但し、このような算出方法では、算出結果の値が小数点以下を含む場合があり、必ずしも整数値にはならない。そこで、算出結果の値が小数点以下を含む場合は、小数点以下を切り捨て、切り上げ、又は四捨五入する等して、算出結果の値が整数値にされる。あるいは、算出結果の値が整数値になるように、ライブビュー用のフレームレートを変更するようにしてもよい。

【0077】

Ｓ３０６において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、Ｓ３０３で撮像素子３０６から読み出された画像信号に応じた画像を、ＳＤＲＡＭ３１０に格納する、という画像バッファリングを行う。このときにＳＤＲＡＭ３１０に格納された画像を、以下、バッファリング画像という。

【0078】

Ｓ３０７において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、ＳＤＲＡＭ３１０に格納されている合成枚数分（Ｓ３０５で算出された合成枚数分）のバッファリング画像を用いて、設定されている撮影時シャッタースピードに対応する露光時間で露光された画像相当の画像（擬似的にシャッタースピードを撮影時シャッタースピードまで延ばした場合の画像）となる合成画像を生成する、という画像合成処理を行う。但し、合成枚数分のバッファリング画像がＳＤＲＡＭ３１０に格納されていない場合、又は、Ｓ３０５で算出された合成枚数が１以下の場合は、合成画像の生成を行わず、処理がＳ３０８へ進む。Ｓ３０７において合成画像の生成が行われる場合、合成画像の生成に用いられる合成枚数分のバッファリング画像は、ＳＤＲＡＭ３１０に最後に格納されたバッファリング画像をｉ番目に格納されたバッファリング画像とし、Ｓ３０５で算出された合成枚数をＮとすると、ｉ−Ｎ＋１番目からｉ番目までに格納されたＮ個のバッファリング画像となる。また、合成画像の生成は、合成枚数分のバッファリング画像を累積加算して累積加算画像を生成し、これにゲイン値を乗算することによって行われる。ここで、合成枚数分のバッファリング画像を累積加算するとは、対応する画素毎に、各バッファリング画像の画素の画素値を累積加算することをいう。また、累積加算画像にゲイン値を乗算するとは、累積加算画像の各画素の画素値にゲイン値を乗算することをいう。ゲイン値は、任意の実数であり、例えば、１又は１／合成枚数により算出される。ゲイン値を１とした場合は、合成画像が、合成枚数分のバッファリング画像の累積加算画像（単純加算画像）となる。ゲイン値を１／合成枚数とした場合は、合成画像が、合成枚数分のバッファリング画像の累積加算平均画像となる。

【0079】

Ｓ３０８において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、現像処理を行う。より詳しくは、Ｓ３０７の後のＳ３０８では、Ｓ３０７で生成された合成画像に対して現像処理を行う。但し、Ｓ３０７で合成画像の生成が行われていない場合には、Ｓ３０６でＳＤＲＡＭ３１０に最後に格納されたバッファリング画像に対して現像処理を行う。一方、Ｓ３０４の判定結果がＮＯである場合のＳ３０８では、Ｓ３０３で読み出された画像信号に応じた画像に対して現像処理を行う。なお、Ｓ３０８で現像処理が行われた画像をライブビュー画像ともいう。

【0080】

Ｓ３０９において、ＢＣＰＵ３２７は、Ｓ３０８で現像処理が行われた画像を、液晶モニター３１３又は電子ビューファインダー３１４に表示する、或いは、液晶モニター３１３又は電子ビューファインダー３１４に表示されている画像を、Ｓ３０８で現像処理が行われた画像へ置き換える、というライブビュー更新処理を行う。なお、Ｓ３０８で現像処理が行われた画像の表示先（出力先）は、液晶モニター３１３又は電子ビューファインダー３１４に限らず、外部表示装置であってもよい。この場合、その外部表示装置は、外部出力端子３１２に接続された外部表示装置であってもよいし、無線回路３２３を介して無線接続された外部表示装置であってもよい。

【0081】

Ｓ３１０において、ＢＣＰＵ３２７は、静止画撮影指示が為されたか否かを判定する。なお、静止画撮影指示は、レリーズスイッチにより行うことができる。
Ｓ３１０の判定結果がＮＯの場合は、処理がＳ３０３へ戻る。

【0082】

一方、Ｓ３１０の判定結果がＹＥＳの場合、Ｓ３１１において、ＢＣＰＵ３２７は、Ｓ３０２で開始したライブビュー用の撮像素子駆動処理を終了し、図３に示した静止画撮影待機動作処理を終了する。

【0083】

なお、図３に示した静止画撮影待機動作処理の実行中において、合成画像の生成を行う画像合成処理（Ｓ３０７）が繰り返し行われる場合は、毎回、合成枚数分のバッファリング画像の累積加算が行われることになるため、合成枚数の値が大きい場合の累積加算に係る処理負荷が大きくなってしまう。そこで、このような処理負荷を軽減する観点から、２回目以降の合成画像の生成が行われる画像合成処理（Ｓ３０７）では、例えば、図４に示したフローチャートに従って合成画像の生成が行われてもよい。

【0084】

図４は、２回目以降の合成画像の生成が行われる画像合成処理（Ｓ３０７）の流れを示すフローチャートである。
但し、図４に示した画像合成処理は、図３のＳ３０５で算出された合成枚数が、前回に算出された合成枚数と同じ場合、前回に算出された合成枚数よりも１つ少ない場合、又は、前回に算出された合成枚数よりも１つ多い場合に行われる処理を示している。また、図４に示した画像合成処理の開始時には、最初に合成画像が生成されたときの累積加算画像がＳＤＲＡＭ３１０に格納されているものとする。

【0085】

図４に示した画像合成処理では、まずＳ４０１において、ＢＣＰＵ３２７は、図３のＳ３０５で算出された合成枚数が前回に算出された合成枚数よりも増加したか否かを判定する。

【0086】

Ｓ４０１の判定結果がＹＥＳの場合（合成枚数が１つ増加した場合）は、処理がＳ４０３へ進む。
一方、Ｓ４０１の判定結果がＮＯの場合（合成枚数が同じ又は１つ減少した場合）、Ｓ４０２において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、画像減算処理を行う。この処理では、図３のＳ３０５で算出された合成枚数が前回に算出された合成枚数と同じであった場合は、ＳＤＲＡＭ３１０に格納されている累積加算画像から、その累積加算画像に含まれる最古のバッファリング画像成分に対応するバッファリング画像を減算して、ＳＤＲＡＭ３１０に格納されている累積加算画像を更新する。一方、図３のＳ３０５で算出された合成枚数が前回に算出された合成枚数よりも１つ少なかった場合は、ＳＤＲＡＭ３１０に格納されている累積加算画像から、その累積加算画像に含まれる最古のバッファリング画像成分と２番目に古いバッファリング画像成分とに対応する２つのバッファリング画像を減算して、ＳＤＲＡＭ３１０に格納されている累積加算画像を更新する。なお、累積加算画像からバッファリング画像を減算するとは、対応する画素毎に、累積加算画像の画素の画素値からバッファリング画像の画素の画素値を減算することをいう。

【0087】

Ｓ４０３において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、画像加算処理を行う。この処理では、ＳＤＲＡＭ３１０に格納されている累積加算画像に対し、ＳＤＲＡＭ３１０に格納されている最新のバッファリング画像（ＳＤＲＡＭ３１０に最後に格納されたバッファリング画像）を累積加算して、ＳＤＲＡＭ３１０に格納されている累積加算画像を更新する。なお、累積加算画像にバッファリング画像を累積加算するとは、対応する画素毎に、累積加算画像の画素の画素値にバッファリング画像の画素の画素値を累積加算することをいう。

【0088】

Ｓ４０４において、ＢＣＰＵ３２７は、ゲイン値を算出する。ゲイン値は、１／合成枚数により算出される。なお、ゲイン値を１とする場合は、算出されるゲイン値が１とされる。

【0089】

Ｓ４０５において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、ＳＤＲＡＭ３１０に格納されている累積加算画像に対し、Ｓ４０５で算出されたゲイン値を印加（乗算）する。このＳ４０５の処理結果である画像が、生成された合成画像となる。

【0090】

Ｓ４０５が終了すると、図４に示した画像合成処理が終了する。
このような図４に示した画像合成処理によれば、合成画像を生成する画像合成処理（Ｓ３０７）が繰り返し行われる場合において、毎回、合成枚数分のバッファリング画像の累積加算を行う必要がなく、２回目以降は、差分となるバッファリング画像の減算及び加算、又は、差分となるバッファリング画像の加算のみでよいので、処理負荷を軽減することができる。

【0091】

図５は、図４に示した画像合成処理を示す処理ブロック図である。
図５に示した処理ブロック図では、図４のＳ４０１の判定結果に応じて、ＳＤＲＡＭ３１０に格納されているバッファリング画像及び累積加算画像に基づいて加減算処理（Ｓ５０１）が行われ、そして、ゲイン算出・印加処理（Ｓ５０２）が行われて、合成画像が生成される。加減算処理（Ｓ５０１）は、図４のＳ４０２及びＳ４０３の処理に対応する。ゲイン算出・印加処理（Ｓ５０２）は、図４のＳ４０４及びＳ４０５の処理に対応する。

【0092】

図６は、合成枚数が変化しない場合（Ｓ４０１の判定結果がＮＯの場合）の加減算処理（Ｓ５０１）を示す処理ブロック図である。
図６に示したように、合成枚数が変化しない場合の加減算処理では、ＳＤＲＡＭ３１０に格納されている累積加算画像から、当該累積加算画像に含まれる最古のバッファリング画像成分に対応するバッファリング画像（過去バッファリング画像）を減算する、という減算処理（Ｓ６０１）が行われる。そして、その処理結果である累積加算画像に対し、ＳＤＲＡＭ３１０に格納されている最新のバッファリング画像（ＳＤＲＡＭ３１０に最後に格納されたバッファリング画像）を累積加算する、という加算処理（Ｓ６０２）が行われて、ＳＤＲＡＭ３１０に格納されている累積加算画像が更新される。

【0093】

この場合において、合成枚数をＮとし、最新のバッファリング画像をＩｍ（ｉ）とし、更新後の累積加算画像をＳ＿Ｉｍ（ｉ）とし、更新前の累積加算画像をＳ＿Ｉｍ（ｉ−１）とすると、更新後の累積加算画像Ｓ＿Ｉｍ（ｉ）は、次式により求められる。

【0094】

Ｓ＿Ｉｍ（ｉ）＝Ｓ＿Ｉｍ（ｉ−１）−Ｉｍ（ｉ−Ｎ）＋Ｉｍ（ｉ）
ここで、Ｉｍ（ｉ−Ｎ）は、更新前の累積加算画像Ｓ＿Ｉｍ（ｉ−１）に含まれる最古のバッファリング画像成分に対応するバッファリング画像（過去バッファリング画像）である。

【0095】

図７は、合成枚数が１つ増加した場合（Ｓ４０１の判定結果がＹＥＳの場合）の加減算処理（Ｓ５０１）を示す処理ブロック図である。
図７に示したように、合成枚数が１つ増加した場合の加減算処理では、ＳＤＲＡＭ３１０に格納されている累積加算画像に対し、ＳＤＲＡＭ３１０に格納されている最新のバッファリング画像（ＳＤＲＡＭ３１０に最後に格納されたバッファリング画像）を累積加算する、という加算処理（Ｓ７０１）が行われて、ＳＤＲＡＭ３１０に格納されている累積加算画像が更新される。

【0096】

この場合において、合成枚数がＮからＮ＋１へ増加したとし、最新のバッファリング画像をＩｍ（ｉ）とし、更新後の累積加算画像をＳ＿Ｉｍ（ｉ）とし、更新前の累積加算画像をＳ＿Ｉｍ（ｉ−１）とすると、更新後の累積加算画像Ｓ＿Ｉｍ（ｉ）は、次式により求められる。

【0097】

Ｓ＿Ｉｍ（ｉ）＝Ｓ＿Ｉｍ（ｉ−１）＋Ｉｍ（ｉ）
図８は、合成枚数が１つ減少した場合（Ｓ４０１の判定結果がＹＥＳの場合）の加減算処理（Ｓ５０１）を示す処理ブロック図である。

【0098】

図８に示したように、合成枚数が１つ減少した場合の加減算処理では、ＳＤＲＡＭ３１０に格納されている累積加算画像から、当該累積加算画像に含まれる最古のバッファリング画像成分と２番目に古いバッファリング画像成分に対応する２つのバッファリング画像（過去バッファリング画像）を減算する、という減算処理（Ｓ８０１）が行われる。そして、その処理結果である累積加算画像に対し、ＳＤＲＡＭ３１０に格納されている最新のバッファリング画像（ＳＤＲＡＭ３１０に最後に格納されたバッファリング画像）を累積加算する、という加算処理（Ｓ８０２）が行われて、ＳＤＲＡＭ３１０に格納されている累積加算画像が更新される。

【0099】

この場合において、合成枚数がＮからＮ−１へ減少したとし、最新のバッファリング画像をＩｍ（ｉ）とし、更新後の累積加算画像をＳ＿Ｉｍ（ｉ）とし、更新前の累積加算画像をＳ＿Ｉｍ（ｉ−１）とすると、更新後の累積加算画像Ｓ＿Ｉｍ（ｉ）は、次式により求められる。

【0100】

Ｓ＿Ｉｍ（ｉ）＝Ｓ＿Ｉｍ（ｉ−１）−Ｉｍ（ｉ−Ｎ）−Ｉｍ（ｉ−Ｎ＋１）＋Ｉｍ（ｉ）
ここで、Ｉｍ（ｉ−Ｎ）とＩｍ（ｉ−Ｎ＋１）は、更新前の累積加算画像Ｓ＿Ｉｍ（ｉ−１）に含まれる最古のバッファリング画像成分と２番目に古いバッファリング画像成分に対応する２つのバッファリング画像（過去バッファリング画像）である。

【0101】

図９は、図３に示した静止画撮影待機動作処理に従って行われるライブビュー動作のタイミングチャートである。但し、このライブビュー動作は、図３に示した静止画撮影待機動作処理において画像合成処理（Ｓ３０７）が繰り返し行われているときの動作を示している。

【0102】

図９に示したように、このライブビュー動作では、ライブビュー用のフレームレートに応じた垂直同期信号（ＶＤ）の立ち上がりに同期して、ライブビュー用のフレームレートに対応する露光時間の露光（撮像）及び画像信号の出力が行われ、続いて、画像合成処理、現像処理が行われて、その処理結果である画像（ライブビュー画像）が表示（ライブビュー表示）される、といった一連の処理が繰り返し行われる。

【0103】

図１０は、図３に示した静止画撮影待機動作処理の実行中における、撮像フレームと合成フレームの関係を示す概念図である。但し、ここでは、静止画撮影待機動作処理の実行中において、合成枚数に変化が無いとし、合成画像を生成する画像合成処理（Ｓ３０７）が繰り返し行われているとする。また、ライブビュー用のフレームレートが１２０フレーム／秒であるとし、撮影時シャッタースピードとして１／１５秒が設定されているとする。この場合は、撮像素子３０６の１回（１フレームの）の露光時間を１／１２０秒とすると、（１／１５）／（１／１２０）＝８により、合成枚数が８となる。

【0104】

図１０に示したように、この場合は、合成枚数が８となるので、８枚の撮像フレーム画像（バッファリング画像）を用いて表示フレーム画像の生成が行われる。すなわち、８つのフレームを合成した合成フレームにおいて露光された８つの撮像フレーム画像を用いて、表示フレーム画像の生成が行われる。なお、表示フレーム画像は、図３のＳ３０８の処理結果となる画像である。

【0105】

例えば、Ｎフレーム目の表示フレーム画像は、Ｎ−７フレーム目からＮフレーム目までのフレームを合成した合成フレームにおいて露光された８つの撮像フレーム画像を用いて生成、表示され、Ｎ＋１フレーム目の表示フレーム画像は、Ｎ−６フレーム目からＮ＋１フレーム目までのフレームを合成した合成フレームにおいて露光された８つの撮像フレーム画像を用いて生成、表示され、というように合成するフレームをずらしながら、表示フレーム画像の更新が行われる。

【0106】

図１１は、図１０に示した概念図において、画像合成処理（Ｓ３０７）として図４に示した画像合成処理が行われているときの概念図である。但し、ここでは、ゲイン値を１とする。

【0107】

図１１に示したように、この場合は、直前の表示フレーム画像から最古の撮像フレーム画像を減算すると共に最新の撮像フレーム画像を加算することによって、表示フレーム画像の生成が行われる。例えば、Ｎ＋１フレーム目の表示フレーム画像は、直前の（Ｎフレーム目の）表示フレーム画像から最古の（Ｎ−７フレーム目の）撮像フレーム画像を減算すると共に最新の（Ｎ＋１フレーム目の）撮像フレーム画像を加算することによって、生成される。

【0108】

図１２は、図３に示した静止画撮影待機動作処理の実行中において、長秒時ライブビュー機能がオンに設定されたとき及びオフに設定されたときの、撮像フレームと合成フレームの関係を示す概念図である。但し、ここでは、静止画撮影待機動作処理の実行中において、長秒時ライブビュー機能がオンに設定されてからオフに設定されるまでの間は、合成枚数に変化が無いとし、画像合成処理（Ｓ３０７）が繰り返し行われるとする。また、このときの合成枚数を４とする。

【0109】

図１２に示したように、この場合は、長秒時ライブビュー機能がオフに設定されている間は、通常のライブビュー動作（Ｓ３０４の判定結果がＮＯの場合の動作）が行われる。そして、長秒時ライブビュー機能がオンに設定されると、その時点（開始トリガー）の後、４つ（合成枚数分）の撮像フレーム画像が揃ったところで、その４つの撮像フレーム画像（Ｎ＋２フレーム目からＮ＋５フレーム目までの合成フレームにおいて露光された４つの撮像フレーム画像）を用いて表示フレーム画像の生成、表示が行われる。なお、長秒時ライブビュー機能がオンに設定されてから４つの撮像フレーム画像が揃う前までの間は、通常のライブビュー動作と同じ動作が行われる。その後、長秒時ライブビュー機能がオンに設定されている間は、図１０に示したものと同様に、合成するフレームをずらしながら、表示フレーム画像の更新が行われる。そして、長秒時ライブビュー機能がオフに設定されると、その時点（終了トリガー）の後、速やかに通常のライブビュー動作に戻る。

【0110】

図１３は、図１２に示した概念図において、長秒時ライブビュー機能がオンに設定されたときの動作及びオフに設定されたときの動作を変形したときの概念図である。
図１３に示したように、長秒時ライブビュー機能がオンに設定されてから合成枚数分の撮像フレーム画像が揃う前までの間は、１フレーム毎に、合成する撮像フレーム画像数を１つずつ増加させながら合成画像となる表示フレーム画像の生成を行うようにしてもよい。また、長秒時ライブビュー機能がオフに設定されたときは、１フレーム毎に、合成する撮像フレーム画像数を１つずつ減少させながら合成画像となる表示フレーム画像の生成を行うようにしてもよい。

【0111】

あるいは、図１３の概念図に示した動作と図１２に示した概念図の動作とを組み合わせるようにしてもよい。
図１４は、図３に示した静止画撮影待機動作処理の実行中において、撮影時シャッタースピードが、より低速に変更されたときの、撮像フレームと合成フレームの関係を示す概念図である。但し、ここでは、静止画撮影待機動作処理の実行中において、画像合成処理（Ｓ３０７）が繰り返し行われているとする。また、撮影時シャッタースピードが、より低速に変更されたことに伴って、合成枚数が４から８へ変更されたとする。

【0112】

図１４に示したように、この場合は、シャッタースピードが変更された時点（合成枚数が４から８へ変更された時点）から、変更後の合成枚数分の撮像フレーム画像が揃う前までの間は、１フレーム毎に、合成する撮像フレーム画像数を１つずつ増加させながら合成画像となる表示フレーム画像の生成が行われる。

【0113】

また、図示はしないが、撮影時シャッタースピードが、より高速に変更され、それに伴って合成枚数が減少する方向に変更された場合には、シャッタースピードが変更された時点から、１フレーム毎に、合成する撮像フレーム画像数を、変更後の合成枚数になるまで１つずつ減少させながら合成画像となる表示フレーム画像の生成が行われる。

【0114】

なお、シャッタースピードが変更されたときは、ＳＤＲＡＭ３１０をクリアし、変更後の合成枚数分の撮像フレーム画像が揃う前までの間は、１フレーム毎に、合成する撮像フレーム画像数を１つずつ増加させながら合成画像となる表示フレーム画像の生成が行われるようにしてもよい。

【0115】

以上のように、本実施形態によれば、設定されている撮影時シャッタースピードが低速であっても、撮影前において、長秒時ライブビュー機能がオンに設定されていれば、ライブビュー用のフレームレートに応じた被写体像の撮像及び表示が維持されるようになり、ユーザは、撮影時シャッタースピードによる効果を確認することができると共にフレーミングに支障をきたすことなく適切なタイミングで撮影することができる。

【0116】

なお、本実施形態において、ライブビュー用のフレームレートは、動作可能な最大フレームレートであることが望ましい。しかしながら、長秒時ライブビュー機能がオンに設定されている場合は、撮影時シャッタースピードとして低速のシャッタースピードが設定されていて、被写体の動きが少なくフレーム間の画像変化が少ない場合が多いため、ライブビュー用のフレームレートを少し低下させても、フレーミングに支障をきたしたり、適切な撮影タイミングを逃したり、といった程度の視覚的に大きな問題が生じる虞は無い。

【0117】

そこで、長秒時ライブビュー機能がオンに設定されている場合は、ライブビュー用のフレームレートを少し低下させるようにしてもよい。例えば、長秒時ライブビュー機能がオフに設定されているとき（通常時）のライブビュー動作では１２０フレーム／秒のフレームレートで表示更新するのに対し、長秒時ライブビュー機能がオンに設定されているときのライブビュー動作では３０フレーム／秒のフレームレートで表示更新するようにしてもよい。これにより、使用されるメモリ容量やデータ転送量を抑制することができる等、実装上のメリットがある。

【0118】

あるいは、ライブビュー用のフレームレートを、設定されている撮影時シャッタースピードに応じて変化させるようにしてもよい。例えば、設定されている撮影時シャッタースピードが低速になるほど、ライブビュー用のフレームレートを低下させるようにしてもよい。また、この場合は、ライブビュー用のフレームレートに制限を加えてもよい。例えば、１５フレーム／秒を、ライブビュー用のフレームレートの下限値としてもよい。これにより、フレームレートが極端に低下してライブビュー表示によるフレーミングや仕上がり確認に支障が出るのを防止することができる。

【0119】

また、本実施形態において、ライブビュー動作中の撮像時の各フレームの露光条件は、画像合成処理（Ｓ３０７）や現像処理（Ｓ３０８）の処理方法に応じてＢＣＰＵ３２７により適切に設定される。

【0120】

例えば、画像合成処理における合成画像の生成方法として加算平均（累積加算平均）が用いられる場合は、画像合成処理の前後で画像の輝度が揃うため、適正露出を基準に露光条件が設定される。この場合は、ＩＳＯ感度を上げて露光したとしても、加算平均によりランダムノイズを低減することができるメリットがある。

【0121】

また、例えば、画像合成処理における合成画像の生成方法として単純加算が用いられる場合は、画像合成処理の前後で画像の輝度がＮ倍（Ｎは合成画像の生成に用いられるバッファリング画像数）異なるため、適正露出の１／Ｎ（ｌｏｇ_２Ｎ段アンダー）を基準に露光条件が設定される。この場合は、露出アンダーで露光が行われるため、画像の飽和部（諧調が飽和する領域）を正しく表現することができるメリットがある。さらに、例えば、現像処理においてゲイン調整を行うことで、自由度を持った露光条件の設定ができる。

【0122】

また、本実施形態において、ライブビュー動作中は、画像信号の読み出しが連続的に行われる為、電子シャッターが用いられる。電子シャッターは、撮像素子３０６が有する電子シャッター機能により実現され、ＢＣＰＵ３２７の制御の下、撮像素子Ｉ／Ｆ回路３０７により制御される。

【0123】

また、本実施形態において、ライブビュー動作中の各フレームの非露光時間が長いと、画像合成処理（Ｓ３０７）により生成される合成画像が、動体領域において違和感のある画像になってしまう虞がある。そこで、ライブビュー動作中の撮像時シャッタースピードは、合成画像の生成に用いられる複数のバッファリング画像が取得される複数のフレーム（合成フレーム）における各フレームの露光時間が不連続とならないように、上述のように１／（ライブビュー用のフレームレート）、又は、それにできるだけ近い値とされる。例えば、ライブビュー用のフレームレートが１２０フレーム／秒である場合は、ライブビュー動作中の撮像時シャッタースピードが１／１２０秒とされる。

【0124】

また、本実施形態において、設定されている撮影時シャッタースピードが、高速（１／（ライブビュー用のフレームレート）以上）である場合は、撮影時シャッタースピードを忠実に再現するために、撮像時シャッタースピードを、撮影時シャッタースピードに合わせてもよい。あるいは、撮影時シャッタースピードが高速である場合には、ライブビュー表示上のシャッタースピードによる見えの違いがほとんど無いため、ライブビュー表示の見易さを鑑みて、通常時のライブビュー動作と同様に撮像時シャッタースピードを制御してもよい。

【0125】

また、本実施形態において、画像合成処理（Ｓ３０７）では、合成画像を生成する際に、合成枚数分のバッファリング画像を累積加算した後にゲイン値を乗算する代わりに、合成枚数分の各バッファリング画像にゲイン値を乗算したものを累積加算するようにしてもよい。

【0126】

また、本実施形態において、画像合成処理（Ｓ３０７）では、合成枚数分のバッファリング画像を用いて、比較明合成や比較暗合成等の他の合成方法を実施することにより、合成画像の生成を行うようにしてもよい。これにより、意図的に異なる画像表現を得ることができる。あるいは、これらの複数の合成方法を組み合わせて、合成画像の生成を行うようにしてもよい。
＜第２の実施形態＞

【0127】

次に、本発明の第２の実施形態について説明する。この説明では、第１の実施形態に対して異なる点のみを説明する。また、第１の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。

【0128】

図３に示した静止画撮影待機動作処理の実行中において、撮影時シャッタースピードとして低速のシャッタースピードが設定されていて、長秒時ライブビュー機能がオンに設定されている場合は、画像合成処理（Ｓ３０７）において合成画像の生成に用いられる複数（合成枚数分）のバッファリング画像が取得される複数のフレーム（合成フレーム）における総露光期間中におけるカメラ１００の姿勢変化が大きくなり易く、生成される合成画像に像ぶれが目立ち易くなる。合成画像に像ぶれが目立つと見栄えが悪くなり、ライブビュー表示によるフレーミングにも悪影響を及ぼす虞がある。また、フレーミングのためにカメラ１００が大きく動かされた場合には、像ぶれが更に大きくなり、ライブビュー表示が更に認識しづらくなる。

【0129】

図１５は、フレーミング時のカメラ１００のぶれ量の時間的変化の一例を示す図である。
図１５に示したように、フレーミングによりカメラアングルが変更されている間（アングル変更期間）は、カメラ１００のぶれ量が多くなり、その後、カメラアングルが固定されると、ぶれ量が少なくなる。なお、図１５に示したぶれ量の単位は、degree/frameである。

【0130】

そこで、第２の実施形態では、このようなカメラ１００の姿勢変化によってライブビュー表示によるフレーミングやライブビュー表示の認識がしづらくなるのを防止するために、静止画撮影待機動作処理（Ｓ２０４）として、図１６に示す処理が行われる。

【0131】

図１６は、第２の実施形態に係る静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。
図１６に示したように、第２の実施形態に係る静止画撮影待機動作処理では、図３に示した静止画撮影待機動作処理に対して、Ｓ１６０１乃至Ｓ１６０４が、Ｓ３０１とＳ３０２の間に新たに追加されると共に、Ｓ１６０５及びＳ１６０６が、Ｓ３０４（判定結果がＹＥＳの場合）とＳ３０５の間に新たに追加されている。

【0132】

Ｓ１６０１においては、撮像ステージ駆動回路３１６が、ＢＣＰＵ３２７の制御の下、撮像ステージ３１５を中立位置へ移動させる。
Ｓ１６０２において、ＢＣＰＵ３２７は、長秒時ライブビュー機能がオンに設定されているか否かを判定する。

【0133】

Ｓ１６０２の判定結果がＹＥＳの場合、Ｓ１６０３において、ＢＣＰＵ３２７は、手ぶれ補正駆動処理を開始する。この手ぶれ補正駆動処理では、防振制御回路３１８が、ＢＣＰＵ３２７の制御の下、姿勢変化検出部３１７の検出結果（Ｙ方向Ｇセンサ３１７１、Ｘ方向Ｇセンサ３１７２、ピッチジャイロ３１７３、ヨージャイロ３１７４、ロールジャイロ３１７５の各検出結果）に基づいて、撮像素子３０６の撮像面に結像されている被写体像の像ぶれを打ち消す方向に撮像素子３０６を移動させるように、撮像ステージ駆動回路３１６を制御する。これにより、手ぶれ補正が行われる。

【0134】

なお、手ぶれ補正駆動処理では、画像処理コントローラ３０８が、ＢＣＰＵ３２７の制御の下、Ｓ３０３で読み出される画像信号に応じた画像からの画像切り出し位置を、姿勢変化検出部３１７の検出結果に基づいて変更することによって像ぶれを補正する、という電子式手ぶれ補正処理により、手ぶれ補正が行われるようにしてもよい。

【0135】

一方、Ｓ１６０２の判定結果がＮＯの場合、Ｓ１６０４において、撮像ステージ駆動回路３１６は、ＢＣＰＵ３２７の制御の下、撮像ステージ３１５を中立位置に保持する。
Ｓ１６０３又はＳ１６０４の後は、処理がＳ３０２へ進む。

【0136】

また、Ｓ１６０５において、ＢＣＰＵ３２７は、ぶれ検出を行う。より詳しくは、ＢＣＰＵ３２７は、防振制御回路３１８を介して、姿勢変化検出部３１７の検出結果（Ｙ方向Ｇセンサ３１７１、Ｘ方向Ｇセンサ３１７２、ピッチジャイロ３１７３、ヨージャイロ３１７４、ロールジャイロ３１７５の各検出結果）を取得する。

【0137】

Ｓ１６０６において、ＢＣＰＵ３２７は、姿勢変化検出部３１７の検出結果に基づいて、カメラ１００のアングル変更時であるか否かを判定する。例えば、姿勢変化検出部３１７の検出結果が、所定の閾値範囲から外れていればアングル変更時であると判定され、所定の閾値範囲に含まれていればアングル変更時でないと判定される。

【0138】

Ｓ１６０６の判定結果がＹＥＳの場合、ＢＣＰＵ３２７は、ＳＤＲＡＭ３１０をクリアし、処理がＳ３０８へ進む。但し、Ｓ１６０６の判定結果がＹＥＳの場合のＳ３０８では、Ｓ３０３で読み出された画像信号に応じた画像に対して現像処理が行われる。

【0139】

一方、Ｓ１６０６の判定結果がＮＯの場合には、処理がＳ３０５へ進む。
その他の処理については、図３に示した静止画撮影待機動作処理と同じである。
図１７は、図１６に示した静止画撮影待機動作処理の実行中において、カメラ１００のアングル変更が行われたときの、撮像フレームと合成フレームの関係を示す概念図である。但し、ここでは、静止画撮影待機動作処理の実行中において、長秒時ライブビュー機能がオンに設定されているとする。また、合成枚数は４とし、合成枚数に変化は無いとする。

【0140】

図１７に示したように、この場合は、カメラ１００のアングル変更が開始する前までの間は、合成するフレームをずらしながら、４つ（合成枚数分）の撮像フレーム画像を用いて表示フレーム画像の生成、更新が行われる。そして、カメラ１００のアングル変更が開始すると、ＳＤＲＡＭ３１０がクリアされ、アングル変更が終了する前までの間は、通常のライブビュー動作（ライブビュー表示）が行われる。その後、カメラ１００のアングル変更が終了すると、４つ（合成枚数分）の撮像フレーム画像が揃う前までの間は、１フレーム毎に、合成する撮像フレーム画像数を１つずつ増加させながら合成画像となる表示フレーム画像の生成、更新が行われる。そして、４つ（合成枚数分）の撮像フレーム画像が揃うと、以降は、合成するフレームをずらしながら、４つ（合成枚数分）の撮像フレーム画像を用いて表示フレーム画像の生成、更新が行われる。

【0141】

なお、図１７に示した概念図において、カメラ１００のアングル変更が開始してから、そのアングル変更が終了するまでの間は、合成枚数を少なくして（この場合は４未満）、合成画像となる表示フレーム画像の生成を行うようにしてもよい。

【0142】

以上のように、第２の実施形態によれば、長秒時ライブビュー機能がオンに設定されている場合には手ぶれ補正が行われるようになると共に、更にカメラ１００のアングル変更が行われた場合には合成画像の生成が行われずに通常のライブビュー動作と同様の動作が行われるようになるので、ライブビュー表示によるフレーミングがしづらくなったり、ライブビュー表示の認識がしづらくなったりするのを防止することができる。
＜第３の実施形態＞

【0143】

次に、本発明の第３の実施形態について説明する。この説明では、第１の実施形態に対して異なる点のみを説明する。また、第１の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。

【0144】

図３に示した静止画撮影待機動作処理の実行中においては、長秒時ライブビュー機能がオフに設定されているときのライブビュー表示（通常時のライブビュー表示）なのか、長秒時ライブビュー機能がオンに設定されているときのライブビュー表示なのか、すぐに認識できない場合がある。例えば、被写体に動体が含まれない場合や、設定されている撮影時シャッタースピードがあまり低速でない場合が挙げられる。

【0145】

そこで、第３の実施形態では、長秒時ライブビュー機能がオンに設定されている場合には、長秒時ライブビュー機能がオンに設定されていることを示す情報表示が行われるように、静止画撮影待機動作処理（Ｓ２０４）として、図１８に示す処理が行われる。

【0146】

図１８は、第３の実施形態に係る静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。
図１８に示したように、第３の実施形態に係る静止画撮影待機動作処理では、図３に示した静止画撮影待機動作処理に対して、Ｓ１８０１が、Ｓ３０７とＳ３０８の間に新たに追加されている。

【0147】

Ｓ１８０１において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、Ｓ３０７で生成された合成画像に対して、長秒時ライブビュー機能がオンに設定されていることを示す情報（アイコン、テキスト、合成枚数等の情報）を描画する。但し、Ｓ３０７で合成画像の生成が行われていない場合には、Ｓ３０６でＳＤＲＡＭ３１０に最後に格納されたバッファリング画像に対して、長秒時ライブビュー機能がオンに設定されていることを示す情報を描画してもよいし、描画しなくてもよい。

【0148】

そして、Ｓ１８０１の後のＳ３０８においては、Ｓ１８０１で描画が行われた合成画像又はバッファリング画像に対して現像処理が行われる。
その他の処理については、図３に示した静止画撮影待機動作処理と同じである。

【0149】

図１９は、図１８に示した静止画撮影待機動作処理のＳ３０９で液晶モニター３１３又は電子ビューファインダー３１４に表示された画像（ライブビュー画像）の一例を示す図である。

【0150】

図１９において、左側の画像１９０１は、長秒時ライブビュー機能がオフに設定されているときのＳ３０９において表示された画像（画像信号に応じた画像に現像処理が行われた画像）であり、右側の画像１９０２は、長秒時ライブビュー機能がオンに設定されているときのＳ３０９において表示された画像（合成画像に現像処理が行われた画像）である。長秒時ライブビュー機能がオンに設定されているときに表示された画像１９０２には、長秒時ライブビュー機能がオンに設定されていることを示すアイコン１９０３が表示される。これにより、例えば、表示された画像が、画像信号に応じた画像に現像処理が行われた画像であるのか、合成画像に現像処理が行われた画像であるのかを、判別可能となる。

【0151】

なお、本実施形態では、長秒時ライブビュー機能がオンに設定されていることを、情報表示によりユーザに認識させるようにしているが、例えば、動作表示部３２４におけるＬＥＤの点灯によりユーザに認識させるようにしてもよい。あるいは、カメラ１００が音声出力装置を備え、音声によりユーザに認識させるようにしてもよい。もしくは、情報表示、ＬＥＤの点灯、及び音声のうちの２つ以上の組み合わせにより、ユーザに認識させるようにしてもよい。

【0152】

また、本実施形態では、長秒時ライブビュー機能がオフに設定されているときに、長秒時ライブビュー機能がオフに設定されていることを示す情報表示（アイコンやテキスト等の情報表示）を行うようにしてもよい。この場合は、長秒時ライブビュー機能がオンに設定されていることを示す情報表示と区別可能な情報表示が行われる。

【0153】

また、図３に示した静止画撮影待機動作処理の実行中においては、長秒時ライブビュー機能がオフからオンへ切り換えられた直後や、長秒時ライブビュー機能がオンに設定されているときにシャッタースピードが変更された直後等に、ライブビュー表示された画像が、設定されている撮影時シャッタースピード相当の画像と一致しない期間がある（例えば、図１２、図１３、及び図１４参照）。

【0154】

そこで、本実施形態では、そのような期間におけるユーザの誤認識を防止するために、上述の情報表示と共に、又は、上述の情報表示に代えて、ゲージ、ステータスバー、テキスト等の情報表示により、何秒のシャッタースピード相当の画像が表示されているかを示すようにしてもよい。あるいは、ライブビュー表示された画像と、設定されている撮影時シャッタースピード相当の画像との一致又は不一致を、アイコンやテキスト等による情報表示により、ユーザに認識させるようにしてもよい。

【0155】

図２０は、液晶モニター３１３又は電子ビューファインダー３１４に表示された画像（ライブビュー画像）の一例を示す図である。
図２０に示した例では、長秒時ライブビュー機能がオフからオンへ切り換えられた直後や、長秒時ライブビュー機能がオンに設定されているときにシャッタースピードが変更された直後等に、ゲージ２００１の表示により、表示されている画像が何秒のシャッタースピード相当の画像であるかを示すようにしている。なお、ゲージ２００１は、相当するシャッタースピードに応じて上下するレベルインジケータ２００２を有し、ゲージ２００１の横には、図示しない目盛り（シャッタースピードの目盛り）が描画されている。

【0156】

以上のように、第３の実施形態によれば、ユーザは、長秒時ライブビュー機能がオンに設定されているときのライブビュー表示なのか、長秒時ライブビュー機能がオフに設定されているときのライブビュー表示なのかを判別することができる。また、ユーザは、長秒時ライブビュー機能をオフからオンへ切り換えた直後や、長秒時ライブビュー機能をオンに設定しているときにシャッタースピードを変更した直後等に、表示されているライブビュー画像が何秒のシャッタースピード相当の画像であるか、又は、ライブビュー表示された画像が、設定されている撮影時シャッタースピード相当の画像であるか等を判別することもできる。
＜第４の実施形態＞

【0157】

次に、本発明の第４の実施形態について説明する。この説明では、第１の実施形態に対して異なる点のみを説明する。また、第１の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。

【0158】

図２１は、第４の実施形態に係る動画撮影待機動作処理（Ｓ２０７）の流れを示すフローチャートである。
図２１に示した動画撮影待機動作処理の流れは、基本的に、図３に示した静止画撮影待機動作処理の流れと同じである。

【0159】

図２１に示した動画撮影待機動作処理において、Ｓ２１０１における処理は、図３のＳ３０１における処理と同じである。
Ｓ２１０２において、ＢＣＰＵ３２７は、動画用の撮像駆動処理を開始する。本実施形態において、この動画用の撮像駆動処理は、図３のＳ３０２で開始されるライブビュー用の撮像素子駆動処理と実質的に同じである。

【0160】

Ｓ２１０３乃至Ｓ２１０９における処理は、図３のＳ３０３乃至Ｓ３０９における処理と同じである。なお、Ｓ２１０４では、長秒時動画であるか否かの判定が行われる。この判定では、長秒時ライブビュー機能がオンに設定されている場合は長秒時動画であると判定され、長秒時ライブビュー機能がオフに設定されている場合は長秒時動画でないと判定される。従って、Ｓ２１０４の判定は、実質的にＳ３０４の判定と同じである。

【0161】

Ｓ２１１０において、ＢＣＰＵ３２７は、動画撮影開始指示が為されたか否かを判定する。なお、動画撮影開始指示は、レリーズスイッチにより行うことができる。
Ｓ２１１０の判定結果がＮＯの場合は、処理がＳ２１０３へ戻る。

【0162】

一方、Ｓ２１１０の判定結果がＹＥＳの場合は、図２１に示した静止画撮影待機動作処理が終了する。
図２２は、第４の実施形態に係る動画撮影動作処理（Ｓ２０８）の流れを示すフローチャートである。

【0163】

図２２に示した動画撮影動作処理において、Ｓ２２０１乃至Ｓ２２０７における処理は、図２１のＳ２１０３乃至Ｓ２１０９における処理と同じである。
Ｓ２２０８において、画像処理コントローラ３０８が、ＢＣＰＵ３２７の制御の下、Ｓ２２０６で現像処理が行われた画像、又は、Ｓ２２０７で液晶モニター３１３又は電子ビューファインダー３１４に表示された画像を、動画用の画像（動画の１フレーム分の画像）として、記録メディア３０９に記録する。なお、動画用の画像の記録先（出力先）は、記録メディア３０９に限らず、外部記録装置であってもよい。この場合、その外部記録装置は、外部出力端子３１２に接続された外部記録装置であってもよいし、無線回路３２３を介して無線接続された外部記録装置であってもよい。

【0164】

Ｓ２２０９において、ＢＣＰＵ３２７は、動画撮影終了指示が為されたか否かを判定する。なお、動画撮影終了指示も、レリーズスイッチにより行うことができる。
Ｓ２２０９の判定結果がＮＯの場合は、処理がＳ２２０１へ戻る。

【0165】

一方、Ｓ２２０９の判定結果がＹＥＳの場合、Ｓ２２１０において、ＢＣＰＵ３２７は、Ｓ２１０２で開始した動画用の撮像素子駆動処理を終了し、図２２に示した動画撮影動作処理が終了する。

【0166】

なお、本実施形態において、Ｓ２１０９及びＳ２２０７で表示される画像（ライブビュー画像）のサイズとＳ２２０８で記録される動画用の画像のサイズが異なる場合に、それぞれを別々に生成するのは非効率である。そこで、図２１に示した動画撮影待機動作処理及び図２２に示した動画撮影動作処理において扱う画像のサイズを、記録される動画用の画像サイズに合わせ、Ｓ２１０９及びＳ２２０７においては、画像サイズを縮小させた画像を表示するようにしてもよい。あるいは、動画用の画像に高い解像度が求められていない場合には、図２１に示した動画撮影待機動作処理及び図２２に示した動画撮影動作処理において扱う画像のサイズを適度な画像サイズとし、Ｓ２１０９及びＳ２２０７においては、画像サイズを拡大（アップコンバート）させた画像を表示するようにしてもよい。なお、このような画像サイズの縮小又は拡大は、例えば、現像処理（Ｓ２１０８及びＳ２２０６）の中で行われる。

【0167】

以上のように、第４の実施形態によれば、動画撮影待機動作中においてはライブビュー表示を行わせ、動画撮影動作中においてはライブビュー表示と共に動画記録（又は外部装置への動画出力）を行わせることができる。

【0168】

以上、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、様々の発明を形成できる。例えば、実施形態に示される全構成要素のいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

【符号の説明】

【0169】

１００ カメラ
２００ レンズユニット
２０１ レンズ側マウント部
２０２ レンズ側通信コネクタ
２０３ 撮影レンズ
２０４ レンズ駆動回路
２０５ 絞り
２０６ 絞り駆動回路
２０７ ＥＥＰＲＯＭ
２０８ レンズ制御用マイクロコンピュータ（ＬＣＰＵ）
３００ ボディユニット
３０１ ボディ側マウント部
３０２ ボディ側通信コネクタ
３０３ シャッター
３０４ シャッターチャージ機構
３０５ シャッター制御回路
３０６ 撮像素子
３０７ 撮像素子インターフェース回路（撮像素子Ｉ／Ｆ回路）
３０８ 画像処理コントローラ
３０９ 記録メディア
３１０ ＳＤＲＡＭ
３１１ フラッシュＲＯＭ
３１２ 外部出力端子
３１３ 液晶モニター
３１４ 電子ビューファインダー
３１５ 撮像ステージ
３１６ 撮像ステージ駆動回路
３１７ 姿勢変化検出部
３１８ 防振制御回路
３１９ ストロボ
３２０ ストロボ駆動回路
３２１ 電源回路
３２２ 電池
３２３ 無線回路
３２４ 動作表示部
３２５ カメラ操作ＳＷ
３２６ ＥＥＰＲＯＭ
３２７ ボディ制御用マイクロコンピュータ（ＢＣＰＵ）
１９０１、１９０２ 画像
１９０３ アイコン
２００１ ゲージ
２００２ レベルインジケータ
３０３１ 先幕
３０３２ 後幕
３１７１ Ｙ方向Ｇセンサ
３１７２ Ｘ方向Ｇセンサ
３１７３ ピッチジャイロセンサ（ピッチジャイロ）
３１７４ ヨージャイロセンサ（ヨージャイロ）
３１７５ ロールジャイロセンサ（ロールジャイロ）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】