特許 7545238 撮像装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-27

(45)【発行日】2024-09-04

(54)【発明の名称】撮像装置およびその制御方法

(51)【国際特許分類】

   H04N 23/63 20230101AFI20240828BHJP

   H04N 23/60 20230101ALI20240828BHJP

   G03B 17/18 20210101ALI20240828BHJP

【ＦＩ】

H04N23/63

H04N23/60 500

G03B17/18

【請求項の数】 19

(21)【出願番号】P 2020101077

(22)【出願日】2020-06-10

(65)【公開番号】P2021019347

(43)【公開日】2021-02-15

【審査請求日】2023-06-01

(31)【優先権主張番号】P 2019135677

(32)【優先日】2019-07-23

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】大輪 寧司

(72)【発明者】

【氏名】▲高▼山 和紀

(72)【発明者】

【氏名】坂井田 稔

(72)【発明者】

【氏名】大森 勇司

【審査官】辻本 寛司

(56)【参考文献】

【文献】国際公開第２０１９／０２１６２６（ＷＯ，Ａ１）

【文献】特開２０１９－０９２０１８（ＪＰ，Ａ）

【文献】特開２００９－２５３６９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ２３／６０

Ｇ０３Ｂ １７／１８

(57)【特許請求の範囲】

【請求項1】

ライブビュー画像を撮像して表示部にライブビュー表示を行う撮像装置であって、
１つの静止画の撮像の露光時間と前記ライブビュー画像の撮像周期に基づいて、前記１つの静止画の撮像における露光を分割して行うか否かを判定する第１の判定手段と、
前記第１の判定手段により露光を分割して行うと判定された場合、前記１つの静止画の撮像の露光時間を分割して、前記１つの静止画へ合成される複数の静止画を取得する分割手段と、
前記分割手段により分割される前記複数の静止画のうち、撮像センサからの第１の静止画の読み出し期間と、前記第１の静止画に続く第２の静止画の前記撮像センサからの読み出し期間に重複が発生するか否かを判定する第２の判定手段と、
前記第２の判定手段により前記重複が発生すると判定された場合に、前記重複が解消されるように前記撮像センサによる前記複数の静止画の撮影を変更する変更手段と、
前記複数の静止画の１つ以上を順次にライブビュー画像として用いることにより、前記１つの静止画の撮像によりライブビュー画像を撮像できなかった期間におけるライブビュー表示を行う表示制御手段と、
を備えることを特徴とする撮像装置。

【請求項2】

前記第１の判定手段は、前記１つの静止画の撮像の露光時間が、ライブビュー画像の撮像周期に基づいて決定される所定の閾値より大きい場合に、前記１つの静止画の撮像の露光を分割すると判定することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記所定の閾値は、ライブビュー画像の撮像周期から、ライブビュー画像の撮像と静止画の撮像との間の切り替えに要する時間を差し引いた時間であることを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記分割手段は、前記１つの静止画の撮像の露光時間を、ライブビュー画像の前記撮像周期の長さで分割することを特徴とする請求項２または３に記載の撮像装置。

【請求項5】

前記第１の判定手段は、ライブビュー画像の撮像周期で決まるライブビュー画像の撮像タイミングに基づいて分割タイミングを決定し、前記１つの静止画の露光の期間が前記分割タイミングを超える場合に、前記１つの静止画の撮像の露光を分割すると判定し、
前記分割手段は前記分割タイミングで前記１つの静止画の撮像の露光時間を分割することを特徴とする請求項１に記載の撮像装置。

【請求項6】

前記分割タイミングは、前記撮像周期に従って開始されたライブビュー画像の露光が終了するタイミングに決定されることを特徴とする請求項５に記載の撮像装置。

【請求項7】

前記分割タイミングは、前記撮像周期に従ってライブビュー画像の撮像が開始するタイミングに決定されることを特徴とする請求項５に記載の撮像装置。

【請求項8】

前記撮像周期に従って撮像されたライブビュー画像が表示されるタイミングと、前記１つの静止画の露光を分割して得られた前記複数の静止画の各々が表示されるタイミングとが一致するように、前記分割タイミングが決定されることを特徴とする請求項５に記載の撮像装置。

【請求項9】

前記分割手段により得られた前記複数の静止画の明るさを、前記ライブビュー画像の撮像条件に基づいて調整する調整手段をさらに備えることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。

【請求項10】

前記複数の静止画の明るさを、それぞれの分割された露光時間と前記ライブビュー画像の撮像の露光時間との比に従って調整することを特徴とする請求項９に記載の撮像装置。

【請求項11】

前記変更手段は、前記第２の静止画の露光の開始タイミングを、前記読み出し期間の前記重複を回避するように遅延させることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。

【請求項12】

前記変更手段は、前記第２の静止画の露光時間が前記重複を回避する長さとなるように、前記複数の静止画のうちの前記第２の静止画を除く他の静止画の少なくとも１つに割り当てられた露光時間の一部を前記第２の静止画の露光時間に移すことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。

【請求項13】

前記変更手段は、前記第２の静止画の撮影を中止することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。

【請求項14】

前記複数の静止画を前記１つの静止画に合成する合成手段をさらに備え、
前記合成手段は、前記第２の静止画の撮影が中止された場合に、前記第２の静止画を除く前記複数の静止画を合成し、前記第２の静止画の露光時間に相当する輝度の不足を調整して１つの静止画を生成することを特徴とする請求項１３に記載の撮像装置。

【請求項15】

前記変更手段は、前記第１の静止画と前記第２の静止画の撮影に代えて、前記第１の静止画の露光時間と前記第２の静止画の露光時間を足し合わせた露光時間により１つの静止画を撮影するように変更することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。

【請求項16】

前記第２の判定手段は、前記第２の静止画に与えられた露光時間が所定時間より短い場合に前記重複が発生すると判定することを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。

【請求項17】

前記所定時間は、前記撮像センサから静止画を読み出すのに要する時間に基づいて設定されていることを特徴とする請求項１６に記載の撮像装置。

【請求項18】

ライブビュー画像を撮像してライブビュー表示を行う撮像装置の制御方法であって、
１つの静止画の撮像の露光時間と前記ライブビュー画像の撮像のタイミングに基づいて、前記１つの静止画の撮像における露光を分割して行うか否かを判定する第１の判定工程と、
前記第１の判定工程により露光を分割して行うと判定された場合、前記１つの静止画の撮像の露光時間を分割して、前記１つの静止画へ合成される複数の静止画を取得する分割工程と、
前記分割工程により分割される前記複数の静止画のうち、撮像センサからの第１の静止画の読み出し期間と、前記第１の静止画に続く第２の静止画の前記撮像センサからの読み出し期間に重複が発生するか否かを判定する第２の判定工程と、
前記第２の判定工程により前記重複が発生すると判定された場合に、前記重複が解消されるように前記撮像センサによる前記複数の静止画の撮影を変更する変更工程と、
前記１つの静止画の撮像によりライブビュー画像の撮像ができなかった期間において、前記複数の静止画の１つ以上を順次にライブビュー画像として表示部に表示する表示制御工程と、
を備えることを特徴とする撮像装置の制御方法。

【請求項19】

コンピュータを、請求項１乃至１７のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置およびその制御方法に関する。

【背景技術】

【0002】

一定間隔で連続して撮像を行い、その撮像画像（ライブビュー画像）を表示するライブビュー（以下ＬＶと表記）機能を有する撮像装置が知られている。ユーザは、このようなＬＶ画像により、静止画の撮像内容を確認することができる。また、ユーザは、移動する被写体をＬＶ画像で確認しながら、静止画の連続撮影を行うことができる。

【0003】

撮像装置が備える撮像センサが１つの場合、撮像センサは静止画記録用の画像データ出力とＬＶ表示用の画像データ出力の両方を行う必要があるが、静止画用の駆動を行っている間にＬＶ表示用の駆動を行うことはできない。ＬＶを表示中に静止画の連続撮影（連写）が行われた場合、レリーズのタイミングと連写間隔によっては、静止画用駆動時間が表示用駆動時間に重なることがある。撮像センサが静止画用駆動を行っている間はＬＶ表示用の画像データ出力が得られないため、ＬＶ表示をブラックアウトさせるか、前フレームの出力をＬＶ表示として複数回表示（同一フレームを連続表示）させることが行われる。

【0004】

同一フレームを連続表示する場合、ＬＶ表示において被写体の動きに加速感が加わったような不自然な動きに見える現象が発生する。また、ブラックアウトを行った場合、不自然な動きは無くなるが輝度変化が大きいために撮影者の目が疲れるなど視認性に課題がある。特許文献１には、静止画の連写中にＬＶ表示をブラックアウトさせる場合に、ブラックアウトとブラックアウトの間に表示されるＬＶ画像表示の輝度を明るくする構成が記載されている。特許文献１では、連写時にＬＶ表示期間以外に黒画像を表示すること（ブラックアウト）を前提に、ＬＶ表示期間に対する黒画像の表示期間の割合が大きくなるほどＬＶ表示輝度を明るくする。特許文献１では、このような構成により、静止画撮像時にブラックアウトによって表示が暗く観察されるのを抑制することができるとしている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８―００６８２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１は、黒画像表示を前提としており、ＬＶ表示の輝度を明るく表示することで、黒画像表示との輝度差が大きくなるため、輝度差による視認性悪化は改善されない。また、１つ１つの静止画の露光時間が長くなると、黒画像表示期間またはＬＶ画像の非更新期間が長くなるため、ブラックアウトおよび同一フレームの連続表示によるＬＶ表示では、視認性がさらに悪化する。

【0007】

本発明は、静止画の撮像中などにおけるＬＶ表示の視認性を改善する技術を提供する。

【課題を解決するための手段】

【0008】

本発明の一態様による撮像装置は以下の構成を備える。すなわち、
ライブビュー画像を撮像して表示部にライブビュー表示を行う撮像装置であって、
１つの静止画の撮像の露光時間と前記ライブビュー画像の撮像周期に基づいて、前記１つの静止画の撮像における露光を分割して行うか否かを判定する判定手段と、
前記判定手段により露光を分割して行うと判定された場合、前記１つの静止画の撮像の露光時間を分割して、前記１つの静止画へ合成される複数の静止画を取得する分割手段と、
前記複数の静止画の１つ以上を順次にライブビュー画像として用いることにより、前記１つの静止画の撮像によりライブビュー画像を撮像できなかった期間におけるライブビュー表示を行う表示制御手段と、を備える。

【発明の効果】

【0009】

本発明によれば、静止画の撮像中などにおけるＬＶ表示の視認性が改善される。

【図面の簡単な説明】

【0010】

【図1】第１実施形態による撮像装置の構成例を示すブロック図。

【図2A】第１実施形態による静止画連写中のＬＶ表示に関するタイミングチャート。

【図2B】第１実施形態による静止画連写中のＬＶ表示に関するタイミングチャート。

【図3A】第１実施形態による静止画連写中のＬＶ表示に関するタイミングチャート。

【図3B】第１実施形態による静止画連写中のＬＶ表示に関するタイミングチャート。

【図3C】第１実施形態による静止画連写中のＬＶ表示に関するタイミングチャート。

【図4】第１実施形態による処理の一例を示すフローチャート。

【図5】第１実施形態による処理の一例を示すフローチャート。

【図6】読み出し期間の重複の発生を説明する図。

【図7】読み出し期間の重複の発生を防止するための処理を説明する図。

【図8】第２実施形態による処理の一例を示すフローチャート。

【図9】第２実施形態による処理の一例を示すフローチャート。

【図10】第２実施形態による処理の一例を示すフローチャート。

【図11】第２実施形態による処理の一例を示すフローチャート。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

以下では画像処理装置を撮像装置の一部として説明する。また、以下では、撮像装置の例としてデジタルカメラを説明するがこれに限られるものではない。例えば、デジタルビデオカメラ、スマートフォン、カメラ付き携帯電話、車載カメラ等の撮像装置を採用することも可能である。

【0013】

＜第１実施形態＞
図１は第１実施形態に係る撮像装置としてのデジタルカメラの構成の一例を示すブロック図である。デジタルカメラは、撮像部１００、画像処理部１０１、表示部１０２、表示デバイス１０３、制御部１０４、データ転送部１０５、バス１０６、一時記録部１０７、記録部１０８を有する。また、デジタルカメラは、画像データを圧縮または圧縮されたデータを伸張する圧縮伸張部、圧縮されたデータを外部メディアに記録する外部記録部（いずれも不図示）などを有する。なお、圧縮されたデータとは、ＪＰＥＧやＭＰＥＧ形式などに圧縮された画像データである。デジタルカメラは、ライブビュー画像を撮像してライブビュー表示を行う機能を有する。以下、ライブビューをＬＶと表記する場合もある。

【0014】

撮像部１００は、受光した被写体像を電気信号に変換して画像データを作成するＣＣＤやＣＭＯＳセンサ等の撮像センサと、撮像センサにより得られたアナログ画像信号をデジタル信号に変換して画像データとして出力するするＡＤ変換器とを有する。撮像部１００から出力された画像データは、データ転送部１０５を介して一時記録部１０７に書き込まれる。

【0015】

画像処理部１０１は、画素補正、黒レベル補正、シェーディング補正、傷補正、ホワイトバランス調整、倍率色収差補正、ガンマ補正、輝度・色生成処理、幾何変形、ノイズリダクション、拡大縮小などの複数の処理を実行する。画像処理部１０１は、これら複数の処理の１つ以上を用いることで、画像データに対して適切な画像処理を施す。また、画像処理部１０１は画像処理を適切に行うにあたり、画像の分割領域ごとまたは画像全体についての平均輝度、ヒストグラム、動き量などの評価値を取得する。また画像処理部１０１は、被写体領域の検出を行ったうえで、被写体領域についての平均輝度、ヒストグラム、動き量などの評価値を取得する。これら評価値は例えばホワイトバランス調整、倍率色収差補正、ガンマ補正、輝度・色生成処理などに使用される。また、画像処理部１０１は、データ転送部１０５と接続され、データ転送部１０５から画像データを入力し画像処理した処理結果を、データ転送部１０５を介して一時記録部１０７へ書き込む。

【0016】

表示部１０２は、表示デバイス１０３の表示制御を行う。表示部１０２は、画像処理部１０１で処理された画像データを、一時記録部１０７からデータ転送部１０５を介して入力し、必要に応じた処理を施した上で表示画像を生成し、表示デバイス１０３へ転送する。表示部１０２が行う処理としては、例えば、輝度・色調整、表示デバイス１０３のサイズに表示画像を合わせるために画像の周辺に固定色（例えば黒塗り）の画素を追加する処理、表示データに撮像時間などを埋め込む処理、ＯＳＤ（Ｏｎ－Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）画像を重畳する処理、表示デバイス１０３に合わせたフォーマット変換などがある。表示デバイス１０３は、例えば、液晶表示器（ＬＣＤ）により構成され、表示部１０２からの画像の表示を行う。表示デバイス１０３は、例えばデジタルカメラの背面の表示パネル、電子ビューファインダ（ＥＶＦ）を構成し得る。表示パネル、電子ビューファインダには、ＬＶ表示がなされる。

【0017】

制御部１０４は、デジタルカメラの動作制御を司る１つまたは複数のプロセッサーを備え、デジタルカメラを構成する各機能ブロックに対して様々な指示を行い、各種の制御、処理を実行する。例えば、制御部１０４は、バス１０６を介して接続された画像処理部１０１、表示部１０２、データ転送部１０５、一時記録部１０７、記録部１０８を制御する。また、制御部１０４は、撮像部１００による撮影動作（露光、読み出し）を制御する。１つまたは複数のプロセッサーは、記録部１０８に記録されているプログラムを実行することで、本実施形態の各処理を実現する。なお、画像処理部１０１、表示部１０２、データ転送部１０５などの機能の少なくとも一部が制御部１０４（プロセッサー）により実現されてもよい。

【0018】

データ転送部１０５は、データ転送を行う複数のＤｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓコントローラ（ＷＲＤＭＡＣとＲＤＤＭＡＣ）を備える。画像データは、例えば画像処理部１０１からＷＲＤＭＡＣによってバス１０６を経て一時記録部１０７に一時記憶される。また、一時記録部１０７に記憶されている画像データは、ＲＤＤＭＡＣによってバス１０６を経てデータ転送部１０５に接続されている画像処理部１０１、表示部１０２へ出力される。バス１０６は、各々独立したバス構成のシステムバスとデータバスを備える。

【0019】

一時記録部１０７は、不図示のメモリ制御部とメモリを備える。メモリ制御部は、制御部１０４或いはデータ転送部１０５からの指示に応じて、メモリへのデータの書き込み、メモリからのデータの読み出しを行う。また、メモリは、所定枚数の静止画像や所定時間の動画像、音声等のデータや制御部１０４の動作用の定数、プログラム等を格納するのに十分な記憶容量を備えており、例えば、ＤＲＡＭなどから構成される。なお、一時記録部１０７は、複数のメモリを具備してもよい。

【0020】

記録部１０８は、不図示の不揮発性メモリ制御部と不揮発性メモリから構成される。不揮発性メモリ制御部は、制御部１０４からの指示に応じて、不揮発性メモリにデータを書き込んだり、不揮発性メモリからデータを読み出したりする。不揮発性メモリは、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリには、制御部１０４の動作用の定数、プログラム等が記憶される。

【0021】

図２Ａ～図２Ｂおよび図３Ａ～図３Ｃは、静止画連写においてレリーズタイムを一定とし、連写間隔を調整した、静止画連写中のＬＶ表示に関するタイミングチャートである。縦方向にタイミング信号あるいは処理を示しており、横方向は時間を示している。図２Ａ～図２Ｂと図３Ａ～図３Ｃは、静止画の撮像（以下、静止画撮像ともいう）の露光時間が異なる２種類のタイミングチャートを示している。なお、図２Ａ～図２Ｂ、図３Ａ～図３Ｃのタイミングチャートは、本発明の理解のために各動作のタイミングを模式的に示したものであり、各処理に要する時間などを厳密に表現したものではない。

【0022】

まず図２Ａ～図２Ｂについて説明する。撮像表示Ｖ同期２１１は、撮像部１００からのＬＶ画像の読み出しタイミングであり、ＬＶ画像の撮像（以下、ＬＶ撮像ともいう）の垂直同期信号のタイミングを示している。撮像表示Ｖ同期２１１は、例えば１秒間に６０フレームの画像が出力されるタイミング信号であり、ＬＶ画像の撮像周期を示す。

【0023】

静止画同期２１２は、撮像部１００からの静止画の読み出しタイミングを示しており、１枚目の静止画の撮像以降、静止画の連続撮影における撮像間隔Ｔ１で発生する同期信号である。タイミング２００は、ユーザによるシャッタボタン押下のタイミングを示しており、レリーズタイムＴ０後に、静止画同期信号が発生している。レリーズタイムＴ０は、固定の時間としてもよいし、可変の時間としてもよい。但し、レリーズタイムＴ０を固定の時間にすると、静止画撮像がＬＶ撮像と重なる可能性が高くなる。これに対して、レリーズタイムＴ０を可変とする場合は、たとえばＬＶ撮像と重ならないタイミングに静止画撮像の開始タイミングをずらすように構成することができる。

【0024】

センサ出力２１３は、ＬＶ画像撮像のための露光時間ＴＬ、静止画撮像のための露光時間Ｔ２、撮像部１００からの画像信号の読み出し開始と終了のタイミング、及び、センサ切り替え時間を示す。ここで、センサ切り替え時間とは、ＬＶ画像の撮像と静止画の撮像の切り替えに要する時間である。センサ出力２１３において、ＬＶ画像の撮像タイミングを表示１から表示８に示し、静止画の撮像タイミングを静止画１から静止画２に示している。センサ出力２１３の表示１～表示８はＬＶ画像の撮像における露光時間ＴＬと読み出し時間ｔ_Ｌを含む。センサ出力２１３の静止画１～静止画２は、静止画撮像のための露光時間Ｔ２と読み出し時間ｔ_２を含む。切り替え時間２０１はＬＶ画像の撮像から静止画の撮像への撮像部１００の切り替え時間、切り替え時間２０２は静止画の撮像からＬＶ画像の撮像への撮像部１００の切り替え時間である。一般に表示１～表示８と静止画１～静止画２とでは、撮像時間（露光時間＋読み出し時間）が異なる。これは、ＬＶ画像と静止画像とで画素数、露光時間が異なるためである。

【0025】

画像処理２１４は、画像処理部１０１による画像処理の開始と終了のタイミングを示す。撮像部１００が有する撮像センサの一番上のラインの読み出しが開始されると、画像処理部１０１は、全てのラインの読み出しを終えてなくとも、そのフレームの画像処理を開始することができる（追いかけ処理）。画像処理２１４において表示１～表示８、静止画１～静止画２が示すタイミングは以下の処理を含む。すなわち、撮像部１００から読み出された画像をデータ転送部１０５を介して一時記録部１０７に記録すること、画像処理部１０１がデータ転送部１０５を介してこの画像を読み出して処理し、データ転送部１０５を介して処理済みの画像を一時記録部１０７に記録すること、を含む。また、表示１から表示８、および静止画１、静止画２の画像処理（処理２０３）のタイミングでは、撮像部１００からの画像データの一画面全てが一時記録部１０７に記録される前に画像処理部１０１が処理を開始していること（追いかけ処理）を示している。なお、データ転送部１０５は、撮像部１００が書き込んだ画像データを画像処理部１０１が読み出すように制御している。つまり、画像処理部１０１は、撮像部１００が一時記録部１０７へ書き込む前に読み出すことがないように制御される。静止画はＬＶ画像よりも画素数が多いため、画像処理にかかる時間はＬＶ画像より静止画の方が長い。

【0026】

表示Ｖ同期２１５は、表示デバイス１０３へのＬＶ表示のための垂直同期信号のタイミングを示しており、例えば１秒間に６０フレームの画像を表示するタイミング信号である。なお、表示Ｖ同期２１５は、ＬＶ画像の撮像周期である撮像表示Ｖ同期２１１から一定時間遅れて発生している。表示部１０２は、あるフレームの画像処理が（例えば、撮像センサの上のラインから）開始されると、そのフレームの画像処理を終えていなくとも、そのフレームを用いた表示を行うことができる（追いかけ処理）。表示Ｖ同期２１５は、撮像部１００から画像が出力されてから表示デバイス１０３に表示されるまでに要する最短の時間だけ撮像表示Ｖ同期２１１からずれたタイミングに設定されている。ＬＶ表示２１６は、画像処理部１０１で処理された画像を、表示部１０２が表示デバイス１０３へ表示するタイミングを示す。図２Ａ～図２Ｂの例では、静止画（静止画１、静止画２）の撮像のタイミングがＬＶ画像の撮像のタイミングに重ならないため、表示１から表示８まで連続してＬＶ画像を取得しＬＶ表示することができている。

【0027】

次に図３Ａ～図３Ｂについて説明する。図２Ａ～図２Ｂでは、静止画の露光時間Ｔ２がＬＶ撮像の周期（撮像表示Ｖ同期）に比べて小さく、ＬＶ撮像およびＬＶ表示に影響を及ぼさない状態を示した。図３Ａ～図３Ｂでは、静止画撮像の露光時間Ｔ２が撮像表示Ｖ同期の周期よりも長く、静止画撮像とＬＶ撮像とが重なる場合のタイムチャートを示している。

【0028】

縦の項目である撮像表示Ｖ同期２１１、静止画同期２１２、センサ出力２１３、画像処理２１４、表示Ｖ同期２１５、ＬＶ表示２１６は図２Ａ～図２Ｂで説明したとおりである。但し、後述する分割露光により得られる複数の静止画を合成する静止画合成３５１が加わっている。また、図２Ａ～図２Ｂでは静止画の露光時間Ｔ２が撮像表示Ｖ同期（表示Ｖ同期）の１周期内に収まっていたのに対し、図３Ａ～図３Ｂでは、静止画の露光時間が、撮像表示Ｖ同期の３周期の期間にまたがる程度に長い。そこで、図３Ａ～図３Ｂでは、長い露光時間の静止画を得るために、１つの静止画の露光時間を複数に分割する分割露光が行われる。本実施形態では、１つの静止画の露光時間を撮像表示Ｖ同期２１１に同期して分割している。１つの静止画１は、このような分割露光により得られる複数の静止画（静止画１－１～静止画１－３）を合成すること（静止画合成３５１）により生成される。

【0029】

図３Ｂにおけるセンサ出力２１３のタイミングに示されるように、撮像部１００は撮像センサから静止画の露光時間Ｔ２を露光時間Ｔ３、Ｔ４、Ｔ５に分割して読み出しを行う（分割露光）。なお、分割露光の各露光において、撮像センサからの静止画の読み出し時間（ＴＲ：静止画の読み出し開始から完了までの時間）が必要になる。また、図３Ｂでは、直前の静止画撮影のための露光が完了してから（静止画の読み出しを開始してから）次の静止画撮影のための露光を開始するまでに必要な期間をｔ_３＝ｔ_４＝ｔ_５としている。これらの期間は、例えば、撮像センサの１ラインの画像データの読み出し期間であり、読出を終えたラインから順次に次の静止画のための露光が開始される。図３Ｂの例では、露光時間Ｔ２（＝Ｔ３＋Ｔ４＋Ｔ５）の静止画を得るのに要する撮像時間はＴ３＋ｔ_３＋Ｔ４＋ｔ_４＋Ｔ５＋ＴＲとなる。各分割露光における画像の読み出し時間が等しい場合、これをｔ（＝ｔ_３＝ｔ_４＝ｔ_５）とすると、露光時間Ｔ２の静止画を得るのに要する撮像時間は、Ｔ３＋Ｔ４＋Ｔ５＋２ｔ＋ＴＲとなる。

【0030】

また、図３Ｂの例では、撮像表示Ｖ同期２１１の信号を基準に、ＬＶ撮像の露光が完了するタイミングを静止画撮像における露光の分割タイミングとしている。但し、静止画撮像における露光の分割タイミングの決定方法はこれに限られるものではない。例えば、ＬＶ撮像の露光開始タイミングなどに基づいて静止画撮像における露光の分割タイミングが決定されてもよい。このように撮像表示Ｖ同期２１１に基づいて決定された分割タイミングを用いて分割露光を行うことで、通常のＬＶ撮像からＬＶ表示までの遅延と、静止画の分割露光を利用したＬＶ表示の場合の表示遅延とを合わせることができる。すなわち、撮像表示Ｖ同期２１１の撮像周期に従って撮像されたＬＶ画像が表示されるタイミングと、１つの静止画の露光を分割して得られた複数の静止画の各々が表示されるタイミングとを一致させることができる。

【0031】

画像処理２１４では、画像処理部１０１が、分割読み出しをした静止画１－１（処理３０３）、静止画１－２（処理３０４）、静止画１－３（処理３０５）に画像処理を施す。このとき、画像処理部１０１は、分割露光により得られた複数の静止画の明るさを、ライブビュー画像の撮像条件に基づいて調整する。静止画をライブビュー表示に利用するためである。例えば、画像処理部１０１は、各露光時間Ｔ３、Ｔ４、Ｔ５とライブビュー撮像時の撮像条件とに基づいて、静止画１－１、１－２の表示輝度がライブビュー画像と合うように輝度調整を行う。例えばＬＶ撮像と静止画撮像とで露光時間以外の撮像条件は同じであると仮定した場合、ＬＶの露光時間をＴＬとすると、静止画１－１～１－３のそれぞれからＬＶ表示画像を生成する輝度調整のためのＧａｉｎはそれぞれ下式（１）～（３）となる。

【0032】

Ｇａｉｎ１＝ＴＬ／Ｔ３ ...（１）
Ｇａｉｎ２＝ＴＬ／Ｔ４ ...（２）
Ｇａｉｎ３＝ＴＬ／Ｔ５ ...（３）
上記の輝度調整の例では、式（１）～（３）により、分割露光により得られた複数の静止画の明るさを、それぞれの分割された露光時間（Ｔ３～Ｔ５）とライブビュー画像の撮像の露光時間（ＴＬ）との比に従って調整されている。輝度調整は、式（１）～（３）で算出されたＧａｉｎ１～３のうちの対応する露光時間のＧａｉｎを用いて、下式（４）によって行われる。例えば、静止画１－１の輝度調整の場合、Ｇａｉｎ１をＧａｉｎとして用いて式（４）を計算することで輝度調整後の静止画が得られる。

【0033】

輝度調整後の静止画＝静止画撮像による静止画×Ｇａｉｎ ...（４）
ＬＶ表示２１６において、表示４（フレーム３０６）の次のフレーム３０７およびその次のフレーム３０８については、静止画撮像のためにＬＶ撮像を実行できていない。そこで、静止画１－１と静止画１－２をフレーム３０７，３０８のＬＶ画像として表示する。なお、図示の例では、表示７をＬＶ撮像できたためフレーム３０８の次のフレームでは表示７がＬＶ表示に用いられ、静止画１－３はＬＶ表示には使用されない。静止画の露光時間が図示の例よりも長く、露光時間Ｔ５（および／またはその読み出し時間）または切り替え時間２０２が表示７のＬＶ撮像と重なる場合は、表示７のＬＶ撮像ができない。その場合、静止画１－３（３０５）が表示７の代わりにＬＶ画像として用いられることになる。

【0034】

静止画合成３５１では、分割露光したセンサ出力である静止画１－１、静止画１－２、静止画１－３を合成して露光時間Ｔ２に対応する静止画が生成される。図示の例では、静止画１－２がセンサ出力されるのと並行して静止画１－１と静止画１－２を加算する（合成処理３０９）ことで合成された静止画が得られる。さらに静止画１－３がセンサ出力されるのと並行して、合成処理３０９で合成された静止画と静止画１－３を加算（合成処理３１０）して合成された静止画が生成される。こうして合成処理３０９、３１０により生成された静止画は、露光時間Ｔ２（＝Ｔ３＋Ｔ４＋Ｔ５）相当の静止画として取得される。

【0035】

なお、図３Ｂでは、静止画撮像における露光の分割タイミングをＬＶ撮像のタイミング（ＬＶ撮像の露光時間の完了）を考慮して決定したが、これに限られるものではない。例えば、図３Ｃのように、撮像表示Ｖ同期２１１の周期Ｔｖに従って、静止画撮像における露光の分割タイミングを決定してもよい。図３Ｃでは、静止画の露光時間Ｔ２を撮像表示Ｖ同期の周期Ｔｖで分割しており、Ｔ２＝Ｔｖ＋Ｔｖ＋Ｔｒとなっている。最後の期間Ｔｒは、Ｔｖで分割した結果として得られた、Ｔｖよりも短い露光の残時間である。撮像表示Ｖ同期２１１の周期Ｔｖで分割露光を行うので、静止画１－１の撮像が、ＬＶ表示２１６のフレーム３０６'の表示に間に合わない。この場合、フレーム３０６'にその手前のフレーム３０６（表示４）が繰り返し表示されるようにしてもよいし、フレーム３０６'をブラックアウトとしてもよい。

【0036】

また、図２Ａ～図２Ｂ、図３Ａ～図３Ｃでは、ユーザによるシャッタボタン押下のタイミング２００に対する静止画撮像のための露光開始タイミングを、タイミング２００の次のＬＶ撮像の露光完了後（レリーズタイムＴ０）とした。しかし、静止画撮像のための露光開始タイミングはこれに限られるものではなく、例えば、静止画露光開始タイミングをタイミング２００に対して一番近い未来の撮像表示Ｖ同期のタイミングとしてもよい。この場合、静止画露光開始タイミングのＬＶ撮像が静止画撮像に置き換わるので、静止画の露光時間の長さに関わらず、少なくとも１フレームは静止画撮像で得られた画像をＬＶ表示することになる。

【0037】

以上、図２Ａ～図３Ｃの参照により説明した動作を実現する制御部１０４の処理手順について、図４および図５のフローチャートを用いて説明する。まず、図２Ａ～図２Ｂと、図３Ａ、図３Ｃにより説明した動作を実現する処理について図４を用いて説明する。図４は、制御部１０４による、ＬＶ表示静止画撮像における静止画の分割露光処理を示すフローチャートである。図４では、制御部１０４は、分割露光を行うかをある固定の閾値（Ｔｈ）に基づいて判定し、撮像表示Ｖ同期（Ｔｖ）で分割露光を行う。

【0038】

ステップＳ４０１で、制御部１０４は、残露光時間Ｔｒの初期値として静止画の露光時間Ｔｓをセットする。静止画の露光時間Ｔｓはユーザの指定または制御部１０４による露出制御によって決まるシャッタースピードの時間である。図３Ｃでは、Ｔｓ＝Ｔｖ＋Ｔｖ＋Ｔｒである。

【0039】

ステップＳ４０２で、制御部１０４は、残露光時間Ｔｒと固定の所定の閾値Ｔｈとを比較する。比較の結果、Ｔｒの方がＴｈより大きい場合（Ｓ４０２でＹＥＳ）、処理はステップＳ４０３に進み、ＴｒがＴｈ以下の場合（Ｓ４０２でＮＯ）、処理はステップＳ４０６に進む。なお、閾値Ｔｈは、ＬＶ撮像を邪魔しないで静止画を撮像できる最大の露光時間を表す固定値である。例えば、撮像部１００のＬＶ撮像と静止画撮像の切替えに要する時間（例えば時間２０１と時間２０２）が撮像表示Ｖ同期の周期Ｔｖから除かれた時間であり、撮像表示Ｖ同期２１１の周期Ｔｖ未満（Ｔｈ＜Ｔｖ）の時間である。

【0040】

ステップＳ４０３では、制御部１０４は、静止画をＴｖとＴｒのうちの短い方の時間を露光時間として撮像を実行することで分割露光を行う。ここでＴｖは撮像表示Ｖ同期２１１の１周期の時間である。また、ＴｖとＴｒのうちの短い方の時間を用いるのは、Ｔｈ＜Ｔｒ＜Ｔｖの場合があるからである。撮像した分割露光画像はデータ転送部１０５を介して一時記録部１０７に一時記録される。ステップＳ４０４では、画像処理部１０１が、分割露光して撮像した画像を通常のＬＶ撮像画像と合わせるように輝度調整し、表示部１０２は輝度調整された画像を表示デバイス１０３に表示する。なお、輝度調整には例えば図３Ａ～図３Ｂ（式（１）～（４））で説明した方法を用いることができる。テップＳ４０５で、制御部１０４は、残露光時間Ｔｒを、現在のＴｒからＴｖを引いた値に更新する（Ｔｒ＝Ｔｒ－Ｔｖ）。その後、処理はステップＳ４０２に戻る。こうして残露光時間Ｔｒが閾値Ｔｈ以下になるまでステップＳ４０２からステップＳ４０５の処理が繰り返される。

【0041】

ステップＳ４０６では、制御部１０４は、残露光時間Ｔｒで静止画を分割露光、撮像する。但し、この時点でＴｒ＜０の場合（Ｔｖ＞Ｔｒ＞Ｔｈの場合、ステップＳ４０５でＴｒ＜０になる）はそのまま処理を終了する。ステップＳ４０７において、制御部１０４は、ステップＳ４０６で実行した分割露光または撮像部１００の切り替え時間がＬＶ撮像の開始タイミングに重なるか否かを判断する。分割露光がＬＶ撮像の開始タイミングと重なる場合、画像処理部１０１は、当該分割露光、撮像により得られた静止画を通常のＬＶ撮像画像と合わせるよう輝度調整し、表示部１０２は、輝度調整された静止画を表示デバイス１０３に表示する。なお、輝度調整については、図３Ａ～図３Ｂ、式（１）～（４）により上述した通りである。

【0042】

静止画の分割露光が行われた場合、ステップＳ４０８において、画像処理部１０１は、分割露光により得られた複数枚の分割露光画像を合成し、露光時間Ｔ２に対応する一枚の静止画を生成する。図３Ｃの例では、露光時間Ｔｖの２枚の静止画と、露光時間がＴｒ（＝Ｔ２－Ｔｖ－Ｔｖ）の静止画との２枚の静止画が合成される。生成方法は例えば図３Ａ～図３Ｂで説明した方法を用いることができる。なお、フローチャートでは、静止画の合成をステップＳ４０８でまとめて示しているが、図３Ｃに示したように、分割露光で得られた静止画を順次に合成していくようにしてもよい。また、静止画露光時間ＴｓがＴｈより小さい場合は、直ちにＳ４０６以降の処理が実行され、制御部１０４は、例えば、図２Ａ～図２Ｂで説明したタイミングによる動作を行うよう制御する。

【0043】

以上により、ＬＶ表示において、ブラックアウトや、同じ画像の連続表示などによる更新が途切れるような現象を起こすことなく、連続して更新画像を表示し続けることができる。

【0044】

図５は分割露光を行うかを撮像表示Ｖ同期に同期したタイミングまでの期間に基づいて判定して処理する場合の処理フローの例である。図５では、ＬＶ撮像が終了するタイミングまでの期間に基づいて分割露光を行うか否かを判定し、ＬＶ撮像が終了するタイミングまでの期間で静止画撮像の露光時間を分割する。図５に示される処理により、制御部１０４は、例えば、図２Ａ～図２Ｂ，図３Ａ～図３Ｂに示したタイミングによる動作を行うよう制御する。

【0045】

ステップＳ５０１で、制御部１０４は、残露光時間Ｔｒに静止画の露光時間Ｔｓをセットする（Ｔｒ＝Ｔｓ）。露光時間Ｔｓはユーザの指定または制御部１０４による露出制御によって決まるシャッタースピードの時間であり、図３Ｂの例では、Ｔｓ＝Ｔ３＋Ｔ４＋Ｔ５である。

【0046】

ステップＳ５０２で、（次のＬＶ撮像表示Ｖ同期までの期間＋ＬＶ露光時間ＴＬ）をＴｅとして取得する。なお、本実施形態では、図３Ｂに示されるようにＬＶ撮像の露光時間の完了タイミングに合わせるようＴｅを算出しているが、これに限られるものではない。例えば、上述したように、ＬＶ撮像の露光開始タイミングに合わせるなどの仕様に基づいてＴｅを算出してもよい。これによりＬＶ撮像時と分割露光による撮像時とで、撮像部１００から画像を読み出してから表示デバイス１０３で表示するまでの遅延を合わせることが可能となり、より確実にＬＶ画像または静止画（分割静止画）をＬＶ表示として利用できるようになる。ステップＳ５０３では、制御部１０４は、残露光時間ＴｒとステップＳ５０２で取得したＴｅを比較する。比較の結果、Ｔｒの方がＴｅより大きい場合（ステップＳ５０３でＹＥＳ）、当該静止画撮像の露光時間によって次のＬＶ画像の撮像ができないので、処理はステップＳ５０４に進む。ステップＳ５０４以降では、静止画撮像を分割露光により撮像することで得られた分割静止画をＬＶ表示に用いる処理が行われる。他方、ＴｒがＴｅ以下の場合（ステップＳ５０３でＮＯ）、処理はステップＳ５０７に進む。

【0047】

ステップＳ５０４では、制御部１０４は、静止画を露光時間Ｔｅで分割露光して撮像するよう撮像部１００を制御する。撮像した分割露光画像はデータ転送部１０５を介して一時記録部１０７に一時記録される。ステップＳ５０５では、画像処理部１０１が、分割露光して撮像した画像を通常のＬＶ撮像により得られる画像と合わせるよう輝度調整する。表示部１０２は輝度調整された画像を表示デバイス１０３に表示する。なお、輝度調整は、図３Ｂ、式（１）～（４）で説明したとおりである。

【0048】

ステップＳ５０６で、制御部１０４は、残露光時間Ｔｒを、ＴｒからＴｅを引いた値に更新して、処理をステップＳ５０２に戻す。制御部１０４は、ステップＳ５０２で新たにＴｅを取得し、ステップＳ５０３でＴｒとＴｅを比較し、ＴｒがＴｅ以下になるまでステップＳ５０２からステップＳ５０６の処理を繰り返す。こうして、例えば、図３Ｂに示されるように分割露光が実行されることになる。なお、図３Ｂにおいて、Ｔ３は、最初に算出されるＴｅであり、Ｔ４は次に算出されるＴｅである。Ｔ５は、ＴｒがＴｅ以下になった時点のＴｒである。ステップＳ５０７～Ｓ５０９の処理は、図４のステップＳ４０６～Ｓ４０８と同様である。

【0049】

以上のように、上記実施形態によれば、ＬＶ表示において、ブラックアウトや、同じ画像の連続表示などによる更新が途切れるような現象を起こすことなく、連続して更新画像を表示し続けることができる。したがって、上記実施形態によれば、静止画撮像や静止画の連写撮影時において、静止画の露光時間が長くなるなどしてＬＶ撮像、表示が行えない場合でも、視認性のよい滑らかなＬＶ表示を行うことが可能な撮像装置を提供することができる。

【0050】

＜第２実施形態＞
例えば、第１実施形態の図３Ｂ、図３Ｃに示されるように、分割露光を実施することにより静止画１－１から静止画１－３が得られる場合を考える。この場合、静止画１－３を得るための露光時間が短いと、撮像部１００の撮像センサから静止画１－２を読み出す期間と、静止画１－３を読み出す期間とが重複する場合がある。このような読み出し期間の重複が発生する場合、静止画の読み出しを実行することができなくなる。第２実施形態では、このような読み出し期間の重複を回避して、確実に静止画の読み出しを行える撮像装置を説明する。なお、第２実施形態に係る撮像装置の構成は第１実施形態と同様である。

【0051】

また、静止画連写においてＬＶ画像を連続して表示できる場合のタイミングチャートは、第１実施形態（図２Ａ～図２Ｂ）に示したとおりである。他方、静止画露光時間が長くなる場合は、図３Ａ～図３Ｃに示されるように、分割露光により静止画が撮像される。このような分割露光処理において、最後の分割露光における露光時間が短く、最後の分割露光による静止画の読み出し期間と１つ前の分割露光による静止画の読み出し期間とが重複する場合、図３Ｂ，図３Ｃとは異なるタイミングチャートによる静止画の撮影処理が必要となる。

【0052】

まず、読み出し期間の重複について説明する。図６は、分割露光を伴う静止画撮影の様子を示す図である。図６（ａ）～（ｂ）は、図３Ｂ、図３Ｃの静止画１－１～静止画１－３の露光および読み出しのタイミングを抽出して示した図である。図６（ａ）は、最後の分割露光（静止画１－３に対する分割露光）の露光時間Ｔ５が、１つ前の静止画（静止画１－２）の読み出し完了までの期間Ｔｏよりも長い場合を示す。期間Ｔｏは、静止画１－３の露光開始から静止画１－２の読み出し完了までの期間（Ｔｏ＝ＴＲ－ｔ４）である。Ｔ５＞Ｔｏの場合、静止画１－２の読み出し期間と静止画１－３の読み出し期間が重複することはない。

【0053】

一方、図６（ｂ）は、最後の分割露光（静止画１－３に対する分割露光）の露光時間Ｔ５が、１つ前の静止画（静止画１－２）の読み出し完了までの期間Ｔｏよりも短い場合を示す。この場合、静止画１－２の読み出し期間と静止画１－３の読み出し期間が、期間Ｔｗにおいて重複するため、露光時間Ｔ５の静止画１－３を得ることができない。なお、図中のＴ３～Ｔ５は図３ＢのタイミングチャートのＴ３～Ｔ５に対応するものであり、括弧書きで示したＴｖ、Ｔｒは図３Ｃのタイミングチャートに対応する。また、図６では静止画撮影の分割数が３つの場合を示したが、これに限られるものではなく、分割数は２、４以上であってもよい。

【0054】

本実施形態では、分割露光により撮影される複数の静止画のうち、読み出し期間に重複が発生する静止画撮影が存在する場合に、その重複が解消されるように撮像センサによる複数の静止画の撮影を変更する。図７は、分割露光による静止画の読み出し期間が重なる場合（図６（ｂ））の対処例を示す図である。ここでは、図７（ａ）～（ｄ）の４つの方法について説明する。

【0055】

第一の方法は、静止画の露光の開始タイミングを、読み出し期間の重複を回避するように遅延させる。図７（ａ）では、静止画読み出し期間が重なるタイミングの分割露光のタイミングを重ならないタイミングにずらすことで解決する方法が示されている。静止画１－２と静止画１－３は、静止画の合成画像の画質を考慮すれば、なるべく間を空けずに露光されることが望ましい。しかしながら、図６（ｂ）に示したように、静止画１－３の露光時間が短いため、静止画１－２と静止画１－３の間を空けずに露光／読み出しが行われると、静止画１－２と静止画１－３の読み出し期間に重複が生じる。そこで、制御部１０４は、撮像部１００における静止画１－３の露光の開始タイミングを、読み出し期間の重複を回避するように遅延させる。すなわち、静止画１－２の読み出し完了よりも静止画１－３の読み出しの開始が後になるようにＴｘ（Ｔｘ＞Ｔｏ－Ｔ５）だけ静止画１－３の露光の開始タイミングを後ろへずらすことにより、読み出し期間の重複が解消される。

【0056】

第二の方法は、読み出し期間の重複が生じる静止画の露光時間に、複数の静止画のうちの当該静止画を除く他の静止画の少なくとも１つに割り当てられた露光時間の一部を移すことで読み出し期間の重複を回避する。図７（ｂ）では、読み出し期間が重ならない分割となるように、他の静止画（静止画１－１）の露光時間を静止画１－３の露光時間に割り当てている。例えば、図３Ｂのように、撮像表示Ｖ同期２１１に同期して各分割露光の長さが決定される場合は、静止画の露光開始タイミング（静止画１－１の露光開始タイミング）を図７（ｂ）に示すようにＴｘだけ後ろへずらす。これにより、静止画１－１の露光時間がＴｘ減少し、静止画１－３の露光時間をＴｘだけ延ばすことができる。静止画１－３の露光時間をＴ５＋Ｔｘ＞ＴｏとなるようにＴｘを設定することで、静止画１－２と静止画１－３の読み取り機関の重複を避けることができる。なお、図３Ｃのように、分割露光時間が固定長Ｔｖで分割される場合は、例えば、静止画１－１の露光時間をＴｖ－Ｔｘとし、静止画１－３の露光時間をＴｒ＋Ｔｘ＞Ｔｏとすればよい。また、この場合、露光時間が短縮される静止画は、先頭の静止画に限られるものではない。また、複数の静止画の露光時間から最後の静止画を延長するための露光時間が取得されるようにしてもよい。例えば、静止画１－１と静止画１－２の露光時間をＴｖ－Ｔｘ／２に変更し、静止画１－３の露光時間をＴｘだけ延長するようにしてもよい。

【0057】

第三の方法は、読み出し期間の重複が生じる静止画の撮影を中止することで読み出し期間の重複を回避する。図７（ｃ）では、静止画読み出し期間が重なった分割露光を実施しないことで、上述した読み出し期間の重複が解消される様子を示している。最後の静止画１－３に関わる分割露光が実施されないため、静止画の全体の露光時間が、削除された静止画１－３の露光時間の分だけ不足することになる。この露光時間の不足は、例えば、静止画１－１と静止画１－２の画像合成後にゲインアップすることで解決され得る。

【0058】

また、実施を取りやめた静止画１－３のＶのＬＶ表示用の画像が無くなることによりＬＶ撮像が可能となる場合には、制御部１０４は、ＬＶ表示画像を得るためにＬＶ撮像を実施しＬＶ表示する。

【0059】

第四の方法は、読み出し期間が重複する２つの静止画の撮影を、それら２つの静止画の露光時間を足し合わせた露光時間による１つの静止画の撮影に変更することで読み出し期間の重複を回避する。例えば、図７（ｄ）に示されるように、静止画読み出し期間が重なる分割露光が発生する場合に、これらの露光時間を分割せずに、露光時間を延長することで解決する。すなわち、図７（ｄ）において静止画１－３の分割露光の読み出しが重なる場合、これを分割せず静止画１－２の露光時間をＴ４＋Ｔ５とすることで、読み出し期間の重複が解消されている。

【0060】

次に、図７（ａ）～（ｄ）により上述した、読み出し期間の重複を解消するための第一～第四の方法を実現する動作例について、図８～図１１のフローチャートを用いて説明する。

【0061】

図８は図７（ａ）を参照して説明した第一の方法（静止画読み出し期間が重なるタイミングの分割露光のタイミングを重ならないタイミングにずらす）を実行するための処理を示すフローチャートである。

【0062】

図８（ａ）は図４のフローチャートに追加される処理を示す。ステップＳ４０２で残露光時間Ｔｒ＞閾値Ｔｈではない（ステップＳ４０２でＮＯ）と判定されると、処理はステップＳ８０１に進む。ステップ８０１で、制御部１０４は、残露光時間Ｔｒと静止画読み出し期間Ｔｏとを比較する。残露光時間Ｔｒの方が静止画読み出し期間Ｔｏよりも長い（Ｔｒ＞Ｔｏ）場合、処理はステップＳ４０６へ進む。ステップＳ４０６以降の処理は、図４に示したとおりである。他方、残露光時間Ｔｒが静止画読み出し期間Ｔｏ以下（Ｔｒ≦Ｔｏ）の場合、処理はステップＳ８０２に進む。このように、制御部１０４は、残露光時間Ｔｒと静止画読み出し期間Ｔｏを比較することで静止画の読み出し期間が重複するか否かを判断している。残露光時間Ｔｒの方が静止画読み出し期間Ｔｏよりも長い場合は静止画読み出し期間は重ならず、残露光時間Ｔｒが静止画読み出し期間Ｔｏ以下の場合は静止画読み出し期間が重なると判断される。

【0063】

ステップＳ８０２では、静止画の読み出し期間が重ならないように残露光時間Ｔｒの露光開始タイミングを、例えば図７（ａ）の静止画１－３について示されるように後ろにずらす。その後、処理は、図４のステップＳ４０６へ進み、ステップＳ８０２で設定されたタイミングで分割露光が開始される。

【0064】

図８（ｂ）は、図７（ａ）に示される動作を実現するために図５のフローチャートに追加される処理を示す。ステップＳ５０３で残露光時間Ｔｒ≦Ｔｅと判定されると（ステップＳ５０３でＮＯ）、処理はステップＳ８１１に進む。ステップ８１１で、制御部１０４は、残露光時間Ｔｒと静止画読み出し期間Ｔｏとを比較する。残露光時間Ｔｒの方が静止画読み出し期間Ｔｏよりも長い（Ｔｒ＞Ｔｏ）場合、処理はステップＳ５０７へ進む。ステップＳ５０７以降の処理は、図５に示したとおりである。他方、残露光時間Ｔｒが静止画読み出し期間Ｔｏ以下（Ｔｒ≦Ｔｏ）の場合、処理はステップＳ８１２に進む。ステップＳ８１２では、静止画の読み出し期間が重ならないように残露光時間Ｔｒの露光開始タイミングを、例えば図７（ａ）の静止画１－３について示されるように後ろにずらす。その後、処理は、図５のステップＳ５０７へ進み、ステップＳ８１２で設定されたタイミングで分割露光が開始される。

【0065】

図９は、図７（ｂ）を参照して説明した第二の方法（静止画読み出し期間が重ならない分割となるように静止画の分割露光の期間を変更する）を実行するための処理を説明するフローチャートである。

【0066】

図９（ａ）は図４のフローチャートに示される処理を開始するのに先立って実行される処理を示す。ステップＳ９０１で、制御部１０４は、残静止画露光時間Ｔｒを静止画露光時間Ｔｓに設定する。静止画露光時間Ｔｓはユーザの指定または制御部１０４による露出制御によって決まるシャッタースピードの時間である。ステップＳ９０２で、制御部１０４は、残静止画露光時間Ｔｒと閾値Ｔｈと比較する。Ｔｒ＞Ｔｈの場合、処理はステップ９０３に進み、Ｔｒ≦Ｔｈの場合、処理はステップ９０４に進む。ステップＳ９０３で、制御部１０４は、残静止画露光時間Ｔｒを、Ｔｒから撮像表示Ｖ同期２１１の周期Ｔｖを引いた値に更新する。Ｔｒ≦Ｔｈになるまで、ステップＳ９０２、Ｓ９０３が繰り返される。なお、閾値Ｔｈ、周期Ｔｖは図４に関して上述したとおりである。

【0067】

ステップＳ９０４において、制御部１０４は、残静止画露光時間Ｔｒと静止画読み出し期間Ｔｏを比較する。図８の処理と同様に、残静止画露光時間Ｔｒと静止画読み出し期間Ｔｏを比較することで静止画読み出し期間が重なるか否かが判断される。残静止画露光時間Ｔｒの方が静止画読出し期間Ｔｏより長い（Ｔｒ＞Ｔｏ）場合は、本処理を終了し、制御部１０４は、図４に示される静止画撮像を開始する。残静止画露光時間Ｔｒが静止画読出し期間Ｔｏ以下（Ｔｒ≦Ｔｏ）の場合、処理はステップＳ９０５に進む。ステップＳ９０５では、制御部１０４は、１つ目の分割露光の露光時間をＴｖからＴｘだけ差し引いた時間に設定した後、図４に示される静止画撮像を開始する。なお、図４のＳ４０３～Ｓ４０５において、最初の分割露光に用いられるＴｖは、Ｔｖ－Ｔｘとなる。これにより、最後の分割露光の露光時間をＴｘだけ長くすることができる。したがって、例えば、ＴｘをＴｏ－Ｔｒとすれば、最後の分割露光の読み出し期間と１つ前の分割露光の読み出し期間は重ならなくなる。

【0068】

図９（ｂ）は、図５のフローチャートに示される処理を開始するのに先立って実行される処理を示す。ステップＳ９１１で、制御部１０４は、残静止画露光時間Ｔｒを静止画露光時間Ｔｓに設定する。そして、ステップＳ９１２において、制御部１０４は、（次のＬＶ撮像表示Ｖ同期までの期間＋ＬＶ露光時間ＴＬ）をＴｅとして取得する。ステップＳ９１３において、制御部１０４は、残静止画露光時間ＴｒとＴｅを比較する。Ｔｒ＞Ｔｅの場合、処理はステップ９１４に進み、Ｔｒ≦Ｔｅの場合、処理はステップ９１５に進む。ステップＳ９１４で、制御部１０４は、残静止画露光時間ＴｒからＴｅを引いた値に更新する。Ｔｒ≦Ｔｅになるまで、ステップＳ９１３、Ｓ９１４が繰り返される。

【0069】

ステップＳ９１５において、制御部１０４は、残静止画露光時間Ｔｒと静止画読み出し期間Ｔｏを比較することにより、静止画読み出し期間が重なるか否かを判断する。残静止画露光時間Ｔｒの方が静止画読出し期間Ｔｏより長い（Ｔｒ＞Ｔｏ）場合は、本処理を終了し、制御部１０４は、図５に示される静止画撮像を開始する。残静止画露光時間Ｔｒが静止画読出し期間Ｔｏ以下（Ｔｒ≦Ｔｏ）の場合、処理はステップＳ９１６に進む。ステップ９１６では、図７（ｂ）で示したように静止画の露光開始タイミングをずらす。例えば、Ｔｏ－Ｔｒだけ露光開始タイミングを後ろにずらすと最後の分割露光は読み出し期間が重ならなくなる。その上でステップＳ９１１から再度処理を行う。最終的にステップＳ９１５でＮＯと判定されたところで、その時点で設定されている静止画の露光開始タイミングにて分割露光が実施される。

【0070】

図１０は図７（ｃ）の参照により上述した第三の方法（静止画読み出し期間が重なる分割露光を中止することで読み出し期間の重複を回避する）を実行するための処理を示すフローチャートである。

【0071】

図１０（ａ）は図４のフローチャートに追加される処理を示す。ステップＳ４０２で、制御部１０４は、残静止画露光時間Ｔｒと閾値Ｔｈと比較する。Ｔｒの方がＴｈより大きい（Ｔｒ＞Ｔｈ）場合、処理はステップＳ４０３に進む。ステップＳ４０３～Ｓ４０５の処理は図４で説明したとおりである。

【0072】

ステップＳ４０２でＴｒがＴｈ以下（Ｔｒ≦Ｔｈ）と判定された場合、処理はステップＳ１００１に進む。ステップＳ１００１において、制御部１０４は、残静止画露光時間Ｔｒと静止画読み出し期間Ｔｏを比較する。残静止画露光時間Ｔｒの方が静止画読出し期間Ｔｏより長い（Ｔｒ＞Ｔｏ）場合、処理はステップＳ４０６に進む。ステップＳ４０６以降の処理は図４で説明したとおりである。一方、残静止画露光時間Ｔｒが静止画読出し期間Ｔｏ以下（Ｔｒ≦Ｔｏ）の場合、処理はステップＳ１００２に進む。上述したように、残静止画露光時間Ｔｒと静止画読み出し期間Ｔｏを比較することで静止画読み出し期間が重なるか否かが判断されている。

【0073】

ステップＳ１００２では、制御部１０４は、これ以上の静止画露光を行わず、静止画撮影を打ち切る。このとき、制御部１０４は、打ち切りにより不実行となった露光の露光時間Ｔｒを記憶する。ステップＳ１００３において、ＬＶ撮像が間に合わない場合に、画像処理部１０１は、当該分割露光、撮像により得られた静止画を通常のＬＶ撮像画像と合わせるよう輝度調整し、表示部１０２は、輝度調整された静止画を表示デバイス１０３に表示する。この処理は、図４により上述したＳ４０７の処理と同様である。

【0074】

ステップＳ１００４において、画像処理部１０１は、分割露光により取得された複数枚の分割露光画像を合成して一枚の静止画画像を生成する。生成方法は、ステップＳ４０８で説明した方法が用いられ得る。さらに、打ち切られた残りの露光時間Ｔｒの分だけ静止画の合計露光時間が短くなっているため、画像処理部１０１は、ステップＳ１００５において、（静止画露光時間Ｔｓ）／（Ｔｓ－Ｔｒ）だけゲインアップを行う。これによって静止画露光時間Ｔｓの静止画と同等の静止画像を生成することができる。

【0075】

図１０（ｂ）は図５のフローチャートに追加される処理を示す。ステップＳ５０３で、制御部１０４は、残静止画露光時間ＴｒとＴｅを比較する。Ｔｒの方がＴｅより大きい（Ｔｒ＞Ｔｅ）場合、処理はステップＳ５０４に進む。ステップＳ５０４～Ｓ５０６の処理は図５で説明したとおりである。他方、ステップＳ５０３でＴｒがＴｅ以下（Ｔｒ≦Ｔｅ）と判定された場合、処理はステップＳ１０１１に進む。ステップＳ１０１１において、制御部１０４は、残静止画露光時間Ｔｒと静止画読み出し期間Ｔｏを比較する。残静止画露光時間Ｔｒの方が静止画読出し期間Ｔｏより長い（Ｔｒ＞Ｔｏ）場合、処理はステップＳ５０７に進む。ステップＳ５０７以降の処理は図５で説明したとおりである。一方、残静止画露光時間Ｔｒが静止画読出し期間Ｔｏ以下（Ｔｒ≦Ｔｏ）の場合、処理はステップＳ１０１２に進む。上述したように、残静止画露光時間Ｔｒと静止画読み出し期間Ｔｏを比較することで静止画読み出し期間が重なるか否かが判断されている。ステップＳ１０１２～Ｓ１０１５の処理は、図１０（ａ）のステップＳ１００２～Ｓ１００５の処理と同様である。

【0076】

図１１は図７（ｄ）の参照により上述した第四の方法（静止画読み出し期間の重なる分割露光が発生する場合にこの露光時間を分割せずに静止画露光時間を延長する）を実行するための処理を示すフローチャートである。

【0077】

図１１（ａ）は図４のフローチャートに追加される処理を示す。ステップＳ４０２で、制御部１０４は、残静止画露光時間Ｔｒと閾値Ｔｈと比較する。Ｔｒの方がＴｈより大きい（Ｔｒ＞Ｔｈ）場合、処理はステップＳ１１０１に進む。ステップＳ１１０１で、制御部１０４は、Ｔｒ－ＴｖがＴｏより大きいか否かを判定する。Ｔｒ－ＴｖがＴｏより大きい場合、処理はステップＳ４０３に進む。ステップＳ４０３～ステップＳ４０５の処理は図４により上述したとおりである。また、ステップＳ４０２でＴｒがＴｈ以下と判定された場合、処理はステップＳ４０６へ進む。ステップＳ４０６以降の処理は、図４により上述したとおりである。

【0078】

また、ステップＳ１１０１において、Ｔｒ－ＴｖがＴｏ以下と判定された場合も処理はステップＳ４０６へ進む。この場合、静止画のための露光はこれ以上分割されず、Ｔｈより大きい残静止画露光時間Ｔｒを用いた露光が行われる。これは、静止画読み出し期間が重なることを予想して露光の分割を禁止した場合であり、ステップＳ４０６において撮像表示Ｖ同期の１周期Ｔｖよりより長い残りの静止画露光時間Ｔｒのまま露光、撮像が行われる。その後のステップＳ４０７、Ｓ４０８の処理は、上述したとおりである。

【0079】

以上のように、第２実施形態によれば、分割露光を行った際に、前後の分割静止画の読み出しにおいて画像の読み出し期間の重複が発生することを防止できる。

【0080】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0081】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0082】

１００：センサ、１０１：画像処理部、１０２：表示部、１０３：表示デバイス、１０４：制御部、１０５：データ転送部、１０６：バス、１０７：一時記録部、１０８：記録部

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】