特許 7645660 撮像装置及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-06

(45)【発行日】2025-03-14

(54)【発明の名称】撮像装置及びその制御方法

(51)【国際特許分類】

   H04N 23/667 20230101AFI20250307BHJP

   H04N 23/63 20230101ALI20250307BHJP

   H04N 23/76 20230101ALI20250307BHJP

【ＦＩ】

H04N23/667

H04N23/63

H04N23/76

【請求項の数】 17

(21)【出願番号】P 2021030627

(22)【出願日】2021-02-26

(65)【公開番号】P2022131605

(43)【公開日】2022-09-07

【審査請求日】2024-02-21

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】伊藤 篤義

(72)【発明者】

【氏名】行▲徳▼ 崇

【審査官】堀井 康司

(56)【参考文献】

【文献】特開２０２０－０８８４４６（ＪＰ，Ａ）

【文献】特開２０１２－０８０２９７（ＪＰ，Ａ）

【文献】特開２０２０－２０２４７１（ＪＰ，Ａ）

【文献】特開２０２０－１８４６９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

(57)【特許請求の範囲】

【請求項1】

撮像素子を駆動する駆動手段と、
前記撮像素子から読み出された画像信号を記憶する記憶手段と、
前記撮像素子から読み出された画像信号を処理する画像処理手段と、
複数の駆動モードを選択的に用いて、前記駆動手段と、前記記憶手段と、前記画像処理手段とを制御する制御手段と、を有し、
前記複数の駆動モードは、
前記駆動手段により前記撮像素子から第１の画像信号を読み出して、当該第１の画像信号を前記記憶手段に記憶せずに前記画像処理手段により処理する第１の動作と、前記第１の動作を行う前に、前記駆動手段により前記撮像素子から第２の画像信号を読み出して前記記憶手段に記憶し、前記第１の動作を行った後に、記憶した前記第２の画像信号を前記記憶手段から読み出して前記画像処理手段により処理する第２の動作と、を行う第１の駆動モードと、
前記第１の動作と、前記第１の動作と異なるタイミングで、前記駆動手段により前記撮像素子から前記第２の画像信号を読み出して、当該第２の画像信号を前記記憶手段に記憶せずに前記画像処理手段により処理する第３の動作と、を行う第２の駆動モードと、を含み、
前記制御手段は、前記第２の画像信号の読み出し速度に応じて、前記第１の駆動モードと前記第２の駆動モードのいずれかを選択する
ことを特徴とする撮像装置。

【請求項2】

撮像素子を駆動する駆動手段と、
前記撮像素子から読み出された画像信号を記憶する記憶手段と、
前記撮像素子から読み出された画像信号を処理する画像処理手段と、
複数の駆動モードを選択的に用いて、前記駆動手段と、前記記憶手段と、前記画像処理手段とを制御する制御手段と、を有し、
前記複数の駆動モードは、
前記駆動手段により前記撮像素子から第１の画像信号を読み出して、当該第１の画像信号を前記記憶手段に記憶せずに前記画像処理手段により処理する第１の動作と、前記第１の動作を行う前に、前記駆動手段により前記撮像素子から第２の画像信号を読み出して前記記憶手段に記憶し、前記第１の動作を行った後に、記憶した前記第２の画像信号を前記記憶手段から読み出して前記画像処理手段により処理する第２の動作と、を行う第１の駆動モードと、
前記第１の動作と、前記第１の動作と異なるタイミングで、前記駆動手段により前記撮像素子から前記第２の画像信号を読み出して、当該第２の画像信号を前記記憶手段に記憶せずに前記画像処理手段により処理する第３の動作と、を行う第２の駆動モードと、を含み、
前記制御手段は、設定された撮影モードに応じて、前記第１の駆動モードと前記第２の駆動モードのいずれかを選択する
ことを特徴とする撮像装置。

【請求項3】

前記制御手段は、
前記第２の画像信号の読み出し速度が前記画像処理手段による処理の速度よりも速い場合、前記第１の駆動モードを選択し、
前記第２の画像信号の読み出し速度が前記画像処理手段による処理の速度以下の場合、前記第２の駆動モードを選択する
ことを特徴とする請求項１に記載の撮像装置。

【請求項4】

前記第１の駆動モードの前記第２の動作において、前記駆動手段により前記撮像素子から、１回の露光に対して１回または複数回、前記第２の画像信号を読み出して前記記憶手段に記憶することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。

【請求項5】

前記複数の駆動モードは、前記第１の動作と、前記第１の動作を行う前に、前記撮像素子から、１回の露光に対して複数回、前記第２の画像信号を読み出して前記記憶手段に記憶し、前記第１の動作が行われるたび、記憶した前記第２の画像信号を複数回の読み出しそれぞれに対応する信号量ずつ前記記憶手段から読み出して前記画像処理手段により処理する第４の動作と、を行う第３の駆動モードを含む
ことを特徴とする請求項４に記載の撮像装置。

【請求項6】

前記制御手段は、
前記第２の画像信号の読み出しを優先する場合に、前記第１の駆動モードを選択し、
前記第１の画像信号の読み出しを優先する場合に、前記第３の駆動モードを選択する
ことを特徴とする請求項５に記載の撮像装置。

【請求項7】

前記撮像素子は、各画素が複数の光電変換部をそれぞれ有する複数の画素を有し、
前記駆動手段は、前記複数の光電変換部から画像信号を複数回に分けて読み出す駆動と、前記複数の光電変換部の画像信号を加算して読み出す駆動のいずれかを、選択的に行うことを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。

【請求項8】

前記撮像素子は、異なるゲインをかけることの可能なアンプ手段を有し、
前記駆動手段は、前記撮像素子から複数回読み出された画像信号に前記アンプ手段により異なるゲインをかけて複数の画像信号を生成して出力するように駆動することを特徴とする請求項４乃至７のいずれか１項に記載の撮像装置。

【請求項9】

前記第１の駆動モードにおいて、前記第１の動作を繰り返し行っているときに、前記第２の画像信号を複数回、連続して読み出す指示がなされた場合に、前記第１の動作を中断して前記第２の画像信号を複数回、読み出して前記記憶手段に記憶し、前記第１の動作が行われるたびに、記憶した前記第２の画像信号を、前記複数回の読み出しそれぞれに対応する信号量ずつ前記記憶手段から読み出して前記画像処理手段により処理することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。

【請求項10】

前記複数の駆動モードは、前記第１の動作を繰り返し行っているときに、前記第２の画像信号を複数回、連続して読み出す指示がなされた場合に、前記第１の動作を中断し、前記第２の画像信号を複数回読み出して前記記憶手段に記憶し、前記第１の動作を再開する前に記憶した前記第２の画像信号を前記画像処理手段により処理する第４の駆動モードを含むことを特徴とする請求項９に記載の撮像装置。

【請求項11】

前記制御手段は、
複数の前記第２の画像信号を合成する合成処理を行わない場合に、前記第１の駆動モードを選択し、
前記合成処理を行う場合に、前記第４の駆動モードを選択する
ことを特徴とする請求項１０に記載の撮像装置。

【請求項12】

前記第２の画像信号は前記第１の画像信号よりも、前記撮像素子からの読み出しにかかる時間が長いことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。

【請求項13】

前記第１の画像信号は、動画像の各フレームの信号であって、前記第２の画像信号は、静止画像の信号であることを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。

【請求項14】

撮像素子を駆動する駆動手段と、前記撮像素子から読み出された画像信号を記憶する記憶手段と、前記撮像素子から読み出された画像信号を処理する画像処理手段と、を有する撮像装置の制御方法であって、
制御手段が、複数の駆動モードを選択的に用いて、前記駆動手段と、前記記憶手段と、前記画像処理手段とを制御する制御工程を有し、
前記複数の駆動モードは、
前記駆動手段により前記撮像素子から第１の画像信号を読み出して、当該第１の画像信号を前記記憶手段に記憶せずに前記画像処理手段により処理する第１の動作と、前記第１の動作を行う前に、前記駆動手段により前記撮像素子から第２の画像信号を読み出して前記記憶手段に記憶し、前記第１の動作を行った後に、記憶した前記第２の画像信号を前記記憶手段から読み出して前記画像処理手段により処理する第２の動作と、を行う第１の駆動モードと、
前記第１の動作と、前記第１の動作と異なるタイミングで、前記駆動手段により前記撮像素子から前記第２の画像信号を読み出して、当該第２の画像信号を前記記憶手段に記憶せずに前記画像処理手段により処理する第３の動作と、を行う第２の駆動モードと、を含み、
前記制御工程では、前記第２の画像信号の読み出し速度に応じて、前記第１の駆動モードと前記第２の駆動モードのいずれかを選択する
ことを特徴とする撮像装置の制御方法。

【請求項15】

撮像素子を駆動する駆動手段と、前記撮像素子から読み出された画像信号を記憶する記憶手段と、前記撮像素子から読み出された画像信号を処理する画像処理手段と、を有する撮像装置の制御方法であって、
制御手段が、複数の駆動モードを選択的に用いて、前記駆動手段と、前記記憶手段と、前記画像処理手段とを制御する制御工程を有し、
前記複数の駆動モードは、
前記駆動手段により前記撮像素子から第１の画像信号を読み出して、当該第１の画像信号を前記記憶手段に記憶せずに前記画像処理手段により処理する第１の動作と、前記第１の動作を行う前に、前記駆動手段により前記撮像素子から第２の画像信号を読み出して前記記憶手段に記憶し、前記第１の動作を行った後に、記憶した前記第２の画像信号を前記記憶手段から読み出して前記画像処理手段により処理する第２の動作と、を行う第１の駆動モードと、
前記第１の動作と、前記第１の動作と異なるタイミングで、前記駆動手段により前記撮像素子から前記第２の画像信号を読み出して、当該第２の画像信号を前記記憶手段に記憶せずに前記画像処理手段により処理する第３の動作と、を行う第２の駆動モードと、を含み、
前記制御工程では、設定された撮影モードに応じて、前記第１の駆動モードと前記第２の駆動モードのいずれかを選択する
ことを特徴とする撮像装置の制御方法。

【請求項16】

コンピュータを、請求項１乃至１３のいずれか１項に記載の撮像装置の制御手段として機能させるためのプログラム。

【請求項17】

請求項１６に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及びその制御方法に関し、特に静止画像及び表示画像の撮影及び画像の補正処理のタイミング制御に関するものである。

【背景技術】

【0002】

デジタルカメラや、カメラ機能を備えた電子機器（以下、まとめて「撮像装置」と呼ぶ。）には、ライブビュー（ＬＶ）機能を有するものがある。ＬＶ機能とは、動画像の撮影を行い、得られた各フレームの画像（以下、「ＬＶ画像」と呼ぶ。）を撮影と並行して表示部に逐次表示する機能のことである。ユーザーは、この表示されたＬＶ画像により静止画撮影や動画撮影の撮影範囲を確認しながら調整することができる。以下、この撮影範囲の調整操作を「フレーミング」と呼ぶ。

【0003】

ユーザーが意図通りの撮影を行うためには、フレーミングのし易さが重要である。このフレーミングのし易さの指標を「フレーミング性能」と呼ぶ。例えば、ＬＶ画像の撮影を行ってから、表示部に表示するまでの時間（表示遅延）が大きいと、被写体が表示部に表示されたタイミングでは、すでに被写体は移動してしまっている、ということが発生し得る。そのような場合、フレーミング性能が低下する。このように、フレーミング性能には、表示遅延が大きく関わっていることになる。

【0004】

ＬＶ機能を利用してフレーミングを行って静止画像の撮影を行う撮像装置においては、静止画像の連写中にも表示部にＬＶ画像を表示し続けなければフレーミングができなくなってしまう。そのために、ＬＶ画像を逐次表示しつつ、静止画像を連写するためには、静止画像とＬＶ画像の撮影を切り替えながら行う必要がある。

【0005】

撮影後、静止画像もＬＶ画像も補正処理を行う必要があるが、静止画像のデータ量は大きいため、補正処理に時間がかかる。撮影順に補正処理を行うと、ＬＶ画像の撮影をしている最中にも静止画像の補正処理を行うことが想定される。その結果、ＬＶ画像の補正処理が遅延し、ＬＶ画像を撮影してから表示部に表示するまでにかかる時間が長くなってしまい、ＬＶ画像の表示遅延が大きくなり、フレーミング性能が低下してしまう。

【0006】

この課題に対して、特許文献１では、静止画データと動画データが入力され、データ処理を施す画像処理装置において、動画データを所定周期で表示しつつ、動画データの処理の間に静止画を分割したものを数フレームに亘って補正する方法が開示されている。

【0007】

また、特許文献２では、連写により得られた複数の画像に対して、その中の一枚の画像を選択して現像パラメータを決定し、連写で得られた複数の画像に対して同一パラメータを使用して現像する方法が開示されている。

【先行技術文献】

【特許文献】

【0008】

【文献】特許第５２５１６８４号公報

【文献】特開２００４－８０２３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、上述した特許文献１及び２に開示された従来技術では、静止画像を撮影しつつフレーミング性能を低下させないようにＬＶ画像を撮影することができない。また、静止画像を分割した分割数だけ、ＬＶ画像撮影のブランキング中に静止画を補正しなければならないため、静止画像の撮影フレームレートが低下してしまうという課題があった。

【0010】

本発明は上記問題点を鑑みてなされたものであり、静止画像とＬＶ画像の撮影タイミングと補正タイミングを適切に制御することで、フレーミング性能の低下を抑制しつつ静止画像を撮影することを目的とする。

【課題を解決するための手段】

【0011】

上記目的を達成するために、本発明の撮像装置は、撮像素子を駆動する駆動手段と、前記撮像素子から読み出された画像信号を記憶する記憶手段と、前記撮像素子から読み出された画像信号を処理する画像処理手段と、複数の駆動モードを選択的に用いて、前記駆動手段と、前記記憶手段と、前記画像処理手段とを制御する制御手段と、を有し、前記複数の駆動モードは、前記駆動手段により前記撮像素子から第１の画像信号を読み出して、当該第１の画像信号を前記記憶手段に記憶せずに前記画像処理手段により処理する第１の動作と、前記第１の動作を行う前に、前記駆動手段により前記撮像素子から第２の画像信号を読み出して前記記憶手段に記憶し、前記第１の動作を行った後に、記憶した前記第２の画像信号を前記記憶手段から読み出して前記画像処理手段により処理する第２の動作と、を行う第１の駆動モードと、前記第１の動作と、前記第１の動作と異なるタイミングで、前記駆動手段により前記撮像素子から前記第２の画像信号を読み出して、当該第２の画像信号を前記記憶手段に記憶せずに前記画像処理手段により処理する第３の動作と、を行う第２の駆動モードと、を含み、前記制御手段は、前記第２の画像信号の読み出し速度に応じて、前記第１の駆動モードと前記第２の駆動モードのいずれかを選択する。

【発明の効果】

【0012】

本発明によれば、静止画像とＬＶ画像の撮影タイミングと補正タイミングを適切に制御することで、フレーミング性能の低下を抑制しつつ静止画像を撮影することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１乃至第３の実施形態における撮像装置の構成を示すブロック図。

【図2】（ａ）は、第１及び第３の実施形態における単位画素の回路図、（ｂ）は、第１乃至第３の実施形態における撮像素子の回路構成を示すブロック図。

【図3】第１乃至第３の実施形態におけるタイミングパルス生成回路の構成を示すブロック図。

【図4】第１の実施形態における第１の駆動モードによるタイミングチャート。

【図5】第１の実施形態における第２の駆動モードによるタイミングチャート。

【図6】第１の実施形態における撮影モードを切り替える制御を示すフローチャート。

【図7】（ａ）は、第２の実施形態における撮像素子の概略構成を示す上面図、（ｂ）は、第２の実施形態における単位画素の回路図。

【図8】第２の実施形態における第３の駆動モードによるタイミングチャート。

【図9】第２の実施形態における第４の駆動モードによるタイミングチャート。

【図10】第２の実施形態における撮影モードを切り替える制御を示すフローチャート。

【図11】第３の実施形態における第５の駆動モードによるタイミングチャート。

【図12】第３の実施形態における第５の駆動モードによる別のタイミングチャート。

【図13】第３の実施形態における第６の駆動モードによるタイミングチャート。

【図14】第３の実施形態における撮影モードを切り替える制御を示すフローチャート。

【発明を実施するための形態】

【0014】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0015】

図１は、本発明の実施形態に係る撮像装置１の構成を示すブロック図である。図１において、第１レンズ１００は撮影光学系１０４の先端に配置されている。絞り１０１は、絞りアクチュエータ１２２によって駆動され、その開口径を調節することで撮影時の光量調節を行う。第２レンズ１０２、第３レンズ１０３は、フォーカスアクチュエータ１２０によって駆動され、光軸方向に進退することにより、撮影光学系１０４の焦点を調節する。

【0016】

フォーカルプレーンシャッター１０５は、静止画像撮影時に露光秒時を調節する機能を持つ。ただし、撮像素子１０７においてスリットローリング読み出しで電子シャッターを露光秒時の調節に用いる場合は、フォーカルプレーンシャッター１０５による露光秒時の調節を行わない。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを低減するために用いられる。

【0017】

撮像素子１０７は、撮影光学系１０４により形成された被写体の光学像を電気信号（画像信号）に光電変換する。また、撮像素子１０７は電子シャッター機能を備え、画像信号をスリットローリング読み出しによって取得することができる。

【0018】

ＤＳＰ１０８は、撮像素子１０７から画像信号を受信して、所定の画像処理を行う。また、画像処理以外にも、撮像素子１０７からの情報に基づいて、フォーカスレンズ（第２レンズ１０２、第３レンズ１０３）の駆動に用いる情報の演算を行う。

【0019】

ＲＡＭ１０９は、ＤＳＰ１０８で所定の画像処理を施された画像データを記憶する機能と、ＣＰＵ１１０が動作を行う際のワークメモリとしての機能を兼備する。なお、アクセス速度が十分に速く、動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。また本実施形態では、ＲＡＭ１０９は、ＤＳＰ１０８、ＣＰＵ１１０の外部に配置されているが、その一部または全部の機能をＤＳＰ１０８やＣＰＵ１１０に内蔵する構成であってもよい。

【0020】

ＣＰＵ１１０は、撮像装置１の各部を制御するためのプログラムを実行し、撮像装置１の動作を統括的に制御する。ＣＰＵ１１０は、撮像素子１０７に各種設定を行うことによって、撮像素子１０７からの読み出しを制御することができる。また、ＣＰＵ１１０はタイミングパルス生成回路１１１と通信を行い、後述のように各モジュールの動作を制御するための各種タイミングパルスの発生タイミングの制御を行う。

【0021】

タイミングパルス生成回路１１１は、第１クロック１１２からのクロック信号ＣＬＫ１と第２クロック１１３からのクロック信号ＣＬＫ２に基づいて複数の同期信号を生成し、撮像素子１０７と表示部１１４に供給する。撮像素子１０７は、タイミングパルス生成回路１１１からの信号に同期して動作することで、撮影動作を行う。

【0022】

また、表示部１１４は、タイミングパルス生成回路１１１からの信号に同期して動作することで、表示画像を更新する。なお、本実施形態ではタイミングパルス生成回路１１１に複数のクロックを入力して２種類の同期信号を生成する構成としたが、本発明はこの構成に限定されるものではない。さらに、ＣＰＵ１１０は、ＤＳＰ１０８から出力される演算結果を用いて、フォーカスアクチュエータ１２０を制御し、撮影光学系１０４の焦点を調節する機能も有する。

【0023】

表示部１１４は、ＤＳＰ１０８によって生成された静止画像や動画像、メニュー等の表示を行う。表示部１１４に逐次表示されるライブビュー（ＬＶ画像）により、ユーザーは静止画撮影や動画撮影の撮影範囲を確認しながら調整するフレーミングを行うことができる。表示部１１４としては背面ディスプレイの他に電子ビューファインダー（ＥＶＦ）などが知られている。図１では、表示部１１４が一つしかない構成であるが、背面ディスプレイとＥＶＦの両方を具備する構成でもよい。

【0024】

操作部１１５は、ボタンやレバー等の操作部材により構成され、モード切替ダイヤル、静止画像の撮影指示をするための静止画像撮影釦等が含まれる。なお、操作部１１５に操作部材を設けずに、背面ディスプレイを用いたタッチパネルにより各種指示を入力するように構成してもよい。また、ユーザーは、操作部１１５を通じてＣＰＵ１１０を制御することで、撮影を行うことができる。

【0025】

ＣＰＵ１１０は、ユーザーによる静止画撮影釦押下を検知すると、静止画像の撮影準備期間を含む一定時間が経過した後に、静止画像の撮影を行う。また、静止画像の撮影開始後、静止画像撮影釦が継続して押下されている場合に、静止画像の連写撮影を行う。なお、静止画像の撮影に関する詳細な動作に関しては、タイミングチャートを用いて詳細に後述する。

【0026】

記録媒体１１６は着脱可能に構成され、静止画像データ及び動画像データが記録される。ＲＯＭ１１７は、ＣＰＵ１１０が各部の動作を制御するためのプログラムを格納する。

【0027】

シャッター駆動回路１１８は、フォーカルプレーンシャッター１０５を駆動制御する。フォーカス駆動回路１１９は、ＣＰＵ１１０の出力に基づいてフォーカスアクチュエータ１２０を制御することで、フォーカスレンズ（第２レンズ１０２、第３レンズ１０３）を光軸方向に進退駆動して焦点位置を変更する焦点調節を行う。絞り駆動回路１２１は、絞りアクチュエータ１２２を制御して絞り１０１の開口を制御する。

【0028】

次に、本実施形態の撮像素子１０７の構成について、図２を参照して説明する。
図２（ａ）は、撮像素子１０７の単位画素２０６の詳細な回路構成を説明する図である。フォトダイオード（ＰＤ）２００は、入射した光を光電変換し、生成した電荷を蓄積する。転送スイッチ２０１は、制御信号φｔｘによって制御され、制御信号φｔｘをＨｉｇｈ（以下、「Ｈ」と記す。）にすることによって、ＰＤ２００に蓄積された電荷をフローティングディフュージョン部（ＦＤ）２０２に転送する。

【0029】

リセットスイッチ２０３は、ＦＤ２０２を初期化するためのスイッチであり、制御信号φｒｅｓによって制御される。画素のリセット動作は、制御信号φｔｘとφｒｅｓを同時にＨにし、ＰＤ２００とＦＤ２０２を電源電圧（ＶＤＤ）にすることによって実現する。画素アンプ用トランジスタ２０４は、選択スイッチ２０５の制御信号φｓｅｌがＨになると、垂直出力線２０８を介して定電流源２０９に接続され、画素アンプを形成する。そして、ＰＤ２００からＦＤ２０２に転送された電荷は、画素アンプによって電荷量に応じた電圧値に変換され、垂直出力線２０８に画像信号として出力される。

【0030】

次に、図２（ｂ）を参照して、撮像素子１０７の回路構成について説明する。
画素アレイ２０７には、水平方向（行方向）に（ｍ＋１）個、垂直方向（列方向）に（ｎ＋１）個の複数の単位画素２０６が行列状に配置されている。なお、ｍ，ｎ共に自然数である。駆動パルス生成回路２１０は、タイミングパルス生成回路１１１からの同期信号に基づいて、単位画素２０６のリセット動作や読み出し動作を行うためのパルス信号を生成する。

【0031】

駆動パルス生成回路２１０により生成されたパルス信号は、画素駆動回路２１２に供給される。行選択回路２１１は、駆動パルス生成回路２１０によって生成されたパルス信号を供給する行を選択し、選択した行を画素駆動回路２１２に設定する。画素駆動回路２１２は、行選択回路２１１によって設定された行に、駆動パルス生成回路２１０によって生成されたパルス信号を上述した制御信号として供給する。

【0032】

画素駆動回路２１２から供給される制御信号に応じて選択された行の単位画素２０６から、垂直出力線２０８に画像信号が出力される。定電流源２０９は、画素アンプ用トランジスタ２０４と組み合わさってソースフォロワ回路を形成する。

【0033】

ＡＤ変換回路（ＡＤＣ）２１３は、垂直出力線２０８に出力されたアナログの画像信号（電圧値）を、その信号レベルに応じたデジタル値に変換する。ＡＤＣ２１３によってデジタル値に変換された画像信号は、水平走査回路２１４によって順に選択されて、出力部２１５に転送される。

【0034】

なお、行選択回路２１１による画素アレイ２０７の駆動を変えることによって、複数の異なる読み出し方で画像信号を読み出すことができる。例えば本実施形態では、静止画像を生成する際の読み出し方法として、一番上の行の画素から画像信号を読み出した後に、その次の行の画素の画像信号を読み出し、その繰り返しによって一番下の行まで読み出す方法をとるものとする。

【0035】

また、動画像を生成する際の読み出し方法として、一番上の行の画素から画像信号を読み出した後に、数行（例えば２行）飛ばした行の画素の画像信号を読み出し、その繰り返しによって一番下の行の画素まで読み出す方法をとるものとする。動画像を生成する際にこのように画像信号を読み出すと、画像の垂直解像度は低下するが、１フレームの画像信号の読み出しを短時間かつ低消費電力で行うことができる。他にも、様々な読み出し方法による画像信号の読み出しが可能である。

【0036】

なお、本実施形態では、画素駆動回路２１２やＡＤＣ２１３が撮像素子１０７に内蔵されている例について説明したが、これらの回路は撮像素子１０７とは別のチップに設けられてもよい。

【0037】

次に、図３を用いて、タイミングパルス生成回路１１１の内部構成について説明する。本実施形態では、タイミングパルス生成回路１１１は、基準同期信号生成回路３００（以下、「基準ＳＳＧ」と呼ぶ。）と、第２同期信号生成回路３０１（以下、「第２ＳＳＧ」と呼ぶ。）と、第３同期信号生成回路３０２（以下、「第３ＳＳＧ」と呼ぶ。）とから構成されている。

【0038】

基準ＳＳＧ３００と第２ＳＳＧ３０１はＣＰＵ１１０に接続されており、それぞれの同期信号のアサートタイミングの時間を記録できるようになっている。この時間によって、基準ＳＳＧ３００と第２ＳＳＧ３０１のアサートタイミングの時間差を計算することができる。また、これらの各回路に対して、ＣＰＵ１１０から設定を行うことで、様々な周期の同期信号を生成することができるほか、同期信号の発生タイミングを変えることもできる。

【0039】

第２ＳＳＧ３０１からは第２の同期信号が出力され、この第２の同期信号に基づいて撮像素子１０７の読み出し走査のタイミングが制御される。また、第３ＳＳＧ３０２からは第３の同期信号が出力され、この第３の同期信号に基づいて、表示部１１４の表示走査のタイミングが制御される。

【0040】

また、本構成において、第２ＳＳＧ３０１は、第１クロック１１２からのクロック信号ＣＬＫ１に基づいて動作し、基準ＳＳＧ３００と第３ＳＳＧ３０２は、第２クロック１１３からのクロック信号ＣＬＫ２に基づいて動作する。ただし、本発明はこの構成に限定されるものではない。全てのＳＳＧを単一のクロック信号に基づいて動作するようにしてもよいし、異なるクロック信号に基づいて動作するようにしてもよい。また、上記の各ＳＳＧのすべてまたは一部が独立してブロックを構成してもよい。

【0041】

＜第１の実施形態＞
本発明の第１の実施形態について説明する。本第１の実施形態では、第１の駆動モードと第２の駆動モードの２種類の駆動モードで、互いに異なるタイミングでＬＶ画像を表示しながら静止画像の連写を行う場合について説明する。

【0042】

図４は、第１の実施形態において、第１の駆動モードによる撮影動作を示すタイミングチャートである。この処理は、例えばユーザーが操作部１１５に備えられている静止画像撮影釦を押下することで発行された撮影指示を受けて行われる。なお、図中、実線は撮像素子１０７からの静止画用画像信号の読み出し走査、一点鎖線はＬＶ用画像信号の読み出し走査、破線は撮像素子１０７のリセット走査を表している。また、静止画用画像信号の読み出しは非常に高速に行われ、静止画用画像信号の読み出しにかかる時間よりも、ＤＳＰ１０８に内蔵される画像補正回路が静止画用画像信号を補正するのにかかる時間の方が長いものとする。

【0043】

時刻ｔ４００に、タイミングパルス生成回路１１１の第２ＳＳＧ３０１は、第２の同期信号（垂直同期信号（ＶＤ））をアサートし、それに同期して撮像素子１０７は静止画用画像信号の読み出しを開始する。なお、この時刻ｔ４００よりも、測光やユーザー指示により予め決められた露光秒時（電荷蓄積時間）前に、撮像素子１０７のリセット走査が開始されているものとする。そして、静止画用画像信号の読み出し開始と同時に、読み出した静止画用画像信号をＤＳＰ１０８へ転送して、ＤＳＰ１０８に接続されたＲＡＭ１０９への格納を開始する。時刻ｔ４０１において静止画用画像信号の読み出しが終わると、それとともに静止画用画像信号のＲＡＭ１０９への格納も完了する。

【0044】

時刻ｔ４０２に、タイミングパルス生成回路１１１は第２の同期信号をアサートし、それに同期して撮像素子１０７はＬＶ用画像信号の読み出しを開始する。なお、この時刻ｔ４０２よりも、測光やユーザー指示により予め決められた露光秒時（電荷蓄積時間）前に、撮像素子１０７のリセット走査が開始されている。このときの露光秒時は、静止画用画像信号の読み出し終了のタイミングを鑑みて、時間Ｔ _ＬＶ よりも短い時間となる。そして、読み出されたＬＶ用画像信号をＤＳＰ１０８に転送し、ＤＳＰ１０８に含まれる画像補正回路で補正する。このとき、時刻ｔ４００～ｔ４０１の間に読み出された静止画用画像信号は、未補正のままＲＡＭ１０９に格納されている。時刻ｔ４０３にはＬＶ用画像信号の読み出しが完了し、それとともに画像補正回路における補正処理も完了する。補正処理を終えたＬＶ用画像信号に基づいて生成されたライブビュー画像は、表示部１１４に表示される。

【0045】

次に、時刻ｔ４０４で、ＲＡＭ１０９に格納した静止画用画像信号を読み出して画像補正回路へと転送し、静止画用画像信号の補正処理を開始する。この補正処理は時刻ｔ４０５に完了する。前述の通り、画像補正回路の処理速度は、静止画用画像信号の読み出し速度に比べると遅いため、時刻ｔ４０４から時刻ｔ４０５までの時間は、時刻ｔ４００から時刻ｔ４０１の時間よりも長くなっている。

【0046】

時刻ｔ４０６に、タイミングパルス生成回路１１１は第２の同期信号をアサートし、それに同期して撮像素子１０７は次のフレームのＬＶ用画像信号の読み出しを開始する。なお、この時刻ｔ４０６よりも予め決められた露光秒時前であって、時刻ｔ４０６におけるＬＶ用画像信号の読み出し開始時に画像補正回路による静止画用画像信号の補正処理が終了しているように、撮像素子１０７のリセット走査が開始される。そして、読み出されたＬＶ用画像信号をＤＳＰ１０８に転送し、ＤＳＰ１０８に含まれる画像補正回路で補正する。

【0047】

続く時刻ｔ４０８に、タイミングパルス生成回路１１１は第２の同期信号をアサートし、それに同期して撮像素子１０７は静止画用画像信号の読み出しを開始する。この時刻ｔ４０８は、以下の条件によりそのタイミングが決まる。即ち、時刻ｔ４０６におけるＬＶ用画像信号の読み出し開始により、静止画像生成用の電荷蓄積のためのリセット走査が可能になった後、測光やユーザー指示により予め決められた露光秒時（電荷蓄積時間）Ｔ_ＳＴ後のタイミングである。読み出した静止画用画像信号はＤＳＰ１０８へ転送され、ＤＳＰ１０８に接続されたＲＡＭ１０９に順次格納される。

【0048】

ｔ４０９以降は、時刻ｔ４０２～ｔ４０９における制御と同じ制御が繰り返される。このように、時刻ｔ４０２から時刻ｔ４０９の制御を繰り返すことによって、ＬＶ画像を動画周期で取得しつつ、静止画像の連写を行うことができる。また、時刻ｔ４０２から時刻ｔ４０６までの時間と、時刻ｔ４０６から時刻ｔ４０９までの時間が等しくなるように制御する。

【0049】

このように、第１の駆動モードで制御することによって、静止画像の撮影を行いつつもＬＶ画像を一定周期で取得することができる。このＬＶ画像を表示部１１４に順次表示することによって、静止画用画像信号の読み出し速度が画像補正回路の補正速度より早い場合に、静止画像の撮影と補正を行いつつ、ＬＶ画像の撮影と補正を行って一定周期で表示部１１４に表示することが可能になる。

【0050】

続いて、第２の駆動モードによる撮影動作について、図５のタイミングチャートを参照して説明する。
この処理は、例えばユーザーが操作部１１５に備えられている静止画像撮影釦を押下することで発行された撮影指示を受けて行われる。なお、図中の実線、一点鎖線、破線は、図４と同じであるため、説明を省略する。第２の駆動モードによる静止画用画像信号の読み出し速度は、ＤＳＰ１０８に内蔵される画像補正回路が静止画用画像信号を補正するのにかかる時間と同程度であるものとする。

【0051】

時刻ｔ５００に、タイミングパルス生成回路１１１は第２の同期信号をアサートし、それに同期して撮像素子１０７でＬＶ用画像信号の読み出しを開始する。なお、この時刻ｔ５００よりも、測光やユーザー指示により予め決められた露光秒時（電荷蓄積時間）前に、撮像素子１０７のリセット走査が開始されているものとする。そして、ＬＶ用画像信号の読み出し開始と同時に、読み出したＬＶ用画像信号をＤＳＰ１０８に転送して、ＤＳＰ１０８に含まれる画像補正回路で補正する。時刻ｔ５０１にはＬＶ用画像信号の読み出しが完了し、それとともに画像補正回路におけるＬＶ用画像信号の補正処理も完了する。

【0052】

時刻ｔ５０２に、タイミングパルス生成回路１１１は第２の同期信号をアサートし、それに同期して撮像素子１０７で静止画用画像信号の読み出しを開始する。この時刻ｔ５０２は、以下の条件によりそのタイミングが決まる。即ち、時刻ｔ５０１で画像補正回路の使用が可能になると共に、時刻ｔ５００におけるＬＶ用画像信号の読み出し開始により、静止画像生成用の電荷蓄積のためのリセット走査が可能になる。そのため、時刻ｔ５００以降のタイミングでリセット走査を行ってから、測光やユーザー指示により予め決められた露光秒時（電荷蓄積時間）Ｔ_ＳＴ後である時刻ｔ５０１以降のタイミングが、静止画用画像信号の読み出しを開始するタイミングである時刻ｔ５０２となる。図５では、露光秒時Ｔ_ＳＴが、時刻ｔ５００から時刻ｔ５０１の時間よりも長い場合を示している。静止画用画像信号の読み出し開始と同時に、読み出された静止画用画像信号をＤＳＰ１０８に転送し、ＤＳＰ１０８に含まれる画像補正回路で補正を開始する。時刻ｔ５０３には、静止画用画像信号の読み出しが完了し、それとともに画像補正回路における静止画用画像信号の補正処理も完了する。

【0053】

続く時刻ｔ５０４に、タイミングパルス生成回路１１１は第２の同期信号をアサートし、それに同期して撮像素子１０７はＬＶ用画像信号の読み出しを開始する。なお、この時刻ｔ５０４よりも、測光やユーザー指示により予め決められた露光秒時（電荷蓄積時間）前に、撮像素子１０７のリセット走査が開始されている。このときの露光秒時は、静止画用画像信号の読み出し終了のタイミングを鑑みて、時間_ＬＶよりも短い時間となる。

【0054】

上述した時刻ｔ５００から時刻ｔ５０４の制御を繰り返すことによって、ＬＶ画像を動画周期で取得しつつ、静止画像の連写を行うことができる。そして、時刻ｔ５００から時刻ｔ５０４までの時間を動画周期とし、この間隔でＬＶ画像の撮影ができるように制御を続ける。

【0055】

このように、第２の駆動モードで制御することによって、静止画像の撮影を行いつつもＬＶ画像を一定周期で取得することができる。このＬＶ画像を表示部１１４に順次表示することによって、静止画用画像信号の読み出し速度が画像補正回路の補正速度と同程度以下の場合に、表示部１１４に表示するＬＶ画像の撮影と補正も行うことが可能になる。

【0056】

なお、静止画用画像信号の読み出し速度が画像補正回路の補正速度と同程度以下の場合にも図４を参照して説明したようにＲＡＭ１０９にデータを格納し、後で補正処理を行ってもよいが、ＲＡＭ１０９の帯域を圧迫し、消費電力も増加してしまう。そのため、図５に示す制御を行うことで、これらのデメリットを無くすことができる。

【0057】

また、図４及び図５では、撮像素子１０７をリセット走査することにより電荷蓄積を開始するものとして説明したが、本発明はこれに限られるものでは無い。例えば、撮像素子１０７をリセット走査した後、フォーカルプレーンシャッター１０５の先幕を駆動して撮像素子１０７を露光することにより、電荷蓄積を開始してもよい。

【0058】

図４に示す第１の駆動モードで撮影動作を行うと、静止画用画像信号の読み出し速度が速い場合においても静止画像の補正とＬＶ画像の補正を両立できる一方で、ＲＡＭ１０９の帯域を圧迫し、ＲＡＭ１０９の消費電力を増加させてしまう。他方、図５に示す第２の駆動モードで撮影動作を行うと、静止画用画像信号の読み出し速度が画像補正回路の処理速度と同等以下の場合に、ＲＡＭ１０９の帯域を消費せず、消費電力も増加させないで静止画像の補正とＬＶ画像の補正を両立できる。そこで、静止画像の読み出し速度に応じてどちらの方法で処理をするか切り替えることで、それぞれの駆動方法のメリットを生かすことができる。

【0059】

図６は、図４に示す第１の駆動モードによる撮影動作と、図５に示す第２の駆動モードによる撮影動作とを切り替える方法を説明するフローチャートである。

【0060】

静止画像の撮影が設定されると、図６の処理が開始される。Ｓ６０１で、操作部１１５を通じ、ユーザーが静止画像の撮影モードを選択する。なお、撮影モードを選択する方式としては、明示的であっても明示的でなくてもよく、例えばユーザーにはシャッター方式を選択肢として提供してもよい。

【0061】

Ｓ６０２では、選択された撮影モードが、第１の駆動モードでの撮影動作が適しているか第２の駆動モードでの撮影動作が適しているかを判定する。ここでは、選択された撮影モードでの静止画用画像信号の読み出し速度が、画像補正回路による補正処理速度よりも速いかどうかを判断する。速い場合はＳ６０３に遷移し、補正処理速度以下の場合にはＳ６０４に遷移する。

【0062】

なお、Ｓ６０２で速度の判定を行うのではなく、撮影モードと、第１の駆動モードまたは第２の駆動モードとを紐づけた情報を予め保持しておき、判定に用いてもよい。また、上述したように例えばシャッター方式により非明示的に撮影モードが選択されている場合、以下のように判定することも考えられる。即ち、フォーカルプレーンシャッター１０５を用いて露光時間を制御するメカ先幕方式が選択された場合には、撮像素子１０７の電荷蓄積開始走査に時間がかかるため、第２の駆動モードが適していると判定する。一方、電子シャッターが選択された場合には、高速に撮像素子１０７を走査することが可能であるため、第１の駆動モードが適していると判定する。

【0063】

Ｓ６０３では、図４に示す第１の駆動モードによるシーケンスのプログラムをロードし、Ｓ６０４では、図５に示す第２の駆動モードによるシーケンスのプログラムをロードし、処理を終了する。以降、ロードしたプログラムに従って、撮影を行う。

【0064】

なお、図６のフローチャートでは、Ｓ６０１でユーザーの操作によって撮像素子１０７の駆動モードを変更したが、駆動モードの変更方法はこれに限定されない。例えば、撮影した画像から計算された種々の条件によって、次フレームに撮影する静止画像の撮影モードを変更し、それに応じて駆動モードを変更してもよい。その場合、Ｓ６０２以降の処理を上記説明した処理と同様に行うことによって、撮像素子１０７の駆動モードを撮影条件によって切り替えることができる。そして、Ｓ６０３またはＳ６０４で駆動モードの切り替えが完了した時点から、切り替えた駆動シーケンスで撮像素子１０７を駆動することができる。

【0065】

以上説明したように第１の実施形態によれば、第１の駆動モードと第２の駆動モードとを選択的に用いる。これにより、静止画用画像信号の読み出し速度と画像補正回路の補正処理速度の関係のいかんに関わらず、静止画像の撮影を行いつつもＬＶ画像を一定周期で取得することができる。

【0066】

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
上述した第１の実施形態では、静止画像の読み出し速度に応じて、撮像シーケンスを切り替える方法について説明した。第１の実施形態の場合、静止画用画像信号の１回の露光によって得られる画像は１枚であった。しかし、撮像素子には、１回の露光によって得られる画像を異なるゲインで増幅することで複数の画像を取得できるものもある。そこで、第２の実施形態では、１回の露光によって異なるゲインで増幅された複数の画像を取得する場合の撮影動作の制御について説明する。なお、第２の実施形態では、図１に示す撮像装置１において、撮像素子１０７の構成が図２に示すものと異なるため、以下に説明する。

【0067】

図７は、第２の実施形態における撮像素子１０７の構成を示す図である。なお、図７において、図２と同様の構成には同じ参照番号を付し、説明を省略する。

【0068】

図７（ａ）は、撮像素子１０７の画素アレイ２０７を示す概略上面図であり、単位画素２０６が行列状に配置されている。各単位画素２０６には、１つのマイクロレンズ７００が含まれ、各マイクロレンズ７００下には、２つの光電変換部（フォトダイオード：ＰＤ）７０１ａとＰＤ７０１ｂが配置されている。

【0069】

図７（ｂ）は、１つの単位画素２０６の回路図を示す。ＰＤ７０１ａは、制御信号φｔｘａにより制御される転送スイッチ７０２ａに接続され、ＰＤ７０１ｂは、制御信号φｔｘｂにより制御される転送スイッチ７０２ｂに接続される。制御信号φｔｘａをＨｉｇｈにして転送スイッチ７０２ａをＯＮとすることで、ＰＤ７０１ａに蓄積された電荷は、転送スイッチ７０２ａを介して、ＦＤ２０２に転送される。また、制御信号φｔｘｂをＨｉｇｈにして転送スイッチ７０２ｂをＯＮとすることで、ＰＤ７０１ｂに蓄積された電荷は、転送スイッチ７０２ｂを介して、ＦＤ２０２に転送される。従って、制御信号φｔｘａ及びφｔｘｂを異なるタイミングでＨｉｇｈにすることで、ＰＤ７０１ａとＰＤ７０１ｂの電荷をそれぞれ独立に読み出すことができる。また、制御信号φｔｘａ及びφｔｘｂを同時にＨｉｇｈにすることで、ＰＤ７０１ａとＰＤ７０１ｂの電荷を加算して読み出すことができる。記録用の静止画像やＬＶ画像には、この電荷を加算した画像信号を用いることができる。

【0070】

また、図７（ｂ）の構成においては、各単位画素２０６から読み出された電荷に応じて垂直出力線２０８の電圧が変動し、列アンプ７０３によってその電圧が増幅されてＡＤ変換回路へ入力される。この構成では、同一の画素信号に対して、列アンプ７０３のゲインを変更してＡＤ変換を行うことができる。つまり、撮像素子１０７の１回の露光によって得られる電荷に、異なるゲインをかけて読み出すことができるので、複数の異なる明るさの画像を得ることができる。

【0071】

なお、本実施形態においては、ＰＤ７０１ａとＰＤ７０１ｂからそれぞれ出力された瞳分割された複数の画像と、異なるゲインで増幅された複数の画像が得られる構成を示した。しかしながら、本発明はこれに限定されるものでは無く、１回の露光によって複数の画像が得られる構成であればよい。

【0072】

次に、図８のタイミングチャートを用いて、図７に示す単位画素２０６のＰＤ７０１ａとＰＤ７０１ｂからそれぞれ信号を読み出す、第３の駆動モードによる撮影動作について説明する。
この処理は、図４に示す処理と同様に、例えばユーザーが操作部１１５に備えられている静止画像撮影釦を押下することで発行された撮影指示を受けて行われる。なお、図中の実線、一点鎖線、破線は、図４と同じであるため、説明を省略する。また、静止画用画像信号の読み出しは非常に高速に行われ、静止画用画像信号の読み出しにかかる時間よりも、ＤＳＰ１０８に内蔵される画像補正回路が静止画用画像信号を補正するのにかかる時間の方が長いものとする。

【0073】

時刻ｔ８００に、タイミングパルス生成回路１１１の第２ＳＳＧ３０１は、第２の同期信号をアサートし、それに同期して撮像素子１０７のＰＤ７０１ａからの画像信号（以下、「Ａ信号」と呼ぶ。）の読み出しを開始する。なお、この時刻ｔ８００よりも、測光やユーザー指示により予め決められた露光秒時（電荷蓄積時間）前に、撮像素子１０７のリセット走査が開始されているものとする。Ａ信号の読み出し開始と同時に、読み出したＡ信号をＤＳＰ１０８へ転送して、ＤＳＰ１０８に接続されたＲＡＭ１０９への格納を開始する。時刻ｔ８０１においてＡ信号の読み出しが終わると、それとともにＡ信号のＲＡＭ１０９への格納も完了する。

【0074】

続いて、ｔ８０２に、タイミングパルス生成回路１１１は第２の同期信号をアサートし、それに同期して撮像素子１０７のＰＤ７０１ｂからの画像信号（以下、「Ｂ信号」と呼ぶ。）の読み出しを開始する。Ｂ信号の読み出し開始と同時に、読み出したＢ信号をＤＳＰ１０８へ転送して、ＤＳＰ１０８に接続されたＲＡＭ１０９への格納を開始する。時刻ｔ８０３においてＢ信号の読み出しが終わると、それとともにＢ信号のＲＡＭ１０９への格納も完了する。

【0075】

時刻ｔ８０４に、タイミングパルス生成回路１１１は第２の同期信号をアサートし、それに同期して撮像素子１０７でＬＶ用画像信号の読み出しを開始する。なお、この時刻ｔ８０４よりも、測光やユーザー指示により予め決められた露光秒時（電荷蓄積時間）前に、撮像素子１０７のリセット走査が開始されている。このときの露光秒時は、Ｂ信号の読み出し終了のタイミングを鑑みて、時間Ｔ_ＬＶよりも短い時間となる。そして、読み出されたＬＶ用画像信号をＤＳＰ１０８に転送し、ＤＳＰ１０８に含まれる画像補正回路で補正する。このとき、時刻ｔ８００～ｔ８０３の間に読み出されたＡ信号及びＢ信号のデータは、未補正のままＲＡＭ１０９に格納されている。時刻ｔ８０５にはＬＶ用画像信号の読み出しが完了し、それとともに画像補正回路における補正処理も完了する。補正処理を終えたＬＶ用画像信号に基づいて生成されたライブビュー画像は、表示部１１４に表示される。

【0076】

次に、時刻ｔ８０６で、ＲＡＭ１０９に格納したＡ信号を読み出して画像補正回路へと転送し、Ａ信号の補正処理を開始する。この補正処理は時刻ｔ８０７に完了する。前述の通り、画像補正回路の処理速度は、Ａ信号の読み出し速度に比べると遅いため、時刻ｔ８０６から時刻ｔ８０７までの時間は、時刻ｔ８００から時刻ｔ８０１の時間よりも長くなっている。

【0077】

Ａ信号の補正処理が終了すると、次に、時刻ｔ８０８で、ＲＡＭ１０９に格納したＢ信号を読み出して画像補正回路へと転送し、Ｂ信号の補正処理を開始する。この補正処理は時刻ｔ８０９に完了する。このように画像信号を転送することによって、画像補正回路の処理を中断／再開する必要がなくなり、制御が簡単になる。

【0078】

なお、撮像素子１０７から１つの画像信号に２つの異なるゲインをかけて読み出す場合も同様に、２つのゲインをかけることで得られる２枚分の画像信号を読み出して、それぞれＲＡＭ１０９に格納し、順次補正処理を行えばよい。

【0079】

時刻ｔ８１０に、タイミングパルス生成回路１１１は第２の同期信号をアサートし、それに同期して撮像素子１０７でＬＶ用画像信号の読み出しを開始する。なお、この時刻ｔ８１０よりも予め決められた露光秒時前であって、ＬＶ用画像の読み出し開始がＢ信号の補正処理終了後となるように、撮像素子１０７のリセット走査が開始されている。そして、読み出されたＬＶ用画像信号をＤＳＰ１０８に転送し、ＤＳＰ１０８に含まれる画像補正回路で補正する。

【0080】

続く時刻ｔ８１１に、タイミングパルス生成回路１１１は第２の同期信号をアサートし、それに同期して撮像素子１０７のＰＤ７０１ａからＡ信号の読み出しを開始する。この時刻ｔ８１１は、以下の条件によりそのタイミングが決まる。即ち、時刻ｔ８１０におけるＬＶ用画像信号の読み出し開始により、静止画像生成用の電荷蓄積のためのリセット走査が可能になった後、測光やユーザー指示により予め決められた露光秒時（電荷蓄積時間）Ｔ _ＳＴ 後のタイミングである。読み出したＡ信号はＤＳＰ１０８へ転送され、ＤＳＰ１０８に接続されたＲＡＭ１０９に順次格納される。

【0081】

続いて、ｔ８１２に、タイミングパルス生成回路１１１は第２の同期信号をアサートし、それに同期して撮像素子１０７のＰＤ７０１ｂからＢ信号の読み出しを開始する。読み出したＢ信号はＤＳＰ１０８へ転送され、ＤＳＰ１０８に接続されたＲＡＭ１０９に順次格納される。

【0082】

そして時刻ｔ８１３に、タイミングパルス生成回路１１１は第２の同期信号をアサートし、それに同期して撮像素子１０７で次のフレームのＬＶ用画像信号の読み出しを開始する。
以降、時刻ｔ８０４から時刻８１３の処理を繰り返す。
なお、上述した例では、Ａ信号とＢ信号とを読み出す場合について説明したが、Ａ信号と、転送スイッチ７０２ａと７０２ｂとを同時ＯＮすることで得られるＰＤ７０１ａとＰＤ７０１ｂの電荷を加算したＡ＋Ｂ信号とを読み出すように制御しても構わない。

【0083】

次に図９のタイミングチャートを用いて、第４の駆動モードによる撮影動作について説明する。なお、図中の実線、一点鎖線、破線は、図４と同じであるため、説明を省略する。また、静止画用画像信号の読み出しは非常に高速に行われ、静止画用画像信号の読み出しにかかる時間よりも、ＤＳＰ１０８に内蔵される画像補正回路が静止画用画像信号を補正するのにかかる時間の方が長いものとする。また、Ａ信号とＢ信号とをそれぞれ読み出すものとする。なお、時刻ｔ８００から時刻ｔ８０７までの動作は、図８のタイミングチャートで示した時刻ｔ８００から時刻ｔ８０７までの動作と同じであるため、説明を省略する。

【0084】

時刻ｔ８０７でＡ信号の補正処理が終了すると、時刻ｔ９０１においてタイミングパルス生成回路１１１は、第２の同期信号をアサートし、それに同期して撮像素子１０７でＬＶ用画像信号の読み出しを開始する。なお、この時刻ｔ９０１よりも予め決められた露光秒時前であって、時刻ｔ９０１におけるＬＶ用画像信号の読み出し開始時に画像補正回路によるＡ信号の補正処理が終了しているように、撮像素子１０７のリセット走査が開始される。そして、読み出されたＬＶ用画像信号をＤＳＰ１０８に転送し、ＤＳＰ１０８に含まれる画像補正回路で補正する。

【0085】

時刻ｔ９０２でＬＶ用画像信号の補正処理が終了すると、次に、時刻ｔ９０３で、ＲＡＭ１０９に格納したＢ信号を読み出して画像補正回路へと転送し、Ｂ信号の補正処理を開始する。この補正処理は時刻ｔ９０４に完了する。この補正処理によって、読み出された静止画データの補正処理はすべて完了する。
時刻ｔ９０５では、タイミングパルス生成回路１１１は第２の同期信号をアサートし、時刻ｔ８０４と同様の動作を行う。

【0086】

次のＳ９０６において、タイミングパルス生成回路１１１は第２の同期信号をアサートし、それに同期して撮像素子１０７のＰＤ７０１ａからＡ信号の読み出しを開始する。この時刻ｔ９０６は、以下の条件によりそのタイミングが決まる。即ち、時刻ｔ９０５におけるＬＶ用画像信号の読み出し開始により、静止画像生成用の電荷蓄積のためのリセット走査が可能になった後、測光やユーザー指示により予め決められた露光秒時（電荷蓄積時間）Ｔ_ＳＴ後のタイミングである。読み出したＡ信号はＤＳＰ１０８へ転送され、ＤＳＰ１０８に接続されたＲＡＭ１０９に順次格納される。
時刻ｔ９０７以降は、時刻ｔ８０４から時刻ｔ９０７の動作を繰り返す。

【0087】

このように制御することで、時刻ｔ８０４から時刻ｔ９０１までの間隔と、時刻ｔ９０１から時刻ｔ９０５までの間隔と、時刻ｔ９０５から時刻ｔ９０７までの間隔とを同一にすることができる。これによって、静止画像の撮影を行いつつも、表示部１１４に表示するためのＬＶ画像を一定間隔で撮影することができる。

【0088】

しかしながら、図９に示す第４の駆動モードでは、静止画像の撮影間隔は時刻ｔ８００から時刻ｔ９０６となり、図８のタイミングチャートにおける静止画像の撮影間隔である時刻ｔ８００から時刻ｔ８１１までの時間よりも長くなる。これは、複数の静止画像の補正処理の間にＬＶ画像を撮影するからである。

【0089】

これに対し、図８に示す第３の駆動モードでは、静止画像の撮影間隔は第４の駆動モードよりも短いが、時刻ｔ８０４から時刻ｔ８１０までの間隔と、時刻ｔ８１０から時刻ｔ８１３までの間隔は異なる。

【0090】

以上説明したように、図８に示す第３の駆動モードで撮影動作を行うと、図９に示す第４の撮影モードにおける撮影動作よりも静止画像の撮影フレームレートを向上させることができる。一方、第４の駆動モードで撮影動作を行うと、静止画像の撮影を行いつつもＬＶ画像を一定間隔で撮影することができる。そこで、静止画像と表示画像のいずれを優先するかに応じて処理を切り替えることで、それぞれの駆動方法のメリットを生かすことができる。

【0091】

図１０は、図８に示す第３の駆動モードによる撮影動作と、図９に示す第４の駆動モードによる撮影動作とを切り替える方法を説明するフローチャートである。なお、図６のフローチャートと同様の処理を行うステップには同じステップ番号を付し、説明を省略する。

【0092】

Ｓ１０００では、決定された静止画像の撮影モードが、静止画像のフレームレート優先モードかどうかを判断し、静止画像のフレームレート優先モードであればＳ１００１に遷移し、そうでなければＳ１００２に遷移する。Ｓ１００１に遷移した場合には、図８に示す第３の駆動モードによるシーケンスのプログラムをロードし、Ｓ１００２に遷移した場合には、図９に示す第４の駆動モードによるシーケンスのプログラムをロードし、処理を終了する。以降、ロードしたプログラムに従って、撮影を行う。

【0093】

以上説明したように第２の実施形態によれば、静止画像の１回の露光に対して異なるゲインで増幅された複数の画像を読み出すことができる撮像素子において、撮影シーケンスを複数用意し、それを静止画像の撮影モードに応じて切り替える。これにより、静止画像のフレームレートかファインダーへの表示品質のどちらか好適な方を優先するような選択肢を、ユーザーに提供することができる。

【0094】

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
第３の実施形態では、第１及び第２の実施形態よりも静止画像の連写間隔を短くしたい場合の撮影動作について説明する。

【0095】

図１１は、第３の実施形態における第５の駆動モードによる撮影動作を示すタイミングチャートである。なお、図１１に示す処理は、図４に示す処理と同様に、例えばユーザーが操作部１１５に備えられている静止画像撮影釦を押下することで発行された撮影指示を受けて行われる。なお、図中の実線、一点鎖線、破線は、図４と同じであるため、説明を省略する。ただし、図中、「表示部の画像更新走査」の斜めの実線は、表示部１１４が画像を更新する走査を示している。また、静止画用画像信号の読み出しは高速に行われ、静止画用画像信号の読み出しにかかる時間よりも、ＤＳＰ１０８に内蔵される画像補正回路が静止画用画像信号を補正するのにかかる時間の方が長いものとする。

【0096】

時刻ｔ１１００で、タイミングパルス生成回路１１１の第２ＳＳＧ３０１から第２の同期信号がアサートされると、それに同期してＬＶ用画像信号の読み出しが開始される。それと同時にＤＳＰ１０８に含まれる画像補正回路で、読み出されたＬＶ用画像信号に対して補正処理が開始される。時刻ｔ１１０１でタイミングパルス生成回路１１１の第３ＳＳＧ３０２から第３の同期信号がアサートされると、時刻ｔ１１００で補正処理が施されたＬＶ用画像信号に基づいて生成されたＬＶ画像が表示部１１４に表示され始める。この一連の動作を、期間Ｔ０を周期として繰り返すことで、一定の時間間隔でＬＶ表示が更新される。ここでは、時刻ｔ１１００と時刻ｔ１１０１の時間差だけ撮影から表示までに位相差Δｔ１を設けることによって、撮影した画像を安定して表示できるものとする。

【0097】

時刻ｔ１１０２では、タイミングパルス生成回路１１１の基準ＳＳＧ３００から基準同期信号がアサートされる。第３ＳＳＧ３０２は、この基準同期信号を受信すると内部カウンタの値をリセットする。このようにして、第３ＳＳＧ３０２を基準ＳＳＧ３００の同期信号で同期させる。また、基準同期信号はＣＰＵ１１０にも入力され、ＣＰＵ１１０はこの基準同期信号がアサートされたことを検知すると、ＣＰＵ１１０のシステム時間を表現するカウンタから値を読み出して、カウント値を記録する。

【0098】

時刻ｔ１１０３では、第２ＳＳＧ３０１から第２の同期信号がアサートされ、ＬＶ用画像信号の読み出しが開始される。同時に、第２の同期信号はＣＰＵ１１０に入力され、ＣＰＵ１１０はこの第２の同期信号がアサートされたシステム時間を表現するカウント値を記録する。ＣＰＵ１１０は、基準同期信号と第２の同期信号のカウント値から、計算によって第２の同期信号のアサートタイミングを算出する。そして、その計算結果に基づいて、タイミングパルス生成回路１１１を制御して、第２の同期信号を、ある一定の時間差をもって基準同期信号に同期させるように制御する。このように制御すると、第２の同期信号も第３の同期信号も基準同期信号に同期して動作させることができるので、第２の同期信号と第３の同期信号の位相差Δｔ１を一定の値に保つことができる。

【0099】

時刻ｔ１１０４で静止画像撮影釦が押下されると、そこからレリーズタイムラグＴ１が経過した時刻ｔ１１０５に静止画像用のリセット走査が開始される。続く、電荷蓄積時間Ｔ２が経過した時刻ｔ１１０６では、静止画用画像信号の読み出しが開始され、ＲＡＭ１０９に一時保存される。続いて、時刻ｔ１１０７では、再び静止画像用のリセット走査が開始され、時刻ｔ１１０８でそれに対応する静止画用画像信号の読み出しが開始され、同様にＲＡＭ１０９に一時保存される。これを、静止画像撮影釦が解放されるまでの期間Ｔ３、繰り返す。なお、この期間Ｔ３は、本実施形態では静止画像撮影釦が押下されている期間としているが、これに限るものではない。例えば、操作部１１５により、事前にユーザーがＵＩを用いて撮影枚数と撮影間隔を設定しておき、その設定された撮影枚数と撮影間隔から、蓄積時間Ｔ２で撮影を繰り返す期間を求めてもおいてよい。

【0100】

期間Ｔ３の経過後、ＣＰＵ１１０が、基準同期信号のカウンタから基準同期信号に対して位相差Δｔ１を設けて第２の同期信号がアサートされるようにタイミングパルス生成回路１１１を制御する。時刻ｔ１１０９で第２の同期信号がアサートされた後、時刻ｔ１１１０ではＬＶ画像用のリセット走査が開始される。時刻ｔ１１１１でそれに対応するＬＶ用画像信号の読み出しが開始されると共に、ＤＳＰ１０８でＬＶ用画像信号に対して画像処理を実施する。そして、時刻ｔ１１１２で第３の同期信号がアサートされると、表示部１１４に時刻ｔ１１１１で読み出しが開始されたＬＶ用画像信号から生成されたＬＶ画像の表示を始める。

【0101】

続いて、時刻ｔ１１１３で、直前のＬＶ用画像信号の読み出し完了を受けて、期間Ｔ３に読み出してＲＡＭ１０９に一時保存した静止画用画像信号を読み出して、ＤＳＰ１０８で補正処理を実施する。そのため、時刻ｔ１１１４での第３の同期信号に対応する表示部１１４の更新のためのＬＶ用画像信号の読み出しは行わない。なお、静止画像データに対して行う補正処理としては、センサ個体ごとのばらつき補正する処理や、デジタルゲインをかけるといった撮像素子１０７のＲＡＷデータに対して行う補正処理を指す。ちなみに、現像処理やＪＰＥＧ圧縮処理は、時刻ｔ１１１３から時刻ｔ１１１５の期間に、補正処理と一緒に行ってもよいし、時刻ｔ１１１５以降のタイミングで行ってもよい。

【0102】

そして、時刻ｔ１１１５で、ＬＶ画像用のリセット走査が開始され、時刻ｔ１１１６でそれに対応するＬＶ用画像信号の読み出しが開始され、ＤＳＰ１０８で読み出したＬＶ用画像信号に対する補正処理を開始する。この時刻ｔ１１０９から時刻ｔ１１１１の期間Ｔ４は、時刻ｔ１１１２で静止画像データに対して画像処理を施すために、期間Ｔ０よりは長い時間となる。なお、本実施形態では、各期間Ｔ４に静止画像データを１つのみＤＰＳ１０８で画像処理を施しているが、これに限るものではなく、複数の静止画像データを続けて処理する構成としてもよい。その際には、時刻ｔ１１１４のような、第３の同期信号に対応する表示部１１４の更新のためのＬＶ用画像信号の読み出しを行わない期間が続く。また、期間Ｔ４を長くする場合においても、第２の同期信号は、必ず位相差Δｔ１を設けて第３の同期信号と同期するようにタイミングパルス生成回路１１１を制御する。

【0103】

そして、期間Ｔ３にＲＡＭ１０９に一時保存した静止画用画像信号の処理がすべて終了し、時刻ｔ１１１７でＬＶ用画像信号の読み出しが開始されると、時刻ｔ１１１８で第３の同期信号に対応して、表示部１１４に時刻ｔ１１１７で読み出しを開始したＬＶ用画像信号から生成されたＬＶ画像の表示を始める。この時刻以降は、期間Ｔ５の周期でＬＶ用画像信号の読み出しが繰り返される。

【0104】

なお、図１１では、期間Ｔ５の時間は、期間Ｔ０と同等の長さとしているが、これに限るものではない。また、期間Ｔ４の周期から期間Ｔ５の周期へ切り替えるタイミングとして、ＲＡＭ１０９に一次保存した静止画用画像信号の処理がすべて終わったときとしたが、これに限るものではなく、表示部１１４の表示形式に準じてもよい。例えば、表示部１１４の表示形式がインターレース形式であれば、ＴＯＰフィールドとＢＯＴＴＯＭフィールドから１枚の画像を作る。従って、第３の同期信号がアサートされたときにＣＰＵ１１０がシステム時間を記録するとともに、ＴＯＰフィールドかＢＯＴＴＯＭフィールドかのフィールド情報も記録する。これにより、周期の切り替えタイミングで、フィールド情報と、ＲＡＭ１０９に静止画用画像信号があるか、とを判定して切り替える構成としてもよい。

【0105】

なお、第３の実施形態では、第２の同期信号を基準同期信号に対して位相差Δｔ１を設けてアサートされるようにタイミングパルス生成回路１１１を制御したが、本発明はこれに限るものでは無い。例えば、図１２に示すように、第２の同期信号と第３の同期信号が位相差Δｔ１でアサートされるように、第３の同期信号のアサートタイミングをΔｕ１だけずらすようにタイミングパルス生成回路１１１に設定することで、ＬＶ用画像信号を読み出すタイミングをより早めることが可能である。このΔｕ１は、期間Ｔ１、Ｔ２、Ｔ４を時刻ｔ１１０４に静止画像撮影釦が押下されたタイミングで確定して、期間Ｔ３が確定する静止画像が終了するタイミングで計算できる。つまり、図１２の時刻ｔ１１１２に第３の同期信号がアサートされるようにΔｕ１を計算し、タイミングパルス生成回路１１１に設定する。この設定に基づいて、時刻ｔ１２０１に第３の同期信号をアサートすることで、静止画像の撮影後のＬＶ画像の表示タイミングを早めることが可能となる。なお、この期間Ｔ３が、上述のようにユーザーが事前に設定した枚数で繰り返す構成であれば、時刻ｔ１１０４の時点で確定することができる。また、Δｕ１を計算するタイミングやタイミングパルス生成回路１１１に設定するタイミングに関しては、時刻ｔ１１１１より前までに行われているものとする。

【0106】

図１１または図１２に示す第５の駆動モードで撮像動作を行うことで、より高速な静止画像の連写を実現することができる。これにより、プロユーザーのような決定的瞬間を狙って撮影したいユーザーに、静止画像の超高速連写を提供することができる。

【0107】

次に、第６の駆動モードによる撮影動作について、図１３のタイミングチャートを参照して説明する。なお、図１３において、図１１及び図１２と同じ信号及びタイミングには同じ参照番号を付し、適宜説明を省略する。

【0108】

第６の駆動モードでは、期間Ｔ３の経過後、時刻ｔ１３０１において、ＣＰＵ１１０が最後の静止画用画像信号の読み出しの完了を検知すると、続いて、ＲＡＭ１０９に一時保存された複数枚分の静止画用画像信号を読み出して、ＤＳＰ１０８において補正処理を施す。

【0109】

なお、この時刻ｔ１３０１以降の期間Ｔ６で、ＲＡＭ１０９に一時保存された複数枚分の静止画用画像信号に対して補正処理を行うとともに、ＤＳＰ１０８が、複数枚の静止画像データを用いてＨＤＲ処理やフィルタ処理等の処理を実施してもよい。

【0110】

ここで、ＨＤＲ処理を例に説明すると、例えば、被写体が適正露出になるように蓄積時間を制御した適正露出画像と、青空のような高輝度被写体が適正露出となるように蓄積時間を制御したアンダー露出画像と、黒つぶれしそうな低輝度の被写体が適正露出となるように蓄積時間を制御したオーバー露出画像とを、期間Ｔ３に連続で撮影しておく。そして、高輝度部分はアンダー露出画像、低輝度部分はオーバー露出画像となるように、得られた３種類の露出の画像データを合成し、低輝度から高輝度まで再現された画像をＤＳＰ１０８で、期間Ｔ６に生成する。

【0111】

続いて、期間Ｔ６の経過後、ＣＰＵ１１０は、基準同期信号のカウンタから、基準同期信号に対して位相差Δｔ１を設けて第２の同期信号がアサートされるようにタイミングパルス生成回路１１１を制御し、時刻ｔ１３０２で第２の同期信号をアサートする。そして、時刻ｔ１３０３ではＬＶ画像用のリセット走査を開始し、時刻ｔ１３０４でそれに対応するＬＶ用画像信号の読み出しを開始すると共に、ＤＳＰ１０８でＬＶ用画像信号に対して補正処理を実施する。そして、時刻ｔ１３０５で第３の同期信号がアサートされると、表示部１１４に時刻ｔ１３０４で読み出しが開始されたＬＶ用画像信号から生成されたＬＶ画像の表示を始める。この時刻ｔ１３０４以降は、期間Ｔ５の周期でＬＶ用画像信号の読み出しを繰り返す。

【0112】

なお、ＨＤＲ処理やフィルタ処理等の処理は、必ずしも期間Ｔ６に行う必要はなく、期間Ｔ６終了後のＬＶ用画像信号の読み出し周期中に並行して行う構成としてもよい。

【0113】

また、本実施形態では、第２の同期信号を基準同期信号に対して位相差Δｔ１を設けてアサートされるようにタイミングパルス生成回路１１１を制御したが、例えば、第２の同期信号と第３の同期信号が位相差Δｔ１でアサートされるように、第３の同期信号のアサートタイミングをΔｕ１だけずらすようにタイミングパルス生成回路１１１に設定することで、時刻ｔ１３０４をより早めることが可能である。このΔｕ１は、図１２で説明したように、期間Ｔ１，Ｔ２，Ｔ３，Ｔ６，Ｔ５の長さから計算することができる。つまり、時刻ｔ１３０５で第３の同期信号がアサートされるようにΔｕ１を計算し、タイミングパルス生成回路１１１に設定する。この設定に基づいて、第３の同期信号がアサートされることで、静止画像の撮影後のＬＶ画像の表示タイミングを早めることが可能となる。

【0114】

図１３に示す第６の駆動モードで撮像動作を行うことで、撮り貯めた静止画用画像信号に対して先に画像処理を実行してから、ＬＶ用画像信号を読み出すことができる。その結果、ＨＤＲ（ハイダイナミックレンジ）処理や、画像に特殊効果をかけるフィルタ処理のような、複雑な画像合成処理を行う場合においても、次の撮影をより早く許可することが可能となる。

【0115】

次に、図１４のフローチャートを参照して、駆動モードを切り替える例について説明する。なお、図１４のフローチャートの各ステップの処理は、特に断らない限り、ＣＰＵ１１０が図１に示す撮像装置の各部を制御することで実現される。なお、静止画像撮影釦が押下されたタイミングで、ＣＰＵ１１０が本フローチャートの処理を実行する。

【0116】

Ｓ１４０１で、ＣＰＵ１１０は、ユーザーが操作部１１５を介して設定したメニュー設定のうち、静止画像に対する画像処理方法について確認する。例えば、ＨＤＲ処理が有効になっているか、特殊効果を画像にかけるフィルタ処理が有効になっているか、複数枚撮影によるＮＲ処理が有効になっているか、多重露光設定が有効になっているか等である。ここでは、複数枚の静止画像を撮影して合成し、一枚の画像を生成する画像処理が実行されるメニューが設定されている場合には、Ｓ１４０２へ進み、それ以外の場合はＳ１４０３へ進む。

【0117】

Ｓ１４０２では、特殊撮影用の撮影シーケンスを実行する。ここでは、図１３に示した第６の駆動モードでのシーケンスのプログラムをロードする。

【0118】

次に、Ｓ１４０３では、ユーザーが操作部１１５を介して設定したメニュー設定のうち、連写モードについて確認する。例えば、連写モードに関して、Ｆａｓｔｅｓｔ、Ｈｉｇｈ＋、Ｈｉｇｈ、Ｌｏｗ、Ｓｉｎｇｌｅの５段階あった場合、最速にあたる「Ｆａｓｔｅｓｔ」が設定されているかを判断し、最速設定がされている場合には、Ｓ１４０４へ進み、最速以外の連写モードが設定されている場合はＳ１４０５へ進む。

【0119】

Ｓ１４０４では、コマ速優先の撮影シーケンスを実行する。ここでは、図１１または図１２に示した第５の駆動モードでのシーケンスのプログラムをロードする。

【0120】

一方、Ｓ１４０５では、被写体追従性優先の撮影シーケンスを実行する。ここでは、例えば、第１及び第２の実施形態で説明した図４、図５、図８、図９に示した第１乃至第４の駆動モードのいずれかでのシーケンスのプログラムをロードし、処理を終了する。なお、第１乃至第４の駆動モードの選択方法として、図６及び図１０を参照して第１または第２の実施形態で説明した方法に従ってもよい。以降、ロードしたプログラムに従って、撮影を行う。

【0121】

以上説明したように、第３の実施形態によれば、ユーザーが設定した内容に応じて、撮影シーケンスを切り替えるため、ユーザーの設定に応じて、最適な撮影シーケンスで撮影することが可能となる。

【0122】

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

【0123】

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0124】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0125】

１０７：撮像素子、１０８：ＤＳＰ、１０９：ＲＡＭ、１１１：タイミングパルス生成回路、７０１ａ，７０１ｂ：フォトダイオード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】