特許 7551671 撮像用回路およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-06

(45)【発行日】2024-09-17

(54)【発明の名称】撮像用回路およびその制御方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240909BHJP

   H04N 23/50 20230101ALI20240909BHJP

   H04N 23/63 20230101ALI20240909BHJP

   H04N 25/42 20230101ALI20240909BHJP

【ＦＩ】

H04N23/60

H04N23/50

H04N23/63 110

H04N25/42

【請求項の数】 13

(21)【出願番号】P 2022007149

(22)【出願日】2022-01-20

(65)【公開番号】P2023106041

(43)【公開日】2023-08-01

【審査請求日】2023-05-01

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】伊藤 篤義

【審査官】越河 勉

(56)【参考文献】

【文献】特開２０２１－１２９３２１（ＪＰ，Ａ）

【文献】特開２００９－１３０５８２（ＪＰ，Ａ）

【文献】特開２０２２－１３１６０５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／５０

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ２５／４２

(57)【特許請求の範囲】

【請求項1】

撮像装置に適用可能な撮像用回路であって、
複数の光電変換素子をマトリクス状に配置した画素アレイと、
第１の解像度の第１の画像データと第１の解像度よりも低解像度の第２の解像度の第２の画像データとを前記画素アレイから読み出し可能な読み出し部と、
前記読み出し部により前記画素アレイから読み出された前記第１の画像データを保存するためのメモリと、
前記読み出し部により前記画素アレイから読み出された前記第１の画像データを前記第１の解像度よりも低い第３の解像度の第３の画像データに変換する変換部と、
第１のインターフェースと、
第２のインターフェースと、
前記第１のインターフェースまたは前記第２のインターフェースを使用して出力される前記第２の画像データまたは前記第３の画像データを表示する表示部と、
前記読み出し部により前記画素アレイから読み出された前記第１の画像データを前記変換部に入力すると同時に前記メモリに書き込み、前記メモリから読み出した前記第１の画像データと前記読み出し部により前記画素アレイから読み出されて前記メモリに保存されていない前記第２の画像データおよび前記第３の画像データを出力し、出力した前記第２の画像データおよび前記第３の画像データを前記表示部により表示する場合に、前記第２の画像データおよび前記第３の画像データを前記第１のインターフェースおよび前記第２のインターフェースの両方を使用して出力するとともに前記第２の画像データまたは前記第３の画像データのブランキング期間に前記第１の画像データを前記第１のインターフェースおよび前記第２のインターフェースの両方を使用して出力する第１の送信モードと、前記第１の画像データを前記第１のインターフェースを使用して出力するとともに前記第２の画像データおよび前記第３の画像データを前記第２のインターフェースを使用して出力する第２の送信モードとを切り替える制御部と、
を備えることを特徴とする撮像用回路。

【請求項2】

前記撮像用回路は、第１のカメラモードと第２のカメラモードとを有し、
前記第１のカメラモードにおいては前記第１の送信モードを使用し、前記第２のカメラモードにおいては前記第２の送信モードを使用することを特徴とする請求項１に記載の撮像用回路。

【請求項3】

前記第３の解像度は前記第２の解像度に等しいことを特徴とする請求項１又は２に記載の撮像用回路。

【請求項4】

前記第３の解像度は前記第１の解像度よりも低く前記第２の解像度よりも高いことを特徴とする請求項１又は２に記載の撮像用回路。

【請求項5】

前記第１の画像データを前記画素アレイから読み出すのに必要な時間は、前記第２の画像データを前記画素アレイから読み出すのに必要な時間よりも長いことを特徴とする請求項１乃至４のいずれか一項に記載の撮像用回路。

【請求項6】

前記第１の画像データは静止画像であり、
前記第２の画像データはライブビュー動画像であり、
前記第３の画像データは縮小静止画像であることを特徴とする請求項１乃至５のいずれか一項に記載の撮像用回路。

【請求項7】

前記画素アレイと前記変換部とは同一基板上に設けられていることを特徴とする請求項１乃至６のいずれか一項に記載の撮像用回路。

【請求項8】

前記画素アレイと前記変換部とは別基板上に設けられ積層されて単一チップを形成していることを特徴とする請求項１乃至６のいずれか一項に記載の撮像用回路。

【請求項9】

前記画素アレイと前記変換部とは同一基板上、別チップに設けられていることを特徴とする請求項１乃至６のいずれか一項に記載の撮像用回路。

【請求項10】

前記画素アレイと前記メモリとは同一基板上に設けられていることを特徴とする請求項１乃至９のいずれか一項に記載の撮像用回路。

【請求項11】

前記画素アレイと前記メモリとは別基板上に設けられ積層されて単一チップを形成していることを特徴とする請求項１乃至９のいずれか一項に記載の撮像用回路。

【請求項12】

前記画素アレイと前記メモリとは同一基板上、別チップに設けられていることを特徴とする請求項１乃至９のいずれか一項に記載の撮像用回路。

【請求項13】

撮像装置に適用可能な撮像用回路の制御方法であって、
複数の光電変換素子をマトリクス状に配置した画素アレイから第１の解像度の第１の画像データを読み出す工程と、
前記画素アレイから前記第１の解像度よりも低解像度の第２の解像度の第２の画像データを読み出す工程と、
前記画素アレイから読み出された前記第１の画像データをメモリに保存する工程と、
前記画素アレイから読み出された前記第１の画像データを変換部で前記第１の解像度よりも低い第３の解像度の第３の画像データに変換すると同時に前記メモリにも書き込む工程と、
第１のインターフェースまたは第２のインターフェースを使用して出力される前記第２の画像データまたは前記第３の画像データを表示部により表示する工程と、
前記読み出す工程により前記画素アレイから読み出された前記第１の画像データを前記変換部に入力すると同時に前記メモリに書き込み、前記メモリから読み出された前記第１の画像データと前記読み出す工程により前記画素アレイから読み出されて前記メモリに保存されていない前記第２の画像データおよび前記第３の画像データを出力し、出力した前記第２の画像データおよび前記第３の画像データを前記表示部により表示する場合に、前記第２の画像データおよび前記第３の画像データを前記第１のインターフェースおよび前記第２のインターフェースの両方を使用して出力するとともに前記第２の画像データまたは前記第３の画像データのブランキング期間に前記第１の画像データを前記第１のインターフェースおよび前記第２のインターフェースの両方を使用して出力する第１の送信モードと、前記第１の画像データを前記第１のインターフェースを使用して出力するとともに前記第２の画像データおよび前記第３の画像データを前記第２のインターフェースを使用して出力する第２の送信モードとを切り替える制御工程と、
を有することを特徴とする撮像用回路の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に適用可能な撮像用回路およびその制御方法に関する。

【背景技術】

【0002】

デジタルカメラや、カメラ機能を備えた電子機器（以下、まとめて「撮像装置」と記す）。には、「ライブビュー機能（ＬＶ機能）」を有するものがある。「ＬＶ機能」とは、動画像等の撮影を行いながら、得られた画像を表示部に表示する機能である。ユーザーは、ライブビュー機能により表示される動画を確認しながら、静止画撮影や動画撮影の撮影範囲を調整することができる（以下、この撮影範囲の調整操作を「フレーミング」と記す）。

【0003】

ユーザーが意図通りの撮影を行うためには、フレーミングの容易性が重要（このフレーミングの容易性の指標を「フレーミング性能」と称する）である。例えば、動画像の撮影を行っている間に静止画像を撮影する場合、静止画像を撮影したフレームでは動画像を取得できなくなってしまう。このような場合、ライブビュー機能を使用して表示する画像が取得できないため、フレーミング性能が低下してしまう。そのため、フレーミング性能には、静止画像を撮影した場合にでもフレームが欠損しないような処理を実行することが重要である。

【0004】

例えば、特許文献１に開示されている技術によれば、撮影したライブビュー用動画像撮影中の１フレームに撮影した静止画像を縮小して表示することで、ライブビュー用動画像にフレーム欠損を生じさせない処理を行うことが開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０２１－１２９３２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に開示された技術にあっては、静止画像を動画像に変換する際に一度メモリに保存してから変換を行うため、縮小静止画像を表示する際に必ず一定量の遅延が発生してしまうという問題があった。一方で、例えばスポーツシーンの撮影を主眼とするようなカメラにおいては、表示遅延を低減させることが重要である。このように、静止画を縮小して表示する処理は、撮像装置の使用目的に応じて複数存在する。

【0007】

本発明の目的は、複数の使用目的に対して最適な画像データ経路を取りライブビュー画像を得ることを可能とする撮像用回路およびその制御方法を提供することである。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明の撮像用回路は、撮像装置に適用可能な撮像用回路であって、複数の光電変換素子をマトリクス状に配置した画素アレイと、第１の解像度の第１の画像データと第１の解像度よりも低解像度の第２の解像度の第２の画像データとを前記画素アレイから読み出し可能な読み出し部と、前記読み出し部により前記画素アレイから読み出された前記第１の画像データを保存するためのメモリと、前記読み出し部により前記画素アレイから読み出された前記第１の画像データを前記第１の解像度よりも低い第３の解像度の第３の画像データに変換する変換部と、第１のインターフェースと、第２のインターフェースと、前記第１のインターフェースまたは前記第２のインターフェースを使用して出力される前記第２の画像データまたは前記第３の画像データを表示する表示部と、前記読み出し部により前記画素アレイから読み出された前記第１の画像データを前記変換部に入力すると同時に前記メモリに書き込み、前記メモリから読み出した前記第１の画像データと前記読み出し部により前記画素アレイから読み出されて前記メモリに保存されていない前記第２の画像データおよび前記第３の画像データを出力し、出力した前記第２の画像データおよび前記第３の画像データを前記表示部により表示する場合に、前記第２の画像データおよび前記第３の画像データを前記第１のインターフェースおよび前記第２のインターフェースの両方を使用して出力するとともに前記第２の画像データまたは前記第３の画像データのブランキング期間に前記第１の画像データを前記第１のインターフェースおよび前記第２のインターフェースの両方を使用して出力する第１の送信モードと、前記第１の画像データを前記第１のインターフェースを使用して出力するとともに前記第２の画像データおよび前記第３の画像データを前記第２のインターフェースを使用して出力する第２の送信モードとを切り替える制御部と、を備えることを特徴とする。

【発明の効果】

【0009】

本発明によれば、複数の使用目的に対して最適なデータ経路を取りライブビュー画像を得ることが可能な撮像用回路を提供することができるという効果を得ることができる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態の撮像装置のブロック図である。

【図2】単位画素の回路図と画素配列と周辺回路の構成図である。

【図3】基板別の回路構成図と撮像素子の構成図である。

【図4】第１実施形態の「静止画」、「縮小静止画」、「ＬＶ画像」のデータの経路図の模式的な説明図である。

【図5】第１実施形態のタイミングチャートである。

【図6】基板の変形例である。

【図7】第２実施形態の「静止画」、「縮小静止画」、「ＬＶ画像」のデータの経路図の模式的な説明図である。

【図8】第２実施形態のタイミングチャートである。

【図9】第３実施形態の「静止画」、「縮小静止画」、「ＬＶ画像」のデータの経路図の模式的な説明図である。

【図10】第３の実施形態のタイミングチャートである。

【図11】第４実施形態の「静止画」、「縮小静止画」、「ＬＶ画像」のデータ経路図の模式的な説明図である。

【図12】第４実施形態のタイミングチャートである。

【図13】第５実施形態の撮像装置のブロック図である。

【図14】第５実施形態の「静止画」、「縮小静止画」、「ＬＶ画像」のデータ経路図の模式的な説明図である。

【図15】第５実施形態のタイミングチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の実施の形態に記載される構成はあくまで例示に過ぎず、本発明の範囲は実施の形態に記載される構成によって限定されることはない。まず、本発明の第１実施形態について説明する。

【0012】

＜第１実施形態＞
図１は、本発明の第１実施形態の撮像装置１の構成を示すブロック図である。図１に示すように撮像装置１は、撮像光学系１０４を有する。撮像光学系１０４は、第１レンズ１００、絞り１０１、第２レンズ１０２および第３レンズ１０３を有する。第１レンズ１００は、撮像光学系１０４の先端に配置されている。絞り１０１は、その開口径を調節することで撮影時の光量調節を行う。絞り１０１は、絞りアクチュエータ１１９の駆動によりその開口径が調節される。第２レンズ１０２および第３レンズ１０３は、後述のフォーカスアクチュエータ１１７の駆動により、光軸方向に進退して撮像光学系１０４の焦点を調節する。

【0013】

撮像光学系１０４の後ろ側には、フォーカルプレーンシャッタ１０５、光学的ローパスフィルタ１０６および撮像素子１０７がこの順で設けられている。フォーカルプレーンシャッタ１０５は、静止画撮影時に露光秒時を調節する機能を有する。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを低減する機能を有する。撮像素子１０７は、撮像光学系１０４で結像された被写体の光学像を電気信号に光電変換する。

【0014】

撮像装置１は、ＣＰＵ１１０、ＤＳＰ１０８、ＲＡＭ１０９等の電子デバイスを備えている。ＤＳＰ１０８は、画像データの受信や画像処理を行う。ＤＳＰ１０８が行う画像処理例として「静止画」の画像データから表示部１１２に表示する表示用画像データを生成することが挙げられる。また、画像処理以外にも、撮像素子１０７からの情報に基づいて、フォーカスレンズ（第２レンズ１０２、第３レンズ１０３）の駆動に用いる情報の演算を行う。ＲＡＭ１０９は、ＤＳＰ１０８で処理された画像データを記憶する「画像データ記憶手段の機能」と、後述のＣＰＵ１１０が動作を行う際の「ワークメモリの機能」とを有する。なお、本実施形態においては、ＲＡＭ１０９を用いて両機能を実現する構成であるが、アクセス速度が十分に高速で動作上問題の無いメモリであれば他種類のメモリを用いることも可能である。また本実施形態では、ＲＡＭ１０９は、ＤＳＰ１０８、ＣＰＵ１１０の外部に配置されているが、その一部または全部の機能をＤＳＰ１０８、ＣＰＵ１１０に搭載する構成としても良い。つまり、ＤＳＰ１０８やＣＰＵ１１０に専用ＲＡＭを搭載した構造のプロセッサを使用することもできる。

【0015】

ＣＰＵ１１０は、撮像装置１の動作を統括的に制御する。ＣＰＵ１１０は、撮像装置１の各部を制御するためのプログラムを実行する。ＣＰＵ１１０は、撮像素子１０７に各種設定を行うことによって、後述する「動画」と「静止画」の撮影タイミングの制御を行う機能を有する。また、ＤＳＰ１０８から出力される演算結果を用いて、後述のフォーカス駆動回路１１６を駆動制御することにより、撮像光学系１０４の焦点を調節する機能も有する。

【0016】

ＣＰＵ１１０には、操作部１１１，表示部１１２、記録媒体１１３，ＲＯＭ１１４、シャッター駆動回路１１５、フォーカス駆動回路１１６および絞り駆動回路１１８が接続されている。操作部１１１は、ボタン、レバー等の操作子で成る。ユーザーは操作部１１１を操作することにより、ＣＰＵ１１０を制御して撮影を行う。操作部１１１には、「静止画撮影開始釦」が含まれている。ＣＰＵ１１０は、ユーザーによる「静止画撮影開始釦」の押下操作を検知すると、それから一定時間が経過した後に「静止画」の撮影を行う。表示部１１２は、ＤＳＰ１０８によって処理された「静止画像」、「動画像」およびメニュー等の表示を行う。表示部１１２としてはディスプレイの他に「電子ビューファインダー（ＥＶＦ）」などを用いても良い。記録媒体１１３は、「静止画データ」および「動画データ」を記録する着脱可能な記録媒体であり、例えばメモリカード等によって実現できる。ＲＯＭ１１４は、ＣＰＵ１１０が各部の動作を制御するためのプログラムを記憶する。

【0017】

シャッター駆動回路１１５は、フォーカルプレーンシャッタ１０５を駆動制御する。フォーカス駆動回路１１６は、撮像光学系１０４の焦点位置を変更する焦点位置変更手段として機能する。フォーカス駆動回路１１６は、ＣＰＵ１１０の出力に基づいてフォーカスアクチュエータ１１７を駆動制御することより、フォーカスレンズ（第２レンズ１０２、第３レンズ１０３）を光軸方向に進退方向に移動させ焦点調節を行なう。絞り駆動回路１１８は、絞りアクチュエータ１１９を駆動制御して絞り１０１の開口を制御する。

【0018】

＜単位画素の回路、画素配列の周辺回路＞
図２（ａ）は単位画素の回路図であり、図２（ｂ）は画素配列と周辺回路の構成図である。図２を参照して、撮像素子１０７の特に画素周辺の回路について説明する。まず、図２（ａ）を参照して、単位画素２０６の回路構成について説明する。フォトダイオード（ＰＤ）２００は、マイクロレンズの下に配置されて単位画素２０６を構成する素子であり「光電変換部」を構成する。光電変換部転送スイッチ２０１は、信号「φｔｘ」によって制御されるスイッチである。信号「φｔｘ」の値をＨｉｇｈ（以下、「Ｈ」）にすることによって、ＰＤ２００に蓄積された光電荷をフローティングディフュージョン部（ＦＤ）２０２に転送することができる。

【0019】

リセットスイッチ２０３は、ＦＤ２０２を初期化するように信号「φｒｅｓ」によって制御されるスイッチである。画素のリセット動作は、「φｔｘ」と「φｒｅｓ」を双方とも「Ｈ」にすることにより、ＰＤ２００とＦＤ２０２の双方を電源電圧（ＶＤＤ）とすることにより実現する。画素アンプ用トランジスタ２０４は、セレクトスイッチ２０５に接続されているとともに、垂直出力線２０８（後述する）を介して定電流源２０９（後述する）に接続されている。セレクトスイッチ２０５の入力信号「φｓｅｌ」の値が「Ｈ」になると、画素アンプ用トランジスタ２０４が定電流源２０９に接続されて「画素アンプ」を形成する。ＦＤ２０２はこの画素アンプに接続されている。このため、ＰＤ２００からＦＤ２０２に転送された電荷は、画素アンプによって電荷量に応じた電圧値に変換され、垂直出力線２０８に画素信号として出力される。

【0020】

次に、図２（ｂ）を参照して、撮像素子１０７の回路系にブロック図について説明する。画素アレイ２０７は、行列状（マトリクス状）に複数の単位画素２０６が配置されている。具体的には、水平方向に「（ｍ＋１）個」、垂直方向に「（ｎ＋１）個」の単位画素２０６が配置されている。なお、「ｍ」、「ｎ」は自然数である。かくして、画素アレイ２０７は、複数の光電変換素子をマトリクス状に配置したものとなる。駆動パルス生成回路２１０は、単位画素２０６のリセット動作や読み出し動作を行うためのパルスを生成する。駆動パルス生成回路２１０により生成されたパルスは、画素駆動回路２１２に供給される。行選択回路２１１（読み出し部）は、駆動パルス生成回路２１０によって生成されたパルスを供給する特定の行を選択し、画素駆動回路２１２に選択した特定の行を設定する。画素駆動回路２１２は、行選択回路２１１により選択されて設定された特定の行に、駆動パルス生成回路２１０によって生成されたパルスを供給する。

【0021】

行選択回路２１１を複数の方法で使用することによって、画素アレイ２０７からのデータの読み出しを複数の方法で行うことができる。例えば、「静止画像」に使用するデータを読み出す場合には、高解像度のデータが必要なため、行選択回路２１１は、画素配列を１行ずつ１行おきに選択して読み出す動作を行う。一方で、「ＬＶ用の動画像（ライブビュー動画像）」に使用するデータを読み出す場合には解像度がそれほど求められないため、行選択回路２１１は、画素アレイ２０７を１行ずつ２行おきに選択して読み出す動作を行う。

【0022】

すると、０行目の次には３行目が読み出されることになる。このように読み出すことにより、先に説明した「静止画像」と比較して垂直解像度が３分の１に低下した「動画像」を読み出すことができる。「静止画像」と「動画像」を比較すると、「静止画像」は解像度に優れる一方で、「動画像」は垂直解像度が低下した分だけ読み出し時間も短くなり読み出しを低電力で行うことができるという特徴がある。このように、行選択回路２１１の行選択制御態様により、それぞれの目的に適した複数の種類の画像を取得することができる。

【0023】

画素信号は、画素駆動回路２１２から供給されるパルスに応じて垂直出力線２０８上に行毎に出力される。定電流源２０９は、画素アンプ用トランジスタ２０４と組み合わさりソースフォロワ回路が形成される。ＡＤ変換回路２１３（以下「ＡＤＣ２１３」とも記す）は、垂直出力線２０８に出力されたアナログ出力信号をデジタル信号に変換する。

【0024】

＜第１実施形態：チップ構成＞
図３は、基板別の回路構成図と撮像素子の構成図である。図３を参照して、本実施例の撮像素子１０７の特にチップ構成に関して説明する。一般的に、複数の半導体基板に別々の回路の構成要素を設け、その後積層して接続することにより「単一チップ」とする方法がある。本実施例の撮像素子１０７においても、第１の半導体基板３００と第２の半導体基板３０１を積層することにより、単一のチップをなす構成とする。

【0025】

図３（ａ）を参照して、第１の半導体基板３００および第２の半導体基板３０１の各々の半導体基板の回路構成例を説明する。第１の半導体基板３００上には画素アレイ２０７が設けられる。また、第２の半導体基板３０１上には、ＡＤＣ２１３と、画像メモリ３０２と、縮小回路３０３と、ＩＦコントローラー３０４と、「ＩＦ＿Ａ３０５」と、「ＩＦ＿Ｂ３０６」が設けられている。「ＩＦ＿Ａ３０５」はインターフェースＡ３０５であり、「ＩＦ＿Ｂ３０６」はインターフェースＢ３０６である。

【0026】

画像メモリ３０２は、画素アレイ２０７から読み出されＡＤＣ２１３でデジタル値に変換された画素データを一時的に保存するメモリである。本実施形態にあっては、このメモリは、保存されたデータを非破壊で読み出せる構成であれば、どのようなメモリを採用しても良い。また、縮小回路３０３は、静止画像を縮小する回路である。ＩＦコントローラー３０４は、ＡＤＣ２１３、画像メモリ３０２、縮小回路３０３等と接続され、ＩＦ＿Ａ３０５やＩＦ＿Ｂ３０６でデータを送信できるようにするためのデータ加工を行ったり、データのルーティングを行ったりする。

【0027】

図３（ｂ）は、第１の半導体基板３００と第２の半導体基板３０１とが積層されて、単一のチップである撮像素子１０７を構成している例を示す模式的な説明図である。第２の半導体基板３０１の上に第１の半導体基板３００を積層した状態を示している。積層された半導体基板間を電気的に接続するための技術は、公知のいずれの技術を使用しても構わない。

【0028】

＜第１実施形態：データ経路＞
図４は、第１実施形態の「静止画」、「縮小静止画」、「ＬＶ画像」のデータの経路図の模式的な説明図である。図４を参照して、「静止画像」、「縮小静止画像」、「ＬＶ用動画像」の各々がどのような回路ブロック（データ経路）を通って撮像素子１０７の外部に出力されるかについて説明する。

【0029】

図４（ａ）は、「静止画像」と「ＬＶ用動画像」が通るデータ経路を説明するデータ経路図である。画素アレイ２０７から出力された画像データは、ＡＤＣ２１３でデジタル値に変換され、画像メモリ３０２に蓄積される。その後、画像データは、画像メモリ３０２から読み出され、ＩＦコントローラー３０４を経由し、「ＩＦ＿Ａ３０５」および「ＩＦ＿Ｂ３０６」を使用して出力される。

【0030】

図４（ｂ）は、「縮小静止画像」が通るデータ経路を説明するデータ経路図である。画素アレイ２０７から出力された「静止画像」のデータは、ＡＤＣ２１３でデジタル値に変換され、画像メモリ３０２に蓄積される。その後、画像メモリ３０２から静止画像データを読み出し、縮小回路３０３（変換部）に画像データを入力する。縮小回路３０３は、静止画像データに対して縮小処理を行う。

【0031】

縮小静止画の解像度は様々なものが挙げられる。例えば「ＬＶ用動画像」と同一の解像度まで縮小回路３０３で縮小することで、後段のＤＳＰ１０８での処理を「ＬＶ用動画像」と共通化することができる。また、縮小回路３０３では水平方向の解像度のみを「ＬＶ用動画像」の解像度まで落として送信することも考えられる。この場合、ＤＳＰ１０８では垂直方向の縮小処理を行う必要はあるものの、縮小回路３０３の回路規模を小さく抑えることができる。

【0032】

縮小回路３０３で縮小された画像は、その後、ＩＦコントローラー３０４を経由し、「ＩＦ＿Ａ３０５」および「ＩＦ＿Ｂ３０６」を使用して出力される。図４に示すように、各画像のパスを設計することによって、大部分のパスを共通化できるほか、総ての画像を画像メモリ３０２に一度保存する。このため、制御タイミング等に関して自由度が有るため制御が簡素になるという特徴がある。

【0033】

＜第１実施形態：タイミングチャート＞
図５は第１実施形態のタイミングチャートである。図５を参照して、第１実施形態における「動画」および「静止画」の撮影動作について説明する。「静止画像」の撮影開始は、例えばユーザーが操作部１１１に含まれる「静止画撮影開始釦」を押下操作してから一定時間以上経過したタイミングに設定することができる。なお、図中の「斜線」のうち、「破線」は、画素アレイ２０７に含まれる各単位画素２０６のリセット走査を表し、「実線」は画素アレイ２０７からの読み出しを表している。

【0034】

時刻「ｔ５００」において、撮像素子１０７に対して垂直同期信号（ＶＤ）をアサートすると、撮像素子１０７は「ＬＶ用動画像」の読み出しを行う。また、読み出しを開始するとともに、画像メモリ３０２に「ＬＶ用動画像」の書き込みを開始する。時刻「ｔ５０１」で「ＬＶ用動画像」の読み出しが完了すると、画像メモリ３０２への書き込みも停止する。このタイミングで、画像メモリ３０２から、時刻「ｔ５００」から書き込みが開始された「ＬＶ用動画像」が読み出され始める。画像メモリ３０２から読みだされた「ＬＶ用動画像」は、ＩＦコントローラー３０４を経由し、「ＩＦ＿Ａ３０５」と「ＩＦ＿Ｂ３０６」とから「ＬＶ用動画像」が出力される。時刻「ｔ５０２」において、画像メモリ３０２からの読み出しが完了する。

【0035】

時刻「ｔ５０３」において撮像素子１０７に対して垂直同期信号（ＶＤ）をアサートすると、撮像素子１０７は「静止画像」の読み出しを行う。また、読み出しを開始するとともに、画像メモリ３０２に「静止画像」に書き込みを開始する。それと同時に、画像メモリ３０２から「静止画像」を読み出し、縮小回路３０３に入力を開始する。このため、本実施例における画像メモリ３０２は、「読み出し」と「書き込み」とが同時に行える構成になっている。縮小回路３０３で縮小された「静止画像」は、ＩＦコントローラー３０４を経由し、「ＩＦ＿Ａ３０５」と「ＩＦ＿Ｂ３０６」とから出力される。この「縮小静止画」は、表示部１１２などでＬＶ用動画像と同様に表示することができる。時刻「ｔ５０４」で読み出しが完了し、それとともに画像メモリ３０２への「静止画像」の書き込み、および、画像メモリ３０２からの「静止画像」の読み出し、「ＩＦ＿Ａ３０５」と「ＩＦ＿Ｂ３０６」からの縮小静止画の転送が完了する。

【0036】

ところで、画像メモリ３０２は非破壊で読み出せるため、時刻「ｔ５０３」から書き込みが始まった「静止画像」のデータは失われていない。そこで、表示部１１２で表示に用いる画像の送信を停止するブランキングのタイミングで、垂直解像度が高くデータ量の多い「静止画像」のデータを送信することにする。時刻「ｔ５０５」で「静止画」のデータを元の解像度のまま画像メモリ３０２から読み出し始める。画像メモリ３０２から読み出された「静止画」は、縮小回路３０３を通ることなく、ＩＦコントローラー３０４を経由し、「ＩＦ＿Ａ３０５」と「ＩＦ＿Ｂ３０６」から出力される。この「静止画像」は、表示部１１２に表示することを第一の目的としていないため、表示しないまま記録媒体１１３に保存することができる。

【0037】

時刻「ｔ５０６」において、次の「ＬＶ用動画像」の読み出しおよび画像メモリ３０２への書き込みが開始されるが、「静止画像」はその間も送信し続ける。時刻「ｔ５０７」において、静止画像の送信を一度停止する。時刻「ｔ５０７」の時点では、「静止画像」の全てのデータを送信しきっていない。時刻「ｔ５０８」において、時刻「ｔ５０６」で開始した「ＬＶ用動画像」の読み出しと画像メモリ３０２への書き込みが完了する。同時にＩＦコントローラー３０４を経由し、「ＩＦ＿Ａ３０５」と「ＩＦ＿Ｂ３０６」からの送信が始まる。時刻「ｔ５０９」において、時刻「ｔ５０８」から開始された「ＬＶ用動画像」の送信が完了する。

【0038】

時刻「ｔ５１０」では、時刻「ｔ５０３」で読み出しを開始した「静止画像」の残りを読み出し始める。時刻「ｔ５１１」において、次の「ＬＶ用動画像」の読み出しが開始し、画像メモリ３０２への書き込みが開始される。そして、時刻「ｔ５１２」において、時刻「ｔ５０３」で読み出しが開始された「静止画像」の読み出しと、「ＩＦ＿Ａ３０５」と「ＩＦ＿Ｂ３０６」からの送信が完了する。

【0039】

以上説明したように第１実施形態によれば、行選択回路２１１（読み出し部）により、画素アレイ２０７から、第１の解像度の「静止画像」と第１の解像度よりも低解像度の第２の解像度の「ＬＶ用動画像」とを読み出す。第１の解像度の「静止画像」は、第１の画像データに対応し、第２の解像度の「ＬＶ用動画像」は、第２の画像データに対応する。画像メモリ３０２は、読み出された「「ＬＶ用動画像」と「静止画像」とを保存可能である。また、読み出した「静止画像」は第１の解像度よりも低い第３の解像度の「縮小静止画像」（第３の画像データ）に縮小変換する。そして、「静止画像」（第１の画像データ）を画像メモリ３０２から読み出して縮小変換して出力することと縮小変換を行わずに「静止画像」を出力することとを行い、「動画像」は、画像メモリ３０２から読み出して縮小変換を行わずに出力する。

【0040】

また、本実施形態においては、「ＩＦ＿Ａ３０５」と「ＩＦ＿Ｂ３０６」とを備え、「静止画像」は、「ＬＶ用動画像」または「縮小静止画」のブランキング期間に「ＩＦ＿Ａ３０５」と「ＩＦ＿Ｂ３０６」の両方を使用して送られる第１の送信モードを有する。なお、「ＩＦ＿Ａ３０５」、「ＩＦ＿Ｂ３０６」は第１のインターフェース、第２のインターフェースに対応する。また、第３の解像度は第２の解像度に等しくすることや、第３の解像度は第１の解像度よりも低く第２の解像度よりも高くすることもできる。

【0041】

以上説明したように本実施形態にあっては、「ＬＶ用動画像」も一度メモリに保存してから、撮像素子の外部に出力する方法について説明した。総ての画像を一度メモリに保存することによって、制御タイミングに対する制約を緩和させることができるという効果を得ることができる。

【0042】

＜変形例＞
第１実施形態に示した例では、撮像素子１０７が第１基板３００と第２基板３０１の積層により構成されている例を示したが、本発明はこの限りではなく種々の回路構成態様を採用しても良い。

【0043】

図６は半導体基板の変形例である。図６（ａ）は、単一の半導体基板６００上に、画素アレイ２０７、ＡＤＣ２１３、画像メモリ３０２、縮小回路３０３、ＩＦコントローラー３０４、ＩＦ＿Ａ３０５、ＩＦ＿Ｂ３０６を設けた例である。例えば、画素アレイ２０７が小さい場合等には、単一の半導体基板で製造することにより撮像装置全体の構成を簡素にすることが可能となる。図６（ｂ）は、構成回路を複数のチップに分けて製造し、単一の半導体基板６０１の上に各種回路を製造した例の模式的な説明図である。画素アレイ２０７、ＡＤＣ２１３は「第１チップ６０２」上に、また、画像メモリ３０２は「第２チップ６０３」上に、縮小回路３０３、ＩＦコントローラー３０４、ＩＦ＿Ａ３０５、ＩＦ＿Ｂ３０６は「第３チップ６０４」上に製造されている。このような構成は、半導体基板の積層技術を必要としないチップのみで構成されているので、各チップの製造を容易化することができる。その他、図示していないあらゆる回路構成を取ることが可能である。

【0044】

＜第２実施形態＞
図７は、第２実施形態の「静止画像」、「縮小静止画」、「ＬＶ画像」のデータの経路図の模式的な説明図である。図３を参照して、第２の実施形態において、「静止画像」、「ＬＶ用動画像」、「縮小静止画像」の各々がどのようなデータ経路を通って撮像素子１０７の外部に出力されるかについて説明する。

【0045】

＜第２実施形態：データ経路＞
図７（ａ）は「静止画像」が通るデータ経路を模式的に示したデータ経路図であり、図４（ａ）と同一のパス構成となっている。図７（ｂ）は「縮小静止画像」が通るデータ経路を模式的に説明したデータ経路図であり、図４（ｂ）と同一のパス構成となっている。図７（ｃ）は「ＬＶ用動画像」が通るデータ経路を模式的に説明したデータ経路図である。画素アレイ２０７から出力されたＬＶ用動画像は、ＡＤＣ２１３でデジタル値に変換され、ＩＦコントローラー３０４を経由して「ＩＦ＿Ａ３０５」および「ＩＦ＿Ｂ３０６」を使用して出力される。この時、「ＬＶ用動画像」は、一度も画像メモリ３０２に格納されないため、本回路構成を取れば、「ＬＶ用動画像」が表示されるまでの表示遅延を低減することができる。

【0046】

＜第２実施形態：タイミングチャート＞
図８は第２実施形態のタイミングチャートである。図８を参照して、第２実施形態における「動画」および「静止画」の撮影動作について説明する。「静止画像」の撮影開始は、例えばユーザーが操作部１１１に含まれる「静止画撮影開始釦」を押下操作してから一定時間以上経過したタイミングに設定することができる。なお、図中の「斜線」のうち「破線」は画素アレイ２０７に含まれる各単位画素２０６のリセット走査を表し、「実線」は画素アレイ２０７からの読み出しを表している。

【0047】

時刻「ｔ８００」において、撮像素子１０７に対して垂直同期信号（ＶＤ）をアサートすると、撮像素子１０７は「ＬＶ用動画像」の読み出しを行う。また、読み出しを開始するとともに、ＩＦコントローラー３０４を経由し「ＩＦ＿Ａ３０５」および「ＩＦ＿Ｂ３０６」を使用して「ＬＶ用動画像」を出力する。時刻「ｔ８０１」において「ＬＶ用動画像」の読み出しが完了するとともに、「ＩＦ＿Ａ３０５」および「ＩＦ＿Ｂ３０６」からのデータ転送も完了する。

【0048】

時刻「ｔ８０２」において、撮像素子１０７に対して垂直同期信号（ＶＤ）をアサートすると、撮像素子１０７は「静止画像」の読み出しを行う。また、読み出しを開始するとともに、画像メモリ３０２に書き込みを開始する。それと同時に、画像メモリ３０２から「静止画像」を読み出し、縮小回路３０３に入力を開始する。このため、本実施形態における画像メモリ３０２は「読み出し」と「書き込み」を同時に行える構成になっている。縮小回路３０３で縮小された「縮小静止画像」は、ＩＦコントローラー３０４を経由し、「ＩＦ＿Ａ３０５」および「ＩＦ＿Ｂ３０６」から出力される。この「縮小静止画」は、表示部１１２等で「ＬＶ用動画像」と同様に表示することができる。時刻「ｔ８０３」において読み出しが完了する。それとともに画像メモリ３０２への「静止画像」の書き込みおよび読み出し、「ＩＦ＿Ａ３０５」および「ＩＦ＿Ｂ３０６」からの「縮小静止画」の転送が完了する。

【0049】

時刻「ｔ８０４」において、撮像素子１０７に対して垂直同期信号（ＶＤ）をアサートすると、撮像素子１０７は「ＬＶ用動画像」の読み出しを行う。また、読み出しを開始するとともに、ＩＦコントローラー３０４を経由し「ＩＦ＿Ａ３０５」および「ＩＦ＿Ｂ３０６」を使用して「ＬＶ用動画像」を出力する。時刻「ｔ８０５」において、「ＬＶ用動画像」の読み出しが完了するとともに「ＩＦ＿Ａ３０５」および「ＩＦ＿Ｂ３０６」からのデータ転送も完了する。また、時刻「ｔ８０５」において、「ＬＶ用動画像」の転送が完了すると同時に、画像メモリ３０２に保存された「静止画像」の転送を開始する。

【0050】

時刻「ｔ８０６」において、「静止画像」の転送を中断すると同時に、撮像素子１０７に対して垂直同期信号（ＶＤ）をアサートする。すると、撮像素子１０７は「ＬＶ用動画像」の読み出しを行う。また、読み出しを開始するとともに、ＩＦコントローラー３０４を経由し「ＩＦ＿Ａ３０５」および「ＩＦ＿Ｂ３０６」を使用して「ＬＶ用動画像」を出力する。時刻「ｔ８０７」において、「ＬＶ用動画像」の読み出しが完了するとともに「ＩＦ＿Ａ３０５」および「ＩＦ＿Ｂ３０６」からのデータ転送も完了する。また、時刻「ｔ８０７」において、「ＬＶ用動画像」の転送が完了する。同時に、時刻「ｔ８０６」において中断された画像メモリ３０２に保存された「静止画像」の転送を再開する。この「静止画像」の転送は、時刻「ｔ８０８」において完了する。

【0051】

以上説明したように第２実施形態によれば、行選択回路２１１（読み出し部）により、画素アレイ２０７から、第１の解像度の「静止画像」と第１の解像度よりも低解像度の第２の解像度の「ＬＶ用動画像」とを読み出す。画像メモリ３０２は、読み出された「静止画像」を保存可能である。また、読み出した「静止画像」は第１の解像度よりも低い第３の解像度の「縮小静止画像」（第３の画像データ）に縮小変換する。そして、「静止画像」（第１の画像データ）を画像メモリ３０２から読み出して縮小変換して出力することと縮小変換を行わずに「静止画像」を出力することとを行い、「動画像」は、画像メモリ３０２に保存せずに出力する。

【0052】

以上、第２実施形態で説明した動作によって、「ＬＶ用動画像」の表示遅延を低減させつつ、ライブビュー画像を中断させないまま「静止画像」を撮像素子１０７から送信することができる。

【0053】

＜第３実施形態＞
図９は、第３実施形態の「静止画像」、「縮小静止画」、「ＬＶ画像」のデータの経路図の模式的な説明図である。図９を参照して、「静止画像」、「ＬＶ用動画像」、「縮小静止画像」の各々がどのようなデータ経路を通って撮像素子１０７の外部に出力されるかを説明する。

【0054】

＜第３実施形態：データ経路＞
図９（ａ）は、「静止画像」が通るデータ経路を模式的に示したデータ経路図である。画素アレイ２０７から出力された「静止画像」は、ＡＤＣ２１３でデジタル値に変換され、画像メモリ３０２に保存される。その後、「静止画像」は画像メモリ３０２から読み出され、ＩＦコントローラー３０４を経由し「ＩＦ＿Ｂ３０６」を使用して出力される。図９（ｂ）は、「縮小静止画像」が通るデータ経路を模式的に示した経路図である。画素アレイ２０７から出力された「静止画像」は、ＡＤＣ２１３でデジタル値に変換され、画像メモリ３０２に保存される。その後、画像メモリ３０２から「静止画像」を読み出し、縮小回路３０３に画像を入力する。縮小回路３０３においては、「静止画像」に対して縮小処理を行う。「縮小静止画」の画像はどのような解像度でも構わない事は、第１実施形態で説明した通りである。「縮小静止画」は、ＩＦコントローラー３０４を経由し「ＩＦ＿Ａ３０５」を使用して出力される。

【0055】

図９（ｃ）は「ＬＶ用動画像」が通るデータ経路を模式的に示したデータ経路図である。画素アレイ２０７から出力された「ＬＶ用動画像」は、ＡＤＣ２１３でデジタル値に変換され、ＩＦコントローラー３０４を経由し「ＩＦ＿Ａ３０５」を使用して出力される。図９に示すように、各画像の経路を設計することにより、表示部１１２に表示する画像の転送に使われる「ＩＦ（ＩＦ＿Ａ３０５）」と、「静止画像」の転送に使われる「ＩＦ（ＩＦ＿Ｂ３０６）」を独立とすることができる。このような構成によって、制御を簡素化することが可能になる。

【0056】

＜第３実施形態：タイミングチャート＞
図１０は第３実施形態のタイミングチャートである。図１０を参照して、第３実施形態における「動画」および「静止画」の撮影動作について解説する。静止画像の撮影開始は、例えばユーザーが操作部１１１に含まれる「静止画撮影開始釦」を押下操作してから一定時間以上経過したタイミングに設定することができる。なお、図中の「斜線」のうち「破線」は画素アレイ２０７に含まれる各単位画素２０６のリセット走査を表し、「実線」は画素アレイ２０７からの読み出しを表している。

【0057】

時刻「ｔ１０００」において、撮像素子１０７に対して垂直同期信号（ＶＤ）をアサートすると、撮像素子１０７は「ＬＶ用動画像」の読み出しを行う。また、読み出しを開始するとともに、ＩＦコントローラー３０４を経由し「ＩＦ＿Ａ３０５」を使用して「ＬＶ用動画像」を出力する。時刻「ｔ１００１」において、「ＬＶ用動画像」の読み出しが完了するとともに「ＩＦ＿Ａ３０５」からのデータ転送も完了する。この時、「ＬＶ用動画像」は、画像メモリ３０２に保存していない。このため、「ＬＶ用動画像」の読み出しのデータレートが「ＩＦ＿Ａ３０５」のみを用いて十分に送り切れる程度に小さいことが要求される。

【0058】

時刻「ｔ１００２」において、撮像素子１０７に対して垂直同期信号（ＶＤ）をアサートすると、撮像素子１０７は「静止画像」の読み出しを行う。また、読み出しを開始するとともに、画像メモリ３０２に「静止画像」の書き込みを開始する。それと同時に、画像メモリ３０２から画像を読み出し、縮小回路３０３への入力を開始する。このため、第３実施形態における画像メモリ３０２は、読み出しと書き込みとを同時に行える構成になっている。縮小回路３０３で縮小された「縮小静止画像」は、ＩＦコントローラー３０４を経由し「ＩＦ＿Ａ３０５」から出力される。この「縮小静止画」は、表示部１１２等で「ＬＶ用動画像」と同様に表示することができる。時刻「ｔ１００３」において、読み出しが完了する。それとともに画像メモリ３０２への書き込み、読み出し「ＩＦ＿Ａ３０５」からの「縮小静止画」の転送が完了する。

【0059】

時刻「ｔ１００４」において、撮像素子１０７に対して垂直同期信号（ＶＤ）をアサートすると、撮像素子１０７は「ＬＶ用動画像」の読み出しを行う。また、読み出しを開始するとともに、ＩＦコントローラー３０４を経由し「ＩＦ＿Ａ３０５」を使用して「ＬＶ用動画像」を出力する。また、それと同時に「ＩＦ＿Ｂ３０６」を用いて画像メモリ３０２に保存された「静止画像」の転送を開始する。このように、異なるＩＦを使用することによって、「静止画像」の転送と「ＬＶ用動画像」の転送を独立に行うことができる。「静止画像」の転送は、時刻「ｔ１００５」に完了するが、その間に複数回「ＬＶ用動画像」の転送が行われてもよい（本実施形態においては「ＩＦ＿Ａ３０５」を使用して２回の転送が行われている）。

【0060】

本実施形態の構成によれば、簡易な制御で「静止画像」と「ＬＶ用動画像」の転送を行うことができる。しかし前述のように、この構成は「ＬＶ用動画像」の読み出し帯域が「ＩＦ＿Ａ３０５」の帯域以下である時のみ使用できる。このため、例えば高解像度の「動画」の記録と「静止画」の記録を同時に行うために本発明を適用した場合、動画像の読み出し帯域が「ＩＦ＿Ａ３０５」の帯域を超える場合もある。その場合、第２実施形態で開示した方法を適用することによりデータ転送を行えば、制御は複雑になるが、「動画像」の記録を途切れさせない状態で「動画像」と「静止画像」の転送を行うことができる。そこで、第２実施形態で示した方法と、第３実施形態で示した方法は、撮像装置のモードによって切り替え可能になっていることが望ましい。

【0061】

本実施形態においては、「ＩＦ＿Ｂ３０６」と「ＩＦ＿Ａ３０５）」とを備え、「静止画像」（第１の画像データ）は「ＩＦ＿Ｂ３０６」を使用して送る。これとともに、「ＬＶ用動画像」、「縮小静止画像」は「ＩＦ＿Ａ３０５」を使用して送る「第２の送信モード」を有する。なお、「ＩＦ＿Ｂ３０６」、「ＩＦ＿Ａ３０５」は、第１のインターフェース、第２のインターフェースに対応する。また、第１のカメラモードと第２のカメラモードとを有し、第１のカメラモードにおいては、前述した「第１の送信モード」を使用し、第２のカメラモードにおいては「第２の送信モード」を使用する構成とすることもできる。

【0062】

以上、第３実施形態で説明した動作をさせることによって、単純な構成でライブビュー画像を中断させないまま「静止画像」を撮像素子１０７から送信できる。

【0063】

＜第４実施形態＞
図１１は、第４実施形態の「静止画」、「縮小静止画」、「ＬＶ画像」のデータ経路図の模式的な説明図である。図１１を参照して、「静止画像」、「ＬＶ用動画像」、「縮小静止画像」の各々がどのようなデータ経路を通って撮像素子１０７の外部に出力されるかを説明する。図１１（ａ）は「静止画像」が通るデータ経路を模式的に示したデータ経路図である。画素アレイ２０７から出力された画像は、ＡＤＣ２１３でデジタル値に変換され、画像メモリ３０２に蓄積される。その後、画像は画像メモリ３０２から読み出され、ＩＦコントローラー３０４を経由し「ＩＦ＿Ｂ３０６」を使用して出力される。

【0064】

＜第４実施形態：データ経路＞
図１１（ｂ）は「縮小静止画像」が通るデータ経路を模式的に示したデータ経路図である。画素アレイ２０７から読み出された「静止画像」は、ＡＤＣ２１３でデジタル値に変換され、縮小回路３０３に画像を入力される。縮小回路３０３においては、「静止画像」に対して縮小処理を行う。「縮小静止画」の画像はどのような解像度でも構わないことは第１実施形態で説明した通りである。縮小回路３０３で縮小された画像は、その後、ＩＦコントローラー３０４を経由し「ＩＦ＿Ａ３０５」を使用して出力される。

【0065】

図１１（ｃ）は「ＬＶ用動画像」が通るデータ経路を模式的に示したデータ経路図である。画素アレイ２０７から出力された「ＬＶ用動画像」は、ＡＤＣ２１３でデジタル値に変換され、ＩＦコントローラー３０４を経由し「ＩＦ＿Ａ３０５」を使用して出力される。つまり、図９（ｃ）のデータ経路図と同一となる。

【0066】

図１１に示すように、各画像の経路を設計することにより、「縮小静止画」を、画像メモリ３０２を経由しないで生成できる。このような構成を取った場合、「静止画」の読み出しレートのまま、縮小回路３０３にデータが入力される。このため、縮小回路３０３の回路規模が大きくなってしまう。しかしながら、その一方で、画像メモリ３０２は「静止画像」のためにしか使用されなくなる。その結果、画像メモリ３０２に対しするメモリサイズやアクセス速度等の要求が緩和される。例えば、本実施形態において、後述するように、画像メモリ３０２に対して書き込みと読み出しとを同時に行わなくても良くなる。

【0067】

＜第４実施形態：タイミングチャート＞
図１２は第４実施形態のタイミングチャートである。図１２を参照して、本実施形態における「動画」および「静止画」の撮影動作について説明する。「静止画像」の撮影開始は、例えばユーザーが操作部１１１に含まれる「静止画撮影開始釦」を押下操作してから一定時間以上経過したタイミングに設定することができる。なお、図中の「斜線」のうち「破線」は画素アレイ２０７に含まれる各単位画素２０６のリセット走査を表し、「実線」は画素アレイ２０７からの読み出しを表している。

【0068】

時刻「ｔ１２００」において、撮像素子１０７に対して垂直同期信号（ＶＤ）をアサートすると、撮像素子１０７は「ＬＶ用動画像」の読み出しを行う。また、読み出しを開始するとともに、ＩＦコントローラー３０４を経由し「ＩＦ＿Ａ３０５」を使用して「ＬＶ用動画像」を出力する。時刻「ｔ１２０１」において、「ＬＶ用動画像」の読み出しが完了するとともに、「ＩＦ＿Ａ３０５」からのデータ転送も完了する。この時、「ＬＶ用動画像」は画像メモリ３０２に保存されていない。このため、「ＬＶ用動画像」の読み出しのデータレートが「ＩＦ＿Ａ３０５」のみを用いて十分に送り切れる程度に小さいことが要求される。

【0069】

時刻「ｔ１２０２」において、撮像素子１０７に対して垂直同期信号（ＶＤ）をアサートすると、撮像素子１０７は「静止画像」の読み出しを行う。これと同時に、画像メモリ３０２への「静止画」の保存と、縮小回路３０３に対する「静止画像」の入力を開始する。この時、縮小回路３０３への入力は、画像メモリ３０２に一度保存したデータでは無い。このため、縮小回路３０３の処理可能レートは「静止画像」の読み出しレート以上になっている必要がある。また、本実施形態における画像メモリ３０２は、必ずしも読み出しと書き込みを同時に行える構成でなくても良い。縮小回路３０３で縮小された「縮小静止画像」は、ＩＦコントローラー３０４を経由し「ＩＦ＿Ａ３０５」から出力される。この「縮小静止画」は、表示部１１２などで「ＬＶ用動画像」と同様に表示することができる。そして、時刻「ｔ１２０３」において、読み出しが完了する。これとともに「ＩＦ＿Ａ３０５」からの「縮小静止画」の転送が完了する。

【0070】

時刻「ｔ１２０４」において、撮像素子１０７に対して垂直同期信号（ＶＤ）をアサートすると、撮像素子１０７は「ＬＶ用動画像」の読み出しを行う。また、読み出しを開始するとともに、ＩＦコントローラー３０４を経由し「ＩＦ＿Ａ３０５」を使用して「ＬＶ用動画像」を出力する。また、これと同時に、「ＩＦ＿Ｂ３０６」を用いて画像メモリ３０２に保存された「静止画像」の転送を開始する。このように、異なるＩＦを使用することにより、「静止画像」の転送と「ＬＶ用動画像」の転送を独立に行うことができる。「静止画像」の転送は、時刻「ｔ１２０５」に完了するが、その間に複数回の「ＬＶ用動画像」の転送が行われても良い。本実施形態においては、２回の転送が行われている。

【0071】

本実施形態によれば、行選択回路２１１（読み出し部）が、第１の解像度の「静止画像」（第１の画像データ）と第１の解像度よりも低解像度の第２の解像度の「動画像」（第２の画像データ）とを画素アレイ２０７から読み出す。読み出された「静止画像」は画像メモリ３０２に保存される。縮小回路３０３は、読み出した「静止画像」を第１の解像度よりも低い第３の解像度の「縮小静止画像」（第３の画像データ）に変換する。そして、「静止画像」を縮小回路３０３に入力すると同時に画像メモリ３０２にも書き込み、画像メモリ３０２から読み出して出力し、「縮小静止画像」」と「動画像」は画像メモリ３０２に書き込みことなく出力する。

【0072】

以上、第４実施形態で説明したように動作をさせることにより、「縮小静止画」の表示遅延も短縮させながら、ライブビュー画像を中断させない状態で「静止画像」を撮像素子１０７から送信できる。また、画像メモリ３０２の回路構成を簡素化することも可能である。

【0073】

＜第５実施形態＞
図１３は、本発明の第５実施形態の撮像装置の構成を示すブロック図である。図１との相違点は、撮像素子１０７の光軸方向の後部に撮像基板１３００が設けられている。撮像基板１３００には、撮像チップ１３０１とフロントエンド１３０２が搭載された基板である。フロントエンド１３０２には、表示部１３０３とＤＳＰ１０８とが接続されている。

【0074】

＜第５実施形態：データ経路＞
図１４は、第５実施形態におけるデータ経路を模式的に示したデータ経路図である。図１４を参照して、「静止画像」、「ＬＶ用動画像」、「縮小静止画像」の各々がどのようなデータ経路を通って撮像基板１３００の外部に出力されるかを説明する。図１４（ａ）は「静止画像」が通るデータ経路を模式的に示したデータ経路図である。画素アレイ２０７から出力された「静止画像」は、ＡＤＣ２１３でデジタル値に変換され、画像メモリ３０２に蓄積される。その後、「静止画像」は、画像メモリ３０２から読み出され、ＩＦコントローラー３０４を経由し「ＩＦ＿Ａ３０５」と「ＩＦ＿Ｂ３０６」とを使用して出力される。

【0075】

図１４（ｂ）は「縮小静止画像」が通るデータ経路を模式的に示したデータ経路図である。画素アレイ２０７から読み出された「静止画像」は、ＡＤＣ２１３でデジタル値に変換され、縮小回路３０３に入力される。縮小回路３０３は「静止画像」に対して縮小処理を行う。「縮小静止画」のどのような解像度でもかまわないが、本実施形態においては、「ＬＶ用動画像」と同程度の解像度まで縮小することが好ましい。縮小回路３０３で縮小された「縮小静止画像」は、その後、表示部ＩＦ１４００を介して表示部１３０３に出力される。このため、例えば水平方向しか縮小されない場合、表示部１３０３で垂直方向の縮小を行う必要がある。縮小回路３０３において、「縮小静止画」を「ＬＶ用動画像」と同一の解像度まで低下させることにより、表示部１３０３が画像縮小機能を備える必要がなくなる。

【0076】

図１４（ｃ）は「ＬＶ用動画像」が通るデータ経路を模式的に示したデータ経路図である。画素アレイ２０７から読み出された「ＬＶ用動画像」は、ＡＤＣ２１３でデジタル値に変換され、表示部ＩＦ１４００を介して表示部１３０３に出力される。図１４に示すように、各画像のパスを設計することにより、「縮小静止画」および「ＬＶ用動画像」をＤＳＰ１０８に送信しなくて済む。このような構成により、「ＩＦ＿Ａ３０５」および「ＩＦ＿Ｂ３０６」のデータ帯域を低くすることもできる。このように、インターフェースに要求されるデータ帯域を低くすることによって、インターフェースの回路規模を小型化でき消費電力や製造コストの低減を図れる。

【0077】

＜第５実施形態：タイミングチャート＞
図１５は第５実施形態のタイミングチャートである。図１５を参照して、本実施形態における「動画」および「静止画」の撮影動作について解説する。「静止画像」の撮影開始は、例えばユーザーが操作部１１１に含まれる「静止画撮影開始釦」を押下操作してから一定時間以上経過したタイミングに設定することができる。なお、図中の「斜線」のうち「破線」は画素アレイ２０７に含まれる各単位画素２０６のリセット走査を表し、「実線」は画素アレイ２０７からの読み出しを表している。

【0078】

時刻「ｔ１５００」において撮像基板１３００に対して垂直同期信号（ＶＤ）をアサートすると、撮像基板１３００は、「ＬＶ用動画像」の読み出しを行う。また、読み出しを開始するとともに、表示部ＩＦ１４００を経由し表示部１３０３に「ＬＶ用動画像」を出力する。時刻「ｔ１５０１」において、「ＬＶ用動画像」の読み出しが完了するとともに表示部ＩＦ１４００からのデータ転送も完了する。

【0079】

時刻「ｔ１５０２」において、撮像基板１３００に対して垂直同期信号（ＶＤ）をアサートすると、撮像基板１３００は「静止画像」の読み出しを行う。これと同時に、画像メモリ３０２への「静止画」の保存と、縮小回路３０３に「静止画像」の入力を開始する。この時、縮小回路３０３への入力は、画像メモリ３０２に一度保存したデータではない。このため、縮小回路３０３の処理可能レートは「静止画像」の読み出しレート以上になっている必要がある。また、本実施形態における画像メモリ３０２は、必ずしも読み出しと書き込みを同時に行える構成でなくてもよい。縮小回路３０３で縮小された「縮小静止画像」は、表示部ＩＦ１４００を介して表示部１３０３に出力される。この「縮小静止画」は、表示部１３０３で「ＬＶ用動画像」と同様に表示することができる。時刻「ｔ１５０３」で読み出しが完了し、それとともに表示部ＩＦ１４００を介しての「縮小静止画」の転送が完了する。

【0080】

時刻「ｔ１５０４」において、撮像基板１３００に対して垂直同期信号（ＶＤ）をアサートすると、撮像基板１３００は「ＬＶ用動画像」の読み出しを行う。また、読み出しを開始するとともに、ＩＦコントローラー３０４を経由して、表示部ＩＦ１４００を介して「ＬＶ用動画像」を出力する。また、これと同時に、「ＩＦ＿Ａ３０５」、「ＩＦ＿Ｂ３０６」を用いて画像メモリ３０２に保存された「静止画像」の転送を開始する。

【0081】

このように、表示部１３０３に表示する画像は、ＤＳＰ１０８に送信しない構成としている。これにより、「静止画像」の送信レートだけで「ＩＦ＿Ａ３０５」および「ＩＦ＿Ｂ３０６」のデータレートを決めることができる。ここでは、例えば、第４実施形態よりも帯域の低いＩＦを採用したと仮定し、時刻「ｔ１５０４」に開始された「静止画」のデータの転送は時刻「ｔ１５０５」で完了すると定義する。すると、時刻「ｔ１５０４」から時刻「ｔ１５０５」までの時間は、図１２に示した時刻「ｔ１２０４」から時刻「ｔ１２０５」までの時間よりも長くなる。

【0082】

本実施形態によれば、行選択回路２１１（読み出し部）が、第１の解像度の「静止画像」（第１の画像データ）と第１の解像度よりも低解像度の第２の解像度の「動画像」（第２の画像データ）とを画素アレイ２０７から読み出す。読み出された「静止画像」は画像メモリ３０２に保存される。縮小回路３０３は、読み出した「静止画像」を第１の解像度よりも低い第３の解像度の「縮小静止画像」（第３の画像データ）に変換する。そして、「静止画像」は表示部１３０３に表示せずにＤＳＰ１０８（画像処理部）に出力し、「ＬＶ用動画像」、「縮小静止画像」は、ＤＳＰ１０８には出力せずに表示部１３０３に表示する。

【0083】

以上、本実施形態で説明した構成を備えることにより、インターフェース部に求められる帯域性能を低下することができる。このため、回路規模、消費電力、製造コストのいずれも小さなインターフェースを採用可能となり、ライブビュー画像を中断させないまま「静止画像」の撮影を行うことができる撮像装置を提供できる。

【0084】

＜チップ構成のまとめ＞
図６（ａ）に示すように、画素アレイ２０７と縮小回路３０３（変換部）とは同一基板上（６００）に製造されることができる。また、図３に示すように、画素アレイ２０７と縮小回路３０３（変換部）とは別基板上（３００、３０１）に製造され積層されて単一チップ（１０９）に設けることもできる。また、図６（ｂ）に示すように、画素アレイ２０７と縮小回路３０３（変換部）とは同一基板上に製造され、別チップ（６０２、６０４）に設けることもできる。

【0085】

また、図６（ａ）に示すように、画素アレイ２０７と画像メモリ（メモリ）３０２とは同一半導体基板６００上に設けられることができる。図３に示すように、画素アレイ２０７と画像メモリ（メモリ）３０２とは別々の半導体基板３００、３０１上に設けられ、積層されて単一チップに設けられることもできる。また、図６に示すように、画素アレイ２０７と画像メモリ（メモリ）３０２とは同一基板６０１上に設けられ、別チップ（６０２、６０３）に設けることもできる。

【0086】

以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施の形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

【符号の説明】

【0087】

１ 撮像装置
１０８ ＤＳＰ
２００ フォトダイオード
２０７ 画素アレイ
２１１ 行選択回路
３０２ 画像メモリ
３０３ 縮小回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】