特許 5959194 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5959194

(24)【登録日】2016年7月1日

(45)【発行日】2016年8月2日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 5/225 20060101AFI20160719BHJP

   H04N 5/232 20060101ALI20160719BHJP

【ＦＩ】

   H04N5/225 B

   H04N5/232 Z

【請求項の数】16

【全頁数】38

(21)【出願番号】特願2011-286028(P2011-286028)

(22)【出願日】2011年12月27日

(65)【公開番号】特開2013-135409(P2013-135409A)

(43)【公開日】2013年7月8日

【審査請求日】2014年12月3日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100094400

【弁理士】

【氏名又は名称】鈴木 三義

(74)【代理人】

【識別番号】100086379

【弁理士】

【氏名又は名称】高柴 忠夫

(74)【代理人】

【識別番号】100129403

【弁理士】

【氏名又は名称】増井 裕士

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100161702

【弁理士】

【氏名又は名称】橋本 宏之

(72)【発明者】

【氏名】仙石 知行

(72)【発明者】

【氏名】田中 義信

(72)【発明者】

【氏名】梁田 崇志

(72)【発明者】

【氏名】上野 晃

【審査官】 榎 一

(56)【参考文献】

【文献】 特開２００５−２５２４８４（ＪＰ，Ａ）

【文献】 特開２００８−００５０４８（ＪＰ，Ａ）

【文献】 特開２００９−０２１９０９（ＪＰ，Ａ）

【文献】 特開平１０−２４３３４１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２〜２５７

(57)【特許請求の範囲】

【請求項1】

固体撮像装置から入力された画素信号に応じた画像データを、第１の画像データとして出力する画像データインターフェース部と、
データバスを介して、記憶部に記憶している画像データを読み出し、該読み出した画像データを、第２の画像データとして出力する画像データ読み出し部と、
前記第１の画像データに基づいた画像データと前記第２の画像データに基づいた画像データとを合成した第３の画像データを生成して出力する画像合成部と、
入力された画像データに基づいた評価値を生成する評価値生成部と、
前記第１の画像データに基づいた画像データ、前記第２の画像データに基づいた画像データ、または前記第３の画像データのいずれか１つの画像データを、前記評価値生成部に入力する画像データとして選択する第１の画像データ選択部と、
入力された画像データを、データバスを介して前記記憶部に記憶させる画像データ書き込み部と、
前記第１の画像データに基づいた画像データ、前記第２の画像データに基づいた画像データ、または前記第３の画像データのいずれか１つの画像データを、前記画像データ書き込み部に入力する画像データとして選択する第２の画像データ選択部と、
前記画像データ書き込み部によって前記記憶部に記憶された前記第３の画像データを、データバスを介して前記記憶部から読み出し、該読み出した前記第３の画像データに応じた画像を表示する表示部と、
入力された画像データに対して、予め定められた処理を行う第１の前処理部と、
入力された画像データに対して、予め定められた処理を行う第２の前処理部と、
を備え、
前記第１の前処理部は、
入力された前記第１の画像データまたは前記第２の画像データのいずれか一方の画像データに対して、予め定められた処理を行った画像データを、第４の画像データとして出力し、
前記第２の前処理部は、
入力された前記第１の画像データまたは前記第２の画像データのいずれか他方の画像データに対して、予め定められた処理を行った画像データを、第５の画像データとして出力し、
前記画像合成部は、
前記第４の画像データに基づいた画像データと前記第５の画像データとを合成した第３の画像データを生成し、
前記第１の画像データ選択部は、
前記第３の画像データ、前記第４の画像データ、または前記第５の画像データのいずれか１つの画像データを、前記評価値生成部に入力する画像データとして選択し、
前記第２の画像データ選択部は、
前記第３の画像データ、前記第４の画像データ、または前記第５の画像データのいずれか１つの画像データを、前記画像データ書き込み部に入力する画像データとして選択する、
ことを特徴とする撮像装置。

【請求項2】

前記画像データインターフェース部は、
前記表示部が画像の表示を更新する単位期間の間に、前記固体撮像装置から入力された画素信号に応じた複数の前記第１の画像データを順次出力し、
前記第２の画像データ選択部は、
前記表示部の前記単位期間が開始された後、前記画像データインターフェース部から最初に出力された前記第１の画像データに基づいた画像データを、前記画像データ書き込み部に入力する画像データとして選択し、
その後、前記表示部の前記単位期間が終了するまで、順次入力される前記第３の画像データを、前記画像データ書き込み部に入力する画像データとして選択し、
前記画像データ書き込み部は、
入力された最初の前記第１の画像データに基づいた画像データに引き続き、入力された前記第３の画像データを、前記記憶部に順次記憶させ、
前記画像データ読み出し部は、
前記記憶部に記憶されている最初の前記第１の画像データに基づいた画像データに引き続き、前記記憶部に記憶されている前記第３の画像データを、第２の画像データとして順次読み出し、
前記画像合成部は、
前記画像データインターフェース部から順次出力されてくる前記第１の画像データに基づいた画像データと、前記画像データ読み出し部によって読み出された前記第２の画像データに基づいた画像データとを順次合成した前記第３の画像データを順次出力し、
前記表示部は、
該表示部の前記単位期間を終了したときに、前記記憶部に記憶されている最後に前記画像合成部によって合成された前記第３の画像データに応じた画像を表示し、
前記第１の画像データ選択部は、
前記表示部の前記単位期間の間に、
前記画像データインターフェース部から順次出力されてくる前記第１の画像データに基づいた画像データ、前記画像データ読み出し部によって順次読み出される前記第２の画像データに基づいた画像データ、または前記画像合成部によって順次合成される前記第３の画像データのいずれか１つの画像データを、前記評価値生成部に入力する画像データとして順次選択し、
前記評価値生成部は、
順次入力される画像データに基づいて、評価値を順次生成する、
ことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記画像データインターフェース部と前記画像合成部との間に配置され、入力された画像データを、予め定められた大きさに縮小した第６の画像データを生成して出力する画像縮小部、
をさらに備える、
ことを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記画像縮小部は、
前記第１の前処理部と前記画像合成部との間に配置され、
前記第４の画像データを予め定められた大きさに縮小した前記第６の画像データを生成し、
前記画像合成部は、
前記第６の画像データと前記第５の画像データとを合成した第３の画像データを生成する、
ことを特徴とする請求項３に記載の撮像装置。

【請求項5】

前記画像縮小部は、
前記画像データインターフェース部と前記第１の前処理部との間に配置され、
前記第１の画像データを予め定められた大きさに縮小した前記第６の画像データを生成し、該生成した第６の画像データを、前記第１の前処理部および前記第２の前処理部に入力する前記第１の画像データとして出力し、
前記画像合成部は、
前記第４の画像データと前記第５の画像データとを合成した第３の画像データを生成する、
ことを特徴とする請求項３に記載の撮像装置。

【請求項6】

前記予め定められた大きさは、
前記表示部が表示することができる画像の大きさに応じた画像データの大きさである、
ことを特徴とする請求項４または請求項５に記載の撮像装置。

【請求項7】

前記予め定められた大きさは、
前記評価値生成部が有効な評価値を生成するために必要な画像データの大きさである、
ことを特徴とする請求項４または請求項５に記載の撮像装置。

【請求項8】

前記第２の画像データ選択部と前記画像データ書き込み部との間に配置され、前記第２の画像データ選択部が選択した画像データを、前記画像縮小部と異なる、予め定められた第２の大きさに縮小し、該縮小した画像データを前記画像データ書き込み部に入力する画像データとして出力する第２の画像縮小部と、
前記画像データ読み出し部の後段に配置され、該画像データ読み出し部によって読み出された前記第２の画像データを、前記画像縮小部が出力する前記第６の画像データと同じ大きさに拡大し、該拡大した画像データを、前記第１の前処理部および前記第２の前処理部に入力する前記第２の画像データとして出力する画像拡大部と、
をさらに備える、
ことを特徴とする請求項４または請求項５に記載の撮像装置。

【請求項9】

前記予め定められた大きさは、
前記評価値生成部が有効な評価値を生成するために必要な画像データの大きさであり、
前記予め定められた第２の大きさは、
前記表示部が表示することができる画像の大きさに応じた画像データの大きさである、
ことを特徴とする請求項８に記載の撮像装置。

【請求項10】

前記画像合成部は、
前記表示部の前記単位期間が開始された後、前記画像縮小部に最初に入力された画像データに応じた前記第６の画像データに基づいた画像データを、前記第３の画像データとして出力し、
その後、前記表示部の前記単位期間が終了するまで、前記画像縮小部から順次入力される前記第６の画像データに基づいた画像データと、前記画像データ読み出し部によって順次読み出された前記第２の画像データに基づいた画像データとを、順次合成した前記第３の画像データを順次出力し、
前記第２の画像データ選択部は、
前記表示部の前記単位期間の間、順次入力される前記第３の画像データを、前記画像データ書き込み部に入力する画像データとして選択する、
ことを特徴とする請求項４から請求項９のいずれか１の項に記載の撮像装置。

【請求項11】

前記第１の前処理部は、
入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの処理部であり、
前記第２の前処理部は、
入力された画像データを、予め定められた時間だけ遅延させて出力する処理を行う、少なくとも１つの遅延部である、
ことを特徴とする請求項１０に記載の撮像装置。

【請求項12】

前記予め定められた時間は、
前記第１の前処理部に画像データが入力されてから、前記予め定められた補正処理を行って出力するまでの遅延時間と同じ時間である、
ことを特徴とする請求項１１に記載の撮像装置。

【請求項13】

前記第１の前処理部は、
入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの第１の処理部であり、
前記第２の前処理部は、
入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの第２の処理部である、
ことを特徴とする請求項１０に記載の撮像装置。

【請求項14】

前記評価値生成部が、前記固体撮像装置から入力された画素信号に応じた画像データに基づいた評価値を生成する場合、
前記第１の画像データ選択部は、
前記第１の画像データに基づいた前記第４の画像データまたは前記第５の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択し、
前記評価値生成部が、前記記憶部に記憶している画像データに基づいた評価値を生成する場合、
前記第１の画像データ選択部は、
前記第２の画像データに基づいた前記第４の画像データまたは前記第５の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択し、
前記評価値生成部が、前記第３の画像データに基づいた評価値を生成する場合、
前記第１の画像データ選択部は、
前記第３の画像データを、前記評価値生成部に入力する画像データとして選択する、
ことを特徴とする請求項１２または請求項１３に記載の撮像装置。

【請求項15】

当該撮像装置は、
複数の前記評価値生成部と、
複数の前記評価値生成部のそれぞれに対応した複数の前記第１の画像データ選択部と、
を備え、
それぞれの前記第１の画像データ選択部は、
対応する前記評価値生成部が評価値を生成する際に用いる、前記第３の画像データ、前記第１の画像データまたは前記第２の画像データのいずれか一方に基づいた前記第４の画像データ、前記第１の画像データまたは前記第２の画像データのいずれか一方に基づいた前記第５の画像データのいずれか１つの画像データを、対応する前記評価値生成部に入力する画像データとして選択する、
ことを特徴とする請求項１４に記載の撮像装置。

【請求項16】

少なくとも１つの前記第１の画像データ選択部は、
対応する前記評価値生成部が評価値を生成する際に用いる、前記第１の画像データまたは前記第２の画像データのいずれか一方に基づいた前記第４の画像データまたは前記第５の画像データのいずれか一方の画像データを、対応する前記評価値生成部に入力する画像データとして選択し、
少なくとも別の１つの前記第１の画像データ選択部は、
対応する前記評価値生成部が評価値を生成する際に用いる、前記第１の画像データまたは前記第２の画像データのいずれか他方に基づいた前記第４の画像データまたは前記第５の画像データのいずれか他方の画像データ、または前記第３の画像データを、対応する前記評価値生成部に入力する画像データとして選択する、
ことを特徴とする請求項１５に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関する。

【背景技術】

【0002】

近年のデジタルカメラなどの撮像装置には、自動焦点（Ａｕｔｏ Ｆｏｃｕｓ：ＡＦ）の機能が搭載されている。従来の撮像装置においてＡＦの機能を実現する方法としては、固体撮像装置（以下、「イメージセンサ」という）から出力される画素信号に基づいてフォーカスレンズの位置を一定方向に順次移動することによって被写体への合焦位置を検出する山登り制御を用いた、いわゆる、イメージャＡＦが知られている。イメージャＡＦでは、イメージセンサからリアルタイムに出力される画素信号に基づいて、ＡＦの制御を行うためのＡＦ評価値を生成し、生成したＡＦ評価値に基づいて、フォーカスレンズの位置を制御している（特許文献１参照）。

【0003】

図９は、従来の撮像装置の概略構成を示したブロック図である。図９において、撮像装置は、イメージセンサと、撮像処理部と、画像処理部と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）コントローラと、ＤＲＡＭと、表示処理部と、表示デバイスと、ＣＰＵと、を備えている。そして、撮像装置に備えた撮像処理部、画像処理部、表示処理部、ＣＰＵ、およびＤＲＡＭコントローラは、共通のデータバスに接続され、それぞれの構成要素が処理を行う際のデータの受け渡しを、データバスを介して行っている。また、図９には、撮像処理部内の概略構成も併せて示している。図９において撮像処理部は、撮像ＩＦ（インターフェース）部と、前処理部と、ＡＥ評価値生成部と、ＡＷＢ評価値生成部と、ＡＦ評価値生成部と、出力ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）部と、を備えている。

【0004】

図９に示した従来の撮像装置では、撮像ＩＦ部が、イメージセンサから画素信号を取り込み、取り込んだ画素信号を画像データとして前処理部に出力する。前処理部は、撮像ＩＦ部から入力された画像データに様々な処理を施す。図９には、それぞれの処理を行う処理部を３つ備えた前処理部の一例を示している。前処理部は、それぞれの処理部が順次処理を施した最終の画像データを、ＡＥ評価値生成部、ＡＷＢ評価値生成部、ＡＦ評価値生成部、および出力ＤＭＡ部のそれぞれに出力する。

【0005】

出力ＤＭＡ部は、前処理部から入力された画像データを、ＤＲＡＭコントローラを介してＤＲＡＭに格納する。ここでＤＲＡＭに格納された画像データが、後に、画像処理部によって画像処理される元の画像データになる。

【0006】

また、ＡＦ評価値生成部は、前処理部から入力された画像データに基づいて、ＡＦ評価値を生成する。ＡＦ評価値生成部は、生成したＡＦ評価値を、ＤＲＡＭコントローラを介してＤＲＡＭに格納する。ＣＰＵは、ＤＲＡＭに格納されているＡＦ評価値を用いて、従来の撮像装置におけるＡＦの制御、すなわち、フォーカスレンズの位置の制御を行う。

【0007】

また、ＡＥ評価値生成部およびＡＷＢ評価値生成部は、従来の撮像装置におけるＡＦ以外の撮影に関する制御として、自動露出（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ：ＡＥ）およびオートホワイトバランス（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ：ＡＷＢ）などの制御を行うための評価値を生成する評価値生成部である。ＡＥ評価値生成部およびＡＷＢ評価値生成部のそれぞれは、ＡＦ評価値生成部と同様に、前処理部から入力された画像データに基づいて、ＡＥ評価値およびＡＷＢ評価値をそれぞれ生成し、生成したＡＥ評価値およびＡＷＢ評価値を、ＤＲＡＭコントローラを介してＤＲＡＭに格納する。ＣＰＵは、ＤＲＡＭに格納されているＡＥ評価値およびＡＷＢ評価値を用いて、従来の撮像装置におけるＡＥおよびＡＷＢの制御を行う。

【0008】

なお、ＡＦ評価値生成部、ＡＥ評価値生成部、およびＡＷＢ評価値生成部のそれぞれが、生成したＡＦ評価値、ＡＥ評価値、およびＡＷＢ評価値をＤＲＡＭに格納せず、生成した評価値を、それぞれの評価値生成部内のレジスタに保持する構成の場合もある。このような構成の場合には、ＣＰＵは、それぞれの評価値生成部から評価値の生成が完了したことを表す通知を受け取った後に、それぞれの評価値生成部内のレジスタに保持しているそれぞれの評価値を読み出し、読み出したそれぞれの評価値を用いて、撮像装置におけるＡＦ、ＡＥ、およびＡＷＢの制御を行う。

【0009】

このような構成によって、従来の撮像装置では、イメージセンサから画素信号を取り込む毎に、ＡＦ評価値、ＡＥ評価値、およびＡＷＢ評価値を生成し、撮像装置における撮影に関する制御を行っている。

【0010】

また、従来の撮像装置においては、ＡＦ機能の高速化、すなわち、合焦速度の高速化の要望がある。このため、従来のイメージャＡＦを搭載した撮像装置では、合焦速度の高速化を実現するための方法として、イメージセンサから画素信号を読み出す速度を高速化する、すなわち、フレームレートを高める方法が採用されている。これは、イメージセンサから画素信号を取り込む毎に、すなわち、撮像したフレーム毎に１つ得られるＡＦ評価値を、フレームレートを高くすることによって、より多く得ようとするものである。

【0011】

しかし、イメージセンサから取り込んだ各フレームの画素信号は、ＡＦ評価値などの、撮像装置における撮影に関する制御のみに利用されているものではない。例えば、従来の撮像装置には、撮影する被写体を確認するための動画を、撮像装置に搭載されたＴＦＴ（薄膜トランジスター：Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）液晶ディスプレイやＥＶＦ（電子ビューファインダ：Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）などの表示デバイスに表示させる、いわゆる、ライブビュー機能が搭載されている。このライブビュー機能では、イメージセンサから取り込んだ各フレームの画素信号から表示デバイスに表示するための各フレームの画像データを生成し、各フレームの画像データを、フレーム毎に順次表示デバイスに表示している。

【0012】

ところが、ＴＦＴやＥＶＦなどの表示デバイスでは、画像を表示することができるフレームレートが、それぞれの表示デバイス毎に決まっている。このため、合焦速度を高速化するために、単純にイメージセンサから画素信号を取り込むフレームレートを高めたのでは、イメージセンサのフレームレートと、表示デバイスのフレームレートとの整合が取れなくなってしまう。

【0013】

図１０は、従来の撮像装置に備えたイメージセンサと表示デバイスとの概略のタイミングの一例を示したタイミングチャートである。以下の説明においては、イメージセンサのフレームレートと表示デバイスのフレームレートとを区別するため、イメージセンサから画素信号を取り込むフレームレートを「撮像フレームレート」といい、表示デバイスが画像を表示するフレームレートを「表示フレームレート」という。図１０は、イメージセンサの撮像フレームレートが１２０ｆｐｓ（フレーム／秒）であり、表示デバイスの表示フレームレートが６０ｆｐｓである場合における、イメージセンサから取り込んだ画素信号に応じた画像データである撮像画像と、表示デバイスに表示する画像データである表示画像とのタイミングの関係を示している。

【0014】

図１０において、「イメージセンサの垂直同期信号」は、イメージセンサから各フレームの画素信号の取り込みを開始するタイミングを表す信号であり、「表示デバイスの垂直同期信号」は、表示デバイスが各フレームの画像の表示を開始するタイミングを表す信号である。また、図１０において、「ＡＦ処理」の期間は、撮像画像に基づいて撮像装置に備えたＡＦ評価値生成部がＡＦ評価値を生成する期間である。なお、図１０では、撮像画像と表示画像とのタイミングの関係の比較を容易にするため、「イメージセンサの垂直同期信号」のタイミングと「表示デバイスの垂直同期信号」のタイミングとが同期している場合を示している。

【0015】

従来の撮像装置においてイメージセンサの撮像フレームレートと表示デバイスの表示フレームレートとが異なる場合には、図１０に示したように、撮像画像を間引いて表示デバイスに表示する方法が採用されている。図１０では、表示フレームレートが撮像フレームレートの半分であるため、フレーム単位で半分に間引いた撮像画像を、表示画像としている。しかしながら、このような方法によって表示デバイスに順次表示される表示画像では、画像の情報が半分になっているため、例えば、被写体の動きがカクカクするなど、被写体の動きが断続的で不自然な表示になってしまう。このような状態の表示画像では、撮像装置の使用者（ユーザ）が快適に被写体の動きを視認することができない。

【0016】

このような、不自然な表示を緩和するための方法として、撮像画像を合成した画像を表示することが考えられる。この考え方については、特許文献１に開示されている。しかしながら、特許文献１には、撮像画像を合成するための方法に関する詳細な技術が開示されていない。

【0017】

また、合成した画像を表示するための技術として、例えば、特許文献２や特許文献３のような技術が開示されている。特許文献２および特許文献３で開示された技術では、表示デバイスに表示する表示フレームレートに応じて、合成する撮像画像のフレーム数を可変にしている。

【先行技術文献】

【特許文献】

【0018】

【特許文献1】特開２００５−２５２４８４号公報

【特許文献2】特開２００５−３９７１０号公報

【特許文献3】特開２００７−３３６５９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0019】

しかしながら、特許文献１、および特許文献２や特許文献３で開示された、撮像画像を合成する技術を適用することができる撮像装置には、その構成に制限があり、画像合成の処理を行う処理部と、次の処理を行う処理部または表示の処理を行う処理部とが直接接続されている、すなわち、画像合成の処理を行う処理部によって合成された画像データが、直接次の処理部に入力される構成の撮像装置でなければならない。このため、図９に示したような、共通のデータバスを介して各構成要素が画像データの受け渡しを行う構成の撮像装置には、特許文献１、および特許文献２や特許文献３で開示された、撮像画像を合成する技術を適用することができない、という問題がある。

【0020】

本発明は、上記の課題認識に基づいてなされたものであり、共通のバスに接続された各構成要素が、バスを介してデータの受け渡しを行う構成の撮像装置において、撮影に関する制御を行うための評価値を生成しながら、撮影する被写体を確認するための良好な動画を表示することができる撮像装置を提供することを目的としている。

【課題を解決するための手段】

【0021】

上記の課題を解決するため、本発明の撮像装置は、固体撮像装置から入力された画素信号に応じた画像データを、第１の画像データとして出力する画像データインターフェース部と、データバスを介して、記憶部に記憶している画像データを読み出し、該読み出した画像データを、第２の画像データとして出力する画像データ読み出し部と、前記第１の画像データに基づいた画像データと前記第２の画像データに基づいた画像データとを合成した第３の画像データを生成して出力する画像合成部と、入力された画像データに基づいた評価値を生成する評価値生成部と、前記第１の画像データに基づいた画像データ、前記第２の画像データに基づいた画像データ、または前記第３の画像データのいずれか１つの画像データを、前記評価値生成部に入力する画像データとして選択する第１の画像データ選択部と、入力された画像データを、データバスを介して前記記憶部に記憶させる画像データ書き込み部と、前記第１の画像データに基づいた画像データ、前記第２の画像データに基づいた画像データ、または前記第３の画像データのいずれか１つの画像データを、前記画像データ書き込み部に入力する画像データとして選択する第２の画像データ選択部と、前記画像データ書き込み部によって前記記憶部に記憶された前記第３の画像データを、データバスを介して前記記憶部から読み出し、該読み出した前記第３の画像データに応じた画像を表示する表示部と、入力された画像データに対して、予め定められた処理を行う第１の前処理部と、入力された画像データに対して、予め定められた処理を行う第２の前処理部と、を備え、前記第１の前処理部は、入力された前記第１の画像データまたは前記第２の画像データのいずれか一方の画像データに対して、予め定められた処理を行った画像データを、第４の画像データとして出力し、前記第２の前処理部は、入力された前記第１の画像データまたは前記第２の画像データのいずれか他方の画像データに対して、予め定められた処理を行った画像データを、第５の画像データとして出力し、前記画像合成部は、前記第４の画像データに基づいた画像データと前記第５の画像データとを合成した第３の画像データを生成し、前記第１の画像データ選択部は、前記第３の画像データ、前記第４の画像データ、または前記第５の画像データのいずれか１つの画像データを、前記評価値生成部に入力する画像データとして選択し、前記第２の画像データ選択部は、前記第３の画像データ、前記第４の画像データ、または前記第５の画像データのいずれか１つの画像データを、前記画像データ書き込み部に入力する画像データとして選択する、ことを特徴とする。

【0022】

また、本発明の前記画像データインターフェース部は、前記表示部が画像の表示を更新する単位期間の間に、前記固体撮像装置から入力された画素信号に応じた複数の前記第１の画像データを順次出力し、前記第２の画像データ選択部は、前記表示部の前記単位期間が開始された後、前記画像データインターフェース部から最初に出力された前記第１の画像データに基づいた画像データを、前記画像データ書き込み部に入力する画像データとして選択し、その後、前記表示部の前記単位期間が終了するまで、順次入力される前記第３の画像データを、前記画像データ書き込み部に入力する画像データとして選択し、前記画像データ書き込み部は、入力された最初の前記第１の画像データに基づいた画像データに引き続き、入力された前記第３の画像データを、前記記憶部に順次記憶させ、前記画像データ読み出し部は、前記記憶部に記憶されている最初の前記第１の画像データに基づいた画像データに引き続き、前記記憶部に記憶されている前記第３の画像データを、第２の画像データとして順次読み出し、前記画像合成部は、前記画像データインターフェース部から順次出力されてくる前記第１の画像データに基づいた画像データと、前記画像データ読み出し部によって読み出された前記第２の画像データに基づいた画像データとを順次合成した前記第３の画像データを順次出力し、前記表示部は、該表示部の前記単位期間を終了したときに、前記記憶部に記憶されている最後に前記画像合成部によって合成された前記第３の画像データに応じた画像を表示し、前記第１の画像データ選択部は、前記表示部の前記単位期間の間に、前記画像データインターフェース部から順次出力されてくる前記第１の画像データに基づいた画像データ、前記画像データ読み出し部によって順次読み出される前記第２の画像データに基づいた画像データ、または前記画像合成部によって順次合成される前記第３の画像データのいずれか１つの画像データを、前記評価値生成部に入力する画像データとして順次選択し、前記評価値生成部は、順次入力される画像データに基づいて、評価値を順次生成する、ことを特徴とする。

【0024】

また、本発明の撮像装置は、前記画像データインターフェース部と前記画像合成部との間に配置され、入力された画像データを、予め定められた大きさに縮小した第６の画像データを生成して出力する画像縮小部、をさらに備える、ことを特徴とする。

【0025】

また、本発明の前記画像縮小部は、前記第１の前処理部と前記画像合成部との間に配置され、前記第４の画像データを予め定められた大きさに縮小した前記第６の画像データを生成し、前記画像合成部は、前記第６の画像データと前記第５の画像データとを合成した第３の画像データを生成する、ことを特徴とする。

【0026】

また、本発明の前記画像縮小部は、前記画像データインターフェース部と前記第１の前処理部との間に配置され、前記第１の画像データを予め定められた大きさに縮小した前記第６の画像データを生成し、該生成した第６の画像データを、前記第１の前処理部および前記第２の前処理部に入力する前記第１の画像データとして出力し、前記画像合成部は、前記第４の画像データと前記第５の画像データとを合成した第３の画像データを生成する、ことを特徴とする。

【0027】

また、本発明の撮像装置における前記予め定められた大きさは、前記表示部が表示することができる画像の大きさに応じた画像データの大きさである、ことを特徴とする。

【0028】

また、本発明の撮像装置における前記予め定められた大きさは、前記評価値生成部が有効な評価値を生成するために必要な画像データの大きさである、ことを特徴とする。

【0029】

また、本発明の撮像装置は、前記第２の画像データ選択部と前記画像データ書き込み部との間に配置され、前記第２の画像データ選択部が選択した画像データを、前記画像縮小部と異なる、予め定められた第２の大きさに縮小し、該縮小した画像データを前記画像データ書き込み部に入力する画像データとして出力する第２の画像縮小部と、前記画像データ読み出し部の後段に配置され、該画像データ読み出し部によって読み出された前記第２の画像データを、前記画像縮小部が出力する前記第６の画像データと同じ大きさに拡大し、該拡大した画像データを、前記第１の前処理部および前記第２の前処理部に入力する前記第２の画像データとして出力する画像拡大部と、をさらに備える、ことを特徴とする。

【0030】

また、本発明の撮像装置における前記予め定められた大きさは、前記評価値生成部が有効な評価値を生成するために必要な画像データの大きさであり、前記予め定められた第２の大きさは、前記表示部が表示することができる画像の大きさに応じた画像データの大きさである、ことを特徴とする。

【0031】

また、本発明の前記画像合成部は、前記表示部の前記単位期間が開始された後、前記画像縮小部に最初に入力された画像データに応じた前記第６の画像データに基づいた画像データを、前記第３の画像データとして出力し、その後、前記表示部の前記単位期間が終了するまで、前記画像縮小部から順次入力される前記第６の画像データに基づいた画像データと、前記画像データ読み出し部によって順次読み出された前記第２の画像データに基づいた画像データとを、順次合成した前記第３の画像データを順次出力し、前記第２の画像データ選択部は、前記表示部の前記単位期間の間、順次入力される前記第３の画像データを、前記画像データ書き込み部に入力する画像データとして選択する、ことを特徴とする。

【0032】

また、本発明の前記第１の前処理部は、入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの処理部であり、前記第２の前処理部は、入力された画像データを、予め定められた時間だけ遅延させて出力する処理を行う、少なくとも１つの遅延部である、ことを特徴とする。

【0033】

また、本発明の撮像装置における前記予め定められた時間は、前記第１の前処理部に画像データが入力されてから、前記予め定められた補正処理を行って出力するまでの遅延時間と同じ時間である、ことを特徴とする。

【0034】

また、本発明の前記第１の前処理部は、入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの第１の処理部であり、前記第２の前処理部は、入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの第２の処理部である、ことを特徴とする。

【0035】

また、本発明の撮像装置において、前記評価値生成部が、前記固体撮像装置から入力された画素信号に応じた画像データに基づいた評価値を生成する場合、前記第１の画像データ選択部は、前記第１の画像データに基づいた前記第４の画像データまたは前記第５の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択し、前記評価値生成部が、前記記憶部に記憶している画像データに基づいた評価値を生成する場合、前記第１の画像データ選択部は、前記第２の画像データに基づいた前記第４の画像データまたは前記第５の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択し、前記評価値生成部が、前記第３の画像データに基づいた評価値を生成する場合、前記第１の画像データ選択部は、前記第３の画像データを、前記評価値生成部に入力する画像データとして選択する、ことを特徴とする。

【0036】

また、本発明の撮像装置において、当該撮像装置は、複数の前記評価値生成部と、複数の前記評価値生成部のそれぞれに対応した複数の前記第１の画像データ選択部と、を備え、それぞれの前記第１の画像データ選択部は、対応する前記評価値生成部が評価値を生成する際に用いる、前記第３の画像データ、前記第１の画像データまたは前記第２の画像データのいずれか一方に基づいた前記第４の画像データ、前記第１の画像データまたは前記第２の画像データのいずれか一方に基づいた前記第５の画像データのいずれか１つの画像データを、対応する前記評価値生成部に入力する画像データとして選択する、ことを特徴とする。

【0037】

また、本発明の撮像装置において、少なくとも１つの前記第１の画像データ選択部は、対応する前記評価値生成部が評価値を生成する際に用いる、前記第１の画像データまたは前記第２の画像データのいずれか一方に基づいた前記第４の画像データまたは前記第５の画像データのいずれか一方の画像データを、対応する前記評価値生成部に入力する画像データとして選択し、少なくとも別の１つの前記第１の画像データ選択部は、対応する前記評価値生成部が評価値を生成する際に用いる、前記第１の画像データまたは前記第２の画像データのいずれか他方に基づいた前記第４の画像データまたは前記第５の画像データのいずれか他方の画像データ、または前記第３の画像データを、対応する前記評価値生成部に入力する画像データとして選択する、ことを特徴とする。

【発明の効果】

【0038】

本発明によれば、共通のバスに接続された各構成要素が、バスを介してデータの受け渡しを行う構成の撮像装置において、撮影に関する制御を行うための評価値を生成しながら、撮影する被写体を確認するための良好な動画を表示することができるという効果が得られる。

【図面の簡単な説明】

【0039】

【図1】本発明の第１の実施形態における撮像装置の概略構成を示したブロック図である。

【図2】本第１の実施形態の撮像装置による評価値生成および画像表示の動作の一例を模式的に示した図である。

【図3】本第１の実施形態の撮像装置に備えたイメージセンサと表示デバイスとの概略のタイミングの一例を示したタイミングチャートである。

【図4】本第１の実施形態の撮像装置において、画像を表示する際のバス帯域の一例を模式的に示した図である。

【図5】本発明の第２の実施形態における撮像装置の概略構成を示したブロック図である。

【図6】本第２の実施形態の撮像装置による評価値生成および画像表示の動作と、画像データの大きさとの一例を模式的に示した図である。

【図7】本第２の実施形態における撮像装置の別の概略構成を示したブロック図である。

【図8】本第２の実施形態における撮像装置のさらに別の概略構成を示したブロック図である。

【図9】従来の撮像装置の概略構成を示したブロック図である。

【図10】従来の撮像装置に備えたイメージセンサと表示デバイスとの概略のタイミングの一例を示したタイミングチャートである。

【発明を実施するための形態】

【0040】

＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本第１の実施形態における撮像装置の概略構成を示したブロック図である。図１に示した撮像装置１０は、イメージセンサ１００と、撮像処理部２００と、画像処理部３００と、表示処理部４００と、表示デバイス４０１と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）コントローラ５００と、ＤＲＡＭ５０１と、ＣＰＵ６００と、を備えている。

【0041】

撮像装置１０内の撮像処理部２００と、画像処理部３００と、表示処理部４００と、ＤＲＡＭコントローラ５００と、ＣＰＵ６００とは、データバス７００を介してそれぞれ接続され、例えば、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）によってＤＲＡＭコントローラ５００に接続されたＤＲＡＭ５０１からのデータの読み出し、およびＤＲＡＭ５０１へのデータの書き込みを行う。

【0042】

図１に示した撮像装置１０は、図９に示した従来の撮像装置と同様の構成要素を備えている。ただし、撮像装置１０では、撮像処理部２００の構成が、従来の撮像装置に備えた撮像処理部の構成と異なる。図１には、従来の撮像装置と異なる構成の撮像処理部２００に注目し、その撮像処理部２００の概略構成も併せて示している。

【0043】

撮像装置１０に備えた撮像処理部２００は、撮像ＩＦ（インターフェース）部２１０と、前処理部２２０と、セレクタ２３０と、ＡＥ評価値生成部２３１と、セレクタ２４０と、ＡＷＢ評価値生成部２４１と、セレクタ２５０と、ＡＦ評価値生成部２５１と、セレクタ２６０と、出力ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）部２６１と、入力ＤＭＡ部２７０と、を備えている。

【0044】

イメージセンサ１００は、図示しないズームレンズによって結像された被写体の光学像を光電変換するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）イメージセンサに代表されるイメージセンサである。

【0045】

イメージセンサ１００には、例えば、ベイヤー配列のカラーフィルタが、撮像面に貼付されている。イメージセンサ１００は、被写体光に応じた各色（例えば、Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画素信号を、撮像処理部２００に出力する。なお、イメージセンサ１００の構成や動作は、例えば、図９に示した従来の撮像装置に備えたイメージセンサの構成や動作と同様であるため、詳細な説明は省略する。

【0046】

撮像処理部２００は、イメージセンサ１００から入力された画素信号に各種の処理を施し、撮像装置１０における撮影に関する制御（ＡＥ、ＡＷＢ、およびＡＦの制御）を行うための評価値を生成する。また、撮像処理部２００は、イメージセンサ１００から入力された画素信号に応じた画像データ（以下、「撮像画像」ともいう）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する（記憶する）。

【0047】

また、撮像処理部２００は、ＤＲＡＭ５０１に格納されている画像データ（撮像画像）を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した画像データに基づいて、撮像装置１０における撮影に関する制御（ＡＥ、ＡＷＢ、およびＡＦの制御）を行うための評価値を生成する。

【0048】

また、撮像処理部２００は、イメージセンサ１００から入力された画素信号に応じた画像データ（現在のフレームの撮像画像）と、ＤＲＡＭコントローラ５００を介して取得した（読み出した）画像データ（以前のフレームの撮像画像）とを合成し、合成した画像データに基づいて、撮像装置１０における撮影に関する制御（ＡＥ、ＡＷＢ、およびＡＦの制御）を行うための評価値を生成する。また、撮像処理部２００は、合成した画像データを、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する（記憶する）。

【0049】

撮像ＩＦ部２１０は、イメージセンサ１００から入力された画素信号を取り込み、取り込んだ画素信号を画像データ（現在のフレームの撮像画像）として前処理部２２０に出力する。撮像ＩＦ部２１０は、画像データを前処理部２２０に出力する際、イメージセンサ１００から入力された各色の画素信号のデータを、以降の処理に使用する画素の色の順番に並べ替える、並べ替え処理などを行う。また、撮像ＩＦ部２１０は、イメージセンサ１００が差動インターフェースによって画素信号を出力するイメージセンサである場合には、例えば、ＬＶＤＳ（Ｌｏｗ ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ）の終端の処理なども行う。なお、撮像ＩＦ部２１０の構成や動作は、例えば、図９に示した従来の撮像装置に備えた撮像ＩＦ部の構成や動作と同様であるため、詳細な説明は省略する。

【0050】

前処理部２２０は、撮像ＩＦ部２１０から入力された画像データに対して、キズ補正やシェーディング補正などの様々な前処理を施し、処理した結果の画像データ（以下、「前処理画像データ」という）を、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。

【0051】

また、前処理部２２０は、入力ＤＭＡ部２７０から入力された画像データを予め定めた時間だけ遅らせた画像データ（以下、「遅延画像データ」という）を、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。

【0052】

また、前処理部２２０は、前処理画像データと遅延画像データとを合成し、合成した画像データ（以下、「合成画像データ」という）を、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。

【0053】

図１に示したように、前処理部２２０は、セレクタ２２１と、３つの処理部２２２ａ〜２２２ｃと、３つのディレイ部２２３ａ〜２２３ｃと、合成部２２４と、を備えている。図１には、図９に示した従来の撮像装置に備えた前処理部と同様に、それぞれの処理を順次行う３つの処理部２２２ａ〜２２２ｃを備えた前処理部２２０の一例を示している。

【0054】

セレクタ２２１は、撮像ＩＦ部２１０から入力された画像データ（現在のフレームの撮像画像）、および入力ＤＭＡ部２７０から入力された画像データ（以前のフレームの撮像画像）の出力先を選択する。より具体的には、セレクタ２２１は、撮像ＩＦ部２１０から入力された画像データを、処理部２２２ａまたはディレイ部２２３ａのいずれか一方に出力する。また、セレクタ２２１は、入力ＤＭＡ部２７０から入力された画像データを、処理部２２２ａまたはディレイ部２２３ａのいずれか一方に出力する。

【0055】

処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して、予め定められたそれぞれの処理（補正処理）を行う。例えば、処理部２２２ａは、入力された画像データに対して、キズ補正の処理を行う。また、例えば、処理部２２２ｂは、処理部２２２ａから入力されたキズ補正処理後の画像データに対して、シェーディング補正の処理を行う。

【0056】

このようにして、処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して、予め定められた処理（補正処理）を順次行う。そして、処理部２２２ｃが処理（補正処理）した後の画像データを、前処理画像データとして、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。また、前処理画像データは、合成部２２４にも出力される。なお、処理部２２２ａ〜２２２ｃのそれぞれの構成や動作は、例えば、図９に示した従来の撮像装置に備えた３つの処理部の構成や動作と同様であるため、詳細な説明は省略する。

【0057】

ディレイ部２２３ａ〜２２３ｃのそれぞれは、処理部２２２ａ〜２２２ｃのそれぞれに対応し、入力された画像データを、処理部２２２ａ〜２２２ｃのそれぞれの入力から出力までの遅延時間と同じ時間だけ遅らせて出力する。例えば、ディレイ部２２３ａは、入力された画像データを、処理部２２２ａのキズ補正の処理によって遅れる遅延時間（処理時間）と同じ時間だけ遅らせて出力する。また、例えば、ディレイ部２２３ｂは、ディレイ部２２３ａによって遅らされた画像データを、処理部２２２ｂのシェーディング補正の処理によって遅れる遅延時間（処理時間）と同じ時間だけ遅らせて出力する。

【0058】

このようにして、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された画像データを、対応する処理部の遅延時間（処理時間）と同じ時間だけ順次遅らせて出力する。そして、ディレイ部２２３ｃが遅らせた後の画像データを、遅延画像データとして、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。また、遅延画像データは、合成部２２４にも出力される。

【0059】

合成部２２４は、入力された前処理画像データと遅延画像データとを合成した合成画像データを生成する。合成部２２４が合成画像データを生成する際、合成部２２４は、入力された前処理画像データと遅延画像データとに対して、例えば、加算処理、減算処理、重み付け加算処理、加算平均処理などの合成処理を施して合成画像データを生成する。そして、合成部２２４は、生成した合成画像データを、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。

【0060】

セレクタ２３０は、前処理部２２０から入力された前処理画像データ、遅延画像データ、または合成画像データのいずれか１つの画像データを選択し、選択した画像データを、ＡＥ評価値を生成するための画像データとしてＡＥ評価値生成部２３１に出力する。

【0061】

ＡＥ評価値生成部２３１は、セレクタ２３０から入力された画像データに基づいて、撮像装置１０の露出を制御するためのＡＥ評価値を演算（生成）する。イメージセンサ１００がベイヤー配列のイメージセンサである場合には、ＡＥ評価値生成部２３１は、セレクタ２３０から入力された画像データを色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）毎に積算したそれぞれのＡＥ評価値を生成する。そして、ＡＥ評価値生成部２３１は、生成したＡＥ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。なお、ＡＥ評価値生成部２３１の構成や動作は、例えば、図９に示した従来の撮像装置に備えたＡＥ評価値生成部の構成や動作と同様であるため、詳細な説明は省略する。

【0062】

なお、ＡＥ評価値生成部２３１は、生成したＡＥ評価値をＤＲＡＭ５０１に格納せず、生成したＡＥ評価値を、ＡＥ評価値生成部２３１内のレジスタに保持する構成であってもよい。この場合には、ＣＰＵ６００は、ＡＥ評価値生成部２３１からＡＥ評価値の生成が完了したことを表す通知を受け取った後に、ＡＥ評価値生成部２３１内のレジスタに保持しているＡＥ評価値を読み出し、読み出したＡＥ評価値を用いて、撮像装置１０におけるＡＥの制御を行う。

【0063】

セレクタ２４０は、前処理部２２０から入力された前処理画像データ、遅延画像データ、または合成画像データのいずれか１つの画像データを選択し、選択した画像データを、ＡＷＢ評価値を生成するための画像データとしてＡＷＢ評価値生成部２４１に出力する。

【0064】

ＡＷＢ評価値生成部２４１は、セレクタ２４０から入力された画像データに基づいて、撮像装置１０のホワイトバランスを制御するためのＡＷＢ評価値を演算（生成）する。イメージセンサ１００がベイヤー配列のイメージセンサである場合には、ＡＷＢ評価値生成部２４１は、セレクタ２４０から入力された各色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画像データから、白（ホワイト）のレベルを調整するためのＡＷＢ評価値を生成する。そして、ＡＷＢ評価値生成部２４１は、生成したＡＷＢ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。なお、ＡＷＢ評価値生成部２４１の構成や動作は、例えば、図９に示した従来の撮像装置に備えたＡＷＢ評価値生成部の構成や動作と同様であるため、詳細な説明は省略する。

【0065】

なお、ＡＷＢ評価値生成部２４１は、生成したＡＷＢ評価値をＤＲＡＭ５０１に格納せず、生成したＡＷＢ評価値を、ＡＷＢ評価値生成部２４１内のレジスタに保持する構成であってもよい。この場合には、ＣＰＵ６００は、ＡＷＢ評価値生成部２４１からＡＷＢ評価値の生成が完了したことを表す通知を受け取った後に、ＡＷＢ評価値生成部２４１内のレジスタに保持しているＡＷＢ評価値を読み出し、読み出したＡＷＢ評価値を用いて、撮像装置１０におけるＡＷＢの制御を行う。

【0066】

セレクタ２５０は、前処理部２２０から入力された前処理画像データ、遅延画像データ、または合成画像データのいずれか１つの画像データを選択し、選択した画像データを、ＡＦ評価値を生成するための画像データとしてＡＦ評価値生成部２５１に出力する。

【0067】

ＡＦ評価値生成部２５１は、セレクタ２５０から入力された画像データに基づいて、撮像装置１０の焦点を制御するためのＡＦ評価値を演算（生成）する。イメージセンサ１００がベイヤー配列のイメージセンサである場合には、ＡＦ評価値生成部２５１は、セレクタ２５０から入力された各色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画像データから、輝度信号（Ｙ信号）を生成し、生成したＹ信号に基づいてＡＦ評価値を生成する。そして、ＡＦ評価値生成部２５１は、生成したＡＦ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。なお、ＡＦ評価値生成部２５１の構成や動作は、例えば、図９に示した従来の撮像装置に備えたＡＦ評価値生成部の構成や動作と同様であるため、詳細な説明は省略する。

【0068】

なお、ＡＦ評価値生成部２５１は、生成したＡＦ評価値をＤＲＡＭ５０１に格納せず、生成したＡＦ評価値を、ＡＦ評価値生成部２５１内のレジスタに保持する構成であってもよい。この場合には、ＣＰＵ６００は、ＡＦ評価値生成部２５１からＡＦ評価値の生成が完了したことを表す通知を受け取った後に、ＡＦ評価値生成部２５１内のレジスタに保持しているＡＦ評価値を読み出し、読み出したＡＦ評価値を用いて、撮像装置１０におけるＡＦの制御を行う。

【0069】

セレクタ２６０は、前処理部２２０から入力された前処理画像データ、遅延画像データ、または合成画像データのいずれか１つの画像データを選択し、選択した画像データを、画像処理部３００または表示処理部４００が処理する元の画像データとして出力ＤＭＡ部２６１に出力する。

【0070】

出力ＤＭＡ部２６１は、セレクタ２６０から入力された画像データを、ＤＭＡによって、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。イメージセンサ１００がベイヤー配列のイメージセンサである場合には、ベイヤー配列の画像データが、画像処理部３００または表示処理部４００が処理する画像データ（ベイヤーデータ）として、ＤＲＡＭ５０１に格納される。なお、出力ＤＭＡ部２６１の構成や動作は、例えば、図９に示した従来の撮像装置に備えた出力ＤＭＡ部の構成や動作と同様であるため、詳細な説明は省略する。

【0071】

入力ＤＭＡ部２７０は、ＤＭＡによって、ＤＲＡＭ５０１に格納されている画像データ（以前のフレームの撮像画像）を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した画像データを前処理部２２０に出力する。なお、入力ＤＭＡ部２７０が取得する画像データは、出力ＤＭＡ部２６１によって格納された画像データのみではなく、例えば、画像処理部３００によって画像処理された後にＤＲＡＭ５０１に格納された画像データでもよい。

【0072】

画像処理部３００は、ＤＲＡＭ５０１に格納されている画像データを取得し（読み出し）、取得した画像データに、ノイズ除去、ＹＣ変換処理、リサイズ処理、ＪＰＥＧ圧縮処理、およびＭＰＥＧ圧縮処理やＨ．２６４圧縮処理等の動画圧縮処理などの各種の画像処理を施して、記録用の画像データを生成する。そして、画像処理部３００は、生成した記録用の画像データを、再びＤＲＡＭ５０１に格納する（書き込む）。

【0073】

また、画像処理部３００は、ＤＲＡＭ５０１に格納されている記録用の画像データを取得し（読み出し）、ＪＰＥＧ伸張処理、ＭＰＥＧ伸張処理やＨ．２６４伸張処理等の動画伸張処理などの各種の画像処理を施した画像データを生成する。そして、画像処理部３００は、生成した画像データを、再びＤＲＡＭ５０１に格納する（書き込む）。なお、画像処理部３００の構成や動作は、例えば、図９に示した従来の撮像装置に備えた画像処理部の構成や動作と同様であるため、詳細な説明は省略する。

【0074】

表示処理部４００は、ＤＲＡＭ５０１に格納されている画像データを取得し（読み出し）、取得した画像データに、表示デバイス４０１が表示することができる画像の大きさへのリサイズ（縮小）する表示用の画像処理や、ＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）表示用のデータを重畳する処理などの表示処理を施して、表示用の画像データ（以下、「表示画像」ともいう）を生成する。そして、表示処理部４００は、生成した表示用の画像データ（表示画像）を、表示デバイス４０１や図示しない外部ディスプレイに出力する。なお、表示処理部４００の構成や動作は、例えば、図９に示した従来の撮像装置に備えた表示処理部の構成や動作と同様であるため、詳細な説明は省略する。

【0075】

なお、表示処理部４００は、ＯＳＤ表示用のデータの重畳処理などの表示処理のみを施す構成であってもよい。この場合には、例えば、画像処理部３００が、ＤＲＡＭ５０１から取得（読み出し）した画像データや記録用の画像データに対して表示用の画像処理を施して表示用の画像データを生成し、生成した表示用の画像データを、再びＤＲＡＭ５０１に格納する（書き込む）。そして、表示処理部４００は、ＤＲＡＭ５０１に格納されている表示用の画像データを取得し（読み出し）、取得した表示用の画像データにＯＳＤ表示用のデータの重畳処理などの表示処理を施すことになる。

【0076】

表示デバイス４０１は、ＴＦＴ（薄膜トランジスター：Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示デバイスである。表示デバイス４０１は、表示処理部４００から出力された表示用の画像データ（表示画像）に応じた画像を表示する。なお、表示デバイス４０１は、例えば、図９に示した従来の撮像装置に備えた表示デバイスと同様であるため、詳細な説明は省略する。

【0077】

ＤＲＡＭコントローラ５００は、データバス７００に接続されている撮像装置１０内の複数の構成要素からのＤＲＡＭ５０１へのアクセス要求、例えば、ＤＭＡのアクセス要求に応じて、接続されているＤＲＡＭ５０１へのデータの格納（書き込み）、およびＤＲＡＭ５０１からのデータの取得（読み出し）の制御を行う。なお、ＤＲＡＭコントローラ５００の構成や動作は、例えば、図９に示した従来の撮像装置に備えたＤＲＡＭコントローラの構成や動作と同様であるため、詳細な説明は省略する。

【0078】

ＤＲＡＭ５０１は、ＤＲＡＭコントローラ５００によってアクセス制御されるメモリである。ＤＲＡＭ５０１は、撮像装置１０内のそれぞれの構成要素の処理過程における様々なデータを記録する。なお、ＤＲＡＭ５０１は、例えば、図９に示した従来の撮像装置に備えたＤＲＡＭと同様であるため、詳細な説明は省略する。

【0079】

ＣＰＵ６００は、撮像装置１０の構成要素、すなわち、撮像装置１０全体を制御する。例えば、撮像装置１０における撮影動作や再生動作に応じて、撮像装置１０内の各構成要素の動作を制御する。例えば、ＣＰＵ６００は、撮像装置１０が撮影動作を行う際に、イメージセンサ１００からの画素信号の出力の開始、撮像ＩＦ部２１０による画素信号の取り込みの開始を制御する。

【0080】

また、ＣＰＵ６００は、前処理部２２０内の処理部２２２ａ〜２２２ｃの設定や制御、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１の設定や制御や、出力ＤＭＡ部２６１および入力ＤＭＡ部２７０の設定を行う。また、ＣＰＵ６００は、前処理部２２０内のセレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによる画像データの選択を制御する。

【0081】

次に、本実施形態の撮像装置１０の動作の一例について説明する。図２は、本第１の実施形態の撮像装置１０による評価値生成および画像表示の動作の一例を模式的に示した図である。撮像装置１０は、撮影に関するＡＥ、ＡＷＢ、およびＡＦの制御を行うためのＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成しながら、イメージセンサ１００から出力される画素信号に応じた撮像画像を順次、表示デバイス４０１に表示する。図２には、図１に示した撮像装置１０のブロック図上に、評価値生成動作および画像表示動作におけるデータの経路を示している。

【0082】

以下に、撮像装置１０による評価値生成動作および画像表示動作のそれぞれの処理手順を、順を追って説明する。

【0083】

（手順１）：まず、手順１では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とを制御して、例えば、図２（ａ）に示した経路Ｃ１１を、データの経路として選択する。そして、撮像装置１０は、イメージセンサ１００から出力された画素信号に応じた画像データを前処理し、前処理した前処理画像データ（ベイヤーデータ）に基づいて評価値を生成する。また、撮像装置１０は、前処理画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

【0084】

より具体的には、イメージセンサ１００から出力された画素信号が、撮像処理部２００に入力され、撮像処理部２００内の撮像ＩＦ部２１０は、入力された画素信号を画像データとして前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、撮像ＩＦ部２１０から入力された画像データを処理部２２２ａに転送し、処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して順次前処理（補正処理）を施す。前処理部２２０は、処理部２２２ｃが前処理（補正処理）した前処理画像データを、セレクタ２３０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。そして、セレクタ２３０、セレクタ２５０、およびセレクタ２６０のそれぞれは、前処理部２２０から入力された前処理画像データを、対応するＡＥ評価値生成部２３１、ＡＦ評価値生成部２５１、および出力ＤＭＡ部２６１に、それぞれ出力する。

【0085】

ＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１は、前処理部２２０から入力された前処理画像データに基づいて演算（生成）したＡＥ評価値およびＡＦ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。また、出力ＤＭＡ部２６１は、前処理部２２０から入力された前処理画像データ（ベイヤーデータ）を、第１フレームの撮像画像として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

【0086】

（手順２）：続いて、手順２では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とを制御して、例えば、図２（ｂ）に示した経路Ｃ１２、経路Ｃ１３、および経路Ｃ１４を、それぞれのデータの経路として選択する。そして、撮像装置１０は、手順１と同様に、イメージセンサ１００から出力された画素信号に応じた画像データを前処理し、前処理した前処理画像データ（ベイヤーデータ）に基づいて評価値を生成する。

【0087】

また、同時に、撮像装置１０は、ＤＲＡＭ５０１に格納されている第１フレームの撮像画像を取得し（読み出し）、取得した第１フレームの撮像画像の画像データと、前処理した前処理画像データ（ベイヤーデータ）とを合成し、合成した画像データ（ベイヤーデータ）に基づいて評価値を生成する。また、撮像装置１０は、合成した画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

【0088】

より具体的には、イメージセンサ１００から出力された画素信号を、撮像処理部２００に入力し、撮像処理部２００内の撮像ＩＦ部２１０が、入力された画素信号を画像データとして前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、撮像ＩＦ部２１０から入力された画像データを処理部２２２ａに転送し、処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して順次前処理（補正処理）を施し、合成部２２４に出力する。また、前処理部２２０は、処理部２２２ｃが前処理（補正処理）した前処理画像データを、セレクタ２３０を介してＡＥ評価値生成部２３１に、セレクタ２５０を介してＡＦ評価値生成部２５１に、それぞれ出力する（経路Ｃ１２参照）。

【0089】

また、同時に、撮像処理部２００内の入力ＤＭＡ部２７０が、ＤＲＡＭ５０１に格納されている第１フレームの撮像画像を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した第１フレームの撮像画像の画像データを前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、入力ＤＭＡ部２７０から入力された第１フレームの撮像画像の画像データをディレイ部２２３ａに転送し、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された第１フレームの撮像画像の画像データを、予め定めた時間だけ遅らせ、合成部２２４に出力する（経路Ｃ１３参照）。

【0090】

そして、合成部２２４は、処理部２２２ｃが前処理（補正処理）した前処理画像データ、すなわち、第２フレームの撮像画像と、ディレイ部２２３ｃが遅らせた遅延画像データ、すなわち、第１フレームの撮像画像とを合成した合成画像データを生成する。そして、前処理部２２０は、合成部２２４が生成した合成画像データを、セレクタ２４０を介してＡＷＢ評価値生成部２４１に、セレクタ２６０を介して出力ＤＭＡ部２６１に、それぞれ出力する。そして、出力ＤＭＡ部２６１は、前処理部２２０から入力された合成画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する（経路Ｃ１４参照）。

【0091】

また、ＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１は、前処理部２２０から入力された前処理画像データ（第２フレームの撮像画像）に基づいて演算（生成）したＡＥ評価値およびＡＦ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。また、ＡＷＢ評価値生成部２４１は、前処理部２２０から入力された合成画像データに基づいて、ＡＷＢ評価値を演算（生成）し、生成したＡＷＢ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

【0092】

その後、撮像装置１０は、ＤＲＡＭ５０１に格納されている合成画像データ（ベイヤーデータ）に応じた表示画像を、表示デバイス４０１に表示する。このとき、例えば、図２（ｂ）に示した経路Ｃ１５で、表示処理部４００にデータが入力される。

【0093】

より具体的には、表示処理部４００が、ＤＲＡＭ５０１に格納されている合成画像データを、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した合成画像データに対して表示処理を施して、表示用の画像データ（表示画像）を生成する。そして、表示処理部４００は、生成した表示画像を、表示デバイス４０１に出力する。これにより、表示画像（合成画像データ）が、表示デバイス４０１に表示される。

【0094】

以降、撮像装置１０は、手順１における第１フレームの撮像画像（前処理画像データ）に基づいたＡＥ評価値およびＡＦ評価値の演算（生成）と、第１フレームの撮像画像（ベイヤーデータ）のＤＲＡＭ５０１への格納、および手順２における第２フレームの撮像画像（前処理画像データ）に基づいたＡＥ評価値およびＡＦ評価値の演算（生成）と、合成画像データの生成と、合成画像データに基づいたＡＷＢ評価値の演算（生成）と、合成画像データ（ベイヤーデータ）のＤＲＡＭ５０１への格納とを繰り返す。また、表示処理部４００は、手順２における表示画像の生成および表示デバイス４０１への出力を繰り返す。

【0095】

このように、撮像装置１０では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、それぞれの処理手順で、図２に示したような、画像データを処理する経路を選択する。これにより、撮像装置１０では、イメージセンサ１００からの画素信号に応じた画像データに基づいて、撮影に関する制御（ＡＥ、ＡＷＢ、およびＡＦの制御）を行うためのそれぞれの評価値を生成しながら、イメージセンサ１００からの画素信号に応じた表示画像を順次、表示デバイス４０１に表示することができる。

【0096】

このとき、表示デバイス４０１に表示する表示画像は、第１フレームの撮像画像と第２フレームの撮像画像とを合成した合成画像データに応じた画像である。このため、イメージセンサ１００から画素信号を取り込んで評価値を生成するための画像データのフレームレート（以下、「撮像フレームレート」という）と、表示デバイス４０１に合成画像データを表示するフレームレート（以下、「表示フレームレート」という）とが異なるフレームレートであっても、撮像フレームレートで、より多くの評価値を得ることができると共に、表示フレームレートで、撮影する被写体を容易に確認することができる滑らかな動画を表示することができる。

【0097】

なお、図２に示した撮像装置１０による評価値生成および画像表示の動作の一例では、手順１においてＡＷＢ評価値生成部２４１が評価値を生成していない場合の例について説明したが、手順１において、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１が、それぞれの評価値を生成する動作にしてもよい。すなわち、ＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を、イメージセンサ１００からの画素信号に応じた前処理画像データである、現在のフレームの撮像画像から生成し、合成画像データを、表示デバイス４０１に表示するための画像データとして使用する動作にしてもよい。

【0098】

ここで、図２に示した撮像装置１０による評価値生成および画像表示の動作の一例におけるタイミングの関係について説明する。図３は、本第１の実施形態の撮像装置１０に備えたイメージセンサ１００と表示デバイス４０１との概略のタイミングの一例を示したタイミングチャートである。図３は、図１０に示した従来の撮像装置におけるタイミングと同様に、イメージセンサ１００の撮像フレームレートが１２０ｆｐｓ（フレーム／秒）であり、表示デバイス４０１の表示フレームレートが６０ｆｐｓである場合における、イメージセンサ１００から取り込んだ画素信号に応じた画像データである撮像画像と、表示デバイス４０１に表示する画像データである表示画像とのタイミングの関係を示している。

【0099】

図３において、「イメージセンサの垂直同期信号」は、イメージセンサ１００から各フレームの画素信号の取り込みを開始するタイミングを表す信号であり、「表示デバイスの垂直同期信号」は、表示デバイス４０１が各フレームの画像の表示を開始するタイミングを表す信号である。表示デバイス４０１は、「表示デバイスの垂直同期信号」が入力される毎（図３に示した単位期間毎）に、表示する表示画像を更新する。また、図３において、「ＡＦ処理」、「ＡＥ処理」、および「ＡＷＢ処理」の期間は、撮像画像に基づいてＡＥ評価値生成部２３１、ＡＦ評価値生成部２５１、およびＡＷＢ評価値生成部２４１のそれぞれが、ＡＥ評価値、ＡＦ評価値、およびＡＷＢ評価値を生成する期間である。なお、図３では、撮像画像と表示画像とのタイミングの関係の比較を容易にするため、「イメージセンサの垂直同期信号」のタイミングと「表示デバイスの垂直同期信号」のタイミングとが同期している場合を示している。

【0100】

図３に示したように、撮像装置１０に備えた合成部２２４は、手順２によって、奇数番目のフレームの撮像画像と偶数番目のフレームの撮像画像とを合成した合成画像データを生成する。そして、生成した合成画像データを、表示画像として表示デバイス４０１に表示する。このように、撮像装置１０では、イメージセンサ１００から得られた各フレームの撮像画像を間引くことなく、すなわち、画像の情報を減らすことなく、表示フレームレート（６０ｆｐｓ）で、表示デバイス４０１に画像を表示することができる。これにより、撮像装置１０は、表示デバイス４０１に良好な表示画像を表示させることができる。

【0101】

また、図３に示したように、撮像装置１０に備えたＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１は、手順１および手順２によって、各フレームの撮像画像（前処理画像データ）に基づいたＡＥ評価値およびＡＦ評価値を生成する。すなわち、撮像フレームレート（１２０ｆｐｓ）で、それぞれの評価値を生成する。これにより、撮像装置１０は、より多くのＡＥ評価値およびＡＦ評価値を得ることができる。このことにより、撮像装置１０では、例えば、ＡＦ機能の高速化、すなわち、合焦速度の高速化を実現することができる。

【0102】

また、図３に示したように、撮像装置１０に備えたＡＷＢ評価値生成部２４１は、手順２によって、合成画像データに基づいたＡＷＢ評価値を生成する。すなわち、ＡＷＢ評価値生成部２４１は、表示フレームレート（６０ｆｐｓ）で評価値を生成する。これにより、撮像装置１０では、従来の撮像装置と同様のＡＷＢ評価値を得ることができる。

【0103】

上記に述べたように、本第１の実施形態における撮像装置１０では、イメージセンサ１００から出力される画素信号の撮像フレームレートで評価値を生成する。これにより、本第１の実施形態における撮像装置１０では、イメージセンサ１００の撮像フレームレートを高くすることによって、より多くの評価値を得ることができる。このことにより、本第１の実施形態における撮像装置１０では、撮像装置１０における撮影に関する制御を高速化することができる。

【0104】

また、本第１の実施形態における撮像装置１０では、イメージセンサ１００から出力される画素信号に応じた画像データ（現在のフレームの撮像画像）と、ＤＲＡＭコントローラ５００を介して取得し（読み出し）した画像データ（以前のフレームの撮像画像）とを合成する。すなわち、イメージセンサ１００から出力される画素信号に応じた画像データを、フレームの単位で合成する。これにより、本第１の実施形態における撮像装置１０では、イメージセンサ１００の撮像フレームレートと表示デバイス４０１の表示フレームレートとが異なる場合でも、イメージセンサ１００から取り込んだ撮像画像のフレームを間引くことなく、すなわち、画像の情報を減らすことなく、それぞれのフレームレートの違いを吸収し、良好な表示画像を表示デバイス４０１に表示することができる。

【0105】

なお、本第１の実施形態における撮像装置１０では、図２に示した評価値生成および画像表示の動作の一例および図３に示したイメージセンサ１００と表示デバイス４０１との概略のタイミングの一例において、撮像フレームレートが１２０ｆｐｓであり、表示フレームレートが６０ｆｐｓである場合について説明した。しかし、撮像フレームレートおよび表示フレームレートは、本第１の実施形態の状態に限定されるものではない。例えば、撮像フレームレートが２４０ｆｐｓであり、表示フレームレートが６０ｆｐｓである場合でも、同様に適用することができる。この場合には、合成部２２４は、４フレーム分の撮像画像の画像データを、合成画像データとして合成することになる。そして、撮像装置１０は、手順１に引き続き、手順２における合成画像データ（ベイヤーデータ）のＤＲＡＭ５０１への格納を３回繰り返した後、すなわち、４フレーム分の撮像画像の合成処理が終了した後に、表示処理部４００が、手順２における表示画像の生成および表示デバイス４０１への出力を行う動作を繰り返すことになる。

【0106】

また、本第１の実施形態における撮像装置１０では、図２に示した評価値生成および画像表示の動作の一例および図３に示したイメージセンサ１００と表示デバイス４０１との概略のタイミングの一例において、ＡＥ処理およびＡＦ処理を撮像フレームレート（１２０ｆｐｓ）で行い、ＡＷＢ処理を表示フレームレート（６０ｆｐｓ）で行う場合について説明した。しかし、ＡＥ処理、ＡＷＢ処理、およびＡＦ処理を行うタイミングは、本第１の実施形態のタイミングに限定されるものではない。すなわち、本第１の実施形態における撮像装置１０では、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１の前段にセレクタ２３０、セレクタ２４０、およびセレクタ２５０を備えているため、それぞれの評価値生成部は、撮像フレームレート（１２０ｆｐｓ）および表示フレームレート（６０ｆｐｓ）のいずれのタイミングでも評価値生成の処理を行うことができる。

【0107】

なお、本第１の実施形態における撮像装置１０では、上述したように、高い撮像フレームレートでイメージセンサ１００から出力された各フレームの撮像画像の画像データを、合成部２２４がフレームの単位で合成する。このため、撮像装置１０では、手順２において、入力ＤＭＡ部２７０によって取得される（読み出される）ＤＲＡＭ５０１に一旦格納された以前のフレームの画像データと、出力ＤＭＡ部２６１によってＤＲＡＭ５０１に格納される合成画像データと、表示デバイス４０１に表示するために表示処理部４００によって取得される（読み出される）ＤＲＡＭ５０１に格納された合成画像データとが、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１とやり取りされる。すなわち、それぞれの画像データが同時期にデータバス７００上に存在することになる。同時期にデータバス７００上に存在する画像データが多くなると、データバス７００のバス帯域を圧迫する要因となる。撮像装置１０における実際の動作では、データバス７００のバス帯域についても考慮する必要がある。

【0108】

ここで、撮像装置１０におけるデータバス７００のバス帯域について説明する。図４は、本第１の実施形態の撮像装置１０において、画像を表示する際のバス帯域の一例を模式的に示した図である。図４には、図２に示した評価値生成および画像表示の動作の一例に、それぞれのデータの経路でやり取りされる画像データの大きさ（サイズ）を模式的に示した図を追加して示している。そして、以下の説明においては、データバス７００上で同時期にやり取りされる画像データの大きさを説明することで、データバス７００のバス帯域についての説明を行う。なお、イメージセンサ１００の画素信号に対応した画像サイズは、図４に示した画像サイズ１００ｏの大きさであるものとする。

【0109】

まず、手順１においては、画像サイズ１００ｏの大きさの画素信号が、イメージセンサ１００から出力され、撮像処理部２００によって処理された図４（ａ）に示した画像サイズ２６１ｏ１の大きさ（＝画像サイズ１００ｏの大きさ）の撮像画像が、出力ＤＭＡ部２６１によって、第１フレームの撮像画像として、ＤＲＡＭ５０１に格納される。

【0110】

続いて、手順２においても、画像サイズ１００ｏの大きさの画素信号が、イメージセンサ１００から出力され、撮像処理部２００に入力される。また、手順２では、ＤＲＡＭ５０１に格納されている図４（ｂ）に示した画像サイズ２７０ｉの大きさ（＝画像サイズ２６１ｏ１の大きさ）の第１フレームの撮像画像が、入力ＤＭＡ部２７０によって取得され（読み出され）、合成部２２４によって合成される。そして、図４（ｂ）に示した画像サイズ２６１ｏ２の大きさ（＝画像サイズ２６１ｏ１の大きさ）の合成画像データが、出力ＤＭＡ部２６１によってＤＲＡＭ５０１に格納される。

【0111】

その後、手順２では、ＤＲＡＭ５０１に格納されている画像サイズ２６１ｏ２の大きさ（＝画像サイズ２６１ｏ１の大きさ）の合成画像データが、表示処理部４００によって取得される（読み出される）。そして、表示処理部４００は、取得した（読み出した）、画像サイズ２６１ｏ２の大きさ（＝画像サイズ２６１ｏ１の大きさ）の合成画像データに対してリサイズ（縮小）などの表示処理を施して、図４（ｂ）に示した画像サイズ４０１ｏの大きさ（＜画像サイズ２６１ｏ２の大きさ）の表示画像を生成する。

【0112】

このように、イメージセンサ１００から入力される画素信号に応じた撮像画像を、表示デバイス４０１に順次表示するとき、特に、入力ＤＭＡ部２７０がＤＲＡＭ５０１に格納されている第１フレームの撮像画像を取得し（読み出し）、出力ＤＭＡ部２６１が、合成画像データをＤＲＡＭ５０１に格納するときが、撮像装置１０においてデータバス７００のバス帯域を圧迫しているときである。これは、入力ＤＭＡ部２７０および出力ＤＭＡ部２６１がアクセスする２フレーム分の撮像画像の画像データが、データバス７００上に同時期に存在するからである。

【0113】

しかし、図４を見てわかるように、表示デバイス４０１が表示することができる表示画像の大きさは、イメージセンサ１００から出力される画素信号に応じた撮像画像の大きさに比べて、非常に小さい画像サイズである。従って、表示処理部４００が表示画像を生成するための画像データの大きさは、イメージセンサ１００から出力される画素信号に応じた撮像画像の大きさよりも小さい画像データで十分である。この撮像画像の大きさと表示画像の大きさの差は、イメージセンサ１００の画素数が多くなるほど、より顕著に現れてくる。このため、データバス７００上に同時期に存在する画像データの大きさを適切にすることによって、データバス７００のバス帯域の圧迫を軽減することができると考えられる。このデータバス７００のバス帯域の圧迫の軽減は、表示処理部４００による表示処理の負荷を軽減する意味でも有用である。

【0114】

また、撮像装置１０では、合成部２２４が、高い撮像フレームレートでイメージセンサ１００から出力された現在のフレームの撮像画像の画像データと、入力ＤＭＡ部２７０から入力された以前のフレームの撮像画像の画像データとを、フレームの単位で合成しているため、合成部２２４によるが合成処理の負荷も大きい。このため、合成部２２４による合成処理の負荷も軽減することが望ましい。

【0115】

また、撮像装置１０では、イメージセンサ１００から入力される画素信号に応じた撮像画像を表示デバイス４０１に順次表示する以外にも、例えば、画像処理部３００が、合成画像データに対して様々な画像処理を行うこともある。このため、画像処理部３００による処理の負荷を軽減する必要があるが、データバス７００のバス帯域の圧迫を軽減することは、撮像装置１０が快適に動作するためにも有用である。

【0116】

＜第２の実施形態＞
次に、本発明の第２の実施形態の撮像装置について説明する。図５は、本第２の実施形態における撮像装置の概略構成を示したブロック図である。なお、本第２の実施形態の撮像装置２０は、図１に示した第１の実施形態の撮像装置１０内の撮像処理部２００に備えた前処理部２２０おいて、処理部２２２ｃと合成部２２４との間に、リサイズ処理部２２５が追加されたのみであり、その他の構成要素は、第１の実施形態の撮像装置１０と同様である。従って、本第２の実施形態の撮像装置２０の説明においては、図１に示した第１の実施形態の撮像装置１０とは異なる構成、および動作のみを説明して、詳細な説明は省略する。なお、以下の説明においては、本第２の実施形態の撮像装置２０の構成要素において、図１に示した第１の実施形態の撮像装置１０と同様の構成要素には、同一の符号を用いて説明する。

【0117】

リサイズ処理部２２５は、処理部２２２ｃから入力された前処理画像データを、例えば、表示デバイス４０１が表示することができる、予め定めた画像の大きさにリサイズ（縮小）する。そして、リサイズ処理部２２５は、リサイズ（縮小）した前処理画像データを、リサイズ（縮小）した現在のフレームの前処理画像データ（以下、「前処理リサイズ画像データ」という）として合成部２２４に出力する。なお、リサイズ処理部２２５によるリサイズ（縮小）の処理の方法は、例えば、表示処理部４００が行うリサイズ（縮小）の処理の方法と同様であるため、詳細な説明は省略する。

【0118】

なお、リサイズ処理部２２５は、処理部２２２ｃから入力された前処理画像データに対してリサイズ（縮小）処理を施すか否かを切り換える、すなわち、リサイズ（縮小）処理をＯＮまたはＯＦＦにする機能を備えている。リサイズ処理部２２５によるリサイズ（縮小）処理のＯＮまたはＯＦＦの切り換えは、撮像装置２０における評価値生成および画像表示の動作の手順に毎に、ＣＰＵ６００が制御する。

【0119】

合成部２２４は、入力された前処理リサイズ画像データと遅延画像データとを合成した合成画像データ、すなわち、リサイズ（縮小）処理された合成画像データを生成し、生成した合成画像データを、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。なお、本第２の実施形態の撮像装置２０においては、合成部２２４も、合成処理を施すか否かを切り換える、すなわち、合成処理をＯＮまたはＯＦＦにする機能を備えている。合成部２２４による合成処理のＯＮまたはＯＦＦの切り換えは、撮像装置２０における評価値生成および画像表示の動作の手順に毎に、ＣＰＵ６００が制御する。

【0120】

リサイズ（縮小）処理された合成画像データは、出力ＤＭＡ部２６１によって、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納される。そして、表示処理部４００は、ＤＲＡＭ５０１に格納されているリサイズ（縮小）処理された合成画像データを取得し（読み出し）、取得した合成画像データに対して、リサイズ（縮小）処理以外の表示用の画像処理や、ＯＳＤ表示用のデータを重畳する処理などの表示処理を施した表示用の画像データ（以下、「表示画像」ともいう）を生成する。そして、表示処理部４００は、生成した表示用の画像データ（表示画像）を、表示デバイス４０１や図示しない外部ディスプレイに出力する。

【0121】

なお、表示処理部４００は、ＯＳＤ表示用のデータの重畳処理などの表示処理のみを施す構成であってもよい。この場合には、例えば、画像処理部３００が、ＤＲＡＭ５０１から取得（読み出し）したリサイズ（縮小）処理された合成画像データに対して、リサイズ（縮小）処理以外の表示用の画像処理を施した表示用の画像データを生成し、生成した表示用の画像データを、再びＤＲＡＭ５０１に格納する（書き込む）。そして、表示処理部４００は、ＤＲＡＭ５０１に格納されている表示用の画像データを取得し（読み出し）、取得した表示用の画像データにＯＳＤ表示用のデータの重畳処理などの表示処理を施すことになる。

【0122】

次に、本実施形態の撮像装置２０の動作の一例について説明する。図６は、本第２の実施形態の撮像装置２０による評価値生成および画像表示の動作と、画像データの大きさとの一例を模式的に示した図である。撮像装置２０は、第１の実施形態の撮像装置１０と同様に、撮影に関するＡＥ、ＡＷＢ、およびＡＦの制御を行うためのＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成しながら、イメージセンサ１００から出力される画素信号に応じた撮像画像を順次、表示フレームレートに合わせて表示デバイス４０１に表示する。

【0123】

図６には、図５に示した撮像装置２０のブロック図上に、評価値生成動作および画像表示動作におけるデータの経路を示している。また、図６には、それぞれのデータの経路でやり取りされる画像データの大きさ（サイズ）を模式的に示した図を追加して示している。そして、以下の説明においては、撮像装置２０による評価値生成動作および画像表示動作のそれぞれの処理手順を、順を追って説明すると共に、データバス７００上で同時期にやり取りされる画像データの大きさを説明することで、データバス７００のバス帯域についての説明を行う。また、以下の説明において、イメージセンサ１００の画素信号に対応した画像サイズは、図４に示した第１の実施形態の撮像装置１０における画像サイズ１００ｏと同様の大きさであるものとする。

【0124】

なお、図６に示した撮像装置２０による評価値生成および画像表示の動作の一例におけるイメージセンサ１００と表示デバイス４０１とのタイミングの関係は、図３に示した第１の実施形態の撮像装置１０におけるイメージセンサ１００と表示デバイス４０１とタイミングの関係と同様であるため、詳細な説明は省略する。

【0125】

（手順１）：まず、手順１では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とを制御して、例えば、図６（ａ）に示した経路Ｃ２１および経路Ｃ２２を、それぞれのデータの経路として選択する。また、手順１では、ＣＰＵ６００は、リサイズ処理部２２５のリサイズ（縮小）処理をＯＮにし、合成部２２４の合成処理をＯＦＦにする。そして、撮像装置２０は、イメージセンサ１００から出力された画素信号に応じた画像データを前処理し、前処理した前処理画像データ（ベイヤーデータ）に基づいて評価値を生成する。また、撮像装置２０は、前処理画像データ（ベイヤーデータ）をリサイズ（縮小）し、リサイズ（縮小）した前処理リサイズ画像データを、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

【0126】

より具体的には、イメージセンサ１００から出力された画像サイズ１００ｏの大きさの画素信号が、撮像処理部２００に入力され、撮像処理部２００内の撮像ＩＦ部２１０は、入力された画素信号を画像データとして前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、撮像ＩＦ部２１０から入力された画像データを処理部２２２ａに転送し、処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して順次前処理（補正処理）を施す。前処理部２２０は、処理部２２２ｃが前処理（補正処理）した前処理画像データを、セレクタ２３０を介してＡＥ評価値生成部２３１に、セレクタ２５０を介してＡＦ評価値生成部２５１に、それぞれ出力する（経路Ｃ２１参照）。

【0127】

また、前処理部２２０内のリサイズ処理部２２５は、処理部２２２ｃが前処理（補正処理）した前処理画像データに対してリサイズ（縮小）処理を施し、リサイズ（縮小）処理した前処理リサイズ画像データを、合成部２２４を介して、セレクタ２６０に出力する。ここでは、前処理部２２０内の合成部２２４は、図６（ａ）に示した画像サイズ２２４ｏＳ１の大きさ（＜画像サイズ１００ｏの大きさ）の前処理リサイズ画像データを、セレクタ２６０に出力する。そして、セレクタ２６０は、前処理部２２０から入力された前処理リサイズ画像データを、対応する出力ＤＭＡ部２６１に出力する（経路Ｃ２２参照）。

【0128】

ＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１は、前処理部２２０から入力された前処理画像データに基づいて演算（生成）したＡＥ評価値およびＡＦ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。また、同時に、出力ＤＭＡ部２６１は、前処理部２２０から入力された前処理リサイズ画像データ（ベイヤーデータ）を、第１フレームの撮像画像として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。ここでは、出力ＤＭＡ部２６１は、図６（ａ）に示した画像サイズ２６１ｏＳの大きさ（＝画像サイズ２２４ｏＳ１の大きさ）の撮像画像（前処理リサイズ画像データ）を、第１フレームの撮像画像として、ＤＲＡＭ５０１に格納する。

【0129】

（手順２）：続いて、手順２では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とを制御して、例えば、図６（ｂ）に示した経路Ｃ２３、経路Ｃ２４、および経路Ｃ２５を、それぞれのデータの経路として選択する。また、手順２では、ＣＰＵ６００は、リサイズ処理部２２５のリサイズ（縮小）処理をＯＮにし、合成部２２４の合成処理をＯＮにする。そして、撮像装置２０は、手順１と同様に、イメージセンサ１００から出力された画素信号に応じた画像データを前処理し、前処理した前処理画像データ（ベイヤーデータ）に基づいて評価値を生成する。また、撮像装置２０は、前処理画像データ（ベイヤーデータ）をリサイズ（縮小）する。

【0130】

また、同時に、撮像装置２０は、ＤＲＡＭ５０１に格納されている第１フレームの撮像画像を取得し（読み出し）、取得した第１フレームの撮像画像の画像データと、前処理画像データをリサイズ（縮小）処理した前処理リサイズ画像データ（ベイヤーデータ）とを合成し、合成した画像データ（ベイヤーデータ）に基づいて評価値を生成する。また、撮像装置２０は、合成した画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

【0131】

より具体的には、イメージセンサ１００から出力された画像サイズ１００ｏの大きさの画素信号が、撮像処理部２００に入力され、撮像処理部２００内の撮像ＩＦ部２１０は、入力された画素信号を画像データとして前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、撮像ＩＦ部２１０から入力された画像データを処理部２２２ａに転送し、処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して順次前処理（補正処理）を施す。前処理部２２０は、処理部２２２ｃが前処理（補正処理）した前処理画像データを、セレクタ２３０を介してＡＥ評価値生成部２３１に、セレクタ２５０を介してＡＦ評価値生成部２５１に、それぞれ出力する。また、前処理部２２０内のリサイズ処理部２２５は、処理部２２２ｃが前処理（補正処理）した前処理画像データに対してリサイズ（縮小）処理を施し、リサイズ（縮小）処理した前処理リサイズ画像データを、合成部２２４に出力する（経路Ｃ２３参照）。

【0132】

また、同時に、撮像処理部２００内の入力ＤＭＡ部２７０が、ＤＲＡＭ５０１に格納されている図６（ｂ）に示した画像サイズ２７０ｉＳの大きさ（＝画像サイズ２６１ｏＳの大きさ）の第１フレームの撮像画像を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した第１フレームの撮像画像の画像データを前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、入力ＤＭＡ部２７０から入力された第１フレームの撮像画像の画像データをディレイ部２２３ａに転送し、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された第１フレームの撮像画像の画像データを、予め定めた時間だけ遅らせ、合成部２２４に出力する（経路Ｃ２４参照）。

【0133】

そして、合成部２２４は、処理部２２２ｃが前処理（補正処理）し、リサイズ処理部２２５がリサイズ（縮小）処理した前処理リサイズ画像データ、すなわち、第２フレームの撮像画像と、ディレイ部２２３ｃが遅らせた遅延画像データ、すなわち、第１フレームの撮像画像とを合成した、図６（ｂ）に示した画像サイズ２２４ｏＳ２の大きさ（＝画像サイズ２２４ｏＳ１の大きさ）の合成画像データを生成する。そして、前処理部２２０は、合成部２２４が生成した合成画像データを、セレクタ２４０を介してＡＷＢ評価値生成部２４１に、セレクタ２６０を介して出力ＤＭＡ部２６１に、それぞれ出力する。そして、出力ＤＭＡ部２６１は、前処理部２２０から入力された、リサイズ（縮小）処理した合成画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する（経路Ｃ２５参照）。ここでは、出力ＤＭＡ部２６１は、図６（ｂ）に示した画像サイズ２６１ｏＳの大きさ（＝画像サイズ２２４ｏＳ２の大きさ）の撮像画像（リサイズ（縮小）処理した合成画像データ）を、ＤＲＡＭ５０１に格納する。

【0134】

また、ＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１は、前処理部２２０から入力された前処理画像データに基づいて演算（生成）したＡＥ評価値およびＡＦ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。また、ＡＷＢ評価値生成部２４１は、前処理部２２０から入力された合成画像データに基づいて、ＡＷＢ評価値を演算（生成）し、生成したＡＷＢ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

【0135】

その後、撮像装置２０は、ＤＲＡＭ５０１に格納されているリサイズ（縮小）処理した合成画像データ（ベイヤーデータ）に応じた表示画像を、表示デバイス４０１に表示する。このとき、例えば、図６（ｂ）に示した経路Ｃ２６で、表示処理部４００にデータが入力される。

【0136】

より具体的には、表示処理部４００が、ＤＲＡＭ５０１に格納されている画像サイズ２６１ｏＳの大きさ（＝画像サイズ２２４ｏＳ２の大きさ）の合成画像データを、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した合成画像データに対して、リサイズ（縮小）処理以外の表示処理を施した表示用の画像データ（表示画像）を生成する。そして、表示処理部４００は、生成した表示画像を、表示デバイス４０１に出力する。これにより、リサイズ処理部２２５によってリサイズ（縮小）処理した合成画像データに応じた表示画像が、表示デバイス４０１に表示される。

【0137】

以降、撮像装置２０は、手順１における前処理画像データに基づいたＡＥ評価値およびＡＦ評価値の演算（生成）と、第１フレームの撮像画像（ベイヤーデータ）のＤＲＡＭ５０１への格納、および手順２における前処理画像データに基づいたＡＥ評価値およびＡＦ評価値の演算（生成）と、リサイズ（縮小）処理した合成画像データの生成と、合成画像データに基づいたＡＷＢ評価値の演算（生成）と、合成画像データ（ベイヤーデータ）のＤＲＡＭ５０１への格納とを繰り返す。また、表示処理部４００は、手順２におけるリサイズ（縮小）処理した合成画像データ（ベイヤーデータ）に応じた表示画像の生成、および表示デバイス４０１への出力を繰り返す。

【0138】

このように、撮像装置２０では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、それぞれの処理手順で、図６に示したような、画像データを処理する経路を選択する。また、ＣＰＵ６００が、リサイズ処理部２２５によるリサイズ（縮小）処理のＯＮまたはＯＦＦ、および合成部２２４による合成処理のＯＮまたはＯＦＦを制御する。これにより、撮像装置２０では、イメージセンサ１００からの画素信号に応じた画像データに基づいて、撮影に関する制御（ＡＥ、ＡＷＢ、およびＡＦの制御）を行うためのそれぞれの評価値を生成しながら、イメージセンサ１００からの画素信号に応じた表示画像を順次、表示フレームレートに合わせて表示デバイス４０１に表示することができる。

【0139】

このとき、表示デバイス４０１に表示する表示画像は、第１フレームの撮像画像と第２フレームの撮像画像とを合成した合成画像データに応じた画像である。このため、イメージセンサ１００から画素信号を取り込んで評価値を生成するための撮像フレームレートと、表示デバイス４０１に合成画像データを表示する表示フレームレートとが異なるフレームレートであっても、撮像フレームレートで、より多くの評価値を得ることができる。また、表示画像を生成するための合成画像データは、リサイズ（縮小）処理した合成画像データである。このため、撮像装置２０では、データバス７００のバス帯域の圧迫を軽減することができる。また、表示処理部４００が表示画像を生成する際の処理の負荷を低減することができる。

【0140】

また、合成部２２４は、リサイズ（縮小）処理された画像データを合成して、合成画像データを生成する。すなわち、合成部２２４は、小さな画像データに対して合成処理を施す。このため、合成部２２４は、合成処理を施すそれぞれの画像データが高い撮像フレームレートで入力された場合でも、処理の負荷が増大することなく、負荷が軽減された状態で合成処理を行うことができる。

【0141】

なお、図６に示した撮像装置２０による評価値生成および画像表示の動作の一例では、合成部２２４が２フレーム分の撮像画像の画像データを、合成画像データとして合成する場合について説明したが、撮像フレームレートと表示フレームレートとに応じて、さらに多くのフレームの撮像画像の画像データを合成することもできる。

【0142】

例えば、３フレーム分の撮像画像の画像データを合成した合成画像データに応じた表示画像を表示デバイス４０１に表示する場合には、手順２を再度繰り返し、その後、表示処理部４００が、ＤＲＡＭ５０１に格納されているリサイズ（縮小）処理した合成画像データ（ベイヤーデータ）に応じた表示画像を、表示デバイス４０１に表示するようにすればよい。これにより、表示デバイス４０１に表示する表示画像は、表示フレームレート内に含まれる、撮像フレームレートで取り込んだ全てのフレーム（例えば、３フレーム）の撮像画像を合成した合成画像データに応じた画像になる。

【0143】

なお、図６に示した撮像装置２０による評価値生成および画像表示の動作の一例では、手順１においてＡＷＢ評価値生成部２４１が評価値を生成していない場合の例について説明したが、手順１において、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１が、それぞれの評価値を生成する動作にしてもよい。すなわち、ＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を、イメージセンサ１００からの画素信号に応じた前処理画像データである、現在のフレームの撮像画像から生成し、合成画像データを、表示デバイス４０１に表示するための画像データとして使用する動作にしてもよい。これにより、合成画像データではなく、イメージセンサ１００から入力される画素信号に応じた撮像画像、すなわち、リサイズ（縮小）処理がされていない画像データを直接、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１に入力して、それぞれの評価値を生成することができる。このことにより、リサイズ（縮小）処理された画像データからでは評価値の精度が低下してしまう評価値生成の処理がある場合でも、リサイズ（縮小）処理がされていない画像データを直接、それぞれの評価値生成部に入力することによって、高い精度の評価値を生成することができる。

【0144】

上記に述べたように、本第２の実施形態における撮像装置２０でも、第１の実施形態における撮像装置１０と同様に、イメージセンサ１００から出力される画素信号の撮像フレームレートで評価値を生成する。これにより、本第２の実施形態における撮像装置２０でも、第１の実施形態における撮像装置１０と同様に、イメージセンサ１００の撮像フレームレートを高くすることによってより多くの評価値を得ることができ、撮像装置２０における撮影に関する制御を高速化することができる。

【0145】

また、本第２の実施形態における撮像装置２０では、第１の実施形態における撮像装置１０と同様に、イメージセンサ１００から出力される画素信号に応じた画像データを、フレームの単位で合成する。これにより、本第２の実施形態における撮像装置２０でも、第１の実施形態における撮像装置１０と同様に、イメージセンサ１００の撮像フレームレートと表示デバイス４０１の表示フレームレートとが異なる場合でも、イメージセンサ１００から取り込んだ撮像画像のフレームを間引くことなく、良好な表示画像を表示デバイス４０１に表示することができる。

【0146】

また、本第２の実施形態における撮像装置２０では、表示処理部４００が表示画像を生成する際に用いる画像データを事前にリサイズ（縮小）処理し、リサイズ（縮小）処理した後の画像データをＤＲＡＭ５０１に格納する。これにより、本第２の実施形態における撮像装置２０では、データバス７００のバス帯域の圧迫を軽減することができる。また、表示処理部４００が表示画像を生成する際の処理の負荷を低減することができる。

【0147】

また、本第２の実施形態における撮像装置２０では、合成部２２４は、リサイズ（縮小）処理された画像データをフレームの単位で合成した合成画像データを生成する。これにより、本第２の実施形態における撮像装置２０では、合成部２２４が合成処理を行う際の処理の負荷も低減することができる。

【0148】

なお、本第２の実施形態における撮像装置２０では、図５に示したブロック図のように、処理部２２２ｃと合成部２２４との間との間に、リサイズ処理部２２５が追加された構成について説明した。しかし、撮像装置２０に備えるリサイズ処理部の位置は、図５に示した位置に限定されるものではない。例えば、リサイズ（縮小）処理を行うリサイズ処理部を、図９に示したような位置に配置した構成にすることもできる。

【0149】

＜第２の実施形態の第１の変形例＞
図７は、本第２の実施形態における撮像装置２０の別の概略構成を示したブロック図である。以下の説明においては、図７に示した撮像装置を、撮像装置２１という。撮像装置２１は、図５に示した撮像装置２０内の撮像処理部２００において、リサイズ処理部２２５の代わりに、撮像ＩＦ部２１０と前処理部２２０内のセレクタ２２１との間に、リサイズ処理部２８０を配置したのみであり、その他の構成要素は、本第２の実施形態の撮像装置２０と同様である。従って、撮像装置２１の説明においては、本第２の実施形態の撮像装置２０とは異なる構成、および動作のみを説明して、詳細な説明は省略する。

【0150】

撮像ＩＦ部２１０は、イメージセンサ１００から入力された画素信号に応じた画像データ（現在のフレームの撮像画像）を、リサイズ処理部２８０に出力する。

【0151】

リサイズ処理部２８０は、撮像ＩＦ部２１０から入力された画像データを、例えば、それぞれの評価値生成部が生成する評価値の精度が低下しない程度の、予め定めた画像の大きさにリサイズ（縮小）する。そして、リサイズ処理部２８０は、リサイズ（縮小）した画像データを、リサイズ（縮小）した現在のフレームの撮像画像として、前処理部２２０内のセレクタ２２１に出力する。なお、リサイズ処理部２８０によるリサイズ（縮小）の処理の方法は、画像データをリサイズ（縮小）するサイズ、すなわち、画像データの縮小率が異なるのみで、リサイズ処理部２２５が行うリサイズ（縮小）の処理の方法と同様であるため、詳細な説明は省略する。

【0152】

なお、リサイズ処理部２８０は、撮像ＩＦ部２１０から入力された画像データに対してリサイズ（縮小）処理を施すか否かを切り換える、すなわち、リサイズ（縮小）処理をＯＮまたはＯＦＦにする機能を備えている。リサイズ処理部２８０によるリサイズ（縮小）処理のＯＮまたはＯＦＦの切り換えは、撮像装置２０における評価値生成および画像表示の動作の手順に毎に、ＣＰＵ６００が制御する。

【0153】

セレクタ２２１は、リサイズ処理部２８０から入力されたリサイズ（縮小）処理された画像データ（現在のフレームのリサイズ（縮小）処理された撮像画像）、および入力ＤＭＡ部２７０から入力された画像データ（以前のフレームのリサイズ（縮小）処理された撮像画像）の出力先を選択する。より具体的には、セレクタ２２１は、リサイズ処理部２８０から入力された画像データを、処理部２２２ａまたはディレイ部２２３ａのいずれか一方に出力する。また、セレクタ２２１は、入力ＤＭＡ部２７０から入力された画像データを、処理部２２２ａまたはディレイ部２２３ａのいずれか一方に出力する。

【0154】

そして、撮像装置２１では、リサイズ処理部２８０によるリサイズ（縮小）処理をＯＮにした状態で、第１の実施形態の撮像装置１０と同様の手順で、評価値生成および画像表示の動作を行う。これにより、出力ＤＭＡ部２６１がＤＲＡＭ５０１に格納する、図４（ａ）に示した画像サイズ２６１ｏ１の大きさ（手順１参照）、および図４（ｂ）に示した画像サイズ２６１ｏ２の大きさ（手順２参照）が小さくなる。また、入力ＤＭＡ部２７０がＤＲＡＭ５０１から取得する（読み出す）、図４（ｂ）に示した画像サイズ２７０ｉの大きさ（手順２参照）が小さくなる。

【0155】

これにより、図７に示した撮像装置２１では、評価値生成部によって生成する評価値の精度を確保しつつ、データバス７００上に同時期に存在する画像データの大きさを、小さくすることができる。このことにより、図７に示した撮像装置２１では、データバス７００のバス帯域の圧迫を軽減することができ、表示処理部４００における表示処理の負荷を軽減することができる。また、図７に示した撮像装置２１では、合成部２２４がフレームの単位で合成する画像データの大きさも小さくなるため、合成部２２４における合成処理の負荷も軽減することができる。

【0156】

なお、本第２の実施形態における撮像装置２０では、図５に示したブロック図のように、処理部２２２ｃと合成部２２４との間との間に、１つのリサイズ処理部２２５が追加された構成について説明した。しかし、撮像装置２０に備えるリサイズ処理部は、１つに限定されるものではない。例えば、図８に示したように、複数のリサイズ処理部を備える構成にすることもできる。

【0157】

＜第２の実施形態の第２の変形例＞
図８は、本第２の実施形態における撮像装置２０のさらに別の概略構成を示したブロック図である。以下の説明においては、図８に示した撮像装置を、撮像装置２２という。撮像装置２２は、図５に示した撮像装置２０内の撮像処理部２００において、セレクタ２６０と出力ＤＭＡ部２６１との間にリサイズ処理部８００が追加され、入力ＤＭＡ部２７０と前処理部２２０内のセレクタ２２１との間に、リサイズ処理部９００が追加されたのみであり、その他の構成要素は、本第２の実施形態の撮像装置２０と同様である。従って、撮像装置２２の説明においては、本第２の実施形態の撮像装置２０とは異なる構成、および動作のみを説明して、詳細な説明は省略する。

【0158】

図８に示した撮像装置２２では、リサイズ処理部２２５は、処理部２２２ｃから入力された前処理画像データを、例えば、それぞれの評価値生成部が生成する評価値の精度が低下しない程度の、予め定めた画像の大きさにリサイズ（縮小）する。なお、リサイズ処理部２２５によるリサイズ（縮小）の処理の方法は、画像データをリサイズ（縮小）するサイズ（縮小率）が異なるのみである。

【0159】

リサイズ処理部８００は、セレクタ２６０から入力された画像データを、例えば、表示デバイス４０１が表示することができる、予め定めた画像の大きさにリサイズ（縮小）する。そして、リサイズ処理部８００は、リサイズ（縮小）した画像データを、表示デバイス４０１に表示する元の画像データとして出力ＤＭＡ部２６１に出力する。なお、リサイズ処理部８００によるリサイズ（縮小）の処理の方法は、リサイズ処理部２２５によってリサイズ（縮小）された画像データがセレクタ２６０から入力される、すなわち、入力される画像データの大きさが異なることにより、画像データをリサイズ（縮小）するサイズ（縮小率）が異なるのみで、リサイズ処理部２２５が行うリサイズ（縮小）の処理の方法と同様であるため、詳細な説明は省略する。

【0160】

なお、リサイズ処理部８００は、セレクタ２６０から入力された画像データに対してリサイズ（縮小）処理を施すか否かを切り換える、すなわち、リサイズ（縮小）処理をＯＮまたはＯＦＦにする機能を備えている。リサイズ処理部８００によるリサイズ（縮小）処理のＯＮまたはＯＦＦの切り換えは、撮像装置２０における評価値生成および画像表示の動作の手順に毎に、ＣＰＵ６００が制御する。

【0161】

入力ＤＭＡ部２７０は、ＤＭＡによって、ＤＲＡＭ５０１に格納されている画像データ（以前のフレームの撮像画像）を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した画像データをリサイズ処理部９００に出力する。

【0162】

リサイズ処理部９００は、入力ＤＭＡ部２７０から入力された画像データを、リサイズ処理部２２５がリサイズ（縮小）処理した前処理リサイズ画像データ、すなわち、第２フレームの撮像画像の大きさにリサイズ（拡大）する。そして、リサイズ処理部９００は、リサイズ（拡大）した画像データを、前処理部２２０に出力する。なお、リサイズ処理部９００によるリサイズ（拡大）の処理の方法は、例えば、表示処理部４００が行うリサイズ（縮小）の処理と逆の方法と同様であるため、詳細な説明は省略する。

【0163】

なお、リサイズ処理部９００は、入力ＤＭＡ部２７０から入力された画像データに対してリサイズ（拡大）処理を施すか否かを切り換える、すなわち、リサイズ（拡大）処理をＯＮまたはＯＦＦにする機能を備えている。リサイズ処理部９００によるリサイズ（拡大）処理のＯＮまたはＯＦＦの切り換えは、撮像装置２０における評価値生成および画像表示の動作の手順に毎に、ＣＰＵ６００が制御する。

【0164】

セレクタ２２１は、撮像ＩＦ部２１０から入力された画像データ（現在のフレームの撮像画像）、およびリサイズ処理部９００から入力された画像データ（以前のフレームの撮像画像）の出力先を選択する。より具体的には、セレクタ２２１は、撮像ＩＦ部２１０から入力された画像データを、処理部２２２ａまたはディレイ部２２３ａのいずれか一方に出力する。また、セレクタ２２１は、リサイズ処理部９００から入力された画像データを、処理部２２２ａまたはディレイ部２２３ａのいずれか一方に出力する。

【0165】

そして、撮像装置２２では、リサイズ処理部２２５およびリサイズ処理部８００のリサイズ（縮小）処理をＯＮにし、リサイズ処理部９００のリサイズ（拡大）処理をＯＮにした状態で、図６に示した撮像装置２０と同様の手順で、評価値生成および画像表示の動作を行う。これにより、出力ＤＭＡ部２６１がＤＲＡＭ５０１に格納する、図６（ａ）に示した画像サイズ２６１ｏＳの大きさ（手順１参照）、および図６（ｂ）に示した画像サイズ２６１ｏＳの大きさ（手順２参照）が、図６に示した動作の一例と同じ大きさになる。また、入力ＤＭＡ部２７０がＤＲＡＭ５０１から取得する（読み出す）、図６（ｂ）に示した画像サイズ２７０ｉＳの大きさ（手順２参照）も、図６に示した動作の一例と同じ大きさになる。

【0166】

また、撮像装置２２では、図６（ａ）に示した画像サイズ２２４ｏＳ１の大きさ（手順１参照）、および図６（ｂ）に示した画像サイズ２２４ｏＳ２の大きさ（手順２参照）は、図６に示した動作の一例よりも大きくなる。しかし、撮像装置２２では、リサイズ処理部２２５が、それぞれの評価値生成部が生成する評価値の精度が低下しない程度の大きさに、前処理画像データをリサイズ（縮小）処理した前処理リサイズ画像データ（ベイヤーデータ）を出力する。また、リサイズ処理部９００は、リサイズ処理部２２５がリサイズ（縮小）処理した前処理リサイズ画像データの大きさに、入力ＤＭＡ部２７０から入力された画像データを、リサイズ（拡大）する。これにより、合成部２２４は、それぞれの評価値生成部が生成する評価値の精度が低下しない大きさの合成画像データを、出力することができる。このことにより、撮像装置２２では、合成画像データからでも、高い精度の評価値を生成することができる。

【0167】

このように、図８に示した撮像装置２２では、複数のリサイズ処理部（図８に示した概略構成においては、リサイズ処理部２２５およびリサイズ処理部８００）によって、画像データを、最終的に表示デバイス４０１が表示することができる予め定めた画像の大きさにリサイズ（縮小）する。これにより、図８に示した撮像装置２２でも、データバス７００のバス帯域の圧迫を軽減することができ、表示処理部４００が表示画像を生成する際の処理の負荷を低減することができる。

【0168】

また、図８に示した撮像装置２２では、リサイズ処理部２２５が、それぞれの評価値生成部が生成する評価値の精度が低下しない程度の大きさに、前処理画像データをリサイズ（縮小）する。これにより、図８に示した撮像装置２２では、評価値生成部が生成する評価値の精度を確保しつつ、合成部２２４がフレームの単位で画像データを合成する際の合成処理の負荷も軽減することができる。

【0169】

上記に述べたとおり、本発明を実施するための形態では、撮像装置の撮像処理部内に、ＤＲＡＭに格納された画像データを取得する（読み出す）入力ＤＭＡ部（本実施形態においては、入力ＤＭＡ部２７０）を設けた。また、撮像処理部に備えた評価値生成部（本実施形態においては、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１）のそれぞれの前段（画像データの入力部）に、対応する評価値生成部に入力する画像データを選択するセレクタ（本実施形態においては、セレクタ２３０、セレクタ２４０、およびセレクタ２５０）を設けた。また、撮像処理部に備えた前処理部（本実施形態においては、前処理部２２０）内に、現在のフレームの画像データと以前のフレームの画像データとを合成した合成画像データを生成する合成部（本実施形態においては、合成部２２４）を設けた。

【0170】

これにより、本発明を実施するための形態によれば、イメージセンサ（本実施形態においては、イメージセンサ１００）から画素信号を取り込んで評価値を生成するための画像データのフレームレート（撮像フレームレート）を高くすることによって、より多くの評価値を得ることができる撮像装置を実現することができる。そして、この場合でも、イメージセンサから得られた各フレームの撮像画像を間引くことなく、すなわち、画像データの情報を減らすことなく、撮像装置（本実施形態においては、撮像装置１０および撮像装置２０）に備えた表示デバイス（本実施形態においては、表示デバイス４０１）が画像を表示することができるフレームレート（表示フレームレート）で、表示デバイスに画像を表示することができる。

【0171】

また、本発明を実施するための形態によれば、評価値生成部に入力して評価値を生成する画像データを、リアルタイムに入力される画像データ、ＤＲＡＭに格納された画像データ、または各フレームの画像データを合成した画像データのいずれか一方に切り換えることができる。これにより、本発明を実施するための形態によれば、同じ評価値生成部を用いて（同じ評価値生成部を流用して）、様々な画像データに基づいたそれぞれの評価値を生成することができる。

【0172】

より具体的には、例えば、第１の実施形態の撮像装置１０では、ＣＰＵ６００がセレクタ２２１を制御することによって、処理部２２２ａ〜２２２ｃおよびディレイ部２２３ａ〜２２３ｃに転送する画像データを選択する。また、ＣＰＵ６００がセレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０を制御することによって、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、ＡＦ評価値生成部２５１、および出力ＤＭＡ部２６１に入力する画像データを選択する。これにより、第１の実施形態の撮像装置１０では、評価値を生成する画像データや、ＤＲＡＭ５０１に格納する画像データを切り換えることができる。すなわち、第１の実施形態の撮像装置１０では、イメージセンサ１００から出力される画素信号に応じた現在のフレームの画像データや、ＤＲＡＭコントローラ５００を介して取得し（読み出し）した以前のフレームの画像データや、現在のフレームの画像データと以前のフレームの画像データとを合成した画像データに基づいて、ＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成することができる。これにより、適切な画像データから、必要なタイミングで、撮影に関するＡＥ、ＡＷＢ、およびＡＦの制御を行うための評価値を得ることができる。例えば、高速化の必要がない制御は、合成画像データに基づいて、表示フレームレートで評価値を得ることによって、撮像装置１０の消費電力が必要以上に高くなることなく、適切な制御を行うことができる。

【0173】

また、本発明を実施するための形態によれば、撮像処理部内に、画像データをリサイズ（縮小）するリサイズ処理部（本実施形態においては、リサイズ処理部８００）を設けた。これにより、本発明を実施するための形態によれば、イメージセンサから入力される画素信号に応じた撮像画像を表示デバイスに順次表示するときに、データバスのバス帯域の圧迫を軽減することができる。このことにより、表示処理部が表示画像を生成する際の処理の負荷を低減することができる。特に、本実施形態においては、入力ＤＭＡ部２７０がＤＲＡＭ５０１に格納されている撮像画像を取得し（読み出し）、出力ＤＭＡ部２６１が、合成画像データをＤＲＡＭ５０１に格納するとき、２フレーム分の撮像画像の画像データが、データバス７００上に同時期に存在するが、同時期に存在する２フレーム分の撮像画像の画像データの大きさを小さくすることによって、データバス７００のバス帯域の圧迫を軽減することができる。

【0174】

また、本発明を実施するための形態によれば、リサイズ処理部を、前処理部内の合成部の前段（画像データの入力部）に設けた。これにより、本発明を実施するための形態によれば、合成部が合成画像データを生成する際の処理の負荷を低減することができる。このことにより、本発明を実施するための形態では、合成部がフレームの単位で画像データを合成する際に、イメージセンサから出力された各フレームの撮像画像の画像データが、高い撮像フレームレートで合成部に入力された場合でも、合成処理の負荷が増大することなく合成処理を行うことができる。

【0175】

また、本発明を実施するための形態によれば、リサイズ処理部がリサイズ（縮小）処理する際に、評価値生成部が生成する評価値の精度が低下しない程度の大きさに画像データをリサイズ（縮小）することができる。これにより、本発明を実施するための形態によれば、評価値生成部が生成する評価値の精度を確保しつつ、合成部がフレームの単位で画像データを合成する際の合成処理の負荷も軽減することができる。

【0176】

なお、本実施形態においては、例えば、撮像装置１０において、撮像ＩＦ部２１０が現在のフレームの撮像画像と以前のフレームの撮像画像とを、同じタイミングで処理している。これは、前処理部２２０内に設けたセレクタ２２１とディレイ部２２３ａ〜２２３ｃとによるものである。また、撮像ＩＦ部２１０が異なるタイミングで取り込んだ異なる画像データを同時に処理する方法として、例えば、入力ＤＭＡ部２７０がＤＲＡＭ５０１に格納されている以前のフレームの撮像画像を取得する（読み出す）タイミングを、ＣＰＵ６００が制御する方法も考えられる。しかし、ＣＰＵ６００がリアルタイムに撮像ＩＦ部２１０から入力される現在のフレームの撮像画像と同じタイミングに制御するのは容易ではない。撮像装置１０では、前処理部２２０内にディレイ部２２３ａ〜２２３ｃを設けているため、容易に、以前のフレームの撮像画像のタイミングを、リアルタイムに取り込まれる現在のフレームの撮像画像のタイミングと同じタイミングにすることができる。

【0177】

より具体的には、例えば、撮像装置１０において、セレクタ２２１によって、リアルタイムに撮像ＩＦ部２１０から入力されている現在のフレームの撮像画像を処理部２２２ａに転送し、入力ＤＭＡ部２７０から入力された、以前に撮像ＩＦ部２１０が取り込んだ以前のフレームの撮像画像をディレイ部２２３ａに転送する。そして、ディレイ部２２３ａ〜２２３ｃが、以前に撮像ＩＦ部２１０が取り込んだ以前のフレームの撮像画像を、処理部２２２ａ〜２２２ｃによってリアルタイムに前処理（補正処理）されている現在のフレームの撮像画像と同じタイミングにする。すなわち、合成部２２４には、同じタイミングで合成処理する２つの画像データが入力される。これにより、合成部２２４は、撮像ＩＦ部２１０が異なるタイミングで取り込んだ異なる画像データを、合成処理することができる。

【0178】

また、本実施形態においては、前処理部２２０内に備えた処理部２２２ａ〜２２２ｃのそれぞれに対応する３つのディレイ部２２３ａ〜２２３ｃを設け、それぞれのディレイ部２２３ａ〜２２３ｃが、入力された画像データを、対応する処理部２２２ａ〜２２２ｃの入力から出力までの遅延時間と同じ時間だけ遅らせて出力する場合について説明した。しかし、ディレイ部の構成は、本発明を実施するための形態に限定されるものではない。例えば、ディレイ部２２３ａ〜２２３ｃの代わりに、入力された画像データを、処理部２２２ａ〜２２２ｃによる前処理（補正処理）の合計の遅延時間と同じ時間だけ遅らせて出力するディレイ部を１つのみ設ける構成にすることもできる。

【0179】

また、本実施形態においては、前処理部２２０内にディレイ部２２３ａ〜２２３ｃを設けた場合について説明した。しかし、前処理部２２０内の構成は、本発明を実施するための形態に限定されるものではない。例えば、撮像ＩＦ部２１０がリアルタイムに取り込んで出力した画像データと、入力ＤＭＡ部２７０がＤＲＡＭ５０１に格納されている画像データを取得する（読み出す）タイミングとを、同じタイミングに制御することができる場合には、前処理部２２０内にディレイ部２２３ａ〜２２３ｃを設けない構成にすることもできる。この場合には、セレクタ２２１が、画像データをディレイ部２２３ａに転送する代わりに、入力された画像データを、合成部２２４およびセレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する構成になる。これにより、セレクタ２２１が、画像データをセレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とに出力する場合には、セレクタ２２１が画像データを出力してから、それぞれの評価値生成部が評価値の生成を終了するまでの時間を短縮することができる。

【0180】

また、本実施形態においては、前処理部２２０内に、入力された画像データを、処理部２２２ａ〜２２２ｃのそれぞれの入力から出力までの遅延時間と同じ時間だけ遅らせて出力するディレイ部２２３ａ〜２２３ｃを設けた場合について説明した。しかし、前処理部２２０内の構成は、本発明を実施するための形態に限定されるものではない。例えば、ディレイ部２２３ａ〜２２３ｃの代わりに、処理部２２２ａ〜２２２ｃをもう１組設けた構成にすることもできる。この場合には、リアルタイムに入力される画像データと、ＤＲＡＭに格納された画像データとの両方に、同時に前処理（補正処理）を施すことができる。なお、この場合には、前処理部の回路規模が増大してしまうことになるが、回路規模の増大よりも同時に異なる画像データに対して前処理（補正処理）を行えることが要求される撮像装置において有用であると考えられる。

【0181】

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

【符号の説明】

【0182】

１０，２０，２１，２２・・・撮像装置
１００・・・イメージセンサ（固体撮像装置）
２００・・・撮像処理部
２１０・・・撮像ＩＦ部（画像データインターフェース部）
２２０・・・前処理部（画像合成部，第１の前処理部，第２の前処理部）
２２１・・・セレクタ
２２２ａ，２２２ｂ，２２２ｃ・・・処理部（第１の前処理部，処理部，第１の処理部）
２２３ａ，２２３ｂ，２２３ｃ・・・ディレイ部（第２の前処理部，遅延部，第２の処理部）
２２４・・・合成部（画像合成部）
２３０・・・セレクタ（第１の画像データ選択部）
２３１・・・ＡＥ評価値生成部（評価値生成部）
２４０・・・セレクタ（第１の画像データ選択部）
２４１・・・ＡＷＢ評価値生成部（評価値生成部）
２５０・・・セレクタ（第１の画像データ選択部）
２５１・・・ＡＦ評価値生成部（評価値生成部）
２６０・・・セレクタ（第２の画像データ選択部）
２６１・・・出力ＤＭＡ部（画像データ書き込み部）
２７０・・・入力ＤＭＡ部（画像データ読み出し部）
３００・・・画像処理部
４００・・・表示処理部（表示部）
４０１・・・表示デバイス（表示部）
５００・・・ＤＲＡＭコントローラ（記憶部）
５０１・・・ＤＲＡＭ（記憶部）
６００・・・ＣＰＵ
７００・・・データバス
２２５・・・リサイズ処理部（画像縮小部）
２８０・・・リサイズ処理部（画像縮小部）
８００・・・リサイズ処理部（第２の画像縮小部）
９００・・・リサイズ処理部（画像拡大部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】