特許 6618235 撮像素子および撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6618235

(24)【登録日】2019年11月22日

(45)【発行日】2019年12月11日

(54)【発明の名称】撮像素子および撮像装置

(51)【国際特許分類】

   H04N 5/369 20110101AFI20191202BHJP

   H01L 27/146 20060101ALI20191202BHJP

   H04N 5/232 20060101ALI20191202BHJP

   H04N 5/345 20110101ALI20191202BHJP

   H04N 5/347 20110101ALI20191202BHJP

   H04N 5/351 20110101ALI20191202BHJP

   H04N 5/374 20110101ALI20191202BHJP

   H04N 5/378 20110101ALI20191202BHJP

【ＦＩ】

   H04N5/369

   H01L27/146 A

   H04N5/232

   H04N5/345

   H04N5/347

   H04N5/351

   H04N5/374

   H04N5/378

【請求項の数】8

【全頁数】26

(21)【出願番号】特願2013-136082(P2013-136082)

(22)【出願日】2013年6月28日

(65)【公開番号】特開2014-143666(P2014-143666A)

(43)【公開日】2014年8月7日

【審査請求日】2016年6月10日

【審判番号】不服2017-19193(P2017-19193/J1)

【審判請求日】2017年12月25日

(31)【優先権主張番号】特願2012-288036(P2012-288036)

(32)【優先日】2012年12月28日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】市川 茂

【合議体】

【審判長】 鳥居 稔

【審判官】 藤原 敬利

【審判官】 小池 正彦

(56)【参考文献】

【文献】 特開２００９−２１７５６（ＪＰ，Ａ）

【文献】 特開２００８−６０９８１（ＪＰ，Ａ）

【文献】 特開２０１２−１６５４７９（ＪＰ，Ａ）

【文献】 特開２０１１−１９９７１６（ＪＰ，Ａ）

【文献】 特開２００７−２８１５５５（ＪＰ，Ａ）

【文献】 特開平１０−１３６２５２（ＪＰ，Ａ）

【文献】 特開２００９−１７０９４４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

H04N 5/225-5/378

H04N 9/00-9/11

H01L 27/146

(57)【特許請求の範囲】

【請求項1】

複数の画素を備え、光学像に応じた画像信号を出力する画素部と、
前記画素部を駆動する駆動手段と、
前記駆動手段により前記画素部から前記画像信号が出力される出力手段と、
前記出力手段に出力された前記画像信号が入力され、当該入力された前記画像信号の加算処理を行う加算手段と、
前記出力手段に出力された前記画像信号が入力され、当該入力された前記画像信号に基づいて被写体のエッジ量を検出し、又は前記入力された連続する２フレームの画像信号のフレーム間の差分に基づいて前記被写体に動きがあるか否かを検出する検出手段と、
前記検出手段により検出された前記被写体のエッジ量が所定量以上である場合又は前記検出手段により前記被写体に動きがあると検出された場合に前記加算手段による加算処理を行わないように制御する制御手段と、
を有することを特徴とする撮像素子。

【請求項2】

さらに、前記加算手段から出力された画像信号にヘッダ情報を付加するヘッダ付加手段を有することを特徴とする請求項１に記載の撮像素子。

【請求項3】

前記画素部、前記駆動手段、および前記出力手段を有する第１の素子部と、前記加算手段、前記検出手段、および前記制御手段を有する第２の素子部とを備え、
前記第１の素子部と前記第２の素子部とが互いに積層されていることを特徴とする請求項１又は２に記載の撮像素子。

【請求項4】

複数の画素を備え、光学像に応じた画像信号を出力する画素部と、
前記画素部を駆動する駆動手段と、
前記駆動手段により前記画素部から読み出された前記画像信号を撮像素子の外部に出力する外部出力手段と、
前記画像信号に基づいて被写体のエッジ量を検出する検出手段と、
前記検出手段により検出された前記被写体のエッジ量の複数のフレーム間における差分が所定量未満である場合に前記外部出力手段により出力される前記画像信号のデータ量を少なくするように制御する制御手段と、
を有することを特徴とする撮像素子。

【請求項5】

前記外部出力手段は少なくとも２つの出力バッファを備え、
前記制御手段は前記検出手段により検出された前記被写体のエッジ量の複数のフレーム間における差分が所定量未満である場合に前記出力バッファの数を切り替えることを特徴とする請求項４に記載の撮像素子。

【請求項6】

前記画素部および前記駆動手段を有する第１の素子部と、前記外部出力手段、前記検出手段、および前記制御手段を有する第２の素子部とを備え、
前記第１の素子部と前記第２の素子部とが互いに積層されていることを特徴とする請求項４又は５に記載の撮像素子。

【請求項7】

前記駆動手段は前記画像信号を行単位で取得するように前記画素部を駆動することを特徴とする請求項１乃至６のいずれか１項に記載の撮像素子。

【請求項8】

請求項１乃至７のいずれか１項に記載の撮像素子と、
前記撮像素子から出力される前記画像信号に所定の補正処理を施す信号処理手段と、 前記撮像素子によって得られた画像を表示する表示手段と、
前記信号処理手段で得られた画像データを記録する記録手段と、
を有することを特徴とする撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、積層構造を有する撮像素子および該撮像素子を備える撮像装置に関する。

【背景技術】

【0002】

一般に、ＣＣＤ又はＣＭＯＳイメージセンサなどの撮像素子を供える撮像装置によって静止画又は動画を撮影する際には、撮影の前に被写体の位置に関する被写体情報（位置情報ともいう）を取得して、当該被写体情報に応じて最適な露出条件などを求めることが行われている。

【0003】

例えば、撮像装置において、フォーカス制御に用いる被写体の位置情報を得る際には、撮像素子から出力される画像信号に応じて当該位置情報を得ている。画像信号に応じて位置情報を取得する際には、複数の画像を連続して撮影する必要があるので、撮像素子において読み出し対象とする画素数を減らして、フレームレートを向上させることが望ましい。

【0004】

図２２は、従来の撮像装置においてライブビューの際のオートフォーカス撮像動作（ＡＦ評価撮像）のタイミングを説明するための図である。

【0005】

従来の撮像装置においては、垂直同期信号（Ｖｅｒｔｉｃａｌ Ｄｒｉｖｉｎｇ Ｐｕｌｓｅ：ＶＤ）によって撮像タイミングが規定されており、ＡＦ制御信号がオンとなると、ライブビュー撮像期間後のＶＤに応じてＡＦ評価像が撮像される。そして、ＡＦ制御信号がオフとなると、再びライブビュー撮像期間となる。

【0006】

このように、ライブビュー用画像を得るライブビュー撮像期間とＡＦ評価用画像を得るＡＦ動作期間とは時間軸に沿ってシリアルに存在するので、ライブビュー用画像とＡＦ評価用画像を同時に撮像することはできない。

【0007】

このため、図示のようにライブビュー期間（フレーム）の間に位置するＡＦ動作期間でＡＦ評価用画像を撮像することになって、ライブビュー用画像とＡＦ評価用画像との間にタイムラグが存在する。加えて、ＡＦ評価用画像を撮像する際においてもライブビュー表示は行われるものの、この際には、ＡＦ評価用画像に応じてライブビュー表示が行われる。そして、図２２に示すように、ＡＦ評価用画像を撮像する際には、ライブビュー撮像期間よりもフレームレートが高くされるため、撮像素子の読み出しにおいては間引き率が高くなり、不可避的に画質が低くなってしまう。

【0008】

この点を回避するため、例えば、撮像素子の画素部に焦点信号検出用画素を撮像信号用画素とは別に設けるようにしたものがある。ここでは、ライブビュー表示のための撮像用信号を読み出すライブビュー用読み出しモードを備えるとともに、焦点検出用信号および自動露光用測光情報に用いるための撮像用信号を撮像素子から読み出す焦点検出・自動露光用読み出しモードを備えて、これら読み出しモードをフレーム毎に循環的に繰り返して行うようにしている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２００９−８９１０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

ところが、特許文献１においては、画素単位で撮像素子から画像信号（つまり、電荷）を読み出すため、電荷の転送に時間が掛かってしまうばかりでなく、転送データ量が多くなって消費電力が増大する。さらに、撮像素子の出力である画像信号は撮像素子の外部に備えられた制御装置などによって画像信号処理されることになるので、転送データ量が多いと、制御装置における処理負荷が増大するばかりでなく、消費電力が増大する。

【0011】

加えて、特許文献１においては、画素部に焦点信号検出用画素が設けられているため、不可避的に撮像信号用画素のエリアが小さくなってしまい、焦点信号検出用画素は撮像信号（画像信号）を得る際には用いられないので、画質が低下する。

【0012】

そこで、本発明の目的は、データ転送時間を短縮するとともに画質が低下することのない撮像素子および撮像装置を提供することにある。

【課題を解決するための手段】

【0013】

上記の目的を達成するため、本発明による撮像素子は、複数の画素を備え、光学像に応じた画像信号を出力する画素部と、前記画素部を駆動する駆動手段と、前記駆動手段により前記画素部から前記画像信号が出力される出力手段と、前記出力手段に出力された前記画像信号が入力され、当該入力された前記画像信号の加算処理を行う加算手段と、前記出力手段に出力された前記画像信号が入力され、当該入力された前記画像信号に基づいて被写体のエッジ量を検出し、又は前記入力された連続する２フレームの画像信号のフレーム間の差分に基づいて前記被写体に動きがあるか否かを検出する検出手段と、前記検出手段により検出された前記被写体のエッジ量が所定量以上である場合又は前記検出手段により前記被写体に動きがあると検出された場合に前記加算手段による加算処理を行わないように制御する制御手段と、を有することを特徴とする。

【発明の効果】

【0017】

本発明によれば、データ転送時間を短縮するとともに画質の低下を防止することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。

【図2】図１に示す撮像部に備えられた撮像素子の構成についてその一例を示すブロック図である。

【図3】図１にカメラにおいて通常の画像を取得する際のタイミングを説明するための図である。

【図4】図２に示す撮像素子において画素部の一部分についてその構成の一例を示す図である。

【図5】図２に示す水平信号回路によって行われる読み出し動作を説明するためのタイミングチャートである。

【図6】図１にカメラにおいて複数の画像を同時に取得する際のタイミングを説明するための図である。

【図7】図６で説明したメインストリームおよびサブストリーム用の画素と垂直信号線に接続された垂直信号回路とを示すブロック図である。

【図8】図６で説明したメインストリームおよびサブストリームの読み出しのタイミングを説明するための図である。

【図9】図７に示す出力制御部の一例についてその構成を示すブロック図である。

【図10】図２に示すデジタル処理回路における評価値算出部および回路条件設定部の接続関係を説明するためのブロック図である。

【図11】図１０に示す評価値算出部の動作を説明するためのフローチャートである。

【図12】図１０に示す回路条件設定部の動作を説明するためのフローチャートである。

【図13】本発明の第２の実施形態によるカメラで用いられる評価値算出部の動作を説明するためのフローチャートである。

【図14】図１３に示す行単位で輝度値を算出する処理の一例を示す図である。

【図15】本発明の第２の実施形態で用いられる回路条件設定部２０７の動作を説明するためのフローチャートである。

【図16】本発明の第３の実施形態によるカメラで用いられるデジタル処理回路の構成を示すブロック図である。

【図17】被写体の輝度とエッジ量との関係を示す図である。

【図18】図１６に示すデジタル処理回路における画素加算部の動作を説明するためのフローチャートである。

【図19】図１６に示す評価値算出部で行われる動体の検出を説明するための図である。

【図20】本発明の第４の実施形態におけるカメラで用いられるデジタル処理回路２０４に備えられた回路条件設定部２０７と外部出力バッファとの接続を示すブロック図である。

【図21】図２０に示す回路条件設定部２０７で行われる外部出力バッファの制御を説明するためのフローチャートである。

【図22】従来の撮像装置においてライブビューの際のオートフォーカス撮像動作（ＡＦ評価撮像）のタイミングを説明するための図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

【0020】

［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。なお、図示の撮像装置は、例えば、動画機能付き電子スチルカメラ又はビデオカメラに適用される。

【0021】

撮像装置（以下単にカメラと呼ぶ）１００は、撮影レンズユニット（以下単にレンズ部と呼ぶ）１０１を有しており、レンズ部１０１は被写体像（光学像ともいう）を撮像部１０３に集光する。レンズ部１０１には、焦点距離を変更するための焦点距離変更部および入射光を遮光するための遮光部などが含まれている。

【0022】

レンズ部１０１と撮像部１０３との間には光量調整部１０２が配置されており、例えば、光量調整部１０２は減光フィルタの挿入機構又は絞り機構である。撮像部（つまり、撮像素子）１０３は画素部、Ａ／Ｄ変換回路、およびデジタル処理部（ともに図示せず）などを有している。撮像素子はレンズ部１０１および光量調整部１０２を介して結像した光学像に応じた電気信号（アナログ信号）を出力する。そして、Ａ／Ｄ変換回路によってアナログ信号はデジタル信号（デジタル画像信号）に変換される。デジタル処理部はデジタル画像信号（以下単に画像信号とも呼ぶ）に基づいて後述する制御用の評価値を算出する。

【0023】

撮像部１０３の出力である画像信号および評価値は信号処理部１０４に与えられ、信号処理部１０４は画像信号について補正用パラメータの生成および画像信号の補正処理を行う。

【0024】

撮像制御部１０５は、全体制御・演算部１０６の制御下で、撮像部１０３および信号処理部１０４等に対してタイミング信号を送るとともに、画像信号を増幅するためのゲイン設定信号、露出時間を設定するための露出時間設定信号、およびその他の制御に必要な信号を生成する。全体制御・演算部１０６は撮像装置１００全体の制御を司る。

【0025】

全体制御・演算部１０６には、記憶部１０７、撮影条件検出部１０８、および撮影条件演算部１０９が備えられている。記憶部１０７には信号処理部１０４の出力である画像信号および評価値が一時的に記憶される。撮影条件検出部１０８は撮像部１０３の出力に応じて画面における被写体の位置を検出して位置情報を得る。撮影条件演算部１０９は、後述するようにして、位置情報に応じて撮影条件を決定する。

【0026】

撮影条件演算部１０９は、決定した撮影条件に基づいてレンズ部１０１の焦点距離の変更、光量調整部１０２による光量の調整、又は撮像制御部１０５による露光時間およびゲインの調整を行う。

【0027】

なお、図１に示す例では、信号処理部１０４は全体制御・演算部１０６とは別の構成としたが、全体制御・演算部１０６が信号処理部１０４を備えるようにしてもよく、撮像部１０３に信号処理部１０４が備えられるようにしてもよい。

【0028】

図示のカメラ１００には操作部１１０、記録部１１１、および表示部１１２が備えられており、操作部１１０には釦およびダイヤルなどのヒューマンＩＦが備えられ、ユーザ操作によって操作部１１０は全体制御・演算部１０６に各種の動作命令を行う。記録部１１１には、全体制御・演算部１０６が画像信号に応じて生成した画像データが記録される。表示部１１２には、全体制御・演算部１０５で生成された画像データに応じた画像が表示されるとともに、操作部１０８による入力操作に応じたアイコンなどが表示される。

【0029】

図２は、図１に示す撮像部１０３に備えられた撮像素子の構成についてその一例を示すブロック図である。

【0030】

図２において、撮像素子は、例えば、ＣＭＯＳイメージセンサであり、画素部２０１を有している。画素部２０１は２次元マトリックス状配列された複数の画素を有してする。そして、画素の各々では光電変換によって生じた電荷のリセットおよび読み出し動作が行われる。なお、画素部２０１には、黒信号レベルを決定するための所謂オプティカルブラック画素および回路ノイズ除去などに用いられるダミー画素が含まれている。

【0031】

水平信号回路２０２は、画素部２０１および垂直信号回路２０３ａおよび２０３ｂを制御して、画素部２０１において各行の露光時間の設定、画素信号を読み出す読み出し行の選択および非選択設定などを行う。そして、これらの設定は全体制御・演算部１０６の制御下で撮像制御部１０５によって行われる。

【0032】

垂直信号回路２０３ａおよび２０３ｂの各々は、例えば、列アンプ回路、及びＡ／Ｄ変換回路、画素加算回路、信号メモリ、信号出力選択スイッチ、および出力回路を有している。画素部２０１と垂直信号回路２０３ａおよび２０３ｂとは、列間に共通する垂直信号線で接続されている。また、ここでは、２列ごとに１つの垂直信号線が共有される。そして、垂直信号化色２０３ａおよび２０３ｂにはそれぞれ異なる垂直信号線が交互に接続される。

【0033】

デジタル処理回路（信号処理部）２０４は複数の行を駆動制御して各行について独立して信号の増幅、Ａ／Ｄ変換回路の設定（Ａ／Ｄ変換精度、スピード、および変換ゲインなど）、画素加算の有無、および出力順の制御などを行う。

【0034】

デジタル処理回路２０４は、垂直信号回路２０３ａおよび２０３ｂからの出力信号に対してヘッダ情報を付加して、それぞれ外部出力バッファ２０５ａおよび２０５ｂに出力する。図示のように、撮像素子は複数の外部出力バッファ２０５ａおよび２０５ｂを有しているので、同時に複数の画像信号を出力することができる。

【0035】

デジタル処理回路２０４には、評価値算出部２０６および回路条件設定部２０７が備えられており、評価値算出部２０６は撮像制御部１０５の制御下で、特定行の画像信号（つまり、ここでは、画素信号）から制御用の評価値を算出する。ここでは、制御用の評価値は、例えば、被写体輝度値であり、評価値算出部２０６は、特定行の画素信号を平均化して被写体輝度値を得る。回路条件設定部２０７は評価値算出部２０６で得られた制御用の評価値又は撮像制御部１０５から送られる制御信号に応じて水平信号回路２０２および垂直信号回路２０３ａおよび２０３ｂの設定を行う。

【0036】

図２に示す例では、画素部２０１、水平信号回路２０２、および垂直信号回路２０３ａおよび２０３ｂとデジタル処理回路２０４および外部出力バッファ２０５ａおよび２０５ｂとは互いに異なる基板上に形成されている。

【0037】

ここでは、画素部２０１、水平信号回路２０２、および垂直信号回路２０３ａおよび２０３ｂを第１の素子部と呼び、デジタル処理回路２０４および外部出力バッファ２０５ａおよび２０５ｂを第２の素子部と呼ぶ。第１および第２の素子部は、例えば、積層構造を有している。

【0038】

このようにして、多数の回路が集積するデジタル処理回路２０４を別の基板とすることによって、基板上の半導体面積を小さくすることができる。

【0039】

図３は、図１にカメラ１００において通常の画像を取得する際のタイミングを説明するための図である。

【0040】

図示の例では、全体制御・演算部１０６又は撮像制御部１０５が生成する垂直同期信号に応じて、露光および信号読み出しが行われる。

【0041】

図４は、図２に示す撮像素子において画素部の一部分についてその構成の一例を示す図である。

【0042】

図示のように、ここでは、４つのフォトダイオード（ＰＤ）４０１によって共有構造単位４０８が規定される。ＰＤ４０１はレンズ部１０２を介して入射した光学像を光電変換して電荷信号（単に電荷とも呼ぶ）を出力する。転送トランジスタ（転送Ｔｒ）４０２は水平信号回路２０２から出力される転送信号（ＴＸ信号、ここではサフィックスは省略する）に応じてＰＤ４０１で発生した電荷を後段に転送する。信号増幅アンプ４０３は、転送Ｔｒ４０２が導通、つまり、オンすると、ＰＤ４０１から転送された電荷信号を増幅する。

【0043】

信号リセット用トランジスタ（リセットＴｒ）４０４は、水平信号回路２０２から出力されるリセット信号（ＲＳ信号、ここではサフィックスは省略する）に応じてＰＤ４０１および信号増幅アンプ４０３のリセットを行う。ここでは、図示のように、信号増幅アンプ４０３およびリセットＴｒ４０４は４つのＰＤ４０１で共有されている。

【0044】

垂直信号線４０７は、信号増幅アンプ３０４の出力である増幅信号を垂直信号回路２０３ａ又は２０３ｂに伝送する。そして、上述の共通構造単位４０８を１つの単位として、複数の共通構造単位４０８が２次元的に配列され、ＴＸ信号およびＲＳ信号は同一の行において、２以上の共有構造単位４０８に共通に接続される。

【0045】

図５は、図２に示す水平信号回路によって行われる読み出し動作を説明するためのタイミングチャートである。

【0046】

図３〜図５を参照して、水平信号回路２０２は水平同期信号に応じて、時間Ｔ５０１でＲＳ信号（ＲＳ１）を立ち上げるとともに、ＴＸ信号（ＴＸ１１〜ＴＸ１４）を順次立ち上げる。ここでは、図示のように、ＴＸ１１を立ち下げた後、時間Ｔ５０２でＴＸ１２を立ち上げて、ＲＳ１の立下りでＴＸ１２が立ち下げられる。

【0047】

続いて、時間Ｔ５０３でＴＸ１１を立ち上げ、ＴＸ１１を立ち下げた後、時間Ｔ５０４でＴＸ１２が立ち上げられる。そして、ＴＸ１２を立ち下げた後、時間Ｔ５０５でＲＳ１が立ち上げられるとともに、ＴＸ１３が立ち上げられる。その後、ＴＸ１３を立ち下げた後、時間Ｔ５０６でＴＸ１４が立ち上げられて、ＲＳ１の立下りでＴＸ１４が立ち下げられる。

【0048】

上記の動作によって、各ＰＤ４０１の電荷がリセットされ順次露光が行われる。そして、この動作は、撮像制御部１０５によって設定された条件によって、他の画素単位４０８においても順次行われる。

【0049】

前述のように、リセット動作後において所定の露光時間が経過すると、ＴＸ１１およびＴＸ１２が順次立ち上がり、各ＰＤ４０１の電荷が信号増幅アンプ４０３に順次読み出される。信号増幅アンプ４０３の出力である増幅信号は垂直信号線４０７に読み出されて、垂直信号回路２０３ａ又は２０３ｂに入力される。この動作についても、撮像制御部１０５によって設定された条件によって他の行で順次行われる。

【0050】

このようにして、画素のリセットおよび読み出し動作を行単位で順次行うことによって、一面（つまり、一画面）の画像信号データを取得することができる。また、動画などのように連続して撮影する場合には、垂直同期信号に同期して、撮影条件の設定を変更することができる。

【0051】

この撮影条件は、取得した画像信号に応じて撮影条件検出部１０８で行われる検出の結果に基づいて、撮影条件演算部１０９で算出される。そして、この撮影条件に応じて、撮像制御部１０５は撮像部１０３を制御する。なお、デジタル処理回路２０４は画像データを出力バッファ２０５ａおよび２０５ｂを介して信号処理部１０４に出力する。

【0052】

図６は、図１にカメラ１００において複数の画像を同時に取得する際のタイミングを説明するための図である。

【0053】

図示の例では、全体制御・演算部１０６又は撮像制御部１０５が生成する垂直同期信号に応じて、複数の画像に関してそれぞれ露光および信号読み出しが行われる。ここでは、出力バッファ２０５ａに出力される画像データ（メインストリーム）に対して、出力バッファ２０５ｂに出力される画像データ（サブストリーム）係るフレームレートが速くされる。

【0054】

例えば、メインストリームを読み出す際の垂直同期信号よりも短い周期（ここでは、１／４の周期）でサブストリームを読み出す際の垂直同期信号を供給して、サブストリーム用の画素について露光を行い、次の垂直同期信号の期間で画像データの読み出しを行う。

【0055】

図７は、図６で説明したメインストリームおよびサブストリーム用の画素と垂直信号線に接続された垂直信号回路とを示すブロック図である。なお、垂直信号回路２０３ａおよび２０３ｂの構成は同一である。

【0056】

図８は、図６で説明したメインストリームおよびサブストリームの読み出しのタイミングを説明するための図である。

【0057】

図７および図８を参照して、垂直信号回路２０３ｂは２つの第１のスイッチ部７０１を有しており、これら第１のスイッチ部７０１はバッファ７０１ａを介して垂直信号線４０７に接続される。第１のスイッチ部７０１はそれぞれデジタル処理回路２０４から与えられるＳＷ１−１信号およびＳＷ１−２信号によってオンオフ制御される。垂直信号線４０７に出力された増幅信号（ＯＵＴ）は、第１のスイッチ部７０１の一方が時間Ｔ８０１でＳＷ１−１信号によってオンすると、信号メモリ７０２の一方に電圧Ｖ１−１として与えられる。そして、ＳＷ１−１信号によって第１のスイッチ７０１の一方がオフされると（時間Ｔ８０２）、電圧Ｖ１−１に応じた電荷（第１の電圧信号）が信号メモリに一時的に蓄積される。

【0058】

同様にして、ＳＷ１−２信号によって第２のスイッチ部７０１の他方がオンオフされて、信号メモリ７０２の他方に電圧Ｖ１−２に応じた電荷（第２の電圧信号）が一時的に蓄積される。このようにして、第１のスイッチ部７０１をオンオフ制御することによって、メインストリーム（第２の電圧信号）又はサブストリーム（第１の電圧信号）の読み出しの際に、他のストリームの読み出しなどの影響を除去することができる。

【0059】

垂直信号回路２０３ｂは２つの第２のスイッチ部７０３を有しており、第２のスイッチ部７０３はそれぞれデジタル処理回路２０４から与えられるＳＷ２−１信号およびＳＷ２−２信号によってオンオフ制御される。信号メモリ７０２に蓄積された電荷は、時間Ｔ８０３で第１のスイッチ部７０３がＳＷ２−１信号およびＳＷ２−２信号によってオンすると、それぞれ電圧Ｖ１−１およびＶ１−２としてＡ／Ｄ変換回路７０４に与えられる。

【0060】

このようにして、電圧Ｖ１−１およびＶ１−２をそれぞれ別のＡ／Ｄ変換回路７０４に入力することによって、撮影状態（つまり、撮影条件）に応じたＡ／Ｄ変換制御を行うことができる。時間Ｔ８０４において、Ａ／Ｄ変換回路７０４は電圧（アナログ信号）Ｖ１−１およびＶ１−２を、デジタル処理回路２０４の制御下で所定のＡ／Ｄ変換条件に応じてデジタル信号（画像信号）Ｄ１−１およびＤ１−２（第１の画像データおよび第２の画像データ）に変換する。

【0061】

上記の所定のＡ／Ｄ変換条件として、例えば、Ａ／Ｄ変換回路の動作の有無、Ａ／Ｄ変換におけるビット精度、Ａ／Ｄ変換速度、Ａ／Ｄ変換回路に対する供給電流量又は電圧、Ａ／Ｄ変換ゲイン、およびＡ／Ｄ変換動作の開始時間のうち少なくとも１つがある。

【0062】

Ａ／Ｄ変換回路７０４の出力である画像信号Ｄ１−１およびＤ１−２は出力制御部７０５に与えられる。そして、出力制御部７０５は、デジタル処理回路２０４の制御下で画像信号Ｄ１−１およびＤ１−２の少なくとも１つを選択して、時間Ｔ８０５において選択画像信号Ｄｏｕｔとしてデジタル処理部２０４に出力する。つまり、出力制御部７０５は第１および第２の画像データを選択的に出力することになる。

【0063】

図９は、図７に示す出力制御部７０５の一例についてその構成を示すブロック図である。

【0064】

図示の出力制御部７０５は、第１および第２の乗算器７０５ａおよび７０５ｂと加算器７０５ｃとを有している。そして、第１および第２の乗算器７０５ａおよび７０５ｂにはそれぞれ画像信号Ｄ１−１およびＤ１−２が与えられる。第１の乗算器７０５ａは画像信号Ｄ１−１に第１の係数αを乗算して第１の乗算信号を出力する。一方、第２の乗算器７０５ｂは画像信号Ｄ１−２に第２の係数βを乗算して第２の乗算信号を出力する。

【0065】

加算器７０５は第１および第２の乗算信号を加算して、加算信号を選択画像信号として出力する。ここで、第１の係数α＝０とすれば、出力制御部７０５から画像信号Ｄ１−１が選択画像信号として出力される。一方、第２の係数β＝０とすれば、出力制御部７０５から画像信号Ｄ１−２が選択画像信号として出力される。また、第１の係数α＝第２の係数β＝１とすれば、出力制御部７０５から画像信号Ｄ１−１およびＤ１−２が選択画像信号として出力される。

【0066】

なお、図７には示されていないが、他の垂直信号線についても、図７に示す回路構成と同様の回路構成が接続されており、複数の行について同時にＡ／Ｄ変換を行うことができる。

【0067】

図１０は、図２に示すデジタル処理回路における評価値算出部２０６および回路条件設定部２０７の接続関係を説明するためのブロック図である。

【0068】

前述のように、デジタル処理回路２０４は評価値算出部２０６および回路条件設定部２０７を備えており、評価値算出部２０６には垂直信号回路２０３ａおよび２０３ｂの出力である画像信号が入力される。そして、評価値算出部２０６は画像信号に応じて評価値を算出して、メモリ１００１に当該評価値を記憶する。

【0069】

前述の画像信号はヘッダ付加部１００２にも与えられており、ヘッダ付加部１００２は画像信号に同期コードおよび露出条件などのヘッダ情報を付加する。

【0070】

図１１は、図１０に示す評価値算出部２０６の動作を説明するためのフローチャートである。

【0071】

評価値算出部２０６は垂直信号回路２０３ａおよび２０３ｂからフレーム番号Ｎ＝０としてサブストリームを取得する（ステップＳ１１００）。続いて、評価値算出部２０６は当該サブストリームについて評価値算出対象領域（対象エリア）があるか否かを判定する（ステップＳ１１０１）。対象エリアでないと（ステップＳ１１０１において、ＮＯ）、評価値算出部２０６は待機する。

【0072】

一方、対象エリアであると（ステップＳ１１０１において、ＹＥＳ）、評価値算出部２０６は評価値（制御用評価値）として被写体の輝度値Ｙを求める（ステップＳ１１０２）。そして、評価値算出部２０６は対象エリアが終了したか否かを判定する（ステップＳ１１０３）。

【0073】

対象エリアが終了していないと（ステップＳ１１０３において、ＮＯ）、評価値算出部２０６はステップＳ１１０１の処理に戻って対象エリアであるか否かを判定する。一方、対象エリアが終了すると（ステップＳ１１０３において、ＹＥＳ）、評価値算出部２０６は当該輝度値Ｙをメモリ１００１に記憶する（ステップＳ１１０４）。

【0074】

続いて、評価値算出部２０６はフレーム番号Ｎ＝Ｎ＋１として（ステップＳ１１０５）、垂直信号回路２０３ａおよび２０３ｂからサブストリームを取得する（ステップＳ１１０６）。評価値算出部２０６は当該サブストリームについて対象エリアがあるか否かを判定する（ステップＳ１１０７）。対象エリアでないと（ステップＳ１１０７において、ＮＯ）、評価値算出部２０６は待機する。

【0075】

一方、対象エリアであると（ステップＳ１１０７において、ＹＥＳ）、評価値算出部２０６は評価値として被写体の輝度値Ｙを求める（ステップＳ１１０８）。そして、評価値算出部２０６は対象エリアが終了したか否かを判定する（ステップＳ１１０９）。

【0076】

対象エリアが終了していないと（ステップＳ１１０９において、ＮＯ）、評価値算出部２０６はステップＳ１１０７の処理に戻って対象エリアであるか否かを判定する。一方、対象エリアが終了すると（ステップＳ１１０９において、ＹＥＳ）、評価値算出部２０６はメモリ１００１に記憶された輝度値（又は輝度平均値）とステップＳ１１０８で求めた輝度値とを平均して輝度平均値を求める（ステップＳ１１１０）。そして、評価値算出部２０６は当該輝度平均値をメモリ１００１に記憶する（ステップＳ１１１１）。

【0077】

続いて、評価値算出部２０６は、フレーム番号Ｎが輝度平均値を求めるための算出フレーム数（Ｎｍａｘ）分となったか否かを判定する（ステップＳ１１１２）。そして、Ｎ＝Ｎｍａｘでないと（ステップＳ１１１２において、ＮＯ）、評価値算出部２０６はステップＳ１１０５に戻って次のフレームについて処理を行う。

【0078】

Ｎ＝Ｎｍａｘであると（ステップＳ１１１２において、ＹＥＳ）、評価値算出部２０６は算出フレーム数（Ｎｍａｘ）分について求めた結果（輝度平均値）Ｙ＿ｓｕｂを、回路条件部２０７に出力する（ステップＳ１１１３）。そして、評価値算出部２０６は評価値算出処理を終了する。

【0079】

なお、上述の例では、フレーム毎に得られた輝度値を平均化処理したが、所定の重みづけを行って最終的な輝度値を算出するようにしてもよい。さらには、フレーム間の差分を算出結果とするようにしてもよい。

【0080】

さらに、算出対象領域座標、算出対象領域数、および算出フレーム数（Ｎｍａｘ）などは、撮影制御部１０５から設定することができる。また、算出する輝度値を保存するメモリ１００１に対して、撮影制御部１０５から所定の値を事前に書き込んでおくようにしてもよい。

【0081】

前述のように、図示の例では、メインストリームを１枚取得する間に、サブストリームを４枚取得することができる。つまり、メインストリームを読み出す前に、少なくとも３枚のサブストリームから評価値（輝度平均値）を算出することができる。

【0082】

図１２は、図１０に示す回路条件設定部２０７の動作を説明するためのフローチャートである。

【0083】

撮影制御部１０５から撮影条件（つまり、第１の撮影条件）が入力されると（ステップＳ１２０１）、回路条件設定部２０７は水平信号回路２０２と垂直信号回路２０３ａおよび２３０ｂとに撮影条件を動作設定として設定する（ステップＳ１２０２）。ここでは、回路条件設定部２０７はメインストリームおよびサブストリームの双方について設定を行う。

【0084】

前述のようにして、評価値算出部２０６から算出結果Ｙ＿ｓｕｂが入力されると（Ｓステップ１２０３）、回路条件設定部２０７は、算出結果Ｙ＿ｓｕｂが所定の範囲にあるか否かを判定する。ここでは、回路条件設定部２０７は、判定下限輝度値Ｙ＿ｂ＜算出結果Ｙ＿ｓｕｂ＜判定上限輝度値Ｙ＿ｕであるか否かを判定する（ステップＳ１２０４）。

【0085】

判定の結果、Ｙ＿ｂ＜Ｙ＿ｓｕｂ＜Ｙ＿ｕであると（ステップＳ１２０４において、ＹＥＳ）、回路条件設定部２０７はステップＳ１２０１の処理に戻って、再び撮影条件を入力する。一方、Ｙ＿ｂ≧Ｙ＿ｓｕｂ又はＹ＿ｓｕｂ≧Ｙ＿ｕであると（ステップＳ１２０４において、ＮＯ）、回路条件設定部２０７は水平信号回路２０２と垂直信号回路２０３に撮影条件（第１の撮影条件）を変更して第２の撮影条件として設定する（ステップＳ１２０５）。

【0086】

ステップＳ１２０５の処理では、メインストリームについて水平信号回路２０２と垂直信号回路２０３ａおよび２０３ｂの動作設定が行われる。例えば、回路条件設定部２０７は判定下限輝度値と判定上限輝度値とで規定される判定範囲からの乖離量に応じた設定値を、メインストリームを取得する際に水平信号回路２０２に設定されたシャッタースピード設定値から加減算する。

【0087】

なお、回路条件設定部２０７は判定範囲からの乖離量に応じた設定値に応じて、垂直信号回路２０３ａおよび２０３ｂに設定されたＡ／Ｄ変換条件を変更するようにしてもよい。さらには、回路条件設定部２０７は第１のスイッチ部７０１の接続動作、第２のスイッチ部７０３の接続動作、又は出力制御部７０５のＡ／Ｄ変換結果、若しくは乗算する係数（第１および第２の係数）を変更するようにしてもよい。そして、当該動作は設定処理の終了までフレーム毎に行われる。

【0088】

続いて、回路条件設定部２０７は算出結果Ｙ＿ｓｕｂに基づいて撮影条件を変更したことを示すため、ヘッダ付加部１００２によってそのヘッダに変更した撮影条件を付加する（ステップＳ１２０６）。そして、回路条件設定部２０７は全てのフレームについて処理を行ったか否かを判定する（ステップＳ１２０７）。

【0089】

全てのフレームについて処理を終了していないと（ステップＳ１２０７において、ＮＯ）、回路条件設定部２０７はステップＳ１２０１の処理に戻る。一方、全てのフレームについて処理を終了すると（ステップＳ１２０７において、ＹＥＳ）、回路条件設定部２０７は設定処理を終了する。

【0090】

このようにして、本発明の第１の実施形態では、メインストリームよりもフレームレートが速いサブストリームから制御用の評価値である輝度値を算出して、当該輝度値に応じてメインストリームに係る撮影条件を変更するようにしたので、急激に被写体輝度が変化したとしても、早急に追従することができる。

【0091】

なお、第１の実施形態では、画素単位４０８を水平２画素および垂直２画素としたが、異なる構成の画素単位においても、同様の効果を得ることができる。また、ここでは、メインストリームに用いる画素とサブストリームに用いる画素とを行単位で異ならせるようにしたが、必ずしも行単位である必要はなく、列単位で異ならせるようにしてもよい。さらには、画面内において飛び飛びの複数の画素を用いるようにしてもよい。

【0092】

加えて、図７に示す複数のＡ／Ｄ変換回路は同一の形式のものでなくてもよい。つまり、第２のスイッチ部７０３で切り替えるようにすれば、異なる形式のＡ／Ｄ変換回路を用いるようにしてもよい。また、回路規模を縮小するため、第２のスイッチ部の後段に位置するＡ／Ｄ変換回路を共通化するようにしてもよい。この場合には、Ａ／Ｄ変換回路は時分割で用いられることになる。

【0093】

第１の実施形態では、Ａ／Ｄ変換回路は垂直信号回路２０３ａおよび２０３ｂに備えられているが、デジタル処理回路２０４がＡ／Ｄ変換回路を備えるようにしてもよい。つまり、Ａ／Ｄ変換回路を画素部２０１と異なる基板に配置するようにしてもよい。さらに、評価値算出部２０６はサブストリームに応じて制御用の評価値を算出するようにしたが、メインストリームに応じて評価値を算出するようにしてもよい。また、制御用の評価値である輝度値Ｙを算出する際には、互いに異なるカラーフィルターを用いて得られた画像信号に応じて輝度値Ｙを算出するようにしてもよく、カラーフィルターごとに得られた画像信号に応じて輝度値を算出するようにしてもよい。

【0094】

加えて、第１の実施形態では、回路条件設定部２０７は評価値算出部２０６から輝度値（輝度平均値）を受けるとしたが、輝度値をメモリ１００１から取得するようにしてもよい。そして、回路条件設定部２０７で用いられる判定下限輝度値Ｙ＿ｂおよび判定上限輝度値Ｙ＿ｕは、全体制御演算部１０６から設定される。

【0095】

［第２の実施形態］
上述の第１の実施形態では、同一の画面で異なるフレームレートの複数の画像を同時に取得して、その一方の画像に応じて制御用の評価値を算出して、当該評価値に応じて他方の画像を得る際の撮影条件を変更する例について説明した。

【0096】

ところが、被写体の輝度は画面内で一様ではないので、いずれの領域を評価値算出の対象エリアとするかによって、評価値が大きく異なることがある。このため、画面内のエリアに応じて撮影条件を変更した方が好ましいことがある。

【0097】

なお、本発明の第２の実施形態におけるカメラの構成は図１に示すカメラと同様であり、さらに、画素部の構成および画像の撮影手法は第１の実施形態と同様である。

【0098】

図１３は、本発明の第２の実施形態によるカメラで用いられる評価値算出部２０６の動作を説明するためのフローチャートである。

【0099】

評価値算出部２０６は垂直信号回路２０３ａおよび２０３ｂからフレーム番号Ｎ＝０および行番号Ｌ＝０としてサブストリームを取得する（ステップＳ１３００）。続いて、評価値算出部２０６は当該サブストリームについて評価値算出対象領域（対象エリア）があるか否かを判定する（ステップＳ１３０１）。

【0100】

対象エリアであると（ステップＳ１３０１において、ＹＥＳ）、評価値算出部２０６は当該行において評価値として被写体の輝度値Ｙを求める（ステップＳ１３０２）。そして、評価値算出部２０６は輝度値Ｙと行番号Ｌとをメモリ１００１に保存する（ステップＳ１３０３）。

【0101】

図１４は、図１３に示す行単位で輝度値を算出する処理の一例を示す図である。

【0102】

図１４に示すように、ここでは、算出対象領域（対象エリア）について行毎に輝度値Ｙが順次算出される。

【0103】

次に、評価値算出部２０６は、Ｌ＝Ｌ＋１として次の行に進み（ステップＳ１３０４）、対象エリアが終了したか否かを判定する（ステップＳ１３０５）。対象エリアが終了していないと（ステップＳ１３０５において、ＮＯ）、評価値算出部２０６はステップＳ１３０１の処理に戻って対象エリアであるか否かを判定する。なお、対象エリアでないと（ステップＳ１３０１において、ＮＯ）、評価値算出部２０６はステップＳ１３０４の処理に進む。

【0104】

対象エリアが終了すると（ステップＳ１３０５において、ＹＥＳ）、評価値算出部２０６はフレーム番号Ｎ＝Ｎ＋１として次のフレームに進み（ステップＳ１３０６）、行番号Ｌ＝０としてサブストリームを取得する（ステップＳ１３０７）。評価値算出部２０６は当該サブストリームについて対象エリアがあるか否かを判定する（ステップＳ１３０８）。

【0105】

対象エリアであると（ステップＳ１３０８において、ＹＥＳ）、評価値算出部２０６は当該行において評価値として被写体の輝度値Ｙを求める（ステップＳ１３０９）。そして、評価値算出部２０６はメモリ１００１に記憶された同一行番号Ｌの輝度値（又は輝度平均値）とステップＳ１３０９で求めた輝度値とを平均して輝度平均値を求める（ステップＳ１３１０）。そして、評価値算出部２０６は当該輝度平均値および行番号Ｌをメモリ１００１に記憶する（ステップＳ１３１１）。

【0106】

次に、評価値算出部２０６は、Ｌ＝Ｌ＋１として次の行に進み（ステップＳ１３１２）、対象エリアが終了したか否かを判定する（ステップＳ１３１３）。対象エリアが終了していないと（ステップＳ１３１３において、ＮＯ）、評価値算出部２０６はステップＳ１３０８の処理に戻って対象エリアであるか否かを判定する。なお、対象エリアでないと（ステップＳ１３０８において、ＮＯ）、評価値算出部２０６はステップＳ１３１２の処理に進む。

【0107】

対象エリアが終了すると（ステップＳ１３１３において、ＹＥＳ）、評価値算出部２０６は、フレーム番号Ｎが輝度平均値を求めるための算出フレーム数（Ｎｍａｘ）分となったか否かを判定する（ステップＳ１３１４）。そして、Ｎ＝Ｎｍａｘでないと（ステップＳ１３１４において、ＮＯ）、評価値算出部２０６はステップＳ１３０６に戻って次のフレームについて処理を行う。

【0108】

Ｎ＝Ｎｍａｘであると（ステップＳ１３１４において、ＹＥＳ）、評価値算出部２０６は算出フレーム数（Ｎｍａｘ）分について求めた結果（輝度平均値）Ｙ＿ｓｕｂ（Ｌ）を、回路条件部２０７に出力する（ステップＳ１３１５）。そして、評価値算出部２０６は評価値算出処理を終了する。ステップＳ１３１５の処理では、各Ｌ値についてフレーム数（Ｎｍａｘ）分の算出結果Ｙ＿ｓｕｂ（Ｌ）が回路条件部２０７に与えられる。

【0109】

なお、上述の例では、行毎に得られた輝度値を平均化処理したが、所定の重みづけを行って最終的な輝度値を算出するようにしてもよい。さらには、フレーム間の差分を算出結果とするようにしてもよい。

【0110】

さらに、算出対象領域座標、算出対象領域数、および算出フレーム数（Ｎｍａｘ）などは、撮影制御部１０５から設定することができる。また、算出する輝度値を保存するメモリ１００１に対して、撮影制御部１０５から所定の値を事前に書き込んでおくようにしてもよい。

【0111】

図１５は、本発明の第２の実施形態で用いられる回路条件設定部２０７の動作を説明するためのフローチャートである。

【0112】

撮影制御部１０５から撮影条件が入力されると（ステップＳ１５０１）、回路条件設定部２０７は水平信号回路２０２と垂直信号回路２０３ａおよび２３０ｂとに撮影条件を動作設定として設定する（ステップＳ１５０２）。ここでは、回路条件設定部２０７はメインストリームおよびサブストリームの双方について設定を行う。

【0113】

前述のようにして、評価値算出部２０６から算出結果Ｙ＿ｓｕｂ（Ｌ）が入力されると（Ｓステップ１５０３）、回路条件設定部２０７は、行番号Ｌ＝０とする（ステップＳ１５０４）。

【0114】

続いて、回路条件設定部２０７は算出結果Ｙ＿ｓｕｂ（Ｌ）が所定の範囲にあるか否かを判定する。ここでは、回路条件設定部２０７は、判定下限輝度値Ｙ＿ｂ＜算出結果Ｙ＿ｓｕｂ（Ｌ）＜判定上限輝度値Ｙ＿ｕであるか否かを判定する（ステップＳ１５０５）。

【0115】

判定の結果、Ｙ＿ｂ＜Ｙ＿ｓｕｂ＜Ｙ＿ｕであると（ステップＳ１５０５において、ＹＥＳ）、回路条件設定部２０７は、後述するステップＳ１５０８の処理に進む。一方、Ｙ＿ｂ≧Ｙ＿ｓｕｂ（Ｌ）又はＹ＿ｓｕｂ（Ｌ）≧Ｙ＿ｕであると（ステップＳ１５０５において、ＮＯ）、回路条件設定部２０７は水平信号回路２０２と垂直信号回路２０３ａおよび２０３ｂに撮影条件を変更して設定する（ステップＳ１５０６）。

【0116】

ステップＳ１５０６の処理では、メインストリームについて水平信号回路２０２と垂直信号回路２０３ａおよび２０３ｂの動作設定が行われる。例えば、回路条件設定部２０７は判定下限輝度値と判定上限輝度値とで規定される判定範囲からの乖離量に応じた設定値を、メインストリームを取得する際に水平信号回路２０２に設定されたシャッタースピード設定値から加減算する。

【0117】

なお、前述のように、回路条件設定部２０７は判定範囲からの乖離量に応じた設定値に応じて、垂直信号回路２０３ａおよび２０３ｂに設定されたＡ／Ｄ変換条件を変更するようにしてもよい。さらには、回路条件設定部２０７は第１のスイッチ部７０１の接続動作、第２のスイッチ部７０３の接続動作、又は出力制御部７０５のＡ／Ｄ変換結果、若しくは乗算する係数（第１および第２の係数）を変更するようにしてもよい。そして、当該動作は設定処理の終了までフレーム毎に行われる。

【0118】

続いて、回路条件設定部２０７は算出結果Ｙ＿ｓｕｂ（Ｌ）に基づいて撮影条件を変更したことを示すため、ヘッダ付加部１００２によってそのヘッダに変更した撮影条件をヘッダ情報として付加する（ステップＳ１５０７）。そして、回路条件設定部２０７は行番号Ｌ＝Ｌ＋１とする（ステップＳ１５０８）。

【0119】

続いて、回路条件設定部２０７は最終行の処理を行ったか否かを判定する。つまり、回路条件設定部２０７は最終行に達したか否かを判定する（ステップＳ１５０９）。最終行に達しないと（ステップＳ１５０９において、ＮＯ）、回路条件設定部２０７はステップＳ１５０５の処理に戻って算出結果Ｙ＿ｓｕｂ（Ｌ）が所定の範囲にあるか否かを判定する。

【0120】

最終行に達すると（ステップＳ１５０９において、ＹＥＳ）、回路条件設定部２０７は全てのフレームについて処理を行ったか否かを判定する（ステップＳ１５１０）。全てのフレームについて処理を終了していないと（ステップＳ１５１０において、ＮＯ）、回路条件設定部２０７はステップＳ１５０１の処理に戻って撮影条件を入力する。一方、全てのフレームについて処理を終了すると（ステップＳ１５１０において、ＹＥＳ）、回路条件設定部２０７は設定処理を終了する。

【0121】

このようにして、本発明の第２の実施形態では、メインストリームよりもフレームレートが速いサブストリームから制御用の評価値である輝度値を行毎に算出して、当該輝度値に応じてメインストリームに係る撮影条件を行単位で変更するようにしたので、画面内における被写体輝度の変化に対しても対処することができる。

【0122】

なお、第２の実施形態では行単位で評価値を算出するようにしたが、列単位又は飛び飛びの画素単位で評価値を算出するようにしてもよい。

【0123】

［第３の実施形態］
上述の第１および第２の実施形態では、制御用の評価値として輝度値を用いる例について説明した。一方、画像を取得する場合には露出条件以外にも、画面内のエリアに応じて撮影条件を変更したほうがよいことがある。なお、本発明の第３の実施形態におけるカメラの構成は図１に示すカメラと同様であり、さらに、画素部の構成および画像の撮影手法は第１および第２の実施形態と同様である。

【0124】

図１６は、本発明の第３の実施形態によるカメラで用いられるデジタル処理回路２０４の構成を示すブロック図である。なお、図１６において、図１０に示すデジタル処理回路２０４と同一の構成要素については同一の参照番号を付して説明を省略する。

【0125】

図１６に示すデジタル処理回路２０４は、画素加算部１６０１を有しており、画素加算部１６０１は撮影制御部１０５による設定に応じた垂直又は水平の画素データの加算処理を行う。画素データの加算によって、外部出力バッファ２０５から出力される画像信号のデータ量を削減することができる。また、図１６に示す評価値算出部２０６は、制御用の評価値として被写体のエッジ量（被写体エッジ量）を検出する。

【0126】

図１７は、被写体の輝度とエッジ量との関係を示す図である。

【0127】

図１７においては、画像のＡ−Ａ’線で示す部分（ライン）における輝度値とエッジ量とが示されており、輝度値の変化に応じてエッジ量が変化していることが分かる。

【0128】

評価値算出部２０６は行単位で、次の式（１）に基づいて、画素加算前に対象画素（座標（ｘ，ｙ））の輝度値と周辺画素とのメディアン値との差分を求めて、当該差分の最大値をエッジ量Ｔ（Ｌ）とする。

【0129】

【数1】

【0130】

図１８は、図１６に示すデジタル処理回路２０４における画素加算部１６０１の動作を説明するためのフローチャートである。

【0131】

撮影制御部１０５から撮影条件が入力されると（ステップＳ１８０１）、回路条件設定部２０７は撮影条件に応じて画素加算部１６０１に初期条件を設定する（Ｓ１８０２）。ここでは、回路条件設定部２０７はメインストリームおよびサブストリームの双方について設定を行う。

【0132】

評価値算出部２０６から行毎のエッジ量算出結果Ｔ（ｘ，ｙ）［以下Ｔ（Ｌ）という］が入力されると（ステップＳ１８０３）、回路条件設定部２０７は行番号Ｌ＝０とする（ステップＳ１８０４）。そして、回路条件設定部２０７はエッジ量算出結果Ｔ（Ｌ）が所定の範囲にあるか否かを算出する。ここでは、回路条件設定部２０７はエッジ量算出結果Ｔ（Ｌ）＜判定上限エッジ量Ｔ＿ｕであるか否かを判定する（ステップＳ１８０５）。

【0133】

判定の結果、Ｔ（Ｌ）＜Ｔ＿ｕであると（ステップＳ１８０５において、ＹＥＳ）、回路条件設定部２０７は、後述するステップＳ１８０８の処理に進む。一方、Ｔ（Ｌ）≧Ｔ＿ｕであると（ステップＳ１５０５において、ＮＯ）、回路条件設定部２０７はメインストリームにおける画素加算部１６０１の画素加算条件を変更する設定を行う（ステップＳ１８０６）。

【0134】

例えば、回路条件設定部２０７は、エッジ量が判定上限エッジ量以上である行については当該行の画素データに関して画素加算動作を行わない設定を行う。そして、回路条件設定部２０７は加算条件を変更すると、その旨をヘッダ付加部１００２によってヘッダ情報に付加する（ステップＳ１８０７）。

【0135】

続いて、回路条件設定部２０７は行番号Ｌ＝Ｌ＋１とし（ステップＳ１８０８）、最終行に達したか否かを判定する（ステップＳ１８０９）。最終行に達しないと（ステップＳ１８０９において、ＮＯ）、回路条件設定部２０７はステップＳ１８０５の処理に戻ってエッジ量算出結果Ｔ（Ｌ）が所定の範囲にあるか否かを判定する。

【0136】

最終行に達すると（ステップＳ１８０９において、ＹＥＳ）、回路条件設定部２０７は全てのフレームについて処理を行ったか否かを判定する（ステップＳ１８１０）。全てのフレームについて処理を終了していないと（ステップＳ１８１０において、ＮＯ）、回路条件設定部２０７はステップＳ１８０１の処理に戻って撮影条件を入力する。一方、全てのフレームについて処理を終了すると（ステップＳ１８１０において、ＹＥＳ）、回路条件設定部２０７は設定処理を終了する。

【0137】

このように、図１６に示すデジタル処理回路２０４では、被写体情報が急激に変化するエッジ領域においては、メインストリームに係る各行についてその加算条件を変更する動作を行うこととなる。

【0138】

図示の例では、各行におけるエッジ量算出結果を用いる例について説明したが、複数のフレームの同一行に係るエッジ量算出結果について所定の重みづけを行うようにしてもよい。また、フレーム間の差分をエッジ量算出結果として保存するようにしてもよい。

【0139】

このようにして、本発明の第３の実施形態では、サブストリームに応じて、制御用の評価値であるエッジ量を行毎に求めて、当該エッジ量に応じてメインストリームに対する加算条件を行単位で変更するようにしたので、画面における被写体の変化にも適切に対処することができる。

【0140】

なお、加算および非加算を切り替える対象およびエッジ検出の対象については、水平方向だけではなく、垂直方向も含めてもよい。さらには、第１および第２の実施形態で説明したように被写体輝度に応じて切り替えを行うようにしてもよい。

【0141】

さらに、第３の実施形態では、加算および非加算を切り替える例について説明したが、加算画素数、加算時の重み付け量、および画像信号の切り出し位置、又は加算対象画素を切り替えるようにしてもよい。

【0142】

加えて、上述の例では、行単位でエッジ量の判定を行うようにしたが、列単位又は画素単位でエッジ量を判定して加算条件を変更するようにしてもよい。また、評価値算出部２０６では評価値としてエッジ量を検出するようにしたが、評価値として動体を検出するようにしてもよい。

【0143】

図１９は、図１６に示す評価値算出部２０６で行われる動体の検出を説明するための図である。

【0144】

図示の例では、評価値算出部２０６は、連続したサブストリームにおいてフレーム間（ここでは、第Ｎフレームおよび第（Ｎ−１）フレーム）で動きがあるか否かを判定する。第Ｎフレームと第（Ｎ−１）フレームとの間で動きがあるか否かを判定する際には、評価値算出部２０６は、次の式（２）に応じて第Ｎフレームの画像（基準画像）と第（Ｎ−１）フレームの画像との差分Ｄｉｆｆを求める。そして、当該差分Ｄｉｆｆが所定の差分閾値Ｔｈよりも小さいと、評価値算出部２０６は被写体に動き（つまり、被写体動き量）がないと判定する。一方、差分Ｄｉｆｆが所定の差分閾値以上であると、評価値算出部２０６は被写体に動きがあると判定する。

【0145】

【数2】

【0146】

ここで、Ｆｒ_Ｎ（ｘ，ｙ）は第Ｎフレーム（基準画像）の座標（ｘ，ｙ）における画素値であり、Ｆｒ_Ｎ−１（ｘ，ｙ）は第（Ｎ−１）フレームの座標（ｘ，ｙ）における画素値である。そして、これらの差分の総和を全体の差分Ｄｉｆｆとして求める。

【0147】

なお、上記の動体検出処理の際には、画面を少なくとも２つの領域に分割して、各領域において上述の処理を行って、領域毎に動体の有無及び方向を判定すれば、動き検出精度を向上させることができる。

【0148】

［第４の実施形態］
続いて、本発明の第４の実施形態によるカメラの一例について説明する。なお、本発明の第４の実施形態におけるカメラの構成は図１に示すカメラと同様であり、さらに、画素部の構成および画像の撮影手法は第１および第２の実施形態と同様である。

【0149】

図２０は、本発明の第４の実施形態におけるカメラで用いられるデジタル処理回路２０４に備えられた回路条件設定部２０７と外部出力バッファとの接続を示すブロック図である。なお、図２０に示す例において、デジタル処理回路２０４では回路設定部２０７以外の構成要素は省略されている。

【0150】

図示の例では、外部出力バッファとして、メインストリーム用の外部出力バッファ２０５ａ−１および２０５ａ−２が備えられるとともに、サブストリーム用の外部出力バッファ２０５ｂ−１および２０５ｂ−２が備えられている。回路条件設定部２０７は撮影制御部１０５から設定される撮影条件に応じて、これら複数の外部出力バッファを選択して画像信号を出力する。つまり、回路条件設定部２０７はデータレートに応じて、使用する外部出力バッファの数を切り替えてその消費電力を削減する。

【0151】

第４の実施形態では、評価値算出部２０６は制御用の評価値として、例えば、エッジ量Ｔ（ｘ，ｙ）を算出する。そして、評価値算出部２０６は複数のフレーム間におけるエッジ量Ｔ（ｘ，ｙ）の差分Ｔ＿ｄｉｆｆ（ｙ）を回路条件設定部２０７に送る。差分Ｔ＿ｄｉｆｆ（ｙ）は各行におけるエッジ量Ｔ（ｘ，ｙ）に応じて式（３）を用いて求められる。

【0152】

【数3】

【0153】

ここで、Ｔ_Ｎ（ｘ，ｙ）は、第Ｎフレーム（基準画像）の座標（ｘ，ｙ）におけるエッジ量であり、Ｔ_Ｎ−１（ｘ，ｙ）は、第（Ｎ−１）フレームの座標（ｘ，ｙ）におけるエッジ量である。評価値算出部２０６は、これら差分の総和を、対象画素数Ｎで割った結果を全体の差分Ｔ＿ｄｉｆｆ（ｙ）とする。

【0154】

図２１は、図２０に示す回路条件設定部２０７で行われる外部出力バッファの制御を説明するためのフローチャートである。

【0155】

撮影制御部１０５から撮影条件が入力されると（ステップＳ２１０１）、回路条件設定部２０７は撮影条件に応じて外部出力バッファに係る制御条件を設定する（Ｓ２１０２）。ここでは、回路条件設定部２０７はメインストリームおよびサブストリームの双方について設定を行う。

【0156】

なお、上記の制御条件には、使用する外部出力バッファの数が規定されており、回路条件設定部２０７は制御条件に応じて、いずれの外部出力バッファに電源を供給するかについて切り替え制御を行う。

【0157】

評価値算出部２０６から行毎の差分算出結果Ｔ＿ｄｉｆｆが入力されると（ステップＳ２１０３）、回路条件設定部２０７は行番号Ｌ＝０とする（ステップＳ２１０４）。そして、回路条件設定部２０７は差分算出結果Ｔ＿ｄｉｆｆが所定の範囲にあるか否かを算出する。ここでは、回路条件設定部２０７は差分算出結果Ｔ＿ｄｉｆｆ＜判定上限エッジ量Ｔ＿ｕであるか否かを判定する（ステップＳ２１０５）。

【0158】

判定の結果、Ｔ＿ｄｉｆｆ≧Ｔ＿ｕであると（ステップＳ２１０５において、ＮＯ）、回路条件設定部２０７は、後述するステップＳ２１０８の処理に進む。一方、Ｔ＿ｄｉｆｆ＜Ｔ＿ｕであると（ステップＳ１５０５において、ＹＥＳ）、回路条件設定部２０７は外部出力バッファにおける制御条件を変更する設定を行う（ステップＳ２１０６）。

【0159】

例えば、回路条件設定部２０７は、メインストリーム又はサブストリームに係る外部出力バッファの制御条件を変更する。そして、回路条件設定部２０７は制御条件を変更した行については、前フレームと比べて被写体の変化が少ないとして、画素データの出力を行わないように外部出力バッファを制御する。回路条件設定部２０７は制御条件を変更すると、その旨をヘッダ付加部１００２によってヘッダ情報として付加する（ステップＳ２１０７）。

【0160】

続いて、回路条件設定部２０７は行番号Ｌ＝Ｌ＋１とし（ステップＳ２１０８）、最終行に達したか否かを判定する（ステップＳ２１０９）。最終行に達しないと（ステップＳ２１０９において、ＮＯ）、回路条件設定部２０７はステップＳ２１０５の処理に戻って差分算出結果Ｔ＿ｄｉｆｆが所定の範囲にあるか否かを判定する。

【0161】

最終行に達すると（ステップＳ２１０９において、ＹＥＳ）、回路条件設定部２０７は全てのフレームについて処理を行ったか否かを判定する（ステップＳ２１１０）。全てのフレームについて処理を終了していないと（ステップＳ２１１０において、ＮＯ）、回路条件設定部２０７はステップＳ２１０１の処理に戻って撮影条件を入力する。一方、全てのフレームについて処理を終了すると（ステップＳ２１１０において、ＹＥＳ）、回路条件設定部２０７は制御処理を終了する。

【0162】

このようにして、第４の実施形態では、各行に対して上述のようにして出力制御を行って、被写体情報の変化が少ない場合は、出力データ（画像信号）のデータ量を少なくする制御を行う。

【0163】

このように、本発明の第４の実施形態では、サブストリームから制御用の評価値を各フレーム間で算出して外部出力バッファの制御条件を行単位で変更するようにしたので、画面における被写体情報の変化に応じて消費電力を低減することができる。

【0164】

なお、第４の実施形態においても第３の実施形態と同様に、エッジ量の検出の対象は水平方向だけではなく垂直方向も含めてもよい。第３の実施形態と同様に動体を検出して、当該検出結果に応じて外部出力バッファを制御するようにしてもよい。加えて、制御条件として、クロック周波数、供給電流又は電圧を切り替えるようにしてもよい。

【0166】

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

【0167】

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

【0169】

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

【符号の説明】

【0170】

１０３ 撮像部
１０４ 信号処理部
１０５ 撮像制御部
１０６ 全体制御・演算部
２０１ 画素部
２０２ 水平信号回路
２０３ａ，２０３ｂ 垂直信号回路
２０４ デジタル処理回路
２０６ 評価値算出部
２０７ 回路条件設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】