特許 6402807 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6402807

(24)【登録日】2018年9月21日

(45)【発行日】2018年10月10日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 5/353 20110101AFI20181001BHJP

   H04N 5/374 20110101ALI20181001BHJP

   H04N 5/235 20060101ALI20181001BHJP

   H04N 5/232 20060101ALI20181001BHJP

   H04N 5/225 20060101ALI20181001BHJP

   G02B 7/28 20060101ALI20181001BHJP

   G03B 13/36 20060101ALI20181001BHJP

   G03B 7/093 20060101ALI20181001BHJP

【ＦＩ】

   H04N5/353 500

   H04N5/374

   H04N5/235 300

   H04N5/232 120

   H04N5/225 300

   H04N5/232 930

   G02B7/28 N

   G03B13/36

   G03B7/093

【請求項の数】7

【全頁数】14

(21)【出願番号】特願2017-127336(P2017-127336)

(22)【出願日】2017年6月29日

(62)【分割の表示】特願2012-81890(P2012-81890)の分割

【原出願日】2012年3月30日

(65)【公開番号】特開2017-201817(P2017-201817A)

(43)【公開日】2017年11月9日

【審査請求日】2017年6月29日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(72)【発明者】

【氏名】笹井 義史

(72)【発明者】

【氏名】上田 壮一

【審査官】 粕谷 満成

(56)【参考文献】

【文献】 特開２００９−４９８５８（ＪＰ，Ａ）

【文献】 特開２０１１−６１５１４（ＪＰ，Ａ）

【文献】 国際公開第２００６／０４９０９８（ＷＯ，Ａ１）

【文献】 特開２０１１−８２７９０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３５３

Ｈ０４Ｎ ５／３７４

Ｈ０４Ｎ ５／２３５

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２２５

Ｇ０２Ｂ ７／２８

Ｇ０３Ｂ １３／３６

Ｇ０３Ｂ ７／０９３

(57)【特許請求の範囲】

【請求項1】

第１フレームレートで画素値の読み出しが行われる複数の第１画素と前記第１フレームレートとは異なる第２フレームレートで画素値の読み出しが行われる複数の第２画素とを有する撮像素子と、
ホワイトバランス制御に用いる評価値を算出するための画素値が読み出される画素と焦点調節制御に用いる評価値を算出するための画素値が読み出される画素とを前記第１画素と前記第２画素とのうちから選択する選択部と、を備え、
前記選択部は、焦点調節制御に用いる評価値を算出するための画素値が読み出される画素を選択する場合、前記第１画素と前記第２画素とのうちから、第１露光時間で画素値の読み出しが行われる画素、前記第１露光時間よりも長い第２露光時間で画素値の読み出しが行われる画素の順に複数選択する撮像装置。

【請求項2】

前記選択部は、露出制御に用いる評価値を算出するための画素値が読み出される画素を、前記第１画素と前記第２画素とのうちから被写体輝度により選択する請求項１に記載の撮像装置。

【請求項3】

前記選択部は、ホワイトバランス制御に用いる評価値を算出するための画素値が読み出される画素を、前記第１画素と前記第２画素とのうちから被写体の動きにより選択する請求項１又は請求項２に記載の撮像装置。

【請求項4】

前記選択部は、露出制御に用いる評価値を算出するための画素値が読み出される画素を、前記第１画素と前記第２画素とのうちから被写体の動きにより選択する請求項１から請求項３のいずれか一項に記載の撮像装置。

【請求項5】

前記選択部は、焦点調節制御に用いる評価値を算出するための画素値が読み出される画素を、前記第１画素と前記第２画素とのうちから被写体の動きにより選択する請求項１から請求項４のいずれか一項に記載の撮像装置。

【請求項6】

前記撮像素子は、前記第１フレームレート及び前記第２フレームレートとは異なる第３フレームレートで画素値の読み出しが行われる複数の第３画素を有し、
前記選択部は、表示部に表示する画像を生成するための画素値が読み出される画素を、前記第１画素、前記第２画素及び前記第３画素のうちから被写体輝度により選択する請求項１から請求項５のいずれか一項に記載の撮像装置。

【請求項7】

前記選択部は、表示部に表示する画像を生成するための画素値が読み出される画素を、前記第１画素、前記第２画素及び前記第３画素のうちから被写体の動きにより選択する請求項６に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関する。

【背景技術】

【0002】

近年、ＣＣＤ（Charge Coupled Device）などを有する固体撮像素子を備える撮像装置が広く普及している。このような撮像装置には、固体撮像素子から読み出した画素値に基づいて、ＡＦ（オートフォーカス）などの撮像制御を行う撮像装置が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−２００１９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上述のような撮像装置は、ＡＦなどの撮像制御を行う場合の処理速度を向上するために、例えば、固体撮像素子から１画面分（１フレーム分）の画素値を読み出す速度を示すフレームレートを速くすることがある。このような場合、撮像装置は、例えば、画素を間引いてフレームレートを速くする。
しかしながら、上述のような撮像装置は、例えば、輝度が低い場合に、十分な露光時間がないと画素値が低くなってしまい、そのためＳＮ比が低下することがある。この場合、上述のような撮像装置は、ＡＦなどの撮像制御の精度が低下してしまう場合がある。

【0005】

本発明は、上記問題を解決すべくなされたもので、その目的は、撮像制御の精度を向上させることができる撮像装置を提供することにある。

【課題を解決するための手段】

【0006】

上記問題を解決するために、本発明の一実施形態は、第１フレームレートで画素値の読み出しが行われる複数の第１画素と前記第１フレームレートとは異なる第２フレームレートで画素値の読み出しが行われる複数の第２画素とを有する撮像素子と、ホワイトバランス制御に用いる評価値を算出するための画素値が読み出される画素と焦点調節制御に用いる評価値を算出するための画素値が読み出される画素とを前記第１画素と前記第２画素とのうちから選択する選択部と、を備え、前記選択部は、焦点調節制御に用いる評価値を算出するための画素値が読み出される画素を選択する場合、前記第１画素と前記第２画素とのうちから、第１露光時間で画素値の読み出しが行われる画素、前記第１露光時間よりも長い第２露光時間で画素値の読み出しが行われる画素の順に複数選択する撮像装置である。

【発明の効果】

【0008】

本発明によれば、撮像制御の精度を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態による撮像装置を示すブロック図である。

【図2】同実施形態における撮像部の画素の配列構成の一例を示す図である。

【図3】同実施形態における画像処理部の構成を示すブロック図である。

【図4】同実施形態における画素値の読み出し動作を示す第１のタイムチャートである。

【図5】同実施形態における画素値の読み出し動作を示す第２のタイムチャートである。

【図6】同実施形態における撮像部の画素の配列構成の別の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の一実施形態による固体撮像素子、及び撮像装置について図面を参照して説明する。
［第１の実施形態］
図１は、本実施形態による撮像装置１を示す概略ブロック図である。
図１において、撮像装置１は、レンズ１０、絞り機構１１、撮像部１２、ＴＧ（タイミングジェネレータ）１３、アナログフロントエンド部(以下、「ＡＦＥ」という)１４、画像処理部１５、ＲＡＭ（Random Access Memory）１６、記録Ｉ／Ｆ（記録インターフェース）１７、表示部１８、操作部１９、ＲＯＭ（Read Only Memory）２１、バス２２、及び制御部３０を備えている。なお、画像処理部１５、ＲＡＭ１６、記録Ｉ／Ｆ１７、表示部１８、ＲＯＭ２１及び制御部３０は、バス２２を介して互いに接続されている。また、操作部１９は、制御部３０に接続されている。

【0011】

また、本実施形態では、撮像部１２、ＴＧ１３、及びＡＦＥ１４が固体撮像素子１００に対応する。また、制御部３０及び画像処理部１５が、撮像制御部４０に対応する。

【0012】

レンズ１０は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、図１では、レンズ１０を１枚のレンズとして図示する。このレンズ１０は、不図示のレンズ駆動装置によって制御される。

【0013】

絞り機構１１は、撮像部１２に入射する光量を調整する。この調整は、制御部３０の指示に応じて絞り駆動部（不図示）により行われる。

【0014】

撮像部１２は、行と列とに配列された複数の画素１２０（図２）を有し、その撮像面に形成された被写体像を光電変換することにより、画像のアナログ画素信号を生成する。すなわち、撮像部１２は、被写体像を撮像し、撮像する画像の画素データを生成する。本実施形態では、撮像部１２に、例えば、ＸＹアドレス方式のＣＭＯＳ（Complementary Metal-Oxide Semiconductor）を用いている。この撮像部１２の受光面には、マトリックス状に配列された画素１２０を構成する複数の受光素子が配備されている。撮像部１２は、制御部３０の指示に基づくＴＧ１３による制御により、これらの受光素子が受光して生成したアナログ画素信号を画素データとして、ＡＦＥ１４に出力する。撮像部１２は、ＴＧ１３によって行（ライン）ごとに異なる露光時間により光電変換するように制御される。撮像部１２におけるラインごとの露光時間の制御、及び読み出し制御の詳細については後述する。

【0015】

ＡＦＥ１４は、撮像部１２が生成するアナログ画素信号に対して信号処理を施すアナログフロントエンド回路である。このＡＦＥ１４は、アナログ画素信号のゲイン調整や、アナログ画素信号のＡ／Ｄ（アナログ／デジタル）変換などを行う。ＡＦＥ１４は、変換したデジタル画素信号を画素データとして、画像処理部１５に出力する。

【0016】

ＴＧ（タイミングジェネレータ）１３（制御部）は、制御部３０からの指示に従い撮像部１２及びＡＦＥ１４の各々へ向けて駆動信号を供給し、供給する駆動信号により両者の駆動タイミングを制御する。ＴＧ１３は、撮像部１２の全ラインの画素データを画像データとして読み出す全画素読み出しモードと、撮像部１２の全ラインのうちの所定のラインの画素を間引いた画素データを画像データとして読み出す間引き読み出しモードとを有している。本実施形態では、間引き読み出しモードである場合に、ＴＧ１３は、上述した撮像部１２のラインごとの露光時間に基づく画素値を、撮像制御に用いられる情報として撮像部１２から読み出す。ここで、撮像制御とは、例えば、オートフォーカスの制御（以下、ＡＦ制御と称す）、自動露出の制御（以下、ＡＥ制御と称す）、及びオートホワイトバランスの制御（以下、ＡＷＢ制御と称す）などである。なお、撮像制御には、被写体の確認のために表示部１８にライブビュー画像やスルー画像などを表示させる制御を含めてもよい。

【0017】

例えば、ＴＧ１３は、撮像部１２から読み出したラインごとの露光時間に基づく画素値を、オートフォーカスの制御（ＡＦ制御）における評価値を算出する情報として撮像部１２から読み出す制御を行う。また、例えば、ＴＧ１３は、撮像部１２から読み出したラインごとの露光時間に基づく画素値を、自動露出の制御（ＡＥ制御）における評価値を算出する情報として撮像部１２から読み出す制御を行う。また、例えば、ＴＧ１３は、撮像部１２から読み出したラインごとの露光時間に基づく画素値を、オートホワイトバランスの制御（ＡＷＢ制御）における評価値を算出する情報として撮像部１２から読み出す制御を行う。また、例えば、ＴＧ１３は、ラインごとの露光時間のうちの所定の露光時間に基づく画素値を、表示画像として読み出す。ＴＧ１３は、撮像部１２から読み出した画素値を、ＡＦＥ１４を介して画素データとして、画像処理部１５に出力させる。

【0018】

また、ＴＧ１３は、例えば、画素に蓄電された画素値を撮像部１２のラインごとにリセットすることにより、ラインごとの露光時間を変更する。また、ＴＧ１３は、被写体の輝度（明るさ）に応じて、撮像部１２から画素値を読み出すラインを変更する。ＴＧ１３は、例えば、被写体の輝度が所定の値より低い（暗い）場合に、被写体の輝度が所定の値以上の場合（明るい場合）よりも露光時間が長いラインの画素値を選択して読み出す。なお、被写体の輝度情報は、例えば、制御部３０から供給される。
また、ＴＧ１３は、被写体の動きに応じて、撮像部１２からラインごとの露光時間に基づく画素値を読み出すラインを変更する。ＴＧ１３は、例えば、被写体の移動速度が所定の値より速い場合に、被写体の移動速度が所定の値以下の場合（明るい場合）よりも露光時間が短いラインの画素値を選択して読み出す。なお、被写体の移動速度の情報は、例えば、制御部３０から供給される。

【0019】

表示部１８は、例えば、液晶ディスプレイであって、制御部３０の指示に応じて各種画像を表示する。表示部１８は、例えば、撮像部１２によって撮像された画像データや、操作画面等を表示する。
操作部１９は、例えば、レリーズボタン、十字キー、コマンドダイヤル、タッチパネル、その他の操作キーなどであり、ユーザによる操作内容に応じて操作入力信号を制御部３０に供給する。操作部１９は、例えば、ユーザがレリーズボタンを全押しすることにより撮像の指示を制御部３０に与える。

【0020】

ＲＯＭ２１は、撮像装置１を制御する制御プログラムを記憶している。ＲＯＭ２１には、例えば、後述する撮像動作のシーケンスプログラムや後述する補正処理のシーケンスプログラムが予め記憶されている。
ＲＡＭ１６は、撮像部１２によって撮像された画像データや、撮像処理における各種設定情報などを記憶する。

【0021】

記録Ｉ／Ｆ１７は、カードメモリ等の取り外しが可能な記録媒体２３と接続され、この記録媒体２３への画像データの書込み、読み出し、又は消去を行う。
記録媒体２３は、撮像装置１に対して着脱可能に接続される記憶部であり、例えば、画像処理部１５によって画像処理された画像データなどを記憶（記録）する。

【0022】

バス２２は、画像処理部１５と、ＲＡＭ１６と、記録Ｉ／Ｆ１７と、表示部１８と、ＲＯＭ２１と、制御部３０とに接続され、各部から出力された画像データや制御信号等を転送する。

【0023】

画像処理部１５は、ＡＦＥ１４が出力する画像データ（画素データ）をＲＡＭ１６に記憶させる。また、画像処理部１５は、後述する補正処理、評価値の算出処理、及びホワイトバランスなど各種の画像処理を実行する。画像処理部１５は、例えば、上述した間引き読み出しモードにおいて、ＴＧ１３によって読み出された、異なる露光時間に対応するラインごとの画素値に基づいてＡＦ評価値、ＡＥ評価値、及びＡＷＢ評価値を算出する。画像処理部１５は、算出したＡＷＢ評価値に基づいて、オートホワイトバランスの処理を実行する。また、画像処理部１５は、算出したＡＦ評価値、及びＡＥ評価値を、バス２２を介して制御部３０に出力する。なお、画像処理部１５の詳細な構成については後述する。

【0024】

制御部３０は、例えば、ＣＰＵ（Central processing unit）などのプロセッサを含み、撮像装置１の統括的な制御を行う。制御部３０は、ＲＯＭ２１に予め記憶されている制御プログラムを実行することにより撮像装置１の各部を制御する。制御部３０は、例えば、操作部１９を介して撮像指示を受け付けた際に、撮像部１２とＡＦＥ１４とを介して得られる画像データを、撮像された画像として、記録媒体２３に記憶させる。また、制御部３０は、間引き読み出しモードにおいて、画像処理部１５による上述の評価値の算出に用いる画素値に対応するラインごとの露光時間を選択するための情報（例えば、輝度情報、被写体の移動速度の情報）を画像処理部１５から取得した画像データに基づいて生成する。制御部３０は、生成した露光時間を選択するための情報をＴＧ３に出力する。

【0025】

また、制御部３０は、例えば、画像処理部１５が算出したＡＦ評価値に基づいて、ＡＦ制御を行う。具体的に、制御部３０は、ＡＦ評価値に基づいて被写体の測距処理を行い、この測距処理の結果に基づいて、レンズ１０のフォーカスレンズを制御する。
また、制御部３０は、例えば、画像処理部１５が算出したＡＥ評価値に基づいて、ＡＥ制御を行う。具体的に、制御部３０は、ＡＥ評価値に基づいて固体撮像素子１００の感度及び露光時間の変更や絞り機構１１の制御を行う。

【0026】

また、制御部３０は、ＡＦ制御部３１、及びＡＥ制御部３２を備えている。
ＡＦ制御部３１は、画像処理部１５が算出したＡＦ評価値に基づいて、上述したＡＦ制御を行う。
ＡＥ制御部３２は、画像処理部１５が算出したＡＥ評価値に基づいて、上述したＡＥ制御を行う。

【0027】

このように、本実施形態において制御部３０及び画像処理部１５に対応する撮像制御部４０は、固体撮像素子１００から出力される画素値に基づいて上述の撮像制御を行う。

【0028】

次に、本実施形態における１２の画素（受光素子）の構成について説明する。
図２は、本実施形態における撮像部１２の画素１２０の配列構成の一例を示す図である。
図２において、撮像部１２は、複数の画素１２０を有し、受光素子である画素１２０は、行（ライン）と列の２次元配列により形成されている。ここで、複数の画素１２０は、複数のライン（行）を有している。各ラインは、間引き読み出しモードにおいて、露光時間が異なる５つのグループ（ＲＯＷＡ、ＲＯＷＢ、ＲＯＷＣ、ＲＯＷＤ、及びＲＯＷＥ）に分類されている。

【0029】

ここで、ラインＡ_１〜Ａ_４は、ＲＯＷＡに対応し、例えば、フレームレートが１２０ｆｐｓ（Frames Per Second）に対応する露光時間により各画素１２０が蓄電されて読み出されるように、ＴＧ１３によって制御される。また、ラインＢ_１〜Ｂ_４は、ＲＯＷＢに対応し、例えば、フレームレートが６０ｆｐｓに対応する露光時間により各画素１２０が蓄電されて読み出されるように、ＴＧ１３によって制御される。また、ラインＣ_１〜Ｃ_４は、ＲＯＷＣに対応し、例えば、フレームレートが４０ｆｐｓに対応する露光時間により各画素１２０が蓄電されて読み出されるように、ＴＧ１３によって制御される。また、ラインＤ_１〜Ｄ_４は、ＲＯＷＤに対応し、例えば、フレームレートが３０ｆｐｓに対応する露光時間により各画素１２０が蓄電されて読み出されるように、ＴＧ１３によって制御される。また、ラインＥ_１〜Ｅ_４は、ＲＯＷＥに対応し、例えば、フレームレートが２４ｆｐｓに対応する露光時間により各画素１２０が蓄電されて読み出されるように、ＴＧ１３によって制御される。

【0030】

また、複数の画素１２０は、ラインごとに蓄電された画素値をリセット（放電）するリセット機能（例えば、リセットトランジスタによるリセット機能）と、ラインごとに蓄電するか否かを制御するシャッタ機能とを有している。また、撮像部１２は、ラインごとに画素値を読み出す機能を有している。ＴＧ１３は、これらの機能を利用して、ラインごとにリセット、露光（シャッタ）、及び画素値の読み出しを制御する。

【0031】

次に、画像処理部１５の構成について説明する。
図３は、本実施形態における画像処理部１５の構成を示すブロック図である。
図３において、画像処理部１５は、黒レベル補正部１５１、画素欠陥補正部１５２、評価値算出部１５３、及びＡＷＢ処理部１５４を備えている。なお、画像処理部１５は、例えば、ＤＳＰ（Digital Signal Processor）である。

【0032】

黒レベル補正部１５１は、例えば、撮像部１２が備えるオプティカルブラック素子（不図示）により検出された暗電流情報に基づいて、撮像部１２からＡＦＥ１４を介して読み出された画素データを補正する。黒レベル補正部１５１は、この黒レベル補正を行った画素データを画素欠陥補正部１５２に出力する。

【0033】

画素欠陥補正部１５２は、撮像部１２が有している画素欠陥情報に基づいて、黒レベル補正部１５１から出力された画素データを画素欠陥補正する。画素欠陥補正部１５２は、画素欠陥補正を行った画素データを評価値算出部１５３、及びＡＷＢ処理部１５４に出力する。

【0034】

評価値算出部１５３は、画素欠陥補正部１５２から出力された画素データ（例えば、間引き読み出しモードにより得られた画素値）に基づいて、ＡＦ評価値、ＡＥ評価値、及びＡＷＢ評価値を算出する。評価値算出部１５３は、算出したＡＦ評価値、及びＡＥ評価値をバス２２を介して制御部３０に出力する。また、評価値算出部１５３は、算出したＡＷＢ評価値をＡＷＢ処理部１５４に出力する。

【0035】

ＡＷＢ処理部１５４は、画素欠陥補正部１５２から出力された画素データと、評価値算出部１５３が算出したＡＷＢ評価値とに基づいて、オートホワイトバランスの処理を実行する。

【0036】

次に、本実施形態における固体撮像素子１００、及び撮像装置１の動作について説明する。
図４は、固体撮像素子１００のＴＧ１３による画素値の読み出し動作を示すタイムチャートである。
図４において、まず、ＴＧ１３は、時刻Ｔ１における水平同期信号の立ち下がりに同期して、上述したＲＯＷＡのライン（例えば、図２のラインＡ_１）のうちの１画素（１２０）の画素値を読み出す。

【0037】

時刻Ｔ２において、撮像部１２におけるＲＯＷＡの画素値の読み出しが完了し、ＴＧ１３は、次に、ＲＯＷ＊のラインのうちの１画素（１２０）の画素値を読み出す。ここで、「＊」は、Ｂ〜Ｅのうちのいずれかを示す。すなわち、ＴＧ１３は、上述したＲＯＷＢ〜ＲＯＷＥのうちの１ライン（例えば、図２のラインＢ_１）を選択し、選択したラインのうちの１画素（１２０）の画素値を読み出す。
ここで、期間Ｒ１は、ＲＯＷＡの画素値の読み出し期間であり、期間Ｒ２は、ＲＯＷＢ〜ＲＯＷＥのうちの１ラインにおける画素値の読み出し期間である。この期間Ｒ２は、従来技術において、水平ブランキング（ＢＬＫ）期間に対応する。本実施形態では、ＴＧ１３は、従来技術において読み出しを行わない水平ブランキング期間を利用して、ＲＯＷＡとは異なる露光時間により蓄電されたラインの画素値を読み出す。

【0038】

また、時刻Ｔ３において、再び水平同期信号の立ち下がりに同期して、ＴＧ１３は、同様に、ＲＯＷＡのライン（例えば、図２のラインＡ_１）のうちの次に１画素（１２０）の画素値、及び、ＲＯＷＢ〜ＲＯＷＥのうちの１ライン（例えば、図２のラインＢ_１）のうちの次の１画素（１２０）の画素値を読み出す。
この動作の繰り返しにより、例えば、ラインＡ_１及びラインＢ_１の画素値の読み出しが完了した場合、ＴＧ１３は、同様に、次のライン（例えば、ラインＡ_２及びラインＢ_２）の画素値を読み出し、最終的に、ＲＯＷＡ及びＲＯＷＢに対応する１画面分（１フレーム分）の画素値を読み出す。

【0039】

図５は、本実施形態における１画面分（１フレーム分）の画素値の読み出し動作の一例を示すタイムチャートである。
図５において、斜めの実線は、上述した水平同期信号に同期した各ラインの読み出しタイミングを示していり。また、斜めの波線は、各ラインのシャッタータイミング（及びリセットタイミング）を示している。なお、ここで、シャッタ機能は、例えば、ローリングシャッタである。

【0040】

ＴＧ１３は、図５に示すように、垂直同期信号に同期して、ＲＯＷＡ〜ＲＯＷＥの露光時間及び画素値の読み出しを制御する。
例えば、ＴＧ１３は、撮像部１２のうちのＲＯＷＡ（フレームＡ）に対応するラインを１２０ｆｐｓに対応する露光時間により蓄電させて画素値を読み出す制御を行う。また、ＴＧ１３は、撮像部１２のうちのＲＯＷＢ（フレームＢ）に対応するラインを６０ｆｐｓに対応する露光時間により蓄電させて画素値を読み出す制御を行う。ここで、ＲＯＷＢ（フレームＢ）に対応するラインは、ＲＯＷＡ（フレームＡ）に対応するラインの２倍の露光時間（蓄積時間）となる。

【0041】

また、同様に、ＴＧ１３は、撮像部１２のうちのＲＯＷＣ（フレームＣ）に対応するラインを４０ｆｐｓに対応する露光時間により蓄電させて画素値を読み出す制御を行う。また、ＴＧ１３は、撮像部１２のうちのＲＯＷＤ（フレームＤ）に対応するラインを３０ｆｐｓに対応する露光時間により蓄電させて画素値を読み出す制御を行う。また、ＴＧ１３は、撮像部１２のうちのＲＯＷＥ（フレームＥ）に対応するラインを２４ｆｐｓに対応する露光時間により蓄電させて画素値を読み出す制御を行う。

【0042】

なお、例えば、ＲＯＷＡの画素値とＲＯＷＢの画素値との２種類の露光時間に対応する画素値を読み出す場合には、上述した図４に示したように、ＴＧ１３は、水平同期信号に同期して、ＲＯＷＡの画素値とＲＯＷＢの画素値とを交互に読み出す。
また、図５において、例えば、１つのフレーム期間に、３種類の露光時間に対応する画素値を読み出すタイミングが重なっている場合には、ＴＧ１３は、ＲＯＷＡの画素値と、ＲＯＷＡを除く残り２つのうちのいずれか１つの露光時間に対応する画素値とを水平同期信号に同期して交互に読み出してもよい。なお、この場合、ＴＧ１３は、画素値を読み出さないＲＯＷ＊をリセットして画素値を放電してもよい。また、水平ブランキング期間が長い場合には、ＴＧ１３は、水平同期信号に同期して、３種類の露光時間に対応する画素値を交互に読み出してもよいし、水平ブランキング期間が短い場合には、１画面（１フレーム）の中央部を読み出すなど、窓読み出し（クロップ）をしてもよい。

【0043】

このように、ＴＧ１３が図５に示すように撮像部１２を制御することにより、撮像部１２は、間引き読み出しモードにおいて、複数の露光時間に対応した画像データ（画素データ）を生成する。ＴＧ１３は、この複数の露光時間に対応した画像データを選択して読み出す制御を行い、読み出した画像データを、ＡＦＥ１４を介して画像処理部１５に供給する。

【0044】

例えば、制御部３０は、画像処理部１５を介して撮像部１２から取得した画像データ（画素データ）に基づいて画像の輝度情報を生成し、生成した輝度情報をＴＧ１３に出力する。ＴＧ１３は、制御部３０から出力された輝度情報に応じて、ＡＦ制御、ＡＥ制御、及びＡＷＢ制御に使用する評価値を算出するための画素データを、ＲＯＷＡ〜ＲＯＷＥのうちから選択する。ＴＧ１３は、例えば、輝度値が低い（画像が暗い）ほど、露光時間が長いグループ（フレーム）を選択し、輝度値が高い（画像が明るい）ほど、露光時間が短いグループ（フレーム）を選択する。すなわち、ＴＧ１３は、輝度値に応じて、評価値の算出に適切な画素値を得るのに十分な露光時間のグループを、ＲＯＷＡ〜ＲＯＷＥのうちから選択する。ＴＧ１３は、選択した露光時間に対応する画素データを読み出して、画像処理部１５に供給する。

【0045】

画像処理部１５の評価値算出部１５３は、供給された画素データに基づいて、ＡＦ制御、ＡＥ制御、及びＡＷＢ制御などの評価値を算出する。例えば、ＷＢ処理部１５４は、評価値算出部１５３が算出したＡＷＢ評価値に基づいて、オートホワイトバランスの処理を実行する。また、例えば、制御部３０のＡＦ制御部３１は、評価値算出部１５３が算出したＡＦ評価値に基づいてＡＦ制御を行い、ＡＥ制御部３２は、評価値算出部１５３が算出したＡＥ評価値に基づいてＡＥ制御を行う。
また、ＴＧ１３は、ラインごとの露光時間のうちの所定の露光時間（例えば、３０ｆｐｓに対応する露光時間）に基づく画素値（画素データ）を、表示画像（例えば、ライブビュー画像）として読み出す。この場合、画像処理部１５は、撮像部１２から取得した画素データをＲＡＭ１６に記憶させる。そして、表示部１８は、ＲＡＭ１６から撮像部１２が取得した画素データ読み出して表示画像として表示する。なお、ここで、表示画像は、間引きされた画素データに基づく画像である。

【0046】

以上、説明したように、本実施形態における固体撮像素子１００は、撮像部１２が、行と列とに配列された複数の画素１２０を有する。ＴＧ１３は、行（ライン）ごとの露光時間に基づく画素値を、撮像制御（例、ＡＦ制御、ＡＥ制御、ＡＷＢ制御など）に用いられる情報として撮像部１２から読み出す。
これにより、ＴＧ１３は、撮像制御に適切な露光時間に対応する画素値を選択して読み出すことができる。そのため、本実施形態における固体撮像素子１００は、適切な画素値に基づいて撮像制御が行われるので、撮像制御の精度を向上させることができる。

【0047】

例えば、被写体の輝度が低い場合（画像が暗い場合）に、ＴＧ１３は、露光時間の長いライン（例えば、ＲＯＷＥ）を選択して画素値を読み出す。これにより、本実施形態における固体撮像素子１００は、撮像制御を行うために十分な画素値が得られるので、ＳＮ比を向上させることができる。そのため、本実施形態における固体撮像素子１００は、ノイズによる誤差を低減した画素値に基づいて、撮像装置１に撮像制御をさせることができる。よって、本実施形態における固体撮像素子１００は、撮像制御の精度を向上させることができる。

【0048】

また、例えば、被写体の輝度が高い場合（画像が高い場合）に、ＴＧ１３は、露光時間の短いライン（例えば、ＲＯＷＡ）を選択して画素値を読み出す。これにより、本実施形態における固体撮像素子１００は、画素値が飽和することを低減し、ダイナミックレンジの適切な範囲内に画素値を入れることができる。そのため、本実施形態における固体撮像素子１００は、ダイナミックレンジの適切な範囲内の画素値に基づいて、撮像装置１に撮像制御をさせることができる。よって、本実施形態における固体撮像素子１００は、撮像制御の精度を向上させることができる。

【0049】

また、本実施形態では、ＴＧ１３は、行（ライン）ごとに画素１２０に蓄電された画素値をリセットすることにより、行（ライン）ごとの露光時間を変更する。
これにより、本実施形態における固体撮像素子１００は、簡易な手段により適切に、ラインごとの露光時間を変更することができる。

【0050】

また、本実施形態では、ＴＧ１３は、被写体の輝度に応じて、撮像部１２から行（ライン）ごとの露光時間に基づく画素値を読み出す行（ライン）を変更する。
これにより、被写体の輝度に応じて画素値のレベルを適切に変更することができるので、本実施形態における固体撮像素子１００は、撮像制御の精度を向上させることができる。

【0051】

また、本実施形態では、ＴＧ１３は、被写体の動きに応じて、撮像部１２から行（ライン）ごとの露光時間に基づく画素値を読み出す行（ライン）を変更する。
例えば、ＴＧ１３は、被写体の動きが速い（移動速度が速い）場合に、露光時間の短いライン（例えば、ＲＯＷＡ）から画素値を読み出す。これにより、被写体ぶれを低減することができるので、本実施形態における固体撮像素子１００は、撮像制御の精度を向上させることができる。

【0052】

また、本実施形態では、撮像制御には、例えば、オートフォーカスの制御（ＡＦ制御）が含まれる。ＴＧ１３は、撮像部１２から読み出した行（ライン）ごとの露光時間に基づく画素値を、オートフォーカスの制御における評価値（ＡＦ評価値）を算出する情報として撮像部１２から読み出す。
これにより、本実施形態における固体撮像素子１００は、例えば、ＡＦ制御の精度を向上させることができる。

【0053】

また、本実施形態では、撮像制御には、例えば、自動露出の制御（ＡＥ制御）が含まれる。ＴＧ１３は、撮像部１２から読み出した行（ライン）ごとの露光時間に基づく画素値を、自動露出の制御における評価値（ＡＥ評価値）を算出する情報として撮像部１２から読み出す。
これにより、本実施形態における固体撮像素子１００は、例えば、ＡＥ制御の精度を向上させることができる。

【0054】

また、本実施形態では、撮像制御には、例えば、オートホワイトバランスの制御（ＡＷＢ制御）が含まれる。ＴＧ１３は、撮像部１２から読み出した行（ライン）ごとの露光時間に基づく画素値を、オートホワイトバランスの制御における評価値（ＡＷＢ評価値）を算出する情報として撮像部１２から読み出す。
これにより、本実施形態における固体撮像素子１００は、例えば、ＡＷＢ制御の精度を向上させることができる。

【0055】

また、本実施形態では、ＴＧ１３は、行（ライン）ごとの露光時間のうちの所定の露光時間に基づく画素値を、表示画像として読み出す。
これにより、本実施形態における固体撮像素子１００は、撮像制御（例、ＡＦ制御、ＡＥ制御、ＡＷＢ制御など）に用いられる情報とともに、例えば、ライブビュー画像などの表示画像を生成することができる。

【0056】

なお、本実施形態における撮像装置１は、上述した固体撮像素子１００と、固体撮像素子１００から出力される行（ライン）ごとの露光時間に基づく画素値に基づいて、撮像制御（例、ＡＦ制御、ＡＥ制御、ＡＷＢ制御など）を行う撮像制御部４０とを備えている。
これにより、本実施形態における撮像装置１は、固体撮像素子１００と同様の効果を奏し、撮像制御の精度を向上させることができる。

【0057】

次に、第２の実施形態について説明する。
［第２の実施形態］
第２の実施形態では、撮像部１２が複数の読み出し回路を備え、並列して複数の画素値を読み出すことができる場合の一例を説明する。なお、その他の構成、及び動作は、第１の実施形態と同様である。

【0058】

図６は、撮像部１２の画素１２０の配列構成の別の一例を示す図である。
この図において、撮像部１２は、グループＧ１〜Ｇ１０に示すように、４画素ごとにグループ化されて画素共有している。グループＧ１〜Ｇ１０は、それぞれ４画素のうちの１画素の画素値を読み出すことが可能である。また、撮像部１２は、グループＧ１〜Ｇ１０のうちの２つのグループの画素値を並列に読み出すことが可能な構成になっている。
この場合、ＴＧ１３は、例えば、上述したＲＯＷＡの画素値とＲＯＷＣの画素値とを並列に読み出すことが可能である。これにより、本実施形態による固体撮像素子１００は、撮像部１２から画素値を読み出す期間を短縮することができる。例えば、上述した水平ブランキング期間Ｒ２が画素値の読み出し期間より短い場合であっても、本実施形態による固体撮像素子１００は、１フレーム期間内に、上述したＲＯＷＡの画素値とＲＯＷＣの画素値との両方の画素値を出力することができる。

【0059】

なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
上記の各実施形態において、一例として、図５に示すように、ＲＯＷＢ、ＲＯＷＣ、ＲＯＷＤ、及びＲＯＷＥは、ＲＯＷＡに対して、２倍、３倍、４倍、及び５倍のフレームレートに対応する露光時間である場合を説明したが、これに限定されるものではない。例えば、ＲＯＷＢ、ＲＯＷＣ、ＲＯＷＤ、及びＲＯＷＥは、ＲＯＷＡに対して、２倍、４倍、８倍、及び１６倍のフレームレートに対応する露光時間である形態であってもよい。

【0060】

また、上記の各実施形態において、ＡＦ評価値を生成するための画素値は、露光時間の異なる画素値に基づいて生成されてもよい。撮像装置１は、例えば、短い露光時間により取得した画素値によりＡＦ評価値を生成して、粗いＡＦ制御を行った後に、短い露光時間より長い露光時間により取得した画素値によりＡＦ評価値を生成して、正確にＡＦ制御を行う形態でもよい。この場合、撮像装置１は、合焦するまでの時間（期間）を短縮することができる。

【0061】

また、上記の各実施形態において、撮像装置１は、ＲＯＷＡ、ＲＯＷＢ、ＲＯＷＣ、ＲＯＷＤ、及びＲＯＷＥのいずれか１つに対応する画素値を撮像制御に用いる形態を説明したが、複数を組み合わせて用いる形態でもよい、例えば、ＲＯＷＡ、ＲＯＷＢ、ＲＯＷＣ、ＲＯＷＤ、及びＲＯＷＥのうちの複数に対応する画素値の和算値や平均値を用いる形態でもよい。
また、撮像装置１は、前フレームの評価値と次フレームの評価値とを加算して用いてもよい。この場合、ダイナミックレンジを広くすることが可能であり、撮像装置１は、例えば、高輝度被写体などでのＡＥ制御の精度を向上させることができる。

【0062】

また、上記の各実施形態において、撮像装置１が画像処理部１５を備える形態を説明したが、固体撮像素子１００が、画像処理部１５又は画像処理部１５の一部を備える形態でもよい。
また、上記の各実施形態におけるＴＧ１３及び撮像制御部４０は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびＣＰＵ（中央演算装置）により実現させるものであってもよい。

【0063】

上述の撮像装置１又は固体撮像素子１００は内部に、コンピュータシステムを有している。そして、上述した撮像装置１又は固体撮像素子１００の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

【符号の説明】

【0064】

１…撮像装置、１２…撮像部、１３…ＴＧ（制御部）、４０…撮像制御部、１００…固体撮像素子、１２０…画素

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】