特許 7176583 撮像素子および撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-14

(45)【発行日】2022-11-22

(54)【発明の名称】撮像素子および撮像装置

(51)【国際特許分類】

   H04N 5/369 20110101AFI20221115BHJP

   H04N 5/225 20060101ALI20221115BHJP

   H04N 5/232 20060101ALI20221115BHJP

【ＦＩ】

H04N5/369

H04N5/225 300

H04N5/232 290

【請求項の数】 26

(21)【出願番号】P 2021038379

(22)【出願日】2021-03-10

(62)【分割の表示】P 2018086362の分割

【原出願日】2013-03-14

(65)【公開番号】P2021097413

(43)【公開日】2021-06-24

【審査請求日】2021-03-10

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(72)【発明者】

【氏名】宮越 徹

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２００６－２８７８７９（ＪＰ，Ａ）

【文献】国際公開第２００６／１２９７６２（ＷＯ，Ａ１）

【文献】特開２００８－１４１６１０（ＪＰ，Ａ）

【文献】特表２０１５－５３０８５５（ＪＰ，Ａ）

【文献】特開２０１３－０７０３６４（ＪＰ，Ａ）

【文献】特開２００７－２５１６８０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／３０－５／３７８

Ｈ０４Ｎ ５／２２２－５／２５７

(57)【特許請求の範囲】

【請求項1】

行方向と列方向とにおいて並んで配置される複数の画素と、
前記複数の画素のうち、少なくとも第１画素から第１出力配線に出力された第１信号をデジタル信号に変換する第１変換部と、
前記複数の画素のうち、少なくとも第２画素から第２出力配線に出力された第２信号をデジタル信号に変換する第２変換部と、
前記第１変換部でデジタル信号に変換された前記第１信号に加算処理を行う第１加算器と、
前記第２変換部でデジタル信号に変換された前記第２信号に加算処理を行う第２加算器と、を備え、
前記第１画素と前記第２画素とは、前記列方向において並んで配置される撮像素子。

【請求項2】

請求項１に記載の撮像素子において、
前記第１加算器で加算処理が行われた前記第１信号を記憶する第１記憶部と、
前記第２加算器で加算処理が行われた前記第２信号を記憶する第２記憶部と、
を備える撮像素子。

【請求項3】

請求項１または請求項２に記載の撮像素子において、
前記第１加算器は、前記第１画素において前記第１信号を前記第１出力配線に出力する前に生成された信号を用いて前記第１信号に加算処理を行い、
前記第２加算器は、前記第２画素において前記第２信号を前記第２出力配線に出力する前に生成された信号を用いて前記第２信号に加算処理を行う撮像素子。

【請求項4】

請求項１から請求項３のいずれか一項に記載の撮像素子において、
前記第１加算器は、前記複数の画素のうち、前記第１画素から前記行方向側の位置に配置される第３画素から出力された第３信号に加算処理を行い、
前記第２加算器は、前記複数の画素のうち、前記第２画素から前記行方向側の位置に配置される第４画素から出力された第４信号に加算処理を行う撮像素子。

【請求項5】

請求項４に記載の撮像素子において、
前記第１出力配線は、前記第３信号が出力され、
前記第２出力配線は、前記第４信号が出力される撮像素子。

【請求項6】

請求項４または請求項５に記載の撮像素子において、
前記第１加算器で加算処理が行われた前記第３信号を記憶する第３記憶部と、
前記第２加算器で加算処理が行われた前記第４信号を記憶する第４記憶部と、
を備える撮像素子。

【請求項7】

請求項４から請求項６のいずれか一項に記載の撮像素子において、
前記第１加算器は、前記第３画素において前記第３信号を前記第１出力配線に出力する前に生成された信号を用いて前記第３信号に加算処理を行い、
前記第２加算器は、前記第４画素において前記第４信号を前記第２出力配線に出力する前に生成された信号を用いて前記第４信号に加算処理を行う撮像素子。

【請求項8】

請求項１から請求項７のいずれか一項に記載の撮像素子において、
前記複数の画素は、光が入射される撮像チップに配置され、
前記第１変換部および前記第２変換部は、前記撮像チップに接続される信号処理チップに配置される撮像素子。

【請求項9】

請求項８に記載の撮像素子において、
前記第１加算器および前記第２加算器は、前記信号処理チップに接続されるメモリチップに配置される撮像素子。

【請求項10】

請求項１から請求項９のいずれか一項に記載の撮像素子を備える撮像装置。

【請求項11】

請求項１０に記載の撮像装置において、
前記撮像素子から出力された前記第１信号および前記第２信号のうち、少なくとも一方の信号に基づく画像を表示部に表示させる制御部を備える撮像装置。

【請求項12】

請求項１１に記載の撮像装置において、
前記撮像素子は、フォーカスレンズを含む光学系からの光が入射され、
前記制御部は、前記撮像素子から出力された前記第１信号および前記第２信号のうち、少なくとも一方の信号を用いて前記フォーカスレンズを駆動させる撮像装置。

【請求項13】

請求項１１または請求項１２に記載の撮像装置において、
前記制御部は、前記撮像素子から出力された前記第１信号および前記第２信号のうち、少なくとも一方の信号に基づいて生成された画像データを記録部に記録させる撮像装置。

【請求項14】

行方向と列方向とにおいて並んで配置され、光を電荷に変換する複数の光電変換部と、
前記複数の光電変換部のうち、少なくとも第１光電変換部で変換された電荷に基づく第１信号が出力される第１出力配線と、
前記複数の光電変換部のうち、少なくとも第２光電変換部で変換された電荷に基づく第２信号が出力される第２出力配線と、
前記第１出力配線に出力された前記第１信号をデジタル信号に変換する第１変換部と、
前記第２出力配線に出力された前記第２信号をデジタル信号に変換する第２変換部と、
前記第１変換部でデジタル信号に変換された前記第１信号に加算処理を行う第１加算器と、
前記第２変換部でデジタル信号に変換された前記第２信号に加算処理を行う第２加算器と、を備え、
前記第１光電変換部と前記第２光電変換部とは、前記列方向において並んで配置される撮像素子。

【請求項15】

請求項１４に記載の撮像素子において、
前記第１加算器で加算処理が行われた前記第１信号を記憶する第１記憶部と、
前記第２加算器で加算処理が行われた前記第２信号を記憶する第２記憶部と、
を備える撮像素子。

【請求項16】

請求項１４または請求項１５に記載の撮像素子において、
前記第１加算器は、前記第１信号よりも前に前記第１出力配線に出力された、前記第１光電変換部で変換された電荷に基づく信号を用いて加算処理を行い、
前記第２加算器は、前記第２信号よりも前に前記第２出力配線に出力された、前記第２光電変換部で変換された電荷に基づく信号を用いて加算処理を行う撮像素子。

【請求項17】

請求項１４から請求項１６のいずれか一項に記載の撮像素子において、
前記第１加算器は、前記複数の光電変換部のうち第３光電変換部で変換された電荷に基づく第３信号に加算処理を行い、
前記第２加算器は、前記複数の光電変換部のうち第４光電変換部で変換された電荷に基づく第４信号に加算処理を行い、
前記第１光電変換部と前記第３光電変換部とは、前記行方向に並んで配置され、
前記第２光電変換部と前記第４光電変換部とは、前記行方向に並んで配置される撮像素子。

【請求項18】

請求項１７に記載の撮像素子において、
前記第１出力配線は、前記第３信号が出力され、
前記第２出力配線は、前記第４信号が出力される撮像素子。

【請求項19】

請求項１７または請求項１８に記載の撮像素子において、
前記第１加算器で加算処理が行われた前記第３信号を記憶する第３記憶部と、
前記第２加算器で加算処理が行われた前記第４信号を記憶する第４記憶部と、
を備える撮像素子。

【請求項20】

請求項１７から請求項１９のいずれか一項に記載の撮像素子において、
前記第１加算器は、前記第３信号よりも前に前記第１出力配線に出力された、前記第３光電変換部で変換された電荷に基づく信号を用いて加算処理を行い、
前記第２加算器は、前記第４信号よりも前に前記第２出力配線に出力された、前記第４光電変換部で変換された電荷に基づく信号を用いて加算処理を行う撮像素子。

【請求項21】

請求項１４から請求項２０のいずれか一項に記載の撮像素子において、
前記複数の光電変換部は、光が入射される撮像チップに配置され、
前記第１変換部および前記第２変換部は、前記撮像チップに接続される信号処理チップに配置される撮像素子。

【請求項22】

請求項２１に記載の撮像素子において、
前記第１加算器および前記第２加算器は、前記信号処理チップに接続されるメモリチップに配置される撮像素子。

【請求項23】

請求項１４から請求項２２のいずれか一項に記載の撮像素子を備える撮像装置。

【請求項24】

請求項２３に記載の撮像装置において、
前記撮像素子から出力された前記第１信号および前記第２信号のうち、少なくとも一方の信号に基づく画像を表示部に表示させる制御部を備える撮像装置。

【請求項25】

請求項２４に記載の撮像装置において、
前記撮像素子は、フォーカスレンズを含む光学系からの光が入射され、
前記制御部は、前記撮像素子から出力された前記第１信号および前記第２信号のうち、少なくとも一方の信号を用いて前記フォーカスレンズを駆動させる撮像装置。

【請求項26】

請求項２４または請求項２５に記載の撮像装置において、
前記制御部は、前記撮像素子から出力された前記第１信号および前記第２信号のうち、少なくとも一方の信号に基づいて生成された画像データを記録部に記録させる撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像素子および撮像装置に関する。

【背景技術】

【0002】

裏面照射型撮像チップと信号処理チップとが積層された撮像素子（以下、積層型撮像素子という）を備えた電子機器が提案されている（特許文献１参照）。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、所定の領域ごとにマイクロバンプを介して接続されるように積層されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００６－４９３６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の積層型撮像素子を備えた電子機器において、１または２以上の上記領域を有するブロックに画像を分けて、該ブロックごとに撮像画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分とはいえなかった。さらに、異なる露光条件で別々に撮像した複数枚の画像を合成する従来技術では、動いている被写体の撮影に不向きであった。

【課題を解決するための手段】

【0005】

発明の第１の態様による撮像素子は、行方向と列方向とにおいて並んで配置される複数の画素と、
前記複数の画素のうち、少なくとも第１画素から第１出力配線に出力された第１信号をデジタル信号に変換する第１変換部と、前記複数の画素のうち、少なくとも第２画素から第２出力配線に出力された第２信号をデジタル信号に変換する第２変換部と、前記第１変換部でデジタル信号に変換された前記第１信号に加算処理を行う第１加算器と、前記第２変換部でデジタル信号に変換された前記第２信号に加算処理を行う第２加算器と、を備え、前記第１画素と前記第２画素とは、前記列方向において並んで配置される。
発明の第２の態様による撮像装置は、第１の態様による撮像素子を備える。
発明の第３の態様による撮像素子は、行方向と列方向とにおいて並んで配置され、光を電荷に変換する複数の光電変換部と、前記複数の光電変換部のうち、少なくとも第１光電変換部で変換された電荷に基づく第１信号が出力される第１出力配線と、前記複数の光電変換部のうち、少なくとも第２光電変換部で変換された電荷に基づく第２信号が出力される第２出力配線と、前記第１出力配線に出力された前記第１信号をデジタル信号に変換する第１変換部と、前記第２出力配線に出力された前記第２信号をデジタル信号に変換する第２変換部と、前記第１変換部でデジタル信号に変換された前記第１信号に加算処理を行う第１加算器と、前記第２変換部でデジタル信号に変換された前記第２信号に加算処理を行う第２加算器と、を備え、前記第１光電変換部と前記第２光電変換部とは、前記列方向において並んで配置される。
発明の第４の態様による撮像装置は、第３の態様による撮像素子を備える。

【発明の効果】

【0006】

本発明によれば、光電変換データを適切に処理できる。

【図面の簡単な説明】

【0007】

【図1】積層型撮像素子の断面図である。

【図2】撮像チップの画素配列と単位領域を説明する図である。

【図3】撮像チップの単位領域に対応する回路図である。

【図4】撮像素子の機能的構成を示すブロック図である。

【図5】１画素当たりの画素信号の流れを説明する図である。

【図6】撮像素子を有する撮像装置の構成を例示するブロック図である。

【図7】撮像素子における注目領域および周辺領域を例示する図である。

【図8】読み出しタイミング、蓄積信号、および演算回路を介して撮像素子から読み出される画素信号を説明する図である。

【図9】第一の実施形態の制御部が実行する撮影動作の流れを説明するフローチャートである。

【図10】第二の実施形態の制御部が実行する撮影動作の流れを説明するフローチャートである。

【発明を実施するための形態】

【0008】

以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
＜積層型撮像素子の説明＞
始めに、本発明の第一の実施形態による電子機器（例えば撮像装置１）に搭載する積層型撮像素子１００について説明する。なお、この積層型撮像素子１００は、本願出願人が先に出願した特願２０１２－１３９０２６号に記載されているものである。図１は、積層型撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

【0009】

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

【0010】

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

【0011】

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。

【0012】

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

【0013】

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

【0014】

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

【0015】

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

【0016】

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つの単位領域に対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。

【0017】

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。

【0018】

図２は、撮像チップ１１３の画素配列と単位領域１３１を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。画素領域には例えば２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、例えば隣接する４画素×４画素の１６画素が一つの単位領域１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域１３１を形成する概念を示す。単位領域１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。

【0019】

画素領域の部分拡大図に示すように、単位領域１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

【0020】

本実施形態において、１ブロックにつき単位領域１３１を少なくとも１つ含むように複数のブロックが定義され、各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。

【0021】

図３は、撮像チップ１１３の単位領域１３１に対応する回路図である。図３において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

【0022】

上述のように、単位領域１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。

【0023】

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。

【0024】

各々の増幅トランジスタ３０４のドレインは、電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタ３０５の各ゲートは、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。

【0025】

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加されると、ＰＤ１０４およびフローティングディフュージョンＦＤの電位がリセットされる。

【0026】

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

【0027】

図３に示すように、本実施形態においては、単位領域１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、単位領域１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９から出力される。また、リセット配線３０６、ＴＸ配線３０７、出力配線３０９は、単位領域１３１毎に別個に設けられる。

【0028】

このように単位領域１３１を基準として回路を構成することにより、単位領域１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位領域１３１間で、異なったフレームレートによる画素信号をそれぞれ出力させることができる。更に言えば、一方の単位領域１３１に１回の電荷蓄積を行わせている間に、他方の単位領域１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位領域１３１間で異なるフレームレートで動画用の各フレームを出力することもできる。

【0029】

図４は、撮像素子１００の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位領域１３１を形成する１６個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該単位領域１３１に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。

【0030】

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡される。デマルチプレクサ４１３から出力された画素信号は、それぞれの画素に対応する加算器４１６へ入力される。加算器４１６は、それぞれの画素に対応させて、デマルチプレクサ４１３から出力された画素信号と画素メモリ４１４から読み出された画素信号とを加算し、加算後の画素信号を再び画素メモリ４１４へ出力する。

【0031】

画素メモリ４１４は、加算器４１６からの画素信号を格納する。画素メモリ４１４のそれぞれは、加算後の画素信号を格納できる容量を有する。デマルチプレクサ４１３、加算器４１６および画素メモリ４１４は、メモリチップ１１２に形成される。

【0032】

図５は、１画素当たりの画素信号の流れを説明する図である。図５において、デマルチプレクサ４１３から出力された画素信号Ｓが、加算器４１６のうち対応する加算器ｎへ入力される。このとき、画素メモリ４１４の対応するメモリｎに格納されている画素信号Ｐが、該メモリｎから読み出されて加算器ｎへ入力される。

【0033】

加算器ｎは、入力された画素信号Ｓと画素信号Ｐとを加算し、加算後の画素信号Ｓ＋Ｐを画素メモリｎへ出力する。画素メモリｎは、入力された画素信号Ｓ＋Ｐを格納し、演算回路４１５へ読み出されるのを待つ。ここで、加算器ｎにより加算が行われる際に、画素メモリｎに格納されている画素信号Ｐを読み出さないように画素メモリ４１４を制御することにより、加算器ｎに入力された画素信号Ｓのみをそのまま加算器ｎから画素メモリｎへ出力させることができる。すなわち、加算器ｎで加算することなく、撮像チップ１１３からの画素信号Ｓをそのままメモリｎから演算回路４１５へ読み出させることもできる。

【0034】

演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。

【0035】

駆動制御部４１７は、撮像チップ１１３から信号処理チップ１１１およびメモリチップ１１２へ画素信号が送られるタイミングと、画素メモリ４１４における画素信号の読み出しおよび格納タイミングと、加算器４１６における画素信号の加算タイミングと、演算回路４１５に対する画素信号の受け渡しタイミングとを同期させるため、タイミング制御信号を生成する。

【0036】

なお、図４では１つの単位領域１３１の分の接続を示すが、実際にはこれらが単位領域１３１ごとに存在して、並列で動作する。ただし、演算回路４１５は単位領域１３１ごとに存在しなくても良く、例えば、一つの演算回路４１５がそれぞれの単位領域１３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。

【0037】

上記の通り、単位領域１３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

【0038】

＜撮像装置の説明＞
図６は、上述した撮像素子１００を有する撮像装置１の構成を例示するブロック図である。図６において、撮像装置１は、撮像光学系１０、撮像部２０、画像処理部３０、ワークメモリ４０、表示部５０、記録部６０、および制御部７０を有する。

【0039】

撮像光学系１０は、複数のレンズから構成され、被写界からの光束を撮像部２０へ導く。撮像光学系１０は、撮像装置１と一体に構成されていても、撮像装置１に対して交換可能に構成されていてもよい。また、撮像光学系１０には、フォーカスレンズを内蔵していても、ズームレンズを内蔵していてもよい。

【0040】

撮像部２０は、上述した撮像素子１００と、撮像素子１００を駆動する駆動部２１とを有する。撮像素子１００は、駆動部２１から出力される制御信号によって駆動制御されることにより、上述したブロック単位で独立した蓄積制御が可能である。駆動部２１に対する上記ブロックの位置や形状、その範囲などの指示は、制御部７０が行う。

【0041】

画像処理部３０は、ワークメモリ４０と協働して、撮像部２０で撮像された画像データに対する画像処理を行う。本実施形態において、画像処理部３０は、通常の画像処理（色信号処理、ガンマ補正など）に加えて、画像に含まれる主要被写体の検出処理も行う。画像処理部３０による主要被写体の検出は、公知の顔検出機能を用いて行うことができる。また、顔検出に加えて、例えば特開2010-16621号公報（US2010/0002940号）に記載されているように、画像に含まれる人体を主要被写体として検出するようにしてもよい。

【0042】

ワークメモリ４０は、JPEG圧縮前後やMPEG圧縮前後の画像データなどを一時的に記憶する。表示部５０は、例えば液晶表示パネル５１によって構成され、撮像部２０で撮像された画像（静止画や動画）や各種情報を表示したり、操作入力用画面を表示したりする。表示部５０は、液晶表示パネル５１の表示面にタッチパネル５２が積層された構成を有する。タッチパネル５２は、液晶表示パネル５１にユーザが触れた位置を示す信号を出力する。

【0043】

記録部６０は、メモリカードなどの記憶媒体に画像データなどの各種データを記憶させる。制御部７０はＣＰＵを有し、撮像装置１による全体の動作を制御する。本実施形態において制御部７０は、撮像素子１００（撮像チップ１１３）の撮像面を複数のブロックに分け、ブロック間において異なるフレームレート（蓄積時間）、ゲインで画像を取得させる。このために制御部７０は、ブロックの位置、形状、範囲、および各ブロック用の制御パラメータを駆動部２１へ指示する。

【0044】

また、制御部７０は、撮像光学系１０による焦点調節状態をＡＦ演算部７１により算出する。制御部７０はさらに、適正露出が得られるようにＡＥ、ＡＷＢ演算部７２で露出演算を行う。

【0045】

＜注目領域と周辺領域＞
本実施形態では、画面内に注目領域と周辺領域という概念を導入し、上記複数のブロックに対応させる。図７は、撮像素子１００（撮像チップ１１３）における注目領域８０および周辺領域９０を例示する図である。制御部７０は、撮像素子１００（撮像チップ１１３）における注目領域８０と周辺領域９０の位置を、ライブビュー画像に基づくシーン認識を経て決定する。

【0046】

ここで、ライブビュー画像は本撮像が行われる前のプレビュー画像とも呼ばれ、撮像素子１００によって所定のフレームレート（例えば３０ｆｐｓ）で取得されるモニタ用の画像をいう。図７において、ライブビュー画像の画面右寄りに人物が含まれ、ライブビュー画像の画面左側に樹木が含まれている。制御部７０は画像処理部３０へ指示を送り、ライブビュー画像データに対して公知のシーン認識処理を行わせる。画像処理部３０は、シーン認識処理を行うことにより、ライブビュー画像を解析して主要被写体領域を抽出する。

【0047】

画像処理部３０は、上述したように検出した人体を含む範囲を主要被写体領域とする。なお、人物に限らずペットなどの動物を検出し、この動物を含む範囲を主要被写体領域としてもよい。そして、制御部７０は、主要被写体領域を注目領域８０とし、注目領域８０以外の領域を周辺領域９０とする。

【0048】

なお、表示部５０のうち液晶表示パネル５１にライブビュー画像を表示した状態で、このライブビュー画像を視認するユーザがタッチパネル５２に触れた位置に対応する（表示されている）主要被写体の領域を注目領域８０としてもよい。

【0049】

制御部７０は、例えばライブビュー画像取得時において、注目領域８０および周辺領域９０から第１蓄積時間の蓄積後に出力される画素信号に基づいて、自動露出演算およびホワイトバランス調整値の決定をＡＥ、ＡＷＢ演算部７２により行わせる。ＡＥ、ＡＷＢ演算部７２は、例えば画素信号の平均的なレベルを所定のレベルへ近づけるように、露出（露光時間、ゲイン等）を演算する。また、ＡＥ、ＡＷＢ演算部７２は、白い色を白く表現するためのホワイトバランス調整値を決定する。

【0050】

さらにまた、制御部７０は、注目領域８０および周辺領域９０から上記第１蓄積時間の蓄積後に出力される画素信号に基づいてモニタ用の画像を生成し、上記ライブビュー画像として表示部５０に表示させる。

【0051】

制御部７０はさらに、例えばライブビュー画像取得時において、注目領域８０から第２蓄積時間の蓄積後に出力される画素信号に基づいて、撮像光学系１０による焦点調節状態をＡＦ（オートフォーカス）演算部７１により算出させる。本実施形態では、第２蓄積時間を第１蓄積時間より長く制御する。

【0052】

ＡＦ演算部７１は、例えばコントラスト検出方式によって焦点調節状態を検出する。具体的には、撮像光学系１０のフォーカスレンズの位置を移動させながら、注目領域８０から出力される画素信号で構成される画像のコントラストを高めるように撮像光学系１０のフォーカスレンズの位置を調節する。

【0053】

なお、焦点検出処理を、位相差検出方式によって行う構成にしてもよい。この場合には、撮像素子１００（撮像チップ１１３）において、あらかじめ焦点検出用の画素を設けておく。そして、注目領域８０に含まれる焦点検出用の画素からの出力信号を用いて位相差検出演算を行うことにより、撮像光学系１０による焦点調節状態（具体的にはデフォーカス量）を検出する。焦点検出用の画素および位相差検出演算は、例えば特開２００９－９４８８１号公報に記載されるように公知であるため、詳細な説明を省略する。

【0054】

制御部７０は、ライブビュー画像を取得する際に駆動部２１へ指示を送り、撮像素子１００（撮像チップ１１３）の注目領域８０から、上述したように蓄積時間が異なる画素信号（すなわち第１蓄積時間経過後の画素信号と、第２蓄積時間経過後の画素信号）を複数回に分けて読み出す。ここで、注目領域８０および周辺領域９０に分けて蓄積制御するのは、不図示のレリーズスイッチが操作されることによる本撮像（静止画記録や動画記録）の指示が行われる前とする。

【0055】

すなわち、本撮像指示が行われるまでは、注目領域８０および周辺領域９０で取得された画像に基づいて露出演算、ホワイトバランス調整値の決定、およびライブビュー画像の表示を行うとともに、注目領域８０で取得された画像に基づいて焦点検出処理を行う。

【0056】

＜蓄積時間が異なる画素信号の読み出し＞
画素信号の読み出しタイミングと、撮像チップ１１３における蓄積信号と、演算回路４１５を介して撮像素子１００から読み出される画素信号とを説明する図８を参照して、蓄積時間が異なる画素信号の読み出しを説明する。

【0057】

駆動部２１は、以下のように撮像素子１００を制御する。すなわち、ライブビュー画像の各フレームにおいて蓄積開始時刻t０から時刻t１までを上記第１蓄積時間とし、時刻t０から時刻t２までを上記第２蓄積時間とする。駆動部２１は、時刻ｔ０において、上記注目領域８０および周辺領域９０に含まれる画素に対して電荷蓄積を開始させる。そして、時刻ｔ１において、図５に例示した画素メモリｎに格納されている画素信号を読み出さないように画素メモリ４１４を制御しながら、上記注目領域８０および周辺領域９０から画素信号を出力させる。これにより、第１蓄積時間（時刻t０から時刻t１）の間に蓄積された画素信号ａがデマルチプレクサ４１３から出力され、そのまま信号Ａとして演算回路４１５を介して出力される。この画素信号Ａ（＝ａ）は、画素メモリｎにも格納される。

【0058】

駆動部２１はさらに、時刻ｔ１において上記画素信号の読み出しを行うと、ただちに上記注目領域８０に含まれる画素に対して電荷蓄積を開始させる。そして、時刻ｔ２において、図５に例示した画素メモリｎに格納されている画素信号ａを読み出すように画素メモリ４１４を制御しながら、上記注目領域８０から画素信号を出力させる。これにより、時刻t１から時刻t２までの間に蓄積された画素信号ｂがデマルチプレクサ４１３から出力され、この画素信号ｂと、画素メモリｎから読み出された画素信号ａとが加算器ｎで加算される。加算後の画素信号ａ＋ｂは、信号Ｂとして演算回路４１５を介して出力される。画素信号Ｂ（＝ａ＋ｂ）は、時刻t０から時刻t１までと、時刻t１から時刻t２までに蓄積された画素信号の和であるため、第２蓄積時間（時刻t０から時刻t２）の間に蓄積される画素信号に相当する。

【0059】

上述したように、第一の実施形態では、第１蓄積時間より長い第２蓄積時間で蓄積された高い信号レベルの画素信号Ｂを焦点検出処理に用いるので、信号レベルが低い画素信号Ａを焦点検出処理に用いる場合に比べて、高い焦点検出精度が得られる。また、第２蓄積時間より短い第１蓄積時間で蓄積された画素信号Ａを露出演算、ホワイトバランス調整値の決定、およびライブビュー画像の表示に用いるので、ノイズの影響を避けて精度よく演算でき、明るすぎることなく見やすいライブビュー画像が得られる。

【0060】

＜フローチャートの説明＞
図９は、第一の実施形態において撮像装置１の制御部７０が実行する撮影動作の流れを説明するフローチャートである。制御部７０は、不図示のON-OFFスイッチが電源オン操作され、撮像装置１の各部に対して通電が行われている場合に、図９による処理を繰り返し起動させる。図９のステップＳ１０１において、制御部７０は、注目領域８０および周辺領域９０用のフレームレート、ゲインなどの制御パラメータをそれぞれ決定してステップＳ１０２へ進む。例えば、後述するステップＳ１０２、Ｓ１１０において適用する値を、プログラムデータから読み出して用意しておく。

【0061】

ステップＳ１０２において、制御部７０は駆動部２１へ指示を送り、撮像部２０によるライブビュー撮像を開始させる。ステップＳ１０２で開始するライブビュー画像の取得は、例えば撮像素子１００の撮像面の略全域を対象に周辺領域９０用の制御パラメータを設定して行う。

【0062】

ステップＳ１０３において、制御部７０は駆動部２１へ指示を送り、撮像部２０から第１データの転送を行わせる。第１データは、上記時刻ｔ１において読み出す画素信号Ａ（＝ａ）に対応する。ステップＳ１０４において、制御部７０は、撮像部２０から出力される画素信号Ａに基づくライブビュー画像データを画像処理部３０により画像処理させた後、表示部５０に表示させる。

【0063】

ステップＳ１０５において、制御部７０は駆動部２１へ指示を送り、撮像部２０から第２データの転送を行わせる。第２データは、上記時刻ｔ２において読み出す画素信号Ｂ（＝ａ＋ｂ）に対応する。ステップＳ１０６において、制御部７０は、ＡＦ演算領域を対象に、画素信号Ｂに基づくＡＦ演算（焦点調節状態の検出）をＡＦ演算部７１に行わせる。これにより、撮像光学系１０の焦点調節を行える。なお、電源オン操作後最初のフレームにおいてはＡＦ演算領域が未決定であるので、撮像素子１００の撮像面の略全域を対象にＡＦ演算を行うものとする。

【0064】

ステップＳ１０７において、制御部７０は画像処理部３０へ指示を送り、ライブビュー画像から主要被写体領域を抽出させる。ステップＳ１０８において、制御部７０は、主要被写体を含む領域を注目領域８０とし、この注目領域８０をＡＦ演算領域に決定してステップＳ１０９へ進む。ＡＦ演算領域は、次フレームで取得されるライブビュー画像に対して適用する。

【0065】

ステップＳ１０９において、制御部７０は、レリーズ操作されたか否かを判定する。レリーズ操作は、撮像装置１に対する本撮像指示として用いられる。制御部７０は、不図示のレリーズボタンが押下操作された場合に、ステップＳ１０９を肯定判定してステップＳ１１０へ進み、押下操作が行われない場合には、ステップＳ１０９を否定判定してステップＳ１１２へ進む。

【0066】

なお、液晶表示パネル５１に表示させたレリーズアイコンに対するタップ操作を検出して本撮像指示を判断する場合には、表示中のレリーズアイコンがタップ操作された場合にステップＳ１０９を肯定判定すればよい。

【0067】

ステップＳ１１０において、制御部７０は駆動部２１へ指示を送り、第１データ（画素信号Ａ（＝ａ））に基づいて決定した撮影用の露出条件に必要な制御パラメータ（露光時間、ゲインなど）を設定してステップＳ１１１へ進む。

【0068】

ステップＳ１１１において、制御部７０は撮影処理を実行し、取得された画像のデータを記録部６０によってメモリカードなどに記憶させて、ステップＳ１０２へ戻る。撮影処理では、撮像素子１００の全領域で共通（同じ）に設定した撮影用の制御パラメータを適用して、１コマの静止画像を取得（本撮像）、記録するとともに、静止画像を取得した後も複数フレームの画像を取得する。そして、レリーズ操作の前後所定時間の間に取得した複数フレームの画像に基づいて、スロー再生動画データを生成、記録する。スロー再生動画データは、撮像素子１００で取得した際のフレームレート（例えば３０ｆｐｓ）より遅いフレームレート（例えば１５ｆｐｓ）で再生する動画像のデータをいう。

【0069】

制御部７０は、以下のようにスロー再生動画データを生成する。すなわち、レリーズ操作時刻（ｔｘとする）より先撮り時間前（例えば０．６秒前）から時刻ｔｘまでに、上述したライブビュー画像の表示のためにワークメモリ４０に一時的に記憶された第１データ（画素信号Ａ（＝ａ））に基づく複数のフレーム画像（例えばフレームレートが３０ｆｐｓで取得された場合の０．６秒分は１８フレームである）、および時刻ｔｘから時刻ｔｘより後撮り時間後（例えば０．４秒後）までにワークメモリ４０に記憶された第１データ（画素信号Ａ（＝ａ））に基づく複数のフレーム画像（例えばフレームレートが３０ｆｐｓで取得された場合の０．４秒分は１２フレームである）に基づいて、スロー再生動画データを生成する。これにより、時刻ｔｘを挟む１秒間（時刻ｔｘの０．６秒前から時刻ｔｘの０．４秒後）にワークメモリ４０に記憶された複数のフレーム画像（計３０枚）に基づいて、再生時間が約２秒間のスロー再生動画データを生成する。このように、レリーズ操作前後に取得したフレーム画像に基づくスロー再生動画データが得られる。なお、スロー再生動画データは、画像処理部３０によりMPEGデータまたはJPEGデータとして生成される。

【0070】

上述したステップＳ１０９を否定判定して進むステップＳ１１２において、制御部７０は、電源オフ操作されたか否かを判定する。制御部７０は、不図示のON-OFFスイッチが電源オフ操作された場合にステップＳ１１２を肯定判定し、所定の電源オフ処理を行って図９による処理を終了する。制御部７０は、不図示のON-OFFスイッチが電源オフ操作されない場合には、ステップＳ１１２を否定判定してステップＳ１０２へ戻る。ステップＳ１０２へ戻る場合は、上述した処理を繰り返す。

【0071】

以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）撮像素子１００は、光電変換を行う複数の画素からのデータを入力するデマルチプレクサ４１３と、上記入力データを画素別に格納する画素メモリ４１４と、画素メモリ４１４に格納されているデータおよび上記入力データを画素別に加算する加算器４１６と、上記入力データまたは加算器４１６により加算されたデータを出力する演算回路４１５と、を備えるようにした。これにより、光電変換データを適切に処理できるから、撮像素子１００の使い勝手をよくすることができる。

【0072】

（２）画素メモリ４１４は、加算器４１６により加算されたデータを画素別に格納するようにしたので、入力データを積算することが可能になる。これにより、光電変換データを積算して出力させたり、積算しないで出力させたりすることができる。

【0073】

（３）加算器４１６は、光電変換時間が異なるデータを画素別に加算するようにしたので、光電変換時間を長く変更した場合に相当するデータが得られる。

【0074】

（４）画素からのデータが入力されるタイミングで、画素メモリ４１４に格納されているデータを読み出させるとともに加算器４１６に加算をさせる駆動制御部４１７を備えるようにしたので、適切なタイミングで制御できる。

【0075】

（５）演算回路４１５から出力されるデータが上記入力データである場合に露出演算、ホワイトバランス調整値の決定、およびライブビュー画像の表示を行い、演算回路４１５から出力されるデータが加算データである場合に焦点検出処理を行うようにしたので、光電変換データと、これを用いる処理とを適切に組み合わせできる。

【0076】

（６）演算回路４１５から上記入力データを出力させるか、または加算データを出力させるかを、入力データによって構成される画像を解析して決定するようにしたので、画像に応じて適切な光電変換データを出力させることができる。

【0077】

（７）上記決定では、画像の主要被写体領域に対応する画素については加算データを出力させ、画像の主要被写体領域以外の領域に対応する画素について入力データを出力させるようにしたので、適切な光電変換データを出力させることができる。

【0078】

（８）複数の画素を有する撮像チップ１１３と、光電変換データを処理するメモリチップ１１２とを積層したので、各チップを面方向に大きくすることなく、撮像素子１００をコンパクトに構成できる。

【0079】

（９）電子機器の一例である撮像装置１は、光電変換データを処理するメモリチップ１１２と、複数の画素を有する撮像チップ１１３とを備えたので、光電変換データを適切に処理して使い勝手のよい撮像装置１を提供できる。

【0080】

（第二の実施形態）
第一の実施形態では、画面を注目領域８０と周辺領域９０とに分け、本撮像の指示前において、注目領域８０と周辺領域９０とで異なる蓄積時間の画像を得る例を説明したが、第二の実施形態では、画面を明部領域８５と暗部領域９５とに分け、本撮像の指示後において、明部領域８５と暗部領域９５とで異なる蓄積時間の画像を得る。ここで、明部領域８５は、例えばライブビュー画像を解析して所定の画素信号値より高い値（所定の輝度値より高い）の画素信号で構成される領域とする。暗部領域９５は、明部領域８５以外の領域とする。

【0081】

第二の実施形態による撮像装置１は、明部領域８５において第１蓄積時間で蓄積された画素信号による画像と、暗部領域９５において第２蓄積時間で蓄積された画素信号による画像とを取得し、両画像を合成してダイナミックレンジが広い画像を得る。このため、制御部７０は、記録用画像を取得する際に駆動部２１へ指示を送り、撮像素子１００（撮像チップ１１３）の暗部領域９５から、第１蓄積時間経過後の画素信号と第２蓄積時間経過後の画素信号とを複数回に分けて読み出す。

【0082】

＜蓄積時間が異なる画素信号の読み出し＞
画素信号の読み出しタイミングと、撮像チップ１１３における蓄積信号と、演算回路４１５を介して撮像素子１００から読み出される画素信号とを、図８を参照して説明する。

【0083】

駆動部２１は、以下のように撮像素子１００を制御する。すなわち、本撮像指示後の記録用画像の蓄積開始時刻t０から時刻t１までを上記第１蓄積時間とし、時刻t０から時刻t２までを上記第２蓄積時間とする。駆動部２１は、時刻ｔ０において、上記明部領域８５および暗部領域９５に含まれる画素に対して電荷蓄積を開始させる。そして、時刻ｔ１において、図５に例示した画素メモリｎに格納されている画素信号を読み出さないように画素メモリ４１４を制御しながら、上記明部領域８５および暗部領域９５から画素信号を出力させる。これにより、第１蓄積時間（時刻t０から時刻t１）の間に蓄積された画素信号ａがデマルチプレクサ４１３から出力され、そのまま信号Ａとして演算回路４１５を介して出力される。この画素信号Ａ（＝ａ）は、画素メモリｎにも格納される。

【0084】

駆動部２１はさらに、時刻ｔ１において上記画素信号の読み出しを行うと、ただちに上記暗部領域９５に含まれる画素に対して電荷蓄積を開始させる。そして、時刻ｔ２において、図５に例示した画素メモリｎに格納されている画素信号ａを読み出すように画素メモリ４１４を制御しながら、上記暗部領域９５から画素信号を出力させる。これにより、時刻t１から時刻t２までの間に蓄積された画素信号ｂがデマルチプレクサ４１３から出力され、この画素信号ｂと、画素メモリｎから読み出された画素信号ａとが加算器ｎで加算される。加算後の画素信号ａ＋ｂは、信号Ｂとして演算回路４１５を介して出力される。画素信号Ｂ（＝ａ＋ｂ）は、時刻t０から時刻t１までと、時刻t１から時刻t２までに蓄積された画素信号の和であるため、第２蓄積時間（時刻t０から時刻t２）の間に蓄積される画素信号に相当する。

【0085】

上述したように、第二の実施形態では、第１蓄積時間より長い第２蓄積時間で蓄積された画素信号Ｂで暗部領域９５の画像を形成するので、蓄積時間が短く信号レベルが低い画素信号Ａで暗部領域９５の画像を形成する場合に比べて、画像の黒潰れを生じにくい。また、第２蓄積時間より短い第１蓄積時間で蓄積された画素信号Ａで明部領域８５の画像を形成するので、蓄積時間が長く信号レベルが高い画素信号Ｂで明部領域８５の画像を形成する場合に比べて、画像の白飛びが生じにくい。この結果、明部から暗部までのダイナミックレンジの広い画像が、時刻t０から時刻t２までの蓄積処理を１回行うだけで得られる。また、第１蓄積時間と第２蓄積時間とで蓄積開始時刻が同じ（ともに時刻t０）であるので、開示蓄積開始時刻が異なる複数枚の画像を合成する従来技術と違って、動いている被写体を撮影する場合にも好適である。

【0086】

＜フローチャートの説明＞
図１０は、第二の実施形態において撮像装置１の制御部７０が実行する撮影動作の流れを説明するフローチャートである。制御部７０は、不図示のON-OFFスイッチが電源オン操作され、撮像装置１の各部に対して通電が行われている場合に、図１０による処理を繰り返し起動させる。図１０のステップＳ２０１において、制御部７０は、明部領域８５および暗部領域９５用のフレームレート、ゲインなどの制御パラメータをそれぞれ決定してステップＳ２０２へ進む。例えば、後述するステップＳ２０２、Ｓ２０５、Ｓ２０８において適用する値を、プログラムデータから読み出して用意しておく。

【0087】

ステップＳ２０２において、制御部７０は駆動部２１へ指示を送り、撮像部２０によるライブビュー撮像を開始させる。ステップＳ２０２で開始するライブビュー画像の取得は、例えば撮像素子１００の撮像面の略全域を対象に暗部領域９５用の制御パラメータを設定して行う。

【0088】

ステップＳ２０３において、制御部７０は、ライブビュー画像に基づいて明部領域８５および暗部領域９５を判定してステップＳ２０４へ進む。ステップＳ２０４において、制御部７０は、レリーズ操作されたか否かを判定する。レリーズ操作は、撮像装置１に対する本撮像指示として用いられる。制御部７０は、不図示のレリーズボタンが押下操作された場合に、ステップＳ２０４を肯定判定してステップＳ２０５へ進み、押下操作が行われない場合には、ステップＳ２０４を否定判定してステップＳ２１１へ進む。

【0089】

なお、液晶表示パネル５１に表示させたレリーズアイコンに対するタップ操作を検出して本撮像指示を判断する場合には、表示中のレリーズアイコンがタップ操作された場合にステップＳ２０４を肯定判定すればよい。

【0090】

ステップＳ２０５において、制御部７０は駆動部２１へ指示を送り、撮像部２０による記録用撮像を開始させる。ステップＳ２０５で開始する記録用画像の取得は、例えば撮像素子１００の撮像面の略全域を対象に明部領域８５用の制御パラメータを設定して行う。

【0091】

ステップＳ２０６において、制御部７０は駆動部２１へ指示を送り、撮像部２０から第１データの転送を行わせる。第１データは、上記時刻ｔ１において読み出す画素信号Ａ（＝ａ）に対応する。ステップＳ２０７において、制御部７０は、画像処理部３０へ指示を送り、第１データのうち明部領域８５に対応するデータをワークメモリ４０に一時格納してステップＳ２０８へ進む。

【0092】

ステップＳ２０８において、制御部７０は駆動部２１へ指示を送り、撮像部２０から第２データの転送を行わせる。第２データは、上記時刻ｔ２において読み出す画素信号Ｂ（＝ａ＋ｂ）に対応する。ステップＳ２０９において、制御部７０は、画像処理部３０へ指示を送り、第２データ（すなわち暗部領域９５に対応するデータ）をワークメモリ４０に一時格納してステップＳ２１０へ進む。

【0093】

ステップＳ２１０において、制御部７０は画像処理部３０へ指示を送り、ワークメモリ４０に一時格納されている第１データおよび第２データを画像合成する。具体的には、第１データによる画像のうち、暗部領域９５に対応する領域を第２データによる画像で置換する。これにより、暗部領域９５は画素信号Ｂ（＝ａ＋ｂ）で構成され、明部領域は画素信号Ａ（＝ａ）で構成される合成画像が得られる。制御部７０は、画像合成が終了するとステップＳ２０２へ戻る。ステップＳ２０２へ戻る場合は、上述した処理を繰り返す。

【0094】

上述したステップＳ２０４を否定判定して進むステップＳ２１１において、制御部７０は、電源オフ操作されたか否かを判定する。制御部７０は、不図示のON-OFFスイッチが電源オフ操作された場合にステップＳ２１１を肯定判定し、所定の電源オフ処理を行って図１０による処理を終了する。制御部７０は、不図示のON-OFFスイッチが電源オフ操作されない場合には、ステップＳ２１１を否定判定してステップＳ２０２へ戻る。

【0095】

以上説明した第二の実施形態によれば、次の作用効果が得られる。
（１）撮像素子１００は、演算回路４１５から出力されるデータがデマルチプレクサ４１３に入力されたデータである場合に画像の明部領域８５を形成し、演算回路４１５から出力されるデータが加算器４１６により加算されたデータである場合に画像の暗部領域９５を形成するようにしたので、光電変換データと、これを用いる処理とを適切に組み合わせて広いダイナミックレンジの画像を得ることができる。

【0096】

（２）演算回路４１５から上記入力データを出力させるか、または加算データを出力させるかを、入力データによって構成される画像を解析して決定するようにしたので、画像に応じて適切な光電変換データを出力させることができる。

【0097】

（３）上記決定では、画像の輝度が所定値より高い領域に対応する画素については上記入力データを出力させ、画像の輝度が所定値より低い領域に対応する画素について上記加算されたデータを出力させるようにしたので、適切な光電変換データを出力させることができる。

【0098】

（変形例１）
上述した第一の実施形態および第二の実施形態に係る撮像装置１を、高機能携帯電話機、またはタブレット端末によって構成してもよい。この場合、高機能携帯電話機（またはタブレット端末）に搭載されるカメラユニットを、上記積層型撮像素子１００を用いて構成する。

【0099】

（変形例２）
上述した第二の実施形態では、画像処理部３０が、ワークメモリ４０に一時格納されている第１データおよび第２データを用いて画像合成する例を説明した。この代わりに、図４および図５に例示した画素メモリ４１４および加算器４１６を用いて画像合成を行うように構成してもよい。例えば、時刻ｔ１における画素信号の読み出しの際、撮像素子１００から明部領域８５に対応する画素信号Ａのみを選択的に読み出すように制御する。また、時刻ｔ２における画素信号の読み出しの際、撮像素子１００から暗部領域９５に対応する画素信号Ｂのみを選択的に読み出すように制御する。

【0100】

（変形例３）
上述した第一の実施形態、および第二の実施形態では、撮像素子１００（撮像チップ１１３）の所定の領域から、第１蓄積時間経過後の画素信号と、第２蓄積時間経過後の画素信号とを２回に分けて読み出す例を説明した。複数回の読み出し回数は、上述した２回だけでなく、３回でも４回でもそれ以上であってもよい。

【0101】

また、本撮像の指示前に複数回に分けて読み出した画像については、それぞれＡＦ演算に用いる画像、露出演算、ホワイトバランス調整値の決定に用いる画像、主要被写体の抽出に用いる画像、ライブビュー表示に用いる画像などとして、その用途を分けてもよい。また、本撮像の指示後に複数回に分けて読み出した画像については、それぞれ、きわめて明部領域、明部領域、暗部領域、きわめて暗部領域などとして、その用途を画像の明るさ別に分けてもよい。

【0102】

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。上記各実施形態および各変形例の構成は、適宜組合せて構わない。

【符号の説明】

【0103】

１…撮像装置
１０…撮像光学系
２０…撮像部
３０…画像処理部
４０…ワークメモリ
５０…表示部
５１…液晶表示パネル
５２…タッチパネル
６０…記録部
７０…制御部
７１…ＡＦ演算部
７２…ＡＥ、ＡＷＢ演算部
１００…撮像素子
１０９…バンプ
１１１…信号処理チップ
１１２…メモリチップ
１１３…撮像チップ
１３１…単位領域
４１３…デマルチプレクサ
４１４…画素メモリ
４１５…演算回路
４１６…加算器
４１７…駆動制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】