特開 2023-103373 撮像素子および撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023103373

(43)【公開日】2023-07-26

(54)【発明の名称】撮像素子および撮像装置

(51)【国際特許分類】

   H04N 25/533 20230101AFI20230719BHJP

   H04N 25/706 20230101ALI20230719BHJP

   H04N 25/583 20230101ALI20230719BHJP

   H04N 25/79 20230101ALI20230719BHJP

【ＦＩ】

H04N25/533

H04N25/706

H04N25/583

H04N25/79

【審査請求】有

【請求項の数】24

【出願形態】ＯＬ

(21)【出願番号】P 2023080583

(22)【出願日】2023-05-16

(62)【分割の表示】P 2021186944の分割

【原出願日】2013-03-28

(31)【優先権主張番号】P 2012082312

(32)【優先日】2012-03-30

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2012128092

(32)【優先日】2012-06-05

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】綱井 史郎

(57)【要約】      （修正有）

【課題】複数の光電変換部の露光時間を制御する撮像素子および撮像装置を提供する。
【解決手段】分割された領域毎の電荷蓄積制御方法であって、撮像装置の演算部は、ユーザから撮影準備指示を受けると、測光部の出力からシャッタ速度Ｔ０を決定する。さらに、シャドウ領域、中間領域およびハイライト領域に分割して、それぞれの輝度情報から電荷蓄積回数を決定する。電荷蓄積回数は、１回あたりの電荷蓄積により画素が飽和しないように決定され、決定されたシャッタ速度Ｔ０と電荷蓄積時間を一致させる。中間領域の電荷蓄積回数を２回とする。すなわち、１回の電荷蓄積時間をＴ０／２として、シャッタ速度Ｔ０の間に２回の電荷蓄積を繰り返させる。また、ハイライト領域６１３の電荷蓄積回数を４回とする。すなわち、１回の電荷蓄積時間をＴ０／４として、シャッタ速度Ｔ０の間に４回の電荷蓄積を繰り返させる。
【選択図】図７

【特許請求の範囲】

【請求項1】

光を電荷に変換する第１光電変換部と、光を電荷に変換する第２光電変換部と、光を電荷に変換する第３光電変換部とが配置される第１半導体基板と、
前記第１半導体基板に電気的に接続される半導体基板であって、前記第１光電変換部で変換された電荷により生成される第１信号に基づいて、前記第２光電変換部で変換された電荷を蓄積する蓄積時間と、前記第３光電変換部で変換された電荷を蓄積する蓄積時間とが異なる蓄積時間になるように制御する駆動部が配置される第２半導体基板と
を備え、
前記第２光電変換部と前記第３光電変換部とは、前記第１半導体基板において行方向に沿って配置される撮像素子。

【請求項2】

請求項１に記載の撮像素子において、
前記第１信号をデジタル信号に変換する第１変換部と、
前記第２光電変換部で変換された電荷により生成される第２信号をデジタル信号に変換する第２変換部と、
前記第３光電変換部で変換された電荷により生成される第３信号をデジタル信号に変換する第３変換部と
を備える撮像素子。

【請求項3】

請求項２に記載の撮像素子において、
前記第１変換部、前記第２変換部および前記第３変換部は、前記第２半導体基板に配置される撮像素子。

【請求項4】

請求項２または請求項３に記載の撮像素子において、
前記駆動部は、前記第１変換部でデジタル信号に変換された前記第１信号に基づいて、前記第２光電変換部で変換された電荷を蓄積する蓄積時間と、前記第３光電変換部で変換された電荷を蓄積する蓄積時間とが異なる蓄積時間になるように制御する撮像素子。

【請求項5】

請求項１から請求項４のいずれか一項に記載の撮像素子において、
前記第１光電変換部で変換された電荷を転送するための第１転送部と、
前記第２光電変換部で変換された電荷を転送するための第２転送部と、
前記第３光電変換部で変換された電荷を転送するための第３転送部と
を備え、
前記駆動部は、前記第１信号に基づいて、前記第２転送部により前記第２光電変換部の電荷を転送するタイミングと、前記第３転送部により前記第３光電変換部の電荷を転送するタイミングとを制御する撮像素子。

【請求項6】

請求項５に記載の撮像素子において、
前記第１転送部、前記第２転送部および前記第３転送部は、前記第１半導体基板に配置される撮像素子。

【請求項7】

請求項５または請求項６に記載の撮像素子において、
前記第１光電変換部で変換された電荷を排出するための第１リセット部と、
前記第２光電変換部で変換された電荷を排出するための第２リセット部と、
前記第３光電変換部で変換された電荷を排出するための第３リセット部と
を備え、
前記駆動部は、前記第１信号に基づいて、前記第２リセット部により前記第２光電変換部の電荷を排出するタイミングと、前記第３リセット部により前記第３光電変換部の電荷を排出するタイミングとを制御する撮像素子。

【請求項8】

請求項７に記載の撮像素子において、
前記第１リセット部、前記第２リセット部および前記第３リセット部は、前記第１半導体基板に配置される撮像素子。

【請求項9】

請求項１から請求項４のいずれか一項に記載の撮像素子において、
前記第１光電変換部で変換された電荷を排出するための第１リセット部と、
前記第２光電変換部で変換された電荷を排出するための第２リセット部と、
前記第３光電変換部で変換された電荷を排出するための第３リセット部と
を備え、
前記駆動部は、前記第１信号に基づいて、前記第２リセット部により前記第２光電変換部の電荷を排出するタイミングと、前記第３リセット部により前記第３光電変換部の電荷を排出するタイミングとを制御する撮像素子。

【請求項10】

請求項９に記載の撮像素子において、
前記第１リセット部、前記第２リセット部および前記第３リセット部は、前記第１半導体基板に配置される撮像素子。

【請求項11】

請求項１に記載の撮像素子において、
前記第１信号と、前記第２光電変換部で変換された電荷により生成される第２信号とをデジタル信号に変換する第１変換部と、
前記第３光電変換部で変換された電荷により生成される第３信号をデジタル信号に変換する第２変換部と
を備える撮像素子。

【請求項12】

請求項１１に記載の撮像素子において、
前記第１変換部と前記第２変換部とは、前記第２半導体基板に配置される撮像素子。

【請求項13】

請求項１１または請求項１２に記載の撮像素子において、
前記駆動部は、前記第１変換部でデジタル信号に変換された前記第１信号に基づいて、前記第２光電変換部で変換された電荷を蓄積する蓄積時間と、前記第３光電変換部で変換された電荷を蓄積する蓄積時間とが異なる蓄積時間になるように制御する撮像素子。

【請求項14】

請求項１１から請求項１３のいずれか一項に記載の撮像素子において、
前記第１光電変換部で変換された電荷を転送するための第１転送部と、
前記第２光電変換部で変換された電荷を転送するための第２転送部と、
前記第３光電変換部で変換された電荷を転送するための第３転送部と
を備え、
前記駆動部は、前記第１信号に基づいて、前記第２転送部により前記第２光電変換部の電荷を転送するタイミングと、前記第３転送部により前記第３光電変換部の電荷を転送するタイミングとを制御する撮像素子。

【請求項15】

請求項１４に記載の撮像素子において、
前記第１転送部、前記第２転送部および前記第３転送部は、前記第１半導体基板に配置される撮像素子。

【請求項16】

請求項１４または請求項１５に記載の撮像素子において、
前記第１光電変換部で変換された電荷を排出するための第１リセット部と、
前記第２光電変換部で変換された電荷を排出するための第２リセット部と、
前記第３光電変換部で変換された電荷を排出するための第３リセット部と
を備え、
前記駆動部は、前記第１信号に基づいて、前記第２リセット部により前記第２光電変換部の電荷を排出するタイミングと、前記第３リセット部により前記第３光電変換部の電荷を排出するタイミングとを制御する撮像素子。

【請求項17】

請求項１６に記載の撮像素子において、
前記第１リセット部、前記第２リセット部および前記第３リセット部は、前記第１半導体基板に配置される撮像素子。

【請求項18】

請求項１１から請求項１３のいずれか一項に記載の撮像素子において、
前記第１光電変換部で変換された電荷を排出するための第１リセット部と、
前記第２光電変換部で変換された電荷を排出するための第２リセット部と、
前記第３光電変換部で変換された電荷を排出するための第３リセット部と
を備え、
前記駆動部は、前記第１信号に基づいて、前記第２リセット部により前記第２光電変換部の電荷を排出するタイミングと、前記第３リセット部により前記第３光電変換部の電荷を排出するタイミングとを制御する撮像素子。

【請求項19】

請求項１８に記載の撮像素子において、
前記第１リセット部、前記第２リセット部および前記第３リセット部は、前記第１半導体基板に配置される撮像素子。

【請求項20】

請求項１から請求項１９のいずれか一項に記載の撮像素子において、
前記第１光電変換部、前記第２光電変換部および前記第３光電変換部は、前記第１半導体基板において前記行方向に沿って配置される撮像素子。

【請求項21】

請求項１から請求項２０のいずれか一項に記載の撮像素子において、
前記第１半導体基板は、光が入射する第１面と、前記第１面とは反対側の第２面とを有し、
前記第２半導体基板は、前記第１半導体基板の前記第２面に対向する第３面を有する撮像素子。

【請求項22】

請求項１から請求項２１のいずれか一項に記載の撮像素子と、
前記撮像素子に接続される制御部と
を備える撮像装置。

【請求項23】

請求項２２に記載の撮像装置において、
前記制御部は、前記撮像素子から出力された前記第１信号を用いて被写体の輝度情報を取得する撮像装置。

【請求項24】

請求項２３に記載の撮像装置において、
前記制御部は、前記輝度情報に基づいて、前記撮像素子の前記駆動部の動作を制御する撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像素子および撮像装置に関する。

【背景技術】

【0002】

従来からフォトダイオードに接続される回路を制御信号により制御して、画素信号の読み出しを行う撮像素子が知られている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００６－４９３６１号公報

【発明の概要】

【0003】

本発明の第１の態様における電子機器は、光を電荷に変換する複数の光電変換部を有する撮像素子と、複数の光電変換部のうち第１光電変換部の電荷を第１光電変換部から転送するタイミングと、複数の光電変換部のうち、第１光電変換部から行方向側に配置される第２光電変換部の電荷を第２光電変換部から転送するタイミングと、が異なるタイミングになるように制御する制御部と、を備える。

【0004】

本発明の第２の態様における電子機器は、光を電荷に変換する複数の光電変換部を有する撮像素子と、複数の光電変換部のうち第１光電変換部の電荷を第１光電変換部から排出するタイミングと、複数の光電変換部のうち、第１光電変換部から行方向側に配置される第２光電変換部の電荷を第２光電変換部から排出するタイミングと、が異なるタイミングになるように制御する制御部と、を備える。

【0005】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0006】

【図1】本実施形態に係る裏面照射型のＭＯＳ型撮像素子の断面図である。

【図2】撮像チップの画素配列と単位グループを説明する図である。

【図3】撮像チップの単位グループに対応する回路図である。

【図4】撮像素子の機能的構成を示すブロック図である。

【図5】本実施形態に係る撮像装置の構成を示すブロック図である。

【図6】シーンの例と領域分割を説明する図である。

【図7】分割された領域ごとの電荷蓄積制御を説明する図である。

【図8】積算回数とダイナミックレンジの関係を示す図である。

【図9】撮影動作の処理を示すフロー図である。

【図10】信号処理チップの一例としての具体的構成を示すブロック図である。

【図11】撮像チップから信号処理チップへ伝送される画素信号の流れを説明する説明図である。

【発明を実施するための形態】

【0007】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0008】

図１は、本実施形態に係る裏面照射型の撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

【0009】

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

【0010】

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配された複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

【0011】

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が一つの画素を形成する。

【0012】

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

【0013】

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

【0014】

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

【0015】

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

【0016】

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ１０９は、例えば後述する一つの画素グループに対して一つ程度設ければ良い。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けても良い。

【0017】

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられて良い。

【0018】

図２は、撮像チップ１１３の画素配列と単位グループ１３１を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。画素領域には２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する４画素×４画素の１６画素が一つのグループを形成する。図の格子線は、隣接する画素がグループ化されて単位グループ１３１を形成する概念を示す。

【0019】

画素領域の部分拡大図に示すように、単位グループ１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

【0020】

図３は、撮像チップ１１３の単位グループ１３１に対応する回路図である。図において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

【0021】

上述のように、単位グループ１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。

【0022】

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。

【0023】

各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けても良いし、信号処理チップ１１１側に設けても良い。

【0024】

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加されると、ＰＤ１０４およびフローティングディフュージョンＦＤの電位はリセットされる。

【0025】

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

【0026】

図示するように、本実施形態においては、単位グループ１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、単位グループ１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５が選択パルスによって順次印加されて、選択的に出力配線３０９に出力される。

【0027】

このように単位グループ１３１を基準として回路を構成することにより、単位グループ１３１ごとに電荷蓄積時間を制御することができる。換言すると、隣接する単位グループ１３１同士で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ１３１に１回の電荷蓄積を行わせている間に、他方の単位グループ１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることもできる。具体的な出力制御については後述する。

【0028】

図４は、撮像素子１００の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位グループ１３１を形成する１６個のＰＤ１０４を順番に選択して、それぞれの画素信号を出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。

【0029】

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。画素メモリ４１４のそれぞれは、後述する最大積算回数に対応する画素信号を格納できる容量を有する。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。

【0030】

Ａ／Ｄ変換は、入力されるアナログ画素信号を、１２ｂｉｔのデジタル画素信号に変換する。同時に、信号処理回路４１２は、後述する積算数に対応する３ｂｉｔの指数桁を繋ぎ合わせて、全体として１５ｂｉｔのデジタル画素信号をデマルチプレクサ４１３に引き渡す。したがって、画素メモリ４１４には、１回の電荷蓄積に対応して１５ｂｉｔのデジタル画素信号が格納される。

【0031】

演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられても良いし、メモリチップ１１２に設けられても良い。なお、図では１グループ分の接続を示すが、実際にはこれらがグループごとに存在して、並列で動作する。ただし、演算回路４１５はグループごとに存在しなくても良く、例えば、一つの演算回路４１５がそれぞれのグループに対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理しても良い。

【0032】

図５は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置５００は、撮影光学系としての撮影レンズ５２０を備え、撮影レンズ５２０は、光軸ＯＡに沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ５２０は、撮像装置５００に対して着脱できる交換式レンズであっても構わない。撮像装置５００は、撮像素子１００、システム制御部５０１、駆動部５０２、測光部５０３、ワークメモリ５０４、記録部５０５、および表示部５０６を主に備える。

【0033】

撮影レンズ５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では瞳近傍に配置された仮想的な１枚のレンズで代表して表している。駆動部５０２は、システム制御部５０１からの指示に従って撮像素子１００のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。この意味において駆動部５０２は、撮像素子１００に対して電荷蓄積を実行させて画素信号を出力させる撮像素子制御部の機能を担うと言える。駆動部５０２は、撮像素子１００と組み合わされて撮像ユニットを形成する。駆動部５０２を形成する制御回路は、チップ化されて、撮像素子１００に積層されても良い。

【0034】

撮像素子１００は、画素信号をシステム制御部５０１の画像処理部５１１へ引き渡す。画像処理部５１１は、ワークメモリ５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、記録部５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部５０６に表示される。

【0035】

測光部５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部５０１の演算部５１２は、測光部５０３の出力を受けてシーンの領域ごとの輝度を算出する。演算部５１２は、算出した輝度分布に従ってシャッタ速度、絞り値、ＩＳＯ感度を決定する。本実施形態において演算部５１２は、更に、決定したシャッタ速度に到達するまでの間に、撮像チップ１１３のどの画素グループ領域に何回の電荷蓄積を繰り返させるかを決定する。なお、演算部５１２は、撮像装置５００を動作させるための各種演算も実行する。

【0036】

図６は、シーンの例と領域分割を説明する図である。図６（ａ）は、撮像チップ１１３の画素領域が捉えるシーンを示す。具体的には、屋内環境に含まれるシャドウ被写体６０１および中間被写体６０２と、窓枠６０４の内側に観察される屋外環境のハイライト被写体６０３とが同時に写り込むシーンである。このような、ハイライト部からシャドウ部までの明暗差が大きなシーンを撮影する場合、従来の撮像素子であれば、ハイライト部を基準として電荷蓄積を実行するとシャドウ部で黒潰れが生じ、シャドウ部を基準として電荷蓄積を実行するとハイライト部で白飛びが生じた。すなわち、ハイライト部もシャドウ部も一律に一度の電荷蓄積により画像信号を出力させるには、明暗差の大きなシーンに対してフォトダイオードのダイナミックレンジが不足していると言える。そこで、本実施形態においては、シーンをハイライト部、シャドウ部といった部分領域に分割して、それぞれの領域に対応するフォトダイオードの電荷蓄積回数を互いに異ならせることにより、ダイナミックレンジの実質的な拡大を図る。

【0037】

図６（ｂ）は、撮像チップ１１３の画素領域における領域分割を示す。演算部５１２は、測光部５０３が捉えた図６（ａ）のシーンを解析して、輝度を基準に画素領域を分割する。例えば、システム制御部５０１は、測光部５０３に露光時間を変更しつつ複数回のシーン取得を実行させ、演算部５１２は、その白飛び領域、黒潰れ領域の分布の変化を参照して画素領域の分割ラインを決定する。図６（ｂ）の例においては、演算部５１２は、シャドウ領域６１１、中間領域６１２、およびハイライト領域６１３の３領域に分割している。

【0038】

分割ラインは、単位グループ１３１の境界に沿って定義される。すなわち、分割された各領域は、整数個のグループをそれぞれ含む。そして、同一の領域に包含される各グループの画素は、演算部５１２によって決定されたシャッタ速度に対応する期間内において、同一回数の電荷蓄積および画素信号出力を行う。属する領域が異なれば、異なる回数の電荷蓄積および画素信号出力を行う。

【0039】

図７は、図６の例による分割された領域ごとの電荷蓄積制御を説明する図である。演算部５１２は、ユーザから撮影準備指示を受けると、測光部５０３の出力からシャッタ速度Ｔ_０を決定する。さらに、上述のようにシャドウ領域６１１、中間領域６１２およびハイライト領域６１３に分割して、それぞれの輝度情報から電荷蓄積回数を決定する。電荷蓄積回数は、１回あたりの電荷蓄積により画素が飽和しないように決定される。例えば、１回の電荷蓄積動作において蓄積可能な８割から９割の電荷が蓄積されることを基準として、電荷蓄積回数が決定される。

【0040】

ここでは、シャドウ領域６１１を１回とする。すなわち、決定されたシャッタ速度Ｔ_０と電荷蓄積時間を一致させる。また、中間領域６１２の電荷蓄積回数を２回とする。すなわち、１回の電荷蓄積時間をＴ_０／２として、シャッタ速度Ｔ_０の間に２回の電荷蓄積を繰り返させる。また、ハイライト領域６１３の電荷蓄積回数を４回とする。すなわち、１回の電荷蓄積時間をＴ_０／４として、シャッタ速度Ｔ_０の間に４回の電荷蓄積を繰り返させる。

【0041】

ユーザから撮影指示を時刻ｔ＝０で受けると、駆動部５０２は、いずれの領域に属するグループの画素に対しても、リセットパルスと転送パルスを印加する。この印加をトリガーとして、いずれの画素も電荷蓄積を開始する。

【0042】

時刻ｔ＝Ｔ_０／４となったら、駆動部５０２は、ハイライト領域６１３に属するグループの画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３０９に出力させる。グループ内の全ての画素の画素信号を出力させたら、駆動部５０２は、ハイライト領域６１３に属するグループの画素に対して再びリセットパルスと転送パルスを印加して、２回目の電荷蓄積を開始させる。

【0043】

なお、画素信号の選択出力には時間を要するので、１回目の電荷蓄積の終了と２回目の電荷蓄積の開始の間には時間差が生じる。この時間差が実質的に無視し得るのであれば、上述のように、シャッタ速度Ｔ_０に対して電荷蓄積回数で割った時間を１回の電荷蓄積時間とすれば良い。一方、無視し得ないのであれば、その時間を考慮して、シャッタ速度Ｔ_０を調整したり、１回の電荷蓄積時間をシャッタ速度Ｔ_０に対して電荷蓄積回数で割った時間よりも短くしたりすれば良い。

【0044】

時刻ｔ＝Ｔ_０／２となったら、駆動部５０２は、中間領域６１２とハイライト領域６１３に属するグループの画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３０９に出力させる。グループ内の全ての画素の画素信号を出力させたら、駆動部５０２は、中間領域６１２とハイライト領域６１３に属するグループの画素に対して再びリセットパルスと転送パルスを印加して、中間領域６１２に対しては２回目の、ハイライト領域６１３に対しては３回目の電荷蓄積を開始させる。

【0045】

時刻ｔ＝３Ｔ_０／４となったら、駆動部５０２は、ハイライト領域６１３に属するグループの画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３０９に出力させる。グループ内の全ての画素の画素信号を出力させたら、駆動部５０２は、ハイライト領域６１３に属するグループの画素に対して再びリセットパルスと転送パルスを印加して、４回目の電荷蓄積を開始させる。

【0046】

時刻ｔ＝Ｔ_０となったら、駆動部５０２は、全領域の画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３０９に出力させる。以上の制御により、シャドウ領域６１１に対応する画素メモリ４１４にはそれぞれ１回分の画素信号が格納され、中間領域６１２に対応する画素メモリ４１４にはそれぞれ２回分の画素信号が格納され、ハイライト領域６１３に対応する画素メモリ４１４にはそれぞれ４回分の画素信号が格納される。

【0047】

これらの画素信号は、順次画像処理部５１１へ転送される。画像処理部５１１は、この画素信号から高ダイナミックレンジの画像データを生成する。具体的な処理については後述する。

【0048】

図８は、積算回数とダイナミックレンジの関係を示す図である。繰り返し実行された電荷蓄積に対応する複数回分の画素信号は、画像処理部５１１により積算処理されて、高ダイナミックレンジの画像データの一部を形成する。

【0049】

積算回数が１回、すなわち電荷蓄積を１回行った領域のダイナミックレンジを基準とした場合、積算回数が２回、すなわち電荷蓄積を２回行って出力信号を積算した領域のダイナミックレンジの拡大分は１段分となる。同様に、積算回数を４回にすれば２段分となり、１２８回にすれば７段分となる。すなわち、ｎ段分のダイナミックレンジ拡大を図るには、２^ｎ回の出力信号を積算すれば良い。

【0050】

ここで、画像処理部５１１がいずれの分割領域が何回の電荷蓄積を行ったかを識別するために、積算回数を示す３ｂｉｔの指数桁が画像信号に付与されている。図示するように、指数桁は、積算数１回に対して０００、２回に対して００１、…１２８回に対して１１１のように順に割り当てられる。

【0051】

画像処理部５１１は、演算回路４１５から受け取った各画素信号の指数桁を参照して、参照した結果が２回以上の積算数である場合には、画素信号の積算処理を実行する。例えば、積算回数が２回の場合（１段）は、２個の画素信号に対して、電荷蓄積に対応する１２ｂｉｔの画素信号のうち上位１１ｂｉｔ同士を加算して、１２ｂｉｔの１つの画素信号を生成する。同様に、積算回数が１２８回（７段）の場合は、１２８個の画素信号に対して、電荷蓄積に対応する１２ｂｉｔの画素信号のうち上位５ｂｉｔ同士を加算して、１２ｂｉｔの１つの画素信号を生成する。すなわち、積算回数に対応する段数を１２から引いた上位ｂｉｔを互いに足し合わせて、１２ｂｉｔの１つの画素信号を生成する。なお、加算の対象とならない下位ｂｉｔは除去される。

【0052】

このように処理することにより、階調を与える輝度範囲を積算回数に合わせて高輝度側にシフトさせることができる。すなわち、高輝度側の限られた範囲に対して１２ｂｉｔが割り当てられることになる。したがって、従来白飛びしていた画像領域に対して階調を与えることができる。

【0053】

ただし、他の分割領域については異なる輝度範囲に対して１２ｂｉｔを割り当てているので、単純に領域ごとに繋ぎ合わせる合成により画像データを生成することができない。そこで、画像処理部５１１は、得られた階調をできる限り維持しつつ全領域を１２ｂｉｔの画像データとするために、最大輝度画素と最低輝度画素を基準として、再量子化処理を行う。具体的には、階調がより滑らかに維持されるように、ガンマ変換を施して量子化を実行する。このように処理することにより、高ダイナミックレンジの画像データを得ることができる。

【0054】

なお、積算回数は、上記のように３ｂｉｔの指数桁が画素信号に付与されている場合に限らず、画素信号とは別の付随情報として記述されていても良い。また、画素信号から指数桁を省き、代わりに画素メモリ４１４に格納されている画素信号の数をカウントすることにより、加算処理時に積算回数を取得しても良い。

【0055】

また、上記の画像処理においては、全領域を１２ｂｉｔの画像データに収める再量子化処理を実行したが、画素信号のｂｉｔ数に対し、上限の積算回数に合わせて出力ｂｉｔ数を増やしても良い。例えば、上限の積算回数を１６回（４段）と定めれば、１２ｂｉｔの画素信号に対して、全領域を１６ｂｉｔの画像データとすれば良い。このように処理すれば、桁落ちさせずに画像データを生成することができる。

【0056】

次に、一連の撮影動作処理について説明する。図９は、撮影動作の処理を示すフロー図である。フローは、撮像装置５００の電源がＯＮにされて開始される。

【0057】

システム制御部５０１は、ステップＳ１０１で、撮影準備指示であるスイッチＳＷ１の押し下げがなされるまで待機する。スイッチＳＷ１の押し下げを検知したらステップＳ１０２へ進む。

【0058】

ステップＳ１０２では、システム制御部５０１は、測光処理を実行する。具体的には、測光部５０３の出力を得て、演算部５１２がシーンの輝度分布を算出する。そして、ステップＳ１０３へ進み、上述のように、シャッタ速度、領域分割、積算回数等を決定する。

【0059】

撮影準備動作が完了したら、ステップＳ１０４へ進み、撮影指示であるスイッチＳＷ２の押し下げがなされるまで待機する。このとき、経過時間が予め定められた時間Ｔｗを超えたら（ステップＳ１０５のＹＥＳ）、ステップＳ１０１へ戻る。Ｔｗを超える前に（ステップＳ１０５のＮＯ）スイッチＳＷ２の押し下げを検知したら、ステップＳ１０６へ進む。

【0060】

ステップＳ１０６では、システム制御部５０１の指示を受けた駆動部５０２が、図７を用いて説明した電荷蓄積処理、信号読み出し処理を実行する。そして、全ての信号読み出しが完了したらステップＳ１０７へ進み、図８を用いて説明した画像処理を実行し、生成された画像データを記録部に記録する記録処理を実行する。

【0061】

記録処理が完了したらステップＳ１０８へ進み、撮像装置５００の電源がＯＦＦにされたか否かを判断する。電源がＯＦＦにされなければステップＳ１０１へ戻り、ＯＦＦにされたら一連の撮影動作処理を終了する。

【0062】

次に、信号処理チップ１１１の具体的な構成の一例について説明する。図１０は、信号処理チップ１１１の一例としての具体的構成を示すブロック図である。上述の図４を用いた説明においては、デマルチプレクサ４１３および画素メモリ４１４がメモリチップ１１２に形成された一例を示したが、ここでは、信号処理チップ１１１に形成された例を説明する。

【0063】

信号処理チップ１１１は、駆動部５０２の機能を担う。信号処理チップ１１１は、分担化された制御機能としてのセンサ制御部４４１、ブロック制御部４４２、同期制御部４４３、信号制御部４４４と、これらの各制御部を統括制御する駆動制御部４２０とを含む。駆動制御部４２０は、システム制御部５０１からの指示を、各制御部が実行可能な制御信号に変換してそれぞれに引き渡す。

【0064】

センサ制御部４４１は、撮像チップ１１３へ送出する、各画素の電荷蓄積、電荷読み出しに関わる制御パルスの送出制御を担う。具体的には、センサ制御部４４１は、対象画素に対してリセットパルスと転送パルスを送出することにより、電荷蓄積の開始と終了を制御し、読み出し画素に対して選択パルスを送出することにより、画素信号を出力配線３０９へ出力させる。

【0065】

ブロック制御部４４２は、撮像チップ１１３へ送出する、制御対象となる単位グループ１３１を特定する特定パルスの送出を実行する。図６等を用いて説明したように、分割された領域には、互いに隣接する複数の単位グループ１３１が包含され得る。これら同一の領域に属する単位グループ１３１は、ひとつのブロックを形成する。同一のブロックに含まれる画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。そこで、ブロック制御部４４２は、駆動制御部４２０からの指定に基づいて対象となる単位グループ１３１に特定パルスを送出することにより、単位グループ１３１をブロック化する役割を担う。各画素がＴＸ配線３０７およびリセット配線３０６を介して受ける転送パルスおよびリセットパルスは、センサ制御部４４１が送出する各パルスとブロック制御部４４２が送出する特定パルスの論理積となる。このように、各領域を互いに独立したブロックとして制御することにより、図７を用いて説明した電荷蓄積制御を実現する。駆動制御部からのブロック化指定については、後に詳述する。

【0066】

同期制御部４４３は、同期信号を撮像チップ１１３へ送出する。各パルスは、同期信号に同期して撮像チップ１１３においてアクティブとなる。例えば、同期信号を調整することにより、同一の単位グループ１３１に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実現する。

【0067】

信号制御部４４４は、主にＡ／Ｄ変換器４１２ｂに対するタイミング制御を担う。出力配線３０９を介して出力された画素信号は、ＣＤＳ回路４１２ａおよびマルチプレクサ４１１を経てＡ／Ｄ変換器４１２ｂに入力される。Ａ／Ｄ変換器４１２ｂは、信号制御部４４４によって制御されて、入力された画素信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、デマルチプレクサ４１３に引き渡され、そしてそれぞれの画素に対応する画素メモリ４１４にデジタルデータの画素値として格納される。

【0068】

信号処理チップ１１１は、いずれの単位グループ１３１を組み合わせてブロックを形成するかについてのブロック区分情報と、形成されたそれぞれのブロックが何回の電荷蓄積を繰り返すかについての蓄積回数情報とを格納する、蓄積制御メモリとしてのタイミングメモリ４３０を有する。タイミングメモリ４３０は、例えばフラッシュＲＡＭによって構成される。

【0069】

上述のように、いずれの単位グループを組み合わせてブロックを形成するかについては、一連の撮影シーケンスに先立って実行されるシーンの輝度分布検出の検出結果に基づいて、システム制御部５０１により決定される。決定されたブロックは、例えば第１ブロック、第２ブロック…のように区分され、それぞれのブロックがいずれの単位グループ１３１を包含するかにより規定される。駆動制御部４２０は、このブロック区分情報をシステム制御部５０１から受け取り、タイミングメモリ４３０へ格納する。

【0070】

また、システム制御部５０１は、輝度分布の検出結果に基づいて、各ブロックが何回の電荷蓄積を繰り返すかを決定する。駆動制御部４２０は、この蓄積回数情報をシステム制御部５０１から受け取り、対応するブロック区分情報と対でタイミングメモリ４３０へ格納する。このようにタイミングメモリ４３０へブロック区分情報と蓄積回数情報を格納することにより、駆動制御部４２０は、一連の電荷蓄積制御を、タイミングメモリ４３０を逐次参照して独立して実行し得る。すなわち、駆動制御部４２０は、１枚の画像取得制御において撮影指示の信号をシステム制御部５０１から一旦受け取ると、その後は各画素の制御についてその都度システム制御部５０１から指示を受けること無く、蓄積制御を完了させることができる。

【0071】

駆動制御部４２０は、撮影準備指示に同期して実行される測光結果（輝度分布の検出結果）に基づいて更新されるブロック区分情報と蓄積回数情報をシステム制御部５０１から受け取って、タイミングメモリ４３０の記憶内容を適宜更新する。例えば、駆動制御部４２０は、撮影準備指示または撮影指示に同期して、タイミングメモリ４３０を更新する。このように構成することにより、より高速な電荷蓄積制御を実現すると共に、駆動制御部４２０が電荷蓄積制御を実行している間に、システム制御部５０１は他の処理を並行して実行し得る。

【0072】

駆動制御部４２０は、撮像チップ１１３に対する電荷蓄積制御を実行するに留まらず、読み出し制御の実行においてもタイミングメモリ４３０を参照する。例えば、駆動制御部４２０は、各ブロックの蓄積回数情報を参照して、デマルチプレクサ４１３から出力される画素信号を画素メモリ４１４の対応アドレスに格納する。

【0073】

駆動制御部４２０は、システム制御部５０１からの引渡要求に従って、対象画素信号を画素メモリ４１４から読み出し、画像処理部５１１へ引き渡す。画素メモリ４１４は、上述の通り、各画素に対して最大積算回数に対応する画素信号を格納できるメモリ空間を有し、実行された蓄積回数に対応するそれぞれの画素信号を画素値として格納する。例えば、あるブロックにおいて４回の電荷蓄積が繰り返された場合には、当該ブロックに含まれる画素は４回分の画素信号を出力するので、画素メモリ４１４上の各画素のメモリ空間には、４つの画素値が格納される。駆動制御部４２０は、特定画素の画素信号を要求する引渡要求をシステム制御部５０１から受けた場合には、画素メモリ４１４上の当該特定画素のアドレスを指定して、格納されている全ての画素信号を読み出し、画像処理部５１１へ引き渡す。例えば４つの画素値が格納されている場合には、その４つの画素値全てを順次引き渡し、１つの画素値のみが格納されている場合には、その画素値を引き渡す。

【0074】

駆動制御部４２０は、画素メモリ４１４に格納された画素信号を、演算回路４１５に読み出して、演算回路４１５に上述の積算処理を実行させることができる。積算処理された画素信号は、画素メモリ４１４の対象画素アドレスに格納される。対象画素アドレスは、積算処理前のアドレス空間に隣接して設けても良いし、積算処理前の画素信号に対して上書きするように同一アドレスとしても良い。また、積算処理後の各画素の画素値を纏めて格納する専用空間を設けても良い。駆動制御部４２０は、特定画素の画素信号を要求する引渡要求をシステム制御部５０１から受けた場合には、その引渡要求の態様によっては、積算処理後の画素信号を画像処理部５１１へ引き渡すことができる。もちろん、積算処理前後の画素信号を共に引き渡すこともできる。

【0075】

画素メモリ４１４には、引渡要求に従って画素信号を伝送するデータ転送インタフェースが設けられている。データ転送インタフェースは、画像処理部５１１と繋がるデータ転送ラインと接続されている。データ転送ラインは例えばバスラインのうちのデータバスによって構成される。この場合、システム制御部５０１から駆動制御部４２０への引渡要求は、アドレスバスを利用したアドレス指定によって実行される。

【0076】

データ転送インタフェースによる画素信号の伝送は、アドレス指定方式に限らず、さまざまな方式を採用しうる。例えば、データ転送を行うときに、各回路の同期に用いられるクロック信号の立ち上がり・立ち下がりの両方を利用して処理を行うダブルデータレート方式を採用し得る。また、アドレス指定などの手順を一部省略することによってデータを一気に転送し、高速化を図るバースト転送方式を採用し得る。また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを１ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。

【0077】

このように構成することにより、画像処理部５１１は、必要な画素信号に限って受け取ることができるので、特に低解像度の画像を形成する場合などにおいて、高速に画像処理を完了させることができる。また、演算回路４１５に積算処理を実行させる場合には、画像処理部５１１が積算処理を実行しなくて良いので、機能分担と並行処理により、画像処理の高速化を図ることができる。

【0078】

図１１は、撮像チップ１１３から信号処理チップ１１１へ伝送される画素信号の流れを説明する説明図である。この例では、単位グループ１３１が、１行３２画素、一列６４画素の２０４８画素により構成されている。

【0079】

図３による構成においては、１つの単位グループ１３１は、１つの出力配線３０９を有したが、本図の例においては、隣接する２列の画素が１つの出力配線３０９を共有するように、１つの単位グループ１３１が１６本の出力配線を有する。それぞれの出力配線３０９は、撮像チップ１１３と信号処理チップ１１１の接合部近傍において２本の出力配線３０９ａ、３０９ｂに分岐する。

【0080】

信号処理チップ１１１側では、分岐した出力配線３０９ａ、３０９ｂに対応して、それぞれ２本の入力配線４０９ａ、４０９ｂが設けられている。したがって、接合部においては、出力配線３０９ａと入力配線４０９ａを接合するためのバンプ１０９ａと、出力配線３０９ｂと入力配線４０９ｂを接合するためのバンプ１０９ｂとが設けられている。このように接続部を冗長に構成することにより、接合不良による画素欠陥を引き起こす可能性を低減することができる。この意味において、分岐は２本に限らず、複数であれば良い。また、出力配線と入力配線の電気的な接続はバンプ結合に限らず、接続不良を引き起こす可能性のある電気的接続を採用する場合には、接続部をこのように冗長に構成することが好ましい。

【0081】

入力配線４０９ａ、４０９ｂは、ＣＤＳ回路４１２ａへ入力される前に、それぞれスイッチ４６１ａ、４６１ｂが介在している。スイッチ４６１ａ、４６１ｂは、互いに連動するスイッチ４６１として、駆動制御部４２０に制御される。具体的には、駆動制御部４２０は、通常は、スイッチ４６１ａをＯＮとして入力配線４０９ａの画素信号の伝送を有効としておき、スイッチ４６１ｂをＯＦＦとして入力配線４０９ｂの伝送を無効とする。一方、駆動制御部４２０は、バンプ１０９ａに接続不良が生じていると判断した場合には、スイッチ４６１ａをＯＦＦに切り替えて入力配線４０９ａの伝送を無効とし、スイッチ４６１ｂをＯＮに切り替えて入力配線４０９ｂの伝送を有効とする。このように、いずれかの配線を接続状態とし、いずれかの配線を非接続状態とするスイッチ４６１の連動動作により、正常な画素信号のみがＣＤＳ回路４１２ａへ入力されることが期待できる。

【0082】

バンプ１０９の接続不良判断は、駆動制御部４２０が担うこともできるし、システム制御部５０１が担うこともできる。接続不良判断は、入力配線４０９を通過した画素信号の出力結果に基づいて判断される。具体的には、例えば、システム制御部５０１は、両側に隣接する出力配線３０９から出力されたそれぞれの画素信号と比較して、予め定められた閾値以上の差があると判断した場合に、接続不良が生じていると判断する。列方向に異常値が連続するか否かを判断基準に加えても良い。この場合、駆動制御部４２０は、システム制御部５０１の判断結果を受けて、対応する入力配線４０９のスイッチ４６１を切り替える。なお、接続不良判断は、撮影動作に合わせて逐次行わなくても良く、一旦判断したら、駆動制御部４２０は、その判断結果をタイミングメモリ４３０に記憶しておくことができる。この場合、駆動制御部４２０は、画素信号の読み出し時において、タイミングメモリ４３０を参照しつつスイッチ４６１を制御する。

【0083】

以上の実施形態においては、測光部５０３が独立したＡＥセンサを含む構成として説明した。しかし、測光処理は、ユーザから撮影指示を受けて行う本撮影処理に先立って、撮像素子１００から出力されるプレ画像を用いて行うこともできる。また、測光用の画素を、例えば単位グループ１３１に一つ設けても良い。例えば、図２の画素配列において、単位グループ１３１の左端かつ上端の画素のカラーフィルタを透明フィルタあるいは無フィルタとすることにより、当該画素を測光用画素として利用することができる。このような画素は、広波長帯域の可視光を受光することができるので、シーンの輝度分布を検出する場合に好適である。また、測光用画素を単位グループから独立させて、測光用画素を寄せ集めて単位グループ化しても良い。このように構成すれば、駆動部５０２は、測光用画素に対して電荷蓄積を独立して制御することができる。

【0084】

以上の実施形態においては、決定されたシャッタ速度Ｔ_０とシャドウ領域の１回の電荷蓄積時間とを一致させる例を説明したが、例えば、決定されたシャッタ速度Ｔ_０の間にシャドウ領域に対しても２回の電荷蓄積を繰り返すように制御しても良い。この場合、図７の例によれば、同じく２回の電荷蓄積を繰り返す中間領域からの画素信号に対しては、階調を与える輝度範囲を積算回数に合わせて高輝度側にシフトしたが、シャドウ領域からの画素信号に対しては、このような処理を行わない。すなわち、シャドウ領域における１回の電荷蓄積（電荷蓄積時間はＴ_０／２）による画素信号の値は小さく、２回分を加算しても１２ｂｉｔの範囲から飽和することがないので、シフト処理を行わなくて良い。

【0085】

このように、シャドウ領域に対する電荷蓄積回数も複数回に設定して、出力される画素信号を加算処理すれば、暗部におけるランダムノイズを相殺する効果を期待できる。この場合、ダイナミックレンジの拡大を目的として複数回の電荷蓄積を実行する他の領域の画素信号の処理とは異なり、シフト処理を行わず、単純に加算処理を行えば良い。なお、このような処理は、上述の実施形態と同様に、信号処理チップ１１１に設けられた演算回路４１５が行っても良いし、画像処理部５１１が行っても良い。

【0086】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0087】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0088】

１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ パッシベーション膜、１０４ ＰＤ、１０５ トランジスタ、１０６ ＰＤ層、１０７ 配線、１０８ 配線層、１０９ バンプ、１１０ ＴＳＶ、１１１ 信号処理チップ、１１２ メモリチップ、１１３ 撮像チップ、１３１ 単位グループ、３０２ 転送トランジスタ、３０３ リセットトランジスタ、３０４ 増幅トランジスタ、３０５ 選択トランジスタ、３０６ リセット配線、３０７ ＴＸ配線、３０８ デコーダ配線、３０９ 出力配線、３１０ Ｖｄｄ配線、３１１ 負荷電流源、４０９ 入力配線、４１１ マルチプレクサ、４１２ 信号処理回路、４１３ デマルチプレクサ、４１４ 画素メモリ、４１５ 演算回路、４２０ 駆動制御部、４３０ タイミングメモリ、４４１ センサ制御部、４４２ ブロック制御部、４４３ 同期制御部、４４４ 信号制御部、４６１ スイッチ、５００ 撮像装置、５０１ システム制御部、５０２ 駆動部、５０３ 測光部、５０４ ワークメモリ、５０５ 記録部、５０６ 表示部、５１１ 画像処理部、５１２ 演算部、６０１ シャドウ被写体、６０２ 中間被写体、６０３ ハイライト被写体、６０４ 窓枠、６１１ シャドウ領域、６１２ 中間領域、６１３ ハイライト領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】