特許 7254547 信号処理回路及び固体撮像素子

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-31

(45)【発行日】2023-04-10

(54)【発明の名称】信号処理回路及び固体撮像素子

(51)【国際特許分類】

   H04N 25/772 20230101AFI20230403BHJP

   H04N 25/53 20230101ALI20230403BHJP

【ＦＩ】

H04N25/772

H04N25/53

【請求項の数】 9

(21)【出願番号】P 2019021849

(22)【出願日】2019-02-08

(65)【公開番号】P2020129759

(43)【公開日】2020-08-27

【審査請求日】2022-01-07

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(74)【代理人】

【識別番号】100185225

【弁理士】

【氏名又は名称】齋藤 恭一

(72)【発明者】

【氏名】後藤 正英

【審査官】西谷 憲人

(56)【参考文献】

【文献】国際公開第２０１１／１５５４４２（ＷＯ，Ａ１）

【文献】特開２０１８－１９８３８８（ＪＰ，Ａ）

【文献】特開２０１９－００４２２５（ＪＰ，Ａ）

【文献】特開２００３－００９００６（ＪＰ，Ａ）

【文献】特開２０１０－２１３２５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／７７２

Ｈ０４Ｎ ２５／５３

(57)【特許請求の範囲】

【請求項1】

検出対象の電荷量に対応してパルスを発生するパルス発生回路と、
前記パルスをカウントするカウンタ回路とを備えた、信号処理回路において、
前記電荷量の検出動作を行う所定時間を、複数の期間に区分し、区分された各期間の前記カウンタ回路の出力信号を、前記所定時間の終了後に一括して出力することを特徴とする、信号処理回路。

【請求項2】

請求項１に記載の信号処理回路において、
前記カウンタ回路を複数ｂｉｔカウンタからなる複数のブロックで構成し、前記期間ごとに異なる前記ブロックを選択して前記パルスをカウントすることを特徴とする、信号処理回路。

【請求項3】

請求項１又は２に記載の信号処理回路において、
前記カウンタ回路は、複数ｂｉｔカウンタからなる複数のブロックと、前記ブロックを選択する複数のスイッチとを備え、前記スイッチを制御信号で制御して、各期間に動作する前記ブロックを選択することを特徴とする、信号処理回路。

【請求項4】

光電変換素子と、請求項１乃至３のいずれか一項に記載の信号処理回路とを、各画素に備えた固体撮像素子であって、
前記電荷量の検出動作を行う所定時間は、１フレーム期間であることを特徴とする固体撮像素子。

【請求項5】

請求項４に記載の固体撮像素子において、
各画素は、１フレーム期間の区分のパターンを記憶したメモリを備えており、前記メモリに記憶した前記パターンに基づいて、１フレーム期間を１又は複数の期間に区分することを特徴とする、固体撮像素子。

【請求項6】

請求項４又は５に記載の固体撮像素子において、
１フレーム期間の区分のパターンの異なる画素を、規則的に配置したことを特徴とする、固体撮像素子。

【請求項7】

請求項４又は５に記載の固体撮像素子において、
１フレーム期間の区分のパターンの異なる画素を、非周期的に配置したことを特徴とする、固体撮像素子。

【請求項8】

請求項４又は５に記載の固体撮像素子において、
前記固体撮像素子の出力画像の動きの特徴量を抽出し、動きの大きい第１の画素は、１フレーム期間を短い期間に区分し、動きの小さい第２の画素は、１フレーム期間を前記第１の画素よりも長い期間に区分することを特徴とする、固体撮像素子。

【請求項9】

請求項４乃至８のいずれか一項に記載の固体撮像素子において、
各画素を構成する回路要素を異なる基板に形成し、前記基板を３次元積層したことを特徴とする、固体撮像素子。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信号処理回路及び固体撮像素子に関し、特に、固体撮像素子（イメージセンサ）の各画素において光電変換した信号電荷をアナログ／デジタル（Ａ／Ｄ）変換する信号処理回路と、それを利用した固体撮像素子に関する。

【背景技術】

【0002】

ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子の高フレームレート、広ダイナミックレンジ、高Ｓ／Ｎ（Signal/Noise）化を目的として、画素ごとに露光時間・読み出し速度・位相を制御可能な、時空間の露光制御を行うイメージセンサが提案されている（非特許文献１）。画素ごとに異なる露光時間・位相で撮影して、再構成のための信号処理を行うことで、画像のノイズと動きぼけを除去し、高フレームレート、広ダイナミックレンジ、高Ｓ／Ｎな画像が得られる。

【先行技術文献】

【非特許文献】

【0003】

【文献】山崎智裕 他、「時空間の露光制御機能を持つイメージセンサと画質向上のための撮像・処理方式」、映像情報メディア学会誌、（2015年）、Vol.69、No.3、pp.J106-J112

【発明の概要】

【発明が解決しようとする課題】

【0004】

非特許文献１のイメージセンサでは、画素ごとに異なる露光時間・位相で撮影するために、画素ごとに読み出しタイミングが異なる。そのため、行デコーダ、列デコーダ、行走査制御回路、列走査制御回路で画素のリセットや読み出しを画素ごとに個別に行っているが、通常のイメージセンサで採用されている、行／列走査回路（シフトレジスタ）で１フレームごとに画素の信号を順次読み出す方式に比べて、画素の走査が複雑で、デコーダ等の回路規模が大きくなり、読み出しの時間が長くなるという問題がある。また、露光時間の短い画素ほど、回数を多く読み出す必要があるため、画素アレイの走査ごとに読み出される総画素数が異なり、再構成の信号処理が複雑になるという問題があった。

【0005】

従って、上記のような問題点に鑑みてなされた本発明の目的は、複雑な走査回路を必要とせずに露光時間の異なる画素の信号読み出し処理が可能な信号処理回路及び固体撮像素子を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために本発明に係る信号処理回路は、検出対象の電荷量に対応してパルスを発生するパルス発生回路と、前記パルスをカウントするカウンタ回路とを備えた、信号処理回路において、前記電荷量の検出動作を行う所定時間を、複数の期間に区分し、区分された各期間の前記カウンタ回路の出力信号を、前記所定時間の終了後に一括して出力することを特徴とする。

【0007】

また、前記信号処理回路は、前記カウンタ回路を複数ｂｉｔカウンタからなる複数のブロックで構成し、前記期間ごとに異なる前記ブロックを選択して前記パルスをカウントすることが望ましい。

【0008】

また、前記信号処理回路は、前記カウンタ回路が、複数ｂｉｔカウンタからなる複数のブロックと、前記ブロックを選択する複数のスイッチとを備え、前記スイッチを制御信号で制御して、各期間に動作する前記ブロックを選択することが望ましい。

【0009】

上記課題を解決するために本発明に係る固体撮像素子は、光電変換素子と、前記の信号処理回路とを、各画素に備えた固体撮像素子であって、前記電荷量の検出動作を行う所定時間は、１フレーム期間であることを特徴とする。

【0011】

また、前記固体撮像素子は、各画素が、１フレーム期間の区分のパターンを記憶したメモリを備えており、前記メモリに記憶した前記パターンに基づいて、１フレーム期間を１又は複数の期間に区分することが望ましい。

【0012】

また、前記固体撮像素子は、１フレーム期間の区分のパターンの異なる画素を、規則的に配置したことが望ましい。

【0013】

また、前記固体撮像素子は、１フレーム期間の区分のパターンの異なる画素を、非周期的に配置したことが望ましい。

【0014】

また、前記固体撮像素子は、前記固体撮像素子の出力画像の動きの特徴量を抽出し、動きの大きい第１の画素は、１フレーム期間を短い期間に区分し、動きの小さい第２の画素は、１フレーム期間を前記第１の画素よりも長い期間に区分することが望ましい。

【0015】

また、前記固体撮像素子は、各画素を構成する回路要素を異なる基板に形成し、前記基板を３次元積層したことが望ましい。

【発明の効果】

【0016】

本発明における信号処理回路及び固体撮像素子によれば、複雑な走査回路を必要とせずに露光時間の異なる画素の信号読み出し処理が可能となる。

【図面の簡単な説明】

【0017】

【図1】本発明の信号処理回路の一例を示す図である。

【図2】フォトダイオード電圧とパルス出力のタイミングチャートである。

【図3】信号処理回路のカウンタ回路の一例を示す図である。

【図4】露光時間パターンの一実施形態を示す図である。

【図5】長時間露光（Ｌ）をする画素のカウンタ回路の回路図の例である。

【図6】中時間露光（Ｍ）をする画素のカウンタ回路の回路図の例である。

【図7】短時間露光（Ｓ）をする画素のカウンタ回路の回路図の例である。

【図8】本発明の固体撮像素子の一例を示す図である。

【図9】画素のスイッチ制御の構成の一例を示す図である。

【図10】画素のスイッチ制御の構成の別の例を示す図である。

【図11】本発明の固体撮像素子の実装構造の一例を示す図である。

【図12】露光時間パターンの他の実施形態を示す図である。

【図13】適応的に各画素の露光時間パターンを設定する例を示す図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施の形態について説明する。

【0019】

本発明の信号処理回路の一例を図１に示す。図１の信号処理回路は、固体撮像素子の１画素に対応しており、１ビット型Ａ／Ｄ変換回路（１ｂｉｔ ＡＤＣ）を構成している。図１の信号処理回路とその動作を、以下に説明する。

【0020】

図１の信号処理回路は、フォトダイオード（ＰＤ）１０の電圧検出ノード１１と、リセットトランジスタ（Ｔ_R）２０と、インバータ回路（インバータ・チェーン）３０と、カウンタ回路４０とにより構成される。このうち、電圧検出ノード１１とリセットトランジスタ（Ｔ_R）２０とインバータ回路３０は、光電変換された電荷量（検出対象の電荷量）に対応してパルスを発生するパルス発生回路を構成する。以下、各構成要素について説明する。

【0021】

フォトダイオード（ＰＤ）１０は、光電変換素子として機能し、その電圧検出ノード１１は、光がフォトダイオード１０に入射することにより生成された電荷（又は光電流）により、電位（Ｖ_PD）が変化する。なお、電圧検出ノード１１は、フォトダイオード（ＰＤ）１０の電極をそのまま利用することもできるが、電荷蓄積用のコンデンサ（図示せず）の電極を電圧検出ノード１１とし、光電変換によりフォトダイオード（ＰＤ）１０で生成された電荷をコンデンサに転送して、電圧検出をしてもよい。電圧検出ノード１１の電圧（Ｖ_PD）は、インバータ回路３０に入力される。

【0022】

リセットトランジスタ（Ｔ_R）２０は、インバータ回路３０の出力電圧（Ｖ_OUT）で制御され、オン（導通）することにより、電圧検出ノード１１（フォトダイオード１０の電極）にリセット電圧（Ｖ_RST）を印加する。このように、リセットトランジスタ（Ｔ_R）２０は、リセット手段として機能する。

【0023】

インバータ回路３０は、反転回路であるインバータ（Ｉｎｖ１、Ｉｎｖ２，・・・Ｉｎｖ2n+1）が奇数段接続された多段反転回路である。各インバータは、例えばＣＭＯＳインバータで構成される。フォトダイオード１０の電圧検出ノード１１の電位Ｖ_PDが初段のインバータ（Ｉｎｖ１）に入力される。インバータ回路（インバータチェーン）３０の初段はインバータＩｎｖ１に代えて、コンパレータとしてもよい。インバータ回路３０の出力は、パルス発生回路の出力（Ｖ_OUT）として、カウンタ回路４０に入力されるとともに、リセットトランジスタ２０のゲート電極に印加される。

【0024】

カウンタ回路４０は、パルス発生回路の出力（Ｖ_OUT）のパルス数をカウントする。カウンタ回路４０の詳細は後述する。本発明のカウンタ回路４０は、１フレーム期間ごとに確定したビット値を読み出して、リセットされる。

【0025】

次に、図１の信号処理回路のパルス発生回路の動作を、図２のフォトダイオード電圧（電圧検出ノード電圧）とパルス出力のタイミングチャートを用いて説明する。

【0026】

（１）フォトダイオード１０のリセットが解除された時点から説明する。すなわち、フォトダイオード１０の電圧検出ノード１１の電位Ｖ_PDがリセット（Ｖ_RST）された状態で、初段のインバータ（Ｉｎｖ１）の入力がＨｉｇｈで出力がＬｏｗ、２段目のインバータ（Ｉｎｖ２）の出力がＨｉｇｈ、最終段のインバータ（Ｉｎｖ2n+1）の出力、すなわちインバータ回路３０の出力（Ｖ_OUT）がＬｏｗであり、リセットトランジスタ（Ｔ_R）２０がオフ（ＯＦＦ）状態になっているとする。これは、図２のタイミングチャートの時間軸の最初の状態であり、これを初期化状態とする。

【0027】

（２）フォトダイオード１０に光が入射すると、光電変換により生成した電子がフォトダイオード１０内に蓄積して、フォトダイオード１０の電極（電圧検出ノード）１１の電位が下がる。

【0028】

（３）フォトダイオード１０の電圧検出ノード１１の電圧（Ｖ_PD）が初段のインバータ（Ｉｎｖ１）の反転しきい値電圧（Ｖ_TH）に達するとインバータ（Ｉｎｖ１）の出力がＨｉｇｈに反転する。インバータは奇数段（２ｎ＋１段）接続されており、順次出力が反転して伝達され、最終段のインバータ（Ｉｎｖ2n+1）の出力（インバータ回路３０の出力）、すなわち、パルス発生回路の出力（Ｖ_OUT）がＨｉｇｈとなる。なお、インバータが１段ではなく２ｎ＋１段接続されているのは、複数段のインバータによる遅延を利用して、回路動作を安定化するためである。

【0029】

（４）インバータ回路３０の出力（Ｖ_OUT）がＨｉｇｈになると、リセットトランジスタ２０がオン（ＯＮ）状態になり、フォトダイオード１０の電極にリセット電圧（Ｖ_RST）が印加され、フォトダイオード１０（及び電圧検出ノード１１）が再度リセットされる。

【0030】

（５）フォトダイオード１０がリセットされると、初段のインバータ（Ｉｎｖ１）の入力がＨｉｇｈ、インバータ回路の出力（Ｖ_OUT）がＬｏｗになり、（１）に戻る。こうして、出力（Ｖ_OUT）にパルスが生じる。

【0031】

（６）その後、上記（１）～（５）が繰り返され、インバータ回路（インバータ・チェーン）３０の出力がＨｉｇｈとＬｏｗを繰り返す。したがって、インバータ回路３０（すなわち、パルス発生回路）から繰り返しパルスが出力される。フォトダイオード１０へ入射する光量が多ければ光電変換された電荷量が多くなり、フォトダイオード１０の電圧検出ノード１１の電位変化が速くなって、インバータ回路３０の反転タイミングが速くなる。したがって、画像の露光時間内にパルス発生回路の出力（Ｖ_OUT）には光量に比例した数のパルスが発生する。

【0032】

カウンタ回路４０では、露光時間に発生したパルスをカウント（積算）する。本発明のカウンタ回路４０は、様々な露光時間に対応することができ、１フレーム期間終了後に、カウンタ回路４０の出力信号を全て読み出し、カウントをリセットする。

【0033】

このように、信号電荷量に比例するパルスのカウント値（ビット値）を出力するアナログ／デジタル変換回路が構成される。この１ビット型Ａ／Ｄ変換回路（１ｂｉｔ ＡＤＣ）の信号処理回路は、フォトダイオード（ＰＤ）の直近でＡ／Ｄ変換を行うため信号伝達時の雑音の影響を受けにくく、また、入力可能な光量が、従来の固体撮像素子のようにフォトダイオード（ＰＤ）の蓄積容量で制限されないため、ダイナミックレンジが拡大できるなどの特長がある。

【0034】

本発明は、画素ごとに異なる露光時間・位相での撮影を可能とするため、各画素の信号処理回路（特に、カウンタ回路４０）を、様々な露光時間に対応して動作させる。また、その露光時間を可変とする。

【0035】

図３に、信号処理回路のカウンタ回路４０の一例を示す。図３は、図１のインバータ回路３０の出力端子（Ｖ_OUT端子）よりも右側を記載している。複数の１ｂｉｔカウンタが接続された構成で、ここでは３２個の１ｂｉｔカウンタ（カウンタ１～カウンタ３２）を用いている。各カウンタ１～３２はパルスをカウントして各ビット値を出力する。１つのカウンタを経るとパルス数が半分になり、直列に接続して、最大３２ビットのカウンタ回路を構成することができる。１ｂｉｔカウンタは、例えばフリップフロップ等で構成することができる。

【0036】

本実施形態では、３２個のカウンタを８個ごとのブロックに、すなわち、８ｂｉｔカウンタのブロックとして区切る形でスイッチＳＷ１～ＳＷ７が設けられており、後述するように、露光時間を変化させるためスイッチをＯＮ、ＯＦＦする制御を行う。なお、このカウンタとスイッチの配置は一例であり、カウンタ回路４０は、１フレーム期間に発生するパルス数に応じてさらにカウンタを多段に設置してもよく、また、スイッチで区切られた各ブロック（複数ｂｉｔカウンタを構成）のカウンタの数も適宜設定可能である。

【0037】

図３のカウンタ回路４０を用いて、１フレーム期間、すなわち電荷量の検出動作を行う所定時間を複数の期間に区分（分割）することができ、画素ごとに、長時間露光（Ｌ）、中時間露光（Ｍ）、短時間露光（Ｓ）の３種類の露光時間のパターンを設定することができる。

【0038】

図４に、露光時間パターンの一実施形態を示す。図４では、各露光時間のパターンにおけるスイッチ状態として、ＯＮとなるスイッチ名を示している。記載していないスイッチはすべてＯＦＦとする。ここで、フレーム周期（例えば１／３０秒）をＴとする。長時間露光（Ｌ）では、フレーム期間全体で同じスイッチ状態であり、１フレーム期間を１つの区分の期間としている（「一つの期間に区分」ということがある。）。中時間露光（Ｍ）ではフレーム周期の半分ごとにスイッチ状態が変わり、１フレーム期間を２つの期間に区分している。短時間露光（Ｓ）ではフレーム周期の１／４ごとにスイッチ状態が変わり、１フレーム期間を４つの期間に区分する。なお、本実施形態では露光時間の最大区分数（すなわち、カウンタのブロック数）は４であるが、カウンタ数やスイッチの数を増やすことによりブロック数を増やせば、露光時間のパターンの種類も増加する。

【0039】

本発明の信号処理回路は、様々なパターンで１フレーム期間を複数の期間に区分（分割）して信号電荷の検出を行ったとしても、区分された各期間の出力信号（各カウンタのビット値）の読み出しは、１フレーム期間終了後に一括で行うことができる。すなわち、１フレーム期間の露光時間のパターンにかかわらず、例えば図３の３２個のカウンタ出力を３２ｂｉｔ連続して出力するか、又は複数の信号読み出し線を利用して３２個のカウンタ出力を並列的に連続して出力することができる。これにより、従来からのＸＹ走査により画素を選択し、その画素の出力ｂｉｔをまとめて（一括して）読み出すことができる。

【0040】

図５は、長時間露光（Ｌ）をする画素のカウンタ回路４０の回路図（接続状態）の例である。３２個のカウンタが直列に接続されることで、３２ｂｉｔのカウンタを構成している。１フレーム期間に発生したパルス数を計数し、３２ｂｉｔの信号を得る。１フレーム期間終了後に３２ｂｉｔの信号を出力し、その後、カウンタ値をリセットする。

【0041】

図６は、中時間露光（Ｍ）をする画素のカウンタ回路４０の回路図（接続状態）の例である。図６（ａ）は１フレーム期間の前半（０～Ｔ／２）、図６（ｂ）は１フレーム期間の後半（Ｔ／２～Ｔ）の状態である。図６（ａ）では、カウンタ１～１６のカウンタが直列に接続されることで、１６ｂｉｔのカウンタを構成しており、１フレーム期間の前半（Ｔ／２）に発生したパルス数を計数し、１６ｂｉｔ信号を得る。図６（ｂ）では、カウンタ１７～３２のカウンタが直列に接続されることで、１６ｂｉｔのカウンタを構成しており、１フレーム期間の後半（Ｔ／２）に発生したパルス数を計数し、１６ｂｉｔの信号を得る。１フレーム期間終了後に中時間露光２回×１６ｂｉｔ（合計３２ｂｉｔ）の信号を出力し、その後、カウンタ値をリセットする。

【0042】

図７は、短時間露光（Ｓ）をする画素のカウンタ回路４０の回路図（接続状態）の例である。図７（ａ）はフレーム期間の初めの１／４（０～Ｔ／４）、図７（ｂ）は次の１／４期間（Ｔ／４～Ｔ／２）の状態である。図７（ａ）では、スイッチＳＷ１のみがＯＮとなり、カウンタ１～８の８個のカウンタが直列に接続されることで、８ｂｉｔのカウンタを構成しており、１フレーム期間の１／４（Ｔ／４）に発生したパルス数を計数し、８ｂｉｔの信号を得る。図７（ｂ）では、スイッチＳＷ２のみがＯＮとなり、カウンタ９～１６の８個のカウンタが直列に接続されることで、８ｂｉｔのカウンタを構成しており、１フレーム期間の１／４（Ｔ／４）に発生したパルス数を計数し、８ｂｉｔの信号を得る。

【0043】

以下、図示しないが、次の１／４期間（Ｔ／２～３Ｔ／４）は、スイッチＳＷ３のみがＯＮとなり、カウンタ１７～２４の８個のカウンタが直列に接続されることで、８ｂｉｔのカウンタを構成し、１フレーム期間の１／４（Ｔ／４）に発生したパルス数を計数して、８ｂｉｔの信号を得る。同様に、次の１／４期間（３Ｔ／４～Ｔ）は、スイッチＳＷ４のみがＯＮとなり、カウンタ２５～３２の８個のカウンタが直列に接続されることで、８ｂｉｔのカウンタを構成し、１フレーム期間の１／４（Ｔ／４）に発生したパルス数を計数して、８ｂｉｔの信号を得る。１フレーム期間終了後に短時間露光４回×８ｂｉｔ（合計３２ｂｉｔ）の信号を一括して出力し、その後、カウンタ値をリセットする。

【0044】

すなわち、本発明の信号処理回路のカウンタ回路４０は、複数ｂｉｔカウンタ（８ｂｉｔカウンタ）からなる複数（４個）のブロックと、複数のスイッチＳＷ１～ＳＷ７とを備え、スイッチを制御信号で制御して、１フレーム期間を区分した各期間に動作するブロックを選択する。また、カウンタ出力は１フレーム期間終了後に一括して出力する。

【0045】

図８に、本発明の固体撮像素子の一例を示す。図８の固体撮像素子１００の各画素５０には、前述の信号処理回路が用いられている。また、各画素に記載されたＬ，Ｍ，Ｓの記号は、図４で説明した露光時間のパターンを示している。なお、図８では、露光時間パターンの異なる各種の画素を規則的に配置しているが、この配置は不規則なものであってもよい。

【0046】

画素アレイの周囲に行／列走査のための垂直シフトレジスタ６０及び水平シフトレジスタ７０が配置されており、１フレーム期間終了後にＸＹアドレス方式で各画素のカウンタ値を読み出す。すなわち、垂直シフトレジスタ６０により行走査線６１を順次走査し、行ごとに各画素５０のカウンタ回路４０のｂｉｔ出力を読み出し線７１に出力し、次いで、水平シフトレジスタ７０により列走査を行って、各画素５０の３２ｂｉｔの出力を順次読み出すことができる。なお、各画素５０の出力を伝送する信号線は、図中では１本の線で示されているが、必要に応じて複数の信号線を用いて出力ｂｉｔを並列的に読み出してもよい。

【0047】

その後のカウンタ値のリセットについては、読み出しと同じようにＸＹアドレス方式で順次行っても良いが、走査をしないで、全画素同時にリセットを行っても良い。露光時間や位相が走査によって画素ごとに異なってしまうことを避けるため、後者のリセット方法のほうが望ましい。

【0048】

このように、本発明の固体撮像素子は、画素ごとに露光時間が異なるにもかかわらず、従来と同じ走査回路を用いて、各画素のｂｉｔ出力を同時に読み出すことができる。

【0049】

画素の露光時間のパターン（Ｌ，Ｍ，Ｓ）は例えば図８のように周期的に配置されていても良いし、エリアごとに異なる露光時間としても良いし、ランダムに配置しても良い。非周期的配置にすることにより、空間的符号化露光を行うことができる。固体撮像素子外部のＰＣ（personal computer）やプロセッサなどの信号処理装置で、各画素の露光時間のパターン（Ｌ，Ｍ，Ｓ）の配置情報を用いて、高フレームレート、広ダイナミックレンジ、高Ｓ／Ｎな画像を得るための、３２ｂｉｔの信号を再構成する信号処理を行うことができる。

【0050】

図９に、画素のスイッチ制御の構成の一例を示す。図９の画素５０は、一画素ごとに１ビット型Ａ／Ｄ変換回路（ＡＤＣ）５１と、メモリ５２と、スイッチ（ＳＷ）制御部５３を備えている。ＡＤＣ５１は、図１乃至図３で説明した信号処理回路（１ビット型Ａ／Ｄ変換回路）と同じ構成を有している。

【0051】

メモリ５２は、各画素の露光時間のパターン（Ｌ，Ｍ，Ｓ）を記憶する。メモリ５２にはＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）などを用いることができる。

【0052】

スイッチ（ＳＷ）制御部５３は、ＡＤＣ５１のカウンタ回路４０の各スイッチＳＷをＯＮ／ＯＦＦするロジック回路を構成しており、スイッチ制御（ＳＷ制御）信号を出力する。スイッチ制御部５３は、メモリ５２に保持している露光時間のパターン（１フレーム期間の区分のパターン）を読み出し、パターンに基づいて、図４に示すシーケンスに従って、１フレームに複数回のスイッチ制御を行い、カウンタ回路４０を制御する。

【0053】

図１０は、画素のスイッチ制御の構成の別の例である。図１０の画素５０は、画素内に１ビット型Ａ／Ｄ変換回路（ＡＤＣ）５１と、メモリ５２とを備えているが、スイッチ（ＳＷ）制御部５４は、画素外に設けている。

【0054】

ＳＷ制御部５４は、図９のように画素ごとに配置しても良いが、全画素共通でも良いため、画素面積の増大を避けるため図１０のように画素の外に、例えば全画素で１つ、或いは、複数画素ごと又は行ごとに１つなどとして、ＳＷ制御部５４を配置し、複数画素を制御することができる。なお、ＳＷ制御部５４を２次元平面上で画素間共有すると配線数が多くなるため、３次元集積化技術を用いて画素の真下にＳＷ制御部５４を配置することが望ましい。

【0055】

図１１は、本発明の固体撮像素子の実装構造の一例を示す図である。図１１の固体撮像素子１００は、画素を構成する各回路要素を異なる基板に形成し、それを３次元積層したものである。

【0056】

図１１において、固体撮像素子１００は、光電変換層（受光層）１１０と、パルス発生回路層１２０と、カウンタ回路層１３０と、制御信号供給層１４０とから、構成されている。各層は、画素単位で分割されており（図では例えば１６分割）、分割されたそれぞれの区画は縦方向に接続され（接続配線は図示せず）、全体で固体撮像素子１００が構成されている。

【0057】

すなわち、光電変換素子（フォトダイオード）１０を最上層の受光層１１０に形成し、リセット手段２０及びインバータ回路３０を２層目のパルス発生回路層１２０に形成し、カウンタ回路４０をカウンタ回路層１３０に形成する。そして、スイッチ制御信号供給回路（メモリ５２、ＳＷ制御部５３，５４）や走査回路等を最下層の制御信号供給層１４０に形成して、各回路を縦方向に接続し、例えば最下層１４０から出力を取り出すことができる。

【0058】

このように、カウンタ回路やスイッチ制御信号供給回路を１ｂｉｔ ＡＤＣとは別の基板に形成して３次元積層して、画素ごとに３次元的に配線することで、高精細な固体撮像素子を実現できる。

【0059】

図１２に、露光時間のパターンの他の実施形態を示す。図４と同様に、各露光時間のパターンにおけるスイッチ状態として、ＯＮとなるスイッチ名を示している。本発明の固体撮像素子の画素は、図１２のように、一画素に、露光時間の異なる複数のパターンを混在させること（１フレーム期間を異なる長さの期間に区分すること）も可能である。特に、２行目は、１つの画素を１フレーム期間中に、短時間露光（Ｓ）－中時間露光（Ｍ’）－短時間露光（Ｓ）を行う例である。中時間露光（Ｍ’）は、１行目に記載した中時間露光（Ｍ）と比べて位相（露光のタイミング）が異なっている。このように同じ時間であっても異なる位相で露光することができ、再構成の信号処理によって高フレームレート、広ダイナミックレンジ、高Ｓ／Ｎ化に寄与する。３行目は、中長時間露光（ＭＬ）と短時間露光（Ｓ）を行う例であり、中長時間露光（ＭＬ）は１フレームの３／４（３Ｔ／４）の露光に対応する。さらに、カウンタ及びスイッチの数を増やすことにより、露光時間のパターンの種類を増加させることができる。

【0060】

このように、画素ごとに異なる露光時間のパターン（１フレーム期間の区分のパターン）を設定し、これらの画素を、例えば図８のように配置して、固体撮像素子を構成することができる。また、図１２に示された露光時間パターンの画素と、図４に示された露光時間パターンの画素を、混在させて用いることも可能である。

【0061】

露光時間のパターン（Ｌ，Ｍ，Ｓ）は全期間固定としても良いし、動的に変更することも可能である。図１３は、適応的に各画素の露光時間のパターンを設定する例である。

【0062】

固体撮像素子１００の出力画像をＰＣ（personal computer）、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）などで構成された画像処理部２００に入力し、画像処理部２００で動きベクトルなどの画像の動きの特徴量を抽出する。例えば、画像の中心の領域の動きが大きく、その近傍の領域が中程度、さらにその周辺の領域の動きが小さいという場合に、その動きを検出した画素の配置情報にしたがって、動きを３段階に分けて大きい順に、短時間露光（Ｓ）、中時間露光（Ｍ）、長時間露光（Ｌ）のパターンを各画素５０に設定し、画素メモリに書き込む。この書き込み動作は１フレームごとに行うこともできるし、複数フレームごとに行っても良い。

【0063】

なお、３段階に分けることは一例であって、２段階に分けてもよい。すなわち、少なくとも動きの大きい画素（第１の画素）は１フレーム期間を多数の短い期間に区分して短時間露光とし、動きの小さい画素（第２の画素）は１フレーム期間を１又は少数に区分して長時間露光とすればよい。このような露光時間の設定によって、動きのある部分の画素５０を高速に動作させて効率的に動解像度を高めることができる。画像処理部２００はＰＣ等の固体撮像素子１００の外部装置に限らず、３次元集積技術を用いて画素エリアの真下に集積して固体撮像素子１００と一体化することも考えられる。

【0064】

本発明の信号処理回路によれば、画素ごとに異なる露光時間のパターンを設定しても、短時間露光～長時間露光の出力信号がすべて画素内に保持されており、各画素のｂｉｔ数が例えば３２ｂｉｔで統一されているため、１フレーム期間に複数回読み出す必要はなく、１回でまとめて出力できる。このため、通常の固体撮像素子で用いられている走査回路を用いることができるとともに、読み出し時間を最短にできる。通常の固体撮像素子と同じく全画素を読み出すため、フレームごとのデータ量が一定であり、再構成の信号処理が容易となる。

【0065】

なお、本発明の信号処理回路の利用方法として、画素ごとに異なる露光時間のパターンとしなくても、例えば全画素を短時間露光（Ｓ）で動作させることで、１フレームに１回の全画素読み出しで、複数回の露光による信号が得られることとなる。従来、短時間露光を行うためには、１フレームに複数回全画素読み出しをする必要があったが、全画素読み出しの時間が増えることによって、露光時間が短縮してしまう。これに対して、本方式では、通常の固体撮像素子と同じく、１フレームに１回の全画素読み出しとなるため、露光時間を確保することができる。

【0066】

本発明の信号処理回路では、短時間露光になるほど、カウンタの割り当てｂｉｔが減るため、高速性とｂｉｔ深度（階調）がトレードオフの関係にある。このため、短時間露光でカウンタを分割しても十分なｂｉｔ深度が得られるように、あらかじめカウンタの数を設定しておくことが望ましい。平面的にカウンタの数を増やすことで画素サイズが大きくなるが、３次元集積化技術を用いて、カウンタを複数の層に分割して上下の層を画素ごとに接続する方法により、画素の微細・高集積化が可能となる。あるいは、高速性とｂｉｔ深度がトレードオフの関係にあっても、画素ごとに異なる露光時間のパターンを設定して、再構成の信号処理を行う方法によれば、高速性またはｂｉｔ深度の優れた画素の信号で、その他の画素の信号を補完することになるため、固体撮像素子全体としてトレードオフを解消できるという効果もある。

【0067】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0068】

１０ フォトダイオード
１１ 電圧検出ノード
２０ リセットトランジスタ
３０ インバータ回路
４０ カウンタ回路
５０ 画素
５１ １ビット型Ａ／Ｄ変換回路
５２ メモリ
５３、５４ スイッチ制御部
６０ 垂直シフトレジスタ
６１ 行走査線
７０ 水平シフトレジスタ
７１ 読み出し線
１００ 固体撮像素子
１１０ 光電変換層
１２０ パルス発生回路層
１３０ カウンタ回路層
１４０ 制御信号供給層
２００ 画像処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】