特許 7189735 信号処理回路及び撮像素子

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-06

(45)【発行日】2022-12-14

(54)【発明の名称】信号処理回路及び撮像素子

(51)【国際特許分類】

   H04N 5/3745 20110101AFI20221207BHJP

【ＦＩ】

H04N5/3745 500

【請求項の数】 6

(21)【出願番号】P 2018210556

(22)【出願日】2018-11-08

(65)【公開番号】P2020077992

(43)【公開日】2020-05-21

【審査請求日】2021-10-08

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(74)【代理人】

【識別番号】100185225

【弁理士】

【氏名又は名称】齋藤 恭一

(72)【発明者】

【氏名】後藤 正英

(72)【発明者】

【氏名】本田 悠葵

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０１８－１９８３８８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／３０－５／３７８

(57)【特許請求の範囲】

【請求項1】

検出対象の電荷量に対応してパルスを発生するパルス発生回路と、
前記パルスをカウントするカウンタ回路とを備えた、信号処理回路において、
前記パルス発生回路は、前記電荷量に対応する電圧検出ノードと、リセット手段と、前記電圧検出ノードの電圧としきい値電圧を比較するコンパレータとを備え、前記コンパレータの前記しきい値電圧を符号化パターンで制御することにより、前記電荷量の検出動作を行う時間を、符号化パターンで制御することを特徴とする信号処理回路。

【請求項2】

請求項１に記載の信号処理回路を、各画素に設けた撮像素子。

【請求項3】

請求項２に記載の撮像素子において、
画素ごとに、又は、複数の画素をまとめたブロックごとに、前記符号化パターンを異ならせることを特徴とする撮像素子。

【請求項4】

請求項２に記載の撮像素子において、
前記信号処理回路を符号化パターンで制御する画素と、前記信号処理回路を常に動作状態とする画素とを、混在させたことを特徴とする撮像素子。

【請求項5】

請求項２乃至４のいずれか一項に記載の撮像素子において、
同じ符号化パターンで制御される画素を、列方向及び行方向に符号化パターンで配置したことを特徴とする撮像素子。

【請求項6】

請求項２乃至５のいずれか一項に記載の撮像素子において、
各画素を構成する回路要素を異なる基板に形成し、前記基板を３次元積層したことを特徴とする撮像素子。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信号処理回路及び撮像素子に関し、特に、撮像素子（イメージセンサ）の各画素において、光電変換した信号をＡ／Ｄ（アナログ／デジタル）変換する信号処理回路と、それを利用した撮像素子に関する。

【背景技術】

【0002】

近年、コンピュテーショナルフォトグラフィの一分野として、符号化撮像法が研究されている。符号化撮像法は、従来のカメラで行われていた撮像のための光の一様な積分の代わりに、符号化した重みをつけた積分を行うことにより、従来不完全であった画像のぼけやぶれの復元を、より正確に実現しようとする撮像方法である（非特許文献１）。

【0003】

積分の符号化を行う撮像方法のうち、時間軸に沿った符号化を符号化露光という。符号化露光を行うには、一般には撮像素子に入射する光を高速に透過・遮断する。そのためには照明を高速に明滅するか、高速動作が可能なシャッタを用いる。

【0004】

図１０に、符号化露光法を実現するカメラシステムの一例を示す。図１０は、カメラレンズ（光学系）２と、撮像素子３と、画像処理回路４とを備える従来のカメラシステムに対して、液晶シャッタ等の高速シャッタ１をカメラレンズ２の前面に取り付けて光を透過・遮断するものである。シャッタのオン／オフ動作は周期性を有しない符号化パターンで動作させる。そして、得られた画像信号に対して、デコンボリューション等の操作を行う。これにより、画像の動きぼけやぶれの補正、ダイナミックレンジ拡大などが可能となる。

【0005】

また、特殊な光学系を用いない方法として、撮像素子の画素に転送トランジスタやオーバーフロートランジスタを設けて、これらのゲートに与える信号パターンを符号化することで、蓄積中の電荷を転送・排出させて符号化露光を実現する方法も提案されている（特許文献１、特許文献２）。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１７－５５３２１号公報

【文献】特開２０１８－１９３５３号公報

【非特許文献】

【0007】

【文献】日浦慎作、「符号化撮像によるぶれ・ぼけの除去」、光学、（２０１１年）、４０巻１０号、ｐｐ．５２２－５２７

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、符号化露光を行うために、撮像素子への光の入射を制御する方法は、照明を高速に明滅するか、高速シャッタ等の素子をカメラレンズの前面に取り付けて光を透過・遮断する必要がある。したがって、光学系が特殊となり、システムが複雑化してしまうという問題がある。

【0009】

また、撮像素子の蓄積電荷を符号化する従来の方法は、符号化に伴う複数回の高速な電荷転送・排出が必要であるため、トランジスタのオン／オフ動作に起因するｋＴＣノイズが増大してしまう問題がある。また、電荷の転送は回路の時定数に対応する時間を要するため、符号化の速度には限界があるという問題があった。

【0010】

従って、上記のような問題点に鑑みてなされた本発明の目的は、特殊な光学系を必要とせず、画像信号の生成時にノイズを増大させることがない符号化撮像法が可能な信号処理回路及び撮像素子を提供することにある。

【課題を解決するための手段】

【0011】

上記課題を解決するために本発明に係る信号処理回路は、検出対象の電荷量に対応してパルスを発生するパルス発生回路と、前記パルスをカウントするカウンタ回路とを備えた、信号処理回路において、前記パルス発生回路は、前記電荷量に対応する電圧検出ノードと、リセット手段と、前記電圧検出ノードの電圧としきい値電圧を比較するコンパレータとを備え、前記コンパレータの前記しきい値電圧を符号化パターンで制御することにより、前記電荷量の検出動作を行う時間を、符号化パターンで制御することを特徴とする。

【0014】

上記課題を解決するために本発明に係る撮像素子は、前記信号処理回路を、各画素に設けたことを特徴とする。

【0015】

また、前記撮像素子は、画素ごとに、又は、複数の画素をまとめたブロックごとに、前記符号化パターンを異ならせることが望ましい。

【0016】

また、前記撮像素子は、前記信号処理回路を符号化パターンで制御する画素と、前記信号処理回路を常に動作状態とする画素とを、混在させることが望ましい。

【0017】

また、前記撮像素子は、同じ符号化パターンで制御される画素を、列方向及び行方向に符号化パターンで配置することが望ましい。

【0018】

また、前記撮像素子は、各画素を構成する回路要素を異なる基板に形成し、前記基板を３次元積層することが望ましい。

【発明の効果】

【0019】

本発明における信号処理回路及び撮像素子によれば、特殊な光学系を必要とせず、画像信号の生成時にノイズを増大させることなく、符号化撮像法を実現することができる。

【図面の簡単な説明】

【0020】

【図1】信号処理回路の第１の実施例を説明するための回路図である。

【図2】フォトダイオード電圧とパルス出力のタイミングチャートである。

【図3】第１の実施例のカウンタ回路の例である。

【図4】カウンタ回路のイネーブル信号の符号化パターンの例である。

【図5】信号処理回路の第２の実施例を説明するための回路図である。

【図6】コンパレータのしきい値電圧の符号化パターンの例である。

【図7】フォトダイオード電圧とパルス出力としきい値電圧のタイミングチャートである。

【図8】撮像素子の符号化パターンによる画素配置の例である。

【図9】撮像素子を３次元構造で構成した例である。

【図10】符号化露光法を実現する従来のカメラシステムの例である。

【発明を実施するための形態】

【0021】

以下、本発明の実施の形態について説明する。本発明は、信号処理回路の電荷量検出動作を行う時間を、符号化パターンで制御することにより、符号化露光を実現する。

【0022】

（第１の実施例）
本発明の信号処理回路の第１の実施例を図１に示す。図１の信号処理回路は、撮像素子の１画素に対応しており、１ビット型Ａ／Ｄ変換回路（１ｂｉｔ ＡＤＣ）を構成している。図１の信号処理回路とその動作を、以下に説明する。

【0023】

第１の実施例の信号処理回路は、フォトダイオード（ＰＤ）１０の電圧検出ノード１１と、リセットトランジスタ（Ｔ_R）２０と、インバータ回路（インバータ・チェーン）３０と、カウンタ回路４０とにより構成される。このうち、電圧検出ノード１１とリセットトランジスタ（Ｔ_R）２０とインバータ回路３０は、光電変換された電荷量（検出対象の電荷量）に対応してパルスを発生するパルス発生回路を構成する。以下、各構成要素について説明する。

【0024】

フォトダイオード（ＰＤ）１０は、光電変換素子として機能し、その電圧検出ノード１１は、光がフォトダイオード１０に入射することにより生成された電荷（又は光電流）により、電位（Ｖ_PD）が変化する。なお、電圧検出ノード１１は、フォトダイオード（ＰＤ）１０の電極をそのまま利用することもできるが、電荷蓄積用のコンデンサ（図示せず）の電極を電圧検出ノード１１とし、光電変換によりフォトダイオード（ＰＤ）１０で生成された電荷をコンデンサに転送して、電圧検出をしてもよい。電圧検出ノード１１の電圧（Ｖ_PD）は、インバータ回路３０に入力される。

【0025】

リセットトランジスタ（Ｔ_R）２０は、インバータ回路３０の出力電圧（Ｖ_OUT）で制御され、オン（導通）することにより、電圧検出ノード１１（フォトダイオード１０の電極）にリセット電圧（Ｖ_RST）を印加する。このように、リセットトランジスタ（Ｔ_R）２０は、リセット手段として機能する。

【0026】

インバータ回路３０は、反転回路であるインバータ（Ｉｎｖ１、Ｉｎｖ２，・・・Ｉｎｖ2n+1）が奇数段接続された多段反転回路である。各インバータは、例えばＣＭＯＳ（Complementary metal-oxide-semiconductor）インバータで構成される。フォトダイオード１０の電圧検出ノード１１の電位Ｖ_PDが初段のインバータ（Ｉｎｖ１）に入力される。インバータチェーン３０の初段はインバータＩｎｖ１に代えて、コンパレータとしてもよい。インバータ回路３０の出力は、パルス発生回路の出力（Ｖ_OUT）として、カウンタ回路４０に入力されるとともに、リセットトランジスタ２０のゲート電極に印加される。

【0027】

カウンタ回路４０は、パルス発生回路の出力（Ｖ_OUT）のパルス数をカウントし、１フレーム期間ごとに確定したビット値を読み出して、リセットされる。図１では、例えば１ｂｉｔカウンタ４１～４８からなり、各カウンタ４１～４８はパルスをカウントして各ビット値を出力する。１つのカウンタを経るとパルス数が半分になり、直列に接続して、ここでは８ビットのカウンタ回路４０を構成している。１ｂｉｔカウンタ４１～４８のそれぞれは、例えば、フリップ・フロップ等で構成することができ、詳細は後述する。１ｂｉｔ目のカウンタ４１にはイネーブル信号ＥＮの端子が設けられており、ＥＮがＨｉｇｈレベルの時にはカウンタは動作するが、Ｌｏｗレベルの時には動作しないという制御を行う。なお、カウンタ回路４０は、１フレームに発生するパルス数に応じて、さらにカウンタを多段に設置してもよい。

【0028】

次に、図１の撮像素子の信号処理回路の通常の動作を、図２のフォトダイオード電圧（電圧検出ノード電圧）とパルス出力のタイミングチャートを用いて説明する。

【0029】

（１）フォトダイオード１０のリセットが解除された時点から説明する。すなわち、フォトダイオード１０の電圧検出ノード１１の電位Ｖ_PDがリセット（Ｖ_RST）された状態で、初段のインバータ（Ｉｎｖ１）の入力がＨｉｇｈで出力がＬｏｗ、２段目のインバータ（Ｉｎｖ２）の出力がＨｉｇｈ、最終段のインバータ（Ｉｎｖ2n+1）の出力、すなわちインバータ回路３０の出力（Ｖ_OUT）がＬｏｗであり、リセットトランジスタ（Ｔ_R）２０がオフ（ＯＦＦ）状態になっているとする。これは、図２のタイミングチャートの時間軸の最初の状態であり、これを初期化状態とする。

【0030】

（２）フォトダイオード１０に光が入射すると、光電変換により生成した電子がフォトダイオード１０内に蓄積して、フォトダイオード１０の電極（電圧検出ノード）１１の電位が下がる。

【0031】

（３）フォトダイオード１０の電圧検出ノード１１の電圧（Ｖ_PD）が初段のインバータ（Ｉｎｖ１）の反転しきい値電圧（Ｖ_TH）に達するとインバータ（Ｉｎｖ１）の出力がＨｉｇｈに反転する。インバータは奇数段（２ｎ＋１段）接続されており、順次出力が反転して伝達され、最終段のインバータ（Ｉｎｖ2n+1）の出力（インバータ回路３０の出力）、すなわち、パルス発生回路の出力（Ｖ_OUT）がＨｉｇｈとなる。なお、インバータが１段ではなく２ｎ＋１段接続されているのは、複数段のインバータによる遅延を利用して、回路動作を安定化するためである。

【0032】

（４）インバータ回路３０の出力（Ｖ_OUT）がＨｉｇｈになると、リセットトランジスタ２０がオン（ＯＮ）状態になり、フォトダイオード１０の電極にリセット電圧（Ｖ_RST）が印加され、フォトダイオード１０（及び電圧検出ノード１１）が再度リセットされる。

【0033】

（５）フォトダイオード１０がリセットされると、初段のインバータ（Ｉｎｖ１）の入力がＨｉｇｈ、インバータ回路の出力（Ｖ_OUT）がＬｏｗになり、（１）に戻る。こうして、出力（Ｖ_OUT）にパルスが生じる。

【0034】

（６）その後、上記（１）～（５）が繰り返され、インバータ回路（インバータ・チェーン）３０の出力がＨｉｇｈとＬｏｗを繰り返す。したがって、インバータ回路３０（すなわち、パルス発生回路）から繰り返しパルスが出力される。フォトダイオード１０へ入射する光量が多ければ光電変換された電荷量が多くなり、フォトダイオード１０の電圧検出ノード１１の電位変化が速くなって、インバータ回路３０の反転タイミングが速くなる。したがって、画像の１フレーム期間内にパルス発生回路の出力（Ｖ_OUT）には光量に比例した数のパルスが発生する。

【0035】

カウンタ回路４０では、カウンタ動作時においてパルスを積算しており、１フレーム期間終了後に、カウンタ出力を読み出し、カウントをリセットする。

【0036】

このように、１ビット型Ａ／Ｄ変換回路（１ｂｉｔ ＡＤＣ）の信号処理回路は、フォトダイオード（ＰＤ）の直近でＡ／Ｄ変換を行うため信号伝達時の雑音の影響を受けにくく、また、入力可能な光量が、従来の固体撮像素子のようにフォトダイオード（ＰＤ）の蓄積容量で制限されないため、ダイナミックレンジが拡大できるなどの特長がある。

【0037】

本発明は、符号化露光を実現するために、信号処理回路の電荷量の検出動作を行う時間を符号化パターンで制御するものであり、本実施例では、カウンタ回路４０を符号化パターンで動作させる。

【0038】

図３にカウンタ回路４０の詳細を示す。１ｂｉｔ分のカウンタ４１～４８は、Ｄフリップ・フロップ（Ｄ－ＦＦ）４１０～４８０を用いたトグルフリップ・フロップとなっており、２ｂｉｔ目以降のカウンタについてはＱＢ端子をＤ端子に接続している。なお、Ｄ端子が入力、Ｑ端子が出力、ＱＢ端子が反転出力であり、ＣＬＫはクロック入力である。Ｄフリップ・フロップはクロックが加わった瞬間にＤ入力の値を読み込んでＱ端子に出力する。このカウンタ回路４０では、各Ｄ－ＦＦのＱ端子出力が各ｂｉｔの値となる。

【0039】

１ｂｉｔ目のカウンタ４１では、イネーブル信号ＥＮとＱ端子出力の２つが排他的論理和ＸＯＲ４１１に入力され、ＸＯＲ４１１の出力がＤ－ＦＦ４１０のＤ端子に接続されている。ここでＸＯＲ４１１は、イネーブル信号ＥＮがＨｉｇｈレベルの時にはＱ端子の信号を反転して出力し、ＥＮがＬｏｗレベルの時にはＱ端子の信号をそのまま出力することになる。すると、イネーブル信号ＥＮがＨｉｇｈレベルの時には、トグル動作によるカウント動作をするが、ＥＮがＬｏｗレベルの時にはＱ端子とＤ端子の状態が変わらないため、カウント動作を行わない。すなわち、イネーブル信号ＥＮを制御信号とし、カウンタの動作をオン／オフすることができる。

【0040】

なお、カウンタ４１の回路構成はこれに限られない。例えば、イネーブル信号ＥＮと反転出力であるＱＢ端子出力の２つを排他的論理和ＸＯＲ４１１に入力し、イネーブル信号ＥＮがＬｏｗレベルの時には、トグル動作によるカウント動作をし、Ｈｉｇｈレベルの時には停止するように構成してもよい。

【0041】

図４に、イネーブル信号ＥＮに用いる符号化パターンの例を示す。符号化パターンは特定のパターンに限定されず、例えば、図４（ａ）、（ｂ）のように、符号化の要求により種々設定できる。符号化パターンは、例えば、Ｈｉｇｈの時間及びＬｏｗの時間が互いに異なる複数の矩形波からなり、入力画像における特定の周波数の信号が失われることがないように、周期的な矩形波などでないことが望ましい。Ｈｉｇｈレベルは回路の電源電圧（Ｖ_DD）、Ｌｏｗレベルはグランド電圧（Ｖ_SS）とすることができる。なお、図４の符号化パターンは１フレーム全体を示しており、図２と比較すると、時間方向に圧縮されて表現されている。イネーブル信号ＥＮがＨｉｇｈの１つの期間に、例えば数十個のパルスをカウントすることができる。

【0042】

このカウンタ回路４０は、イネーブル信号ＥＮが符号化パターンで制御され、イネーブル信号ＥＮがＨｉｇｈレベルの時には、光電変換信号に基づくパルスをカウントし（露光量を計測し）、Ｌｏｗレベルの時には光電変換信号に基づくパルスをカウントしない（露光量を計測しない）という動作を行うから、露光量検出時間の符号化が実現できる。

【0043】

本発明による符号化露光法では、フォトダイオードとインバータ回路で発生したパルスをカウンタで数えるか否かを制御しており、光電変換に関わる部分（例えばＶ_PD端子）には何の変更も加えていないため、ノイズを増大させることがない。カウンタというロジック回路の制御であるため高速動作が可能であり、自由な符号化パターンの設定が可能となる。

【0044】

（第２の実施例）
図５に、本発明の信号処理回路の第２の実施例を示す。図５の信号処理回路は、撮像素子の１画素に対応しており、１ビット型Ａ／Ｄ変換回路（１ｂｉｔ ＡＤＣ）を構成している。図５の信号処理回路の電荷量検出動作を行う時間の符号化は、パルス発生回路の動作の符号化により実現している。信号処理回路とその動作を、以下に説明する。

【0045】

第２の実施例の信号処理回路は、フォトダイオード（ＰＤ）１０の電圧検出ノード１１と、リセットトランジスタ（Ｔ_R）２０と、コンパレータ（比較器：Ｃｏｍｐ）３１と、インバータ回路（インバータ・チェーン）３２と、カウンタ回路４０とを備える。このうち、電圧検出ノード１１とリセットトランジスタ（Ｔ_R）２０とコンパレータ３１とインバータ回路３２は、光電変換された電荷量（検出対象の電荷量）に対応してパルスを発生するパルス発生回路を構成する。第２の実施例は、第１の実施例におけるインバータ回路３０が、コンパレータ３１とインバータ回路３２で構成されている点、及び、カウンタ回路４０が通常の（常に動作する）カウンタである点が、第１の実施例と異なっている。以下、各構成要素について説明するが、図１と同じ構成については説明を簡略化する。

【0046】

フォトダイオード（ＰＤ）１０は、光電変換素子として機能し、その電圧検出ノード１１は、光がフォトダイオード１０に入射することにより生成された電荷（又は光電流）により、電位（Ｖ_PD）が変化する。電圧検出ノード１１の電圧（Ｖ_PD）は、コンパレータ（Ｃｏｍｐ）３１に入力される。

【0047】

リセットトランジスタ（Ｔ_R）２０は、インバータ回路３２の出力電圧（Ｖ_OUT）で制御され、オン（導通）することにより、電圧検出ノード１１（フォトダイオード１０の電極）にリセット電圧（Ｖ_RST）を印加する。リセットトランジスタ（Ｔ_R）２０は、リセット手段として機能する。

【0048】

コンパレータ（比較器：Ｃｏｍｐ）３１は、一方の入力（－入力）にフォトダイオード１０の電圧検出ノード１１の電圧（Ｖ_PD）が入力され、他方の入力（＋入力）にしきい値電圧（Ｖ_TH）が入力され、両者を比較する。コンパレータ（Ｃｏｍｐ）３１の出力は、電圧検出ノード１１の電圧（Ｖ_PD）がしきい値電圧（Ｖ_TH）よりも高いときはＬｏｗとなり、電圧検出ノード１１の電圧（Ｖ_PD）が次第に低くなって、しきい値電圧（Ｖ_TH）に達すると、Ｈｉｇｈに反転する。また、再び電圧検出ノード１１の電圧（Ｖ_PD）がしきい値電圧（Ｖ_TH）よりも高くなれば、出力はＬｏｗとなる。コンパレータ３１の出力信号はインバータ回路（インバータ・チェーン）３２に出力される。本実施例のコンパレータ３１のしきい値電圧（Ｖ_TH）は符号化パターンで制御され、しきい値電圧（Ｖ_TH）が低い電圧レベル（Ｖ_EN）の時には出力の反転が生じる（パルスが発生する）が、高い電圧レベル（Ｖ_DIS）の時には出力がＨｉｇｈに固定され、パルスの発生動作が停止する。したがって、コンパレータ３１のしきい値電圧（Ｖ_TH）を制御信号とし、パルス発生回路の動作を制御することができる。

【0049】

インバータ回路（インバータ・チェーン）３２は、反転回路であるインバータ（Ｉｎｖ１、Ｉｎｖ２，・・・Ｉｎｖ2n）が偶数段接続された多段回路である。インバータ・チェーン３２の初段のインバータ（Ｉｎｖ１）には、コンパレータ（Ｃｏｍｐ）３１の出力信号が入力される。最終段のインバータ（Ｉｎｖ2n）の出力は、パルス発生回路の出力（Ｖ_OUT）として、カウンタ回路４０に出力されるとともに、リセットトランジスタ（Ｔ_R）２０のゲートに入力される。このインバータ回路３２は偶数段のインバータが接続されているため、入力がＨｉｇｈであれば、出力もＨｉｇｈとなる。したがって、一種の遅延回路として機能し、パルス幅の調整や、パルス発生動作の安定化に寄与する。なお、インバータ回路３２は必須のものではなく、コンパレータ（Ｃｏｍｐ）３１のみでパルス発生動作を安定に制御することができれば、削除することもできる。

【0050】

カウンタ回路４０は、パルス発生回路の出力（Ｖ_OUT）のパルス数をカウントし、１フレーム期間ごとに確定したビット値を読み出して、リセットされる。例えば８ｂｉｔ（１ｂｉｔのカウンタ８個）からなり、各カウンタ４１～４８はパルスをカウントしてビット値を出力する。なお、本実施例におけるカウンタ４１は、図３におけるカウンタ４２～４８と同じ回路構成であり、通常のカウント動作を行う。

【0051】

図５の信号処理回路の動作について、図６のしきい値電圧（Ｖ_TH）の符号化パターンと、図７のフォトダイオード電圧（電圧検出ノード電圧）とパルス出力としきい値電圧のタイミングチャートを用いて説明する。

【0052】

図６に、しきい値電圧（Ｖ_TH）に用いる符号化パターンの例を示す。符号化パターンは特定のパターンに限定されず、例えば、図６（ａ）、（ｂ）のように、符号化の要求により種々設定できる。符号化パターンは、例えば、低い電圧レベル（Ｖ_EN）の時間及び高い電圧レベル（Ｖ_DIS）の時間が互いに異なる複数の矩形波からなり、周期的な矩形波は用いない。高い電圧レベル（Ｖ_DIS）は電圧検出ノード１１のリセット電圧（Ｖ_RST）以上の電圧であればよい（Ｖ_DIS ≧ Ｖ_RST）。また、低い電圧レベル（Ｖ_EN）は電圧検出ノード１１のリセット電圧（Ｖ_RST）より低い電圧であればよく（Ｖ_EN ＜ Ｖ_RST）、光電変換による信号電荷量とパルス発生頻度とが所望の関係となるように、適宜設定することができる。なお、図６の符号化パターンは１フレーム全体を示しており、図２と比較すると、時間方向に圧縮されて表現されている。

【0053】

次に、パルス発生動作について説明する。パルス発生の仕組みは、基本的には、第１の実施例と同じである。

【0054】

（１）図７のタイミングチャートのスタート時点は、フォトダイオード（ＰＤ）１０の電圧検出ノード１１の電位Ｖ_PDがリセット電圧（Ｖ_RST）であり、フォトダイオードのリセットが完了して、リセット解除された状態を示している。なお、このときのコンパレータ（Ｃｏｍｐ）３１のしきい値は、低い電圧レベル（Ｖ_EN）である。コンパレータ（Ｃｏｍｐ）３１の一方の入力（－入力）に電圧Ｖ_PDが入力され、他方の入力（＋入力）には、しきい値電圧（Ｖ_EN）が入力される。このときＶ_PD（Ｖ_RST）＞Ｖ_ENであるから、コンパレータ３１の出力はＬｏｗである。インバータ回路３２の入力がＬｏｗであるから、偶数段の最終段インバータ（Ｉｎｖ2n）の出力（インバータ回路３２の出力）、すなわちパルス発生回路の出力（Ｖ_OUT）もＬｏｗであり、リセットトランジスタ（Ｔ_R）２０はオフ（ＯＦＦ）状態になっている。

【0055】

（２）フォトダイオード１０に光が入射すると、光電変換により生成した電荷（光電流）がフォトダイオード１０内に蓄積して、フォトダイオード１０の電極（電圧検出ノード）１１の電圧（Ｖ_PD）が次第に低下する。

【0056】

（３）フォトダイオード１０の電圧検出ノード１１の電圧（Ｖ_PD）が、しきい値電圧（Ｖ_EN）に達すると、コンパレータ（Ｃｏｍｐ）３１の出力がＨｉｇｈに反転する。この出力変化は偶数個のインバータの出力が順次反転して伝達され、最終段のインバータ（Ｉｎｖ2n）の出力（インバータ回路３２の出力）、すなわち、パルス発生回路の出力（Ｖ_OUT）がＨｉｇｈとなる。

【0057】

（４）パルス発生回路の出力（Ｖ_OUT）がＨｉｇｈになると、リセットトランジスタ２０がオン（ＯＮ）状態になり、フォトダイオード１０の電極にリセット電圧（Ｖ_RST）が印加され、フォトダイオード１０（及び電圧検出ノード１１）が再度リセットされる。

【0058】

（５）フォトダイオード１０がリセットされると、コンパレータ（Ｃｏｍｐ）３１の一方の入力（－入力）の電圧Ｖ_PDがリセット電圧（Ｖ_RST）となり、コンパレータ３１の出力がＬｏｗに戻る。

【0059】

（６）コンパレータ３１の出力変化は、偶数個のインバータ出力が順次反転して伝達され、最終段のインバータ（Ｉｎｖ2n）の出力、すなわち、パルス発生回路の出力（Ｖ_OUT）がＬｏｗになり、（１）に戻る。このような過程を経て、出力（Ｖ_OUT）にパルスが発生する。

【0060】

（７）その後、時刻Ｔ１までは、上記の（１）～（６）の過程が繰り返されて、パルスが複数発生し、カウンタ回路４０（カウンタ４１～４８）により、パルス数がカウントされる。

【0061】

（８）時刻Ｔ１において、コンパレータ（Ｃｏｍｐ）３１のしきい値が、高い電圧レベル（Ｖ_DIS）となる。このとき、コンパレータ（Ｃｏｍｐ）３１の一方の入力（－入力）に電圧Ｖ_PDが入力され、他方の入力（＋入力）には、しきい値電圧（Ｖ_DIS）が入力される。電圧検出ノード１１の電位Ｖ_PDは最大でもリセット電圧（Ｖ_RST）までにしかならないから、常にＶ_DIS＞Ｖ_PDであり、コンパレータ３１の出力はＨｉｇｈとなる。インバータ回路３２の入力がＨｉｇｈであるから、偶数段の最終段インバータ（Ｉｎｖ2n）の出力、すなわちパルス発生回路の出力（Ｖ_OUT）もＨｉｇｈであり、リセットトランジスタ（Ｔ_R）２０はオン（ＯＮ）状態となる。そして、電圧検出ノード１１の電圧Ｖ_PDはリセット電圧（Ｖ_RST）となるが、Ｖ_DIS＞Ｖ_RSTであるから、電圧Ｖ_PDがリセット電圧（Ｖ_RST）となってもコンパレータ３１の出力はＨｉｇｈであり、状態は変化しない。したがって、しきい値電圧（Ｖ_TH）が、高い電圧レベル（Ｖ_DIS）である期間は、この状態が保持され、出力（Ｖ_OUT）が一定となってパルス発生が停止する。

【0062】

（９）時刻Ｔ２において、コンパレータ（Ｃｏｍｐ）３１のしきい値が、低い電圧レベル（Ｖ_EN）となる。このとき、電圧検出ノード１１の電位Ｖ_PDがリセット電圧（Ｖ_RST）であり、コンパレータ（Ｃｏｍｐ）３１の一方の入力（－入力）に電圧Ｖ_PD（Ｖ_RST）が入力され、他方の入力（＋入力）には、低いしきい値電圧（Ｖ_EN）が入力される。ここでＶ_PD（Ｖ_RST）＞Ｖ_ENであるから、コンパレータ３１の出力はＬｏｗとなる。インバータ回路３２の最終段インバータ（Ｉｎｖ2n）の出力、すなわちパルス発生回路の出力（Ｖ_OUT）もＬｏｗとなり、リセットトランジスタ（Ｔ_R）２０はオフ（ＯＦＦ）状態になっている。すなわち、最初の状態（１）に戻る。

【0063】

（１０）その後は、コンパレータ（Ｃｏｍｐ）３１のしきい値が、低い電圧レベル（Ｖ_EN）である期間は、上記の（１）～（６）の過程が繰り返されて、パルスが複数発生し、カウンタ回路４０（カウンタ４１～４８）により、パルス数がカウントされる。

【0064】

このように、パルス発生回路（パルス発生期間）を符号化パターンで制御することにより、信号処理回路の電荷量の検出動作を行う時間を符号化パターンで制御でき、符号化露光を実現することができる。

【0065】

本実施例による符号化露光法では、コンパレータのしきい値制御により、パルスを発生させるか否かを制御しており、光電変換に関わる部分（例えばV_PD端子）には何の変更も加えていないため、ノイズを増大させることがない。電荷の転送には影響を与えないため高速動作が可能であり、自由な符号化パターンの設定が可能となる。

【0066】

（第３の実施例）
第３の実施例として、第１又は第２の実施例で説明した信号処理回路を、各画素に設けた撮像素子を構成することができる。各画素において、信号処理回路により符号化露光を行うことで、撮像装置の符号化露光ができる。

【0067】

本発明における信号処理回路は画素単位で独立に制御することが可能である。このことから、信号処理回路の制御信号（第１の実施例のイネーブル信号ＥＮ、第２の実施例のしきい値電圧Ｖ_TH）は全画素同一としても良いし、複数の画素をまとめたブロックごと、あるいは画素ごとに異なる符号化パターンを与えても良い。

【0068】

（第４の実施例）
第４の実施例としての撮像素子は、エリア（ブロックや画素）ごとに信号処理回路の制御信号の符号化パターンを変え、さらに、同じ制御信号（同じ符号化パターン）で制御される画素を符号化パターンで配置することで、時間的な符号化に加えて、空間的（平面的）な符号化を行う。

【0069】

図８は、撮像素子の表面（光電変換層１１０）の例であり、画素の配置を示している。各四角形は一つの画素を示しており、一重枠の四角形は信号処理回路を第１の符号化パターンで制御する画素１１１であり、二重枠の四角形は信号処理回路を第２の符号化パターンで制御する画素１１２である。それぞれの画素は、列方向及び行方向に不規則な符号化パターンで配置される。２次元的な符号化パターンによる画素の配置は、これに限られない。また、２種類の符号化パターンに限られず、さらに多種類の符号化パターンで制御される画素を不規則に配置してもよい。

【0070】

第４の実施例の撮像素子は、画素を符号化パターンで配置し、空間的な符号化を行うこととなるため、解像度を向上させるなどの効果が生じる。

【0071】

（第５の実施例）
図８において、一方の画素１１１の信号処理回路を符号化パターンで制御し、他方の画素１１２の信号処理回路を常に動作状態（制御信号である第１の実施例のイネーブル信号ＥＮを常にＨｉｇｈ、第２の実施例のしきい値電圧Ｖ_THを常にＶ_EN）とすることで、通常の露光を行わせることができる。

【0072】

通常の露光と符号化露光をした画素を混在させることで、全画素を符号化露光した時と比較して露光量を増加させ、感度を向上させることが可能となる。さらに、通常露光の画素と符号化露光の画素が符号化パターンで配置されているから、空間的な符号化を行うことができる。

【0073】

（第６の実施例）
本発明の撮像素子は、エリア（ブロックや画素）ごとに信号処理回路の制御信号の符号化パターンを変えることができるが、そのためには、エリアごとに信号処理回路の制御信号（第１の実施例のイネーブル信号ＥＮ、第２の実施例のしきい値電圧Ｖ_TH）を独立して与える必要がある。

【0074】

エリアごとに制御信号の供給を変える場合には、制御信号のための配線及び回路をそれぞれ設ける必要があり、複数の配線による画素および素子面積の増大も懸念される。このため、撮像素子を３次元構造とする。

【0075】

図９は、本発明の信号処理回路を用いた撮像素子の一実施例を示す図である。図９の撮像素子１００は、画素を構成する各回路要素を異なる基板に形成し、それを３次元積層したものである。

【0076】

図９において、撮像素子１００は、光電変換層（受光層）１１０と、パルス発生回路層１２０と、カウンタ回路層１３０と、制御信号供給層１４０とから、構成されている。各層は、画素単位で分割されており（図では例えば１６分割）、分割されたそれぞれの区画は縦方向に接続され（接続配線は図示せず）、全体で撮像素子１００が構成されている。

【0077】

すなわち、光電変換素子（フォトダイオード）１０を最上層の受光層１１０に形成し、リセット手段２０、インバータ回路３０又はコンパレータ３１を２層目のパルス発生回路層１２０に形成し、カウンタ回路４０をカウンタ回路層１３０に形成する。そして、制御信号供給回路（符号化パターンの発生回路）や走査回路等を最下層の制御信号供給層１４０に形成して、各回路を縦方向に接続し、例えば最下層１４０から出力を取り出すことができる。

【0078】

このように、カウンタ回路や制御信号供給回路を１ｂｉｔ ＡＤＣとは別の基板に形成して３次元積層して、画素ごとに３次元的に配線することで、高精細な固体撮像素子を実現できる。

【0079】

上記の実施の形態では、撮像素子の信号処理回路の構成と動作について説明したが、本発明はこれに限らず、信号処理方法として構成されてもよい。例えば、図５の回路図及び図７のタイミングチャートに従って、信号処理回路の電荷量検出動作を行う時間を、符号化パターンで制御する信号処理方法として構成されても良い。

【0080】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0081】

１ 高速シャッタ
２ カメラレンズ
３ 撮像素子
４ 画像処理回路
１０ フォトダイオード
１１ 電圧検出ノード
２０ リセットトランジスタ
３０ インバータ回路
３１ コンパレータ（比較器）
３２ インバータ回路
４０ カウンタ回路
４１～４８ カウンタ
１００ 固体撮像素子
１１０ 光電変換層
１１１，１１２ 画素
１２０ パルス発生回路層
１３０ カウンタ回路層
１４０ 制御信号供給層
４１０，４２０，４８０ Ｄフリップ・フロップ
４１１ 排他的論理和ＸＯＲ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】