知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024004565
(43)【公開日】2024-01-17
(54)【発明の名称】信号処理装置及び信号処理方法
(51)【国際特許分類】
H04N 25/772 20230101AFI20240110BHJP
【ＦＩ】
H04N5/3745 500
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022104209
(22)【出願日】2022-06-29
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100171446
【弁理士】
【氏名又は名称】高田 尚幸
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(74)【代理人】
【識別番号】100171930
【弁理士】
【氏名又は名称】木下 郁一郎
(72)【発明者】
【氏名】後藤 正英
【テーマコード（参考）】
5C024
【Ｆターム（参考）】
5C024CY16
5C024GX03
5C024GX15
5C024GX16
5C024GY39
5C024GY41
5C024GY45
5C024HX01
5C024HX23
5C024HX32
(57)【要約】
【課題】映像信号と、映像信号に所定の変化があったことを示す差分信号とをデジタル値として容易に取得する。
【解決手段】信号処理装置は、経時的に変化する値を取得する取得部と、前記取得部により取得された値に応じてカウントするカウンタ部と、前記カウンタ部によりカウントされた値に応じた第１信号と、第１期間と第２期間とを交互に繰り返す周期において、前記第１期間においてカウントされた値と前記第１期間より前の期間である前記第２期間においてカウントされた値との差分に応じた第２信号とを出力する出力部とを備える。
【選択図】図２
【解決手段】信号処理装置は、経時的に変化する値を取得する取得部と、前記取得部により取得された値に応じてカウントするカウンタ部と、前記カウンタ部によりカウントされた値に応じた第１信号と、第１期間と第２期間とを交互に繰り返す周期において、前記第１期間においてカウントされた値と前記第１期間より前の期間である前記第２期間においてカウントされた値との差分に応じた第２信号とを出力する出力部とを備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
経時的に変化する値を取得する取得部と、
前記取得部により取得された値に応じてカウントするカウンタ部と、
前記カウンタ部によりカウントされた値に応じた第１信号と、第１期間と第２期間とを交互に繰り返す周期において、前記第１期間においてカウントされた値と前記第１期間より前の期間である前記第２期間においてカウントされた値との差分に応じた第２信号とを出力する出力部と
を備える信号処理装置。
前記取得部により取得された値に応じてカウントするカウンタ部と、
前記カウンタ部によりカウントされた値に応じた第１信号と、第１期間と第２期間とを交互に繰り返す周期において、前記第１期間においてカウントされた値と前記第１期間より前の期間である前記第２期間においてカウントされた値との差分に応じた第２信号とを出力する出力部と
を備える信号処理装置。
【請求項2】
前記カウンタ部は、
前記第１期間において前記取得部により取得された値に応じてカウントする第１カウンタ部と、
前記第１カウンタ部とは異なるカウンタであって、前記第２期間において前記取得部により取得された値に応じてカウントする第２カウンタ部とを備え、
前記取得部により取得された信号が入力される先を前記第１カウンタ部又は前記第２カウンタ部のいずれか一方に排他的に切り替える切り替えスイッチを更に備え、
前記出力部は、前記第１カウンタ部に保持された値と前記第２カウンタ部に保持された値との差分に応じて前記第２信号を出力する
請求項１に記載の信号処理装置。
前記第１期間において前記取得部により取得された値に応じてカウントする第１カウンタ部と、
前記第１カウンタ部とは異なるカウンタであって、前記第２期間において前記取得部により取得された値に応じてカウントする第２カウンタ部とを備え、
前記取得部により取得された信号が入力される先を前記第１カウンタ部又は前記第２カウンタ部のいずれか一方に排他的に切り替える切り替えスイッチを更に備え、
前記出力部は、前記第１カウンタ部に保持された値と前記第２カウンタ部に保持された値との差分に応じて前記第２信号を出力する
請求項１に記載の信号処理装置。
【請求項3】
前記第１期間及び前記第２期間の終了時点において前記カウンタ部によりカウントされた値を保持するメモリ回路を更に備え、
前記出力部は、前記メモリ回路に記憶された値と、前記カウンタ部に記憶された値とを比較することにより、前記第２信号を出力する
請求項１に記載の信号処理装置。
前記出力部は、前記メモリ回路に記憶された値と、前記カウンタ部に記憶された値とを比較することにより、前記第２信号を出力する
請求項１に記載の信号処理装置。
【請求項4】
前記カウンタ部は、
前記第１カウンタ部及び前記第２カウンタ部とは異なるカウンタであって、前記第１期間及び前記第２期間において前記取得部により取得された値に応じてカウントする第３カウンタ部を更に備え、
前記出力部は、前記第２信号の出力に応じて、前記第３カウンタ部に保持された値を出力する
請求項２に記載の信号処理装置。
前記第１カウンタ部及び前記第２カウンタ部とは異なるカウンタであって、前記第１期間及び前記第２期間において前記取得部により取得された値に応じてカウントする第３カウンタ部を更に備え、
前記出力部は、前記第２信号の出力に応じて、前記第３カウンタ部に保持された値を出力する
請求項２に記載の信号処理装置。
【請求項5】
前記第１カウンタ部及び前記第２カウンタ部は、それぞれ複数ビットのカウンタ素子を備え、
前記第３カウンタ部は、前記第１カウンタ部及び前記第２カウンタ部にそれぞれ備えられるカウンタ素子より多いビット数のカウンタ素子を備える
請求項４に記載の信号処理装置。
前記第３カウンタ部は、前記第１カウンタ部及び前記第２カウンタ部にそれぞれ備えられるカウンタ素子より多いビット数のカウンタ素子を備える
請求項４に記載の信号処理装置。
【請求項6】
前記第１期間及び前記第２期間は、３０分の１秒より短い
請求項５に記載の信号処理装置。
請求項５に記載の信号処理装置。
【請求項7】
前記カウンタ部に含まれる前記カウンタ素子のうち、最下位ビットの前記カウンタ素子は、入力信号が有効であるか否かを決定するイネーブル端子を有する
請求項５又は請求項６に記載の信号処理装置。
請求項５又は請求項６に記載の信号処理装置。
【請求項8】
前記取得部は、経時的に値が１又は０のデジタル値に変化するパルス信号を取得する
請求項１から請求項６のいずれか一項に記載の信号処理装置。
請求項１から請求項６のいずれか一項に記載の信号処理装置。
【請求項9】
前記取得部は、値が連続的に変化するアナログ信号を取得し、
前記アナログ信号の値と所定の閾値との比較結果に応じてデジタル値に変換するＡ／Ｄ変換部を更に備える
請求項１から請求項６のいずれか一項に記載の信号処理装置。
前記アナログ信号の値と所定の閾値との比較結果に応じてデジタル値に変換するＡ／Ｄ変換部を更に備える
請求項１から請求項６のいずれか一項に記載の信号処理装置。
【請求項10】
前記取得部は、フォトダイオードに光が入射した結果に応じた電圧値を取得する
請求項９に記載の信号処理装置。
請求項９に記載の信号処理装置。
【請求項11】
前記Ａ／Ｄ変換部により出力されるデジタル値に応じて、前記フォトダイオードにリセット電圧を印加するか否かを決定するリセットトランジスタを更に備える
請求項１０に記載の信号処理装置。
請求項１０に記載の信号処理装置。
【請求項12】
経時的に変化する値を取得する取得工程と、
前記取得工程により取得された値に応じてカウントするカウンタ工程と、
前記カウンタ工程によりカウントされた値に応じた第１信号と、第１期間と第２期間とを交互に繰り返す周期において、前記第１期間においてカウントされた値と前記第１期間より前の期間である前記第２期間においてカウントされた値との差分に応じた第２信号とを出力する出力工程と
を有する信号処理方法。
前記取得工程により取得された値に応じてカウントするカウンタ工程と、
前記カウンタ工程によりカウントされた値に応じた第１信号と、第１期間と第２期間とを交互に繰り返す周期において、前記第１期間においてカウントされた値と前記第１期間より前の期間である前記第２期間においてカウントされた値との差分に応じた第２信号とを出力する出力工程と
を有する信号処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、信号処理装置及び信号処理方法に関する。
【背景技術】
【0002】
従来、アナログ値で表現されるセンサ値をモニターし続けることに代えて、アナログ値の変化量が閾値以上となった場合にトリガ信号を取得することにより、通信量を減らし、高速な応答を可能にする技術が知られている。当該技術で用いられるアナログ値としては、フォトダイオードにより検出される光量等を例示することができる。また、このようなアナログ値を扱うセンサとしては、動画像センサ等を例示することができる。
【0003】
近年、動画像センサの技術分野において、複数のフレーム画を連続して高速取得する映像信号に代えて、画素値の変化に応じた信号（以下、差分信号と記載する）を出力することにより、被写体の動きを検知するイベントベースのセンサの開発が進んでいる。このような技術を用いたセンサは、ダイナミックビジョンセンサなどとも呼ばれている。
【0004】
非特許文献1に記載された技術によれば、画素に対数応答の電流電圧変換回路と差分検出回路を搭載してイベントトリガを発生し、値が時間的に変化した画素の情報が出力される。したがって、非特許文献1に記載されたセンサは高速での応答が可能であり、省電力が実現でき、車載などへの応用などが期待できる。しかしながら、このようなセンサは、差分信号だけを出力するものであり、映像信号を出力するには別のカメラを併用する必要がある。したがって、映像信号と差分信号とを用いるシステムを構築しようとした場合、システムが大型化するといった問題があった。また、非特許文献1に記載された技術によれば、フォトダイオードにより得られた信号を、差分検出回路の入力範囲に収めるために対数圧縮しており、情報が圧縮されて線形性が失われてしまうといった問題があった。
【0005】
差分信号と映像信号の両方を取得するための装置として、非特許文献２に記載された技術を例示することができる。非特許文献２に記載された技術によれば、各画素が、差分検出回路によるイベントトリガ発生機能に加えて、通常のＡＰＳ（Ａｃｔｉｖｅ Ｐｉｘｅｌ Ｓｅｎｓｏｒ）方式での読み出し機能も備えており、差分信号と映像信号の両方を出力することができる。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】T. Finateu et al., “A 1280×720 Back-Illuminated Stacked Temporal Contrast Event-Based Vision Sensor with 4.86μm Pixels, 1.066GEPS Readout, Programmable Event-Rate Controller and Compressive Data-Formatting Pipeline”ISSCC, 5.10, pp.112-113（2020）
【非特許文献2】G. Taverni et al., “Front and Back Illuminated Dynamic and ActivePixel Vision Sensors Comparison”IEEE Transactions on Circuits and Systems-II: Express Briefs, Vol. 65, No. 5 pages 677-681, (2018)
【発明の概要】
【発明が解決しようとする課題】
【0007】
ここで、非特許文献２に記載の技術により出力される差分信号はデジタル信号であるのに対し、映像信号はアナログ値により出力される。映像信号をデジタル信号として取り出すためには、画素エリアの外（例えば同一レイヤーの周辺部、あるいは異なるレイヤー）又はセンサチップの外（例えば異なるチップ）でＡ／Ｄ変換することが考えられる。いずれの構成を採用した場合であっても、システムが大型化し、差分信号との同期を取らなければならない。すなわち、非特許文献２に記載の技術を用いて、差分信号と映像信号の両方をデジタル値として用いる場合、システムが大型化し、差分信号との同期を取る制御が複雑化するといった問題があった。また、非特許文献２に記載された技術は、非特許文献1に記載された技術と同様に、フォトダイオードにより得られた信号を、差分検出回路の入力範囲に収めるために対数圧縮しており、情報が圧縮されて線形性が失われてしまうといった問題があった。
【0008】
そこで本発明は、映像信号と、映像信号に所定の変化があったことを示す差分信号とをデジタル値として容易に取得可能な信号処理装置及び信号処理方法を提供しようとするものである。
【課題を解決するための手段】
【0009】
［１］上記の課題を解決するため、本発明の一態様による信号処理装置は、経時的に変化する値を取得する取得部と、前記取得部により取得された値に応じてカウントするカウンタ部と、前記カウンタ部によりカウントされた値に応じた第１信号と、第１期間と第２期間とを交互に繰り返す周期において、前記第１期間においてカウントされた値と前記第１期間より前の期間である前記第２期間においてカウントされた値との差分に応じた第２信号とを出力する出力部とを備えるものである。
【0010】
［２］また、本発明の一態様は、上記［１］に記載の信号処理装置において、前記カウンタ部は、前記第１期間において前記取得部により取得された値に応じてカウントする第１カウンタ部と、前記第１カウンタ部とは異なるカウンタであって、前記第２期間において前記取得部により取得された値に応じてカウントする第２カウンタ部とを備え、前記取得部により取得された信号が入力される先を前記第１カウンタ部又は前記第２カウンタ部のいずれか一方に排他的に切り替える切り替えスイッチを更に備え、前記出力部は、前記第１カウンタ部に保持された値と前記第２カウンタ部に保持された値との差分に応じて前記第２信号を出力するものである。
【0011】
［３］また、本発明の一態様は、上記［１］に記載の信号処理装置は、前記第１期間及び前記第２期間の終了時点において前記カウンタ部によりカウントされた値を保持するメモリ回路を更に備え、前記出力部は、前記メモリ回路に記憶された値と、前記カウンタ部に記憶された値とを比較することにより、前記第２信号を出力するものである。
【0012】
［４］また、本発明の一態様は、上記［２］に記載の信号処理装置において、前記カウンタ部は、前記第１カウンタ部及び前記第２カウンタ部とは異なるカウンタであって、前記第１期間及び前記第２期間において前記取得部により取得された値に応じてカウントする第３カウンタ部を更に備え、前記出力部は、前記第２信号の出力に応じて、前記第３カウンタ部に保持された値を出力するものである。
【0013】
［５］また、本発明の一態様は、上記［４］に記載の信号処理装置において、前記第１カウンタ部及び前記第２カウンタ部は、それぞれ複数ビットのカウンタ素子を備え、前記第３カウンタ部は、前記第１カウンタ部及び前記第２カウンタ部にそれぞれ備えられるカウンタ素子より多いビット数のカウンタ素子を備えるものである。
【0014】
［６］また、本発明の一態様は、上記［１］から［５］のいずれかに記載の信号処理装置において、前記第１期間及び前記第２期間は、３０分の１秒より短いものである。
【0015】
［７］また、本発明の一態様は、上記［１］から［６］のいずれかに記載の信号処理装置において、前記カウンタ部に含まれる前記カウンタ素子のうち、最下位ビットの前記カウンタ素子は、入力信号が有効であるか否かを決定するイネーブル端子を有するものである。
【0016】
［８］また、本発明の一態様は、上記［１］から［７］のいずれかに記載の信号処理装置において、前記取得部は、経時的に値が１又は０のデジタル値に変化するパルス信号を取得するものである。
【0017】
［９］また、本発明の一態様は、上記［１］から［８］のいずれかに記載の信号処理装置において、前記取得部は、値が連続的に変化するアナログ信号を取得し、前記アナログ信号の値と所定の閾値との比較結果に応じてデジタル値に変換するＡ／Ｄ変換部を更に備えるものである。
【0018】
［１０］また、本発明の一態様は、上記［９］に記載の信号処理装置において、前記取得部は、フォトダイオードに光が入射した結果に応じた電圧値を取得するものである。
【0019】
［１１］また、本発明の一態様は、上記［１０］に記載の信号処理装置は、前記Ａ／Ｄ変換部により出力されるデジタル値に応じて、前記フォトダイオードにリセット電圧を印加するか否かを決定するリセットトランジスタを更に備えるものである。
【0020】
［１２］また、本発明の一態様による信号処理方法は、経時的に変化する値を取得する取得工程と、前記取得工程により取得された値に応じてカウントするカウンタ工程と、前記カウンタ工程によりカウントされた値に応じた第１信号と、第１期間と第２期間とを交互に繰り返す周期において、前記第１期間においてカウントされた値と前記第１期間より前の期間である前記第２期間においてカウントされた値との差分に応じた第２信号とを出力する出力工程とを有するものである。
【発明の効果】
【0021】
本発明によれば、映像信号と、映像信号に所定の変化があったことを示す差分信号とをデジタル値として容易に取得することができる。
【図面の簡単な説明】
【0022】
【図1】第１の実施形態に係る固体撮像素子を三次元構造化した場合の一例を示す模式図である。
【図2】第１の実施形態に係る画素回路の回路構成の一例を示す回路図である。
【図3】第１の実施形態に係るフォトダイオードに光が入射した際のパルス発生タイミングについて説明するタイミングチャートである。
【図4】第１の実施形態に係る信号処理装置により出力される第１信号及び第２信号の出力タイミングと、カウンタ値の変化について説明するタイミングチャートである。
【図5】第２の実施形態に係る画素回路の回路構成の一例を示す回路図である。
【図6】第２の実施形態に係る信号処理装置により出力される第１信号及び第２信号の出力タイミングと、カウンタ値の変化について説明するタイミングチャートである。
【図7】第３の実施形態に係る画素回路の回路構成の一例を示す回路図である。
【図8】第３の実施形態に係る信号処理装置により出力される第１信号及び第２信号の出力タイミングと、カウンタ値の変化について説明するタイミングチャートである。
【発明を実施するための形態】
【0023】
［実施形態］
まず、実施形態の前提となる事項を説明する。本実施形態に係る信号処理装置及び信号処理方法は、経時的に値が変化する信号を対象として、処理を行う。経時的に値が変化する信号とは、連続的に値が変化するアナログ値及び離散的に値が変化するデジタル値の両方を含む。値が離散的に変化するデジタル値には、値が複数の離散値（例えば、８ビット＝２５６）で表現されるデジタル値の他、０又は１の２値で表現されるパルス信号も含まれる。
まず、実施形態の前提となる事項を説明する。本実施形態に係る信号処理装置及び信号処理方法は、経時的に値が変化する信号を対象として、処理を行う。経時的に値が変化する信号とは、連続的に値が変化するアナログ値及び離散的に値が変化するデジタル値の両方を含む。値が離散的に変化するデジタル値には、値が複数の離散値（例えば、８ビット＝２５６）で表現されるデジタル値の他、０又は１の２値で表現されるパルス信号も含まれる。
【0024】
以下の説明において、本実施形態に係る信号処理装置及び信号処理方法は、一例として、センサから出力された信号を対象とする場合について説明する。センサとは、例えば、撮像装置に用いられるイメージセンサや、ロボット制御に用いられる触覚センサ等であってもよい。その他の例としては、圧力センサ、加速度センサ、光センサ、湿度センサ、温度センサ、ホールセンサ等であってもよい。また、本実施形態に係る信号処理装置及び信号処理方法は、時間的変動をとらえるセンサや計測装置にも適用でき、広くロジック回路、駆動回路、通信回路、記録素子、ディスプレイ、アクチュエータ等にも応用することができる。
以下の一例においては、本実施形態に係る信号処理装置及び信号処理方法が、フォトダイオードの光電効果を用いて出力される信号を処理する固体撮像素子に適用される場合の一例について説明する。当該固体撮像素子は、撮像装置等に用いられる。
以下の一例においては、本実施形態に係る信号処理装置及び信号処理方法が、フォトダイオードの光電効果を用いて出力される信号を処理する固体撮像素子に適用される場合の一例について説明する。当該固体撮像素子は、撮像装置等に用いられる。
【0025】
［第１の実施形態］
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
【0026】
図１は、第１の実施形態に係る固体撮像素子を三次元構造化した場合の一例を示す模式図である。固体撮像素子５は、複数の階層構造を有する。同図に示す一例では、第１階層Ｌ１、第２階層Ｌ２及び第３階層Ｌ３の３層構造を有する場合の一例について図示している。各階層には、半導体構造物により回路素子が形成される。各階層間は、層間絶縁膜により絶縁される。層間絶縁膜にヴィアホール（コンタクトホール）を形成することにより、各階層に形成された回路素子が接続される。
【0027】
第１階層Ｌ１には、複数のフォトダイオード（画素）が形成される。フォトダイオードは、入射した光を電気信号に変換する。具体的には、フォトダイオードは、光電効果により、入射した光の強さに応じた電気信号を出力する。ここで、フォトダイオードにより出力された電気信号を取り出すためには、Ａ／Ｄ変換回路等の所定の電気回路を要する。図１に示すような階層構造を有せず、単層構造を採用する場合、当該所定の電気回路をフォトダイオードと同一面に形成することになるため、複数のフォトダイオード間の配置間隔が大きくなってしまう。しかしながら、図１に示すような階層構造を採用することにより、複数のフォトダイオード間に所定の電気回路を設けることを要せず、複数のフォトダイオード間の配置間隔を小さくすることができる。したがって、階層構造を採用することにより、より高密度でフォトダイオードを配置することができる。すなわち高解像度の固体撮像素子５を提供することができる。
【0028】
第２階層Ｌ２には、フォトダイオードにより出力された電気信号をパルス信号に変換するための回路が形成される。そのため、第２階層Ｌ２に形成される回路を、Ａ／Ｄ変換回路と記載することもできる。第２階層Ｌ２に形成される回路は、例えば複数のインバータを直列接続したインバータ―チェーン回路であってもよい。インバータチェーン回路は、フォトダイオードに接続されるインバータ素子の入力閾値電圧に応じてＨレベル又はＬレベルの電圧を出力する。
なお、第２階層Ｌ２には、インバータチェーン回路が形成される場合の一例に代えて、コンパレータ回路が形成されていてもよい。コンパレータ回路は、フォトダイオードにより出力された電気信号と、所定の基準電圧とを比較し、比較した結果に応じてＨレベル又はＬレベルの電圧を出力する。
なお、第２階層Ｌ２には、所定の遅延回路が含まれていてもよい。
なお、第２階層Ｌ２には、インバータチェーン回路が形成される場合の一例に代えて、コンパレータ回路が形成されていてもよい。コンパレータ回路は、フォトダイオードにより出力された電気信号と、所定の基準電圧とを比較し、比較した結果に応じてＨレベル又はＬレベルの電圧を出力する。
なお、第２階層Ｌ２には、所定の遅延回路が含まれていてもよい。
【0029】
第３階層Ｌ３には、カウンタ回路が形成される。当該カウンタ回路は、第２階層Ｌ２に形成された回路により出力されるパルス信号の数をカウントする。当該カウンタ回路は、例えば８ビットのカウンタ素子を有し、０から２５５までの値をカウントする。固体撮像素子５が映像信号を出力する場合、当該カウンタ回路は、所定期間内に入力されたパルス数をカウントし、カウントした値を不図示の制御回路に出力する。固体撮像素子５が作動信号を出力する場合、当該カウンタ回路は、入力されたパルス信号の数が所定の閾値を超えたか否かを検出し、閾値を超えたと検出された場合にトリガ信号を不図示の制御回路に出力する。
【0030】
なお、固体撮像素子５が複数のカウンタ回路を有する場合、カウンタ回路が形成される階層は複数あってもよい。例えば、１つの画素につき２つのカウンタを有する場合、第３階層Ｌ３に加えて、第４階層Ｌ４にもカウンタ回路を形成してもよい。すなわち、固体撮像素子５は、同図に示した３層構造を有する場合の一例に限定されず、４層以上の階層構造を有していてもよいし、階層構造を有していなくてもよい（すなわち、単相基板上に各素子が形成されていてもよい）。
【0031】
以下の説明において、１つの画素及び当該画素に対応する周辺回路（例えば、Ａ／Ｄ変換回路やカウンタ回路）を含む構成を、画素回路１と記載する。図１に示す一例では、画素回路１は、第１階層Ｌ１から第３階層Ｌ３の一部を含む３層構造を有している。画素回路１は、同図に示すように複数の階層構造を有して構成されてもよいし、単層基板上に形成されてもよい。
【0032】
図２は、第１の実施形態に係る画素回路の回路構成の一例を示す回路図である。同図を参照しながら、画素回路１の回路構成の一例について説明する。画素回路１は、信号処理装置１０と光量検出装置２０とを備える。信号処理装置１０は第３階層Ｌ３に、光量検出装置２０は第１階層Ｌ１及び第２階層Ｌ２に形成されてもよい。
なお、以下の説明において、画素回路１の機能を便宜上、信号処理装置１０と光量検出装置２０とに分けて説明するが、光量検出装置２０の構成の一部又は全部は、信号処理装置１０に含まれていてもよい。
なお、以下の説明において、画素回路１の機能を便宜上、信号処理装置１０と光量検出装置２０とに分けて説明するが、光量検出装置２０の構成の一部又は全部は、信号処理装置１０に含まれていてもよい。
【0033】
まず、光量検出装置２０の構成について説明する。光量検出装置２０は、フォトダイオード２１と、インバータチェーン２２と、リセットトランジスタ２３とを備える。フォトダイオード２１は第１階層Ｌ１に、インバータチェーン２２及びリセットトランジスタ２３は第２階層Ｌ２に形成されてもよい。光量検出装置２０は、フォトダイオード２１に入射した光の量に応じてパルス信号を出力する。したがって、所定時間内に出力されたパルス信号の数をカウントすることにより、光量検出装置２０に入射した光の量を検出することができる。
【0034】
フォトダイオード２１は、アノード端子とカソード端子とを有する。アノード端子は接地され、カソード端子はインバータチェーン２２の入力端子に接続される。フォトダイオードは、入射した光の量に応じて電荷を生成する。フォトダイオードにより生成された電荷は、生成された電荷の量に応じた電圧値としてインバータチェーン２２に入力される。具体的には、フォトダイオードにより生成された電荷は、フォトダイオード２１のカソード端子と、インバータチェーン２２の入力端子との間に存在する不図示の容量成分に蓄積される。蓄積された電荷は、当該容量成分の大きさに応じて電圧となって現れ、インバータチェーン２２の入力端子に入力される。当該容量成分をフローティングディフュージョンとも記載する。また、フォトダイオード２１のカソード端子の電圧を電圧ＶＰＤとも記載する。
【0035】
インバータチェーン２２は、複数の直列接続されたインバータ素子を備える。当該インバータ素子は、具体的には、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ―ｏｘｉｄｅ―ｓｅｍｉｃｏｎｄｕｃｔｏｒ）インバータであってもよい。図２に示す一例では、インバータチェーン２２は、インバータ２２１と、インバータ２２２と、…、インバータ２２ｎとを備える（ｎは１以上の自然数）。各インバータ素子は、それぞれ入力端子と出力端子とを有しており、出力端子には入力端子の電圧レベルと逆の電圧レベルが出力される。例えば、各インバータ素子の入力端子に１（ハイレベル）が入力されると、当該インバータ素子の出力端子には０（ローレベル）が出力される。また、インバータ素子の入力端子に０が入力されると、当該インバータ素子の出力端子には１が出力される。各インバータ素子は、入力閾値電圧を有し、入力端子に入力される電圧値と閾値とに応じた値を出力する。
【0036】
ここで、インバータチェーン２２に備えられるインバータ素子の数は奇数個である。すなわち、インバータチェーン２２全体として、インバータチェーン２２の入力端子に入力された電圧レベルを反転させ、出力端子に出力する。インバータチェーン２２により出力される電圧を、出力電圧ＶＯＵＴとも記載する。
【0037】
また、インバータチェーン２２に備えられるインバータ素子の数は、光量検出装置２０に出力させたいパルス信号のパルス幅に応じて設定されてもよい。例えば、インバータチェーン２２に備えられるインバータ素子の数を多くすることによりパルス幅を長くすることができる。また、インバータチェーン２２に備えられるインバータ素子の数を少なくすることによりパルス幅を短くすることができる。
【0038】
また、インバータ素子（特にインバータ２２１）の入力閾値電圧を調整することにより、光量検出装置２０により出力される１パルスに応じた光の量を調整することができる。例えば入力閾値電圧を小さくすることにより、フォトダイオード２１により多くの光が入射してからパルスが出力されるようになる。また、入力閾値電圧を大きくすることにより、フォトダイオード２１により少ない光が入射してからパルスが出力されるようになる。
【0039】
なお、インバータチェーン２２に接続される初段のインバータ素子（フォトダイオード２１に近い側のインバータ、すなわちインバータ２２１）に代えて、不図示のコンパレータ回路を用いてもよい。当該コンパレータ回路の入力端子の一端には、フォトダイオード２１のカソード端子が接続される。また、当該コンパレータ回路の入力端子の他端には、所定の基準電圧が入力される。当該コンパレータ回路は、フォトダイオード２１のカソード端子に接続された入力端子の電圧と基準電圧とに応じた電圧を出力端子に出力する。当該コンパレータ回路の後段には、所定の遅延回路が設けられていてもよい。
【0040】
リセットトランジスタ２３は、インバータチェーン２２の出力電圧に応じて、フォトダイオード２１にリセット電圧ＶＲＳＴを供給することによりフォトダイオード２１をリセットする。換言すれば、リセットトランジスタ２３は、インバータチェーン２２により出力されるデジタル値に応じて、フォトダイオード２１にリセット電圧を印加するか否かを決定する。リセットトランジスタ２３は、例えばＮチャネル型のＭＯＳＦＥＴ（金属酸化膜半導体電界効果トランジスタ：metal-oxide-semiconductor field-effect transistor）であってもよい。リセットトランジスタ２３がＮチャネル型のＭＯＳＦＥＴである場合、ゲート端子は、インバータチェーン２２の出力端子に接続される。ソース端子は、リセット電圧ＶＲＳＴを供給する電源に接続される。ドレイン端子は、フォトダイオード２１のカソード端子に接続される。
ここで、リセットトランジスタ２３をエンハンスメント型のＮチャネル型ＭＯＳＦＥＴとする場合、リセット電圧ＶＲＳＴがリセットトランジスタ２３の閾値分だけ減少してフォトダイオード２１に伝わる。そこで、リセットトランジスタ２３をデプレッション型のＮチャネル型ＭＯＳＦＥＴとしてもよい。
なお、リセットトランジスタ２３をＰチャネル型のＭＯＳＦＥＴとすることも可能である。この場合、リセットトランジスタ２３のゲート端子にインバータ回路を挿入する。Ｐチャネル型のＭＯＳＦＥＴを用いることにより、リセット電圧ＶＲＳＴがリセットトランジスタ２３の閾値分だけ減少してフォトダイオード２１に伝わることを抑止することができる。
ここで、リセットトランジスタ２３をエンハンスメント型のＮチャネル型ＭＯＳＦＥＴとする場合、リセット電圧ＶＲＳＴがリセットトランジスタ２３の閾値分だけ減少してフォトダイオード２１に伝わる。そこで、リセットトランジスタ２３をデプレッション型のＮチャネル型ＭＯＳＦＥＴとしてもよい。
なお、リセットトランジスタ２３をＰチャネル型のＭＯＳＦＥＴとすることも可能である。この場合、リセットトランジスタ２３のゲート端子にインバータ回路を挿入する。Ｐチャネル型のＭＯＳＦＥＴを用いることにより、リセット電圧ＶＲＳＴがリセットトランジスタ２３の閾値分だけ減少してフォトダイオード２１に伝わることを抑止することができる。
【0041】
通常時、すなわちフォトダイオード２１に光が入射していない場合、フォトダイオード２１の電圧ＶＰＤはハイレベルである。フォトダイオード２１の電圧ＶＰＤが光入射により低下し、インバータ２２１の入力閾値電圧に達すると、インバータチェーン２２の出力電圧ＶＯＵＴが反転し、ローレベルからハイレベルになる。インバータチェーン２２によりハイレベルが出力されると、リセットトランジスタ２３のソース－ドレイン間がオンし、フォトダイオード２１にリセット電圧ＶＲＳＴが供給され、フォトダイオード２１の電圧ＶＰＤは、リセット電圧ＶＲＳＴとなる。再びインバータチェーンが反転し、インバータチェーン２２の出力電圧ＶＯＵＴがローレベルとなると、リセットトランジスタ２３のソース－ドレイン間がオフする。この動作を繰り返すことでインバータチェーン２２の出力端子にはパルス信号が現れる。
【0042】
なお、フォトダイオード２１は、埋め込みフォトダイオードであってもよい。フォトダイオード２１が埋め込みフォトダイオードである場合、フォトダイオード２１とインバータチェーン２２との間には、不図示の転送トランジスタが設けられていてもよい。当該転送トランジスタは、不図示の制御部により制御され、フォトダイオード２１により生成された電荷をインバータチェーン２２（詳細には、転送トランジスタとインバータチェーン２２との間に設けられたフローティングディフュージョン）に転送する。
【0043】
次に、信号処理装置１０の構成について説明する。信号処理装置１０には、経時的に値が変化する信号が入力される。信号処理装置１０は、入力された信号について、入力された信号に応じたカウンタ値（例えばセンサの出力値）と、カウントされたカウンタ値が所定の閾値を超えた場合に出力される差分信号とを出力する。図２に示す一例では、信号処理装置１０が、光量検出装置２０により出力されたパルス信号をカウントする場合の一例について説明する。
信号処理装置１０は、パルス信号取得部１１と、第１カウンタ部１１１と、第２カウンタ部１１２と、トリガ信号発生回路１３と、スイッチ１４とを備える。以下の説明において、第１カウンタ部１１１と、第２カウンタ部１１２とを含んだ構成をカウンタ部と記載する場合がある。第１カウンタ部１１１と、第２カウンタ部１１２とは、それぞれ異なるカウンタである。
信号処理装置１０は、パルス信号取得部１１と、第１カウンタ部１１１と、第２カウンタ部１１２と、トリガ信号発生回路１３と、スイッチ１４とを備える。以下の説明において、第１カウンタ部１１１と、第２カウンタ部１１２とを含んだ構成をカウンタ部と記載する場合がある。第１カウンタ部１１１と、第２カウンタ部１１２とは、それぞれ異なるカウンタである。
【0044】
パルス信号取得部１１は、経時的に変化する値を取得する。図２に示す一例において、パルス信号取得部１１には、光量検出装置２０から出力された信号であって、経時的に値が１又は０のデジタル値に変化するパルス信号（出力電圧ＶＯＵＴ）が入力される。以下の説明において、パルス信号取得部１１を単に取得部と記載する場合がある。
【0045】
なお、信号処理装置１０が光量検出装置２０の構成の一部又は全部を含む場合、フォトダイオード２１とインバータチェーン２２の接続部を取得部としてもよい。この場合、取得部は、値が連続的に変化するアナログ値を取得する。更にこの場合、信号処理装置１０には、インバータチェーン２２も含まれる。インバータチェーン２２は、アナログ値をデジタル値に変換するＡ／Ｄ変換部としての役割を有する。Ａ／Ｄ変換部としてのインバータチェーン２２は、フォトダイオード２１の出力に応じたアナログ値と、所定の閾値（例えばインバータ素子の入力閾値電圧）との比較結果に応じて、アナログ値をデジタル値に変換する。
【0046】
また、本実施形態において取得部は、経時的に変化する様々な値を取得可能であるが、以下に示す一例は、固体撮像素子５に用いられる画素回路１の一例であるため、取得部は、フォトダイオード２１に光が入射した結果に応じた電圧値を取得する。
【0047】
カウンタ部（第１カウンタ部１１１及び第２カウンタ部１１２）は、それぞれ所定の期間に入力されたパルス信号の数をカウントする非同期式のカウンタ回路を含む。第１カウンタ部１１１及び第２カウンタ部１１２は、それぞれカウンタ回路を含むことにより、独立してパルス信号取得部１１により取得された値に応じてカウント動作を行う。当該カウンタ回路は、複数ビットのカウンタ素子を含んで構成される。図２に示す一例では、複数ビットのカウンタ素子の一例として、それぞれ８ビットのカウンタ素子を含む場合の一例について説明する。第１カウンタ部１１１及び第２カウンタ部１１２は、それぞれ８ビットのカウンタ素子により０から２５５までカウントすることができる。
【0048】
複数ビットのカウンタ素子に共通する構成について、第１カウンタ部１１１に備えられるカウンタ素子１２１乃至カウンタ素子１２８のうち、カウンタ素子１２１を例に挙げて説明する。第１カウンタ部１１１及び第２カウンタ部１１２は、それぞれ既存の技術を使って任意に設計可能であるが、以下の説明では、カウンタ素子としてＴフリップフロップ（Ｔ―ＦＦ）を用いる場合の一例について説明する。なお、Ｄフリップフロップ等を用いて、Ｔフリップフロップの構成を実現してもよい。
なお、第１カウンタ部１１１及び第２カウンタ部１１２は、アップカウンタ又はダウンカウンタのいずれであってもよいが、以下の説明においては、第１カウンタ部１１１及び第２カウンタ部１１２がいずれもアップカウンタとして構成される場合の一例について説明する。
なお、第１カウンタ部１１１及び第２カウンタ部１１２は、アップカウンタ又はダウンカウンタのいずれであってもよいが、以下の説明においては、第１カウンタ部１１１及び第２カウンタ部１１２がいずれもアップカウンタとして構成される場合の一例について説明する。
【0049】
カウンタ素子１２１は、入力端子１２１１と、第１出力端子１２１２と、第２出力端子１２１３とを備える。入力端子１２１１には、パルス信号が入力される。最下位ビットであるカウンタ素子１２１には、光量検出装置２０の出力信号が入力される。カウンタ素子１２２からカウンタ素子１２８の入力端子には、それぞれ前段のカウンタ素子の出力信号が入力される。第１出力端子１２１２及び第２出力端子１２１３は、Ｔフリップフロップの非反転出力端子又は反転出力端子のいずれかの信号が出力される。第１出力端子１２１２は、次段のカウンタ素子に出力するための端子であり、第２出力端子１２１３は、カウンタ値を出力するための端子である。第１出力端子１２１２及び第２出力端子１２１３は共通の端子であってもよい。
【0050】
８ビットのカウンタ素子１２１乃至カウンタ素子１２８のうち、最下位ビットであるカウンタ素子１２１には、イネーブル端子１２１４が備えられる。イネーブル端子１２１４は、入力信号が有効であるか否かを決定する。具体的には、イネーブル端子１２１４は、入力される電圧レベルに応じて、入力端子１２１１の入力を有効又は無効に制御することができる。最下位ビットのみ無効にすることにより、最下位ビットがカウント動作を行わなくなるため、第１カウンタ部１１１に備えられる他のカウンタ素子についても、カウント動作を無効化することができる。
【0051】
第１カウンタ部１１１について説明したが、第２カウンタ部１１２についても同様の構成を備えていていることが好適である。
また、各カウンタ素子には、不図示のカウンタリセット信号ＣＲＳＴが入力されてもよい。カウンタリセット信号ＣＲＳＴがハイレベルの時には、各カウンタ素子のカウンタの値が初期値に設定され、ローレベルの時には、各カウンタ素子は通常のカウンタ動作を行う。
また、各カウンタ素子には、不図示のカウンタリセット信号ＣＲＳＴが入力されてもよい。カウンタリセット信号ＣＲＳＴがハイレベルの時には、各カウンタ素子のカウンタの値が初期値に設定され、ローレベルの時には、各カウンタ素子は通常のカウンタ動作を行う。
【0052】
トリガ信号発生回路１３は、第１カウンタ部１１１に保持された値及び第２カウンタ部１１２に保持された値に基づき、トリガ信号Ｔ及び符号信号Ｓを生成する。
トリガ信号Ｔとは、所定期間に入力されるパルスの数に差分があったか否かに応じて出力される信号である。すなわち、トリガ信号Ｔとは差分信号である。トリガ信号Ｔを生成するためには、まず第１期間Ｔ１と第２期間Ｔ２とを有する期間において、第１期間Ｔ１に入力されたパルス数と、第２期間Ｔ２に入力されたパルス数との差分を求める。求められた差分の絶対値を８ビットで生成し、生成された値が所定の閾値以上であれば１を、そうでなければ０を、トリガ信号Ｔとする。ここで、トリガ信号Ｔとして差分を検出するための閾値は、ビット数として設定されてもよい。たとえば４ビットを閾値とする場合、求められた差分の絶対値を最上位ビットから順にみて、何ビット目で初めて１が現れるかを検出し、それが４ビット目以上であればトリガ信号Ｔを１とする。具体的には、閾値である４ビット目より上位のビットのいずれか１であればトリガ信号Ｔを１とする。すなわちトリガ信号Ｔとは、カウンタ部１２に含まれる複数のカウンタ素子のうち、閾値とするビットより上位のビットのいずれかのカウンタ素子の出力値が０又は１のいずれであるかに応じて出力されてもよい。
トリガ信号Ｔとは、所定期間に入力されるパルスの数に差分があったか否かに応じて出力される信号である。すなわち、トリガ信号Ｔとは差分信号である。トリガ信号Ｔを生成するためには、まず第１期間Ｔ１と第２期間Ｔ２とを有する期間において、第１期間Ｔ１に入力されたパルス数と、第２期間Ｔ２に入力されたパルス数との差分を求める。求められた差分の絶対値を８ビットで生成し、生成された値が所定の閾値以上であれば１を、そうでなければ０を、トリガ信号Ｔとする。ここで、トリガ信号Ｔとして差分を検出するための閾値は、ビット数として設定されてもよい。たとえば４ビットを閾値とする場合、求められた差分の絶対値を最上位ビットから順にみて、何ビット目で初めて１が現れるかを検出し、それが４ビット目以上であればトリガ信号Ｔを１とする。具体的には、閾値である４ビット目より上位のビットのいずれか１であればトリガ信号Ｔを１とする。すなわちトリガ信号Ｔとは、カウンタ部１２に含まれる複数のカウンタ素子のうち、閾値とするビットより上位のビットのいずれかのカウンタ素子の出力値が０又は１のいずれであるかに応じて出力されてもよい。
【0053】
トリガ信号Ｔを出力するか否かを決定するための閾値は、どの程度の光量差でトリガを発生するかの要求によって設定することができる。例えば閾値とするビットを最下位ビットに近づけることにより、より少ない光量で（換言すれば、より敏感に）トリガ信号Ｔを出力する。また、閾値とするビットを最上位ビットに近づけることにより、より多い光量で（換言すれば、より鈍感に）トリガ信号Ｔを出力する。
【0054】
符号信号Ｓは、トリガ信号発生回路１３により生成される信号である。また、符号信号Ｓは、トリガ信号発生回路１３により求められた差分の符号を示す。すなわち、符号信号Ｓは、第１カウンタ部１１１に保持された値又は第２カウンタ部１１２に保持された値のいずれが大きいかを示す。具体的には、符号信号Ｓは、第２カウンタ部１１２に保持された値が第１カウンタ部１１１に保持された値より大きい場合１、小さい場合０であってもよい。すなわち、第１期間Ｔ１に入力されたパルス数が、第２期間Ｔ２に入力されたパルス数以上であれば符号信号Ｓを１とし、第１期間Ｔ１に入力されたパルス数が、第２期間Ｔ２に入力されたパルス数より小さければ符号信号Ｓを０としてもよい。
【0055】
なお、カウンタ部（第１カウンタ部１１１及び第２カウンタ部１１２）によりカウントされた値に応じて出力される信号を第１信号Ｓ１と記載する場合がある。第１信号Ｓ１は、出力されるタイミングに応じて、第１カウンタ部１１１又は第２カウンタ部１１２のいずれか一方から出力される。例えば第１信号Ｓ１は、第１期間Ｔ１終了時には第１カウンタ部１１１から出力され、第２期間Ｔ２終了時には第２カウンタ部１１２から出力されてもよい。
【0056】
また、トリガ信号発生回路１３により出力される出力信号を第２信号Ｓ２と記載する場合がある。第２信号Ｓ２には、トリガ信号Ｔと符号信号Ｓとが含まれる。トリガ信号Ｔとは、上述したように第１期間Ｔ１と第２期間Ｔ２とを交互に繰り返す周期において、第１期間Ｔ１においてカウントされた値と第１期間Ｔ１より前の期間である第２期間Ｔ２においてカウントされた値との差分に応じた値を出力する。
なお、第１信号Ｓ１と第２信号Ｓ２とを出力する構成を、出力部と記載する場合がある。すなわち出力部は、第１期間Ｔ１においてカウントされた値（第１カウンタ部１１１に保持された値）と第１期間Ｔ１より前の期間である第２期間Ｔ２においてカウントされた値（第２カウンタ部１１２に保持された値）との差分に応じた第２信号とを出力する。
なお、第１信号Ｓ１と第２信号Ｓ２とを出力する構成を、出力部と記載する場合がある。すなわち出力部は、第１期間Ｔ１においてカウントされた値（第１カウンタ部１１１に保持された値）と第１期間Ｔ１より前の期間である第２期間Ｔ２においてカウントされた値（第２カウンタ部１１２に保持された値）との差分に応じた第２信号とを出力する。
【0057】
スイッチ１４は、パルス信号取得部１１により取得されたパルス信号が入力される先を第１カウンタ部１１１又は第２カウンタ部１１２のいずれ一方に排他的に切り替える。具体的には、スイッチ１４は、端子１４１、端子１４２及び端子１４３を有し、電気的な接続状態を端子１４３－端子１４１間又は端子１４３－端子１４２間のいずれか一方に切り替える。スイッチ１４は、第１期間Ｔ１において端子１４３－端子１４１間、第２期間Ｔ２において端子１４３－端子１４２間に接続状態を切り替える。換言すれば、端子１４３－端子１４１間が導通している期間を第１期間Ｔ１、端子１４３－端子１４２間が導通している期間を第１期間Ｔ２という。スイッチ１４は、具体的にはトランジスタ等の半導体スイッチであってもよい。
【0058】
図３は、第１の実施形態に係るフォトダイオードに光が入射した際のパルス発生タイミングについて説明するタイミングチャートである。同図を参照しながら、フォトダイオード２１に光が入射した際にインバータチェーン２２が出力する出力電圧ＶＯＵＴのパルス発生タイミングについて説明する。同図には、横軸を時間として、フォトダイオード２１の電圧ＶＰＤの変化を波形Ｗ１１として示す。また、インバータチェーン２２の出力電圧ＶＯＵＴを波形Ｗ１２として示す。同図には、フォトダイオード２１に一定の光量の光が入射し続ける場合の一例について説明する。
なお、リセットトランジスタ２３により供給される電圧をリセット電圧ＶＲＳＴ、インバータチェーン２２の入力閾値電圧を閾値電圧ＶＴＨと記載する。また、インバータチェーン２２が出力する出力電圧ＶＯＵＴは、Ｌ又はＨの２値で記載する。
なお、リセットトランジスタ２３により供給される電圧をリセット電圧ＶＲＳＴ、インバータチェーン２２の入力閾値電圧を閾値電圧ＶＴＨと記載する。また、インバータチェーン２２が出力する出力電圧ＶＯＵＴは、Ｌ又はＨの２値で記載する。
【0059】
時刻ｔ０以前において、フォトダイオード２１に光は入射していないので、フォトダイオード２１の電圧ＶＰＤはリセット電圧ＶＲＳＴである。また、この状態においてインバータチェーン２２にはＨが入力されるため、出力電圧ＶＯＵＴはＬである。
時刻ｔ０から時刻ｔ１１にかけて、フォトダイオード２１に光が入射する。図３に示す一例では、フォトダイオード２１に一定の光量の光が入射し続けるため、フォトダイオード２１の電圧ＶＰＤは直線的に低下する。
時刻ｔ１１においてフォトダイオード２１の電圧ＶＰＤが閾値電圧ＶＴＨまで低下すると、インバータチェーン２２の出力電圧ＶＯＵＴが反転し、Ｈを出力する。インバータチェーン２２の出力電圧ＶＯＵＴがＨになると、リセットトランジスタ２３がオンし、フォトダイオード２１の電圧ＶＰＤはリセット電圧ＶＲＳＴとなる。電圧ＶＰＤがリセット電圧ＶＲＳＴとなると、インバータチェーン２２にはＨが入力され、出力電圧ＶＯＵＴは再度反転してＬとなる。
時刻ｔ０から時刻ｔ１１にかけて、フォトダイオード２１に光が入射する。図３に示す一例では、フォトダイオード２１に一定の光量の光が入射し続けるため、フォトダイオード２１の電圧ＶＰＤは直線的に低下する。
時刻ｔ１１においてフォトダイオード２１の電圧ＶＰＤが閾値電圧ＶＴＨまで低下すると、インバータチェーン２２の出力電圧ＶＯＵＴが反転し、Ｈを出力する。インバータチェーン２２の出力電圧ＶＯＵＴがＨになると、リセットトランジスタ２３がオンし、フォトダイオード２１の電圧ＶＰＤはリセット電圧ＶＲＳＴとなる。電圧ＶＰＤがリセット電圧ＶＲＳＴとなると、インバータチェーン２２にはＨが入力され、出力電圧ＶＯＵＴは再度反転してＬとなる。
【0060】
時刻ｔ１１から時刻ｔ１４においても当該動作を繰り返し、結果としてインバータチェーン２２の出力電圧ＶＯＵＴはパルス信号を出力する。
インバータチェーンが反転を開始してから、電圧ＶＰＤがリセット電圧ＶＲＳＴとなるまでの応答時間（遅延時間）により、インバータチェーン２２の出力電圧ＶＯＵＴのパルス幅が決定される。したがって、インバータチェーン２２に含まれるインバータ素子それぞれの遅延時間の合計がパルス幅となる。
インバータチェーンが反転を開始してから、電圧ＶＰＤがリセット電圧ＶＲＳＴとなるまでの応答時間（遅延時間）により、インバータチェーン２２の出力電圧ＶＯＵＴのパルス幅が決定される。したがって、インバータチェーン２２に含まれるインバータ素子それぞれの遅延時間の合計がパルス幅となる。
【0061】
図４は、第１の実施形態に係る信号処理装置により出力される第１信号及び第２信号の出力タイミングと、カウンタ値の変化について説明するタイミングチャートである。同図を参照しながら、信号処理装置１０により出力される第１信号Ｓ１及び第２信号Ｓ２の出力タイミングと、第１カウンタ部１１１及び第２カウンタ部１１２により出力されるカウンタ値の変化について説明する。
【0062】
図４には、第１期間Ｔ１及び第２期間Ｔ２を含む周期を２周期分示している。第１期間Ｔ１及び第２期間Ｔ２は同一の長さであってもよい。第１期間Ｔ１及び第２期間Ｔ２は繰り返し交互に行われる。例えば、第１期間Ｔ１は奇数フレームであって、第２期間Ｔ２は偶数フレームであってもよい。
なお、本実施形態では信号処理装置１０が固体撮像素子５に適用される一例について説明しているため、各期間をフレームと記載する場合がある。具体的には、第１期間Ｔ１を第１フレーム、第２期間Ｔ２を第２フレーム、と記載する場合がある。
なお、本実施形態では信号処理装置１０が固体撮像素子５に適用される一例について説明しているため、各期間をフレームと記載する場合がある。具体的には、第１期間Ｔ１を第１フレーム、第２期間Ｔ２を第２フレーム、と記載する場合がある。
【0063】
また、同図には、横軸を時間として、第１カウンタ部１１１及び第２カウンタ部１１２が出力するカウンタ値の変化をそれぞれ示す。同図に示す一例において、第１カウンタ部１１１及び第２カウンタ部１１２はそれぞれ８ビットのカウンタ素子を備えるため、カウンタ値は、０から２５６の間で切り替わる。
【0064】
また、同図には、切替信号ＳＷ、カウンタリセット信号ＣＲＳＴ１、カウンタリセット信号ＣＲＳＴ２、イネーブル信号ＥＮの値を、それぞれＬ又はＨの２値により示す。
切替信号ＳＷは、スイッチ１４の接続状態を切り替える。切替信号ＳＷがＨの場合はパルス信号取得部１１により取得されたパルス信号が第１カウンタ部１１１に供給され、Ｌの場合は第２カウンタ部１１２に供給される。
カウンタリセット信号ＣＲＳＴ１及びカウンタリセット信号ＣＲＳＴ２は、それぞれ第１カウンタ部１１１及び第２カウンタ部１１２をリセットさせる。カウンタリセット信号ＣＲＳＴ１がＨである期間、第１カウンタ部１１１に備えられる各カウンタ素子の出力値は０に固定され、Ｌである期間、カウント動作が行われる。カウンタリセット信号ＣＲＳＴ２がＨである期間、第２カウンタ部１１２に備えられる各カウンタ素子の出力値は０に固定され、Ｌである期間、カウント動作が行われる。
イネーブル信号ＥＮは、第１カウンタ部１１１及び第２カウンタ部１１２に共通に入力される信号である。イネーブル信号ＥＮは、第１カウンタ部１１１及び第２カウンタ部１１２のイネーブル状態を制御する。イネーブル信号ＥＮがＬである期間、パルス信号が入力されても第１カウンタ部１１１及び第２カウンタ部１１２はいずれもカウント動作を行わず、Ｈである期間、パルス信号に応じたカウント動作を行う。
切替信号ＳＷは、スイッチ１４の接続状態を切り替える。切替信号ＳＷがＨの場合はパルス信号取得部１１により取得されたパルス信号が第１カウンタ部１１１に供給され、Ｌの場合は第２カウンタ部１１２に供給される。
カウンタリセット信号ＣＲＳＴ１及びカウンタリセット信号ＣＲＳＴ２は、それぞれ第１カウンタ部１１１及び第２カウンタ部１１２をリセットさせる。カウンタリセット信号ＣＲＳＴ１がＨである期間、第１カウンタ部１１１に備えられる各カウンタ素子の出力値は０に固定され、Ｌである期間、カウント動作が行われる。カウンタリセット信号ＣＲＳＴ２がＨである期間、第２カウンタ部１１２に備えられる各カウンタ素子の出力値は０に固定され、Ｌである期間、カウント動作が行われる。
イネーブル信号ＥＮは、第１カウンタ部１１１及び第２カウンタ部１１２に共通に入力される信号である。イネーブル信号ＥＮは、第１カウンタ部１１１及び第２カウンタ部１１２のイネーブル状態を制御する。イネーブル信号ＥＮがＬである期間、パルス信号が入力されても第１カウンタ部１１１及び第２カウンタ部１１２はいずれもカウント動作を行わず、Ｈである期間、パルス信号に応じたカウント動作を行う。
【0065】
また、同図には、第１カウンタ部１１１から第１信号Ｓ１を読み込むタイミングについて映像信号読み込みタイミングＶ＿ＲＥＡＤ１として、第２カウンタ部１１２から第１信号Ｓ１を読み込むタイミングについて映像信号読み込みタイミングＶ＿ＲＥＡＤ２として記載する。また、第２信号の読み込みタイミングを差分信号読み込みタイミングＴ＿ＲＥＡＤとして記載する。映像信号読み込みタイミングＶ＿ＲＥＡＤ１、映像信号読み込みタイミングＶ＿ＲＥＡＤ２及び差分信号読み込みタイミングＴ＿ＲＥＡＤは、いずれもＨを読み込みタイミングとしてＬ又はＨの２値により示す。
【0066】
時刻ｔ２１において、イネーブル信号ＥＮがオフし、カウンタ値がリセットされた（すなわち、カウンタリセット信号ＣＲＳＴ１として１パルス入力される）後、イネーブル信号ＥＮがオンする（すなわち、ＬからＨに切り替わる。）。切替信号ＳＷにＨが入力された後、第１カウンタ部１１１のカウンタ値は、フォトダイオード２１に入射する光の量に応じたカウント動作を行う。
時刻ｔ２１から時刻ｔ２２は第１カウンタ部１１１によりカウント動作が行われる第１期間Ｔ１である。当該期間において、パルス信号は第１カウンタ部１１１に入力され第２カウンタ部１１２に入力されないため、第２カウンタ部１１２はカウント動作を行わない。
時刻ｔ２１から時刻ｔ２２は第１カウンタ部１１１によりカウント動作が行われる第１期間Ｔ１である。当該期間において、パルス信号は第１カウンタ部１１１に入力され第２カウンタ部１１２に入力されないため、第２カウンタ部１１２はカウント動作を行わない。
【0067】
時刻ｔ２１から時刻ｔ２２にかけて、第１カウンタ部１１１は０から順にカウント動作を行う。時刻ｔ２２になると、第１カウンタ部１１１から第１信号Ｓ１が読み出される。すなわち、映像信号読み込みタイミングＶ＿ＲＥＡＤ１がＨとなり、時刻ｔ２２におけるカウンタ値が読み出される。図４に示す一例では、時刻ｔ２２におけるカウンタ値は、２００程度である。
【0068】
カウンタ値の読出し期間において、誤動作を防ぐため、カウント動作を無効に設定してもよい。すなわち、イネーブル信号ＥＮをＬにしてもよい。第１カウンタ部１１１からの出力には一定の時間を要するため、その時間がパルス出力の周期よりも長い場合には、カウンタ値が変化してしまう場合がある。したがって、イネーブル信号ＥＮをＬにすることによりカウンタ値が変化してしまう不具合を抑止することができる。なお、以下に説明する第２カウンタ部１１２からの出力時についても同様である。
【0069】
ここで、画素回路１が固体撮像素子５に備えられる場合、固体撮像素子５に備えられた複数の画素回路１からカウンタ値を読み出す必要がある。例えば、各画素回路１に備えられるカウンタ部１２からの出力は、ＸＹアドレス方式等が用いられてもよい。ＸＹアドレス方式等を用いる場合、画素を順次選択して読み出される。また、全画素についてのカウンタ値（すなわち映像信号）を読み出すのではなく、後述のトリガ信号を用いて差分があった画素についてのカウンタ値（すなわち映像信号）のみを読み出してもよい。
【0070】
時刻ｔ２２から時刻ｔ２３は、第２カウンタ部１１２がカウント動作を行う第２期間Ｔ２である。すなわち時刻ｔ２２から時刻ｔ２３において、切替信号ＳＷはＬに切り替えられ、パルス信号取得部１１により取得されたパルス信号は第２カウンタ部１１２に供給される。また、第２期間T２の開始時において、第２カウンタ部１１２のカウンタ値がリセットされる（すなわち、カウンタリセット信号ＣＲＳＴ２として１パルス入力される）。その後、第２カウンタ部１１２のカウンタ値は、フォトダイオード２１に入射する光の量に応じたカウント動作を行う。
【0071】
ここで、第２期間Ｔ２において、第１カウンタ部１１１はカウント動作を行わず、第１期間Ｔ１においてカウントされた値を維持する。すなわち、時刻ｔ２２においてカウンタリセット信号ＣＲＳＴ１はＬを維持し、カウンタ値を０にリセットしない。
第１期間Ｔ１の長さと、第２期間Ｔ２の長さは同一であるため、フォトダイオード２１に入射する光の量が同一であれば、時刻ｔ２３における第１カウンタ部１１１及び第２カウンタ部１１２にそれぞれ保持された値は理論上同一になる。第１期間Ｔ１にフォトダイオード２１に入射する光の量が、第２期間Ｔ２に比べて多ければ、時刻ｔ２３において第１カウンタ部１１１に保持された値の方が、第２カウンタ部１１２に保持された値より大きくなる。また、第１期間Ｔ１にフォトダイオード２１に入射する光の量が、第２期間Ｔ２に比べて小さければ、時刻ｔ２３において第１カウンタ部１１１に保持された値の方が、第２カウンタ部１１２に保持された値より小さくなる。
第１期間Ｔ１の長さと、第２期間Ｔ２の長さは同一であるため、フォトダイオード２１に入射する光の量が同一であれば、時刻ｔ２３における第１カウンタ部１１１及び第２カウンタ部１１２にそれぞれ保持された値は理論上同一になる。第１期間Ｔ１にフォトダイオード２１に入射する光の量が、第２期間Ｔ２に比べて多ければ、時刻ｔ２３において第１カウンタ部１１１に保持された値の方が、第２カウンタ部１１２に保持された値より大きくなる。また、第１期間Ｔ１にフォトダイオード２１に入射する光の量が、第２期間Ｔ２に比べて小さければ、時刻ｔ２３において第１カウンタ部１１１に保持された値の方が、第２カウンタ部１１２に保持された値より小さくなる。
【0072】
時刻ｔ２３になると、第２カウンタ部１１２から第１信号Ｓ１が読み出される。すなわち、映像信号読み込みタイミングＶ＿ＲＥＡＤ２がＨとなり、時刻ｔ２３におけるカウンタ値が読み出される。図４に示す一例では、時刻ｔ２３におけるカウンタ値は、１５０程度である。
カウンタ値の読出し期間において、誤動作を防ぐため、カウント動作を無効に設定してもよい。すなわち、イネーブル信号ＥＮをＬにしてもよい。
カウンタ値の読出し期間において、誤動作を防ぐため、カウント動作を無効に設定してもよい。すなわち、イネーブル信号ＥＮをＬにしてもよい。
【0073】
また、時刻ｔ２３になると、第２信号Ｓ２が読み出される。すなわち、差分信号読み込みタイミングＴ＿ＲＥＡＤがＨとなり、トリガ信号Ｔと符号信号Ｓとが読み出される。図４に示す一例において、時刻ｔ２３におけるカウンタ値は、第１カウンタ部１１１に保持された値の方が、第２カウンタ部１１２に保持された値より大きいため、符号信号Ｓは１となる。トリガ信号Ｔは、第１カウンタ部１１１に保持された値と第２カウンタ部１１２に保持された値との差分が閾値より大きいか否かにより決定される。
【0074】
なお、画素回路１が固体撮像素子５に用いられる場合、トリガ信号Ｔは画素アレイの周辺又は画素内に備えられるアドレス生成回路に送られてもよい。当該アドレス生成回路は、トリガ信号Ｔが1であった画素のアドレス情報（ＸＹ座標）を、符号Sとともに出力してもよい。
また、符号信号Ｓは必ずしも必須ではなく、トリガ信号Ｔのみを生成し、出力してもよい。
また、符号信号Ｓは必ずしも必須ではなく、トリガ信号Ｔのみを生成し、出力してもよい。
【0075】
時刻ｔ２３から時刻ｔ２４にかけて再度第１周期Ｔ１となる。切替信号ＳＷは再度Ｈに固定される。時刻ｔ２３において、第１カウンタ部１１１のカウンタ値がリセットされる。その後、第１カウンタ部１１１のカウンタ値は、フォトダイオード２１に入射する光の量に応じたカウント動作を行う。時刻ｔ２４になると、第１カウンタ部１１１から第１信号Ｓ１が読み出される。図４に示す一例では、時刻ｔ２４におけるカウンタ値は、１５０程度である。また、時刻ｔ２４においも、第２信号Ｓ２が読み出される。当該期間における第２信号Ｓ２は、第２カウンタ部１１２に保持された値と、第１カウンタ部１１１に保持された値が比較される。すなわち、第２信号Ｓ２とは、当該期間にカウントされた値と、その直前の期間にカウントされた値とが比較される。
【0076】
時刻ｔ２４から時刻ｔ２５にかけて再度第２周期Ｔ２となる。切替信号ＳＷは再度Ｌに固定される。時刻ｔ２４において、第２カウンタ部１１２のカウンタ値がリセットされる。その後、第２カウンタ部１１２のカウンタ値は、フォトダイオード２１に入射する光の量に応じたカウント動作を行う。時刻ｔ２５になると、第２カウンタ部１１２から第１信号Ｓ１が読み出される。図４に示す一例では、時刻ｔ２５におけるカウンタ値は、２００程度である。また、時刻ｔ２５においも、第２信号Ｓ２が読み出される。
【0077】
以上説明したように、第１カウンタ部１１１は第１期間（第１フレーム）Ｔ１においてパルス信号取得部１１により取得された値に応じてカウント動作を行い、第２カウンタ部１１２は第２期間（第２フレーム）Ｔ２においてパルス信号取得部１１により取得された値に応じてカウント動作を行う。すなわち、本実施形態によれば、各フレームにおいて、いずれかのカウンタによりカウント動作が行われる。各フレームにおいてカウントされた値は、フレームの終了時、第１カウンタ部１１１又は第２カウンタ部１１２のいずれかに保持されている。
一方、第２信号Ｓ２はフレームの終了時点において出力される。したがって、本実施形態によれば、全てのフレームにおいて、第２信号Ｓ２に応じて第１信号Ｓ１及び第２信号Ｓ２を取得することができる。
一方、第２信号Ｓ２はフレームの終了時点において出力される。したがって、本実施形態によれば、全てのフレームにおいて、第２信号Ｓ２に応じて第１信号Ｓ１及び第２信号Ｓ２を取得することができる。
【0078】
なお、第１周期Ｔ１の直前の第２周期Ｔ２においてトリガ信号Ｔが1であった画素のアドレス情報を用いて、第１周期Ｔ１において映像情報を読み出すよう構成してもよい。このように構成することにより、変化のあった映像情報だけを読み出すことができ、有効な情報を削減せずにデータを低減することができる。
【0079】
［第１の実施形態のまとめ］
以上説明した実施形態によれば、信号処理装置１０は、パルス信号取得部１１を備えることにより経時的に変化する値を取得し、カウンタ部（第１カウンタ部１１１及び第２カウンタ部１１２）を備えることによりパルス信号取得部１１が取得した値に応じてカウント動作を行い、出力部を備えることによりカウンタ部によりカウントされた値に応じて第１信号Ｓ１を出力し、第１期間Ｔ１においてカウントされた値と第２期間Ｔ２においてカウントされた値との差分に応じた第２信号Ｓ２を出力する。第２信号Ｓ２は、第１期間Ｔ１及び第２期間Ｔ２の終了時（すなわち各フレーム）において出力される。第１信号Ｓ１は、第１カウンタ部１１１及び第２カウンタ部１１２から交互に出力される。第１信号Ｓ１はアナログ値を示すデジタル信号であり、第２信号Ｓ２は、アナログ値に差分があったことを示すトリガ信号Ｔを含む。したがって、したがって、本実施形態によれば、アナログ値（映像信号）と差分信号とを、デジタル値により容易に取得することができる。
以上説明した実施形態によれば、信号処理装置１０は、パルス信号取得部１１を備えることにより経時的に変化する値を取得し、カウンタ部（第１カウンタ部１１１及び第２カウンタ部１１２）を備えることによりパルス信号取得部１１が取得した値に応じてカウント動作を行い、出力部を備えることによりカウンタ部によりカウントされた値に応じて第１信号Ｓ１を出力し、第１期間Ｔ１においてカウントされた値と第２期間Ｔ２においてカウントされた値との差分に応じた第２信号Ｓ２を出力する。第２信号Ｓ２は、第１期間Ｔ１及び第２期間Ｔ２の終了時（すなわち各フレーム）において出力される。第１信号Ｓ１は、第１カウンタ部１１１及び第２カウンタ部１１２から交互に出力される。第１信号Ｓ１はアナログ値を示すデジタル信号であり、第２信号Ｓ２は、アナログ値に差分があったことを示すトリガ信号Ｔを含む。したがって、したがって、本実施形態によれば、アナログ値（映像信号）と差分信号とを、デジタル値により容易に取得することができる。
【0080】
また、上述した実施形態によれば、カウンタ部は、第１カウンタ部１１１を備えることにより第１期間Ｔ１においてパルス信号取得部１１が取得した値に応じてカウント動作を行い、第１カウンタ部１１１とは異なる第２カウンタ部１１２を備えることにより第２期間Ｔ２においてパルス信号取得部１１が取得した値に応じてカウント動作を行う。また、信号処理装置１０は、スイッチ１４を備えることによりパルス信号取得部１１により取得された信号が入力される先を第１カウンタ部１１１又は第２カウンタ部１１２のいずれか一方に排他的に切り替える。したがって、本実施形態によれば、パルス信号取得部１１により取得された信号を捨てることなく、第１カウンタ部１１１又は第２カウンタ部１１２のいずれか一方に保持することができるため、第１期間Ｔ１及び第２期間Ｔ２のいずれにおいても第１信号Ｓ１を出力することができる。したがって、信号処理装置１０によれば、時間的な解像度を下げることなく、アナログ値と差分信号とを取得することができる。
【0081】
また、上述した実施形態によれば、第１カウンタ部１１１及び第２カウンタ部１１２にそれぞれ含まれる複数のカウンタ素子のうち、最下位ビットのカウンタ素子（図２に示した第１カウンタ部１１１の一例では、カウンタ素子１２１）は、入力信号が有効であるか否かを決定するイネーブル端子１２１４を有する。カウンタ素子１２１は、イネーブル端子１２１４に入力される電圧レベルに応じて、入力されるパルス信号が有効であるか否かを決定する。最下位ビットのカウンタ素子の入力信号が有効にされない限り、後段のカウンタ素子には信号が入力されないため、第１カウンタ部１１１又は第２カウンタ部１１２全体としてカウント動作を行うことができない。したがって、本実施形態によれば、最下位ビットのみ無効にすることにより、第１カウンタ部１１１又は第２カウンタ部１１２にそれぞれ備えられる他のカウンタ素子についても、カウント動作を無効化することができる。
【0082】
また、上述した実施形態によれば、パルス信号取得部１１は、経時的に値が１又は０のデジタル値に変化するパルス信号を取得する。したがって、本実施形態によれば、信号処理装置１０は、２値で出力されるセンサの出力値についてパルス数をカウントした値と、差分信号とを出力することができる。
【0083】
また、上述した実施形態によれば、信号処理装置１０に光量検出装置２０が含まれる場合、取得部は、値が連続的に変化するアナログ値を取得する。また、インバータチェーン２２は、アナログ値と所定の閾値との比較結果に応じてデジタル値に変換するＡ／Ｄ変換部として機能する。したがって、本実施形態によれば、インバータチェーン２２を備えることにより、アナログ値を出力するセンサについても、パルス信号に変換し、パルス数をカウントした値と、差分信号とを出力することができる。
【0084】
また、上述した実施形態によれば、取得部は、フォトダイオード２１に光が入射した結果に応じた電圧値を取得する。したがって、本実施形態によれば、映像信号と差分信号とを出力可能な固体撮像素子５を提供することができる。
【0085】
また、上述した実施形態によれば、信号処理装置１０に光量検出装置２０が含まれる場合、信号処理装置１０はリセットトランジスタ２３を備えることにより、Ａ／Ｄ変換部としてのインバータチェーン２２により出力されるデジタル値に応じて、フォトダイオード２１にリセット電圧ＶＲＳＴを印加するか否かを制御することができる。したがって、フォトダイオード２１が飽和した場合であっても、フォトダイオード２１をリセットすることができる。
【0086】
また、上述した実施形態によれば、信号処理装置１０は、インバータチェーン２２と、第１カウンタ部１１１及び第２カウンタ部１１２（いずれも１ビットカウンタの直列接続）、スイッチ１４という、比較的少ないトランジスタ数からなるシンプルな回路構成を採用している。本実施形態によれば、このようなシンプルな回路構成であるにもかかわらず、２種類のデジタル信号を出力することができる。また、信号処理装置１０は、シンプルな回路構成であるため、画素サイズの増大を抑止することができ、高解像度な映像信号と差分情報とを出力する固体撮像素子５を提供することができる。
【0087】
また、本実施形態による信号処理装置１０を備える固体撮像素子５を撮像装置に適用することにより、用途に応じて、常時差分情報だけを出力するモード、差分情報に加えて全画素の映像信号を出力するモード、差分情報と変化のあった映像信号だけを出力するモードを切り替え可能な撮像装置を提供することができる。当該撮像装置は、通常の撮像装置と比較して、差分情報を出力することができるため、動き情報の検出をすることができるようになる。また、全画素の映像信号を出力するモード以外では、有効な情報を削減せずに、データ量を削減することができる。
【0088】
また、本実施形態によれば、フォトダイオード２１により得られた信号を対数圧縮等していないため、光量とパルス数の関係は線形である。したがって、本実施形態によれば、撮影対象を反映した正確な映像情報および差分情報を得ることができる。
【0089】
なお、図１に示したような３次元構造を採用する場合、第１カウンタ部１１１及び第２カウンタ部１１２は、それぞれ第３階層Ｌ３及び第４階層Ｌ４として構成されてもよい。３次元構造を採用することにより、画素ごとに信号処理装置１０を搭載しても画素サイズの増大を避けることでき、高解像度な撮像が実現できる。
【0090】
［第２の実施形態］
次に、第２の実施形態について説明する。まず、第２の実施形態の概要について説明する。第１の実施形態においては、パルス信号取得部１１により取得されたパルス信号をスイッチ１４により第１カウンタ部１１１又は第２カウンタ部１１２のいずれかに入力する場合の一例について説明した。第２の実施形態においては、パルス信号取得部１１により取得されたパルス信号を第１カウンタ部１１１によりカウントし、各フレームの終了時点でカウントした値をメモリ回路に保持し、第１カウンタ部１１１をリセットして再度カウントし始める。したがって、第２の実施形態においては、スイッチ１４を用いることなく第１の実施形態と同等の機能を実現することができる。
次に、第２の実施形態について説明する。まず、第２の実施形態の概要について説明する。第１の実施形態においては、パルス信号取得部１１により取得されたパルス信号をスイッチ１４により第１カウンタ部１１１又は第２カウンタ部１１２のいずれかに入力する場合の一例について説明した。第２の実施形態においては、パルス信号取得部１１により取得されたパルス信号を第１カウンタ部１１１によりカウントし、各フレームの終了時点でカウントした値をメモリ回路に保持し、第１カウンタ部１１１をリセットして再度カウントし始める。したがって、第２の実施形態においては、スイッチ１４を用いることなく第１の実施形態と同等の機能を実現することができる。
【0091】
図５は、第２の実施形態に係る画素回路の回路構成の一例を示す回路図である。同図を参照しながら、第２の実施形態に係る画素回路１Ａの回路構成の一例について説明する。画素回路１Ａの説明において、画素回路１と同様の構成については同様の符号を付して説明を省略する場合がある。画素回路１Ａは、光量検出装置２０を備える点において画素回路１と同様である。画素回路１Ａは、信号処理装置１０に代えて信号処理装置１０Ａを備える点において画素回路１とは異なる。信号処理装置１０Ａは、第１カウンタ部１１１Ａと、データ保持部１１６と、トリガ信号発生回路１３Ａと、カウンタ出力スイッチ１５とを備える。以下の説明において、第１カウンタ部１１１Ａとデータ保持部１１６とを含む構成をカウンタ部とも記載する場合がある。
【0092】
第１カウンタ部１１１Ａは、第１カウンタ部１１１と略同等の機能を有するが、第１カウンタ部１１１Ａは第１信号Ｓ１を出力しない点において第１カウンタ部１１１とは異なる。第１カウンタ部１１１Ａは、パルス信号取得部１１により取得されたパルスをカウントし、保持された値をデータ保持部１１６及びトリガ信号発生回路１３Ａに出力する。
【0093】
データ保持部１１６は、複数ビットのメモリ素子を備える。データ保持部１１６は、例えばメモリ素子１６１乃至メモリ素子１６８の、８ビットのメモリ素子を備えることにより、０から２５５までのデータを保持する。なお、データ保持部１１６に備えられるメモリ素子の数は、第１カウンタ部１１１Ａに備えられるカウンタ素子の数と同等であってもよい。
データ保持部１１６は、既存の技術を使って任意に設計可能であるが、以下の説明では、メモリ素子１６１乃至メモリ素子１６８としてＤフリップフロップ（Ｄ―ＦＦ）を用いる場合の一例について説明する。なお、Ｄフリップフロップに代えて、その他のフリップフロップやＤＲＡＭを用いて同等の回路を構成してもよい。
データ保持部１１６は、既存の技術を使って任意に設計可能であるが、以下の説明では、メモリ素子１６１乃至メモリ素子１６８としてＤフリップフロップ（Ｄ―ＦＦ）を用いる場合の一例について説明する。なお、Ｄフリップフロップに代えて、その他のフリップフロップやＤＲＡＭを用いて同等の回路を構成してもよい。
【0094】
メモリ素子１６１乃至メモリ素子１６８には、それぞれ第１カウンタ部１１１Ａが備えるカウンタ素子であって対応するカウンタ素子１２１乃至カウンタ素子１２８からデータが入力される。例えば、カウンタ素子１２１の出力値はメモリ素子１６１に入力され、カウンタ素子１２２の出力値はメモリ素子１６２に入力され、…、カウンタ素子１２７の出力値はメモリ素子１６７に入力され、カウンタ素子１２８の出力値はメモリ素子１６８に入力される。メモリ素子１６１乃至メモリ素子１６８は、それぞれ入力された値を保持する。データ保持部１１６は、自身に保持されているデータを第１信号Ｓ１として出力する。なお、第１信号Ｓ１は、第１カウンタ部１１１Ａから出力されてもよい。
【0095】
複数ビットのメモリ素子に共通する構成について、メモリ素子１６１乃至メモリ素子１６８のうち、メモリ素子１６１を例に挙げて説明する。メモリ素子１６１は、入力端子１６１１と、第１出力端子１６１２と、第２出力端子１６１３とを備える。入力端子１６１１には、第１カウンタ部１１１Ａに保持されたデータが入力される。第１出力端子１６１２及び第２出力端子１２１３は、Ｄフリップフロップの出力端子からの信号が出力される。第１出力端子１６１２は、第１信号Ｓ１としての値を出力するための端子であり、第２出力端子１６１３は、トリガ信号発生回路１３Ａに値を出力するための端子である。第１出力端子１６１２及び第２出力端子１６１３は共通の端子であってもよい。
【0096】
カウンタ出力スイッチ１５は、第１カウンタ部１１１Ａに保持されたデータをデータ保持部１１６に出力するか否かを決定する。カウンタ出力スイッチ１５は、スイッチ１５１乃至スイッチ１５８を備える。スイッチ１５１乃至スイッチ１５８は、カウンタ素子１２１乃至カウンタ素子１２８及びメモリ素子１６１乃至メモリ素子１６８に対応する。例えば、スイッチ１５１は、カウンタ素子１２１のデータをメモリ素子１６１に出力するか否かを決定する。
なお、スイッチ１５１の機能としては、メモリ素子１６１乃至メモリ素子１６８がＤ－ＦＦである場合、Ｄ－ＦＦが有するクロック端子の機能を用いてもよい。
なお、スイッチ１５１の機能としては、メモリ素子１６１乃至メモリ素子１６８がＤ－ＦＦである場合、Ｄ－ＦＦが有するクロック端子の機能を用いてもよい。
【0097】
データ保持部１１６及びカウンタ出力スイッチ１５は、第１カウンタ部１１１Ａによりカウントされた値を保持するため、データ保持部１１６とカウンタ出力スイッチ１５とを含む構成をメモリ回路と記載する場合がある。当該メモリ回路は、第１期間及び第２期間の終了時点において、第１カウンタ部１１１によりカウントされた値を保持する。
【0098】
トリガ信号発生回路１３Ａは、第１期間Ｔ１及び第２期間Ｔ２の終了時点において、第１カウンタ部１１１Ａに保持されたデータと、データ保持部１１６に保持されたデータとを比較することにより、第２信号Ｓ２（すなわちトリガ信号Ｔ及び符号信号Ｓ）を生成する。出力部は、生成された第２信号Ｓ２を出力する。
【0099】
図６は、第２の実施形態に係る信号処理装置により出力される第１信号及び第２信号の出力タイミングと、カウンタ値の変化について説明するタイミングチャートである。同図を参照しながら、信号処理装置１０Ａにより出力される第１信号Ｓ１及び第２信号Ｓ２の出力タイミングと、第１カウンタ部１１１Ａによりカウントされるカウンタ値及びデータ保持部１１６に保持されるデータの変化について説明する。
【0100】
第２の実施形態においては、第１期間（第１フレーム）Ｔ１及び第２期間（第２フレーム）Ｔ２のいずれにおいても、第１カウンタ部１１１Ａによるパルス数のカウント動作が行われる。カウントされた値は、各フレームの終了時点においてデータ保持部１１６にラッチされる。本実施形態において、第１期間Ｔ１及び第２期間Ｔ２における動作に差異はないが、他の実施形態との比較のため、便宜上、第１期間Ｔ１及び第２期間Ｔ２と名称を分けて記載する。
【0101】
図６には、横軸を時間として、第１カウンタ部１１１によりカウントされるカウンタ値の変化と、データ保持部１１６に保持されるデータの変化を示す。
また、図６に示される、ラッチ信号ＬＴは、カウンタ出力スイッチ１５の制御信号である。ラッチ信号ＬＴがＨレベルのとき、第１カウンタ部１１１のデータがデータ保持部１１６に入力され、Ｌレベルではデータはデータ保持部１１６に入力されない。
カウンタリセット信号ＣＲＳＴは、第１カウンタ部１１１のカウンタ値をリセットするための信号である。カウンタリセット信号ＣＲＳＴがＨである期間、第１カウンタ部１１１に備えられる各カウンタ素子の出力値は０に固定され、Ｌである期間、カウント動作が行われる。
イネーブル信号ＥＮは、第１カウンタ部１１１のカウント動作を有効にするための制御信号である。イネーブル信号ＥＮがＬである期間、パルス信号が入力されても第１カウンタ部１１１はカウント動作を行わず、Ｈである期間、パルス信号に応じたカウント動作を行う。
映像信号読み込みタイミングＶ＿ＲＥＡＤは第１信号Ｓ１が出力されるタイミングを示し、差分信号読み込みタイミングＴ＿ＲＥＡＤはトリガ信号発生回路１３Ａにより第２信号Ｓ２が出力されるタイミングを示す。
また、図６に示される、ラッチ信号ＬＴは、カウンタ出力スイッチ１５の制御信号である。ラッチ信号ＬＴがＨレベルのとき、第１カウンタ部１１１のデータがデータ保持部１１６に入力され、Ｌレベルではデータはデータ保持部１１６に入力されない。
カウンタリセット信号ＣＲＳＴは、第１カウンタ部１１１のカウンタ値をリセットするための信号である。カウンタリセット信号ＣＲＳＴがＨである期間、第１カウンタ部１１１に備えられる各カウンタ素子の出力値は０に固定され、Ｌである期間、カウント動作が行われる。
イネーブル信号ＥＮは、第１カウンタ部１１１のカウント動作を有効にするための制御信号である。イネーブル信号ＥＮがＬである期間、パルス信号が入力されても第１カウンタ部１１１はカウント動作を行わず、Ｈである期間、パルス信号に応じたカウント動作を行う。
映像信号読み込みタイミングＶ＿ＲＥＡＤは第１信号Ｓ１が出力されるタイミングを示し、差分信号読み込みタイミングＴ＿ＲＥＡＤはトリガ信号発生回路１３Ａにより第２信号Ｓ２が出力されるタイミングを示す。
【0102】
時刻ｔ３１において、ラッチ信号ＬＴがＨレベルになると、時刻ｔ３１の時点における第１カウンタ部１１１の値がデータ保持部１１６にラッチされる。図６に示す一例では、７０程度のカウンタ値がラッチされている。
また、時刻ｔ３１において、イネーブル信号ＥＮがＬに設定され、カウント動作が無効にされ、カウンタリセット信号ＣＲＳＴがＨに設定される。その結果、第１カウンタ部１１１のカウンタ値が０にリセットされる。その後、イネーブル信号ＥＮが解除され（すなわち、ＬからＨに切り替わり）、時刻ｔ３１から時刻ｔ３２にかけて、第１カウンタ部１１１は、フォトダイオード２１に入射する光量に応じてカウント動作を行う。
また、時刻ｔ３１において、イネーブル信号ＥＮがＬに設定され、カウント動作が無効にされ、カウンタリセット信号ＣＲＳＴがＨに設定される。その結果、第１カウンタ部１１１のカウンタ値が０にリセットされる。その後、イネーブル信号ＥＮが解除され（すなわち、ＬからＨに切り替わり）、時刻ｔ３１から時刻ｔ３２にかけて、第１カウンタ部１１１は、フォトダイオード２１に入射する光量に応じてカウント動作を行う。
【0103】
時刻ｔ３２において、映像信号読み込みタイミングＶ＿ＲＥＡＤがＨとなり、第１信号Ｓ１が読み出される。また、時刻ｔ３２において、差分信号読み込みタイミングＴ＿ＲＥＡＤがＨとなり、第２信号Ｓ２が読み出される。図６に示す一例では、時刻ｔ３２における第１カウンタ部１１１のカウンタ値は２００程度であり、データ保持部１１６に保持された値より大きい。
【0104】
その後、時刻ｔ３１において説明した動作を再び行うことにより、第１カウンタ部１１１のカウンタ値がデータ保持部１１６にラッチされ、第１カウンタ部１１１はリセットされる。
【0105】
時刻ｔ３３以降も同様の動作を繰り返すことにより、信号処理装置１０Ａは、毎フレーム第１信号Ｓ１及び第２信号Ｓ２を出力する。なお、第１信号Ｓ１を出力するか否かは、第２信号Ｓ２に含まれるトリガ信号に応じて決められてもよい。すなわち、差分が大きいフレームについてのみ映像信号を出力してもよい。
【0106】
［第２の実施形態のまとめ］
以上説明した実施形態によれば、信号処理装置１０Ａは、メモリ回路を備えることにより、第１期間Ｔ１及び第２期間Ｔ２の終了時点において第１カウンタ部１１１によりカウントされた値をラッチし、出力部は、ラッチ回路に記憶された値と、第１カウンタ部１１１に記憶された値とを比較することにより、トリガ信号Ｔを含む第２信号Ｓ２を出力する。このような構成を採用することにより、信号処理装置１０Ａは、スイッチ１４を要しない。したがって、本実施形態によれば、信号処理装置１０Ａは、スイッチ１４を要すことなく、信号処理装置１０と同様の機能を実現することができる。
以上説明した実施形態によれば、信号処理装置１０Ａは、メモリ回路を備えることにより、第１期間Ｔ１及び第２期間Ｔ２の終了時点において第１カウンタ部１１１によりカウントされた値をラッチし、出力部は、ラッチ回路に記憶された値と、第１カウンタ部１１１に記憶された値とを比較することにより、トリガ信号Ｔを含む第２信号Ｓ２を出力する。このような構成を採用することにより、信号処理装置１０Ａは、スイッチ１４を要しない。したがって、本実施形態によれば、信号処理装置１０Ａは、スイッチ１４を要すことなく、信号処理装置１０と同様の機能を実現することができる。
【0107】
なお、図１に示したような３次元構造を採用する場合、第１カウンタ部１１１Ａ及びデータ保持部１１６は、それぞれ第３階層Ｌ３及び第４階層Ｌ４として構成されてもよい。３次元構造を採用することにより、画素ごとに信号処理装置１０Ａを搭載しても画素サイズの増大を避けることでき、高解像度な撮像が実現できる。
【0108】
［第３の実施形態］
次に、第３の実施形態について説明する。まず、第３の実施形態の概要について説明する。第１の実施形態及び第２の実施形態においては、各フレームにおいて第１信号Ｓ１及び第２信号Ｓ２を出力することが可能であり、第２信号Ｓ２に含まれるトリガ信号Ｔに基づいて、第１信号Ｓ１に含まれる映像信号を取得するか否かを選択することが可能となる。しかしながら、トリガ信号Ｔに基づいて差分がないと判断され、映像信号を取得しないと判断した場合、その映像信号は次のフレームのデータにより上書きされ、破棄されてしまっていた。そこで本実施形態においては、差分があるまでの期間、映像信号を蓄積可能とすることを目的とする。
次に、第３の実施形態について説明する。まず、第３の実施形態の概要について説明する。第１の実施形態及び第２の実施形態においては、各フレームにおいて第１信号Ｓ１及び第２信号Ｓ２を出力することが可能であり、第２信号Ｓ２に含まれるトリガ信号Ｔに基づいて、第１信号Ｓ１に含まれる映像信号を取得するか否かを選択することが可能となる。しかしながら、トリガ信号Ｔに基づいて差分がないと判断され、映像信号を取得しないと判断した場合、その映像信号は次のフレームのデータにより上書きされ、破棄されてしまっていた。そこで本実施形態においては、差分があるまでの期間、映像信号を蓄積可能とすることを目的とする。
【0109】
図７は、第３の実施形態に係る画素回路の回路構成の一例を示す回路図である。同図を参照しながら、第３の実施形態に係る画素回路１Ｂの回路構成の一例について説明する。画素回路１Ｂの説明において、画素回路１と同様の構成については同様の符号を付して説明を省略する場合がある。画素回路１Ｂは、光量検出装置２０を備える点において画素回路１と同様である。画素回路１Ｂは、信号処理装置１０に代えて信号処理装置１０Ｂを備える点において画素回路１とは異なる。信号処理装置１０Ｂは、第１カウンタ部１１１及び第２カウンタ部１１２に代えて第１カウンタ部１１１Ｂ及び第２カウンタ部１１２Ｂを備え、更に第３カウンタ部１１３を備える点において画素回路１とは異なる。以下の説明において、第１カウンタ部１１１Ｂ、第２カウンタ部１１２Ｂ及び第３カウンタ部１１３を含む構成をカウンタ部とも記載する場合がある。
【0110】
第１カウンタ部１１１Ｂ及び第２カウンタ部１１２Ｂは、それぞれ第１カウンタ部１１１及び第２カウンタ部１１２と略同等の機能を有するが、第１カウンタ部１１１Ｂは第１信号Ｓ１を出力しない点において第１カウンタ部１１１とは異なる。信号処理装置１０Ｂにおいて、第１カウンタ部１１１Ｂ及び第２カウンタ部１１２Ｂは、第２信号Ｓ２を生成するために用いられる。具体的には、第１期間Ｔ１において第１カウンタ部１１１によりカウント動作を行い、第２期間Ｔ２において第２カウンタ部１１２によりカウント動作を行う。第２期間Ｔ２の終了時点において第１カウンタ部１１１によりカウントされた値と第２カウンタ部１１２によりカウントされた値とを比較し、比較した結果に応じて第２信号Ｓ２が生成される。さらに、第２期間Ｔ２の後に再び第１期間Ｔ１を繰り返すことにより、第１期間Ｔ１の終了時点においても第２カウンタ部１１２によりカウントされた値と第１カウンタ部１１１によりカウントされた値とを比較し、比較した結果に応じて第２信号Ｓ２が生成される。
【0111】
すなわち、第１カウンタ部１１１Ｂ及び第２カウンタ部１１２Ｂは、カウント動作を行う周期と、直前の周期においてカウントされた値を保持する周期とを繰り返す。第１カウンタ部１１１は、第１期間Ｔ１においてカウント動作を行い、第２期間Ｔ２においてカウントされた値を保持する。第２カウンタ部１１２は、第２期間Ｔ２においてカウント動作を行い、第１期間Ｔ１においてカウントされた値を保持する。
第１カウンタ部１１１Ｂによりカウントされるか（すなわち第１期間Ｔ１であるか）、又は第２カウンタ部１１２Ｂによりカウントされるか（すなわち第２期間Ｔ２であるか）は、スイッチ１４により排他的に決定される。
第１カウンタ部１１１Ｂによりカウントされるか（すなわち第１期間Ｔ１であるか）、又は第２カウンタ部１１２Ｂによりカウントされるか（すなわち第２期間Ｔ２であるか）は、スイッチ１４により排他的に決定される。
【0112】
第３カウンタ部１１３は、第１カウンタ部１１１及び第２カウンタ部１１２とは異なるカウンタである。第３カウンタ部１１３は、第１期間Ｔ１及び第２期間Ｔ２のいずれにおいても、パルス信号取得部１１により取得された値に応じてカウント動作を行う。第３カウンタ部１１３のカウンタ値は、差分信号に応じて読み出され、読み出しが行われた後リセットされる。すなわち出力部は、第２信号Ｓ２の出力に応じて、第３カウンタ部１１３に保持された値を第１信号Ｓ１として出力する。
【0113】
すなわち本実施形態において、第２信号Ｓ２を生成するカウンタと、第１信号Ｓ１を生成するカウンタとは異なる。ここで、各カウンタが有するカウンタ素子のビット数について説明する。第１カウンタ部１１１、第２カウンタ部１１２及び第３カウンタ部１１３は、それぞれ複数ビットのカウンタ素子を備えるが、それぞれ異なるビット数のカウンタ素子を備えていてもよい。第１カウンタ部１１１Ｂ及び第２カウンタ部１１２Ｂは、トリガ信号Ｔの判定を行うためのカウンタであるため、１フレームで露光される量に応じたビット数を有していれば十分である。一方、第３カウンタ部１１３は、閾値以上の差分が発生するまで、複数フレーム間において連続してカウント動作を行う。したがって、第３カウンタ部１１３は、第１カウンタ部１１１及び第２カウンタ部１１２にそれぞれ備えられるカウンタ素子より多いビット数のカウンタ素子を備えていることが好適である。具体的には、第１カウンタ部１１１Ｂ及び第２カウンタ部１１２Ｂは、それぞれ８ビットのカウンタ素子を備えていてもよく、第３カウンタ部１１３は１２ビットのカウンタ素子を備えていてもよい。
【0114】
図８は、第３の実施形態に係る信号処理装置により出力される第１信号及び第２信号の出力タイミングと、カウンタ値の変化について説明するタイミングチャートである。同図を参照しながら、信号処理装置１０Ｂにより出力される第１信号Ｓ１及び第２信号Ｓ２の出力タイミングと、第１カウンタ部１１１Ｂ、第２カウンタ部１１２Ｂ及び第３カウンタ部１１３によりカウントされるカウンタ値の変化について説明する。
【0115】
図８には、横軸を時間として、第１カウンタ部１１１Ｂ、第２カウンタ部１１２Ｂ及び第３カウンタ部１１３によりそれぞれカウントされるカウンタ値の変化を示す。
また、図８に示される、トリガ信号Ｔは、トリガ信号発生回路１３により生成される第２信号Ｓ２に含まれる信号であり、差分が所定値以上となった場合にＨとなる。切替信号ＳＷは、スイッチ１４の切替状態を示す。切替信号ＳＷがＨの場合はパルス信号取得部１１により取得されたパルス信号が第１カウンタ部１１１Ｂに供給され、Ｌの場合は第２カウンタ部１１２Ｂに供給される。カウンタリセット信号ＣＲＳＴは、第３カウンタ部１１３のカウンタ値をリセットするための信号である。カウンタリセット信号ＣＲＳＴがＨである期間、第３カウンタ部１１３に備えられる各カウンタ素子の出力値は０に固定され、Ｌである期間、カウント動作が行われる。イネーブル信号ＥＮは、第３カウンタ部１１３のカウント動作を有効にするための制御信号である。イネーブル信号ＥＮがＬである期間、パルス信号が入力されても第３カウンタ部１１３はカウント動作を行わず、Ｈである期間、パルス信号に応じたカウント動作を行う。映像信号読み込みタイミングＶ＿ＲＥＡＤは第１信号Ｓ１が出力されるタイミングを示し、差分信号読み込みタイミングＴ＿ＲＥＡＤはトリガ信号発生回路１３により第２信号Ｓ２が出力されるタイミングを示す。
また、図８に示される、トリガ信号Ｔは、トリガ信号発生回路１３により生成される第２信号Ｓ２に含まれる信号であり、差分が所定値以上となった場合にＨとなる。切替信号ＳＷは、スイッチ１４の切替状態を示す。切替信号ＳＷがＨの場合はパルス信号取得部１１により取得されたパルス信号が第１カウンタ部１１１Ｂに供給され、Ｌの場合は第２カウンタ部１１２Ｂに供給される。カウンタリセット信号ＣＲＳＴは、第３カウンタ部１１３のカウンタ値をリセットするための信号である。カウンタリセット信号ＣＲＳＴがＨである期間、第３カウンタ部１１３に備えられる各カウンタ素子の出力値は０に固定され、Ｌである期間、カウント動作が行われる。イネーブル信号ＥＮは、第３カウンタ部１１３のカウント動作を有効にするための制御信号である。イネーブル信号ＥＮがＬである期間、パルス信号が入力されても第３カウンタ部１１３はカウント動作を行わず、Ｈである期間、パルス信号に応じたカウント動作を行う。映像信号読み込みタイミングＶ＿ＲＥＡＤは第１信号Ｓ１が出力されるタイミングを示し、差分信号読み込みタイミングＴ＿ＲＥＡＤはトリガ信号発生回路１３により第２信号Ｓ２が出力されるタイミングを示す。
【0116】
時刻ｔ４１から時刻ｔ４２において、イネーブル信号ＥＮはＬである。したがって、第３カウンタ部１１３はカウント動作を行わず、第３カウンタ部１１３の値は０に固定される。また、時刻ｔ４１から時刻ｔ４２において、切替信号ＳＷはＨであり、スイッチ１４は、第１カウンタ部１１１Ｂに接続されているため、第１カウンタ部１１１Ｂはカウント動作を行う。
【0117】
時刻ｔ４２において切替信号ＳＷがＬに切り替えられ、イネーブル信号ＥＮが解除される（すなわち、ＬからＨに切り替わる）。したがって、時刻ｔ４２から時刻ｔ４３において、第１カウンタ部１１１Ｂはカウンタ値を維持し、第２カウンタ部１１２Ｂはカウント動作を行う。また、時刻ｔ４２から時刻ｔ４３において、第３カウンタ部１１３もカウント動作を行う。
【0118】
時刻ｔ４３において差分信号読み込みタイミングＴ＿ＲＥＡＤがＨとなり、トリガ信号Ｔと符号信号Ｓとが読み出される。しかしながらトリガ信号ＴはＬを維持しているため、差分は所定の閾値以下である。したがって、第３カウンタ部１１３の値は読み出されず、第３カウンタ部１１３はカウント動作を続ける。すなわち、時刻ｔ４３において切替信号ＳＷがＨに切り替えられ、再び第１カウンタ部１１１Ｂがカウント動作を行う。なお、図示しないが、トリガ信号発生回路１３によりトリガ信号Ｔ及び符号信号Ｓが生成された後、第１カウンタ部１１１Ｂにはリセット信号が入力され、第１カウンタ部１１１Ｂのカウンタ値はリセットされる。
【0119】
時刻ｔ４４において差分信号読み込みタイミングＴ＿ＲＥＡＤがＨとなり、トリガ信号Ｔと符号信号Ｓとが読み出される。同時刻においてトリガ信号ＴはＨを出力しているため、差分は所定の閾値を超えたことを示す。したがって、映像信号読み込みタイミングＶ＿ＲＥＡＤがＨとなり、時刻ｔ４３における第３カウンタ部１１３の値み出される。映像信号が読み出された後、カウンタリセット信号ＣＲＳＴがＨとなり、第３カウンタ部１１３のカウンタ値がリセットされ、再び第３カウンタ部１１３がカウンタ動作を開始する。
また、時刻ｔ４４において切替信号ＳＷがＬに切り替えられ、再び第２カウンタ部１１２Ｂがカウント動作を行う。なお、図示しないが、この際第２カウンタ部１１２Ｂにはリセット信号が入力され、第２カウンタ部１１２Ｂのカウンタ値はリセットされる。
また、時刻ｔ４４において切替信号ＳＷがＬに切り替えられ、再び第２カウンタ部１１２Ｂがカウント動作を行う。なお、図示しないが、この際第２カウンタ部１１２Ｂにはリセット信号が入力され、第２カウンタ部１１２Ｂのカウンタ値はリセットされる。
【0120】
ここで、第１期間Ｔ１及び第２期間Ｔ２の長さについて説明する。時間的な解像度を上げるためには、第１期間Ｔ１及び第２期間Ｔ２は高速で切り替えられることが好適である。具体的には、第１期間Ｔ１及び第２期間Ｔ２は、通常のフレーム周期（例えば、１／３０秒を例示することができる。）よりも短いことが好適である。したがって、第１期間Ｔ１及び第２期間Ｔ２は、３０分の１秒より短いことが好適であり、３０分の１秒を更に４分の１から数１００分の１とした期間であることが好適である。このように第１期間Ｔ１及び第２期間Ｔ２を短くすることにより、高速でトリガ信号Ｔの判定を行うことができ、時間的な解像度を上げることができる。
以上の動作では、差分があったタイミングで差分があった画素のみを読み出すものとしているが、それに加えて、ある周期（たとえば1/30秒）でV_READを全画素に入れて、全画素の読み出しを行うこととしても良い。
以上の動作では、差分があったタイミングで差分があった画素のみを読み出すものとしているが、それに加えて、ある周期（たとえば1/30秒）でV_READを全画素に入れて、全画素の読み出しを行うこととしても良い。
【0121】
［第３の実施形態のまとめ］
以上説明した実施形態によれば、信号処理装置１０Ｂは、第３カウンタ部１１３を備えることにより第１期間Ｔ１及び第２期間Ｔ２においてパルス信号取得部１１により取得された値に応じてカウント動作を行い、第２信号Ｓ２に含まれるトリガ信号Ｔの出力に応じて、第３カウンタ部１１３に保持された値を出力する。第３カウンタ部１１３は、差分が生じることによりトリガ信号Ｔの出力が変化するまでカウント動作を続け、第３カウンタ部１１３のカウンタ値は第１期間Ｔ１及び第２期間Ｔ２毎にリセットされることがない。したがって本実施形態によれば、差分が生じるまでにフォトダイオード２１に入射した光の量を精度よく検出することができる。
以上説明した実施形態によれば、信号処理装置１０Ｂは、第３カウンタ部１１３を備えることにより第１期間Ｔ１及び第２期間Ｔ２においてパルス信号取得部１１により取得された値に応じてカウント動作を行い、第２信号Ｓ２に含まれるトリガ信号Ｔの出力に応じて、第３カウンタ部１１３に保持された値を出力する。第３カウンタ部１１３は、差分が生じることによりトリガ信号Ｔの出力が変化するまでカウント動作を続け、第３カウンタ部１１３のカウンタ値は第１期間Ｔ１及び第２期間Ｔ２毎にリセットされることがない。したがって本実施形態によれば、差分が生じるまでにフォトダイオード２１に入射した光の量を精度よく検出することができる。
【0122】
また、本実施形態によれば、トリガ信号Ｔの出力に応じて映像信号が出力される。したがって信号処理装置１０Ｂを固体撮像素子５に適用した場合、固体撮像素子５は、画素毎に異なるフレームレートを有する動画を作成することができる。
【0123】
また、以上説明した実施形態によれば、第１カウンタ部１１１Ｂ及び第２カウンタ部１１２Ｂは、それぞれ複数ビットのカウンタ素子を備え、第３カウンタ部１１３は、第１カウンタ部１１１Ｂ及び第２カウンタ部１１２Ｂにそれぞれ備えられるカウンタ素子より多いビット数のカウンタ素子を備える。したがって、本実施形態によれば、映像信号を出力するための第３カウンタ部１１３は、オーバーフローすることなく、カウント動作を行うことができる。
【0124】
また、以上説明した実施形態によれば、第１期間Ｔ１及び第２期間Ｔ２は、３０分の１秒より短い。すなわち、信号処理装置１０Ｂは、高速でトリガ信号Ｔの判定を行う。したがって、本実施形態によれば、時間的な解像度を上げることができる。
【0125】
また、第３の実施形態において、第１カウンタ部１１１Ｂ及び第２カウンタ部１１２Ｂを、第２の実施形態における第１カウンタ部１１１Ａ及びデータ保持部１１６と置き換えても、同様の効果を得ることができる。
【0126】
本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。また、本発明はこうした実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【0127】
５ 固体撮像素子
１ 画素回路
１０ 信号処理装置
１１ パルス信号取得部
１２ カウンタ部
１３ トリガ信号発生回路
１４ スイッチ
１５ カウンタ出力スイッチ
２０ 光量検出装置
２１ フォトダイオード
２２ インバータチェーン
２３ リセットトランジスタ
Ｓ１ 第１信号
Ｓ２ 第２信号
１１０ 第１信号処理部
１２０ 第２信号処理部
１１１ 第１カウンタ部
１１２ 第２カウンタ部
１１３ 第３カウンタ部
１１６ データ保持部
Ｔ１ 第１期間
Ｔ２ 第２期間
１ 画素回路
１０ 信号処理装置
１１ パルス信号取得部
１２ カウンタ部
１３ トリガ信号発生回路
１４ スイッチ
１５ カウンタ出力スイッチ
２０ 光量検出装置
２１ フォトダイオード
２２ インバータチェーン
２３ リセットトランジスタ
Ｓ１ 第１信号
Ｓ２ 第２信号
１１０ 第１信号処理部
１２０ 第２信号処理部
１１１ 第１カウンタ部
１１２ 第２カウンタ部
１１３ 第３カウンタ部
１１６ データ保持部
Ｔ１ 第１期間
Ｔ２ 第２期間
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】