特開 2024-4564 信号処理装置及び信号処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024004564

(43)【公開日】2024-01-17

(54)【発明の名称】信号処理装置及び信号処理方法

(51)【国際特許分類】

   H04N 25/772 20230101AFI20240110BHJP

   H04N 25/78 20230101ALI20240110BHJP

【ＦＩ】

H04N5/3745 500

H04N5/378

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022104206

(22)【出願日】2022-06-29

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100171446

【弁理士】

【氏名又は名称】高田 尚幸

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100171930

【弁理士】

【氏名又は名称】木下 郁一郎

(72)【発明者】

【氏名】後藤 正英

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024CY16

5C024GX03

5C024GX15

5C024GX16

5C024GY39

5C024GY41

5C024GY45

5C024HX01

5C024HX23

5C024HX32

(57)【要約】

【課題】映像信号と、映像信号に所定の変化があったことを示す差分信号とを容易に取得する。
【解決手段】信号処理装置は、経時的に変化する値を取得する取得部と、
第１期間と第２期間とを含む周期において、前記第１期間又は前記第２期間のいずれであるかに応じてアップカウント又はダウンカウントするカウンタ部と、
前記カウンタ部がアップカウントした値に応じた第１信号と、前記カウンタ部がアップカウントした値とダウンカウントした値との差分に応じた第２信号とを出力する出力部と
を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

経時的に変化する値を取得する取得部と、
第１期間と第２期間とを含む周期において、前記第１期間又は前記第２期間のいずれであるかに応じてアップカウント又はダウンカウントするカウンタ部と、
前記カウンタ部がアップカウントした値に応じた第１信号と、前記カウンタ部がアップカウントした値とダウンカウントした値との差分に応じた第２信号とを出力する出力部と
を備える信号処理装置。

【請求項2】

前記カウンタ部は、
前記第１期間ではアップカウントし、前記第２期間ではダウンカウントする第１カウンタ部と、
前記第１期間ではダウンカウントし、前記第２期間ではアップカウントする第２カウンタ部とを備え、
前記出力部は、
前記第１期間において前記第１カウンタ部がアップカウントした値に応じた値、又は前記第２期間において前記第２カウンタ部がアップカウントした値に応じた値の少なくとも一方を前記第１信号として出力し、
前記第１期間において前記第１カウンタ部がアップカウントした値と前記第２期間において前記第１カウンタ部がダウンカウントした値との差分に応じた値、又は前記第２期間において前記第２カウンタ部がアップカウントした値と前記第１期間において前記第２カウンタ部がダウンカウントした値との差分に応じた値の少なくとも一方を前記第２信号として出力する
請求項１に記載の信号処理装置。

【請求項3】

前記カウンタ部は、複数ビットのカウンタ素子を含み、
前記第２信号は、前記カウンタ部に含まれるいずれかの前記カウンタ素子の出力値が０又は１のいずれであるかに応じて出力されるトリガ信号を含む
請求項１に記載の信号処理装置。

【請求項4】

前記第２信号は、前記カウンタ部に含まれる前記カウンタ素子のうち、最上位ビットの前記カウンタ素子の出力値である符号信号を含む
請求項３に記載の信号処理装置。

【請求項5】

前記カウンタ部に含まれる前記カウンタ素子のうち、最下位ビットの前記カウンタ素子は、入力信号が有効であるか否かを決定するイネーブル端子を有する
請求項３に記載の信号処理装置。

【請求項6】

前記取得部は、経時的に値が１又は０のデジタル値に変化するパルス信号を取得する
請求項１から請求項５のいずれか一項に記載の信号処理装置。

【請求項7】

前記取得部は、値が連続的に変化するアナログ値を取得し、
前記アナログ値と所定の閾値との比較結果に応じてデジタル値に変換するＡ／Ｄ変換部を更に備える
請求項１から請求項５のいずれか一項に記載の信号処理装置。

【請求項8】

前記取得部は、フォトダイオードに光が入射した結果に応じた電圧値を取得する
請求項７に記載の信号処理装置。

【請求項9】

前記Ａ／Ｄ変換部により出力されるデジタル値に応じて、前記フォトダイオードにリセット電圧を印加するか否かを決定するリセットトランジスタを更に備える
請求項８に記載の信号処理装置。

【請求項10】

経時的に変化する値を取得する取得工程と、
第１期間と第２期間とを含む周期において、前記第１期間又は前記第２期間のいずれであるかに応じてアップカウント又はダウンカウントするカウンタ工程と、
前記カウンタ工程によりアップカウントした値に応じた第１信号と、前記カウンタ工程によりアップカウントした値とダウンカウントした値との差分に応じた第２信号とを出力する出力工程と
を有する信号処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信号処理装置及び信号処理方法に関する。

【背景技術】

【0002】

従来、アナログ値で表現されるセンサ値をモニターし続けることに代えて、アナログ値の変化量が閾値以上となった場合にトリガ信号を取得することにより、通信量を減らし、高速な応答を可能にする技術が知られている。当該技術で用いられるアナログ値としては、フォトダイオードにより検出される光量等を例示することができる。また、このようなアナログ値を扱うセンサとしては、動画像センサ等を例示することができる。

【0003】

近年、動画像センサの技術分野において、複数のフレーム画を連続して高速取得する映像信号に代えて、画素値の変化に応じた信号（以下、差分信号と記載する）を出力することにより、被写体の動きを検知するイベントベースのセンサの開発が進んでいる。このような技術を用いたセンサは、ダイナミックビジョンセンサなどとも呼ばれている。

【0004】

非特許文献1に記載された技術によれば、画素に対数応答の電流電圧変換回路と差分検出回路を搭載してイベントトリガを発生し、値が時間的に変化した画素の情報が出力される。したがって、非特許文献1に記載されたセンサは高速での応答が可能であり、省電力が実現でき、車載などへの応用などが期待できる。しかしながら、このようなセンサは、差分信号だけを出力するものであり、映像信号を出力するには別のカメラを併用する必要がある。したがって、映像信号と差分信号とを用いるシステムを構築しようとした場合、システムが大型化するといった問題があった。また、非特許文献1に記載された技術によれば、フォトダイオードにより得られた信号を、差分検出回路の入力範囲に収めるために対数圧縮しており、情報が圧縮されて線形性が失われてしまうといった問題があった。

【0005】

差分信号と映像信号の両方を取得するための装置として、非特許文献２に記載された技術を例示することができる。非特許文献２に記載された技術によれば、各画素が、差分検出回路によるイベントトリガ発生機能に加えて、通常のＡＰＳ（Ａｃｔｉｖｅ Ｐｉｘｅｌ Ｓｅｎｓｏｒ）方式での読み出し機能も備えており、差分信号と映像信号の両方を出力することができる。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】T. Finateu et al., “A 1280×720 Back-Illuminated Stacked Temporal Contrast Event-Based Vision Sensor with 4.86μm Pixels, 1.066GEPS Readout, Programmable Event-Rate Controller and Compressive Data-Formatting Pipeline”ISSCC, 5.10, pp.112-113（2020）

【非特許文献2】G. Taverni et al., “Front and Back Illuminated Dynamic and ActivePixel Vision Sensors Comparison”IEEE Transactions on Circuits and Systems-II: Express Briefs, Vol. 65, No. 5 pages 677-681, (2018)

【発明の概要】

【発明が解決しようとする課題】

【0007】

ここで、非特許文献２に記載の技術により出力される差分信号はデジタル信号であるのに対し、映像信号はアナログ値により出力される。映像信号をデジタル信号として取り出すためには、画素エリアの外（例えば同一レイヤーの周辺部、あるいは異なるレイヤー）又はセンサチップの外（例えば異なるチップ）でＡ／Ｄ変換することが考えられる。いずれの構成を採用した場合であっても、システムが大型化し、差分信号との同期を取らなければならない。すなわち、非特許文献２に記載の技術を用いて、差分信号と映像信号の両方をデジタル値として用いる場合、システムが大型化し、差分信号との同期を取る制御が複雑化するといった問題があった。また、非特許文献２に記載された技術は、非特許文献1に記載された技術と同様に、フォトダイオードにより得られた信号を、差分検出回路の入力範囲に収めるために対数圧縮しており、情報が圧縮されて線形性が失われてしまうといった問題があった。

【0008】

そこで本発明は、映像信号と、映像信号に所定の変化があったことを示す差分信号とをデジタル値として容易に取得可能な信号処理装置及び信号処理方法を提供しようとするものである。

【課題を解決するための手段】

【0009】

［１］上記の課題を解決するため、本発明の一態様による信号処理装置は、経時的に変化する値を取得する取得部と、第１期間と第２期間とを含む周期において、前記第１期間又は前記第２期間のいずれであるかに応じてアップカウント又はダウンカウントするカウンタ部と、前記カウンタ部がアップカウントした値に応じた第１信号と、前記カウンタ部がアップカウントした値とダウンカウントした値との差分に応じた第２信号とを出力する出力部とを備えるものである。

【0010】

［２］また、本発明の一態様は、上記［１］に記載の信号処理装置において、前記カウンタ部は、前記第１期間ではアップカウントし、前記第２期間ではダウンカウントする第１カウンタ部と、前記第１期間ではダウンカウントし、前記第２期間ではアップカウントする第２カウンタ部とを備え、前記出力部は、前記第１期間において前記第１カウンタ部がアップカウントした値に応じた値、又は前記第２期間において前記第２カウンタ部がアップカウントした値に応じた値の少なくとも一方を前記第１信号として出力し、前記第１期間において前記第１カウンタ部がアップカウントした値と前記第２期間において前記第１カウンタ部がダウンカウントした値との差分に応じた値、又は前記第２期間において前記第２カウンタ部がアップカウントした値と前記第１期間において前記第２カウンタ部がダウンカウントした値との差分に応じた値の少なくとも一方を前記第２信号として出力するものである。

【0011】

［３］また、本発明の一態様は、上記［１］又は［２］に記載の信号処理装置において、前記カウンタ部は、複数ビットのカウンタ素子を含み、前記第２信号は、前記カウンタ部に含まれるいずれかの前記カウンタ素子の出力値が０又は１のいずれであるかに応じて出力されるトリガ信号を含むものである。

【0012】

［４］また、本発明の一態様は、上記［３］に記載の信号処理装置において、前記第２信号は、前記カウンタ部に含まれる前記カウンタ素子のうち、最上位ビットの前記カウンタ素子の出力値である符号信号を含むものである。

【0013】

［５］また、本発明の一態様は、上記［３］又は［４］に記載の信号処理装置において、前記カウンタ部に含まれる前記カウンタ素子のうち、最下位ビットの前記カウンタ素子は、入力信号が有効であるか否かを決定するイネーブル端子を有するものである。

【0014】

［６］また、本発明の一態様は、上記［１］から［５］に記載の信号処理装置において、前記取得部は、経時的に値が１又は０のデジタル値に変化するパルス信号を取得するものである。

【0015】

［７］また、本発明の一態様は、上記［１］から［５］に記載の信号処理装置において、前記取得部は、値が連続的に変化するアナログ値を取得し、前記アナログ値と所定の閾値との比較結果に応じてデジタル値に変換するＡ／Ｄ変換部を更に備えるものである。

【0016】

［８］また、本発明の一態様は、上記［７］に記載の信号処理装置において、前記取得部は、フォトダイオードに光が入射した結果に応じた電圧値を取得するものである。

【0017】

［９］また、本発明の一態様は、上記［８］に記載の信号処理装置において、前記Ａ／Ｄ変換部により出力されるデジタル値に応じて、前記フォトダイオードにリセット電圧を印加するか否かを決定するリセットトランジスタを更に備えるものである。

【0018】

［１０］また、本発明の一態様による信号処理方法は、経時的に変化する値を取得する取得工程と、第１期間と第２期間とを含む周期において、前記第１期間又は前記第２期間のいずれであるかに応じてアップカウント又はダウンカウントするカウンタ工程と、前記カウンタ工程によりアップカウントした値に応じた第１信号と、前記カウンタ工程によりアップカウントした値とダウンカウントした値との差分に応じた第２信号とを出力する出力工程とを有するものである。

【発明の効果】

【0019】

本発明によれば、映像信号と、映像信号に所定の変化があったことを示す差分信号とをデジタル値として容易に取得することができる。

【図面の簡単な説明】

【0020】

【図1】第１の実施形態に係る固体撮像素子を三次元構造化した場合の一例を示す模式図である。

【図2】第１の実施形態に係る画素回路の回路構成の一例を示す回路図である。

【図3】第１の実施形態に係るフォトダイオードに光が入射した際のパルス発生タイミングについて説明するタイミングチャートである。

【図4】第１の実施形態に係る信号処理装置により出力される第１信号及び第２信号の出力タイミングと、カウンタ値の変化について説明するタイミングチャートである。

【図5】第２の実施形態に係る画素回路の回路構成の一例を示す回路図である。

【図6】第２の実施形態に係る信号処理装置により出力される第１信号及び第２信号の出力タイミングと、カウンタ値の変化について説明するタイミングチャートである。

【発明を実施するための形態】

【0021】

［実施形態］
まず、実施形態の前提となる事項を説明する。本実施形態に係る信号処理装置及び信号処理方法は、経時的に値が変化する信号を対象として、処理を行う。経時的に値が変化する信号とは、連続的に値が変化するアナログ値及び離散的に値が変化するデジタル値の両方を含む。値が離散的に変化するデジタル値には、値が複数の離散値（例えば、８ビット＝２５６）で表現されるデジタル値の他、０又は１の２値で表現されるパルス信号も含まれる。

【0022】

以下の説明において、本実施形態に係る信号処理装置及び信号処理方法は、一例として、センサから出力された信号を対象とする場合について説明する。センサとは、例えば、撮像装置に用いられるイメージセンサや、ロボット制御に用いられる触覚センサ等であってもよい。その他の例としては、圧力センサ、加速度センサ、光センサ、湿度センサ、温度センサ、ホールセンサ等であってもよい。また、本実施形態に係る信号処理装置及び信号処理方法は、時間的変動をとらえるセンサや計測装置にも適用でき、広くロジック回路、駆動回路、通信回路、記録素子、ディスプレイ、アクチュエータ等にも応用することができる。
以下の一例においては、本実施形態に係る信号処理装置及び信号処理方法が、フォトダイオードの光電効果を用いて出力される信号を処理する固体撮像素子に適用される場合の一例について説明する。当該固体撮像素子は、撮像装置等に用いられる。

【0023】

［第１の実施形態］
以下、本発明の第１の実施形態について、図面を参照しながら説明する。

【0024】

図１は、第１の実施形態に係る固体撮像素子を三次元構造化した場合の一例を示す模式図である。固体撮像素子５は、複数の階層構造を有する。同図に示す一例では、第１階層Ｌ１、第２階層Ｌ２及び第３階層Ｌ３の３層構造を有する場合の一例について図示している。各階層には、半導体構造物により回路素子が形成される。各階層間は、層間絶縁膜により絶縁される。層間絶縁膜にヴィアホール（コンタクトホール）を形成することにより、各階層に形成された回路素子が接続される。

【0025】

第１階層Ｌ１には、複数のフォトダイオード（画素）が形成される。フォトダイオードは、入射した光を電気信号に変換する。具体的には、フォトダイオードは、光電効果により、入射した光の強さに応じた電気信号を出力する。ここで、フォトダイオードにより出力された電気信号を取り出すためには、Ａ／Ｄ変換回路等の所定の電気回路を要する。図１に示すような階層構造を有せず、単層構造を採用する場合、当該所定の電気回路をフォトダイオードと同一面に形成することになるため、複数のフォトダイオード間の配置間隔が大きくなってしまう。しかしながら、図１に示すような階層構造を採用することにより、複数のフォトダイオード間に所定の電気回路を設けることを要せず、複数のフォトダイオード間の配置間隔を小さくすることができる。したがって、階層構造を採用することにより、より高密度でフォトダイオードを配置することができる。すなわち高解像度の固体撮像素子５を提供することができる。

【0026】

第２階層Ｌ２には、フォトダイオードにより出力された電気信号をパルス信号に変換するための回路が形成される。そのため、第２階層Ｌ２に形成される回路を、Ａ／Ｄ変換回路と記載することもできる。第２階層Ｌ２に形成される回路は、例えば複数のインバータを直列接続したインバータ―チェーン回路であってもよい。インバータチェーン回路は、フォトダイオードに接続されるインバータ素子の入力閾値電圧に応じてＨレベル又はＬレベルの電圧を出力する。
なお、第２階層Ｌ２には、インバータチェーン回路が形成される場合の一例に代えて、コンパレータ回路が形成されていてもよい。コンパレータ回路は、フォトダイオードにより出力された電気信号と、所定の基準電圧とを比較し、比較した結果に応じてＨレベル又はＬレベルの電圧を出力する。
なお、第２階層Ｌ２には、所定の遅延回路が含まれていてもよい。

【0027】

第３階層Ｌ３には、カウンタ回路が形成される。当該カウンタ回路は、第２階層Ｌ２に形成された回路により出力されるパルス信号の数をカウントする。当該カウンタ回路は、例えば８ビットのカウンタ素子を有し、０から２５５までの値をカウントする。固体撮像素子５が映像信号を出力する場合、当該カウンタ回路は、所定期間内に入力されたパルス数をカウントし、カウントした値を不図示の制御回路に出力する。固体撮像素子５が作動信号を出力する場合、当該カウンタ回路は、入力されたパルス信号の数が所定の閾値を超えたか否かを検出し、閾値を超えたと検出された場合にトリガ信号を不図示の制御回路に出力する。

【0028】

なお、固体撮像素子５が複数のカウンタ回路を有する場合、カウンタ回路が形成される階層は複数あってもよい。例えば、１つの画素につき２つのカウンタを有する場合、第３階層Ｌ３に加えて、第４階層Ｌ４にもカウンタ回路を形成してもよい。すなわち、固体撮像素子５は、同図に示した３層構造を有する場合の一例に限定されず、４層以上の階層構造を有していてもよいし、階層構造を有していなくてもよい（すなわち、単相基板上に各素子が形成されていてもよい）。

【0029】

以下の説明において、１つの画素及び当該画素に対応する周辺回路（例えば、Ａ／Ｄ変換回路やカウンタ回路）を含む構成を、画素回路１と記載する。図１に示す一例では、画素回路１は、第１階層Ｌ１から第３階層Ｌ３の一部を含む３層構造を有している。画素回路１は、同図に示すように複数の階層構造を有して構成されてもよいし、単層基板上に形成されてもよい。

【0030】

図２は、第１の実施形態に係る画素回路の回路構成の一例を示す回路図である。同図を参照しながら、画素回路１の回路構成の一例について説明する。画素回路１は、信号処理装置１０と光量検出装置２０とを備える。信号処理装置１０は第３階層Ｌ３に、光量検出装置２０は第１階層Ｌ１及び第２階層Ｌ２に形成されてもよい。
なお、以下の説明において、画素回路１の機能を便宜上、信号処理装置１０と光量検出装置２０とに分けて説明するが、光量検出装置２０の構成の一部又は全部は、信号処理装置１０に含まれていてもよい。

【0031】

まず、光量検出装置２０の構成について説明する。光量検出装置２０は、フォトダイオード２１と、インバータチェーン２２と、リセットトランジスタ２３とを備える。フォトダイオード２１は第１階層Ｌ１に、インバータチェーン２２及びリセットトランジスタ２３は第２階層Ｌ２に形成されてもよい。光量検出装置２０は、フォトダイオード２１に入射した光の量に応じてパルス信号を出力する。したがって、所定時間内に出力されたパルス信号の数をカウントすることにより、光量検出装置２０に入射した光の量を検出することができる。

【0032】

フォトダイオード２１は、アノード端子とカソード端子とを有する。アノード端子は接地され、カソード端子はインバータチェーン２２の入力端子に接続される。フォトダイオードは、入射した光の量に応じて電荷を生成する。フォトダイオードにより生成された電荷は、生成された電荷の量に応じた電圧値としてインバータチェーン２２に入力される。具体的には、フォトダイオードにより生成された電荷は、フォトダイオード２１のカソード端子と、インバータチェーン２２の入力端子との間に存在する不図示の容量成分に蓄積される。蓄積された電荷は、当該容量成分の大きさに応じて電圧となって現れ、インバータチェーン２２の入力端子に入力される。当該容量成分をフローティングディフュージョンとも記載する。また、フォトダイオード２１のカソード端子の電圧を電圧Ｖ_ＰＤとも記載する。

【0033】

インバータチェーン２２は、複数の直列接続されたインバータ素子を備える。当該インバータ素子は、具体的には、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ―ｏｘｉｄｅ―ｓｅｍｉｃｏｎｄｕｃｔｏｒ）インバータであってもよい。図２に示す一例では、インバータチェーン２２は、インバータ２２１と、インバータ２２２と、…、インバータ２２ｎとを備える（ｎは１以上の自然数）。各インバータ素子は、それぞれ入力端子と出力端子とを有しており、出力端子には入力端子の電圧レベルと逆の電圧レベルが出力される。例えば、各インバータ素子の入力端子に１（ハイレベル）が入力されると、当該インバータ素子の出力端子には０（ローレベル）が出力される。また、インバータ素子の入力端子に０が入力されると、当該インバータ素子の出力端子には１が出力される。各インバータ素子は、入力閾値電圧を有し、入力端子に入力される電圧値と閾値とに応じた値を出力する。

【0034】

ここで、インバータチェーン２２に備えられるインバータ素子の数は奇数個である。すなわち、インバータチェーン２２全体として、インバータチェーン２２の入力端子に入力された電圧レベルを反転させ、出力端子に出力する。インバータチェーン２２により出力される電圧を、出力電圧Ｖ_ＯＵＴとも記載する。

【0035】

また、インバータチェーン２２に備えられるインバータ素子の数は、光量検出装置２０に出力させたいパルス信号のパルス幅に応じて設定されてもよい。例えば、インバータチェーン２２に備えられるインバータ素子の数を多くすることによりパルス幅を長くすることができる。また、インバータチェーン２２に備えられるインバータ素子の数を少なくすることによりパルス幅を短くすることができる。

【0036】

また、インバータ素子（特にインバータ２２１）の入力閾値電圧を調整することにより、光量検出装置２０により出力される１パルスに応じた光の量を調整することができる。例えば入力閾値電圧を小さくすることにより、フォトダイオード２１により多くの光が入射してからパルスが出力されるようになる。また、入力閾値電圧を大きくすることにより、フォトダイオード２１により少ない光が入射してからパルスが出力されるようになる。

【0037】

なお、インバータチェーン２２に接続される初段のインバータ素子（フォトダイオード２１に近い側のインバータ、すなわちインバータ２２１）に代えて、不図示のコンパレータ回路を用いてもよい。当該コンパレータ回路の入力端子の一端には、フォトダイオード２１のカソード端子が接続される。また、当該コンパレータ回路の入力端子の他端には、所定の基準電圧が入力される。当該コンパレータ回路は、フォトダイオード２１のカソード端子に接続された入力端子の電圧と基準電圧とに応じた電圧を出力端子に出力する。当該コンパレータ回路の後段には、所定の遅延回路が設けられていてもよい。

【0038】

リセットトランジスタ２３は、インバータチェーン２２の出力電圧に応じて、フォトダイオード２１にリセット電圧Ｖ_ＲＳＴを供給することによりフォトダイオード２１をリセットする。換言すれば、リセットトランジスタ２３は、インバータチェーン２２により出力されるデジタル値に応じて、フォトダイオード２１にリセット電圧を印加するか否かを決定する。リセットトランジスタ２３は、例えばＮチャネル型のＭＯＳＦＥＴ（金属酸化膜半導体電界効果トランジスタ：metal-oxide-semiconductor field-effect transistor）であってもよい。リセットトランジスタ２３がＮチャネル型のＭＯＳＦＥＴである場合、ゲート端子は、インバータチェーン２２の出力端子に接続される。ソース端子は、リセット電圧Ｖ_ＲＳＴを供給する電源に接続される。ドレイン端子は、フォトダイオード２１のカソード端子に接続される。
ここで、リセットトランジスタ２３をエンハンスメント型のＮチャネル型ＭＯＳＦＥＴとする場合、リセット電圧Ｖ_ＲＳＴがリセットトランジスタ２３の閾値分だけ減少してフォトダイオード２１に伝わる。そこで、リセットトランジスタ２３をデプレッション型のＮチャネル型ＭＯＳＦＥＴとしてもよい。
なお、リセットトランジスタ２３をＰチャネル型のＭＯＳＦＥＴとすることも可能である。この場合、リセットトランジスタ２３のゲート端子にインバータ回路を挿入する。Ｐチャネル型のＭＯＳＦＥＴを用いることにより、リセット電圧Ｖ_ＲＳＴがリセットトランジスタ２３の閾値分だけ減少してフォトダイオード２１に伝わることを抑止することができる。

【0039】

通常時、すなわちフォトダイオード２１に光が入射していない場合、フォトダイオード２１の電圧Ｖ_ＰＤはハイレベルである。フォトダイオード２１の電圧Ｖ_ＰＤが光入射により低下し、インバータ２２１の入力閾値電圧に達すると、インバータチェーン２２の出力電圧Ｖ_ＯＵＴが反転し、ローレベルからハイレベルになる。インバータチェーン２２によりハイレベルが出力されると、リセットトランジスタ２３のソース－ドレイン間がオンし、フォトダイオード２１にリセット電圧Ｖ_ＲＳＴが供給され、フォトダイオード２１の電圧Ｖ_ＰＤは、リセット電圧Ｖ_ＲＳＴとなる。再びインバータチェーンが反転し、インバータチェーン２２の出力電圧Ｖ_ＯＵＴがローレベルとなると、リセットトランジスタ２３のソース－ドレイン間がオフする。この動作を繰り返すことでインバータチェーン２２の出力端子にはパルス信号が現れる。

【0040】

なお、フォトダイオード２１は、埋め込みフォトダイオードであってもよい。フォトダイオード２１が埋め込みフォトダイオードである場合、フォトダイオード２１とインバータチェーン２２との間には、不図示の転送トランジスタが設けられていてもよい。当該転送トランジスタは、不図示の制御部により制御され、フォトダイオード２１により生成された電荷をインバータチェーン２２（詳細には、転送トランジスタとインバータチェーン２２との間に設けられたフローティングディフュージョン）に転送する。

【0041】

次に、信号処理装置１０の構成について説明する。信号処理装置１０には、経時的に値が変化する信号が入力される。信号処理装置１０は、入力された信号について、入力された信号に応じたカウンタ値（例えばセンサの出力値）と、カウントされたカウンタ値が所定の閾値を超えた場合に出力される差分信号とを出力する。図２に示す一例では、信号処理装置１０が、光量検出装置２０により出力されたパルス信号をカウントする場合の一例について説明する。
信号処理装置１０は、パルス信号取得部１１と、カウンタ部１２と、トリガ信号発生回路１３とを備える。

【0042】

パルス信号取得部１１は、経時的に変化する値を取得する。図２に示す一例において、パルス信号取得部１１には、光量検出装置２０から出力された信号であって、経時的に値が１又は０のデジタル値に変化するパルス信号（出力電圧Ｖ_ＯＵＴ）が入力される。以下の説明において、パルス信号取得部１１を単に取得部と記載する場合がある。

【0043】

なお、信号処理装置１０が光量検出装置２０の構成の一部又は全部を含む場合、フォトダイオード２１とインバータチェーン２２の接続部を取得部としてもよい。この場合、取得部は、値が連続的に変化するアナログ値を取得する。更にこの場合、信号処理装置１０には、インバータチェーン２２も含まれる。インバータチェーン２２は、アナログ値をデジタル値に変換するＡ／Ｄ変換部としての役割を有する。Ａ／Ｄ変換部としてのインバータチェーン２２は、フォトダイオード２１の出力に応じたアナログ値と、所定の閾値（例えばインバータ素子の入力閾値電圧）との比較結果に応じて、アナログ値をデジタル値に変換する。

【0044】

また、本実施形態において取得部は、経時的に変化する様々な値を取得可能であるが、以下に示す一例は、固体撮像素子５に用いられる画素回路１の一例であるため、取得部は、フォトダイオード２１に光が入射した結果に応じた電圧値を取得する。

【0045】

カウンタ部１２は、所定の期間に入力されたパルス信号の数をカウントする非同期式のカウンタ回路を含む。当該カウンタ回路は、複数ビットのカウンタ素子を含んで構成される。図２を参照しながら、複数ビットのカウンタ素子の一例として、９ビットのカウンタ素子１２１乃至カウンタ素子１２９を含む場合の一例について説明する。カウンタ部１２に備えられるカウンタ素子のビット数は、カウント可能な最大値に１ビットを加えた数であってもよい。すなわち、９ビットのカウンタ素子を備える場合、９ビットから１ビットを引いた８ビットのカウンタ素子により０から２５５までカウントすることができる。

【0046】

複数ビットのカウンタ素子に共通する構成について、カウンタ素子１２１を例に挙げて説明する。カウンタ部１２は、既存の技術を使って任意に設計可能であるが、以下の説明では、カウンタ素子としてＴフリップフロップ（Ｔ―ＦＦ）を用いる場合の一例について説明する。なお、Ｄフリップフロップ等を用いて、Ｔフリップフロップの構成を実現してもよい。

【0047】

カウンタ素子１２１は、入力端子１２１１と、第１出力端子１２１２と、第２出力端子１２１３とを備える。入力端子１２１１には、パルス信号が入力される。最下位ビットであるカウンタ素子１２１には、光量検出装置２０の出力信号が入力される。カウンタ素子１２２からカウンタ素子１２９の入力端子には、それぞれ前段のカウンタ素子の出力信号が入力される。第１出力端子１２１２及び第２出力端子１２１３は、Ｔフリップフロップの非反転出力端子又は反転出力端子のいずれかの信号が出力される。第１出力端子１２１２は、次段のカウンタ素子に出力するための端子であり、第２出力端子１２１３は、カウンタ値を出力するための端子である。第１出力端子１２１２及び第２出力端子１２１３は共通の端子であってもよい。

【0048】

各カウンタ素子には、Ｕ／Ｄ信号が入力される。Ｕ／Ｄ信号とは、アップカウント又はダウンカウントのいずれを行うかを制御するための信号である。各カウンタ素子は、Ｕ／Ｄ信号が１であるか、０であるかに応じて、アップカウント又はダウンカウントする。Ｕ／Ｄ信号は、複数ビットのカウンタ素子に共通して入力される信号である。各カウンタ素子は、Ｕ／Ｄ信号が１であるか０であるかに応じて、非反転出力端子又は反転出力端子のいずれの端子による出力信号を次段のカウンタ素子に出力するかを切り替えてもよい。

【0049】

９ビットのカウンタ素子１２１乃至カウンタ素子１２９のうち、最下位ビットであるカウンタ素子１２１には、イネーブル端子１２１４が備えられる。イネーブル端子１２１４は、入力信号が有効であるか否かを決定する。具体的には、イネーブル端子１２１４は、入力される電圧レベルに応じて、入力端子１２１１の入力を有効又は無効に制御することができる。最下位ビットのみ無効にすることにより、最下位ビットがカウントを行わなくなるため、カウンタ部１２に備えられる他のカウンタ素子についても、カウントを無効化することができる。

【0050】

また、各カウンタ素子には、不図示のカウンタリセット信号ＣＲＳＴが入力されてもよい。カウンタリセット信号ＣＲＳＴがハイレベルの時には、各カウンタ素子のカウンタの値が初期値に設定され、ローレベルの時には、各カウンタ素子は通常のカウンタ動作を行う。

【0051】

トリガ信号発生回路１３は、カウンタ部１２によりアップカウントされた値及びダウンカウントされた値に基づき、トリガ信号Ｔ及び符号信号Ｓを生成する。
トリガ信号Ｔとは、所定期間にカウンタ部１２に入力されるパルス信号の数が、所定の閾値以上であるか否かを示す信号である。すなわち、トリガ信号Ｔとは差分信号である。ここで、トリガ信号Ｔとして差分を検出するための閾値は、ビット数として設定されてもよい。たとえば４ビットを閾値とする場合、所定期間にカウンタ部１２によりアップカウントされた値とダウンカウントされた値との差分の絶対値を、上位ビットから順に見て何ビット目で初めて１が現れるかを検出し、それが４ビット目以上であればトリガ信号Ｔを１とする。具体的には、閾値である４ビット目より上位のビットのいずれか１であればトリガ信号Ｔを１とする。すなわちトリガ信号Ｔとは、カウンタ部１２に含まれる複数のカウンタ素子のうち、閾値とするビットより上位のビットのいずれかのカウンタ素子の出力値が０又は１のいずれであるかに応じて出力されてもよい。

【0052】

トリガ信号Ｔを出力するか否かを決定するための閾値は、どの程度の光量差でトリガを発生するかの要求によって設定することができる。例えば閾値とするビットを最下位ビットに近づけることにより、より少ない光量で（換言すれば、より敏感に）トリガ信号Ｔを出力する。また、閾値とするビットを最上位ビットに近づけることにより、より多い光量で（換言すれば、より鈍感に）トリガ信号Ｔを出力する。

【0053】

ここで、カウンタ部１２は、９ビットのカウンタ素子を備えるため、０から５１２までカウントを行うことが可能である。しかしながら、カウンタ部１２はアップカウント及びダウンカウントを行うため、０を初期値として－２５５から２５５の範囲でアップカウント及びダウンカウントを行うものとして記載する。すなわち、１ビット目から８ビット目（カウンタ素子１２１からカウンタ素子１２８）は、カウンタ部１２によりカウントされる値（以下、カウンタ値と記載する。）の絶対値を決定し、９ビット目（カウンタ素子１２９）は符号を決定する。符号信号Ｓは、カウンタ値の符号を示す信号である。具体的には、符号信号Ｓは、９ビット目の出力がそのまま出力される。すなわち、符号信号Ｓとは、カウンタ部１２に含まれる複数のカウンタ素子のうち、最上位ビットのカウンタ素子の出力値である。符号信号Ｓが１である場合カウンタ値は正、符号信号Ｓが０である場合カウンタ値は負である。カウンタ値が正である場合、アップカウントした値がダウンカウントした値より大きいことを示す。カウンタ値が負である場合、アップカウントした値がダウンカウントした値より小さいことを示す。

【0054】

なお、カウンタ部１２がアップカウントした値に応じて出力される信号を第１信号Ｓ１と記載する場合がある。第１信号Ｓ１とは、具体的には、カウンタ素子１２１が備える第２出力端子１２１３から、カウンタ素子１２９が備える第２出力端子１２９３により出力される９ビットの信号であってもよい。
また、トリガ信号発生回路１３により出力される出力信号を第２信号Ｓ２と記載する場合がある。第２信号Ｓ２には、トリガ信号Ｔと符号信号Ｓとが含まれる。
第１信号Ｓ１と第２信号Ｓ２とを出力する構成を、出力部と記載する場合がある。すなわち出力部は、カウンタ部１２がアップカウントした値に応じた第１信号Ｓ１と、カウンタ部１２がアップカウントした値とダウンカウントした値との差分に応じた第２信号Ｓ２とを出力する。

【0055】

図３は、第１の実施形態に係るフォトダイオードに光が入射した際のパルス発生タイミングについて説明するタイミングチャートである。同図を参照しながら、フォトダイオード２１に光が入射した際にインバータチェーン２２が出力する出力電圧Ｖ_ＯＵＴのパルス発生タイミングについて説明する。同図には、横軸を時間として、フォトダイオード２１の電圧Ｖ_ＰＤの変化を波形Ｗ１１として示す。また、インバータチェーン２２の出力電圧Ｖ_ＯＵＴを波形Ｗ１２として示す。同図には、フォトダイオード２１に一定の光量の光が入射し続ける場合の一例について説明する。
なお、リセットトランジスタ２３により供給される電圧をリセット電圧Ｖ_ＲＳＴ、インバータチェーン２２の入力閾値電圧を閾値電圧Ｖ_ＴＨと記載する。また、インバータチェーン２２が出力する出力電圧Ｖ_ＯＵＴは、Ｌ又はＨの２値で記載する。

【0056】

時刻ｔ０以前において、フォトダイオード２１に光は入射していないので、フォトダイオード２１の電圧Ｖ_ＰＤはリセット電圧Ｖ_ＲＳＴである。また、この状態においてインバータチェーン２２にはＨが入力されるため、出力電圧Ｖ_ＯＵＴはＬである。
時刻ｔ０から時刻ｔ１１にかけて、フォトダイオード２１に光が入射する。図３に示す一例では、フォトダイオード２１に一定の光量の光が入射し続けるため、フォトダイオード２１の電圧Ｖ_ＰＤは直線的に低下する。
時刻ｔ１１においてフォトダイオード２１の電圧Ｖ_ＰＤが閾値電圧Ｖ_ＴＨまで低下すると、インバータチェーン２２の出力電圧Ｖ_ＯＵＴが反転し、Ｈを出力する。インバータチェーン２２の出力電圧Ｖ_ＯＵＴがＨになると、リセットトランジスタ２３がオンし、フォトダイオード２１の電圧Ｖ_ＰＤはリセット電圧Ｖ_ＲＳＴとなる。電圧Ｖ_ＰＤがリセット電圧Ｖ_ＲＳＴとなると、インバータチェーン２２にはＨが入力され、出力電圧Ｖ_ＯＵＴは再度反転してＬとなる。

【0057】

時刻ｔ１１から時刻１４においても当該動作を繰り返し、結果としてインバータチェーン２２の出力電圧Ｖ_ＯＵＴはパルス信号を出力する。
インバータチェーンが反転を開始してから、電圧Ｖ_ＰＤがリセット電圧Ｖ_ＲＳＴとなるまでの応答時間（遅延時間）により、インバータチェーン２２の出力電圧Ｖ_ＯＵＴのパルス幅が決定される。したがって、インバータチェーン２２に含まれるインバータ素子それぞれの遅延時間の合計がパルス幅となる。

【0058】

図４は、第１の実施形態に係る信号処理装置により出力される第１信号及び第２信号の出力タイミングと、カウンタ値の変化について説明するタイミングチャートである。同図を参照しながら、信号処理装置１０により出力される第１信号Ｓ１及び第２信号Ｓ２の出力タイミングと、カウンタ部１２により出力されるカウンタ値の変化について説明する。

【0059】

ここで、カウンタ部１２がアップカウントを行う期間を第１期間Ｔ１、カウンタ部１２がダウンカウントを行う期間を第２期間Ｔ２と記載する場合がある。第１期間Ｔ１及び第２期間Ｔ２は同一の長さであってもよい。第１期間Ｔ１及び第２期間Ｔ２は繰り返し交互に行われる。例えば、第１期間Ｔ１は奇数フレームでああって、第２期間Ｔ２は偶数フレームであってもよい。
なお、本実施形態では信号処理装置１０が固体撮像素子５に適用される一例について説明しているため、各期間をフレームと記載する場合がある。具体的には、第１期間Ｔ１を第１フレーム、第２期間Ｔ２を第２フレーム、と記載する場合がある。

【0060】

図４には、横軸を時間として、カウンタ部１２が出力するカウンタ値の変化を示す。同図に示す一例において、カウンタ部１２が備える９ビットのカウンタ素子のうち、１ビット目から８ビット目はカウンタの絶対値として、カウンタ値の９ビット目は符号として扱われる。同図には、カウンタ部１２によりカウントされたカウンタ値を０から５１２として記載する。

【0061】

また、同図には、カウンタ部１２に入力されるＵ／Ｄ信号、カウンタリセット信号ＣＲＳＴ、イネーブル信号ＥＮの値をＬ又はＨの２値により示す。カウンタ部１２はＵ／Ｄ信号がＬの場合アップカウントをし、Ｈの場合ダウンカウントをする。Ｕ／Ｄ信号のレベルは、第１期間Ｔ１又は第２期間Ｔ２に切り替わることに連動して切り替わる。すなわち、カウンタ部１２は、第１期間Ｔ１と第２期間Ｔ２とを含む周期において、第１期間Ｔ１又は第２期間Ｔ２のいずれであるかに応じてアップカウント又はダウンカウントする。
カウンタリセット信号ＣＲＳＴがＨである期間、各ビットの出力値が０に固定され、Ｌである期間、カウンタ部１２はカウント動作を行う。イネーブル信号ＥＮがＬである期間、パルス信号が入力されてもカウンタ部１２はカウント動作を行わず、Ｈである期間、カウンタ部１２はパルス信号に応じたカウント動作を行う。

【0062】

また、同図には、第１信号Ｓ１の読み込みタイミングを映像信号読み込みタイミングＶ＿ＲＥＡＤとして、第２信号の読み込みタイミングを差分信号読み込みタイミングＴ＿ＲＥＡＤとして記載する。映像信号読み込みタイミングＶ＿ＲＥＡＤ及び差分信号読み込みタイミングＴ＿ＲＥＡＤは、いずれもＨを読み込みタイミングとしてＬ又はＨの２値により示す。

【0063】

時刻ｔ２１において、イネーブル信号ＥＮがオフし、カウンタ値がリセットされた（すなわち、カウンタリセット信号ＣＲＳＴとして１パルス入力される）後、イネーブル信号ＥＮがオンする（すなわち、ＬからＨに切り替わる。）。その後、カウンタ値は、フォトダイオード２１に入射する光の量に応じたアップカウント動作を行う。
時刻ｔ２１から時刻ｔ２２はカウンタ部１２がアップカウントを行う第１周期Ｔ１である。すなわち時刻ｔ２１から時刻ｔ２２において、Ｕ／Ｄ信号はアップカウントを示すＬに固定される。

【0064】

時刻ｔ２１から時刻ｔ２２にかけて、カウンタ部１２は２５６から順にアップカウントを行う。時刻ｔ２２になると、第１信号Ｓ１が読み出される。すなわち、映像信号読み込みタイミングＶ＿ＲＥＡＤがＨとなり、時刻ｔ２２におけるカウンタ値が読み出される。図４に示す一例では、時刻ｔ２２におけるカウンタ値は、５００程度である。ここで、カウンタ部１２には、第１期間Ｔ１においてカウントされた値に２５６を足した値が保持されている。カウンタの値から２５６を引いた値を出力するためには、１ビット目から８ビット目におけるカウンタ値（すなわち、符号ビットである９ビット目を除いた値）を出力すればよい。
カウンタ値の読出し期間において、誤動作を防ぐため、カウント動作を無効に設定してもよい。すなわち、イネーブル信号ＥＮをＬにしてもよい。

【0065】

ここで、画素回路１が固体撮像素子５に備えられる場合、固体撮像素子５に備えられた複数の画素回路１からカウンタ値を読み出す必要がある。例えば、各画素回路１に備えられるカウンタ部１２からの出力は、ＸＹアドレス方式等が用いられてもよい。ＸＹアドレス方式等を用いる場合、画素を順次選択して読み出される。また、全画素についてのカウンタ値（すなわち映像信号）を読み出すのではなく、後述のトリガ信号を用いて差分があった画素についてのカウンタ値（すなわち映像信号）のみを読み出してもよい。

【0066】

時刻ｔ２２から時刻ｔ２３は、カウンタ部１２がダウンカウントを行う第２周期Ｔ２である。すなわち時刻ｔ２２から時刻ｔ２３において、Ｕ／Ｄ信号はダウンカウントを示すＨに固定される。カウンタ部１２は、時刻ｔ２２において読み出されたカウンタ値を始点としてダウンカウントを行う。第１期間Ｔ１の長さと、第２期間Ｔ２の長さは同一であるため、フォトダイオード２１に入射する光の量が同一であれば、時刻ｔ２３におけるカウンタ値は理論上０（９ビットで表現した場合は２５６）になる。第１期間Ｔ１にフォトダイオード２１に入射する光の量が、第２期間Ｔ２に比べて多ければ、時刻ｔ２３におけるカウンタ値は正になる（すなわち９ビットで表現した場合２５６より大きくなる）。第１期間Ｔ１にフォトダイオード２１に入射する光の量が、第２期間Ｔ２に比べて小さければ、時刻ｔ２３におけるカウンタ値は負になる（すなわち９ビットで表現した場合２５６より小さくなる）。

【0067】

時刻ｔ２３になると、第２信号Ｓ２が読み出される。すなわち、差分信号読み込みタイミングＴ＿ＲＥＡＤがＨとなり、閾値として設定された何ビット目かのカウンタ素子の出力信号であるトリガ信号Ｔと、９ビット目の出力信号である符号信号Ｓとが読み出される。第２信号Ｓ２の読出し期間において、誤動作を防ぐため、カウント動作を無効に設定してもよい。すなわち、イネーブル信号ＥＮをＬにしてもよい。カウンタ部１２からの出力には一定の時間を要するため、その時間がパルス出力の周期よりも長い場合には、カウンタ値が変化してしまう場合がある。したがって、イネーブル信号ＥＮをＬにすることによりカウンタ値が変化してしまう不具合を抑止することができる。図４に示す一例では、時刻ｔ２３におけるカウンタ値は３５０程度であり、９ビットで表現した場合２５６より大きい。

【0068】

なお、画素回路１が固体撮像素子５に用いられる場合、トリガ信号Ｔは画素アレイの周辺又は画素内に備えられるアドレス生成回路に送られてもよい。当該アドレス生成回路は、トリガ信号Ｔが1であった画素のアドレス情報（ＸＹ座標）を、符号Sとともに出力してもよい。
また、符号信号Ｓは必ずしも必須ではなく、トリガ信号Ｔのみを生成し、出力してもよい。

【0069】

第１周期Ｔ１と第２周期Ｔ２とを含む周期が終わると、カウンタ値が０（すなわち、２５６）にリセットされる（すなわち、カウンタリセット信号ＣＲＳＴがＨとなる）。

【0070】

時刻ｔ２３から時刻ｔ２４にかけて再度第１周期Ｔ１となる。Ｕ／Ｄ信号は再度Ｌに固定される。時刻ｔ２３において、イネーブル信号ＥＮがオフし、カウンタ値がリセットされる。その後、イネーブル信号ＥＮがオンし、カウンタ値は、フォトダイオード２１に入射する光の量に応じたアップカウント動作を行う。時刻ｔ２４になると、第１信号Ｓ１が読み出される。図４に示す一例では、時刻ｔ２４におけるカウンタ値は、４００程度である。

【0071】

時刻ｔ２４から時刻ｔ２５にかけて再度第２周期Ｔ２となる。Ｕ／Ｄ信号は再度Ｈに固定される。カウンタ部１２は、時刻ｔ２４において読み出されたカウンタ値を始点としてダウンカウント動作を行う。時刻ｔ２５になると、第２信号Ｓ２が読み出される。図４に示す一例では、時刻ｔ２３におけるカウンタ値は２００程度であり、９ビットで表現した場合２５６より小さい。

【0072】

なお、第１周期Ｔ１の直前の第２周期Ｔ２においてトリガ信号Ｔが1であった画素のアドレス情報を用いて、第１周期Ｔ１において映像情報を読み出すよう構成してもよい。この構成により、変化のあった映像情報だけを読み出すことができ、有効な情報を削減せずにデータを低減することができる。

【0073】

［第１の実施形態のまとめ］
以上説明した実施形態によれば、信号処理装置１０は、パルス信号取得部１１を備えることにより経時的に変化する値を取得し、カウンタ部１２を備えることにより第１期間Ｔ１と第２期間Ｔ２とを含む周期において、第１期間Ｔ１又は第２期間Ｔ２のいずれであるかに応じてアップカウント又はダウンカウントし、出力部を備えることによりカウンタ部１２がアップカウントした値に応じた第１信号Ｓ１と、カウンタ部１２がアップカウントした値とダウンカウントした値との差分に応じた第２信号Ｓ２とを出力する。第１期間Ｔ１及び第２期間Ｔ２は繰り返し交互に行われる。第１期間Ｔ１（すなわち奇数フレーム）ではパルスのアップカウントにより映像信号が出力され、第２期間Ｔ２（すなわち、偶数フレーム）ではパルスのアップカウントとダウンカウントの結果を用いて差分信号が出力される。したがって、本実施形態によれば、映像信号と差分信号とを、デジタル値により容易に取得することができる。

【0074】

また、上述した実施形態によれば、カウンタ部１２は、複数ビットのカウンタ素子を含み、第２信号Ｓ２に含まれるトリガ信号Ｔは、カウンタ部１２に含まれるいずれかのカウンタ素子の出力値が０又は１のいずれであるかに応じて出力される。具体的には、カウンタ部１２は、閾値とするビットより上位のビットのいずれかのカウンタ素子の出力値が０又は１のいずれであるかに応じてトリガ信号Ｔを出力する。すなわち、本実施形態によれば、何ビット目のカウンタを閾値とするかを決定し、当該ビットより上位ビットにおける変化の有無に応じて差分信号の閾値を変更することができる。したがって、本実施形態によれば、容易に差分信号の閾値を設定することができる。

【0075】

また、上述した実施形態によれば、複数ビットのカウンタ素子を含み、第２信号Ｓ２に含まれる符号信号Ｓは、カウンタ部１２に含まれるカウンタ素子のうち、最上位ビットのカウンタ素子（図２に示した一例では、カウンタ素子１２９）の出力値である。すなわち、本実施形態によれば、最上位ビットのカウンタ素子の出力値により、第１期間Ｔ１においてカウントされた値と、第２期間Ｔ２においてカウントされた値とのいずれが大きいかを検出することができる。また、本実施形態によれば、１ビット目から８ビット目までを絶対値として９ビット目を符号として扱う。ダウンカウントの場合は、２５６を中心として、５１２から０までカウント可能である。しがって、本実施形態によれば、第２期間Ｔ２における入射量の方が第１期間Ｔ１における入射量より大きい場合であっても、オーバーフローすることなくカウントすることができる。

【0076】

また、上述した実施形態によれば、カウンタ部１２に含まれる複数のカウンタ素子のうち、最下位ビットのカウンタ素子（図２に示した一例では、カウンタ素子１２１）は、入力信号が有効であるか否かを決定するイネーブル端子１２１４を有する。カウンタ素子１２１は、イネーブル端子１２１４に入力される電圧レベルに応じて、入力されるパルス信号が有効であるか否かを決定する。最下位ビットのカウンタ素子の入力信号が有効にされない限り、後段のカウンタ素子には信号が入力されないため、カウンタ部１２全体としてカウント動作を行うことができない。したがって、本実施形態によれば、最下位ビットのみ無効にすることにより、カウンタ部１２に備えられる他のカウンタ素子（カウンタ素子１２２からカウンタ素子１２９）についても、カウント動作を無効化することができる。

【0077】

また、上述した実施形態によれば、パルス信号取得部１１は、経時的に値が１又は０のデジタル値に変化するパルス信号を取得する。したがって、本実施形態によれば、信号処理装置１０は、２値で出力されるセンサの出力値についてパルス数をカウントした値と、差分信号とを出力することができる。

【0078】

また、上述した実施形態によれば、信号処理装置１０に光量検出装置２０が含まれる場合、取得部は、値が連続的に変化するアナログ値を取得する。また、インバータチェーン２２は、アナログ値と所定の閾値との比較結果に応じてデジタル値に変換するＡ／Ｄ変換部として機能する。したがって、本実施形態によれば、インバータチェーン２２を備えることにより、アナログ値を出力するセンサについても、パルス信号に変換し、パルス数をカウントした値と、差分信号とを出力することができる。

【0079】

また、上述した実施形態によれば、取得部は、フォトダイオード２１に光が入射した結果に応じた電圧値を取得する。したがって、本実施形態によれば、映像信号と差分信号とを出力可能な固体撮像素子５を提供することができる。

【0080】

また、上述した実施形態によれば、信号処理装置１０に光量検出装置２０が含まれる場合、信号処理装置１０はリセットトランジスタ２３を備えることにより、Ａ／Ｄ変換部としてのインバータチェーン２２により出力されるデジタル値に応じて、フォトダイオード２１にリセット電圧Ｖ_ＲＳＴを印加するか否かを制御することができる。したがって、フォトダイオード２１が飽和した場合であっても、フォトダイオード２１をリセットすることができる。

【0081】

また、上述した実施形態によれば、信号処理装置１０は、インバータチェーン２２と、カウンタ部１２（１ビットカウンタの直列接続）という、比較的少ないトランジスタ数からなるシンプルな回路構成を採用している。本実施形態によれば、このようなシンプルな回路構成であるにもかかわらず、２種類のデジタル信号を出力することができる。また、信号処理装置１０は、シンプルな回路構成であるため、画素サイズの増大を抑止することができ、高解像度な映像信号と差分情報とを出力する固体撮像素子５を提供することができる。

【0082】

また、本実施形態による信号処理装置１０を備える固体撮像素子５を撮像装置に適用することにより、用途に応じて、常時差分情報だけを出力するモード、差分情報に加えて全画素の映像信号を出力するモード、差分情報と変化のあった映像信号だけを出力するモードを切り替え可能な撮像装置を提供することができる。当該撮像装置は、通常の撮像装置と比較して、差分情報を出力することができるため、動き情報の検出をすることができるようになる。また、全画素の映像信号を出力するモード以外では、有効な情報を削減せずに、データ量を削減することができる。

【0083】

また、本実施形態によれば、フォトダイオード２１により得られた信号を対数圧縮等していないため、光量とパルス数の関係は線形である。したがって、本実施形態によれば、撮影対象を反映した正確な映像情報および差分情報を得ることができる。

【0084】

［第２の実施形態］
次に、第２の実施形態について説明する。まず、第２の実施形態が解決しようとする課題の概要について説明する。第１の実施形態に係る画素回路１によれば、映像信号と差分信号とをデジタル値により出力することができる。しかしながら、第１の実施形態に係る画素回路１によれば、第１期間Ｔ１（偶数フレーム）で映像信号を、第２期間Ｔ２（奇数フレーム）で差分信号を出力するため、第２期間Ｔ２における映像信号が失われてしまう（すなわち情報量が半減してしまう）といった問題があった。そこで、第２の実施形態においては、第２期間Ｔ２においても映像信号を取得することを目的とする。

【0085】

図５は、第２の実施形態に係る画素回路の回路構成の一例を示す回路図である。同図を参照しながら、第２の実施形態に係る画素回路１Ａの回路構成の一例について説明する。画素回路１Ａの説明において、画素回路１と同様の構成については同様の符号を付して説明を省略する場合がある。画素回路１Ａは、光量検出装置２０を備える点において画素回路１と同様である。画素回路１Ａは、信号処理装置１０に代えて信号処理装置１０Ａを備える点において画素回路１とは異なる。信号処理装置１０Ａは、信号処理装置１０と同様の構成を２組備える。すなわち、信号処理装置１０Ａは、第１信号処理部１１０と、第２信号処理部１２０とを備える。第１信号処理部１１０と、第２信号処理部１２０とは、同様の構成を有していてもよく、それぞれ第１の実施形態において説明した信号処理装置１０と同様の構成であってもよい。

【0086】

第１信号処理部１１０は、第１カウンタ部１１１を備える。第２信号処理部１２０は、第２カウンタ部１１２を備える。信号処理装置１０Ａの構成において、第１カウンタ部１１１及び第２カウンタ部１１２を総称して、カウンタ部１２と記載する。すなわち信号処理装置１０Ａにおいてカウンタ部１２は、第１カウンタ部１１１と第２カウンタ部１１２とを備える。第１カウンタ部１１１は、第１期間Ｔ１ではアップカウントし、第２期間Ｔ２ではダウンカウントする。第２カウンタ部１１２は、第１期間Ｔ１ではダウンカウントし、第２期間Ｔ２ではアップカウントする。すなわち第１カウンタ部１１１が備えるＵ／Ｄ端子に入力される信号をインバートした信号が、第２カウンタ部１１２が備えるＵ／Ｄ端子に入力されるように構成されていてもよい。

【0087】

信号処理装置１０Ａの出力部は、第１期間Ｔ１において第１カウンタ部１１１がアップカウントした値に応じた値、又は第２期間Ｔ２において第２カウンタ部１１２がアップカウントした値に応じた値の少なくとも一方を第１信号Ｓ１として出力する。
また、信号処理装置１０Ａの出力部は、第１期間Ｔ１において第１カウンタ部１１１がアップカウントした値と第２期間Ｔ２において第１カウンタ部１１１がダウンカウントした値との差分に応じた値、又は第２期間Ｔ２において第２カウンタ部１１２がアップカウントした値と第１期間Ｔ１において第２カウンタ部１１２がダウンカウントした値との差分に応じた値の少なくとも一方を第２信号Ｓ２として出力する。

【0088】

すなわち画素回路１Ａは、第１信号処理部１１０に加えて第２信号処理部１２０を備えることにより、第１期間Ｔ１と第２期間Ｔ２の動作を、図４を参照しながら説明した動作と逆相にする。このような構成を採用することにより、第１期間Ｔ１においては第１信号処理部１１０から第１信号Ｓ１を、第２信号処理部１２０から第２信号Ｓ２を取得する。また、第２期間Ｔ２においては第１信号処理部１１０から第２信号Ｓ２を、第２信号処理部１２０から第１信号Ｓ１を取得する。すなわち第２の実施形態では、第１信号処理部１１０及び第２信号処理部１２０の２系統を備えることにより、２系統合わせて毎フレームの映像信号と差分信号を出力することができるようになる。

【0089】

図６は、第２の実施形態に係る信号処理装置により出力される第１信号及び第２信号の出力タイミングと、カウンタ値の変化について説明するタイミングチャートである。同図を参照しながら、信号処理装置１０Ａにより出力される第１信号Ｓ１及び第２信号Ｓ２の出力タイミングと、カウンタ部１２により出力されるカウンタ値の変化について説明する。

【0090】

第２の実施形態においては、第１期間（第１フレーム）Ｔ１において、第１カウンタ部１１１がアップカウントを行い、第２カウンタ部１１２がダウンカウントを行う。また、第２期間（第２フレーム）Ｔ２において、第１カウンタ部１１１がダウンカウントを行い、第２カウンタ部１１２がアップカウントを行う。第１期間Ｔ１及び第２期間Ｔ２は同一の長さであってもよい。第１期間Ｔ１及び第２期間Ｔ２は繰り返し交互に行われる。例えば、第１期間Ｔ１は奇数フレームであって、第２期間Ｔ２は偶数フレームであってもよい。

【0091】

図６には、横軸を時間として、第２カウンタ部１１２が出力するカウンタ値の変化を示す。第１カウンタ部１１１が出力するカウンタ値の変化については、図４を参照しながら説明した一例と同様である。
また、図６に示される、Ｕ／Ｄ信号、カウンタリセット信号ＣＲＳＴ、及びイネーブル信号ＥＮは、第２信号処理部１２０に入力される値であり、映像信号読み込みタイミングＶ＿ＲＥＡＤ、及び差分信号読み込みタイミングＴ＿ＲＥＡＤは、第２信号処理部１２０により信号が出力されるタイミングである。第１信号処理部１１０による入出力信号は、図４を参照しながら説明した一例と同様である。また、第２信号処理部１２０による入出力信号の定義については、対応する第１信号処理部１１０による入出力信号の定義であるため説明を省略する。

【0092】

時刻ｔ３１から時刻ｔ３２は、第２カウンタ部１１２がダウンカウントを行う第２周期Ｔ２である。すなわち時刻ｔ３１から時刻ｔ３２において、Ｕ／Ｄ信号はダウンカウントを示すＨに固定される。カウンタ部１２は、直前の第１期間Ｔ１（不図示）において読み出されたカウンタ値を始点としてダウンカウントを行う。直前の第１期間Ｔ１におけるカウンタ値は、９ビットで表現した場合４００程度である。

【0093】

時刻ｔ３２において、第２信号Ｓ２が読み出される。すなわち、差分信号読み込みタイミングＴ＿ＲＥＡＤがＨとなり、閾値として設定された何ビット目かのカウンタ素子の出力信号であるトリガ信号Ｔと、９ビット目の出力信号である符号信号Ｓとが読み出される。第２信号Ｓ２の読出し期間において、誤動作を防ぐため、イネーブル信号ＥＮがＬに設定され、カウント動作が無効にされる。図６に示す一例では、時刻ｔ３２におけるカウンタ値は２００程度であり、９ビットで表現した場合２５６より小さい。

【0094】

時刻ｔ３２において、イネーブル信号ＥＮがオフし、カウンタ値がリセットされた後（すなわち、カウンタリセット信号ＣＲＳＴとして１パルス入力される）、イネーブル信号ＥＮがオンする（すなわち、ＬからＨに切り替わる）。その後、カウンタ値は、フォトダイオード２１に入射する光の量に応じたアップカウント動作を行う。
時刻ｔ３２から時刻ｔ３３はカウンタ部１２がアップカウントを行う第１周期Ｔ１である。すなわち時刻ｔ３２から時刻ｔ３３において、Ｕ／Ｄ信号はアップカウントを示すＬに固定される。

【0095】

時刻ｔ３２から時刻ｔ３３にかけて、第２カウンタ部１１２は２５６から順にアップカウントを行う。時刻ｔ３３になると、第１信号Ｓ１が読み出される。すなわち、映像信号読み込みタイミングＶ＿ＲＥＡＤがＨとなり、時刻ｔ３２におけるカウンタ値が読み出される。図６に示す一例では、時刻ｔ３３におけるカウンタ値は、９ビットで表現した場合５００程度である。カウンタ値の読出し期間において、誤動作を防ぐため、イネーブル信号ＥＮをＬに設定することにより、カウント動作が無効にされる。

【0096】

時刻ｔ３３から時刻ｔ３４にかけて再度第２周期Ｔ２となる。Ｕ／Ｄ信号は再度Ｈに固定される。カウンタ部１２は、時刻ｔ３３において読み出されたカウンタ値を始点としてダウンカウント動作を行う。時刻ｔ３４になると、第２信号Ｓ２が読み出される。図６に示す一例では、時刻ｔ３４におけるカウンタ値は３５０程度であり、９ビットで表現した場合２５６より大きい。

【0097】

時刻ｔ３４から時刻ｔ３５にかけて再度第１周期Ｔ１となる。Ｕ／Ｄ信号は再度Ｌに固定される。時刻ｔ３４において、イネーブル信号ＥＮが解除され、カウンタ値がリセットされる。その後、カウンタ値は、フォトダイオード２１に入射する光の量に応じたアップカウント動作を行う。時刻ｔ３５になると、第１信号Ｓ１が読み出される。図６に示す一例では、時刻ｔ３５におけるカウンタ値は、９ビットで表現した場合４００程度である。

【0098】

［第２の実施形態のまとめ］
以上説明した実施形態によれば、画素回路１Ａが備えるカウンタ部１２は、第１期間Ｔ１ではアップカウントし第２期間Ｔ２ではダウンカウントする第１カウンタ部１１１と、第１期間Ｔ１ではダウンカウントし第２期間Ｔ２ではアップカウントする第２カウンタ部１１２とを備える。画素回路１Ａが備える出力部は、第１期間Ｔ１において第１カウンタ部１１１がアップカウントした値に応じた値、又は第２期間Ｔ２において第２カウンタ部１１２がアップカウントした値に応じた値の少なくとも一方を第１信号Ｓ１として出力し、第１期間Ｔ１において第１カウンタ部１１１がアップカウントした値と第２期間Ｔ２において第１カウンタ部１１１がダウンカウントした値との差分に応じた値、又は第２期間Ｔ２において第２カウンタ部１１２がアップカウントした値と第１期間Ｔ１において第２カウンタ部１１２がダウンカウントした値との差分に応じた値の少なくとも一方を第２信号Ｓ２として出力する。すなわち、信号処理装置１０Ａによれば、第２カウンタ部１１２が第１カウンタ部１１１と逆相となる動きをすることにより、１つの周期で互いのカウンタ部がそれぞれ映像信号と差分信号とを出力する。したがって、本実施形態によれば、奇数フレーム及び偶数フレームのいずれにおいても、映像信号及び差分信号の両方を取得することができる。

【0099】

なお、第２の実施形態に係る画素回路１Ａは、画素回路１に比べて回路規模が大きくなってしまう欠点がある。したがって、図１に示したような３次元構造を採用することにより、カウンタを画素ごとに信号処理装置１０Ａを搭載しても画素サイズの増大を避けることでき、高解像度な撮像が実現できる。

【0100】

なお、第２の実施形態では、２つのカウンタを逆相に備える構成としたが、カウンタを増やさずに（すなわち第１の実施形態と同様のハードウェア構成により）、奇数フレーム及び偶数フレームの両方において映像信号及び差分信号の両方を取得したいという要望も考えられる。この場合、隣接する画素のカウンタを逆相で駆動することにより、実現可能である。すなわち、隣接する画素のいずれかを用いることにより空間的な解像度を落とす代わりに、時間的な解像度を上げることができる。この場合、失われた空間的な解像度を向上させるため、隣接する画素どうしで既存の画像補間処理技術を適用してもよい。

【0101】

本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。また、本発明はこうした実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0102】

５ 固体撮像素子
１ 画素回路
１０ 信号処理装置
１１ パルス信号取得部
１２ カウンタ部
１３ トリガ信号発生回路
２０ 光量検出装置
２１ フォトダイオード
２２ インバータチェーン
２３ リセットトランジスタ
Ｓ１ 第１信号
Ｓ２ 第２信号
１１０ 第１信号処理部
１２０ 第２信号処理部
１１１ 第１カウンタ部
１１２ 第２カウンタ部
Ｔ１ 第１期間
Ｔ２ 第２期間

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】