知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-21
(45)【発行日】2024-03-29
(54)【発明の名称】非同期時系列画像センシングのためのシステムおよび方法
(51)【国際特許分類】
H04N 25/47 20230101AFI20240322BHJP
H04N 25/40 20230101ALI20240322BHJP
H04N 25/772 20230101ALI20240322BHJP
【ＦＩ】
H04N25/47
H04N25/40
H04N25/772
【請求項の数】
23
(21)【出願番号】P 2020560332
(86)(22)【出願日】2019-04-30
(65)【公表番号】
(43)【公表日】2021-08-30
(86)【国際出願番号】 EP2019061133
(87)【国際公開番号】W WO2019211317
(87)【国際公開日】2019-11-07
【審査請求日】2022-03-18
(31)【優先権主張番号】18170201.0
(32)【優先日】2018-04-30
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】519145230
【氏名又は名称】プロフェセ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(74)【代理人】
【識別番号】100196601
【弁理士】
【氏名又は名称】酒井 祐市
(72)【発明者】
【氏名】フィネトゥ，トーマス
(72)【発明者】
【氏名】マトリン，ダニエル
(72)【発明者】
【氏名】ポッシュ，クリストフ
【審査官】鈴木 肇
(56)【参考文献】
【文献】特表２０１６－５３３１４０（ＪＰ，Ａ）
【文献】特表２０１０－５１０７３２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／００５３４０７（ＵＳ，Ａ１）
【文献】Christian Brandli,外4名，A 240 × 180 130 dB 3 us Latency Global Shutter Spatiotemporal Vision Sensor,[online]，IEEE Journal of Solid-State Circuits，米国，IEEE，2014年10月，Vol.49, No.10，2333-2341，[令和5年2月13日検索]，インターネット <URL：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6889103>
【文献】Christoph Posch, 外3名，Retinomorphic Event-Based Vision Sensors: Bioinspired Cameras With Spiking Output, [online]，Proceedings of the IEEE，米国，IEEE，2014年10月，Vol.102, No.10，1470-1484，[令和5年2月13日検索]，インターネット <URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6887319>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／３０ －５／３３
Ｈ０４Ｎ ２３／１１
Ｈ０４Ｎ ２３／２０ －２３／３０
Ｈ０４Ｎ ２５／００
Ｈ０４Ｎ ２５／２０ －２５／６１
Ｈ０４Ｎ ２５／６１５－２５／７９
(57)【特許請求の範囲】
【請求項1】
複数の画素であって、各画素が：受光素子と；
前記受光素子に接続され、前記受光素子に入射する光の強度に比例する電流信号を第１の出力上で供給し、前記受光素子に入射する光の強度の対数となる電圧信号を第２の出力上で供給するように適合される光信号変換器と；
検出器であって、前記光信号変換器の第２の出力の電圧信号に比例する前記検出器の信号が閾値を超える場合に、自律的に、そして他の画素の検出器から独立にトリガ信号を生成するように適合される検出器と；
前記光信号変換器の第１の出力に接続され、前記受光素子上の光強度を測定して時間領域にエンコードするように適合される光－時間変換器と、
を含む非同期時系列画像センサであって、光－時間変換サイクルが、前記検出器からのトリガ信号の受信に応答して、光－時間変換器によって開始される、非同期時系列画像センサ。
【請求項2】
前記光－時間変換器が、前記光－時間変換サイクルの開始および／または前記光－時間変換サイクルの完了を、前記複数の画素の外部にある読み出しシステムに通信するように適合される、請求項１に記載の非同期時系列画像センサ。
【請求項3】
前記光－時間変換器が、前記光－時間変換サイクル中に前記光信号変換器の第１の出力の電流信号によって充電されるように適合される少なくとも１つのキャパシタを含み、さらに前記光－時間変換サイクルが、前記キャパシタにかかる電圧が基準電圧に達したことを比較器で検出することに応答して、前記光－時間変換器によって完了される、請求項２に記載の非同期時系列画像センサ。
【請求項4】
前記読み出しシステムが、各画素に対するアドレス情報を、それぞれの前記画素の光－光変換器から受信した前記光－時間変換サイクルの開始および完了の情報と組み合わせるように適合される、請求項３に記載の非同期時系列画像センサ。
【請求項5】
前記各画素に対する画素アドレス情報と前記光－時間変換サイクルの開始および完了の情報とが、前記複数の画素の外部にあるデジタル処理システムによって同期してタイムスタンプを付与される、請求項４に記載の非同期時系列画像センサ。
【請求項6】
前記基準電圧が複数の基準電圧レベルの間で可変であり、随意に、前記キャパシタにかかる電圧が基準電圧に達するたびに、前記基準電圧が、異なる基準電圧レベルに減少する、請求項３から５のいずれか一項に記載の非同期時系列画像センサ。
【請求項7】
前記光－時間変換器が、キャパシタと並列するスイッチを開くことによって前記光－時間変換サイクルを開始するように、および／または前記スイッチを開いて前記光－時間変換サイクルを開始する前に、前記スイッチを閉じて前記キャパシタを放電するように適合される、請求項１から６のいずれか一項に記載の非同期時系列画像センサ。
【請求項8】
前記光－時間変換器が、前記検出器からのトリガ信号の受信に応答して、リセット信号を前記検出器に送信するように適合される、請求項１から７のいずれか一項に記載の非同期時系列画像センサ。
【請求項9】
前記光－時間変換器が、現在の光－時間変換サイクルの完了前に別のトリガ信号が受信される場合に、リセットして新しい光－時間変換サイクルを開始するように適合される、請求項１から８のいずれか一項に記載の非同期時系列画像センサ。
【請求項10】
前記光信号変換器への第１の供給電圧が、前記光－時間変換器への第２の供給電圧とは異なる、請求項１から９のいずれか一項に記載の非同期時系列画像センサ。
【請求項11】
前記光信号変換器が利得ブースト光信号変換器である、請求項１から１０のいずれか一項に記載の非同期時系列画像センサ。
【請求項12】
請求項１に記載の非同期時系列画像センサであって、前記光－時間変換器が：
並列して前記光信号変換器の第１の出力に接続されたキャパシタおよびスイッチと；
前記第１の出力に接続された比較器と；
前記比較器と前記検出器に接続された論理回路であって、前記検出器からのトリガ信号の受信に応答して、前記スイッチを開くことにより、前記光－時間変換サイクルを開始するように、前記キャパシタにかかる電圧が基準電圧に達したことを前記比較器が検出したことに応答して、前記光－時間変換サイクルを完了するように、そして前記光－時間変換サイクルの開始および完了を、前記非同期時系列画像センサの外部にある読み出しシステムに通信するように適合された論理回路と、
を含み、
前記キャパシタが、前記光信号変換器の第１の出力の電流信号によって光－時間変換サイクル中に充電されるように適合される、非同期時系列画像センサ。
【請求項13】
前記光信号変換器への第１の供給電圧が、前記キャパシタ、前記スイッチ、および前記比較器への第２の供給電圧とは異なる、請求項１２に記載の非同期時系列画像センサ。
【請求項14】
複数の画素であって、各画素が、受光素子と、前記受光素子に接続された光信号変換器と、検出器と、前記光信号変換器に接続された光－時間変換器とを含む複数の画素を用いる、非同期時系列画像センシングを提供する方法であって：前記受光素子に入射する光の強度に比例する電流信号を前記光信号変換器の第１の出力で供給することと；
前記受光素子に入射する光の強度の対数となる電圧信号を前記光信号変換器の第２の出力で供給することと；
前記光信号変換器の第２の出力の電圧信号に比例する前記検出器の信号が閾値を超える場合に、前記検出器を用いて、自律的に、そして他の画素の検出器とは独立にトリガ信号を生成することと；
前記光－時間変換器を用いて、前記受光素子上での光強度を時間経過情報にエンコードすることであって、前記時間経過情報が、光－時間変換サイクルの開始時間と前記光－時間変換サイクルの完了時間とを含むことと、
を含み、
前記光－時間変換サイクルが、前記検出器からのトリガ信号の受信に応答して、前記光－時間変換器によって開始される方法。
【請求項15】
前記光－時間変換器を用いて、前記光－時間変換サイクルの開始時間を、前記複数の画素の外部にある読み出しシステムに通信することと；前記光－時間変換器を用いて、前記光－時間変換サイクルの完了時間を前記読み出しシステムにさらに通信することと、
をさらに含む、請求項１４に記載の非同期時系列画像センシング方法。
【請求項16】
前記光－時間変換サイクル中に、前記光信号変換器の第１の出力の電流信号を用いてキャパシタを充電することと；前記キャパシタにかかる電圧が基準電圧に達したと判断される場合に、比較器を用いて、前記光－時間変換サイクルの完了時間を検出することと、
をさらに含む、請求項１５に記載の非同期時系列画像センシング方法。
【請求項17】
前記読み出しシステムにおいて、各画素に対するアドレス情報を、それぞれの前記画素の光－光変換器から受信した前記光－時間変換サイクルの開始および完了の情報と組み合わせることと、をさらに含む、請求項１６に記載の非同期時系列画像センシング方法。
【請求項18】
前記複数の画素の外部にあるデジタル処理システムによって、前記各画素に対する画素アドレス情報と前記光－時間変換サイクルの開始および完了の情報とを同期させタイムスタンプを付与することと、をさらに含む、請求項１６または１７に記載の非同期時系列画像センシング方法。
【請求項19】
前記基準電圧を複数の基準電圧レベルの間で変化させ、随意に、前記キャパシタにかかる電圧が前記基準電圧に達するたびに、前記基準電圧をさらに低い基準電圧レベルに減少させることをさらに含む、請求項１６から１８のいずれか一項に記載の非同期時系列画像センシング方法。
【請求項20】
キャパシタと並列するスイッチを開いて、前記光－時間変換サイクルを開始すること、をさらに含む、請求項１４から１９のいずれか一項に記載の非同期時系列画像センシング方法。
【請求項21】
前記スイッチを開いて前記光－時間変換サイクルを開始する前に、前記スイッチを閉じて前記キャパシタを放電すること、をさらに含む、請求項２０に記載の非同期時系列画像センシング方法。
【請求項22】
前記検出器からのトリガ信号の受信に応答してリセット信号を前記検出器に送信することをさらに含む、請求項１４から２１のいずれか一項に記載の非同期時系列画像センシング方法。
【請求項23】
現在の光－時間変換サイクルの完了前に別のトリガ信号を受信する場合に、リセットして新たな光－時間変換サイクルを開始することと；前記複数の画素の外部にある読み出しシステムにキャンセル信号を送信することと、
を含む、請求項１４から２２のいずれか一項に記載の非同期時系列画像センシング方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は概して、画像センシングの分野に関する。より詳細には、そして限定することなく、この開示は、非同期時系列画像センシングのためのシステムおよび方法に関する。本明細書に開示された画像センサおよび技術は、セキュリティシステム、自律車両、および速やかで効率的な動き検出から恩恵を得る他のシステムなどの、様々な応用および視覚システムに使用してもよい。
【背景技術】
【0002】
既存の画像センサは、場面のデジタル画像を取り込むために、半導体電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）センサ、Ｎ型金属酸化膜半導体（ＮＭＯＳ）センサ、またはその他のセンサを含む複数の画素を使用している。しかしながら、従来の画像センサは、各フレームごとに場面の全体画像として取り込むため、速やかな動きの検出には低速である。さらに、こうした画像センサは、大量のデータを生成しており、取り込まれた画像から例えば動きの情報をふるいにかけるために必要な後処理の量を指数関数的に増加させてしまう。
【0003】
実際、多くの既存技術は、全体画像を取り込む画像センサにより提供される膨大な詳細を必要としているわけではない。例えば、セキュリティシステムやその他の同様のシステムは、対象にしているのが動きのデータのみであって動きのない画像の部分ではない場合がある。別の例では、自律車両は、人間の知覚時間（概して１秒以下のオーダー）と同等での意思決定を行うために、取り込まれたデータを迅速かつ効率的に処理しなければならない。このような効率性は、その状況にとって意味のある取り込まれたデータの部分を得るために大量のデータを（例えば、後処理を介して）廃棄しなければならない場合には、頭打ちになる。
【発明の概要】
【課題を解決するための手段】
【0004】
前述の観点から、本開示の実施形態は、複数の画素を有する非同期画像センサを提供する。非同期的に動作することにより、画像センサは、既存の画像センサよりも、使用される電力が少なく、生成される余分なデータが少ない。加えて、非同期画像センサの出力は、対象となる画素（例えば、ことによると動きに起因して、変化を起こす画素）に限定され、対象となる画素を特定するための、コストのかかるまたは非効率的な後処理は要らなくなる。したがって、取り込まれた画像におけるデータの冗長性の低減が、コストのかかる後処理によってではなく、画素自体によって実行される。
【0005】
さらに、本開示の実施形態は、時系列画像センサを提供する。画像センサ内で光－時間変換を実行することにより、アナログ出力に必要な、デジタル出力への変換のための後処理が少ない。加えて、光－時間変換は、画素ごとに実行されてもよい。これにより、複雑な読み出しシステムの必要性が低減されるが、その理由は、画素の出力が、補助回路によるさらなる処理、例えばサンプリングおよび保持、ならびに／または他の処理を必要とせず、デジタル信号に即時変換できるようになっているからである。
【0006】
本開示の代表的な実施形態によれば、複数の画素を含む非同期時系列画像センサが提供される。画素は、アレイ状に配列されてもよい。各画素は、受光素子と、受光素子に接続された光信号変換器と、検出器と、光信号変換器の第１の出力に接続された光－時間変換器とを含んでもよい。光信号変換器は、受光素子に入射する光の強度に比例する電流信号を第１の出力上で提供するように、そして受光素子に入射する光の強度の対数となる電圧信号を第２の出力上で提供するように、構成されてもよい。検出器は、光信号変換器の第２の出力の電圧信号に比例する検出器の信号が少なくとも１つの閾値を超える場合に、自律的に、そして他の画素の検出器とは独立にトリガ信号を生成するように、構成されてもよい。いくつかの実施形態では、検出器の信号は、電圧信号または電流信号である。さらなる実施形態では、検出器は、光信号変換器の第２の出力の事前定義された条件を検出することに応答してトリガ信号を生成するように、構成される。
【0007】
いくつかの実施形態では、光－時間変換器は、受光素子上の光強度を測定し時間領域にエンコードするように、構成されてもよい。いくつかの実施形態では、光－時間変換サイクルは、検出器からのトリガ信号の受信に応答して光－時間変換器によって開始される。
【0008】
いくつかの実施形態では、光－時間変換器は、光－時間変換サイクルの開始を複数の画素の外部にある読み出しシステムに通信するように、構成されてもよい。加えて、または代わりに、光－時間変換器は、光－時間変換サイクルの完了を読み出しシステムに通信するように、構成されてもよい。
【0009】
光－光変換器が読み出しシステムと通信するいずれの実施形態でも、読み出しシステムは、各画素に対するアドレス情報を、それぞれの画素の光－時間変換器から受信した光－時間変換サイクルの開始および完了の情報と組み合わせるように、構成されてもよい。そのような実施形態では、画素アドレス情報と、光－時間変換サイクルの開始および完了の情報とは、複数の画素の外部にあるデジタル処理システムによって同期してタイムスタンプを付与されてもよい。
【0010】
上に列挙されたいずれの実施形態でも、光－時間変換器は、光信号変換器の第１の出力の電流信号によって光－時間変換サイクル中に充電されるように構成される少なくとも１つのキャパシタを含んでもよく、そして光－時間変換サイクルは、キャパシタにかかる電圧が基準電圧に達したことを、比較器を用いて検出することに応答して、光－時間変換器によって完了させてもよい。そのような実施形態では、基準電圧は、複数の基準電圧レベルの間で可変であってもよい。例えば、光－時間変換器は、キャパシタにかかる電圧が基準電圧に達するたびに基準電圧を異なる基準電圧レベルに減少させるように、構成されてもよい。
【0011】
上に列挙されたいずれの実施形態でも、光－時間変換器は、キャパシタと並列するスイッチを開くことによって光－時間変換サイクルを開始するように、構成されてもよい。そのような実施形態では、光－時間変換器はまた、スイッチを開いて光－時間変換サイクルを開始する前にスイッチを閉じてキャパシタを放電するように、構成されてもよい。
【0012】
上に列挙されたいずれの実施形態でも、光－時間変換器は、検出器からのトリガ信号の受信に応答してリセット信号を検出器に送信するように、構成されてもよい。さらに、または代りに、光－時間変換器は、現在の光－時間変換サイクルの完了前に別のトリガ信号が受信される場合に、リセットして新たな光－時間変換サイクルを開始するように、さらに構成されてもよい。
【0013】
上に列挙されたいずれの実施形態でも、光信号変換器への第１の供給電圧は、光－時間変換器への第２の供給電圧と異なっていてもよい。
【0014】
上に列挙されたいずれの実施形態でも、光信号変換器は、利得ブースト光信号変換器であってもよい。
【0015】
本開示の別の代表的な実施形態によれば、複数の画素を含む非同期時系列画像センサが提供される。各画素は、受光素子と；受光素子に接続された光信号変換器と；検出器と；並列に、そして光信号変換器の第１の出力に接続されたキャパシタおよびスイッチと；第１の出力に接続された比較器と；比較器および検出器に接続された論理回路とを含んでもよい。光信号変換器は、受光素子に入射する光の強度に比例する電流信号を第１の出力上で供給し、受光素子に入射する光の強度の対数となる電圧信号を第２の出力上で供給するように、構成されてもよい。検出器は、光信号変換器の第２の出力の電圧信号に比例する検出器の信号が閾値を超える場合に、自律的に、そして他の画素の検出器とは独立に自律的にトリガ信号を生成するように、構成されてもよい。いくつかの実施形態では、検出器の信号は、電圧信号または電流信号である。さらなる実施形態では、検出器は、光信号変換器の第２の出力の事前定義された条件を検出することに応答してトリガ信号を生成するように、構成される。
【0016】
いくつかの実施形態では、論理回路は、検出器からのトリガ信号の受信に応答してスイッチを開くことによって光－時間変換サイクルを開始するように、そしてキャパシタにかかる電圧が基準電圧に達したことを比較器が検出したことに応答して光－時間変換サイクルを完了するように、構成されてもよい。さらに、論理回路は、光－時間変換サイクルの開始および完了を、画像センサの外部にある読み出しシステムに通信するように、構成されてもよい。上記の実施形態では、キャパシタは、光信号変換器の第１の出力の電流信号によって光－時間変換サイクル中に充電されてもよい。
【0017】
いくつかの実施形態では、読み出しシステムは、各画素に対するアドレス情報を、それぞれの画素の論理回路から受信した光－時間変換サイクルの開始および完了の情報と組み合わせるように、構成されてもよい。そのような実施形態では、画素アドレス情報と、光－時間変換サイクルの開始および完了の情報とは、複数の画素の外部にあるデジタル処理システムによって同期してタイムスタンプを付与されてもよい。
【0018】
上に列挙されたいずれの実施形態でも、基準電圧は、複数の基準電圧レベルの間で可変であってもよい。そのような実施形態では、比較器は、キャパシタにかかる電圧が基準電圧に達するたびに基準電圧を異なる基準電圧レベルに減少させるように、構成されてもよい。
【0019】
上に列挙されたいずれの実施形態でも、論理回路は、スイッチを開いて光－時間変換サイクルを開始する前にスイッチを閉じてキャパシタを放電するように、構成される。さらに、または代わりに、論理回路は、検出器からのトリガ信号の受信に応答してリセット信号を検出器に送信するように、構成されてもよい。さらに、または代わりに、論理回路は、現在の光－時間変換サイクルの完了前に別のトリガ信号が受信される場合に、リセットして新たな光－時間変換サイクルを開始するように、構成されてもよい。
【0020】
上に列挙されたいずれの実施形態でも、光信号変換器への第１の供給電圧は、キャパシタ、スイッチ、および比較器への第２の供給電圧とは異なっていてもよい。
【0021】
上に列挙されたいずれの実施形態でも、光信号変換器は、利得ブースト光信号変換器であってもよい。
【0022】
本開示の別の代表的な実施形態によれば、複数の画素を有する非同期時系列画像センシングのための方法が提供される。各画素は、受光素子と、受光素子に接続された光信号変換器と、検出器と、光信号変換器に接続された光－時間変換器とを含んでもよい。この方法は、受光素子に入射する光の強度に比例する電流信号を光信号変換器の第１の出力で提供し、受光素子に入射する光の強度の対数となる電圧信号を光信号変換器の第２の出力で提供することを含む。この方法は、光信号変換器の第２の出力の電圧信号に比例する検出器の信号が少なくとも１つの閾値を超える場合に、検出器を用いて、自律的に、そして他の画素の検出器と独立にトリガ信号を生成することと、光－時間変換器を用いて、受光素子上の光強度を時間経過情報にエンコードすることとをさらに含み、時間経過情報は、光－時間変換サイクルの開始時間と光－時間変換サイクルの完了時間とを含む。いくつかの実施形態では、光－時間変換サイクルは、検出器からのトリガ信号の受信に応答して光－時間変換器によって開始される。いくつかの実施形態では、検出器の信号は、電圧信号または電流信号である。さらなる実施形態では、方法は、光信号変換器の第２の出力の事前定義された条件を検出することに応答してトリガ信号を生成することを含んでもよい。
【0023】
いくつかの実施形態では、方法は、光－時間変換器を用いて、光－時間変換サイクルの開始時間を複数の画素の外部にある読み出しシステムに通信することと、光－時間変換器を用いて、光－時間変換サイクルの完了時間を読み出しシステムにさらに通信することとを、さらに含んでもよい。
【0024】
上に列挙されたいずれの実施形態でも、方法は、光信号変換器の第１の出力の電流信号を使用してキャパシタを光－時間変換サイクル中に充電することと、キャパシタにかかる電圧が基準電圧に達したと判断される場合に、光－時間変換サイクルの完了時間を、比較器を用いて検出することとを、さらに含んでもよい。
【0025】
上に列挙されたいずれの実施形態でも、方法は、読み出しシステムにおいて、各画素に対するアドレス情報を、それぞれの画素の光－時間変換器から受信した光－時間変換サイクルの開始および完了の情報と組み合わせることをさらに含んでもよい。そのような実施形態では、方法は、複数の画素の外部にあるデジタル処理システムによって、画素アドレス情報と光－時間変換サイクルの開始および完了の情報とを同期させてタイムスタンプを付与することを、さらに含んでもよい。
【0026】
上に列挙されたいずれの実施形態でも、方法は、複数の基準電圧レベルの間で基準電圧を変化させることをさらに含んでもよい。そのような実施形態では、方法は、キャパシタにかかる電圧が基準電圧に達するたびに基準電圧をさらに低い基準電圧レベルに減少させることをさらに含んでもよい。
【0027】
上に列挙されたいずれの実施形態でも、方法は、光－時間変換サイクルを開始することをさらに含んでもよく、キャパシタと並列するスイッチを開くことを含む。さらに、または代わりに、方法は、スイッチを開いて光－時間変換サイクルを開始する前にスイッチを閉じてキャパシタを放電することをさらに含んでもよい。
【0028】
上に列挙されたいずれの実施形態でも、方法は、検出器からのトリガ信号の受信に応答してリセット信号を検出器に送信することをさらに含んでもよい。さらに、または代わりに、方法は、現在の光－時間変換サイクルの完了前に別のトリガ信号が受信される場合に、リセットして新しい光－時間変換サイクルを開始することと、複数の画素の外部にある読み出しシステムにキャンセル信号を送信することとを、さらに含んでもよい。
【0029】
本開示のさらなる目的および利点は、以下の詳細な記載において一部が規定されることになり、一部が自明となるが、あるいは本開示の実施により教示される場合もある。本開示の目的および利点は、添付の特許請求の範囲に具体的に指摘された構成要素および組み合わせによって実現され、達成されることになる。
【0030】
前述の一般的な記載および以下の詳細な記載は、代表的なものであって説明のためのものであり、開示された実施形態を制限するものではないことは理解されよう。
【0031】
添付図面は、本明細書の一部を含んでいて、いくつかの実施形態を例示しており、開示された実施形態の原理および特徴を、記載とともに説明する役割をはたす。それらの図面では：
【図面の簡単な説明】
【0032】
【図1】本開示の実施形態に従う、代表的な画素の概略図である。
【図3】本開示の実施形態に従う、時系列画像センシングのための代表的な方法のフローチャートである。
【図4A】本開示の実施形態に従う、代表的な光信号変換器の概略図である。
【図4B】本開示の実施形態に従う、別の代表的な光信号変換器の概略図である。
【図5】本開示の実施形態に従う、代表的な検出器の概略図である。
【図7】本開示の実施形態に従う、代表的な光－時間変換器の概略図である。
【図8】本開示の実施形態に従う、別の代表的な光－時間変換器の概略図である。
【図9】図９Ａは本開示の実施形態に従う、図７または図８の光－時間変換器による光－時間変換の図示である。 図９Ｂは本開示の実施形態に従う、図７または図８の光－時間変換器による速やかで順次のトリガを用いた光－時間変換の図示である。 図９Ｃは本開示の実施形態に従う、図７または図８の光－時間変換器による基準電圧の変化を用いた光－時間変換の図示である。
【図10】本開示の実施形態に従う、画像センサの代表的な画素の概略図である。
【図11】本開示の実施形態に従う、画像センサの別の代表的な画素の概略図である。
【図12】既存の画像センサおよび本開示の実施形態に従う画像センサからの出力例を図示する。
【発明を実施するための形態】
【0033】
開示された実施形態は、非同期時系列画像センシングのためのシステムおよび方法に関する。有利には、代表的実施形態は、高速で効率的な画像センシングを提供することができる。本開示の代表的な実施形態は、セキュリティシステム、自律車両、および速やかで効率的な動き検出から恩恵を得る他のシステムなどの、様々な応用および視覚システムに使用してもよい。本開示の実施形態は、概して撮像システムを参照しつつ記載されているが、そのようなシステムは、カメラ、ＬＩＤＡＲ、または他の撮像システムの一部であってもよいことは理解されよう。
【0034】
本開示の一態様によれば、非同期時系列画像センサが記載される。画像センサは、複数の画素を有してもよい。本明細書で使用されるとおり、「画素」は、光を電気信号に変換するセンサの最小の構成要素を指す。また、本明細書に開示されるとおり、画素は、撮像システムに適したいかなるサイズおよび形状のアレイで提供されてもよい。
【0035】
いくつかの実施形態では、各画素は、受光素子を含んでもよい。例えば、受光素子は、フォトダイオード（例えば、ｐ－ｎ接合またはＰＩＮ構造をとるもの）または光を電気信号に変換するように構成される他のいずれの構成要素を含んでもよい。フォトダイオードは、フォトダイオードに入射する光の強度に比例する電流ＩＰｈを生成する場合がある。
【0036】
いくつかの実施形態では、各画素は、受光素子に接続された光信号変換器をさらに含んでもよい。光信号変換器は、受光素子に入射する光の強度に比例する電流信号を第１の出力上で提供するように、そして受光素子に入射する光の強度の対数となる電圧信号を第２の出力上で提供するように構成されてもよい。例えば、光信号変換器は、複数のトランジスタ、例えば金属酸化物半導体（ＭＯＳ）トランジスタ、相補型金属酸化物半導体（ＣＭＯＳ）トランジスタ、または電子信号を増幅または切り替えするように構成される他のいずれの三端子回路素子を含んでもよい。
【0037】
いくつかの実施形態では、各画素は、検出器をさらに含んでもよい。検出器は、光信号変換器の第２の出力の電圧信号に比例する検出器の信号が閾値を超える場合に、自律的に、そして他の画素の検出器とは独立にトリガ信号を生成するように、構成されてもよい。例えば、検出器は、制御信号を受信するとリセットするように、そして閾値を超える場合にトリガ信号を送信するように配置される、１つまたは複数の電圧比較器と１つまたは複数のキャパシタとを含んでもよい。
【0038】
いくつかの実施形態では、各画素は、光信号変換器の第１の出力に接続された光－時間変換器をさらに含んでもよい。光－時間変換器は、受光素子上の光強度を測定し時間領域にエンコードするように構成されてもよい。例えば、光－時間変換器は、比較器だけでなく、キャパシタと、並列するスイッチとを含んでもよい。光－時間変換サイクルは、検出器からのトリガ信号の受信に応答して、光－時間変換器によって開始されてもよい。したがって、光強度は、トリガ信号と光－時間変換器の比較器からの完了信号との間の時間にエンコードされてもよい。
【0039】
本明細書で使用されるとおり、用語「キャパシタ」は、２枚の平行な（または実質的に平行な）プレートを含む個別装置であって、随意にその間に誘電体を有するものを指す、または回路ノードに存在する寄生容量、例えば、他の回路構成要素の半導体実装部に起因するものを指す。
【0040】
本開示の別の態様によれば、少なくとも１つのキャパシタを含む別の非同期時系列画像センサが記載される。画像センサは、上記のとおり、複数の画素を有してもよい。いくつかの実施形態では、各画素は、上記のとおり、受光素子を含んでもよい。さらに、各画素は上記のとおり、受光素子と検出器とに接続された光信号変換器を含んでもよい。
【0041】
いくつかの実施形態では、各画素は、並列して光信号変換器の第１の出力に接続されたキャパシタおよびスイッチと、同じく第１の出力に接続された比較器とをさらに含んでもよい。いくつかの実施形態では、各画素は、比較器と検出器とに接続された論理回路をさらに含んでもよい。論理回路は、検出器からのトリガ信号の受信に応答してスイッチを開くことによって光－時間変換サイクルを開始し、キャパシタにかかる電圧が基準電圧に達したことを比較器が検出したことに応答して光－時間変換サイクルを完了するように、構成されてもよい。さらに、論理回路は、光－時間変換サイクルの開始および完了を、（例えば、アドレス－イベント表現（ＡＥＲ）プロトコルを使用して）画像センサの外部にあるシステムまたはデータベースに通信するように、構成されてもよい。上記の実施形態では、キャパシタは、光信号変換器の第１の出力の電流信号によって光－時間変換サイクル中に充電されてもよい。
【0042】
本開示の別の態様によれば、複数の画素を用いた非同期時系列画像センシングのための方法が提供される。上で説明したとおり、各画素は、受光素子と、受光素子に接続された光信号変換器と、検出器と、光信号変換器に接続された光－時間変換器とを含んでもよい。
【0043】
いくつかの実施形態では、方法は、受光素子に入射する光の強度に比例する電流信号を、光信号変換器の第１の出力で提供することを含んでもよい。例えば、上で説明したとおり、複数のトランジスタが、第１の出力を提供するように配置されてもよい。
【0044】
いくつかの実施形態では、方法は、受光素子に入射する光の強度の対数となる電圧信号を、光信号変換器の第２の出力で提供することをさらに含んでもよい。例えば、複数のトランジスタは、第１の出力に加えて、第２の出力を提供するように配置されてもよい。
【0045】
いくつかの実施形態では、方法は、光信号変換器の第２の出力の電圧信号に比例する検出器の信号が閾値を超える場合に、検出器を用いて、自律的に、そして他の画素の検出器と独立にトリガ信号を生成することを、さらに含んでもよい。例えば、複数の比較器およびキャパシタが、トリガ信号を生成するように配置されてもよい。いくつかの実施形態では、検出器の信号は、電圧信号または電流信号である。さらなる実施形態では、検出器は、光信号変換器の第２の出力の事前定義された条件を検出することに応答してトリガ信号を生成するように、構成される。
【0046】
いくつかの実施形態では、方法は、光－時間変換器を用いて受光素子上の光強度を時間経過情報にエンコードすることをさらに含んでもよい。時間経過情報は、光－時間変換サイクルの開始時間（例えば、トリガ信号に基づくもの）と、光－時間変換サイクルの完了時間（例えば、光－時間変換器からの完了信号に基づくもの）とを含んでもよい。光－時間変換サイクルは、検出器からのトリガ信号の受信に応答して、光－時間変換器によって開始されてもよい。
【0047】
図１は、本開示の実施形態と整合する、代表的な画素１００の概略図である。図１の例に示すとおり、画素１００は、受光素子１０１（例えば、フォトダイオード）と、光信号変換器１０３とを含む。受光素子１０１は、素子１０１に入射する光の強度に比例する電流ＩＰｈを生成してもよい。光信号変換器１０３は、ＩＰｈを入力として受容し、２つの出力（ｏｕｔ１およびｏｕｔ２）を提供する。第１の出力（ｏｕｔ１）は、受光素子に入射する光の強度に比例する電流信号を出力してもよい。第２の出力（ｏｕｔ２）は、受光素子に入射する光の強度の対数となる電圧信号を出力してもよい。
【0048】
図１にさらに図示されるとおり、第２の出力（ｏｕｔ２）は、検出器１０５によって受信されてもよい。検出器１０５は、光信号変換器１０３の第２の出力の電圧信号に比例する検出器の信号が閾値を超える場合に、自律的に、そして他の画素の検出器から独立にトリガ信号を生成するように、構成されてもよい。いくつかの実施形態では、検出器の信号は、電圧信号または電流信号を含んでもよい。さらなる実施形態では、検出器は、光信号変換器の第２の出力の事前定義された条件を検出することに応答してトリガ信号を生成するように、構成される。図１に示すとおり、検出器１０５は、トリガ信号を光－時間変換器１０７に送信してもよい。さらに、検出器１０５は、光－時間変換器１０７が制御信号を検出器１０５に送信した後にリセットしてもよい。
【0049】
図１にさらに図示されるとおり、第１の出力（ｏｕｔ１）は、光－時間変換器１０７によって受信されてもよい。光－時間変換器１０７は、受光素子上の光強度を測定し時間領域にエンコードするように、構成されてもよい。例えば、光－時間変換器１０７は、トリガ信号と、光－時間変換器１０７のキャパシタにかかる電圧が基準電圧に達する時間との間の時間に光強度をエンコードしてもよい。特定の態様では、光－時間変換器１０７は、エンコード中に基準電圧を変化させてもよい。したがって、光－時間変換器は、トリガ信号と、光－時間変換器１０７のキャパシタにかかる電圧が、対応する基準電圧に達する複数の時間との間の時間に光強度をエンコードしてもよい。
【0050】
図１にさらに図示されるとおり、光－時間変換器１０７は、エンコードされた強度を読み出し回路１０９に送信してもよい。例えば、光－時間変換器１０７は、トリガ信号および完了信号（または基準電圧を変化させる実施形態では複数の完了信号）を、読み出し回路１０９に送信してもよい。図１に示すとおり、読み出し回路１０９は、画素１００の外部にあってもよい。いくつかの実施形態では、読み出し回路１０９は、ＡＥＲを用いる回路を含んでもよい（例えば、図２Ｂを見られたい）。
【0051】
図２Ａは、複数の画素を含む画像センサ２００の概略図である。例えば、センサ２００の各画素は、図１の画素１００を含んでもよい。図２Ａでは、画像センサ２００は、画素１００ａ、１００ｂ、１００ｃ、１００ｄ、１００ｅ、１００ｆ、１００ｇ、および１００ｈを有するものとして図示される。８つの画素（１００ａ～１００ｈ）を有するものとして図示されているものの、画像センサ２００には、いずれの数の画素が使用されてもよい。また、矩形のアレイで図示されているものの、画像センサ２００の画素は、正方形、ひし形、平行四辺形、矩形、円形、楕円形など、あらゆる好適な形状に配置されてもよい。
【0052】
図２Ａにさらに図示されるとおり、読み出し１０９は、画素１００ａ、１００ｂ、１００ｃ、１００ｄ、１００ｅ、１００ｆ、１００ｇ、および１００ｈの外部にありつつもセンサ２００の一部を形成する読み出し回路として、実装されてもよい。代替実施形態（図示せず）では、読み出し１０９は、画素１００ａ、１００ｂ、１００ｃ、１００ｄ、１００ｅ、１００ｆ、１００ｇ、および１００ｈの外部にあるだけでなく、センサ２００の外部であってもよい。
【0053】
図２Ｂは、イベント読み出し回路１１１を有する代表的な画素１００の概略図である。図２Ｂの画素１００は、フォトダイオードＰＤ（図１の受光素子１０１に類似するもの）と、２つの出力（ｏｕｔ１およびｏｕｔ２）を含む光信号変換器１０３と、検出器１０５と、光－時間変換器１０７とを含む。図２Ｂにさらに図示されるとおり、光－時間変換器１０７は、回路１１１に信号を送るが、この回路は画素１００の外部にあってもよい。図２Ｂの例では、回路１１１は、例えば従来のＡＥＲプロトコルを使用して複数の画素のそれぞれと通信するように構成されるイベント読み出し回路である。したがって、回路１１１は、画素１００からパルス（またはパルス縁）の時間を、他の画素（図示せず）の他の光－時間変換器からの時間とともに読み出してもよい。さらに、回路１１１は、読み出された時間を処理ユニットまたは記憶装置１１３に転送してもよい。図２Ｂに図示されるとおり、処理ユニットまたはメモリ１１３は、画素１００および回路１１１の外部にあってもよく、そしてセンサの外部にあってもよい。
【0054】
回路１１１にＡＥＲプロトコルを使用することにより、アレイ内の各画素は、画素が通信するためのイベントを有するならば、いずれの時点でも、個別に、そして自律的に出力信号へのアクセスを要求することができる。そのようなイベントは、例えば、光－時間変換の始まりまたは終わりであってもよい。回路１１１は、要求画素のアドレス（例えば、座標でエンコードするアレイ内の場所）とタイムスタンプとを、画素から受信したイベント識別子に追加してもよい。次いで、回路１１１は、アドレスと、タイムスタンプと、イベントとを含む得られたデータパケットを、デジタルバスを介して処理ユニットまたは記憶装置（例えば、図２Ｂの１１３）に送信して、肯定応答信号を要求画素に返してもよい。
【0055】
上記のとおり、回路１１１は、例えば、行単位および列単位の要求、ならびに肯定応答線に基づいて、あらゆる画素間で共有されてもよい。画素からの要求が衝突するというまれなイベントでは、回路１１１へのアクセスは、衝突およびそれに続くデータの消失を避けるために要求をキューに入れる回路（図示せず）によって、調停されてもよい。
【0056】
図３は、例えば、図１の画素１００を用いる時系列画像センシングのための代表的な方法３００のフローチャートである。図３のステップ３０１では、画素は、受光素子に入射する光の強度に比例する電流信号を、光信号変換器の第１の出力で提供してもよい。例えば、画素は、図７の光信号変換器７００および／または図８の光信号変換器８００を含んでもよい。第１の出力は、受光素子からの電流ＩＰｈに等しくてもよいし、または受光素子に入射する光の強度に比例する別の電流を含んでもよい。例えば、光信号変換器７００は、受光素子に入射する光の強度にやはり比例する電流ＩＰｈよりも大きな電流を出力するような利得を含んでもよい。
【0057】
ステップ３０３では、画素は、受光素子に入射する光の強度の対数となる電圧信号を、光信号変換器の第２の出力で提供してもよい。例えば、画素は、図７の光信号変換器７００および／または図８の光信号変換器８００を含んでもよい。第２の出力は、電流ＩＰｈの対数となる電圧を含んでもよく、この電圧は随意に、定数最小値（以下の数１を見られたい）を有している。
【0058】
方法３００のステップは、様々なやり方で実現されてもよい。例えば、いくつかの実施形態では、ステップ３０１および３０３は、重なってもよく、そうでなければ同時並行であってもよい。例えば、信号変換器は、第１の出力と第２の出力の両方を、切れ目ないことを基本に提供してもよい。
【0059】
ステップ３０５では、画素は、光信号変換器の第２の出力の電圧信号に比例する検出器の信号が閾値を超える場合に、検出器を用いて、自律的に、そして他の画素の検出器と独立にトリガ信号を生成してもよい。例えば、検出器は、図５の検出器５００を含んでもよい。検出器は、第２の出力の電圧に比例する信号が閾値を上回って増加する（または閾値を下回って減少する）場合に、トリガしてもよい。したがって、検出器は、電圧信号の大きさが閾値を超える場合には何時でもトリガしてもよく、それにより、強度の増加および強度の減少の両方を捉える。さらに、本明細書に開示されるとおり、複数の閾値が、このステップの一部として使用されてもよい。
【0060】
ステップ３０７では、画素は、光－時間変換器を用いて、受光素子上の光強度を時間経過情報にエンコードしてもよく、時間経過情報は、光－時間変換サイクルの開始時間と光－時間変換サイクルの完了時間とを含んでいる。例えば、検出器は、図７の光－時間変換器７００および／または図８の光－時間変換器８００を含んでもよい。いくつかの実施形態では、光－時間変換サイクルは、検出器からのトリガ信号の受信に応答して、光－時間変換器によって開始されてもよい。さらに、または代わりに、光－時間変換サイクルは、外部から開始されてもよい。例えば、光－時間変換サイクルは、所定の時間間隔で実行されてもよい。別の例では、光－時間変換サイクルは、外部回路（例えば、論理回路）が、特定の時限内に光－時間変換を画素が実行していないと判断する場合に、その画素に対して外部から開始されてもよい。したがって、いくつかの実施形態では、画素は、検出器からのトリガ信号に基づいて、そして検出器からのトリガ信号が特定の時限後に発生しない場合には、外部トリガに基づいて、光－時間変換サイクルを開始してもよい。
【0061】
方法例３００は、さらなるステップを含んでもよい。例えば、いくつかの実施形態では、方法３００は、光－時間変換器を用いて、光－時間変換サイクルの開始時間を複数の画素の外部にある読み出し回路またはシステムに通信することを含んでもよい。さらに、方法３００は、光－時間変換器を用いて、光－時間変換サイクルの完了時間を読み出し回路またはシステムに通信することを含んでもよい。例えば、光－時間変換器は、図７および図８に図示されるとおり、Ｒｅｑバスを介して開始時間および完了時間を通信してもよい。
【0062】
読み出しシステムを有する実施形態では、方法３００は、読み出しシステムで、各画素に対するアドレス情報を、それぞれの画素の光－時間変換器から受信した光－時間変換サイクルの開始および完了の情報と組み合わせることを、さらに含んでもよい。そのような実施形態では、方法３００は、複数の画素の外部にあるデジタル処理システムによって、画素アドレス情報と光－時間変換サイクルの開始および完了の情報とを同期させてタイムスタンプを付与することを、さらに含んでもよい。図２Ａを参照しつつ上で説明したとおり、デジタル処理システムは、読み出し回路１０９の少なくとも一部を含んでもよく、したがって、画素の外部ではあるものの画像センサの一部を形成してもよい。あるいは、デジタル処理システムは、画素と同様に画像センサの外部にあってもよい。
【0063】
さらに、または代わりに、方法３００は、光信号変換器の第１の出力の電流信号を使用してキャパシタを光－時間変換サイクル中に充電することと、キャパシタにかかる電圧が基準電圧に達したと判定される場合に、光－時間変換サイクルの完了時間を、比較器を用いて検出することとを含んでもよい。例えば、光－時間変換器の論理回路は、基準電圧に達したという比較器からの信号を受信したことに基づいて完了時間を決定してもよい。いくつかの実施形態では、方法３００は、複数の基準電圧レベルの間で基準電圧を変化させることをさらに含んでもよい。例えば、方法３００は、キャパシタにかかる電圧が基準電圧に達するたびに、基準電圧をそれぞれ、さらに大きい基準電圧レベルに増加、またはさらに小さい基準電圧レベルに減少させることをさらに含んでもよい。したがって、光－時間変換器は、Ｒｅｑバスを介して複数の完了時間を送信してもよく、それぞれが、関連する基準電圧を有している。
【0064】
上記のさらなる測定により、測定の平滑化や誤差補正が可能となる場合がある。例えば、完了時間を用いて複数の強度測定値を計算し、そこから平均値、中央値、または他の統計値を、「実際の」強度測定値として抽出してもよい。そのような例では、完了時間をさらに用いて、「実際の」強度測定値の推定誤差率（または信頼範囲）を計算してもよい。さらに、または代わりに、完了時間は、最初に平滑化、またはそうでなければ統計的に照合されてもよく、これは、「実際の」完了時間が（関連する基準電圧を用いて）計算されるようにしてなされる。そのような例では、完了時間をさらに使用して、「実際の」完了時間の推定誤差率（または信頼範囲）を計算してもよい。
【0065】
さらに、少なくとも２つの閾値の使用により、時間領域相関二重サンプリングが可能になる場合がある。そのようなサンプリングは、光－時間変換器におけるリセットに起因するノイズを低減させ、比較器におけるオフセット誤差を低減させる場合がある。
【0066】
いくつかの実施形態では、方法３００は、キャパシタと並列するスイッチを開くことによって光－時間変換サイクルを開始することをさらに含んでもよい。そのような実施形態では、方法３００は、スイッチを開いて光－時間変換サイクルを開始する前に、スイッチを閉じてキャパシタを放電することを、さらに含んでもよい。スイッチは、キャパシタを接地（または定電圧供給源）に接続しても、したがってキャパシタを放電してもよい。
【0067】
さらなる実施形態では、方法３００は、検出器からのトリガ信号の受信に応答してリセット信号を検出器に送信することを含んでもよい。例えば、光－時間変換器の論理回路は、検出器がリセットして別のトリガイベント（すなわち、電圧の変化）を検出する準備をするようにして、検出器に制御信号を送信してもよい。
【0068】
いくつかの実施形態では、方法３００は、現在の光－時間変換サイクルの完了前に別のトリガ信号が受信される場合に、リセットして新しい光－時間変換サイクルを開始することを、含んでもよい。例えば、光－時間変換器は、光－時間変換が完了する前に（例えば、１つまたは複数の基準電圧に達したことを示す信号を比較器が送信する前に）、検出器がリセットするようにして検出器に制御信号を送信し、光－時間変換を開始し、そして検出器から別のトリガ信号を受信してもよい。従って、光－時間変換器は、キャパシタを放電し、新しいトリガ信号に基づいて新しい光－時間変換を開始してもよい。そのような実施形態では、光－時間変換器は、以前の変換が放棄されたことを示す信号を、Ｒｅｑバスを介してさらに送信してもよい。
【0069】
【0070】
図４Ａに図示されるとおり、変換器４００は、ドレインと、ソースと、ゲートとを有するトランジスタＭ１を含んでもよい。ゲートは、変換器４００の第２の出力（ｏｕｔ２）に接続されてもよい。変換器４００は、ドレインと、ソースと、ゲートとを有するトランジスタＭ５をさらに含んでもよい。ソースは、フォトダイオードＰＤ（すなわち、受光素子）に接続されてもよく、ゲートは、電圧Ｖｄによってバイアスされてもよい。トランジスタＭ１とＭ５は、共通のソースを有してもよい。
【0071】
図４Ａにさらに図示されるとおり、変換器４００は、ドレインと、ソースと、ゲートとを有する第２のトランジスタＭ２を含んでもよい。ゲートは、フォトダイオードＰＤとトランジスタＭ５のドレインとに接続されてもよく、ソースは接地（例えば、低い供給電圧に接続）されてもよく、そしてドレインは、トランジスタＭ３のソースに接続されてもよい。また、トランジスタＭ３は、ドレインと、ソースと、ゲートとを有する。ゲートは、電圧Ｖｃａｓによってバイアスされてもよく、ドレインは、ｏｕｔ２に接続されてもよい（したがって、Ｍ１のゲートにも接続されてもよい）。Ｍ３のドレインは、トランジスタＭ４のドレインにさらに接続される。Ｍ４のゲートは、電圧Ｖｐｒによってバイアスされてもよく、ソースは、供給電圧（標識されていない）に接続されてもよい。
【0072】
トランジスタＭ１、Ｍ２、およびＭ３は、ｎ型トランジスタであってもよい一方、トランジスタＭ４およびＭ５は、ｐ型トランジスタであってもよい。図４Ａにさらに図示されるとおり、トランジスタＭ１のドレインは、トランジスタＭ６のソースに接続されてもよい。トランジスタＭ６のゲートは、電圧Ｖｃによってバイアスされてもよく、トランジスタＭ６のドレインは、変換器４００の第１の出力（ｏｕｔ１）に接続されてもよい。
【0073】
【0074】
図４Ｂに図示されるとおり、変換器４５０は、ドレインと、ソースと、ゲートとを有するトランジスタＭ１を含んでもよい。ゲートは、変換器４５０の第２の出力（ｏｕｔ２）に接続されてもよい。変換器４５０は、ドレインと、ソースと、ゲートとを有するトランジスタＭ５をさらに含んでもよい。ソースは、フォトダイオードＰＤ（すなわち、受光素子）に接続されてもよく、ゲートは、トランジスタＭ２のドレインに接続されてもよい。
【0075】
また、トランジスタＭ２は、ドレインと、ソースと、ゲートとを有する。ゲートは、フォトダイオードＰＤとトランジスタＭ５のソースとに接続されてもよく、ソースは接地（例えば、低い供給電圧に接続）されてもよく、そしてドレインは、トランジスタＭ３のソースに（したがって、トランジスタＭ５のゲートにも）接続されてもよい。また、トランジスタＭ３は、ドレインと、ソースと、ゲートとを有する。ゲートは、トランジスタＭ５のドレインに（したがって、トランジスタＭ１のソースにも）接続されてもよく、そしてドレインは、ｏｕｔ２に（したがって、トランジスタＭ１のゲートにも）接続されてもよい。Ｍ３のドレインは、トランジスタＭ４のドレインにさらに接続されてもよい。Ｍ４のゲートは、電圧Ｖｐｒによってバイアスされてもよく、ソースは、供給電圧（標識されていない）に接続されてもよい。
【0076】
トランジスタＭ１、Ｍ２、およびＭ３は、ｎ型トランジスタであってもよい一方、トランジスタＭ４は、ｐ型トランジスタであってもよい。図４Ａの実施形態では、Ｍ５は、ｐ型トランジスタであってもよい一方、図４Ｂの実施形態では、Ｍ５は、ｎ型トランジスタであってもよい。図４Ａでさらに図示されるとおり、トランジスタＭ１のドレインは、トランジスタＭ６のソースに接続されてもよい。トランジスタＭ６のゲートは、電圧Ｖｃによってバイアスされてもよく、トランジスタＭ６のドレインは、変換器４００の第１の出力（ｏｕｔ１）に接続されてもよい。
【0077】
光信号変換器４００および光信号変換器４５０の第２の出力は、以下の式１に従って、受光素子に入射する光の強度の対数となってもよい。
【0078】
【数1】
【0079】
式１
式１の例では、Ｖｌｏｇは入射光の強度に対数比例する電圧、ＶＤＣは光に依存しない直流電圧レベル、Ａｖは電圧利得係数、ＵＴは熱電圧、そしてＩｐｈは受光素子により出力される電流である。
式１の例では、Ｖｌｏｇは入射光の強度に対数比例する電圧、ＶＤＣは光に依存しない直流電圧レベル、Ａｖは電圧利得係数、ＵＴは熱電圧、そしてＩｐｈは受光素子により出力される電流である。
【0080】
光信号変換器４００では、Ｖｌｏｇは以下の式２に従ってもよい。
【0081】
【数2】
【0082】
式２
式２の例では、Ｖｌｏｇは入射光の強度に対数比例する電圧、ＵＴは熱電圧、ｎＭ１はトランジスタＭ１のサブスレッショルドスロープの係数、ｎＭ５はトランジスタＭ５のサブスレッショルドスロープの係数、ＬＭ１はトランジスタＭ１のチャネル長、ＬＭ５はトランジスタＭ５のチャネル長、ＷＭ１はトランジスタＭ１のチャネル幅、ＷＭ５はトランジスタＭ５のチャネル幅、Ｉ０，Ｍ１はトランジスタＭ１のサブスレッショルド飽和電流、Ｉ０，Ｍ５はトランジスタＭ５のサブスレッショルド飽和電流、ＶｄはトランジスタＭ５に印加されるバイアス電圧、そしてＩｐｈは受光素子により出力される電流である。
式２の例では、Ｖｌｏｇは入射光の強度に対数比例する電圧、ＵＴは熱電圧、ｎＭ１はトランジスタＭ１のサブスレッショルドスロープの係数、ｎＭ５はトランジスタＭ５のサブスレッショルドスロープの係数、ＬＭ１はトランジスタＭ１のチャネル長、ＬＭ５はトランジスタＭ５のチャネル長、ＷＭ１はトランジスタＭ１のチャネル幅、ＷＭ５はトランジスタＭ５のチャネル幅、Ｉ０，Ｍ１はトランジスタＭ１のサブスレッショルド飽和電流、Ｉ０，Ｍ５はトランジスタＭ５のサブスレッショルド飽和電流、ＶｄはトランジスタＭ５に印加されるバイアス電圧、そしてＩｐｈは受光素子により出力される電流である。
【0083】
したがって、ＩｐｈからＩｐｈ２への（入射光の強度の変化によって引き起こされる）光電流の変化が、以下の式３に従う場合のあるΔＶｌｏｇを生成する。
【0084】
【数3】
【0085】
式３
一方、光信号変換器４５０では、Ｖｌｏｇは、以下の式４に従う場合がある。
一方、光信号変換器４５０では、Ｖｌｏｇは、以下の式４に従う場合がある。
【0086】
【数4】
【0087】
式４
式４の例では、Ｖｌｏｇは入射光の強度に対数比例する電圧、ＵＴは熱電圧、ｎＭ１はトランジスタＭ１のサブスレッショルドスロープの係数、ＬＭ１はトランジスタＭ１のチャネル長、ＷＭ１はトランジスタＭ１のチャネル幅、Ｉ０，Ｍ１はトランジスタＭ１のサブスレッショルド飽和電流、Ｖｄは受光素子ＰＤにかかる逆電圧、そしてＩｐｈは受光素子により出力される電流である。
式４の例では、Ｖｌｏｇは入射光の強度に対数比例する電圧、ＵＴは熱電圧、ｎＭ１はトランジスタＭ１のサブスレッショルドスロープの係数、ＬＭ１はトランジスタＭ１のチャネル長、ＷＭ１はトランジスタＭ１のチャネル幅、Ｉ０，Ｍ１はトランジスタＭ１のサブスレッショルド飽和電流、Ｖｄは受光素子ＰＤにかかる逆電圧、そしてＩｐｈは受光素子により出力される電流である。
【0088】
したがって、Ｉｐｈ１からＩｐｈ２への（入射光の強度の変化によって引き起こされる）光電流の変化が、以下の式５に従う場合のあるΔＶｌｏｇを生成する。
【0089】
【数5】
【0090】
式５
したがって、光信号変換器４５０は、光信号変換器４００よりも簡単で安価に作製することができるが、しかし光信号変換器４００は、光信号変換器４５０よりも多くの利得を生み出すことができる。
したがって、光信号変換器４５０は、光信号変換器４００よりも簡単で安価に作製することができるが、しかし光信号変換器４００は、光信号変換器４５０よりも多くの利得を生み出すことができる。
【0091】
図５は、代表的な検出器５００の概略図である。検出器５００は、図１の画素１００（検出器１０５を見られたい）に使用されてもよい。図５に図示されるとおり、検出器５００は、光信号変換器（図示せず）の第２の出力に接続された増幅器５０１を含む。増幅器５０１は、単一利得増幅器であってもよい。いくつかの実施形態では、増幅器５０１は、反転増幅器であってもよい。キャパシタ５０３は、増幅器５０１に接続されてもよい。
【0092】
検出器５００は、増幅器５０５、キャパシタ５０７、および並列してキャパシタ５０３との共通ノードに接続されたスイッチ５０９をさらに含んでもよい。したがって、検出器５００が制御信号（例えば、光－時間変換器の論理回路からの確認信号）を受信する場合には何時でも、スイッチ５０９が閉じて、検出器５００を短絡し、新たな検出に備えてもよい。
【0093】
増幅器５０５（これは反転増幅器であってもよい）は、キャパシタ５０３からの電圧の変化を増幅するが、この変化は、Ｖｄｉｆｆで定義された電圧レベル（すなわち、前のリセット信号でのキャパシタ５０３の電圧レベル）からの偏差となるようなものである。Ｖｄｉｆｆが負の方向に閾値を横切る場合には何時でも、増幅器５１１ａがトリガ信号を光－時間変換器に送信する。同様に、Ｖｄｉｆｆが正の方向に閾値（これは、上記と同じ閾値であってもよいし、異なる閾値であってもよい）を横切る場合には何時でも、増幅器５１１ｂがトリガ信号を光－時間変換器に送信する。従って、検出器５００は、１つの閾値を上回る強度の増加のみならず、同じ閾値または異なる閾値を下回る強度の減少を検出してもよい。
【0094】
検出器５００を用いることにより、画素１００は、固定時間ステップδｔで同期画素情報を得る代わりに、以下の式６で与えられる光の増分で非同期画素情報を得るようにして構成されてもよい。
【0095】
【数6】
【0096】
式６
式６の例では、θｅｖは、検出可能な最小の時間的コントラスト（「コントラスト感度」とも呼ばれる）であり、Ｉｐｈは、受光素子によって出力される電流である。ノイズが、本開示の非同期画素のコントラスト感度をさらに制限する場合がある。
式６の例では、θｅｖは、検出可能な最小の時間的コントラスト（「コントラスト感度」とも呼ばれる）であり、Ｉｐｈは、受光素子によって出力される電流である。ノイズが、本開示の非同期画素のコントラスト感度をさらに制限する場合がある。
【0097】
図５の検出器５００を参照しつつ記載されてはいるものの、光信号変換器の第２の出力を基準にして検出器の信号（例えば、電圧信号または電流信号）を分析するように、またはさらに一般的に、光信号変換器の第２の出力の１つまたは複数の事前定義された条件を検出するように適合される、いずれの好適な検出器も使用することができる。さらに、そのような分析を実行するように配置されたトランジスタ、キャパシタ、スイッチ、および／または他の回路構成成分のいずれの組み合わせも、各画素の検出器に使用されてもよく、本開示と整合する。
【0098】
図６は、図５の検出器５００によって生成されるトリガの図示である。図６では、ＶＰは、検出器５００のキャパシタ５０３での電圧を表し、よって、光信号変換器の第２の出力からの出力に比例する電圧である。さらに、Ｖｄｉｆｆは、ＶＰを反転および増幅したものである、検出器５００の電圧信号であり、したがって、光信号変換器の第２の出力からの出力に比例する電圧である。図６にさらに図示されるとおり、ＶＰの増加（「＋イベント」として図示されるもの）とＶＰの減少（「－イベント」として図示されるもの）の両方がトリガ信号を生成させる場合がある。Ｖｄｉｆｆは、ＶＰを反転および増幅したものであるので、ＶＰの増加はＶｄｉｆｆの減少として現れ、その逆もまたしかりである。加えて、図６は、どのようにして「＋閾値」を「－閾値」と（大きさで）同じに設定可能か、しかし異なるようにも設定可能かを例示する。最後に、図６は、各トリガ（例えば、スイッチ５０９を閉じることによる）の後にＶｄｉｆｆがどのようにしてベースライン（「リセットレベル」として図示される）にリセットされるかを例示する。
【0099】
【0100】
図７に図示されるとおり、変換器７００は、キャパシタＣ１と、スイッチＳ１と、比較器（基準電圧Ｖｒｅｆを有する）とを含んでもよい。これらの構成要素は、光信号変換器（図示せず）の第１の出力に接続されてもよい。したがって、スイッチＳ１が開かれる場合には何時でも、キャパシタＣ１は、第１の出力からの電流により充電される。Ｃ１にかかる電圧がＶｒｅｆに達すると、比較器は完了信号を生成してもよい。
【0101】
図７にさらに図示されるとおり、ハンドシェイク（ｈａｎｄｓｈａｋｅ）および状態論理（すなわち、変換器７００の論理回路）が、検出器からのトリガ信号を受信するとスイッチＳ１を開いてもよい。加えて、ハンドシェイクおよび状態論理は、制御信号を検出器に送信して、トリガ信号の受信を確認してもよい。図７にさらに図示されるとおり、ハンドシェイクおよび状態論理は、トリガ信号および比較器からの完了信号を、Ｒｅｑバスを介して読み出し回路（図示せず）に送信してもよい。いくつかの実施形態では、ハンドシェイクおよび状態論理はまた、読み出し回路からの肯定応答信号を、Ａｃｋバスを介して受信してもよい。図示されてはいないが、ハンドシェイクおよび状態論理はまた、（例えば、トリガ信号の受信前または受信時に）Ｓ１を閉じてキャパシタＣ１を放電し、光－時間変換に備えてもよい。
【0102】
図７には図示されてはいないが、ハンドシェイクおよび状態論理は、光－時間変換全体を通してＶｒｅｆを変化させてもよい。したがって、複数の完了時間が得られてＲｅｑバスを介して出力される場合がある。上で説明したとおり、複数の測定値の使用により、平滑化および／または誤差補正が可能になる場合がある。
【0103】
したがって、光－時間変換器７００は、受光素子に入射する光の強度を、以下の式７に従う時間にエンコードしてもよい。
【0104】
【数7】
【0105】
式７
式７の例では、ｔｉｎｔは光強度を時間にエンコードして得られるその時間であり、Ｃ１はキャパシタＣ１の容量であり、Ｉｐｈは受光素子により出力される電流（または光－時間変換器７００により光信号変換器の第１の出力から受信される電流）であり、ＶｓｔａｒｔはキャパシタＣ１の上側プレートに接続された一定電圧（例えば、トリガ信号の受信時）であり、そしてＶｒｅｆは比較器の基準電圧である。Ｖｓｔａｒｔは、以下に記載する図９Ａ、９Ｂ、および９Ｃにおいて、Ｖｐｉｘ，０として標識される。いくつかの実施形態では、Ｖｓｔａｒｔ（またはＶｐｉｘ，０）は、光－時間変換器の供給電圧（例えば、以下に記載の図８において標識されたＶｓｕｐ，ＬＴＣ）に等しい（またはそれに由来する）ものであってもよく、そしてＣ１の上側プレート（およびＳ１の上側端子）に常時接続されている。
式７の例では、ｔｉｎｔは光強度を時間にエンコードして得られるその時間であり、Ｃ１はキャパシタＣ１の容量であり、Ｉｐｈは受光素子により出力される電流（または光－時間変換器７００により光信号変換器の第１の出力から受信される電流）であり、ＶｓｔａｒｔはキャパシタＣ１の上側プレートに接続された一定電圧（例えば、トリガ信号の受信時）であり、そしてＶｒｅｆは比較器の基準電圧である。Ｖｓｔａｒｔは、以下に記載する図９Ａ、９Ｂ、および９Ｃにおいて、Ｖｐｉｘ，０として標識される。いくつかの実施形態では、Ｖｓｔａｒｔ（またはＶｐｉｘ，０）は、光－時間変換器の供給電圧（例えば、以下に記載の図８において標識されたＶｓｕｐ，ＬＴＣ）に等しい（またはそれに由来する）ものであってもよく、そしてＣ１の上側プレート（およびＳ１の上側端子）に常時接続されている。
【0106】
【0107】
図８に図示されるとおり、変換器８００は、キャパシタＣ１と、スイッチＳ１と、比較器（基準電圧Ｖｒｅｆを有するもの）とを含んでもよい。図７の変換器７００と同様に、これらの構成要素は、光信号変換器（図示せず）の第１の出力に接続されてもよい。したがって、スイッチＳ１が開かれる場合には何時でも、キャパシタＣ１は、第１の出力からの電流により充電される。キャパシタＣ１にかかる電圧がＶｒｅｆに達する場合、比較器は完了信号を生成してもよい。さらに、キャパシタＣ１および／またはスイッチＳ１は、光－時間変換器８００の供給電圧Ｖｓｕｐ，ＬＴＣに接続されてもよい。
【0108】
図８にさらに図示されるとおり、変換器８００は、キャパシタＣ１の共通ノードに接続されたキャパシタＣ２と、スイッチＳ１と、比較器とを含んでもよい。キャパシタＣ２は、キャパシタＣ１との結合キャパシタとして機能してもよく、これにより異なる供給電圧の使用が可能になる。
【0109】
図８にさらに図示されるとおり、ハンドシェイクおよび状態論理（すなわち、変換器８００の論理回路）が、検出器からのトリガ信号を受信するとスイッチＳ１を開いてもよい。さらに、ハンドシェイクおよび状態論理は、制御信号を検出器に送信して、トリガ信号の受信を確認してもよい。図８にさらに図示されるとおり、ハンドシェイクおよび状態論理は、トリガ信号および比較器からの完了信号を、Ｒｅｑバスを介して読み出し回路（図示せず）に送信してもよい。いくつかの実施形態では、ハンドシェイクおよび状態論理はまた、読み出し回路からの肯定応答信号を、Ａｃｋバスを介して受信してもよい。図示されてはいないが、ハンドシェイクおよび状態論理はまた、（例えば、トリガ信号の受信前または受信時に）Ｓ１を閉じてキャパシタＣ１を放電し、光－時間変換に備えてもよい。
【0110】
図７には図示されてはいないが、ハンドシェイクおよび状態論理は、光－時間変換全体を通してＶｒｅｆを変化させてもよい。したがって、複数の完了時間が得られてＲｅｑバスを介して出力される場合がある。上で説明したとおり、複数の測定値の使用により、平滑化および／または誤差補正が可能になる場合がある。
【0111】
図８にさらに図示されるとおり、光－時間変換器８００は、光信号変換器の第１の出力に接続されたソースと、電圧Ｖｂｉａｓによってバイアスされたゲートと、光信号変換器の供給電圧Ｖｓｕｐ，ＰＳＣに接続されたドレインとを有するトランジスタＭＯＦを含んでもよい。トランジスタＭＯＦを組み込むことにより、光－時間変換器８００は、光信号変換器の第１の出力での電圧が低下しすぎるのを防いでもよく、これは、入射光に対数比例する電圧出力を第２の出力で提供するのを光信号変換器が停止するようにして行われる。光－時間変換器８００はまた、ＭＯＦと並列するスイッチＳ２（または、例えば、スイッチとして作用するトランジスタ）を含んでもよい。したがって、ハンドシェイクおよび状態論理は、スイッチＳ２をスイッチＳ１と同様に制御してもよい（すなわち、スイッチＳ２を開いて光－時間変換サイクルを開始してもよい、および／またはスイッチＳ２を閉じて放電し、光－時間変換サイクルに備えてもよい）。
【0112】
光－時間変換器８００のＭＯＦトランジスタは、以下の式９によって制御されてもよい。
【0113】
【数8】
【0114】
式９
式９の例では、Ｖｂｉａｓは、ＭＯＦトランジスタに印加される一定のバイアス電圧であってＶＰＲＩ，ｏｕｔに依存しており、ＶＰＲＩ，ｏｕｔは、光信号変換器の第１の出力における最小許容電圧であり、光信号変換器の出力を測定することから、またはこれをシミュレーションすることから、導出することができる。ＶｂｉａｓはさらにＶＧＳ，ＭＯＦに依存しており、ＶＧＳ，ＭＯＦは、受光素子の最大電流出力であるＩｐｈ，ｍａｘの関数であり、Ｉｐｈ，ｍａｘは、受光素子の測定出力から導出することができる、または受光素子の１つまたは複数の半導体パラメータに基づいて計算することができる。
式９の例では、Ｖｂｉａｓは、ＭＯＦトランジスタに印加される一定のバイアス電圧であってＶＰＲＩ，ｏｕｔに依存しており、ＶＰＲＩ，ｏｕｔは、光信号変換器の第１の出力における最小許容電圧であり、光信号変換器の出力を測定することから、またはこれをシミュレーションすることから、導出することができる。ＶｂｉａｓはさらにＶＧＳ，ＭＯＦに依存しており、ＶＧＳ，ＭＯＦは、受光素子の最大電流出力であるＩｐｈ，ｍａｘの関数であり、Ｉｐｈ，ｍａｘは、受光素子の測定出力から導出することができる、または受光素子の１つまたは複数の半導体パラメータに基づいて計算することができる。
【0115】
いくつかの実施形態では、光信号変換器への第１の供給電圧Ｖｓｕｐ，ＰＳＣは、光－時間変換器への第２の供給電圧Ｖｓｕｐ，ＬＴＣと異なっていてもよい。例えば、Ｖｓｕｐ，ＰＳＣの大きさは、Ｖｓｕｐ，ＬＴＣの大きさよりも大きくてもよい。そのような供給電圧の違いは、例えば、ダイナミックレンジの広い処理可能な光レベルが望まれる場合に恩恵がある場合がある。いくつかの場合では、光信号変換器は、さらに充分に高いＤＣ電圧範囲を必要とすることがあり、本明細書に開示されるとおり利得ブーストが利用される場合には、なおさらそうである。光信号変換器への要求される供給電圧は、ナノメートル半導体技術において典型的に使用される値まで下げなくてもよい。その結果、異なる半導体技術を使用して、光－時間変換器を含め、画素内回路の残りの部分に対して光信号変換器を実装してもよい。そのような手法を用い、必要に応じて異なる供給電圧を提供してもよい。
【0116】
Ｖｒｅｓｅｔ自体は、図５、図７、図８、図１０、および図１１の例を参照しつつ記載された「トリガ」信号から導出される、またはその信号（もしくは、少なくとも、上述したように、以前の検出の後に既に印加されている場合には、その解除）によって制御される。
【0117】
図９Ａは、図７の光－時間変換器７００による、または図８の光－時間変換器８００による光－時間変換の図示である。図９Ａの例で図示されるとおり、光－時間変換器のキャパシタは、トリガ信号（図９ＡではＶｒｅｓｅｔで表される）を受信すると充電（または放電）を開始する。キャパシタにかかる電圧がＶｒｅｆに達する場合、完了信号が生成される（図９ＡのＶｏｕｔで表される）。よって、光の強度（これは充電電流に比例する）は、上で説明したとおり、トリガ信号と完了信号との間の時間（図９Ａのｔｉｎｔで表される）にエンコードされる。
【0118】
図９Ｂは、図７の光－時間変換器７００による、または図８の光－時間変換器８００による、速かで順次のトリガを用いた光－時間変換の図示である。図９Ｂの例で図示されるとおり、光－時間変換器のキャパシタは、トリガ信号（図９ＢのＶｒｅｓｅｔの第１のスパイクで表される）を受信すると充電（または図９Ｂで図示されるとおり放電）を開始する。しかしながら、光－時間変換器は、Ｖｒｅｆに達する前に第２のトリガ信号（図９ＢのＶｒｅｓｅｔの第２のスパイクで表される）を受信する。したがって、光－時間変換器は、（例えば、スイッチを反転させてキャパシタを接地または他の電圧供給源に接続することによって）キャパシタを急速に放電（または充電）し、その後、（例えば、スイッチを開くことによって）再びキャパシタの充電（または放電）を開始する。キャパシタにかかる電圧がＶｒｅｆに達する場合、続いて図９Ａと同様に、完了信号（図９ＢではＶｏｕｔで表される）が生成される。図９Ｂには図示されていないが、光－時間変換器は、２つのトリガの間に読み出し回路にキャンセル信号を送ってもよく、これは例えば、第１の測定値の時間－デジタル変換がキャンセルされるようにして行われる。例えば、いくつかの実施形態では、そのようなキャンセル信号は、第２のトリガ信号（図９ＢのＶｒｅｓｅｔにおける第２のスパイクによって表される）から導出されてもよい。さらに、光の強度（これは充電電流に比例する）はこのようにて、キャンセル信号と完了信号との間の時間（図９Ａではｔｉｎｔで表される）にエンコードされてもよい。
【0119】
図９Ｃは、図７の光－時間変換器７００による、または図８の光－時間変換器８００による、基準電圧の変化を用いた光－時間変換の図示である。図９Ｃの例で図示されるとおり、光－時間変換器のキャパシタは、トリガ信号（図９ＣではＶｒｅｓｅｔで表される）を受信すると充電（または図９Ｃで図示されるとおり、放電）を開始する。キャパシタにかかる電圧がＶｒｅｆ１に達する場合、第１の完了信号（図９ＣではＶｏｕｔの最初のスパイクで表される）が生成される。キャパシタにかかる電圧がＶｒｅｆ２に達する場合、第２の完了信号（図９ＣではＶｏｕｔの第２のスパイクで表される）が生成される。キャパシタにかかる電圧がＶｒｅｆ３に達する場合、最終的な完了信号（図９ＣではＶｏｕｔの第３のスパイクで表される）が生成される。３つの基準電圧を用いて図示されているものの、２つ、４つ、５つなどのいずれの数の基準電圧が使用されてもよい。光の強度（これは、充電電流に比例する）はこのようにして、上で説明したとおりそれらの信号（図９Ｃではｔｉｎｔ１およびｔｉｎｔ２で表される）の間の時間にエンコードされる。複数の完了信号の使用は、上で説明したとおり、信号平滑化および／または誤差補正に使用されてもよい。
【0120】
図１０は、図４Ａの変換器４００と、図５の検出器５００と、図７の光－時間変換器７００とを含む代表的な画像センサの概略図である。図１０に図示されるとおり、変換器４００は、光－時間変換器７００に接続された第１の出力と、検出器５００に接続された第２の出力とを有する。検出器５００は、トリガ信号を光－時間変換器７００に送信し、光－時間変換器は、制御信号を検出器５００に送信する。最後に、光－時間変換器７００は、Ｒｅｑバスを介して読み出し回路（図示せず）に信号を送信するが、またＡｃｋバスを介して肯定応答信号を受信してもよい。
【0121】
図１１は、図４Ａの変換器４００と、図５の検出器５００と、図８の光－時間変換器８００とを含む別の代表的な画像センサの概略図である。図１１に図示されるとおり、変換器４００は、光－時間変換器８００に接続された第１の出力と、検出器５００に接続された第２の出力を有する。検出器５００は、トリガ信号を光－時間変換器８００に送信し、光－時間変換器は、制御信号を検出器５００に送信する。最後に、光－時間変換器８００は、Ｒｅｑバスを介して読み出し回路（図示せず）に信号を送信するが、またＡｃｋバスを介して肯定応答信号を受信してもよい。
【0122】
図１２は、本開示の実施形態に従う画像センサ、例えば、図１０および１１の画素を含む画像センサからの出力例１２２０および１２３０と比較して、既存の画像センサからの代表的な出力１２１０を図示する。図１２に図示されるとおり、全体画像１２１０は、その画像の範囲内の静的な背景のせいで本質的でない細部を、かなり含んでいる。図１０または図１１に図示された画像センサの出力１２２０は、コントラスト検出イベント（例えば、負の変化を表す黒画素および正の変化を表す白画素であり、灰色領域は作動していない画素である）として表されてもよい。したがって、図１０または図１１に図示された画像センサの出力を使用して、場面内の動きの白黒写真１２３０を発現させてもよい。写真１２３０は、出力１２２０において作動している画素からの強度レベルを使用して生成されてもよい。見てわかるとおり、出力１２２０および写真１２３０は、含まれるデータが大幅に少く、したがって、全体画像１２１０よりも、例えば、場面内の変化を追跡または認識するための後処理がさらに容易であり、さらに効率的である。
【0123】
本開示に準拠して構築された画素の異なる部分を作製するには、光信号変換器は、ある特定の電圧範囲を必要とする場合がある一方で、画素の他の部分（例えば、光－時間変換器、検出器、または同種もの）は、異なる電圧範囲を、例えば製造の小型化および／またはスケーラビリティを実行するために、必要とする場合がある。例えば、上に考察したとおり、光信号変換器への供給電圧は、光－時間変換器への供給電圧とは異なってもよく、そしてさらに高くてもよい。
【0124】
したがって、いくつかの実施形態では、異なる半導体技術を使用して、光信号変換器と画像センサの残りの画素内回路とをそれぞれ実装してもよい。例えば、２つの半導体プロセス（異なる基盤技術に基づいていてもよいもの、異なる最小特徴サイズを有していてもよいもの、異なる供給電圧を有していてもよいもの、または同種のもの）は、２つの回路タイプに対して別個に最適化されてもよい。これらのプロセスの結果物（すなわち、光信号変換器および残りの画素内回路）はその後、ウェーハ・ツー・ウェーハ（ｗａｆｅｒ－ｔｏ－ｗａｆｅｒ）積層技術を使用して集積されてもよい。
【0125】
前記は、例示を目的として提示されたものである。それは、限定列挙ではなく、開示されたとおりに正確な形態または実施形態に限定されるものでもない。明細書および開示された実施形態の実施を考慮すれば、実施形態の修正例および適合例は明らかになろう。例えば、記載された実装は、ハードウェアを含むが、本開示と整合するシステムおよび方法を、ハードウェアおよびソフトウェアを用いて実現することができる。加えて、特定の構成成分が、互いに結合されているものとして記載されているが、一方でそのような構成成分は、互いに一体化されていてもよいし、いずれの適切なやり方で分散されていてもよい。
【0126】
さらに、例示的な実施形態が本明細書に記載されているが、一方でその範囲には、本開示に基づく均等な構成要素、修正、省略、（例えば、様々な実施形態にまたがる態様の）組み合わせ、適合、および／または変更を有するありとあらゆる実施形態が含まれる。特許請求の範囲に記載された構成要素は、特許請求の範囲に採用された語句に基づいて広く解釈されるものとし、本明細書に、または本出願手続き中に記載された例に限定されないものとし、これらの例は排他的でないとして解釈されるものとする。さらに、開示された方法のステップは、ステップの並び替え、および／または挿入もしくは削除を含め、いかようにしても変更することができる。
【0127】
本開示の特徴および利点は、詳細な明細書から明らかであり、よって、添付の特許請求の範囲は、本開示の真の趣旨および範囲内に収まるあらゆるシステムおよび方法を対象とすることが意図される。本明細書で使用されるとおり、不定冠詞「ａ」および「ａｎ」は、「１つまたは複数」を意味する。同様に、複数形の用語の使用は、所与の文脈においてまぎれもなくそうでない限り、必ずしも複数を意味しない。また、「および」または「または」のような単語は、具体的に指示されない限り、「および／または」を示す。さらに、多数の修正および変形が、本開示を研究することから容易に生じるので、図示および記載された厳密な構成および動作に本開示を限定することは望まれず、したがって、あらゆる適切な修正および均等物が行使されてもよく、本開示の範囲内に収まる。
【0128】
他の実施形態は、本明細書および本明細書に開示された実施形態の実施を考慮すれば明らかになろう。本明細書および実施例は、例としてしか見なされないことが意図されており、開示された実施形態の真の範囲および趣旨は、以下の特許請求の範囲によって示される。本発明の態様の一部を以下記載する。
［態様１］
複数の画素であって、各画素が：
受光素子と；
前記受光素子に接続され、前記受光素子に入射する光の強度に比例する電流信号を第１の出力上で供給し、前記受光素子に入射する光の強度の対数となる電圧信号を第２の出力上で供給するように適合される光信号変換器と；
検出器であって、前記光信号変換器の第２の出力の電圧信号に比例する前記検出器の信号が閾値を超える場合に、自律的に、そして他の画素の検出器から独立にトリガ信号を生成するように適合される検出器と；
前記光信号変換器の第１の出力に接続され、前記受光素子上の光強度を測定して時間領域にエンコードするように適合される光－時間変換器と、
を含む非同期時系列画像センサであって、前記光－時間変換サイクルが、前記検出器からのトリガ信号の受信に応答して、光－時間変換器によって開始される、非同期時系列画像センサ。
［態様２］
前記光－時間変換器が、前記光－時間変換サイクルの開始および／または前記光－時間変換サイクルの完了を、前記複数の画素の外部にある読み出しシステムに通信するように適合される、態様１に記載の非同期時系列画像センサ。
［態様３］
前記前記光－時間変換器が、前記光－時間変換サイクル中に前記光信号変換器の第１の出力の電流信号によって充電されるように適合される少なくとも１つのキャパシタを含み、さらに前記光－時間変換サイクルが、前記キャパシタにかかる電圧が基準電圧に達したことを比較器で検出することに応答して、前記光－時間変換器によって完了される、態様２に記載の非同期時系列画像センサ。
［態様４］
前記読み出しシステムが、各画素に対するアドレス情報を、それぞれの前記画素の光－光変換器から受信した前記光－時間変換サイクルの開始および完了の情報と組み合わせるように適合され、好ましくは、前記画素アドレス情報と前記光－時間変換サイクルの開始および完了の情報とが、前記複数の画素の外部にあるデジタル処理システムによって同期してタイムスタンプを付与される、態様３に記載の非同期時系列画像センサ。
［態様５］
前記基準電圧が複数の基準電圧レベルの間で可変であり、随意に、前記キャパシタにかかる電圧が基準電圧に達するたびに、前記基準電圧が、異なる基準電圧レベルに減少する、態様１から４のいずれか一項に記載の非同期時系列画像センサ。
［態様６］
前記光－時間変換器が、キャパシタと並列するスイッチを開くことによって前記光－時間変換サイクルを開始するように、および／または前記スイッチを開いて前記光－時間変換サイクルを開始する前に、前記スイッチを閉じて前記キャパシタを放電するように適合される、態様１から５のいずれか一項に記載の非同期時系列画像センサ。
［態様７］
前記光－時間変換器が、前記検出器からのトリガ信号の受信に応答して、リセット信号を前記検出器に送信するように適合される、態様１から６のいずれか一項に記載の非同期時系列画像センサ。
［態様８］
前記光－時間変換器が、現在の光－時間変換サイクルの完了前に別のトリガ信号が受信される場合に、リセットして新しい光－時間変換サイクルを開始するように適合される、態様１から７のいずれか一項に記載の非同期時系列画像センサ。
［態様９］
前記光信号変換器への第１の供給電圧が、前記光－時間変換器への第２の供給電圧とは異なる、態様１から８のいずれか一項に記載の非同期時系列画像センサ。
［態様１０］
前記光信号変換器が利得ブースト光信号変換器である、態様１から９のいずれか一項に記載の非同期時系列画像センサ。
［態様１１］
前記光－時間変換器が：
並列して前記光信号変換器の第１の出力に接続されたキャパシタおよびスイッチと；
前記第１の出力に接続された比較器と；
前記比較器と前記検出器に接続された論理回路であって、前記検出器からのトリガ信号の受信に応答して、前記スイッチを開くことにより、前記光－時間変換サイクルを開始するように、前記キャパシタにかかる電圧が基準電圧に達したことを前記比較器が検出したことに応答して、前記光－時間変換サイクルを完了するように、そして前記光－時間変換サイクルの開始および完了を、前記画像センサの外部にある読み出しシステムに通信するように適合された論理回路と、
を含む、態様１に記載の非同期時系列画像センサであって、
前記キャパシタが、前記光信号変換器の第１の出力の電流信号によって光－時間変換サイクル中に充電されるように適合される、非同期時系列画像センサ。
［態様１２］
前記光信号変換器への第１の供給電圧が、前記キャパシタ、前記スイッチ、および前記比較器への第２の供給電圧とは異なる、態様１１に記載の非同期時系列画像センサ。
［態様１３］
複数の画素であって、各画素が、受光素子と、前記受光素子に接続された光信号変換器と、検出器と、前記光信号変換器に接続された光－時間変換器とを含む複数の画素を用いる、非同期時系列画像センシングを提供する方法であって：
前記受光素子に入射する光の強度に比例する電流信号を前記光信号変換器の第１の出力で供給することと；
前記受光素子に入射する光の強度の対数となる電圧信号を前記光信号変換器の第２の出力で供給することと；
前記光信号変換器の第２の出力の電圧信号に比例する前記検出器の信号が閾値を超える場合に、前記検出器を用いて、自律的に、そして他の画素の検出器とは独立にトリガ信号を生成することと；
前記光－時間変換器を用いて、前記受光素子上での光強度を時間経過情報にエンコードすることであって、前記時間経過情報が、前記光－時間変換サイクルの開始時間と前記光－時間変換サイクルの完了時間とを含むことと、
を含み、
前記光－時間変換サイクルが、前記検出器からのトリガ信号の受信に応答して、前記光－時間変換器によって開始される方法。
［態様１４］
前記光－時間変換器を用いて、前記光－時間変換サイクルの開始時間を、前記複数の画素の外部にある読み出しシステムに通信することと；
前記光－時間変換器を用いて、前記光－時間変換サイクルの完了時間を前記読み出しシステムにさらに通信することと、
をさらに含む、態様１３に記載の非同期時系列画像センシング方法。
［態様１５］
前記光－時間変換サイクル中に、前記光信号変換器の第１の出力の電流信号を用いてキャパシタを充電することと；
前記キャパシタにかかる電圧が基準電圧に達したと判断される場合に、比較器を用いて、前記光－時間変換サイクルの完了時間を検出することと；
前記読み出しシステムにおいて、各画素に対するアドレス情報を、前記それぞれの画素の光－時間変換器から受信した光－時間変換サイクルの開始および完了の情報と好ましくは組み合せることと；
前記複数の画素の外部にあるデジタル処理システムによって、前記画素アドレス情報と前記光－時間変換サイクルの開始および完了の情報とを好ましくは同期させタイムスタンプを付与することと、
をさらに含む、態様１３または１４に記載の非同期時系列画像センシング方法。
［態様１６］
前記基準電圧を複数の基準電圧レベルの間で変化させ、随意に、前記キャパシタにかかる電圧が前記基準電圧に達するたびに、前記基準電圧をさらに低い基準電圧レベルに減少させることをさらに含む、態様１３から１５のいずれか一項に記載の非同期時系列画像センシング方法。
［態様１７］
キャパシタと並列するスイッチを開いて、前記光－時間変換サイクルを開始すること、および好ましくは、前記スイッチを開いて前記光－時間変換サイクルを開始する前に、前記スイッチを閉じて前記キャパシタを放電することをさらに含む、態様１３から１６のいずれか一項に記載の非同期時系列画像センシング方法。
［態様１８］
前記検出器からのトリガ信号の受信に応答してリセット信号を前記検出器に送信すること
をさらに含む、態様１３から１７のいずれか一項に記載の非同期時系列画像センシング方法。
［態様１９］
現在の光－時間変換サイクルの完了前に別のトリガ信号を受信する場合に、リセットして新たな光－時間変換サイクルを開始することと；
前記複数の画素の外部にある読み出しシステムにキャンセル信号を送信することと、
を含む、態様１３から１８のいずれかの非同期時系列画像センシング方法。
［態様１］
複数の画素であって、各画素が：
受光素子と；
前記受光素子に接続され、前記受光素子に入射する光の強度に比例する電流信号を第１の出力上で供給し、前記受光素子に入射する光の強度の対数となる電圧信号を第２の出力上で供給するように適合される光信号変換器と；
検出器であって、前記光信号変換器の第２の出力の電圧信号に比例する前記検出器の信号が閾値を超える場合に、自律的に、そして他の画素の検出器から独立にトリガ信号を生成するように適合される検出器と；
前記光信号変換器の第１の出力に接続され、前記受光素子上の光強度を測定して時間領域にエンコードするように適合される光－時間変換器と、
を含む非同期時系列画像センサであって、前記光－時間変換サイクルが、前記検出器からのトリガ信号の受信に応答して、光－時間変換器によって開始される、非同期時系列画像センサ。
［態様２］
前記光－時間変換器が、前記光－時間変換サイクルの開始および／または前記光－時間変換サイクルの完了を、前記複数の画素の外部にある読み出しシステムに通信するように適合される、態様１に記載の非同期時系列画像センサ。
［態様３］
前記前記光－時間変換器が、前記光－時間変換サイクル中に前記光信号変換器の第１の出力の電流信号によって充電されるように適合される少なくとも１つのキャパシタを含み、さらに前記光－時間変換サイクルが、前記キャパシタにかかる電圧が基準電圧に達したことを比較器で検出することに応答して、前記光－時間変換器によって完了される、態様２に記載の非同期時系列画像センサ。
［態様４］
前記読み出しシステムが、各画素に対するアドレス情報を、それぞれの前記画素の光－光変換器から受信した前記光－時間変換サイクルの開始および完了の情報と組み合わせるように適合され、好ましくは、前記画素アドレス情報と前記光－時間変換サイクルの開始および完了の情報とが、前記複数の画素の外部にあるデジタル処理システムによって同期してタイムスタンプを付与される、態様３に記載の非同期時系列画像センサ。
［態様５］
前記基準電圧が複数の基準電圧レベルの間で可変であり、随意に、前記キャパシタにかかる電圧が基準電圧に達するたびに、前記基準電圧が、異なる基準電圧レベルに減少する、態様１から４のいずれか一項に記載の非同期時系列画像センサ。
［態様６］
前記光－時間変換器が、キャパシタと並列するスイッチを開くことによって前記光－時間変換サイクルを開始するように、および／または前記スイッチを開いて前記光－時間変換サイクルを開始する前に、前記スイッチを閉じて前記キャパシタを放電するように適合される、態様１から５のいずれか一項に記載の非同期時系列画像センサ。
［態様７］
前記光－時間変換器が、前記検出器からのトリガ信号の受信に応答して、リセット信号を前記検出器に送信するように適合される、態様１から６のいずれか一項に記載の非同期時系列画像センサ。
［態様８］
前記光－時間変換器が、現在の光－時間変換サイクルの完了前に別のトリガ信号が受信される場合に、リセットして新しい光－時間変換サイクルを開始するように適合される、態様１から７のいずれか一項に記載の非同期時系列画像センサ。
［態様９］
前記光信号変換器への第１の供給電圧が、前記光－時間変換器への第２の供給電圧とは異なる、態様１から８のいずれか一項に記載の非同期時系列画像センサ。
［態様１０］
前記光信号変換器が利得ブースト光信号変換器である、態様１から９のいずれか一項に記載の非同期時系列画像センサ。
［態様１１］
前記光－時間変換器が：
並列して前記光信号変換器の第１の出力に接続されたキャパシタおよびスイッチと；
前記第１の出力に接続された比較器と；
前記比較器と前記検出器に接続された論理回路であって、前記検出器からのトリガ信号の受信に応答して、前記スイッチを開くことにより、前記光－時間変換サイクルを開始するように、前記キャパシタにかかる電圧が基準電圧に達したことを前記比較器が検出したことに応答して、前記光－時間変換サイクルを完了するように、そして前記光－時間変換サイクルの開始および完了を、前記画像センサの外部にある読み出しシステムに通信するように適合された論理回路と、
を含む、態様１に記載の非同期時系列画像センサであって、
前記キャパシタが、前記光信号変換器の第１の出力の電流信号によって光－時間変換サイクル中に充電されるように適合される、非同期時系列画像センサ。
［態様１２］
前記光信号変換器への第１の供給電圧が、前記キャパシタ、前記スイッチ、および前記比較器への第２の供給電圧とは異なる、態様１１に記載の非同期時系列画像センサ。
［態様１３］
複数の画素であって、各画素が、受光素子と、前記受光素子に接続された光信号変換器と、検出器と、前記光信号変換器に接続された光－時間変換器とを含む複数の画素を用いる、非同期時系列画像センシングを提供する方法であって：
前記受光素子に入射する光の強度に比例する電流信号を前記光信号変換器の第１の出力で供給することと；
前記受光素子に入射する光の強度の対数となる電圧信号を前記光信号変換器の第２の出力で供給することと；
前記光信号変換器の第２の出力の電圧信号に比例する前記検出器の信号が閾値を超える場合に、前記検出器を用いて、自律的に、そして他の画素の検出器とは独立にトリガ信号を生成することと；
前記光－時間変換器を用いて、前記受光素子上での光強度を時間経過情報にエンコードすることであって、前記時間経過情報が、前記光－時間変換サイクルの開始時間と前記光－時間変換サイクルの完了時間とを含むことと、
を含み、
前記光－時間変換サイクルが、前記検出器からのトリガ信号の受信に応答して、前記光－時間変換器によって開始される方法。
［態様１４］
前記光－時間変換器を用いて、前記光－時間変換サイクルの開始時間を、前記複数の画素の外部にある読み出しシステムに通信することと；
前記光－時間変換器を用いて、前記光－時間変換サイクルの完了時間を前記読み出しシステムにさらに通信することと、
をさらに含む、態様１３に記載の非同期時系列画像センシング方法。
［態様１５］
前記光－時間変換サイクル中に、前記光信号変換器の第１の出力の電流信号を用いてキャパシタを充電することと；
前記キャパシタにかかる電圧が基準電圧に達したと判断される場合に、比較器を用いて、前記光－時間変換サイクルの完了時間を検出することと；
前記読み出しシステムにおいて、各画素に対するアドレス情報を、前記それぞれの画素の光－時間変換器から受信した光－時間変換サイクルの開始および完了の情報と好ましくは組み合せることと；
前記複数の画素の外部にあるデジタル処理システムによって、前記画素アドレス情報と前記光－時間変換サイクルの開始および完了の情報とを好ましくは同期させタイムスタンプを付与することと、
をさらに含む、態様１３または１４に記載の非同期時系列画像センシング方法。
［態様１６］
前記基準電圧を複数の基準電圧レベルの間で変化させ、随意に、前記キャパシタにかかる電圧が前記基準電圧に達するたびに、前記基準電圧をさらに低い基準電圧レベルに減少させることをさらに含む、態様１３から１５のいずれか一項に記載の非同期時系列画像センシング方法。
［態様１７］
キャパシタと並列するスイッチを開いて、前記光－時間変換サイクルを開始すること、および好ましくは、前記スイッチを開いて前記光－時間変換サイクルを開始する前に、前記スイッチを閉じて前記キャパシタを放電することをさらに含む、態様１３から１６のいずれか一項に記載の非同期時系列画像センシング方法。
［態様１８］
前記検出器からのトリガ信号の受信に応答してリセット信号を前記検出器に送信すること
をさらに含む、態様１３から１７のいずれか一項に記載の非同期時系列画像センシング方法。
［態様１９］
現在の光－時間変換サイクルの完了前に別のトリガ信号を受信する場合に、リセットして新たな光－時間変換サイクルを開始することと；
前記複数の画素の外部にある読み出しシステムにキャンセル信号を送信することと、
を含む、態様１３から１８のいずれかの非同期時系列画像センシング方法。
【図1】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
