(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-26
(45)【発行日】2023-11-06
(54)【発明の名称】動的ビジョンセンサアーキテクチャ
(51)【国際特許分類】
H04N 25/77 20230101AFI20231027BHJP
【FI】
H04N25/77
【外国語出願】
(21)【出願番号】P 2022036827
(22)【出願日】2022-03-10
(62)【分割の表示】P 2019532733の分割
【原出願日】2017-12-29
【審査請求日】2022-04-11
(32)【優先日】2016-12-30
(33)【優先権主張国・地域又は機関】CH
(32)【優先日】2016-12-30
(33)【優先権主張国・地域又は機関】CH
(73)【特許権者】
【識別番号】522091140
【氏名又は名称】ソニー アドバンスト ビジュアル センシング アーゲー
(74)【代理人】
【識別番号】100206335
【氏名又は名称】太田 和宏
(74)【代理人】
【識別番号】100120857
【氏名又は名称】渡邉 聡
(74)【代理人】
【識別番号】100116872
【氏名又は名称】藤田 和子
(72)【発明者】
【氏名】ベルナー ラファエル
(72)【発明者】
【氏名】ブレントリ クリスティアン
【審査官】三沢 岳志
(56)【参考文献】
【文献】特表2016-533140(JP,A)
【文献】米国特許出願公開第2016/0093273(US,A1)
【文献】国際公開第2010/032842(WO,A1)
【文献】国際公開第2015/166176(WO,A1)
【文献】米国特許出願公開第2014/0204250(US,A1)
【文献】Y. M. Chi et al.、Vol. 42,CMOS Camera With In-Pixel Temporal Change Detection and ADC,IEEE Journal of Solid-State Circuits,IEEE,2007年10月01日,Vol. 42、No. 10,p.2187-2196
(58)【調査した分野】(Int.Cl.,DB名)
H04N 25/77
(57)【特許請求の範囲】
【請求項1】
複数の画素であって、複数の画素の少なくとも1つは、
入射光を検出するフォトセンサ、および、
前記フォトセンサからの出力に基づいて第1の信号を出力する第1の回路であって、第1の信号は入射光の量の変化を示す、第1の回路、
を含む、複数の画素と、
前記第1の信号を第1の基準電圧および第2の基準電圧の両方と選択的に比較する比較器であって、
前記第1の信号を受信する第1のノード、および、
前記第1の基準電圧および前記第2の基準電圧を選択的に受信する第2のノード、
を含む、比較器と、
前記第1の信号が前記第1の基準電圧または前記第2の基準電圧のいずれかを上回ったと前記比較器
が判定したことと組み合わせてグローバルリセット信号
を受信したときに、前記比較器からの出力で前記第1の回路をリセットするリセット回路と、
を含む、センサ。
【請求項2】
前記第1の回路は、対数回路および反転増幅器を含む、請求項1に記載のセンサ。
【請求項3】
前記第1の回路は、キャパシタを含む、請求項2に記載のセンサ。
【請求項4】
前記比較器は、少なくとも2つのフォトセンサによって共有される、請求項1に記載のセンサ。
【請求項5】
前記少なくとも1つの画素は、第2のフォトセンサ、および第2のフォトセンサからの出力に基づいて第2の信号を出力する第2の回路、をさらに含み、第2の信号は入射光の量の変化を示す、請求項1に記載のセンサ。
【請求項6】
前記第2の回路は、前記比較器に結合される、請求項5に記載のセンサ。
【請求項7】
前記比較器は、前記少なくとも1つの画素に含まれる、請求項1に記載のセンサ。
【請求項8】
複数の画素であって、複数の画素の少なくとも1つは、
入射光を検出するフォトセンサ、および、
前記フォトセンサからの出力に基づいて第1の信号を出力する第1の回路であって、第1の信号は入射光の量の変化を示す、第1の回路、
を含む、複数の画素と、
前記第1の信号および定常状態の第1の基準電圧および定常状態の第2の基準電圧を選択的に比較する比較器であって、
前記第1の信号を受信する第1のノード、および、
第1の基準電圧および第2の基準電圧を選択的に受信する第2のノード、
を含む、比較器と、
前記第1の信号が前記第1の基準電圧または第2の基準電圧のいずれかを上回ったと前記比較器
が判定したことと組み合わせてグローバルリセット信号
を受信したときに、前記比較器
への入力をリセットするリセット回路と、
を含む、センサ。
【請求項9】
前記第1の回路は、対数回路および反転増幅器を含む、請求項8に記載のセンサ。
【請求項10】
前記第1の回路は、キャパシタを含む、請求項9に記載のセンサ。
【請求項11】
前記比較器は、少なくとも2つのフォトセンサによって共有される、請求項8に記載のセンサ。
【請求項12】
前記少なくとも1つの画素は、第2のフォトセンサ、および第2のフォトセンサからの出力に基づいて第2の信号を出力する第2の回路、をさらに含み、第2の信号は入射光の量の変化を示す、請求項8に記載のセンサ。
【請求項13】
前記第2の回路は、前記比較器に結合される、請求項12に記載のセンサ。
【請求項14】
前記比較器は、前記少なくとも1つの画素に含まれる、請求項8に記載のセンサ。
【請求項15】
複数の画素であって、複数の画素の少なくとも1つは、
入射光を検出するフォトセンサ、および、
前記フォトセンサからの出力に基づいて第1の信号を出力する第1の回路であって、第1の信号は入射光の量の変化を示す、第1の回路、
を含む、複数の画素と、
前記第1の信号を第1の基準電圧および第2の基準電圧の両方と選択的に比較する比較器であって、
前記第1の信号を受信する第1のノード、および、
第1の基準電圧および第2の基準電圧を選択的に受信する第2のノード、
を含む、比較器と、
グローバルリセット信号を受信する第1の入力ノード
と、前記第1の信号が前記第1の基準電圧または前記第2の基準電圧のいずれかを上回ったかどうかの指標を受信する第2の入力ノードと、を含むAND論理回路を含むリセット回路と、
を含む、センサ。
【請求項16】
前記第1の回路は、対数回路および反転増幅器を含む、請求項15に記載のセンサ。
【請求項17】
前記第1の回路は、キャパシタを含む、請求項16に記載のセンサ。
【請求項18】
前記比較器は、少なくとも2つのフォトセンサによって共有される、請求項15に記載のセンサ。
【請求項19】
前記少なくとも1つの画素は、第2のフォトセンサ、および第2のフォトセンサからの出力に基づいて第2の信号を出力する第2の回路、をさらに含み、第2の信号は入射光の量の変化を示す、請求項15に記載のセンサ。
【請求項20】
前記第2の回路は、前記比較器に結合される、請求項19に記載のセンサ。
【請求項21】
前記比較器は、前記少なくとも1つの画素に含まれる、請求項15に記載のセンサ。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願]
本出願は、いずれもそれらの全体が参照により本明細書に組み込まれる、2016年12月30日出願のスイス仮特許出願第CH20160001764号、および2016年12月30日出願のスイス仮特許出願第CH20160001765号の優先権を主張する。
【0002】
[技術分野]
本発明は、ビジョンセンサ、より詳しくは動的または変化検出センサに関する。これらのセンサは、光強度の変化に反応し、このような方法でシーンがどのように変化するかをモニタする。
【背景技術】
【0003】
現在、マシンビジョンは、ほとんどが従来のカメラおよびそれらと関連するフレームベースの画像センサに基づく。いくつかのマシンビジョンタスク、例えば、物体認識には、これらの従来のフレームベースのカメラがよく適している。しかしながら、他のタスク、例えば、追跡または位置および動きの推定について、従来の画像センサは、欠点を有する。
【0004】
主な欠点は、従来のカメラが冗長かつ不必要な著しい量のデータを生み出し、それらのデータを取り込み、通信して、処理しなければならないことである。この高いデータ負荷が時間分解能を減少させることによって反応時間を遅らせ、電力消費量の増加をもたらし、さらにマシンビジョンシステムのサイズおよびコストを増加させる。加えて、ほとんどの画像センサには限られたダイナミックレンジ、不十分な低照度性能およびモーションブラーの問題がある。
【0005】
これらの欠点は、データが静止画(フレーム)のシーケンスとして取込まれるという事実から生じる。いくつかのケースでは、動的シーンを静止画像として符号化することが美しい画像および動画を作り出すのに有用であるが、マシンビジョンに用いるためのデータ処理には最適でない。
【0006】
従来のカメラを用いた従来型コンピュータビジョンシステムは、典型的に、物体認識のために連続した画像フレーム間でフィーチャを比較する。モバイルシステムの位置および方位を推定するため、ならびに周りの世界の3次元マップを推測するために、部分的に重なっているが、異なる時間に異なる姿勢からとられた、2つの連続した画像が比較される。2つのフレーム間で発生した動きを推測するためには、特徴的な視覚的ランドマーク(キーとなる箇所または他の視覚的フィーチャ)を2つの画像にわたって照合しなければならない。両方の画像において互いに対応するこれらの箇所の対を見出すことは、「対応問題」を解決することとして知られている。
【0007】
対応問題を解決するには、著しい量の処理能力を必要とする。ランドマークを検出するために、特徴的なフィーチャ(角、斑点、稜など)について画像中のすべての画素を検索しなければならないであろう。次に、いわゆるフィーチャ記述子を特徴付けるために画素およびそれらの周辺近傍の画素がグループ分けされ、フィーチャ記述子は、次に、フレーム間でフィーチャを照合し、それによって、対応する箇所の対を確立するために用いられる。これは、計算を多用する。画素強度を直接に比較する直接的なアプローチは、計算がさらにいっそう複雑である。
【0008】
他方、いわゆる動的ビジョンセンサ(DVS:Dynamic Vision Sensor)は、フレームベースの符号化の限界を克服するセンサである。本参照により本明細書に組み込まれる特許文献1、Lichtsteiner等、「Photoarray for Detecting Time-Dependent Image Data」を参照。画素内データ圧縮を用いることによって、データ冗長性が除去され、高時間分解能、低レイテンシ、低消費電力で、モーションブラーのほとんどない高ダイナミックレンジが達成される。従って、DVSは、特に、太陽電池または電池式の圧縮センシング用途に、またはシステムの位置を推定しなければならず、限られた電池容量に起因して処理電力が限られる、モバイルマシンビジョン用途によく適している。
【0009】
DVSは、視覚情報を局所的に前処理する。鮮明な画像を生成する代わりに、DVSは、コンピュータアプリケーションのためのスマートデータを作り出す。従来の画像センサは、動画を一連の静止画像として取り込むが、DVSは、シーン中の変化の位置を検出して、それだけを送信する。DVSは、画素内データ圧縮を行うため、従来のカメラよりはるかに効率的に視覚情報を符号化する。これは、より少ないリソース、より低い正味の電力を用いて、より速いシステム反応時間でデータを処理できることを意味する。高時間分解能が視覚的フィーチャの連続的な追跡を可能にし、それによって、対応問題を克服する。加えて、DVSのアーキテクチャは、高ダイナミックレンジおよび良好な低照度性能を可能にする。
【先行技術文献】
【特許文献】
【0010】
【文献】米国特許出願公開第2008/0135731号
【発明の概要】
【発明が解決しようとする課題】
【0011】
典型的なDVSは、いくつかの欠点を抱える可能性がある:
【0012】
1.画素回路は、いくつかのケースでは、増幅器および2つの比較器をそれらが含むため、大きくなりかねない。
【0013】
2.非同期読み出し回路は、タイミングジッタを生じやすい。シーンの広い区域が短時間に変化するならば、ジッタが増加して、センサの部分からのデータ読み出しが遅延し、動きアーチファクトにつながりかねない。
【0014】
3.DVS画素回路は、セルフタイム式の傾向があるため、センサ時間分解能を課することができず、小区域における非常に速い変化が通信帯域幅を飽和させかねない。
【0015】
4.DVSセンサは、作り出される出力データの量がシーンのダイナミックスに主に依存するという特性を有する。従って、データレートが予測不可能であり、処理段階における問題、すなわち、過負荷の問題につながる(すなわち、処理段階がデータ量に対処できない)。
【0016】
5.いくつかのDVSセンサでは、アレイ中の画素は、各行が読み出された後にその行がリセットされる。これは、フレームからフレームへの小さい変化を蓄積できないため、遅い移動が検出されないことを意味する。さらに、既存の画素回路設計は、ローリングシャッタに起因する動きアーチファクトを生じやすい。
【課題を解決するための手段】
【0017】
本発明は、DVS(動的ビジョンセンサ)設計に関係する。既存の解決法と関連する少なくともいくつかの不利な点を軽減する、取り除く、または陳腐化するために異なる実施形態を採用することができる。例えば、本発明の実施形態は、画素アレイに用いられる画素のサイズを縮小することを可能にして、その結果、同じ解像度に対してより小さいセンサ、または同じダイサイズに対してより高い解像度を可能にする。さらに、いくつかの実施形態では、画素アレイの画素が同時に作動されてよい(従って、同時に機能するセンサを可能にする)。そのうえ、光強度の変化を評価する時間を制御することができ、従って、時間分解能および事象レートを目下の状況および用途に適応可能にできる。
【0018】
画素回路は、同時に、および/または外部タイミング基準によって機能できる。これは、以下に列挙されるいくつかの利点を有する:
【0019】
1.センサの時間分解能を変化させることによる事象レート制御。
【0020】
2.フレームベースの読み出しは、画素からの時間ジッタがより少ないデータ読み取りを可能にする。
【0021】
3.クロックド画素回路を有すると、標準的なデジタル設計ツールを用いることができて、画素アレイにインターフェースで接続するデジタル通信回路の設計がより容易になる。典型的な既存のDVSの非同期回路の設計は、適切な市販のツールが入手できないため、より難しくなりがちである。
【0022】
4.コントローラによってタイミングを制御すると、変化検出フェーズと読み出しフェーズとを時間的に分離することが可能になる。これは、1つの画素から別の画素への寄生結合に起因して誤事象を生成するリスクを低減する。
【0023】
一般に、一態様によれば、本発明は、センサを特徴とする。センサは、典型的に、画素のアレイを備える。アレイは、1または2次元アレイとすることができる。しかしながら、単一画素のセンサも可能である。
【0024】
センサの画素の各々がいくつかの要素を含む。フォトセンサは、入射光を検出する。フォトレセプタ信号は、フォトセンサによって受光された光の量の関数である。メモリキャパシタがさらに設けられて、キャパシタの第1のプレートは、フォトレセプタ信号からの電荷を帯び、キャパシタの第2のプレートは、フォトレセプタ信号の変化とともにその電圧が変動する比較器ノードに接続される。次に、フォトレセプタ信号の変化を1つ以上の閾値に対して評価するために、1つ以上の比較器が比較器ノードの電圧を1つ以上の基準電圧と比較する。
【0025】
一般に、別の態様によれば、本発明は、センサを特徴とする。このセンサは、典型的に、画素のアレイまたは単一画素を含む。それらの画素の各々がフォトセンサを含む。フォトレセプタ信号は、フォトレセプタによって受光された光の量の関数である。さらに、メモリキャパシタは、フォトレセプタ信号からの電荷を帯びる。画素には、1つだけの比較器が設けられる。比較器は、フォトレセプタ信号の変化を1つ以上の閾値に対して評価するために、比較器ノードの電圧を1つ以上の基準電圧と比較する。
【0026】
画素中の単一の比較器のみの使用は、画素のサイズを縮小するという利点を有する。このサイズ縮小を用いてアレイのサイズを半導体チップの同じ面積に対して増加させることができる。他方では、それを用いて、センサの全体サイズを縮小し、より低コストのデバイスを可能にすることができる。
【0027】
一般に、別の態様によれば、本発明は、センサを特徴とする。このセンサも画素のアレイまたは単一画素を備える。画素の各々は、フォトセンサおよびメモリキャパシタを含む。画素は、フォトレセプタ信号の変化を1つ以上の閾値に対して評価するためにメモリキャパシタからの電圧を1つ以上の基準電圧と比較する比較器をさらに含む。本発明によれば、比較器は、メモリキャパシタへのリセット電圧も提供する。
【0028】
メモリキャパシタへリセット電圧を提供するために比較器を用いることが有用である。なぜなら、このリセット電圧が比較器におけるオフセットを考慮に入れる方法でメモリキャパシタをリセットするからである。これが重要なのは、画素アレイ中の比較器の各々が、製造ばらつきに起因して、わずかに異なるオフセットを有するかもしれないためである。本発明によれば、結果として生じる任意のオフセットがメモリキャパシタへリセット電圧を提供するために比較器を用いることによって除去される。
【0029】
一般に、別の態様によれば、本発明は、センサを特徴とする。このセンサも画素のアレイまたは単一画素を備える。画素の各々は、フォトセンサおよびメモリキャパシタを含む。画素中には比較器がさらに設けられる。比較器は、フォトレセプタ信号上の変化をオン閾値またはオフ閾値に対して評価するために、メモリキャパシタからの電圧を2つの基準電圧と相次いで比較する。
【0030】
本発明は、メモリキャパシタからの電圧をオン閾値またはオフ閾値と連続的に比較することによってオン事象およびオフ事象の両方を判定するために単一の比較器を用いるという利点を有する。
【0031】
一般に、別の態様によれば、本発明は、センサを特徴とする。このセンサは、画素のアレイまたは単一画素を有する。それらの画素の各々がフォトセンサおよびメモリキャパシタを含む。さらに、画素は、フォトレセプタ信号の変化を1つ以上の閾値に対して評価するためにメモリキャパシタからの電圧を比較する1つ以上の比較器を有する。最後に、1つ以上の比較器の出力を保存するために、画素中にメモリ構造が設けられる。
【0032】
画素中にメモリ構造を設けると、画素が閾値処理の結果を保存することが可能になる。これにより、例えば、アレイ中の様々な画素から情報がいつ読み出されるかのタイミングを見込むことが可能になる。
【0033】
一般に、別の態様によれば、本発明は、画素のアレイまたは単一画素を特徴とする。これらの画素の各々がフォトセンサおよびメモリキャパシタを含む。本発明によれば、スイッチも画素の各々に設けられて、フォトセンサをメモリキャパシタに接続するシャッタ回路信号によって制御される。このような方法で、アレイ中の画素のすべてにグローバルシャッタ信号を提供できる。
【0034】
グローバルシャッタの使用は、例えば、ローリングシャッタと関連する問題を回避するようにアレイ全体をトリガするために、単一の信号を用いることができるという点で有利である。
【0035】
一般に、別の態様によれば、本発明は、センサを特徴とする。このセンサは、画素のアレイまたは単一画素を備える。それらの画素の各々がフォトセンサを含む。フォトレセプタ信号は、フォトレセプタ信号からの電荷を帯びるメモリキャパシタにおいてフォトセンサによって受光された光に基づく。本発明によれば、アレイの読み出し回路中に1つ以上の比較器が設けられる。これらの比較器は、フォトレセプタ信号の変化を1つ以上の閾値に対して評価するために、アレイのメモリキャパシタの電圧を基準電圧と比較する。
【0036】
この発明では、比較器が画素のアレイを囲む周辺回路へ移される。これは、それらの対応する画素をさらに縮小することを可能にする。他方では、アレイ全体に必要な閾値処理機能を提供するために、少数の比較器を用いることができる。
【0037】
一般に、別の態様によれば、本発明を方法としても特徴付けることができる。具体的には、センサの作動の方法は、入射光を検出するアレイの画素のフォトセンサ、フォトセンサによって受光された光の量の関数であるフォトレセプタ信号を生成するステップ、フォトセンサによって前に検出された光に対応する電荷を保存するためにメモリキャパシタを用いるステップであって、キャパシタの第1のプレートは、フォトレセプタ信号からの電荷を帯び、キャパシタの第2のプレートは、比較器ノードに接続されて、それらの電圧がフォトレセプタ信号の変化とともに変動する、用いるステップ、およびフォトレセプタ信号の変化を1つ以上の閾値に対して評価するために、比較器ノードの電圧を1つ以上の基準電圧と比較するステップを含む。
【0038】
構成および部分の組み合わせの様々な新規の詳細、ならびに他の利点を含む、本発明の上記および他の特徴が、次に、添付図面を参照してより詳しく記載され、特許請求の範囲において示されるであろう。本発明を具現化した特定の方法およびデバイスが、本発明の限定としてではなく、説明として示されることが理解されるであろう。本発明の原理および特徴は、本発明の範囲から逸脱することなく、様々な多くの実施形態に採用されてよい。
【0039】
添付図面において、参照文字は、異なる図面を通じて同じ部分を指す。図面は、必ずしも縮尺通りではなく、本発明の原理を示す際にはむしろ強調されている。図面は、以下の通りである。
【図面の簡単な説明】
【0040】
【
図1】本発明の原理による、DVSまたは変化検出センサのための画素回路の構成要素および接続を示す回路図である。
【
図2】随意的なサンプリング回路をもつ画素回路の代わりの実施形態を示す回路図である。
【
図3】行および列の2次元画素アレイに配置された画素をもつセンサのレイアウトを示す概略図である。
【
図4A】フレームを処理する各フェーズが固定された時間量を要する、固定フレームレートをもつ変化検出センサのためのフェーズタイミングを示す。
【
図4B】可変フレームレートをもつ変化検出センサのためのフェーズタイミングを示し、可変性は、事象読み出しフェーズに要する時間に帰される。
【
図5】サンプリングのない画素回路の好ましい実施形態の構成要素を示す回路図である。
【
図6】信号のタイムラインを示す。横時間軸は、上にラベル付けされたフェーズ作動の発生の持続時間および時刻に対応する。
【
図7】サンプリングのある画素回路素子の好ましい実施形態の構成要素を示す回路図である。
【
図8】前のものと比較して、より小さく、より簡単な画素回路の実施形態の構成要素を示す回路図である。
【
図9】
図8に図示される画素回路の実施形態に対応する信号のタイムラインを示す。
【
図10】メモリ回路が画素回路素子から読み出し回路へ移された、さらに小さく、より簡単な画素の実施形態の構成要素を示す回路図である。
【
図11】
図10に図示される画素回路の実施形態に対応する信号のタイムラインを示す。
【
図12】前の実施形態より高速にできる、画素ごとに2つの比較器をもつ別の画素の実施形態を示す回路図である。
【
図13】比較器機能が画素回路から読み出し回路へ移されたときになおさらに小さい画素サイズを示す回路図である。(注:示される2つの画素は、画素アレイの列に沿う。)
【
図14】
図13と同様の配置における2つの画素を示す。図中、画素回路は、画素出力の変化を増幅するための増幅回路を含む。
【
図15】サンプリング回路SCの実施形態を示す回路図である。
【
図16】2段比較器A1の実施形態を示す回路図である。
【
図17】オペレーショナルトランスコンダクタンス増幅器に基づく代わりの比較器の実施形態を示す回路図である。
【
図18】リセット回路の実施形態を示す回路図である。
【
図19】代わりのリセット回路を示す回路図である。
【
図20】リセット回路の第3の実施形態を示す回路図である。
【
図21】
図8の画素の実施形態のリセット回路の第1の実施形態を示す回路図である。
【
図22】
図8の画素の実施形態の代わりのリセット回路を示す回路図である。
【
図23】
図8の画素の実施形態のリセット回路の第3の実施形態を示す回路図である。
【
図24】
図10に示される画素の実施形態のためのリセット回路を示す回路図である。
【
図25】
図10に示される画素の実施形態のためのリセット回路の実施形態を示す回路図である。
【
図27】画素フォトレセプタおよび回路の好ましい実施形態を示す回路図である。
【
図28】2つのNMOSフィードバックトランジスタをもつフォトレセプタの実施形態を示す回路図である。
【
図29】PMOSフィードバックトランジスタをもつフォトレセプタの実施形態を示す回路図である。
【
図30】画素アレイ中の基本的な読み出し回路の実施形態を示す概略図である。
【
図31】事象ベースの読み出し回路の実施形態を示す概略図である。
【
図32】
図5、
図7および
図12における画素回路のための列論理回路の好ましい実施形態を示す回路図である。
【
図33】
図8の画素回路のための列論理回路の実施形態を示す回路図である。
【
図34】
図10の画素回路のための列論理回路の実施形態を示す回路図である。
【
図35】
図13の画素回路のための列論理回路の実施形態を示す回路図である。
【
図36】
図13に示される画素回路および
図35の列論理回路実施のための信号タイムラインを示す。
【
図37】
図14に示される画素回路のための列論理回路の実施を示す。
【発明を実施するための形態】
【0041】
次に、本発明の実例となる実施形態が示される添付図面を参照して、本発明をより十分に記載する。しかしながら、本発明は、多くの異なる形態で具現化されてよく、本明細書に提示される実施形態に限定されると解釈されるべきではない。むしろ、これらの実施形態を、本開示が十分かつ完全であり、本発明の範囲が当業者に十分に伝わるように提供する。
【0042】
本明細書では、用語「および/または」は、関連する列挙項目のうちの1つ以上のあらゆる組み合わせを含む。さらに、単数形および冠詞「a」、「an」および「the」は、別に明記されない限り、複数形も同様に含むことが意図される。用語:含む、備える、含むことおよび/または備えることは、本明細書に用いられるときに、明記される特徴、整数、ステップ、作動、要素および/または構成要素の存在を特定するが、1つ以上の他の特徴、整数、ステップ、作動、要素、構成要素、および/またはそれらの群の存在または追加を排除しないことがさらに理解されるであろう。さらに、ある要素が、構成要素またはサブシステムを含めて、別の要素に接続または結合されることが言及され、および/または示されるときには、その要素を他の要素に直接接続または結合することができ、あるいは介在要素が存在してもよいことが理解されるであろう。
【0043】
「第1の」および「第2の」などの用語が様々な要素を記述するために本明細書では用いられるが、これらの要素は、これらの用語によって限定されるべきではないことが理解されるであろう。これらの用語は、1つの要素を別の要素から区別するために用いられるに過ぎない。従って、以下に考察される要素を第2の要素および同様に呼ぶことができるであろうが、本発明の教示から逸脱することなく第2の要素が第1の要素と呼ばれてもよい。
【0044】
別に定義されない限り、本明細書に用いられるすべての用語(技術および科学用語を含む)は、当業者によって共通に理解されるのと同じ意味を有する。一般に用いられる辞書に定義されるような用語は、関連する技術分野の文脈におけるそれらの意味と整合する意味を有すると解釈されるべきであり、本明細書において明示的にそのように定義されない限り、理想化されたまたは過度に形式的な感覚で解釈されることにはならないことがさらに理解されるであろう。
【0045】
本出願を通して多くの専門用語が用いられる。便宜上および本発明の正確な記載のためにそれらの専門用語が以下に定義される。
【0046】
閉じたスイッチ:導通している、すなわち、2つの端子が電気的に接続されたスイッチ。
【0047】
電子接続:回路における2つのノード間の直接的(2つのノード間に電流が流れることができるような、電気的)か、またはバッファを介した、いずれかの接続。
【0048】
事象:所与の画素における光強度の増加または減少。
【0049】
事象フレーム:閾値電圧の適用、メモリの作動、メモリコンテンツの読み出しおよびリセットの1回の反復。
【0050】
事象レート:画素回路によって生成され、送信される毎秒の事象の数。事象レートは、画素回路構成、閾値設定および時間分解能に、さらにセンサの動きならびに観察シーンにも依存する。
【0051】
フレームレート:各画素が毎秒読み取られる回数。1つの事象フレーム全部が走査されるレートに相当する。フレームレートは、固定することもでき、または生成される事象の数に従属させることもできる。
【0052】
動きアーチファクト:カメラまたは対象のいずれかがフレームにわたって速く動いている場合、ローリングシャッタは、画像中の潜在的な垂直線の顕著なスキューを示しかねない。フレーム中に速い動きがあれば、画像全体が歪みかねない。
【0053】
OFF事象:所与の画素についての光強度の離散的な減少。
【0054】
ON事象:所与の画素についての光強度の離散的な増加。
【0055】
開いたスイッチ:導通していないスイッチ、すなわち、2つの端子間に開回路が提供される。
【0056】
画素アドレス:アレイ中の画素の位置を記述する番号または番号の対。通常、行番号および列番号。
【0057】
パワーレイル:接地(Vss)または電源電圧(Vdd)のいずれか。
【0058】
一般に、
図1は、本発明の原理によって組み立てられ、接続された画素回路の構成要素を示す。この文書の後の方では、画素の行および列を有し、各々の画素がこの実施形態または代わりの実施形態に示されるようなエレクトロニクスを有する、2次元画素アレイが参照される。
【0059】
本発明における「画素」は、それに衝突する光の強度を記録するセンシング要素を指し、「画素回路」または「画素エレクトロニクス」は、画素の電子的構成要素および回路素子を指す。この文書では、用語「画素回路」は、画素のエレクトロニクスに関する考察に焦点に合わせるために用いられ、用語「画素」は、センシング要素を全体として指すために用いられる。典型的に、センサ(
図3参照)は、画素100の2次元アレイおよび追加の周辺回路素子から構成される。それでもなお、すべての用途に2次元アレイが必要とされるわけではない。センサは、単一画素(1つの画素のアレイ)または画素の1次元アレイ(ラインセンサ)を含むこともできる。
【0060】
画素回路100の主な構成要素が以下に列挙される。
【0061】
1.フォトレセプタモジュール。図に示されるように、画素回路は、衝突光9を測定して光強度を電流Iphotoへ変換するためのフォトダイオードPD、または他のフォトセンサ、光強度に依存するフォトレセプタ信号Vprを生成するためのフォトレセプタ回路PRC、および過去のフォトレセプタ信号を記憶するためのメモリキャパシタC1を含む。フォトセンサPDおよびフォトレセプタ回路PRCは、フォトレセプタモジュールPRを構成する。
【0062】
2.メモリキャパシタC1:フォトレセプタ信号Vpr、従って、フォトセンサPDによって受光された光に応答する電荷をキャパシタの第1のプレートが帯びるようにフォトレセプタ信号Vprを受け取る。メモリキャパシタC1の第2のプレートは、A1の比較器ノード(反転入力)に接続される。従って、比較器ノードの電圧Vdiffは、フォトレセプタ信号Vprの変化とともに変動する。
【0063】
3.比較器A1:これは、現在のフォトレセプタ信号Vprと過去のフォトレセプタ信号との間の差を閾値と比較するための手段である。この比較器A1は、各画素中にあっても、または画素のサブセット(例えば、列)間で共有されてもよい。好ましい実施形態では、比較器が画素と一体になり、各画素が専用の比較器A1を有する。
【0064】
4.メモリ:メモリ50は、コントローラ60からのサンプル信号に基づいて比較器出力を保存する。メモリは、サンプリング回路(例えば、スイッチおよび寄生または明示的キャパシタ)あるいはデジタルメモリ回路(ラッチまたはフリップフロップ)とすることができる。1つの実施形態では、メモリがサンプリング回路であり、各画素が2つのメモリを有する。
【0065】
5.条件付きリセット回路R1:リセットのための条件は、記憶された比較器出力の状態とコントローラによって適用されるリセット信号との組み合わせである。
【0066】
6.周辺回路の構成要素:比較器A1およびメモリ50は、画素中または周辺回路中(画素回路の外部)に配置することができる。
【0067】
周辺回路は、コントローラ60を含み、コントローラ60は、閾値信号を比較器A1に適用し、制御信号をメモリ50へ送り、条件付きリセット回路R1がアクティブになる時間を選択する。
【0068】
周辺回路は、読み出し回路ROも含んでよく、読み出し回路ROは、メモリ50のコンテンツを読み取り、所与の画素についての光強度が、増加した、減少した、または変化しなかったかどうかを判定して、(現在のメモリ値から計算された)出力をプロセッサへ送る。
【0069】
さらに詳細には、比較器は、光が増加/減少したかどうかを伝える。Off事象について:Vdiffが(Vb上の)閾値Voffより低ければ、比較器出力はハイであり、このレベルがメモリに保存される。これは、減少が検出されることを意味する。Vdiffが閾値より低くなければ、比較器出力はローである:減少が検出されない。
【0070】
唯一困難なのは、On事象では、ロー比較器出力が増加を意味し、一方でハイ比較器出力が変化なしを意味するが、Off事象については、ハイ比較器出力が減少を意味し、一方でロー比較器出力が変化なしを意味することである。
【0071】
従って、読み出しは、メモリコンテンツおよびどの閾値が適用されたかを知らなければならない。あるいは、後に記載される好ましい実施形態におけるように、メモリ極性がオンおよびオフの両方について同じであるように、Onに対してはインバータがある。
【0072】
本発明の画素回路100の1つの好ましい実施形態では、各画素回路100が1つの比較器のみを含み、従ってこの比較器が最初にON事象のための比較器として、次にOFF事象のための比較器として機能する(逆もまた同様である)。
【0073】
画素回路100およびコントローラ60は、以下のように作動する。
【0074】
フォトセンサPDによって受光される光強度の変化は、フォトレセプタ信号Vprの変化に換算される。リセット回路R1が導通していないときには、比較器A1への反転入力(-)における比較器ノードの電圧VdiffにもVprの変化が反映される。これは、メモリキャパシタC1の両端間の電圧が一定のままであるために発生する。
【0075】
コントローラ60によって選択された時刻に、比較器A1は、メモリキャパシタC1の第2の端子における比較器ノードの電圧(Vdiff)を、比較器A1の非反転入力(+)に適用された(コントローラからの)閾値電圧Vbと比較する。
【0076】
コントローラ60は、比較器出力Vcompを保存するためにメモリ50を作動させる。メモリ50は、示されるように、典型的に、画素回路100の一部として実施される。しかしながら、他の実施形態では、メモリ50は列論理回路(周辺回路、画素アレイの各列ごとに1つ)の一部として実施される。
【0077】
メモリ50に保持された保存比較器出力の状態が光強度の変化を示し、AND、コントローラ60からのグローバルリセット信号であるGlobalReset信号がアクティブであれば、条件付きリセット回路R1は、導通している。ここで「AND」は、論理AND演算子を示す。条件付きリセット回路R1が導電状態にあると、比較器A1の反転入力における比較器ノードの電圧(Vdiff)は、既知のレベルへリセットされる。従って、比較器A1は、現在のフォトレセプタ信号VprをメモリキャパシタC1上に保存する。
【0078】
図2は、フォトレセプタ回路PRCとメモリキャパシタC1との間に随意的なサンプリング回路SCを含む、別の実施形態による画素回路100を示す。サンプリング回路SCは、フォトレセプタ回路PRCの出力VprとメモリキャパシタC1との間の選択的電子接続または切断を可能にする。
【0079】
サンプリング回路SCは、動きアーチファクトを回避するためすべての画素のフォトレセプタ出力を同じ瞬間にグローバルにサンプリングするためにコントローラ60からのサンプル信号25によって作動される。典型的に、サンプリング回路SCは、サンプリングスイッチ150、寄生または明示的サンプリングキャパシタC2、およびバッファ増幅器A2を備えてよい。(注:すべての実施でバッファ増幅器A2が用いられるわけではない。)
【0080】
画素回路100およびコントローラ60は、以下のように作動する。
【0081】
光強度の変化は、
図1の前の実施形態におけるように、フォトレセプタ信号Vprの変化に換算される。
【0082】
同時に、コントローラ60は、フォトレセプタ回路PRCからのフォトレセプタ出力電圧VprをサンプリングキャパシタC2へ電気的に接続することによってサンプリング回路SCを作動させる。コントローラ60は、さらに、制御信号25を介してスイッチ150を開くことにより、フォトレセプタ出力電圧VprをキャパシタC2から切断することによってサンプリング回路SCを作動させる。
【0083】
コントローラ60によって指定された時刻に、比較器A1は、比較器ノードにおけるVdiffをその非反転入力上に適用された閾値Vbと比較する。同時に、コントローラ60は、比較器出力Vcompを保存するためにメモリ50を作動させる。前のように、メモリ50は、画素回路100中、または後に記載されるような周辺RO回路42の列論理回路44中のいずれかに配置される。
【0084】
保存された比較器出力の状態が光強度の変化を示し、AND、(コントローラによって制御された)グローバルリセット信号であるGlobalResetがアクティブであれば、条件付きリセット回路R1は、導通しており、Vdiffが既知のレベルへリセットされて、次に、サンプリングC2上の電圧がメモリC1上に記憶される。
【0085】
先述のように、画素または画素アレイをマシンビジョン用途のためのセンサとして用いることができる。マシンビジョン用途では、センサの出力が(直接的または間接的に)データプロセッサへ向かうことになり、データプロセッサではアルゴリズムがセンサの、またはセンサによって解析された物体の位置および動きを算出できる。
【0086】
従来のセンサは、画素に衝突する光強度を表す画素値を含んだ画像を出力する。対照的に、本明細書では、センサは、光強度変化が検出された画素のアドレス(画素のアドレスがその行および列番号に対応する)を出力する。所与の画素におけるこの光強度変化は、事象と呼ばれる。より具体的には、用語「事象」は、画素の光強度を表し、その関数であるフォトレセプタ信号が、コントローラによって適用された閾値以上の量で変化したことを意味する。事象を送信するために、対応する画素のアドレスが、光強度変化が正または負であったかどうかを示すための1ビットとともに送信される。
【0087】
時間的に現在および前のインスタンスの間の光強度変化を検出するために、各画素は、時間的に前のインスタンスにおける光強度の表現を保存する必要がある。
【0088】
より具体的には、各画素は、この画素で放出された最後の事象の時刻におけるフォトレセプタ信号と、この画素における現在のフォトレセプタ信号との間の差を表す電圧Vdiffを保存する。
【0089】
好ましい実施形態において事象を検出するために、比較器ノードにおけるVdiffは、光強度の増加(ON事象)を検出するため最初に1つの閾値と比較されて、比較器出力が(明示的または寄生)キャパシタ上でサンプリングされるか、またはフリップフロップに保存される。次に、比較器ノードにおけるVdiffは、光強度の減少(OFF事象)を検出するため第2の閾値と比較されて、比較器出力が(明示的または寄生)キャパシタ上でサンプリングされるか、またはフリップフロップに保存される。グローバルリセット信号がすべての画素へ送られて、各画素では、事象が検出された画素のみをリセットするために、このグローバルリセット信号が、サンプリングされた比較器出力と論理的にAND処理される。次に、サンプリングされた比較器出力電圧が読み出されて、対応する画素アドレスがレシーバへ送られる。
【0090】
図3は、画素100-1~100-6の2次元アレイを備えるセンサ8を示す。図示されたセンサは、図を混乱させるのを避けるために、2つの行のみおよび3つの列のみが示される。実際には、センサ8は、m行(典型的に2よりずっと大きい)およびn列(典型的に3よりずっと大きい)の画素からなるであろう。2次元アレイ中の画素を画素の行番号および列番号であるそのアドレスによって特定できる。例えば、画素103-6は、(上から数えて)行2および(左から数えて)列3をそのアドレスとして有する。
【0091】
コントローラ60は、画素100、および行選択回路40、読み出し回路42のような他の構成要素、ならびにアレイからプロセッサ46へのデータの送信を制御する。
【0092】
図示された例では、行選択回路40がコントローラ60の一部として示される。この行選択回路40は、行の1つまたは複数のサブセットを選択する。画素100の行が選択されたときには、選択された行中の画素の比較器出力が読み出し回路42へ伝達される。
【0093】
読み出し回路42は、画素アレイからのデータ(記憶された比較器出力)を読み取る。しばしば、読み出し回路42は、このデータをセンサチップの外部にありうる、プロセッサ46のような、ある種のレシーバ(通常はプロセッサの形態)へ送信する前に、より効率的な表現へさらに符号化する。
【0094】
いくつかの列論理回路44-1~44-nに分割された、n個の列がある、読み出し回路42は、比較器出力を読み取ることから、対応する画素について光強度が増加した、減少した、または変わらないままであるかどうかを判定する。
【0095】
コントローラ60は、好ましくは、以下に列挙されるような複数のフェーズ(
図4Aおよび4B)でセンサ8を作動させる:
【0096】
1.照射変化の積分:この実施形態では、変化の積分が他のフェーズ中に継続し、追加の専用時間を必要としない。
【0097】
2.ON事象についての比較フェーズ(
図4Aおよび
図4B中の218):各画素において、積分された照射変化をON閾値に対して比較するために比較器A1が用いられる。結果は、メモリ50に保存される。
【0098】
3.OFF事象についての比較フェーズ(
図4Aおよび
図4B中の220):各画素において、積分された照射変化をOFF閾値に対して比較するために比較器A1が用いられる。結果は、メモリ50に保存される。
【0099】
4.リセットフェーズ(
図4Aおよび
図4B中の222):保存された比較器出力の状態が光強度の変化を示す各画素回路100が、それぞれのリセット回路R1を導通させることによってリセットされる。
【0100】
5.読み出しフェーズ(
図4Aおよび
図4B中の224):行選択回路40の制御の下で、メモリ50に保存された比較結果が画素アレイから読み出される。
【0101】
一般に、第1のフェーズ(照射変更の積分)は、変化の連続的な時間積分が他のフェーズ中に停止しないため、明示的な持続時間を有する必要がない。従って、このフェーズのための明示的な時間配分を省略することが可能である。
【0102】
もちろん、ONおよびOFF事象の比較の順序を逆にすることができる。さらに、画素の実施形態によっては、読み出しフェーズがリセットフェーズの前に生じることができる。
【0103】
コントローラ60は、好ましくは、フェーズの相対的なタイミングを制御して、画素を制御するために必要な信号を生み出す。
図4Aおよび
図4Bに示されるように、いくつかの画素作動モードが可能である。
【0104】
固定された読み出し時間:
図4Aは、作動フェーズの各々が固定された持続時間を有する固定時間モードを示すタイミング図である。従って、フレームレートが固定される。図示された例では、各Evtフレームが100マイクロ秒長である。
【0105】
従って、読み出しフェーズも固定された持続時間を有するが、最もありそうなのは読み出すべき事象の数が事象フレームごとに変化することであろう。読み出しフェーズの持続時間の妥当な限度を維持するためには、単一の事象フレームにおいて読み取ることができる事象の数(214)を制限しなければならない。読み出すべき事象の数が可能な最大値より少なければ、アイドルフェーズがあることになる。
【0106】
事象の数が読み出しフェーズ中に読み出すことができる数より大きければ、3つの選択肢がある:1)プロセッサ46に通知して、追加の事象を破棄する、2)プロセッサ46に通知して、現在のフレームのためだけに読み出しフェーズを延長する(延ばされたフレーム後に、センサ、すなわち、画素アレイは、次の事象フレームを直ちに開始する)、または3)プロセッサ46に通知して、現在のフレームのために読み出しフェーズを延長し、延ばされたフレーム後に、前の事象フレーム開始時刻との同期を保つために「オフィシャルな」フレーム開始時刻を待つ。
【0107】
図4Aは、毎秒10k事象フレームまたはフレーム当たり100マイクロ秒のフレームレート例について作動の実例となるタイムラインを示す。
【0108】
さらに詳細には、各事象フレーム212において、ON事象の比較218は、10μsを消費し、OFF事象の比較220も10μsを消費する。次に、20μsのフェーズ222中に画素がリセットされる。最後に、読み出しフェーズ224では事象が画素アレイ210から読み出されて、読み出し回路42中に蓄積される。読み出しフェーズは、60μs続く。従って、この具体例では、フェーズの持続時間の合計が10+10+20+60=100マイクロ秒である。
【0109】
連続する事象フレーム212-1、212-2、212-3の間に図示されるように、フェーズ224には60μsが割り当てられるが、このフェーズ224における実際の読み出し214は、様々な時間量を消費する。例えば、第1の事象フレーム212-1のためのフェーズ224-1における事象読み出し214-1については、214-1のために割り当てられた60μsの半分未満が消費される。対照的に、第3の事象フレーム224-3については、事象214-3の読み出しは、224-3のために割り当てられた60μsの3分の2を消費する。
【0110】
可変的な読み出し時間:
図4Bに示される、可変的な読み出し時間モードでは、読み出しフェーズ224の持続時間は送信されるべき事象の数に依存する。結果として、1つのフレームの全長、従って、フレームレートは可変的であり、フレーム当たりの事象の数に依存する。
【0111】
さらに詳細には、前の例におけるように、事象フレーム212の各々は、10μsを消費するON事象の比較218と、10μsをやはり消費するOFF事象の比較220とに分割される。事象リセットフェーズ222は、各事象フレーム212中で20μsを消費する。他方、事象フレーム212の各々のための事象読み出しフェーズ224は、長さが可変的である。結果として、このフェーズは、画素アレイ210から読み出されることが必要な事象の数214によって決定付けられる時間の長さを有する。
【0112】
図5は、本発明の原理によって構築された、画素回路100、サンプリングのない好ましい実施形態を示す。
【0113】
フォトセンサPD、例えば、フォトダイオードもしくはフォトトランジスタまたはフォトアクティブ領域は、衝突光9を電気信号(すなわち、Iphotoと指定される電流、または電荷)へ変換するために用いられる。Iphotoは、次に、フォトレセプタ回路PRCによって電圧Vprへ変換される。Vprの光の強度に対する関係は、典型的に、対数的であるが、このおよび他のすべての画素の実施形態において線形とすることもできるであろう。
【0114】
好ましくは、いずれかのセンサの実施形態の1つ以上の画素の各々におけるフォトレセプタモジュールPRは対数フォトレセプタモジュールである。対数フォトレセプタモジュールとは、フォトセンサPDのセンシング表面に衝突する光の強度に比例するIphoto電流を、検出光の対数関数である信号へ変換するように構成されたフォトレセプタである。Vprは、Iphotoに対して対数的であるように選ばれるが、Iphotoおよび他の関数に比例するようにVprを選ぶことができたであろうことに留意すべきである。
【0115】
フォトダイオードによって生成された電流(iphoto)から出力電圧への対数的な変換は、広範囲の入力電流を限られた電圧範囲上にマッピングすることを可能にするため、非常に強力である。対数強度ドメインにおける差の比較は、それが正規化された差の比較と数学的に類似しているという利点も有する。コントラストのほとんどの定義は、正規化された差に基づく(例えば、輝度比、WeberコントラストまたはMichelsonコントラスト)。対数強度ドメインにおける差の比較は、物体の反射率の差を背景照明とは独立して観測することも可能にする。
【0116】
メモリキャパシタC1は、キャパシタの第1のプレートがフォトレセプタ信号Vprに応答する電荷を帯びるようにフォトレセプタ信号Vprを受け取る。メモリキャパシタC1の第2のプレートは、比較器ノードA1に接続される。図示された例では、第2のプレートは事象比較器A1の反転入力に接続される。従って、比較器ノードの電圧Vdiffは、フォトレセプタ信号Vpr、従って、フォトセンサPDによって受光された光の変化とともに変動する。
【0117】
比較フェーズ(例えば、
図4Aおよび
図4B参照)中には、リセット回路R1のリセットスイッチRSが導通しておらず、従って、比較器ノードの電圧Vdiffは、浮いている。メモリキャパシタC1の両端間の電圧は、画素100がリセットされたときから一定のままなので、フォトレセプタ信号Vprの変化が、結果として、浮いた比較器ノードの電圧Vdiffを変化させる。
【0118】
ON事象の比較のために、閾値電圧Vbがコントローラ60によって値Vonに設定される(
図6参照)。事象比較器A1は、従って、閾値電圧VbをVdiffと比較する。コントローラ60は、ON事象サンプリングスイッチS2を閉じる(ON選択のための)Onselもパルスする。結果として、比較器出力がインバータI1によって反転されて、キャパシタンス上でサンプリングされる。図示された実施形態では、このキャパシタンスは、出力回路OUTのON事象出力トランジスタNM2の寄生ゲートキャパシタンスである。
【0119】
OFF事象の比較のために、バイアス電圧Vbが値Voffに設定される(
図6参照)。従って、事象比較器A1は、新しい閾値電圧VbをVdiffと比較する。コントローラ60は、OFF事象サンプリングスイッチS1を閉じるOffselもパルスする。結果として、比較器出力がキャパシタンス上でサンプリングされる。図示された実施形態では、このキャパシタンスは、出力回路OUTのOFF事象出力トランジスタNM1の寄生ゲートキャパシタンスである。
【0120】
リセットフェーズ中には、閾値電圧Vbが電圧レベルVreset(VonとVoffとの間、好ましくは、VonとVoffとの間の中央における値)に設定されて、GlobalReset信号がコントローラ60によってアクティブにされる。結果として、ON事象またはOFF事象のいずれかが(ORゲートを用いて)検出されて、AND、GlabalResetがアクティブであれば、リセット回路R1がリセットスイッチRSを閉じることになる。
【0121】
結果として、事象が検出された画素のみがリセットされる。有利には、リセット機能は、フレームからフレームへの小さい変化を蓄積できるため、遅い動きを検出することを可能にする。
【0122】
図示された回路例は、さらに、事象比較器A1における任意のオフセットを補償し、その結果、画素アレイ8(
図3)中の画素100の応答にアレイにわたって一貫性をもたせるのを助ける。一般に、OFF事象出力トランジスタNM1またはON事象出力トランジスタNM2上のいずれかにハイ電圧レベルが保存された、画素アレイ8内の画素100では、リセットスイッチRSが閉じられる。発生する電圧フォロワー構成の結果として、メモリキャパシタC1の第2の端子におけるVdiffは、Vresetプラス比較器の任意のオフセットに落ち着くであろう。結果として、閾値に適用される補正が、今や、事象比較器A1におけるオフセットについて補償される。
【0123】
読み出しフェーズ中には、画素アレイが行ごとに読み出される。従って、各画素回路100は、コントローラ60がそのRowSelect(行選択)信号を、一度に1つの行、アクティブにするのを待つ。
【0124】
画素制御信号およびそれらの経時的な変化(タイムラインプロット)が次に考察される。
【0125】
図6は、グローバル画素制御信号およびローカル画素信号のタイムラインを示す。Vb、Onsel、OffselおよびGlobalResetが画素アレイ中のすべての画素のためのグローバル信号であるのに対して、RowSelectは、行方向の(ローカル)信号である。
【0126】
さらに詳細には、ONおよびOFF比較フェーズをもつ2つの事象フレームが示される。具体的には、比較フェーズ218-1およびOFF比較フェーズ220-1中に、閾値電圧VbがVonおよびVoffレベルの間で変更される。フォトレセプタ信号Vprが一定なので、事象は、検出されない。
【0127】
ON比較フェーズ218-2中には、閾値電圧VbがVonに変更される。フォトレセプタ信号Vprが、今や、フォトセンサPDによって受光された光の量が増加したことを示す、より高いレベルにあるので、メモリキャパシタC1の第2の端子における電圧(Vdiff)も(変化が十分に大きければ、Vonのレベルを超えて)増加する。結果として、コントローラ60はOnselもパルスし、ON事象サンプリングスイッチS2が閉じて、ON信号がON事象出力トランジスタNM2(
図5)のキャパシタンス上に保存される。RowSelect信号がアクティブであるときに、nRxOnラインがローにプルされる。
【0128】
事象が検出されるため、リセットフェーズもメモリキャパシタC1の両端間の電圧をリセットする。具体的には、リセットフェーズ222-2において、閾値電圧Vbは、中間レベルVresetに設定される。リセット回路R1における論理のゆえにPixResetがハイであるので、VdiffがVresetへリセットされて、新しい電圧がメモリキャパシタC1の両端間に保存される。
【0129】
図7は、フォトレセプタPRとメモリキャパシタC1との間にサンプリング回路SCをもつ別の画素回路100(
図5)を示す。
【0130】
これは、フォトレセプタ信号Vprを比較前にサンプリングすることを可能にする。この構成は、ONおよびOFF事象についての比較のために同じフォトレセプタ電圧値が確実に用いられるようにして、ON事象およびOFF事象についての比較の間に、Vprの変化に起因して生じうる動きアーチファクトを回避する。
【0131】
さらに詳細には、各ON比較フェーズ218の前に、コントローラ60からのサンプルラインは、サンプリングスイッチ150を閉じるためにしばらくの間アクティブである。これは、フォトレセプタ信号電圧VprをメモリキャパシタC1のプレートへ転送する。次に、コントローラ60からのサンプル信号ラインは、サンプリングスイッチ150が再び開くように非アクティブになる。従って、メモリキャパシタC1の左のプレート上の電荷は、静的であり、フォトレセプタ信号Vprのその後の変化とともには変化しない。かかる変化は、典型的に、シーンの変化またはセンサとシーンとの間の移動の結果として生じるであろう。
【0132】
次に、ON比較フェーズ218およびOFF比較フェーズ220の両方が行われる。異なる閾値電圧Vbに対するそれぞれの比較が、次に、フォトレセプタ信号Vprからサンプリングされた同じ電圧に対して発生することになる。
【0133】
図8は、別の画素回路100を示す。この設計は、より小さい画素をもたらす。
【0134】
より具体的には、この画素回路は、前の例(
図5および
図7)に採用された2つの出力ラインnRXonおよびnRXoffを置き換える、1つだけの出力ラインnRXを有する。この変化は、さらに、リセット回路R1中のORゲート(
図5および
図7参照)の除去、ならびにNM2、出力回路OUT中の出力トランジスタ(
図5および
図7参照)のうちの1つの除去を可能にする。両方の事象極性について、出力信号nRxは、アクティブローである。リセット回路R1は、それが導通しているか否かを決定するために、GlobalReset信号およびサンプリングされた比較器出力を用いる。
【0135】
この実施形態では、事象極性ごとに別々にリセットフェーズ(すなわち、OFF事象のために1つのリセットフェーズおよびON事象のために別のリセットフェーズ)を有することが好ましい。
【0136】
さらに詳細には、前の実施形態と同様に、フォトレセプタ出力電圧Vprの変化は浮いたノードのVdiffを変化させる。
【0137】
ON事象についての比較のために、バイアス電圧Vbが電圧レベルVonに設定される。比較器は、VbをVdiffと比較する。OnSelをパルスすることによって、比較器出力はトランジスタNM1の寄生キャパシタンス上でサンプリングされる。
【0138】
ON事象に起因するリセットのために、Vbは(VonとVoffとの間の中央における)電圧レベルVresetに設定されて、GlobalReset信号はアクティブにされる。ハイ電圧レベルが出力トランジスタNM1上に保存された画素において、リセットスイッチRSは閉じられて、その結果、VdiffはVresetプラス比較器のオフセットに落ち着くことになる。
【0139】
ON事象の、行ごとの、読み出しのために、RowSelect信号は一度に1つの行についてアクティブにされる。出力トランジスタNM1のゲートキャパシタンスがハイ電圧レベルを保存していれば、出力トランジスタNM1は、導通しており、対応するリクエストラインnRxは引き下げられる。このアクティブローリクエストは周辺読み出し回路42中にラッチされる。
【0140】
OFF事象についての比較のためには、バイアス電圧Vbがコントローラ60によってレベルVoffに設定される。OffSelをパルスすることによって、この新しい比較器出力は出力トランジスタNM1の寄生キャパシタンス上でサンプリングされる。
【0141】
リセットされたOFF事象のために、Vbは(VonとVoffとの間の中央における)電圧レベルVresetに設定されて、GlobalReset信号はアクティブにされる。ハイ電圧レベルが出力トランジスタNM1のゲート上に保存された画素において、リセットスイッチRSは閉じられて、その結果、Vdiffは、Vresetプラス比較器のオフセットに落ち着くことになる。
【0142】
行ごとに行われる、OFF事象の読み出しのために、RowSelect信号は一度に1つの行についてアクティブにされる。出力トランジスタNM1のゲートキャパシタンスがハイ電圧レベルを保持すれば、それは導通しており、出力ラインnRxは引き下げられる。このアクティブローリクエストは周辺読み出し回路42中にラッチされる。
【0143】
図9は、グローバル画素制御信号およびローカル画素信号のタイムラインを示す。Vb、Onsel、OffselおよびGlobalResetは、グローバル信号であり、RowSelectは、行方向の(ローカル)信号である。
【0144】
この例では、ON比較フェーズが読み出しフェーズ218と組み合わされる。この間に、閾値電圧Vbは、Vonへ増加し、RowSelectは、アクティブである。しかし、図示されたフェーズ例218-1では、ON事象は、検出されない。同様に、OFF比較フェーズが読み出しフェーズ220と組み合わされる。ONリセットフェーズ219およびOFFリセットフェーズ221中に、GlobalReset信号は、アクティブである。
【0145】
ON比較および読み出しフェーズ218-2の前に、Vprは、フォトセンサPD上の光の増加に起因して増加し、そして結果として、Vdiffは、Vonより大きい値へ増加する。従って、事象比較器A1は、ON事象を登録し、OnSelがハイおよび再びローになり、従って、PixEvtがハイになるときに、これがメモリに保存される。行選択信号RowSelectがアクティブであるときに、ON事象が出力ラインnRx上の周辺回路へ通信される。ONリセットフェーズ219-2中に、PixEvtおよびGlobalResetが同時にハイである間に、PixResetは、画素がリセットフェーズ219-2中にリセットされるようにハイになる。
【0146】
図10は、別の画素回路100を示す。この設計は、メモリ機能が画素回路100中には配置されないが、代わりに読み出し回路42の一部である、なおさらに小さい画素をもたらす。
【0147】
さらに詳細には、リセット回路R1は、リセットスイッチRSを閉じてメモリキャパシタC1をリセットすべきかどうかを決定するために、RowSelect信号および読み出し回路42からの出力アクノリッジ信号ColAckを用いる。ColAckおよびRowSelectの論理ANDは、PixReset信号を記憶するようにラッチを設定するために用いられ、コントローラからのグローバル信号(ResetPixReset)は、リセットフェーズ中にラッチをリセットするために用いられる。ColAckおよびRowSelectのANDを保存して、スイッチRSを制御するために直接にそれを用いない理由は、アレイ中のすべての画素を同時にリセットできるためである。ラッチがないと、読み出しフェーズ中に行ごとにリセットが生じることが必要であろう。
【0148】
読み出し回路42からのColAck信号は、列中のすべての画素間で共有される。従って、画素のリセットを行ごとにアクティブにしなければならない。作動中に、行選択回路が対応するRowSelectをアクティブにすることよって画素の1つの行を選択し、対応する比較器出力が出力トランジスタNM1を介して読み出し回路へ伝達される。次に、コントローラ60は伝達された比較器出力を保存するために読み出し回路42中のメモリを作動させて、読み出し回路42の列論理回路が光強度に増加または減少があったかどうかを判定する。列論理回路が光強度変化を検出した列では、ColAck信号がアクティブにされる。コントローラは、次に、アレイ210の事象比較器A1の正の入力にリセット電圧Vresetを適用する。依然としてアクティブなRowSelect信号と一緒に、アクティブなColAck信号が対応する画素をリセットする。
【0149】
加えて、この画素回路では、比較器出力の極性がON事象(増加する光レベル)とOFF事象(減少する光レベル)との間で異なる。結果として、ON事象およびOFF事象についての比較器出力の極性の違いが読み出し回路42において考慮される。これは、出力信号nRxがON事象についてアクティブハイ、OFF事象についてはアクティブローであることを意味する。
【0150】
図11は、グローバル画素制御信号およびローカル画素信号のタイムラインを示す。Vb、Onsel、OffselおよびResetPixResetがグローバル信号であるのに対して、RowSelectは、行方向のローカル信号であり、ColAckは、列方向のローカル信号である。
【0151】
この例では、ON比較フェーズが読み出しフェーズ218と組み合わされる。この間に、閾値電圧Vbは、Vonへ増加し、RowSelectは、アクティブである。しかし、図示されたフェーズ例218-1では、ON事象は、検出されない。同様に、OFF比較フェーズが読み出しフェーズ220と組み合わされる。2つの比較および読み出しフェーズ後には、リセットフェーズ224がある。
【0152】
ON比較および読み出しフェーズ218-2の前に、Vprは、フォトセンサPD上の光の増加に起因して増加し、そして結果として、Vdiffは、Vonより大きい値へ増加する。従って、事象比較器A1がON事象を登録し、行選択信号RowSelectがアクティブであるときに、これが出力ラインnRx上で周辺回路へ通信される。対応する列論理回路が事象を登録するため、この列論理回路は、ColAck信号をアクティブにすることになる。ColAckおよびRowSelectが同時にアクティブであるすべての画素では、PixReset信号がハイになり、比較器の入力と出力とを短絡させる。リセットフェーズ224-2中には、コントローラはVbにVresetを適用し、PixResetが依然としてハイであるため、画素がリセットされる。次に、コントローラは、すべてのPixResetをロー値に戻すために、ResetPixResetをしばらくの間ハイに設定する。
【0153】
図12は、別の画素回路100を示す。この設計は、より速い作動を可能にする。この設計は、ON事象およびOFF事象比較が同時に生じることを可能にする、画素ごとに2つの事象比較器を含む。加えて、メモリは、画素回路中に配置され、対応する比較器出力における2つのサンプリング回路によって実施される。
図5におけるように、メモリは、寄生キャパシタンスをもつスイッチ、ここではS4およびNM2の寄生ゲートキャパシタンスと、同様にS5およびNM1の寄生ゲートキャパシタンスとの組み合わせである。比較器出力は、サンプリングされて、2つの出力トランジスタNM1およびNM2の寄生ゲートキャパシタンス上に保存される。
【0154】
さらに詳細には、OFF事象比較器A1は、画素アレイ210全体に提供されたVoff閾値電圧を受け取る。同様に、ON事象比較器A2は、画素アレイ210全体に提供されたVon閾値電圧を受け取る。
【0155】
コントローラ60からのサンプル比較信号SampleCompがアクティブであるときに、比較器A1、A2の出力は、それぞれ、OFF事象出力トランジスタNM1およびON事象出力トランジスタNM2のゲートキャパシタンスへ転送される。次に、それらの状態が、RowSelectがアクティブである(すなわち、NM3が導電している)ときに、出力ラインnRxonおよびnRxoffを介して読み取られる。
【0156】
ON事象またはOFF事象に応答して、リセット回路は、OFF事象比較器A1の反転入力およびON事象比較器A2の非反転入力へ供給された、メモリキャパシタC1の第2の端子における電圧(Vdiff)をリセットする。このケースでは、アレイ210にわたってVdiffが共通電圧にリセットされる。
【0157】
図13は、アレイ210からの列に沿った2つの代表的な画素100を示す。ResetLevel、ColAckおよびVsfラインに沿った省略記号(点)は、列に沿った他の画素の存在を示す。それらは、混乱を避けるために図から省略された。この図の画素回路の実施形態は、なおさらに小さい画素をもたらす。その理由は、比較器機能が画素回路100中には配置されないが、代わりに読み出し回路42(図の底部に示される)の一部とされるためである。
【0158】
この画素回路100は、その出力が他の実施形態について考察されたようにVprであるフォトレセプタ回路PRCとメモリキャパシタC1との間にサンプリングスイッチ150を含む。これは、フォトレセプタ回路PRCの出力とメモリキャパシタC1との選択的な電子接続を可能にする。サンプリングスイッチ150は、コントローラ60からのライン25上のサンプル信号Sampleによって作動される。サンプル信号は、アレイ210中のすべての画素100のフォトレセプタ出力を同時にグローバルにサンプリングするために、コントローラ60によってアクティブにされる。これは、動きアーチファクトを回避する。
【0159】
具体的には、フォトレセプタ信号VprがVprsとしてメモリキャパシタC1へ転送される。バッファ27が、次に、メモリキャパシタC1の第2の端子における電圧(Vdiff)を保持する。一般に、バッファ27は、メモリキャパシタC1の第2の端子の電圧(Vdiff)を周辺回路へ伝達する。バッファは、行選択回路60から来るRowSelect信号によってイネーブルされる。
【0160】
画素回路100は、バッファ27としてソースフォロワを用いる。これは、アレイ210中の画素の列についてメモリキャパシタC1の第2の端子上の電圧を読み出し回路42へ伝達する。電圧Vdiffは、読み出し回路へのラインVout上で読み出し回路42の端子Vsfに提供される。そこでは、事象比較器回路A1がVdiffをVonレベルおよびVoffレベルの両方と比較する。この列比較器A1は、読み出し回路42中に配置される。
【0161】
バッファ27中では、トランジスタM1がユニティゲインソースフォロワ入力トランジスタとしての機能を果たし(ソースフォロワの電流源は、読み出し回路42の一部である)、一方でM2は、ソースフォロワをイネーブルするためのスイッチである。読み出し回路42は、画素の列ごとに別個のColAck信号があるように実施される。ColAck信号は、事象が検出された列においてのみアクティブである(
図37は、かかる読み出し回路42を示す)。
【0162】
リセットトランジスタN1は、RowSelect信号によって制御される。リセットトランジスタN2は、出力アクノリッジ信号ColAckによって制御される。従って、これらの両方の信号がアクティブであるときには、リセットトランジスタN1およびN2が導電しており、メモリキャパシタC1上の第2の端子における電圧(Vdiff)は、読み出し回路42からのリセットラインResetLevel上で画素の列210へ供給されたリセット電圧にリセットされる。トランジスタN1およびN2の直列接続は、従って、信号RowSelectおよびColAckについて論理AND関数を形成する。
【0163】
理解されるべきは、フォトレセプタ回路PRCとメモリキャパシタC1との間のサンプルスイッチ150なしにこの実施形態を実施することもできるであろうということである。
【0164】
図14は、アレイ210からの列に沿った2つの代表的な画素100を示す。
図13におけるように、ResetLevel、ColAckおよびVsfラインに沿った省略記号(点)は、図を混乱させるのを避けるために省略された、他の画素の存在を示す。この設計も小さい画素面積に焦点を合わせる。前の実施形態におけるように、比較器機能は、画素回路100中には配置されないが、代わりに読み出し回路42の一部とされる。しかしながら、
図13の実施形態とは違って、この実施形態は、メモリキャパシタC1の第2の端末における電圧Vdiff、具体的には、画素が最後にリセットされてからの電圧の変化を増幅するために、バッファ27中の容量性増幅器を用いる。
【0165】
Vdiffは、増幅前に、これまでのようにVprsから得られる(
図13)。Vdiffの変化を増幅すると、フォトレセプタ信号Vprの小さい変化を検出することが容易になる。バッファ27の利得は、C1をC2で除したキャパシタンスの比によって与えられる。留意すべきは、キャパシタC2が明示的または寄生であってよいことである。キャパシタンスの比によるこの増大を除けば、
図14に示される画素の実施形態および機能は、
図13のものと同一である。
【0166】
バッファ27では、トランジスタM1は、PFET入力トランジスタであり、従ってバッファは増幅器であるが、一方でM2は、増幅器をイネーブルするためのスイッチである。読み出し回路42は、画素の列ごとに別個のColAck信号があるように実施される。ColAck信号は、事象が検出された列においてのみアクティブである。
図37は、かかる読み出し回路42を示す。
【0167】
ノードVdiffのリセットは、RowSelect信号によって制御される行選択スイッチRS、および出力アクノリッジ信号ColAckによって制御される列リセットスイッチCSによって制御される。
【0168】
(
図35とともに)
図13では、リセットレベルがソースフォロワおよび読み出し回路中のA1によって決定される。実際のリセットレベルは、ソースフォロワのオフセットおよびA1のオフセットを含み、従って、これらのオフセットの両方が補償されることになる。
【0169】
(
図37とともに)
図14では、A1が2つの比較器(ONのために1つ、OFFのために1つ)として実施され、従って、それらの両方をリセットレベルに含めることはできない。しかし、
図14中のバッファが1よりずっと大きい利得を有するため、比較器のオフセットは、実際にはあまり問題ではなく、従って、補償されないままであってよい。
【0170】
かさねて
図13についてと同様に、
図14もフォトレセプタ回路PRCとメモリキャパシタC1との間のサンプルスイッチ150なしに実施できるであろう。
【0171】
次に、考察は、上記の画素回路の実施形態の態様/部分の可能な実施例を取り上げることへ移る。理解されるべきは、概ね、上記のいずれの回路も以下に記載される特徴のいずれか1つ以上を有してよいことである。
【0172】
図15は、画素の実施形態(
図2、
図7、
図13および
図14)に用いられうるようなサンプリング回路SCのコンパクトな実施形態を示す。サンプリング回路SCは、スイッチとしてのnFETトランジスタT10と2つのpFETトランジスタT11およびT12によって実施されたソースフォロワとを用い、ここでT11は、ソースフォロワの電流源であり、一方でT12は、ソースフォロワの入力トランジスタである。pFETトランジスタT12のゲートキャパシタンスがサンプリングキャパシタを形成する。
【0173】
図16および
図17は、照射における小さい変化を検出するために用いられる比較器A1の様々な実施形態を示す。数ミリボルト程度の小さい電圧変化を検出することが必要である。これは、
図1~
図3、
図5、
図7、
図8、
図10、
図12~
図14の回路に示される比較器がかなりの利得(好ましくは、10dBもしくは20dBより大きく、理想的には約40dB、またはそれ以上)を必要とするであろうことを意味する。
【0174】
図16は、必要な利得を提供するであろう2段比較器を示す。リセットスイッチRSも示され、この実施形態におけるリセットスイッチRSは、比較器の入力と出力とを接続せず、代わりに、入力を比較器の第1段の出力に接続する。
【0175】
図17は、オペレーショナルトランスコンダクタンス増幅器に基づく比較器A1の別の実施を示す。この増幅器は、比較器として5つのトランジスタを2つのトランジスタの出力段とともに用いる。この増幅器は、比較器の速度が基準電圧に依存せず、結果として、閾値の範囲にさらに多くの自由度があるという利点を有する。さらに、2つのトランジスタの2段比較器を用いた前の例のうちの1つを用いるよりもオフセット補償が良好であると思われる。
【0176】
リセットスイッチおよびリセット回路は、すべての実施形態において画素回路の一部である。それらの実施形態が以下に続く。
【0177】
リセットスイッチは、NMOSトランジスタ、PMOSトランジスタ、またはNMOSおよびPMOSトランジスタを含んだ完全なトランスミッションゲートとして実施できる。用いられるスイッチのタイプに依存して、リセット信号の極性は、NMOSトランジスタに対してアクティブハイ、PMOSトランジスタに対してアクティブロー、およびトランスミッションゲートに対してはハイおよびローの両方の極性である。リセット信号がPixResetと呼ばれる場合、極性は、アクティブハイと考えられ、リセット信号がnPixResetと呼ばれる場合には、極性がアクティブローと考えられる。
【0178】
図18は、
図5、
図7、および
図12中の画素回路のためのリセット回路の実施を示す。
図5、
図7、および
図12に示される回路では、リセット信号生成のためにAND-OR組み合わせが用いられる。リセットスイッチとして機能するNMOSトランジスタのために
図18に示されるAND-OR組み合わせ回路を実施できる。ONおよびOFFは、サンプリングされた比較器出力である。例えば、ONがハイ電圧レベルであれば、スイッチS1は導通しており、一方でS3は導通していない。PixReset上の電圧は、従って、このケースではGlobalResetの電圧に従う。コントローラがGlobalResetをハイ電圧レベルに設定する場合、リセットNMOSトランジスタは、導通しており、比較器がリセットされる。
【0179】
ONおよびOFFの両方がローであれば、S1およびS2のいずれも導通していないが、S3およびS4の両方は、導通している。PixResetは、従って、接地に繋がれ、その結果、リセットトランジスタは、導通していない。
【0180】
図19は、PMOSリセットトランジスタを用いたリセットの代わりの実施を示す。例えば、電圧レベルONがハイであれば、NM1が導通している。コントローラ60がGlobalResetをハイ電圧レベルに設定する場合、NM3も導通しており、nPixReset上の電圧が接地へプルされることになり、従って、PMOSリセットトランジスタは、導通している。コントローラ60がGlobalResetをロー電圧レベルに設定するときには、nPixResetと接地との間に電流経路はもはやない。次に、PM1における(PM1のゲート上のバイアス電圧によって制御される)バイアス電流がnPixResetを電源電圧へゆっくりプルする。ONまたはOFFがいずれもハイ電圧レベルでなければ、PM1におけるバイアス電流がnPixResetを電源電圧に維持することになり、従って、リセットトランジスタは、導通していない。
【0181】
図20は、リセット回路のさらに別の実施を示す。このバージョンは、論理機能を実際のリセットスイッチへ組み込む。これは、よりコンパクトな実装を可能にする。ONまたはOFFのいずれかがハイ電圧レベルであり、(コントローラ60によって制御される)GlobalResetがハイであれば、比較器入力間の経路は、導通している。
【0182】
図21は、
図8の画素の実施形態のためのリセット回路の実施を示す。ここでは、NMOSトランジスタがリセットスイッチとして機能する。PixEvtは、サンプリングされた比較器出力である。PixEvtがハイ電圧レベルであれば、スイッチS1が導通しており、一方でS2は、導通していない。PixReset上の電圧は、従って、このケースではGlobalResetの電圧に従う。コントローラがGlobalResetをハイ電圧レベルに設定する場合、リセットNMOSトランジスタは、導通しており、比較器がリセットされる。
【0183】
PixEvtがローであれば、S1は、導通していないが、S2は導通している。PixResetは、従って、接地に繋がれ、その結果、リセットトランジスタは、導通していない。
【0184】
図22は、リセット回路の実施を示す。この回路は、PMOSリセットトランジスタを用いる。電圧レベルPixEvtがハイであれば、NM1が導通している。コントローラがGlobalResetをハイ電圧レベルに設定する場合、NM2も導通しており、nPixReset上の電圧が接地へプルされることになり、その結果、PMOSリセットトランジスタは、導通している。コントローラがGlobalResetをロー電圧レベルに設定するときには、nPixResetと接地との間に電流経路はもはやない。次に、PM1における(PM1のゲート上のバイアス電圧によって制御される)バイアス電流がnPixResetを電源電圧へゆっくりプルする。PixEvtがロー電圧レベルであれば、PM1におけるバイアス電流がnPixResetを電源電圧に維持することになり、結果として、リセットトランジスタは、導通していない。
【0185】
図23は、論理機能を実際のリセットスイッチへ組み込むリセット回路を示す。これは、よりコンパクトな実装を可能にする。比較器の入力と出力との間の経路は、PixEvtがハイ電圧レベルであり、(コントローラによって制御される)GlobalResetがハイであれば、導通している。
【0186】
図24は、
図10に示される画素回路と整合するリセット回路の実施の別の実施を示す。
【0187】
ここでは、RowSelectおよびColAck(ColAckは、
図10における列論理回路から画素への信号である)の両方が高いときに、ノードnPixResetが接地へプルされて、このロー電圧レベルが(明示的または寄生)キャパシタCR上に保存され、その結果、比較器の入力と出力とを接続するスイッチは、導通している。アレイ全体で読み出しが完了した後に、事象を生成したすべての画素は、接地されたnPixResetを有することになり、従って、リセットされる。次に、コントローラは、信号ResetPixResetをロー電圧レベルへセットすることになり、MP1は、導通しており、nPixResetを電源電圧へプルする。リセットフェーズ中にResetPixResetのレベルを制御することによって、PixResetの上り勾配を制御することができる。
【0188】
図24に示される実施形態では、キャパシタを用いてPixReset信号のためのラッチが実施される(ノードがいつも駆動されるわけではない)。代わりに、
図25に示されるように、2つの交差結合インバータをラッチとして用いることができる。
【0189】
好ましい実施形態では、画素は、時間的な差ではなく時間的なコントラストに対する高ダイナミックレンジおよび感度を可能にするために、対数的フロントエンドを用いる。ネガティブフィードバック回路を採用すれば、照射の変化に対する高速応答を達成できる。
【0190】
図26は、フィードバックをもつ基本的な対数フォトレセプタPRを示す。このフォトレセプタは、フォトセンサとしてフォトダイオードPDを用いる。フォトレセプタ回路PRCは、反転増幅器と、反転増幅器の入力および出力間に接続された対数的な電流-電圧関係をもつ回路要素M1とを含む。反転増幅器は、フォトダイオードPDにかかる電圧が確実にほとんど一定のままであるようにする。
【0191】
図27は、フォトレセプタPRの好ましい実施形態を示す。フィードバック要素としてNMOSトランジスタ、および反転増幅器として共通ソース増幅器が用いられる。フロントエンドを画素のリセット中の電圧トランジェントから分離するために、対数フォトレセプタとキャパシタとの間に、ソースフォロワが用いられてよい。ソースフォロワは、入力信号のローパスフィルタリングを追加することも可能にし、その結果、積分ノイズを低減する。
【0192】
図28および
図29は、2つのNMOSフィードバックトランジスタ(
図28)またはPMOSフィードバックトランジスタ(
図29)を用いたさらに2つの選択肢を示す。
【0193】
図5または
図12に示される画素読み出し回路ROにおいては、列リクエストラインnRxOnおよびnRxOffが同じ列中のすべての画素間で共有される。RowSelectがアクティブであり、NM2の寄生キャパシタ上にハイ電圧が保存される場合、ON事象をデータ読み出し回路へシグナリングするためにnRxOnがローにプルされる。NM2上にロー電圧が保存されている場合には、NM2が導通しておらず、従って、nRxOnは、ハイのままである。
【0194】
図8および
図10に示される画素回路については、読み出し回路ROの列リクエストラインnRxが同じ列中のすべての画素間で共有される。RowSelectがアクティブであり、NM1の寄生キャパシタ上にハイ電圧が保存されている場合、事象をデータ読み出し回路へシグナリングするためにnRxがローにプルされる。NM1上にロー電圧が保存されている場合には、NM1が導通しておらず、従って、nRxは、ハイのままである。
【0195】
コントローラ60は、画素への制御信号に必要な波形を生成し、比較器の入力における電圧Vbを制御して、列論理回路を制御するために必要な波形を生成する。コントローラ60は、多くのケースでは、さらに、これらの波形を外部タイミング基準へ同期させる。
【0196】
コントローラ60を画素回路と同じセンサ集積回路(IC:integrated circuit)上に、または例えば、マイクロコントローラもしくはフィールドプログラマブルゲートアレイ(FPGA:field programmable gate array)を用いた別個のIC中に集積できる。コントローラを有限状態マシンによって、またはマイクロコントローラコアを用いて実施できる。
【0197】
コントローラ60の一部は、行選択回路である。行選択回路は、1つの行における各画素中のOUTを一組のRowSelect信号によって選択してイネーブルする。行選択回路は、1つの行から次の行へ移ることを可能にするクロック入力を有する。行選択回路の出力は、画素の行ごとに1つの、一組のRowSelect信号である。行を選択することは、その行のためのRowSelect信号がアクティブ(ハイ電圧レベル)であり、一方で他のすべての行のためのRowSelect信号が非アクティブ(ロー電圧レベル)であることを意味する。アクティブなRowSelect信号は、「ハイ」比較器出力がサンプリングされた画素が、列中のすべての画素間で共有される信号ラインの状態を変化させることによって、列リクエストを生成することを可能にする。
【0198】
行選択回路は、現在選択された行のアドレスを符号化してこのアドレスをデータ読み出し回路へ出力する回路を含む。
【0199】
行選択回路は、走査中に行をスキップするやり方で構成される可能性を含んでよい。この特徴は、いわゆる関心領域(ROI:region-of-interest)読み出しを実施するために用いられる。
【0200】
コントローラ60は、最初に、Vb(第1の比較器入力)を第1の閾値電圧(Von)に設定して、次に、短い遅延後に、反転された比較器出力をONノードへ電気的に接続するために信号OnSelをロジックハイに設定する、有限状態マシンのようなソフトウェアまたはハードウェアを用いて実施される。次に、別の遅延後に、コントローラ(ハードウェアまたはソフトウェア)は、反転された比較器出力をONノードから切断するためにOnSelをロジックローに設定する。次に、コントローラは、Vbを第2の閾値電圧(Voff)に設定する。短い休止後に、ソフトウェアは、比較器出力をOFFノードへ電気的に接続するために信号OffSelをロジックハイに設定する。再び短い遅延後に、ソフトウェアは、比較器出力をOFFノードから切断するためにOffSelをロジックローに設定する。次に、ソフトウェアは、Vbをリセット電圧Vresetに設定する。ある遅延後に、ソフトウェアは、キャパシタの第2の端子をリセットレベルへ電気的に接続するために信号GlobalResetをロジックハイに設定する。別の遅延後に、ソフトウェアは、キャパシタの第2の端子をリセットレベルから切断するためにGlobalResetをロジックローに設定する。
【0201】
次に、コントローラは、第1の行中の画素の記憶された比較器出力を読み出し回路に接続するために、第1のRowSelectラインをロジックハイに設定して、この第1の行からの事象の送信を開始するために、信号を読み出し回路へ送る。読み出し回路が終了したときに、コントローラは、第1のRowSelectラインをロジックローに設定し、第2のRowSelectラインをロジックハイに設定する。
【0202】
すべての行が尽きるまで、すなわち、コントローラがすべての行について記憶された比較器出力を読み取るまで処理が行われる。
【0203】
すべての記憶された比較器出力を読み終えたときに、コントローラは、短い遅延後に、Vbを第1の閾値電圧に再び設定することによってシーケンスを再開してよい。このプロセスがDVSによるデータ取得の間、繰り返される。
【0204】
代わりに、シーケンスを直接に再開するのではなく、コントローラは、外部タイミング基準信号を待ってもよい。この外部タイミング基準信号は、プロセッサに由来してよい。
【0205】
読み出し回路が以下に記載される。
【0206】
その最も基本的な形態において、読み出し回路は、アレイ210中のすべての画素100について比較器出力を読み取り、3値(増加、減少、または変化なし)画像をフレームごとに1度レシーバへ送る。
【0207】
図30は、画素アレイ210のための読み出し回路を示す。
【0208】
画素アレイ210全体について比較器出力を読み取るために、アレイ210が行ごとに走査される。これは、行選択回路40(コントローラ60の一部)が画素の1つの行を選択することを意味し、これらの画素における比較器の出力(または、画素の実施形態に依存して、比較器の記憶された出力)が、読み出し回路42の対応する列論理回路44へ向かう列ラインに接続されることを意味する。列論理回路44は、対応する画素に変化があったかどうかを判定し、次に、それぞれの列論理回路44の出力が列走査回路48を用いて走査される。列走査回路48は、列論理回路の出力をプロセッサ46へ向かう出力データラインへ連続的に接続する。
【0209】
事象ベースの読み出しが次に記載される。
【0210】
プロセッサ46におけるより効率的な読み出しおよび処理を可能にするために、データ読み出し回路は、データをより効率的な方法で符号化することができる。この種類の画素回路では、データがまばらであることが予想され、これは、事象フレーム当たりわずかな比率の画素のみが変化を登録したことを意味する。
【0211】
まばらなデジタル信号を容易にさらに圧縮することができる。多次元デジタルデータを圧縮するためのポピュラーな方法は、このデータ中のデジタル信号の座標/アドレスを符号化することである。デジタル事象のこの符号化は、事象ベースの読み出しとしても知られる。事象ベースのビジョンセンサにおけるポピュラーな符号化スキームは、デジタル信号をアレイ中の画素の行および列座標ならびにタイムスタンプのタプルとして符号化することであり、デジタル事象の発生の場所および時を符号化することにつながる。これは、1つの実施形態では、光強度変化が検出された(事象が生じた)画素のアドレスのみが送信されることを意味する。
【0212】
図31は、事象が生じた画素のアドレスからの読み出しを可能にする読み出し回路を示す。このために、列論理回路によって事象が検出されたすべての列のアドレスだけでなく、対応する行のアドレスも、次々に、出力される。
【0213】
この実施は、シフトレジスタ70を採用する。画素の各列が1つの対応するシフトレジスタ段72-1、72-2、72-3を有する。
【0214】
各シフトレジスタ段72-1、72-2、72-3は、バイパスすることができる。バイパスは、それぞれの列論理回路44-1、44-2、44-3のEventDetect出力によって制御される。EventDetect出力がローであれば、対応するシフトレジスタ段72-1、72-2、72-3は、バイパスされる。EventDetect出力がハイであれば、シフトレジスタ段72-1、72-2、72-3は、バイパスされない。
【0215】
コントローラ60は、startPulseをハイに設定し、クロックをパルスすることによって事象の読み出しを開始する。これが第1段72-1の入力マルチプレクサ74-1で受け取られる。入力マルチプレクサは、d入力をDラッチ78-1に提供する。Dラッチ78-1出力Qは、出力マルチプレクサ76-1へ提供される。クロック入力は、Dラッチ78-1のクロック入力で受け取られる。
【0216】
次に、コントローラは、startPulseを再びローに設定する。バイパスされない(例えば、対応するEventDetectがハイである)第1のシフトレジスタ段は、その出力にハイ電圧レベルを保存しているであろう。これは、対応する列論理回路のAddress+EventPolarityを通信バスに接続する。レシーバは、今や、このアドレスを読み取ることができる。クロックの次のパルスでは、バイパスされない、次のシフトレジスタ段72へハイレベルが移り、対応するAddress+EventPolarityが通信バスに接続される。バイパスされない最後のシフトレジスタ段72へハイレベルが移るまでこれが続く。この段の出力は、ライン80を用いて、この行について読み出しが終了したことをコントローラ60に伝える。コントローラ60は、次に、次の行についてRowSelect信号をアクティブにし、行アドレスエンコーダ40を通信バスに接続して、シフトレジスタを再始動する。
【0217】
列論理回路が次に記載される。
【0218】
図32を参照すると、画素出力nRxOnおよびnRxOff(
図5もしくは
図7または
図12参照)あるいはnRXだけ(
図10参照)について、画素回路の実施形態に依存して、列論理回路44は、対応する画素における光強度が、変化しなかった、増加または減少したかどうかを、画素出力の状態(ロジックローまたはロジックハイ)が増加または減少を表す値に対応するかどうかをチェックすることによって判定する。列論理回路44が増加または減少を検出した場合、データ読み出し回路に通知される。
【0219】
列論理回路の出力は、事象が検出されたときにアクティブである信号(EventDetect)、事象の極性に対応する信号、および対応する列の列アドレスを符号化する番号である。(ハイEventPolarityは、光強度の増加を意味する)。列アドレスは、列ごとの固定番号に過ぎないため、その実施は、図に示されない。
【0220】
列論理回路の実施の一部は、リクエストラインごとのバイアストランジスタ(
図32中の92、94)である。それらのバイアストランジスタは、画素がそれらをオンにプルしない限り、リクエストライン(nRxOnおよびnRxOff)をロジックハイレベルに保つ。
【0221】
事象発生は、2つのリクエストライン(nRxOffまたはnRxOn)のうちの1つがロー電圧にあるときにシグナリングされる。列論理回路は、コントローラ60からのラッチクロック信号によって与えられた時刻に2つのリクエストラインのNANDをフリップフロップ96に、nRxOffの状態をフリップフロップ98に保存する。
【0222】
図8の画素回路のための列論理回路の実施が
図33に示される。
【0223】
ここでは、事象は、Vonが画素比較器に適用されたときにリクエストラインnRXがローであるか、あるいはVoffが画素比較器に適用されるときにリクエストラインがローであるかいずれかのときに検出される。リクエストラインの反転状態がコントローラのコマンドでフリップフロップに保存される。EventDetectは、フリップフロップ出力の論理ORである。
【0224】
図10の画素回路のための列論理回路の実施が
図34に示される。
【0225】
出力信号EventDetectおよびEventPolarityに加えて、
図10の画素の実施形態のための列論理回路は、画素へ向かう信号を生成しなければならず、RowSelect信号とともに事象の検出後の画素をリセットする。提案される実施では、このColAck信号がEventDetect信号と等価である。
【0226】
事象は、Vonが画素比較器に適用されたときにリクエストラインnRXがハイであるときか、またはVoffが画素比較器に適用されたときにリクエストラインがローであるときに検出される。
【0227】
図10の画素回路の実施形態は、画素中にメモリユニットを含まないので、列論理回路がメモリユニットを含む。
【0228】
図13に示される回路の画素のための列論理回路の実施が
図35に示される。
【0229】
ここでは、列論理回路が比較器A1を含む。画素はVdiffを表す信号を出力し、事象を検出するための比較は、列論理回路44で行われる。
【0230】
画素のリセットは、比較器/増幅器Comp1を用いて行われる。画素がリセットされるべきときには、一致する列におけるEventDetect信号がハイである。コントローラ60は、VbをVresetに設定し、DoResetをハイに設定して、ColAckをハイにする。RowSelect_mがハイの行では、一致するR1中の両方のトランジスタが導通しているため、電圧Vdiffは、次に、Vcompへ短絡される。増幅器Comp1(A1)およびソースフォロワによって形成されたフィードバック回路は、次に、VdiffがVsfをVresetに等しくする電圧に確実に落ち着くようにする。
【0231】
図36は、
図13に示される画素回路および
図35の列論理回路の実施のための信号タイムラインを示す。
【0232】
図14の画素回路のための列論理回路の実施が
図37に示される。
【0233】
列論理回路は、2つの比較器A1-1およびA1-2を含む。2つの比較器は、Voutを一度に両方の閾値と比較することを可能にする。コントローラ60によって制御される信号ラッチにおいて、比較器出力がフリップフロップ112、114に保存される。比較器出力の論理ORが、コントローラ60からの信号DoResetとともに、信号CoAckによって画素がリセットされるか否かを決定する。