(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-11
(54)【発明の名称】イベントセンサおよびイベントデータの信号ストリームを作り出すための方法
(51)【国際特許分類】
H04N 25/47 20230101AFI20240304BHJP
H04N 25/77 20230101ALI20240304BHJP
【FI】
H04N25/47
H04N25/77
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023556779
(86)(22)【出願日】2022-03-22
(85)【翻訳文提出日】2023-11-07
(86)【国際出願番号】 EP2022057500
(87)【国際公開番号】W WO2022200354
(87)【国際公開日】2022-09-29
(32)【優先日】2021-03-22
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】520417403
【氏名又は名称】イニベーション・アー・ゲー
(74)【代理人】
【識別番号】110001173
【氏名又は名称】弁理士法人川口國際特許事務所
(72)【発明者】
【氏名】リー,チュンハン
(72)【発明者】
【氏名】デフェルネ,アルノー
【テーマコード(参考)】
5C024
【Fターム(参考)】
5C024CY45
5C024GX03
5C024GX15
5C024GX16
5C024GY39
5C024GY41
5C024HX23
5C024HX27
5C024HX28
5C024HX29
5C024HX30
5C024HX31
5C024HX32
(57)【要約】
本発明は、イベントセンサ、および、ピクセルのピクセルアレイ(10)上に入射する光に反応してイベントデータの信号ストリームを作り出すための方法に関する。イベントセンサは:ピクセルアレイ(10)の各ピクセルについて、ピクセル上に入射する光に反応して検出器信号を作り出すように構成された少なくとも1つの光検出器(1)と;各ピクセルまたはピクセルの群について、光検出器(1)に接続され、サンプリング間隔でサンプリングされた検出器信号に依存するデジタルサンプル値を反復して作り出し記憶するように構成された信号変換器(2)と;信号変換器(2)に接続された読み出しプロセッサ(4)とを備える。読み出しプロセッサ(4)は:サンプル値の1つまたは複数に基づいて、デジタルの累算されたピクセル値を導出し、累算されたピクセル値は、サンプリング間隔のサンプリングカウントにわたる検出器信号の累算に対応しており;累算されたピクセル値およびサンプリングカウントに依存するイベントデータのピクセルイベントを生成するように構成される。
【特許請求の範囲】
【請求項1】
ピクセルのピクセルアレイ(10)を備え、前記ピクセルアレイ(10)上に入射する光に反応してイベントデータの信号ストリームを作り出すように構成されたイベントセンサであって、
- 前記ピクセルアレイ(10)の各ピクセルについて、前記ピクセル上に入射する光に反応して検出器信号を作り出すように構成された少なくとも1つの光検出器(1)と、
- 各ピクセルまたは前記ピクセルの群について、前記光検出器(1)に接続され、サンプリング間隔でサンプリングされた前記検出器信号に依存するデジタルサンプル値を反復して作り出し記憶するように構成された信号変換器(2)と、
- 前記信号変換器(2)に接続された読み出しプロセッサ(4)であって、
- 前記サンプル値の1つまたは複数に基づいて、デジタルの累算されたピクセル値を導出し、前記累算されたピクセル値が、前記サンプリング間隔のサンプリングカウントにわたる前記検出器信号の累算に対応しており、
- 前記累算されたピクセル値および前記サンプリングカウントに依存する前記イベントデータのピクセルイベントを生成するように構成される、読み出しプロセッサ(4)と
を備えたイベントセンサ。
【請求項2】
前記信号変換器(2)に接続された前記読み出しプロセッサ(4)が、前記累算されたピクセル値を前記サンプリングカウントによって割るという除算結果を算出し、前記除算結果に依存する前記ピクセルイベントを生成するように構成される、請求項1に記載のイベントセンサ。
【請求項3】
前記サンプリングカウントを記憶するように構成されたパラメータメモリ(3)をさらに備え、前記読み出しプロセッサ(4)が、
- 前記サンプル値および/または前記サンプリングカウントを読み取り、
- 前記累算の各サンプリング間隔について前記サンプリングカウントをインクリメントすることによって、前記サンプリングカウントを更新し、
- 前記サンプリングカウントを書き込み、
- 前記累算の最後のサンプリング間隔内で、前記サンプル値の1つまたは複数の平均に基づいて前記累算されたピクセル値を導出する
ように構成される、請求項1または2に記載のイベントセンサ。
【請求項4】
前記累算されたピクセル値および前記サンプリングカウントを記憶するように構成されたパラメータメモリ(3)をさらに備え、前記読み出しプロセッサ(4)が、
- 前記サンプル値、前記累算されたピクセル値、および/または前記サンプリングカウントを読み取り、
- 前記累算の1つのサンプリング間隔内で、前記サンプル値の1つまたは複数の平均を前記累算されたピクセル値に加算することによって、前記累算されたピクセル値を更新し、
- 前記累算の各サンプリング間隔について前記サンプリングカウントをインクリメントすることによって、前記サンプリングカウントを更新し、
- 前記累算されたピクセル値および/または前記サンプリングカウントを書き込む
ように構成される、請求項1または2に記載のイベントセンサ。
【請求項5】
前の累算されたピクセル値、前のサンプリングカウント、および/または、前記前の累算されたピクセル値を前記前のサンプリングカウントによって割るという前の除算結果を記憶するように構成されたパラメータメモリ(3)をさらに備え、前記読み出しプロセッサ(4)が、
- 前記前の累算されたピクセル値、前記前のサンプリングカウント、および/または前記前の除算結果を読み取り、
- 前記除算結果および前記前の除算結果に基づいて前記ピクセルイベントを生成し、
- 前記前の累算されたピクセル値、前記前のサンプリングカウント、および/または前記前の除算結果を、前記累算されたピクセル値、前記サンプリングカウント、および/または前記除算結果を用いてそれぞれ上書きする
ように構成される、請求項1から4のいずれか一項に記載のイベントセンサ。
【請求項6】
前記除算結果および/または前記前の除算結果が(それぞれ)前記サンプル値より高い数のビットを含む、請求項1から5のいずれか一項に記載のイベントセンサ。
【請求項7】
前記読み出しプロセッサが、
- 前記サンプリングカウントおよび/または前記前のサンプリングカウントに基づいて、累算されたピクセル値閾値を決め、および/または、前記累算されたピクセル値および/または前記前の累算されたピクセル値に基づいて、カウント閾値を決め、
- 前記累算されたピクセル値および/または前記前の累算されたピクセル値を前記累算されたピクセル値閾値と比較し、および/または、前記サンプリングカウントおよび/または前記前のサンプリングカウントを前記カウント閾値と比較し、
- 前記累算されたピクセル値および/または前記前の累算されたピクセル値が前記累算されたピクセル値閾値を超える、および/または、前記サンプリングカウントおよび/または前記前のサンプリングカウントが前記カウント閾値を超えるという条件で前記ピクセルイベントを生成する
ように構成される、請求項1から6のいずれか一項に記載のイベントセンサ。
【請求項8】
前記読み出しプロセッサ(4)が、前記サンプリングカウント、前記前のサンプリングカウント、前記累算されたピクセル値、および/または前記前の累算されたピクセル値に基づいて、
- 少なくとも1つの時間的コントラスト閾値、
- 少なくとも1つの空間的コントラスト閾値、
- 少なくとも1つの時間的差閾値、
- 少なくとも1つの空間的差閾値、および/または、
- 少なくとも1つの強度値閾値
を決めるように構成される、請求項7に記載のイベントセンサ。
【請求項9】
前記読み出しプロセッサが、
- 前記除算結果と前記前の除算結果の商に基づく時間的コントラスト、
- 前記除算結果と近傍ピクセルに対応する近傍除算結果の第2の商に基づく少なくとも1つの空間的コントラスト、
- 前記除算結果と前記前の除算結果との間の差に基づく時間的差、
- 前記除算結果と前記近傍除算結果との間の第2の差に基づく少なくとも1つの空間的差、および/または、
- 前記除算結果および/または前記前の除算結果に基づく強度値
を算出するように構成され、
前記読み出しプロセッサが、前記時間的コントラストと前記時間的コントラスト閾値との間の、前記空間的コントラストと前記空間的コントラスト閾値との間の、前記時間的差と前記時間的差閾値との間の、前記空間的差と前記空間的差閾値との間の、および/または、前記強度値と前記強度値閾値との間の比較結果に基づいて前記イベントデータの前記ピクセルイベントを生成するように構成される、請求項8に記載のイベントセンサ。
【請求項10】
互いに関連する2つ以上の処理閾値の1つまたは複数のタプルを含むルックアップテーブルを記憶するように構成された閾値メモリをさらに備え、各タプル内の前記処理閾値が、前記カウント閾値、前記累算されたピクセル値閾値、前記時間的コントラスト閾値、前記空間的コントラスト閾値、前記時間的差閾値、前記空間的差閾値、および/または前記強度値閾値であり、前記読み出しプロセッサが、前記サンプリングカウント、前記前のサンプリングカウント、前記累算されたピクセル値、および/または前記前の累算されたピクセル値を、前記タプル内のそれぞれの処理閾値と比較して、隣接するタプルを見出すことによって、および、前記隣接するタプルから、前記カウント閾値、前記累算されたピクセル値閾値、前記時間的コントラスト閾値、前記空間的コントラスト閾値、前記時間的差閾値、前記空間的差閾値、および/または前記強度値閾値を選択することによって、前記カウント閾値、前記累算されたピクセル値閾値、前記時間的コントラスト閾値、前記空間的コントラスト閾値、前記時間的差閾値、前記空間的差閾値、および/または前記強度値閾値を選択するように構成される、請求項7から9のいずれか一項に記載のイベントセンサ。
【請求項11】
互いに関連する2つ以上の処理閾値の2つ以上のタプルを含むルックアップテーブルを記憶するように構成された閾値メモリをさらに備え、各タプル内の前記処理閾値が、前記カウント閾値、前記累算されたピクセル値閾値、前記時間的コントラスト閾値、前記空間的コントラスト閾値、前記時間的差閾値、前記空間的差閾値、および/または前記強度値閾値であり、前記読み出しプロセッサが、前記サンプリングカウント、前記前のサンプリングカウント、前記累算されたピクセル値、および/または前記前の累算されたピクセル値を、前記タプル(複数)内のそれぞれの処理閾値と比較して、2つ以上の隣接および/または近接するタプルを見出すことによって、および、前記隣接および/または近接するタプルに基づいて、前記カウント閾値、前記累算されたピクセル値閾値、前記時間的コントラスト閾値、前記空間的コントラスト閾値、前記時間的差閾値、前記空間的差閾値、および/または前記強度値閾値を内挿および/または外挿することによって、前記カウント閾値、前記累算されたピクセル値閾値、前記時間的コントラスト閾値、前記空間的コントラスト閾値、前記時間的差閾値、前記空間的差閾値、および/または前記強度値閾値を決めるように構成される、請求項7から9のいずれか一項に記載のイベントセンサ。
【請求項12】
前記タプルの任意の対において、より低いカウント閾値を有するタプルが、より高い累算されたピクセル値閾値、前記時間的コントラスト閾値のより小さい絶対値、前記空間的コントラスト閾値のより小さい絶対値、前記時間的差閾値のより大きい絶対値、および/または前記空間的差閾値のより大きい絶対値を含み、より高いカウント閾値を有するタプルが、より低い累算されたピクセル値閾値、前記時間的コントラスト閾値のより大きい絶対値、前記空間的コントラスト閾値のより大きい絶対値、前記時間的差閾値のより小さい絶対値、および/または前記空間的差閾値のより小さい絶対値を含む、請求項11に記載のイベントセンサ。
【請求項13】
1つまたは複数の入力を1つまたは複数の出力にマッピングする1つまたは複数の閾値関数のための1つまたは複数のパラメータを記憶するように構成された閾値メモリをさらに備え、前記入力が、前記サンプリングカウント、前記前のサンプリングカウント、前記累算されたピクセル値、および/または前記前の累算されたピクセル値であり、前記出力が、前記カウント閾値、前記累算されたピクセル値閾値、前記時間的コントラスト閾値、前記空間的コントラスト閾値、前記時間的差閾値、前記空間的差閾値、および/または前記強度値閾値であり、前記読み出しプロセッサが、前記閾値関数を使用して、前記サンプリングカウント、前記前のサンプリングカウント、前記累算されたピクセル値、および/または前記前の累算されたピクセル値から、前記カウント閾値、前記累算されたピクセル値閾値、前記時間的コントラスト閾値、前記空間的コントラスト閾値、前記時間的差閾値、前記空間的差閾値、および/または前記強度値閾値を導出するように構成される、請求項7から9のいずれか一項に記載のイベントセンサ。
【請求項14】
前記時間的コントラスト閾値が、正の時間的コントラスト閾値、負の時間的コントラスト閾値、および/または絶対時間的コントラスト閾値を含み、前記空間的コントラスト閾値が、正の空間的コントラスト閾値、負の空間的コントラスト閾値、および/または絶対空間的コントラスト閾値を含み、前記時間的差閾値が、正の時間的差閾値、負の時間的差閾値、および/または絶対時間的差閾値を含み、および/または、前記空間的差閾値が、正の空間的差閾値、負の空間的差閾値、および/または絶対空間的差閾値を含み、
- 前記サンプリングカウントおよび/または前記前のサンプリングカウントを、前記累算されたピクセル値閾値にマッピングする前記閾値関数が単調減少し、
- 前記累算されたピクセル値および/または前記前の累算されたピクセル値を、前記カウント閾値にマッピングする前記閾値関数が単調減少し、
- 前記サンプリングカウントおよび/または前記前のサンプリングカウントを、前記正の時間的コントラスト閾値、前記絶対時間的コントラスト閾値、前記正の空間的コントラスト閾値、前記絶対空間的コントラスト閾値、前記負の時間的差閾値、および/または前記負の空間的差閾値にマッピングする前記閾値関数が単調増加し、
- 前記サンプリングカウントおよび/または前記前のサンプリングカウントを、前記負の時間的コントラスト閾値、前記負の空間的コントラスト閾値、前記正の時間的差閾値、前記絶対時間的差閾値、前記正の空間的差閾値、および/または前記絶対空間的差閾値にマッピングする前記閾値関数が単調減少し、
- 前記累算されたピクセル値および/または前記前の累算されたピクセル値を、前記正の時間的コントラスト閾値、前記絶対時間的コントラスト閾値、前記正の空間的コントラスト閾値、前記絶対空間的コントラスト閾値、前記負の時間的差閾値、および/または前記負の空間的差閾値にマッピングする前記閾値関数が単調減少し、および/または
- 前記累算されたピクセル値および/または前記前の累算されたピクセル値を、前記負の時間的コントラスト閾値、前記負の空間的コントラスト閾値、前記正の時間的差閾値、前記絶対時間的差閾値、前記正の空間的差閾値、および/または前記絶対空間的差閾値にマッピングする前記閾値関数が単調増加する、請求項13に記載のイベントセンサ。
【請求項15】
前記パラメータメモリ(3)が、対応するピクセルのための処理オプションパラメータをさらに記憶するように構成され、前記読み出しプロセッサ(4)が、前記処理オプションパラメータに従って、前記ピクセルイベントを生成するように構成されることを特徴とする、請求項1から14のいずれか一項に記載のイベントセンサ。
【請求項16】
前記読み出しプロセッサが、
- サンプルベースラインまたはオフセット補償子を前記累算されたピクセル値および/または前記前の累算されたピクセル値から減算することによって前記サンプル値内のベースラインまたはオフセットを補償し、前記サンプルベースラインが前記信号変換器によって作り出されるかまたは前記オフセット補償子が前記パラメータメモリに記憶されており、および/または、
- 前記サンプル値、前記サンプル値の1つまたは複数の前記平均、前記累算されたピクセル値、および/または前記前の累算されたピクセル値に正規化係数を掛けることによって、前記サンプル値、前記サンプル値の1つまたは複数の前記平均、前記累算されたピクセル値、および/または前記前の累算されたピクセル値を正規化するように構成され、前記正規化係数が、利得不整合修正子に基づいて前記読み出しプロセッサによって導出され、前記利得不整合修正子が前記パラメータメモリに記憶される、請求項1から15のいずれか一項に記載のイベントセンサ。
【請求項17】
前記信号変換器が、利得コードを記憶するように構成された利得メモリをさらに備え、前記利得コードが、前記信号変換器のプログラム可能な利得を決め、前記正規化係数が、前記利得不整合修正子および/または前記利得コードに基づいて前記読み出しプロセッサによって導出される、請求項16に記載のイベントセンサ。
【請求項18】
ピクセルのピクセルアレイ(10)上に入射する光に反応してイベントデータの信号ストリームを作り出すための方法であって、各ピクセルまたは前記ピクセルの群について行われる以下のステップ、
- 前記ピクセル上に入射する光に反応して検出器信号を作り出すステップと、
- サンプリング間隔でサンプリングされた前記検出器信号に依存するデジタルサンプル値を反復して作り出し記憶するステップと、
- 前記サンプル値の1つまたは複数に基づいて、デジタルの累算されたピクセル値を導出するステップであって、前記累算されたピクセル値が、前記サンプリング間隔のサンプリングカウントにわたる前記検出器信号の累算に対応する、ステップと、
- 前記累算されたピクセル値および前記サンプリングカウントに依存する前記イベントデータのピクセルイベントを生成するステップと
を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、イベントセンサ、および、ピクセルアレイ上に入射する光に反応してイベントデータの信号ストリームを作り出すための方法に関する。
【背景技術】
【0002】
従来の画像センサは、全てのフレームにおける全てのピクセルによって測定されたデジタル強度値の形態で連続フレームのシーケンスを取り込み、その後、全てのこれらのデジタル強度値を処理のために受信用コンピュータに転送することによってシーンを記録する。このアプローチの主要な欠点は、制限された時間分解能、高いレイテンシ、および高いデータ冗長性を含む。
【0003】
移動物体の追跡、位置特定、および検出等のいくつかのマシンビジョンタスクにおいて、マシンビジョンアルゴルズムが、高時間分解能および最小レイテンシを有する入力を受信することが望ましい。そのようなマシンビジョンタスクの場合、大量の冗長なまたは無関係な情報を受信し処理することは同様に望ましくない。したがって、そのようなマシンビジョンタスクは、高時間分解能、低レイテンシ、および低データ冗長性を有するスマート画像センサを要求する。この要求は、従来の画像センサによって満たされない。
【0004】
その光センサによって取り込まれるシーンの時間的コントラストをエンコードする非従来型センサ設計は、米国特許第7,728,269号において提案されている。時間的コントラストをエンコードすることによって、画像センサの出力データにおける時間的冗長性は、ほぼ排除され、それにより、ON/OFFピクセルイベントのフォーマットでアクティビティ駆動型スパースデータを作り出す。これは、各ピクセルイベントが、符号ON/OFFおよびピクセル座標からなることを意味する。イベントセンサ概念としても知られるそのようなイベントベース時間的コントラストセンサ概念は、従来の画像センサによって提供されない利点:高ダイナミックレンジ、高時間分解能、低レイテンシ、および低データ冗長性、のユニークな組み合わせを提供する。したがって、イベントセンサ概念は、多数の代替設計または改善された設計において採用されており、同様に、本発明の基礎でもある。
【0005】
米国特許第7,728,269号において提案される設計は、高ダイナミックレンジを達成するために対数電流-電圧変換のためのサブスレッショルドMOSFET挙動を利用する。絶対強度の代わりに時間的コントラストが測定されるため、この設計は、対数電流-電圧変換におけるピクセル間オフセット不整合に影響されない。しかしながら、この設計は、対数電流-電圧変換ならびに変化検出ステップにおけるピクセル間利得不整合を依然として受ける。その他に、この設計は、過去の光強度依存信号を記憶する記憶キャパシタを使用し、記憶キャパシタは、ピクセルイベントにおいてリークにより誘起される不正確さ(leakage-induced inaccuracy)を引き起こす種々のリークが生まれ易い。
【0006】
国際公開第2020229981号は、イベントセンサ概念に基づく代替のセンサ設計を提案しており、それは、入射光強度に対数的に依存するデジタルの現在のピクセル値を作り出すために各ピクセルについてアナログ-デジタル変換器(ADC)を使用する。この現在および前のピクセル値は、その後、記憶され、デジタル的に比較される。現在のピクセル値と前のピクセル値との間のピクセル差値は、現在のピクセル値と前のピクセル値との間のデジタル減算によって算出される。その後、ピクセルイベントは、ピクセル差値をイベント閾値と比較することに基づいて生成される。この設計は、ピクセルイベントにおけるピクセル間利得不整合およびリークにより誘起される不正確さを排除する。しかしながら、この設計は、以下の段落で説明されることになる幾つかの欠点を有する。
【0007】
第1に、この設計は、相関2重サンプリング(CDS)を介する、現況技術のCMOSアクティブピクセル回路の潜在的に有意のサーマルノイズ低減から利益を受ける解決策を提供しない。同様に、提案されるリセットスキームは、さらなるサーマルノイズを導入する。結果として、現在および前のピクセル値は高いサーマルノイズを含み、高いサーマルノイズは、特に、低光条件下で、最終的なピクセルイベント品質を低下させる。
【0008】
第2に、アクティブピクセル回路が、高ダイナミックレンジを達成するために、対数アナログ-デジタル(A/D)変換と対にされる場合、ピクセルのフォトダイオードは、フルレンジの対数A/D変換を利用するために高いフルウェルキャパシティを有する必要がある。より高いフルウェルキャパシティは、より大きいフォトダイオードを必要とし、これは、ピクセルがどれほどコンパクトであり得るかを制約する、不完全な電荷転送の問題を潜在的に導入する。複数の露出技法が、フォトダイオードの制限されたフルウェルキャパシティを補償するために実装され得るが、より高いレイテンシおよびより低い時間分解能をもたらすという代償を払う。
【0009】
第3に、ダイナミックレンジにわたる高時間的コントラスト感度およびピクセルイベントにおける低量子化ノイズを達成するために、現在および前のピクセル値は、10ビットより高いような高ビット深度を有する必要がある。高速ピクセル-並列A/D変換を達成するために、現在のピクセル値は、ピクセル内に記憶される必要がある。したがって、現在のピクセル値についてのピクセル内の高ビット深度メモリは、ピクセルがどれほどコンパクトであり得るかを制約する。同様に、現在または前のピクセル値のより高いビット深度は、より高いADC性能を要求し、それは、より高い電力消費およびより高いピクセルの複雑さにつながる場合がある。
【0010】
最後に、現在または前のピクセル値は、所定の露出時間内でピクセルによって検出される光子の数をほぼ反映する。高ダイナミックレンジを実現するために、ピクセルイベントは、多数の検出光子に対応する、飽和に近い現在および前のピクセル値を有するピクセルからと、少数の検出光子に対応する、ほぼゼロの現在および前のピクセル値を有するピクセルからとの両方から確実に生成される必要がある。光子ショットノイズおよび他の時間的ノイズのせいで、より小さい現在または前のピクセル値は、より低いシグナル-ノイズレシオ(SNR)を有する。したがって、ほぼゼロの現在または前のピクセル値は、飽和に近い現在または前のピクセル値のSNRよりずっと低いSNRを有する。結果として、この設計によれば、より高い時間的コントラスト感度を達成するために、より低いイベント閾値が予め決められ得るが、より小さい現在および前のピクセル値を有するピクセルにおいてより多くのノイズピクセルイベントを生成するという代償を払う;または、より小さい現在および前のピクセル値を有するピクセルからのノイズピクセルイベントを低減するために、より高いイベント閾値が予め決められ得るが、より大きい現在および前のピクセル値を有するピクセルについて時間的コントラスト感度が不必要に低減するという代償を払うのいずれかである。同様に、より高い時間分解能を達成するために、より短い露出時間が予め決められ得るが、全てのピクセルの現在および前のピクセル値の低減によってより多くのノイズピクセルイベントを生成するという代償を払う;または、全てのピクセルの現在および前のピクセル値を増加させるために、したがって、ノイズピクセルイベントを低減するために、より長い露出時間が予め決められ得るが、より大きい現在および前のピクセル値を有するピクセルについて時間分解能が不必要に低減するという代償を払うのいずれかである。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】米国特許第7,728,269号明細書
【特許文献2】国際公開第2020/229981号
【発明の概要】
【発明が解決しようとする課題】
【0012】
改善されたイベントセンサ、および、それに付随する、改善されたデータ品質を有するイベントデータを作り出すための方法を提案することが、本発明の目的である。特に、その目的は、ピクセルをコンパクトに維持しながら、SNRを増加させること、したがって、イベントデータを構成する各ピクセルイベントの有効ビット深度を増加させることである。さらに、その目的は、各個々のピクセルについて、ピクセルイベントのSNRと時間分解能との間のトレードオフを動的に最適化することである。
【課題を解決するための手段】
【0013】
この目的は、請求項1の特徴を有するイベントセンサおよび請求項16の特徴を有する方法を提供することによる本発明によって達成される。本発明のさらなる有利な実施形態は、下位クレームの主題である。
【0014】
本発明は、ピクセルイベントのSNRを増加させるために、したがって、有効ビット深度を増加させるために、累算/オーバーサンプリングおよび平均化の考えに基づく。このため、デジタルの累算されたピクセル値は、各ピクセルについてのサンプリングカウントと同時に導出される。ピクセルイベントは、その後、累算されたピクセル値およびサンプリングカウントに依存して生成される。特に、ピクセルイベントは、累算されたピクセル値をサンプリングカウントで割るという除算結果に依存し得る。
【0015】
本発明によれば、イベントセンサは、ピクセルアレイを備え、ピクセルアレイ上に入射する光に反応してイベントデータを含む信号ストリームを作り出すように構成される。
【0016】
日常の文脈における表現「光(light)」は、電磁(EM)波の可視範囲、すなわち、約380-750nmを、典型的に指すが、紫外(UV)および近赤外(NIR)波長のEM放射は、半導体、特にシリコンにおいて光電または光起電力効果をやはり引き起こすことができる。ピクセルアレイの検出可能な波長範囲は、シリコン以外のエキゾチック材料が感光性材料として使用される場合、変更および/または拡張され得る。したがって、表現「EM放射」は、日常の文脈における「光」に比べて、本発明のより多くの適用可能事例をカバーする。しかしながら、科学的文脈における、したがって同様に、本文脈における、「光」は、任意の波長のEM放射を指すことができる。有利な実施形態において、「光」は、UVとNIRとの間に及び、UVおよびNIRを含む波長を指すことができる。したがって、表現「光」および「EM放射」は、本明細書において互いに交換可能に使用される。
【0017】
特に、ピクセルアレイは、W×Hピクセルの2次元アレイを備えることができ、ここで、WおよびHは共に正整数であり、Wは、幅数(width number)と呼ばれることになり、第1の次元に沿うピクセル数を指し、Hは、高さ数(height number)と呼ばれることになり、第1の次元に垂直な第2の次元に沿うピクセル数を指す。ピクセルアレイは、HピクセルのW列、WピクセルのH行、および/またはピクセルのW列およびH行を有するものとして同様に呼ばれ得る。
【0018】
ピクセルアレイの各ピクセルは、ピクセル上に入射する光に反応して検出器信号を作り出す少なくとも1つの光検出器を備える。光検出器は、入射光、すなわち、入射光子を検出器信号に変換する任意のデバイスとすることができる。検出器信号は、サーマル信号または生化学的信号等の、入射光に依存する任意の形態の信号とすることができる。
【0019】
検出器信号は、特に、電流、電圧、または電荷の形態等の、電気信号とすることができる。この場合、光検出器は、光電変換器と呼ばれ得る。光検出器は、光子-電子変換を行うことができる。光検出器は、フォトダイオード、特に、部分的にまたは完全にピン留めされたフォトダイオード(pinned photodiode)(PPD)とすることができる。検出器信号は、特に、特定のレートで電荷を生成するように構成され得、電荷が生成されるレートは検出器信号である。したがって、検出器信号は、光検出器に衝突する光の強度に線形に依存するかまたはそれに比例し得る。検出器信号は、特に、光検出器の露出に続いてサンプリングされ得る。光検出器に衝突する光の強度は時間と共に変化し得るため、検出器信号も、時間と共に変化し得る。換言すれば、或る時点でサンプリングされる検出器信号は、別の時点でサンプリングされる検出器信号と異なり得る。しかしながら、検出器信号は、複数の異なる時点でサンプリングされることによって、複数のそのような検出器信号になるように複製されているものと見なされるべきでない。1つの光検出器からの検出器信号は、経時的に反復してサンプリングされ得る単一のの時間変化性品質として本明細書で説明される。
【0020】
位相差検出オートフォーカスをサポートするため等で、複数の光検出器を1つのピクセルに割り当てるという利点が存在し得る。この場合、1つのピクセルに属する光検出器は、別々に一度に一回サンプリングされるかまたは同時に共にサンプリングされ得る。それに相応して、それらの検出器信号は、別々に一度に一回サンプリングされるかまたは同時に共にサンプリングされ、したがって、結合され得る。どちらにしても、いつでも、1つのピクセルに関連する1つの単一の検出器信号が実質上存在し得ると見なされ得る。
【0021】
一実施形態において、各ピクセルについて、信号変換器が、そのピクセルの1つまたは複数の光検出器に接続される。換言すれば、各ピクセルと1つの信号変換器との間に1対1対応が存在する。
【0022】
代替的に、複数のピクセルの群が、1つの共通の信号変換器を共有することができる。換言すれば、複数のピクセルに属する複数の光検出器は、1つの単一の信号変換器に接続され得る。
【0023】
信号変換器を備える上記で述べた実施形態において、信号変換器は、サンプリング間隔で検出器信号を反復してサンプリングし、サンプリング間隔でサンプリングされる検出器信号に依存するデジタルサンプル値を反復して作り出し記憶するように構成される。特に、検出器信号は、規則的サンプリング間隔で、例えば、100または10キロヘルツのサンプリングレートと言い換えられる10または100マイクロ秒間隔でサンプリングされ得る。各サンプリング間隔内で、光検出器は、所定の露出時間の間、露出され得、その後、検出器信号はサンプリングされ得る。換言すれば、各サンプリング間隔内で、光検出器の1回の露出と、それに続く検出器信号の1回のサンプリングが存在し得る。露出時間は、特に規則的とすることができる。各サンプル値は、対応するサンプリング間隔でサンプリングされる検出器信号に依存する、特に、線形に依存する、または、比例する。各サンプリング間隔で、信号変換器が、対応するサンプリング間隔で、1回サンプリングされる検出器信号、すなわち、検出器信号の1回のサンプリングに依存して、サンプル値の1つまたは複数あるいは1つまたは複数のサンプル値を反復して作り出し記憶することができることが留意されるべきである。各サンプリング間隔で複数のサンプル値を作り出し記憶する目的は、これらのサンプル値の平均化を可能にすること、したがって、信号変換器によって寄与される時間的ノイズを低減することである。
【0024】
本明細書の表現「反復して(repeatedly)」は、何度も何度も、所定時間内に複数回、を意味し、以下の可能性を包含することができる:第1に、本明細書において、アクションが「反復して」起こることは、そのアクションが、各サンプリング間隔内で1回または複数回起こることを意味することができる。例えば、検出器信号は、各サンプリング間隔内で1回サンプリングされ得る。一方、信号変換器は、各サンプリング間隔内の1つまたは複数の時間の間、一度に一回、1つまたは複数のサンプル値を作り出し記憶することができる。さらに、本明細書において、アクションが「反復して」起こることは、そのアクションが、1つのサンプリング間隔内で、また、そのようなサンプリング間隔のうちの複数のサンプリング間隔について、連続的な方法でまたは非連続的な方法で、1回または複数回起こることを意味することができ、連続的な方法は、そのようなサンプリング間隔のそれぞれが、中断することなく別のサンプリング間隔に即座に続くことを意味する、または、非連続的な方法は、アクションがその中で起こるそのようなサンプリング間隔の少なくとも2つのサンプリング間隔が、アクションがその中で起こらない1つまたは複数の他のサンプリング間隔によって分離されることを意味する。例えば、信号変換器は、連続的な方法で複数のサンプリング間隔について各サンプリング間隔内で1つまたは複数のサンプル値を作り出し記憶することができる。代替的に、電力を節約するために、信号変換器は、1つのサンプリング間隔内で1つまたは複数のサンプル値を作り出し記憶し、即座に続く1つまたは複数のサンプリング間隔内でサンプル値を作り出さずまたは記憶せず、その後、別のサンプリング間隔内で1つまたは複数のサンプル値を作り出さず、等を行うことができる。電力を節約するためのこの代替法は以下でさらに説明される。
【0025】
信号変換器は、検出器信号に依存するアナログ変換器値を作り出すように構成される少なくとも1つのアナログ変換器を備えることができる。有利には、アナログ変換器は、サンプリング間隔で検出器信号を反復してサンプリングし、サンプリング間隔でサンプリングされる検出器信号に依存する変換器値を反復して作り出し記憶するように構成され得る。特に、各サンプリング間隔でサンプリングされる検出器信号が電荷の形態である場合、アナログ変換器は、検出器信号に依存する変換器値として電圧を作り出すように構成され得る。変換器値と検出器信号との間の、例えば、この場合、電圧と電荷との間の利得または比は、アナログ変換器の変換利得と呼ばれる。アナログ変換器は、変換器値が記憶され得る、静電容量メモリ等のアナログ変換器メモリを備えることができる。各変換器値は、対応するサンプリング間隔でサンプリングされる検出器信号に依存する、特に線形に依存する、または、比例する。有利には、アナログ変換器は、浮遊拡散層が変換器メモリとして働く現況技術のCMOSアクティブピクセル回路を使用することができる。
【0026】
信号変換器は、変換器値に依存するサンプル値を反復して作り出し記憶するように構成されるADCをさらに備え、サンプル値は、同様に、サンプリング間隔でサンプリングされる検出器信号に依存する。換言すれば、反復して、ADCは、入力として変換器値をとり、変換器値をサンプル値に変換し、サンプル値を記憶する。各サンプル値は、対応する変換器値、したがって同様に、対応するサンプリング間隔でサンプリングされる検出器信号に依存する、特に線形に依存する、または、比例する。ADCは、サンプル値が記憶されるマルチビットデジタルサンプルメモリを備える。サンプルメモリは、SRAM、DRAM、または任意の他のマルチビットメモリ技術に基づくことができる。有利には、ADCは、サンプルメモリ内に記憶されるサンプル値がグレイコードフォーマットでエンコードされ得るスロープ/ランプADCとすることができる。
【0027】
代替のまたは追加の実施形態において、信号変換器は、少なくとも1つのアナログ増幅器をさらに備えることができ、アナログ増幅器は、変換器値に依存する増幅器値を反復して作り出すように構成され、増幅器値は、同様に、サンプリング間隔でサンプリングされる検出器信号に依存する。特に、反復して、アナログ増幅器は、入力として変換器値をとり、増幅器値になるように変換器値を増幅利得だけ増幅する。この実施形態において、入力として変換器値をとる代わりに、ADCは、入力として増幅器値を反復してとり、増幅器値をサンプル値に変換し、サンプル値を記憶する。各サンプル値は、対応する増幅器値、対応する変換器値、したがって同様に、対応するサンプリング間隔でサンプリングされる検出器信号に依存する、特に線形に依存する、または、比例する。有利には、アナログ増幅器は、静電容量フィードバック増幅器とすることができる。
【0028】
さらに別の代替のまたは追加の実施形態において、信号変換器は、プログラム可能な利得を使用するようにさらに構成され得る。プログラム可能な利得は、アナログ変換器の変換利得、アナログ増幅器の増幅利得、および/またはADCのデジタル利得を含むことができる。有利には、アナログ変換器がアクティブピクセル回路を使用する場合、変換利得は、浮遊拡散層のキャパシタンスによって決められる。そのため、変換利得は、浮遊拡散層のキャパシタンスを変化させることを介して調整可能である。さらに、アナログ増幅器が静電容量フィードバック増幅器である場合、増幅利得は、入力キャパシタンスとフィードバックキャパシタンスとの比を変化させることを介して調整可能である。最後に、ADCがスロープ/ランプADCである場合、デジタル利得は、スロープ/ランプ電圧の勾配および/または計数の速度を変化させることを介して調整可能である。プログラム可能な利得は、特に、1ビットまたはマルチビットコードとすることができるデジタル利得コードを介してプログラムされまたは決められ得る。換言すれば、変換利得、増幅器利得、および/またはデジタル利得は、利得コードを介してプログラムされまたは決められ得る。信号変換器は、利得コードを記憶するために、特にSRAMに基づく1ビットまたはマルチビットデジタル利得メモリをさらに備えることができる。
【0029】
考えられる各利得コードが、考えられる1つのプログラム可能な利得に関連するだけであるが、必ずしもそれに等しくないことが留意されるべきである。例えば、プログラム可能な利得は、変換利得のみを含むことができ、利得コードは、1ビットのみとすることができ、0の利得コードは、1の変換利得、したがって1のプログラム可能な利得に関連し、1の利得コードは、2の変換利得、したがって2のプログラム可能な利得に関連する。第2の例として、プログラム可能な利得は、変換利得および増幅利得を含むことができ、利得コードは、2ビットとすることができ、00の利得コードは、1の変換利得および1の増幅利得、したがって1のプログラム可能な利得に関連し;10の利得コードは、2の変換利得および1の増幅利得、したがって2のプログラム可能な利得に関連し;01の利得コードは、1の変換利得および4の増幅利得、したがって4のプログラム可能な利得に関連し;11の利得コードは、2の変換利得および4の増幅利得、したがって8のプログラム可能な利得に関連する。変換利得、増幅利得、デジタル利得、および/またはプログラム可能な利得が、それぞれ、考えられるそれらの最小値(複数可)に対する正規化された値(複数可)であることがここで留意されるべきである。
【0030】
ピクセルアレイ内のピクセルについて光検出器および信号変換器についての考えられる複数の接続スキームが存在し得、それらは、いくつかのピクセルにおいて同様に混合および/または結合され得る。
【0031】
第1の例示的なスキームにおいて、P個のピクセル(複数可)の各群に対して、D個の光検出器(複数可)は、1つの単一の信号変換器に接続され、1つの単一の信号変換器は、特に、C個のアナログ変換器(複数可)および1つの単一のADCを備え、ここで、P、D、およびCは正整数であり、DはP以上であり、PはC以上である。換言すれば、P個のピクセル(複数可)の各群に対して、D個の光検出器(複数可)は、C個のアナログ変換器(複数可)に接続され、C個のアナログ変換器(複数可)は、次に1つの単一のADCに接続される。このスキームにおいて、Dは、Cに等しいとすることができ、それは、D個の光検出器(複数可)のそれぞれが、C個のアナログ変換器(複数可)のうちの1つのアナログ変換器にそれぞれ接続され得ることを意味する。代替的に、Dは、Cより大きいとすることができ、それは、D個の光検出器(複数可)のうちの少なくとも2つの光検出器が、C個のアナログ変換器(複数可)のうちの1つのアナログ変換器に接続され得ることを意味する。
【0032】
第2の例示的なスキームにおいて、P個のピクセル(複数可)の各群に対して、D個の光検出器(複数可)は、1つの単一の信号変換器に接続され、1つの単一の信号変換器は、特に、C個のアナログ変換器(複数可)、A個のアナログ増幅器(複数可)、および1つの単一のADCを備え、ここで、P、D、C、およびAは正整数であり、DはP以上であり、PはCおよびAの両方以上である。換言すれば、P個のピクセル(複数可)の各群に対して、D個の光検出器(複数可)は、C個のアナログ変換器(複数可)に接続され、C個のアナログ変換器(複数可)は、次に、A個のアナログ増幅器(複数可)に接続され、A個のアナログ増幅器(複数可)は、1つの単一のADCに最終的に接続される。このスキームにおいて、Dは、Cに等しいとすることができ、それは、D個の光検出器(複数可)のそれぞれが、C個のアナログ変換器(複数可)のうちの1つのアナログ変換器にそれぞれ接続され得ることを意味する。代替的に、Dは、Cより大きいとすることができ、それは、D個の光検出器(複数可)のうちの少なくとも2つの光検出器が、C個のアナログ変換器(複数可)のうちの1つのアナログ変換器に接続され得ることを意味する。さらに、Cは、Aに等しいとすることができ、それは、C個のアナログ変換器(複数可)のそれぞれが、A個のアナログ増幅器(複数可)のうちの1つのアナログ増幅器にそれぞれ接続され得ることを意味する。代替的に、Cは、Aより大きいとすることができ、それは、C個のアナログ変換器のうちの少なくとも2つのアナログ変換器がA個のアナログ増幅器(複数可)のうちの1つのアナログ増幅器に接続され得ることを意味する。最後に、Cは、Aより小さいとすることができ、それは、A個のアナログ増幅器(複数可)のうちの少なくとも2つのアナログ増幅器がC個のアナログ変換器(複数可)のうちの1つのアナログ変換器によって接続され得ることを意味する。
【0033】
複数のピクセルが1つの共通の信号変換器を共有する上記で述べた接続スキームの任意のスキームにおいて、1つの光検出器、1つの信号変換器、および1つのピクセルの間での効果的な対応に関して本明細書で説明する特徴は、特に、共通の信号変換器が時間多重化方法で複数のピクセルによって共有される場合、可能であればやはり適用されるとすることができる。
【0034】
さらに、イベントセンサは、ピクセルアレイ内のピクセルの読み出しを行い、1つまたは複数のピクセルイベントを生成するように構成される読み出しプロセッサを備える。ピクセルイベント(複数可)は、その後、イベントセンサによって作り出されたイベントデータの信号ストリームを構成する。この目的のために、読み出しプロセッサは、信号変換器に接続される。読み出しプロセッサは、ピクセルアレイの各ピクセルについて、サンプル値の1つまたは複数に基づいて、デジタルの累算されたピクセル値を導出するように構成され、累算されたピクセル値は、サンプリング間隔のサンプリングカウントにわたる検出器信号の累算または積分に対応する。読み出しプロセッサは、対応するピクセルについて、累算されたピクセル値およびサンプリングカウントに依存するイベントデータのピクセルイベントを生成するようにさらに構成される。
【0035】
サンプリングカウントは、検出器信号がその期間にわたって累算または積分されるサンプリング間隔または露出の数を記録する。換言すれば、サンプリングカウントは、累算内で、検出器信号のサンプリングが行われた回数または検出器信号がサンプリングされた回数を示す。サンプリングカウントが、累算されたピクセル値が、実際にそれに基づいて導出されるサンプル値の数に等しいまたは等しくないとすることができることが留意されるべきである。上記で述べたように、各サンプリング間隔で、信号変換器は、検出器信号の各サンプリングについて、サンプル値の1つまたは複数を作り出すことができる。さらに、累算されたピクセル値が、サンプリング間隔のサンプリングカウントにわたる検出器信号の累算の対応するデジタル表現であるが、累算は、アナログドメインで、すなわち、信号変換器のADCの前で起こることができ、デジタルドメインで、すなわち、信号変換器のADCの後で起こることができ、または、アナログドメインとデジタルドメインの両方からなるミクストドメインで、すなわち、信号変換器のADCの前と後の両方で起こることができる。各サンプリング間隔内での光検出器の露出および/または検出器信号のサンプリングが、技術的に累算の形態として既に考えられ得るが、本明細書で説明する累算が、別段に述べられない限り、1つのサンプリング間隔を超えてまたはそれの外側で起こる累算を特に指すことが留意されるべきである。
【0036】
考えられる1つの実施形態において、アナログドメイン累算、すなわち、純粋にアナログドメインで起こる累算に対応して、検出器信号は、サンプリング間隔のサンプリングカウントの間、信号変換器のアナログ変換器の内部で、特に、変換器メモリ内で連続的に累算または積分され得る。有利には、光検出器は、検出器信号として、特定のレートでの電荷を生成するPPDとすることができ、アナログ変換器は、浮遊拡散層が変換器メモリとして働くアクティブピクセル回路とすることができる。この場合、電荷は、複数のサンプリング間隔にわたって浮遊拡散層上で累算または積分することができる。
【0037】
アナログドメイン累算中に、読み出しプロセッサは、各サンプリング間隔で、信号変換器によって作り出されるサンプル値の1つまたは複数を読み取り、サンプリング間隔内でサンプル値(複数可)の平均として平均サンプル値を導出し、平均サンプル値を利用して、累算されたピクセル値を導出するか否かを決定することができる。この決定についての1つの条件は、平均サンプル値が、信号変換器の差し迫った飽和を示唆する、と読み出しプロセッサが決めるか否かであり得る。特に、信号変換器の差し迫った飽和は、平均サンプル値が所定のサンプル値閾値を超えることによって示唆され得る。差し迫った飽和が、平均サンプル値によって示唆されない場合、読み出しプロセッサは、検出器信号が、次のサンプリング間隔にわたって変換器メモリ内に累算し続けることを可能にし、したがって、平均サンプル値を利用して累算されたピクセル値を導出しないことを決定することができる。差し迫った飽和が平均サンプル値によって示唆されると、読み出しプロセッサは、平均サンプル値を利用して累算されたピクセル値を導出することを決定し、アナログ変換器、特に、変換器メモリをリセットすることを決定することもできる。この場合、差し迫った飽和を示唆する平均サンプル値は、累算されたピクセル値として読み出しプロセッサによって直接とられ得る、なぜなら、平均サンプル値が、既にアナログドメイン累算の結果であるからである。
【0038】
有利には、アナログドメイン累算中に電力を節約するために、1つのサンプリング間隔内の平均サンプル値が、十分に低く、例えば、別の所定のサンプル値閾値より低く、信号変換器が、依然として飽和するまでの道のりが遠いことを示唆する場合、読み出しプロセッサは、対応するADCをオフにする、および/または、サンプル値(複数可)を読み取ることをスキップするまたは省くことを決定することができ、平均サンプル値を導出し、検出器信号が、その間、変換器メモリ内において累算し続けることを可能にしながら、1つまたは複数の即座に続くサンプリング間隔(複数可)について差し迫った飽和をチェックする。
【0039】
代替のまたは追加の実施形態において、読み出しプロセッサは、累算されたピクセル値を導出するために、デジタルドメインにおいて、例えば、合計によって、既にアナログドメイン累算の結果である複数の平均サンプル値を結合することができる。この場合、累算は、ミクストドメイン累算として説明され得る、すなわち、累算は、ミクストドメインで、換言すれば、部分的にアナログドメインでおよび部分的にデジタルドメインで起こる。
【0040】
最後に、さらに別の代替の実施形態において、累算は、デジタルドメイン累算として説明され得る、すなわち、累算は、純粋にデジタルドメインで起こり、そのとき、それぞれが1つの単一のサンプリング間隔内で生成される検出器信号のみに対応する、すなわち、アナログドメイン累算の結果でない、複数の平均サンプル値が、デジタルドメインにおいて、例えば、合計によって結合されるて、累算されたピクセル値を導出することができる。この最終の代替の実施形態は、変換器メモリが、平均サンプル値の各導出後に、すなわち、各サンプリング間隔でリセットされる場合、変換器メモリの存在下で同様に実装され得る。
【0041】
累算は、サンプリングカウントが少なくとも2であるときに、累算アナログドメイン、デジタルドメイン、またはミクストドメインで起こるものとして現れるだけであり得ることが留意されるべきである。サンプリングカウントが1つだけであるとき、累算は、1つだけのサンプリング間隔にわたり、したがって、累算されたピクセル値は、1つだけの対応する平均サンプル値に基づいて導出される、すなわち、平均サンプル値は、累算されたピクセル値として読み出しプロセッサによって直接とられる。さらに、平均サンプル値が本明細書で述べられるときはいつでも、信号変換器が、各サンプリング間隔で1つだけの単一のサンプル値を作り出す場合、単一のサンプル値は、対応するサンプリング間隔内の平均サンプル値として読み出しプロセッサによって直接とられる。
【0042】
上記で述べたように、ピクセルアレイは、W個のピクセル列とH個のピクセル行で構成され得る。したがって、読み出しプロセッサは、W個の処理ブロックを備えることができ、処理ブロックのそれぞれは、W個のピクセル列のうちの1つのピクセル列を、一度に1つのピクセルで、処理するように構成される。換言すれば、各ピクセルの、サンプル値、平均サンプル値、累算されたピクセル値、および/またはサンプリングカウントに直接的にまたは間接的に基づいて読み出しプロセッサによって行われると本明細書で言われる任意の処理または動作は、実際には、対応する処理ブロックによって行われ得る。
【0043】
読み出しプロセッサが、正確にW個の処理ブロックからなるとき、各処理ブロックは、ピクセルアレイの1列内のH個のピクセルを処理することに専用とすることができる。この場合、読み出しプロセッサは、W個の処理ブロックの1行からなる。全ての処理ブロックが、並列に同時に処理することができるため、読み出しプロセッサは、ピクセルの1行を並列に同時に処理することができる。
【0044】
代替的に、読み出しプロセッサは、Wより大きい数の処理ブロック、特に、Wに整数を掛けた数の処理ブロック、例えば、Wの2倍、3倍、またはそれより大きい倍率(M倍)の処理ブロック、おそらくは、W個の列のM行で配置された、を有することができ、ここで、MはHより著しく小さい正整数である。この代替の場合、全てのM個の処理ブロックは、H個のピクセルの1列を処理することに専用とすることができる。換言すれば、H個のピクセルの各列は、M個の群に分割され得、各群は、ピクセルの対応する列に専用のM個の処理ブロックのうちの1つの処理ブロックによって処理される。全ての処理ブロックが並列に同時に処理することができるため、読み出しプロセッサは、ピクセルのM行を並列に同時に処理することができる。
【0045】
さらに別の代替法として、読み出しプロセッサは、Wより小さい数の処理ブロック、特に、Wを整数で割った数の処理ブロック、例えば、Wを2で割った数、Wを3で割った数、またはWをDで割った数の処理ブロック、おそらくは、WをDで割った数の列の1行で配置された、を有することができ、ここで、DはWより著しく小さい正整数である。この代替の場合、各処理ブロックは、ピクセルアレイのD個の対応する列内のD×Hピクセルを処理することに専用とすることができる。
【0046】
好ましい実施形態によれば、信号変換器に接続された読み出しプロセッサは:ピクセルアレイの各ピクセルについて、累算されたピクセル値をサンプリングカウントで割るという除算結果を算出し、対応するピクセルについて、除算結果に依存するピクセルイベントを生成するように構成される。除算結果は、サンプリング間隔のサンプリングカウントにわたる検出器信号の平均に対応するものと見なされ得る。生成されるピクセルイベントが、累算されたピクセル値およびサンプリングカウントまたは除算結果等の1つまたは複数のパラメータ(複数可)および/または値(複数可)に依存することは、ピクセルイベントが、入力変数(複数可)としてパラメータ(複数可)および/または値(複数可)の1つ、複数、または全てをとる少なくとも1つの関数の少なくとも1つの出力を含むことを意味することができる。例えば、ピクセルイベントは、除算結果に比例する値を含むことができる。代替的にまたは追加的に、ピクセルイベントは、パラメータ(複数可)および/または値(複数可)の1つ、複数、または全てによって影響を受ける場合がある。例えば、ピクセルイベントは、累算されたピクセル値が特定の条件を満たす場合、除算結果に線形に依存する値を含むことができる。
【0047】
さらなる好ましい実施形態によれば、イベントセンサは、マルチビットデジタルパラメータメモリをさらに備える。パラメータメモリは、読み出しプロセッサに接続され、ピクセルアレイの各ピクセルについて、対応するピクセルに関連するピクセルパラメータを記憶する。パラメータメモリは、1つの場所の物理的に1つのメモリデバイスであるかまたは複数の場所で複数のメモリデバイスにわたって分散されるとすることができる。これは好ましいオプションであるが、パラメータメモリは、ピクセルアレイがそうであるようにアレイで配置される必要はない。パラメータメモリは、特に、SRAM技術に基づくとすることができる。
【0048】
本明細書で説明する任意のパラメータまたは値の記憶が、そのパラメータまたは値が導出または作り出されるときの元の形態のパラメータまたは値を記憶することだけでなく、グレイコードあるいは入力変数としてパラメータまたは値をとる関数の出力等の、異なるエンコードされたまたはデコードされた形態でパラメータまたは値を記憶する可能性も包含することができることが留意されるべきである。例えば、2つのパラメータは、これらの2つのパラメータの合計および差の形態で記憶され得る。さらに、本明細書で説明する読み出しプロセッサによる任意のパラメータまたは値の読み取りは、必要である場合、自動変換またはデコーディングステップを包含することができる。
【0049】
考えられる1つの実施形態において、検出器信号のアナログドメイン累算に対応して、パラメータメモリは、ピクセルアレイの各ピクセルについて、サンプリングカウントを記憶するように構成される。この実施形態において、読み出しプロセッサは:サンプル値および/またはサンプリングカウントを読み取り、サンプリングカウントを更新し、サンプリングカウントを書き込み、累算されたピクセル値を導出するように構成される。
【0050】
サンプリングカウントは、累算の各サンプリング間隔について、サンプリングカウントを、特に、1などの定数だけインクリメントすることによって更新される。サンプリングカウントがインクリメンティングによって更新されることが、サンプリングカウントがフォワードカウントである、すなわち、サンプリングカウントが、サンプリング間隔の数が累算時に増加するにつれて増加することを意味することが留意されるべきである。サンプリングカウントがバックワードカウントとして実装される、すなわち、サンプリングカウントが、サンプリング間隔の数が累算時に増加するにつれて減少する場合、サンプリングカウントはデクリメンティングによって更新されることになる。機能的に、サンプリングカウントをバックワードカウントとして実装することは、サンプリングカウントをフォワードカウントとして実装することと同等であると考えられ得る。したがって、簡潔にするために、本明細書で説明するサンプリングカウントは、別段に述べない限り、フォワードカウントである。特に、サンプリングカウントは、1回の累算内で更新されるだけである。サンプリングカウントは、新しい累算のためにリセットまたはリスタートされ得る。
【0051】
累算内の各サンプリング間隔で、読み出しプロセッサは、信号変換器からサンプル値の1つまたは複数を読み取り、パラメータメモリからサンプリングカウントを読み取り、サンプリングカウントをそれに相応して更新し、その後、サンプリングカウントをパラメータメモリに書き込み戻す。累算されたピクセル値は、その後、累算の最後のサンプリング間隔内で、平均サンプル値、すなわち、サンプル値(複数可)の平均に基づいて導出される。有利には、電力を節約するために上記で説明したように、累算内の1つまたは複数のサンプリング間隔(複数可)で、読み出しプロセッサは、信号変換器からサンプル値(複数可)を読み取ることをスキップするまたは省くことができる。
【0052】
パラメータメモリを備える代替のまたは追加の実施形態によれば、検出器信号のデジタルドメインまたはミクストドメイン累算に対応して、パラメータメモリは、ピクセルアレイの各ピクセルについて、累算されたピクセル値およびサンプリングカウントを記憶するように構成される。この実施形態において、読み出しプロセッサは:サンプル値、累算されたピクセル値、および/またはサンプリングカウントを読み取り、累算されたピクセル値を更新し、サンプリングカウントを更新し、累算されたピクセル値および/またはサンプリングカウントを書き込むように構成される。
【0053】
アナログドメイン累算に対応する上記実施形態の場合と同様に、サンプリングカウントは、累算の各サンプリング間隔について、サンプリングカウントを、特に、1などの定数だけインクリメントすることによって更新される。しかしながら、ここで、累算されたピクセル値は、すなわち、累算の1つのサンプリング間隔内で、平均サンプル値、すなわち、サンプル値(複数可)の平均を累算されたピクセル値に加算することによって、同様に更新される。累算されたピクセル値が平均サンプル値を加算することによって更新されることが、累算されたピクセル値およびサンプル値が共に同じ符号である、すなわち、共に正であるかまたは共に負であることを意味することが留意されるべきである。累算されたピクセル値およびサンプル値が反対符号を有するように構成される、すなわち、一方が正であり他方が負である場合、累算されたピクセル値は、平均サンプル値を減算することによって更新されることになる。機能的に、それは、累算されたピクセル値およびサンプル値が、共に正であるように構成されても、共に負であるように構成されても、または反対符号であるように構成ように構成されても、同等であると考えられ得る。したがって、簡潔にするために、本明細書で説明する累算されたピクセル値およびサンプル値は、別段に述べられない限り共に正である。特に、サンプリングカウントおよび累算されたピクセル値は共に、1回の累算内で更新されるだけである。サンプリングカウントおよび累算されたピクセル値は共に、新しい累算についてリセットまたはリスタートされ得る。
【0054】
累算内の各サンプリング間隔で、読み出しプロセッサは、信号変換器からサンプル値の1つまたは複数を読み取り、パラメータメモリから累算されたピクセル値およびサンプリングカウントを読み取り、累算されたピクセル値およびサンプリングカウントをそれに相応して更新し、その後、累算されたピクセル値およびサンプリングカウントをパラメータメモリに書き込み戻すことができる。有利には、電力を節約するために上記で説明したように、累算内の1つまたは複数のサンプリング間隔(複数可)で、読み出しプロセッサは、信号変換器からサンプル値(複数可)を読み取ること、パラメータメモリから累算されたピクセル値を読み取ること、累算されたピクセル値を更新すること、および/または、累算されたピクセル値をパラメータメモリに書き込み戻すことをスキップするまたは省くことができる。
【0055】
パラメータメモリを備えるさらなる実施形態において、パラメータメモリは、代替的にまたは追加的に、ピクセルアレイの各ピクセルについて:前の累算されたピクセル値、前のサンプリングカウント、および/または前の累算されたピクセル値を前のサンプリングカウントで割るという前の除算結果を記憶するように構成され得る。前の累算されたピクセル値は、過去のまたは前の累算において導出された累算されたピクセル値の同一のコピーまたはレコードであるため、そのように名付けられる。一方、目下または現在の累算において導出される累算されたピクセル値は、現在の累算されたピクセル値または単に累算されたピクセル値として本明細書で呼ばれ得る。この命名法は、前のサンプリングカウント、前の除算結果、現在のサンプリングカウント、現在の除算結果、サンプリングカウント、および/または除算結果に対して本明細書で同様に適用される。これらの実施形態において、読み出しプロセッサは:前の累算されたピクセル値、前のサンプリングカウント、および/または前の除算結果を読み取り、対応するピクセルについて、除算結果および前の除算結果に基づいてピクセルイベントを生成するように構成される。ここで、読み出しプロセッサは:除算結果を算出し、パラメータメモリから前の除算結果を読み取り、ピクセルイベントを生成するための基礎として、除算結果と共に前の除算結果を使用するように構成され得る。代替的に、読み出しプロセッサは:除算結果を算出し、前の累算されたピクセル値および前のサンプリングカウントを読み取り、その後、前の除算結果を算出し、ピクセルイベントを生成するための基礎として、除算結果と共に前の除算結果を使用するように構成され得る。ピクセルイベントを生成すると、すなわち、ピクセルイベントが生成されると、読み出しプロセッサは、パラメータメモリに記憶された、前の累算されたピクセル値、前のサンプリングカウント、および/または前の除算結果を、対応するピクセルの、累算されたピクセル値、サンプリングカウント、および/または除算結果をそれぞれ用いて上書きするように構成され得る。
【0056】
有利には、除算結果および/または前の除算結果は(それぞれ)、サンプル値のそれより高いビット数またはより高いビット深度を含む。本明細書で説明する累算/オーバーサンプリングおよび平均化技法によって、除算結果および/または前の除算結果は、サンプル値のそれより高い有効ビット数(ENOB)、より高い有効ビット深度、またはより高いSNRを有する。除算結果および/または前の除算結果のENOBまたは有効ビット深度は、特に、信号変換器、すなわち、信号変換器のADCの公称ビット分解能より高い。これは、ピクセルイベントのより高いENOBまたは有効ビット深度に達しながら、ピクセルをコンパクトで低電力に維持するために特に有利である。
【0057】
好ましい実施形態において、読み出しプロセッサは、ピクセルアレイの各ピクセルについて、サンプリングカウントおよび/または前のサンプリングカウントに基づいて累算されたピクセル値閾値を決める、および/または、ピクセルアレイの各ピクセルについて、累算されたピクセル値および/または前の累算されたピクセル値に基づいてカウント閾値を決めるように構成される。換言すれば、サンプリングカウントおよび/または前のサンプリングカウントは累算されたピクセル値閾値を決めるために使用され得る、または、累算されたピクセル値および/または前の累算されたピクセル値はカウント閾値を決めるために使用され得る。累算されたピクセル値閾値およびカウント閾値を共に決めるオプションも存在する。読み出しプロセッサは:累算されたピクセル値および/または前の累算されたピクセル値を累算されたピクセル値閾値と比較し、および/または、サンプリングカウントおよび/または前のサンプリングカウントをカウント閾値と比較し、対応するピクセルについて、累算されたピクセル値および/または前の累算されたピクセル値が累算されたピクセル値閾値を超える、および/または、サンプリングカウントおよび/または前のサンプリングカウントがカウント閾値を超えるという条件で、すなわち、必要条件に基づいてピクセルイベントを生成するようにさらに構成される。換言すれば、累算されたピクセル値閾値および/またはカウント閾値が超えられるという必要条件は、ピクセルイベントを生成するための必要条件である。必要条件が満たされることは、1つの累算の終了を示すことでもありえる。本明細書で説明する累算が、1つの完全な累算または積分シーケンスまたはサイクルを行うことのプロセスとして理解されることが留意されるべきである。
【0058】
有利な実施形態において、読み出しプロセッサは、特に、ピクセルイベントを生成するための必要条件を満たすピクセルアレイの各ピクセルについて、サンプリングカウントに基づいて、前のサンプリングカウント、累算されたピクセル値、および/または前の累算されたピクセル値、以下のピクセル固有閾値(複数可):少なくとも1つの時間的コントラスト閾値、少なくとも1つの空間的コントラスト閾値、少なくとも1つの時間的差閾値、少なくとも1つの空間的差閾値、および/または、少なくとも1つの強度値閾値を決めるように構成される。特定の場合に、カウント閾値、累算されたピクセル値閾値、時間的コントラスト閾値(複数可)、空間的コントラスト閾値(複数可)、時間的差閾値(複数可)、空間的差閾値(複数可)、および/または、強度値閾値(複数可)が、一定である、すなわち、サンプリングカウント、前のサンプリングカウント、累算されたピクセル値、および/または前の累算されたピクセル値とは独立であるとすることができる可能性をこれらの実施形態および上記実施形態が包含することが留意されるべきである。
【0059】
さらなる好ましい実施形態において、読み出しプロセッサは、特に、ピクセルイベントを生成するための必要条件を満たすピクセルアレイの各ピクセルについて、以下のピクセル固有の値(複数可):時間的コントラスト、少なくとも1つの空間的コントラスト、時間的差、少なくとも1つの空間的差、および/または強度値を算出するように構成される。読み出しプロセッサは、対応するピクセルについて、時間的コントラストを時間的コントラスト閾値(複数可)と、空間的コントラスト(複数可)を空間的コントラスト閾値(複数可)と、時間的差を時間的差閾値(複数可)と、空間的差(複数可)を空間的差閾値(複数可)と、および/または、強度値を強度値閾値(複数可)と比較するという比較結果(複数可)に基づいてピクセルイベントを生成するようにさらに構成される。比較結果(複数可)は、特に、時間的コントラスト、空間的コントラスト(複数可)、時間的差、空間的差(複数可)、および/または強度値が、それらのそれぞれの閾値(複数可)に交差した、または、交差しなかったということであるとすることができる。特に、ピクセルイベントは、ピクセルの行アドレスおよび/または列アドレスからなるような、ピクセルアドレスまたはピクセル座標(複数可)を含むことができる。有利には、ピクセルイベントは、時間的コントラスト、空間的コントラスト(複数可)、時間的差、空間的差(複数可)、および/または強度値に依存する値をさらに含むことができる。例えば、ピクセルイベントは、ピクセルアドレスおよび係数によってスケーリングされた時間的コントラストを含むことができる。
【0060】
時間的コントラスト、空間的コントラスト(複数可)、時間的差、空間的差(複数可)、および/または強度値のそれぞれについて、1つの単一の閾値、あるいは、正閾値および負閾値または上側閾値および下側閾値等の、少なくとも2つの閾値がそれぞれ存在し得る。特に、正の時間的コントラスト閾値および負の時間的コントラスト閾値が存在し得、比較結果は、時間的コントラストが、正の時間的コントラスト閾値または負の時間的コントラスト閾値のいずれかに交差したまたは交差しなかったということであるとすることができる。同様に、正の空間的コントラスト閾値および負の空間的コントラスト閾値が存在し得、比較結果(複数可)は、空間的コントラスト(複数可)が、正の空間的コントラスト閾値または負の空間的コントラスト閾値のいずれかに交差したまたは交差しなかったということであるとすることができる。さらに、正の時間的差閾値および負の時間的差閾値が存在し得、比較結果は、時間的差が、正の時間的差閾値または負の時間的差閾値のいずれかに交差したまたは交差しなかったということであるとすることができる。同様に、正の空間的差閾値および負の空間的差閾値が存在し得、比較結果(複数可)は、空間的差(複数可)が、正の空間的差閾値または負の空間的差閾値のいずれかに交差したまたは交差しなかったということであるとすることができる。最後に、上側強度値閾値および下側強度値閾値が存在し得、比較結果は、強度値が、上側強度値閾値または下側強度値閾値のいずれかに交差したまたは交差しなかったということであるとすることができる。
【0061】
時間的コントラストは、除算結果と前の除算結果の商に基づいて算出され得る。これは、除算結果を前の除算結果で割ることによって、または、前の除算結果を除算結果で割ることによって、商を最初に算出し、その後、商の関数、特に、線形関数として時間的コントラストを算出することによって、時間的コントラストが算出され得ることを特に意味する。代替的に、時間的コントラストは、異なる方法で算出され、やはり商に依存し得る。好ましくは、時間的コントラストは、前の除算結果で割られた除算結果として算出され、その結果は、その後任意選択で、1によって減算され得る。そのため、時間的コントラストは、経時的に、対応するピクセルによって受信される入射光強度の相対的変化、より具体的には、過去の累算にわたる過去の平均入射光強度と目下の累算にわたる目下の平均入射光強度との間の相対的差を反映する。
【0062】
空間的コントラストは、除算結果と近傍除算結果の第2の商に基づいて算出され得る。近傍除算結果は、ピクセルの近傍に位置する近傍ピクセルに対応する。各ピクセルの近傍ピクセルは、そのピクセルから、1または2または3ピクセル内等、特定の距離または半径内のピクセルアレイ内に存在する別のピクセルを指すことができる。換言すれば、近傍除算結果は、近傍ピクセルに対応する、除算結果、またはおそらくは前の除算結果を指す。したがって、読み出しプロセッサの各処理ブロックは、近傍ピクセルに対応する近傍処理ブロックから近傍除算結果を読み取り、その後、空間的コントラストを算出するように構成され得る。例えば、各ピクセルの近傍ピクセルは、ピクセルの右側または左側のすぐそばにまたはすぐそばでないところに位置することができる。この例において、各ピクセルおよび対応する近傍ピクセルは、ピクセルアレイの同じ行内に位置する。上記実施形態のうちの1つの実施形態で説明したように、読み出しプロセッサは、処理ブロックの1行からなり、ピクセルの1行を並列に同時に処理するように構成され得る。この実施形態において、各処理ブロックの近傍処理ブロックは、処理ブロックの右側または左側のすぐそばにまたはすぐそばでないところに位置することもできる。第2の例として、各ピクセルの近傍ピクセルは、ピクセルのすぐそばにまたはすぐそばでないところに、ピクセルに直接的にまたは間接的に、ピクセルの上方にまたは下方に位置することができる。この第2の例において、各ピクセルおよび対応する近傍ピクセルは、ピクセルアレイの異なる行に位置する。有利には、上記実施形態のうちの別の実施形態で説明したように、読み出しプロセッサは、処理ブロックのM行からなり、ピクセルのM行を並列に同時に処理するように構成され得、ここで、Mは正整数である。この実施形態において、各処理ブロックの近傍処理ブロックは、処理ブロックのすぐそばにまたはすぐそばでないところに、処理ブロックに直接的にまたは間接的に、処理ブロックの上方にまたは下方に位置することができる。
【0063】
空間的コントラストは、特に、除算結果を近傍除算結果で割ることによって、または、近傍除算結果を除算結果で割ることによって、第2の商を最初に算出し、その後、第2の商の関数、特に、線形関数として空間的コントラストを算出することによって、算出され得る。代替的に、空間的コントラストは、異なる方法で算出され、やはり第2の商に依存し得る。好ましくは、空間的コントラストは、近傍除算結果で割られる除算結果として算出され、その結果は、その後任意選択で、1によって減算され得る。そのため、空間的コントラストは、近傍ピクセルからピクセルへの、空間にわたる入射光強度の相対的変化、より具体的には、近傍ピクセルによって受信される累算にわたる平均入射光強度と、ピクセルによって受信される累算にわたる平均入射光強度との間の相対的差を反映する。
【0064】
有利には、各ピクセルは、複数の対応する近傍ピクセルを有することができる。したがって、各処理ブロックは、複数の近傍処理ブロックから複数の近傍除算結果をそれぞれ読み取り、その後、複数の空間的コントラストをそれぞれ算出するように構成され得る。例えば、各ピクセルは、ピクセルの左または右に位置する第1の近傍ピクセル、および、ピクセルの上方または下方の第2の近傍ピクセルを有することができる。この例において、各処理ブロックは、2つの空間的コントラスト、ピクセルと第1の近傍ピクセルとの間の第1の空間的コントラスト、および、ピクセルと第2の近傍ピクセルとの間の第2の空間的コントラストを算出するように構成され得る。第1および第2の空間的コントラストは共に、上記で説明したのと同じ方法で算出される。
【0065】
時間的差は、除算結果と前の除算結果との間の差に基づいて算出され得る。これは、時間的差が、除算結果から前の除算結果を減算することによって、または、前の除算結果から除算結果を減算することによって、差を最初に算出し、その後、差の関数、特に、線形関数として時間的差を算出することによって、時間的差が算出され得ることを特に意味する。代替的に、時間的差は、異なる方法で算出され、やはり差に依存し得る。好ましくは、時間的差は、除算結果から前の除算結果を減算したものとして算出される。差が、おそらくは、除算結果を前の除算結果によって減算するという減算結果の絶対値であるとすることができることが留意されるべきである。そのため、時間的差は、経時的に、対応するピクセルによって受信される入射光強度の変化、より具体的には、過去の累算にわたる過去の平均入射光強度と目下の累算にわたる目下の平均入射光強度との間の差を反映する。
【0066】
空間的差は、除算結果と近傍除算結果との第2の差に基づいて算出され得る。これは、空間的差が、除算結果から近傍除算結果を減算することによって、または、近傍除算結果から除算結果を減算することによって、第2の差を最初に算出し、その後、第2の差の関数、特に、線形関数として空間的差を算出することによって、空間的差が算出され得ることを特に意味する。代替的に、空間的差は、異なる方法で算出され、やはり第2の差に依存し得る。好ましくは、空間的差は、近傍除算結果を減算した除算結果として算出される。第2の差が、おそらくは、除算結果を近傍除算結果によって減算するという減算結果の絶対値であるとすることができることが留意されるべきである。そのため、空間的差は、近傍ピクセルからピクセルへの、空間にわたる入射光強度の変化、より具体的には、近傍ピクセルによって受信される累算にわたる平均入射光強度と、ピクセルによって受信される累算にわたる平均入射光強度との間の差を反映する。
【0067】
有利には、上記で説明したように、各ピクセルは、複数の対応する近傍ピクセルを有することができる。したがって、各処理ブロックは、複数の近傍処理ブロックから複数の近傍除算結果をそれぞれ読み取り、その後、複数の空間的差をそれぞれ算出するように構成され得る。
【0068】
強度値は、除算結果および/または前の除算結果に基づいて算出され得る。強度値は、除算結果および/または前の除算結果の関数、特に線形関数として特に算出され得る。強度値は、特に、除算結果または前の除算結果と同一であるかまたはそれに比例し得る。好ましくは、強度値は、除算結果または前の除算結果と同一であるかまたはそれに等しいものとして算出される。そのため、強度値は、対応するピクセルによって受信される入射光強度、より具体的には、累算にわたる平均入射光強度を反映する。
【0069】
信号変換器がプログラム可能な利得を使用するさらなる実施形態において、読み出しプロセッサは、対応するピクセルの強度値を強度値閾値(複数可)と比較するという比較結果に基づいて、対応する利得メモリに記憶される利得コードを書き込むまたは更新することを介して、プログラム可能な利得をプログラムまたは再プログラムするようにさらに構成され得る。特に、読み出しプロセッサは、強度値が強度値閾値(複数可)のうちの1つの強度値閾値を下回る場合、利得コードを更新することを介してプログラム可能な利得を増加させることができる、および/または、強度値が強度値閾値(複数可)のうちの同じまたは別の強度値閾値を超える場合、利得コードを更新することを介してプログラム可能な利得を減少させることができる。この構成の主要な目的は:特に入射光強度が低いときにピクセルイベントのSNRを改善すること;および、入射光強度が高いときに、信号変換器、したがってピクセルイベントのダイナミックレンジを拡大することである。代替的に、読み出しプロセッサは、上記構成で説明したのと同様の方法で、サンプル値および/または平均サンプル値を1つまたは複数のサンプル値閾値(複数可)と比較するという比較結果に基づいて、対応する利得メモリに記憶される利得コードを書き込むまたは更新することを介して、プログラム可能な利得をプログラムまたは再プログラムするように構成され得る。この代替の構成は、上記構成と同じ目的を達成する。さらに、この代替の構成は、各累算中に、利得コードを更新すること、したがって、プログラム可能な利得を再プログラムすることを可能にする。
【0070】
有利な実施形態によれば、イベントセンサは、読み出しプロセッサに接続されたマルチビットデジタル閾値メモリをさらに備えることができる。閾値メモリは、ルックアップテーブルを記憶するように構成され得る。有利には、ルックアップテーブルのコンテンツは、較正を介して事前計算または生成され、ピクセルアレイの読み出し前に閾値メモリに事前記憶され、ピクセルアレイの読み出し中に更新され得る。
【0071】
ルックアップテーブルは、互いに関連する2つ以上の処理閾値の1つまたは複数の行またはタプルを含むことができ、各タプル内の処理閾値は:カウント閾値、累算されたピクセル値閾値、時間的コントラスト閾値(複数可)、空間的コントラスト閾値(複数可)、時間的差閾値(複数可)、空間的差閾値(複数可)、時間的差閾値(複数可)、空間的差閾値(複数可)、および/または強度値閾値である。換言すれば、ルックアップテーブルは、これらの処理閾値を含むタプル(複数可)で満たされ得る。ここで、処理閾値のタプル(複数可)は、ルックアップテーブルのコンテンツの編成を記述し、閾値メモリの物理的レイアウトを必ずしも記述するわけではない。読み出しプロセッサは、その後、ルックアップテーブルへの入力(複数可)に基づいてルックアップテーブルの出力(複数可)としてタプル(複数可)のうちの1つのタプルから処理閾値の1つ、複数、または全てを選択するように構成される。特に、ルックアップテーブルへの入力(複数可)は、対応するピクセルの、サンプリングカウント、前のサンプリングカウント、累算されたピクセル値、および/または前の累算されたピクセル値とすることができる。読み出しプロセッサは:ルックアップテーブルへの入力(複数可)をタプル(複数可)内のそれぞれの処理閾値(複数可)と比較し、1つの隣接するタプルを見出し、ルックアップテーブルの出力(複数可)として、隣接するタプル内の、処理閾値の1つ、複数、または全て、特に、それぞれの処理閾値(複数可)の他に他の処理閾値(複数可)の1つ、複数、または全てを選択するように構成され得る。特に、各タプル内で、サンプリングカウントおよび/または前のサンプリングカウントと比較されるそれぞれの処理閾値はカウント閾値とすることができる、および/または、累算されたピクセル値および/または前の累算されたピクセル値と比較されるそれぞれの処理閾値は累算されたピクセル値閾値とすることができる。
【0072】
特に、読み出しプロセッサは、ルックアップテーブルへの入力(複数可)をタプル(複数可)内のそれぞれの処理閾値(複数可)と比較し、それぞれの処理閾値(複数可)が、ルックアップテーブルへの入力(複数可)に隣接する、すなわち、すぐ上、すぐ下、または最も近い隣接するタプルを見出すことができる。例えば、ルックアップテーブルへの入力はサンプリングカウントとすることができる。読み出しプロセッサは、カウント閾値がサンプリングカウントのすぐ上にある隣接するタプルを見出すことができる。この例において、読み出しプロセッサは、その後、隣接するタプル内の他の処理閾値のうちの2つの処理閾値、例えば、累算されたピクセル値閾値および時間的コントラスト閾値をルックアップテーブルの出力として選択することができる。本明細書で記述される表現(複数可)「に隣接(adjacent to)」する、「すぐ上に(immediately above)」ある、「すぐ下(immediately below)」にある、および/または「に最も近い(the closest to)」という表現が、等しいという可能性を包含することができることが留意されるべきである。
【0073】
代替的にまたは追加的に、ルックアップテーブルは、互いに関連する処理閾値の2つ以上の行またはタプルを含むことができ、読み出しプロセッサは:2つ以上の隣接および/または近接するタプルを見出し、隣接および/または近接するタプルに基づいてルックアップテーブルの出力(複数可)を内挿およびまたは外挿するように構成され得る。
【0074】
特に、読み出しプロセッサは、ルックアップテーブルへの入力(複数可)をタプル(複数可)内のそれぞれの処理閾値(複数可)と比較し、それぞれの処理閾値(複数可)が、ルックアップテーブルへの入力(複数可)に隣接および/または近接する、すなわち、すぐ上、すぐ下、最も近い、すぐ上ではないが近い、および/またはすぐ下ではないが近い隣接および/または近接するタプルを見出すことができる。例えば、ルックアップテーブルへの入力はサンプリングカウントとすることができ、読み出しプロセッサは、2つの隣接および/または近接するタプルを見出すことができ、それらのタプルの一方において、カウント閾値はサンプリングカウントのすぐ下にあり、それらのタプルの他方において、カウント閾値はサンプリングカウントのすぐ上にある。この例において、読み出しプロセッサは、その後、2つの隣接および/または近接するタプル内の累算されたピクセル値閾値および時間的コントラスト閾値に基づいて、ルックアップテーブルの出力として累算されたピクセル値閾値および時間的コントラスト閾値を内挿することができる。ルックアップテーブルへの入力がやはりサンプリングカウントであり得る代替の例として、読み出しプロセッサは、2つの隣接および/または近接するタプルを見出すことができ、それらのタプルの一方において、カウント閾値はサンプリングカウントのすぐ下にあり、それらのタプルの他方において、カウント閾値はサンプリングカウントに近接するがすぐ下にない。この代替の例において、読み出しプロセッサは、その後、2つの隣接および/または近接するタプル内の累算されたピクセル値閾値および時間的コントラスト閾値に基づいて、ルックアップテーブルの出力として累算されたピクセル値閾値および時間的コントラスト閾値を外挿することができる。
【0075】
そのため、読み出しプロセッサは、考えられる以下の方法(複数可):対応するピクセルの、サンプリングカウント、前のサンプリングカウント、累算されたピクセル値、および/または前の累算されたピクセル値をルックアップテーブル内のそれぞれの処理閾値(複数可)と比較して、隣接するタプルを見出し、その後、隣接するタプルから、カウント閾値、累算されたピクセル値閾値、時間的コントラスト閾値(複数可)、空間的コントラスト閾値(複数可)、時間的差閾値(複数可)、空間的差閾値(複数可)、および/または、強度値閾値(複数可)を選択することによって;および/または、対応するピクセルの、サンプリングカウント、前のサンプリングカウント、累算されたピクセル値、および/または前の累算されたピクセル値をルックアップテーブル内のそれぞれの処理閾値(複数可)と比較して、2つ以上の隣接および/または近接するタプルを見出し、その後、2つ以上の隣接および/または近接するタプルに基づいて、カウント閾値、累算されたピクセル値閾値、時間的コントラスト閾値(複数可)、空間的コントラスト閾値(複数可)、時間的差閾値(複数可)、空間的差閾値(複数可)、および/または、強度値閾値(複数可)を内挿または外挿することによって、カウント閾値、累算されたピクセル値閾値、時間的コントラスト閾値(複数可)、空間的コントラスト閾値(複数可)、時間的差閾値(複数可)、空間的差閾値(複数可)、および/または、強度値閾値(複数可)を選択するまたは決めるように構成される。
【0076】
ルックアップテーブルが2つ以上のタプルを含む実施形態において、好ましくは、ルックアップテーブル内のタプルの任意の対について:より低いカウント閾値を有するタプルは、より高い累算されたピクセル値閾値、時間的コントラスト閾値(複数可)のより小さい絶対値(複数可)、空間的コントラスト閾値(複数可)のより小さい絶対値(複数可)、時間的差閾値(複数可)のより大きい絶対値(複数可)、および/または空間的差閾値(複数可)のより大きい絶対値(複数可)を含み;より高いカウント閾値を有するタプルは、より低い累算されたピクセル値閾値、時間的コントラスト閾値(複数可)のより大きい絶対値(複数可)、空間的コントラスト閾値(複数可)のより大きい絶対値(複数可)、時間的差閾値(複数可)のより小さい絶対値(複数可)、および/または空間的差閾値(複数可)のより小さい絶対値(複数可)を含む。したがって、例えば、ルックアップテーブルへの入力がサンプリングカウントであり、ルックアップテーブルの出力が累算されたピクセル値閾値および時間的コントラスト閾値(複数可)である場合、読み出しプロセッサによって選択または決められる累算されたピクセル値閾値は、SNRと時間分解能との間の最適トレードオフを見出すという目的で、サンプリングカウントが増加するにつれて下がる。同様に、時間的コントラスト閾値(複数可)の絶対値(複数可)は、ノイズピクセルイベントを生成することを防止するために、サンプリングカウントが増加するにつれて増加する。
【0077】
代替的にまたは追加的に、閾値メモリは、1つまたは複数の閾値関数(複数可)について1つまたは複数の係数(複数可)またはパラメータ(複数可)を記憶するように構成され得、閾値関数(複数可)は、閾値関数(複数可)の1つまたは複数の入力(複数可)を閾値関数(複数可)の1つまたは複数の出力(複数可)にマッピングする。閾値関数(複数可)の入力(複数可)は:サンプリングカウント、前のサンプリングカウント、累算されたピクセル値、および/または前の累算されたピクセル値である。閾値関数(複数可)の出力(複数可)は:カウント閾値、累算されたピクセル値閾値、時間的コントラスト閾値(複数可)、空間的コントラスト閾値(複数可)、時間的差閾値(複数可)、空間的差閾値(複数可)、および/または、強度値閾値(複数可)である。この場合、読み出しプロセッサは、閾値関数(複数可)を使用して、サンプリングカウント、前のサンプリングカウント、累算されたピクセル値、および/または前の累算されたピクセル値からカウント閾値、累算されたピクセル値閾値、時間的コントラスト閾値(複数可)、空間的コントラスト閾値(複数可)、時間的差閾値(複数可)、空間的差閾値(複数可)、および/または、強度値閾値(複数可)を導出するように構成され得る。
【0078】
上記閾値関数(複数可)を備えるさらに有利な実施形態において、時間的コントラスト閾値(複数可)は、正の時間的コントラスト閾値、負の時間的コントラスト閾値、および/または絶対時間的コントラスト閾値を含み;空間的コントラスト閾値(複数可)は、正の空間的コントラスト閾値、負の空間的コントラスト閾値、および/または絶対空間的コントラスト閾値を含み;時間的差閾値(複数可)は、正の時間的差閾値、負の時間的差閾値、および/または絶対時間的差閾値を含み;および/または、空間的差閾値(複数可)は、正の空間的差閾値、負の空間的差閾値、および/または絶対空間的差閾値を含む。この場合、閾値関数(複数可)は、以下の特性(複数可)を満たすことができる:サンプリングカウントおよび/または前のサンプリングカウントを累算されたピクセル値閾値にマッピングする閾値関数(複数可)は単調減少し;累算されたピクセル値および/または前の累算されたピクセル値をカウント閾値にマッピングする閾値関数(複数可)は単調減少し;サンプリングカウントおよび/または前のサンプリングカウントを正の時間的コントラスト閾値、絶対時間的コントラスト閾値、正の空間的コントラスト閾値、および/または絶対空間的コントラスト閾値にマッピングする閾値関数(複数可)は単調増加し;サンプリングカウントおよび/または前のサンプリングカウントを負の時間的コントラスト閾値および/または負の空間的コントラスト閾値にマッピングする閾値関数(複数可)は単調減少し;累算されたピクセル値および/または前の累算されたピクセル値を正の時間的コントラスト閾値、絶対時間的コントラスト閾値、正の空間的コントラスト閾値、および/または絶対空間的コントラスト閾値にマッピングする閾値関数(複数可)は単調減少し;累算されたピクセル値および/または前の累算されたピクセル値を負の時間的コントラスト閾値および/または負の空間的コントラスト閾値にマッピングする閾値関数(複数可)は単調増加し;サンプリングカウントおよび/または前のサンプリングカウントを正の時間的差閾値、絶対時間的差閾値、正の空間的差閾値、および/または絶対空間的差閾値にマッピングする閾値関数(複数可)は単調減少し;サンプリングカウントおよび/または前のサンプリングカウントを負の時間的差閾値および/または負の空間的差閾値にマッピングする閾値関数(複数可)は単調増加し;累算されたピクセル値および/または前の累算されたピクセル値を正の時間的差閾値、絶対時間的差閾値、正の空間的差閾値、および/または絶対空間的差閾値にマッピングする閾値関数(複数可)は単調増加し;および/または、累算されたピクセル値および/または前の累算されたピクセル値を負の時間的差閾値および/または負の空間的差閾値にマッピングする閾値関数(複数可)は単調減少する。有利には、本明細書で記述される表現(複数可)「単調増加する(monotonically increasing)」および/または「単調減少する(monotonically decreasing)」は、特に、厳密に(strictly)増加することおよび/または厳密に減少することをそれぞれ指すことができる。
【0079】
ルックアップテーブルおよび/または閾値関数(複数可)の上記で述べた特性(複数可)のゆえに、それぞれの累算(複数可)の終了における累算されたピクセル値および/または前の累算されたピクセル値は、それぞれの累算(複数可)にわたる対応するピクセルの平均入射光強度が増加するにつれて、(ほぼ)増加することができ;一方、それぞれの累算(複数可)の終了におけるサンプリングカウントおよび/または前のサンプリングカウントは、それぞれの累算(複数可)にわたる対応するピクセルの平均入射光強度が増加するにつれて、(ほぼ)減少することができる。換言すれば、累算されたピクセル値、前の累算されたピクセル値、サンプリングカウント、および/または前のサンプリングカウントは、それぞれの累算(複数可)にわたる対応するピクセルの平均入射光強度を線形にまたは非線形に(ほぼ)反映することができる。ここで、表現「(ほぼ)増加する((approximately) increase)」、「(ほぼ)減少する((approximately) decrease)」、および「(ほぼ)反映する((approximately) reflect)」は:単調増加する、単調減少する、したがって、正確に示す;あるいは、単調増加する最良適合のラインまたは曲線に追従する、単調減少する最良適合のラインまたは曲線に追従する、したがって、近似的に示す、のいずれかをそれぞれ意味することができる。したがって、除算結果、前の除算結果、および/または近傍除算結果を含む本明細書で説明する実施形態において、除算結果、前の除算結果、および/または近傍除算結果のいずれの使用も、それぞれの累算(複数可)の終了におけるピクセルおよび/または近傍ピクセルの、累算されたピクセル値、前の累算されたピクセル値、サンプリングカウントおよび/または前のサンプリングカウントの適切な使用によって、可能である場合、代替的に置換され得る。例えば、強度値は、累算の終了時に、サンプリングカウントによって減算された定数の値として、代替的に算出または近似され得る。ここで、定数は、特に、サンプリングカウントの考えられる最大値とすることができる。さらに、強度値が、累算にわたる平均入射光強度をほぼ対数的に反映することをそのような算出がもたらす場合、時間的コントラストは、サンプリングカウントと前のサンプリングカウントとの間の差に基づいて代替的に近似され得る、同様に、空間的コントラストは、ピクセルおよび近傍ピクセルにそれぞれ対応するサンプリングカウント(複数可)および/または前のサンプリングカウント(複数可)の間の差に基づいて代替的に近似され得る。
【0080】
有利には、パラメータメモリは、ピクセルアレイの各ピクセルまたはピクセルの群について、処理オプションパラメータをさらに記憶するように構成される。この実施形態において、読み出しプロセッサは、対応するピクセルの処理オプションパラメータに従ってピクセルイベントを生成するように構成され得る。特に、処理オプションパラメータによって決められると、読み出しプロセッサは、2つ以上の処理オプションから選択される1つの処理オプションを行うように構成され得る。2つ以上の処理オプションは、イベント検出と呼ばれる1つの処理オプションを特に含むことができ、イベント検出は、対応するピクセルの、時間的コントラスト閾値(複数可)、空間的コントラスト閾値(複数可)、時間的差閾値(複数可)、空間的差閾値(複数可)、および/または、強度値閾値(複数可)に特に依存する、ピクセルイベントを生成するために読み出しプロセッサによって行われる上記で述べた処理/動作を指す。
【0081】
2つ以上の処理オプションは、フレーム取り込みと呼ばれる別の処理オプションを特に含むことができ、フレーム取り込みは、時間的コントラスト閾値(複数可)、空間的コントラスト閾値(複数可)、時間的差閾値(複数可)、空間的差閾値(複数可)、および/または、強度値閾値(複数可)とは独立して強度値が算出され出力されるように特に修正される強度値を算出し出力するために、読み出しプロセッサによって行われる上記で述べた処理/動作の修正されたサブセットを指す。フレーム取り込みのために指定されたピクセルからの出力された強度値は、集合的にフレームデータと呼ばれ得る。したがって、処理オプションパラメータは、イベント検出が行われるか否か、または、フレーム取り込みが、対応するピクセルについて読み出しプロセッサによって達成されるか否かを決めることができる。
【0082】
さらに、パラメータメモリは、処理オプションパラメータが、ピクセルアレイの読み出し前に事前構成され事前記憶され、ピクセルアレイの読み出し中に更新され得るように構成される。換言すれば、第1のサンプリング間隔で、ピクセルアレイ内のピクセルの第1のサブセットは、第1の処理オプションのために指定され得、一方、ピクセルアレイ内のピクセルの第2のサブセットは、第2の処理オプションのために指定され得る、等であり;第2のサンプリング間隔で、ピクセルアレイ内のピクセルの第1のサブセットは、第2の処理オプションのために指定され得、一方、ピクセルアレイ内のピクセルの第2のサブセットは、第1の処理オプションのために指定され得る、等である。ここで、ピクセルアレイ内のピクセルの3つ以上のサブセットを有し、処理オプションパラメータによって決められる3つ以上の処理オプションを有することが可能である。
【0083】
有利には、読み出しプロセッサは:累算されたピクセル値および/または前の累算されたピクセル値からサンプルベースラインまたはオフセット補償子(compensator)を減算することによって、サンプル値のベースラインまたはオフセットを補償するように構成され、なお、サンプルベースラインは、信号変換器によって作り出され、またはオフセット補償子は、ピクセルアレイの各ピクセルについてパラメータメモリに記憶され;および/または、サンプル値、平均サンプル値、累算されたピクセル値、および/または前の累算されたピクセル値に正規化係数を掛けることによってサンプル値、平均サンプル値、累算されたピクセル値、および/または前の累算されたピクセル値を正規化するように構成され、なお、正規化係数は、利得不整合修正子(corrector)および/または利得コード、すなわち、利得コードに関連するプログラム可能な利得に基づいて読み出しプロセッサによって導出され、利得不整合修正子は、ピクセルアレイの各ピクセルについてパラメータメモリに記憶される。
【0084】
サンプルベースラインは、アナログ変換器、特に変換器メモリのリセットに続いて、および検出器信号をサンプリングすることなく、信号変換器によって作り出され得る。換言すれば、読み出しプロセッサは、アナログ変換器のリセットに続いて対応するピクセルからサンプルベースラインを読み取るように構成され得る。有利には、アナログ変換器がアクティブピクセル回路を使用する場合、サンプルベースラインは、変換器メモリのリセットによって導入されるオフセットとサーマルノイズの組み合わせ(combination)を反映する。したがって、サンプルベースラインは、サンプル値内のオフセットおよびサーマルノイズを共に低減するためにCDSの使用をサポートする。さらに、平均サンプル値を導出することを可能にするために、信号変換器が、1つのサンプリング間隔内で複数のサンプル値を作り出すことができる方法と同様に、サンプルベースラインの代わりに使用され得る平均サンプルベースラインを導出することを可能にするために、信号変換器は、アナログ変換器の1回のリセットに続いて複数のサンプルベースラインを作り出すこともできる。平均サンプルベースラインを導出し使用する目的は、信号変換器によって寄与される時間的ノイズを低減することである。代替的に、ピクセルアレイの各ピクセルについてのオフセット補償子は、較正を介して導出され、パラメータメモリに事前記憶され得る。換言すれば、読み出しプロセッサは、パラメータメモリから対応するオフセット補償子を読み取るように構成され得る。オフセット補償子は、オフセットの低減をサポートするが、サンプル値内のサーマルノイズの低減をサポートしない。
【0085】
正規化係数は、利得不整合修正子に依存し得る。利得不整合修正子は、ピクセルごとの変換利得の変動等の製造プロセス変動によって導入されるサンプル値内のピクセル間利得不整合を補償することを目標とする。ピクセルアレイの各ピクセルについての利得不整合修正子は、較正を介して導出され、パラメータメモリに事前記憶され得る。換言すれば、読み出しプロセッサは、パラメータメモリから対応する利得不整合修正子を読み取り、その後、利得不整合修正子に基づいて正規化係数を導出するように構成され得る。正規化係数は、利得不整合修正子に依存する、特に線形に依存する、または比例し得る。好ましくは、正規化係数は利得不整合修正子と同一または等しいとすることができる。
【0086】
信号変換器がプログラム可能な利得を使用する有利な実施形態において、正規化係数は、対応するピクセルの、利得不整合修正子および/または利得コードに関連するプログラム可能な利得に依存し得る。換言すれば、読み出しプロセッサは、パラメータメモリから対応する利得不整合修正子を読み取り、対応するピクセルの利得メモリから利得コードを読み取り、その後、利得不整合修正子および/または利得コードに基づいて正規化係数を導出するように構成され得る。上記で説明したように、正規化係数は、利得不整合修正子に依存する、特に線形に依存する、または比例し得る。一方、正規化係数は、対応するピクセルの利得コードに関連するプログラム可能な利得に依存する、特に反比例し得る。好ましくは、正規化係数は、対応するピクセルの利得コードに関連するプログラム可能な利得で割られた、対応する利得不整合修正子に依存する、特に線形に依存する、または比例し得る。各ピクセルについて、異なる利得コードが異なる利得不整合修正子に対応することができることが留意されるべきである。したがって、有利には、パラメータメモリは、プログラム可能な利得を使用するピクセルアレイの各ピクセルについて、1つまたは複数の利得不整合修正子(複数可)を記憶することができる。読み出しプロセッサは、その後、正規化係数を導出するために対応するピクセルの利得コードに従って対応する利得不整合修正子を選択するように構成される。
【0087】
さらに、各累算内で、サンプル値(複数可)が、同じ利得コードを使用して作り出される場合、読み出しプロセッサは、累算されたピクセル値および/または前の累算されたピクセル値に、対応する正規化係数を掛けることによって、累算されたピクセル値および/または前の累算されたピクセル値を正規化するように構成され得る。しかしながら、各累算内で、サンプル値(複数可)が、異なる利得コードを使用して作り出される場合、読み出しプロセッサは、累算されたピクセル値および/または前の累算されたピクセル値を導出する前に、サンプル値および/または平均サンプル値にそれぞれの正規化係数を掛けることによって、サンプル値および/または平均サンプル値を正規化するように構成され得る。
【0088】
有利には、読み出しプロセッサは、累算されたピクセル値および/または前の累算されたピクセル値が、累算されたピクセル値閾値と比較される、および/または、サンプリングカウントおよび/または前のサンプリングカウントで(それぞれ)割られる前に、累算されたピクセル値および/または前の累算されたピクセル値を正規化するように構成される。前の累算されたピクセル値がパラメータメモリに記憶される実施形態において、前の累算されたピクセル値は、好ましくは、パラメータメモリに記憶される前に正規化される。最後に、アナログドメイン累算を実装する実施形態において、読み出しプロセッサは、サンプル値および/または平均サンプル値をサンプル値閾値(複数可)と比較する前にサンプル値および/または平均サンプル値を正規化するように構成され得る。
【0089】
1つの好ましい実施形態において、読み出しプロセッサは、累算されたピクセル値、前の累算されたピクセル値、除算結果、および/または前の除算結果が読み出しプロセッサによって出力され得る1つの呼び出し較正(called calibration)を、処理オプションが含むように構成される。ピクセルアレイ内の、1つのピクセル、ピクセルのサブセット、または全てのピクセルが較正のために指定されるときに行われる較正プロセス中に、対応する1つまたは複数のピクセルのピクセルパラメータの1つまたは複数は、イベントセンサの最適性能のために導出および/または調整され得る。特に、ピクセルアレイの各ピクセルについてのオフセット補償子および/または利得不整合修正子は、較正プロセス中に導出および/または調整され得る。較正プロセス中に、ピクセルアレイまたはピクセルアレイの或る領域は、1つまたは複数の知られている均一な照明レベル(複数可)に露出され得、累算されたピクセル値、前の累算されたピクセル値、除算結果、および/または前の除算結果は、その後、読み出しプロセッサによって外部デバイスに送信され、各ピクセルについて、種々のピクセルパラメータ、特に、オフセット補償子および/または利得不整合修正子を導出および/または調整するために外部デバイスによって利用され得る。さらに、外部デバイスは、累算されたピクセル値、前の累算されたピクセル値、除算結果、および/または前の除算結果内の時間的ノイズまたはそれらのSNRを測定し、その後、測定された時間的ノイズまたはSNRに基づいて、ルックアップテーブル内の処理閾値の1つ、複数、または全て、および/または閾値関数(複数可)のための係数(複数可)またはパラメータ(複数可)の1つ、複数、または全てを事前計算または生成することができる。外部デバイスは、本明細書で説明したイベントセンサの一部でないとすることができるが、外部デバイスは、イベントセンサが組み込まれるデバイス/システムの一部であるとすることができるであろう、および/または、イベントセンサと同じ集積回路チップ上におよび/またはイベントセンサと同じパッケージ内にさらに配置され得る。
【0090】
有利な実施形態によれば、光検出器のアレイおよび信号変換器の対応するアレイは共に、ピクセルアレイとして規定され得る共同の物理的領域または容積を構成する。換言すれば、ピクセルアレイは、光検出器のアレイおよび信号変換器のアレイを備えるものとして規定され得る。一方、読み出しプロセッサ、パラメータメモリ、および/または閾値メモリは、ピクセルアレイの外側の他の領域または容積内に配置され得る。本明細書において、表現「領域(region)」は、特に、2次元または平面集積回路チップ上の2次元エリアを指し、表現「容積(volume)」は、3次元または積層集積回路チップ内の3次元空間を指す。
【0091】
ピクセルアレイ、読み出しプロセッサ、パラメータメモリ、および閾値メモリが全て、同じダイ上に物理的に配置されるように、イベントセンサを単一の半導体ダイ上に製造することが可能である。しかしながら、このイベントセンサを2つの積層式ダイの構造を使用して製造することがより有利とすることができ、ピクセルアレイの一部はセンサダイ上に製造され、ピクセルアレイの残りの部分、読み出しプロセッサ、パラメータメモリ、および閾値メモリはロジックダイ上に製造され、センサダイは、ロジックダイの上部に積層され接合される。ここで、センサダイ上のピクセルアレイの一部は、特に、光検出器のアレイ、および、アナログ変換器のアレイ等の信号変換器のアレイの一部を備えることができ;ロジックダイ上のピクセルアレイの残りの部分は、特に、ADCのアレイ等の信号変換器のアレイの残りの部分、および、おそらくはアナログ増幅器のアレイを備えることができる。さらに、3つの積層式ダイの構造を利用することがさらにより有利であり得、例えば:第1のダイは、光検出器のアレイおよびアナログ変換器のアレイを担持し;第2のダイは、ADCのアレイ、おそらくはアナログ増幅器のアレイおよび読み出しプロセッサを担持し;第3のダイは、パラメータメモリおよび閾値メモリを担持する。
【0092】
本発明のさらなる態様によれば、ピクセルのピクセルアレイ(10)上に入射する光に反応してイベントデータの信号ストリームを作り出すための方法が提供される。方法は、各ピクセルまたはピクセルの群について行われる以下のステップ:
- ピクセル上に入射する光に反応して検出器信号を作り出すステップと;
- サンプリング間隔でサンプリングされた検出器信号に依存するデジタルサンプル値を反復して作り出し記憶するステップと;
- サンプル値の1つまたは複数に基づいて、デジタルの累算されたピクセル値を導出するステップであって、累算されたピクセル値が、サンプリング間隔のサンプリングカウントにわたる検出器信号の累算に対応する、ステップと;
- 累算されたピクセル値およびサンプリングカウントに依存するイベントデータのピクセルイベントを生成するステップと
を含む。
【0093】
イベントセンサに関連して本明細書で説明する任意の特徴および利点は、方法に対して類似して適用されることもできる。
【0094】
本発明の実施形態のいくつかの例は、添付の概略的図面を参照して以下の説明においてより詳細に説明される。
【図面の簡単な説明】
【0095】
【
図1A】3つの異なる実施形態のうちの1つの実施形態による、1つのピクセルのブロックダイヤグラムである。
【
図1B】3つの異なる実施形態のうちの1つの実施形態による、ピクセルの群のブロックダイヤグラムである。
【
図1C】3つの異なる実施形態のうちの1つの実施形態による、ピクセルの群のブロックダイヤグラムである。
【
図2】光検出器に接続されたアナログ変換器の特定の実施形態の回路ダイヤグラムである。
【
図3】アナログ-デジタル変換器(ADC)の特定の実施形態のブロックダイヤグラムである。
【
図4】好ましい実施形態によるイベントセンサ全体のブロックダイヤグラムである。
【
図5】好ましい実施形態によるサンプルベースラインを処理するために読み出しプロセッサによって行われる処理ステップのフローチャートである。
【
図6A】2つの好ましい実施形態のうちの1つの実施形態によるサンプル値を処理するために読み出しプロセッサによって行われる処理ステップのフローチャートである。
【
図6B】2つの好ましい実施形態のうちの1つの実施形態によるサンプル値を処理するために読み出しプロセッサによって行われる処理ステップのフローチャートである。
【
図7】好ましい実施形態によるイベント検出のために読み出しプロセッサによって行われる処理ステップのフローチャートである。
【
図8】好ましい実施形態によるフレーム取り込みのために読み出しプロセッサによって行われる処理ステップのフローチャートである。
【
図9】代替の実施形態によるフレーム取り込みのために読み出しプロセッサによって行われる処理ステップのフローチャートである。
【
図10】好ましい実施形態によるスタンドバイのために読み出しプロセッサによって行われる処理ステップのフローチャートである。
【
図11】好ましい実施形態による較正のために読み出しプロセッサによって行われる処理ステップのフローチャートである。
【
図12】代替の実施形態による較正のために読み出しプロセッサによって行われる処理ステップのフローチャートである。
【発明を実施するための形態】
【0096】
図1A、1B、および1Cはそれぞれ、ピクセルアレイ内のピクセルについて光検出器1および信号変換器2を接続する異なる実施形態のブロックダイヤグラムを示す。これらの3つの実施形態において、ピクセルアレイの各ピクセルは、光子を電子に変換する、正確に1つの光検出器1、すなわちフォトダイオード1を備える。他の有利な実施形態は、複数の光検出器が1つの単一のピクセルに関連することを予見することができる。フォトダイオード1は、信号変換器2に接続され、信号変換器2は、アナログ変換器21、ここでは、電荷-電圧変換器または電子-電圧(e/V)変換器21およびアナログ-デジタル変換器(ADC)23を備える。他の有利な実施形態は、信号変換器が、さらに、プログラム可能な利得を実装する、および/または、アナログ増幅器を備えることを予見することができる。
【0097】
図1Aに示す1つの考えられる実施形態によれば、フォトダイオード1の他に、各ピクセルは、1つのピクセル固有e/V変換器21およびサンプルメモリ25を有する1つのピクセル固有ADC23を備える。
図1Bに示す別の考えられる実施形態によれば、2個または2×2個のピクセル等のピクセルの群は、1つの共通のe/V変換器21および1つの共通のADC23を共有する。この実施形態において、e/V変換器21は、時間多重化を介して、ピクセルの群内の光フォトダイオード1の1つまたは複数をe/V変換器21に選択的に接続するスイッチング素子を含むことができる。
図1Cに示すさらに別の考えられる実施形態によれば、2個または2×2個のピクセル等のピクセルのより小さい群は、1つの共通のe/V変換器21を共有することができ、ピクセルのより小さい群を含む、4個または4×4個のピクセル等のピクセルのより大きい群は、1つの共通のADC23を共有することができる。換言すれば、ピクセルのより大きい群内で、2個または2×2個のe/V変換器21等のe/V変換器21の群は、1つの共通のADC23を共有することができる。ここで、e/V変換器21および/またはADC23は、時間多重化を介して、ピクセルのより小さい群内のフォトダイオード1の1つまたは複数をe/V変換器21に、および/または、ピクセルのより大きい群内のe/V変換器21の1つをADC23に選択的に接続するスイッチング素子を含むことができる。
【0098】
ピクセル設計を実装する幾つかの方法が存在する。有利な例として、
図2に示す5トランジスタ(5T)アクティブピクセル回路21は、e/V変換器21として使用される。ここで、PDRSTをハイからローに切り換えることは、光検出器1の露出を開始し、光検出器1は、この場合、特に、ピン留めフォトダイオード(PPD)とすることができ;TXをローからハイに切り換えることは、PPD1から、変換器メモリ22として働く浮遊拡散層22への電荷移動を開始させ;TXをハイからローに切り換えることは、電荷移動、したがって、露出も終了させ、それは、PPDによって生成される検出器信号の1回のサンプリングの終了と見なされ得;浮遊拡散層22は、PDRSTをハイに切り換えることによってリセットされ得;最後に、SELをハイに切り換えることは、e/V変換器出力Vが、典型的には、ソースフォロワー回路(
図2に完全には示さず)を介して読み取られることを可能にする。そのため、アクティブピクセル回路21は、線形e/V変換を行い、相関2重サンプリング(CDS)を介してe/V変換ステップにおけるオフセットおよびサーマルノイズの低減を可能にする。有利には、アクティブピクセル回路21は、後のデジタル処理ステップにおいてSNR改善をサポートするために線形コード化されたADC23と対にされる。アクティブピクセル回路21と線形コード化されたADC23のそのような組み合わせは、フォトダイオード1によって受信される入射光強度に比例するサンプル値を作り出すことをサポートする。代替的に、他のタイプのe/V変換器21およびADC23が、フォトダイオード1によって受信される入射光強度に比例するサンプル値を作り出すことをサポートするために対にされ得る。
【0099】
図3は、線形コード化されたADC23の1つの有利な例を示す。ここで、シングルスロープADC設計が、その単純さのためにADC23によって採用される。ADC23は、共有デジタルバスを通して周辺カウンタから周辺生成式グローバルランプ/基準電圧およびグローバルビットパターンを受信する。A/D変換中に、ランプ/基準電圧は、開始電圧レベルから終了電圧レベルまで掃引し始める。同時に、カウンタが計数し始める。カウンタは、線形に計数するため、ビットパターンによってエンコードされる基礎の値(underling value)は時間と共に線形に増加する。ランプ/基準電圧がe/V変換器出力Vの電圧レベルに交差すると、比較器24は、現在のビットパターンをサンプルメモリ25に記憶するためにラッチ信号を生成する。2つの連続カウントの移行中にラッチ信号が生成されるときにスプリアスビットパターンを記憶することを回避するために、ビットパターンは、好ましくは、グレイコードフォーマットである。記憶されるビットパターンは、サンプル値をエンコードし、読み出しのためにサンプルメモリ25に記憶される。サンプルメモリ25は、SRM、DRAM、または任意の他のマルチビットメモリ回路に基づくとすることができる。
【0100】
図4は、1つの有利な実施形態によるイベントセンサアーキテクチャを示す。イベントセンサは、ピクセルのW列×H行の2次元ピクセルアレイ10を含む。ピクセルは、
図1A、1B、または1Cに示す実施形態あるいはそれらの任意の組み合わせのうちの任意のものとして構成され得る。バイアス発生器51は、ピクセルアレイ10にバイアス電圧を提供する。ADCコントローラ52は、ピクセルアレイ10にランプ/基準電圧およびグレイコードフォーマットでビットパターンを提供する。行アドレスエンコーダ53および列アドレスエンコーダ54は、ピクセルアレイ10内のピクセルアドレスをエンコードする。
【0101】
有利には、各ピクセルは、1つのピクセル固有のADC23を備える。したがって、読み出しプロセッサ4は、処理ブロック41のW列×1行からなる。各処理ブロック41は、ピクセルアレイ10内のピクセルの1列を、一度に1ピクセル処理するように構成される。全ての処理ブロック41は、並列に同時に処理することができるため、読み出しプロセッサ4は、ピクセルの1行を一度に並列に同時に処理することができる。読み出しプロセッサ4は、ピクセルアレイ10からサンプル値および/またはサンプルベースラインを読み取り、ピクセルパラメータをパラメータメモリ3から読み取り、パラメータメモリ3に書き込む。パラメータメモリ3は、有利には、SRAMベースであり、メモリブロック31のW列×H行のアレイを含む。換言すれば、ピクセルアレイ10内のピクセルとパラメータメモリ3のメモリブロック31との間に1対1対応が存在する。ピクセルアレイ10と、読み出しプロセッサ4と、パラメータメモリ3との間の読み取りおよび書き込み動作は、読み出しコントローラ55によって調節される。読み出しプロセッサ4は、ルックアップテーブルを記憶する閾値メモリ7に接続される。パラメータメモリ3および閾値メモリ7は、フラッシュメモリ等の外部不揮発性ストレージ62からロードされ得る、および/または、メモリコンフィグレータ56を介して外部コンピュータ61によってプログラムまたは更新され得る。
【0102】
上記で説明したように、有利な代替は、ピクセルの群であって、1つの共通のADC23を共有する、あるいは、1つの共通のe/V変換器21および/または1つの共通のADC23を共有する、ピクセルの群を含むことができる。例えば、ピクセルアレイ10内の2×2ピクセルの各群は、1つの共通のADC23を共有することができる、あるいは、1つの共通のe/V変換器21および/または1つの共通のADC23を共有することができる。この例において、ピクセルのW列×H行のピクセルアレイ10は、ADC23のW/2列×H/2行を含むだけである。したがって、読み出しプロセッサ4は、処理ブロック41のW/2列×1行を含むだけとすることができる。一方、パラメータメモリ3は、メモリブロック31のW列×H行を依然含むことができ、ピクセルとメモリブロック31との間の1対1対応を維持する。
【0103】
パラメータメモリ3の各メモリブロック31は、対応するピクセルのピクセルパラメータを記憶し、ピクセルパラメータは:処理オプションパラメータ、累算されたピクセル値、前の累算されたピクセル値、サンプリングカウント、前のサンプリングカウント、利得不整合修正子、およびオフセット補償子を含むことができる。より明確にするために、累算されたピクセル値およびサンプリングカウントは、以降で、現在の累算されたピクセル値および現在のサンプリングカウントと呼ばれ得る。
【0104】
処理オプションパラメータはピクセル固有である。これは、1つの対応する処理オプションパラメータに各ピクセルが関連し、1つの対応する処理オプションパラメータは、処理ブロック41がそのピクセルをどのように処理するかを決めることを意味する。各ピクセルは、複数の処理オプション、例えば:イベント検出、フレーム取り込み、スタンドバイ、および較正を可能にすることができる。利得不整合修正子およびオフセット補償子は、ピクセル間利得不整合およびオフセットの補正または補償を可能にするために、同様にピクセル固有である。利得不整合修正子およびオフセット補償子は、ワンタイム較正手順を通して得られ得る。現在の累算されたピクセル値、前の累算されたピクセル値、現在のサンプリングカウント、および前のサンプリングカウントは、オーバーサンプリングおよび平均化技法をサポートする。パラメータメモリ3の各メモリブロック31が、これらの本明細書で述べるピクセルパラメータの全てを記憶するために60ビットを必要とすると仮定すると、1メガピクセルピクセルアレイ10に供する全パラメータメモリ3全体のシリコン面積は、現況技術の28nmSRAM技術を使用する場合、8mm2未満の面積を必要とする。
【0105】
閾値メモリ7内のルックアップテーブルは、種々の処理閾値を含み、種々の処理閾値は:少なくとも1つのカウント閾値、少なくとも1つの累算されたピクセル値閾値、少なくとも1つの時間的コントラスト閾値、少なくとも1つの空間的コントラスト閾値、少なくとも1つの時間的差閾値、少なくとも1つの空間的差閾値、および/または少なくとも1つの強度値閾値を含むことができる。それらの値は、ワンタイム較正手順に基づいて同様に決められ得る。ルックアップテーブルは、異なる時間に異なるピクセルを処理するときに、異なる処理閾値(複数可)を動的に選択するように処理ブロックを導く。
【0106】
相関2重サンプリング(CDS)
有利には、各ピクセルは、1つのフォトダイオード1、1つのe/V変換器21、および1つのADC23からなる。イベントセンサは、規則的および/または固定サンプリング間隔でピクセルのグローバル同期固定継続期間露出を行う。各ピクセルが1秒間に露出される回数はサンプリングレートと呼ばれる。
【0107】
CDSを介してe/V変換ステップにおけるオフセットおよびサーマルノイズを低減するために、ADC23は、各サンプリング間隔でサンプル値と共にサンプルベースラインを作り出すことができる。サンプルベースラインおよびサンプル値は、その後、読み出しプロセッサ4の対応する処理ブロック41によって読み取られ処理されて、現在の累算されたピクセル値および/または前の累算されたピクセル値を導出する。
【0108】
イベントセンサは、e/V変換器21、すなわち、変換器メモリ22のグローバル同期リセットを最初に実施し、ADC23を介して、ピクセル並列方法で、対応するe/V変換器出力Vをサンプルベースラインに変換する。その後、処理ブロック41は、ピクセルアレイ10からサンプルベースラインを行ごとに読み取る。同時に、ピクセルアレイ10の各行が読み取られるときに、処理ブロック41は、パラメータメモリ3から対応する行の現在の累算されたピクセル値を同様に読み取る。換言すれば、読み出しプロセッサ55によって調節されると、同じ行のサンプルベースラインおよび現在の累算されたピクセル値は、全ての処理ブロック41によって同時に受信される。
【0109】
各処理ブロック41は、その後、各ピクセルについて、
図5のフローチャートに示す以下の処理ステップを行う:
1.同じピクセルの、サンプルベースラインおよび現在の累算されたピクセル値を受信する(501);
2.サンプルベースラインをグレイコードからバイナリフォーマットに変換する(502);
3.現在の累算されたピクセル値からサンプルベースラインを減算することによって、現在の累算されたピクセル値を更新する(503);
4.現在の累算されたピクセル値を、対応するメモリブロックに書き込み戻す(504);および
5.処理の終了(504)。
【0110】
サンプルベースラインを減算することによって、e/V変換器21、すなわち、変換器メモリ22をリセットすることによって導入されるオフセットおよびサーマルノイズは、現在の累算されたピクセル値において最小にされる。
【0111】
有利には、処理ブロック41は、現在のサンプリングカウントが特定のカウント閾値を超えるとき等に、サンプルベースラインを廃棄し、代わりに、現在の累算されたピクセル値から事前記憶したオフセット補償子を減算することを決定することができる。そうすることは、やはりオフセットを低減するが、サンプル値内の、ホワイトノイズであるサーマルノイズを保持し、したがって、特に、ピクセルが低入射光強度を受信するときに、オーバーサンプリングおよび平均化技法をよりよく促進する。この技法は、ディザリングと考えられ得る。
【0112】
イベントセンサは、その後、e/V変換器21のグローバル同期電荷移動を行い、ADC23を介して、ピクセル並列方法で、対応するe/V変換器出力Vをサンプル値に変換する。
【0113】
その後、処理ブロック41は、読み出しコントローラ55によって調節され、行ずつの方法で、同じ行に対応する、サンプル値、現在の累算されたピクセル値、現在のサンプリングカウント、処理オプションパラメータ、および、おそらくは他の関連するピクセルパラメータ(ピクセルの処理オプションに応じて変化する場合がある)を読み取る。各処理ブロック41は、その後、各ピクセルについて、
図6Aのフローチャートに示す以下の処理ステップを行う:
1.同じピクセルの、サンプル値、現在の累算されたピクセル値、現在のサンプリングカウント、処理オプションパラメータ[および、おそらくは、処理オプションパラメータによって決められる他の関連するピクセルパラメータ]を受信する(601);
2.サンプル値をグレイコードからバイナリフォーマットに変換する(602);
3.サンプル値を現在の累算されたピクセル値に加算することによって、現在の累算されたピクセル値を更新する(603);
4.現在のサンプルカウントを1だけインクリメントすることによって現在のサンプルカウントを更新する(604);
5.[処理オプションパラメータによって決められるさらなる処理ステップ](605);
6.現在の累算されたピクセル値、現在のサンプリングカウント、[および、おそらくは、処理オプションパラメータによって決められる他の関連するピクセルパラメータ]を、対応するメモリブロックに書き込み戻す(606);および
7.処理の終了(607)。
【0114】
上記処理ステップのステップ605において、処理ブロック41は、ピクセルの処理オプションに従って、異なるさらなる処理ステップを行うことができる。行われる幾つかの考えられる処理オプションおよびそれらの対応するさらなる処理ステップは、以下でさらに説明される。
【0115】
有利な代替として、信号変換器2が十分な飽和容量を有する場合、各ピクセルについて、アクティブピクセル回路21によって提供されるサーマルノイズなし電荷移動を利用し、少数のサンプリング間隔ごとに1つだけのサンプルベースラインが存在し得る。換言すれば、各ピクセルについて、幾つかのサンプリング間隔において、サンプル値のみが存在し得、サンプルベースラインがない。この場合、対応するサンプリング間隔内のサンプル値は、すぐ前のサンプリング間隔内のサンプル値を含むことができる。したがって、処理ブロック41は、各ピクセルについて以下の代替の処理ステップを行って、現在の累算されたピクセル値を異なるように更新し、ならびに、アクティブピクセル回路21、特に浮遊拡散層22をリセットするために、および、サンプル値が所定のサンプル値閾値を超えるという条件に基づいて次のサンプリング間隔内のサンプルベースラインを作り出すために、ピクセルにフラグを立てる必要がある場合がある。
図6Bのフローチャートに示すように、代替の処理ステップは:
1.同じピクセルの、サンプル値、現在の累算されたピクセル値、現在のサンプリングカウント、処理オプションパラメータ[および、おそらくは、処理オプションパラメータによって決められる他の関連するピクセルパラメータ]を受信する(651);
2.サンプル値をグレイコードからバイナリフォーマットに変換する(652);
3.サンプル値を現在の累算されたピクセル値に加算することによって、現在の累算されたピクセル値を更新する(653);
4.現在のサンプルカウントを1だけインクリメントすることによって現在のサンプルカウントを更新する(654);
5.[処理オプションパラメータによって決められるさらなる処理ステップ:さらなる処理ステップのいずれかにおいて、累算されたピクセル値をゼロにリセットすることは、e/V変換器21をリセットするために、および次のサンプリング間隔内でサンプルベースラインを作り出すために、ピクセルリセットフラグを「真(true)」に設定することを伴う](655);
6.[オプション]サンプル値に、正規化係数であって、この場合、利得不整合修正子のみからなる、正規化係数を掛けることによって、正規化されたサンプル値を計算する(656);
7.サンプル値または正規化されたサンプル値がサンプル値閾値を超えるか否かを決定する(657);
a.はいの場合:
i.e/V変換器21をリセットするために、および次のサンプリング間隔内でサンプルベースラインを作り出すために、ピクセルリセットフラグを「真」に設定する(658);
b.いいえの場合:アクションなし
8.ピクセルリセットフラグが「真」であるか否かを決定する(659):
a.はいの場合:アクションなし
b.いいえの場合:
i.現在の累算されたピクセル値からサンプル値を減算することによって現在の累算されたピクセル値を更新することを取り消す(660);
9.現在の累算されたピクセル値、現在のサンプリングカウント、[および、おそらくは、処理オプションパラメータによって決められる他の関連するピクセルパラメータ]を、対応するメモリブロックに書き込み戻す(661);および
10.処理の終了(662)。
【0116】
上記処理ステップにおいて、サンプル値閾値は、閾値メモリ7に記憶され得る。ピクセルリセットフラグは、ピクセルの内部のフラグメモリに記憶され得る。ピクセルリセットフラグは、さらなる処理ステップの1つの処理ステップにおいて、累算されたピクセル値がゼロにリセットされる場合、「真」に同様に設定され得る(以下でさらに説明される)。したがって、ピクセルリセットフラグが、ステップ658にて決して「真」に設定されないが、ステップ655にてさらなる処理ステップのうちの1つの処理ステップによって常に「真」にセットされるだけである実装のいくつかの特別な場合に、ステップ657および658ならびにサンプル値閾値の使用は、ここではもはや必要とされない場合がある。
【0117】
上記で述べた有利な代替として、ピクセルの群は、1つの共通のADC23を共有することができるかまたは1つの共通のe/V変換器21および1つの共通のADC23を共有することができ、したがって、共有されたe/V変換器21および/または共有されたADC23は、1つのサンプリング間隔内で時間多重化される必要があり得る。同様に、処理ブロック41も、1つのサンプリング間隔内で時間多重化される必要があり得る。
【0118】
イベント検出
ピクセルの処理オプションがイベント検出のために構成される場合、現在の累算されたピクセル値および現在のサンプリングカウントを共に更新した後に、各処理ブロック41は、
図7のフローチャートに示すように、ピクセルについて以下のさらなる処理ステップを行って、時間的コントラストに基づいて対応するピクセルからピクセルイベントを生成し出力するか否かを決定することができる:
1.現在のサンプリングカウントに基づいて、累算されたピクセル値閾値を選択する(701);
2.現在の累算されたピクセル値に、正規化係数であって、この場合、利得不整合修正子のみからなる、正規化係数を掛けることによって、正規化された現在の累算されたピクセル値を計算する(702);
3.正規化された現在の累算されたピクセル値が累算されたピクセル値閾値を超えるか否か、または、現在のサンプリングカウントが最大カウント閾値に達するか否かを決定する(703):
a.はいの場合:
i.時間的コントラストを計算する(704);
ii.現在のサンプリングカウントおよび/または前のサンプリングカウントに基づいて、正の時間的コントラスト閾値および負の時間的コントラスト閾値を選択する(705);
iii.時間的コントラストが、正の時間的コントラスト閾値を超えるかまたは負の時間的コントラスト閾値を下回るかを決定する(706):
1.はいの場合:
a.ピクセルイベントを出力するように要求する(707);
b.前のサンプリングカウントを、現在のサンプリングカウントを用いて更新する(708);
c.前の累算されたピクセル値を、現在の累算されたピクセル値を用いて更新する(709);
2.いいえの場合:アクションなし
iv.現在のサンプリングカウントをゼロにリセットする(710);
v.現在の累算されたピクセル値をゼロにリセットする(711);
b.いいえの場合:アクションなし
【0119】
上記処理ステップにおいて、累算されたピクセル値閾値、正の時間的コントラスト閾値、および負の時間的コントラスト閾値は、閾値メモリ7内のルックアップテーブルから選択されて、現在の累算されたピクセル値および/または前の累算されたピクセル値のSNR(複数可)に基づいて時間的コントラスト感度と時間分解能との間の最適トレードオフを達成する。
【0120】
互いに関連する処理閾値の7つのタプルを含むルックアップテーブルの例が以下に示され、各タプル内で、デジタル数(digital number)(DN)の第1の処理閾値はカウント閾値であり、DNの第2の処理閾値は累算されたピクセル値閾値であり、パーセンテージ(%)の(1つの列に結合されている)第3および第4の処理閾値は、正の時間的コントラスト閾値および負の時間的コントラスト閾値である:
【0121】
【0122】
処理ブロック41は、この例のルックアップテーブルへの入力として現在のサンプリングカウントをとり、カウント閾値が現在のサンプリングカウントのすぐ上にある隣接するタプルから、累算されたピクセル値閾値、正の時間的コントラスト閾値、および負の時間的コントラスト閾値を選択することができる。ここで、すぐ上にあるという条件が、等しい、ことを含むことが留意されるべきである。
【0123】
この例のルックアップテーブルは、以下を示唆する:現在の累算されたピクセル値が2サンプリング間隔内で8200DNを超えるような高入射光強度を、ピクセルが受信する場合、現在の累算されたピクセル値は、2サンプリング間隔ごとに+/-1.6%の正または負の時間的コントラスト閾値をサポートするのに十分なSNRを有する。したがって、ピクセルは、高時間的コントラスト感度および高時間分解能を持って処理される。現在の累算されたピクセル値が2サンプリング間隔内で8200DNに達しないような低入射光強度を、ピクセルが受信する場合、現在の累算されたピクセル値は、+/-1.6%の正または負の時間的コントラスト閾値をサポートするには不十分なSNRを有する。この場合、現在の累算されたピクセル値は、現在のサンプリングカウントに基づいて処理ブロック41によって選択される累算されたピクセル値閾値を超えるまで、次のサンプリング間隔内で累算し続ける必要がある。したがって、ピクセルは、より低い時間的コントラスト感度およびより低い時間分解能を伴って処理される。
【0124】
上記例のルックアップテーブルの背後にある原理は以下の通りである:現在の累算されたピクセル値のSNRは、現在の累算されたピクセル値と共に増加する。したがって、累算されたピクセル値閾値は、SNR閾値に本質的に対応する。しかしながら、0.1luxから100kluxまでの周囲照明、すなわち120dB等の広いダイナミックレンジにわたって機能するピクセルの場合、100klux下で1つのサンプリング間隔内で達せられ得る同じ累算されたピクセル値閾値に達するのに、ピクセルは、0.1lux下で106サンプリング間隔を要することになる。各サンプリング間隔が50μsである場合、100klux下で、50μsで達せられ得る同じSNRに達するのに、0.1lux下でピクセル50sがかかることになる。ピクセルが50μsから50sまでの間累算する、20kHzから0.02Hzまでの時間分解能範囲と言い換えられる、ことを可能にすることによって、120dBダイナミックレンジにわたって同じSNRに常に達するようにピクセルを動作させることは非実用的である。実際には、ピクセルは、50μsから33msまでの間累算する、20kHzから30Hzの時間分解能範囲と言い換えられる、ことを可能とされるだけであり得る。したがって、上記例のルックアップテーブルは、SNRと時間分解能との間に最適トレードオフを見出すという目的で、現在のサンプリングカウントが増加するにつれて、累算されたピクセル値閾値を徐々に下げるように処理ブロック41を導く。同様に、上記例のルックアップテーブルは、ノイズピクセルイベントを生成することを防止するために、現在のサンプリングカウントが増加するにつれて、正および負の時間的コントラスト閾値の絶対値をそれに相応して徐々に増加させるように処理ブロック41を同様に導く。
【0125】
ピクセルが受信する入射光強度が低ければ低いほど、ピクセルは、より多いサンプリング間隔、累算し、それは、デジタルドメインにおけるピクセルの露出時間を本質的に延長することによってだけでなく、オーバーサンプリングおよび平均化を介して時間的ノイズを低減することによっても、現在の累算されたピクセルピクセル値の低下したSNRを効果的に補償する。
【0126】
オーバーサンプリンおよび平均化技法は、ADC23の公称ビット分解能を超えて現在または前の累算されたピクセル値の有効ビット深度をさらに改善し、それは、所与の有効ビット深度ターゲットを達成しながら、よりコンパクトでより低電力のピクセル設計を可能にする。しかしながら、ADCの量子化ノイズが、ADC23のサーマルノイズ等のホワイトノイズのパワーより低いパワーを有する場合に、オーバーサンプリングおよび平均化技法が有効であるのみであることが留意されるものとする。
【0127】
時間的コントラストは、以下のように算出される:
【数1】
【0128】
上記結果は、ピクセルによって受信される入射光強度の実際の時間的コントラストを反映する。また、上記結果が、現在の累算されたピクセル値と前の累算されたピクセル値との比を用いて計算されるため、ピクセル間利得不整合は、上記結果から排除される。
【0129】
代替的にまたは追加的に、現在の累算されたピクセル値および現在のサンプリングカウントを共に更新した後に、各処理ブロック41は、時間的差に基づいて対応するピクセルからピクセルイベントを生成し出力するか否かをさらに決定することができる。時間的差を伴うさらなる処理ステップは、2つの主要な差を除いて、時間的コントラストを伴う上記で説明したさらなる処理ステップとほぼ同一である:
【0130】
第1に、時間的コントラストの代わりにまたはそれに加えて、時間的差が使用され得、時間的差は、以下のように計算され、利得不整合修正子は、正規化係数が利得不整合修正子のみからなるため、正規化係数の代わりに直接使用される:
【数2】
【0131】
第2に、正の時間的コントラスト閾値および負の時間的コントラスト閾値の代わりにまたはそれらに加えて、正の時間的差閾値および負の時間的差閾値は、時間的コントラストに関連して上記で説明したのと同じ原理に基づいて種々の正および負の時間的差閾値を含むように構成され得るルックアップテーブルから選択され得る。
【0132】
さらに別の代替的または追加的例として、現在の累算されたピクセル値および現在のサンプリングカウントを共に更新した後に、各処理ブロック41は、強度閾値に基づいて、すなわち、強度値が1つまたは複数の強度値閾値(複数可)を超える場合、対応するピクセルからピクセルイベントを生成し出力するか否かをさらに決定することができる。強度閾値を伴うさらなる処理ステップは、2つの主要な差を除いて、時間的コントラストおよび/または時間的差を伴う上記で説明したさらなる処理ステップとほぼ同一である:
【0133】
第1に、時間的コントラストおよび/または時間的差の代わりにまたはそれらに加えて、強度値が使用され得、強度値は、以下のように計算され、利得不整合修正子は、正規化係数が利得不整合修正子のみからなるため、正規化係数の代わりにやはり直接使用される:
【数3】
【0134】
第2に、正および負の時間的コントラスト閾値および/または正および負の時間的差閾値の代わりにまたはそれらに加えて、1つまたは複数の強度値閾値(複数可)がルックアップテーブルから選択され得る。強度値閾値(複数可)は、予め決められ、および一定、例えば、500DNおよび/または1000DNとすることができ、現在のサンプリングカウントとは独立である。
【0135】
他の代替的または追加的実施形態は、現在の累算されたピクセル値および現在のサンプリングカウントを共に更新した後に、各処理ブロック41が、空間的コントラストおよび/または空間的差に基づいて、対応するピクセルからピクセルイベントを生成し出力するか否かをさらに決定することができることを予見することができる。空間的コントラストおよび/または空間的差を伴うさらなる処理ステップは、2つの主要な差を除いて、時間的コントラストおよび/または時間的差を伴う上記で説明したさらなる処理ステップとほぼ同一である:第1に、時間的コントラストおよび/または時間的差の代わりにまたはそれらに加えて、空間的コントラストおよび/または空間的差が計算され使用され得る;第2に、正および負の時間的コントラスト閾値および/または正および負の時間的差閾値の代わりにまたはそれらに加えて、正および負の空間的コントラスト閾値および/または正および負の空間的差閾値がルックアップテーブルから選択され得る。
【0136】
全ての処理ブロック41が、ピクセルの1行を処理することを終了した後、ピクセルイベント(複数可)を出力するように要求した処理ブロック(複数可)は、次いで、有利には、欧州特許第3561685号に説明されるような高速トークンベースの通信システムを介して、対応するピクセルイベント(複数可)をイベントセンサのイベントデータ出力として通信する。各ピクセルイベントは、行および列アドレスエンコーダ53、54から得られるピクセルアドレス、タイムスタンプ、時間的コントラスト、時間的差、強度値、空間的コントラスト、および/または空間的差を含むことができる。
【0137】
ピクセルアレイ10と、読み出しプロセッサ4と、パラメータメモリ3との間の読み取りおよび書き込み動作は、全てデジタルドメインにおいてであり、したがって、10nsオーダーの短いアクセス時間を有する。処理ブロック41は、主に、加算、減算、乗算、および除算演算を行い、それらは、組み合わせロジックによって実装され得る。したがって、ピクセルの1000行のパイプライン化された行ごと読み出しおよび処理は、10μsオーダーのさらなるレイテンシを導入するだけである。
【0138】
有利には、イベントデータ出力、すなわち、時間的コントラスト、時間的差、強度値、および空間的コントラストおよび/または空間的差を、ガンマ圧縮、対数圧縮、または、より広い範囲の値をより小さいビット数に圧縮する別のタイプの非線形圧縮を介して、圧縮するさらなる出力圧縮器が存在し得る。
【0139】
フレーム取り込み
ピクセルの処理オプションがフレーム取り込みのために構成される場合、現在の累算されたピクセル値および現在のサンプリングカウントを共に更新した後に、各処理ブロック41は、
図8のフローチャートに示すように、ピクセルについて以下のさらなる処理ステップを行って、対応するピクセルから強度値を計算し出力することができる:
1.現在のサンプリングカウントに基づいて、累算されたピクセル値閾値を選択する(801);
2.現在の累算されたピクセル値に、正規化係数であって、この場合、利得不整合修正子のみからなる、正規化係数を掛けることによって、正規化された現在の累算されたピクセル値を計算する(802);
3.正規化された現在の累算されたピクセル値が累算されたピクセル値閾値を超えるか否か、または、現在のサンプリングカウントが最大カウント閾値に達するか否かを決定する(803):
a.はいの場合:
i.正規化された現在の累算されたピクセル値を現在のサンプリングカウントによって割ることによって強度値を計算する(804);
ii.強度値を出力する(805);
iii.前のサンプリングカウントを、現在のサンプリングカウントを用いて更新する(806);
iv.前の累算されたピクセル値を、現在の累算されたピクセル値を用いて更新する(807);
v.現在のサンプリングカウントをゼロにリセットする(808);
vi.現在の累算されたピクセル値をゼロにリセットする(809);
b.いいえの場合:
i.前の累算されたピクセル値に、正規化係数であって、この場合、利得不整合修正子のみからなる、正規化係数を掛けることによって、正規化前の累算されたピクセル値を計算する(810);
ii.正規化前の累算されたピクセル値を前のサンプリングカウントによって割ることによって強度値を計算する(811);
iii.強度値を出力する(812);
【0140】
上記のさらなる処理ステップは、全てのピクセルから十分なSNRを有する強度値を出力することを目標とするが、強度値が、同じ期間内に全てのピクセルによって受信される入射光強度を反映することを保証しない。
【0141】
有利には、現在の累算されたピクセル値および現在のサンプリングカウントを共に更新した後に、各処理ブロック41は、
図9のフローチャートに示すように、ピクセルについて以下の代替のさらなる処理ステップを行って、対応するピクセルから強度値を計算し出力することができる:
1.現在のサンプリングカウントが所定のカウント閾値を超えるか否かを決定する(901):
a.はいの場合:
i.現在の累算されたピクセル値に、正規化係数であって、この場合、利得不整合修正子のみからなる、正規化係数を掛けることによって、正規化された現在の累算されたピクセル値を計算する(902);
ii.正規化された現在の累算されたピクセル値を現在のサンプリングカウントによって割ることによって強度値を計算する(903);
iii.強度値を出力する(904);
iv.現在のサンプリングカウントをゼロにリセットする(905);
v.現在の累算されたピクセル値をゼロにリセットする(906);
b.いいえの場合:アクションなし
【0142】
全てのピクセルについて現在のサンプリングカウントと現在の累算されたピクセル値の両方のグローバルリセット後に行われると、上記代替のさらなる処理ステップは、強度値が同じ期間内に全てのピクセルによって受信される入射光強度を反映することを保証する。
【0143】
さらなる処理ステップの上記2つの変形は共に、強度値のSNR、従って、有効ビット深度を改善するためにオーバーサンプリングおよび平均化を利用する。
【0144】
全ての処理ブロック41がピクセルの1行を処理することを終えた後、対応するピクセルによって受信される入射光強度を反映するそれらの強度値は、イベントセンサのフレームデータ出力として通信される。有利には、イベントデータ出力のために使用される高速トークンベースの通信システムは、フレームデータ出力にも役立ち、その場合、処理ブロック41は、それらの強度値をシーケンスで通信し、ピクセルアドレスは廃棄され得る。代替的に、フレームデータ出力は、標準的なシフトレジスタベースの通信システムを使用することができる。
【0145】
有利には、イベントデータ出力のために説明された出力圧縮器は、ガンマ圧縮、対数圧縮、または、より広い範囲の値をより小さいビット数に圧縮する別のタイプの非線形圧縮を介して、フレームデータ出力、すなわち、強度値を圧縮することもできる。
【0146】
スタンドバイ
ピクセルの処理オプションがスタンドバイのために構成される場合、現在の累算されたピクセル値および現在のサンプリングカウントを共に更新した後に、各処理ブロック41は、
図10のフローチャートに示すように、ピクセルについて以下のさらなる処理ステップを行って、ピクセルパラメータを更新された状態に単に維持することができる:
1.現在のサンプリングカウントに基づいて、累算されたピクセル値閾値を選択する(1001);
2.現在の累算されたピクセル値に、正規化係数であって、この場合、利得不整合修正子のみからなる、正規化係数を掛けることによって、正規化された現在の累算されたピクセル値を計算する(1002);
3.正規化された現在の累算されたピクセル値が累算されたピクセル値閾値を超えるか否か、または、現在のサンプリングカウントが最大カウント閾値を超えるか否かを決定する(1003):
a.はいの場合:
i.前のサンプリングカウントを、現在のサンプリングカウントを用いて更新する(1004);
ii.前の累算されたピクセル値を、現在の累算されたピクセル値を用いて更新する(1005);
iii.現在のサンプリングカウントをゼロにリセットする(1006);
iv.現在の累算されたピクセル値をゼロにリセットする(1007);
b.いいえの場合:アクションなし
【0147】
上記処理ステップは、処理ブロックによって行われて、ピクセルパラメータを初期化し、パラメータメモリ3をオーバーフローさせることを防止することができる。
【0148】
ハイブリッド処理オプション
イベント検出、フレーム取り込み、およびスタンドバイの上記で述べた処理オプションの他に、上記で述べた処理オプションからの選択された処理ステップの組み合わせ部分から導出される他の代替の処理オプションが存在し得る。
【0149】
較正
ピクセルの処理オプションが較正のために構成される場合、現在の累算されたピクセル値および現在のサンプリングカウントを共に更新した後に、各処理ブロック41は、
図11のフローチャートに示すように、ピクセルについて以下のさらなる処理ステップを行って、対応するピクセルから現在の累算されたピクセル値を直接出力することができる:
1.現在のサンプリングカウントが所定のカウント閾値を超えるか否かを決定する(1101):
a.はいの場合:
i.現在の累算されたピクセル値を出力する(1002);
ii.現在のサンプリングカウントをゼロにリセットする(1003);
iii.現在の累算されたピクセル値をゼロにリセットする(1104);
b.いいえの場合:アクションなし
【0150】
較正手順中に、上記処理ステップは、全てのピクセルについての現在の累算されたピクセル値および現在のサンプリングカウントのグローバルリセット後に、典型的には行われる。
【0151】
ピクセル固有利得不整合修正子を得るために、全てのピクセルは、均一な光源に、低照明レベルで、および高照明レベルで露出される。イベントセンサは、ピクセル低値と呼ばれる、ピクセルによって受信される低入射光強度を反映する現在の累算されたピクセル値の第1のフレームを出力する。イベントセンサは、ピクセル高値と呼ばれる、ピクセルによって受信される高入射光強度を反映する現在の累算されたピクセル値の第2のフレームを同様に出力する。ピクセル高値およびピクセル低値は現在の累算されたピクセル値から導出されるゆえに、十分に高いカウント閾値を所与として、ピクセル高値およびピクセル低値は十分に高いSNRを含む。ピクセル低値は、特に、ピクセル高値より高いカウント閾値を使用して特に計算され得る。
【0152】
ピクセル値差は、各ピクセルについて:
(ピクセルの)ピクセル値差=(ピクセルの)ピクセル高値-(ピクセルの)ピクセル低値
として計算される。
【0153】
その後、アレイ平均ピクセル値は:
【数4】
として計算される。
【0154】
したがって、各ピクセルについての利得不整合修正子は:
【数5】
として計算される。
【0155】
時間的ノイズをさらに低減するために、上記手順は、時間的平均結果を導出するために複数回反復され得る。
【0156】
所与のカウント閾値に関連する正および/または負の時間的コントラスト閾値(複数可)を決めるために、全てのピクセルは、所与のカウント閾値に基づく出力された現在の累算されたピクセル値が、所与のカウント閾値に関連する累算されたピクセル値閾値にほぼ等しくなるように、特定の照明レベルを有する均一な光源に対して露出される。その後、イベントセンサは、現在の累算されたピクセル値の十分な数のフレーム、例えば、10、100、またはそれより多い数のフレームを出力する。出力された現在の累算されたピクセル値のSNRは、標準的な画像センサ特性評価方法である光子伝達曲線法(photon transfer curve method)を介して算出され得る。出力された現在の累算されたピクセル値内の時間的ノイズがガウシアンノイズであると仮定すると、その後正および/または負の時間的コントラスト閾値(複数可)が、正規分布に基づいて決められ得る。例えば、出力された現在の累算されたピクセル値のSNRが100である場合、所与のカウント閾値に関連する正または負の時間的コントラスト閾値は、68%、95%、または99.7%の確率を有するノイズピクセルイベントを生成することを防止するために、それぞれ、+/-1.4%、+/-2.8%、または+/-4.2%に設定され得る。
【0157】
上記の有利な代替の実施形態によって述べたように、所与のカウント閾値に関連する、正および/または負の時間的差閾値、正および/または負の空間的コントラスト閾値(複数可)、および/または、正および/または負の空間的差閾値(複数可)は、正および/または負の時間的コントラスト閾値(複数可)を決めるために上記で説明したのと同じ手順および方法を使用して決められ得る。
【0158】
最後に、各ピクセルについてオフセット補償子を得るために、各処理ブロック41は、
図12のフローチャートに示すように、ピクセルについて以下の修正された処理ステップを行って、CDSについて説明した処理ステップをスキップし、サンプルベースラインをオーバーサンプリングし平均化することによって計算されたオフセット補償子を出力することができる:
1.同じピクセルの、サンプルベースライン、現在の累算されたピクセル値、現在のサンプリングカウント、および処理オプションパラメータを受信する(1201);
2.サンプルベースラインをグレイコードからバイナリフォーマットに変換する(1202);
3.サンプルベースラインを現在の累算されたピクセル値に加算することによって、現在の累算されたピクセル値を更新する(1203);
4.現在のサンプリングカウントを1だけインクリメントすることによって、現在のサンプリングカウントを更新する(1204);
5.現在のサンプリングカウントが所定のカウント閾値を超えるか否かを決定する(1205):
a.はいの場合:
i.現在の累算されたピクセル値を現在のサンプリングカウントによって割ることによって、オフセット補償子を計算する(1206);
ii.オフセット補償子を出力する(1207);
iii.現在のサンプリングカウントをゼロにリセットする(1208);
iv.現在の累算されたピクセル値をゼロにリセットする(1209);
b.いいえの場合:アクションなし
6.現在の累算されたピクセル値、現在のサンプリングカウント、およびおそらくはオフセット補償子を対応するメモリブロックに書き込み戻す(1210);および
7.処理の終了(1211)。
【0159】
較正手順中に、上記処理ステップは、全てのピクセルについての現在の累算されたピクセル値および現在のサンプリングカウントのグローバルリセット後に、典型的には行われる。
【0160】
十分に高いカウント閾値を所与として、各ピクセルについての出力されるオフセット補償子は、オーバーサンプリングおよび平均化を介して十分に高いSNRを含む。時間的ノイズをさらに低減するために、上記手順は、時間的平均結果を導出するために複数回反復され得る。
【0161】
ピクセルアレイ処理オプション構成
各ピクセルの処理オプションが動的にプログラム可能であるゆえに、ピクセルアレイ10の処理オプションを構成する多くの方法が存在する。有利な例として、ピクセルのサブセットの処理オプションは、イベント検出のために構成され得、一方、ピクセルの別のサブセットの処理オプションは、フレーム取り込みのために構成され得る。別の有利な例として、ピクセルのサブセットの処理オプションは、1つのサンプリング間隔でのイベント検出のために構成され得、一方、ピクセルの同じサブセットの処理オプションは、異なるサンプリング間隔でのフレーム取り込みのために構成され得る。他の構成は、処理オプション、ピクセルのサブセット、および/またはサンプリング間隔の異なる組み合わせを使用して導出され得る。
【0162】
参照数字
10 ピクセルアレイ
1 光検出器、光電変換器、フォトダイオード、ピン留めフォトダイオード、PPD
2 信号変換器
21 アナログ変換器、電荷-電圧変換器、電子-電圧変換器、e/V変換器、アクティブピクセル回路
22 変換器メモリ、浮遊拡散層
23 アナログ-デジタル変換器、ADC
24 比較器
25 サンプルメモリ
31 メモリブロック を有する
3 パラメータメモリ
41 処理ブロック を有する
4 読み出しプロセッサ
51 バイアス発生器
52 ADCコントローラ
53 行アドレスエンコーダ
54 列アドレスエンコーダ
55 読み出しコントローラ
56 メモリコンフィグレータ
61 外部コンピュータ
62 外部不揮発性ストレージ
7 閾値メモリ
【国際調査報告】