特表 2023-513340 事象ベースの画像センサのアレイからの事象の読み出し及び画素回路

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-03-30

(54)【発明の名称】事象ベースの画像センサのアレイからの事象の読み出し及び画素回路

(51)【国際特許分類】

   H04N 25/47 20230101AFI20230323BHJP

   H04N 25/77 20230101ALI20230323BHJP

【ＦＩ】

H04N25/47

H04N25/77

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022548751

(86)(22)【出願日】2021-02-12

(85)【翻訳文提出日】2022-08-17

(86)【国際出願番号】 EP2021053551

(87)【国際公開番号】W WO2021160859

(87)【国際公開日】2021-08-19

(31)【優先権主張番号】62/976,868

(32)【優先日】2020-02-14

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520207608

【氏名又は名称】プロフェシー

【氏名又は名称原語表記】ＰＲＯＰＨＥＳＥＥ

【住所又は居所原語表記】７４ ｒｕｅ ｄｕ Ｆａｕｂｏｕｒｇ Ｓａｉｎｔ Ａｎｔｏｉｎｅ， ７５０１２ ＰＡＲＩＳ， ＦＲＡＮＣＥ

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100202751

【弁理士】

【氏名又は名称】岩堀 明代

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(74)【代理人】

【識別番号】100191086

【弁理士】

【氏名又は名称】高橋 香元

(72)【発明者】

【氏名】マトリン，ダニエル

(72)【発明者】

【氏名】フィナテウ，トーマス

(72)【発明者】

【氏名】ジュリオーニ，マッシミリアーノ

(72)【発明者】

【氏名】ポッシュ，クリストフ

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024CY45

5C024GX03

5C024GX15

5C024GY39

5C024GY41

5C024HX17

5C024HX27

5C024HX29

5C024HX51

(57)【要約】

回路は、事象視覚センサのラインの画素に電気的に結合された選択回路を含む。選択回路は、ラインのアクティブな画素からアクティブ化信号を受信し、アクティブ化信号の受信に応答してアクノリッジ信号を生成し、アクノリッジ信号をラインの画素に送信するように構成される。回路はまた、ラインの画素のうち選択回路までの距離が最も長い画素に電気的に結合される制御回路を含む。制御回路は、選択回路からアクノリッジ信号を受信し、アクノリッジ信号の受信に応答してプロセス読み出し信号を生成するように構成される。回路はまた、ラインの画素に電気的に結合されたインターフェース回路であって、プロセス読み出し信号を受信した後に、選択回路、制御回路、及びラインの画素のリセットを引き起こすように構成されたインターフェース回路を含む。
【選択図】図６

【特許請求の範囲】

【請求項1】

事象視覚センサの画素からデータをサンプリングするための回路であって、
前記事象視覚センサのラインの画素に電気的に結合された選択回路であって、
前記ラインのアクティブな画素からアクティブ化信号を受信し、
前記アクティブ化信号の受信に応答してアクノリッジ信号を生成し、
前記アクノリッジ信号を前記ラインの画素に送信するように構成され、ここで前記ラインの各画素は、前記アクノリッジ信号の受信時にその画素がアクティブであるときに、要求読み出し信号を生成するよう構成される、選択回路と、
前記ラインの画素のうち、前記選択回路までの距離が最も長い画素に電気的に結合された制御回路であって、
前記選択回路から前記アクノリッジ信号を受信し、
前記アクノリッジ信号の受信に応答してプロセス読み出し信号を生成するように構成された制御回路と、
前記ラインの画素に電気的に結合されたインターフェース回路であって、前記プロセス読み出し信号を受信した後に、前記選択回路、前記制御回路、及び前記ラインの画素をリセットさせるように構成されたインターフェース回路と
を含む回路。

【請求項2】

前記インターフェース回路が、前記プロセス読み出し信号の受信に応答して、ロード信号を生成するようにさらに構成される、請求項１に記載の回路。

【請求項3】

前記インターフェース回路と前記選択回路に電気的に結合された読み出しコントローラであって、前記インターフェース回路からの前記ロード信号の受信に応答して、前記選択回路、前記制御回路、及び前記ラインの画素をリセットするように構成された読み出しコントローラ、
をさらに備える、請求項２に記載の回路。

【請求項4】

前記ラインの画素が前記アクノリッジ信号を受信したときに、前記画素によって決定された時間的コントラストが閾値を超える場合に、前記要求読み出し信号が前記画素によって生成される、請求項１～３のいずれか一項に記載の回路。

【請求項5】

前記要求読み出し信号が、前記時間的コントラストの正の変化を示す第１のステータスと、前記時間的コントラストの負の変化を示す第２のステータスとを含む、請求項４に記載の回路。

【請求項6】

前記インターフェース回路が、前記要求読み出し信号の受信に応答して、前記要求読み出し信号を生成した画素からデータ信号を受信するようにさらに構成される、請求項１～５のいずれか一項に記載の回路。

【請求項7】

前記ラインの画素及び前記選択回路に電気的に結合されたアドレス符号化回路であって、前記選択回路からの前記アクノリッジ信号の受信に応答して、前記要求読み出し信号を生成した画素に対するアドレス信号を生成するように構成されたアドレス符号化回路、
をさらに備える、請求項６に記載の回路。

【請求項8】

前記インターフェース回路及び前記アドレス符号化回路に電気的に結合されたフォーマット回路であって、
前記インターフェース回路から前記データ信号を、前記アドレス符号化回路から前記アドレス信号を受信し、
前記データ信号及び前記アドレス信号を用いて出力データを生成する、
ように構成されたフォーマット回路、
をさらに備える、請求項７に記載の回路。

【請求項9】

前記インターフェース回路及び前記ライン選択回路に電気的に結合されたタイマ回路であって、
前記アクティブ化信号の受信に応答して前記選択回路によって生成された開始信号を受信し、
前記開始信号を受信したタイムスタンプからの時間間隔が閾値時間を超えた後、前記インターフェース回路によってデータ信号が受信されない場合、前記選択回路、前記制御回路、及び前記ラインの画素をリセットする、
ように構成されたタイマ回路、
をさらに備える、請求項６～８のいずれか一項に記載の回路。

【請求項10】

前記読み出しコントローラが前記タイマ回路を含む、請求項９に記載の回路。

【請求項11】

前記制御回路が、
前記ラインのすべての画素が前記アクノリッジ信号を受信した後に前記アクノリッジ信号を受信する、
ようにさらに構成される、請求項１～１０のいずれか一項に記載の回路。

【請求項12】

前記アクノリッジ信号を受信するとき、前記ラインのどの画素もアクティブでない、請求項１～１０のいずれか一項に記載の回路。

【請求項13】

前記アクティブ化信号が、前記アクティブな画素の感光素子によって、前記感光素子に入射する光の輝度に応答して生成される、請求項１～１０のいずれか一項に記載の回路。

【請求項14】

前記アクティブな画素によって決定された時間的コントラストが閾値を超えたときに、前記アクティブな画素によって前記アクティブ化信号が生成される、請求項１～１０のいずれか一項に記載の回路。

【請求項15】

事象視覚センサの画素からデータをサンプリングするための回路であって、
前記事象視覚センサのラインの画素に電気的に結合されたライン選択回路であって、
前記ラインのアクティブな画素からアクティブ化信号を受信し、
前記アクティブ化信号の受信に応答してアクノリッジ信号及び開始信号を生成し、
前記アクノリッジ信号を前記ラインの画素に送信するように構成され、ここで前記ラインの各画素は、前記アクノリッジ信号の受信時に前記画素がアクティブであるときに、要求読み出し信号を生成するように構成される、ライン選択回路と、
前記ラインの画素に電気的に結合されたインターフェース回路であって、前記要求読み出し信号の受信に応答して、前記要求読み出し信号を生成した画素からデータ信号を受信するように構成されたインターフェース回路と、
前記インターフェース回路及び前記ライン選択回路に電気的に結合されたタイマ回路であって、
前記ライン選択回路から前記開始信号を受信し、
前記開始信号を受信したタイムスタンプからの時間間隔が閾値時間を超えた後に前記インターフェース回路によってデータ信号が受信されない場合、前記ライン選択回路及び前記ラインの画素をリセットさせるように構成される、タイマ回路と
を備える回路。

【請求項16】

前記インターフェース回路及び前記ライン選択回路に電気的に結合された読み出しコントローラであって、前記開始信号を受信したタイムスタンプからの前記時間間隔が前記閾値時間を超えた後に前記インターフェース回路によってデータ信号が受信されない場合、前記ライン選択回路、前記制御回路、及び前記ラインの画素をリセットするように構成された読み出しコントローラ、
をさらに備える、請求項１５に記載の回路。

【請求項17】

前記読み出しコントローラが前記タイマ回路を含む、請求項１６に記載の回路。

【請求項18】

前記ラインの画素及び前記ライン選択回路に電気的に結合されたアドレス符号化回路であって、前記ライン選択回路からの前記アクノリッジ信号の受信に応答して前記要求読み出し信号を生成した画素に対するアドレス信号を生成するように構成されたアドレス符合化回路、
をさらに備える、請求項１５～１７のいずれか一項に記載の回路。

【請求項19】

前記インターフェース回路及び前記アドレス符号化回路に電気的に結合されたフォーマット回路であって、
前記インターフェース回路から前記データ信号を、前記アドレス符号化回路から前記アドレス信号を受信し、
前記データ信号及び前記アドレス信号を用いて出力データを生成する、
ように構成されたフォーマット回路、
をさらに備える、請求項１８に記載の回路。

【請求項20】

前記ラインの画素が前記アクノリッジ信号を受信したときに、前記画素によって決定された時間的コントラストが閾値を超える場合に、前記要求読み出し信号が前記画素によって生成される、請求項１５に記載の回路。

【請求項21】

前記要求読み出し信号が、前記時間的コントラストの正の変化を示す第１のステータスと、前記時間的コントラストの負の変化を示す第２のステータスとを含む、請求項２０に記載の回路。

【請求項22】

前記アクティブ化信号が、前記アクティブな画素の感光素子によって、前記感光素子に入射する光の輝度に応答して生成される、請求項１５～２１のいずれか一項に記載の回路。

【請求項23】

前記アクティブ化信号が、前記アクティブな画素によって決定される時間的コントラストが閾値を超える場合に前記アクティブな画素によって生成される、請求項１５～２１のいずれか一項に記載の回路。

【請求項24】

画像センサで使用するための画素回路であって、
比較器であって、前記比較器の入力信号が第１の条件に一致すると、第１の要求読み出し信号を生成するように構成され、前記入力信号は、感光素子に入射する光の輝度に応答して前記感光素子から生成される、比較器と、
第１のセット入力、第１のリセット入力、及び第１の出力を含む第１のラッチ回路であって、前記第１のリセット入力及び前記第１の出力はインターフェース回路に電気的に結合され、前記第１のセット入力は前記比較器に電気的に結合され、前記第１のラッチ回路は、
前記比較器から前記第１のセット入力によって前記第１の要求読み出し信号を受信し、
前記第１の要求読み出し信号を前記インターフェース回路に出力し、
前記第１のセット入力をロックして信号を受信せず、
前記第１のリセット入力によって前記インターフェース回路からアクノリッジ信号を受信することに応答して前記第１のセット入力をリセットして新たな信号を受信する、
ように構成された第１のラッチ回路と
を備える画素回路。

【請求項25】

前記比較器が、前記比較器の前記入力信号が第２の条件に一致するとき、第２の要求読み出し信号を生成するようにさらに構成される、請求項２４に記載の画素回路。

【請求項26】

第２のセット入力、第２のリセット入力、及び第２の出力を含む第２のラッチ回路であって、前記第２のリセット入力及び前記第２の出力はインターフェース回路に電気的に結合され、前記第２のセット入力は前記比較器に電気的に結合され、前記第２のラッチ回路は、
前記比較器から前記第２のセット入力によって前記第２の要求読み出し信号を受信し、
前記第２の要求読み取り信号を前記インターフェース回路に出力し、
前記第２のセット入力をロックして信号を受信せず、
前記第２のリセット入力によって前記インターフェース回路からアクノリッジ信号を受信することに応答して、前記第２のセット入力をリセットして新たな信号を受信する、
ように構成された第２のラッチ回路
をさらに備える、請求項２５に記載の画素回路。

【請求項27】

前記第１の条件が、前記入力信号によって示される時間的コントラストが第１の閾値を超えることを含む、請求項２４～２６のいずれか一項に記載の画素回路。

【請求項28】

前記第２の条件が、前記入力信号によって示される前記時間的コントラストが第２の閾値を超えることを含む、請求項２７に記載の画素回路。

【請求項29】

前記第１の要求読み出し信号が、前記時間的コントラストの正の変化を表し、前記第２の要求読み出し信号が、前記時間的コントラストの負の変化を表す、請求項２８に記載の回路。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０２０年２月１４日に提出された米国仮特許出願第６２／９７６，８６８号に付与された優先権を主張し、その内容は、参照により完全な形で本明細書に組み込まれる。

【0002】

本開示は、概して、事象ベースの視覚感知の分野、並びに事象を処理するためのシステム及び方法に関する。より具体的には、限定はしないが、本開示は、事象ベースの画像感知のための事象アレイ読み出し制御に関する。本明細書に開示されるセンサ及び技術は、セキュリティシステム、自律走行車、及び迅速かつ効率的な動き又は事象の検出から恩恵を受ける他のシステムなどの様々な用途及びビジョンシステムにおいて使用することができる。

【背景技術】

【0003】

現行の画像センサは、シーンのデジタル画像をキャプチャするために、半導体電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）センサ、Ｎ型金属酸化膜半導体（ＮＭＯＳ）センサ、又は他のセンサを構成する複数の画素を使用する。しかしながら、従来の画像センサは、各フレームがシーンのフル画像としてキャプチャされるので、急な動きの検出に時間がかかる。さらに、このような画像センサは、大量のデータを生成し、キャプチャされた画像から、例えば、動き情報をふるい分けるために必要な後処理の量を指数関数的に増大させる。

【0004】

多くの既存技術は、フル画像をキャプチャする画像センサによって提供される膨大な詳細を必要としない。例えば、セキュリティシステム又は他の類似のシステムは、動きデータにのみ関心があり、動きのない画像の部分には関心がない場合がある。別の例では、自律走行車は、人間の知覚時間（一般に１秒以下のオーダー）に匹敵する判断を下すために、キャプチャしたデータを迅速かつ効率的に処理する必要がある。このような効率は、状況に関連するキャプチャしたデータの部分を得るために、大量のデータを（例えば、後処理によって）廃棄しなければならない場合に制限される。

【発明の概要】

【0005】

本開示の実施形態は、事象視覚センサの画素からデータをサンプリングするための回路を提供する。回路は、選択回路と、制御回路と、インターフェース回路とを含み得る。選択回路は、事象視覚センサのラインの画素に電気的に結合されてもよい。選択回路は、ラインのアクティブな画素からアクティブ化信号を受信し、アクティブ化信号の受信に応答してアクノリッジ信号を生成し、アクノリッジ信号をラインの画素に送信するように構成されてもよく、ここでラインの各画素は、アクノリッジ信号の受信時にその画素がアクティブであるときに、要求読み出し信号を生成するよう構成される。制御回路は、ラインの画素のうち、選択回路までの距離が最も長い画素に電気的に結合されてもよい。制御回路は、選択回路からアクノリッジ信号を受信し、アクノリッジ信号の受信に応答してプロセス読み出し信号を生成するように構成されてもよい。インターフェース回路は、ラインの画素に電気的に結合され、プロセス読み出し信号を受信した後に、選択回路、制御回路、及びラインの画素をリセットさせるように構成されてもよい。

【0006】

本開示の実施形態は、事象視覚センサの画素からデータをサンプリングするための回路を同じく提供する。回路は、ライン選択回路、インターフェース回路、及びタイマ回路を含み得る。ライン選択回路は、事象視覚センサのラインの画素に電気的に結合されてもよい。ライン選択回路は、ラインのアクティブな画素からアクティブ化信号を受信し、アクティブ化信号の受信に応答してアクノリッジ信号及び開始信号を生成し、アクノリッジ信号をラインの画素に送信するように構成されてもよく、ここでラインの各画素は、アクノリッジ信号の受信時にその画素がアクティブであるときに、要求読み出し信号を生成するように構成される。インターフェース回路は、ラインの画素に電気的に結合されてもよい。インターフェース回路は、要求読み出し信号を受信したことに応答して、要求読み出し信号を生成した画素からデータ信号を受信するように構成されてもよい。タイマ回路は、インターフェース回路及びライン選択回路に電気的に結合されてもよい。タイマ回路は、ライン選択回路から開始信号を受信し、開始信号を受信したタイムスタンプからの時間間隔が閾値時間を超えた後にインターフェース回路によってデータ信号が受信されない場合、ライン選択回路及びラインの画素をリセットさせるように構成されてもよい。

【0007】

本開示の実施形態は、画像センサで使用するための画素回路をさらに提供する。画素回路は、比較器と、第１のラッチ回路とを含み得る。比較器は、比較器の入力信号が第１の条件に一致すると、第１の要求読み出し信号を生成するように構成されてもよく、入力信号は、感光素子に入射する光の輝度に応答して感光素子から生成される。第１のラッチ回路は、第１のセット入力、第１のリセット入力、及び第１の出力を含んでもよく、第１のリセット入力及び第１の出力はインターフェース回路に電気的に結合され、第１のセット入力は比較器に電気的に結合される。第１のラッチ回路は、比較器から第１のセット入力によって第１の要求読み出し信号を受信し、第１の要求読み出し信号をインターフェース回路に出力し、第１のセット入力をロックして信号を受信せず、第１のリセット入力によってインターフェース回路からアクノリッジ信号を受信することに応答して第１のセット入力をリセットして新たな信号を受信するように構成されてもよい。

【0008】

本明細書の一部を構成する添付の図面は、いくつかの実施形態を示し、その記載とともに、開示された実施形態の原理及び特徴を説明するのに役立つものである。

【図面の簡単な説明】

【0009】

【図1】本開示の実施形態による、事象ベースの視覚センサの画素の例示的なアーキテクチャの概略図である。

【図2】本開示の実施形態による、事象ベースの視覚センサの画素のための読み出しインターフェースの例示的なアーキテクチャの概略図である。

【図3】本開示の実施形態による、事象ベースの視覚センサのための例示的な回路の概略図である。

【図4】本開示の実施形態による、事象ベースの視覚センサのための別の例示的な回路の概略図である。

【図5】本開示の実施形態による、事象ベースの視覚センサの画素のための別の読み出しインターフェースの例示的なアーキテクチャの概略図である。

【図6】本開示の実施形態による、事象ベースの視覚センサのためのさらに別の例示的な回路の概略図である。

【図7】本開示の実施形態による、図６におけるプロトコル制御回路の例示的なアーキテクチャの概略図である。

【図8】本開示の実施形態による、事象ベースの視覚センサの読み出し回路のための信号タイミング図の概略図である。

【図9】本開示の実施形態による、事象ベースの視覚センサのチップトップ回路設計の例示的なアーキテクチャの概略図である。

【発明を実施するための形態】

【0010】

本明細書に開示される実施形態は、非同期、時間ベースの感知を含む視覚感知のためのシステム及び方法に関する。開示される実施形態はまた、事象ベースの視覚感知のための事象アレイ読み出しアーキテクチャ及び制御に関する。有利には、例示的な実施形態は、高速かつ効率的な感知を提供することができる。本開示の実施形態は、セキュリティシステム、自律走行車、及び迅速かつ効率的な動き又は事象の検出から利益を得る他のシステムなど、様々な用途及びビジョンシステムにおいて実装及び使用され得る。本開示の実施形態は、概ねビジョンシステムを参照して記載されるが、そのようなシステムは、カメラ、ＬＩＤＡＲ、又は他のセンサシステムの一部であり得ることが理解されよう。

【0011】

現行の画像又はビデオ処理システムにおいて、画像センサは、画像を再構成するために視覚情報を取得し、処理し得る。画像又はビデオ取得及び処理システムは、光センサのアレイを含むことができ、そのそれぞれは、視覚シーンの画像表現を再構成するために、視覚情報を取得し得る。このプロセスは、所定のペースで繰り返されてもよい。

【0012】

事象ベース（ＥＢ）視覚センサは、相対的な光変化の時間的発展を追跡するために、プリセットされた相対的閾値を超える時間的コントラストを画素ごとに検出し（コントラスト検出、ＣＤ）、絶対強度のフレームフリー画素レベル測定（露出測定、ＥＭ）用のサンプリングポイントを定めることができる。ＥＢセンサは、記録データの時間精度、時間的冗長性の抑制による後処理コストの低減、及びシーン内の広いダイナミックレンジ動作のおかげで、高速かつ低消費電力のマシンビジョンアプリケーションで人気を博している。時間的コントラスト（ＣＤ）情報は、画素のＸ、Ｙ座標、タイムスタンプ、及びコントラスト極性を含むデータパケットである「事象」の形で符号化することができる。高い時間精度で視覚情報をサンプリングする個々の画素の能力から最大限の利益を得るために、事象のタイミングを保持するために、早期のタイムスタンプと高い読み出しスループットが重要になり得る。

【0013】

いくつかの実施形態では、リアルタイム人工視覚（「コンピュータビジョン」又は「マシンビジョン」とも呼ばれる）のために、視覚取得及び処理システムは、以前に取得した視覚情報に対する現在の視覚情報の変化を表すデータのみを取得及び処理するように構成することができる。そのようなセンサ又は視覚システムは、画像のフレームを生成しないことがある。そのような視覚センサは、例えば、時間的コントラスト（ＴＣ）センサ、コントラスト検出（ＣＤ）センサ、又は動的視覚センサ（ＤＶＳ）を含み得る。このようなセンサは、本開示において「事象ベースの視覚センサ」と呼ばれる。

【0014】

例えば、ＴＣセンサは、現行の画像システムのようにフレームごとに画像を記録しない。その代わりに、ＴＣセンサの各画素は、それが感知する光の時間微分を決定することができる。いくつかの実施形態では、任意選択的に、画素は、さらに時間微分に対して何らかの処理を行うことができる。時間微分がプリセットされた閾値を超えると、画素は信号を出力することによって「事象」を生成することができる。短い待ち時間で、画素は、事象に関連するデータをさらに送信することができる。いくつかの実施形態において、送信されたデータは、ＴＣセンサ（例えば、２次元画素マトリックスを有する）内に位置する画素の位置（例えば、ｘ座標及びｙ座標）を含むことができる。いくつかの実施形態では、送信されたデータは、画素によって感知された光強度の時間的発展の極性を表す符号ビット（例えば、正又は負の符号）と共に含むことができる。いくつかの実施形態では、送信されたデータは、事象の発生のタイムスタンプを含むことができる。いくつかの実施形態では、画素の送信されたデータは、（ｘ、ｙ、ｓ）値のフローを含むことができ、ここで、ｘ及びｙは画素の座標を表し、ｓは極性を表す。ｓの値は、画素によって検出された光強度の相対的な変化を表し得、その際、ｓの値は変化の大きさを表すことができ、ｓの符号は変化の方向（例えば、増加又は減少）を表すことができる。典型的には、ＴＣセンサの画素回路は、非同期的に動作し得る。すなわち、ＴＣセンサの画素回路は、典型的には、時間ベースに対して量子化されない（例えば、クロックされない）。

【0015】

事象ベースの視覚センサ（例えば、ＴＣセンサ）は、データ読み出しのためにアドレス－事象－表現読み出し（ＡＥＲ）を使用することができる。いくつかの実施形態では、ＡＥＲは、画素と事象ベースの視覚センサの読み出し周辺部との間でハンドシェイクプロトコル（例えば、同期又は非同期ハンドシェイクプロトコル）を使用することができる。いくつかの実施形態では、ＡＥＲは、読み出しシステムの後段に配置することができる。いくつかの実施形態では、ＡＥＲは、事象ベースの視覚センサのチップと外部データレシーバとの間に配置することができる。

【0016】

いくつかの実施形態では、事象の読み出しサイクルは、２つの別個のハンドシェイクサイクルを含むことができる。例えば、画素は、行選択のために行方向読み出し周辺部に要求信号を送信することができる。さらに、又は任意選択的に、行アクノリッジ信号（例えば、成功した行選択を意味する）を受信した後、画素は、読み出し周辺部の列方向に要求信号を送信することができる。画素によって事象を出力するための読み出しサイクルは、画素が列アクノレッジ信号（例えば、成功した列選択を意味する）を受信すると終了し得る。いくつかの実施形態では、行アクノレッジ信号を受信した後、読み出しサイクルは終了してもよい（すなわち、画素は、読み出し周辺部の列方向への要求信号を送信しないか、又は列アクノレッジ信号を待たない）。

【0017】

本開示において、「行」及び「列」は、読み出し周辺部の２つの異なる次元を指し、その命名は任意である。読み出し周辺部の両方の次元は、読み出し周辺部の機能を変えることなく入れ替えることができる。以下、説明を容易にし、曖昧さを生じさせないために、画素によってアクセスされる第１及び第２の次元をそれぞれ「行」及び「列」と呼び、それぞれ次元指定子「Ｙ」及び「Ｘ」で指定される。

【0018】

場合によっては、読み出しのための行を選択するために、２つ以上の画素が同時に行方向読み出し周辺部にアクセスすることがある。それらの場合、アービタ回路を使用して、要求に優先順位を付けることができる。いくつかの実施形態において、アービタは、通信のためのハンドシェークアプローチを使用する非同期論理回路又は同期（例えば、クロック）論理回路として実装することができる。いくつかの実施形態では、アクティブな行選択のシーケンスを制御するために、単純なスキャナを使用することができる。

【0019】

ハンドシェイクプロトコル（例えば、同期又は非同期ハンドシェイクプロトコル）を実装する読み出しを有する事象視覚センサ（例えば、ＴＣセンサ）については、読み出しシステムにおける要求が確認されない場合に読み出しがブロックされ、ハンドシェイクプロトコルを停止させ得るリスク（「読み出しロックリスク」又は「読み出しロック問題」と称される）が依然として存在している。例えば、これは、画素が時間的コントラスト事象を検出し、対応する行要求（ｒｅｑＹ）信号を生成するが、行アクノリッジ（ａｃｋＹ）信号が読み出し周辺部によって生成される前に、時間的コントラスト事象が消滅する（例えば、画素の光入力が検出閾値を超えたことに関連する電圧信号が検出閾値を下回り、比較器が非アクティブ状態にスイッチバックする）場合に起こり得る。このような場合、画素は列要求（ｒｅｑＸ）信号を生成することができず（時間的コントラスト事象が消滅するため）、読み出しシステムは事象読み出しシーケンスの途中でフリーズする（すなわち、読み出しシステムは画素が要求信号生成プロトコルを完了するまで待つ）。同じ行の画素の１つに新しい事象が発生し、システムのロックが解除される可能性がある前に、事象ベースの視覚センサのすべての画素の読み出しが不定の時間停止される可能性がある。この好ましくない挙動により、デバイスが一時的に機能しなくなり、データが失われる可能性がある。

【0020】

本開示の一態様によれば、上記のリスク及び欠点に対処する、事象ベースの視覚センサ用の読み出しシステムが記載される。事象ベースの視覚センサは、複数の画素を有し得る。本明細書で使用される際、「画素」は、光を電気信号に変換するセンサの最小の素子を指す。また、本明細書で開示される際、画素は、感知システムに適した任意のサイズ及び形状のアレイで提供されてもよい。

【0021】

図１は、本開示の実施形態による、事象ベースの視覚センサの画素１００の例示的なアーキテクチャの概略図である。いくつかの実施形態において、画素は、感光素子１０２を含み得る。例えば、感光素子１０２は、フォトダイオード（例えば、ｐ－ｎ接合又はＰＩＮ構造）又は光１０４を電気信号に変換するように構成された任意の他の素子を含み得る。感光素子１０２は、感光素子１０２に衝突する光１０４の強度に比例する電流Ｉ_ｐｈを生成し得る。

【0022】

いくつかの実施形態では、各画素は、感光素子１０２に接続された光信号変換器（図１には示されていない）をさらに含み得る。光信号変換器は、感光素子１０２に衝突する光の強度に線形に比例する電流信号を第１の出力に提供し、感光素子１０２に衝突する光１０４の強度と対数である電圧信号を第２の出力に提供するように構成されてもよい。例えば、光信号変換器は、金属酸化膜半導体（ＭＯＳ）トランジスタ、相補型金属酸化膜半導体（ＣＭＯＳ）トランジスタ、又は電子信号を増幅又は切り替えるように構成された他の任意の３端子回路要素など、複数のトランジスタ（図１には示されていない）を含み得る。

【0023】

いくつかの実施形態では、各画素は、検出器（図１には示されていない）をさらに含み得る。検出器は、光信号変換器の第２の出力の電圧信号に比例する検出器の信号が閾値を超えたときに、自律的に且つ他の画素の検出器から独立して、トリガ信号を生成するように構成されてもよい。例えば、検出器は、１つ又は複数の電圧比較器と、制御信号の受信時にリセットし、閾値を超えたときにトリガ信号を送信するように配置された１つ又は複数のコンデンサとを含み得る。本開示では、様々な形態のコンデンサを使用することができる。例えば、コンデンサは、任意選択的にその間に誘電体を有する２つの平行（又は実質的に平行）プレートを含むディスクリートデバイスであってもよく、又は回路ノードに存在する寄生容量（例えば、他の回路要素の半導体実装に起因する）であってもよい。金属－酸化膜－半導体（ＭＯＳ）コンデンサ、金属－絶縁体－金属（ＭｉＭ）コンデンサ、金属フリンジコンデンサ、トレンチコンデンサ、又はそれらに類するものなど、他の形態のコンデンサも可能である。

【0024】

さらなる例として、図１に示すように、画素１００は、感光素子１０２（例えば、部分的にピン留めされたフォトダイオード）、サブスレッショルドＭＯＳベースの対数光電流－電圧変換器１０６（図１において「ｌｏｇ Ｉ／Ｖ変換器１０６」として示される）、非同期のデルタ変調又は「レベル交差」サンプラ１０８（図１において「ＡＤＭ１０８」として示される）、電圧比較器１１０（例えば、両極性用）、ＡＤＭ制御を有するロジック（図１において、ＩＳＬ１１２とＡＤＭ１０８との間に「ＣＴＲＬ_ＡＤＭ」として示される）、及び読み出し周辺部へのインターフェース及び状態ロジック（図１において「ＩＳＬ１１２」として示される）を含む。

【0025】

図２は、本開示の実施形態による、事象ベースの視覚センサの画素のための読み出しインターフェース２００の例示的なアーキテクチャの概略図である。読み出しインターフェース２００は、図１のインターフェース及び状態ロジック又はＩＳＬ１１２を実装するために使用することができる。いくつかの実施形態では、事象ベースの視覚センサの各画素は、読み出しインターフェース２００と同様の読み出しインターフェースを含むことができる。

【0026】

読み出しインターフェース２００は、すべての画素に少なくとも１つのメモリ素子（例えば、ラッチ）を追加することによって、読み出しロックリスクを軽減し得る。メモリ素子は、画素によって検出された時間的コントラストの各事象を直ちに「ロック」することができる。このロックは、同じ画素が受信した対応するアクノリッジ信号によってのみ解除することができる。このロックは、そこに入射する光信号のさらなる変化を検出する同じ画素によって解除されることはなく、同じ画素の要求生成プロトコルの完了を確実にすることができる。

【0027】

図２の例示的な実施形態に示すように、読み出しインターフェース２００は、２つの入力ラッチ２０２及び２０４を含む。いくつかの実施形態では、入力ラッチ２０２及び２０４は、比較器のスイッチング（例えば、図１の電圧比較器１１０のスイッチング）が遅い場合に電力を低減することができる。いくつかの実施形態では、入力ラッチ２０２及び２０４は、リンギングをさらに防止又は低減することができる。いくつかの実施形態において、入力ラッチ２０２及び２０４は、それぞれゲート付きラッチ２０６及び２０８と関連付けられる。ゲート付きラッチ２０６及び２０８は、遅い要求生成又は事象損失を防止することができる。いくつかの実施形態では、読み出しインターフェース２００の入力ラッチ２０２及び２０４は、事象を有する画素のみを格納することができる。

【0028】

入力ラッチ２０２及び２０４のそれぞれは、ＳＥＴ入力（「Ｓ」として表される）及びＲＥＳＥＴ入力（「Ｒ」として表される）を含み得る。第１の入力ラッチ２０２は、そのＳＥＴ入力が、時間的コントラストの正の極性（図１～２において「ＣＯＮ」として表される）を検出する比較器（例えば、図１の電圧比較器１１０）の第１の出力に電気的に結合されていてもよい。第２の入力ラッチ２０４は、そのＳＥＴ入力が、時間的コントラストの負の極性（図１～２において「ＣＯＦＦ」として表される）を検出する比較器（例えば、図１の電圧比較器１１０）の第２の出力に電気的に結合されていてもよい。時間的コントラストが検出され、比較器の出力（例えば、ＣＯＮ又はＣＯＦＦ）の１つがアクティブにされると、対応するラッチ（例えば、第１の入力ラッチ２０２又は第２の入力ラッチ２０４）はその状態を変更し得る。ＣＯＮがアクティブにされると、第１の入力ラッチ２０２は、行選択のためにその出力（「Ｑ」として表される）を介して正の極性を示す行要求信号（図２において「ｒｅｑＹ ＯＮ」として表される）を送信し得る。ＣＯＦＦがアクティブにされると、第２の入力ラッチ２０４は、行選択のために、その出力（「Ｑ」として表される）を介して、負の極性を示す行要求信号（図２において「ｒｅｑＹ ＯＦＦ」として表される）を送信し得る。行選択が成功した後、行選択回路（例えば、図３の行選択回路３０２）は、アクノリッジ信号（図２において「ａｃｋＹ」と表される）を読み出しインターフェース２００（例えば、両方の入力ラッチ２０２及び２０４に）に送信することができる。ａｃｋＹを受信した後、読み出しインターフェース２００は、入力ラッチ２０２及び２０４にロックされた事象を送信するようにトリガされることができる。例えば、ＣＯＮがアクティブにされ、ｒｅｑＹ ＯＮが送信されると、第１の入力ラッチ２０２は、そのロックされた事象（図１～２において「ｒｅｑＸ ＯＮ」として表される）を送信することができる。別の例として、ＣＯＦＦがアクティブにされ、ｒｅｑＹ ＯＦＦが送信されると、第２の入力ラッチ２０４は、そのロックされた事象を送信することができる（図１～２において「ｒｅｑＸ ＯＦＦ」として表される）。読み出しが進行中のとき（例えば、入力ラッチ２０２又は２０４の少なくとも１つがそのロックされた事象を送信しているとき）、読み出しインターフェース２００は、ａｃｋＹによってトリガされて、それらの有効化入力（「Ｅ」として表される）を介して入力ラッチ２０２及び２０４の両方を無効化する信号をアクティブにして事象損失を防止するためにＣＯＮ及びＣＯＦＦ経路を無効にし得る。読み出しを完了した後、次に読み出しインターフェース２００は、両方の入力ラッチをリセットするために、２つの入力ラッチ２０２及び２０４のＲＥＳＥＴ入力（「Ｒ」で表される）に対する制御信号（図１～２において「ＣＴＲＬ_ＡＤＭ」として示される）をアクティブにするようにトリガされることができる。ＣＯＮやＣＯＦＦの変更は、入力ラッチ２０２及び２０４のリセットに何ら影響を及ぼさない。

【0029】

図３は、本開示の一実施形態による、事象ベースの視覚センサのための例示的な回路３００の概略図である。回路３００は、画素のアレイを含み、その座標は、（０、０）、（１、０）、．．．（Ｍ、Ｎ）によって表される。画素のそれぞれ（例えば、座標（ｍ、ｎ）における画素）は、画素に電気的に結合された行選択回路３０２に行要求信号（図３において「ｒｅｑＹ」と表される）を送信し、行選択回路３０２から行選択アクノリッジ信号（図３において「ａｃｋＹ」と表される）を受信し得る。ａｃｋＹを受信した後、画素はさらに、データ読み出しをアクティブにするために、インターフェースセルへの列要求信号（図３において「ｒｅｑＸ」として表される）をアクティブにすることができる。ｒｅｑＸに続く「ＯＮ」及び「ＯＦＦ」は、画素の出力データの極性を表すことができる。選択された行の画素（「ｒｅｑＸ［０：２Ｍ－１］」）によってインターフェースセル３０６（例えば、［０：２Ｍ－１］と表示された合計２Ｍ個のインターフェースセル）に出力されたデータは、インターフェースセル３０６によってさらに出力フォーマット回路３０８に出力することができる。行アドレスエンコーダ３０４（「Ｙアドレスエンコーダ３０４」と称する）は、画素に電気的に結合され、選択された行の画素の座標（図３において「ａｄｄｒＹ［０：ｌｏｇ_２（Ｎ）－１］」と表される）を抽出して出力フォーマット回路３０８に出力することができる。出力フォーマット回路３０８は、ｒｅｑＸ［０：２Ｍ－１］とａｄｄｒＹ［０：ｌｏｇ_２（Ｎ）－１］を組み合わせて、それらをフォーマットデータ３１０として出力することができる。読み出しコントローラ３１２は、出力フォーマット回路３０８、インターフェースセル３０６、及び行選択回路３０２を制御することができる。

【0030】

いくつかの実施形態では、読み出しロック問題を軽減するために、回路３００の各画素は、画素１００とすることができ、そのＩＳＬは、読み出しインターフェース２００を含むことができる。

【0031】

いくつかの実施形態では、各画素内部の追加の構成要素を減らすために、読み出しロック問題を軽減するために、事象ベースの視覚センサにおいて外部「ウォッチドッグ」タイマ回路（図３には示されていない）を使用することができる。このタイマ回路は、インターフェースセル３０６によってｒｅｑＸが受信されたかどうかにかかわらず、行選択回路３０２から最後のａｃｋＹ信号を受信した後、プリセットされた非アクティブ時間の後に、読み出しシステムをロック解除することができる。いくつかの実施形態では、プリセット時間は、プログラム可能であってもよい。

【0032】

図４本開示の一実施形態による、事象ベースの視覚センサのための別の例示的な回路４００の概略図。回路３００と比較して、回路４００の読み出しコントローラ４０２は、タイマ回路（例えば、上述したような外部「ウォッチドッグ」タイマ回路）を含む。

【0033】

いくつかの実施形態では、回路４００の行（例えば、行ｎ）中の画素（例えば、画素（ｍ、ｎ））が時間的コントラスト事象を検出すると、画素は行要求信号（ｒｅｑＹ）を行選択回路３０２に送信することができる。次に、当該行がｒｅｑＹの受信に応答して行選択回路３０２によって正常に選択されると、行選択回路３０２は、アクティブな行（例えば、行ｎ）のいくつかの又はすべての画素にアクノリッジ信号ａｃｋＹを送り返すことができる。また、行選択回路３０２は、「ｒｏｗｒｅｑ」信号を生成し、それを読み出しコントローラ４０２に送信することができる。「ｒｏｗｒｅｑ」信号は、タイマ回路を開始することができる。ｙアドレスエンコーダ３０４は、アクティブな行の行アドレスを構築し、それらをａｄｄｒＹ［０：ｌｏｇ_２（Ｎ）－１］として出力することができる。

【0034】

ａｃｋＹを受信した後、アクティブな行の事象を検出したすべての画素（まだアクティブにされている場合、ｒｅｑＹを送信するきっかけとなった画素、及びｒｅｑＹが送信された後、及びａｃｋＹを受信する前にアクティブな行の新しい事象を検出したいずれかの画素）は、インターフェースセル３０６にｒｅｑＸを送信して、そのｒｅｑＹ信号を取り除くことができる。したがって、アクティブな行の共通行要求（ｒｅｑＹ）信号線は、非アクティブにすることができる。

【0035】

インターフェースセル３０６は、ｒｅｑＸ［０：２Ｍ－１］をそのメモリ素子にサンプリングし、ロード信号（図４において「ロード」と表される）を用いて読み出しコントローラ４０２に知らせることが可能である。ロード信号を受信した後、読み出しコントローラ４０２は、行選択回路３０２に「ｒｏｗａｃｋ」信号を送信して、行選択回路３０２をリセットすることができる。次に、行選択回路３０２は、アクティブな行に対するａｃｋＹを解除することができる。共通のａｃｋＹ信号線の非アクティブ化は、アクティブな行のアクティブな画素に、それらのアクティブにされたｒｅｑＸ信号を除去させることができ、これは読み出しサイクルを終了させる。ここで新しい行は、別のｒｅｑＹを受信することに応答して、行選択回路３０２によって選択されることができる。

【0036】

いくつかの実施形態では、読み出しロックが発生し、読み出しシステムがフリーズすると、回路４００は、以下のように読み出しコントローラ４０２内のタイマ回路によって制御されるｒｏｗａｃｋ信号によってロック解除されることができる。読み出しコントローラ４０２がｒｏｗｒｅｑ信号を受信した後、プリセット時間の後にｒｅｑＸ信号がインターフェースセル３０６に送信されず（例えば、読み出すべき事象がない）、したがって読み出しコントローラ４０２がロード信号を受信しない場合、読み出しコントローラ４０２は、行選択回路３０２をリセットするためにｒｏｗａｃｋ信号を行選択回路３０２に送信すべくアクティブにすることができる。リセット後、行選択回路３０２は、アクティブな行のａｃｋＹを解除することができる。ここで新しい行は、別のｒｅｑＹを受信することに応答して、行選択回路によって選択されることができる。

【0037】

いくつかの実施形態では、プリセット時間は、アクティブな行のアクティブな画素の数及び分布とは無関係に、行のすべてのアクティブな画素が中断されずにそれらのｒｅｑＸの送信を完了できるようにプログラムすることができる。

【0038】

図５は、本開示の一実施形態による、事象ベースの視覚センサの画素のための別の読み出しインターフェース５００の例示的なアーキテクチャの概略図である。図２と比較して、読み出しインターフェース５００は、読み出しインターフェース２００と同様であるが、いかなる入力ラッチも含んでいない。いくつかの実施形態において、図４の回路４００の画素は、画素１００であることができ、そのＩＳＬは、読み出しインターフェース２００又は５００を含むことができる。そうすることによって、回路４００は、回路に大幅に追加の構成要素を追加することなく、読み出しロック問題を緩和することができる。

【0039】

図５において、読み出しインターフェース５００は、比較器の出力のそれぞれ（すなわち、ＣＯＮ及びＣＯＦＦパスのそれぞれ）に対して、２つのスイッチ５０２及び５０４を含む。ＣＯＮ及びＣＯＦＦパスのそれぞれについて、第１のスイッチ５０２は、比較器（例えば、図１の電圧比較器１１０）の出力に接続され、第２のスイッチ５０４は、ａｃｋＹパスに接続される。ＣＯＮ（又はＣＯＦＦ）がアクティブにされると、第１のスイッチ５０２は、行選択のためのｒｅｑＹ ＯＮ（又はｒｅｑＹ ＯＦＦ）を送信するように接続され得る。行選択が成功した後、行選択回路（例えば、図３～４の行選択回路３０２）は、ａｃｋＹを読み出しインターフェース５００に送信することができる。ａｃｋＹを受信した後、読み出しインターフェース５００は、事象を送信するためにトリガされることができる。例えば、ＣＯＮがアクティブにされ、ｒｅｑＹ ＯＮが送信されると、読み出しインターフェース５００は、ｒｅｑＸ ＯＮを送信することができる。別の例として、ＣＯＦＦがアクティブにされ、ｒｅｑＹ ＯＦＦが送信されると、読み出しインターフェース５００は、ｒｅｑＸ ＯＦＦを送信することができる。読み出しが進行中のとき（例えば、事象が送信されているとき）、読み出しインターフェース５００は、ａｃｋＹによってトリガされ、スイッチ５０２及び５０４を切断して、事象損失を防止するためにＣＯＮ及びＣＯＦＦ経路を無効とすることができる。読み出しを完了した後、読み出しインターフェース５００は、次に、ＣＴＲＬ_ＡＤＭをアクティブにして、ｒｅｑＸ ＯＮ及びｒｅｑＸ ＯＦＦをリセットする（例えば、接地することによって）ようにトリガされることができる。

【0040】

いくつかの実施形態では、読み出しロック問題を緩和するために、図３実施形態の回路３００の画素の各行の最後にプロトコル制御回路を追加することができる。図６は、本開示の実施形態による、事象ベースの視覚センサのための例示的な回路６００の概略図である。回路６００は、回路３００と同様であるが、プロトコル制御回路（「ＰＣＣ ０」、「ＰＣＣ １」、…「ＰＣＣ Ｎ」で表される）をさらに含む。いくつかの実施形態では、回路６００の画素は、画素１００であり得、そのＩＳＬは、読み出しインターフェース２００又は５００を含み得る。そうすることによって、回路６００は、回路に大幅に追加の構成要素を追加することなく、読み出しロックの問題を緩和することができる。図７は、本開示の実施形態による、図６で使用するためのプロトコル制御回路７００の例示的なアーキテクチャの概略図である。プロトコル制御回路７００は、それが電気的に結合される行が選択されるとき、及びａｃｋＹを受信するとき、列要求信号（図７において「ｒｅｑＸ＿ｔ」として表される）を生成するようにトリガされることができる。プロトコル制御回路７００は、画素と同じ電気的特性を有するように、画素インターフェースの出力部と類似させることができる。

【0041】

図６に戻ると、いくつかの実施形態では、プロトコル制御回路は、行選択回路３０２の反対側に追加することができる。いくつかの実施形態では、プロトコル制御回路は、行内の画素と同様に読み出しシステムに電気的に結合することができる。ａｃｋＹを受信した後にアクティブであるときにのみｒｅｑＸを生成できる画素とは異なり、プロトコル制御回路は、行選択回路３０２からａｃｋＹを受信することに応答して、プロトコル列要求信号（図６において「ｒｅｑＸ＿ｔ」として表される）を常に生成してインターフェースセル３０６に送信することができる。

【0042】

いくつかの実施形態では、図６に示すように、プロトコル制御回路は、行選択回路３０２までの距離が、同じ行のどの画素よりも長くなるように配置することができる。そうすることによって、行選択回路３０２によって生成されたいずれの信号も、プロトコル制御回路に最後に到着する（すなわち、同じ行のすべての画素がプロトコル制御回路より先に信号を受信する）。次に、プロトコル制御回路がａｃｋＹを受信すると、ｒｅｑＸ＿ｔのアクティブ化が起こる。プロトコル制御回路は行の最後に配置されるので（すなわち、選択された行の画素と比較して、行選択回路３０２までの距離が最も長い）、プロトコル制御回路は行の最後の画素の直後にａｃｋＹを受信し、アクティブな画素からのすべてのｒｅｑＸ（例えば、ｒｅｑＸ ＯＮ又はｒｅｑＸ ＯＦＦ）はｒｅｑＸ＿ｔが送信される前に読み出しのために送信されることができる。ｒｅｑＸ＿ｔは、ｒｅｑＸを送信するアクティブな画素がない場合でも、常に生成することができるので、読み出しプロセスの継続を常にトリガすることができ、それによって、読み出しロック問題を防止することができる。また、回路６００の設計により、ｒｅｑＸを送信するアクティブな画素がない場合、ｒｅｑＸ＿ｔを最小の遅延で生成することができる。このようにして、読み出しロック問題が発生した場合、読み出しプロセスのロックを解除するために必要な時間を自動的に最小化することができる。また、データ損失のリスクや不要な遅延を最小にすることができる。回路６００は、デバイスの不一致、プロセスの変動、温度の変動、又は他の任意の作業条件に対して堅牢であることができる。

【0043】

いくつかの実施形態では、インターフェースセル３０６がｒｅｑＸ＿ｔを受信すると、アクティブな行の画素からｒｅｑＸ信号を受信しなかったことを示すために、読み出しコントローラ６０２（例えば、図３の読み出しコントローラ３１２と同様）にロード信号を送信することができる。ロード信号を受信した後、読み出しコントローラ６０２は、ｒｏｗａｃｋ信号を行選択回路３０２に送信することができる。ｒｏｗａｃｋ信号を受信した後、行選択回路３０２は、リセットされ、アクティブな行のａｃｋＹを解除することができる。ここで新しい行は、別のｒｅｑＹを受信することに応答して、行選択回路３０２によって選択されることができる。

【0044】

いくつかの実施形態では、回路６００は、読み出しコントローラ６０２（例えば、図４の読み出しコントローラ４０２と同様）内のタイマ回路（例えば、図４の回路４００のタイマ回路）を追加的に含むことができる。いくつかの実施形態では、回路６００の画素は、画素１００であり得、そのＩＳＬは、読み出しインターフェース２００又は５００を含み得る。いくつかの実施形態では、回路６００は、さらに、読み出しコントローラ６０２のタイマ回路を含むことができ、回路６００の画素は、画素１００であることができ、そのＩＳＬは、読み出しインターフェース２００又は５００を含むことができる。そうすることによって、読み出しロックの問題は、少なくとも２つの代替の独立した機構によって回避することができる。このような冗長設計により、読み出しロック問題が発生する可能性をさらに抑制することができる。

【0045】

図８は、本開示の実施形態による、事象ベースの視覚センサの読み出し回路の信号タイミング図の概略図である。図８において、異なる信号のタイムラインは整列され、矢印付きのダッシュ線は、信号間のトリガ関係を示す。図８は、回路６００の２つのハンドシェイクサイクルを示し、第１のハンドシェイクサイクルは、ｒｅｑＹのアクティブ化から始まり、Ａｃｋのアクティブ化で終了し、第２のハンドシェイクサイクルは、Ａｃｋのアクティブ化から始まり、Ａｃｋの非アクティブ化で終了する。

【0046】

図８に示すように、行の画素が時間的コントラスト事象を検出すると、その画素はｒｅｑＹ信号をアクティブにすることができる。ｒｅｑＹに応答して行選択回路（例えば、図６の行選択回路３０２）によって行が正常に選択されると、行選択回路は、アクティブな行に対してａｃｋＹをアクティブにすることができる。

【0047】

ａｃｋＹのアクティブ化は、さらに、アクティブな行のアクティブな画素（例えば、図６の画素（１、１））によって生成されるｒｅｑＸ、アクティブな行のすべての画素がａｃｋＹを受け取った後にアクティブな行のプロトコル制御回路（例えば、ＰＣＣ１）によって生成されるｒｅｑＸ＿ｔ、及び行選択回路によって生成されるｒｏｗｒｅｑという、３つの信号をアクティブにすることができる。アクティブな行については、ａｃｋＹを受信した後のすべてのアクティブな画素が、前述したようにｒｅｑＸ信号を生成することができる。

【0048】

読み出しコントローラ（例えば、図６の読み出しコントローラ６０２）は、プロトコル制御列によって生成されたｒｅｑＸ＿ｔ信号から派生したロード信号を受け取り、出力フォーマット回路（例えば、図６の出力フォーマット回路３０８）に対してＲｅｑ信号をアクティブ化することができる。出力フォーマット回路は、インターフェースセル（例えば、図６のインターフェースセル３０６）からｒｅｑＸ［０：２Ｍ－１］を、ｙアドレスエンコーダ（例えば、図６のｙアドレスエンコーダ３０４）からａｄｄｒＹ［０：ｌｏｇ_２（Ｎ）－１］を受信することができる。ｒｅｑＸ［０：２Ｍ－１］及びａｄｄｒＹ［０：ｌｏｇ_２（Ｎ）－１］の受信を完了した後、出力フォーマット回路は、データを出力し、読み出しコントローラに対してＡｃｋをアクティブ化することができる。

【0049】

いくつかの実施形態では、インターフェースセルによってｒｅｑＸ［０：２Ｍ－１］が受信されない場合、インターフェースセルは最終的にプロトコル制御回路によって送信されたｒｅｑＸ＿ｔを受信し、さらに読み出しコントローラへのロード信号（図８には示されていない）をアクティブにすることができる。ロード信号を受信すると、読み出しコントローラは、ｒｅｑＸ信号がアクティブでなくても、プロトコルを継続するために出力フォーマット回路に対してＲｅｑをアクティブにすることができる。その後、出力フォーマット回路は、空の行の読み出しを抑制する。

【0050】

出力フォーマット回路からＡｃｋを受信すると、読み出しコントローラは、行選択回路に対してｒｏｗａｃｋをアクティブにすることができる。次に、行選択回路は、ｒｏｗｒｅｑとａｃｋＹの２つの信号を非アクティブにすることができる。ａｃｋＹの非アクティブ化は、ｒｅｑＸ、ｒｅｑＸ＿ｔ、ｒｏｗａｃｋ、Ｒｅｑ、及びＡｃｋを非アクティブ化するトリガとなり得る。ｒｏｗｒｅｑの非アクティブ化は、ａｃｋＹが非アクティブ化されたことを読み出しコントローラに示すことができ、さらにｒｏｗａｃｋを非アクティブ化することができる。

【0051】

図９は、本開示の実施形態による、事象ベースの視覚センサのためのチップトップ回路９００の例示的なアーキテクチャの概略図である。チップトップ回路９００は、画素アレイ９０２を含む。一例として、画素アレイ９０２は、１６：９（例えば、１２８０×７２０画素）の表面アスペクト比を有することができる。チップトップ回路９００はまた、選択的な読み出し（例えば、画素の行の読み出し）のための非同期読み出し回路９０４（「Ｙアービタ」又は「行セレクタ」）と、選択された読み出し（例えば、非同期読み出し回路９０６によって選択された画素の行）からの画素データを格納（例えば、一時的に格納）するためのＸラッチ９０６と、Ｘラッチ９０６からデータを受け取り、受け取ったデータを同期化、パケット化、及びタイムスタンプ付け（例えば、データパケットにデジタルタイムスタンプを付けることによって）するためのベクトル読み出し及びタイムスタンプ回路９０８と、を含むことができる。さらに、チップトップ回路９００は、ベクトル読み出し及びタイムスタンプ回路９０８からデータを受け取り、受け取ったデータをフィルタリング、フォーマット化、及び前処理するための事象信号処理（ＥＳＰ）回路９１０と、データをオフチップへ送るためにＥＳＰ回路９１０からデータを受け取るためのデジタルインターフェース９１２とを含むことができる。一例として、デジタルインターフェース９１２は、シリアルインターフェース、パラレルインターフェース、低電圧差動信号（ＬＶＤＳ）インターフェース、モバイルインダストリープロセッサインターフェース（ＭＩＰＩ）、又は別の適切なタイプのインターフェースとして実装することが可能である。一実施形態では、デジタルインターフェース９１２は、パラレルインターフェースとして実装され、１６ビット幅などの好適な幅を有する。

【0052】

図９を再び参照すると、チップトップ回路９００は、構成要素の高レベル統合のためのオンチップ電力管理回路９１４、クロッピング又はサブサンプリング構成のための構成可能ＲＯＩ回路９１６、起動段階でチップトップ回路９００に送られたセットアップデータを受信するためのデジタルデータインターフェース９１８（例えば、シリアル周辺インターフェース、別名「ＳＰＩ」）、デジタルデータインターフェース９１８によって受信したセットアップデータを格納するレジスタマップ９２０、バイアス発生器９２２（例えば、デジタル－アナログ変換器、別名「ＤＡＣ」）、レジスタマップ９２０に格納されたレジスタ設定データに基づいてバイアス発生器９２２内のアナログ回路を（例えば、ＳＰＩコマンドを介して）制御するためのバイアス発生器制御回路９２４、及び非同期読み出し回路９０４、Ｘラッチ９０６、ベクトル読み出し及びタイムスタンプ回路９０８との間で信号を送受信することによって読み出しプロトコルを制御するためのステートマシン９２６をさらに含むことができる。いくつかの実施形態では、ＥＳＰ回路９１０は、選択された事象（例えば、欠陥画素からの）を除去するためのルックアップテーブル（ＬＵＴ）ベースのアドレスフィルタ（図９に示されていない）を含むことができる。本開示の実施形態と一致して、チップトップ回路９００は、図９に関連して図示され記載された例以外の他の構成要素を追加的又は代替的に含むことができる。

【0053】

上記記載は説明のために提示されている。それは網羅的ではなく、また開示された正確な形態及び実施形態に限定されない。実施形態の変更及び適合が、明細書の考察及び開示された実施形態の実施から明らかになるであろう。例えば、記載した実践形態は回路及びハードウェアを含むが、本開示に一致するシステム及び方法は、ハードウェア、ファームウェア及び／又はソフトウェアの任意の適切な組み合わせによって実践することができる。さらに、特定の構成要素を互いに結合されているものとして記載したが、そのような構成要素は互いに一体化してもよいし、任意の適切な方法で分散させてもよい。

【0054】

さらに、説明に役立つ実施形態を本明細書に記載してきたが、その範囲は、本開示に基づく等価な要素、変更、省略、組合せ（例えば、本明細書に開示される様々な実施形態全体にわたる態様の組合せ）、適応及び／又は変形を有するありとあらゆる実施形態を含む。特許請求の範囲の要素は、特許請求の範囲で用いられる言語に基づいて広く解釈されるべきであり、本明細書に記載された例及び出願の審査中に限定されず、その例は非排他的であると解釈されるべきである。さらに、開示された方法のステップは、ステップの並べ替え及び／又はステップの挿入又は削除を含む任意の方法で変更することができる。

【0055】

本開示の特徴及び利点は、詳細な明細書から明らかであり、したがって、添付の特許請求の範囲は、本開示の真の趣旨及び範囲に含まれるすべてのシステム及び方法を網羅することが意図されている。ここで使用される際、不定冠詞“ａ”及び“ａｎ”は、「１つ又は複数」を意味する。同様に、複数の用語の使用は、与えられた文脈で明確でない限り、必ずしも複数を意味するわけではない。「及び（ａｎｄ）」又は「又は（ｏｒ）」などの単語は、特段の定めがない限り「及び／又は（ａｎｄ／ｏｒ）」を意味する。さらに、本開示の検討から多くの変形及び変更が容易に生じるので、本開示を図示及び記載された正確な構造及び動作に限定することは望ましくなく、したがって、本開示の範囲内にあるすべての適切な変更及び等価物に訴えることができる。

【0056】

他の実施形態は、本明細書及びここに開示された実施形態の実施の考慮から明らかになるであろう。本明細書及び実施例は、例としてのみ考慮されることが意図され、開示された実施形態の真の範囲及び趣旨は、以下の特許請求の範囲によって示される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】