特許 7160410 時間に依存した画像データを検出するためのセルのアレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-17

(45)【発行日】2022-10-25

(54)【発明の名称】時間に依存した画像データを検出するためのセルのアレイ

(51)【国際特許分類】

   H04N 5/374 20110101AFI20221018BHJP

   H04N 5/3745 20110101ALI20221018BHJP

【ＦＩ】

H04N5/374

H04N5/3745 500

【請求項の数】 11

(21)【出願番号】P 2021500685

(86)(22)【出願日】2019-07-04

(65)【公表番号】

(43)【公表日】2021-09-13

(86)【国際出願番号】 EP2019068044

(87)【国際公開番号】W WO2020011651

(87)【国際公開日】2020-01-16

【審査請求日】2021-03-05

(31)【優先権主張番号】18182942.5

(32)【優先日】2018-07-11

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】520417403

【氏名又は名称】イニベーション・アー・ゲー

(74)【代理人】

【識別番号】110001173

【氏名又は名称】弁理士法人川口國際特許事務所

(72)【発明者】

【氏名】リー，チュンハン

【審査官】豊田 好一

(56)【参考文献】

【文献】特表２０１０－５１０７３２（ＪＰ，Ａ）

【文献】特開２０１１－１７１８０６（ＪＰ，Ａ）

【文献】特開２０００－３１６１２７（ＪＰ，Ａ）

【文献】国際公開第２０１９／０９７７９７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１４／０００９６５０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／３７４

Ｈ０４Ｎ ５／３７４５

(57)【特許請求の範囲】

【請求項1】

時間に依存した画像データを検出するためのフォトアレイであって、多数のデバイスセル（１）のアレイを含み、各デバイスセル（１）は、
フォトセンサ（２）のグループ（１２）であって、各フォトセンサ（２）は、前記フォトセンサ（２）においての光強度に依存するアナログセンサ信号を生成するように構成される、フォトセンサ（２）のグループ（１２）と、
各フォトセンサ（２）に対して、前記フォトセンサ（２）により生成されたアナログセンサ信号を、前記フォトセンサ（２）から生じるデジタル画素情報へと変換するように構成される画素コード化回路と、
処理ユニット（１３）であって、フォトセンサ（２）の前記グループ（１２）のフォトセンサ（２）から生じる前記デジタル画素情報を相関させるように、ならびに、読み取られるべきデジタル画素情報を前記デバイスセル（１）が含むことを示す要求信号、および／または、前記デバイスセル（１）内に含まれるデジタル画素情報が送信されることを可能とするために処理ユニット（１３）内で利用される通過信号を結果として作り出すように構成される時空間的相関論理（３）を含む、処理ユニット（１３）と
を含む、フォトアレイ。

【請求項2】

フォトセンサ（２）の前記グループ（１２）の２つ以上のフォトセンサ（２）が、互いに隣接して配置構成されることを特徴とする、請求項１に記載のフォトアレイ。

【請求項3】

多数のデバイスセル（１）が、デバイスセル（１）の多数のセット（７）へと分けられること、ならびに、デバイスセル（１）の各セット（７）が、デバイスセル（１）の前記セット（７）の端部に配置される２次処理ユニット（８）をさらに含み、その２次処理ユニット（８）が、前記デバイスセル（１）のうちの選択されたデバイスセルのフォトセンサ（２）の前記グループ（１２）のフォトセンサ（２）から生じる前記デジタル画素情報を相関させ、読み取られるべきデジタル画素情報を前記選択されたデバイスセルが含むことを示す要求信号、および／または、前記選択されたデバイスセル内に含まれるデジタル画素情報が送信されることを可能とするために２次処理ユニット（８）内で利用される少なくとも１つの通過信号を結果として作り出すように構成される２次相関論理（８１、８２）を含むことを特徴とする、請求項１または２に記載のフォトアレイ。

【請求項4】

前記時空間的相関論理（３）および／または前記２次相関論理（８１、８２）が、組合せ論理により実現されることを特徴とする、請求項３に記載のフォトアレイ。

【請求項5】

前記２次相関論理（８１、８２）が、時空間的相関論理であることを特徴とする、請求項３または４に記載のフォトアレイ。

【請求項6】

前記時空間的相関論理（３）および／または前記２次相関論理（８１、８２）が、前記デジタル画素情報の相関結果が、最小しきい値数（Ｎ）以上である、および／または、最大しきい値数（Ｍ）以下であるとき、要求信号および／または通過信号を作り出すように構成されることを特徴とする、請求項３から５のいずれか一項に記載のフォトアレイ。

【請求項7】

前記処理ユニット（１３）が、フォトセンサ（２）の前記グループ（１２）の各フォトセンサ（２）に対して、前記グループ（１２）の前記対応するフォトセンサ（２）から生じるデジタル画素情報を受信し一時的に記憶するように、ならびに、前記対応するフォトセンサ（２）の前記画素コード化回路をリセットおよび／またはリスタートするように構成される画素動作論理（５）を含むことを特徴とする、請求項３から６のいずれか一項に記載のフォトアレイ。

【請求項8】

前記処理ユニット（１３）が、フォトセンサ（２）のグループ（１２）の各フォトセンサ（２）に対して、前記フォトセンサ（２）から生じる前記デジタル画素情報を記憶するように構成されるイベント記憶メモリ（４）を含む、および／または、
前記２次処理ユニット（８）が、フォトセンサ（２）のグループ（１２）の各フォトセンサ（２）に対して、前記フォトセンサ（２）から生じる前記デジタル画素情報を記憶するように構成される２次イベント記憶メモリ（６）を含む
ことを特徴とする、請求項３から７のいずれか一項に記載のフォトアレイ。

【請求項9】

前記処理ユニット（１３）が、フォトセンサ（２）のグループ（１２）の各フォトセンサ（２）に対して、前記フォトセンサ（２）から生じる前記デジタル画素情報を記憶するように構成される記憶メモリ（４）を含み、前記２次処理ユニット（８）が、フォトセンサ（２）のグループ（１２）の各フォトセンサ（２）に対して、前記フォトセンサ（２）から生じる前記デジタル画素情報を記憶するように構成される２次記憶メモリ（６）を含み、前記２次記憶メモリ（６）が、前記記憶メモリ（４）から前記デジタル画素情報を受信するように構成されることを特徴とする、請求項８に記載のフォトアレイ。

【請求項10】

前記処理ユニット（１３）および／または前記２次処理ユニット（８）が、選択信号を受信するように、および、前記選択信号に応答して、前記通過信号に、または、前記少なくとも１つの通過信号に依存して、前記デバイスセル（１）または前記選択されたデバイスセルが含む、読み取られるべきデジタル画素情報を並列方式で送信するように構成されることを特徴とする、請求項３から９のいずれか一項に記載のフォトアレイ。

【請求項11】

前記画素コード化回路が、前記フォトセンサ（２）により生成されたアナログセンサ信号を、前記フォトセンサ（２）により生成されたセンサ信号の変化を示すデジタル画素情報へと変換するように構成される変化検出回路であることを特徴とする、請求項１から１０のいずれか一項に記載のフォトアレイ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、時間に依存した画像データを検出するためのフォトアレイに関する。

【背景技術】

【0002】

そのようなフォトアレイは、普通は画素のアレイからなり、それらの画素の各々は、フォトダイオードなどのフォトセンサと、画素コード化回路とを含む。フォトセンサは、入射光強度に対応するアナログセンサ信号を生成する。このアナログ信号は、引き続いて、画素コード化回路により、以下においてデジタル信号情報と呼ばれるデジタル信号へとコンバートされる。

【0003】

米国特許第７，７２８，２６９Ｂ２号が、そのようなフォトアレイを提案しており、そのフォトアレイは、フォトアレイのフォトセンサにより捕捉されるシーンの時間的視覚的コントラストをコード化する。そのようにすることにより、時間的冗長性、フォトアレイの出力データは、ほとんど消失させられ、そのことにより、オン／オフイベントのフォーマットでのアクティビティ駆動型（ａｃｔｉｖｉｔｙ－ｄｒｉｖｅｎ）スパースデータを作り出す。このことは、各イベントが、符号オン／オフと、画素座標とからなることを意味する。しかしながら、米国特許第７，７２８，２６９Ｂ２号において説明されるフォトアレイからのイベントベースの出力は、ノイズイベント、および、空間的に冗長なイベントを作る、ノイズおよび空間的冗長性により引き起こされる、望ましいよりも多い量のデータを、依然として含む。ノイズイベント、および、空間的に冗長なイベントの両方は、とりわけ、シーン空間的コントラストが、この上ない関心のものであるとき、有意味の情報を薄めることがある。

【0004】

別個の回路において、または、ホストデバイス上で走るソフトウェアを通してのいずれかで実現され得る別個の信号処理を通して、ノイズイベントをフィルタリングし取り除くことが可能である。しかしながら、効果的なフィルタリングは、ホストデバイスに対する相当の計算コストをかけてはじめて達成され得る。さらにまた、すべてのノイズイベントは、依然として、フォトアレイからホストデバイスに、多重化通信バスにより送出されることを必要とし、そのことは、通信バスへの高い負担につながる。

【0005】

ノイズイベントをフィルタリングし取り除くためのホストコンピュータ上の計算コスト、および、ノイズイベントを送信するための通信負担を低減するために、相関ベースのノイズイベントフィルタリングアルゴリズムが、フォトアレイおよびホストデバイスの両方とは別個である、プログラマブル論理デバイスへと実現され得る。米国特許出願公開第２０１６／０２７４６４３Ａ１号において、時空間的相関原理に基づくノイズイベントフィルタが提案されている。ホストデバイス、および、ホストデバイスの通信バスに対する負担を低下させる一方で、時空間的相関ベースのノイズイベントフィルタの、そのようなハードウェア実装形態は、すべてのイベントが、ノイズイベントがフィルタリングし取り除かれ得る前に、フォトアレイから２次（ｓｅｃｏｎｄａｒｙ）デバイスに送信されることを、依然として要する。それゆえに、フォトアレイから２次デバイスへの多重化通信バスは、依然として、ノイズイベントにより負担をかけられる。このことは、極端な場合、すなわち、通信バスが、所望される時間フレーム内にすべてのイベントを送信することができないとき、フォトアレイそれ自体の効果的動作を損ない得る。さらにまた、そのような時空間的相関ベースのノイズイベントフィルタリングアルゴリズムは、また、空間的に冗長なイベントをフィルタリングし取り除くことができない。

【先行技術文献】

【特許文献】

【0006】

【文献】米国特許第７，７２８，２６９号明細書

【文献】米国特許出願公開第２０１６／０２７４６４３号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

フォトアレイ上で発生し得る、ノイズイベント、および、場合によりまた、空間的に冗長なイベントをフィルタリングし取り除くことができ、一方で、フォトアレイを読み出すホストデバイスへの負担、ならびに、フォトアレイおよびホストデバイスを接続する通信バスへの負担を低下させるデバイスを提唱することが、本発明の目的である。

【課題を解決するための手段】

【0008】

この目的は、請求項１の特徴を伴うフォトアレイを提供することにより、本発明によってかなえられる。本発明のさらなる有利な実施形態は、従属請求項の主題である。

【0009】

本発明によれば、フォトアレイは、多数のデバイスセルのアレイを含む。各デバイスセルは、画素のグループと、処理ユニットとを含む。各画素は、フォトセンサと、画素コード化回路とを含む。例えばフォトダイオードまたはフォトトランジスタである各フォトセンサは、前記フォトセンサに当たる光の光強度に依存するアナログセンサ信号を連続的に生成する。さらなるデジタル処理のためのデジタル信号を取得するために、画素コード化回路は、前記フォトセンサにより生成されたアナログセンサ信号を、デジタル画素情報へと変換する。以下において、このデジタル画素情報は、前記フォトセンサから生じるデジタル画素情報または画素情報と識別される。

【0010】

フォトセンサ、および、後に続く画素コード化回路のユニットは、画素情報を生成する画素と規定され得る。かくして、本発明のフォトアレイは、事実上、画素のアレイを含み、それらの画素の各々は、フォトセンサと、そのフォトセンサに対する画素コード化回路とを含み、フォトセンサと画素コード化回路は、フォトアレイがデバイスｓｅｌｌのアレイを同時に含むように、一緒にグループにされる。例として、高精細度用途に対するフォトアレイは、１２８０掛ける７２０画素（またはフォトセンサ）を含み得る。グループサイズが４である、かくして、各デバイスセルが、２掛ける２画素（またはフォトセンサ）のサブアレイを含むならば、このことは、前記フォトアレイ内の６４０掛ける３６０デバイスセル（または処理ユニット）のアレイに対応することになる。

【0011】

上記で解説されたように、画素コード化回路により生成された画素情報は、ノイズイベント、および／または、空間的に冗長なイベントにより重畳され得る。ノイズイベントは、画素内のトランジスタ熱雑音およびジャンクションリーク電流が、フォトセンサにおいての入射光の時間的強度変化に対応する、転換された内部的な電気信号を引き起こして、画素コード化回路のオン／オフイベント検出しきい値を上回るときに生起し得る。空間的に冗長なイベントは、フォトアレイにより検出されるシーン内のいくつかの領域、または、シーンの全体が、均一に、より明るく、または、より暗くなるときに、例えば、シーンの部分、または、シーンの全体が、増大される、または、減少される光により照明されるときに生起し得る。

【0012】

ノイズイベント、および、空間的に冗長なイベントの両方は、とりわけ、シーン空間的コントラストが、この上ない関心のものであるとき、有意味の情報を薄める。さらにまた、過剰なノイズイベント、および、空間的に冗長なイベントは、画素アレイとホストとの間の通信バスに不必要な負担をかけ、そのことは、極端な場合は、例えば、通信バスが、所望される時間フレーム内にすべてのイベントを送信することができないとき、画素アレイの効果的動作を損ない得る。

【0013】

本発明は、グループのフォトセンサから生じる画素情報を相関させることにより、画素情報内のノイズイベント、および、場合によりまた、空間的に冗長なイベントの両方をフィルタリングし取り除くという着想に基づく。相関プロセスまたは機能は、場合によりそのグループのすべてのフォトセンサからの情報を包含さえする、そのグループの２つ以上のフォトセンサからの情報に関して実施され得る。グループは、同じように、少なくとも２つのフォトセンサを、有利には、２×２フォトセンサのサブアレイに配置構成される４つのフォトセンサ、または、４×４フォトセンサのサブアレイに配置構成される１６個のフォトセンサなど、３つ以上を含み得る。

【0014】

この相関を実施するために、各デバイスセルは処理ユニットを含み、処理ユニットは、フォトセンサの前記グループのフォトセンサから生じる前記画素情報を相関させるように、および、読み取られるべき画素情報を前記セルが含むことを示す要求（ｒｅｑｕｅｓｔ）信号を結果として作り出すように構成される相関論理を含む。代替的または追加的に、通過（ｐａｓｓ）信号が、相関の結果として作り出され得、通過信号は、前記セル内に含まれるその画素情報が、例えばホストに、２次処理ユニットに、または、さらなる処理デバイスに送信されることが可能であるとして示す。相関論理を正しく構成することにより、ノイズおよび／または空間的冗長性と関連付けられた画素情報は、対応する１つまたは複数のフォトセンサから生じた画素情報が存し得るとしても、そのような要求および／または通過信号を保留することにより無視され得る。換言すれば、相関を通して、画素情報がノイズ、または、空間的に冗長な情報ではないことが決定されるときにのみ、相関論理は、要求信号および／または通過信号を結果として作り出すことになり、かくして、読み取られるべき画素情報を前記デバイスセルが含むことを示し、すなわち、デバイスセル内のグループの画素のいくつかまたはすべてが読み出され得る、および／または、読み出されるべきであることを示す。その場合、対応する画素情報は、さらなる処理のためにフォトアレイからホストデバイスに送信される。

【0015】

前記情報フィルタリングまたはイベントフィルタリングは、何らかの画素情報が、例えば多重化通信バスにより送出される前に、画素アレイ内で、画素並列方式で実施され、ゆえに、バス上の、および、フォトアレイ上の通信負荷を最小化する。有利には、有意味のイベント（すなわち、非ノイズ、および／または、空間的に冗長でない画素情報）が、個々に送出される代わりに、グループをなして送出され、ゆえに、通信バスのスループットを増大する。

【0016】

ノイズイベントをフィルタリングし取り除くために、相関論理は、ノイズイベントと非ノイズイベントとの間の時空間的相関差を活用する。ノイズイベントは、空間的および時間的の両方の点においてランダムに生起し、ゆえに、時空間的に無相関である。非ノイズイベントは、普通は時空間的に相関がある、実際のシーン視覚的刺激により引き起こされたイベントを意味する（すなわち、非ノイズイベントは、普通は、比較的同じ時間において、互いに隣接して生起する）。相関論理は、それゆえに、後続の処理のために、時空間的に無相関であるイベントをフィルタリングし取り除いてはじめて、時空間的に相関があるイベントを通過させる。

【0017】

さらにまた、空間的に冗長なイベントは、普通は、極端に時空間的に相関がある。例えば、シーン照明全体が突然増大するならば、イベントが、同じ時間においてフォトアレイ全体のあらゆる画素内で生起することになる。これらのイベントは、空間的に冗長であり、何らの空間的コントラスト情報も伝えない。相関論理は、それゆえに、後続の処理のために、極端に時空間的に相関があるイベントをフィルタリングし取り除いてはじめて、適度に時空間的に相関があるイベントを通過させる。

【0018】

有利な実施形態において、フォトセンサの前記グループの２つ以上のフォトセンサは、互いに隣接して配置構成される。換言すれば、２つ以上のフォトセンサは、事実上、空間的に、フォトアレイの内側で一緒にグループにされる。前記グループのすべてのフォトセンサが、また、空間的に一緒にグループにされることが、また可能である。両方の場合において、２つのグループは、１つのグループのフォトセンサが第２のグループのフォトセンサに空間的に組み入れられるようにすることにより、特にグループ縁部において、空間的に重なることができる。単純化された１次元（１Ｄ）例において、各々が４つのフォトセンサを有する、フォトセンサの２つのグループＡおよびＢが存するならば、フォトセンサは、ＡＡＢＡＢＡＢＢとして配置構成され得るものであり、ここで、各文字は、フォトセンサが属するグループを意味する。

【0019】

一部の実施形態において、フォトセンサが再使用されるならば、そのことは有利であり得る。フォトセンサは、かくして、フォトセンサの出力を多数のグループに送出することができる。換言すれば、同じフォトセンサが、したがって、多数の異なるグループに属する。そのため、先の単純化された１Ｄ例において、２つのグループを支持するための８つ未満のフォトセンサが存し得るものであり、フォトセンサは、ＡＡ（Ａ＆Ｂ）（Ａ＆Ｂ）ＢＢとしての配置構成であり、ここで、（Ａ＆Ｂ）は、フォトセンサが、フォトセンサの出力をグループＡおよびＢの両方に送出することを示す。フォトセンサが、より組み入れられる、または共有されるほど、出力は、より空間的に連続的であることになるが、フォトアレイの中の配線／接続は、より複雑な様態になり得る。

【0020】

好ましい実施形態によれば、多数のデバイスセルは、特に、セルの行（ｒｏｗ）および列（ｃｏｌｕｍｎ）を有する、セルのマトリックスに配置構成される、セルの多数のセットへと分けられる。セルの各セットは、セルの前記セットの端部に、特に、セルの列の端部に配置される２次処理ユニットをさらに含む。各２次処理ユニットは、前記セルのうちの選択されたセルのフォトセンサの前記グループのフォトセンサから生じる前記画素情報を相関させ、読み取られるべき画素情報を前記選択されたセルが含むことを示す要求信号を結果として作り出すように構成される２次相関論理を含む。換言すれば、いくつかの処理ユニットが、単一の２次処理ユニットを共有する。処理ユニットは、この場合、１次（ｐｒｉｍａｒｙ）処理ユニットと呼ばれることがあり、なぜならば、画素情報は、２次処理ユニットに中継される前に、それらの１次処理ユニットに最初に入るからである。

【0021】

２次処理ユニットの２次相関論理は、有利には、一度に１つのセルを相関させる。マトリックス全体の読み出しは、行単位でスキャンすることにより実施され得るので、列の端部の２次処理ユニットは、行が読み出しのために選択されるたびに、単一のセルの２次フィルタリングを行う。それゆえに、２次処理ユニットからの要求信号は、その列、および、現在選択された行の個別のセルが、フィルタリングの２つのステージ、すなわち、１次処理ユニット内の相関論理による１つのフィルタリング、および、２次処理ユニット内の２次相関論理による第２のフィルタリングの後の情報を含むことを示す。

【0022】

代替的に、または、要求信号に加えて、前記選択されたセル内に含まれる画素情報が送信されることを可能とするために２次処理ユニット内で利用される少なくとも１つの通過信号が生成され得る。有利には、２次相関論理は、画素情報が送信され得ることのみではなく、何の種類の画素情報が送信され得るかも示す、２つの通過信号を作り出し得る。例えば、単一の画素からの画素情報は、オン値、オフ値、またはニュートラル値を有し得る。オン値は、画素が、あらかじめ決定されたしきい値により、画素の入射光の増大を検出したことを示し、オフ値は、画素が、あらかじめ決定されたしきい値により、画素の入射光の減少を検出したことを示し、ニュートラル値は、画素により検出された入射光において（あらかじめ決定されたしきい値を上回る）変化が存しなかったことを示す。この場合、画素のグループからのオン値は有意味である（非ノイズである、および／または、空間的に冗長でない）ことを示すｐａｓｓ（ＯＮ）信号、および、画素のグループからのオフ値は有意味であることを示すｐａｓｓ（ＯＦＦ）信号が存し得る。

【0023】

この実施形態において、１次処理ユニットの相関論理は、より単純なやり方で実現され得るものであり、例えば、すべてのイベントを極性ブラインド（ｐｏｌａｒｉｔｙ－ｂｌｉｎｄ）方式で相関させるように単に構成され、一方で、処理ユニットは、より複雑なやり方で実現され得、例えば、オンイベントおよびオフイベントを別個に、すなわち、極性によってイベントを分離して相関させるように構成される。オンイベントは、画素においての入射光強度増大がオンしきい値を上回ることを意味し、一方で、オフイベントは、反対のことを、画素においての入射光強度減少がオフしきい値を上回ることを意味する。画素情報は、有利には、２つのビット、すなわち、ＯＮおよびＯＦＦ信号を含む。ＯＮ＝１、ＯＦＦ＝０は、オンイベントを意味し、一方で、ＯＮ＝０、ＯＦＦ＝１は、オフイベントを意味し、ＯＮ＝０、ＯＦＦ＝０は、イベントがないことを意味する。特に、ＯＮおよびＯＦＦは、両方が、同一の１であるべきではない。それゆえに、オン／オフイベントは、入射光の時間的変化を示す画素情報によりコード化される。

【0024】

セルの多数のセットは、マトリックス方式で配置構成され得る。このマトリックス内で、セルのセットは、列に配置構成される、数Ｘのセルを含み得るものであり、そのことによって、列の端部に、セルのその列に対する対応する第２の処理ユニットが配置される。かくして、フォトアレイ全体は、サブアレイまたはセルへと分けられ、それらのサブアレイまたはセルの各々は、１次処理ユニットを有し、一方で、セルの列は、２次処理ユニットを有する。各個々の１次処理ユニットは、読み取られるべき１以上のイベントを対応するセルが含むときに行要求信号を、対応するセル内のイベントが読み取られることを可能とするための内部的な通過信号を生成し、読み出しに対するインディケータとしてホストから行選択信号を受信し得る。各２次処理ユニットは、列要求信号を、２つの内部的な通過信号ｐａｓｓ（ＯＮ）およびｐａｓｓ（ＯＦＦ）を生成し、列選択信号を受信し得る。

【0025】

好ましくは、前記相関論理および／または前記２次相関論理は、組合せ論理により実現される。このことは、特に、実現がブール回路によって行われること、および、対応する論理の出力が、任意の所与の時間においての現在の入力の純粋な関数であることを意味する。換言すれば、相関論理および／または２次相関論理は、画素情報を記憶するための記憶またはメモリ要素を含まない。

【0026】

前記相関論理および／または前記２次相関論理は、好ましくは、時空間的相関論理として実現される。単純化された実施形態において、相関論理および／または前記２次相関論理は、空間的相関論理として実現される。特に、そのような相関論理および／または２次相関論理は、前記画素情報の相関結果が、最小しきい値数（Ｎ）以上である、および／または、最大しきい値数（Ｍ）以下であるとき、要求信号および／または通過信号を作り出すように構成され得る。このことは、特に、画素のグループ内のイベントの数、すなわち、イベントを報告するグループ内の画素の数が、Ｎ以上である、および／または、Ｍ以下であることを意味し得る。

【0027】

フォトアレイの有利な実施形態において、各画素の画素情報は、相関論理により読み取られる前に記憶される。この目的のために、前記処理ユニットは、フォトセンサの前記グループの各フォトセンサに対して、前記フォトセンサから生じる前記画素情報を記憶するように構成されるイベント記憶メモリを含む。このように、フォトアレイ全体の各フォトセンサは、対応するイベント記憶メモリを有する。好ましくは、前記２次処理ユニットは、フォトセンサの前記グループの各フォトセンサに対して、前記フォトセンサから生じる前記画素情報を記憶するように構成される２次イベント記憶メモリを含む。換言すれば、２次イベント記憶メモリのサイズは、第１のイベント記憶メモリのサイズに等しい。デバイスセルの各セットは、有利には、１つの単一の２次処理ユニットを有するので、フォトアレイ全体は、グループ内の画素の数掛けるデバイスセルのセットの数と同じだけの２次イベント記憶メモリを有し得る。

【0028】

画素のグループからのすべてのイベントは、同期された方式で、すなわち、同じ時間において、対応するデバイスセルの対応するイベント記憶メモリ内へと読み取られる。このことは、また、２次処理ユニットの２次記憶メモリ内への画素情報の読み取りに対して当てはまる。換言すれば、処理ユニットの、または、２次処理ユニットのイベント記憶メモリ全体は、同期されたサンプル信号を基に、同じサンプリング区間の間に書き込まれる。それゆえに、各処理ユニット内に、すなわち、各グループ内に記憶されたイベントは、すでに一時的に相関がある。かくして、後続の相関論理が、時空間的相関論理として機能するためには、空間的相関を単に実施するだけで十分であり得る。同じことが、よって、２次処理ユニットおよび２次相関論理に適用される。

【0029】

有利には、前記処理ユニットは、グループの各フォトセンサに対する記憶メモリを有し、前記２次処理ユニットは、前記グループの各フォトセンサに対する２次記憶メモリを有する。この実施形態において、２次記憶メモリは、前記記憶メモリから前記画素情報を受信するように構成され得る。換言すれば、画素情報は、最初に、１次処理ユニット内の記憶メモリ内へと、および次いで、２次処理ユニットの２次記憶メモリ内へと読み取られる。

【0030】

好ましくは、前記処理ユニットは、選択信号を受信し、前記選択信号に応答して、その前記処理ユニットの内部的な通過信号が真であるならば、前記セルが含む、読み取られるべきすべての画素情報を並列方式で送信するように構成される。特に、処理ユニットが、画素情報が記憶されるイベント記憶メモリを含むとき、および、その前記処理ユニットの内部的な通過信号が真であるならば、選択信号は、通信バスへの、または、利用可能ならば２次処理ユニットへのいずれかでの、イベント記憶メモリの読み出しを開始し得る。加えて、または代替的に、前記２次処理ユニットは、選択信号を受信し、前記選択信号に応答して、その前記２次処理ユニットの内部的な通過信号が真であるならば、セルの前記セットが含む、読み取られるべきすべての画素情報を並列方式で送信するように構成され得る。処理ユニットと同様に、２次処理ユニットは２次イベント記憶メモリを含み得、画素情報は、例えば前記処理ユニットのイベント記憶メモリから読み取られた後に、２次イベント記憶メモリ内に記憶される。この場合、その前記２次処理ユニットの内部的な通過信号が真であるならば、選択信号は、通信バスへの２次イベント記憶メモリの読み出しを開始し得る。

【0031】

前に述べられたように、画素コード化回路は、フォトセンサにより生成されたアナログセンサ信号を、デジタル画素情報またはイベント情報へと変換する。好ましい実施形態によれば、画素コード化回路は変化検出回路である。この場合、画素コード化回路により生成されたデジタル画素情報は、フォトセンサにより生成されたセンサ信号の変化を示す。このことは、しきい値比較によって実現され得る。例えば、アナログセンサ信号が、所与のしきい値以上の量だけ、上昇または下降する各時間に、画素情報は、それに応じて、ｏｎ信号またはｏｆｆ信号を含み得る。この目的のために、各画素の画素情報は、変化の極性を区別するために２ビット情報を含み、また、例えば変化が起こらない場合のニュートラル信号を考えに入れたものであり得る。

【0032】

特に、変化検出回路は、各パルスがアナログ信号の固定された量だけの変化を表す、アナログ信号をパルスのストリームとしてコード化するスキームである、差分パルスコード変調（ｄｉｆｆｅｒｅｎｔｉａｌ ｐｕｌｓｅ－ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）（ＤＰＣＭ）コード化スキームを使用するアナログ－デジタルコンバータであり得る。そのような変化検出回路は、例えば、上記の序文において説明された、米国特許第７，７２８，２６９Ｂ２号において説明されたものである。

【0033】

本発明の実施形態のいくつかの例が、添付する概略的な図面を参照して、以下の説明において、より詳細に解説されることになる。

【図面の簡単な説明】

【0034】

【図1】１つの有利な実施形態による、画素のグループと、処理ユニットとを伴うデバイスセルのアーキテクチャの概略線図を示す図である。

【図2】さらなる有利な実施形態による、画素のグループと、処理ユニットと、２次処理ユニットとを伴うデバイスセルのアーキテクチャの概略線図を示す図である。

【図3】なおもさらなる有利な実施形態による、デバイスセルの各列の端部に２次処理ユニットを伴う、マトリックス方式で配置構成されるデバイスセルの多数のセットの概略線図を示す図である。

【図4】最新式による画素の概略線図を示す図である。

【図5】１つの好ましい実施形態による、処理ユニット内で利用される画素動作論理の概略図を示す図である。

【図6】１つの好ましい実施形態による、処理ユニット内で利用されるイベント記憶メモリの概略線図を示す図である。

【図7】１つの好ましい実施形態による、処理ユニット内の相関論理の一般的な形態の概略線図を示す図である。

【図8】図７の相関論理の具体的な形態の概略線図を示す図である。

【発明を実施するための形態】

【0035】

図１は、フォトアレイの１つの有利な実施形態による、Ｐ個の隣接する画素２のグループと、画素２のこのグループに対する処理ユニット１３とを含むデバイスセル１の概略線図を示す。各画素２は、フォトセンサと、画素コード化回路とを含む（両方とも、図１において個々に示されない）。デバイスセル１のすべてのグループの処理ユニット１３は、フォトアレイのフォトセンサおよび画素２の２Ｄアレイ内に組み込まれる２Ｄアレイを形成する。

【0036】

各処理ユニットは、３つの部分：画素動作論理５、イベント記憶メモリ４、および時空間的相関論理３から作製される。各画素２は、処理ユニット１３内に、対応する画素動作論理５と、イベント記憶メモリ４とを有する。近隣の画素２のグループは、同じ時空間的相関論理３を共有する。

【0037】

出力または入力識別子の前のｎは、普通は、対応する入力、出力、または信号の否定を意味することが留意されるべきである。それゆえに、ｒｓｔがリセット信号であり得る一方で、ｎｒｓｔは、論理的に反転されたリセット信号であり得る。

【0038】

画素２のグループは、画素の出力ｓｌｏｗｏｎ（１：Ｐ）およびｓｌｏｗｎｏｆｆ（１：Ｐ）を、画素の対応する画素動作論理５に送出し、ｎｒｓｔ（１：Ｐ）を、画素の対応する画素動作論理５から受信する。画素動作論理５は、グローバル信号ｒｅｓｔａｒｔにより制御され、画素動作論理の出力ｎｏｎ（１：Ｐ）およびｏｆｆ（１：Ｐ）を、画素動作論理の対応するイベント記憶メモリ４に送出し、一方で、信号ｓｔｏｒｅ（１：Ｐ）およびｎｓｔｏｒｅ（１：Ｐ）を、イベント記憶メモリ４から逆に受信する。イベント記憶メモリ４は、グローバル信号ｓａｍｐｌｅ／ｎｓａｍｐｌｅ、および、行／列信号ｓｅｌにより制御される。イベント記憶メモリ４は、イベント記憶メモリの出力ｏｎｓｔｏｒｅ（１：Ｐ）およびｏｆｆｓｔｏｒｅ（１：Ｐ）を、２つの対応する時空間的相関論理３１、３２に送出し、それらの時空間的相関論理は、読み出しを可能とするために、信号ｐａｓｓ（ｏｎ）およびｐａｓｓ（ｏｆｆ）を、イベント記憶メモリ４に返送する。第１の時空間的相関論理３１が、信号ｎｒｅｑ（ｏｎ）を作り出すために、イベント記憶メモリ４から受信されるすべてのオンイベントを相関させる一方で、第２の時空間的相関論理３２は、信号ｎｒｅｑ（ｏｆｆ）を作り出すために、すべてのオフイベントを相関させる。信号ｎｒｅｑ（ｏｎ）およびｎｒｅｑ（ｏｆｆ）は、その対応する行に対する読み出し通信バスアクセスを要求するために、最終的な出力信号ｎｒｅｑを一緒に決定する。ｐａｓｓ（ｏｎ）およびｐａｓｓ（ｏｆｆ）が真であるならば、イベント記憶メモリは、その対応する行が行選択信号ｓｅｌにより選択されると、ビット線信号ｎｏｎｂｌ（１：Ｐ）およびｎｏｆｆｂｌ（１：Ｐ）を通して読み取られ得る。

【0039】

同じ時空間的相関論理３１、３２回路が、図１において示されるオンイベントおよびオフイベント信号、ｏｎｓｔｏｒｅ（１：Ｐ）およびｏｆｆｓｔｏｒｅ（１：Ｐ）の両方を供給することができる。しかしながら、処理ユニット１３あたりで２つの時空間的相関論理回路３１、３２を有することは、かなりのシリコンエリアを占有する。それゆえに、図２は、さらなる有利な実施形態による、代替的な処理ユニットと、２次処理ユニットとを有するデバイスセルの代替的なアーキテクチャを例示する。

【0040】

この代替的なアーキテクチャにおいて、１次処理ユニットあたりで１つの時空間的相関論理３のみが存する。そのような処理ユニット１３（以下において１次処理ユニットと呼ばれる）の列は、列の端部に２次処理ユニット８を共有する。２次処理ユニット８は、２次イベント記憶メモリ６のバンクと、あと２つの時空間的相関論理回路８１、８２とを含む。２次イベント記憶メモリ６は、Ｐ個の画素２のグループ１２から生じるすべての画素情報を収容するために、イベント記憶メモリ４と同じサイズを有する。

【0041】

１次処理ユニット内の時空間的相関論理３は、入力として信号ｓｔｏｒｅ（１：Ｐ）およびｎｓｔｏｒｅ（１：Ｐ）を受け取り、イベント記憶メモリからの読み出しを可能とするために信号ｐａｓｓを、および、その対応する行に対する読み出し通信バスアクセスを要求するために信号ｎｒｅｑ（ｒｏｗ）を作り出す。ゆえに、時空間的相関論理は、オンイベントとオフイベントとを区別しない。そのことは、極性ブラインドであると言われることがある。１次処理ユニット１３のこの行が行信号ｓｅｌ（ｒｏｗ）により選択されるとき、および、ｐａｓｓが真であるならば、イベント記憶メモリ４は、ビット線信号ｎｏｎｂｌ１（１：Ｐ）およびｎｏｆｆｂｌ１（１：Ｐ）を通して、列の端部の２次イベント記憶メモリ６内へと読み取られ、それらの信号は、２次時空間的相関論理８１、８２内へとさらに給送される。換言すれば、２次イベント記憶６は、ｓｅｌ（ｒｏｗ）信号から導出されるｓａｍｐｌｅ信号を受信する。それゆえに、１次処理セルの行が選択されるたびに、２次イベント記憶６は、その選択された行内の１次処理ユニット１３のイベント記憶４からの画素情報をサンプリングする。２つの回路を含み、この列により共有される２次時空間的相関論理８１、８２は、符号付きイベントに関するさらなるフィルタリングを実施し、読み出しを可能とするために、２次イベント記憶メモリ６に戻すように信号ｐａｓｓ（ｏｎ）およびｐａｓｓ（ｏｆｆ）を、ならびに、その対応する列に対する読み出し通信バスアクセスを要求するために信号ｎｒｅｑ（ｃｏｌ）を作り出す。

【0042】

その対応する列が列信号ｓｅｌ（ｃｏｌ）により選択されるとき、ならびに、ｐａｓｓ（ｏｎ）およびｐａｓｓ（ｏｆｆ）が真であるならば、２次イベント記憶メモリ６内に記憶されたイベントは、ビット線信号ｎｏｎｂｌ２（１：Ｐ）およびｎｏｆｆｂｌ２（１：Ｐ）を通して読み出される。図２において示される代替的なアーキテクチャは、１次処理ユニット１３アレイの複雑さを低減するが、そのことは、潜在的な不完全な、および／または、正しくないイベントフィルタリングという犠牲を払ってのものである。イベントは、１次処理ユニット１３アレイ内で符号なしとして処理されるので、異なる符号のノイズイベントが、時空間的に相関があるイベントとして誤って扱われ、続けて通過することを可能とされることがあり；異なる符号の有意味のイベントが、空間的に冗長なイベントとして誤って扱われ、フィルタリングし取り除かれることがある。しかしながら、ノイズイベントの不完全なフィルタリングは、依然として、多重化バスｎｏｎｂｌ１（１：Ｐ）およびｎｏｆｆｂｌ１（１：Ｐ）へのトラフィック負担を低減するという見地において、全くフィルタリングがないことにまさる改善である。さらにまた、１次処理ユニット１３内の時空間的相関論理３は、有意味のイベントを正しくなくフィルタリングし取り除くことを防止するために、後で説明されるように、空間的に冗長なイベントをフィルタリングし取り除かないように構成され得る。

【0043】

相関論理３および２次相関論理８１、８２は、要求信号および通過信号の両方を作り出すことが留意されるべきである。通過信号は、各個々の相関論理３、８１、８２の即時の出力であり、その対応するイベント記憶メモリ４、６を制御するように意図されている。要求信号は、１つまたは多数の処理ユニット１３、８の、その／それらの通過信号から導出される出力であり、バスアクセス時間を要求するように意図されている。

【0044】

第１の例として、処理ユニットの行は、単一の行要求信号を共有し得る。共有される行要求信号は、この行内の少なくとも１つの処理ユニット１３が内部的にｐａｓｓ＝１を有する限り１となる、すなわち、行要求＝ＯＲ（この行内のすべての個々の通過信号）である。そして、この行が選択されたとき、どの処理ユニット１３が処理ユニットの情報を送出することができるかを決定するのが、個々の内部的な通過信号である。行は、行の要求＝１であるときに選択されるのみであり得る。

【0045】

第２の例として、２次処理ユニット８は、２つの極性センシティブな相関論理回路８１および８２を、ゆえに、ｐａｓｓ（ＯＮ）信号およびｐａｓｓ（ＯＦＦ）信号を内部的に含み得る。２次処理ユニット８の出力は、列要求信号である。列要求は、ｐａｓｓ（ＯＮ）＝１またはｐａｓｓ（ＯＦＦ）＝１のいずれかのときに１であることになる。そして、この２次処理ユニット８が選択されたとき、２次処理ユニットの内部的なｐａｓｓ（ＯＮ）およびｐａｓｓ（ＯＦＦ）信号は、ＯＮまたはＯＦＦ情報が読み出され得るかどうかを決定する。２次処理ユニット８は、２次処理ユニットの列要求＝１であるときに選択されるのみであり得る。

【0046】

図３は、上記で説明された、および、図２において示される実施形態によるフォトアレイのアーキテクチャをより良好に例示することに役立つ。図３は、デバイスセルの各列の端部に２次処理ユニット８１、８２、８３を伴う、マトリックス方式で配置構成されるデバイスセルの多数のセット７１、７２、７３の概略線図を示す。フォトアレイは、行および列に配置構成される、１次処理ユニット１３のマトリックスまたはアレイを含む。図３において、３×３個の１次処理ユニット１３のアレイが示される。各デバイスセルの画素のグループ１２は、明確性の目的のために、図３において省略され、すなわち、グループは、図３において示される各１次処理ユニット１３の部分とみなされ得る。

【0047】

デバイスセルの各セット７は、デバイスセルの列として配置構成され、その列の端部に、２次処理ユニット８が配置構成される。例えば、デバイスセルまたは１次処理ユニット１３の第１のセット７１の端部に、第１の２次処理ユニット８１が配置構成される、等々である。各１次処理ユニット１３の相関論理３は、デバイスセルの対応する行、すなわちｒｏｗ １、ｒｏｗ ２、および／またはｒｏｗ ３が、送信すべき情報を有することを示すために、行要求信号ｎｒｅｑ（ｒ１）、ｎｒｅｑ（ｒ２）、ｎｒｅｑ（ｒ３）を生成する。他方で、デバイスセルの特定の列の選択されたセル、すなわち、前記選択されたデバイスセル内の画素の任意のものが、送信すべき情報を有するならば、対応する２次処理ユニット８は、列要求信号ｎｒｅｑ（ｃ１）、ｎｒｅｑ（ｃ２）、ｎｒｅｑ（ｃ３）を生成することになる。例えば、第２の行が信号ｓｅｌ（ｒ２）により選択されるとき、ｒｏｗ ２およびｃｏｌ ２を伴うセルが、第２の２次処理ユニット８２に対する選択されたセルである。この選択されたセルが、送信すべき情報を伴う画素を含むならば、第２の２次処理ユニット８２は、対応する列要求信号ｎｒｅｑ（ｃ２）を生成することになる。

【0048】

それゆえに、２次処理ユニットは、行単位のスキャニング読み出しの間、第２ステージフィルタリングを実施する。ｒｏｗ １およびｒｏｗ ３が情報を有するならば、ｒｏｗ １が選択されるとき、ｒｏｗ １全体の情報が、２次処理ユニット８１、８２、８３内へと進む。すなわち、ｒｏｗ １、ｃｏｌ １からの情報が、第１の２次処理ユニット８１内へと読み取られ、ｒｏｗ １、ｃｏｌ ２からの情報が、第２の２次処理ユニット８２内へと読み取られ、ｒｏｗ １、ｃｏｌ ３からの情報が、第３の２次処理ユニット８３内へと読み取られる。次いで、２次処理ユニット８１、８２、８３は、どの列が実際に情報を有するかをさらに決定する。例えば、極性ベースの２次フィルタリングの後で、ｒｏｗ １の列２のみが情報を含むことがあり、または、ｒｏｗ １内のセルのうちのどれも情報を有さないことがある。ｒｏｗ １が読み出された後、ｒｏｗ ３が選択され得るものであり、２次処理ユニット８１、８２、８３が、次いで、ｒｏｗ ３からの情報を処理する。

【0049】

図４は、米国特許第７，７２８，２６９Ｂ２号において説明された、先行技術に属する画素回路の概略図を示す。画素回路は、フォトセンサとしてのフォトダイオードＤと、出力ｓｌｏｗｏｎおよびｓｌｏｗｎｏｆｆを作り出す画素コード化回路とを含む。

【0050】

図５は、好ましい実施形態による画素動作論理５の概略図を示す。画素動作論理５は、時間的／時空間的視覚的コントラスト感知画素の動作を制御する。画素が、入射光で生じたフォト電流の対数値に対応する画素の内部的な転換された電気信号の変化を検出し、その変化があらかじめ決定されたオン／オフイベントしきい値を上回るとき、画素動作論理５は、検出されたイベントを保ち、画素をリセット状態に置く。

【0051】

画素動作論理５は、各々が図５において破線の囲み内に入れられた３つのサブ回路：イベントキーパ、リセット論理、およびリスタート論理へとさらに分けられ得る。画素がＯＮまたはＯＦＦ信号を作り出すとき、ｓｌｏｗｏｎ＝１またはｓｌｏｗｎｏｆｆ＝０であり、イベントキーパは、ｏｎ＝１またはｏｆｆ＝１の状態でラッチして、（ｆｂ＝１およびｎｆｂ＝０を想定して）１つの符号付きイベントを排他的に保つことになる。同じ時間において、リセット論理は、（ｆｂ＝１を想定して）リセット信号ｒｓｔ＝１およびｎｒｓｔ＝０を設定して、画素をリセット状態に置くことになる。画素は、それがグローバルパルス信号ｒｅｓｔａｒｔを受信するまで、リセット状態にあるままであることになる。ｒｅｓｔａｒｔ＝１であるとき、リスタート論理は、（ｓｔｏｒｅ＝１およびｎｓｔｏｒｅ＝０を想定して）ｆｂ＝０およびｎｆｂ＝１を設定し、そのことはさらに、イベントキーパ内の正帰還機構をディセーブルし、ｒｓｔ＝０およびｎｒｓｔ＝１を設定する。ｒｅｓｔａｒｔが０に戻るとき、リスタート論理は、（ｓｔｏｒｅ＝１およびｎｓｔｏｒｅ＝０を想定して）ｆｂ＝１およびｎｆｂ＝０を設定し、そのことは、イベントキーパおよびリセット論理を再びイネーブルする。それゆえに、リセット状態にある画素がコントラスト検出状態を再開することができる時点は、グローバルパルス信号ｒｅｓｔａｒｔにより決定される。信号ｓｔｏｒｅおよびｎｓｔｏｒｅは、イベント記憶メモリ４から来る。

【0052】

図６は、好ましい実施形態による、イベント記憶メモリ４の、および／または、２次イベント記憶メモリ６の概略図を示す。画素動作論理５が、検出されたイベントをイベント記憶メモリ４、６内へと書き込むことができる時点は、グローバル信号ｓａｍｐｌｅおよびｎｓａｍｐｌｅにより決定される（ｎｓａｍｐｌｅは、ｓａｍｐｌｅからの反転された信号である）。

【0053】

ｓａｍｐｌｅパルスの後、イベント記憶メモリがオン／オフイベントを記憶したならば、ｓｔｏｒｅ＝１およびｎｓｔｏｒｅ＝０であり、次いで、画素動作論理内のリスタート論理は、画素を、リセット状態から、ｒｅｓｔａｒｔパルスの後に続いてコントラスト検出状態に置くことになる。画素が何らのイベントも検出しなかったならば、イベント記憶メモリはイベントを記憶していない。ｓａｍｐｌｅパルスの後、ｓｔｏｒｅ＝０およびｎｓｔｏｒｅ＝１であり、次いで、画素動作論理内のリスタート論理は、ｒｅｓｔａｒｔ信号を無視し、画素は、コントラスト検出状態にあるままである。画素が、ｓａｍｐｌｅパルスの後に、ただしｒｅｓｔａｒｔパルスの前にオン／オフイベントを単に検出したならば、画素動作論理５が画素をリセット状態に置いたとしても、リスタート論理は、依然として、ｒｅｓｔａｒｔ信号を無視し、画素は、リセット状態にあるままであるが、なぜならば、画素動作論理５は、依然として、検出されたイベントを保持し、イベントをイベント記憶メモリ内へと書き込むことができるようになっていないからである（ｓｔｏｒｅ＝０およびｎｓｔｏｒｅ＝１）。

【0054】

イベント記憶メモリは、２つのビット線ｎｏｎｂｌおよびｎｏｆｆｂｌを通して、ｓｅｌ＝１およびｐａｓｓ＝１であるときに読み取られる。信号ｓｅｌは、行／列選択信号である。信号ｐａｓｓは、時空間的相関論理３、８、８１、８２から来る。

【0055】

時空間的相関論理３、８、８１、８２は、そのグループ内のすべての画素のイベント記憶メモリ４、６を読み取り、各ｓａｍｐｌｅパルスの後に、このグループ内に記憶されたイベントが、読み出し通信バスに通過させられることになるか、それとも、フィルタリングし取り除かれることになるかを決定する。

【0056】

グローバルな同期されたｓａｍｐｌｅ信号は、各ｓａｍｐｌｅパルスの後に各グループ内に記憶されたイベントがすでに時間的に相関があることを示唆するが、なぜなら、イベントが同じサンプリング区間の中で生起するからである。それゆえに、時空間的相関論理３、８、８１、８２は、記憶されたイベントが通過することになるかどうかを、デバイスセルのイベント記憶メモリ４、６内の記憶されたイベントの数により近似される、イベントの空間的相関のみに基づいてさらに決定する。判断基準は、２つの任意選択の条件の組合せとして構成され得る：
１．デバイスセル内に記憶された、最小しきい値数Ｎ未満のイベントが存するならば、これらのイベントは、ノイズイベントとみなされ、フィルタリングし除かれる。ここで、Ｎは、１より大きく、デバイスセル内の画素の総数Ｐより小さい。（第１の任意選択の条件）
２．デバイスセル内に記憶された、最大しきい値数Ｍより多いイベントが存するならば、これらのイベントは、空間的に冗長なイベントと考えられ、フィルタリングし除かれる。ここで、Ｍは、Ｎより大きく、デバイスセル内の画素の総数Ｐより小さい。（第２の任意選択の条件）

【0057】

時空間的相関論理３、８、８１、８２が、２つの任意選択の条件の両方を実行するように構成されるならば、時空間的相関論理は、グループ内の記憶されたイベントの数が、ＮおよびＭを含めてＮからＭの間である場合にはじめて、記憶されたイベントを通過させることになる。時空間的相関論理３、８、８１、８２が、２つの任意選択の条件のどれも実行しないように構成されるならば、時空間的相関論理は、少なくとも１つの記憶されたイベントがグループ内に存する限り、いかなる記憶されたイベントも通過させることになる。第１の任意選択の条件のみが実行されるならば、時空間的相関論理３、８、８１、８２は、少なくともＮ個の記憶されたイベントがデバイスセル内に存する限り、いかなる記憶されたイベントも通過させることになる。第２の任意選択の条件のみが実行されるならば、時空間的相関論理３、８、８１、８２は、Ｍ個以下の記憶されたイベントがデバイスセル内に存する限り、いかなる記憶されたイベントも通過させることになる。同じ時空間的相関論理３、８、８１、８２が、図１および図２において示されるように、オンイベント（ｏｎｓｔｏｒｅ（１：Ｐ）およびｎｏｎｓｔｏｒｅ（１：Ｐ））、オフイベント（ｏｆｆｓｔｏｒｅ（１：Ｐ）およびｎｏｆｆｓｔｏｒｅ（１：Ｐ））、または、符号なしイベント（ｓｔｏｒｅ（１：Ｐ）およびｎｓｔｏｒｅ（１：Ｐ））を処理するために使用され得る。

【0058】

時空間的相関論理３、８、８１、８２は、組合せ論理により実現される。図７は、好ましい実施形態による、時空間的相関論理回路３、８、８１、８２の一般的な形態を示す。ｓ［ｉ］およびｎｓ［ｉ］は、デバイスセル内の各画素ｉ（ｉ∈［１，Ｐ］）からの記憶されたイベント（符号付き、または、符号なし）が存するかどうかを意味する。ｓ［ｉ］＝１およびｎｓ［ｉ］＝０は、両方が、記憶されたイベントが画素ｉ内に存することを意味する。ａｌＮ（少なくともＮ）は、第１の任意選択の条件をイネーブル／ディセーブルするための信号である。ａｍＭ（多くともＭ）は、第２の任意選択の条件をイネーブル／ディセーブルするための信号である。ｐａｓｓは、グループ内に記憶されたイベントが送出されることになるかどうかを決定する時空間的相関論理３、８、８１、８２の出力信号である。ｎｒｅｑは、読み出し通信バスにアクセスするための要求信号である。

【0059】

ａｌＮ＝１であるならば、第１の任意選択の条件がイネーブルされる。第１の任意選択の条件は、プルアップ回路およびプルダウン回路により現実化される。プルアップ回路は、Ｃ（Ｐ，Ｎ）（Ｐ個のうちからのＮ個の組合せ）個のブランチから作製され、各ブランチは、ｎｓ［ｉ］により制御される直列のＮ個のｐ型トランジスタからなる。各プルアップブランチは、ｎｓ［ｉ］＝０を有するＮ個の画素の一意的な組合せを表す。それゆえに、プルアップ回路は、少なくともＮ個の画素が、ｎｓ［ｉ］＝０を有する、すなわち、イベントを記憶したときに、ｐａｓｓ＝１を設定することができる。プルダウン回路は、Ｃ（Ｐ，Ｐ－Ｎ＋１）（Ｐ個のうちからのＰ－Ｎ＋１個の組合せ）個のブランチから作製され、各ブランチは、ｎｓ［ｉ］により制御される直列のＰ－Ｎ＋１個のｎ型トランジスタからなる。各プルダウンブランチは、ｎｓ［ｉ］＝１を有するＰ－Ｎ＋１個の画素の一意的な組合せを表す。それゆえに、プルダウン回路は、少なくともＰ－Ｎ＋１個の画素が、ｎｓ［ｉ］＝１を有する、すなわち、イベントを記憶していないときに、換言すれば、Ｎ個未満の画素がイベントを記憶したときに、ｐａｓｓ＝０を設定することができる。

【0060】

ａｍＭ＝１であるならば、第２の任意選択の条件がイネーブルされる。第２の任意選択の条件は、プルアップ回路およびプルダウン回路により、また現実化される。プルアップ回路は、Ｃ（Ｐ，Ｐ－Ｍ）（Ｐ個のうちからのＰ－Ｍ個の組合せ）個のブランチから作製され、各ブランチは、ｓ［ｉ］により制御される直列のＰ－Ｍ個のｐ型トランジスタからなる。各プルアップブランチは、ｓ［ｉ］＝０を有するＰ－Ｍ個の画素の一意的な組合せを表す。それゆえに、プルアップ回路は、少なくともＰ－Ｍ個の画素が、ｓ［ｉ］＝０を有する、すなわち、イベントを記憶していないときに、換言すれば、多くともＭ個の画素がイベントを記憶したときに、ｐａｓｓ＝１を設定することができる。プルダウン回路は、Ｃ（Ｐ，Ｍ＋１）（Ｐ個のうちからのＭ＋１個の組合せ）個のブランチから作製され、各ブランチは、ｓ［ｉ］により制御される直列のＭ＋１個のｎ型トランジスタからなる。各プルダウンブランチは、ｓ［ｉ］＝１を有するＭ＋１個の画素の一意的な組合せを表す。それゆえに、プルダウン回路は、少なくともＭ＋１個の画素が、ｓ［ｉ］＝１を有する、すなわち、イベントを記憶したときに、換言すれば、Ｍ個より多い画素がイベントを記憶したときに、ｐａｓｓ＝０を設定することができる。

【0061】

ａｌＮ＝１およびａｍＭ＝１であるならば、第１および第２の両方の任意選択の条件がイネーブルされる。２つの条件の２つのプルアップ回路は直列のものであり、一方で、２つの条件の２つのプルダウン回路は並列のものである。

【0062】

ａｌＮ＝０およびａｍＭ＝０であるならば、２つの任意選択の条件の両方がディセーブルされる。時空間的相関論理全体は、Ｐ入力ＯＲゲートへと縮小される。

【0063】

図８は、Ｎ＝２、Ｍ＝３、Ｐ＝４である、図７において一般的に示される実施形態による、時空間的相関論理の具体的な例の概略図を示す。２つの構成ビットは、ａｌ２（少なくとも２）およびａｍ３（多くとも３）である。ｓ１～４およびｎｓ１～４は、デバイスセル内の各画素からの記憶されたイベント（符号付き、または、符号なし）が存するかどうかを示す信号である。ｓ１～４＝１およびｎｓ１～４＝０は、記憶されたイベントが画素１～４内に存することを意味する。以下は、図８において示される具体的な時空間的相関論理の真理値表である。

【0064】

【表1】

【符号の説明】

【0065】

１ デバイスセル
１２ 画素のグループ
１３ （１次）処理ユニット
２ 画素
３ 相関論理
４ 記憶メモリ
５ 画素動作論理
６ ２次記憶メモリ
７ セルのセット
８ ２次相関論理

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】