特許 7383616 イベントベースセンサから信号を出力するための方法、およびそのような方法を使用するイベントベースセンサ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-10

(45)【発行日】2023-11-20

(54)【発明の名称】イベントベースセンサから信号を出力するための方法、およびそのような方法を使用するイベントベースセンサ

(51)【国際特許分類】

   H04N 25/40 20230101AFI20231113BHJP

   G01J 1/42 20060101ALI20231113BHJP

【ＦＩ】

H04N25/40

G01J1/42 K

【請求項の数】 14

(21)【出願番号】P 2020535562

(86)(22)【出願日】2018-12-26

(65)【公表番号】

(43)【公表日】2021-03-11

(86)【国際出願番号】 EP2018086885

(87)【国際公開番号】W WO2019129790

(87)【国際公開日】2019-07-04

【審査請求日】2021-12-13

(31)【優先権主張番号】17210575.1

(32)【優先日】2017-12-26

(33)【優先権主張国・地域又は機関】EP

【前置審査】

(73)【特許権者】

【識別番号】516077769

【氏名又は名称】プロフジー

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ステファーヌ・ラヴォー

(72)【発明者】

【氏名】グザヴィエ・ラゴルス

【審査官】鈴木 肇

(56)【参考文献】

【文献】特表２０１７－５３０４６７（ＪＰ，Ａ）

【文献】特表２０１７－５３３４９７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２７４６４３（ＵＳ，Ａ１）

【文献】特表２０１７－５２１７４６（ＪＰ，Ａ）

【文献】欧州特許出願公開第０２９７５５５８（ＥＰ，Ａ２）

【文献】米国特許出願公開第２０１７／０２１３１０５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／３０ － ５／３３

Ｈ０４Ｎ ２３／１１

Ｈ０４Ｎ ２３／２０ －２３／３０

Ｈ０４Ｎ ２５／００

Ｈ０４Ｎ ２５／２０ －２５／６１

Ｈ０４Ｎ ２５／６１５－２５／７９

Ｇ０１Ｊ １／００ － １／６０

Ｇ０１Ｊ １１／００

(57)【特許請求の範囲】

【請求項1】

イベントベースセンサ(10)から信号を出力するための方法であって、前記イベントベースセンサが、イベントを非同期に生成するセンシング部(12)を有し、前記センシング部(12)が、空間的に分散した複数の検出素子を備え、前記複数の検出素子が、イベントのそれぞれのシーケンスを生成し、前記信号が、前記生成されたイベントのうちの少なくとも一部に関する情報を含み、前記方法は、前記センサ(10)のレベルにおいて実施され、
前記センシング部(12)によってイベントの生成レートを推定するステップであって、
前記イベントの生成レートは、所与の時間内に前記複数の検出素子で生成されたイベントの数に基づいて推定される、ステップと、
前記推定された生成レートがしきい値未満である間、前記複数の検出素子によって生成された前記イベントの可変レートを有する信号を送信するステップと、
前記推定された生成レートが前記しきい値を超えるとき、情報が前記信号内に含まれるイベントのレートが前記しきい値以内にとどまるように、前記複数の検出素子により生成されたイベントのうちの一部のみに関する情報を含む前記信号を送信するステップと
を含む方法。

【請求項2】

前記しきい値の値を構成パラメータとして受信するステップをさらに含む請求項1に記載の方法。

【請求項3】

イベントの生成レートを構成パラメータとして推定するための期間(T)の値を受信するステップをさらに含む請求項1または2に記載の方法。

【請求項4】

少なくとも1つのフィルタ(33～35)が、前記推定レートが前記しきい値を超過したことに応答して、出力されるべき前記信号内の選択されたイベントを廃棄するように、前記生成されたイベントに適用される請求項1から3のいずれか一項に記載の方法。

【請求項5】

前記少なくとも1つのフィルタが、前記選択されたイベントが時間パターン(T_P)に従って生じる時間フィルタ(35)を備える請求項4に記載の方法。

【請求項6】

前記複数の検出素子のそれぞれが、それぞれのアドレスを有し、前記少なくとも1つのフィルタが、前記選択されたイベントが検出素子によって空間パターンに対応するアドレスにおいて生成されたイベントである空間フィルタ(33、34)を備える請求項4または5に記載の方法。

【請求項7】

前記センシング部(12)の前記検出素子が2次元マトリックスに配置され、前記少なくとも1つのフィルタが、前記選択されたイベントが検出素子によって前記マトリックスの行に対応するアドレスにおいて生成されたイベントである第1の空間フィルタ(33)と、前記選択されたイベントが検出素子によって前記マトリックスの列に対応するアドレスにおいて生成されたイベントである第2の空間フィルタ(34)とを含む請求項6に記載の方法。

【請求項8】

イベントを非同期に生成するためのセンシング部(12)であって、空間的に分散した複数の検出素子を備え、前記複数の検出素子が、イベントのそれぞれのシーケンスを生成する、センシング部(12)と、
出力ポート(16)と、
前記センシング部(12)によって生成された前記イベントのうちの少なくとも一部に関する情報を含む信号を前記出力ポート(16)に供給するためのコントローラ(15)と
を備えるイベントベースセンサ(10)であって、
前記コントローラ(15)が、
前記センシング部(12)によって所与の時間内に前記複数の検出素子で生成されたイベントの数に基づいてイベントの生成レートを推定し、
前記推定された生成レートがしきい値未満である間、前記複数の検出素子によって生成された前記イベントの可変レートを有する前記信号を前記出力ポート(16)に供給し、
前記推定された生成レートが前記しきい値を超えるとき、情報が前記信号内に含まれるイベントのレートが前記しきい値以内にとどまるように、前記複数の検出素子により生成されたイベントのうちの一部のみに関する情報を含む前記信号を前記出力ポート(16)に供給する
ように構成される、イベントベースセンサ(10)。

【請求項9】

前記コントローラ(15)が、前記しきい値の値を構成パラメータとして受信するように構成される請求項8に記載のイベントベースセンサ。

【請求項10】

前記コントローラ(15)が、イベントの生成レートを構成パラメータとして推定するための期間(T)の値を受信するように構成される請求項8または9に記載のイベントベースセンサ。

【請求項11】

前記コントローラ(15)が、前記推定レートが前記しきい値を超過したことに応答して、前記出力ポート(16)に供給される前記信号内の選択されたイベントを廃棄するように、前記生成されたイベントに適用される少なくとも1つのフィルタ(33～35)を備える請求項8から10のいずれか一項に記載のイベントベースセンサ。

【請求項12】

前記少なくとも1つのフィルタが、前記選択されたイベントが時間パターンに従って生じる時間フィルタ(35)を備える請求項11に記載のイベントベースセンサ。

【請求項13】

前記複数の検出素子のそれぞれが、それぞれのアドレスを有し、前記少なくとも1つのフィルタが、前記選択されたイベントが検出素子によって空間パターンに対応するアドレスにおいて生成されたイベントである空間フィルタ(33、34)を備える請求項11または12に記載のイベントベースセンサ。

【請求項14】

前記センシング部(12)の前記検出素子が2次元マトリックスに配置され、前記少なくとも1つのフィルタが、前記選択されたイベントが検出素子によって前記マトリックスの行に対応するアドレスにおいて生成されたイベントである第1の空間フィルタ(33)と、前記選択されたイベントが検出素子によって前記マトリックスの列に対応するアドレスにおいて生成されたイベントである第2の空間フィルタ(34)とを含む請求項13に記載のイベントベースセンサ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、非同期のイベントベースセンサによって生成された信号の処理に関する。

【背景技術】

【0002】

連続するイメージを規則的なサンプリング瞬間に記録する従来型カメラとは逆に、生物学的網膜は、視覚化されるべきシーンに関する冗長な情報を送信せず、非同期に送信する。生物学的網膜に関するその観察から、非同期イベントベース視覚センサが開発されている。

【0003】

非同期イベントベース視覚センサは、イベントの形で圧縮デジタルデータを送達する。そのようなセンサの提示を「Activity-Driven, Event-Based Vision Sensors」、T. Delbruck他、Proceedings of 2010 IEEE International Symposium on Circuits and Systems(ISCAS)、2426～2429頁で見出すことができる。イベントベース視覚センサは、従来型カメラに対して、冗長性を除去し、待ち時間を削減し、ダイナミックレンジを向上させるという利点を有する。

【0004】

そのような視覚センサの出力は、各ピクセルアドレスについて、シーンの輝度の変化が生じた時の変化を表す非同期イベントのシーケンスから構成され得る。センサの各ピクセルは独立しており、最後のイベントの放射以降の、しきい値(たとえば、輝度についての対数に関して15%のコントラスト)より大きい強度の変化を検出する。強度の変化がしきい値を超過したとき、イベントがピクセルによって生成される。いくつかのセンサでは、イベントは、強度が増大するか、それとも減少するかに従って、極性(たとえばONまたはOFF)を有する。いくつかの非同期センサは、検出したイベントを光強度の測定値と関連付ける。

【0005】

センサは、従来型カメラのようにクロックごとにサンプリングされないので、イベントのシーケンシングを非常に高い時間精度(たとえば、約1μs)で考慮に入れ得る。そのようなセンサがイメージのシーケンスを再構築するために使用される場合、従来型カメラについての数十ヘルツのイメージフレームレートと比較して、数キロヘルツが達成され得る。

【0006】

イベントベースセンサは、マシンビジョンの分野およびビジョン復元の分野の中でもとりわけ有望な展望を有する。

【0007】

イベントベースセンサの出力でのデータレートは、シーンの変化量に依存する。これは、平均して、下流側に送られるべきデータ量が大きく削減されるので、望ましい特徴である。しかしながら、低い平均データレートを有することは良いことであるが、常に効率的であるわけではない。下流側ハードウェア(通信チャネル、処理要素)は通常、ワーストケースシナリオに対してサイズが合わされる。特に何も行われない場合、ワーストケースシナリオは、非常に高いデータレートに対応し得る。

【0008】

イベントベースセンサは通常、そのインターフェースによって限定されたスループットを有する。それは、イベントが出力されない限り、イベントはピクセル内にとどまることを意味する。新しいイベントが来た場合、新しいイベントは無視されることになる。この挙動はデータレートを制限するが、タイミング精度および出力の正しさを犠牲にする。センサにヒットする新しい光子が無視され、重要なイベントが途中で失われることになる。

【0009】

通信インターフェースがスループットに対する制限を引き起こさない場合であっても、問題が依然として下流側で生じ得る。非同期に生成されたイベントを受信し、処理するプロセッサの入力において、オーバーフローが生じ得る。その場合、イベントベースセンサとインターフェースされるアプリケーションを設計するソフトウェア開発者は、オーバーフローの状況に対処しようと試みるために何らかの入力処理を実現することに悩まされなければならず、さもなければ何らかの予測不能な形でイベントが失われる。

【0010】

いくつかのイベントベースセンサは、イベントをバイナリフレームにクラスタ化することによってレートを制限する。イベントをバイナリフレームにグループ化するとき、データレートが固定される。これは、データレートを制限する効果を有するが、より低い平均レートを有するという利点を取り除く。低い平均レートは、センサおよびセンサの出力信号を受信する処理装置の電力消費の点で望ましい特徴である。

【先行技術文献】

【特許文献】

【0011】

【文献】米国特許出願第2008/0135731A1号

【非特許文献】

【0012】

【文献】「Activity-Driven, Event-Based Vision Sensors」、T. Delbruck他、Proceedings of 2010 IEEE International Symposium on Circuits and Systems(ISCAS)、2426～2429頁

【文献】「A 128x128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor」、P. Lichtsteiner他、IEEE Journal of Solid-State Circuits、Vol. 43、No. 2、2008年2月、566～576頁

【文献】「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、C. Posch他、IEEE Journal of Solid-State Circuits、Vol. 46、No. 1、2011年1月、259～275頁

【発明の概要】

【発明が解決しようとする課題】

【0013】

イベントベースセンサの出力を処理するための効果的な方法を提案することが望ましい。

【課題を解決するための手段】

【0014】

上記の必要性は、平均レートを犠牲にすることなく、データレートを所与のレベルに制限することによって対処される。最大データレートは、利用可能な計算資源に応じて、システムを構成する人によって決定される。

【0015】

したがって、イベントベースセンサから信号を出力する方法が開示される。イベントベースセンサは、イベントを非同期に生成するセンシング部を有し、信号は、生成されたイベントのうちの少なくとも一部に関する情報を含む。方法は、
センシング部によってイベントの生成レートを推定すること、
推定レートがしきい値未満である間、可変レートを有する信号を送信すること、および
推定レートがしきい値を超えるとき、情報が信号内に含まれるイベントのレートがしきい値以内にとどまるように、生成されたイベントのうちの一部のみに関する情報を含む信号を送信すること
を含む。

【0016】

方法の実装は、妥当に低い計算の複雑さを有し得、したがってイベントベースセンサのセンシング部と同一のチップ上で実施され得る。オンチップに適合するために、方法は約1msを超えてデータをバッファリングすべきではない。方法はまた、あらゆるイベントについて、除算などの複雑な演算を行うべきではない。提案される方法は、フレームバッファの使用を必要とせず、これは、フレームバッファがかなり大きく、センサチップ上に配置されるときに製造歩留りに負の影響を及ぼし得ることを考えると有利である。

【0017】

一例として、チップが組込みプロセッサに接続される場合、データレートは、一般にサーバファームに接続された場合よりも低く設定されることになる。

【0018】

方法は、シーン条件に対するセンサの空間サブサンプリングまたは時間分解能の適合を必要としない。

【0019】

その代わりに、応用例に応じて、または信号を受信する処理装置または通信チャネルの能力に応じて、構成パラメータが設定され得る。一実施形態では、方法は、しきい値の値、および/またはイベントの生成レートを推定するための期間の値を構成パラメータとして受信することをさらに含み得る。そのような値は、チャネルまたは信号を受信するプロセッサの必要性に適合するように与えられる。

【0020】

方法を実装するために、少なくとも1つのフィルタが、推定レートがしきい値を超過したことに応答して、出力されるべき信号内の選択されたイベントを廃棄するように、イベントベースセンサによって生成されたイベントに適用され得る。そのようなフィルタは、選択されたイベントが時間パターンに従って生じる時間フィルタ、および/またはそれぞれのアドレスを有し、イベントのそれぞれのシーケンスを生成する複数の空間的に分散した検出素子をイベントベースセンサが有するケースでは、選択されたイベントが検出素子によって空間パターンに対応するアドレスにおいて生成される空間フィルタを備え得る。具体的には、センシング部の検出素子が2次元マトリックスに配置される場合、少なくとも1つのフィルタが、選択されたイベントが検出素子によってマトリックスの行に対応するアドレスにおいて生成されたイベントである第1の空間フィルタと、選択されたイベントが検出素子によってマトリックスの列に対応するアドレスにおいて生成されたイベントである第2の空間フィルタとを含み得る。

【0021】

本発明の別の態様は、前述の方法を利用するイベントベースセンサに関する。イベントベースセンサは、イベントを非同期に生成するためのセンシング部と、出力ポートと、センシング部によって生成されたイベントのうちの少なくとも一部に関する情報を含む信号を出力ポートに供給するコントローラとを備える。コントローラは、
センシング部によってイベントの生成レートを推定し、
推定レートがしきい値未満である間、可変レートを有する信号を出力ポートに供給し、
推定レートがしきい値を超えるとき、情報が信号内に含まれるイベントのレートがしきい値以内にとどまるように、生成されたイベントのうちの一部のみに関する情報を含む信号を供給する
ように構成される。

【0022】

本明細書において開示される方法およびイベントベースセンサの他の特徴および利点が、添付の図面を参照して、非限定的な実施形態の以下の説明から明らかとなるであろう。

【図面の簡単な説明】

【0023】

【図1】イベントベースセンサの実施形態を使用して本発明を実装するシステムのブロック図である。

【図2】図1に示されるシステムにおいて使用可能なイベントレートコントローラの一例のブロック図である。

【発明を実施するための形態】

【0024】

図1に示されるシステムは、シーンの正面に配置され、1つまたは複数のレンズを備える取得オプティクス11を通じてシーンから光を受けるイベントベース非同期視覚センサ10を備える。センサ10は、取得オプティクス11の像平面内に配置されたセンシング部12を含む。センシング部12は、ピクセルのマトリックスとして編成された感光素子のアレイを備え得る。感光素子pに対応する各ピクセルは、シーン内の光の変動に応じて、各時刻tに連続するイベントev(p,t)を生成する。

【0025】

プロセッサ20は、センシング部12の感光素子pから非同期に受信されたイベントev(p,t)を含む、センサ10から生じる非同期情報を処理する。プロセッサ20は、任意の適切なプログラミング技法、またはハードウェア構成を使用して、デジタル信号に対して演算する。プロセッサ20によって実行される処理のタイプは応用例に依存し、本発明の特徴ではない。

【0026】

センサ10のセンシング部12は、センサの視野内に現れる、シーン内のピクセルによって検出された光の変動を使用して、マトリックスの各ピクセルpについてのイベントのシーケンスを生成する。ピクセルからのそれらのイベントシーケンスは、センサ10の出力インターフェースに関連付けられるコントローラ15によって信号に集約される。信号は、アドレスイベント表現(AER)を使用し、センサ10の出力ポート16および通信リンク18を通じてプロセッサ20に供給される。出力信号内の各イベントは、マトリックス内のピクセルのアドレスに関連付けられる、その時間位置がピクセルによって確認された輝度の変化を示す少なくとも1つのスパイクを含む。極性情報および/または輝度値などの1つまたは複数の輝度属性も、イベントに関連付けられ得る。通信リンク18は、任意の適切な通信媒体および任意の適切な通信プロトコルを使用し得る。例として、通信リンク18はユニバーサルシリアルバス(USB)ポート16に基づき得る。

【0027】

例として、イベントの取得を実施するセンシング部12は、「A 128x128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor」、P. Lichtsteiner他、IEEE Journal of Solid-State Circuits、Vol. 43、No. 2、2008年2月、566～576頁、または米国特許出願第2008/0135731A1号で説明されているタイプの動的視覚センサ(DVS)として実施され得る。

【0028】

本発明を利用し得る非同期センサの別の例は、「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、C. Posch他、IEEE Journal of Solid-State Circuits、Vol. 46、No. 1、2011年1月、259～275頁にその説明が与えられている非同期時間ベースイメージセンサ(ATIS)である。

【0029】

コントローラ15は、以下ではイベントレートコントローラ(ERC)と呼ばれる。ERCの可能な実施形態が図2に示されている。

【0030】

その実施形態では、ERC15は、センシング部12の読出し回路によって供給されるデータを連続して処理する。ERC15は、検出素子のアレイ12によって生成されたイベントを受信するレート測定構成要素30を有する。イベントレートR_Eが、構成要素30によって、たとえば所与の時間枠T内にアレイ12によって検出されたイベントを単にカウントすることによって推定される。イベントカウントC_E (=R_E×T)が比較器31に供給され、比較器31はイベントカウントCEをしきい値Sと比較する。

【0031】

C_E≦Sである間、すなわちイベントレートR_Eがしきい値S/T以内にある間、検出素子のアレイ12によって生成されたイベントが、プロセッサ20への送信のために出力ポート16に直接供給される。これが図2においてスイッチ32で図式的に示されている。このケースでは、出力ポート16を通じて送信される信号が、アレイ12によって生成されたイベントの可変レートを保持する。

【0032】

比較器31が、C_E>Sであること、すなわちイベントレートR_Eがしきい値S/Tを超過したことを示すとき、アレイ12からのイベントのストリームが、図示される実施形態では2つの空間フィルタ33、34および時間フィルタ35を含むERC15のフィルタバンクにかけられる(その場合、例示的スイッチ32は図2に示される位置にある)。

【0033】

フィルタ33～35は、出力ポート16を通じて送信される信号内のイベントのレートがしきい値S/T以内のままとなるように、アレイ12からのイベントにサブサンプリングを適用する。言い換えれば、各フィルタ33～35は、信号内のいくつかのイベントを廃棄し、フィルタのうちの1つによって廃棄されるイベントは、ERC15の構成モジュール40によって示されるそれぞれのパターンH_P、V_P、T_Pに従って選択される。

【0034】

図2に示される実施形態では、フィルタバンクは、2つの空間フィルタ33～34と、その後に続く時間フィルタ35とを含む。

【0035】

空間フィルタ33～34では、イベントを廃棄するためのパターンH_P、V_Pは、検出素子のアレイの領域、すなわちアレイ12を形成するマトリックス内の検出素子の特定のアドレスに対応する。廃棄されるべきイベントが検出素子からマトリックスの行に対応するアドレスにおいて生じる水平フィルタ33と、その後に続く、選択されたイベントが検出素子からマトリックスの列に対応するアドレスにおいて生じる垂直フィルタ34とがある。水平フィルタ33がイベントを廃棄するマトリックスの行は、密度D_Hで規則的に間隔を置いて配置され得る。垂直フィルタ34がイベントを廃棄するマトリックスの列は、密度D_Vで規則的に間隔を置いて配置され得る。

【0036】

時間フィルタ35では、イベントを廃棄するためのパターンT_Pは、ドロップデューティ率D_Tでイベントが廃棄される一定の時間間隔に対応する。

【0037】

図2に示されるようにフィルタ33～35が縦続接続されるとき、フィルタバンクによって適用される全体のドロップレートは、D'=[1-(1-D_H)×(1-D_V)×(1-D_T)]と計算され得る。フィルタ33、34、35のそれぞれのドロップレートD_H、D_V、D_Tは、比較器31によって与えられる目標ドロップレートDに応じて、D'=DまたはD'≒Dとなるように構成モジュール40によって設定される。

【0038】

3つのフィルタがイベントのストリームを処理する順序は、図2に示されるものとは異なり得る。さらに、推定イベントレートR_Eがしきい値S/Tを超過したときにイベントを制御された方式でドロップするために、2つ以下のフィルタ、または4つ以上のフィルタがあり得る。さらに、イベントの空間/時間フィルタリングは、上記で提示したのとは異なる形態を有し得る。たとえば、空間フィルタは、選択されたイベントが指定された列および指定された行のどちらにも位置するドロップパターンを適用し得る。

【0039】

ERCの一実施形態では、比較器31は、各期間Tにおいて、推定イベントレートR_Eがしきい値S/Tと比較してどうかに依存する目標ドロップレートDを提供する。例として、整数A=0、1、2、...、2^N-1を表すN個のビットを使用して、D=A/2^Nとなるように目標ドロップレートDが量子化され得る。ただし

【0040】

【数1】

【0041】

である。C_E≦Sであるとき、Aは0であり、すなわちフィルタ33～35によってイベントは廃棄されない。そうでない場合、比較器31は、イベントカウントC_Eの値を、しきい値Sに基づいて決定された2^N-1個のビンのうちの1つに置く。どのビンがイベントカウントC_Eを受け取るかが、ドロップレートDを与える整数Aを量子化するNビットを決定する。やはり、そのような処理のために複雑な計算は不要である。

【0042】

構成モジュール40は、比較器31からドロップレートDを受け取り、それぞれのイベントドロップレートD_H、D_V、D_Tを前述のように設定することにより、R_E>S/Tであるとき、フィルタ33～35で使用されるべきパターンH_P、V_P、T_Pを決定する。パターンH_P、V_P、T_Pは、目標ドロップレートDを表すビットによって形成されたアドレスを使用してアクセスされる、事前定義されたルックアップテーブルを使用して、構成モジュール40によって決定され得る。

【0043】

目標ドロップレートDがどのように3つのイベントドロップレートD_H、D_V、D_Tに分割されるかは、構成モジュールの設計者によって提供され、またはプロセッサ20から通信リンク18を通じて受信される構成パラメータに依存し得る。プロセッサ20によって実行されるアプリケーションに応じて、時間、垂直、または水平ドロップパターンに対してより高い、またはより低い重要度を用いるフィルタリング方法がより適切であり得る。これは、構成パラメータを設定することによって指定され得る。構成パラメータが提供されないとき、たとえば、3つのレートD_H、D_V、D_Tの間で等しく目標ドロップレートDを分割するというデフォルト方法があり得る。

【0044】

イベントがカウントされる基準期間Tは、通信リンク18上に提供されたユーザインターフェースによって設定され得る別の構成パラメータである。より長い期間が選択されるとき、イベントのバーストがセンサ10の出力またはプロセッサ20の入力において時間オーバーフローを引き起こす危険が残り得ることを考えると、プロセッサ20は、それ自体の動的挙動に従って基準期間Tを選択し得る。通常、イベントベースセンサ10の前述の例が使用されるとき、基準期間Tは10から500マイクロ秒の範囲内にあり得る。

【0045】

主な構成パラメータは、イベントカウントC_Eが比較されるしきい値Sの値である。比S/Tは、センサ10によってプロセッサ20に送られる信号のスループットに直接的にリンクされる。Sの値はまた、通信リンク18上に提供されたユーザインターフェースによって設定され得る。

【0046】

図2において図式的に示されるERC15は、フィルタリング前にイベントを一時的に記憶するためのバッファを含まない。実際には、期間Tについて決定された目標ドロップレートDが同一の期間中にアレイ12によって生成されたイベントのセットに適用されるように、基準期間Tが増大するときにその寸法が大きくなるイベントバッファがあり得る。しかしながら、そのようなバッファの存在は、すべての応用例において要件ではない。基準期間Tよりも短い時間枠にわたってイベントをバッファリングすることも可能である。

【0047】

ERC15によって実行されるプロセスは、制御された方式で過剰なイベントを除去する機能を達成するのがかなり簡単であることに留意されたい。これは、イベントをソートするためにCPU能力を使用するフィルタを有する必要性を除去する。

【0048】

前述の実施形態は、本明細書において開示される本発明の例であること、および添付の特許請求の範囲において定義される範囲から逸脱することなく、様々な変更が行われ得ることを理解されよう。

【0049】

たとえば、アレイ12によって生成されたイベントのうちの一部は、センサ10のレベルにおいて実施される他の機能、たとえばわずかな情報(たとえば、雑音、ちらつき効果、トレイルフィルタなど)を搬送するイベントを除去する機能のために、プロセッサ20への送信前に廃棄され得る。前述のERC処理は、イベントベースセンサの出力信号が所望のデータレートを満たすことを確認するために、出力インターフェースにおいて使用可能である。

【0050】

本発明の他の実施形態では、イベントドロップレートは、センシング部12の視野にわたって変動するように設定され得る。たとえば、空間フィルタは、イベントを優先的にドロップするためのエリアのグリッドを提供するように使用され得る。どのフィルタがERC15によって適用され、どのパラメータと共に適用されるかは、プロセッサ20によって実行されるアプリケーションに応じて構成され得る。

【0051】

本発明は、限定はしないが、自律走行車両、補綴デバイス、および製造ロボット、軍事または医用ロボットデバイスなどの自律的ロボット装置を含む様々なデバイスにおいて有用であり得る。

【0052】

本発明はさらに、たとえば、スマートフォン、ポータブル通信デバイス、ノートブック、ネットブックおよびタブレットコンピュータ、監視システム、ならびに視覚データを処理するように構成された実質的に任意の他のコンピュータ化されたデバイスなどの、多種多様な静止デバイスおよびポータブルデバイスにおいて適用可能であり得る。

【0053】

本発明の実装は、コンピュータヒューマン対話(たとえば、ジェスチャ、音声、姿勢、顔の認識、および/または他の応用例)、プロセスを制御すること(たとえば、産業ロボット、自律的車両、および他の車両)、イメージシーケンス内の注目の地点または物体(たとえば、車両または人間)のセットの、像平面に対する移動に追従すること、拡張現実応用例、バーチャルリアリティ応用例、アクセス制御(たとえば、ジェスチャに基づいてドアを開くこと、許可された人の検出に基づいてアクセス通路を開くこと)、(たとえば、視覚監視または人々または動物についての)イベントを検出すること、カウント、追跡などを含む多くの応用例において使用され得る。本開示が与えられると当業者によって理解されることになる無数の他の応用例が存在する。

【符号の説明】

【0054】

10 イベントベース非同期視覚センサ
11 取得オプティクス
12 センシング部
15 コントローラ
16 出力ポート
18 通信リンク
20 プロセッサ
30 レート測定構成要素
31 比較器
32 スイッチ
33 水平フィルタ
34 垂直フィルタ
35 時間フィルタ
40 構成モジュール

【図1】

【図2】