IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ プロフェシーの特許一覧

特開2024-163052イベントバーストを考慮するためのイベントベース視覚センサ内のイベントキューの監視
<>
  • 特開-イベントバーストを考慮するためのイベントベース視覚センサ内のイベントキューの監視 図1
  • 特開-イベントバーストを考慮するためのイベントベース視覚センサ内のイベントキューの監視 図2
  • 特開-イベントバーストを考慮するためのイベントベース視覚センサ内のイベントキューの監視 図3
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024163052
(43)【公開日】2024-11-21
(54)【発明の名称】イベントバーストを考慮するためのイベントベース視覚センサ内のイベントキューの監視
(51)【国際特許分類】
   H04N 25/47 20230101AFI20241114BHJP
【FI】
H04N25/47
【審査請求】未請求
【請求項の数】5
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024074583
(22)【出願日】2024-05-02
(31)【優先権主張番号】23315188.5
(32)【優先日】2023-05-11
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】520207608
【氏名又は名称】プロフェシー
【氏名又は名称原語表記】PROPHESEE
【住所又は居所原語表記】74 rue du Faubourg Saint Antoine, 75012 PARIS, FRANCE
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】フィナテュー,トーマス
(72)【発明者】
【氏名】オッパーマン,ティジャート
【テーマコード(参考)】
5C024
【Fターム(参考)】
5C024CY26
5C024GY31
5C024HX15
(57)【要約】      (修正有)
【課題】イベントベース視覚センサにおいて、イベントがバーストで発生する状況におけるイベントキューの処理を適切に行う。
【解決手段】イベントベースピクセルのアレイ(10)と、対応するライン読み出し要求を要求キュー(Y-キュー)にエンキューすることによって、要求キューに順次処理提供する要求アービタ(12、20)と、現在のライン読み出し要求に対応するピクセルのラインのイベントを並列に読み出し、イベントストリーム(ESTRM)における読み出しの時間を示すタイムスタンプとともに読み出しイベントを送信するイベント読み出し回路(16、24)と、有効化された要求ラインの数として要求キュー長を生成するキュー長カウンタ(YQLEN)と、現在の要求キュー長に基づいてイベントバースト性インジケータを生成するキューモニタ(26)と、イベントバースト性インジケータに基づいてバースト性補償動作を実行する手段と、を備える。
【選択図】図3
【特許請求の範囲】
【請求項1】
イベントベースピクセルのアレイ(10)であって、各ピクセルは、
感知された光電流の変動に基づいてイベントを記録し、
イベントの発生時に、前記アレイの軸に沿って整合されたピクセルに共通の要求ラインを有効化するように構成される、アレイ(10)と、
要求アービタ(12、20)であって、
対応するライン読み出し要求を要求キュー(Y-キュー)にエンキューすることによって、前記有効化された要求ラインに非同期的に応答し、
前記要求キューを順次に処理するように構成された要求アービタ(12、20)と、
前記要求アービタに接続されたイベント読み出し回路(16、24)であって、
前記アービタによって処理される現在のライン読み出し要求に対応するピクセルのラインの前記イベントを並列に読み出し、
イベントストリーム(ESTRM)における読み出しの時間を示すタイムスタンプとともに、前記読み出しイベントを送信するように構成されたイベント読み出し回路(16、24)と、
前記要求ラインに接続され、有効化された要求ラインの数として前記要求キュー長を生成するキュー長カウンタ(YQLEN)と、
前記キュー長カウンタに接続され、前記現在の要求キュー長に基づいてイベントバースト性インジケータを生成するように構成されたキューモニタ(26)と、
前記イベントバースト性インジケータに基づいてバースト性補償動作を実行するように構成された手段と、を備えるイベントベース視覚センサ。
【請求項2】
前記読み出し回路は、連続的なイベントバースト性インジケータ値を前記イベントストリームに挿入するように構成され、前記センサは、前記イベントストリームを受信し、前記イベントバースト性インジケータ値に応答して前記イベントストリームに処理措置を適用するようにプログラムされたプロセッサをさらに備える、請求項1に記載のセンサ。
【請求項3】
前記バースト性インジケータはキュー長であり、前記アービタは、前記キュー長が閾値を超えるとき、前記ピクセルアレイの関心領域に対応する要求のみが処理されるように前記要求キューをサブサンプリングし、前記要求キュー内の結果として生じる処理されていない要求をリセットするように制御される、請求項1に記載のセンサ。
【請求項4】
行要求キュー(Y-キュー)にエンキューされた行読み出し要求を処理するように構成された行要求アービタ(12)と、
前記行要求アービタに関連付けられた行読み出し回路(16)と、
列要求キュー(X-キュー)にエンキューされた列読み出し要求を処理するように構成された列要求アービタ(20)と、
前記列要求アービタに関連付けられた列読み出し回路(24)と、
前記行および列要求キューにそれぞれ割り当てられた行キュー長カウンタ(YQLEN)および列キュー長カウンタ(XQLEN)と、
前記行および列要求アービタに関連付けられた前記要求キューモニタ(26)であって、
前記行要求キュー長が前記列要求キュー長を閾値分超えた場合、前記行要求キューに処理するために前記行要求アービタをアクティブ化し、
前記列要求キュー長が前記行要求キュー長を閾値分超えた場合、前記列要求キューに処理するために前記列要求アービタをアクティブ化するように構成される要求キューモニタ(26)と、を備える請求項1に記載のセンサ。
【請求項5】
前記行および列要求アービタは、前記それぞれの行および列読み出し要求をエンキューするために同時に動作するように構成され、前記要求キューモニタは、アクティブ状態から非アクティブ状態に切り替えられたアービタの前記要求キューをリセットするように構成される、請求項4に記載のセンサ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般にイベントベース視覚センサに関し、より具体的には、イベントがバーストで発生する状況におけるイベントキューの処理に関する。
【背景技術】
【0002】
図1は、典型的なイベントベース視覚センサのブロック図を示す。イベントベース視覚センサは、ピクセル10のアレイを含み、各ピクセルは、コントラスト変化がピクセルにおいて検出されるときに非同期的にイベントを生成するように構成される。各イベントは、閾値を超える光強度の相対的な増加または減少を表す。アレイに割り当てられたアービタ12は、イベントを検出し、制御回路14の助けを借りて、システムクロックCKのペースで、読み出し回路16を介してそれらの読み出しを同期して編成する。読み出し時に、各イベントには、タイムスタンプTS、アレイ内のその座標(X,Y)、その符号付き閾値レベルΔが割り当てられ、イベントストリームESTRM内に配置されて送信され、アプリケーションプログラムでさらに処理される。
【0003】
そのような構成では、割り当てられたタイムスタンプとイベントの実際の発生との間に不一致を引き起こし得る状況が発生する。
【発明の概要】
【0004】
イベントベース視覚センサは、一般に、イベントベースピクセルのアレイであって、各ピクセルは、感知された光電流の変動に基づいてイベントを記録し、イベントの発生時に、アレイの軸に沿って整合されたピクセルに共通の要求ラインを有効化するように構成される、アレイと、対応するライン読み出し要求を要求キューにエンキューすることによって、有効化された要求ラインに非同期的に応答し、要求キューを順次に処理するように構成された要求アービタと、要求アービタに接続されたイベント読み出し回路であって、アービタによって処置される現在のライン読み出し要求に対応するピクセルのラインのイベントを並列に読み出し、イベントストリームにおける読み出しの時間を示すタイムスタンプとともに読み出しイベントを送信するように構成されたイベント読み出し回路と、要求ラインに接続され、有効化された要求ラインの数として要求キュー長を生成するキュー長カウンタと、キュー長カウンタに接続され、現在の要求キュー長に基づいてイベントバースト性インジケータを生成するように構成されたキューモニタと、イベントバースト性インジケータに基づいてバースト性補償動作を実行するように構成された手段と、を備える。
【0005】
読み出し回路は、連続的なイベントバースト性インジケータ値をイベントストリームに挿入するように構成されてもよく、センサは、イベントストリームを受信し、イベントバースト性インジケータ値に応答してイベントストリームに処理措置を適用するようにプログラムされたプロセッサをさらに備えてもよい。
【0006】
バースト性インジケータは、キュー長であってもよく、アービタは、キュー長が閾値を超えるとき、ピクセルアレイの関心領域に対応する要求のみが処理されるように要求キューをサブサンプリングし、要求キュー内の結果として生じる処理されていない要求をリセットするように制御されてもよい。
【0007】
センサは、行要求キューにエンキューされた行読み出し要求を処理するように構成された行要求アービタと、行要求アービタに関連付けられた行読み出し回路と、列要求キューにエンキューされた列読み出し要求を処理するように構成された列要求アービタと、列要求アービタに関連付けられた列読み出し回路と、行および列要求キューにそれぞれ割り当てられた行キュー長カウンタおよび列キュー長カウンタと、行および列要求アービタに関連付けられた要求キューモニタであって、行要求キュー長が列要求キュー長を閾値分超えた場合、行要求キューを処理するために行要求アービタをアクティブ化し、列要求キュー長が行要求キュー長を閾値分超えた場合、列要求キューを処理するために列要求アービタをアクティブ化するように構成される要求キューモニタと、をさらに備えてもよい。
【0008】
行および列要求アービタは、それぞれの行および列読み出し要求をエンキューするために同時に動作するように構成されてもよく、要求キューモニタは、アクティブ状態から非アクティブ状態に切り替えられたアービタの要求キューをリセットするように構成されてもよい。
【図面の簡単な説明】
【0009】
実施形態は、添付の図面に関連して、例示目的のみのために提供される以下の説明において明らかにされる。
図1】ピクセルアレイ内の行ごとにイベントを処理するように編成されたイベントベース視覚センサのブロック図である。
図2】バースト性インジケータに基づくイベントバースト緩和の実施形態を実装するイベントベース視覚センサのブロック図である。
図3】バースト性インジケータに基づくイベントバースト緩和の別の実施形態を示すイベントベース視覚センサのブロック図である。
【発明を実施するための形態】
【0010】
イベントベース視覚センサでは、例えば、突然のシーン輝度変化時にイベントのバーストが発生すると、イベントの発生とその実際の読み出しとの間にかなりのレイテンシが生じ、一般に読み出し時に割り当てられるタイムスタンプに誤差が生じる可能性がある。
【0011】
さらに、送信されたイベントストリームは、イベントデータのバーストを検知し、これは、チップ間インターフェース上の大きなトラフィック負荷およびホストプロセッサ上の高いイベント処理負荷を引き起こす可能性がある。
【0012】
本開示では、イベント生成を監視し、可能な場合は下流処理で補正措置を適用するためにイベントバースト情報を送信することが提供される。
【0013】
再び図1を参照すると、イベントバーストを引き起こすことができる例示的な状況が示されている。センサアレイ10は、8つの画素にわたるラインに沿って突然の輝度変化を観測し、8つのイベントEV1~EV8を生成する。この例では、画素はたまたま3列8行に属している。
【0014】
典型的なイベントベースセンサでは、ピクセルアレイの各行には、アービタ12によって監視される要求ラインREQが割り当てられる。イベントを検出するピクセルは、ラインをアクティブレベルにプルすることによって、その行の要求ラインを直ちに有効化する。要求ラインがすでにアクティブである場合、同じ行内の後続のイベントは要求ラインに影響を及ぼさない。アービタは、最終的に、ピクセルの行に共通の承認ラインACKを有効化することによって要求に対応し、これにより、行全体のイベントデータが読み出し回路16のラッチに転送され、要求ラインがクリアされる。行のアクティブイベントのデータのみが読み出し回路によって解析され、現在のタイムスタンプTSと、読み出された行内のアクティブイベントの位置によって提供されるX、Y座標と、アービタによって処理される現在の要求ラインのランクとともに、イベントストリームESTRMに連結される。
【0015】
イベントが他の行で発生して後続の要求を生成する前に、アービタが第1の行の要求を処理する時間がない場合、これらの後続の要求は要求キュー18に入れられ、後で処理される。要求のエンキューは、アービタ内の組合せ論理によって非同期的に実行される。これは、8つの別個の要求を非同期的に生成する、図示されたイベントEV1~EV8の状況であり得る。アービタおよび制御回路は、システムクロックCKのペースで、一度に1つの要求のみを同期して処理することができる。イベントがシステムクロックよりも速く発生する場合、アービタは最初の要求を処理し、他の要求をキューに入れる。残りの要求は、指定された優先ルール、好ましくは先入れ先出し規則に従って処理される。特に、要求の発生の非同期順序を追跡することが困難である場合には、他の行が少なくとも1回処理された場合にのみ特定の行が2回処理されるように、処理される第1の行の位置に基づく公正な調停ルールなどの他の優先ルールを実装し得る。
【0016】
アービタが最終的にキュー内の要求を処理するとき、読み出しの時間である対応するイベントに割り当てられたタイムスタンプがイベントの時間より遅れることは明らかである。イベントストリーム内のタイムスタンプエラーに変換されるラグは可変であり、キュー内の要求の位置に依存し、この位置は、1とキューによって到達される可変長との間で変化し得る。キューの長さは、システムクロックの1周期内に発生するイベントのバーストによって影響を受ける行の数に依存する。
【0017】
キュー内の要求の位置は、一般に、遅れを直接示すものではない。実際、フラッシュがシーン内で観察されるときなど、イベントが同時に発生する場合、要求は、すべてが同じ発生時間を表す異なる位置でキューに入れられる。したがって、キュー内の位置Nは、アービタによる処理時に、1つのシステムクロック周期とN個のクロック周期との間の任意のタイムラグを表すことができる。
【0018】
さらに、キュー内で保留中の要求が待機しているとき、対応する行でより新しいイベントが発生する可能性がある。保留中の要求ラインは依然としてアクティブであるため、新しいイベントによる変化は何も起こらない。したがって、同じ保留中の要求が、要求を処理するのにかかる時間内の異なるイベント発生時間を表していることもある。
【0019】
本明細書では、バースト緩和対策を適用するために、キュー長に基づくイベントバースト性インジケータを使用することが提供される。バースト性インジケータは、単に現在のキュー長であってもよいし、キュー長の進展を表す統計的インジケータであってもよい。
【0020】
単純な実施形態では、バースト性インジケータは、イベントストリーム内のイベントデータとともに挿入されてもよく、現在のイベントとともに送信されるインジケータは、以前に送信されたイベントのグループについて考慮されるバースト性を表す。インジケータはまた、利用可能なハードウェアインターフェース上で通信され得る。センサまたはアプリケーションプログラムのダウンストリームプロセッサは、バースト性インジケータを使用して、起こり得るタイムスタンプ誤差を考慮するようにイベントデータ処理を適合させるか、または正確なタイムスタンプを必要としない処理を適用し得る。いずれの場合も、バースト性インジケータは、イベントバースト状態の後の正常復帰状態を検出するためにダウンストリーム処理によって使用されてもよく、この場合、タイムスタンプは再び信頼され得る。実際、いくつかの状況では、イベントのバーストは一般に無視されることがあり、それによってタイムスタンプ情報は無関係であるが、バースト状態がいつ開始および終了するかを知ることは有用である。
【0021】
図2は、要求キュー長に基づくイベントバースト緩和の別の実施形態を実装するイベントベース視覚センサのブロック図である。
【0022】
センサは、図1のセンサの補足バージョンであり、ピクセルアレイ10、ここではY-アービタとラベル付けされた行要求アービタ12、ここではX-読み出しとラベル付けされた行読み出し回路16、およびここではY-キューとラベル付けされた行要求キュー18などの同じ要素を備える。これらの要素は、それらの以前の機能、すなわち、行要求Y-REQをアクティブ化するピクセルに基づいて、アレイのピクセルの行の読み出しを編成することを保存する。換言すれば、これらの要素は、Y軸に沿って整列されたピクセルの水平ライン(行)を処理するように構成される。
【0023】
加えて、センサは、X軸に沿って垂直にアレイを処理する、すなわち、列要求X-REQをアクティブ化するピクセルに基づいてピクセルの垂直ライン(列)の読み出しを編成するための要素を備える。これらの要素は、列要求キュー(X-キュー)および列読み出し回路(Y-読み出し24)に関連付けられた列要求アービタ(X-アービタ20)を含む。したがって、アレイ10は、ピクセルの各列についてxアービタ20に接続された垂直列要求ラインX-REQと、yアービタ20によって処理される列のイベントを並列に読み出すためのy読み出し回路24に接続された複数の水平ライン(図示せず)とによって完成される。センサによって出力されるイベントストリームは、後述するように、一度に1つずつ動作し得るxおよびy読み出し回路の出力をマージすることによって生成される。
【0024】
基本的に、これらの追加の要素は、従来の要素が画素の行で動作するのと同様に、画素の列で動作する。
【0025】
加えて、センサの制御回路は、行要求キューY-キューおよび列要求キューX-キューの両方を監視するキューモニタQMON26を含み、各アービタにはキュー長カウンタYQLEN、XQLENが割り当てられる。各キュー長カウンタは、各要求ラインに対して1つの入力と、アクティブ状態にある入力の数を符号化する出力とを有する並列カウンタ構造を有し得る。例えば、1280×728ピクセルアレイを有するセンサの場合、カウンタYQLENは、728個の入力と、0~727の間の任意の数を符号化するための10ビット出力とを有し、カウンタXQLENは、1280個の入力と11ビット出力とを有する。
【0026】
イベントEV1~EV8の例示的な発生がアレイ10に再び示されている。これらのイベントは、同時にまたは少なくとも1つの読み出しサイクル(またはシステムクロック周期CK)内で発生すると仮定される。従来の行アプローチによれば、イベントは、8つの別個の行において発生し、したがって、直ちに処理できない8つの別個の行要求ラインY-REQを有効化する。yアービタは、要求をyキューに入れ、これは8のサイズを達成する(要求の最初のものが直ちに処理されないと仮定する)。
【0027】
並行して、3つの別個の列で発生するイベントEV1~EV8は、3つの別個の列要求ラインX-REQを有効化する。これらの要求ラインに接続されたxアービタは、これらの要求をxキューに入れる。
【0028】
要求をxキューおよびyキューにエンキューすることは、非同期的かつ準同時に行われる。
【0029】
キューを処理する時間になると、キューモニタ26は、xキューとyキューのキュー長さを比較し、最も短いキューを有効化するアービタ、ここではxアービタを、そのキューを処理するために使用可能にし、他方のアービタ、ここではyアービタは、使用不能にされ、その要求キューがリセットされる。次に、xアービタは、アレイ内の8つの保留中のイベントを表すその3つの要求処理し、yアービタがイベントを処理するために単独であった場合と比較して5サイクルを節約する。
【0030】
以下の表は、システムクロックCKの連続するサイクルにおける上記の動作をさらに示す。
【0031】
【表1】
【0032】
サイクル時間t0の直前に、イベントEV1~EV8は、対応するx要求およびy要求をトリガしており、要求は、xキューおよびyキューに入れられており、キュー長は、キューモニタQMONによって比較されており、ここでは、xアービタを有効化にしている。これらの動作は、組合せ論理を介して非同期的に行われる。
【0033】
時間t0において、イベントEV1およびEV2を有するxキューの第1の列が処理され、xキュー長が2にデクリメントされ、yキューがリセットされる。
【0034】
時間t1において、イベントEV3~EV5を有するxキュー内の次の列が処理され、xキュー長が1にデクリメントされる。
【0035】
時間t2において、イベントEV6~EV8を有するxキューの最後の列が処理され、xキュー長が0にデクリメントされる。この時点で、前の比較に含まれるすべての要求が処理されており、それによって新しい比較が開始される。この例では、さらなる要求がエンキューされていないので、システムはアイドル状態であり、キューモニタは、新しいキュー長の不均衡を検出するために、新しいサイクルごとに比較を実行する。
【0036】
xアービタがその要求を処理している間に、新しいイベントが発生することがあり、例えば、図2に示すように、イベントEV9~EV11が2行3列で発生する。明確にするために、これらの行および列はイベントEV1~EV8の行および列とは異なると仮定する。前述したように、xアービタおよびyアービタの両方は、新しい要求をエンキューするように構成されるが、その要求を処理するために一度にアクティブであるのはその一方だけである。換言すれば、無効にされたアービタは、次の比較の準備のために要求を検出してキューに入れ続ける。
【0037】
以下の表は、時間t1のわずかに前にすべて発生すると仮定されるイベントEV9~EV11の追加の影響を示す。
【0038】
【表2】
【0039】
したがって、時間t1の少し前に、イベントEV9~EV11が発生すると、アービタはyキューを2だけ増分し、xキューを3だけ増分して、yキューおよびxキューの長さをそれぞれ2および5にする。
【0040】
時間t1において、イベントEV3~EV5を有する列が処理され、xキューが4にデクリメントされる。
【0041】
時間t2において、イベントEV6~EV8を有する列が処理され、xキューが3にデクリメントされる。前の比較に含まれるすべてのx要求が処理され、それによって新しい比較が有効になる。
【0042】
時間t3において、キュー長2および3が非同期的に比較され、この時間は、そのyキューに処理するためのyアービタのアクティブ化、およびxキューのリセットにつながる。同じサイクルにおいて、同期して、イベントEV9を有する行が処理され、yキューが1にデクリメントされる。
【0043】
時間t4において、イベントEV10およびEV11を有する最後の行が処理され、yキューが0にデクリメントされる。新たな比較が有効になる。
【0044】
前述の説明では、xキュー長とyキュー長とを直接比較して、行動作モードと列動作モードとの間のスイッチングを編成した。場合によっては、モード間の切り替えは、キューを処理する際に遅延を追加する何らかのオーバーヘッドを引き起こす可能性がある。そのような状況では、1つのキュー長が、サイクル数における最終的なオーバーヘッドよりも大きい閾値だけ他のキュー長を超えるときに、モードを切り替えることが好ましい場合がある。
【0045】
図3は、キュー長に基づくイベントバースト緩和の別の実施形態を示すイベントベース視覚センサのブロック図である。センサは、行ごとにイベントを処理するように編成された従来の構造に基づいてもよく、図2のキューモニタ26および行キュー長カウンタYQLENを含む。アービタ12およびピクセルアレイ10は、行サブサンプリングモードを選択的に実施するようにさらに構成される。
【0046】
現在のキュー長が閾値を超えると、キューモニタ26は、アービタを通常モードからサブサンプリングモードに切り替え、ここで、アービタは、ピクセルアレイ内の関心領域ROIに対応する限られた数の要求のみを処理する。関心領域は、例えば、示されるように、3行ごとに1行など、N行ごとに1行であってもよい。キュー内の処理されていない要求はリセットされ、すなわち読み出されることなくクリアされ、キューから除去され、それによってキュー長が短縮される。キュー長が閾値を下回るとすぐに、通常モードが再開されてもよい。要求のリセットは、徐々に、すなわち、キュー内の現在処理されている要求に先行する処理されていない要求をリセットすることによって、または一括に、すなわち、サブサンプリングモードに入るとすぐに処理されないキュー内のすべての要求を一度にリセットすることによって実行されてもよい。
【0047】
そのような構成は、バースト内のいくつかのイベントを無視することによってイベントのバーストに応答し、したがって、タイムスタンプのより良好な精度を優先して、センサ分解能を低減する。
【0048】
関心領域は、無視すべき行のグループが散在する連続する行のグループ、または無視すべき行のグループおよび列のグループによって分離された部分行列であってもよい。後者の場合、無視すべき列は、各行の読み出し時にマスクされ、各行について送信すべきアクティブイベントの数を潜在的に低減し、イベントのバーストの発生時にダウンストリーム処理リソース消費を低減する。
【0049】
そのようなサブサンプリング技法は、図2のセンサの2つの軸に沿って、すなわち、行および列の両方に対して使用され得る。
図1
図2
図3
【外国語明細書】