特開 2023-184501 イベントベースセンサのためのアンチフリッカーフィルタ軽減

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023184501

(43)【公開日】2023-12-28

(54)【発明の名称】イベントベースセンサのためのアンチフリッカーフィルタ軽減

(51)【国際特許分類】

   H04N 23/745 20230101AFI20231221BHJP

   H04N 25/707 20230101ALI20231221BHJP

   H04N 25/60 20230101ALI20231221BHJP

   H04N 25/47 20230101ALI20231221BHJP

【ＦＩ】

H04N23/745

H04N25/707

H04N25/60

H04N25/47

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023099184

(22)【出願日】2023-06-16

(31)【優先権主張番号】22305887

(32)【優先日】2022-06-17

(33)【優先権主張国・地域又は機関】EP

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

(71)【出願人】

【識別番号】520207608

【氏名又は名称】プロフェシー

【氏名又は名称原語表記】ＰＲＯＰＨＥＳＥＥ

【住所又は居所原語表記】７４ ｒｕｅ ｄｕ Ｆａｕｂｏｕｒｇ Ｓａｉｎｔ Ａｎｔｏｉｎｅ， ７５０１２ ＰＡＲＩＳ， ＦＲＡＮＣＥ

(74)【代理人】

【識別番号】110002723

【氏名又は名称】高法弁理士法人

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100202751

【弁理士】

【氏名又は名称】岩堀 明代

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(74)【代理人】

【識別番号】100191086

【弁理士】

【氏名又は名称】高橋 香元

(72)【発明者】

【氏名】ビュリー，サージ

(72)【発明者】

【氏名】ラゴルス，シャビエル

【テーマコード（参考）】

5C024

5C122

【Ｆターム（参考）】

5C024CX15

5C024GX03

5C024HX51

5C024JX09

5C024JX46

5C122EA13

5C122FC07

5C122FH10

5C122FH11

5C122FH16

5C122FH23

5C122HA01

5C122HA88

5C122HB01

5C122HB02

5C122HB05

5C122HB10

(57)【要約】      （修正有）

【課題】イベントベースセンサのためにアンチフリッカーフィルタ軽減を実装する装置及び方法を提供する。
【解決手段】インタフェース及びプロセッサを備える装置１００において、プロセッサ１０４は、イベントベースセンサ１０２から非同期イベントストリームＥＶＳＴＭを受信する。イベントストリームは、夫々が閾値を超えるイベントベースセンサの複数の画素の何れかによる自立検出に応答して生成されるタイムスタンプと一連の画素位置とを含む。プロセッサは、イベントストリーム中のフリッカーイベントの特徴的パターンを検出し、該パターンに応答して、ティック結果を含む信号ＴＩＣＫを生成する。フリッカーイベントの予測される繰り返し間隔は、特徴的パターンに基づいて決定され、ティック結果は、画素位置の特定の１つの自立検出のタイムスタンプの、予測される繰り返し間隔に基づいて決定されるフリッカーイベントの、将来のタイムスタンプを含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

装置であって、
イベントベースセンサから非同期イベントストリームを受信するように構成されたインタフェースであって、前記非同期イベントストリームは、それぞれが閾値を超える前記イベントベースセンサの複数の画素回路のいずれか１つによる自立検出に応答して生成されるタイムスタンプと共に一連の画素位置を含む、インタフェースと、
（ｉ）前記非同期イベントストリーム中のフリッカーイベントの特徴的パターンを検出し、かつ（ｉｉ）前記フリッカーイベントの前記特徴的パターンに応答してティック結果を含む出力信号を生成するように構成されたプロセッサであって、
（ａ）前記フリッカーイベントの予測される繰り返し間隔は前記特徴的パターンの分析に基づいて決定され、かつ
（ｂ）前記ティック結果は、前記画素位置の特定の１つの前記自立検出の前記タイムスタンプの前記予測される繰り返し間隔に基づいて決定される前記フリッカーイベントの１つ以上の将来のタイムスタンプを含む
プロセッサと、
を備える、装置。

【請求項2】

（ｉ）前記予測される繰り返し間隔は前記フリッカーイベントへのロック中に決定され、（ｉｉ）前記ロックは前記フリッカーイベントの前記タイムスタンプが所定の期間中に繰り返し検出された場合に決定され、かつ（ｉｉｉ）前記所定の期間中の前記フリッカーイベントの前記ロックは前記フリッカーイベントが周期的パターンを含むことを保証するための前記特徴的パターンの分析に基づいて検証される、請求項１に記載の装置。

【請求項3】

（ｉ）前記フリッカーイベントへの前記ロック前に、前記プロセッサは、前記フリッカーイベントの少なくとも１つのインスタンスをキャプチャするのに十分に長く、かつ前記フリッカーイベントの１つのみのインスタンスを選択するのに十分に短い同期期間を選択するように構成されており、かつ（ｉｉ）前記プロセッサは、前記特徴的パターンが安定であるという検出に応答して前記同期期間から前記フリッカーイベントの前記ロックに切り換える、請求項２に記載の装置。

【請求項4】

前記プロセッサは、（ａ）（ｉ）前記予測される繰り返し間隔の期間が検証された場合に増分され、かつ（ｉｉ）前記予測される繰り返し間隔のための前記期間が検証されない場合に減分されるカウンタの実装、および（ｂ）前記カウンタと調節可能な閾値との比較に応答して前記特徴的パターンが安定であることを検出するように構成されている、請求項３に記載の装置。

【請求項5】

前記予測される繰り返し間隔のための前記期間は、前記期間と可能なフリッカー源期間の期待される範囲との比較を行うことにより検証される、請求項４に記載の装置。

【請求項6】

前記フリッカーイベントの後処理は前記ロックが確認される間にのみ前記ティック結果に基づいて行われる、請求項２に記載の装置。

【請求項7】

（ｉ）前記出力信号は回路に提供され、（ｉｉ）前記回路は前記ティック結果に応答して処理動作を行うように構成されている、請求項１に記載の装置。

【請求項8】

前記出力信号は、完全なビデオフレームが生成されるのを待つ代わりに前記予測される繰り返し間隔が生じる際に前記ティック結果を前記画素回路のそれぞれのために予測するのを可能にするように構成されている、請求項１に記載の装置。

【請求項9】

（ｉ）前記フリッカーイベントは、パルシング効果を作り出す周波数で前記画素位置の１つ以上で生じる前記イベントベースセンサによって検出される光入力の輝度の変化を含み、（ｉｉ）前記プロセッサは、前記ティック結果の前記予測される繰り返し間隔中に前記輝度の変化を抑制するようにさらに構成されており、かつ（ｉｉｉ）前記ティック結果は、前記非同期イベントストリームから前記ティック結果の周囲の時間範囲内に生じる全ての入力を脱落させることにより抑制される、請求項１に記載の装置。

【請求項10】

前記フリッカーイベントの前記特徴的パターンは、１０Ｈｚ～１０００Ｈｚの範囲の周期的パターンに従う輝度の変動を含む、請求項１に記載の装置。

【請求項11】

前記フリッカーイベントの前記特徴的パターンは、（ｉ）前記画素位置の１つにおける前記自立検出のコントラスト変化のクラスタを含む時間の検出部分、（ｉｉ）前記画素位置の前記１つにおける前記自立検出の前記コントラスト変化を含んでいない時間の沈黙部分、（ｉｉｉ）前記時間の検出部分および前記時間の沈黙部分の繰り返し、および（ｉｖ）前記時間の検出部分の中間時間である前記自立検出の前記タイムスタンプに基づいて選択される前記ティック結果のために前記予測される繰り返し間隔に応答して検出される、請求項１に記載の装置。

【請求項12】

前記ティック結果は、（ｉ）前記時間の検出部分内の前記画素位置の前記１つにおける前記自立検出の第１の発生数と第１の所定の閾値との比較、（ｉｉ）偏差時間内のコントラスト変化の前記クラスタにおける前記自立検出の第２の発生数と第２の所定の閾値との比較、および（ｉｉｉ）前記時間の検出部分と前記時間の沈黙部分との間の前記画素位置の前記１つにおける前記自立検出の発生の比と第３の所定の閾値との比較に応答して検証される、請求項１１に記載の装置。

【請求項13】

前記プロセッサは、（ｉ）前記ティック結果に近い前記非同期イベントストリーム中のイベントの近傍の決定、（ｉｉ）前記ティック結果からのイベントの前記近傍における前記自立検出の各発生の前記タイムスタンプの平均タイムスタンプオフセットの計算、（ｉｉｉ）前記ティック結果のための前記予測される繰り返し間隔への前記平均タイムスタンプオフセットの追加に応答して前記ティック結果を補正するようにさらに構成されている、請求項１に記載の装置。

【請求項14】

（ｉ）前記ティック結果は前記イベントベースセンサの関心領域のために生成され、かつ（ｉｉ）前記関心領域は複数の前記画素位置を含む、請求項１に記載の装置。

【請求項15】

前記複数の前記画素位置は前記イベントベースセンサの前記画素回路の全てに対応している、請求項１８に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は一般にイベントベースセンサに関し、より詳細にはイベントベースセンサのためにアンチフリッカーフィルタ軽減を実装するための方法および／または装置に関する。

【背景技術】

【0002】

イベントベースセンサを実装しているカメラは、リアルタイムで光の変化を検出するイベントストリームを提供する。イベントベースセンサを使用する場合、フリッカーが、カメラから出力される高いイベントレートをもたらす強力かつ周期的なコントラスト変化を生じさせる。カメラによってキャプチャされる多くのシーンは明滅光源を有する。明滅光源の例としては、公共の光（すなわち、１００／１２０Ｈｚのフリッカー）、ハロゲン光源、ＬＥＤもしくはＬＣＤライト、車両灯、信号機、看板、広告（製造業者によって決まる頻度を有する）などが挙げられる。夜間または屋内環境などの微光環境では、明滅光源が主たるものであるか唯一の利用可能な光源であるかもしれない。キャプチャされたシーンでは反射面が明滅をさらに増幅させる。

【0003】

一般にフリッカーイベントは有用な情報を伝えない。特にキャプチャされたシーンに対してデジタル処理が行われる場合。一例では明滅光源は、コンピュータビジョン技術および他の後処理技術（すなわちシーンブレ除去、特徴および物体検出、物体追跡など）の性能をひどく妨害する可能性がある。明滅光源は多くのイベントを急速に生成することができ、これはイベントベースセンサの帯域幅を過負荷する恐れがある。帯域幅を過負荷する急速入力は、イベントストリームの処理パイプラインに対して高い処理要求を求める結果となり得る。

【0004】

問題は、フリッカーの検出および軽減は当該分野であまり探求されてきていないことである。いくつかの従来のフリッカー軽減は、イベントの極性変化によりフリッカー信号の周期性を検出し、かつ全ての入力を脱落させる。重要な欠点は、所与の画素ブロックが明滅しているものとして検出されると、その画素ブロックから来る全てのイベントが脱落される。明滅画素ブロックから全ての入力を脱落させると、目で見えるアーティファクト画像において明滅領域と非明滅領域との間で急激な分割が生じる（すなわち、アーティファクトのサイズは画素ブロックのサイズによって決まる）。フリッカーフィルタリング（または出力イベントレート）の程度を制御することは難しい。提案されているフリッカー検出および軽減は明滅クラスタのみのフィルタリングに基づいており、穏やかであって容易に調節可能な程度および／またはタイムスパンのフィルタリングを提供する。出力イベントレートを滑らかに調整することができる。

【0005】

欧州特許出願第３５１８５２９Ａ１号は、イベントベースセンサ出力からフリッカー統計値を収集することについて記載しており、明滅バーストの抽出に焦点を当てている。フリッカーバーストのフィルタリングは、画像の明滅領域から全てのイベントを除去する。さらに、フリッカー統計値の収集およびバーストのフィルタリングは、画像全体からの（すなわち、画素ごとまたは空間ブロックストレージごとではない）フリッカー効果の抽出およびフィルタリングに適合させるのは容易ではない。フリッカーバーストのフィルタリングおよび画像の明滅領域からの全てのイベントの除去の代わりに、本発明の提案されている解決法は、ＲＡＭなしで実装することができる低複雑性ハードウェア実装を用いて行うことができるクラスタ中心の周りでの「滑らかな」フィルタリングを提供する。

【0006】

フリッカー除去は、画像フレームベースセンサの分野、特に高速ビデオ取得および古いフィルムの復旧（Ａｌｉ Ｋａｎｊによる「高速ビデオのためのフリッカー除去および色補正（Ｆｌｉｃｋｅｒ Ｒｅｍｏｖａｌ ａｎｄ Ｃｏｌｏｒ Ｃｏｒｒｅｃｔｉｏｎ ｆｏｒ Ｈｉｇｈ Ｓｐｅｅｄ Ｖｉｄｅｏｓ）」に記載されている、ｈｔｔｐｓ：／／ｐａｓｔｅｌ．ａｒｃｈｉｖｅｓ－ｏｕｖｅｒｔｅｓ．ｆｒ／において入手可能）では公知の問題である。従来の画像ベースセンサにおけるフリッカー除去は、モーションエスティメーション、画像レジストレーション、ブロックマッチング、空間補間などの様々な技術に依存している。全ての方法が画像フレームベースセンサ取得に固有の技術に依存している（すなわち、同期的読み出し結果のみが画像センサの画素アレイから入手可能である）。画像フレームベースセンサにおけるフリッカー軽減の解決法は、輝度（すなわち強度）がフレームごとのベースおよび各画素のための固定フレームレートで入手可能であるものと仮定している。固定フレームレートでのフレームごとの輝度は、局所コントラスト変化によりトリガーされる非同期イベントを提供するイベントベースセンサにとっては有効な仮定ではない。高いレートでサンプリングされたフレーム全体を処理することが必要であることにより、画像フレームベースセンサのために得られるフリッカー軽減方法は、あらゆる冗長な一時的もしくは空間的サンプリングを回避する提案されている解決法と比較して、さらにもっと計算集約的になる傾向がある。

【0007】

画像フレームベースセンサにおけるフリッカーアーティファクトの軽減は、乗り物の視覚システムの関連で対処されてきた。米国特許第７，２１８，７７７号では、フレームごとの光強度ヒストグラムの累積に基づく（移動平均ヒストグラムを用いる）、フレームベースセンサのためのフリッカー補正方法が提案されている。次いで、入ってくる画像フレームのそれぞれをガンマ補正して、予め計算および記憶されていた移動平均と一致させる。ヒストグラムの累積およびガンマ補正はフレームレートで同期的に行われ、強度の仮定はフレームの各画素のために利用可能である。両方の仮定は本発明のイベントベースセンサには当てはまらない。

【0008】

米国特許第９４７３７０６Ｂ２号は、画像フレームベースセンサの「フリッカー検出領域」で使用される非常に高い読み出しレートでサンプリングされる専用画素回路を提案している。本発明の提案されている解決法はイベントベースセンサに適用され、フリッカーによって生成された非同期イベントの自然に圧縮されたストリームを用いて画素設計へのあらゆる修正を回避する。非常に高いレートでデータをサンプリングすること（これはフリッカー検出回路に圧力を発生する可能性が高い）が回避される。

【0009】

欧州特許第３１５１５４６Ｂ１号は、フレームベース画像センサのための動的シャッタを実装している。動的シャッタは、規則的なフレームレートよりも高い周波数でフリッカーをキャプチャするために、より複雑な画素設計を必要とする。また米国特許第１０１１０８３９Ｂ２号、米国特許第１０１５４２００Ｂ２号および米国特許第１０１１０８４０Ｂ２号における手法は、動的シャッタ制御または区分的間隔ベースの曝露時間のいずれかを提案している。それぞれがフリッカー軽減のためにフレームベース画素設計のかなりの修正を使用する。本発明の提案されている解決法は画像フレームベースセンサを実装していない。

【0010】

「ビデオのための人工ニューラルネットワークを用いる有効なフリッカー検出技術（Ｅｆｆｅｃｔｉｖｅ Ｆｌｉｃｋｅｒ Ｄｅｔｅｃｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ Ｕｓｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｆｏｒ Ｖｉｄｅｏ）」（２０１７），Ｐａｔｅｌ，Ｒｉｐａｌ＆Ｐａｎｄｅｙ，Ｓｈｕｂｈａ＆Ｐａｔｅｌ，Ｃｈｉｒａｇ＆Ｐａｕｌ，Ｒｏｂｉｎｓｏｎ著（ｈｔｔｐｓ：／／ｗｗｗ．ｒｅｓｅａｒｃｈｇａｔｅ．ｎｅｔ／ｐｕｂｌｉｃａｔｉｏｎ／３１８５６１７０６＿Ｅｆｆｅｃｔｉｖｅ＿Ｆｌｉｃｋｅｒ＿Ｄｅｔｅｃｔｉｏｎ＿Ｔｅｃｈｎｉｑｕｅ＿Ｕｓｉｎｇ＿Ａｒｔｉｆｉｃｉａｌ＿Ｎｅｕｒａｌ＿Ｎｅｔｗｏｒｋ＿Ｆｏｒ＿Ｖｉｄｅｏ）では、画像フレームベースセンサのためのニューラルネットワーク手法を用いてフリッカーを検出する。本発明は、ニューラルネットワーク学習または監視を必要としない非常に限られた複雑性を有する位相同期回路（ＰＬＬ）原理から導出される。

【0011】

米国特許第９４３２５９０Ｂ２号では、画像フレームベースセンサのために、フリッカー周波数を画像フレーム間差分のＡＣ成分として検出する。フリッカー周波数の抽出はＤＣＴ変換に依存している。この手法は画素回路設計の修正を必要としないが、この設計は画像視野全体に適用される離散変換を必要とする。本発明の提案されている解決法は、イベントストリームから直接決定される二次統計値の累積に基づいており、どんな離散変換も必要とせず、それにより複雑性がかなり減少する。

【0012】

米国特許第７５３８７９９Ｂ２号は、フリッカー検出のために画像フレームベースセンサのビデオフレームの視野全体に特定の加重平均を提供する。本発明の提案されている解決法は視野全体を分析する必要はない。

【0013】

イベントベースセンサのためにアンチフリッカーフィルタ軽減を実装することが望ましい。

【発明の概要】

【0014】

本発明は、インタフェースおよびプロセッサを備える装置に関する。インタフェースはイベントベースセンサから非同期イベントストリームを受信するように構成されていてもよい。非同期イベントストリームは、それぞれが閾値を超えるイベントベースセンサの複数の画素回路のいずれか１つによる自立検出に応答して生成されるタイムスタンプと共に一連の画素位置を含んでいてもよい。プロセッサは、非同期イベントストリーム中のフリッカーイベントの特徴的パターンを検出し、かつフリッカーイベントの特徴的パターンに応答してティック結果を含む出力信号を生成するように構成されていてもよい。フリッカーイベントの予測される繰り返し間隔は特徴的パターンの分析に基づいて決定してもよい。ティック結果は、画素位置の特定の１つの自立検出のタイムスタンプの予測される繰り返し間隔に基づいて決定されるフリッカーイベントの１つ以上の将来のタイムスタンプを含んでいてもよい。

【0015】

上に記載されている装置態様のいくつかの実施形態では、予測される繰り返し間隔はフリッカーイベントへのロック中に決定される。そのロックは、所定の期間中にフリッカーイベントのタイムスタンプが繰り返し検出された場合に決定される。所定の期間中にフリッカーイベントへのロックを特徴的パターンの分析に基づいて検証して、フリッカーイベントが周期的パターンを含むことを保証する。

【0016】

上に記載されている装置態様のいくつかの実施形態では、フリッカーイベントへのロックの前に、プロセッサは、フリッカーイベントの少なくとも１つのインスタンスをキャプチャするのに十分に長く、かつフリッカーイベントの１つのみのインスタンスを選択するのに十分に短い同期期間を選択するように構成されている。プロセッサは特徴的パターンが安定であるという検出に応答して、同期期間からフリッカーイベントへのロックに切り換える。

【0017】

上に記載されている装置態様のいくつかの実施形態では、プロセッサは、予測される繰り返し間隔の期間が検証された場合に増分され、かつ予測される繰り返し間隔の期間が検証されない場合に減分されるカウンタの実装およびカウンタと調節可能な閾値との比較に応答して、特徴的パターンが安定であることを検出するように構成されている。

【0018】

上に記載されている装置態様のいくつかの実施形態では、予測される繰り返し間隔の期間は、その期間と可能なフリッカー源期間の期待される範囲との比較を行うことにより検証される。

【0019】

上に記載されている装置態様のいくつかの実施形態では、フリッカーイベントの後処理はそのロックが検証される間のティック結果のみに基づいて行われる。

【0020】

上に記載されている装置態様のいくつかの実施形態では、出力信号が回路に提供される。この回路はティック結果に応答して処理動作を行うように構成されている。

【0021】

上に記載されている装置態様のいくつかの実施形態では、出力信号は、完全なビデオフレームが生成されるのを待つ代わりに、予測される繰り返し間隔が生じる際に画素回路のそれぞれのためにティック結果を予測するのを可能にするように構成されている。

【0022】

上に記載されている装置態様のいくつかの実施形態では、フリッカーイベントは、パルシング効果を作り出す周波数で画素位置の１つ以上において生じるイベントベースセンサによって検出される光入力の輝度の変化を含む。プロセッサはさらに、ティック結果の予測される繰り返し間隔中に輝度の変化を抑制するように構成されている。ティック結果は、非同期イベントストリームからティック結果の周囲の時間範囲内に生じる全ての入力を脱落させることにより抑制される。

【0023】

上に記載されている装置態様のいくつかの実施形態では、フリッカーイベントの特徴的パターンは、１０Ｈｚ～１０００Ｈｚの範囲の周期的パターンに従う輝度の変動を含む。

【0024】

上に記載されている装置態様のいくつかの実施形態では、フリッカーイベントの特徴的パターンは、画素位置の１つにおける自立検出のコントラスト変化のクラスタを含む時間の検出部分、画素位置の１つにおける自立検出のコントラスト変化を含んでいない時間の沈黙部分、時間の検出部分および時間の沈黙部分の繰り返し、および時間の検出部分の中間時間である自立検出のタイムスタンプに基づいて選択されるティック結果の予測される繰り返し間隔に応答して検出される。

【0025】

上に記載されている装置態様のいくつかの実施形態では、ティック結果は、時間の検出部分内での画素位置の１つにおける自立検出の第１の発生数と第１の所定の閾値との比較、偏差時間内でのコントラスト変化のクラスタにおける自立検出の第２の発生数と第２の所定の閾値との比較、および時間の検出部分と時間の沈黙部分との画素位置の１つにおける自立検出の発生比と第３の所定の閾値との比較に応答して検証される。

【0026】

上に記載されている装置態様のいくつかの実施形態では、プロセッサは、ティック結果に近い非同期イベントストリーム中のイベントの近傍の決定、ティック結果からのイベントの近傍での自立検出の各発生のタイムスタンプの平均タイムスタンプオフセットの計算、およびティック結果の予測される繰り返し間隔への平均タイムスタンプオフセットの追加に応答して、ティック結果を補正するようにさらに構成されている。

【0027】

上に記載されている装置態様のいくつかの実施形態では、ティック結果はイベントベースセンサの関心領域のために生成され、関心領域は複数の画素位置を含む。

【0028】

上に記載されている装置態様のいくつかの実施形態では、複数の画素位置はイベントベースセンサの画素回路の全てに対応している。

【0029】

本発明の実施形態は、以下の詳細な説明および添付の特許請求の範囲ならびに図面から明らかになるであろう。

【図面の簡単な説明】

【0030】

【図1】本発明の例示的な実施形態を示す図である。

【図2】イベントベースセンサによって生成されるイベントストリームを示す図である。

【図3】イベントストリームに応答して生成されるティック結果を示すブロック図である。

【図4】イベントストリームに応答してイベントベースセンサに実装されているデジタルプロセッサによって生成されるティック結果を示すブロック図である。

【図5】イベントストリームおよびティック結果に応答したフリッカー軽減を示すブロック図である。

【図6】フリッカーイベントにおけるイベントのクラスタのタイミングデータを示す図である。

【図7】ティックイベントの近傍内で生じるイベントのクラスタのフリッカー軽減を示す図である。

【図8】フリッカー軽減を用いない場合のイベントストリームの視覚表現を示す図である。

【図9】フリッカー軽減を用いた場合のイベントストリームの視覚表現を示す図である。

【図10】イベントベースセンサのためのアンチフリッカーフィルタ軽減のための方法を示すフローチャートである。

【図11】イベントストリームを分析してティック結果を決定し、かつフリッカーイベントをフィルタリングするための方法を示すフローチャートである。

【図12】イベントストリームを分析してティック結果を決定し、かつフリッカーイベントをフィルタリングするための方法を示すフローチャートである。

【図13】フィルタリングを完全なシーンに適用するか、フィルタリングをイベントベースセンサによってキャプチャされたシーンの個々のブロック／画素に適用するための方法を示すフローチャートである。

【図14】ティック結果を検証するための方法を示すフローチャートである。

【発明を実施するための形態】

【0031】

本発明の実施形態は、（ｉ）イベントストリームにおいて受信された二次統計値から決定し、（ｉｉ）イベントベースセンサの画素回路を修正しない低複雑性ハードウェアと共に実装し、（ｉｉｉ）イベントのクラスタをフィルタリングし、（ｉｖ）イベントベースセンサの過負荷を防止し、（ｖ）予測されるフリッカーイベントを含むティック結果を提供し、（ｖｉ）フリッカーイベントの期間へのロックを保証し、（ｖｉｉ）フリッカーイベントの時間ドリフトを補償し、（ｖｉｉｉ）単一の画素、画素の群またはイベントストリームの視野全体に適用し、（ｉｘ）統計的基準を用いてフリッカーイベントの周囲のイベントのクラスタを検証し、（ｘ）フリッカーイベント間で生じるイベントをキャプチャするのを可能にし、かつ／または（ｘｉ）１つ以上の集積回路として実装することができる、イベントベースセンサのためのアンチフリッカーフィルタ軽減を提供することを含む。

【0032】

本発明の実施形態は、イベントベース（ＥＢ）センサによって生成されるイベントストリームのフリッカー検出および／またはフリッカー軽減を可能にするように構成されていてもよい。明滅をフリッカーイベントとして検出してもよい。フリッカーイベントをイベントストリーム中で検出してもよく、やがて起こるフリッカーイベントを予測してフィルタリングしてもよい。

【0033】

明滅は周期的パターンに従うあらゆる輝度の変動を含んでもよい。画素、画素の群および／または視野全体の特徴的パターンをイベントストリーム中で検出してもよい。特徴的パターンを分析して、明滅を表し得る周期的パターンにロックしてもよい。ＥＢセンサによって数十もしくは数百ヘルツのオーダーの明滅をイベントストリーム中でキャプチャしてもよい。例えば明滅は、人工の光源（例えば、公共および屋内照明、車両ヘッドライト、ＬＥＤ、ＬＣＤ画面など）によって引き起こされる場合がある。一般に明滅光源はオン／オフの（または高い／低い）周期的な輝度パターンに従う。一例では、オンおよびオフイベントの周期的パターンを、強力な１００Ｈｚの明滅光の中で回転ファンを有するシーンの中のＥＢセンサの関心領域において経時的にキャプチャしてもよい。ファンから反射されたフリッカーによって誘発される周期的パターンは、ファンの回転により期待されるイベントの上でキャプチャしてもよい。

【0034】

本発明の実施形態は、フリッカーイベントに対応し得るイベントのクラスタを検出し、かつフリッカーイベントの将来の発生を予測するためにフリッカーイベントの繰り返し間隔を予測するように構成されていてもよい。明滅光源によって引き起こされる問題を予防するために、フリッカー軽減はＥＢセンサのために実装されてもよい。実装されるフリッカー軽減は、フリッカー信号によって生成されるイベントクラスタの周期性を利用するように構成されていてもよい。フリッカー信号のためにイベントクラスタの周期性を決定することにより、実装されるフリッカー軽減は、全てのイベントの代わりに明滅クラスタのみのフィルタリングを可能にしてもよい。フィルタリングのタイムスパン（または程度）は、出力されるイベントレートに対する滑らかな調整を可能にするように調節可能であってもよい。行われる滑らかなフィルタリングは、明滅画素（または領域）から全てのイベントを除去する代わりに、フリッカーイベントの中心の周囲のイベントのクラスタを除去するのを可能にしてもよい。

【0035】

フリッカー検出および／または軽減は、ＥＢセンサの中に低複雑性ハードウェアを用いて実装されてもよい。一例では、フリッカー検出はランダムアクセスメモリ（例えばＳＲＡＭ）を利用することなく実装されてもよい。フリッカー検出および／または軽減は、ＥＢセンサの画素回路の設計を修正することなく実装されてもよい。フリッカー検出および／または軽減の限られた複雑性により、多数のフリッカー源および／または記憶されるコンテキストに適合させることができるスケーラブルな実装を可能にしてもよい。

【0036】

画素回路の設計の修正を伴わないフリッカー検出および／または軽減は、明滅光源を含み得るＥＢセンサによって生成された非同期イベントの自然に圧縮されたストリームを分析することにより実装されてもよい。フリッカーイベントをフィルタリングすることにより、プロセッサがデータを高いレートでサンプリングするのを防止してもよい（例えば、高いレートでデータをサンプリングすることによりフリッカー検出回路に対して圧力が生じる場合があり、これにより帯域幅を過負荷する場合がある）。フリッカー検出および／または軽減は、複雑性を制限するために位相同期回路の原理に基づいて行ってもよい。例えばフリッカー検出は、ニューラルネットワーク学習または監視を伴わずに行ってもよい。一例ではフリッカー検出により、離散変換を行うことなくイベントストリームから直接決定される二次統計値を累積してもよい。

【0037】

ＥＢセンサは、高い毎秒フレーム数でのサンプリングなしに実装されてもよい。ＥＢセンサはイベントの非同期ストリームを生成してもよい。イベントの非同期ストリームを分析することにより、フリッカー軽減は完全な画像フレームを処理する代わりに画素ごとのベースで行ってもよい。潜在的なフリッカーイベントの特徴的パターンを分析することにより、イベントクラスタ幅の動的推定を可能にしてもよい。最小のアーティファクトによる滑らかなフィルタリングは、予測されるイベントクラスタ幅内のイベントのみをフィルタリングすることにより実装されてもよい。予測されるイベントクラスタ幅の外側で生じるイベントは保存されてもよい。ティック結果はイベントクラスタの予測を提供してもよい。ティック結果は容易に調節可能であってもよい。ティック結果の周囲で生じるイベントの一部をフィルタリング除去してもよい。出力イベントレートを広範囲で制御してもよい。

【0038】

フリッカーパターンの特性は、ＥＢセンサによって生成されるイベントストリームから直接導出された統計値に基づいて検出してもよい。フリッカー検出は、画素、画素のブロックまたは画像全体の基本周波数を抽出するように構成されていてもよい。基本周波数へのロックは位相同期回路の原理に基づいて達成してもよい。フリッカーイベントの基本周波数へのロックにより、フリッカー検出および／または軽減は、明滅パターンを効果的に分けることができる最終的なシーンイベントに対してロバストであってもよい。例えば、当該ロックを維持するために十分なイベントクラスタが存在することを条件として、キャプチャされたシーンにおいて他のイベントが存在する場合であっても、基本周波数へのロックが維持されてもよい。予め選択された周波数が存在するか否かのみを検出するのではなく、イベントストリーム中に存在する任意の周波数を検出してもよい。

【0039】

本発明の実施形態はフリッカーイベントを検出するように構成されていてもよい。特定の画素において生じる特定のイベント極性のために、フリッカーイベントから生じるコントラスト変化がイベントクラスタを作り出してもよい。イベントクラスタは、時間において隙間なく詰まった同じ極性のイベントストリーム中に連続したイベントを含んでいてもよい。イベントクラスタの後にフリッカーイベントに関するイベントを含んでいない時間（例えば沈黙期間）が続いてもよい。例えば沈黙期間の後に別のイベントのクラスタ、次いで沈黙期間、次いで別のイベントのクラスタが生じてもよい（例えば、イベントのクラスタおよび沈黙期間／部分を含む検出部分の繰り返し）。フリッカー検出はフリッカーイベントの特徴的パターンを検出し、かつそれにロックするように構成されていてもよい。個々の画素、画素の群および／またはＥＢセンサの視野全体のためにフリッカーイベントを検出してもよい。

【0040】

フリッカーイベントの特徴的パターンの検出に応答して、所定の基準に従って特徴的パターンの安定性を確認してもよい。一例では、特徴的パターンが十分に長い期間にわたって安定であるか否か、フリッカー期間は所望の範囲内であるか否か、イベントのクラスタは互いに十分にグループ化されているか否かなどの分析に基づいて、特徴的パターンを確認してもよい。ロック状態は特徴的パターンが確認された場合に決定してもよい。ロック状態では、検出されたフリッカーイベントに対応するイベントクラスタ（またはバースト）の将来の発生（例えばタイムスタンプ）を予測してもよい。その周囲のフリッカーイベントがクラスタ化され得る予測されるタイムスタンプはティック結果であってよい。

【0041】

ティック結果は、分析（例えば後処理）のために生成してもよい。一例では、ティック結果を使用してフリッカーイベントをフィルタリング除去してもよい。例えば、ティック結果の周囲のイベントの固定された時間間隔内で起こる全てのイベントをフィルタリング除去してもよい。別の例では、ティック結果の周囲のイベントクラスタの平均的な時間の広がりを推定してもよい。例えば平均的な時間の広がりを使用して、フィルタリングされる間隔を動的に調整してもよい。フィルタリングされる間隔を動的に調整することにより、フリッカー軽減を、多くの因子（例えば、フリッカー強度、周囲の（静的）光レベル、画素応答など）によって決まり得るクラスタ幅に適合させるのを可能にしてもよい。ティック結果を使用して推定されるフリッカー期間の漸進的変化を追跡してもよい。例えば将来のティックのタイムスタンプは、推定されるフリッカー期間の漸進的変化に従って調整されてもよい。

【0042】

いくつかの実施形態では、視野全体の基本的な明滅頻度を検出し、かつそれにロックしてもよい。例えば１つのフリッカー源は、ＥＢセンサの視野全体のための１つのコンテキストのみの記憶に基づいて検出、追跡およびフィルタリングしてもよい。ハードウェアおよび／または計算の複雑性の点で、ＥＢセンサの視野全体の基本周波数を検出することが最も経済的であり得る。

【0043】

いくつかの実施形態では、ＥＢセンサの視野をブロック（またはパッチもしくは部分領域）に分割してもよい。各ブロックの異なるインスタンスのフリッカー軽減を行ってもよい。例えばブロックごとのベースでフリッカー軽減を行うことにより複数のフリッカー源を検出し、それにロックし、かつそれを追跡するのを可能にしてもよい。ブロックごとの別個のコンテキストの記憶を実装して、ブロックごとのベースでのフリッカー軽減を可能にしてもよい。同様に中間構成を実装してもよい（例えば、１つのフリッカー源のみを仮定するが、ブロックごとに限られたコンテキスト（例えば推定されるクラスタサイズ）を記憶する）。

【0044】

ティック結果は、シーンのフリッカー統計値の生成を可能にするように構成されていてもよい。例えばフリッカー統計値はシーンを監視するために使用してもよい。イベントクラスタのフリッカー周波数および／または推定されるサイズが生成されてもよい（例えば、必ずしもフィルタリングを行うわけではない）。一例では、生成された統計値はイベント（オンまたはオフ）極性ごとに別々に入手可能であってもよい。ティック結果に応答して行われる後処理は特定の実装の設計基準に従って変えてもよい。

【0045】

図１を参照すると、本発明の例示的な実施形態を示す図が示されている。カメラ５０が示されている。カメラ５０はレンズ５２と、ブロック（または回路または装置）１００とを備えていてもよい。装置１００はカメラ５０のハードウェアを含んでもよい。装置１００は、イベントベースセンサのためのアンチフリッカーフィルタ軽減を実装するように構成されていてもよい。装置１００は、カメラ５０のための他の機能を行う（例えば、出力を生成する、デジタルインタフェースを提供する、ユーザインタフェースを提供するなど）ように構成されていてもよい。

【0046】

装置１００はブロック（または回路）１０２および／またはブロック（または回路）１０４を備えていてもよい。回路１０２はイベントベース（ＥＢ）センサを実装していてもよい。回路１０４はデジタルプロセッサを実装していてもよい。装置１００は他のコンポーネント（図示せず）を備えていてもよい。装置１００のコンポーネントの数、種類および／または配置は特定の実装の設計基準に従って変えてもよい。

【0047】

カメラ５０は環境からの光入力をキャプチャするように構成されたキャプチャ装置として構成されていてもよい。レンズ５２は光学式レンズとして実装されてもよい。レンズ５２はズーミング機能および／またはピント合わせ機能を提供してもよい。レンズ５２は光をＥＢセンサ１０２に集束させるように構成されていてもよい。レンズ５２は、カメラ５０の近くの環境の視野をキャプチャするために、方向づけ、上下移動、左右移動、回転および／またはズームさせてもよい。ＥＢセンサ１０２は、収束された光を受信するためにレンズ５２の後ろに位置していてもよい。レンズ５２は環境中の光をキャプチャすることを目的とするものであってもよい。一例では、レンズ５２は広角レンズおよび／または魚眼レンズ（例えば、広角視野をキャプチャすることができるレンズ）であってもよい。レンズ５２は、ＥＢセンサ１０２と光学鏡筒とカメラ５０の本体との光学的位置合わせを提供してもよい。レンズ５２は（例えば８ｍｍレンズ、望遠鏡レンズ、顕微鏡レンズなどに）交換可能であってもよい。レンズ５２の実装は特定の実装の設計基準に従って変えてもよい。

【0048】

ＥＢセンサ１０２は、レンズ５２を介して収束された光入力を受信するように構成されていてもよい。ＥＢセンサ１０２は収束された光入力をビットストリームに変換するように構成された回路を備えていてもよい。ＥＢセンサ１０２によって生成されるビットストリームは非同期イベントストリームであってもよい。一例では、ＥＢセンサ１０２によって生成されるイベントストリームはカメラ５０から出力として伝送されてもよい。別の例では、イベントストリームはプロセッサ１０４に伝送されてもよい。いくつかの実施形態では、ＥＢセンサ１０２は、１／２．５’’の光学フォーマットで１２８０×７２０の画素解像度を提供してもよい。一例では、ＥＢセンサ１０２は約２２０μｓの画素レイテンシおよび８６ｄＢ超のダイナミックレンジを提供してもよい。ＥＢ１０２は、２５％の名目上のコントラスト閾値を提供するように構成されていてもよい。ＥＢセンサ１０２の仕様および／または能力は特定の実装の設計基準に従って変えてもよい。

【0049】

プロセッサ１０４はイベントストリームを受信するように構成されていてもよい。プロセッサ１０４はイベントストリームに対して１つ以上のデジタル動作を行うように構成されていてもよい。例えばプロセッサ１０４はデジタル処理ブロックであってもよい。プロセッサ１０４は組み込まれたイベント信号処理を提供するように構成されていてもよい。一例では、プロセッサ１０４はイベントストリームに対する後処理を行うように構成されていてもよい。いくつかの実施形態では、プロセッサ１０４は他の入力（例えばマイクロホンから受信される音声入力、ヒューマンインタフェース装置からのユーザ入力、慣性センサから運動入力など）を受信するように構成されていてもよい。

【0050】

プロセッサ１０４はコンピュータ可読命令を実行するように構成されていてもよい。コンピュータ可読命令を実行して多くの工程を行ってもよい。プロセッサ１０４は、イベントストリームおよび／または他の入力に対するコンピュータ可読命令の実行に応答して出力を生成するように構成されていてもよい。一例では、プロセッサ１０４は後処理されたイベントストリームを生成するように構成されていてもよい。プロセッサ１０４はデジタルインタフェースへの出力（例えば、ＨＤＭＩ出力、ＵＳＢ出力、イーサネット出力、Ｗｉ－Ｆｉ出力など）をパケット化するように構成されていてもよい。プロセッサ１０４によって行われる動作、受信される入力および／または生成される出力は特定の実装の設計基準に従って変えてもよい。

【0051】

いくつかの実施形態では、プロセッサ１０４はＡＲＭプロセッサ、×８６－６４プロセッサ、ＲＩＳＣ－Ｖプロセッサなどとして実装されてもよい。いくつかの実施形態では、プロセッサ１０４はシステムオンチップ（ＳｏＣ）として実装されてもよい。いくつかの実施形態では、プロセッサ１０４はカスタムＡＳＩＣであってもよい。いくつかの実施形態では、プロセッサ１０４はＦＰＧＡを用いて実装されてもよい。いくつかの実施形態では、プロセッサ１０４は外部計算装置（例えば、デスクトップコンピュータ、ラップトップコンピュータ、ネットブック、タブレット計算装置、スマートフォンなど）上に実装されていてもよく、イベントストリームはプロセッサ１０４による処理のために外部装置に伝送されてもよい。いくつかの実施形態では、プロセッサ１０４はＥＢセンサ１０２内に一体化されていてもよい。いくつかの実施形態では、プロセッサ１０４はニューロモーフィックプロセッサ（例えば、ニューラルネットワークアクセラレータ）および／または特定の機能を実装しているカスタム処理コア（例えば、イベント－信号－プロセッサ（ＥＳＰ））を実装していてもよい。いくつかの実施形態では、フリッカー検出／軽減は、カメラ５０内にＥＢセンサ１０２と共に実装されるプロセッサ１０４の一部として実装されてもよい。いくつかの実施形態では、フリッカー検出／軽減は、プロセッサ１０４によって実行することができるソフトウェアおよび／またはファームウェアとして提供されていてもよい。例えばフリッカー検出／軽減は、プロセッサ１０４によって実行することができるコンピュータ可読命令を含んでもよい。

【0052】

図示されている例では、カメラ５０は装置１００を実装する装置の図解例であってもよい。例えばカメラ５０は、人によって操作することができる手持ち式カメラであってもよい。別の例では、カメラ５０は三脚および／またはジンバルに装着されてもよい。いくつかの実施形態では、カメラ５０は動かない物体に装着されてもよい（例えば、壁装着式セキュリティカメラ）。いくつかの実施形態では、カメラ５０は移動する物体（例えば車両）に装着してもよい。一例では、カメラ５０のＥＢセンサ１０２によって生成されるイベントストリームは、他のセンサ（例えば、ＰＩＲセンサ、運動センサ、レーダー、ライダー、フレームベースカメラなど）によって提供されるデータソースに加えて別のデータセットを提供してもよい。いくつかの実施形態では、イベントストリームは他の種類のセンサを置き換えるように構成されていてもよい。一例ではＥＢセンサ１０２によって提供されるイベントストリームは、より高価な技術（例えば、レーダー、ライダー、フレームベースセンサなど）の低コスト代替物としてカメラ５０を車両に設置するのを可能にしてもよい。いくつかの実施形態では、カメラ５０はスペースに制約があるシステム内に適合させるために、複数の固定点と共に超小型寸法（例えば、３０×３０×３６ｍｍ）を備えていてもよい。カメラ５０の実装は特定の実装の設計基準に従って変えてもよい。

【0053】

図２を参照すると、イベントベースセンサによって生成されるイベントストリームを示す図が示されている。装置１００におけるデータ伝送が示されている。信号（例えばＥＶＳＴＭ）が示されている。信号ＥＶＳＴＭは非同期イベントストリームであってもよい。イベントストリームＥＶＳＴＭはセンサ１０２からプロセッサ１０４に伝送されてもよい。ＥＢセンサ１０２とプロセッサ１０４との間でのイベントストリームＥＶＳＴＭのために図示されているデータ伝送は、例示を目的として提供される簡略化されたモデルであってもよい。

【0054】

多くのブロック１０６ａ～１０６ｎを含むＥＢセンサ１０２が示されている。ブロック１０６ａ～１０６ｎはＥＢセンサ１０２の画素を含んでもよい。例えば画素１０６ａ～１０６ｎは、それぞれが受光素子および検出回路を備えたＥＢセンサ１０２の個々の画素回路を表してもよい。図示されている例では、ＥＢセンサ１０２は１６個の画素（例えば４×４の格子）を含んでいてもよい。いくつかの実施形態では、画素１０６ａ～１０６ｎは四角形の格子として実装されてもよい。いくつかの実施形態では、画素１０６ａ～１０６ｎは幅広の矩形を含んでいてもよい。ＥＢセンサ１０２は図示されているよりも多くの画素１０６ａ～１０６ｎを含んでいてもよい。一例ではＥＢセンサ１０２は、画素１０６ａ～１０６ｎの１２８０×７２０の配列（例えば、標準的な１Ｍピクセルのイベントベースカメラのための配列）を含んでいてもよい。一例では画素１０６ａ～１０６ｎは、約４．８６×４．８６μｍの画素サイズを提供してもよい。ＥＢセンサ１０２の画素１０６ａ～１０６ｎの数、形状および／または配置は特定の実装の設計基準に従って変えてもよい。

【0055】

イベントストリームＥＶＳＴＭは多くのイベント１０８ａ～１０８ｎを含んでいてもよい。イベント１０８ａ～１０８ｎは画素１０６ａ～１０６ｎのいずれかによって生成されてもよい。図示されている例では分かりやすくするために、イベント１０８ａ～１０８ｎを伝送する画素１０６ａ～１０６ｄおよび画素１０６ｋ～１０６ｎのみが示されている。一般に画素１０６ａ～１０６ｎのそれぞれは、イベント１０８ａ～１０８ｎを伝送するように構成されていてもよい。図示されている例ではイベント１０８ａ～１０８ｎは、例示を目的としてプロセッサ１０４に別々に伝送されるように示されている。いくつかの実施形態では、ＥＢセンサ１０２によって生成されるイベント１０８ａ～１０８ｎを画素１０６ａ～１０６ｎの後に順番に並べてイベントストリームＥＶＳＴＭを生成してもよい。いくつかの実施形態では、画素１０６ａ～１０６ｎとプロセッサ１０４との間でウェーハスタッキングを実施してもよい。

【0056】

図示されている例では、イベントストリームＥＶＳＴＭは画素１０６ｋによって生成されるイベント１０８ａ、画素１０６ｄおよび画素１０６ａによってそれぞれ同時に生成されるイベント１０８ｂ～１０８ｃ、画素１０６ｎによって生成されるイベント１０８ｉおよび画素１０６ｃによって生成されるイベント１０８ｎを含んでいてもよい。イベントストリームＥＶＳＴＭは一連のイベント１０８ａ～１０８ｎを含んでいてもよい。画素１０６ａ～１０６ｎによって生成されるイベント１０８ａ～１０８ｎの数および／またはタイミングは環境のキャプチャされる光に従って変えてもよい。

【0057】

イベントストリームＥＶＳＴＭは、ＥＢセンサ１０２によって検出されたコントラスト変化に応答してトリガーされる非同期イベント１０８ａ～１０８ｎを含んでいてもよい。画素１０６ａ～１０６ｎのそれぞれは光入力における局所コントラスト変化を検出してもよい。イベント１０８ａ～１０８ｎは非同時的に生成することができるので、イベントストリームＥＶＳＴＭは所定のレートでフレーム全体を生成することなく、局所コントラスト変化に応答してイベント１０８ａ～１０８ｎを提供してもよい。イベント１０８ａ～１０８ｎの非同期生成は、イベントストリームＥＶＳＴＭが冗長な時間もしくは空間サンプリングなしに画素１０６ａ～１０６ｎにおける光入力の変化を提供するのを可能にしてもよい。

【0058】

イベント１０８ａ～１０８ｎは少なくとも画素位置を含んでいてもよい。例えば画素位置は、イベント１０８ａ～１０８ｎの特定の１つを生成したＥＢセンサ１０２のアレイにおける画素１０６ａ～１０６ｎの１つの位置のｘ／ｙアドレスを含んでいてもよい。いくつかの実施形態では、イベント１０８ａ～１０８ｎはタイムスタンプをさらに含んでいてもよい。例えばイベント１０８ａ～１０８ｎは、画素１０６ａ～１０６ｎがコントラスト変化を検出した位置および時間を示してもよい。いくつかの実施形態では、イベント１０８ａ～１０８ｎは極性情報を含んでいてもよい。例えばイベント１０８ａ～１０８ｎはコントラスト変化に関する極性情報を含んでいてもよい。例えばイベント１０８ａ～１０８ｎは、画素１０６ａ～１０６ｎによって検出されたコントラスト変化に関する位置および極性情報を含んでいてもよい。タイムスタンプおよび極性情報はイベント１０８ａ～１０８ｎのための任意のデータであってもよい。一例ではＥＢセンサ１０２は、イベントストリームＥＶＳＴＭにおいて符号化されたタイムスタンプおよび／または極性情報なしにイベント１０８ａ～１０８ｎを生成してもよい。いくつかの実施形態では、ＥＢセンサ１０２は、ＡＥＲ（アドレス・イベント表現）フォーマットでイベントストリームＥＶＳＴＭ中のイベント１０８ａ～１０８ｎを符号化してもよい。いくつかの実施形態ではＥＢセンサ１０２は、位置、タイムスタンプおよび極性情報のそれぞれと共にイベントストリームＥＶＳＴＭ中のイベント１０８ａ～１０８ｎを符号化してもよい。イベントストリームＥＶＳＴＭ中のイベント１０８ａ～１０８ｎのフォーマットは特定の実装の設計基準に従って変えてもよい。

【0059】

非同期イベントストリームＥＶＳＴＭは、それぞれがタイムスタンプと共に一連の画素位置を含んでいてもよい。イベント１０８ａ～１０８ｎのそれぞれは、閾値を超えるイベントベースセンサ１０２の複数の画素１０６ａ～１０６ｎのいずれか１つによる自立検出に応答して生成されてもよい。当該閾値は画素１０６ａ～１０６ｎによって検出される局所コントラスト変化であってもよい。閾値未満の検出されるコントラスト変化は、イベント１０８ａ～１０８ｎの１つの生成をトリガーしなくてもよい。

【0060】

画素１０６ａ～１０６ｎを能動的に検出して、画素１０６ａ～１０６ｎが自立的に動作するのを可能にしてもよい（例えば、画素１０６ａ～１０６ｎはサンプリングされない）。画素１０６ａ～１０６ｎのための回路は、電圧信号（例えば、フォトダイオードおよび複数の他の部品（例えばトランジスタ）を含む受光器によって生成される）を絶えず監視してもよい。例えば受光器は、光電流（例えば、フォトダイオードに衝突している瞬間的光レベルに比例）を画素－内部電圧信号に対数的に変換してもよい（例えば、画素－内部電圧信号は光入力に対数的に比例していてもよい）。電圧信号は、１つ以上の閾値を超える以前に記憶された電圧レベルからの偏差について監視されてもよい。閾値（単数または複数）を超える電圧信号の検出により、イベント１０８ａ～１０８ｎの１つの生成をもたらしてもよい。画素１０６ａ～１０６ｎの１つがイベント１０８ａ～１０８ｎの１つを生成した後、イベントを生成した画素は現在の光レベルにリセットされた状態になり、閾値を超える新しい偏差の監視を継続してもよい。画素１０６ａ～１０６ｎの自立的動作は、画素１０６ａ～１０６ｎの動作を管理するために外部タイミング信号を使用しなくてもよい（例えば、サンプリングクロックなし）。一例では画素１０６ａ～１０６ｎは、受光器電圧信号に関して振幅領域レベル交差サンプラ（または非同期デルタ変調器（ＡＤＭ）の動作）と同様に動作してもよい。光電流は画素１０６ａ～１０６ｎのフォトダイオードに衝突している光と共に絶えず変化し得る。

【0061】

いくつかの実施形態では、画素１０６ａ～１０６ｎの感度はＥＢセンサ１０２の感度設定により（例えば特性評価により）導出してもよい。例えばイベント１０８ａ～１０８ｎのそれぞれが、感度設定の正確な値を測定することができるものと仮定してもよい。その結果は画素１０６ａ～１０６ｎの画素ばらつきが原因でノイズが含まれている場合がある。但し、別のソースからの変化を推定してもよい（例えば、２つの標準ビデオフレーム間で生成されるイベント１０８ａ～１０８ｎの全てを、画素１０６ａ～１０６ｎが検出したもののオンライン較正を用いてビデオフレームの強度変化に関連づけてもよい）。一般にイベントストリームＥＶＳＴＭにおける有用な情報は、正確な時間での画素位置におけるエッジの存在であってもよい（例えば、強度変化の振幅は重要な情報でない場合がある）。一例ではエッジの存在は、追跡および／またはオプティカルフローにとって有用であり得る。

【0062】

図３を参照すると、イベントストリームに応答して生成されるティック結果を示すブロック図が示されている。装置１００のブロック図が示されている。ＥＢセンサ１０２およびプロセッサ１０４を備えた装置１００が示されている。図示されている例では、装置１００は別個のコンポーネントとしてＥＢセンサ１０２およびデジタルプロセッサ１０４を実装していてもよい。

【0063】

装置１００は信号（例えばＬＩＮ）および信号（例えばＣＯＮＦＩＧ）を受信してもよい。装置１００は信号（例えばＴＩＣＫ）およびイベントストリームＥＶＳＴＭを生成してもよい。信号ＬＩＮは光入力を含んでもよい。光入力ＬＩＮはＥＢセンサ１０２によって受信されてもよい。信号ＣＯＮＩＦＧは構成入力を含んでもよい。一例ではエンドユーザは、信号ＣＯＮＦＩＧにおいて各種パラメータを提供することにより装置１００のために調節可能な値を調整してもよい。例えば信号ＣＯＮＦＩＧは、有線接続を通して装置１００をヒューマンインタフェース装置（例えばコンピュータ）に接続すること、および／または無線接続（例えば、スマートフォンのためのコンパニオンアプリケーション）を用いて入力を提供することにより提供されてもよい。信号ＴＩＣＫは１つ以上のティック結果を含んでいてもよい。信号ＴＩＣＫはプロセッサ１０４によって生成されてもよい。装置１００は他の入力信号を受信し、かつ／または他の入力信号（図示せず）を生成するように構成されていてもよい。装置１００によって受信される入力信号および／またはそれによって生成される出力信号によって運ばれる数、種類および／またはデータは特定の実装の設計基準に従って変えてもよい。

【0064】

ＥＢセンサ１０２はブロック（または回路）１１０および／またはブロック（または回路）１１２を備えていてもよい。回路１１０は画素回路アレイを実装していてもよい。回路１１２はシリアライザを実装していてもよい。ＥＢセンサ１０２は他のコンポーネント（図示せず）を備えていてもよい。ＥＢセンサ１０２のコンポーネントの数、種類および／または配置は特定の実装の設計基準に従って変えてもよい。

【0065】

画素回路アレイ１１０は、図２に関連づけて示されている画素１０６ａ～１０６ｎのアレイを実装するように構成されていてもよい。画素回路アレイ１１０は多くのブロック（または回路）１１４ａ～１１４ｎおよび／または多くのブロック（または回路）１１６ａ～１１６ｎを含んでいてもよい。回路１１４ａ～１１４ｎは受光素子および／または他の部品を実装していてもよい。回路１１６ａ～１１６ｎは検出回路を含んでもよい。画素回路アレイ１１０は他の部品（図示せず）を備えていてもよい。画素回路アレイ１１０の部品の数、種類および／または配置は特定の実装の設計基準に従って変えてもよい。

【0066】

受光素子１１４ａ～１１４ｎは光入力ＬＩＮに応答して反応するように構成されていてもよい。一例では、受光素子１１４ａ～１１４ｎは他の部品（例えばトランジスタ）と共に受光器のフォトダイオード部品であってもよい。受光素子１１４ａ～１１４ｎは、光入力ＬＩＮの光のレベルに応答して光電流を生成するように構成されていてもよい。受光素子１１４ａ～１１４ｎによって生成される光電流は光入力ＬＩＮの瞬間光レベルに比例していてもよい。

【0067】

検出回路１１６ａ～１１６ｎはそれぞれの受光素子１１４ａ～１１４ｎに電気的に接続されていてもよい。検出回路１１６ａ～１１６ｎはイベント１０８ａ～１０８ｎを生成するように構成されていてもよい。イベント１０８ａ～１０８ｎは、条件（例えば閾値）に一致する光入力ＬＩＮの輝度に比例するアナログ信号（例えば、光電流および／または光電流から導出される電圧信号）に応答して、検出回路１１６ａ～１１６ｎによって生成されてもよい。

【0068】

一例では、受光素子１１４ａ～１１４ｎは受光器によって実装されるフォトダイオードであってもよい。受光器はフォトダイオードによって生成された光電流を電圧信号に対数的に変換してもよい。例えば電圧信号は、フォトダイオードに対する光入力ＬＩＮの光曝露の量から導出されてもよい。検出回路１１６ａ～１１６ｎは、受光器からの電圧信号の変化を検出するように構成された一時検出器であってもよい。検出回路１１６ａ～１１６ｎのそれぞれは、それぞれのイベント信号１０８ａ～１０８ｎを自立的に、かつ他の検出回路１１６ａ～１１６ｎから独立して生成してもよい。

【0069】

一例では、それぞれの受光素子１１４ａ～１１４ｎの１つとそれぞれの検出回路１１６ａ～１１６ｎの１つとの組み合わせは、図２に関連づけて示されている画素１０６ａ～１０６ｎの１つに対応していてもよい。それぞれの受光素子１１４ａ～１１４ｎの１つとそれぞれの検出回路１１６ａ～１１６ｎの１つとの組み合わせは画素回路であってよい。例えば画素１０６ａは、受光素子１１４ａおよび検出回路１１６ａに応答してイベント信号１０８ａ～１０８ｎの１つを生成してもよく、画素１０６ｂは、受光素子１１４ｂおよび検出回路１１６ｂに応答してイベント信号１０８ａ～１０８ｎの１つを生成してもよい（以下略）。それぞれの受光素子１１４ａ～１１４ｎの１つとそれぞれの検出回路１１６ａ～１１６ｎの１つとの各組み合わせは、画素回路アレイ１１０の１つの画素位置に対応していてもよい。例えば受光素子１１４ａ～１１４ｎのｘ／ｙ位置は、イベントストリームＥＶＳＴＭの一部として符号化されていてもよい。

【0070】

シリアライザ１１２は、検出回路１１６ａ～１１６ｎからイベント１０８ａ～１０８ｎを受信するように構成されていてもよい。イベント１０８ａ～１０８ｎは独立し、かつ非同時的に生成されてもよい。シリアライザ１１２は、イベント１０８ａ～１０８ｎをイベントストリームＥＶＳＴＭにフォーマットするように構成されていてもよい。例えばシリアライザ１１２は、イベント１０８ａ～１０８ｎを受信順にイベントストリームＥＶＳＴＭの中に挿入するように構成されていてもよい。イベントストリームＥＶＳＴＭは一連のイベント１０８ａ～１０８ｎを含んでいてもよい。イベント１０８ａ～１０８ｎは少なくとも画素位置を含んでいてもよい。イベント１０８ａ～１０８ｎは、イベント１０８ａ～１０８ｎが生成された時を示すタイムスタンプおよび／または極性情報をさらに含んでいてもよい。シリアライザ１１２は、イベントストリームＥＶＳＴＭをプロセッサ１０４に提供してもよい。

【0071】

プロセッサ１０４はイベントストリームＥＶＳＴＭを受信してもよい。プロセッサ１０４はイベントストリームＥＶＳＴＭに応答して信号ＴＩＣＫを生成してもよい。プロセッサ１０４は出力としてイベントストリームＥＶＳＴＭを素通りさせてもよい。いくつかの実施形態では、プロセッサ１０４はイベントストリームＥＶＳＴＭに対する様々な処理機能（例えばフィルタリング）を行い、かつ処理されたバージョンのイベントストリームＥＶＳＴＭを出力するように構成されていてもよい。

【0072】

プロセッサ１０４はブロック（または回路）１２０および／またはブロック（または回路）１２２を備えていてもよい。回路１２０はコンピュータ可読命令および／またはファームウェアを備えていてもよい。回路１２２はメモリを備えていてもよい。プロセッサ１０４は他のコンポーネント（図示せず）を備えていてもよい。一例では、プロセッサ１０４はコンピュータ可読命令１２０を記憶するオンチップメモリを備えたＳｏＣとして実装されてもよい。プロセッサ１０４のコンポーネントの数、種類および／または配置は特定の実装の設計基準に従って変えてもよい。

【0073】

プロセッサ１０４はコンピュータ可読命令１２０を実行してもよい。コンピュータ可読命令１２０は、プロセッサ１０４によって行うことができる多くの工程を含んでいてもよい。コンピュータ可読命令１２０はフリッカー検出および／または軽減を実装するように構成されていてもよい。一例では、コンピュータ可読命令１２０の実行に応答してプロセッサ１０４は、イベントストリームＥＶＳＴＭ中のフリッカーイベントの特徴的パターンを検出し、かつフリッカーイベントの特徴的パターンに応答してティック結果を含む出力信号ＴＩＣＫを生成するように構成されていてもよい。別の例では、コンピュータ可読命令１２０の実行に応答してプロセッサ１０４は、イベントストリームＥＶＳＴＭ中のフリッカーイベントの特徴的パターンに応答してフリッカーイベントの予測される繰り返し間隔を決定するように構成されていてもよい。信号ＴＩＣＫは、画素１０６ａ～１０６ｎの特定の１つの自立検出のタイムスタンプの予測される繰り返し間隔に基づいて決定されるフリッカーイベントの将来のタイムスタンプを含んでいてもよい。カメラ５０はシーンの光入力ＬＩＮをキャプチャするように構成されていてもよい。ＥＢセンサ１０２を１つ以上の明滅光源を有し得るシーンに曝露させてもよい。光入力ＬＩＮのコントラスト変化により、画素１０６ａ～１０６ｎ（例えば、受光素子１１４ａ～１１４ｎおよび検出回路１１６ａ～１１６ｎ）にイベントストリームＥＶＳＴＭ中でプロセッサ１０４に伝送することができるイベント１０８ａ～１０８ｎを生成させてもよい。例えば、イベントストリームＥＶＳＴＭは画素ごとの位置（例えばｘ／ｙ座標）、コントラスト変化および／または極性変化（例えばｐ）のタイムスタンプを含んでいてもよい。イベントストリームＥＶＳＴＭ中のイベント１０８ａ～１０８ｎのいくつかは、明滅光源（例えばフリッカーイベント）によって引き起こされるコントラスト変化を含んでいてもよい。プロセッサ１０４はコンピュータ可読命令１２０を実行して、フリッカーイベント（例えば望ましくないイベント）を検出し、かつ／またはフィルタリング除去するように構成されていてもよい。いくつかの実施形態では、プロセッサ１０４はフリッカーイベントに対応するティック結果（例えば信号ＴＩＣＫ）を出力してもよい。いくつかの実施形態では、プロセッサ１０４はフリッカーフィルタリングを行い、かつフィルタリングされたバージョンのイベントストリームＥＶＳＴＭを出力してもよい。

【0074】

メモリ１２２はデータを記録するように構成されていてもよい。一例ではメモリ１２２は、静的ランダムアクセスメモリ（例えばＳＲＡＭ）を実装していてもよい。メモリ１２２はプロセッサ１０４がパターン検出および／またはフリッカーフィルタリングを行うのを可能にするために、イベントおよび／またはコンテキスト情報を記録するように構成されていてもよい。一例ではメモリ１２２は、フリッカーフィルタリングがＥＢセンサ１０２の複数のブロックおよび／または個々の画素に対して行われるのを可能にしてもよい。いくつかの実施形態では、メモリ１２２はコンピュータ可読命令１２０を記録するように構成されていてもよい。いくつかの実施形態では、メモリ１２２は、信号ＣＯＮＦＩＧによって提供される様々な調節可能な閾値および／またはパラメータを記録するように構成されていてもよい。図示されている例では、メモリ１２２はプロセッサ１０４のコンポーネントとして実装されている。いくつかの実施形態では、メモリ１２２はプロセッサ１０４の外部にあり、かつそれによってアクセス可能なコンポーネント（例えば別個のＲＡＭモジュール）であってもよい。メモリ１２２のサイズ、種類および／または容量は特定の実装の設計基準に従って変えてもよい。

【0075】

プロセッサ１０４によって行われるフリッカー検出は１つのみの画素位置（例えば、画素１０６ａ～１０６ｎの１つのフリッカーイベント）、ブロックの画素位置（例えば、互いに近くにあり得る画素１０６ａ～１０６ｎの群の明滅イベント）および／または全ての画素位置（例えば、画素１０６ａ～１０６ｎの全てのために生じる明滅イベント）のフリッカーイベントを検出するように構成されていてもよい。一例では、レンズ５２の視野内にあり得る遠い光源（例えば、屋外シーンの背景にある街灯柱）が、画素１０６ａ～１０６ｎの局所領域に影響を与えるフリッカーイベントを生成する場合がある。別の例では、シーン全体を照明している明滅光源が、画素１０６ａ～１０６ｎの全て対してフリッカーイベントを生成する場合がある。

【0076】

フリッカーイベントは特徴的パターンを含んでいてもよい。フリッカーイベントの特徴的パターンは、プロセッサ１０４によって検出されてもよい。一例では特徴的パターンは、フリッカーのピーク光強度に達するまで明滅光源が強度を強めるにつれて短時間のイベント１０８ａ～１０８ｎにわたって増加し得るコントラスト変化（例えば、増加する光極性を含むイベント）の検出を含んでもよい。ピーク強度に達した後、特徴的パターンは、フリッカーの最小強度に達するまで明滅光源が強度を弱めるにつれて短時間のイベント１０８ａ～１０８ｎにわたって減少し得るコントラスト変化（例えば、減少する光極性を含むイベント）の検出を含んでもよい。例えばＬＥＤ光源および／またはパルス幅変調光源は、別個の工程において強度を強め、かつ／または弱める場合がある。プロセッサ１０４は、独立したループ（またはスレッド）における増加および減少のために特徴的パターンを独立して処理してもよい（例えば、各極性を独立して処理してもよい）。例えば、１つのループは強度の増加（例えばオンイベント）としてフリッカーイベントを追跡してもよく、別のループは強度の減少（例えばオフイベント）としてフリッカーイベントを追跡してもよい。各ループは同じ極性のイベント１０８ａ～１０８ｎの周期的バーストを探し出してもよい。

【0077】

信号ＴＩＣＫのティック結果は、ＥＢセンサ１０２によって生成されるイベント１０８ａ～１０８ｎの一部でなくてもよい。ティック結果は一連のタイムスタンプを含んでいてもよい。ティック結果の一連のタイムスタンプは、やがて起こるフリッカーイベントが起こり得るとプロセッサ１０４が決定する予測時間に対応していてもよい。例えば、ティック結果は明滅光源から生じ得るイベント１０８ａ～１０８ｎのやがて起こるバーストを予測してもよい。プロセッサ１０４は、ティック結果の周囲の期間（例えば、イン期間または近傍）を推定するように構成されていてもよい。ティック結果の周囲の推定された期間内に生じるイベント１０８ａ～１０８ｎのいずれかを明滅光源によって生成されたものとみなしてもよい。一例ではプロセッサ１０４は、ティック結果の周囲の期間内で生じるイベント１０８ａ～１０８ｎをフィルタリング除去してもよい。別の例では、プロセッサ１０４は、さらなる処理（例えば、可視光通信信号を復調すること、アクティブマーカを抽出することなど）のためにティック結果を使用してもよい。

【0078】

いくつかの実施形態では、プロセッサ１０４はフリッカー検出を行うように構成されていてもよい。例えば装置１００によって実装される別のコンポーネントは、プロセッサ１０４によって生成された信号ＴＩＣＫに応答してフィルタリングを行うように構成されていてもよい（例えば、図５に関連して説明する）。いくつかの実施形態では、プロセッサ１０４はフリッカー検出およびフリッカー軽減を行うように構成されていてもよい。

【0079】

図４を参照すると、イベントストリームに応答してイベントベースセンサに実装されているデジタルプロセッサによって生成されるティック結果を示すブロック図が示されている。装置１００’のブロック図が示されている。ＥＢセンサ１０２’を備える装置１００’が示されている。図示されている例では装置１００’は、ＥＢセンサ１０２’およびデジタルプロセッサ１０４を単一のコンポーネントとして実装していてもよい。

【0080】

ＥＢセンサ１０２’はプロセッサ１０４、画素回路アレイ１１０および／またはシリアライザ１１２を備えていてもよい。受光素子１１４ａ～１１４ｎおよび検出回路１１６ａ～１１６ｎおよびシリアライザ１１２を含む画素回路アレイ１１０は、図３に関連して説明されているものと同様の実装を有していてもよい。例えば画素回路アレイ１１０は、光入力ＬＩＮに応答してイベント１０８ａ～１０８ｎを生成してもよく、シリアライザ１１２は、一連のイベント１０８ａ～１０８ｎを含むイベントストリームＥＶＳＴＭを生成してもよい。プロセッサ１０４は、イベントストリームＥＶＳＴＭに応答して信号ＴＩＣＫを生成し、かつ／またはイベントストリームＥＶＳＴＭを素通りさせてもよい。

【0081】

一般に明滅前に、ＥＢセンサ１０２’は光入力ＬＩＮの帯域幅を管理するように構成されていてもよい。この帯域幅は生成されるイベント１０８ａ～１０８ｎの量に基づいて決定してもよい。光入力ＬＩＮにおける明滅光源はコントラスト変化の頻繁なバーストを引き起こす場合があり、それにより多くのイベント１０８ａ～１０８ｎが生成される場合がある。フリッカーイベントをフィルタリング除去することにより、イベントストリームＥＶＳＴＭの帯域幅を減少させてもよい。イベントストリームＥＶＳＴＭ中のフリッカーイベントをフィルタリング除去することにより、プロセッサ１０４および／または他の（例えば下流の）コンポーネントがより少ないイベント１０８ａ～１０８ｎを含むデータ（例えばノイズがより少ないデータ）を受信するのを可能にしてもよい。

【0082】

図示されている例では、装置１００’はプロセッサ１０４をＥＢセンサ１０２’の部品として実装していてもよい。フリッカー検出および／またはフリッカー軽減はＥＢセンサ１０２’内のプロセッサ１０４によって行うことができるため、イベントストリームＥＶＳＴＭをＥＢセンサ１０２’から出力する前に、フリッカーイベントに対応するイベント１０８ａ～１０８ｎを除去してもよい。図３に関連して示されている例（例えば、ＥＢセンサ１０２の外部に実装されているプロセッサ１０４）では、フリッカーイベントを含むイベントストリームＥＶＳＴＭは、プロセッサ１０４によって受信される前にＥＢセンサ１０２によって出力されてもよい。一例では静的明滅光源のために、帯域幅を減少させ、かつ次いで時として沈黙された画素を再アクティブ化させて明滅がなお存在しているか否かを決定するために、明滅画素を沈黙させることができる関心領域を画素１０６ａ～１０６ｎのために設定してもよい。

【0083】

図５を参照すると、イベントストリームおよびティック結果に応答したフリッカー軽減を示すブロック図が示されている。フリッカー軽減およびフリッカー検出を実装している装置１００が示されている。いくつかの実施形態ではフリッカー軽減は、プロセッサ１０４によって実装されているコンピュータ可読命令１２０によって実装されてもよい。いくつかの実施形態では、フリッカー軽減はイベント処理パイプラインの一部として（例えばプロセッサ１０４の下流に）実装されてもよい。一般にフリッカー軽減はデジタル処理パイプラインの一部として実装されてもよい。

【0084】

ＥＢセンサ１０２、プロセッサ１０４および／またはメモリ１２２’を備える装置１００が示されている。プロセッサ１０４はブロック（または回路）１５０および／またはブロック（または回路）１５２を備えていてもよい。回路１５０はパターン検出モジュールを実装していてもよい。回路１５２はフリッカー軽減モジュールを実装していてもよい。一例ではコンピュータ可読命令１２０は、パターン検出モジュール１５０およびフリッカー軽減モジュール１５２によって行われる動作を実行するように構成されていてもよい。装置１００は他のコンポーネント（図示せず）を備えていてもよい。一例では装置１００は、フリッカー軽減モジュール１５２の前および／または後に実装される他のコンポーネントを備えることができるイベント処理パイプラインを備えていてもよい。

【0085】

図示されている例示的なイベント処理パイプラインでは、ＥＢセンサ１０２は光入力ＬＩＮ（例えば、レンズ５２を介して受光される収束された光）を受信してもよい。ＥＢセンサ１０２はイベントストリームＥＶＳＴＭをプロセッサ１０４に提供してもよい。パターン検出モジュール１５０は、イベントストリームＥＶＳＴＭに応答して信号ＴＩＣＫを生成してもよい。パターン検出モジュール１５０はイベントストリームＥＶＳＴＭを素通りさせてもよい。いくつかの実施形態では、プロセッサ１０４はイベントストリームＥＶＳＴＭに対する１つ以上の後処理動作を行い、かつ処理されたイベントストリームを出力してもよい。イベントストリームＥＶＳＴＭおよびティック結果ＴＩＣＫはフリッカー軽減モジュール１５２に提供されてもよい。いくつかの実施形態では、ティック結果ＴＩＣＫはティック結果の他の分析（例えば統計値を収集すること）のために他のコンポーネント（図示せず）に伝送されてもよい。

【0086】

パターン検出モジュール１５０は、フリッカーイベントの特徴的パターンを検出するためにイベントストリームＥＶＳＴＭを分析するように構成されていてもよい。パターン検出モジュール１５０は、フリッカーイベントの特徴的パターンに応答してティック結果を含む信号ＴＩＣＫを出力するように構成されていてもよい。パターン検出モジュール１５０は、イベントストリームＥＶＳＴＭにおける特徴的パターンの安定性の決定に応答してフリッカーパターンにロックするように構成されていてもよい。パターン検出モジュール１５０は、信号ＣＯＮＦＩＧによって提供される調節可能な閾値によって定められる基準に基づいてティック結果を検証するように構成されていてもよい。

【0087】

パターン検出モジュール１５０は、ティック結果のためにタイムスタンプを再評価し、かつ／または補正するように構成されていてもよい。パターン検出モジュール１５０はティック結果の期間を検証するように構成されていてもよい。パターン検出モジュール１５０によって行われる動作は、イベントストリームＥＶＳＴＭおよび／または信号ＣＯＮＦＩＧに応答してティック結果信号ＴＩＣＫを生成し、かつイベントストリームＥＶＳＴＭを素通りさせるように構成されていてもよい。

【0088】

フリッカー軽減モジュール１５２は、信号ＴＩＣＫおよび信号ＥＶＳＴＭ（または処理されたバージョンのイベントストリームＥＶＳＴＭ）を受信してもよい。フリッカー軽減モジュール１５２は、ティック結果ＴＩＣＫおよびイベントストリームＥＶＳＴＭに応答して信号（例えばＦＥＶＳＴＭ）を生成してもよい。信号ＦＥＶＳＴＭはフィルタリングされたイベントストリームを含んでもよい。

【0089】

フリッカー軽減モジュール１５２は、ティック結果ＴＩＣＫに基づいてイベント１０８ａ～１０８ｎの１つ以上をイベントストリームＥＶＳＴＭから除去する（例えば、フィルタリング除去する、脱落させる、削除するなど）ように構成されていてもよい。ティック結果ＴＩＣＫは、フリッカー結果をキャプチャすることができる時の予測を含む（例えば、パターン検出モジュール１５０によってイベントストリームＥＶＳＴＭの特徴的パターンの分析により決定される期間に基づく）タイムスタンプを含んでいてもよい。フリッカー軽減モジュール１５２は、ティック結果ＴＩＣＫのタイムスタンプの時点および／またはその近くで生じるイベント１０８ａ～１０８ｎを除去してもよい。フィルタリングされたイベントストリームＦＥＶＳＴＭは、イベントストリームＥＶＳＴＭ中のイベント１０８ａ～１０８ｎの数よりも少ないイベント１０８ａ～１０８ｎを含んでいてもよい。

【0090】

一般に、フィルタリング除去されるイベント１０８ａ～１０８ｎはティック結果ＴＩＣＫの予測されるタイムスタンプの近くで生じてもよい。いくつかの実施形態では、さらなる処理を行って、いくつかの明滅イベントを重要／望ましい（例えば非常灯）とみなし得るか否かを決定してもよい。例えば明滅光源に対応するイベントの周波数および／または範囲を分析し、かつ公知の周波数（例えば、救急サービスによって使用される予め定められた明滅光周波数）と比較してもよい。フリッカーイベントに対応するイベント１０８ａ～１０８ｎのティック結果の検出およびフィルタリングの詳細は、図６および図７に関連して説明することができる。

【0091】

メモリ１２２’はプロセッサ１０４とは別個のコンポーネントとして示されている。メモリ１２２’はプロセッサ１０４と信号（例えばＣＸＴ）を伝送するように構成されていてもよい。信号ＣＸＴは、複数のインスタンスのパターン検出モジュール１５０によって行われるパターン検出および／またはフリッカー軽減モジュール１５２によって行われるフリッカーフィルタリングのためにコンテキスト情報を提供するように構成されていてもよい。メモリ１２２’の実装は、複数のフリッカー源を追跡し、かつおよび／またはイベントストリームＥＶＳＴＭにおいてフィルタリングするのを可能にしてもよい。

【0092】

プロセッサ１０４は、ＥＢセンサ１０２によってキャプチャされた完全なシーン（例えば、ＥＢセンサ１０２の完全なＦＯＶ）または当該シーンの部分領域のためにフリッカー検出および／または軽減を行うように構成されていてもよい。プロセッサ１０４は、完全なシーンまたは１つ以上の部分領域のためにフリッカー検出および／または軽減を行うことのどちらかを選択するように構成されていてもよい。一例では部分領域は、複数の画素１０６ａ～１０６ｎのブロック（例えば、ＥＢセンサ１０２の右下に対応する全ての画素１０６ａ～１０６ｎ、ＥＢセンサ１０２の中間領域に対応する全ての画素１０６ａ～１０６ｎ、ＥＢセンサ１０２の一列の画素に対応する全ての画素１０６ａ～１０６ｎなど）を含んでいてもよい。別の例では部分領域は、個々の画素１０６ａ～１０６ｎの１つ以上を含んでいてもよい。フリッカー検出および／または軽減のために分析することができるブロックおよび／または個々の画素の数はメモリ１２２’の容量によって決まってもよい（例えば、ブロック／画素のためのフリッカー検出および／または軽減のインスタンスの数が大きくなるにつれて、メモリ１２２’においてより多くの容量が使用される場合がある）。

【0093】

いくつかの実施形態では、プロセッサ１０４はシーン全体を分析し、かつＥＢセンサ１０２によってキャプチャされるシーンにおいて検出することができる大域フリッカー周波数にロックしてもよい。シーン全体の分析のために、フリッカー検出および／または軽減の単一のコンテキストが実装されてもよい。画素１０６ａ～１０６ｎのそれぞれは同じ変数を共有してもよい。シーン全体の分析のために、イベントストリームＥＶＳＴＭにおいて１つのフリッカー源のみをフィルタリングしてもよい。フリッカー検出および／または軽減の単一のコンテキストのために、画素ごとの記憶は必要とされてなくてもよい（例えば、メモリ１２２’が実装されていない場合であってもシーン全体の分析を行うことができる）。

【0094】

いくつかの実施形態では、プロセッサ１０４は複数のインスタンスのフリッカー検出および／またはフリッカー軽減を行ってもよい。画素１０６ａ～１０６ｎのブロックごと（または個々の画素１０６ａ～１０６ｎごと）に、各インスタンスのフリッカー検出および／またはフリッカー軽減を行ってもよい。複数のインスタンスのフリッカー検出および／またはフリッカー軽減を実装することにより、複数の明滅源（例えば、画素ごとに１つの明滅源または画素のブロックごとに１つの明滅源）を潜在的にフィルタリングするという利点を得てもよい。メモリ１２２’は画素ごとまたはブロックごとのコンテキストの記憶を提供してもよい。信号ＣＸＴは、プロセッサ１０４とメモリ１２２’との間で画素ごとまたはブロックごとのコンテキストを伝送してもよい。画素ごとまたはブロックごとのフリッカー検出および／またはフリッカー軽減のために、メモリ１２２’は複数のコンテキストを記録することが必要とされる場合がある（例えば、単一のコンテキストは十分でない場合がある）。

【0095】

図６を参照すると、フリッカーイベントにおけるイベントのクラスタのためのタイミングデータを示す図が示されている。タイミンググラフ２００が示されている。タイミンググラフ２００は軸Ｔを含んでいてもよい。軸Ｔは時間を表してもよい。タイミンググラフ２００は時間Ｔにわたって生じるイベントストリームＥＶＳＴＭのイベント１０８ａ～１０８ｎを示してもよい。

【0096】

軸Ｔから伸びる矢印２０２ａ～２０２ｎのクラスタ、矢印２０４ａ～２０４ｂおよび矢印２０６ａ～２０６ｎのクラスタが示されている。矢印２０２ａ～２０２ｎ、矢印２０４ａ～２０４ｂのクラスタおよび矢印２０６ａ～２０６ｎのクラスタは、イベントストリームＥＶＳＴＭにおいて経時的に起こった同じ極性（例えばコントラスト変化）を有するイベント１０８ａ～１０８ｎの例を表してもよい。イベント２０２ａ～２０２ｎのクラスタは、明滅光源に応答して検出されるコントラスト変化のクラスタに対応していてもよい。２つのイベント２０４ａ～２０４ｂはＥＢセンサ１０２によってキャプチャされる所望のイベントに対応していてもよい。イベント２０６ａ～２０６ｎのクラスタは明滅光源に応答して検出されるコントラスト変化のその後のクラスタに対応していてもよい。

【0097】

イベント２０２ｃは時間ｔｎで生じるティック結果に対応していてもよい。イベント２０６ｃは時間ｔｎ＋１で生じるティック結果に対応していてもよい。図示されている例では、ティック結果はイベント２０２ｃおよびイベント２０６ｃと同時に生じてもよい。但し、ティック結果は必ずしもイベント１０８ａ～１０８ｎの１つと同時に生じなくてもよい。

【0098】

ティック結果２０２ｃから伸びている線２１０ａが示されている。ティック結果２０６ｃの前に軸Ｔから伸びている線２１０ｂが示されている。線２１０ａ～２１０ｂの間にタイムスパンＴＰが示されている。タイムスパンＴＰはティック結果のために予測される期間を表してもよい。ティック結果２０６ｃから伸びている線２１２が示されている。線２１２はティック結果２０６ｃの時間を表してもよい。タイムスパンＴＰの終了からティック結果２０６ｃの時間２１２までの補正時間Δが示されている。

【0099】

イベント２０２ａ～２０２ｎのクラスタの周囲に伸びている線２２０ａ～２２０ｂが示されている。線２２０ａ～２２０ｂはティック結果２０２ｃの近傍（またはイン期間）を表してもよい。線２２０ｂと線２２４ａとの間に領域２２２が示されている。イベント２２６ａ～２２６ｂのクラスタの周りに伸びている線２２４ａ～２２４ｂが示されている。線２２４ａ～２２４ｂはティック結果２０６ｃの近傍（またはイン期間）を表してもよい。近傍２２０ａ～２２０ｂおよび／または近傍２２４ａ～２２４ｂは、コントラスト変化のクラスタ（例えばイベント１０８ａ～１０８ｎ）を含む時間の部分を含んでいてもよい。領域２２２はフリッカーイベント間の沈黙期間ＳＰ（例えばアウト期間）を含んでいてもよい。

【0100】

プロセッサ１０４はティック結果を生成するように構成されていてもよい。ティック結果は時間の１つ以上の瞬間を含んでいてもよい。ティック結果はタイムスタンプによって表されてもよい。ティック結果のタイムスタンプは十分に正確な時間基準に対応していてもよい。プロセッサ１０４は、明滅光源に応答して生成されたイベント１０８ａ～１０８ｎ（オンイベントまたはオフイベント）のクラスタの中心（または中間時間）に含まれるようにティック結果を計算してもよい。図示されている例では、ティック結果２０２ｃをイベント２０２ａ～２０２ｎのクラスタの中心で生成してもよい。

【0101】

図示されている例では、ティック結果２０２ｃは時間ｔｎで生じてもよい。プロセッサ１０４は、明滅期間ＴＰに従って次のティック結果２０６ｃを予測してもよい。例えば、次のティック結果２０６ｃは時間ｔｎ＋１＝ｔｎ＋ＴＰで生じてもよい。期間ＴＰに基づいて次のティック結果を決定するために、プロセッサ１０４は最初に明滅期間ＴＰを決定し、かつティック結果の初期時間ｔｎを決定してもよい。

【0102】

プロセッサ１０４はティック補正を行うように構成されていてもよい。例えばティック結果の推定される（または予測される）やがて起こるタイムスタンプは、ティック結果のそれぞれのために必ずしも正確でなくてもよい。一例では、起動段階または同期段階中に推定値はまだ較正されていなくてもよい。別の例では、ティック結果はフリッカーに対応するイベント１０８ａ～１０８ｎのクラスタを得ることができていなくてもよい。さらに別の例では、フリッカーに対応するイベント１０８ａ～１０８ｎのクラスタは時間ドリフトを示してもよい。プロセッサ１０４によって行われるティック補正は、ティック結果のそれぞれのタイムスタンプを再評価するように構成されていてもよい。

【0103】

プロセッサ１０４は、ティック近傍内（例えばインイベント）のイベントの全ての平均タイムスタンプを計算することにより、ティック結果のタイムスタンプを再評価してもよい。例えばイベント２０２ａ～２０２ｎのクラスタ（それぞれがタイムスタンプｔｓを有する）は、近傍２２０ａ～２２０ｎにインイベントを含んでいてもよい。一例では、平均タイムスタンプは方程式ＥＱ１に従って計算してもよい。

【数1】

方程式ＥＱ１は、サンプル平均を用いた平均タイムスタンプのための１つの例示的な計算であってもよい。他の平均計算を行ってもよい。

【0104】

プロセッサ１０４によるティック補正計算は、ティック結果２０２ｃの近傍内でキャプチャされたイベント２０２ａ～２０２ｎのクラスタの全てのティック結果に対してオフセットされた平均タイムスタンプに基づく補正項を含んでいてもよい。ティック結果の近傍は調節可能なパラメータδＴに基づいて決定してもよい。図示されている例では、近傍２２０ａ～２２０ｂはｔｎ－δＴ（例えば線２２０ａ）からｔｎ＋δＴ（例えば線２２０ｂ）までのタイムスパンを含んでいてもよい。いくつかの実施形態では、ゲインβを補正項に適用してもよい。当該ゲインは、ティック結果への収束の平滑化を可能にしてもよい。

【0105】

一例では、ティック結果がイベント１０８ａ～１０８ｎのクラスタの中心を得ることができていないが、そのクラスタがなおティック結果の近傍δＴ内にある場合、計算された補正項はイベント１０８ａ～１０８ｎのクラスタの真の中心位置を提供してもよい。図示されている例では、ティック結果２０２ｃの時間２１０ａからの期間ＴＰはティック結果２０６ｃの時間２１２を得ることができていなくてもよい。プロセッサ１０４は補正項Δを適用してもよい。例えば次のティック結果は、ｔｎ＋１＝ｔｎ＋ＴＰ＋βΔで生じてもよい。

【0106】

プロセッサ１０４はティック検証を行うように構成されていてもよい。ティック日付（例えばティック結果のタイムスタンプ）を計算した後に、プロセッサ１０４はティック結果２０６ｃが実際にイベント２０６ａ～２０６ｎのクラスタを表しているか否かを決定することにより、ティック結果を検証してもよい。ティック結果は基準に従って検証してもよい。一例では、ティック基準は３つの基準（例えば、クラスタイベントの数、イベント偏差および沈黙深さ）を含んでもよい。いくつかの実施形態では、さらなる基準を使用してティック結果を検証してもよい。いくつかの実施形態では、３つの基準のサブセットを使用してティック結果を検証してもよい。

【0107】

ティック結果を検証するために使用される基準は調節可能な閾値であってもよい。一例では当該基準のための調節可能な閾値は、入力信号ＣＯＮＦＩＧを用いて調整してもよい。選択された閾値はフリッカー検出の収束に影響を与えてもよい。各種基準のためにどの値を使用するかは各種因子（例えば、シーン、フリッカー源強度、センサ感度、センサ解像度など）によって決まってもよい。各種基準を、パターン検出モジュール１５０によって分析することができるイベントストリームＥＶＳＴＭの特徴的パターンにおける統計値と比較してもよい。

【0108】

一般に、各種基準のための閾値設定の単一のセットを様々な明滅シーンのために使用してもよい。一例では、信号ＣＯＮＦＩＧを受信して各種基準のために閾値を設定してもよく、各新しいシーンのために再構成することなく様々なシーンのためにティック検証を行ってもよい。ティック結果を検証するために使用される基準は特定の実装の設計基準に従って変えてもよい。

【0109】

ティック検証のための基準の１つはクラスタイベントの数を含んでもよい。クラスタイベント基準の数を使用して、イベント１０８ａ～１０８ｎの十分な数（例えばイベント数閾値）がティック近傍２２４ａ～２２４ｂにおいてキャプチャされたか否かを決定してもよい。一例では、プロセッサ１０４は、タイムスタンプｔｓεｔｎ±δＴを有するイベントの数がイベント数閾値を超えているか否かについて統計値を決定してもよい。

【0110】

ティック検証のための基準の１つはイベント偏差を含んでもよい。イベント偏差基準は、イベント２０６ａ～２０６ｎのクラスタが互いに十分に近くで生じる（例えば、平均からの偏差周囲で十分にクラスタ化されている）か否かを決定することを含んでもよい。平均値はΔ変数であってもよい。イベント偏差基準は、平均からの偏差（例えば、ｓｔｄ｛ｔｓ－ｔｎ｝）が偏差閾値未満である場合に満たされてもよい。一般に標準偏差はコントラスト変化時に画素１０６ａ～１０６ｎによって生成されるイベントの平均タイムスパンにおよそ匹敵していてもよい。

【0111】

ティック検証のための基準の１つは沈黙深さを含んでもよい。プロセッサ１０４は、前のティック結果と現在のティック結果との間に顕著な沈黙期間ＳＰ（例えば、低いイベント活動および／または同じ極性で比較的少ないコントラスト変化）が存在するか否かを決定してもよい。沈黙深さは比に基づいて決定してもよい。この比は、「近傍外で観察されたイベント数」／「近傍内で観察されたイベント数」の統計値（例えばＮｏｕｔ／Ｎｉｎ）に従って決定してもよい。図示されている例ではこの比は、「期間ＳＰ中のイベント２０４ａ～２０４ｂの数」／「近傍２２４ａ～２２４ｂにおけるイベント２０６ａ～２０６ｎのクラスタ中のイベント１０８ａ～１０８ｎの数」であってもよい。プロセッサ１０４は、沈黙深さ比が沈黙深さ閾値よりも小さいか否かを決定してもよい。特に沈黙深さ基準は、プロセッサ１０４が真のフリッカー周波数の約数をループロックするのを防止してもよい。

【0112】

プロセッサ１０４は、ティック結果のために期間推定を行うように構成されていてもよい。プロセッサ１０４が前のティック結果（例えばｔｎ－１）および現在のティック結果（例えばｔｎ＋１）が有効であると決定した場合に、フリッカー期間を推定してもよい。フリッカー期間は、補正されたタイムスタンプ間の差として推定してもよい。一例ではフリッカー期間は、ＴＰｎ＋１＝ｔｎ＋１＋Δｎ＋１－ｔｎに従って計算してもよい。

【0113】

プロセッサ１０４は初期期間（例えば起動期間）を決定してもよい。例えば、初期明滅期間は起動時に分かっていない場合があるため、プロセッサ１０４は近似としていくつかの初期期間値から開始してもよい。起動期間は同期期間Ｔｓｙｎｃであってもよい。Ｔｓｙｎｃの値は、明滅光源に対応するイベント１０８ａ～１０８ｎのクラスタの少なくとも１つのインスタンスをキャプチャするのに十分に大きくなるように選択してもよい。またＴｓｙｎｃの値は明滅光源に対応するイベント１０８ａ～１０８ｎの１つのみのクラスタをキャプチャするのに十分に小さくなるように選択してもよい。例えば２つ以上のクラスタを選択することにより、ティック補正のために計算された補正値に無意味な結果を提供させてもよい。

【0114】

いくつかの実施形態では、同期期間Ｔｓｙｎｃの値は最小の可能な明滅期間（例えば、最も高い期待されるフリッカー周波数に対応する値）であってもよい。一般に、初期ティック位置の選択は任意（例えば、キャプチャされる最初のイベント）であってもよい。他の初期値は特定の実装の設計基準に従って選択してもよい。

【0115】

プロセッサ１０４は期間検証を実装するように構成されていてもよい。期間検証は、推定された期間に対して行うことができるさらなる範囲の確認を含んでもよい。例えばプロセッサ１０４は、推定された期間が可能なフリッカー源期間の［Ｔｍｉｎ，Ｔｍａｘ］の期待される範囲にあるか否かを確認してもよい。プロセッサ１０４が推定された期間が有効であると決定した場合、推定された期間を使用して次のティック結果のタイムスタンプを決定してもよい。当該期間が有効でないと決定された場合、プロセッサ１０４は、Ｔｓｙｎｃを当該期間として使用して次のティック結果のタイムスタンプを決定してもよい。

【0116】

プロセッサ１０４はフリッカーイベントにロックするように構成されていてもよい。プロセッサ１０４は同期状態でフリッカー検出を開始してもよい。フリッカーイベントの特徴的パターンの分析（例えば、安定な明滅パターンの決定）に応答して、プロセッサ１０４はロック状態に入ってもよい。一例では、同期状態とロック状態との切り換えは、ヒステリシスを有するカウンタに従って決定してもよい。例えばロック（例えばヒステリシス）カウンタは、パターン検出モジュール１５０によって実装されてもよい。いくつかの実施形態では、ヒステリシスカウンタは有効な期間の検出に応答して増分され、有効な期間が検出されない場合に減分されてもよい。

【0117】

ロック閾値が実装されてもよい。ロック閾値は調節可能な値であってもよい。ヒステリシスカウンタがロック閾値を超えている場合、プロセッサ１０４はフリッカー検出をロック状態に切り換えてもよい。別の例では、ヒステリシスカウンタは、ロック状態に入るための上限閾値およびロック状態から出るための異なる下限閾値を比較してもよい。いくつかの実施形態では、カウンタはヒステリシスなしで実装されてもよい。フリッカーイベントのためのイベント１０８ａ～１０８ｎのバーストが十分に繰り返される（例えば周期的である）か否かを決定するための他の技術を使用して、ロック状態に入ってもよい。ロック状態に入るための基準は特定の実装の設計基準に従って変えてもよい。

【0118】

プロセッサ１０４がフリッカー検出が同期状態であると決定した場合、ティック結果期間ＴＰは値Ｔｓｙｎｃであってもよい。プロセッサ１０４がフリッカー検出がロック状態にあると決定した場合、ティック結果期間ＴＰは最後の有効な期間であってもよい。いくつかの実施形態では、異なる近傍間隔δＴ（例えば、フリッカー近傍間隔δＴＦ）を同期状態およびロック状態のために使用してもよい。例えば、ロック状態において使用されるより狭い近傍間隔は、イベント２０６ａ～２０６ｎのクラスタの位置が確認された場合により少ないイベント１０８ａ～１０８ｎを脱落させるのを可能にしてもよい。同期状態ではティック日付のための任意の始点により、より広い間隔を使用してもよい。

【0119】

プロセッサ１０４は、フリッカーイベントの特徴的パターンの分析に応答してロック状態に入ることを決定してもよい。例えばプロセッサ１０４は、フリッカーパターンが所定の期間（例えば十分に長い期間）にわたって検出された場合にフリッカーイベントが安定に検出されたことを決定してもよい。一例では、検出されたコントラスト変化の各バースト間で時間間隔を測定してもよい。測定された間隔が期待されるフリッカー期間（または期待されるフリッカー期間の範囲）に十分に近いと決定された場合、バーストは周期的であると決定してもよく、かつフリッカーイベントに対応していてもよい。十分な数のフリッカー期間が検出された場合にフリッカー検出はロック状態に入ってもよい（例えばフリッカー軽減を行ってもよい）。

【0120】

図７を参照すると、ティックイベントの近傍内で生じるイベントのクラスタのフリッカー軽減を示す図が示されている。タイミンググラフ２５０が示されている。タイミンググラフ２５０は軸Ｔを含んでいてもよい。軸Ｔは時間を表してもよい。タイミンググラフ２５０は時間Ｔにわたって生じるイベントストリームＥＶＳＴＭのイベント１０８ａ～１０８ｎを示していてもよい。

【0121】

ティック結果２５２ａおよびティック結果２５２ｂが示されている。ティック結果２５２ａはフィルタ近傍２６０ａ～２６０ｂ内にあってもよい。ティック結果２５２ｂはフィルタ近傍２６２ａ～２６２ｂ内にあってもよい。矢印２５４ａ～２５４ｎのクラスタがフィルタ近傍２６０ａ～２６０ｂ内に示されている。矢印２５４ａ～２５４ｎのクラスタは、図６に関連づけて示されている矢印２０２ａ～２０２ｎのクラスタと同様のフリッカーイベントに対応するイベントのクラスタを含んでいてもよい。矢印２５６ａ～２５６ｍが沈黙領域２２２内に示されている。矢印２５６ａ～２５６ｍは、図６に関連づけて示されているイベント２０４ａ～２０４ｂと同様のフリッカーイベントに対応していないイベントを含んでいてもよい。矢印２５８ａ～２５８ｎのクラスタは、図６に関連づけて示されている矢印２０６ａ～２０６ｎのクラスタと同様に、フリッカー近傍２６２ａ～２６２ｂ内にフリッカーイベントに対応するイベントのクラスタを含んでいてもよい。

【0122】

タイミンググラフ２５０は、プロセッサ１０４がロック状態に入っている間にキャプチャされたイベント１０８ａ～１０８ｎのタイミングを表してもよい。例えばプロセッサ１０４は、明滅イベントの特徴的パターンを分析し、かつ安定なパターン（例えば、ある期間にわたって繰り返し生じるフリッカーイベント）が検出されたことを決定したところであってもよい。イベント１０８ａ～１０８ｎのバーストの抑制（例えばフリッカー軽減）前に、プロセッサ１０４はイベント１０８ａ～１０８ｎが周期的パターンからフィルタリング除去されることを保証してもよい。プロセッサ１０４がロック状態にある間にフリッカー軽減を行うことにより、ランダムバースト（例えば、画素１０６ａ～１０６ｎの出力におけるノイズが原因）をフィルタリングする代わりに、明滅パターンに対応するイベント１０８ａ～１０８ｎがフィルタリングされることを保証してもよい。安定な明滅画素は、期待される期間（例えば、１００Ｈｚのフリッカーの場合は１０ｍｓの期間）において異なる極性のイベントのバーストを生成してもよい。

【0123】

プロセッサ１０４がロック状態にある場合にフリッカー軽減モジュール１５２は、ティック結果のフリッカー近傍（例えば、ティック結果２５２ａの場合はフリッカー近傍２６０ａ～２６０ｂであって、ティック結果２５２ｂの場合はフリッカー近傍２６２ａ～２６２ｂ）内でフィルタリングを行ってもよい。フィルタリングは単一の画素、画素の群または視野全体のために行ってもよい。フリッカー軽減モジュール１５２は、フリッカー近傍内で生じるイベント１０８ａ～１０８ｎの全て（例えば、［ｔｓ－δＴＦ．．．ｔｓ＋δＴＦ］内の全てのイベント）を除去するように構成されていてもよい。フリッカー近傍の近傍δＴＦは調節可能なパラメータであってもよい（例えば、信号ＣＯＮＦＩＧによって調節可能）。一例では、近傍δＴＦは静的パラメータであってもよい。別の例では、近傍δＴＦは動的に調整されるパラメータであってもよい。

【0124】

一般にフィルタリングのための近傍δＴＦは、ティック結果を検証するために使用される値とは異なっていてもよい。例えばプロセッサ１０４はロック状態で動作するので、δＴＦのための近傍はティック結果の近傍のために使用される（例えば、ティック補正および／またはティック検証のために使用される）近傍δＴよりも狭くてもよい。図示されている例では、フリッカー近傍２６０ａ～２６０ｂは、図６に関連づけて示されているティック結果２０２ｃの周囲の近傍２２０ａ～２２０ｂよりもティック結果２５２ａの周囲で狭くてもよい。同様にフリッカー近傍２６２ａ～２６２ｂは、図６に関連づけて示されているティック結果２０６ｃの周囲の近傍２２４ａ～２２４ｂよりもティック結果２５２ｂの周囲で狭くてもよい。近傍δＴＦは特定の実装の設計基準に従って変えてもよい。

【0125】

いくつかの実施形態では、フリッカー軽減モジュール１５２はフィルタリングのためにイベントのクラスタの幅を動的に推定してもよい。一例では、動的推定はティック結果の周囲のイベントタイムスタンプ（例えばＩＮタイムスタンプ）の偏差をスケーリングすることにより行ってもよい。例えば、フィルタリングのための近傍はδＴＦ＝ασであってもよく、式中、αはフィルタリングされるクラスタイベントの量にわたる制御を可能にする固定された調節可能なパラメータであり、σはティック結果の近くのイベントの標準偏差の推定値である。δＴＦの値を選択するための技術は特定の実装の設計基準に従って変えてもよい。

【0126】

フィルタリング近傍２６０ａ～２６０ｂ内の全てのイベントがフィルタリング除去される場合があるため、明滅イベントに関連づけられていないイベント１０８ａ～１０８ｎのいくつかもフィルタリング除去される場合がある。図示されている例では、ティック結果２５２ａの近くのイベント２５４ａ～２５４ｎのクラスタ全てがフィルタリング除去される場合があり、ティック結果２５２ｂの近傍のイベント２５８ａ～２５８ｎの全てのクラスタがフィルタリング除去される場合がある。沈黙領域２２２内のイベント２５６ａ～２５６ｍの全てがフィルタリングされたイベントストリームＦＥＶＳＴＭ内に残っている場合がある。イベント２５６ａ～２５６ｍを沈黙領域２２２内に維持することにより、明滅光の入力をキャプチャしていることが決定された画素１０６ａ～１０６ｎの１つから全てのイベントを除去するのではなく、フィルタリングされたイベントストリームＦＥＶＳＴＭ中に所望のイベントを得てもよい。ロック状態のために近傍δＴＦを限定することにより、より少ないイベント１０８ａ～１０８ｎをフィルタリング除去してもよい。

【0127】

図８を参照すると、フリッカー軽減を用いない場合のイベントストリームの視覚表現を示す図が示されている。イベントストリームＥＶＳＴＭの視覚表現３００が示されている。イベントストリームＥＶＳＴＭの視覚表現３００は、時間のある瞬間において画素１０６ａ～１０６ｎによって生成されるイベント１０８ａ～１０８ｎのスナップショットを表してもよい。イベントストリームＥＶＳＴＭの視覚表現３００は、例示を目的として単一のスナップショットとして提供されてもよい。一般にイベントストリームＥＶＳＴＭは、画素１０６ａ～１０６ｎのそれぞれがイベント１０８ａ～１０８ｎの新しい１つを出力する際に（例えば、予め定められたフレームレートで画像センサの出力全体を提供する従来のビデオフレームとは対照的）、非同時的に更新されてもよい。イベントストリームＥＶＳＴＭが個々のフレームを提供し得ない間は、イベントストリームの視覚表現は、約１０，０００フレーム／秒（またはそれ以上）の有効なフレームレートを提供するように連続的に更新されてもよい。イベントストリームＥＶＳＴＭの視覚表現３００は、レンダラー表現、またはＥＢセンサ１０２によってキャプチャされた完全なシーンのイベント１０８ａ～１０８ｎのラスタープロットを含んでもよい。

【0128】

イベントストリームＥＶＳＴＭの視覚表現３００はフリッカー軽減を用いない場合の出力信号ＥＶＳＴＭを示してもよい。例えばイベントストリームＥＶＳＴＭの視覚表現３００において、イベント１０８ａ～１０８ｎはどれもフィルタリングされていない。プロセッサ１０４（例えばパターン検出モジュール１５０）はイベント１０８ａ～１０８ｎを分析して、フリッカーイベントの１つ以上の特徴的パターンを検出するように構成されていてもよい。検出されるフリッカーイベントの数は、メモリ１２２が２つ以上のコンテキストを記憶するのを可能にするか否かによって決まってもよい（例えば、ＥＢセンサ１０２全体のために１つの明滅光源のフリッカー検出を行うか、ＥＢセンサ１０２の様々なブロック／画素における複数の明滅光源のためにフリッカー検出を行う）。

【0129】

イベントストリームＥＶＳＴＭの視覚表現３００は、ＥＢセンサ１０２を用いて明滅光の中を歩いている人をキャプチャするという例を提供してもよい。人の歩行に対応するＥＢセンサ１０２によってキャプチャされた光の変化を表すイベント３０２～３１０のクラスタが示されている。イベント３０２のクラスタは一般に人の頭部を定めてもよい。イベント３０４のクラスタは一般に人の体を定めてもよい。イベント３０６のクラスタは一般に人の腕を定めてもよい。イベント３０８のクラスタは一般に人の脚を定めてもよい。イベント３１０のクラスタは一般に人の足を定めてもよい。イベント３０２～３１０のクラスタが人の動きをキャプチャし得る間、イベントストリームＥＶＳＴＭの視覚表現３００は複数の他のイベントを含んでいる場合がある（例えば、視覚表現３００における黒色のドットは、光の変化に応答して出力を生成した画素１０６ａ～１０６ｎを表してもよく、空白は出力を生成していない画素１０６ａ～１０６ｎを表してもよい）。イベント１０８ａ～１０８ｎのいくつかは望ましいイベントであってもよく、イベント１０８ａ～１０８ｎのいくつかは明滅光源に対応していてもよい。

【0130】

点線の四角３２０および点線の四角３２２が示されている。点線の四角３２０および点線の四角３２２はそれぞれ、イベント１０８ａ～１０８ｎのクラスタを含んでいてもよい。イベント３２０のクラスタはイベントストリームＥＶＳＴＭの視覚表現３００において人に対応していなくてもよい。イベント３２２のクラスタは、イベントストリームＥＶＳＴＭの視覚表現において人によって落とされる影に対応していてもよい。イベント３２０のクラスタおよび／またはイベント３２２のクラスタはそれぞれ、明滅光源によって引き起こされ得るハロー効果および／またはパルシング効果を含んでいてもよい。例示的な視覚表現３００では、イベントの大部分は１つ以上の明滅光源に対応していてもよい。

【0131】

プロセッサ１０４はイベントストリームＥＶＳＴＭ中の様々なイベントの特徴的パターンを分析するように構成されていてもよい。プロセッサ１０４は、必ずしもイベント１０８ａ～１０８ｎが対応する物体（例えば、人、車両、影など）の種類を決定するわけではなくてもよい。プロセッサ１０４は特徴的パターンが明滅光源を表すか否かを決定してもよい。ロック（例えば安定な明滅パターン）を決定した後、プロセッサ１０４は、計算されたティック結果に基づいてイベントをフィルタリング除去することにより明滅光源の効果を軽減してもよい。一例では、人の動き（例えば、イベント３０２～３１０のクラスタ）はどの明滅イベントにも対応していなくてもよい。但し、イベント３０２～３１０のクラスタ中のイベントのいくつかはなお明滅光源によって引き起こされ、かつフィルタリング除去されてもよい。別の例では、人の影は必ずしもＥＢセンサ１０２によってキャプチャされる望ましくない物体でなくてもよい。例えば、人によって落とされた影が明滅光源によって引き起こされない場合、イベント３２２のクラスタはフィルタリング除去されなくてもよい。但し、明滅光源によって引き起こされるイベント３２２のクラスタ中のイベントはフィルタリング除去されてもよい。一般に例示を目的として、イベント３２０および３２２のクラスタ中のイベントの大部分は明滅光源によって引き起こされてもよい。イベントがフィルタリング除去されるか否かは、イベントの特徴的パターンおよび／または生成されたティック結果の分析によって決まってもよい。

【0132】

一例では、イベント３２０のクラスタは、１００Ｈｚの明滅ＬＥＤをキャプチャした画素１０６ａ～１０６ｎに対応していてもよい。プロセッサ１０４は１００Ｈｚの明滅ＬＥＤの特徴的パターンを分析して、フリッカーによって生成された周期的なイベントパターンが存在するか否かを決定してもよい。プロセッサ１０４はティック結果を推定してもよい（例えば、一般にイベント３２０のクラスタ中の１００Ｈｚの明滅ＬＥＤによって引き起こされるイベントの群の中心において）。

【0133】

一例では、イベント３２２のクラスタは人によって落とされた影をキャプチャした画素１０６ａ～１０６ｎに対応していてもよい。イベント３２２のクラスタ中のイベントの大部分はフィルタリング除去することができる明滅光源によって引き起こされてもよいが、イベント３２２のクラスタは保存することができる（例えば、明滅光源に対応する特徴的パターンを検出しないプロセッサ１０４によって行われる分析に基づく）非フリッカーイベントも含んでいてもよい。

【0134】

図９を参照すると、フリッカー軽減を用いた場合のイベントストリームの視覚表現を示す図が示されている。フィルタリングされたイベントストリームＦＥＶＳＴＭの視覚表現３５０が示されている。図８に関連づけて示されている視覚表現３００と同様に、フィルタリングされたイベントストリームＦＥＶＳＴＭの視覚表現３５０は時間のある瞬間において画素１０６ａ～１０６ｎによって生成されたイベント１０８ａ～１０８ｎのスナップショットを表してもよい。例えば、フィルタリングされたイベントストリームＦＥＶＳＴＭの視覚表現３５０に示されている時間のある瞬間は、視覚表現３００における時間のある瞬間よりも後の時間（例えば、フリッカー検出が明滅光源を検出し、かつフリッカー軽減を行った後）であってもよい。

【0135】

フィルタリングされたイベントストリームＦＥＶＳＴＭの視覚表現３５０は、フリッカー軽減モジュール１５２によって行われたフリッカー軽減により生成された出力信号ＦＥＶＳＴＭを示していてもよい。例えばフィルタリングされたイベントストリームＦＥＶＳＴＭの視覚表現３５０において、明滅光源をキャプチャした特定のブロック／画素に対応するイベント１０８ａ～１０８ｎはフィルタリング除去されていてもよい。

【0136】

図８に関連づけて示されているイベントストリームＥＶＳＴＭの視覚表現３００と同様に、フィルタリングされたイベントストリームＦＥＶＳＴＭの視覚表現３５０は、ＥＢセンサ１０２を用いて明滅光の中を歩いている人をキャプチャするという例を提供してもよい。人の歩行に対応するＥＢセンサ１０２によってキャプチャされた光の変化を表すイベント３５２～３６０のクラスタが示されている。イベント３５２のクラスタは一般に人の頭部を定めてもよい。イベント３５４のクラスタは一般に人の体を定めてもよい。イベント３５６のクラスタは一般に人の腕を定めてもよい。イベント３５８のクラスタは一般に人の脚を定めてもよい。イベント３６０のクラスタは一般に人の足を定めてもよい。

【0137】

人に対応するイベント３５２～３６０のクラスタは、フリッカー軽減モジュール１５２によって実装されたフリッカーフィルタにより前処理されてもよい。図示されている例では、フィルタリングされたイベントストリームＦＥＶＳＴＭの視覚表現３５０中のイベント３５２～３６０のクラスタは、イベントストリームＥＶＳＴＭの視覚表現３００中のイベント３０２～３１０のクラスタよりも密でなくてもよい。例えば、イベント３０２～３１０の元のクラスタの多くは明滅光源によって引き起こされたものであってもよい。フィルタリングにより人に対応するイベント１０８ａ～１０８ｎの多くを脱落させてもよいが、フィルタリングされたイベントストリームＦＥＶＳＴＭの視覚表現３５０中のイベント３５２～３６０のクラスタは人の輪郭をなお保存していてもよい（例えば、頭３５２の形状、体３５４の形状、腕３５６の形状、脚３５８の形状および足３６０の形状は、なお明確に定められていてもよい）。フリッカー軽減モジュール１５２によって行われるフィルタリングは、フィルタリングされたイベントストリームＦＥＶＳＴＭ中のデータの量を減少させることにより、様々な物体をなお定めるのを可能にしてもよい。フィルタリングされたイベントストリームＦＥＶＳＴＭ中のより少ないデータは、明滅光源が原因で生成される多過ぎるイベント１０８ａ～１０８ｎによって引き起こされる帯域幅の過負荷を防止してもよい。

【0138】

点線の四角３７０および点線の四角３７２が示されている。点線の四角３７０および点線の四角３７２はそれぞれ、フィルタリングされたイベントストリームＦＥＶＳＴＭの視覚表現３５０において、図８に関連づけて示されているイベントストリームＥＶＳＴＭの視覚表現３００に示されているイベント３２０～３２２のクラスタと同様の位置にイベント１０８ａ～１０８ｎのクラスタを含んでいてもよい。イベント３７０～３７２のクラスタ中のイベントの数（例えば黒色のドット）はより密でなくてもよい。実装されているフィルタリングにより、１つ以上の明滅光源によって引き起こされるハロー効果を除去してもよい。一例では、イベント１０８ａ～１０８ｎの大部分が明滅光源によって引き起こされる場合、プロセッサ１０４はフィルタリングされたイベントストリームＦＥＶＳＴＭを生成する前にイベントの大部分を除去してもよい。イベント３７０～３７２のクラスタがフィルタリング除去することができる画素１０６ａ～１０６ｎの領域の代表的な例として示されているが、フィルタリング除去されるイベント１０８ａ～１０８ｎはパターン検出モジュール１５０による分析によって決まってもよい。

【0139】

図示されている例では、人によって落とされた影に対応するイベント３７２のクラスタは大部分がフィルタリング除去されたものであってもよい。影は常にフィルタリング除去することができるわけではない。イベント（例えば、影、物体などに対応している）が除去されるか否かは、イベント１０８ａ～１０８ｎが明滅光源によって生成されるノイズであることが決定されるか否かによって決定してもよい。パターン検出モジュール１５０およびフリッカー軽減モジュール１５２は、明滅光源によって引き起こされなかったイベントを同時に保存しながらも、明滅光源によって引き起こされたノイズを除去するように構成されていてもよい。図示されている例では、歩いている人のカウンタを保存することを可能にしながらも、イベント３７０～３７２のクラスタ中のイベント１０８ａ～１０８ｎの多くがフィルタリング除去されてもよい。

【0140】

プロセッサ１０４はイベントストリームＥＶＳＴＭを分析してもよい。初期収束（例えば、明滅光源に対応するイベントの検出およびティック結果の生成）後に、フィルタリングされたイベントストリームＦＥＶＳＴＭのほとんど全てのフリッカーイベントがフィルタリング除去されてもよい。いくつかの実施形態では、弱い明滅源に対応する領域はより少なくフィルタリングされてもよい。

【0141】

フィルタリングされたイベントストリームＦＥＶＳＴＭの視覚表現３５０は、多くの明滅光源がフィルタリング除去されていることを示していてもよい。いくつかの実施形態では、イベントレートを使用して、イベント１０８ａ～１０８ｎのフィルタリングが行われたか否かを決定してもよい（例えば、光源が通常のレートで明滅している場合のイベントレートと比較した、光源が０Ｈｚで明滅している場合のシーンの比較）。例えばイベントレートが変化していない場合にフリッカー軽減を適用してもよい。いくつかの実施形態では、フリッカー軽減を再度実行することにより、フリッカー軽減が成功したか否かを決定してもよい。例えば、あらゆる周期的明滅光が既にフィルタリング除去されている場合があるため、フィルタリングされたイベントストリームＦＥＶＳＴＭをパターン検出モジュール１５０に提供することによりロックの失敗が生じる場合がある。

【0142】

図１０を参照すると、方法（またはプロセス）４００が示されている。方法４００はイベントベースセンサのためにアンチフリッカーフィルタ軽減を実装していてもよい。方法４００は一般に、工程（または状態）４０２、工程（または状態）４０４、工程（または状態）４０６、工程（または状態）４０８、工程（または状態）４１０、決定工程（または状態）４１２、工程（または状態）４１４および工程（または状態）４１６を含む。

【0143】

工程４０２は方法４００を開始してもよい。工程４０４では、ＥＢセンサ１０２は、画素回路アレイ１１０の画素１０６ａ～１０６ｎによってなされた自立検出に応答してイベント１０８ａ～１０８ｎの画素位置および／またはタイムスタンプを生成してもよい。シリアライザ１１２は検出回路１１６ａ～１１６ｎからイベント１０８ａ～１０８ｎを受信し、かつ受信順にイベント１０８ａ～１０８ｎをイベントストリームＥＶＳＴＭに挿入してもよい。次に工程４０６では、プロセッサ１０４は非同期イベントストリームＥＶＳＴＭを受信してもよい。例えばシリアライザ１１２は、新しいイベントが画素１０６ａ～１０６ｎによって検出された際にイベントストリームＥＶＳＴＭを連続的に提供してもよい。次に方法４００は工程４０８に移動してもよい。

【0144】

工程４０８では、プロセッサ１０４はイベントストリームＥＶＳＴＭにおける特徴的パターンを検出してもよい。一例では、パターン検出モジュール１５０は起動期間（例えば同期期間Ｔｓｙｎｃ）を用いて動作してもよい。次に工程４１０では、プロセッサ１０４はイベントストリームＥＶＳＴＭの特徴的パターンを分析してもよい。一例ではパターン検出モジュール１５０は、ロック動作モードに入るために安定なフリッカーパターンが検出されたか否かを決定してもよい。次に方法４００は決定工程４１２に移動してもよい。

【0145】

決定工程４１２では、プロセッサ１０４は、フリッカーイベントの繰り返し間隔を画素位置において検出することができるか否かを決定してもよい。いくつかの実施形態では、フリッカーイベントを完全なシーンのために検出してもよい（例えば、１つのみのフリッカー源が検出される）。いくつかの実施形態では、フリッカーイベントはブロック／画素ごとのベースで検出されてもよい。一例では、パターン検出モジュール１５０はカウンタを実装して検出された多くの有効な期間が閾値を超えているか否かを決定してもよい。フリッカーイベントの繰り返し間隔が全く検出されない場合、方法４００は工程４１６に移動してもよい。フリッカーイベントの繰り返し間隔が検出された場合、方法４００は工程４１４に移動してもよい。工程４１４では、プロセッサ１０４は、イベントストリームＥＶＳＴＭの特徴的パターンに基づいてティック結果を生成してもよい。一例では、パターン検出モジュール１５０はティック結果ＴＩＣＫを生成してもよい。次に方法４００は工程４１６に移動してもよい。

【0146】

工程４１６では、パターン検出モジュール１５０は非同期イベントストリームＥＶＳＴＭを出力してもよい。一例ではフリッカーフィルタリングを行うために、イベントストリームＥＶＳＴＭをティック結果ＴＩＣＫと共にフリッカー軽減モジュール１５２に提供してもよい。別の例では、ティック結果が生成されない場合、イベントストリームＥＶＳＴＭをフィルタリングなしで素通りさせてもよい。次に方法４００は工程４０４に戻ってもよい。方法４００は順次示されているが、一般にＥＢセンサ１０２はイベント１０８ａ～１０８ｎを連続的かつ／または絶えず生成してもよく、プロセッサ１０４はイベントストリームＥＶＳＴＭの特徴的パターンを検出および分析し、かつフリッカーイベントを検出し、かつ／またはティック結果を生成する。

【0147】

図１１を参照すると、方法（またはプロセス）４５０が示されている。方法４５０はイベントストリームを分析してティック結果を決定し、かつフリッカーイベントをフィルタリングしてもよい。図１１に示されている方法４５０の一部は一般に、工程（または状態）４５２、工程（または状態）４５４、決定工程（または状態）４５６、工程（または状態）４５８、決定工程（または状態）４６０、工程（または状態）４６２、工程（または状態）４６４、決定工程（または状態）４６６、工程（または状態）４６８、工程（または状態）４７０、工程（または状態）４７２、決定工程（または状態）４７４、工程（または状態）４７６および工程（または状態）４７８を含んでいてもよい。

【0148】

図１２を参照すると、方法４５０が示されている。図１２に示されている方法４５０の一部は一般に、工程（または状態）４８０、決定工程（または状態）４８２、工程（または状態）４８４、工程（または状態）４８６、工程（または状態）４８８、工程（または状態）４９０、決定工程（または状態）４９２、工程（または状態）４９４、工程（または状態）４９６および工程（または状態）４９８を含んでいてもよい。

【0149】

方法４５０は図１１に部分的に示されており、かつ図１２に部分的に示されている。図１１および図１２の組み合わせで示されている方法４５０は、装置１００によって行われるフリッカー検出および／またはフリッカー軽減のハイレベルフローチャートを提供してもよい。

【0150】

工程４５２は方法４５０を開始してもよい。工程４５４では、プロセッサ１０４はイベントストリームＥＶＳＴＭを受信してもよい。次に方法４５０は決定工程４５６に移動してもよい。決定工程４５６では、プロセッサ１０４は受信されたイベント１０８ａ～１０８ｎの１つのタイムスタンプ（例えばｔｓ）と信号ＴＩＣＫ中の現在のティック結果との差の絶対値が値δＴよりも小さいか否かを計算してもよい。一例ではプロセッサ１０４は、現在のイベントｔｓがティック結果２０２ｃの近傍２２０ａ～２２０ｂの近傍内にあるか否かを決定してもよい。現在のイベントがティック結果２０２ｃの近傍２２０ａ～２２０ｂの近傍内にある場合、方法４５０は工程４５８に移動してもよい。工程４５８では、プロセッサ１０４は、イン期間のために実行中の統計（例えば、近傍２２０ａ～２２０ｂにおけるイベント２０２ａ～２０２ｎの数、｛ｔｓ－ＴＩＣＫ｝の平均値および｛（ｔｓ－ＴＩＣＫ）^２｝の平均値）を更新してもよい。次に方法４５０は、工程４８４（パターン検出モジュール１５０がフリッカーイベントにロックしていない場合）または決定工程４９２（パターン検出モジュール１５０がフリッカーイベントにロックしている場合）のいずれかに移動してもよい。決定工程４５６では、現在のイベントがティック結果２０２ｃの近傍２２０ａ～２２０ｂの近傍外（例えば沈黙期間ＳＰ中）にある場合、方法４５０は決定工程４６０に移動してもよい。

【0151】

決定工程４６０では、プロセッサ１０４は受信されるイベント１０８ａ～１０８ｎの１つのタイムスタンプｔｓと信号ＴＩＣＫ中の現在のティック結果との差の絶対値が値δＴよりも大きいか否かを計算してもよい。一例ではプロセッサ１０４は、現在のイベントｔｓがティック結果２０２ｃの近傍２２０ａ～２２０ｂの近傍のかなり外にあるか否かを決定してもよい。例えば、受信されるイベントタイムスタンプがティック結果から遠い場合、プロセッサ１０４はティック更新を行ってもよい。いくつかの実施形態では、現在のイベントｔｓがティック結果の近傍のかなり外にあるか否かの決定は、現在のイベントｔｓとティック結果ＴＩＣＫとの差がゼロよりも大きいか否かの計算に応答して行ってもよい。現在のイベントｔｓが近傍２２０ａ～２２０ｂの近傍のかなり外にない場合、方法４５０は工程４６２に移動してもよい。工程４６２では、プロセッサ１０４はアウト期間のために実行中の統計（例えば、沈黙領域２２２におけるイベント２０４ａ～２０４ｂの数）を更新してもよい。次に、方法４５０は工程４８４（パターン検出モジュール１５０がフリッカーイベントにロックしていない場合）または決定工程４９２（パターン検出モジュール１５０がフリッカーイベントにロックしている場合）のいずれかに移動してもよい。決定工程４６０では、現在のイベントｔｓが近傍２２０ａ～２２０ｂの近傍のかなり外にない場合、方法４５０は工程４６４に移動してもよい。工程４６４では、プロセッサ１０４はティック検証基準を計算してもよい。次に方法４５０は決定工程４６６に移動してもよい。

【0152】

決定工程４６６では、プロセッサ１０４は、ティック結果が有効であるか否かを決定してもよい。一例ではプロセッサ１０４は、図１４に関連して説明するティック検証基準を行ってもよい。ティック結果が有効でない場合、方法４５０は工程４６８に移動してもよい。工程４６８では、プロセッサ１０４は次のティック結果のために前の期間を使用してもよい。一例では、前の期間はメモリ１２２に以前に記憶された期間または同期期間Ｔｓｙｎｃであってもよい。次に方法４５０は工程４７０に移動してもよい。決定工程４６６では、ティック結果が有効である場合、方法４５０は工程４７０に移動してもよい。工程４７０では、パターン検出モジュール１５０は、次のティック結果（例えばティック結果２０６ｃ）を生成してもよい。次に工程４７２では、パターン検出モジュール１５０はティック期間を測定してもよい。次に方法４５０は決定工程４７４に移動してもよい。

【0153】

決定工程４７４では、パターン検出モジュール１５０は、ティック期間が有効であるか否かを決定してもよい。一例では、測定されたティック期間が可能なフリッカー源期間の範囲内にある場合にティック期間は有効であってもよい。ティック期間が有効でない場合、方法４５０は工程４７６に移動してもよい。工程４７６では、パターン検出モジュール１５０はロック状態カウンタを減分してもよい。次に方法４５０は工程４８０に移動してもよい。決定工程４７４では、ティック期間が有効である場合、方法４５０は工程４７８に移動してもよい。工程４７８では、パターン検出モジュール１５０はロック状態カウンタを増分してもよい。次に方法４５０は工程４８０に移動してもよい。工程４８０では、プロセッサ１０４はロック状態カウンタを調節可能な閾値と比較してもよい。次に方法４５０は決定工程４８２に移動してもよい。

【0154】

決定工程４８２では、パターン検出モジュール１５０は検出されたフリッカーが安定であるか否かを決定してもよい。一例では、特定の期間のために特徴的パターンが検出された（例えば、ロックカウンタが調節可能な閾値に達した）場合にフリッカーが安定であるとしてもよい。フリッカーが安定であると決定されない場合、方法４５０は工程４８４に移動してもよい。工程４８４では、パターン検出モジュール１５０はフリッカーイベントへのロックにより動作しなくてもよい。次に工程４８６では、フリッカー軽減モジュール１５２によりイベント１０８ａ～１０８ｎを１つもフィルタリング除去しなくてもよい（例えば、決定工程４５４～４６２において分析されるイベントｔｓをフィルタリングしなくてもよい）。次に方法４５０は工程４９８に移動してもよい。

【0155】

決定工程４８２では、フリッカーが安定であると決定された場合、方法４５０は工程４８８に移動してもよい。工程４８８では、パターン検出モジュール１５０はフリッカーイベントのためにロック状態に入ってもよい。次に工程４９０では、フリッカー軽減モジュール１５２はフィルタリング近傍を決定してもよい（例えば、フリッカー近傍２６０ａ～２６０ｂのための値δＴＦ）。次に方法４５０は決定工程４９２に移動してもよい。

【0156】

決定工程４９２では、フリッカー軽減モジュール１５２は、イベント１０８ａ～１０８ｎ（例えば、決定工程４５４～４６２において分析されたイベントｔｓはフィルタリングしなくてもよい）がフィルタリング近傍２６０ａ～２６０ｂ内にあるか否かを決定してもよい。一例ではフリッカー軽減モジュールは、現在のイベントｔｓとティック結果２５２ａとの差の絶対値がフリッカー近傍値δＴＦより小さいか否かを決定してもよい。イベントｔｓがフリッカー近傍２６０ａ～２６０ｂ内にない場合、方法４５０は工程４９４に移動してもよい。工程４９４ではフリッカー軽減モジュール１５２は、フィルタリングされたイベントストリームＦＥＶＳＴＭからイベントをタイムスタンプｔｓにおいてフィルタリング除去しなくてもよい。次に方法４５０は工程４９８に移動してもよい。決定工程４９２では、イベントｔｓがフリッカー近傍２６０ａ～２６０ｂ内にある場合、方法４５０は工程４９６に移動してもよい。工程４９６では、フリッカー軽減モジュール１５２はフィルタリングされたイベントストリームＦＥＶＳＴＭからイベントをタイムスタンプｔｓにおいてフィルタリング除去してもよい。次に方法４５０は工程４９８に移動してもよい。工程４９８は方法４５０を終了してもよい。

【0157】

図１３を参照すると、方法（またはプロセス）５５０が示されている。方法５５０はフィルタリングを完全なシーンに適用するかフィルタリングをイベントベースセンサによってキャプチャされるシーンの個々のブロック／画素に適用してもよい。方法５５０は一般に、工程（または状態）５５２、工程（または状態）５５４、決定工程（または状態）５５６、工程（または状態）５５８、工程（または状態）５６０、工程（または状態）５６２、工程（または状態）５６４、工程（または状態）５６６、工程（または状態）５６８、工程（または状態）５７０および工程（または状態）５７２を含む。

【0158】

工程５５２は方法５５０を開始してもよい。工程５５４では、プロセッサ１０４はイベントストリームＥＶＳＴＭを受信してもよい。次に方法５５０は決定工程５５６に移動してもよい。

【0159】

決定工程５５６では、プロセッサ１０４は完全なシーンの分析を行うかブロック／画素ごとのベースで分析を行うか否かを決定してもよい。一例では信号ＣＯＮＦＩＧは、ユーザによって装置１００が完全なシーン分析またはブロック／画素ごとのベースでの分析を行うか否かを選択するのを可能にしてもよい。別の例では、プロセッサ１０４はメモリ１２２の容量（またはメモリ１２２を実装するか否か）に基づいてブロック／画素ごとの分析を選択してもよい。さらに別の例では、プロセッサ１０４は画素１０６ａ～１０６ｎの１つ以上の特徴的パターンを分析して、シーンに複数の明滅源が存在するか否かを決定してもよい。プロセッサ１０４が完全なシーン分析を選択した場合、方法５５０は工程５５８に移動してもよい。

【0160】

工程５５８では、パターン検出モジュール１５０は、１つのフリッカーイベントの特徴的パターンを検出するために完全なシーン（例えば、画素１０６ａ～１０６ｎの全てによって生成されるイベント１０８ａ～１０８ｎ）を分析してもよい。例えば、ＥＢセンサ１０２の視野全体が明滅光源によって影響を受ける場合がある。次に工程５６０では、プロセッサ１０４は、完全なシーンのために１つのみのコンテキスト（例えば、イベント１０８ａ～１０８ｎの全てのために１つのコンテキスト）を使用してもよい。工程５６２では、フリッカー軽減モジュール１５２は、単一の光源からフリッカーイベントのティック結果に基づいて明滅光源に対応するイベントをフィルタリング除去してもよい。次に方法５５０は工程５７２に移動してもよい。

【0161】

決定工程５５６においてプロセッサ１０４がブロック／画素ごとの分析を選択した場合、方法５５０は工程５６４に移動してもよい。工程５６４では、プロセッサ１０４は分析するブロック／画素の数を決定してもよい。いくつかの実施形態では、視野を画素１０６ａ～１０６ｎのクラスタの部分領域に分割してもよい。いくつかの実施形態では、プロセッサ１０４は画素１０６ａ～１０６ｎのそれぞれの分析を行ってもよい。一例ではメモリ１２２の容量は、画素ごとの分析を行うことができるか否かを決定してもよい。次に工程５６６では、パターン検出モジュール１５０は、フリッカーイベントの個々の特徴的パターンについて各ブロック／画素を分析してもよい。各ブロック／画素は独立し、かつ並行して分析してもよい。工程５６８では、メモリ１２２は各ブロック／画素の特徴的パターンのためにコンテキストを記録してもよい。信号ＣＸＴを使用して、プロセッサ１０４とメモリ１２２との間でブロック／画素のそれぞれのコンテキスト情報を伝送してもよい。次に工程５７０では、フリッカー軽減モジュール１５２は各ブロック／画素のためにフリッカー源からイベントをフィルタリング除去してもよい。例えば、ブロック／画素ごとの分析を行う場合に複数の明滅源をフィルタリング除去してもよい。次に方法５５０は工程５７２に移動してもよい。工程５７２は方法５５０を終了してもよい。

【0162】

図１４を参照すると、方法（またはプロセス）６００が示されている。方法６００はティック結果を検証してもよい。方法６００一般に、工程（または状態）６０２、工程（または状態）６０４、工程（または状態）６０６、工程（または状態）６０８、工程（または状態）６１０、決定工程（または状態）６１２、工程（または状態）６１４、決定工程（または状態）６１６、工程（または状態）６１８、決定工程（または状態）６２０、工程（または状態）６２２、工程（または状態）６２４および工程（または状態）６２６を含む。

【0163】

工程６０２は方法６００を開始してもよい。工程６０４では、プロセッサ１０４はイベントストリームＥＶＳＴＭを受信してもよい。次に工程６０６では、プロセッサ１０４は検証基準を受信してもよい。一例では、検証基準は信号ＣＯＮＦＩＧ中で提供されてもよい。別の例では、検証基準はメモリ１２２に記憶されていてもよい。さらに別の例では、検証基準はプロセッサ１０４のレジスターに記憶されていてもよい。工程６０８では、プロセッサ１０４はイベントストリームの統計値（例えば、イベントの数、平均からの偏差、インイベントとアウトイベントとの比など）を分析してもよい。次に工程６１０では、プロセッサ１０４はティック近傍２２０ａ～２２０ｂ内で起こったイベント２０２ａ～２０２ｎの数を決定してもよい。次に方法６００は決定工程６１２に移動してもよい。

【0164】

決定工程６１２では、プロセッサ１０４は、ティック近傍２２０ａ～２２０ｂ内のイベントの数がクラスタ基準よりも大きいか否かを決定してもよい。一例では、クラスタ基準は（例えば信号ＣＯＮＦＩＧを介して）調節可能な閾値を含んでいてもよい。イベントの数がクラスタ基準よりも小さいかそれと等しい場合、方法６００ｍは工程６２２に移動してもよい（例えば、ティック結果は無効であってもよく、かつ検証のためにさらなる試験は必要とされなくてもよい）。イベントのクラスタがクラスタ基準よりも大きい場合、方法６００は工程６１４に移動してもよい。工程６１４では、プロセッサ１０４は平均タイムスパンからイベントの標準偏差を決定してもよい。次に方法６５０は決定工程６１６に移動してもよい。

【0165】

決定工程６１６ではプロセッサ１０４は、平均タイムスパンの周囲のイベントの偏差が偏差基準よりも小さいか否かを決定してもよい。一例では、偏差基準は（例えば信号ＣＯＮＦＩＧを介して）調節可能な閾値を含んでいてもよい。平均タイムスパンの周囲のイベントの偏差が偏差基準よりも大きいかそれと等しい場合、方法６００は工程６２２に移動してもよい（例えば、ティック結果は無効であってもよく、かつ検証のためにさらなる試験は必要とされなくてもよい）。平均タイムスパンの周囲のイベントの偏差が偏差基準よりも小さい場合、方法６００は工程６１８に移動してもよい。工程６１８では、プロセッサ１０４は沈黙深さ比を計算してもよい。次に方法６００は決定工程６２０に移動してもよい。

【0166】

決定工程６２０では、プロセッサ１０４は、沈黙深さ比が沈黙深さ基準よりも小さいか否かを決定してもよい。一例では、沈黙深さ比は（例えば信号ＣＯＮＦＩＧを介して）調節可能な閾値を含んでいてもよい。沈黙深さ比が沈黙深さ基準よりも大きいかそれと等しい場合、方法６００は工程６２２に移動してもよい。工程６２２では、プロセッサ１０４はティック結果を無効にしてもよい。次に方法６００は工程６２６に移動してもよい。決定工程６２０では、沈黙深さ比が沈黙深さ基準よりも小さい場合、方法６００は工程６２４に移動してもよい。工程６２４では、プロセッサ１０４はティック結果が有効であると決定してもよい。次に方法６００は工程６２６に移動してもよい。工程６２６は方法６００を終了してもよい。

【0167】

方法６００には、順次行われるティック検証のための各種基準が示されている。いくつかの実施形態では、統計値の計算および／または検証基準との比較は並行し、かつ／または実質的に並行して行ってもよい。いくつかの実施形態では、分析される基準の順番は変えてもよい。いくつかの実施形態では、他の基準をティック検証のために使用してもよい。ティック検証を行うための計算の種類および／または工程の順番は特定の実装の設計基準に従って変えてもよい。

【0168】

図１～図１４の図によって行われる機能は、関連技術の当業者には明らかであるように、従来の汎用プロセッサ、デジタルコンピュータ、マイクロプロセッサ、マイクロコントローラ、ＲＩＳＣ（縮小命令セットコンピュータ）プロセッサ、ＣＩＳＣ（複雑命令セットコンピュータ）プロセッサ、ＳＩＭＤ（単一命令多重データ）プロセッサ、信号プロセッサ、中央処理装置（ＣＰＵ）、算術論理演算ユニット（ＡＬＵ）、ビデオデジタル信号プロセッサ（ＶＤＳＰ）および／または本明細書の教示に従ってプログラムされた同様の計算機の１つ以上を用いて実装してもよい。これも関連技術（単数または複数）の当業者に明らかであるように、適当なソフトウェア、ファームウェア、コーディング、ルーチン、命令、オペコード、マイクロコードおよび／またはプログラムモジュールを本開示の教示に基づいて熟練のプログラマによって容易に準備することができる。当該ソフトウェアは一般に、機械実装のプロセッサの１つ以上によって１つの媒体またはいくつかの媒体から実行される。

【0169】

また本発明は本明細書に記載されているように、ＡＳＩＣ（特定用途向け集積回路）、プラットフォームＡＳＩＣ、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＰＬＤ（プログラマブルロジックデバイス）、ＣＰＬＤ（コンプレックスプログラマブルロジックデバイス）、ｓｅａ－ｏｆ－ｇａｔｅ、ＲＦＩＣ（無線周波数集積回路）、ＡＳＳＰ（特定用途向け標準品）、１つ以上のモノリシック集積回路、フリップチップモジュールおよび／またはマルチチップモジュールとして、あるいは従来の部品回路の適当なネットワークを相互接続することにより配置された１つ以上のチップまたはダイの準備によって実装してもよく、それらの修正は技術（単数または複数）の当業者に容易に明らかになるであろう。

【0170】

従って本発明は、本発明に係る１つ以上のプロセスまたは方法を行うための機械をプログラムするために使用することができる命令を含む１つ以上の記憶媒体および／または１つ以上の送信媒体であってもよいコンピュータ製品も含んでもよい。周辺回路の動作と共に機械によるコンピュータ製品に含まれている命令の実行により、入力データを記憶媒体上の１つ以上のファイルおよび／または聴覚的および／または視覚的描写などの物理的対象物または物質を表す１つ以上の出力信号に変換してもよい。記憶媒体としては限定されるものではないが、フロッピーディスク、ハードドライブ、磁気ディスク、光ディスク、ＣＤ－ＲＯＭ、ＤＶＤおよび光磁気ディスクを含む任意の種類のディスクならびにＲＯＭ（リードオンリーメモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＥＰＲＯＭ（消去可能プログラマブルＲＯＭ）、ＥＥＰＲＯＭ（電気的消去可能プログラマブルＲＯＭ）、ＵＶＰＲＯＭ（紫外線消去可能プログラマブルＲＯＭ）、フラッシュメモリ、磁気カード、光カードおよび／または電子命令を記録するのに適した任意の種類の媒体などの回路が挙げられる。

【0171】

本発明の要素は、１つ以上の装置、ユニット、コンポーネント、システム、機械および／または装置の一部または全てを形成してもよい。当該装置としては、限定されるものではないが、サーバ、ワークステーション、ストレージアレイコントローラ、ストレージシステム、パーソナルコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、パームコンピュータ、クラウドサーバ、携帯情報端末、携帯電子機器、電池式装置、セットトップボックス、エンコーダ、デコーダ、トランスコーダ、コンプレッサ、デコンプレッサ、プリプロセッサ、ポストプロセッサ、送信機、受信機、送受信機、暗号回路、携帯電話、デジタルカメラ、ポジショニングおよび／またはナビゲーションシステム、医療機器、ヘッドアップディスプレイ、無線装置、音声記録、音声記憶および／または音声再生装置、ビデオ記録、ビデオ記憶および／またはビデオ再生装置、ゲームプラットフォーム、周辺装置および／またはマルチチップモジュールが挙げられる。関連技術（単数または複数）の当業者であれば、本発明の要素を特定の用途の基準を満たすために他の種類の装置に実装することができることを理解するであろう。

【0172】

「してよい」および「一般に」という用語は「である」および動詞と共に本明細書で使用される場合、当該記載が例示であるという意図を伝えることが意図されており、本開示で提供されている具体例および本開示に基づいて導出することができる他の例の両方を包含するのに十分な広さであると考えられる。本明細書で使用される「してよい」および「一般に」という用語は、必ずしも対応する要素を省略するという望ましさまたは可能性を示すように解釈されるべきではない。

【0173】

「ａ」～「ｎ」としての様々なコンポーネント、モジュールおよび／または回路の指定が本明細書で使用される場合、単一の部品、モジュールおよび／または回路あるいは複数のそのようなコンポーネント、モジュールおよび／または回路のいずれかを開示しており、ここでは「ｎ」という指定は任意の特定の整数を意味するために適用される。それぞれが「ａ」～「ｎ」の指定を有するインスタンス（または発生）を有する異なるコンポーネント、モジュールおよび／または回路は、異なるコンポーネント、モジュールおよび／または回路が一致する数のインスタンスまたは異なる数のインスタンスを有し得ることを示してもよい。「ａ」と指定されているインスタンスは複数のインスタンスの１つ目を表してもよく、インスタンス「ｎ」は複数のインスタンスの最後を指してもよく、特定の数のインスタンスを示すものではない。

【0174】

本発明を特にそれらの実施形態を参照しながら図示および説明してきたが、本発明の範囲から逸脱することなく形態および詳細における様々な変化を行うことができることが当業者によって理解されるであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【外国語明細書】