特許 7357624 イベントベースセンサからの信号を処理する方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-28

(45)【発行日】2023-10-06

(54)【発明の名称】イベントベースセンサからの信号を処理する方法および装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230929BHJP

   H04N 25/70 20230101ALI20230929BHJP

   H04N 23/71 20230101ALI20230929BHJP

【ＦＩ】

H04N23/60 500

H04N25/70

H04N23/71

【請求項の数】 16

(21)【出願番号】P 2020540616

(86)(22)【出願日】2019-01-25

(65)【公表番号】

(43)【公表日】2021-05-20

(86)【国際出願番号】 EP2019051919

(87)【国際公開番号】W WO2019145516

(87)【国際公開日】2019-08-01

【審査請求日】2021-12-17

(31)【優先権主張番号】18305063.2

(32)【優先日】2018-01-26

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】18191469.8

(32)【優先日】2018-08-29

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】516077769

【氏名又は名称】プロフジー

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】アモス・シロニ

(72)【発明者】

【氏名】マルク・ルソー

(72)【発明者】

【氏名】クリストフ・ポッシュ

(72)【発明者】

【氏名】グザヴィエ・ラゴルス

【審査官】高野 美帆子

(56)【参考文献】

【文献】特表２０１７－５２１７４６（ＪＰ，Ａ）

【文献】特開２００７－２５１２５８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２５／７０

Ｈ０４Ｎ ２３／７１

(57)【特許請求の範囲】

【請求項1】

イベントベースセンサからの信号を処理する方法であって、前記イベントベースセンサ(10)が、シーンに向かう感知素子のアレイを有し、
各感知素子に対して、前記シーンからの入射光の変動に応じて前記感知素子から生じる連続するイベントを含む信号を受信するステップ(50)と、
前記信号を解析して(80)、少なくとも1つの感知素子によって感知される光プロファイルにおける周波数パターンを検出するステップと、
前記周波数パターンの検出に応答して前記シーンから情報を抽出するステップ(100)と
を含む、方法。

【請求項2】

前記イベントが各々、発生時間(t)および入射光の変動に対応する輝度属性(p)を含み、かつ前記信号を解析するステップが、
少なくとも1つの感知素子から生じる連続するイベントのバーストを前記信号から抽出するステップ(60)であり、各バーストが、同方向の入射光の変動に対応する輝度属性を有するイベントからなる、ステップと、
前記連続するバーストのタイミングに基づいて前記周波数パターンを検出するステップ(70)と
を含む、請求項1に記載の方法。

【請求項3】

バーストが、同方向の入射光の変動に対応する輝度属性(p)を有する、同じ感知素子から生じる予め設定された数(C_min)のイベントを計数することによって前記信号から抽出される、請求項2に記載の方法。

【請求項4】

前記信号を解析するステップが、前記信号で受信されるイベントをフィルタリングするステップ(20)であり、前記連続するイベントのバーストがフィルタリング後に前記信号から抽出される(30;40)、ステップを更に含み、
かつ前記フィルタリングするステップ(20)が、前記イベントベースセンサの感知素子から生じる新たなイベントを受信する(22)と、
前記新たなイベントの前記発生時間(t)が前記同じ感知素子からの直前のイベントの記憶された発生時間(t'(A))プラス時間閾値(δt_max)を超える場合、前記新たなイベントを破棄するステップと、
前記新たなイベントの前記輝度属性(p)および前記同じ感知素子からの前記直前のイベントの記憶された輝度属性(p'(A))が逆符号の入射光の変動に対応する場合、前記新たなイベントを破棄するステップと、
前記同じ感知素子からの次のイベントをフィルタリングするために前記新たなイベントの前記発生時間および前記輝度属性を記憶するステップと
を含む、請求項2または3に記載の方法。

【請求項5】

入射光の変動の方向に対応する極性を有するイベントのバーストを抽出するステップが、Nが1以上の整数であるとして、一群のN個の感知素子に対して、
前記フィルタリングされた信号が、前記バーストの極性(p'(A))に対応する輝度属性(p)を持つ、前記一群のN個の感知素子から生じる新たなイベントを有すると、イベントカウンタ(C(A);C(r))をインクリメントするステップ(31)を含み、
前記バーストが、前記イベントカウンタ(C(A);C(r))が閾値(C_min)に達すると抽出される(33;46)、請求項4に記載の方法。

【請求項6】

前記極性を有するイベントの前記バーストを抽出するステップが、前記イベントカウンタが前記閾値(C_min)に達すると、次のイベントのバーストの抽出のために前記極性を変更するステップを更に含む、請求項5に記載の方法。

【請求項7】

イベントの前記バーストを抽出するステップが、前記信号が、前記バーストの前記極性に対応しない輝度属性を持つ、前記一群のN個の感知素子から生じる新たなイベントを有すると、前記イベントカウンタ(C(A);C(r))をリセットするステップ(25)を含む、請求項5または6に記載の方法。

【請求項8】

前記イベントカウンタが所与のタイムスライス(Δt_max)内で前記閾値(C_min)に達しない場合、前記イベントカウンタをリセットするステップ(48)を更に含む、請求項5から7のいずれか一項に記載の方法。

【請求項9】

前記周波数パターンを検出するステップが、
同方向の入射光の変動に対応する輝度属性を有するイベントからなる連続バースト間の第1の時間間隔を判定するステップと、
前記第1の時間間隔の統計解析を行って、前記連続するバーストが周波数パターンを示すかどうかを決定するステップと
を含む、請求項2から8のいずれか一項に記載の方法。

【請求項10】

前記周波数パターンを検出するステップが、前記連続するバーストが周波数パターンを示すと決定されると、前記第1の時間間隔に基づいて前記周波数パターンの周波数を推定するステップ、および/または逆方向の入射光の変動に対応する輝度属性を有するイベントからなる連続バースト間で判定される第2の時間間隔に基づいて前記周波数パターンのデューティサイクルを推定するステップを更に含む、請求項9に記載の方法。

【請求項11】

前記周波数パターンを検出した後に、
前記検出された周波数パターンと同じ周波数および/またはデューティサイクルが検出される前記シーンの空間領域を判定するステップと、
前記空間領域のサイズが既定のサイズを超える場合、前記空間領域を無視するステップと
を更に含む、請求項1から10のいずれか一項に記載の方法。

【請求項12】

前記空間領域を判定した後に、
前記シーンにおける前記空間領域の幾何寸法を検出するステップと、
前記検出された幾何寸法との相関で前記空間領域を生成する光源と前記イベントベースセンサとの間の距離または相対運動を計算するステップと
を更に含む、請求項11に記載の方法。

【請求項13】

情報を抽出するステップ(100)が、前記シーンにおいて検出される周波数パターンを復調するステップを含む、請求項1から12のいずれか一項に記載の方法。

【請求項14】

前記シーンから抽出された前記情報が、前記周波数パターンが検出される少なくとも1つの感知素子の、前記アレイでのアドレスに関する位置情報と共に出力される、請求項1から13のいずれか一項に記載の方法。

【請求項15】

シーンから情報を抽出するための装置であって、
前記シーンの前に配置されるべき感知素子のアレイと、
前記感知素子のアレイと結合され、かつ請求項1から14のいずれか一項に記載の方法を行うように構成される少なくとも1つのプロセッサと
を備える、装置。

【請求項16】

感知素子のアレイと結合されるプロセッサによって実行されるべきプログラムコードを含むコンピュータプログラムであって、前記プログラムコードが、前記プロセッサによって実行されると請求項1から14のいずれか一項に記載の方法の履行に適合される、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マシンビジョンに関し、特にイベントベースセンサからの信号を処理する方法およびシステムに関する。

【背景技術】

【0002】

マシンビジョンは、例えば警備用途(例えば、監視、侵入検出、物体検出、顔認識等)、環境使用用途(例えば、照明制御)、物体検出および追跡用途、自動検査、プロセス制御ならびにロボット誘導等などの幅広い種類の用途に使用するための画像を取得、処理、解析および理解するための方法を含む分野である。したがって、マシンビジョンは多くの異なるシステムと統合できる。

【0003】

シーンから情報を抽出するために、イメージセンサ(すなわちビデオカメラ)によって供給される画像(フレーム)の系列を使用することが一般的である。そのようなフレームベースイメージセンサは、各センサ素子(ピクセル)または各ピクセル行/列に対して順次にか、様々なパターンで、ピクセル並列に、常に或る限定されたフレームレートで時間サンプリングされるかで、シーンから視覚情報を取得する。

【0004】

しかしながら、解析されるべきシーンには、例えば蛍光灯、コンパクト形蛍光灯、発光ダイオード(LED)灯、テレビ画面、映写機またはコンピュータ画面など、それらが給電される仕方のためか(例えば、蛍光灯はAC電源周波数の2倍でちらつく)、それらの光出力または電力消費を制御するために(例えば、多くのLED光源のように)、それらが人間の目にとっては識別できない周波数で周期パルス信号で駆動されるためか、ちらついている光源があり得る。

【0005】

これは、異なる光デューティサイクルおよび露光時間と同様に、異なる無関係のフレーム取得周波数および光周波数パターンが干渉するフレームベースビデオ取込にとって問題である。結果として、そのような周波数パターンは、光源を異なるフレームにおいて異なる、例えば一部のフレームではオンであり他ではオフに見える、ように見えさせ得る。

【0006】

この問題は、人工光源からのまたは少なくともその存在下での情報の確実な取込に基づくマシンビジョン用途にとってはより深刻である。例えば、自動車用途(運転者支援、自律運転)では、常に間断または不確実性なく交通信号灯(しばしばLED源を使用する)、道路標識、他の車の制動および尾灯等の状況を取り込むことが有用である。自動車画像およびビデオ取込は特に影響を受ける。高ダイナミックレンジ要件のため、しばしば、各最終画像フレームに対して異なる露光時間で多重露光を実行する多重露光イメージセンサが使用される。

【0007】

更には、不均一な光源周波数パターンおよび複雑な画像情報サンプリングプロセス(異なるシャッタ時間組合せによる)の組合せのため、フレームベースセンサにとって、光源の状態は、フレームを通じて予想外の仕方で変化して、速度制限標識の数字の半分しか見えないことまたは交通信号灯から誤った色情報を受け取ることのようなアーチファクトをもたらし得る。光周波数パターンの記載した影響を抑制し、かつセンサ出力を、あたかもそれが非変調の静的光源を見ているかのように見えさせることができるフレームベースイメージセンサの開発に多大な労力がかけられている。しかしながら、フレームベースセンサの特性のため、特に調光から正確な情報を取り込むことは一般に困難である。

【0008】

新たなイベントベースマシンビジョンパラダイムが開発されている。全てのピクセルで同時に画像を取り込み、そしてアーチファクトを補償しかつ情報を抑制しようと試みる代わりに、イベントベースイメージセンサは、センサによって観察されるシーンから各ピクセルによって感知される時間的輝度プロファイルを取得する。イベントベースセンサは、ピクセルによって個々に取得される情報の高時間分解能のため視覚シーンにおける急速に変化する情報を取り込むことができる。そのようなイベントベースマシンビジョン技術の更なる詳細が論文Posch, C.、Serrano-Gotarredona, T.、Linares-Barranco, B.、& Delbruck, T. (2014)、「Retinomorphic event-based vision sensors: bioinspired cameras with spiking output」、Proceedings of the IEEE、102(10)、1470～1484頁に述べられている。

【先行技術文献】

【特許文献】

【0009】

【文献】米国特許出願公開第2008/0135731(A1)号

【非特許文献】

【0010】

【文献】Posch, C.、Serrano-Gotarredona, T.、Linares-Barranco, B.、& Delbruck, T. (2014)、「Retinomorphic event-based vision sensors: bioinspired cameras with spiking output」、Proceedings of the IEEE、102(10)、1470～1484頁

【文献】「A 128×128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor」、P. Lichtsteinerら、IEEE Journal of Solid-State Circuits、第43巻、第2号、2008年2月、566～576頁

【文献】「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、C. Poschら、IEEE Journal of Solid-State Circuits、第46巻、第1号、2011年1月、259～275頁

【文献】Negre、Amauryら、「Real-time time-to-collision from variation of intrinsic scale.」Experimental Robotics. Springer、Berlin、Heidelberg、2008

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明の目的は、イベントベースセンサによって観察されるシーンから情報を取り込む新たな手法を提供することである。

【課題を解決するための手段】

【0012】

イベントベースセンサからの信号を処理する方法が提供される。イベントベースセンサは、シーンに向かう感知素子のアレイを有しており、本方法は、
各感知素子に対して、シーンからの入射光の変動に応じて上記感知素子から生じる連続するイベントを含む信号を受信するステップと、
上記信号を解析することによって少なくとも1つの感知素子によって感知される光プロファイルにおける周波数パターンを検出するステップと、
周波数パターンの検出に応答してシーンから情報を抽出するステップと
を含む。

【0013】

周波数パターンは、ちらつきとして知覚され得るが、除去されるのでなく、或る有用な情報を抽出するために利用されるためにイベントベースセンサの出力から取り込まれる。抽出される情報は、事前に符号化されても、または感知素子のアレイによって監視されるシーンに元々存在してもよい。本方法は、ちらつき効果を有害として排除するよりもむしろ、それらを活用する。

【0014】

本発明に係る方法において、イベントベースセンサは、シーンに向かう感知素子のアレイを有し、そして各イベントは、発生時間および入射光の変動に対応する輝度属性を含んでよい。本方法は、
少なくとも1つの感知素子から生じる連続するイベントのバーストを信号から抽出することであり、各バーストが、同方向の入射光の変動に対応する輝度属性を有するイベントからなる、抽出することと、
連続するバーストのタイミングに基づいて周波数パターンを検出することと
を含むステップを通じて信号を解析するために使用できる。

【0015】

信号を解析するそのような方法は、上述したように、検出された周波数パターンを使用して、シーンから情報を抽出する応用を有する。しかしながら、例えば更なる処理または表示のために信号から周波数変調成分またはちらつき効果を相殺するための他の応用が存在する。

【0016】

バーストは、同方向の入射光の変動に対応する輝度属性を有する、同じ感知素子から生じる予め設定された数のイベントを計数することによって信号から抽出されてよい。

【0017】

一実施形態において、信号を解析するステップは、信号で受信されるイベントをフィルタリングするステップであり、連続するイベントのバーストがフィルタリング後に信号から抽出される、ステップを更に含む。フィルタリングするステップは、イベントベースセンサの感知素子から生じる新たなイベントを受信すると、
新たなイベントの発生時間が同じ感知素子からの直前のイベントの記憶された発生時間プラス時間閾値を超える場合、新たなイベントを破棄するステップと、
新たなイベントの輝度属性および同じ感知素子からの直前のイベントの記憶された輝度属性が逆符号の入射光の変動に対応する場合、新たなイベントを破棄するステップと、
同じ感知素子からの次のイベントをフィルタリングするために新たなイベントの発生時間および輝度属性を記憶するステップと
を含む。

【0018】

入射光の変動の方向に対応する極性を有するイベントのバーストを抽出するステップは、Nが1以上の整数であるとして、一群のN個の感知素子に対して、フィルタリングされた信号が、バーストの極性に対応する輝度属性を持つ、同群の感知素子から生じる新たなイベントを有すると、イベントカウンタをインクリメントするステップを含んでよい。バーストは次いで、イベントカウンタが閾値に達すると抽出できる。極性を有するイベントのバーストを抽出するステップは、イベントカウンタが閾値に達すると、次のイベントのバーストの抽出のために極性を変更するステップを更に含んでよい。一部の実装例では、イベントのバーストを抽出するステップは、信号が、バーストの極性に対応しない輝度属性を持つ、上記群の感知素子から生じる新たなイベントを有すると、イベントカウンタをリセットするステップを含む。イベントカウンタは、イベントカウンタが所与のタイムスライス内で閾値に達しない場合にもリセットされてよい。

【0019】

一実施形態において、周波数パターンを検出するステップは、同方向の入射光の変動に対応する輝度属性を有するイベントからなる連続バースト間の第1の時間間隔を判定するステップと、第1の時間間隔の統計解析を行って、連続するバーストが周波数パターンを示すかどうかを決定するステップとを含む。

【0020】

連続するバーストが周波数パターンを示すと決定されると、周波数パターンを検出するステップは、第1の時間間隔に基づいて周波数パターンの周波数を推定するステップを更に含んでよい。逆方向の入射光の変動に対応する輝度属性を有するイベントからなる連続バースト間で判定される第2の時間間隔に基づいて周波数パターンのデューティサイクルを推定することも可能である。

【0021】

本方法の一部の実施形態は、周波数パターンを検出した後にイベントベースセンサからの信号の一種の空間フィルタリングを使用してよい。そのような実施形態は、同じ周波数および/またはデューティサイクルが検出されるシーンの空間領域を判定するステップと、空間領域のサイズが既定のサイズを超える場合、空間領域を無視するステップとを含む。

【0022】

情報の伝送への本方法の応用では、情報を抽出するステップは、シーンにおいて検出される周波数パターンを復調するステップを含んでよい。例えば、周波数パターンは、オンオフ変調(OOK)またはマンチェスターコーディングを参照することによって復調されてよい。

【0023】

シーンから抽出された情報は、周波数パターンが検出される少なくとも1つの感知素子の、アレイでのアドレスに関する位置情報と共に出力されてよい。

【0024】

本発明の別の態様は、シーンの前に配置されるべき感知素子のアレイと、感知素子のアレイと結合され、かつ上述したような方法を行うように構成される少なくとも1つのプロセッサとを備える、シーンから情報を抽出するための装置に関する。

【0025】

本発明の更に別の態様は、感知素子のアレイと結合されるプロセッサによって実行されるべきプログラムコードを含むコンピュータプログラムであって、プログラムコードが、プロセッサによって実行されると上述したような方法の履行に適合される、コンピュータプログラムに関する。

【0026】

本発明の他の特徴および利点は、添付の図面に関連して、以下の説明に現れることになる。

【図面の簡単な説明】

【0027】

【図1】本発明の実装に適合されるデバイスのブロック図である。

【図2】非同期センサによって受信される光プロファイルおよび光プロファイルに応答して非同期センサによって発生される信号の一例を図示する。

【図3】イベントのバーストを検出するための例示的なプロセスのフローチャートである。

【図4A】イベントのバーストを検出するための代替プロセスのフローチャートである。

【図4B】イベントのバーストを検出するための代替プロセスのフローチャートである。

【図5】本発明に係る方法の例示的な実施形態のフローチャートである。

【発明を実施するための形態】

【0028】

図1に図示される装置は、シーンに向かって配置されて、1つまたは幾つかのレンズを備える取得用の光学部品15を通してシーンの光の流れを受信するイベントベース非同期ビジョンセンサ10を備える。センサ10は、取得用の光学部品15の画像平面に配置される。それは、ピクセルのマトリクスへ編成される、感光素子などの感知素子のアレイを備える。ピクセルに相当する各感知素子は、シーンにおける光の変動に応じて連続するイベントを生成する。

【0029】

プロセッサ12は、シーンに含まれる情報を抽出するために、センサ10から生じる情報、すなわち様々なピクセルから非同期で受信されるイベントの系列を処理する。それは、適切なプログラミング言語を使用するプログラミングによって実装できる。専用論理回路(ASIC、FPGA、...)を使用するプロセッサ12のハードウェア実装も可能である。

【0030】

各感知素子に対して、センサ10は、センサの視野に現れるシーンから感知素子によって受信される光の変動に応じてイベントベース信号系列を発生する。

【0031】

非同期センサ10は、取得を実施して、各ピクセルに対して、活性化閾値Qが達せられる一連の瞬間t_k(k=0、1、2、...)の形態であり得る信号を出力する。この輝度が、それが時間t_kにあったところから始まって活性化閾値Qに等しい量だけ増加するたびに、新たな瞬間t_k+1が特定され、そしてこの瞬間t_k+1にスパイクが発せられる。対称的に、感知素子によって監視される輝度が、それが時間t_kにあったところから始まって量Qだけ減少するたびに、新たな瞬間t_k+1が特定され、そしてこの瞬間t_k+1にスパイクが発せられる。感知素子に対する信号系列は、感知素子に対する光プロファイルに応じて時間とともに瞬間t_kに位置する一連のスパイクを含む。センサ10の出力は続いて、アドレス-イベント表現(AER)の形態である。加えて、信号系列は典型的に、入射光の変動に対応する輝度属性を含む。

【0032】

活性化閾値Qは固定できる、または輝度の関数として適合できる。例えば、閾値は、超えられるとイベントを発生するために輝度の対数の変動と比較できる。

【0033】

例として、センサ10は、「A 128×128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor」、P. Lichtsteinerら、IEEE Journal of Solid-State Circuits、第43巻、第2号、2008年2月、566～576頁に、または米国特許出願公開第2008/0135731(A1)号に記載されている種類のダイナミックビジョンセンサ(DVS)であることができる。網膜のダイナミクス(活動電位間の最小時間)は、この種類のDVSで近似できる。動的挙動は、現実的なサンプリング周波数を有する従来のビデオカメラのそれを凌ぐ。DVSがイベントベースセンサ10として使用されるとき、感知素子から生じるイベントに関連するデータは、感知素子のアドレス、イベントの発生時間およびイベントの極性に対応する輝度属性、例えば輝度が増加する場合+1そして輝度が減少する場合-1を含む。

【0034】

本発明との関連で有利に使用できる非同期センサ10の別の例が、論文「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、C. Poschら、IEEE Journal of Solid-State Circuits、第46巻、第1号、2011年1月、259～275頁に説明が与えられている非同期時間ベースイメージセンサ(ATIS)である。ATISがイベントベースセンサ10として使用されるとき、感知素子から生じるイベントに関連するデータは、感知素子のアドレス、イベントの発生時間および絶対輝度の推定値に対応する輝度属性を含む。ATISにおける輝度属性は時間的コントラストイベント極性も含む。

【0035】

特別な実施形態によれば、本発明は、イベントベースセンサ10によって観察されるシーンにおいて周波数パターンを検出することを意図する。

【0036】

例示として、図2は、輝度に或る周波数パターンがあるときに感知素子によって認められ得る光プロファイルPの一例、およびそのような感知素子に対するDVS型のセンサによって発生される信号の一例を、任意のスケールで図示する。

【0037】

感知素子によって認められる光プロファイルPは、説明のために図示される簡易例では、Tの周期性、すなわちf=1/Tの周波数を持つ交互の立上りおよび立下りエッジを有する周波数パターンを含む。t0で、輝度が活性化閾値Qに等しい量だけ増加すると、感知素子によってイベントが発生される。イベントは、発生時間t0および輝度属性、すなわちDVSの場合には極性(図2におけるt0でのレベル+1)を有する。立上りエッジでの輝度の増加につれて、輝度が活性化閾値だけ更に増加するたびに同じ正極性を持つ後続のイベントが発生される。これらのイベントは、図2にB0として表されるバーストを形成する。立下りエッジが始まると、輝度は減少して、時間t1から別の、逆極性、すなわち負極性(レベル-1)のイベントのバーストB1を生じさせる。感知素子によって感知される輝度の更なる立上りおよび立下りエッジが、時間t2からB2などの、他の正スパイクのバースト、および時間t3からB3などの、他の負スパイクのバーストを生成する。

【0038】

図2の下部の線図は、DVSセンサの例示的な場合に示される。

【0039】

図3は、本発明の実装例に使用できるイベントのバーストを検出するための例示的なプロセスのフローチャートを図示する。以下の記号が図中に使用される:
A:現在のイベントのアドレス、センサ10のピクセルのマトリクスでのその位置を特定する;
t:現在のイベントの発生時間;
p:現在のイベントの極性、例えば感知された輝度が増加している場合p=+1そして感知された輝度が減少している場合p=-1;
t'(A):アドレスAの感知素子によって示される最新のイベントの発生時間;
p'(A):アドレスAの感知素子によって示される最新のイベントの極性。p'(A)は、抽出されているイベントのバーストの極性も表す;
δt_max:予め設定された時間閾値;
C(A):ピクセルアドレスAに対するイベントカウンタ。

【0040】

図3に図示されるプロセスは、感知素子のアレイからの各イベントの受取りに応じて実施されるフィルタリング動作20を含み、その後にバースト抽出ステージ30が続く。プロセッサ12は、新たなイベントを待ち(ステップ21)、そしてステップ22でのパラメータA、t、pを持つイベントの受取りに応じて、フィルタリング動作20を開始する。

【0041】

フィルタリング動作20は、ピクセルごとに行われるステップ24～27を含む。最初に、受信したイベントの極性pが、同じピクセルからの直前のイベントのそれp'(A)と比較される。p≠p'(A)(テスト24)の場合、イベントはスプリアスであり得る(周波数パターンを検出する目的では)または輝度プロファイルの立上りもしくは立下りエッジの出現を表し得る。p≠p'(A)のイベントは破棄され、そしてセンサ10からの次のイベントを待つステップ21に戻る前に、ステップ25でパラメータp'(A)、t'(A)およびC(A)が、それぞれ、値p、tおよび1をとるようにリセットされる。テスト24でp=p'(A)の場合、時間閾値δt_maxに関して現在および直前のイベントの発生時間t、t'(A)を比較するために別のテスト26が行われる。t-t'(A)≧δt_maxの場合、両イベントが輝度プロファイルの立上りまたは立下りエッジの一部であるには、直前のイベントから経過した時間が長すぎると考えられる。この場合、フィルタリング動作20は上述のリセットステップ25に進む。一方、t-t'(A)<δt_maxの場合、現在のイベントはイベントのストリームに保持され、そして任意選択により、同じアドレスAでの次のイベントを処理することを考慮してステップ27で、その発生時間tがパラメータt'(A)として記憶される。

【0042】

図3に例示される実施形態において、バースト抽出ステージ30もピクセルごとに行われる。ステップ27の後、ピクセルアドレスAに対するイベントカウンタC(A)をインクリメントすること(ステップ31)によって、今保持されたイベントが考慮に入れられる。

【0043】

次いで、ステップ32でイベントカウンタC(A)が閾値C_minと比較される。C(A)<C_minの間、バーストは抽出されず、プロセッサ12は、次のイベントを待つステップ21に戻る。ステップ32でC(A)=C_minのとき、信号がアドレスAにバーストを含むと判定され、そのアドレスA、時間tおよび極性pを指定することによってステップ33でバーストが抽出される。ステップ27が使用されるこの好適な例では、抽出されたバーストのタイミングは、δt_maxを超えない時間間隔で発生する(すれば)そのC_min番目のイベントの発生時間tによって表される。ステップ33で抽出されるバーストのパラメータがAERを使用してイベントベース方式で生成されることが留意される。

【0044】

予め設定されたパラメータδt_maxおよびC_minは、使用されるイベントベースセンサ10のダイナミクス、および検出されるべき周波数範囲を含む、プロセッサ12によって実行される応用の要件などの要因に応じて選ばれる。例として限定することなく、δt_maxは0.1～50000μsの範囲にあってよく、そしてC_minは2と10との間にあってよい。

【0045】

ステップ33でバーストを抽出した後、プロセスは待機ステップ21に戻る。別のオプション(図示せず)は、ステップ33でバーストを抽出した後、待機ステップ21に戻る前に、イベントカウンタC(A)がリセットされ、そして次のイベントのバーストの後続の抽出のために極性p'(A)が(-pに)変更されるということである。

【0046】

代替実施形態において、バースト抽出ステージ30の前にフィルタリングステージ20は使用されない。この場合、イベントが現在のバーストと同じ極性を有する、すなわちp=p'(A)の場合に、それらがステージ30で処理される。

【0047】

図4は、図4Aおよび図4Bを結合することによって形成され、イベントのバーストを検出するためのプロセスの代替実施形態を例示する。記号は図3におけるのと同じである。しかしながら、バーストが抽出されるために同極性の連続イベントが収まらなければならないタイムスライスを表す付加パラメータΔt_maxがある。変数t"(r)は、領域rでの現在のバーストの第1のイベントの発生時間を示す。

【0048】

図4A～図4Bの例では、バーストは感知素子のアレイの領域にわたって検出される。各領域は一群のN個の感知素子から構成される。数Nは、少なくとも1に等しい整数であり、領域ごとに異なってよい。幾つかの領域が、典型的には隣接する感知素子から構成されて、アレイにわたって画定される。これらの領域は重複していてよく、これは、それらが一部の感知素子を共有してよく、したがって所与のスパイクが幾つかの領域に属してよいことを意味する。領域のそのような配列は、ノイズをフィルタリングするためのデータの空間プーリングを形成するように適合される。

【0049】

図4Aは、基本的に図3の上部と同じである。信号の解析は、感知素子のアレイによって提供される信号でイベントが受信されるにつれてそれらをフィルタリングするステージ20を含む。フィルタリング20は、ステップ25でピクセルごとのイベントカウンタを初期化する必要がないこと以外は、図3におけるのと同じでよい。代わりに、領域ごとのイベントカウンタC(r)が使用される。各領域インデックスrに対して、イベントカウンタC(r)は最初は0に初期化される。

【0050】

図4Bのバースト抽出ステージ40は、図4Aのステップ27に続いて、領域レベルで行われる。ステップ27でイベントが保持されたアドレスAが、アレイにわたって画定される数m(A)の領域R_i(A)(1≦i≦m(A))に属する場合、これらの領域のイベントカウンタをインクリメントし、そしてこれらの領域にバーストが発生したかどうかを決定するために、ループが行われる。ステップ27の後、i=1をとることによって、ステップ401で第1の領域が選択され、そしてステップ402でその領域インデックスr=R_i(A)が導出され、次いでこの第1の領域インデックスに対するイベントカウンタC(r)をインクリメントすること(ステップ41)によってイベントが考慮に入れられる。

【0051】

次いで、ステップ42でイベントカウンタC(r)が閾値C_minと比較される。閾値C_minの値は領域R_i(A)のサイズに依存してよく、例えば領域R_i(A)を構成する感知素子の数に比例してよい。ステップ42でC(r)<C_minの間、バーストは抽出されない。この場合、テスト43でC(r)=1の場合、ステップ44で変数t"(r)は現在のイベントの発生時間tの値を受ける。ステップ44の後、またはテスト43でC(r)>1のとき、ステップ47で領域インデックスrが、アドレスAが属する領域の数m(A)と比較される。ステップ47でr<m(A)のとき、現在のイベントをステップ402から次の領域R_i+1(A)において考慮するために、ステップ403でiが1だけインクリメントされる。ステップ47でr=m(A)のとき、プロセッサ12は、次のイベントを待つステップ21に戻る。

【0052】

ステップ42でC(r)=C_minのとき、同極性pを有するC_min個の連続イベントが予め設定されたタイムスライスΔt_maxに収まるかどうかがテスト45で確認される。テスト45でt-t"(r)≧Δt_maxの場合、バーストがそれほど長く持続できないと考えられるので、バーストは抽出されず、次いでステップ48でC(r)およびt"(r)が値1およびtをとるようにリセットされる。テスト45でt-t"(r)<Δt_maxのとき、信号が領域rにバーストを含むと判定される。その領域インデックスr、時間t"(r)および極性pを指定することによってステップ46でバーストが抽出される。この例では、抽出されたバーストのタイミングは、その第1のイベントの発生時間t"(r)によって表される。ステップ46で抽出されるバーストのパラメータがAERを使用してイベントベース方式で生成されることが留意される。その後、上記のステップ47で領域インデックスrが、アドレスAが属する領域の数m(A)と比較される。

【0053】

予め設定されたパラメータΔt_maxは、使用されるイベントベースセンサ10のダイナミクス、および検出されるべき周波数範囲を含む、プロセッサ12によって実行される応用の要件などの要因の他に、δt_maxおよびC_minの値に応じて選ばれる。例として限定することなく、Δt_maxは100μs～100msの範囲にあってよい。

【0054】

一旦、例えば、図3または図4に例示されるようなプロセスを使用してピクセルAまたはN個のピクセルの領域rに対して幾つかの連続するバーストが抽出されると、それらの連続するバーストのタイミングは、周波数パターンを検出することを考慮して解析できる。

【0055】

図5において、ステップ60は、イベントベースセンサ10からステップ50で受信される信号に、図3および図4の一方に図示されるようなプロセスを使用して行うことができる連続するバーストの抽出を表し、そしてステップ70は、連続するバーストの解析に相当して周波数パターンを検出する。ステップ60および70は共に、受信信号に適用されてその周波数パターンを検出する解析ステップ80を形成する。一旦ステップ70で周波数パターンが抽出されると、それは、ステップ100でシーンにおいて入手可能な或る情報を抽出するために利用できる。図5に図示されるように、解析ステップ80とシーンから情報を抽出するステップ100との間で任意選択の空間フィルタリング90が適用できる。

【0056】

例として、解析ステップ80を実装すると、周波数パターンを検出するために、同極性を有するイベントからなる連続バースト間の時間間隔の或る統計解析が行われる。

【0057】

例えば、バッファを設けて、所与の領域(1つまたは複数の感知素子からなる)において抽出され、かつ所与の極性を有する連続するバーストの時間を記憶できる。各極性p=±1に対して、連続バースト間の時間間隔Δt₁が着目され、そして両極性に対するそれらの値が解析されて、例えば平均化によって周波数値f=1/T(図2を参照のこと)を推定できる。そのような周波数値が検証されて、値Δt₁の標準偏差が数Mのバースト(例えば3≦M≦20)後のそれらの平均値の分数(例えば1～10%)内である場合、周波数パターンが存在すると決定し得る。代替的に、両極性に対する時間間隔Δt₁の値は、平均化またはメディアンフィルタリングを使用してフィルタリングされ、そしてフィルタリングされた値のバッファがMより多い同一値Tを含む場合、周波数f=1/Tで周波数パターンが存在すると決定される。

【0058】

周波数パターンが検出される場合、周波数パターンを描く更なるパラメータとしてその周波数パターンのデューティサイクルDを推定することも可能である。これを行うため、他の時間間隔Δt₂が調べられる。時間間隔Δt₂の各々は、極性p=+1のバースト(光プロファイルの立上りエッジを示す)と後続の極性p=-1のバースト(光プロファイルの立下りエッジを示す)との間である。バーストを検出するための期間にわたる時間間隔の平均値または多数値が、図2に図示される時間オフセットΔTの推定値を提供する。デューティサイクルDは次いで、D=ΔT/Tとして推定できる。

【0059】

一旦周波数パターンが検出され、そしてf、Dなどの関連パラメータが判定されると、プロセッサ12は、イベントベースセンサ10によって観察されるシーンにおける周波数パターンの位置についての情報を有する。そのような位置情報は、パターンが検出される感知素子のアドレスAの形態である、またはインデックス領域Rの形態であることができる。そのような位置情報は、マシンビジョン用途において、調光の源がどこに位置するかを判定するために適する。

【0060】

イベントベースセンサによって観察されるシーンに同じ周波数fを持つ複数の周波数パターンが検出される場合、それらの立上りエッジおよび/またはそれらの立下りエッジ間の時間差を解析することによって、それらのパターン間の位相シフトを導出することも可能である。

【0061】

任意選択により、図5に図示されるステップ70の後に、更なる空間フィルタリングステップ90を実行できる。特に、センサの大きな空間領域が同じ明滅パターン、すなわち同じ周波数および/または同じデューティサイクルを示しているとき、そのような周波数パターンはシーンからの情報の抽出に適しないと考えることができる。例えば、そのような大きな周波数パターンは、或る光源からの光を反射/拡散している壁などの反射面から生じ得る。この場合、ピクセルなどの、それらの感知素子からのイベントは、情報抽出ステップ100で無視されるように、ステップ90で破棄される。逆に、周波数パターンの空間サイズが小さいとき、これらの感知素子は、明滅光源に向かっていると考えられる。したがって、光源の実際の位置が判定できる。これは、例えば、自動車用途でLED制動灯および交通信号灯を認識するために有用であり得る。

【0062】

情報抽出ステップ100は、調光の周波数および/またはデューティサイクルを解析または復調することによってシーンにおける周波数パターンから情報を抽出するように実行される。

【0063】

したがって、本方法は、信号をサンプリングして、周波数パターンを見つけ、そして正確な遷移の時間、変調周波数、位相、デューティサイクル等など、光源についての情報を抽出できる。加えて、個々の感知素子の自律機能のため、情報は、感知素子アドレスまたはインデックスの形態でアレイから読み出すことができ、そして光源と関連する検出された周波数パターンが、シーンにおける光源についての他の情報を判定するのを容易にすることもできる。

【0064】

代替実施形態において、抽出された情報は、交通信号灯、制動灯および他の光源などの或る光源の公称周波数および/またはデューティサイクルなど、光源の周波数パターンを単に認識することによってシーンにおいて物体を検出するために使用できる。

【0065】

代替的に、別の実施形態において、光源は、周波数および/またはデューティサイクルなどの、光変調の基本特性に符号化される、IDなどの或る情報を伝送するために設けることができる。加えて、光源は、より大量の情報を伝送するように、符号化情報による光のより高度な変調も包含し得る。それ故、本明細書に開示される方法は、イベントベースセンサ10を可視光通信(VLC)またはLiFi(例えば、IEEE802.15.7規格を参照のこと)用の受信機として使用することを可能にする。

【0066】

VLCを使用して伝送される情報を復調するために、上述のステップ80によって、調光によって生成される周波数パターンが抽出される。次いでこれらの周波数パターンから情報が復調および抽出される。

【0067】

VLCを通じて伝送される情報は、オンオフ変調(OOK)およびマンチェスターコーディングなどの方法によって符号化または変調できる。異なるシンボルのためのコードに一組の異なる周波数および/またはデューティサイクルを使用することが可能であり、帯域幅の増加を可能にしている。

【0068】

光遷移に応答するピクセルの独立かつ自律動作のため、シーンにおける複数の光源から情報が独立して取得され、そして別に復号化できる。その意味では、イベントベースセンサは、道路の側の照明および異なる車のVLC調光など、センサの視野内の全ての通信光源をセンサによって同時にかつ独立して見ることができるマルチチャネルVLC受信機とみなすことができる。センサは、光源が視野内にある限り、各光源の方へ向けられる必要はない。それらは、その上独立して検出および復調できる。

【0069】

可視光に加えて、光は、赤外または近赤外光であることもできる。

【0070】

図1に図示されるプロセッサ12は、イベントベースセンサ10とは別に具現化される。代替アーキテクチャが可能である。特に、図5に例示される処理の一部または全部を、オンチップアーキテクチャにおいて、イベントベースセンサ10と同じ部品で行うことができる。順次または並列に動作する2つ以上のプロセッサ間でタスクを分割することも可能である。

【0071】

上記の方法は、非一時的コンピュータ可読媒体に記録されて、コンピュータによって行われ得る様々な動作を実装するプログラム命令を使用して実装され得る。同媒体は、データファイル、データ構造等も、単独でまたはプログラム命令と組み合わせて含み得る。同媒体に記録されるプログラム命令は、例示的な実施形態の目的で特別に設計および構築されたものでよく、またはそれらは周知の種類であり、コンピュータソフトウェア技術の当業者が利用可能であってよい。非一時的コンピュータ可読媒体の例としては、ハードディスク、フロッピーディスクおよび磁気テープなどの磁気媒体、CD ROMディスクおよびDVDなどの光媒体、光ディスクなどの光磁気媒体、ならびにリードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、フラッシュメモリ等など、プログラム命令を記憶および実行するように特別に構成されるハードウェアデバイスを含む。プログラム命令の例としては、コンパイラによって生成されるコードなどのマシンコードも、コンピュータによってインタプリタを使用して実行され得る高水準コードを含むファイルも含む。記載されるハードウェアデバイスは、一体として作用するように構成され得る。

【0072】

用途の一例では、イベントベースセンサ10およびプロセッサ12を含む装置は、自律運転システムに交通情報を提供するように、自動車において使用されて、交通信号灯、移動物体等などの交通情報を検出する。

【0073】

例えば、特別な実施形態によれば、ピクセルおよび明滅パターンが検出された時間が与えられると、ピクセルは空間近接度および周波数に従ってグループ化される。より正確には、空間的に近くかつ時に小間隔内にあるピクセル群に対して同じ周波数が検出されるとき、これらのピクセルは、一致した領域に属すると考えられる。シーンにおけるそのような領域は次いで、交通信号灯、車からの方向指示器/制動灯、街灯等などのLED光源に属すると分類される。この分類は、抽出された領域のサイズ、その周波数、ピクセルのアレイでの位置に従ってなされる。

【0074】

この実施形態によれば、複数の明滅パターンを含む車(または車両)を、そのような領域の対を検出することによって、より確実に検出できる:各検出された領域に対して、同じく第1の領域からの水平線上にあり、かつそれからあまり遠くない、一致したサイズ、位相および周波数の別の領域が、第1のものと共に判定される。

【0075】

本方法で検出される車両の相対的運動およびイベントベースセンサからの距離は、2つの明滅光源を表す2つの領域間のピクセル距離を時間とともに追跡することによって推定できる。

【0076】

2つの明滅源間の分離が固定されているとすれば、シーンにおける2つの領域間の距離Dsは、車両とイベントベースセンサとの間の距離Dvと相関している。

【0077】

2つの明滅源間の分離が固定されているとすれば、シーンにおける2つの領域間の距離Dsの変化率は相対運動と相関している。特に、距離Dsが小さくなるのは、車両が遠ざかっていることを意味し、距離Dsが大きくなるのは、車両が近づいていることを意味する。より正確には、物体への接触の時間は、距離Dvと距離Dvの微分との間の比率によって推定できる(例えば:Negre、Amauryら、「Real-time time-to-collision from variation of intrinsic scale.」Experimental Robotics. Springer、Berlin、Heidelberg、2008を参照のこと。)

【0078】

加えて、地面と比較した光の高さが固定されているとすれば、シーンにおけるその垂直位置は、車両と、オートバイ上の単一のライトなどの単一の明滅光のために使用されるように適合されている、カメラとの間の距離Dvと相関している。

【0079】

より一般に、本発明は、自律車両、補綴具、製造ロボットなどの自律かつロボット装置、軍事または医療ロボットデバイスを限定することなく含む、各種のデバイスに有用であり得る。

【0080】

他の用途の例では、イベントベースセンサ10およびプロセッサ12を含む装置は、レーザ光ポインタによって物体または表面に投影されるパターンを検出するために使用されて、レーザ周波数パターンで明滅する1つまたは複数のピクセルの領域を検出する。

【0081】

本発明は、例えばスマートフォン、ポータブル通信デバイス、ノートブック、ネットブックおよびタブレットコンピュータ、監視システム、ビデオプロジェクタ、ならびにビジョンデータを処理するように構成される実質的に任意の他のコンピュータ化デバイスなどの、多種多様な固定およびポータブルデバイスに更に応用可能であり得る。

【0082】

本発明の実装例は、コンピュータ人間対話(例えば、ジェスチャ、声、姿勢、顔の認識、ポインティングデバイスおよび/または他の応用)、プロセス制御(例えば、産業用ロボット、自律および他の車両)、視覚シーンにおけるかつ画像平面に関する一組の関心点または物体(例えば、車両または人間)の移動追従、拡張現実感用途、仮想現実感用途、アクセス制御(例えば、ジェスチャに基づいてドアを開く、正規の人物の検出に基づいて進入路を開く)、イベント検出(例えば、視覚監視または人々または動物に対する)、計数、追跡等を含む多くの用途に使用され得る。本開示を考慮して当業者によって認識されるであろう無数の他の用途が存在する。

【0083】

上記の実施形態は本発明の例示である。それらには、添付の特許請求の範囲に由来する本発明の範囲を逸脱することなく様々な変更がなされ得る。

【符号の説明】

【0084】

10 イベントベースセンサ
12 プロセッサ
15 取得用の光学部品

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】