▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023014088
(43)【公開日】2023-01-26
(54)【発明の名称】センサアレイ
(51)【国際特許分類】
H04N 23/54 20230101AFI20230119BHJP
H04N 23/71 20230101ALI20230119BHJP
H04N 25/70 20230101ALI20230119BHJP
H01L 27/144 20060101ALI20230119BHJP
【ＦＩ】
H04N5/225 300
H04N5/235 100
H04N5/369
H01L27/144 K
【審査請求】有
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022176169
(22)【出願日】2022-11-02
(62)【分割の表示】P 2021528689の分割
【原出願日】2019-06-25
(71)【出願人】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】110000637
【氏名又は名称】弁理士法人樹之下知的財産事務所
(72)【発明者】
【氏名】稲田 徹悟
(57)【要約】
【課題】異なる光の強度で発生するイベントごとにイベント信号を生成することが可能なセンサアレイを提供すること。
【解決手段】第１の閾値を超える光の強度変化を検出したときに第１のイベント信号を生成する第１のセンサと、第１の閾値よりも大きい第２の閾値を超える光の強度変化を検出したときに第２のイベント信号を生成する第２のセンサとが所定のパターンに従って配列されたセンサアレイ。
【選択図】図１
【解決手段】第１の閾値を超える光の強度変化を検出したときに第１のイベント信号を生成する第１のセンサと、第１の閾値よりも大きい第２の閾値を超える光の強度変化を検出したときに第２のイベント信号を生成する第２のセンサとが所定のパターンに従って配列されたセンサアレイ。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１の閾値を超える光の強度変化を検出したときに第１のイベント信号を生成する第１のセンサと、前記第１の閾値よりも大きい第２の閾値を超える光の強度変化を検出したときに第２のイベント信号を生成する第２のセンサとが所定のパターンに従って配列されたセンサアレイ。
【請求項2】
前記センサアレイは車両に搭載され、
前記第１の閾値または前記第２の閾値のいずれか一方は、前記車両の周辺で信号機が点滅するかまたは前記車両に対して相対的に動いた場合の輝度変化量に対応する、請求項１に記載のセンサアレイ。
前記第１の閾値または前記第２の閾値のいずれか一方は、前記車両の周辺で信号機が点滅するかまたは前記車両に対して相対的に動いた場合の輝度変化量に対応する、請求項１に記載のセンサアレイ。
【請求項3】
前記第２の閾値よりも大きい第３の閾値を超える光の強度変化を検出したときに第３のイベント信号を生成する第３のセンサが、前記第１のセンサおよび前記第２のセンサとともに前記所定のパターンに従って配列される、請求項１または請求項２に記載のセンサアレイ。
【請求項4】
前記第３の閾値よりも大きい第４の閾値を超える光の強度変化を検出したときに第４のイベント信号を生成する第４のセンサが、前記第１のセンサ、前記第２のセンサ、および前記第３のセンサとともに前記所定のパターンに従って配列される、請求項３に記載のセンサアレイ。
【請求項5】
前記センサアレイは車両に搭載され、
前記第１の閾値は前記車両の周辺で晴天時に非発光体が動いた場合の輝度変化量に対応し、前記第２の閾値は前記車両の周辺で荒天時に非発光体が動いた場合の輝度変化量に対応し、前記第３の閾値は前記車両の周辺で信号機が点滅するかまたは前記車両に対して相対的に動いた場合の輝度変化量に対応し、前記第４の閾値は前記車両の周辺でＬＥＤマーカーが点滅するかまたは動いた場合の輝度変化量に対応する、請求項４に記載のセンサアレイ。
前記第１の閾値は前記車両の周辺で晴天時に非発光体が動いた場合の輝度変化量に対応し、前記第２の閾値は前記車両の周辺で荒天時に非発光体が動いた場合の輝度変化量に対応し、前記第３の閾値は前記車両の周辺で信号機が点滅するかまたは前記車両に対して相対的に動いた場合の輝度変化量に対応し、前記第４の閾値は前記車両の周辺でＬＥＤマーカーが点滅するかまたは動いた場合の輝度変化量に対応する、請求項４に記載のセンサアレイ。
【請求項6】
前記第１の閾値は非発光体が動いた場合の輝度変化量に対応し、前記第２の閾値は発光体が動いた場合の輝度変化量に対応する、請求項１から請求項４のいずれか１項に記載のセンサアレイ。
【請求項7】
前記第１のセンサおよび前記第２のセンサは第１の方向および前記第１の方向に直交する第２の方向にそれぞれ配列され、
前記所定のパターンでは、前記第１のセンサおよび前記第２のセンサが前記第１の方向および前記第２の方向についてそれぞれ交互に配列される、請求項１から請求項３のいずれか１項に記載のセンサアレイ。
前記所定のパターンでは、前記第１のセンサおよび前記第２のセンサが前記第１の方向および前記第２の方向についてそれぞれ交互に配列される、請求項１から請求項３のいずれか１項に記載のセンサアレイ。
【請求項8】
前記第１のセンサおよび前記第２のセンサは第１の方向および前記第１の方向に直交する第２の方向にそれぞれ配列され、
前記所定のパターンでは、前記第１のセンサおよび前記第２のセンサが前記第１の方向についてのみ交互に配列される、請求項１から請求項３のいずれか１項に記載のセンサアレイ。
前記所定のパターンでは、前記第１のセンサおよび前記第２のセンサが前記第１の方向についてのみ交互に配列される、請求項１から請求項３のいずれか１項に記載のセンサアレイ。
【請求項9】
前記第１のセンサおよび前記第２のセンサは第１の方向および前記第１の方向に直交する第２の方向にそれぞれ配列され、
前記所定のパターンでは、前記第１の方向および前記第２の方向のそれぞれの方向について、前記第１のセンサと前記第２のセンサとの比率は２：１である、請求項１から請求項３のいずれか１項に記載のセンサアレイ。
前記所定のパターンでは、前記第１の方向および前記第２の方向のそれぞれの方向について、前記第１のセンサと前記第２のセンサとの比率は２：１である、請求項１から請求項３のいずれか１項に記載のセンサアレイ。
【請求項10】
前記第１のセンサ、前記第２のセンサ、前記第３のセンサ、および前記第４のセンサは第１の方向および前記第１の方向に直交する第２の方向にそれぞれ配列され、
前記所定のパターンでは、前記第１のセンサ、前記第２のセンサ、前記第３のセンサ、および前記第４のセンサが前記第１の方向および前記第２の方向についてそれぞれ交互に配列される、請求項４または請求項５に記載のセンサアレイ。
前記所定のパターンでは、前記第１のセンサ、前記第２のセンサ、前記第３のセンサ、および前記第４のセンサが前記第１の方向および前記第２の方向についてそれぞれ交互に配列される、請求項４または請求項５に記載のセンサアレイ。
【請求項11】
前記第１のセンサ、前記第２のセンサ、前記第３のセンサ、および前記第４のセンサは第１の方向および前記第１の方向に直交する第２の方向にそれぞれ配列され、
前記所定のパターンでは、前記第１のセンサ、前記第２のセンサ、前記第３のセンサ、および前記第４のセンサが前記第１の方向についてのみ交互に配列される、請求項４または請求項５に記載のセンサアレイ。
前記所定のパターンでは、前記第１のセンサ、前記第２のセンサ、前記第３のセンサ、および前記第４のセンサが前記第１の方向についてのみ交互に配列される、請求項４または請求項５に記載のセンサアレイ。
【請求項12】
前記第１のセンサ、前記第２のセンサ、前記第３のセンサ、および前記第４のセンサは第１の方向および前記第１の方向に直交する第２の方向にそれぞれ配列され、
前記所定のパターンでは、前記第１のセンサ、前記第２のセンサ、前記第３のセンサ、および前記第４のセンサのうち２種類のセンサが前記第１の方向について交互に配列される第１のセンサ群と、前記第１のセンサ、前記第２のセンサ、前記第３のセンサ、および前記第４のセンサのうち前記２種類のセンサ以外の２種類のセンサが前記第１の方向について交互に配列される第２のセンサ群とが、前記第２の方向について交互に配列される、請求項４または請求項５に記載のセンサアレイ。
前記所定のパターンでは、前記第１のセンサ、前記第２のセンサ、前記第３のセンサ、および前記第４のセンサのうち２種類のセンサが前記第１の方向について交互に配列される第１のセンサ群と、前記第１のセンサ、前記第２のセンサ、前記第３のセンサ、および前記第４のセンサのうち前記２種類のセンサ以外の２種類のセンサが前記第１の方向について交互に配列される第２のセンサ群とが、前記第２の方向について交互に配列される、請求項４または請求項５に記載のセンサアレイ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、センサアレイに関する。
【背景技術】
【0002】
入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０１４－５３５０９８号公報
【特許文献2】特開２０１８－８５７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、従来のビジョンセンサ、例えばフレーム型ビジョンセンサとは異なる特性を考慮した周辺技術については、まだ十分に提案されているとは言いがたい。
【0005】
そこで、本発明は、イベント駆動型のビジョンセンサにおいて光の強度変化が検出されたときに生成されるイベント信号に基づいて処理を実行するにあたり、異なる光の強度で発生するイベントごとにイベント信号を生成することが可能なセンサアレイを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明のある観点によれば、第１の閾値を超える光の強度変化を検出したときに第１のイベント信号を生成する第１のセンサと、第１の閾値よりも大きい第２の閾値を超える光の強度変化を検出したときに第２のイベント信号を生成する第２のセンサとが所定のパターンに従って配列されたセンサアレイが提供される。
【図面の簡単な説明】
【0007】
【図1】本発明の第１の実施形態に係るシステムの概略的な構成を示す図である。
【図2】本発明の第１の実施形態における処理の例を示すフローチャートである。
【図3】本発明の第１の実施形態におけるセンサの配列パターンの別の例を示す図である。
【図4】本発明の第２の実施形態に係るシステムの概略的な構成を示す図である。
【図5】第２の実施形態の具体的な例におけるマーカーの点滅パターンの例を示す図である。
【図6】光の波長帯域を異ならせない場合のマーカーの点滅パターンを示す図である。
【図7】応用例における閾値の設定について説明するための図である。
【図8】本発明の第２の実施形態におけるフィルタおよびセンサの配列パターンの別の例を示す図である。
【発明を実施するための形態】
【0008】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0009】
（第１の実施形態）
図１は、本発明の第１の実施形態に係るシステムの概略的な構成を示す図である。図示された例において、システム１０は、イベント駆動型のビジョンセンサ１００と、情報処理装置２００とを含む。ビジョンセンサ１００は、図示しない光学系を介して入射する光の強度変化、より具体的には輝度変化を検出したときにイベント信号を生成するセンサ１１０が配列されたセンサアレイ１２０を含む。光の強度変化を検出しなかったセンサ１１０はイベント信号を生成しないため、ビジョンセンサ１００においてイベント信号は時間非同期的に生成される。ビジョンセンサ１００から出力されるイベント信号は、センサの識別情報（例えばピクセルの位置）と、輝度変化の極性（上昇または低下）と、タイムスタンプとを含む。
図１は、本発明の第１の実施形態に係るシステムの概略的な構成を示す図である。図示された例において、システム１０は、イベント駆動型のビジョンセンサ１００と、情報処理装置２００とを含む。ビジョンセンサ１００は、図示しない光学系を介して入射する光の強度変化、より具体的には輝度変化を検出したときにイベント信号を生成するセンサ１１０が配列されたセンサアレイ１２０を含む。光の強度変化を検出しなかったセンサ１１０はイベント信号を生成しないため、ビジョンセンサ１００においてイベント信号は時間非同期的に生成される。ビジョンセンサ１００から出力されるイベント信号は、センサの識別情報（例えばピクセルの位置）と、輝度変化の極性（上昇または低下）と、タイムスタンプとを含む。
【0010】
本実施形態において、ビジョンセンサ１００のセンサ１１０は、第１の閾値ｔｈ１を超える光の強度変化を検出したときにイベント信号を生成するように構成された第１のセンサ１１１と、第２の閾値ｔｈ２を超える光の強度変化を検出したときにイベント信号を生成するように構成された第２のセンサ１１２とを含む。第２の閾値ｔｈ２は、第１の閾値ｔｈ１よりも大きい（ｔｈ２＞ｔｈ１）。第１のセンサ１１１と第２のセンサ１１２とは、センサアレイ１２０において所定のパターンに従って、具体的には平面上の２方向（互いに直交するｘ方向およびｙ方向として図示）についてそれぞれ交互に配列される。第１のセンサ１１１が生成した第１のイベント信号と、第２のセンサ１１２が生成した第２のイベント信号とは、例えばイベント信号に含まれるセンサの識別情報によって区別することができる。
【0011】
情報処理装置２００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される第１の処理部２１０および第２の処理部２２０の機能部分を含む。第１の処理部２１０は、ビジョンセンサ１００の第１のセンサ１１１が生成した第１のイベント信号が受信され、第２のセンサ１１２が生成した第２のイベント信号が受信されなかったときに第１の処理を実行する。また、第２の処理部２２０は、第２のセンサ１１２が生成した第２のイベント信号が受信されたときに第１の処理とは異なる第２の処理を実行する。情報処理装置２００は、さらに、第１の処理部２１０の処理結果と第２の処理部２２０の処理結果とを統合する統合処理部２３０の機能部分を含んでもよい。
【0012】
なお、情報処理装置２００は、例えばビジョンセンサ１００と同じ装置内に組み込まれていてもよいし、ビジョンセンサ１００と同じ空間内に配置されてビジョンセンサ１００と通信する端末装置であってもよいし、ビジョンセンサ１００にネットワークを介して接続されるサーバー装置であってもよい。また、情報処理装置２００の機能の一部が端末装置において実装され、他の機能がサーバー装置で実装されてもよい。
【0013】
ここで、上記のように第２のセンサ１１２が光の強度変化を検出する第２の閾値ｔｈ２は第１のセンサ１１１が光の強度変化を検出する第１の閾値ｔｈ１よりも大きい。従って、ビジョンセンサ１００の画角内のある位置で第１の閾値ｔｈ１を超え第２の閾値ｔｈ２を超えない光の強度変化が生じた場合、第１のセンサ１１１はイベント信号を生成し、第２のセンサ１１２はイベント信号を生成しない。この場合に第１のイベント信号を検出し第２のイベント信号を検出しなかった第１の処理部２１０が実行する第１の処理は、例えば相対的に弱い光の強度変化が発生したことに対応した処理であってもよい。
【0014】
一方、ビジョンセンサ１００の画角内の別の位置で第２の閾値ｔｈ２を超える光の強度変化が生じた場合、第１のセンサ１１１および第２のセンサ１１２の両方がイベント信号を生成する。この場合に第２のイベント信号を検出した第２の処理部２２０が実行する第２の処理は、例えば相対的に強い光の強度変化が発生したことに対応した処理であってもよい。なお、第２のイベント信号が生成されるときには第１のイベント信号も生成されるが、第２の処理部２２０は第１のイベント信号を検出しなくてもよい。あるいは、第２の処理部２２０は、第２のイベント信号を生成した第２のセンサ１１２の近傍の第１のセンサ１１１が生成した第１のイベント信号を検出することによって、第２のイベント信号を用いてイベントの信頼度を判定しつつ、イベントの解像度を高くしてもよい。
【0015】
図２は、本発明の第１の実施形態における処理の例を示すフローチャートである。図示された例では、情報処理装置２００においてイベント信号が受信されたときに（ステップＳ１０１）、受信されたイベント信号がビジョンセンサ１００の第２のセンサ１１２で生成された第２のイベント信号であれば（ステップＳ１０２のＹＥＳ）、第２の処理部２２０が第２の処理を実行する（ステップＳ１０３）。一方、受信されたイベント信号が第２のイベント信号ではない、すなわち第１のセンサ１１１で生成された第１のイベント信号である場合（ステップＳ１０２のＮＯ）、第１の処理部２１０が第１の処理を実行する（ステップＳ１０４）。
【0016】
（第１の応用例）
第１の応用例として、上記のようなシステム１０は、特性の異なる複数のオブジェクトの動きをイベント信号から検出する処理に利用できる。この場合、例えば、第１の閾値は壁や床などの非発光体が動いた場合の輝度変化量に対応し、第２の閾値はＬＥＤマーカーやディスプレイなどの発光体が動いたり点滅したりした場合の輝度変化量に対応する。情報処理装置２００では、第１の処理部２１０が、第１のイベント信号が受信され第２のイベント信号が受信されなかった領域について、非発光体の動きを検出する処理を実行する。一方、第２の処理部２２０は、第２のイベント信号が受信された領域について、発光体の動きまたは点滅を検出する処理を実行する。上記のような処理によって、非発光体の動きと発光体の動きまたは点滅とを分離して検出することが可能になる。
第１の応用例として、上記のようなシステム１０は、特性の異なる複数のオブジェクトの動きをイベント信号から検出する処理に利用できる。この場合、例えば、第１の閾値は壁や床などの非発光体が動いた場合の輝度変化量に対応し、第２の閾値はＬＥＤマーカーやディスプレイなどの発光体が動いたり点滅したりした場合の輝度変化量に対応する。情報処理装置２００では、第１の処理部２１０が、第１のイベント信号が受信され第２のイベント信号が受信されなかった領域について、非発光体の動きを検出する処理を実行する。一方、第２の処理部２２０は、第２のイベント信号が受信された領域について、発光体の動きまたは点滅を検出する処理を実行する。上記のような処理によって、非発光体の動きと発光体の動きまたは点滅とを分離して検出することが可能になる。
【0017】
（第２の応用例）
また、第２の応用例として、上記のようなシステム１０は、例えばゲームコントローラなどにビジョンセンサ１００を搭載し、ビジョンセンサ１００が検出したイベントに基づいてコントローラの自己位置を推定する処理に利用できる。この場合、ビジョンセンサ１００は周辺環境の動きによって発生するイベントを検出するが、イベントにおける輝度変化のコントラストが強いほど、周辺環境の動きを表す情報としての信頼度が高いと考えられる。そこで、この場合、情報処理装置２００では、第１の処理部２１０が、第１のイベント信号が受信され第２のイベント信号が受信されなかった領域について第１のラベルをもった第１のイベントを特定する処理を実行する。第１のイベントは、後段の処理で信頼度が相対的に低いイベントとして扱われる。一方、第２の処理部２２０は、第２のイベント信号が受信された領域について第２のラベルをもった第２のイベントを特定する処理を実行する。このとき、第２のイベント信号が受信された領域では、第１のイベント信号も含めて第２のイベントが発生した領域が特定されてもよい。第２のイベントは、後段の処理で信頼度が相対的に高いイベントとして扱われる。
また、第２の応用例として、上記のようなシステム１０は、例えばゲームコントローラなどにビジョンセンサ１００を搭載し、ビジョンセンサ１００が検出したイベントに基づいてコントローラの自己位置を推定する処理に利用できる。この場合、ビジョンセンサ１００は周辺環境の動きによって発生するイベントを検出するが、イベントにおける輝度変化のコントラストが強いほど、周辺環境の動きを表す情報としての信頼度が高いと考えられる。そこで、この場合、情報処理装置２００では、第１の処理部２１０が、第１のイベント信号が受信され第２のイベント信号が受信されなかった領域について第１のラベルをもった第１のイベントを特定する処理を実行する。第１のイベントは、後段の処理で信頼度が相対的に低いイベントとして扱われる。一方、第２の処理部２２０は、第２のイベント信号が受信された領域について第２のラベルをもった第２のイベントを特定する処理を実行する。このとき、第２のイベント信号が受信された領域では、第１のイベント信号も含めて第２のイベントが発生した領域が特定されてもよい。第２のイベントは、後段の処理で信頼度が相対的に高いイベントとして扱われる。
【0018】
上記の例において、統合処理部２３０は、第１の処理部２１０が特定した第１のイベントと、第２の処理部２２０が特定した第２のイベントとに基づいてコントローラの自己位置を推定する。例えば、自己位置推定のために必要なイベントの数の閾値が１０００であって、第２のイベント（信頼度が高いイベント）の数が１５００、第１のイベント（信頼度が低いイベント）の数が３０００である場合、統合処理部２３０は第２のイベントのみを用いて自己位置を推定する。一方、第２のイベント（信頼度が高いイベント）の数が１００、第１のイベント（信頼度が低いイベント）の数が１５００である場合、統合処理部２３０は第１のイベントと第２のイベントとを両方用いて自己位置を推定する。相対的に信頼度が高い第２のイベントが十分な数特定された場合には第２のイベントのみに基づいて自己位置を推定することによって、自己位置推定の精度を向上させることができる。
【0019】
図３は、本発明の第１の実施形態におけるセンサの配列パターンの別の例を示す図である。図３に示された例では、ビジョンセンサ１００のセンサアレイ１２０において、第１のセンサ１１１と第２のセンサ１１２とが不均等に配列される。具体的には、第１のセンサ１１１および第２のセンサ１１２は平面上の２方向（互いに直交するｘ方向およびｙ方向として図示）についてそれぞれ交互に配列されているが、それぞれの方向について、第１のセンサ１１１と第２のセンサ１１２との比率は２：１である。例えば、上記の第１の応用例において、ＬＥＤマーカーやディスプレイなどの発光体の動きや点滅はコントラストが強いイベントであるため、イベントが発生する領域の大きさを超えない範囲で第２のセンサ１１２の間隔を大きくしても精度よく検出することができる。このような場合、上記のような不均等なパターンでセンサを配列することによって、第１のセンサ１１１の領域を相対的に大きくし、非発光体のイベントの解像度を上げることができる。
【0020】
（第２の実施形態）
図４は、本発明の第２の実施形態に係るシステムの概略的な構成を示す図である。図示された例において、システム２０は、イベント駆動型のビジョンセンサ３００と、情報処理装置４００とを含む。本実施形態において、ビジョンセンサ３００のセンサ３１０は、第１の閾値ｔｈ１を超える光の強度変化を検出したときにイベント信号を生成するように構成された第１のセンサ３１１と、第１の閾値ｔｈ１よりも大きい第２の閾値ｔｈ２を超える光の強度変化を検出したときにイベント信号を生成するように構成された第２のセンサ３１２と、第２の閾値ｔｈ２よりも大きい第３の閾値ｔｈ３を超える光の強度変化を検出したときにイベント信号を生成するように構成された第３のセンサ３１３と、第３の閾値ｔｈ３よりも大きい第４の閾値ｔｈ４を超える光の強度変化を検出したときにイベント信号を生成するように構成された第４のセンサ３１４とを含む（ｔｈ１＜ｔｈ２＜ｔｈ３＜ｔｈ４）。第１から第４のセンサ３１１～３１４は、センサアレイ３２０において所定のパターンに従って、具体的には平面上の２方向（互いに直交するｘ方向およびｙ方向として図示）についてそれぞれ交互に配列される。第１から第４のセンサ３１１～３１４のそれぞれが生成した第１から第４のイベント信号は、例えばイベント信号に含まれるセンサの識別情報によって区別することができる。
図４は、本発明の第２の実施形態に係るシステムの概略的な構成を示す図である。図示された例において、システム２０は、イベント駆動型のビジョンセンサ３００と、情報処理装置４００とを含む。本実施形態において、ビジョンセンサ３００のセンサ３１０は、第１の閾値ｔｈ１を超える光の強度変化を検出したときにイベント信号を生成するように構成された第１のセンサ３１１と、第１の閾値ｔｈ１よりも大きい第２の閾値ｔｈ２を超える光の強度変化を検出したときにイベント信号を生成するように構成された第２のセンサ３１２と、第２の閾値ｔｈ２よりも大きい第３の閾値ｔｈ３を超える光の強度変化を検出したときにイベント信号を生成するように構成された第３のセンサ３１３と、第３の閾値ｔｈ３よりも大きい第４の閾値ｔｈ４を超える光の強度変化を検出したときにイベント信号を生成するように構成された第４のセンサ３１４とを含む（ｔｈ１＜ｔｈ２＜ｔｈ３＜ｔｈ４）。第１から第４のセンサ３１１～３１４は、センサアレイ３２０において所定のパターンに従って、具体的には平面上の２方向（互いに直交するｘ方向およびｙ方向として図示）についてそれぞれ交互に配列される。第１から第４のセンサ３１１～３１４のそれぞれが生成した第１から第４のイベント信号は、例えばイベント信号に含まれるセンサの識別情報によって区別することができる。
【0021】
情報処理装置４００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される第１から第４の処理部４１０～４４０の機能部分を含む。第１の処理部４１０は、第１のイベント信号が受信され第２から第４のイベント信号が受信されなかったときに第１の処理を実行する。第２の処理部４２０は、第２のイベント信号が受信され（第１のイベント信号も受信されてもよい）第３および第４のイベント信号が受信されなかったときに第２の処理を実行する。第３の処理部４３０は、第３のイベント信号が受信され（第１および第２のイベント信号も受信されてもよい）第４のイベント信号が受信されなかったときに第３の処理を実行する。第４の処理部４４０は、第４のイベント信号が受信されたときに（第１から第３のイベント信号も受信されてもよい）第４の処理を実行する。第１から第４の処理は、それぞれ異なる処理でありうる。情報処理装置４００は、さらに、第１から第４の処理部４１０～４４０の処理結果を統合する統合処理部４５０の機能部分を含んでもよい。
【0022】
（第３の応用例）
第３の応用例として、上記のようなシステム２０は、例えば、ビジョンセンサ３００の画角内で移動する複数のオブジェクトに光の強度が異なる４種類の点滅パターンで光を射出するマーカーのいずれかを取り付け、これらのマーカーを識別しながらトラッキングする処理に利用できる。図５に示すように、４種類のマーカーの点滅パターンＰ１～Ｐ４の光の強度Ｉ１，Ｉ２，Ｉ３，Ｉ４を、第１から第４のセンサ３１１～３１４の閾値ｔｈ１，ｔｈ２，ｔｈ３，ｔｈ４との関係がｔｈ１＜Ｉ１≦ｔｈ２＜Ｉ２≦ｔｈ３＜Ｉ３≦ｔｈ４＜Ｉ４となるように設定すれば、第１の処理部４１０は点滅パターンＰ１のマーカーをトラッキングし、第２の処理部４２０は点滅パターンＰ２のマーカーをトラッキングし、第３の処理部４３０は点滅パターンＰ３のマーカーをトラッキングし、第４の処理部４４０は点滅パターンＰ４のマーカーをトラッキングすることができる。例えば、本実施形態のように光の強度を異ならせるのではない場合、イベント信号を用いてマーカーを識別するためには図６に示すようにマーカーの点滅パターンを異ならせる必要がある。しかしながら、この場合は識別するマーカーの種類が増えるほど点滅パターンの周期が長くなり、動作が高速なイベント駆動型のビジョンセンサを使っているにもかかわらずレイテンシーが長くなってしまう。上記の例では、図５に示すように各マーカーの点滅パターンの周期を同じにしてレイテンシーを維持しつつ、４種類のマーカーを識別することが可能である。
第３の応用例として、上記のようなシステム２０は、例えば、ビジョンセンサ３００の画角内で移動する複数のオブジェクトに光の強度が異なる４種類の点滅パターンで光を射出するマーカーのいずれかを取り付け、これらのマーカーを識別しながらトラッキングする処理に利用できる。図５に示すように、４種類のマーカーの点滅パターンＰ１～Ｐ４の光の強度Ｉ１，Ｉ２，Ｉ３，Ｉ４を、第１から第４のセンサ３１１～３１４の閾値ｔｈ１，ｔｈ２，ｔｈ３，ｔｈ４との関係がｔｈ１＜Ｉ１≦ｔｈ２＜Ｉ２≦ｔｈ３＜Ｉ３≦ｔｈ４＜Ｉ４となるように設定すれば、第１の処理部４１０は点滅パターンＰ１のマーカーをトラッキングし、第２の処理部４２０は点滅パターンＰ２のマーカーをトラッキングし、第３の処理部４３０は点滅パターンＰ３のマーカーをトラッキングし、第４の処理部４４０は点滅パターンＰ４のマーカーをトラッキングすることができる。例えば、本実施形態のように光の強度を異ならせるのではない場合、イベント信号を用いてマーカーを識別するためには図６に示すようにマーカーの点滅パターンを異ならせる必要がある。しかしながら、この場合は識別するマーカーの種類が増えるほど点滅パターンの周期が長くなり、動作が高速なイベント駆動型のビジョンセンサを使っているにもかかわらずレイテンシーが長くなってしまう。上記の例では、図５に示すように各マーカーの点滅パターンの周期を同じにしてレイテンシーを維持しつつ、４種類のマーカーを識別することが可能である。
【0023】
（第４の応用例）
また、第４の応用例として、上記のようなシステム２０は、例えば、自動運転車で周辺のオブジェクトを認識する処理に利用できる。この場合、例えば図７に示されるように、（１）晴天時の非発光体（２）荒天時の非発光体（３）信号機（４）ＬＥＤマーカーのそれぞれの検出に適するように、第１から第４のセンサ３１１～３１４の閾値ｔｈ１，ｔｈ２，ｔｈ３，ｔｈ４を設定する。この場合、第１の処理部４１０は晴天時に非発光体の動きを認識し、第２の処理部４２０は荒天時に非発光体の動きを認識し、第３の処理部４３０は信号機の動きおよび点滅を認識し、第４の処理部４４０はＬＥＤマーカーの動きおよび点滅を認識する。信号機およびＬＥＤマーカーは発光体であるため、非発光体よりも高い閾値でもイベントを検出することができる。ＬＥＤマーカーは、例えば他の車両に取り付けられて車間距離を計測したり、道路に埋め込まれて経路をガイドしたりするのに使われる。荒天時は雨粒などが原因で大量のイベントが発生するため、雨粒以外の飛来物が認識できる範囲で晴天時よりも閾値を上げることによって、イベント検出後の処理負荷を低減することができる。この場合、晴天時のデータを併用することによって、雨粒以外のイベントを検出しやすくしてもよい。
また、第４の応用例として、上記のようなシステム２０は、例えば、自動運転車で周辺のオブジェクトを認識する処理に利用できる。この場合、例えば図７に示されるように、（１）晴天時の非発光体（２）荒天時の非発光体（３）信号機（４）ＬＥＤマーカーのそれぞれの検出に適するように、第１から第４のセンサ３１１～３１４の閾値ｔｈ１，ｔｈ２，ｔｈ３，ｔｈ４を設定する。この場合、第１の処理部４１０は晴天時に非発光体の動きを認識し、第２の処理部４２０は荒天時に非発光体の動きを認識し、第３の処理部４３０は信号機の動きおよび点滅を認識し、第４の処理部４４０はＬＥＤマーカーの動きおよび点滅を認識する。信号機およびＬＥＤマーカーは発光体であるため、非発光体よりも高い閾値でもイベントを検出することができる。ＬＥＤマーカーは、例えば他の車両に取り付けられて車間距離を計測したり、道路に埋め込まれて経路をガイドしたりするのに使われる。荒天時は雨粒などが原因で大量のイベントが発生するため、雨粒以外の飛来物が認識できる範囲で晴天時よりも閾値を上げることによって、イベント検出後の処理負荷を低減することができる。この場合、晴天時のデータを併用することによって、雨粒以外のイベントを検出しやすくしてもよい。
【0024】
本実施形態に係るシステム２０は、上記で第１の実施形態の応用例として説明した第１および第２の応用例、すなわち特性の異なる複数のオブジェクトの動きをイベント信号から検出する処理や、イベントに基づく自己位置推定の処理に利用されてもよい。自己位置推定の処理では、イベントの信頼度が４段階で評価されることによって、自己位置推定のために必要な数のイベントを信頼度がより高いイベントから抽出することが容易になり（例えば、信頼度の４段階のうち上位２段階、または上位３段階だけ抽出するという選択肢ができる）、自己位置推定の精度を向上させることができる。また、第１の実施形態に係るシステム１０も、第３の応用例（２種類のマーカーのトラッキング）および第４の応用例（例えば、晴天時および荒天時の非発光体の動きの認識）の処理に利用可能である。
【0025】
図８は、本発明の第２の実施形態におけるセンサの配列パターンの別の例を示す図である。上記で図４に示された例では、ビジョンセンサ３００の第１から第４のセンサ３１１～３１４が平面上の２方向（互いに直交するｘ方向およびｙ方向として図示）についてそれぞれ交互に配列されたが、図８に示された例では、第１から第４のセンサ３１１～３１４がｘ方向についてのみ交互に配列される。つまり、第１から第４のセンサ３１１～３１４は、ｙ方向について帯状のパターンで配列される。この場合、ｘ方向ではセンサアレイ３２０のピクセルサイズの４倍未満の大きさの領域で発生したイベントが波長帯域の合わないフィルタによって遮断される可能性があるが、ｙ方向ではそのような遮断が生じない。一方、上記で図４に示された例では、ｘ方向、ｙ方向ともに、センサアレイ３２０のピクセルサイズの２倍以上の大きさの領域で発生したイベントであれば遮断されることなく検出される。このように、センサの配列パターンは、例えばそれぞれの方向における検出したいイベントの大きさに応じて適宜変更することが可能である。
【0026】
以上で説明したような本発明の実施形態では、イベント駆動型のビジョンセンサにおいて光の強度変化を検出する閾値が異なる複数の種類のセンサを配置し、情報処理装置においてそれぞれのセンサが生成したイベント信号に対応する処理を実行することによって、異なる光の強度で発生するイベントごとに異なる処理を実行することができる。センサの種類（閾値の段階）が増えるほど同じ強度のイベントを検出するときの解像度は低下するが、例えば補間や外挿などの公知の技術によって補うことができる。また、例えば上述のように閾値が高いセンサが生成したイベント信号を信頼度が相対的に高いイベントの発生を示す情報として扱う場合、信頼度が相対的に高いイベントが発生した領域では閾値が低いセンサが生成したイベント信号も含めてイベントが発生した領域を特定することによって、解像度の低下を抑えることもできる。
【0027】
なお、上記の各実施形態で説明された変形は、他の実施形態にも適用可能である。例えば、第１の実施形態について図３を参照して説明したようなフィルタおよびセンサの不均等な配列パターンは、第２の実施形態にも適用可能である。また、第２の実施形態について図８を参照して説明したようなフィルタおよびセンサの帯状の配列パターンは、第１の実施形態にも適用可能である。
【0028】
本発明の実施形態は、例えばゲームコントローラ、スマートフォン、各種の移動体（自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットなど）で周辺環境の情報を取得したり、周辺のオブジェクトの位置から自己位置を推定したり、飛来するオブジェクトを検出して回避行動をとったりするために利用することができる。
【0029】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範囲内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0030】
１０，２０…システム、１００，３００…イベント駆動型のビジョンセンサ、１１０，３１０…センサ、１１１，３１１…第１のセンサ、１１２，３１２…第２のセンサ、３１３…第３のセンサ、３１４…第４のセンサ、１２０，３２０…センサアレイ、２００，４００…情報処理装置、２１０，４１０…第１の処理部、２２０，４２０…第２の処理部、４３０…第３の処理部、４４０…第４の処理部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】