特許 7191238 センサシステム、画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-08

(45)【発行日】2022-12-16

(54)【発明の名称】センサシステム、画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   H04N 5/351 20110101AFI20221209BHJP

   H04N 5/374 20110101ALI20221209BHJP

   H04N 5/378 20110101ALI20221209BHJP

【ＦＩ】

H04N5/351

H04N5/374

H04N5/378

【請求項の数】 7

(21)【出願番号】P 2021541868

(86)(22)【出願日】2019-08-28

(86)【国際出願番号】 JP2019033708

(87)【国際公開番号】W WO2021038751

(87)【国際公開日】2021-03-04

【審査請求日】2021-11-16

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】110000637

【氏名又は名称】特許業務法人樹之下知的財産事務所

(72)【発明者】

【氏名】小泉 誠

(72)【発明者】

【氏名】堀江 淳

【審査官】鈴木 明

(56)【参考文献】

【文献】国際公開第２０１９／１３５４１１（ＷＯ，Ａ１）

【文献】特開２０１９－１３４２７１（ＪＰ，Ａ）

【文献】特開２０１８－１８６４７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／３０－５／３７８

(57)【特許請求の範囲】

【請求項1】

第１の画素アドレスにおける光量の変動を第１の感度で検出する第１のセンサ、および前記第１の画素アドレスに隣接または重複する第２の画素アドレスにおける光量の変動を前記第１の感度よりも低い第２の感度で検出する第２のセンサを含むセンサアレイと、
前記第１のセンサが輝度変動イベントに対して第１のイベント信号を生成したときに、前記第２のセンサが前記輝度変動イベントに対して第２のイベント信号を生成したか否かに応じて前記輝度変動イベントを発生させた被写体の階調を判定する階調判定部と
を備えるセンサシステム。

【請求項2】

前記センサアレイは、前記第１のセンサを構成する透過型の第１の受光層に前記第２のセンサを構成する第２の受光層が積層された積層型のセンサを含み、
前記第２の画素アドレスは、前記第１の画素アドレスに重複する、請求項１に記載のセンサシステム。

【請求項3】

前記第２の受光層は、透過型であり、
前記積層型のセンサでは、前記第１の画素アドレスにおける光量の変動を前記第２の感度よりも低い第３の感度で検出する第３のセンサを構成する第３の受光層がさらに積層され、
前記階調判定部は、前記第２のセンサが前記輝度変動イベントに対して前記第２のイベント信号を生成したときに、前記第３のセンサが前記輝度変動イベントに対して第３のイベント信号を生成したか否かによって前記被写体の階調を判定する、請求項２に記載のセンサシステム。

【請求項4】

第１の画素アドレスにおける光量の変動を第１の感度で検出する第１のセンサが輝度変動イベントに対して生成した第１のイベント信号に、前記第１の画素アドレスに隣接または重複する第２の画素アドレスにおける光量の変動を前記第１の感度よりも低い第２の感度で検出する第２のセンサが前記輝度変動イベントに対して生成した第２のイベント信号を関連付けるイベント信号関連付け部と、
前記第１のイベント信号に関連付けられる前記第２のイベント信号の有無に応じて前記輝度変動イベントを発生させた被写体の階調を判定する階調判定部と
を備える画像処理装置。

【請求項5】

前記イベント信号関連付け部は、前記第１のイベント信号に、前記第１の画素アドレスに隣接または重複する第３の画素アドレスにおける光量の変動を前記第２の感度よりも低い第３の感度で検出する第３のセンサが前記輝度変動イベントに対して生成した第３のイベント信号を関連付け、
前記階調判定部は、前記第１のイベント信号に関連付けられる前記第３のイベント信号の有無に応じて前記被写体の階調を判定する、請求項４に記載の画像処理装置。

【請求項6】

第１の画素アドレスにおける光量の変動を第１の感度で検出する第１のセンサが、輝度変動イベントに対して第１のイベント信号を生成するステップと、
前記第１の画素アドレスに隣接または重複する第２の画素アドレスにおける光量の変動を前記第１の感度よりも低い第２の感度で検出する第２のセンサが前記輝度変動イベントに対して第２のイベント信号を生成するか、または前記第２のイベント信号を生成しないステップと、
前記第１のイベント信号に前記第２のイベント信号を関連付けるステップと、
前記第１のイベント信号に関連付けられる前記第２のイベント信号の有無に応じて前記輝度変動イベントを発生させた被写体の階調を判定するステップと
を含む画像処理方法。

【請求項7】

第１の画素アドレスにおける光量の変動を第１の感度で検出する第１のセンサが輝度変動イベントに対して生成した第１のイベント信号に、前記第１の画素アドレスに隣接または重複する第２の画素アドレスにおける光量の変動を前記第１の感度よりも低い第２の感度で検出する第２のセンサが前記輝度変動イベントに対して生成した第２のイベント信号を関連付ける機能と、
前記第１のイベント信号に関連付けられる前記第２のイベント信号の有無に応じて前記輝度変動イベントを発生させた被写体の階調を判定する機能と
をコンピュータに実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、センサシステム、画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

ＣＣＤやＣＭＯＳなどのイメージセンサは、垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の固体撮像素子である。一般的な同期型の固体撮像素子では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データが取得されないため、例えば移動体における画像データを利用した高速な処理には対応が困難な場合がある。そこで、例えば非特許文献１などにおいて、アドレスイベントを検出するアドレスイベント表現（ＡＥＲ：Address Event Representation）回路を設けた非同期型の固体撮像素子が提案されている。

【0003】

上記の非同期型の固体撮像素子において、アドレスイベントは、ある画素アドレスで画素の光量が変動し、変動量が閾値を超えた場合に発生する。具体的には、アドレスイベントは、画素の光量が変動して所定の上限を超えた場合に発生するオンイベントと、光量が所定の下限を下回った場合に発生するオフイベントとを含む。このような非同期型の固体撮像素子において、画素ごとのオンイベントおよびオフイベントの有無を２ビットのデータで表現する画像データの形式はＡＥＲフォーマットと呼ばれる。非同期型の固体撮像素子を用いた技術は、例えば特許文献１にも記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１８６４７８号公報

【非特許文献】

【0005】

【文献】Patrick Lichtsteiner, et al., A 128×128 120dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor, IEEE JOURNAL OF SOLID-STATE CIRCUITS, VOL. 43, NO. 2, FEBRUARY 2008.

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記のような非同期型の固体撮像素子（以下、イベント駆動型センサともいう）では、被写体の動きを高速に検出することは可能であるものの、画像データとしてオンイベントまたはオフイベントの２通りの情報しか得られないため、被写体の輝度の階調を検出することは困難である。例えば、階調を検出することが可能な同期型の固体撮像素子をイベント駆動型センサとともに配置し、イベント駆動型センサで被写体の動きが検出された場合に同期型の固体撮像素子を露光して階調を検出することも考えられるが、この場合は階調を含めた画像データの取得周期が同期型の固体撮像素子の同期信号の周期に制約されるため、イベント駆動型センサの高速性が損なわれてしまう。

【0007】

そこで、本発明は、イベント駆動型センサを用いて高速に被写体の階調を検出することを可能にする、センサシステム、画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明のある観点によれば、第１の画素アドレスにおける光量の変動を第１の感度で検出する第１のセンサ、および第１の画素アドレスに隣接または重複する第２の画素アドレスにおける光量の変動を第１の感度よりも低い第２の感度で検出する第２のセンサを含むセンサアレイと、第１のセンサが輝度変動イベントに対して第１のイベント信号を生成したときに、第２のセンサが輝度変動イベントに対して第２のイベント信号を生成したか否かに応じて輝度変動イベントを発生させた被写体の階調を判定する階調判定部とを備えるセンサシステムが提供される。

【0009】

本発明の別の観点によれば、第１の画素アドレスにおける光量の変動を第１の感度で検出する第１のセンサが輝度変動イベントに対して生成した第１のイベント信号に、第１の画素アドレスに隣接または重複する第２の画素アドレスにおける光量の変動を第１の感度よりも低い第２の感度で検出する第２のセンサが輝度変動イベントに対して生成した第２のイベント信号を関連付けるイベント信号関連付け部と、第１のイベント信号に関連付けられる第２のイベント信号の有無に応じて輝度変動イベントを発生させた被写体の階調を判定する階調判定部とを備える画像処理装置が提供される。

【0010】

本発明のさらに別の観点によれば、第１の画素アドレスにおける光量の変動を第１の感度で検出する第１のセンサが、輝度変動イベントに対して第１のイベント信号を生成するステップと、第１の画素アドレスに隣接または重複する第２の画素アドレスにおける光量の変動を第１の感度よりも低い第２の感度で検出する第２のセンサが輝度変動イベントに対して第２のイベント信号を生成するか、または第２のイベント信号を生成しないステップと、第１のイベント信号に第２のイベント信号を関連付けるステップと、第１のイベント信号に関連付けられる第２のイベント信号の有無に応じて輝度変動イベントを発生させた被写体の階調を判定するステップとを含む画像処理方法が提供される。

【0011】

本発明のさらに別の観点によれば、第１の画素アドレスにおける光量の変動を第１の感度で検出する第１のセンサが輝度変動イベントに対して生成した第１のイベント信号に、第１の画素アドレスに隣接または重複する第２の画素アドレスにおける光量の変動を第１の感度よりも低い第２の感度で検出する第２のセンサが輝度変動イベントに対して生成した第２のイベント信号を関連付ける機能と、第１のイベント信号に関連付けられる第２のイベント信号の有無に応じて輝度変動イベントを発生させた被写体の階調を判定する機能とをコンピュータに実現させるためのプログラムが提供される。

【図面の簡単な説明】

【0012】

【図1】本発明の第１の実施形態に係るシステムの概略的な構成を示す図である。

【図2A】本発明の実施形態における階調算出の原理について説明するための図である。

【図2B】本発明の実施形態における階調算出の原理について説明するための図である。

【図3】本発明の実施形態における階調算出の原理について説明するための図である。

【図4A】本発明の第１の実施形態における同時化処理について説明するための図である。

【図4B】本発明の第１の実施形態における同時化処理について説明するための図である。

【図4C】本発明の第１の実施形態における同時化処理について説明するための図である。

【図4D】本発明の第１の実施形態における同時化処理について説明するための図である。

【図5】本発明の第１の実施形態における処理の例を示すフローチャートである。

【図6】本発明の第１の実施形態におけるセンサ配置の他の例を示す図である。

【図7】本発明の第２の実施形態に係るシステムの概略的な構成を示す図である。

【図8】本発明の第２の実施形態におけるセンサ配置の他の例を示す図である。

【図9】本発明の第３の実施形態に係るシステムの概略的な構成を示す図である。

【図10】本発明の第３の実施形態における処理の例を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

【0014】

（第１の実施形態）
図１は、本発明の第１の実施形態に係るシステムの概略的な構成を示す図である。図示されているように、センサシステム１０Ａは、センサモジュール１００と、画像処理装置２００Ａとを含む。センサモジュール１００は、画素ごとに配置された第１のセンサ１１１および第２のセンサ１１２を含むセンサアレイと、信号処理回路１２０（イベント信号処理部）とを含む。画像処理装置２００Ａは、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される時刻差分取得部２１０Ａおよび階調算出部２２０Ａの機能部分を含む。画像処理装置２００Ａは、さらに、画像生成部２３０および遅延時間算出部２４０の機能部分を含んでもよい。以下、各部についてさらに説明する。

【0015】

第１のセンサ１１１および第２のセンサ１１２は、いずれもイベント駆動型センサ（ＥＤＳ：Event Driven Sensor）であり、それぞれの画素アドレスで光量の変動量が閾値を超えたときに、アドレスイベントの発生を示すイベント信号を出力する。本実施形態において、センサアレイは所定のパターンで平面的に配列された第１のセンサ１１１および第２のセンサ１１２を含む。第１のセンサ１１１は、第１の画素アドレスにおける光量の変動を第１の感度で検出し、第２のセンサ１１２は、第１の画素アドレスに隣接する第２の画素アドレスにおける光量の変動を第１の感度よりも低い第２の感度で検出する。

【0016】

具体的には、例えば、第２のセンサ１１２の感度（第２の感度）は、第１のセンサ１１１の感度（第１の感度）のｐ倍（１＞ｐ＞０）である。このような第１のセンサ１１１および第２のセンサ１１２は、例えば、センサアレイに重畳され、第２のセンサ１１２に入射する光量を低減させるフィルタ１１５（例えばグレーフィルタ、または絞り）を配置することによって実現できる。この場合、第１のセンサ１１１および第２のセンサ１１２に同じ構成のＥＤＳを用いることができる。フィルタ１１５が光量の（１－ｐ）倍を遮断する場合、第２の感度は第１の感度のｐ倍になる。あるいは、第１のセンサ１１１と第２のセンサ１１２との間でバイアス電流を異ならせることによってそれぞれのセンサの感度を調節してもよい。

【0017】

信号処理回路１２０は、メモリおよびプロセッサを含み、プロセッサがメモリに格納されたプログラムに従って動作することによって第１のセンサ１１１が生成した第１のイベント信号、および第２のセンサ１１２が生成した第２のイベント信号を処理する。具体的には、信号処理回路１２０は、第１のイベント信号および第２のイベント信号のそれぞれのタイムスタンプを生成する。タイムスタンプは、第１のセンサ１１１および第２のセンサ１１２が輝度変動イベントに対してそれぞれイベント信号を生成した時刻の差分を示す情報の例である。

【0018】

ここで、第１のセンサ１１１および第２のセンサ１１２は、例えば被写体の移動や光源の変化などの輝度変動イベント（以下、単にイベントともいう）が発生したときに、検出する光量の変動量が閾値を超えたことによってイベント信号を生成する。ここで、上述のように、第１のセンサ１１１と第２のセンサ１１２との間では光量の変動を検出する感度が異なる。従って、同一のイベントに対して第１のセンサ１１１および第２のセンサ１１２の両方がイベント信号を生成した場合にも、それぞれのセンサで検出されている光量の変動量は異なる。本実施形態では、以下で説明するように、光量の変動量が異なるとイベントからイベント信号の生成までの遅延時間が異なるというセンサの特性を利用して、第１のセンサ１１１および第２のセンサ１１２が同一の輝度変動イベントに対してそれぞれイベント信号を生成した時刻の差分から、被写体の階調を算出する。

【0019】

図２Ａ、図２Ｂおよび図３は、本発明の実施形態における階調算出の原理について説明するための図である。図２Ａおよび図２Ｂに示されているように、明るい（高階調の）被写体ｏｂｊ_１の動きによってイベントが発生する場合、イベントの輝度変動量は相対的に大きい。この場合、イベントが発生してからＥＤＳがイベント信号を生成するまでに遅延時間ｄ_１が生じるとする。一方、暗い（低階調の）被写体ｏｂｊ_２の動きによってイベントが発生する場合、イベントの輝度変動量は相対的に小さい。この場合、イベントが発生してからＥＤＳがイベント信号を生成するまでに生じる遅延時間ｄ_２は、被写体ｏｂｊ_１の場合の遅延時間ｄ_１よりも長い（ｄ_１＜ｄ_２）。つまり、ＥＤＳがイベント信号を生成する遅延時間は、被写体の階調が高いほど短くなり、被写体の階調が低いほど長くなる。

【0020】

そこで、例えば、図３に示されているように、第２のセンサ１１２の感度が第１のセンサ１１１の感度の５０％（上述の例においてｐ＝０．５）である場合、第２のセンサ１１２で検出されるイベントの輝度変化は、第１のセンサ１１１で検出されるイベントの輝度変化の５０％になる。つまり、第２のセンサ１１２では、被写体の階調が５０％低減されて検出される。この場合において、第１のセンサ１１１で生成された第１のイベント信号の遅延時間ｄ_１と第２のセンサ１１２で生成された第２のイベント信号の遅延時間ｄ_２との差分（ｄ_２－ｄ_１）は、被写体の階調の５０％分に相当する。従って、被写体の階調とＥＤＳの遅延時間との関係を予め測定しておけば、遅延時間の差分、すなわちそれぞれのセンサがイベント信号を生成した時刻の差分から被写体の階調を算出することができる。

【0021】

より具体的には、例えば、本実施形態では、イベントを発生させる被写体の階調とＥＤＳの遅延時間との関係を予め測定することによって、被写体の階調を遅延時間ｄの関数ｇ（ｄ）として特定する。これによって、第１のイベント信号および第２のイベント信号の遅延時間ｄ_１，ｄ_２が未知であっても、遅延時間ｄ_１と遅延時間ｄ_２との差分ｄ_Ｄ＝ｄ_２－ｄ_１が既知であれば、
ｇ（ｄ_１＋ｄ_Ｄ）＝０．５×ｇ（ｄ_１） ・・・（式１）
となるような第１のセンサ１１１の遅延時間ｄ_１と、第１のセンサ１１１で検出されている被写体の階調ｇ（ｄ_１）と算出することができる。

【0022】

再び図１を参照して、画像処理装置２００Ａにおいて、時刻差分取得部２１０Ａは、信号処理回路１２０が生成したタイムスタンプに基づいて、第１のセンサおよび第２のセンサが同じ輝度変動イベントに対してそれぞれイベント信号を生成した時刻の差分を示す情報を取得する。他の例として、例えば画像処理装置２００Ａが信号処理回路１２０を含む場合は、信号処理回路１２０が第１のイベント信号および第２のイベント信号のタイムスタンプとは別に、第１のイベント信号および第２のイベント信号の間の時間差を示す情報を直接的に取得してもよい。

【0023】

階調算出部２２０Ａは、時刻差分取得部２１０Ａが取得した時刻の差分を示す情報に基づいて、輝度変動イベントを発生させた被写体の階調を算出する。上記で図２Ａ、図２Ｂおよび図３を参照して説明したように、イベントを発生させる被写体の階調とＥＤＳの遅延時間との関係を予め測定しておけば、イベント信号が生成された時刻の差から被写体の階調を算出することができる。本実施形態において、画像処理装置２００Ａのメモリには時間差－階調テーブル２２１が格納され、階調算出部２２０Ａは時間差－階調テーブル２２１を参照することによって被写体の階調を算出する。

【0024】

上記のような処理によって階調算出部２２０Ａが算出した被写体の階調は、例えば画像生成部２３０でイベント信号を用いて被写体の画像を生成するのに用いられてもよい。この場合、第１のイベント信号および第２のイベント信号は後述するような処理によって同時化されてもよい。あるいは、階調算出部２２０Ａが算出した被写体の階調は、イベント信号から認識される被写体に対する処理を選択するために用いられてもよい。上記のような処理を実行する機能部分は、画像処理装置２００Ａの内部において実装されてもよいし、画像処理装置２００Ａから被写体の階調を示す情報を受信する外部装置において実装されてもよい。

【0025】

遅延時間算出部２４０は、時刻差分取得部２１０Ａが取得した時刻の差分を示す情報から、第１のセンサ１１１における輝度変動イベントからイベント信号の生成までの遅延時間を算出する。上記で図３を参照して説明したように、被写体の階調を遅延時間ｄの関数ｇ（ｄ）として表現した場合、遅延時間ｄ_１，ｄ_２が未知でも、差分ｄ_Ｄ＝ｄ_２－ｄ_１からｇ（ｄ_１＋ｄ_Ｄ）＝０．５×ｇ（ｄ_１）となる遅延時間ｄ_１を算出することができる。遅延時間算出部２４０は、同様にして第２のセンサ１１２における遅延時間ｄ_２を算出してもよい。

【0026】

上記のように遅延時間算出部２４０が算出した遅延時間は、例えば遅延時間を除いたイベントの真の発生時刻を特定するために用いられてもよい。具体的には、遅延時間ｄ_１を第１のセンサ１１１が生成した第１のイベント信号のタイムスタンプから差し引くことによって、第１のセンサ１１１が検出したイベントの真の発生時刻を特定することができる。本実施形態では画像処理装置２００Ａが階調算出部２２０Ａおよび遅延時間算出部２４０の両方を含むが、他の実施形態では画像処理装置が階調算出部２２０Ａまたは遅延時間算出部２４０のいずれか一方のみを含んでもよい。

【0027】

図４Ａ～図４Ｄは、本発明の第１の実施形態における同時化処理について説明するための図である。上述のように、第１のセンサ１１１と第２のセンサ１１２との間では、輝度変動イベントが発生してからイベント信号が生成されるまでの遅延時間が異なる。本実施形態ではこの遅延時間の違いを利用して被写体の階調を算出しているが、その一方で、第１のセンサ１１１が生成する第１のイベント信号と第２のセンサ１１２が生成する第２のイベント信号との間では、遅延時間の違いに相当するタイムスタンプの差分が生じる。

【0028】

そこで、図示された例では、第２のセンサ１１２Ａで生成された第２のイベント信号のタイムスタンプを、隣接する第１のセンサ１１１Ａ～１１１Ｈのそれぞれで生成されたイベント信号のタイムスタンプの平均値に置き換えることで、第２のイベント信号を第１のイベント信号に同時化している。図４Ａ～図４Ｄには、それぞれ、第２のセンサ１１２Ａに隣接してイベント信号を生成した第１のセンサ１１１が２個、４個および８個の場合の例が示されている。例えば、階調算出部２２０Ａまたは遅延時間算出部２４０に入力されるイベント信号とは別に同時化されたイベント信号を生成することによって、第１のセンサ１１１が配置される第１の画素アドレスおよび第２のセンサ１１２が配置される第２の画素アドレスの両方を含むセンサアレイの全画素で検出されたイベントに基づいて（つまり、解像度を下げることなく）被写体の動きを特定することができる。

【0029】

なお、上記のような同時化処理は必ずしも実行されなくてもよく、例えば、第１のセンサ１１１が生成する第１のイベント信号に基づいて、第１のセンサ１１１が配置される第１の画素アドレスで検出されたイベントのみに基づいて被写体の動きを特定してもよい。この場合、第２の画素アドレスで検出されたイベントが用いられない分だけ解像度は低下するが、例えば線形補間などの公知の補間の手法によって解像度の低下を補うことができる。また、高い解像度が必要とされない場合は、同時化処理や補間処理を行わず、第１の画素アドレスで取得されたイベント信号のみを被写体の動きの特定に用いてもよい。あるいは、第１のセンサ１１１および第２のセンサ１１２の配列パターンにおいて、第１のセンサ１１１を第２のセンサ１１２よりも多く配置することによって、必要最低限の解像度で階調を算出しつつ、被写体の動きを特定するための解像度を維持してもよい。

【0030】

図５は、本発明の第１の実施形態における処理の例を示すフローチャートである。図示された例では、まず、センサモジュール１００の第１のセンサ１１１が輝度変動イベントに対して第１のイベント信号を生成する（ステップＳ１０１）。その時刻からわずかに遅れて、第２のセンサ１１２が同じ輝度変動イベントに対して第２のイベント信号を生成する（ステップＳ１０２）。上述のように、このような第１のイベント信号と第２のイベント信号との間の時間差は、検出された輝度変動量が第１のセンサ１１１と、より感度が低い第２のセンサ１１２との間で異なることによって生じる。

【0031】

次に、画像処理装置２００Ａにおいて、時刻差分取得部２１０Ａが、第１のセンサ１１１および第２のセンサ１１２がそれぞれ第１のイベント信号および第２のイベント信号を生成した時刻の差分を示す情報を取得する（ステップＳ１０３）。具体的には、時刻差分取得部２１０Ａは、信号処理回路１２０によって生成された第１のイベント信号および第２のイベント信号のタイムスタンプに基づいて、第１のセンサおよび第２のセンサが同じ輝度変動イベントに対してそれぞれイベント信号を生成した（上記のステップＳ１０１，Ｓ１０２）時刻の差分を示す情報を取得する。

【0032】

さらに、階調算出部２２０Ａが、時刻差分取得部２１０Ａが取得した時刻の差分を示す情報に基づいて、輝度変動イベントを発生させた被写体の階調を算出する（ステップＳ１０４）。上記図１を参照して説明したように、このとき階調算出部２２０Ａは、画像処理装置２００Ａのメモリに格納された時間差－階調テーブル２２１を参照してもよい。図示された例では算出された階調とイベント信号とを用いて画像生成部２３０が被写体の画像を生成しているが（ステップＳ１０５）、上述のように算出された階調は画像生成とともに、または画像生成の代わりに他の処理に利用されてもよい。

【0033】

図６は、本発明の第１の実施形態におけるセンサ配置の他の例を示す図である。図示された例において、センサモジュール１００のセンサアレイは所定のパターンで平面的に配列された第１のセンサ１１１、第２のセンサ１１２、第３のセンサ１１３および第４のセンサ１１４を含む。上記で図１を参照して説明した例と同様の第１のセンサ１１１および第２のセンサ１１２に加えて、第３のセンサ１１３は、第１および第２の画素アドレスの少なくともいずれかに隣接する第３の画素アドレスにおける光量の変動を第２の感度よりも低い第３の感度で検出する。第４のセンサ１１４は、第１から第３の画素アドレスの少なくともいずれかに隣接する第４の画素アドレスにおける光量の変動を第３の感度よりも低い第４の感度で検出する。信号処理回路１２０（図示せず）は、第１から第４のセンサ１１１～１１４がそれぞれ生成したイベント信号のタイムスタンプを生成する。

【0034】

上記の例において、例えば、第２のセンサ１１２の感度（第２の感度）、第３のセンサ１１３の感度（第３の感度）、および第４のセンサ１１４の感度（第４の感度）は、それぞれ第１のセンサ１１１の感度（第１の感度）のｐ_２倍、ｐ_３倍、およびｐ_４倍である（１＞ｐ_２＞ｐ_３＞ｐ_４＞０）。具体的には、ｐ_２＝０．７５、ｐ_３＝０．５、ｐ_４＝０．２５としてもよい。このような第１から第４のセンサ１１１～１１４は、例えば、センサアレイに重畳され、第２から第４のセンサ１１２～１１４に入射する光量を低減させるフィルタ１１６（例えばグレーフィルタ、または絞り）を配置することによって実現できる。上記の例の場合、フィルタ１１６は、第２のセンサ１１２に入射する光量の２５％を遮断し、第３のセンサ１１３に入射する光量の５０％を遮断し、第４のセンサ１１４に入射する光量の７５％を遮断する。

【0035】

上記の場合、第２のセンサ１１２、第３のセンサ１１３および第４のセンサ１１４で検出されるイベントの輝度変化は、それぞれ第１のセンサ１１１で検出されるイベントの輝度変化の７５％、５０％および２５％になり、第１から第４のセンサ１１１～１１４でそれぞれ生成された第１から第４のイベント信号の遅延時間ｄ_１～ｄ_４の差分（ｄ_４－ｄ_１）、（ｄ_３－ｄ_１）および（ｄ_２－ｄ_１）は、それぞれ被写体の階調の７５％、５０％および２５％に相当する。

【0036】

このように、本実施形態において、センサアレイに配列されるセンサの感度を２よりも多い段階で設定した場合、例えば上記の式１のような条件式を複数設定することができるため、被写体の階調を示す関数ｇ（ｄ）がどのようなものであっても、条件を満たす遅延時間ｄ_１を正確に探索することができる。あるいは、それぞれのセンサの感度の低下量に生じる誤差（例えば、第２のセンサ１１２の感度が第１のセンサ１１１の感度の正確に０．５倍ではない可能性）を考慮し、第１のイベント信号と第２のイベント信号との時間差から算出される階調、第１のイベント信号と第３のイベント信号との時間差から算出される階調、および第１のイベント信号と第４のイベント信号との時間差から算出される階調を平均することによって階調の算出結果を安定させてもよい。

【0037】

以上で説明した本発明の第１の実施形態では、光量の変動を検出する感度が異なるセンサを隣接する画素アドレスに配置し、それぞれのセンサで生成されたイベント信号の時間差から被写体の階調を算出する。これによって、イベント駆動型センサ（ＥＤＳ）の高速性を損なうことなく被写体の階調を検出することができる。また、本実施形態では、感度が異なるセンサがセンサアレイ内で平面的に隣接して配置されるため、例えば感度が均一な通常のＥＤＳにグレーフィルタなどのフィルタを組み合わせることによって容易に階調の検出を実現することができる。

【0038】

（第２の実施形態）
図７は、本発明の第２の実施形態に係るシステムの概略的な構成を示す図である。図示された例において、センサシステム１０Ｂは、センサモジュール３００と、画像処理装置２００Ａとを含む。センサモジュール３００は、画素ごとに配置された積層型のセンサ３１０を含むセンサアレイと、信号処理回路３２０（イベント信号処理部）とを含む。なお、画像処理装置２００Ａの構成は、上記の第１の実施形態と同様であるため重複した説明は省略する。以下、各部についてさらに説明する。

【0039】

積層型のセンサ３１０では、第１のセンサを構成する透過型の第１の受光層３１１と、第２のセンサを構成する第２の受光層３１２とが積層され、第１の受光層３１１が光の入射側、すなわち被写体に近い側に配置される。被写体からの光は、第１の受光層３１１を透過して第２の受光層３１２にも入射する。第１の受光層３１１は、センサ３１０が配置された画素アドレスにおける光量の変動を第１の感度で検出し、第２の受光層３１２は同じ画素アドレスにおける光量の変動を第１の感度よりも低い第２の感度で検出する。本実施形態において、第１の受光層３１１によって構成される第１のセンサが配置される第１の画素アドレスと、第２の受光層３１２によって構成される第２のセンサが配置される第２の画素アドレスとは重複している。

【0040】

具体的には、例えば、第２の受光層３１２の感度（第２の感度）は、第１の受光層３１１の感度（第１の感度）のｐ倍（１＞ｐ＞０）である。このような積層型のセンサ３１０は、例えば、第１の受光層３１１の量子効率をｐ_１とし（１＞ｐ_１＞０）、第２の受光層３１２の量子効率をｐ_２とする（（１－ｐ_１）＞ｐ_２＞０）ことによって実現できる。この場合、第２の受光層３１２の感度は、第１の受光層３１１の感度のｐ_２／ｐ_１倍になる（ｐ＝ｐ_２／ｐ_１）。なお、量子効率は、光子１個あたり何％の確率で検出できるかを示す指標を意味する。後述する例のように、ＥＤＳ３１０は２層を超える積層構造を有してもよい。

【0041】

信号処理回路３２０は、メモリおよびプロセッサを含み、プロセッサがメモリに格納されたプログラムに従って動作することによって第１の受光層３１１によって構成される第１のセンサが生成した第１のイベント信号、および第２の受光層３１２によって構成される第２のセンサが生成した第２のイベント信号を処理する。具体的には、信号処理回路３２０は、第１のイベント信号および第２のイベント信号のそれぞれのタイムスタンプを生成する。タイムスタンプは、第１の受光層３１１によって構成される第１のセンサおよびと第２の受光層３１２によって構成される第２のセンサが輝度変動イベントに対してそれぞれイベント信号を生成した時刻の差分を示す情報の例である。

【0042】

上記のように、同じ画素アドレスに配置された第１のセンサおよび第２のセンサが輝度変動イベントに対してそれぞれイベント信号を生成した時刻の差分を示す情報が得られることによって、本実施形態でも、上記の第１の実施形態と同様に画像処理装置２００Ａにおいて輝度変動イベントを発生させた被写体の階調を算出することができる。なお、本実施形態では、センサアレイの全画素で第１のイベント信号および第２のイベント信号の両方が生成可能であるため、例えば画像生成部２３０がイベント信号を用いて被写体の画像を生成するときに、第１のイベント信号と第２のイベント信号とを同時化する処理は行われなくてもよい。画像生成部２３０は、第１のイベント信号のみを用いて被写体の動きを特定してもよい。

【0043】

図８は、本発明の第２の実施形態におけるセンサ配置の他の例を示す図である。図示された例において、積層型のセンサ３１０では、光の入射側から順に第１の受光層３１１、第２の受光層３１２、第３の受光層３１３および第４の受光層３１４が積層される。第１から第３の受光層３１１～３１３は透過型であり、被写体からの光は第１の受光層３１１、第２の受光層３１２および第３の受光層３１３を透過して第４の受光層３１４まで入射する。上記で図７を参照して説明した例と同様の第１の受光層３１１および第２の受光層３１２に加えて、第３の受光層３１３は、センサ３１０が配置された画素アドレスにおける光量の変動を第２の感度よりも低い第３の感度で検出し、第３のセンサを構成する。第４の受光層３１４は、同じ画素アドレスにおける光量の変動を第３の感度よりも低い第４の感度で検出し、第４のセンサを構成する。信号処理回路１２０は、第１から第４の受光層３１１～３１４によって構成されるセンサがそれぞれ生成したイベント信号のタイムスタンプを生成する。

【0044】

上記の例において、例えば、第２の受光層３１２の感度（第２の感度）、第３の受光層３１３の感度（第３の感度）、および第４の受光層３１４の感度（第４の感度）は、それぞれ第１の受光層３１１の感度（第１の感度）のｐ_２倍、ｐ_３倍、およびｐ_４倍である（１＞ｐ_２＞ｐ_３＞ｐ_４＞０）。具体的には、ｐ_２＝０．５、ｐ_３＝０．２５、ｐ_４＝０．１２５としてもよい。このようなＥＤＳ３１０は、例えば、第１の受光層３１１の量子効率を４０％、第２の受光層３１２の量子効率を２０％、第３の受光層３１３の量子効率を１０％、第４の受光層３１４の量子効率を５％とすることによって実現できる。

【0045】

上記の場合、第２の受光層３１２、第３の受光層３１３および第４の受光層３１４で検出されるイベントの輝度変化は、それぞれ第１の受光層３１１で検出されるイベントの輝度変化の５０％、２５％および１２．５％になり、第１から第４の受光層３１１～３１４でそれぞれ生成された第１から第４のイベント信号の遅延時間ｄ_１～ｄ_４の差分（ｄ_４－ｄ_１）、（ｄ_３－ｄ_１）および（ｄ_２－ｄ_１）は、それぞれ被写体の階調の５０％、２５％および１２．５％に相当する。これによって、上記で図６を参照して説明した例と同様に、例えば条件を満たす遅延時間を正確に探索したり、階調の算出結果を安定させたりすることができる。

【0046】

以上で説明した本発明の第２の実施形態では、光量の変動を検出する感度が異なる受光層を同じ画素アドレスに積層し、それぞれの受光層で生成されたイベント信号の時間差から被写体の階調を算出する。これによって、第１の実施形態と同様に、イベント駆動型センサ（ＥＤＳ）の高速性を損なうことなく被写体の階調を検出することができる。また、本実施形態では、感度の異なるセンサが同じ画素アドレスに積層されるため、解像度を下げることなく被写体の階調を算出することができる。

【0047】

（第３の実施形態）
図９は、本発明の第３の実施形態に係るシステムの概略的な構成を示す図である。図９に示された例は、上記で図８を参照して説明した例の変形例として説明される。つまり、本実施形態において、センサシステム１０Ｃは、４層の積層構造を有するセンサ３１０を含むセンサモジュール３００と、画像処理装置２００Ｃとを含む。センサモジュール３００は、上記の第２の実施形態と同様に積層型のセンサ３１０を含むセンサアレイと、信号処理回路３２０とを含む。画像処理装置２００Ｃは、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現されるイベント信号関連付け部２１０Ｃおよび階調判定部２２０Ｃの機能部分を含む。画像処理装置２００Ｃは、さらに、画像生成部２３０の機能部分を含んでもよい。以下、画像処理装置２００Ｃの各部についてさらに説明する。

【0048】

イベント信号関連付け部２１０Ｃは、信号処理回路３２０から入力される第１のイベント信号に、第２から第４のイベント信号を関連付ける。ここで、第１のイベント信号は、第１の受光層３１１によって構成される第１のセンサが輝度変動イベントに対して生成したものである。第１のイベント信号に関連付けられる第２から第４のイベント信号は、第２から第４の受光層３１２～３１４によって構成される第２から第４のセンサが、第１のセンサと同じ輝度変動イベントに対して生成したものである。

【0049】

なお、上記で図２Ａ、図２Ｂおよび図３を参照して説明したように、センサの感度が異なるとイベントの発生からイベント信号の生成までの遅延時間が異なる。従って、第２から第４のイベント信号は、第１のイベント信号と同じ輝度変動イベントに対応するものであっても、第１のイベント信号よりも遅れて生成される。イベント信号関連付け部２１０Ｃは、例えばそれぞれのイベント信号の順序およびタイムスタンプの間隔に基づいて、イベント信号の関連付けを実行する。

【0050】

具体的には、イベント信号関連付け部２１０Ｃは、第２のイベント信号が第１のイベント信号の後に生成され、かつ第１のイベント信号と第２のイベント信号とのタイムスタンプの間隔が所定の範囲内の場合に、第２のイベント信号を第１のイベント信号に関連付ける。そのような第２のイベント信号がない場合、イベント信号関連付け部２１０Ｃは第１のイベント信号に第２のイベント信号を関連付けない。同様に、イベント信号関連付け部２１０Ｃは、第３のイベント信号が第２のイベント信号の後に生成され、かつ第２のイベント信号と第３のイベント信号とのタイムスタンプの間隔が所定の範囲内の場合に、第３のイベント信号を第１のイベント信号に関連付ける。そのような第３のイベント信号がない場合、および第１のイベント信号に第２のイベント信号が関連付けられていない場合、イベント信号関連付け部２１０Ｃは第１のイベント信号に第３のイベント信号を関連付けない。

【0051】

階調判定部２２０Ｃは、イベント信号関連付け部２１０Ｃにおけるイベント信号の関連付けの結果に応じて被写体の階調を判定する。図８を参照して説明したように、積層型のセンサ３１０の第１から第４の受光層３１１～３１４は、光量の変動に対する感度が段階的に低下するように構成されるため、輝度変動イベントを発生させた被写体の階調が低い場合には、感度が相対的に低い受光層において光量の変動量が閾値を超えず、その受光層によって構成されるセンサはイベント信号を生成しない。具体的には、イベントの輝度変化が最も大きい場合、第１の受光層３１１がイベント信号を生成したときには第２から第４の受光層３１２～３１４もイベント信号が生成するが、輝度変化が小さくなるにつれて、まず感度が最も低い第４の受光層３１４がイベント信号を生成しなくなり、さらに輝度変化が小さくなると第３の受光層３１３もイベント信号を生成しなくなり、検出可能な最も小さい輝度変化の場合には第２の受光層３１２もイベント信号を生成せず、第１の受光層３１１のみがイベント信号を生成する。

【0052】

本実施形態において、階調判定部２２０Ｃは、上記のような被写体の階調と各イベント信号の生成との関係に従って被写体の階調を判定する。具体的には、イベント信号関連付け部２１０Ｃによって第１のイベント信号に関連付けられた第２から第４のイベント信号のすべてが存在する場合に、階調判定部２２０Ｃは被写体の階調が最も高い水準であると判定する。一方、第１のイベント信号に関連付けられた第２および第３のイベント信号は存在するが、第４のイベント信号は存在しない場合、階調判定部２２０Ｃは被写体の階調が２番目の水準であると判定する。第１のイベント信号に関連付けられた第２のイベント信号のみが存在する場合、階調判定部２２０Ｃは被写体の階調が３番目の水準であると判定する。第１のイベント信号に関連付けられたイベント信号がない場合、階調判定部２２０Ｃは被写体の階調が最も低い水準であると判定する。このようにして判定された被写体の階調は、第１の実施形態と同様に、例えば画像生成部２３０による被写体の画像を生成や、イベント信号から認識される被写体に対する処理の選択するために用いられる。

【0053】

図１０は、本発明の第３の実施形態における処理の例を示すフローチャートである。簡単のため、図１０では第１のイベント信号および第２のイベント信号を用いた判定について説明するが、第３のイベント信号および第４のイベント信号を用いた判定についても同様である。図示された例では、まず、センサモジュール３００で第１のセンサを構成する第１の受光層３１１が、輝度変動イベントに対して第１のイベント信号を生成する（ステップＳ２０１）。その時刻からわずかに遅れて、第２のセンサを構成する第２の受光層３１２が、同じ輝度変動イベントに対して第２のイベント信号を生成する（ステップＳ２０２）。なお、感度が相対的に低い第２の受光層３１２で光量の変動量が閾値を超えなかった場合は、第２のイベント信号は生成されない。

【0054】

次に、画像処理装置２００Ｃにおいて、イベント信号関連付け部２１０Ｃが、第１のイベント信号に第２のイベント信号が関連付けられるか否かを判定する（ステップＳ２０３）。具体的には、イベント信号関連付け部２１０Ｃは、タイムスタンプによって示される第１のイベント信号および第２のイベント信号の順序と、タイムスタンプの間隔とに基づいて関連付けの可否を判定する。第１のイベント信号に第２のイベント信号が関連付けられた場合、階調判定部２２０Ｃは被写体の階調が相対的に高い水準であると判定する（ステップＳ２０４）。一方、第１のイベント信号に第２のイベント信号が関連付けられなかった場合、階調判定部２２０Ｃは被写体の階調が相対的に低い水準であると判定する（ステップＳ２０５）。

【0055】

なお、図示された例ではセンサ３１０が第１から第４の受光層３１１～３１４を含む４層の積層構造を有するが、他の例ではセンサ３１０が図７に示された例と同様に２層の積層構造を有してもよく、３層、または４層を超える積層構造を有してもよい。また、他の例において、センサモジュールは、上記で図１および図６を参照して説明したような、異なる感度のセンサが所定のパターンで平面的に配列されたセンサアレイを含んでもよい。

【0056】

以上で説明した本発明の第３の実施形態では、光量の変動を検出する感度が異なる受光層を同じ画素アドレスに積層し、どの受光層までがイベント信号を生成したかによって被写体の階調を判定する。これによって、第１の実施形態と同様に、イベント駆動型センサ（ＥＤＳ）の高速性を損なうことなく被写体の階調を検出することができる。本実施形態では、被写体の階調が受光層の感度の数と同じ段階でしか検出されないが、被写体の階調とＥＤＳの遅延時間との関係を予め測定する必要がないため簡便であり、また単純な判定によって安定的に被写体の階調を特定することができる。

【0057】

本発明の実施形態は、例えばゲームコントローラ、スマートフォン、各種の移動体（自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットなど）で周辺環境の情報を取得したり、周辺の被写体の位置から自己位置を推定したり、飛来する被写体を検出して回避行動をとったりするために利用することができる。被写体の階調は、例えば上記のような用途において被写体を同定したり、被写体を識別したりするために有用でありうる。

【0058】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範囲内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0059】

１０Ａ，１０Ｂ，１０Ｃ…センサシステム、１００…センサモジュール、１１１…第１のセンサ、１１２…第２のセンサ、１１３…第３のセンサ、１１４…第４のセンサ、１１５，１１６…フィルタ、１２０…信号処理回路、２００Ａ，２００Ｃ…画像処理装置、２１０Ａ…時刻差分取得部、２１０Ｃ…イベント信号関連付け部、２２０Ａ…階調算出部、２２０Ｃ…階調判定部、２３０…画像生成部、２４０…遅延時間算出部、３００…センサモジュール、３１０…センサ、３１１…第１の受光層、３１２…第２の受光層、３１３…第３の受光層、３１４…第４の受光層、３２０…信号処理回路。

【図1】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】