(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024163483
(43)【公開日】2024-11-22
(54)【発明の名称】光検出装置、および光検出方法、並びにプログラム
(51)【国際特許分類】
H04N 25/707 20230101AFI20241115BHJP
【ＦＩ】
H04N25/707
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023079115
(22)【出願日】2023-05-12
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】衣川 洋史
(72)【発明者】
【氏名】松浦 幸治
(72)【発明者】
【氏名】仁科 有貴
【テーマコード（参考）】
5C024
【Ｆターム（参考）】
5C024CX03
5C024EX52
5C024GX02
(57)【要約】
【課題】イベント信号検出センサにより生じるレイテンシを低減できるようにする。
【解決手段】２次元平面に複数に配置され、光電変換を行って電気信号を生成するイベント検出画素において検出される、前記電気信号の変化であるイベントの発生を表すイベントデータを出力するイベント信号検出センサの近傍に設けるCMOSイメージセンサにより検出される諧調信号に基づいて、イベント検出画素の受光量を算出し、イベント検出画素の受光量に基づいて、イベントデータのレイテンシに係る情報を補正する。HybridEVSセンサに適用することができる。
【選択図】図１０
【解決手段】２次元平面に複数に配置され、光電変換を行って電気信号を生成するイベント検出画素において検出される、前記電気信号の変化であるイベントの発生を表すイベントデータを出力するイベント信号検出センサの近傍に設けるCMOSイメージセンサにより検出される諧調信号に基づいて、イベント検出画素の受光量を算出し、イベント検出画素の受光量に基づいて、イベントデータのレイテンシに係る情報を補正する。HybridEVSセンサに適用することができる。
【選択図】図１０
【特許請求の範囲】
【請求項1】
２次元平面に複数に配置され、光電変換を行って電気信号を生成するイベント検出画素において検出される、前記電気信号の変化であるイベントの発生を表すイベントデータを出力するイベント検出部と、
前記イベント検出画素の受光量を算出する受光量算出部と、
前記受光量算出部により算出された前記イベント検出画素の前記受光量に基づいて、前記イベントデータにおける、レイテンシに係る情報を補正するレイテンシ補正部と
を備えた光検出装置。
前記イベント検出画素の受光量を算出する受光量算出部と、
前記受光量算出部により算出された前記イベント検出画素の前記受光量に基づいて、前記イベントデータにおける、レイテンシに係る情報を補正するレイテンシ補正部と
を備えた光検出装置。
【請求項2】
前記レイテンシ補正部は、前記受光量と、前記レイテンシとの関係が登録されたテーブルを有し、前記受光量算出部により算出された前記受光量と対応する前記レイテンシを前記テーブルより読み出して、読み出した前記レイテンシからなるレイテンシ補正量だけ前記イベントデータを補正する
請求項１に記載の光検出装置。
請求項１に記載の光検出装置。
【請求項3】
前記イベントデータは、前記イベント検出部において前記イベントが検出された時刻情報を含み、
前記レイテンシ補正部は、前記受光量と対応する前記レイテンシ補正量だけ前記イベントデータの前記時刻情報を補正する
請求項２に記載の光検出装置。
前記レイテンシ補正部は、前記受光量と対応する前記レイテンシ補正量だけ前記イベントデータの前記時刻情報を補正する
請求項２に記載の光検出装置。
【請求項4】
前記イベントデータは、前記イベント検出部の前記イベント検出画素のそれぞれの画素位置を表す座標情報をさらに含み、
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの座標情報と対応付けて、前記受光量と対応する前記レイテンシ補正量だけ前記イベントデータの前記時刻情報を補正する
請求項３に記載の光検出装置。
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの座標情報と対応付けて、前記受光量と対応する前記レイテンシ補正量だけ前記イベントデータの前記時刻情報を補正する
請求項３に記載の光検出装置。
【請求項5】
前記イベントデータは、前記イベント検出部の前記イベント検出画素のそれぞれの画素位置を表す座標情報をさらに含み、
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの座標情報と対応付けて、前記受光量と対応する前記レイテンシ補正量だけ前記時刻情報を補正した補正後時刻情報を追加する、または、前記レイテンシ補正量を追加することで、前記イベントデータを補正する
請求項３に記載の光検出装置。
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの座標情報と対応付けて、前記受光量と対応する前記レイテンシ補正量だけ前記時刻情報を補正した補正後時刻情報を追加する、または、前記レイテンシ補正量を追加することで、前記イベントデータを補正する
請求項３に記載の光検出装置。
【請求項6】
前記イベントデータは、前記イベントが、前記イベント検出部において検出される前記電気信号の正方向へと変化するプラスイベントであるか、または、負方向へと変化するマイナスイベントであるかを示す前記イベントの種別の情報をさらに含み、
前記テーブルには、前記イベントの種別の情報毎の、前記受光量と、前記レイテンシとの関係が登録されており、
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの座標位置と対応付けて、前記イベントの種別に応じて、前記受光量と対応する前記レイテンシ補正量だけ前記時刻情報を補正した補正後時刻情報を追加する、または、前記レイテンシ補正量を追加することで、前記イベントデータを補正する
請求項３に記載の光検出装置。
前記テーブルには、前記イベントの種別の情報毎の、前記受光量と、前記レイテンシとの関係が登録されており、
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの座標位置と対応付けて、前記イベントの種別に応じて、前記受光量と対応する前記レイテンシ補正量だけ前記時刻情報を補正した補正後時刻情報を追加する、または、前記レイテンシ補正量を追加することで、前記イベントデータを補正する
請求項３に記載の光検出装置。
【請求項7】
前記イベント検出画素が２次元平面に配置されることで構成される撮像面の近傍において可視光の前記受光量を検出し、検出した前記受光量と対応する出力信号を出力する可視光検出部をさらに含み、
前記受光量算出部は、前記出力信号に基づいて、前記イベント検出画素の前記受光量を算出する
請求項１に記載の光検出装置。
前記受光量算出部は、前記出力信号に基づいて、前記イベント検出画素の前記受光量を算出する
請求項１に記載の光検出装置。
【請求項8】
前記可視光検出部は、前記イベント検出画素が２次元平面に配置されることで構成される撮像面の近傍の１点における可視光の前記受光量を検出し、対応する前記出力信号として出力し、
前記受光量算出部は、前記出力信号に基づいて、全ての前記イベント検出画素の前記受光量が同一の受光量であるものとして算出し、
前記レイテンシ補正部は、全ての前記イベント検出画素の前記イベントデータを、同一の前記受光量と対応するレイテンシ補正量だけ補正する
請求項７に記載の光検出装置。
前記受光量算出部は、前記出力信号に基づいて、全ての前記イベント検出画素の前記受光量が同一の受光量であるものとして算出し、
前記レイテンシ補正部は、全ての前記イベント検出画素の前記イベントデータを、同一の前記受光量と対応するレイテンシ補正量だけ補正する
請求項７に記載の光検出装置。
【請求項9】
前記イベント検出画素が２次元平面に配置されることで構成される撮像面の近傍において、入射光の光量に応じた諧調信号を検出して出力する、２次元平面に配置された複数の撮像画素からなる諧調信号検出部をさらに含み、
前記受光量算出部は、前記撮像画素毎の前記諧調信号に基づいて、前記イベント検出画素毎の前記受光量を算出する
請求項１に記載の光検出装置。
前記受光量算出部は、前記撮像画素毎の前記諧調信号に基づいて、前記イベント検出画素毎の前記受光量を算出する
請求項１に記載の光検出装置。
【請求項10】
前記受光量算出部は、前記撮像画素毎に前記受光量を算出し、前記撮像画素の位置と対応する位置の前記イベント検出画素の前記受光量として当てはめ、
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの前記イベントデータを、前記イベント検出画素毎に当てはめられた前記受光量と対応するレイテンシ補正量だけ補正する
請求項９に記載の光検出装置。
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの前記イベントデータを、前記イベント検出画素毎に当てはめられた前記受光量と対応するレイテンシ補正量だけ補正する
請求項９に記載の光検出装置。
【請求項11】
前記受光量算出部は、所定のスペクトルと、前記諧調信号とに基づいて、前記イベント検出画素の前記受光量を算出する
請求項１０に記載の光検出装置。
請求項１０に記載の光検出装置。
【請求項12】
前記所定のスペクトルは、前記諧調信号から推定されるスペクトルである
請求項１１に記載の光検出装置。
請求項１１に記載の光検出装置。
【請求項13】
前記諧調信号検出部を構成する複数の前記撮像画素には、透過する前記入射光を、複数の波長帯域にフィルタリングする複数のフィルタが、前記撮像画素毎に所定の配列でそれぞれの前段に設けられており、前記受光量算出部は、前記諧調信号に基づいた、前記複数のフィルタ毎の前記受光量の比からスペクトルを推定し、推定したスペクトルと、前記諧調信号とに基づいて、前記イベント検出画素の前記受光量を算出する
請求項１２に記載の光検出装置。
請求項１２に記載の光検出装置。
【請求項14】
前記受光量算出部は、前記撮像画素毎に前記受光量を算出し、前記撮像画素の位置と対応する位置の前記イベント検出画素の前記受光量として当てはめ、
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの前記イベントデータに、前記イベント検出画素毎に当てはめられた前記受光量を追加することで補正する
請求項９に記載の光検出装置。
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの前記イベントデータに、前記イベント検出画素毎に当てはめられた前記受光量を追加することで補正する
請求項９に記載の光検出装置。
【請求項15】
前記イベント検出画素と、前記撮像画素とが同一の２次元平面上に配置され、前記イベント検出部、および前記諧調信号検出部が一体化した構成とされる
請求項９に記載の光検出装置。
請求項９に記載の光検出装置。
【請求項16】
前記イベント検出部、および前記諧調信号検出部に加えて、前記受光量算出部が一体化した構成とされる
請求項１５に記載の光検出装置。
請求項１５に記載の光検出装置。
【請求項17】
前記イベント検出部、前記諧調信号検出部、および前記受光量算出部に加えて、前記レイテンシ補正部が一体化した構成とされる
請求項１６に記載の光検出装置。
請求項１６に記載の光検出装置。
【請求項18】
前記レイテンシ補正部は、前記受光量算出部により算出された前記イベント検出画素の前記受光量に基づいて、後段に出力する時系列の所定数の前記イベントデータからなるイベントデータ群を、前記レイテンシに相当するイベントデータ数だけシフトして出力することにより、前記イベントデータの前記レイテンシに係る情報を補正する
請求項１に記載の光検出装置。
請求項１に記載の光検出装置。
【請求項19】
２次元平面に複数に配置され、光電変換を行って電気信号を生成するイベント検出画素において検出される、前記電気信号の変化であるイベントの発生を表すイベントデータを出力し、
前記イベント検出画素の受光量を算出し、
算出された前記イベント検出画素の前記受光量に基づいて、前記イベントデータにおける、レイテンシに係る情報を補正する
ステップを含む光検出方法。
前記イベント検出画素の受光量を算出し、
算出された前記イベント検出画素の前記受光量に基づいて、前記イベントデータにおける、レイテンシに係る情報を補正する
ステップを含む光検出方法。
【請求項20】
２次元平面に複数に配置され、光電変換を行って電気信号を生成するイベント検出画素において検出される、前記電気信号の変化であるイベントの発生を表すイベントデータを出力するイベント検出部と、
前記イベント検出画素の受光量を算出する受光量算出部と、
前記受光量算出部により算出された前記イベント検出画素の前記受光量に基づいて、前記イベントデータにおける、レイテンシに係る情報を補正するレイテンシ補正部と
してコンピュータを機能させるプログラム。
前記イベント検出画素の受光量を算出する受光量算出部と、
前記受光量算出部により算出された前記イベント検出画素の前記受光量に基づいて、前記イベントデータにおける、レイテンシに係る情報を補正するレイテンシ補正部と
してコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、光検出装置、および光検出方法、並びにプログラムに関し、特に、イベント信号検出センサにより生じるレイテンシを低減できるようにした光検出装置、および光検出方法、並びにプログラムに関する。
【背景技術】
【0002】
画素の単位時間当たりの受光量の変化と所定の閾値との比較結果からイベントを検出し、イベントデータとして出力するイベント信号検出センサが提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１３６９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、イベント信号検出センサは、「転送レートの制約」や「画素の単位時間当たりの受光量に依存する回路の反応遅れ」により、取り出したイベントデータに記録されたイベントの発生時刻が、実際の事象が発生した時刻に対して遅れる、いわゆるレイテンシが生じることが知られている。
【0005】
レイテンシのうち、転送レートの制約に起因して生じるレイテンシについては、転送するデータ量自体を少なくすることで低減することができるが、それ以外のレイテンシは低減できていないのが実情である。
【0006】
本開示は、このような状況に鑑みてなされたものであり、特に、イベント信号検出センサにおけるレイテンシを低減するものである。
【課題を解決するための手段】
【0007】
本開示の一側面の光検出装置、およびプログラムは、２次元平面に複数に配置され、光電変換を行って電気信号を生成するイベント検出画素において検出される、前記電気信号の変化であるイベントの発生を表すイベントデータを出力するイベント検出部と、前記イベント検出画素の受光量を算出する受光量算出部と、前記受光量算出部により算出された前記イベント検出画素の前記受光量に基づいて、前記イベントデータにおける、レイテンシに係る情報を補正するレイテンシ補正部とを備えた光検出装置、およびプログラムである。
【0008】
本開示の一側面の光検出方法は、２次元平面に複数に配置され、光電変換を行って電気信号を生成するイベント検出画素において検出される、前記電気信号の変化であるイベントの発生を表すイベントデータを出力し、前記イベント検出画素の受光量を算出し、算出された前記イベント検出画素の前記受光量に基づいて、前記イベントデータにおける、レイテンシに係る情報を補正するステップを含む光検出方法である。
【0009】
本開示の一側面においては、２次元平面に複数に配置され、光電変換を行って電気信号を生成するイベント検出画素において検出される、前記電気信号の変化であるイベントの発生を表すイベントデータが出力され、前記イベント検出画素の受光量が算出され、算出された前記イベント検出画素の前記受光量に基づいて、前記イベントデータにおける、レイテンシに係る情報が補正される。
【図面の簡単な説明】
【0010】
【図1】イベント信号検出センサを有する信号処理装置の構成例を説明する図である。
【図3】イベントの検出を説明する図である。
【図4】レイテンシの発生原理を説明する図である。
【図5】受光量に応じて変化するレイテンシを説明する図である。
【図6】受光量の多い画像におけるレイテンシと受光量が少ない画像におけるレイテンシとの比較を説明する図である。
【図7】本開示の第１の実施の形態の信号処理装置の構成例を説明する図である。
【図8】可視光センサとイベント信号検出センサの前段のレンズの光軸との位置関係を説明する図である。
【図9】受光量と対応するレイテンシとのテーブルを説明する図である。
【図11】本開示の第２の実施の形態の信号処理装置の構成例を説明する図である。
【図12】CMOSイメージセンサの前段の集光レンズとイベント信号検出センサの前段の集光レンズとの光軸の位置関係を説明する図である。
【図13】CMOSイメージセンサの受光量を対応するイベント信号検出センサ上の画素の受光量に当てはめる例を説明する図である。
【図14】CMOSイメージセンサのRGB画素の受光量の比でスペクトルを推定する例を説明する図である。
【図15】オリジナルのイベントデータとレイテンシ補正量に応じて時刻情報であるタイムスタンプが補正されたイベントデータとを説明する図である。
【図16】オリジナルのイベントデータとレイテンシ補正量に応じた補正後の時刻情報が付加されたイベントデータとを説明する図である。
【図18】オリジナルのイベントデータと受光量の情報が付加されたイベントデータとを説明する図である。
【図19】本開示の第３の実施の形態の信号処理装置の構成例を説明する図である。
【図21】CMOSイメージセンサとHybridEVSセンサとを説明する図である。
【図22】HybridEVSセンサと集光レンズの光軸との関係を説明する図である。
【図23】本開示の第４の実施の形態のHybridEVSセンサを用いた信号処理装置の第１の構成例を説明する図である。
【図24】本開示の第４の実施の形態のHybridEVSセンサを用いた信号処理装置の第２の構成例を説明する図である。
【図25】本開示の第４の実施の形態のHybridEVSセンサを用いた信号処理装置の第３の構成例を説明する図である。
【図26】本開示の第５の実施の形態の信号処理装置の構成例を説明する図である。
【図27】本開示の応用例におけるレイテンシに応じたイベントデータ群のシフト例を説明する図である。
【図28】本開示の変形例を実現する信号処理を説明するフローチャートである。
【図29】レイテンシに応じたイベントデータ群のシフト例の第１の変形例を説明する図である。
【図30】レイテンシに応じたイベントデータ群のシフト例の第２の変形例を説明する図である。
【図31】車両制御システムの概略的な構成の一例を示すブロック図である。
【図32】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【0011】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0012】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
【0013】
１．本開示の概要
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
５．第４の実施の形態
６．第５の実施の形態
７．応用例
８．移動体への応用例
＜＜１．本開示の概要＞＞
＜イベント信号検出センサ＞
本開示は、特に、イベント信号検出センサにおけるレイテンシを低減するものである。
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
５．第４の実施の形態
６．第５の実施の形態
７．応用例
８．移動体への応用例
＜＜１．本開示の概要＞＞
＜イベント信号検出センサ＞
本開示は、特に、イベント信号検出センサにおけるレイテンシを低減するものである。
【0014】
そこで、まず、イベント信号検出センサについて説明する。図１は、イベント信号検出センサを備えた信号処理装置の構成例を示している。
【0015】
図１の信号処理装置１は、イベント信号検出センサ１１、および後段アプリケーション１２より構成される。
【0016】
イベント信号検出センサ１１は、入射光の光電変換を行って電気信号を生成する画素３１を含む複数の画素回路２１が２次元平面上に格子状に配置された、いわゆる画素アレイからなる構成とされる。イベント信号検出センサ１１は、画素３１において、入射光の光電変換を行って電気信号を生成し、電気信号の変化であるイベントの発生を表すイベントデータを生成し、後段アプリケーション１２に出力する。
【0017】
後段アプリケーション１２は、イベント信号検出センサ１１より供給されるイベントデータに基づいて各種の処理を実行するアプリケーションプログラムである。
【0018】
ここで、イベント信号検出センサ１１において、複数の画素回路２１が配置された部分は、全体として、入射光を受光して、光電変換を行う部分であるので、受光部ともいう。
【0019】
【0020】
画素回路２１は、画素３１、およびイベント検出部３２より構成される。
【0021】
画素３１は、光電変換素子としてのPD(Photo Diode)５１を備えている。画素３１は、PD５１において、PD５１に入射する光を受光し、光電変換を行って、電気信号としての光電流(Iph)を生成して流す。
【0022】
イベント検出部３２は、画素３１の光電変換によって生成される光電流に所定の閾値を超える変化（閾値以上の変化を必要に応じて含む）が発生した場合に、その光電流の変化をイベントとして検出する。イベント検出部３２は、イベント（の検出）に対して、イベントデータを出力する。
【0023】
ここで、画素３１で生成される光電流の変化は、画素３１に入射する光の光量変化とも捉えることができるので、イベントは、画素３１の光量変化（閾値を超える光量変化）であるともいうことができる。
【0024】
イベントデータについては、少なくとも、イベントとしての光量変化が発生した画素３１（画素回路２１）の位置を表す位置情報（座標等）を特定することができる。その他、イベントデータについては、光量変化の極性（正負）に応じて、プラスイベントとマイナスイベントとを特定する情報を含む。
【0025】
イベント検出部３２が、イベントを検出したタイミングで出力するイベントデータの系列については、イベントデータどうしの間隔がイベントの発生時のまま維持されている限り、イベントが発生した（相対的な）時刻を表す時刻情報を特定することができる。但し、イベントデータがメモリに記憶されること等により、イベントデータどうしの間隔がイベントの発生時のままには維持されなくなると、時刻情報が失われる。そのため、イベントデータについては、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなる前に、イベントデータに、タイムスタンプ等の、イベントが発生した（相対的な）時刻を表す時刻情報が付加される。イベントデータに時刻情報を付加する処理は、イベントデータ同士の間隔がイベントの発生時のままには維持されなくなる前であれば、イベント検出部３２で行ってもよいし、イベント検出部３２の外部で行ってもよい。
【0026】
イベント検出部３２は、電流電圧変換部４１、差分検出部４２、及び、比較器４３を有する。
【0027】
電流電圧変換部４１は、画素３１からの光電流を、その光電流の対数に対応する電圧（以下、光電圧ともいう）Voに変換し、差分検出部４２に出力する。
【0028】
差分検出部４２は、電流電圧変換部４１からの光電圧Voについて、現在の光電圧と、現在と微小時間だけ異なるタイミングの光電圧との差分を演算し、その差分信号Voutを、比較器４３に出力する。
【0029】
比較器４３は、差分検出部４２が出力する差分信号Voutと、イベントの検出に用いられる所定の閾値（電圧）+Vth及び-Vthとを比較する。比較器４３は、差分信号Voutが閾値+Vth以上である場合、又は、閾値-Vth以下である場合、イベントとしての光量変化が検出された（発生した）として、イベントデータを出力する。
【0030】
例えば、比較器４３は、差分信号Voutが閾値+Vth以上である場合に、正極性のイベントが検出されたとして、プラスイベントのイベントデータを出力する。一方、差分信号Voutが閾値-Vth以下である場合、比較器４３は、負極性のイベントが検出されたとして、マイナスイベントのイベントデータを出力する。
【0031】
＜イベント信号検出センサのレイテンシについて＞
イベント信号検出センサ１１は、上述したように、画素３１の受光量変化をイベントとして検出し、その時の画素の座標、時刻、および、プラスイベントまたはマイナスイベントを示す情報をイベントデータとして出力する。
イベント信号検出センサ１１は、上述したように、画素３１の受光量変化をイベントとして検出し、その時の画素の座標、時刻、および、プラスイベントまたはマイナスイベントを示す情報をイベントデータとして出力する。
【0032】
イベント信号検出センサ１１が、イベントデータを出力する際、イベントが現実に発生したタイミングに対して、レイテンシが生じると、イベントを検出したタイミングに、遅れが生じ、イベントデータの時刻情報が、現実にイベントが発生した時刻に対して遅れた時刻とされる。
【0033】
例えば、図３の左部で示されるように、灰色の背景に対して、白色の物体が存在する領域が、点線で示される領域ＷＺ１から、領域ＷＺ２へと矢印で示されるように、左方向に移動している場合について考える。
【0034】
この場合、白色の物体の領域ＷＺ２の左端部となる境界ＢＺ２においては、図３の中央上部で示されるように、灰色から白色へと変化することで、受光量が立上るように変化することにより、プラスイベントが検出される。
【0035】
一方、白色の物体の領域ＷＺ２の右端部となる境界ＢＺ１においては、図３の右上部で示されるように、白色から灰色へと変化することで、受光量が立下るように変化することにより、マイナスイベントが検出される。
【0036】
境界ＢＺ１において検出されるマイナスイベントと、境界ＢＺ２において検出されるプラスイベントとは、同一の時刻で検出されることになるが、遅延（レイテンシ）が生じることにより、現実にイベントが発生した時刻に対して遅れた時刻の情報がイベントデータに記録される。
【0037】
すなわち、図３における中央上部および右上部で示されるプラスイベントおよびマイナスイベントが、現実には、時刻ｔ１１において発生していたとしても、例えば、所定の遅延時間からなるレイテンシＴＬ１分だけ遅れた時刻ｔ１２がイベントデータの時刻の情報として記録される。
【0038】
この結果、時刻Ｔ１において、図４の最上段で示されるように白色の物体が存在する領域ＷＺ１から、時刻Ｔ２において、図４の上から２段目で示されるような領域ＷＺ２に移動した場合、レイテンシが存在せず、イベントが現実に発生される時刻が適切に反映されるときには、図４の上から３段目で示されるような領域Ｚｅ１において、プラスイベントが検出されることになる。
【0039】
しかしながら、レイテンシの影響を受けることで、現実のイベントが発生した時刻よりも遅れた時刻情報が記録されることにより、プラスイベントが検出される領域が、図４の最下段で示されるように、現実の領域Ｚｅ１に対して、レイテンシＴＬ１に応じた分だけ距離Δｄだけ図中の右方向にずれた、過去の領域Ｚｅ２となってしまう。
【0040】
このため、所定の遅延時間となるレイテンシＴ１分だけ、イベントデータの時刻情報を減算することで補正することが考えられる。
【0041】
しかしながら、レイテンシは、受光量が多い程短く、逆に、受光量が少ない程長くなることが知られており、レイテンシによる遅延時間を、特定の遅延時間として時刻情報から減算すると必ずしも適切に補正することはできない。
【0042】
すなわち、例えば、図３における場合と比較して、受光量が多い状態においてプラスイベントが発生した場合、図５の左部で示されるように、プラスイベントが現実には時刻ｔ３１において発生するとき、イベントデータの時刻情報は、時刻ｔ３１に対してレイテンシＴＬ１よりも短い、レイテンシＴＬ１１だけ遅延した時刻ｔ３２とされる。
【0043】
これに対して、例えば、図３における場合と比較して、受光量が少ない状態においてプラスイベントが発生した場合、図５の右部で示されるように、プラスイベントが現実には時刻ｔ４１において発生するとき、イベントデータの時刻情報は、時刻ｔ４１に対して、レイテンシＴＬ１よりも長いレイテンシＴＬ１２だけ遅延した時刻ｔ４２とされる。
【0044】
従って、例えば、図６の左上部で示されるように、受光量が比較的高い、薄い灰色で表現される背景領域ＬＧ１上において、背景領域ＬＧ１よりも薄い灰色の前景領域ＬＧ２が移動する場合に発生するレイテンシＬＬは、図６の右上部で示されるように、受光量が比較的低い、濃い灰色で表現される背景領域ＤＧ１上において、背景領域ＤＧ１よりも薄い灰色の前景領域ＤＧ２が移動する場合に発生するレイテンシＤＬよりも小さい。
【0045】
すなわち、レイテンシの長さは、受光量に応じて変化するため、時刻情報から特定の時間を減算することで、適切にレイテンシによる影響を低減させることはできない。
【0046】
そこで、本開示においては、イベント信号検出センサにおいて検出される受光量を検出し、検出された受光量に対応するレイテンシ分だけイベントデータにおける時刻情報を補正する。
【0047】
これにより、受光量に応じた長さのレイテンシを補正することができ、受光量に応じて適切にレイテンシによる影響が低減される。
【0048】
結果として、例えば、図４においてプラスイベントが検出される領域が、領域Ｚａ２から領域Ｚａ１へと近づけるような補正を実現することが可能となり、レイテンシによる影響を受光量に応じて適切に低減することが可能となる。
【0049】
＜＜２．第１の実施の形態＞＞
次に、図７を参照して、本開示の信号処理装置の構成例について説明する。図７の信号処理装置１０１は、イベント信号検出センサ１１１、可視光センサ１１２、後段ISP（Image Sensor Processor）/AP（Application Processor）１１３、および後段アプリケーション１１４を備えている。
次に、図７を参照して、本開示の信号処理装置の構成例について説明する。図７の信号処理装置１０１は、イベント信号検出センサ１１１、可視光センサ１１２、後段ISP（Image Sensor Processor）/AP（Application Processor）１１３、および後段アプリケーション１１４を備えている。
【0050】
イベント信号検出センサ１１１は、図１におけるイベント信号検出センサ１１と同一の構成であり、受光量の変化に応じて、プラスイベントまたはマイナスイベントを検出し、検出結果に対応するイベントデータを、後段ISP/AP１１３に出力する。
【0051】
可視光センサ１１２は、イベント信号検出センサ１１１における可視光の受光量を検出するセンサであり、検出した受光量に対応するセンサ出力信号を後段ISP/AP１１３に出力する。
【0052】
より詳細には、図８で示されるように、可視光センサ１１２は、イベント信号検出センサ１１１の前段に設けられる、イベント信号検出センサ１１１への入射光を集光するレンズ１４１の光軸ＡＸ１上ではないが、比較的光軸ＡＸ１の近傍に配置されている。
【0053】
このような配置により、可視光センサ１１２は、イベント信号検出センサ１１１の受光量に近似するものと見做せる受光量を検出し、センサ出力信号として後段ISP/AP１１３に出力する。可視光センサ１１２は、光軸ＡＸ１の近傍における１点の受光量を示すセンサ出力信号を検出するので、センサ出力信号に基づいて算出される受光量は、イベント信号検出センサ１１１に構成される全画素が同一の受光量であるものとして算出される。
【0054】
後段ISP/AP１１３は、ハードウェアからなるプロセッサから構成されており、可視光センサ１１２からのセンサ出力信号に基づいて、イベント信号検出センサ１１１における受光量を算出して、算出した受光量に応じて、イベントデータのレイテンシ補正量を特定する。
【0055】
そして、後段ISP/AP１１３は、特定したレイテンシ補正量で、イベント信号検出センサ１１１からのイベントデータのレイテンシを補正して、補正後のイベントデータを後段アプリケーション１１４に出力する。
【0056】
この際、後段ISP/AP１１３は、可視光センサ１１２より供給されるセンサ出力信号を後段アプリケーション１１４に出力する。
【0057】
より詳細には、後段ISP/AP１１３は、イベント検出画素受光量算出部１２１、およびレイテンシ補正部１２２を備えている。
【0058】
イベント検出画素受光量算出部１２１は、センサ出力信号に基づいて、イベント信号検出センサ１１１を構成するイベント検出画素（図２の画素３１に相当）の単位時間当たりの受光量を算出してレイテンシ補正部１２２に出力する。
【0059】
イベント検出画素受光量算出部１２１は、イベント信号検出センサ１１１を構成するイベント検出画素の単位時間当たりの受光量として、例えば、イベント信号検出センサ１１１を構成するイベント検出画素1画素に入射する時間当たりの光子数、放射照度[W/m2]、または、照度[Lux]を、センサ出力信号に基づいて算出する。
【0060】
尚、図７，図８においては、可視光センサ１１２が、イベント信号検出センサ１個に対して１個設けられる例が示されているが、イベント信号検出センサ１個に対して複数に設けられるような構成でもよい。イベント信号検出センサ１個に対して可視光センサ１１２が複数に設けられる場合については、複数の可視光センサ１１２のそれぞれとイベント信号検出センサ１１１との位置関係から補間を用いて各画素に対する受光量が算出されてもよい。
【0061】
レイテンシ補正部１２２は、イベント検出画素受光量算出部１２１より供給されるイベント信号検出センサ１１１を構成する画素の単位時間当たりの受光量に基づいて、レイテンシを特定し、特定したレイテンシを補正量（以下、レイテンシ補正量とも称する）としてイベントデータに含まれる時刻情報であるタイムスタンプを補正し、タイムスタンプが補正されたイベントデータを補正後のイベントデータとして出力する。
【0062】
尚、本実施の形態では、イベント信号検出センサ１１１が、イベントデータを生成する際に、時刻情報であるタイムスタンプの情報を付して出力するものとするが、レイテンシ補正部１２２がイベント信号検出センサ１１１より出力されるイベントデータにタイムスタンプを付すようにし、さらに、レイテンシに応じた補正を加えるようにしてもよい。
【0063】
より詳細には、レイテンシ補正部１２２は、例えば、図９で示されるように、受光量と対応するイベントごとのレイテンシが登録されたテーブルを記憶しており、イベント検出画素受光量算出部１２１より供給される受光量の近傍のレイテンシを読み出し、補間により対応するレイテンシを算出する。
【0064】
図９のテーブルにおいては、左から順に、受光量、プラスイベントである立上り検知におけるレイテンシ、マイナスイベントである立下り検知におけるレイテンシが登録されている。
【0065】
図９においては、受光量が1000である場合には、プラスイベントであるときにはレイテンシがA秒であり、マイナスイベントであるときにはレイテンシがW秒であることが登録されている。
【0066】
また、受光量が100である場合には、プラスイベントであるときにはレイテンシがB秒であり、マイナスイベントであるときにはレイテンシがX秒であることが登録されている。
【0067】
さらに、受光量が10である場合には、プラスイベントであるときにはレイテンシがC秒であり、マイナスイベントであるときにはレイテンシがY秒であることが登録されている。
【0068】
また、受光量が1である場合には、プラスイベントであるときにはレイテンシがD秒であり、マイナスイベントであるときにはレイテンシがZ秒であることが登録されている。
【0069】
図９で示されるようなテーブルは、予め実験やシミュレーション等で受光量と対応するプラスイベントおよびマイナスイベントにおいて求められたレイテンシが登録される。
【0070】
例えば、受光量が500で、プラスイベントであるような場合、レイテンシ補正部１２２は、受光量が500の近傍となる受光量が1000におけるプラスイベントにおけるA秒と、受光量が100におけるプラスイベントにおけるB秒とをテーブルから読み出して、例えば、対数平均などを用いた補間により受光量が500であるときのレイテンシを算出し、算出結果をレイテンシ補正量とし、時刻情報であるタイムスタンプをレイテンシ補正量分だけ補正する。
【0071】
後段アプリケーション１１４は、アプリケーションプログラムなどのソフトウェアからなり、レイテンシが補正された後のイベントデータおよびセンサ出力信号に基づいた信号処理を実行する。
【0072】
図７の信号処理装置１０１においては、上述したように可視光センサ１１２より受光量に応じたセンサ出力信号が出力され、センサ出力信号に基づいて、イベント検出画素の受光量が算出され、算出されたイベント検出画素の受光量に基づいて、予め実験等により測定されている受光量に対応するレイテンシ補正量に基づいて、タイムスタンプが補正される。
【0073】
結果として、イベント信号検出センサ１１１における受光量に応じたレイテンシ補正量が特定されて、時刻情報であるタイムスタンプが特定されたレイテンシ補正量分だけ補正されることにより、レイテンシによる影響を適切に低減させることが可能となる。
【0074】
【0075】
ステップＳ３１において、イベント信号検出センサ１１１は、イベントが検出されたか否かを判定する。ステップＳ３１において、イベントが検出されたと判定された場合、処理は、ステップＳ３２に進む。
【0076】
ステップＳ３２において、イベント信号検出センサ１１１は、イベントデータを後段ISP/AP１１３のレイテンシ補正部１２２に出力する。
【0077】
ステップＳ３３において、可視光センサ１１２は、可視光の受光量に応じたセンサ出力信号を後段ISP/AP１１３のイベント検出画素受光量算出部１２１に出力する。このとき、センサ出力信号は、後段アプリケーション１１４にも出力される。
【0078】
ステップＳ３４において、イベント検出画素受光量算出部１２１は、可視光の受光量に応じたセンサ出力信号に基づいて、イベント信号検出センサ１１１を構成するイベント検出画素の単位時間当たりの受光量を算出し、算出結果である受光量をレイテンシ補正部１２２に出力する。
【0079】
ステップＳ３５において、レイテンシ補正部１２２は、受光量と対応付けて登録されているレイテンシを、記憶しているテーブルから読み出し、必要に応じて補間するなどして、レイテンシ補正量を特定する。
【0080】
ステップＳ３６において、レイテンシ補正部１２２は、イベントデータに登録されている時刻情報であるタイムスタンプをレイテンシ補正分だけ補正して、後段アプリケーション１１４に出力する。
【0081】
ステップＳ３７において、後段アプリケーション１１４は、補正後のイベントデータとセンサ出力信号とに基づいた信号処理を実行し、実行結果を出力する。
【0082】
また、ステップＳ３１において、イベントが検出されない場合、ステップＳ３２乃至Ｓ３７の処理がスキップされる。
【0083】
ステップＳ３８において、処理の終了が指示されたか否かが判定され、終了が指示されない場合、処理は、ステップＳ３１に戻り、それ以降の処理が繰り返される。
【0084】
そして、ステップＳ３８において、処理の終了が指示された場合、処理は、終了する。
【0085】
以上の処理により、受光量に応じてレイテンシ補正量が特定されて、特定されたレイテンシ補正量分だけイベントデータの時刻情報であるタイムスタンプが補正される。
【0086】
結果として、受光量に応じて変化するレイテンシに対して適切なレイテンシ補正量が設定されて時刻情報が補正されるので、レイテンシの影響を適切に低減させることが可能となる。
【0087】
＜＜３．第２の実施の形態＞＞
以上においては、可視光センサ１１２をイベント信号検出センサ１１１の近傍に設けて、可視光センサ１１２のセンサ出力信号に基づいて、イベント信号検出センサ１１１における受光量を算出して、算出された受光量に応じてレイテンシ補正量を求めて、受光量に応じたレイテンシ補正量分だけ時刻情報であるタイムスタンプを補正する例について説明してきた。
以上においては、可視光センサ１１２をイベント信号検出センサ１１１の近傍に設けて、可視光センサ１１２のセンサ出力信号に基づいて、イベント信号検出センサ１１１における受光量を算出して、算出された受光量に応じてレイテンシ補正量を求めて、受光量に応じたレイテンシ補正量分だけ時刻情報であるタイムスタンプを補正する例について説明してきた。
【0088】
しかしながら、イベント信号検出センサ１１１を構成する各画素を単位として受光量は異なるものであるため、従って、イベント信号検出センサ１１１を構成する各画素を単位としてイベントデータのレイテンシは異なる。
【0089】
そこで、可視光センサ１１２に代えて、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサを設けるようにして、各画素の諧調信号から、イベント信号検出センサ１１１における各画素の受光量を特定し、画素を単位としてレイテンシを補正するようにしてもよい。
【0090】
図１１は、可視光センサ１１２に代えて、CMOSイメージセンサを設けるようにして、各画素の諧調信号から、イベント信号検出センサ１１１における各画素の受光量を特定し、画素を単位としてレイテンシを補正するようにした信号処理装置の構成例を示している。
【0091】
図１１の信号処理装置１０１Ａにおいて、図７の信号処理装置１０１と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。また、図１１の信号処理装置１０１Ａにおいて、図７の信号処理装置１０１と類似した機能を備えた構成については、同一の符号を付した上で「Ａ」を末尾に付している。
【0092】
図１１の信号処理装置１０１Ａにおいて、図７の信号処理装置１０１と異なる点は、可視光センサ１１２に代えて、CMOSイメージセンサ１５１が設けられ、後段ISP/AP１１３に代えて、後段ISP/AP１１３Ａが設けられている点である。
【0093】
CMOSイメージセンサ１５１は、入射光の入射方向に対して垂直方向に対してアレイ状に配置された複数の画素からなり、入射光の光量に応じた諧調信号を、画素を単位として後段ISP/AP１１３に出力する。
【0094】
より詳細には、図１２で示されるように、CMOSイメージセンサ１５１は、その前段に入射光を集光するレンズ１４１Ａ－２が設けられている。また、イベント信号検出センサ１１１の前端にも、イベント信号検出センサ１１１への入射光を集光するレンズ１４１Ａ－１が設けられている。
【0095】
レンズ１４１Ａ－１，１４１Ａ－２の両者の光軸ＡＸ１１，ＡＸ１２は、同一ではないが、両者が比較的近傍であって、双方が平行となるように配置されている。このため、CMOSイメージセンサ１５１の各画素と、イベント信号検出センサ１１１の各画素とは、両者から比較的近傍の範囲の物体に対しては視差が生じるが、概ねCMOSイメージセンサ１５１の各画素における諧調信号が、イベント信号検出センサ１１１の各画素の受光量に対応したものと考えることができる。
【0096】
そこで、CMOSイメージセンサ１５１は、画素を単位とした諧調信号を、イベント信号検出センサ１１１の各画素の受光量に近似するものと見做せる受光量を検出するための情報として、後段ISP/AP１１３Ａに出力する。換言すれば、CMOSイメージセンサ１５１より出力される受光量を示す諧調信号は、イベント信号検出センサ１１１に構成される対応する位置の画素の受光量を示す情報として出力される。
【0097】
後段ISP/AP１１３Ａは、基本的な機能は、図７の後段ISP/AP１１３と同一の機能を備えているが、イベント信号検出センサ１１１からのイベントデータと、CMOSイメージセンサ１５１からの諧調信号とに基づいて、イベント信号検出センサ１１１における各画素を単位とする受光量を算出して、算出した受光量に応じた画素を単位としたレイテンシ補正量を特定する。
【0098】
そして、後段ISP/AP１１３Ａは、画素毎に特定したレイテンシ補正量で、イベントデータのレイテンシを補正して、補正後の画素を単位としたイベントデータを後段アプリケーション１１４に出力する。
【0099】
この際、後段ISP/AP１１３Ａは、可視光センサ１１２より供給されるセンサ出力信号を後段アプリケーション１１４に出力する。
【0100】
より詳細には、後段ISP/AP１１３Ａは、イベント検出画素受光量算出部１２１Ａ、およびレイテンシ補正部１２２Ａを備えている。
【0101】
イベント検出画素受光量算出部１２１Ａは、イベント検出画素受光量算出部１２１と同一の機能を備えているが、画素を単位とした諧調信号に基づいて、イベント信号検出センサ１１１を構成するイベント検出画素毎の単位時間当たりの受光量を算出してレイテンシ補正部１２２Ａに出力する。
【0102】
イベント検出画素受光量算出部１２１Ａは、イベント信号検出センサ１１１を構成するイベント検出画素の画素毎の単位時間当たりの受光量を、CMOSイメージセンサ１５１の各画素の諧調信号に基づいて算出する。
【0103】
例えば、画素毎の単位時間当たりの受光量を放射照度[W/m2]として求める場合、以下の手順で算出される。
【0104】
まず、以下の式（１）により画素毎の単位時間当たりの電荷量が求められる。
【0105】
Qu＝(Q_after-gain/gain)/Te
・・・（１）
・・・（１）
【0106】
ここで、Quは、画素を単位とした単位時間当たりの電荷量であり、Q_after-gainは、CMOSイメージセンサ１５１の画素を単位としてゲインが掛けられた後の電荷量であり、以下の式（２）で表現される。また、gainは、掛けられているゲインの値であり、以下の式（３）で表現される。
【0107】
Q_after-gain＝（Vs－OPB）/slope
slope＝（（210－1）－OPB）/Qs
・・・（２）
slope＝（（210－1）－OPB）/Qs
・・・（２）
【0108】
gain＝10^（Vg[dB]/20）
Vg[dB]＝20log（gain）
・・・（３）
Vg[dB]＝20log（gain）
・・・（３）
【0109】
ここで、Vsは、諧調信号の値であり、OPBは、オプティカルブラックと称される遮光画素の諧調信号（一般に64）であり、Qsは、画素の飽和電荷量であり、Vgは、ゲイン値[dB]である。また、「^」はべき乗を表している。
【0110】
そして、イベント検出画素受光量算出部１２１Ａは、求められた画素毎の単位時間当たりの電荷量に基づいて、入射光のスペクトルが既知である場合、以下の式（４）を算出することにより、画素毎の単位時間当たりの受光量を放射照度[W/m2]として算出する。
【0111】
IRR＝Qu1/Qg
・・・（４）
・・・（４）
【0112】
ここで、IRRは、画素毎の単位時間当たりの受光量を放射照度[W/m2]であり、Qu1は、画素を単位とした1秒間に画素で生じた電荷量であり、Qgは、1[W/m2]の放射照度の光が光電変換で発生しうる1秒間の電荷量である。
【0113】
尚、1[W/m2]の放射照度の光が光電変換で発生しうる1秒間の電荷量Qgについては、スペクトルに応じて事前に実験や理論計算により求めておく必要がある。
【0114】
そして、イベント検出画素受光量算出部１２１Ａは、CMOSイメージセンサ１５１の画素毎の単位時間当たりの受光量を求めると、画素毎に対応するイベント信号検出センサ１１１上の画素位置に座標変換して、対応する画素の受光量とする。
【0115】
より具体的には、イベント検出画素受光量算出部１２１Ａは、図１３で示されるように、CMOSイメージセンサ１５１の画素ＰＣの単位時間当たりの受光量を求めると、対応するイベント信号検出センサ１１１上の画素ＰＥに座標変換し、座標変換により得られた画素ＰＥの受光量として当てはめる。
【0116】
また、以上においては、スペクトルが既知であることを前提としたが、CMOSイメージセンサ１５１が、RGB画素から構成される場合、イベント検出画素受光量算出部１２１Ａは、RGB画素のそれぞれの電荷量の比から、イベント信号検出センサ１１１の各画素を単位としてスペクトルを予測し、画素毎のスペクトルの予測結果に基づいて、上述した式（１）乃至式（４）の演算により画素毎の単位時間当たりの受光量を算出するようにしてもよい。
【0117】
例えば、B画素の電荷量が、G画素、R画素の電荷量よりも多い場合、短波長領域にピークを持つスペクトルである可能性が高いので、例えば、図１４で示される波形のうち、実線で示されるようなスペクトル分布が予測される。
【0118】
また、例えば、R画素の電荷量が、G画素、B画素の電荷量よりも多い場合、長波長領域にピークを持つスペクトルである可能性が高いので、例えば、図１４で示される波形のうち、点線で示されるようなスペクトル分布が予測される。
【0119】
イベント検出画素受光量算出部１２１Ａは、RGB画素のそれぞれの電荷量の比から、図１４を参照して説明したような手法により、スペクトルを推定するようにしてもよい。
【0120】
尚、図１４においては、縦軸が強度であり、横軸が波長を示しており、点線および実線で表現されるスペクトル分布の波形例が示されている。
【0121】
レイテンシ補正部１２２Ａは、基本的な機能は、レイテンシ補正部１２２と同一であるが、イベント検出画素受光量算出部１２１Ａより供給されるイベント信号検出センサ１１１を構成する画素毎の単位時間当たりの受光量に基づいて、画素毎にレイテンシ補正量を特定し、特定した画素毎のレイテンシ補正量に応じて、イベントデータに含まれる時刻情報であるタイムスタンプを画素毎に補正し、タイムスタンプが画素毎に補正されたイベントデータを補正後のイベントデータとして出力する。
【0122】
すなわち、レイテンシ補正部１２２が、全画素について共通のレイテンシ補正量でイベントデータの時刻情報を補正していたのに対して、レイテンシ補正部１２２Ａは、画素毎のレイテンシ補正量で画素毎にイベントデータの時刻情報を補正する。
【0123】
例えば、図１５の左部で示されるように、左から順に画素を単位として時刻情報であるタイムスタンプ、画素位置を表現する座標情報、およびプラスイベント（立上り）、または、マイナスイベント（立下り）を示すイベント種別の情報を示すイベントデータである場合、例えば、レイテンシが１秒であるとき、レイテンシ補正部１２２Ａは、図１５の右部で示されるように時刻情報を補正する。
【0124】
尚、図１５の左部のイベントデータにおいては、最上段において、時刻情報が00:00:10において、座標位置（ｘ，ｙ）＝（１００，２００）の画素において、プラスイベントである立上りが検出されたことが示されている。上から２段目において、時刻情報が00:00:10において、座標位置（ｘ，ｙ）＝（２００，２００）の画素において、プラスイベントである立上りが検出されたことが示されている。上から３段目において、時刻情報が00:00:11において、座標位置（ｘ，ｙ）＝（１００，２００）の画素において、プラスイベントである立上りが検出されたことが示されている。上から４段目において、時刻情報が00:00:11において、座標位置（ｘ，ｙ）＝（２００，２００）の画素において、プラスイベントである立上りが検出されたことが示されている。
【0125】
また、図１５の右部のイベントデータにおいては、最上段において、時刻情報が00:00:09において、座標位置（ｘ，ｙ）＝（１００，２００）の画素において、プラスイベントである立上りが検出されたことが示されている。上から２段目において、時刻情報が00:00:09において、座標位置（ｘ，ｙ）＝（２００，２００）の画素において、プラスイベントである立上りが検出されたことが示されている。上から３段目において、時刻情報が00:00:10において、座標位置（ｘ，ｙ）＝（１００，２００）の画素において、プラスイベントである立上りが検出されたことが示されている。上から４段目において、時刻情報が00:00:10において、座標位置（ｘ，ｙ）＝（２００，２００）の画素において、プラスイベントである立上りが検出されたことが示されている。
【0126】
【0127】
また、以上においては、イベントデータのうち、時刻情報がレイテンシ補正量分だけ補正される例について説明してきたが、補正後の時刻情報が追加されるようにしてもよい。
【0128】
【0129】
【0130】
尚、レイテンシ補正量は、画素単位で異なるものであるので、図１６の右部における補正後の時刻情報の欄に代えて、レイテンシに対応する遅延時間、すなわち、レイテンシ補正量が記録される欄とするようにして、実際には、オリジナルの時刻情報からレイテンシ補正量分だけ補正して使用するようにしてもよい。
【0131】
【0132】
ステップＳ５１において、イベント信号検出センサ１１１は、イベントが検出されたか否かを判定する。ステップＳ５１において、イベントが検出されたと判定された場合、処理は、ステップＳ５２に進む。
【0133】
ステップＳ５２において、イベント信号検出センサ１１１は、イベントデータを後段ISP/AP１１３Ａのレイテンシ補正部１２２Ａに出力する。
【0134】
ステップＳ５３において、CMOSイメージセンサ１５１は、画素毎の諧調信号を後段ISP/AP１１３Ａのイベント検出画素受光量算出部１２１Ａに出力する。このとき、諧調信号は、後段アプリケーション１１４にも出力される。
【0135】
ステップＳ５４において、イベント検出画素受光量算出部１２１Ａは、画素を単位とする諧調信号に基づいて、イベント信号検出センサ１１１を構成するイベント検出画素の画素を単位とする単位時間当たりの受光量を算出し、算出結果である画素毎の受光量をレイテンシ補正部１２２Ａに出力する。
【0136】
ステップＳ５５において、レイテンシ補正部１２２Ａは、画素毎に、受光量と対応付けて登録されているレイテンシを、記憶しているテーブルから読み出し、必要に応じて補間するなどして、画素毎のレイテンシ補正量を特定する。
【0137】
ステップＳ５６において、レイテンシ補正部１２２Ａは、イベントデータに登録されている時刻情報であるタイムスタンプをレイテンシ補正量分だけ画素毎に補正して、後段アプリケーション１１４に出力する。
【0138】
ステップＳ５７において、後段アプリケーション１１４は、補正後のイベントデータと諧調信号とに基づいた信号処理を実行し、実行結果を出力する。
【0139】
また、ステップＳ５１において、イベントが検出されない場合、ステップＳ５２乃至Ｓ５７の処理がスキップされる。
【0140】
ステップＳ５８において、処理の終了が指示されたか否かが判定され、終了が指示されない場合、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。
【0141】
そして、ステップＳ５８において、処理の終了が指示された場合、処理は、終了する。
【0142】
以上の処理により、画素毎の受光量に応じて、画素毎のレイテンシ補正量が特定されて、特定された画素毎のレイテンシ補正量分だけ、画素毎のイベントデータの時刻情報であるタイムスタンプが補正される。
【0143】
結果として、画素を単位とした受光量に応じて変化するレイテンシに対して適切なレイテンシ補正量が設定されて、画素を単位として時刻情報が補正されるので、レイテンシの影響を適切に低減させることが可能となる。
【0144】
＜＜４．第３の実施の形態＞＞
以上においては、イベントデータにおける時刻情報であるタイムスタンプを、受光量に応じたレイテンシ補正量分だけ補正する例について説明してきたが、受光量の情報のみをイベントデータに付して、イベントデータを取得した後段アプリケーション１１４において受光量に応じたレイテンシの補正がなされるようにしてもよい。
以上においては、イベントデータにおける時刻情報であるタイムスタンプを、受光量に応じたレイテンシ補正量分だけ補正する例について説明してきたが、受光量の情報のみをイベントデータに付して、イベントデータを取得した後段アプリケーション１１４において受光量に応じたレイテンシの補正がなされるようにしてもよい。
【0145】
すなわち、例えば、図１８の左部で示されるようなオリジナルのイベントデータに対して、図１８の右部で示されるように受光量の情報を付して後段アプリケーション１１４に出力する。後段アプリケーション１１４においては、受光量が付されたイベントデータに基づいて、レイテンシを補正した後、処理を実行する。
【0146】
尚、図１８の左部は、図１５，図１６の左部と同様のオリジナルのイベントデータであり、図１８の右部は、図１８の左部における時刻情報であるタイムスタンプの欄と、画素位置を示す座標情報欄との間に、対応する画素における受光量の欄が設けられている。
【0147】
図１８の右部の受光量の欄においては、上から順に、受光量として１１１１、１１１１、１１１２、１１１２が登録されている。
【0148】
すなわち、図１８の右部の最上段においては、時刻情報が00:00:10において、座標位置（ｘ，ｙ）＝（１００，２００）の画素において、プラスイベントである立上りが検出され、受光量が１１１１であることが示されている。上から２段目において、時刻情報が00:00:10において、座標位置（ｘ，ｙ）＝（２００，２００）の画素において、プラスイベントである立上りが検出され、受光量が１１１１であることが示されている。上から３段目において、時刻情報が00:00:11において、座標位置（ｘ，ｙ）＝（１００，２００）の画素において、プラスイベントである立上りが検出され、受光量が１１１２であることが示されている。上から４段目において、時刻情報が00:00:11において、座標位置（ｘ，ｙ）＝（２００，２００）の画素において、プラスイベントである立上りが検出され、受光量が１１１２であることが示されている。
【0149】
後段アプリケーション１１４は、受光量の情報が付されることで補正されたイベントデータに基づいて、受光量に応じたレイテンシ補正量を求めて時刻情報であるタイムスタンプを補正して、処理を実行する。
【0150】
＜イベントデータに受光量を登録するようにした信号処理装置の構成例＞
図１９は、イベントデータに受光量を登録するようにした信号処理装置の構成例を示している。
図１９は、イベントデータに受光量を登録するようにした信号処理装置の構成例を示している。
【0151】
図１９の信号処理装置１０１Ｂにおいて、図７の信号処理装置１０１および図１１の信号処理装置１０１Ａと同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。また、図１９の信号処理装置１０１Ｂにおいて、図７の信号処理装置１０１および図１１の信号処理装置１０１Ａと類似した機能を備えた構成については、同一の符号を付した上で「Ｂ」を末尾に付している。
【0152】
図１９の信号処理装置１０１Ｂにおいて、図７の信号処理装置１０１および図１１の信号処理装置１０１Ａと異なる点は、後段ISP/AP１１３，１１３Ａ、および後段アプリケーション１１４に代えて、後段ISP/AP１１３Ｂおよび後段アプリケーション１１４Ｂが設けられている点である。
【0153】
より詳細には、後段ISP/AP１１３Ｂは、イベント検出画素受光量算出部１２１Ｂ、およびレイテンシ補正部１２２Ｂを備えている。
【0154】
イベント検出画素受光量算出部１２１Ｂは、イベント検出画素受光量算出部１２１Ａと同一の機能を備えており、イベント信号検出センサ１１１を構成するイベント検出画素毎の単位時間当たりの受光量を算出してレイテンシ補正部１２２Ｂに出力する。
【0155】
レイテンシ補正部１２２Ｂは、イベント信号検出センサ１１１より供給されるイベントデータに対して、図１８を参照して説明したように、イベント検出画素毎の受光量を付して補正後のイベントデータとして後段アプリケーション１１４Ｂに出力する。
【0156】
すなわち、レイテンシ補正部１２２Ｂは、レイテンシ補正部１２２，１２２Ａと異なり、イベントデータに含まれる時刻情報であるタイムスタンプを補正せず、受光量の情報のみを付加するのみで出力する。
【0157】
尚、レイテンシ補正部１２２Ｂは、時刻情報であるタイムスタンプを補正しないが、イベントデータの時刻情報であるタイムスタンプを補正する上で必要となる受光量の情報を付与しているので、イベントデータを補正する機能を果たしているものとする。
【0158】
後段アプリケーション１１４Ｂは、基本的な機能においては、後段アプリケーション１１４と同一であるが、さらに、受光量の情報が付されたイベントデータに基づいて、レイテンシ補正量分だけ時刻情報であるタイムスタンプを補正して、処理を実行する。
【0159】
より詳細には、後段アプリケーション１１４Ｂは、レイテンシ補正部１７１を備えている。レイテンシ補正部１７１は、受光量と、対応するレイテンシ（レイテンシ補正量）とからなるテーブル（図９のテーブルと同様）を備えており、イベントデータに含まれる受光量の情報に基づいて、テーブルより対応するレイテンシ補正量を読み出して、時刻情報であるタイムスタンプを補正する。
【0160】
【0161】
ステップＳ７１において、イベント信号検出センサ１１１は、イベントが検出されたか否かを判定する。ステップＳ７１において、イベントが検出されたと判定された場合、処理は、ステップＳ７２に進む。
【0162】
ステップＳ７２において、イベント信号検出センサ１１１は、イベントデータを後段ISP/AP１１３Ｂのレイテンシ補正部１２２Ｂに出力する。
【0163】
ステップＳ７３において、CMOSイメージセンサ１５１は、画素毎の諧調信号を後段ISP/AP１１３Ｂのイベント検出画素受光量算出部１２１Ｂに出力する。このとき、諧調信号は、後段アプリケーション１１４Ｂにも出力される。
【0164】
ステップＳ７４において、イベント検出画素受光量算出部１２１Ｂは、画素を単位とする諧調信号に基づいて、イベント信号検出センサ１１１を構成するイベント検出画素の画素を単位とする単位時間当たりの受光量を算出し、算出結果である画素毎の受光量をレイテンシ補正部１２２Ｂに出力する。
【0165】
ステップＳ７５において、レイテンシ補正部１２２Ｂは、画素毎に、受光量の情報をイベントデータに付与することで、イベントデータを補正する。
【0166】
ステップＳ７６において、レイテンシ補正部１２２Ｂは、画素毎に、受光量の情報が付与されることで補正されたイベントデータを後段アプリケーション１１４Ｂに出力する。
【0167】
ステップＳ７７において、後段アプリケーション１１４Ｂは、画素毎に、受光量の情報が付与されることで補正されたイベントデータを取得する。
【0168】
ステップＳ７８において、後段アプリケーション１１４Ｂのレイテンシ補正部１７１は、イベントデータより画素毎に受光量の情報を読み出し、受光量に対するレイテンシが記録されたテーブルより対応するレイテンシ補正量を検索して特定する。
【0169】
ステップＳ７９において、レイテンシ補正部１７１は、イベントデータについて、画素毎にレイテンシ補正量分だけ時刻情報であるタイムスタンプを補正する。
【0170】
ステップＳ８０において、後段アプリケーション１１４Ｂは、時刻情報であるタイムスタンプが補正されたイベントデータと諧調信号とに基づいた信号処理を実行し、実行結果を出力する。
【0171】
また、ステップＳ７１において、イベントが検出されない場合、ステップＳ７２乃至Ｓ８０の処理がスキップされる。
【0172】
ステップＳ８１において、処理の終了が指示されたか否かが判定され、終了が指示されない場合、処理は、ステップＳ７１に戻り、それ以降の処理が繰り返される。
【0173】
そして、ステップＳ８１において、処理の終了が指示された場合、処理は、終了する。
【0174】
以上の処理においても、画素毎の受光量に応じて、画素毎のレイテンシ補正量が特定されて、特定された画素毎のレイテンシ補正量分だけ、画素毎のイベントデータの時刻情報であるタイムスタンプが補正される。
【0175】
結果として、画素を単位とした受光量に応じて変化するレイテンシに対して適切なレイテンシ補正量が設定されて、画素を単位として時刻情報が補正されるので、レイテンシの影響を適切に低減させることが可能となる。
【0176】
＜＜５．第４の実施の形態＞＞
以上においては、CMOSイメージセンサ１５１とイベント信号検出センサ１１１とを用いた信号処理装置１０１，１０１Ａ，１０１Ｂの構成例について説明してきたが、CMOSイメージセンサ１５１とイベント信号検出センサ１１１との双方の機能を持ち合わせたHybridEVS（EVS：Event-base Vision Sensor）センサを用いるようにしてもよい。
以上においては、CMOSイメージセンサ１５１とイベント信号検出センサ１１１とを用いた信号処理装置１０１，１０１Ａ，１０１Ｂの構成例について説明してきたが、CMOSイメージセンサ１５１とイベント信号検出センサ１１１との双方の機能を持ち合わせたHybridEVS（EVS：Event-base Vision Sensor）センサを用いるようにしてもよい。
【0177】
HybridEVSセンサは、例えば、図２１の右部で示されるような画素構造のものである。尚、図２１の左部は、CMOSイメージセンサ１５１の画素構成を示しており、図２１の右部におけるHybridEVS２０１との構成の違いを示している。
【0178】
すなわち、CMOSイメージセンサ１５１は、例えば、図２１の左部で示されるように、２画素×２画素を１画素ユニットとして、RGB画素ユニットがベイヤ配列で配置された画素配置とされる。
【0179】
これに対して、HybridEVS２０１は、CMOSイメージセンサ１５１におけるR画素ユニットと、B画素ユニットとを構成するそれぞれの４画素のうち、垂直に並ぶ２画素が、イベント信号検出センサ１１１におけるイベント検出画素（図２の画素３１に相当）EVSに代えて配置された構成とされる。
【0180】
このような構成により、HybridEVSセンサ２０１においては、RGB画素からCMOSイメージセンサ１５１における構成と同様に諧調信号が取得されると共に、イベント検出画素EVSからはイベントデータが取得される。
【0181】
また、HybridEVSセンサ２０１においては、図２２で示されるように、集光用のレンズ１４１Ｂが前端に設けられる構成となるため、HybridEVS２０１において取得される諧調信号とイベントデータとは、レンズ１４１Ｂにおける軸ＡＸ２１に対して配置上の視差等が発生しない適切な位置関係を維持した状態で取得可能とされる。尚、図２１の右部におけるHybridEVS２０１の画素配列は一例であり、図示された画素配列以外の画素配列でもよい。
【0182】
＜HybridEVSを用いた信号処理装置の第１の構成例＞
図２３は、HybridEVSセンサを用いた信号処理装置の第１の構成例を示している。図２３の信号処理装置１０１Ｃは、HybridEVSセンサ２０１および後段アプリケーション１１４より構成される。
図２３は、HybridEVSセンサを用いた信号処理装置の第１の構成例を示している。図２３の信号処理装置１０１Ｃは、HybridEVSセンサ２０１および後段アプリケーション１１４より構成される。
【0183】
HybridEVSセンサ２０１は、イベントデータ取得部２２１、諧調信号取得部２２２、イベント検出画素受光量算出部２２３、およびレイテンシ補正部２２４より構成される。
【0184】
イベントデータ取得部２２１は、図２１におけるイベント検出画素ＥＶＳより出力されるイベントデータを取得してレイテンシ補正部２２４に出力する。
【0185】
諧調信号取得部２２２は、図２１におけるRGB画素より出力される諧調信号を取得して、イベント検出画素受光量算出部２２３に出力する。
【0186】
イベントデータ取得部２２１は、イベント信号検出センサ１１１と同様に機能する。また、諧調信号取得部２２２は、CMOSイメージセンサ１５１と同様に機能する。
【0187】
また、イベント検出画素受光量算出部２２３、およびレイテンシ補正部２２４は、それぞれイベント検出画素受光量算出部１２１Ａまたは１２１Ｂ、およびレイテンシ補正部１２２Ａまたは１２２Ｂとして機能する。
【0188】
【0189】
尚、それぞれの信号処理は同一であるので、その説明は省略する。
【0190】
＜HybridEVSを用いた信号処理装置の第２の構成例＞
以上においては、HybridEVSセンサ２０１が、イベントデータ取得部２２１、諧調信号取得部２２２、イベント検出画素受光量算出部２２３、およびレイテンシ補正部２２４を備える構成例について説明してきたが、イベントデータ取得部２２１、および諧調信号取得部２２２のみが設けられる構成でもよい。
以上においては、HybridEVSセンサ２０１が、イベントデータ取得部２２１、諧調信号取得部２２２、イベント検出画素受光量算出部２２３、およびレイテンシ補正部２２４を備える構成例について説明してきたが、イベントデータ取得部２２１、および諧調信号取得部２２２のみが設けられる構成でもよい。
【0191】
図２４は、HybridEVSセンサ２０１にイベントデータ取得部２２１、および諧調信号取得部２２２のみが設けられる場合の信号処理装置の構成例を示している。
【0192】
図２４の信号処理装置１０１Ｄは、HybridEVSセンサ２０１Ｄ、後段ISP/AP２４１、および後段アプリケーション１１４より構成される。
【0193】
HybridEVSセンサ２０１Ｄは、基本的な機能はHybridEVSセンサ２０１と同一であるが、イベントデータ取得部２２１、および諧調信号取得部２２２のそれぞれと同一の機能を備えたイベントデータ取得部２２１Ｄ、および諧調信号取得部２２２Ｄのみが設けられている。
【0194】
後段ISP/AP２４１は、イベント検出画素受光量算出部２２３、およびレイテンシ補正部２２４のそれぞれと同一の機能を備えたイベント検出画素受光量算出部２２３Ｄ、およびレイテンシ補正部２２４Ｄが設けられている。
【0195】
【0196】
【0197】
＜HybridEVSを用いた信号処理装置の第３の構成例＞
以上においては、HybridEVSセンサ２０１Ｄが、イベントデータ取得部２２１Ｄ、および諧調信号取得部２２２Ｄのみから構成される例について説明してきたが、さらに、イベント検出画素受光量算出部２２３の機能が設けられるようにしてもよい。
以上においては、HybridEVSセンサ２０１Ｄが、イベントデータ取得部２２１Ｄ、および諧調信号取得部２２２Ｄのみから構成される例について説明してきたが、さらに、イベント検出画素受光量算出部２２３の機能が設けられるようにしてもよい。
【0198】
図２５は、HybridEVSセンサ２０１が、イベントデータ取得部２２１、諧調信号取得部２２２、および、イベント検出画素受光量算出部２２３により実現される場合の信号処理装置の構成例を示している。
【0199】
図２５の信号処理装置１０１Ｅは、HybridEVSセンサ２０１Ｅ、後段ISP/AP２４１Ｅ、および後段アプリケーション１１４より構成される。
【0200】
HybridEVSセンサ２０１Ｅは、基本的な機能はHybridEVSセンサ２０１と同一であるが、イベントデータ取得部２２１、諧調信号取得部２２２、および、イベント検出画素受光量算出部２２３のそれぞれと同一の機能を備えたイベントデータ取得部２２１Ｅ、諧調信号取得部２２２Ｅ、および、イベント検出画素受光量算出部２２３Ｅが設けられている。
【0201】
後段ISP/AP２４１Ｅは、レイテンシ補正部２２４と同一の機能を備えたレイテンシ補正部２２４Ｅが設けられている。
【0202】
【0203】
【0204】
＜＜６．第５の実施の形態＞＞
以上においては、HybridEVSセンサ２０１を用いた信号処理装置の構成例について説明してきたが、CMOSイメージセンサ１５１を構成する画素アレイの画素信号から諧調信号とイベントデータとを切り替えて取得するようにしてもよい。
以上においては、HybridEVSセンサ２０１を用いた信号処理装置の構成例について説明してきたが、CMOSイメージセンサ１５１を構成する画素アレイの画素信号から諧調信号とイベントデータとを切り替えて取得するようにしてもよい。
【0205】
図２６は、CMOSイメージセンサ１５１を構成する画素アレイの画素信号から諧調信号とイベントデータとを切り替えて取得するようにした信号処理装置の構成例を示している。
【0206】
図２６の信号処理装置１０１Ｆは、切替センサ２６１、後段ISP/AP１１３Ａ、および後段アプリケーション１１４より構成される。
【0207】
切替センサ２６１は、CMOSイメージセンサ１５１を構成する画素アレイ２７０と、画素アレイ２７０より出力される信号に基づいてイベントデータを取得するイベントデータ検出部２７１と、諧調信号を検出する諧調信号検出部２７２とを備えている。
【0208】
画素アレイ２７０より出力される信号は、イベントデータ検出部２７１および諧調信号検出部２７２のいずれか一方にのみ切り替えて出力される。
【0209】
このため、イベントデータ検出部２７１は、画素アレイ２７０より信号が自らに出力されるタイミングにおいて、イベントデータを検出して後段ISP/AP１１３のレイテンシ補正部１２２Ａに出力する。
【0210】
また、諧調信号検出部２７２は、画素アレイ２７０より信号が自らに出力されるタイミングにおいて、諧調信号を検出して後段ISP/AP１１３のイベント検出画素受光量算出部１２１Ａに出力する。
【0211】
すなわち、切替センサ２６１は、上述したCMOSイメージセンサ１５１とイベント信号検出センサ１１１との機能を兼ね備えた構成として機能する。
【0212】
【0213】
＜＜７．応用例＞＞
以上においては、受光量に応じてレイテンシ補正量を設定し、イベントデータにおける時刻情報であるタイムスタンプをレイテンシ補正量だけ補正することで、イベントデータを補正する例について説明してきた。
以上においては、受光量に応じてレイテンシ補正量を設定し、イベントデータにおける時刻情報であるタイムスタンプをレイテンシ補正量だけ補正することで、イベントデータを補正する例について説明してきた。
【0214】
しかしながら、複数のイベントデータからなるイベントデータ群を単位としてイベントデータが後段アプリケーション１１４に送信される場合、受光量に応じて特定されたレイテンシ補正量だけシフトさせて構成されるイベントデータ群を、後段アプリケーション１１４に出力するようにしてもよい。
【0215】
より具体的には、図２７の上段で示されるように、短冊状の枠が１つのイベントデータであり、図中右方向に時系列に生成されているものとし、レイテンシによる影響が、イベントデータ２個分に相当する時間だけ発生するものとする。
【0216】
ここで、図２７の上段において、時系列に生成されたイベントデータが順次所定数だけバッファリングされた後、例えば、イベントデータＤ１乃至Ｄ１４からなるイベントデータ群Ｗ１が、後段アプリケーション１１４に出力される場合について考える。
【0217】
この場合、そのままイベントデータ群Ｗ１が後段アプリケーション１１４に送信されると、後段アプリケーション１１４においては、イベントデータを取得したタイミングにおいて、既に過去のイベントデータとなっているイベントデータＤ１，Ｄ２がそのまま処理されることにより、レイテンシの影響が発生することになる。
【0218】
そこで、後段ISP/AP１１３のレイテンシ補正部１２２が、イベントデータ群を送信する際、図２７の下段で示されるように、レイテンシの影響が発生することが予想される２つのイベントデータＤ１，Ｄ２をスキップさせるように、レイテンシ補正量ＳＦ２１だけイベントデータ群をシフトさせ、後段のイベントデータＤ３乃至Ｄ１６からなるイベントデータ群Ｗ２を後段アプリケーション１１４送信させるようにしてもよい。
【0219】
この処理により、イベントデータ群は、レイテンシ分だけ過去のイベントデータがスキップされた状態でシフトされて送信されることになる。これにより、後段アプリケーション１１４がイベントデータ群Ｗ２を取得するときには、レイテンシの影響が除去されたイベントデータ群Ｗ２として取得されることになるので、取得したイベントデータ群Ｗ２を構成するイベントデータを時系列に順次処理するだけで、レイテンシの影響が補正された処理が実現される。
【0220】
＜応用例における信号処理＞
次に、図２８のフローチャートを参照して、応用例における信号処理について説明する。尚、ここでは、図７の信号処理装置１０１により、図２７を参照した信号処理がなされる場合の処理について説明するものとし、全画素が同一の受光量であり、全画素のイベントデータが統一されたレイテンシ補正量で補正されるものとする。
次に、図２８のフローチャートを参照して、応用例における信号処理について説明する。尚、ここでは、図７の信号処理装置１０１により、図２７を参照した信号処理がなされる場合の処理について説明するものとし、全画素が同一の受光量であり、全画素のイベントデータが統一されたレイテンシ補正量で補正されるものとする。
【0221】
ステップＳ１０１において、イベント信号検出センサ１１１は、イベントが検出されたか否かを判定する。ステップＳ１０１において、イベントが検出されたと判定された場合、処理は、ステップＳ１０２に進む。
【0222】
ステップＳ１０２において、イベント信号検出センサ１１１は、イベントデータを後段ISP/AP１１３のレイテンシ補正部１２２に出力する。このとき、レイテンシ補正部１２２は、イベントデータをバッファリングする。
【0223】
ステップＳ１０３において、イベント信号検出センサ１１１は、バッファリングしているイベントデータ数が、所定の閾値以上であるか否かを判定し、所定の閾値以上ではない場合、処理は、ステップＳ１０１に戻る。
【0224】
尚、ここでいう所定の閾値は、例えば、図２７を参照して説明したイベントデータ群として送信するイベントデータの数に、想定されるレイテンシ分のイベントデータの数が加算された値となる。
【0225】
したがって、図２７の例においては、レイテンシがイベントデータ２個分であるので、所定の閾値は、１６以上となる。
【0226】
ステップＳ１０３において、バッファリングしているイベントデータ数が、所定の閾値以上であると判定された場合、処理は、ステップＳ１０４に進む。
【0227】
ステップＳ１０４において、可視光センサ１１２は、可視光の受光量に応じたセンサ出力信号を後段ISP/AP１１３のイベント検出画素受光量算出部１２１に出力する。
【0228】
ステップＳ１０５において、イベント検出画素受光量算出部１２１は、可視光の受光量に応じたセンサ出力信号に基づいて、イベント信号検出センサ１１１を構成するイベント検出画素の単位時間当たりの受光量を算出し、算出結果である受光量をレイテンシ補正部１２２に出力する。
【0229】
ステップＳ１０６において、レイテンシ補正部１２２は、受光量と対応付けて登録されているレイテンシを、記憶しているテーブルから読み出し、必要に応じて補間するなどして、レイテンシ補正量を特定する。
【0230】
ステップＳ１０７において、レイテンシ補正部１２２は、バッファリングしているイベントデータのうち、レイテンシ補正量分だけイベントデータをシフトした上で、所定数のイベントデータからなるイベントデータ群を構成することで、レイテンシを補正して、後段アプリケーション１１４に出力する。
【0231】
ステップＳ１０８において、後段アプリケーション１１４は、レイテンシが補正されたイベントデータ群に基づいて、イベントデータ群を構成するイベントデータを順次処理することで信号処理を実行し、実行結果を出力する。
【0232】
また、ステップＳ１０１において、イベントが検出されない場合、ステップＳ１０２乃至Ｓ１０８の処理がスキップされる。
【0233】
ステップＳ１０９において、処理の終了が指示されたか否かが判定され、終了が指示されない場合、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。
【0234】
そして、ステップＳ１０９において、処理の終了が指示された場合、処理は、終了する。
【0235】
以上の処理により、受光量に応じてレイテンシ補正量が特定されて、特定されたレイテンシ補正量分だけイベントデータ群がシフトされて構成されることになるので、後段アプリケーション１１４においては、取得したイベントデータ群を構成するイベントデータを時系列に順次処理するだけで、レイテンシの影響が補正された処理を実現することが可能となる。
【0236】
結果として、受光量に応じて変化するレイテンシの影響を適切に低減させることが可能となる。
【0237】
尚、以上においては、図７の信号処理装置１０１により、図２７を参照した信号処理がなされる場合の処理について説明してきたが、図１１の信号処理装置１０１Ａ、図２３の信号処理装置１０１Ｃ、図２４の信号処理装置１０１Ｄ、図２５の信号処理装置１０１Ｅ、および図２６の信号処理装置１０１Ｆのいずれにおいても、画素を単位として同様の処理を実現することが可能である。
【0238】
＜イベントデータのシフト方法の第１の変形例＞
以上においては、バッファリングしたイベントデータのうち、送信しようとするイベントデータ群を、レイテンシ補正量分だけシフトさせて、後段アプリケーション１１４に出力する例について説明してきた。
以上においては、バッファリングしたイベントデータのうち、送信しようとするイベントデータ群を、レイテンシ補正量分だけシフトさせて、後段アプリケーション１１４に出力する例について説明してきた。
【0239】
しかしながら、送信されないようにしていたイベントデータＤ１，Ｄ２について参照する必要が発生するなどして、欠落することで処理に影響が出る可能性がある。
【0240】
そこで、当初のイベントデータ群に対して、レイテンシ補正量分だけ後段のイベントデータを増加させるようにして、後段アプリケーション１１４に出力するようにしてもよい。
【0241】
すなわち、図２９の上段で示されるように、当初後段アプリケーション１１４に送信することが想定されるイベントデータ群Ｗ１からなるイベントデータＤ１乃至Ｄ１４に対して、図２９の下段で示されるように、レイテンシの影響分だけ後段のイベントデータＤ１５，Ｄ１６が追加されたイベントデータＤ１乃至Ｄ１６からなるイベントデータ群Ｗ１１が送信されるようにする。
【0242】
そして、後段アプリケーション１１４が、イベントデータＤ１乃至Ｄ１６からなるイベントデータ群のうち、レイテンシの時間だけ過去のイベントデータＤ１，Ｄ２を排除したイベントデータＤ３乃至Ｄ１６を選択的に使用して処理を実行するようにしてもよい。
【0243】
すなわち、図２９の下段で示されるように、補正前のイベントデータＤ１乃至Ｄ１４からなるイベントデータ群Ｗ１に対して、レイテンシの影響を受けてしまう分のシフト量ＳＦ２１分だけイベントデータＤ１５，Ｓ１６を増加させるようにしたイベントデータ群Ｗ１１が送信されるようにしてもよい。
【0244】
この場合、後段アプリケーション１１４は、イベントデータ群Ｗ１１の先頭のイベントデータのうち、レイテンシの影響を受けた分のイベントデータＤ１，Ｄ２は、タイムスタンプなどから過去のイベントデータとして認識することは可能であるので、予め処理から除外して処理を実行することで、レイテンシの影響を受けない処理を実現することが可能となる。
【0245】
また、上述したように、処理内容に応じて過去のイベントデータＤ１，Ｄ２であっても参照の必要がある場合などは、イベントデータ群として欠落することなく送信されてくるので、後段アプリケーション１１４において参照することも可能となる。
【0246】
＜イベントデータのシフト方法の第２の変形例＞
レイテンシの影響を受ける過去のイベントデータのみを削除するようにしてイベントデータ群が構成されるようにしてもよい。
レイテンシの影響を受ける過去のイベントデータのみを削除するようにしてイベントデータ群が構成されるようにしてもよい。
【0247】
すなわち、図３０の下段で示されるように、図３０の上段で示される補正前のイベントデータ群Ｗ１に対して、レイテンシの影響を受けてしまう分のシフト量ＳＦ２１分のイベントデータＤ１，Ｄ２のみを削除させるようにしたイベントデータ群Ｗ２１を送信するようにしてもよい。
【0248】
この場合、後段アプリケーション１１４は、イベントデータ群Ｗ２１の先頭のイベントデータから順次処理を実行することで、レイテンシの影響を受けない処理を実現することが可能となる。この場合、当初のイベントデータ群Ｗ１１に対して、時系列に後方のイベントデータには欠落が発生するが、レイテンシ分のイベントデータが欠落するのみであるので、影響は小さい。
【0249】
＜＜８．移動体への応用例＞＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0250】
図３１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0251】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
【0252】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0253】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0254】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0255】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0256】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0257】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
【0258】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0259】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0260】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0261】
図３２は、撮像部１２０３１の設置位置の例を示す図である。
【0262】
図３２では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
【0263】
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0264】
なお、図３２には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【0265】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0266】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0267】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0268】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【0269】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１および車外情報検出ユニット１２０３０を組み合わせた構成に適用され得る。具体的には、図７の信号処理装置１０１、図１１の信号処理装置１０１Ａ、図１９の信号処理装置１０１Ｂ、図２３の信号処理装置１０１Ｃ、図２４の信号処理装置１０１Ｄ、図２５の信号処理装置１０１Ｅ、図２６の信号処理装置１０１Ｆは、撮像部１２０３１および車外情報検出ユニット１２０３０を組み合わせた構成に適用することができる。撮像部１２０３１および車外情報検出ユニット１２０３０を組み合わせた構成に本開示に係る技術を適用することにより、物体検出処理又は距離検出処理において発生しうるレイテンシによる影響を低減させることが可能となる。
【0270】
尚、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【0271】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【0272】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0273】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【0274】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【0275】
尚、本開示は、以下のような構成も取ることができる。
＜１＞ ２次元平面に複数に配置され、光電変換を行って電気信号を生成するイベント検出画素において検出される、前記電気信号の変化であるイベントの発生を表すイベントデータを出力するイベント検出部と、
前記イベント検出画素の受光量を算出する受光量算出部と、
前記受光量算出部により算出された前記イベント検出画素の前記受光量に基づいて、前記イベントデータにおける、レイテンシに係る情報を補正するレイテンシ補正部と
を備えた光検出装置。
＜２＞ 前記レイテンシ補正部は、前記受光量と、前記レイテンシとの関係が登録されたテーブルを有し、前記受光量算出部により算出された前記受光量と対応する前記レイテンシを前記テーブルより読み出して、読み出した前記レイテンシからなるレイテンシ補正量だけ前記イベントデータを補正する
＜１＞に記載の光検出装置。
＜３＞ 前記イベントデータは、前記イベント検出部において前記イベントが検出された時刻情報を含み、
前記レイテンシ補正部は、前記受光量と対応する前記レイテンシ補正量だけ前記イベントデータの前記時刻情報を補正する
＜２＞に記載の光検出装置。
＜４＞ 前記イベントデータは、前記イベント検出部の前記イベント検出画素のそれぞれの画素位置を表す座標情報をさらに含み、
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの座標情報と対応付けて、前記受光量と対応する前記レイテンシ補正量だけ前記イベントデータの前記時刻情報を補正する
＜３＞に記載の光検出装置。
＜５＞ 前記イベントデータは、前記イベント検出部の前記イベント検出画素のそれぞれの画素位置を表す座標情報をさらに含み、
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの座標情報と対応付けて、前記受光量と対応する前記レイテンシ補正量だけ前記時刻情報を補正した補正後時刻情報を追加する、または、前記レイテンシ補正量を追加することで、前記イベントデータを補正する
＜３＞に記載の光検出装置。
＜６＞ 前記イベントデータは、前記イベントが、前記イベント検出部において検出される前記電気信号の正方向へと変化するプラスイベントであるか、または、負方向へと変化するマイナスイベントであるかを示す前記イベントの種別の情報をさらに含み、
前記テーブルには、前記イベントの種別の情報毎の、前記受光量と、前記レイテンシとの関係が登録されており、
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの座標位置と対応付けて、前記イベントの種別に応じて、前記受光量と対応する前記レイテンシ補正量だけ前記時刻情報を補正した補正後時刻情報を追加する、または、前記レイテンシ補正量を追加することで、前記イベントデータを補正する
＜３＞に記載の光検出装置。
＜７＞ 前記イベント検出画素が２次元平面に配置されることで構成される撮像面の近傍において可視光の前記受光量を検出し、検出した前記受光量と対応する出力信号を出力する可視光検出部をさらに含み、
前記受光量算出部は、前記出力信号に基づいて、前記イベント検出画素の前記受光量を算出する
＜１＞に記載の光検出装置。
＜８＞ 前記可視光検出部は、前記イベント検出画素が２次元平面に配置されることで構成される撮像面の近傍の１点における可視光の前記受光量を検出し、対応する前記出力信号として出力し、
前記受光量算出部は、前記出力信号に基づいて、全ての前記イベント検出画素の前記受光量が同一の受光量であるものとして算出し、
前記レイテンシ補正部は、全ての前記イベント検出画素の前記イベントデータを、同一の前記受光量と対応するレイテンシ補正量だけ補正する
＜７＞に記載の光検出装置。
＜９＞ 前記イベント検出画素が２次元平面に配置されることで構成される撮像面の近傍において、入射光の光量に応じた諧調信号を検出して出力する、２次元平面に配置された複数の撮像画素からなる諧調信号検出部をさらに含み、
前記受光量算出部は、前記撮像画素毎の前記諧調信号に基づいて、前記イベント検出画素毎の前記受光量を算出する
＜１＞に記載の光検出装置。
＜１０＞ 前記受光量算出部は、前記撮像画素毎に前記受光量を算出し、前記撮像画素の位置と対応する位置の前記イベント検出画素の前記受光量として当てはめ、
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの前記イベントデータを、前記イベント検出画素毎に当てはめられた前記受光量と対応するレイテンシ補正量だけ補正する
＜９＞に記載の光検出装置。
＜１１＞ 前記受光量算出部は、所定のスペクトルと、前記諧調信号とに基づいて、前記イベント検出画素の前記受光量を算出する
＜１０＞に記載の光検出装置。
＜１２＞ 前記所定のスペクトルは、前記諧調信号から推定されるスペクトルである
＜１１＞に記載の光検出装置。
＜１３＞ 前記諧調信号検出部を構成する複数の前記撮像画素には、透過する前記入射光を、複数の波長帯域にフィルタリングする複数のフィルタが、前記撮像画素毎に所定の配列でそれぞれの前段に設けられており、前記受光量算出部は、前記諧調信号に基づいた、前記複数のフィルタ毎の前記受光量の比からスペクトルを推定し、推定したスペクトルと、前記諧調信号とに基づいて、前記イベント検出画素の前記受光量を算出する
＜１２＞に記載の光検出装置。
＜１４＞ 前記受光量算出部は、前記撮像画素毎に前記受光量を算出し、前記撮像画素の位置と対応する位置の前記イベント検出画素の前記受光量として当てはめ、
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの前記イベントデータに、前記イベント検出画素毎に当てはめられた前記受光量を追加することで補正する
＜９＞に記載の光検出装置。
＜１５＞ 前記イベント検出画素と、前記撮像画素とが同一の２次元平面上に配置され、前記イベント検出部、および前記諧調信号検出部が一体化した構成とされる
＜９＞に記載の光検出装置。
＜１６＞ 前記イベント検出部、および前記諧調信号検出部に加えて、前記受光量算出部が一体化した構成とされる
＜１５＞に記載の光検出装置。
＜１７＞ 前記イベント検出部、前記諧調信号検出部、および前記受光量算出部に加えて、前記レイテンシ補正部が一体化した構成とされる
＜１６＞に記載の光検出装置。
＜１８＞ 前記レイテンシ補正部は、前記受光量算出部により算出された前記イベント検出画素の前記受光量に基づいて、後段に出力する時系列の所定数の前記イベントデータからなるイベントデータ群を、前記レイテンシに相当するイベントデータ数だけシフトして出力することにより、前記イベントデータの前記レイテンシに係る情報を補正する
＜１＞に記載の光検出装置。
＜１９＞ ２次元平面に複数に配置され、光電変換を行って電気信号を生成するイベント検出画素において検出される、前記電気信号の変化であるイベントの発生を表すイベントデータを出力し、
前記イベント検出画素の受光量を算出し、
算出された前記イベント検出画素の前記受光量に基づいて、前記イベントデータにおける、レイテンシに係る情報を補正する
ステップを含む光検出方法。
＜２０＞ ２次元平面に複数に配置され、光電変換を行って電気信号を生成するイベント検出画素において検出される、前記電気信号の変化であるイベントの発生を表すイベントデータを出力するイベント検出部と、
前記イベント検出画素の受光量を算出する受光量算出部と、
前記受光量算出部により算出された前記イベント検出画素の前記受光量に基づいて、前記イベントデータにおける、レイテンシに係る情報を補正するレイテンシ補正部と
してコンピュータを機能させるプログラム。
＜１＞ ２次元平面に複数に配置され、光電変換を行って電気信号を生成するイベント検出画素において検出される、前記電気信号の変化であるイベントの発生を表すイベントデータを出力するイベント検出部と、
前記イベント検出画素の受光量を算出する受光量算出部と、
前記受光量算出部により算出された前記イベント検出画素の前記受光量に基づいて、前記イベントデータにおける、レイテンシに係る情報を補正するレイテンシ補正部と
を備えた光検出装置。
＜２＞ 前記レイテンシ補正部は、前記受光量と、前記レイテンシとの関係が登録されたテーブルを有し、前記受光量算出部により算出された前記受光量と対応する前記レイテンシを前記テーブルより読み出して、読み出した前記レイテンシからなるレイテンシ補正量だけ前記イベントデータを補正する
＜１＞に記載の光検出装置。
＜３＞ 前記イベントデータは、前記イベント検出部において前記イベントが検出された時刻情報を含み、
前記レイテンシ補正部は、前記受光量と対応する前記レイテンシ補正量だけ前記イベントデータの前記時刻情報を補正する
＜２＞に記載の光検出装置。
＜４＞ 前記イベントデータは、前記イベント検出部の前記イベント検出画素のそれぞれの画素位置を表す座標情報をさらに含み、
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの座標情報と対応付けて、前記受光量と対応する前記レイテンシ補正量だけ前記イベントデータの前記時刻情報を補正する
＜３＞に記載の光検出装置。
＜５＞ 前記イベントデータは、前記イベント検出部の前記イベント検出画素のそれぞれの画素位置を表す座標情報をさらに含み、
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの座標情報と対応付けて、前記受光量と対応する前記レイテンシ補正量だけ前記時刻情報を補正した補正後時刻情報を追加する、または、前記レイテンシ補正量を追加することで、前記イベントデータを補正する
＜３＞に記載の光検出装置。
＜６＞ 前記イベントデータは、前記イベントが、前記イベント検出部において検出される前記電気信号の正方向へと変化するプラスイベントであるか、または、負方向へと変化するマイナスイベントであるかを示す前記イベントの種別の情報をさらに含み、
前記テーブルには、前記イベントの種別の情報毎の、前記受光量と、前記レイテンシとの関係が登録されており、
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの座標位置と対応付けて、前記イベントの種別に応じて、前記受光量と対応する前記レイテンシ補正量だけ前記時刻情報を補正した補正後時刻情報を追加する、または、前記レイテンシ補正量を追加することで、前記イベントデータを補正する
＜３＞に記載の光検出装置。
＜７＞ 前記イベント検出画素が２次元平面に配置されることで構成される撮像面の近傍において可視光の前記受光量を検出し、検出した前記受光量と対応する出力信号を出力する可視光検出部をさらに含み、
前記受光量算出部は、前記出力信号に基づいて、前記イベント検出画素の前記受光量を算出する
＜１＞に記載の光検出装置。
＜８＞ 前記可視光検出部は、前記イベント検出画素が２次元平面に配置されることで構成される撮像面の近傍の１点における可視光の前記受光量を検出し、対応する前記出力信号として出力し、
前記受光量算出部は、前記出力信号に基づいて、全ての前記イベント検出画素の前記受光量が同一の受光量であるものとして算出し、
前記レイテンシ補正部は、全ての前記イベント検出画素の前記イベントデータを、同一の前記受光量と対応するレイテンシ補正量だけ補正する
＜７＞に記載の光検出装置。
＜９＞ 前記イベント検出画素が２次元平面に配置されることで構成される撮像面の近傍において、入射光の光量に応じた諧調信号を検出して出力する、２次元平面に配置された複数の撮像画素からなる諧調信号検出部をさらに含み、
前記受光量算出部は、前記撮像画素毎の前記諧調信号に基づいて、前記イベント検出画素毎の前記受光量を算出する
＜１＞に記載の光検出装置。
＜１０＞ 前記受光量算出部は、前記撮像画素毎に前記受光量を算出し、前記撮像画素の位置と対応する位置の前記イベント検出画素の前記受光量として当てはめ、
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの前記イベントデータを、前記イベント検出画素毎に当てはめられた前記受光量と対応するレイテンシ補正量だけ補正する
＜９＞に記載の光検出装置。
＜１１＞ 前記受光量算出部は、所定のスペクトルと、前記諧調信号とに基づいて、前記イベント検出画素の前記受光量を算出する
＜１０＞に記載の光検出装置。
＜１２＞ 前記所定のスペクトルは、前記諧調信号から推定されるスペクトルである
＜１１＞に記載の光検出装置。
＜１３＞ 前記諧調信号検出部を構成する複数の前記撮像画素には、透過する前記入射光を、複数の波長帯域にフィルタリングする複数のフィルタが、前記撮像画素毎に所定の配列でそれぞれの前段に設けられており、前記受光量算出部は、前記諧調信号に基づいた、前記複数のフィルタ毎の前記受光量の比からスペクトルを推定し、推定したスペクトルと、前記諧調信号とに基づいて、前記イベント検出画素の前記受光量を算出する
＜１２＞に記載の光検出装置。
＜１４＞ 前記受光量算出部は、前記撮像画素毎に前記受光量を算出し、前記撮像画素の位置と対応する位置の前記イベント検出画素の前記受光量として当てはめ、
前記レイテンシ補正部は、前記イベント検出画素のそれぞれの前記イベントデータに、前記イベント検出画素毎に当てはめられた前記受光量を追加することで補正する
＜９＞に記載の光検出装置。
＜１５＞ 前記イベント検出画素と、前記撮像画素とが同一の２次元平面上に配置され、前記イベント検出部、および前記諧調信号検出部が一体化した構成とされる
＜９＞に記載の光検出装置。
＜１６＞ 前記イベント検出部、および前記諧調信号検出部に加えて、前記受光量算出部が一体化した構成とされる
＜１５＞に記載の光検出装置。
＜１７＞ 前記イベント検出部、前記諧調信号検出部、および前記受光量算出部に加えて、前記レイテンシ補正部が一体化した構成とされる
＜１６＞に記載の光検出装置。
＜１８＞ 前記レイテンシ補正部は、前記受光量算出部により算出された前記イベント検出画素の前記受光量に基づいて、後段に出力する時系列の所定数の前記イベントデータからなるイベントデータ群を、前記レイテンシに相当するイベントデータ数だけシフトして出力することにより、前記イベントデータの前記レイテンシに係る情報を補正する
＜１＞に記載の光検出装置。
＜１９＞ ２次元平面に複数に配置され、光電変換を行って電気信号を生成するイベント検出画素において検出される、前記電気信号の変化であるイベントの発生を表すイベントデータを出力し、
前記イベント検出画素の受光量を算出し、
算出された前記イベント検出画素の前記受光量に基づいて、前記イベントデータにおける、レイテンシに係る情報を補正する
ステップを含む光検出方法。
＜２０＞ ２次元平面に複数に配置され、光電変換を行って電気信号を生成するイベント検出画素において検出される、前記電気信号の変化であるイベントの発生を表すイベントデータを出力するイベント検出部と、
前記イベント検出画素の受光量を算出する受光量算出部と、
前記受光量算出部により算出された前記イベント検出画素の前記受光量に基づいて、前記イベントデータにおける、レイテンシに係る情報を補正するレイテンシ補正部と
してコンピュータを機能させるプログラム。
【符号の説明】
【0276】
１０１，１０１Ａ乃至１０１Ｆ 信号処理装置， １１１ イベント信号検出センサ， １１２ 可視光センサ， １１３，１１３Ａ，１１３Ｂ 後段ISP/AP， １１４，１１４Ｂ 後段アプリケーション， １２１，１２１Ａ，１２１Ｂ イベント検出画素受光量算出部， １２２，１２２Ａ，１２２Ｂ レイテンシ補正部， １４１，１４１Ａ－１，１４１Ａ－２，１４１Ｂ レンズ， １５１ CMOSイメージセンサ， １７１ レイテンシ補正部， ２０１，２０１Ｄ，２０１Ｅ HybridEVSセンサ， ２２１，２２１Ｄ，２２１Ｅ イベントデータ取得部， ２２２，２２２Ｄ，２２２Ｅ 諧調信号取得部， ２２３，２２３Ｄ，２２３Ｅ イベント検出画素受光量算出部， ２２４，２２４Ｄ，２２４Ｅ レイテンシ補正部， ２４１，２４１Ｅ 後段ISP/AP， ２６１ 切替センサ， ２７０ 画素アレイ， ２７１ イベントデータ検出部， ２７２ 諧調信号取得部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】