特開 2023-152041 イベントセンサ、撮影システム、データ処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023152041

(43)【公開日】2023-10-16

(54)【発明の名称】イベントセンサ、撮影システム、データ処理システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231005BHJP

   H04N 7/18 20060101ALI20231005BHJP

   H04N 25/70 20230101ALI20231005BHJP

【ＦＩ】

H04N5/232 290

H04N7/18 E

H04N5/369

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022061969

(22)【出願日】2022-04-01

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】梶原 孝蔵

(72)【発明者】

【氏名】堀 淳史

【テーマコード（参考）】

5C024

5C054

5C122

【Ｆターム（参考）】

5C024BX04

5C024CY26

5C024CY42

5C024EX17

5C024GY31

5C054CA04

5C054CC02

5C054EA01

5C054EA03

5C054EA05

5C054EA07

5C054FC03

5C054FC12

5C054FC15

5C054GB01

5C054GB05

5C122DA14

5C122EA52

5C122EA59

5C122FG05

5C122FH11

5C122FH14

5C122GA34

5C122HA88

5C122HB01

(57)【要約】

【課題】イベントセンサを用いる場合に、撮影領域内に、風で揺れる草木などの定常的に動く物体があるときと、人や車両などの非定常的に動く物体があるときと、を識別する。
【解決手段】本開示のイベントセンサは、撮像素子に対応する画素ごとの輝度変化をイベントとして検出し、前記イベントが検出されたタイミングと前記イベントが発生した画素位置とを含むイベントデータを非同期に出力する撮像素子制御部と、所定時間ごとに前記イベントデータの数をカウントし、前記イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定する処理部と、前記所定条件を満たしたと前記処理部によって判定された場合、前記イベントデータを外部に出力する送信部と、を備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

撮像素子に対応する画素ごとの輝度変化をイベントとして検出し、前記イベントが検出されたタイミングと前記イベントが発生した画素位置とを含むイベントデータを非同期に出力する撮像素子制御部と、
所定時間ごとに前記イベントデータの数をカウントし、前記イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定する処理部と、
前記所定条件を満たしたと前記処理部によって判定された場合、前記イベントデータを外部に出力する送信部と、を備えるイベントセンサ。

【請求項2】

前記処理部は、前記イベントデータの数の変化量が所定閾値以上である場合に、前記所定条件を満たしたと判定する、請求項１に記載のイベントセンサ。

【請求項3】

前記処理部は、すべての前記画素のうち、所定間隔ごとの前記画素のみの前記イベントデータについて、前記所定条件を満たしたか否かを判定する、請求項１に記載のイベントセンサ。

【請求項4】

前記所定間隔は、予め定められた撮影対象物体の大きさと前記撮影対象物体までの距離に基づいて決定される、請求項３に記載のイベントセンサ。

【請求項5】

イベントセンサと、画像カメラと、記憶装置と、を備える撮影システムであって、
前記イベントセンサは、
撮像素子に対応する画素ごとの輝度変化をイベントとして検出し、前記イベントが検出されたタイミングと前記イベントが発生した画素位置とを含むイベントデータを非同期に出力する撮像素子制御部と、
所定時間ごとに前記イベントデータの数をカウントし、前記イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定する処理部と、を備え、
前記画像カメラは、前記所定条件を満たしたと前記処理部によって判定された場合、撮影を開始して撮影による画像データを前記記憶装置に記憶させる、撮影システム。

【請求項6】

イベントセンサと、データ処理装置と、記憶装置と、を備えるデータ処理システムであって、
前記イベントセンサは、
撮像素子に対応する画素ごとの輝度変化をイベントとして検出し、前記イベントが検出されたタイミングと前記イベントが発生した画素位置とを含むイベントデータを非同期に前記データ処理装置に送信し、
前記データ処理装置は、
所定時間ごとに前記イベントデータの数をカウントし、前記イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定する処理部と、
前記所定条件を満たしたと前記処理部によって判定された場合、前記イベントデータを前記記憶装置に記憶させる記憶制御部と、を備えるデータ処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、イベントセンサ、撮影システム、データ処理システムに関する。

【背景技術】

【0002】

従来から、イメージセンサの一種として、イベントセンサ（イベントカメラ）が知られている。イベントセンサは、各画素における輝度値（画素値）の変化をイベントとして検出し、例えば、検出したタイミング（時刻）、イベントが発生した画素位置（座標）、変化値（増加または減少の２値）を含むイベントデータを生成して出力する。

【0003】

イベントセンサは、輝度値の変化があった画素のみのイベントデータを出力するため、例えば、所定のフレームレートで全画素のデータを出力する従来の画像カメラと比べて、消費電力が低い。

【0004】

また、例えば、車両用の撮影システムにイベントセンサと画像カメラを用いる場合、それらの撮影領域を同じにしておく。そして、所定時間内にイベントセンサから出力されたイベントデータの数が所定閾値以上となった場合に画像カメラによる撮影を開始し、所定時間内にイベントセンサから出力されたイベントデータの数が所定閾値未満となった場合に画像カメラによる撮影を終了する。これにより、撮影領域内に人や他車両などの動く物体が存在する場合にだけ画像カメラによってそれらの撮影を行うようにして、常に画像カメラで撮影する場合に比べて消費電力を低減することができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０－１２８９４７号公報

【特許文献2】特開２０２０－１６１９８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上述の従来技術では、イベントデータの数が所定閾値以上となった場合に画像カメラによる撮影を開始するので、例えば、撮影領域内に風で揺れる草木（撮影不要物体）などがあって定常的に所定閾値以上の数のイベントデータが発生した場合には、画像カメラでの撮影を行うことになる。そのため、消費電力低減の効果が得られず、改善の余地がある。

【0007】

そこで、本発明の課題は、イベントセンサを用いる場合に、撮影領域内に、動く物体として風で揺れる草木などの定常的に動く物体だけがあるときと、人や車両などの非定常的に動く物体があるときと、を識別可能とするイベントセンサ、撮影システム、データ処理システムを提供することである。

【課題を解決するための手段】

【0008】

本開示のイベントセンサは、撮像素子に対応する画素ごとの輝度変化をイベントとして検出し、前記イベントが検出されたタイミングと前記イベントが発生した画素位置とを含むイベントデータを非同期に出力する撮像素子制御部と、所定時間ごとに前記イベントデータの数をカウントし、前記イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定する処理部と、前記所定条件を満たしたと前記処理部によって判定された場合、前記イベントデータを外部に出力する送信部と、を備える。
これにより、例えば、撮影領域内に、動く物体として風で揺れる草木などの定常的に動く物体だけがあるときは、所定条件を満たさないので、イベントデータを外部に出力しない。また、撮影領域内に、人や車両などの非定常的に動く物体があるときは、所定条件を満たすので、イベントデータを外部に出力する。つまり、両者を識別できる。これにより、消費電力を低減することができる。

【0009】

また、前記処理部は、前記イベントデータの数の変化量が所定閾値以上である場合に、前記所定条件を満たしたと判定する。
これにより、例えば、イベントデータの数の変化量が所定閾値以上か否かというシンプルな処理で、所定条件を満たしたか否かを判定できる。

【0010】

また、前記処理部は、すべての前記画素のうち、所定間隔ごとの前記画素のみの前記イベントデータについて、前記所定条件を満たしたか否かを判定する。
これにより、例えば、判定に使う画素を間引いても判定精度はあまり低下しないという特性を利用して判定精度を維持しつつ、消費電力をさらに低減できる。

【0011】

また、前記所定間隔は、予め定められた撮影対象物体の大きさと前記撮影対象物体までの距離に基づいて決定される。
これにより、例えば、所定間隔を、撮影対象物体を撮影するために適正な値とすることができる。

【0012】

また、撮影システムは、イベントセンサと、画像カメラと、記憶装置と、を備える。前記イベントセンサは、撮像素子に対応する画素ごとの輝度変化をイベントとして検出し、前記イベントが検出されたタイミングと前記イベントが発生した画素位置とを含むイベントデータを非同期に出力する撮像素子制御部と、所定時間ごとに前記イベントデータの数をカウントし、前記イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定する処理部と、を備える。前記画像カメラは、前記所定条件を満たしたと前記処理部によって判定された場合、撮影を開始して撮影による画像データを前記記憶装置に記憶させる。
これにより、例えば、撮影領域内に、動く物体として風で揺れる草木などの定常的に動く物体だけがあるときは画像カメラで撮影せず、人や車両などの非定常的に動く物体があるときは画像カメラで撮影して画像データを記憶する。つまり、両者を識別できる。これにより、必要な撮影を行いつつ、消費電力を低減することができる。

【0013】

また、データ処理システムは、イベントセンサと、データ処理装置と、記憶装置と、を備える。前記イベントセンサは、撮像素子に対応する画素ごとの輝度変化をイベントとして検出し、前記イベントが検出されたタイミングと前記イベントが発生した画素位置とを含むイベントデータを非同期に前記データ処理装置に送信する。前記データ処理装置は、所定時間ごとに前記イベントデータの数をカウントし、前記イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定する処理部と、前記所定条件を満たしたと前記処理部によって判定された場合、前記イベントデータを前記記憶装置に記憶させる記憶制御部と、を備える。
これにより、例えば、イベントセンサ側ではなく、データ処理装置側でも、イベントデータの数の変化量に関する判定を行うことができる。

【図面の簡単な説明】

【0014】

【図1】図１は、第１実施形態において、イベントセンサで定常的に動く物体を検出したときのイベントデータ数の変化に関する説明図である。

【図2】図２は、図１に対して、さらに、非定常的に動く物体も検出したときのイベントデータ数の変化に関する説明図である。

【図3】図３は、第１実施形態における各構成の配置例を示す図である。

【図4】図４は、第１実施形態のデータ処理システムの全体構成を示す図である。

【図5】図５は、第１実施形態のイベントセンサによる処理を示すフローチャートである。

【図6】図６は、第１実施形態のイベントセンサによる詳細な処理例を示すフローチャートである。

【図7】図７は、第１実施形態のデータ処理装置による処理を示すフローチャートである。

【図8】図８は、第２実施形態において、イベントセンサで一部の有効画素によって定常的に動く物体を検出したときのイベントデータ数の変化に関する説明図である。

【図9】図９は、図８に対して、さらに、非定常的に動く物体も検出したときのイベントデータ数の変化に関する説明図である。

【図10】図１０は、図９と比較して、非定常的に動く物体までの距離が長い場合の説明図である。

【図11】図１１は、第２実施形態のデータ処理システムの全体構成を示す図である。

【図12】図１２は、第２実施形態のイベントセンサによる詳細な処理例を示すフローチャートである。

【図13】図１３は、第３実施形態の各構成の配置例を示す図である。

【図14】図１４は、第３実施形態におけるイベントセンサと画像カメラの取付位置と撮影範囲の第１の例を示す図である。

【図15】図１５は、第３実施形態におけるイベントセンサと画像カメラの取付位置と撮影範囲の第２の例を示す図である。

【図16】図１６は、第３実施形態における撮影システムの全体構成を示す図である。

【図17】図１７は、第３実施形態の画像カメラなどによる処理を示すフローチャートである。

【図18】図１８は、第４実施形態のデータ処理システムの全体構成を示す図である。

【図19】図１９は、第４実施形態のデータ処理装置による処理を示すフローチャートである。

【図20】図２０は、第５実施形態の撮影システムの全体構成を示す図である。

【図21】図２１は、第５実施形態のデータ処理装置などによる処理を示すフローチャートである。

【図22】図２２は、第６実施形態のデータ処理システムの全体構成を示す図である。

【発明を実施するための形態】

【0015】

以下、本発明のイベントセンサ、撮影システム、データ処理システムの実施形態について、図面を参照して説明する。なお、以下の実施形態により本発明が限定されるものではない。また、以下の各実施形態において同一の構成には同一の符号を付し、重複する説明を適宜省略する。また、以下では、イベントデータの数のことを、単に「イベント数」と称する場合がある。

【0016】

（第１実施形態）
第１実施形態について説明する。まず、図１、図２を参照して、イベントセンサによって検出されるイベントに関する特性について説明する。図１は、第１実施形態において、イベントセンサで定常的に動く物体を検出したときのイベントデータ数の変化に関する説明図である。

【0017】

（ａ）は、画像カメラによる画像を模式的に示す図である。この画像には、風で揺れる草Ｇや木Ｗが映っている。

【0018】

（ｂ）は、撮影領域が画像カメラと同じイベントセンサによって出力された所定時間内のイベントデータを模式的に示す図である。イベントデータは、風で揺れる草Ｇや木Ｗに対応して発生している。

【0019】

（ｃ）において、（ｃ１）は、（ｂ）の場合のイベント数の時間変化の様子を示すグラフである。また、（ｃ２）は、（ｃ１）に示すイベント数の微分値の時間変化の様子を示すグラフである。ここで、イベント数の微分値とは、ある所定時間内のイベント数から、その直前の所定時間内のイベント数を引いた値である。例えば、ある所定時間内のイベント数が「１００」で、その直前の所定時間内のイベント数が「９５」の場合、イベント数の微分値はそれらの差分の「５」となる。なお、（ｃ２）のグラフは、（ｃ１）のグラフに対して厳密に描いたものではなく、おおよその様子を描いたものである。

【0020】

例えば、イベントセンサの撮影領域において、風で揺れる草Ｇや木Ｗのサイズが大きいと、イベント数は大きくなる。しかし、イベント数が大きい場合でも、（ｃ２）のグラフからわかるように、イベント数の微分値は小さい値（０付近）で推移する可能性が高い。

【0021】

次に、図２は、図１に対して、さらに、非定常的に動く物体も検出したときのイベントデータ数の変化に関する説明図である。

【0022】

（ａ）の画像カメラ画像に示すように、撮影領域内に、風で揺れる草Ｇや木Ｗのほかに人物Ｍも入ったものとする。その場合、（ｂ）に示すように、人物Ｍに対応したイベントデータも発生する。

【0023】

その場合、（ｃ１）に示すように、イベント数は、人物Ｍが撮影領域を通過する時間帯Ｔの間、他の時間帯よりも有意に大きくなる。

【0024】

そして、（ｃ２）に示すように、イベント数の微分値は、時間帯Ｔの最初に（つまり、人物Ｍが撮影領域外から撮影領域内に入ってきたときに）瞬間的に有意に大きくなり、また、時間帯Ｔの最後に（つまり、人物Ｍが撮影領域内から撮影領域外に出ていったときに）瞬間的に有意に小さくなる。

【0025】

そして、この図１と図２で説明したイベント数に関する特性を考慮することで、イベントセンサを用いる場合に、撮影領域内に、動く物体として風で揺れる草木などの定常的に動く物体だけがあるときと、人や車両などの非定常的に動く物体があるときと、を識別することができる。

【0026】

なお、撮影領域内に人物Ｍが存在する場合でも、人物Ｍが移動状態から停止状態に移行したときにはイベント数が急に減り、人物Ｍが停止状態から移動状態に移行したときにはイベント数が急に増える。

【0027】

次に、図３と図４を参照して、第１実施形態のデータ処理システムＳの構成について説明する。図３は、第１実施形態における各構成の配置例を示す図である。図４は、第１実施形態のデータ処理システムＳの全体構成を示す図である。

【0028】

データ処理システムＳは、４つのイベントセンサ１と、データ処理装置２と、記憶装置３と、を備え、それらは車両Ｃに設置される。それぞれのイベントセンサ１は、車両Ｃの周囲の人物や他車両を撮影できるように撮影領域を設定される。

【0029】

イベントセンサ１は、撮像素子１１と、撮像素子制御部１２と、処理部１３と、送信部１４と、を備える。

【0030】

撮像素子１１は、光を電気信号に変換する素子である。

【0031】

撮像素子制御部１２は、撮像素子１１に対応する画素ごとの輝度変化をイベントとして検出し、イベントが検出されたタイミングとイベントが発生した画素位置とを含むイベントデータを非同期に出力する。

【0032】

イベントデータとしては、ほかに、輝度値の変化情報を含んでもよい。この変化情報は、輝度値の変化の方向を示す情報である。具体的には、この変化情報は、輝度値の増加、減少を０、１の２値で表現した情報である。例えば、０が輝度値の減少を示し、１が輝度値の増加を示すものとすればよいが、これに限定されず、逆の対応としてもよい。

【0033】

処理部１３は、所定時間ごとにイベントデータの数をカウントし、イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定する。

【0034】

処理部１３は、例えば、イベントデータの数の変化量（上述の微分値。以下、単に「微分値」とも称する。）が所定閾値以上である場合に、所定条件を満たしたと判定する。

【0035】

処理部１３は、例えば、微分値が正の一定の閾値（例えば、図２（ｃ２）の水平方向の２本の１点鎖線のうちの上側）以上になった場合、非定常的に動く物体が撮影領域内に存在するとして、イベントデータの記録を行うための送信トリガを送信部１４に送信する。

【0036】

また、処理部１３は、例えば、微分値が負の一定の閾値（例えば、図２（ｃ２）の水平方向の２本の１点鎖線のうちの下側）以下になった場合、非定常的に動く物体が停止、または撮影領域外へ退出したとして、イベントデータの記録を停止させる。

【0037】

なお、微分値の判定に使う閾値はあらかじめ設定した値でもよいし、一定時間の微分値の平均値から算出してもよい。

【0038】

また、所定条件を満たしたか否かの判定は、上述の微分値を用いた手法に限定されない。ほかに、例えば、以下の（１）～（３）のような手法を用いてもよい。
（１）外れ値検知（検出単位：データ点）
例） ｋ近傍法
（２）異常部位検出（検出単位：部分時系列）
例） ｋ近傍法
（３）変化点検知（検出単位：変化が起きた時点）
例） ＡＲ（Auto Regressive）モデル、ＡＲＭＡ（Auto Regressive Moving Average）モデル

【0039】

送信部１４は、所定条件を満たしたと処理部１３によって判定された場合、つまり、処理部１３から送信トリガを受け取った場合、撮像素子制御部１２から受け取ったイベントデータをデータ処理装置２に送信する。

【0040】

データ処理装置２は、一時記憶部２１と、記憶制御部２２と、を備える。
一時記憶部２１は、例えばメモリ装置によって構成され、イベントセンサ１から受信したイベントデータを一時的に記憶する。

【0041】

記憶制御部２２は、一時記憶部２１に記憶されているイベントデータを記憶装置３に送信する。

【0042】

記憶装置３は、データ処理装置２から受信したイベントデータを記憶する。

【0043】

次に、図５を参照して、イベントセンサ１による処理について説明する。図５は、第１実施形態のイベントセンサ１による処理を示すフローチャートである。

【0044】

まず、ステップＳ１１において、撮像素子１１と撮像素子制御部１２によって、すべての画素ごとにイベントを検出する。

【0045】

次に、ステップＳ１２において、処理部１３は、所定の周期毎（所定時間毎）のイベントデータの数（イベント数）をカウントする。

【0046】

次に、ステップＳ１３において、処理部１３は、イベント数を時系列で配列に格納する。

【0047】

次に、ステップＳ１４において、処理部１３は、イベント数の時系列データの定常／非定常を検出する。具体的には、例えば、処理部１３は、イベント数の微分値が所定閾値以上である場合に「非定常」と判定し、イベント数の微分値が所定閾値未満である場合に「定常」と判定する。

【0048】

次に、ステップＳ１５において、処理部１３は、非定常状態か否かを判定し、Ｙｅｓの場合はステップＳ１６に進み、Ｎｏの場合はステップＳ１７に進む。

【0049】

ステップＳ１６において、送信部１４は、処理部１３から送信トリガを受け取ることにより、データ処理装置２へイベントデータを送信する。その後、ステップＳ１１に戻る。

【0050】

ステップＳ１７において、処理部１３は、イベントデータをデータ処理装置２へ転送中であるか否かを判定し、Ｙｅｓの場合はステップＳ１８に進み、Ｎｏの場合はステップＳ１１に戻る。

【0051】

ステップＳ１８において、送信部１４は、データ処理装置２へのイベントデータの送信を停止する。その後、ステップＳ１１に戻る。

【0052】

次に、図６を参照して、イベントセンサ１による詳細な処理例について説明する。図６は、第１実施形態のイベントセンサ１による詳細な処理例を示すフローチャートである。

【0053】

ステップＳ２０１において、撮像素子１１と撮像素子制御部１２によって、すべての画素ごとにイベントを検出する。

【0054】

次に、ステップＳ２０２において、処理部１３は、１つのイベントデータごとに、イベント数カウンタをインクリメント（１加算）する。

【0055】

次に、ステップＳ２０３において、処理部１３は、所定の周期（所定時間）が経過したか否かを判定し、Ｙｅｓの場合はステップＳ２０４に進み、Ｎｏの場合はステップＳ２０１に戻る。

【0056】

ステップＳ２０４において、処理部１３は、バッファ０の値（前回周期のイベント数）をバッファ１に格納する。

【0057】

次に、ステップＳ２０５において、処理部１３は、イベント数カウンタの値をバッファ０に格納する。

【0058】

次に、ステップＳ２０６において、処理部１３は、イベント数カウンタを０クリアする。

【0059】

次に、ステップＳ２０７において、処理部１３は、２周期目以降であるか否かを判定し、Ｙｅｓの場合はステップＳ２０８に進み、Ｎｏの場合はステップＳ２０１に戻る。

【0060】

ステップＳ２０８において、処理部１３は、バッファ０とバッファ１の値を微分する。つまり、バッファ０の値からバッファ１の値を引く計算をする。以下、計算結果を微分結果とも称する。

【0061】

次に、ステップＳ２０９において、処理部１３は、微分結果が所定閾値以上であるか否かを判定し、Ｙｅｓの場合はステップＳ２１０に進み、Ｎｏの場合はステップＳ２１１に進む。

【0062】

ステップＳ２１０において、送信部１４は、イベントデータをデータ処理装置２へ送信する。その後、ステップＳ２０１に戻る。

【0063】

ステップＳ２１１において、処理部１３は、イベントデータをデータ処理装置２へ転送中であるか否かを判定し、Ｙｅｓの場合はステップＳ２１２に進み、Ｎｏの場合はステップＳ２０１に戻る。

【0064】

ステップＳ２１２において、送信部１４は、イベントデータのデータ処理装置２への送信を停止する。その後、ステップＳ２０１に戻る。

【0065】

次に、図７を参照して、データ処理装置２による処理について説明する。図７は、第１実施形態のデータ処理装置２による処理を示すフローチャートである。

【0066】

ステップＳ３１において、データ処理装置２は、イベントセンサ１からイベントデータを受信する。

【0067】

次に、ステップＳ３２において、データ処理装置２は、一時記憶部２１へイベントデータを格納する。

【0068】

次に、ステップＳ３３において、データ処理装置２の記憶制御部２２は、記憶装置３へイベントデータを送信して保存させる。

【0069】

このように、第１実施形態によれば、イベントセンサ１を用いる場合に、撮影領域内に、動く物体として風で揺れる草木などの定常的に動く物体だけがあるときと、人や車両などの非定常的に動く物体があるときと、を識別することができる。つまり、イベントセンサ１は、撮影領域内に、動く物体として定常的に動く物体だけがあるときは、所定条件を満たさない（例えば微分値が所定閾値以上にならない）ので、イベントデータを外部（データ処理装置２）に出力しない。また、イベントセンサ１は、撮影領域内に、非定常的に動く物体があるときは、所定条件を満たす（例えば微分値が所定閾値以上になる）ので、イベントデータを外部（データ処理装置２）に出力する。

【0070】

これにより、例えば、撮影領域内に背景で定常的に動く草木の様な物体のみ存在する場合はイベントデータの記録を行わず、監視するべき非定常的に動く物体（人、他車両など）が存在する場合のみイベントデータの記録を行うことで、性能を落とすことなく、消費電力を低減することができる。また、データ処理装置２や記憶装置３における記憶容量を小さくできる。

【0071】

また、処理部１３は、微分値が所定閾値以上である場合に所定条件を満たしたと判定することにより、シンプルな処理で、所定条件を満たしたか否かを判定できる。

【0072】

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態では、第１実施形態と違って、イベントセンサ１において、処理部１３は、すべての画素のうち、所定間隔ごとの画素のみのイベントデータについて、所定条件を満たしたか否かを判定する。

【0073】

図８は、第２実施形態において、イベントセンサ１で一部の有効画素によって定常的に動く物体を検出したときのイベントデータ数の変化に関する説明図である。

【0074】

（ａ）は、画像カメラによる画像を模式的に示す図である。符号ｑは有効画素を示す。そして、（ｂ）に示すように、すべての画素のうちの有効画素について風で揺れる草Ｇや木Ｗに対応した部分についてイベントデータが発生している。

【0075】

また、（ｃ）の（ｃ１）と（ｃ２）のグラフからわかるように、全画素でイベントを検出する場合に比べて（図１の（ｃ１）と（ｃ２）参照）、有効画素の数に比例してイベント数と微分値は減少するが、イベント数の変化の傾向はあまり変わらない。

【0076】

ここで、図９は、図８に対して、さらに、非定常的に動く物体も検出したときのイベントデータ数の変化に関する説明図である。図９からわかるように、全画素でイベントを検出する場合に比べて（図２の（ｃ１）と（ｃ２）参照）、人や車両のような非定常的に動く物体によるイベント数の変化の傾向はあまり変わらない。

【0077】

次に、図１０は、図９と比較して、非定常的に動く物体までの距離が長い場合の説明図である。（ａ）、（ｂ）に示すように、画面（撮影領域）内での非定常的に動く物体（人物Ｍ）のサイズが小さいと、有効画素９で常時検出されづらい場合が考えられる。

【0078】

その場合、（ｃ）の（ｃ１）、（ｃ２）に示すように、イベント数と微分値の増減は無くなるか、または、無視できる程度に小さくなってしまう。

【0079】

そこで、有効画素間の所定間隔は、イベントセンサ１の画素数、予め定められた撮影対象物体の大きさ、撮影対象物体までの距離、レンズのパラメータなどに基づいて、適切な値を決定しておくことができる。

【0080】

つまり、検出したい動く物体の大きさと距離の条件が決まっている場合、その物体までの距離が所定距離以上の場合はイベント数、微分値の増減が小さくなり、その物体までの距離が所定距離未満の場合はイベント数、微分値の増減が大きくなるようにすることで、不要な検出を回避するとともに、画素数の削減によって消費電力をさらに低減できる。

【0081】

なお、所定間隔の画素の有効化については、イベントセンサ１の画素ごとでイベント検出の有効／無効を設定することで実現してもよいし（以下、有効画素ハード実現と称する。）、あるいは、イベントセンサ１やデータ処理装置２でのデータ処理で無効画素（有効画素以外の画素）のイベントデータを無視することで実現してもよい（以下、有効画素ソフト実現と称する。）。

【0082】

次に、図１１を参照して、データ処理システムＳの全体構成について説明する。図１１は、第２実施形態のデータ処理システムＳの全体構成を示す図である。

【0083】

有効画素ハード実現の場合、撮像素子制御部１２は、処理部１３と送信部１４に対して、一定間隔（所定間隔）画素のイベントデータを送信する。その場合、送信トリガを受けた送信部１４からデータ処理装置２を経由して記憶装置３に、一定間隔画素のイベントデータが送信される。

【0084】

有効画素ソフト実現の場合、撮像素子制御部１２は、送信部１４に対して全画素のイベントデータを送信し、処理部１３に対して一定間隔画素のイベントデータを送信する。その場合、送信トリガを受けた送信部１４からデータ処理装置２を経由して記憶装置３に、全画素のイベントデータが送信される。

【0085】

いずれの場合でも、処理部１３は、一定間隔画素のイベントデータについて、所定条件を満たしたか否かを判定する。

【0086】

次に、図１２を参照して、有効画素ソフト実現の場合のイベントセンサ１による詳細な処理例について説明する。図１２は、第２実施形態のイベントセンサ１による詳細な処理例を示すフローチャートである。

【0087】

ステップＳ４０１において、撮像素子１１と撮像素子制御部１２によって、すべての画素ごとにイベントを検出する。

【0088】

次に、ステップＳ４０２において、撮像素子制御部１２は、検出されたイベントについて、有効画素のものか否かを判定し、Ｙｅｓの場合はステップＳ４０３に進み、Ｎｏの場合はステップＳ４０１に戻る。

【0089】

ステップＳ４０３～Ｓ４１３については、図６のステップＳ２０２～Ｓ２１２と同様である。

【0090】

このように、第２実施形態によれば、判定に使う画素を間引いても判定精度はあまり低下しないという特性を利用して判定精度を維持しつつ、消費電力をさらに低減できる。

【0091】

また、所定間隔を、少なくとも予め定められた撮影対象物体の大きさと撮影対象物体までの距離に基づいて決定することで、撮影対象物体を撮影するために適正な値とすることができる。つまり、撮影対象物体が所望の距離まで近づいてきたとき以降のイベントデータを記憶することができる。

【0092】

なお、有効画素ハード実現の場合、図１２におけるステップＳ４０２の処理は不要となる。

【0093】

（第３実施形態）
次に、第３実施形態について説明する。第３実施形態では、イベントセンサ１、データ処理装置２、記憶装置３に加えて、画像カメラ４、表示部５も備えた撮影システムＳａ（図１６）について説明する。

【0094】

図１３は、第３実施形態の各構成の配置例を示す図である。図３と比較して、それぞれのイベントセンサ１に対して、撮影領域が共通の画像カメラ４が追加されている。

【0095】

図１４は、第３実施形態におけるイベントセンサ１と画像カメラ４の取付位置と撮影範囲の第１の例を示す図である。この第１の例では、イベントセンサ１と画像カメラ４の４組のセットによって、撮影範囲Ｒとして車両Ｃの全周囲がカバーされている。

【0096】

次に、図１５は、第３実施形態におけるイベントセンサ１と画像カメラ４の取付位置と撮影範囲の第２の例を示す図である。この第２の例では、イベントセンサ１と画像カメラ４の１組のセットによって、撮影範囲Ｒとして車両Ｃの全周囲がカバーされている。

【0097】

図１６は、第３実施形態における撮影システムＳａの全体構成を示す図である。処理部１３は、微分値が正の一定の閾値以上になった場合、非定常的に動く物体が撮影領域内に存在するとして、画像カメラ４によって撮影を行うための撮影トリガを画像カメラ４に送信する。

【0098】

画像カメラ４は、処理部１３から撮影トリガを受信した場合、撮影を開始する。画像カメラ４の撮影による画像データは、データ処理装置２の記憶制御部２２を経由して記憶装置３に記憶され、また、表示部５に表示される。

【0099】

図１７は、第３実施形態の画像カメラ４などによる処理を示すフローチャートである。ステップＳ５１において、画像カメラ４は、イベントセンサ１の処理部１３から撮影トリガを受信する。

【0100】

次に、ステップＳ５２において、画像カメラ４は、画像を撮影する。
次に、ステップＳ５３において、画像カメラ４は、画像データを、データ処理装置２の記憶制御部２２を経由して記憶装置３へ保存させる。

【0101】

また、ステップＳ５４において、画像カメラ４は、画像データを表示部５で表示させる。

【0102】

このように、第３実施形態によれば、例えば、撮影領域内に、動く物体として風で揺れる草木などの定常的に動く物体だけがあるときは画像カメラ４で撮影せず、人や車両などの非定常的に動く物体があるときは画像カメラ４で撮影して画像データを記憶する。これにより、必要な撮影と記録を行いつつ、消費電力を低減することができる。

【0103】

（第４実施形態）
次に、第４実施形態について説明する。図１８は、第４実施形態のデータ処理システムＳの全体構成を示す図である。図１８のデータ処理システムＳは、図４のデータ処理システムＳに対して、データ処理装置２の画像再構成処理部２３と表示部５が追加されている。

【0104】

画像再構成処理部２３は、種々の画像再構成手法（例えば、ニューラルネットワークを用いた深層学習による手法）に基づいて、イベントデータから画像データを再構成する処理を実行する。作成した画像データは、記憶制御部２２を経由して記憶装置３に記憶されたり、表示部５に表示されたりする。

【0105】

図１９は、第４実施形態のデータ処理装置２による処理を示すフローチャートである。ステップＳ６１において、データ処理装置２は、イベントセンサ１からイベントデータを受信する。

【0106】

次に、ステップＳ６２において、データ処理装置２は、一時記憶部２１へイベントデータを格納する。

【0107】

次に、ステップＳ６３において、画像再構成処理部２３は、イベントデータから画像データを再構成する処理を実行する。

【0108】

次に、ステップＳ６４において、記憶制御部２２は、再構成画像を記憶装置３へ保存する。

【0109】

また、ステップＳ６５において、データ処理装置２は、再構成画像を表示部５で表示させる。

【0110】

このように、第４実施形態によれば、微分値が所定閾値以上になった場合にだけイベントセンサ１からデータ処理装置２にイベントデータを送信するので、データ処理装置２によるイベントデータに基づく画像再構成処理を必要なときにだけ行って、消費電力を低減できる。

【0111】

（第５実施形態）
次に、第５実施形態について説明する。図２０は、第５実施形態の撮影システムＳａの全体構成を示す図である。図２０の撮影システムＳａは、図１６の撮影システムＳａに対して、データ処理装置２に画像再構成処理部２３と認識処理部２４が追加されている。

【0112】

認識処理部２４は、種々の画像認識手法とイベントデータに基づいて、撮影対象物体（人物、車両など）に関する認識処理を実行する。認識処理部２４は、撮影対象物体を認識すると、画像再構成トリガを画像再構成処理部２３に送信する。

【0113】

画像再構成処理部２３は、画像再構成トリガを受信すると、図１８の場合と同様の画像再構成処理を行う。作成した画像データは、記憶制御部２２を経由して記憶装置３に記憶されたり、表示部５に表示されたりする。

【0114】

また、認識処理部２４は、撮影対象物体を認識すると、撮影トリガを画像カメラ４に送信する。画像カメラ４は、撮影トリガを受信すると、撮影を開始する。画像カメラ４の撮影による画像データは、データ処理装置２の記憶制御部２２を経由して記憶装置３に記憶されたり、表示部５に表示されたりする。

【0115】

図２１は、第５実施形態のデータ処理装置２などによる処理を示すフローチャートである。ステップＳ７１において、データ処理装置２は、イベントセンサ１からイベントデータを受信する。

【0116】

次に、ステップＳ７２において、データ処理装置２は、一時記憶部２１へイベントデータを格納する。

【0117】

次に、ステップＳ７３において、認識処理部２４は、イベントデータに基づいて、撮影対象物体に関する認識処理を実行する。

【0118】

次に、ステップＳ７４において、認識処理部２４は、撮影対象物体を認識すると、画像再構成トリガを画像再構成処理部２３に送信し、撮影トリガを画像カメラ４に送信する。

【0119】

次に、ステップＳ７５において、記憶制御部２２は、画像カメラ４によって撮影された画像データと、画像再構成処理部２３によって作成された再構成画像（画像データ）を、記憶装置３へ保存する。

【0120】

また、ステップＳ７６において、データ処理装置２は、画像カメラ４によって撮影された画像データと、画像再構成処理部２３によって作成された再構成画像を、表示部５で表示させる。

【0121】

このように、第５実施形態によれば、微分値が正の一定の閾値以上になった場合にだけイベントセンサ１からデータ処理装置２にイベントデータを送信し、さらに、認識処理部２４によって撮影対象物体が認識されたときにだけ、画像再構成処理部２３による画像再構成処理や画像カメラ４による撮影を行う。これにより、さらに効果的に消費電力を低減できる。

【0122】

（第６実施形態）
次に、第６実施形態について説明する。図２２は、第６実施形態のデータ処理システムＳの全体構成を示す図である。図４と比較して、イベントセンサ１から処理部１３がなくなり、データ処理装置２に処理部２５が追加されている点で異なっている。

【0123】

処理部２５は、所定時間ごとにイベントデータの数をカウントし、イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定し、所定条件を満たした場合は保存トリガを記憶制御部２２に送信する。

【0124】

記憶制御部２２は、保存トリガを受信すると、イベントデータを記憶装置３に保存する。

【0125】

このように、第６実施形態によれば、イベントセンサ１側ではなく、データ処理装置２側でも、イベントデータの数の変化量に関する判定を行うことができる。

【0126】

以上、本開示の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

【0127】

例えば、定常的に動く物体は、風で揺れる草木に限定されない。ほかに、例えば、風に揺れる旗や、強度が変化する太陽光の当たっている物体や、点滅する光の光源やその光が当たっている物体などが考えられる。

【0128】

また、非定常的に動く物体は、人物や車両に限定されない。ほかに、例えば、走行中の自転車、走行中の自動二輪車、動いている動物（犬、猫など）、移動中の移動ロボットなどが考えられる。

【符号の説明】

【0129】

１…イベントセンサ、２…データ処理装置、３…記憶装置、４…画像カメラ、５…表示部、１１…撮像素子、１２…撮像素子制御部、１３…処理部、１４…送信部、２１…一時記憶部、２２…記憶制御部、２３…画像再構成処理部、２４…認識処理部、２５…処理部、Ｃ…車両、Ｇ…草、Ｍ…人物、Ｗ…木、Ｓ…データ処理システム、Ｓａ…撮影システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】