特許 7538583 検知システムおよび検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-14

(45)【発行日】2024-08-22

(54)【発明の名称】検知システムおよび検知方法

(51)【国際特許分類】

   G06T 7/174 20170101AFI20240815BHJP

   G06T 5/50 20060101ALI20240815BHJP

【ＦＩ】

G06T7/174

G06T5/50

【請求項の数】 19

(21)【出願番号】P 2022092962

(22)【出願日】2022-06-08

(65)【公開番号】P2023179970

(43)【公開日】2023-12-20

【審査請求日】2023-05-25

(73)【特許権者】

【識別番号】322003857

【氏名又は名称】パナソニックオートモーティブシステムズ株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】湯峯 学

(72)【発明者】

【氏名】宋 昇司

(72)【発明者】

【氏名】古宮 成

(72)【発明者】

【氏名】山形 道弘

(72)【発明者】

【氏名】園田 豊

(72)【発明者】

【氏名】岩井 浩

(72)【発明者】

【氏名】飯島 友邦

(72)【発明者】

【氏名】野口 善光

(72)【発明者】

【氏名】鎗野 真

(72)【発明者】

【氏名】二瓶 祐輔

【審査官】鈴木 圭一郎

(56)【参考文献】

【文献】国際公開第２０２０／１９５７６９（ＷＯ，Ａ１）

【文献】特開２０２２－０５４０５７（ＪＰ，Ａ）

【文献】中国特許出願公開第１１３７８５５６０（ＣＮ，Ａ）

【文献】特開２０１８－０５０１１３（ＪＰ，Ａ）

【文献】特開２０１８－１０６２３９（ＪＰ，Ａ）

【文献】国際公開第２０１６／１１１２３９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／１７４

Ｇ０６Ｔ ５／５０

(57)【特許請求の範囲】

【請求項1】

検知対象物から各画素が受ける光の量に基づいて生成される画像データと、前記検知対象物から各画素が受ける光の量の変化に基づいて生成されるイベントデータとを取得する取得部と、
前記画像データからの前記検知対象物の検知を補助するために用いられる情報を補助情報として前記イベントデータから抽出する処理部と、
少なくとも前記画像データおよび前記補助情報に基づいて、前記検知対象物または前記検知対象物の状態を検知する検知部と、
を備え、
前記処理部は、
前記画像データにおいて、白飛びまたは黒つぶれの現象が生じている領域を第１処理対象領域として検出する白黒検出部と、
前記現象が生じている時刻に、前記第１処理対象領域に対応する位置において発生したイベントを示す情報を、前記イベントデータから前記補助情報として抽出し、前記イベントを表すイベント画像を、前記画像データの前記第１処理対象領域に合成することによって合成画像を生成する画像合成部とを備え、
前記検知部は、前記合成画像に基づいて、前記検知対象物または前記検知対象物の状態を検知する、
検知システム。

【請求項2】

前記画像合成部は、
白飛びが前記現象として生じている場合には、
前記第１処理対象領域の画像と異なる色の前記イベント画像、または、前記第１処理対象領域の画像よりも輝度レベルが低い前記イベント画像を、前記第１処理対象領域に合成し、
黒つぶれが前記現象として生じている場合には、
前記第１処理対象領域の画像と異なる色の前記イベント画像、または、前記第１処理対象領域の画像よりも輝度レベルが高い前記イベント画像を、前記第１処理対象領域に合成する、
請求項１に記載の検知システム。

【請求項3】

前記画像データがグローバルシャッタ方式の撮像によって生成され、前記画像データ内に、前記第１処理対象領域を含むフレームがある場合、
前記画像合成部は、
前記現象が生じている前記時刻を、前記フレームが生成されるタイミングに応じて決定する、
請求項１に記載の検知システム。

【請求項4】

前記画像データがローリングシャッタ方式の撮像によって生成され、前記画像データ内に、前記第１処理対象領域を含むフレームがある場合、
前記画像合成部は、
前記現象が生じている前記時刻を、前記フレームに含まれる複数のラインのうち、前記第１処理対象領域の少なくとも一部を含むラインが生成されるタイミングに応じて決定する、
請求項１に記載の検知システム。

【請求項5】

検知対象物から各画素が受ける光の量に基づいて生成される画像データと、前記検知対象物から各画素が受ける光の量の変化に基づいて生成されるイベントデータとを取得する取得部と、
前記画像データからの前記検知対象物の検知を補助するために用いられる情報を補助情報として前記イベントデータから抽出する処理部と、
少なくとも前記画像データおよび前記補助情報に基づいて、前記検知対象物または前記検知対象物の状態を検知する検知部と、
を備え、
前記処理部は、
前記イベントデータから、閾値以上の周波数でプラスのイベントとマイナスのイベントとが繰り返し発生している領域を検出し、前記領域が点滅していることを示す情報を前記補助情報として抽出する点滅検出部と、
前記画像データにおける、前記補助情報によって示される前記領域に対応する第２処理対象領域に、前記検知対象物が点灯していることを示す点灯画像を合成することによって合成画像を生成する画像合成部とを備え、
前記検知部は、前記合成画像に基づいて、前記検知対象物または前記検知対象物の状態を検知する、
検知システム。

【請求項6】

前記処理部は、
前記イベントデータから、閾値以上の周波数でプラスのイベントとマイナスのイベントとが繰り返し発生している領域を検出し、前記領域が点滅していることを示す情報を、前記補助情報のうちの第１補助情報として抽出する点滅検出部を備え、
前記画像合成部は、
（ａ）前記現象が生じている時刻に、前記第１処理対象領域に対応する位置において発生したイベントを示す情報を、前記補助情報のうちの第２補助情報として前記イベントデータから抽出し、前記イベントを表すイベント画像を、前記画像データの前記第１処理対象領域に合成し、（ｂ）前記画像データにおける、前記第１補助情報によって示される前記領域に対応する第２処理対象領域に、前記検知対象物が点灯していることを示す点灯画像を合成することによって、前記合成画像を生成する、
請求項１に記載の検知システム。

【請求項7】

前記処理部は、
前記イベントデータから、閾値以上の周波数でプラスのイベントとマイナスのイベントとが繰り返し発生している領域を検出し、前記領域が点滅していることを示す情報を、前記補助情報のうちの第１補助情報として抽出する点滅検出部を備え、
前記画像合成部は、
前記現象が生じている時刻に、前記第１処理対象領域に対応する位置において発生したイベントを示す情報を、前記補助情報のうちの第２補助情報として前記イベントデータから抽出し、前記イベントを表すイベント画像を、前記画像データの前記第１処理対象領域に合成することによって前記合成画像を生成し、
前記検知部は、
前記画像データにおける、前記第１補助情報によって示される前記領域に対応する第２処理対象領域が点滅していると判定し、前記判定結果と前記合成画像とに基づいて、前記検知対象物または前記検知対象物の状態を検知する、
請求項１に記載の検知システム。

【請求項8】

前記検知システムは、
取得された前記イベントデータを、座標データを含まずに画像を示すフレーム化イベントデータに変換するフレーム化部をさらに備え、
前記検知部は、
前記画像データおよび前記補助情報と、前記フレーム化イベントデータとに基づいて、前記検知対象物または前記検知対象物の状態を検知する、
請求項５に記載の検知システム。

【請求項9】

前記フレーム化部は、
前記フレーム化イベントデータに前記補助情報を付加して出力する、
請求項８に記載の検知システム。

【請求項10】

前記フレーム化部は、
前記フレーム化イベントデータが前記画像データに同期するように前記イベントデータを変換する、
請求項８または９に記載の検知システム。

【請求項11】

前記検知システムは、
前記画像データを生成するための複数の第１画素と、前記イベントデータを生成するための複数の第２画素とが配列されたセンサをさらに備える、
請求項１に記載の検知システム。

【請求項12】

前記複数の第１画素は、それぞれ互に異なる色の光に対して受光感度を有する複数種の画素を含み、
前記複数の第２画素のそれぞれは、クリアの光に対して受光感度を有する、
請求項１１に記載の検知システム。

【請求項13】

前記複数の第１画素は、それぞれ互に異なる色の光に対して受光感度を有する複数種の画素を含み、
前記複数の第２画素のそれぞれは、赤色の光に対して受光感度を有する、
請求項１１に記載の検知システム。

【請求項14】

前記複数の第１画素は、赤色の光に対して受光感度を有する画素と、赤色以外の色の光に対して受光感度を有する画素とを含み、
前記複数の第２画素は、赤色の光に対して受光感度を有する画素と、クリアの光に対して受光感度を有する画素とを含む、
請求項１１に記載の検知システム。

【請求項15】

前記複数の第１画素は、赤色の光に対して受光感度を有する画素と、黄色の光に対して受光感度を有する画素と、赤色および黄色以外の色の光に対して受光感度を有する画素とを含み、
前記複数の第２画素は、赤色の光に対して受光感度を有する画素と、黄色の光に対して受光感度を有する画素と、クリアの光に対して受光感度を有する画素とを含む、
請求項１１に記載の検知システム。

【請求項16】

前記複数の第２画素は、前記複数の第１画素よりも少ない、
請求項１１に記載の検知システム。

【請求項17】

前記複数の第１画素は、それぞれ互いに異なるダイナミックレンジを有する複数種の画素を含む、
請求項１１～１６の何れか１項に記載の検知システム。

【請求項18】

検知対象物から各画素が受ける光の量に基づいて生成される画像データと、前記検知対象物から各画素が受ける光の量の変化に基づいて生成されるイベントデータとを取得する第１ステップと、
前記画像データからの前記検知対象物の検知を補助するために用いられる情報を補助情報として前記イベントデータから抽出する第２ステップと、
少なくとも前記画像データおよび前記補助情報に基づいて、前記検知対象物または前記検知対象物の状態を検知する第３ステップとを含み、
前記第２ステップでは、
前記画像データにおいて、白飛びまたは黒つぶれの現象が生じている領域を第１処理対象領域として検出し、
前記現象が生じている時刻に、前記第１処理対象領域に対応する位置において発生したイベントを示す情報を、前記イベントデータから前記補助情報として抽出し、前記イベントを表すイベント画像を、前記画像データの前記第１処理対象領域に合成することによって合成画像を生成し、
前記第３ステップでは、
前記合成画像に基づいて、前記検知対象物または前記検知対象物の状態を検知する、
検知方法。

【請求項19】

検知対象物から各画素が受ける光の量に基づいて生成される画像データと、前記検知対象物から各画素が受ける光の量の変化に基づいて生成されるイベントデータとを取得する第１ステップと、
前記画像データからの前記検知対象物の検知を補助するために用いられる情報を補助情報として前記イベントデータから抽出する第２ステップと、、
少なくとも前記画像データおよび前記補助情報に基づいて、前記検知対象物または前記検知対象物の状態を検知する第３ステップとを含み、
前記第２ステップでは、
前記イベントデータから、閾値以上の周波数でプラスのイベントとマイナスのイベントとが繰り返し発生している領域を検出し、前記領域が点滅していることを示す情報を前記補助情報として抽出し、
前記画像データにおける、前記補助情報によって示される前記領域に対応する第２処理対象領域に、前記検知対象物が点灯していることを示す点灯画像を合成することによって合成画像を生成し、
前記第３ステップでは、
前記合成画像に基づいて、前記検知対象物または前記検知対象物の状態を検知する、
検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像された検知対象物を検知するシステムなどに関する。

【背景技術】

【0002】

従来、イベント検出装置と撮像装置とを備えたシステムが提案されている（例えば、特許文献１参照。）。イベント検出装置は、複数の画素のそれぞれで、その画素が受ける光の変化量が所定の閾値を超えたことをイベントとして検出する。システムは、そのイベントと、撮像装置の撮像によって得られる画像とを用いて、検知対象物の状態を検知する。例えば、路面の状態が検知対象物の状態として検知される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１６１９９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記特許文献１のシステムでは、イベント検出装置から大量のイベントデータが出力される場合がある。そのようなイベントデータが、検知対象物またはその検知対象物の状態の検知に直接的に用いられると、その検知にかかる処理負担が増大するという課題がある。

【0005】

そこで、本開示は、検知対象物またはその検知対象物の状態の検知にかかる処理負担を軽減することができる検知システムなどを提供する。

【課題を解決するための手段】

【0006】

本開示の一態様に係る検知システムは、検知対象物から各画素が受ける光の量に基づいて生成される画像データと、前記検知対象物から各画素が受ける光の量の変化に基づいて生成されるイベントデータとを取得する取得部と、前記画像データからの前記検知対象物の検知を補助するために用いられる情報を補助情報として前記イベントデータから抽出する処理部と、少なくとも前記画像データおよび前記補助情報に基づいて、前記検知対象物または前記検知対象物の状態を検知する検知部と、を備える。

【0007】

なお、これらの包括的または具体的な態様は、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。

【発明の効果】

【0008】

本開示の検知システムは、処理負担の軽減を図ることができる。

【0009】

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施の形態並びに明細書および図面に記載された構成によってそれぞれ提供されるが、必ずしも全てが提供される必要はない。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態１における検知システムが搭載された車両の一例を示す図である。

【図2】図２は、実施の形態１における検知システムの基本的な構成の一例を示すブロック図である。

【図3】図３は、実施の形態１における検知システムの概略構成の一例を示す図である。

【図4】図４は、実施の形態１における検知システムの具体的な構成の一例を示すブロック図である。

【図5】図５は、実施の形態１における前処理部の構成の一例を示すブロック図である。

【図6】図６は、実施の形態１における検知システムによって白飛び領域および黒つぶれ領域に対して画像が合成される一例を示す図である。

【図7】図７は、実施の形態１における検知システムによって、高速点滅している領域に対して画像が合成される一例を示す図である。

【図8】図８は、実施の形態１における検知システムの処理対象とされる信号機の赤灯部の高速点滅およびイベントデータの一例を示す図である。

【図9】図９は、実施の形態１における検知システムの処理対象とされる信号機の赤灯部の高速点滅およびイベントデータの他の例を示す図である。

【図10】図１０は、実施の形態１における画像合成部による赤信号の判定処理を説明するための図である。

【図11】図１１は、実施の形態１における画像合成部の処理動作の一例を示すフローチャートである。

【図12】図１２は、実施の形態１における、画像データとイベントデータとの対応関係の一例を示す図である。

【図13】図１３は、実施の形態１における、画像データとイベントデータとの対応関係の他の例を示す図である。

【図14】図１４は、実施の形態１における、画像センサのイメージ画素とイベントセンサのイベント画素との対応関係の一例を示す図である。

【図15】図１５は、実施の形態１における検知システムの概略的な処理動作の一例を示す図である。

【図16】図１６は、実施の形態１の変形例１における前処理部の構成の一例を示すブロック図である。

【図17】図１７は、実施の形態１の変形例１における前処理部の構成の他の例を示すブロック図である。

【図18】図１８は、実施の形態１の変形例２における前処理部の構成の一例を示すブロック図である。

【図19】図１９は、実施の形態１の変形例２における検知部の処理動作を説明するための図である。

【図20】図２０は、実施の形態１の変形例２における前処理部の構成の他の例を示すブロック図である。

【図21】図２１は、実施の形態１の変形例２における前処理部の構成のさらに他の例を示すブロック図である。

【図22】図２２は、実施の形態２における検知システムの具体的な構成の一例を示すブロック図である。

【図23】図２３は、実施の形態２におけるフレーム処理部の詳細な構成の一例を示すブロック図である。

【図24】図２４は、実施の形態２における前処理部の詳細な構成の一例を示すブロック図である。

【図25】図２５は、実施の形態２の変形例における前処理部の詳細な構成の一例を示すブロック図である。

【図26】図２６は、実施の形態２の変形例におけるフレーム処理部の詳細な構成の他の例を示すブロック図である。

【図27】図２７は、実施の形態２の変形例における前処理部の詳細な構成の他の例を示すブロック図である。

【図28】図２８は、実施の形態２の変形例におけるフレーム処理部の詳細な構成のさらに他の例を示すブロック図である。

【図29】図２９は、実施の形態２の変形例におけるフレーム処理部の詳細な構成のさらに他の例を示すブロック図である。

【図30】図３０は、実施の形態３における検知システムの具体的な構成の一例を示すブロック図である。

【図31】図３１は、実施の形態３におけるハイブリッドセンサの構成の一例を示す図である。

【図32】図３２は、実施の形態３におけるハイブリッドセンサの構成の他の例を示す図である。

【図33】図３３は、実施の形態２および３の変形例における検知処理部の構成の一例を示す図である。

【発明を実施するための形態】

【0011】

（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した上記特許文献１のシステムに関し、以下の問題が生じることを見出した。

【0012】

上記特許文献１のシステムは、上述のように、イベント検出装置と、撮像装置とを備える。撮像装置による撮像によって得られる画像データには、被写体が検知対象物として映し出されている。したがって、この画像データを用いれば、その画像データに映し出されている検知対象物と、その検知対象物の状態とを検知することができる。しかし、その画像データに検知対象物またはその検知対象物の状態が鮮明に映し出されてない場合がある。例えば、白飛びまたは黒つぶれの現象が生じる場合には、画像データに含まれるフレーム内のその現象が生じている領域では、検知対象物が鮮明に映し出されていない。なお、黒つぶれは、黒沈みとも呼ばれる。このような現象は、例えば、撮像装置が車両に搭載されて、その車両がトンネルの入口または出口を走行するときに生じ得る。つまり、周囲の明るさの急激な変化に対して、撮像装置の自動露光調整機能による露光調整が迅速に動作しないために、上述の現象が生じ得る。また、夜間に対向車両のヘッドライトからの光を撮像装置が受けているときには、大きなダイナミックレンジが必要とされる。このような場合にも、白飛びまたは黒つぶれの現象が生じ得る。このような白飛び、黒つぶれなどの現象が生じる場合には、検知対象物またはその検知対象物の状態を適切に検知することができない。

【0013】

また、信号機の灯部は、高速点滅することによって、その灯部が点灯していることを人に知らせる。例えば、赤灯部は、高速点滅することによって、赤灯部が点灯していること、すなわち、赤信号が表示されていることを人に報知する。具体的には、赤灯部は、１００Ｈｚの周波数で、かつ５０％のデューティ比で点滅する。このときの赤灯部の点灯時間および消灯時間はそれぞれ５ｍ秒である。したがって、撮像装置の露光期間が５ｍ秒未満である場合には、赤灯部が赤信号を表示するために高速点滅していても、赤灯部が消灯しているタイミングに、撮像装置の露光が行われることがある。この場合、画像データには、消灯している赤灯部が映し出されて、その画像データだけでは、赤信号は表示されていないといった誤った検知が行われてしまう。そのため、撮像装置の露光期間を例えば１０ｍ秒以上にするという制約を設けることによって、その誤った検知を抑制することができる。つまり、点灯している赤灯部が映し出されている画像データを得るためには、撮像装置の露光期間に下限を設ける必要がある。しかし、露光期間を下限よりも短くできないため、例えば太陽の逆光があるような明るいシーンの撮像では、白飛びが生じ易くなるという別の問題が生じ得る。

【0014】

そこで、イベント検出装置によって検出されるイベントを示すイベントデータを用いれば、白飛びまたは黒つぶれの現象が生じていても、検知対象物またはその検知対象物の状態を適切に検知することができる可能性がある。つまり、画像データに対する認識処理と、イベントデータに対する認識処理とを行うことによって、検知対象物またはその検知対象物の状態を検知することができる。

【0015】

しかし、イベント検出装置が例えば車両などに搭載される場合、そのイベント検出装置のセンシング領域は、車両の走行によって大きく変化する。なお、センシング領域は、撮像装置の撮像範囲に相当する領域である。例えば、車両が右折または左折すると、撮像装置のパンのように、センシング領域の全体が変化する。その結果、大量のイベントが発生するため、イベント検出装置は、撮像装置の画像データよりも多いデータ量のイベントデータを出力する。したがって、このイベントデータに対して、画像データよりも高いデータ転送レートが必要とされる。そして、検知対象物の検知を行うＥＣＵ（Electronic Control Unit）などのデバイスにそのイベントデータを伝送する必要があるため、データ転送量が膨大である。そして、画像データだけでなく、このようなイベントデータに対して認識処理を行う場合には、膨大な処理負担が要求される。

【0016】

また、イベントデータに対する認識処理には、画像認識処理技術を用いることができない。例えば、画像認識用の既存のＣＮＮ（Convolutional Neural Network）などを、イベントデータに対する認識処理に用いることができない。さらに、ＣＮＮなどの機械学習による認識処理がイベントデータに対して行われる場合には、過去から蓄積された学習用画像を用いることができない。したがって、検知対象物の検知にイベントデータを直接的に用いる場合には、新たな認識処理技術を開発する必要があり、新たなに大量の学習用または検証用のイベントデータを用意する必要がある。

【0017】

そこで、本開示の第１態様では、検知システムは、検知対象物から各画素が受ける光の量に基づいて生成される画像データと、前記検知対象物から各画素が受ける光の量の変化に基づいて生成されるイベントデータとを取得する取得部と、前記画像データからの前記検知対象物の検知を補助するために用いられる情報を補助情報として前記イベントデータから抽出する処理部と、少なくとも前記画像データおよび前記補助情報に基づいて、前記検知対象物または前記検知対象物の状態を検知する検知部と、を備える。例えば、イベントデータは、複数のイベント画素を有するイベントセンサによって生成されるデータであって、そのイベントセンサの空間的なセンシング領域のうちの何れの位置に、何れの時刻に、受光量の閾値以上の変化であるイベントが発生したかを示す。

【0018】

これにより、イベントデータのうちの時間的または空間的な一部の情報である補助情報がそのイベントデータから抽出されて、その補助情報を用いて、画像データから検知対象物またはその検知対象物の状態が検知される。したがって、検知部はイベントデータの全てを用いる必要がなく、検知部による検知に必要とされるデータ量を抑えることができ、その結果、検知にかかる処理負担を軽減することができる。

【0019】

また、第１態様に従属する第２態様では、前記処理部は、前記画像データにおいて、白飛びまたは黒つぶれの現象が生じている領域を第１処理対象領域として検出する白黒検出部と、前記現象が生じている時刻に、前記第１処理対象領域に対応する位置において発生したイベントを示す情報を、前記イベントデータから前記補助情報として抽出し、前記イベントを表すイベント画像を、前記画像データの前記第１処理対象領域に合成することによって合成画像を生成する画像合成部とを備え、前記検知部は、前記合成画像に基づいて、前記検知対象物または前記検知対象物の状態を検知してもよい。

【0020】

これにより、イベントデータのうちの、第１処理対象領域に対応する位置において発生しているイベントを示す情報が補助情報として抽出される。例えば、イベントデータが、イベントセンサのセンシング領域の全範囲において発生した１以上のイベントを示す場合、それらの１以上のイベントのうちの、第１処理対象領域に対応する位置において発生しているイベントを示す情報のみが補助情報として抽出される。そして、その補助情報によって示されるイベントを表す例えば検知対象物の輪郭線などのイベント画像が、画像データの第１処理対象領域に合成される。したがって、検知部では、第１処理対象領域にある検知対象物の輪郭などを容易に検知することができる。つまり、画像データのうちの、白飛びの現象が生じている領域である白飛び領域、および、黒つぶれの現象が生じている黒つぶれ領域のそれぞれにおいて、検知対象物が見え難くなっていても、その検知対象物の輪郭線などがイベント画像としてその画像データに重畳される。その結果、検知対象物を容易に検知することができる。

【0021】

また、第２態様に従属する第３態様では、前記画像合成部は、白飛びが前記現象として生じている場合には、前記第１処理対象領域の画像と異なる色の前記イベント画像、または、前記第１処理対象領域の画像よりも輝度レベルが低い前記イベント画像を、前記第１処理対象領域に合成し、黒つぶれが前記現象として生じている場合には、前記第１処理対象領域の画像と異なる色の前記イベント画像、または、前記第１処理対象領域の画像よりも輝度レベルが高い前記イベント画像を、前記第１処理対象領域に合成してもよい。

【0022】

これにより、白飛び領域および黒つぶれ領域のそれぞれでは、その領域の画像から容易に識別され得る輪郭線などのイベント画像が重畳されるため、検知部では、その検知対象物をさらに容易に検知することができる。

【0023】

また、第２態様に従属する第４態様では、前記画像データがグローバルシャッタ方式の撮像によって生成され、前記画像データ内に、前記第１処理対象領域を含むフレームがある場合、前記画像合成部は、前記現象が生じている前記時刻を、前記フレームが生成されるタイミングに応じて決定してもよい。

【0024】

これにより、白飛びまたは黒つぶれの現象が生じている時刻が、第１処理対象領域を含むフレームが生成されるタイミングに応じて決定されて、その時刻に発生したイベントを示す補助情報が抽出される。その結果、それぞれ第１処理対象領域を含む複数のフレームが生成されれば、フレームごとに、上述の現象が生じている時刻が、そのフレームが生成されるタイミングに応じて決定されて、その時刻に発生したイベントを示す補助情報が抽出される。したがって、抽出される補助情報によって示されるイベントと、第１処理対象領域との時間的な対応付けを適切に行うことができ、検知対象物またはその検知対象物の状態の検知の精度を向上することができる。

【0025】

また、第２態様に従属する第５態様では、前記画像データがローリングシャッタ方式の撮像によって生成され、前記画像データ内に、前記第１処理対象領域を含むフレームがある場合、前記画像合成部は、前記現象が生じている前記時刻を、前記フレームに含まれる複数のラインのうち、前記第１処理対象領域の少なくとも一部を含むラインが生成されるタイミングに応じて決定してもよい。

【0026】

これにより、白飛びまたは黒つぶれの現象が生じている時刻が、第１処理対象領域の少なくとも一部を含むラインが生成されるタイミングに応じて決定されて、その時刻に発生したイベントを示す補助情報が抽出される。その結果、それぞれ第１処理対象領域の一部を含む複数のラインが生成されれば、ラインごとに、上述の現象が生じている時刻が、そのラインが生成されるタイミングに応じて決定されて、その時刻に発生したイベントを示す補助情報が抽出される。したがって、抽出される補助情報によって示されるイベントと、第１処理対象領域の少なくとも一部との時間的な対応付けを適切に行うことができ、検知対象物またはその検知対象物の状態の検知の精度を向上することができる。

【0027】

また、第１態様に従属する第６態様では、前記処理部は、前記イベントデータから、閾値以上の周波数でプラスのイベントとマイナスのイベントとが繰り返し発生している領域を検出し、前記領域が点滅していることを示す情報を前記補助情報として抽出する点滅検出部と、前記画像データにおける、前記補助情報によって示される前記領域に対応する第２処理対象領域に、前記検知対象物が点灯していることを示す点灯画像を合成することによって合成画像を生成する画像合成部とを備え、前記検知部は、前記合成画像に基づいて、前記検知対象物または前記検知対象物の状態を検知してもよい。なお、プラスのイベントは、受光量が閾値以上だけ増加したことを示すイベントであり、マイナスのイベントは、受光量が閾値以上だけ減少したことを示すイベントである。また、閾値以上の周波数は、例えば、点滅している物体を人が見たときに、その物体が点灯しているように見えるような点滅の周波数である。

【0028】

例えば、信号機の赤灯部は、高い周波数で点滅することによって赤信号を表示する。このような赤信号を表示している赤灯部は、人の目には点滅ではなく点灯しているように見える。一方、例えば上述の白飛びの現象を避けるために露光期間が短く設定されている画像センサが、その赤信号を表示している赤灯部を検知対象物として撮像すると、消灯している赤灯部が映し出されたフレームを含む画像データを出力する場合がある。したがって、この画像データだけでは、赤信号が表示されていないと誤って検知してしまう可能性がある。しかし、第６態様に係る検知システムでは、上述の場合には、その赤灯部が映し出されている第２処理対象領域に対応する領域において、プラスのイベントとマイナスのイベントとが繰り返し発生していることを示す補助情報が抽出される。そして、その第２処理対象領域には点灯画像が合成される。したがって、画像データに含まれるフレームの第２処理対象領域に、消灯している赤灯部が検知対象物として映し出されていても、その第２処理対象領域には点灯画像が合成されるため、検知部によって、赤信号が表示されていると正しく検知することができる。すなわち、検知対象物に対する誤った検知を抑制することができる。なお、上述の例では、検知対象物は信号機の赤灯部であるが、車両のブレーキランプであっても、上述と同様の効果を奏することができる。

【0029】

また、第１態様に従属する第７態様では、前記処理部は、前記イベントデータから、閾値以上の周波数でプラスのイベントとマイナスのイベントとが繰り返し発生している領域を検出し、前記領域が点滅していることを示す情報を前記補助情報として抽出する点滅検出部を備え、前記検知部は、前記画像データにおける、前記補助情報によって示される前記領域に対応する第２処理対象領域が点滅していると判定し、前記判定結果と前記画像データとに基づいて、前記検知対象物または前記検知対象物の状態を検知してもよい。

【0030】

これにより、点灯画像が画像データに合成されなくても、補助情報と画像データとに基づいて、上述と同様、例えば赤灯部のような検知対象物に対する誤った検知を抑制することができる。

【0031】

また、第１態様に従属する第８態様では、前記処理部は、前記画像データにおいて、白飛びまたは黒つぶれの現象が生じている領域を第１処理対象領域として検出する白黒検出部と、前記イベントデータから、閾値以上の周波数でプラスのイベントとマイナスのイベントとが繰り返し発生している領域を検出し、前記領域が点滅していることを示す情報を、前記補助情報のうちの第１補助情報として抽出する点滅検出部と、（ａ）前記現象が生じている時刻に、前記第１処理対象領域に対応する位置において発生したイベントを示す情報を、前記補助情報のうちの第２補助情報として前記イベントデータから抽出し、前記イベントを表すイベント画像を、前記画像データの前記第１処理対象領域に合成し、（ｂ）前記画像データにおける、前記第１補助情報によって示される前記領域に対応する第２処理対象領域に、前記検知対象物が点灯していることを示す点灯画像を合成することによって、合成画像を生成する画像合成部とを備え、前記検知部は、前記合成画像に基づいて、前記検知対象物または前記検知対象物の状態を検知してもよい。

【0032】

これにより、画像データのうちの、白飛び領域および黒つぶれ領域のそれぞれにおいて、検知対象物が見え難くなっていても、その検知対象物の輪郭線などがイベント画像としてその画像データに重畳される。その結果、検知対象物を容易に検知することができる。さらに、画像データの第２処理対象領域に、点滅している赤灯部が検知対象物として消灯している状態で映し出されていても、その第２処理対象領域には点灯画像が合成される。したがって、検知部によって、赤信号が表示されていると正しく検知することができる。すなわち、検知対象物に対する誤った検知を抑制することができる。

【0033】

また、第１態様に従属する第９態様では、前記処理部は、前記画像データにおいて、白飛びまたは黒つぶれの現象が生じている領域を第１処理対象領域として検出する白黒検出部と、前記イベントデータから、閾値以上の周波数でプラスのイベントとマイナスのイベントとが繰り返し発生している領域を検出し、前記領域が点滅していることを示す情報を、前記補助情報のうちの第１補助情報として抽出する点滅検出部と、前記現象が生じている時刻に、前記第１処理対象領域に対応する位置において発生したイベントを示す情報を、前記補助情報のうちの第２補助情報として前記イベントデータから抽出し、前記イベントを表すイベント画像を、前記画像データの前記第１処理対象領域に合成することによって合成画像を生成する画像合成部とを備え、前記検知部は、前記画像データにおける、前記第１補助情報によって示される前記領域に対応する第２処理対象領域が点滅していると判定し、前記判定結果と前記合成画像とに基づいて、前記検知対象物または前記検知対象物の状態を検知してもよい。

【0034】

これにより、点灯画像が画像データに合成されなくても、第１補助情報と画像データとに基づいて、上述と同様、例えば赤灯部のような検知対象物に対する誤った検知を抑制することができる。

【0035】

また、第１態様に従属する第１０態様では、前記検知システムは、取得された前記イベントデータを、座標データを含まずに画像を示すフレーム化イベントデータに変換するフレーム化部をさらに備え、前記検知部は、前記画像データおよび前記補助情報と、前記フレーム化イベントデータとに基づいて、前記検知対象物または前記検知対象物の状態を検知してもよい。

【0036】

これにより、イベントデータがフレーム化イベントデータに変換されることによって、検知対象物の検知に用いられるデータ量を大幅に削減することができる。

【0037】

また、第１０態様に従属する第１１態様では、前記処理部は、前記イベントデータから、閾値以上の周波数でプラスのイベントとマイナスのイベントとが繰り返し発生している領域を検出し、前記領域が点滅していることを示す情報を、前記補助情報として抽出する点滅検出部を備え、前記フレーム化部は、前記フレーム化イベントデータに前記補助情報を付加して出力してもよい。

【0038】

これにより、フレーム化イベントデータだけからは、検知対象物による高い周波数での点滅を検知することが難しくても、そのフレーム化イベントデータには、その点滅を示す補助情報が付加されている。したがって、その補助情報を用いることによって、検知対象物が点滅していること、例えば、検知対象物が信号機の赤灯部であれば、赤信号が表示されていることを適切に検知することができる。

【0039】

また、第１０態様または第１１態様に従属する第１２態様では、前記フレーム化部は、前記フレーム化イベントデータが前記画像データに同期するように前記イベントデータを変換してもよい。

【0040】

これにより、フレーム化イベントデータと画像データに含まれるフレームとの対応関係を明確にすることができる。その結果、フレームに映し出されている検知対象物を、そのフレームに対応するフレーム化イベントデータによって示されるイベントに基づいて、適切に検知することができる。

【0041】

また、第１態様に従属する第１３態様では、前記検知システムは、前記画像データを生成するための複数の第１画素と、前記イベントデータを生成するための複数の第２画素とが配列されたセンサをさらに備えてもよい。

【0042】

これにより、１つのセンサに、画像データを生成する画像センサと、イベントデータを生成するイベントセンサとが含まれる。その結果、画像センサの複数の第１画素のそれぞれと、イベントセンサの複数の第２画素のそれぞれとの対応関係を予め固定することができる。したがって、その対応関係を特定するための位置合わせを省くことができる。つまり、画像データのフレーム内の各領域が、イベントセンサのセンシング領域内の何れの領域に該当するかを容易に、かつ、正確に特定することができる。これにより、画像データからの検知対象物の検知の精度をより高めることができる。

【0043】

また、第１３態様に従属する第１４態様では、前記複数の第１画素は、それぞれ互に異なる色の光に対して受光感度を有する複数種の画素を含み、前記複数の第２画素のそれぞれは、クリアの光に対して受光感度を有してもよい。例えば、それぞれ互いに異なる色は、赤色、緑色、青色などである。クリアの光は、白色の光であるとも言える。

【0044】

これにより、適切な色の画像データを得ることができる。さらに、複数の第２画素のそれぞれがクリアの光に対して受光感度を有するため、ダイナミックレンジの広いイベントデータを得ることができる。その結果、検知対象物またはその検知対象物の状態を高精度で検知することができる。

【0045】

また、第１３態様に従属する第１５態様では、前記複数の第１画素は、それぞれ互に異なる色の光に対して受光感度を有する複数種の画素を含み、前記複数の第２画素のそれぞれは、赤色の光に対して受光感度を有してもよい。

【0046】

これにより、赤色の光の受光量の変化に基づいてイベントデータが生成されるため、例えば、信号機の赤灯部、車両のブレーキランプなどの検知対象物に発生するイベントを適切に検出することができ、その検知対象物の状態を高精度で検知することができる。

【0047】

また、第１３態様に従属する第１６態様では、前記複数の第１画素は、赤色の光に対して受光感度を有する画素と、赤色以外の色の光に対して受光感度を有する画素とを含み、前記複数の第２画素は、赤色の光に対して受光感度を有する画素と、クリアの光に対して受光感度を有する画素とを含んでもよい。

【0048】

これにより、ダイナミックレンジの広いイベントデータを取得することができ、さらに、信号機の赤灯部、車両のブレーキランプなどの検知対象物に発生するイベントを適切に検出することができる。その結果、赤灯部などの検知対象物またはその検知対象物の状態を高精度で検知することができる。

【0049】

また、第１３態様に従属する第１７態様では、前記複数の第１画素は、赤色の光に対して受光感度を有する画素と、黄色の光に対して受光感度を有する画素と、赤色および黄色以外の色の光に対して受光感度を有する画素とを含み、前記複数の第２画素は、赤色の光に対して受光感度を有する画素と、黄色の光に対して受光感度を有する画素と、クリアの光に対して受光感度を有する画素とを含んでもよい。

【0050】

これにより、ダイナミックレンジの広いイベントデータを取得することができる。さらに、複数の第２画素が、赤色の光に対して受光感度を有する画素を含むため、信号機の赤灯部、車両のブレーキランプなどの検知対象物に発生するイベントを適切に検出することができる。さらに、複数の第２画素が、黄色の光に対して受光感度を有する画素を含むため、信号機の黄灯部などの検知対象物に発生するイベントを適切に検出することができる。その結果、赤灯部および黄灯部などの検知対象物またはその検知対象物の状態を高精度で検知することができる。

【0051】

また、第１３態様に従属する第１８態様では、前記複数の第２画素は、前記複数の第１画素よりも少なくてもよい。

【0052】

これにより、センサでは、複数の第２画素は、複数の第１画素よりも疎な状態で配置されている。したがって、検知対象物の検知に解像度の高い画像データが必要とされる場合には、第２画素の数を減らして、センサの過剰な高精細化を抑えることができる。

【0053】

また、第１３態様から第１８態様の何れか１つの態様に従属する第１９態様では、前記複数の第１画素は、それぞれ互いに異なるダイナミックレンジを有する複数種の画素を含んでもよい。

【0054】

これにより、ＨＤＲ（High Dynamic Range）の画像データを取得することができ、検知対象物またはその検知対象物の状態の検知の精度を向上することができる。

【0055】

なお、上記第１態様から第１９態様のうち、何れか任意の複数の態様を組み合わせてもよい。例えば、第１３態様から第１９態様のうちの何れか１つの態様を、第１態様から第１２態様のうちの何れか１つの態様に組み合わせてもよい。また、第２態様と第１０態様とを組み合わせてもよく、さらに第１３態様を組み合わせてもよい。また、第６態様と第１２態様とを組み合わせてもよく、さらに第１３態様を組み合わせてもよい。また、第７態様と第１２態様とを組み合わせてもよく、さらに第１３態様を組み合わせてもよい。また、第８態様と第１２態様とを組み合わせてもよく、さらに第１３態様を組み合わせてもよい。また、第９態様と第１２態様とを組み合わせてもよく、さらに第１３態様を組み合わせてもよい。

【0056】

以下、実施の形態について、図面を参照しながら具体的に説明する。

【0057】

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0058】

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

【0059】

（実施の形態１）
図１は、本実施の形態における検知システムが搭載された車両の一例を示す図である。

【0060】

本実施の形態における検知システム１は、例えば図１に示すように、車両Ｖに搭載される。検知システム１は、車両Ｖの周囲にある検知対象物を被写体として撮像し、さらに、その周囲から受ける光の量の変化をセンシングする。そして、検知システム１は、その撮像結果およびセンシング結果に基づいて、その検知対象物を検知する。あるいは、検知システム１は、検知対象物の状態を検知する。例えば、検知対象物は、車両Ｖの前方にいる人であってもよく、信号機であってもよい。また、検知対象物が信号機である場合には、検知システム１は、信号機において赤信号が表示されているか否かを、検知対象物の状態として検知する。なお、本開示において、検知対象物を検知することは、その検知対象物の状態を検知することを意味していてもよく、検知対象物およびその検知対象物の状態のそれぞれを検知することを意味していてもよい。

【0061】

図２は、本実施の形態における検知システム１の基本的な構成の一例を示すブロック図である。

【0062】

検知システム１は、画像センサ１１と、イベントセンサ１２と、取得部２０と、処理部３０と、検知部４１とを備える。画像センサ１１は、いわゆるカメラであって、複数のイメージ画素を備え、被写体を撮像することによって画像データを生成する。つまり、この画像データは、複数のイメージ画素の露光によって、その被写体である検知対象物から各イメージ画素が受ける光の量に基づいて生成されるデータである。例えば、画像センサ１１は、一定のフレームレートで撮像を行うことによって、複数の画像（すなわちフレーム）を順次生成して出力することによって、その複数のフレームからなる画像データを出力する。

【0063】

イベントセンサ１２は、イベントカメラ、または、イベントドリブンカメラとも呼ばれ、上述のように周囲から受ける光の量の変化をセンシングする。つまり、イベントセンサ１２は、複数のイベント画素を備え、上述の検知対象物から各イベント画素が受ける光の量の変化に基づいてイベントデータを生成する。このようなイベントデータは、例えば、センシング領域におけるイベントが発生した位置を示す座標データと、そのイベントの極性と、そのイベントが発生した時刻とを示す。センシング領域は、イベントセンサ１２によってイベントが検出され得る空間領域である。イベントは、その光の変化量がプラスの閾値よりも大きいイベント（以下、プラスのイベントとも呼ばれる）、あるいは、その光の変化量がマイナスの閾値よりも小さいイベント（以下、マイナスのイベントとも呼ばれる）に分類される。イベントの極性は、発生したイベントがプラスのイベントか、マイナスのイベントかを示す。なお、プラスの閾値およびマイナスの閾値のそれぞれの絶対値は等しくてもよく、異なっていてもよい。なお、本開示における時刻は、絶対的な時刻に限らず、相対的な時刻であってもよい。

【0064】

取得部２０は、その画像データとイベントデータとを、画像センサ１１およびイベントセンサ１２から取得する。処理部３０は、画像データからの検知対象物の検知を補助するために用いられる情報を補助情報として抽出する。検知部４１は、少なくとも画像データおよび補助情報に基づいて、上述の検知対象物またはその検知対象物の状態を検知する。

【0065】

このように、本実施の形態における検知システム１では、イベントデータから直接的に検知対象物の検知を行うユニットが設けられていない。そして、処理部３０によって、イベントデータから補助情報が抽出されて、画像データからの検知対象物の検知にその補助情報が用いられる。したがって、画像データから検知対象物の検知を行うユニットと、イベントデータから検知対象物の検知を行うユニットとを備える必要がなく、それらの検知を一本化または統合することができる。また、本実施の形態における検知システム１では、イベントデータのうちの時間的または空間的な一部の情報である補助情報がそのイベントデータから抽出されて、その補助情報を用いて、画像データから検知対象物またはその検知対象物の状態が検知される。したがって、検知部４１はイベントデータの全てを用いる必要がなく、検知部４１による検知に必要とされるデータ量を抑えることができ、その結果、検知にかかる処理負担を軽減することができる。

【0066】

図３は、本実施の形態における検知システム１の概略構成の一例を示す図である。

【0067】

図２に示す検知システム１は、図３に示すように、センサ処理部１０と検知処理部４０とを備えていると言える。センサ処理部１０は、少なくとも画像センサ１１およびイベントセンサ１２を有する。また、センサ処理部１０は、画像センサ１１およびイベントセンサ１２以外の構成要素をさらに備えていてもよい。検知処理部４０は、少なくとも検知部４１を有する。また、検知処理部４０は、検知部４１以外の構成要素をさらに備えていてもよい。例えば、図２に示す取得部２０の一部または全ての機能は、センサ処理部１０に備えられていてもよく、検知処理部４０に備えられていてもよい。また、図２に示す処理部３０の一部または全ての機能は、センサ処理部１０に備えられていてもよく、検知処理部４０に備えられていてもよい。

【0068】

図４は、本実施の形態における検知システム１の具体的な構成の一例を示すブロック図である。

【0069】

本実施の形態では、検知システム１のセンサ処理部１０は、画像センサ１１およびイベントセンサ１２を備える。また、検知処理部４０は、上述の取得部２０に相当する入力部２１と、上述の処理部３０に相当する前処理部３１と、検知部４１とを備える。入力部２１は、画像センサ１１から画像データを取得し、イベントセンサ１２からイベントデータを取得する。

【0070】

図５は、前処理部３１の構成の一例を示すブロック図である。

【0071】

前処理部３１は、白黒検出部３１１と、点滅検出部３１２と、画像合成部３１３とを備える。

【0072】

白黒検出部３１１は、画像センサ１１から出力される画像データを取得し、その画像データから白飛び領域および黒つぶれ領域のうちの少なくとも一方を検出する。そして、白黒検出部３１１は、検出された白飛び領域および黒つぶれ領域のうちの少なくとも一方を示す情報を白黒領域情報として画像合成部３１３に出力する。

【0073】

白飛び領域は、画像データによって示されるフレームのうちの白飛びの現象が生じている領域である。黒つぶれ領域は、画像データによって示されるフレームのうちの黒つぶれの現象が生じている領域である。なお、黒つぶれは、黒沈みとも呼ばれ、黒つぶれ領域は、黒沈み領域とも呼ばれる。例えば、白黒検出部３１１は、フレームのうち、第１閾値以上の輝度を有する画素のみが配置されている領域を白飛び領域として検出し、フレームのうち、第２閾値以下の輝度を有する画素のみが配置されている領域を黒つぶれ領域として検出する。なお、第２閾値は、第１閾値よりも小さい値である。このような白飛び領域および黒つぶれ領域のそれぞれは、検知システム１において処理される領域であって、第１処理対象領域とも呼ばれる。したがって、本実施の形態における白黒検出部３１１は、画像データにおいて、白飛びまたは黒つぶれの現象が生じている領域を第１処理対象領域として検出する。

【0074】

点滅検出部３１２は、イベントセンサ１２から出力されるイベントデータを取得し、そのイベントセンサ１２のセンシング領域から、第３閾値以上の周波数でプラスのイベントとマイナスのイベントとが繰り返し発生しているイベント領域を検出する。第３閾値は、例えば２４Ｈｚであってもよく、５０Ｈｚであってもよい。ここで、イベントデータのセンシング領域は、画像データのフレームの領域に対応付けられている。したがって、そのセンシング領域内のイベント領域に対応するフレーム内の領域は、高速点滅している検知対象物が映し出されている領域に相当する。そして、点滅検出部３１２は、イベント領域を示すイベント領域情報を画像合成部３１３に出力する。そのイベント領域情報は、イベントデータから抽出される情報であって、上述の補助情報に相当する。

【0075】

つまり、本実施の形態における点滅検出部３１２は、イベントデータから、第３閾値以上の周波数でプラスのイベントとマイナスのイベントとが繰り返し発生している領域を検出し、その領域が点滅していることを示す情報を、補助情報として抽出する。また、イベント領域を示す情報は、上述の補助情報に含まれる情報であってもよい。この場合、点滅検出部３１２は、イベントデータから、第３閾値以上の周波数でプラスのイベントとマイナスのイベントとが繰り返し発生している領域を検出し、その領域が点滅していることを示す情報を、上述の補助情報のうちの第１補助情報として抽出する。

【0076】

画像合成部３１３は、画像センサ１１から出力される画像データを取得し、イベントセンサ１２から出力されるイベントデータを取得する。さらに、画像合成部３１３は、白黒検出部３１１から白黒領域情報を取得し、点滅検出部３１２からイベント領域情報を取得する。画像合成部３１３は、それらの取得されたイベントデータ、白黒領域情報およびイベント領域情報を用いて、画像データのフレームに画像を合成することによって合成画像を生成して、その合成画像を検知部４１に出力する。

【0077】

検知部４１は、その合成画像に基づいて、検知対象物またはその検知対象物の状態を検知する。

【0078】

図６は、検知システム１によって白飛び領域および黒つぶれ領域に対して画像が合成される一例を示す図である。

【0079】

例えば、画像センサ１１は、夜間の撮像によってフレームＡを含む画像データを出力する。このフレームＡには、車両Ｖの対向車両Ｖ１と、その対向車両Ｖ１のヘッドライトによって照らされている人物Ｐ１およびＰ２と、ヘッドライトによって照らされていない人物Ｐ３とが映し出されている。しかし、そのフレームＡでは、人物Ｐ１の上半身は、ヘッドライトによる光によって非常に明るく照らし出されているために、明確に映し出されていない。また、人物Ｐ３と、対向車両Ｖ１のヘッドライト以外の部分とは、暗いために、明確に映し出されていない。

【0080】

白黒検出部３１１は、フレームＡを取得すると、そのフレームＡから白飛び領域ａ１と、黒つぶれ領域ａ２とを検出する。そして、白黒検出部３１１は、フレームＡ内の白飛び領域ａ１および黒つぶれ領域ａ２を示す白黒領域情報を画像合成部３１３に出力する。具体的には、白黒領域情報は、フレームＡ内の白飛び領域ａ１の位置および範囲を示し、フレームＡ内の黒つぶれ領域ａ２の位置および範囲を示す。図６中において、真っ白の領域が白飛び領域ａ１であり、真っ黒の領域が黒つぶれ領域ａ２である。

【0081】

イベントセンサ１２は、上述の画像センサ１１による夜間の撮像が行われているときに生成されたイベントデータＢを出力する。つまり、イベントセンサ１２は、白飛びおよび黒つぶれの現象が生じている時刻に発生したイベントを示すイベントデータＢを出力する。例えば、イベントセンサ１２は、フレームＡが生成されるフレーム期間において発生したイベントを示すイベントデータＢを出力する。そのフレーム期間において同じ位置に１以上のイベントが発生している場合には、イベントデータＢは、その位置において発生しているイベントが存在することを示してもよい。また、フレーム期間において同じ位置に複数のイベントが発生している場合には、イベントデータＢは、その位置で最後に発生したイベントを示してもよい。この場合、その最後に発生したイベントの極性もイベントデータＢに示されてもよい。また、フレーム期間において同じ位置に複数のイベントが発生している場合には、イベントデータＢは、その位置で最後に発生した２つのイベントを示してもよい。この場合、その最後に発生した２つのイベントのそれぞれの極性もイベントデータＢに示されてもよい。また、フレーム期間において同じ位置に複数のイベントが発生している場合には、イベントデータＢは、その位置におけるイベントの発生形態を示してもよい。その発生形態には、例えば、プラスのイベントが１回以上発生している第１発生形態と、マイナスのイベントが１回以上発生している第２発生形態と、プラスのイベントおよびマイナスのイベントがそれぞれ１回以上発生している第３発生形態とがある。イベントデータＢは、上述の複数のイベントが発生している位置おけるイベントの発生形態として、その第１発生形態と、第２発生形態と、第３発生形態とのうちの何れか１つの発生形態を示してもよい。フレーム期間においてイベントが発していない位置があれば、イベントデータＢは、その位置に対しては、イベントが発生していない第４発生形態を示してもよい。

【0082】

なお、図６では、画像合成部３１３の処理を分かり易くするために、イベントデータＢは可視化されている。イベントセンサ１２は、車両Ｖに搭載されて、車両Ｖと共に移動しているため、イベントデータＢは、対向車両Ｖ１、ヘッドライト、人物Ｐ１、人物Ｐ２、および人物Ｐ３のそれぞれの輪郭においてイベントが発生していることを示す。

【0083】

画像合成部３１３は、画像データのフレームＡとイベントデータＢとを取得し、白黒検出部３１１から白黒領域情報を取得する。具体的には、画像合成部３１３は、画像センサ１１から画像データのフレームＡを取得すると、イベントセンサ１２から出力されるイベントデータのうち、そのフレームＡの撮像が行われたときに生成されたイベントデータＢを抽出する。さらに、画像合成部３１３は、白黒検出部３１１によってフレームＡから検出された白飛び領域ａ１および黒つぶれ領域ａ２を示す白黒領域情報を取得する。そして、画像合成部３１３は、その白黒領域情報に基づいて、フレームＡから白飛び領域ａ１および黒つぶれ領域ａ２を特定する。次に、画像合成部３１３は、フレームＡの白飛び領域ａ１および黒つぶれ領域ａ２のそれぞれに対応する位置において発生したイベントを示す情報を、イベントデータＢから抽出する。つまり、画像合成部３１３は、イベントデータＢのセンシング領域から、フレームＡの白飛び領域ａ１に対応する位置を特定し、その位置において発生したイベントとして人物Ｐ１の上半身の輪郭を示す情報を、そのイベントデータＢから抽出する。また、画像合成部３１３は、イベントデータＢのセンシング領域から、フレームＡの黒つぶれ領域ａ２に対応する位置を特定し、その位置において発生したイベントとして対向車両Ｖ１および人物Ｐ３のそれぞれの輪郭を示す情報を、そのイベントデータＢから抽出する。このような輪郭などのイベントを示す情報は、例えば上述の補助情報に相当する。

【0084】

つまり、本実施の形態における画像合成部３１３は、白飛び、黒つぶれなどの現象が生じている時刻に、その現象が生じている第１処理対象領域に対応する位置において発生したイベントを示す情報を、イベントデータから補助情報として抽出する。第１処理対象領域は、上述の例では、白飛び領域ａ１および黒つぶれ領域ａ２である。また、そのイベントを示す情報は、上述の補助情報に含まれる情報であってもよい。この場合、画像合成部３１３は、白飛び、黒つぶれなどの現象が生じている時刻に、その現象が生じている第１処理対象領域に対応する位置において発生したイベントを示す情報を、上述の補助情報のうちの第２補助情報としてイベントデータから抽出する。

【0085】

そして、画像合成部３１３は、その輪郭などのイベントを表すイベント画像ｅ１およびｅ２を、画像データのフレームＡにおける白飛び領域ａ１および黒つぶれ領域ａ２に合成することによって、例えば図６に示す合成画像Ｃを生成する。図６の例では、イベント画像ｅ１およびｅ２は、検知対象物の輪郭を示すドットの集合である。そのドットの集合は輪郭線のように現れるため、以下、本開示では、イベント画像ｅ１およびｅ２は、輪郭線として扱われる。なお、輪郭線は境界線として扱われてもよい。このように、本実施の形態における画像合成部３１３は、イベントを表すイベント画像ｅ１およびｅ２を、画像データの第１処理対象領域に合成することによって合成画像Ｃを生成する。なお、イベント画像ｅ１またはｅ２の画像データへの合成は、イベント画像ｅ１またはｅ２の重畳とも呼ばれる。また、本開示における合成は、重畳であってもよい。

【0086】

これにより、イベントデータのうちの、第１処理対象領域に対応する位置において発生しているイベントを示す情報が補助情報として抽出される。例えば、イベントデータが、イベントセンサ１２のセンシング領域の全範囲において発生した１以上のイベントを示す場合、それらの１以上のイベントのうちの、第１処理対象領域に対応する位置において発生しているイベントを示す情報のみが補助情報として抽出される。そして、その補助情報によって示されるイベントを表す例えば検知対象物の輪郭線などのイベント画像が、画像データの第１処理対象領域に合成される。したがって、検知部４１では、第１処理対象領域にある検知対象物の輪郭などを容易に検知することができる。つまり、画像データのうちの、白飛びの現象が生じている領域である白飛び領域、および、黒つぶれの現象が生じている黒つぶれ領域のそれぞれにおいて、検知対象物が見え難くなっていても、その検知対象物の輪郭線などがイベント画像としてその画像データに重畳される。その結果、検知対象物を容易に検知することができる。また、画像データの第２処理対象領域以外の領域に対しては、検知部４１は、既存の検知アルゴリズムまたは画像認識処理技術を用いて検知対象物を検知することができる。また、イベント画像が合成された画像データが検知対象物の検知に用いられるため、画像を学習用データ（または教師データ）に用いる機械学習を、その検知に適用することができる。また、イベントデータから検知対象物を検知する必要がないため、その検知のための処理負担を大幅に軽減することができる。

【0087】

ここで、画像合成部３１３は、人物Ｐ１の上半身の輪郭線をイベント画像ｅ１として白飛び領域ａ１に合成するときには、その白飛び領域ａ１の色と異なる色の輪郭線をその白飛び領域ａ１に合成する。例えば、白飛び領域ａ１の色は、白に近い色であるため、画像合成部３１３は、黒色、青色、赤色などの色の輪郭線を合成してもよい。または、画像合成部３１３は、人物Ｐ１の上半身の輪郭線であるイベント画像ｅ１を白飛び領域ａ１に合成するときには、その白飛び領域ａ１よりも暗い輪郭線をその白飛び領域ａ１に合成してもよい。

【0088】

一方、画像合成部３１３は、人物Ｐ３および対向車両Ｖ１の輪郭線をイベント画像ｅ２として黒つぶれ領域ａ２に合成するときには、その黒つぶれ領域ａ２の色と異なる色の輪郭線をその黒つぶれ領域ａ２に合成する。例えば、黒つぶれ領域ａ２の色は、黒色に近い色であるため、画像合成部３１３は、白色、青色、赤色などの色の輪郭線を合成してもよい。または、画像合成部３１３は、人物Ｐ３および対向車両Ｖ１の輪郭線をイベント画像ｅ２として黒つぶれ領域ａ２に合成するときには、その黒つぶれ領域ａ２よりも明るい輪郭線をその黒つぶれ領域ａ２に合成してもよい。

【0089】

このように、本実施の形態における画像合成部３１３は、白飛びが現象として生じている場合には、第１処理対象領域の画像と異なる色のイベント画像ｅ１、または、第１処理対象領域の画像よりも輝度レベルが低いイベント画像ｅ１を、その第１処理対象領域に合成する。一方、画像合成部３１３は、黒つぶれが現象として生じている場合には、第１処理対象領域の画像と異なる色のイベント画像ｅ２、または、第１処理対象領域の画像よりも輝度レベルが高いイベント画像ｅ２を、第１処理対象領域に合成する。

【0090】

これにより、白飛び領域ａ１および黒つぶれ領域ａ２のそれぞれでは、その領域の画像から容易に識別され得る輪郭線などのイベント画像ｅ１またはｅ２が重畳されるため、検知部４１では、その検知対象物をさらに容易に検知することができる。

【0091】

なお、検知部４１は、合成画像Ｃに基づいて検知対象物を検知してもよく、合成画像ＣだけでなくフレームＡも用いて検知対象物を検知してもよい。また、検知部４１は、合成画像Ｃにおける、白飛び領域ａ１に対応する領域と、黒つぶれ領域ａ２に対応する領域と、それら以外の領域とで、検知に用いられるパラメータまたは方法を異ならせてもよい。

【0092】

また、白飛び領域ａ１に合成されるイベント画像ｅ１と、黒つぶれ領域ａ２に合成されるイベント画像ｅ２とは、同じ輝度レベルおよび同じ色であってもよい。例えば、それらの領域に合成されるイベント画像ｅ１およびｅ２は、グレーの色であってもよい。

【0093】

また、画像合成部３１３は、イベントデータＢにプラスのイベントとマイナスのイベントとが示されている場合には、イベント画像に含まれる、プラスのイベントを示すドットと、マイナスのイベントを示すドットとの間で、色または輝度レベルを異ならせてもよい。その結果、画像合成部３１３によって生成される合成画像Ｃは、上述のイベント画像を含むため、発生したイベントの極性を示している。これにより、検知部４１は、合成画像Ｃから、イベントだけでなくその極性も特定することができるため、検知対象物の検知の精度をさらに高めることができる。

【0094】

図７は、検知システム１によって、高速点滅している領域に対して画像が合成される一例を示す図である。

【0095】

例えば、信号機の赤灯部は、ＬＥＤ（light-emitting diode）式の赤灯部である場合、複数の赤色のＬＥＤを備える。これらの複数の赤色のＬＥＤは、赤信号を人に知らせる場合、すなわち、赤信号を表示する場合には、互に同じタイミングで高速点滅する。この高速点滅の周期は短く、その周波数は高いため、人の目には、赤灯部が点滅ではなく点灯しているように見える。具体的な一例では、高速点滅の周波数は、上述の第３閾値以上の周波数であって、例えば１００～１２０Ｈｚである。図７の（ａ）は、赤灯部の明るさの経時的な変化を示す。例えば、図７の（ａ）に示すように、赤灯部は、赤信号を人に知らせる場合には、点灯と消灯との切り換えを高速に繰り返し実行する。

【0096】

画像センサ１１は、例えばグローバルシャッタ方式の撮像を行う。図７の（ｂ）は、画像センサ１１に含まれる各イメージ画素の露光期間と非露光期間とを示す。イメージ画素では、図７の（ｂ）に示すように、露光期間と非露光期間とが交互に設定される。露光期間では、イメージ画素は露光される。その結果、イメージ画素は、その露光期間において受けた光の量を蓄積する。非露光期間では、イメージ画素は露光されず、その非露光期間までに蓄積されていた光の量は破棄される。

【0097】

イベントセンサ１２は、赤灯部の高速点滅に応じたイベントデータを出力する。図７の（ｃ）は、そのイベントデータを示す。つまり、イベントセンサ１２は、センシング領域における赤灯部に対応する位置において、赤灯部の点灯開始時に、プラスのイベントが発生したことを示し、赤灯部の点灯終了時に、マイナスのイベントが発生したことを示すイベントデータを出力する。言い換えれば、イベントセンサ１２に含まれる複数のイベント画素のうち、赤灯部に対応する位置にあるイベント画素は、赤灯部の点灯開始時に、プラスのイベントの発生を示し、赤灯部の点灯終了時に、マイナスのイベントの発生を示すイベントデータを出力する。このようなプラスのイベントとマイナスのイベントとは、赤灯部の高速点滅に応じて交互に発生する。

【0098】

ここで、図７の（ａ）に示す赤灯部の点滅と、画像センサ１１のフレーム周期とは同期していない。なお、フレーム周期は、露光と非露光とが繰り返される周期である。したがって、人の目には赤灯部が点灯しているように見えていても、画像センサ１１から出力される画像データには、消灯している赤灯部が映し出されているフレームなどが含まれる場合がある。例えば、図７の（ｄ）に示すように、フレーム期間ｆ１、ｆ２およびｆ３では、画像センサ１１によってフレームＡ１、Ａ２およびＡ３がそれぞれ生成される。図７の（ａ）および（ｂ）に示すように、フレーム期間ｆ１の露光期間の全てでは、赤灯部は点灯している。したがって、そのフレーム期間ｆ１では、点灯している赤灯部が映し出されているフレームＡ１が生成される。一方、フレーム期間ｆ２の露光期間の全てでは、赤灯部は消灯している。したがって、そのフレーム期間ｆ２では、消灯している赤灯部が映し出されているフレームＡ２が生成される。また、フレーム期間ｆ３の露光期間の一部では、赤灯部は点灯し、残りの一部では、赤灯部は消灯している。したがって、そのフレーム期間ｆ３では、薄暗く点灯している赤灯部が映し出されているフレームＡ３が生成される。

【0099】

点滅検出部３１２は、イベントセンサ１２から出力されるイベントデータに基づいて、イベント領域を検出する。そして、点滅検出部３１２は、そのイベント領域を示すイベント領域情報を出力する。例えば、点滅検出部３１２は、図７の（ｅ）に示すように、イベントデータのうちのフレーム期間ｆ１のデータに基づいて、イベント領域情報Ｄ１を生成する。また、点滅検出部３１２は、イベントデータのうちのフレーム期間ｆ２のデータに基づいて、イベント領域情報Ｄ２を生成する。さらに、点滅検出部３１２は、イベントデータのうちのフレーム期間ｆ３のデータに基づいて、イベント領域情報Ｄ３を生成する。なお、図７に示すイベント領域情報Ｄ１、Ｄ２およびＤ３は、画像合成部３１３の処理を分かり易くするために、可視化されている。

【0100】

フレーム期間ｆ１では、イベントデータは、赤灯部に対応する領域において、プラスのイベントの発生と、マイナスのイベントの発生とを示している。したがって、点滅検出部３１２は、赤灯部に対応する領域をイベント領域ｄ１として示すイベント領域情報Ｄ１を生成する。フレーム期間ｆ２でも、イベントデータは、赤灯部に対応する領域において、プラスのイベントの発生と、マイナスのイベントの発生とを示している。したがって、点滅検出部３１２は、センシング領域のうちの赤灯部の領域をイベント領域ｄ２として示すイベント領域情報Ｄ２を生成する。同様に、フレーム期間ｆ３でも、イベントデータは、赤灯部に対応する領域において、プラスのイベントの発生と、マイナスのイベントの発生とを示している。したがって、点滅検出部３１２は、センシング領域のうちの赤灯部の領域をイベント領域ｄ３として示すイベント領域情報Ｄ３を生成する。なお、イベント領域情報Ｄ１、Ｄ２およびＤ３は、具体的には、イベント領域ｄ１、ｄ２およびｄ３の位置および範囲を示す。このように生成されたイベント領域情報Ｄ１、Ｄ２およびＤ３が画像合成部３１３に出力される。

【0101】

画像合成部３１３は、画像データのフレームＡ１を取得すると、そのフレームＡ１に映し出されている赤灯部が点灯していると判断する。この場合、画像合成部３１３は、図７の（ｆ）に示すように、そのフレームＡ１を合成画像Ｃ１として出力する。一方、画像合成部３１３は、画像データのフレームＡ２を取得すると、そのフレームＡ２に映し出されている赤灯部が消灯していると判断する。この場合、画像合成部３１３は、イベント領域情報Ｄ２によって示されているイベント領域ｄ２に対応するフレームＡ２の領域を第２処理対象領域として特定する。そして、画像合成部３１３は、その第２処理対象領域に、検知対象物である赤灯部が点灯していることを示す点灯画像ｇ１を合成することによって、合成画像Ｃ２を生成する。また、画像合成部３１３は、画像データのフレームＡ３を取得すると、そのフレームＡ３に映し出されている赤灯部が暗く点灯していると判断する。この場合、画像合成部３１３は、イベント領域情報Ｄ３によって示されているイベント領域ｄ２に対応するフレームＡ３の領域を第２処理対象領域として特定する。そして、画像合成部３１３は、その第２処理対象領域に、検知対象物である赤灯部が点灯していることを示す点灯画像ｇ１を合成することによって、合成画像Ｃ３を生成する。

【0102】

このように、本実施の形態における画像合成部３１３は、画像データにおける第２処理対象領域、つまり、イベント領域情報などの補助情報によって示されるイベント領域に対応する第２処理対象領域に、検知対象物が点灯していることを示す点灯画像ｇ１を合成することによって合成画像Ｃ２およびＣ３を生成する。検知部４１は、合成画像Ｃ１、Ｃ２およびＣ３に基づいて、赤灯部である検知対象物またはその検知対象物の状態を検知する。

【0103】

また、赤灯部が点灯しているか否かの判断には、画像合成部３１３は、フレームにおける第２処理対象領域（すなわち高速点滅が行われている領域）の輝度を用いてもよい。例えば、画像合成部３１３は、その輝度が閾値以上であれば、赤灯部が点灯していると判断し、逆に、その輝度が閾値未満であれば、赤灯部が消灯していると判断してもよい。また、画像合成部３１３は、１フレームにおける露光期間と、プラスのイベントの発生時刻から次のマイナスのイベントの発生時刻までのイベント間隔とが重なる期間（以下、重なり期間とも呼ばれる）を用いてもよい。画像合成部３１３は、その重なり期間が閾値以上であれば、そのフレームに映し出されている赤灯部が点灯していると判断し、逆に、その重なり期間が閾値未満であれば、そのフレームに映し出されている赤灯部が消灯していると判断してもよい。

【0104】

また、上述の点灯画像ｇ１は、画像合成部３１３に予め保存されている画像であってもよい。つまり、画像合成部３１３は、第２処理対象領域の画像を、それぞれ予め定められた画素値を有する点灯画像ｇ１に置き換えてもよい。例えば、イベントセンサ１２に含まれる各イベント画素が赤色の光に対して受光感度を有する場合には、画像合成部３１３は、第２処理対象領域の画像を、赤色の点灯画像ｇ１に置き換えてもよい。なお、本開示において、赤色などの一つの色の光に対して受光感度を有するとは、その一つの色の光に対する受光感度が、他の色の光に対する受光感度よりも高いことを意味する。典型的な一例では、赤色の光に対して受光感度を有するイベント画素は、その赤色の光のみに対して受光感度を有する。

【0105】

また、画像合成部３１３は、第２処理対象領域にある画像の輝度レベルを上げることによって、点灯画像ｇ１の合成を行ってもよい。また、画像合成部３１３は、フレームＡ１に点灯した状態で映し出されている赤灯部の画像を点灯画像ｇ１としてフレームＡ１から抽出し、その点灯画像ｇ１を第２処理対象領域に合成してもよい。図７では、フレームＡ１から抽出される点灯画像ｇ１が合成に用いられる例が示されている。なお、画像合成部３１３は、イベント画素の露光開始のタイミング、または、その露光開始の時刻に近いタイミングにプラスのイベントが発生しているときには、その露光開始によって生成されたフレームに映し出されている赤灯部の画像を点灯画像ｇ１として抽出してもよい。

【0106】

あるいは、画像合成部３１３は、プラスのイベントとマイナスのイベントとが発生している各フレーム期間において得られるフレームのうち、最も高い輝度で映し出されている赤灯部の画像を点灯画像ｇ１として抽出してもよい。また、画像合成部３１３は、その点灯画像ｇ１を第２処理対象領域に合成するときには、フレームに映し出されている赤灯部の画像の動き検出し、その動きに応じた位置に点灯画像ｇ１を合成してもよい。このとき、画像合成部３１３は、第２処理対象領域を利用してもよい。さらに、画像合成部３１３は、人工知能または機械学習などを利用して点灯画像ｇ１を合成してもよい。

【0107】

また、フレームがローリングシャッタ方式による撮像によって生成されている場合には、画像合成部３１３は、フレームに含まれるラインの画像を点灯画像として用いてもよい。つまり、画像合成部３１３は、フレームにおける第２処理対象領域のうち、点灯していない赤灯部の一部が映し出されているラインの画像に対して、そのラインの周辺にある画像、すなわち、点灯している赤灯部の一部が映し出されているラインの画像を点灯画像として合成してもよい。あるいは、画像合成部３１３は、ラインごとに異なるフレームから点灯画像を抽出して、そのラインに点灯画像を合成してもよい。

【0108】

このように、本実施の形態における検知システム１では、合成画像Ｃ１、Ｃ２およびＣ３を用いて検知が行われるため、検知対象物の検知精度を高めることができる。例えば、信号機の赤灯部は、高い周波数で点滅することによって赤信号を表示する。このような赤信号を表示している赤灯部は、人の目には点滅ではなく点灯しているように見える。一方、例えば上述の白飛びの現象を避けるために露光期間が短く設定されている画像センサ１１が、その赤信号を表示している赤灯部を検知対象物として撮像すると、消灯している赤灯部が映し出されたフレームを含む画像データを出力する場合がある。したがって、この画像データだけでは、赤信号が表示されていないと誤って検知してしまう可能性がある。しかし、本実施の形態における検知システム１では、上述の場合には、その赤灯部が映し出されている第２処理対象領域に対応する領域において、プラスのイベントとマイナスのイベントとが繰り返し発生していることを示す補助情報が抽出される。そして、その第２処理対象領域には点灯画像ｇ１が合成される。したがって、画像データに含まれるフレームの第２処理対象領域に、消灯している赤灯部が検知対象物として映し出されていても、その第２処理対象領域には点灯画像ｇ１が合成されるため、検知部４１によって、赤信号が表示されていると正しく検知することができる。すなわち、検知対象物に対する誤った検知を抑制することができる。また、露光期間を短くしてもよいため、言い換えれば、露光期間の制限を設ける必要がないため、広いダイナミックレンジを用いることができる。なお、上述の例では、検知対象物は信号機の赤灯部であるが、車両のブレーキランプであっても、上述と同様の効果を奏することができる。

【0109】

図８は、検知システム１の処理対象とされる信号機の赤灯部の高速点滅およびイベントデータの他の例を示す図である。図８の（ａ）は、赤灯部の明るさの経時的な変化を示す。図８の（ｂ）は、その赤灯部の明るさの経時的な変化に応じたイベントデータを示す。図８の（ａ）に示すように、赤灯部は、図７の（ａ）の例と同様、高速点滅する。しかし、図８の（ａ）の例では、赤灯部の明るさの度合いは、図７の（ａ）に示す例と比べてゆっくりと増加し、ゆっくりと減少する。このような場合には、図８の（ｂ）に示すように、イベントデータは、赤灯部の明るさの度合いが増加するときに、連続した複数のプラスのイベントの発生を示し、赤灯部の明るさの度合いが減少するときに、連続した複数のマイナスのイベントの発生を示す。このような場合でも、点滅検出部３１２は、図７に示す例と同様、イベントデータにおける１フレーム期間にプラスのイベントおよびマイナスのイベントの発生が示されていれば、イベント領域を示すイベント領域情報を生成して出力する。

【0110】

図９は、信号機の赤灯部の高速点滅およびイベントデータのさらに他の例を示す図である。

【0111】

例えば、信号機の赤灯部が、電球式の赤灯部である場合、赤色に発光する電球を備える。図９の（ａ）は、電球式の赤灯部の明るさの経時的な変化の一例を示す。この赤灯部の明るさの度合いは、図９の（ａ）に示すように、サインカーブのように、例えば５０Ｈｚまたは６０Ｈｚの周波数で増減する。イベントセンサ１２は、この赤灯部の明るさの変化に応じたイベントデータを出力する。図９の（ｂ）は、そのイベントデータを示す。つまり、イベントセンサ１２は、センシング領域における赤灯部に対応する位置において、赤灯部の明るさの度合いが増加しているときには、図８に示す例よりも多くのプラスのイベントが発生していることを示す。さらに、イベントセンサ１２は、センシング領域における赤灯部に対応する位置において、赤灯部の明るさの度合いが減少しているときには、図８に示す例よりも多くのマイナスのイベントが発生していることを示す。このように、図９の（ｂ）に示す例では、図７および図８に示す例よりも、多くのプラスのイベントとマイナスのイベントとが、短い周期で繰り返し発生する。また、図９の（ｃ）は、画像センサ１１に含まれる各イメージ画素の露光期間と非露光期間とを示す。

【0112】

このような図９に示す例の場合であっても、画像合成部３１３は、図７に示す例と同様、イベントデータによって示されるイベントが、プラスのイベントからマイナスのイベントに変化する時刻ｔ１および時刻ｔ２を特定する。つまり、画像合成部３１３は、プラスのイベントの次にマイナスのイベントが発生する場合、それらのイベントが発生した時刻間の中央の時刻を特定する。そして、画像合成部３１３は、その時刻ｔ１および時刻ｔ２のうち、イメージ画素の露光期間の中央時点に最も近い時刻ｔ１を検索し、その検索された時刻ｔ１を含むフレーム期間において生成されたフレームから、点灯画像を抽出する。

【0113】

図１０は、画像合成部３１３による赤信号の判定処理を説明するための図である。なお、図１０の（ａ）は、イベントセンサ１２から見て信号機が左下に移動しているときに、イベントセンサ１２から出力されるイベントデータを示し、図１０の（ａ）では、そのイベントデータは可視化して示されている。また、図１０の（ｂ）は、イベントセンサ１２から見て信号機が右に移動しているときに、イベントセンサ１２から出力されるイベントデータを示し、図１０の（ｂ）でも、そのイベントデータは可視化して示されている。また、図１０に示す例では、信号機の赤灯部は、高速点滅などの点滅を行うことなく、点灯することによって、赤信号を表示する。このとき、他の２つの灯部である青灯部および黄灯部は、消灯している。

【0114】

図１０の（ａ）に示すように、イベントセンサ１２から見て信号機が左下に移動しているときには、イベントデータは、信号機の灯器の周縁と、３つの灯部ｕ１、ｕ２、およびｕ３のそれぞれの周縁においてイベントが発生していることを示す。また、図１０の（ｂ）に示すように、イベントセンサ１２から見て信号機が右に移動しているときにも、イベントデータは、信号機の灯器の周縁と、３つの灯部ｕ１、ｕ２、およびｕ３のそれぞれの周縁においてイベントが発生していることを示す。なお、３つの灯部ｕ１、ｕ２、およびｕ３は、青灯部、黄灯部および赤灯部である。また、イベントセンサ１２に含まれる各イベント画素は、クリアの光に対して受光感度を有する。なお、クリアの光は、例えば白色の光である。つまり、各イベント画素は、赤色、緑色および青色などの複数色の光に対して受光感度を有する。この場合、イベントセンサ１２は、光の受光量が増加する場合には、プラスのイベントの発生を示すイベントデータを出力する。逆に、イベントセンサ１２は、光の受光量が減少する場合に、マイナスのイベントの発生を示すイベントデータを出力する。

【0115】

したがって、信号機の３つ灯部ｕ１、ｕ２、およびｕ３のうちの１つの灯部である赤灯部が点灯して赤信号を表示しているときには、その赤灯部の周縁に発生しているイベントの極性は、他の２つの灯部のそれぞれの周縁に発生しているイベントの極性と反転している。言い換えれば、赤灯部の周縁に発生しているイベントの極性は、他の２つの灯部のそれぞれの周縁に発生しているイベントの極性と逆である。

【0116】

そこで、画像合成部３１３は、信号機が赤信号を表示しているか否かを判定するときには、まず、画像データのフレームから信号機を検出する。次に、画像合成部３１３は、その信号機のうちの３つの灯部ｕ１、ｕ２およびｕ３の中から赤灯部を検出する。例えば、画像合成部３１３は、その３つの灯部ｕ１、ｕ２およびｕ３の配列順に基づいて、最も右端の灯部ｕ３が赤灯部であると判断する。そして、画像合成部３１３は、イベントデータを参照し、その灯部ｕ３の周縁に発生いているイベントの極性が、他の灯部ｕ１およびｕ２のそれぞれの周縁に発生しているイベントの極性と逆であるか否かを判別する。そして、画像合成部３１３は、その灯部ｕ３のイベントの極性が逆であると判別すると、その灯部ｕ３である赤灯部が点灯し、赤信号を表示していると判定する。

【0117】

なお、画像合成部３１３は、人工知能または機械学習などを用いて、信号機が赤信号を表示しているか否かを判定してもよい。この場合であっても、図１０に示すイベントデータのように、イベントだけでなく、そのイベントの極性を示すイベントデータは必要である。

【0118】

図１１は、画像合成部３１３の処理動作の一例を示すフローチャートである。

【0119】

まず、画像合成部３１３は、画像データのフレームにある白飛び領域および黒つぶれ領域のそれぞれに対して輪郭線などのイベント画像を合成する（ステップＳ１）。次に、画像合成部３１３は、そのフレームから信号機領域および赤信号領域を検出する（ステップＳ２）。信号機領域は、信号機の灯器が映し出されている領域であり、赤信号領域は、その信号機領域のうちの赤灯部が映し出されている領域である。なお、画像合成部３１３は、その信号機領域および赤信号領域が、上述の白飛び領域および黒つぶれ領域のうちの何れかの領域に含まれている場合には、ステップＳ１で合成されたイベント画像に基づいて、信号機領域および赤信号領域を検出する。また、例えば、画像合成部３１３は、後述の図１９に示す検知部４１による赤信号領域の検出手法と同様の手法を用いて、その赤信号領域を検出してもよい。

【0120】

次に、画像合成部３１３は、点滅検出部３１２から出力されるイベント領域情報に基づいて、その赤信号領域が高速点滅しているか否かを判定する（ステップＳ３）。具体的には、画像合成部３１３は、赤信号領域にある赤灯部が高速点滅しているか否かを判定する。ここで、画像合成部３１３は、赤信号領域が高速点滅していると判定すると（ステップＳ３のＹｅｓ）、赤信号が表示されていると判断する（ステップＳ８）。一方、画像合成部３１３は、赤信号領域が高速点滅していないと判定すると（ステップＳ３のＮｏ）、赤信号領域が白飛び領域または黒つぶれ領域であるか否かを判定する（ステップＳ４）。ここで、画像合成部３１３は、赤信号領域が白飛び領域および黒つぶれ領域の何れでもないと判定すると（ステップＳ４のＮｏ）、上述のフレームに映し出されている赤信号領域の画像が赤色（または閾値以上の輝度を有する赤色）か否かを判定する（ステップＳ６）。画像合成部３１３は、赤信号領域の画像が赤色であると判定すると（ステップＳ６のＹｅｓ）、赤信号が表示さていると判断する（ステップＳ８）。一方、画像合成部３１３は、赤信号領域の画像が赤色でないと判定すると（ステップＳ６のＮｏ）、赤信号が表示さていないと判断する（ステップＳ７）。

【0121】

一方、ステップＳ４において、赤信号領域が白飛び領域および黒つぶれ領域のうちの何れかであると判定すると（ステップＳ４のＹｅｓ）、画像合成部３１３は、赤信号領域のエッジのイベントの極性を判定する（ステップＳ５）。つまり、画像合成部３１３は、イベントデータを参照し、その赤信号領域のエッジのイベントの極性が、他の信号領域のエッジのイベントの極性と逆か否かを判定する。赤信号領域のエッジのイベントは、上述の灯部ｕ３の周縁に発生しているイベントであり、他の信号領域のエッジのイベントは、上述の灯部ｕ１およびｕ２のそれぞれの周縁に発生しているイベントである。ここで、画像合成部３１３は、イベントの極性が逆であると判定すると（ステップＳ５のＹｅｓ）、赤信号が表示さていると判断する（ステップＳ８）。一方、画像合成部３１３は、イベントの極性が逆ではない判定すると（ステップＳ５のＮｏ）、赤信号が表示さていないと判断する（ステップＳ７）。

【0122】

図１２は、画像データとイベントデータとの対応関係の一例を示す図である。

【0123】

例えば、画像センサ１１は、グローバルシャッタ方式の撮像によって画像データを生成する。この場合、画像センサ１１の各画素ライン１～Ｎ（Ｎは２以上の整数）では、図１２に示すように、互いに同じタイミングに露光期間と非露光期間との切り替えが行われる。露光期間と非露光期間とを含む期間がフレーム期間に相当し、そのフレーム期間において、画像データに含まれる１つのフレームが生成される。なお、画像センサ１１は、行列状に配置された複数のイメージ画素からなり、画素ラインは、それらの複数のイメージ画素のうちの一行に配列されている複数のイメージ画素からなる。

【0124】

本実施の形態における前処理部３１、すなわち、点滅検出部３１２および画像合成部３１３の少なくとも１つは、イベントデータから、フレームに対応するフレーム対応期間のデータを特定する。そして、前処理部３１は、そのフレーム対応期間のデータに基づいて、そのフレームにおけるイベントの発生状況を確認する。すなわち、点滅検出部３１２および画像合成部３１３は、そのフレームに対するイベントの発生状況を、そのフレーム対応期間のデータに基づいて確認する。言い換えれば、点滅検出部３１２および画像合成部３１３は、イベントデータによって示される複数のイベントのうち、フレーム対応期間の時刻に発生しているイベントを把握することによって、そのフレームに対応するイベントの発生状況を確認する。

【0125】

このように、本実施の形態では、画像データがグローバルシャッタ方式の撮像によって生成され、その画像データ内に、白飛び領域などの第１処理対象領域を含むフレームがある場合、画像合成部３１３は、白飛びなどの現象が生じている時刻を、そのフレームが生成されるタイミングに応じて決定する。そして、画像合成部３１３は、その時刻に第１処理対象領域に対応する位置において発生したイベントを示すイベント領域情報を、イベントデータから補助情報として抽出する。

【0126】

これにより、白飛びまたは黒つぶれの現象が生じている時刻が、第１処理対象領域を含むフレームが生成されるタイミングに応じて決定されて、その時刻に発生したイベントを示す補助情報が抽出される。その結果、それぞれ第１処理対象領域を含む複数のフレームが生成されれば、フレームごとに、上述の現象が生じている時刻が、そのフレームが生成されるタイミングに応じて決定されて、その時刻に発生したイベントを示す補助情報が抽出される。したがって、抽出される補助情報によって示されるイベントと、第１処理対象領域との時間的な対応付けを適切に行うことができ、検知対象物またはその検知対象物の状態の検知の精度を向上することができる。

【0127】

図１３は、画像データとイベントデータとの対応関係の他の例を示す図である。

【0128】

例えば、画像センサ１１は、ローリングシャッタ方式の撮像によって画像データを生成する。この場合、画像センサ１１の各画素ライン１～Ｎでは、図１３に示すように、互いに異なるタイミングに露光期間と非露光期間との切り替えが行われる。各画素ライン１～Ｎの露光期間と非露光期間とを含む期間がフレーム期間に相当し、そのフレーム期間において、画像データに含まれる１つのフレームが生成される。また、そのフレームは、画素ライン１～Ｎによって生成されて列方向に配列された複数のラインからなる。

【0129】

本実施の形態における前処理部３１、すなわち、点滅検出部３１２および画像合成部３１３の少なくとも１つは、イベントデータから、フレームに含まれるラインごとに、そのラインに対応するライン対応期間のデータを特定する。ライン対応期間は、ラインの生成に用いられた１つの画素ラインの露光期間と非露光期間とを含む期間である。そして、前処理部３１は、そのライン対応期間のデータに基づいて、そのラインにおけるイベントの発生状況を確認する。すなわち、点滅検出部３１２および画像合成部３１３は、そのラインに対するイベントの発生状況を、そのライン対応期間のデータに基づいて確認する。言い換えれば、点滅検出部３１２および画像合成部３１３は、イベントデータによって示される複数のイベントのうち、ライン対応期間の時刻に発生しているイベントを把握することによって、そのラインに対応するイベントの発生状況を確認する。

【0130】

このように、本実施の形態では、画像データがローリングシャッタ方式の撮像によって生成され、その画像データ内に、白飛び領域などの第１処理対象領域を含むフレームがある場合、画像合成部３１３は、白飛びなどの現象が生じている時刻を、そのフレームに含まれる複数のラインのうち、第１処理対象領域の少なくとも一部を含むラインが生成されるタイミングに応じて決定する。そして、画像合成部３１３は、その第１処理対象領域の少なくとも一部に対応する位置において、その時刻に発生したイベントを示すイベント領域情報を、イベントデータから補助情報として抽出する。

【0131】

これにより、白飛びまたは黒つぶれの現象が生じている時刻が、第１処理対象領域の少なくとも一部を含むラインが生成されるタイミングに応じて決定されて、その時刻に発生したイベントを示す補助情報が抽出される。その結果、それぞれ第１処理対象領域の一部を含む複数のラインが生成されれば、ラインごとに、上述の現象が生じている時刻が、そのラインが生成されるタイミングに応じて決定されて、その時刻に発生したイベントを示す補助情報が抽出される。したがって、抽出される補助情報によって示されるイベントと、第１処理対象領域の少なくとも一部との時間的な対応付けを適切に行うことができ、検知対象物またはその検知対象物の状態の検知の精度を向上することができる。

【0132】

なお、図１２および図１３の例では、フレーム期間の開始時点は、露光期間の開始時点であるが、フレーム期間の開始時点は、露光期間の中央の時点であってもよく、露光期間の終了時点であってもよく、１つの時点に限定されるものではない。また、フレーム期間と、フレーム対応期間とは、厳密に一致していなくてもよく、本開示の効果を奏する範囲でずれていてもよい。同様に、画素ラインにおける露光期間および非露光期間を含む期間と、その画素ラインに対応するライン対応期間とは、厳密に一致していなくてもよく、本開示の効果を奏する範囲でずれていてもよい。

【0133】

図１４は、画像センサ１１のイメージ画素とイベントセンサ１２のイベント画素との対応関係の一例を示す図である。

【0134】

画像センサ１１は、図１４に示すように、複数のイメージ画素１１ａが行列状に配置されて構成されている。同様に、イベントセンサ１２は、図１４に示すように、複数のイベント画素１２ａが行列状に配置されて構成されている。そして、画像センサ１１の複数のイメージ画素１１ａのそれぞれは、イベントセンサ１２の複数のイベント画素１２ａのうちの何れかに予め対応付けられている。つまり、画像センサ１１のうちのイメージ画素１１ａと、イベントセンサ１２のうちのイベント画素１２ａとは、検知対象物から互いに同じ光を受けるように予め対応付けられている。例えば、複数のイメージ画素１１ａのうちの、右上端に配置されているイメージ画素１１ｂは、複数のイベント画素１２ａのうちの、右上端に配置されているイベント画素１２ｂに対応付けられている。同様に、複数のイメージ画素１１ａのうちのイメージ画素１１ｃは、複数のイベント画素１２ａのうちのイベント画素１２ｃに対応付けられている。

【0135】

したがって、画像センサ１１から出力される画像データのフレームに含まれる各画素領域も、イベントセンサ１２のセンシング領域に含まれる各要素領域に対応付けられている。フレームの画素領域は、イメージ画素によって得られる１つの画素値が表現される領域であり、センシング領域の要素領域は、イベント画素によって出力される１つのイベントが示される領域である。

【0136】

このようなイメージ画素とイベント画素との対応付けが予めされていることによって、画像合成部３１３は、例えば、画像データの白飛び領域および黒つぶれ領域のそれぞれに対応する領域の位置を、イベントセンサ１２のセンシング領域内から特定することができる。そして、画像合成部３１３は、その位置において発生したイベントを示す情報を、イベントデータから抽出することができる。

【0137】

なお、図１４に示す例では、画像センサ１１とイベントセンサ１２のそれぞれの画素数は同じであり、複数の画素の配列状態も同じであるが、それらは異なっていてもよい。例えば、画像センサ１１の２つ以上のイメージ画素と、イベントセンサ１２の１つのイベント画素とが対応付けられていてもよい。また、本実施の形態では、イメージ画素とイベント画素との対応付けを行う作業は、予め行われる必要があり、このような対応付けを行う作業は、位置決めまたは位置合わせとも呼ばれる。

【0138】

図１５は、本実施の形態における検知システム１の概略的な処理動作の一例を示す図である。

【0139】

検知システム１の入力部２１は、画像センサ１１およびイベントセンサ１２から、画像データおよびイベントデータを取得する（ステップＳ１１）。これらの画像データおよびイベントデータは、検知対象物から受ける光に基づいて生成されている。次に、前処理部３１は、画像データからの検知対象物の検知を補助するために用いられる情報を補助情報としてイベントデータから抽出する（ステップＳ１２）。そして、検知部４１は、その画像データと補助情報とに基づいて、検知対象物またはその検知対象物の状態を検知する。

【0140】

これにより、検知部４１はイベントデータの全てを用いる必要がなく、検知部４１による検知に必要とされるデータ量を抑えることができ、その結果、検知にかかる処理負担を軽減することができる。

【0141】

（実施の形態１の変形例１）
本実施の形態では、前処理部３１は、白黒検出部３１１および点滅検出部３１２を備えている。本変形例における前処理部は、白黒検出部３１１および点滅検出部３１２のうちの何れか一方を備えていない。

【0142】

図１６は、本実施の形態の変形例１における前処理部の構成の一例を示すブロック図である。

【0143】

例えば、本変形例における前処理部３１ａは、図１６に示すように、白黒検出部３１１と画像合成部３１３とを備え、点滅検出部３１２を備えていない。このような前処理部３１ａを備える検知システム１は、図６に示す例と同様、フレームにおける白飛び領域および黒つぶれ領域のそれぞれに対して、検知対象物の輪郭などを示すイベント画像を合成する。

【0144】

図１７は、本実施の形態の変形例１における前処理部の構成の他の例を示すブロック図である。

【0145】

例えば、本変形例における前処理部３１ｂは、図１７に示すように、点滅検出部３１２と画像合成部３１３とを備え、白黒検出部３１１を備えていない。このような前処理部３１ｂを備える検知システム１は、図７に示す例と同様、フレーム内でイベントが発生している領域に対して点灯画像を合成する。なお、その領域は、イベントセンサ１２によって示されるイベント領域に対応するフレーム内の領域である。

【0146】

このような本変形例における検知システム１では、実施の形態１の検知システム１によって得られる作用効果の一部と同様の作用効果を奏することができる。

【0147】

（実施の形態１の変形例２）
実施の形態１では、前処理部３１の点滅検出部３１２は、イベント領域情報を画像合成部３１３に出力する。本変形例における点滅検出部３１２は、イベント領域情報を検知部４１に出力する。

【0148】

図１８は、本実施の形態の変形例２における前処理部の構成の一例を示すブロック図である。

【0149】

例えば、本変形例における前処理部３１ｃは、図１８に示すように、点滅検出部３１２を備え、白黒検出部３１１および画像合成部３１３を備えていない。このような前処理部３１ｃでは、点滅検出部３１２は、イベント領域情報を検知部４１に出力し、画像データに含まれるフレームに対する合成は行われない。

【0150】

図１９は、本実施の形態の変形例２における検知部４１の処理動作を説明するための図である。

【0151】

検知部４１は、画像センサ１１から前処理部３１ｃを介して画像データに含まれるフレームＡ４を取得し、前処理部３１の点滅検出部３１２からそのフレームＡ４に対応するイベント領域情報Ｄ４を取得する。なお、図１９では、そのイベント領域情報Ｄ４は可視化して示されている。検知部４１は、イベント領域情報Ｄ４によって示されるイベント領域ｄ４に対応するフレームＡ４内の領域を特定する。そして、検知部４１は、その特定されたフレームＡ４内の領域に映し出されている検知対象物が高速点滅していると判断する。例えば、検知部４１は、その特定されたフレームＡ４内の領域が赤信号領域である場合には、検知対象物である赤灯部が点灯して赤信号を表示していると判断する。

【0152】

具体的には、検知部４１は、フレームＡ４から信号機領域を検出し、その信号機領域からさらに赤信号領域を検出する。なお、信号機領域には、青灯部、黄灯部および赤灯部が映し出されている３つの信号領域がある。例えば、日本では、横型の信号機における赤灯部は、他の灯部よりも右に配置されている。つまり、左から青灯部、黄灯部、赤灯部の順に、３つの灯部が配列されている。したがって、検知システム１を搭載した車両Ｖが日本の道路を走行している場合、検知部４１は、その信号機領域に含まれる３つの信号領域のうち、右端に位置する信号領域が赤信号領域であると判断する。なお、米国では、赤灯部は、他の灯部よりも左に配置されている。つまり、左から赤灯部、黄灯部、青灯部の順に、３つの灯部が配列されている。したがって、検知システム１を搭載した車両Ｖが米国の道路を走行している場合、検知部４１は、その信号機領域に含まれる３つの信号領域のうち、左端に位置する信号領域が赤信号領域であると判断する。そして、検知部４１は、フレームＡ４内において特定された領域、すなわち高速点滅している検知対象物が映し出されている領域が、その赤信号領域に重なっていれば、赤信号が表示されていることを検知する。一方、検知部４１は、高速点滅している検知対象物が映し出されている領域が、その赤信号領域に重なっていなければ、フレームＡ４に対する通常の画像認識処理を行うことによって、赤信号が表示されているか否かを判定する。

【0153】

このように、本変形例における検知部４１は、画像データとイベント領域情報とを用いて、検知対象物の状態を検知する。言い換えれば、検知部４１は、画像データにおける第２処理対象領域、つまり、イベント領域情報Ｄ４などの補助情報によって示される領域に対応する第２処理対象領域が点滅していると判定する。そして、検知部４１は、その判定結果と画像データとに基づいて、検知対象物またはその検知対象物の状態を検知する。これにより、点灯画像が画像データに合成されなくても、補助情報と画像データとに基づいて、上述と同様、例えば赤灯部のような検知対象物に対する誤った検知を抑制することができる。

【0154】

なお、図１９に示す例では、信号機は横型であるが、縦型であってもよい。日本では、縦型の信号機に含まれる３つの灯部は、上から赤灯部、黄灯部、青灯部の順に配列されている。信号機が縦型であっても、このような配列の順に基づいて、検知部４１は、赤信号領域を特定する。また、イベントセンサ１２に含まれる各イベント画素が、赤色の光に対して受光感度を有する場合には、検知部４１は、赤信号領域を検出することなく、赤信号が表示されているか否かをイベント領域情報Ｄ４から判定することができる。

【0155】

図２０は、本実施の形態の変形例２における前処理部の構成の他の例を示すブロック図である。

【0156】

例えば、本変形例における前処理部３１ｄは、図２０に示すように、白黒検出部３１１と、点滅検出部３１２と、画像合成部３１３とを備える。ここで、点滅検出部３１２は、イベント領域情報を画像合成部３１３に出力せずに、検知部４１に出力する。このような場合、検知部４１は、図１９に示す例と同様、合成画像と、イベント領域情報によって示されるイベント領域とに基づいて、検知対象物の状態を検知する。また、検知部４１は、合成画像に合成されている輪郭線などのイベント画像に基づいて、そのフレームの白飛び領域および黒つぶれ領域のそれぞれに映し出されている検知対象物の輪郭を検知する。

【0157】

このように、図２０に示す例でも、図１８に示す例と同様、検知部４１は、画像データにおける第２処理対象領域、つまり、イベント領域情報Ｄ４などの第１補助情報によって示される領域に対応する第２処理対象領域が点滅していると判定する。そして、検知部４１は、その判定結果と画像データとに基づいて、検知対象物またはその検知対象物の状態を検知する。したがって、図２０に示す例でも、図１８および図１９に示す例と同様、点灯画像が画像データに合成されなくても、第１補助情報と画像データとに基づいて、例えば赤灯部のような検知対象物に対する誤った検知を抑制することができる。

【0158】

図２１は、本実施の形態の変形例２における前処理部の構成のさらに他の例を示すブロック図である。

【0159】

例えば、本変形例における前処理部３１ｅは、図２１に示すように、白黒検出部３１１と、点滅検出部３１２と、画像合成部３１３とを備える。ここで、点滅検出部３１２は、イベント領域情報を画像合成部３１３に出力し、さらに検知部４１にも出力する。このような場合、検知部４１は、上記実施の形態１と同様、イベント画像および点灯画像が合成された合成画像に基づいて、検知対象物またはその検知対象物の状態を検知する。さらに、検知部４１は、イベント領域情報によって示されるイベント領域をさらに用いることによって、検知対象物の状態をより正確に検知することができる。

【0160】

（実施の形態２）
本実施の形態における検知システム１は、実施の形態１と異なり、イベントデータをフレーム化する。また、本実施の形態における検知システム１は、イベントデータのフレーム化に関連する処理以外については、実施の形態１の検知システム１と同様の処理を行ってもよい。なお、本実施の形態における各構成要素のうち、実施の形態１と同一の構成要素については、実施の形態１と同一の符号を付し、詳細な説明を省略する。

【0161】

図２２は、本実施の形態における検知システム１の具体的な構成の一例を示すブロック図である。

【0162】

本実施の形態における検知システム１は、センサ処理部１０と検知処理部４０とを備える。そして、本実施の形態におけるセンサ処理部１０は、画像センサ１１およびイベントセンサ１２だけでなく、フレーム処理部５０を備える。フレーム処理部５０は、画像センサ１１から画像データを取得し、イベントセンサ１２からイベントデータを取得する。つまり、本実施の形態におけるフレーム処理部５０は、図２における取得部２０としての機能を有する。さらに、フレーム処理部５０は、そのイベントセンサ１２から取得されたイベントデータをフレーム化し、そのフレーム化によって周期的に生成されるフレーム化イベントデータを出力する。このようなフレーム化イベントデータは、上述の補助情報の一つであるとも言える。また、フレーム処理部５０は、画像センサ１１から取得された画像データを検知処理部４０の入力部２１に出力する。

【0163】

検知処理部４０は、イベントデータの代わりに、フレーム化イベントデータを扱う。このような検知処理部４０は、実施の形態１の前処理部３１の代わりに、前処理部３１ｆを備える。入力部２１は、フレーム処理部５０からフレーム化イベントデータを取得し、そのフレーム化イベントデータを前処理部３１ｆに出力する。前処理部３１ｆは、そのフレーム化イベントデータを用いた処理を行い、その処理結果を検知部４１に出力する。

【0164】

図２３は、本実施の形態におけるフレーム処理部５０の詳細な構成の一例を示すブロック図である。

【0165】

フレーム処理部５０は、フレーム化部５１と、点滅検出部３１２とを備える。点滅検出部３１２は、高速点滅を示すイベント領域情報をイベントデータから抽出し、そのイベント領域情報をフレーム化部５１に出力する。

【0166】

フレーム化部５１は、イベントセンサ１２からイベントデータを取得し、そのイベントデータをフレーム化する。具体的には、フレーム化部５１は、画像センサ１１から画像データを取得し、その画像データに含まれるフレームに同期させてイベントデータをフレーム化する。すなわち、フレーム化部５１は、例えば画像データのフレーム周期に同期する一定期間ごとにイベントデータを時分割する。そして、フレーム化部５１は、その一定期間において発生したイベントを、センシング領域に対応する画像領域にマッピングすることによってフレーム化イベントデータを生成する。したがって、このようなフレーム化イベントデータからは、高速点滅を示すイベント領域情報を抽出することはできない。そこで、フレーム化部５１は、点滅検出部３１２から出力されるイベント領域情報を取得し、そのイベント領域情報をフレーム化イベントデータに付加する。つまり、フレーム化イベントデータに含まれる各フレームに対して、そのフレームに対応するイベント領域情報が付加される。したがって、本実施の形態では、イベント領域情報もフレーム化されているとも言える。なお、フレーム化イベントデータでは、イベントデータに含まれていた、イベントの位置を示す座標データは削除されている。

【0167】

なお、本実施の形態におけるフレーム処理部５０は、点滅検出部３１２を備えているため、実施の形態１における前処理部３１が備えていた一部の機能を、その前処理部３１に代わって備えているとも言える。

【0168】

図２４は、本実施の形態における前処理部３１ｆの詳細な構成の一例を示すブロック図である。

【0169】

前処理部３１ｆは、点滅検出部３１２を備えることなく、白黒検出部３１１と画像合成部３１３とを備える。画像合成部３１３は、イベントデータの代わりにフレーム化イベントデータを入力部２１から取得する。したがって、画像合成部３１３は、そのフレーム化イベントデータに映し出されている輪郭線などのイベント画像を、そのフレーム化イベントデータから容易に取得して、画像データのフレームに合成することができる。

【0170】

このように、本実施の形態における検知システム１は、フレーム化部５１を備える。フレーム化部５１は、取得されたイベントデータを、座標データを含まずに画像を示すフレーム化イベントデータに変換する。検知部４１は、画像データおよび補助情報と、フレーム化イベントデータとに基づいて、検知対象物またはその検知対象物の状態を検知する。また、本実施の形態におけるフレーム化部５１は、フレーム化イベントデータにイベント領域情報などの補助情報を付加して出力する。また、本実施の形態におけるフレーム化部５１は、フレーム化イベントデータが画像データに同期するようにイベントデータを変換する。

【0171】

例えば、画像データでは、１フレームにおける画素数は、１０８０×１９２０個であって、１画素あたりのビット数は、１０ビットであり、フレームレートは、３０ｆｐｓである。この場合、画像データのビットレート（１）は、１０８０×１９２０×１０×３０で算出され、約６２２Ｍｂｉｔ／ｓｅｃである。

【0172】

一方、イベントデータでは、例えば、そのイベントデータを出力するイベント画素の個数は、１０８０×１９２０個であって、１イベント画素の座標データ、すなわちＸ座標値およびＹ座標値を示すためのビット数は、１２ビットおよび１１ビットである。また、１つのイベントの極性を示すためのビット数は、１ビットである。その結果、イベント発生率が３０％の場合、イベントデータのビットレート（２）は、１０８０×１９２０×（１２＋１１＋１）×３０×０．３で算出され、約４４８Ｍｂｉｔ／ｓｅｃである。また、イベント発生率が４２％の場合、イベントデータのビットレート（３）は、１０８０×１９２０×（１２＋１１＋１）×３０×０．４２で算出され、約６２７Ｍｂｉｔ／ｓｅｃである。さらに、イベントデータに、１０ビットのタイムスタンプが付加されている場合、イベントデータのビットレートは、さらに高くなる。つまり、イベント発生率が３０％の場合、イベントデータのビットレート（４）は、１０８０×１９２０×（１２＋１１＋１＋１０）×３０×０．３で算出され、約６３５Ｍｂｉｔ／ｓｅｃである。なお、イベント発生率は、１フレーム期間（約１６．７ｍｓｅｃ）の間に発生するイベント数の、画素サイズ（１０８０×１９２０）に対する割合である。

【0173】

上述の例の場合、イベントデータのビットレート（３）および（４）は、画像データのビットレート（１）と同程度である。また、検知システム１が車両Ｖに搭載されている場合には、車両Ｖの左折および右折などによって、イベント発生率が４２％以上になる可能性は十分にある。つまり、イベントデータのビットレートが、ビットレート（３）および（４）よりもさらに高くなる可能性が十分にある。

【0174】

しかし、本実施の形態では、そのイベントデータがフレーム化イベントデータに変換されるため、そのビットレートを抑えることができる。フレーム化イベントデータでは、例えば、１フレームにおける画素数は、１０８０×１９２０個であって、フレームレートは、３０ｆｐｓである。また、１画素は、イベントの発生の有無を示す１ビットと、そのイベントの極性を示す１ビットとを含む。さらに、このフレーム化イベントデータに、イベント領域情報が付加される場合には、フレーム化イベントデータの１画素には、さらに、高速点滅していることを示す１ビットが用いられる。つまり、この場合には、１画素は３ビットで表現される。その結果、イベント発生率に関わらず、フレーム化イベントデータのビットレート（５）は、１０８０×１９２０×３×３０で算出され、約１８７Ｍｂｉｔ／ｓｅｃである。なお、フレーム化イベントデータの１画素は、５ビットで表現されてもよい。この場合、その１画素は、例えば、プラスのイベントの発生数を示す２ビットと、マイナスのイベントの発生数を示す２ビットと、高速点滅していることを示す１ビットとによって表現される。なお、２ビットによって、プラスのイベントの発生数を０～３回まで表すことができる。同様に、２ビットによって、マイナスのイベントの発生数を０～３回まで表すことができる。

【0175】

このように、本実施の形態では、イベントデータがフレーム化イベントデータに変換されることによって、検知対象物の検知に用いられるデータ量を大幅に削減することができる。また、フレーム化イベントデータだけからは、検知対象物による高い周波数での点滅を検知することが難しくても、そのフレーム化イベントデータには、その点滅を示すイベント領域情報などの補助情報が付加されている。このような補助情報（すなわちイベント領域情報）は、イベントデータがフレーム化される前に、そのイベントデータから抽出されている。したがって、その補助情報を用いることによって、検知対象物が点滅していること、例えば、検知対象物が信号機の赤灯部であれば、赤信号が表示されていることを適切に検知することができる。さらに、フレーム化イベントデータが画像データに同期しているため、フレーム化イベントデータに含まれるフレームと、画像データに含まれるフレームとの対応関係を明確にすることができる。したがって、画像合成部３１３は、フレーム化イベントデータのフレームに含まれるイベント画像を、画像データのフレームに適切に合成することができる。その結果、画像データのフレームに映し出されている検知対象物を、そのフレームに合成されたイベント画像に基づいて、適切に検知することができる。

【0176】

（実施の形態２の変形例）
実施の形態２では、画像合成部３１３は、イベント領域情報を取得して、そのイベント領域情報によって示されるイベント領域に対応するフレームの領域（すなわち第２処理対象領域）に点灯画像を合成する。実施の形態２の変形例１では、実施の形態１の変形例２と同様、画像合成部３１３は、イベント領域情報を取得することなく、点灯画像の合成も行わない。

【0177】

実施の形態２の変形例における検知システム１は、実施の形態２と同様、センサ処理部１０と検知処理部４０とを備える。また、本変形例におけるセンサ処理部１０は、図２３に示す構成を有する。一方、本変形例では、検知処理部４０に備えられている前処理部３１ｆは、図２４に示す前処理部３１ｆとは異なる構成を有する。

【0178】

図２５は、本実施の形態の変形例における前処理部３１ｆの詳細な構成の一例を示すブロック図である。

【0179】

本変形例における前処理部３１ｆは、入力部２１から出力されるイベント領域情報を取得すると、そのイベント領域情報を検知部４１に出力する。したがって、また、画像合成部３１３は、上述のように、イベント領域情報を取得することなく、点灯画像の合成を行わない。本変形例における検知部４１は、画像合成部３１３から出力される合成画像を取得し、入力部２１から前処理部３１ｆを介して出力されるイベント領域情報を取得する。検知部４１は、図２０に示す例と同様、合成画像と、イベント領域情報によって示されるイベント領域とに基づいて、検知対象物の状態を検知する。また、検知部４１は、合成画像に合成されている輪郭線などのイベント画像に基づいて、そのフレームの白飛び領域および黒つぶれ領域のそれぞれにおける検知対象物の輪郭を検知する。

【0180】

図２６は、本実施の形態の変形例におけるフレーム処理部の詳細な構成の他の例を示すブロック図である。図２７は、本実施の形態の変形例における前処理部３１ｆの詳細な構成の他の例を示すブロック図である。

【0181】

本変形例におけるフレーム処理部５０ａは、図２６に示すように、フレーム化部５１を備え、点滅検出部３１２を備えていない。この場合、前処理部３１ｆは、図２７に示すように、白黒検出部３１１と画像合成部３１３とを備える。そして、その画像合成部３１３は、フレーム処理部５０ａから入力部２１を介してイベント領域情報を取得することなく、画像データのフレーム内の白飛び領域または黒つぶれ領域に対して、輪郭線などのイベント画像を合成することによって、合成画像を生成する。この合成画像には、イベント領域情報に基づく点灯画像の合成は行われていない。そして、画像合成部３１３は、その合成画像を検知部４１に出力する。

【0182】

図２８および図２９は、本実施の形態の変形例におけるフレーム処理部の詳細な構成のさらに他の例を示すブロック図である。

【0183】

図２８に示すように、本変形例におけるフレーム処理部５０ｂは、フレーム化部５１を備えるが、そのフレーム化部５１は、図２３のフレーム化部５１とは異なり、画像データのフレームに同期させることなく、イベントデータのフレーム化を行う。例えば、フレーム化部５１は、フレーム周期よりも短い周期でイベントデータのフレーム化を行ってもよく、フレーム周期よりも長い周期でイベントデータのフレーム化を行ってもよい。また、図２９に示すように、本変形例におけるフレーム処理部５０ｃは、点滅検出部３１２を備えていなくてもよい。そして、このようなフレーム処理部５０ｃに備えられているフレーム化部５１は、図２８に示す例と同様、画像データのフレームに同期させることなく、イベントデータのフレーム化を行う。

【0184】

このような変形例であっても、実施の形態２によって得られる作用効果の一部と同一の作用効果、すなわち、イベントデータのフレーム化によって得られる作用効果を奏することができる。

【0185】

（実施の形態３）
実施の形態１および２では、センサ処理部１０は、互に独立して構成されている画像センサ１１およびイベントセンサ１２を備えている。実施の形態３では、その画像センサ１１およびイベントセンサ１２が一体化されて構成されている。また、実施の形態３における検知システム１は、上述の２つのセンサが一体化されている構成を除き、実施の形態１および２と、それらの変形例とのうちの何れか１つの検知システム１と同様の構成を有していてもよい。なお、本実施の形態における各構成要素のうち、実施の形態１または２と同一の構成要素については、実施の形態１と同一の符号を付し、詳細な説明を省略する。

【0186】

図３０は、本実施の形態における検知システム１の具体的な構成の一例を示すブロック図である。

【0187】

検知システム１は、センサ処理部１０と、検知処理部４０とを備える。検知処理部４０は、上記実施の形態２またはその変形例の検知処理部４０と同一の構成を有し、同一の処理を実行する。センサ処理部１０は、ハイブリッドセンサ１３とフレーム処理部５０とを備える。フレーム処理部５０は、実施の形態２のフレーム処理部５０と同一の構成を有し、同一の処理を実行する。また、本実施の形態では、フレーム処理部５０の代わりに、実施の形態２の変形例におけるフレーム処理部５０ａ、５０ｂまたは５０ｃが用いられてもよい。

【0188】

ハイブリッドセンサ１３は、画像センサ１１とイベントセンサ１２と一体化することによって構成されている。つまり、ハイブリッドセンサ１３は、画像センサ１１が有する複数のイメージ画素と、イベントセンサ１２が有する複数のイベント画素とを有する。

【0189】

図３１は、ハイブリッドセンサ１３の構成の一例を示す図である。

【0190】

ハイブリッドセンサ１３は、図３１に示すように、行列状に配列された複数の画素ユニット１３０を備える。複数の画素ユニット１３０のそれぞれは、３つのイメージ画素１１１と、１つのイベント画素１２１とを備える。３つのイメージ画素１１１は、赤色の光に対して受光感度を有するイメージ画素１１１と、緑色の光に対して受光感度を有するイメージ画素１１１と、青色の光に対して受光感度を有するイメージ画素１１１とを含む。イベント画素１２１は、赤色、緑色および青色のそれぞれの光に対して受光感度を有する。つまり、イベント画素１２１は、クリアの光に対して受光感度を有するとも言える。

【0191】

このようなハイブリッドセンサ１３では、画素ユニット１３０ごとに、画像データとイベントデータとが対応付けられている。つまり、画素ユニット１３０に含まれる３つのイメージ画素１１１からの出力によって表現されるフレームの一部の領域は、その画素ユニット１３０に含まれるイベント画素１２１から出力されるイベントデータに対応付けられている。言い換えれば、本実施の形態では、図１４に示す例とは異なり、イメージ画素１１１とイベント画素１２１との対応付けが物理的に固定されている。

【0192】

このようなハイブリッドセンサ１３では、イメージ画素１１１の数とイベント画素１２１の数との比率は３：１である。したがって、このハイブリッドセンサ１３から出力される画像データのビットレート（６）は、上述のビットレート（１）の３／４であって、具体的には、１０８０×１９２０×１０×３０×３／４で算出され、約４６７Ｍｂｉｔ／ｓｅｃである。また、このハイブリッドセンサ１３から出力されるイベントデータに基づくフレーム化イベントデータのビットレート（７）は、上述のビットレート（５）の１／４であって、具体的には、１０８０×１９２０×３×３０×１／４で算出され、約４７Ｍｂｉｔ／ｓｅｃである。なお、そのフレーム化イベントデータには、イベント領域情報が付加されている。このようなハイブリッドセンサ１３を用いることによって、ビットレートを大幅に抑えることができる。

【0193】

図３２は、ハイブリッドセンサ１３の構成の他の例を示す図である。

【0194】

ハイブリッドセンサ１３は、図３２に示すように、行列状に配列された複数の画素ユニット１３０を備える。複数の画素ユニット１３０のそれぞれは、４つのイメージ画素ユニット１２０と、１つのイベント画素１２１とを備える。４つのイメージ画素ユニット１２０のそれぞれは、４つのイメージ画素１１１を含む。４つのイメージ画素１１１は、赤色の光に対して受光感度を有するイメージ画素１１１と、緑色の光に対して受光感度を有する２つのイメージ画素１１１と、青色の光に対して受光感度を有するイメージ画素１１１とを含む。これらの４つのイメージ画素ユニット１２０の配列は、例えばベイヤー配列である。イベント画素１２１は、例えば、これらの４つのイメージ画素ユニット１２０の中央に配置されている。

【0195】

このようなハイブリッドセンサ１３でも、図３１の例と同様、画素ユニット１３０ごとに、画像データとイベントデータとが対応付けられている。つまり、画素ユニット１３０に含まれる１６個のイメージ画素１１１からの出力によって表現されるフレームの一部の領域は、その画素ユニット１３０に含まれるイベント画素１２１から出力されるイベントデータに対応付けられている。

【0196】

このように、本実施の形態における検知システム１は、画像データを生成するための複数の第１画素と、イベントデータを生成するための複数の第２画素とが配列されたハイブリッドセンサ１３を備える。なお、第１画素はイメージ画素１１１であり、第２画素はイベント画素１２１である。これにより、１つのハイブリッドセンサ１３に、画像データを生成する画像センサ１１と、イベントデータを生成するイベントセンサ１２とが含まれる。その結果、画像センサ１１およびイベントセンサ１２のそれぞれのレンズを共用することができ、画像センサ１１の複数のイメージ画素１１１のそれぞれと、イベントセンサ１２の複数のイベント画素１２１のそれぞれとの対応関係を予め固定することができる。したがって、その対応関係を特定するための位置合わせを省くことができる。つまり、画像データのフレーム内の各領域が、イベントセンサ１２のセンシング領域内の何れの領域に該当するかを容易に、かつ、正確に特定することができる。これにより、画像データからの検知対象物の検知の精度をより高めることができる。また、ハイブリッドセンサ１３は、画像センサ１１とイベントセンサ１２とが一体化されたものであるため、画像センサ１１用のレンズと、イベントセンサ１２用のレンズとを備える必要がなく、装置構成を簡略化することができる。

【0197】

また、本実施の形態では、複数のイメージ画素１１１は、それぞれ互に異なる色の光に対して受光感度を有する複数種の画素を含む。例えば、それぞれ互いに異なる色は、赤色、緑色、青色などである。複数のイベント画素１２１のそれぞれは、クリアの光に対して受光感度を有する。これにより、適切な色の画像データを得ることができる。さらに、複数のイベント画素１２１のそれぞれがクリアの光に対して受光感度を有するため、ダイナミックレンジの広いイベントデータを得ることができる。その結果、検知対象物またはその検知対象物の状態を高精度で検知することができる。

【0198】

ここで、複数のイメージ画素１１１は、それぞれ互に異なる色の光に対して受光感度を有する複数種の画素を含み、複数のイベント画素１２１のそれぞれは、赤色の光に対して受光感度を有していてもよい。これにより、赤色の光の受光量の変化に基づいてイベントデータが生成されるため、例えば、信号機の赤灯部、車両のブレーキランプなどの検知対象物に発生するイベントを適切に検出することができ、その検知対象物の状態を高精度で検知することができる。

【0199】

また、複数のイメージ画素１１１は、赤色の光に対して受光感度を有する画素と、赤色以外の色の光に対して受光感度を有する画素とを含んでいてもよい。そして、複数のイベント画素１２１は、赤色の光に対して受光感度を有する画素と、クリアの光に対して受光感度を有する画素とを含んでいてもよいでもよい。

【0200】

これにより、ダイナミックレンジの広いイベントデータを取得することができ、さらに、信号機の赤灯部、車両のブレーキランプなどの検知対象物に発生するイベントを適切に検出することができる。その結果、赤灯部などの検知対象物またはその検知対象物の状態を高精度で検知することができる。

【0201】

また、複数のイメージ画素１１１は、赤色の光に対して受光感度を有する画素と、黄色の光に対して受光感度を有する画素と、赤色および黄色以外の色の光に対して受光感度を有する画素とを含んでいてもよい。そして、複数のイベント画素１２１は、赤色の光に対して受光感度を有する画素と、黄色の光に対して受光感度を有する画素と、クリアの光に対して受光感度を有する画素とを含んでいてもよいでもよい。

【0202】

これにより、ダイナミックレンジの広いイベントデータを取得することができる。さらに、複数のイベント画素１２１が、赤色の光に対して受光感度を有する画素を含むため、信号機の赤灯部、車両のブレーキランプなどの検知対象物に発生するイベントを適切に検出することができる。さらに、複数のイベント画素１２１が、黄色の光に対して受光感度を有する画素を含むため、信号機の黄灯部などの検知対象物に発生するイベントを適切に検出することができる。その結果、赤灯部および黄灯部などの検知対象物またはその検知対象物の状態を高精度で検知することができる。

【0203】

また、本実施の形態のように、複数のイベント画素１２１は、複数のイメージ画素１１１よりも少ない。これにより、ハイブリッドセンサ１３では、複数のイベント画素１２１は、複数のイメージ画素１１１よりも疎な状態で配置されている。したがって、検知対象物の検知に解像度の高い画像データが必要とされる場合には、イベント画素１２１の数を減らして、ハイブリッドセンサ１３の過剰な高精細化を抑えることができる。

【0204】

また、複数のイメージ画素１１１は、それぞれ互いに異なるダイナミックレンジを有する複数種の画素を含んでいてもよい。これにより、ＨＤＲの画像データを取得することができ、検知対象物またはその検知対象物の検知の精度を向上することができる。

【0205】

（実施の形態２および３の変形例）
本変形例では、検知処理部４０は、前処理部３１を備えていない。

【0206】

図３３は、本変形例における検知処理部４０の構成の一例を示す図である。

【0207】

検知処理部４０は、入力部２１および検知部４１を備え、前処理部３１を備えていない。この場合、本変形利におけるフレーム処理部は、図２３に示すフレーム処理部５０または図２８に示すフレーム処理部５０ｂのように、少なくとも点滅検出部３１２を備える。そして、入力部２１は、画像データと、点滅検出部３１２によって生成されたイベント領域情報とを、検知部４１に出力する。検知部４１は、画像データおよびイベント領域情報を取得する。検知部４１は、図１８および図１９に示す例と同様、画像データとイベント領域情報とを用いて、検知対象物の状態を検知する。このような本変形例であっても、実施の形態２または実施の形態３によって得られる作用効果の一部と同一の作用効果を奏することができる。

【0208】

（その他の態様など）
以上、本開示の１つまたは複数の態様に係る検知システムなどについて、各実施の形態および各変形例に基づいて説明したが、本開示は、それらの実施の形態および変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態または変形例に施したものも本開示に含まれてもよい。また、複数の互いに異なる実施の形態または変形例における構成要素を組み合わせて構築される形態も本開示に含まれてもよい。

【0209】

なお、以下のような場合も本開示に含まれる。

【0210】

（１）上記の少なくとも１つの装置は、具体的には、マイクロプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。そのＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、上記の少なくとも１つの装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

【0211】

（２）上記の少なくとも１つの装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

【0212】

（３）上記の少なくとも１つの装置を構成する構成要素の一部または全部は、その装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

【0213】

（４）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。

【0214】

また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。

【0215】

また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

【0216】

また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

【産業上の利用可能性】

【0217】

本開示は、例えば車両に搭載され、その車両の周囲にある信号機などの検知対象物を検知するシステムなどに適用することができる。

【符号の説明】

【0218】

１ 検知システム
１０ センサ処理部
１１ 画像センサ
１１ａ、１１ｂ、１１ｃ、１１１ イメージ画素
１２ イベントセンサ
１２ａ、１２ｂ、１２ｃ、１２１ イベント画素
１３ ハイブリッドセンサ
２０ 取得部
２１ 入力部
３０ 処理部
３１、３１ａ、３１ｂ、３１ｃ、３１ｄ、３１ｅ、３１ｆ 前処理部
４０ 検知処理部
４１ 検知部
５０、５０ａ、５０ｂ、５０ｃ フレーム処理部
５１ フレーム化部
１２０ イメージ画素ユニット
１３０ 画素ユニット
３１１ 白黒検出部
３１２ 点滅検出部
３１３ 画像合成部
Ａ、Ａ１、Ａ２、Ａ３、Ａ４ フレーム
ａ１ 白飛び領域
ａ２ 黒つぶれ領域
Ｂ イベントデータ
Ｃ、Ｃ１、Ｃ２、Ｃ３ 合成画像
Ｄ１、Ｄ２、Ｄ３、Ｄ４ イベント領域情報
ｄ１、ｄ２、ｄ３、ｄ４ イベント領域
ｅ１、ｅ２ イベント画像（輪郭線）
ｆ１、ｆ２、ｆ３ フレーム期間
ｇ１ 点灯画像
Ｐ１、Ｐ２、Ｐ３ 人物
ｔ１、ｔ２ 時刻
ｕ１、ｕ２、ｕ３ 灯部
Ｖ 車両
Ｖ１ 対向車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】