特許 7618422 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-10

(45)【発行日】2025-01-21

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20250114BHJP

   H04N 25/47 20230101ALI20250114BHJP

【ＦＩ】

H04N23/63 300

H04N25/47

【請求項の数】 16

(21)【出願番号】P 2020187449

(22)【出願日】2020-11-10

(65)【公開番号】P2022076837

(43)【公開日】2022-05-20

【審査請求日】2023-11-08

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】沼田 愛彦

【審査官】櫃本 研太郎

(56)【参考文献】

【文献】特開２０１９－１３４２７１（ＪＰ，Ａ）

【文献】特開２０１９－１０３７４４（ＪＰ，Ａ）

【文献】特開２０２０－１６１９９３（ＪＰ，Ａ）

【文献】特表２０２０－５０１７４７（ＪＰ，Ａ）

【文献】特開２０２０－０９６３４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０，２３／６３

(57)【特許請求の範囲】

【請求項1】

輝度の変化が発生した画素のアドレスと時刻とを示すアドレスイベント信号に基づいて、輝度の変化が発生した数である計測結果を取得する取得手段と、
時刻と前記計測結果の関係を表示させる制御手段と、を有し、
前記制御手段は、輝度の変化の方向に応じた前記計測結果を表示させることを特徴とする情報処理装置。

【請求項2】

前記計測結果は、プラス方向の輝度の変化が起きた第１の計測値と、マイナス方向の輝度の変化が起きた第２の計測値とを含み、
前記制御手段は、前記第１の計測値と、前記第２の計測値とをそれぞれ表示させることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記制御手段は、横軸に時刻、縦軸に前記計測結果を示したグラフであって、
前記第１の計測値を縦軸のプラス方向に、前記第２の計測値を縦軸のマイナス方向に表示させることを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記制御手段は、前記第１の計測値と前記第２の計測値との差分を表示することを特徴とする請求項２または３に記載の情報処理装置。

【請求項5】

前記制御手段は、前記第１の計測値または前記第２の計測値が第１の閾値以上であるときに前記計測結果を表示することを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

前記制御手段は、前記第１の計測値と前記第２の計測値との差分が、第２の閾値未満であるときに前記計測結果を表示することを特徴とする請求項２乃至５のいずれか１項に記載の情報処理装置。

【請求項7】

ユーザーによって指定された注目領域を受け付ける受け付け手段を更に有し、
前記取得手段は、前記アドレスイベント信号のうち前記注目領域に含まれる画素に対応する前記アドレスイベント信号から前記計測結果を取得することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。

【請求項8】

前記計測結果は、前記アドレスイベント信号に基づいて、前記輝度がプラス方向に変化した画素数と前記輝度がマイナス方向に変化した画素数とを、画素毎に計測した数であることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

前記計測結果は、前記アドレスイベント信号に基づいて所定の大きさより大きい領域において輝度の変化が発生したことを計測した数であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。

【請求項10】

前記制御手段は、前記計測結果に応じて前記時刻のスケールを変更して表示することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。

【請求項11】

前記制御手段は、前記計測結果が所定の値より小さい場合は、前記時刻のスケールの間隔を大きくして表示することを特徴とする請求項１０に記載の情報処理装置。

【請求項12】

前記制御手段は、前記計測結果が第３の閾値未満であるときに前記計測結果を計測した時刻を省略して表示する、することを特徴とする請求項１０に記載の情報処理装置。

【請求項13】

前記取得手段は、予め設定された時間範囲において、輝度の変化が発生した数を計測した前記計測結果を取得することを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。

【請求項14】

前記取得手段は、入射した光子の数に応じて信号を出力するイベントベースセンサに基づいて前記アドレスイベント信号を取得することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。

【請求項15】

コンピュータを、請求項１乃至１４のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。

【請求項16】

輝度の変化が発生した画素のアドレスと時刻とを示すアドレスイベント信号に基づいて、輝度の変化が発生した数である計測結果を取得する取得工程と、
時刻と前記計測結果の関係を表示させる制御工程と、を有し、
前記制御工程は、輝度の変化の方向に応じた前記計測結果を表示させることを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イベントベースセンサに関する。

【背景技術】

【0002】

画素ごとの輝度の変化をアドレスイベント信号としてリアルタイムに出力するイベントベースセンサが知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１３４２７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、イベントが発生した時刻を表示することである。

【課題を解決するための手段】

【0005】

上記課題を解決する本発明にかかる情報処理装置は、輝度の変化が発生した画素のアドレスと時刻とを示すアドレスイベント信号に基づいて、輝度の変化が発生した数である計測結果を取得する取得手段と、時刻と前記計測結果の関係を表示させる制御手段と、制御手段と、を有し、前記制御手段は、輝度の変化の方向に応じた前記計測結果を表示させることを特徴とする。

【発明の効果】

【0006】

イベントが発生した時刻を表示できる。

【図面の簡単な説明】

【0007】

【図1】情報処理装置のハードウェア構成の一例を示したブロック図

【図2】イベントベースセンサを含む情報処理装置の機能構成例を示すブロック図

【図3】イベントベースセンサの構成例を示す図

【図4】イベントベースセンサの出力を模式的に説明した図

【図5】表示の一例を示す図である。

【図6】表示の一例を示す図である。

【図7】表示の一例を示す図である。

【図8】イベントベースセンサの出力を模式的に説明した図

【図9】表示の一例を示す図である。

【図10】情報処理装置が実行する処理を説明するフローチャート

【発明を実施するための形態】

【0008】

以下、図を用いて、本発明の実施形態における情報処理装置について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。

【0009】

＜実施形態１＞
＜情報処理装置：図１＞
情報処理装置のハードウェア構成の一例を示したブロック図を図１に示す。図１において、情報処理装置１００は、結像光学系１０１０、光電変換素子１０１１からなるイベントベースセンサ１０１、ＣＰＵ１０２、メモリ１０３から成る。イベントベースセンサ１０１は、受光した入射光に応じたアドレスイベント信号を出力する。結像光学系１０１０は、具体的には受光レンズであって、入射光を受光し、光電変換素子１０１１に結像する。光電変換素子１０１１は、具体的にはＳＰＡＤセンサやＣＭＯＳセンサであって、受光した入射光に応じたアドレスイベント信号を出力する。ＣＰＵ１０２は、メモリ１０３に格納されたＯＳやその他プログラムを読みだして実行し、接続された各構成を制御して、各種処理の演算や論理判断などを行う。ＣＰＵ１０２が実行する処理には、本実施形態にかかる情報処理が含まれる。また、ＣＰＵ１０２は、結像光学系１０１０のフォーカスの駆動や絞りの駆動、光電変換素子１０１１の駆動等の制御を行う。メモリ１０３は、例えば、ハードディスクドライブや外部記憶装置などであり、実施形態の情報処理にかかるプログラムや各種データを記憶する。

【0010】

次に、図２を用いて、本実施形態にかかる情報処理装置の機能構成例を説明する。情報処理装置１００は、イベントベースセンサ１０１、計測部２０１、表示制御部２０２、判定部２０３、表示部１０４、操作部１０５を有する。イベントベースセンサ１０１は、受光した入射光に応じたアドレスイベント信号を出力する。より具体的には、イベントベースセンサ１０１は、輝度の変化が発生した画素のアドレスと時刻を示すアドレスイベント信号を出力する。計測部２０１は、イベントベースセンサによって出力されたアドレスイベント信号から、輝度の変化が発生した数を計測した計測結果を取得する。表示制御部２０２は、アドレスイベント信号に基づいて、横軸に時刻、縦軸に輝度の変化が発生した数を示したグラフを表示部１０４に表示させる。ここでは、輝度の変化の方向に応じて計測結果を別々に表示させる。具体的には、横軸（Ｘ＝０）を基準としてＹ＞０となる象限に輝度がプラス方向に変化した画素の数をカウントした計測結果を示す。また、Ｙ＜０となる象限に輝度がマイナス方向に変化した画素の数をカウントした計測結果を示す。判定部２０３は、ある時刻で輝度の変化が発生した計測結果に基づいて所定の条件を満たすか否かを判定する。例えば、予め閾値を設定しておき、所定方向の輝度の変化が閾値以上発生したか否かを判断する。表示部１０４は、横軸に時刻、縦軸に輝度の変化が発生した画素数を示したグラフを表示する。例えば、表示部１０４は情報処理装置の外部にある装置であってもよく、例えばディスプレイ等の表示装置やプロジェクター等の投影装置であってもよい。なお、アドレスイベント信号の出力は、表示以外であってもよく、例えば、音声を出力する構成であってもよい。その場合は、スピーカーを情報処理装置に内蔵もしくは接続するとよい。操作部１０６は、ユーザーによって入力された撮像や表示等の各種指示を受け付ける。なお、表示部１０４や操作部１０５は情報処理装置と異なる外部装置によって構成されていてもよい。また、情報処理装置の機能構成はここに挙げた構成以外も含んでよい。

【0011】

＜イベントベースセンサ：図３＞
本実施形態にかかるイベントベースセンサの一例を説明する。イベントベースセンサは、入射した光子の数をカウントし、カウントした光子の数が所定の閾値を超えたタイミングを判定する。またイベントベースセンサは、光子の数が第１の閾値以上になるまでの所要時間（クロック数）を計測しており、その所要時間を比較することによって輝度の変化を検出する。具体的には、前回計測された所要時間をＴ_０、最新の所要時間をＴとしたとき、差分Ｔ-Ｔ_０が第２の閾値以上の場合は、マイナス方向の輝度の変化を検出する。差分Ｔ_０-Ｔが第２の閾値以上の場合は、プラス方向の輝度の変化を検出する。そして、TとT0の差分が第２の閾値未満であれば輝度の変化を検出しない。なお、第２の閾値はゼロ以上の値で、予め設定された値や他のパラメータに応じて設定される値を用いる。

【0012】

以下に、詳細な構成を説明する。図３ａは、光電変換素子１０１１の構成例を示す図である。光電変換素子１０１１は、画素部１１０と周辺回路１２０から構成される。周辺回路１２０は、垂直調停回路１２１、水平読み出し回路１２２を備える。

【0013】

図３ｂは、イベントベースセンサを構成する各画素部の構成例を示す図である。画素部１１０は、光電変換部１１１、画素カウンタ１１２、時間カウンタ１１３、第１の判定回路１１４、メモリ１１５、比較器１１６、第２の判定回路１１７、応答回路１１８、選択回路１１９を備える。光電変換部１１１は、ガイガーモードで動作するアバランシェフォトダイオード（ＳＰＡＤ）を備えており、光電変換部１１１に入射した光子の数を、画素カウンタ１１２でカウントするように構成される。時間カウンタ１１３では、光子が光電変換部１１１に入射した時間をカウントしている。ＳＰＡＤを用いてイベントベースセンサを構成することによって、光子１個レベルの輝度変化を検出することができる。光子１個レベルの輝度変化を検出することで、夜間などの暗視状態においても、アドレスイベント信号を取得することができる。

【0014】

画素カウンタ１１２でカウントした光子の数が第１の閾値に達すると、第１の判定回路１１４によって、時間カウンタ１１３での時間のカウントを止める。メモリ１１５には、過去の時間カウンタ１１３のカウント値が記憶されており、比較器１１６を用いて、現在の時間カウンタ１１３のカウント値と、過去の時間カウンタ１１３のカウント値の差分のカウント値を求める。

【0015】

第２の判定回路１１７は、差分のカウント値が第２の閾値以上の場合に、応答回路１１８を介して垂直調停回路１２１に、リクエスト信号を送る。応答回路１１８は、垂直調停回路１２１から、アドレスイベントデータの出力の許可または不許可を表す応答を受ける。差分のカウント値が第２の閾値未満の場合には、リクエスト信号を送付しない。

【0016】

応答回路１１８が出力の許可を表す応答を受けると、選択回路１１９により時間カウンタ回路１１３のカウント値が、水平出力回路１２２に出力される。水平出力回路１２２は、受け取ったカウント値を出力信号として光電変換素子１０１１から検知部１０３に出力する。

【0017】

比較器１１６によって算出された差分のカウント値は、光子の入射頻度の逆数に相当するため、本実施形態にかかる光電変換素子１０１１は、「光子の入射頻度の変化」、すなわち輝度の変化を計測する機能を有している。また、第２の判定回路１１７を用いて、入射した光子の数が第１の閾値に達した時間の間隔の差異が、第２の閾値以上の場合のみ、アドレスイベントを出力している。即ち、入射頻度の差異が第２の閾値以上の場合には入射頻度を出力し、差異が閾値未満の場合には入射頻度を出力しない、光電変換素子となっている。以上のような構成とすることで、画素アドレスごとに、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子が実現できる。

【0018】

＜光電変換素子のバリエーション＞
以上では、光電変換部にＳＰＡＤを用い、光子が入射した時間を計測することで、光子の入射頻度の変化を検出する光電変換素子を使用する場合を示した。しかし、輝度の変化をアドレスイベントとしてリアルタイムに検出する光電変換素子であれば、図２の構成でなくてもよい。例えば、特許文献１に記載されているように、輝度の変化を電圧変化として検出する光電変換素子を使用してもよい。

【0019】

＜計測部２０１＞
計測部２０１では、イベントベースセンサによって出力されたアドレスイベント信号から、ある時刻で輝度変化が発生した画素数を計測する。具体的には、特定の時間範囲で、輝度がプラス方向に変化した延べ画素数と、輝度がマイナス方向に変化した延べ画素数を、各々独立に計測した計測結果を取得する。

【0020】

特定の時間範囲は、予め設定されるパラメータであって、光電変換素子１０１１の垂直調停回路１２１の時間分解能で決まる最小時間幅としてもよいし、それより長い時間範囲をユーザーによって指定してもよい。時間幅が短いほうが異常現象を高速にとらえることができるが、時間幅が長いほうがランダムノイズなどによる誤差の影響を低減することができ、異常現象か否かを区別する精度が向上する。

【0021】

＜表示制御部：２０２＞
表示制御部２０２は、アドレスイベント信号に基づいて生成された横軸に時刻、縦軸に輝度変化が発生した画素数を示したグラフを表示部１０４に表示させる。この時、本実施形態にかかる情報処理装置１００は、プラス方向の輝度の変化の発生数ｙ１と、マイナス方向の輝度の変化の発生数ｙ２を、別々に表示する。これにより、異常が発生した時刻をユーザーが把握することが容易になる。

【0022】

図４は、＋Ｘ軸方向に沿って移動する、背景よりも明るい被写体を、イベントベースセンサを用いた情報処理装置を用いて撮影した際の出力を、フレーム画像形式で模式的に説明したものである。図４で、白は輝度が閾値以上プラスに変化した画素、黒は輝度が閾値以上マイナスに変化した画素、灰は輝度の変化が閾値未満である画素、を示している。図３からわかるように、被写体の移動に伴って、被写体と背景の境界部分の輝度が変化している。被写体の前方（＋Ｘ側）の画素では、背景よりも明るい被写体が移動してくるため、境界部分の画素の輝度値はプラスに変化している。一方、被写体の後方（－Ｘ側）の画素では、被写体が移動することで、被写体よりも暗い背景が撮影されることになるため、境界部分の画素の輝度値はマイナスに変化している。即ち、被写体が移動した場合、フォトンショットノイズなどを無視した理想的な環境下では、プラス方向およびマイナス方向の輝度の変化が発生した画素の数が両方同じくらい検出される。また、撮像している画面全体の明るさが変化した場合は、輝度が変化した方向の方が輝度の変化が多く検出されることになる。一方で、単に、横軸に時間、縦軸に画面全体の輝度変化の積分値を表示した場合、動体検出と、画面全体の明るさの変化との区別がユーザーにとって困難である。

【0023】

図５は、本発明の情報処理装置１００の表示部１０４を説明する図である。横軸に時間、縦軸には、プラス方向の輝度の変化の発生数ｙ_１（点線）と、マイナス方向の輝度の変化の発生数ｙ_２（破線）が、別々に表示されている。イベントベースセンサの出力は、被写体の移動がない場合には、プラス方向の変化もマイナス方向の変化も発生しないが、被写体の移動がある場合には、プラス方向の変化とマイナス方向の変化が同時に発生する。従って、図５のように、プラス方向の輝度の変化の発生数ｙ１と、マイナス方向の輝度の変化の発生数ｙ２を別々に表示することで、ユーザーは被写体の移動の有無を把握することが容易になる。例えば、定常監視用にイベントベースセンサを利用する場合に、侵入や盗難などで動体が検出された時刻を特定することを容易にすることができる。なお、図５では、時間を横軸、輝度の変化の発生数を縦軸に表示したが、縦軸と横軸を入れ替えてもよい。また、直交座標系ではなく斜めの座標系を使用してもよい。即ち、表示部に、時刻と、輝度の変化の発生数、との関係が表示されていればよい。

【0024】

＜ＲＯＩの輝度変化のみを表示＞
プラス方向の輝度の変化の発生数ｙ_１とマイナス方向の輝度の変化の発生数ｙ_２として、画面全体の画素の輝度変化をすべて計数して表示してもよいし、一部の画素の輝度変化のみを表示してもよい。侵入検知や盗難検知に使用する場合、侵入経路など、特定の領域の輝度変化のみに着目して、異常現象の発生の有無を特定したい場合がある。このようなユースケースにおいては、ユーザーがあらかじめ指定した領域内の輝度変化のみを計数し、表示部に表示するほうが好ましい。これにより、注目領域で発生した異常のみを、効率よく把握することができる。注目領域の指定を行う場合、情報処理装置１００はユーザーが注目領域を指定するためのユーザーインターフェースを備えていればよい。

【0025】

＜ランダムノイズ除去＞
また、フォトンショットノイズによる輝度変化と、被写体の移動による輝度変化を区別するために、ある程度まとまった画素の輝度変化のみを検出し、孤立した画素の輝度変化を検出しないようにすると好ましい。すなわち、計測部は、アドレスイベント信号に基づいて、所定の大きさより大きい領域において輝度の変化が発生したことを計測する。フォトンショットノイズによる輝度変化はランダムに発生するため、孤立した画素の輝度変化を検出しないようにすることで、被写体の移動によって発生した輝度変化と、ノイズによって発生した輝度変化を区別できる。

【0026】

孤立した画素の輝度変化であるか、まとまった画素数の輝度変化であるかは、連結数で判定すればよい。アドレスイベント信号から、輝度の変化が発生した画素のアドレスが特定できる。例えば、注目画素で輝度変化が発生していた場合、４近傍画素内に同じ方向の輝度変化が発生している画素数が２以上あった場合、それら二つの画素は連結していると判定する。そして、互いに連結している画素の塊が、所定の画素数（例えば２５画素）以上ある場合に、まとまった画素の輝度変化が発生していると判定する。

【0027】

（変形例１）
イベントベースセンサを用いた情報処理装置を、侵入検知や盗難検知などに使用するユースケースが考えられる。イベントベースセンサを用いた場合、侵入や盗難などが発生していないときには、大部分の画素では輝度の変化が発生せず、侵入や盗難などの異常が発生した場合にのみ、輝度の変化が発生することから、低消費電力の侵入、盗難検知の監視システムとして使用することができる。このようなユースケースにおいては、輝度の変化が発生している時が、動体が検出されたことを意味するため、異常発生時であると推測できる。

【0028】

＜実施形態２＞
実施形態２に示す情報処理装置１００は、実施形態１に対し、表示部に表示される輝度変化の情報が異なる。これにより、イベントが発生した時刻を更に把握しやすくなる。

【0029】

＜閾値以上の輝度変化のみ表示；図６＞
図６は、表示部１０４における表示の一例である。図６では、プラス方向の輝度の変化の発生数ｙ_１の絶対値が第１の閾値以上であって、マイナス方向の輝度の変化の発生数ｙ_２の絶対値が第１の閾値以上であるイベントが生じている時刻の輝度の変化の発生数を表示する。これにより、ランダムノイズなどによって発生する輝度変化を除外し、被写体が大きく動いた時刻のみを把握することができるため、イベントが発生した時刻が更に把握しやすくなるため、好ましい。

【0030】

プラス方向の輝度の変化の発生数ｙ_１の絶対値が第３の閾値以上、マイナス方向の輝度の変化の発生数ｙ_２の絶対値が第３の閾値以上、の少なくとも一つを満たす輝度変化のみを表示してもよい。但し、プラス方向の輝度の変化の発生数ｙ_１の絶対値、および、マイナス方向の輝度の変化の発生数ｙ_２の絶対値、の両方で判定したほうが、イベントが発生した時刻を把握しやすくなるため、好ましい。

【0031】

＜プラスとマイナスの差分も表示；図７＞
図７は、表示部１０４における表示の一例である。図７では、プラス方向の輝度の変化の発生数ｙ_１と、マイナス方向の輝度の変化の発生数ｙ_２の差分Δｙを表示した一例である。プラス方向の輝度の変化の発生数ｙ_１と、マイナス方向の輝度の変化の発生数ｙ_２に加えて、更にプラス方向の輝度の変化の発生数ｙ_１とマイナス方向の輝度の変化の発生数ｙ_２の差分を表示している。これにより、被写体の移動によって発生した輝度変化と、環境光の照度変化（屋外であれば昼夜の移り変わり、屋内であれば照明のＯＮとＯＦＦなど）によって生じた撮像範囲における輝度変化を、わかりやすく区別することができる。その結果、ユーザーが被写体の移動が発生した時刻を把握しやすくなるため、好ましい。以下で、説明を行う。

【0032】

図８は、被写体の移動が発生せず、環境光の照度が徐々に変化した場合の出力を、図４と同様に、フレーム画像形式で模式的に説明したものである。図７からわかるように、ノイズ成分を除けば、環境光の照度が明るくなった場合にはすべての画素の輝度値がプラスに変化し、環境光の照度が暗くなった場合にはすべての画素の輝度値がマイナスに変化する。従って、環境光の照度が変化した場合には、プラス方向の輝度の変化の発生数ｙ_１とマイナス方向の輝度の変化の発生数ｙ_２の差分が、大きく変化することになる。

【0033】

一方、図４で示したように、被写体が移動した場合には、ノイズ成分を除けば、画面全体のプラス方向の輝度の変化の発生数ｙ_１とマイナス方向の輝度の変化の発生数ｙ_２の差分が０に近似できる。

【0034】

このように、環境光の照度が変化した場合と、被写体が移動した場合では、プラス方向の輝度の変化の発生数ｙ_１、マイナス方向の輝度の変化の発生数ｙ_２がともに大きく発生する、という共通点があるが、プラス方向の輝度の変化の発生数ｙ_１とマイナス方向の輝度の変化の発生数ｙ_２の差分は大きく異なる。従って、プラス方向の輝度の変化の発生数ｙ_１とマイナス方向の輝度の変化の発生数ｙ_２の差分を表示することで、被写体の移動によって発生した輝度変化と、環境光の照度変化によって生じた輝度変化を、ユーザーが区別することができるため、好ましい。

【0035】

＜プラスとマイナスの差分による閾値；図９＞
侵入検知、盗難検知などのユースケースでは、環境光の照度変化によって発生した輝度変化は検知せず、被写体の移動によって発生した出力を特定のイベントとして検知する場合がある。そこで、図９のように、プラス方向の輝度の変化の発生数ｙ_１とマイナス方向の輝度の変化の発生数ｙ_２の差分が第２の閾値未満であって、プラス方向の輝度の変化の発生数ｙ_１、マイナス方向の輝度の変化の発生数ｙ_２の絶対値が第１の閾値以上の輝度変化のみを表示する。これにより、環境光の照度変化によって発生した輝度変化は検知せず、被写体の移動によって発生した輝度変化を異常現象として検知することができるため、好ましい。

【0036】

＜輝度変化が生じていない時間帯は省略＞
なお、図６や図９のように、表示する輝度変化を閾値で制限する場合、ユーザーが注目するのは、輝度変化が表示されている時間帯のみである。そこで、輝度変化が生じている時間帯の時間スケールよりも、輝度変化が生じていない時間帯の時間スケールを圧縮して表示するほうが好ましい。つまり、輝度変化の発生数が所定の値より小さい場合は、時間軸のスケールの間隔を大きくして表示する。また、輝度変化の発生数が所定の値より小さい時間帯は省略して表示してもよい。これにより、輝度変化が生じており、異常現象が発生している可能性がある時刻を、ユーザーが把握することが容易になる。

【0037】

＜山型とところてん型＞
また、輝度の変化の割合に注目して、表示方法を変更してもよい。図４より分かるように、画面内を一定の速度で通過する物体があった場合、プラス方向の輝度の変化、マイナス方向の輝度の変化が、ともに時間的に一定の発生数だけ発生する。一方、物体の速度が一定ではない場合、プラス方向の輝度の変化、マイナス方向の輝度の変化の発生数が、時間的に変化する。従って、プラス方向の輝度の変化の割合、マイナス方向の輝度の変化の割合も同時に表示することで、どのような異常があったかを更に特定しやすくすることができる。

【0038】

＜フローチャート＞
以上に説明したアドレスイベント信号の表示を行うために情報処理装置１００が実行する処理を説明する。図１０は、情報処理装置１００が実行する処理を説明するフローチャートである。図１０のフローチャートに示した処理は、コンピュータであるＣＰＵ１０２によりメモリ１０３に格納されているコンピュータプログラムに従って実行される。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。ただし、情報処理装置１００はこのフローチャートで説明するすべてのステップを必ずしも行わなくても良い。

【0039】

Ｓ１００１では、情報処理装置１００が、各種設定を初期化する。例えば、輝度の変化の発生数を計測する際の時間範囲を設定する。また、フォトンカウントノイズに応じて第１の閾値を設定する。例えば、監視領域に何も動体がない状態で輝度の変化を計測した結果を取得し、アドレスイベント信号が観測された値を取得する。このとき観測されたアドレスイベント信号はノイズである可能性が高いため、そのノイズの発生数を第１の閾値として設定する。第１の閾値の設定方法はこれ以外の方法であってもよい。任意の値をユーザーによって設定してもよい。次に、Ｓ１００２では、計測部２０１が、イベントベースセンサによって出力されたアドレスイベント信号を取得する。このアドレスイベント信号には、輝度の変化が発生した画素のアドレス、輝度の変化の方向、輝度の変化が発生した時刻を特定可能な時刻情報が含まれる。Ｓ１００３では、アドレスイベント信号に基づいてプラス方向の輝度の変化の発生数（第１の計測値）ｙ_１とマイナス方向の輝度の変化の発生数（第２の計測値）ｙ_２をそれぞれ計測する。Ｓ１００４では、判定部２０３が、計測結果と予め設定された第１の閾値とを比較することによって、プラス方向の輝度の変化の発生数（第１の計測値）ｙ_１とマイナス方向の輝度の変化の発生数（第２の計測値）ｙ_２のそれぞれが第１の閾値より大きいか否かを判定する。例えば、ラス方向の輝度の変化の発生数（第１の計測値）ｙ_１とマイナス方向の輝度の変化の発生数（第２の計測値）ｙ_２のいずれか一方が閾値より大きいである場合は、ＹｅｓとしてＳ１００５に進む。ラス方向の輝度の変化の発生数（第１の計測値）ｙ_１とマイナス方向の輝度の変化の発生数（第２の計測値）ｙ_２の両方が閾値以下である場合は、ＮｏとしてＳ１００６に進む。この時は、ノイズ以外の輝度の変化が発生していないと考えられるため、輝度の変化の発生数がない時刻の表示をスキップして、次の時刻の計測結果を取得してもよい。この場合はＳ１００２に戻る。次に、Ｓ１００５では、表示制御部１０２が、プラス方向の輝度の変化の発生数（第１の計測値）ｙ_１とマイナス方向の輝度の変化の発生数（第２の計測値）ｙ_２を計測した時刻に対応付けてグラフにプロットする。輝度の変化の方向に応じて別々に表示させることによって、イベントの発生がわかりやすい。Ｓ１００６では、情報処理装置１００が、処理を終了するか否かを判定する。ユーザーの終了指示に基づいて、終了を判定してもよいし、予め設定された処理対象をすべて処理したか否かで判定してもよい。終了しない場合はＳ１００２に戻る。

【0040】

＜その他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。

【符号の説明】

【0041】

１００ 情報処理装置
１０１ イベントベースセンサ
２０１ 計測部
２０２ 表示制御部
２０３ 判定部
１０４ 表示部
１０５ 操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】