特許 7618429 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-10

(45)【発行日】2025-01-21

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   H04N 25/47 20230101AFI20250114BHJP

   H04N 23/60 20230101ALI20250114BHJP

【ＦＩ】

H04N25/47

H04N23/60 500

【請求項の数】 13

(21)【出願番号】P 2020201218

(22)【出願日】2020-12-03

(65)【公開番号】P2022089017

(43)【公開日】2022-06-15

【審査請求日】2023-12-01

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】小林 繁之

【審査官】櫃本 研太郎

(56)【参考文献】

【文献】特開２０１９－１０３７４４（ＪＰ，Ａ）

【文献】特表２０１６－５１８６６４（ＪＰ，Ａ）

【文献】特表２０１５－５０７２６１（ＪＰ，Ａ）

【文献】特開２０２０－１３６９５８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０２７３１８０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０３６４２３７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／３３、

２３／００－２３／７６、

２３／９０－２３／９５９、

２５／００、２５／２０－２５／６１、

２５／６１５－２５／７９

Ｇ０９Ｇ ５／００－５／４２

Ｇ０６Ｔ １／００、７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する取得手段と、
前記アドレスイベント信号に基づいて、画素毎に所定の方向の輝度の変化が発生した頻度に応じた評価値を決定する決定手段と、
輝度の変化が発生した画素の位置に、輝度の変化の方向を示した画像を生成する生成手段と、
前記評価値に基づいて前記生成された画像の表示を制御する制御手段と、を有することを特徴とする情報処理装置。

【請求項2】

前記制御手段は、前記評価値が所定の閾値以上である画素の位置と前記評価値が所定の閾値未満である画素の位置とを区別して表示させることを特徴とした請求項１に記載の情報処理装置。

【請求項3】

前記制御手段は、前記評価値が所定の閾値以上である画素の位置に対しては所定の方向の輝度の変化が発生していないことを示す第１の画素値を付与し、前記評価値が所定の閾値未満である画素の位置に対しては所定の方向の輝度の変化が発生したことを示す第２の画素値を付与した画像を、前記生成された画像に重畳表示することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記制御手段は、前記評価値が所定の閾値未満である画素の位置に対しては前記生成された画像を表示し、前記評価値が所定の閾値以上である画素の位置に対しては前記生成された画像を表示させないことを特徴とした請求項１または２に記載の情報処理装置。

【請求項5】

前記評価値は、所定の方向の輝度の変化の発生回数の積算値であることを特徴とした請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

前記評価値は、所定の方向の輝度の変化の発生回数が偶数か奇数かを示すことを特徴とした請求項１乃至５のいずれか１項に記載の情報処理装置。

【請求項7】

前記制御手段は、前記評価値の大きさに応じて画素の表示色を変更することを特徴とした請求項１乃至５のいずれか１項に記載の情報処理装置。

【請求項8】

前記生成手段は、所定の時間間隔において輝度の変化が発生した画素の位置を示す画像を生成し、
前記制御手段は、空間に関する軸と時間に関する軸とで構成された２次元空間において、前記生成された画像を前記所定の時間間隔で重畳するように表示させることを特徴とする請求項１から７のいずれか一項に記載の情報処理装置。

【請求項9】

前記制御手段は、前記評価値が所定の割合より大きい変化があった場合に、異常を通知するための出力をすることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。

【請求項10】

前記制御手段は、時間軸を示すＴ軸と空間に関するＸＹ方向の軸とによって構成された３次元座標空間に、前記画像を表示させることを特徴とする請求項１乃至９のいずれか一項に記載の情報処理装置。

【請求項11】

前記制御手段は、時間軸を示すＴ軸と空間に関するＸまたはＹ方向のいずれか一方の軸とによって構成された２次元の座標空間に、前記画像を表示させることを特徴とした請求項１乃至１０のいずれか一項に記載の情報処理装置。

【請求項12】

コンピュータを、請求項１乃至１１のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。

【請求項13】

輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する取得工程と、
前記アドレスイベント信号に基づいて、画素毎に所定の方向の輝度の変化が発生した頻度に応じた評価値を決定する決定工程と、
輝度の変化が発生した画素の位置に、輝度の変化の方向を示した画像を生成する生成工程と、
前記評価値に基づいて前記生成された画像の表示を制御する制御工程と、を有することを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イベントベースセンサの表示に関する。

【背景技術】

【0002】

画素ごとの輝度の変化をアドレスイベント信号としてリアルタイムに出力するイベントベースセンサが知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１３４２７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、イベントベースセンサにおいて被写体の異常検出を容易にすることである。

【課題を解決するための手段】

【0005】

上記課題を解決する本発明にかかる情報処理装置は、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する取得手段と、前記アドレスイベント信号に基づいて、画素毎に所定の方向の輝度の変化が発生した頻度に応じた評価値を決定する決定手段と、輝度の変化が発生した画素の位置に、輝度の変化の方向を示した画像を生成する生成手段と、前記評価値に基づいて前記生成された画像の表示を制御する制御手段と、を有することを特徴とする。

【発明の効果】

【0006】

イベントベースセンサにおいて被写体の異常検出を容易にできる。

【図面の簡単な説明】

【0007】

【図1】情報処理装置のハードウェア構成例を示すブロック図

【図2】情報処理装置の機能構成例を示すブロック図

【図3】イベントベースセンサの構成例を示す図

【図4】表示の一例を示す図

【図5】表示の一例を示す図

【図6】表示の一例を示す図

【図7】表示の一例を示す図

【図8】ユーザーインターフェースの一例を示す図

【図9】情報処理装置が実行する処理を説明するフローチャート

【発明を実施するための形態】

【0008】

イベントベースセンサにおいて過去の輝度変化の表示を残しながら、新しく検出された輝度変化を重畳して表示する方法（以下、ＸＹ重畳表示と呼ぶ）がある。このＸＹ重畳表示は、特に被写体の周期的な動きをわかりやすく表示できる。このイベントベースセンサによって、例えば、製造業で用いられる機械など、高速で周期的に動く被写体が低頻度で発生する異常を検知する場合が考えられる。このようなユースケースにおいて、イベントベースセンサで撮影した動画像をユーザーが目視し、異常発生を検知するような場合においては、異常動作を含めた過去の輝度変化の表示が残っているために、目視しているユーザーが異常に気付く可能性が高い。しかしながら、実用面においては、正常動作と異常動作の差が小さいような場合に、正常動作と異常動作の軌跡を見分けることが困難である。そこで、本実施形態にかかる情報処理装置を用いることによって、イベントベースセンサを使った計測処理において被写体の異常検出を容易にできる。以下、図を用いて、本発明の実施形態における情報処理装置について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。

【0009】

＜実施形態１＞
＜情報処理装置：図１＞
情報処理装置のハードウェア構成の一例を示したブロック図を図１に示す。図１において、情報処理装置１００は、結像光学系１０１０、光電変換素子１０１１からなるイベントベースセンサ１０１、ＣＰＵ１０２、メモリ１０３、表示部１０４、および操作部１０５から成る。イベントベースセンサ１０１は、受光した入射光に応じたアドレスイベント信号を出力する。結像光学系１０１０は、具体的には受光レンズであって、入射光を受光し、光電変換素子１０１１に結像する。光電変換素子１０１１は、具体的にはＳＰＡＤセンサやＣＭＯＳセンサであって、受光した入射光に応じたアドレスイベント信号を出力する。ＣＰＵ１０２は、メモリ１０３に格納されたＯＳやその他プログラムを読みだして実行し、接続された各構成を制御して、各種処理の演算や論理判断などを行う。ＣＰＵ１０２が実行する処理には、本実施形態にかかる情報処理が含まれる。また、ＣＰＵ１０２は、結像光学系１０１０のフォーカスの駆動や絞りの駆動、光電変換素子１０１１の駆動等の制御を行う。メモリ１０３は、例えば、ハードディスクドライブや外部記憶装置などであり、実施形態の情報処理にかかるプログラムや各種データを記憶する。表示部１０４は、ＣＰＵ１０２からの指示に従って情報処理装置１００の演算結果等を表示装置に出力する。なお、表示装置は液晶表示装置やプロジェクタ、ＬＥＤインジケータなど、種類は問わない。操作部１０５は、例えば、タッチパネルやキーボード、マウス、ロボットコントローラーであり、ユーザーによる入力指示を受け付けるユーザーインターフェースである。

【0010】

次に、図２を用いて、本実施形態にかかる情報処理装置の機能構成例を説明する。情報処理装置１００は、イベントベースセンサ１０１、取得部２０１、画像生成部２０２、表示制御部２０３、評価部２０４、表示部１０４、操作部１０５を有する。ここでは、各機能の概要を説明する。イベントベースセンサ１０１は、受光した入射光に応じたアドレスイベント信号を出力する。より具体的には、イベントベースセンサ１０１は、輝度の変化が発生した画素のアドレスと時刻を示すアドレスイベント信号を出力する。取得部２０１は、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する。画像生成部２０２は、アドレスイベント信号に基づいて、輝度の変化が発生した画素の位置に、輝度の変化の方向に応じた所定の画素値を付与した画像を生成する。表示制御部２０３は、生成された画像を表示部１０４に表示させる。評価部２０４は、画素毎に所定の方向の輝度の変化が発生した頻度に応じた評価値を決定する。表示部１０４は、生成された画像を表示する。操作部１０５は、ユーザーによる入力を受け付ける。なお、表示部１０４や操作部１０５は情報処理装置の外部装置によって実現してもよい。以下に、各機能の詳細を説明する。

【0011】

＜イベントベースセンサ：図３＞
本実施形態にかかるイベントベースセンサの一例を説明する。イベントベースセンサは、入射した光子の数をカウントし、カウントした光子の数が所定の閾値を超えたタイミングを判定する。またイベントベースセンサは、光子の数が第１の閾値以上になるまでの所要時間（クロック数）を計測しており、その所要時間を比較することによって輝度の変化を検出する。具体的には、前回計測された所要時間をＴ_０、最新の所要時間をＴとしたとき、差分Ｔ－Ｔ_０が第２の閾値以上の場合は、マイナス方向の輝度の変化を検出する。差分Ｔ_０－Ｔが第２の閾値以上の場合は、プラス方向の輝度の変化を検出する。そして、ＴとＴ_０の差分が第２の閾値未満であれば輝度の変化を検出しない。なお、第２の閾値はゼロ以上の値で、予め設定された値や他のパラメータに応じて設定される値を用いる。

【0012】

以下に、詳細な構成を説明する。図３ａは、光電変換素子１０１１の構成例を示す図である。光電変換素子１０１１は、画素部１１０と周辺回路１２０から構成される。周辺回路１２０は、垂直調停回路１２１、水平読み出し回路１２２を備える。

【0013】

図３ｂは、イベントベースセンサを構成する各画素部の構成例を示す図である。画素部１１０は、光電変換部１１１、画素カウンタ１１２、時間カウンタ１１３、第１の判定回路１１４、メモリ１１５、比較器１１６、第２の判定回路１１７、応答回路１１８、選択回路１１９を備える。光電変換部１１１は、ガイガーモードで動作するアバランシェフォトダイオード（ＳＰＡＤ）を備えており、光電変換部１１１に入射した光子の数を、画素カウンタ１１２でカウントするように構成される。時間カウンタ１１３では、光子が光電変換部１１１に入射した時間をカウントしている。ＳＰＡＤを用いてイベントベースセンサを構成することによって、光子１個レベルの輝度変化を検出することができる。光子１個レベルの輝度変化を検出することで、夜間などの暗視状態においても、アドレスイベント信号を取得することができる。

【0014】

画素カウンタ１１２でカウントした光子の数が第１の閾値に達すると、第１の判定回路１１４によって、時間カウンタ１１３での時間のカウントを止める。メモリ１１５には、過去の時間カウンタ１１３のカウント値が記憶されており、比較器１１６を用いて、現在の時間カウンタ１１３のカウント値と、過去の時間カウンタ１１３のカウント値の差分のカウント値を求める。

【0015】

第２の判定回路１１７は、差分のカウント値が第２の閾値以上の場合に、応答回路１１８を介して垂直調停回路１２１に、リクエスト信号を送る。応答回路１１８は、垂直調停回路１２１から、アドレスイベントデータの出力の許可または不許可を表す応答を受ける。差分のカウント値が第２の閾値未満の場合には、リクエスト信号を送付しない。

【0016】

応答回路１１８が出力の許可を表す応答を受けると、選択回路１１９により時間カウンタ回路１１３のカウント値が、水平出力回路１２２に出力される。水平出力回路１２２は、受け取ったカウント値を出力信号として光電変換素子１０１１から検知部１０３に出力する。

【0017】

比較器１１６によって算出された差分のカウント値は、光子の入射頻度の逆数に相当するため、本実施形態にかかる光電変換素子１０１１は、「光子の入射頻度の変化」、すなわち輝度の変化を計測する機能を有している。また、第２の判定回路１１７を用いて、入射した光子の数が第１の閾値に達した時間の間隔の差異が、第２の閾値以上の場合のみ、アドレスイベントを出力している。即ち、入射頻度の差異が第２の閾値以上の場合には入射頻度を出力し、差異が閾値未満の場合には入射頻度を出力しない、光電変換素子となっている。以上のような構成とすることで、画素アドレスごとに、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子が実現できる。

【0018】

＜光電変換素子のバリエーション＞
以上では、光電変換部にＳＰＡＤを用い、光子が入射した時間を計測することで、光子の入射頻度の変化を検出する光電変換素子を使用する場合を示した。しかし、輝度の変化をアドレスイベントとしてリアルタイムに検出する光電変換素子であれば、図２の構成でなくてもよい。例えば、特許文献１に記載されているように、輝度の変化を電圧変化として検出する光電変換素子を使用してもよい。

【0019】

＜画像生成＞
取得部２０１では、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する。具体的には、特定の時間範囲で、輝度がプラス方向またはマイナス方向に変化した画素の位置を取得する。特定の時間範囲は、予め設定されるパラメータであって、光電変換素子１０１１の垂直調停回路１２１の時間分解能で決まる最小時間幅としてもよいし、それより長い時間範囲をユーザーによって指定してもよい。時間幅が短いほうが異常現象を高速にとらえることができるが、時間幅が長いほうがランダムノイズなどによる誤差の影響を低減することができ、異常現象か否かを区別する精度が向上する。

【0020】

画像生成部２０２は、アドレスイベント信号から所定の方向の輝度変化の方向を表示する画像を生成する。例えば、正の輝度変化が発生した画素には画素値＝１を付与し、それ以外には画素値＝０を付与することによって、正の軌道変化が発生した画素のみを表現する画像を生成する。ここで、画素値＝１は０以外の数値であれば何でもいい。また、ここでは画素値＝１に対応する色を「白色」、画素値＝０に対応する色を「灰色」として説明するが、他の色であってもよい。ここでは正の輝度変化に制限した場合で説明を行うが、負の輝度変化に制限した場合でも同様の効果を得ることができる。負の輝度変化に制限する場合は、以下の説明で「正の輝度変化」を「負の輝度変換」に、「負の輝度変化」を「正の輝度変化」に、各々読み替えればよい。また、表示色の「白色」を「黒色」に、表示色の「黒色」を「白色」に、各々を読み替えればよい。

【0021】

評価部２０４は、画素毎に所定の方向の輝度の変化が発生した頻度に応じた評価値を決定する。評価値は同一画素における正の輝度変化の頻度から算出する。具体的には正の輝度変化のアドレスイベント同士のタイムスタンプの差ΔＴをとり、そのタイムスタンプ差の逆数１／ΔＴを求めればよい。これを輝度変化のあった画素毎に行い、それぞれの画素毎の評価値（頻度）を算出する。評価値は正の輝度変化が起こる度に前回の値との平均値を取るなどして、ノイズ等の影響を抑えることが望ましい。ここでは、光電変換素子１０１１から非同期で送られてくるアドレスイベントのうち、正の輝度変化は後述する評価値算出に利用され、負の輝度変化は破棄されるが、負の輝度変化の発生頻度に応じて評価値を算出するようにしてもよい。

【0022】

画像生成部２０２は、イベントベースセンサによって検出された輝度変化の情報を、表示部１０４が表示しやすいラスタースキャンのフォーマットに並び替える。前述したように、光電変換素子１０１１からの信号出力順序は、光電変換素子１０１１内の垂直調停回路１２１によって制御されており、閾値以上の輝度変化が生じた順番に出力している。そのため、一般的なＣＭＯＳイメージセンサなどの同期型の光電変換素子と異なり、画素の出力順序がラスタースキャンのフレームフォーマットにはなっていない。そこで、画像生成部２０２は、特定の時間範囲の間に、光電変換素子１０１１から出力された信号を、いったんメモリに蓄積したのち、信号を画素アドレス毎に並び替えてラスタースキャンのフレームフォーマットに変換する。特定の時間範囲は、現象をリアルタイムで表示したい場合には、表示部１０４のリフレッシュレートの逆数とすればよい。また、高速な被写体の変化をスローモーションで表示したい場合は、表示したいスピードに応じて特定の時間を短くすればよい。

【0023】

表示制御部２０３は、評価値に基づいて生成した画像の表示を制御する。つまり、表示制御部２０３は、画像生成部２０２において算出された画素毎の評価値の値によって画素の表示方法を変える。評価値が所定の閾値（以下、表示閾値と呼ぶ）よりも小さい画素は、所定の方向の輝度の変化が重畳表示される。一方、評価値が表示閾値以上の値になった画素、つまり正の輝度変化の頻度が高い画素は重畳表示が取り消され、デフォルト値である灰色の表示（輝度変化なしの画素と同じ表示）に戻される。

【0024】

ここで、比較のために従来手法のＸＹ重畳表示の例を説明する。図４（ａ）は被写体と背景を表している。図中の２００は被写体であり、白点線と白実線は説明のために表記した被写体２００の軌道である。正常動作では白点線に沿って円運動を繰り返しており、低頻度で起こる異常動作では白実線で示した起動を通る。また被写体２００は背景に対して輝度が高いとする。この被写体をイベントベースセンサで撮影し、ＸＹ重畳表示を行った例が図４（ｂ）および（ｃ）である。図４（ｂ）は異常動作が発生せず正常動作のみが撮影された場合の表示画面である。この表示画面において、黒色は負の輝度変化、白色は正の輝度変化が検出されたことを表し、灰色は輝度変化なしを表している。被写体２００は円運動を行っているため、特定の時間範囲（例えば１フレームに相当する時間）に被写体２００が進行した領域では正の輝度変化が起こり白色となる。被写体２００が通り過ぎた領域は負の輝度変化が起こるため黒色で表示され、被写体２００が再び通過するまでは新たな輝度変化が発生しないため表示は更新されず黒色の軌跡として残る。図４（ｃ）は正常動作に加えて異常動作が発生した場合のＸＹ重畳表示の例を示しており、図４（ｂ）に対して異常動作の軌跡が加わっている。図４（ｂ）と（ｃ）を見比べると分かるように、正常動作と異常動作の差が小さい場合は、ＸＹ重畳表示画像における軌跡も差が小さく、両者を見分けることが困難である。図５に本実施例の表示方法を使用した場合のＸＹ重畳表示画像を示す。図５における点線（説明のために表記）で囲われた領域は、正常動作の軌跡部分のため評価値（頻度）が高く、表示閾値以上になり表示が取り消されている。一方、図示されている白い三日月状の領域は、異常動作による軌跡である。異常動作部分の評価値（発生頻度）は低いために表示閾値より低く、軌跡は消えることなく表示されたままになっている。図５のような表示を行うことによって、異常が発生したことをユーザーに視認されやすい。つまり、頻度の高い正常動作の軌跡は閾値を超えて表示が取り消され、頻度の低い異常動作の軌跡は閾値を超えずに表示が残ることから、ユーザーが容易に異常の発生に気づくことができる。

【0025】

＜ユーザーインターフェース＞
ユーザーインターフェース１０５は、ユーザーが撮像装置１００の制御を行う部分である。具体的には、表示する輝度変化の方向（正負）を切り替えたり、表示閾値の値を変更したり、重畳表示開始時間を変更したり、他の表示方式に変更したり、ＸＹ画像の各々の軸の縮尺を拡大縮小するなどの機能を有する。また、ユーザーが表示画像の一部を選択できるようにして、選択された場合に該領域の軌跡が発生した時刻のＸＹ表示（重畳表示ではない通常のＸＹ表示）に変更するようにしてもよい。このようにすることでユーザーは異常を発見したあと、速やかに異常発生の原因解析に移行することができる。前述した表示部１０４やインターフェース１０５は、ネットワークケーブルや無線伝送などによって撮像装置１００と接続された外部機器に設けられていてもよい。

【0026】

＜フローチャート＞
以上に説明したアドレスイベント信号の表示を行うために情報処理装置１００が実行する処理を説明する。図９は、情報処理装置１００が実行する処理を説明するフローチャートである。図９のフローチャートに示した処理は、コンピュータであるＣＰＵ１０２によりメモリ１０３に格納されているコンピュータプログラムに従って実行される。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。ただし、情報処理装置１００はこのフローチャートで説明するすべてのステップを必ずしも行わなくても良い。

【0027】

Ｓ１００１では、情報処理装置１００が、各種設定を初期化する。例えば、輝度の変化の発生数を計測する際の時間範囲を設定する。また、フォトンカウントノイズに応じて第１の閾値を設定する。例えば、監視領域に何も動体がない状態で輝度の変化を計測した結果を取得し、アドレスイベント信号が観測された値を取得する。このとき観測されたアドレスイベント信号はノイズである可能性が高いため、そのノイズの発生数を第１の閾値として設定する。第１の閾値の設定方法はこれ以外の方法であってもよい。任意の値をユーザーによって設定してもよい。次に、Ｓ１００２では、取得部２０１では、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する。このアドレスイベント信号には、輝度の変化が発生した画素のアドレス、輝度の変化の方向、輝度の変化が発生した時刻を特定可能な時刻情報が含まれる。Ｓ１００３では、画像生成部２０２は、画像を表示するか否かを判断する。画像生成するのに十分なデータが集まった場合（例えば所定期間以上アドレスイベント信号を取得した）や、ユーザーによる出力指示があった場合は、画像生成するためにＳ１００４に進む。アドレスイベント信号が十分に集まっていない状態ではＳ１００２に戻る。Ｓ１００４では、画像生成部２０２は、アドレスイベント信号から所定の方向の輝度変化の方向を表示する画像を生成する。Ｓ１００５では、評価部２０４が、画素毎に所定の方向の輝度の変化が発生した頻度に応じた評価値を決定する。Ｓ１００６では、評価値に基づいて生成した画像の表示を制御する。Ｓ１００７では、情報処理装置１００が、処理を終了するか否かを判定する。ユーザーの終了指示に基づいて、終了を判定してもよいし、予め設定された処理対象をすべて処理したか否かで判定してもよい。終了しない場合はＳ１００２に戻る。

【0028】

＜評価値のバリエーション＞
前述した評価値では「同一方向の輝度変化が発生する頻度」としたが、極端な例として「同一方向の輝度変化が偶数回起こったら重畳表示を取り消し、奇数回起こったら重畳表示させる」としてもよい。この方法は演算量が少なくてすむため、高速化が可能である。この方法では、正常動作の軌跡も偶数回／奇数回発生するごとに表示がＯＮＯＦＦされるので、表示がハンチング（明滅）する。異常動作の軌跡の発生頻度は正常動作の軌跡の発生頻度より低いため、異常動作の軌跡のハンチング間隔も正常動作の軌跡のハンチング間隔より長くなる。このため、ユーザーはハンチング間隔の差から、目視で異常動作を見分けることが可能である。

【0029】

また、評価値の別の例として、「同一方向の輝度変化が発生した回数」を評価値としてもよい。正常動作の軌跡では同一方向の輝度変化が周期毎に発生するため、発生回数つまり評価値は高くなる。一方異常動作の軌跡では、異常動作が低頻度であるために同一方向の輝度変化の発生は少なく、評価値は低くなる。この場合も、頻度を評価値とした場合と同様に評価値が表示閾値以上になった画素の重畳表示を取り消せばよい。この方法は、頻度を評価値とするよりも演算量が少なくて済むため、より高速化が可能である。

【0030】

＜表示方法のバリエーション＞
表示部１０４において、表示閾値の値や、再生速度などのパラメータを文字表示で表示するようにしてユーザーの利便性を向上させてもよい。さらに、ユーザーインターフェースを介してユーザーが指定した画素の評価値を文字表示させるようにしてもよい。

【0031】

また、評価値が表示閾値以上となった画素の重畳表示を取り消さずに、評価値が表示閾値未満の画素と表示色を変えるようにして、ユーザーが異常動作に気づきやすいようにしてもよい。さらに、表示閾値以下の評価値を所定の範囲でグルーピングし、（例えば２等分）グループ毎に表示色を異ならせるようにしてもよい。このように表示することによって、発生頻度の異なる複数種の異常動作が混在していた場合において、ユーザーが複数の異常動作が存在することに気づく可能性を向上することができる。

【0032】

＜異常の出方のバリエーション＞
ここまでは、異常動作の発生頻度が、正常動作の発生頻度に比べて低い場合の説明を行った。ここでは異常の発生パターンとして他に２つのパターンを仮定し、それぞれについて効果を説明する。１つ目は、最初は正常動作していたが、途中から異常動作になり、以後異常動作を繰り返す場合である。この場合は異常動作の発生頻度が高いため、最終的には正常動作の軌跡も異常動作の軌跡も共に表示が取り消されてしまう。ユーザーは表示画像を見ても異常動作の軌跡が残っていないため、全て正常動作していると勘違いする可能性が高い。この場合は、画素毎の評価値が大きく変化したタイミング（評価値の変化が所定の割合より大きい場合）で表示部１０４に「異常動作発生の可能性あり」などの警告をユーザーに向けて表示させるようにするとよい。これによって、画像に何も表示されていなくとも、真に輝度変化がないのか、異常動作の頻度（評価値）が高いために表示されていないのかを判断することが可能になる。なお、ユーザーインターフェース１０５を介してユーザーが指示を行えば、画素毎の評価値が大きく変化したタイミングのＸＹ表示に表示を変更するようにしてもよい。これによって、ユーザーは異常発生時の原因解析にすみやかに移行することが可能になる。

【0033】

２つ目は、全て正常動作ではあるが、起動初期のみに非周期性の動作が行われ、途中から周期運動に入る場合である。この場合、正常な初期動作が異常動作の軌跡と同じように表示されてしまう。この場合は、ユーザーインターフェースを介して、ユーザーがＸＹ重畳表示を開始するタイミングを変更して初期動作後に表示が開始されるようにすればよい。もしくは周期運動に入った時点で、ユーザーがＸＹ重畳表示をリセットするようにしてもよい。

【0034】

以上で説明したように、高速で周期的に動く被写体の異常発生を検知するユースケースにおいて、ユーザーが容易に異常発生を検知することが可能になる。

【0035】

＜実施形態２＞
＜ＸＴ表示、ＹＴ表示＞
実施形態２では実施形態１と異なり、画素のアドレスＸＹのいずれか一方と、時間軸Ｔを用いたＸＴ表示ないしＹＴ表示の２次元空間の表示を行う場合の重畳表示（ＸＴ重畳表示、ＹＴ重畳表示と呼ぶ）について説明する。また説明のために、重畳表示を行わない従来の表示方法を単にＸＴ表示、ＹＴ表示と呼称する。以後、ＸＴ重畳表示を例に説明を行うがＹＴ重畳表示の場合も同様であり、ＹＴ表示の場合は以後の説明でＸとＹを読み替えればよい。

【0036】

まず、従来のＸＴ表示（重畳表示ではない表示）の説明を行う。被写体の動きに対して、時間方向の変化を分かりやすく表示する手段としてＸＴ表示が知られている。この表示方法を、一定速度で周期運動する物体が異常時に速度低下を起こすケースの解析に用いた場合を考える。図６に、従来のＸＴ表示の動画像の例を示す。被写体は図４（ａ）と同一である。図６では時刻Ｔ１（過去）～Ｔ２（未来）における動画像の変化を示している。Ｔ軸において左側が過去を表しており、より新しいイベント（Ｘアドレス値）がＴ軸の右側に追加されていく。またＴ軸の表示範囲ΔＴは固定値であり、最古のデータから最新のデータまでの時間がΔＴを超えた後は、最新のデータからΔＴだけ前のデータまでを表示する。つまり最新のデータから一定時間ΔＴ以上経過した過去のデータは表示されなくなる。このような表示方式では、被写体２００の周期運動速度に異常（速度変化）があった場合に、その異常データを人が見逃してしまう可能性が高い。

【0037】

次に本実施形態のＸＴ重畳表示の場合を説明する。図７（ａ）にＸＴ重畳表示の動画像イメージを示す。撮影被写体は図４（ａ）と同一である。実施形態１のＸＹ重畳表示と同様にＸＴ重畳表示においても、正の輝度変化のみを重畳表示し、負の輝度変化は表示させないものとする。（逆に負の輝度変化のみを表示させるようにしても同様の効果が得られる）また、評価部２０４にて画素毎の評価値（頻度）を算出し、評価値が表示閾値値以上の画素は重畳表示を取りやめることとする。つまり、画像生成部２０２は、所定の時間間隔において輝度の変化が発生した画素の位置を示す画像を生成する。さらに、表示制御部２０３は、所定の時間間隔で生成された画像を重畳表示する。評価部２０４は、所定の表示閾値上の頻度で同じ方向の輝度変化が発生している画素（位置）について、表示をキャンセルする。

【0038】

図７（ａ）ではある特定の時間幅ΔＴを表示範囲として制限しており、撮影開始からΔＴを越えた場合は、Ｔ＝０から再度描画を行っている。以降ΔＴ単位でＴ＝０からの描画を繰り返し重畳表示させている。本実施形態ではユーザーがユーザーインターフェース１０５を介してΔＴ幅を、被写体２００の１周期に合わせることを想定している。このようにΔＴを設定すると、毎周期の軌跡が重なるようになるため、正常動作の軌跡は表示閾値以上になり、重畳表示が取り消される。図７（ｂ）は異常動作（周期）が発生した場合の表示画像を示している。正常動作の軌跡は表示閾値を越えて表示が取り消されており、異常動作の軌跡のみが表示されている。図７（ｂ）の画像を見ることで、ユーザーは容易に異常動作の発生に気づくことが可能である。

【0039】

実際には、正常周期であってもある程度の速度ゆらぎが存在し、ＸＴ重畳表示を行っても完全に軌跡が重ならないケースもある。このような場合では、軌跡が重なったと見なせる範囲（重複扱い範囲と呼ぶ）を、ユーザーインターフェース１０５を介してユーザーが設定することで解決可能である。図７（ｃ）では実際の正常動作の軌跡を中心に、重複扱い範囲を設定した場合を示している。重複扱い範囲は、正常動作のゆらぎ幅と、異常動作の乖離幅（正常動作の軌跡との差分）の間の値に設定すると、ゆらぎの影響を抑えつつ異常動作のみを表示させることができるため望ましい。

【0040】

＜実施形態３＞
＜ＸＹＴ表示＞
実施形態３では、アドレスイベントによって検出された輝度変化を、イベントが発生した画素の座標（ＸＹ）と、時間（Ｔ）を軸にとって、３次元的に表示する方法（以下、ＸＹＴ表示と呼ぶ）について説明する。実施形態３における撮像装置は、実施形態１の撮像装置１００と同一であるため、差異のある部分以外は説明を省略する。

【0041】

本実施形態では画像生成部２０２は、特定の時間範囲の間に発生したイベントを、アドレス毎に並び替えてラスタースキャンのフレームフォーマットに変換する。この変換を複数繰り返すことで、フレーム画像（ＸＹ画像）を時間方向（Ｔ方向）に複数枚持つ、という形式のＸＹＴ画像を生成することができる。表示制御部２０３は、生成されたＸＹＴ画像を２次元画面の表示領域内に３次元的に表示する。つまり、表示制御部２０３は、時間軸と空間軸を変化させて生成された画像を表示させる。

【0042】

ＸＹＴ表示は３次元で被写体の動きを認識できるため、空間方向と時間方向の両方に異常が発生するような場合の解析に向いている。また、実施形態１および２で異常発生を発見した後、原因解析を行う際の表示方法にも向いている。

【0043】

ＸＹＴ表示においては視点の設定が重要であり、不適切な視点を設定するとアドレスイベント同士の重なり、つまり死角の多い画像になってしまう。図８（ａ）に死角の多い視点を設定した場合のＸＹＴ表示の１例を示す。被写体は図４（ａ）と同一である。図８（ａ）で示した例では、特に時間方向の被写体の周期性が分かりづらくなっており、ユーザーによる異常動作の発見も解析も困難になり望ましくない。

【0044】

本実施形態ではＸＹＴ表示の際に、アドレスイベント同士の重なりが少ない視点を設定することで、ユーザーが容易に異常動作を発見したり、解析したりできるようになる。本実施形態では画像生成部２０２において、アドレスイベント同士の重なりが最も少なくなる視点を算出する。視点算出の一例を説明する。初期視点はＴ軸上でかつＸＹＴ原点を見る角度とし、アドレスイベント全体が表示系１０４の表示領域に収まるようＴ軸上での位置を変更する。表示領域にアドレスイベント全体が収まり、かつ表示領域のいずれかの端近傍までデータが配置されるようにＴ軸上の視点位置を決めると、カウント値が低くなるため望ましい。次に、Ｘ軸を中心に視点を単位角度２π／ｎだけ回転させる。このｎ（分割数）はどのような値でもよいが、小さいほど視点決めにかかる時間が増加し、大きいほど最適視点の精度が下がる。視点を回転させた後、表示上重なってしまうアドレスイベントの数をカウントし、保持する。この後、回転角の合計が２πになるまで視点の回転とカウント値の算出を繰り替えし、最終的に最もカウント値が小さかった視点角度に設定する。次にＹ軸を中心に単位角度２π／ｎずつ回転させ、それぞれの角度で同様にカウント値を算出する。回転角の合計が２πになるまで繰り返したのち、最もカウント値が小さかった視点を最適な視点と判断して採用する。

【0045】

図８（ｂ）に本実施形態の手法を用いて表示されたＸＹＴ表示の例を示す。図８（ｂ）は図８（ａ）に比べてアドレスイベント同士の重なりが少なく、被写体の異常動作を発見しやすいことが分かる。前述した通り、本実施形態のＸＹＴ表示は実施形態１および２において、ユーザーが異常の発生に気づいた後、解析を行う際の表示として適している。実施形態１および２において、ユーザーインターフェース１０５を介してユーザーが異常軌跡を選択した際に、該当軌跡が発生したタイミングのＸＹＴ表示に表示が変更されるようにしてもよい。このようにすると、ユーザーは異常動作の検知後、速やかに原因解析に移行することができるため望ましい。

【0046】

＜その他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。

【符号の説明】

【0047】

１００ 撮像装置
１０１ イベントベースセンサ
１０４ 表示部
１０５ 操作部
２０１ 取得部
２０２ 画像生成部
２０３ 表示制御部
２０４ 評価部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】