特開 2022-188987 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022188987

(43)【公開日】2022-12-22

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   H04N 5/369 20110101AFI20221215BHJP

   H04N 5/3745 20110101ALI20221215BHJP

   G06T 7/215 20170101ALI20221215BHJP

   H04N 5/232 20060101ALI20221215BHJP

【ＦＩ】

H04N5/369

H04N5/3745 500

G06T7/215

H04N5/232 930

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2021097306

(22)【出願日】2021-06-10

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】五十嵐 健太

【テーマコード（参考）】

5C024

5C122

5L096

【Ｆターム（参考）】

5C024CY15

5C024CY26

5C024GY31

5C024HX22

5C024HX29

5C024HX60

5C122EA42

5C122FC06

5C122FC07

5C122FK24

5C122HB01

5C122HB06

5L096CA04

5L096DA01

5L096FA52

5L096GA07

5L096GA51

5L096HA03

5L096HA07

5L096JA03

(57)【要約】

【課題】 本発明が解決しようとする課題は、イベントベースセンサを用いた場合に、停止した被写体の視認性を向上させることを目的とする。
【解決手段】 上記課題を解決する本発明にかかる情報処理装置は、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号に基づいて、輝度変化があった画素を示す画像を生成する生成手段と、前記生成された画像を表示させる表示制御手段と、を有し、前記表示制御手段は、所定のイベントが検出されなかった場合に、前記生成された画像に対する付加情報を表示させることを特徴とする。
【選択図】図８

【特許請求の範囲】

【請求項1】

輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号に基づいて、輝度変化があった画素を示す画像を生成する生成手段と、
前記生成された画像を表示させる表示制御手段と、を有し、
前記表示制御手段は、所定のイベントが検出されなかった場合に、前記生成された画像に対する付加情報を表示させることを特徴とする情報処理装置。

【請求項2】

輝度の変化が発生した画素の有無に応じて前記所定のイベントを検出する検出手段を更に有することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記検出手段は、第１の期間に取得された前記アドレスイベント信号が第１の閾値以上である場合に、前記所定のイベントを検出することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記検出手段は、前記第１の期間に取得された前記アドレスイベント信号のうち、連続した画素の数を示す連結数が第２の閾値以上である場合に、前記所定のイベントを検出することを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記検出手段は、前記第１の期間に取得された前記アドレスイベント信号のうち、連続した画素の数と位置に基づいて取得された外形情報と、予め記憶された被写体の外形を示す特徴点データと、が類似する場合に、前記所定のイベントを検出することを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記所定のイベントは、動体の検出であることを特徴とする請求項２乃至５のいずれか１項に記載の情報処理装置。

【請求項7】

前記生成手段は、前記検出手段によって前記所定のイベントが検出されなかった時間を用いて決定された期間において取得された前記アドレスイベント信号に基づいて、前記画像を生成することを特徴とする請求項２乃至６のいずれか１項に記載の情報処理装置。

【請求項8】

前記生成手段は、所定の期間に取得された前記アドレスイベント信号に基づいて、前記画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。

【請求項9】

前記生成手段は、動的に決定された期間に取得された前記アドレスイベント信号に基づいて、前記画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。

【請求項10】

前記表示制御手段は、色相、彩度、明度の少なくともいずれか１つを変更した前記画像を表示させることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。

【請求項11】

前記表示制御手段は、特定の文字列と前記画像とを表示させることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記表示制御手段は、前記画像から検出された被写体と、前記画像より前に検出された被写体であって前記画像から検出されない被写体とを区別して表示させることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。

【請求項13】

前記表示制御手段は、前記画像に対して、該画像より前に前記所定のイベントが検出された画像を、重畳するように表示させることを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。

【請求項14】

前記表示制御手段は、前記画像と、該画像より前に前記所定のイベントが検出された画像と、を合成して表示させることを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。

【請求項15】

前記アドレスイベント信号は、画素ごとに単位時間当たりの輝度の変化を検出するセンサによって出力され、輝度の変化が検出されない場合には、前記アドレスイベント信号は出力されない、または、輝度の変化がないことを示すことを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理装置。

【請求項16】

前記アドレスイベント信号は、光子の入射に応じて信号を出力する画素を備えた光電変換素子によって出力されることを特徴とする、請求項１乃至１５のいずれか１項に記載の情報処理装置。

【請求項17】

輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号に基づいて、輝度変化があった画素を示す画像を生成する生成工程と、
前記生成された画像を表示させる表示制御工程と、を有し、
前記表示制御工程は、所定のイベントが検出されなかった場合に、前記生成された画像に対する付加情報を表示させることを特徴とする情報処理方法。

【請求項18】

コンピュータを、請求項１乃至１６のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イベントベースセンサを用いた画像の表示に関する。

【背景技術】

【0002】

画素ごとの輝度の変化をアドレスイベント信号としてリアルタイムに出力するイベントベースセンサが知られている（特許文献１参照）。イベントベースセンサの出力に基づいて画像を生成する際には、ある一定期間の出力信号を積分してフレームへ変換する技術が知られている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－７２３１７号公報

【特許文献2】特開２０１７－０９１５１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、イベントベースセンサを用いた場合に、停止した被写体の視認性を向上させることを目的とする。

【課題を解決するための手段】

【0005】

上記課題を解決する本発明にかかる情報処理装置は、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号に基づいて、輝度変化があった画素を示す画像を生成する生成手段と、前記生成された画像を表示させる表示制御手段と、を有し、前記表示制御手段は、所定のイベントが検出されなかった場合に、前記生成された画像に対する付加情報を表示させることを特徴とする。

【発明の効果】

【0006】

本発明によれば、イベントベースセンサを用いた場合に、停止した被写体の視認性を向上できる。

【図面の簡単な説明】

【0007】

【図1】情報処理装置のハードウェア構成例を示すブロック図

【図2】イベントベースセンサの構成例を示す図

【図3】情報処理装置の機能構成例を示すブロック図

【図4】情報処理装置が実行する処理を説明するフローチャート

【図5】情報処理装置が実行する処理を説明するフローチャート

【図6】表示フレームの生成方法の一例を説明するための模式図

【図7】表示フレームの生成方法の一例を説明するための模式図

【図8】表示フレームの生成方法の一例を説明するための模式図

【発明を実施するための形態】

【0008】

従来、垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の光電変換素子が、撮像装置などにおいて用いられている。この一般的な同期型の光電変換素子では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、画素アドレスごとに、その画素の光量の変化量が閾値を超えた旨をアドレスイベントとしてリアルタイムに検出する検出回路を、画素毎に設けた非同期型の光電変換素子が提案されている（例えば、特許文献１参照）。このように、画素毎にアドレスイベントを検出する光電変換素子は、ＤＶＳ（Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ）と呼ばれる。本件では、特にイベントベース型のカメラを、イベントベースセンサと呼ぶ。

【0009】

上記のようなイベントベースセンサを用いた撮像装置の出力信号は従来、マシンビジョンの用途として用いられる。しかしながら、撮像装置の設置時における動作検証などを目的としてフレームベースの表示を行うことが求められる。特許文献２に開示されている表示方法では、ある一定期間以上被写体の動作がなくなった場合には、アドレスイベントが発生しないために画素出力が得られず、結果として被写体が表示されない時間が続く場合があり、動作確認などが行いにくいという課題がある。本件は上記の課題を鑑みて成されたものであり、非同期に信号を出力する光電変換素子を用いた撮像装置において、特に被写体の動きがない場合に視認性の高いフレーム映像信号を生成および表示することを目的とする。

【0010】

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は、図示された構成に限定されるものではない。

【0011】

（実施形態１）
＜撮像装置１００の機能構成：図１＞
図１は、撮像装置（情報処理装置）１００のハードウェア構成例を示す模式図である。なお、撮像装置１００は具体的にはイベントベースセンサを有する撮像装置であるが、画像処理を行う機能と画像に対する解析処理（動き検出）を実行する機能は別々の装置が備えていても良い。撮像装置１００は、撮像光学系１０１０と光電変換素子１０１１とから成る撮像部１０１、ＣＰＵ１０２、メモリ１０３、表示部１０４、操作部１０５とを有する。光電変換素子１０１１は、受光した入射光に応じたアドレスイベント信号を出力するイベントベースセンサである。イベントベースセンサは、画素毎に輝度の変化をイベントとして検出し、アドレスイベント信号は、輝度の変化が発生した画素の位置と時刻とを示す。撮像光学系１０１０は、具体的には受光レンズであって、入射光を受光し、光電変換素子１０１１に結像する。ＣＰＵ１０２は、メモリ１０３に格納されたＯＳやその他プログラムを読みだして実行し、接続された各構成を制御して、各種処理の演算や論理判断などを行う。ＣＰＵ１０２が実行する処理には、本実施形態にかかる情報処理が含まれる。また、ＣＰＵ１０２は、撮像光学系１０１０のフォーカスの駆動や絞りの駆動、光電変換素子１０１１の駆動等の制御を行う。メモリ１０３は、例えば、ハードディスクドライブや外部記憶装置などであり、実施形態の情報処理にかかるプログラムや各種データを記憶する。表示部１０４は、例えば、ＣＰＵ１０２からの指示に従って情報処理装置１００の演算結果等を表示する表示装置である。なお、表示装置は液晶表示装置やプロジェクタ、ＬＥＤインジケータなど、種類は問わない。操作部１０５は、例えば、タッチパネルやキーボード、マウス、ロボットコントローラーであり、ユーザーによる入力指示を受け付けるユーザーインターフェースである。なお、情報処理装置１００は、ここに挙げたハードウェア構成以外の機構を有していてもよい。

【0012】

＜光電変換素子１０１１：図２＞
本実施形態にかかる光電変換素子（イベントベースセンサ）の一例を説明する。イベントベースセンサは、入射した光子の数をカウントし、カウントした光子の数が所定の閾値を超えたタイミングを判定する。またイベントベースセンサは、画素毎に光子の数が第１の閾値以上になるまでの所要時間（クロック数）を計測しており、その所要時間を比較することによって輝度の変化を検出する。具体的には、前回計測された所要時間をＴ０、最新の所要時間をＴとしたとき、差分Ｔ－Ｔ０が第２の閾値以上の場合は、マイナス方向の輝度の変化を検出する。差分Ｔ０－Ｔが第２の閾値以上の場合は、プラス方向の輝度の変化を検出する。そして、ＴとＴ０の差分が第２の閾値未満であれば輝度の変化を検出しない。なお、第２の閾値はゼロ以上の値で、予め設定された値や他のパラメータに応じて設定される値を用いる。

【0013】

以下に、詳細な構成を説明する。図２（Ａ）は、光電変換素子１０１１の構成例を示す図である。光電変換素子１０１１は、画素部１１０と周辺回路１２０から構成される。周辺回路１２０は、垂直調停回路１２１、水平読み出し回路１２２を備える。

【0014】

図２（Ｂ）は、イベントベースセンサを構成する各画素部の構成例を示す図である。画素部１１０は、光電変換部１１１、画素カウンタ１１２、時間カウンタ１１３、第１の判定回路１１４、メモリ１１５、比較器１１６、第２の判定回路１１７、応答回路１１８、選択回路１１９を備える。光電変換部１１１は、ガイガーモードで動作するアバランシェフォトダイオード（ＳＰＡＤ）を備えており、光電変換部１１１に入射した光子の数を、画素カウンタ１１２でカウントするように構成される。時間カウンタ１１３では、光子が光電変換部１１１に入射した時間をカウントしている。ＳＰＡＤを用いてイベントベースセンサを構成することによって、光子１個レベルの輝度変化を検出することができる。光子１個レベルの輝度変化を検出することで、夜間などの暗視状態においても、アドレスイベント信号を取得することができる。

【0015】

画素カウンタ１１２でカウントした光子の数が第１の閾値に達すると、第１の判定回路１１４によって、時間カウンタ１１３での時間のカウントを止める。メモリ１１５には、過去の時間カウンタ１１３のカウント値が記憶されており、比較器１１６を用いて、現在の時間カウンタ１１３のカウント値と、過去の時間カウンタ１１３のカウント値の差分のカウント値を求める。

【0016】

第２の判定回路１１７は、差分のカウント値が第２の閾値以上の場合に、応答回路１１８を介して垂直調停回路１２１に、リクエスト信号を送る。応答回路１１８は、垂直調停回路１２１から、アドレスイベントデータの出力の許可または不許可を表す応答を受ける。差分のカウント値が第２の閾値未満の場合には、リクエスト信号を送付しない。

【0017】

応答回路１１８が出力の許可を表す応答を受けると、選択回路１１９により時間カウンタ回路１１３のカウント値が、水平出力回路１２２に出力される。水平出力回路１２２は、受け取ったカウント値を出力信号として光電変換素子１０１１から検知部２０１に出力する。

【0018】

比較器１１６によって算出された差分のカウント値は、光子の入射頻度の逆数に相当するため、本実施形態にかかる光電変換素子１０１１は、「光子の入射頻度の変化」、すなわち輝度の変化を計測する機能を有している。また、第２の判定回路１１７を用いて、入射した光子の数が第１の閾値に達した時間の間隔の差異が、第２の閾値以上の場合のみ、アドレスイベントを出力している。即ち、入射頻度の差異が第２の閾値以上の場合には入射頻度を出力し、差異が閾値未満の場合には入射頻度を出力しない、光電変換素子となっている。以上のような構成とすることで、画素アドレスごとに、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子が実現できる。

【0019】

＜光電変換素子のバリエーション＞
以上では、光電変換部にＳＰＡＤを用い、光子が入射した時間を計測することで、光子の入射頻度の変化を検出する光電変換素子を使用する場合を示した。しかし、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子であれば、図２の構成でなくてもよい。例えば、特許文献１に記載されているように、輝度の変化を電圧変化として検出する光電変換素子を使用してもよい。

【0020】

＜撮像装置１００の機能構成例：図３＞
図３は本実施形態を実施する撮像装置（情報処理装置）１００の機能構成例を示すブロック図である。撮像装置（情報処理装置）１００は、撮像光学系１０１０と光電変換素子１０１１とから成る撮像部３０１（図１の１０１に対応）、出力信号記憶部３０２、画像生成部３０３、画像記憶部３０４、情報付加部３０５、計算部３０６、出力部３０７を有する。撮像部３０１は、被写体を撮像し、アドレスイベント信号を取得する。不図示の被写体像を撮像光学系１０１０および不図示の光学フィルタ（なくてもよい）に投影して光電変換素子１０１１に結像する。光電変換素子は被写体像の輝度値変化を捉え、変化が有った場合にのみ信号を出力する、いわゆるダイナミックビジョンセンサ（イベントベースセンサ）である。撮像部３０１は、光電変換素子によって、変化の有った画素座標、変化方向、および時刻（タイムスタンプ）を非同期に出力する。また、撮像部３０１は、絞りやズーム、ピント制御を行うための機械的な構造を持ち、不図示の撮像光学系制御部によって制御される。出力信号記憶部３０２は、光電変換素子によって出力されたアドレスイベント信号を記憶する。画像生成部３０３は、一定期間ごとに、信号記憶部３０２に記憶されたアドレスイベント信号に基づいてフレームデータを生成する。生成されたフレームデータは、画像記憶部３０４において記憶される、または、出力部３０７に出力される。画像記憶部３０４は、生成されたフレームデータを記憶する。イベント検出部３０６は、光電変換素子から得られる、被写体の輝度値変化に伴う非同期信号出力よりイベントの有無を検出する（アドレスイベントとは異なる）。表示制御部３０５は、特にイベントが検知されない場合に働き、被写体像の視認性を向上させるよう、情報を付加したフレームデータを、出力部３０７に出力する。すなわち、表示制御部３０５は、被写体が停止した場合に、被写体の存在を示すために、現在のフレームデータとは異なるフレームデータに基づいて、被写体の位置を示す表示をフレームデータに重畳するように表示を制御する。出力部３０７は、表示部１０４または外部の表示装置にフレームデータを出力する。

【0021】

＜フローチャート：図４、図５＞
図４は本実施形態を実施する場合に撮像装置（情報処理装置）１００が実行する処理の一例である。Ｓ２００では、撮像装置１００が、初期化を行う。例えば、撮像装置の設定値等を初期設定に戻す。Ｓ２０１では、画像生成部３０３が、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号に基づいて、画像を生成する。ここでは、一定期間ごとに各画素のアドレスイベント信号を合成することによって、１枚のフレームデータを生成する。つまり、輝度変化があった画素については１、輝度変化がなかった画素については０の２値で表される画像を生成する。なお、輝度変化の方向に応じて、３値の画像として表してもよい。Ｓ２０２では、イベント検出部３０６が、光電変換素子から得られる非同期信号に基づいて、所定のイベントが発生したか否かを判定する。ここでは、所定のイベントとは、動体の検出とする。（ただし、撮像装置は静止しているものとする。）Ｓ２０２において、イベントが検出された場合は、Ｓ２０３に進む。Ｓ２０２において、イベントが検出されなかった場合は、Ｓ２０５に進む。Ｓ２０２において、イベントが検出されなかった場合は、Ｓ２０５において、表示制御部３０５が、生成された画像に対して、前フレームで検出された動き情報が検出されなかった領域に、付加情報を重畳するように表示を制御する。この処理については、後段で詳細に説明する。Ｓ２０３では、出力部３０７が、画像生成部３０３において生成された画像、または表示制御部３０５においてを、表示部１０４に出力する。ここで出力された画像はイベントが検出された画像であるため、どこでイベントが発生したか視認される。Ｓ２０４では、画像記憶部３０４が、画像生成部３０２によって生成された現フレームの画像を記憶する。Ｓ２０６では、撮像装置１００が、処理を継続するか否かを判断する。判断基準は、起動から所定時間が経過したかといった条件であってもよいし、ユーザーの指示に基づいて、終了を判断してもよい。

【0022】

ここで、図４におけるＳ２０２の処理について、図５を用いて詳細に説明する。図５は、Ｓ２０２の詳細な処理を説明するフローチャートである。まず、Ｓ３０１において、イベント検出部３０６は、撮像部３０１から画素出力を取得すると、動き情報有りと判断し、Ｓ３０２へ進む。ここで動き情報とは単に画素出力（すなわち、アドレスイベント信号）を指す。画素出力がない場合は、Ｓ３０５に進み、イベント検出部３０６は、「イベント検出なし」と判断し、Ｓ２０２を終える。Ｓ３０２では、イベント検出部３０６が、動き情報が第一のしきい値Ｎ１以上の連結数かどうかを比較し、第一のしきい値Ｎ１以上である場合にはノイズではないと判断する。ここで連結数とは、同一タイムスタンプ（任意の期間としても良い）における画素出力を有する画素が二次元平面において結合（隣接）している個数を指す。動き情報が閾値Ｎ１未満である場合は、Ｓ３０５に進み、イベント検出部３０６は、「イベント検出なし」と判断し、Ｓ２０２を終える。第一のしきい値Ｎ１以上である場合にはノイズではないと判断した場合、この判断結果をそのままＳ２０２の結果としても良いが、より望ましくはＳ３０３へ進み、イベント検出部３０６が、前フレームまでに記憶された特徴点データとの照合処理を行う。照合処理は、検出したい任意の被写体形状を示すデータ群を特徴点データとして出力信号記憶部３０２に予め記憶させておき、特徴点データと被写体形状との外形形状の類似度を算出する。

【0023】

ここで、特徴点データの生成方法について説明する。特徴点データは、所定値以上の画素値を有する画素の集合である輪郭情報を少なくとも含む。例えば、同一タイムスタンプ（任意の期間としても良い）を１つのフレームデータとして扱うことにして、（任意の期間の場合は積分などの前処理が必要）このフレームデータを左上から順に探索する。画素出力が存在する第一の画素の８画素近傍に他の画素出力を有する未探索の第二の画素が存在する場合、第一の画素を基準として、第一から第二の画素への相対方向Ｄ１と連続数Ｓ１を記憶する。相対方向は、座標系に対しある方向を０、０の方向を基準として（反）時計回りに４５度ずつそれぞれの方向を１、２、３・・・と順に割り当て、計８方向を数値によって表現する。連続数は相対方向の連続している数、すなわち同一輪郭形状を示す点群の長さを示し、初期値は１である。例えば、相対方向が１１１と連続して得られた場合、この連続数は３となる。具体的には、第二の画素の８近傍に他の画素出力を有する未探索の第三の画素が存在する場合、第二の画素を基準として、第二から第三の画素への相対方向Ｄ２を記憶する。ここで、直前に記憶した相対方向と同一方向である場合には、相対方向を記憶する代わりに直前に記憶した連続数を１加算する。これら処理を輪郭の端あるいは始点画素に達するまで繰り返し行い、得られた相対方向、連続数の情報群を取得輪郭情報Ａ１とし、さらにこの一連の処理を全画素に対し行うことで、すべての画素出力に対し取得輪郭情報を得る。より望ましくは、取得輪郭情報毎に連続数を、最大値を１として正規化しておくと良い。

【0024】

Ｓ３０３において、イベント検出部３０６は、取得輪郭情報を予め記憶してある特徴点データとの類似度を算出する。ここで特徴点データとは上述と同様の手法によって得られた方向群とその連続数を示すデータである。算出は例えば、相対方向を横軸、連続数を縦軸とした２曲線の距離の合計値によって行われ、任意の値を持つしきい値Ｃ以下である場合には取得輪郭情報および特徴点データが同一のものであると判別する。Ｓ３０３において、動き情報が記憶された特徴点データと同じものであると判定された場合は、Ｓ３０４に進み、イベント検出部３０６は、イベント検出ありと判断し、Ｓ２０２を終える。Ｓ３０３において、動き情報が記憶された特徴点データと異なるものであると判定された場合は、Ｓ３０４に進み、イベント検出部３０６は、イベント検出なしと判断し、Ｓ２０２を終える。この場合は、ここで検出された動き情報は新たな物体の検出結果である可能性があるため、信号記憶部３０２に動き情報を記憶する。以上のようにして、撮影された動き情報との類似度が第二のしきい値Ｃ以上である場合には所望の被写体形状であると判断し、イベント発生と判断する。

【0025】

上記に加え、事前に所望の被写体形状と判別され、かつ当該被写体が画角内にあると推定され、現在動きが見られない（当該被写体を含む領域の画素出力が得られない）場合があがる。その場合は、Ｓ３０１での画素出力は全ての画素が対象とするのではなく、当該被写体が存在すると推定される領域のみを対象としたほうが処理負荷の面で優位である。たとえば、監視したい被写体が車であるような場合に、車が画角内へ入り、かつカメラにて車であると照合され、その後停止した場合、当然画素出力はなくなってしまう。しかし、カメラは車が存在すると推定される領域を容易に判別できるため、それ以外の領域の画素出力は無視し、車が存在すると推定される領域のみを監視したほうが、処理負荷の面で優位となる。

【0026】

つまり、イベント検出部３０６は、前回のイベント検出結果に基づいて、検出対象領域を決定してもよい。また、ノイズとの判別に用いられる動き情報は、同一タイムスタンプにおける画素出力を用いても良いし、ある一定タイムスタンプ期間Ｔｗｉｄｔｈの画素出力を同一時刻の出力とみなして用いてもよい。さらには、図５のＳ３０２では単にしきい値Ｎ１以上である場合のみでノイズとの判別を行っているが、第三のしきい値Ｎ２（ただし、Ｎ１より大きい）未満であることを条件に加えるとよい。これによってフリッカのような撮像面全体が変化する場合を除外するように構成できる。なお、各々のしきい値、タイムスタンプ区間は任意の値である。

【0027】

図６を用いて画像生成部３０３における画像の生成方法について説明する。画像生成部３０３は、所定時間毎に取得された各画素におけるイベントアドレス信号の出力数に基づいて、輝度変化があった画素の位置を示すフレームデータを生成する。横軸はタイムスタンプを示し、縦軸は同一タイムスタンプで出力された画素出力個数を示す。通常は任意のタイムスタンプ区間Ｔｗｉｄｔｈ毎に、各区間内の画素出力を積分し、それぞれのフレームとして出力する（図６（ａ））。通常、上述の通りイベント発生が検知できない場合（例えばｔ２～ｔ３区間）、直前に生成した画像（例えばｆ２－１）を表示する。

【0028】

表示画像の生成はこの方法に限らず、画像の生成に係わる積分区間を改めて設定しなおし、再生成した画像を表示しても良い（図６（ｂ））。すなわち、図４においてＳ２０２からＳ２０５へ遷移する間に、再度画像を再生成する処理を挿入しても良い。つまり、画像生成部３０３は、所定の期間に取得された各画素におけるイベントアドレス信号の出力数に基づいて、輝度変化があった画素の位置を示すフレームデータを生成する。

【0029】

また、積分に用いるためのタイムスタンプ区間Ｔｗｉｄｔｈは動的に制御可能としても良い（図７）。画像生成部３０３は、動的に決定された期間に取得された各画素におけるイベントアドレス信号の出力数に基づいて、輝度変化があった画素の位置を示すフレームデータを生成する。例えば、イベント無を検出してから次にイベント有を検出するまでの区間Ｔａｄｄと、直前フレームの積分区間Ｔｗｉｄｔｈとを加算して生成したフレームを任意の周期で表示する。具体的には、図７（ｂ）に示すように、時刻ｔ２～ｔ３間でイベント無を検出した場合には、時刻ｔ１から現在時刻までの区間で積分を行う。この例ではＴｗｉｄｔｈ周期で表示を行う。次にイベント検出が行われた場合には、積分区間の加算を取りやめ、通常通りのフレーム生成処理へと戻る。実用には、積分区間の加算に対し、上限を設けてもよい。また加算結果が上限を逸脱する場合には、被写体情報の欠落を回避するため、直前フレームの積分区間Ｔｗｉｄｔｈは依然使用し、区間Ｔａｄｄのうち、最も古いものから順に積分に用いることを止め、その分新たに現在時刻までの信号を積分に用いてもよい。この場合、描画処理が停止しているか、実際に何も被写体が撮影されていないかが判別しやすくい。（図７（ｃ））。

【0030】

上述の方法で生成したフレームを単純に表示しただけでは、映像閲覧者から見ると現在動きのある被写体か、そうでないかの判別がつかない。このため、表示制御部３０５では表示しているフレームに動きがないことを示すために処理が行われる。本目的のために表示制御部３０５はイベント無を検出した場合を主として動作する。

【0031】

表示制御部３０５によって情報付加された画像の例を図８に示す。なお、ここでは一般に、被写体に正方向の輝度変化があった場合には白を、負方向の輝度変化があった場合には黒を、輝度変化が無い場合に中間色である灰色（図上では斜線などで表記）で表示するものとする。

【0032】

図８（ａ）の例では、動きのない被写体の表示色を、輝度変化有りの色、無しの色との明度的に間の色で表示を行う。ちょうど中間の色であることが望ましい。図８（ｂ）の例では動きのない被写体の表示色を、彩度および色相を変化させて表示を行う。図８（ｃ）の例では被写体に対する追従枠を表示し、動きのない被写体に対しては動きのある枠との色を変化させて表示を行う。これら図８（ａ）～（ｃ）の例は動きのない被写体が視覚的に判別しやすい点で有利である。図８（ｄ）の例では被写体に動きがなくなってからの経過時間情報を付加して表示する。本手法では被写体が動かなくなってからの経過時間が判別できる点で有利である。図８（ｅ）の例では、直前に動きのあったフレームＦ＿ｒｅｃｅｎｔに、現在生成されたフレームＦ＿ｎｅｗを重畳して表示する。重畳の比率は任意の値でよく、動きのなくなってからの経過時間によって動的に変化させても良い。例えば、情報付加部を常時動作させ、イベント有と判断される場合には、重畳比率をＦ＿ｒｅｃｅｎｔ：Ｆ＿ｎｅｗ＝０：１とする。イベント無と判断されてから現在時刻までの経過時間をＴ＿ｅｌｐｓとすれば、イベント無と判断される場合には、比率をＦ＿ｒｅｃｅｎｔ：Ｆ＿ｎｅｗ＝１－１／Ｔ＿ｅｌｐｓ：１／Ｔ＿ｅｌｐｓとする。本手法では、直前に動きのあった画像と現在取得した画像とを同時に把握することができ、有利である。

【0033】

なお、上述の例では主に動きのない被写体に対し情報を付加することを中心に説明したが、この手法に依らず、動きのある被写体に対して情報を付加してもよい。

【0034】

本実施形態では、単一の撮像装置に含まれている構成によって本実施形態が実現される例を説明したが、これに限定されず、装置が分離可能としても良い。例えば、撮像部３０１を含む撮像の機能を持つ装置Ａと、３０２～３０７を含む信号処理および表示の機能を持つ装置Ｂとを接続するような構成であっても良い。

【符号の説明】

【0035】

１００ 撮像装置
１０１ 撮像部
１０１０ 撮像光学系
１０１１ 光電変換素子
１０２ ＣＰＵ
１０３ メモリ
１０４ 表示部
１０５ 操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】