特開 2022-188990 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022188990

(43)【公開日】2022-12-22

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   H04N 5/351 20110101AFI20221215BHJP

   G01B 11/24 20060101ALI20221215BHJP

   H04N 5/3745 20110101ALI20221215BHJP

   H04N 5/225 20060101ALI20221215BHJP

   H04N 5/232 20060101ALI20221215BHJP

【ＦＩ】

H04N5/351

G01B11/24 K

H04N5/3745 500

H04N5/225 300

H04N5/232 290

H04N5/232 930

H04N5/232 990

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2021097309

(22)【出願日】2021-06-10

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】内藤 祥子

【テーマコード（参考）】

2F065

5C024

5C122

【Ｆターム（参考）】

2F065AA09

2F065AA51

2F065CC11

2F065DD03

2F065FF04

2F065JJ03

2F065JJ18

2F065JJ26

2F065LL04

2F065LL06

2F065LL30

2F065QQ13

2F065QQ25

2F065QQ31

2F065QQ53

2F065SS13

5C024CY25

5C024CY26

5C024EX42

5C024HX60

5C024JX08

5C122DA11

5C122FC06

5C122FC07

5C122FH11

5C122FH12

5C122FK23

5C122GC52

5C122GD04

5C122GD06

5C122HB01

5C122HB05

(57)【要約】

【課題】イベントベースセンサを用いた場合に、停止した被写体の外形を検出できる。
【解決手段】 上記課題を解決する本発明にかかる情報処理装置は、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号に基づいて、撮影範囲における動体を検出する動き検出手段と、前記アドレスイベント信号に基づいて生成したフレーム画像から、前記動体の形状を検出する形状検出手段と、前記撮影範囲を変更させる制御手段と、を有し、前記形状検出手段は、前記動き検出手段で検出された動体が検出されなくなった場合に、前記制御手段によって前記撮影範囲を所定の値だけ変化させることにより、前記動体の形状を検出することを特徴とする。
【選択図】 図１

【特許請求の範囲】

【請求項1】

輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号に基づいて、撮影範囲における動体を検出する動き検出手段と、
前記アドレスイベント信号に基づいて生成したフレームデータから、前記動体の形状を検出する形状検出手段と、
前記撮影範囲を変更させる制御手段と、を有し、
前記形状検出手段は、前記動き検出手段で検出された動体が検出されなくなった場合に、前記制御手段によって前記撮影範囲を所定の値だけ変化させることにより、前記動体の形状を検出することを特徴とする情報処理装置。

【請求項2】

前記アドレスイベント信号は、画素ごとに輝度の変化を検出するセンサによって出力され、輝度の変化が検出されない場合には、前記アドレスイベント信号は出力されない、または、輝度の変化がないことを示すことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記アドレスイベント信号に基づいて、所定の期間において輝度の変化が発生した画素を示す前記フレームデータを取得する画像取得手段を更に有し、
前記形状検出手段は、前記取得されたフレームデータに基づいて、前記動体の形状を検出することを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記動き検出手段は、前記フレームデータに基づいて、輝度の変化が発生した画素の連結数を検出することによって、前記フレームデータにおける動体を検出することを特徴とする請求項２に記載の情報処理装置。

【請求項5】

前記動き検出手段は、前記フレームデータにおける連結数が閾値以上の場合は動体を検出し、該動体を検知した後に生成されたフレームデータにおける連結数が前記閾値以下に遷移した場合に該動体が停止したことを検出することを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記形状検出手段は、エッジ解析処理によって前記フレームデータから前記動体の形状を検出することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。

【請求項7】

前記形状検出手段によって検出した形状に基づいて、前記動体のクラスを認識する認識手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。

【請求項8】

前記制御手段によって制御される少なくとも１軸の駆動部を更に有し、
前記制御手段は、前記駆動部に対して一定周期の振幅をするように制御することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

前記制御手段は、前記動体の大きさに応じて振幅を調整すること特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記制御手段は、電子ズームあるいは光学ズームが可能な機構に対して、ズーム倍率が高い場合はズーム倍率が低い場合よりも相対的に前記駆動部の振幅を小さく調整することを特徴とする請求項８または９に記載の情報処理装置。

【請求項11】

前記制御手段は、前記動体が前記撮影範囲の中心となるように前記駆動部の中心軸を調整することを特徴とする請求項８乃至１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記駆動部は、２軸の駆動機構をさらに有し、
前記制御手段は、該駆動部を動かす方向が時間的に変化するように駆動させることを特徴とする請求項８乃至１１のいずれか１項に記載の情報処理装置。

【請求項13】

前記制御手段は、前記形状検出手段によって前記動体の形状を検出した場合に、前記制御手段による前記撮影範囲の変化を停止させることを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。

【請求項14】

前記検出された形状を表示装置に出力する出力手段を更に有することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。

【請求項15】

前記出力手段は、前記検出された形状を前記フレームデータと重畳して表示するように出力ことを特徴とする請求項１４に記載の情報処理装置。

【請求項16】

前記制御手段は、ユーザーによって設定された動きに基づいて前記撮影範囲の変化を制御することを特徴とする請求項１乃至１５のいずれか１項に記載の情報処理装置。

【請求項17】

前記動き検知手段は、前記アドレスイベント信号に含まれる特定の信号を有する画素の位置に基づいて、前記動体を検知することを特徴とする、請求項１乃至１６のいずれか１項に記載の情報処理装置。

【請求項18】

前記アドレスイベント信号は、光子の入射に応じて信号を出力する画素を備えた光電変換素子によって出力されることを特徴とする、請求項１乃至１７のいずれか１項に記載の情報処理装置。

【請求項19】

コンピュータを、請求項１乃至１８のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。

【請求項20】

輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号に基づいて、撮影範囲における動体を検出する動き検出工程と、
前記アドレスイベント信号に基づいて生成したフレームデータから、前記動体の形状を検出する形状検出工程と、
前記撮影範囲を変更させる制御工程と、を有し、
前記形状検出工程は、前記検出された動体が検出されなくなった場合に、前記撮影範囲を所定の値だけ変化させることにより、前記動体の形状を検出することを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イベントベースセンサを用いた被写体検知に関する。

【背景技術】

【0002】

画素ごとの輝度の変化をアドレスイベント信号としてリアルタイムに出力するイベントベースセンサが知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－７２３１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、イベントベースセンサを用いた場合に、停止した被写体の外形を検出することを目的とする。

【課題を解決するための手段】

【0005】

上記課題を解決する本発明にかかる情報処理装置は、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号に基づいて、撮影範囲における動体を検出する動き検出手段と、前記アドレスイベント信号に基づいて生成したフレーム画像から、前記動体の形状を検出する形状検出手段と、前記撮影範囲を変更させる制御手段と、を有し、前記形状検出手段は、前記動き検出手段で検出された動体が検出されなくなった場合に、前記制御手段によって前記撮影範囲を所定の値だけ変化させることにより、前記動体の形状を検出することを特徴とする。

【発明の効果】

【0006】

本発明によれば、イベントベースセンサを用いた場合に、停止した被写体の外形を検出できる。

【図面の簡単な説明】

【0007】

【図1】情報処理装置のハードウェア構成例を示すブロック図

【図2】イベントベースセンサの構成例を示す図

【図3】情報処理装置の機能構成例を示すブロック図

【図4】被写体の検知方法を説明する模式図

【図5】情報処理装置が実行する処理を説明するフローチャート

【図6】情報処理装置が実行する処理を説明するフローチャート

【発明を実施するための形態】

【0008】

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態に示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

【0009】

＜実施形態１＞
従来、垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の光電変換素子が撮像装置などにおいて用いられている。この一般的な同期型の光電変換素子では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データを取得することができないため、高速な処理が要求された場合に対応することが困難になる。そこで、画素アドレスごとに、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子が提案されている（例えば特許文献１）。このような画素アドレスごとにイベントを検出する光電変換素子はＤｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ（ＤＶＳ，以下イベントベースセンサ）と呼ばれている。このようなイベントベースセンサを用いた撮像装置は、被写体の動きを検出することが得意であるため、車両や人など様々な動体を監視する路上監視などに使用するユースケースが考えられる。

【0010】

＜撮像装置１００のハードウェア構成：図１＞
図１は、撮像装置（情報処理装置）１００のハードウェア構成例を示す模式図である。なお、撮像装置１００は具体的にはイベントベースセンサを有する撮像装置であるが、画像処理を行う機能と画像に対する解析処理（動き検出）を実行する機能は別々の装置が備えていても良い。撮像装置１００は、撮像光学系１０１０と光電変換素子１０１１とから成る撮像部１０１、ＣＰＵ１０２、メモリ１０３、表示部１０４、操作部１０５とを有する。光電変換素子１０１１は、受光した入射光に応じたアドレスイベント信号を出力するイベントベースセンサである。イベントベースセンサは、画素毎に輝度の変化をイベントとして検出し、アドレスイベント信号は、輝度の変化が発生した画素の位置と時刻とを示す。撮像光学系１０１０は、具体的には受光レンズであって、入射光を受光し、光電変換素子１０１１に結像する。ＣＰＵ１０２は、メモリ１０３に格納されたＯＳやその他プログラムを読みだして実行し、接続された各構成を制御して、各種処理の演算や論理判断などを行う。ＣＰＵ１０２が実行する処理には、本実施形態にかかる情報処理が含まれる。また、ＣＰＵ１０２は、撮像光学系１０１０のフォーカスの駆動や絞りの駆動、光電変換素子１０１１の駆動等の制御を行う。メモリ１０３は、例えば、ハードディスクドライブや外部記憶装置などであり、実施形態の情報処理にかかるプログラムや各種データを記憶する。表示部１０４は、例えば、ＣＰＵ１０２からの指示に従って情報処理装置１００の演算結果等を表示する表示装置である。なお、表示装置は液晶表示装置やプロジェクタ、ＬＥＤインジケータなど、種類は問わない。操作部１０５は、例えば、タッチパネルやキーボード、マウス、ロボットコントローラーであり、ユーザーによる入力指示を受け付けるユーザーインターフェースである。なお、情報処理装置１００は、ここに挙げたハードウェア構成以外の機構を有していてもよい。

【0011】

＜光電変換素子１０１１：図２＞
本実施形態にかかる光電変換素子（イベントベースセンサ）の一例を説明する。イベントベースセンサは、入射した光子の数をカウントし、カウントした光子の数が所定の閾値を超えたタイミングを判定する。またイベントベースセンサは、画素毎に光子の数が第１の閾値以上になるまでの所要時間（クロック数）を計測しており、その所要時間を比較することによって輝度の変化を検出する。具体的には、前回計測された所要時間をＴ０、最新の所要時間をＴとしたとき、差分Ｔ－Ｔ０が第２の閾値以上の場合は、マイナス方向の輝度の変化を検出する。差分Ｔ０－Ｔが第２の閾値以上の場合は、プラス方向の輝度の変化を検出する。そして、ＴとＴ０の差分が第２の閾値未満であれば輝度の変化を検出しない。なお、第２の閾値はゼロ以上の値で、予め設定された値や他のパラメータに応じて設定される値を用いる。

【0012】

以下に、詳細な構成を説明する。図２（Ａ）は、光電変換素子１０１１の構成例を示す図である。光電変換素子１０１１は、画素部１１０と周辺回路１２０から構成される。周辺回路１２０は、垂直調停回路１２１、水平読み出し回路１２２を備える。

【0013】

図２（Ｂ）は、イベントベースセンサを構成する各画素部の構成例を示す図である。画素部１１０は、光電変換部１１１、画素カウンタ１１２、時間カウンタ１１３、第１の判定回路１１４、メモリ１１５、比較器１１６、第２の判定回路１１７、応答回路１１８、選択回路１１９を備える。光電変換部１１１は、ガイガーモードで動作するアバランシェフォトダイオード（ＳＰＡＤ）を備えており、光電変換部１１１に入射した光子の数を、画素カウンタ１１２でカウントするように構成される。時間カウンタ１１３では、光子が光電変換部１１１に入射した時間をカウントしている。ＳＰＡＤを用いてイベントベースセンサを構成することによって、光子１個レベルの輝度変化を検出することができる。光子１個レベルの輝度変化を検出することで、夜間などの暗視状態においても、アドレスイベント信号を取得することができる。

【0014】

画素カウンタ１１２でカウントした光子の数が第１の閾値に達すると、第１の判定回路１１４によって、時間カウンタ１１３での時間のカウントを止める。メモリ１１５には、過去の時間カウンタ１１３のカウント値が記憶されており、比較器１１６を用いて、現在の時間カウンタ１１３のカウント値と、過去の時間カウンタ１１３のカウント値の差分のカウント値を求める。

【0015】

第２の判定回路１１７は、差分のカウント値が第２の閾値以上の場合に、応答回路１１８を介して垂直調停回路１２１に、リクエスト信号を送る。応答回路１１８は、垂直調停回路１２１から、アドレスイベントデータの出力の許可または不許可を表す応答を受ける。差分のカウント値が第２の閾値未満の場合には、リクエスト信号を送付しない。

【0016】

応答回路１１８が出力の許可を表す応答を受けると、選択回路１１９により時間カウンタ回路１１３のカウント値が、水平出力回路１２２に出力される。水平出力回路１２２は、受け取ったカウント値を出力信号として光電変換素子１０１１から検知部２０１に出力する。

【0017】

比較器１１６によって算出された差分のカウント値は、光子の入射頻度の逆数に相当するため、本実施形態にかかる光電変換素子１０１１は、「光子の入射頻度の変化」、すなわち輝度の変化を計測する機能を有している。また、第２の判定回路１１７を用いて、入射した光子の数が第１の閾値に達した時間の間隔の差異が、第２の閾値以上の場合のみ、アドレスイベントを出力している。即ち、入射頻度の差異が第２の閾値以上の場合には入射頻度を出力し、差異が閾値未満の場合には入射頻度を出力しない、光電変換素子となっている。以上のような構成とすることで、画素アドレスごとに、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子が実現できる。

【0018】

＜光電変換素子のバリエーション＞
以上では、光電変換部にＳＰＡＤを用い、光子が入射した時間を計測することで、光子の入射頻度の変化を検出する光電変換素子を使用する場合を示した。しかし、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子であれば、図２の構成でなくてもよい。例えば、特許文献１に記載されているように、輝度の変化を電圧変化として検出する光電変換素子を使用してもよい。

【0019】

＜撮像装置１００の機能構成例：図３＞
図３は、撮像装置１００の機能構成例を示す図である。撮像装置（情報処理装置）１００は、撮像部１０１、画像取得部２０１、制御部２０２、動き検出部２０３、外形検出部２０４、通信部２０５、駆動部２０６、ネットワーク２０７、外部装置２０８を有する。

【0020】

撮像部１０１は、撮像光学系１０１０と光電変換素子１０１１とを有し、撮像光学系１０１０を透過した光は個体撮像素子１０１１で結像して電気的な信号に変換され、画像取得部２０１によって画像信号として出力される。撮像部１０１は特にレンズ筐体を指す。撮像光学系１０１０は、複数のレンズや保持部材から構成され、絞り、ズーム、フォーカス制御のための機械的な構造を有し、不図示の撮像光学系制御部にて制御される構成を有してもよい。光電変換素子１０１１は、被写体の輝度値変化を画素毎に検出し、変化があった画素についてアドレスイベント信号を出力する。つまり、アドレスイベント信号は、画素ごとに単位時間当たりの輝度変化を検出するセンサによって出力され、輝度変化が検出されない場合には、アドレスイベント信号は出力されない、または、輝度変化がないことを示す。

【0021】

画像取得部２０１は、アドレスイベント信号に基づいて、所定の期間において輝度の変化が発生した画素を示すフレームデータを取得する。すなわち、光電変換素子１０１１で変換された電気信号に対して補正処理や現像処理を行うことで、フレームデータに変換した画像信号を出力する。動き検出部２０３は、この画像信号により被写体が動いている状態から停止したことを検出する。被写体が動くと、まとまった領域に対して輝度値変化が生じるため、輝度値が変化した領域の面積に閾値を設け、領域の面積が閾値以上の場合は被写体が動いている状態であると判断し、その後閾値以下に遷移した場合に被写体が停止したと判断する。

【0022】

制御部２０２は、被写体が停止したことを検出した場合、駆動部２０６に制御信号を送信し、その制御信号に応じて撮像装置１００を一定周期の動きを行うように駆動させる。駆動部２０６は、撮像装置１００の撮影方向を変更可能な少なくとも一軸の駆動機構を有する。駆動部２０６が駆動させる対象は撮像装置１００に限らず、撮影方向を変更可能であるならば撮像部１０１を駆動させるなどしてもよい。外形検出部１０８は、画像取得部２０１で取得した画像信号に対して輝度値の変化を検出する既存のエッジ解析処理などによって画像信号から被写体の外形を抽出し、機械学習などの画像認識処理によって被写体を認識する。解析の際に使用する画像は、画像取得部２０１にてフレームデータに変換された積分画像乃至加算画像である。撮像装置１００は、さらに、検出した形状に基づいて、被写体のクラスを認識する認識部を有していても良い。

【0023】

通信部２０５は、画像取得部２０１から出力された画像信号を、ネットワーク２０７を介して外部装置２０８に送信する。また、外部装置２０５からの撮像装置１００に対する各種パラメータを受信し、制御部２０２などに出力することも可能である。各種パラメータとは、駆動部２０６の制御信号や形状検出が完了したこと示す信号などである。

【0024】

ネットワーク２０７は、Ｅｔｈｅｒｎｅｔ（登録商標）などの通信規格を満足するルータやケーブルなどから構成され、撮像装置１００と外部装置２０７との接続が可能になる。

【0025】

外部装置２０８はＰＣや携帯端末など表示部を持つ機器を指し、ネットワーク２０７を経由して撮像装置５００と相互に通信が可能な状態にある。外部装置２０８は、画像取得部２０１によって出力された画像を表示できる。また、外部装置２０８は、ユーザーインターフェイスを持ち、ユーザーの操作に応じたコマンドを撮像装置１００に送信し、撮像装置５００を制御することができる。特に、表示画面上のユーザーインターフェイスを操作することで、被写体の外形が検出できなかったものに対して駆動部２０６の駆動の開始や停止を制御することができる。また、駆動部２０６の振幅や駆動速度を調整可能なユーザーインターフェイスを有してもよい。

【0026】

＜動き検出部２０３＞
動き検出部２０３にて被写体の動きの有無を検出する方法について詳細に述べる。動き検出部２０３は、フレームデータに基づいて、輝度の変化が発生した画素の連結数を検出することによって、フレームデータにおける動体を検出する。

【0027】

まず画像取得部によって取得されたフレームデータに含まれる画素の位置に基づいて動き情報に関する第一の閾値Ｎ１以上の連結数であるかどうかを比較する。アドレスイベント信号に基づいて検出された輝度の変化が発生した画素の集合（連結数）が動き情報に関する第一の閾値Ｎ１以上である場合にはノイズではない（フレームデータに動体が含まれる）と判断し、特徴点データとの照合処理へと進む。ここで連結数とは、同一タイムスタンプ（任意の期間としても良い）における画素出力を有する画素が二次元平面において結合（隣接）している個数を指す。

【0028】

＜具体例：図４＞
図４は、実施形態１における被写体の検知方法を説明する模式図を示す。まず図４（ａ）を参照して、被写体４０１が停止した場合の出力について説明する。被写体４０１を撮影する撮像装置１００の撮影方向を破線４０２で示す。フレームデータ４０３は、動き検出部２０３によって被写体が検出されていない場合に、画像取得部２０１で取得される画像信号のフレームデータを示す。光電変換素子１０１１は被写体の輝度値変化があった場合にのみ信号を出力するため、被写体が停止状態になった場合には、フレームデータ４０３のように被写体が検出されない。そこで図４（ｂ）に示すように、駆動部２０６によって撮像装置１００の撮影方向を４０２－１から４０２－３の方向に駆動を繰り返す。つまり、フレームデータ４０３－１、２、３に示すように撮影範囲を変化させ、停止した被写体が映るように強制的に輝度の変化を生じさせる。この制御によって停止中の被写体を検出することが可能となる。

【0029】

被写体に対して駆動の振幅が小さすぎると輝度値変化が小さく、大きすぎると一方向への単調な輝度変化時間が長くなってしまうことで被写体の形状検出が困難になるため、駆動部２０６の振幅は被写体の大きさと同等程度となるように駆動することが望ましい。ここで、被写体の大きさとは、駆動部の軸方向に対する被写体の長さと定義し、被写体が停止する前、または停止後に駆動部２０６を駆動させてから、輝度値変化が発生した領域の軸方向の画素数によって求める。また、被写体の大きさを、面積として定義してもよい。振幅は、被写体の大きさに対してあらかじめ保持していた画素数の差分内あるいは被写体大きさに対する割合内で駆動するように制御することが好ましい。また、外形検出部２０４での演算処理を簡易化するために、駆動部２０６の駆動周期は一定であることが望ましい。

【0030】

以下、駆動部２０６の駆動方法のバリエーションを記述する。

【0031】

駆動部２０６の振幅は、被写体の大きさが大きい場合は小さい場合と比較して相対的に振幅を大きくしてもよい。駆動部２０６は駆動開始時点から徐々に振幅を大きくするように駆動させてもよい。こうすることで被写体が大きい場合でも、振幅を大きくすることで輝度変化を十分に生じさせることができるため、形状検出が容易になる。

【0032】

撮像装置１００は電子ズームあるいは光学ズームの機構を有していてもよく、ズーム倍率が高い場合はズーム倍率が低いときと比較して相対的に振幅を小さくしたり、駆動速度を遅くしたり、してもよい。ズーム倍率が高い場合に上記の処理を行うことで、被写体がフレームアウトしないように制御することができる。

【0033】

図４（ｃ）に示すように、駆動部２０６は、被写体４０１が画角の中心となるように、駆動軸４０２－３を中心として４０２－２から４０２－４の方向に駆動を繰り返すように制御してもよい。被写体を中心に駆動させることで、被写体がフレームアウトする可能性を軽減しつつ輝度変化を十分に生じさせることが可能であり、かつ被写体に対して周期的に駆動するため形状検出の演算が容易になる。

【0034】

駆動部２０６は二軸の駆動機構を有すると好ましい。更に、一軸だと軸に対して垂直方向の被写体エッジが検出しにくいが、複数の方向に動かすことで被写体のすべてのエッジが検出しやすくなるため、駆動部を水平垂直方向に動かすことが好ましい。また、例えば水平方向への駆動時間が長いと垂直方向への駆動によって検出されるエッジの検出頻度が下がるため、水平垂直交互に動かすことが更に好ましい。駆動方向は水平垂直に限らず、斜め方向であってもよいし、回転するように動作させてもよい。

【0035】

＜フローチャート＞
図５には実施形態１を実現するフローチャートの一例を示す。図５のフローチャートに示した処理は、コンピュータである図１のＣＰＵ１０１によりメモリ１０３に格納されているコンピュータプログラムに従って実行される。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。

【0036】

Ｓ５０１では、画像取得部２０１が、アドレスイベント信号に基づいて、フレームデータ（画像）を取得する。Ｓ５０２では、動き検出部２０３が、フレームデータに基づいて、被写体を検出する。被写体の検出は、上述した動き検出処理の方法を用いて、輝度の変化があった画素の連結数が所定閾値以上である場合に被写体を検出する。被写体が検出された場合はＳ５０３に進み、被写体が検出されない場合はＳ５０１に戻る。Ｓ５０３では、動き検出部５０３が、検出された被写体が停止したか否かを検出する。動体を検出したフレームデータより後に生成されたフレームデータに基づいて、輝度の変化があった画素の連結数が所定閾値未満である場合は、被写体が停止したと判断し、Ｓ５０４に進む。輝度の変化があった画素の連結数が所定閾値以上である場合に動きがある（停止していない）と判断し、Ｓ５０５に進む。Ｓ５０４では、駆動部２０６が、駆動を開始する。すなわち、制御部２０２が、駆動部２０６を所定の動きをするように制御する。Ｓ５０５では、外形検出部２０４が、フレームデータに基づいて、被写体の外形を検出する。被写体の外形が検出できた場合は、Ｓ５０６に進む。被写体の外形が検出されなかった場合は、再び被写体を検出するためにＳ５０３に戻る。Ｓ５０６では、制御部２０２の制御によって駆動部２０６が駆動を停止し、フローを終了する。

【0037】

以上によって、イベントベースセンサを用いた撮像装置において、停止した被写体の外形を検出することができる。

【0038】

＜実施形態２＞
実施形態２では、被写体が動作しているときから形状検出を開始し、被写体が停止した時点で被写体の外形が検出できなかったら駆動部２０６を駆動させる方法について説明する。

【0039】

図６は、動作時に外形を検出できなった被写体が停止した際に駆動部２０６を駆動させるように制御する場合のフローチャートを示す。Ｓ６０１では、画像取得部２０１が、アドレスイベント信号に基づいて、フレームデータ（画像）を取得する。Ｓ６０２では、動き検出部２０３が、フレームデータに基づいて、被写体を検出する。Ｓ６０３では、外形検出部２０４が、フレームデータに基づいて被写体の外形を検出する。Ｓ６０４では、動き検出部２０３が、被写体が停止したことを検出した場合、Ｓ６０５に進む。被写体の停止を検出するまでＳ６０３を繰り返す。Ｓ６０５は、外形検出部２０４が、被写体停止前までに被写体の外形を検出できていたかを判断する。検出できていた場合Ｓ４０５に進み、検出できていなかった場合Ｓ４０４に進む。輝度の変化があった画素の連結数が所定閾値以上であれば、被写体の外形を検出できている可能性が高いため、被写体の外形を検出できたと判断する。また、外形検出部２０４は、例えば、外形検出処理時に得られる尤度に基づいて、外形検出の成否を判断してもよい。Ｓ６０６では、制御部２０２が、駆動部２０６を駆動させる。駆動させたらＳ６０３に戻り、外形が検出できたかを判断する。）Ｓ６０５にて外形が検出できていた場合、駆動部の駆動を停止させ、フローを終了する。

【0040】

駆動部を駆動させる条件を、被写体の停止のみではなく、被写体の停止前に外形を検出できていない場合に限定することで、駆動の頻度を抑えることが可能になる。

【0041】

＜実施形態３＞
実施形態３では、ユーザーが外形判断及び駆動部２０６の駆動指示を行うことができる場合について述べる。

【0042】

撮像装置１００は、ユーザーからの制御指示等の入力を受け付ける受付部を有する。ユーザーは、フレームデータの表示を目視することによって、外形の検出ができたか否かの判定結果を入力する。さらに、ユーザーは、駆動部２０６の駆動指示を入力できる。ユーザーは、撮像装置１００または外部装置２０８が有するユーザーインターフェイスによって、各種入力を行える。例えば、ユーザーが被写体に対して駆動部２０６の駆動開始や停止を制御できる。被写体の外形検出を機械的に行うのではなく、ユーザーが目で見て確認できなかった場合にユーザーインターフェイスを介して駆動部２０６の駆動を指示することで、ユーザーが視覚的に被写体外形を確認することが可能になる。また、駆動部２０６の動きをユーザーが指定してもよい。

【0043】

表示方法について、駆動部２０６を駆動している期間の表示は、対象の被写体が表示画面の中心に映るように切り出し表示してもよい。また、被写体の外形を検出できた場合には、表示枠や分類のポップアップなどを表示してもよい。

【0044】

フローについては図５で説明したフローと基本的には同様であるが、外部装置２０８が加わったことによるバリエーションが考えられる。例えば、ユーザーが停止中の被写体の外形を視覚的に確認したい場合に駆動部２０６の駆動を開始することが可能となる。同様に駆動部２０６の停止のタイミングも、ユーザーが決定することができる。

【0045】

以上より、イベントベースセンサを用いた撮像装置において、ユーザーが必要とした場合に、停止した被写体の外形を検出することができる。

【0046】

また、以下に外形を検出したい対象が複数である場合について述べる。対象が複数である場合でも、被写体が停止した場合に駆動部２０６を駆動させることで解決できる。バリエーションとしては、動き検出部２０３にて被写体が動いていることを検出した場合に外形検出部２０４にて外形を検出し、検出ができなかった被写体が停止した場合に、駆動部２０６の駆動を開始する。または、外形を検出したい被写体についてユーザーが選択し、駆動部２０６を駆動させてもよい。更に、まずは停止を検出した被写体に対して被写体の大きさと同等程度の振幅で駆動部２０６を駆動させ、外形を検出後、振幅を大きく動かして他の停止被写体を検出してもよい。

【0047】

以上より、イベントベースセンサを用いた撮像装置において、被写体が複数であっても、停止した被写体の外形を検出することができる。

【0048】

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。

【符号の説明】

【0049】

１００ 情報処理装置
１０１ 撮像部
１０１０ 撮像光学系
１０１１ 光電変換素子
２０１ 画像取得部
２０２ 制御部
２０６ 駆動部
２０３ 動き検出部
２０４ 形状検出部
２０５ 受付部
２０６ 駆動部
２０７ ネットワーク
２０８ 外部装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】