特開 2022-188986 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022188986

(43)【公開日】2022-12-22

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   H04N 5/369 20110101AFI20221215BHJP

   H04N 5/225 20060101ALI20221215BHJP

   H04N 5/232 20060101ALI20221215BHJP

   G03B 15/00 20210101ALN20221215BHJP

【ＦＩ】

H04N5/369

H04N5/225 300

H04N5/232

G03B15/00 Q

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2021097305

(22)【出願日】2021-06-10

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】岡田 拓真

【テーマコード（参考）】

5C024

5C122

【Ｆターム（参考）】

5C024CY25

5C024CY26

5C024CY31

5C024EX42

5C024GX02

5C024GY45

5C122EA41

5C122FC06

5C122FC07

5C122FH04

5C122FH11

5C122GD04

5C122GD06

5C122HA86

5C122HA88

5C122HB01

5C122HB10

(57)【要約】

【課題】 本発明によれば、イベントベースセンサを用いた撮像装置において、画角を簡便に調整できる。
【解決手段】 上記課題を解決する本発明にかかる情報処理装置は、撮像装置を少なくとも１つの方向に動作させる所定の動作を実行する制御手段と、前記撮像装置の動作に応じて、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号から被写体を検出する検出手段と、を有し、前記制御手段は、前記撮像装置を所定の方向に動作させる第１の動作を実行する場合に、前記所定の方向と異なる方向に前記撮像装置を振動させる第２の動作を実行することを特徴とする。
【選択図】 図１

【特許請求の範囲】

【請求項1】

撮像装置を少なくとも１つの方向に動作させる所定の動作を実行する制御手段と、
輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号から被写体を検出する検出手段と、を有し、
前記制御手段は、前記撮像装置を所定の方向に動作させる第１の動作を実行する場合に、前記所定の方向と異なる方向に前記撮像装置を振動させる第２の動作を実行することを特徴とする情報処理装置。

【請求項2】

前記撮像装置の動作に応じて、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号から画像を生成する生成手段を更に有し、
前記生成手段は、前記第２の動作が実行されている場合に、所定の幅だけ補正した前記画像を生成することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記制御手段は、前記被写体のエッジを検出するための検出モードである場合で、かつ前記第１の動作を実行する場合に、前記所定の方向と異なる方向に前記撮像装置を振動させる前記第２の動作を更に実行することを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記制御手段は、前記被写体のエッジを検出するための検出モードである場合で、かつ前記第１の動作が実行されていない場合において、
ズーム駆動が動作していない場合は、前記第１の動作を実行し、
前記ズーム駆動が動作している場合は、前記第１の動作および前記第２の動作を実行しないことを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記第２の動作は、前記撮像装置を一定の周期で振動させることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

前記第２の動作は、前記所定の方向に対して、一定の角度で振動する制御であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。

【請求項7】

前記第２の動作は、前記撮像装置のフレームレートよりも速いことを特徴とする、請求項１乃至６のいずれか１項に記載の情報処理装置。

【請求項8】

前記第１の動作は、駆動速度に上限を設けることを特徴とする、請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

前記第１の動作は、前記アドレスイベント信号に基づいて生成された画像に基づいて決定された駆動速度に上限を設けることを特徴とする、請求項８に記載の情報処理装置。

【請求項10】

前記第１の動作は、ズーム倍率に応じて決定された駆動速度に上限を設けることを特徴とする、請求項８または９に記載の情報処理装置。

【請求項11】

前記制御手段は、前記第２の動作を実行する場合において前記撮像装置のレンズを駆動するとき、前記第１の動作を停止することを特徴とする、請求項１乃至１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記制御手段は、前記第２の動作を実行する場合において前記撮像装置の画角を調整するとき、ワイド端に設定している状態を初期状態とし、撮影中心を調整するプロセスと、ズームインまたはズームアウトするプロセスを交互に実施することを特徴とする、請求項１乃至１０のいずれか１項に記載の情報処理装置。

【請求項13】

前記制御手段は、前記撮像装置の画角内において動体が存在する場合、前記動体が停止するまで前記第２の動作を実行しないことを特徴とする、請求項１乃至１２のいずれか１項に記載の情報処理装置。

【請求項14】

前記検出手段は、前記第２の動作を実行する場合、前記撮像装置の画角内における被写体の全動きベクトルのうち、最も種類の多いベクトルと異なる大きさまたは異なる向きの動きベクトルを有する被写体については、動体と判定することを特徴とする、請求項１乃至１３のいずれか１項に記載の情報処理装置。

【請求項15】

前記被写体を表示する表示手段を更に有し、
前記表示手段は、前記第２の動作を実行する場合、前記撮像装置の画角内に動体が存在するとき、動体の色を静止している被写体と区別して表示することを特徴とする、請求項１乃至１４のいずれか１項に記載の情報処理装置。

【請求項16】

前記表示手段は、前記第２の動作を実行する場合、前記撮像装置の画角内に動体が存在するとき、動体を枠で囲って表示することを特徴とする、請求項１５に記載の情報処理装置。

【請求項17】

前記アドレスイベント信号は、画素ごとに単位時間当たりの輝度の変化を検出するセンサによって出力され、輝度の変化が検出されない場合には、前記アドレスイベント信号は出力されない、または、輝度の変化がないことを示すことを特徴とする請求項１乃至１６のいずれか１項に記載の情報処理装置。

【請求項18】

前記アドレスイベント信号は、光子の入射に応じて信号を出力する画素を備えた光電変換素子によって出力されることを特徴とする、請求項１乃至１７のいずれか１項に記載の情報処理装置。

【請求項19】

コンピュータを、請求項１乃至１８のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。

【請求項20】

撮像装置を少なくとも１つの方向に動作させる所定の動作を実行する制御工程と、
輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号から被写体を検出する検出工程と、を有し、
前記制御工程は、前記撮像装置を所定の方向に動作させる第１の動作を実行する場合に、前記所定の方向と異なる方向に前記撮像装置を振動させる第２の動作を実行することを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イベントベースセンサを用いた撮像に関する。

【背景技術】

【0002】

画素ごとの輝度の変化をアドレスイベント信号としてリアルタイムに出力するイベントベースセンサが知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１３４２７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、イベントベースセンサを用いた撮像装置において、画角を簡便に調整することを目的とする。

【課題を解決するための手段】

【0005】

上記課題を解決する本発明にかかる情報処理装置は、撮像装置を少なくとも１つの方向に動作させる所定の動作を実行する制御手段と、前記撮像装置の動作に応じて、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号から画像を生成する生成手段と、を有し、前記制御手段は、前記撮像装置を所定の方向に動作させる第１の動作を実行する場合に、前記所定の方向と異なる方向に前記撮像装置を振動させる第２の動作を実行することを特徴とする。

【発明の効果】

【0006】

本発明によれば、イベントベースセンサを用いた撮像装置において、画角を簡便に調整できる。

【図面の簡単な説明】

【0007】

【図1】情報処理装置のハードウェア構成例を示すブロック図

【図2】イベントベースセンサの構成例を示す図

【図3】情報処理装置の機能構成例を示すブロック図

【図4】撮像方法の一例を説明する模式図

【図5】撮像した画像の一例を説明する模式図

【図6】情報処理装置が実行する処理を説明するフローチャート

【図7】撮像した画像の一例を説明する模式図

【図8】情報処理装置が実行する処理を説明するフローチャート

【発明を実施するための形態】

【0008】

以下に、本発明の実施形態を、添付図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は、図示された構成に限定されるものではない。

【0009】

従来、垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の光電変換素子が撮像装置などにおいて用いられている。この一般的な同期型の光電変換素子では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データを取得することができないため、高速な処理が要求された場合に対応することが困難になる。そこで、画素アドレスごとに、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ（ＤＶＳ、以下イベントベースセンサ）が提案されている。

【0010】

しかしながらＤＶＳを用いた撮像装置では被写体が停止すると輝度変化が生じなくなり、その被写体の外形を検出することができないという課題がある。そこで、本実施形態では、イベントベースセンサを用いた撮像装置において、被写体の動き状態とカメラの駆動状態に関わらず、被写体の外形を検出しながら画角を調整することを目的とする。

【0011】

＜撮像装置１００のハードウェア構成：図１＞
図１は、撮像装置（情報処理装置）１００のハードウェア構成例を示すブロック図である。図１において、撮像装置１００は、撮像光学系１０１０と光電変換素子１０１１とから成る撮像部１０１、ＣＰＵ１０２、メモリ１０３、表示部１０４、操作部１０５とを有する。撮像光学系１０１０は、具体的には受光レンズであって、入射光を受光し、光電変換素子１０１１に結像する。撮像光学系１０１０は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタなどから構成されるがこの限りではない。光電変換素子１０１１は、受光した入射光に応じたアドレスイベント信号を出力するイベントベースセンサである。イベントベースセンサは、画素毎に輝度の変化をイベントとして検出し、アドレスイベント信号は、輝度の変化が発生した画素の位置と時刻とを示す。光電変換素子１０１１は、光を電気信号に変換するフォトダイオードに加えて、輝度の変化を検出するための比較器を備えている。そして、各々の画素で検出された輝度変化は、各々の行を駆動してイベントの検出の送信を要求する行駆動回路と、各々の列で検出されたイベントの検出結果を順次画像生成部３０２に送る列駆動回路を用いて読みだされる。ＣＰＵ１０２は、メモリ１０３に格納されたＯＳやその他プログラムを読みだして実行し、接続された各構成を制御して、各種処理の演算や論理判断などを行う。ＣＰＵ１０２が実行する処理には、本実施形態にかかる情報処理が含まれる。また、ＣＰＵ１０２は、撮像光学系１０１０のフォーカスの駆動や絞りの駆動、光電変換素子１０１１の駆動等の制御を行う。メモリ１０３は、例えば、ハードディスクドライブや外部記憶装置などであり、実施形態の情報処理にかかるプログラムや各種データを記憶する。表示部１０４は、例えば、ＣＰＵ１０２からの指示に従って撮像装置１００の演算結果等を表示する表示装置である。なお、表示装置は液晶表示装置やプロジェクタ、ＬＥＤインジケータなど、種類は問わない。操作部１０５は、例えば、タッチパネルやキーボード、マウス、ロボットコントローラーであり、ユーザーによる入力指示を受け付けるユーザーインターフェースである。なお、撮像装置１００は、ここに挙げたハードウェア構成以外の機構を有していてもよいし、画像処理を行う機能と画像に対する解析処理（追尾）を実行する機能は別々の装置が備えていても良い。

【0012】

＜光電変換素子１０１１：図２＞
本実施形態にかかる光電変換素子（イベントベースセンサ）の一例を説明する。イベントベースセンサは、入射した光子の数をカウントし、カウントした光子の数が所定の閾値を超えたタイミングを判定する。またイベントベースセンサは、画素毎に光子の数が第１の閾値以上になるまでの所要時間（クロック数）を計測しており、その所要時間を比較することによって輝度の変化を検出する。具体的には、前回計測された所要時間をＴ０、最新の所要時間をＴとしたとき、差分Ｔ－Ｔ０が第２の閾値以上の場合は、マイナス方向の輝度の変化を検出する。差分Ｔ０－Ｔが第２の閾値以上の場合は、プラス方向の輝度の変化を検出する。そして、ＴとＴ０の差分が第２の閾値未満であれば輝度の変化を検出しない。なお、第２の閾値はゼロ以上の値で、予め設定された値や他のパラメータに応じて設定される値を用いる。

【0013】

以下に、詳細な構成を説明する。図２ａは、光電変換素子１０１１の構成例を示す図である。光電変換素子１０１１は、画素部１１０と周辺回路１２０から構成される。周辺回路１２０は、垂直調停回路１２１、水平読み出し回路１２２を備える。

【0014】

図２ｂは、イベントベースセンサを構成する各画素部の構成例を示す図である。画素部１１０は、光電変換部１１１、画素カウンタ１１２、時間カウンタ１１３、第１の判定回路１１４、メモリ１１５、比較器１１６、第２の判定回路１１７、応答回路１１８、選択回路１１９を備える。光電変換部１１１は、ガイガーモードで動作するアバランシェフォトダイオード（ＳＰＡＤ）を備えており、光電変換部１１１に入射した光子の数を、画素カウンタ１１２でカウントするように構成される。時間カウンタ１１３では、光子が光電変換部１１１に入射した時間をカウントしている。ＳＰＡＤを用いてイベントベースセンサを構成することによって、光子１個レベルの輝度変化を検出することができる。光子１個レベルの輝度変化を検出することで、夜間などの暗視状態においても、アドレスイベント信号を取得することができる。

【0015】

画素カウンタ１１２でカウントした光子の数が第１の閾値に達すると、第１の判定回路１１４によって、時間カウンタ１１３での時間のカウントを止める。メモリ１１５には、過去の時間カウンタ１１３のカウント値が記憶されており、比較器１１６を用いて、現在の時間カウンタ１１３のカウント値と、過去の時間カウンタ１１３のカウント値の差分のカウント値を求める。

【0016】

第２の判定回路１１７は、差分のカウント値が第２の閾値以上の場合に、応答回路１１８を介して垂直調停回路１２１に、リクエスト信号を送る。応答回路１１８は、垂直調停回路１２１から、アドレスイベントデータの出力の許可または不許可を表す応答を受ける。差分のカウント値が第２の閾値未満の場合には、リクエスト信号を送付しない。

【0017】

応答回路１１８が出力の許可を表す応答を受けると、選択回路１１９により時間カウンタ回路１１３のカウント値が、水平出力回路１２２に出力される。水平出力回路１２２は、受け取ったカウント値を出力信号として光電変換素子１０１１から検知部２０１に出力する。

【0018】

比較器１１６によって算出された差分のカウント値は、光子の入射頻度の逆数に相当するため、本実施形態にかかる光電変換素子１０１１は、「光子の入射頻度の変化」、すなわち輝度の変化を計測する機能を有している。また、第２の判定回路１１７を用いて、入射した光子の数が第１の閾値に達した時間の間隔の差異が、第２の閾値以上の場合のみ、アドレスイベントを出力している。即ち、入射頻度の差異が第２の閾値以上の場合には入射頻度を出力し、差異が閾値未満の場合には入射頻度を出力しない、光電変換素子となっている。以上のような構成とすることで、画素アドレスごとに、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子が実現できる。

【0019】

＜光電変換素子のバリエーション＞
以上では、光電変換部にＳＰＡＤを用い、光子が入射した時間を計測することで、光子の入射頻度の変化を検出する光電変換素子を使用する場合を示した。しかし、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子であれば、図２の構成でなくてもよい。例えば、特許文献１に記載されているように、輝度の変化を電圧変化として検出する光電変換素子を使用してもよい。

【0020】

＜撮像装置１００の機能構成例：図３＞
図３は、撮像装置（情報処理装置）１００が有する機能構成例を示すブロック図である。撮像装置１００は、撮像光学系１０１０および光電変換素子１０１１から成る撮像部３０１、画像生成部３０２、駆動部３０３、制御部３０４、出力部３０５から構成される。

【0021】

撮像部３０１は、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する。画像生成部３０２は、光電変換素子から得た時間的な輝度変化情報をマッピングして画像化する。撮像装置自体をＰＴ方向に動かすことや、ズーム倍率を変更することによって、静止している被写体の外形に輝度変化が生じ、静止している被写体を撮像できる。一方で、画像生成部３０２は、撮像装置が動作している場合は、その動作によって生じた余計な撮影範囲を防振処理によってキャンセルできる。つまり、画像生成部３０２は、撮像装置の動作に応じて、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号から画像を生成する。

【0022】

検出部３０３は、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号から被写体を検出する。

【0023】

駆動部３００は、撮像装置１００の撮影方向を変更可能な少なくとも一軸の駆動機構を有する。ここでは、パン、チルトの制御方法があり、例えば、撮像装置をパン方向に駆動する場合は、チルト方向に振動させることによって、被写体の外形をより明確に捉えることができる。

【0024】

制御部３０４は、撮像装置を少なくとも１つの方向に動作させる所定の動作を実行する。さらに、制御部３０４は、撮像装置の撮影範囲を調整する検出モードである場合は、撮像装置を所定の方向（パン又はチルト）に動作させる第１の動作に加えて、所定の方向と異なる方向に撮像装置を振動させる第２の動作を実行する。具体的には、パン方向またはチルト方向に制御する。制御部３０４は、さらに、撮像装置１００における各機能とデータ授受の制御や、パラメータ設定など統括的な通信を制御する機能を担う。出力部３０５は、生成された画像を外部装置等に出力する。例えば、ＰＣやその他のメディア（例えば、ハードディスク、ＳＤカード、ＵＳＢメモリなど）に画像を出力することによって、画像の記憶や表示を行う。なお、撮像装置は、上記以外にも様々な構成要素を含んでよい。

【0025】

＜実施形態１＞
＜駆動方法＞
図４は、イベントベースセンサを用いた撮像装置の一般的な撮影方法と、実施形態１の従来法に対する優位性について説明するための模式図である。画像２０２－１、２０２－２において、前のフレームよりも輝度が高くなった領域を白、輝度が低くなった領域を黒、輝度変化のない領域を斜線で示している。撮像装置を２０１－１、２０１－２、２０１－３、画像を２０２－１、２０２－２、２０２－３、木を模した被写体１を２０３－１、２０３－２、２０３－３、車を模した被写体２０４－１、２０４－２、２０４－３に示す。また、電子防振時の画像を２０５、２０６、２０７、２０８に示す。本実施形態では、屋外監視用途として撮像する場合について記載しているが、光量変化の少ない屋内監視のおいても有効な実施方法である。本実施形態において、各被写体は静止していることを想定している。

【0026】

図４（ａ）は、撮像装置２０１－１が静止している場合の撮像装置の動きと画像である。イベントベースセンサを用いた撮像装置では、一定の光量下において、撮像装置自体の輝度が変化する場合を除き、撮像装置と被写体の相対位置が変化しない限りは輝度が変化しないため、被写体を検出することが出来ない。そのため、２０２－１内の破線で示したように、２０２－１内に被写体２０３－１、２０４－１が存在したとしても、被写体のエッジを検出することが出来ない。この場合実施形態１では、被写体のエッジを検出するために、複数方向に撮像装置を駆動させる。

【0027】

図４（ｂ）は、撮像装置２０１－２が主の撮影画角調整方向に駆動している場合の撮像装置の動きと画像である。撮像装置２０１－２が駆動することにより撮像装置２０１－２と被写体２０３－２、２０４－２の相対位置が変化し、駆動方向に対して輝度が変化するため、撮像装置２０１－２の駆動方向と対応する被写体のエッジが画像２０２－２に反映される。しかし、図４（ｂ）のように駆動方向のエッジを検出するだけでは、被写体の視認性が低い。

【0028】

図４（ｃ）は、主の撮影画角調整のための駆動（第１の動作）に加え、撮像装置をそれと垂直方向に駆動（第２の動作）させたときの動きと画像である。図４（ｃ）では、主の撮影画角調整のために撮像装置２０１－３をパン方向に駆動しており、これと垂直なチルト方向に撮像装置２０１－２を駆動させている。これにより画像２０２－３の被写体２０３－３、２０４－３における複数方向のエッジ検出を可能とし、視認性を向上させている。以降、主の撮影画角調整のために撮像装置を駆動することを駆動（第１の動作）と記述し、被写体のエッジ検出を目的として撮像装置を駆動させることを振動（第２の動作）と記述する。振動方向は駆動方向に対して垂直に限る必要はないが、駆動方向と振動方向のなす角度が大きいほど被写体のエッジが広い範囲で検出できるため、振動方向は駆動方向と垂直であることが望ましい。

【0029】

図４（ｄ）は、撮影画角調整のための駆動に加え、撮像装置をそれと垂直方向に駆動させたときに電子防振処理を実施したときの画像である。図４（ｃ）と同様、パン方向に駆動していることを想定し、チルト方向に振動させている。画像２０５は、撮像装置を振動させているが、撮像装置が振動中心に位置するときの画像である。撮像装置を振動させると、チルト方向のおける被写体エッジを検出できるだけでなく、チルト方向に撮影画像のぶれが発生してしまう問題がある。この問題を解決するため、撮像装置を振動させるときは、ぶれを抑制する。そのため、図４（ｄ）に示すように振動上端時の画像２０６と振動下端時の画像２０７の共通する領域を切り出し領域２０８としてユーザーインターフェース上に撮影画像を表示する電子防振処理を実施する。電子防振処理の演算を簡潔にするため、撮像装置の振動方向は駆動方向に対して一定の角度と定めておき、振動周期は一定であることが望ましい。

【0030】

図５（ａ）は撮像フレーム前後の被写体の位置関係を、図５（ｂ）は、図５（ａ）の条件において撮像装置１００で撮影したときの画像を示している。駆動前のフレームにおける被写体のエッジを３１、駆動後における被写体のエッジを３２、駆動によって被写体が移動した量を３３に示す。３４は図５（ａ）の条件において撮像装置１００で撮影したときの画像である。３５は、前のフレームに対して輝度が低くなった領域、３６は、前のフレームに対して輝度が高くなった領域を示す。撮像装置のフレームレートに対して、駆動速度が速すぎる場合、３４、３５に示すように前のフレームに対して輝度変化が発生する画素が多くなるため、被写体のエッジ間隔が狭くなってしまい、視認性が悪くなる。そのため、視認性が下がらない程度に、駆動速度に上限を設けておくことが望ましい。画角調整の基準となる被写体が撮像範囲に少なくとも２つ以上あるときに、被写体間の距離から、撮像装置における駆動速度の上限値を算出する。後述するが、実施形態１では画角調整をワイド端から実施することを想定しているため、最大駆動速度もワイド端の状態で定めておく。ワイド端での最大駆動速度は、撮像装置のフレームレート、各被写体までの距離に依存するため、表示された映像を見ながら調整することが望ましい。ズーム後にワイド端での最大駆動速度で駆動すると、撮像領域内において駆動によって被写体が移動した量がズームした分増えてしまう。そのため、ワイド端での最大駆動速度を基準として、ズーム倍率に応じて最大駆動速度を算出することが望ましい。ワイド端での最大駆動速度をω_Ｌ［ｒａｄ／ｓ］、ズーム倍率ｘ［％］としたとき、ズーム倍率ｘにおける最大駆動速度ω_ｘは数式０１で求められる。

【0031】

ω_ｘ＝ω_Ｌ／ｘ・・・数式０１
最後に、ズーム時の挙動について説明する。光学ズーム時は被写体における様々な方向のエッジ検出が可能なため撮像装置を振動させる必要性が低い。光学ズームの時は撮像装置を振動させない。振動させなければ視認性向上のための防振処理をする必要がなく、処理負荷を軽減させられるためである。本実施形態においては、画角調整を実施するため、初期状態のズーム位置をワイド側に設定しておくことが望ましい。その後、検出モードにおいて画角の中心位置を定めるプロセスと、撮影領域が所望のサイズになるようズームするプロセスを繰り返して、所望の画角になるよう調整する。このプロセスを実施することで、最短の処理で画角を調整することができる。

【0032】

＜フローチャート＞
図６にイベントベースセンサを用いた撮像装置１００によって撮像装置設置時に画角調整をするためのフローチャートを示す。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。図６のフローチャートに示した処理は、コンピュータである図１のＣＰＵ１０２によりメモリ１０３に格納されているコンピュータプログラムに従って実行される。フローチャートは以下のＳ４０１からＳ４０８から構成される。

【0033】

Ｓ４０１：制御部３０４が、被写体のエッジを検出するための検出モードか否かを判定し、検出モードであればＳ４０２に進み、そうでなければＳ４０６に進む。検出モードとは、撮影画角を変更するための駆動とは別に、被写体のエッジを検出するためにカメラを駆動させるモードを指す。また、検出モードか否かの判定はＳ４０２以降割り込み処理されるものとし、検出モードでなくなった場合は４０８に進む。

【0034】

Ｓ４０２：制御部３０４が、撮影画角を変更するための駆動（第１の動作）を実行しているか判定し、駆動をしている場合はＳ４０３に進む。駆動していない場合は、Ｓ４０５に進む。

【0035】

Ｓ４０３：制御部３０４が、撮像装置を、駆動方向とは異なる方向に振動させる（第２の動作）。図５（ｂ）、（ｃ）に示したように、駆動方向における被写体のエッジ検出は振動せずとも容易である。被写体のエッジを明瞭にするためには、あらゆる方向のエッジが検出できることが望ましい。駆動方向と振動方向のなす角度が大きいほど被写体のエッジが広い範囲で検出できるため、振動方向は駆動方向と垂直であることが望ましい。駆動方向については出力部３０５から入力された情報から判別でき、制御部３０４でＰＴ駆動方向に対して垂直な方向を計算し駆動部３０３に振動するよう制御命令を出す。振動周波数は、補正をしない場合において、撮像装置１００のフレームレートよりも速くなるよう設定する。振動方向は、駆動方向に基づいて算出されてもよいが、予め駆動方向に対する振動方向をテーブル等で保持しておいてもよい。

【0036】

Ｓ４０４：生成部３０３が、Ｓ４０３の振動によってぶれが生じる撮影画像に対して、電子防振処理を実施する。つまり、撮像装置を振動させている場合に、生成部３０３は、所定の幅だけ補正した画像を生成する。図５（ｄ）に示すように、振動上端と振動下端における撮影画像に共通する領域を制御部３０４で算出し、表示する。振動が停止した場合は、本ステップを終了しＳ４０１へ進む。

【0037】

Ｓ４０５：制御部３０４は、ズーム駆動しているか否かを判定する。ズーム駆動している場合はＳ４０６へ進む。ズーム駆動していない場合は、Ｓ４０７へ進む。

【0038】

Ｓ４０６：制御部３０４は、振動せずにＳ４０１へ進む。

【0039】

Ｓ４０７：制御部３０４は、複数方向に振動し、Ｓ４０４へ進む。振動方向については、予め設定しておいてもよいしランダムに動いても良いものとするが、様々な方向のエッジが検出できるような方向に定めることが望ましい。振動周波数については、Ｓ４０３で記述した通りである。

【0040】

Ｓ４０８：制御部３０４は、振動せずに、処理を終了する。

【0041】

＜実施形態２＞
実施形態１では、被写体が停止していることを前提とし、駆動部３０３を駆動または、振動させる方法について述べた。実施形態２では、被写体が動いている可能性を想定する。被写体が動いている場合、被写体に輝度変化が生じるため光電変換素子の出力が変化し、駆動または振動せずとも被写体の外形を検出可能である。一方で、被写体が映ることにより画角調整が困難なケースが想定される。実施形態２においては、動いている被写体（以下、動体とする）の検出方法と、動体を検出した場合における撮像装置１００の動作バリエーションについて述べる。

【0042】

＜動体検出方法＞
撮像装置１００が静止している場合、動体が動くことに由来する輝度変化のみを光電変換素子１０１１が検知するため、動体の外形を検出できる。撮像装置１００において駆動部３００を駆動している場合、駆動によって生じる輝度変化と、動体が動くことによる輝度変化を区別する必要がある。図７を基に、撮像装置１００が駆動している場合における、動体を検出する方法について説明する。５００は画像であり、画像５００内に、３つの被写体５０１、５０２、５０３が映し出されている。図７のケースにおいては、被写体５０１、５０２が静止している被写体、被写体５０３が動体を示している。次に、画像５００内に映る被写体の動きベクトルを示した模式図が５０４である。被写体５０１、５０２、５０３に対応する動きベクトルが、動きベクトル５０５、５０６、５０７である。被写体が静止している場合、駆動部３００の駆動により生じる動きベクトルの向きと大きさは一定である。一方、動体である場合、動きベクトルの向きと大きさは、動体の動く方向と速さに依存する。撮像領域内を動体で占められている場合を除き、動きベクトルのうち静止している被写体の動きベクトルが支配的になるため、動きベクトルを比較することで動体の識別が可能である。

【0043】

＜フローチャート＞
図８に、イベントベースセンサを用いた撮像装置１００によって動体を検出するためのフローチャートを示す。図８のフローチャートに示した処理は、コンピュータである図１のＣＰＵ１０２によりメモリ１０３に格納されているコンピュータプログラムに従って実行される。フローチャートは以下のＳ６０１からＳ６０５から構成され、処理の内容は前述した通りである。

【0044】

Ｓ６０１：制御部３０４は、撮像装置が静止しているか否かを判定し、静止していると判定された場合はＳ６０２へ進む。静止していないと判定された場合は、Ｓ６０４へ進む。

【0045】

Ｓ６０２：検出部３０３は、注目画素において輝度変化の有無を判定する。静止している物体に対して輝度変化がある場合は、Ｓ６０３へ進む。輝度変化がない場合は、Ｓ６０５へ進む。

【0046】

Ｓ６０３：検出部３０３は、被写体は動いていると判定する。

【0047】

Ｓ６０４：検出部３０３は、動きベクトルが撮像領域内の他の全動きベクトルと比較したときに、少数派（半数以下、または所定の基準値以下）であると判定された場合は、Ｓ６０３へ進む。少数派ではない、すなわち多数派であると判定された場合はＳ６０５へ進む。

【0048】

Ｓ６０５：検出部３０３は、被写体は静止していると判定する。

【0049】

＜動体検出時における撮像装置の動作＞
動体を検出した場合の、撮像装置の動作バリエーションについて説明する。

【0050】

１つ目は、動体を検出した場合は画角調整を待機してから実行する手法である。例えば、出力部３０６が動体を検知した旨をユーザーインターフェース上で表示し、一定時間経過後もしくは動体が検出されなくなったタイミングで画角変更を行えるように駆動制御を無効化する手法が挙げられる。また、撮像領域内における動体の割合に応じて駆動制御を無効化するなどのバリエーションを持たせても良い。

【0051】

２つ目は、動体を他の被写体（静止物）と区別して表示する方法である。この手法においては、静止している被写体を目印にして画角調整を行う場合、動体が判別出来れば静止している被写体を特定可能であることを前提としている。撮像領域のうち、動体の占める割合が高く、静止している被写体から撮像画角を定めることが難しい場合は、前述した１つ目の手段で制御することが望ましい。動体を区別して表示する手法としては、動体に色をつける、動体を囲って表示するなどが挙げられる。このとき、実施形態１に記載の方法を用いて撮像装置を振動させ、画角調整を実施する。

【0052】

以上より、イベントベースセンサを用いた撮像装置において、被写体がより鮮明に映るように画角調整することができる。

【0053】

（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。

【符号の説明】

【0054】

１００ 撮像装置
３００ 駆動部
３０１ 撮像部
３０２ 画像生成部
３０３ 検出部
３０４ 制御部
３０５ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】