特開 2022-188982 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022188982

(43)【公開日】2022-12-22

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   H04N 5/351 20110101AFI20221215BHJP

【ＦＩ】

H04N5/351

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2021097300

(22)【出願日】2021-06-10

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】沼田 愛彦

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024CY26

5C024EX34

5C024EX52

5C024GX02

5C024GY45

5C024HX29

(57)【要約】

【課題】 本発明によれば、イベントベースセンサを用いた場合に、被写体が検知されない状況を抑制できる。
【解決手段】 上記課題を解決する本発明にかかる情報処理装置は、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する情報処理装置であって、前記アドレスイベント信号に基づいて、被写体を検知する検知手段と、前記被写体が検知されない時間が所定時間より長い場合に、撮影に関するパラメータを少なくとも１つ変更するように制御するパラメータ制御手段と、を有することを特徴とする。
【選択図】 図４

【特許請求の範囲】

【請求項1】

輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する情報処理装置であって、
前記アドレスイベント信号に基づいて、被写体を検知する検知手段と、
前記被写体が検知されない時間が所定時間より長い場合に、撮影に関するパラメータを少なくとも１つ変更するように制御するパラメータ制御手段と、
を有することを特徴とする情報処理装置。

【請求項2】

前記パラメータは、像面上における被写体像の位置、形状、輝度値の少なくとも１つ含むことを特徴とする、請求項１に記載の情報処理装置。

【請求項3】

前記パラメータは、前記アドレスイベント信号を取得するための撮影手段の撮影方向を示すことを特徴とする、請求項２に記載の情報処理装置。

【請求項4】

前記パラメータは、前記撮影手段の撮影画角を変更するためのパラメータであることを特徴とする、請求項３に記載の情報処理装置。

【請求項5】

前記パラメータは、前記撮影手段のフォーカス位置を変更するためのパラメータであることを特徴とする、請求項３または４に記載の情報処理装置。

【請求項6】

前記情報処理装置は、絞り、光吸収フィルタ、照明の少なくとも１つを有する撮影装置であって、
前記パラメータは、前記アドレスイベント信号を取得するための光電変換素子に到達する光量を調整するための制御値であることを特徴とする、請求項１から５のいずれか１項に記載の情報処理装置。

【請求項7】

前記情報処理装置は、更に、特定の波長の光を選択的に吸収させる光吸収フィルタ、または、特定の波長の光を照射する照明のうち、少なくとも１つを有し、
前記パラメータは、前記光電変換素子によって受光される波長の範囲を調整するための制御値であることを特徴とする、請求項６に記載の情報処理装置。

【請求項8】

前記パラメータ制御手段は、前記パラメータを変更しても前記被写体が検知できなかった場合に、変更した前記パラメータに対する変化される量、または、前記パラメータのうち異なる種類のパラメータを、更に変更することを特徴とする、請求項１から７のいずれか１項に記載の情報処理装置。

【請求項9】

前記アドレスイベント信号は、輝度の変化が所定の閾値を超えた画素について出力され、
前記検知手段によって検知された前記被写体の位置を記憶する記憶手段を更に有し、
前記パラメータ制御手段は、前記パラメータを変更した後に前記記憶手段によって記憶された前記被写体の位置と同じ位置において前記被写体が検知された場合に、前記所定の閾値をより大きくすることを特徴とする、請求項１から８のいずれか１項に記載の情報処理装置。

【請求項10】

前記パラメータ制御手段は、前記パラメータを変更した後に前記記憶手段によって記憶された前記被写体の位置と異なる位置において前記被写体が検知された場合に、前記所定の閾値をより小さくすることを特徴とする、請求項９に記載の情報処理装置。

【請求項11】

前記パラメータ制御手段は、前記パラメータを変更することによって撮影範囲が広がった場合において、前記被写体が検知された場合には、前記所定の閾値を小さくすることを特徴とする、請求項９または１０に記載の情報処理装置。

【請求項12】

前記アドレスイベント信号または前記被写体の検知結果を出力する出力手段を更に有し、
前記出力手段は、前記パラメータが変更される場合に通知を出力することを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。

【請求項13】

前記出力手段は、前記パラメータを変更しても前記被写体が検知できなかった場合に、ユーザに対する通知を出力することを特徴とする、請求項１２に記載の情報処理装置。

【請求項14】

前記アドレスイベント信号に基づいて、フレーム画像を生成する生成手段を更に有し、前記出力手段は、前記パラメータとして撮影方向を制御する場合は、前記撮影方向に合わせて、前記生成されたフレーム画像上での前記被写体の位置を変更して出力し、
前記パラメータとして撮影画角を制御する場合は、前記生成されたフレーム画像の一部を出力する、ことを特徴とする、請求項１２または１３に記載の情報処理装置。

【請求項15】

前記検知手段は、所定の形状を有する前記被写体を、前記アドレスイベント信号に含まれる特定の信号を有する画素の位置に基づいて、検知することを特徴とする、請求項１から１４のいずれか１項に記載の情報処理装置。

【請求項16】

前記アドレスイベント信号は、光子の入射に応じて信号を出力する画素を備えた光電変換素子によって出力されることを特徴とする、請求項１から１５のいずれか１項に記載の情報処理装置。

【請求項17】

コンピュータを、請求項１から１６のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。

【請求項18】

輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する情報処理方法であって、
前記アドレスイベント信号に基づいて、被写体を検知する検知工程と、
前記被写体が検知されない時間が所定時間より長い場合に、撮影に関するパラメータを少なくとも１つ変更するように制御するパラメータ制御工程と、を有することを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イベントベースセンサを用いた被写体検知に関する。

【背景技術】

【0002】

画素ごとの輝度の変化をアドレスイベント信号としてリアルタイムに出力するイベントベースセンサが知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１３４２７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、イベントベースセンサを用いた場合に、被写体が検知されない状況を抑制することである。

【課題を解決するための手段】

【0005】

上記課題を解決する本発明にかかる情報処理装置は、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する情報処理装置であって、前記アドレスイベント信号に基づいて、被写体を検知する検知手段と、前記被写体が検知されない時間が所定時間より長い場合に、撮影に関するパラメータを少なくとも１つ変更するように制御するパラメータ制御手段と、を有することを特徴とする。

【発明の効果】

【0006】

本発明によれば、イベントベースセンサを用いた場合に、被写体が検知されない状況を抑制できる。

【図面の簡単な説明】

【0007】

【図1】情報処理装置のハードウェア構成例を示すブロック図

【図2】情報処理装置の機能構成例を示すブロック図

【図3】イベントベースセンサの構成例を示す図

【図4】イベントベースセンサによる画像の一例を示す図

【図5】情報処理装置が実行する処理を説明するフローチャート

【発明を実施するための形態】

【0008】

従来のイベントベースセンサでは、アドレスイベントの検出頻度に応じて、輝度変化に対する不感帯の時間幅を制御することで、アドレスイベントに対する検出感度を制御している。しかしながら、特定の被写体を高速で検知する用途で使用した場合、以下のような課題が発生する。アドレスイベントに対する検出感度を下げる（不感帯の幅を狭くする）と、輝度変化が検出されずに、被写体の検知精度が低下してしまう。一方で、アドレスイベントに対する検知感度を上げる（不感帯の幅を広くする）と、被写体の輝度変化のほかに、フォトンショットノイズなどのランダムノイズに起因する輝度変化も検知してしまうため、被写体の検知精度が低下してしまう。

【0009】

そこで、以下の本実施形態において、イベントベースセンサの撮影に関するパラメータを少なくとも１つ変更するように制御することによって、被写体の検知精度を向上させることを説明する。

【0010】

以下、図を用いて、本発明の実施形態におけるイベントベースセンサの出力を基に被写体の検知を実行する撮影装置（情報処理装置）について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。

【0011】

＜実施形態１＞
＜情報処理装置のハードウェア：図１＞
本実施形態における情報処理装置を図１に示す。図１において、情報処理装置１００は、結像光学系１０１０、光電変換素子１０１１からなる撮像部１０１（イベントベースカメラ）、ＣＰＵ１０２、メモリ１０３、表示部１０４、および操作部１０５から成る。撮像部１０１は、受光した入射光に応じたアドレスイベント信号を出力する光電変換素子１０１１を用いたセンサである。撮像部１０１は、画素毎に輝度の変化をイベントとして検出し、アドレスイベント信号は、輝度の変化が発生した画素の位置と時刻とを示す。結像光学系１０１０は、具体的には受光レンズであって、入射光を受光し、光電変換素子１０１１に結像する。ＣＰＵ１０２は、メモリ１０３に格納されたＯＳやその他プログラムを読みだして実行し、接続された各構成を制御して、各種処理の演算や論理判断などを行う。ＣＰＵ１０２が実行する処理には、本実施形態にかかる情報処理が含まれる。また、ＣＰＵ１０２は、結像光学系１０１０のフォーカスの駆動や絞りの駆動、光電変換素子１０１１の駆動等の制御を行う。メモリ１０３は、例えば、ハードディスクドライブや外部記憶装置などであり、実施形態の情報処理にかかるプログラムや各種データを記憶する。表示部１０４は、ＣＰＵ１０２からの指示に従って情報処理装置１００の演算結果等を表示装置に出力する。なお、表示装置は液晶表示装置やプロジェクタ、ＬＥＤインジケータなど、種類は問わない。操作部１０５は、例えば、タッチパネルやキーボード、マウス、ロボットコントローラーであり、ユーザーによる入力指示を受け付けるユーザーインターフェースである。なお、情報処理装置１００は、ここに挙げたハードウェア構成以外の機構を有していてもよい。

【0012】

＜情報処理装置の機能構成例：図２＞
次に、図２を用いて、本実施形態にかかる情報処理装置の機能構成例を説明する。情報処理装置１００は、撮像部１０１、検知部２０１、パラメータ制御部２０２、画像処理部２０３、表示制御部２０４、操作受付部２０５を有する。なお、本実施形態における情報処理装置は、検知部２０１、パラメータ制御部２０２を最低限備えていればよいが、それ以外の機能があってもよい。ここでは、各機能の概要を説明する。情報処理装置１００は、受光した入射光に応じたアドレスイベント信号を出力する撮像部１０１の出力に基づいて、各種情報処理を行う。検知部２０１は、アドレスイベント信号に基づいて、撮影画角内にある被写体を検知する。例として、ここではイベントベースセンサが固定された画角を撮影するものと仮定すると、撮影画角内にある動体が被写体として検知される。逆に、撮影パラメータが固定された状態でかつ動体がいない場合は、アドレスイベント信号が少なくなるため検知部２０２は何も検知しない。検知部２０１の詳しい説明は後述する。パラメータ制御部２０２は、イベントベースセンサの撮影に関するパラメータ（以下、撮影パラメータ）を少なくとも１つ変更するように制御する。撮影パラメータや制御についての詳細については後述する。画像処理部２０３は、アドレスイベント信号に基づいて、輝度の変化が発生した画素の位置に、輝度の変化の方向に応じた所定の画素値を付与した画像を生成する。表示制御部２０４は、生成された画像を表示部１０４に表示させる。操作受付部２０５は、ユーザからの操作を受け付ける。例えば、パラメータ制御部２０２において対象とするパラメータをユーザによって指定する際に、操作受付部２０５によって受け付けた操作に基づいてパラメータ制御部２０２は変更するパラメータを決定する。

【0013】

＜イベントベースセンサ：図３＞
本実施形態にかかるイベントベースセンサの一例を説明する。イベントベースセンサは、入射した光子の数をカウントし、カウントした光子の数が所定の閾値を超えたタイミングを判定する。またイベントベースセンサは、光子の数が第１の閾値以上になるまでの所要時間（クロック数）を計測しており、その所要時間を比較することによって輝度の変化を検出する。具体的には、前回計測された所要時間をＴ０、最新の所要時間をＴとしたとき、差分Ｔ－Ｔ０が第２の閾値以上の場合は、マイナス方向の輝度の変化を検出する。差分Ｔ０－Ｔが第２の閾値以上の場合は、プラス方向の輝度の変化を検出する。そして、ＴとＴ０の差分が第２の閾値未満であれば輝度の変化を検出しない。なお、第２の閾値はゼロ以上の値で、予め設定された値や他のパラメータに応じて設定される値を用いる。

【0014】

以下に、詳細な構成を説明する。図３ａは、光電変換素子１０１１の構成例を示す図である。光電変換素子１０１１は、画素部１１０と周辺回路１２０から構成される。周辺回路１２０は、垂直調停回路１２１、水平読み出し回路１２２を備える。

【0015】

図３ｂは、イベントベースセンサを構成する各画素部の構成例を示す図である。画素部１１０は、光電変換部１１１、画素カウンタ１１２、時間カウンタ１１３、第１の判定回路１１４、メモリ１１５、比較器１１６、第２の判定回路１１７、応答回路１１８、選択回路１１９を備える。光電変換部１１１は、ガイガーモードで動作するアバランシェフォトダイオード（ＳＰＡＤ）を備えており、光電変換部１１１に入射した光子の数を、画素カウンタ１１２でカウントするように構成される。時間カウンタ１１３では、光子が光電変換部１１１に入射した時間をカウントしている。ＳＰＡＤを用いてイベントベースセンサを構成することによって、光子１個レベルの輝度変化を検出することができる。光子１個レベルの輝度変化を検出することで、夜間などの暗視状態においても、アドレスイベント信号を取得することができる。

【0016】

画素カウンタ１１２でカウントした光子の数が第１の閾値に達すると、第１の判定回路１１４によって、時間カウンタ１１３での時間のカウントを止める。メモリ１１５には、過去の時間カウンタ１１３のカウント値が記憶されており、比較器１１６を用いて、現在の時間カウンタ１１３のカウント値と、過去の時間カウンタ１１３のカウント値の差分のカウント値を求める。

【0017】

第２の判定回路１１７は、差分のカウント値が第２の閾値以上の場合に、応答回路１１８を介して垂直調停回路１２１に、リクエスト信号を送る。応答回路１１８は、垂直調停回路１２１から、アドレスイベントデータの出力の許可または不許可を表す応答を受ける。差分のカウント値が第２の閾値未満の場合には、リクエスト信号を送付しない。

【0018】

応答回路１１８が出力の許可を表す応答を受けると、選択回路１１９により時間カウンタ回路１１３のカウント値が、水平出力回路１２２に出力される。水平出力回路１２２は、受け取ったカウント値を出力信号として光電変換素子１０１１から検知部２０１に出力する。

【0019】

比較器１１６によって算出された差分のカウント値は、光子の入射頻度の逆数に相当するため、本実施形態にかかる光電変換素子１０１１は、「光子の入射頻度の変化」、すなわち輝度の変化を計測する機能を有している。また、第２の判定回路１１７を用いて、入射した光子の数が第１の閾値に達した時間の間隔の差異が、第２の閾値（所定の閾値）以上の場合のみ、アドレスイベントを出力している。即ち、入射頻度の差異が第２の閾値以上の場合には入射頻度を出力し、差異が閾値未満の場合には入射頻度を出力しない、光電変換素子となっている。以上のような構成とすることで、画素アドレスごとに、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子が実現できる。

【0020】

＜光電変換素子のバリエーション＞
以上では、光電変換部にＳＰＡＤを用い、光子が入射した時間を計測することで、光子の入射頻度の変化を検出する光電変換素子を使用する場合を示した。しかし、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子であれば、図２の構成でなくてもよい。例えば、特許文献１に記載されているように、輝度の変化を電圧変化として検出する光電変換素子を使用してもよい。

【0021】

＜検知部２０１＞
検知部２０１は、アドレスイベント信号に基づいて、被写体を検知する。すなわち、イベントベースセンサによって出力された輝度変化の情報から、あらかじめ検知対象として設定されている特定の被写体（例えば人の眼）を連続的に検知する。具体的な処理の１つは、まず画像処理部２０３によってイベントベースセンサによって出力されたアドレスイベント信号を一定時間積分したフレーム画像が生成される。検知部２０１は、生成されたフレーム画像から特徴点を検出し、特定の被写体のテンプレート画像から検出される特徴点とパターンマッチングによって、被写体の場所（および特定の被写体の有無）を検知する。テンプレートとの類似度が所定値以上である箇所が被写体の位置と検知できる。但し、被写体検知の方法は、パターンマッチングではなく、別の方法を用いてもよい。例えば、生成されたフレーム画像の被写体の形状をＣＮＮ（畳み込みニューラルネットワーク）に機械学習させることで、被写体を検知するようにしてもよい。または、イベントベースセンサによって出力されたアドレスイベント信号（輝度変化の情報）をフレーム画像にせずに、そのままＣＮＮによってそのまま機械学習させてもよい。また、画像を生成せずにアドレスイベント信号から、反応のある画素の数と範囲から被写体を検知してもよい。

【0022】

ここで、イベントベースセンサは、前述のように、入射した光子の数が第１の閾値に達した時間の間隔の差異が、第２の閾値（所定の閾値）以上の場合のみ、アドレスイベントを出力している。例えば、所定の閾値がかなり大きい場合、被写体の動きが小さいとアドレスイベント信号が出力されない可能性がある。逆に、所定の閾値が小さい場合は、被写体やシーンに含まれる物体のあらゆる動きがアドレスイベント信号として出力され、かえって被写体を検知しづらくなる。一方で、検知部２０１は、アドレスイベント信号が出力されないと被写体を検知できない。そのため、状況に応じて所定の閾値は適切に設定されるべき値であって、所定の閾値が適切に設定されることによって検知部２０１の検知精度が向上する可能性もある。

【0023】

イベントベースセンサの撮影している画角が固定であって既知である場合は、検知した被写体の場所情報（例えば座標）を、図示しないネットワークケーブル等の出力インターフェースを介して、外部機器に出力する。なお、画角内において被写体が検知された位置から、イベントベースセンサの位置と姿勢から被写体の絶対位置（世界座標における位置）を求められる。また、情報処理装置１００が表示部を備えており、イベントベースセンサによって出力された輝度変化を一定時間積分したフレーム画像と重畳する形で、被写体の場所を表示してもよい。イベントベースセンサが移動できる場合は、イベントベースセンサの位置を考慮して被写体の位置を求める。

【0024】

＜パラメータ制御部１０４＞
パラメータ制御部１０４は、撮影に関するパラメータを少なくとも１つ変更するように制御する。すなわち、パラメータ制御部１０４は、イベントベースセンサ（を有する撮影装置）の撮影条件（撮影パラメータ）を制御する。撮影パラメータとは、像面上における被写体像の位置、形状、輝度値の少なくとも一つを含む。具体的には、撮影装置の撮影方向、撮影画角、フォーカス位置、固体撮影素子１０２の画素に到達する光量、などである。撮影パラメータを変更することで、イベントベースセンサが反応する輝度の変化の強度が変わり、出力されるアドレスイベント信号の質や量に変化が発生しうる。そのため、検知部２０１における所定の閾値を超えるアドレスイベント信号が増減し、被写体が静止していても、被写体を検知しやすくなる。

【0025】

＜撮影パラメータのバリエーション１＞
撮影パラメータは、アドレスイベント信号を取得するための撮影手段（イベントベースセンサ）の撮影方向（画角）を示してもよい。例えば、撮影装置の撮影方向を制御する場合には、情報処理装置１００がモーターとギアからなる撮影方向駆動機構を備えており、モーターを駆動する電力を制御することで、情報処理装置１００を特定の回転軸の周りに回転できるような構成とすればよい。この時、モーターを複数設けることで複数の回転軸を有する構成としても良い。

【0026】

＜撮影パラメータのバリエーション２＞
撮影パラメータは、撮影手段の撮影画角を変更するためのパラメータであってもよい。例えば、撮影装置の撮影画角を制御する場合には、情報処理装置１００がモーターとギアからなるズーム倍率駆動機構を備えており、結像光学系１０１中の一部のレンズを光軸方向に移動することで、ズーム比を変化させる構成とすればよい。なお、ズームを変更する場合は、以前検知された被写体の形状（大きさ）が変わるため、ユーザによって前後の対応付けを入力する等の処理を行うとよい。

【0027】

＜撮影パラメータのバリエーション３＞
撮影パラメータは、撮影手段のフォーカス位置を変更するためのパラメータであってもよい。同様に、情報処理装置１００のフォーカス位置を制御する場合には、情報処理装置１００がモーターとギアからなるフォーカス位置駆動機構を備えており、結像光学系１０１中の一部のレンズを光軸方向に移動することで、フォーカス位置を変化させる構成とすればよい。

【0028】

＜撮影パラメータのバリエーション４＞
撮影パラメータは、イベントベースセンサ（光電変換素子）に到達する光量、またはイベントベースセンサによって受光される光の波長の範囲を調整するための制御値であってもよい。例えば、固体撮影素子１０２の画素に到達する光量を制御するためには、結像光学系の絞り、光吸収フィルタ、照明、のいずれかを制御すればよい。結像光学系の絞りを制御する場合には、情報処理装置１００が絞り制御機構を備えており、絞りを開閉することで、固体撮影素子１０２の画素に到達する光量を制御すればよい。光吸収フィルタを制御する場合には、情報処理装置１００が、光吸収フィルタを結像光学系の光路に対して挿抜する挿抜機構を有しており、光吸収フィルタを挿抜することで、固体撮影素子１０２の画素に到達する光量を制御すればよい。また、光吸収フィルタが液晶などから構成される透過率可変フィルタであって、透過率可変フィルタに印加する電圧を制御することで、固体撮影素子１０２の画素に到達する光量を制御してもよい。照明を制御する場合には、情報処理装置１００が、固体撮影素子１０２の画素が感度を有する光を照射する照明部を有しており、照明部から照射される光の照射強度を制御することで、光電変換素子１０２の画素に到達する光量を制御すればよい。

【0029】

＜効果＞
本発明の情報処理装置１００では、検知部２０１において、被写体が検知できない期間が所定時間以上続いた場合に、パラメータ制御部２０２によって、像面上における被写体像を変化させている。このような構成とすることで、被写体の検知精度の低下を抑制することができる。以下で説明を行う。

【0030】

イベントベースセンサを用いた情報処理装置を用いて、特定の被写体を検知し続けるようなユースケースを考える。イベントベースセンサでは、所定の閾値以上の輝度の変化があった場合にのみ、輝度変化をアドレスイベント信号として出力する。従って、被写体の動きが小さく、所定の閾値未満の輝度変化しか発生しない場合には、アドレスイベント信号が出力されないため、被写体を検知することができない。そこで、本発明の撮影装置では、被写体が検知できなかった場合には、パラメータ制御部によって像面上における被写体像を変化させ、閾値以上の輝度変化を発生させている。閾値以上の輝度変化が発生すれば、イベントベースセンサからアドレスイベント信号が出力されるため、被写体の検知が可能となる。

【0031】

なお、被写体の検知ができなかった場合に、特許文献１に開示されているように、アドレスイベントに対する検出感度を上げることで、小さい輝度変化を検出する、という方法も考えられる。しかし、アドレスイベントに対する検出感度を上げた（すなわち、所定の閾値を下げる）場合、フォトンショットノイズなどのランダムノイズに起因する輝度変化も検知してしまう。その結果、被写体の微小な動きによる輝度変化が、ランダムノイズによる輝度変化に埋もれてしまい、被写体の検知精度が低下してしまう。

【0032】

一方、本実施形態における情報処理装置では、アドレスイベントに対する検出感度は上げず、被写体像を変化させることによって生じる輝度変化がアドレスイベントとして出力される。そのため、被写体の動きによる輝度変化が、ランダムノイズによる輝度変化に埋もれず、被写体の検知精度の低下を抑制することが可能となっている。

【0033】

前述したように、パラメータ制御部２０２によって制御する、撮影装置の撮影パラメータは、像面上における被写体像の位置、形状、輝度値の少なくとも一つ以上が変化する条件であればよい。但し、像面全体の輝度値を変化させるよりも、被写体像の輝度値のみを変化させた方が良い。具体的には、絞り、光吸収フィルタ、照明などによって、固体撮影素子１０２の画素に到達する光量を制御するよりも、撮影装置の撮影方向、ズーム倍率、フォーカスによって、被写体像の像面上での位置または形状の少なくともいずれか１つを制御するほうが好ましい。以下で説明を行う。

【0034】

絞り、光吸収フィルタ、照明などによって、固体撮影素子１０２の画素に到達する光量を制御した場合、像面全体の輝度値が変化する。このとき、各々の画素の輝度値は、物体面上の各々の位置の物性値（吸収、反射特性）が等しい場合、一様な割合で変化してしまうため、すべての画素で同じアドレスイベントが検知されてしまう。その結果、被写体像の変化によって生じる輝度変化が、背景の輝度変化に埋もれてしまい、被写体の検知精度の低下を抑制することができない。

【0035】

言い換えると、固体撮影素子１０２の画素に到達する光量を制御した場合、物体面上の各々の位置の物性値による差異によって生じる輝度変化のみを、アドレスイベントとして検知することができる。そのため、被写体の検知精度の低下の抑制効果が、被写体像と背景の物性値の相違に依存してしまう。

【0036】

一方、撮影装置の撮影方向を変化させた場合、被写体と撮影装置の位置関係が変化するため、像面上での被写体像の位置を変化させることができる。また、結像光学系のズーム倍率を制御した場合には被写体像の像面上の大きさが変化し、フォーカス位置を制御した場合には、被写体像の像面上でのボケ具合が変化するため、いずれの場合も被写体像の形状を変化させることができる。即ち、撮影装置の撮影方向、ズーム倍率、フォーカスを制御することで、被写体像のテクスチャや輪郭部分による輝度変化を、アドレスイベントとして検出することができる。その結果、被写体像の変化によって生じる輝度変化が、背景の輝度変化に埋もれてしまうことなく、被写体像の検知精度の低下を、さらに抑制することができる。

【0037】

＜変形例１＞
なお、光吸収フィルタや照明を用いた場合、光吸収フィルタや照明の分光特性を制御することで、被写体像と背景の物性値の相違を、効果的に検出することができる。具体的には、被写体像と背景の物性値が異なるような光に対する応答を強調するようなフィルタや照明を選択すればよい。

【0038】

例えば、被写体が赤い、すなわち波長６５０ｎｍ付近の光を選択的に反射する被写体であって、背景が白い、すなわち、すべての可視光を反射する被写体の場合を考える。光吸収フィルタとして、赤色の光（波長６５０ｎｍ付近の光）のみを吸収するようなバンドストップフィルタを使用すれば、光吸収フィルタの挿抜によって輝度値が変化するのは、被写体部分のみであるため、被写体像のみの輝度変化を、アドレスイベントとして検出することができる。バンドストップフィルタは、多層膜干渉フィルタなどによって実現することができる。

【0039】

また、照明として、赤色の光（波長６５０ｎｍ付近の光）のみを照射するような照明を用意すれば、照明の照射強度の変化によって輝度値が変化するのは、被写体部分のみであるため、被写体像のみの輝度変化を、アドレスイベントとして検出することができる。赤色の光のみを照射する照明は、ＩｎＧａＡｓからなるＬＥＤなどによって実現することができる。このように、特定の波長の光を選択的に吸収させる光吸収フィルタ、または、特定の波長の光を照射する照明のうち、少なくとも一つ以上を使用することで、被写体像と背景の物性値の相違を、効果的に検出することができる。

【0040】

＜変形例２＞
パラメータ制御部２０２で撮影パラメータを変化させても被写体が検知できなかった場合には、パラメータ制御部によって与える制御する撮影パラメータの変化量、種類の少なくとも一つを変更することが好ましい。

【0041】

まず、撮影パラメータの変化量を制御する場合について説明する。ここでは、撮影方向を制御する場合を例にとって説明する。撮影方向を変化させても被写体が検知できなかった場合、例えば被写体が遠方に位置しており、像面上での被写体の移動量が１画素未満であるために、閾値以上の輝度変化が生じなかった可能性がある。そこで、被写体が検知できなかった場合には、撮影方向を大きく変化させて、像面上での被写体の移動量を１画素よりも大きくすることで、閾値以上の輝度変化を生じさせればよい。即ち、パラメータ制御部が制御する撮影パラメータの変化量の変更が可能であって、撮影パラメータを制御しても被写体が検知できなかった場合には、パラメータ制御部によって制御する、撮影パラメータの変化量を変更する構成とすればよい。これにより、閾値以上の輝度変化を生じさせ、被写体を検知することが可能となる。

【0042】

次に、変化させる撮影パラメータの種類を変更する場合について説明する。撮影方向を変化させても被写体が検知できなかった場合、変更した撮影パラメータによって生じる輝度変化をとらえにくい、という可能性がある。前述したように、撮影方向を変化させても被写体が検知できなかった場合、例えば被写体が遠方に位置しており、像面上での被写体の移動量が１画素未満であるために、閾値以上の輝度変化が生じなかった可能性がある。この場合、結像光学系のズーム倍率を望遠側に移動することで、像面上の被写体の移動量を増加させることで、閾値以上の輝度変化を生じさせればよい。これは、最初に撮影方向を制御して、次にズーム倍率を制御した例である。

【0043】

他にも、最初に光量を制御し、次に撮影方向、ズーム倍率、フォーカス位置のいずれかを制御する、という例もある。前述したように、絞り、光吸収フィルタ、照明などによって光量を制御した場合、被写体像と背景の物性値の相違が小さい場合には、被写体像の変化によって生じる輝度変化が、背景の輝度変化に埋もれてしまう場合がある。この場合には、撮影装置の撮影方向を変化させたり、ズームやフォーカス位置を制御させたりして、被写体像のテクスチャや輪郭部分による輝度変化を、アドレスイベントとして検出できるようにする。

【0044】

更に、被写体が検知できない期間が一定以上続く間に、被写体が閾値未満の輝度変化で移動し、撮影装置の画角外に外れてしまった可能性がある。そこで、被写体が検知できなかった場合には、撮影方向を変更する、ないしは撮影画角を広げることで、被写体を撮影装置の画角内に収めつつ、閾値以上の輝度変化を生じさせればよい。

【0045】

即ち、パラメータ制御部が制御する撮影パラメータの種類の変更が可能であって、撮影パラメータを制御しても被写体が検知できなかった場合には、パラメータ制御部によって制御する、撮影パラメータの種類を変更する構成とすればよい。これにより、閾値以上の輝度変化を生じさせ、被写体を検知することが可能となる。

【0046】

＜変形例２＞
検知部２０１は、メモリ１０３を用いて検知された前記被写体の位置を記憶することによって追尾処理を行う。そのとき、パラメータ制御部２０２で撮影パラメータを制御することで被写体を検知した結果、被写体が元の場所から移動していなかった場合、パラメータ制御部１４０で撮影パラメータを制御する頻度を下げるほうが好ましい。つまり、撮影パラメータを変更した後に記憶された被写体の位置と同じ位置において被写体が検知された場合に、パラメータ制御部２０２は、所定の閾値をより大きくする。具体的には、被写体が検知できない期間が所定時間以上続いた場合に撮影パラメータを制御する構成において、被写体が元の場所から移動していなかった場合には、所定の閾値を大きくする方が好ましい。所定の閾値を大きくすることで、パラメータ制御部２０２で撮影パラメータを制御する頻度が下がるため、所定の閾値を制御するための駆動機構制御、照明制御などの消費電力の低減につながる。

【0047】

一方、パラメータ制御部２０２は、パラメータを変更した後に、記憶された被写体の位置と異なる位置において被写体が検知された場合に、所定の閾値をより小さくする。この場合、被写体が元の場所から移動していた場合には、被写体が閾値未満の輝度変化で移動してしまった、ということがわかる。このような場合、パラメータ制御部２０２で撮影パラメータを制御する頻度を上げるほうが好ましい。具体的には、被写体が検知できない期間が所定の閾値以上続いた場合に撮影パラメータを制御する構成において、被写体が元の場所から移動していなかった場合には、所定の閾値をより小さくする方が好ましい。所定の閾値の値を小さくすることで、パラメータ制御部２０２で撮影パラメータを制御する頻度が上がるため、閾値未満の輝度変化での被写体の移動を見逃す可能性が低減する。なお、被写体が移動しているかどうかは、例えば、被写体の重心位置の移動量が、特定の画素数よりも移動しているかどうかで判定すればよい。特定の画素数は１画素以上、画角の１／１０以下の値であると好ましい。

【0048】

更に、パラメータ制御部２０２は、パラメータを変更することによって撮影範囲が広がった場合において、被写体が検知された場合には、所定の閾値を小さくするとよい。撮影方向を変更したり、撮影画角を広げたりして、被写体を検知した結果、被写体の位置が画角外に移動していた場合には、閾値未満の輝度変化で被写体が更に大きく移動している、ということがわかる。このような場合、所定の閾値の値を、被写体が画角内で移動していた場合に対して、小さくする方が好ましい。所定の閾値の値を小さくすることで、パラメータ制御部２０２で撮影パラメータを制御する頻度が更に上がるため、閾値未満の輝度変化での被写体の移動を見逃す可能性が更に低減する。

【0049】

＜変形例３＞
表示制御部２０４は、アドレスイベント信号または被写体の検知結果を表示部１０４に出力させる。表示制御部２０４は、アドレスイベント信号に基づいて画像処理されたフレーム画像を表示してもよい。また、被写体が検知されなかった場合に、ユーザに対してエラーを通知するように制御してもよい。

【0050】

さらに、表示制御部２０４は、撮影条件（撮影パラメータ）を制御している時には、撮影条件（撮影パラメータ）を制御していることが分かるような表示を出力してもよい。例えば、情報処理装置１００が表示部を有しており、撮影パラメータを制御している時には、撮影パラメータを制御していることを文字情報などで表示する構成とすればよい。このような構成とすることで、撮影パラメータの制御によって被写体像が変化しているのか、被写体像の移動、環境光の変化などによって被写体像が変化しているのかを、区別することができる。

【0051】

更に、情報処理装置１００が、光電変換素子１０１１の出力を処理してフレーム画像を生成する処理部を有しており、表示部にフレーム画像を表示する構成である場合、撮影パラメータの制御を画像に重畳して表示するほうが好ましい。具体例を以下で説明する。

【0052】

パラメータ制御部で撮影方向を制御している時、被写体が移動していなかった場合でも、撮影方向の制御によってフレーム画像上の被写体の位置が変化してしまう。そのため、撮影方向の制御に合わせて、フレーム画像上での被写体の位置をずらす、所謂電子防振を使用するほうが好ましい。これにより、撮影方向の制御による被写体の位置の変化と、被写体自身の移動による位置の変化を、区別して表示することができる。

【0053】

同様に、パラメータ制御部で撮影画角を広角側に移動している場合、フレーム画像上の被写体の位置が変化してしまう。そのため、撮影画角の制御に応じて、フレーム画像の一部を切り出す、所謂電子ズームを使用するほうが好ましい。これにより、撮影画角の制御による被写体の位置の変化と、被写体自身の移動による位置の変化を、区別して表示することができる。電子防振、電子ズーム、いずれの場合でも、フレーム画像の一部のみを表示することになるため、全体のフレーム画像も、重畳して表示するようにしてもよい。この際、全体のフレーム画像２００ａ、２００ｂと、フレーム画像２０１の一部の差異がわかるように、枠などで囲って表示すると、更に好ましい（図４）。

【0054】

＜全体のフローチャート＞
図５は、本発明の情報処理装置１００の動作を説明するフローチャートである。図５のフローチャートに示した処理は、コンピュータである図１のＣＰＵ１０２によりメモリ１０３に格納されているコンピュータプログラムに従って実行される。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。Ｓ１１において、検知部２０１は、パラメータ制御処理のトリガーとして、被写体が検知できない期間が所定時間より長いかどうかの判定を行う。判定の結果、特定の所定時間以上であれば、パラメータ制御部２０２は、撮影パラメータを制御する（Ｓ１２）。特定の所定時間未満であれば、撮影パラメータを変更せずに、被写体の検知を継続する（Ｓ１１を継続）。

【0055】

Ｓ１３では、検知部２０１は、撮影パラメータを制御した後に、被写体が検知できたかどうかの判定を行う。被写体の検知ができた場合には、更に、被写体の位置が移動していたかどうかの判定を行う（Ｓ１８）。一方、被写体が検知できなかった場合には、パラメータ制御部２０２は、被写体に与える撮影パラメータの変化量を変更する（Ｓ１４）。

【0056】

Ｓ１４に続くＳ１５では、検知部２０１は、撮影パラメータの変化量を変更した結果、被写体が検知できたかどうかの判定を行う。被写体の検知ができた場合には、Ｓ１１に戻って、撮影パラメータをもとに戻し、被写体の検知を継続する。なお、撮影パラメータは必ずしも基に戻さなくてもよい。一方、被写体が検知できなかった場合には、パラメータ制御部２０２は、制御する撮影パラメータの種類を変更する（Ｓ１６）。

【0057】

Ｓ１６に続くＳ１７において、検知部２０１は、被写体の位置が画角外に移動しているかどうかの判定を行う。被写体の位置が画角外に移動していなければ、検知部２０１は、Ｓ１８に移行し、更に被写体の位置が画角内で移動しているかどうかの判定を行う。

【0058】

Ｓ１８で、検知部２０１は、被写体の位置が移動していないと判定した場合には、所定の閾値をより上げる（Ｓ１９）。一方、被写体の位置が移動していると判定した場合には、検知部２０１は、所定の閾値を下げる（Ｓ２０）。更に、Ｓ１７において、被写体の位置が画角外に移動していた場合には、検知部２０１は、所定の閾値をＳ２０よりも更に上げる（Ｓ２１）。

【0059】

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。

【符号の説明】

【0060】

１００ 情報処理装置
１０１ 撮像部
１０２ 表示部
１０３ 操作部
２０１ 検知部
２０２ パラメータ制御部
２０３ 画像処理部

【図1】

【図2】

【図3】

【図4】

【図5】