(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022188988
(43)【公開日】2022-12-22
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
H04N 5/335 20110101AFI20221215BHJP
G01V 8/10 20060101ALI20221215BHJP
H04N 5/3745 20110101ALI20221215BHJP
【ＦＩ】
H04N5/335
G01V8/10 S
H04N5/3745 500
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2021097307
(22)【出願日】2021-06-10
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100124442
【弁理士】
【氏名又は名称】黒岩 創吾
(72)【発明者】
【氏名】沼田 愛彦
【テーマコード（参考）】
2G105
5C024
【Ｆターム（参考）】
2G105AA01
2G105BB16
2G105BB17
2G105CC01
2G105DD02
2G105EE06
2G105FF02
2G105GG03
2G105HH02
5C024AX07
5C024CY26
5C024GY45
5C024HX29
5C024HX32
(57)【要約】
【課題】 本発明によれば、イベントベースセンサを用いた場合に、被写体が検知されない状況を抑制できる。
【解決手段】 上記課題を解決する本発明にかかる情報処理装置は、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する情報処理装置であって、前記アドレスイベント信号に基づいて、被写体を検知する検知手段と、前記被写体が検知されない時間が所定時間より長い場合に、前記被写体が感知可能な刺激を生成する生成手段と、を有することを特徴とする。
【選択図】 図４
【解決手段】 上記課題を解決する本発明にかかる情報処理装置は、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する情報処理装置であって、前記アドレスイベント信号に基づいて、被写体を検知する検知手段と、前記被写体が検知されない時間が所定時間より長い場合に、前記被写体が感知可能な刺激を生成する生成手段と、を有することを特徴とする。
【選択図】 図４
【特許請求の範囲】
【請求項1】
輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する情報処理装置であって、
前記アドレスイベント信号に基づいて、被写体を検知する検知手段と、
前記被写体が検知されない時間が所定時間より長い場合に、前記被写体が感知可能な刺激を生成する生成手段と、を有することを特徴とする情報処理装置。
前記アドレスイベント信号に基づいて、被写体を検知する検知手段と、
前記被写体が検知されない時間が所定時間より長い場合に、前記被写体が感知可能な刺激を生成する生成手段と、を有することを特徴とする情報処理装置。
【請求項2】
前記刺激は、照明光、音声、画像または文字の表示、土台の振動、のいずれかであることを特徴とする、請求項１に記載の情報処理装置。
【請求項3】
前記刺激は、前記アドレスイベントを出力するイベントベースセンサが感度を持たない波長域の照明光であることを特徴とする、請求項２に記載の撮像装置。
【請求項4】
前記生成手段は、前記刺激を前記被写体に刺激を与えた後も前記検知手段によって前記被写体が検知されなかった場合に、前記刺激の強度を変更することを特徴とする、請求項１から３のいずれか１項に記載の情報処理装置。
【請求項5】
前記生成手段は、前記刺激を前記被写体に与えた後も前記検知手段によって前記被写体が検知されなかった場合に、前記刺激の種類を変更することを特徴とする、請求項１から４のいずれか１項に記載の情報処理装置。
【請求項6】
前記生成手段は、前記刺激を前記被写体に与えた後も前記検知手段によって前記被写体が検知されなかった場合に、前記刺激の方向を変更することを特徴とする、請求項１から５のいずれか１項に記載の情報処理装置。
【請求項7】
前記検知手段は、前記アドレスイベント信号が所定の閾値より大きい画素の位置に基づいて、前記被写体を検知し、
方向を変更した前記刺激を前記被写体に後に前記検知手段によって前記被写体が検知された場合には、前記閾値をより小さくすることを特徴とする、請求項６に記載の情報処理装置。
方向を変更した前記刺激を前記被写体に後に前記検知手段によって前記被写体が検知された場合には、前記閾値をより小さくすることを特徴とする、請求項６に記載の情報処理装置。
【請求項8】
前記アドレスイベント信号は、所定の閾値より輝度の変化が大きい画素について出力され、
前記検知手段によって検知された前記被写体の位置を記憶する記憶手段を更に有し、
前記刺激を前記被写体に与えた後に前記記憶手段によって記憶された前記被写体の位置と異なる位置において前記被写体が検知された場合に、前記検知手段は、前記所定の閾値をより小さくすることを特徴とする、請求項１から７のいずれか１項に記載の情報処理装置。
前記検知手段によって検知された前記被写体の位置を記憶する記憶手段を更に有し、
前記刺激を前記被写体に与えた後に前記記憶手段によって記憶された前記被写体の位置と異なる位置において前記被写体が検知された場合に、前記検知手段は、前記所定の閾値をより小さくすることを特徴とする、請求項１から７のいずれか１項に記載の情報処理装置。
【請求項9】
前記検知手段は、前記刺激を前記被写体に与えた後に前記記憶手段によって記憶された前記被写体の位置と同じ位置において前記被写体が検知された場合に、前記閾値をより大きくすることを特徴とする、請求項８に記載の情報処理装置。
【請求項10】
前記刺激が生成されたことを通知する通知手段を更に有することを特徴とする、請求項１から９のいずれか１項に記載の情報処理装置。
【請求項11】
前記通知手段は、前記刺激を前記被写体に与えた後も前記検知手段によって前記被写体が検知されなかった場合に、エラーを通知することを特徴とする、請求項１０に記載の情報処理装置。
【請求項12】
前記生成手段によって生成された前記刺激を表象するために、所定の機構を制御する制御手段を更に有することを特徴とする、請求項１から１１のいずれか１項に記載の情報処理装置。
【請求項13】
前記検知手段は、所定の形状を有する前記被写体を、前記アドレスイベント信号に含まれる特定の信号を有する画素の位置に基づいて、検知することを特徴とする、請求項１から１２のいずれか１項に記載の情報処理装置。
【請求項14】
前記アドレスイベント信号は、光子の入射に応じて信号を出力する画素を備えた光電変換素子によって出力されることを特徴とする、請求項１から１３のいずれか１項に記載の情報処理装置。
【請求項15】
前記アドレスイベント信号と、前記検知手段によって検知された前記被写体と、を表示する表示手段を更に有することを特徴とする、請求項１から１４のいずれか１項に記載の情報処理装置。
【請求項16】
コンピュータを、請求項１から１５のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。
【請求項17】
輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する情報処理方法であって、
前記アドレスイベント信号に基づいて、被写体を検知する検知工程と、
前記被写体が検知されない時間が所定時間より長い場合に、前記被写体が感知可能な刺激を生成する生成工程と、を有することを特徴とする情報処理方法。
前記アドレスイベント信号に基づいて、被写体を検知する検知工程と、
前記被写体が検知されない時間が所定時間より長い場合に、前記被写体が感知可能な刺激を生成する生成工程と、を有することを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、本発明は、イベントベースセンサを用いた被写体検知に関する。
【背景技術】
【0002】
画素ごとの輝度の変化をアドレスイベント信号としてリアルタイムに出力するイベントベースセンサが知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－１３４２７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、イベントベースセンサを用いた場合に、被写体が検知されない状況を抑制することである。
【課題を解決するための手段】
【0005】
上記課題を解決する本発明にかかる情報処理装置は、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する情報処理装置であって、前記アドレスイベント信号に基づいて、被写体を検知する検知手段と、前記被写体が検知されない時間が所定時間より長い場合に、前記被写体が感知可能な刺激を生成する生成手段と、を有することを特徴とする。
【発明の効果】
【0006】
本発明によれば、イベントベースセンサを用いた場合に、被写体が検知されない状況を抑制できる。
【図面の簡単な説明】
【0007】
【図1】情報処理装置のハードウェア構成例を示すブロック図
【図2】情報処理装置の機能構成例を示すブロック図
【図3】イベントベースセンサの構成例を示す図
【図4】情報処理装置が実行する処理を説明するフローチャート
【発明を実施するための形態】
【0008】
以下、図を用いて、本発明の実施形態における情報処理装置ついて説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。
【0009】
特許文献１に開示されているイベントベースセンサでは、アドレスイベントの検出頻度に応じて、輝度変化に対する不感帯の時間幅を制御することで、アドレスイベントに対する検出感度を制御している。しかしながら、特許文献１に開示されているイベントベースセンサを、特定の被写体を高速で検知する用途で使用した場合、以下のような課題が発生する。アドレスイベントに対する検出感度を下げる（不感帯の幅を狭くする）と、輝度変化が検出されずに、被写体の検知精度が低下してしまう。一方で、アドレスイベントに対する検知感度を上げる（不感帯の幅を広くする）と、被写体の輝度変化のほかに、フォトンショットノイズなどのランダムノイズに起因する輝度変化も検知してしまうため、被写体の検知精度が低下してしまう。
【0010】
＜実施形態１＞
＜情報処理装置：図１＞
本実施形態における情報処理装置を図１に示す。図１において、情報処理装置１００は、結像光学系１０１０、光電変換素子１０１１からなる撮像部１０１（イベントベースカメラ）、ＣＰＵ１０２、メモリ１０３、表示部１０４、および操作部１０５から成る。撮像部１０１は、受光した入射光に応じたアドレスイベント信号を出力する光電変換素子１０１１を用いたセンサである。撮像部１０１は、画素毎に輝度の変化をイベントとして検出し、アドレスイベント信号は、輝度の変化が発生した画素の位置と時刻とを示す。結像光学系１０１０は、具体的には受光レンズであって、入射光を受光し、光電変換素子１０１１に結像する。ＣＰＵ１０２は、メモリ１０３に格納されたＯＳやその他プログラムを読みだして実行し、接続された各構成を制御して、各種処理の演算や論理判断などを行う。ＣＰＵ１０２が実行する処理には、本実施形態にかかる情報処理が含まれる。また、ＣＰＵ１０２は、結像光学系１０１０のフォーカスの駆動や絞りの駆動、光電変換素子１０１１の駆動等の制御を行う。メモリ１０３は、例えば、ハードディスクドライブや外部記憶装置などであり、実施形態の情報処理にかかるプログラムや各種データを記憶する。表示部１０４は、ＣＰＵ１０２からの指示に従って情報処理装置１００の演算結果等を表示装置に出力する。なお、表示装置は液晶表示装置やプロジェクタ、ＬＥＤインジケータなど、種類は問わない。操作部１０５は、例えば、タッチパネルやキーボード、マウス、ロボットコントローラーであり、ユーザーによる入力指示を受け付けるユーザーインターフェースである。なお、情報処理装置１００は、ここに挙げたハードウェア構成以外の機構を有していてもよい。
＜情報処理装置：図１＞
本実施形態における情報処理装置を図１に示す。図１において、情報処理装置１００は、結像光学系１０１０、光電変換素子１０１１からなる撮像部１０１（イベントベースカメラ）、ＣＰＵ１０２、メモリ１０３、表示部１０４、および操作部１０５から成る。撮像部１０１は、受光した入射光に応じたアドレスイベント信号を出力する光電変換素子１０１１を用いたセンサである。撮像部１０１は、画素毎に輝度の変化をイベントとして検出し、アドレスイベント信号は、輝度の変化が発生した画素の位置と時刻とを示す。結像光学系１０１０は、具体的には受光レンズであって、入射光を受光し、光電変換素子１０１１に結像する。ＣＰＵ１０２は、メモリ１０３に格納されたＯＳやその他プログラムを読みだして実行し、接続された各構成を制御して、各種処理の演算や論理判断などを行う。ＣＰＵ１０２が実行する処理には、本実施形態にかかる情報処理が含まれる。また、ＣＰＵ１０２は、結像光学系１０１０のフォーカスの駆動や絞りの駆動、光電変換素子１０１１の駆動等の制御を行う。メモリ１０３は、例えば、ハードディスクドライブや外部記憶装置などであり、実施形態の情報処理にかかるプログラムや各種データを記憶する。表示部１０４は、ＣＰＵ１０２からの指示に従って情報処理装置１００の演算結果等を表示装置に出力する。なお、表示装置は液晶表示装置やプロジェクタ、ＬＥＤインジケータなど、種類は問わない。操作部１０５は、例えば、タッチパネルやキーボード、マウス、ロボットコントローラーであり、ユーザーによる入力指示を受け付けるユーザーインターフェースである。なお、情報処理装置１００は、ここに挙げたハードウェア構成以外の機構を有していてもよい。
【0011】
＜情報処理装置の機能構成例：図２＞
次に、図２を用いて、本実施形態にかかる情報処理装置の機能構成例を説明する。情報処理装置１００は、撮像部１０１、検知部２０１、被写体が感知可能な刺激を制御する刺激制御部２０２、画像処理部２０３を有する。さらに、情報処理装置１００は、刺激制御部２０２によって生成された刺激を出力可能な出力装置２００に接続されている。情報処理装置１００が出力装置２００の機能を有していてもよい。なお、本実施形態における情報処理装置は、検知部２０１、刺激制御部２０２を最低限備えていればよいが、それ以外の機能があってもよい。ここでは、各機能の概要を説明する。情報処理装置１００は、受光した入射光に応じたアドレスイベント信号を出力する光電変換素子１０１１の出力に基づいて、各種情報処理を行う。検知部２０１は、アドレスイベント信号に基づいて、撮影画角内にある被写体を検知する。例として、ここではイベントベースセンサが固定された画角を撮影するものと仮定すると、撮影画角内にある動体が被写体として検知される。逆に、撮影パラメータが固定された状態でかつ動体がいない場合は、アドレスイベント信号が少なくなるため検知部２０２は何も検知しない。検知部２０１の詳しい説明は後述する。刺激制御部２０２は、被写体が感知可能な刺激を生成し、出力装置２００によってその刺激を出力するように制御する。刺激やその制御についての詳細については後述する。画像処理部２０３は、アドレスイベント信号に基づいて、輝度の変化が発生した画素の位置に、輝度の変化の方向に応じた所定の画素値を付与した画像を生成する。
次に、図２を用いて、本実施形態にかかる情報処理装置の機能構成例を説明する。情報処理装置１００は、撮像部１０１、検知部２０１、被写体が感知可能な刺激を制御する刺激制御部２０２、画像処理部２０３を有する。さらに、情報処理装置１００は、刺激制御部２０２によって生成された刺激を出力可能な出力装置２００に接続されている。情報処理装置１００が出力装置２００の機能を有していてもよい。なお、本実施形態における情報処理装置は、検知部２０１、刺激制御部２０２を最低限備えていればよいが、それ以外の機能があってもよい。ここでは、各機能の概要を説明する。情報処理装置１００は、受光した入射光に応じたアドレスイベント信号を出力する光電変換素子１０１１の出力に基づいて、各種情報処理を行う。検知部２０１は、アドレスイベント信号に基づいて、撮影画角内にある被写体を検知する。例として、ここではイベントベースセンサが固定された画角を撮影するものと仮定すると、撮影画角内にある動体が被写体として検知される。逆に、撮影パラメータが固定された状態でかつ動体がいない場合は、アドレスイベント信号が少なくなるため検知部２０２は何も検知しない。検知部２０１の詳しい説明は後述する。刺激制御部２０２は、被写体が感知可能な刺激を生成し、出力装置２００によってその刺激を出力するように制御する。刺激やその制御についての詳細については後述する。画像処理部２０３は、アドレスイベント信号に基づいて、輝度の変化が発生した画素の位置に、輝度の変化の方向に応じた所定の画素値を付与した画像を生成する。
【0012】
＜イベントベースセンサ：図３＞
本実施形態にかかるイベントベースセンサの一例を説明する。イベントベースセンサは、画素毎に入射した光子の数をカウントし、カウントした光子の数が所定の閾値を超えたタイミングを判定する。またイベントベースセンサは、光子の数が第１の閾値以上になるまでの所要時間（クロック数）を計測しており、その所要時間を比較することによって輝度の変化を検出する。具体的には、前回計測された所要時間をＴ０、最新の所要時間をＴとしたとき、差分Ｔ－Ｔ０が第２の閾値以上の場合は、マイナス方向の輝度の変化を検出する。差分Ｔ０－Ｔが第２の閾値以上の場合は、プラス方向の輝度の変化を検出する。そして、ＴとＴ０の差分が第２の閾値未満であれば輝度の変化を検出しない。なお、第２の閾値はゼロ以上の値で、予め設定された値や他のパラメータに応じて設定される値を用いる。
本実施形態にかかるイベントベースセンサの一例を説明する。イベントベースセンサは、画素毎に入射した光子の数をカウントし、カウントした光子の数が所定の閾値を超えたタイミングを判定する。またイベントベースセンサは、光子の数が第１の閾値以上になるまでの所要時間（クロック数）を計測しており、その所要時間を比較することによって輝度の変化を検出する。具体的には、前回計測された所要時間をＴ０、最新の所要時間をＴとしたとき、差分Ｔ－Ｔ０が第２の閾値以上の場合は、マイナス方向の輝度の変化を検出する。差分Ｔ０－Ｔが第２の閾値以上の場合は、プラス方向の輝度の変化を検出する。そして、ＴとＴ０の差分が第２の閾値未満であれば輝度の変化を検出しない。なお、第２の閾値はゼロ以上の値で、予め設定された値や他のパラメータに応じて設定される値を用いる。
【0013】
以下に、詳細な構成を説明する。図３ａは、光電変換素子１０１１の構成例を示す図である。光電変換素子１０１１は、画素部１１０と周辺回路１２０から構成される。周辺回路１２０は、垂直調停回路１２１、水平読み出し回路１２２を備える。
【0014】
図３ｂは、イベントベースセンサを構成する各画素部の構成例を示す図である。画素部１１０は、光電変換部１１１、画素カウンタ１１２、時間カウンタ１１３、第１の判定回路１１４、メモリ１１５、比較器１１６、第２の判定回路１１７、応答回路１１８、選択回路１１９を備える。光電変換部１１１は、ガイガーモードで動作するアバランシェフォトダイオード（ＳＰＡＤ）を備えており、光電変換部１１１に入射した光子の数を、画素カウンタ１１２でカウントするように構成される。時間カウンタ１１３では、光子が光電変換部１１１に入射した時間をカウントしている。ＳＰＡＤを用いてイベントベースセンサを構成することによって、光子１個レベルの輝度変化を検出することができる。光子１個レベルの輝度変化を検出することで、夜間などの暗視状態においても、アドレスイベント信号を取得することができる。
【0015】
画素カウンタ１１２でカウントした光子の数が第１の閾値に達すると、第１の判定回路１１４によって、時間カウンタ１１３での時間のカウントを止める。メモリ１１５には、過去の時間カウンタ１１３のカウント値が記憶されており、比較器１１６を用いて、現在の時間カウンタ１１３のカウント値と、過去の時間カウンタ１１３のカウント値の差分のカウント値を求める。
【0016】
第２の判定回路１１７は、差分のカウント値が第２の閾値以上の場合に、応答回路１１８を介して垂直調停回路１２１に、リクエスト信号を送る。応答回路１１８は、垂直調停回路１２１から、アドレスイベントデータの出力の許可または不許可を表す応答を受ける。差分のカウント値が第２の閾値未満の場合には、リクエスト信号を送付しない。
【0017】
応答回路１１８が出力の許可を表す応答を受けると、選択回路１１９により時間カウンタ回路１１３のカウント値が、水平出力回路１２２に出力される。水平出力回路１２２は、受け取ったカウント値を出力信号として光電変換素子１０１１から検知部２０１に出力する。
【0018】
比較器１１６によって算出された差分のカウント値は、光子の入射頻度の逆数に相当するため、本実施形態にかかる光電変換素子１０１１は、「光子の入射頻度の変化」、すなわち輝度の変化を計測する機能を有している。また、第２の判定回路１１７を用いて、入射した光子の数が第１の閾値に達した時間の間隔の差異が、第２の閾値以上の場合のみ、アドレスイベントを出力している。即ち、入射頻度の差異が第２の閾値以上の場合には入射頻度を出力し、差異が閾値未満の場合には入射頻度を出力しない、光電変換素子となっている。以上のような構成とすることで、画素アドレスごとに、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子が実現できる。
【0019】
＜光電変換素子のバリエーション＞
以上では、光電変換部にＳＰＡＤを用い、光子が入射した時間を計測することで、光子の入射頻度の変化を検出する光電変換素子を使用する場合を示した。しかし、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子であれば、図２の構成でなくてもよい。例えば、特許文献１に記載されているように、輝度の変化を電圧変化として検出する光電変換素子を使用してもよい。
以上では、光電変換部にＳＰＡＤを用い、光子が入射した時間を計測することで、光子の入射頻度の変化を検出する光電変換素子を使用する場合を示した。しかし、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子であれば、図２の構成でなくてもよい。例えば、特許文献１に記載されているように、輝度の変化を電圧変化として検出する光電変換素子を使用してもよい。
【0020】
＜検知部２０１＞
検知部２０１は、アドレスイベント信号に基づいて、被写体を検知する。すなわち、イベントベースセンサによって出力された輝度変化の情報から、あらかじめ検知対象として設定されている特定の被写体（例えば人の眼）を連続的に検知する。具体的な処理の１つは、まず画像処理部２０３によってイベントベースセンサによって出力されたアドレスイベント信号を一定時間積分したフレーム画像が生成される。検知部２０３は、生成されたフレーム画像から特徴点を検出し、特定の被写体のテンプレート画像から検出される特徴点とパターンマッチングによって、被写体の場所（および特定の被写体の有無）を検知する。テンプレートとの類似度が所定値以上である箇所が被写体の位置と検知できる。但し、被写体検知の方法は、パターンマッチングではなく、別の方法を用いてもよい。例えば、生成されたフレーム画像の被写体の形状をＣＮＮ（畳み込みニューラルネットワーク）に機械学習させることで、被写体を検知するようにしてもよい。または、イベントベースセンサによって出力されたアドレスイベント信号（輝度変化の情報）をフレーム画像にせずに、そのままＣＮＮによってそのまま機械学習させてもよい。また、画像を生成せずにアドレスイベント信号から、反応のある画素の数と範囲から被写体を検知してもよい。
検知部２０１は、アドレスイベント信号に基づいて、被写体を検知する。すなわち、イベントベースセンサによって出力された輝度変化の情報から、あらかじめ検知対象として設定されている特定の被写体（例えば人の眼）を連続的に検知する。具体的な処理の１つは、まず画像処理部２０３によってイベントベースセンサによって出力されたアドレスイベント信号を一定時間積分したフレーム画像が生成される。検知部２０３は、生成されたフレーム画像から特徴点を検出し、特定の被写体のテンプレート画像から検出される特徴点とパターンマッチングによって、被写体の場所（および特定の被写体の有無）を検知する。テンプレートとの類似度が所定値以上である箇所が被写体の位置と検知できる。但し、被写体検知の方法は、パターンマッチングではなく、別の方法を用いてもよい。例えば、生成されたフレーム画像の被写体の形状をＣＮＮ（畳み込みニューラルネットワーク）に機械学習させることで、被写体を検知するようにしてもよい。または、イベントベースセンサによって出力されたアドレスイベント信号（輝度変化の情報）をフレーム画像にせずに、そのままＣＮＮによってそのまま機械学習させてもよい。また、画像を生成せずにアドレスイベント信号から、反応のある画素の数と範囲から被写体を検知してもよい。
【0021】
ここで、イベントベースセンサは、前述のように、入射した光子の数が第１の閾値に達した時間の間隔の差異が、第２の閾値（所定の閾値）以上の場合のみ、アドレスイベントを出力している。例えば、所定の閾値がかなり大きい場合、被写体の動きが小さいとアドレスイベント信号が出力されない可能性がある。逆に、所定の閾値が小さい場合は、被写体やシーンに含まれる物体のあらゆる動きがアドレスイベント信号として出力され、かえって被写体を検知しづらくなる。一方で、検知部２０１は、アドレスイベント信号が出力されないと被写体を検知できない。そのため、状況に応じて所定の閾値は適切に設定されるべき値であって、所定の閾値が適切に設定されることによって検知部２０１の検知精度が向上する可能性もある。
【0022】
検知した被写体の場所情報（例えば座標）は、図示しないネットワークケーブル等の出力インターフェースを介して、外部機器に出力する。また、撮像装置１００が表示部を備えており、イベントベースセンサによって出力された輝度変化を一定時間積分したフレーム画像と重畳する形で、被写体の場所を表示してもよい。
【0023】
＜刺激制御部２０２＞
刺激制御部２０２は、被写体が感知可能な刺激を生成し、出力装置２００によってその刺激を出力するように制御する。被写体に与える刺激とは、被写体の位置が、撮像装置１００の画角内で変化するような刺激であればよく、例えば被写体が人間の眼である場合には、照明光を照射すればよい。人間の眼に光を照射すると、反射反応によって眼を動かすことができる。
刺激制御部２０２は、被写体が感知可能な刺激を生成し、出力装置２００によってその刺激を出力するように制御する。被写体に与える刺激とは、被写体の位置が、撮像装置１００の画角内で変化するような刺激であればよく、例えば被写体が人間の眼である場合には、照明光を照射すればよい。人間の眼に光を照射すると、反射反応によって眼を動かすことができる。
【0024】
＜本発明の効果＞
本発明の撮像装置では、検知部２０１において、被写体が検知できない期間が特定の閾値以上続いた場合に、刺激制御部２０２において、被写体に与える刺激を制御する。このような構成とすることで、被写体の検知精度の低下を抑制することができる。以下で説明を行う。
本発明の撮像装置では、検知部２０１において、被写体が検知できない期間が特定の閾値以上続いた場合に、刺激制御部２０２において、被写体に与える刺激を制御する。このような構成とすることで、被写体の検知精度の低下を抑制することができる。以下で説明を行う。
【0025】
イベントベースセンサを用いた情報処理装置を用いて、特定の被写体を検知し続けるようなユースケースを考える。イベントベースセンサでは、所定の閾値以上の輝度の変化があった場合にのみ、輝度変化をアドレスイベント信号として出力する。従って、被写体の動きが小さく、所定の閾値未満の輝度変化しか発生しない場合には、アドレスイベント信号が出力されないため、被写体を検知することができない。そこで、本実施形態の情報処理装置では、被写体が検知できなかった場合には、刺激を制御することで被写体を動かし、所定の閾値以上の輝度変化を発生させている。所定の閾値以上の輝度変化が発生すれば、イベントベースセンサからアドレスイベント信号が出力されるため、被写体の検知が可能となる。
【0026】
なお、被写体の検知ができなかった場合に、特許文献１に開示されているように、アドレスイベントに対する検出感度を上げることで、小さい輝度変化を検出する、という方法も考えられる。しかし、アドレスイベントに対する検出感度を上げた（すなわち、所定の閾値を下げる）場合、フォトンショットノイズなどのランダムノイズに起因する輝度変化も検知してしまう。その結果、被写体の微小な動きによる輝度変化が、ランダムノイズによる輝度変化に埋もれてしまい、被写体の検知精度が低下してしまう。
【0027】
一方、本実施形態における情報処理装置では、アドレスイベントに対する検出感度は上げず、被写体を動かすことにより、被写体の動きによる輝度変化を大きくすることで、被写体の動きによる輝度変化がアドレスイベント信号として出力される。そのため、被写体の動きによる輝度変化が、ランダムノイズによる輝度変化に埋もれず、被写体の検知精度の低下を抑制することが可能となっている。
【0028】
＜刺激のバリエーション１＞
刺激は、照明光、音声、画像または文字の表示、土台の振動、といった刺激が有効である。他にも刺激制御部２０２で生成される刺激は、被写体の位置が、情報処理装置１００の画角内で変化するような刺激であればよい。被写体が人間のような生物である場合には、例えば以下のような方法を使用することができる。情報処理装置１００が照明部を備えていて、照明を照射し、反射反応で被写体を動かす。情報処理装置１００が音声出力部を備えていて、音を鳴らし、音が鳴った方向に視線を誘導することで被写体を動かす。情報処理装置１００が表示部を備えていて、表示部に画像や文字を表示することで視線を誘導し、被写体を動かす。また、被写体が人間のような生物ではなく、物体である場合には、物体が搭載されている土台と情報処理装置１００を連携させるようにしておいて、刺激制御部２０２によって、土台の振動を制御するようにすればよい。
刺激は、照明光、音声、画像または文字の表示、土台の振動、といった刺激が有効である。他にも刺激制御部２０２で生成される刺激は、被写体の位置が、情報処理装置１００の画角内で変化するような刺激であればよい。被写体が人間のような生物である場合には、例えば以下のような方法を使用することができる。情報処理装置１００が照明部を備えていて、照明を照射し、反射反応で被写体を動かす。情報処理装置１００が音声出力部を備えていて、音を鳴らし、音が鳴った方向に視線を誘導することで被写体を動かす。情報処理装置１００が表示部を備えていて、表示部に画像や文字を表示することで視線を誘導し、被写体を動かす。また、被写体が人間のような生物ではなく、物体である場合には、物体が搭載されている土台と情報処理装置１００を連携させるようにしておいて、刺激制御部２０２によって、土台の振動を制御するようにすればよい。
【0029】
＜刺激のバリエーション２＞
刺激は、アドレスイベントを出力するイベントベースセンサが感度を持たない波長域の照明光であるとよい。例えば、情報処理装置１００が照明部を備えていて、照明を照射して被写体を動かす場合には、光電変換素子１０１１が感度を持たない波長の照明を使用することが好ましい。なぜなら、照明の波長に対し、光電変換素子１０１１が感度を有している場合には、照明による輝度変化も、アドレスイベントとして検出してしまうため、照明による輝度変化がノイズとなり、被写体の検知精度が低下してしまうためである。
刺激は、アドレスイベントを出力するイベントベースセンサが感度を持たない波長域の照明光であるとよい。例えば、情報処理装置１００が照明部を備えていて、照明を照射して被写体を動かす場合には、光電変換素子１０１１が感度を持たない波長の照明を使用することが好ましい。なぜなら、照明の波長に対し、光電変換素子１０１１が感度を有している場合には、照明による輝度変化も、アドレスイベントとして検出してしまうため、照明による輝度変化がノイズとなり、被写体の検知精度が低下してしまうためである。
【0030】
具体的には、イベントベースセンサが光の入射側に赤外カットフィルタを備えていて、照明としては赤外ＬＥＤを使用すればよい。赤外ＬＥＤによって照射した光は赤外カットフィルタによって吸収されるため、光電変換素子１０２には入射せず、照明による変化をアドレスイベントとして検出することはない。一方、人の眼は赤外光にも反射反応を示すため、照明の照射による輝度変化を検出することなく、被写体の動きによる輝度変化のみをアドレスイベントとして検出することができ、被写体の検知精度の低下を抑制できる。
【0031】
＜変形例１＞
刺激を前記被写体に刺激を与えた後も被写体が検知されなかった場合には、以下のような処理が考えられる。ひとつは、刺激の強度を変更することである。つまり、刺激制御部２０２によって生成される刺激の強度、方向、種類の少なくとも一つを変更することが好ましい。例えば、照明によって被写体を動かす場合を例にとって説明する。照明を照射しても被写体が検知できなかった場合、照明強度が弱いために被写体の動きが小さく、所定の閾値以上の輝度変化が生じなかった可能性がある。そこで、被写体が検知できなかった場合には、照明強度を上げて被写体を大きく動かす。即ち、刺激制御部が制御する刺激の強度が変更可能であって、被写体に刺激を与えても被写体が検知できなかった場合には、刺激制御部によって与える刺激の強度を変更する構成とすればよい。これにより、所定の閾値以上の輝度変化を生じさせ、被写体を検知することが可能となる。
刺激を前記被写体に刺激を与えた後も被写体が検知されなかった場合には、以下のような処理が考えられる。ひとつは、刺激の強度を変更することである。つまり、刺激制御部２０２によって生成される刺激の強度、方向、種類の少なくとも一つを変更することが好ましい。例えば、照明によって被写体を動かす場合を例にとって説明する。照明を照射しても被写体が検知できなかった場合、照明強度が弱いために被写体の動きが小さく、所定の閾値以上の輝度変化が生じなかった可能性がある。そこで、被写体が検知できなかった場合には、照明強度を上げて被写体を大きく動かす。即ち、刺激制御部が制御する刺激の強度が変更可能であって、被写体に刺激を与えても被写体が検知できなかった場合には、刺激制御部によって与える刺激の強度を変更する構成とすればよい。これにより、所定の閾値以上の輝度変化を生じさせ、被写体を検知することが可能となる。
【0032】
二つ目は、刺激の種類を変更することである。照明による刺激を被写体が感じにくい環境である、という可能性がある。例えば、環境光が明るすぎて、情報処理装置１００が照射した照明が、環境光に埋もれてしまい、被写体が照明による刺激を感じず、所定の閾値以上の輝度変化が生じなかった可能性がある。そこで、被写体に与える刺激を照明とは別の種類の刺激、例えば音声を出すことによって、音が鳴った方向に視線を誘導することで被写体を動かし、所定の閾値以上の輝度変化を生じさせて、被写体を検知することを可能とする。即ち、刺激制御部が制御する刺激を複数種類有し、被写体に刺激を与えても被写体が検知できなかった場合には、刺激制御部によって与える刺激の種類を変更する構成とすればよい。これによって、所定の閾値以上の輝度変化を生じさせ、被写体を検知することが可能となる。
【0033】
三つ目の方法は、刺激の方向を変更することである。被写体が検知できない期間が一定以上続く間に、被写体が所定の閾値未満の輝度変化で移動した場合、被写体の移動が検知できない可能性がある。そこで、被写体が検知できなかった場合には、照明の照射範囲を変更する、ないしは照射角度を広げる、など照明の照射方向を変更することで、被写体に照明が照射されるようにする。即ち、刺激制御部が制御する刺激の方向が変更可能であって、被写体に刺激を与えても被写体が検知できなかった場合には、刺激制御部によって与える刺激の方向を変更する構成とすればよい。これによって、閾値以上の輝度変化を生じさせ、被写体を検知することが可能となる。
【0034】
＜変形例２＞
検知部２０１は、メモリ１０３を用いて検知された前記被写体の位置を記憶することによって追尾処理を行ってもよい。そのとき、刺激制御部２０２で被写体に刺激を生成したあとに被写体を検知した結果、被写体が元の場所から移動していなかった場合、刺激制御部２０２で刺激を生成する頻度を下げるほうが好ましい。具体的には、被写体が検知できない期間が所定時間以上続いた場合に、被写体に与える刺激を制御する構成において、被写体が元の場所から移動していなかった場合には、所定の閾値を大きくする方が好ましい。所定の閾値を大きくすることで、刺激制御部２０２で刺激を与える頻度が下がるため、被写体に刺激を与えるための照明制御、音声制御などの消費電力の低減につながる。
検知部２０１は、メモリ１０３を用いて検知された前記被写体の位置を記憶することによって追尾処理を行ってもよい。そのとき、刺激制御部２０２で被写体に刺激を生成したあとに被写体を検知した結果、被写体が元の場所から移動していなかった場合、刺激制御部２０２で刺激を生成する頻度を下げるほうが好ましい。具体的には、被写体が検知できない期間が所定時間以上続いた場合に、被写体に与える刺激を制御する構成において、被写体が元の場所から移動していなかった場合には、所定の閾値を大きくする方が好ましい。所定の閾値を大きくすることで、刺激制御部２０２で刺激を与える頻度が下がるため、被写体に刺激を与えるための照明制御、音声制御などの消費電力の低減につながる。
【0035】
一方、被写体が元の場所から移動していた場合には、被写体が閾値未満の輝度変化で移動してしまった、ということがわかる。このような場合、刺激制御部２０２で刺激を与える頻度を上げるほうが好ましい。つまり、記憶された被写体の位置と異なる位置において被写体が検知された場合に、検知部２０１は、所定の閾値をより小さくする。具体的には、被写体が検知できない期間が特定の閾値以上続いた場合に、被写体に与える刺激を制御する構成において、被写体が元の場所から移動していた場合には、所定の閾値をより小さくする方が好ましい。所定の閾値を小さくすることで、刺激制御部２０２で刺激を生成する頻度が上がるため、所定の閾値未満の輝度変化での被写体の移動を見逃す可能性が低減する。なお、被写体が移動しているかどうかは、例えば、被写体の重心位置の移動量が、特定の画素数よりも移動しているかどうかで判定すればよい。特定の画素数は１画素以上、画角の１／１０以下の値であると好ましい。
【0036】
更に、刺激制御部２０２で被写体に刺激を与えても、被写体が検知できず、照明の照射方向など刺激の方向を変更することで、初めて被写体を検知することが可能になった場合には、所定の閾値未満の輝度変化で被写体が大きく移動している、ということがわかる。このような場合、所定の閾値を更に小さくする方が好ましい。所定の閾値を小さくすることで、刺激制御部２０２で刺激を生成する頻度が上がるため、閾値未満の輝度変化での被写体の移動を見逃す可能性が低減する。
【0037】
＜変形例３＞
表示制御部２０４は、アドレスイベント信号または被写体の検知結果を表示部１０４に出力させる。表示制御部２０４は、アドレスイベント信号に基づいて画像処理されたフレーム画像を表示してもよい。また、被写体が検知されなかった場合に、ユーザに対してエラーを通知するように制御してもよい。
表示制御部２０４は、アドレスイベント信号または被写体の検知結果を表示部１０４に出力させる。表示制御部２０４は、アドレスイベント信号に基づいて画像処理されたフレーム画像を表示してもよい。また、被写体が検知されなかった場合に、ユーザに対してエラーを通知するように制御してもよい。
【0038】
更に、被写体に刺激を与えている時には、被写体に刺激を与えていることが分かるような構成となっているほうが好ましい。例えば、情報処理装置１００が表示部１０４を有しており、刺激を与えている時には、刺激を与えていることを文字情報などで表示する構成とすればよい。このような構成とすることで、撮像装置による刺激によって被写体が動かされているのか、被写体自身が動いているのかを区別することができる。
【0039】
更に、情報処理装置１００が、光電変換素子１０１１の出力を処理してフレーム画像を生成する処理部を有しており、表示部にフレーム画像を表示する構成であって、刺激を与えている箇所を画像上に重畳して表示する構成であると更に好ましい。
【0040】
＜全体のフローチャート＞
図４は、本実施形態における情報処理装置１００の動作を説明するフローチャートである。図４のフローチャートに示した処理は、コンピュータである図１のＣＰＵ１０２によりメモリ１０３に格納されているコンピュータプログラムに従って実行される。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。Ｓ１１において、検知部２０１は、被写体が検知できない期間が所定時間以上続いているかどうかの判定を行う。判定の結果、特定の閾値以上であれば、刺激制御部２０２は、被写体に与える刺激を生成し、出力するように制御する（Ｓ１２）。所定時間未満であれば、被写体に与える刺激を変更せずに、検知部２０１は、被写体の検知を継続する（Ｓ１１を継続）。
図４は、本実施形態における情報処理装置１００の動作を説明するフローチャートである。図４のフローチャートに示した処理は、コンピュータである図１のＣＰＵ１０２によりメモリ１０３に格納されているコンピュータプログラムに従って実行される。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。Ｓ１１において、検知部２０１は、被写体が検知できない期間が所定時間以上続いているかどうかの判定を行う。判定の結果、特定の閾値以上であれば、刺激制御部２０２は、被写体に与える刺激を生成し、出力するように制御する（Ｓ１２）。所定時間未満であれば、被写体に与える刺激を変更せずに、検知部２０１は、被写体の検知を継続する（Ｓ１１を継続）。
【0041】
Ｓ１３では、検知部２０１は、被写体に刺激を与えた結果、被写体が検知できたかどうかの判定を行う。被写体の検知ができた場合には、更に、検知部２０１は、被写体の位置が移動していたかどうかの判定を行う（Ｓ１９）。一方、刺激制御部２０２は、被写体が検知できなかった場合には、被写体に与える刺激の強度を変更する（Ｓ１４）。
【0042】
Ｓ１４に続くＳ１５では、被写体に与える刺激の強度を変更した結果、被写体が検知できたかどうかの判定を行う。被写体の検知ができた場合には、Ｓ１１に戻って、被写体に与える刺激をもとに戻し、被写体の検知を継続する。一方、被写体が検知できなかった場合には、刺激制御部２０２は、被写体に与える刺激の種類を変更する（Ｓ１６）。
【0043】
Ｓ１６に続くＳ１７では、検知部２０１は、被写体に与える刺激の種類を変更した結果、被写体が検知できたかどうかの判定を行う。被写体の検知ができた場合には、Ｓ１１に戻って、刺激の出力を終了し、被写体の検知を継続する。一方、被写体が検知できなかった場合には、刺激制御部２０２は、被写体に与える刺激の方向を変更する（Ｓ１８）。
【0044】
Ｓ１９で、被写体の位置が移動していないと判定した場合には、所定の閾値を上げる（Ｓ２０）。一方、被写体の位置が移動していると判定した場合には、所定の閾値を下げる（Ｓ２１）。更に、Ｓ１８に続くＳ２２では、所定の閾値をＳ２１よりも更に上げる。
【0045】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。
【符号の説明】
【0046】
１００ 情報処理装置
２００ 出力装置
１０１ 撮像部
２０１ 検知部
２０２ 刺激制御部
２０３ 画像処理部
２００ 出力装置
１０１ 撮像部
２０１ 検知部
２０２ 刺激制御部
２０３ 画像処理部
【図1】
【図2】
【図3】
【図4】