(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022188984
(43)【公開日】2022-12-22
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G03B 13/36 20210101AFI20221215BHJP
H04N 5/3745 20110101ALI20221215BHJP
G03B 17/18 20210101ALI20221215BHJP
G02B 7/28 20210101ALI20221215BHJP
G03B 15/00 20210101ALI20221215BHJP
【ＦＩ】
G03B13/36
H04N5/3745 500
G03B17/18 Z
G02B7/28 N
G03B15/00 F
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2021097303
(22)【出願日】2021-06-10
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100124442
【弁理士】
【氏名又は名称】黒岩 創吾
(72)【発明者】
【氏名】小林 繁之
【テーマコード（参考）】
2H011
2H102
2H151
5C024
【Ｆターム（参考）】
2H011AA01
2H011BA51
2H011BB02
2H011BB03
2H102AA16
2H102BA05
2H102BB05
2H102BB08
2H151DB01
5C024CY17
5C024CY26
5C024EX42
5C024GX02
5C024GY45
5C024HX29
5C024HX60
(57)【要約】
【課題】 本発明が解決しようとする課題は、イベントベースセンサを用いた撮像装置においてオートフォーカスが可能にすることである。
【解決手段】 上記課題を解決する本発明にかかる情報処理装置は、撮像装置のフォーカスレンズの位置を制御する制御手段と、所定の期間において、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する取得手段と、前記フォーカスレンズの位置毎に、前記アドレスイベント信号に基づいた評価値を取得することによって、前記フォーカスレンズの合焦位置を決定する決定手段と、を有することを特徴とする。
【選択図】 図１
【解決手段】 上記課題を解決する本発明にかかる情報処理装置は、撮像装置のフォーカスレンズの位置を制御する制御手段と、所定の期間において、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する取得手段と、前記フォーカスレンズの位置毎に、前記アドレスイベント信号に基づいた評価値を取得することによって、前記フォーカスレンズの合焦位置を決定する決定手段と、を有することを特徴とする。
【選択図】 図１
【特許請求の範囲】
【請求項1】
撮像装置のフォーカスレンズの位置を制御する制御手段と、
所定の期間において、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する取得手段と、
前記フォーカスレンズの位置毎に、前記アドレスイベント信号に基づいた評価値を取得することによって、前記フォーカスレンズの合焦位置を決定する決定手段と、を有することを特徴とする情報処理装置。
所定の期間において、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する取得手段と、
前記フォーカスレンズの位置毎に、前記アドレスイベント信号に基づいた評価値を取得することによって、前記フォーカスレンズの合焦位置を決定する決定手段と、を有することを特徴とする情報処理装置。
【請求項2】
前記評価値は、輝度の変化があった画素の数に基づいて決定され、
前記決定手段は、前記評価値が所定の基準値以下である前記フォーカスレンズの位置に基づいて、前記フォーカスレンズの合焦位置を決定することを特徴とする請求項１に記載の情報処理装置。
前記決定手段は、前記評価値が所定の基準値以下である前記フォーカスレンズの位置に基づいて、前記フォーカスレンズの合焦位置を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記決定手段は、前記評価値が前記所定の基準値以下になったときの前記フォーカスレンズの位置から、所定の幅だけ移動させた位置を前記合焦位置として決定することを特徴とする請求項２に記載の情報処理装置。
【請求項4】
前記制御手段は、前記評価値が前記所定の基準値を含む特定の範囲に含まれるときの前記フォーカスレンズの位置を計測し、
前記決定手段は、前記評価値が前記特定の範囲に含まれなくなった場合に、前記計測されたフォーカスレンズの位置に基づいて、前記合焦位置を決定することを特徴とする請求項２または３に記載の情報処理装置。
前記決定手段は、前記評価値が前記特定の範囲に含まれなくなった場合に、前記計測されたフォーカスレンズの位置に基づいて、前記合焦位置を決定することを特徴とする請求項２または３に記載の情報処理装置。
【請求項5】
前記アドレスイベント信号は、輝度の変化の方向を含み、
前記取得手段は、前記アドレスイベント信号に基づいて、輝度の変化の方向がプラス方向の場合は正の画素値を、輝度の変化の方向がマイナス方向である場合は負の画素値を、輝度の変化がない場合は０の画素値を、前記撮像装置の画像の各画素の画素値として取得し、
前記決定手段は、各画素の画素値と、前記所定の基準値と、に基づいて、前記フォーカスレンズの合焦位置を決定することを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。
前記取得手段は、前記アドレスイベント信号に基づいて、輝度の変化の方向がプラス方向の場合は正の画素値を、輝度の変化の方向がマイナス方向である場合は負の画素値を、輝度の変化がない場合は０の画素値を、前記撮像装置の画像の各画素の画素値として取得し、
前記決定手段は、各画素の画素値と、前記所定の基準値と、に基づいて、前記フォーカスレンズの合焦位置を決定することを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。
【請求項6】
前記決定手段は、前記画素値が正または負の画素値である画素の数と、所定の基準値と、に基づいて、前記フォーカスレンズの合焦位置を決定することを特徴とする請求項５に記載の情報処理装置。
【請求項7】
前記決定手段は、注目画素における画素値が正から負または負から正に変化したときの前記フォーカスレンズの位置に基づいて、前記フォーカスレンズの合焦位置を決定することを特徴とする請求項５に記載の情報処理装置。
【請求項8】
前記制御手段は、前記評価値と前記所定の基準値との差に基づいて、前記フォーカスレンズを移動させる速さを変更することを特徴とする請求項２乃至７のいずれか１項に記載の情報処理装置。
【請求項9】
前記制御手段は、前記フォーカスレンズを所定の起点から一定の速度で移動させるように制御することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項10】
前記決定手段は、前記撮像装置の被写界深度に更に基づいて、前記合焦位置を含む合焦範囲を決定することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項11】
前記決定手段は、前記アドレスイベント信号に基づいて生成されたオプティカルフローに基づいて、前記合焦位置を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項12】
前記決定手段は、前記撮像装置の画角に含まれる部分領域における前記アドレスイベント信号に基づいて、前記評価値を決定することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
【請求項13】
前記決定手段は、前記撮像装置の画角に含まれる複数の領域のそれぞれにおいて前記評価値を決定することを特徴とする請求項１２に記載の情報処理装置。
【請求項14】
前記制御手段は、更に前記撮像装置の絞り開口径を制御し、
前記決定手段は、前記撮像装置の撮影範囲における少なくとも一つ以上の部分領域のそれぞれに対して前記評価値に基づいて、前記少なくとも一つ以上の部分領域が同時に合焦する前記絞り開口径と前記フォーカスレンズの位置とを決定することを特徴とする請求項１３に記載の情報処理装置。
前記決定手段は、前記撮像装置の撮影範囲における少なくとも一つ以上の部分領域のそれぞれに対して前記評価値に基づいて、前記少なくとも一つ以上の部分領域が同時に合焦する前記絞り開口径と前記フォーカスレンズの位置とを決定することを特徴とする請求項１３に記載の情報処理装置。
【請求項15】
前記アドレスイベント信号に基づいて、前記所定の期間において輝度の変化が発生した画素の位置を示す画像と、前記評価値と、を表示する表示手段を更に有することを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理装置。
【請求項16】
前記アドレスイベント信号は、光子の入射に応じて信号を出力する画素を備えた光電変換素子によって出力されることを特徴とする、請求項１乃至１５のいずれか１項に記載の情報処理装置。
【請求項17】
コンピュータを、請求項１乃至１６のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。
【請求項18】
撮像装置のフォーカスレンズの位置を制御する制御工程と、
所定の期間において、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する取得工程と、
前記フォーカスレンズの位置毎に、前記アドレスイベント信号に基づいた評価値を取得することによって、前記フォーカスレンズの合焦位置を決定する決定工程と、を有することを特徴とする工程と、を有することを特徴とする情報処理方法。
所定の期間において、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する取得工程と、
前記フォーカスレンズの位置毎に、前記アドレスイベント信号に基づいた評価値を取得することによって、前記フォーカスレンズの合焦位置を決定する決定工程と、を有することを特徴とする工程と、を有することを特徴とする情報処理方法。
【請求項19】
前記決定工程は、前記評価値が所定の基準値以下になったときの前記フォーカスレンズの位置から、所定の幅だけ移動させた位置を前記合焦位置として決定することを特徴とする決定することを特徴とする請求項１８に記載の情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、イベントベースセンサのオートフォーカスに関する。
【背景技術】
【0002】
画素ごとの輝度の変化をアドレスイベント信号としてリアルタイムに出力するイベントベースセンサが知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－１３４２７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、イベントベースセンサを用いた撮像装置においてオートフォーカスが可能にすることである。
【課題を解決するための手段】
【0005】
上記課題を解決する本発明にかかる情報処理装置は、撮像装置のフォーカスレンズの位置を制御する制御手段と、所定の期間において取得された、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号に基づいて、前記フォーカスレンズの位置毎に評価値を決定する決定手段と、を有することを特徴とする。
【発明の効果】
【0006】
本発明によれば、イベントベースセンサを用いた撮像装置においてオートフォーカスが可能になる。
【図面の簡単な説明】
【0007】
【図1】情報処理装置のハードウェア構成例を示すブロック図
【図2】イベントベースセンサの構成例を示す図
【図3】情報処理装置の機能構成例を示すブロック図
【図4】被写体の一例を示す図
【図5】フォーカス方法の一例を示す図
【図6】情報処理装置が実行する処理を説明するフローチャート
【図7】情報処理装置が実行する処理を説明するフローチャート
【図8】フォーカス方法の一例を示す図
【図9】フォーカス方法の一例を示す図
【図10】フォーカス方法の一例を示す図
【図11】フォーカス方法の一例を示す図
【図12】表示の一例を示す図
【発明を実施するための形態】
【0008】
イベントベースセンサをセキュリティ用途のカメラに適用することが期待されている。セキュリティカメラでは、夜間監視など低照度環境での撮影を行う場合があり、このようなシーンではセンサの受光量を上げるために絞り値を小さくして撮影することが多い。絞り値を小さく設定することで被写界深度が浅くなってしまうため、被写体に対するピント合わせが必要になる場合が多い。このため、ユーザーが容易にピント合わせを行えるオートフォーカス（ＡＦ）機能が望まれる。
【0009】
公知のオートフォーカス技術として所謂コントラストＡＦが存在するが、イベントベースセンサを用いたカメラには次の理由で適用が困難である。コントラストＡＦでは画像内の特定領域（以下、ＡＦ評価枠と呼ぶ）内のコントラストの高さを表すコントラスト評価値をもとに合焦位置を判断する。つまり、コントラスト評価値がピークとなるときが合焦位置であると判断される。コントラスト評価値の代表的な算出方法としては、ＡＦ評価枠内の最大輝度と最小輝度の比とする方法や、最大輝度と最小輝度の差とする方法などがある。
【0010】
ところが、イベントベースセンサでは画素の輝度変化を表す値は３値（例えばプラスの輝度変化を＋１、マイナスの輝度変化を－１、輝度変化なしを０）のみである。イベントベースセンサでは照明の明るさや絞り開口径の変更などのように、センサへの入射光が一律に変化する場合を除けば、正負どちらの輝度変化も発生する場合が多い。このため、公知のコントラスト評価値の計算式を適用しても、合焦か否かによらず同じ評価値になってしまうため合焦位置を判断することができない。従って、本発明が解決しようとする課題は、イベントベースセンサを用いた撮像装置においてオートフォーカスを可能にすることである。
【0011】
以下、図を用いて本発明の実施形態における撮像装置について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。
【0012】
＜実施形態１＞
＜撮像装置１００のハードウェア構成：図１＞
図１は、撮像装置（情報処理装置）１００のハードウェア構成例を示す模式図である。なお、撮像装置１００は具体的にはイベントベースセンサを有する撮像装置であるが、画像処理を行う機能と画像に対する解析処理（動き検出）を実行する機能は別々の装置が備えていても良い。撮像装置１００は、撮像光学系１０１０と光電変換素子１０１１とから成る撮像部１０１、ＣＰＵ１０２、メモリ１０３、表示部１０４、操作部１０５とを有する。光電変換素子１０１１は、受光した入射光に応じたアドレスイベント信号を出力するイベントベースセンサである。イベントベースセンサは、画素毎に輝度の変化をイベントとして検出し、アドレスイベント信号は、輝度の変化が発生した画素の位置と時刻とを示す。撮像光学系１０１０は、具体的には受光レンズであって、入射光を受光し、光電変換素子１０１１に結像する。ＣＰＵ１０２は、メモリ１０３に格納されたＯＳやその他プログラムを読みだして実行し、接続された各構成を制御して、各種処理の演算や論理判断などを行う。ＣＰＵ１０２が実行する処理には、本実施形態にかかる情報処理が含まれる。また、ＣＰＵ１０２は、撮像光学系１０１０のフォーカスの駆動や絞りの駆動、光電変換素子１０１１の駆動等の制御を行う。メモリ１０３は、例えば、ハードディスクドライブや外部記憶装置などであり、実施形態の情報処理にかかるプログラムや各種データを記憶する。表示部１０４は、例えば、ＣＰＵ１０２からの指示に従って情報処理装置１００の演算結果等を表示する表示装置である。なお、表示装置は液晶表示装置やプロジェクタ、ＬＥＤインジケータなど、種類は問わない。操作部１０５は、例えば、タッチパネルやキーボード、マウス、ロボットコントローラーであり、ユーザーによる入力指示を受け付けるユーザーインターフェースである。なお、情報処理装置１００は、ここに挙げたハードウェア構成以外の機構を有していてもよい。
＜撮像装置１００のハードウェア構成：図１＞
図１は、撮像装置（情報処理装置）１００のハードウェア構成例を示す模式図である。なお、撮像装置１００は具体的にはイベントベースセンサを有する撮像装置であるが、画像処理を行う機能と画像に対する解析処理（動き検出）を実行する機能は別々の装置が備えていても良い。撮像装置１００は、撮像光学系１０１０と光電変換素子１０１１とから成る撮像部１０１、ＣＰＵ１０２、メモリ１０３、表示部１０４、操作部１０５とを有する。光電変換素子１０１１は、受光した入射光に応じたアドレスイベント信号を出力するイベントベースセンサである。イベントベースセンサは、画素毎に輝度の変化をイベントとして検出し、アドレスイベント信号は、輝度の変化が発生した画素の位置と時刻とを示す。撮像光学系１０１０は、具体的には受光レンズであって、入射光を受光し、光電変換素子１０１１に結像する。ＣＰＵ１０２は、メモリ１０３に格納されたＯＳやその他プログラムを読みだして実行し、接続された各構成を制御して、各種処理の演算や論理判断などを行う。ＣＰＵ１０２が実行する処理には、本実施形態にかかる情報処理が含まれる。また、ＣＰＵ１０２は、撮像光学系１０１０のフォーカスの駆動や絞りの駆動、光電変換素子１０１１の駆動等の制御を行う。メモリ１０３は、例えば、ハードディスクドライブや外部記憶装置などであり、実施形態の情報処理にかかるプログラムや各種データを記憶する。表示部１０４は、例えば、ＣＰＵ１０２からの指示に従って情報処理装置１００の演算結果等を表示する表示装置である。なお、表示装置は液晶表示装置やプロジェクタ、ＬＥＤインジケータなど、種類は問わない。操作部１０５は、例えば、タッチパネルやキーボード、マウス、ロボットコントローラーであり、ユーザーによる入力指示を受け付けるユーザーインターフェースである。なお、情報処理装置１００は、ここに挙げたハードウェア構成以外の機構を有していてもよい。
【0013】
＜光電変換素子：図２＞
本実施形態にかかるイベントベースセンサの一例を説明する。イベントベースセンサは、入射した光子の数をカウントし、カウントした光子の数が所定の閾値を超えたタイミングを判定する。またイベントベースセンサは、光子の数が第１の閾値以上になるまでの所要時間（クロック数）を計測しており、その所要時間を比較することによって輝度の変化を検出する。具体的には、前回計測された所要時間をＴ０、最新の所要時間をＴとしたとき、差分Ｔ－Ｔ０が第２の閾値以上の場合は、マイナス方向の輝度の変化を検出する。差分Ｔ０－Ｔが第２の閾値以上の場合は、プラス方向の輝度の変化を検出する。そして、ＴとＴ０の差分が第２の閾値未満であれば輝度の変化を検出しない。なお、第２の閾値はゼロ以上の値で、予め設定された値や他のパラメータに応じて設定される値を用いる。
本実施形態にかかるイベントベースセンサの一例を説明する。イベントベースセンサは、入射した光子の数をカウントし、カウントした光子の数が所定の閾値を超えたタイミングを判定する。またイベントベースセンサは、光子の数が第１の閾値以上になるまでの所要時間（クロック数）を計測しており、その所要時間を比較することによって輝度の変化を検出する。具体的には、前回計測された所要時間をＴ０、最新の所要時間をＴとしたとき、差分Ｔ－Ｔ０が第２の閾値以上の場合は、マイナス方向の輝度の変化を検出する。差分Ｔ０－Ｔが第２の閾値以上の場合は、プラス方向の輝度の変化を検出する。そして、ＴとＴ０の差分が第２の閾値未満であれば輝度の変化を検出しない。なお、第２の閾値はゼロ以上の値で、予め設定された値や他のパラメータに応じて設定される値を用いる。
【0014】
以下に、詳細な構成を説明する。図２（ａ）は、光電変換素子１０３の構成例を示す図である。光電変換素子１０３は、画素部１１０と周辺回路１２０から構成される。周辺回路１２０は、垂直調停回路１２１、水平読み出し回路１２２を備える。
【0015】
図２（ｂ）は、イベントベースセンサを構成する各画素部の構成例を示す図である。画素部１１０は、光電変換部１１１、画素カウンタ１１２、時間カウンタ１１３、第１の判定回路１１４、メモリ１１５、比較器１１６、第２の判定回路１１７、応答回路１１８、選択回路１１９を備える。光電変換部１１１は、ガイガーモードで動作するアバランシェフォトダイオード（ＳＰＡＤ）を備えており、光電変換部１１１に入射した光子の数を、画素カウンタ１１２でカウントするように構成される。時間カウンタ１１３では、光子が光電変換部１１１に入射した時間をカウントしている。ＳＰＡＤを用いてイベントベースセンサを構成することによって、光子１個レベルの輝度変化を検出することができる。光子１個レベルの輝度変化を検出することで、夜間などの暗視状態においても、アドレスイベント信号を取得することができる。
【0016】
画素カウンタ１１２でカウントした光子の数が第１の閾値に達すると、第１の判定回路１１４によって、時間カウンタ１１３での時間のカウントを止める。メモリ１１５には、過去の時間カウンタ１１３のカウント値が記憶されており、比較器１１６を用いて、現在の時間カウンタ１１３のカウント値と、過去の時間カウンタ１１３のカウント値の差分のカウント値を求める。
【0017】
第２の判定回路１１７は、差分のカウント値が第２の閾値以上の場合に、応答回路１１８を介して垂直調停回路１２１に、リクエスト信号を送る。応答回路１１８は、垂直調停回路１２１から、アドレスイベントデータの出力の許可または不許可を表す応答を受ける。差分のカウント値が第２の閾値未満の場合には、リクエスト信号を送付しない。
【0018】
応答回路１１８が出力の許可を表す応答を受けると、選択回路１１９により時間カウンタ回路１１３のカウント値が、水平出力回路１２２に出力される。水平出力回路１２２は、受け取ったカウント値を出力信号として光電変換素子１０３から検知部１０３に出力する。
【0019】
比較器１１６によって算出された差分のカウント値は、光子の入射頻度の逆数に相当するため、本実施形態にかかる光電変換素子１０３は、「光子の入射頻度の変化」、すなわち輝度の変化を計測する機能を有している。また、第２の判定回路１１７を用いて、入射した光子の数が第１の閾値に達した時間の間隔の差異が、第２の閾値以上の場合のみ、アドレスイベントを出力している。即ち、入射頻度の差異が第２の閾値以上の場合には入射頻度を出力し、差異が閾値未満の場合には入射頻度を出力しない、光電変換素子となっている。以上のような構成とすることで、画素アドレスごとに、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子が実現できる。
【0020】
＜光電変換素子のバリエーション＞
以上では、光電変換部にＳＰＡＤを用い、光子が入射した時間を計測することで、光子の入射頻度の変化を検出する光電変換素子を使用する場合を示した。しかし、輝度の変化をアドレスイベントとしてリアルタイムに検出する光電変換素子であれば、図２の構成でなくてもよい。例えば、特許文献１に記載されているように、輝度の変化を電圧変化として検出する光電変換素子を使用してもよい。
以上では、光電変換部にＳＰＡＤを用い、光子が入射した時間を計測することで、光子の入射頻度の変化を検出する光電変換素子を使用する場合を示した。しかし、輝度の変化をアドレスイベントとしてリアルタイムに検出する光電変換素子であれば、図２の構成でなくてもよい。例えば、特許文献１に記載されているように、輝度の変化を電圧変化として検出する光電変換素子を使用してもよい。
【0021】
＜撮像装置：図３＞
本実施形態における撮像装置（情報処理装置）１００の機能構成例を図３に示す。まず全体の概要を説明したのちに、各機能の詳細を説明する。図３において、撮像装置１００は、撮像部３０１、評価部３０２、制御部３０３、出力部３０４、操作受付部３０５を有する。撮像部３０１は、ピント位置を変更可能なフォーカス制御機構１０１２を備えた撮像光学系１０１１０と、イベントベースセンサである光電変換素子１０１１と、を有する。撮像部３０１は、図１の撮像部１０１と対応する。なお、符号が同じものは同じ機能を有する構成として説明する。
本実施形態における撮像装置（情報処理装置）１００の機能構成例を図３に示す。まず全体の概要を説明したのちに、各機能の詳細を説明する。図３において、撮像装置１００は、撮像部３０１、評価部３０２、制御部３０３、出力部３０４、操作受付部３０５を有する。撮像部３０１は、ピント位置を変更可能なフォーカス制御機構１０１２を備えた撮像光学系１０１１０と、イベントベースセンサである光電変換素子１０１１と、を有する。撮像部３０１は、図１の撮像部１０１と対応する。なお、符号が同じものは同じ機能を有する構成として説明する。
【0022】
撮像光学系１０１１は具体的には受光レンズで構成され、フォーカス制御機構１０１２はフォーカスレンズとレンズを駆動するめのアクチュエータ等で構成されている。本実施例では駆動パルスによってフォーカスレンズの位置を制御できるステッピングモーターで構成されているとする。撮像光学系１０１１１とフォーカス制御機構１０１２は光電変換素子１０１１の像面へ被写体像を結像する。光電変換素子１０１１は、受光した入射光に応じたアドレスイベント信号を出力する。より具体的には、輝度の変化が発生した画素のアドレスと時刻を示すアドレスイベント信号を出力する。評価部３０２は、光電変換素子１０１１から出力されたアドレスイベント信号を取得し、輝度変化の発生した画素数を計測し所定の閾値と比較した結果を制御部３０３に送信する。制御部３０３は、評価部３０２の出力結果に対応して、フォーカスレンズ１０１２を制御し合焦位置まで駆動する。出力部３０４は輝度変化が発生した画素のアドレスと輝度変化の方向、およびＡＦ評価枠などの表示を行う。操作受付部３０５は、ユーザーからの操作によってＡＦ評価枠の設定や、後述するアドレスイベントの閾値の入力などを受け付ける。なお、出力部３０４や操作受付部３０５は撮像装置の外部装置によって実現してもよい。
【0023】
以下に、各機能の詳細を説明する。
【0024】
＜評価部３０２＞
評価部３０２は、光電変換素子１０１１の出力信号（アドレスイベント信号）から、特定の時間範囲において輝度変化が発生した延べ画素数を積算した値と所定の閾値（ＴＨＡＦ）との差分を評価値として算出し、この評価値を制御部３０３へ送信する。ここで、閾値（ＴＨＡＦ）は０以上の値で、あらかじめ設定された値や他のパラメータに応じて設定される値を用いる。また特定の時間範囲は光電変換素子１０１１の垂直調停回路１２１の時間分解能で決まる最小時間幅としてもよいし、それより長い時間範囲で積算してもよい。時間幅が狭いほうが合焦速度が向上するが、時間幅が広いほうがランダムノイズなどによる誤差の影響を低減することができ合焦精度を向上することができる。
評価部３０２は、光電変換素子１０１１の出力信号（アドレスイベント信号）から、特定の時間範囲において輝度変化が発生した延べ画素数を積算した値と所定の閾値（ＴＨＡＦ）との差分を評価値として算出し、この評価値を制御部３０３へ送信する。ここで、閾値（ＴＨＡＦ）は０以上の値で、あらかじめ設定された値や他のパラメータに応じて設定される値を用いる。また特定の時間範囲は光電変換素子１０１１の垂直調停回路１２１の時間分解能で決まる最小時間幅としてもよいし、それより長い時間範囲で積算してもよい。時間幅が狭いほうが合焦速度が向上するが、時間幅が広いほうがランダムノイズなどによる誤差の影響を低減することができ合焦精度を向上することができる。
【0025】
評価部３０２が、アドレスイベント信号に基づいて輝度変化の発生した延べ画素数を計数する対象領域（ＡＦ評価枠）は、撮像装置の画角全体でもよいし、あらかじめ設定された１つまたは複数の部分領域でもよい。さらには操作受付部３０５においてユーザーが指定した範囲でもよい。また、ＡＦ評価枠内で重み付けを行ってもよい。例えば、ＡＦ評価枠内の周辺寄りの領域では検出された画素数に対し、一定の係数（０以上１以下の値）を掛けて計数してもよい。このように設定することでＡＦ評価枠内の中央の被写体への合焦度合を周辺領域に比べて優先させることが可能になる。
【0026】
＜制御部３０３＞
制御部３０３は、フォーカスレンズの位置を制御する。具体的には、評価部３０２から送信される評価値が０以上（つまり輝度変化の発生した延べ画素数≧所定の閾値ＴＨＡＦ）である間、フォーカスレンズ１０１２を一定方向に所定の速度で駆動し続ける。以下、図を用いて説明を行う。図４は被写体と背景を説明するための図である。図中４００の丸い物体が被写体であり、背景に対して輝度が高いとする。図５は図４の被写体４００を撮像装置１００で撮影したときの、イベントベースセンサ１０１１の像面上に結像される像（入射光）のイメージと、それをイベントベースセンサが撮影した画像を、フォーカスレンズのポジション毎に並べている。イベントベースセンサの撮影画像ではプラス方向の輝度変化を白色、マイナス方向の輝度変化を黒色、輝度変化なしを灰色で示している。図中左側のポジションＡがＮｅａｒ側、右側にあるポジションＦがＦａｒ側を示している。なお、アドレスイベント信号は、輝度の変化の方向を含み、ある画素において輝度が増えた場合に＋１、ある画素において輝度が減った場合に－１というふうな画素値を与える。つまり、画像においては、画素値が＋１であれば白、画素値が－１であれば黒で表される。ここでは、輝度変化がない画素は０の画素値を有し、画像ではグレーの色で表示されることとする。
制御部３０３は、フォーカスレンズの位置を制御する。具体的には、評価部３０２から送信される評価値が０以上（つまり輝度変化の発生した延べ画素数≧所定の閾値ＴＨＡＦ）である間、フォーカスレンズ１０１２を一定方向に所定の速度で駆動し続ける。以下、図を用いて説明を行う。図４は被写体と背景を説明するための図である。図中４００の丸い物体が被写体であり、背景に対して輝度が高いとする。図５は図４の被写体４００を撮像装置１００で撮影したときの、イベントベースセンサ１０１１の像面上に結像される像（入射光）のイメージと、それをイベントベースセンサが撮影した画像を、フォーカスレンズのポジション毎に並べている。イベントベースセンサの撮影画像ではプラス方向の輝度変化を白色、マイナス方向の輝度変化を黒色、輝度変化なしを灰色で示している。図中左側のポジションＡがＮｅａｒ側、右側にあるポジションＦがＦａｒ側を示している。なお、アドレスイベント信号は、輝度の変化の方向を含み、ある画素において輝度が増えた場合に＋１、ある画素において輝度が減った場合に－１というふうな画素値を与える。つまり、画像においては、画素値が＋１であれば白、画素値が－１であれば黒で表される。ここでは、輝度変化がない画素は０の画素値を有し、画像ではグレーの色で表示されることとする。
【0027】
図５から分かるように、ポジションＡのようにフォーカスレンズ１０１２の位置が合焦位置から遠い場合、被写体像はボケておりボケの大きさはフォーカスレンズが進むごとに小さくなっていく。ボケの大きさの変化はイベントベースセンサによって輝度変化として検出されるため、評価部３０２で計数される画素数は閾値（ＴＨＡＦ）以上となり、評価値は０以上の値になる。さらにフォーカスレンズが駆動され被写体が被写界深度の範囲内（ポジションＣ）に入るとボケはなくなり、ポジションＥまで被写体像は変化しなくなる。フォーカスレンズがさらに進んでポジションＦまでくると、被写体のボケが拡大し始める。ポジションＣからＥの期間においては被写体像の変化が少なくなるため、イベントベースセンサが検出する輝度変化の数も少なくなる。したがって、評価部３０２が計数する延べ画素数は閾値（ＴＨＡＦ）未満となり、評価値は負の値となる。以上から、評価値が負である期間にフォーカスレンズが駆動された範囲（ポジションＣからＥ）は、被写体へ合焦している範囲（以下、合焦範囲と呼ぶ）であると判断できる。
【0028】
また、制御部３０３は、評価値に基づいて、フォーカスレンズの位置を制御する。制御部３０３は、評価値が負の値を取っている間の時間をカウントする。もしくは、評価値が負の値を取っている期間にフォーカスレンズのステッピングモーターに印加された駆動パルスの数をカウントする。つまり、制御部３０３は、評価値が所定の範囲（閾値ＴＨＡＦ以下）である間における、フォーカスレンズの移動量を取得する。制御部３０３は、評価値が再び０以上の値に変化したタイミングで、制御部３０３はフォーカスレンズ１０１２を停止させ、評価値が負の値であった時間の半分の時間だけ、フォーカスレンズを逆方向に同じ速度で駆動させる。もしくは、評価値が負の値であった期間にフォーカスレンズのステッピングモーターに加えられた駆動パルス数の、半分のパルスを逆方向に印加する。すなわち、制御部３０３は、評価値が所定の範囲外になった場合に、所定の幅だけフォーカスレンズの位置を移動させることによって、フォーカスレンズを合焦位置に合わせる。このようにすることでフォーカスレンズは合焦範囲の中央（ポジションＤ）に来るため、より合焦精度が向上する。さらに精度の高い合焦方法については後述する。
【0029】
また、最初にフォーカスレンズを動かす方向（Ｎｅａｒ方向かＦａｒ方向か）については、まずどちらかにレンズを微小移動させ、輝度変化の発生した延べ画素数の変化を見て判断するとよい。例えば輝度変化の発生した延べ画素数が増加した場合は反対方向に、減少した場合は同じ方向に駆動するようにするとよい。
【0030】
＜出力部３０４＞
出力部３０４は具体的には液晶表示装置やプロジェクタ、ＬＥＤインジケータなどで構成され、イベントベースセンサ１０３の出力信号を受けて、輝度変化のあった画素のアドレスと輝度変化の方向を表示する。図５中に記載した、イベントベースセンサによる撮影画像は出力部３０４の表示イメージである。輝度変化のあった画素の座標に、当該画素の輝度変化がプラス方向であった場合は白色、マイナス方向であった場合は黒色、輝度変化がなかった場合は灰色を表示している。また、ＡＦ評価枠などを撮影画像に重畳表示させてユーザーの利便性を向上するようにしてもよい。
出力部３０４は具体的には液晶表示装置やプロジェクタ、ＬＥＤインジケータなどで構成され、イベントベースセンサ１０３の出力信号を受けて、輝度変化のあった画素のアドレスと輝度変化の方向を表示する。図５中に記載した、イベントベースセンサによる撮影画像は出力部３０４の表示イメージである。輝度変化のあった画素の座標に、当該画素の輝度変化がプラス方向であった場合は白色、マイナス方向であった場合は黒色、輝度変化がなかった場合は灰色を表示している。また、ＡＦ評価枠などを撮影画像に重畳表示させてユーザーの利便性を向上するようにしてもよい。
【0031】
＜操作受付部３０５＞
操作受付部３０５は、ユーザーが撮像装置１００の制御を行う部分である。具体的には、オートフォーカスの開始指示や、ＡＦ評価枠の設定、前述した第２の閾値および閾値ＴＨＡＦの変更などの操作を受け付ける。操作受付部３０５は例えば、タッチパネルやキーボード、マウス、十字キーや操作ダイヤルなどで構成される。
操作受付部３０５は、ユーザーが撮像装置１００の制御を行う部分である。具体的には、オートフォーカスの開始指示や、ＡＦ評価枠の設定、前述した第２の閾値および閾値ＴＨＡＦの変更などの操作を受け付ける。操作受付部３０５は例えば、タッチパネルやキーボード、マウス、十字キーや操作ダイヤルなどで構成される。
【0032】
なお前述した出力部３０４や操作受付部３０５は、ネットワークケーブルや無線伝送などによって撮像装置１００と接続された外部機器に設けられていてもよい。
【0033】
＜フローチャート＞
以上に説明したオートフォーカスを実行する際の処理の流れを説明する。図６は、撮像装置１００が実行する処理を説明するフローチャートである。図６のフローチャートに示した処理は、コンピュータである図１のＣＰＵ１０１によりメモリ１０３に格納されているコンピュータプログラムに従って実行される。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。ただし、撮像装置１００はこのフローチャートで説明するすべてのステップを必ずしも行わなくても良い。
以上に説明したオートフォーカスを実行する際の処理の流れを説明する。図６は、撮像装置１００が実行する処理を説明するフローチャートである。図６のフローチャートに示した処理は、コンピュータである図１のＣＰＵ１０１によりメモリ１０３に格納されているコンピュータプログラムに従って実行される。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。ただし、撮像装置１００はこのフローチャートで説明するすべてのステップを必ずしも行わなくても良い。
【0034】
Ｓ６０１では、操作部１０７が、ユーザー入力に基づいて、ＡＦ評価枠（位置および大きさ）を設定する。ユーザーからの設定がない場合は、あらかじめ設定されたＡＦ評価枠を設置する。
【0035】
Ｓ６０２では、制御部３０３が、フォーカスレンズの位置を制御する。ここでは、Ｎｅａｒ側を起点として、Ｆａｒ側に一定速度でフォーカスレンズを移動させることとする。
【0036】
Ｓ６０３では、評価部３０２が、撮像部３０１から取得したアドレスイベント信号に基づいて、特定の時間範囲の間にＡＦ評価枠内で輝度変化の発生した画素数をカウントし、閾値ＴＨＡＦとの差分を評価値として制御部３０３に送る。評価値が負の値となるまでカウントを繰り返す。評価値が負の値になったタイミングでＳ６０４に移行する。
【0037】
Ｓ６０４では、評価値が負の値となったことを受けて、制御部３０３が時間の計測を開始する。もしくは時間の代わりに、フォーカスレンズのステッピングモーターに加えられる駆動パルス数のカウントを開始する。すなわち、制御部３０３は、フォーカスレンズの移動量の計測を開始する。
【0038】
Ｓ６０５では、評価部３０２は、アドレスイベント信号に基づいて、評価値が負の数であれば画素数のカウントを繰り返し、評価値が０以上の値となったタイミングでＳ６０６に移行する。
【0039】
Ｓ６０６では、制御部３０３が、時間もしくは駆動パルス数の計測をストップしＳ６０４からの経過時間ないし駆動パルス数を算出する。つまり、制御部３０３は、評価値が閾値ＴＨＡＦ未満であった間に、フォーカスレンズが移動した量を取得する。
【0040】
Ｓ６０７では、制御部３０３は、計測したフォーカスレンズの移動量に基づいて、フォーカスレンズを合焦位置に移動させる。例えば、Ｓ６０６で確定した評価値が負の値であった時間の半分の時間だけ、フォーカスレンズを逆方向にＳ６０２と同じ速度で駆動する。もしくは、Ｓ６０６で確定した駆動パルス数の半分のパルスを逆方向に印加してフォーカスレンズを移動する。これによって、被写界深度（合焦範囲）の中央に被写体を持ってくることができる。
【0041】
＜レンズ駆動方法のバリエーション＞
フォーカスレンズを駆動する速度は一定速度としたほうが合焦位置の演算や制御が簡易になるが、速度を可変として合焦速度を向上させることも可能である。例えば、評価部３０２で計測される輝度変化が発生した画素数の数に応じて速度を変えればよい。具体的には、輝度変化の発生した画素数が多い期間は合焦位置までの距離があると判断できるためフォーカスレンズ１０１２の駆動速度を上げ、輝度変化の発生した画素数が閾値ＴＨＡＦに近い範囲は駆動速度を落として合焦精度を上げるようにする。このように制御することで合焦に掛かる総時間を短縮することが可能である。
フォーカスレンズを駆動する速度は一定速度としたほうが合焦位置の演算や制御が簡易になるが、速度を可変として合焦速度を向上させることも可能である。例えば、評価部３０２で計測される輝度変化が発生した画素数の数に応じて速度を変えればよい。具体的には、輝度変化の発生した画素数が多い期間は合焦位置までの距離があると判断できるためフォーカスレンズ１０１２の駆動速度を上げ、輝度変化の発生した画素数が閾値ＴＨＡＦに近い範囲は駆動速度を落として合焦精度を上げるようにする。このように制御することで合焦に掛かる総時間を短縮することが可能である。
【0042】
＜合焦位置のバリエーション１＞
前述した合焦範囲は前方被写界深度と後方被写界深度を合わせた範囲であり、後方被写界深度の方が広い。このため、被写体に対してベストピントとなるピント面は合焦範囲の中心よりもＮｅａｒ側の範囲に存在している。
前述した合焦範囲は前方被写界深度と後方被写界深度を合わせた範囲であり、後方被写界深度の方が広い。このため、被写体に対してベストピントとなるピント面は合焦範囲の中心よりもＮｅａｒ側の範囲に存在している。
【0043】
撮像光学系１０１１の焦点距離およびＦ値と、光電変換素子１０１１と出力部３０４の表示倍率などから考えられる許容錯乱円の３つのパラメータから、過焦点距離を算出することができる。焦点距離をｆ、許容錯乱円をδ、Ｆ値をＦとすれば、過焦点距離Ｙは次式（１）で求められる。
Ｙ＝ｆ２／（δ×Ｆ） ・・・（１）
Ｙ＝ｆ２／（δ×Ｆ） ・・・（１）
【0044】
この過焦点距離と、撮像装置１００のユースケースとして推定される被写体距離から、前方被写界深度と後方被写界深度の推定値が算出できる。
【0045】
前方被写界深度をＡ、後方被写界深度をＢ、推定被写体距離をＸとすればＡ、Ｂは下記の式（２）（３）で算出される。
Ａ＝ＸＹ／（Ｙ＋Ｘ） ・・・（２）
Ｂ＝ＸＹ／（Ｙ－Ｘ） ・・・（３）
Ａ＝ＸＹ／（Ｙ＋Ｘ） ・・・（２）
Ｂ＝ＸＹ／（Ｙ－Ｘ） ・・・（３）
【0046】
合焦範囲のＮｅａｒ側の端から前方被写界深度分だけ先に真のピント面が存在するため、被写体にベストピント面を持ってくるためには次のようにするとよい。
【0047】
フォーカスレンズの移動に伴って評価値が一度負の値となった後、再び０以上の値になったタイミングでフォーカスレンズを停止させる。停止するまでにＮｅａｒからＦａｒ方向へレンズを移動させていた場合は、停止した位置から後方被写界深度に相当する距離だけレンズを逆方向に駆動する。
【0048】
ＦａｒからＮｅａｒ方向へレンズを移動されていた場合は、前方被写界深度に相当する距離だけレンズを逆方向に駆動すればよい。ＦａｒからＮｅａｒにレンズを駆動していた場合を例にしてさらに説明する。まず、（２）、（３）式をもとに導出した前方被写界深度と後方被写界深度の割合（以下、前後深度割合と呼称する）を算出する。次に、レンズ駆動中に評価値が負であった時間（ΔＴ）を、前後深度割合で配分する。例えば前後深度割合が２：３（前方：後方）であれば、負で合った時間ΔＴのうち２／５が前方被写界深度に相当する時間となる。この時間は、一定速度で駆動されているフォーカスレンズによって、ピント面が前方被写界深度と同じ距離だけ移動するために必要だった時間を表している。従って、この時間と同じ時間だけ、フォーカスレンズを逆方向に同一速度で駆動させれば、被写体にベストピント面が当たることになる。もしくは、レンズ駆動中に評価値が負であった期間に、フォーカスレンズのステッピングモーターに印加された駆動パルスの数を前後深度割合で配分し、前方被写界深度に相当するパルス数だけ逆方向に印加しても同じ結果が得られる。この手法は演算量が増加する代わりにより高精度なオートフォーカスが実現可能となる。
【0049】
＜合焦位置のバリエーション２＞
さらに別の手法を説明する。本手法では、合焦範囲のＮｅａｒ側の端からＦａｒ側の端までフォーカスレンズを移動させることをせず、フォーカスにかかる時間を短縮する。以下は、ＮｅａｒからＦａｒ方向にフォーカスレンズを駆動していると仮定して説明する。フォーカスレンズの移動に伴って評価値が０以上の値から負の値に変化した時点を基準に、そこから前方被写界深度分の距離をピント面が移動するようフォーカスレンズを駆動させて合焦させる。このときのフォーカスレンズの駆動距離は、式（２）で算出した前方被写界深度と、フォーカスレンズの移動量（駆動パルス数）に対するピント面の移動量（以下、敏感度と呼称する）から算出する。敏感度で前方被写界深度を除算すれば、フォーカスレンズを駆動させるべき距離、つまり駆動パルス数となる。敏感度は、使用している撮像光学系１０１１に固有の値であり、予め測定を行うなどして入手しておく必要がある。この手法は、敏感度を入手しておく必要があるものの、合焦範囲のどちらかの端に到着した後、反対側の端までフォーカスレンズを駆動させることを行わないため、フォーカスに要する時間が短縮可能である。
さらに別の手法を説明する。本手法では、合焦範囲のＮｅａｒ側の端からＦａｒ側の端までフォーカスレンズを移動させることをせず、フォーカスにかかる時間を短縮する。以下は、ＮｅａｒからＦａｒ方向にフォーカスレンズを駆動していると仮定して説明する。フォーカスレンズの移動に伴って評価値が０以上の値から負の値に変化した時点を基準に、そこから前方被写界深度分の距離をピント面が移動するようフォーカスレンズを駆動させて合焦させる。このときのフォーカスレンズの駆動距離は、式（２）で算出した前方被写界深度と、フォーカスレンズの移動量（駆動パルス数）に対するピント面の移動量（以下、敏感度と呼称する）から算出する。敏感度で前方被写界深度を除算すれば、フォーカスレンズを駆動させるべき距離、つまり駆動パルス数となる。敏感度は、使用している撮像光学系１０１１に固有の値であり、予め測定を行うなどして入手しておく必要がある。この手法は、敏感度を入手しておく必要があるものの、合焦範囲のどちらかの端に到着した後、反対側の端までフォーカスレンズを駆動させることを行わないため、フォーカスに要する時間が短縮可能である。
【0050】
＜評価値のバリエーション＞
ランダムノイズに影響されにくい評価値の算出方法を説明する。前述の説明では、特定の時間幅に輝度変化が発生した延べ画素数と閾値ＴＨＡＦの差分を評価値とする方法を説明した。この評価値は演算量が少なく済むが、輝度変化が発生した画素数をその輝度変化の方向によらず積算するので、ランダムノイズによる輝度変化もカウントに含んでしまう。ここではランダムノイズによる誤カウントを抑制する手法として、ＡＦ評価枠内の画素それぞれにおいて逆方法の輝度変化が起こるまでの時間を評価値に用いる手法を説明する。逆方法の輝度変化が起こるまでの時間とは、プラスの輝度変化が発生してからマイナスの輝度変化が発生するまでの時間差、およびマイナスの輝度変化が発生してからプラスの輝度変化が発生するまでの時間差である。この時間差はアドレスイベントに含まれる時間情報（タイムスタンプ）の差分を取ることで算出できる。ＡＦ評価枠内でこの時間差の平均値を算出し、閾値ＴＨＴ未満であればランダムノイズとみなして評価値は０とし、閾値ＴＨＴ以上であればその時間差自体を評価値とする。
ランダムノイズに影響されにくい評価値の算出方法を説明する。前述の説明では、特定の時間幅に輝度変化が発生した延べ画素数と閾値ＴＨＡＦの差分を評価値とする方法を説明した。この評価値は演算量が少なく済むが、輝度変化が発生した画素数をその輝度変化の方向によらず積算するので、ランダムノイズによる輝度変化もカウントに含んでしまう。ここではランダムノイズによる誤カウントを抑制する手法として、ＡＦ評価枠内の画素それぞれにおいて逆方法の輝度変化が起こるまでの時間を評価値に用いる手法を説明する。逆方法の輝度変化が起こるまでの時間とは、プラスの輝度変化が発生してからマイナスの輝度変化が発生するまでの時間差、およびマイナスの輝度変化が発生してからプラスの輝度変化が発生するまでの時間差である。この時間差はアドレスイベントに含まれる時間情報（タイムスタンプ）の差分を取ることで算出できる。ＡＦ評価枠内でこの時間差の平均値を算出し、閾値ＴＨＴ未満であればランダムノイズとみなして評価値は０とし、閾値ＴＨＴ以上であればその時間差自体を評価値とする。
【0051】
図６中のイベントベースセンサの撮像画像を見ると分かるように、ポジションＡとＢのように、フォーカスレンズの移動に伴って明るい被写体のボケが収縮している場合は、ボケの輪郭部分は暗い背景が写るためにマイナスの輝度変化となる。一方、ポジションＥのようにレンズ移動によってボケが拡大しているときにはボケの輪郭部はプラスの輝度変化となる。ポジションＣからＥの合焦範囲では被写体像の変化がないため輝度変化も検出されない。合焦範囲の両側（ポジションＢとＦ）の画像でボケの輪郭部分の同一画素に注目すると、黒色→灰色→白色と変化していることが分かる。つまり、黒色（マイナスの輝度変化）から白色（プラスの輝度変化）までの時間差は合焦範囲に相当していることが分かる。
【0052】
この評価値を用いてオートフォーカスを行う手順について、図７のフローチャートを用いて説明する。Ｓ７０１、Ｓ７０２は図４のフローチャートと同一である。Ｓ７０３において、評価部３０２は、この評価値が０であるか否かを判定する。前述の通り、フォーカスレンズが合焦範囲に入る直前と、合焦範囲を出た直後で反対方向の輝度変化が起こるため、この時間差が評価値となる。
【0053】
つまりＳ７０３で評価値が０ではない値を取った時点で、レンズは合焦範囲の反対側の端にあることになる。評価値は閾値ＴＨＴと比較され、閾値ＴＨＴ未満の場合はＳ７０３を繰り返し、閾値ＴＨＴ以上の値であった場合はレンズを停止してＳ７０４に移行する。Ｓ７０４では制御部３０３において、評価値の半分の値だけフォーカスレンズを逆方向に同一速度で移動させる。評価値の値は、合焦範囲をフォーカスレンズが通過するために掛かった時間なので、評価値の半分の時間だけフォーカスレンズを逆方向に駆動すれば、合焦範囲の中央に被写体を置くことができる。なお、前述の方法と同様に、前方被写界深度や後方被写界深度を加味して被写体にベストピント面が来るように合焦位置を調節してもよい。
【0054】
ＡＦ評価枠内で輝度変化の発生した延べ画素数を単純に計数する評価値では、ランダムノイズによる輝度変化と被写体の輝度変化が本質的に見分けにくく、切り離してカウントしにくい。しかし本手法であれば、ランダムノイズによる同方向の輝度変化が除去できるため、ランダムノイズによる誤カウントを少なくすることが可能になる。
【0055】
以上説明したように、本実施形態の手法を用いることによってイベントベースセンサを用いた撮像装置においてオートフォーカスが可能になり、ユーザーの利便性を向上させることが可能になる。本実施形態の制御方法は、特に、素早くフォーカスを設定したい場合に有効である。
【0056】
＜実施形態２：オプティカルフローの利用＞
実施形態２では、光電変換素子１０１１の出力を受けた評価部３０２においてオプティカルフローを生成する点が異なる。オプティカルフローを生成する手法は、一般的に知られている勾配法やブロックマッチング法などを用いればよい。これにより、被写体以外の影響を抑制でき、より外乱に強いオートフォーカスが可能になる。なお、撮像装置１００のハードウェア構成および機能構成について、実施形態１における図１および図３と同様である。
実施形態２では、光電変換素子１０１１の出力を受けた評価部３０２においてオプティカルフローを生成する点が異なる。オプティカルフローを生成する手法は、一般的に知られている勾配法やブロックマッチング法などを用いればよい。これにより、被写体以外の影響を抑制でき、より外乱に強いオートフォーカスが可能になる。なお、撮像装置１００のハードウェア構成および機能構成について、実施形態１における図１および図３と同様である。
【0057】
図８にセンサ像面上の結像イメージと、それをイベントベースセンサで撮影した画像をフォーカスレンズのポジション毎に示している。被写体は図５と同一である。図８のイベントベースセンサの撮像画像をみると、合焦範囲に入る直前（ポジションＡ）の画像においては被写体像のボケの輪郭に沿ってボケの収縮を示すオプティカルフローが生成されていることが分かる。また、合焦範囲においてオプティカルフローが消滅したあと、合焦範囲を通過した後（ポジションＥ）の撮像画像において、被写体像のボケの輪郭に沿ってボケの拡大を示すオプティカルフローが生成されていることが分かる。つまり、オプティカルフローが消滅してから反転するまでの時間を用いることで、フォーカスレンズを合焦範囲に制御することが可能である。具体的には以下のようにすればよい。
【0058】
まず、評価部３０２は生成したオプティカルフローのなかに物体の収縮を示すベクトル群を見つける。フォーカスレンズが進んで合焦範囲に入り、収縮を示すベクトル群が消失したタイミングで、時間のカウントないしフォーカスレンズへ印加される駆動パルス数のカウントを開始する。さらにフォーカスレンズが進んで合焦範囲を出て、物体の拡大を示すベクトル群が生じたら時間ないしパルス数のカウントを停止し、フォーカスレンズも停止させる。その後、評価部３０２が計測した時間の半分の時間だけ、フォーカスレンズを逆方法に同一速度で駆動させる。もしくは、計測されたパルス数の半分のパルスをステッピングモーターに逆方向に印加する。このようにすると、合焦範囲の中央に被写体を置くことが可能になる。
【0059】
【0060】
図中、センサ像面の結像イメージにある被写体５００がフォーカスを合わせたい被写体、被写体５０１と５０２はフォーカス対象ではない被写体で、かつ動いている。特に被写体５０２は被写体５００および５０１と撮像装置１００からの距離が異なっている。このため、被写体５００と５０１のオプティカルフローは合焦範囲に入ると被写体ボケの変化がなくなるために消滅するが、距離が異なる被写体５０２はこのピント位置では被写体ボケが残っているため、オプティカルフローも消失せずに残っている。
【0061】
評価部３０２はある物体の輪郭の収縮ないし拡大を表しているオプティカルフローのみを合焦の判定に用い、図９の被写体５０１や５０２のオプティカルフローのようにある物体の輪郭が一方向に移動していることを表すオプティカルフローは無視する。このことによって、外乱成分に相当する被写体の影響を抑制することが可能になる。収縮／拡大を表すオプティカルフローのみについて、前述の方法と同様にフォーカスレンズを制御すれば被写体を合焦範囲の中央に置くことが可能になる。
【0062】
＜ＧＵＩのバリエーション１＞
イベントベースセンサではフォーカスレンズが合焦範囲に入ると被写体像が消えてしまうため、一般的な撮像装置に慣れたユーザーなどはピントが合っているかが直感的に把握できずに困惑する可能性ある。特に、静止被写体が多い場合も、オートフォーカス動作を終えた後、レンズが停止に伴って被写体像も消えてしまい、ピントが合っているか否かが判断しにくい。
イベントベースセンサではフォーカスレンズが合焦範囲に入ると被写体像が消えてしまうため、一般的な撮像装置に慣れたユーザーなどはピントが合っているかが直感的に把握できずに困惑する可能性ある。特に、静止被写体が多い場合も、オートフォーカス動作を終えた後、レンズが停止に伴って被写体像も消えてしまい、ピントが合っているか否かが判断しにくい。
【0063】
図１０にはオートフォーカス制御中の表示部１０４の表示例を表している。合焦範囲である期間Ｃは本来であれば被写体像が消えてしまうが、ここでは被写体の輪郭をピーキング表示させることで合焦していることを認識しやすくしている。ピーキング表示は、期間Ａにおける被写体の輪郭（輝度変化）をトレースし、輝度変化がなくなった（合焦範囲に入った）場合にはピーキング表示をその位置で継続するようにすれば可能である。ポジションＣの間だけピーキング表示するようにしてもよいし、ポジションＡからＥまで常時ピーキング表示してもよい。前者はピーキング表示が解除された場合は、ピントが被写体から外れたことがユーザーに分かるため望ましく、後者は被写体像のボケの変化が認識しやすくピントが合うまでの経過をユーザーが認識しやすくなるため望ましい。
【0064】
＜ＧＵＩのバリエーション２＞
図１１はユーザーがオートフォーカスの結果を認識しやすいような出力部３０４の表示例を示している。図中のイベントベースセンサの撮像画像が出力部３０４の表示イメージであり、画面内にフォーカスの合い具合を１－１００の数値で表すスコア（ＡＦスコアと呼称する）を重畳表示させている。ＡＦスコアは評価部３０２で算出している評価値そのものでもよいし、ベストピント位置がスコアのピークとなり、かつベストピント位置からの距離が離れるほど小さい値となればどのような計算式で算出してもよい。例えば、スコアが一定の値（例えば、８０）を越えた場合に、スコアを強調して表示してもよい。逆に、スコアがある一定の値（例えば、４０）より小さい場合にのみスコアを表示し、フォーカスを合わせる動作を行うように促しても良い。このような重畳表示はユーザーがフォーカスの結果を把握しやすくなるため望ましい。ただし、表示される評価値は合焦範囲を一旦計測した後でなければ算出ができないため、前述したいずれかのフォーカス方法をまず１度実施したあと続けて２回目のフォーカス動作に入り、この間に評価値を重畳表示させるようにする。このため、実際にはフォーカス２回分の時間が掛かるため、フォーカス速度は低下してしまうものの、スコアが重畳表示されることでユーザーが合焦具合を認識しやすくなる。
図１１はユーザーがオートフォーカスの結果を認識しやすいような出力部３０４の表示例を示している。図中のイベントベースセンサの撮像画像が出力部３０４の表示イメージであり、画面内にフォーカスの合い具合を１－１００の数値で表すスコア（ＡＦスコアと呼称する）を重畳表示させている。ＡＦスコアは評価部３０２で算出している評価値そのものでもよいし、ベストピント位置がスコアのピークとなり、かつベストピント位置からの距離が離れるほど小さい値となればどのような計算式で算出してもよい。例えば、スコアが一定の値（例えば、８０）を越えた場合に、スコアを強調して表示してもよい。逆に、スコアがある一定の値（例えば、４０）より小さい場合にのみスコアを表示し、フォーカスを合わせる動作を行うように促しても良い。このような重畳表示はユーザーがフォーカスの結果を把握しやすくなるため望ましい。ただし、表示される評価値は合焦範囲を一旦計測した後でなければ算出ができないため、前述したいずれかのフォーカス方法をまず１度実施したあと続けて２回目のフォーカス動作に入り、この間に評価値を重畳表示させるようにする。このため、実際にはフォーカス２回分の時間が掛かるため、フォーカス速度は低下してしまうものの、スコアが重畳表示されることでユーザーが合焦具合を認識しやすくなる。
【0065】
＜複数の被写体への合焦＞
図１２を用いて、フォーカスを合わせたい複数の被写体が存在する場合について説明する。図１２ではＡＦ評価枠が複数設定され、ＡＦ評価枠１には撮像装置に近い位置に被写体が存在し、ＡＦ評価枠２には遠い被写体が存在する。ここでは撮像装置２００の撮像光学系１０１１に絞りを変更するための絞り制御手段２０１が備わっているとして説明を行う。
図１２を用いて、フォーカスを合わせたい複数の被写体が存在する場合について説明する。図１２ではＡＦ評価枠が複数設定され、ＡＦ評価枠１には撮像装置に近い位置に被写体が存在し、ＡＦ評価枠２には遠い被写体が存在する。ここでは撮像装置２００の撮像光学系１０１１に絞りを変更するための絞り制御手段２０１が備わっているとして説明を行う。
【0066】
このような場合は、まず前述したいずれかのフォーカス方法を用いて、ＡＦ評価枠１とＡＦ評価枠２それぞれの合焦範囲を探す。ＡＦ評価枠１と２の合焦範囲に重なりがあった場合には、フォーカスレンズのポジションは重なった合焦範囲の中心にする。このことによって全ての被写体に合焦することができる。ＡＦ評価枠１と２の合焦範囲に重なりがなかった場合は、（１）から（３）式を用いて、ＡＦ評価枠１と２の合焦範囲に重なりが発生するために必要なＦ値を算出し、そのＦ値へ変更する。そしてフォーカスレンズは重なった合焦範囲の中心に移動させる。このように制御することで距離の異なる複数の被写体に対しても適切に合焦させることができる。
【0067】
以上説明したように、本実施形態の手法を用いることによってイベントベースセンサを用いた撮像装置においてオートフォーカスが可能になり、ユーザーの利便性を向上させることが可能になる。
【0068】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。
【符号の説明】
【0069】
１００ 撮像装置
３０１ 撮像部
１０１０ 撮像光学系
１０１２ フォーカスレンズ
１０１１ 光電変換素子
３０２ 評価部
３０３ 制御部
３０４ 出力部
３０５ 操作受付部
３０１ 撮像部
１０１０ 撮像光学系
１０１２ フォーカスレンズ
１０１１ 光電変換素子
３０２ 評価部
３０３ 制御部
３０４ 出力部
３０５ 操作受付部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】