特開 2022-188985 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022188985

(43)【公開日】2022-12-22

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G03B 13/36 20210101AFI20221215BHJP

   H04N 5/3745 20110101ALI20221215BHJP

   G02B 7/28 20210101ALI20221215BHJP

   G03B 15/00 20210101ALI20221215BHJP

   G03B 17/18 20210101ALI20221215BHJP

【ＦＩ】

G03B13/36

H04N5/3745 500

G02B7/28 N

G03B15/00 F

G03B17/18 Z

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2021097304

(22)【出願日】2021-06-10

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】小林 繁之

【テーマコード（参考）】

2H011

2H102

2H151

5C024

【Ｆターム（参考）】

2H011AA01

2H011BA51

2H011BB02

2H011BB03

2H102AA16

2H102BA05

2H102BB05

2H102BB08

2H151DB01

5C024CY17

5C024CY26

5C024EX42

5C024GX02

5C024GY45

5C024HX29

(57)【要約】

【課題】 本発明によれば、イベントベースセンサを用いた撮像装置においてオートフォーカスが可能になる。
【解決手段】 上記課題を解決する本発明にかかる情報処理装置は、撮像装置のフォーカスレンズの位置を制御する制御手段と、前記フォーカスレンズの位置毎に、前記アドレスイベント信号に基づいた評価値を取得することによって、前記フォーカスレンズの合焦位置を決定する決定手段と、を有することを特徴とする。
【選択図】 図５

【特許請求の範囲】

【請求項1】

撮像装置のフォーカスレンズの位置を制御する制御手段と、
所定の期間において、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する取得手段と、
前記フォーカスレンズの位置毎に、前記アドレスイベント信号に基づいた評価値を取得することによって、前記フォーカスレンズの合焦位置を決定する決定手段と、を有することを特徴とする情報処理装置。

【請求項2】

前記評価値は、輝度の変化があった画素の数に基づいて決定され、
前記決定手段は、前記評価値が所定の基準値以下である前記フォーカスレンズの位置に基づいて、前記フォーカスレンズの合焦位置を決定することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記決定手段は、前記撮像装置の画角に含まれる部分領域における前記アドレスイベント信号に基づいて、前記評価値を決定することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記決定手段は、前記撮像装置の画角に含まれる複数の領域のそれぞれにおいて前記評価値を決定することを特徴とする請求項３に記載の情報処理装置。

【請求項5】

第１の閾値を設定する設定手段を更に有し、
前記取得手段は、輝度の変化が前記第１の閾値より大きい画素から前記アドレスイベント信号を取得し、
前記決定手段は、前記第１の閾値以上の輝度の変化があった画素の数が、第２の閾値より少なくなった場合に、前記第１の閾値を前記フォーカスレンズの位置における前記評価値として決定することを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

前記制御手段は、前記フォーカスレンズを一定の振幅でウォブリングする制御を実行することを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記制御手段は、前記フォーカスレンズを所定の方向に移動させる制御を実行し、
前記設定手段は、前記第１の閾値を変動させることを特徴とする請求項５に記載の情報処理装置。

【請求項8】

前記アドレスイベント信号に基づいて、前記所定の期間において輝度の変化が発生した画素の位置を示す画像と、前記評価値と、を表示する表示手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

前記決定手段は、前記評価値を取得しない領域については、前記所定の期間より前に取得された前記アドレスイベント信号に基づいて生成された画像を表示することを特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記表示手段は、前記評価値を取得する領域と、それ以外の領域とで、前記所定の期間において輝度の変化が発生した画素の色を異ならせて表示することを特徴とする請求項８または９に記載の情報処理装置。

【請求項11】

前記表示手段は、前記撮像装置の画角を分割した領域毎の前記評価値に基づいて、前記所定の期間において輝度の変化が発生した画素の色を異ならせて表示することを特徴とする請求項８乃至１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記評価値が取得されていない前記フォーカスレンズの位置に前記フォーカスレンズを動かすオートフォーカス動作を行う第１のモードと、前記フォーカスレンズの位置をユーザ入力に応じた位置に制御する第２のモードと、を切り替える切替手段を更に有することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。

【請求項13】

前記制御手段は、前記第２のモードの場合、前記フォーカスレンズをウォブリング動作させ、
前記決定手段は、各画素における輝度の変化を検出するための第１の閾値を変化させ、
輝度の変化が発生した画素数が第２の閾値以下となったときの、前記第１の閾値を前記評価値として決定することを特徴とする請求項１２に記載の情報処理装置。

【請求項14】

前記アドレスイベント信号は、光子の入射に応じて信号を出力する画素を備えた光電変換素子によって出力されることを特徴とする、請求項１乃至１３のいずれか１項に記載の情報処理装置。

【請求項15】

コンピュータを、請求項１乃至１４のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。

【請求項16】

撮像装置のフォーカスレンズの位置を制御する制御工程と、
所定の期間において、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する取得工程と、
前記フォーカスレンズの位置毎に、前記アドレスイベント信号に基づいた評価値を取得することによって、前記フォーカスレンズの合焦位置を決定する決定工程と、を有することを特徴とする情報処理方法。

【請求項17】

第１の閾値を設定する設定工程を更に有し、
前記取得工程は、輝度の変化が前記第１の閾値より大きい画素から前記アドレスイベント信号を取得し、
前記決定工程は、前記フォーカスレンズの位置が第１の位置であるときに、前記第１の閾値以上の輝度の変化があった画素の数が、第２の閾値より少なくなった場合に、前記第１の閾値を前記第１の位置における前記評価値として決定することを特徴とする請求項１６に記載の情報処理方法。

【請求項18】

前記制御工程は、前記所定の期間より長い第１の期間において、前記フォーカスレンズを一定の振幅でウォブリングする制御を実行することを特徴とする請求項１７に記載の情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イベントベースセンサのオートフォーカスに関する。

【背景技術】

【0002】

画素ごとの輝度の変化をアドレスイベント信号としてリアルタイムに出力するイベントベースセンサが知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１３４２７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、イベントベースセンサを用いた撮像装置においてオートフォーカスが可能にすることである。

【課題を解決するための手段】

【0005】

上記課題を解決する本発明にかかる情報処理装置は、撮像装置のフォーカスレンズの位置を制御する制御手段と、所定の期間において、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する取得手段と、前記フォーカスレンズの位置毎に、前記アドレスイベント信号に基づいた評価値を取得することによって、前記フォーカスレンズの合焦位置を決定する決定手段と、を有することを特徴とする。

【発明の効果】

【0006】

本発明によれば、イベントベースセンサを用いた撮像装置においてオートフォーカスが可能になる。

【図面の簡単な説明】

【0007】

【図1】情報処理装置のハードウェア構成例を示すブロック図

【図2】イベントベースセンサの構成例を示す図

【図3】情報処理装置の機能構成例を示すブロック図

【図4】被写体の一例を示す図

【図5】フォーカス方法の一例を示す図

【図6】情報処理装置が実行する処理を説明するフローチャート

【図7】フォーカスレンズと閾値の制御の一例を表す図

【図8】表示の一例を示す図

【発明を実施するための形態】

【0008】

イベントベースセンサをセキュリティ用途のカメラに適用することが期待されている。セキュリティカメラでは、夜間監視など低照度環境での撮影を行う場合があり、このようなシーンではセンサの受光量を上げるために絞り値を小さくして撮影することが多い。絞り値を小さく設定することで被写界深度が浅くなってしまうため、被写体に対するピント合わせが必要になる場合が多い。このため、ユーザーが容易にピント合わせを行えるオートフォーカス（ＡＦ）機能が望まれる。

【0009】

公知のオートフォーカス技術として所謂コントラストＡＦが存在するが、イベントベースセンサを用いたカメラには次の理由で適用が困難である。コントラストＡＦでは画像内の特定領域（以下、ＡＦ評価枠と呼ぶ）内のコントラストの高さを表すコントラスト評価値をもとに合焦位置を判断する。つまり、コントラスト評価値がピークとなるときが合焦位置であると判断される。コントラスト評価値の代表的な算出方法としては、ＡＦ評価枠内の最大輝度と最小輝度の比とする方法や、最大輝度と最小輝度の差とする方法などがある。

【0010】

ところが、イベントベースセンサでは画素の輝度変化を表す値は３値（例えばプラスの輝度変化を＋１、マイナスの輝度変化を－１、輝度変化なしを０）のみである。イベントベースセンサでは照明の明るさや絞り開口径の変更などのように、センサへの入射光が一律に変化する場合を除けば、正負どちらの輝度変化も発生する場合が多い。このため、公知のコントラスト評価値の計算式を適用しても、合焦か否かによらず同じ評価値になってしまうため合焦位置を判断することができない。従って、本発明が解決しようとする課題は、イベントベースセンサを用いた撮像装置においてオートフォーカスを可能にすることである。

【0011】

以下、図を用いて本発明の実施形態における撮像装置について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。

【0012】

＜実施形態１＞
＜撮像装置１００のハードウェア構成：図１＞
図１は、撮像装置（情報処理装置）１００のハードウェア構成例を示す模式図である。なお、撮像装置１００は具体的にはイベントベースセンサを有する撮像装置であるが、画像処理を行う機能と画像に対する解析処理（動き検出）を実行する機能は別々の装置が備えていても良い。撮像装置１００は、撮像光学系１０１０と光電変換素子１０１１とから成る撮像部１０１、ＣＰＵ１０２、メモリ１０３、表示部１０４、操作部１０５とを有する。光電変換素子１０１１は、受光した入射光に応じたアドレスイベント信号を出力するイベントベースセンサである。イベントベースセンサは、画素毎に輝度の変化をイベントとして検出し、アドレスイベント信号は、輝度の変化が発生した画素の位置と時刻とを示す。撮像光学系１０１０は、具体的には受光レンズであって、入射光を受光し、光電変換素子１０１１に結像する。ＣＰＵ１０２は、メモリ１０３に格納されたＯＳやその他プログラムを読みだして実行し、接続された各構成を制御して、各種処理の演算や論理判断などを行う。ＣＰＵ１０２が実行する処理には、本実施形態にかかる情報処理が含まれる。また、ＣＰＵ１０２は、撮像光学系１０１０のフォーカスの駆動や絞りの駆動、光電変換素子１０１１の駆動等の制御を行う。メモリ１０３は、例えば、ハードディスクドライブや外部記憶装置などであり、実施形態の情報処理にかかるプログラムや各種データを記憶する。表示部１０４は、例えば、ＣＰＵ１０２からの指示に従って情報処理装置１００の演算結果等を表示する表示装置である。なお、表示装置は液晶表示装置やプロジェクタ、ＬＥＤインジケータなど、種類は問わない。操作部１０５は、例えば、タッチパネルやキーボード、マウス、ロボットコントローラーであり、ユーザーによる入力指示を受け付けるユーザーインターフェースである。なお、情報処理装置１００は、ここに挙げたハードウェア構成以外の機構を有していてもよい。

【0013】

＜光電変換素子：図２＞
本実施形態にかかるイベントベースセンサの一例を説明する。イベントベースセンサは、入射した光子の数をカウントし、カウントした光子の数が所定の閾値を超えたタイミングを判定する。またイベントベースセンサは、光子の数が第１の閾値以上になるまでの所要時間（クロック数）を計測しており、その所要時間を比較することによって輝度の変化を検出する。具体的には、前回計測された所要時間をＴ_０、最新の所要時間をＴとしたとき、差分Ｔ－Ｔ_０が第２の閾値以上の場合は、マイナス方向の輝度の変化を検出する。差分Ｔ_０－Ｔが第２の閾値以上の場合は、プラス方向の輝度の変化を検出する。そして、ＴとＴ_０の差分が第２の閾値未満であれば輝度の変化を検出しない。なお、第２の閾値はゼロ以上の値で、予め設定された値や他のパラメータに応じて設定される値を用いる。

【0014】

以下に、詳細な構成を説明する。図２（ａ）は、光電変換素子１０１１の構成例を示す図である。光電変換素子１０１１は、画素部１１０と周辺回路１２０から構成される。周辺回路１２０は、垂直調停回路１２１、水平読み出し回路１２２を備える。

【0015】

図２（ｂ）は、イベントベースセンサを構成する各画素部の構成例を示す図である。画素部１１０は、光電変換部１１１、画素カウンタ１１２、時間カウンタ１１３、第１の判定回路１１４、メモリ１１５、比較器１１６、第２の判定回路１１７、応答回路１１８、選択回路１１９を備える。光電変換部１１１は、ガイガーモードで動作するアバランシェフォトダイオード（ＳＰＡＤ）を備えており、光電変換部１１１に入射した光子の数を、画素カウンタ１１２でカウントするように構成される。時間カウンタ１１３では、光子が光電変換部１１１に入射した時間をカウントしている。ＳＰＡＤを用いてイベントベースセンサを構成することによって、光子１個レベルの輝度変化を検出することができる。光子１個レベルの輝度変化を検出することで、夜間などの暗視状態においても、アドレスイベント信号を取得することができる。

【0016】

画素カウンタ１１２でカウントした光子の数が第１の閾値に達すると、第１の判定回路１１４によって、時間カウンタ１１３での時間のカウントを止める。メモリ１１５には、過去の時間カウンタ１１３のカウント値が記憶されており、比較器１１６を用いて、現在の時間カウンタ１１３のカウント値と、過去の時間カウンタ１１３のカウント値の差分のカウント値を求める。

【0017】

第２の判定回路１１７は、差分のカウント値が第２の閾値以上の場合に、応答回路１１８を介して垂直調停回路１２１に、リクエスト信号を送る。応答回路１１８は、垂直調停回路１２１から、アドレスイベントデータの出力の許可または不許可を表す応答を受ける。差分のカウント値が第２の閾値未満の場合には、リクエスト信号を送付しない。

【0018】

応答回路１１８が出力の許可を表す応答を受けると、選択回路１１９により時間カウンタ回路１１３のカウント値が、水平出力回路１２２に出力される。水平出力回路１２２は、受け取ったカウント値を出力信号として光電変換素子１０１１から検知部１０３に出力する。

【0019】

比較器１１６によって算出された差分のカウント値は、光子の入射頻度の逆数に相当するため、本実施形態にかかる光電変換素子１０１１は、「光子の入射頻度の変化」、すなわち輝度の変化を計測する機能を有している。また、第２の判定回路１１７を用いて、入射した光子の数が第１の閾値に達した時間の間隔の差異が、第２の閾値以上の場合のみ、アドレスイベントを出力している。即ち、入射頻度の差異が第２の閾値以上の場合には入射頻度を出力し、差異が閾値未満の場合には入射頻度を出力しない、光電変換素子となっている。以上のような構成とすることで、画素アドレスごとに、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子が実現できる。

【0020】

＜光電変換素子のバリエーション＞
以上では、光電変換部にＳＰＡＤを用い、光子が入射した時間を計測することで、光子の入射頻度の変化を検出する光電変換素子を使用する場合を示した。しかし、輝度の変化をアドレスイベントとしてリアルタイムに検出する光電変換素子であれば、図２の構成でなくてもよい。例えば、特許文献１に記載されているように、輝度の変化を電圧変化として検出する光電変換素子を使用してもよい。

【0021】

＜撮像装置１００：図３＞
本実施形態における撮像装置（情報処理装置）１００の機能構成例を図３に示す。まず全体の概要を説明したのちに、各機能の詳細を説明する。図３において、撮像装置１００は、撮像部３０１、評価部３０２、制御部３０３、出力部３０４、操作受付部３０５を有する。撮像部３０１は、ピント位置を変更可能なフォーカス制御機構１０１２を備えた撮像光学系１０１１と、イベントベースセンサである光電変換素子１０１１と、を有する。

【0022】

撮像光学系１０１１は具体的には受光レンズで構成され、フォーカス制御機構１０１２はフォーカスレンズとレンズを駆動するめのアクチュエータ等で構成されている。本実施形態では駆動パルスによってフォーカスレンズの位置を制御できるステッピングモーターで構成されているとする。撮像光学系１０１１とフォーカス制御機構１０１２は光電変換素子１０１１の像面へ被写体像を結像する。光電変換素子１０１１は、受光した入射光に応じたアドレスイベント信号を出力する。より具体的には、輝度の変化が発生した画素のアドレスと時刻を示すアドレスイベント信号を出力する。評価部３０２は、光電変換素子１０１１から出力されたアドレスイベントの信号を取得し、所定期間において輝度変化が発生した延べ画素数の積算値を所定の閾値（第３の閾値）と比較する。制御部３０３は、フォーカス制御機構１０１２を介してフォーカスレンズをウォブリング動作（光軸方向に微小振幅で前後させる振動動作）させる。さらに制御部３０３は、ウォブリング動作と同時に、光電変換素子１０１１に対して第２の閾値を所定の変化率で変化（スイープ）させる。第２の閾値は、第２の判定回路１１７において、入射した光子の数が第１の閾値に達した時間の間隔の差異が十分あるか否かを判定するための閾値で、第２の閾値以上の時間差があった場合に、アドレスイベント信号が出力される。このとき評価部３０２においては、第２の閾値の変化に伴って輝度変化が発生する画素数が変化する。輝度変化が発生した画素数が第３の閾値を下回ったときの第２の閾値の値を、そのフォーカスレンズ位置における評価値とする。制御部３０３は、評価部３０２で評価値が決定されると、所定の距離だけフォーカスレンズを光軸方向に移動させた上で再びウォブリング動作させ、以降前述した内容を繰り返して当該フォーカスレンズ位置における評価値を決定する。最終的にフォーカスレンズの位置毎の評価値が決定され、評価値が最も高い値を取っているレンズ位置が合焦位置と判断される。出力部３０４は輝度変化が発生した画素のアドレスと輝度変化の方向、およびＡＦ評価枠などの表示を行う。操作受付部３０５はユーザーからの操作によってＡＦ評価枠の設定や、後述するアドレスイベントの閾値の入力などを受け付ける。なお、出力部３０４や操作受付部３０５は撮像装置の外部装置によって実現してもよい。

【0023】

以下に、各機能の詳細を説明する。

【0024】

＜評価部３０２＞
図３における評価部３０２の詳細を説明する。まず制御部３０３がフォーカスレンズをウォブリング動作させつつ、光電変換素子１０１１の第２の閾値を所定の変化率で変化させる。この間に評価部３０２は光電変換素子１０１１の出力信号から、特定の時間範囲において輝度変化が発生した延べ画素数を積算した値と、第３の閾値を比較する。そしてこの延べ画素数が第３の閾値を下回ったときの第２の閾値の値が、当該フォーカスレンズ位置における評価値とされる。ここで、第３の閾値は０より大きい値で、あらかじめ設定された値や他のパラメータに応じて設定される値を用いる。また特定の時間範囲は光電変換素子１０１１の垂直調停回路１２１の時間分解能で決まる最小時間幅としてもよいし、それより長い時間範囲で積算してもよい。時間幅が狭いほうが合焦速度が向上するが、時間幅が広いほうがランダムノイズなどによる誤差の影響を低減することができ合焦精度を向上することができる。

【0025】

評価部３０２が輝度変化の発生した延べ画素数を計数する対象領域（ＡＦ評価枠）は、撮影範囲全てでもよいし、あらかじめ設定された範囲でもよい。さらには操作受付部３０５においてユーザーが指定した範囲でもよい。

【0026】

＜制御部３０３＞
制御部３０３は、評価部３０２が評価値を算出している間、フォーカスレンズをウォブリング動作させつつ、光電変換素子１０１１の第２の閾値を所定の変化率で変化（スイープ）させる。フォーカスレンズが停止していると被写体像に変化がなく、光電変換素子１０１１の撮影データには何も映らなくなるが、ウォブリング動作を行うことによって被写体像のピントの合い具合が常に変化するため、撮影画像に常に被写体が表示されることになる。

【0027】

次に第２の閾値をスイープすることで発生する輝度変化について説明する。図４は被写体と背景を表した図である。図中４００の丸い円が被写体であり、背景に対して輝度が高いとする。次に図５は図４の被写体４００を撮像装置１００で撮影したときの、光電変換素子１０１１の像面上に結像される被写体像のイメージと、それを光電変換素子１０１１が撮影した画像のイメージを、フォーカスレンズのポジション毎に並べた図である。光電変換素子１０１１が撮影した画像イメージは、第２の閾値が高い場合と低い場合の２通りのイメージを並べている。図５に示した通り、フォーカスレンズのポジションＣ（合焦位置）以外においては被写体像がボケているため、合焦範囲から離れるほど輝度値の低い被写体像が実際の被写体よりも広く範囲に分布している。この場合は背景との輝度差が小さくなる。これら被写体像をイベントベースセンサである光電変換素子１０１１が撮影した場合、第２の閾値が十分に低い値の場合には、どのポジションにおいても被写体の輪郭部分が検出されている。一方、第２の閾値を高く設定すると合焦位置であるポジションＣ以外は被写体が検出されなくなる。実際のオートフォーカスにおいては、各レンズポジションにおいてウォブリング動作を行うと同時に第２の閾値をスイープし、検出される輝度変化の画素数が第３の閾値以下になったときの第２の閾値の値を評価値とする。これをレンズポジション毎に繰り返し、最も高い評価値となったポジションを合焦位置と判断する。または、ある所定の値（第４の閾値）を用意して、評価値が第４の閾値を越えたポジションは合焦範囲であると判断してもよい。ここで第４の閾値は０より大きい値であり、あらかじめ設定した値や、他のパラメータに応じて設定される値を用いる。

【0028】

次にオートフォーカスにおけるレンズ移動方向の決め方について説明する。

【0029】

今、仮にポジションＢにおいてオートフォーカスを開始したとする。ポジションＢでの評価値取得後、ポジションＡに移動して評価値を取得した場合、ポジションＡでの評価値はポジションＢでの評価値よりも低いため、合焦位置はポジションＡと反対側であることが推測できる。この場合はフォーカスレンズをＦａｒ方向に移動させればよい。

【0030】

反対に、ポジションＥにおいてオートフォーカスを開始し、ポジションＥでの評価値取得後にポジションＤに移動して評価値を取った場合は評価値が高くなる。従ってＮＥＡＲ方向に合焦位置が存在することが分かる。このようにして最初のレンズ移動の際の評価値の増減を利用して合焦位置が存在する方向を推測し、オートフォーカスを高速化することが可能になる。

【0031】

＜出力部３０４＞
出力部３０４は具体的には液晶表示装置やプロジェクタ、ＬＥＤインジケータなどで構成され、イベントベースセンサ１０３の出力信号を受けて、輝度変化のあった画素のアドレスと輝度変化の方向を表示する。図５中に記載した、イベントベースセンサによる撮影画像は出力部３０４の表示イメージである。輝度変化のあった画素の座標に、当該画素の輝度変化がプラス方向であった場合は白色、マイナス方向であった場合は黒色、輝度変化がなかった場合は灰色を表示している。また、ＡＦ評価枠などを撮影画像に重畳表示させてユーザーの利便性を向上するようにしてもよい。さらに、オートフォーカス中はオートフォーカス動作中であるというメッセージを撮影画像に重畳表示ないしポップアップ表示させてユーザーに注意喚起してもよい。さらに、ＡＦ枠以外は前フレームの値を表示させておき、ユーザーが、背景に対してどの位置にＡＦ枠があるのかを認識しやすいようにしてもよい。さらに、ＡＦ枠の中だけ、輝度変化の表示を白黒以外のカラー表示（例えば正の輝度変化は青、負の輝度変化は赤など）として、ユーザーがＡＦ枠内の輝度変化を認識しやすいようにしてもよい。

【0032】

＜操作受付部３０５＞
操作受付部３０５は、ユーザーが撮像装置１００の制御を行う部分である。具体的には、オートフォーカスの開始指示や、ＡＦ評価枠の設定、前述した第２および第３の閾値の変更などの操作を受け付ける。操作受付部３０５は例えば、タッチパネルやキーボード、マウス、十字キーや操作ダイヤルなどで構成される。

【0033】

なお前述した出力部３０４や操作受付部３０５は、ネットワークケーブルや無線伝送などによって撮像装置１００と接続された外部機器に設けられていてもよい。

【0034】

＜フローチャート＞
以上に説明したオートフォーカスを実行する際の処理の流れを説明する。図６は、撮像装置１００が実行する処理を説明するフローチャートである。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。ただし、撮像装置１００はこのフローチャートで説明するすべてのステップを必ずしも行わなくても良い。

【0035】

Ｓ６０１では、操作受付部３０５が、ユーザー入力に基づいて、ＡＦ評価領域（位置および大きさ）を設定する。ユーザーからの設定がない場合は、あらかじめ設定されたＡＦ評価枠を設置する。

【0036】

Ｓ６０２では、制御部３０３が、フォーカスレンズをウォブリング動作させつつ、光電変換素子１０１１の第２の閾値をスイープさせながら、評価部３０２において評価値を取得する。

【0037】

Ｓ６０３では、制御部３０３がフォーカスレンズを所定の方向に所定の距離だけ移動させる。

【0038】

Ｓ６０４では、Ｓ６０２と同様に評価部３０２が評価値の取得を行い、Ｓ６０２の評価値との比較を行う。Ｓ６０４評価値のほうが低ければＳ６０５に移動し、Ｓ６０４評価値のほうが高ければＳ６０６に移動する。

【0039】

Ｓ６０５では、Ｓ６０４評価値がＳ６０２評価値よりも低かったため、合焦位置が逆方向にあると判断し、Ｓ６０３とは逆方向にフォーカスレンズを移動させる。

【0040】

Ｓ６０６では、Ｓ６０４評価値がＳ６０２評価値よりも高かったため、合焦位置が同方向にあると判断し、Ｓ６０３と同一方向にフォーカスレンズを移動させる。

【0041】

Ｓ６０７では評価値の取得を行う。Ｓ６０５からＳ６０７にきた場合も、Ｓ６０６からＳ６０７にきた場合も、どちらもＳ６０７評価値はＳ６０４評価値よりも高い値になるはずである。

【0042】

Ｓ６０８では、Ｓ６０５ないしＳ６０６でフォーカスレンズを移動させた方向と同じ方向にフォーカスレンズを移動させる。

【0043】

Ｓ６０９では、評価部３０２が評価値の取得を行う。ここでＳ６０９評価値がＳ６０７評価値よりも高い値だった場合には、Ｓ６０８に戻ってフォーカスレンズを同一方向へさらに移動させる。Ｓ６０９評価値がＳ６０７評価値よりも低い値だった場合には、１つ前のレンズポジションが合焦位置であったと判断できるので、Ｓ６１０においてレンズポジションを１つ前に戻してオートフォーカスが完了となる。

【0044】

＜実施形態２；ウォブリングのバリエーション＞
実施形態２では、評価値取得において制御部３０３のフォーカスレンズ制御の方式が実施形態１と異なる。本実施形態の手法によれば、ウォブリング動作を行わないために実施形態１に対して制御が簡易化できるというメリットがある。なお、撮像装置１００のハードウェア構成および機能構成について、実施形態１における図１および図３と同様である。

【0045】

図７を用いて説明を行う。図７は評価値取得の際の制御部３０３の制御方式を表している。横軸はフォーカスレンズのポジションを表している。縦軸は光電変換素子１０１１の第２の閾値の値を表している。本実施形態においては評価部３０２が評価値を算出する間、フォーカスレンズのウォブリング動作は行わず、一定方向（図ではＮｅａｒからＦａｒ方向）にレンズを移動させ続ける。このとき、第２の閾値をレンズの移動速度に対して十分高速に連続でスイープさせる。つまり、フォーカスレンズの位置がほぼ同じ位置であると見なせる程度の時間で、第２の閾値を低い値から高い値までスイープさせつつ評価値の取得を完了させる。このように制御することでフォーカスレンズのポジション毎の評価値が取得でき、最も高い評価値となったポジションが合焦位置と判断できる。また、実施形態１と同様に取得した評価値と第４の閾値を比較し、第４の閾値を越えた評価値を持つポジションは合焦範囲であるとみなしてもよい。

【0046】

本実施形態の手法を用いることで、複雑なウォブリング制御を行う必要がなくなるため、システムの設計が容易になるというメリットが得られる。

【0047】

＜実施形態３：ＧＵＩのバリエーション＞
実施形態３では、ユーザーがマニュアルフォーカスでピントの調整を行う際の、制御部３０３と出力部３０４の動作が異なっている。本実施形態の手法によれば、ユーザーがマニュアルフォーカスを簡易に行うことが可能になる。なお、撮像装置１００のハードウェア構成および機能構成について、実施形態１における図１および図３と同様である。

【0048】

実施形態１ないし２の手法によれば、ユーザーはオートフォーカスを行うことによって被写体へ合焦することが可能ではあるが、特殊な状況においてはマニュアルフォーカスを追加で行う場合がある。図８（ａ）はＡＦ評価枠の中に被写体７００と７０１が存在している。ここで被写体７０１は被写体７００よりも遠方に存在していて、また被写体７００がピントを合わせたい被写体であると仮定する。このような被写体配置に対してオートフォーカスを行うと、撮像装置３００からは被写体７００と７０１のどちらにフォーカスを合わせるべきか判断できないため、場合によっては被写体７０１側にピントが引っ張られてしまう可能性がある。このような場合は、オートフォーカスの後でユーザーがマニュアルフォーカスを実施し、所望の被写体に合焦させることが必要になる。

【0049】

ここでオートフォーカスの際に、ＡＦ枠内にどういった被写体（の輝度変化）が分布していたのか、またいずれの被写体に対して合焦したのかをユーザーに明示するようにしてもよい。例えば、フォーカスレンズのポジション毎に取得した評価値のうち、上から二番目の評価値となったポジションにおいて輝度変化が発生していた画素に、異なる色でマーキングを行い、合焦位置での撮影画像に重畳表示させる。このようにすると、ユーザーは合焦位置での輝度変化と、第二位の評価値となったポジションにおける輝度変化を表示色の違いから把握することが可能になり、意志と異なる被写体に合焦しているか否かの判断が容易になる。

【0050】

本実施形態では、ユーザーがマニュアルフォーカスを行う際には、操作受付部３０５を通じてユーザーにマニュアルフォーカスモードを設定してもらう。この時図８（ｂ）のように、オートフォーカスの際のＡＦ評価枠を複数の小さいＡＦ評価枠に分割する。この分割は面積が均一になるように自動で分割してもよいし、被写体の形状に合わせて不均一な分割としてもよい。もしくはユーザーに個々のＡＦ評価枠を設定させてもよい。マニュアルフォーカスモードに入ると、制御部３０３はフォーカスレンズを常時ウォブリング動作させ、同時に光電変換素子１０１１の第２の閾値をスイープさせ、評価部３０２で評価値を取得する。評価部３０２では分割されたＡＦ評価枠毎に評価値を取得し、図に示したように、表示画面に評価値を重畳表示させる。図８（ｂ）では評価値の数字を重畳表示させているが、合焦具合が分かるようなインジケータなどを重畳表示させてもよい。図８（ｂ）から分かるように被写体７００が広く含まれるＡＦ評価枠の評価値が９９と、他のエリアよりも高いので被写体７００に合焦していることが分かる。もし狙いの被写体の評価値が他のエリアに比べて低いのであれば、狙いのＡＦ評価枠に表示された数値を見ながら、マニュアルでフォーカスレンズを移動させてあげればよい。この手法をとると、ユーザーがピントの合い具合とピント対象を認識しやすいため、容易にマニュアルフォーカスが行えるようになる。

【0051】

図８（ｃ）はさらにユーザーの視認性を向上した場合の表示部１０７の表示例を表している。この図では、ある所定の評価値以下のＡＦ評価枠は表示をマスクしてユーザーに被写体を見せないようにする。このとき被写体の代わりに数値だけを重畳表示させておくと、ユーザーがマスクされた裏側に被写体が存在することを認識できるので望ましい。また、ある所定の値よりも大きいな評価値を持つＡＦ評価枠は表示色をそれ以外のＡＦ評価枠と異ならせたり、被写体のアドレスイベントの表示色を他のアドレスイベントと異ならせたりしてもよい。このように表示することによって、ユーザーは狙いの被写体により集中することが可能になり、マニュアルフォーカスがさらに容易になる。

【0052】

以上説明したように、本実施形態の手法を用いることによってイベントベースセンサを用いた撮像装置においてオートフォーカスが可能になり、ユーザーの利便性を向上させることが可能になる。特に、レンズをウォブリングさせたり、パラメータを高頻度で振動させることによって、評価値の質が上がり、高精度にフォーカスすることができる。

【0053】

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。

【符号の説明】

【0054】

１００ 撮像装置
１０１ 撮像光学系
１０２ フォーカスレンズ
１０３ 光電変換素子
１０４ 評価部
１０５ 制御部
１０６ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】