特開 2022-173872 焦点調節装置および焦点調節方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022173872

(43)【公開日】2022-11-22

(54)【発明の名称】焦点調節装置および焦点調節方法

(51)【国際特許分類】

   G02B 7/28 20210101AFI20221115BHJP

   G03B 13/36 20210101ALI20221115BHJP

   H04N 5/232 20060101ALI20221115BHJP

【ＦＩ】

G02B7/28 N

G03B13/36

H04N5/232 127

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021079868

(22)【出願日】2021-05-10

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＶＥＲＩＬＯＧ

(71)【出願人】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100109209

【弁理士】

【氏名又は名称】小林 一任

(72)【発明者】

【氏名】山崎 幸恵

【テーマコード（参考）】

2H011

2H151

5C122

【Ｆターム（参考）】

2H011BB03

2H151DA07

2H151DA12

2H151DA13

2H151DA14

5C122DA11

5C122EA65

5C122FD01

5C122FD07

5C122FD13

5C122FH11

5C122FH12

5C122FH14

5C122HA82

5C122HB01

5C122HB06

5C122HB09

(57)【要約】

【課題】移動する対象物に対しても、動体予測演算の精度を向上させることのできる焦点調節装置および焦点調節方法を提供する。
【解決手段】光学系による撮像領域に複数の検出エリアを備え、検出エリアにて対象物の測距値を検出して対象物に対する焦点調節を行っている。この焦点調節を行うにあたって、複数の検出エリアの測距値を統計処理し、この統計処理に基づいて、統計的ばらつきを含む代表値を算出し（Ｓ１１）、この代表値の時系列の変化に基づき、対象物の移動状態を推定し（Ｓ１５）、この推定される移動状態に基づいて、対象物に関する焦点位置を予測し（Ｓ１９）、この予測された焦点位置に基づいて焦点調節を行う。
【選択図】 図３

【特許請求の範囲】

【請求項1】

光学系による撮像領域に複数の検出エリアを備え、上記検出エリアにて対象物の測距値を繰り返し生成し、上記測距値に基づき上記対象物に対する焦点調節を行う焦点調節装置において、
上記複数の検出エリアの測距値を統計処理する統計処理部と、
上記統計処理に基づいて、統計的ばらつきを含む代表値を算出し、上記代表値の時系列の変化に基づき、上記対象物の移動状態を推定する移動状態推定部と、
上記推定される移動状態に基づいて、上記対象物に関する焦点位置を予測する予測部と、
上記予測される焦点位置に基づいて焦点調節を行う制御部と、
を備えることを特徴とする焦点調節装置。

【請求項2】

上記移動状態推定部は、上記代表値の時系列の変化に基づき、上記対象物の移動方向を推定することを特徴とする請求項１に記載の焦点調節装置。

【請求項3】

上記移動状態推定部は、上記代表値の時系列の変化に基づき、上記対象物の移動速度を推定することを特徴とする請求項１に記載の焦点調節装置。

【請求項4】

上記統計処理部は、標準偏差および／または平均値を算出する請求項１乃至３のいずれか一項に記載の焦点調節装置。

【請求項5】

上記代表値は、上記平均値と上記標準偏差を含むことを特徴とする請求項４に記載の焦点調節装置。

【請求項6】

上記移動状態推定部は、上記代表値の時系列の変化に基づいて信頼性を判定し、信頼性があると判定する場合に、上記対象物の移動状態を推定して出力することを特徴とする請求項４に記載の焦点調節装置。

【請求項7】

上記統計処理部は、四分位数を適用することを特徴とする請求項１乃至３のいずれか一項に記載の焦点調節装置。

【請求項8】

上記移動状態推定部は、上記代表値を、第１四分位数または第２四分位数または第３四分位数とすることを特徴とする請求項７に記載の焦点調節装置。

【請求項9】

上記移動状態推定部は、四分位範囲の時系列の変化に基づいて信頼性を判定し、信頼性があると判定する場合に、上記対象物の移動状態を推定して出力することを特徴とする請求項７に記載の焦点調節装置。

【請求項10】

上記移動状態推定部は、上記四分位範囲のばらつき度合い、または、上記四分位範囲の大きさ、または、上記四分位範囲に含まれる有効な上記測距値の数に基づいて、信頼性を判定することを特徴とする請求項９に記載の焦点調節装置。

【請求項11】

光学系による撮像領域に複数の検出エリアを備え、上記検出エリアにて対象物の測距値を検出して上記対象物に対する焦点調節を行う焦点調節方法において、
上記複数の検出エリアの測距値を統計処理し、
上記統計処理に基づいて、統計的ばらつきを含む代表値を算出し、上記代表値の時系列の変化に基づき、上記対象物の移動状態を推定し、
上記推定される移動状態に基づいて、上記対象物に関する焦点位置を予測し、
上記予測される焦点位置に基づいて焦点調節を行う、
ことを特徴とする焦点調節方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の測距用のエリアを有し、繰り返し対象物の測距値を得て、この測距値に基づいて焦点調節を行う焦点調節装置および焦点調節方法に関する。

【背景技術】

【0002】

カメラ等の自動焦点調節装置では、移動する被写体に合焦させるために、連続的にデフォーカス量を検出し続け、その履歴情報を使って動体予測演算を行い、未来（本撮影時）の被写体の位置を予測している。しかし、様々な要因（撮影者の手ぶれ、フレーミングミス、横切り被写体、予測演算誤差等）があるため、未来の被写体の位置を精度良く予測できない場合がある。なお、本撮影時は、撮影者がレリーズ釦を全押しし、撮影を指示した際に、シャッタ等の時間遅れを考慮して実際に撮像が行われる時をいう。

【0003】

上述の不具合を解決するために、例えば、特許文献１には、連続的にデフォーカス量を検出し続け、その履歴情報を使って動体予測演算をして、未来の被写体の位置を予測する焦点調節装置が提案されている。この焦点調節装置では、選択された測距エリアのデフォーカス量が不連続であると判断された場合に、選択されたエリア以外の複数の測距エリアのデフォーカス量に基づいて、デフォーカス量が連続であるものを探索する。そして、デフォーカス量が連続する測距エリアの中から最至近のエリアを再選択して、その再選択されたエリアのデフォーカス量を用いて動体予測演算をしている。

【0004】

また、特許文献２には、複数エリアの焦点状態のバラツキに基づく所定の範囲に応じて複数エリアを複数のグループに分け、複数グループから主被写体に対応する適切なグループを選択し、選択したグループに属する焦点状態に基づいて焦点調節を行う焦点調節装置が開示されている。ただし、この特許文献２には、動体予測ＡＦについては何ら記載がない。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００９－２１０８１５号公報

【特許文献2】特開２００９－１７５３１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

像面位相差ＡＦ方式によって検出されたデフォーカス量には、低輝度や低コントラスト条件等による左右（若しくは上下）の瞳の焦点検出信号の類似度の劣化や、光学的な特性による合焦位置の僅かなズレなどによって、ある程度の測距誤差が含まれてしまう。測距エリア選択方法として、最至近と検出されているデフォーカス量を選択することが一般的である。しかし、最至近のデフォーカス量に測距誤差が含まれている場合や、誤った測距エリアを選択してしまうと、特許文献１に開示されるように、履歴情報を用いて動体予測演算を行う場合には、動体予測演算の精度が低下してしまうことがある。また、特許文献２に開示された方法は、被写体が移動している場合には、誤った測距エリアを選択して焦点調節精度が低下しやすい。

【0007】

本発明は、このような事情を鑑みてなされたものであり、移動する対象物に対して、動体予測演算の精度を向上させることのできる焦点調節装置および焦点調節方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するため第１の発明に係る焦点調節装置は、 光学系による撮像領域に複数の検出エリアを備え、上記検出エリアにて対象物の測距値を繰り返し生成し、上記測距値に基づき上記対象物に対する焦点調節を行う焦点調節装置であって、上記複数の検出エリアの測距値を統計処理する統計処理部と、上記統計処理に基づいて、統計的ばらつきを含む代表値を算出し、上記代表値の時系列の変化に基づき、上記対象物の移動状態を推定する移動状態推定部と、上記推定される移動状態に基づいて、上記対象物に関する焦点位置を予測する予測部と、上記予測される焦点位置に基づいて焦点調節を行う制御部と、を備える。

【0009】

第２の発明に係る焦点調節装置は、上記第１の発明において、上記移動状態推定部は、上記代表値の時系列の変化に基づき、上記対象物の移動方向を推定する。
第３の発明に係る焦点調節装置は、上記第１の発明において、上記移動状態推定部は、上記代表値の時系列の変化に基づき、上記対象物の移動速度を推定する。

【0010】

第４の発明に係る焦点調節装置は、上記第１ないし第３の発明において、 上記統計処理部は、標準偏差および／または平均値を算出する。
第５の発明に係る焦点調節装置は、上記第４の発明において、上記代表値は、上記平均値と上記標準偏差を含む。
第６の発明に係る焦点調節装置は、上記第４の発明において、上記移動状態推定部は、上記代表値の時系列の変化に基づいて信頼性を判定し、信頼性があると判定する場合に、上記対象物の移動状態を推定して出力する。

【0011】

第７の発明に係る焦点調節装置は、上記第１ないし第３の発明において、 上記統計処理部は、四分位数を適用する。
第８の発明に係る焦点調節装置は、上記第７の発明において、上記移動状態推定部は、上記代表値を、第１四分位数または第２四分位数または第３四分位数とする。
第９の発明に係る焦点調節装置は、上記第７の発明において、上記移動状態推定部は、四分位範囲の時系列の変化に基づいて信頼性を判定し、信頼性があると判定する場合に、上記対象物の移動状態を推定して出力する。
第１０の発明に係る焦点調節装置は、上記第９の発明において、上記移動状態推定部は、上記四分位範囲のばらつき度合い、または、上記四分位範囲の大きさ、または、上記四分位範囲に含まれる有効な上記測距値の数に基づいて、信頼性を判定する。

【0012】

第１１の発明に係る焦点調節方法は、光学系による撮像領域に複数の検出エリアを備え、上記検出エリアにて対象物の測距値を検出して上記対象物に対する焦点調節を行う焦点調節方法であって、上記複数の検出エリアの測距値を統計処理し、上記統計処理に基づいて、統計的ばらつきを含む代表値を算出し、上記代表値の時系列の変化に基づき、上記対象物の移動状態を推定し、上記推定される移動状態に基づいて、上記対象物に関する焦点位置を予測し、上記予測される焦点位置に基づいて焦点調節を行う。

【発明の効果】

【0013】

本発明によれば、移動する対象物に対して、複数の測距エリアの測距値の統計的ばらつきを含む代表値の時系列の変化に基づく移動状態に基づいて動体予測を行っているので、動体予測演算の精度を向上させることのできる焦点調節装置および焦点調節方法を提供することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。

【図2】本発明の一実施形態に係るカメラのＡＦ演算部の詳細を示すブロック図である。

【図3】本発明の一実施形態に係るカメラのＡＦ動作を示すフローチャートである。

【図4】本発明の一実施形態に係るカメラの統計処理の動作を示すフローチャートである。

【図5A】本発明の一実施形態に係るカメラの焦点位置予測処理の動作を示すフローチャートである。

【図5B】本発明の一実施形態に係るカメラの焦点位置予測処理の動作を示すフローチャートである。

【図6】本発明の一実施形態に係るカメラにおいて、対象の測距エリアにおける測距に関するデータを領域に分割することを説明する図である。

【図7】本発明の一実施形態に係るカメラにおいて、至近側の少数領域を削除することを説明する図である。

【図8】本発明の一実施形態に係るカメラにおいて、無限側の領域を、履歴情報を用いて除外することを説明する図である。

【図9】本発明の一実施形態に係るカメラにおいて、四分位数を用いて、対象の測距エリアにおける測距に関するデータを分割することを説明する図である

【図10】本発明の一実施形態に係るカメラにおいて、四分位範囲の度数分布を示す図表である。

【図11】本発明の一実施形態に係るカメラにおいて、測距に関するデータを四分位範囲に分けた場合の各差分値の時間的変化を示すグラフである。

【図12】本発明の一実施形態に係るカメラにおいて、測距に関するデータを四分位範囲に分けた場合の各差分値と閾値との比較を示す図である。

【図13】本発明の一実施形態に係るカメラにおいて、四分位数の適用の結果を示す一例である。

【図14】本発明を細胞培養装置に適用した例を示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の一実施形態について説明する。本発明は、撮像領域に複数の検出エリア（測距エリア）を有し、複数の検出エリアにおいて対象物の測距値を繰り返し、測距値を取得し、対象物に対する焦点調節を行う焦点調節装置であれば、適用することができる。ここでは、一実施形態としてデジタルカメラ（「カメラ」と称す）に適用した例について説明する。

【0016】

このカメラは、撮像部を有し、この撮像部によって対象物である被写体の像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することによって、構図やシャッタタイミングを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

【0017】

また、このカメラの撮像部が出力する画素データを用いて、複数の測距エリア毎に測距値を検出することができる（例えば、図３のＳ１参照）。そして、複数エリアの測距値のばらつきを示す統計量を算出し、このばらつきを示す統計量を含めた測距値の代表値を求める（例えば、図３のＳ５～Ｓ１１参照）。代表値の時系列変化に基づき、被写体の移動を推定する（例えば、図３のＳ１５参照）。なお、撮像部は、所定のフレームレートに応じた時間間隔で画素データを読み出し、ＡＦ演算部に出力する。

【0018】

上述のばらつきを示す統計量を求める統計手法として、本実施形態においては、四分位数を使用し、ばらつきを示す統計量を含めた代表値として第１四分位数（Ｑ１）、第２四分位数（Ｑ２）、第３四分位数（Ｑ３）、四分位範囲（Ｑ３－Ｑ１）等を使用する（例えば、図３のＳ１１、図９参照、以下Ｑ１，Ｑ２、Ｑ３を四分位数と呼ぶ）。この四分位数は、撮像したフレーム毎に複数の測距エリアの測距値に基づいて算出する。フレーム毎に四分位数を算出すると、フレーム間の四分位数Ｑ１、Ｑ２、Ｑ３同士の差分を算出する（例えば、図１１参照）。さらに、複数フレームにわたる四分位数Ｑ１、Ｑ２、Ｑ３同士の差分の変化に基づいて被写体の移動状態を推定する（例えば、図３のＳ１５、図１２参照）。この推定した被写体の移動状態を、動体予測演算する際に反映する（例えば、図３のＳ１９、図５Ａ、図５Ｂ参照）。例えば、動体予測演算時における、動体予測式次数、履歴情報数等に反映させる。

【0019】

以下、図面を用いて、本発明の一実施形態について説明する。図１は、本実施形態に係るカメラの主として電気的構成を示すブロック図である。本実施形態に係るカメラは、交換レンズ鏡筒１０とカメラ本体２０から構成されている。本実施形態においては、交換レンズ鏡筒１０とカメラ本体２０を別体に構成しているが、一般的なコンパクトカメラのように一体に構成しても勿論かまわない。また、本実施形態に係るカメラは、フォーカスレンズを含む撮影レンズを介して瞳分割した被写体像を撮像素子によって受光し光電変換して撮像データを生成し、該撮像データに基づいて焦点調節動作を行う。

【0020】

交換レンズ１０内には、撮影レンズ１１が配置されている。撮影レンズ１１は、フォーカスレンズを含む複数の光学レンズを有し、被写体Ｓの光学像を形成する。交換レンズ１０内であって、撮影レンズ１１の光路中に、絞りが配置されており、この絞りの開口を検出する絞り開口検出部が設けられている。また、交換レンズ１０内には、アクチュエータ１２およびレンズ制御部１３が設けられている。

【0021】

レンズ制御部１３は、ＣＰＵ（Central Processing Unit）、周辺回路、およびプログラム等を記憶したメモリを有する１つまたは複数のプロセッサである。レンズ制御部１３は、カメラ本体２０内のＡＦ演算部２３から、デフォーカス量を受信し、これらの情報に基づいて、アクチュエータ１２の制御を行う。アクチュエータ１２は、撮影レンズ１１内のフォーカスレンズを光軸方向に移動し、ピント合わせを行う。なお、フォーカスレンズの位置は、レンズ位置検出部（不図示）によって検出され、通信部（不図示）を通じてカメラ本体２０に送信される。

【0022】

カメラ本体２０内には、撮像素子２１、画像処理部２２、ＡＦ演算部２３、記録部２４が設けられている。撮像素子２１は、撮影レンズ１１の光軸上であって、被写体像の結像位置付近に配置されている。

【0023】

撮像素子２１は、複数の画素を備えており、各画素は被写体像（光学像）を電気信号に変換する光電変換部を有する。また、上述の複数の画素には、撮像画素と焦点検出画素の２種類がある。焦点検出画素（位相差検出画素とも称す）は、画素へ入射する光束の入射方向が制限される。一方、撮像画素は、画素へ入射する光束が焦点検出画素よりも制限されない。これらの画素は２次元的に配列されている。また、撮像素子の画素は、複数の焦点検出画素列（焦点検出エリア）が配置されている。

【0024】

前述の焦点検出画素としては、撮影レンズ１１から入射した光を２方向に分け（瞳分割）、この２方向に分けられた一方の光を受光する焦点検出画素と、他方の光を受光する焦点検出画素が設けられている。そして、一方と他方の光を受光する焦点検出画素で一対となる。撮像素子２１は、撮影レンズを通過する被写体からの光束を瞳分割し、瞳分割された光を受光する対をなす画素から成る複数の画素部を有し、複数の画素部の光電変換によって瞳分割に対応する対の画素信号列を出力する撮像素子として機能する。

【0025】

画素へ入射する光束の入射方向の制限は、焦点検出画素と、この焦点検出画素の前面に配置されたマイクロレンズと撮影レンズ１１の位置関係によって実現するようにしてもよい。すなわち、マイクロレンズの光軸に対して、焦点検出画素の位置をずらすことによって、光束の入射方向を制限することができる。このような構成を採用した撮像素子２１は、１つのマイクロレンズに対応して対をなす複数の画素から成る複数の画素部を有し、複数の画素部の光電変換によって瞳分割に対応する複数対の画素信号を出力する撮像素子として機能する。

【0026】

撮像素子２１は、焦点検出画素と撮像画素から出力される画素データ（画素値）を画像処理部２２、ＡＦ演算部２３に出力する。画像処理部２２は、画像処理回路を有し、画素データの内、撮像画素からの画素データを入力し、ライブビュー表示用画像および記録用画像のための画像処理を行う。また、画像処理部２２は、記録用に処理された画像データを記録部２４に出力する。記録部２４は、電気的書き換え可能な不揮発性メモリを有し、記録用の画像データを入力し、記録する。また、画像処理部２２は、画素データを用いて、被写体の顔を検出し、この顔の中心座標位置を出力し、また顔の中の目等の器官を検出し、この器官の特定座標位置を出力する（後述する顔検出部２２ａ）。また、画像処理部２２は、画素データを用いて、被写体追尾を行う（後述する追尾部２２ｂ）。

【0027】

ＡＦ演算部２３は、ＣＰＵ（Central Processing Unit）等の制御回路、周辺回路、およびプログラム等を記憶したメモリを有する１つ又は複数のプロセッサである。ＡＦ演算部２３は、画素データの内、焦点検出画素からの画素データを入力し、位相差ＡＦに基づくＡＦ演算を行う。ＡＦ演算にあたって、画像処理部２２から取得した中心座標位置、特定座標位置に基づいて、焦点検出.画素の位置に対応する測距エリア（焦点検出エリア）を設定し、この設定した測距エリアについて、デフォーカス量やコントラスト評価値を演算する。この演算されたデフォーカス量やコントラスト評価値に基づいて、撮影レンズ１１内のフォーカスレンズを合焦位置に駆動させる。ＡＦ演算部２３はレンズ制御部１３と協働して、予測される焦点位置に基づいて焦点調節を行う制御部として機能する。ＡＦ演算部２３の詳しい構成については、図２を用いて後述する。

【0028】

次に、図２を用いてＡＦ演算部２３の詳細について説明する。ＡＦ演算部２３は、前述したように、１つ又は複数のプロセッサから構成されており、統計処理部と、移動状態推定部と、予測部と、制御部としての機能を有する。

【0029】

図２において、画素データ２１ａは、撮像素子２１から出力された画素データ（画素値）であり、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）（不図示）等に一時記憶される。前述したように、撮像素子２１には、撮像画素と焦点検出画素（位相差検出画素）が設けられており、画像処理部２２は主として撮像画素からの画素データを処理し、ＡＦ演算部２３は、焦点検出画素からの画素データを処理する。

【0030】

画像処理部２２内には、顔検出回路を有する顔検出部２２ａが設けられている。この顔検出部２２ａは、撮像素子２１からの撮像画素の画素データに基づいて、被写体像の中に顔があるか否かを判定する。この判定の結果、顔が含まれている場合には、顔検出部２２ａは、顔の位置（中心座標位置）や大きさ等を検出する。さらに、右目、左目、鼻等の器官の検出を行い、その器官の特定座標位置も検出してもよい。顔検出部２２ａで検出された中心座標や特定座標位置は、ＡＦ演算部２３内のＡＦ測距点設定部３３に出力する。

【0031】

また、画像処理部２２内には、追尾回路を有する追尾部２２ｂが設けられている。この追尾部２２ｂは、撮像素子２１からの撮像画素の画素データに基づいて、被写体の追尾を行う。追尾部２２ｂは、例えば、顔検出部２２ａによって検出された顔の位置や、撮影者によって指定された被写体の位置や、複数の測距エリアの中で最至近距離にある被写体の位置等に基づいて、撮像素子２１から画素データが出力されるたびに、画素データを比較する。この比較結果に基づいて、追尾部２２ｂは、同一の被写体が撮像領域（撮影画面）内のどこに移動したかを検出し、これによって追尾を行う。追尾部２２ｂによって検出された追尾対象の中心座標や特定座標位置は、ＡＦ演算部２３内のＡＦ測距点設定部３３に出力する。

【0032】

ＡＦ演算部２３内に設けられたＡＦ測距点設定部３３は、顔検出部２２ａまたは追尾部２２ｂ等で検出された中心座標位置や特定座標位置に基づいて、これに対応するＡＦ測距点（測距エリア）を設定する。撮像素子２１の撮像領域（撮影画面）には複数の測距点が予め対応付けられており、この複数の測距点の中から、中心座標位置や特定座標位置の近傍にある測距点を設定し、設定した各測距点の中心座標を、位相差画素生成部３４および第２ＡＦ演算部３６に出力する。なお、測距点は、ユーザが手動で設定するようにしても勿論かまわない。

【0033】

焦点検出画素（位相差画素）生成部３４は、画素データ２１ａの内、焦点検出画素列の位相差画素データを入力する。また焦点検出画素生成部３４は、ＡＦ測距点設定部３３から測距（焦点検出）エリアの中心座標等を入力し、位相差画素データの中から設定されたＡＦ測距点付近の位相差画素データ列を生成する。焦点検出画素生成部３４が位相差画素データ列を生成するのは、ＡＦ測距点設定部３３から出力された測距エリアの中心座標に属するエリアのみに限らず、その周辺の複数のエリアにおいて、位相差画素データ列を生成する。なお、ＡＦ測距点は、顔検出部２２ａおよび追尾部２２ｂによって決められた測距点に限らず、撮影者が手動で設定してもよく、またディープラーニングによって学習した推論モデルを用いて設定してもよい。さらに、局所的な測距点に限らず、画面の広域でもよく、画面内の測距点の全てであってもい。この生成された位相差画素データは、第１ＡＦ演算部３５に出力される。

【0034】

第１ＡＦ演算部３５は、デフォーカス量演算部３５ａと信頼性評価部３５ｂを有する。デフォーカス量演算部３５ａは、左右開口の位相差画素データ列を用いて、位相差を演算する。デフォーカス量演算部３５ａは、公知の位相差法に基づいて、フォーカスレンズのデフォーカス量を算出する。すなわち、位相差画素生成部３４は、左開口の位相差画素が出力した位相差画素データ列と、右開口の位相差画素が出力した位相差画素データ列を出力するので、デフォーカス量演算部３５ａは、２つの位相差画素データ列をシフトさせながら相関度を算出し、この相関度が最大となるシフト量に基づいて、フォーカスレンズのデフォーカス量を算出する（例えば、特開２０１８－０９７２５３号公報の図５ないし図７参照）。

【0035】

信頼性評価部３５ｂは、デフォーカス量演算部３５ａが算出したデフォーカス量の信頼性を評価する。デフォーカス量の信頼性の評価は、公知の方法を使用すればよい。例えば、相関度が最大となるシフト量付近における相関度の傾きに基づいて、デフォーカス量の信頼性を評価してもよい（例えば、特開２０１８－０９７２５３号公報の図７参照）。

【0036】

第１ＡＦ演算部３５は、デフォーカス量演算部３５ａによって算出された各測距エリアにおけるデフォーカス量と、信頼性評価部３５ｂによって算出された信頼性の評価値を、第２ＡＦ演算部３６に出力する。

【0037】

第２ＡＦ演算部３６は、統計処理部３６ａと、移動状態推定部３６ｂと、測距エリア選択部３６ｃを有する。統計処理部３６ａは、デフォーカス量演算部３５ａにおいて、算出された各測距エリアのデフォーカス量を合焦となるフォーカスレンズ位置に変換したレンズパルス値に対して統計処理を施す。統計処理としては、本実施形態においては、四分位数を求めている（例えば、図３のＳ１１、図９等参照）。四分位数は、データを小さい順に並び替え、データの数で４等分したときの仕切りの値をいう。四分位数については、図９を用いて後述する。また、四分位数を求めるに先立って、本実施形態においては、算出された複数のレンズパルス値を複数のレンズパルス領域に分割し（後述する図３のＳ５、図６等参照）、分割されたレンズパルス領域の内、至近側と無限側のレンズパルス領域を除外し（後述する図３のＳ７、Ｓ９、図７、図８等参照）ている。このレンズパルス領域分割と至近側・無限側除外処理が施されたレンズパルス値のデータを用いて、四分位数を求めている。統計処理部３６ａが行う統計処理の動作については、図４を用いて後述する。

【0038】

統計処理部３６ａは、複数の検出エリアの測距値を統計処理する統計処理部として機能する（例えば、図３のＳ５～Ｓ１１、図４、図６～図９参照）。上述の統計処理部は、四分位数を適用する。統計処理部は、標準偏差および／または平均値を算出する。本実施形態においては、統計処理部３６ａは、四分位数を算出しているが、四分位数に限らず、標準偏差や平均値を算出し、この値を用いて、ばらつきを示す統計量を含めた代表値（たとえば、平均値±標準偏差）を用いて被写体の動きを推定してもよい。

【0039】

移動状態推定部３６ｂは、被写体の動きを推定する。この被写体の動きを推定するにあたって、移動状態推定部３６ｂは、統計処理部３６ａによって算出された四分位数を用いる。統計処理部３６ａは、１フレーム分の画素データが出力される毎に、四分位数を算出するので、移動状態推定部３６ｂは、前回と今回のフレームにおける四分位数（Ｑ１、Ｑ２、Ｑ３）の差分の変化に基づいて、被写体の動きを推定する（例えば、図３のＳ１５参照）。この推定は、四分位数の信頼性が高い場合に行う（図３のＳ１３参照）。被写体の動きの推定については、図１１ないし図１３を用いて後述する。

【0040】

移動状態推定部３６ｂは、統計処理に基づいて、統計的ばらつきを含む代表値を算出し、代表値の時系列の変化に基づき、対象物の移動状態を推定する移動状態推定部として機能する（例えば、図３のＳ１５、図１１～図１３参照）。本実施形態においては、代表値として、第１～第３四分位数等の四分位数を利用しているが、複数の検出エリアの測距値を統計処理した値であれば、四分位数以外の値、例えば、平均値や標準偏差等の値を含む代表値であってもよい。つまり、代表値は、平均値と標準偏差を含む値であってもよい。例えば、統計的なばらつきは、標準偏差や平均偏差であり、統計的なばらつきを含む代表値は、平均値±標準偏差や平均値±平均偏差であってもよい。

【0041】

上述の移動状態推定部は、代表値の時系列の変化に基づき、対象物の移動方向を推定する（例えば、図５Ａ、図５Ｂ、図１２参照）。本実施形態においては、統計的ばらつきを含む代表値として第１～第３四分位数等の四分位数（Ｑ１、Ｑ２、Ｑ３）を使用する。この代表値の時系列の変化として、異なる時刻での差分値を使用し、この差分値に基づいて移動方向を推定している（例えば、図１２参照）。移動状態推定部は、代表値の時系列の変化に基づき、対象物の移動速度を推定する（例えば、図１２参照）。本実施形態においては、統計的ばらつきを含む代表値として第１～第３四分位数等の四分位数（Ｑ１、Ｑ２、Ｑ３）を使用する。この代表値の時系列の変化として、異なる時刻での差分値を使用し、この差分値と所定の閾値を比較することによって、被写体の移動速度を推定している（例えば、図１２参照）。

【0042】

上述の移動状態推定部は、代表値の時系列の変化に基づいて信頼性を判定し、信頼性があると判定する場合に、対象物の移動状態を推定して出力する（例えば、図３のＳ１３、図１０参照）。移動状態推定部は、代表値を、第１四分位数または第２四分位数または第３四分位数とする。移動状態推定部は、四分位範囲の時系列の変化に基づいて信頼性を判定し、信頼性があると判定する場合に、対象物の移動状態を推定して出力する（例えば、図３のＳ１３、Ｓ１５、図１０～図１３参照）。移動状態推定部は、四分位範囲のばらつき度合い、または四分位範囲の大きさ、または四分位範囲に含まれる有効な測距値の数に基づいて、信頼性を判定する（例えば、図３のＳ１３参照）。

【0043】

測距エリア選択部３６ｃは、デフォーカス量演算部３５ａによって算出された各測距エリアのデフォーカス量を変換したレンズパルス値に基づいて、フォーカスレンズが焦点調節する際に使用する測距エリアを選択する（例えば、図３のＳ１７参照）。測距エリアの選択は、複数の測距結果の中で最至近データを有するエリア、撮影者が手動で選択したエリア、顔が検出されたエリア、従来の動体予測に基づき選択されたエリア等、公知の手法を用いて行う。なお、測距エリア選択部３６ｃは、単一の測距エリアにおけるデータに限らず、関係する複数の測距エリアのデータを加工したデータを、出力するようにしてもよい。

【0044】

第２ＡＦ演算部３６は、測距エリア選択部３６ｃによって選択された測距エリアのデフォーカス量を変換したレンズパルス値と、移動状態推定部３６ｂによって推定された被写体の動きを、焦点位置予測部３７に出力する。焦点位置予測部３７は、選択エリアのデフォーカス量を変換したレンズパルス値の履歴に基づいて、本撮影時のタイミングにおいて、合焦となるフォーカスレンズの位置を算出（予測）する。この予測値に基づいて、レンズ指示値（レンズパルス値）を交換レンズ１０内のレンズ制御部１３に送信する。焦点位置予測部３７は、公知の方法によって本撮影時のフォーカスレンズの位置を予測する動体予測を行うこともできる。すなわち、公知の動体予測とは、フォーカスレンズの位置（レンズパルス値）の履歴と動体予測演算式を用いて、本撮影時のフォーカスレンズの位置を算出する方法である。

【0045】

また、本実施形態における焦点位置予測部３７は、移動状態推定部３６ｂによって推定された被写体の移動状態を用いて、本撮影時において合焦となるフォーカスレンズの位置を予測することができる。この予測については、図５Ａおよび図５Ｂを用いて後述する。焦点位置予測部３７は、推定される被写体の移動状態に基づいて、対象物に関する焦点位置を予測する予測部として機能する（図３のＳ１９、図５Ａ、図５Ｂ参照）。

【0046】

次に、図３に示すフローチャートを用いて、本実施形態におけるＡＦ動作について説明する。このフローは、不揮発性メモリに記憶されたプログラムに基づいてＡＦ演算部２３内に設けられたＣＰＵ等が図１、２に示す各部を制御することによって実行する。

【0047】

レリーズ釦が半押し（１ｓｔレリーズ）される等、撮影者の撮影指示操作がなされ、撮像素子２１が１フレーム分の画像データを取得すると、図３に示すＡＦ動作が開始する。ＡＦ動作が開始すると、まず、測距演算を行う（Ｓ１）。ここでは、画像処理部２２から出力された中心座標／特定座標に基づいて、ＡＦ測距点設定部３３が設定した各測距エリアの中心座標／範囲を設定する。位相差画素生成部３４は、この設定に基づく左右開口ＡＦ画素データ列を生成し、第１ＡＦ演算部３５内のデフォーカス量演算部３５ａはＡＦ画素データ列を用いて各測距エリアのデフォーカス量を算出する。デフォーカス量の算出は、公知の位相差ＡＦ法によって行う（例えば、特開２０１８－０９７２５３号公報の図５ないし図７参照）。なお、後述するように、ステップＳ１９における処理が終了すると、レリーズ釦の操作が維持されていれば、ステップＳ１に戻り、測距演算を繰り返す。

【0048】

測距演算を行うと、次に、信頼性判定および除外処理を行う（Ｓ３）。ここでは、信頼性評価部３５ｂが、ステップＳ１において算出されたデフォーカス量の信頼性を評価する。信頼性は、例えば、デフォーカス量を算出する際に求めた相関度が最大となるシフト量付近における相関度の傾きに基づいて評価する（例えば、特開２０１８－０９７２５３号公報の図７参照）。信頼性の評価値が所定値よりも低く信頼性がないと判断される測距エリアからのデータを除外し、以後の処理には使用しない。

【0049】

ステップＳ３において、信頼性判定および除外処理を行うと、統計処理部３６ａがステップＳ５ないしＳ１１において統計処理を行う（この統計処理の詳しい動作については図４を用いて後述する）。この統計処理において、四分位数を算出するが、四分位数の算出にあたって、まず、領域分割を行う（Ｓ５）。本実施形態においては、四分位数の算出の対象とするレンズパルス値の数を減らして処理時間を短縮するために、主要被写体以外の雑被写体（横切り被写体や背景等）に対応すると推測されるレンズパルス値を除外する。そのために、対象の測距エリア群のレンズパルス値の分布と閾値から判断して複数のレンズパルス領域に分割している。そして、撮影者が手動で設定した測距エリア、若しくはカメラ内で自動設定された追尾に対応する測距エリアや、顔検出やディープラーニング等による認識領域に含まれる測距エリア群や、撮影画面内の全ての測距エリア等対象となる測距エリアの各デフォーカス量をレンズパルス値に変換する。レンズパルス値は、前述のようにデフォーカス量を合焦に対応するフォーカスレンズの位置に変換した値をいう。レンズパルス値に変換すると、全てのレンズパルス値を昇順に並び替えをする。レンズパルス値を並び替えると、次に、隣接したレンズパルス値の差分を算出する。そして、その差分値の大きい方から上位の所定数の差分値を閾値と比較して、閾値以上あるならば、その差分値に対応するレンズパルス値をレンズパルス領域の境界線と設定する。

【0050】

図６を用いて領域分割について具体的に説明する。図６の縦軸はレンズパルス値であり、縦軸の下が無限側であり上が至近側である。枠Ｖｍ内の白丸は、１回（フレーム）の測距（焦点検出）により生成された各測距エリアのデフォーカス量をレンズパルスに変換した値であり、このレンズパルス値（目標レンズパルス位置の値）をプロットしている。レンズパルス値をプロットすると、次に、隣接している２つのレンズパルス値の間の差分値を算出する（この値を差分パルス値という）。

【0051】

差分パルス値が求まると、この差分パルス値の大きい順に、差分パルス値と所定の閾値を比較し、閾値以上か判定する。この判定は、処理時間を短縮するために差分パルス値が大きい方から所定の数だけ行う。図６に示す例では、差分パルス値が大きい方から上位１～上位５までについて判定を行い、上位６と上位７については判定を行わない。図６において、上位１～４の差分パルス値は閾値以上であるので境界（線）とし、上位５の差分パルス値は閾値未満であるので境界（線）としない。

【0052】

判定の結果、差分パルス値が閾値以上離れている２つのレンズパルス値の間に境界線を引き、各測距エリアのレンズパルス値を複数のレンズパルス領域に分割する。図６に示す例では、領域０～４の５つの領域に分割される。各レンズパルス領域内のレンズパルス値は、差分パルス値が所定閾値内にあることから、同じ領域内のレンズパルス値に対応する対象物までの距離は、所定範囲内にあり、同一対象物である判断する。

【0053】

ステップＳ５において、レンズパルス領域に分割すると、次に、至近側の領域除外を行う（Ｓ７）。レンズパルス領域分割後、さらに主要被写体に関わるレンズパルス領域以外を除外してから、四分位数を適用させる。主要被写体以外の情報も含まれると四分位数を適用した結果の信頼性が低くなるからである。至近側に関しては、四分位数の履歴情報を使って設定したあるレンズパルス値（目標レンズパルス位置）以上に、至近側に位置しているレンズパルス領域で、このレンズパルス領域に含まれるエリア数が一定数未満の少数である場合には、横切り被写体などの雑被写体や、測距誤差を含んだレンズパルス領域であると判断して、除外する。

【0054】

図７は、至近側の少数レンズパルス領域の除外の一例であり、至近側の少数レンズパルス領域の除外について説明する。図７においても、縦軸はレンズパルス値であり、縦軸の下が無限側であり上が至近側である。枠Ｖｍ１内の白丸は、図６と同様に、今回のフレームにて算出された各測距エリアのレンズパルス値をプロットしてある。図７に示す例では、各測距エリアのレンズパルス値がレンズパルス領域０～領域３に４分割されている。

【0055】

図７において、Ｑａ０は、前回のフレームにて算出された四分位数を示す箱ひげ図である（四分位数については図９を用いて詳述する）。この四分位数の最大値Ｍａｘと、今回のフレームにて算出された各レンズパルス値を比較すると、図７に示す例では、レンズパルス領域１および領域０に属するレンズパルス値は、いずれも最大値Ｍａｘ以上である。このうち、レンズパルス領域１に属するレンズパルス値の数は、一定数（例えば３）以上あるが、レンズパルス領域０に属するレンズパルス値の数は、一定数以上ない。レンズパルス領域０に含まれるレンズパルス値の数が一定数に足りないのは、このレンズパルス領域０のレンズパルス値に対応する被写体が横切り被写体等の雑被写体であったり、レンズパルス値が大きな測距誤差を含んでいる可能性が高いと判断される。このことから、レンズパルス領域０に属するレンズパルス値は、今回のフレームの四分位数の算出にあたって除外する。

【0056】

ステップＳ７において、至近側のレンズパルス領域除外を行うと、次に、無限側のレンズパルス領域除外を行う（Ｓ９）。ここでは、今回のフレームでの最大のレンズパルス値と四分位数の履歴情報（過去の所定のフレーム数分）とを比較して除外する。また、前回フレームまでに推定されている被写体の動きの推定結果（後述するステップＳ１５参照）も参考にして、明らかに無限側に検出されているレンズパルス領域があれば除外する。なお、所定フレーム数に応じたタイミングで、撮像素子２１は１画面分の画素データの読み出しを行っており、「今回のフレーム」は、直近のタイミングで読み出された１画面分の画素データである。

【0057】

また、無限側のレンズパルス領域除外としては、今回フレームの最大値からある一定値を減算した値よりも小さいレンズパルス値の領域を除外する。さらに至近側と同様に、レンズパルス領域に含まれるレンズパルス値の数が少数である場合は、そのレンズパルス領域を除外する。これらの処理を行うことによって、主要被写体の背景被写体等を分離し除外している。

【0058】

図８は、無限側のレンズパルス領域の除外の一例であり、この図８を用いて、無限側のレンズパルス領域の除外について説明する。図８においても、縦軸はレンズパルス値であり、縦軸の下が無限側であり上が至近側である。また、図８の横軸は時間の経過を示す。枠Ｖｍ２内の白丸は、図６と同様に今回のフレームの、各測距エリアのレンズパルス値の例であり、レンズパルス領域０～領域１に分割されている。

【0059】

図８において、箱ひげ図Ｑａ１～Ｑａ５は、過去のフレームに対応する四分位数の履歴を示し、箱ひげ図Ｑａ１は前回のフレームにおける四分位数であり、箱ひげ図Ｑａ２は前々回のフレームにおける四分位数である。３フレーム前のフレームにおいて四分位数は無効であり（箱ひげ図Ｑａ３で示す）、４フレーム前、５フレーム前の四分位数はそれぞれ箱ひげ図Ｑａ４、Ｑａ５である。図８に示す例では、今回フレームＶｍ２内のレンズパルス値の最大値は、前回フレームＱａ１の四分位数の最小値ＬｓｔＭｉｎよりも小さい（無限側にある）ことから、レンズパルス領域０、領域１を除外している（図４のＳ２７、Ｓ２９参照）。このように、今回フレームで有効なレンズパルス値が存在しない場合は、主要被写体が対象の測距エリアから外れてしまった状態と判断される。このような状態では、フォーカスレンズを移動させないロックオン処理を行い、次回のフレームで有効なレンズパルス値が生成されるのを待つ動作を行う。これにより、誤った位置へフォーカスレンズを移動させることを防止する。

【0060】

図８において、枠Ｖｍ３内の白丸は、図６と同様に、今回のフレームの各測距エリアのレンズパルス値の別の例であり、レンズパルス領域０～領域１に分割されている。この別の例では、今回フレームの最大値ＰｒｅＭａｘからある一定値Ｔｈａを減算した値よりも無限側にレンズパルス領域１が位置し、このレンズパルス領域１を除外している（図４のＳ３１、Ｓ３３参照）。このように、今回フレームの最大レンズパルス値との差がＴｈａより大きいレンズパルス値は、不要な背景と判断され除外される。

【0061】

ステップＳ５～Ｓ９において、各測距エリアにおいて取得したレンズパルス値に基づいて、各レンズパルス領域に分割し、各レンズパルス領域に対して、含まれるレンズパルス値の数が少ないと判断した至近側のレンズパルス領域を削除する。また四分位数の履歴情報や事前に設定されている閾値と比較して無限側のレンズパルス領域を削除している。これらの処理によって、主要被写体以外に対応するレンズパルス値を精度良く除外でき、主要被写体に対応するレンズパルス値だけを残すことができる。次に、この主要被写体に対応するレンズパルス値を用いて、今回のフレームの四分位数を算出する（Ｓ１１）。

【0062】

このステップＳ１１において、算出された複数のレンズパルス値を昇順に並べて、四分位数を適用させる。四分位数とは、全データの昇順の配列の中央値Ｑ２（第２四分位数）を求めて、その値を境界として領域を２つに分割し、さらに２つに分けたそれぞれの領域内で中央値Ｑ１（第１四分位数）とＱ３（第３四分位数）を求めて、その値を境界としてさらに領域を分割して、３つの境界と４つの区間に分ける統計手法である。四分位数は、箱ひげ図として図示でき、図９に箱ひげ図Ｑａのイメージを示す。箱ひげ図Ｑａにおいて、９個の白丸は、図６等と同様に、各測距エリア（一例として９点）において取得したレンズパルス値を示す。

【0063】

値Ｑ１～Ｑ３の値によって箱の大きさが決められる。箱の大きさ、すなわち四分位範囲ＩＱＲ（Interquartile Range）は、Ｑ３－Ｑ１（値Ｑ３から値Ｑ１の範囲）である。また、箱の大きさ（ＩＱＲ）と予め設定された閾値Ｔｈを元に、ひげＷｈ１、Ｗｈ２の長さが、Ｗｈ１＝ＩＱＲ×Ｔｈ、Ｗｈ２＝ＩＱＲ×Ｔｈによって決定される。さらに、ひげＷｈ１、Ｗｈ２の長さ以内に存在するレンズパルス値の最小値をＭｉｎ（四分位数による最小値）、最大値をＭａｘ（四分位数による最大値）として設定し、四分位数による最大値と最小値の間（Ｍａｘ－Ｍｉｎ）を範囲Ｒとする。ひげＷｈ１、Ｗｈ２の長さよりも外側に存在するレンズパルス値は全て外れ値Ｏｔとして除外される。

【0064】

Ｍｉｎ（範囲内の最小値、無限側）、Ｑ１（２５％位置）、Ｑ２（５０％位置、中央値）、Ｑ３（７５％位置）、Ｍａｘ（範囲内の最大値、至近側）の値と、現在のレンズパルス値等の情報を時系列データとして保持しておき、それらの履歴情報を使用して、被写体（対象物）の移動状態（動き）を推定する。３つの境界と４つの区間に分けるため、レンズパルス値の数（対応する測距エリア数）は一定数以上（最低でも５個以上）あることが望ましい。

【0065】

ステップＳ１１において、四分位数を算出すると、次に、四分位数の信頼性を判定する（Ｓ１３）。ここでは、移動状態推定部３６ｂが、ステップＳ１１において算出した四分位数の信頼性を判定する。まず、算出した四分位数のばらつき度合を調べるために、ある一定期間に取得された複数フレームに対応する四分位範囲の履歴情報を、例えば、図１０に示すような度数分布表（ヒストグラム）に集計する。なお、統計処理部３６ａが四分位数の信頼性を判定するようにしてもよい。

【0066】

図１０において、一定期間に取得された四分位範囲（IQR=Q3－Q1：図９を参照）の値を事前に設定しておいた度数分布表の階級の範囲と比較して、該当した階級にカウントし、相対度数（＝その階級における回数／全回数）を算出する。図１０では、階級はＦδを基準に設定し、Ｆは絞り値、δは許容錯乱円径である。例えば、回数が最も多い上位２階級の相対度数の合計が、閾値以上ならば、一定期間に取得された四分位範囲のばらつきが小さく、すなわち四分位数のばらつきが小さく、信頼性が高いと判断する。図１０に示す例では、階級ａ～ｂ以下、ｂ～ｃ以下の２階級で相対度数の合計が０．８となっており、この相対度数と閾値（例えば、０．７）を比較し信頼性が高いと判定することができる。

【0067】

さらに、フレーム毎に、四分位範囲ＩＱＲの値を閾値と比較して、閾値以下で十分に狭い範囲であるならば、四分位数を適用したレンズパルス値（測距エリア）が主要被写体のみに対応していると想定して、そのフレームの四分位数は信頼性が高いと判断してもよい。四分位範囲ＩＱＲが閾値よりも大きい場合は、レンズパルス値のばらつきが大きく、主要被写体以外の背景も含む場合や主要被写体自体に奥行がある場合が想定され、信頼性が低い状態と判断できる。

【0068】

また、四分位数に基づく範囲Ｒ（max－min）の値は、四分位範囲ＩＱＲに比べてばらつきが大きくなる傾向がある。そこで、四分位範囲ＩＱＲの値との相関関係を見ることで、信頼性判定に利用できる。例えば、四分位範囲ＩＱＲの最頻値（図１０：ａ～ｂ以下、ｂ～ｃ以下）に対して、範囲Ｒの最頻値（ｂ～ｃ以下）のほうが大きいまたは同じ階級となっていれば、四分位数の信頼性が高いと判断する。

【0069】

上述した方法以外にも、各フレームの四分位範囲に含まれる有効なレンズパルス値（測距エリア）の数や、複数の連続するフレームのうち四分位数を適用できているフレーム数の割合等の情報も使用し、四分位数およびその適用結果の信頼性を、複合的に判断してもよい。四分位数の信頼性が低い場合には、そのフレームにおける四分位数を被写体の動きの推定へ使用しない（例えば、図８におけるＱａ３参照）。

【0070】

ステップＳ１３において、四分位数の信頼性を判定すると、次に、被写体の動きを推定する（Ｓ１５）。ステップＳ１９における焦点位置の予測にあたって、被写体の動きを考慮する。そこで、このステップＳ１５において、移動状態推定部３６ｂが、ステップＳ１１において算出した四分位数を用いて、被写体の動きを推定する。

【0071】

ステップＳ１５において、短期間での被写体の動きを推定するために、移動状態推定部３６ｂは、連続する２フレームの四分位数Ｑ１～Ｑ３を用い、四分位数による最小値Ｍｉｎや最大値ＭａｘはＱ１～Ｑ３と比較してばらつきが大きくなる傾向があるため、使用しない。今回フレームと前回フレーム間でそれぞれのＱ１～Ｑ３の差分を算出する。差分値が０付近であれば、フレーム間での被写体の動きが少なく、静止体であると推定できる。また、差分値がプラスならば、近寄り方向に移動する被写体であると推定できる。差分値がマイナスならば、遠ざかり方向に移動する被写体であると推定できる。さらに、差分値が大きければ被写体の移動速度が高速、差分値が小さければ低速であると推定できる。

【0072】

長期間での被写体の動きを推定するために、移動状態推定部３６ｂは、上述した短期間（連続２フレーム間）で推定した複数の被写体の動きの推定結果を一定期間内の２フレームより多い複数フレームに適用する。具体的には、推定した複数の連続２フレーム間の被写体の動きの連続性を解析することにより、静止した被写体なのか、近寄り方向と遠ざかり方向のどちらかに動く被写体なのか、不規則に動く被写体なのか、等を判断する。

【0073】

図１１にＱ１～Ｑ３の差分値の時間的変化の一例を示す。図１１に示すグラフの横軸はフレーム数（経過時間）に対応しており、例えば、Ｆ１は１枚目のフレームを撮像したタイミングであり、Ｆ２は２枚目のフレームを撮像したタイミングである（Ｆ３～Ｆ１２も同様）。またグラフの縦軸はＱ１、Ｑ２、Ｑ３の差分値レベルを示し、タイミングＦ２におけるＱ１差分は、タイミングＦ２とＦ１におけるＱ１の差分値であり、タイミングＦ２におけるＱ２差分は、タイミングＦ２とＦ１におけるＱ２の差分値であり、タイミングＦ２におけるＱ３差分は、タイミングＦ２とＦ１におけるＱ３の差分値である。図１１のグラフの各点が、今回と前回の２フレーム間のＱ１、Ｑ２、Ｑ３それぞれの差分値を示している。Ｑ１～Ｑ３の差分値が所定の連続するフレーム間でどう変化しているかを判断することによって、長期的な被写体の動きを推定することができる。

【0074】

図１１に示す例では、前半の期間Ｔ１（略タイミングＦ２～Ｆ５）ではＱ１～Ｑ３差分値が、０をまたいで正負に変化しており、被写体は不規則に動いていると判断することができる。また、後半の期間Ｔ２（略タイミングＦ６～Ｆ１２）では、Ｑ１～Ｑ３差分値が連続して正となっており、被写体は近寄り方向に動いていると、総合的に判断することができる。

【0075】

図１２は、Ｑ１～Ｑ３の差分値と閾値（矢印の範囲）を比較して、ｉ～ｖのどの状態に該当するか判定することによって、被写体の動きを推定する方法を示している。図１２において、状態の判定は、優先順位の高いｉからｉｖの順に実行される。Ｑ３の矢印は、Ｑ３差分値が該当するか判定するためのレンズパルス値の範囲を示し、Ｑ２orＱ１の矢印は、Ｑ２の差分値とＱ１の差分値が該当するか判定するための範囲を示す。Ｑ１orＱ２の矢印は、Ｑ２orＱ１の判定においてＱ２の差分値が該当する場合にはＱ１の差分値が該当するか判定するための範囲とその判定を行うことを意味する。一方、Ｑ２orＱ１の判定においてＱ１の差分値が該当する場合にはＱ２の差分値が該当するか判定するための範囲とその判定を行うことを意味する。また、横軸は、レンズパルス値を、絞り値Ｆと許容錯乱円δの積（許容深度に相当）を単位とする数値に変換した値で示している。図１１では差分値をレンズパルス値で示しているが、図２１ではレンズパルス値をＦ×δを単位とする数値に変換して示している。

【0076】

図１１において、例えば、２フレーム目のタイミングＦ２では、Ｑ１～Ｑ３の差分値はいずれも０付近（図１２のｋ３～ｋ２の範囲内）なので、図１２における「ｉｉｉ．静体」に該当すると判断する。また、図１１の４フレーム目のタイミングＦ４では、Ｑ１～Ｑ３の差分値が＋方向（図１２のｋ２～ｋ０範囲内）であることから、図１２の「ｉｉ．近寄り方向の動体（低速移動）」に該当すると判断する。このように、複数フレームにわたるＱ１、Ｑ２、Ｑ３の各差分値の時系列の変化に基づいて、被写体の動き（移動方向、移動速度）を推定することができる。図１２の方法は、１例であり５段階に分類しているが、さらに閾値を細かく設定しより多段階に分類してもよい。

【0077】

図１３は、四分位数を適用した結果を時系列順にグラフ化した例を示す。グラフの縦軸はレンズパルスであり、横軸はフレーム数に対応した時刻である。この図１３は、四分位数Ｑ１～Ｑ３、Ｍｉｎ、Ｍａｘの時間的変化を示し、斜め線を施した合焦範囲ＩＦＲは、実際の被写体の合焦範囲を示す。図１３に示す例では、被写体の動きが無限側から至近側方向に一定速で進んでいる場合である。この例では、Ｑ３やＱ２の値が、実際の被写体の合焦範囲に位置しており、Ｑ３の差分値を示すＱ３のグラフの傾きは合焦範囲ＩＦＲの傾きとほぼ一致している。

【0078】

ステップＳ１５において、被写体の動きを推定すると、次に、測距エリアを選択する（Ｓ１７）。ここでは、測距エリア選択部３６ｃが測距エリアを選択する。測距エリアの選択の方法として、一般的に行われている方法、例えば、除外されずかつ信頼性がある測距エリアのレンズパルス値の中で、最至近のレンズパルスを示すエリアを選択してもよく、また撮影者が手動で指示した測距エリアを追跡してもよく、また顔検出結果等に基づいて選択してもよい。また、動体予測を行う場合は、動体予測式に最も近いレンズパルス値を示すエリアを選択してもよい。ここで、選択された測距エリアのデフォーカス量は、焦点位置予測部３７に出力される。なお、焦点位置予測部３７に出力されるデフォーカス量は、選択された１つの測距エリアのデータでもよく、また複数の測距エリアが選択された場合には、これらの測距エリアのデータを１つに加工してもよい。

【0079】

測距エリアを選択すると、次に焦点位置予測処理を行う（Ｓ１９）。ここでは、第２ＡＦ演算部３６から出力された選択エリアのデフォーカス量と、被写体の動きの推定に基づいて、焦点位置予測部３７が、本撮影のタイミングにおける追跡対象の被写体の焦点位置を予測する。動体予測演算では、常にある一定数のデフォーカス量の履歴情報を使うため、被写体の動きが急峻に変化した場合（たとえば遠ざかりから近寄りに変化）に、直ぐに対応するのが難しい。そこで、四分位数の信頼性判定結果（Ｓ１３参照）と、推定した被写体の動きの判断結果（Ｓ１５参照）を使用して、動体予測演算の精度を向上させている。動体予測演算の精度を向上させる方法として下記（１）～（４）の全て又はいずれかを実施する。なお、焦点位置予測処理の詳しい動作については、図５Ａおよび図５Ｂを用いて後述する。

【0080】

（１） 四分位数を用いて推定した被写体の動きと、動体予測演算によって算出した予測式の傾き（被写体の動きを示す）とを比較して、被写体の進行方向が異なる場合には、予測式の算出方法を１次式ではなく過去の所定回の平均や現在値（最近に取得した値）を選択する（図５ＢのＳ５５、Ｓ５７参照）。この状態の場合には、デフォーカス量の履歴情報が誤っている可能性があることから、予測位置を過予測する恐れのある１次式を使うのではなく、平均値や現在値（最近に取得した値）を使用する。これによって、誤った動体予測ＡＦを防止させることができる。

【0081】

（２） 四分位数の適用結果の信頼性が高い場合に、被写体の動きに変化（移動から静止、静止から移動、若しくは近寄りから遠ざかる、遠ざかるから近寄る移動等）があったと判定された場合には、動体予測演算で算出する際に使用する履歴情報の数を減らす（図５ＡのＳ４１、Ｓ４３参照）。動体予測演算は、過去のデフォーカス量を用いて、所定時間後（本撮影時のタイミング）における被写体のデ合焦位置を予測する。このため、一般的には過去のデフォーカス量のデータ数が多い方が、精度が向上する。しかし、被写体の動きが変化している可能性が高い場合には、動体予測演算に使うデフォーカス量のデータ数を減らし、過去側の履歴情報を使わないことで、最新側の情報を使って精度の良い予測位置を算出することができる。

【0082】

（３） 四分位数の信頼性が高い場合に、四分位数を用いて推定した被写体が高速移動していると判定される場合に、動体予測演算の予測式を１次式ではなく２次式に変える（図５ＢのＳ５９、Ｓ６１参照）。この状態では、被写体の動きが高速であるので、予測式は１次式ではなく２次式を使用することによって、移動方向により大きく進んだ適切な予測位置に算出することができる。

【0083】

（４） 四分位数の適用結果の信頼性が高い場合に、四分位数を用いて推定した被写体の動きが低速と判定される場合には、動体予測演算の予測式を２次式ではなく１次式に変える（図５ＢのＳ５９、Ｓ６３参照）。この状態は、被写体の動きが低速であるので、予測式は２次式ではなく１次式を使用することによって、高精度な予測位置を算出することができる。

【0084】

ステップＳ１９において、動体予測を行うと、ＡＦ動作のフローを終了する。撮影者がレリーズ釦を半押した状態が維持されたままであり、撮像素子２１が１フレーム分の画像データを取得すると、再びステップＳ１～Ｓ１９の処理を繰り返し行う。また、撮影者がレリーズ釦を全押しすると、レンズ制御部１３はステップＳ１９において予測した焦点位置にフォーカスレンズを移動させ、本撮影を行う。

【0085】

このように、ＡＦ動作のフローでは、四分位数を求め（Ｓ１１）、この四分位数を用いて被写体の動きを推定し（Ｓ１５）、この推定された被写体の動きを用いて動体予測を行っている（Ｓ１９）。四分位数は、膨大な数の測距エリア（レンズパルス値）があっても演算規模を小さくすることができるので、短時間で演算することができる。この四分位数を用いて被写体の動きを高速な処理で精度よく推定可能であることから、動体予測ＡＦを精度よく行うことが可能となる。

【0086】

また、ＡＦ動作のフローでは、四分位数を求めるに先立って、レンズパルス領域分割を行い、雑被写体や測距誤差と思われるようなレンズパルス値を除去しているので（Ｓ５～Ｓ９参照）、四分位数を精度よく算出することができる。さらに、算出された四分位数の信頼性を評価し（Ｓ１３参照）、信頼性の低い四分位数を使用しないようにしているので、精度よく被写体の動きを推定することができる。

【0087】

なお、ＡＦ動作のフローにおいて、四分位数を算出する前に、レンズパルス領域分割を行い（Ｓ５参照）、至近側や無限側の不要なレンズパルス領域を除外する等の前処理を行っていた（Ｓ５~Ｓ９参照）。これは精度よく、四分位数を算出するためであるが、この前処理を実行しなくてもある程度の精度が確保できるのであれば、適宜省略してもよく、またこの前処理の内容を簡便化してもよい。また、ステップＳ１５において被写体の動きを推定する前に、四分位数の信頼性を判定していたが、ステップＳ１１において、ある程度の信頼性を確保した四分位数が算出できるのであれば、四分位数の信頼性の判定を省略してもよい。また、ＡＦ動作のフローでは、測距値の統計的ばらつきを含む代表値として、四分位数を用いていたが、これに限らず、所定フレームの測距値（レンズパルス値）の平均値や標準偏差値等の値を用いてもよい。統計的なばらつきを標準偏差や平均偏差とする場合は、統計的なばらつきを含む代表値は、平均値±標準偏差や平均値±平均偏差となる。たとえば、上述の四分位数Ｑ１、Ｑ２、Ｑ３の代わりに（平均値－標準偏差）、平均値、（平均値＋標準偏差）を使用し、まったく同じ処理を行ってもよい。四分位数の信頼性を判定することに代え、標準偏差の履歴情報からヒストグラムを作成して所定階級の相対度数が閾値以上の場合に信頼性が高いと判断してもよい。また、あるフレームの標準偏差が所定の閾値よりも小さい場合にそのフレームの信頼性が高いと判断してもよい。被写体の動きを推定する方法として、フレーム間の四分位数の差分値に代えて、平均値±標準偏差のフレーム間の差分値を使用してもよい。また、複数のフレーム間の差分値を使用して連続的な被写体の動きを推定する手法にもそのまま適用することができる。

【0088】

次に、図４に示すフローチャートを用いて、ステップＳ５～Ｓ１１における統計処理の動作について説明する。統計処理のフローが開始すると、まず、領域分割（レンズパルス領域分割）を行う（Ｓ２１）。ここでは、今回取得したフレームの各測距エリアのレンズパルス値を用いて、統計処理部３６ａが領域分割を行う。この領域分割の動作は、図３のフローにおけるステップＳ５と同じなので、詳しい説明を省略する。

【0089】

ステップＳ２１において、レンズパルス領域に分割すると、次に、至近側のレンズパルス領域に含まれるエリアが少数か否かを判定する（Ｓ２３）。このステップＳ２３およびＳ２５は、前述したステップＳ７（図３参照）における至近側のレンズパルス領域除外における処理に対応する。このステップＳ２３では、統計処理部３６ａはステップＳ２１において分割したレンズパルス領域の内、至近側のレンズパルス領域に含まれるレンズパルス値と、閾値を比較する。ステップＳ２３における判定の結果、至近側のレンズパルス領域に含まれるレンズパルス値が少数（閾値以下）であった場合には、該当するレンズパルス領域を除外する（Ｓ２５）。ここでは、至近側のレンズパルス領域に含まれるレンズパルス値が少数であることから、このレンズパルス値を四分位数の算出の対象から除外する（図７参照）。なお、除外したレンズパルス値は、動体予測に使用しない。

【0090】

ステップＳ２５において該当レンズパルス領域を除外すると、またはステップＳ２３における判定の結果、至近側のレンズパルス領域に含まれるレンズパルス値が少数でない場合には、次に、過去履歴と比較して無限側にレンズパルス領域が存在するか否かについて判定する（Ｓ２７）。このステップＳ２７ないしＳ３７は、前述したステップＳ９（図３参照）における無限側のレンズパルス領域除外における処理に対応する。このステップＳ２７では、統計処理部３６ａはステップＳ２１において分割した領域の内、至近側のレンズパルス領域に含まれるレンズパルス値と、過去の履歴を比較する。ここでは、図８を用いて説明したように、前回フレームの最小値ＬｓｔＭｉｎ（過去の最無限側のレンズパルス値）よりも無限側レンズパルス領域があるか否かを判定する。このステップＳ２７における判定の結果がＹｅｓであれば、該当レンズパルス領域を除外する（Ｓ２９）。

【0091】

ステップＳ２９において該当レンズパルス領域を除外すると、またはステップＳ２７における判定の結果、過去履歴と比較して無限側にレンズパルス領域が存在しない場合には、次に、無限側の各レンズパルス領域の最大値が、最至近から閾値の範囲内にあるか否かを判定する（Ｓ３１）。ここでは、統計処理部３６ａは、今回フレームの最大値ＰｒｅＭａｘからある一定値Ｔｈａを減算した値よりも無限側に出ているレンズパルス領域があるか否かを判定する（図８のＭｍ３、ＰｒｅＭａｘ、Ｔｈａ参照）。この判定の結果がＹｅｓであれば、該当レンズパルス領域を除外する（Ｓ３３）。

【0092】

ステップＳ３３において該当レンズパルス領域を除外すると、またはステップＳ３３における判定の結果、無限側の各レンズパルス領域の最大値が最至近から閾値範囲内であれば、次に、無限側のレンズパルス領域に含まれるレンズパルス値が少数か否かを判定する（Ｓ３５）。ステップＳ２３において、至近側のレンズパルス領域に含まれるレンズパルス値が少数か否かを判定したが、このステップでは、無限側のレンズパルス領域において、ステップＳ２３と同様に、このレンズパルス領域に含まれるレンズパルス値が所定数よりも少数か否かを判定する。この判定の結果がＹｅｓであれば、該当レンズパルス領域を除外する（Ｓ３７）。

【0093】

ステップＳ３７において該当レンズパルス領域を除外すると、またはステップＳ３５における判定の結果、無限側のレンズパルス領域に含まれるエリアが少数でなかった場合には、次に、四分位数を算出する（Ｓ３９）。ここでは、今回取得したフレームの各測距エリアのレンズパルス値を用いて、統計処理部３６ａが四分位数を算出する。この四分位数の算出動作は、図３のフローにおけるステップＳ１１と同じなので、詳しい説明を省略する。四分位数を算出すると、元のフローに戻る。

【0094】

このように統計処理のフローにおいては、複数の測距エリアにおいてそれぞれ算出されたレンズパルス値を用いて四分位数を算出している。また、この四分位数を算出するにあたって、複数のレンズパルス領域に分割し、所定の条件に合致したレンズパルス領域を除外している。この処理を行うことによって、横切り被写体や雑被写体に対応するレンズパルス値、また大きな測距誤差を含むレンズパルス値を除去することができ、四分位数算出の精度を向上することができる。また、四分位数は、複雑な演算を使用せずに算出することができるので、短時間の処理で求めることができる。

【0095】

なお、統計処理のフローにおいては、無限側のレンズパルス領域について３つの条件で除外するレンズパルス領域があるか否かを判定していたが（Ｓ２７、Ｓ３１、Ｓ３５参照）、これらの条件の全てを判定しなくても所望の精度が確保できるならば、いずれかのステップを省略してもよく、また他の条件を追加してもよい。同様に、至近側のレンズパルス領域についても、省略してもよく、また別の条件を追加してもよい。また、レンズパルス領域分割の方法は、図９を用いて説明した方法に限らず、他の方法であってもよい。

【0096】

次に、図５Ａおよび図５Ｂに示すフローチャートを用いて、ステップＳ１９（図３参照）の焦点位置予測処理の詳しい動作について説明する。焦点位置予測処理が開始すると、まず、推定した被写体の動きに変化があるか判定する（Ｓ４１）。ここでは、焦点位置予測部３７が、ステップＳ１５における被写体の動きの推定の結果を参照して判定する。例えば、図１２を用いて説明したように、移動状態推定部３６ｂは四分位数の履歴に基づいて、被写体の移動状態を推定している。そこで、このステップでは、移動状態推定部３６ｂの推定結果に応じて被写体の動きに変化があったか否かに基づいて、被写体の動きの変化を判定する。

【0097】

ステップＳ４１における判定の結果、被写体の動きに変化がある場合には、予測データの点数を減少させる（Ｓ４３）。予測データは、動体予測のために使用する過去に取得したレンズパルス値を意味する。動体予測を行う場合には、過去のレンズパルス値を複数用いて、本撮影時に主被写体に合焦となるフォーカスレンズの位置（レンズパルス値）を算出する。一般には、動体予測に用いるレンズパルス値の数が多い方が高精度で予測することができる。しかし、被写体の動きに変化がある場合には、現時点よりもかなり前のレンズパルス値は、予測精度には貢献しない。そこで、ステップＳ４３において、予測に使用するレンズパルス値を現時点に近いタイミングで取得したレンズパルス値だけとするように、予測用履歴データの数を減少させる。

【0098】

ステップＳ４３において、予測データの点数を減少させると、またはステップＳ４１における判定の結果、推定した被写体の動きに変化がない場合には、次に、予測データの点数を決定する（Ｓ４５）。ここでは、焦点位置予測部３７が動体予測に使用する予測データの数を決定する。ステップＳ４３において、予測データの数が変更されていなければ、デフォルト値を採用する。ステップＳ４３において、変更された場合には、変更後の予測データ数とする。

【0099】

次に、予測データの除外を行う（Ｓ４７）。ここでは、第１ＡＦ演算部３５において演算され、第２ＡＦ演算部３６から出力された選択エリアのデフォーカス量（レンズパルス値）の中から、予測式の演算を行うために不要なデータ、つまり予測式から大きく外れたレンズパルス値や所定の閾値を越えるレンズパルス値、を除外する。

【0100】

次に、１次予測式で演算する（Ｓ４９）。ここでは、焦点位置予測部３７は、直線近似によって、すなわち１次予測式と、過去のデフォーカス量（レンズパルス値）を用いて、本撮影時のフォーカスレンズの位置（レンズパルス値）を算出する。

【0101】

次に、２次予測式で演算する（Ｓ５１）。ここでは、焦点位置予測部３７は、二次曲線近似によって、すなわち２次予測式と、過去のデフォーカス量（レンズパルス値）を用いて、本撮影時のフォーカスレンズの位置（レンズパルス値）を算出する。

【0102】

次に、四分位数の信頼性が高いか否かを判定する（Ｓ５３）。ステップＳ１３において、四分位数の信頼性について判定しているので、ここではこの結果に基づいて判定する。この判定の結果、四分位数の信頼性が高ければ、次に、推定した被写体の動きの方向と予測式の傾きが異なるか否かを判定する（Ｓ５５）。ステップＳ１５において被写体の動きの方向（近寄る方向または遠ざかる方向）を推定している。またステップＳ４９、Ｓ５１において算出した予測式の傾き（正／負）が、予測式に基づく被写体の動きの方向（近寄る方向／遠ざかる方向）に対応する。

【0103】

ステップＳ５５における判定の結果、被写体の動きの方向と予測式の傾きが異なっていた場合には、予測式ではなく、平均値や現在位置とする（Ｓ５７）。四分位数に基づいて推定した被写体の動きの方向が、動体予測による被写体の動きの方向と一致していない場合には、予測式の精度が低いと判断され、予測式を使用せずに、過去のレンズパルス値（デフォーカス量）の平均値、または現在のレンズパルス値（直近で算出のレンズパルス値）を採用する。なお、推定した被写体の動きの方向と予測式の傾きが示す動きの方向が一致するかを判定しているが、その絶対値の大きさを加味してもよい。

【0104】

一方、ステップＳ５５における判定の結果、被写体の動きの方向と予測式の傾きが異なっておらず一致する場合には、次に、推定した被写体の動きが高速か否かを判定する（Ｓ５９）。ステップＳ１５において、被写体の動きが高速か否かについても判定しているので（図１２のｉまたはｖの高速移動参照）、この結果に基づいて判定する。

【0105】

ステップＳ５９における判定の結果、被写体が高速で移動している場合には、２次式予測式を選択する（Ｓ６１）。被写体が高速で移動している場合には、予測演算は１次式で精度良く予測できるので、２次式を選択し、ステップＳ５１における演算結果を採用する。

【0106】

一方、ステップＳ５９における判定の結果、被写体が高速で移動していない場合には、１次式予測式を選択する（Ｓ６３）。被写体が高速で移動していないことから、予測演算は１次式によって精度良く予測できるので、１次式を選択し、ステップＳ４９における演算結果を採用する。

【0107】

ステップＳ６１、Ｓ６３において予測式を選択すると、またはステップＳ５７において予測式ではなく、平均値や現在位置を目標フォーカスレンズ位置とすると、またはステップＳ５３における判定の結果、四分位数の信頼性が高くなかった場合には、焦点位置を決定する（Ｓ６５）。ステップＳ５７、Ｓ６１、Ｓ６３において選択したフォーカスレンズ位置を焦点位置として決定し、またステップＳ５３の判定で四分位数の信頼性が高くなかった場合には、従来から行われている動体予測演算方式（動体予測式に最も近いデフォーカス量（レンズパルス値）を示す測距エリアを選択）を用いてフォーカスレンズ位置を算出する。焦点位置を決定すると、元のフローに戻る。

【0108】

このように、焦点位置予測処理のフローにおいては、ステップＳ１５において推定した被写体の動きを用いて（例えば、Ｓ４１、Ｓ５５、Ｓ５９参照）、動体予測を行っているので、動体予測演算の精度を向上させることができる。被写体の動きは、複数の測距エリアにおいて算出された測距値（レンズパルス値）に基づいて算出される四分位数に基づいて、推定できる。

【0109】

なお、焦点位置を予測するために、図５Ａ、５Ｂのフローでは、種々の判定を行っているが（例えば、Ｓ４１、Ｓ５３、Ｓ５５、Ｓ５９等）、これの内のいずれかを省略してもよく、また、別の判定条件を追加してもよい。

【0110】

次に、図１４を用いて、本発明の他装置への応用について説明する。図１ないし図１３においては、本発明をカメラに適用した場合について説明した。しかし、本発明はカメラに限らず、動いている対象物にピントを合わせる装置であれば、適用することができる。図１４は、細胞を浮遊培養する培養装置において、浮遊し移動する細胞の観察を行う観察装置に、本発明を適用する例を示す。このような培養装置においては、細胞培養の観察時に、浮遊して移動（例えば、直進方向に接近や遠ざかる方向に移動）する細胞にピントを合わせるのは難しく、細胞の画像がぼけて観察を適切に行うのは困難である。

【0111】

図１４は、本発明を適用した細胞培養装置４１の一例を示している（詳しい構成については、特開２０２０－１４１５８９参照）。この細胞培養装置４１は、培地Ｗおよび細胞Ｓを収容可能な培養槽４３に培地Ｗを供給する供給部４５と、培養槽４３から培地Ｗおよび細胞Ｓを排出する排出部４７と、培養槽４３内の培地Ｗ中の細胞密度を測定する観察部４９と、培養槽３内の培地Ｗを撹拌する撹拌機構５１と、供給部４５、排出部４７および観察部４９を制御する制御部５３とを備えている。

【0112】

観察部４９としては、培地中の細胞密度を測定する既存の技術を採用でき、例えば、複数の微小な反射要素が配列されたアレイを有する再帰性反射部材を備える構成を採用することができる。この観察部４９は、例えば、培養槽４３の側方に配置される対物レンズと、培養槽４３内の培地Ｗを透過した後に対物レンズによって集光された照明光を撮影する撮像部と、撮像部によって取得された画像に基づいて培養槽４３内の培地Ｗ中の細胞密度を算出する画像解析部とを備えている。

【0113】

この観察部４９の撮像部によって培地Ｗ中の細胞Ｓが撮影される。そして、画像解析部によって、撮像部によって取得された画像中に含まれる細胞Ｓの数に基づいて、培養槽３ 内の培地Ｗ 中の細胞密度が算出される。このような細胞培養装置においては、細胞の密度を求めるだけでなく、特定の細胞の詳細な画像を取得して記録し、観察データとしてレポート化するという要望がある。

【0114】

この細胞培養装置４１において、精度良く細胞を観察するためには、対物レンズによって細胞に高精度にピントを合わせなければならいが、細胞Ｓが移動しているので、困難である。また、細胞の移動速度が遅くても比較的近距離の対象物であるため、その像面移動速度は遠距離の高速物体と同等になりうる。そこで、図３ないし図１３において説明したＡＦ動作を実行することによって、移動している細胞Ｓを主対象物とする動体予測を行い、精度良くピント合わせを行うことができる。

【0115】

このように、本発明の各実施形態における焦点調節装置は、複数エリアの測距値のばらつきを示す統計量を算出し、このばらつきを示す統計量を含めた測距値の代表値を求める。そして、この代表値の時系列変化に基づき、被写体の移動を推定して動体予測に反映している。また、ばらつきを示す統計量および代表値として、例えば四分位数を使用している（例えば、図３のＳ１１参照）。この四分位数は、フレーム毎に複数エリアの測距値に基づいて算出している。さらに、フレーム間でそれぞれの四分位数Ｑ１～Ｑ３の差分を算出している。複数フレームにわたる四分位数Ｑ１～Ｑ３の差分の変化に基づいて被写体の移動を推定している。この推定した被写体の移動を動体予測演算に反映（動体予測式次数、履歴情報数等）している。

【0116】

以上説明したように、本発明の各実施形態は、光学系による撮像領域に複数の検出エリアを備え、検出エリアにて対象物の測距値を検出して対象物に対する焦点調節を行っている。そして、この焦点調節を行うにあたって、複数の検出エリアの測距値を統計処理し、この統計処理に基づいて、統計的ばらつきを含む代表値を算出し（例えば、図３のＳ１１参照）、この代表値の時系列の変化に基づき、対象物の移動状態を推定し（例えば、図３のＳ１５参照）、この推定される移動状態に基づいて、対象物に関する焦点位置を予測し（例えば、図３のＳ１９参照）、この予測された焦点位置に基づいて焦点調節を行う。本実施形態においては、複数の測距エリアの測距値を対象に、統計学の四分位数を適用し四分位数の時系列の変化に基づいて被写体の移動状態を推定するので、測距誤差等のばらつきの影響を受けずに被写体の移動状態を推定することができる。このように、外乱の影響を受けずに推定された移動状態に基づいて動体予測のパラメータを変更しているので、動体予測演算の精度を向上させることができる。

【0117】

なお、本発明の実施形態において、主として目標レンズパルス位置（レンズパルス値）を用いて処理を行っていた。しかし、目標レンズパルス位置（レンズパルス値）とデフォーカス量は、相互に変換可能であることから、適宜、デフォーカス量を用いて処理を行うようにしてもよい。

【0118】

また、本発明の一実施形態においては、画像処理部２２内の顔検出部２２ａおよび追尾部２２ｂは、それぞれ顔検出回路および追尾回路を有していたが、ハードウエア回路に代えて、ＣＰＵとプログラムによってソフトウエア的に構成してもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）を利用して構成してもよい。、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。これらは適宜組み合わせてもよいことは勿論である。また、ＣＰＵに限らず、コントローラとしての機能を果たすプロセッサであればよい。

【0119】

また、ＡＦ演算部２３内の各部は、ＣＰＵとプログラムによってソフトウエア的に構成する以外にも、各部の一部または全部をハードウエア回路で構成してもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。これらは適宜組み合わせてもよいことは勿論である。デフォーカス量の演算や、信頼性評価や、コントラスト評価値の演算、位相差画素の生成等は、画一的な演算処理を繰り返し行うことが多い場合にはハードウエア回路で構成することが望ましい。また、ＣＰＵはコントローラとして使用しているが、コントローラとしての機能を果たす素子であればＣＰＵに限られない。

【0120】

また、本発明の実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ（例えば、医療用内視鏡）、顕微鏡等の科学機器用のカメラ、工業用内視鏡、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、複数の検出エリアにて対象物の測距値を繰り返し生成し、測距値に基づき対象物に対して焦点調節を行う装置であれば本発明を適用することができる。

【0121】

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを通じてダウンロードしたものでもよい。

【0122】

また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。

【0123】

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

【0124】

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせによって、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

【符号の説明】

【0125】

１０・・・交換レンズ鏡筒、１１・・・撮影レンズ、１２・・・アクチュエータ、１３・・・レンズ制御部、２０・・・カメラ本体、２１・・・撮像素子、２１ａ・・・画素データ、２２・・・画像処理部、２２ａ・・・顔検出部、２２ｂ・・・追尾部、２３・・・ＡＦ演算部、２４・・・記録部、３３・・・ＡＦ測距点設定部、３４・・・位相差画素生成部、３５・・・第１ＡＦ演算部、３５ａ・・・デフォーカス量演算部、３５ｂ・・・信頼性評価部、３６・・・第２ＡＦ演算部、３６ａ・・・統計処理部、３６ｂ・・・移動状態推定部、３６ｃ・・・測距エリア選択部、３７・・・焦点位置予測部、４１・・・細胞培養装置、４３・・・培養槽、４５…供給部、４７・・・排出部、４９・・・観察部、５１・・・撹拌機構

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】