(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022137760
(43)【公開日】2022-09-22
(54)【発明の名称】焦点調節装置および焦点調節方法
(51)【国際特許分類】
G02B 7/28 20210101AFI20220914BHJP
G03B 13/36 20210101ALI20220914BHJP
H04N 5/232 20060101ALI20220914BHJP
【ＦＩ】
G02B7/28
G03B13/36
H04N5/232 127
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2021037417
(22)【出願日】2021-03-09
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＥＲＩＬＯＧ
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100109209
【弁理士】
【氏名又は名称】小林 一任
(72)【発明者】
【氏名】星野 友宏
【テーマコード（参考）】
2H011
2H151
5C122
【Ｆターム（参考）】
2H011BA21
2H151BA01
2H151CE30
2H151DA03
2H151DA04
2H151DA19
5C122EA06
5C122EA65
5C122EA68
5C122FD01
5C122FD07
5C122FD13
5C122FH11
5C122HA88
5C122HB01
5C122HB06
5C122HB09
5C122HB10
(57)【要約】
【課題】主対象物の前を横切るような細い対象物（遮蔽物）を排除して主対象物に合焦させることができるようにした焦点調節装置および焦点調節方法を提供する。
【解決手段】複数のＡＦエリアＡＦＡを有し、各ＡＦエリアにおいてデフォーカス量を検出し、ボディ範囲ＢＯと外側範囲ＯＳのそれぞれの領域において、デフォーカス量を距離に相当するレンズ位置ＬＤＰに変換してデプスマップを作成する。デプスマップができると、ボディ範囲ＢＯ内の平均ＬＤＰより所定値以上大きい至近側の領域を横切り候補ＣＣＣとして抽出する。候補に基づいて不要対象物に対応する領域を判別し、主対象物領域から不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御する。
【選択図】 図７
【解決手段】複数のＡＦエリアＡＦＡを有し、各ＡＦエリアにおいてデフォーカス量を検出し、ボディ範囲ＢＯと外側範囲ＯＳのそれぞれの領域において、デフォーカス量を距離に相当するレンズ位置ＬＤＰに変換してデプスマップを作成する。デプスマップができると、ボディ範囲ＢＯ内の平均ＬＤＰより所定値以上大きい至近側の領域を横切り候補ＣＣＣとして抽出する。候補に基づいて不要対象物に対応する領域を判別し、主対象物領域から不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御する。
【選択図】 図７
【特許請求の範囲】
【請求項1】
撮影光学系を通過する対象物からの光を光電変換して撮像信号を出力する撮像素子を有し、上記撮像信号に基づいて焦点調節を行う焦点調節装置において、
上記撮像信号に基づいて主対象物の位置を検出する主対象物位置検出部と、
上記撮像信号に基づいて複数のＡＦ領域の被写体距離に応じた距離値を検出する距離値検出部と、
上記主対象物の位置に対応する領域の上記距離値の統計値に対して、所定量以上近距離側の距離値を示す領域を不要候補領域と設定する候補領域設定部と、
上記不要候補領域に基づき不要対象物に対応する領域を判別し、上記主対象物領域から上記不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御する制御部と、
を具備し、
上記候補領域設定部は、上記主対象物領域に対応する領域内の第１の候補領域と、上記主対象物領域以外の領域に対応する領域内の第２の候補領域を設定し、
上記制御部は、上記第１の候補領域に対応する第１の距離値と上記第２の候補領域に対応する第２の距離値に基づいて上記不要対象物に対応する領域を判別する、
ことを特徴とする焦点調節装置。
上記撮像信号に基づいて主対象物の位置を検出する主対象物位置検出部と、
上記撮像信号に基づいて複数のＡＦ領域の被写体距離に応じた距離値を検出する距離値検出部と、
上記主対象物の位置に対応する領域の上記距離値の統計値に対して、所定量以上近距離側の距離値を示す領域を不要候補領域と設定する候補領域設定部と、
上記不要候補領域に基づき不要対象物に対応する領域を判別し、上記主対象物領域から上記不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御する制御部と、
を具備し、
上記候補領域設定部は、上記主対象物領域に対応する領域内の第１の候補領域と、上記主対象物領域以外の領域に対応する領域内の第２の候補領域を設定し、
上記制御部は、上記第１の候補領域に対応する第１の距離値と上記第２の候補領域に対応する第２の距離値に基づいて上記不要対象物に対応する領域を判別する、
ことを特徴とする焦点調節装置。
【請求項2】
上記制御部は、上記第１の距離値と第２の距離値の差が、第１の所定量の範囲内であり、かつ、上記第１の候補領域の面積の上記主対象物領域の面積に対する比率が第２の所定量より小さい場合に、上記第１の候補領域と上記第２の候補領域を上記不要対象物に対応する領域と判別することを特徴とする請求項１に記載の焦点調節装置。
【請求項3】
上記主対象物位置検出部は、主対象物の全体を含む第１の領域の位置と主対象物の一部を含む第２の領域の位置を検出し、
上記候補領域設定部は、上記第２の領域内に第３の候補領域を設定し、
上記制御部は、上記第１の距離値と上記第２の距離値と上記第３の候補領域に対応する第３の距離値に基づいて上記不要対象物に対応する領域を判別する、
ことを特徴とする請求項１に記載の焦点調節装置。
上記候補領域設定部は、上記第２の領域内に第３の候補領域を設定し、
上記制御部は、上記第１の距離値と上記第２の距離値と上記第３の候補領域に対応する第３の距離値に基づいて上記不要対象物に対応する領域を判別する、
ことを特徴とする請求項１に記載の焦点調節装置。
【請求項4】
上記制御部は、上記第１の距離値と上記第２の距離値と上記第３の距離値の差が、第３の所定量の範囲内である場合に、上記第１の候補領域と上記第２の候補領域と上記第３の候補領域を上記不要対象物に対応する領域と判別することを特徴とする請求項３に記載の焦点調節装置。
【請求項5】
上記制御部は、さらに上記第３の候補領域の面積の上記第２の領域の面積に対する比率が第４の所定量よりも小さい場合に、上記第１の候補領域と上記第２の候補領域と上記第３の候補領域を上記不要対象物に対応する領域と判別することを特徴とする請求項４に記載の焦点調節装置。
【請求項6】
撮影光学系を通過する被写体光を所定のフレームレートで繰り返し撮像して撮像信号を出力する撮像素子を有し、上記撮像信号に基づいて焦点調節を行う焦点調節装置において、
上記撮像信号に基づきフレーム毎に主対象物の全体を含む第１の領域の位置と主対象物の一部を含む第２の領域の位置を検出する主対象物位置検出部と、
上記撮像信号に基づきフレーム毎に複数のＡＦ領域の被写体距離に応じた距離値を検出する距離値検出部と、
上記第１の領域と上記第２の領域を除く領域にて、上記第１の領域と上記第２の領域に対応する距離値のうちで最も近距離を示す距離値よりも近距離を示す領域を不要候補領域と設定する候補領域設定部と、
上記不要候補領域に基づき不要対象物に対応する領域を判別し、上記第２の領域から上記不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御する制御部と、
を具備し、
上記制御部は、上記不要候補領域が複数フレームにわたり設定され、最新のフレームの上記第１の領域に対応する距離値と過去のフレームの上記第１の領域対応する距離値の差と、上記最新のフレームの上記第２の領域に対応する距離値と上記過去のフレームの上記第２の領域に対応する距離値の差との差分が、第５の所定量よりも大きいことを示す第２の領域内の部分を上記不要対象物に対応する領域と判別する、
ことを特徴とする焦点調節装置。
上記撮像信号に基づきフレーム毎に主対象物の全体を含む第１の領域の位置と主対象物の一部を含む第２の領域の位置を検出する主対象物位置検出部と、
上記撮像信号に基づきフレーム毎に複数のＡＦ領域の被写体距離に応じた距離値を検出する距離値検出部と、
上記第１の領域と上記第２の領域を除く領域にて、上記第１の領域と上記第２の領域に対応する距離値のうちで最も近距離を示す距離値よりも近距離を示す領域を不要候補領域と設定する候補領域設定部と、
上記不要候補領域に基づき不要対象物に対応する領域を判別し、上記第２の領域から上記不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御する制御部と、
を具備し、
上記制御部は、上記不要候補領域が複数フレームにわたり設定され、最新のフレームの上記第１の領域に対応する距離値と過去のフレームの上記第１の領域対応する距離値の差と、上記最新のフレームの上記第２の領域に対応する距離値と上記過去のフレームの上記第２の領域に対応する距離値の差との差分が、第５の所定量よりも大きいことを示す第２の領域内の部分を上記不要対象物に対応する領域と判別する、
ことを特徴とする焦点調節装置。
【請求項7】
上記不要候補領域は、複数の上記ＡＦ領域から構成されることを特徴とする請求項１乃至６のいずれか一項に記載の焦点調節装置。
【請求項8】
撮影光学系を通過する対象物からの光を光電変換して撮像信号を出力する撮像素子を有し、上記撮像信号に基づいて焦点調節を行う焦点調節装置における焦点調節方法において、
上記撮像信号に基づいて主対象物の位置を検出し、
上記撮像信号に基づいて複数のＡＦ領域の被写体距離に応じた距離値を検出し、
上記主対象物の位置に対応する領域の上記距離値の統計値に対して、所定量以上近距離側の距離値を示す領域を不要候補領域と設定し、
上記不要候補領域に基づき不要対象物に対応する領域を判別し、上記主対象物領域から上記不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御し、
さらに、上記主対象物領域に対応する領域内の第１の候補領域と、上記主対象物領域以外の領域に対応する領域内の第２の候補領域を設定し、
上記第１の候補領域に対応する第１の距離値と上記第２の候補領域に対応する第２の距離値に基づいて上記不要対象物に対応する領域を判別する、
ことを特徴とする焦点調節方法。
上記撮像信号に基づいて主対象物の位置を検出し、
上記撮像信号に基づいて複数のＡＦ領域の被写体距離に応じた距離値を検出し、
上記主対象物の位置に対応する領域の上記距離値の統計値に対して、所定量以上近距離側の距離値を示す領域を不要候補領域と設定し、
上記不要候補領域に基づき不要対象物に対応する領域を判別し、上記主対象物領域から上記不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御し、
さらに、上記主対象物領域に対応する領域内の第１の候補領域と、上記主対象物領域以外の領域に対応する領域内の第２の候補領域を設定し、
上記第１の候補領域に対応する第１の距離値と上記第２の候補領域に対応する第２の距離値に基づいて上記不要対象物に対応する領域を判別する、
ことを特徴とする焦点調節方法。
【請求項9】
撮影光学系を通過する被写体光を所定のフレームレートで繰り返し撮像して撮像信号を出力する撮像素子を有し、上記撮像信号に基づいて焦点調節を行う焦点調節装置における焦点調節方法において、
上記撮像信号に基づきフレーム毎に主対象物の全体を含む第１の領域の位置と主対象物の一部を含む第２の領域の位置を検出し、
上記撮像信号に基づきフレーム毎に複数のＡＦ領域の被写体距離に応じた距離値を検出し、
上記第１の領域と上記第２の領域を除く領域にて、上記第１の領域と上記第２の領域に対応する距離値のうちで最も近距離を示す距離値よりも近距離を示す領域を不要候補領域と設定し、
上記不要候補領域に基づき不要対象物に対応する領域を判別し、上記第２の領域から上記不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御し、
さらに、上記不要候補領域が複数フレームにわたり設定され、最新のフレームの上記第１の領域に対応する距離値と過去のフレームの上記第１の領域対応する距離値の差と、上記最新のフレームの上記第２の領域に対応する距離値と上記過去のフレームの上記第２の領域に対応する距離値の差との差分が、第５の所定量よりも大きいことを示す第２の領域内の部分を上記不要対象物に対応する領域と判別する、
ことを特徴とする焦点調節方法。
上記撮像信号に基づきフレーム毎に主対象物の全体を含む第１の領域の位置と主対象物の一部を含む第２の領域の位置を検出し、
上記撮像信号に基づきフレーム毎に複数のＡＦ領域の被写体距離に応じた距離値を検出し、
上記第１の領域と上記第２の領域を除く領域にて、上記第１の領域と上記第２の領域に対応する距離値のうちで最も近距離を示す距離値よりも近距離を示す領域を不要候補領域と設定し、
上記不要候補領域に基づき不要対象物に対応する領域を判別し、上記第２の領域から上記不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御し、
さらに、上記不要候補領域が複数フレームにわたり設定され、最新のフレームの上記第１の領域に対応する距離値と過去のフレームの上記第１の領域対応する距離値の差と、上記最新のフレームの上記第２の領域に対応する距離値と上記過去のフレームの上記第２の領域に対応する距離値の差との差分が、第５の所定量よりも大きいことを示す第２の領域内の部分を上記不要対象物に対応する領域と判別する、
ことを特徴とする焦点調節方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体を追尾し、この追尾物体にピントを合わせる焦点調節装置および焦点調節方法において、主となる物体を検出すると共に不要な物体を焦点調節対象から排除して、主となる物体に対してピントを合わせるようにした焦点調節装置および焦点調節方法に関する。
【背景技術】
【0002】
従来より、焦点検出機能を備える装置においては、連続して撮像される画像の中から焦点調節の対象を選択し、連続するコマ間でその対象を追尾し続ける機能を有するものがある。このような装置においては、追尾対象物に対して、適切な焦点調節を行うことが可能となっている。
【0003】
追尾機能を有する焦点検出装置において、ユーザが多数の被写体を追尾したい場合には、追尾のための演算が膨大になってしまい時間がかかってしまう。そこで、追尾対象を主被写体とこの主被写体の手前にある被写体（遮蔽被写体）のみとし、主被写体が存在する測距点を合焦時に選択するようにした焦点検出装置が提案されている（特許文献１参照）。すなわち、この焦点検出装置では、主被写体と遮蔽被写体の両方を追尾し、主被写体上であり、遮蔽被写体上ではない測距点において焦点検出を行うようにしている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１４－２０２８７５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述の特許文献１に開示の焦点検出装置においては、比較的面積の大きい遮蔽物の場合には、焦点検出を有効に行うことができる。しかし、例えば、鳥の顔と重なるように顔から極近い距離にある細い横切り被写体（枝）を、鳥の顔から分離して追尾することは困難である。すなわち、上述の焦点検出装置では、追尾の主対象物の前を横切るような面積の小さい対象物（遮蔽物）を排除して主対象物に合焦させることは困難である。
【0006】
本発明は、このような事情を鑑みてなされたものであり、主対象物の前を横切るような細い対象物（遮蔽物）を排除して主対象物に合焦させることができるようにした焦点調節装置および焦点調節方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため第１の発明に係る焦点調節装置は、撮影光学系を通過する対象物からの光を光電変換して撮像信号を出力する撮像素子を有し、上記撮像信号に基づいて焦点調節を行う焦点調節装置において、上記撮像信号に基づいて主対象物の位置を検出する主対象物位置検出部と、上記撮像信号に基づいて複数のＡＦ領域の被写体距離に応じた距離値を検出する距離値検出部と、上記主対象物の位置に対応する領域の上記距離値の統計値に対して、所定量以上近距離側の距離値を示す領域を不要候補領域と設定する候補領域設定部と、上記不要候補領域に基づき不要対象物に対応する領域を判別し、上記主対象物領域から上記不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御する制御部と、を具備し、 上記候補領域設定部は、上記主対象物領域に対応する領域内の第１の候補領域と、上記主対象物領域以外の領域に対応する領域内の第２の候補領域を設定し、上記制御部は、上記第１の候補領域に対応する第１の距離値と上記第２の候補領域に対応する第２の距離値に基づいて上記不要対象物に対応する領域を判別する。
【0008】
第２の発明に係る焦点調節装置は、上記第１の発明において、上記制御部は、上記第１の距離値と第２の距離値の差が、第１の所定量の範囲内であり、かつ、上記第１の候補領域の面積の上記主対象物領域の面積に対する比率が第２の所定量より小さい場合に、上記第１の候補領域と上記第２の候補領域を上記不要対象物に対応する領域と判別する。
第３の発明に係る焦点調節装置は、上記第１の発明において、上記主対象物位置検出部は、主対象物の全体を含む第１の領域の位置と主対象物の一部を含む第２の領域の位置を検出し、上記候補領域設定部は、上記第２の領域内に第３の候補領域を設定し、上記制御部は、上記第１の距離値と上記第２の距離値と上記第３の候補領域に対応する第３の距離値に基づいて上記不要対象物に対応する領域を判別する。
第３の発明に係る焦点調節装置は、上記第１の発明において、上記主対象物位置検出部は、主対象物の全体を含む第１の領域の位置と主対象物の一部を含む第２の領域の位置を検出し、上記候補領域設定部は、上記第２の領域内に第３の候補領域を設定し、上記制御部は、上記第１の距離値と上記第２の距離値と上記第３の候補領域に対応する第３の距離値に基づいて上記不要対象物に対応する領域を判別する。
【0009】
第４の発明に係る焦点調節装置は、上記第３の発明において、上記制御部は、上記第１の距離値と上記第２の距離値と上記第３の距離値の差が、第３の所定量の範囲内である場合に、上記第１の候補領域と上記第２の候補領域と上記第３の候補領域を上記不要対象物に対応する領域と判別する。
第５の発明に係る焦点調節装置は、上記第４の発明において、上記制御部は、さらに上記第３の候補領域の面積の上記第２の領域の面積に対する比率が第４の所定量よりも小さい場合に、上記第１の候補領域と上記第２の候補領域と上記第３の候補領域を上記不要対象物に対応する領域と判別する。
第５の発明に係る焦点調節装置は、上記第４の発明において、上記制御部は、さらに上記第３の候補領域の面積の上記第２の領域の面積に対する比率が第４の所定量よりも小さい場合に、上記第１の候補領域と上記第２の候補領域と上記第３の候補領域を上記不要対象物に対応する領域と判別する。
【0010】
第６の発明に係る焦点調節装置は、撮影光学系を通過する被写体光を所定のフレームレートで繰り返し撮像して撮像信号を出力する撮像素子を有し、上記撮像信号に基づいて焦点調節を行う焦点調節装置において、上記撮像信号に基づきフレーム毎に主対象物の全体を含む第１の領域の位置と主対象物の一部を含む第２の領域の位置を検出する主対象物位置検出部と、上記撮像信号に基づきフレーム毎に複数のＡＦ領域の被写体距離に応じた距離値を検出する距離値検出部と、上記第１の領域と上記第２の領域を除く領域にて、上記第１の領域と上記第２の領域に対応する距離値のうちで最も近距離を示す距離値よりも近距離を示す領域を不要候補領域と設定する候補領域設定部と、上記不要候補領域に基づき不要対象物に対応する領域を判別し、上記第２の領域から上記不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御する制御部と、を具備し、上記制御部は、上記不要候補領域が複数フレームにわたり設定され、最新のフレームの上記第１の領域に対応する距離値と過去のフレームの上記第１の領域対応する距離値の差と、上記最新のフレームの上記第２の領域に対応する距離値と上記過去のフレームの上記第２の領域に対応する距離値の差との差分が、第５の所定量よりも大きいことを示す第２の領域内の部分を上記不要対象物に対応する領域と判別する。
第７の発明に係る焦点調節装置は、上記第１ないし第６の発明において、上記不要候補領域は、複数の上記ＡＦ領域から構成される。
第７の発明に係る焦点調節装置は、上記第１ないし第６の発明において、上記不要候補領域は、複数の上記ＡＦ領域から構成される。
【0011】
第８の発明に係る焦点調節方法は、撮影光学系を通過する対象物からの光を光電変換して撮像信号を出力する撮像素子を有し、上記撮像信号に基づいて焦点調節を行う焦点調節装置における焦点調節方法において、上記撮像信号に基づいて主対象物の位置を検出し、上記撮像信号に基づいて複数のＡＦ領域の被写体距離に応じた距離値を検出し、上記主対象物の位置に対応する領域の上記距離値の統計値に対して、所定量以上近距離側の距離値を示す領域を不要候補領域と設定し、上記不要候補領域に基づき不要対象物に対応する領域を判別し、上記主対象物領域から上記不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御し、さらに、上記主対象物領域に対応する領域内の第１の候補領域と、上記主対象物領域以外の領域に対応する領域内の第２の候補領域を設定し、上記第１の候補領域に対応する第１の距離値と上記第２の候補領域に対応する第２の距離値に基づいて上記不要対象物に対応する領域を判別する。
【0012】
第９の発明に係る焦点調節方法は、撮影光学系を通過する被写体光を所定のフレームレートで繰り返し撮像して撮像信号を出力する撮像素子を有し、上記撮像信号に基づいて焦点調節を行う焦点調節装置における焦点調節方法において、上記撮像信号に基づきフレーム毎に主対象物の全体を含む第１の領域の位置と主対象物の一部を含む第２の領域の位置を検出し、上記撮像信号に基づきフレーム毎に複数のＡＦ領域の被写体距離に応じた距離値を検出し、上記第１の領域と上記第２の領域を除く領域にて、上記第１の領域と上記第２の領域に対応する距離値のうちで最も近距離を示す距離値よりも近距離を示す領域を不要候補領域と設定し、上記不要候補領域に基づき不要対象物に対応する領域を判別し、上記第２の領域から上記不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御し、さらに、上記不要候補領域が複数フレームにわたり設定され、最新のフレームの上記第１の領域に対応する距離値と過去のフレームの上記第１の領域対応する距離値の差と、上記最新のフレームの上記第２の領域に対応する距離値と上記過去のフレームの上記第２の領域に対応する距離値の差との差分が、第５の所定量よりも大きいことを示す第２の領域内の部分を上記不要対象物に対応する領域と判別する。
【発明の効果】
【0013】
本発明によれば、主対象物の前を横切るような細い対象物（遮蔽物）を排除して主対象物に合焦させることができるようにした焦点調節装置および焦点調節方法を提供することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施形態に係る撮像装置の主として電気的構成を示すブロック図である。
【図2】本発明の一実施形態に係る撮像装置の電源がオンした際のメイン動作を示すフローチャートである。
【図3】本発明の一実施形態に係る撮像装置の横切り除外の動作を示すフローチャートである。
【図4A】本発明の一実施形態に係る撮像装置の横切り除外１用候補抽出の動作を示すフローチャートである。
【図4B】本発明の一実施形態に係る撮像装置の横切り除外１用候補抽出の動作を示すフローチャートである。
【図4C】本発明の一実施形態に係る撮像装置の横切り除外１用候補抽出の動作を示すフローチャートである。
【図5A】本発明の一実施形態に係る撮像装置の横切り除外１の動作を示すフローチャートである。
【図5B】本発明の一実施形態に係る撮像装置の横切り除外１の動作を示すフローチャートである。
【図6A】本発明の一実施形態に係る撮像装置の横切り除外２の動作を示すフローチャートである。
【図6B】本発明の一実施形態に係る撮像装置の横切り除外２の動作を示すフローチャートである。
【図7】本発明の一実施形態に係る撮像装置において、被写体検出範囲の区分けを示す図である。
【図8】本発明の一実施形態に係る撮像装置において、被写体検出範囲の区分けの他の例を示す図である。
【図9】本発明の一実施形態に係る撮像装置において、パーツ領域の比率の一例を説明する図表である。
【図10】本発明の一実施形態に係る撮像装置において、ボディ範囲とパーツ範囲と横切り被写体の位置関係の例を示す図である。
【図11】本発明の一実施形態に係る撮像装置において、ボディ範囲の被写体と、パーツ範囲の被写体の距離の時間変化を示すグラフである。
【図12】本発明の他の実施形態において、焦点調節の対象となる画像の一例を示す図である。
【図13】本発明の更に他の実施形態において、焦点調節の対象となる画像の一例を示す図である。
【発明を実施するための形態】
【0015】
以下、本発明の一実施形態として、本発明を撮像装置に適用した例について説明する。この撮像装置は、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像（対象物像）を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することによって、構図やシャッタタイミングを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【0016】
本実施形態に係る撮像装置における焦点調節装置は、撮影光学系を通過する対象物からの光を光電変換して撮像信号を出力する撮像素子を有し、この撮像信号に基づいて焦点調節を行う。また、この焦点調節装置は、撮影光学系を通過する被写体光を所定のフレームレートで繰り返し撮像して撮像信号を出力する撮像素子を有し、この撮像信号に基づいて焦点調節を行う。
【0017】
また、本実施形態に係る撮像装置は、被写体を追尾する追尾機能を有し、この追尾機能は人や動物のボディ（体全体）やパーツ（例えば、顔、頭等）を検出でき、検出したボディやパーツを追尾することができる。この追尾機能を利用して主被写体（主対象物）を追尾し、主被写体を含む測距（ＡＦ）エリアからの焦点検出信号に基づいて、主被写体に対して、ピントを合わせる（焦点調節を行う）。
【0018】
また、ＡＦエリア内に複数の被写体が存在する場合には、一般的には至近側の被写体にピントを合わせる。このため、野鳥を撮影する際に、鳥の顔が検出されていた場合でも、顔と重なるように顔から極近い距離に細い横切り被写体（例えば枝）があると、細い横切り被写体を排除して鳥の顔に合焦させることは困難となる。
【0019】
そこで、本実施形態においては、撮像装置の制御部は、追尾ブロックから被写体範囲の情報を取得する。また測距部は、複数のＡＦエリアを有し、各ＡＦエリアにおいてデフォーカス量を検出する。制御部は、ボディ範囲と外側範囲のそれぞれの領域において、デフォーカス量を距離に相当するレンズ位置ＬＤＰ（Lens Defocus Pulse）に変換してデプスマップを作成する。デプスマップができると、制御部は、ボディ範囲内の平均ＬＤＰより所定値以上大きい至近側のＡＦエリアから成る領域を「横切り候補」として抽出する。次に、制御部は、ボディ範囲と外側範囲のそれぞれに位置する「横切り候補」の平均ＬＤＰ を比較し、所定範囲内で、かつ、面積比率が小さい「横切り候補」を「横切り被写体」として除外する。制御部は、ボディ範囲内において、除外されずに残っているＡＦエリアにおけるレンズ位置ＬＤＰ（またはデフォーカス量）を用いて、焦点調節を実行する。
【0020】
図１は、本発明の一実施形態に係る焦点調節装置を含む撮像装置（具体的にはデジタルカメラ）の構成の一例を示すブロック図である。後述するように本発明に係る焦点調節装置は、デジタルカメラに限定されないが、本実施形態においては、本発明を撮像装置に適用している。なお、図１中において、矢印付き実線はデータの流れを、矢印付き破線は制御信号の流れをそれぞれ示している。
【0021】
撮像装置１は、交換式レンズ１００と、カメラ本体２００とを有する。交換式レンズ１００は、カメラ本体２００に着脱できるように構成されている。交換式レンズ１００とカメラ本体２００とは、交換式レンズ１００がカメラ本体２００に装着されたときに、互いに通信できるように接続される。なお、撮像装置１は、必ずしもレンズ交換式の撮像装置でなくてもよい。例えば、撮像装置１は、レンズ一体型の撮像装置であってもよい。また、スマートフォン等、携帯機器内に設けられた撮像装置であってもよい。
【0022】
交換式レンズ１００は、撮像光学系１０２と、駆動部１０４と、レンズＣＰＵ（Central Processing Unit）１０６と、レンズ側記憶部１０８とを備える。ここで、交換式レンズ１００の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもハードウェアによって構成されている必要はなく、一部はソフトウェアによって構成されていてもよい。また、交換式レンズ１００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。また、交換式レンズとカメラ本体が一体に構成されている場合には、レンズＣＰＵ１０６とＣＰＵ２１６が１つのＣＰＵで構成されていてもよい。
【0023】
撮像光学系１０２は、被写体からの光束をカメラ本体２００の撮像素子２０８に結像させるための光学系である。撮像光学系１０２は、フォーカスレンズ１０２ａと、絞り１０２ｂとを有する。フォーカスレンズ１０２ａは、光軸方向に移動することによって、撮像光学系１０２の焦点位置を調節できるように構成されている。
【0024】
絞り１０２ｂは、フォーカスレンズ１０２ａの光軸上に配置される。絞り１０２ｂの口径は可変である。絞り１０２ｂは、フォーカスレンズ１０２ａを通過して撮像素子２０８に入射する被写体からの光量を調節する。駆動部１０４は、駆動モータと駆動回路等を有し、レンズＣＰＵ１０６から出力される制御信号に基づいて、フォーカスレンズ１０２ａと絞り１０２ｂを駆動する。ここで、撮像光学系１０２は、ズームレンズとして構成されていてもよい。この場合、駆動部１０４がズーム駆動も行ってもよく、またユーザが手動操作によって焦点距離を変化させてもよい。レンズＣＰＵ１０６は、駆動部１０４から焦点距離情報を取得し、ＣＰＵ２１６へ送信する。駆動部１０４は、撮像光学系に含まれる絞りを駆動する絞り駆動部（アクチュエータ、ドライバ）として機能する。
【0025】
レンズＣＰＵ１０６は、ＣＰＵとその周辺回路を含むプロセッサであり、レンズ側記憶部１０８に記憶されているプログラムに従って動作する。レンズＣＰＵ１０６は、インターフェース（Ｉ／Ｆ）１１０を通じてカメラ本体２００のＣＰＵ２１６との間で通信できるように構成されている。レンズＣＰＵ１０６は、カメラ本体２００のＣＰＵ２１６からの制御信号に従って駆動部１０４を制御する。また、レンズＣＰＵ１０６は、Ｉ／Ｆ１１０を通じて、絞り１０２ｂの絞り値（Ｆ値）及びレンズ側記憶部１０８に記憶されているレンズ情報等の各種情報をＣＰＵ２１６に送信する。レンズＣＰＵ１０６は、撮像光学系１０２ａに含まれるフォーカスレンズの位置を制御するフォーカスレンズ制御部としての機能を果たす。
【0026】
なお、レンズＣＰＵ１０６は、必ずしもＣＰＵとして構成されていなくてもよい。すなわち、レンズＣＰＵ１０６と同様の機能は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のプロセッサによって実現されてもよい。また、レンズＣＰＵ１０６と同様の機能は、ソフトウェアによって実現されてもよい。
【0027】
レンズ側記憶部１０８は、電気的書き換え可能な不揮発性メモリを有し、上述のプログラム以外にも交換式レンズ１００に関するレンズ情報等を記憶している。レンズ情報は、例えば撮像光学系１０２の焦点距離の情報や収差の情報を含む。
【0028】
カメラ本体２００は、メカシャッタ２０２と、駆動部２０４と、操作部２０６と、撮像素子２０８と、撮像制御回路２１０と、アナログ処理部２１２と、アナログ・デジタル変換器（以下、ＡＤＣと称する）２１４と、ＣＰＵ２１６と、画像処理部２１８と、画像圧縮展開部２２０と、焦点検出回路２２２と、表示部２２４と、バス２２６と、ＤＲＡＭ（Dynamic Random Access Memory）２２８と、本体側記憶部２３０と、記録媒体２３２と、追尾回路２３４を有する。ここで、カメラ本体２００の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもハードウェアによって構成されている必要はなく、一部はソフトウェアによって構成されていてもよい。また、カメラ本体２００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。
【0029】
メカシャッタ２０２は、開閉自在に構成され、撮像素子２０８への被写体からの光束の入射時間（撮像素子２０８の露光時間）を調節する。メカシャッタ２０２としては、例えばフォーカルプレーンシャッタが採用される。このフォーカルプレーンシャッタ以外にも、レンズシャッタをレンズ鏡筒側に設けてもよい。駆動部２０４は、ＣＰＵ２１６からの制御信号に基づいてメカシャッタ２０２を駆動する。駆動部２０４は、メカシャッタ２０２を駆動するアクチュエータと、このアクチュエータの駆動回路等を有し、メカシャッタ２０２の開閉動作を行う。
【0030】
操作部２０６は、ユーザの指示を撮像装置１に入力するためのインターフェースであり、焦点調節指示部２０６ａと、その他の操作部材を有する。その他の操作部材としては、電源ボタン、レリーズボタン、動画ボタン、モードダイヤル、再生ボタン、メニューボタン等の各種の操作ボタン及びタッチパネル等の各種の操作部材を含む。焦点調節指示部２０６ａは、焦点調節指示用に単独の操作部材（タッチパネルでも良い）を設けてもよいが、本実施形態においては、レリーズボタンの半押し操作によって、焦点調節の指示がなされる。操作部２０６は、各種の操作部材の操作状態を検知し、検知結果を示す信号をＣＰＵ２１６に出力する。
【0031】
撮像素子２０８は、撮像光学系１０２の光軸上であって、メカシャッタ２０２の後方で、かつ、撮像光学系１０２によって被写体からの光束が結像される位置付近に配置されている。撮像素子２０８は、被写体を撮像して被写体に係る画素信号を生成する。
【0032】
撮像素子２０８は、複数の画像用画素（撮像用画素）が２次元状に配列された画素部を有する。画像用画素は、各マイクロレンズに対応し、複数の位相差検出用画素に分割された構成となっている。位相差検出用画素は、撮像光学系１０２の射出瞳を複数に瞳分割した領域を通過する光束をそれぞれ光電変換して光電変換信号を生成する。撮像素子２０８は、例えば、原色ベイヤ配列のカラーフィルタを備える単板式ＣＭＯＳ撮像素子として構成されているが、もちろんこの構成に限定されるものではない。
【0033】
撮像制御回路２１０は、撮像素子２０８の各画素における露光制御（電荷蓄積制御）および電荷の読み出し制御を行う。これらの制御は、ＣＰＵ２１６ からの画素信号の読出し方法の設定に従って行われる。
【0034】
アナログ処理部２１２は、撮像制御回路２１０の制御に従って撮像素子２０８から読み出された画素信号を入力する。アナログ処理部２１２は、画素信号に対して増幅処理等のアナログ処理を行う。アナログ処理部２１２は、処理後の画素信号をＡＤＣ２１４へ出力する。ＡＤＣ２１４は、アナログ処理部２１２から出力された画素信号を、デジタル形式の画素データに変換し、バス２２６に出力する。なお、以下の説明では、画素データの集まりを画像データと言うことにする。
【0035】
ＣＰＵ２１６は、ＣＰＵとその周辺回路を含むプロセッサであり、本体側記憶部２３０に記憶されているプログラムに従ってカメラ本体２００の全体制御を行う。ＣＰＵ２１６は、例えば、追尾回路２３４からの主被写体の追尾結果を入力すると、この主被写体を含むＡＦエリアからの位相差検出信号に基づいて、フォーカスレンズ１０２ａを駆動するための制御信号をレンズＣＰＵ１０６に出力する。ここで、ＣＰＵ２１２は、必ずしもＣＰＵとして構成されていなくてもよい。すなわち、ＣＰＵ２１２と同様の機能は、ＡＳＩＣ、ＦＰＧＡ等によって実現されてもよい。また、ＣＰＵ２１２と同様の機能は、ソフトウェアによって実現されてもよい。
【0036】
ＣＰＵ２１６は、候補領域設定部２１６ａと焦点調節制御部２１６ｂを有する。これらの候補領域設定部２１６ａと制御部２１６ｂの機能は、それぞれハードウェア回路等によって実現してもよいが、本実施形態においては、ＣＰＵ２１６が本体側記憶部２３０に記憶されているプログラムに基づいて実現する。ＣＰＵ２１６は、候補領域設定部と制御部を有するプロセッサとして機能する。
【0037】
候補領域設定部２１６ａは、焦点調節の際に考慮しないＡＦエリアや領域を設定する。本実施形態においては、候補領域設定部２１６ａが主対象物（主被写体）の手前等に横切るような位置にある非主対象物を不要領域として設定する（例えば、図２のＳ１７、図３のＳ３７、図４Ａ～４Ｃ参照）。例えば、図７において、各ＡＦエリアＡＦＡにおいてデフォーカス量に基づいて、距離値（ＬＤＰ）を算出し（図２のＳ１５）、この距離値に基づいて、領域（ＡＦエリアによって構成される）を検出し（図３のＳ３３）、各領域における距離値に基づいて、横切り被写体ＣＣの存在する可能性がある横切り候補ＣＣＣ（ＡＦエリアによって構成される）を判定する。
【0038】
候補領域設定部２１６ａは、主対象物の位置に対応する領域の距離値の統計値（例えば、平均値）に対して、所定量以上近距離側の距離値を示す領域を不要候補領域と設定する候補領域設定部として機能する（例えば、図２のＳ１７，図３のＳ３７、図４Ａ～４Ｃ参照）。候補領域設定部は、主対象物領域に対応する領域内の第１の候補領域と、主対象物領域以外の領域に対応する領域内の第２の候補領域を設定する。例えば、図７において、第１の候補領域がボディ範囲ＢＯの場合、主対象領域以外の領域に対応する第２の候補領域はパーツ範囲ＰＡ。また、第１の候補領域がパーツ範囲ＰＡの場合、第２の候補領域は外側範囲である。
【0039】
また、候補領域設定部２１６ａは、パーツ範囲ＰＡ内において、略同じ程度の距離値を有する領域を多数領域として検出している（例えば、図３のＳ３３参照）。候補領域設定部２１６ａは、第２の領域内に第３の候補領域を設定する（図３のＳ３３参照）。
【0040】
また、候補領域設定部２１６ａは、第１の領域と第２の領域を除く領域にて、第１の領域と第２の領域に対応する距離値のうちで最も近距離を示す距離値よりも近距離を示す領域を不要候補領域と設定する候補領域設定部として機能する（例えば、図６ＡのＳ１５３、Ｓ１５５参照）。上述の不要候補領域は、複数のＡＦ領域から構成される。
【0041】
焦点調節制御部２１６ｂは、焦点検出回路２２２から入力したＡＦエリア毎の信頼値や距離値に基づいて、フォーカスレンズの駆動制御を行う。この駆動制御を行うにあたって、候補領域設定部が設定した不要候補領域における対象物の距離に基づいて、実際に焦点調節に使用しない除外領域か否かを判断する。そして、主対象物の領域の中で残った領域の距離値に基づいて、フォーカスレンズの駆動制御を行う（例えば、図２のＳ１７～Ｓ２３参照）。
【0042】
焦点調節制御部２１６ｂは、不要候補領域に基づき不要対象物に対応する領域を判別し、主対象物領域から不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御する制御部として機能する（例えば、図３のＳ３９、図５Ａおよび図５Ｂ参照）。制御部は、第１の候補領域に対応する第１の距離値と第２の候補領域に対応する第２の距離値に基づいて不要対象物に対応する領域を判別する（例えば、図５ＢのＳ１３３参照）。
【0043】
上述の制御部は、第１の距離値と第２の距離値の差が、第１の所定量の範囲内であり（例えば、図５Ｂの１３３参照）、かつ、第１の候補領域の面積の主対象物領域の面積に対する比率が第２の所定量より小さい場合に、第１の候補領域と第２の候補領域を不要対象物に対応する領域と判別する（例えば、図４ＣのＳ８７、Ｓ８９、Ｓ１０１、Ｓ１０３参照）。
【0044】
上述の制御部は、第１の距離値と第２の距離値（例えば、パーツ範囲の多数領域の平均ＬＤＰ値）と第３の候補領域に対応する第３の距離値（例えば、パーツ範囲の着目領域の距離値）に基づいて不要対象物に対応する領域を判別する（例えば、図４ＣのＳ８７、Ｓ８９参照）。また、制御部は、第１の距離値と第２の距離値と第３の距離値の差が、第３の所定量の範囲内である場合に、第１の候補領域と第２の候補領域と第３の候補領域を不要対象物に対応する領域と判別する（例えば、図５ＢのＳ１３３参照）。また、制御部は、さらに第３の候補領域の面積の第２の領域の面積に対する比率が第４の所定量よりも小さい場合に、第１の候補領域と第２の候補領域と第３の候補領域を不要対象物に対応する領域と判別する（例えば、図４ＢのＳ６５、図４ＣのＳ８９参照）。
【0045】
焦点制御部２１６ｂは、不要候補領域に基づき不要対象物に対応する領域を判別し、第２の領域から不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御する制御部として機能する（例えば、図６ＡのＳ１５１参照）。この制御部は、不要候補領域が複数フレームにわたり設定され、最新のフレームの第１の領域に対応する距離値と過去のフレームの第１の領域対応する距離値の差と、最新のフレームの第２の領域に対応する距離値と過去のフレームの上記第２の領域に対応する距離値の差との差分が、第５の所定量よりも大きいことを示す第２の領域内の部分を不要対象物に対応する領域と判別する（例えば、図６ＢのＳ１６７参照）。
【0046】
画像処理回路２１８は、画素データに対して各種の画像処理を施す。撮像素子２０８から読み出され、ＡＤＣ２１４によって生成された画像データまたは内部メモリであるＤＲＡＭ２２８に保存された画像データに対して露出補正やノイズ処理、ＷＢゲイン補正、輪郭強調、偽色補正等の様々な画像処理を施す。さらに、画像処理部２１８は、上述の画像処理を施した画像データに対して、記録データ形式に変換する処理（現像処理）も行う。また、画像処理回路２１８は、静止画撮影（連写も含む）の際には、静止画記録用の画像処理を施し、静止画データを生成する。同様に、画像処理回路２１８は、動画撮影の際には、動画記録用の画像処理を施し、動画データを生成する。さらに、画像処理回路２１８は、ライブビュー表示時には、表示用の画像処理を施し、表示画像データを生成する。
【0047】
なお、画像処理部２１８は、本実施形態においては、画像処理演算を行う演算回路で構成する専用の画像処理プロセッサである。しかし、この構成に限らずに、例えば画像処理演算を画像処理プログラムに基づいて、デジタル信号プロセッサ（ＤＳＰ）等の汎用の信号処理プロセッサに展開する構成であってもよい。
【0048】
画像圧縮展開部２２０は、画像圧縮回路および画像伸張回路を有する。画像圧縮展開部２２０は、画像データの記録時には、画像処理部２１８で生成された画像データ（静止画データ又は動画データ）を圧縮する。また、画像データの再生時には、記録媒体２３２に圧縮状態で記録された画像データを伸張する。
【0049】
焦点検出回路２２２は、撮像素子２０８からの位相差検出用画素に基づく画像データを用いて、位相差検出法によって、焦点検出を行う。すなわち、撮像素子２０８の位相差検出画素データを用いた位相差方式によって、フォーカスレンズ１０２ａのデフォーカス量を算出する。このデフォーカス量の算出は、１フレーム分の画像データが出力されるたびに、ＡＦエリア毎に行われる。撮像素子２０８上の位相差検出用画素は、図７に示すように、複数のＡＦエリア毎に検出できるように配置されており、ＡＦエリア毎にデフォーカス量を算出することができる。
【0050】
焦点検出回路２２２は、信頼性判定部２２２ａと変換部２２２ｂを有する。信頼性判定部２２２ａは、信頼性判定回路を有し、ＡＦエリア毎に算出されたデフォーカス量の信頼性が高いか否かを判定する（図２のＳ１１参照）。信頼性の判定としては、例えば、位相差画素出力のコントラスト量が十分あるか否か、また相関演算値の極小値が十分小さいか否か、また相関演算値の極小値と、その隣接する相関演算値の大きい方の値を結ぶ傾きが、十分大きいか等に基づいて判定する。
【0051】
また、変換部２２２ｂは、変換回路を有し、焦点検出回路２２２によってＡＦエリア毎に算出されたデフォーカス量を、それぞれフォーカスレンズの位置に変換する。この変換は、１フレーム分の画像データが出力されるたびに、ＡＦエリア毎に算出される。デフォーカス量はフォーカスレンズの現在位置を基準とした場合の合焦位置までの距離であり、相対的な位置を示している。変換部２２２ｂは、相対的な合焦位置を、絶対的なレンズ位置に変換する。この絶対的なレンズ位置は、レンズパルス位置（ＬＤＰ値）を用いて表す。
【0052】
変換部２２２ｂは、撮像信号に基づいて複数のＡＦ領域の被写体距離に応じた距離値を検出する距離値検出部（距離検出回路）として機能する（例えば、図２のＳ１５参照）。また、変換部２２２ｂは、撮像信号に基づきフレーム毎に複数のＡＦ領域の被写体距離に応じた距離値を検出する距離値検出部（距離検出回路）として機能する（例えば、図６Ａ、図６Ｂ、図１１参照）。
【0053】
表示部２２４は、液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイを有し、カメラ本体２００の背面等に配置され、または電子ビューファインダとして配置される。この表示部２２４は、ＣＰＵ２１６の制御に従って画像を表示する。表示部２２４は、ライブビュー表示や記録済み画像の再生表示、またメニュー画像の表示等に使用される。
【0054】
バス２２６は、撮像制御回路２１０、ＡＤＣ２１４、ＣＰＵ２１６、画像処理部２１８、画像圧縮展開部２２０、焦点検出回路２２２、表示部２２４、ＤＲＡＭ２２８、本体側記憶部２３０、記録媒体２３２、追尾回路２３４に接続されている。バス２２６は、これらのブロックで発生した各種のデータを転送するための転送路として機能する。
【0055】
ＤＲＡＭ２２８は、電気的に書き換え可能な揮発性メモリであり、撮像素子２０８から出力される画素データに基づく、静止画データ、動画データ、表示画像データを一時的に記憶し、またＣＰＵ２１６における処理データ等の各種データを一時的に記憶する。なお、一時記憶用としてＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が用いられてもよい。
【0056】
本体側記憶部２３０は、電気的に書き換え可能な不揮発性メモリである。本体側記憶部２３０は、ＣＰＵ２１６で使用されるプログラムと、カメラ本体２００の調整値等の各種データを記憶する。記録媒体２３２は、電気的に書き換え可能な不揮発性メモリであり、カメラ本体２００に内蔵されるか又は装填されるように構成されている。記録媒体２３２は、記録用の画像データを所定の形式の画像ファイルとして記録する。なお、ＤＲＡＭ２２８、本体側記憶部２３０及び記録媒体２３２は、それぞれ１つのメモリ等で構成されてもよいし、複数のメモリ等が組み合わされて構成されてもよい。
【0057】
追尾回路２３４は、動きのある子供やペット等、動く被写体を追尾する。追尾回路２３４は、所定フレーム毎に画像データを入力し、２つの画像データをずらしながらの差分を算出し、差分値が最小となるずらし量が、被写体の移動量となる。この処理によって、同一の被写体の動きを検出し、同一の被写体を追尾する。
【0058】
追尾回路２３４が人工知能（ＡＩ）を有している場合には、このＡＩによって特定の被写体（例えば、鳥、車、人間、顔等）を検出し、この特定被写体を追尾することができる。この場合、ＡＩは、ディープラーニングによって推論モデルを生成し、推論エンジンに生成した推論モデルを設定する。この推論エンジンに撮像素子２０８によって取得した画像データを入力することによって、特定被写体の位置が分かり、追尾することができる。この追尾回路２３４は、追尾対象全体を検出し、追尾するようにしてもよいが、本実施形態においては、追尾対象の本体部分であるボディ（Body）と、本体部分の一部分であるパーツ（Parts）をそれぞれ検出することができる。
【0059】
追尾回路２３４は、前述したように、推論エンジンによるＡＩやハードウェア回路等によって主被写体を検出し、この主被写体の移動方向と移動量を検出することによって、主被写体の追尾を行う。主被写体を検出する際に、被写体のボディとパーツを検出することができる。例えば、図７に示す例では、鳥全体がボディＢＯであり、鳥の頭の部分がパーツＰＡである。本実施形態においては、ボディとパーツの２つを検出しているが、これに限らず、３種類以上の部分を検出するようにしてもよい。なお、本実施形態においては、追尾機能は追尾回路２３４が果たしているが、ＣＰＵ２１６が追尾回路２３４を周辺回路として備えていてもよく、またＣＰＵ２１６が、撮像素子２０８からの画像データを入力し、ソフトウェアを用いて検出するようにしてもよい。
【0060】
追尾回路２３４は、撮像信号に基づいて主対象物の位置を検出する主対象物位置検出部（主対象物位置検出回路）として機能する（例えば、図２のＳ７参照）。この主対象物位置検出部（主対象物位置検出回路）は、主対象物の全体を含む第１の領域の位置と主対象物の一部を含む第２の領域の位置を検出する。例えば、図７において、第１の領域の位置がボディ範囲Ｂｏとすると、第２の領域の位置がパーツ範囲ＰＡとなる（図２のＳ７参照）。また、追尾回路２３４は、撮像信号に基づきフレーム毎に主対象物の全体を含む第１の領域の位置と主対象物の一部を含む第２の領域の位置を検出する主対象物位置検出部（主対象物位置検出回路）として機能する（例えば、図６Ａ、図６Ｂ、図１１参照）。
【0061】
なお、追尾回路２３４内に顔検出回路を設け、被写体に顔が含まれているか否かを検出してもよい。前述したＡＩによって、顔等のパーツを検出するようにしてもよい。さらに、顔の内部の瞳等のパーツを検出し、追尾回路２３４がこのパーツを追尾するようにしてもよい。また、主被写体が鳥等の場合に、鳥の顔部分をパーツとして検出し、追尾してもよい。なお、追尾回路２３４、焦点検出回路２２２は、撮像素子２０８の画像データに基づいて検出処理を行うが、同一の被写体を撮像する複数の撮像素子を有し、追尾回路２３４、焦点検出回路２２２がそれぞれ別々の撮像素子の画像データに基づいて検出処理を行ってもよい。
【0062】
次に、図２ないし図６Ｂに示すフローチャートを用いて、焦点調節装置を含む撮像装置の動作について説明する。これらのフローは、カメラ本体２００内のＣＰＵ２１６が、本体側記憶部２３０に記憶されたプログラムに従って、カメラ本体２００および交換式レンズ１００内の各部を制御することによって実現する。
【0063】
ユーザが撮像装置１の電源をオン操作したことが検出されると、図２に示すカメラ電源オンのフローが開始する。電源のオン操作が検出されると、まず１ｓｔレリーズスイッチがオンか否かについて判定する（Ｓ１）。ここでは、ＣＰＵ２１６は、操作部２０６の内のレリーズボタンの焦点調節指示部２０６ａとして機能する１ｓｔレリーズスイッチがオン状態になったか否かを判定する。ユーザは、被写体にピントを合わせ、露光を決定する場合には、レリーズボタンを半押しする。ユーザがレリーズボタンを半押し操作すると、この操作に応答して１ｓｔレリーズスイッチがオン状態となる。
【0064】
ステップＳ１における判定の結果、１ｓｔレリーズスイッチがオンでない場合、スルー画を取り込む（Ｓ３）。ここでは、ＣＰＵ２１６は、メカシャッタ２０２を全開状態とするように駆動部２０４に対して制御信号を出力すると共に、絞り１０２ｂを所定量（例えば開放絞り）だけ駆動するように、レンズＣＰＵ１０６に対して制御信号を出力する。その後、ＣＰＵ２１６は、所定時間毎に（表示フレームレートで決まる時間）、撮像素子２０８に対して制御信号を出力し、撮像素子２０８によるスルー画表示（ライブビュー（ＬＶ）表示ともいう）のための撮像を行う。スルー画表示のための撮像が完了する毎に、撮像制御回路２１０は、各画素から画素信号を読み出す。ＣＰＵ２１６は、画像処理部２１８において生成された表示画像データに基づいて表示部２２４にスルー画を表示させると、ステップＳ１に戻る。
【0065】
ステップＳ１における判定の結果、１ｓｔレリーズスイッチがオンの場合には、次に、ＡＦ＆ＬＶ用露光＆読出しを行う（Ｓ５）。撮像制御回路２１０は、オートフォーカス（ＡＦ）及びＬＶ表示のための撮像と読み出しの制御を行う。ここでは、撮像素子２０８からの画像データに基づいて、位相差法による相関演算の際に使用される焦点検出用の焦点（位相差）検出用画素データと、スルー画表示用（ＬＶ表示用）からなる画像データを生成し、ＤＲＡＭ２２８に一時記憶する。なお、スルー画表示用の画像データは、追尾回路２３４における追尾検出にも使用する。
【0066】
続いて、追尾ブロックから被写体情報を取得する（Ｓ７）。追尾回路２３４は、画像データに基づいて、主対象物（主被写体）の位置を検出することができる。そこで、このステップでは、ＣＰＵ２１６は、追尾回路２３４から、追尾対象の被写体情報を取得する。追尾対象は、本実施形態においては、追尾対象の本体（ボディ）と部分（パーツ）であり、被写体情報としては、ボディの中心ＸＹ座標とサイズ（幅、高さ）と、パーツの中心ＸＹ座標とサイズ（幅、高さ）についての情報を取得する。パーツやボディは、例えば、図７に示すように、鳥が被写体Ｓｕｂとして検出され、この鳥が追尾対象として検出されると、この鳥の全体がボディＢＯであり、鳥の顔（頭）の部分がパーツＰＡである。追尾回路２３４は、ボディＢＯとパーツＰＡについて、前述したような被写体情報を算出し、ＣＰＵ２１６に出力する。なお、パーツＰＡの全範囲がボディＢＯ内にあるとは限らず、図８に示すように、パーツＰＡの一部がボディＢＯの外にはみ出ることがある。
【0067】
次に、測距演算範囲を決定する（Ｓ９）。ＣＰＵ２１６は、ステップＳ７において取得した被写体情報に基づいて、焦点検出回路２２２における測距演算範囲を決定する。ボディ範囲ＢＯは、ボディの中心座標、幅、高さから算出し、パーツ範囲ＰＡは、パーツの中心座標、幅、高さから算出する。ボディ範囲ＢＯ内のＡＦエリアＡＦＡと、パーツ範囲ＰＡ内のＡＦエリアＡＦＡが測距演算範囲として決定される。加えて、ボディ範囲ＢＯとパーツ範囲ＰＡの外側であって、所定範囲内のＡＦエリアＡＦＡも、測距演算範囲として決定される。この外側の所定範囲内としては、ボディ範囲ＢＯとパーツ範囲ＰＡの外側の定数Ｃ１分のＡＦエリアまでとし、外側範囲とする。図７に示す例では、定数Ｃ１は１であり、図８に示す例では定数Ｃ１は３である。定数Ｃ１は、種々の条件、たとえば被写体種類（人、鳥、車等）、焦点距離（ズーム）、対象物大きさ（画面内に占める面積比）、測距信頼性、等に応じて適切に変更する。本体側記憶部２３０にこの内容を含むテーブルを記憶しておき、ＣＰＵ２１６がこのテーブルを参照して定数Ｃ１を設定してもよい。
【0068】
測距演算範囲を決定すると、次に、信頼性を判定する（Ｓ１１）。ここでは、ＣＰＵ２１６は、焦点検出回路２２２によって相関演算を実行させる。焦点検出回路２２２は、ＤＲＡＭ２２６に記憶されている対をなす位相差画素データを用いて相関演算を行う。相関演算は、複数の所定のＡＦエリア（焦点検出領域）内の焦点検出（位相差）画素データに基づいて、位相差に相当する２像間隔値を、ＡＦエリアについてそれぞれ生成する。相関演算が終了すると、次に、焦点検出回路２２２内の信頼性判定部２２２ａは、焦点検出の信頼性判定を行う。信頼性判定は、画素データから得られる被写体像のコントラストが所定値よりも大きく、かつ相関演算値の極小値が所定値よりも小さく、かつ相関演算値の極小値とその両隣の相関演算値の大きい方で形成される傾きが所定値よりも大きいか否か等、公知の信頼性判定方法に基づいて行う。
【0069】
信頼性を判定すると、次に、ピントずれ量を算出する（Ｓ１３）。ここでは、ステップ１１における判定の結果、信頼性がＯＫとなったＡＦエリアにおける２像間隔値（最小となる相関演算結果を示す像ずれ量）に対して、ＣＰＵ２１６は、ＡＦエリア毎に異なる感度値を乗算することで、デフォーカス量［mm］に変換する。また、ＡＦエリア毎に異なる補正量である、撮影レンズのコントラストベストずれ補正量（ほぼ撮影レンズの周波数ずれ量）をデフォーカス量に加算する。なお、ステップＳ１１における信頼性判定と、ステップＳ１３におけるピントずれ量については、特願２０１６－２３０２７３に詳述されているので、詳しい説明は省略する。
【0070】
ピントずれ量を算出すると、次に、デフォーカス量をレンズパルス位置に変換する（Ｓ１５）。前述したように、デフォーカス量はレンズパルス位置基準で算出された相対位置なので、このステップにおいて、ＣＰＵ２１６は、常に絶対位置で判断できる様に、各エリアのデフォーカス量をレンズパルス位置（ＬＤＰ）（絶対位置）に変換する。ステップＳ１５におけるレンズパルス位置への変換については、特願２０１８－０３２５０１に詳述されているので、詳しい説明は省略する。
【0071】
レンズパルス位置に変換すると、次に、横切り除外を行う（Ｓ１７）。図７に示すように、主要な被写体Ｓｕｂである鳥より前側（至近側）に、枝のように細い被写体ＣＣ（横切り被写体）があると、手前側にある横切り被写体ＣＣに対してピントがあってしまう。これは、測距範囲に２以上の被写体があると、最至近の被写体にピントを合わせてしまうからである。そこで、ステップＳ１７においては、枝のように細い被写体（横切り被写体）が存在した場合には、この横切り被写体が含まれるＡＦエリアＣＣＣを焦点検出の対象から除外するようにしている。この横切り除外の詳細な動作については、図３を用いて後述する。
【0072】
横切り除外を行うと、次に、エリア選択を行う（Ｓ１９）。ステップＳ９において決定された測距演算範囲中のＡＦエリアから、焦点検出を行って不要な領域（ＡＦエリア）がステップＳ１７において除外されており、ＣＰＵ２１６は、残っているＡＦエリアの中からピントを合わせるＡＦエリアを選択する。複数のＡＦエリアが残っている場合には、所定の基準に沿って選択する。例えば、最も近い被写体距離（最至近）に対応するデフォーカス量を示す焦点検出領域（ＡＦエリア）を選択してもよい。また、エリア選択処理は、最至近被写体に限らず、顔検出による人の顔が存在するエリアを選択してもよく、ユーザがマニュアルで選択したエリアであってもよい。
【0073】
エリア選択を行うと、次に、合焦状態を判定する（Ｓ２１）。ここでは、ＣＰＵ２１６は、フォーカスレンズ１０２ａが合焦状態にあるか否かを判定する。すなわち、ステップＳ１９におけるエリア選択処理において選択された焦点検出領域（ＡＦエリア）におけるピントずれ量が予め定められた許容範囲内であるか否かを判定し、許容範囲内であるときには合焦状態と判定する。
【0074】
ステップＳ２１における判定の結果、合焦状態でない場合には、フォーカスレンズ駆動を実行する（Ｓ２３）。ここでは、ＣＰＵ２１６は、ステップＳ１９において選択されたＡＦエリアについて算出されたフォーカスレンズ位置に、フォーカスレンズ１０２ａが駆動されるようにレンズＣＰＵ１０６と通信を行い、制御信号を出力する。レンズＣＰＵ１０６は、この制御信号を受けると、駆動部１０４を通じてフォーカスレンズ１０２ａを指示された位置へ駆動する。フォーカスレンズ１０２ａを駆動すると、Ｓ１に戻る。
【0075】
ステップＳ２１における判定の結果、合焦状態であった場合には、次に、１ｓｔレリーズがオンか否かを判定する（Ｓ２５）。ここでは、ステップＳ１と同様に、ＣＰＵ２１６は、操作部２０６の内のレリーズボタンの焦点調節指示部２０６ａとして機能する１ｓｔレリーズスイッチがオンの状態であるか否かを判定する。この判定の結果、１ｓｔレリーズスイッチがオンであればステップＳ１に戻る。
【0076】
一方、ステップＳ２５における判定の結果、１ｓｔレリーズスイッチがオフであった場合には、電源オフか否かの判定を行う（Ｓ２７）。ここでは、ＣＰＵ２１６は、操作部２０６内の電源スイッチの状態を検出し、判定する。ステップＳ２７における判定の結果、電源がオフでない場合には、ステップＳ１に戻る。また、この判定の結果、電源スイッチがオフであれば、電源オフ処理を行う。なお、ステップＳ２５にて１ｓｔレリーズオンの場合（Ｓ２５、Ｙｅｓ）に、レリーズ釦が全押しされたか否かを判定し、全押しされていた場合には、シャッタを開放して、静止画等の撮影のための露光を行い、露光終了後に撮像素子２０８によって取得した画像データを記録媒体２３２に記録する。この処理は、公知であることから、詳しい説明は省略する。
【0077】
次に、図３に示すフローチャートを用いて、ステップＳ１７（図２参照）の横切り除外の詳しい動作について説明する。この横切り除外のフローは、図７に示すような、主被写体の手前にある枝のような細長い（面積が小）被写体の含まれるＡＦエリアを、焦点調節の対象から除外する。なお、以下の説明においては、パーツ範囲とボディ範囲が重複する範囲を、パーツ範囲として扱う。そして、追尾回路２３４から出力されるボディ範囲情報のうちパーツ範囲を含まない範囲をボディ範囲として扱って処理を行う。
【0078】
図３に示す横切り除外のフローが開始すると、まず、デプスマップを作成する（Ｓ３１）。デプスマップは、同程度のデフォーカス量または距離が算出されたＡＦエリアをグループに分類するために作成する。ステップＳ１３において、焦点検出回路２２２はＡＦエリア毎にデフォーカス量を、またデフォーカス量に基づくレンズ位置ＬＤＰを算出している。このステップＳ３１では、ＣＰＵ２１６は、パーツ範囲内、ボディ範囲内、および外側範囲内においてそれぞれＬＤＰ値が降順となるように並べ、各ＬＤＰの差分を算出する。ＬＤＰ（Lens Defocus Pulse）値は、前述したように、フォーカスレンズの位置を示す値であり、ＬＤＰが大きい程、至近側であることを意味し、ＬＤＰが小さい程、遠距離側、すなわち背景側であることを意味する。
【0079】
ステップＳ３１において、ＬＤＰ値の各差分値を降順に並べ、差分値が定数Ｃ２以上の場合には、そこを領域の境界とする。すなわち、撮像装置１から同程度の離れた距離にある被写体の部分は同程度のＬＤＰとなり、異なる部分または他の被写体のＬＤＰは離れた値となる。従って、ＬＤＰの差分値に基づいて、被写体をＡＦエリア単位の領域に分けることができる。ＬＤＰの差分に基づいて領域に分けると、ＣＰＵ２１６は、至近側の領域から順に０、１、２、・・・と番号付けする。この番号付けは、パーツ範囲、ボディ範囲、外側範囲のそれぞれについて実施する。なお、本実施形態においては、領域分けの際に降順に並べたが、これに限らず、昇順に行っても領域分けを行うことはできる。また、ＬＤＰの差分に基づいてデプスマップを作成したが、デフォーカス量を用いてデプスマップを作成してもよい。定数Ｃ２は、種々の条件、例えば被写体種類（人、鳥、車等）、焦点距離、被写体大きさ、測距信頼性等に応じて変更する。
【0080】
デプスマップを作成すると、次に、多数領域の算出を行う（Ｓ３３）。前述したように、ステップＳ３１において、ＬＤＰの差分値に基づいて、領域の境界を定め、ＡＦエリア毎に算出されたＬＤＰに基づいて、至近側から順番に番号付けを行っている。このステップでは、範囲（パーツ、ボディ、外側）毎に、一定ＡＦエリア数以上ある領域を抽出する。すなわち、ステップＳ３１で定めた境界で決まる領域毎にＡＦエリア数を算出し、このＡＦエリア数が定数Ｃ３以上ある領域を抽出し、この領域を多数領域とする。以後、この多数領域を単純に領域と称す。また、ボディ範囲、パーツ範囲、外側範囲のそれぞれについて、この領域をボディ内領域、パーツ内領域、外側領域とする。定数Ｃ３より小さいＡＦエリア数から成る領域は、信頼性が低いとみなし、以下の処理から除外する。
【0081】
多数領域の算出を行うと、次に、背景領域の除外を行う（Ｓ３５）。ステップＳ３３において抽出された複数の多数領域は、それぞれ至近側から背景まで様々な距離の被写体に相当している。そこで、このステップでは、ＣＰＵ２１６は、算出された多数領域の中から背景に相当する領域を除外する。まず、ＣＰＵ２１６は、領域毎にＬＤＰの平均値を算出する。続いて、算出した各領域の平均ＬＤＰを降順（近距離順）に並べ、各平均ＬＤＰ間の差分を算出する。この差分値を降順に見て、差分値が定数Ｃ４以上、または差分のｍａｘが定数Ｃ５以上を満たす部分を、背景と背景以外の境界とし、この境界より遠方側（平均ＬＤＰが小さい側）の領域を背景領域として除外する。なお、定数Ｃ４＞定数Ｃ５とし、定数Ｃ４の処理を優先させる。定数Ｃ３、Ｃ４、Ｃ５は、種々の条件、例えば被写体種類（人、鳥、車等）、焦点距離、被写体大きさ、測距信頼性等に応じて変更する。
【0082】
背景領域除外の処理を行うと、次に、横切り除外１用の候補を抽出する（Ｓ３７）。ステップＳ３９において、横切り除外１を実行するが、その前に、このステップにおいて横切り除外１の処理の際に候補となるＡＦエリアを抽出する。なお、横切り除外１は、前述したように、図７に示すような、主要な被写体の手前にある枝のように細い被写体（横切り被写体）を、焦点検出のためのＡＦエリアから除外する処理である。この横切り除外１用の候補抽出の詳しい動作については、図４Ａないし図４Ｃに示すフローチャートを用いて後述する。
【0083】
横切り除外１用の候補を抽出すると、次に、横切り除外１を行う（Ｓ３９）。横切り除外１は、ボディ範囲、パーツ範囲、外側範囲を跨って存在するような領域を横切り被写体とし、この横切り被写体が含まれる領域を焦点調節のためのＡＦエリアから除外する。この処理は、動体画像および静止画像（連写画像を含む）について行ってもよい。この横切り除外１の処理は、ボディ範囲、パーツ範囲、および外側範囲において求められたボディ内領域、パーツ内領域、外側領域の各領域毎に平均ＬＤＰを比較し、同程度の平均ＬＤＰを算出する領域を抽出することによって行う。横切り除外１の詳しい動作については、図５Ａおよび図５Ｂに示すフローチャートを用いて後述する。
【0084】
横切り除外１を実行すると、次に、横切り除外２を行う（Ｓ４１）。横切り除外１によって、主被写体の前を横切るような面積の小さい被写体を除外し、横切り被写体にピントがあうことを防止できる。しかし、動画像や連写画像の場合には、前のフレームには横切り被写体が存在しなくても、次のフレームに突然横切り被写体が現れ、この突然現れた横切り被写体にピントがあってしまうおそれがある。そこで、横切り除外２では、横切り除外１によって除外できない横切り被写体を、焦点調節の対象から除外する。この横切り除外２では、過去のフレームのデフォーカス量情報も使用し判断する。この判断にあたっては、本実施形態においては、パーツ範囲のみを横切る被写体を除外する。横切り除外２の詳しい動作については、図６Ａおよび図６Ｂに示すフローチャートを用いて後述する。横切り除外２の処理が終わると、元のフローに戻る。
【0085】
【0086】
図４Ａに示す横切り除外１用候補抽出の動作が開始すると、まず、ボディ内平均ＬＤＰを算出する（Ｓ５１）。ここでは、ＣＰＵ２１６は、背景以外のボディ範囲内の全ＡＦエリアに関するＬＤＰの平均を算出する。平均は、単純平均や各ＡＦエリアの信頼性度合いに応じた重み付け平均でもよい。
【0087】
ボディ内の平均ＬＤＰを算出すると、次に、ステップＳ５３からＳ６３において、ボディ範囲内に含まれる各領域（ボディ内領域）のＬＤＰがボディ内平均ＬＤＰより大きい、言い換えると至近側にある領域を抽出する。これは、横切り被写体の可能性が高い至近側の被写体を除外候補として抽出するための処理である。
【0088】
まず、ボディ範囲内の着目領域（ボディ内領域）について領域番号としてｎを付与する（Ｓ５５）。ここで付与する最初の領域番号は、ｎ＝０であり、以後、ステップＳ５３～Ｓ６３を繰り返すたびに、ｎに１が加算される（後述するステップＳ６１参照）。
【0089】
着目領域に領域番号を付与すると、次に、着目領域のＬＤＰがボディ内平均ＬＤＰ＋定数Ｃ６以上であるか否かを判定する（Ｓ５７）ここでは、ＣＰＵ２１６が、着目領域ｎにおけるＬＤＰが、ステップＳ５１で算出したボディ内平均ＬＤＰより、定数Ｃ６以上であるか否かを判定する。
【0090】
ステップＳ５７における判定の結果、着目領域のＬＤＰがボディ内平均ＬＤＰ＋定数Ｃ６以上であった場合には、着目領域にボディ横切り候補１フラグを立てる（Ｓ５９）。着目領域ｎのＬＤＰがボディ内平均ＬＤＰ＋定数Ｃ６以上の場合には、着目領域の被写体距離は、ボディ範囲の平均距離よりも至近側にある可能性が高い。そこで、ＣＰＵ２１６は、ボディ横切りによる除外を行う候補であることを示すフラグ（ボディ横切り候補１フラグ）設定する。
【0091】
ステップＳ５９において、ボディ横切り候補１フラグを立てると、またはステップＳ５７における判定の結果、着目領域のＬＤＰがボディ内平均ＬＤＰ＋定数Ｃ６以上でなかった場合には、次に、領域番号ｎに１を加算する（Ｓ６１）。前述したように、領域番号ｎに１を加算すると、ステップＳ５５に戻り、前述した動作を繰り返す。領域番号ｎがボディ範囲内の全領域の最終に達すると、ステップＳ５３～Ｓ６３における繰り返し処理を終了し、ステップＳ６５に進む。
【0092】
次に、パーツ範囲とボディ範囲について、それぞれに含まれる領域の比率（面積比率）を算出する（Ｓ６５）。ここでは、ＣＰＵ２１６は、下記に式（１）（２）に基づいて、パーツ範囲内の各領域（パーツ内領域）の比率Ｒｐと、ボディ範囲内の各領域（ボディ内領域）の比率Ｒｂを算出する。なお、ここで、Ｎｐは各パーツ内領域のＡＦエリア数を、Ｎｂｐは背景領域以外のパーツ範囲内のＡＦエリア数を表す。またＮｂは各ボディ内領域のＡＦエリア数を、Ｎｐｂは背景領域以外のボディ範囲内のＡＦエリア数を表す。
Ｒｐ＝Ｎｐ／Ｎｂｐ ・・・（１）
Ｒｂ＝Ｎｂ／Ｎｐｂ ・・・（２）
Ｒｐ＝Ｎｐ／Ｎｂｐ ・・・（１）
Ｒｂ＝Ｎｂ／Ｎｐｂ ・・・（２）
【0093】
次に、比率の順位着けを行う（Ｓ６７）。ステップＳ６５において、パーツ領域とボディ領域について、それぞれ比率を算出しているので、このステップではＣＰＵ２１６は、パーツ内領域とボディ内領域について、それぞれ比率の大きい順に、０、１、２、・・・と、順位着けを行う。
【0094】
図９にステップＳ６５、Ｓ６７における比率の算出と、比率順位着けの例を示す。この例では、パーツ範囲内の全ＡＦエリアの数である全体エリア数が３０、パーツ範囲内での背景領域と判定されたＡＦエリアである背景エリア数が５である。またパーツ内領域パーツ領域０からパーツ領域４の５個である。パーツ内領域０のＡＦエリア数が４であるとすると、比率Ｒｐ０は（１）式に数値を代入し、４／（３０－５）＝０．１６となる。同様に、パーツ領域１の比率Ｒｐ１は、６／（３０－５）＝０．２４となり、パーツ内領域２の比率Ｒｐ２は、３／（３０－５）＝０．１２となる。比率が算出されると、比率順位は、パーツ内領域１、パーツ内領域０、パーツ内領域２の順となる（パーツ内領域３、４は省略）。
【0095】
次に、ステップＳ６９からＳ８３において、横切り被写体を除外する過程において、パーツやボディの有効な領域を除外しないようにする。このため、これらのステップにおいて、パーツとボディのそれぞれの範囲に対する各パーツ内、各ボディ内領域の占める比率を算出し、比率の小さいものを横切り被写体候補とする。横切り被写体が十分に大きい面積を有する場合には、追尾回路２３４がこのような大きい被写体を検出できるはずである。したがって、追尾回路２３４が検出しなかった面積が小さい領域は、除去すべき横切り被写体である可能性が高い。
【0096】
まず、ステップＳ５５と同様に、着目領域に領域番号ｎを付与する（Ｓ７１）。最初にここで付与する領域番号は、ｎ＝０であり、以後、ステップＳ６９～Ｓ８３を繰り返すたびに、ｎに１が加算される（後述するステップＳ８３、Ｓ９５、Ｓ１０９参照）。
【0097】
着目領域に領域番号を付与すると、次に、パーツ範囲のエリア（ＡＦエリア）数が定数Ｃ７未満であるか否かを判定する（Ｓ７３）。パーツ範囲は、鳥の顔のように、ボディ範囲と比較すると小面積な場合が多い。この場合、パーツ範囲が所定よりも小さい場合には、ステップＳ６５において算出した比率そのものは考慮せずに、ＣＰＵ２１６が除外の候補にする。
【0098】
ステップＳ７３における判定の結果、パーツ範囲のＡＦエリア数が定数Ｃ７未満であった場合には、次に、着目領域がパーツか否かを判定する（Ｓ７５）。着目領域は、パーツ範囲であるかボディ範囲であるか否かに関係なく領域番号が付与され記憶されている（Ｓ７１参照）。このステップでは、ＣＰＵ２１６が着目領域の領域番号に基づいて、パーツ範囲内であるか否かを判定する。
【0099】
ステップＳ７５における判定の結果、着目領域がパーツ範囲内にあれば、着目領域にパーツ横切り候補１フラグおよびパーツ横切り候補２フラグを立てる（Ｓ７７）。一方、ステップＳ７５における判定の結果、着目領域がパーツ範囲内になければ、着目領域にボディ横切り候補３フラグおよびボディ横切り候補４フラグを立てる（Ｓ７９）。パーツ範囲のＡＦエリア数が所定値（定数Ｃ７）より小さい場合は、横切り被写体の判定をより念入りに行うため、ボディ範囲内の着目領域も横切り候補（ボディ横切り候補３フラグおよびボディ横切り候補４フラグ）とする。
【0100】
ステップＳ７７またはＳ７９において、フラグを立てると、次に、領域番号ｎに１を加算する（Ｓ８１）。前述したように、領域番号ｎに１を加算すると、ステップＳ６９に戻り、前述した動作を繰り返す。領域番号ｎがボディ範囲およびパーツ範囲の全領域（パーツ内領域、ボディ内領域）の最終に達すると、ステップＳ６９～Ｓ８３における繰り返し処理を終了し、元のフローに戻る。
【0101】
ステップＳ７３に戻り、このステップにおける判定の結果、パーツ範囲のエリア（ＡＦエリア）数が定数Ｃ７よりも小さくない場合には、次に、着目領域がパーツ範囲か否かを判定する（Ｓ８５）。ここでは、ＣＰＵ２１６は、領域番号に基づき、着目領域がパーツ範囲内かボディ範囲内かを判定する。
【0102】
ステップＳ８５における判定の結果、着目領域がパーツ（パーツ範囲内）であった場合には、次に、着目領域の比率が定数Ｃ８以下か否かを判定する（Ｓ８７）。着目領域の比率は、ステップＳ６５において、式（１）に基づいて算出してあるので、ＣＰＵ２１６はこの算出結果に基づいて判定する。
【0103】
ステップＳ８７における判定の結果、着目領域の比率が定数Ｃ８以下であった場合には、着目領域にパーツ横切り候補１フラグを立てる（Ｓ８９）。この着目領域の占める割合が少ない、すなわちこの着目領域の面積が狭く、横切り被写体である可能性が高いので、横切り候補１としてフラグを立てる。
【0104】
ステップＳ８９においてフラグを立てると、またはステップＳ８７における判定の結果、着目領域の比率が定数Ｃ８以下でない場合には、次に、パーツ内比率順位が定数Ｃ９以上か否かを判定する（Ｓ９１）。パーツ範囲内における着目領域の比率の順位は、ステップＳ６７において求めてあるので、ＣＰＵ２１６はこの順位着けの結果に基づいて判定する。
【0105】
ステップＳ９１における判定の結果、着目領域の比率順位の数値が定数Ｃ９以上であった場合には、着目領域にパーツ横切り候補２フラグを立てる（Ｓ９３）。比率順位の数値が大きいことは、着目領域の占める割合が少ないことを意味し、すなわちこの着目領域の面積が狭く、横切り被写体である可能性が高いので、横切り候補２としてフラグを立てる。
【0106】
ステップＳ９３においてフラグを立てると、またはステップＳ９１における判定の結果、着目領域の比率順位が定数Ｃ９以上でなかった場合には、次に、領域番号ｎに１を加算する（Ｓ９５）。前述したように、領域番号ｎに１を加算すると、ステップＳ６９に戻り、前述した動作を繰り返す。領域番号ｎがボディ範囲およびパーツ範囲の全領域の最終に達すると、ステップＳ６９～Ｓ９７における繰り返し処理を終了し、元のフローに戻る。
【0107】
ステップＳ８５に戻り、着目領域がパーツ（パーツ範囲）でなかった場合には、次に、着目領域の比率が定数Ｃ１０以下か否かを判定する（Ｓ１０１）。ボディ範囲における着目領域（ボディ内領域）の比率は、ステップＳ６５において、式（２）に基づいて算出してあるので、ＣＰＵ２１６はこの算出結果に基づいて判定する。
【0108】
ステップＳ１０１における判定の結果、着目領域の比率が定数Ｃ１０以下であった場合には、着目領域にボディ横切り候補３フラグを立てる（Ｓ１０３）。この着目領域の占める割合が少ない、すなわちこの着目領域の面積が狭く、横切り被写体である可能性が高いので、横切り候補３としてフラグを立てる。
【0109】
ステップＳ１０３においてフラグを立てると、またはステップＳ１０１における判定の結果、着目領域の比率が定数Ｃ１０以下でない場合には、次に、ボディ内比率順位が定数Ｃ１１以上か否かを判定する（Ｓ１０５）。ボディ範囲内における着目領域の比率の順位は、ステップＳ６７において求めてあるので、ＣＰＵ２１６はこの順位着けの結果に基づいて判定する。
【0110】
ステップＳ１０５における判定の結果、着目領域の比率順位の数値が定数Ｃ１１以上であった場合には、着目領域にボディ横切り候補４フラグを立てる（Ｓ１０７）。比率順位の数値が大きいことは、着目領域の占める割合が少ないことを意味し、すなわちこの着目領域の面積が狭く、横切り被写体である可能性が高いので、横切り候補４としてフラグを立てる。
【0111】
ステップＳ１０７においてフラグを立てると、またはステップＳ１０５における判定の結果、着目領域の比率順位が定数Ｃ１１以上でなかった場合には、次に、領域番号ｎに１を加算する（Ｓ１０９）。前述したように、領域番号ｎに１を加算すると、ステップＳ６９に戻り、前述した動作を繰り返す。領域番号ｎがボディ範囲およびパーツ範囲の全領域（ボディ内領域、パーツ内領域）の最終に達すると、ステップＳ６９～Ｓ１１１における繰り返し処理を終了し、元のフローに戻る。定数Ｃ６～Ｃ１１は、種々の条件、例えば被写体種類（人、鳥、車等）、焦点距離、フォーカス位置、被写体（パーツ、ボディ）大きさ、着目領域のＡＦエリアの測距信頼性等に応じて変更する。
【0112】
次に、図５Ａおよび図５Ｂに示すフローチャートを用いて、ステップＳ３９（図３参照）に示す横切り除外１の動作について説明する。横切り除外１のフローは、ボディ範囲、パーツ範囲、および外側範囲を横切る被写体を探し、この被写体を焦点検出の対象から排除する。すなわち、ステップＳ３３、Ｓ３５（図３参照）において決定した領域（ボディ内領域、パーツ内領域、外側領域）毎に平均ＬＤＰを算出し、平均ＬＤＰの値がボディ範囲、パーツ範囲、および外側範囲において所定範囲内に入っている場合に、横切り被写体が存在していると判定する。平均ＬＤＰの値がボディ範囲やパーツ範囲等において略等しい場合には、同一の物体がこれらの範囲を横切っていると考えられるからである。
【0113】
図５Ａに示す横切り除外１のフローが開始すると、まず、パーツ横切り候補フラグ１かつパーツ横切り候補フラグ２が立っている領域に対し、繰り返し処理を開始する（Ｓ１２１）。これらのフラグは、ステップＳ７７、Ｓ８９、Ｓ９３において立てられている。続いて、パーツ着目領域を領域番号ｉとする（Ｓ１２３）。初めてステップＳ１２３を実行する際には、ｉ＝０とし、以後、ｉに１を加算する（Ｓ１４７参照）。すなわち、パーツ着目領域を表す領域番号を０から順次加算しながら、ステップＳ１２１～Ｓ１４７を実行する。
【0114】
次に、ボディ横切り候補フラグ１かつボディ横切り候補フラグ３かつボディ横切り候補フラグ４が立っている領域に対し、繰り返し処理を開始する（Ｓ１２５）。これらのフラグは、ステップＳ５９、Ｓ７９、Ｓ１０３、Ｓ１０７において立てられている。続いて、ボディ着目領域（ボディ内領域）を領域番号ｊとする（Ｓ１２７）。初めてステップＳ１２７を実行する際には、ｊ＝０とし、以後、ｊに１を加算する（Ｓ１４５参照）。すなわち、ボディ着目領域を表す領域番号を０から順次加算しながら、ステップＳ１２５～Ｓ１４５を実行する。
【0115】
次に、外側領域に対し、繰り返し処理を開始する（Ｓ１２９）。続いて、外側着目領域を領域番号ｋとする（Ｓ１３１）。初めてステップＳ１７３を実行する際には、ｋ＝０とし、以後、ｋに１を加算する（Ｓ１４３参照）。すなわち、外側着目領域を表す領域番号を０から順次加算しながら、ステップＳ１２９～Ｓ１４３を実行する。
【0116】
処理ループの構成について説明する。３重のループの始まりと終わりのステップＳ１２１～Ｓ１３１、Ｓ１４３～Ｓ１４７において、横切り除外１のフローを実行する際には、まず、パーツ着目領域番号ｉとボディ着目領域番号ｊを固定し、外側領域番号ｋについて、０、１、２、・・・と順次変更しながら、ステップＳ１３３～Ｓ１４１を実行する。外側領域番号ｋが最終の値になると、次に、ボディ着目領域番号ｊに１を加算し、この加算したｊとパーツ着目領域番号ｉを固定し、外側領域番号ｋについて、０、１、２、・・・と順次変更しながら、ステップＳ１３３～Ｓ１４１を実行する。ボディ着領域番号ｊが最終の値になると、次に、パーツ着目領域番号ｉに１を加算し、前述したように、順次、外側着目領域番号ｋとボディ着目領域番号ｊを変更しながら、ステップＳ１３３～Ｓ１４１を実行する。
【0117】
ステップＳ１３１において、外側着目領域を領域番号ｋとすると、次に、「定数Ｃ１２＜パーツ着目領域平均ＬＤＰ－ボディ着目領域平均ＬＤＰ＜定数Ｃ１３、かつ、定数Ｃ１２＜ボディ着目領域平均ＬＤＰ－外側着目領域平均ＬＤＰ＜定数Ｃ１３」であるか否かを判定する（Ｓ１３３）。ステップＳ３１において各ＡＦエリアのＬＤＰを算出してデプスマップを作成し、ステップＳ３３において領域を算出しているので、ＣＰＵ２１６は算出された各領域、つまり、ボディ内領域、パーツ内領域、外側領域毎に、含まれるＡＦエリアのＬＤＰを各領域内で平均することにより、各領域の平均ＬＤＰが求まる。ここで、定数Ｃ１２はマイナスの値を想定しており、また定数Ｃ１３はプラスの値を想定している。
【0118】
ステップＳ１３３における判定の結果、各ＬＤＰの差分が定数Ｃ１２と定数Ｃ１３の範囲内にあれば、該当着目領域を除外する（Ｓ１３５）。パーツ範囲における着目領域の平均ＬＤＰとボディ範囲における着目領域の平均ＬＤＰの差分が所定範囲内であれば、２つの着目領域の被写体距離は略同一であり、同一物体がパーツ範囲とボディ範囲に跨って存在していると考えられる。同様に、ボディ範囲における着目領域の平均ＬＤＰと外側範囲における着目領域の平均ＬＤＰの差分が所定範囲内であれば、２つの着目領域の被写体距離は略同一であり、同一物体がボディ範囲と外側範囲に跨って存在していると考えられる。この状態は、図１０（ｃ）に示した状態である。すなわち、図１０（ｃ）は、パーツ範囲ＰＡがボディ範囲ＢＯに対してはみ出すことがなく、またパーツ範囲とボディ範囲の境界が重なっていない状態を示す。この場合に、横切り被写体ＣＣが、外側範囲、ボディ範囲ＢＯ、パーツ範囲ＰＡに跨っていると、横切り被写体ＣＣの距離（ＬＤＰ）は、略同一となる。従って、ステップＳ１３３に示した条件を満たす場合には、横切り被写体と考えられるので、ステップＳ１３５において、パーツ範囲、ボディ範囲、外側範囲の全ての着目領域（該当領域）を、焦点調節の対象から除外する。
【0119】
ステップＳ１３５において、該当着目領域を除外すると、またはステップＳ１３３における判定の結果がＮｏであった場合には、次に、パーツ範囲がボディ範囲に対して重なっているか、またははみ出しているか否かを判定する（Ｓ１３７）。このステップでは、ＣＰＵ１２６は、追尾回路２３４が検出したパーツ範囲とボディ範囲に関するデータに基づいて判定する。パーツ範囲がボディ範囲に対して重なっているとは、図１０（ａ）に示すように、パーツ範囲の一部が単にボディ範囲ＢＯに重なっているのではなく、パーツ範囲の全部がボディ範囲ＢＯ内に含まれ、かつパーツ範囲を区切る少なくとも１辺がボディ範囲ＢＯの境界と重なっていることをいう。また、パーツ範囲がボディ範囲からはみ出しているとは、図１０（ｂ）に示すように、パーツ範囲ＰＡの一部がボディ範囲ＢＯに含まれ、パーツ範囲ＰＡの残りの部分がボディ範囲ＢＯに含まれない場合をいう。
【0120】
ステップＳ１３７における判定の結果、パーツ範囲がボディ範囲に対して重なっているか、またははみ出していた場合には、次に、パーツ着目領域の平均ＬＤＰ≧ボディ内平均ＬＤＰ＋定数Ｃ６であるか否かを判定する（Ｓ１３８）。ステップＳ１３８における判定がＹｅｓであった場合には、次に、定数Ｃ１４＜パーツ着目領域のＬＤＰ平均値－外側着目領域の平均ＬＤＰ値＜定数Ｃ１５であるか否かを判定する（Ｓ１３９）。ステップＳ１３７における判定がＹｅｓであったことから、図１０（ａ）または（ｂ）のような場合である。そして、パーツ範囲の着目領域の平均ＬＤＰがボディ内平均ＬＤＰに定数Ｃ６を加算した値以上の場合に、パーツ範囲の着目領域の被写体距離は、ボディ範囲の平均距離よりも至近側の横切り除外の候補の可能性がある。この場合には、パーツ範囲の着目領域と、外側範囲の着目領域のＬＤＰの平均値が略等しいか判定する。
【0121】
ステップＳ１３９における判定の結果がＹｅｓであれば、該当着目領域を除外する（Ｓ１４１）。この場合は、パーツ範囲と外側範囲における２つの着目領域の平均ＬＤＰの差分が所定範囲内であることから、パーツ範囲と外側範囲における２つの着目領域の被写体距離は略同一であり、同一物体がパーツ範囲と外側範囲に跨って存在していると考えられる。そこで、ＣＰＵ２１６は、パーツ範囲と外側範囲における該当着目領域を、焦点調節の対象から除外する。
【0122】
ステップＳ１４１において、該当着目領域以外を除外すると、またはステップＳ１３７またはＳ１３８またはＳ１３９における判定の結果がＮｏであった場合には、外側着目領域の領域番号ｋに１を加算し（Ｓ１４３）、前述のステップＳ１２９に戻る。外側着目領域の領域番号の最終の番号について処理が終わると、次に、ボディ着目領域の領域番号ｊに１を加算し（Ｓ１４５）、前述のステップＳ１２５に戻る。パーツ着目領域の領域番号ｉに１を加算し（Ｓ１４７）、前述のステップＳ１２１に戻る。パーツ着目領域の領域番号の最終の番号について処理が終わると、横切り除外１のフローを終了し、元のフローに戻る。定数Ｃ６、Ｃ１２～Ｃ１５は、種々の条件、例えば被写体種類（人、鳥、車等）、焦点距離、フォーカス位置、被写体（パーツ、ボディ）大きさ、着目領域のＡＦエリアの測距信頼性等に応じて変更する。
【0123】
次に、図６Ａおよび図６Ｂに示すフローチャートを用いて、ステップＳ４１（図３参照）に示す横切り除外２の動作について説明する。横切り除外２のフローは、被写体検出範囲、範囲周辺のデプス情報を複数フレームに亘りチェックしておき、横切り被写体が検出範囲内に入った瞬間に、横切り被写体の含まれる領域を除外して、焦点調節を行う。
【0124】
図６Ａに示す横切り除外２のフローが開始すると、まず、ここまでに除外されていないボディ範囲にある領域（ボディ内領域）のＡＦエリアについて、中央値を算出する（Ｓ１５１）。横切り除外２は、連続的にフレームが続く動画像や連続する静止画像（連写画像）において、横切り被写体が突然現れても、この横切り被写体にピントが合わないように、横切り被写体が含まれるＡＦエリアを除外するためのフローである。このステップでは、ＣＰＵ２１６は、横切り除外１の処理によってボディ範囲の中で除外されていないボディ内領域のＡＦエリアのＬＤＰを平均した平均ＬＤＰを大きさの順に配列した中央値を算出する。
【0125】
ボディ内領域の平均ＬＤＰ中央値を算出すると、次に、除外されずに残っているパーツ内領域およびボディ内領域の平均ＬＤＰのうちの最至近の平均ＬＤＰが、残っている外側範囲内の領域の平均ＬＤＰのうちの最至近の平均ＬＤＰよりも小さいか否かを判定する（Ｓ１５３）。ここでは、ＣＰＵ２１６は、背景に相当する外側領域の最至近距離と、パーツ範囲およびボディ範囲における最至近距離を比較する。
【0126】
ステップＳ１５３における判定の結果、Ｙｅｓであった場合には、フラグｏｕｔ_ｏｂｊ_ｆｌｇに１を設定する（Ｓ１５５）。この場合には、背景に相当する外側領域の方がボディ範囲・パーツ範囲よりも至近側にある。一方、ステップＳ１５３における判定の結果、Ｎｏであった場合には、フラグｏｕｔ_ｏｂｊ_ｆｌｇに０を設定する（Ｓ１５７）。この場合には、ボディ範囲・パーツ範囲の方が背景に相当する外側領域よりも至近側にある。
【0127】
次に、フラグｏｕｔ_ｏｂｊ_ｆｌｇを時系列データとして保存する（Ｓ１５９）。ＣＰＵ２１６は、撮像素子２０８からフレーム画像を読み出し、ステップＳ１５５またはＳ１５７においてフラグｏｕｔ_ｏｂｊ_ｆｌｇを設定すると、このフラグをＤＲＡＭ２２８（または不揮発性のメモリ）に、順次、記録する。記録しておくことにより、現フレームのフラグ設定値、１フレーム前のフラグの設定値、２フレーム前のフラグの設定値、・・・・を読み出すことができる。
【0128】
フラグを時系列データとして保存すると、次に、ＬＤＰ時系列差分を算出する（Ｓ１６１）。パーツ内領域の平均ＬＤＰのうちで最至近を示す領域の平均ＬＤＰの時系列的な差分Ｄｃを以下のように定義する。差分Ｄｃは、現フレームで残っているパーツ内領域の平均ＬＤＰのうちで最至近を示す領域の平均ＬＤＰをＬｐとし、３フレーム前のデータであって横切り除外されなかったパーツ内領域の平均ＬＤＰのうちで最至近を示す領域平均ＬＤＰをＬ３とすると、下記の式（３）によって算出することができる。
Ｄｃ＝Ｌｐ－Ｌ３ ・・・（３）
Ｄｃ＝Ｌｐ－Ｌ３ ・・・（３）
【0129】
また、式（３）をより一般化すると、パーツ内領域の平均ＬＤＰのうちで最至近からｎ番目に近い距離を示す領域の平均ＬＤＰの差分Ｄｃｎを以下のように定義する。差分Ｄｃｎは、現フレームで残っているパーツ内領域の平均ＬＤＰのうちで最至近からｎ番目に近い距離を示す領域の平均ＬＤＰをＬｐｎとし、３フレーム前のデータであって横切り除外されなかったパーツ内領域の平均ＬＤＰのうちで最至近からｎ番目に近い距離を示す領域の平均ＬＤＰをＬ３ｎとすると、下記の式（４）によって算出することができる。
Ｄｃｎ＝Ｌｐｎ－Ｌ３ｎ ・・・（４）
Ｄｃｎ＝Ｌｐｎ－Ｌ３ｎ ・・・（４）
【0130】
また、ボディ内領域のうちで中央値を含む領域の平均ＬＤＰの差分Ｄｍを以下のように定義する。差分Ｄｍは、現フレームで残っているボディ内領域のうちで中央値を含む領域の平均ＬＤＰをＬｍとし、３フレーム前のデータであって横切り除外されなかったボディ内領域のうちで中央値を含む領域の平均ＬＤＰをＬ３ｍとすると、下記式（５）によって算出することができる。
Ｄｍ＝Ｌｍ－Ｌ３ｍ ・・・（５）
Ｄｍ＝Ｌｍ－Ｌ３ｍ ・・・（５）
【0131】
なお、上述の式（３）～（５）においては、現フレームと３フレーム前の平均ＬＤＰの差分を算出していたが、これに限らず、１フレーム前でも、２フレーム前でも、また４フレーム以上前との差分であってもよい。いずれにしても所定条件を満たす平均ＬＤＰの差分を算出できればよい。
【0132】
平均ＬＤＰの時系列差分を算出すると、次に、ｏｕｔ_ｏｂｊ_ｆｌｇ＝１の時系列データがあるか否かを判定する（Ｓ１６３）。ｏｕｔ_ｏｂｊ_ｆｌｇ＝１は、前述したように、背景に相当する外側領域の方がボディ範囲・パーツ範囲よりも至近側にある場合である。この場合は、横切り被写体が画面内に突然入ってきた可能性がある。ステップＳ１５９において、ｏｕｔ_ｏｂｊ_ｆｌｇを保存しているので、ＣＰＵ２１６は、保存結果を読み出して過去の所定フレーム数についてｏｕｔ_ｏｂｊ_ｆｌｇ＝１のデータが存在するか判定すればよい。この判定の結果、ｏｕｔ_ｏｂｊ_ｆｌｇ＝１の時系列データがない場合には、このフローを終了する。
【0133】
ステップＳ１６３における判定の結果、ｏｕｔ_ｏｂｊ_ｆｌｇ＝１の時系列データがあった場合には、ステップＳ１６５～Ｓ１７１において、最至近に対応するパーツ内領域から、最至近からｎ番目に近い距離に対応するパーツ内領域までを繰り返し処理する（Ｓ１６５）。
【0134】
まず、（最至近からｎ番目に近い距離に対応するパーツ内領域の平均ＬＤＰの時系列差分Ｄｃｎ － ボディ内領域のうちで中央値を含む領域の平均ＬＤＰの時系列差分Ｄｍ）＞ 定数Ｃ１６であるか否かを判定する（Ｓ１６７）。ここでは、ＣＰＵ２１６は、ステップ１６１において算出したパーツ内領域の時系列差分Ｄｃｎを用いて、この時系列差分Ｄｃｎと中央値を含むボディ内領域の平均ＬＤＰの時系列差分Ｄｍとの差分値が、定数Ｃ１６よりも大きいか否かを判定する。
【0135】
ステップＳ１６７における算出結果は、追尾している被写体の平均的な距離（ボディ内領域のうちで中央値を含む領域の平均ＬＤＰ）と、パーツ範囲におけるｎ番目に近い距離のパーツ内領域の距離（平均ＬＤＰ）との差分である。この差分値が所定値より大きい場合には、パーツ範囲に突然、横切り被写体が現れたと言える。図１１は、横切り被写体が現れる場合において、最至近を示すパーツ内領域と中央値を含むボディ内領域の各距離（ＬＤＰで表す）の時間変化を示す。図１１に示す例では、時刻ｔ１～ｔ３までは、最至近を示すパーツ内領域と中央値を含むボディ内領域の各距離の変化量は略一定である。しかし、時刻ｔ４において、最至近を示すパーツ内領域の距離のみが至近側に大きく変化しており、時刻ｔ４と時刻ｔ１の時系列差分Ｄｃも大きく変化している。この結果、ＤｃとＤｍの差分は定数Ｃ１６より大きいと判定される。この場合には、パーツ範囲に横切り被写体が現れたといえる。ステップＳ１６７における判定の結果がＮｏであった場合には、ステップＳ１７１に進む。
【0136】
一方、ステップＳ１６７における判定の結果がＹｅｓであった場合には、該当する領域を除外する（Ｓ１６９）。ここでは、パーツ範囲に横切り被写体が現れたことから、ＣＰＵ２１６は、この該当するパーツ領域を、焦点調節を行う対象から除外する。
【0137】
ステップＳ１６９において該当する領域を除外すると、パーツ内領域において最至近からの順番を表すｎに、１を加算する（Ｓ１７１）。ステップＳ１６５～Ｓ１７１においては、パーツ内領域において、最至近から順番にステップＳ１６７、Ｓ１６９における処理を実行している。順番を表すｎが、最後の領域に達すると、横切り除外２のフローを終了し、元のフローに戻る。なお、ステップＳ１５１の中央値の代わりに、ボディ範囲に含まれる除外されていないボディ内領域の平均ＬＤＰを平均した平均値を採用してもよい。定数Ｃ１６は、種々の条件、例えば被写体種類（人、鳥、車等）、焦点距離、フォーカス位置、被写体（パーツ、ボディ）大きさ、着目領域のＡＦエリアの測距信頼性、被写体の移動速度等に応じて変更する。以上の説明においては、パーツ範囲とボディ範囲が重複する範囲を、パーツ範囲として扱ったが、ボディ範囲として扱ってもよい。例えば、図１０（ｂ）に示すパーツ範囲ＰＡ内におけるパーツ範囲ＰＡとボディ範囲ＢＯが重複しない範囲のみをパーツ範囲として扱って処理を行ってもよい。
【0138】
このように、本発明の一実施形態においては、具体的には、まず、対象物検出範囲の情報を追尾ブロックから取得する（例えば、図２のＳ７参照）。続いて、複数のＡＦエリアでデフォーカス量を検出し（例えば、図２のＳ１３）、ボディ範囲、パーツ範囲、外側範囲のそれぞれの領域のデフォーカス量を距離に相当するレンズ位置ＬＤＰに変換してデプスマップを作成する（図２のＳ１５、図３のＳ３１参照）。このデプスマップを用いて、被写体検出範囲、範囲周辺で、大きく背景側にある領域は背景と判定し、除外する（例えば、図３のＳ３５参照）。被写体検出範囲、範囲周辺のデプス情報を比較し、外側範囲、ボディ範囲内、パーツ範囲内に跨る領域を特定し、除外する（例えば、図３のＳ３９、図５Ａおよび図５Ｂ参照）。被写体検出範囲、範囲周辺のデプス情報を複数フレームに渡りチェックしておき、横切り被写体が検出範囲内に入った瞬間除外する（例えば、図３のＳ４１、図６Ａおよび図６Ｂ参照）。
【0139】
以上、本発明を撮像装置１に適用した例について説明した。しかし、本発明は撮像装置に限らず種々の装置に適用することが可能である。例えば、図１２は、顕微鏡等の科学機器に本発明を適用した場合を示す。すなわち、図１２は、培養液中で培養されている心筋細胞を顕微鏡によって観察する際の観察画像を示し、観察画像中には、細胞Ｃｅｌがあり、この細胞Ｃｅ１手前にゴミＤｓｔが漂っている。
【0140】
顕微鏡装置が撮像部、焦点検出部、およびピント調節部を備えている場合には、細胞培養の観察時に、浮遊している細胞Ｃｅｌに自動的にピントを合わせることができる。この状態で、ゴミＤｓｔが細胞Ｃｅｌの前を漂ってきた場合には、従来の焦点調節方法では、ゴミＤｓｔに対して焦点調節（ＡＦ）を行ってしまうために、細胞Ｃｅｌがぼけてしまう。
【0141】
そこで、本発明の一実施形態と同様に、ゴミＤＳＴを焦点調節の対象から除外し、顕微鏡の光学系のピント調節を行えばよい。図１２の例では、培養液中で培養されている細胞Ｃｅｌが本発明の一実施形態における「鳥」に相当し、細胞Ｃｅｌの前に漂ってくるゴミＤｓｔが鳥の前にある「枝」に相当する。顕微鏡における撮像部によって取得した画像データについて、図２ないし図６Ｂに類似するようなフローを実行することによって、細胞Ｃｅｌにピントを合わせることができる。また、画像中の細胞の画像部分を追尾可能なように構成される追尾回路を設け、追尾回路によって細胞Ｃｅｌの全体（ボディ）と特徴部分（パーツ）を検出し細胞Ｃｅｌを主対象物として検出すればよい。
【0142】
また、本発明は顕微鏡等の科学機器に限らず、内視鏡等の医療機器に適用することができる。図１３は、病変部であるポリープＰｏを切除するために内視鏡を体内に挿入し、スネアＳｎをポリープＰｏの上から近づけている様子を示す。内視鏡が撮像部、焦点検出部、およびピント調節部を備えている場合には、最初、ポリープＰｏにピントが合っているが、スネアＳｎの一部がポリープの手前に入ってくると、スネアＳｎにピントが合ってしまい、病変部であるポリープＰｏはぼけてしまう。
【0143】
そこで、本発明の一実施形態と同様に、スネアＳｎを焦点調節の対象から除外し、内視鏡の光学系のピント調節を行えばよい。図１３の例では、病変部であるポリープＰｏが本発明の一実施形態における「鳥」に相当し、ポリープＰｏを切除するためのスネアＳｎが鳥の前にある「枝」に相当する。内視鏡の撮像部によって取得した画像データについて、図２ないし図６Ｂに類似するようなフローを実行することによって、ポリープＰｏにピントを合わせることができる。また、画像中のポリープの画像部分を追尾可能なように構成される追尾回路を設け、追尾回路によってポリープＰｏの全体（ボディ）と特徴部分（パーツ）を検出しポリープＰｏを主対象物として検出すればよい。なお、焦点調節とは、焦点位置を連続的に変更するだけではなく、複数の離散的な焦点位置に選択的に位置制御することも含む。一般的な内視鏡のように、２焦点の焦点位置を切換える場合も含むものとする。
【0144】
以上説明したように、本発明の一実施形態および適用例は、撮影光学系を通過する対象物からの光を光電変換して撮像信号を出力する撮像素子を有し、撮像信号に基づいて焦点調節を行う焦点調節装置における焦点調節方法である。この焦点調節方法は、撮像信号に基づいて主対象物の位置を検出し（例えば、図２のＳ７参照）、撮像信号に基づいて複数のＡＦ領域の被写体距離に応じた距離値を検出し（例えば、図２のＳ１５参照）、主対象物の位置に対応する領域の距離値の統計値に対して、所定量以上近距離側の距離値を示す領域を不要候補領域と設定し（例えば、図２のＳ１７、図３のＳ３７参照）、不要候補領域に基づき不要対象物に対応する領域を判別し、主対象物領域から上記不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御する（例えば、図３のＳ３９）。さらに、主対象物領域に対応する領域内の第１の候補領域と、主対象物領域以外の領域に対応する領域内の第２の候補領域を設定し、第１の候補領域に対応する第１の距離値と第２の候補領域に対応する第２の距離値に基づいて不要対象物に対応する領域を判別する（例えば、図４ＡのＳ５７、Ｓ５９等参照）。このため、主対象物の前を横切るような細い対象物（遮蔽物）を排除して主対象物に合焦させることができる。
【0145】
また、本発明の一実施形態および適用例は、撮影光学系を通過する被写体光を所定のフレームレートで繰り返し撮像して撮像信号を出力する撮像素子を有し、撮像信号に基づいて焦点調節を行う焦点調節装置における焦点調節方法である。この焦点調節方法は、撮像信号に基づきフレーム毎に主対象物の全体を含む第１の領域の位置と主対象物の一部を含む第２の領域の位置を検出し（例えば、図２のＳ７参照）、撮像信号に基づきフレーム毎に複数のＡＦ領域の被写体距離に応じた距離値を検出し（例えば、図２のＳ１５参照）、第１の領域と第２の領域を除く領域にて、第１の領域と第２の領域に対応する距離値のうちで最も近距離を示す距離値よりも近距離を示す領域を不要候補領域と設定し（例えば、図６ＡのＳ１５３、Ｓ１５５参照）、不要候補領域に基づき不要対象物に対応する領域を判別し、第２の領域から不要対象物に対応する領域を除外した領域に対応する距離値に基づき焦点調節を制御する（例えば、図６ＢのＳ１６９、図２のＳ１７～Ｓ２３等参照）。さらに、不要候補領域が複数フレームにわたり設定され、最新のフレームの第１の領域に対応する距離値と過去のフレームの第１の領域対応する距離値の差と、最新のフレームの第２の領域に対応する距離値と過去のフレームの第２の領域に対応する距離値の差との差分が、第５の所定量よりも大きいことを示す第２の領域内の部分を不要対象物に対応する領域と判別する（図６ＢのＳ１６７参照）。このため、主対象物の前を横切るような細い対象物（遮蔽物）を排除して主対象物に合焦させることができる。特に、横切るような細い対象物が検出範囲内に入った瞬間的に除外することができる。
【0146】
なお、本発明の一実施形態においては、追尾回路２３４を設け、被写体を追尾していたが、必ずしも追尾は必要ではなく、主対象物を検出できればよい。また、追尾回路２３４は、ボディとパーツと外側を検出していたが、これらを検出は必ずしも必要ではなく、主対象物と主対象物以外を検出できればよい。また、追尾回路２３４は、ＡＩを使用し、特定の対象物を検出していたが、必ずしもＡＩは必要ではなく、主対象物を検出できればよい。また、撮像装置１は、静止画撮影および動画撮影の両方できることを前提としていたが、いずれか一方だけでも勿論かまわない。また、横切り除外１および横切り除外２の両方を行っていたが、横切り除外１のみであっても構わない。
【0147】
また、本発明の一実施形態においては、画処理部２１８、画像圧縮展開部２２０、焦点検出回路２２２、追尾回路２３４等の全部または一部を、ＣＰＵ２１６およびその周辺回路と一体化してもよい。また、画処理部２１８、画像圧縮展開部２２０、焦点検出回路２２２、追尾回路２３４等は、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウェア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウェア構成を利用してもよく、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。また、これらを適宜組み合わせてもよいことは勿論である。または、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録されたコンピュータプログラムを読み込んで実行することによって、各部としての機能を実行するようにしても構わない。
【0148】
また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ（例えば、医療用内視鏡）、顕微鏡等の科学機器用のカメラ、工業用内視鏡、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、撮像部によって画像を取得し、ピント調節を行う機器であれば、本発明を適用することができる。
【0149】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを通じてダウンロードしたものでもよい。
【0150】
また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。
【0151】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【0152】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせによって、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0153】
１・・・撮像装置、１００・・・交換式レンズ、１０２・・・撮影レンズ、１０２ａ・・・フォーカスレンズ、１０２ｂ・・・絞り、１０４・・・駆動部、１０６・・・レンズＣＰＵ、１０８・・・レンズ側記憶部、１１０・・・インターフェース（Ｉ／Ｆ）、２００・・・カメラ本体、２０２・・・メカシャッタ、２０４・・・駆動部、２０６・・・操作部、２０６ａ・・・焦点調節指示部、２０８・・・撮像素子、２１０・・・撮像制御回路、２１２・・・アナログ処理部、２１４・・・アナログ・デジタル変換部（ＡＤＣ）、２１６・・・ＣＰＵ、２１６ａ・・・候補領域設定部、２１６ｂ・・・焦点調節制御部、２１８・・・画像処理部、２２０・・・画像圧縮展開部、２２２・・・焦点検出回路、２２２ａ・・・信頼性判定部、２２２ｂ・・・変換部、２２４・・・表示部、２２６・・・バス、２２８・・・ＤＲＡＭ、２３０・・・本体側記憶部、２３２・・・記録媒体、２３４・・・追尾回路
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】