知財求人 - 知財ポータルサイト「IP Force」
特開2024-178817焦点調節装置及び方法、撮像装置、プログラム及び記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024178817
(43)【公開日】2024-12-25
(54)【発明の名称】焦点調節装置及び方法、撮像装置、プログラム及び記憶媒体
(51)【国際特許分類】
G02B 7/28 20210101AFI20241218BHJP
G03B 13/36 20210101ALI20241218BHJP
G03B 17/14 20210101ALI20241218BHJP
H04N 23/60 20230101ALI20241218BHJP
H04N 23/67 20230101ALI20241218BHJP
【ＦＩ】
G02B7/28 N
G03B13/36
G03B17/14
H04N23/60 300
H04N23/67
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023097246
(22)【出願日】2023-06-13
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】緑川 慶祐
【テーマコード（参考）】
2H011
2H101
2H151
5C122
【Ｆターム（参考）】
2H011BA33
2H011BB04
2H101EE08
2H151BA45
2H151CB22
2H151CB26
2H151CE33
2H151DA14
2H151DA15
2H151DB01
5C122EA06
5C122EA37
5C122FB04
5C122FD01
5C122FD13
5C122FH11
5C122GA01
5C122GA23
5C122HA13
5C122HA35
5C122HB01
(57)【要約】
【課題】 将来の焦点位置を予測して焦点調節を行う場合に、焦点位置の予測外れによる画像の焦点状態の劣化を抑制すること。
【解決手段】 撮影して得られた画像から、被写体の第１及び第２の部分を検出する検出手段と、検出された第１及び第２の部分それぞれの焦点状態を取得する取得手段と、取得した第１及び第２の部分の焦点状態を記憶する記憶手段と、第１の時刻に得られた画像の第１及び第２の部分の焦点状態と、第１の時刻より前の時刻に得られた画像の及び第２の部分の焦点状態とから、第１の時刻より後の時刻における第１及び第２の部分の焦点状態を予測する予測手段と、焦点調節処理を行う焦点調節手段と、を有し、予測された第１及び第２の部分の焦点状態の違いが予め決められた条件を満たす場合に、当該予測された焦点状態に基づいて焦点調節処理を行う。
【選択図】 図２
【解決手段】 撮影して得られた画像から、被写体の第１及び第２の部分を検出する検出手段と、検出された第１及び第２の部分それぞれの焦点状態を取得する取得手段と、取得した第１及び第２の部分の焦点状態を記憶する記憶手段と、第１の時刻に得られた画像の第１及び第２の部分の焦点状態と、第１の時刻より前の時刻に得られた画像の及び第２の部分の焦点状態とから、第１の時刻より後の時刻における第１及び第２の部分の焦点状態を予測する予測手段と、焦点調節処理を行う焦点調節手段と、を有し、予測された第１及び第２の部分の焦点状態の違いが予め決められた条件を満たす場合に、当該予測された焦点状態に基づいて焦点調節処理を行う。
【選択図】 図２
【特許請求の範囲】
【請求項1】
撮影して得られた画像から、予め決められた被写体の予め決められた第１の部分と、第２の部分とを検出する検出手段と、
前記検出手段により検出された前記第１の部分と前記第２の部分それぞれの焦点状態を取得する取得手段と、
前記取得手段により取得した前記第１の部分と前記第２の部分の焦点状態を記憶する記憶手段と、
第１の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態と、前記記憶手段に記憶された、前記第１の時刻より前の第２の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態とから、前記第１の時刻より後の第３の時刻における前記第１の部分と前記第２の部分の焦点状態を予測する予測手段と、
焦点調節処理を行う焦点調節手段と、を有し、
前記焦点調節手段は、前記予測手段により予測された前記第１の部分の焦点状態と前記第２の部分の焦点状態との違いが予め決められた条件を満たす場合に、前記第１の部分と前記第２の部分の予測された焦点状態に基づいて前記焦点調節処理を行うことを特徴とする焦点調節装置。
前記検出手段により検出された前記第１の部分と前記第２の部分それぞれの焦点状態を取得する取得手段と、
前記取得手段により取得した前記第１の部分と前記第２の部分の焦点状態を記憶する記憶手段と、
第１の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態と、前記記憶手段に記憶された、前記第１の時刻より前の第２の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態とから、前記第１の時刻より後の第３の時刻における前記第１の部分と前記第２の部分の焦点状態を予測する予測手段と、
焦点調節処理を行う焦点調節手段と、を有し、
前記焦点調節手段は、前記予測手段により予測された前記第１の部分の焦点状態と前記第２の部分の焦点状態との違いが予め決められた条件を満たす場合に、前記第１の部分と前記第２の部分の予測された焦点状態に基づいて前記焦点調節処理を行うことを特徴とする焦点調節装置。
【請求項2】
前記焦点調節手段は、前記予測手段により予測された前記第１の部分の焦点状態と前記第２の部分の焦点状態との違いが予め決められた条件を満たす場合に、前記第１の部分と前記第２の部分のうち、予め決められたいずれか一方の前記予測された焦点状態に基づいて焦点調節処理を行うことを特徴とする請求項１に記載の焦点調節装置。
【請求項3】
前記焦点状態は、デフォーカス値によって表され、前記予め決められた条件は、前記予測手段により予測された前記第１の部分のデフォーカス値と前記第２の部分のデフォーカス値との差の絶対値が、予め決められた閾値よりも小さいことを特徴とする請求項１に記載の焦点調節装置。
【請求項4】
前記被写体までの距離が遠いほど、前記閾値を小さくすることを特徴とする請求項３に記載の焦点調節装置。
【請求項5】
前記被写体の種別に応じて前記閾値を変えることを特徴とする請求項３に記載の焦点調節装置。
【請求項6】
前記被写体の検出結果の信頼度が低いほど前記閾値を大きくすることを特徴とする請求項３に記載の焦点調節装置。
【請求項7】
前記検出手段により前記第１の部分と前記第２の部分とを検出する頻度が低いほど前記閾値を大きくすることを特徴とする請求項３に記載の焦点調節装置。
【請求項8】
前記焦点状態は、前記第１の部分と前記第２の部分のデフォーカス範囲によって表され、前記予め決められた条件は、前記予測手段により予測された前記第１の部分のデフォーカス予測範囲が、前記第２の部分のデフォーカス予測範囲を複数倍に拡大した範囲に内包されていることを特徴とする請求項１に記載の焦点調節装置。
【請求項9】
前記被写体の種別に応じて前記第２の部分のデフォーカス予測範囲を拡大する倍率を変えることを特徴とする請求項８に記載の焦点調節装置。
【請求項10】
前記被写体の向きに応じて前記第２の部分のデフォーカス予測範囲を拡大する倍率を変えることを特徴とする請求項８に記載の焦点調節装置。
【請求項11】
前記被写体の種別に応じて前記第２の部分のデフォーカス予測範囲を拡大する方向を変えることを特徴とする請求項８に記載の焦点調節装置。
【請求項12】
前記被写体の検出結果の信頼度が低いほど前記第２の部分のデフォーカス予測範囲を拡大する倍率を大きくすることを特徴とする請求項８に記載の焦点調節装置。
【請求項13】
前記検出手段により前記第１の部分と前記第２の部分とを検出する頻度が低いほど前記第２の部分のデフォーカス予測範囲を拡大する倍率を大きくすることを特徴とする請求項８に記載の焦点調節装置。
【請求項14】
前記第１の部分と前記第２の部分それぞれの動きの量を検出する動き検出手段を更に有し、
前記予測手段は、前記第１の部分と前記第２の部分のうち、前記動きの量が少ない方を基準として予測を行うことを特徴とする請求項１に記載の焦点調節装置。
前記予測手段は、前記第１の部分と前記第２の部分のうち、前記動きの量が少ない方を基準として予測を行うことを特徴とする請求項１に記載の焦点調節装置。
【請求項15】
請求項１乃至１４のいずれか１項に記載の焦点調節装置と、
前記画像を撮影する撮像手段と
を有することを特徴とする撮像装置。
前記画像を撮影する撮像手段と
を有することを特徴とする撮像装置。
【請求項16】
フォーカスレンズを含むレンズユニットを更に有し、
前記焦点調節手段は、前記フォーカスレンズを駆動するための駆動量を求めることを特徴とする請求項１５に記載の撮像装置。
前記焦点調節手段は、前記フォーカスレンズを駆動するための駆動量を求めることを特徴とする請求項１５に記載の撮像装置。
【請求項17】
フォーカスレンズを含むレンズユニットと着脱可能であって、
前記焦点調節手段は、前記レンズユニットの前記フォーカスレンズを駆動するための駆動量を求めることを特徴とする請求項１５に記載の撮像装置。
前記焦点調節手段は、前記レンズユニットの前記フォーカスレンズを駆動するための駆動量を求めることを特徴とする請求項１５に記載の撮像装置。
【請求項18】
検出手段が、撮影して得られた画像から、予め決められた被写体の予め決められた第１の部分と、第２の部分とを検出する検出工程と、
取得手段が、前記検出工程で検出された前記第１の部分と前記第２の部分それぞれの焦点状態を取得する取得工程と、
記憶手段が、前記取得工程で取得した前記第１の部分と前記第２の部分の焦点状態を記憶する記憶工程と、
予測手段が、第１の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態と、前記記憶工程で記憶された、前記第１の時刻より前の第２の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態とから、前記第１の時刻より後の第３の時刻における前記第１の部分と前記第２の部分の焦点状態を予測する予測工程と、
焦点調節手段が、焦点調節処理を行う焦点調節工程と、を有し、
前記焦点調節工程では、前記予測工程で予測された前記第１の部分の焦点状態と前記第２の部分の焦点状態との違いが予め決められた条件を満たす場合に、前記第１の部分と前記第２の部分の予測された焦点状態に基づいて前記焦点調節処理を行うことを特徴とする焦点調節装置。
取得手段が、前記検出工程で検出された前記第１の部分と前記第２の部分それぞれの焦点状態を取得する取得工程と、
記憶手段が、前記取得工程で取得した前記第１の部分と前記第２の部分の焦点状態を記憶する記憶工程と、
予測手段が、第１の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態と、前記記憶工程で記憶された、前記第１の時刻より前の第２の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態とから、前記第１の時刻より後の第３の時刻における前記第１の部分と前記第２の部分の焦点状態を予測する予測工程と、
焦点調節手段が、焦点調節処理を行う焦点調節工程と、を有し、
前記焦点調節工程では、前記予測工程で予測された前記第１の部分の焦点状態と前記第２の部分の焦点状態との違いが予め決められた条件を満たす場合に、前記第１の部分と前記第２の部分の予測された焦点状態に基づいて前記焦点調節処理を行うことを特徴とする焦点調節装置。
【請求項19】
コンピュータを、請求項１乃至１４のいずれか１項に記載の焦点調節装置の各手段として機能させるためのプログラム。
【請求項20】
請求項１９に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、焦点調節装置及び方法、撮像装置、プログラム及び記憶媒体に関し、特に、被写体の合照位置を予測する技術に関する。
【背景技術】
【0002】
従来の撮像装置におけるオートフォーカス（ＡＦ）制御では、撮像画面内の焦点を合わせたい領域で焦点検出を行い、その結果に基づいてフォーカスレンズを駆動することが一般的に行われている。また、近年では、撮像装置における画素の微細化が進み、より高い解像度の画像を撮影できるようになってきたことに伴い、より精度の高い焦点調節制御が求められている。
【0003】
一方、特許文献１には、動体である被写体に対して、被写体の動きに伴う焦点位置の時系列的な変化を、予め設計した関数によって近似することで、将来、焦点が合う位置を予測する方法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００１－２１７９４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、被写体の動きによっては焦点位置の予測が外れることがあり、予測が外れた場合には、所望の焦点状態の画像を得ることができないことがあった。
【0006】
本発明は上記問題点を鑑みてなされたものであり、将来の焦点位置を予測して焦点調節を行う場合に、焦点位置の予測外れによる画像の焦点状態の劣化を抑制することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明の焦点調節装置は、撮影して得られた画像から、予め決められた被写体の予め決められた第１の部分と、第２の部分とを検出する検出手段と、前記検出手段により検出された前記第１の部分と前記第２の部分それぞれの焦点状態を取得する取得手段と、前記取得手段により取得した前記第１の部分と前記第２の部分の焦点状態を記憶する記憶手段と、第１の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態と、前記記憶手段に記憶された、前記第１の時刻より前の第２の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態とから、前記第１の時刻より後の第３の時刻における前記第１の部分と前記第２の部分の焦点状態を予測する予測手段と、焦点調節処理を行う焦点調節手段と、を有し、前記焦点調節手段は、前記予測手段により予測された前記第１の部分の焦点状態と前記第２の部分の焦点状態との違いが予め決められた条件を満たす場合に、前記第１の部分と前記第２の部分の予測された焦点状態に基づいて前記焦点調節処理を行う。
【発明の効果】
【0008】
本発明によれば、将来の焦点位置を予測して焦点調節を行う場合に、焦点位置の予測外れによる画像の焦点状態の劣化を抑制することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施形態における撮像装置の構成を示すブロック図。
【図2】第１の実施形態における予測焦点調節処理を示すフローチャート。
【図3】第２の実施形態における予測焦点調節処理を示すフローチャート。
【図4】第１の実施形態におけるデフォーカス予測値の差分絶対値の概念の一例を示す図。
【図5】第２の実施形態におけるデフォーカス範囲の予測範囲の概念の一例を示す図。
【図6】第２の実施形態におけるデフォーカス範囲推論器の構成を示す図。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0011】
＜第１の実施形態＞
まず、図１を参照して、本実施形態における撮像装置の構成について説明する。図１は、撮像装置１００の構成を示すブロック図である。なお、本実施形態では、撮像装置１００として、被写体を撮影して、動画や静止画のデータを、テープや固体メモリ、光ディスクや磁気ディスク等の各種メディアに記録可能なデジタルスチルカメラについて説明する。しかしながら、本発明はデジタルスチルカメラに限定されるものではなく、カメラ機能を備える各種の電子機器であってもよい。例えば、ビデオカメラ、携帯電話やスマートフォン等のカメラ機能付き携帯通信端末、カメラ機能付き携帯型コンピュータ、カメラ機能付き携帯ゲーム機等であってもよい。
まず、図１を参照して、本実施形態における撮像装置の構成について説明する。図１は、撮像装置１００の構成を示すブロック図である。なお、本実施形態では、撮像装置１００として、被写体を撮影して、動画や静止画のデータを、テープや固体メモリ、光ディスクや磁気ディスク等の各種メディアに記録可能なデジタルスチルカメラについて説明する。しかしながら、本発明はデジタルスチルカメラに限定されるものではなく、カメラ機能を備える各種の電子機器であってもよい。例えば、ビデオカメラ、携帯電話やスマートフォン等のカメラ機能付き携帯通信端末、カメラ機能付き携帯型コンピュータ、カメラ機能付き携帯ゲーム機等であってもよい。
【0012】
撮像装置１００内の各構成は、バス１６０を介して接続され、ＣＰＵ１５１（中央演算処理装置）により制御される。
【0013】
レンズユニット１０１は、第１の固定レンズ群１０２、ズームレンズ１１１、絞り１０３、第２の固定レンズ群１２１、フォーカスレンズ１３１を備えて構成され、撮像装置１００と一体的に構成されていても、着脱可能に構成されていであっても良い。
絞り制御部１０５は、ＣＰＵ１５１の指令に従い、絞りモータ１０４（ＡＭ）を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。この際に、ＣＰＵ１５１は、特定の被写体領域の輝度値を用いて、絞り１０３の開口径を決定する。
絞り制御部１０５は、ＣＰＵ１５１の指令に従い、絞りモータ１０４（ＡＭ）を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。この際に、ＣＰＵ１５１は、特定の被写体領域の輝度値を用いて、絞り１０３の開口径を決定する。
【0014】
ズーム制御部１１３は、ＣＰＵ１５１の指令に従い、ズームモータ１１２（ＺＭ）を介してズームレンズ１１１を駆動することにより、焦点距離を変更する。
フォーカス制御部１３３は、特定の被写体領域に対するレンズユニット１０１の焦点ずれ量（デフォーカス量）に基づいてフォーカスモータ１３２（ＦＭ）を駆動する駆動量を決定する。そして、フォーカスモータ１３２を介して決定した駆動量でフォーカスレンズ１３１を駆動することにより、焦点調節状態を制御する。フォーカス制御部１３３及びフォーカスモータ１３２によるフォーカスレンズ１３１の移動制御により、ＡＦ（オートフォーカス）制御が実現される。なお、フォーカスレンズ１３１は、図１では単レンズで簡略的に示されているが、通常複数のレンズで構成される。
フォーカス制御部１３３は、特定の被写体領域に対するレンズユニット１０１の焦点ずれ量（デフォーカス量）に基づいてフォーカスモータ１３２（ＦＭ）を駆動する駆動量を決定する。そして、フォーカスモータ１３２を介して決定した駆動量でフォーカスレンズ１３１を駆動することにより、焦点調節状態を制御する。フォーカス制御部１３３及びフォーカスモータ１３２によるフォーカスレンズ１３１の移動制御により、ＡＦ（オートフォーカス）制御が実現される。なお、フォーカスレンズ１３１は、図１では単レンズで簡略的に示されているが、通常複数のレンズで構成される。
【0015】
撮像素子１４１は、光電変換により被写体像を電気信号に変換する光電変換素子であり、レンズユニット１０１を介して撮像素子１４１の撮像面上に結像する被写体の光学像（被写体像）を、電気信号に変換する。撮像素子１４１には、横方向にｍ画素、縦方向にｎ画素の受光素子が配置されている。撮像素子１４１により光電変換して得られた電気信号（画像信号）は、撮像信号処理部１４２により画像データとして整えられ、出力される。
【0016】
撮像信号処理部１４２から出力された画像データは、撮像制御部１４３に送られ、一時的にＲＡＭ１５４に記憶される。ＲＡＭ１５４に記憶された画像データは、画像圧縮解凍部１５３にて圧縮された後、画像記録媒体１５７に記録される。
【0017】
これと並行して、ＲＡＭ１５４に記憶された画像データは、画像処理部１５２にも送られ、画像処理部１５２は、送られた画像データに対して、用途に応じたサイズへの縮小・拡大処理や画像データ同士の類似度算出等の処理を行う。表示用のサイズに縮小された画像データは、適宜モニタディスプレイ１５０に送られる。また、画像処理部１５２は、被写体領域の画像信号に基づいて、送られた画像データに対してガンマ補正、ホワイトバランス処理等を行う。
【0018】
モニタディスプレイ１５０は、画像処理部１５２により表示用のサイズに縮小された画像データに基づく画像を表示することで、プレビュー画像表示やスルー画像表示を行うことができる。更に、被写体検出部１６２による被写体の検出結果を矩形枠等を用いて画像データに重畳表示することもできる。
【0019】
位置姿勢変化取得部１６１は、例えばジャイロや加速度センサ、電子コンパス等の位置姿勢センサにより構成され、撮像装置１００の撮影シーンに対する位置姿勢変化を計測する。取得した位置姿勢変化は、ＲＡＭ１５４に保存される。
【0020】
被写体検出部１６２では、画像データを用いて予め決められた被写体が存在する領域を検出する。なお、この領域を矩形情報として出力してもよいし、画素値が「被写体が存在する尤度」を表す画像である被写体領域マップとして出力してもよい。
【0021】
ＲＡＭ１５４は、リングバッファとして用いることで、所定期間内に撮像された複数の画像の画像データや、画像毎に対応した被写体検出部１６２の検出結果、位置姿勢変化取得部１６１が取得した撮像装置１００の位置姿勢変化等をバッファリングできる。
【0022】
操作部１５６は、タッチパネルやボタン等を含む入力インターフェイスであり、モニタディスプレイ１５０に表示される種々の機能アイコンを選択操作すること等により、様々な操作を行うことができる。
【0023】
ＣＰＵ１５１は、操作部１５６から入力された操作者からの指示、あるいは、一時的にＲＡＭ１５４に記憶された画像データの画素信号の信号レベルに基づいて、撮像素子１４１の電荷蓄積時間、撮像素子１４１から撮像信号処理部１４２へ出力を行う際のゲインの設定値を決定する。撮像制御部１４３は、ＣＰＵ１５１から電荷蓄積時間、ゲインの設定値の指示を受け取り、撮像素子１４１を制御する。
【0024】
バッテリ１５９は、電源管理部１５８により管理され、撮像装置１００の全体に安定した電源供給を行う。
フラッシュメモリ１５５には、撮像装置１００の動作に必要な制御プログラムや、各部の動作に用いるパラメータ等が記録されている。ユーザの操作により撮像装置１００が起動すると（電源ＯＦＦ状態から電源ＯＮ状態へ移行すると）、フラッシュメモリ１５５に格納された制御プログラム及びパラメータがＲＡＭ１５４の一部に読み込まれる。ＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラム及び定数に従って撮像装置１００の動作を制御する。
フラッシュメモリ１５５には、撮像装置１００の動作に必要な制御プログラムや、各部の動作に用いるパラメータ等が記録されている。ユーザの操作により撮像装置１００が起動すると（電源ＯＦＦ状態から電源ＯＮ状態へ移行すると）、フラッシュメモリ１５５に格納された制御プログラム及びパラメータがＲＡＭ１５４の一部に読み込まれる。ＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラム及び定数に従って撮像装置１００の動作を制御する。
【0025】
デフォーカス算出部１６３は、画像中の任意の領域におけるデフォーカス量を算出する。なお、デフォーカス量の算出を行うのは１点でも良いし、画像全体で等間隔に算出してマップ状にしたデフォーカスマップとして出力しても良い。生成されたデフォーカス情報はＲＡＭ１５４に保存され、フォーカス制御部１３３から参照される。
なお、上述した構成は、撮像装置１００の構成の一例に過ぎない。
なお、上述した構成は、撮像装置１００の構成の一例に過ぎない。
【0026】
次に、本実施形態における上記構成を有する撮像装置１００による、予測焦点調節処理の流れについて、図２を用いて説明する。
Ｓ２００において、撮像素子１４１により撮影された画像（入力画像）を取得し、取得した入力画像の画像データを撮像制御部１４３から各部へ供給する。
Ｓ２００において、撮像素子１４１により撮影された画像（入力画像）を取得し、取得した入力画像の画像データを撮像制御部１４３から各部へ供給する。
【0027】
次にＳ２０１において、被写体検出部１６２が、入力画像に対して被写体検出処理を行い、検出した被写体から、複数の部位（部分）を検出する。なお、本実施形態では、検出する被写体を人物とし、人物の頭部と胴体とを検出するものとする。被写体検出部１６２は、例えば、ＣＮＮ（Convolutinal Neural Networks）を利用して被写体検出を行うことができるが、被写体が検出できるのであれば、どのような方法であっても構わない。被写体検出部１６２は、検出した人物の頭部と胴体とを検出し、検出した頭部と胴体を示す矩形領域の情報を出力する。なお、頭部と胴体のいずれかを検出できなかった場合には、検出できた頭部または胴体を示す矩形領域の情報を出力しても良い。また、頭部や胴体が複数検出された場合は、その中のどれが着目している被写体のものかを選択する。このときの選択処理は任意の方法で良く、例えば前フレームの検出位置から最も距離が近いものを選択することで実現される。
【0028】
Ｓ２０２において、ＣＰＵ１５１は、Ｓ２０１で人物の頭部及び胴体が検出されたかどうかを判定し、検出された場合、すなわち、Ｓ２０１の検出結果が存在する場合、Ｓ２０３に進む。一方、検出されなかった場合には、任意の処理を行った上で現フレームの画像に対する処理を終了する。例えば、被写体が再び検出されるまでの間、次フレームのデフォーカス値の予測はせずに、フォーカスレンズ１３１のレンズ位置は動かさずに固定しておく。また、頭部及び胴体の一方が検出された場合には、焦点状態の情報として、検出された頭部または胴体のデフォーカス値を算出し、フレームに紐づけてＲＡＭ１５４に記憶しておいてもよい。
【0029】
Ｓ２０３において、ＣＰＵ１５１は、検出された被写体の頭部及び胴体の各領域に対して、デフォーカス値を算出し、算出したデフォーカス値をフレームに紐づけてＲＡＭ１５４に保存する。
【0030】
Ｓ２０４において、ＣＰＵ１５１は、ＲＡＭ１５４に過去のフレームの頭部及び胴体の領域に対応するデフォーカス値が保存されているか否かを判定する。なお、本実施形態では一つ前のフレームのデフォーカス値が保存されているか否かを判定するが、それよりも前のフレームのデフォーカス値が保存されているか否かを判定しても良い。過去のフレームの頭部及び胴体の領域に対応するデフォーカス値が保存されている場合は、Ｓ２０５に進む。
【0031】
一方、Ｓ２０４において、過去のフレームの頭部及び胴体の領域に対応するデフォーカス値が保存されていないと判断された場合には、任意の処理を行った上でそのフレームの画像に対する処理を終了する。例えば、次フレームのデフォーカス値の予測を行わずに、任意の処理を行った上で現フレームの画像に対する処理を終了する。任意の処理としては、例えば、現フレームで検出されたデフォーカス値を用いて、従来の方法で焦点調節を行うことが考えられる。また、過去のフレームにおいて頭部または胴体の領域に対応するデフォーカス値が得られている場合には、頭部または胴体の領域に対応するデフォーカス値の履歴を用いて、次フレームのデフォーカス値を予測し、予測結果に基づいて、フォーカスレンズ１３１を駆動しても良い。予測方法としては、例えば、過去のフレームと現フレームにおける各領域に対応するデフォーカス値と撮影した時刻とを用いて、最小二乗法に基づいて回帰曲線を求めることで実現することができる。
【0032】
Ｓ２０５において、ＣＰＵ１５１は、過去のフレームのデフォーカス値と、Ｓ２０３で算出された現フレームのデフォーカス値とを用いて、次フレームのデフォーカス値の予測を行う。予測は、頭部と胴体の各領域に対してそれぞれ実施する。予測方法としては、例えば、過去のフレームと現フレームにおける各領域に対応するデフォーカス値と撮影した時刻とを用いて、最小二乗法に基づいて回帰曲線を求めることで実現することができる。
【0033】
そしてＳ２０６において、ＣＰＵ１５１は、Ｓ２０５で求めた頭部と胴体の各領域に対応するデフォーカス予測値の差分絶対値を算出する。この差分絶対値が小さいほど、予測時刻における両領域は、奥行方向に互いに近い位置に存在すると言える。
【0034】
図４は、本実施形態におけるデフォーカス予測値の差分絶対値の概念の一例を示す図である。そのため、説明を分かり易くするために、図４では、胴体のデフォーカス値を基準（０）として、胴体のデフォーカス値からの相対的な頭部のデフォーカス値の乖離、すなわち、頭部と胴体のデフォーカス値の差分を示している。以下の説明では、胴体のデフォーカス値を基準デフォーカス値、胴体のデフォーカス値からの相対的な頭部のデフォーカス値の乖離を、相対デフォーカス量と呼ぶ。
【0035】
すなわち、時刻ｔ(n-1)と、時刻ｔnにおける胴体の基準デフォーカス値に対する頭部の相対デフォーカス量から予測される、将来の時刻ｔ(n+1)における頭部の相対デフォーカス量の絶対値が、Ｓ２０６で求められるデフォーカス予測値の差分絶対値に相当する。
【0036】
Ｓ２０７において、ＣＰＵ１５１は、Ｓ２０６で算出した差分絶対値が閾値未満（予め決められた条件）か否かを判定する。同じ被写体の頭部と胴体はある程度近い位置に存在しているはずなので、算出した差分絶対値が閾値以上であれば、頭部の予測が間違っている可能性が高いと判断できる。
【0037】
例えば図４の例では、時刻ｔ(n+1)における胴体の基準デフォーカス値に対する頭部の相対デフォーカス量の絶対値、すなわちデフォーカス値の差分絶対値が大きく、閾値を超えていることを示している。このように、算出した差分絶対値が閾値以上の場合は頭部の予測結果を用いず、レンズの位置を保つか、或いは閾値に等しい位置までレンズ駆動を行う。これにより時刻ｔ(n+1)での頭部のピントのずれを最小限に抑えることが可能となる。ピントのずれを抑えることで、時刻ｔ(n+1)で再び頭部を検出することができ、再度確からしい予測曲線を引き直すことができる。その他、任意の処理を行った上で、現フレームの画像に対する処理を終了する。一方、差分絶対値が閾値未満であった場合は、Ｓ２０８に進む。
【0038】
Ｓ２０８において、ＣＰＵ１５１は、頭部の領域に対するデフォーカス値の予測結果に基づいて、頭部の領域に合照させるためのフォーカスレンズ１３１の駆動量を算出し、フォーカス制御部１３３を制御してフォーカスレンズ１３１のレンズ駆動を行う。
【0039】
なお、上述した例では、被写体を人物とし、頭部と胴体の領域に対応するデフォーカス値を算出したが、被写体は人物に限られるものではなく、被写体から複数の部位を検出し、検出した複数の部位の領域に対応するデフォーカス値を算出して、予測を行えばよい。その際に、複数の部位のうち、主とする部位を決めておくことにより、所望の部位に焦点を合わせ易くすることができる。
【0040】
上記の通り第１の実施形態によれば、予測が難しい被写体に対して、予測が外れたことを検知し、予測が外れたことを踏まえたフォーカスレンズのレンズ駆動を行うことができる。
【0041】
＜変形例１＞
上述した第１の実施形態では、Ｓ２０７では、頭部と胴体の領域に対する予測されたデフォーカス値の差分絶対値が閾値未満か否かを判定した。これは、同じ被写体の頭部と胴体のデフォーカス値はある程度近いことを前提とした処理であるが、その度合いはカメラと被写体との距離に依存する。例えば、被写体がカメラから遠くなるほど、頭部と胴体のデフォーカス差は小さくなると考えられる。そこで撮影距離が遠くなるほど、閾値が小さくなるような調整を行ってもよい。
上述した第１の実施形態では、Ｓ２０７では、頭部と胴体の領域に対する予測されたデフォーカス値の差分絶対値が閾値未満か否かを判定した。これは、同じ被写体の頭部と胴体のデフォーカス値はある程度近いことを前提とした処理であるが、その度合いはカメラと被写体との距離に依存する。例えば、被写体がカメラから遠くなるほど、頭部と胴体のデフォーカス差は小さくなると考えられる。そこで撮影距離が遠くなるほど、閾値が小さくなるような調整を行ってもよい。
【0042】
また、上述した第１の実施形態では、人物の頭部と胴体領域を対象としていたが、他の種別、例えば動物や乗物に対して実施してもよい。その場合、Ｓ２０７で用いるデフォーカスの差の閾値は、この被写体種別によって調整することも可能である。例えば馬の頭部と胴体は、人物のそれらよりもデフォーカス差が大きい場合があり得るため、閾値を大きくしても良い。
【0043】
＜第２の実施形態＞
次に、本発明の第２の実施形態について、説明する。なお、第２の実施形態における装置の構成は、第１の実施形態において図１を参照して説明した撮像装置１００を用いるものとして説明を省略する。
次に、本発明の第２の実施形態について、説明する。なお、第２の実施形態における装置の構成は、第１の実施形態において図１を参照して説明した撮像装置１００を用いるものとして説明を省略する。
【0044】
【0045】
Ｓ２０２までの処理により現フレームの頭部及び胴体が検出されていると判断されると、Ｓ３０３において、ＣＰＵ１５１は、検出された頭部及び／または胴体の各領域に対し、焦点状態の情報として、デフォーカス範囲を算出する。例えば、画角が狭く、被写体である人物が大きく撮影されている場合、頭部や胴体の奥行に幅ができるため、その奥行き方向のデフォーカス値の幅を検出する。デフォーカス範囲の算出は任意の方法により行えばよい。本実施形態では、図６に示すＣＮＮによる推論器を用いる。なお、これ以外にも例えば、各部位の複数点に対してデフォーカス値を算出し、その中の最小値と最大値を選択することで実現してもよい。
【0046】
図６は、本実施形態において、デフォーカス範囲の算出をＣＮＮを用いて行う場合の構成について図示したものである。入力部６０１は、撮像信号処理部１４２が出力した画像と、デフォーカス算出部１６３が出力するデフォーカスマップと、被写体検出部１６２が出力した被写体領域マップとを入力情報として、複数のチャンネルを持つデータとして統合し、デフォーカス範囲推論器６０２に入力する。入力される画像、デフォーカスマップと被写体領域マップは、入力サイズ（解像度）を揃えるため、適宜、アップサンプリング、ダウンサンプリングを行う。
【0047】
デフォーカス範囲推論器６０２は、入力部６０１から入力されたデータに対し、パラメータ格納部６０４に記憶された機械学習により生成されるパラメータを受け取り、デフォーカス範囲の推論を行う。デフォーカス範囲推論器６０２は、推論結果として、画像に含まれる被写体の部位に対応したデフォーカス範囲を出力する。出力部６０３は、デフォーカス範囲推論器６０２から得た各部位（頭部、胴体部等）のデフォーカス範囲と画像のＩＤ等のメタ情報を関連付けて出力する。
【0048】
なお、ここでは、検出する被写体が人物である場合について説明したが、検出される被写体の種別に応じて、パラメータ格納部６０４から取得する情報を切り替えてもよい。パラメータの記憶コストはかかるが、被写体の種別に応じて最適化できるため、出力の精度向上を行うことができる。また、被写体領域マップは、被写体の部位ごとに生成してもよいし、被写体の部位の代表として、特定の部位（例えば胴体部）の被写体マップのみを入力してもよい。
【0049】
また、本実施形態では、デフォーカス範囲推論器６０２は、機械学習されたＣＮＮにより構成され、被写体の部位ごとのデフォーカス範囲の推論を行う。デフォーカス範囲推論器６０２は、ＧＰＵ（グラフィックス・プロセッシング・ユニット）やＣＮＮによる推定処理に特化した回路で実現されてもよい。デフォーカス範囲推論器６０２は、入力部６０１より入力されたデータを、適宜、畳み込み層での畳み込み演算、プーリング層でのプーリングを繰り返し行う。その後、グローバル平均プーリング処理（ＧＡＰ）を行い、データの削減を行う。次に、多層パーセプトロンに、ＧＡＰ処理を行ったデータを入力する。任意の隠れ層の処理を行った後、出力層を経て、各部位のデフォーカス範囲の一方の端の値が出力されるように構成する。
【0050】
Ｓ３０３においてデフォーカス範囲を算出すると、Ｓ３０４において、ＣＰＵ１５１は、ＲＡＭ１５４に過去のフレームの頭部及び胴体の領域に対応するデフォーカス範囲が保存されているか否かを判定する。なお、本実施形態では一つ前のフレームのデフォーカス範囲が保存されているか否かを判定するが、それよりも前のフレームのデフォーカス範囲が保存されているか否かを判定しても良い。保存されていない場合、任意の処理を行った上で現フレームの画像に対する処理を終了する。例えば、第１の実施形態において上述した、Ｓ２０４でＮＯと判定されたときと同様の処理を、デフォーカス範囲を用いて行ってもよい。一方、保存されていれば、Ｓ３０５に進む。
【0051】
Ｓ３０５において、ＣＰＵ１５１は、過去のフレームのデフォーカス範囲と、Ｓ３０３で算出された現フレームのデフォーカス範囲とを用いて、次フレームのデフォーカス範囲の予測を行う。予測の方法は任意の方法でよいが、例えば、デフォーカス範囲の最小値と最大値に対してそれぞれ予測処理を行い、その結果を次フレームのデフォーカス範囲の最小値と最大値とすることで実現できる。予測は頭部及び胴体の各領域に対してそれぞれ実施する。
【0052】
次にＳ３０６において、ＣＰＵ１５１は、Ｓ３０５で求めた胴体の領域に対応する予測範囲をａ倍に拡大する。以下、ａ倍に拡大した予測範囲を、「拡大予測範囲」と呼ぶ。なお、ａは１以上の値であり、固定された値でも良いし、状況に応じて変化させても良い。この拡大予測範囲を、頭部が存在し得る範囲とみなす。
【0053】
図５は、本実施形態におけるデフォーカス範囲の予測範囲の概念を示す図である。説明を分かり易くするために、図４では、胴体のデフォーカス範囲を基準として、胴体のデフォーカス範囲からの相対的な頭部のデフォーカス範囲の乖離を示している。以下の説明では、胴体のデフォーカス範囲を基準デフォーカス範囲、胴体のデフォーカス範囲からの相対的な頭部のデフォーカス範囲の乖離を、相対デフォーカス範囲と呼ぶ。
【0054】
時刻ｔ(n-1)及びｔnの胴体の基準デフォーカス範囲の最小値と最大値、及び頭部の相対デフォーカス範囲の最小値と最大値に対してそれぞれ回帰曲線を引き、将来の時刻ｔ(n+1)における基準デフォーカス範囲と相対デフォーカス範囲をそれぞれ予測している。なお、デフォーカス範囲の最小値と最大値ではなく、中央値と幅を用いて予測を行ってもよい。さらに、例えば頭部は球形に近いため、短時間内でのデフォーカス範囲の変化は少ないと想定して、デフォーカス範囲の中央値だけで予測を行い、幅は固定とする等、部位に応じた予測計算を適用することも可能である。
【0055】
そして、時刻ｔ(n+1)における予測した基準デフォーカス範囲をａ倍（複数倍）することで、拡大予測範囲５０１を求める。
【0056】
Ｓ３０７において、ＣＰＵ１５１は、Ｓ３０６で算出した拡大予測範囲内に、頭部の予測デフォーカス範囲が内包される（予め決められた条件）か否かを判定する。内包されていなければ、頭部の予測が間違っている可能性が高いと判断する。
【0057】
例えば図５の例では、時刻ｔ(n+1)における予測した頭部の相対デフォーカス範囲が、拡大予測範囲５０１内に内包されていないため、頭部の予測が間違っていると判断する。この場合、Ｓ２０７でＮＯの場合と同様に、頭部の予測結果を用いず、レンズ位置を保つ等することで、頭部から大きくピントが外れることを防ぐことができる。その他、任意の処理を行った上で現フレームの画像に対する処理を終了する。
【0058】
一方、拡大予測範囲５０１内に頭部の予測デフォーカス範囲が内包されている場合は、Ｓ３０８に進む。
Ｓ３０８では、ＣＰＵ１５１は、頭部の領域に対応する予測したデフォーカス範囲に基づいて、頭部の領域に合照させるためのフォーカスレンズ１３１の駆動量を算出し、フォーカス制御部１３３を制御してフォーカスレンズ１３１のレンズ駆動を行う。なお、合焦させる位置は予測したデフォーカス範囲内の最至近でも良いし、予測したデフォーカス範囲の中心でも良い。更に、範囲全体にピントが合うように、絞りを調整しても良い。
Ｓ３０８では、ＣＰＵ１５１は、頭部の領域に対応する予測したデフォーカス範囲に基づいて、頭部の領域に合照させるためのフォーカスレンズ１３１の駆動量を算出し、フォーカス制御部１３３を制御してフォーカスレンズ１３１のレンズ駆動を行う。なお、合焦させる位置は予測したデフォーカス範囲内の最至近でも良いし、予測したデフォーカス範囲の中心でも良い。更に、範囲全体にピントが合うように、絞りを調整しても良い。
【0059】
上記の通り第２の実施形態によれば、予測が難しい被写体に対して、予測が外れたことを検知し、予測が外れたことを踏まえたフォーカスレンズのレンズ駆動を行うことができる。
【0060】
＜変形例２＞
Ｓ３０６では、胴体のデフォーカス予測範囲をａ倍に拡大し、Ｓ３０７においてその拡大後の範囲に頭部のデフォーカス予測範囲が内包されているかを判定した。また、上述した第２の実施形態では、人物の頭部と胴体領域を対象としていたが、他の種別、例えば動物や乗物に対して実施してもよく、その場合、被写体の種別に応じてａの値（倍率）を調整してもよい。一例として人物と馬を比較すると、馬の方が胴体と顔のデフォーカス範囲が異なる可能性が高いため、人物の場合よりもａの値を大きくしても良い。
Ｓ３０６では、胴体のデフォーカス予測範囲をａ倍に拡大し、Ｓ３０７においてその拡大後の範囲に頭部のデフォーカス予測範囲が内包されているかを判定した。また、上述した第２の実施形態では、人物の頭部と胴体領域を対象としていたが、他の種別、例えば動物や乗物に対して実施してもよく、その場合、被写体の種別に応じてａの値（倍率）を調整してもよい。一例として人物と馬を比較すると、馬の方が胴体と顔のデフォーカス範囲が異なる可能性が高いため、人物の場合よりもａの値を大きくしても良い。
【0061】
また、被写体の姿勢に応じてａの値を調整しても良い。例えば、馬が撮影者から見て横向きであれば、胴体と顔のデフォーカス範囲は近いものになると考えられる（すなわち、ａの値は１に近いことが適切となる）。一方で、撮影者から見て正面を向いていれば、胴体と顔のデフォーカスに差異が生じやすいといえる（ａの値は大きく与えることが適切と考えられる）。馬の向きは、胴体の検出枠が横長であれば横を向いていると推測できる。或いは追尾により横方向に動いていることがわかれば横を向いていると推測できる。或いは、瞳の検出器があり、片目だけ検出されていれば横向きと判定してもよい。これらのような任意の方法により姿勢を推測し、それに応じてａの値を変えることで、予測の成否判定をより確からしいものにすることができる。
【0062】
また、図５を用いて説明した第２の実施形態では、胴体のデフォーカス範囲を前後両方向に対して等しく拡大を行っているが、片方のみに拡大したり、前後で拡大率を変えたりしてもよい。例えば被写体が馬であり、撮影者側と相対している場合（胴体よりも顔の方が撮影者から近い場合）は、胴体のデフォーカス範囲を前方（撮影者側）のみに拡大することが考えられる。
【0063】
＜変形例３＞
第１の実施形態においてＳ２０７で用いる閾値や、第２の実施形態においてＳ３０６で用いる拡大率ａの値は、被写体検出結果の信頼度に応じて変化させることもできる。
第１の実施形態においてＳ２０７で用いる閾値や、第２の実施形態においてＳ３０６で用いる拡大率ａの値は、被写体検出結果の信頼度に応じて変化させることもできる。
【0064】
例えば、人物の胴体の領域に対するデフォーカス予測結果を基準として、頭部の領域に対するデフォーカス予測の信頼度を算出する場合を考える。胴体の検出結果が誤っていた場合、それに伴いその領域のデフォーカス情報を用いて行った胴体のデフォーカス予測結果も誤る可能性が高くなる。さらにその結果、頭部のデフォーカス予測結果との乖離が生じた場合、頭部のデフォーカス予測が正しいにもかかわらず、誤っていると判定される可能性がある。そのような場合に、Ｓ２０７で用いる閾値や、Ｓ３０６で用いる拡大率ａの値を大きくすることで、頭部のデフォーカス予測が誤っていると判定することを防ぐことができる。すなわち、これらの閾値やａの値を、胴体の検出信頼度が低いほど大きく与えることが考えられる。
【0065】
また、フレームレート（被写体検出やＡＦ処理を実行する頻度）が低いほどデフォーカスの予測の精度も低くなると考えられる。そこで、フレームレートが低いほど、前述の閾値やａの値を大きくすることが考えられる。
【0066】
＜変形例４＞
上述した第１及び第２の実施形態では、人物の胴体の領域に対応するデフォーカス予測結果を基準として、頭部の領域に対応するデフォーカス予測の信頼度を算出していた。これは、胴体の動きは頭部の動きに対して比較的緩徐であり、予測が外れにくく、一方で頭部は予測が外れやすい、という想定に基づいている。しかしながら、撮影シーンによっては逆の関係性であることも考えられる。
上述した第１及び第２の実施形態では、人物の胴体の領域に対応するデフォーカス予測結果を基準として、頭部の領域に対応するデフォーカス予測の信頼度を算出していた。これは、胴体の動きは頭部の動きに対して比較的緩徐であり、予測が外れにくく、一方で頭部は予測が外れやすい、という想定に基づいている。しかしながら、撮影シーンによっては逆の関係性であることも考えられる。
【0067】
そこで、部位毎に動きの量を算出し、算出した動きの量が小さい方の部位を基準として利用しても良い。或いは、頭部の動き量の方が小さいと判断されれば、頭部に対しては任意の予測処理及びＡＦ処理を実施し、胴体に関しては予測も行わずに処理を終了しても良い。
【0068】
動きの量としては、予め決められた時間内に画像平面上を移動した距離を用いることができる。移動距離が小さい方が、動き量が小さいと判断することができる。この移動距離は、被写体検出結果の中心座標同士の距離を用いても良いし、テンプレートマッチング等の追尾処理を利用しても良い。
【0069】
また、被写体の領域における画素変化量の合計値を算出することで見えの変化を求めることができる。この値が小さければ、その部位の動き量が小さいと推定しても良い。
【0070】
或いは、各フレームのデフォーカス値と、レンズ駆動量を用いることで、部位毎に光軸方向の動き量を算出することが可能である。この光軸方向の動き量が小さい部位を、基準の部位として選択してもよい。
【0071】
＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【0072】
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0073】
＜まとめ＞
本実施形態の開示は、以下の構成を含む。
本実施形態の開示は、以下の構成を含む。
【0074】
（項目１）
撮影して得られた画像から、予め決められた被写体の予め決められた第１の部分と、第２の部分とを検出する検出手段と、
前記検出手段により検出された前記第１の部分と前記第２の部分それぞれの焦点状態を取得する取得手段と、
前記取得手段により取得した前記第１の部分と前記第２の部分の焦点状態を記憶する記憶手段と、
第１の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態と、前記記憶手段に記憶された、前記第１の時刻より前の第２の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態とから、前記第１の時刻より後の第３の時刻における前記第１の部分と前記第２の部分の焦点状態を予測する予測手段と、
焦点調節処理を行う焦点調節手段と、を有し、
前記焦点調節手段は、前記予測手段により予測された前記第１の部分の焦点状態と前記第２の部分の焦点状態との違いが予め決められた条件を満たす場合に、前記第１の部分と前記第２の部分の予測された焦点状態に基づいて前記焦点調節処理を行うことを特徴とする焦点調節装置。
（項目２）
前記焦点調節手段は、前記予測手段により予測された前記第１の部分の焦点状態と前記第２の部分の焦点状態との違いが予め決められた条件を満たす場合に、前記第１の部分と前記第２の部分のうち、予め決められたいずれか一方の前記予測された焦点状態に基づいて焦点調節処理を行うことを特徴とする項目１に記載の焦点調節装置。
（項目３）
前記焦点状態は、デフォーカス値によって表され、前記予め決められた条件は、前記予測手段により予測された前記第１の部分のデフォーカス値と前記第２の部分のデフォーカス値との差の絶対値が、予め決められた閾値よりも小さいことを特徴とする項目１または２に記載の焦点調節装置。
（項目４）
前記被写体までの距離が遠いほど、前記閾値を小さくすることを特徴とする項目３に記載の焦点調節装置。
（項目５）
前記被写体の種別に応じて前記閾値を変えることを特徴とする項目３に記載の焦点調節装置。
（項目６）
前記被写体の検出結果の信頼度が低いほど前記閾値を大きくすることを特徴とする項目３に記載の焦点調節装置。
（項目７）
前記検出手段により前記第１の部分と前記第２の部分とを検出する頻度が低いほど前記閾値を大きくすることを特徴とする項目３に記載の焦点調節装置。
（項目８）
前記焦点状態は、前記第１の部分と前記第２の部分のデフォーカス範囲によって表され、前記予め決められた条件は、前記予測手段により予測された前記第１の部分のデフォーカス予測範囲が、前記第２の部分のデフォーカス予測範囲を複数倍に拡大した範囲に内包されていることを特徴とする項目１または２に記載の焦点調節装置。
（項目９）
前記被写体の種別に応じて前記第２の部分のデフォーカス予測範囲を拡大する倍率を変えることを特徴とする項目８に記載の焦点調節装置。
（項目１０）
前記被写体の向きに応じて前記第２の部分のデフォーカス予測範囲を拡大する倍率を変えることを特徴とする項目８に記載の焦点調節装置。
（項目１１）
前記被写体の種別に応じて前記第２の部分のデフォーカス予測範囲を拡大する方向を変えることを特徴とする項目８に記載の焦点調節装置。
（項目１２）
前記被写体の検出結果の信頼度が低いほど前記第２の部分のデフォーカス予測範囲を拡大する倍率を大きくすることを特徴とする項目８に記載の焦点調節装置。
（項目１３）
前記検出手段により前記第１の部分と前記第２の部分とを検出する頻度が低いほど前記第２の部分のデフォーカス予測範囲を拡大する倍率を大きくすることを特徴とする項目８に記載の焦点調節装置。
（項目１４）
前記第１の部分と前記第２の部分それぞれの動きの量を検出する動き検出手段を更に有し、
前記予測手段は、前記第１の部分と前記第２の部分のうち、前記動きの量が少ない方を基準として予測を行うことを特徴とする項目１乃至１３のいずれか１項目に記載の焦点調節装置。
（項目１５）
項目１乃至１４のいずれか１項目に記載の焦点調節装置と、
前記画像を撮影する撮像手段と
を有することを特徴とする撮像装置。
（項目１６）
フォーカスレンズを含むレンズユニットを更に有し、
前記焦点調節手段は、前記フォーカスレンズを駆動するための駆動量を求めることを特徴とする項目１５に記載の撮像装置。
（項目１７）
フォーカスレンズを含むレンズユニットと着脱可能であって、
前記焦点調節手段は、前記レンズユニットの前記フォーカスレンズを駆動するための駆動量を求めることを特徴とする項目１５に記載の撮像装置。
（項目１８）
検出手段が、撮影して得られた画像から、予め決められた被写体の予め決められた第１の部分と、第２の部分とを検出する検出工程と、
取得手段が、前記検出工程で検出された前記第１の部分と前記第２の部分それぞれの焦点状態を取得する取得工程と、
記憶手段が、前記取得工程で取得した前記第１の部分と前記第２の部分の焦点状態を記憶する記憶工程と、
予測手段が、第１の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態と、前記記憶工程で記憶された、前記第１の時刻より前の第２の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態とから、前記第１の時刻より後の第３の時刻における前記第１の部分と前記第２の部分の焦点状態を予測する予測工程と、
焦点調節手段が、焦点調節処理を行う焦点調節工程と、を有し、
前記焦点調節工程では、前記予測工程で予測された前記第１の部分の焦点状態と前記第２の部分の焦点状態との違いが予め決められた条件を満たす場合に、前記第１の部分と前記第２の部分の予測された焦点状態に基づいて前記焦点調節処理を行うことを特徴とする焦点調節装置。
（項目１９）
コンピュータを、項目１乃至１４のいずれか１項目に記載の焦点調節装置の各手段として機能させるためのプログラム。
（項目２０）
項目１９に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
撮影して得られた画像から、予め決められた被写体の予め決められた第１の部分と、第２の部分とを検出する検出手段と、
前記検出手段により検出された前記第１の部分と前記第２の部分それぞれの焦点状態を取得する取得手段と、
前記取得手段により取得した前記第１の部分と前記第２の部分の焦点状態を記憶する記憶手段と、
第１の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態と、前記記憶手段に記憶された、前記第１の時刻より前の第２の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態とから、前記第１の時刻より後の第３の時刻における前記第１の部分と前記第２の部分の焦点状態を予測する予測手段と、
焦点調節処理を行う焦点調節手段と、を有し、
前記焦点調節手段は、前記予測手段により予測された前記第１の部分の焦点状態と前記第２の部分の焦点状態との違いが予め決められた条件を満たす場合に、前記第１の部分と前記第２の部分の予測された焦点状態に基づいて前記焦点調節処理を行うことを特徴とする焦点調節装置。
（項目２）
前記焦点調節手段は、前記予測手段により予測された前記第１の部分の焦点状態と前記第２の部分の焦点状態との違いが予め決められた条件を満たす場合に、前記第１の部分と前記第２の部分のうち、予め決められたいずれか一方の前記予測された焦点状態に基づいて焦点調節処理を行うことを特徴とする項目１に記載の焦点調節装置。
（項目３）
前記焦点状態は、デフォーカス値によって表され、前記予め決められた条件は、前記予測手段により予測された前記第１の部分のデフォーカス値と前記第２の部分のデフォーカス値との差の絶対値が、予め決められた閾値よりも小さいことを特徴とする項目１または２に記載の焦点調節装置。
（項目４）
前記被写体までの距離が遠いほど、前記閾値を小さくすることを特徴とする項目３に記載の焦点調節装置。
（項目５）
前記被写体の種別に応じて前記閾値を変えることを特徴とする項目３に記載の焦点調節装置。
（項目６）
前記被写体の検出結果の信頼度が低いほど前記閾値を大きくすることを特徴とする項目３に記載の焦点調節装置。
（項目７）
前記検出手段により前記第１の部分と前記第２の部分とを検出する頻度が低いほど前記閾値を大きくすることを特徴とする項目３に記載の焦点調節装置。
（項目８）
前記焦点状態は、前記第１の部分と前記第２の部分のデフォーカス範囲によって表され、前記予め決められた条件は、前記予測手段により予測された前記第１の部分のデフォーカス予測範囲が、前記第２の部分のデフォーカス予測範囲を複数倍に拡大した範囲に内包されていることを特徴とする項目１または２に記載の焦点調節装置。
（項目９）
前記被写体の種別に応じて前記第２の部分のデフォーカス予測範囲を拡大する倍率を変えることを特徴とする項目８に記載の焦点調節装置。
（項目１０）
前記被写体の向きに応じて前記第２の部分のデフォーカス予測範囲を拡大する倍率を変えることを特徴とする項目８に記載の焦点調節装置。
（項目１１）
前記被写体の種別に応じて前記第２の部分のデフォーカス予測範囲を拡大する方向を変えることを特徴とする項目８に記載の焦点調節装置。
（項目１２）
前記被写体の検出結果の信頼度が低いほど前記第２の部分のデフォーカス予測範囲を拡大する倍率を大きくすることを特徴とする項目８に記載の焦点調節装置。
（項目１３）
前記検出手段により前記第１の部分と前記第２の部分とを検出する頻度が低いほど前記第２の部分のデフォーカス予測範囲を拡大する倍率を大きくすることを特徴とする項目８に記載の焦点調節装置。
（項目１４）
前記第１の部分と前記第２の部分それぞれの動きの量を検出する動き検出手段を更に有し、
前記予測手段は、前記第１の部分と前記第２の部分のうち、前記動きの量が少ない方を基準として予測を行うことを特徴とする項目１乃至１３のいずれか１項目に記載の焦点調節装置。
（項目１５）
項目１乃至１４のいずれか１項目に記載の焦点調節装置と、
前記画像を撮影する撮像手段と
を有することを特徴とする撮像装置。
（項目１６）
フォーカスレンズを含むレンズユニットを更に有し、
前記焦点調節手段は、前記フォーカスレンズを駆動するための駆動量を求めることを特徴とする項目１５に記載の撮像装置。
（項目１７）
フォーカスレンズを含むレンズユニットと着脱可能であって、
前記焦点調節手段は、前記レンズユニットの前記フォーカスレンズを駆動するための駆動量を求めることを特徴とする項目１５に記載の撮像装置。
（項目１８）
検出手段が、撮影して得られた画像から、予め決められた被写体の予め決められた第１の部分と、第２の部分とを検出する検出工程と、
取得手段が、前記検出工程で検出された前記第１の部分と前記第２の部分それぞれの焦点状態を取得する取得工程と、
記憶手段が、前記取得工程で取得した前記第１の部分と前記第２の部分の焦点状態を記憶する記憶工程と、
予測手段が、第１の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態と、前記記憶工程で記憶された、前記第１の時刻より前の第２の時刻に得られた画像の前記第１の部分と前記第２の部分の焦点状態とから、前記第１の時刻より後の第３の時刻における前記第１の部分と前記第２の部分の焦点状態を予測する予測工程と、
焦点調節手段が、焦点調節処理を行う焦点調節工程と、を有し、
前記焦点調節工程では、前記予測工程で予測された前記第１の部分の焦点状態と前記第２の部分の焦点状態との違いが予め決められた条件を満たす場合に、前記第１の部分と前記第２の部分の予測された焦点状態に基づいて前記焦点調節処理を行うことを特徴とする焦点調節装置。
（項目１９）
コンピュータを、項目１乃至１４のいずれか１項目に記載の焦点調節装置の各手段として機能させるためのプログラム。
（項目２０）
項目１９に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【0075】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0076】
１００：撮像装置、１０１：レンズユニット、１０３：絞り、１１１：ズームレンズ、１１３：ズーム制御部、１３１：フォーカスレンズ、１３２：フォーカスモータ、１３３：フォーカス制御部、１４１：撮像素子、１４２：撮像信号処理部、１４３：撮像制御部、１５０：モニタディスプレイ、１５１：ＣＰＵ、１５２：画像処理部、１５３：画像圧縮解凍部、１５４：ＲＡＭ、１５５：フラッシュメモリ、１５６：操作スイッチ、１５７：画像記録媒体、１６２：被写体検出部、１６３：デフォーカス算出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】