特開 2024-178629 撮像装置、撮像装置の制御方法、プログラム、および記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024178629

(43)【公開日】2024-12-25

(54)【発明の名称】撮像装置、撮像装置の制御方法、プログラム、および記憶媒体

(51)【国際特許分類】

   H04N 23/63 20230101AFI20241218BHJP

   H04N 23/60 20230101ALI20241218BHJP

   H04N 23/667 20230101ALI20241218BHJP

   G03B 17/20 20210101ALI20241218BHJP

   G03B 17/18 20210101ALI20241218BHJP

【ＦＩ】

H04N23/63 300

H04N23/60 500

H04N23/667

G03B17/20

G03B17/18

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023096909

(22)【出願日】2023-06-13

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】平井 雄一

【テーマコード（参考）】

2H102

5C122

【Ｆターム（参考）】

2H102AA33

2H102BB06

2H102BB22

2H102CA03

2H102CA32

5C122EA41

5C122EA42

5C122FA09

5C122FD01

5C122FD10

5C122FD13

5C122FH12

5C122FH14

5C122FH18

5C122FK33

5C122FK37

5C122FK41

5C122HA13

5C122HA35

5C122HA87

5C122HB01

5C122HB05

(57)【要約】

【課題】ユーザが容易に所望の合焦範囲での撮影条件を取得することが可能な撮像装置を提供する。
【解決手段】撮像装置（１００）は、第１撮影を行う際の第１撮影条件と第２撮影を行う際の第２撮影条件とを取得する取得手段（１７）と、被写体とＡＦ候補枠とを重畳表示する表示手段（２３、１０１）と、第１撮影条件での第１撮影により得られる第１被写界深度で、ＡＦ候補枠に対応する位置が合焦範囲に収まるか否かを判定する第１判定手段（２６）と、第２撮影条件での第２撮影により得られる第２被写界深度で、ＡＦ候補枠に対応する位置が合焦範囲に収まるか否かを判定する第２判定手段（２７）とを有し、表示手段は、第１判定手段および第２判定手段の判定結果に応じて、ＡＦ候補枠に対応する位置に関する合焦状態を表示する。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１撮影を行う際の第１撮影条件と第２撮影を行う際の第２撮影条件とを取得する取得手段と、
被写体とＡＦ候補枠とを重畳表示する表示手段と、
前記第１撮影条件での前記第１撮影により得られる第１被写界深度で、前記ＡＦ候補枠に対応する位置が合焦範囲に収まるか否かを判定する第１判定手段と、
前記第２撮影条件での前記第２撮影により得られる第２被写界深度で、前記ＡＦ候補枠に対応する前記位置が前記合焦範囲に収まるか否かを判定する第２判定手段と、を有し、
前記表示手段は、前記第１判定手段および前記第２判定手段の判定結果に応じて、前記ＡＦ候補枠に対応する前記位置に関する合焦状態を表示することを特徴とする撮像装置。

【請求項2】

前記第１撮影は、１回合焦撮影であり、
前記第２撮影は、フォーカスブラケット撮影であることを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記第２被写界深度は、前記第２撮影条件における前記フォーカスブラケット撮影で得られる各合焦位置における被写界深度を元に計算した値であることを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記フォーカスブラケット撮影により取得された複数の画像を用いて深度合成を行う画像処理手段を更に有することを特徴とする請求項２に記載の撮像装置。

【請求項5】

ユーザの操作に応じて、前記第１撮影条件または前記第２撮影条件の少なくとも一つを変更するための操作部材を更に有することを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。

【請求項6】

前記第１撮影条件または前記第２撮影条件を選択する選択手段を更に有し、
前記選択手段は、前記第１撮影条件の絞り値が所定値よりも大きい場合、前記第２撮影条件を選択することを特徴とする請求項１に記載の撮像装置。

【請求項7】

前記第１撮影条件または前記第２撮影条件を選択する選択手段を更に有し、
前記選択手段は、前記第１撮影条件において前記ＡＦ候補枠が前記合焦範囲に収まらない場合、前記第２撮影条件を選択することを特徴とする請求項１に記載の撮像装置。

【請求項8】

前記第１撮影条件または前記第２撮影条件を選択する選択手段と、
前記被写体の移動量を検出する検出手段と、を更に有し、
前記選択手段は、前記被写体の前記移動量が所定の移動量よりも大きい場合、前記第１撮影条件を選択することを特徴とする請求項１に記載の撮像装置。

【請求項9】

前記表示手段は、前記選択手段による選択結果を表示することを特徴とする請求項６乃至８のいずれか一項に記載の撮像装置。

【請求項10】

前記表示手段に前記選択結果が表示された後に、ユーザの操作に応じて前記第１撮影条件または前記第２撮影条件を変更するための操作部材を更に有することを特徴とする請求項９に記載の撮像装置。

【請求項11】

第１被写体と第２被写体とを含む認識被写体を認識可能な認識手段と、
前記認識被写体ごとに、前記第１被写体の第１奥行き情報と前記第２被写体の第２奥行き情報とを紐付けて記憶する記憶手段と、を更に有し、
前記ＡＦ候補枠に対応する前記位置に存在する前記被写体が前記第１被写体または前記第２被写体である場合、前記記憶手段から前記第１奥行き情報または前記第２奥行き情報が読み出されることを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。

【請求項12】

認識被写体を認識可能な認識手段と、
前記認識被写体ごとに奥行き情報を記憶する記憶手段と、を更に有することを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。

【請求項13】

前記第１撮影条件は、前記被写体を適露光で前記第１撮影を行うための撮影条件であり、
前記第２撮影条件は、前記被写体を適露光で前記第２撮影を行うための撮影条件であることを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。

【請求項14】

前記第１撮影条件および前記第２撮影条件はそれぞれ、絞り値、シャッター速度、およびＩＳＯ感度に関する条件を含むことを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。

【請求項15】

第１撮影を行う際の第１撮影条件と第２撮影を行う際の第２撮影条件とを取得する取得ステップと、
被写体とＡＦ候補枠とを重畳表示する表示ステップと、
前記第１撮影条件での前記第１撮影により得られる第１被写界深度で、前記ＡＦ候補枠に対応する位置が合焦範囲に収まるか否かを判定する第１判定ステップと、
前記第２撮影条件での前記第２撮影により得られる第２被写界深度で、前記ＡＦ候補枠に対応する前記位置が前記合焦範囲に収まるか否かを判定する第２判定ステップと、を有し、
前記表示ステップにおいては、前記第１判定ステップおよび前記第２判定ステップの判定結果に応じて、前記ＡＦ候補枠に対応する前記位置に関する合焦状態を表示することを特徴とする撮像装置の制御方法。

【請求項16】

請求項１５に記載の撮像装置の制御方法をコンピュータに実行させることを特徴とするプログラム。

【請求項17】

請求項１６に記載のプログラムを記憶していることを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、撮像装置の制御方法、プログラム、および記憶媒体に関する。

【背景技術】

【0002】

従来、オートフォーカス（ＡＦ）により合焦制御を行う技術が知られている。特許文献１には、被写界深度内を合焦可能エリアとしてユーザに報知し、その中から合焦希望エリアの設定を可能にした装置が開示されている。また従来、焦点調節レンズの駆動を制御して焦点位置をずらしながら複数枚撮影するフォーカスブラケット撮影により得られた複数の画像を合成して、１回合焦撮影では得られない光学特性を超えた被写界深度を得る、深度合成の技術が知られている。特許文献２には、異なる合焦位置の同一撮影範囲の複数の画像を、合焦範囲を抽出して合成することで、撮影範囲を再合成してマルチフォーカス画像を生成する装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０―１６５９９７号公報

【特許文献2】特開平１０―２９０３８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画角内の合焦範囲を所望の設定にしたくても、ユーザが即座に必要な被写界深度を掴むのは困難である。また、特許文献１のように合焦可能エリアをユーザに報知してユーザが合焦希望エリアを設定する場合、合焦可能エリア外の領域については、合焦させることができない。

【0005】

必要な被写界深度の確保が光学特性上や被写体との距離上困難な場合でも、特許文献２のような深度合成のためのフォーカスブラケット撮影を鑑みて、１回合焦撮影とフォーカスブラケット撮影とを並行して準備可能な撮像装置が必要となる。そのとき、１回合焦撮影とフォーカスブラケット撮影とを選択する判定が必要であり、それぞれの撮影条件での合焦範囲を報知するユーザインターフェースが必要である。

【0006】

そこで本発明は、ユーザが容易に所望の合焦範囲での撮影条件を取得することが可能な撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一側面としての撮像装置は、第１撮影を行う際の第１撮影条件と第２撮影を行う際の第２撮影条件とを取得する取得手段と、被写体とＡＦ候補枠とを重畳表示する表示手段と、前記第１撮影条件での前記第１撮影により得られる第１被写界深度で、前記ＡＦ候補枠に対応する位置が合焦範囲に収まるか否かを判定する第１判定手段と、前記第２撮影条件での前記第２撮影により得られる第２被写界深度で、前記ＡＦ候補枠に対応する前記位置が前記合焦範囲に収まるか否かを判定する第２判定手段とを有し、前記表示手段は、前記第１判定手段および前記第２判定手段の判定結果に応じて、前記ＡＦ候補枠に対応する前記位置に関する合焦状態を表示する。

【0008】

本発明の他の目的及び特徴は、以下の実施例において説明される。

【発明の効果】

【0009】

本発明によれば、ユーザが容易に所望の合焦範囲での撮影条件を取得することが可能な撮像装置を提供することができる。

【図面の簡単な説明】

【0010】

【図1】各実施例における撮像装置の外観図である。

【図2】実施例１における撮像システムのブロック図である。

【図3】各実施例における撮像装置の制御方法を示すフローチャートである。

【図4】各実施例におけるＬＶ表示処理を示すフローチャートである。

【図5(a)】各実施例における１回合焦撮影の処理を示すフローチャートである。

【図5(b)】各実施例における１回合焦撮影の処理を示すフローチャートである。

【図6(a)】実施例１における２条件撮影の処理を示すフローチャートである。

【図6(b)】実施例１における２条件撮影の処理を示すフローチャートである。

【図6(c)】実施例１における２条件撮影の処理を示すフローチャートである。

【図7】各実施例における再生表示処理を示すフローチャートである。

【図8】各実施例における撮影条件１による撮影の処理を示すフローチャートである。

【図9】各実施例における撮影条件２によるフォーカスブラケット撮影の処理を示すフローチャートである。

【図10】実施例２における撮像システムのブロック図である。

【図11(a)】実施例２における２条件撮影の処理を示すフローチャートである。

【図11(b)】実施例２における２条件撮影の処理を示すフローチャートである。

【図11(c)】実施例２における２条件撮影の処理を示すフローチャートである。

【図12】実施例１におけるＡＦ候補枠の例を示す図である。

【図13】実施例２におけるＡＦ候補枠の例を示す図である。

【図14】被写体距離とデフォーカス量との関係を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

【実施例0012】

まず、図１（ａ）、（ｂ）を参照して、本発明の実施例１におけるデジタルカメラ（撮像装置）１００について説明する。図１（ａ）、（ｂ）はデジタルカメラ１００の外観図であり、図１（ａ）はデジタルカメラ１００の前面斜視図、図１（ｂ）はデジタルカメラ１００の背面斜視図をそれぞれ示す。デジタルカメラ１００はミラーレスカメラであるが、本実施例はこれに限定されるものではなく、他の撮像装置にも適用可能である。また、デジタルカメラ１００に対してレンズ装置が着脱可能であるが、本実施例はこれに限定されるものではなく、カメラ本体とレンズ装置とが一体的に構成された撮像装置にも適用可能である。

【0013】

１０１は、画像や各種情報を表示するためにデジタルカメラ１００の背面に設けられた表示部である。１０２は、撮影指示を行うためのシャッター釦である。１０３は、デジタルカメラ１００の電源をＯＮにして起動指示を出し、電源をＯＦＦにして停止指示を出すための電源スイッチである。１０４は、デジタルカメラ１００が着脱可能なレンズ装置、またはレンズ装置を接続するためのアダプターとの通信を行うための通信端子である。１０５は、接眼ファインダー（覗き込み型のファインダー）の接眼部であり、ユーザは、接眼部１０５を介して内部の電子ビューファインダー（図２参照）に表示された映像を視認することができる。１０６は、接眼部１０５にユーザが接眼しているか否かを検知する接眼検知センサである。１０７は、記録メディア２５（図２参照）を格納するスロットの蓋である。

【0014】

デジタルカメラ１００は、操作部材として、メイン電子ダイヤル１１２、サブ電子ダイヤル１１３，十字キー１１４、およびＳＥＴ釦１１５を含む。またデジタルカメラ１００は、操作部材として、第２のシャッター釦１１６、ＡＥロック釦１１７（ＡＥは、Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）、拡大釦１１８、再生釦１１９、メニュー釦１２０、モード切替えスイッチ１２１、およびＩＮＦＯ釦１２２を含む。

【0015】

１１２は、回転操作部材としてのメイン電子ダイヤルであり、シャッター速度や絞り値等の設定値変更に用いる。１１３は、回転操作部材としてのサブ電子ダイヤルであり、撮影時のＡＦ枠の選択位置の移動や、再生時の画像送り等に用いても良い。１１４は、十字キーである。上、下、左、右部分を夫々押し込み可能な４方向キーで例示しており、押した部分に応じた操作割当てが可能である。同図１中１１５はＳＥＴ釦であり、主に選択項目の決定に用いられる押し釦である。１１６は、第２のシャッター釦であり、後述する２条件撮影モードにおけるフォーカスブラケット撮影（第２撮影）の開始指示に用いても良い。該撮影モード以外では、動画撮影の開始・終了指示に用いても良い。

【0016】

１１７は、ＡＥロック釦であり、Ｓ１状態からＳ２を押下する（Ｓ１、Ｓ２については後述する）一つの撮影形態（１回合焦撮影、第１撮影）では、撮影待機状態で押下することにより、露出状態を固定する。後述する２条件撮影モード時には、選択中のＡＦ候補枠の深度内追加・除外指示の開始・完了の切替え釦として機能する。

【0017】

１１８は拡大釦であり、例えばライブビュー表示（ＬＶ表示）において拡大モードのＯＮ／ＯＦＦに用いる。例えば、拡大モードをＯＮにしてからメイン電子ダイヤル１１２を操作することによりＬＶ表示画像の拡大・縮小を行える。再生表示時における再生表示画像についても同様である。再生釦１１９は、撮影と再生表示との処理を切り替える操作釦である。任意の撮影モード中に該再生釦１１９を押下することで再生モードに移行し、記録メディア２５に記録された画像のうち例えば最新の画像を表示部１０１に表示させることができる。１２０はメニュー釦であり、各種設定を行うためのメニュー表示を前記表示部１０１に表示するときに押下する。ユーザは、表示部１０１に表示されたメニュー画面と、十字キー１１４やＳＥＴ釦１１５を用いて直感的に各種設定を行うことができる。

【0018】

１２１は、各種モードを切り替えるモード切替えスイッチである。モード切替えスイッチ１２１で、後述する２条件撮影モードを選択することができる。ＩＮＦＯ釦１２２は、表示部１０１等表示部材への情報表示内容の切り替えに用いる。ＩＮＦＯ釦１２２は、後述する２条件撮影モード時に選択中のＡＦ候補枠の深度内追加・除外入力切り替えに用いることができる。

【0019】

ユーザがデジタルカメラ１００を構えた際に右手で握りやすいグリップ形状を持ち、ユーザが右手の小指、薬指、中指でデジタルカメラ１００を握って保持した状態で、右手の人差し指で操作可能な位置に、シャッター釦１０２が配置されている。また、同じ状態で、右手の人差し指で操作可能な位置に、メイン電子ダイヤル１１２および第２のシャッター釦１１６が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル１１３が配置されている。

【0020】

次に、図２を参照して、本実施例における撮像システム２００について説明する。図２は、撮像システム２００のブロック図である。撮像システム２００は、デジタルカメラ１００と、デジタルカメラに対して着脱可能なレンズ装置（交換レンズ）１３とを備えて構成される。

【0021】

デジタルカメラ１００において、１０は、デジタルカメラ１００を制御するＣＰＵである。１１は、ＣＰＵ１０の制御プログラムを記憶しているフラッシュメモリ等の不揮発性メモリである。１２は、画像データ等の中間処理データを一時記憶するＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の大容量メモリである。ＤＲＡＭは、フラッシュメモリよりも高速に大量のデータアクセスを行うことができる。ＣＰＵ１０は、電源（不図示）ＯＮ後に、起動処理として不揮発性メモリ１１からプログラムを読み出して実行する。プログラムは、高速処理を目論んで不揮発性メモリ１１から一旦大容量メモリ１２に展開してから実行しても良い。

【0022】

１３は、デジタルカメラ１００が搭載する交換レンズとしてのレンズ装置である。レンズ装置１３は、レンズ１３２を有する。レンズ１３２は、通常、複数枚のレンズで構成されており、複数枚のレンズの間に絞り（開口絞り）１３１が配置されている。なお図２では、レンズ１３２として簡略的に一枚のレンズのみを示し、また、レンズ１３２の前面に絞り１３１を模式的に示す。

【0023】

１３５は、レンズ装置１３がデジタルカメラ１００側と通信を行うための通信端子であり、レンズ装置１３がデジタルカメラ１００に装着される際にデジタルカメラ１００側の通信端子１０４と接続する。レンズ装置１３は、レンズシステム制御回路１３０を用いて、デジタルカメラ１００との通信を行う。絞り駆動回路１３３は絞り１３１を駆動し、レンズ駆動回路１３４はレンズ１３２を駆動するが、デジタルカメラ１００からの指示要求はレンズシステム制御回路１３０を介して伝達される。レンズ駆動回路１３４内のアクチュエーター（不図示）に連動するエンコーダー（不図示）またはポテンショメーターを設けて、焦点調節レンズの制御位置を把握して、被写体距離に変換する仕組みを備えても良い。レンズ装置１３内に不揮発性メモリ１３６を配し、レンズ装置１３の光学特性情報を保持しても良い。光学特性情報は、後述する補正手段１５で光学補正をするパラメータを含んでも良い。

【0024】

１４は撮像手段であり、光電変換を含む画素を格子状に配置したアレイ部を持つＣＭＯＳセンサ等の撮像素子を有する。撮像手段１４は、撮像素子の画素部で光電変換したアナログ信号出力をデジタル信号に変換するＡＤ変換器と、デジタルデータを後段の処理に転送するＩＦと、１枚の画像データとして撮像するためのタイミングコントロール部と、を含んでも良い。撮像手段１４の画素の受光部は、像面位相差方式のＡＦを実施するために（左目、右目の）視差画像を取得できるように１画素を瞳分割して夫々電荷の蓄積、読み出しを可能としても良い。

【0025】

１５は補正手段であり、撮像手段１４に関する補正とレンズ装置１３に関する補正とを実施する。撮像手段１４に関する補正は、例えばシェーディング補正、暗電流によるノイズの除去、または画素欠陥の補正を含むが、これらに限定されるものではない。レンズ装置１３に関する補正は、周辺光量補正、倍率色収差補正、回折の影響除去、または歪補正等を含むが、これらに限定されるものではない。補正手段１５による処理後のＲＡＷデータを一旦大容量メモリ１２に格納してから、画像処理や評価値取得を実行しても良い。１６は画像処理手段であり、ホワイトバランス（Ｗｈｉｔｅ Ｂａｌａｎｃｅ：）ＷＢ）調整、ベイヤーデータの同時化、ＹＵＶ化、ノイズ抑圧処理、偽色低減処理、またはガンマ処理等の画像処理を行う。なお、上述の補正処理および画像処理については、本実施例の特徴ではないため、詳細な説明は省略する。また、補正手段１５または画像処理手段１６の少なくとも一方に、画像データの縮小処理手段（不図示）が含まれていても良い。

【0026】

１７は評価手段であり、調光やホワイトバランスのための評価値（積分値等）を取得する。評価手段１７は、被写体を適露光で撮影するための撮影条件（第１撮影条件および第２撮影条件）を取得する取得手段として機能する。１８は合焦手段であり、視差画像から夫々における像ずれ量を検出して、デフォーカス量（合焦からどれ位はずれているかの量）を求める。ＣＰＵ１０は、ＡＦ制御の合焦動作においてデフォーカス量に変換係数を掛けてレンズ駆動量を決定する。１９はレンズ通信手段であり、合焦動作においてレンズ駆動量の情報を、通信端子１０４、１３５を介してレンズ装置１３のレンズシステム制御回路１３０へ転送する。レンズシステム制御回路１３０は、合焦後の被写体距離を、レンズ装置１３からデジタルカメラ１００へ転送する。

【0027】

２０は、画像データの圧縮および／または符号化（圧縮）を行うコーデックであり、圧縮された画像をデジタルカメラ１００内で再生する場合には復号化および／または伸長（伸長）を行っても良い。本実施例では、大容量メモリ１２に一時記憶した画像処理手段１６の処理後の画像データを圧縮するが、補正手段１５の処理後のＲＡＷ画像を圧縮しても良い。圧縮画像データのフォーマットは、例えばＪＰＥＧ規格を準拠したものでも良い。

【0028】

２１は表示制御手段、２２は映像を一時保持するビデオＲＡＭ（ＶＲＡＭ）、２３は電子ビューファインダー（ＥＶＦ）、１０１は表示部１０１である。ＥＶＦ２３の映像は、接眼ファインダー１０５を介してユーザに視認させる。拡大・縮小表示用のリサイズ回路が搭載されても良い。２４は記録制御手段であり、記録メディア２５へのファイルアクセスを実行する。ユーザは、蓋１０７を開けて、記録メディア２５の挿抜を行うことが可能である。

【0029】

２６は第１判定手段であり、１回合焦撮影の撮影条件（撮影条件１、第１撮影条件）で得られる被写界深度（第１被写界深度）でＡＦ候補枠が合焦範囲に収まるか否かを判定する。２７は第２判定手段であり、後述する２条件撮影におけるフォーカスブラケット撮影の撮影条件（撮影条件２、第２撮影条件）で得られる、夫々の合焦位置での被写界深度（第２被写界深度）でＡＦ候補枠が合焦範囲に収まるか否かを判定する。

【0030】

ここで、図１２（ａ）を参照して、本実施例におけるＡＦ候補枠について説明する。図１２（ａ）は、ＡＦ候補枠の一例である。図１２（ａ）では、複数のＡＦ候補枠の配列として、（Ａ）～（Ｅ）の５列および（１）～（６）の６行の配列として例示している。ただし本実施例は、この配列に限定されるものではない。図１２（ａ）は、ＥＶＦ２３で確認するＬＶ表示画像上にＡＦ候補枠を重畳表示した例である。後述する視差像の相関判定やデフォーカス量推定に関る処理画像領域は、図１２（ａ）の（表示画像上の被写体に対する）ＡＦ候補枠の位置と等価な位置関係を保つように、画素データを読み出して処理する。なお図１２（ａ）は、明示的に枠を大きく描画しているが、枠の大きさを限定するものではない。

【0031】

デジタルカメラ１００の任意の処理手段は、１つのＬＳＩとして実装されても良い（例えば、ＣＰＵ１０と図２中の１５～２７の夫々手段（２３，２５を除く）をＳＯＣ構成とする）。なお本実施例において、これらの形態は限定されるものではない。

【0032】

次に、図３を参照して、本実施例におけるデジタルカメラ１００の全体の制御方法について説明する。図３は、デジタルカメラ１００の全体の制御方法を示すフローチャートである。本フローチャートは、デジタルカメラ１００の電源スイッチ１０３がＯＦＦからＯＮに操作されたことに応じて開始する。

【0033】

まずステップＳ３０１において、ＣＰＵ１０は、電源（不図示）からの給電開始に応じて起動処理を実行する。ＣＰＵ１０の起動処理において、ＣＰＵ１０は、制御プログラムを不揮発性メモリ１１から読み出す。そしてＣＰＵ１０は、制御プログラムに設定された起動時処理（例えば、内部クロック設定、ポート設定、リセット処理、大容量メモリ１２の起動および接続チェック、内部モジュールのレジスタ設定等）を実行する。

【0034】

続いてステップＳ３０２において、ＣＰＵ１０は、デジタルカメラ１００の起動処理を実行する。例えばＣＰＵ１０は、プリセットされた各種メニュー設定の反映や、タイマー（不図示）の起動、部材状態の確認を行う（例えば、モード切替えスイッチ１２１の状態の確認）。タイマー（不図示）の起動は、電源ＯＮのままの状態でバッテリーが消耗するのを避けるための措置であり、一定期間何も操作が行われなかった場合に、デジタルカメラ１００の電源をＯＦＦするために用いる。またＣＰＵ１０は、起動処理時に、レンズ装置１３から接点１３５，１０４を介して、接続されているレンズの情報（補正パラメータ等）を受信する。

【0035】

続いてステップＳ３０３において、ＣＰＵ１０は、再生釦１１９の押下（再生表示の指示）を検出したか否かを判定する。再生釦１１９の押下が検出された場合、デジタルカメラ１００は再生モードに移行し、ステップＳ３０９の再生表示処理へ遷移する。一方、再生釦１１９の押下が検出されていない場合、ステップＳ３０４へ遷移する。

【0036】

ステップＳ３０４において、ＣＰＵ１０は、シャッター釦１０２がＳ１状態（Ｓ１押下状態）であるか否かを判定する。シャッター釦１０２は、半押し状態でＯＮとなるＳ１状態（Ｓ１押下状態）と全押し状態でＯＮとなるＳ２状態（Ｓ２押下状態）の２つの状態を有する。Ｓ１状態では、撮影準備状態として合焦動作を行うとともに、撮影条件（絞り値、シャッター速度、およびＩＳＯ感度等）を決定する。合焦して撮影条件が決定した状態でシャッター釦１０２がＳ１状態からＳ２状態へ移行すると、静止画撮影が実行される。ステップＳ３０４にてＳ１状態であることが検出された場合、ステップＳ３０５へ遷移する。一方、Ｓ１状態であることが検出されない場合、ステップＳ３０６へ遷移し、ＣＰＵ１０はＬＶ表示処理を行う。

【0037】

なお、Ｓ１状態を経ずにＳ２状態へ移行した場合、それを無視してステップＳ３０６に遷移しても良い。メニュー設定で、非合焦撮影を認める設定を設けて、それを選択した場合には、通常撮影を実行（ステップＳ３０７に遷移）しても良い。

【0038】

ステップＳ３０５において、ＣＰＵ１０は、撮影モードを判定する。撮影モードは、モード切替えスイッチ１２１で設定可能である。本実施例では、１回合焦撮影のみを行う１回合焦撮影モード（第１モード）と、１回合焦撮影またはフォーカスブラケット撮影のいずれを行うかを撮影直前に選択することが可能な２条件撮影モード（第２モード）とのいずれかを選択することができる。ただし本実施例において、選択可能な撮影モードは、これらの２つのモードに限定されるものではない。撮影モードには、シャッター速度優先、絞り優先、プログラムＡＥ、全自動撮影等、任意に複数存在しても良く、本実施例において限定されるものではない。本実施例では、説明の簡素化のため、１回合焦撮影を代表として説明するが、これに限定されるものではなく、例えばプログラムＡＥモード等の他のモードでも良い。また、１度の撮影操作で複数枚撮影して暗部や明部の画素値の飽和を避ける撮影方式もあるが、合焦状態が変化しない場合はそれも１回合焦撮影に含める。

【0039】

ステップＳ３０５において、撮影モードが１回合焦撮影モードであると判定された場合、ステップＳ３０７に遷移する。一方、撮影モードが２条件撮影モードであると判定された場合、ステップＳ３０８に遷移する。ステップＳ３０６～Ｓ３０９のいずれの終了後、ステップＳ３１０に遷移する。ステップＳ３１０において、ＣＰＵ１０は、タイマー（不図示）が所定期間の計時を完了したか否か（所定期間が経過したか否か）を判定する。所定期間が経過したと判定された場合、ステップＳ３１１に遷移する。一方、所定期間が経過していないと判定された場合、ステップＳ３０３へ遷移して、処理を継続する。

【0040】

ステップＳ３１１において、ＣＰＵ１０は、デジタルカメラ１００の停止処理（現在のデジタルカメラ１００の設定の不揮発性メモリ１１への退避と、電源のシャットオフ）を行う。ステップＳ３１１での停止処理は、部材操作によってＣＰＵ１０を復帰できるスリープ状態である。なお、復帰処理は、本実施例の特徴ではないため、不図示としている。デジタルカメラ１００の完全な電源オフは、電源スイッチ１０３の操作による。その場合のシャットオフは、例外処理（不図示）としてステップＳ３１１の停止処理同様の措置が裏で実行されても良い。ただし、電源スイッチ１０３操作によってのみＣＰＵ１０は再起動できる。ここで一連の処理フローとして示している再生釦１１９の押下状態や、タイマー（不図示）計時完了は、割り込み処理としても良い。

【0041】

次に、図４（ａ）、（ｂ）を参照して、本実施例におけるデジタルカメラ１００のＬＶ表示処理（Ｓ３０６）について説明する。図４（ａ）は、ＬＶ表示処理におけるプレ処理を示すフローチャートであり、撮像、補正、および評価値の取得に関する処理を示す。図４（ｂ）は、図４（ａ）に示されるプレ処理を含むＬＶ表示処理の全体を示すフローチャートである。

【0042】

まず、図４（ａ）のステップＳ４０１において、ＣＰＵ１０は、撮像手段１４の駆動制御設定を行う。ＬＶ表示は、動画像の撮像であるため、例えば１秒間に６０フレーム（６０ｆｐｓ）の撮像処理を実行する。ここでの設定は、撮像手段１４の画素部の蓄積時間、アナログアンプゲイン、ＡＤ変換器のリファレンス電圧（ランプ入力）の傾き、読み出しライン等の設定を含むが、これらに限定されるものではない。また、前回撮像制御を踏襲する設定については省略しても良い。設定値は、ＣＰＵ１０から撮像手段１４に転送される（通信手段は不図示）。

【0043】

続いてステップＳ４０２において、ＣＰＵ１０は、センサ読出しを実行する。センサ読出しは、光電変換で得た画素部電荷を、画素部トランジスタで電圧値としてＡＤ変換器に取り出して、デジタル値として取得する処理であり、画素アレイに対して例えば水平ライン毎の読み出しを、垂直方向に走査して１フレームのデータを取得する。

【0044】

続いてステップＳ４０３において、ＣＰＵ１０は、ステップＳ４０２にて読み出したデジタル信号の画素データに対して、センサ補正処理を実行する。図４（ａ）中の処理は、夫々のステップがフレームの処理を完了してから次の処理を開始するのではなく、処理の終わった画素から次のステップの処理に転送しても良い。その場合、全体の処理遅延は、各処理のレイテンシーの総和になる。

【0045】

図４（ａ）中のステップＳ４０４、Ｓ４０５は並行して処理するように示している。ステップＳ４０４は、露光量調整（ＡＥ）やホワイトバランス調整のための評価値の取得処理フローである。ステップＳ４０４において、ＣＰＵ１０は、評価値取得のための輝度信号や色信号の任意のブロックの積分値や、ヒストグラムを評価値として取得する。ＣＰＵ１０は、取得した評価値に基づいて、絞り１３１の絞り値（Ｆ値）や、画像処理手段１６のホワイトバランス（ＷＢ）調整用ゲイン値を算出する。ＷＢ調整用ゲイン値は、画像処理手段１６に転送される。合焦動作のために絞り１３１を開放にしている場合、絞り値は撮影実行時にレンズ通信手段１９からレンズ装置１３に転送される。ＬＶ表示画像が実絞りで再現している場合、随時、レンズ装置１３に転送される。ステップＳ４０５において、ＣＰＵ１０は、補正手段１５を用いて、周辺光量補正、倍率色収差補正、および回折影響除去等の光学補正処理を実行する。

【0046】

次に、図４（ｂ）について説明する。図４（ｂ）のステップＳ４００は、図４（ａ）のプレ処理であり、前述のように、ＣＰＵ１０は、ＬＶ表示用画像の撮像、補正、および評価値の取得を行う。続いてステップＳ４０６において、ＣＰＵ１０は、ＬＶ表示用画像の現像処理を実行する。ここでは、ＷＢ調整用ゲイン値を用いたＷＢ調整や、図２を参照して説明した処理を実行する。続いてステップＳ４０７において、ＣＰＵ１０は、必要に応じてＬＶ表示画像の補正を行う。例えば、有機ＥＬ等表示デバイスが持つシェーディングに対する補償である。続いてステップＳ４０８において、表示手段（ＥＶＦ２３または表示部１０１の少なくとも一方）にＬＶ表示するためのＬＶ表示処理を実行する。表示制御手段２１は、表示用の画像をＶＲＡＭ２２に準備して、表示用同期信号に合わせてＥＶＦ２３または表示部１０１の少なくとも一方に映像信号を出力する。画面全体がピントの合っていないＬＶ表示は好ましくないため、ＬＶ表示処理中に任意に主被写体推定をして合焦動作をしても良い（図４（ａ）、（ｂ）中には不図示）。このとき、レンズ駆動は急峻である必要は無い。

【0047】

次に、図５（ａ）および図５（ｂ）を参照して、本実施例におけるデジタルカメラ１００の１回合焦撮影（ステップＳ３０７）について説明する。図５（ａ）および図５（ｂ）は、デジタルカメラ１００の１回合焦撮影のフローチャートである。

【0048】

まずステップＳ５００において、ＣＰＵ１０は、図４（ａ）に示されるプレ処理を行う。続いてステップＳ５０１において、ＣＰＵ１０は、撮影条件（撮影条件１）を決定する。ＣＰＵ１０は、ステップＳ５００のプレ処理にて取得した評価値に基づいて、適露光となるように、絞り値、シャッター速度、およびＩＳＯ感度等の撮影条件を決定する。なお、本フローを既に巡回しており、撮影条件が決定済、合焦済であれば、本フローはスルーしても良い（判定処理は不図示）。

【0049】

続いてステップＳ５０２において、ＣＰＵ１０は、合焦済であるか否かを判定する。合焦済であると判定された場合、ステップＳ５０７へ遷移する。一方、合焦していないと判定された場合、ステップＳ５０３へ遷移する。

【0050】

ステップＳ５０３において、ＣＰＵ１０は、主被写体の推定を実行する。主被写体の推定は、画像中のコントラストを参照したり、認識手段（不図示）による人体・顔・瞳・動物・任意の物体等の検出結果を採択したりしても良い。本実施例において、推定方法は限定されるものではない。続いてステップＳ５０４において、ＣＰＵ１０は、推定した主被写体に合焦するための視差入力の相関判定をして、撮像素子の撮像面上での像ずれ量を求める。なお、本実施例の特徴ではないため詳細は説明しないが、求めた像ずれ量に装置固有の変換係数を掛けて光軸上のデフォーカス量を算出することができる。続いてステップＳ５０５において、ＣＰＵ１０は、合焦判定を行う。像ずれ量が無く、視差入力の像が一致すると判定された場合、ステップＳ５０７へ遷移する。一方、合焦と見做されないと判定された場合、ステップＳ５０６へ遷移する。

【0051】

ステップＳ５０６において、デジタルカメラ１００は、焦点調節レンズを移動するように、レンズ駆動指示をレンズ装置１３に対して発生する。図２中のレンズ装置１３において、複数のレンズ群をまとめてレンズ１３２として示したが、焦点調節レンズとは、複数のレンズ群のうち焦点調節に関るレンズを指す。像ずれ量からレンズ駆動量を計算するのは、ＣＰＵ１０で実行しても良い。前述のように、視差入力の像ずれ量に対して変換係数を掛けることでデフォーカス量を計算する。変換係数は、像面位相差方式では、撮影画像の各ＡＦ候補枠位置において射出瞳の位置関係から基線長を求めることで定義できるが、本実施例の特徴ではないため、その詳細の説明は省略する。

【0052】

デフォーカス量と焦点調節レンズ移動量との関係は、レンズ構成によって異なる。全体繰り出しの単焦点レンズであれば、その関係は略１：１である。ただし、リアフォーカス、前群繰り出し等、レンズ装置１３のレンズ１３２の構成によっては異なる関数関係になるため、レンズ内で関数を持ってそのときのデフォーカス量からレンズ移動量を算出すれば良い。レンズ移動算出については特に限定されるものではなく、本実施例の特徴ではないためその詳細の説明は省略する。

【0053】

図１２（ｂ）は、本実施例における合焦枠の例示である。前述のように、６行５列のＡＦ候補枠のうち、Ｄ列３行目の枠に合焦した場合を例示している。ただし、これは説明用であり、実際には後述する図１２（ｃ）の状態でＥＶＦ２３に表示される。

【0054】

図５（ａ）のステップＳ５０７において、ＣＰＵ１０は、レンズ装置１３より主被写体の被写体距離を取得する。被写体距離情報の取得は、前述の様にレンズ駆動回路１３４内の機構（エンコーダー等、不図示）で把握する。なお、レンズ装置１３からの被写体距離（撮影距離）の取得方法については、公知であるため、その説明を省略する。本実施例では、前述のように、図１２（ｂ）中のＤ列３行目の被写体位置を取得することになる。

【0055】

続いて、図５（ａ）のステップＳ５０８において、ＣＰＵ１０は、ＡＦ候補枠全てにおいて、合焦面に対するデフォーカス量を推定する。デジタルカメラ１００に搭載する撮像手段１４に瞳分割した画素を持てば、像面位相差方式のＡＦ処理を実行できる。全画面全画素で瞳分割していれば、全画面のデフォーカス量を演算してデフォオーカスマップを作成できるが、本実施例ではＡＦ候補枠の位置におけるデフォーカス量が算出できれば良い。

【0056】

デフォーカス量が大きい場合、計算結果の精度は低い。合焦や調光の過程では、レンズの絞り１３１を開放にしている場合があるので、合焦近辺以外はデフォーカス量が大きく出る場合がある。また、ＡＦ候補枠近辺で遠近競合やオクルージョンの影響があっても計算結果の精度は落ちる。デフォーカス量計算の信頼度が低いＡＦ候補枠については、合焦範囲の選択から除く制御を入れても良い。本実施例では、デフォーカス量計算結果の信頼度について、特に限定はしない。

【0057】

続いてステップＳ５０９において、ＣＰＵ１０は、第１判定手段２６を用いて、ＡＦ候補枠上の被写体と主被写体との位置関係（実距離関係）が撮影条件１における被写界深度内に収まっているかを判定する。この判定は、合焦位置の被写体距離と撮像素子上の像距離およびＡＦ候補枠夫々のデフォーカス量との関係に基づいて行われる。

【0058】

図１４は、被写体距離とデフォーカス量との関係を示す図である。ここで、レンズの横倍率をＭ，焦点距離をｆ，被写体距離をＡ＋ｆ，像距離をＢ＋ｆ、被写体側物体の高さをＸ，像の高さをＹとする。このとき、以下の式（１）が成立する。

【0059】

Ｍ＝Ｙ／Ｘ＝ｆ／Ａ＝Ｂ／ｆ …（１）
式（１）に（ｆＡ）を乗じると、以下の式（２）が成立する。

【0060】

ｆ／Ａ・（ｆＡ）＝Ｂ／ｆ・（ｆＡ） …（２）
このため、以下の式（３）が成立する。

【0061】

ｆ^２＝Ａ・Ｂ …（３）
また、物体移動量をａ、これに対応するデフォーカス量をｂとすると、以下の式（４）が成立する。

【0062】

（Ａ＋ａ）・（Ｂ＋ｂ）＝ｆ^２ …（４）
そして、式（３）と式（４）とを用いて、以下の式（５）が得られる。

【0063】

（Ａ＋ａ）＝（Ａ・Ｂ）／（Ｂ＋ｂ） …（５）
被写体距離（Ａ＋ａ）とデフォーカス量ｂとの関係は、式（５）により表される。被写界深度は、絞り値と被写体距離と焦点距離と許容錯乱円とをパラメータとして計算することができる。なお、これは公知な式であるため、その詳細の説明は省略する。許容錯乱円は、センサ画素ピッチか、エアリーディスク径（光学的な結像限界）の大きい方の値を適用するが、表示サイズや、画像縮小をする場合等の影響を考慮した値を適用しても良い。ここでは、限定しない。被写界深度は、主被写体に対して、前方被写界深度と後方被写界深度夫々の計算が必要であり、以下のように表される。

【0064】

被写界深度 ＝ 前方被写界深度 ＋ 後方被写界深度
ＣＰＵ１０は、ステップＳ５０１～Ｓ５０９の処理フローと並行して、ＬＶ表示用画像の準備も行う。図５（ａ）のステップＳ５１１において、図４（ｂ）のステップＳ４０６と同様に、撮像画像の現像処理を行う。撮像画像サイズからＬＶ表示画像サイズへの変換は、補正手段１５または画像処理手段１６で行われても良く、本実施例では特に限定されるものではない。続いてステップＳ５１２において、ＣＰＵ１０は、図４（ｂ）のステップＳ４０７と同様に、ＬＶ表示用のシェーディング補正を実行する。

【0065】

続いて、図５（ｂ）のステップＳ５２０において、ＣＰＵ１０は、ステップＳ５０９の深度判定が実行済みであるか否かを判定する。未合焦であり被写界深度の判定が済んでいない状態では、合焦状態をユーザ報知せずにステップＳ５２１に遷移して被写体のみＬＶ表示する。一方、主被写体に合焦時には、ステップＳ５２３に遷移し、ＡＦ候補枠への被写体深度内評価結果の重畳表示を行う。

【0066】

ステップＳ５２１において、合焦していない状態では、ＥＶＦ２３の表示画面上に図１２（ｂ）の合焦枠は表示できない。このため、図１２（ｅ）のように被写体像に対してＡＦ候補枠を重畳しないか、図１２（ａ）の状態で表示することになる。なお、表示形態については限定されるものではない。

【0067】

ステップＳ５２３において、ＣＰＵ１０は、図１２（ｂ）の状態に対して、ステップＳ５０９で判定した合焦範囲となるＡＦ候補枠の情報を重畳表示する。図１２（ｃ）は、ステップＳ５２３における合焦範囲のＡＦ候補枠のユーザ報知例である。Ｄ列３行目の合焦枠に加えて、撮影条件１による撮影で得られる被写界深度内のＡＦ候補枠をユーザに分かる形で重畳表示する。図１２（ｃ）において、Ｂ列２行目～５行目、Ｃ列２行目～５行目、Ｄ列４行目～５行目、Ｆ列５行目を、被写界深度内（合焦範囲）として例示している。重畳表示は、枠の配色を他と変更しても良いし、点滅表示しても良く、表示形態は限定されるものではない。

【0068】

ステップＳ５２４において、ＣＰＵ１０は、ユーザにより撮影条件が変更されたか否かを判定する。例えば、ユーザが電子ダイヤル１１２でシャッター速度や絞り値等の変更操作をした場合、ステップＳ５２５に遷移し、ＣＰＵ１０は撮影条件１の設定を変更する。一方、ＣＰＵ１０は、ユーザの操作を検出していない場合、ステップＳ５２６へ遷移する。

【0069】

ステップＳ５２６において、ＣＰＵ１０は、シャッター釦１０２がＳ２押下状態であるか否かを判定する。シャッター釦１０２がＳ２押下状態であると判定された場合、撮影要求として処理をステップＳ５２７に遷移する。一方、シャッター釦１０２がＳ２押下状態ではないと判定された場合、ステップＳ５２８へ遷移する。

【0070】

ステップＳ５２７において、ＣＰＵ１０は、撮影条件１による撮影を行う。ここで、図８を参照して、撮影条件１による撮影について説明する。図８は、撮影条件１による撮影を示すフローチャートである。

【0071】

まずステップＳ８０１において、ＣＰＵ１０は、図４（ａ）と同様に、撮像処理、補正処理、および評価値の取得を含むプレ処理を行う。ただし、センサ駆動設定はＬＶ表示とは異なる。すなわち、図５（ａ）のステップＳ５０１で設定された撮影条件１のシャッター速度から画素の蓄積時間を、絞り値やＩＳＯ感度からアナログゲイン値（ＡＤ変換器のリファレンス電圧のランプ傾きを含む）を、夫々決定して、撮像手段１４の駆動制御を実行する。

【0072】

続いてステップＳ８０２において、ＣＰＵ１０は、ステップＳ４０６のＬＶ表示用画像の現像処理と同様な処理を静止画記録画像に対して実行する（現像処理）。続いてステップＳ８０３において、ＣＰＵ１０は、現像処理された静止画記録用画像データを、コーデック２０で圧縮する（画像圧縮処理）。続いてステップＳ８０４において、ＣＰＵ１０は、記録制御手段２４を用いて、圧縮した記録用データを記録メディア２５にファイルとして記録する（記録制御）。

【0073】

図５（ｂ）のステップＳ５２６にてシャッター釦１０２がＳ２押下状態でないと判定された場合、ＣＰＵ１０は、ステップＳ５２８にてシャッター釦１０２がＳ１状態を開放しているか否かを判定する。シャッター釦１０２がＳ１状態を保持していると判定された場合、ＬＶ表示を継続するためにステップＳ５００へ遷移し、次期フレームデータの撮像に備える。一方、シャッター釦１０２の状態がＳ１状態から開放されていると判定された場合、１回合焦撮影の処理を完了する。すなわち、図３において、ステップＳ３０７の処理を完了して、ステップＳ３１０へ遷移する。

【0074】

次に、図６（ａ）、図６（ｂ）、および図６（ｃ）を参照して、本実施例におけるデジタルカメラ１００の２条件撮影について説明する。図６（ａ）、図６（ｂ）、および図６（ｃ）は、デジタルカメラ１００の２条件撮影の処理を示すフローチャートである。図３を参照して説明したように、２条件撮影モードでは１回合焦での（撮影条件１による）撮影と、フォーカスブラケットによる合焦位置移動を伴う（撮影条件２による）複数枚撮影と、のそれぞれの撮影条件を準備して、撮影時にユーザに選択させる。

【0075】

まずステップＳ６０１において、ＣＰＵ１０は、ＡＦ候補枠の選択を初期化する。２条件撮影モードでは、ＡＦ候補枠の位置の被写体に対して、ユーザの合焦範囲の希望選択を受け付ける。このステップでは、初期状態として全てのＡＦ候補枠を選択した状態に設定する。続いてステップＳ６０２において、図５（ａ）のステップＳ５００と同様に、ＣＰＵ１０はプレ処理を行う。なお、図６（ａ）のステップＳ６１１～Ｓ６１８は、図５（ａ）のステップＳ５０１～５０８とそれぞれ同様であるため、それらの説明は省略する。また、図６（ｃ）のステップＳ６４１、Ｓ６４２は、図５（ａ）のステップＳ５１１、Ｓ５１２と同様であるため、それらの説明は省略する。

【0076】

図６（ｂ）のステップＳ６２１～Ｓ６２４は撮影条件１に関する処理フローであり、図６（ｂ）のステップＳ６３１～Ｓ６３８は撮影条件２に関する処理フローであり、これらは並行して実行される。図１２（ｂ）のＡＦ候補枠は、２条件撮影モードにおける例示でもある。図６（ａ）、図６（ｂ）、および図６（ｃ）の説明においても、合焦位置を図１２（ｂ）のＤ列３行目の位置で例示する。

【0077】

図６（ｂ）のステップＳ６２１において、ＣＰＵ１０は初期撮影条件であるか否かを判定する。すなわちＣＰＵ１０は、このフロー通過時の撮影条件１が初期撮影条件（最初に求めた撮影条件）か、それ以降かを検出する。初期撮影条件であると判定された場合、目標被写界深度を有しないため、ステップＳ６２４に遷移する。もし、撮影条件がユーザの要求により更新されたものであれば、装置が最初に提示した撮影条件での合焦範囲に変更が入ったものとして、ステップ６２２において目標とする被写界深度を更新し、絞り値を再定義する。

【0078】

続いてステップＳ６２３において、ＣＰＵ１０は、更新した絞り値で適露光となるように、シャッター速度やＩＳＯ感度を見直し、撮影条件１を決定する。再定義した絞り値ではシャッター速度やＩＳＯ感度が成立しない場合、絞り値を調整する。このとき、デジタルカメラ１００の本モード時の設定として、ＩＳＯ感度やシャッター速度も調整範囲を設定できる様な装置構成としても良い。

【0079】

続いてステップＳ６２４において、ＣＰＵ１０は、第１判定手段２６を用いて、夫々ＡＦ候補枠の位置の被写体が、主被写体の被写体距離に対して被写界深度（合焦範囲）内かを判定する。

【0080】

ステップＳ６３１において、ＣＰＵ１０は、合焦範囲に入れる対象のＡＦ候補枠夫々の被写体距離を、主被写体距離と枠毎のデフォーカス量から必要被写界深度として求める。デフォーカス量と被写体距離（実距離）との関係は、式（５）で求めても良い。続いてステップＳ６３２において、ＣＰＵ１０は、フォーカスブラケット撮影のための撮影条件２を設定する。本実施例のフォーカスブラケット撮影は、後程、撮影した複数の画像から合焦範囲を抽出して１枚の画像に合成する（深度合成）ために実行する。深度合成は、デジタルカメラ１００内（例えば画像処理手段１６）で行っても、別の装置（ＰＣ等）で行っても良く、特に限定はしない。この撮影条件２では、複数枚の各撮影において絞り値、シャッター速度、ＩＳＯ感度は共通としても良い。

【0081】

本実施例のフォーカスブラケット撮影画像の深度合成で得られる被写界深度は、連続した合焦範囲とし、任意の撮影枚数の合成でそれを達成する。このため、焦点調節レンズを少しずつ移動してフォーカスブラケット撮影したときの、連続した撮影において被写体距離（撮影距離）に対する被写界深度の範囲が離散しない様な絞り値を計算する必要がある。

【0082】

続いてステップＳ６３３において、ＣＰＵ１０は、フォーカスブラケット撮影毎で得られる被写界深度を取得する。ここで、フォーカスブラケット撮影が何枚撮影になれば深度合成による必要被写界深度が得られるかが分かる。以下、これを深度合成のための「分割枚数」とする。前述のように絞り値が共通の場合、焦点調節レンズが移動すれば夫々の撮影での合焦位置に対する被写界深度は変化する（手前ほど浅くなる）。現在の絞り設定で、連続した撮影における各焦点調節レンズ位置に対する被写界深度に間隙が無いように（深度合成が破綻しないように）、分割枚数を決定する。計算の簡易化のために、一番深度の浅い最前位置の被写界深度で必要被写界深度を除して分割枚数としても良い。

【0083】

続いてステップＳ６３４において、ＣＰＵ１０は、分割枚数が限界か否かを判定する。本実施例のフォーカスブラケット撮影の撮影枚数は、前述の分割枚数である。三脚を使って静物を撮る場合と、手持ち撮影や動く対象を取る場合とでは、フォーカスブラケット撮影の許容枚数が異なる。このため、デジタルカメラ１００における分割枚数の上限値は、別途メニューで設定できても良い。もし、ステップＳ６３３で求めた分割枚数が事前設定した分割枚数の上限値を超えている場合、ステップＳ６３５に遷移する。一方、分割枚数が上限値を超えていない場合、ステップＳ６３７に遷移する。

【0084】

ステップＳ６３５において、ＣＰＵ１０は、撮影条件２の絞り値を１段絞り、撮影毎の被写界深度を深くして撮影枚数を減らす方向に制御する。続いてステップＳ６３６において、ＣＰＵ１０は、更新した絞り値が事前設定の限界値より大きいか否かを判定する。絞りの限界値は、回折の影響（解像度低下）を避けるために定義する。撮影条件２の初期値として、絞りの開始値と、限界値と、を、別途メニューで設定できても良い。レンズ毎に装置側で定義していても良い。本実施例において、これらは特に限定されるものではない。絞り値が限界値を超えている場合、ステップＳ６３７へ遷移する。絞りの変更が可能であれば、ステップＳ６３２に戻り、撮影条件２の設定を更新する。

【0085】

ステップＳ６３７において、ＣＰＵ１０は、フォーカスブラケット撮影毎に設定した被写体距離（撮影距離）から、式（５）の関係を利用して像側の移動距離を算出する。そしてＣＰＵ１０は、前述のように、レンズ毎の関数関係等から、撮影毎のレンズ移動量を算出する（前述のように、簡易的に分割枚数を決定したのであれば、撮影毎等間隔となる）。続いてステップＳ６３８において、ＣＰＵ１０は、第２判定手段２７を用いて、撮影毎の焦点調節レンズ位置における被写界深度内判定を、ステップＳ６２４と同様に実行する。

【0086】

図６（ｃ）のステップＳ６４１はステップＳ５１１と、ステップＳ６４２はステップＳ５１２と、夫々同様に、Ｓ１押下中のＬＶ表示用処理であるため、これらの説明は省略する。続いてステップＳ６５１において、ＣＰＵ１０は、合焦後深度判定が完了したか否かを判定する。ステップＳ６１５にて未合焦と判定してステップＳ６１６を経由してステップＳ６５１に遷移している場合、ステップＳ６５２に遷移して、ステップＳ５２１と同様のＬＶ表示処理を実行する。合焦後であり、ステップＳ６２４、Ｓ６３８の夫々で深度判定済である場合、ステップＳ６５３に遷移する。

【0087】

ステップＳ６５３において、ＣＰＵ１０は、ＬＶ表示の被写体に重畳してＡＦ候補枠を表示させ、現在の深度状態（合焦範囲）をユーザ報知する。図１２（ｄ）は、ステップＳ６５３における合焦範囲のＡＦ候補枠のユーザ報知例である。合焦枠は、Ｄ列３行目の枠である。撮影条件１による１回合焦撮影で得られる被写界深度内のＡＦ候補枠は、Ｂ列２行目～５行目、Ｃ列２行目～５行目、Ｄ列４行目～５行目、Ｆ列５行目である。

【0088】

撮影条件２でのフォーカスブラケット撮影の際、撮影毎に被写界深度内の（深度合成結果、合焦範囲となる）ＡＦ候補枠は、図１２（ｄ）のＡ列３行目、Ｂ列２行目～５行目、Ｃ列２行目～５行目、Ｄ列４行目～５行目、Ｆ列５行目、Ｅ列２行目～３行目である。重畳表示上は、撮影条件１の撮影でも撮影条件２の撮影でも、撮影画像上で合焦範囲となる枠は、撮影条件１による撮影で得られる被写界深度内のＡＦ候補枠の表示と同様の表示としている。

【0089】

図１２（ｄ）中の撮影条件２の撮影でのみ得られる合焦範囲に該当するＡＦ候補枠は、枠内を塗り潰して示している。図１２（ｄ）のＡ列３行目と、Ｅ列２行目～３行目の枠がそれにあたる。ユーザは、この表示状態を確認して、撮影条件１で撮影するのか、撮影条件２で撮影するのか、撮影条件１を変更するのか、または、合焦範囲とするＡＦ候補枠の選択（追加、削除）をするのか、を選択する。

【0090】

ステップＳ６５４において、ステップＳ６５３で報知した合焦範囲に対してユーザが任意のＡＦ候補枠を合焦範囲への追加、合焦範囲からの削除、を要求する場合、ステップＳ６５５に遷移する。そうでなければ、ステップＳ６５６に遷移する。ステップＳ６５５への状態遷移は、例えば、２条件撮影モードにおいてはＡＥロック釦１１７押下を割り当てても良い。

【0091】

ステップＳ６５５において、十字キー１１４、ＳＥＴ釦１１５を使ってＡＦ候補枠の選択位置変更、選択決定を行い、ステップＳ６６２へと遷移する。合焦範囲への追加、削除の切り替えは、本モードに限るのでＩＮＦＯ釦１２２を割り当てても良い。選択された追加希望枠、削除希望枠は、枠の色変更や点滅表示等でユーザ報知しても良い。なお本実施例では、この変更に関る表示形態について限定されるものではない。

【0092】

合焦範囲枠の追加は、撮影条件１に対しては絞り値を大きくする方向で調整される。ステップＳ６２３で、絞り値の決定が調整範囲外になった場合は、絞り値を適露光範囲内での上限値に決定する。撮影条件２に対しては、フォーカスブラケット撮影の撮影枚数の追加（焦点調節レンズの移動量の増加）となる。枚数上限に引っ掛かれば、変更は不成立となり、合焦範囲は据え置きとなる。合焦範囲枠の解除は、撮影条件１に対しては絞り値を小さくする方向で調整される。調光上不成立となった場合は、据え置きとなる。撮影条件２に対してはフォーカスブラケット撮影の撮影枚数の削減となる。

【0093】

前述のように、合焦範囲枠の調整は、不成立となる場合も存在する。絞り値等限界値まで調整した結果で、ステップＳ６２４，Ｓ６３８で再評価をして、ステップＳ６５３でユーザ報知内容を更新する。現状の設定を放棄したい場合は、一旦シャッター釦１０２のＳ１押下状態を開放すれば良い。

【0094】

ステップＳ６５６において、ＣＰＵ１０は、ユーザによる撮影条件１が変更されたか否かを判定する。例えばメイン電子ダイヤル１１２等でシャッター速度や絞り値等の設定が変更された場合、ステップＳ６５７に遷移して、撮影条件１の変更処理を実行する。そうでなければ、ステップＳ６５８へ遷移する。ステップＳ６５７において、撮影条件１の設定値を更新し、適露光となるように、シャッター速度、絞り値、ＩＳＯ感度等を変更する（部材操作で変更されたものに対して、その他の値を変更する）。また、撮像手段１４に関る設定値も更新する（プレ処理Ｓ６０２内撮像手段制御Ｓ４０１で、撮像手段１４に転送する）。

【0095】

ステップＳ６５８において、ＣＰＵ１０は、シャッター釦１０２のＳ２押下による撮影要求があったか否かを判定する。Ｓ２押下状態であれば、ステップＳ６５９に遷移する。そうでなければ、ステップＳ６６０へ遷移する。ステップＳ６５９において、ＣＰＵ１０は、撮影条件１による撮影を実行する。なお本ステップは、ステップＳ５２７と同様であるため、重複する説明は省略する。ステップＳ６５９の処理完了後、２条件撮影のフローを完了する。ステップＳ６６０において、ＣＰＵ１０は、シャッター釦１１６押下による撮影要求があったか否かを判定する。シャッター釦１１６押下状態である場合、ステップＳ６６１に遷移する。そうでなければ、ステップＳ６６２へ遷移する。

【0096】

ステップＳ６６１において、ＣＰＵ１０は、撮影条件２によるフォーカスブラケット撮影を実行する。ここで、図９（ａ）を参照して、撮影条件２によるフォーカスブラケット撮影について説明する。図９（ａ）は、撮影条件２によるフォーカスブラケット撮影の処理を示すフローチャートである。

【0097】

まずステップＳ９０１において、ＣＰＵ１０は、本フローで必要な撮像が全て完了したのかを判定する。全ての枚数の撮像が完了したと判定された場合、ステップＳ９０４へ遷移する。そうでなければ、ステップＳ９０２へ遷移する。

【0098】

ステップＳ９０２において、ＣＰＵ１０は、次の撮像の受け付けが可能か否かを判定する。受け付け不可であると判定された場合、ステップＳ９０４に遷移する。一方、次の静止画を撮像可能であると判定された場合、ステップＳ９０３へ遷移する。ステップＳ９０３において、図９（ｂ）に示される次期撮像処理実行をキックする。

【0099】

図９（ｂ）の撮像処理は、図９（ａ）の処理ルーチンと並行して実行する。図９（ａ）の処理はフォーカスブラケット撮影により複数枚の撮影を高速に実行するために、撮影とそれ以降の処理を並行して行うので、撮像処理を別の処理ルーチンとしている。

【0100】

図９（ｂ）は、該撮影条件２によるフォーカスブラケット撮影実行時の撮像処理フローチャートである。まずステップＳ９２０において、ＣＰＵ１０は、撮像手段１４の駆動を制御する（駆動手段１４の設定）。なお、ステップＳ９２０は図４のステップＳ４０１と同様であるため、その説明は省略する。続いてステップＳ９２１において、ＣＰＵ１０はセンサ読出しを行う。なお、ステップＳ９２１は図４のステップＳ４０２と同様であるため、その説明は省略する。続いてステップＳ９２２において、ＣＰＵ１０はセンサ補正処理を行う。なお、ステップＳ９２２は、図４のステップＳ４０３と同様であるため、その説明は省略する。撮像し補正したＲＡＷ画像データは、大容量メモリ１２に一時記憶しても良い。データの一時記憶のタイミングを限定するものではない。図９（ｂ）に関る画像データは、例えばＣＰＵ１０でセマフォによる制御をしても良い。ステップＳ９０２の撮像受け付け判定をそれで行うことができる。

【0101】

図９（ａ）のステップＳ９０４において、ＣＰＵ１０は、圧縮処理する枚数を完了したか否かを判定する。完了であれば、ステップＳ９０８へ遷移する。未完了であれば、ステップＳ９０５へ遷移する。本実施例では、２条件撮影モードのフォーカスブラケット撮影の撮像結果ＲＡＷ画像ファイルを可逆圧縮（Ｌｏｓｓｌｅｓｓ圧縮）処理してファイル記録する様、図９（ａ）に示される。深度合成自体は、デジタルカメラ１００の外部のＰＣ等で実現しても良い。または、デジタルカメラ１００の内部で、特許文献２で言及しているマルチフォーカス画像を生成しても良い。デジタルカメラ１００内部で処理する場合、ＲＡＷ画像データをＬｏｓｓｌｅｓｓ圧縮しないで、大容量メモリ１２に一時記憶しても良い。本実施例において、ＲＡＷ画像の記憶／記録および／または深度合成手段については、限定されるものではない。

【0102】

ステップＳ９０５において、ＣＰＵ１０は、この時点で処理すべきＲＡＷ画像データがあるか否かを判定する。Ｌｏｓｓｌｅｓｓ圧縮可能なＲＡＷ画像データがあれば、ステップＳ９０６に遷移する。そうでなければ、ステップＳ９０８へ遷移する。続いてステップＳ９０６において、ＣＰＵ１０は、コーデック２０の処理受け付け状態を判定する。コーデック２０がデータ受け付け可能であれば、ステップＳ９０７に遷移する。既に以前に撮像したＲＡＷデータの圧縮処理中であれば、ステップＳ９０８へ遷移する。

【0103】

続いてステップＳ９０７において、ＣＰＵ１０は、Ｌｏｓｓｌｅｓｓ圧縮処理の実行をキックする（深度合成前の画像なのでＬｏｓｓｌｅｓｓ圧縮処理としたが、Ｌｏｓｓｙ圧縮としても良い。特に限定はしない）。処理自体は、別途コーデック２０を起動して該フローと並行して実行すれば良いが、それ以外の処理は無いので不図示としている。圧縮後の画像データは、大容量メモリ１２に一時記憶して、ＣＰＵ１０でセマフォ管理しても良い。続いてステップＳ９０８において、ＣＰＵ１０は、２条件撮影モードにおけるフォーカスブラケット撮影で取得する画像ファイル枚数を全て記録メディア２５に記録したか否かを判定する。全枚数記録していれば、本フローチャートを完了し、図６（ａ）、図６（ｂ）、および図６（ｃ）に示される２条件撮影のフローも完了する。そうでなければ、ステップＳ９０９へ遷移する。

【0104】

ステップＳ９０９において、ＣＰＵ１０は、記録メディア２５に記録可能な圧縮済の画像データがあるか否かを判定する。圧縮済の画像データがあれば、ステップＳ９１０に遷移する。そうでなければ、ステップＳ９０１へ遷移する。

【0105】

ステップＳ９１０において、ＣＰＵ１０は、記録制御処理の実行をキックする。記録制御手段２４の制御で、圧縮済の画像データを記録メディア２５にファイルとして記録する。本実施例では、ファイルフォーマットや記録メディアについては限定されるものではない。なお、記録メディア２５の挿抜や、空き容量の確認については、本実施例の特徴ではなく、限定されるものではないため、不図示としている。記録制御の完了は、記録メディア２５への書き込み完了でＣＰＵ１０に割込みをかけても良い。ステップＳ９１０処理完了後、ステップＳ９０１へ遷移する。

【0106】

図６（ｃ）のステップＳ６６１の処理完了後、２条件撮影のフローを完了する。 図６（ｃ）のステップＳ６６２において、ＣＰＵ１０は、シャッター釦１１６押下状態を判定する。Ｓ１押下状態であれば、図６（ａ）のステップＳ６０２へ遷移する。Ｓ１開放状態であれば、２条件撮影のフローを完了する。判断Ｓ６５４，Ｓ６５６，Ｓ６５８，Ｓ６６０のフローは一瞬であり、ユーザの操作が追いつかない場合がある。その場合は、ステップＳ６６２の判断からステップＳ６０２に遷移して同様の処理が繰り返される。本実施例では、一回合焦後は焦点調節レンズを固定する様なフローとしているが、被写体の追尾を行う様なＡＦモードとして、ステップＳ６１２を持たない（フロー毎に処理Ｓ６１３～Ｓ６１６が実施される様な）処理構成としても良い。

【0107】

ＣＰＵ１０は、図３のステップＳ３０３の再生表示判定の際に再生釦１１９押下を検出して、ステップＳ３０９の再生表示処理を実行する。図７は、本実施例におけるデジタルカメラ１００の再生表示処理を示すフローチャートである。

【0108】

まずステップＳ７０１において、ＣＰＵ１０は、表示再生画像を選択する。一例として、再生画像のユーザ選択のために、表示部１０１には記録メディア２５に記録している画像ファイルのサムネイル画像を表示する。サムネイル画像は、画像ファイル中に表示用画像データとして本画像データと共に記録されていても良い。表示部１０１上に複数のサムネイル画像が表示され、画像の選択状態は十字キー１１４で移動できて、ＳＥＴ釦１１５で選択を決定できても良い。画像選択後、ステップＳ７０２に遷移する。

【0109】

続いてステップＳ７０２において、ＣＰＵ１０は、圧縮画像読出し処理を実行する。すなわちＣＰＵ１０は、記録制御手段２４で記録メディア２５から選択画像のファイルデータを読み出して、圧縮画像データとして大容量メモリ１２に一時記憶する。続いてステップＳ７０３において、ＣＰＵ１０は、読み出した圧縮画像の伸長処理を実行する。すなわちＣＰＵ１０は、コーデック２０で大容量メモリ１２に一時記した圧縮画像データを伸長する。続いてステップＳ７０４において、ＣＰＵ１０は、表示制御処理を実行する。すなわちＣＰＵ１０は、伸長した画像データを表示部１０１に表示する。表示制御手段２１は、大容量メモリ１２から画像データを読み出して、ＶＲＡＭ２２上に展開する。もし、ＩＮＦＯ釦１２２の押下が検出されれば、ＶＲＡＭ２２上には画像情報を重畳した形で展開するが、本実施例の特徴ではないため、その詳細は省略する。

【0110】

続いてステップＳ７０５において、ＣＰＵ１０は、表示時間の経過判定を行う。計時には、ＣＰＵ１０の周辺手段としてタイマー（不図示）を搭載しても良い。タイマーの起動はステップＳ７０４で行っても良い。表示完了（タイマー完了）であればステップＳ７０８に遷移する。一方、表示継続であればステップＳ７０６へ遷移する。

【0111】

ステップＳ７０６において、ＣＰＵ１０は、モードが変更されたか否かを判定する。選択画像を表示中にモード切替えスイッチ１２１が操作されたことが検出された場合、再生表示処理を中断するためにステップＳ７０８へ遷移する。そうでなければ、ステップＳ７０７へ遷移する。

【0112】

ステップＳ７０７において、ＣＰＵ１０は、ユーザによる表示画像の変更が要求されたか否かを判定する。現在選択されている画像を表示中に、例えば再生釦１１９の押下が検出された場合、ステップＳ７０１に遷移し、サムネイル画像を表示して、新たな画像選択により表示画像の変更を可能とする。そうでなければ、ステップＳ７０５に遷移し、現在の画像表示を継続する。

【0113】

表示画像の変更は、上記の他、例えば十字キー１１４で左（右）釦の押下を検知して、現在選択中のファイル番号の前（後）のファイルを選択ファイルとして更新しても良い。このときのファイル番号は、ＯＳに依存していても良いし、連番になったファイル名で管理されていても良い。番号ではなく、作成時刻で管理されていても良い。ここでは限定しない。この場合ファイル選択は済なので、処理は同図７中ステップＳ７０２に遷移（不図示）しても良い。

【0114】

ステップＳ７０８において、ＣＰＵ１０は、表示停止の制御処理を実行する。すなわちＣＰＵ１０は、表示部１０１への給電を停止する。また、ここで記録制御手段２４が記録メディア２５へのファイルアクセスを停止しても良い。ステップＳ７０５，Ｓ７０６，Ｓ７０７のイベント処理はＣＰＵ１０への割り込み処理としても良い。ここでは、限定しない。

【0115】

第１判定手段２６および第２判定手段２７は、ＡＦ候補枠毎に算出したデフォーカス量を一時記憶するレジスタ（不図示）と、ＡＦ候補枠毎のデフォーカス量から被写体距離（実距離）を演算する手段（式（５）の関係による。不図示）と、を具備しても良い。判定は、合焦位置（主被写体距離）に対する被写界深度の実距離範囲に、ＡＦ候補枠毎に求めた被写体距離（実距離）が収まるかどうかで判定しても良い。判定結果を一旦保持するレジスタ（不図示）を具備しても良い。ＣＰＵ１０を用いてソフトウエアで実現しても良く、実装形態を限定するものではない。

【0116】

第２判定手段２７を具備せず（図６（ｂ）のステップＳ６３８を実行せずに）、ステップＳ６５３におけるユーザ報知を、図１２（ｃ）と同様のＥＶＦ表示とする様な装置構成としても良い。その場合は、撮影条件１の１回合焦撮影での被写界深度のユーザ報知状態で、ユーザは１回合焦撮影とするか、深度合成のためのフォーカスブラケット撮影とするか、を判定する。

【0117】

撮像手段１４の撮像素子（イメージセンサ）の画素が像面位相差方式ＡＦに対応するための瞳分割された画素を実装（不図示）しており、例えばそれが画素アレイ前面に展開されていれば、図１２（ａ）に示されるＡＦ候補枠の配置は任意の位置に設定可能である。本実施例では、ＡＦ候補枠の配置・配列について、限定されるものではない。また本実施例では、ＡＦ方式についても限定されるものではない。

【実施例0118】

次に、本発明の実施例２について説明する。実施例１では、１回合焦撮影と深度合成によるフォーカスブラケット撮影との撮影条件を準備して、ユーザインターフェースから撮影形態の選択肢を提供する構成例を説明した。一方、本実施例では、実施例１と同様に１回合焦撮影とフォーカスブラケット撮影との撮影条件の準備をするが、その過程で撮像装置自身がどちらの撮影形態を採択するかを決定する構成例を説明する。

【0119】

本実施例では、物体認識手段を用いて被写体の認識処理を行う。被写体の認識対象に、被写体固有の被写界深度を情報として紐付けておき、撮影時の被写体に認識対象が現れたときに紐付けた被写界深度データを撮影時の目標被写界深度（目標合焦範囲）計算に用いる。認識対象を見做し合焦判定する際に、認識対象が主被写体なのか、その他の被写体なのかで、合焦範囲の扱いを変えても良い。例えば、主被写体以外では合焦しなくても良い場合は、主被写体（第１被写体）の紐付け値とその他の被写体（第２被写体）の紐付け値とを、分けて設定する必要がある。

【0120】

例えば、正面寄りから撮影する自動車を認識対象として、「奥行き３ｍ」程度を想定する。主被写体のみ合焦範囲としたい場合には、主被写体のＤＯＦ（ＤＯＦは、Ｄｅｐｔｈ Ｏｆ Ｆｉｅｌｄ（被写界深度）の略）＝３ｍ、その他の被写体のＤＯＦ＝０ｍ（ＤＯＦ＝０ｍは、被写界深度外でも良い、深度内となっても良い）と設定する。ＤＯＦには、前被写界深度と後被写界深度があるが、ユーザには物体の奥行きとして設定させるのが分かり易い。「合焦位置から後方に何ｍ確保」と計算が簡易になるため、後方被写界深度のみの定義と割り切っても良い。この認識対象への奥行き情報の紐付けは、メニューを用いてユーザに登録させても良い。

【0121】

本実施例において、物体認識手段は、第１被写体と第２被写体とを含む認識被写体を認識可能である。記憶手段（例えば、不揮発性メモリ１１または大容量メモリ１２）は、認識被写体に対して主被写体（第１被写体）時の第１奥行き情報と、主被写体以外の被写体（第２被写体）としての第２奥行き情報と、を紐付けて記憶する。ＡＦ候補枠に対応する位置に存在する被写体が第１被写体か第２被写体かで、記憶手段から読み出す情報は、第１奥行き情報か、第２奥行き情報か、を切り替えて読み出す。すなわち、ＡＦ候補枠に対応した画像領域上に主被写体または主被写体以外の被写体として、物体認識手段の認識対象が出現した場合、紐付けられた奥行き情報を記憶手段から呼び出し、それに基づいて撮影時の被写界深度とする。また記憶手段は、異なる認識被写体ごとに奥行き情報を記憶していても良い。

【0122】

図１０を参照して、本実施例における撮像システム２００ａについて説明する。図１０は、撮像システム２００ａのブロック図である。撮像システム２００ａは、デジタルカメラ１００ａと、デジタルカメラに対して着脱可能なレンズ装置（交換レンズ）１３とを備えて構成される。デジタルカメラ１００ａは、動き検出手段３０、物体認識手段３１、および選択手段３２を有する点で、実施例１のデジタルカメラ１００とは異なる。なお図１０において、図２と同様の機能については同じ符号を用いて、動作に差異がない場合にはその説明を省略する。

【0123】

動き検出手段３０は、被写体（動体）の動きを検出する検出手段である。本実施例において、動き検出の方法については限定されるものではない。例えば、公知技術である、画像全体に含まれる被写体像の動きベクトルの大きさと向きを検出する動きベクトル検出部の結果を用いて、ＣＰＵ１０で被写体の移動の向きと大きさを判定することができる。

【0124】

物体認識手段３１は、被写体を推定する（被写体を認識する）認識手段である。なお本実施例において、そのアルゴリズムについては限定されるものではない。幾何学的な特徴を捉えても良いし、画像を数値化して統計的にテンプレートと比較していっても良い。後者の方式であれば、汎用的な深層学習手段として実装されていても良く、物体の認識結果を座標で得ても良いし、ブロック毎に数値化したマップとしても良い。

【0125】

選択手段３２は、撮影条件１または撮影条件２のいずれかを選択する。本実施例では、選択手段３２に第１判定手段２６の判定結果と、動き検出手段３０の検出結果と、物体認識手段３１の認識結果と、後述する図１１（ｂ）のステップＳ１１４１にて決定された撮影条件１の結果とを入力する。そして、後述する図１１（ｂ）のステップＳ１１４３～Ｓ１１４６の判定処理を実行する。選択手段３２は、ＣＰＵ１０でソフトウエア処理しても良い。選択手段３２による選択結果は、図１３（ａ）～（ｆ）に示されるように表示手段に表示されても良い。

【0126】

以下、本実施例におけるデジタルカメラ１００ａの動作を説明する。なお、全体のフローチャートは図３と、ＬＶ表示処理フローチャートは図４と、１回合焦撮影のフローチャートは図５と、再生表示処理のフローチャートは図７とそれぞれ共通するため、それらの説明を省略する。

【0127】

図１１（ａ）、図１１（ｂ）、および図１１（ｃ）は、本実施例におけるデジタルカメラ１００ａの２条件撮影の処理を示すフローチャートである。まず、図１１（ａ）のステップＳ１１０１において、ＣＰＵ１０は、ＡＦ候補枠選択状態の初期化を行う。ここで、ＣＰＵ１０は、撮影条件２における合焦範囲に入れるＡＦ候補枠選択の初期状態として、全てを選択状態とする。本ステップは、図６（ａ）のステップＳ６０１に等しい。

【0128】

本実施例におけるＡＦ候補枠を、図１３（ｂ）に例示する。図１３（ｂ）では、枠を（Ａ）～（Ｅ）の５列および（１）～（６）の６行の配列として例示している。図１２（ａ）と同様に、ＬＶ表示画像上に重畳したＡＦ候補枠として例示しており、本実施例はこの配列に限定されるものではない。

【0129】

続いて、図１１（ａ）のステップＳ１１０２において、ＣＰＵ１０はプレ処理を行う。本ステップは、図６（ａ）のステップＳ６０２に等しい。

【0130】

図１１（ｃ）のステップＳ１１３１において、ＣＰＵ１０は、ＬＶ表示用画像の現像処理を行う。本ステップは、図６（ｃ）のステップＳ６４１と等しい。続いてステップＳ１１３２において、ＣＰＵ１０は、表示デバイスに対する補正処理を行う。本ステップは、図６（ｃ）のステップＳ６４２と等しい。なお、各処理内容は既出であるため、その説明は省略する。ＬＶ表示画像は、後述のように、ＶＲＡＭ２２上でＡＦ候補枠が重畳され、ステップＳ１１６３のタイミングでＥＶＦ２３に表示される。ステップＳ１１３１、Ｓ１１３２は、図１１（ａ）のステップＳ１１１１からの処理フロー系統と並行して処理される。ステップＳ１１１１～Ｓ１１１５は合焦動作であり、図６（ａ）のステップＳ６１２～Ｓ６１６とそれぞれ等しい。ステップＳ１１１６は、レンズ装置１３からの主被写体距離情報の取得であり、図６（ａ）のステップＳ６１７に等しい。

【0131】

図１３（ｃ）は合焦枠位置の例示であり、この状態でＬＶ表示されるものではない。本実施例では、ステップＳ１１１６での合焦位置を図１３（ｃ）のＤ列５行目の位置で例示する。ステップＳ１１１６では、この位置の主被写体距離情報を得るものである。

【0132】

続いて図１１（ａ）のステップＳ１１１７において、ＣＰＵ１０は、物体認識手段３１を用いて、物体認識を実行する。なお、処理の実装はこれに限定されるものではなく、ステップＳ１１０２で撮像結果を得てから、合焦処理と並行して裏で実行されていても良い。必要であれば、画像処理手段１６の現像結果画像を認識処理に用いても良い。本実施例の認識処理の実行時期は、本フローチャートで限定されるものではない。ステップＳ１１１２の主被写体推定で認識結果を参照できるようなフローチャートとしても良い。

【0133】

図１３（ａ）は、物体認識手段３１の認識対象（被写体）を自動車とした場合の認識結果の例示である。撮影画角内の被写体に対して、２つのオブジェクト（図１３（ａ）中Ｏｂｊ＿１、Ｏｂｊ＿２）が認識された様子を例示している。図１３（ａ）では、該Ｏｂｊ＿１，Ｏｂｊ＿２に対して矩形枠を重畳しているが、これは説明用でありＬＶ画像に表示はされなくて良い。認識結果は、座標と大きさの情報で得られても良いし、同図左下の例示（Ｏｂｊ＿ｍａｐ）の様、マップデータとして得られても良い（自動車としての認識率が高い領域が、ハイスコアとなる。例示は、それをフレームデータとして輝度画像の様に表示したもの）。認識結果のインターフェースを、限定するものではない。

【0134】

続いて、図１１（ａ）のステップＳ１１１８において、ＣＰＵ１０は、動き検出手段３０を用いて動き検出を実行し、被写体の移動結果を得る。なお、本実施例の動き検出処理の実行時期は、本フローチャートで限定されるものではない。続いてステップＳ１１１９において、ＣＰＵ１０は、物体認識手段３１による認識結果から、登録した被写体の有無を判定する。被写体中に奥行き情報を紐付けた物体が存在すれば、ステップＳ１１２０に遷移する。そうでなければ、ステップＳ１１２２へ遷移する。

【0135】

ステップＳ１１２０において、ＣＰＵ１０は、物体認識結果に出現した登録物体の奥行き情報を適用する。本ステップで、主被写体枠位置と認識物体位置との位置関係の整合をとる。任意の認識物体が主被写体枠の位置に重なれば、その物体については奥行き情報のうち主被写体（第１被写体）のＤＯＦ値を参照する。主被写体でなければ、その他の被写体（第２被写体）のＤＯＦ値を参照する。

【0136】

図１３（ｃ）に例示されるように、本実施例では図１３（ａ）で例示したＯｂｊ＿１の自動車の前照灯（右側）に合焦しているので、Ｏｂｊ＿１に対しては主被写体のＤＯＦ値が適用される。同図１３（ａ）中Ｏｂｊ＿２に対しては、その他の被写体のＤＯＦ値が適用される。

【0137】

続いて、図１１（ａ）のステップＳ１１２１において、ＣＰＵ１０は、選択ＡＦ候補枠の更新を行う。物体認識結果から対象となる画像領域を設定して、ＡＦ候補枠の位置との整合をとる。物体認識結果に出現した登録物体に関るＡＦ候補枠で、且つＤＯＦ値の指定（０ｍ以外）があるものを選択枠としても良い。

【0138】

図１３（ｄ）は更新された選択候補枠の説明用の例示であり、ＬＶ表示されるものではない。Ｏｂｊ＿１に対しては、Ｃ列３行～６行目、Ｄ列３行～６行目（但し、Ｄ５は合焦枠）、Ｅ列４行～６行目の範囲を選択枠として例示している。オブジェクトの矩形は説明用であり、図１３（ａ）中のマップデータ（Ｏｂｊ＿ｍａｐ）の様な領域指定では、Ｅ列３行目の枠は選択されない。同様にＯｂｊ＿２に対しては、Ｂ列１～２行目、Ｃ列１～２行目の範囲を選択枠として例示している。

【0139】

続いて、図１１（ａ）のステップＳ１１２２において、ＣＰＵ１０は、デフォーカス量推定を実行する。本ステップは、図６（ａ）のステップＳ６１８に等しい。ＣＰＵ１０は、ＡＦ候補枠夫々のデフォーカス量を計算する。前述のようなデフォーカス量計算結果の信頼度を鑑みて、本ステップで、ステップＳ１１２１で選択した選択ＡＦ候補枠から任意の枠を除外しても良い。

【0140】

続いて、図１１（ｂ）のステップＳ１１４１において、ＣＰＵ１０は、１回合焦撮影のための撮影条件１を決定する。撮影条件１は、ユーザの電子ダイヤル１１２操作で設定されたシャッター速度や絞り値、およびＩＳＯ感度等が反映される。続いてステップＳ１１４２において、ＣＰＵ１０は、第１判定手段２６を用いて選択したＡＦ候補枠の位置の被写体が、主被写体の被写体距離に対して被写界深度（合焦範囲）内か否かを判定する。本ステップは、図６（ｂ）のステップＳ６２４に等しい。

【0141】

続いてステップＳ１１４３において、ＣＰＵ１０は、ステップＳ１１１９と同様に、物体認識手段３１による認識結果を判定する。奥行き情報を紐付けた物体が認識されていれば、ステップＳ１１４４へ遷移する。そうでなければ、１回合焦撮影を実行するためにステップＳ１１４７へ遷移する。

【0142】

ステップＳ１１４４において、ＣＰＵ１０は、ステップＳ１１１８の動き検出結果から、動体の移動量が制限値（所定の移動量）以下であるか否か（動体制限があるか否か）を判定する。動体の移動量が制限値以下であれば、シャッター速度と連写速度との関係から数枚程度でのフォーカスブラケット撮影による深度合成が成立するとして、ステップＳ１１４５へ遷移する。そうでなければ、１回合焦撮影を実行するため、ステップＳ１１４７へ遷移する。なお本実施例では、動体制限について限定されるものではない。動体が検出された場合、ステップＳ１１４７へ遷移しても良い。

【0143】

ステップＳ１１４５において、ＣＰＵ１０は、ステップＳ１１４１で決定した１回合焦撮影のための撮影条件１の絞り値の大小判定を行う。大小判定は事前の所定値を基準として行い、該所定値は絞りの回折の影響を考慮して事前に決定（例えば、絞り値Ｆ１１を超えて１回合焦撮影を選択しない等）しておく。絞り値（所定値）はレンズ装置１３で固定の値でも良いし、ユーザがメニュー画面から決定しても良く、設定に関わる限定はしない。絞り値が所定値よりも大きいと判定された場合、フォーカスブラケット撮影を実行するためにステップＳ１１４８へ遷移する。そうでなければ、ステップＳ１１４６へ遷移する。

【0144】

ステップＳ１１４６において、ＣＰＵ１０は、ステップＳ１１４２の判定結果に基づく深度判定を行う。第１判定手段２６が選択中のＡＦ候補枠位置の被写体が全て合焦位置に対して合焦範囲にあると判定した場合、１回合焦撮影を実行するためにステップＳ１１４７へ遷移する。そうでなければ、フォーカスブラケット撮影を実行するためにステップＳ１１４８へ遷移する。

【0145】

ステップＳ１１４７において、ＣＰＵ１０は、１回合焦撮影を実行するために撮影条件１の使用を選択し、Ｓ２押下に備える。ＣＰＵ１０は、Ｓ２押下時に撮影条件１の撮影をするように制御設定する。ステップＳ１１４８においてＣＰＵ１０は、フォーカスブラケット撮影を実行するために撮影条件２を選択して、Ｓ２押下に備える。ＣＰＵ１０は、Ｓ２押下時に撮影条件２の複数枚撮影を実行するように制御設定する。

【0146】

次に、２条件撮影モードにおける、フォーカスブラケット撮影準備に関する処理について説明する。ステップＳ１１５０において、ＣＰＵ１０は、ステップＳ１１４３と同様に、物体認識手段３１による認識結果を判定する。奥行き情報を紐付けた物体が認識されていれば、ステップＳ１１５１へ遷移する。そうでなければ、フォーカスブラケット撮影は選択されないため、ステップＳ１１６１へ遷移する。このとき撮影条件２に関するＡＦ候補枠の被写界深度内判定を実行しないので、第２判定手段出力を全枠深度外判定とするように制御しても良い（処理フローは不図示）。

【0147】

ステップＳ１１５１において、ＣＰＵ１０は、ステップＳ１１０１、Ｓ１１２１で選択したＡＦ候補枠の位置の被写体が、現合焦位置に対する合焦範囲に収まる様な被写界深度を計算する。物体認識結果が主被写体枠と重なっていれば、合焦位置（レンズから取得する被写体距離）から主被写体のＤＯＦ設定値分の被写界深度を要求する。物体認識結果が主被写体でないと判定されれば、その他の被写体のＤＯＦ設定値を適用する。主被写体以外の（選択中の）ＡＦ候補枠のデフォーカス量はステップＳ１１２２で求めているので、その位置に対する後方被写界深度としてその他の被写体のＤＯＦ設定値を適用する。デフォーカス量から被写体距離への変換は、前述の式（５）の関係を用いる。深度合成時の合焦範囲として必要な、最近の被写体距離と最遠の被写体距離は上記（ＤＯＦ設定値による奥行き情報と、デフォーカス量から換算した被写体距離情報）で求まるため、その差分が必要被写界深度となる。本実施例では、図１３（ｄ）で例示したように、主被写体としてＯｂｊ＿１が、その他の被写体としてはＯｂｊ＿２が、選択される。

【0148】

続いてステップＳ１１５２において、ＣＰＵ１０は、フォーカスブラケット撮影のための撮影条件２を決定する。デジタルカメラ１００ａにおいて、事前のメニュー設定において２条件撮影モードにおけるフォーカスブラケット撮影で、デフォルトとして用いる絞り値と、深度合成のためにブラケット撮影する最大枚数と、を設定しておいても良い。

【0149】

フォーカスブラケット撮影のための絞り値のデフォルト値は、例えば、レンズのＭＴＦの良好な絞り値（例えば、Ｆ５．６等）を定義しても良い。絞り値が小さければ、ブラケット撮影の枚数は多くなる。また、絞り値が大きければ画像に回折の影響が出て、画像解像度が低下する。本実施例において、絞り値のデフォルト値については限定されるものではない。絞り値と評価手段１７の測光値とから、シャッター速度、ＩＳＯ感度等を決定する。

【0150】

続いてステップＳ１１５３において、ＣＰＵ１０は、複数回撮影毎の被写界深度を計算する。ステップＳ１１０５にて、前述のように必要な合焦範囲の装置最近の被写体距離は得ているため、手前から撮影するときの被写界深度を計算する。前方被写界深度は、被写体距離がある程深くなる。このため、現在被写界深度計算結果の後方被写界深度分深い距離に同様に得た前方被写界深度分を加算した位置を、次の焦点調節レンズの移動で得る合焦位置とする。この新たな合焦位置に対する前方被写界深度、後方被写界深度の計算をして、次の合焦位置を決定する。これを、必要被写界深度分後方へと計算を繰り返す。この繰り返した回数が、フォーカスブラケット撮影の撮影枚数となる。続いてステップＳ１１５４において、ＣＰＵ１０は、ステップＳ１１５３で求めた撮影枚数が、設定した最大枚数を超えているか否か（分割枚数が限界か否か）を判定する。もし、撮影枚数が最大枚数を超えていると判定された場合、ステップＳ１１５５へ遷移する。撮影枚数が許容範囲であると判定された場合、ステップＳ１１５７へ遷移する。

【0151】

ステップＳ１１５５において、ＣＰＵ１０は、撮影条件２の絞り値を１段絞る様、設定更新する。続いてステップＳ１１５６において、ＣＰＵ１０は、絞り値が設定値に到達したか否か（絞り値が限界か否か）を判定する。絞り値が設定値に到達したと判定された場合、フォーカスブラケット撮影による深度取得の限界に到達したため、ステップＳ１１５７に遷移する。そうでなければ、ステップＳ１１５２へ戻る。ここでいう絞り値限界の設定値とは、レンズ絞り値の最大値でも良いし、回折の影響を考えてメニューによって事前設定できる値としても良い。本実施例では、設定方法および範囲について限定されるものではない。

【0152】

ステップＳ１１５７において、ＣＰＵ１０は、焦点調節レンズの移動制御量を決定する。ステップＳ１１５３で決定した焦点調節レンズの移動による合焦位置夫々を被写体距離として（直前の合焦位置と次の合焦位置を物体移動量ａとする）、式（５）の関係から像側のデフォーカス量を求める。図６（ｂ）のステップＳ６３７で説明したように、レンズ夫々の持つ関数関係からデフォーカス量を、レンズ移動量に換算する。続いてステップＳ１１５８において、ＣＰＵ１０は、ステップＳ６３８と同様に、第２判定手段２７を用いて、撮影毎の焦点調節レンズ位置における被写界深度内判定を実行する。

【0153】

図１１（ｃ）のステップＳ１１６１において、ＣＰＵ１０は、ステップＳ１１４２のＡＦ候補枠夫々に対する被写界深度内判定が実施されているか否か（深度判定済か否か）を判定する。ステップＳ１１１４にて合焦と判定されていれば、ステップＳ１１６２へ遷移する。そうでなければ、ステップＳ１１６３へ遷移する。ステップＳ１１６２において、ＣＰＵ１０は、ステップＳ６５２と同様に、ＬＶ表示処理を実行する。ステップＳ１１６３において、ＣＰＵ１０は、ステップＳ６５３と同様に、現在の深度状態（合焦範囲）をユーザ報知する。

【0154】

図１３（ｅ）は、認識物「自動車」に対して、主被写体のＤＯＦ＝３ｍ、その他の被写体のＤＯＦ＝０ｍとした場合の合焦範囲枠のＬＶ表示の例示であり、接眼部１０５を介してＥＶＦ２３の表示結果としてユーザ報知される。図１３（ｅ）は、Ｏｂｊ＿１選択枠に対して、１回合焦撮影で所望の被写界深度を得ているため、撮影時には撮影条件１が選択される。図１３（ｅ）中の１３０１は、このときの撮影で撮影条件１による１回合焦撮影が選択されたことをユーザ報知するアイコン表示である。図１３（ｅ）中の１３０２は、本実施例の冒頭で述べたように、装置自身が（１回合焦撮影、フォーカスブラケット撮影）どちらの撮影形態を決定するか選択し、所望の被写界深度を得る撮影モード中であることを示すアイコンである。本実施例では、この撮影モードを被写界深度（ＤＯＦ）自動（ＡＵＴＯ）モードというが、名称はこれに限定されるものではない。

【0155】

図１３（ｆ）は、認識物「自動車」に対して、主被写体のＤＯＦ＝３ｍ、その他の被写体のＤＯＦ＝３ｍと設定した場合の合焦範囲のＬＶ表示の一例である。主被写体であるＯｂｊ＿１に対しては同様の設定である。本図では、Ｏｂｊ＿２に対してＤＯＦ値が設定されているので、図１３（ｆ）中の後方の自動車に対しても合焦範囲とするために被写界深度内に収める必要がある。図１３（ｆ）例示では、Ｏｂｊ＿２に対しては、フォーカスブラケット撮影による深度合成画像で合焦範囲とすることができる様、ＡＦ候補枠（Ｂ列１行目～２行目、Ｃ列１行目～２行目）をユーザ報知している。図１３（ｆ）中のアイコン１３０３は、デジタルカメラ１００がフォーカスブラケット撮影を選択したことをユーザ報知している例示である。図１３（ｇ）は、アイコン１３０１を拡大図示したものである。図１３（ｈ）は、アイコン１３０２を拡大図示したものである。図１３（ｉ）は、アイコン１３０３を拡大図示したものである。

【0156】

認識対象に紐付けるＤＯＦ値は、ユーザが被写体をどの角度から撮影したいかで変化する。本実施例では、ユーザが自動車をほぼ正面から撮影するつもりで、事前に奥行きを３ｍに設定したものとして例示している。ＤＯＦ値の決定方法については、本実施例において限定されるものではない。ＤＯＦ値の設定は、メニュー画面（不図示）から設定しても良い。

【0157】

続いて、図１１（ｃ）のステップＳ１１６４において、ＣＰＵ１０は、ステップＳ６５６と同様に、メイン電子ダイヤル１１２等での撮影条件１が変更されたか否かを判定する。撮影条件１が変更されたと判定された場合、ステップＳ１１６５に遷移し、ＣＰＵ１０は、ステップＳ６５７と同様に撮影設定値を変更および更新する。そうでなければ、ステップＳ１１６６へ遷移する。

【0158】

ステップＳ１１６６において、ＣＰＵ１０は、シャッター釦１０２のＳ２押下による撮影要求があったか否かを判定する。シャッター釦１０２がＳ２押下状態であれば、ステップＳ１１６７に遷移する。そうでなければ、ステップＳ１１６８へ遷移する。

【0159】

ステップＳ１１６７において、ＣＰＵ１０は、撮影を実行する。このサブルーチンは、撮影条件が撮影条件１か撮影条件２かの選択結果に応じて処理が決定される。前者であれば図８に示される撮影条件１の撮影実行フローを、後者であれば図９（ａ）に示される撮影条件２によるフォーカスブラケット撮影実行フローをそれぞれ実行する。実行後、この２条件撮影のフローを完了する。

【0160】

ステップＳ１１６８において、ＣＰＵ１０は、シャッター釦１１６の押下状態を判定する。シャッター釦１１６がＳ１押下状態であれば、ステップＳ１１０２へ遷移する。Ｓ１開放状態であれば、２条件撮影の本フローを完了する。

【0161】

本実施例では、自動車を物体認識の対象として例示した。ただし本実施例において、物体認識の対象は限定されるものではなく、また、同時に複数の異なる対象を認識しても良い。また、例えば人体を認識の対象とする場合、大人と子供でＤＯＦ設定値を切り替える様にしても良い。子供は大人よりも動きがあると仮定すると、手足が伸びた状態等も考慮して、奥行きに余裕を持たせても良い。動物の種類毎（犬、猫）（犬の種類毎）に、紐付けとなるＤＯＦ値を別途設定できる様にしても良い。本実施例において、物体認識手段３１の仕様については限定されるものではない。適宜認識対象のＤＯＦ値を個別に有しても構わない。また、代表的なＤＯＦ値を、工場出荷時等でプリセットしておいても構わない。

【0162】

フォーカスブラケット撮影は、例えば、カタログに載せる商品全体を合焦範囲に収めるように、例えば１０枚に分けて焦点調節レンズを移動させながら複数枚撮影し、深度合成アルゴリズムで各撮影画像中合焦範囲の画像を選択し１枚画像に合成する際に適用される。本実施例では、動体の撮影も考慮に入れており、深度合成結果が破綻しない様に、例えば、２～４枚程度の画像撮影で済む様に分割枚数上限を（ユーザがメニュー画面から）決定しても良い。撮影条件２の決定に際して、ステップＳ１１５４で分割枚数の上限判定が実行されるのは、前述のとおりである。

【0163】

本実施例におけるフォーカスブラケット撮影の連写速度は使用するレンズの駆動速度にも関係するが、駆動要求に対する反応が遅いレンズでは、ステップＳ１１４４の動体制限を敏感にする様、設計時の調整が必要である。製品個々の仕様にもよるので、ここではレンズ毎の調整については言及しない。

【0164】

デフォーカス量から被写体距離への変換に、レンズの横倍率の関係から式（５）を導入して利用したが、被写体条件および／または撮影条件（オクルージョンや遠近競合等）によってはデフォーカス量推定の信頼度は低下する。このため、例えばデジタルカメラ１００に別途専用の測距手段を具備しても良い。光を照射して、反射光の跳ね返りの時間を計測して測距するＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇの略）という技術を利用しても良い。本実施例では、被写体距離の求め方については限定されるものではない。

【0165】

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0166】

各実施例によれば、ユーザが被写界深度または被写体距離と過焦点距離との関係を考慮することなく、所望の合焦範囲での撮影条件を取得することができる。このため各実施例によれば、ユーザが容易に所望の合焦範囲での撮影条件を取得することが可能な撮像装置、撮像装置の制御方法、プログラム、および記憶媒体を提供することができる。

【0167】

各実施例の開示は、以下の構成および方法を含む。
（構成１）
第１撮影を行う際の第１撮影条件と第２撮影を行う際の第２撮影条件とを取得する取得手段と、
被写体とＡＦ候補枠とを重畳表示する表示手段と、
前記第１撮影条件での前記第１撮影により得られる第１被写界深度で、前記ＡＦ候補枠に対応する位置が合焦範囲に収まるか否かを判定する第１判定手段と、
前記第２撮影条件での前記第２撮影により得られる第２被写界深度で、前記ＡＦ候補枠に対応する前記位置が前記合焦範囲に収まるか否かを判定する第２判定手段と、を有し、
前記表示手段は、前記第１判定手段および前記第２判定手段の判定結果に応じて、前記ＡＦ候補枠に対応する前記位置に関する合焦状態を表示することを特徴とする撮像装置。
（構成２）
前記第１撮影は、１回合焦撮影であり、
前記第２撮影は、フォーカスブラケット撮影であることを特徴とする構成１に記載の撮像装置。
（構成３）
前記第２被写界深度は、前記第２撮影条件における前記フォーカスブラケット撮影で得られる各合焦位置における被写界深度を元に計算した値であることを特徴とする構成２に記載の撮像装置。
（構成４）
前記フォーカスブラケット撮影により取得された複数の画像を用いて深度合成を行う画像処理手段を更に有することを特徴とする構成２または３に記載の撮像装置。
（構成５）
ユーザの操作に応じて、前記第１撮影条件または前記第２撮影条件の少なくとも一つを変更するための操作部材を更に有することを特徴とする構成１乃至４のいずれかに記載の撮像装置。
（構成６）
前記第１撮影条件または前記第２撮影条件を選択する選択手段を更に有し、
前記選択手段は、前記第１撮影条件の絞り値が所定値よりも大きい場合、前記第２撮影条件を選択することを特徴とする構成１乃至４のいずれかに記載の撮像装置。
（構成７）
前記第１撮影条件または前記第２撮影条件を選択する選択手段を更に有し、
前記選択手段は、前記第１撮影条件において前記ＡＦ候補枠が前記合焦範囲に収まらない場合、前記第２撮影条件を選択することを特徴とする構成１乃至４のいずれかに記載の撮像装置。
（構成８）
前記第１撮影条件または前記第２撮影条件を選択する選択手段と、
前記被写体の移動量を検出する検出手段と、を更に有し、
前記選択手段は、前記被写体の前記移動量が所定の移動量よりも大きい場合、前記第１撮影条件を選択することを特徴とする構成１乃至４のいずれかに記載の撮像装置。
（構成９）
前記表示手段は、前記選択手段による選択結果を表示することを特徴とする構成６乃至８のいずれかに記載の撮像装置。
（構成１０）
前記表示手段に前記選択結果が表示された後に、ユーザの操作に応じて前記第１撮影条件または前記第２撮影条件を変更するための操作部材を更に有することを特徴とする構成９に記載の撮像装置。
（構成１１）
第１被写体と第２被写体とを含む認識被写体を認識可能な認識手段と、
前記認識被写体ごとに、前記第１被写体の第１奥行き情報と前記第２被写体の第２奥行き情報とを紐付けて記憶する記憶手段と、を更に有し、
前記ＡＦ候補枠に対応する前記位置に存在する前記被写体が前記第１被写体または前記第２被写体である場合、前記記憶手段から前記第１奥行き情報または前記第２奥行き情報が読み出されることを特徴とする構成１乃至１０のいずれかに記載の撮像装置。
（構成１２）
認識被写体を認識可能な認識手段と、
前記認識被写体ごとに奥行き情報を記憶する記憶手段と、を更に有することを特徴とする構成１乃至１０のいずれかに記載の撮像装置。
（構成１３）
前記第１撮影条件は、前記被写体を適露光で前記第１撮影を行うための撮影条件であり、
前記第２撮影条件は、前記被写体を適露光で前記第２撮影を行うための撮影条件であることを特徴とする構成１乃至１２のいずれかに記載の撮像装置。
（構成１４）
前記第１撮影条件および前記第２撮影条件はそれぞれ、絞り値、シャッター速度、およびＩＳＯ感度に関する条件を含むことを特徴とする構成１乃至１３のいずれかに記載の撮像装置。
（方法１）
第１撮影を行う際の第１撮影条件と第２撮影を行う際の第２撮影条件とを取得する取得ステップと、
被写体とＡＦ候補枠とを重畳表示する表示ステップと、
前記第１撮影条件での前記第１撮影により得られる第１被写界深度で、前記ＡＦ候補枠に対応する位置が合焦範囲に収まるか否かを判定する第１判定ステップと、
前記第２撮影条件での前記第２撮影により得られる第２被写界深度で、前記ＡＦ候補枠に対応する前記位置が前記合焦範囲に収まるか否かを判定する第２判定ステップと、を有し、
前記表示ステップにおいては、前記第１判定ステップおよび前記第２判定ステップの判定結果に応じて、前記ＡＦ候補枠に対応する前記位置に関する合焦状態を表示することを特徴とする撮像装置の制御方法。
（構成１５）
方法１に記載の撮像装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
（構成１６）
構成１５に記載のプログラムを記憶していることを特徴とするコンピュータ読み取り可能な記憶媒体。

【0168】

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。