特開 2022-188869 画像処理装置、撮像装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022188869

(43)【公開日】2022-12-22

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   G02B 7/28 20210101AFI20221215BHJP

   G03B 15/00 20210101ALI20221215BHJP

   G02B 7/34 20210101ALI20221215BHJP

   G02B 7/36 20210101ALI20221215BHJP

   G02B 7/40 20210101ALI20221215BHJP

   G03B 17/02 20210101ALI20221215BHJP

   H04N 5/232 20060101ALI20221215BHJP

   H04N 5/225 20060101ALI20221215BHJP

【ＦＩ】

G02B7/28 Z

G03B15/00 Q

G02B7/34

G02B7/36

G02B7/40

G02B7/28 N

G03B17/02

H04N5/232 120

H04N5/225 300

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2021097123

(22)【出願日】2021-06-10

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】前田 真一

【テーマコード（参考）】

2H100

2H151

5C122

【Ｆターム（参考）】

2H100AA11

2H100CC07

2H151AA01

2H151BA06

2H151BA14

2H151BA20

2H151BA45

2H151BA72

2H151BA77

2H151BB28

2H151CB09

2H151CB20

2H151CC02

2H151CC19

2H151CE24

2H151DA07

2H151DA25

2H151DB01

5C122DA03

5C122DA04

5C122EA06

5C122EA68

5C122FB05

5C122FC06

5C122FD01

5C122FD06

5C122FD07

5C122FD13

5C122FH10

5C122HA13

5C122HA35

5C122HA75

5C122HA86

5C122HA88

5C122HB01

5C122HB06

(57)【要約】

【課題】画像に関連する深度情報に基づいて画像内の複数の領域に対する焦点状態の評価を行い、画像データの選別や分類にかかる負荷を低減する。
【解決手段】撮像装置は、撮像後の画像データと、画像データに関連する画像内の被写体に対応する深度情報を取得し、焦点検出結果に基づいて撮像光学系の焦点調節制御を行う。撮像装置は撮影時のＡＦ（オートフォーカス）領域の情報を取得し、画像内の一部領域を特定領域として決定する。撮像装置はＡＦ領域に対応する深度情報と、特定領域に対応する深度情報に基づいて、画像データに係る焦点状態の評価を行う。撮像装置は等級付け処理を実行し、評価情報として、ＡＦ領域の合焦結果に対応する等級データ、および特定領域の合焦結果に対応する等級データが取得される。
【選択図】 図１

【特許請求の範囲】

【請求項1】

画像データおよび画像に関連する深度情報を取得して処理を行う画像処理装置であって、
前記画像データに係る画像内の第１の領域の情報を取得する取得手段と、
前記画像内にて前記第１の領域とは異なる第２の領域を特定領域として決定する決定手段と、
前記第１および第２の領域にそれぞれ対応する深度情報から前記画像データに係る焦点状態の評価を行い、複数の評価情報を生成する生成手段と、を備える
ことを特徴とする画像処理装置。

【請求項2】

前記生成手段は、前記第１の領域にて合焦状態である場合、第１の評価情報を生成し、前記第１の領域にて非合焦の状態である場合、第２の評価情報を生成する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記生成手段は、前記第２の領域にて第１の焦点状態である場合、第１の評価情報を生成し、前記第２の領域にて第２の焦点状態である場合、第２の評価情報を生成する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記第１の焦点状態は焦点検出結果が閾値範囲内の状態であり、前記第２の焦点状態は焦点検出結果が前記閾値範囲内でない状態である
ことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記深度情報は、位相差検出、前記画像データのコントラスト情報、またはＴｏＦ方式に基づく情報である
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。

【請求項6】

前記画像に対する視線位置を検出する検出手段を備え、
前記決定手段は、前記検出手段により検出される視線位置により前記第２の領域を決定する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項7】

前記決定手段は、前記画像に対する操作入力にしたがって前記第２の領域を決定する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項8】

前記画像内の被写体の検出処理を行う被写体検出手段を備え、
前記決定手段は、検出された前記画像内の被写体の位置から前記第２の領域を決定する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項9】

前記生成手段は、前記第１の領域に対応する深度情報に基づく評価情報の優先度を、前記第２の領域に対応する深度情報に基づく評価情報の優先度よりも高く設定する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項10】

前記生成手段は、前記第１の領域に対応する深度情報に基づく評価情報と、前記第２の領域に対応する深度情報に基づく評価情報との間で優先度の割合を変更する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項11】

前記生成手段は、前記第１の領域にて合焦状態である場合に第１の評価情報を生成し、前記第１の領域にて非合焦の状態である場合に第２の評価情報を生成し、前記第２の領域にて第１の焦点状態である場合に第３の評価情報を生成し、前記第２の領域にて第２の焦点状態である場合に第４の評価情報を生成する
ことを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記第１の焦点状態は焦点検出結果が閾値範囲内の状態であり、前記第２の焦点状態は焦点検出結果が前記閾値範囲内でない状態である
ことを特徴とする請求項１１に記載の画像処理装置。

【請求項13】

請求項１乃至１２のいずれか１項に記載の画像処理装置と、
撮像素子と、を備える
ことを特徴とする撮像装置。

【請求項14】

前記撮像素子は、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を備え、
前記第１の領域に対応する前記複数の光電変換部から、撮像光学系の焦点検出に用いる信号を取得する
ことを特徴とする請求項１３に記載の撮像装置。

【請求項15】

画像データおよび画像に関連する深度情報を取得して処理を行う画像処理装置にて実行される画像処理方法であって、
前記画像データに係る画像内の第１の領域の情報を取得する工程と、
前記画像内にて前記第１の領域とは異なる第２の領域を特定領域として決定する工程と、
前記第１および第２の領域にそれぞれ対応する深度情報から前記画像データに係る焦点状態の評価を行い、複数の評価情報を生成する工程と、を有する
ことを特徴とする画像処理方法。

【請求項16】

請求項１５に記載の各工程を画像処理装置のコンピュータに実行させる
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像により取得された画像データを焦点検出結果に基づいて自動的に評価する技術に関する。

【背景技術】

【0002】

撮像画像データは、デジタルカメラ等の撮像装置において撮像素子により取得されて種々の演算処理が行われる。特に、撮像素子から読出した信号の位相差情報を用いたオートフォーカス（ＡＦ）技術はよく知られている。高精度の焦点検出を可能にする読出しと、低消費電力かつ高速な読出しとの両立を実現するために、撮像素子の読出しに関して種々の方法が提案されている。

【0003】

撮像された画像の分類方法として、複数の画像の鮮明度に応じて画像を分類して記録する方法が知られている。特許文献１では、連写された複数コマの画像から画像が鮮明な画像を自動的に選定して保存することが可能なデジタルカメラが開示されている。焦点位置を固定した状態で連続撮影を行うことで得られた各画像からＡＦ評価値を取得し、最もＡＦ評価値の高い１枚の画像を自動的に選定して保存用記録領域に記録し、非選定画像を消去用記録領域に記録する処理が行われる。特許文献２では、撮影画像を記録する際に、合焦状況に基づいて等級付けを行う技術が開示されている。静止画データの焦点状態に基づいて静止画データが評価され、焦点検出結果と所定の合焦範囲との比較により、撮影で得られた画像データに対して、焦点状態に応じた等級付けが自動的に行われる。評価情報に基づきユーザは静止画データを分類することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４－３２０４８７号公報

【特許文献2】特開２０１９－８６７７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に開示された技術では、適切な合焦画像を選択できない場合が起こりうる。焦点位置を固定した状態で連続撮影が行われるので、画像の高周波数成分に基づくＡＦ評価値の最も高い撮影画像が、最も良い焦点状態の画像であると推定できる。しかしながら、ＡＦ評価値が最も高いということは、あくまで得られた撮影画像の中で相対的に焦点状態が最も良いというだけである。つまり、ユーザが意図した被写体に合焦しているとは限らない。

【0006】

また特許文献２に開示された技術では、焦点位置に対応する被写体のみの焦点状態に応じた等級付けを行うことはできる。しかし、特定の被写体以外の部分（例えば、主要でない被写体）に対する焦点状態の等級付けを行うことができない可能性がある。
本発明の目的は、画像に関連する深度情報に基づいて画像内の複数の領域に対する焦点状態の評価を行い、画像データの選別や分類にかかる負荷を低減することである。

【課題を解決するための手段】

【0007】

本発明の実施形態の画像処理装置は、画像データおよび画像に関連する深度情報を取得して処理を行う画像処理装置であって、前記画像データに係る画像内の第１の領域の情報を取得する取得手段と、前記画像内にて前記第１の領域とは異なる第２の領域を特定領域として決定する決定手段と、前記第１および第２の領域にそれぞれ対応する深度情報から前記画像データに係る焦点状態の評価を行い、複数の評価情報を生成する生成手段と、を備えることを特徴とする。

【発明の効果】

【0008】

本発明の画像処理装置によれば、画像に関連する深度情報に基づいて画像内の複数の領域に対する焦点状態の評価を行い、画像データの選別や分類にかかる負荷を低減することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る撮像装置の構成例を示す図である。

【図2】実施形態に係る撮像素子の構成例を示す図である。

【図3】実施形態に係る撮像素子の画素アレイの構成例を示す図である。

【図4】撮像素子における結像状態と位相差との関係を示す模式図である。

【図5】位相差検出を説明する図である。

【図6】第１実施形態における処理を説明するフローチャートである。

【図7】図６に続く処理を説明するフローチャートである。

【図8】第２実施形態に係る画像処理装置の構成例を示す図である。

【図9】第２実施形態における処理を説明するフローチャートである。

【図10】図９に続く処理を説明するフローチャートである。

【図11】第３実施形態における処理を説明するフローチャートである。

【図12】図１１に続く処理を説明するフローチャートである。

【図13】第４実施形態における処理を説明するフローチャートである。

【図14】図１３に続く処理を説明するフローチャートである。

【発明を実施するための形態】

【0010】

以下に本発明の実施形態について、図面を参照して詳細に説明する。実施形態では、本発明に係る画像処理装置を適用した撮像装置の例を示す。撮像装置は撮像された画像に関連する深度情報に基づき、画像内の複数の領域に対する焦点状態の評価を行う。撮影後に画像記録を行う際、画像内の被写体に対して実際に合焦しているかどうかに関し、合焦状況に基づいて等級付けを行う例を示す。評価情報として生成される等級データを用いることにより、画像データの選別や分類にかかる負荷を低減することが可能となる。

【0011】

［第１実施形態］
図１は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置１００としてデジタルカメラの例を示す。以下では、被写体側を前側と定義して説明を行う。結像光学系の前端部には第１レンズ群１０１が配置されている。第１レンズ群１０１は光軸方向に進退可能に保持されている。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時調節用シャッタとしても機能する。絞り兼用シャッタ１０２と第２レンズ群１０３とは一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動によって、変倍作用（ズーム機能）が実現される。

【0012】

第３レンズ群１０４は光軸方向に進退可能であり、焦点調節を行う。光学的ローパスフィルタ１０５は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０６は、２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサおよび周辺回路を有しており、結像光学系の結像面に配置される。

【0013】

ズームアクチュエータ１１１は、図示しないカム筒を回動させることで、第１レンズ群１０１乃至第３レンズ群１０４を光軸方向に駆動して変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節するとともに、静止画撮影時の露光時間を決定する。フォーカスアクチュエータ１１３は、第３レンズ群１０４を光軸方向に駆動して焦点調節動作を行う。

【0014】

被写体照明用の電子フラッシュ１１４はキセノン管を用いた閃光照明装置、あるいは、連続発光するＬＥＤ（発光ダイオード）を用いた照明装置を備える。オートフォーカス（以下、ＡＦと記す）補助光源１１５は、所定の開口パターンを有するマスクの像を、投光レンズを介して被写体に投影し、暗い被写体または低コントラストの被写体に対する焦点検出能力を向上させる。

【0015】

制御部１２１は、撮像装置１００における種々の制御を司る中枢部である。制御部１２１はＣＰＵ（中央演算処理装置）、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等（不図示）を有する。

【0016】

電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１４の点灯制御を行う。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光源１１５の点灯制御を行う。

【0017】

撮像素子駆動回路１２４は、撮像素子１０６の撮像動作を制御するとともに、撮像により取得された画像信号をＡ／Ｄ変換して制御部１２１に送信する。画像処理回路１２５は、撮像素子１０６により取得された画像の被写体検出、γ変換、カラー補間、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式での圧縮等の処理を行う。

【0018】

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１３を駆動し、第３レンズ群１０４を光軸方向に駆動して焦点調節を行う。絞りシャッタ駆動回路１２７は、絞りシャッタアクチュエータ１１２を駆動して絞り兼用シャッタ１０２の開口を変更する。ズーム駆動回路１２８は、撮影者によるズーム操作に応じてズームアクチュエータ１１１を駆動する。

【0019】

表示装置１３１は、ＬＣＤ（液晶表示装置）等により構成される。表示装置１３１は撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を表示する。

【0020】

操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等の操作部材を含む。例えば撮影の準備動作の開始指示を行うための第１のスイッチ（以下、ＳＷ１と記す）、およびＳＷ１の押下後に撮影動作の開始指示を行うための第２のスイッチ（以下、ＳＷ２と記す）がある。

【0021】

記録媒体１３３は、撮像装置１００に着脱可能なフラッシュメモリ等であり、撮影により取得された画像ファイル等の情報を記録する。メモリ１３４はＲＡＭ（ランダム・アクセス・メモリ）、ＲＯＭ（リード・オンリ・メモリ）等を有する。メモリ１３４はプログラムの記憶や、画像処理中の画像データ、画像処理に必要なパラメータデータの保持等を行う。

【0022】

ＡＦ演算回路１３５は、撮像素子１０６が出力する画像信号に基づいて焦点検出を行い、ＡＦ演算結果を制御部１２１に出力する。視線検出回路１３６は、ユーザがファインダ部（不図示）を覗いたときの視線位置を検出する。視線位置の検出は、視線検出用ＬＥＤ（不図示）によって眼球に赤外光を投光し、その反射光を視線検出用センサ（不図示）で受光することにより行われる。視線検出回路１３６は視線検出結果を制御部１２１に出力する。

【0023】

制御部１２１は、メモリ１３４が有するＲＯＭに記憶されたプログラムに基づいて、撮像装置１００の各種回路を駆動し、ＡＦ、撮影、画像処理、記録等の一連の動作制御を行う。

【0024】

図２を参照して、撮像素子１０６の構成を説明する。図２は撮像素子１０６の構成例を示すブロック図である。撮像素子１０６は、画素アレイ１０６ａ、読出し回路１０６ｂ、水平選択回路１０６ｃ、垂直選択回路１０６ｄ、アンプ１０６ｅを備える。画素アレイ１０６ａは画素群が２次元アレイ状に配列された構成である。垂直選択回路１０６ｄは画素アレイ１０６ａにおける行を選択する。水平選択回路１０６ｃは画素アレイ１０６ａにおける列を選択する。読出し回路１０６ｂは、画素アレイ１０６ａを構成する多数の画素のうち、垂直選択回路１０６ｄおよび水平選択回路１０６ｃによって選択される画素の信号を読出す。

【0025】

垂直選択回路１０６ｄは画素アレイ１０６ａの行を選択し、制御部１２１から出力される水平同期信号に基づいて撮像素子駆動回路１２４から出力される読出しパルスを選択行において有効にする。読出し回路１０６ｂは列ごとのアンプやメモリを有し、選択行の画素信号はアンプを介してメモリに記憶される。メモリに記憶された１行分の画素信号は、水平選択回路１０６ｃによって列方向に順次選択され、アンプ１０６ｅを介して外部に出力される。この動作が行数分に亘って繰り返され、全ての画素信号が外部に出力される。

【0026】

図３は、画素アレイ１０６ａの構成例を示す。画素アレイ１０６ａとして、２次元の画像データを出力するために複数の画素部を備え、位相差検出が可能な構成例を示す。図３には画素アレイ１０６ａにおけるｍ行ｎ列の画素群を示す。

【0027】

図３に円形枠で示すマイクロレンズ１０６ｆに対し、長方形枠で示す複数のフォトダイオード（以下、ＰＤと記す）１０６ｇ，１０６ｈが設けられている。ＰＤ１０６ｇ，１０６ｈは複数の光電変換部を構成する。つまり、各画素部を構成する２つの光電変換部に対して１つのマイクロレンズが前側（被写体側）に配置されている。１つのマイクロレンズ１０６ｆを共有する領域を１画素として、水平方向にｎ個の画素、垂直方向にｍ個の画素が並設された配置である。垂直選択回路１０６ｄの動作設定によって、ＰＤ１０６ｇに蓄積された第１の信号とＰＤ１０６ｈに蓄積された第２の信号を加算して読出すことが可能である。また、第１もしくは第２の信号、または両方の信号を独立に読出すことも可能である。ＰＤ１０６ｇとＰＤ１０６ｈには、位相差を有する異なる像の光がそれぞれ入射する。以下、ＰＤ１０６ｇにより構成される画素をＡ像用画素といい、ＰＤ１０６ｈにより構成される画素をＢ像用画素という。

【0028】

本実施形態では、１つのマイクロレンズに対して２個のＰＤが配置された構成例を示すが、１つのマイクロレンズに対して３以上（４個、９個等）のＰＤが配置された構成でもよい。例えば１つのマイクロレンズに対して複数のＰＤが上下方向または左右方向に配置された構成にも本発明を適用可能である。

【0029】

次に図４を参照して、撮像素子１０６にてＡ像用画素とＢ像用画素が出力する画素データについて説明する。図４（Ａ）および（Ｂ）は、撮像素子１０６における結像状態と位相差との関係を示す模式図である。図中の撮影レンズ１４０は、図１に示す第１レンズ群１０１、第２レンズ群１０３、第３レンズ群１０４を併せて１つのレンズとして表現した撮像光学系に相当する。

【0030】

図４に示す画素アレイ１０６ａの断面において、１つのマイクロレンズ１４３に対して一対のＡ像用画素１４４およびＢ像用画素１４５が配置される。被写体１４１からの光は、光軸１４２を中心として、撮影レンズ１４０の異なる瞳部分領域を通過して撮像素子１０６に結像する。ここでは射出瞳と撮影レンズの中心を同一としている。撮影レンズ１４０の瞳部分領域にはそれぞれ、異なる方向から光が通過する。すなわち、本構成では、撮像光学系をＡ像用画素から見た場合とＢ像用画素から見た場合とで、撮像光学系の瞳が対称に分割されたことと等価である。換言すれば、撮像光学系からの光束が２つの光束として、いわゆる瞳分割される。瞳分割された光束を第１光束ΦＬａおよび第２光束ΦＬｂと表記する。Ａ像用画素およびＢ像用画素にはそれぞれ異なる方向の光が入射する。

【0031】

被写体１４１上の特定点からの第１光束ΦＬａは、第１の瞳部分領域を通ってＡ像用画素１４４に入射する光束である。また、被写体１４１上の特定点からの第２光束ΦＬｂは、第２の瞳部分領域を通ってＢ像用画素１４５に入射する光束である。瞳分割された２つの光束ΦＬａ，ΦＬｂは、被写体１４１上の同一点から撮像光学系を通過して入射する光に相当する。

【0032】

図４（Ａ）は被写体１４１に対し撮像光学系の焦点が合った状態（合焦状態）を示す。この状態で光束ΦＬａ，ΦＬｂは同一のマイクロレンズ１４３を通過して撮像素子上の１点に到達する。したがって、Ａ像用画素１４４とＢ像用画素１４５からそれぞれ得られる像信号の位相は互いに一致している。

【0033】

これに対し、図４（Ｂ）は光軸方向に距離Ｙだけ焦点がずれている状態を示す。この状態では、光束ΦＬａ，ΦＬｂに関して、マイクロレンズ１４３への入射角の変化分だけ両光束に対応する光の到達位置が互いにずれる。したがって、Ａ像用画素１４４とＢ像用画素１４５からそれぞれ得られる像信号には位相差が生じる。Ａ像用画素１４４およびＢ像用画素１４５により検出される、互いに位相差を持った２つの被写体像（Ａ像およびＢ像）に対し、各画素に対応するＰＤはそれぞれ光電変換を行う。光電変換後のＡ像信号とＢ像信号は別々に外部へ出力され、後述するＡＦ制御に使用される。

【0034】

図５を参照して、位相差検出について説明する。図５の横軸は画素位置を表し、縦軸は撮像素子の出力レベルを表す。図５（Ａ）は、図４（Ａ）で説明したように被写体に焦点が合っている場合のＡ像データおよびＢ像データを例示する。この場合、Ａ像データとＢ像データは一致している。

【0035】

他方、図５（Ｂ）は、図４（Ｂ）で説明したように被写体に焦点が合っていない場合のＡ像データおよびＢ像データを例示する。この場合、Ａ像データとＢ像データには位相差が存在し、画素位置にずれ量Ｘが生じる。ＡＦ演算回路１３５は、動画フレームごとのずれ量Ｘを算出することによって像ずれ量、即ち図４（Ｂ）におけるＹ値を算出する。制御部１２１はＡＦ演算回路１３５が算出したＹ値のデータに対応する制御信号をフォーカス駆動回路１２６に送信する。

【0036】

フォーカス駆動回路１２６は制御信号を受信して、ＡＦ演算回路１３５から取得したＹ値のデータに基づき第３レンズ群１０４の駆動量を算出する。駆動量にしたがってフォーカスアクチュエータ１１３の駆動制御が行われる。フォーカスアクチュエータ１１３により、第３レンズ群１０４は被写体に焦点の合う位置（合焦位置）まで移動し、撮像素子１０６の受光面上に焦点が位置する状態となる。

【0037】

次に図６および図７を参照して、撮像装置１００によって行われる撮影と画像再生について説明する。図６および図７は撮像装置１００の撮像動作および画像の等級付け処理の流れを示すフローチャートである。以下の処理は制御部１２１が各部を制御することにより実現される。ユーザが操作スイッチ群１３２に含まれるＳＷ１を押下することで処理が開始されてＳ１０１へ進む。

【0038】

図６のＳ１０１で測光が行われ、測光結果が取得される。次にＳ１０２へ進み、制御部１２１は撮像素子１０６により取得された信号に基づいて、第３レンズ群１０４のデフォーカス量を検出する焦点検出処理を行う。焦点検出結果としてデフォーカス量が取得された後、Ｓ１０３へ進む。

【0039】

Ｓ１０３で制御部１２１は、Ｓ１０２で取得されたデフォーカス量に基づいて、第３レンズ群１０４の駆動量であるフォーカス駆動量を算出する。制御部１２１は、算出したフォーカス駆動量に対応する制御信号をフォーカス駆動回路１２６へ送信する。フォーカス駆動回路１２６は、受信した制御信号に基づいて、フォーカスアクチュエータ１１３を通じて第３レンズ群１０４の焦点位置を制御する。焦点位置の制御後、Ｓ１０４へ進む。

【0040】

Ｓ１０４で制御部１２１はＳＷ１の操作入力状態を検出し、ＳＷ１が保持し続けられている状態であるか否かを判断する。ＳＷ１が保持し続けられている状態であると判断された場合、Ｓ１０１の処理へ戻って再度測光が行われた後、焦点検出処理が実行される。またＳＷ１が保持し続けられていない状態であると判断された場合にはＳ１０５へ進む。

【0041】

Ｓ１０５で制御部１２１はＳＷ２の操作入力状態を検出し、ＳＷ２が押下されている状態であるか否かを判断する。ＳＷ２が押下されている状態であると判断された場合、Ｓ１０６へ進む。また、ＳＷ２が押下されていない状態であると判断された場合には、ＳＷ１とＳＷ２の押下が解放された状態とみなして、本実施形態の処理を終了する。

【0042】

Ｓ１０６では、静止画撮影のために、Ｓ１０１の測光結果から定められた電荷蓄積時間とＩＳＯ感度の設定に基づいて撮像素子１０６の露光が開始し、電荷が蓄積される。露光時間は絞りシャッタアクチュエータ１１２により制御される。このとき、撮像素子駆動回路１２４にて撮像素子１０６の有効画素領域全体を含む領域から信号を読出す駆動モードで、撮像素子１０６が制御される。

【0043】

Ｓ１０７で撮像素子駆動回路１２４により、撮像素子１０６に蓄積された電荷に対応する画像信号が取得され、Ａ／Ｄ変換の後、瞳分割された画像データであるＲＡＷデータが生成される。ＲＡＷデータは現像等の画像加工処理が施される前のデータであり、メモリ１３４へ転送される。このほかに、制御部１２１の制御下で所定の画像処理が実行されて公知のファイルフォーマットの静止画データ（例えばＪＰＥＧ方式のファイル）が生成される。制御部１２１によって、ＲＡＷデータおよび公知のファイルフォーマットの静止画データを記録媒体１３３に記録する制御が行われた後、図７のＳ１０８へ進む。

【0044】

Ｓ１０８で制御部１２１は、焦点検出により算出されたデフォーカス量が、所定の合焦範囲内であるか否かを判断する。すなわち、Ｓ１０７で取得されたＲＡＷデータおよび静止画データが、意図した被写体に焦点の合った画像のデータであるか否かを制御部１２１が判断する。所定の合焦範囲は、例えば、絞り値をＦと表記し、許容錯乱円径をδ［μｍ］と表記すると、－１Ｆδ乃至＋１Ｆδ［μｍ］の範囲である。デフォーカス量で定められる焦点位置の範囲に対する閾値は予め設定されている。Ｓ１０２で得られたデフォーカス量が所定の合焦範囲内である場合、Ｓ１０７で得られたＲＡＷデータおよび静止画データが意図した被写体に焦点の合った画像のデータであると判断され、Ｓ１０９へ進む。またＳ１０２で得られたデフォーカス量が所定の合焦範囲内でない場合には、Ｓ１０７で得られたＲＡＷデータおよび静止画データが意図した被写体に焦点の合っていないボケ画像のデータであると判断され、Ｓ１１０へ進む。

【0045】

デフォーカス量が所定の合焦範囲内であるか否かを判断する方法以外には、デフォーカス量の絶対値が所定の閾値未満であれば合焦と判定し、所定の閾値以上であれば非合焦と判定する方法がある。この方法に限定されることなく、焦点状態に対応する情報に基づいて焦点状態を判断できる方法であればよい。例えば、前述の像ずれ量が所定の閾値範囲内であるか否かを判断することで焦点状態を判断する方法がある。以上の方法は後述の実施形態でも採用可能である。

【0046】

Ｓ１０９で制御部１２１は、Ｓ１０７にてメモリ１３４や記録媒体１３３へ転送された、ＲＡＷデータおよび静止画データに対して、焦点検出結果に基づく評価を行う。例えばデフォーカス量の絶対値に基づく等級付け処理が行われる。等級付けの結果、つまり等級を表すデータはＲＡＷデータおよび静止画データの第１の属性領域のデータとして記録される。

【0047】

本実施形態の属性領域は、画像ファイルにおいて、バイナリデータからなる画像データ領域ではなく、ユーザが撮影後でも編集が可能な記録領域である。ユーザは後から手作業で等級付けをしたい場合や記録された等級データを修正したい場合、容易に編集することができるので、作業効率を高めることができる。撮影後に編集可能な属性領域への記録方法として、例えば静止画データをＪＰＥＧ方式で保存する場合、下記の方法がある。
・属性情報を示すＪＰＥＧ方式のマーカーセグメントである“ＡＰＰ１”に記載する方法（ＩＳＯ／ＩＥＣ １０９１８－１：１９９４参照）。
・Ｅｘｉｆ方式のメーカー独自利用欄“ＭａｋｅｒＮｏｔｅ”に記載する方法（一般社団法人 カメラ映像機器工業会 デジタルスチルカメラ用画像ファイルフォーマット規格 Ｅｘｉｆ ２．３１（ＣＩＰＡ ＤＣ－００８－２０１６）参照）

【0048】

いずれの記載方法でも、ＸＭＬテキストデータで構成された記録仕様で等級の記載が可能である。第三者団体製の画像編集ソフトウェアにて、一定の互換性をもって等級付けの結果を読出すことができる。記録仕様については、“Ｅｘｔｅｎｓｉｂｌｅ Ｍｅｔａｄａｔａ Ｐｌａｔｆｏｒｍ（ＸＭＰ）Ｓｐｅｃｉｆｉｃａｔｉｏｎ”Ｐａｒｔ１～Ｐａｒｔ３，Ａｄｏｂｅ Ｓｙｓｔｅｍｓ Ｉｎｃｏｒｐｏｒａｔｅｄ．“を参照されたい。なお、ＪＰＥＧファイルフォーマットやＥｘｉｆフォーマットは、２バイトのマーカーを目印にして複数のセグメントに領域分割されていて、使用するマーカーの値に応じて記録される属性情報の内容を識別できるようになっている。このようなマーカーセグメントで各種情報のデータ列を仕切る記録様態は、ＪＰＥＧ方式のほかＴＩＦＦや他の画像ファイルフォーマットでも利用されている。

【0049】

本実施形態では等級付けの一例として、被写体に対する合焦状態であれば星２つを設定し、非合焦の状態であれば星１つを設定する場合を示す。つまり星の数によって評価情報が区別される例を示す。評価情報は画像と併せて表示装置１３１によってユーザに提示することができる。なお、等級付けが未実施の画像データと、非合焦の状態の画像データとを区別するために、あえて非合焦の状態を星の設定無しとしては扱わないこととする。これらの事項については後述の実施形態でも同じである。

【0050】

Ｓ１０８からＳ１０９へ進む場合、つまり算出されたデフォーカス量が所定の合焦範囲内である場合に制御部１２１は第１の属性領域に星２つの等級データを記録する制御を行う。等級データの記録後にＳ１１１へ進む。また、Ｓ１０８からＳ１１０へ進む場合、つまり算出されたデフォーカス量が所定の合焦範囲外である場合に制御部１２１は第１の属性領域に星１つの等級データを記録する制御を行う。このように、本実施形態では、制御部１２１が、得られた静止画データの焦点検出状態に基づいて静止画データを評価し、評価に応じた情報（評価情報）を静止画データと対応付けて記録する。等級データの記録後にＳ１１１へ進む。

【0051】

Ｓ１１１では、ユーザが操作スイッチ群１３２を操作し、取得されたＲＡＷデータおよび静止画データにおいて、焦点が合っているか否かを判定させたい領域（特定領域）を指定する。Ｓ１１２で制御部１２１は、Ｓ１１１にて指定された特定領域に対して、Ｓ１０８と同様に焦点検出結果として算出されたデフォーカス量が、指定の閾値範囲内であるか否かを判断する。すなわち、Ｓ１０７で取得されたＲＡＷデータおよび静止画データが、ユーザの指定した領域に焦点の合った画像のデータであるか否かを制御部１２１が判断する。算出されたデフォーカス量が指定の閾値範囲内であると判断された場合、Ｓ１１３に進み、算出されたデフォーカス量が指定の閾値範囲内でないと判断された場合にはＳ１１４に進む。

【0052】

Ｓ１１３で制御部１２１は、Ｓ１０９と同様に、Ｓ１０７にてメモリ１３４や記録媒体１３３へ転送されたＲＡＷデータおよび静止画データに対して、Ｓ１１１にてユーザが指定した特定領域でのデフォーカス量の絶対値に基づく等級付けを行う。そして制御部１２１は、等級付けの結果得られた等級データを、ＲＡＷデータおよび静止画データの第２の属性領域に記録する制御を行う。Ｓ１１３およびＳ１１４における等級付け処理についてはＳ１０９、Ｓ１１０と同様である。

【0053】

Ｓ１１３にて制御部１２１は第２の属性領域に星２つの等級データを記録する制御を行った後、Ｓ１１５へ進む。またＳ１１４にて制御部１２１は第２の属性領域に星１つの等級データを記録する制御を行った後、Ｓ１１５へ進む。このように、本実施形態では、制御部１２１が、取得された静止画データに係る２つ以上の領域の焦点検出状態に基づいて静止画データを評価し、評価情報を静止画データと対応付けて記録する。

【0054】

Ｓ１１５で制御部１２１はＳＷ１とＳＷ２の操作入力状態の判定を行う。つまりＳＷ２が押下されて連写が続行されるように操作入力がなされているか、またはＳＷ１が押下されて改めて焦点位置の制御まで行うよう操作入力がなされているか、について判定処理が行われる。ＳＷ１またはＳＷ２の押下が保持されていると判定された場合、図６のＳ１０１へ戻って処理が継続され、焦点検出が再び行われる。また、ＳＷ１またはＳＷ２の押下が保持されていないと判定された場合、撮影結果を適切に分類して記録する処理を終えて、本実施形態の動作を終了する。

【0055】

以上のように本実施形態にて制御部１２１は、取得された静止画データの焦点検出状態に基づいて静止画データを評価し、評価情報により静止画データを分類することができる。これにより、実際に撮影された画像にかかわる焦点検出状態に応じて画像を分類することができ、撮影された画像データを分類する作業上の負荷を軽減することができる。

【0056】

本実施形態では、ユーザが操作スイッチやタッチパネル等を用いて、ＲＡＷデータおよび静止画データにて焦点が合っているか否かを判定させたい領域を指定する方法を示した。これに限定されることなく、視線検出回路１３６によって検出されたユーザの視線位置を用いて、ＲＡＷデータおよび静止画データにて焦点が合っているか否かを判定させたい領域を指定する方法を採用してもよい。また、ＡＦ領域以外で被写体検出処理部によって検出された被写体を含む領域を、焦点が合っているか否かを判定させたい領域として撮像装置１００により自動的に決定する方法がある。被写体検出処理は、例えば制御部１２１のＣＰＵがプログラムを実行して公知の検出方法により実現可能である。なお、これらの事項については後述の実施形態でも同じである。

【0057】

［第２実施形態］
次に本発明の第２実施形態を説明する。第１実施形態では、焦点検出を撮像装置１００の内部で行うように制御部１２１が制御の主体となる例を示した。これに対して本実施形態では、撮像装置１００の外部の装置においてソフトウェアプログラムを実行することにより焦点検出を行い、焦点検出結果に基づいて画像データに対して焦点検出状態に応じた等級付けを行う例を説明する。なお、本実施形態にて第１実施形態と同様の事項については説明を省略し、主に相違点を説明する。このような説明の省略方法は後述の実施形態でも同じである。

【0058】

本実施形態では、撮像装置１００の記録媒体１３３を外部装置に接続して、外部装置のコンピュータ上のソフトウェアにしたがってＲＡＷデータに基づく焦点検出を行い、焦点検出結果に応じてソフトウェアを通じて画像の等級付け処理を行う。装置本体部に着脱可能な記録媒体１３３には、瞳分割された焦点検出画素の信号に対応するＲＡＷデータが格納されている。さらに記録媒体１３３には、ＲＡＷデータと対応付けて、撮影時の絞り値と、記録時の焦点位置における基準レンズ駆動量と、記録時の焦点位置における変動倍率の各データが格納されている。

【0059】

図８は、本実施形態に係る外部装置の一例としてパーソナルコンピュータ（以下、ＰＣと記す）２００およびその周辺装置を示すブロック図である。周辺装置として、ＰＣ２００に着脱可能な記録媒体１３３と、モニタ２０１を示す。ＰＣ２００は撮像装置１００により取得された画像データの分類または選別の機能を有する。

【0060】

システム制御部２１３は、ユーザが行う操作部２０７の操作によって、記録媒体１３３からの画像データの読み込み指示を受け付ける。操作部２０７はポインティングデバイス、キーボード、タッチパネル等を有する。ユーザの操作指示にしたがい、記録インターフェイス（Ｉ／Ｆ）部２０２を介して、記録媒体１３３に記録された画像データを画像メモリ２０３へ読み込む処理が実行される。

【0061】

システム制御部２１３は、記録媒体１３３から読み込んだ画像データが圧縮符号化されたデータである場合、画像メモリ２０３の画像データをコーデック部２０４へ送信する。コーデック部２０４は、圧縮符号化された画像データの復号を行い、復号後の画像データを画像メモリ２０３へ出力する。

【0062】

システム制御部２１３は画像メモリ２０３に蓄積された復号後の画像データ、または、ベイヤーＲＧＢ形式（ＲＡＷ形式）等の、非圧縮の画像データを画像処理部２０５へ出力する。画像処理部２０５は画像データに対して画像処理を行い、画像処理結果のデータを画像メモリ２０３に記憶する処理を行う。システム制御部２１３は、画像処理後の画像データを画像メモリ２０３から読出し、外部モニタインターフェイス（Ｉ／Ｆ）部２０６を介してモニタ２０１へ出力する。

【0063】

ＰＣ２００は電源スイッチ２０８、電源部２０９、電気的に消去および記録可能な不揮発性メモリ２１０、システムタイマ２１１、システムメモリ２１２を有する。システムタイマ２１１は、各種制御に用いる時間や、内蔵された時計の時間を計測するデバイスである。システムメモリ２１２にはシステム制御部２１３の動作用の定数、変数、不揮発性メモリ２１０から読出されたプログラム等が展開される。

【0064】

図９および図１０を参照して、本実施形態における処理について説明する。図９および図１０は、ＰＣ２００における画像の等級付け処理の流れを示すフローチャートである。以下の処理は、不揮発性メモリ２１０から読出されたプログラムがシステムメモリ２１２に展開され、ソフトウェアの各処理工程が実行されるようにシステム制御部２１３が制御を行うことで実現される。

【0065】

起動直後の初期状態において、ＰＣ２００と撮像装置１００の記録媒体１３３とは電気的に接続されて通信可能な状態である。システム制御部２１３は記録媒体１３３に記録された各種のデータを読出すことができる。ユーザがソフトウェアによる表示画面上で画像の等級付け処理を開始させるための操作入力を行うと、システム制御部２１３は操作入力を受け付けてＳ２０１へ処理を進める。

【0066】

Ｓ２０１では、ユーザが指定した画像データのＲＡＷデータへのリンクが全て読出され、ＰＣ２００内の不図示のメモリに一時記憶される。システム制御部２１３は、記録媒体１３３に一時記録されたＲＡＷデータの個数を計数する。計数後にＳ２０２へ進む。

【0067】

Ｓ２０２でシステム制御部２１３は、Ｓ２０１にて一時記録されたＲＡＷデータへのリンクに基づき、ＲＡＷデータの１つ（以下、着目データという）を決定し、着目データの読出し処理を行う。着目データに対して現像処理等の各種画像処理が施されて、画像処理後のデータに対応する公知のファイルフォーマットの静止画データが生成される。Ｓ２０３では、着目データの第１の領域をユーザが指定すると、システム制御部２１３は当該指定の操作入力を受け付ける。

【0068】

Ｓ２０４では、Ｓ２０３で指定された、着目データに係る第１の領域に対して焦点検出が行われる。具体的には、システム制御部２１３はソフトウェアプログラムの実行により、着目データについて、瞳分割された焦点検出画素の信号、記録時の絞り値、基準レンズ駆動量、基準レンズ駆動量の変動倍率のデータ読出し処理を行う。そして、着目データから、第１の領域に対応する画像領域が抽出され、抽出された画像領域の各焦点検出画素列における位相のシフト量ごとの相関量が算出される。当該シフト量ごとの相関量が算出された後、そのうち最も相関量が高い位相差（像ずれ量とも称する）が算出される。位相差の算出後、位相差の値と絞り値と基準デフォーカス量に基づいて、公知の位相差検出方式によりデフォーカス量が算出される。デフォーカス量の算出後にＳ２０５へ進む。

【0069】

Ｓ２０５でシステム制御部２１３は、着目データに係る第１の領域に対応して算出されたデフォーカス量が、所定の合焦範囲（例えば、－１Ｆδ乃至＋１Ｆδ［μｍ］）内であるか否かを判断する。第１の領域内のデフォーカス量が所定の合焦範囲内であると判断された場合、Ｓ２０６へ進み、所定の合焦範囲内でないと判断された場合にはＳ２０７へ進む。

【0070】

Ｓ２０６でシステム制御部２１３は、着目データにかかる第１の領域と対応する静止画データに対して、Ｓ２０４で算出されたデフォーカス量の絶対値に基づく等級付けを行う。等級付けの結果得られた等級データは、ＲＡＷデータおよび静止画データの第１の属性領域に記録される。本実施形態でも、属性領域は第１実施形態にて図７のＳ１０９で説明した領域であり、ユーザが撮影後、容易に編集可能な領域である。等級付け処理の内容については第１実施形態と同じである。

【0071】

Ｓ２０６でシステム制御部２１３は、第１の属性領域に星２つの等級データを記録する制御を行った後、図１０のＳ２０８へ進む。またＳ２０７でシステム制御部２１３は、第１の属性領域に星１つの等級データを記録する制御を行った後、図１０のＳ２０８へ進む。このようにシステム制御部２１３は静止画データの焦点検出状態に基づいて静止画データを評価し、評価情報を静止画データに対応付けて記録する制御を行う。

【0072】

Ｓ２０８では、着目データのうち、Ｓ２０３で指定した第１の領域外の第２の領域をユーザが指定すると、システム制御部２１３は当該指定に対応する操作入力を受け付ける。Ｓ２０９でシステム制御部２１３は、Ｓ２０８で指定された着目データに係る第２の領域に対応して算出されたデフォーカス量が、指定の閾値範囲（例えば、－１Ｆδ乃至＋１Ｆδ［μｍ］）内であるか否かを判断する。第２の領域内のデフォーカス量が指定の閾値範囲内であると判断された場合、Ｓ２１０へ進み、指定の閾値範囲内でないと判断された場合にはＳ２１１へ進む。

【0073】

Ｓ２１０でシステム制御部２１３は、着目データに係る第２の領域と対応する静止画データに対して、Ｓ２０４で算出されたデフォーカス量の絶対値に基づく等級付けを行う。等級付けの結果得られた等級データは、ＲＡＷデータおよび静止画データの第２の属性領域に記録される。属性領域および等級付け処理の内容については第１実施形態と同じである。

【0074】

Ｓ２１０でシステム制御部２１３は、第２の属性領域に星２つの等級データを記録する制御を行った後、Ｓ２１２へ進む。またＳ２１１でシステム制御部２１３は、第２の属性領域に星１つの等級データを記録する制御を行った後、Ｓ２１２へ進む。このようにシステム制御部２１３は、静止画データの２つ以上の領域の焦点検出状態に基づいて静止画データを評価し、評価情報を静止画データに対応付けて記録する制御を行う。

【0075】

Ｓ２１２でシステム制御部２１３は、焦点検出を終えたＲＡＷデータのカウンタ変数（ｎと記す）の値に１を加算する処理（インクリメント）を行った後、Ｓ２１３へ進む。Ｓ２１３でシステム制御部２１３は、焦点検出を終えたＲＡＷデータのカウンタ変数ｎの値と、Ｓ２０１で計数されたＲＡＷデータの個数、つまり計数値とを比較して、それらの大小関係を判断する。カウンタ変数ｎの値が計数値未満である場合には、未だ着目していないＲＡＷデータに対して画像処理や焦点検出を行う必要があるので、Ｓ２０２に戻って処理を続行する。上述の処理が一時記録されたすべてのＲＡＷデータに対して繰り返し実行される。一方、カウンタ変数ｎの値が計測値以上である場合には、撮像装置１００の記録媒体１３３の指定フォルダ内に格納されたＲＡＷデータの全ての読出しを終えたと判断されて、本実施形態の動作を終了する。

【0076】

本実施形態では、撮像装置の外部装置において焦点検出が行われ、焦点検出結果に基づいて等級付け処理が行われる。等級付け処理を外部装置が行うことで、撮像装置による撮影中に処理負荷を軽減するとともに、評価情報に基づいて静止画データの分類を行うことができる。実際に撮影された画像データに関し、その焦点検出状態に応じて画像を分類できるので、画像データを分類する際の作業負荷を軽減することが可能である。

【0077】

また本実施形態では、撮像装置の記録媒体と外部装置（コンピュータ）とを電気的に接続して通信可能な状態を構築する例を示した。この例に限らず、撮像装置の記録媒体からデータを読出すための読出し装置と、外部装置とを電気的に接続して通信可能な状態を構築する構成でも差し支えない。また、撮像装置の記録媒体からデータを読出すための読出し装置と、外部装置に無線通信手段を設けることで、有線通信による接続ではなく、無線通信が可能な状態を構築する構成がある。

【0078】

［第３実施形態］
図１１および図１２を参照して、本発明の第３実施形態を説明する。前記実施形態では、デフォーカス量を検出するために、画像データの全範囲について焦点検出が行われる。画像データの全範囲について焦点検出を行う場合、焦点検出が不要な範囲も処理の対象となるので、撮像素子１０６からの読出し時間や、デフォーカス量の算出時間が必要となる。そこで本実施形態では、焦点検出が必要な範囲についてのみデフォーカス情報を取得する例を説明する。

【0079】

図１１および図１２は、本実施形態における撮像動作および画像の等級付け処理を説明するフローチャートである。ユーザがＳＷ１を押下することで処理が開始され、Ｓ３０１へ進む。Ｓ３０１，Ｓ３０２の処理はそれぞれ、図６のＳ１０１，Ｓ１０２と同様であるので説明を省略する。Ｓ３０２の次にＳ３０３へ進む。

【0080】

Ｓ３０３では、ユーザが操作スイッチ群１３２を操作し、取得されたＲＡＷデータおよび静止画データにおいて、焦点が合っているか否かを判定させたい領域（特定領域）を指定する。指定された領域に応じて撮像素子１０６から取得される信号に基づいて焦点検出が行われ、焦点検出結果としてデフォーカス量が算出される。Ｓ３０４からＳ３１１の処理はそれぞれ、図６、図７のＳ１０３からＳ１１０の処理と同様であるので説明を省略する。Ｓ３１０またはＳ３１１の次にＳ３１２の処理へ進む。

【0081】

Ｓ３１２で制御部１２１は、Ｓ３０３にて指定された領域（特定領域）に対して、焦点検出結果として算出されたデフォーカス量が指定の閾値範囲内であるか否かを判断する。すなわち、Ｓ３０７で得られたＲＡＷデータおよび静止画データが、ユーザの指定した領域に焦点の合った画像のデータであるか否かを制御部１２１が判断する。Ｓ３１２からＳ３１５の処理はそれぞれ、図７のＳ１１２からＳ１１５の処理と同様であるので説明を省略する。

【0082】

本実施形態では、静止画撮影前にユーザが焦点検出対象としたい領域を指定することで、焦点検出が必要となる範囲についてのみデフォーカス情報を取得する処理が行われる。よって、撮像素子１０６からの信号の読出し時間やデフォーカス量の算出時間を短縮することが可能である。

【0083】

［第３実施形態の変形例］
第３実施形態では、撮像素子１０６から取得される信号に基づいて焦点検出を行い、焦点検出結果としてデフォーカス量を算出する例を示した。変形例ではＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式により被写体までの距離情報を取得する。ＴｏＦ方式では、被写体に対して投光した赤外線パルスが反射して戻ってくるまでの時間を計測することで距離情報を取得することができる。

【0084】

また変形例では、撮像素子１０６により取得される画像データのコントラスト情報、つまりコントラストの評価値を算出し、評価値に基づいてデフォーカス量を取得する。あるいは別の変形例ではＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）方式による距離マップデータからデフォーカス量を取得する。

【0085】

また第３実施形態では、例えばＡＦ領域が、撮影画像の画角における中央部等の１カ所に固定されている。変形例では、撮影画像の画角における複数のＡＦ領域で焦点検出を行うことが可能な構成である。

【0086】

［第４実施形態］
図１３および図１４を参照して、本発明の第４実施形態を説明する。前記実施形態では、ＡＦ領域と特定領域のいずれの合焦結果についても、対象領域に合焦している場合の等級を星２つとし、対象領域に合焦していない場合の等級を星１つとして等級付けを行う例を示した。しかし、被写体や構図によってユーザの要求に近い画像が異なる場合があり得る。例えば、ＡＦ領域の合焦結果に対応する等級が星２つで、かつ特定領域の合焦結果に対応する等級が星２つとなる画像を第１の画像とする。また、ＡＦ領域の合焦結果に対応する等級が星２つで、かつ特定領域の合焦結果に対応する等級が星１つとなる画像を第２の画像とする。ＡＦ領域および特定領域にてユーザの撮影したい被写体が存在し、これら２つの領域に合焦している方が望ましい場合、第１の画像が選択される。またＡＦ領域のみにユーザの撮影したい被写体が存在しており、特定領域には合焦してないボケ画像を意図してユーザが撮影したい場合、第２の画像が選択される。このように本実施形態では、ＡＦ領域と特定領域に対して、それらの合焦結果に優先度の設定が可能な構成例を説明する。

【0087】

図１３および図１４は、本実施形態における処理を説明するフローチャートである。Ｓ４０１からＳ４０７までの処理は第１実施形態における図６のＳ１０１からＳ１０７と同一であるため、説明を省略する。

【0088】

Ｓ４０８では、Ｓ４０２でのＡＦ領域とＳ４１２（図１４）で取得される特定領域における合焦結果について、ユーザが優先度を設定する操作を行う。制御部１２１はユーザの操作指示を受け付けて、ＡＦ領域と特定領域の優先度の割合を決定する。例えば、ＡＦ領域だけでなく、特定領域にもある程度、合焦させたい被写体が存在する場合を想定する。この場合、特定領域の合焦結果に対する優先度を相対的に高く設定する処理が行われる。反対に、特定領域の被写体に対してはボケ画像として記録したい場合を想定する。この場合、特定領域の合焦結果に対する優先度を相対的に低く設定する処理が行われる。ただし、いずれの場合についても、ＡＦ領域の合焦結果が特定領域の合焦結果よりも優先度が高いことを前提としている。Ｓ４０８の次に図１４のＳ４０９に進む。

【0089】

Ｓ４０９で制御部１２１は、焦点検出結果として算出されたデフォーカス量が、所定の合焦範囲（例えば、－１Ｆδ乃至＋１Ｆδ［μｍ］）内であるか否かを判断する。すなわち、Ｓ４０７で取得されたＲＡＷデータおよび静止画データが、ユーザの意図した被写体に焦点の合った画像のデータであるか否かを制御部１２１が判断する。Ｓ４０２で得られたデフォーカス量が所定の合焦範囲内であると判断された場合、Ｓ４１０へ進み、所定の合焦範囲内でないと判断された場合には、Ｓ４１１へ進む。

【0090】

Ｓ４１０で制御部１２１は、Ｓ４０７にて取得されたＲＡＷデータおよび静止画データに対して、デフォーカス量の絶対値に基づく等級付けを行う。等級付けの結果得られた等級データは、ＲＡＷデータおよび静止画データの第１の属性領域に記録される。

【0091】

本実施形態では等級付けの一例として、合焦状態（所定の合焦範囲内の状態）であれば星４つが設定され、非合焦での状態であれば星３つが設定される場合を示す。Ｓ４１０で制御部１２１は第１の属性領域に星４つの等級データを記録する制御を行った後、Ｓ４１２へ進む。またＳ４１１で制御部１２１は、第１の属性領域に星３つの等級データを記録する制御を行った後、Ｓ４１２へ進む。

【0092】

このように、本実施形態では制御部１２１が、取得された静止画データの焦点検出状態に基づいて静止画データを評価し、評価情報を静止画データと対応付けて記録する制御を行う。

【0093】

Ｓ４１２では、ユーザが操作スイッチ群１３２を通じて、取得されたＲＡＷデータおよび静止画データにて焦点が合っているか否かを判定させたい領域（特定領域）を指定する。制御部１２１はユーザの指定操作を受け付ける。

【0094】

Ｓ４１３で制御部１２１は、Ｓ４１２において指定された領域に対して、Ｓ４０９と同様に焦点検出結果として算出されたデフォーカス量が、指定の閾値範囲内であるか否かを判断する。すなわち、Ｓ４０７で取得されたＲＡＷデータおよび静止画データが、ユーザの指定した領域に焦点の合った画像のデータであるか否かを制御部１２１が判断する。特定領域でのデフォーカス量が指定の閾値範囲内であると判断された場合、Ｓ４１４へ進み、指定の閾値範囲内でないと判断された場合にはＳ４１５へ進む。

【0095】

Ｓ４１４、Ｓ４１５では、Ｓ４０７にて取得されたＲＡＷデータおよび静止画データに対して、Ｓ４１２にてユーザが指定した領域のデフォーカス量の絶対値に基づく等級付け処理が実行される。等級付けの結果得られた等級データは、ＲＡＷデータおよび静止画データの第２の属性領域に記録される。

【0096】

Ｓ４１４で制御部１２１は第２の属性領域に星２つの等級データを記録する制御を行った後、Ｓ４１６へ進む。またＳ４１５で制御部１２１は第２の属性領域に星１つの等級データを記録する制御を行った後、Ｓ４１６へ進む。このように本実施形態では、制御部１２１が、取得された静止画データの２つ以上の領域の焦点検出状態に基づいて静止画データを評価し、評価情報を静止画データと対応付けて記録する制御を行う。

【0097】

Ｓ４１６で制御部１２１は、図７のＳ１１５と同様にＳＷ１、ＳＷ２の操作入力状態の判定を行う。判定条件を満たす場合、図１３のＳ４０１に戻って処理を続行し、判定条件を満たさない場合には処理を終了する。

【0098】

本実施形態によれば、主被写体とそれ以外の被写体（副被写体等）の合焦結果についてユーザの要求に近い画像の選択を容易に行うことが可能である。なお、ＡＦ領域と特定領域の合焦結果について、ユーザによる優先度の指定を可能とする様態を例示したが、この限りではない。例えばＡＦ領域の合焦結果が特定領域の合焦結果よりも優先されるように、優先度が自動的に設定される構成でもよい。あるいは撮影モードやシーン等に応じて優先度を自動的に設定することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

【0099】

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0100】

１０６ 撮像素子
１２１ 制御部
１２５ 画像処理回路
１３５ ＡＦ演算回路
１３６ 視線検出回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】