特許 5949306 画像処理装置、撮像装置、および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5949306

(24)【登録日】2016年6月17日

(45)【発行日】2016年7月6日

(54)【発明の名称】画像処理装置、撮像装置、および画像処理プログラム

(51)【国際特許分類】

   H04N 5/225 20060101AFI20160623BHJP

   H04N 5/232 20060101ALI20160623BHJP

   G06T 3/40 20060101ALI20160623BHJP

   G02B 7/36 20060101ALI20160623BHJP

   G02B 7/28 20060101ALI20160623BHJP

   G03B 13/36 20060101ALI20160623BHJP

   G03B 17/18 20060101ALI20160623BHJP

【ＦＩ】

   H04N5/225 B

   H04N5/232 H

   H04N5/232 Z

   G06T3/40

   G02B7/36

   G02B7/28

   G03B13/36

   G03B17/18 Z

【請求項の数】16

【全頁数】20

(21)【出願番号】特願2012-179351(P2012-179351)

(22)【出願日】2012年8月13日

(65)【公開番号】特開2014-39099(P2014-39099A)

(43)【公開日】2014年2月27日

【審査請求日】2015年6月29日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100072718

【弁理士】

【氏名又は名称】古谷 史旺

(74)【代理人】

【識別番号】100116001

【弁理士】

【氏名又は名称】森 俊秀

(72)【発明者】

【氏名】鉾井 逸人

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２００８−３１２２４２（ＪＰ，Ａ）

【文献】 特開２００９−１７７３５８（ＪＰ，Ａ）

【文献】 特開２００８−０６１２１９（ＪＰ，Ａ）

【文献】 特開２０１１−００２６９０（ＪＰ，Ａ）

【文献】 特開２０１３−１０１３２０（ＪＰ，Ａ）

【文献】 特開２００８−００４９９６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

Ｇ０２Ｂ ７／２８

Ｇ０２Ｂ ７／３６

Ｇ０３Ｂ １３／３６

Ｇ０３Ｂ １７／１８

Ｇ０６Ｔ ３／４０

(57)【特許請求の範囲】

【請求項1】

処理対象の画像データを取得する取得部と、
前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出部と、
前記画像に対して、前記領域検出部により検出した前記被写体領域の情報に基づいて、画像処理を施す画像処理部と、
前記領域検出部により検出した前記被写体領域もしくは、前記被写体領域に基づく領域を視認可能に表示する表示部と、
前記画像処理における注目領域である第１の領域と、前記第１の領域とは異なる領域であり、前記表示部により前記被写体領域もしくは、前記被写体領域に基づく領域を表示する際の表示領域である第２の領域とを、前記領域検出部により検出した前記被写体領域の情報に基づいて決定する制御部と
を備えることを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記制御部は、ユーザによる前記被写体領域についての視認性を加味して前記第２の領域を決定する
ことを特徴とする画像処理装置。

【請求項3】

請求項１または請求項２に記載の画像処理装置において、
前記制御部は、所定の図形への近似を行うことにより前記第１の領域および前記第２の領域を決定し、
前記近似における精度は、前記第１の領域の方が前記第２の領域よりも高い、または、前記第１の領域と前記第２の領域とで同じである
ことを特徴とする画像処理装置。

【請求項4】

請求項３に記載の画像処理装置において、
前記近似における精度は、前記図形の形状と、前記図形の大きさと、近似に用いる前記図形の個数との少なくとも１つにより決まる
ことを特徴とする画像処理装置。

【請求項5】

請求項３または請求項４に記載の画像処理装置において、
前記制御部は、前記画像処理装置における処理能力と、前記第１の領域および前記第２の領域の決定に要求される速度と、前記第１の領域および前記第２の領域の決定に要求される精度との少なくとも１つに基づいて、前記第１の領域および前記第２の領域に関する前記近似における精度を決定する
ことを特徴とする画像処理装置。

【請求項6】

請求項１から請求項５の何れか１項に記載の画像処理装置において、
前記制御部は、前記領域検出部により複数の前記被写体領域が検出された場合に、前記第２の領域については、複数の前記被写体領域もしくは、それぞれの前記被写体領域に対応する複数の前記表示領域の重複具合に応じて、前記第２の領域を決定する
ことを特徴とする画像処理装置。

【請求項7】

請求項１から請求項６の何れか１項に記載の画像処理装置において、
前記制御部は、時間的に連続或いは間欠連続した複数の前記画像に関する前記第２の領域について、位置と大きさと形状との少なくとも１つを比較し、変化の度合が所定の範囲以内である場合には、同じ前記第２の領域とする
ことを特徴とする画像処理装置。

【請求項8】

請求項７に記載の画像処理装置において、
前記制御部は、前記領域検出部により検出した前記被写体領域の面積変化に応じて、前記第２の領域を決定する
ことを特徴とする画像処理装置。

【請求項9】

請求項７または請求項８に記載の画像処理装置において、
前記制御部は、複数の前記画像に関する前記第２の領域について、アスペクト比を固定してそれぞれの前記第２の領域を決定する
ことを特徴とする画像処理装置。

【請求項10】

請求項７から請求項９の何れか１項に記載の画像処理装置において、
前記制御部は、時間的に連続或いは間欠連続する２枚の前記画像に関する前記第２の領域について、位置と大きさとアスペクト比との少なくとも１つを固定してそれぞれの前記第２の領域を決定する
ことを特徴とする画像処理装置。

【請求項11】

光学系による像を撮像して画像を生成する撮像部と、
請求項１から請求項１０の何れか１項に記載の画像処理装置とを備え、
前記取得部は、前記撮像部から前記画像を取得する
ことを特徴とする撮像装置。

【請求項12】

請求項１１に記載の撮像装置において、
前記第１の領域は、焦点調節に関わる領域である
ことを特徴とする撮像装置。

【請求項13】

請求項１２に記載の撮像装置において、
前記第１の領域は、前記領域検出部により検出した前記被写体領域の周辺エッジを含み、前記被写体領域よりも広い領域と前記被写体領域に内接する領域との少なくとも一方である
ことを特徴とする撮像装置。

【請求項14】

請求項１１から請求項１３の何れか１項に記載の撮像装置において、
前記第１の領域は、露出調整に関わる領域である
ことを特徴とする撮像装置。

【請求項15】

請求項１４に記載の撮像装置において、
前記第１の領域は、前記領域検出部により検出した前記被写体領域に内接する領域である
ことを特徴とする撮像装置。

【請求項16】

コンピュータに、
処理対象の画像データを取得する取得手順と、
前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出手順と、
前記画像に対して、前記領域検出手順において検出した前記被写体領域の情報に基づいて、画像処理を施す画像処理手順と、
前記領域検出手順において検出した前記被写体領域もしくは、前記被写体領域に基づく領域を表示部に視認可能に表示する表示手順と、
前記画像処理における注目領域である第１の領域と、前記第１の領域とは異なる領域であり、前記表示手順により前記被写体領域もしくは、前記被写体領域に基づく領域を表示する際の表示領域である第２の領域とを、前記領域検出手順において検出した前記被写体領域の情報に基づいて決定する制御手順と
を実行させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、および画像処理プログラムに関する。

【背景技術】

【0002】

従来、被写体抽出に関する様々な技術が考えられている。例えば、特許文献１の発明では、被写体形状の変化量に応じてＡＦ測距枠を変形することにより、被写体がカメラ方向に移動する場合でも、被写体に対して最適に自動焦点調節する撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−０６９７４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、被写体抽出に際しては、抽出した被写体領域にバラツキが生じる場合や、抽出自体が不安定である場合がある。このような場合には、被写体抽出により抽出した被写体領域の表示に際して、ユーザによる視認性が低下する場合もある。

【0005】

本発明は、前記の点に鑑みてなされたものであり、特徴量に基づいて検出した被写体領域の表示に際にして、画像処理の精度を維持しつつ、ユーザにとって視認性の高い表示を行うことを目的とする。

【課題を解決するための手段】

【0006】

本発明の画像処理装置は、処理対象の画像データを取得する取得部と、前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出部と、前記画像に対して、前記領域検出部により検出した前記被写体領域の情報に基づいて、画像処理を施す画像処理部と、前記領域検出部により検出した前記被写体領域もしくは、前記被写体領域に基づく領域を視認可能に表示する表示部と、前記画像処理における注目領域である第１の領域と、前記第１の領域とは異なる領域であり、前記表示部により前記被写体領域もしくは、前記被写体領域に基づく領域を表示する際の表示領域である第２の領域とを、前記領域検出部により検出した前記被写体領域の情報に基づいて決定する制御部とを備える。

【0007】

なお、前記制御部は、ユーザによる前記被写体領域についての視認性を加味して前記第２の領域を決定しても良い。

【0008】

また、前記制御部は、所定の図形への近似を行うことにより前記第１の領域および前記第２の領域を決定し、前記近似における精度は、前記第１の領域の方が前記第２の領域よりも高い、または、前記第１の領域と前記第２の領域とで同じであっても良い。

【0009】

また、前記近似における精度は、前記図形の形状と、前記図形の大きさと、近似に用いる前記図形の個数との少なくとも１つにより決まっても良い。

【0010】

また、前記制御部は、前記画像処理装置における処理能力と、前記第１の領域および前記第２の領域の決定に要求される速度と、前記第１の領域および前記第２の領域の決定に要求される精度との少なくとも１つに基づいて、前記第１の領域および前記第２の領域に関する前記近似における精度を決定しても良い。

【0011】

また、前記制御部は、前記領域検出部により複数の前記被写体領域が検出された場合に、前記第２の領域については、複数の前記被写体領域もしくは、それぞれの前記被写体領域に対応する複数の前記表示領域の重複具合に応じて、前記第２の領域を決定しても良い。

【0012】

また、前記制御部は、時間的に連続或いは間欠連続した複数の前記画像に関する前記第２の領域について、位置と大きさと形状との少なくとも１つを比較し、変化の度合が所定の範囲以内である場合には、同じ前記第２の領域としても良い。

【0013】

また、前記制御部は、前記領域検出部により検出した前記被写体領域の面積変化に応じて、前記第２の領域を決定しても良い。

【0014】

また、前記制御部は、複数の前記画像に関する前記第２の領域について、アスペクト比を固定してそれぞれの前記第２の領域を決定しても良い。

【0015】

また、前記制御部は、時間的に連続或いは間欠連続する２枚の前記画像に関する前記第２の領域について、位置と大きさとアスペクト比との少なくとも１つを固定してそれぞれの前記第２の領域を決定しても良い。

【0016】

本発明の撮像装置は、光学系による像を撮像して画像を生成する撮像部と、上述した何れかに記載の画像処理装置とを備え、 前記取得部は、前記撮像部から前記画像を取得する。

【0017】

なお、前記第１の領域は、焦点調節に関わる領域であっても良い。

【0018】

また、前記第１の領域は、前記領域検出部により検出した前記被写体領域の周辺エッジを含み、前記被写体領域よりも広い領域と前記被写体領域に内接する領域との少なくとも一方であっても良い。

【0019】

また、前記第１の領域は、露出調整に関わる領域であっても良い。

【0020】

また、前記第１の領域は、前記領域検出部により検出した前記被写体領域に内接する領域であっても良い。

【0021】

本発明の画像処理プログラムは、コンピュータに、処理対象の画像データを取得する取得手順と、前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出手順と、前記画像に対して、前記領域検出手順において検出した前記被写体領域の情報に基づいて、画像処理を施す画像処理手順と、前記領域検出手順において検出した前記被写体領域もしくは、前記被写体領域に基づく領域を表示部に視認可能に表示する表示手順と、前記画像処理における注目領域である第１の領域と、前記第１の領域とは異なる領域であり、前記表示手順により前記被写体領域もしくは、前記被写体領域に基づく領域を表示する際の表示領域である第２の領域とを、前記領域検出手順において検出した前記被写体領域の情報に基づいて決定する制御手順とを実行させる。

【発明の効果】

【0022】

本発明によれば、特徴量に基づいて検出した被写体領域の表示に際にして、画像処理の精度を維持しつつ、ユーザにとって視認性の高い表示を行うことができる。

【図面の簡単な説明】

【0023】

【図1】レンズ鏡筒１０と、撮像装置２０と、記憶媒体４０との構成を示すブロック図である。

【図2】自動検出モード実行時のＣＰＵ２６の動作を示すフローチャートである。

【図3】自動検出モード実行時のＣＰＵ２６の動作を示すフローチャート（続き）である。

【図4】自動検出モード実行時のＣＰＵ２６の動作を示すフローチャート（続き）である。

【図5】自動検出モード実行時のＣＰＵ２６の動作を示すフローチャート（続き）である。

【図6】ＡＦ用注目領域の設定について説明する図である。

【図7】ＡＥ用注目領域の設定について説明する図である。

【図8】表示領域の設定について説明する図である。

【図9】表示領域の設定について説明する別の図である。

【図10】表示領域の設定について説明する別の図である。

【図11】表示領域の設定について説明する別の図である。

【図12】表示領域の設定について説明する別の図である。

【発明を実施するための形態】

【0024】

以下、本実施形態について図面を参照して詳細に説明する。

【0025】

本実施形態では、図１に示すようなレンズ鏡筒１０と、撮像装置２０と、記録媒体４０とからなる装置を例に挙げて説明する。

【0026】

撮像装置２０は、レンズ鏡筒１０から入射される光学像を撮像する。得られた画像は静止画又は動画の画像として、記憶媒体４０に記憶される。

【0027】

レンズ鏡筒１０は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」と称する）１１と、レンズ駆動部１２と、ＡＦエンコーダ１３と、鏡筒制御部１４とを備える。なお、レンズ鏡筒１０は、撮像装置２０に着脱可能に接続されてもよいし、撮像装置２０と一体であってもよい。

【0028】

撮像装置２０は、撮像部２１と、画像処理装置２２と、表示部２３と、バッファメモリ部２４と、記憶部２５と、ＣＰＵ２６と、操作部２７と、通信部２８とを備える。撮像部２１は、撮像素子２９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部３０とを備える。撮像部２１は、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ２６により制御される。

【0029】

レンズ鏡筒１０において、ＡＦレンズ１１は、レンズ駆動部１２により駆動され、撮像装置２０の撮像素子２９の受光面（光電変換面）に、光学像を導く。ＡＦエンコーダ１３は、ＡＦレンズ１１の移動を検出し、ＡＦレンズ１１の移動量に応じた信号を、鏡筒制御部１４に出力する。ここで、ＡＦレンズ１１の移動量に応じた信号とは、例えば、ＡＦレンズ１１の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。

【0030】

鏡筒制御部１４は、撮像装置２０のＣＰＵ２６から入力される駆動制御信号に応じて、レンズ駆動部１２を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１を光軸方向に駆動させる制御信号である。鏡筒制御部１４は、駆動制御信号に応じて、例えば、レンズ駆動部１２に出力するパルス電圧のステップ数を変更する。また、鏡筒制御部１４は、ＡＦレンズ１１の移動量に応じた信号に基づいて、レンズ鏡筒１０におけるＡＦレンズ１１の位置（フォーカスポジション）を、撮像装置２０のＣＰＵ２６に出力する。ここで、鏡筒制御部１４は、例えば、ＡＦレンズ１１の移動量に応じた信号を、ＡＦレンズ１１の移動方向に応じて積算することで、レンズ鏡筒１０におけるＡＦレンズ１１の移動量（位置）を算出してもよい。レンズ駆動部１２は、鏡筒制御部１４の制御に応じてＡＦレンズ１１を駆動し、ＡＦレンズ１１をレンズ鏡筒１０内で光軸方向に移動させる。

【0031】

撮像装置２０において、撮像素子２９は、光電変換面を備え、レンズ鏡筒１０（光学系）により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部３０に出力する。撮像素子２９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの光電変換素子で構成される。また、撮像素子２９は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（画像切り出し）。また、撮像素子２９は、操作部２７を介してユーザからの撮影指示を受け付けた際に得られる画像を、Ａ／Ｄ変換部３０および通信部２８を介して記憶媒体４０に出力する。一方、撮像素子２９は、操作部２７を介してユーザからの撮影指示を受け付ける前の状態において、連続的に得られる画像をスルー画像として、バッファメモリ部２４及び表示部２３に、Ａ／Ｄ変換部３０を介して出力する。

【0032】

Ａ／Ｄ変換部３０は、撮像素子２９によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部２４等に出力する。

【0033】

画像処理装置２２は、記憶部２５に記憶されている画像処理条件に基づいて、バッファメモリ部２４に一時的に記憶されている画像に対する画像処理を行う。そして、画像処理後の画像は、通信部２８を介して記憶媒体４０に記憶される。また、画像処理装置２２は、バッファメモリ部２４に一時的に記憶されている画像に対して、マスク抽出処理を行う（詳細は後述する）。そして、抽出したマスクに関する情報は、ＣＰＵ２６に出力されるとともに、記憶部２５や記憶媒体４０等に記憶される。

【0034】

表示部２３は、例えば液晶ディスプレイであって、撮像部２１によって生成された画像、及び操作画面等を表示する。バッファメモリ部２４は、撮像部２１によって生成された画像を一時的に記憶する。記憶部２５は、撮像条件や、各種判定の際にＣＰＵ２６によって参照される判定条件などを記憶する。

【0035】

ＣＰＵ２６は、画像処理部２２や記憶部２５などから適宜必要な情報を取得し、取得した情報に基づいて、撮像装置２０内の各部を統括的に制御する。ＣＰＵ２６による制御には、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、閃光の発光量の変更の設定、被写体追尾の設定、各種撮影モードの設定、各種画像処理の設定、各種表示の設定、ズーム倍率に連動した明るさの最適化の設定などが含まれる。また、ＣＰＵ２６は、操作部２７の操作状態を監視するとともに、表示部２３への画像データの出力を行う。

【0036】

操作部２７は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ２６に出力する。

【0037】

通信部２８は、カードメモリ等の取り外しが可能な記憶媒体４０と接続され、この記憶媒体４０への情報（画像データ、領域の情報など）の書込み、読み出し、あるいは消去を行う。

【0038】

記憶媒体４０は、撮像装置２０に対して着脱可能に接続される記憶部であって、情報（画像データ、領域の情報など）を記憶する。なお、記憶媒体４０は、撮像装置２０と一体であってもよい。

【0039】

撮像装置２０は、撮影時に、焦点調節情報に基づいて主要被写体領域を検出する通常モードの他に、自動で主要被写体領域を検出する自動検出モードを備える。自動検出モードは、構図確認用のスルー画像等に基づいて、主要被写体領域を自動で継続的に検出し、検出した主要被写体領域の情報を表示部２３に表示するとともに、バッファメモリ部２４や記憶部２５等に記憶するモードである。この自動検出モードは操作部２７を介したユーザ操作により設定可能であっても良いし、ＣＰＵ２６により自動で設定可能であっても良い。

【0040】

以下、自動検出モード実行時のＣＰＵ２６の動作について、図２から図５のフローチャートおよび図６から図１２の模式図を参照して説明する。

【0041】

ステップＳ１０１において、ＣＰＵ２６は、撮像部２１を制御して、スルー画像の取得を開始する。取得されたスルー画像の画像情報はバッファメモリ部２４に一時的に記憶される。このスルー画像は、所定の時間間隔で連続して生成される。そして、ＣＰＵ２６によるスルー画像の取得は、時間的に連続して順次行われる。

【0042】

ステップＳ１０２において、ＣＰＵ２６は、画像処理装置２２を制御して通常の画像処理を行う。通常の画像処理とは、ホワイトバランス調整、補間処理、色調補正処理、階調変換処理などである。各処理の具体的な方法は公知技術と同様であるため説明を省略する。画像処理装置２２は、バッファメモリ部２４から対象となる画像の画像データを取得し、画像処理を施した後に、再びバッファメモリ部２４に出力する。

【0043】

ステップＳ１０３において、ＣＰＵ２６は、画像処理装置２２を制御してマスク抽出処理を行う。マスク抽出処理とは、画像における特徴量を算出し、前記特徴量に基づいて被写体領域を検出するための一手法である。例えば、画像における特徴量から評価値を求め、同じ評価値の連続領域を求めることによりマスク抽出を行う。マスク抽出の手法はどのような方法であっても良い。また、マスク抽出の具体的な方法は公知技術と同様であるため説明を省略する。

【0044】

ステップＳ１０４において、ＣＰＵ２６は、被写体領域を抽出できたか否かを判定する。ＣＰＵ２６は、被写体領域を抽出できたと判定するとステップＳ１０５に進む。一方、被写体領域を抽出できないと判定すると、ＣＰＵ２６は、ステップＳ１０２に戻り、次のフレームの画像に対してステップＳ１０２以降の処理を行う。

【0045】

被写体領域を抽出できたか否かとは、すなわち、ステップＳ１０３におけるマスク抽出処理によりマスク抽出が成功したか否かということである。例えば、ステップＳ１０３におけるマスク抽出処理において、特徴量が算出できなかったり、評価値が低すぎたりした場合には、マスク抽出が失敗し、被写体領域を抽出できないことになる。被写体領域を抽出できない場合、ＣＰＵ２６は、以降の処理を行わずに、被写体領域を抽出できるまで、ステップＳ１０２の通常の画像処理およびステップＳ１０３のマスク抽出処理を繰り返す。

【0046】

ステップＳ１０５において、ＣＰＵ２６は、マスク情報をバッファメモリ部２４や記憶部２５等に記録する。マスク情報には、ステップＳ１０３のマスク抽出処理の抽出条件（色区分やマスク区分など）、マスクの位置、マスクの大きさや形状などの情報が含まれる。

【0047】

ステップＳ１０６において、ＣＰＵ２６は、ｎ回（ｎフレーム）以上連続して同一のマスクを抽出したか否かを判定する。ＣＰＵ２６は、ｎ回以上連続して同一のマスクを抽出したと判定すると後述するステップＳ１０７に進む。一方、ｎ回以上連続して同一のマスクを抽出していないと判定すると、ＣＰＵ２６は、後述するステップＳ１１２に進む。

【0048】

同一のマスクを抽出する場合とは、複数フレームにおいて、略同色、略同サイズのマスクが、略同じ位置において抽出する場合である。この判定には、ステップＳ１０５で説明したマスク情報等を用いれば良い。何れの場合も、フレーム間の変化量が規定以内である場合に、同一と判定することができる。ステップＳ１０５で説明したマスク情報等に基づいて、過去に行われたマスク抽出の傾向（抽出されたマスクの種類、出現頻度など）を求め、この傾向に応じて上述した変化量が規定以内であるかを判断する閾値を適宜変更可能としても良い。例えば、過去に高い頻度で抽出されたマスクについては、閾値を大きめに変更しても良い。

【0049】

この判定は、ステップＳ１０３のマスク抽出処理により任意の主要被写体領域が安定して検出されているか否かを判定するためのものである。このように、連続（あるいは間欠連続）の複数のフレームにおいて、略同色、略同サイズ、略同じ位置の被写体が検出され手射る状態を、「マスク抽出処理が安定して行われている」と称する。ステップＳ１０３のマスク抽出処理が安定して行われている場合、主要被写体領域を正しく検出していると判断することができる。なお、上述したｎは所定の閾値（例えば、ｎ＝７）であり、撮像部２１による撮像時のフレームレート、レンズ鏡筒１０におけるズーム倍率、操作部２７を介したユーザ操作などに基づいて適宜変更可能としても良い。さらに、ステップＳ１０５で説明したマスク情報等に基づいて、過去に行われたマスク抽出の傾向（抽出されたマスクの種類、出現頻度など）を求め、この傾向に応じて上述したｎの値を適宜変更可能としても良い。例えば、過去に高い頻度で抽出されたマスクについては、ｎの値を小さめに変更しても良い。

【0050】

また、ステップＳ１０６で行った判定の内容を、ステップＳ１０５で説明したマスク情報に追加して記録しておき、以降のフレームに関する処理時に用いる構成としても良い。

【0051】

また、上述した以外の方法でマスク抽出処理が安定して行われているか否かを判定する構成としても良い。例えば、前回まで連続して同一のマスクを抽出したか否かを加味して判定を行っても良い。このような構成とすれば、今回のみ一時の未抽出が発生した場合でも、それまでの蓄積を無効にせず、次のフレームにおいて同一のマスクを抽出した場合には、前回までの安定状態が維持されているものと見なすことができる。

【0052】

ステップＳ１０７において、ＣＰＵ２６は、抽出したマスクに基づいて主要被写体領域を記録する。主要被写体領域は、ステップＳ１０６において判定の対象となったフレームの画像において、ステップＳ１０３で抽出されたマスクに基づいて求められる。ＣＰＵ２６は、主要被写体領域の情報をバッファメモリ部２４や記憶部２５等に記録する。主要被写体領域の情報には、用いられたマスクに関するマスク情報、主要被写体領域の位置、主要被写体領域の大きさや形状などの情報が含まれる。

【0053】

ステップＳ１０８において、ＣＰＵ２６は、ＡＦ用注目領域を設定する。ＣＰＵ２６は、ステップＳ１０７で記録した主要被写体領域に基づいて、撮影時のＡＦ処理における注目領域であるＡＦ用注目領域を設定する。ＡＦ用注目領域の設定の詳細は後述する。

【0054】

ステップＳ１０９において、ＣＰＵ２６は、ＡＥ用注目領域を設定する。ＣＰＵ２６は、ステップＳ１０７で記録した主要被写体領域に基づいて、撮影時のＡＥ処理における注目領域であるＡＥ用注目領域を設定する。ＡＥ用注目領域の設定の詳細は後述する。

【0055】

ステップＳ１１０において、ＣＰＵ２６は、表示領域を設定する。ＣＰＵ２６は、ステップＳ１０７で記録した主要被写体領域に基づいて、表示部２３により主要被写体領域を表示する際の表示領域を設定する。なお、表示領域は、上述したＡＦ用注目領域およびＡＥ用注目領域とは異なる領域である。表示領域の設定の詳細は後述する。

【0056】

ステップＳ１１１において、ＣＰＵ２６は、主要被写体領域の情報を表示部２３に表示する。ＣＰＵ２６は、表示部２３を制御し、ステップＳ１０１で取得を開始したスルー画像に重畳して、ステップＳ１０７で記録した主要被写体領域を視認可能に表示する。このとき、ＣＰＵ２６は、ステップＳ１１０で設定した表示領域に合わせて、主要被写体領域に枠などを表示する。このような表示を行うことにより、ユーザは、ＣＰＵ２６が自動で検出している主要被写体領域がどのようなものであるかを、容易に把握することができる。なお、上述した枠を表示する際に、枠の線の太さ、濃淡、色などはどのようなものであっても良い。また、これらのファクターと、検出の精度などを関連付けて表示を行う構成としても良い。

【0057】

ステップＳ１１２において、ＣＰＵ２６は、主要被写体領域の設定処理を行っていない状態で撮影指示が行われてしまう場合に備えて、通常の３Ａ処理を行う。３Ａ処理とは、焦点調整（ＡＦ）の設定処理、露出調整（ＡＥ）の設定処理、ホワイトバランス調整処理（ＡＷＢ）であり、公知技術と同様に行われる。

【0058】

なお、任意の被写体領域がステップＳ１０７の処理により主要被写体領域として記録されている場合には、ＣＰＵ２６は、その記録に基づく一部または全ての設定を解除するとともに、表示部２３における主要被写体領域の情報の表示を終了してステップＳ１１３に進む。

【0059】

ステップＳ１１３において、ＣＰＵ２６は、撮影指示が行われたか否かを判定する。ＣＰＵ２６は、撮影指示が行われたと判定するとステップＳ１１４に進む。一方、撮影指示が行われないと判定すると、ＣＰＵ２６は、ステップＳ１０２に戻り、次のフレームの画像に対してステップＳ１０２以降の処理を行う。撮影指示は、操作部２７のシャッタボタンを介したユーザ操作により行われる。このユーザ操作は、いわゆる半シャッタと全シャッタの何れであっても良い。

【0060】

ステップＳ１１４において、ＣＰＵ２６は、ＡＦ・ＡＥ処理を行う。ＣＰＵ２６は、ステップＳ１０８で設定したＡＦ用注目領域に基づいて、ＡＦ処理（焦点調整）を行うとともに、ステップＳ１０９で設定したＡＥ用注目領域に基づいて、ＡＥ処理（露出調整）を行う。なお、ステップＳ１１２で通常の３Ａ処理を行っている場合には、ＣＰＵ２６は、３Ａ処理の結果に基づいて、ＡＦ処理およびＡＥ処理を行う。

【0061】

ステップＳ１１５において、ＣＰＵ２６は、各部を制御して撮影を実行する。このとき、ＣＰＵ２６は、ステップＳ１０７で記録した主要被写体領域の情報に基づいて、画像処理装置２２における各種画像処理の条件等を決定する。また、ステップＳ１１２で通常の３Ａ処理を行っている場合には、３Ａ処理の結果に基づいて、画像処理装置２２における各種画像処理の条件等を決定する。

【0062】

ステップＳ１１６において、ＣＰＵ２６は、撮像により生成した画像を、通信部２８を介して記憶媒体４０に記録して一連の処理を終了する。

【0063】

次に、ステップＳ１０８で説明したＡＦ用注目領域の設定について、図３のフローチャートおよび図６の模式図を参照して説明する。ＣＰＵ２６は、ステップＳ１０７で記録した主要被写体領域を、所定の図形へ近似させることにより、ＡＦ用注目領域の設定を行う。ここでは、主要被写体領域を１つ以上の矩形に近似させる場合を例に挙げて説明する。なお、矩形以外のどのような図形を採用しても良い。また、複数種類の図形を組み合わせて採用しても良い。

【0064】

ＡＦ用注目領域は、焦点調節に用いられる領域であり、基本的に、上述した主要被写体領域の周辺エッジを含み、主要被写体領域よりも広い領域であることが求められる。したがって、従来採用されている外接矩形よりも、より主要被写体領域の形状に即したものの方が好ましい。そこで、ＣＰＵ２６は、主要被写体領域を、複数の矩形の集合に近似させる。なお、この近似における精度は、近似に用いる図形の形状や、図形の大きさや、図形の個数などにより決まる。また、この近似における精度は、撮像装置２０の処理能力や、要求される速度や、要求される精度等に基づいて変化する。さらに、ＡＦ用注目領域の近似における精度は、後述する表示領域の近似における精度以上であることが好ましい。これは、ＡＦ用注目領域は、焦点調節に最適化させるための十分な精度が必要であるが、表示領域は、ユーザによる視認性を重視する必要があるためである。

【0065】

ステップＳ２０１において、ＣＰＵ２６は、最大分割数をチェックする。最大分割数は、撮像装置２０の処理能力に応じて予め決められた数である。

【0066】

ステップＳ２０２において、ＣＰＵ２６は、図６Ａに示すように、ステップＳ１０７で記録した主要被写体領域の外接矩形Ａ１を算出する。

【0067】

ステップＳ２０３において、ＣＰＵ２６は、図６Ｂに示すように、ステップＳ１０７で記録した主要被写体領域の画像を分割する。なお、初期段階においては、図６Ｂに示すように、分割数は４とする。２回目以降は、後述するステップＳ２０７で変更された分割数にしたがって、主要被写体領域の画像を分割する。また、分割数は、レンズ鏡筒１０におけるズーム倍率や絞り、操作部２７を介したユーザ操作などに基づいて適宜変更可能としても良い。例えば、レンズ鏡筒１０におけるズーム倍率がテレ側の時には、精度が必要であるため分割数を多く設定し、ワイド側の時には、最小分割数など、分割数を少なめに設定すると良い。ＣＰＵ２６は、上述した分割数で主要被写体領域の画像を分割する。図６Ｂは、分割数が４である場合の例であり、図６Ｃは、分割数が９である場合の例を示す。

【0068】

ステップＳ２０４において、ＣＰＵ２６は、分割領域ごとの充填率を算出する。

【0069】

ステップＳ２０５において、ＣＰＵ２６は、低充填率の分割領域を除外する。ある分割領域が低充填率であるか否かの判定は、ステップＳ２０４で算出した分割領域ごとの充填率と所定の閾値を比較することにより行う。そして、ＣＰＵ２６は、低充填率であると判定された分割領域を、主要被写体領域から除外する。例えば、図６Ｂの例では、右下の分割領域が主要被写体領域から除外されている例を示し、図６Ｃの例では、上段の左端の分割領域と、中段の右端の分割領域と、下段の右側２つの分割領域が主要被写体領域から除外されている例を示す。

【0070】

ステップＳ２０６において、ＣＰＵ２６は、全体の充填率が所定の閾値Ｔａ以上であるか否かを判定する。ＣＰＵ２６は、ステップＳ２０５で低充填率の分割領域が除外された主要被写体領域全体の充填率を算出し、算出した主要被写体領域全体の充填率が所定の閾値Ｔａ以上であると判定すると後述するステップＳ２０８に進む。一方、主要被写体領域全体の充填率が所定の閾値Ｔａ未満であると判定すると、ＣＰＵ２６は、ステップＳ２０７に進む。なお、上述した閾値Ｔａは予め定められても良いし、対象画像の解像度や、操作部２７を介したユーザ操作などに基づいて適宜変更可能としても良い。さらに、後述する分割数に応じて上述した閾値Ｔａの値を適宜変更可能としても良い。例えば、分割数が多いほど、閾値Ｔａの値を大きく変更しても良い。

【0071】

ステップＳ２０７において、ＣＰＵ２６は、分割数を変更する。ＣＰＵ２６は、前回の画像の分割（ステップＳ２０３）よりも分割数を大きく変更する。なお、分割数の増やし方は予め定められている（例えば、分割数＝４，９，１６・・・ｎ^２）ものとする。ただし、分割数の上限はステップＳ２０１でチェックした最大分割数である。

【0072】

つまり、ＣＰＵ２６は、主要被写体領域全体の充填率が所定の閾値Ｔａ以上となるまで、ステップＳ２０３からステップＳ２０７の処理を繰り返し、分割数を増やしつつ、低充填率の分割領域が除外された主要被写体領域全体の充填率をチェックする。なお、主要被写体領域全体の充填率が所定の閾値Ｔａ以上となる前に、分割数が最大分割数に到達してしまった場合には、ＣＰＵ２６は、処理を中断したり、前回までの処理による主要被写体領域を採用するなどのエラー処理を行う。

【0073】

ステップＳ２０８において、ＣＰＵ２６は、ステップＳ２０５で低充填率の分割領域が除外された残りである残留分割領域の番地を、バッファメモリ部２４や記憶部２５等に記録する。残留分割領域とは、ステップＳ２０６において主要被写体領域全体の充填率の算出対象となった領域と同じである。

【0074】

上述した一連の処理により、ＣＰＵ２６は、ＡＦ用注目領域として、主要被写体領域の周辺エッジを含む包含枠、あるいは包絡矩形領域のうち、最小の領域を設定することができる。

【0075】

なお、より精度良くＡＦ用注目領域を求める際には、上述した分割領域を移動させて充填率をさらに向上させても良い。例えば、図６Ｄに示すように、分割領域を横方向に移動させて、より充填率の高い配置を求める構成としても良い。また、分割領域を縦方向に移動させても良いし、回転・拡大縮小させても良い。

【0076】

次に、ステップＳ１０９で説明したＡＥ用注目領域の設定について、図４のフローチャートおよび図７の模式図を参照して説明する。ＣＰＵ２６は、ステップＳ１０７で記録した主要被写体領域に内接する矩形を求めることにより、主要被写体領域を矩形に近似させ、ＡＥ用注目領域の設定を行う。ここでは、主要被写体領域に内接する１つの矩形を求める場合を例に挙げて説明する。なお、矩形以外のどのような図形を採用しても良い。また、複数種類の図形を組み合わせて採用しても良い。

【0077】

ＡＥ用注目領域は、露出調整に用いられる領域であり、上述した主要被写体領域外の余分な領域が含まれない領域であることが求められる。そこで、ＣＰＵ２６は、上述したように、主要被写体領域に内接する領域を求める。なお、この近似における精度は、図形の形状や、図形の大きさや、近似に用いる図形の個数などにより決まる。また、この近似における精度は、撮像装置２０の処理能力や、要求される速度や、要求される精度等に基づいて変化する。さらに、ＡＥ用注目領域の近似における精度は、上述したＡＦ用注目領域と同様に、後述する表示領域の近似における精度以上であることが好ましい。

【0078】

ステップＳ３０１において、ＣＰＵ２６は、図７Ａに示すように、ステップＳ１０７で記録した主要被写体領域の内接矩形Ａ２を算出する。なお、内接矩形Ａ２は、図７Ａに示すように複数存在するが、ＣＰＵ２６は、図７Ａに示すように面積が最大となる内接矩形Ａ２を算出する。

【0079】

ステップＳ３０２において、ＣＰＵ２６は、ステップＳ３０１で算出した内接矩形Ａ２内の輝度値を算出する。

【0080】

ステップＳ３０３において、ＣＰＵ２６は、ステップＳ３０２で算出した内接矩形Ａ２内の輝度値に基づいてＡＥ値を算出する。ＡＥ値の算出は、公知技術と同様に行われる。

【0081】

ステップＳ３０４において、ＣＰＵ２６は、ステップＳ３０３で算出したＡＥ値をバッファメモリ部２４や記憶部２５等に記録する。

【0082】

なお、より精度良くＡＥ用注目領域を求める際には、上述したＡＦ用注目領域と同様に、分割領域を組み合わせても良い。例えば、図７Ｂに示すように、複数の分割領域を横方向に移動して適宜配置し、より充填率の高い配置を求めてＡＥ用注目領域としても良い。さらに、分割領域を縦方向に移動させても良いし、回転・拡大縮小させても良い。

【0083】

さらに、ＡＥ用注目領域を、上述したＡＦ用注目領域として利用しても良い。例えば、上述したＡＦ用注目領域において説明した「主要被写体領域の周辺エッジを含み、主要被写体領域よりも広い領域」と、ＡＥ用注目領域として説明した「主要被写体領域に内接する領域」との両方をＡＦ用注目領域として求め、２つのＡＦ用注目領域を用いてＡＦ処理を行っても良い。この場合、例えば、小さい方の領域である「主要被写体領域に内接する領域」に基づいてＡＦ処理を行い、ＡＦ処理が良好に行えない（合焦しない等）場合には、大きい方の領域である「主要被写体領域の周辺エッジを含み、主要被写体領域よりも広い領域」に基づいてＡＦ処理を行うと良い。

【0084】

次に、ステップＳ１１０で説明した表示領域の設定について、図５のフローチャートおよび図８から図１２の模式図を参照して説明する。ＣＰＵ２６は、ステップＳ１０７で記録した主要被写体領域に外接する矩形を求めることにより、主要被写体領域を矩形に近似させ、表示領域の設定を行う。ここでは、主要被写体領域に外接する１つの矩形を求める場合を例に挙げて説明する。なお、矩形以外のどのような図形を採用しても良い。また、複数種類の図形を組み合わせて採用しても良い。

【0085】

表示領域は、ステップＳ１０７で記録した主要被写体領域を視認可能に表示部２３に表示する際に用いられる領域であり、ユーザにとっての視認性の高さが求められる。そこで、ＣＰＵ２６は、ユーザによる視認性を加味して表示領域を求める。なお、この近似における精度は、近似に用いる図形の形状や、図形の大きさや、図形の個数などにより決まる。また、この近似における精度は、撮像装置２０の処理能力や、要求される速度や、要求される精度等に基づいて変化する。さらに、表示領域の近似における精度は、上述したＡＦ用注目領域およびＡＥ表示領域の近似における精度未満であって構わない。これは、これは、表示領域は、ユーザによる視認性を満たしていれば、上述したＡＦ用注目領域やＡＥ用注目領域のように厳密な精度を必要としないためである。

【0086】

ステップＳ４０１において、ＣＰＵ２６は、図８Ａに示すように、ステップＳ１０７で記録した主要被写体領域の外接矩形Ａ３を算出する。

【0087】

ステップＳ４０２において、ＣＰＵ２６は、ステップＳ４０１で算出した外接矩形Ａ３内の充填率を算出する。

【0088】

ステップＳ４０３において、ＣＰＵ２６は、ステップＳ４０２で算出した外接矩形Ａ３内の充填率が所定の閾値Ｔｂ以上であるか否かを判定する。ＣＰＵ２６は、外接矩形Ａ３内の充填率が所定の閾値Ｔｂ以上であると判定するとステップＳ４０４に進む。一方、外接矩形Ａ３内の充填率が所定の閾値Ｔｂ未満であると判定すると、ＣＰＵ２６は、後述するステップＳ４０６に進む。なお、上述した閾値Ｔｂは予め定められても良いし、対象画像の解像度や、操作部２７を介したユーザ操作などに基づいて適宜変更可能としても良い。

【0089】

ステップＳ４０４において、ＣＰＵ２６は、ステップＳ４０２で算出した外接矩形Ａ３の中心の座標を算出する。

【0090】

ステップＳ４０５において、ＣＰＵ２６は、ステップＳ４０２で算出した外接矩形Ａ３の大きさを算出する。

【0091】

ステップＳ４０６において、ＣＰＵ２６は、ステップＳ１０７で記録した主要被写体領域の重心の座標を算出する。

【0092】

ステップＳ４０７において、ＣＰＵ２６は、ステップＳ４０２で算出した外接矩形Ａ３の１／２の大きさを算出する。

【0093】

ステップＳ４０８において、ＣＰＵ２６は、表示領域の中心座標および大きさをバッファメモリ部２４や記憶部２５等に記録する。

【0094】

ステップＳ４０４およびステップＳ４０５の処理において、表示領域は、図８Ｂに示す矩形Ａ４の領域となる。一方、ステップＳ４０６およびステップＳ４０７の処理において、表示領域は、図８Ｃに示す矩形Ａ５の領域となる。ステップＳ４０６およびステップＳ４０７の処理は、上述したように、外接矩形Ａ３内の充填率＜所定の閾値Ｔｂである場合に行われる。このような場合には、外接矩形Ａ３を表示領域とするよりも、充填率に合わせて小さめの矩形Ａ５を表示領域とするほうがユーザの違和感が少ない。また、ＡＦ用注目領域やＡＥ用注目領域と同じ領域を表示領域としてしまうと、ユーザがスルー画像を目視する際の主要被写体領域の視認性が低下してしまう。

【0095】

なお、上述した表示領域の設定において、以下（ａ）〜（ｄ）のような処理を行っても良い。

【0096】

（ａ）主要被写体領域の変化が少ない場合に、表示領域を固定する（変化させない）。

【0097】

ＣＰＵ２６は、複数フレームの画像において求めた表示領域を比較し、その変化の度合いが所定の範囲内である場合には、表示領域を変化させずに固定する。変化の度合いは、それぞれの表示領域の位置や大きさ（面積）や形状などを比較し、変化量に基づいて求めることができる。例えば、第ｎフレームにおける表示領域が図９Ａの矩形Ａ６−１であり、次のフレームである第（ｎ＋１）フレームにおける表示領域が図９Ｂの矩形Ａ６−２である場合、ＣＰＵ２６は、矩形Ａ６−１および矩形Ａ６−２を比較し、その変化の度合いが所定の範囲内である場合には、図９Ｃに示すように、第（ｎ＋１）フレームにおける表示領域を矩形Ａ６−２ではなく矩形Ａ６−１とする。つまり、前フレームにおける表示領域を継続する。さらに、図９Ｄに示すように、矩形Ａ６−１および矩形Ａ６−２を包含する矩形Ａ６−３を採用する構成としても良い。ただし、このような統合を繰り返すことにより、表示領域が過剰に大きくなることは好ましくない。したがって、表示領域の大きさ（面積）には上限を定めておくものとする。

【0098】

このように、表示領域を固定することにより、表示領域が小刻みに変化するなどのバラツキを抑え、ユーザによる視認性を向上させることができる。

【0099】

（ｂ）アスペクト比を固定する。

【0100】

ＣＰＵ２６は、複数フレームの画像において、それぞれの主要被写体領域の面積変化に基づいて、アスペクト比を固定する。例えば、第ｎフレームにおける表示領域が図１０Ａの矩形Ａ７−１であり、縦長がａ、横長がｂ、主要被写体領域の面積がＳ１であるものとする。そして、次のフレームである第（ｎ＋１）フレームにおける主要被写体領域の面積がＳ２である場合、ＣＰＵ２６は、図１０Ｂの矩形Ａ７−２に示すように、縦長および横長については、面積変化（Ｓ２／Ｓ１）の平方根を上述した縦長ａおよび横長ｂに乗じたものとする。なお、位置については、第ｎフレームにおける主要被写体領域の重心位置や第（ｎ＋１）フレームにおける主要被写体領域の重心位置などに応じて定めれば良い。

【0101】

このように、表示領域のアスペクト比を固定することにより、表示領域の見た目の変化を抑え、ユーザによる視認性を向上させることができる。なお、上述した例以外にも、第ｎフレームにおける主要被写体領域の面積や第（ｎ＋１）フレームにおける主要被写体領域の面積変化に応じていれば、どのようにアスペクト比を固定しても良い。

【0102】

（ｃ）位置、大きさ、アスペクト比の一部を固定する。

【0103】

ＣＰＵ２６は、複数フレームの画像において、表示領域の位置、大きさ、アスペクト比の少なくとも１つを固定する。例えば、位置および大きさを変更する際にはアスペクト比を固定し、位置およびアスペクト比を変更する際には大きさを固定するなど、位置、大きさ、アスペクト比の一部を固定することにより、表示領域の見た目の変化を抑え、ユーザによる視認性を向上させることができる。

【0104】

（ｄ）複数の被写体領域について、表示領域の重複具合に応じて表示領域を決定する。

【0105】

ＣＰＵ２６は、ステップＳ１０３のマスク抽出処理により複数の主要被写体領域が検出された場合に、各々の主要被写体領域について表示領域を求めた後に、それらの重複具合に応じて表示領域を決定する。例えば、図１１Ａに示すように、ステップＳ１０３において２つの主要被写体領域が検出された場合、ＣＰＵ２６は、それぞれの表示領域である矩形Ａ８−１および矩形Ａ８−２を比較し、矩形Ａ８−２が矩形Ａ８−１に包含されている場合には、図１１Ｂに示すように、より広い方の矩形Ａ８−１を表示領域とする。なお、選択的に一方の表示領域を採用する代わりに、２つの表示領域の平均を取って表示領域を決める構成としても良い。

【0106】

また、例えば、図１２Ａに示すように、ステップＳ１０３において２つの主要被写体領域が検出された場合、ＣＰＵ２６は、それぞれの表示領域である矩形Ａ９−１および矩形Ａ９−２を比較し、図１１Ｂに示すように、重複部分が占める割合がより高い矩形Ａ９−２を表示領域とする。

【0107】

なお、ステップＳ１０３のマスク抽出処理により複数の主要被写体領域が検出された場合に、表示領域については重複具合に応じて表示領域を決定するが、ＡＦ用注目領域およびＡＥ用注目領域については、それぞれの主要被写体領域を独立に扱い、ＡＦ用注目領域およびＡＥ用注目領域をそれぞれ決定するものとする。

【0108】

このように、複数の主要被写体領域について、表示領域の重複具合に応じて表示領域を決定することにより、ユーザによる見た目が煩雑化するのを防ぎ、ユーザによる視認性を向上させることができる。

【0109】

以上説明したように、本実施形態によれば、取得した画像データにより示される画像の特徴量を算出し、特徴量に基づいて定まる被写体領域を検出する。そして、画像に対して、検出した被写体領域の情報に基づいて、画像処理を施すとともに、検出した被写体領域もしくは、検出した被写体領域に基づく領域を視認可能に表示する。このとき、画像処理における注目領域である第１の領域と、第１の領域とは異なる領域であり、被写体領域もしくは、検出した被写体領域に基づく領域を表示する際の表示領域である第２の領域とを、領域検出部により検出した被写体領域の情報に基づいて決定する。

【0110】

したがって、画像処理に最適化した第１の領域と、表示に最適化した第２の領域とを独立に決定することにより、特徴量に基づいて検出した被写体領域の表示に際にして、画像処理の精度を維持しつつ、ユーザにとって視認性の高い表示を行うことができる。

【0111】

特に、第２の領域である表示領域については、単純に検出した被写体領域に即した領域とすると、抽出した被写体領域にバラツキが生じる場合や、抽出自体が不安定である場合や、見た目が煩雑化する場合などがある。しかし、本実施形態のように、ユーザの視認性を加味して表示領域を決定することにより、適切な加工が加えられ、ユーザによる利便性も向上する。また、構図確認用のスルー画像については、一般に表示時間が長くなるため、このような工夫が大きな効果を発揮することとなる。

【0112】

また、特に、第１の領域として、焦点調節に関わる領域を決定する際には、基本的に、検出した被写体領域に即した領域を採用する。したがって、領域を助長させて余分な情報が混入することにより焦点調節の精度が低下するという問題を抑えることができる。

【0113】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【0114】

また、上記の実施形態においては、図２のステップＳ１０６において、マスク抽出処理が安定して行われているか否かを判定する例を示したが、この判定を行わない構成としても良い。すなわち、図２のステップＳ１０４において被写体領域を抽出できたと判定された全ての画像を対象としてステップＳ１０７からステップＳ１１１の処理を行う構成としても良い。

【0115】

また、上記の実施形態において、自動検出モードの中断処理、再開処理を適宜実行しても良い。

【0116】

また、上記の実施形態においては、主要被写体領域の設定処理を行っていない状態で撮影指示が行われてしまう場合に備えて、通常の３Ａ処理を行う例を示したが、本発明はこの例に限定されない。例えば、主要被写体領域の設定処理を行っていない状態で撮影指示を含む所定のユーザ操作が行われた場合に、マスク情報（図２ステップＳ１０５等）を用いて簡易的に主要被写体領域を設定する構成としても良い。

【0117】

また、上記の実施形態においては、構図確認用のスルー画像に基づいて、一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、一眼レフカメラなどにおいて生成される構図確認用のライブビュー画像を対象とする場合にも、本発明を同様に適用することができる。また、記録媒体４０等に記録された動画像を対象とする場合にも、本発明を同様に適用することができる。

【0118】

また、上記の実施形態においては、すべてのフレームを対象として一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、時間的に間欠連続して生成された複数の画像を対象としても良い。具体的には、適宜フレーム間引きを行った複数の画像を対象としても良い。この場合、上記の実施形態における一連の処理は間引きされた複数の画像を対象として実行しつつ、すべての画像について表示を行っても良い。このような処理を行うことにより、処理負荷を軽減することができる。

【0119】

また、コンピュータと画像処理プログラムとからなる「コンピュータシステム」により、上述した実施形態で説明した画像処理をソフトウェア的に実現しても良い。この場合、実施形態で説明したフローチャートの処理の一部または全部をコンピュータシステムで実行する構成とすれば良い。例えば、図２のステップＳ１０１からステップＳ１１１の処理の一部または全部をコンピュータで実行しても良い。このような構成とすることにより、上述した実施形態と同様の処理を実施することが可能になる。

【0120】

この画像処理プログラムにおいては、画像処理の内容として様々なものが考えられる。例えば、動画像の編集時にも本発明を同様に適用することができる。また、例えば、対象画像がマルチアレイレンズを備えた撮像装置により生成された画像である場合に、画像処理としてリフォーカス処理を行う際にも、本発明を同様に適用することができる。

【0121】

また、「コンピュータシステム」は、ｗｗｗシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0122】

さらにコンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。

【0123】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

【0124】

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0125】

２０…撮像装置、２１…撮像部、２２…画像処理装置、２３‥表示部、２６…ＣＰＵ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】