特許 6443486 画像処理装置、撮像装置、および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6443486

(24)【登録日】2018年12月7日

(45)【発行日】2018年12月26日

(54)【発明の名称】画像処理装置、撮像装置、および画像処理プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20181217BHJP

【ＦＩ】

   H04N5/232

【請求項の数】1

【全頁数】19

(21)【出願番号】特願2017-77610(P2017-77610)

(22)【出願日】2017年4月10日

(62)【分割の表示】特願2012-161892(P2012-161892)の分割

【原出願日】2012年7月20日

(65)【公開番号】特開2017-121092(P2017-121092A)

(43)【公開日】2017年7月6日

【審査請求日】2017年4月10日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100072718

【弁理士】

【氏名又は名称】古谷 史旺

(74)【代理人】

【識別番号】100151002

【弁理士】

【氏名又は名称】大橋 剛之

(74)【代理人】

【識別番号】100201673

【弁理士】

【氏名又は名称】河田 良夫

(72)【発明者】

【氏名】鉾井 逸人

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２０１２−０３４０２４（ＪＰ，Ａ）

【文献】 特開２０１０−１４１８４７（ＪＰ，Ａ）

【文献】 特開２０１２−０５４８１０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０２Ｂ ７／２８ − ７／４０

Ｇ０３Ｂ ７／００ − ７／３０

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ９／４０

(57)【特許請求の範囲】

【請求項1】

時間的に連続して生成された複数の画像データを順次取得する取得部と、
前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて被写体領域を検出する領域検出部と、
前記取得部により取得された前記複数の画像データにより示される画像のうち、少なくとも２枚の画像において検出された前記被写体領域を比較することにより、前記領域検出部により検出された領域が安定しているか否かを判定する判定部と、
前記判定部により前記領域が安定していると判定すると、前記判定の対象となった前記被写体領域を主要被写体領域として設定する設定部と、を備え、
前記判定部は、記録部に記録された前記領域検出部の検出結果と、前記記録部に記録された前記判定部の判定結果と、の少なくとも一方に基づいて、任意の前記被写体領域が過去に判定されているか否かを判定し、判定結果に基づいて、安定していると判定する基準を変える画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、および画像処理プログラムに関する。

【背景技術】

【0002】

従来、被写体抽出に関する様々な技術が考えられている。例えば、特許文献１の発明では、被写体形状の変化量に応じてＡＦ測距枠を変形することにより、被写体がカメラ方向に移動する場合でも、被写体に対して最適に自動焦点調節する撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−０６９７４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された撮像装置は、被写体形状の変化量に応じてＡＦ測距枠を変形するため、被写体がカメラ方向に移動する場合に良好な効果を得ることができる。しかし、実際の被写体は、様々な動きをすることがあるとともに、撮影を行うユーザの目的も様々であり、必ずしもユーザにとって望ましい被写体に対して焦点調節が行われない場合もある。

【0005】

本発明は、前記の点に鑑みてなされたものであり、容易かつ的確に主要被写体領域の抽出を継続的に行うことを目的とする。

【課題を解決するための手段】

【0006】

本発明の画像処理装置は、時間的に連続して生成された複数の画像データを順次取得する取得部と、前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて被写体領域を検出する領域検出部と、前記取得部により取得された前記複数の画像データにより示される画像のうち、少なくとも２枚の画像において検出された前記被写体領域を比較することにより、前記領域検出部により検出された領域が安定しているか否かを判定する判定部と、前記判定部により前記領域が安定していると判定すると、前記判定の対象となった前記被写体領域を主要被写体領域として設定する設定部と、を備え、前記判定部は、記録部に記録された前記領域検出部の検出結果と、前記記録部に記録された前記判定部の判定結果と、の少なくとも一方に基づいて、任意の前記被写体領域が過去に判定されているか否かを判定し、判定結果に基づいて、安定していると判定する基準を変える。

【0007】

なお、前記画像に対し位置関係がわかるように、前記設定部により設定した前記主要被写体領域を視認可能に表示する表示部をさらに備えても良い。

【0008】

また、前記設定部により設定した前記主要被写体領域に関する情報を記録する記録部をさらに備えても良い。

【0009】

また、前記判定部は、所定の枚数の画像において連続あるいは間欠連続して同一の前記被写体領域が前記領域検出部により検出された場合に、前記領域が安定していると判定しても良い。

【0010】

また、前記領域検出部は、前記特徴量に基づいてマスク抽出を行うことにより前記被写体領域を検出し、前記判定部は、前記マスク抽出の抽出条件と、前記マスク抽出により抽出されたマスクの位置変化と、前記マスクの大きさ変化との少なくとも１つに基づいて、前記被写体領域の比較を行っても良い。

【0011】

また、前記領域検出部による検出結果と、前記判定部による判定結果とを記録する履歴記録部をさらに備え、前記判定部は、少なくとも前記マスクの位置変化に基づいて前記被写体領域の比較を行う際に、前記マスクの位置変化の変化量を、前記履歴記録部に記録された前記検出結果と前記判定結果との少なくとも一方に基づく閾値と比較することにより、前記被写体領域の比較を行っても良い。

【0012】

また、前記領域検出部による検出結果と、前記判定部による判定結果とを記録する履歴記録部をさらに備え、前記判定部は、少なくとも前記マスクの大きさ変化に基づいて前記被写体領域の比較を行う際に、前記マスクの大きさ変化の変化量を、前記履歴記録部に記録された前記検出結果と前記判定結果との少なくとも一方に基づく閾値と比較することにより、前記被写体領域の比較を行っても良い。

【0013】

また、前記領域検出部による検出結果と、前記判定部による判定結果とを記録する履歴記録部をさらに備え、前記判定部は、前記履歴記録部に記録された前記検出結果と前記判定結果との少なくとも一方に基づき、任意の前記被写体領域が過去に検出されているか否かを判定し、任意の前記被写体領域が過去に検出されていた場合には、前記所定の枚数よりも少ない任意の枚数の画像において連続あるいは間欠連続して同一の前記被写体領域が前記領域検出部により検出されていれば、前記領域が安定していると判定しても良い。

【0014】

また、前記領域検出部による検出が有効であるか否かを判定する第２判定部をさらに備え、前記判定部は、前記複数の画像のうち少なくとも２枚の画像において、前記被写体領域を比較することにより、前記領域が安定しているか否かを判定しても良い。

【0015】

また、前記領域検出部により複数の前記被写体領域が検出された場合に、前記判定部は、前記領域が安定しているか否かの判定を中止し、前記設定部は、前記主要被写体領域の設定を中止しても良い。

【0016】

また、前記取得部は、前記複数の画像として、時間的に連続して生成された前記複数の画像に代えて、時間的に間欠して生成された複数の画像データを順次取得しても良い。

【0017】

本発明の撮像装置は、光学系による像を撮像して画像データを生成する撮像部と、上述した画像処理装置とを備えた撮像装置であって、前記撮像装置の動きを検出するセンサを有する動き検出部をさらに備え、前記取得部は、前記撮像部により生成された画像を取得し、前記第２判定部は、前記動き検出部による検出結果に基づいて、前記領域検出部による検出が有効であるか否かを判定する。

【0018】

本発明の別の撮像装置は、光学系による像を撮像して画像データを生成する撮像部と、上述した画像処理装置とを備えた撮像装置であって、前記取得部により取得した前記複数の画像のうち、少なくとも２枚の画像に基づいて、前記撮像装置の動きを検出する動き検出部をさらに備え、前記取得部は、前記撮像部により生成された画像を取得し、前記第２判定部は、前記動き検出部による検出結果に基づいて、前記領域検出部による検出が有効であるか否かを判定する。

【0019】

なお、前記第２判定部による判定結果に基づいて、前記領域検出部と、前記判定部と、前記設定部と、前記動き検出部との少なくとも１つを制御する制御部をさらに備えても良い。

【0020】

また、前記第２判定部による判定結果に基づいて、前記領域検出部による前記被写体領域の検出を中止する制御部をさらに備えても良い。

【0021】

また、前記判定部は、前記領域検出部において過去に検出した被写体領域を再び検出し、かつ、前記動き検出部による検出結果により前記撮像装置が所定の動きをしたと推測できる場合には、前記領域が安定していると判定しても良い。

【0022】

また、前記判定部は、前記領域検出部において過去に検出した被写体領域を再び検出し、かつ、前記動き検出部による検出結果により前記撮像装置が所定の動きをしたと推測できる場合には、それ以外の場合よりも条件を緩めて前記領域が安定しているか否かを判定しても良い。

【0023】

また、前記判定部は、前記領域検出部において前記被写体領域を検出し、かつ、前記動き検出部による検出結果により、前記撮像装置が一定の速度で一定時間以上継続して動いたと推測できる場合には、前記領域が安定していると判定しても良い。

【0024】

また、前記設定部は、前記判定部による判定結果に基づいて主要被写体領域を設定する第１のモードと、焦点調節情報に基づいて主要被写体領域を設定する第２のモードとを切り替え可能に有し、前記第１のモードによって前記主要被写体領域を設定できない場合には、前記第２のモードに切り替えても良い。

【0025】

本発明の別の撮像装置は、光学系による像を撮像して画像データを生成する撮像部と、時間的に連続して生成された複数の画像データを前記撮像部から順次取得する取得部と、前記画像データにより示される画像における特徴量を算出し、前記特徴量に基づいて被写体領域を検出する領域検出部と、前記取得部により取得された前記複数の画像データにより示される画像のうち、少なくとも２枚の画像において検出された前記被写体領域を比較することにより、前記領域検出部により検出された領域が安定しているか否かを判定する判定部と、前記判定部により前記領域が安定していると判定すると、前記判定の対象となった前記被写体領域を主要被写体領域として設定する設定部とを備える。

【0026】

本発明の画像処理プログラムは、コンピュータに、時間的に連続して生成された複数の画像データを順次取得する取得手順と、前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて被写体領域を検出する領域検出手順と、前記取得手順において取得した前記複数の画像データにより示される画像のうち、少なくとも２枚の画像において検出された前記被写体領域を比較することにより、前記領域検出手順により検出された領域が安定しているか否かを判定する判定手順と、前記判定手順において前記領域が安定していると判定すると、前記判定の対象となった前記被写体領域を主要被写体領域として設定する設定手順とを実行させる。

【発明の効果】

【0027】

本発明によれば、容易かつ的確に主要被写体領域の抽出を継続的に行うことができる。

【図面の簡単な説明】

【0028】

【図1】レンズ鏡筒１０と、撮像装置２０と、記憶媒体４０との構成を示すブロック図である。

【図2】自動検出モード実行時のＣＰＵ２６の動作を示すフローチャートである。

【図3】マスク抽出処理により抽出されたマスクが安定しているか否かの判定について説明する図である。

【図4】自動検出モード実行時のＣＰＵ２６の動作を示す別のフローチャートである。

【図5】自動検出モード実行時のＣＰＵ２６の動作を示す別のフローチャート（続き）である。

【発明を実施するための形態】

【0029】

＜第１実施形態＞
以下、第１実施形態について図面を参照して詳細に説明する。

【0030】

第１実施形態では、図１に示すようなレンズ鏡筒１０と、撮像装置２０と、記録媒体４０とからなる装置を例に挙げて説明する。

【0031】

撮像装置２０は、レンズ鏡筒１０から入射される光学像を撮像する。得られた画像は静止画又は動画の画像として、記憶媒体４０に記憶される。

【0032】

レンズ鏡筒１０は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」と称する）１１と、レンズ駆動部１２と、ＡＦエンコーダ１３と、鏡筒制御部１４とを備える。なお、レンズ鏡筒１０は、撮像装置２０に着脱可能に接続されてもよいし、撮像装置２０と一体であってもよい。

【0033】

撮像装置２０は、撮像部２１と、画像処理装置２２と、表示部２３と、バッファメモリ部２４と、記憶部２５と、ＣＰＵ２６と、操作部２７と、通信部２８とを備える。撮像部２１は、撮像素子２９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部３０とを備える。撮像部２１は、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ２６により制御される。

【0034】

レンズ鏡筒１０において、ＡＦレンズ１１は、レンズ駆動部１２により駆動され、撮像装置２０の撮像素子２９の受光面（光電変換面）に、光学像を導く。ＡＦエンコーダ１３は、ＡＦレンズ１１の移動を検出し、ＡＦレンズ１１の移動量に応じた信号を、鏡筒制御部１４に出力する。ここで、ＡＦレンズ１１の移動量に応じた信号とは、例えば、ＡＦレンズ１１の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。

【0035】

鏡筒制御部１４は、撮像装置２０のＣＰＵ２６から入力される駆動制御信号に応じて、レンズ駆動部１２を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１を光軸方向に駆動させる制御信号である。鏡筒制御部１４は、駆動制御信号に応じて、例えば、レンズ駆動部１２に出力するパルス電圧のステップ数を変更する。また、鏡筒制御部１４は、ＡＦレンズ１１の移動量に応じた信号に基づいて、レンズ鏡筒１０におけるＡＦレンズ１１の位置（フォーカスポジション）を、撮像装置２０のＣＰＵ２６に出力する。ここで、鏡筒制御部１４は、例えば、ＡＦレンズ１１の移動量に応じた信号を、ＡＦレンズ１１の移動方向に応じて積算することで、レンズ鏡筒１０におけるＡＦレンズ１１の移動量（位置）を算出してもよい。レンズ駆動部１２は、鏡筒制御部１４の制御に応じてＡＦレンズ１１を駆動し、ＡＦレンズ１１をレンズ鏡筒１０内で光軸方向に移動させる。

【0036】

撮像装置２０において、撮像素子２９は、光電変換面を備え、レンズ鏡筒１０（光学系）により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部３０に出力する。撮像素子２９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの光電変換素子で構成される。また、撮像素子２９は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（画像切り出し）。また、撮像素子２９は、操作部２７を介してユーザからの撮影指示を受け付けた際に得られる画像を、Ａ／Ｄ変換部３０および通信部２８を介して記憶媒体４０に出力する。一方、撮像素子２９は、操作部２７を介してユーザからの撮影指示を受け付ける前の状態において、連続的に得られる画像をスルー画像として、バッファメモリ部２４及び表示部２３に、Ａ／Ｄ変換部３０を介して出力する。

【0037】

Ａ／Ｄ変換部３０は、撮像素子２９によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部２４等に出力する。

【0038】

画像処理装置２２は、記憶部２５に記憶されている画像処理条件に基づいて、バッファメモリ部２４に一時的に記憶されている画像に対する画像処理を行う。そして、画像処理後の画像は、通信部２８を介して記憶媒体４０に記憶される。また、画像処理装置２２は、バッファメモリ部２４に一時的に記憶されている画像に対して、マスク抽出処理を行う（詳細は後述する）。そして、抽出したマスクに関する情報は、ＣＰＵ２６に出力されるとともに、記憶部２５や記憶媒体４０等に記憶される。

【0039】

表示部２３は、例えば液晶ディスプレイであって、撮像部２１によって生成された画像、及び操作画面等を表示する。バッファメモリ部２４は、撮像部２１によって生成された画像を一時的に記憶する。記憶部２５は、撮像条件や、各種判定の際にＣＰＵ２６によって参照される判定条件などを記憶する。

【0040】

ＣＰＵ２６は、画像処理部２２や記憶部２５などから適宜必要な情報を取得し、取得した情報に基づいて、撮像装置２０内の各部を統括的に制御する。ＣＰＵ２６による制御には、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、閃光の発光量の変更の設定、被写体追尾の設定、各種撮影モードの設定、各種画像処理の設定、各種表示の設定、ズーム倍率に連動した明るさの最適化の設定などが含まれる。また、ＣＰＵ２６は、操作部２７の操作状態を監視するとともに、表示部２３への画像データの出力を行う。

【0041】

操作部２７は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ２６に出力する。

【0042】

通信部２８は、カードメモリ等の取り外しが可能な記憶媒体４０と接続され、この記憶媒体４０への情報（画像データ、領域の情報など）の書込み、読み出し、あるいは消去を行う。

【0043】

記憶媒体４０は、撮像装置２０に対して着脱可能に接続される記憶部であって、情報（画像データ、領域の情報など）を記憶する。なお、記憶媒体４０は、撮像装置２０と一体であってもよい。

【0044】

撮像装置２０は、撮影時に、焦点調節情報に基づいて主要被写体領域を検出する通常モードの他に、自動で主要被写体領域を検出する自動検出モードを備える。自動検出モードは、構図確認用のスルー画像等に基づいて、主要被写体領域を自動で継続的に検出し、検出した主要被写体領域の情報を表示部２３に表示するとともに、バッファメモリ部２４や記憶部２５等に記憶するモードである。この自動検出モードは操作部２７を介したユーザ操作により設定可能であっても良いし、ＣＰＵ２６により自動で設定可能であっても良い。

【0045】

以下、自動検出モード実行時のＣＰＵ２６の動作について、図２のフローチャートを参照して説明する。

【0046】

ステップＳ１０１において、ＣＰＵ２６は、撮像部２１を制御して、スルー画像の取得を開始する。取得されたスルー画像の画像情報はバッファメモリ部２４に一時的に記憶される。このスルー画像は、所定の時間間隔で連続して生成される。そして、ＣＰＵ２６によるスルー画像の取得は、時間的に連続して順次行われる。

【0047】

ステップＳ１０２において、ＣＰＵ２６は、画像処理装置２２を制御して通常の画像処理を行う。通常の画像処理とは、ホワイトバランス調整、補間処理、色調補正処理、階調変換処理などである。各処理の具体的な方法は公知技術と同様であるため説明を省略する。画像処理装置２２は、バッファメモリ部２４から対象となる画像の画像データを取得し、画像処理を施した後に、再びバッファメモリ部２４に出力する。

【0048】

ステップＳ１０３において、ＣＰＵ２６は、画像処理装置２２を制御してマスク抽出処理を行う。マスク抽出処理とは、画像における特徴量を算出し、前記特徴量に基づいて被写体領域を検出するための一手法である。例えば、画像における特徴量から評価値を求め、同じ評価値の連続領域を求めることによりマスク抽出を行う。マスク抽出の手法はどのような方法であっても良い。また、マスク抽出の具体的な方法は公知技術と同様であるため説明を省略する。

【0049】

ステップＳ１０４において、ＣＰＵ２６は、被写体領域を抽出できたか否かを判定する。ＣＰＵ２６は、被写体領域を抽出できたと判定するとステップＳ１０５に進む。一方、被写体領域を抽出できないと判定すると、ＣＰＵ２６は、ステップＳ１０２に戻り、次のフレームの画像に対してステップＳ１０２以降の処理を行う。

【0050】

被写体領域を抽出できたか否かとは、すなわち、ステップＳ１０３におけるマスク抽出処理によりマスク抽出が成功したか否かということである。例えば、ステップＳ１０３におけるマスク抽出処理において、特徴量が算出できなかったり、評価値が低すぎたりした場合には、マスク抽出が失敗し、被写体領域を抽出できないことになる。被写体領域を抽出できない場合、ＣＰＵ２６は、以降の処理を行わずに、被写体領域を抽出できるまで、ステップＳ１０２の通常の画像処理およびステップＳ１０３のマスク抽出処理を繰り返す。

【0051】

ステップＳ１０５において、ＣＰＵ２６は、マスク情報をバッファメモリ部２４や記憶部２５等に記録する。マスク情報には、ステップＳ１０３のマスク抽出処理の抽出条件（色区分やマスク区分など）、マスクの位置、マスクの大きさや形状などの情報が含まれる。

【0052】

ステップＳ１０６において、ＣＰＵ２６は、ｎ回（ｎフレーム）以上連続して同一のマスクを抽出したか否かを判定する。ＣＰＵ２６は、図３に示すように、ｎ回以上連続して同一のマスクを抽出したと判定すると後述するステップＳ１０８に進む。一方、ｎ回以上連続して同一のマスクを抽出していないと判定すると、ＣＰＵ２６は、ステップＳ１０８に進む。

【0053】

同一のマスクを抽出する場合とは、複数フレームにおいて、略同色、略同サイズのマスクが、略同じ位置において抽出する場合である。この判定には、ステップＳ１０５で説明したマスク情報等を用いれば良い。何れの場合も、フレーム間の変化量が規定以内である場合に、同一と判定することができる。このように、抽出したマスクを比較することにより、主要被写体領域の候補となる被写体領域を、フレーム間で比較することができる。なお、ステップＳ１０５で説明したマスク情報等に基づいて、過去に行われたマスク抽出の傾向（抽出されたマスクの種類、出現頻度など）を求め、この傾向に応じて上述した変化量が規定以内であるかを判断する閾値を適宜変更可能としても良い。例えば、過去に高い頻度で抽出されたマスクについては、閾値を大きめに変更しても良い。

【0054】

この判定は、ステップＳ１０３のマスク抽出処理により抽出されたマスクが安定しているか否かを判定するためのものである。ステップＳ１０３のマスク抽出処理により抽出されたマスクが安定している場合、主要被写体領域を正しく検出していると判断することができる。なお、上述したｎは所定の閾値（例えば、ｎ＝７）であり、撮像部２１による撮像時のフレームレート、レンズ鏡筒１０におけるズーム倍率、操作部２７を介したユーザ操作などに基づいて適宜変更可能としても良い。さらに、ステップＳ１０５で説明したマスク情報等に基づいて、過去に行われたマスク抽出の傾向（抽出されたマスクの種類、出現頻度など）を求め、この傾向に応じて上述したｎの値を適宜変更可能としても良い。例えば、過去に高い頻度で抽出されたマスクについては、ｎの値を小さめに変更しても良い。

【0055】

また、ｎ回（ｎフレーム）以上連続して同一のマスクを抽出したか否かを判定する代わりに、Ｎ／Ｍ回（Ｎ／Ｍフレーム）同一のマスクを抽出したか否かを判定しても良い。例えば、Ｎ＝３、Ｍ＝５として、５回（５フレーム）のうち、３回（３フレーム）において同一のマスクを抽出した場合には、ステップＳ１０３のマスク抽出処理により抽出されたマスクが安定していると判定しても良い。ＮおよびＭは上述したｎの値と同様に、適宜変更可能としても良い。

【0056】

また、ステップＳ１０６で行った判定の内容を、ステップＳ１０５で説明したマスク情報に追加して記録しておき、以降のフレームに関する処理時に用いる構成としても良い。

【0057】

ステップＳ１０７において、ＣＰＵ２６は、前回まで連続して同一のマスクを抽出したか否かを判定する。この判定にも、ステップＳ１０５で説明したマスク情報等を用いれば良い。ＣＰＵ２６は、前回まで連続して同一のマスクを抽出したと判定するとステップＳ１０８に進む。一方、ｎ回以上連続して同一のマスクを抽出していないと判定すると、ＣＰＵ２６は、後述するステップＳ１１１に進む。

【0058】

前回まで連続して同一のマスクを抽出した場合には、今回のみ一時の未抽出が発生した可能性がある。上述した未抽出は、被写体の一時的な変化、光源変化、抽出処理のエラーなどにより発生する。したがって、このような場合には、一時的な未抽出によりそれまでの蓄積を無効にせず、次のフレームにおいて同一のマスクを抽出した場合には、前回までの安定状態が維持されているものとし、後述するステップＳ１０８に進む。なお、このような一時的な未抽出が発生した場合に、ステップＳ１０２に戻る構成としても良い。さらに、ステップＳ１０２に戻った後は、ステップＳ１０６におけるｎの値を小さめに変更しても良い。例えば、通常は７回以上で安定と判断するが、一時的な未検出が発生した後は、３回以上で安定と判断するなどの例が考えられる。

【0059】

ステップＳ１０８において、ＣＰＵ２６は、抽出したマスクに基づいて主要被写体領域を設定する。主要被写体領域は、ステップＳ１０６またはステップＳ１０７において判定の対象となったフレームの画像において、ステップＳ１０３で抽出されたマスクに基づいて求められる。

【0060】

ステップＳ１０９において、ＣＰＵ２６は、主要被写体領域の情報をバッファメモリ部２４や記憶部２５等に記録する。主要被写体領域の情報には、用いられたマスクに関するマスク情報、主要被写体領域の位置、主要被写体領域の大きさや形状などの情報が含まれる。

【0061】

ステップＳ１１０において、ＣＰＵ２６は、主要被写体領域の情報を表示部２３に表示する。ＣＰＵ２６は、表示部２６を制御し、ステップＳ１０１で取得したスルー画像に重畳して、主要被写体領域を視認可能に表示する。例えば、ＣＰＵ２６は、主要被写体領域に枠などを表示する。なお、この枠は、主要被写体領域の形状に応じたものであっても良いし、矩形や円形など所定の形状であっても良い。また、線の太さ、濃淡、色などはどのようなものであっても良い。いずれにせよ、このような表示を行うことにより、ユーザは、ＣＰＵ２６が自動で検出している主要被写体領域がどのようなものであるかを、容易に把握することができる。

【0062】

ステップＳ１１１において、ＣＰＵ２６は、ｍ回（ｍフレーム）以上連続して設定に失敗したか否かを判定する。ＣＰＵ２６は、ｍ回以上連続してステップＳ１０８で説明した主要被写体領域の設定処理を行えなかった場合、ｍ回以上連続して失敗したと判定してステップＳ１１２に進む。一方、ｍ回以上連続して失敗していないと判定すると、ＣＰＵ２６は、後述するステップＳ１１３に進む。なお、上述したｍは所定の閾値（例えば、ｍ＝３０）であり、操作部２７を介したユーザ操作などに基づいて適宜変更可能としても良い。

【0063】

ステップＳ１１２において、ＣＰＵ２６は、自動検出モードによる検出は困難であると判断し、焦点調節情報に基づいて主要被写体領域を検出する通常モードに変更して一連の処理を終了する。なお、自動検出モードから変更する際には、表示部２３等を利用して、ユーザに対する報知を行っても良い。

【0064】

ステップＳ１１３において、ＣＰＵ２６は、主要被写体領域の設定処理を行っていない状態で撮影指示が行われてしまう場合に備えて、通常の３Ａ処理を行う。３Ａ処理とは、焦点調整（ＡＦ）の設定処理、露出調整（ＡＥ）の設定処理、ホワイトバランス調整処理（ＡＷＢ）であり、公知技術と同様に行われる。

【0065】

なお、任意の被写体領域がステップＳ１０８の処理により主要被写体領域として設定されている場合には、ＣＰＵ２６は、その設定を解除するとともに、表示部２３における主要被写体領域の情報の表示を終了してステップＳ１１４に進む。

【0066】

ステップＳ１１４において、ＣＰＵ２６は、撮影指示が行われたか否かを判定する。ＣＰＵ２６は、撮影指示が行われたと判定するとステップＳ１１５に進む。一方、撮影指示が行われないと判定すると、ＣＰＵ２６は、ステップＳ１０２に戻り、次のフレームの画像に対してステップＳ１０２以降の処理を行う。撮影指示は、操作部２７のシャッタボタンを介したユーザ操作により行われる。このユーザ操作は、いわゆる半シャッタと全シャッタの何れであっても良い。

【0067】

ステップＳ１１５において、ＣＰＵ２６は、各部を制御して撮影を実行する。このとき、ＣＰＵ２６は、ステップＳ１０８で設定した主要被写体領域の情報に基づいて撮影を行う。ＣＰＵ２６は、ステップＳ１０８で主要被写体領域を設定している場合には、設定した主要被写体領域の情報に基づいて、焦点調整（ＡＦ）の設定処理、露出調整（ＡＥ）の設定処理、ホワイトバランス調整処理（ＡＷＢ）の３Ａ処理を行うとともに、画像処理装置２２における各種画像処理の条件等を決定する。また、ステップＳ１１３で通常の３Ａ処理を行っている場合には、３Ａ処理の結果に基づいて、焦点調整（ＡＦ）の設定処理、露出調整（ＡＥ）の設定処理、ホワイトバランス調整処理（ＡＷＢ）の３Ａ処理を行うとともに、画像処理装置２２における各種画像処理の条件等を決定する。

【0068】

ステップＳ１１６において、ＣＰＵ２６は、撮像により生成した画像を、通信部２８を介して記憶媒体４０に記録して一連の処理を終了する。

【0069】

以上説明した一連の処理により、ＣＰＵ２６は、主要被写体の遷移状態を継続的に検出することができる。遷移状態には以下のようなものがある。
・検出：ある被写体が、規定フレームに渡って安定的にマスク抽出されることにより、主要被写体領域として設定される（ステップＳ１０６→ステップＳ１０８等）。
・継続：設定された主要被写体領域が後続のフレームでも安定的にマスク抽出される（ステップＳ１０８等）。
・中止：設定された主要被写体領域が後続のフレームで消失し、設定が解除される（ステップＳ１１３等）。
・更新：設定された主要被写体領域が後続のフレームで消失し、新たな被写体が主要被写体領域として設定される（ステップＳ１１３→（中略）→ステップＳ１０６→ステップＳ１０８等）。
・復元：設定された主要被写体領域が後続のフレームで一旦消失し、再度出現して主要被写体領域として設定される（ステップＳ１０７→ステップＳ１０８等）。

【0070】

以上説明したように、第１実施形態によれば、時間的に連続して生成された複数の画像データを順次取得し、画像データにより示される画像の特徴量を算出し、特徴量に基づいて被写体領域を検出する。そして、複数の画像のうち、少なくとも２枚の画像において検出された被写体領域を比較することにより、検出された領域が安定しているかを判定し、安定していると判定すると、判定の対象となった被写体領域を主要被写体領域として設定する。

【0071】

通常、撮影において最も一般的なケースは、静止している被写体を撮影するケースである。このような場合には、撮像装置自体の動きは少なく、かつ、撮影対象の画面内にも動いている物体はほとんどない状態である。したがって、上述の構成により、容易かつ的確に主要被写体領域の抽出を継続的に行うことができる。特に、従来のいわゆる追尾技術とは異なり、ユーザの指定操作を必要としない上に、新しい被写体が出現した場合でも柔軟に対応することができる。また、従来のいわゆる顔認識技術と異なり、顔以外の被写体であっても、主要被写体領域として設定することができる。

【0072】

また、第１実施形態によれば、画像に対し位置関係がわかるように、設定した主要被写体領域を視認可能に表示する。したがって、ユーザは、撮像装置が自動で検出している主要被写体領域がどのようなものであるかを、容易に把握することができる。

【0073】

また、第１実施形態によれば、設定した主要被写体領域に関する情報を記録する。したがって、主要被写体領域の情報を撮影時や撮影後の画像処理時に重点的に利用することができる。

【0074】

＜第２実施形態＞
以下、第２実施形態について図面を参照して詳細に説明する。第２実施形態は、第１実施形態の変形例である。したがって、第１実施形態と異なる部分についてのみ説明し、第１実施形態と同様の部分については説明を省略する。

【0075】

第２実施形態では、第１実施形態の図１に示したレンズ鏡筒１０と、撮像装置２０と、記録媒体４０とからなる装置を例に挙げて説明する。ただし、第２実施形態において、撮像装置２０は、撮像装置２０自体の動きを検出する動きセンサ（不図示）をさらに有する。この動きセンサは加速度センサなどにより構成され、その検出結果は、ＣＰＵ２６に出力される。

【0076】

第１実施形態では、上述したように、静止している被写体を撮影するケースを前提とした処理を説明した。第２実施形態では、以下に１）〜５）に示す様々なケースに対応可能な処理について説明する。はじめに各ケースについて説明し、次に、各ケースに対応するための一連の処理について説明する。
１）静止している被写体の撮影
撮像装置自体の動きは少なく、かつ、撮影対象の画面内にも動いている物体はほとんどない状態である。このような場合には、構図は略決まっているため、第１実施形態と略同様の処理を行う。
２）動いている被写体（動く乗り物、動物など）の撮影
撮像装置自体の動き量は一定以下で比較的少なく、かつ、撮影対象の画面内に動いている物体がある状態である。このような場合には、構図は略決まっていて、動いている被写体を、好みの状態、好みの位置で撮影しようとしている可能性が高い。そのため、抽出されたマスクの位置がある程度変化しても、主要被写体領域として設定する処理を行う。
３）構図決め中、動く乗り物からの撮影
撮像装置自体の動き量は一定以上で比較的多く、かつ、移動速度が一般的なフレーミング速度より遅い状態である。このような場合には、撮影対象の被写体は決まっていて、被写体の確認中、構図の調整中、シャッタチャンス待機中である可能性が高い。そのため、抽出は継続しつつ、主要被写体領域の設定の待機をし、ある程度安定したら主要被写体領域として設定する処理を行う。
４）被写体の探索中
撮像装置自体の動き量は一定以上で比較的多く、かつ、上述した３）よりも移動速度が若干速い状態である。このような場合には、被写体の探索中である可能性が高い。そのため、抽出は継続しつつ、主要被写体領域の設定の待機をする処理を行う。
５）被写体の追跡中、流し撮り撮影
撮像装置自体がある程度の移動速度で移動していて、かつ、撮影対象の画面の中心近傍の被写体を追っている状態である。このような場合には、被写体の追跡中、あるいは、流し撮り撮影中である可能性が高い。そのため、抽出は継続しつつ、主要被写体領域の設定の待機をし、ある程度安定したら主要被写体領域として設定する処理を行う。ただし、流し撮り撮影の場合、抽出されたマスクが主要被写体領域である確度が極めて高いため、抽出されたマスクが一旦消失し、再度出現した場合（被写体の復元）には、安定と判断する条件を緩めても良い。

【0077】

何れのケースにおいても、基本的には、マスク抽出自体が有効であるか否かを判定し、有効と判定されたマスク抽出により抽出されたマスクに基づく被写体領域のみを対象として、マスク抽出処理により抽出されたマスクが安定している否かを判定する。

【0078】

以下、自動検出モード実行時のＣＰＵ２６の動作について、図４および図５のフローチャートを参照して説明する。

【0079】

ステップＳ２０１において、ＣＰＵ２６は、第１実施形態のステップＳ１０１と同様に、撮像部２１を制御して、スルー画像の取得を開始する。

【0080】

ステップＳ２０２において、ＣＰＵ２６は、第１実施形態のステップＳ１０２と同様に、画像処理装置２２を制御して通常の画像処理を行う。

【0081】

ステップＳ２０３において、ＣＰＵ２６は、連続して取得された少なくとも２枚の画像に基づいて、撮像装置２０の動き量を検出する。動き量の検出は公知技術と同様に行われる。例えば、画像解析、フレーム差分、マッチング誤差、動きベクトルなどによって動き量を検出することができる。なお、ここで検出した動き量は、後述するステップＳ２０７のマスク抽出処理、後述するステップＳ２１０からＳ２１３の判定処理、ステップＳ２１８からＳ２２０の各処理などに適宜利用しても良い。例えば、動き量を、ステップＳ２０７のマスク抽出処理時に加味して処理を行っても良い。また、動き量が所定の上限量以上の場合には、撮像装置２０の動き量が多すぎて、自動検出に相応しくないと考えられるので、以降の処理を行わずに、ステップＳ２０２に戻る構成としても良い、この場合、動き量が自動検出相応しい動き量となるまで、ステップＳ２０２の通常の画像処理およびステップＳ２０３の動き量の検出を繰り返す。

【0082】

ステップＳ２０４において、ＣＰＵ２６は、ステップＳ２０３で検出した動き量が所定の閾値Ｔａ以上であるか否かを判定する。ＣＰＵ２６は、ステップＳ２０３で検出した動き量が所定の閾値Ｔａ以上であると判定するとステップＳ２０５に進む。一方、ステップＳ２０３で検出した動き量が所定の閾値Ｔａ未満であると判定すると、ＣＰＵ２６は、後述するステップＳ２０６に進む。

【0083】

この判定は、撮像装置２０自体が静止していると見なせるか否かを判定するためのものである。撮像装置２０自体が静止していると見なせる場合、ＣＰＵ２６は、マスク抽出を行うために、後述するステップＳ２０６に進む。一方、撮像装置２０自体が静止していると見なせない場合、ＣＰＵ２６は、さらに詳細な情報を得るためにステップＳ２０５に進む。なお、上述したＴａは経験的に定められる所定の閾値であり、操作部２７を介したユーザ操作などに基づいて適宜変更可能としても良い。

【0084】

ステップＳ２０５において、ＣＰＵ２６は、不図示の動きセンサの出力値が所定の閾値Ｔｂ以上であるか否かを判定する。ＣＰＵ２６は、動きセンサの出力値が所定の閾値Ｔｂ以上であると判定するとステップＳ２０２に戻る。一方、動きセンサの出力値が所定の閾値Ｔｂ未満であると判定すると、ＣＰＵ２６は、ステップＳ２０６に進む。

【0085】

この判定は、撮像装置２０自体がどの程度の速さで動いているかを判定するためのものである。撮像装置２０自体の動き量が多すぎる場合には、撮像装置２０が速い速度で動いている可能性や、急速なズームが行われている可能性が高い。このように、自動検出に相応しくない場合には、ＣＰＵ２６は、以降の処理を行わずにステップＳ２０２に戻る。一方、撮像装置２０自体の動き量がある程度少ない場合、ＣＰＵ２６は、マスク抽出を行うために、ステップＳ２０６に進む。なお、上述したＴｂは経験的に定められる所定の閾値であり、操作部２７を介したユーザ操作などに基づいて適宜変更可能としても良い。

【0086】

ステップＳ２０６において、ＣＰＵ２６は、動き情報をバッファメモリ部２４や記憶部２５等に記録する。動き情報には、ステップＳ２０３で検出した動き量、ステップＳ２０５で説明した不図示の動きセンサの出力値などの情報が含まれる。

【0087】

ステップＳ２０７において、ＣＰＵ２６は、第１実施形態のステップＳ１０３と同様に、画像処理装置２２を制御してマスク抽出処理を行う。このとき、ＣＰＵ２６は、ステップＳ２０６で記録した動き情報を適宜利用しても良い。

【0088】

ステップＳ２０８において、ＣＰＵ２６は、第１実施形態のステップＳ１０４と同様に、被写体領域を抽出できたか否かを判定する。ＣＰＵ２６は、被写体領域を抽出できたと判定するとステップＳ２０９に進む。一方、被写体領域を抽出できないと判定すると、ＣＰＵ２６は、ステップＳ２０２に戻り、次のフレームの画像に対してステップＳ２０２以降の処理を行う。

【0089】

ステップＳ２０９において、ＣＰＵ２６は、第１実施形態のステップＳ１０５と同様に、マスク情報をバッファメモリ部２４や記憶部２５等に記録する。

【0090】

ステップＳ２１０において、ＣＰＵ２６は、撮像装置２０が低速移動しているか否かを判定する。ＣＰＵ２６は、撮像装置２０が低速移動していると判定するとステップＳ２１１に進む。一方、撮像装置２０が低速移動していないと判定すると、ＣＰＵ２６は、後述するステップＳ２１２に進む。この判定は、ステップＳ２０６で記録した動き情報を、所定の閾値と比較することにより行われる。

【0091】

ステップＳ２１１において、ＣＰＵ２６は、追跡マスクが再登場したか否かを判定する。ＣＰＵ２６は、追跡マスクが再登場したと判定すると後述するステップＳ２１８に進む。一方、追跡マスクが再登場していないと判定すると、ＣＰＵ２６は、後述するステップＳ２１３に進む。追跡マスクとは、過去にマスク抽出により抽出され、主要被写体領域として設定されたマスクのうち、出現頻度がある程度高いマスクである。この判定は、ステップＳ２０９で説明したマスク情報に基づいて行うことができる。そして、追跡マスクが再登場した場合には、設定された主要被写体領域が後続のフレームで一旦消失し、再度出現した場合や、撮像装置２０が、一定の速度で一定時間以上継続して動いたと推測できる場合を含む。このような場合には、ＣＰＵ２６は、ステップＳ２０７のマスク抽出処理により抽出されたマスクが安定しているか否かを判定せずに、主要被写体領域の設定を行うためにステップＳ２１８に進む。ただし、主要被写体領域の設定と主要被写体領域情報の記録のみ行い、主要被写体情報の表示を行わない構成としても良い。これは、被写体領域が次々に変化する可能性があり、表示が見づらくなる可能性があるためである。

【0092】

なお、追跡マスクが再登場した場合には、（ステップＳ２０７のマスク抽出処理により抽出されたマスクが安定しているか否かを判定せずに）主要被写体領域の設定を行う代わりに、ステップＳ２０７のマスク抽出処理により抽出されたマスクが安定しているか否かの判定に関する判定の条件を緩めて判定を行っても良い。また、追跡マスクが再登場した場合には、ステップＳ２０７のマスク抽出処理の抽出条件を緩めて再度抽出を行う構成としても良い。

【0093】

ステップＳ２１２において、ＣＰＵ２６は、第１実施形態のステップＳ１０６と略同様に、ｐ回（ｐフレーム）以上連続して同一のマスクを抽出したか否かを判定する。ＣＰＵ２６は、ｐ回以上連続して同一のマスクを抽出したと判定すると後述するステップＳ２１８に進む。一方、ｐ回以上連続して同一のマスクを抽出していないと判定すると、ＣＰＵ２６は、後述するステップＳ２１５に進む。

【0094】

なお、上述したｐは所定の閾値であり、撮像部２１による撮像時のフレームレート、レンズ鏡筒１０におけるズーム倍率、操作部２７を介したユーザ操作などに基づいて適宜変更可能としても良い。さらに、ステップＳ２０９で説明したマスク情報等に基づいて、過去に行われたマスク抽出の傾向（抽出されたマスクの種類、出現頻度など）を求め、この傾向に応じて上述したｐの値を適宜変更可能としても良い。例えば、過去に高い頻度で抽出されたマスクについては、ｐの値を小さめに変更しても良い。

【0095】

ステップＳ２１３において、ＣＰＵ２６は、第１実施形態のステップＳ１０６と略同様に、ｑ回（ｑフレーム）以上連続して同一のマスクを抽出したか否かを判定する。ＣＰＵ２６は、ｑ回以上連続して同一のマスクを抽出したと判定するとステップＳ２１４に進む。一方、ｑ回以上連続して同一のマスクを抽出していないと判定すると、ＣＰＵ２６は、後述するステップＳ２１５に進む。

【0096】

この判定においては、ステップＳ２０７のマスク抽出処理の抽出条件を緩めて再度抽出を行い、ｑ回以上連続して同一のマスクを抽出したか否かを判定する。なお、上述したｑは所定の閾値であり、上述した閾値ｐよりも小さい値である。この結果、ステップＳ２１３においてｑ回以上連続して同一のマスクを抽出したと判定される場合とは、対象マスクが、ステップＳ２１１で説明した追跡マスクに該当する場合であり、ＣＰＵ２６は、追跡マスクを設定するためにステップＳ２１４に進む。

【0097】

ステップＳ２１４において、ＣＰＵ２６は、マスク情報をバッファメモリ部２４や記憶部２５等に記録する。ステップＳ２１４におけるマスク情報とは、対象マスクが、ステップＳ２１１で説明した追跡マスクであることを示す情報である。

【0098】

ステップＳ２１５において、ＣＰＵ２６は、第１実施形態のステップＳ１１１と略同様に、ｍ回（ｍフレーム）以上連続して設定に失敗したか否かを判定する。ＣＰＵ２６は、ｍ回以上連続してステップＳ２１８で説明した主要被写体領域の設定処理を行えなかった場合、ｍ回以上連続して失敗したと判定してステップＳ２１６に進む。一方、ｍ回以上連続して失敗していないと判定すると、ＣＰＵ２６は、後述するステップＳ２１７に進む。

【0099】

ステップＳ２１６において、ＣＰＵ２６は、第１実施形態のステップＳ１１２と同様に、自動検出モードによる検出は困難であると判断し、焦点調節情報に基づいて主要被写体領域を検出する通常モードに変更して一連の処理を終了する。

【0100】

ステップＳ２１７において、ＣＰＵ２６は、第１実施形態のステップＳ１１３と同様に、主要被写体領域の設定処理を行っていない状態で撮影指示が行われてしまう場合に備えて、通常の３Ａ処理を行う。

【0101】

ステップＳ２１８において、ＣＰＵ２６は、第１実施形態のステップＳ１０８と同様に、抽出したマスクに基づいて主要被写体領域を設定する。

【0102】

ステップＳ２１９において、ＣＰＵ２６は、第１実施形態のステップＳ１０９と同様に、主要被写体領域の情報をバッファメモリ部２４や記憶部２５等に記録する。

【0103】

ステップＳ２２０において、ＣＰＵ２６は、第１実施形態のステップＳ１１０と同様に、主要被写体領域の情報を表示部２３に表示する。

【0104】

ステップＳ２２１において、ＣＰＵ２６は、第１実施形態のステップＳ１１４と略同様に、撮影指示が行われたか否かを判定する。ＣＰＵ２６は、撮影指示が行われたと判定するとステップＳ２２２に進む。一方、撮影指示が行われないと判定すると、ＣＰＵ２６は、ステップＳ２０２に戻り、次のフレームの画像に対してステップＳ２０２以降の処理を行う。

【0105】

ステップＳ２２２において、ＣＰＵ２６は、第１実施形態のステップＳ１１５と同様に、各部を制御して撮影を実行する。

【0106】

ステップＳ２２３において、ＣＰＵ２６は、第１実施形態のステップＳ１１６と同様に、撮像により生成した画像を、通信部２８を介して記憶媒体４０に記録して一連の処理を終了する。

【0107】

なお、図４および図５のフローチャートにおいて、ステップＳ２０４で画像に基づいて求めた動き量と閾値Ｔａとを比較し、ステップＳ２０５で動きセンサの出力値と閾値Ｔｂとを比較する例を示したが、何れか一方のみ行っても良い。すなわち、動きセンサを備えずに、ステップＳ２０４で画像に基づいて求めた動き量と閾値Ｔａとを比較して以降の処理を決定しても良いし、画像に基づいて動き量を求めずに、ステップＳ２０５で動きセンサの出力値と閾値Ｔｂとを比較して以降の処理を決定しても良い。

【0108】

また、上述した１）から５）のケースを、画像解析、シーン解析、撮影モードの種類などにより判別し、ケース毎に予め定められた処理を行う構成としても良い。この場合、ケース毎に適切な閾値や判定条件を定めることが好ましい。

【0109】

以上説明したように、第２実施形態によれば、被写体領域の検出が有効であるか否かを判定し、有効と判定された検出により検出された被写体領域を比較することにより、検出された被写体領域が安定しているか否かを判定する。一般に、構図や画角がある程度定まるまでは、被写体領域の検出や主要被写体領域の抽出は、無駄になる処理が多くなる可能性が高く、効果的でない場合が多い。上述の構成により、第１実施形態の効果に加えて、不要な被写体検出や主要被写体領域の抽出を行ってしまうという問題に対処することができる。特に、主要被写体領域の設定に伴う表示や記録は、無闇に行うとユーザにとって不利益となる場合がある。上述の構成により、効果が期待できる場合にのみ主要被写体領域の設定に伴う表示や記録を行うことができる。

【0110】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【0111】

上述の各実施形態において、マスク抽出により複数の被写体領域が抽出された場合には、以下の（ａ）または（ｂ）の処理を行う。

【0112】

マスク抽出により複数の被写体領域が抽出された場合、以下の各処理が考えられる。
（ａ）マスク抽出処理に抽出されたマスクが安定しているか否かの判定を中止する。

【0113】

マスク抽出のみを継続的に行い、マスクが安定しているか否かの判定および主要被写体領域の設定処理は中止する。この処理は、一連の処理を開始した際でも、処理の途中で複数の被写体領域が抽出された際でも同様である。
（ｂ）予め設定された条件にしたがって以降の処理を行う。

【0114】

例えば、最も評価値の高い被写体領域のみを対象として以降の各処理を行っても良いし、複数の被写体領域のすべてを対象として以降の各処理を行っても良いし、複数の被写体領域のうち、一部の被写体領域のみを対象として以降の各処理を行っても良い。複数の被写体領域のうち、一部の被写体領域のみを対象とする場合、表示部２３等を利用してユーザに対象とする被写体領域を選択させる構成としても良いし、評価値、位置、出現頻度などに応じて一部の被写体領域を自動で選択する構成としても良い。

【0115】

なお、複数の被写体領域を主要被写体領域として設定する場合は、表示部２３に主要被写体領域の情報を表示する（図２ステップＳ１１０、図５ステップＳ２２０）際に、表示内容を工夫することが好ましい。例えば、表示枠の色を変える、線の太さを変える、線の濃淡を変える、線の種類（実線／点線）を変えるなどし、区別可能とするのが好ましい。

【0116】

また、複数の被写体領域のうち、一部の被写体領域のみを対象として以降の各処理を行う場合には、対象外となる被写体領域についても一部の処理を行い、情報の記録のみを行っても良い。また、複数の被写体領域が抽出された場合には、表示部２３等を利用して、エラー表示を行っても良い。

【0117】

また、上記の各実施形態では、自動で主要被写体領域を検出する自動検出モードと、焦点調節情報に基づいて主要被写体領域を検出する通常モードとを備える例を示したが、通常モードに代えてＳ１起動モード（詳細は後述する）を備えても良いし、通常モードおよび自動検出モードに加えてＳ１起動モードを備えても良い。

【0118】

Ｓ１起動モードとは、上述した各実施形態における自動検出モードとは異なり、操作部２７を介したユーザ操作（例えば、シャッタボタンの半シャッタ）に基づいて主要被写体領域の設定、主要被写体領域情報の表示および記録を行うモードである。このＳ１起動モードは、上述した各実施形態で説明した通常モードに代えて利用しても良い。例えば、自動検出モードによる検出は困難である場合に、Ｓ１起動モードを実行しても良い。

【0119】

また、Ｓ１起動モードにおいては、上述した各実施形態における自動検出モードよりも各種条件を緩める構成としても良い。すなわち、マスク抽出の抽出条件を緩く（抽出しやすく）しても良いし、マスク抽出処理により抽出されたマスクが安定しているか否かの判定を行う判定条件を緩くしても良い。逆に言えば、上述した各実施形態における自動検出モードにおいては、Ｓ１起動モードよりも各種条件を厳しくする構成としても良い。これは、自動検出を行う代わりに、その精度を可能な限り高くするためである。

【0120】

また、上記の各実施形態において、自動検出モードの中断処理、再開処理を適宜実行しても良い。例えば、上述したように、自動検出モードから通常モードやＳ１起動モードへ変更を行った後に、撮像装置２０の動き量や動きセンサの出力に応じて、自動検出モードを再開しても良い。また、例えば、自動検出モードによる検出は困難である場合にも、通常モードやＳ１起動モードへ変更せずに、処理を継続し続けても良い。

【0121】

また、上記の各実施形態においては、主要被写体領域の設定処理を行っていない状態で撮影指示が行われてしまう場合に備えて、通常の３Ａ処理を行う例を示したが、本発明はこの例に限定されない。例えば、主要被写体領域の設定処理を行っていない状態で撮影指示を含む所定のユーザ操作が行われた場合に、マスク情報（図２ステップＳ１０５、図４ステップＳ２０９等）を用いて簡易的に主要被写体領域を設定する構成としても良い。

【0122】

また、上記の各実施形態においては、構図確認用のスルー画像に基づいて、一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、一眼レフカメラなどにおいて生成される構図確認用のライブビュー画像を対象とする場合にも、本発明を同様に適用することができる。また、記録媒体４０等に記録された動画像を対象とする場合にも、本発明を同様に適用することができる。

【0123】

また、上記の各実施形態においては、すべてのフレームを対象として一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、時間的に間欠して生成された複数の画像を対象としても良い。具体的には、適宜フレーム間引きを行った複数の画像を対象としても良い。この場合、上記の各実施形態における一連の処理は間引きされた複数の画像を対象として実行しつつ、すべての画像について表示を行っても良い。このような処理を行うことにより、処理負荷を軽減することができる。

【0124】

また、コンピュータと画像処理プログラムとからなる「コンピュータシステム」により、上述した各実施形態で説明した画像処理をソフトウェア的に実現しても良い。この場合、各実施形態で説明したフローチャートの処理の一部または全部をコンピュータシステムで実行する構成とすれば良い。例えば、図２のステップＳ１０１からステップＳ１１３の処理の一部または全部をコンピュータで実行しても良い。また、図４のステップＳ２０１から図５のステップＳ２２０の処理の一部または全部をコンピュータで実行しても良い。このような構成とすることにより、上述した各実施形態と同様の処理を実施することが可能になる。

【0125】

また、「コンピュータシステム」は、ｗｗｗシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0126】

さらにコンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。

【0127】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

【0128】

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0129】

２０…撮像装置、２１…撮像部、２２…画像処理装置、２３‥表示部、２６…ＣＰＵ

【図1】

【図2】

【図3】

【図4】

【図5】