特許 6303395 画像処理装置、撮像装置、および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6303395

(24)【登録日】2018年3月16日

(45)【発行日】2018年4月4日

(54)【発明の名称】画像処理装置、撮像装置、および画像処理プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20180326BHJP

   G06T 1/00 20060101ALI20180326BHJP

【ＦＩ】

   H04N5/232 290

   G06T1/00 280

【請求項の数】8

【全頁数】14

(21)【出願番号】特願2013-220996(P2013-220996)

(22)【出願日】2013年10月24日

(65)【公開番号】特開2015-82802(P2015-82802A)

(43)【公開日】2015年4月27日

【審査請求日】2016年9月15日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100072718

【弁理士】

【氏名又は名称】古谷 史旺

(74)【代理人】

【識別番号】100151002

【弁理士】

【氏名又は名称】大橋 剛之

(74)【代理人】

【識別番号】100201673

【弁理士】

【氏名又は名称】河田 良夫

(72)【発明者】

【氏名】鉾井 逸人

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２００３−１１０９３５（ＪＰ，Ａ）

【文献】 特開２０１０−０５６６９２（ＪＰ，Ａ）

【文献】 特開２０１３−０４２２０１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

色情報又は輝度情報により画像に含まれる被写体領域を複数検出する領域検出部と、
前記領域検出部で検出された前記被写体領域の面積変化を、前記被写体領域を含む複数の画像を用いて算出する算出部と、
前記算出部で算出された前記被写体領域の面積変化により前記領域検出部で検出された複数の前記被写体領域から特定領域を抽出する抽出部と、を備え、
前記抽出部は、前記領域検出部で検出された複数の前記被写体領域のうち、前記算出部で算出された前記被写体領域の面積変化が小さい被写体領域を前記特定領域として抽出することを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記抽出部は、前記算出部で算出された前記被写体領域の面積変化により前記領域検出部で検出された複数の前記被写体領域に対して前記特定領域を抽出するための優先度を設定することを特徴とする画像処理装置。

【請求項3】

請求項２に記載の画像処理装置において、
前記抽出部は、前記領域検出部で検出された複数の前記被写体領域のうち、前記算出部で算出された前記被写体領域の面積変化が大きい被写体領域に対して前記優先度を低く設定することを特徴とする画像処理装置。

【請求項4】

請求項１から請求項３のいずれか一項に記載の画像処理装置において、
前記抽出部で抽出された前記特定領域を、前記特定領域が含まれる複数の画像を用いて継続的に検出されているか否かを判定する判定部を備えることを特徴とする画像処理装置。

【請求項5】

請求項１から請求項４のいずれか一項に記載の画像処理装置において、
前記算出部により前記領域検出部で検出された前記被写体領域の面積変化を算出するために用いる画像の数を変更する操作部材を備えることを特徴とする画像処理装置。

【請求項6】

被写体を撮像する撮像素子と、
請求項１から請求項５のいずれか一項に記載の画像処理装置と、を備え、
前記算出部は、前記領域検出部で検出された前記被写体領域の面積変化を算出するために用いる画像の数を前記撮像素子のフレームレートにより変更することを特徴とする撮像装置。

【請求項7】

光学系を介して被写体を撮像する撮像素子と、
請求項１から請求項５のいずれか一項に記載の画像処理装置と、を備え、
前記算出部は、前記領域検出部で検出された前記被写体領域の面積変化を算出するために用いる画像の数を前記光学系のズーム倍率により変更することを特徴とする撮像装置。

【請求項8】

コンピュータに、
色情報又は輝度情報により画像に含まれる被写体領域を複数検出する領域検出手順と、
前記領域検出手順で検出された前記被写体領域の面積変化を、前記被写体領域を含む複数の画像を用いて算出する算出手順と、
前記算出手順で算出された前記被写体領域の面積変化により前記領域検出手順で検出された複数の前記被写体領域から特定領域を抽出する抽出手順と、を実行させ、
前記抽出手順は、前記領域検出手順で検出された複数の前記被写体領域のうち、前記算出手順で算出された前記被写体領域の面積変化が小さい被写体領域を前記特定領域として抽出することを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、および画像処理プログラムに関する。

【背景技術】

【0002】

従来、焦点調節に関する様々な技術が考えられている。例えば、特許文献１の発明では、被写体抽出の手法を用いた焦点調節を行う撮像装置が開示されている。特許文献１の発明では、被写体形状の変化量に応じてＡＦ測距枠を変形することにより、被写体がカメラ方向に移動する場合でも、被写体に対して最適に自動焦点調節を行うことを可能としている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−０６９７４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、被写界内に複数の被写体が存在する場合など、ユーザが撮影対象としている特定領域（例えば、被写体領域や注目領域など）と、背景である特定領域とが撮像装置の光軸方向において重なって撮影される場合がある。このような場合には、背景である特定領域が抽出されてしまい、必ずしもユーザにとって望ましい特定領域が抽出されない場合がある。

【0005】

本発明は、前記の点に鑑みてなされたものであり、被写体に応じて、的確に特定領域の抽出を行うことを目的とする。

【課題を解決するための手段】

【0006】

本発明の画像処理装置は、色情報又は輝度情報により画像に含まれる被写体領域を複数検出する領域検出部と、前記領域検出部で検出された前記被写体領域の面積変化を、前記被写体領域を含む複数の画像を用いて算出する算出部と、前記算出部で算出された前記被写体領域の面積変化により前記領域検出部で検出された複数の前記被写体領域から特定領域を抽出する抽出部と、を備え、前記抽出部は、前記領域検出部で検出された複数の前記被写体領域のうち、前記算出部で算出された前記被写体領域の面積変化が小さい被写体領域を前記特定領域として抽出する。

【0007】

なお、前記抽出部は、前記算出部で算出された前記被写体領域の面積変化により前記領域検出部で検出された複数の前記被写体領域に対して前記特定領域を抽出するための優先度を設定しても良い。

【0009】

また、前記抽出部は、前記領域検出部で検出された複数の前記被写体領域のうち、前記算出部で算出された前記被写体領域の面積変化が大きい被写体領域に対して前記優先度を低く設定しても良い。

【0010】

また、前記抽出部で抽出された前記特定領域を、前記特定領域が含まれる複数の画像を用いて継続的に検出されているか否かを判定する判定部を備えても良い。

【0011】

また、前記算出部により前記領域検出部で検出された前記被写体領域の面積変化を算出するために用いる画像の数を変更する操作部材を備えても良い。

【0012】

本発明の撮像装置は、被写体を撮像する撮像素子と、上述したいずれかの画像処理装置と、を備え、前記算出部は、前記領域検出部で検出された前記被写体領域の面積変化を算出するために用いる画像の数を前記撮像素子のフレームレートにより変更する。

【0013】

本発明の撮像装置は、光学系を介して被写体を撮像する撮像素子と、上述したいずれかの画像処理装置と、を備え、前記算出部は、前記領域検出部で検出された前記被写体領域の面積変化を算出するために用いる画像の数を前記光学系のズーム倍率により変更する。

【0014】

本発明の画像処理プログラムは、コンピュータに、色情報又は輝度情報により画像に含まれる被写体領域を複数検出する領域検出手順と、前記領域検出手順で検出された前記被写体領域の面積変化を、前記被写体領域を含む複数の画像を用いて算出する算出手順と、前記算出手順で算出された前記被写体領域の面積変化により前記領域検出手順で検出された複数の前記被写体領域から特定領域を抽出する抽出手順と、を実行させ、前記抽出手順は、前記領域検出手順で検出された複数の前記被写体領域のうち、前記算出手順で算出された前記被写体領域の面積変化が小さい被写体領域を前記特定領域として抽出する。

【発明の効果】

【0015】

本発明によれば、被写体に応じて、的確に特定領域の抽出を行うことができる。

【図面の簡単な説明】

【0016】

【図1】レンズ鏡筒１０と、撮像装置２０と、記憶媒体４０との構成を示すブロック図である。

【図2】従来のマスク抽出処理について説明する図である。

【図3】本実施形態の自動検出モード実行時のＣＰＵ２６の動作を示すフローチャートである。

【図4】変化特性の算出について説明する図である。

【図5】マスク抽出処理について説明する図である。

【発明を実施するための形態】

【0017】

以下、実施形態について図面を参照して詳細に説明する。

【0018】

本実施形態では、図１に示すようなレンズ鏡筒１０と、撮像装置２０と、記憶媒体４０とを有する装置を例に挙げて説明する。

【0019】

撮像装置２０は、レンズ鏡筒１０から入射される光学像を撮像する。得られた画像は静止画又は動画の画像として、記憶媒体４０に記憶される。

【0020】

レンズ鏡筒１０は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」と称する）１１と、レンズ駆動部１２と、ＡＦエンコーダ１３と、鏡筒制御部１４とを備える。なお、レンズ鏡筒１０は、撮像装置２０に着脱可能に接続されても良いし、撮像装置２０と一体であっても良い。

【0021】

撮像装置２０は、撮像部２１と、画像処理装置２２と、表示部２３と、バッファメモリ部２４と、記憶部２５と、ＣＰＵ２６と、操作部２７と、通信部２８とを備える。撮像部２１は、撮像素子２９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部３０とを備える。撮像部２１は、不図示の撮像素子を備え、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ２６により制御される。

【0022】

レンズ鏡筒１０において、ＡＦレンズ１１は、レンズ駆動部１２により駆動され、撮像装置２０の撮像部２１における不図示の撮像素子の受光面（光電変換面）に、光学像を導く。ＡＦエンコーダ１３は、ＡＦレンズ１１の移動を検出し、ＡＦレンズ１１の移動量に応じた信号を、鏡筒制御部１４に出力する。ここで、ＡＦレンズ１１の移動量に応じた信号とは、例えば、ＡＦレンズ１１の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。

【0023】

鏡筒制御部１４は、撮像装置２０のＣＰＵ２６から入力される駆動制御信号に応じて、レンズ駆動部１２を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１を光軸方向に駆動させる制御信号である。鏡筒制御部１４は、駆動制御信号に応じて、例えば、レンズ駆動部１２に出力するパルス電圧のステップ数を変更する。また、鏡筒制御部１４は、ＡＦレンズ１１の移動量に応じた信号に基づいて、レンズ鏡筒１０におけるＡＦレンズ１１の位置（フォーカスポジション）を、撮像装置２０のＣＰＵ２６に出力する。ここで、鏡筒制御部１４は、例えば、ＡＦレンズ１１の移動量に応じた信号を、ＡＦレンズ１１の移動方向に応じて積算することで、レンズ鏡筒１０におけるＡＦレンズ１１の移動量（レンズの位置）を算出してもよい。レンズ駆動部１２は、鏡筒制御部１４の制御に応じてＡＦレンズ１１を駆動し、ＡＦレンズ１１をレンズ鏡筒１０内で光軸方向に移動させる。

【0024】

撮像装置２０において、撮像部２１は、例えば、レンズ鏡筒１０（光学系）により光電変換面に結像された光学像を撮像素子内でデジタル信号に変換して出力する撮像素子を備えても良い。また、例えば、撮像部２１は、撮像素子およびＡ／Ｄ変換部を備え、撮像素子はレンズ鏡筒１０（光学系）により光電変換面に結像された光学像を電気信号に変換してＡ／Ｄ変換部に出力し、Ａ／Ｄ変換部は、撮像素子によって変換された電気信号をデジタル化して、デジタル信号として出力する構成としても良い。なお、撮像素子は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの光電変換素子で構成される。また、撮像素子は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（画像切り出し）。また、撮像部２１は、操作部２７を介してユーザからの撮影指示を受け付けた際に得られる画像を、通信部２８を介して記憶媒体４０に出力する。一方、撮像部２１は、操作部２７を介してユーザからの撮影指示を受け付ける前の状態において、連続的に得られる画像をスルー画像として、バッファメモリ部２４及び表示部２３に出力する。

【0025】

画像処理装置２２は、記憶部２５に記憶されている画像処理条件に基づいて、バッファメモリ部２４に一時的に記憶されている画像に対する画像処理を行う。そして、画像処理後の画像は、通信部２８を介して記憶媒体４０に記憶される。また、画像処理装置２２は、バッファメモリ部２４に一時的に記憶されている画像に対して、マスク抽出処理を行う（詳細は後述する）。そして、マスク抽出処理の結果に関する情報は、ＣＰＵ２６に出力されるとともに、記憶部２５や記憶媒体４０等に記憶される。

【0026】

表示部２３は、例えば液晶ディスプレイであって、撮像部２１によって生成された画像、及び操作画面等を表示する。バッファメモリ部２４は、撮像部２１によって生成された画像を一時的に記憶する。記憶部２５は、撮像条件や、各種判定の際にＣＰＵ２６によって参照される判定条件などを記憶する。

【0027】

ＣＰＵ２６は、領域検出部３１、特性算出部３２、制御部３３の各部を備え、画像処理部２２や記憶部２５などから適宜必要な情報を取得し、取得した情報に基づいて、撮像装置２０内の各部を統括的に制御する。各部の具体的な動作については後述する。ＣＰＵ２６による制御には、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＷＢ）の設定、閃光の発光量の変更の設定、被写体追尾の設定、各種撮影モードの設定、各種画像処理の設定、各種表示の設定、ズーム倍率に連動した明るさの最適化の設定などが含まれる。また、ＣＰＵ２６は、操作部２７の操作状態を監視するとともに、表示部２３への画像データの出力を行う。

【0028】

操作部２７は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ２６に出力する。

【0029】

通信部２８は、カードメモリ等の取り外しが可能な記憶媒体４０と接続され、この記憶媒体４０への情報（画像データ、領域の情報など）の書込み、読み出し、あるいは消去を行う。

【0030】

記憶媒体４０は、撮像装置２０に対して着脱可能に接続される記憶部であって、情報（画像データ、領域の情報など）を記憶する。なお、記憶媒体４０は、撮像装置２０と一体であってもよい。

【0031】

撮像装置２０は、撮影時に、焦点調節情報に基づいて特定領域（例えば、主要被写体領域や注目領域など）を検出する通常モードの他に、自動で特定領域を検出する自動検出モードを備える。自動検出モードは、構図確認用のスルー画像等に基づいて、特定領域を自動で継続的に検出し、検出した特定領域の情報に基づいて、各部を制御するモードである。この自動検出モードは操作部２７を介したユーザ操作により設定可能であっても良いし、ＣＰＵ２６により自動で設定可能であっても良い。

【0032】

ここで、本実施形態により解決しようとするケースについて図２を参照して説明する。図２Ａ、図２Ｂ、図２Ｃは、時間的に連続して生成された画像である。図２Ａから図２Ｃでは、被写界の手前側に主要被写体である人物が存在し、被写界の奥側にバスが存在している。そして、手前側の人物はユーザによるフレーミングにより画面内での位置が変化しており、奥側のバスは画面の左側から右側に向かって移動している。このような場合に、従来の自動検出を行うと、図２Ａに示すように、背景（後景）であるバスが、前景である人物により分断され、複数の特定領域として抽出される場合がある。また、図２Ａの場合には、例えば、ｍ１〜ｍ４の４つの特定領域が抽出され、特定領域ｍ２が主要被写体領域として検出される。しかし、図２Ｂの場合には、例えば、ｍ１〜ｍ３の３つの特定領域が抽出され、特定領域ｍ１が主要被写体領域として検出されてしまう場合がある。これは、図２Ｂの例において、背景であるバスの一部に相当する特定領域ｍ１の方が、前景である人物に相当する特定領域ｍ２よりも中央に近いためである。このように、本来は背景である被写体が主要被写体領域として抽出されてしまい、必ずしもユーザにとって望ましい特定領域が抽出されないという問題を解消するために、本実施形態では、被写体に応じて、的確に特定領域の抽出を行うことを目的とした処理を実行する。

【0033】

以下、特定領域として主要被写体領域を検出する自動検出モード実行時のＣＰＵ２６の動作について、図３のフローチャートを参照して説明する。

【0034】

ステップＳ１０１において、ＣＰＵ２６は、撮像部２１を制御して、スルー画像の取得を開始する。取得されたスルー画像の画像情報はバッファメモリ部２４に一時的に記憶される。このスルー画像は、所定の時間間隔で連続して生成される。そして、ＣＰＵ２６によるスルー画像の取得は、時間的に連続して順次行われる。

【0035】

ステップＳ１０２において、ＣＰＵ２６は、画像処理装置２２を制御して通常の画像処理を行う。通常の画像処理とは、ホワイトバランス調整、補間処理、色調補正処理、階調変換処理などである。各処理の具体的な方法は公知技術と同様であるため説明を省略する。画像処理装置２２は、バッファメモリ部２４から対象となる画像の画像データを取得し、画像処理を施した後に、再びバッファメモリ部２４に出力する。

【0036】

ステップＳ１０３において、ＣＰＵ２６は、領域検出部３１によりマスク抽出処理を行う。マスク抽出処理とは、画像における特徴量を算出し、特徴量が類似する、または、同一のかたまり（マスク）に基づいて主要被写体領域を検出するための一手法である。例えば、領域検出部３１は、画像における特徴量から評価値を求め、同一、または同一と見なせる評価値の連続領域を求めることによりマスク抽出を行う。マスクには、例えば、純色マスク、色マスク、輝度マスク等が含まれる。マスク抽出の手法はどのような方法であっても良い。また、マスク抽出の具体的な方法は公知技術と同様であるため説明を省略する。

【0037】

なお、画像処理装置２２は、複数種類のマスクを作成し、作成した複数種類のマスクから、不要なマスクを排除し、残ったマスクについて優先度を決定する。優先度とは、複数種類のマスクから、実際に被写体領域の抽出に用いるマスクを決定する際の優先度合を示す。優先度は、一般に、色情報に関するマスクの優先度が相対的に高く決定されている。そして、画像処理装置２２は、これらの優先度に応じて、優先度の高い各マスクを優先しつつ、一定評価値以上のマスクを求め、被写体領域を抽出するためのマスクとする。また、ステップＳ１０３において、画像処理装置２２は、評価値の高い順にＮ個のマスクを抽出する。なお、上述したＮは所定の数（例えば、Ｎ＝５）であり、操作部２７を介したユーザ操作などに基づいて適宜変更可能としても良い。画像処理装置２２は、選択したＮ個のマスクに基づいて、それぞれ被写体領域を抽出し、後述するステップＳ１０４に進む。以下では、上述したＮ＝５とし、画像処理装置２２は、５個のマスク（マスクＭ１〜Ｍ５）を抽出するものとする。そして、以降のマスク抽出処理においては、基本的に、この５個のマスク（マスクＭ１〜Ｍ５）を継続的に抽出する。なお、この５個のマスク（マスクＭ１〜Ｍ５）については、抽出条件を緩く設定し、継続的な抽出を行いやすくしても良い。

【0038】

ステップＳ１０４において、ＣＰＵ２６は、被写体領域を抽出できたか否かを判定する。ＣＰＵ２６は、１つ以上の被写体領域を抽出できたと判定するとステップＳ１０５に進む。一方、被写体領域を１つも抽出できないと判定すると、ＣＰＵ２６は、ステップＳ１０２に戻り、次のフレームの画像に対してステップＳ１０２以降の処理を行う。

【0039】

ステップＳ１０５において、ＣＰＵ２６は、マスク情報を記録する。ＣＰＵ２６は、ステップＳ１０３で実行したマスク抽出処理の結果についての情報を、マスク情報としてバッファメモリ部２４や記憶部２５等に記録する。マスク情報には、ステップＳ１０３のマスク抽出処理の抽出条件（色区分やマスク区分など）、マスクの位置、マスクの大きさや形状、評価値による各マスクの順位などの情報が含まれる。

【0040】

ステップＳ１０６において、ＣＰＵ２６は、ｎ回（ｎフレーム）以上連続して同一のマスクを抽出したか否かを判定する。ＣＰＵ２６は、ｎ回以上連続して同一のマスクを抽出したと判定すると、同一の被写体領域が継続的に検出されているものとし、後述するステップＳ１０７に進む。一方、ｎ回以上連続して同一のマスクを抽出していないと判定すると、ＣＰＵ２６は、上述したステップＳ１０２に戻り、次のスルー画像を対象としてステップＳ１０２以降の処理を行う。

【0041】

この判定は、ステップＳ１０３で説明した５個のマスクのそれぞれについて行われる。ただし、必ずしも全てのマスクについてｎ回以上連続して同一のマスクを抽出する必要はなく、ステップＳ１０３で説明した５個のマスクのうち、少なくとも１つのマスクについて、ｎ回以上連続して同一のマスクを抽出すれば良い。同一のマスクを抽出する場合とは、複数フレームにおいて、略同色、略同サイズのマスクが、略同じ位置において抽出される場合である。この判定には、ステップＳ１０５で説明したマスク情報等を用いれば良い。何れの場合も、フレーム間の変化量が規定以内である場合に、同一と判定することができる。

【0042】

なお、上述したｎは所定の閾値（例えば、ｎ＝７）であり、撮像部２１による撮像時のフレームレート、レンズ鏡筒１０におけるズーム倍率、操作部２７を介したユーザ操作などに基づいて適宜変更可能としても良い。さらに、ステップＳ１０５で説明したマスク情報等に基づいて、過去に行われたマスク抽出の傾向（抽出されたマスクの種類、出現頻度など）を求め、この傾向に応じて上述したｎの値を適宜変更可能としても良い。例えば、過去に高い頻度で抽出されたマスクについては、ｎの値を小さめに変更しても良い。

【0043】

また、ＣＰＵ２６は、ステップＳ１０６で行った判定の内容を、ステップＳ１０５で説明したマスク情報に追加して記録しておき、以降のフレームに関する処理時に用いる構成としても良い。

【0044】

また、ＣＰＵ２６は、上述した以外の方法でマスク抽出処理が安定して行われているか否かを判定する構成としても良い。例えば、前回まで連続して同一のマスクを抽出したか否かを加味して判定を行っても良い。このような構成とすれば、今回のみ一時の未抽出が発生した場合でも、それまでの蓄積を無効にせず、次のフレームにおいて同一のマスクを抽出した場合には、前回までの安定状態が維持されているものと見なすことができる。例えば、図２で例示したケースとは逆に、人物が奥側に存在し、その手前側を車や電車などが通過する場合にも、一時の未抽出として対応することができる。

【0045】

ステップＳ１０７において、ＣＰＵ２６は、特性算出部３２により各マスクの面積の変化特性を算出する。特性算出部３２は、複数のフレームにおいて、所定の時間内の各マスクの面積の変化を求める。図４は、フレーム番号（時刻）とマスク面積との関係を示すグラフである。図４の縦軸はマスク面積を示し、上に行くほど面積は大きくなる。図４の横軸は、フレーム番号（時刻）を示し、右へ行くほどフレーム番号は大きくなり、時間が経過する。特性算出部２２は、図４に示すように、ステップＳ１０３で説明した５個のマスク（マスクＭ１〜Ｍ５）のそれぞれについて、変化特性として、マスク面積の変化を求める。

【0046】

ステップＳ１０８において、ＣＰＵ２６は、制御部３３により、ステップＳ１０７で算出した変化特性に基づいて、主要被写体領域を抽出できたか否かを判定する。ＣＰＵ２６は、制御部３３により主要被写体領域を抽出できたと判定するとステップＳ１０９に進む。一方、制御部３３により主要被写体領域を抽出できていないと判定すると、ＣＰＵ２６は、上述したステップＳ１０２に戻り、次のスルー画像を対象としてステップＳ１０２以降の処理を行う。

【0047】

主要被写体領域を抽出できたか否かは、ステップＳ１０７で算出した変化特性に基づき、所定の基準フレーム（基準画像）と処理対象のフレーム（画像）とにおけるマスク面積の変化に基づいて判定するか、または、処理対象のフレーム（画像）とその直前の（または処理対象のフレームよりも前に取得された）フレーム（画像）とにおけるマスク面積の変化に基づいて判定することができる。基準フレームは、例えば、所定の時刻のフレームであっても良いし、ステップＳ１０６でｎ回（ｎフレーム）以上連続して同一のマスクを抽出したと判定した際の、ｎ回の最初のフレームであっても良い。

【0048】

制御部３３は、例えば、任意のマスクに関して、面積の変化が大きいほど、そのマスクの優先度を低く設定する。つまり、制御部３３は、面積の変化が大きいほど、そのマスクを主要被写体領域として抽出させにくくする、あるいは、主要被写体領域として抽出させないようにする。図２でも説明したように、背景（後景）の領域は、面積の変化が大きくなる傾向がある。そこで、図４の例では、マスクＭ１については、面積の変化が大きいため、主要被写体領域ではなく、背景（後景）の領域であると判断する。

【0049】

逆に、制御部３３は、任意のマスクに関して、面積の変化が小さいほど、そのマスクの優先度を高く設定する。つまり、面積の変化が小さいほど、制御部３３は、そのマスクを主要被写体領域として抽出させやすくする、あるいは、主要被写体領域として抽出させるようにする。図２でも説明したように、主要被写体領域は、面積の変化が小さい（あるいは無い）傾向がある。そこで、図４の例では、マスクＭ２やマスクＭ４については、面積の変化が小さいため、背景（後景）の領域ではなく、主要被写体領域であると判断する。

【0050】

なお、制御部３３は、このような判定を、どのようなファクターを用いて行っても良い。例えば、制御部３３は、平均値やメディアン値を求めることにより、マスク面積を統計的に評価し、面積比率や、画面の中心からのマスクの距離変化などをファクターとしても良い。また、例えば、制御部３３は、面積変化の偏差や、画面の中心からのマスクの距離偏差などをファクターとしても良い。

【0051】

以上説明したステップＳ１０８の判定について、図５を参照して説明する。図５のＦａからＦｅは、それぞれ、フレーム番号１，１０，２０，３０，４０の画像に対して、従来のマスク抽出処理を行った場合の例を示し、図５のＦＡからＦＥは、同様に、それぞれ、フレーム番号１，１０，２０，３０，４０の画像に対して、本実施形態のマスク抽出処理を行った場合の例を示す。図５のＦａからＦｅ、ＦＡからＦＥにおいては、ステップＳ１０３で説明した５個のマスク（マスクＭ１〜Ｍ５）（の一部）が抽出されている。なお、マスクＭ２およびマスクＭ５が本来の主要被写体に相当する領域であり、その他のマスクは背景（後景）に相当する領域であるものとする。図５のＦａおよびＦｂにおいては、主要被写体に相当する領域であるマスクＭ２が主要被写体領域として正しく抽出される。図５のＦＡおよびＦＢにおいても同様である。しかし、図５のＦｃにおいては、背景（後景）に相当する領域であるマスクＭ１が主要被写体領域として誤って抽出される。一方、図５のＦＣにおいては、上述した判定により、マスクＭ１の優先度が低く設定されるため、背景（後景）に相当する領域であるマスクＭ１は主要被写体領域として誤って抽出されていない。そして、図５のＦｄおよびＦｅにおいては、新たに画面内に入ってきた主要被写体に相当する領域であるマスクＭ５が主要被写体領域として正しく抽出される。図５のＦＤおよびＦＥにおいても同様である。

【0052】

制御部３３が、上述した処理を行うと、ＣＰＵ２６は、主要被写体領域を抽出できたか否かの判定を行う。

【0053】

ステップＳ１０９において、ＣＰＵ２６は、制御部３３により主要被写体領域を設定する。ＣＰＵ２６は、ステップＳ１０８において主要被写体と判定されたマスクに対応する領域を主要被写体領域として設定する。この主要被写体領域は撮影準備動作に用いることができる。

【0054】

ステップＳ１１０において、ＣＰＵ２６は、撮影指示が行われたか否かを判定する。ＣＰＵ２６は、撮影指示が行われたと判定するとステップＳ１１１に進む。一方、所定の時間を経過しても撮影指示が行われないと判定すると、ＣＰＵ２６は、上述したステップＳ１０２に戻り、次のスルー画像を対象としてステップＳ１０２以降の処理を行う。なお、撮影指示は、操作部２７のシャッタボタンを介したユーザ操作により行われる。このユーザ操作は、いわゆる半シャッタと全シャッタの何れであっても良い。

【0055】

ステップＳ１１１において、ＣＰＵ２６は、各部を制御して撮影を実行する。なお、ＡＥ、ＡＦ、ＷＢ等の処理については、ステップＳ１０９で設定した主要被写体領域の情報に基づいて行われる。

【0056】

ステップＳ１１２において、ＣＰＵ２６は、ステップＳ１１１で実行した撮影により生成した画像の画像データを、通信部２８を介して記憶媒体４０に記録して一連の処理を終了する。

【0057】

以上説明したように、本実施形態によれば、時間的に連続して生成された複数の画像データを順次取得し、取得した画像データにより示される画像の特徴量を複数算出し、複数の特徴量に基づいて特定領域（例えば、被写体領域や注目領域など）を検出する領域検出部と、取得した複数の画像データにより示される画像のうち、少なくとも２枚の画像について算出された特徴量に基づいて、特徴量の変化特性を求める特性算出部とを備え、変化特性に基づいて、複数の特徴量における優先度を決定し、決定した優先度に基づいて領域検出部による特定領域の検出を行う。したがって、上述の構成により、背景（後景）である被写体の領域が誤って特定領域として抽出されるのを防ぎ、被写体に応じて、的確に特定領域の抽出を行うことができる。

【0058】

また、本実施形態によれば、複数の画像データにより示される画像のうち、少なくとも２枚の画像において検出された特定領域を比較することにより、領域検出部により特定領域が継続的に検出されているか否かを判定し、特定領域が継続的に検出されていると判定すると、特性算出部により変化特性を求め、優先度に基づいて領域検出部による特定領域の検出を行う。したがって、変化特性により被写体の変化を把握し、被写体の変化に応じた特定領域の抽出を行うことができる。

【0059】

また、本実施形態によれば、複数の画像データにより示される画像のうち、少なくとも２枚の画像について検出された特定領域の面積に関する変化特性を求め、求めた変化特性に基づいて、変化特性の算出の対象となった特定領域の検出に用いた特徴量の優先度を決定し、決定した優先度に基づいて領域検出部による特定領域の検出を行う。したがって、面積に関する変化特性によって、被写体の変化をより正確に把握することができる。

【0060】

また、本実施形態によれば、変化特性に基づいて、面積の変化が大きいほど、優先度を低く設定して、領域検出部による特定領域の検出を行う。したがって、面積の変化が大きいほど、その領域は背景（後景）の領域であると判断し、背景（後景）である被写体の領域が誤って特定領域として抽出されるのを防ぐことができる。

【0061】

また、本実施形態によれば、変化特性に基づいて、面積の変化率を求め、変化率が所定の閾値より大きい場合には、変化特性の算出の対象となった特定領域の検出に用いた特徴量の優先度を、変化率が所定の閾値より小さい場合よりも低く設定して、領域検出部による特定領域の検出を行う。したがって、面積の変化率が大きいほど、その領域は背景（後景）の領域であると判断し、背景（後景）である被写体の領域が誤って特定領域として抽出されるのを防ぐことができる。

【0062】

なお、上記の実施形態では、変化特性に応じて優先度を決定する例を示したが、特殊な例として、変化特性に応じて優先度を下げたマスクであっても、継続的に抽出されたマスクについては、特定領域として抽出しても良い。つまり、複数の画像データにより示される画像のうち、少なくとも２枚の画像において検出された特定領域を比較することにより、領域検出部により特定領域が継続的に検出されているか否かを判定し、特定領域が継続的に検出されていると判定すると、継続的に検出された特定領域の検出に用いた特徴量の優先度を、特定領域が継続的に検出されていない場合よりも高く設定して、領域検出部による特定領域の検出を行う。したがって、特定領域が継続的に検出されている場合には、その特定領域がユーザの所望の領域であると判断して、的確な特定領域の抽出を行うことができる。

【0063】

また、上記の実施形態においては、一連の処理を行っている最中にレンズ鏡筒１０におけるズーム倍率が変更された場合には、面積の比較は無用となる。そのため、このような場合には、処理をリセットするか、または、ズーム倍率に応じた面積の換算を適宜実行すると良い。

【0064】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【0065】

上記の実施形態では、構図確認用のスルー画像に基づいて、一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、一眼レフカメラなどにおいて生成される構図確認用のライブビュー画像を対象とする場合にも、本発明を同様に適用することができる。また、記憶媒体４０等に記録された動画像を対象とする場合にも、本発明を同様に適用することができる。

【0066】

また、上記の実施形態においては、すべてのフレームを対象として一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、時間的に間欠して生成された複数の画像を対象としても良い。具体的には、適宜フレーム間引きを行った複数の画像を対象としても良い。この場合、上記の実施形態における一連の処理は間引きされた複数の画像を対象として実行しつつ、すべての画像について表示を行っても良い。このような処理を行うことにより、処理負荷を軽減することができる。

【0067】

また、コンピュータと画像処理プログラムとを有する「コンピュータシステム」により、上述した実施形態で説明した画像処理をソフトウェア的に実現しても良い。この場合、実施形態で説明したフローチャートの処理の一部または全部をコンピュータシステムで実行する構成とすれば良い。例えば、図３のステップＳ１０２からステップＳ１０９の処理の一部または全部をコンピュータで実行しても良い。このような構成とすることにより、上述した実施形態と同様の処理を実施することが可能になる。

【0068】

また、「コンピュータシステム」は、ｗｗｗシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0069】

さらにコンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。

【0070】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

【0071】

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0072】

２０…撮像装置、２１…撮像部、２２…画像処理装置、２３‥表示部、２６…ＣＰＵ

【図1】

【図2】

【図3】

【図4】

【図5】