特許 5935581 撮像装置、画像処理装置、画像処理方法、画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5935581

(24)【登録日】2016年5月20日

(45)【発行日】2016年6月15日

(54)【発明の名称】撮像装置、画像処理装置、画像処理方法、画像処理プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20160602BHJP

   G03B 15/00 20060101ALI20160602BHJP

【ＦＩ】

   H04N5/232 Z

   G03B15/00 Q

   H04N5/232 A

【請求項の数】12

【全頁数】17

(21)【出願番号】特願2012-173060(P2012-173060)

(22)【出願日】2012年8月3日

(65)【公開番号】特開2014-33358(P2014-33358A)

(43)【公開日】2014年2月20日

【審査請求日】2015年7月8日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100072718

【弁理士】

【氏名又は名称】古谷 史旺

(74)【代理人】

【識別番号】100116001

【弁理士】

【氏名又は名称】森 俊秀

(72)【発明者】

【氏名】阿部 啓之

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２００８−０５４２９５（ＪＰ，Ａ）

【文献】 特開２０１０−１４１８４７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

撮像素子が順次に生成する複数のフレームの各々から、複数種類の抽出基準により複数の被写体候補領域を抽出する抽出手段と、
前記抽出手段が抽出した複数の被写体候補領域の各々に対して被写体らしさ評価を行う評価手段と、
前記評価手段によって高評価を得た被写体候補領域の抽出基準の種類を、少なくとも所定フレーム周期に亘って記憶することにより評価履歴を作成する作成手段と、
現フレームに関する前記評価の結果と、過去フレームに関する前記評価履歴とに基づき、前記現フレームの被写体領域を選出する選出手段と、
を備えたことを特徴とする撮像装置。

【請求項2】

請求項１に記載の撮像装置において、
前記選出手段は、
前記現フレームにおいて高評価を得た被写体候補領域の抽出基準が、前記評価履歴に一定以上の回数に亘って登場していた場合に、前記被写体領域の前記選出を行う
ことを特徴とする撮像装置。

【請求項3】

請求項１又は請求項２に記載の撮像装置において、
前記被写体領域の位置を示すマークをモニタへ表示する表示制御手段を更に備えた
ことを特徴とする撮像装置。

【請求項4】

請求項１〜請求項３の何れか一項に記載の撮像装置において、
前記被写体領域を対象として露出制御を行う露出制御手段を更に備えた
ことを特徴とする撮像装置。

【請求項5】

請求項１〜請求項４の何れか一項に記載の撮像装置において、
前記被写体領域を対象として焦点調節を行う焦点調節手段を更に備えた
ことを特徴とする撮像装置。

【請求項6】

請求項１〜請求項５の何れか一項に記載の画像処理装置において、
前記評価履歴の作成が開始されてから所定フレーム周期が経過するまでの期間中は、前記選出手段の動作を休止させる
ことを特徴とする撮像装置。

【請求項7】

請求項１〜請求項６の何れか一項に記載の撮像装置において、
前記抽出手段は、
フレームを複数の閾値で二値化することにより複数の二値化画像を生成し、前記複数の二値化画像の各々から被写体候補領域を抽出する
ことを特徴とする撮像装置。

【請求項8】

請求項７に記載の撮像装置において、
前記評価手段は、
被写体候補領域の慣性モーメントと前記被写体候補領域の面積とに基づき前記被写体候補領域の被写体らしさ評価を行う
ことを特徴とする撮像装置。

【請求項9】

請求項８に記載の撮像装置において、
前記評価手段は、
現フレームに関する前記評価では、前記慣性モーメントの中心を、前フレームで選出された前記被写体領域の位置に応じて設定する
ことを特徴とする撮像装置。

【請求項10】

撮像素子が順次に生成する複数のフレームの各々から、複数種類の抽出基準により複数の被写体候補領域を抽出する抽出手段と、
前記抽出手段で抽出された複数の被写体候補領域の各々に対して被写体らしさ評価を行う評価手段と、
前記評価手段によって高評価を得た被写体候補領域の抽出基準の種類を、少なくとも所定フレーム周期に亘って記憶することにより評価履歴を作成する作成手段と、
現フレームに関する前記評価の結果と、過去フレームに関する前記評価履歴とに基づき、前記現フレームの被写体領域を選出する選出手段と、
を備えたことを特徴とする画像処理装置。

【請求項11】

撮像素子が順次に生成する複数のフレームの各々から、複数種類の抽出基準により複数の被写体候補領域を抽出する抽出手順と、
前記抽出手順で抽出された複数の被写体候補領域の各々に対して被写体らしさ評価を行う評価手順と、
前記評価手順によって高評価を得た被写体候補領域の抽出基準の種類を、少なくとも所定フレーム周期に亘って記憶することにより評価履歴を作成する作成手順と、
現フレームに関する前記評価の結果と、過去フレームに関する前記評価履歴とに基づき、前記現フレームの被写体領域を選出する選出手順と、
を含むことを特徴とする画像処理方法。

【請求項12】

撮像素子が順次に生成する複数のフレームの各々から、複数種類の抽出基準により複数の被写体候補領域を抽出する抽出手順と、
前記抽出手順で抽出された複数の被写体候補領域の各々に対して被写体らしさ評価を行う評価手順と、
前記評価手順によって高評価を得た被写体候補領域の抽出基準の種類を、少なくとも所定フレーム周期に亘って記憶することにより評価履歴を作成する作成手順と、
現フレームに関する前記評価の結果と、過去フレームに関する前記評価履歴とに基づき、前記現フレームの被写体領域を選出する選出手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、画像処理装置、画像処理方法、画像処理プログラムに関する。

【背景技術】

【0002】

従来、撮影画像から被写体を抽出し、その被写体に適した撮影条件（撮影距離や露出など）を自動設定するカメラが知られている（例えば特許文献１等を参照。）。近年になると、カメラがリアルタイムで取得する動画像に応じてこの設定を繰り返す技術も提案された。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２−５１２５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ユーザがカメラの構図に迷っている場合などには、被写体の抽出結果が不安定となり、撮影に悪影響を及ぼす虞がある。

【課題を解決するための手段】

【0005】

本発明の撮像装置は、撮像素子が順次に生成する複数のフレームの各々から、複数種類の抽出基準により複数の被写体候補領域を抽出する抽出手段と、前記抽出手段が抽出した複数の被写体候補領域の各々に対して被写体らしさ評価を行う評価手段と、前記評価手段によって高評価を得た被写体候補領域の抽出基準の種類を、少なくとも所定フレーム周期に亘って記憶することにより評価履歴を作成する作成手段と、現フレームに関する前記評価の結果と、過去フレームに関する前記評価履歴とに基づき、前記現フレームの被写体領域を選出する選出手段と、を備える。

【0006】

本発明の画像処理装置は、撮像素子が順次に生成する複数のフレームの各々から、複数種類の抽出基準により複数の被写体候補領域を抽出する抽出手段と、前記抽出手段で抽出された複数の被写体候補領域の各々に対して被写体らしさ評価を行う評価手段と、前記評価手段によって高評価を得た被写体候補領域の抽出基準の種類を、少なくとも所定フレーム周期に亘って記憶することにより評価履歴を作成する作成手段と、現フレームに関する前記評価の結果と、過去フレームに関する前記評価履歴とに基づき、前記現フレームの被写体領域を選出する選出手段と、を備える。

【0007】

本発明の画像処理方法は、撮像素子が順次に生成する複数のフレームの各々から、複数種類の抽出基準により複数の被写体候補領域を抽出する抽出手順と、前記抽出手順で抽出された複数の被写体候補領域の各々に対して被写体らしさ評価を行う評価手順と、前記評価手順によって高評価を得た被写体候補領域の抽出基準の種類を、少なくとも所定フレーム周期に亘って記憶することにより評価履歴を作成する作成手順と、現フレームに関する前記評価の結果と、過去フレームに関する前記評価履歴とに基づき、前記現フレームの被写体領域を選出する選出手順と、を含む。

【0008】

本発明の画像処理プログラムは、撮像素子が順次に生成する複数のフレームの各々から、複数種類の抽出基準により複数の被写体候補領域を抽出する抽出手順と、前記抽出手順で抽出された複数の被写体候補領域の各々に対して被写体らしさ評価を行う評価手順と、前記評価手順によって高評価を得た被写体候補領域の抽出基準の種類を、少なくとも所定フレーム周期に亘って記憶することにより評価履歴を作成する作成手順と、現フレームに関する前記評価の結果と、過去フレームに関する前記評価履歴とに基づき、前記現フレームの被写体領域を選出する選出手順と、をコンピュータに実行させる。

【発明の効果】

【0009】

本発明によれば、被写体の選出結果を安定させることができる。

【図面の簡単な説明】

【0010】

【図1】電子カメラの構成例を示す図である。

【図2】撮像モードにおける画像処理エンジン１４の動作フローチャートである。

【図3】スルー画像の例である。

【図4】抽出された被写体候補領域の例を抽出区分毎に示す図である。

【図5】評価値を説明する図である。

【図6】フレーム番号＃１〜＃２４に関する評価履歴のイメージである。

【図7】ステップＳ１６を説明する図である。

【図8】フレーム番号＃１〜＃２４に関する評価履歴及び選出履歴を示す図である。

【図9】フレーム番号＃１〜＃２４に関する枠表示の様子を示す図である。

【発明を実施するための形態】

【0011】

［実施形態］
以下、本発明の実施形態として撮像装置（電子カメラ）を説明する。

【0012】

図１は、電子カメラの構成例を示す図である。図１に示すとおり電子カメラ１１には、撮影光学系１２と、撮像部１３と、画像処理エンジン１４と、第１メモリ１５と、第２メモリ１６と、記録Ｉ／Ｆ１７と、表示部１８と、操作部１９とが備えられる。このうち撮像部１３、第１メモリ１５、第２メモリ１６、記録Ｉ／Ｆ１７、表示部１８、操作部１９の各々は、画像処理エンジン１４に接続されている。また、操作部１９は、ユーザの操作（例えば撮影指示など）を受け付けるスイッチである。

【0013】

撮影光学系１２は、ＡＦのためのフォーカシングレンズを含む複数のレンズで構成される。なお、図１では、簡単のため撮影光学系１２を１枚のレンズで表す。

【0014】

撮像部１３は、撮影光学系１２が形成した被写界の像を撮像するモジュールである。例えば、撮像部１３は、光電変換を行う撮像素子と、撮像素子の出力に対してアナログ信号処理やＡ／Ｄ変換処理などを施す信号処理回路とを含んでいる。また、撮像素子の撮像面には、例えば公知のベイヤ配列に従ってＲＧＢのカラーフィルタが配置されている。これによって撮像素子は、カラー画像を取得することができる。

【0015】

また、電子カメラ１１が撮像モードであるとき、撮像部１３は、観測用の画像（スルー画像）を繰り返し取得する。また、撮像部１３は、ユーザの撮影指示に応じて記録用の画像（詳細画像）を取得する。また、電子カメラ１１が撮像モードであるとき、なお、撮像部１３で取得された画像のデータは、画像処理エンジン１４に入力される。

【0016】

画像処理エンジン１４は、電子カメラ１１の動作を統括的に制御するプロセッサである。例えば、画像処理エンジン１４は、撮像モードにおいて、スルー画像を用いたＡＦ制御、ＡＥ制御などを行う。また、画像処理エンジン１４は、撮像部１３が取得した画像のデータに対して、色補間、ホワイトバランス補正、階調変換、色空間変換などの画像処理を施す。さらに、画像処理エンジン１４は、プログラムの実行により、候補抽出部２１、評価部２２、履歴作成部２３、被写体選出部２４として機能する。なお、候補抽出部２１、評価部２２、履歴作成部２３、被写体選出部２４の動作については後述する。

【0017】

第１メモリ１５は、画像のデータ等を一時的に記憶するメモリであって、例えば揮発性の記憶媒体であるＳＤＲＡＭで構成される。また、第２メモリ１６は、画像処理エンジン１４で実行するプログラムや、このプログラムで使用される各種データを記憶するメモリであって、例えばフラッシュメモリ等の不揮発性メモリで構成される。

【0018】

記録Ｉ／Ｆ１７は、不揮発性の記憶媒体２０を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体２０に対して画像のデータの書き込み／読み込みを実行する。なお、記憶媒体２０は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、図１では記憶媒体２０の一例としてメモリカードを図示する。

【0019】

表示部１８は、例えば、電子カメラ１１の背面に設けられた液晶モニタである。この表示部１８は、スルー画像のリアルタイム表示や、詳細画像の再生表示、詳細画像の撮影後確認表示などを行う。

【0020】

図２は、撮像モードにおける画像処理エンジン１４の動作フローチャートである。以下、図２の各ステップを順に説明する。なお、この撮像モードは、静的な被写体の撮影に有効な「被写体追尾機能」を有している。

【0021】

ステップＳ１１：画像処理エンジン１４は、撮像部１３を駆動してスルー画像を取得すると共に、そのスルー画像を表示部１８へ送出する。なお、このスルー画像の取得及び表示は、例えば１／３０秒のフレーム周期で繰り返され、その結果、カメラの被写界の様子が表示部１８にリアルタイムで表示される（ビューファインダ表示）。

【0022】

ここでは、図３に示すようなスルー画像が順次に取得されたと仮定する。図３では、各フレームのスルー画像に対して取得順序を表す番号（フレーム番号）を付した。因みに、図３に示した各スルー画像は、おおよそ以下の状況で取得されたものである。

【0023】

・フレーム番号＃１〜＃１０：カメラの構図の主要部としてイルカの遊具が捉えられている期間。

【0024】

・フレーム番号＃１１〜＃１３：カメラの構図の主要部がイルカの遊具からアヒルの遊具へと移行する期間。

【0025】

・フレーム番号＃１４〜＃２３：カメラの構図の主要部としてアヒルの遊具が捉えられている期間。

【0026】

・フレーム番号＃２４：カメラの構図の主要部がアヒルの遊具からイルカの遊具へと移行する期間。

【0027】

なお、本実施形態では、各フレームのスルー画像が取得される毎に（すなわち１フレーム周期内に）、以下のステップＳ１２〜Ｓ１９の処理が実行されるものと仮定する。

【0028】

ステップＳ１２：画像処理エンジン１４の候補抽出部２１は、抽出基準の異なる複数種類の抽出処理によりスルー画像から被写体候補領域を抽出する。抽出処理の詳細は後述するが、ここでは、以下の９通りの抽出区分の抽出処理が採用されたと仮定する。

【0029】

・第１の抽出区分：輝度方向（Ｙ方向）の閾値Ｙ１による抽出処理。

【0030】

・第２の抽出区分：第１色差方向（Ｃｂ方向）の閾値Ｂ１による抽出処理。

【0031】

・第３の抽出区分：第２色差方向（Ｃｒ方向）の閾値Ｒ１による抽出処理。

【0032】

・第４の抽出区分：Ｙ方向の閾値Ｙ２（Ｙ２＜Ｙ１）による抽出処理。

【0033】

・第５の抽出区分：Ｃｂ方向の閾値Ｂ２（Ｂ２＜Ｂ１）による抽出処理。

【0034】

・第６の抽出区分：Ｃｒ方向の閾値Ｒ２（Ｒ２＜Ｒ１）による抽出処理。

【0035】

・第７の抽出区分：Ｙ方向の閾値Ｙ３（Ｙ３＜Ｙ２）による抽出処理。

【0036】

・第８の抽出区分：Ｃｂ方向の閾値Ｂ３（Ｂ２＜Ｂ２）による抽出処理。

【0037】

・第９の抽出区分：Ｃｒ方向の閾値Ｒ３（Ｒ３＜Ｒ２）による抽出処理。

【0038】

図４は、抽出された被写体候補領域を抽出区分毎に示す図である。図４において、白画素（画素値＝１）のまとまりが個々の被写体候補領域を示しており、黒画素（画素値＝ゼロ）の存在領域は、被写体候補領域以外の領域を示している。但し、本ステップにおける候補抽出部２１は、抽出された被写体候補領域の中から、一定の基準を満たさないものについては、被写体候補領域から除外する。一定の基準を満たさないものとは、例えば、フレーム内における被写体候補領域の総面積と比して面積が一定未満であるものや、フレームの縁部にかかっているものなどである。

【0039】

ステップＳ１３：画像処理エンジン１４の評価部２２は、ステップＳ１２で抽出された被写体候補領域の各々について、被写体らしさの評価値を算出する。個々の被写体候補領域の評価値は、例えば以下の式によって算出することができる。

【0040】

評価値＝（（領域内の画素数）＾γ）／（慣性モーメント）、
慣性モーメント＝（モーメント中心から画素までの距離の二乗）の領域内総和
なお、式における「γ」は、１以上の所定値であり、「モーメント中心」は、前フレームから選出された被写体領域（後述）の位置に応じて設定された座標である。具体的には、前フレームから選出された被写体領域の重心、前フレームから選出された被写体領域の包絡枠の中心の何れかに設定される。なお、被写体領域の重心（領域内の画素値の分布も考慮する）の代わりに、被写体領域の中心（領域内の画素値の分布は考慮せず）を使用してもよい。また、現フレームが初期フレーム（撮像モードの開始当初のフレーム）であった場合や、前フレームから被写体領域が１つも選出されなかった場合には、フレームの中心をモーメント中心とする。

【0041】

したがって、面積が広く、まとまり度が高く、前フレームの被写体領域（又はフレーム中央）に近い被写体候補領域ほど、被写体らしさの評価値は高くなる。例えば、図５に示す２つの被写体候補領域５Ａ、５Ｂを比較すると、２つの被写体候補領域５Ａ、５Ｂの間では、面積やまとまり度の差異は小さいが、モーメント中心（図５における×印）からの距離は被写体候補領域５Ｂの方が確実に短いので、被写体候補領域５Ｂの方が慣性モーメントは小さくなり、被写体候補領域５Ｂの方が被写体らしさの評価値は高くなる。

【0042】

続いて、評価部２２は、各被写体候補領域を、それらの評価値によって順位付けする。具体的には、各被写体候補領域に対して、評価値の高いものから順に順位を付与する。

【0043】

ここでは、評価部２２は、最終的に順位が４位より低位であったものを被写体候補領域から除外し、順位が３位より高位であるもののみを被写体候補領域として残すこととする。

【0044】

なお、本ステップの評価部２２は、前述した９つの抽出区分に対して優先順位を予め決めておき、仮に、複数の被写体候補領域の間で評価値が等しくなった場合には、それら被写体候補領域の抽出区分と予め決めた優先順位とに応じて、それら被写体候補領域を順位付けすることが望ましい。

【0045】

ステップＳ１４：画像処理エンジン１４の履歴作成部２３は、ステップＳ１３において第１位及び第２位となった被写体候補領域の各々の抽出区分を示す番号（区分番号）を、評価履歴へ書き込む。

【0046】

但し、履歴作成部２３は、現フレームが初期フレームであった場合には、区分番号を書き込む前に、評価履歴における全ての区分番号（履歴データ）をクリアする。また、履歴作成部２３は、第２位の被写体候補領域が存在しない場合には、第２位に対応する区分番号が存在しないことを示す符号を評価履歴へ書き込み、第１位の被写体候補領域が存在しない場合には、第１位に対応する区分番号が存在しないことを示す符号を評価履歴へ書き込む。

【0047】

図６は、フレーム番号＃１〜＃２４に関する評価履歴のイメージである。なお、図６では２４フレーム分の履歴データを示したが、被写体領域の選出（ステップＳ１６）に使用される履歴データは、現フレームを含めて最新５フレーム分の履歴データのみであるので（詳細は後述。）、ここでは、評価履歴のデータサイズを５フレーム分とし、現フレームの履歴データ（区分番号）が評価履歴へ書き込まれる際には、現フレームを含めて最新５フレームより古いフレームの履歴データについては評価履歴から消去される（上書きされる）ものと仮定する。このように、評価履歴を更新する際に不要な履歴データを消去すれば、評価履歴のデータサイズを最小限に抑えることができる。

【0048】

ステップＳ１５：画像処理エンジン１４は、更新後の評価履歴を参照し、現フレームを含めて最新５フレーム分の履歴データが評価履歴に蓄積済みであるか否かを判別する。そして、最新５フレーム分の履歴データが蓄積済みであった場合は、被写体領域の選出を行うべくステップＳ１６へ移行し、蓄積済みでなかった場合は、被写体領域の選出を省略してステップＳ１１へ戻る。

【0049】

ステップＳ１６：画像処理エンジン１４の被写体選出部２４は、評価履歴（＝現フレームを含めて最新５フレーム分の評価履歴）に基づき、例えば以下の手順（ａ）〜（ｃ）により現フレームの被写体候補領域から被写体領域を選出する。ここでは簡単のため、選出される被写体領域の個数を１と仮定する。

【0050】

（ａ）被写体選出部２４は、現フレームにおける第１位の被写体候補領域の区分番号が評価履歴（＝現フレームを含めて最新５フレーム分の評価履歴）に出現した回数をカウントし、その回数が３以上である場合には、その被写体候補領域を現クレームの被写体領域として選出する。但し、その回数が２以下であった場合には、第２位の被写体候補領域の検討を行うために、手順（ｂ）へ移行する。

【0051】

（ｂ）被写体選出部２４は、現フレームにおける第２位の被写体候補領域の区分番号が評価履歴（＝現フレームを含めて最新５フレーム分の評価履歴）に出現した回数をカウントし、その回数が３以上である場合には、その被写体候補領域を現クレームの被写体領域として選出する。但し、その回数が２以下であった場合には、第３位の被写体候補領域の検討を行うために、手順（ｃ）へ移行する。

【0052】

（ｃ）被写体選出部２４は、現フレームにおける第３位の被写体候補領域の区分番号が評価履歴（＝現フレームを含めて最新５フレーム分の評価履歴）に出現した回数をカウントし、その回数が３以上である場合には、その被写体候補領域を現クレームの被写体領域として選出する。但し、その出現の回数が２以下であった場合には、被写体領域の選出を行わずに次のステップＳ１７へ移行する。

【0053】

例えば、図７に示すとおり現フレーム（＃ｉ）における第１位の区分番号が「４」であり、現フレーム（＃ｉ）における第２位の区分番号が「９」であり、現フレーム（＃ｉ）における第３位の区分番号が「３」であり、最新５フレーム分の評価履歴における区分番号「４」の出現回数は１であり、最新５フレーム分の評価履歴における区分番号「９」の出現回数は５であり、最新５フレーム分の評価履歴における区分番号「３」の出現回数はゼロであったとする。

【0054】

この場合、現フレームにおける第１位の区分番号「４」は、出現回数の基準（３以上）を満たさないために、区分番号４の被写体候補領域が被写体領域として選出されることはなく、第２位である区分番号９の被写体候補領域が被写体領域として選出される。

【0055】

すなわち、被写体選出部２４は、現フレームにおける上位の被写体候補領域であっても、その被写体候補領域の区分番号が評価履歴に一定回数以上に亘って出現していなかった場合には、その被写体候補領域を被写体領域に選出しない。

【0056】

したがって、或る被写体候補領域が被写体領域として選出されるタイミングは、その被写体候補領域が上位となったタイミングではなく、その被写体候補領域の区分番号が候補履歴に一定回数以上出現したタイミングである。

【0057】

このように、或る被写体候補領域が被写体領域に選出されるまでに一定の猶予を設けておけば、カメラの構図が不安定な期間、或いは一定基準を満たす被写体候補領域が１つも発現していない期間に、被写体領域の選出結果が不安定になること（頻繁に切り替わること）を防止できる。

【0058】

なお、図８には、フレーム番号＃１〜＃２４に関する評価履歴と共に、フレーム番号＃１〜＃２４に関する選出履歴を示した（図８の最下段）。図３、図８を参照すると明らかなとおり、カメラの構図が不安定な期間、或いは一定基準を満たす被写体候補領域が１つも発現していない期間（＃１１〜＃１３、＃２４）には、当然ながら、被写体領域は選出されない。また、カメラの構図が安定し、かつ一定基準を満たす被写体候補領域が発現している期間（＃１〜＃１０、＃１４〜＃２３）であっても、その期間が一定期間を超えるまで（＃４まで、＃１５まで）は、被写体領域は選出されない。

【0059】

ステップＳ１７：画像処理エンジン１４は、ステップＳ１６において被写体領域が選出されたか否かを判別し、選出された場合には、枠表示制御・ＡＦ制御・ＡＥ制御を行うべくステップＳ１８へ移行し、選出されなかった場合には、それらの制御を省略してステップＳ１１へ戻る。

【0060】

ステップＳ１８：画像処理エンジン１４は、選出された被写体領域の包絡枠のイメージ（枠イメージ）を表示部１８上に重畳表示（オーバーレイ表示）する。

【0061】

また、画像処理エンジン１４は、選出された被写体領域又はその包絡枠を対象としてＡＦ制御を行う。具体的には、選出された被写体領域内又は包絡枠内に写っている物体にピントが合うようにフォーカシングレンズの位置を調整する。

【0062】

また、画像処理エンジン１４は、選出された被写体領域又はその包絡枠を対象としてＡＥ制御を行う。具体的には、選出された被写体領域内又は包絡枠内に写っている物体の明るさに適した露出（適正露出）に撮像素子の露出（撮像素子のシャッタースピードと撮影光学系の絞り値との組み合わせ）を調整する。

【0063】

したがって、カメラの構図が不安定な期間、或いは一定基準を満たす被写体候補領域が１つも発現していない期間には、枠表示制御、ＡＦ制御、ＡＥ制御が休止される。また、カメラの構図が安定し、かつ一定基準を満たす被写体候補領域が発現している期間であっても、その期間が一定期間を超えるまでは、枠表示制御、ＡＦ制御、ＡＥ制御の各々が猶予される。

【0064】

図９には、フレーム番号＃１〜＃２４に関する枠表示の様子を示した。図８、図９を参照すると明らかなとおり、カメラの構図が不安定な期間、或いは一定基準を満たす被写体候補領域が１つも発現していない期間（＃１１〜＃１３、＃２４）には、被写体領域が選出されないので、枠表示も行われない。また、カメラの構図が安定し、かつ一定基準を満たす被写体候補領域が発現している期間（＃１〜＃１０、＃１４〜＃２３）であっても、その期間が一定期間を超えるまで（＃４まで、＃１５まで）は、被写体領域が選出されないので、枠表示も行われない。

【0065】

ステップＳ１９：画像処理エンジン１４は、操作部１９を介してユーザから撮影指示が入力されたか否かを判別し、入力された場合はステップＳ２０へ移行し、入力されなかった場合はステップＳ１１へ移行する。

【0066】

ステップＳ２０：画像処理エンジン１４は、撮像部１３を駆動して記録用の詳細画像を取得すると、その詳細画像を適切な形式で記憶媒体２０へ記録し、フローを終了する。

【0067】

［第１実施形態の作用効果］
以上、本実施形態の撮像装置（１１）は、撮像素子が順次に生成する複数のフレームの各々から、複数種類の抽出基準により複数の被写体候補領域を抽出する抽出手段（２１）と、抽出した複数の被写体候補領域の各々に対して被写体らしさ評価を行う評価手段（２２）と、高評価を得た被写体候補領域の抽出基準の種類（区分番号）を、少なくとも所定フレーム周期に亘って記憶することにより評価履歴を作成する作成手段（２３）と、現フレームに関する評価の結果と、過去フレームに関する評価履歴とに基づき、現フレームの被写体領域を選出する選出手段（２４）とを備える。

【0068】

したがって、本実施形態の撮像装置（１１）は、評価履歴を使用しない場合よりも、被写体領域の選出結果を安定させることができる。

【0069】

なお、選出手段（２４）は、現フレームにおいて高評価を得た被写体候補領域の抽出基準（区分番号）が、評価履歴に一定以上の回数に亘って登場していた場合にのみ、被写体領域の選出を行う。

【0070】

したがって、本実施形態の撮像装置（１１）では、或る被写体候補領域が被写体領域に選出されるのは、その被写体候補領域が上位となったタイミングではなく、その被写体候補領域の抽出基準の候補履歴における登場回数が一定以上となったタイミングである。

【0071】

また、本実施形態の撮像装置（１１）は、被写体領域の範囲を示すマークをモニタへ表示する表示制御手段を更に備える。また、本実施形態の撮像装置（１１）は、被写体領域を対象として露出制御を行う露出制御手段を更に備える。また、本実施形態の撮像装置（１１）は、被写体領域を対象として焦点調節を行う焦点調節手段を更に備える。

【0072】

したがって、本実施形態の撮像装置（１１）は、マークの表示先、撮像装置の露出、撮像装置の焦点の各々を安定させることができる。

【0073】

また、本実施形態の撮像装置（１１）は、評価履歴の作成が開始されてから所定フレーム周期が経過するまでの期間中は、選出手段（２４）を休止させる。

【0074】

したがって、本実施形態の撮像装置（１１）は、被写体領域の選出結果が不安定となり易い期間の無駄な処理を省略することができる。

【0075】

また、抽出手段（２１）は、フレームを複数の閾値で二値化することにより複数の二値化画像を生成し、複数の二値化画像の各々から被写体候補領域を抽出する。したがって、複数種類の抽出基準による被写体候補領域の抽出は、確実に行われる。

【0076】

また、評価手段（２２）は、被写体候補領域の慣性モーメントと被写体候補領域の面積とに基づき被写体候補領域の被写体らしさ評価を行う。したがって、被写体らしさの評価は正確に行われる。

【0077】

また、評価手段（２２）は、現フレームに関する評価では、慣性モーメントの中心を、前フレームで選出された被写体領域の位置に応じて設定する。したがって、被写体らしさの評価は、より正確に行われる。

【0078】

［被写体抽出処理の説明］
以下、被写体抽出処理（ステップＳ１２）を詳しく説明する。この抽出処理は、例えば以下の手順（ａ）〜（ｆ）からなる。このうち手順（ｂ）、（ｃ）、（ｄ）の順序は、変更が可能である。また、手順（ｂ）、（ｃ）、（ｄ）のうち少なくとも２つの手順を並列に実行することも可能である。

【0079】

（ａ）候補抽出部２１は、スルー画像に対して色空間変換を施し、スルー画像の色空間をＲＧＢ空間からＹＣｂＣｒ空間へと変換する。

【0080】

（ｂ）候補抽出部２１は、スルー画像のＹ成分（Ｙ画像）に対して互いに異なる閾値を使用した複数通り（ここでは３通りとする。）の二値化処理を施し、二値化画像Ｍ（Ｙ１）、Ｍ（Ｙ２）、Ｍ（Ｙ３）を取得する（図４の左列を参照。）。このうち、二値化画像Ｍ（Ｙ１）は、Ｙ画像において第１閾値Ｙ１より大きな領域に白画素（画素値＝１）を配し、かつそれ以外の領域に黒画素（画素値＝ゼロ）を配したものであり、二値化画像Ｍ（Ｙ２）は、Ｙ画像において第２閾値Ｙ２（Ｙ２＜Ｙ１）より大きな領域に白画素を配し、かつそれ以外の領域に黒画素を配したものであり、二値化画像Ｍ（Ｙ３）は、Ｙ画像において第３閾値Ｙ３（Ｙ３＜Ｙ２）より小さな領域に白画素を配し、かつそれ以外の領域に黒画素を配したものである。なお、閾値Ｙ１、Ｙ２、Ｙ３は、例えば以下のとおり設定される。

【0081】

Ｙ１＝Ａｖｅ＋ασ、
Ｙ２＝Ａｖｅ＋σ、
Ｙ３＝Ａｖｅ−βσ、
但し、ＡｖｅはＹ画像の平均画素値であり、σはＹ画像の画素値の標準偏差であり、α、βは、１以上の所定値である。

【0082】

（ｃ）候補抽出部２１は、スルー画像のＣｂ成分（Ｃｂ画像）に対して互いに異なる閾値を使用した複数通り（ここでは３通りとする。）の二値化処理を施し、二値化画像Ｍ（Ｂ１）、Ｍ（Ｂ２）、Ｍ（Ｂ３）を取得する（図４の中央列を参照。）。このうち、二値化画像Ｍ（Ｂ１）は、Ｃｂ画像において第１閾値Ｂ１より大きな領域に白画素（画素値１）を配し、かつそれ以外の領域に黒画素（画素値０）を配したものであり、二値化画像Ｍ（Ｂ２）は、Ｃｂ画像において第２閾値Ｂ２（Ｂ２＜Ｂ１）より大きな領域に白画素を配し、かつそれ以外の領域に黒画素を配したものであり、二値化画像Ｍ（Ｂ３）は、Ｃｂ画像において第３閾値Ｂ３（Ｂ３＜Ｂ２）より小さな領域に白画素を配し、かつそれ以外の領域に黒画素を配したものである。なお、閾値Ｂ１、Ｂ２、Ｂ３は、例えば以下のとおり設定される。

【0083】

Ｂ１＝Ａｖｅ＋ασ、
Ｂ２＝Ａｖｅ＋σ、
Ｂ３＝Ａｖｅ−βσ、
但し、ＡｖｅはＣｂ画像の平均画素値であり、σはＣｂ画像の画素値の標準偏差であり、α、βは、１以上の所定値である。

【0084】

（ｄ）候補抽出部２１は、スルー画像のＣｒ成分（Ｃｒ画像）に対して互いに異なる閾値を使用した複数通り（ここでは３通りとする。）の二値化処理を施し、二値化画像Ｍ（Ｒ１）、Ｍ（Ｒ２）、Ｍ（Ｒ３）を取得する（図４の右列を参照。）。このうち、二値化画像Ｍ（Ｒ１）は、Ｃｒ画像において第１閾値Ｒ１より大きな領域に白画素（画素値１）を配し、かつそれ以外の領域に黒画素（画素値０）を配したものであり、二値化画像Ｍ（Ｒ２）は、Ｃｒ画像において第２閾値Ｒ２（Ｒ２＜Ｒ１）より大きな領域に白画素を配し、かつそれ以外の領域に黒画素を配したものであり、二値化画像Ｍ（Ｒ３）は、Ｃｒ画像において第３閾値Ｒ３（Ｒ３＜Ｒ２）より小さな領域に白画素を配し、かつそれ以外の領域に黒画素を配したものである。なお、閾値Ｒ１、Ｒ２、Ｒ３は、例えば以下のとおり設定される。

【0085】

Ｒ１＝Ａｖｅ＋ασ、
Ｒ２＝Ａｖｅ＋σ、
Ｒ３＝Ａｖｅ−βσ、
但し、ＡｖｅはＣｒ画像の平均画素値であり、σはＣｒ画像の画素値の標準偏差であり、α、βは、１以上の所定値である。

【0086】

（ｅ）候補抽出部２１は、二値化画像Ｍ（Ｙ１）、Ｍ（Ｙ２）、Ｍ（Ｙ３）、Ｍ（Ｂ１）、Ｍ（Ｂ２）、Ｍ（Ｂ３）、Ｍ（Ｒ１）、Ｍ（Ｒ２）、Ｍ（Ｒ３）の各々に対してラベリング処理を行い、それら二値化画像の各々における白画素のまとまりを、被写体候補領域として抽出する。

【0087】

なお、二値化画像Ｍ（Ｙ１）を使用した抽出区分が前述した第１の抽出区分であり、二値化画像Ｍ（Ｂ１）を使用した抽出区分が前述した第２の抽出区分であり、二値化画像Ｍ（Ｒ１）を使用した抽出区分が前述した第３の抽出区分であり、二値化画像Ｍ（Ｙ２）を使用した抽出区分が前述した第４の抽出区分であり、二値化画像Ｍ（Ｂ２）を使用した抽出区分が前述した第５の抽出区分であり、二値化画像Ｍ（Ｒ２）を使用した抽出区分が前述した第６の抽出区分であり、二値化画像Ｍ（Ｙ３）を使用した抽出区分が前述した第７の抽出区分であり、二値化画像Ｍ（Ｂ３）を使用した抽出区分が前述した第８の抽出区分であり、二値化画像Ｍ（Ｒ３）を使用した抽出区分が前述した第９の抽出区分である。

【0088】

（ｆ）候補抽出部２１は、手順（ｅ）で抽出された被写体候補領域の中から一定の基準を満たさないもの、例えば、二値化画像における被写体候補領域の総面積と比して面積が一定未満であるものや、二値化画像の縁部にかかっているものなどを、被写体候補領域から外す。なお、この手順（ｆ）における基準は、区分毎に設定されることが望ましい。

【0089】

［実施形態の補足］
なお、上述したステップＳ１４では、評価履歴に書き込むべき区分番号を、２位以上の区分番号のみとしたが、Ｎ位以上の区分番号のみとしてもよい（但し、Ｎ：自然数）。

【0090】

また、本実施形態では、被写体らしさの評価結果（区分番号）を蓄積した評価履歴を作成し、その評価履歴に基づき現フレームの被写体領域を選出した。しかし、本実施形態では、被写体領域の選出結果（区分番号）を蓄積した選出履歴を評価履歴と共に作成し、その評価履歴と選出履歴との双方に基づき現フレームの被写体領域を選出してもよい。

【0091】

また、本実施形態では、１フレームから選出される被写体領域の数を単数としたが、複数としてもよい。その場合、枠表示は、選出された複数の被写体領域の各々について行い、ＡＦ制御及びＡＥ制御は、最上位の被写体領域を対象として行えばよい。また、１フレーム内に複数の枠イメージを同時に表示する場合は、それらの枠イメージを順位に応じて色分けしてもよい。

【0092】

また、本実施形態では、被写体候補領域の抽出区分を、以下の９通りに設定した。

【0093】

・第１の抽出区分：輝度方向（Ｙ方向）の閾値Ｙ１による抽出処理。

【0094】

・第２の抽出区分：第１色差方向（Ｃｂ方向）の閾値Ｂ１による抽出処理。

【0095】

・第３の抽出区分：第２色差方向（Ｃｒ方向）の閾値Ｒ１による抽出処理。

【0096】

・第４の抽出区分：Ｙ方向の閾値Ｙ２（Ｙ２＜Ｙ１）による抽出処理。

【0097】

・第５の抽出区分：Ｃｂ方向の閾値Ｂ２（Ｂ２＜Ｂ１）による抽出処理。

【0098】

・第６の抽出区分：Ｃｒ方向の閾値Ｒ２（Ｒ２＜Ｒ１）による抽出処理。

【0099】

・第７の抽出区分：Ｙ方向の閾値Ｙ３（Ｙ３＜Ｙ２）による抽出処理。

【0100】

・第８の抽出区分：Ｃｂ方向の閾値Ｂ３（Ｂ２＜Ｂ２）による抽出処理。

【0101】

・第９の抽出区分：Ｃｒ方向の閾値Ｒ３（Ｒ３＜Ｒ２）による抽出処理。

【0102】

しかしながら、本実施形態における抽出区分の組み合わせは、上記９通りの組み合わせに限定されることはない。例えば、ＹＣｂＣｒ空間上の所定面を閾値として使用した抽出処理や、色以外の閾値による抽出処理などを、本実施形態の抽出区分の１つに採用してもよい。

【0103】

また、本実施形態では、被写体候補領域の抽出区分の数を９としたが、８以下、又は、１０以上としてもよい。

【0104】

また、本実施形態のステップＳ１６では、或る被写体候補領域を被写体領域に選定するための条件を、「その被写体候補領域の区分番号が最新５フレーム分の評価履歴に３回以上出現していること」としたが、これに限定されることはない。この条件は、「その被写体候補領域の区分番号が最新Ｍフレーム分の評価履歴にＫ回以上出現していること」であればよい（但し、Ｍ＞Ｋであり、Ｋ、Ｍは何れも自然数である。）。

【0105】

また、本実施形態のステップＳ１６では、或る被写体候補領域を被写体領域に選定するための出現回数の閾値Ｋ、或いは、出現頻度の閾値Ｋ／Ｍを、可変としてもよい。因みに、この閾値が大きいときほど、ステップＳ１８における制御（枠表示制御、ＡＦ制御、ＡＥ制御）を安定化することができ、この閾値が小さいときほど、ステップＳ１８における制御の応答性を高めることができる。

【0106】

また、本実施形態では、被写体領域の選出結果を、枠表示制御、ＡＦ制御、ＡＥ制御に使用したが、他の処理、例えばホワイトバランス制御などに使用してもよい。

【0107】

また、本実施形態では、選出された被写体領域の位置を示すマークとして枠イメージを使用したが、他のマーク（例えば、被写体領域の輪郭を示す輪郭イメージなど）を使用してもよい。

【0108】

また、本実施形態のカメラは、レンズ交換式のカメラ、コンパクトカメラの何れにも適用が可能である。但し、本実施形態のカメラは、動的な被写体よりも静的な被写体を撮影することの多いコンパクトカメラに好適と考えられる。

【0109】

また、本実施形態では、被写体候補領域の抽出処理、被写体領域の選出処理、選出結果に基づく各処理（枠表示制御、ＡＦ制御、ＡＥ制御）の全てを、プログラムによってソフトウエア的に実現したが、それら処理の一部又は全部を例えばＡＳＩＣによりハードウエア的に実現してもよい。

【符号の説明】

【0110】

１１…電子カメラ、１２…撮影光学系、１３…撮像部、１４…画像処理エンジン、１５…第１メモリ、１６…第２メモリ、１７…記録Ｉ／Ｆ、１８…表示部、１９…操作部、２０…記憶媒体、２１…候補抽出、２２…評価部、２３…履歴作成部、２４…被写体選出部、３１…コンピュータ、３２…データ読込部、３３…記憶装置、３４…ＣＰＵ、３５…メモリ、３６…入出力Ｉ／Ｆ、３７…バス、３８…入力デバイス、３９…モニタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】