特許 6011146 画像処理装置、撮像装置、および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6011146

(24)【登録日】2016年9月30日

(45)【発行日】2016年10月19日

(54)【発明の名称】画像処理装置、撮像装置、および画像処理プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20161006BHJP

【ＦＩ】

   H04N5/232 Z

【請求項の数】9

【全頁数】16

(21)【出願番号】特願2012-179352(P2012-179352)

(22)【出願日】2012年8月13日

(65)【公開番号】特開2014-39100(P2014-39100A)

(43)【公開日】2014年2月27日

【審査請求日】2015年6月29日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100072718

【弁理士】

【氏名又は名称】古谷 史旺

(74)【代理人】

【識別番号】100116001

【弁理士】

【氏名又は名称】森 俊秀

(72)【発明者】

【氏名】鉾井 逸人

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２００７−１８０９３２（ＪＰ，Ａ）

【文献】 特開２００２−０９２６０９（ＪＰ，Ａ）

【文献】 特開平０４−０１００７９（ＪＰ，Ａ）

【文献】 特開２０００−３４１６７７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

処理対象の画像データを取得する取得部と、
前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出部と、
前記画像における影の影響を示す評価値を算出する評価値算出部と、
前記評価値算出部により算出した前記評価値に基づいて、前記領域検出部による前記被写体領域の検出方法を決定する制御部と、
を備え、
前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を検出し、
前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域の検出方法を変更する画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記領域検出部は、前記輝度に関する特徴量と所定の閾値とを比較した結果が真となる画素の空間的連続領域に基づく被写体領域を検出し、
前記制御部は、前記影の影響が大きい場合には、前記閾値を、前記影の影響が大きくない場合より小さく設定して、前記領域検出部による前記空間的連続領域に基づく被写体領域の検出を行う画像処理装置。

【請求項3】

請求項１又は請求項２に記載の画像処理装置において、
前記領域検出部は、前記特徴量として複数の特徴量を算出し、前記複数の特徴量に基づいて複数の被写体領域を検出し、
前記制御部は、前記評価値に基づいて、前記複数の被写体領域に関する優先度を決定し、決定した前記優先度に基づいて主要被写体領域を決定する画像処理装置。

【請求項4】

請求項３に記載の画像処理装置において、
前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を検出し、
前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域に関する前記優先度を、前記影の影響が大きくない場合より低く設定して、前記主要被写体領域を決定する画像処理装置。

【請求項5】

請求項３に記載の画像処理装置において、
前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を検出し、
前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域がその他の被写体領域と近接しているか否かをさらに判定し、前記低輝度領域に基づく被写体領域がその他の被写体領域と近接している場合には、前記低輝度領域に基づく被写体領域に関する前記優先度を、前記影の影響が大きくない場合より低く設定して、前記主要被写体領域を決定する画像処理装置。

【請求項6】

請求項１又は請求項２に記載の画像処理装置において、
前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を含む複数の被写体領域を検出し、
前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域がその他の被写体領域と近接しているか否かをさらに判定し、前記低輝度領域に基づく被写体領域がその他の被写体領域と近接している場合には、前記領域検出部により検出した前記複数の被写体領域のうち、前記低輝度領域に基づく被写体領域を除く被写体領域の中から主要被写体領域を決定する画像処理装置。

【請求項7】

請求項１から請求項６の何れか１項に記載の画像処理装置において、
前記評価値算出部は、前記画像の明るさに関する情報と、コントラストに関する情報との少なくとも一方に基づいて、前記評価値を算出し、
前記制御部は、前記明るさが所定の基準より明るい場合か、前記明るさが所定の基準より明るく、かつ、前記コントラストが所定の基準より高い場合に、前記影の影響が大きいと判定する画像処理装置。

【請求項8】

光学系による像を撮像して画像データを生成する撮像部と、
前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出部と、
前記画像における影の影響を示す評価値を算出する評価値算出部と、
前記評価値算出部により算出した前記評価値に基づいて、前記領域検出部による前記被写体領域の検出方法を決定する制御部と、
を備え、
前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を検出し、
前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域の検出方法を変更する撮像装置。

【請求項9】

コンピュータに、
処理対象の画像データを取得する取得手順と、
前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出手順と、
前記画像における影の影響を示す評価値を算出する評価値算出手順と、
前記評価値算出手順において算出した前記評価値に基づいて、前記領域検出手順における前記被写体領域の検出方法を決定する制御手順と、
を実行させるとともに、
前記領域検出手順は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を検出する手順を含み、
前記制御手順は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域の検出方法を変更する手順を含む画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、および画像処理プログラムに関する。

【背景技術】

【0002】

従来、被写体抽出に関する様々な技術が考えられている。例えば、特許文献１の発明では、被写体形状の変化量に応じてＡＦ測距枠を変形することにより、被写体がカメラ方向に移動する場合でも、被写体に対して最適に自動焦点調節する撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−０６９７４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、被写体抽出に際しては、処理対象の画像の撮影時の環境に起因して、被写体抽出に誤検出が起こる場合がある。例えば、晴天時の屋外等の状況において撮影された処理対象の画像に関して、影の部分が被写体領域として抽出されてしまう場合がある。本来、影は物体に付随するものであり、影自体が被写体領域として抽出されるのは好ましくない。

【0005】

本発明は、前記の点に鑑みてなされたものであり、処理対象の画像に影の影響がある場合であっても、被写体領域の抽出を的確に行うことを目的とする。

【課題を解決するための手段】

【0006】

本発明の画像処理装置は、処理対象の画像データを取得する取得部と、前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出部と、前記画像における影の影響を示す評価値を算出する評価値算出部と、前記評価値算出部により算出した前記評価値に基づいて、前記領域検出部による前記被写体領域の検出方法を決定する制御部と、を備え、前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を検出し、前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域の検出方法を変更する。

【0009】

また、前記領域検出部は、前記輝度に関する特徴量と所定の閾値とを比較した結果が真となる画素の空間的連続領域に基づく被写体領域を検出し、前記制御部は、前記影の影響が大きい場合には、前記閾値を、前記影の影響が大きくない場合より小さく設定して、前記領域検出部による前記空間的連続領域に基づく被写体領域の検出を行っても良い。

【0010】

また、前記領域検出部は、前記特徴量として複数の特徴量を算出し、前記複数の特徴量に基づいて複数の被写体領域を検出し、前記制御部は、前記評価値に基づいて、前記複数の被写体領域に関する優先度を決定し、決定した前記優先度に基づいて主要被写体領域を決定しても良い。

【0011】

また、前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を検出し、前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域に関する前記優先度を、前記影の影響が大きくない場合より低く設定して、前記主要被写体領域を決定しても良い。

【0012】

また、前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を検出し、前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域がその他の被写体領域と近接しているか否かをさらに判定し、前記前記低輝度領域に基づく被写体領域がその他の被写体領域と近接している場合には、前記低輝度領域に基づく被写体領域に関する前記優先度を、前記影の影響が大きくない場合より低く設定して、前記主要被写体領域を決定しても良い。

【0013】

また、前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を含む複数の被写体領域を検出し、前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域がその他の被写体領域と近接しているか否かをさらに判定し、前記前記低輝度領域に基づく被写体領域がその他の被写体領域と近接している場合には、前記領域検出部により検出した前記複数の被写体領域のうち、前記低輝度領域に基づく被写体領域を除く被写体領域の中から主要被写体領域を決定しても良い。

【0014】

また、前記評価値算出部は、前記画像の明るさに関する情報と、コントラストに関する情報との少なくとも一方に基づいて、前記評価値を算出し、前記制御部は、前記明るさが所定の基準より明るい場合か、前記明るさが所定の基準より明るく、かつ、前記コントラストが所定の基準より高い場合に、前記影の影響が大きいと判定しても良い。

【0015】

本発明の撮像装置は、光学系による像を撮像して画像データを生成する撮像部と、前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出部と、前記画像における影の影響を示す評価値を算出する評価値算出部と、前記評価値算出部において算出した前記評価値に基づいて、前記領域検出部における前記被写体領域の検出方法を決定する制御部と、を備え、前記領域検出部は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を検出し、前記制御部は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域の検出方法を変更する。

【0017】

本発明の画像処理プログラムは、コンピュータに、処理対象の画像データを取得する取得手順と、前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出手順と、前記画像における影の影響を示す評価値を算出する評価値算出手順と、前記評価値算出手順において算出した前記評価値に基づいて、前記領域検出手順における前記被写体領域の検出方法を決定する制御手順と、を実行させるとともに、前記領域検出手順は、前記特徴量として、少なくとも輝度に関する特徴量を算出するとともに、前記輝度に関する特徴量に基づいて、少なくとも低輝度領域に基づく被写体領域を検出する手順を含み、前記制御手順は、前記評価値と所定の閾値とを比較することにより、前記影の影響が大きいか否かを判定し、前記影の影響が大きい場合には、前記低輝度領域に基づく被写体領域の検出方法を変更する手順を含む。

【発明の効果】

【0018】

本発明によれば、処理対象の画像に影の影響がある場合であっても、被写体領域の抽出を的確に行うことができる。

【図面の簡単な説明】

【0019】

【図1】レンズ鏡筒１０と、撮像装置２０と、記憶媒体４０との構成を示すブロック図である。

【図2】自動検出モード実行時のＣＰＵ２６の動作を示すフローチャートである。

【図3】自動検出モード実行時のＣＰＵ２６の動作を示す別のフローチャートである。

【図4】マスク抽出処理（I）について説明する図である。

【図5】マスク抽出処理（I）について説明する別の図である。

【図6】マスク抽出処理（I）について説明する別の図である。

【図7】マスク抽出処理（I）について説明する別の図である。

【図8】マスク抽出処理（II）について説明する図である。

【図9】マスク抽出処理（II）について説明する別の図である。

【発明を実施するための形態】

【0020】

以下、実施形態について図面を参照して詳細に説明する。

【0021】

本実施形態では、図１に示すようなレンズ鏡筒１０と、撮像装置２０と、記録媒体４０とからなる装置を例に挙げて説明する。

【0022】

撮像装置２０は、レンズ鏡筒１０から入射される光学像を撮像する。得られた画像は静止画又は動画の画像として、記憶媒体４０に記憶される。

【0023】

レンズ鏡筒１０は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」と称する）１１と、レンズ駆動部１２と、ＡＦエンコーダ１３と、鏡筒制御部１４とを備える。なお、レンズ鏡筒１０は、撮像装置２０に着脱可能に接続されてもよいし、撮像装置２０と一体であってもよい。

【0024】

撮像装置２０は、撮像部２１と、画像処理装置２２と、表示部２３と、バッファメモリ部２４と、記憶部２５と、ＣＰＵ２６と、操作部２７と、通信部２８とを備える。撮像部２１は、撮像素子２９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部３０とを備える。撮像部２１は、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ２６により制御される。

【0025】

レンズ鏡筒１０において、ＡＦレンズ１１は、レンズ駆動部１２により駆動され、撮像装置２０の撮像素子２９の受光面（光電変換面）に、光学像を導く。ＡＦエンコーダ１３は、ＡＦレンズ１１の移動を検出し、ＡＦレンズ１１の移動量に応じた信号を、鏡筒制御部１４に出力する。ここで、ＡＦレンズ１１の移動量に応じた信号とは、例えば、ＡＦレンズ１１の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。

【0026】

鏡筒制御部１４は、撮像装置２０のＣＰＵ２６から入力される駆動制御信号に応じて、レンズ駆動部１２を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１を光軸方向に駆動させる制御信号である。鏡筒制御部１４は、駆動制御信号に応じて、例えば、レンズ駆動部１２に出力するパルス電圧のステップ数を変更する。また、鏡筒制御部１４は、ＡＦレンズ１１の移動量に応じた信号に基づいて、レンズ鏡筒１０におけるＡＦレンズ１１の位置（フォーカスポジション）を、撮像装置２０のＣＰＵ２６に出力する。ここで、鏡筒制御部１４は、例えば、ＡＦレンズ１１の移動量に応じた信号を、ＡＦレンズ１１の移動方向に応じて積算することで、レンズ鏡筒１０におけるＡＦレンズ１１の移動量（位置）を算出してもよい。レンズ駆動部１２は、鏡筒制御部１４の制御に応じてＡＦレンズ１１を駆動し、ＡＦレンズ１１をレンズ鏡筒１０内で光軸方向に移動させる。

【0027】

撮像装置２０において、撮像素子２９は、光電変換面を備え、レンズ鏡筒１０（光学系）により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部３０に出力する。撮像素子２９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの光電変換素子で構成される。また、撮像素子２９は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（画像切り出し）。また、撮像素子２９は、操作部２７を介してユーザからの撮影指示を受け付けた際に得られる画像を、Ａ／Ｄ変換部３０および通信部２８を介して記憶媒体４０に出力する。一方、撮像素子２９は、操作部２７を介してユーザからの撮影指示を受け付ける前の状態において、連続的に得られる画像をスルー画像として、バッファメモリ部２４及び表示部２３に、Ａ／Ｄ変換部３０を介して出力する。

【0028】

Ａ／Ｄ変換部３０は、撮像素子２９によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部２４等に出力する。

【0029】

画像処理装置２２は、記憶部２５に記憶されている画像処理条件に基づいて、バッファメモリ部２４に一時的に記憶されている画像に対する画像処理を行う。そして、画像処理後の画像は、通信部２８を介して記憶媒体４０に記憶される。また、画像処理装置２２は、バッファメモリ部２４に一時的に記憶されている画像に対して、マスク抽出処理を行う（詳細は後述する）。そして、抽出したマスクに関する情報は、ＣＰＵ２６に出力されるとともに、記憶部２５や記憶媒体４０等に記憶される。

【0030】

表示部２３は、例えば液晶ディスプレイであって、撮像部２１によって生成された画像、及び操作画面等を表示する。バッファメモリ部２４は、撮像部２１によって生成された画像を一時的に記憶する。記憶部２５は、撮像条件や、各種判定の際にＣＰＵ２６によって参照される判定条件などを記憶する。

【0031】

ＣＰＵ２６は、画像処理部２２や記憶部２５などから適宜必要な情報を取得し、取得した情報に基づいて、撮像装置２０内の各部を統括的に制御する。ＣＰＵ２６による制御には、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、閃光の発光量の変更の設定、被写体追尾の設定、各種撮影モードの設定、各種画像処理の設定、各種表示の設定、ズーム倍率に連動した明るさの最適化の設定などが含まれる。また、ＣＰＵ２６は、操作部２７の操作状態を監視するとともに、表示部２３への画像データの出力を行う。

【0032】

操作部２７は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ２６に出力する。

【0033】

通信部２８は、カードメモリ等の取り外しが可能な記憶媒体４０と接続され、この記憶媒体４０への情報（画像データ、領域の情報など）の書込み、読み出し、あるいは消去を行う。

【0034】

記憶媒体４０は、撮像装置２０に対して着脱可能に接続される記憶部であって、情報（画像データ、領域の情報など）を記憶する。なお、記憶媒体４０は、撮像装置２０と一体であってもよい。

【0035】

撮像装置２０は、撮影時に、焦点調節情報に基づいて主要被写体領域を検出する通常モードの他に、自動で主要被写体領域を検出する自動検出モードを備える。自動検出モードは、構図確認用のスルー画像等に基づいて、主要被写体領域を自動で継続的に検出するモードである。この自動検出モードは操作部２７を介したユーザ操作により設定可能であっても良いし、ＣＰＵ２６により自動で設定可能であっても良い。

【0036】

以下、自動検出モード実行時のＣＰＵ２６の動作について、図２のフローチャートを参照して説明する。

【0037】

ステップＳ１０１において、ＣＰＵ２６は、被写界の測光を開始する。被写界の測光は公知技術と同様に行われる。例えば、ＣＰＵ２６は、撮像部２１により生成されるスルー画像に基づいて測光を行っても良いし、不図示の測光センサの出力に基づいて測光を行っても良い。ＣＰＵ２６は、所定の時間間隔で測光を行い、取得される輝度値であるＢＶ値を記憶部２５に随時記録する。

【0038】

ステップＳ１０２において、ＣＰＵ２６は、コントラストの測定を開始する。コントラストの測定は公知技術と同様に行われる。例えば、ＣＰＵ２６は、撮像部２１により生成されるスルー画像に基づいてコントラストの測定を行っても良いし、その他のセンサなどの出力に基づいてコントラストの測定を行っても良い。ＣＰＵ２６は、所定の時間間隔でコントラストを測定し、取得されるコントラスト値を記憶部２５に随時記録する。

【0039】

ステップＳ１０３において、ＣＰＵ２６は、撮像部２１を制御して、スルー画像の取得を開始する。取得されたスルー画像の画像情報はバッファメモリ部２４に一時的に記憶される。このスルー画像は、所定の時間間隔で連続して生成される。そして、ＣＰＵ２６によるスルー画像の取得は、時間的に連続して順次行われる。

【0040】

ステップＳ１０４において、ＣＰＵ２６は、画像処理装置２２を制御して通常の画像処理を行う。通常の画像処理とは、ホワイトバランス調整、補間処理、色調補正処理、階調変換処理などである。各処理の具体的な方法は公知技術と同様であるため説明を省略する。画像処理装置２２は、バッファメモリ部２４から対象となる画像の画像データを取得し、画像処理を施した後に、再びバッファメモリ部２４に出力する。

【0041】

ステップＳ１０５において、ＣＰＵ２６は、影の影響があるか否かを判定する。ＣＰＵ２６は、影の影響があると判定すると後述するステップＳ１０７に進む。一方、影の影響がないと判定すると、ＣＰＵ２６は、ステップＳ１０６に進む。

【0042】

影の影響があるか否かの判定は、ステップＳ１０１で開始した測光の結果と、ステップＳ１０２で開始したコントラストの測定の結果との少なくとも一方に基づいて行われる。

【0043】

影の影響がある場合とは、晴天時の屋外等の状況において撮影が行われる場合や、屋内のスタジオなどにおいて、特殊な照明が被写体に照射される場合などである。このような場合には、処理対象の画像に関して、影の部分が被写体領域として抽出されてしまう可能性がある。ＣＰＵ２６は、ステップＳ１０１で開始した測光の結果と、ステップＳ１０２で開始したコントラストの測定の結果との少なくとも一方に基づいて、被写界の明るさや、被写界のシーンなどを解析することにより、影の影響があるか否かの判定を行う。

【0044】

具体的には、例えば、ＢＶ値が所定の閾値よりも大きい（つまり、明るい）場合に影の影響があると判定しても良いし、ＢＶ値が所定の閾値よりも大きく、かつ、コントラスト値が所定の閾値よりも大きい（つまり、コントラストが高い）場合に影の影響があると判定しても良い。また、ステップＳ１０１で開始した測光の結果と、ステップＳ１０２で開始したコントラストの測定の結果との少なくとも一方に基づいて、影の影響を示す評価値を算出し、その評価値と所定の閾値とを比較することにより、影の影響があるか否かの判定を行っても良い。

【0045】

ステップＳ１０６において、ＣＰＵ２６は、画像処理装置２２を制御してマスク抽出処理（Ｉ）を行う。マスク抽出処理とは、画像における特徴量を算出し、特徴量に基づいて被写体領域を検出するための一手法である。例えば、画像における特徴量を求め、同様の特徴量を有する連続領域を求めることによりマスク抽出を行う。また、マスク抽出処理（Ｉ）とは、影の影響がない、一般的な画像を対象とした通常のマスク抽出処理である。

【0046】

マスク抽出処理（Ｉ）について図３〜図７の模式図を参照して説明する。

【0047】

画像処理装置２２は、ステップＳ１０４で通常の画像処理を施した画像をバッファメモリ部２４から読み出し、適宜リサイズ処理および色空間変換処理を行い、ＹＵＶ（例えば、ＹＣｂＣｒ）画像を生成する。次に、画像処理装置２２は、生成したＹＵＶ画像のＹ画像、Ｃｂ画像およびＣｒ画像のそれぞれに基づいて、マスク画像を作成する。

【0048】

画像処理装置２２は、図３に示すように、Ｙ画像、Ｃｂ画像およびＣｒ画像のそれぞれからＹマスクＭ[Ｙ]、ＣｂマスクＭ[Ｃｂ]およびＣｒマスクＭ[Ｃｒ]を作成する。画像処理装置２２は、Ｙ画像から、例えば、Ｙ画像の中心の４画素における平均画素値Ｙａｖｅに対して、所定の範囲（例えば、Ｙａｖｅ＋Ｋ・σ）の２値化画像を生成する。そして、生成したＹ２値化画像に対してラベリング処理を行い、不要なマスクを排除することによりＹマスクＭ[Ｙ]を作成する。なお、上述したＫは所定の係数（例えば、Ｋ＝０．６）であり、σはＹａｖｅからの偏差である。また、２値化処理およびラベリング処理は公知技術と同様であるため説明を省略する。画像処理装置２２は、同様の処理を行ってＣｂ画像からＣｂマスクＭ[Ｃｂ]を作成し、Ｃｒ画像からＣｒマスクＭ[Ｃｒ]を作成する。

【0049】

また、画像処理装置２２は、図３に示すように、作成したＹマスクＭ[Ｙ]、ＣｂマスクＭ[Ｃｂ]およびＣｒマスクＭ[Ｃｒ]から中心マスクＭ[ａ]を作成する。中心マスクＭ[ａ]は、ＹマスクＭ[Ｙ]、ＣｂマスクＭ[Ｃｂ]およびＣｒマスクＭ[Ｃｒ]が重なる重複領域からなるマスクである。なお、中心マスクＭ[ａ]を作成する際には、領域を例えば中央領域に限定して重複領域を求めても良い。あるいは、中央を含むマスクに限定しても良い。以降の処理では、最終的に作成した中心マスクＭ[ａ]のみを使用する。

【0050】

また、画像処理装置２２は、図４に示すように、Ｙ画像から３種類の輝度マスクを作成する（ただし、Ｙ画像から４種類以上のマスクを作成しても良い。）。画像処理装置２２は、Ｙ画像の各画素値を入力値とし、補正（例えばガンマ補正）後の各画素値を出力値とする。そして、出力値に応じて３つの区分の２値化画像を生成する。図４に示すように、Ｙ画像のハイライト部分からはＹハイライト２値化画像が生成され、Ｙ画像の中間以上の部分からはＹ中間以上２値化画像が生成され、Ｙ画像のシャドー部分からはＹシャドー２値化画像が生成される。そして、画像処理装置２２は、生成した３種類の２値化画像のそれぞれに対してラベリング処理を行い、不要なマスクを排除することにより、ＹハイライトマスクＭ[Ｙ１]、Ｙ中間以上マスクＭ[Ｙ２]およびＹシャドーマスクＭ[Ｙ３]の各輝度マスクを作成する。

【0051】

また、画像処理装置２２は、図５に示すように、Ｃｂ画像およびＣｒ画像のそれぞれから、３種類ずつの色マスクを作成する。画像処理装置２２は、Ｃｂ画像に対して、上述した図４の例と同様に、出力値に応じて３つの所定区分の２値化画像を生成する。図５に示すように、Ｃｂ画像からは、青側を中心としたＣｂ青側２値化画像、中間成分を中心としたＣｂ中間２値化画像、黄側を中心としたＣｂ黄側２値化画像が生成される。同様に、Ｃｒ画像からは、赤側を中心としたＣｒ赤側２値化画像、中間成分を中心としたＣｒ中間２値化画像、緑側を中心としたＣｒ緑側２値化画像が生成される。そして、画像処理装置２２は、生成した６種類の２値化画像のそれぞれに対してラベリング処理を行い、不要なマスクを排除することにより、Ｃｂ青側マスクＭ[Ｃｂ１]、Ｃｂ中間マスクＭ[Ｃｂ２]、Ｃｂ黄側マスクＭ[Ｃｂ３]、Ｃｒ赤側マスクＭ[Ｃｒ１]、Ｃｒ中間マスクＭ[Ｃｒ２]、Ｃｒ緑側マスクＭ[Ｃｒ３]の６種類の色マスクを作成する。

【0052】

また、画像処理装置２２は、図６に示すように、Ｃｂ画像およびＣｒ画像から３種類の純色マスクを作成する。純色マスクとは、任意の一定の領域を有する「絶対的に純度の高い被写体」を抽出したマスクである。純色マスクの作成は、公知技術と同様に行われるため説明を省略する。画像処理装置２２は、図６に示すように、Ｃｂ画像およびＣｒ画像から、純色赤マスクＭ[Ｒ]、純色黄マスクＭ[Ｙｅ]、純色紫マスクＭ[Ｐ]の各純色マスクを作成する。

【0053】

以上説明した処理により、画像処理装置２２は、図３に示した１種類のマスク（中心マスクＭ[ａ]）と、図４に示した３種類の輝度マスクと、図５に示した６種類の色マスクと、図６に示した３種類の純色マスクの合計１３種類のマスクを作成する。

【0054】

次に、画像処理装置２２は、作成した１３種類のマスクに対して、不要なマスクを排除し、残ったマスクについて、優先度を決定する。優先度とは、１３種類のマスクから、実際に被写体領域の抽出に用いるマスクを決定する際の優先度合を示す。

【0055】

一般的な画像を対象とした通常のマスク抽出処理であるマスク抽出処理（Ｉ）においては、例えば、図７に示すように、３段階の優先度が予め定められる。優先度１位は、３種類の純色マスクであり、優先度２位は、色マスクのうちＣｂ青側マスクＭ[Ｃｂ１] およびＣｂ黄側マスクＭ[Ｃｂ３]であり、優先度３位はその他のマスクである。なお、図７に示す優先度は一例であり、複数段階であれば何段階であっても良い。また、図７における各マスクの各優先度への振り分けは一例である。図７に示すように、優先度は、色情報に関するマスクの優先度が相対的に高く決定されている。そして、画像処理装置２２は、これらの優先度に応じて、優先度の高い各マスクを優先しつつ、一定評価値以上のマスクを求め、被写体領域を抽出するためのマスクとする。なお、被写体領域を抽出するためのマスクを選択する方法は、公知技術などどのような方法であっても良い。最後に、画像処理装置２２は、選択したマスクに基づいて被写体領域を抽出し、後述するステップＳ１０８に進む。

【0056】

ステップＳ１０７において、ＣＰＵ２６は、画像処理装置２２を制御してマスク抽出処理（II）を行う。マスク抽出処理（II）とは、影の影響がある画像を対象としたマスク抽出処理である。ＣＰＵ２６は、画像処理装置２２を制御して、マスク抽出処理（II）において、以下の（ａ）〜（ｃ）の少なくとも１つの処理を行う。以下では、ステップＳ１０６で説明したマスク抽出処理（Ｉ）との相違点についてのみ説明する。

【0057】

（ａ）ＹシャドーマスクＭ[Ｙ３]の作成方法の変更。

【0058】

画像処理装置２２は、ステップＳ１０６で説明した１３種類のマスクを作成する。ただし、画像処理装置２２は、図３で説明したＹシャドーマスクＭ[Ｙ３]を作成する際に、マスク抽出処理（Ｉ）とは条件を変える。マスク抽出処理（II）は、上述したように、影の影響がある画像を対象としたマスク抽出処理である。ＹシャドーマスクＭ[Ｙ３]は、低輝度領域（所定の閾値と比較した結果が真となる画素の空間的連続領域）に基づく被写体領域を検出するマスクであり、影の部分を被写体領域として検出してしまう可能性が高いマスクである。したがって、ＹシャドーマスクＭ[Ｙ３]が影を検出するのを防ぎ、色としての黒側を抽出するようにＹシャドーマスクＭ[Ｙ３]の作成方法を変更する。

【0059】

マスク抽出処理（II）においては、図４に示したＹシャドー２値化画像を生成する際の閾値をマスク抽出処理（Ｉ）の場合よりも小さく設定する。すなわち、マスク抽出処理（Ｉ）の場合と比較して、閾値をシャドー側にシフトすることにより、薄い影の部分を拾い難くし、黒い物体のみを拾うことができるようにする。なお、閾値の設定を、影の影響の度合に応じて変更しても良い。すなわち、影の影響が大きくなるほど、上述した閾値が小さくなるように、段階的な設定を行っても良い。また、上述した閾値を小さく設定する代わりに、上述した閾値を、より小さい値である所定の第２の閾値に変更する構成としても良い。

【0060】

（ｂ）ＹシャドーマスクＭ[Ｙ３]の優先度の変更。

【0061】

画像処理装置２２は、ステップＳ１０６で説明した１３種類のマスクを作成する。ただし、画像処理装置２２は、ステップＳ１０６とは異なり、ＹシャドーマスクＭ[Ｙ３]の優先度を、マスク抽出処理（Ｉ）の場合よりも低くする（下げる）。例えば、図７で説明した優先度３位よりも下の優先度４位とする。このように優先度を決定するのは、対象画像が影の影響がある画像であることを鑑みたことによるものであり、ＹシャドーマスクＭ[Ｙ３]により、影の部分を被写体領域として検出してしまう可能性を抑えるためである。そして、画像処理装置２２は、ステップＳ１０６と同様に、優先度の高い各マスクを優先しつつ、一定評価値以上のマスクを求め、被写体領域を抽出するためのマスクとして選択する。

【0062】

（ｃ）ＹシャドーマスクＭ[Ｙ３]とその他のマスクとの相対位置に基づく変更。

【0063】

画像処理装置２２は、ステップＳ１０６で説明した１３種類のマスクを作成する。その後、画像処理装置２２は、ＹシャドーマスクＭ[Ｙ３]とその他のマスクとの相対位置を確認する。

【0064】

対象画像が図８に示す画像である場合を例に挙げて説明する。図８の例では、主要被写体である猫Ｔ１と、猫の影Ｔ２とが含まれる。この画像に対して作成した１３種類のマスクの例を図９に示す。図９に示すように、ＹシャドーマスクＭ[Ｙ３]においては、影Ｔ２の部分が抽出されている。そこで、まず、画像処理装置２２は、ＹシャドーマスクＭ[Ｙ３]とその他のマスクとの相対位置を確認する。図９の各マスク中の点線は、ＹシャドーマスクＭ[Ｙ３]により抽出された領域に対応する領域を示す。図９の例では、Ｃｂ黄側マスクＭ[Ｃｂ３]、Ｃｒ赤側マスクＭ[Ｃｒ１]、Ｃｒ中間マスクＭ[Ｃｒ２]の３種類のマスクが、ＹシャドーマスクＭ[Ｙ３]と近接している。なお、ＹシャドーマスクＭ[Ｙ３]とその他のマスクとが近接しているか否かは、双方のマスクのエッジ間の最近接距離が所定の画素数内であるか（例えば、２画素以内であるか）否かによって判定される。このような場合に、画像処理装置２２は、ＹシャドーマスクＭ[Ｙ３]を以降の処理から除外する。すなわち、ステップＳ１０６で説明した１３種類のマスクのうち、ＹシャドーマスクＭ[Ｙ３]を除く１２種類のマスクから、上述した被写体領域を抽出するためのマスクを選択する。

【0065】

なお、ＹシャドーマスクＭ[Ｙ３]とその他のマスクとの相対位置に基づいて、さらにマスクを除外しても良い。図９の例において、例えば、ＹシャドーマスクＭ[Ｙ３]に内包されるか、あるいは、ＹシャドーマスクＭ[Ｙ３]とほぼ重複しているマスクであるＣｂ青側マスクＭ[Ｃｂ１]、Ｃｂ中間マスクＭ[Ｃｂ２]、Ｃｒ緑側マスクＭ[Ｃｒ３]、中心マスクＭ[ａ]の５種類のマスクを、上述したＹシャドーマスクＭ[Ｙ３]と同様に、以降の処理から除外しても良い。

【0066】

このように一部のマスクを除外するのは、対象画像が影の影響がある画像であることを鑑みたことによるものであり、影の影響が大きく出ると考えられるマスクを除外することにより、影の部分を被写体領域として検出してしまうことを防ぐためである。そして、画像処理装置２２は、ステップＳ１０６と同様に、優先度の高い各マスクを優先しつつ、一定評価値以上のマスクを求め、被写体領域を抽出するためのマスクとして選択する。

【0067】

さらに、ＹシャドーマスクＭ[Ｙ３]とその他のマスクとの相対位置に基づいて、優先度を変更しても良い。例えば、ＹシャドーマスクＭ[Ｙ３]とその他のマスクとが近接している場合には、上述した（２）のケースと同様に、ＹシャドーマスクＭ[Ｙ３]の優先度を、マスク抽出処理（Ｉ）の場合よりも低くしても良い。また、ＹシャドーマスクＭ[Ｙ３]とほぼ重複しているマスクであるＣｂ青側マスクＭ[Ｃｂ１]、Ｃｂ中間マスクＭ[Ｃｂ２]、Ｃｒ緑側マスクＭ[Ｃｒ３]、中心マスクＭ[ａ]の５種類のマスクについても、優先度を、マスク抽出処理（Ｉ）の場合よりも相対的に低くしても良い。

【0068】

なお、ステップＳ１０６およびステップＳ１０７で説明した各マスク抽出処理において、画像処理装置２２は、１つの被写体領域のみ抽出しても良いし、複数の被写体領域を抽出しても良い。また、ステップＳ１０７で説明したマスク抽出処理（II）における変更点は一例である。いずれにせよ、対象画像が影の影響がある画像であるか否かに応じて、マスクの作成方法や、被写体領域を抽出するためのマスクの選択方法を変更すれば良い。さらに、例えば、上述した影の影響の度合に応じて、より細かく上記の点を変更しても良い。

【0069】

ステップＳ１０８において、ＣＰＵ２６は、ステップＳＳ１０６またはステップＳ１０７のマスク抽出処理の結果を、被写体情報としてバッファメモリ部２４や記憶部２５等に記録する。被写体情報には、マスク抽出処理の抽出条件（色区分やマスク区分など）、マスクの位置、マスクの大きさや形状、抽出した被写体領域の位置、被写体領域の大きさや形状などの情報が含まれる。

【0070】

ステップＳ１０９において、ＣＰＵ２６は、撮影指示が行われたか否かを判定する。ＣＰＵ２６は、撮影指示が行われたと判定するとステップＳ１１０に進む。一方、撮影指示が行われないと判定すると、ＣＰＵ２６は、ステップＳ１０４に戻り、次のフレームの画像に対してステップＳ１０４以降の処理を行う。撮影指示は、操作部２７のシャッタボタンを介したユーザ操作により行われる。

【0071】

ステップＳ１１０において、ＣＰＵ２６は、各部を制御して撮影を実行する。このとき、ＣＰＵ２６は、ステップＳ１０８で記録した被写体情報に基づいて撮影を行う。ＣＰＵ２６は、ステップＳ１０８で記録した被写体情報に基づいて、焦点調整（ＡＦ）の設定処理、露出調整（ＡＥ）の設定処理、ホワイトバランス調整処理（ＡＷＢ）の３Ａ処理を行うとともに、画像処理装置２２における各種画像処理の条件等を決定する。

【0072】

なお、焦点調整（ＡＦ）の設定処理において、ＣＰＵ２６は、抽出した被写体領域を整形し、コントラストスキャンを実行する。そして、ＣＰＵ２６は、コントラストスキャンの結果に基づいて、ＡＦレンズ１１により合焦させる（合焦駆動）。

【0073】

また、マスク抽出処理および被写体情報の記録が完了していない状態で撮影指示が行われてしまった場合には、ＣＰＵ２６は、通常の３Ａ処理を行い、この３Ａ処理の結果に基づいて撮影を実行すればよい。または、マスク抽出処理および被写体情報の記録が完了するまで、撮影指示に関するユーザ操作の受付を禁止しても良い。

【0074】

ステップＳ１１１において、ＣＰＵ２６は、撮像により生成した画像を、通信部２８を介して記憶媒体４０に記録して一連の処理を終了する。

【0075】

以上説明したように、本実施形態によれば、処理対象の画像データを取得し、画像データにより示される画像の特徴量を算出し、特徴量に基づいて定まる被写体領域を検出する。さらに、取得した画像における影の影響を示す評価値を算出し、算出した評価値に基づいて、被写体領域の検出方法を決定する。したがって、処理対象の画像に影の影響がある場合であっても、影の領域を誤認識することなく、被写体領域の抽出を的確に行うことができる。

【0076】

特に、構図確認用のスルー画像については、一般に表示時間が長くなるため、このような工夫が大きな効果を発揮することとなる。

【0077】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【0078】

上記実施形態では、処理対象の画像に影の影響があるか否かに応じて、被写体領域の検出方法を決定する例を示したが、本発明はこの例に限定されない。例えば、操作部２７を介したユーザ操作に基づいて、影の影響がある場合の処理（マスク抽出処理（II））を実行しても良い。また、風景モードや夜景モードなど、シーンに応じて撮影条件等が予め設定されるいわゆるシーンモードの種類に応じて、影の影響がある場合の処理（マスク抽出処理（II））を実行しても良い。

【0079】

また、上記の実施形態において、図２のステップＳ１０１において測光を開始した時に、ＢＶ値の変化が大きく、不安定である場合には、ステップＳ１０４以降の処理のうち、特にステップＳ１０５における判定処理が正しく行えない場合がある。そこで、ステップＳ１０１において測光を開始した後にＢＶ値を監視し、ＢＶ値がある程度安定したことを確認してからステップＳ１０４以降の処理を行う構成としても良い。

【0080】

また、上記の実施形態においては、構図確認用のスルー画像に基づいて、一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、一眼レフカメラなどにおいて生成される構図確認用のライブビュー画像を対象とする場合にも、本発明を同様に適用することができる。また、記録媒体４０等に記録された動画像を対象とする場合にも、本発明を同様に適用することができる。

【0081】

また、上記の実施形態においては、すべてのフレームを対象として一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、時間的に間欠して生成された複数の画像を対象としても良い。具体的には、適宜フレーム間引きを行った複数の画像を対象としても良い。このような処理を行うことにより、処理負荷を軽減することができる。

【0082】

また、コンピュータと画像処理プログラムとからなる「コンピュータシステム」により、上述した実施形態で説明した画像処理をソフトウェア的に実現しても良い。この場合、実施形態で説明したフローチャートの処理の一部または全部をコンピュータシステムで実行する構成とすれば良い。例えば、図２のステップＳ１０４からステップＳ１０８の処理の一部または全部をコンピュータで実行しても良い。このような構成とすることにより、上述した実施形態と同様の処理を実施することが可能になる。この場合、コンピュータにより、処理対象の画像とともに、実施形態で用いたＢＶ値やコントラスト値などを取得する構成としても良い。

【0083】

また、「コンピュータシステム」は、ｗｗｗシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0084】

さらにコンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。

【0085】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

【0086】

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0087】

２０…撮像装置、２１…撮像部、２２…画像処理装置、２３‥表示部、２６…ＣＰＵ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】