特許 5930245 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】5930245

(24)【登録日】2016年5月13日

(45)【発行日】2016年6月8日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20160526BHJP

   H04N 1/409 20060101ALI20160526BHJP

   H04N 5/225 20060101ALI20160526BHJP

   H04N 5/232 20060101ALI20160526BHJP

   G03B 15/00 20060101ALI20160526BHJP

【ＦＩ】

   G06T1/00 340A

   H04N1/40 101D

   H04N5/225 F

   H04N5/232 Z

   G03B15/00 G

   G03B15/00 Q

【請求項の数】19

【全頁数】23

(21)【出願番号】特願2015-10793(P2015-10793)

(22)【出願日】2015年1月23日

【審査請求日】2015年12月25日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100096699

【弁理士】

【氏名又は名称】鹿嶋 英實

(72)【発明者】

【氏名】佐藤 武志

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００６−３３８３７７（ＪＰ，Ａ）

【文献】 特開２０１３−１７９４６４（ＪＰ，Ａ）

【文献】 特開２００４−３０３１９３（ＪＰ，Ａ）

【文献】 特開２０１２−２３１２００（ＪＰ，Ａ）

【文献】 特開２００４−０８０７０９（ＪＰ，Ａ）

【文献】 特開２００６−１４０５９４（ＪＰ，Ａ）

【文献】 特開平１１−２２４３２７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，５／００

Ｈ０４Ｎ １／４０−１／４０９，５／２２５−５／２６２

(57)【特許請求の範囲】

【請求項1】

撮影により取得された元画像における注目すべき被写体の位置及びサイズを取得する取得手段と、
前記取得手段により取得された前記注目すべき被写体の位置及びサイズに基づき、前記元画像における所定の画像処理を施す位置及びその強度との関係を示すマスク情報を生成するマスク情報生成手段と、
前記マスク情報生成手段により生成されたマスク情報を使用し、前記元画像における各位置に対して異なる強度の所定の画像処理が施された新たな画像を生成する画像生成手段と、
を備え、
前記マスク情報生成手段は、予め用意されている基本となるマスク情報を、前記注目すべき被写体の位置及びサイズに基づき加工することで、画像処理を施すためのマスク情報を生成する、
ことを特徴とする画像処理装置。

【請求項2】

前記注目すべき被写体を、前記元画像における領域として検出する検出手段をさらに備え、
前記取得手段は、前記検出手段により検出された注目すべき被写体領域の元画像における位置及びサイズを取得し、
前記マスク情報生成手段は、前記取得手段により取得された注目すべき被写体領域の位置及びサイズに基づき、画像処理を施すマスク情報を生成する、
ことを特徴とする請求項１記載の画像処理装置。

【請求項3】

注目すべき被写体を、撮影により取得された元画像における領域として検出する検出手段と、
前記検出手段により検出された領域の位置及びサイズを取得する取得手段と、
前記取得手段により取得された領域の位置及びサイズに基づき、前記元画像における所定の画像処理を施す位置及びその強度との関係を示すマスク情報を生成するマスク情報生成手段と、
前記マスク情報生成手段により生成されたマスク情報を使用し、前記元画像における各位置に対して異なる強度の所定の画像処理が施された新たな画像を生成する画像生成手段と、
を備え、
前記マスク情報生成手段が生成するマスク情報の中心位置を、前記領域の位置及びサイズに基づき、当該領域の中心から移動させた位置に特定する中心位置特定手段を、更に備え、
前記マスク情報生成手段は、前記中心位置特定手段により特定された位置を中心として前記マスク情報を生成する、
ことを特徴とする画像処理装置。

【請求項4】

前記マスク情報生成手段は、前記元画像における画像処理による処理効果を低減すべき位置及びその低減度合いとの関係を示す効果低減領域を表すマスク情報を生成し、
前記画像生成手段は、前記マスク情報生成手段により生成されたマスク情報を使用し、前記元画像に所定の画像処理による処理効果が確保されるとともに、前記注目すべき被写体に該当する部分への前記処理効果が低減された新たな画像を生成する
ことを特徴とする請求項２又は３記載の画像処理装置。

【請求項5】

前記マスク情報生成手段は、前記被写体領域の大きさに応じて異なる大きさの前記効果低減領域を表す前記マスク情報を生成することを特徴とする請求項４記載の画像処理装置。

【請求項6】

前記取得手段は、前記検出手段により検出された被写体領域における注目すべき被写体の向きをさらに取得し、
前記マスク情報生成手段は、前記取得手段により取得された被写体の向きに応じた前記元画像における所定の画像処理を施す位置及びその強度との関係を示す前記マスク情報を生成する
ことを特徴とする請求項２乃至５いずれか１項に記載の画像処理装置。

【請求項7】

前記マスク情報生成手段は、前記検出手段において注目すべき被写体が検出できたことを条件として前記マスク情報を生成し、
前記画像生成手段は、前記検出手段において注目すべき被写体が検出できたことを条件として新たな画像を生成する一方、検出できない場合、前記元画像に前記所定の画像処理を施した処理画像を新たな画像として生成する、
ことを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。

【請求項8】

前記検出手段による検出対象となる注目すべき被写体の種類に応じて前記所定の画像処理を施す処理領域の形状を予め設定する設定手段をさらに備え、
前記マスク情報生成手段は、前記検出手段により検出された前記注目すべき被写体領域の位置及びサイズに対応し、かつ、前記設定手段により予め設定された形状を有する処理領域を特定するとともに、この特定した処理領域内における各位置と所定の画像処理の強度との関係を示すマスク情報を生成する
ことを特徴とする請求項２乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

前記設定手段は、前記検出手段による検出対象となる注目すべき被写体の種類に応じて、前記所定の画像処理を施す処理領域の形状と、この処理領域内における所定の基準点からの距離に比例した所定の画像処理の強度を予めさらに設定し、
前記マスク情報生成手段は、前記検出手段により検出された注目すべき被写体領域のサイズと、前記設定手段により予め設定された所定の基準点からの距離に比例した所定の画像処理の強度に基づいて、前記特定した処理領域内における各位置と所定の画像処理の強度との関係を示すマスク情報を生成する
ことを特徴とする請求項８記載の画像処理装置。

【請求項10】

前記設定手段は、前記検出手段による検出対象となる注目すべき被写体の種類に応じて、前記所定の画像処理を施す処理領域の形状と、この処理領域内における所定の基準点からの方向に応じた所定の画像処理の強度を予めさらに設定し、
前記マスク情報生成手段は、前記検出手段により検出された注目すべき被写体領域のサイズと、前記設定手段により予め設定された所定の基準点からの方向および距離に比例した所定の画像処理の強度に基づいて、前記特定した処理領域内における各位置と所定の画像処理の強度との関係を示すマスク情報を生成する
ことを特徴とする請求項９記載の画像処理装置。

【請求項11】

前記予め用意されているマスク情報には、前記所定の画像処理を施す処理領域の基本形状が含まれることを特徴とする請求項１記載の画像処理装置。

【請求項12】

前記予め用意されているマスク情報は、前記所定の画像処理を施す処理領域における前記所定の画像処理の強度の変化についての情報を含み、前記強度が中心側から周辺側に向かい徐々に増大するよう変化することを示すことを特徴とする請求項１１記載の画像
処理装置。

【請求項13】

前記画像生成手段は、前記元画像と、前記元画像に前記所定の画像処理を施した処理画像とを前記マスク情報生成手段により生成されたマスク情報を使用して合成することによって前記新たな画像を生成することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。

【請求項14】

前記マスク情報生成手段は、画素毎の透過率を示す前記マスク情報を生成し、
前記画像生成手段は、前記処理画像又は前記元画像の一方を、前記マスク情報により示される透過率を画素毎に設定して前記処理画像又は前記元画像の他方に透過合成することによって前記新たな画像を生成する
ことを特徴とする請求項１３記載の画像処理装置。

【請求項15】

撮像手段を更に備え、
前記取得手段は、前記撮像手段による撮影により取得された元画像における注目すべき被写体領域の位置及びサイズを取得する
ことを特徴とする請求項２乃至１８のいずれか１項に記載の画像処理装置。

【請求項16】

撮影により取得された元画像における注目すべき被写体の位置及びサイズを取得する取得処理と、
前記取得処理により取得された前記注目すべき被写体の位置及びサイズに基づき、前記元画像における所定の画像処理を施す位置及びその強度との関係を示すマスク情報を生成するマスク情報生成処理と、
前記マスク情報生成処理により生成されたマスク情報を使用し、前記元画像における各位置に対して異なる強度の所定の画像処理が施された新たな画像を生成する画像生成処理と、
を含み、
前記マスク情報生成処理では、予め用意されている基本となるマスク情報を、前記注目すべき被写体の位置及びサイズに基づき加工することで、画像処理を施すためのマスク情報を生成する、
ことを特徴とする画像処理方法。

【請求項17】

注目すべき被写体を、撮影により取得された元画像における領域として検出する検出処理と、
前記検出処理により検出された領域の位置及びサイズを取得する取得処理と、
前記取得処理により取得された領域の位置及びサイズに基づき、前記元画像における所定の画像処理を施す位置及びその強度との関係を示すマスク情報を生成するマスク情報生成処理と、
前記マスク情報生成処理により生成されたマスク情報を使用し、前記元画像における各位置に対して異なる強度の所定の画像処理が施された新たな画像を生成する画像生成処理と、
を含み、
前記マスク情報生成処理で生成するマスク情報の中心位置を、前記領域の位置及びサイズに基づき、当該領域の中心から移動させた位置に特定する中心位置特定処理を、更に含み、
前記マスク情報生成処理で、前記中心位置特定処理で特定された位置を中心として前記マスク情報を生成する、
ことを特徴とする画像処理方法。

【請求項18】

コンピュータに、
撮影により取得された元画像における注目すべき被写体の位置及びサイズを取得する取得機能と、
前記取得機能により取得された前記注目すべき被写体の位置及びサイズに基づき、前記元画像における所定の画像処理を施す位置及びその強度との関係を示すマスク情報を生成するマスク情報生成機能と、
前記マスク情報生成機能により生成されたマスク情報を使用し、前記元画像における各位置に対して異なる強度の所定の画像処理が施された新たな画像を生成する画像生成機能
と、
を実現させ、
前記マスク情報生成機能は、予め用意されている基本となるマスク情報を、前記注目すべき被写体の位置及びサイズに基づき加工することで、画像処理を施すためのマスク情報を生成する、
ことを特徴とするプログラム。

【請求項19】

注目すべき被写体を、撮影により取得された元画像における領域として検出する検出機能と、
前記検出機能により検出された領域の位置及びサイズを取得する取得機能と、
前記取得機能により取得された領域の位置及びサイズに基づき、前記元画像における所定の画像処理を施す位置及びその強度との関係を示すマスク情報を生成するマスク情報生成機能と、
前記マスク情報生成機能により生成されたマスク情報を使用し、前記元画像における各位置に対して異なる強度の所定の画像処理が施された新たな画像を生成する画像生成機能と、
を実現させ、
前記マスク情報生成機能が生成するマスク情報の中心位置を、前記領域の位置及びサイズに基づき、当該領域の中心から移動させた位置に特定する中心位置特定機能を、更に実現させ、
前記マスク情報生成機能は、前記中心位置特定機能により特定された位置を中心として前記マスク情報を生成する、
ことを特徴とるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えばデジタルカメラに用いて好適な画像処理装置、画像処理方法に関するものである。

【背景技術】

【0002】

従来、デジタルカメラ等において行われる画像処理の１種として、元画像に、専用のレンズの色収差・球面収差等のために生ずるものと同様のボケを付加してやわらかい雰囲気を醸し出すソフトフォーカス処理が知られている。係るソフトフォーカス処理に関する技術として、例えば下記特許文献１には、元画像の内容によらず画一的にならないように、元画像から人物の顔を検出し、その大きさに応じて処理強度を制御する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０００−６９２７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記のように人物の顔の大きさに応じて処理強度を制御したとしても、人物の顔と他の部分を適切な処理強度でぼかすことができない。人物以外の被写体やソフトフォーカス以外の画像処理についても同様であり、主たる被写体と他の部分に対する画像処理の処理強度を適切に制御することができないという問題があった。

【0005】

本発明は、かかる従来の課題に鑑みてなされたものであり、画像処理に際して主たる被写体が写された画像への処理強度を適切に制御することができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

前記課題を解決するため、本発明の画像処理装置にあっては、撮影により取得された元画像における注目すべき被写体の位置及びサイズを取得する取得手段と、前記取得手段により取得された前記注目すべき被写体の位置及びサイズに基づき、前記元画像における所定の画像処理を施す位置及びその強度との関係を示すマスク情報を生成するマスク情報生成手段と、前記マスク情報生成手段により生成されたマスク情報を使用し、前記元画像における各位置に対して異なる強度の所定の画像処理が施された新たな画像を生成する画像生成手段と、を備え、前記マスク情報生成手段は、予め用意されている基本となるマスク情報を、前記注目すべき被写体の位置及びサイズに基づき加工することで、画像処理を施すためのマスク情報を生成する、ことを特徴とする。

【発明の効果】

【0007】

本発明によれば、画像処理に際して主たる被写体が写された画像への処理強度を適切に制御することが可能となる。

【図面の簡単な説明】

【0008】

【図1】本発明の各実施形態に共通するデジタルカメラのブロック図である。

【図2】第１の実施形態における撮影処理を示すフローチャートである。

【図3】（ａ）は第１のマスク画像、（ｂ）は第２のマスク画像を示す図である。

【図4】第１の実施形態における撮影処理で生成される画像の例を示す図である。

【図5】第３のマスク画像の生成方法を示す図である。

【図6】第２のマスク画像の他の形態を示す図である。

【図7】第２の実施形態における撮影処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について説明する。

【0010】

（実施形態１）
先ず、本発明の第１の実施形態について説明する。図１は、本実施形態、及び後述する第２の実施形態に係る画像処理装置の一形態としてのデジタルカメラ１の電気的構成を示すブロック図である。

【0011】

図１に示したように、デジタルカメラ１は、制御部２と、レンズ部３、撮像部４、表示部５、画像記憶部６、プログラム記憶部７、顔検出部８、操作部９、電源部１０の各部を備えている。

【0012】

制御部２は、ＣＰＵ（Central Processing Unit）、及びその周辺回路等や、ＲＡＭ（Random Access memory）等の作業用の内部メモリ、画像処理回路を含み、デジタルカメラ１の各部を制御するとともに、後述する種々の画像処理も行う。

【0013】

レンズ部３は、フォーカス調整用、及びズーム用のレンズを含むレンズ群、及びレンズ群を駆動するモータと、絞り、及び絞りを開閉駆動して開度を調整するアクチュエータ等から構成される。

【0014】

撮像部４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Meta1 0xide Semiconductor）型の撮像素子と、撮像素子から出力された撮像信号に対して所定のアナログ処理を行った後、デジタル信号に変換するＡＦＥ（Analog Front End）とから構成される。撮像部４は、デジタルカメラ１に撮影モードが設定されている間、レンズ部３のレンズ群を介して被写体を所定のフレームレートで逐次撮像し、被写体の画像データ（撮像データ）を制御部２へ供給する。

【0015】

制御部２へ供給された画像データは表示部５へ供給され、表示部５においてライブビュー画像として表示される。

【0016】

後述する操作部９による撮影実行指示を契機として実行される撮影時に撮像部４から制御部２へ供給された画像データは、ガンマ補正やホワイトバランス調整、画素毎のＲ，Ｇ，Ｂの色成分データの生成、ＹＵＶ変換等からなる現像処理が施された後、ＪＰＥＧ（Joint Photographic Expert Group）方式により圧縮される。圧縮後の画像データは、種々の属性情報が付加され、Ｅｘｉｆ（Exchangeable Image File Format）規格に準拠した静止画ファイルとして画像記憶部６に記憶される。

【0017】

画像記憶部６は、例えばデジタルカメラ１に内蔵されたフラッシュメモリや、デジタルカメラ１に着脱自在な各種のメモリカード、及びメモリカードへのデータの入出力を可能とするカードインターフェイスにより構成される。

【0018】

画像記憶部６に静止画ファイルとして記憶された画像データは、デジタルカメラ１に再生モードが設定されている間、必要に応じて制御部２により読み出されて伸張された後、表示部５へ供給されて画面表示される。

【0019】

表示部５は、カラー液晶表示パネルと、制御部２から供給される画像データ等に応じてカラー液晶表示パネルを駆動する表示駆動回路とから構成される。表示部５は、前述したように撮影モードにおいては被写体画像をライブビュー表示し、再生モードにおいては画像記憶部６に静止画ファイルとして記憶されている画像データからなる既存の撮影画像を表示する。

【0020】

プログラム記憶部７は、例えばＲＯＭ（Read Only Memory）や、フラッシュメモリ等の記憶データが随時書き換え可能な不揮発性メモリにより構成される。プログラム記憶部７には、制御部２に後述する処理を行わせるためのプログラムが予め記憶されている。

【0021】

また、プログラム記憶部７には、制御部２にＡＥ（Auto Exposure）制御、ＡＦ（Auto Focus）制御や、ＡＷＢ（Auto White Balance）制御等を行わせるためのプログラム、及びＡＥ制御に際して使用されるシャッター速度、ＩＳＯ感度、絞り値の組み合わせを示すプログラム線図を構成するデータ等の各種データも格納されている。なお、制御部２によるＡＦ制御は、撮像部４の撮像素子をＡＦセンサとして使用する所謂コントラスト検出方式による制御である。

【0022】

さらに、プログラム記憶部７には、制御部２に後述する撮影処理を行わせるプログラム、及びその際に使用されるマスクデータ１０１が記憶されている。マスクデータ１０１は、図３（ａ）に示した第１のマスク画像Ｍ１を表す画像データであり、グレースケール画像のデータである。

【0023】

また、第１のマスク画像Ｍ１は、図３（ｂ）に示した第２のマスク画像Ｍ２を周方向に４分割したものに相当する画像であり、第２のマスク画像Ｍ２は、黒一色の背景に、各画素の輝度が中心を最大として周辺に向かい徐々に低下する楕円形のグラデーション領域を有する画像である。

【0024】

ここで、本実施形態においては、この第２のマスク画像Ｍ２が後述する第３のマスク画像Ｍ３の生成に用いられる本発明の基本情報に相当し、上記グラデーション領域の形状（楕円形）が本発明における所定の画像処理を施す処理領域の基本形状である。また、上記グラデーション領域の各画素の輝度の変化が、本発明における前記所定の画像処理の強度の変化であり、具体的には処理強度が中心側から周辺側に向かい徐々に増大することを示す内容である。

【0025】

顔検出部８は、撮像部４において撮像された画像から任意の人物の顔部分を検出する顔検出処理を行うための画像処理回路と、顔検出処理に使用する各種のデータが記憶されたメモリや作業用の記憶メモリ等から構成され、上記顔部分に該当する領域を示す領域情報を制御部２へ供給する。

【0026】

顔検出部８における顔検出処理は、二値化や輪郭抽出、パターンマッチング等の画像認識技術を用いて所定の位置関係にある目、鼻、口を探索し、それらが存在する矩形領域（以下、顔領域という）を特定し、その領域を顔部分として検出する公知の汎用的な処理である。

【0027】

操作部９は、電源ボタンや、シャッターボタン、撮影モードと再生モードとの切り替えに使用されるモードの切換スイッチ、ズームレバー、各種機能の選択や設定に使用されるコントロールボタン等の複数の操作スイッチから構成される。操作部９における操作スイッチの操作状態は制御部２において随時監視される。

【0028】

電源部１０は、充電池、およびＤＣ／ＤＣコンバータなどで構成され、デジタルカメラ１の各部へ、各々の動作に必要な電力を供給する。

【0029】

一方、本実施形態のデジタルカメラ１には、撮影モードで使用可能な機能としてソフトフォーカス機能が設けられている。ソフトフォーカス機能は、撮像時に得られた画像に従来と同様のソフトフォーカス処理を含む所定の処理を自動的に行い、処理後の画像を最終的な撮影画像として記録する機能である。

【0030】

そして、デジタルカメラ１においては、ユーザーによりソフトフォーカス機能の使用が設定されているときの撮影モードにおいては、制御部２が、プログラム記憶部７に記憶されているプログラムに従い図２のフローチャートに示した撮影処理を実行する。

【0031】

すなわち制御部２は、撮影モードの設定とともに撮像部４による被写体画像の取り込み、表示部５におけるライブビュー表示を開始して撮影待機状態となり、図２に示したように、ユーザーによって撮影実行が指示されるまでは（ステップＳＡ１：ＮＯ）、その撮影待機状態を継続する。なお、図示しないが、係る撮影待機状態において制御部２はＡＦ制御を行う。

【0032】

その後、ユーザーによって撮影実行が指示されると（ステップＳＡ１：ＹＥＳ）、制御部２は、撮像部４によって得られた撮像画像のデータに画像の記録に向けた標準の現像処理を施して標準現像画像を生成する（ステップＳＡ２）。

【0033】

引き続き、制御部２は、生成した標準現像画像にソフトフォーカス処理を施し、ソフトフォーカス画像、すなわち専用のレンズの色収差・球面収差等のために生ずるものと同様のボケを付加した処理画像を生成する（ステップＳＡ３）。上記ソフトフォーカス処理は１又は複数段階の処理からなる公知の画像処理技術を用いた処理である。

【0034】

次に、制御部２は、顔検出部８により標準現像画像を処理対象とした顔検出処理を行わせる（ステップＳＡ４）。

【0035】

ここで、顔検出部８により標準現像画像から任意の人物の顔が検出できなければ（ステップＳＡ５：ＮＯ）、制御部２は、前述したソフトフォーカス画像を撮影画像として、つまりソフトフォーカス画像を最終的な記録画像として圧縮処理、属性情報の付加を行った後、静止画ファイルとして画像記憶部６に保存し（ステップＳＡ６）、撮影処理を終了する。

【0036】

これに対し、上記の標準現像画像において任意の人物の顔が検出された場合（ステップＳＡ５：ＹＥＳ）、例えばステップＳＡ２の処理で図４に示した標準現像画像Ｇ１が生成され、ステップＳＡ３の処理で図４に示したソフトフォーカス画像Ｇ２が生成されていた場合、制御部２はステップＳＡ７以降の処理を実行する。

【0037】

ここでは、ステップＳＡ７以降の具体的な処理内容に先立ち、その概略を説明する。すなわち制御部２は、既説した図３（ａ）の第１のマスク画像Ｍ１を用いて同図（ｂ）の第２のマスク画像Ｍ２を生成し、係る第２のマスク画像Ｍ２を用いて図４に示した第３のマスク画像Ｍ３を生成する。なお、第３のマスク画像Ｍ３は、第１のマスク画像Ｍ１と同様にグレースケール画像であるとともに、標準現像画像Ｇ１と同一の画像サイズ（画素数）を有する画像である。

【0038】

しかる後、制御部２は、標準現像画像Ｇ１の各画素に、第３のマスク画像Ｍ３の各画素の輝度に応じた透過率、つまり背景となる画像に標準現像画像Ｇ１を重ねたとき背景側の画像が透過して見える度合を設定し、ソフトフォーカス画像Ｇ２を背景として標準現像画像Ｇ１を合成することにより、図４に示した合成画像Ｇ３を生成する。すなわち背景となるソフトフォーカス画像Ｇ２に公知のαブレンドによって標準現像画像Ｇ１を合成し、合成画像Ｇ３を生成する。なお、図４において合成画像Ｇ３に破線で示した楕円Ｘは、前述した第３のマスク画像Ｍ３におけるグラデーション領域に対応する領域（後述する効果低減領域）を便宜的に示したものである。

【0039】

以下、ステップＳＡ７以降の処理を具体的に説明する。まず、制御部２は、標準現像画像Ｇ１において、顔検出部８により検出された顔領域の画像における中心位置と大きさとを取得する（ステップＳＡ７）。図５（ａ）は、標準現像画像Ｇ１と顔領域Ｗ、及びその中心Ｏを示した図である。ステップＳＡ７の処理に際して制御部２は、顔領域Ｗの大きさとして、顔領域Ｗの縦サイズＡを取得し、顔領域Ｗの中心Ｏの位置として画像内の座標位置を取得する。

【0040】

次に、制御部２は、取得データ（大きさＡと中心Ｏの座標位置）に基づいて、図４に示した第３のマスク画像Ｍ３を生成する際における第２のマスク画像Ｍ２の大きさと中心位置を算出する（ステップＳＡ８）。ここで算出する第２のマスク画像Ｍ２の大きさは、後に生成する第３のマスク画像Ｍ３において第２のマスク画像Ｍ２に相当する部分の縦サイズＣであり、また、上記中心位置は、第２のマスク画像Ｍ２の中心Ｐの第３のマスク画像Ｍ３における座標位置である。

【0041】

ステップＳＡ８の処理に際して制御部２は、顔領域Ｗの縦サイズＡに予め決められている所定倍数を乗ずることより上記縦サイズＣを算出する。図５（ｂ）に示した例は、上記の所定倍数が２倍とした場合の例である。

【0042】

また、ステップＳＡ８の処理に際して制御部２は、第２のマスク画像Ｍ２の中心Ｐの第３のマスク画像Ｍ３における座標位置として、標準現像画像Ｇ１における顔領域Ｗの中心Ｏの座標位置を、その縦サイズＡの所定割合（ｎ％）分だけ上方へ移動させた座標位置を算出する。例えば顔領域Ｗの中心の座標位置を（ｘ０，ｙ０）とすれば、ｙ軸方向の移動量ＢをＡ×ｎ％とし、第２のマスク画像Ｍ２の中心Ｐの座標位置として（ｘ０，ｙ０−Ｂ）を取得する。図５（ｂ）に示した例は、上記の所定割合を４０％とした場合の例である。

【0043】

ここで、前述した所定倍数、及び所定割合は、ステップＳＡ４の顔検出処理で特定された顔領域Ｗと標準現像画像Ｇ１における頭髪部分を除いた実際の人物の顔部分との違いを考慮して決められた値であって、具体的には経験則に基づいて決められた値である。

【0044】

引き続き、制御部２は、上述した算出データ（第２のマスク画像Ｍ２の縦サイズＣと、中心Ｐの座標位置）に基づき、図３（ａ）に示した第１のマスク画像Ｍ１を加工し、画像処理用のマスク画像である図４に示した第３のマスク画像Ｍ３を生成する（ステップＳＡ９）。

【0045】

具体的に説明すると、制御部２は、まず、第１のマスク画像Ｍ１を上下及び左右に反転させて、新たな３つのマスク画像を生成し、それらを第１のマスク画像Ｍ１に連結することにより図３（ｂ）に示した第２のマスク画像Ｍ２を生成する。次に、制御部２は、生成した第２のマスク画像Ｍ２を縦サイズが前述した縦サイズＣとなるサイズに拡大し、拡大後の第２のマスク画像Ｍ２に平滑化処理を施して、各画素の輝度値が滑らかに変化する状態を確保する。

【0046】

しかる後、制御部２は、平滑化した第２のマスク画像Ｍ２を、標準現像画像Ｇ１と同一の画素サイズを有するグレースケールの黒一色の画像を背景とし、その中心Ｐを先に算出した座標位置に配置させた状態で上書き合成することによって第３のマスク画像Ｍ３を生成する。その際、拡大及び平滑化した第２のマスク画像Ｍ２に上記黒一色の画像からはみ出す余剰部分はトリミングする。

【0047】

そして、第３のマスク画像Ｍ３を生成した後、制御部２は、第３のマスク画像Ｍ３を用いて標準現像画像Ｇ１をソフトフォーカス画像Ｇ２にαブレンドにより合成することによって合成画像Ｇ３を生成する（ステップＳＡ１０）。

【0048】

その際、制御部２は、先に述べたように第３のマスク画像Ｍ３の各画素の輝度に応じた透過率を標準現像画像Ｇ１の各画素に設定する。より具体的には、標準現像画像Ｇ１の各画素に第３のマスク画像Ｍ３の対応する画素の輝度値に応じた０％〜１００％の透過率、すなわち対応する画素の輝度がより高い画素により低い透過率を設定する。つまり第２のマスク画像Ｍ２に該当する中心Ｐの画素に最低透過率（０％：完全な不透明）を設定するとともに、他の画素に前記グラデーション領域の周辺に向かい徐々に増大する透過率を設定し、前記グラデーション領域を除く第３のマスク画像Ｍ３の他の領域に最大透過率（１００％：完全な透明）を設定する。

【0049】

なお、標準現像画像Ｇ１をソフトフォーカス画像Ｇ２にαブレンドする際には、上記の透過率に応じたα値（１〜０）を用いて各画素のＲＧＢ値が計算される。

【0050】

これにより、図４に示したように画像全体にソフトフォーカスによる演出効果を確保しつつ、人物の顔部分におけるソフトフォーカス処理によるボケ効果が他の部分よりも低減し、かつボケ効果の強度が中心側から周辺側に向かい徐々に増大する、言い換えるとボケ効果の低減度合いが周辺に向かって徐々に低下する合成画像Ｇ３が得られる。

【0051】

しかる後、制御部２は、生成した合成画像Ｇ３を撮影画像、つまり最終的な記録画像として圧縮処理、属性情報の付加を行った後、静止画ファイルとして画像記憶部６に保存し（ステップＳＡ１１）、撮影処理を終了する。

【0052】

したがって、本実施形態においては、ソフトフォーカス機能を用いた撮影時に主たる被写体、つまり撮影画像において注目すべき被写体が人物である場合には、ソフトフォーカスの処理強度に関係なく人物の顔部分への処理強度、つまりボケ効果を適切に制御することができ、その結果、記録画像として良好な撮影画像を得ることができる。

【0053】

しかも、記録画像として得られる最終的な撮影画像（合成画像Ｇ３）が、ソフトフォーカス処理によるボケ効果の低減度合いが人物の顔部分のほぼ中心から周辺に向かって徐々に低下したものであり、最終的な撮影画像においては、人物の顔部分と他の領域との間にボケ度合の境目が生じないことから、撮影画像により自然な演出効果を確保することができる。

【0054】

また、汎用的な顔検出処理によって得られる顔領域Ｗの位置を標準現像画像Ｇ１における人物の顔部分の位置とすることにより、その位置取得に要する処理負担が軽く済む。

【0055】

また、前述した第３のマスク画像Ｍ３の生成に際しては、第３のマスク画像Ｍ３におけるグラデーション領域の中心Ｐを、前述したように顔領域Ｗの中心Ｏとは異なる位置（本実施形態では上方側）に移動させることから、公知の人物の顔を領域で検出する技術を使用しても、グラデーション領域の位置、つまりソフトフォーカス処理によるボケ効果を低減させる領域（以下、効果低減領域という）の位置を実際の人物の顔部分と整合させることができる。その結果、人物の顔部分の位置取得に要する処理負担を軽減しつつ、最終的な撮影画像として、より良好な撮影画像を得ることができる。

【0056】

また、第３のマスク画像Ｍ３を生成する際には第２のマスク画像Ｍ２を顔領域Ｗの大きさに応じて拡大することから、効果低減領域（グラデーション領域）の大きさを、人物の顔部分を確実に覆う大きさとすることができる。これによっても、最終的な撮影画像として、より良好な撮影画像を得ることができる。

【0057】

また、主たる被写体が人物以外の対象物、例えば風景等である場合には、従来と同様に、画面全体にソフトフォーカスによる演出効果を確保した撮影画像（ソフトフォーカス画像）を得ることができる。

【0058】

また、主たる被写体が人物である場合のみ第３のマスク画像Ｍ３を生成することから、主たる被写体が人物以外の対象物である場合には、第３のマスク画像Ｍ３の生成に要する無駄な処理を削減することができる。

【0059】

他方、予め記憶されている第１のマスク画像Ｍ１に基づいて第３のマスク画像Ｍ３を生成する。言い換えると、前述した効果低減領域の基本情報である基本形状、処理効果の低減度合の変化内容が第１のマスク画像Ｍ１として予め記憶されていることから、第３のマスク画像Ｍ３の生成に要する処理を削減することができる。

【0060】

また、第１のマスク画像Ｍ１が、第２のマスク画像Ｍ２を４分割したものに相当する画像であるため、第３のマスク画像Ｍ３の基本情報を効率的に記憶しておくことができる。

【0061】

ここで、本実施形態においては、主として標準現像画像Ｇ１に存在する人物の顔が一つである場合を想定した処理について説明したが、標準現像画像Ｇ１に複数人の顔が存在する場合には、第３のマスク画像Ｍ３の生成に際しては、各々の顔の位置及び大きさに応じた複数の効果低減領域を確保すればよい。また、その場合、複数の効果低減領域が重なる重複領域が生じるときには、その重複領域における処理効果の低減度合を、それが大きい側の効果低減領域の低減度合とすればよい。

【0062】

また、本実施形態では、第３のマスク画像Ｍ３に確保する効果低減領域の位置と大きさを人物の顔の位置と大きさ（顔領域Ｗの大きさ）に応じて調整したが、さらに効果低減領域の形状を人物の顔の形状に応じて調整するようにしてもよい。具体的には、顔領域Ｗの縦サイズと横サイズの比率、つまり細めの顔と太めの顔とで効果低減領域（楕円形領域）の扁平率を調整してもよい。その場合は、第３のマスク画像Ｍ３により的確な効果低減領域を確保することができる。なお、人物の顔の形状の違いには、その人物の個人差による文字通りの形状（太めや細め）だけでなく、撮影方向の違いに起因するものも含まれる。

【0063】

また、本実施形態においては、人物の顔の向きと画像の向きとが一致していることを前提としたが、例えば横たわった状態にある人物を撮影したときには、人物の顔が横向きであって上下方向が画像の向きと一致していない場合もある。したがって、本発明の実施に際しては、例えば前述した顔検出処理に際して人物の顔の向き、つまり画像内での回転方向と回転量とを取得し、第３のマスク画像Ｍ３の生成に際しては、人物の顔の向きに応じて第２のマスク画像Ｍ２を回転させることが望ましい。それによっても第３のマスク画像Ｍ３により的確な効果低減領域を確保することが可能となる。

【0064】

また、前述したように第３のマスク画像Ｍ３に確保する効果低減領域の形状や向きを、顔領域Ｗの縦サイズと横サイズの比率や人物の顔の向きに応じて調整する場合には、第１のマスク画像Ｍ１として、効果低減領域の形状や向きが異なるものを予め複数記憶しておき、それらを選択的に使用して第３のマスク画像Ｍ３を生成すれば、その生成に要する処理を削減することができる。

【0065】

また、本実施形態においては、第３のマスク画像Ｍ３の生成には図３（ｂ）に示した第２のマスク画像Ｍ２を用いたが、これに限らず第３のマスク画像Ｍ３の生成には、例えば図６に示したように最大輝度の画素位置Ｑが楕円形の領域内で偏心したグラデーション領域を有する他のマスク画像Ｍ２１を用いることもできる。

【0066】

その場合においても、低減度合の変化を中心側から周辺側に向かい徐々に低下させることにより、本実施形態と同様、最終的な撮影画像には、人物の顔部分と他の領域との間にボケ度合の境目が生じないため、撮影画像により自然な演出効果を確保することができる。

【0067】

また、その場合には、第３のマスク画像Ｍ３の生成に際し、上記画素位置Ｑが本実施形態で図５（ｂ）に示した第２のマスク画像Ｍ２の中心Ｐの位置となるように配置すれば、効果低減領域を実際の人物の顔部分と整合させることができる。さらに、第１のマスク画像Ｍ１を、上記他のマスク画像Ｍ２１を図で左右に分割した画像とすれば、第３のマスク画像Ｍ３の基本情報を効率的に記憶しておくことができる。

【0068】

また、第３のマスク画像Ｍ３に確保する効果低減領域の形状が楕円形である場合について説明したが、効果低減領域の形状は適宜変更することができる。

【0069】

即ち、効果低減領域の対象を人物の顔以外とした場合に、例えば、猫等の動物であれば楕円形であっても横長、花であれば真円、建物であれば矩形、といったように注目すべき被写体に応じて、或いは、注目すべき被写体に応じた撮影を行う撮影モードに応じて、効果低減領域の形状を適宜変更するようにしてもよい。

【0070】

（実施形態２）
次に、本発明の第２の実施形態について説明する。第１の実施形態とは異なり撮影時にＡＦ制御でピントがあった被写体を主たる被写体、つまり注目すべき被写体とするものである。すなわち、本実施形態は、図１に示した構成を備えたデジタルカメラ１において、プログラム記憶部７に、前述した各種のデータに加え以下のデータやプログラムが記憶されているものである。

【0071】

すなわち本実施形態においてプログラム記憶部７には、レンズ部３におけるレンズ群の調整位置とフォーカス距離（ピントが合った被写体までの距離）との関係を示す距離取得テーブルが記憶されている。また、プログラム記憶部７には、制御部２に、画像内で相対的に動きのある被写体に対して、継続的にピント合わせを行う所謂コンティニアスＡＦによるＡＦ制御を行わせるためのプログラム、及びユーザーによりソフトフォーカス機能の使用が設定されているときの撮影モードにおいて、制御部２に図７に示した撮影処理を行わせるプログラムが記憶されている。

【0072】

ここで、本実施形態における撮影処理と第１の実施形態における撮影処理との違いを先に述べると、本実施形態において制御部２は、撮影時に顔検出を行うことなく、ＡＦ制御でピントがあった被写体までの距離（以下、フォーカス距離）と合焦位置とに応じた第３のマスク画像を生成し、それを用いて最終的な撮影画像（記録画像）を生成する。

【0073】

次に、本実施形態における制御部２の処理を図７のフローチャートに従い具体的に説明する。図から明らかなように、ステップＳＢ１〜ＳＢ３の処理は第１の実施形態と同一である。

【0074】

すなわち制御部２は、ライブビュー表示及びＡＦ制御を伴う撮影待機状態において、ユーザーによって撮影実行が指示されると（ステップＳＢ１：ＹＥＳ）、撮像部４に記録用の画像を撮像させ、その撮像画像のデータに標準の現像処理を行って標準現像画像を生成し（ステップＳＢ２）、生成した標準現像画像の全体にソフトフォーカス処理を施し、ソフトフォーカス画像を生成する（ステップＳＢ３）。

【0075】

次に、制御部２は、撮影実行が指示された時点におけるフォーカス距離と、合焦位置つまり画像内でピントが合っている座標とを取得する（ステップＳＢ４）。なお、フォーカス距離は、撮影実行が指示された時点でのレンズ群の調整位置に基づき前述した距離取得テーブルから取得する。

【0076】

次に、制御部２は、上記の取得データ（フォーカス距離と合焦位置）に基づいて、基準のマスク画像である第２のマスク画像Ｍ２（図５参照）の大きさと中心位置を取得する（ステップＳＢ５）。

【0077】

ここで取得する第２のマスク画像Ｍ２の大きさは、第１の実施形態と同様、後に生成する第３のマスク画像（図示せず）における第２のマスク画像Ｍ２に相当する部分の縦サイズである。また、このとき取得される縦サイズは、フォーカス距離と、レンズ部３の焦点距離、つまりズーム倍率に応じて変化する。フォーカス距離が長くなるに従い、或いはレンズ部３の焦点距離が長くなるに従い小さくなるものであり、制御部２は、フォーカス距離及びレンズ部３の焦点距離をパラメータとするとともに、フォーカス距離が長くなるに従い、或いはレンズ部３の焦点距離が長くなるに従い縦サイズが小さくなる所定の関数を用いた計算によって縦サイズを取得する。つまり制御部２は、第３のマスク画像における第２のマスク画像Ｍ２に相当する部分の大きさを、フォーカス距離が遠くなるに従い、或いはレンズ部３の焦点距離が長くなるに従い小さくなるように調整する。

【0078】

引き続き、制御部２は、上記の取得データ（第２のマスク画像Ｍ２の縦サイズと、合焦位置）に基づき、図３（ａ）に示した第１のマスク画像Ｍ１を加工し、画像処理用のマスク画像である第３のマスク画像を生成する（ステップＳＢ６）。

【0079】

すなわち制御部２は、第１の実施形態と同様に第１のマスク画像Ｍ１から第２のマスク画像Ｍ２を生成した後、そのサイズを、縦サイズが先に取得した縦サイズとなるサイズに拡大し、拡大後の第２のマスク画像Ｍ２に平滑化処理を施す。しかる後、制御部２は、平滑化した第２のマスク画像Ｍ２を、標準現像画像と同一の画素サイズを有するグレースケールの黒一色の画像に、その中心Ｐを先に算出した合焦位置に配置させた状態で上書き合成することによって第３のマスク画像を生成する。なお、本実施形態においても、図５（ｂ）に例示したように、上記拡大画像に上記黒一色の画像からはみ出す余剰部分が生じる場合には、その余剰部分はトリミングする。

【0080】

そして、制御部２は、生成した第３のマスク画像Ｍ３を用いて、ステップＳＢ３で生成したソフトフォーカス画像を標準現像画像にαブレンドにより合成し、合成画像を生成する（ステップＳＢ７）。なお、具体的な処理は第１の実施形態と同様である。

【0081】

これにより、合成画像として画像全体にソフトフォーカスによる演出効果を確保しつつ、撮影時にピントがあった被写体部分にボケが生じていない画像が得られる。

【0082】

しかる後、制御部２は、生成した合成画像を撮影画像（記録画像）として圧縮処理、属性情報の付加を行った後、静止画ファイルとして画像記憶部６に保存し（ステップＳＢ８）、撮影処理を終了する。

【0083】

したがって、本実施形態においても、ソフトフォーカス機能を用いた撮影時には、撮影者が注目している主たる被写体が人物である場合には、画像全体にソフトフォーカスによる演出効果を確保しつつ、人物の顔部分にボケが生じていない撮影画像を得ることができる。また、主たる被写体が人物以外である場合には、その被写体部分にボケが生じていない撮影画像を得ることができる。すなわち本実施形態においても、ソフトフォーカスの強度に関係なく主たる被写体への処理強度を適切に制御することができ、その結果、良好な撮影画像を得ることができる。

【0084】

また、本実施形態においても、第２のマスク画像Ｍ２が楕円形のグラデーション領域を有する画像であって、第３のマスク画像Ｍ３に確保する効果低減領域が、ピントがあった被写体部分のほぼ中心から周辺に向かって徐々に低下するものである。したがって、最終的な撮影画像においては、ピントがあった被写体部分と他の領域との間にボケ度合の境目が生じないことから、撮影画像により自然な演出効果を確保することができる。

【0085】

しかも、本実施形態においては、第３のマスク画像Ｍ３を生成する際には第２のマスク画像Ｍ２の大きさをフォーカス距離、或いはレンズ部３の焦点距離に応じて調整する。したがって、主たる被写体（注目すべき被写体）が人物の顔や草花等のように実際の大きさが予め想定されている場合においては、煩雑な被写体認識処理を行わなくとも、第３のマスク画像Ｍ３に確保すべき効果低減領域の大きさを適切な大きさとすることができる。

【0086】

なお、本実施形態で説明した撮影処理では、常に、ソフトフォーカス画像を標準現像画像にαブレンドにより合成した合成画像を撮影画像として記録するようにした。しかし、例えばデジタルカメラ１が、撮影モードの下位の動作モードとして、撮影条件や前述した現像処理の内容が人物撮影モードのように特定の対象物の撮影に適した内容に自動的に設定される特定の撮影モードを有した構成である場合には、制御部２に以下のような撮影処理を行わせてもよい。

【0087】

すなわちソフトフォーカス機能を用いた撮影時には、制御部２に、前述したステップＳＢ３の処理でソフトフォーカス画像を生成した後、その撮影モードが特定の撮影モードであるか否かを確認させる。そして、撮影モードが特定の撮影モードであるときには、標準現像画像をソフトフォーカス画像にαブレンドにより合成した合成画像を撮影画像として記録し、逆に特定の撮影モードでないときには、生成したソフトフォーカス画像をそのまま撮影画像として記録する処理を制御部２に行わせるようにしてもよい。

【0088】

そして、撮影モードが特定の撮影モードであるときにだけ、ソフトフォーカス画像を標準現像画像にαブレンドにより合成した合成画像を撮影画像として記録する場合においては、撮影モードから主たる被写体実際の大きさを予め想定できる。したがって、係る場合には、先に述べたように第３のマスク画像Ｍ３に確保すべき効果低減領域の大きさを、確実に主たる被写体の実際の大きさに対応する適切な大きさとすることができる。

【0089】

また、第２の実施形態においても、第３のマスク画像Ｍ３に確保する効果低減領域の形状が楕円形である場合について説明したが、第１の実施形態と同様、効果低減領域の形状は適宜変更することができる。

【0090】

さらに、例えば先に述べたように撮影モードの下位の動作モードとして特定の対象物の撮影に適した撮影モードが設けられている場合には、効果低減領域の形状をそれらの撮影モードの種類に応じた形状としてもよい。その場合には、効果低減領域の基本形状を表す第１のマスク画像Ｍ１として、撮影モードに対応した異なる基本形状をそれぞれ表す複数の第１のマスク画像を予め用意しておけばよい。

【0091】

ここで、以上説明した第１及び第２の実施形態においては、第３のマスク画像Ｍ３に確保すべき効果低減領域の基本形状等を表すマスク情報として第１のマスク画像Ｍ１がプログラム記憶部７に記憶されており、第１のマスク画像Ｍ１から第２のマスク画像Ｍ２を生成する構成について説明した。しかし、効果低減領域の基本形状等を表すマスク情報として第２のマスク画像Ｍ２をプログラム記憶部７に記憶しておくようにして構わない。

【0092】

また、第１及び第２の実施形態においては、撮影時に取得した標準現像画像と、標準現像画像から生成したソフトフォーカス画像とをαブレンドで合成する際、ソフトフォーカス画像を背景としたが、本発明の実施に際しては、標準現像画像を背景としてもよい。その場合には、例えば第３のマスク画像Ｍ３として白黒を反転させた画像を生成すればよい。

【0093】

いずれの場合であっても、標準現像画像とソフトフォーカス画像とを第３のマスク画像Ｍ３、すなわちソフトフォーカス処理によるボケ効果を低減させる効果低減領域を表すマスク情報を用いて合成し、最終的な撮影画像を生成することから、例えば標準現像画像から画素ごとに効果を変化させ最終的な撮影画像を直接生成する場合に比べ、比較的単純な画像処理であっても、目的とする最終的な撮影画像を容易に生成することができる。特に、標準現像画像とソフトフォーカス画像との合成をαブレンドによる合成としたことから、目的とする最終的な撮影画像を極めて簡単な画像処理により生成することができる。

【0094】

また、第１及び第２の実施形態においては、撮像時に得られた画像に行う所定の画像処理が、ボケを付加してやわらかい雰囲気を醸し出すぼかし効果を得るためのソフトフォーカス処理である場合について説明した。しかし、本発明は、所定の画像処理がソフトフォーカス処理以外の画像処理である場合にも適用することができる。

【0095】

係る画像処理は、例えば元画像に特定の色合いを付加したり、明るさを調整したりするための処理でもよいし、元画像を絵画調の画像に変換するための処理でもよい。さらに、所定の画像処理による効果は、元画像の全体に及ぶものである必要はなく、クロススクリーン効果のように元画像の特定部分に確保される効果であっても構わない。

【0096】

また、第１及び第２の実施形態では、撮影時に取得した標準現像画像を元画像として新たな合成画像を生成する場合について説明した。しかし、本発明における元画像は、撮影により取得されたものであればよく、画像記憶部６に既に記録されている撮影画像であっても構わない。

【0097】

その場合であっても、第１の実施形態と同様の処理によって、図４に示したような合成画像Ｇ３を生成することができる。さらに、撮影画像の付加情報として撮影時のフォーカス位置、フォーカス距離等が静止画ファイルに記憶されていれば、第２の実施形態と同様の手法により注目すべき被写体を特定することができる。

【0098】

また、本発明は、デジタルカメラ１に限らず他の装置においても実施することができる。他の装置には、例えば任意のデジタルカメラにより撮影された撮影画像を鑑賞用として表示することを主たる目的とするデジタルフォトフレームや汎用的なパーソナルコンピュータ、スマートフォンが含まれる。

【0099】

また、先に述べたように本発明における元画像は、撮影により取得されたものであればよく、例えば本発明をデジタルカメラで実施する場合、及びそれ以外の装置で実施する場合に関係なく、元画像は任意の画像処理が既に施されている撮影画像であっても構わない。

【0100】

以上、本発明のいくつかの実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。
以下に、本出願の特許請求の範囲に記載された発明を付記する。
［請求項１］
撮影により取得された元画像における注目すべき被写体の位置及びサイズを取得する取得手段と、
前記取得手段により取得された前記注目すべき被写体の位置及びサイズに基づき、前記元画像における所定の画像処理を施す位置及びその強度との関係を示すマスク情報を生成するマスク情報生成手段と、
前記マスク情報生成手段により生成されたマスク情報を使用し、前記元画像における各位置に対して異なる強度の所定の画像処理が施された新たな画像を生成する画像生成手段と、
を備えることを特徴とする画像処理装置。
［請求項２］
前記注目すべき被写体を、前記元画像における領域として検出する検出手段をさらに備え、
前記取得手段は、前記検出手段により検出された注目すべき被写体領域の元画像における位置及びサイズを取得する
ことを特徴とする請求項１記載の画像処理装置。
［請求項３］
前記マスク情報生成手段は、前記元画像における画像処理による処理効果を低減すべき位置及びその低減度合いとの関係を示す効果低減領域を表すマスク情報を生成し、
前記画像生成手段は、前記マスク情報生成手段により生成されたマスク情報を使用し、前記元画像に所定の画像処理による処理効果が確保されるとともに、前記注目すべき被写体に該当する部分への前記処理効果が低減された新たな画像を生成する
ことを特徴とする請求項２記載の画像処理装置。
［請求項４］
前記マスク情報生成手段は、前記取得手段により取得された前記被写体領域と中心位置が異なる中心位置で画像処理を施すマスク情報を生成することを特徴とする請求項２又は３記載の画像処理装置。
［請求項５］
前記マスク情報生成手段は、前記被写体領域の大きさに応じて異なる大きさの前記効果低減領域を表す前記マスク情報を生成することを特徴とする請求項３又は４記載の画像処理装置。
［請求項６］
前記取得手段は、前記検出手段により検出された被写体領域における注目すべき被写体の向きをさらに取得し、
前記マスク情報生成手段は、前記取得手段により取得された被写体の向きに応じた前記元画像における所定の画像処理を施す位置及びその強度との関係を示す前記マスク情報を生成する
ことを特徴とする請求項２乃至５いずれか１項に記載の画像処理装置。
［請求項７］
前記マスク情報生成手段は、前記検出手段において注目すべき被写体が検出できたことを条件として前記マスク情報を生成し、
前記画像生成手段は、前記検出手段において注目すべき被写体が検出できたことを条件として新たな画像を生成する
ことを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
［請求項８］
前記画像生成手段は、前記検出手段において注目すべき被写体が検出できない場合、前記元画像に前記所定の画像処理を施した処理画像を新たな画像として生成することを特徴とする請求項７記載の画像処理装置。
［請求項９］
前記検出手段による検出対象となる注目すべき被写体の種類に応じて前記所定の画像処理を施す処理領域の形状を予め設定する設定手段をさらに備え、
前記マスク情報生成手段は、前記検出手段により検出された前記注目すべき被写体領域の位置及びサイズに対応し、かつ、前記設定手段により予め設定された形状を有する処理領域を特定するとともに、この特定した処理領域内における各位置と所定の画像処理の強度との関係を示すマスク情報を生成する
ことを特徴とする請求項２乃至８のいずれか１項に記載の画像処理装置。
［請求項１０］
前記設定手段は、前記検出手段による検出対象となる注目すべき被写体の種類に応じて、前記所定の画像処理を施す処理領域の形状と、この処理領域内における所定の基準点からの距離の比に応じた画像処理の強度を予めさらに設定し、
前記マスク情報生成手段は、前記検出手段により検出された注目すべき被写体領域のサイズと、前記設定手段により予め設定された所定の基準点からの距離の比に応じた画像処理の強度に基づいて、前記特定した処理領域内における各位置と所定の画像処理の強度との関係を示すマスク情報を生成する
ことを特徴とする請求項９記載の画像処理装置。
［請求項１１］
前記設定手段は、前記検出手段による検出対象となる注目すべき被写体の種類に応じて、前記所定の画像処理を施す処理領域の形状と、この処理領域内における所定の基準点からの距離の比に応じた所定の画像処理の強度を予め設定し、
前記マスク情報生成手段は、前記検出手段により検出された注目すべき被写体領域のサイズと、前記設定手段により予め設定された所定の基準点からの方向および距離の比に応じた所定の画像処理の強度に基づいて、前記特定した処理領域内における各位置と所定の画像処理の強度との関係を示すマスク情報を生成する
ことを特徴とする請求項１０記載の画像処理装置。
［請求項１２］
撮影により取得された元画像におけるフォーカス調整の対象であった被写体を注目すべき被写体として特定する特定手段と、
前記特定手段により特定された前記被写体のフォーカス情報を取得する取得手段と、
前記取得手段により取得された前記フォーカス情報に基づき、前記元画像における所定の画像処理を施す位置及びその強度との関係を示すマスク情報を生成するマスク情報生成手段と、
前記マスク情報生成手段により生成されたマスク情報を使用し、前記元画像における各位置に対して異なる強度の所定の画像処理が施された新たな画像を生成する画像生成手段と、
を備えることを特徴とする画像処理装置。
［請求項１３］
前記取得手段は、前記被写体のフォーカス情報として、前記フォーカス調整が行われたときの元画像おける当該被写体の位置に加え、フォーカス距離及び／又はレンズの焦点距離をさらに取得し、
前記マスク情報生成手段は、前記取得手段により取得された前記被写体の位置及びフォーカス距離及び／又はレンズの焦点距離に応じた前記元画像における所定の画像処理を施す位置及びその強度との関係を示す前記マスク情報を生成する
ことを特徴とする請求項１２記載の画像処理装置。
［請求項１４］
前記マスク情報の基本情報を記憶する記憶手段をさらに備え、
前記マスク情報生成手段は、前記記憶手段に記憶されている基本情報を用いて前記マスク情報を生成する
ことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
［請求項１５］
前記記憶手段に記憶されている基本情報には、前記所定の画像処理を施す処理領域の基本形状が含まれることを特徴とする請求項１４記載の画像処理装置。
［請求項１６］
前記記憶手段に記憶されている基本情報には、前記所定の画像処理を施す処理領域における前記所定の画像処理の強度の変化内容であって、中心側から周辺側に向かい徐々に増大する変化内容が含まれることを特徴とする請求項１５記載の画像処理装置。
［請求項１７］
前記画像生成手段は、前記元画像と、前記元画像に前記所定の画像処理を施した処理画像とを前記マスク情報生成手段により生成されたマスク情報を使用して合成することによって前記新たな画像を生成することを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
［請求項１８］
前記マスク情報生成手段は、画素毎の透過率を示す前記マスク情報を生成し、
前記画像生成手段は、前記処理画像又は前記元画像の一方を、前記マスク情報により示される透過率を画素毎に設定して前記処理画像又は前記元画像の他方に透過合成することによって前記新たな画像を生成する
ことを特徴とする請求項１７記載の画像処理装置。
［請求項１９］
撮像手段を更に備え、
前記取得手段は、前記撮像手段による撮影により取得された元画像における注目すべき被写体の位置及びサイズを取得する
ことを特徴とする請求項１乃至１８のいずれか１項に記載の画像処理装置。
［請求項２０］
撮影により取得された元画像における注目すべき被写体の位置及びサイズを取得する取得処理と、
前記取得処理により取得された前記注目すべき被写体の位置及びサイズに基づき、前記元画像における所定の画像処理を施す位置及びその強度との関係を示すマスク情報を生成するマスク情報生成処理と、
前記マスク情報生成処理により生成されたマスク情報を使用し、前記元画像における各位置に対して異なる強度の所定の画像処理が施された新たな画像を生成する画像生成処理と、
を含むことを特徴とする画像処理方法。
［請求項２１］
コンピュータに、
撮影により取得された元画像における注目すべき被写体の位置及びサイズを取得する取得機能と、
前記取得機能により取得された前記注目すべき被写体の位置及びサイズに基づき、前記元画像における所定の画像処理を施す位置及びその強度との関係を示すマスク情報を生成するマスク情報生成機能と、
前記マスク情報生成機能により生成されたマスク情報を使用し、前記元画像における各位置に対して異なる強度の所定の画像処理が施された新たな画像を生成する画像生成機能と、
を実現させることを特徴とするプログラム。
［請求項２２］
撮影により取得された元画像におけるフォーカス調整の対象であった被写体を注目すべき被写体として特定する特定処理と、
前記特定処理により特定された前記被写体のフォーカス情報を取得する取得処理と、
前記取得処理により取得された前記フォーカス情報に基づき、前記元画像における所定の画像処理を施す位置及びその強度との関係を示すマスク情報を生成するマスク情報生成処理と、
前記マスク情報生成処理により生成されたマスク情報を使用し、前記元画像における各位置に対して異なる強度の所定の画像処理が施された新たな画像を生成する画像生成処理と、
を含むことを特徴とする画像処理装置。
［請求項２３］
コンピュータに、
撮影により取得された元画像におけるフォーカス調整の対象であった被写体を注目すべき被写体として特定する特定機能と、
前記特定機能により特定された前記被写体のフォーカス情報を取得する取得機能と、
前記取得機能により取得された前記フォーカス情報に基づき、前記元画像における所定の画像処理を施す位置及びその強度との関係を示すマスク情報を生成するマスク情報生成機能と、
前記マスク情報生成機能により生成されたマスク情報を使用し、前記元画像における各位置に対して異なる強度の所定の画像処理が施された新たな画像を生成する画像生成機能と、
を実現させることを特徴とするプログラム。

【符号の説明】

【0101】

１ デジタルカメラ
２ 制御部
３ レンズ部
４ 撮像部
５ 表示部
６ 画像記憶部
７ プログラム記憶部
８ 顔検出部
９ 操作部
１０ 電源部
１０１ マスクデータ
Ｍ１ 第１のマスク画像
Ｍ２ 第２のマスク画像
Ｍ３ 第３のマスク画像
Ｍ１１ マスク画像
Ｇ１ 標準現像画像
Ｇ２ ソフトフォーカス画像
Ｇ３ 合成画像
Ａ 顔領域の縦サイズ
Ｂ 移動量
Ｃ 拡大後の第２のマスク画像の縦サイズ
Ｗ 顔領域
Ｏ 顔領域の中心
Ｐ 第２のマスク画像の中心
Ｑ 実施形態２における第２のマスク画像の中心

【要約】

【課題】画像処理に際して主たる被写体が写された画像への処理強度を適切に制御する。
【解決手段】撮影により取得された元画像Ｇ１おける注目すべき被写体（人物の顔等）の位置及びサイズを取得する。取得した位置及びサイズに基づき、元画像Ｇ１における所定の画像処理を施す位置及びその強度との関係を示すマスク情報Ｍ３を生成する。生成したマスク情報Ｍ３を使用し、元画像Ｇ１における各位置に対して異なる強度の所定の画像処理が施された新たな画像Ｇ３を生成する。新たな画像Ｇ３の生成に際しては、例えば元画像Ｇ１、又は元画像Ｇ１に所定の画像処理を行った処理画像Ｇ２の一方を、マスク情報Ｍ３により示される画素毎の透過率を用いて他方に透過合成する。
【選択図】図４

【図1】

【図2】

【図7】

【図3】

【図4】

【図5】

【図6】