特許 6859611 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6859611

(24)【登録日】2021年3月30日

(45)【発行日】2021年4月14日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20210405BHJP

   H04N 5/232 20060101ALI20210405BHJP

   A61B 5/00 20060101ALI20210405BHJP

【ＦＩ】

   G06T1/00 340A

   H04N5/232 190

   A61B5/00 101A

   A61B5/00 M

【請求項の数】9

【全頁数】19

(21)【出願番号】特願2016-115100(P2016-115100)

(22)【出願日】2016年6月9日

(65)【公開番号】特開2017-220078(P2017-220078A)

(43)【公開日】2017年12月14日

【審査請求日】2019年6月4日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】松永 剛

【審査官】 宮島 潤

(56)【参考文献】

【文献】 特開２０１０−２１１４９７（ＪＰ，Ａ）

【文献】 特開２００５−３２７００９（ＪＰ，Ａ）

【文献】 特開２００４−３０３１９３（ＪＰ，Ａ）

【文献】 Changhyung Lee et al.，An algorithm for automatic skin smoothing in digital portraits，2009 16th IEEE International Conference on Image Processing (ICIP)，IEEE，２００９年１１月 ７日，pp.3149-3152，IEL Online IEEE Xplore，ＵＲＬ，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5414430

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ５／５０

Ｇ０６Ｔ ９／００ − ９／４０

Ａ６１Ｂ ５／００ − ５／０１

Ｇ０６Ｔ ７／００ − ７／９０

Ｈ０４Ｎ ５／２２２ − ５／２５７

(57)【特許請求の範囲】

【請求項1】

被写体としてヒトが含まれる画像内より前記ヒトの顔領域及び前記ヒトの顔領域内の顔器官の位置を検出する検出手段と、
前記検出手段により検出されたヒトの顔領域内の顔器官の位置を基準とした所定の範囲を肌計測領域として設定する設定手段と、
前記設定手段によって設定された肌計測領域に対して二次元フーリエ変換を行って得られたノイズの周波数毎のレベルから肌状態指数を算出する算出手段と、
前記算出手段により算出された肌状態指数を美肌化処理の処理強度に変換する変換手段と、
前記検出手段により検出されたヒトの顔領域に対して、前記変換手段によって変換された処理強度で平滑化フィルタ処理を施す美肌化処理手段と、
を備え、
前記美肌化処理における前記平滑化フィルタ処理のフィルタサイズは複数の美肌モードに応じて複数種用意されており、
前記設定手段は、前記顔領域内で設定可能に規定されている複数の計測候補領域の中から、前記複数の美肌モードの中から選択された美肌モードに対応する計測領域を設定することを特徴とする画像処理装置。

【請求項2】

前記複数の美肌モードの夫々と対応付けて、前記ヒトの顔領域における前記美肌化処理の対象に対応する二次元フーリエ変換画像の周波数と、前記平滑化フィルタ処理のフィルタサイズと、前記肌状態指数と前記美肌化処理の処理強度との対応関係を示す処理強度情報とを記憶する記憶手段を更に備えることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記処理強度情報は、前記二次元フーリエ変換画像の周波数と前記平滑化フィルタ処理のフィルタサイズとの組み合わせに応じて異なるように前記記憶手段に複数記憶されていることを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記記憶手段は、複数の美肌モードの各々に対応させて、前記二次元フーリエ変換画像の周波数と、前記平滑化フィルタ処理のフィルタサイズと、前記肌状態指数と前記美肌化処理の処理強度との対応関係を示す処理強度情報とを対応付けて記憶することを特徴とする請求項２又は３に記載の画像処理装置。

【請求項5】

前記処理強度とは、前記ヒトの顔領域の全体に対する前記美肌化処理の処理強度であることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。

【請求項6】

前記検出手段により検出された前記ヒトの顔領域における前記肌計測領域から、前記ヒトの顔領域の肌の基本色を特定する特定手段と、
前記美肌化処理手段は、前記特定手段により特定された肌の基本色に応じて、前記ヒトの顔領域の所定部分毎に処理強度を変化させるように決定する部分処理強度決定手段と、
を更に備えることを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。

【請求項7】

前記特定手段は、前記設定手段によって設定された前記顔器官の位置を基準とした所定の範囲の肌計測領域内の肌の基本色を特定することを特徴とする請求項６に記載の画像処理装置。

【請求項8】

画像処理装置を用いた画像処理方法であって、
被写体としてヒトが含まれる画像内より前記ヒトの顔領域及び前記ヒトの顔領域内の顔器官の位置を検出する検出ステップと、
前記検出ステップにて検出されたヒトの顔領域内の顔器官の位置を基準とした所定の範囲を肌計測領域として設定する設定ステップと、
前記設定ステップにて設定された肌計測領域に対して二次元フーリエ変換を行って得られたノイズの周波数毎のレベルから肌状態指数を算出する算出ステップと、
前記算出ステップにて算出された肌状態指数を美肌化処理の処理強度に変換する変換ステップと、
前記検出ステップにて検出されたヒトの顔領域に対して、前記変換ステップにて変換された処理強度で平滑化フィルタ処理を施す美肌化処理ステップと、
を含み、
前記美肌化処理における前記平滑化フィルタ処理のフィルタサイズは複数の美肌モードに応じて複数種用意されており、
前記設定ステップは、前記顔領域内で設定可能に規定されている複数の計測候補領域の中から、前記複数の美肌モードの中から選択された美肌モードに対応する計測領域を設定することを特徴とする画像処理方法。

【請求項9】

画像処理装置のコンピュータを、
被写体としてヒトが含まれる画像内より前記ヒトの顔領域及び前記ヒトの顔領域内の顔器官の位置を検出する検出手段、
前記検出手段により検出されたヒトの顔領域内の顔器官の位置を基準とした所定の範囲を肌計測領域として設定する設定手段、
前記設定手段によって設定された肌計測領域に対して二次元フーリエ変換を行って得られたノイズの周波数毎のレベルから肌状態指数を算出する算出手段、
前記算出手段により算出された肌状態指数を美肌化処理の処理強度に変換する変換手段、
前記検出手段により検出されたヒトの顔領域に対して、前記変換手段によって変換された処理強度で平滑化フィルタ処理を施す美肌化処理手段、
として機能させ、
前記美肌化処理における前記平滑化フィルタ処理のフィルタサイズは複数の美肌モードに応じて複数種用意されており、
前記設定手段は、前記顔領域内で設定可能に規定されている複数の計測候補領域の中から、前記複数の美肌モードの中から選択された美肌モードに対応する計測領域を設定することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

従来、撮影画像内のヒトの顔を検出し、この顔領域に対して肌を滑らかにしたり色を白くしたりするといった美肌化処理を施す技術が知られている。例えば、ヒトの年齢や性別を推論して美肌化処理を制御するものがある（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−２８０２９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記特許文献１では、化粧や体調などによる顔の中での肌状態の変化を考慮していないため、化粧や体調などの影響によって美肌化処理を適正に行うことができない虞がある。

【0005】

そこで、本発明の課題は、顔の美肌化処理を適正に行うことができる画像処理装置、画像処理方法及びプログラムを提供することである。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明に係る画像処理装置は、
被写体としてヒトが含まれる画像内より前記ヒトの顔領域及び前記ヒトの顔領域内の顔器官の位置を検出する検出手段と、
前記検出手段により検出されたヒトの顔領域内の顔器官の位置を基準とした所定の範囲を肌計測領域として設定する設定手段と、
前記設定手段によって設定された肌計測領域に対して二次元フーリエ変換を行って得られたノイズの周波数毎のレベルから肌状態指数を算出する算出手段と、
前記算出手段により算出された肌状態指数を美肌化処理の処理強度に変換する変換手段と、
前記検出手段により検出されたヒトの顔領域に対して、前記変換手段によって変換された処理強度で平滑化フィルタ処理を施す美肌化処理手段と、
を備え、
前記美肌化処理における前記平滑化フィルタ処理のフィルタサイズは複数の美肌モードに応じて複数種用意されており、
前記設定手段は、前記顔領域内で設定可能に規定されている複数の計測候補領域の中から、前記複数の美肌モードの中から選択された美肌モードに対応する計測領域を設定することを特徴としている。

【発明の効果】

【0007】

本発明によれば、顔の美肌化処理を適正に行うことができる。

【図面の簡単な説明】

【0008】

【図1】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。

【図2】図１の撮像装置に記憶されている処理内容テーブルの一例を示す図である。

【図3】図２の処理内容テーブルにおける処理強度情報の一例を示す図である。

【図4】図１の撮像装置による画像生成処理に係る動作の一例を示すフローチャートである。

【図5】図４の画像生成処理における美肌化処理に係る動作の一例を示すフローチャートである。

【図6】図４の画像生成処理に係る画像の一例を模式的に示す図である。

【発明を実施するための形態】

【0009】

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

【0010】

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、中央制御部１と、メモリ２と、撮像部３と、撮像制御部４と、テーブル記憶部５と、画像処理部６と、記憶媒体制御部７と、表示部８と、操作入力部９とを備えている。
また、中央制御部１、メモリ２、撮像部３、撮像制御部４、テーブル記憶部５と、画像処理部６、記憶媒体制御部７及び表示部８は、バスライン１０を介して接続されている。

【0011】

中央制御部１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

【0012】

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１、撮像部３、画像処理部６等によって処理されるデータ等を一時的に格納する。

【0013】

撮像部３は、所定の被写体（例えば、ヒト等）を撮像してフレーム画像を生成する。
具体的には、撮像部３は、レンズ部３ａと、電子撮像部３ｂ等を備えている。

【0014】

レンズ部３ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部３ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ（撮像素子）から構成されている。そして、電子撮像部３ｂは、レンズ部３ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、撮像部３は、レンズ部３ａ及び電子撮像部３ｂに加えて、レンズ部３ａを通過する光の量を調整する絞り（図示略）を備えても良い。

【0015】

撮像制御部４は、撮像部３による被写体の撮像を制御する。即ち、撮像制御部４は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部４は、タイミング発生器、ドライバにより電子撮像部３ｂを走査駆動して、レンズ部３ａを通過した光学像を電子撮像部３ｂにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部３ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像処理部６に出力させる。
また、撮像制御部４は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。

【0016】

テーブル記憶部５は、画像生成処理（後述）にて用いられる処理内容テーブルＴ（図２参照）を記憶している。
処理内容テーブルＴは、図２に示すように、複数の美肌モード毎に、肌状態計測部６ｄ（後述）による肌状態の計測処理の処理内容を表す「肌状態計測手法」と、美肌処理部６ｆ（後述）による美肌化処理の処理内容を表す「美肌化手法」と、全体処理強度制御部６ｅ（後述）による肌状態に応じて変化する全体処理強度（全体パラメータ値）の変換情報を表す「処理強度情報」とが対応付けられている。

【0017】

美肌モードとしては、例えば、デフォルトとして設定されている「美肌モード（デフォルト）」、化粧の影響を軽減させて美肌化処理を施すための「化粧優先美肌モード」、体調の影響を軽減させて美肌化処理を施すための「体調優先美肌モード」等が挙げられる。
ここで、化粧の影響を軽減させるとは、例えば、顔の中で目立たせたくない箇所（例えば、しわ、しみ、そばかす等）の印象が弱くなるように化粧が施される場合に、化粧が濃い（厚化粧）と、肌本来の肌状態や色とは乖離した状態となる。また、相対的に大きなしわやしみ等は、化粧で目立たせないようにすることが困難な場合もある。このため、より自然な美肌化処理を行う上では、化粧の影響がより少ない肌本来の肌状態や色を特定する必要がある。さらに、相対的に大きなしわやしみ等についても目立たせないようにすることが好ましい。
また、体調の影響を軽減させるとは、例えば、目のクマが表されている顔のように体調が悪い場合、同様に、肌本来の肌状態や色とは乖離した状態となる。このため、より自然な美肌化処理を行う上では、体調の影響がより少ない肌本来の肌状態や色を特定する必要がある。また、目のクマを上記した化粧で目立たせないようにすることが困難な場合もあるため、この場合には、目のクマについても目立たせないようにすることが好ましい。
一方、デフォルトとして設定されている「美肌モード（デフォルト）」では、化粧や体調の影響が軽減されないが、例えば、化粧が薄い（薄化粧）場合や体調が悪くない（体調の悪さが顔に表れていない）場合等には、美肌化処理を施しても化粧や体調の影響が相対的に少なく許容可能であると考えられる。

【0018】

「肌状態計測手法」としては、例えば、肌状態の計測領域Ａ１（図６参照）を表す「肌状態計測エリア」や、美肌モードに応じて規定された処理したい対象（例えば、しわ、しみ、そばかす、ほくろ、目のクマ等）に対応する二次元フーリエ変換画像の周波数を表す「対象周波数」等が規定されている。
「肌状態計測エリア」としては、例えば、肌状態の計測領域Ａ１を顔領域Ｆ全体とする「肌状態計測エリア：全体」、顔領域Ｆ内の特定部分とする「肌状態計測エリア：１」や「肌状態計測エリア：２」等が挙げられる。なお、肌状態の計測領域Ａ１の具体的な設定方法については、後述する。

【0019】

「美肌化手法」としては、例えば、肌色の計測領域Ａ２（図６参照）を表す「肌色態計測エリア」や、美肌モードに応じて規定された処理したい対象（例えば、しわ、しみ、そばかす、ほくろ、目のクマ等）に対応するフィルタ処理に用いられる画像処理フィルタ（例えば、平滑化フィルタ等）の大きさを表す「フィルタサイズ」等が規定されている。
「肌色計測エリア」としては、例えば、肌色の計測領域Ａ２を顔領域Ｆ全体とする「肌色計測エリア：全体」、顔領域Ｆ内の特定部分とする「肌色計測エリア：１」や「肌色計測エリア：２」等が挙げられる。なお、肌色の計測領域Ａ２の具体的な設定方法については、後述する。

【0020】

「処理強度情報」は、肌状態指数と、美肌化処理の全体処理強度（全体パラメータ値）との対応関係が規定されている（図３参照）。
図３には、肌状態指数と、美肌化処理の全体処理強度との対応関係の一例を模式的に示している。
肌状態指数は、肌状態計測部６ｄ（後述）による肌状態の計測処理にて特定される肌状態を表すものであり、例えば、肌荒れが大きくなる（ひどくなる）ほど高くなるようになっている。
「処理強度情報」としては、肌状態指数と、美肌化処理の全体処理強度との対応関係を異ならせた複数の処理強度変換データ（例えば、「処理強度変換データ：１」、「処理強度変換データ：２」、「処理強度変換データ：３」等）が挙げられる。また、これらの処理強度変換データは、複数の美肌モード毎、すなわち、肌状態計測部６ｄによる肌状態の計測手法と美肌処理部６ｆによる美肌化手法との組み合わせに応じて異なっている。つまり、テーブル記憶部５には、肌状態計測部６ｄによる「肌状態計測手法」と美肌処理部６ｆによる「美肌化手法」との複数の組み合わせの各々に対応させて、全体処理強度制御部６ｅ（後述）による肌状態に応じて変化する全体処理強度の変換情報を表す「処理強度情報」が複数記憶されている。

【0021】

なお、上記した「処理強度情報」のように、肌状態指数と、美肌化処理の全体処理強度との対応関係を異ならせて複数の処理強度変換データを記憶しなくとも、例えば、肌状態指数及び全体処理強度をそれぞれ正規化して対応付けたデータを１つだけ記憶するようにしても良い。また、例えば、肌状態指数と、美肌化処理の全体処理強度との対応関係が線形の場合には、変換比率データだけを記憶するようにしても良い。

【0022】

また、上記した美肌モードは、一例であってこれらに限られるものではなく、例えば、しわ、しみ、そばかす等をそれぞれ優先して除去するような個別の美肌モードなど適宜任意に変更可能である。
さらに、各美肌モード毎に対応付けられている「肌状態計測手法」、「美肌化手法」、「処理強度情報」の内容も、一例であってこれらに限られるものではなく、適宜任意に変更可能である。

【0023】

このように、テーブル記憶部５は、記憶手段として、肌状態計測部６ｄによる肌状態の計測手法と、美肌処理部６ｆによる美肌化手法と、全体処理強度制御部６ｅによる肌状態に応じたパラメータ値の変換情報とを対応付けて記憶している。

【0024】

画像処理部６は、電子撮像部３ｂから転送されたフレーム画像のアナログデータをデジタルデータに変換する処理、ホワイトバランスを調整する処理、カラープロセス処理等を行って、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを生成する。具体的には、画像処理部６は、画像取得部６ａと、顔検出部６ｂと、計測領域設定部６ｃと、肌状態計測部６ｄと、全体処理強度制御部６ｅと、美肌処理部６ｆと、肌色特定部６ｇと、部分処理強度制御部６ｈと、合成画像生成部６ｉとを具備している。
なお、画像処理部６の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

【0025】

画像取得部６ａは、画像生成処理（後述）の処理対象となる画像を取得する。
すなわち、画像取得部（取得手段）６ａは、撮像部３により撮像された画像を画像生成処理の処理対象として取得する。具体的には、画像取得部６ａは、例えば、電子撮像部３ｂから出力されて入力された画像（元画像Ｉ）の所定のカラーフィルタの配列（例えば、ベイヤー配列）に従った画像データ（ＲＧＢデータ）を取得する。また、画像取得部６ａは、元画像ＩのＲＧＢデータの複製を生成し、例えば、ホワイトバランス調整処理やカラープロセス処理等を行って、元画像ＩのＹＵＶデータを生成して取得する。
ここで、後述する合成画像生成部６ｉにより合成美肌処理画像を生成しない場合には、画像取得部６ａは、必ずしも元画像Ｉの画像データを複製する必要はない。
なお、画像取得部６ａは、記憶媒体Ｍに記憶されている画像を処理対象として、その画像データを取得しても良い。

【0026】

顔検出部６ｂは、顔検出処理を行う。
すなわち、顔検出部（検出手段）６ｂは、画像取得部６ａにより取得された元画像Ｉの画像データに対して所定の顔検出処理を行って、当該元画像Ｉ内からヒトの顔が含まれる顔領域Ｆ（図６参照）を検出する。そして、顔検出部６ｂは、例えば、ＡＡＭ（Active Appearance Model）を用いた処理により、目、鼻、口、眉、顔輪郭等の主要な顔器官の位置を検出する。なお、以下の説明では、顔領域Ｆとは、顔輪郭と髪の毛により囲まれた、主として肌色の領域のことを言う。
また、上記した顔検出処理やＡＡＭは、公知の技術であるので、ここでは詳細な説明を省略する。また、ＡＡＭを用いて顔器官の検出を行うようにしたが、一例であってこれに限られるものではなく、例えば、エッジ抽出処理、非等方拡散処理、テンプレートマッチング等適宜任意に変更可能である。

【0027】

計測領域設定部６ｃは、肌状態の計測領域Ａ１（図６参照）を設定する。
すなわち、計測領域設定部（設定手段）６ｃは、顔検出部６ｂにより検出されたヒトの顔領域Ｆ内で顔器官の位置を基準とする特定部分に、肌状態計測部６ｄによる肌状態の計測領域Ａ１を設定する。具体的には、処理内容テーブルＴに規定されている複数の美肌モードの中で、何れか一の美肌モードがユーザによる操作入力部９の所定操作に基づいて、或いは、デフォルトとして自動的に指定されると、計測領域設定部６ｃは、指定されている美肌モードに対応する「肌状態計測手法」の欄の「肌状態計測エリア」を参照し、顔検出部６ｂにより検出されたヒトの顔領域Ｆ全体や、顔領域Ｆ内での顔器官の位置を基準とする特定部分を肌状態の計測領域Ａ１として設定する。つまり、複数の美肌モードの各々に対応する肌状態計測部６ｄによる肌状態の計測手法と美肌処理部６ｆによる美肌化手法との組み合わせ毎に、顔領域Ｆ内で設定可能な肌状態の計測候補領域が規定されており、計測領域設定部６ｃは、これらの計測候補領域の中から、指定されている美肌モードに対応する肌状態の計測領域（肌状態の計測手法及び美肌化手法に対応する顔領域Ｆ内の領域）Ａ１を設定する。
ここで、例えば、図６に示すように、顔領域Ｆの略中央の部分を肌状態の計測領域Ａ１とする場合、計測領域設定部６ｃは、顔領域Ｆ内で顔器官としての鼻の位置を基準とする所定範囲を特定部分として、肌状態の計測領域Ａ１を設定する。また、図示は省略するが、顔領域Ｆの額の部分を肌状態の計測領域Ａ１とする場合には、左右の目の位置を基準とし、同様に、顔領域Ｆの顎の部分を肌状態の計測領域Ａ１とする場合には、口の位置を基準とし、同様に、顔領域Ｆの頬の部分を肌状態の計測領域Ａ１とする場合には、目、鼻、口等の複数の顔器官の位置を基準とする所定範囲（特定部分）が肌状態の計測領域Ａ１となる。

【0028】

なお、計測領域設定部６ｃは、指定されている美肌モードに応じて、「肌状態計測手法」の欄の「肌状態計測エリア」を参照して、肌状態の計測領域Ａ１を設定するようにしたが、一例であってこれに限られるものではなく、例えば、肌状態計測部６ｄによる肌状態の計測手法或いは美肌処理部６ｆによる美肌化手法に応じて、顔領域Ｆ内での顔器官の位置を基準とする特定部分を肌状態の計測領域Ａ１として設定しても良い。すなわち、肌状態の計測領域Ａ１は、肌状態の計測手法及び美肌化手法のうち、少なくとも一方に基づいて決められたものであれば良い。

【0029】

また、計測領域設定部６ｃは、肌色の計測領域Ａ２（図６参照）を設定する。
すなわち、処理内容テーブルＴに規定されている複数の美肌モードの中で、何れか一の美肌モードが指定されている場合、計測領域設定部６ｃは、指定されている美肌モードに対応する「肌色計測手法」の欄の「肌色計測エリア」を参照し、顔検出部６ｂにより検出されたヒトの顔領域Ｆ全体や、顔領域Ｆ内での顔器官の位置を基準とする特定部分を肌色の計測領域Ａ２として設定する。
なお、顔領域Ｆ内で肌色の計測領域Ａ２を設定する方法は、上記した肌状態の計測領域Ａ１を設定する方法とほぼ同様であり、詳細な説明は省略する。

【0030】

また、計測領域設定部６ｃは、指定されている美肌モードに応じて、「肌色計測手法」の欄の「肌色計測エリア」を参照して、肌色の計測領域Ａ２を設定するようにしたが、一例であってこれに限られるものではなく、例えば、肌状態計測部６ｄによる肌状態の計測手法或いは美肌処理部６ｆによる美肌化手法に応じて、顔領域Ｆ内での顔器官の位置を基準とする特定部分を肌色の計測領域Ａ２として設定しても良い。
すなわち、計測領域設定部（設定手段）６ｃは、肌状態計測部６ｄによる肌状態の計測手法及び美肌処理部６ｆによる美肌化手法のうち、少なくとも一方に基づいて、顔検出部６ｂにより検出されたヒトの顔領域Ｆ内で顔器官の位置を基準とする特定部分に、肌色の計測領域Ａ２を設定する。

【0031】

なお、図６には、肌状態の計測領域Ａ１と肌色の計測領域Ａ２として同じ位置に配設されたものを例示したが、一例であってこれに限られるものではなく、互いに異なる位置であっても良い。

【0032】

肌状態計測部６ｄは、ヒトの顔領域Ｆの肌状態を計測する。
すなわち、肌状態計測部（計測手段）６ｄは、顔検出部６ｂにより検出されたヒトの顔領域Ｆの肌状態を所定の計測手法により計測する。例えば、肌状態計測部６ｄは、顔検出部６ｂにより検出された元画像Ｉの顔領域Ｆに対して二次元フーリエ変換を行い、ノイズの周波数毎にそのレベルを算出する。そして、肌状態計測部６ｄは、算出されたノイズの周波数のレベルに応じて、予め決められた重みを乗算して（重み付けして）積分することにより、肌状態指数を算出する。
具体的には、肌状態計測部６ｄは、計測領域設定部６ｃにより設定された顔領域Ｆ内の肌状態の計測領域Ａ１について、上記した肌状態指数の算出を行う。さらに、肌状態計測部６ｄは、処理内容テーブルＴに規定されている複数の美肌モードの中で指定されている何れか一の美肌モードに対応する「肌状態計測手法」の欄の「対象周波数」を参照し、処理したい対象（例えば、しわ、しみ、そばかす、ほくろ、目のクマ等）に対応する二次元フーリエ変換画像の周波数を特定する。そして、肌状態計測部６ｄは、特定された周波数のノイズについては、重み付けの際の重み値を相対的に大きくして、肌状態指数を算出する。
このように、肌状態計測部６ｄによる肌状態の計測手法には、肌状態の計測方法を異ならせた複数の計測手法がある。

【0033】

なお、上記した肌状態の計測手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。すなわち、肌状態計測部６ｄは、例えば、公知の画像ノイズ計測処理を利用して肌状態の計測を行っても良い。

【0034】

全体処理強度制御部６ｅは、美肌処理部６ｆによる画像処理の全体処理強度を制御する。
すなわち、全体処理強度制御部（制御手段）６ｅは、肌状態計測部６ｄにより計測された肌状態に応じて、美肌処理部６ｆによる画像処理の全体処理強度（全体パラメータ値）を制御する。
具体的には、処理内容テーブルＴに規定されている複数の美肌モードの中で、何れか一の美肌モードが指定されている場合、全体処理強度制御部６ｅは、指定されている美肌モードに対応する「処理強度情報」の欄の「処理強度変換データ」（例えば、「処理強度変換データ：１」等）を参照して、肌状態計測部６ｄにより算出された肌状態指数を美肌処理部６ｆによる画像処理の処理強度に変換し、ヒトの顔領域Ｆ全体に対応する美肌処理部６ｆによる画像処理の全体処理強度として決定する。
ここで、画像処理の全体処理強度としては、例えば、美肌処理部６ｆによる画像処理に用いられるフィルタ（例えば、平滑化フィルタ等）の重みを表すフィルタ係数等が挙げられる。

【0035】

美肌処理部６ｆは、ヒトの顔領域Ｆに対して美肌化処理を施す。
すなわち、美肌処理部（美肌処理手段）６ｆは、顔検出部６ｂにより検出されたヒトの顔領域Ｆに対して所定の美肌化手法に対応する画像処理を施す。例えば、美肌処理部６ｆは、顔検出部６ｂにより検出された元画像Ｉの顔領域Ｆに対してフィルタ処理（例えば、平滑化処理等）を施すことで、顔領域Ｆのノイズを除去する。
具体的には、美肌処理部６ｆは、処理内容テーブルＴに規定されている複数の美肌モードの中で指定されている何れか一の美肌モードに対応する「美肌化手法」の欄の「フィルタサイズ」を参照して、処理したい対象（例えば、しわ、しみ、そばかす、ほくろ、目のクマ等）に対応する画像処理フィルタ（例えば、平滑化フィルタ等）の大きさを特定する。続けて、美肌処理部６ｆは、特定された大きさの画像処理フィルタを用いて、全体処理強度制御部６ｅにより決定された全体処理強度（例えば、フィルタ係数等）で元画像Ｉの顔領域Ｆに対してフィルタ処理（例えば、平滑化処理等）を施すことで、顔領域Ｆ全体のノイズを除去する。そして、美肌処理部６ｆは、例えば、ホワイトバランス調整処理やカラープロセス処理等を行って、全体美肌処理画像のＹＵＶデータを生成する。
このように、美肌処理部６ｆによる美肌化手法には、美肌化に係る画像処理を異ならせた複数の美肌化手法がある。

【0036】

なお、上記した美肌化手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。すなわち、美肌処理部６ｆは、例えば、公知の画像ノイズ除去処理を利用して美肌化処理を行っても良い。

【0037】

肌色特定部６ｇは、ヒトの顔領域Ｆに対応する肌の色を特定する。
すなわち、肌色特定部（特定手段）６ｇは、顔検出部６ｂにより検出された元画像Ｉ内のヒトの顔領域Ｆに対応する肌の色を特定する。具体的には、処理内容テーブルＴに規定されている複数の美肌モードの中で、何れか一の美肌モードが指定されている場合、肌色特定部６ｇは、計測領域設定部６ｃにより設定されたヒトの顔領域Ｆにおける肌色の計測領域Ａ２内の各画素の画素値に基づいて、肌の基本色（例えば、色相Ｈの平均値や中央値等）を特定する。
なお、肌の色の特定は、公知の技術であるのでここでは詳細な説明は省略するが、例えば、元画像Ｉの画像データをＨＳＶ色空間に変換したＨＳＶデータに対して行われても良いし、ＹＵＶ色空間に変換したＹＵＶデータに対して行われても良い。

【0038】

部分処理強度制御部６ｈは、美肌処理部６ｆによる画像処理の部分処理強度を制御する。
すなわち、部分処理強度制御部（制御手段）６ｈは、肌色特定部６ｇにより特定された肌の色に応じて、顔検出部６ｂにより検出されたヒトの顔領域Ｆの所定部分毎（例えば、画素毎等）に美肌処理部６ｆによる画像処理の部分処理強度（部分パラメータ値）を決定する。
具体的には、部分処理強度制御部６ｈは、元画像Ｉのヒトの顔領域Ｆの各画素について、肌色特定部６ｇにより特定された肌色の計測領域Ａ２内の各画素の基本色を基準とする所定の色範囲を所定の階調（例えば、８ｂｉｔ[0〜255]等）で表した顔マップを生成する。この顔マップの階調値が、後述する合成画像生成部６ｉによる全体美肌処理画像と元画像Ｉとの合成の比率、すなわち、全体美肌処理画像の各画素について、元画像Ｉに対してアルファブレンディングする際の重みを表している。例えば、顔マップの階調値が「２５５」に対応する全体美肌処理画像の画素は、元画像Ｉに対する透過率が０％となり、顔マップの階調値が「０」に対応する全体美肌処理画像の画素は、元画像Ｉに対する透過率が１００％となる。
つまり、顔マップの階調値により全体美肌処理画像と元画像Ｉとの肌に相当する部分の合成の比率が変化し、これにより、ヒトの顔領域Ｆの各画素毎に美肌処理部６ｆによる画像処理の部分処理強度（部分パラメータ値）が変化することとなる。

【0039】

合成画像生成部６ｉは、全体美肌処理画像と元画像Ｉとを合成して合成美肌処理画像を生成する。
すなわち、合成画像生成部６ｉは、美肌処理部６ｆにより生成された全体美肌処理画像と画像取得部６ａにより取得された元画像Ｉとを、部分処理強度制御部６ｈにより生成され、顔領域Ｆの透過率が設定されている顔マップを用いて合成して、合成美肌処理画像の画像データを生成する。例えば、合成画像生成部６ｉは、全体美肌処理画像の各画素について、顔マップに設定されている階調値（透過率）が「０」の画素は元画像Ｉに対して透過させ、階調値が「２５５」の画素は当該全体美肌処理画像の対応する画素の画素値で元画像Ｉの画素を上書きし、さらに、階調値が「１〜２５４」の画素は当該透過率に応じて全体美肌処理画像の画素の画素値と元画像Ｉの対応する画素の画素値とでブレンドする（アルファブレンディング）。
なお、上記したアルファブレンディングは、公知の技術であるので、ここでは詳細な説明を省略する。

【0040】

記憶媒体制御部７は、記憶媒体Ｍが着脱自在に構成され、装着された記憶媒体Ｍからのデータの読み出しや記憶媒体Ｍに対するデータの書き込みを制御する。
なお、記憶媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

【0041】

表示部８は、表示パネル８ａと、表示制御部８ｂとを具備している。
表示パネル８ａは、表示画面内に画像を表示する。なお、表示パネル８ａとしては、例えば、液晶表示パネルや有機ＥＬ表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。

【0042】

表示制御部８ｂは、メモリ２に一時的に格納されている表示用の画像データを読み出して、画像処理部６により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル８ａの表示画面に表示させる制御を行う。具体的には、表示制御部８ｂは、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなど（何れも図示略）を備えている。そして、デジタルビデオエンコーダは、画像処理部６により復号されてＶＲＡＭに記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレート（例えば、３０ｆｐｓ）で読み出して、これらのデータを元にビデオ信号を発生して表示パネル８ａに出力する。

【0043】

操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１に出力する。

【0044】

＜画像生成処理＞
次に、撮像装置１００による画像生成処理について、図４〜図６を参照して説明する。
図４は、画像生成処理に係る動作の一例を示すフローチャートである。

【0045】

図４に示すように、先ず、例えば、ユーザによる操作入力部９のシャッタボタンの所定操作に基づいて撮像指示が入力されると、中央制御部１のＣＰＵは、撮像制御指令を撮像制御部４に対して出力し、撮像制御部４は、撮像部３を制御して被写体の画像を撮像させる。そして、画像処理部６の画像取得部６ａは、撮像部３により撮像された元画像Ｉの所定のカラーフィルタの配列（例えば、ベイヤー配列）に従った画像データ（ＲＧＢデータ）を取得する（ステップＳ１）。また、画像取得部６ａは、元画像ＩのＲＧＢデータの複製を生成し、例えば、ホワイトバランス調整処理やカラープロセス処理等を行って、元画像ＩのＹＵＶデータを生成する。
なお、画像生成処理は、例えば、記憶媒体Ｍに記憶されている画像を処理対象としても良い。

【0046】

次に、顔検出部６ｂは、画像取得部６ａにより取得された元画像Ｉの画像データに対して所定の顔検出処理を行い（ステップＳ２）、元画像Ｉ内からヒトの顔が含まれる顔領域Ｆが検出されたか否かを判定する（ステップＳ３）。
また、ステップＳ２にて、顔検出部６ｂは、例えば、ＡＡＭを用いた処理により、顔領域Ｆ内で目、鼻、口、眉、顔輪郭等の主要な顔器官の位置を検出する処理も行う。

【0047】

ステップＳ３にて、顔領域Ｆが検出されたと判定されると（ステップＳ３；ＹＥＳ）、画像処理部６は、処理内容テーブルＴに規定されている複数の美肌モードの中で、ユーザによる操作入力部９の所定操作に基づいて、或いは、デフォルトとして自動的に指定されている何れか一の美肌モードを特定する（ステップＳ４）。
ここで、美肌モードの指定自体は、被写体の撮像前に行われても良いし、被写体の撮像後に所定のタイミング（例えば、顔領域Ｆの検出後等）で行われても良い。
そして、画像処理部６は、処理内容テーブルＴを参照して、特定された美肌モードに対応する「肌状態計測手法」、「美肌化手法」及び「処理強度情報」の各々を特定する（ステップＳ５）。

【0048】

次に、計測領域設定部６ｃは、処理内容テーブルＴにおける特定された美肌モードに対応する「肌状態計測手法」の欄の「肌状態計測エリア」を参照し、顔検出部６ｂにより検出されたヒトの顔領域Ｆにて肌状態の計測領域Ａ１を設定する（ステップＳ６）。続けて、肌状態計測部６ｄは、計測領域設定部６ｃにより設定された元画像Ｉの顔領域Ｆ内の肌状態の計測領域Ａ１について、処理内容テーブルＴにおける特定された美肌モードに対応する「肌状態計測手法」で肌状態を計測して、肌状態指数を算出する（ステップＳ７）。例えば、肌状態計測部６ｄは、特定された美肌モードに対応する「肌状態計測手法」の欄の「対象周波数」を参照し、処理したい対象（例えば、しわ、しみ、そばかす、ほくろ、目のクマ等）に対応する二次元フーリエ変換画像の周波数を特定し、特定された周波数のノイズについては重み値を相対的に大きくした重み付けで、肌状態指数を算出する。

【0049】

次に、全体処理強度制御部６ｅは、肌状態計測部６ｄにより算出された肌状態指数に応じて、美肌処理部６ｆによる画像処理の全体処理強度（例えば、フィルタ係数等）を決定する（ステップＳ８）。例えば、全体処理強度制御部６ｅは、処理内容テーブルＴにおける特定された美肌モードに対応する「処理強度情報」の欄の「処理強度変換データ」（例えば、「処理強度変換データ：１」等）を参照し、肌状態計測部６ｄにより算出された肌状態指数に応じて、ヒトの顔領域Ｆ全体に対応する美肌処理部６ｆによる画像処理の全体処理強度を決定する。
その後、画像処理部６は、ヒトの顔領域Ｆに対して美肌化処理（図５参照）を施す（ステップＳ９）。

【0050】

一方、ステップＳ３にて、顔領域Ｆが検出されていないと判定されると（ステップＳ３；ＮＯ）、記憶媒体制御部７は、画像処理部６から元画像Ｉの画像データを取得して、記憶媒体Ｍの所定の格納領域に記憶させて（ステップＳ１０）、画像生成処理を終了する。

【0051】

＜美肌化処理＞
以下に、美肌化処理について、図５を参照して説明する。図５は、美肌化処理に係る動作の一例を示すフローチャートである。

【0052】

図５に示すように、先ず、美肌処理部６ｆは、特定された美肌モードに対応する「美肌化処理」により、全体処理強度制御部６ｅにより決定された全体処理強度（例えば、フィルタ係数等）で元画像Ｉの顔領域Ｆの美肌化処理を行って、全体美肌処理画像を生成する（ステップＳ１１）。例えば、美肌処理部６ｆは、処理内容テーブルＴにおける特定された美肌モードに対応する「美肌化手法」の欄の「フィルタサイズ」を参照して、処理したい対象（例えば、しわ、しみ、そばかす、ほくろ、目のクマ等）に対応する画像処理フィルタ（例えば、平滑化フィルタ等）の大きさを特定し、特定された大きさの画像処理フィルタを用いて、全体処理強度制御部６ｅにより決定された全体処理強度（例えば、フィルタ係数等）で元画像Ｉの顔領域Ｆに対してフィルタ処理（例えば、平滑化処理等）を施す。これにより、美肌処理部６ｆは、顔領域Ｆ全体のノイズを除去して、全体美肌処理画像のＹＵＶデータを生成する。

【0053】

次に、中央制御部１のＣＰＵは、特定された美肌モードがデフォルトとして規定されている「美肌モード（デフォルト）」であるか否かを判定する（ステップＳ１２）。ここで、「美肌モード（デフォルト）」は、顔領域Ｆの画素毎に処理強度を変化させない美肌モードであり、それ以外の美肌モード（例えば、「化粧優先美肌モード」等）は、顔領域Ｆの画素毎に処理強度を変化させる美肌モードである。

【0054】

ステップＳ１２にて、「美肌モード（デフォルト）」でないと判定されると（ステップＳ１２；ＮＯ）、計測領域設定部６ｃは、処理内容テーブルＴにおける特定された美肌モードに対応する「肌色計測手法」の欄の「肌色計測エリア」を参照し、顔検出部６ｂにより検出されたヒトの顔領域Ｆにて肌色の計測領域Ａ２を設定する（ステップＳ１３）。続けて、肌色特定部６ｇは、計測領域設定部６ｃにより設定された元画像Ｉのヒトの顔領域Ｆにおける肌色の計測領域Ａ２内の各画素の基本色（肌の基本色）を特定する（ステップＳ１４）。次に、部分処理強度制御部６ｈは、元画像Ｉのヒトの顔領域Ｆの各画素について、肌色特定部６ｇにより特定された肌の基本色を基準とする所定の色範囲を階調表現した顔マップを生成する（ステップＳ１５）。

【0055】

そして、合成画像生成部６ｉは、美肌処理部６ｆにより生成された全体美肌処理画像と画像取得部６ａにより取得された元画像Ｉとを、部分処理強度制御部６ｈにより生成された顔マップを用いて合成して、合成美肌処理画像を生成する（ステップＳ１６）。具体的には、合成画像生成部６ｉは、顔マップに設定されている階調値（透過率）に基づいて、全体美肌処理画像と元画像Ｉとをアルファブレンディングにより合成して、合成美肌処理画像の画像データを生成する。
その後、記憶媒体制御部７は、画像処理部６から合成美肌処理画像の画像データを取得して、記憶媒体Ｍの所定の格納領域に記憶させて（ステップＳ１７）、画像生成処理を終了する。

【0056】

一方、ステップＳ３にて、「美肌モード（デフォルト）」であると判定されると（ステップＳ１２；ＹＥＳ）、記憶媒体制御部７は、画像処理部６から全体美肌処理画像の画像データを取得して、記憶媒体Ｍの所定の格納領域に記憶させて（ステップＳ１８）、画像生成処理を終了する。

【0057】

なお、上記した画像生成処理では、特定された美肌モードに応じて処理を分岐させるようにしたが（ステップＳ１２；図５参照）、一例であってこれに限られるものではなく、例えば、ユーザの所望する美肌モード（例えば、「化粧優先美肌モード」等）をデフォルトとして設定可能とし、被写体の撮像が行われると、デフォルトとして設定されている美肌モードで自動的に合成美肌処理画像を生成するようにしても良い。
また、合成美肌処理画像を生成する美肌モードでは、生成された合成美肌処理画像と対応付けて全体美肌処理画像も記憶するようにし、ユーザがこれらの画像どうしの比較を行うことができるようにしても良い。

【0058】

以上のように、本実施形態の撮像装置１００によれば、ヒトの顔領域Ｆの肌状態に応じて、美肌化手法に対応する画像処理のパラメータ値を制御し、ヒトの顔領域Ｆ内で顔器官の位置を基準とする特定部分に、肌状態の計測手法や美肌化手法に基づいて決められた肌状態の計測領域Ａ１を設定するので、例えば、化粧や体調などの影響により肌状態が変化しても肌状態の計測手法や美肌化手法を考慮して肌本来の肌状態の計測を適正に行うことができ、これにより、化粧や体調などの影響により変化する肌状態を考慮して顔の美肌化処理を適正に行うことができる。

【0059】

また、「肌状態計測手法」と、「美肌化手法」と、肌状態に応じた美肌化手法に対応する画像処理のパラメータ値の変換情報「処理強度情報」とを対応付けて処理内容テーブルＴとして記憶しておくことで、この処理内容テーブルＴを参照するだけで、例えば、化粧や体調などの影響により変化する肌状態を考慮して顔の美肌化処理を適正に行うことができる。特に、複数の美肌モードの各々に対応させて記憶しておくことで、何れか一の美肌モードを指定するだけで、当該何れか一の美肌モードと対応付けられている「肌状態計測手法」、「美肌化手法」及び「処理強度情報」に従って顔の美肌化処理を適正に行うことができる。
具体的には、「肌状態計測手法」と「美肌化手法」との組み合わせに応じて、「処理強度情報」の内容が異なるので、これら「肌状態計測手法」と「美肌化手法」との組み合わせ毎に、例えば、化粧や体調などの影響により変化する肌状態に応じて、美肌化手法に対応する画像処理の全体処理強度（全体パラメータ値）を適正に変換することができる。

【0060】

また、肌状態の計測方法が異なる複数の計測手法及び美肌化に係る画像処理が異なる複数の美肌化手法のうちの予め決められた計測手法及び美肌化手法に対応した顔領域Ｆ内の領域を、肌状態の計測領域Ａ１として設定するので、肌状態の計測手法及び美肌化手法と肌状態の計測領域Ａ１として設定される顔領域Ｆ内の領域とを対応付けておくことで、肌状態の計測領域Ａ１の設定を適正に行うことができる。
また、肌状態の計測手法や美肌化手法に基づいて、ヒトの顔領域Ｆ内で肌状態の計測領域Ａ１を変化させるので、例えば、化粧や体調などの影響により肌状態が変化しても肌状態の計測手法や美肌化手法を考慮して肌本来の肌状態の計測を適正に行うことができる。
さらに、「肌状態計測手法」と「美肌化手法」との組み合わせに応じて、ヒトの顔領域Ｆ内で設定可能な計測候補領域の中から肌状態の計測領域Ａ１を設定することで、例えば、化粧や体調などの影響により肌状態が変化する場合にも肌状態の計測領域Ａ１の設定を適正に行うことができ、結果として、肌本来の肌状態の計測を適正に行うことができる。

【0061】

また、計測された肌状態に応じて、ヒトの顔領域Ｆの全体に対応する美肌処理部６ｆによる画像処理の全体処理強度（全体パラメータ値）を決定することで、例えば、美肌化処理を施しても化粧や体調の影響が相対的に小さく許容可能であると考えられる場合等には、顔領域Ｆの一部分（例えば、画素毎等）で処理強度を変化させる必要がなくなり、当該美肌化処理にかかる負荷を相対的に軽減させることができる。
また、ヒトの顔領域Ｆに対応する肌の色を特定し、特定された肌の色に応じて、ヒトの顔領域Ｆの所定部分毎に美肌処理部６ｆによる画像処理の部分処理強度（部分パラメータ値）を決定することで、例えば、顔領域Ｆの所定部分毎に化粧や体調などの影響により変化する肌状態を考慮して顔の美肌化処理を適正に行うことができる。特に、肌状態の計測手法や美肌化手法に基づいて、ヒトの顔領域Ｆ内で顔器官の位置を基準とする特定部分に肌色の計測領域Ａ２を設定して、設定された肌色の計測領域Ａ２内の肌の色を特定することで、例えば、化粧や体調などの影響により肌の色が変化する場合にも肌色の計測領域Ａ２の設定を適正に行うことができ、結果として、肌本来の色の計測を適正に行うことができる。

【0062】

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、肌状態の計測領域Ａ１の設定に処理内容テーブルＴを用いるようにしたが、一例であってこれに限られるものではなく、肌状態の計測手法や美肌化手法に基づいて肌状態の計測領域Ａ１を設定可能な手法であれば必ずしも処理内容テーブルＴを利用する必要はない。

【0063】

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、外部の撮像手段により撮像された画像を取得して、画像生成処理を行うようにしても良い。

【0064】

加えて、上記実施形態にあっては、検出手段、美肌処理手段、計測手段、制御手段、設定手段としての機能を、中央制御部１のＣＰＵの制御下にて、顔検出部６ｂ、美肌処理部６ｆ、肌状態計測部６ｄ、全体処理強度制御部６ｅ、計測領域設定部６ｃが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、検出処理ルーチン、美肌処理ルーチン、計測処理ルーチン、制御処理ルーチン、設定処理ルーチンを含むプログラムを記憶しておく。そして、検出処理ルーチンにより中央制御部１のＣＰＵを、画像（元画像Ｉ）内よりヒトの顔領域Ｆ及び顔器官の位置を検出する手段として機能させるようにしても良い。また、美肌処理ルーチンにより中央制御部１のＣＰＵを、検出されたヒトの顔領域Ｆに対して所定の美肌化手法に対応する画像処理を施す手段として機能させるようにしても良い。また、計測処理ルーチンにより中央制御部１のＣＰＵを、検出されたヒトの顔領域Ｆの肌状態を所定の計測手法により計測する手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部１のＣＰＵを、計測された肌状態に応じて、所定の美肌化手法に対応する画像処理のパラメータ値を制御する手段として機能させるようにしても良い。また、設定処理ルーチンにより中央制御部１のＣＰＵを、検出されたヒトの顔領域Ｆ内で顔器官の位置を基準とする特定部分に、肌状態の計測手法及び美肌化手法のうち、少なくとも一方に基づいて決められた肌状態の計測領域Ａ１を設定する手段として機能させるようにしても良い。

【0065】

同様に、特定手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

【0066】

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記憶媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

【0067】

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
画像内よりヒトの顔領域及び顔器官の位置を検出する検出手段と、
前記検出手段により検出されたヒトの顔領域に対して所定の美肌化手法に対応する画像処理を施す美肌処理手段と、
前記検出手段により検出されたヒトの顔領域の肌状態を所定の計測手法により計測する計測手段と、
前記計測手段により計測された肌状態に応じて、前記美肌処理手段による画像処理のパラメータ値を制御する制御手段と、
前記検出手段により検出されたヒトの顔領域内で顔器官の位置を基準とする特定部分に、前記計測手段による肌状態の計測領域を設定する設定手段と、
を備え、
前記計測領域は、前記計測手段による肌状態の計測手法及び前記美肌処理手段による美肌化手法のうち、少なくとも一方に基づいて決められたものである
ことを特徴とする画像処理装置。
＜請求項２＞
前記計測手段による肌状態の計測手法と、前記美肌処理手段による美肌化手法と、前記制御手段による前記肌状態に応じた前記パラメータ値の変換情報とを対応付けて記憶する記憶手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記制御手段による前記肌状態に応じた前記パラメータ値の変換情報は、前記計測手段による肌状態の計測手法と前記美肌処理手段による美肌化手法との組み合わせに応じて異ならせてなることを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記記憶手段は、前記計測手段による肌状態の計測手法と前記美肌処理手段による美肌化手法との複数の組み合わせの各々に対応させて、前記制御手段による前記肌状態に応じた前記パラメータ値の変換情報を複数記憶することを特徴とする請求項２又は３に記載の画像処理装置。
＜請求項５＞
前記記憶手段は、複数の美肌モードの各々に対応させて、前記計測手段による肌状態の計測手法と、前記美肌処理手段による美肌化手法と、前記制御手段による前記肌状態に応じた前記パラメータ値の変換情報とを対応付けて複数記憶することを特徴とする請求項２〜４の何れか一項に記載の画像処理装置。
＜請求項６＞
前記設定手段は、前記計測手段による肌状態の計測方法が異なる複数の計測手法及び前記美肌処理手段による美肌化に係る画像処理が異なる複数の美肌化手法のうちの予め決められた計測手法及び美肌化手法に対応した顔領域内の領域を、前記計測手段による肌状態の計測領域として設定することを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記設定手段は、前記計測手段による肌状態の計測手法及び前記美肌処理手段による美肌化手法のうち、少なくとも一方に基づいて、前記検出手段により検出されたヒトの顔領域内で前記計測手段による肌状態の計測領域を変化させて設定することを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項８＞
前記設定手段は、前記計測手段による肌状態の計測手法と前記美肌処理手段による美肌化手法との複数の組み合わせの各々と対応付けられ、前記検出手段により検出されたヒトの顔領域内で設定可能な計測候補領域の中から、前記計測手段による肌状態の計測領域を設定することを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
＜請求項９＞
前記制御手段は、前記計測手段により計測された肌状態に応じて、前記検出手段により検出されたヒトの顔領域の全体に対応する前記美肌処理手段による画像処理の全体パラメータ値を決定することを特徴とする請求項１〜８の何れか一項に記載の画像処理装置。
＜請求項１０＞
前記検出手段により検出されたヒトの顔領域に対応する肌の色を特定する特定手段を更に備え、
前記制御手段は、前記特定手段により特定された肌の色に応じて、前記検出手段により検出されたヒトの顔領域の所定部分毎に前記美肌処理手段による画像処理における部分パラメータ値を決定することを特徴とする請求項１〜９の何れか一項に記載の画像処理装置。
＜請求項１１＞
前記設定手段は、更に、
前記計測手段による肌状態の計測手法及び前記美肌処理手段による美肌化手法のうち、少なくとも一方に基づいて、前記検出手段により検出されたヒトの顔領域内で顔器官の位置を基準とする特定部分に、肌色の計測領域を設定し、
前記特定手段は、前記検出手段により検出されたヒトの顔領域における前記設定手段により設定された肌色の計測領域内の肌の色を特定することを特徴とする請求項１０に記載の画像処理装置。
＜請求項１２＞
画像処理装置を用いた画像処理方法であって、
画像内よりヒトの顔領域及び顔器官の位置を検出するステップと、
検出されたヒトの顔領域に対して所定の美肌化手法に対応する画像処理を施すステップと、
検出されたヒトの顔領域の肌状態を所定の計測手法により計測するステップと、
計測された肌状態に応じて、所定の美肌化手法に対応する画像処理のパラメータ値を制御するステップと、
検出されたヒトの顔領域内で顔器官の位置を基準とする特定部分に、肌状態の計測領域を設定するステップと、
を含み、
前記計測領域は、肌状態の計測手法及び美肌化手法のうち、少なくとも一方に基づいて決められたものである
ことを特徴とする画像処理方法。
＜請求項１３＞
画像処理装置のコンピュータを、
画像内よりヒトの顔領域及び顔器官の位置を検出する検出手段、
前記検出手段により検出されたヒトの顔領域に対して所定の美肌化手法に対応する画像処理を施す美肌処理手段、
前記検出手段により検出されたヒトの顔領域の肌状態を所定の計測手法により計測する計測手段、
前記計測手段により計測された肌状態に応じて、前記美肌処理手段による画像処理のパラメータ値を制御する制御手段、
前記検出手段により検出されたヒトの顔領域内で顔器官の位置を基準とする特定部分に、前記計測手段による肌状態の計測領域を設定する設定手段、
として機能させ、
前記計測領域は、前記計測手段による肌状態の計測手法及び前記美肌処理手段による美肌化手法のうち、少なくとも一方に基づいて決められたものである
ことを特徴とするプログラム。

【符号の説明】

【0068】

１００ 撮像装置
１ 中央制御部
３ 撮像部
５ テーブル記憶部
６ 画像処理部
６ａ 画像取得部
６ｂ 顔検出部
６ｃ 計測領域設定部
６ｄ 肌状態計測部
６ｅ 全体処理強度制御部
６ｆ 美肌処理部
６ｇ 肌色特定部
６ｈ 部分処理強度制御部
６ｉ 合成画像生成部
Ｔ 処理内容テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】