特許 7400198 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-11

(45)【発行日】2023-12-19

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20231212BHJP

   G06T 1/00 20060101ALI20231212BHJP

   G06T 7/11 20170101ALI20231212BHJP

【ＦＩ】

G06T5/00 720

G06T1/00 340Z

G06T7/11

【請求項の数】 10

(21)【出願番号】P 2019055934

(22)【出願日】2019-03-25

(65)【公開番号】P2020160490

(43)【公開日】2020-10-01

【審査請求日】2022-03-16

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】弁理士法人光陽国際特許事務所

(72)【発明者】

【氏名】佐々木 恭介

【審査官】松永 隆志

(56)【参考文献】

【文献】特開２００６－１３３８７４（ＪＰ，Ａ）

【文献】特開２００１－１１８０６４（ＪＰ，Ａ）

【文献】特開２００６－０１８４６７（ＪＰ，Ａ）

【文献】特開２００４－３０３１９３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

被写体画像を取得する取得手段と、
前記取得手段によって取得された被写体画像の所定の領域に対し補正処理を施す処理手段と、
前記補正処理により情報が欠如する領域を特定する特定手段と、
前記特定手段によって特定された領域を除いて前記処理手段による前記補正処理を実行するよう制御する制御手段と、
を備え、
前記処理手段は、
前記所定の領域を囲む形状を模した複数種のサイズのマスクデータを用いて、このマスクデータによって囲まれる前記所定の領域を含む画像領域で所定の処理を夫々施し、前記複数種のサイズのマスクデータの夫々を用いて前記所定の処理が施された画像領域の夫々の信頼性情報を取得する信頼性情報取得手段と、
前記所定の処理が施された画像領域を、前記信頼性情報取得手段によって取得された信頼性情報が高いと判定された方の画像領域の影響度が高くなるように合成する合成手段と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記被写体画像における輝度の分布状態を取得する輝度分布取得手段を更に備え、
前記特定手段は、前記輝度分布取得手段によって取得された輝度分布の状態に基づいて前記情報が欠如する領域を特定することを特徴とする請求項１記載の画像処理装置。

【請求項3】

前記取得手段によって取得された被写体画像から被写体の肌理情報を取得する肌理情報取得手段と、
前記肌理情報取得手段によって取得された肌理情報に基づいて、前記処理手段によって前記補正処理が施された前記被写体画像を加工する加工手段と、
をさらに備えることを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記被写体画像から、前記所定の領域としてその周辺とは異なる特異領域を検出する検出手段と、
を備え、
前記処理手段は、前記補正処理として前記検出手段によって検出された前記特異領域を前記周辺に対し目立たなくするよう補正し、
前記加工手段は、前記処理手段によって目立たなくなるよう補正された特異領域に対し、前記肌理情報取得手段によって取得された肌理情報に基づいて加工することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記特定手段により特定される領域は、前記被写体画像における被写体の陰影状態を示す領域である、
ことを特徴とする請求項１～４のいずれか一項に記載の画像処理装置。

【請求項6】

前記被写体画像を輝度情報から解析する解析手段と、
前記解析手段による解析結果に基づいて、前記複数種のマスクデータの形状を修正する修正手段と、
をさらに備えることを特徴とする請求項１～５のいずれか一項に記載の画像処理装置。

【請求項7】

前記所定の処理は、平滑化処理であることを特徴とする請求項１～６のいずれか一項に記載の画像処理装置。

【請求項8】

前記被写体画像は、人の肌領域を含む画像であることを特徴とする請求項１～７のいずれか一項に記載の画像処理装置。

【請求項9】

画像処理装置における画像処理方法であって、
被写体画像を取得する取得工程と、
前記取得工程にて取得された被写体画像の所定の領域に対し補正処理を施す処理工程と、
前記補正処理により情報が欠如する領域を特定する特定工程と、
前記特定工程にて特定された領域を除いて前記処理工程による前記補正処理を実行するよう制御する制御工程と、
を含み、
前記処理工程は、
前記所定の領域を囲む形状を模した複数種のサイズのマスクデータを用いて、このマスクデータによって囲まれる前記所定の領域を含む画像領域で所定の処理を夫々施し、前記複数種のサイズのマスクデータの夫々を用いて前記所定の処理が施された画像領域の夫々の信頼性情報を取得する信頼性情報取得工程と、
前記所定の処理が施された画像領域を、前記信頼性情報取得工程にて取得された信頼性情報が高いと判定された方の画像領域の影響度が高くなるように合成する合成工程と、
を含むことを特徴とする画像処理方法。

【請求項10】

画像処理装置のコンピュータを、
被写体画像を取得する取得手段、
前記取得手段によって取得された被写体画像の所定の領域に対し補正処理を施す処理手段、
前記補正処理により情報が欠如する領域を特定する特定手段、
前記特定手段によって特定された領域を除いて前記処理手段による前記補正処理を実行するよう制御する制御手段、
として機能させ、
前記処理手段は、
前記所定の領域を囲む形状を模した複数種のサイズのマスクデータを用いて、このマスクデータによって囲まれる前記所定の領域を含む画像領域で所定の処理を夫々施し、前記複数種のサイズのマスクデータの夫々を用いて前記所定の処理が施された画像領域の夫々の信頼性情報を取得する信頼性情報取得手段、
前記所定の処理が施された画像領域を、前記信頼性情報取得手段によって取得された信頼性情報が高いと判定された方の画像領域の影響度が高くなるように合成する合成手段、
として機能することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

従来、顔画像を補正する技術が提案されている。例えば、特許文献１には、顔の器官（目、鼻、口など）をマスクした残りの肌領域に平滑化処理を施すことで、細かな肌荒れを目立たなくし、なめらかな肌状態を再現した顔画像を生成する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－７０２６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の技術では、本来消すべきではない、例えば、器官の凹凸により発生する影等も平滑化してしまい、不自然に見えてしまう問題があった。

【0005】

本願発明はこのような問題点に鑑みてなされたもので、被写体画像に所定の処理を施すことによって不自然に見えてしまうことを抑制することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明の画像処理装置は、
被写体画像を取得する取得手段と、
前記取得手段によって取得された被写体画像の所定の領域に対し補正処理を施す処理手段と、
前記補正処理により情報が欠如する領域を特定する特定手段と、
前記特定手段によって特定された領域を除いて前記処理手段による前記補正処理を実行するよう制御する制御手段と、
を備え、
前記処理手段は、
前記所定の領域を囲む形状を模した複数種のサイズのマスクデータを用いて、このマスクデータによって囲まれる前記所定の領域を含む画像領域で所定の処理を夫々施し、前記複数種のサイズのマスクデータの夫々を用いて前記所定の処理が施された画像領域の夫々の信頼性情報を取得する信頼性情報取得手段と、
前記所定の処理が施された画像領域を、前記信頼性情報取得手段によって取得された信頼性情報が高いと判定された方の画像領域の影響度が高くなるように合成する合成手段と、
を備えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、被写体画像に所定の処理を施すことによって不自然に見えてしまうことを抑制することができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る撮像装置の機能的構成を示すブロック図である。

【図2】図１の解析部及び第２の画像処理部における処理の概略を説明するための図である。

【図3】図１の解析部及び第２の画像処理部における処理の流れを示す図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して本発明に係る実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。

【0010】

［撮像装置１の構成］
図１は、本実施形態に係る撮像装置１の機能的構成を示すブロック図である。図１に示すように、撮像装置１は、制御部１０１、記憶部１０２、表示部１０３、通信部１０４、操作部１０５、撮像部１０６、第１の画像処理部１０７、画像メモリ１０８、解析部１０９、第２の画像処理部１１０、点灯制御部１１１、発光部１１２等を備えて構成されている。制御部１０１と各部はバスにより接続されている。

【0011】

制御部１０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を備えて構成され、記憶部１０２に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行う。

【0012】

記憶部１０２は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部１０２には、制御部１０１で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

【0013】

表示部１０３は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部１０１からの表示制御信号に従って、例えば、撮像部１０６により撮像された状態を示すライブビュー画像や、撮影指示に応じて撮像部１０６により取得された画像等を表示する。

【0014】

通信部１０４は、外部の機器と無線又は有線によりデータ通信を行うためのインターフェースである。

【0015】

操作部１０５は、シャッターキーを始めとする各種機能ボタンや表示部１０３に積層配置された透明なタッチパネルを備え、ユーザによる各ボタンの押下入力、タッチパネルへのタッチ、スライド操作等を受け付けてその操作情報を制御部１０１に出力する。

【0016】

撮像部１０６は、撮像レンズ１０６ａ、図示しないＣＣＤ（Charge Coupled Device）
やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサ等からなる撮像素子、Ａ／Ｄ変換回路等を備えて構成され、撮像レンズ１０６ａを通過した光学像を撮像素子により２次元の画像信号に変換し、被写体の画像データ（ＲＧＢの画像データ）を取得する。

【0017】

第１の画像処理部１０７は、撮像部１０６により取得されたＲＧＢデータに画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒからなる画像データ（Ｙ、Ｕ、Ｖの各成分の画像データ）に変換する。

【0018】

画像メモリ１０８は、例えば、フラッシュメモリ等により構成され、撮像部１０６により撮像され、第１の画像処理部１０７により処理された画像データを記録する記録手段である。

【0019】

解析部１０９は、本発明に係る補正モードが予め設定されている場合に、撮像部１０６により取得され、第１の画像処理部１０７により処理された被写体の画像データ（被写体画像）を解析することによって被写体の肌の肌理情報（肌の表面情報）を取得して第２の画像処理部１１０に出力する。また、解析部１０９は、第１の画像処理部１０７により処理された画像データにおける、周辺の肌とは異なる特異領域（例えば、吹き出物等の異物の存在する領域）周辺の画像領域を解析することによって、第２の画像処理部１１０において特異領域に補正処理を施す際に用いる肌理用保護マップＭ１１、Ｍ１２及び陰影用保護マップＭ２１、Ｍ２２（図２参照）を生成する。ここで、肌理用保護マップＭ１１、Ｍ１２、陰影用保護マップＭ２１、Ｍ２２は、特異領域に補正処理を施す際に、その特異領域の周辺の画像領域のうち、補正対象外とする画像領域を保護する（マスクする）ためのマスクデータである。
解析部１０９は、特定手段、制御手段、輝度分布取得手段、肌理情報取得手段、検出手段、補正手段、解析手段、修正手段として機能する。

【0020】

第２の画像処理部１１０は、撮像部１０６により取得され、第１の画像処理部１０７により処理された画像データの特異領域に対し、解析部１０９により生成された肌理用保護マップＭ１１、Ｍ１２、及び陰影用保護マップＭ２１、Ｍ２２を用いて平滑化処理等の補正処理を施し、処理結果に肌理情報を付加して元の画像データ（元画像）に合成することで、補正済み画像を生成する。
第２の画像処理部１１０は、処理手段、加工手段として機能する。

【0021】

解析部１０９、第２の画像処理部１１０は、制御部１０１と記憶部１０２に記憶されているプログラムとの協働により実行されるものとするが、専用のハードウエアにより実現することとしてもよい。

【0022】

点灯制御部１１１（ドライバ）は、発光部１１２のＬＥＤ（Light Emitting Diode）のそれぞれに接続され、制御部１０１からの指示に従って、発光部１１２の光量や点灯／消灯を制御する。

【0023】

発光部１１２は、ＬＥＤ等により構成され、被写体に光を照射する。

【0024】

［撮像装置１の動作］
次に、撮像装置１の解析部１０９及び第２の画像処理部１１０の動作について説明する。
図２は、解析部１０９及び第２の画像処理部１１０により実行される処理の概略を示す図である。図２のＧ１は、第１の画像処理部１０７で処理された画像データを元画像として、元画像における特異領域及びその周辺のＹ成分画像（輝度成分画像）を模式的に示した図である。図２のＧ１において、斜線５１は特異領域を表し、ドット５２は肌の肌理（キメ）を表し、陰影部５３は肌にかかった陰影を表す。この陰影とは、例えば、顔の器官やしわ等による凹凸によって発生するものもあれば、髪、睫毛、眉、もしくはそれらの影によって発生するものもある。図２において、Ｇ１全体に肌理５２が存在する。また特異領域５１（吹き出物等の異物の画像）だけでなく、その特異領域周辺には、陰影５３が存在する。

【0025】

このＹ成分画像Ｇ１に対応する元画像において、特異領域５１を目立たなくする補正処理を行うと、補正対象とした領域の肌の表面状態（肌理）まで消えてしまい、不自然な画像となってしまう。例えば、図２のＧ２は、特異領域の肌理が消えた例を示している。補正対象の領域を周辺まで広げると、特異領域周辺の陰影まで消えてしまい、さらに不自然な画像となる。

【0026】

そこで、本実施形態では、まず、解析部１０９において、元画像から特異領域及びその周辺部におけるＹ成分画像Ｇ１を生成する。次いで、図２に示すように、Ｙ成分画像Ｇ１を解析して、解析結果に基づいて肌理用保護マップＭ１１（大）、肌理用保護マップＭ１２（小）、陰影用保護マップＭ２１（大）、陰影用保護マップＭ２２（小）を生成する。そして、第２の画像処理部１１０において、生成した肌理用保護マップＭ１１、Ｍ１２、陰影用保護マップＭ２１、Ｍ２２を用いて元画像に特異領域を目立たなくするための補正処理を行う。図２において、補正処理後の画像をＧ２で示す。また、解析部１０９において、補正以前にＹ成分画像Ｇ１を解析して被写体の肌の表面状態（肌理）を示す情報（肌理情報）を取得しておき、第２の画像処理部１１０において、解析部１０９において補正以前の情報から取得した肌理情報を補正処理後の画像Ｇ２に付加する加工を施して、肌理と陰影が消えていない補正済み画像Ｇ３を生成する。

【0027】

ここで、元画像からの補正対象となる特異領域の検出手法は、特に限定されず、いずれの方法で行ってもよい。例えば、表示部１０３に表示された元画像の顔領域上からユーザが操作部１０５により指定した領域を特異領域として検出してもよい。あるいは、元画像から顔領域を検出し、検出された顔領域の画像を切り出して、顔領域の輪郭領域内のＶ成分画像データの、目、鼻、口をマスクしたデータから周囲とは異なる画素値（突発的に生じている画素値）の領域を抽出し、その領域の大きさに基づいて特異領域を検出してもよい。

【0028】

図３は、解析部１０９と第２の画像処理部１１０の機能構成を示すブロック図である。
図３に示すように、解析部１０９は、肌解析部２０、保護マップデータ設定部２１、低域データ生成部２２、エッジ情報生成部２３、領域分割部２４、陰影用保護マップ生成部２５、肌理用保護マップ生成部２６を備えて構成されている。また、第２の画像処理部１１０は、保護マップ境界信頼性判定部２７、補正処理部２８、透過合成処理部２９、合成処理部３０を備えて構成されている。以下、図３を参照して、解析部１０９と第２の画像処理部１１０の処理について説明する。

【0029】

まず、解析部１０９は、ＹＵＶの各成分を有する元画像からＹ（輝度）成分で構成されるＹ成分画像を生成し、更に、そのＹ成分画像の顔領域から検出された、特異領域を中央に含む所定サイズの矩形領域を切り出して、肌解析部２０及びエッジ情報生成部２３に入力する。

【0030】

肌解析部２０は、入力された矩形領域内のＹ成分画像を解析して毛穴の画像領域を検出し、この毛穴の画像領域における毛穴のサイズデータ(size)と毛穴部分のコントラストデータ(con)を取得する。そして、取得された毛穴のサイズデータについて、毛穴サイズデータの平均データ(size_ave)及び毛穴サイズデータの標準偏差データ(size_sd)を算出し、保護マップデータ設定部２１及び低域データ生成部２２に出力する。また、取得された毛穴部分のコントラストデータについて、毛穴部分のコントラストデータの平均データ(con_ave)及び毛穴部分のコントラストデータの標準偏差データ(con_sd)を算出し、肌理用保護マップ生成部２６に出力する。

【0031】

保護マップデータ設定部２１は、特異領域を補正する際、それ以外の領域まで補正されることが無いよう、大きさが異なる大小２種類の楕円形状の保護除外領域６１、６２（図２参照）を有するマスクデータからなる保護マップＭ１、Ｍ２を生成し、領域分割部２４、肌理用保護マップ生成部２６に出力する。特異領域は、ニキビ等の吹き出物や周囲から目立つ起伏の存在するほぼ円形の領域であり、保護マップＭ１、Ｍ２の保護除外領域６１、６２は、特異領域を囲む楕円形状となっている。
例えば、保護マップデータ設定部２１は、まず、記憶部１０２に記憶されている基本の楕円サイズの保護除外領域を有する基本の保護マップを読み出す。次いで、肌解析部２０において算出された毛穴サイズデータの平均データ(size_ave)と毛穴サイズデータの標準偏差データ(size_sd)を足し合わせた値に基づいて毛穴サイズの半径を求め、求めた半径を基本の保護マップの楕円の半径に足した保護除外領域を有する保護マップＭ１、求めた半径を基本の保護マップの楕円の半径から引いた楕円サイズの保護除外領域を有する保護マップＭ２を生成する。
なお、毛穴サイズは、一般的には個人差が少ないため、予め２種類のサイズの保護マップＭ１、Ｍ２を生成して記憶部１０２に記憶することとしてもよい。また、本実施形態ではテンプレートとして２種類のサイズの保護マップＭ１，Ｍ２を生成することとしたが、これに限らず、サイズに応じて複数種生成してもよい。サイズが多ければ多い程、より精度の高い特異領域の補正が可能となる。

【0032】

低域データ生成部２２は、Ｙ成分画像を肌解析部２０から入力された毛穴のサイズデータの平均データ(size_ave)と毛穴のサイズデータの標準偏差データ(size_sd)を足し合わせた値をパラメータとした平均フィルタを用いて平滑化してＹ成分画像におけるエッジ成分を取り除き、大まかな陰影の状態を示す低域データ（低周波数帯域のデータ）を生成する。これにより、肌の陰影から毛穴の影響を取り除くことができる。低域データ生成部２２は、生成した低域データをエッジ情報生成部２３及び領域分割部２４に出力する。

【0033】

エッジ情報生成部２３は、低域データ生成部２２にて生成された低域データとＹ成分画像との正方向の（正値の）差分データ、負方向の（負値の）差分データをそれぞれ生成・取得する。これにより、毛穴より高い周波数帯域の肌理を抽出することができる。エッジ情報生成部２３は、この正方向の差分データ、負方向の差分データを肌理に対応するエッジ情報（肌理情報）として合成処理部３０に出力する。

【0034】

領域分割部２４は、低域データ生成部２２から入力された低域データに基づいて、保護マップデータ設定部２１から入力された保護マップＭ１の楕円と保護マップＭ２の楕円の間の環状の領域の中で、補正を施すと陰影が消えてしまう等、本来の陰影表現に影響が出る陰影領域を特定し、これを他の領域と分割する。

【0035】

領域分割部２４は、具体的には、大小の保護マップＭ１、Ｍ２を低域データに重ねたときに保護マップＭ１の楕円と保護マップＭ２の楕円のサイズ差となる環状の領域で画素値（低域データの画素値）のヒストグラムを算出し、このヒストグラムから最頻値（ピーク）を求め、求めた最頻値を中心に極小値が存在する範囲までの画素値の領域を陰影領域として他の領域と分割する。そして、陰影領域の情報を陰影用保護マップ生成部２５に出力する。

【0036】

陰影用保護マップ生成部２５は、領域分割部２４から入力された陰影領域の情報に基づいて、保護マップＭ１、Ｍ２による保護対象領域に陰影領域を足しこんで、図２に示すような陰影用保護マップＭ１１、Ｍ１２を生成する。これにより、特異領域外であるが保護マップＭ１、Ｍ２を用いて処理すると保護除外領域に入ってしまい、一部又は全部（多くの場合は一部）の情報が欠如して不自然となる陰影領域全体を保護対象に追加することが可能となる。すなわち、陰影用保護マップＭ１１、Ｍ１２を用いて補正処理部２８に補正処理を行わせることにより、保護除外領域６１、６２に含まれる陰影領域を除いて補正処理を行うことが可能となる。陰影用保護マップ生成部２５は、生成した陰影用保護マップＭ１１、Ｍ１２を補正処理部２８及び保護マップ境界信頼性判定部２７に出力する。

【0037】

肌理用保護マップ生成部２６は、肌解析部２０より取得した毛穴部分のコントラストデータの平均データ(con_ave)と毛穴部分のコントラストデータの標準偏差データ(con_sd)とを足し合わせ、それより大きい強度の正方向エッジ（周囲より輝度が高いエッジ）を有する画素と負方向エッジ（周囲より輝度が低いエッジ）を有する画素とを求める。次いで、保護マップＭ１、Ｍ２の夫々において保護除外領域との境界上にある画素領域にある上記正方向エッジの画素と負方向エッジの画素を保護マップＭ１、Ｍ２の保護対象領域に足し込んで肌理用保護マップＭ２１、Ｍ２２を生成する。こうすることで、保護マップの保護対象外領域との境界に存在する毛穴以上のエッジ強度を持つ画素を補正処理対象から除外することができ、補正後の画像に残る不自然さを解消させることができる。肌理用保護マップ生成部２６は、生成した肌理用保護マップＭ２１、Ｍ２２を補正処理部２８及び保護マップ境界信頼性判定部２７に出力する。

【0038】

保護マップ境界信頼性判定部２７は、陰影用保護マップ生成部２５及び肌理用保護マップ生成部２６において生成された２つの大サイズの保護マップＭ１１、Ｍ２１を合わせた大サイズの保護マップと、２つの小サイズの保護マップＭ１２、Ｍ２２を合わせた小サイズの保護マップの夫々を用いて補正処理された画像領域の夫々の信頼性を判定する。そして、後述の透過合成処理において、信頼性の高い方の画素の影響度を高くし、信頼性の低い方の画素の影響度を低くするマップを生成して透過合成処理部２９に出力する。なお、補正処理前に補正処理後の画像領域の夫々の信頼性を判定してもよい。

【0039】

ここで、大きい保護マップと小さい保護マップの保護対象領域が重なっている画像領域、及び双方の保護除外領域が重なっている画像領域は、大小の保護マップのいずれを用いて補正処理を行っても処理結果は同じであるため、信頼度は同じである。そこで、ここでは、主に大きい保護マップの保護除外領域との境界と、小さい保護マップの保護除外領域との境界に挟まれた画像領域の各画素について信頼度を判定する。本実施形態では、より楕円らしい領域で処理できている方を信頼度が高いと判定する。例えば、各画素に対して、境界共有率、面積共有率、境界回帰分析一致率等を算出し、算出結果に基づいて大小の保護マップの信頼度を判定する。

【0040】

ここで、境界共有率は、大サイズの保護マップと小サイズの保護マップにそれぞれにおける保護除外領域との境界の長さと、大小の保護マップで保護除外領域との境界が一致している（共有している）長さの比率である。大小の保護マップにおける保護除外領域（すなわち、補正対象領域）が楕円であれば大小の保護マップの保護除外領域との境界は共有しないので、共有部分の比率が高いほど信頼度を下げる。
面積共有率は、大サイズの保護マップと小サイズの保護マップのそれぞれにおける保護マップの面積に対する保護エッジ（保護対象領域に追加された面積）の面積の割合である。保護エッジの割合が少ない方（共有率が低い方）が信頼度が高い。
境界回帰分析一致率は、大サイズの保護マップと小サイズの保護マップのそれぞれにおいて、保護除外領域との境界に回帰分析を行った場合に回帰分析結果の範囲内にどのくらい境界値があるかを示す値である。境界回帰分析一致率が少ない場合、信頼度を下げる。
なお、上述の信頼度の算出手法は例示であって、信頼度判断の考え方や具体的な方法についてはこれに限定されるものではない。

【0041】

補正処理部２８は、元画像のＹＵＶ各成分の画像の特異領域を含む矩形領域に陰影用保護マップ生成部２５及び肌理用保護マップ生成部２６において生成された２つの大サイズの保護マップＭ１１、Ｍ２１を合わせた大サイズの保護マップを適用して、保護マップで囲まれた保護除外領域の画像領域とそれ以外の画像領域との境界や特異な状態を目立たなくする補正処理を行う。同様に、元画像のＹＵＶ各成分の画像の特異領域を含む矩形領域に陰影用保護マップ生成部２５及び肌理用保護マップ生成部２６において生成された２つの小サイズの保護マップＭ１２、Ｍ２２を合わせた小サイズの保護マップを適用して、保護マップで囲まれた保護除外領域の画像領域とそれ以外の画像領域との境界や特異な状態を目立たなくする補正処理を行う。
尚、上記の補正処理は、主に平滑化処理（肌状態を滑らかにする処理、透明感をもたせる処理）が用いられるが、この他、色補正処理（より自然な肌色に補正する処理）も用いる場合もある。
補正処理部２８は、大サイズの保護マップで補正処理されたＹＵＶ各成分画像と、小サイズの保護マップで補正処理されたＹＵＶ各成分画像を透過合成処理部２９に出力する。

【0042】

透過合成処理部２９は、保護マップ境界信頼性判定部２７から出力されたマップに基づいて、大サイズの保護マップで補正処理されたＹＵＶ各成分画像と、小サイズの保護マップで補正処理されたＹＵＶ各成分画像を、２つの保護マップによって補正処理対象とされた画素ごとに、信頼性が高いと判定された方の画素の影響度が高くなるようにα値を設定して透過合成して出力する。

【0043】

合成処理部３０は、透過合成処理部２９で透過合成されたＹＵＶ各成分画像の補正処理対象領域にエッジ情報生成部２３から入力された肌理に対応するエッジ情報を付加し、肌理の状態が付加された画像（補正後の画像）と元画像とを所定のブレンド比率でαブレンドし、補正済み画像を出力する。

【0044】

解析部１０９、第２の画像処理部１１０において以上の処理を行うことで、図２の補正済み画像Ｇ３に示すように、顔の凹凸やしわの影響による陰影や肌理の状態を保持しつつ、吹き出物のような特異領域を目立たなくする画像処理を施すことができる。

【0045】

以上説明したように、撮像装置１によれば、解析部１０９は、第２の画像処理部１１０の補正処理部２８において被写体画像の特異領域に所定の処理を施す場合に、被写体画像において特異領域外で、所定の処理により情報が欠如する領域を保護する陰影用保護マップを生成して第２の画像処理部１１０の補正処理部２８に出力することによって、補正処理部２８が陰影用保護マップによって保護された領域を除いて所定の処理を実行するように制御する。
したがって、被写体画像の特異領域に所定の処理を施すことによって不自然に見えてしまうことを抑制することができる。

【0046】

また、解析部１０９は、被写体画像を解析して輝度の分布状態を取得し、取得された輝度分布の状態に基づいて被写体画像において保護する領域を特定する。したがって、輝度分布の状態によって保護する領域を特定することができる。

【0047】

また、陰影用保護マップで保護する領域は、被写体画像における被写体の陰影状態を示す領域であるので、被写体画像から陰影がなくなるという不自然に見えてしまうことを抑制することができる。

【0048】

また、例えば、第２の画像処理部１１０は、特異領域を囲む形状を模した複数種のサイズの保護マップを用いて、この保護マップによって囲まれる特異領域を含む画像領域で所定の処理を夫々施し、複数種のサイズの保護マップの夫々を用いて所定の処理が施された画像領域の夫々の信頼性情報を取得し、取得された信頼性情報に基づき、複数の保護マップによる所定の処理の結果を影響度を変えて合成する。したがって、より信頼性の高い処理結果を被写体画像に反映させることができる。

【0049】

また、例えば、解析部１０９は、被写体画像の輝度情報を解析し、その解析結果に基づいて、複数種の保護マップの形状を修正する。したがって、被写体画像に応じたマスク形状の保護マップを用いて被写体画像の特異領域に処理を施すことができる。

【0050】

また、上記の所定の処理として平滑化処理を施した場合、被写体画像の特異領域に平滑化処理を施すことによって不自然に見えてしまうことを抑制することができる。

【0051】

また、撮像装置１の解析部１０９及び第２の画像処理部１１０は、人の肌領域を含む被写体画像に上記処理を施すので、人物の肌の陰影を保持した被写体画像を得ることができる。

【0052】

なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。

【0053】

例えば、上記実施形態においては、本発明の画像処理装置が撮像装置に備えられている場合を例にとり説明したが、本発明の画像処理装置は撮像装置とは別体であってもよい。例えば、撮像装置から受信した画像データに対して、図２～図３を用いて説明した処理を行う画像処理装置としてもよい。また、元画像については、記録された画像に限定されることなく、撮像部１０６にて逐次撮像され、表示部１０３に逐次表示されるライブビュー画像のようなものであってもよい。こうすることで、常に補正された結果を反映した被写体画像（顔）をユーザに提供することができる。

【0054】

また、上記実施形態においては、ＹＵＶの画像データを用いた場合を例にとり説明したが、画像データの種類は特に限定されない。

【0055】

また上記実施形態においては、肌理と陰影の双方を保護する場合を例にとり説明したが、いずれか一方のみを保護することとしてもよい。
肌理のみを保護する場合、元画像のＹ成分画像に基づいて、保護除外領域のサイズの異なる複数の肌理用保護マップを生成し、複数の肌理用保護マップの夫々を用いて元画像のＹＵＶ成分画像に補正処理を施し、複数の肌理用保護マップの夫々を用いて補正処理された画像領域の夫々の信頼度を求め、信頼度に基づいて画素ごとにα値を算出して複数の肌理用保護マップの夫々を用いて補正された複数の画像の透過合成を行う。また、Ｙ成分画像から取得した肌理情報を透過合成した画像に付加して所定のα値で元画像のＹＵＶ成分画像に合成する。
陰影のみを保護する場合、元画像のＹ成分画像に基づいて、保護除外領域のサイズの異なる複数の陰影用保護マップを生成し、複数の陰影用保護マップの夫々を用いて元画像のＹＵＶ成分画像に補正処理を施し、複数の陰影用保護マップの夫々を用いて補正処理された画像領域の夫々の信頼度を求め、信頼度に基づいて画素ごとにα値を算出して複数の陰影用保護マップの夫々を用いて補正された複数の画像の透過合成を行う。そして、透過合成した画像を所定のα値で元画像のＹＵＶ成分画像に合成する。

【0056】

また、例えば、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリ等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ－ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。

【0057】

その他、撮像装置を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

【0058】

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
被写体画像を取得する取得手段と、
前記取得手段によって取得された被写体画像の所定の領域に対し所定の処理を施す処理手段と、
前記所定の処理により情報が欠如する領域を特定する特定手段と、
前記特定手段によって特定された領域を除いて前記処理手段による前記所定の処理を実行するよう制御する制御手段と、
を備えることを特徴とする画像処理装置。
＜請求項２＞
前記被写体画像における輝度の分布状態を取得する輝度分布取得手段を更に備え、
前記特定手段は、前記輝度分布取得手段によって取得された輝度分布の状態に基づいて前記情報が欠如する領域を特定することを特徴とする請求項１記載の画像処理装置。
＜請求項３＞
前記特定手段により特定される領域は、前記被写体画像における被写体の陰影状態を示す領域であることを特徴とする請求項１又は２に記載の画像処理装置。
＜請求項４＞
前記取得手段によって取得された被写体画像から被写体の肌理情報を取得する肌理情報取得手段と、
前記肌理情報取得手段によって取得された肌理情報に基づいて、前記被写体画像を加工する加工手段と、
をさらに備えることを特徴とする請求項１～３のいずれか一項に記載の画像処理装置。
＜請求項５＞
前記被写体画像から、その周辺とは異なる特異領域を検出する検出手段と、
前記検出手段によって検出された特異領域を前記周辺に対し目立たなくするよう補正する補正手段と、
を備え、
前記加工手段は、前記補正手段によって目立たなくなるよう補正された特異領域に対し、前記肌理情報取得手段によって取得された肌理情報に基づいて加工することを特徴とする請求項４に記載の画像処理装置。
＜請求項６＞
前記処理手段は、
前記所定の領域を囲む形状を模した複数種のサイズのマスクデータを用いて、このマスクデータによって囲まれる前記所定の領域を含む画像領域で前記所定の処理を夫々施し、
前記複数種のサイズのマスクデータの夫々を用いて前記所定の処理が施された画像領域の夫々の信頼性情報を取得する信頼性情報取得手段と、
前記信頼性情報取得手段によって取得された信頼性情報に基づき、前記処理手段が処理した夫々のマスクデータ内の所定の処理の結果を影響度を変えて合成する合成手段と、
をさらに備えることを特徴とする請求項１～５のいずれか一項に記載の画像処理装置。
＜請求項７＞
前記被写体画像を輝度情報から解析する解析手段と、
前記解析手段による解析結果に基づいて、前記複数種のマスクデータの形状を修正する修正手段と、
をさらに備えることを特徴とする請求項６記載の画像処理装置。
＜請求項８＞
前記所定の処理は、平滑化処理であることを特徴とする請求項１～７のいずれか一項に記載の画像処理装置。
＜請求項９＞
前記被写体画像は、人の肌領域を含む画像であることを特徴とする請求項１～８のいずれか一項に記載の画像処理装置。
＜請求項１０＞
画像処理装置における画像処理方法であって、
被写体画像を取得する工程と、
処理手段により前記取得された被写体画像の所定の領域に対し所定の処理を施す工程と、
前記所定の処理により情報が欠如する領域を特定する工程と、
前記特定された領域を除いて前記処理手段により前記所定の処理を実行するよう制御する工程と、
を含むことを特徴とする画像処理方法。
＜請求項１１＞
コンピュータを、
被写体画像を取得する取得手段、
前記取得手段によって取得された被写体画像の所定の領域に対し所定の処理を施す処理手段、
前記所定の処理により情報が欠如する領域を特定する特定手段、
前記特定手段によって特定された領域を除いて前記処理手段による前記所定の処理を実行するよう制御する制御手段、
として機能させるためのプログラム。

【符号の説明】

【0059】

１ 撮像装置
１０１ 制御部
１０２ 記憶部
１０３ 表示部
１０４ 通信部
１０５ 操作部
１０６ 撮像部
１０６ａ 撮像レンズ
１０７ 第１の画像処理部
１０８ 画像メモリ
１０９ 解析部
２０ 肌解析部
２１ 保護マップデータ設定部
２２ 低域データ生成部
２３ エッジ情報生成部
２４ 領域分割部
２５ 陰影用保護マップ生成部
２６ 肌理用保護マップ生成部
２７ 保護マップ境界信頼性判定部
１１０ 第２の画像処理部
２８ 補正処理部
２９ 透過合成処理部
３０ 合成処理部
１１１ 点灯制御部
１１２ 発光部

【図1】

【図2】

【図3】