特許第5962268号(P5962268)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ カシオ計算機株式会社の特許一覧

特許5962268画像処理装置、画像処理方法、画像生成方法及びプログラム
<>
  • 特許5962268-画像処理装置、画像処理方法、画像生成方法及びプログラム 図000002
  • 特許5962268-画像処理装置、画像処理方法、画像生成方法及びプログラム 図000003
  • 特許5962268-画像処理装置、画像処理方法、画像生成方法及びプログラム 図000004
  • 特許5962268-画像処理装置、画像処理方法、画像生成方法及びプログラム 図000005
  • 特許5962268-画像処理装置、画像処理方法、画像生成方法及びプログラム 図000006
  • 特許5962268-画像処理装置、画像処理方法、画像生成方法及びプログラム 図000007
  • 特許5962268-画像処理装置、画像処理方法、画像生成方法及びプログラム 図000008
  • 特許5962268-画像処理装置、画像処理方法、画像生成方法及びプログラム 図000009
  • 特許5962268-画像処理装置、画像処理方法、画像生成方法及びプログラム 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5962268
(24)【登録日】2016年7月8日
(45)【発行日】2016年8月3日
(54)【発明の名称】画像処理装置、画像処理方法、画像生成方法及びプログラム
(51)【国際特許分類】
   G06T 1/00 20060101AFI20160721BHJP
【FI】
   G06T1/00 340A
【請求項の数】12
【全頁数】24
(21)【出願番号】特願2012-153307(P2012-153307)
(22)【出願日】2012年7月9日
(65)【公開番号】特開2014-16761(P2014-16761A)
(43)【公開日】2014年1月30日
【審査請求日】2015年4月28日
(73)【特許権者】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】特許業務法人光陽国際特許事務所
(72)【発明者】
【氏名】加福 滋
(72)【発明者】
【氏名】島田 敬輔
(72)【発明者】
【氏名】笠原 大聖
【審査官】 ▲広▼島 明芳
(56)【参考文献】
【文献】 特開平01−109480(JP,A)
【文献】 特開2010−057683(JP,A)
【文献】 特開2000−011145(JP,A)
【文献】 特開2005−056231(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
画像を取得する第1取得手段と、
前記第1取得手段により取得された画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第1及び第2の顔構成部画像をそれぞれ生成する第1生成手段と、
前記第1生成手段により生成された前記第1の顔構成部画像と前記第2の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて、前記第1の顔構成部画像における前記構成部に相当する領域と前記第1の顔構成部画像における前記構成部に相当する領域とを比較する比較手段と、
前記比較手段の前記比較結果、前記第1及び第2の顔構成部画像における前記構成部に相当する領域どうしの重なりの量が所定値よりも多い場合に基づいて、前記第1の顔構成部画像における前記構成部に対応する着色領域を特定する特定手段と、
を備えたことを特徴とする画像処理装置。
【請求項2】
前記第1生成手段は、前記第1取得手段により取得された画像に対してエッジ検出処理を施して、前記第1の顔構成部画像を生成することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第1生成手段は、前記第1取得手段により取得された画像に対して微細部抽出処理を施して、前記第2の顔構成部画像を生成することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記画像内の顔が笑顔であるか否か判定する第1判定手段を更に備え、
前記特定手段は、更に前記第1判定手段の判定結果に基づいて、前記着色領域を特定することを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。
【請求項5】
前記第2の顔構成部画像における口中に相当する領域の面積が、所定の判定値よりも大きいか否かを判定する第2判定手段を更に備え、
前記特定手段は、更に前記第2判定手段の判定結果に基づいて、前記着色領域を特定することを特徴とする請求項1〜4の何れか一項に記載の画像処理装置。
【請求項6】
前記特定手段により特定された前記着色領域を着色する着色手段を更に備えることを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。
【請求項7】
前記着色手段は、目、鼻、唇、口中、眉のうちの少なくとも一つに対応する前記着色領域を着色することを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記第1取得手段により取得された画像内の顔の特徴情報に対応する顔輪郭画像を取得する第2取得手段と、
前記第2取得手段より取得された顔輪郭画像と前記第1の顔構成部画像とを用いて似顔絵画像を生成する第2生成手段と、を更に備え、
前記着色手段は、
前記第2生成手段により生成された似顔絵画像における、前記特定手段により特定された前記着色領域を着色することを特徴とする請求項6又は7に記載の画像処理装置。
【請求項9】
記特定手段は、前記比較手段の前記比較の結果、前記構成部に相当する領域どうしの重なりの量前記所定値よりも少ない場合には、前記着色領域を特定しないことを特徴とする請求項1〜8の何れか一項に記載の画像処理装置。
【請求項10】
顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第1及び第2の顔構成部画像をそれぞれ生成する処理と、
生成された前記第1の顔構成部画像と前記第2の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて、前記第1の顔構成部画像における前記構成部に相当する領域と前記第1の顔構成部画像における前記構成部に相当する領域とを比較する処理と、
前記比較結果、前記第1及び第2の顔構成部画像における前記構成部に相当する領域どうしの重なりの量が所定値よりも多い場合に前記第1の顔構成部画像における前記構成部に対応する着色領域を特定する処理と、
を含むことを特徴とする画像処理方法。
【請求項11】
顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第1及び第2の顔構成部画像をそれぞれ生成する処理と、
生成された前記第1の顔構成部画像と前記第2の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて、前記第1の顔構成部画像における前記構成部に相当する領域と前記第1の顔構成部画像における前記構成部に相当する領域とを比較する処理と、
前記比較結果、前記第1及び第2の顔構成部画像における前記構成部に相当する領域どうしの重なりの量が所定値よりも多い場合に、前記第1の顔構成部画像における前記構成部に対応する着色領域を特定する処理と、
特定された前記着色領域を着色するとともに、前記第1の顔構成部画像を用いて似顔絵画像を生成する処理と、
を含むことを特徴とする画像生成方法。
【請求項12】
画像処理装置のコンピュータを、
顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第1及び第2の顔構成部画像をそれぞれ生成する第1生成手段、
前記第1生成手段により生成された前記第1の顔構成部画像と前記第2の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて、前記第1の顔構成部画像における前記構成部に相当する領域と前記第1の顔構成部画像における前記構成部に相当する領域とを比較する比較手段、
前記比較手段の前記比較結果、前記第1及び第2の顔構成部画像における前記構成部に相当する領域どうしの重なりの量が所定値よりも多い場合に、前記第1の顔構成部画像における前記構成部に対応する着色領域を特定する特定手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、画像生成方法及びプログラムに関する。
【背景技術】
【0002】
従来、目、鼻、口、耳、顔の輪郭等の顔部品の特徴点を用いて似顔絵を作成する似顔絵作成装置が知られている(例えば、特許文献1参照)。
また、各部位ごとに予め用意されているパーツオブジェクトを組み合わせてキャラクタを作成するゲーム装置が知られている(例えば、特許文献2参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−145625号公報
【特許文献2】特開2008−061896号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、予め用意された輪郭画像の内部に、目、鼻、口等の主要な構成部が配置された似顔絵画像を着色する場合、構成部の認識精度が低いと、正しく着色することが難しいと言った問題点があった。特に、口領域は変動が大きいこともあり、目等と比較して認識精度が低下してしまい、誤認識により、間違った領域を着色してしまう虞がある。
【0005】
そこで、本発明の課題は、精度良く着色領域を特定することができる画像処理装置、画像処理方法、画像生成方法及びプログラムを提供することである。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明に係る画像処理装置は、
画像を取得する第1取得手段と、前記第1取得手段により取得された画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第1及び第2の顔構成部画像をそれぞれ生成する第1生成手段と、前記第1生成手段により生成された前記第1の顔構成部画像と前記第2の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて、前記第1の顔構成部画像における前記構成部に相当する領域と前記第1の顔構成部画像における前記構成部に相当する領域とを比較する比較手段と、前記比較手段の前記比較結果、前記第1及び第2の顔構成部画像における前記構成部に相当する領域どうしの重なりの量が所定値よりも多い場合に、前記第1の顔構成部画像における前記構成部に対応する着色領域を特定する特定手段と、を備えたことを特徴としている。
【0007】
また、本発明に係る画像処理方法は、
顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第1及び第2の顔構成部画像をそれぞれ生成する処理と、生成された前記第1の顔構成部画像と前記第2の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて、前記第1の顔構成部画像における前記構成部に相当する領域と前記第1の顔構成部画像における前記構成部に相当する領域とを比較する処理と、前記比較結果、前記第1及び第2の顔構成部画像における前記構成部に相当する領域どうしの重なりの量が所定値よりも多い場合に、前記第1の顔構成部画像における前記構成部に対応する着色領域を特定する処理と、を含むことを特徴としている。
【0008】
また、本発明に係る画像生成方法は、
顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第1及び第2の顔構成部画像をそれぞれ生成する処理と、生成された前記第1の顔構成部画像と前記第2の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて、前記第1の顔構成部画像における前記構成部に相当する領域と前記第1の顔構成部画像における前記構成部に相当する領域とを比較する処理と、前記比較結果、前記第1及び第2の顔構成部画像における前記構成部に相当する領域どうしの重なりの量が所定値よりも多い場合に、前記第1の顔構成部画像における前記構成部に対応する着色領域を特定する処理と、特定された前記着色領域を着色するとともに、前記第1の顔構成部画像を用いて似顔絵画像を生成する処理と、を含むことを特徴としている。
【0009】
また、本発明に係るプログラムは、
画像処理装置のコンピュータを、顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第1及び第2の顔構成部画像をそれぞれ生成する第1生成手段、前記第1生成手段により生成された前記第1の顔構成部画像と前記第2の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて、前記第1の顔構成部画像における前記構成部に相当する領域と前記第1の顔構成部画像における前記構成部に相当する領域とを比較する比較手段、前記比較手段の前記比較結果、前記第1及び第2の顔構成部画像における前記構成部に相当する領域どうしの重なりの量が所定値よりも多い場合に、前記第1の顔構成部画像における前記構成部に対応する着色領域を特定する特定手段、として機能させることを特徴としている。
【発明の効果】
【0010】
本発明によれば、精度良く着色領域を特定することができる。
【図面の簡単な説明】
【0011】
図1】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
図2】似顔絵画像生成処理に係る画像の一例を模式的に示す図である。
図3】似顔絵画像生成処理に係る画像の一例を模式的に示す図である。
図4図1の撮像装置による似顔絵画像生成処理に係る動作の一例を示すフローチャートである。
図5】画像着色処理に係る動作の一例を示すフローチャートである。
図6】顔構成部の位置関係の一例を模式的に示す図である。
図7】似顔絵画像の着色の一例を模式的に示す図である。
図8】似顔絵画像の着色の一例を模式的に示す図である。
図9】似顔絵画像の着色の一例を模式的に示す図である。
【発明を実施するための形態】
【0012】
以下に、本発明について、図面を用いて具体的な態様を説明する。但し、発明の範囲は、図示例に限定されない。
【0013】
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
図1に示すように、本実施形態の撮像装置100は、具体的には、撮像部1と、撮像制御部2と、画像データ生成部3と、メモリ4と、画像記録部5と、画像処理部6と、表示制御部7と、表示部8と、操作入力部9と、中央制御部10とを備えている。
また、撮像部1、撮像制御部2、画像データ生成部3、メモリ4、画像記録部5、画像処理部6、表示制御部7及び中央制御部10は、バスライン11を介して接続されている。
【0014】
撮像部1は、所定の被写体を撮像してフレーム画像を生成する。
具体的には、撮像部1は、レンズ部1aと、電子撮像部1bと、レンズ駆動部1cとを備えている。
【0015】
レンズ部1aは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部1bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサ(撮像素子)から構成されている。そして、電子撮像部1bは、レンズ部1aの各種レンズを通過した光学像を二次元の画像信号に変換する。
レンズ駆動部1cは、例えば、図示は省略するが、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
なお、撮像部1は、レンズ部1a、電子撮像部1b及びレンズ駆動部1cに加えて、レンズ部1aを通過する光の量を調整する絞り(図示略)を備えても良い。
【0016】
撮像制御部2は、撮像部1による被写体の撮像を制御する。即ち、撮像制御部2は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部2は、タイミング発生器、ドライバにより電子撮像部1bを走査駆動して、レンズを通過した光学像を電子撮像部1bにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部1bの撮像領域から1画面分ずつフレーム画像を読み出して画像データ生成部3に出力させる。
【0017】
なお、撮像制御部2は、レンズ部1aのフォーカスレンズに代えて、電子撮像部1bを光軸方向に移動させてレンズ部1aの合焦位置を調整するようにしても良い。
また、撮像制御部2は、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体を撮像する際の条件の調整制御を行っても良い。
【0018】
画像データ生成部3は、電子撮像部1bから転送されたフレーム画像のアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。
カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMA(Direct Memory Access)コントローラを介して、バッファメモリとして使用されるメモリ4にDMA転送される。
【0019】
メモリ4は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、画像処理部6や中央制御部10等によって処理されるデータ等を一時的に格納する。
【0020】
画像記録部5は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成され、画像処理部6の符号化部(図示略)により所定の圧縮形式(例えば、JPEG形式等)で符号化された記録用の画像データを記録する。
【0021】
また、画像記録部5には、似顔絵画像の生成に用いるためのイラストである複数の髪型の髪型画像P1、及び、複数の顔の形状に対応した顔輪郭画像P2の画像データが予め記録されている。
髪型画像P1の画像データの各々は、例えば、ヒトの髪の輪郭を模式的に表した画像であり、顔輪郭画像P2の画像データの各々は、例えば、ヒトの顔の輪郭を模式的に表した画像である。
具体的には、髪型画像P1の画像データは、例えば、顔検出処理(後述)により検出された顔領域内から、顔の顎の輪郭及び当該顎よりも内側の部分を消去することで形成されても良いし、髪を所定の色で塗り潰すことにより形成されても良い。
また、顔輪郭画像P2の画像データは、例えば、顔検出処理(後述)により検出された顔領域内から、顔の輪郭のみを抽出することで形成されても良いし、肌部分を所定の色で塗り潰すことにより形成されても良い。
また、顔の輪郭や髪の先端部に沿った線の描画は、ユーザによる操作入力部9の所定操作に基づいて手動で行われても良いし、中央制御部10のCPUの制御下にて自動で行われても良い。
【0022】
なお、画像記録部5は、例えば、記録媒体(図示略)が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。
【0023】
画像処理部6は、画像取得部6aと、顔検出部6bと、第1構成部画像生成部6cと、第2構成部画像生成部6dと、特徴情報抽出部6eと、髪型画像特定部6fと、顔輪郭画像特定部6gと、似顔絵画像生成部6hと、画像比較部6iと、画像判定部6jと、着色領域特定部6kと、画像着色部6lとを具備している。
なお、画像処理部6の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
【0024】
画像取得部6aは、似顔絵画像生成処理の処理対象となる画像を取得する。
即ち、画像取得部6aは、元画像(例えば、写真画像等)P3の画像データを取得する。具体的には、画像取得部6aは、撮像部1及び撮像制御部2による被写体の撮像によって画像データ生成部3により生成された元画像P3の画像データ(YUVデータ)の複製をメモリ4から取得したり、画像記録部5に記録されている元画像P3の画像データ(YUVデータ)の複製を取得する(図2(a)参照)。
【0025】
顔検出部6bは、処理対象となる元画像P3から顔領域F1(図2(a)参照)を検出する。
即ち、顔検出部6bは、画像取得部6aにより取得された元画像P3から顔が含まれる顔領域F1を検出する。具体的には、顔検出部6bは、画像取得部6aにより似顔絵画像生成処理の処理対象の画像として取得された元画像P3の画像データを取得して、当該画像データに対して所定の顔検出処理を行って顔領域F1を検出する。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【0026】
第1構成部画像生成部6cは、顔の主要な顔構成部を表した第1の顔構成部画像P4を生成する。
即ち、第1構成部画像生成部6cは、画像取得部6aにより取得された元画像P3(図2(a)参照)内の顔の主要な顔構成部に係る第1の顔構成部画像P4を生成する。具体的には、第1構成部画像生成部6cは、エッジ抽出処理を行って、顔構成部のパーツ画像を含む第1の顔構成部画像P4を生成する。例えば、第1構成部画像生成部6cは、元画像P3の画像データ(YUVデータ)に対して所定の微分フィルタ(例えば、ハイパスフィルタ等)を用いて微分演算を行って、輝度値や色や濃度に急峻な変化があるところをエッジとして検出するエッジ検出処理を行う。そして、第1構成部画像生成部6cは、得られた画像から目、鼻、口、眉等の顔構成部を抽出して、顔構成部のパーツ画像を含む第1の顔構成部画像P4(図2(b)参照)を生成する。
なお、第1の顔構成部画像P4は、例えば、目、鼻、口、眉等の各顔構成部のうち、少なくとも何れか一の顔構成部(例えば、口等)に対応する画像であれば良い。
【0027】
第2構成部画像生成部6dは、顔の主要な顔構成部を表した第2の顔構成部画像P6(図3(b)参照)を生成する。
即ち、第2構成部画像生成部6dは、画像取得部6aにより取得された元画像P3(図2(a)参照)内の顔の主要な顔構成部に係る第2の顔構成部画像P6を生成する。具体的には、第2構成部画像生成部6dは、元画像P3の顔が含まれる顔領域F1に対して微細部抽出処理を施して、例えば、目、鼻、口、眉、髪の毛、顔の輪郭等の顔構成部を線で表した顔微細部画像P5(図2(c)参照)を生成する。例えば、第2構成部画像生成部6dは、微細部抽出処理として、AAM(Active Appearance Model)を用いた処理により顔微細部画像P5を生成する。また、第2構成部画像生成部6dは、顔検出部6bにより元画像P3の画像データから検出された顔領域F1に対して微細部抽出処理を施す。
ここで、AAMとは、視覚的事象のモデル化の一手法であり、任意の顔領域F1の画像のモデル化を行う処理である。例えば、第2構成部画像生成部6dは、複数のサンプル顔画像における所定の特徴部位(例えば、目じりや鼻頭やフェイスライン等)の位置や画素値(例えば、輝度値)の統計的分析結果を所定の登録手段に登録しておく。そして、第2構成部画像生成部6dは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔領域F1の画像をモデル化する。これにより、第2構成部画像生成部6dは、元画像P3内の主要な構成を抽出して線で表した顔微細部画像P5を生成する。
【0028】
また、第2構成部画像生成部6dは、微細部抽出処理により顔領域F1内の顔の輪郭W1(図3(a)参照)を特定して、顔の輪郭W1内に存する顔構成部及び当該輪郭W1と接する顔構成部を線で表した第2の顔構成部画像P6を生成する。
具体的には、第2構成部画像生成部6dは、顔微細部画像P5内で顔の輪郭W1と接する画素を特定し、当該画素と連続する画素のうち、顔の輪郭W1よりも外側に存する画素集合G、…(図3(a)参照)を消去する。つまり、第2構成部画像生成部6dは、顔微細部画像P5のうち、顔の輪郭W1よりも外側に存する部分を消去すると共に、顔の輪郭W1よりも内側に存し、且つ、当該輪郭W1と接する部分(例えば、図3(a)における向かって左側の眉等)を残して、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像Mを含む第2の顔構成部画像P6を生成する(図3(b)参照)。なお、図3(a)にあっては、顔の輪郭W1を模式的に破線で表す。
ここで、第2構成部画像生成部6dは、各顔構成部のパーツ画像MのXY平面空間での相対的な位置関係に係る情報や、座標位置に係る情報を抽出して取得しても良い。
【0029】
なお、微細部抽出処理として、AAMを用いた処理を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
例えば、微細部抽出処理として、非等方拡散処理を行って、顔構成部のパーツ画像Mを含む第2の顔構成部画像P6を生成しても良い。具体的には、第2構成部画像生成部6dは、例えば、元画像P3の画像データに対して所定の非等方拡散フィルタを用いて、線状のエッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行っても良い。
【0030】
また、上述の微細部抽出処理では、第1構成部画像生成部6c及び第2構成部画像生成部6dが、画像取得部6aにより取得された似顔絵画像生成処理の処理対象となる一枚の画像から、目、鼻、口、眉等の主要な顔構成部のパーツ画像を取り出すことにより、第1及び第2の顔構成部画像をそれぞれ生成しているが、複数枚(例えば、数十枚以上)の画像に基づき複数種類の顔全体のパーツ、並びに、目、鼻、口、眉等の主要な顔構成部のパーツを予め作成しておき、当該パーツを用いて顔構成部画像を生成しても良い。
【0031】
具体的には、第1構成部画像生成部6c、或いは、第2構成部画像生成部6dは、先ず画像取得部6aにより取得された似顔絵画像生成処理の処理対象となる一枚の画像に対して、上述のように予め作成された複数種類の顔全体のパーツを対比して、一致度が所定値よりも高い顔全体のパーツを特定する。
次に、第1構成部画像生成部6c、或いは、第2構成部画像生成部6dは、画像取得部6aにより取得された似顔絵画像生成処理の処理対象となる一枚の画像に対して、目、鼻、口、眉等の主要な顔構成部毎に、予め作成された複数種類の目、鼻、口、眉等の主要な顔構成部のパーツを対比して、一致度が所定値よりも高い顔構成部のパーツをそれぞれ特定する。
そして、第1構成部画像生成部6c、或いは、第2構成部画像生成部6dは、それぞれ特定した「顔全体のパーツ」及び「目、鼻、口、眉等の主要な顔構成部のパーツ」を用いて第1の顔構成部画像、或いは、第2の顔構成部画像を生成する。
【0032】
特徴情報抽出部6eは、元画像P3の顔領域F1から特徴情報を抽出する。
即ち、特徴情報抽出部6eは、画像取得部6aにより取得された元画像P3内の顔から、例えば、顔の輪郭W1の形状等の特徴情報を抽出する。具体的には、特徴情報抽出部6eは、元画像P3の画像データ(YUVデータ)に基づいて、顔領域F1内で特徴の高いブロック領域(特徴点)を選択して抽出する特徴抽出処理を行う。例えば、特徴情報抽出部6eは、微細部抽出処理として、例えば、AAMを用いた処理により顔領域F1内で特定された顔の輪郭W1を構成する画素について特徴抽出処理を行って、当該顔の輪郭W1の形状を特徴情報として抽出する。ここで、顔の輪郭W1の形状としては、例えば、長軸及び短軸の長さが特定された楕円形、特に、各顔の顎の輪郭W1と合致する楕円形が挙げられる。
なお、特徴抽出処理にて抽出される特徴情報として、顔の輪郭の形状を例示したが、一例であってこれに限られるものではなく、元画像P3と髪型画像P1(或いは、顔輪郭画像P2)とで対比可能な情報であれば適宜任意に変更可能である。例えば、元画像P3と髪型画像P1(或いは、顔輪郭画像P2)とで顔の輪郭の特徴ベクトルを抽出して用いても良いし、髪型の形状を用いても良い。また、特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【0033】
髪型画像特定部6fは、特徴情報抽出部6eにより抽出された特徴情報に対応する髪型画像P1を特定する。
即ち、髪型画像特定部6fは、画像記録部5に顔の特徴情報と対応付けて記録されている髪型画像P1から、特徴情報抽出部6eにより抽出された特徴情報に対応する髪型画像P1を特定する。具体的には、髪型画像特定部6fは、画像記録部5に記録されている所定数の顔の輪郭の形状を規定する楕円形と、特徴情報抽出部6eにより抽出された顔の輪郭W1の形状を規定する楕円形とを比較して、一致度が所定値よりも高い楕円形を特定する。そして、髪型画像特定部6fは、特定された楕円形と対応付けられている髪型画像P1の画像データを特定する。
なお、髪型画像特定部6fは、一致度が所定値よりも高い楕円形を複数特定し、当該複数の楕円形の中で、ユーザによる操作入力部9の所定操作に基づいて選択されたユーザ所望の楕円形を特定しても良い。
【0034】
顔輪郭画像特定部6gは、特徴情報抽出部6eにより抽出された特徴情報に対応する顔輪郭画像P2を特定する。
即ち、顔輪郭画像特定部6gは、画像記録部5に顔の特徴情報と対応付けて記録されている顔輪郭画像P2から、特徴情報抽出部6eにより抽出された特徴情報に対応する顔輪郭画像P2を特定する。具体的には、顔輪郭画像特定部6gは、画像記録部5に記録されている所定数の顔の輪郭の形状を規定する楕円形と、特徴情報抽出部6eにより抽出された顔の輪郭W1の形状を規定する楕円形とを比較して、一致度が所定値よりも高い楕円形を特定する。そして、顔輪郭画像特定部6gは、特定された楕円形と対応付けられている顔輪郭画像P2の画像データを特定する。
なお、顔輪郭画像特定部6gは、一致度が所定値よりも高い楕円形を複数特定し、当該複数の楕円形の中で、ユーザによる操作入力部9の所定操作に基づいて選択されたユーザ所望の楕円形を特定しても良い。
【0035】
似顔絵画像生成部6hは、髪型画像P1と、顔輪郭画像P2と、第1の顔構成部画像P4とを用いて似顔絵画像P7を生成する。
即ち、似顔絵画像生成部6hは、髪型画像特定部6fにより特定された髪型画像P1の画像データ、第1構成部画像生成部6cにより生成された第1の顔構成部画像P4のパーツ画像、及び、顔輪郭画像特定部6gにより特定された顔輪郭画像P2を用いて似顔絵画像P7を生成する。
具体的には、似顔絵画像生成部6hは、髪型画像P1及び顔輪郭画像P2の顔の輪郭よりも内側にて、例えば、第1の顔構成部画像P4の目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像を重畳させて、元画像P3を似顔絵で表した似顔絵画像P7の画像データを生成する。このとき、似顔絵画像生成部6hは、髪型画像P1及び顔輪郭画像P2をその顔の輪郭を規定する楕円形が元画像P3の顔の輪郭を規定する楕円形と合致するように変形させても良い。
【0036】
画像比較部6iは、第2構成部画像生成部6cにより生成された第2の顔構成部画像P6と、似顔絵画像生成部6hにより生成された似顔絵画像P7とを比較する。
即ち、画像比較部6iは、第2構成部画像生成部6cにより生成された第2の顔構成部画像P6と、似顔絵画像生成部6hにより生成された似顔絵画像P7とを重ね合わせてフィッティングする。具体的には、画像比較部6iは、例えば、似顔絵画像P7を構成する第1の顔構成部画像P4の目と第2の顔構成部画像P6の目とをそれぞれ基準にして、第2の顔構成部画像P6と似顔絵画像P7とを重ね合わせる。このとき、二つの画像の目の位置がずれている場合には、少なくとも一の画像の位置や大きさや向きや調整しても良い。そして、画像比較部6iは、これら2つの画像の各構成部に相当する領域どうしの重なり具合を比較して、その比較結果を出力する。
ここで、似顔絵画像P7は、第1の顔構成部画像P4により構成されているので、画像比較部6iが、第2の顔構成部画像P6と似顔絵画像P7とを比較するということは、第2の顔構成部画像P6と第1の顔構成部画像P4とを比較することと同じであると考えられる。
【0037】
具体的には、画像比較部6iは、第2の顔構成部画像P6と似顔絵画像P7とを重ね合わせた状態で、例えば、口等の構成部に相当する領域どうしの重なり具合が所定値よりも多いか否かを比較判定する。例えば、画像比較部6iは、第2の顔構成部画像P6の口に相当する領域内に存在する似顔絵画像P7の口に相当する領域の画素数を重なり具合として特定する。そして、画像比較部6iは、特定された画素数が第1の判定値よりも多いか否かを比較判定して、比較結果として出力する。
ここで、第1の判定値は、適宜任意に設定することができ、例えば、比較対象となる構成部に応じて値を変更しても良い。特に、例えば、口の誤認識を抑制する上では、第1の判定値の値をより厳しく(大きく)設定するのが好ましい。
【0038】
また、画像比較部6iは、第2の顔構成部画像P6の口中に相当する領域の画素数に対する、似顔絵画像P7の口に相当する領域の画素数の比率が第2の判定値よりも低いか否かを比較判定して、比較結果として出力する。
ここで、当該比較判定は、画像判定部6jによる笑顔判定の結果、笑顔でないと判定された際に行われる。この場合、口領域は狭い場合が多いと考えられ、第2の顔構成部画像P6の口の中に相当する領域の画素数に対する、似顔絵画像P7の口に相当する領域の画素数の比率は、例えば、50%〜70%程度等の高い数値を示すことが一般的である。しかしながら、似顔絵画像P7の口領域と第2の顔構成部画像P6の口領域がずれている場合には、上述の比率が、例えば、20%以下等の低い数値を示す。
そこで、口の誤認識を安全性を考慮して抑制する上で、第2の判定値は、例えば、50%よりも小さい値が好ましく、20%以下の値がより好ましいと考えられる。
【0039】
なお、画像比較部6iは、上述の比較に限定されるものではなく、その他の条件に基づく比較を行っても良い。
また、第2の顔構成部画像P6と似顔絵画像P7とを重ね合わせる基準として、2つの画像の目を例示したが、一例であってこれに限られるものではなく、例えば、2つの画像の鼻、耳、顔の輪郭など適宜任意に変更可能である。
【0040】
画像判定部6jは、第2の顔構成部画像P6と似顔絵画像P7の画像判定をして判定結果を出力する。
即ち、画像判定部6jは、似顔絵画像P7が笑顔であるか否かを所定の判定方法に従って判定する。
ここで、似顔絵画像P7は、第1の顔構成部画像P4により構成されているので、似顔絵画像P7が笑顔であるか否かを判定することは、元画像P4が笑顔であるか否かを判定することと同じであると考えられる。
なお、笑顔の判定方法は、公知の技術であるので詳細な説明は省略するが、例えば、似顔絵画像P7について、人の顔の左右両目の座標情報に基づいて当該似顔絵画像P7内で口の位置を探索して、口角が上がっている度合いに応じて笑顔であるか否かを判定するようにしても良い。
【0041】
また、画像判定部6jは、第2の顔構成部画像P6の口中に相当する領域の面積が、所定の面積よりも広いか否かを判定する。
具体的には、画像判定部6jは、第2の顔構成部画像P6の口中に相当する領域の画素数を特定して、当該画素数が所定の判定値よりも大きいか否かを判定する。
ここで、所定の判定値は、口中の誤認識の抑制を考慮して設定された第3の判定値と、この第3の判定値よりも大きい第4の判定値を含む。
即ち、画像判定部6jは、第2の顔構成部画像P6の口中に相当する領域の画素数が第3の判定値よりも大きいか否かに応じて、口が開いているか否かを判定する。また、画像判定部6jは、第2の顔構成部画像P6の口中に相当する領域の画素数が第4の判定値よりも大きいか否かに応じて、口が大きく開いているか否かを判定する。
なお、画像判定部6jは、上述の判定に限定されるものではなく、その他の条件に基づく判定を行っても良い。
【0042】
着色領域特定部6kは、画像比較部6iの比較結果と画像判定部6jの判定結果に基づき、似顔絵画像P7の着色領域を特定する。
即ち、着色領域特定部6kは、画像比較部6iの比較結果に基づいて、似顔絵画像P7を構成する第1の顔構成部画像P4における顔の主要な構成部に対応する着色領域を特定する。具体的には、着色領域特定部6kは、画像比較部6iの比較結果と画像判定部6jの判定結果に基づき、第2の顔構成部画像P6の顔の主要な構成部である唇や口中等に対応する似顔絵画像P7の領域を着色領域として特定する。
【0043】
例えば、画像比較部6iにより、第2の顔構成部画像P6の口領域内に存在する似顔絵画像P7の口領域の画素数が第1の判定値よりも少なくないと判定された後、画像判定部6jにより、似顔絵画像P7が笑顔であり、且つ、第2の顔構成部画像P6の口中に相当する領域の画素数が第3の判定値よりも大きいと判定された場合に、着色領域特定部6kは、第2の顔構成部画像P6の唇及び口中に対応する似顔絵画像P7の領域を着色領域として特定する。
また、上記の画像比較部6iによる判定後、画像判定部6jにより、似顔絵画像P7が笑顔ではないと判定された場合であっても、さらに、第2の顔構成部画像P6の口中に相当する領域の画素数が第4の判定値よりも大きくなく、第2の顔構成部画像P6の口領域の画素数に対する似顔絵画像P7の口領域の画素数の比率が第2の判定値よりも低くなく、且つ、第2の顔構成部画像P6の口中に相当する領域の画素数が第3の判定値よりも大きいと判定された場合には、着色領域特定部6kは、上記と同様に、第2の顔構成部画像P6の唇及び口中に対応する似顔絵画像P7の領域を着色領域として特定する。
【0044】
また、例えば、画像比較部6iにより、第2の顔構成部画像P6の口領域内に存在する似顔絵画像P7の口領域の画素数が第1の判定値よりも少なくないと判定された後、画像判定部6jにより、似顔絵画像P7が笑顔であり、且つ、第2の顔構成部画像P6の口中に相当する領域の画素数が第3の判定値よりも大きくないと判定された場合に、着色領域特定部6kは、第2の顔構成部画像P6の唇に対応する似顔絵画像P7の領域を着色領域として特定する。
また、上記の画像比較部6iによる判定後、画像判定部6jにより、似顔絵画像P7が笑顔ではないと判定された場合であっても、さらに、第2の顔構成部画像P6の口中に相当する領域の画素数が第4の判定値よりも大きくなく、第2の顔構成部画像P6の口領域の画素数に対する似顔絵画像P7の口領域の画素数の比率が第2の判定値よりも低くなく、且つ、第2の顔構成部画像P6の口中に相当する領域の画素数が第3の判定値よりも大きくないと判定された場合には、着色領域特定部6kは、上記と同様に、第2の顔構成部画像P6の唇に対応する似顔絵画像P7の領域を着色領域として特定する。
【0045】
画像着色部6lは、着色領域特定部6kにより特定された着色領域を着色する。
即ち、画像着色部6lは、着色領域特定部6kにより特定された顔の目、鼻、唇、口中、眉のうちの少なくとも一つに対応する着色領域を所定の色で着色する。具体的には、画像着色部6lは、似顔絵画像P7内から着色領域として特定された唇や口中に対応する領域を着色する。
ここで、似顔絵画像P7は、第1の顔構成部画像P4により構成されているので、似顔絵画像P7の着色領域は、第1の顔構成部画像P4における顔の主要な構成部に対応する着色領域と同じであると考えられる。
例えば、着色領域特定部6kにより、着色領域として第2の顔構成部画像P6の唇及び口中に対応する似顔絵画像P7の領域が特定された場合には、画像着色部6lは、唇に対応する領域を赤色に、口中に対応する領域を白色にそれぞれ着色する。
また、着色領域特定部6kにより、着色領域として第2の顔構成部画像P6の唇に対応する似顔絵画像P7の領域が特定された場合には、画像着色部6lは、唇に対応する領域を赤色に着色する。
なお、画像着色部6lは、一例として、唇に対応する領域を赤色に、口の中に対応する領域を白色に着色しているが、着色する色としては、勿論、これらに限定される訳ではない。
【0046】
表示制御部7は、メモリ4に一時的に格納されている表示用の画像データを読み出して表示部8に表示させる制御を行う。
具体的には、表示制御部7は、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部10の制御下にてメモリ4から読み出されてVRAM(図示略)に格納されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部8に出力する。
【0047】
表示部8は、例えば、液晶表示パネルであり、表示制御部7からのビデオ信号に基づいて撮像部1により撮像された画像などを表示画面に表示する。具体的には、表示部8は、静止画撮像モードや動画撮像モードにて、撮像部1及び撮像制御部2による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部8は、静止画として記録される画像(レックビュー画像)を表示したり、動画として記録中の画像を表示する。
【0048】
操作入力部9は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部9は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等(何れも図示略)の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部10に出力する。
【0049】
中央制御部10は、撮像装置100の各部を制御するものである。具体的には、中央制御部10は、図示は省略するが、CPU(Central Processing Unit)等を備え、撮像装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
【0050】
次に、撮像装置100による似顔絵画像生成処理について、図4を参照して説明する。図4は、似顔絵画像生成処理に係る動作の一例を示すフローチャートである。
【0051】
似顔絵画像生成処理は、ユーザによる操作入力部9の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から似顔絵画像着色モードが選択指示された場合に、中央制御部10の制御下にて当該撮像装置100の各部、特に画像処理部6により実行される処理である。
また、似顔絵画像生成処理の処理対象となる元画像P3の画像データが画像記録部5に記録されているものとする。
【0052】
図4に示すように、先ず、画像記録部5は、画像記録部5に記録されている画像データの中で、ユーザによる操作入力部9の所定操作に基づいて指定された元画像P3(図2(a)参照)の画像データを読み出し、画像処理部6の画像取得部6aは、読み出された画像データを当該似顔絵画像生成処理の処理対象として取得する(ステップS1)。
【0053】
次に、顔検出部6bは、処理対象として画像取得部6aにより取得された元画像P3の画像データに対して所定の顔検出処理を行って顔領域F1を検出する(ステップS2)。
【0054】
続けて、第1構成部画像生成部6cは、検出された顔領域F1に対して微細部抽出処理であるエッジ検出処理を行って、顔領域F1内の顔の輪郭を特定して、顔の輪郭内に存する顔構成部及び当該輪郭と接する顔構成部、即ち、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像を含む第1の顔構成部画像P4を生成する(ステップS3:図2(b)参照)。
【0055】
同様に、第2構成部画像生成部6dは、検出された顔領域F1に対してエッジ検出処理とは異なる微細部抽出処理(例えば、AAMを用いた処理等)を行って、元画像P3の顔領域F1内の目、鼻、口、眉、髪の毛、顔の輪郭等の顔構成部を線で表した顔微細部画像P5を生成する(ステップS4:図2(c)参照)。そして、第2構成部画像生成部6dは、微細部抽出処理により顔領域F1内の顔の輪郭を特定して、顔の輪郭内に存する顔構成部及び当該輪郭と接する顔構成部、即ち、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像を含む第2の顔構成部画像P6を生成する(ステップS5:図3(b)参照)。
【0056】
続けて、特徴情報抽出部6eは、微細部抽出処理により顔領域F1内で特定された顔の輪郭を構成する画素について特徴抽出処理を行って、当該顔の輪郭の形状を規定する楕円形を特定し、特徴情報として抽出する(ステップS6)。
【0057】
次に、髪型画像特定部6fは、画像記録部5に記録されている所定数の顔の輪郭の形状を規定する楕円形と、特徴情報抽出部6eにより抽出された顔の輪郭の形状を規定する楕円形とを比較する。そして、髪型画像特定部6fは、一致度が所定値よりも高い楕円形を特定し、特定された楕円形と対応付けられている髪型画像P1の画像データを特定して、画像記録部5から読み出して取得すると共に、顔輪郭画像特定部6gは、画像記録部5に記録されている所定数の顔の輪郭の形状を規定する楕円形と、特徴情報抽出部6eにより抽出された顔の輪郭の形状を規定する楕円形とを比較する。そして、顔輪郭画像特定部6gは、一致度が所定値よりも高い楕円形を特定し、特定された楕円形と対応付けられている顔輪郭画像P2の画像データを特定して、画像記録部5から読み出して取得する(ステップS7)。
【0058】
そして、似顔絵画像生成部6hは、髪型画像特定部6fにより特定された髪型画像P1、顔輪郭画像特定部6gにより特定された顔輪郭画像P2及び、顔輪郭画像特定部6gにより特定された顔輪郭画像P2の顔の輪郭よりも内側にて、第1構成部画像生成部6cにより生成された第1の顔構成部画像P4の例えば、目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像を重畳させて、元画像P3を似顔絵で表した似顔絵画像P7の画像データを生成する(ステップS8)。
【0059】
そして、画像処理部6は、似顔絵画像P7を着色する画像着色処理(図5参照)を行う(ステップS9)。
以下に、画像着色処理について、図5を参照して詳細に説明する。図5は、画像着色処理に係る動作の一例を示すフローチャートである。
【0060】
図5に示すように、先ず、画像比較部6iは、似顔絵画像P7と第2の顔構成部画像P6を重ね合わせた後(ステップS21)、第2の顔構成部画像P6の口に相当する領域内に存在する似顔絵画像P7の口に相当する領域の画素数を重なり具合として特定し、当該画素数が第1の判定値よりも多いか否かを比較判定する(ステップS22)。言い換えれば、似顔絵画像P7と第2の顔構成部画像P6とで口領域の重なりがあるか否かを比較判定する。
例えば、図6(a)に示すように、第2の顔構成部画像P6の口領域PT1と、似顔絵画像P7の口領域PT2(例えば、エッジとして検出された画素)との位置が一致していれば、第2の顔構成部画像P6の口領域PT1の中に、似顔絵画像P7の口領域PT2の画素が数多く存在する、言い換えれば、口領域の重なりがあることになる。
【0061】
ステップS22にて、重なり具合として特定された画素数が第1の判定値よりも多いと判定された場合(ステップS22:Yes)、画像判定部6jは、似顔絵画像P7が笑顔であるか否かを所定の判定方法に従って判定する(ステップS23)。
【0062】
ステップS23にて、似顔絵画像P7が笑顔であると判定された場合(ステップS23:Yes)、画像判定部6jは、第2の顔構成部画像P6の口中に相当する領域の画素数が第3の判定値よりも大きいか否か、即ち、口が開いているか否かを判定する(ステップS24)。
なお、ここで、第3の判定値は、実際に生成される似顔絵画像(後述の着色済みの似顔絵画像P8)の結果を見て、その出来具合に応じて適宜調整されるものである。
【0063】
ステップS24にて、第2の顔構成部画像P6の口中に相当する領域の画素数が第3の判定値よりも大きい(口が開いている)と判定された場合(ステップS24:Yes)、着色領域特定部6kは、第2の顔構成部画像P6の顔の構成部である唇及び口中に対応する似顔絵画像P7の領域を着色領域として特定する(ステップS25)。そして、画像着色部6lは、特定された似顔絵画像P7の着色領域の唇に対応する領域を赤色に、口の中に対応する領域を白色にそれぞれ着色して(ステップS26)、図4のフローチャートのステップS10に戻る(リターン)。
例えば、図7(a)に示すように、笑顔で、且つ、口を開いた第2の顔構成部画像P6の唇の構成部に対応する似顔絵画像P7の領域を着色領域PT5として赤色に、口の中の構成部に対応する似顔絵画像P7の領域を着色領域PT6として白色にそれぞれ着色して、着色済みの似顔絵画像P8とする。
【0064】
一方、ステップS24にて、第2の顔構成部画像P6の口中に相当する領域の画素数が第3の判定値よりも大きくない(口が閉じている)と判定された場合(ステップS24:No)、着色領域特定部6kは、第2の顔構成部画像P6の顔の構成部である唇に対応する似顔絵画像P7の領域を着色領域として特定する(ステップS27)。そして、画像着色部6lは、特定された似顔絵画像P7の着色領域の唇に対応する領域を赤色に着色して(ステップS28)、図4のフローチャートのステップS10に戻る(リターン)。
例えば、図7(b)に示すように、笑顔で、且つ、口を閉じた第2の顔構成部画像P6の唇の構成部に対応する似顔絵画像P7の領域を着色領域PT7として赤色に着色して、着色済みの似顔絵画像P8とする。
【0065】
また、ステップS23にて、似顔絵画像P7が笑顔でないと判定された場合(ステップS23:No)、画像判定部6jは、第2の顔構成部画像P6の口中に相当する領域の画素数が第4の判定値よりも大きいか否か、即ち、口が大きく開いているか否かを判定する(ステップS29)。
【0066】
ステップS29にて、第2の顔構成部画像P6の口中に相当する領域の画素数が第4の判定値よりも大きいと判定された場合(ステップS29:Yes)、即ち、口が大きく開いている場合、着色領域特定部6kによる着色領域の特定(その後の画像着色部6lによる着色処理)を行うことなく、図4のフローチャートのステップS10に戻る(リターン)。
すなわち、ステップS23にて笑顔でないと判定された後、第2の顔構成部画像P6の口中に相当する領域の画素数が第4の判定値よりも大きい、具体的には、口が大きく開いていると判定されると言うことは、所謂、大きな口を開けて「あくび」等をしている場合が想定される。そこで、このような状態の第2の顔構成部画像P6の口の中を白色に着色すると、似顔絵画像P7が不自然になってしまうので、着色領域特定部6kによる着色領域の特定を行わないことにする。
【0067】
一方、ステップS29にて、第2の顔構成部画像P6の口中に相当する領域の画素数が第4の判定値よりも大きくないと判定された場合(ステップS29:No)、画像比較部6iは、第2の顔構成部画像P6の口に相当する領域の画素数に対する、似顔絵画像P7の口に相当する領域の画素数の比率が第2の判定値よりも大きいか否かを判定する(ステップS30)。
【0068】
ステップS30にて、第2の顔構成部画像P6の口領域の画素数に対する似顔絵画像P7の口領域の画素数の比率が第2の判定値よりも大きくないと判定された場合(ステップS30:No)、画像着色部6lによる着色領域の特定(その後の画像着色部6lによる着色処理)を行うことなく、図4のフローチャートのステップS10に戻る(リターン)。
すなわち、ステップS23にて笑顔でないと判定されると、口領域は狭い場合が多いと考えられるが、第2の顔構成部画像P6の口の中に相当する領域の画素数に対する、似顔絵画像P7の口に相当する領域の画素数の比率が、例えば、20%以下等の低い数値を示した場合には、似顔絵画像P7の口領域と第2の顔構成部画像P6の口領域がずれている可能性がある。そこで、安全のために、着色領域特定部6kによる着色領域の特定を行わないことにする。
【0069】
一方、ステップS30にて、第2の顔構成部画像P6の口領域の画素数に対する似顔絵画像P7の口領域の画素数の比率が第2の判定値よりも大きいと判定された場合(ステップS30:Yes)、画像処理部6は、処理をステップS24に移行して、それ以降の処理を実行する。
即ち、画像判定部6jは、第2の顔構成部画像P6の口中に相当する領域の画素数が第3の判定値よりも大きいか否かを判定する(ステップS24)。
【0070】
ステップS24にて、第2の顔構成部画像P6の口中に相当する領域の画素数が第3の判定値よりも大きいと判定された場合(ステップS24:Yes)、上記と同様に、着色領域特定部6kは、第2の顔構成部画像P6の唇及び口中に対応する似顔絵画像P7の領域を着色領域として特定した後(ステップS25)、画像着色部6lは、似顔絵画像P7の着色領域の唇に対応する領域を赤色に、口の中に対応する領域を白色にそれぞれ着色して(ステップS26)、図4のフローチャートのステップS10に戻る(リターン)。
例えば、図8(a)に示すように、笑顔でなく、且つ、口を開いた第2の顔構成部画像P6の唇の構成部に対応する似顔絵画像P7の領域を着色領域PT8として赤色に、口の中の構成部に対応する似顔絵画像P7の領域を着色領域PT9として白色にそれぞれ着色して、着色済みの似顔絵画像P8とする。
【0071】
一方、ステップS24にて、第2の顔構成部画像P6の口中に相当する領域の画素数が第3の判定値よりも大きくないと判定された場合(ステップS24:No)、上記と同様に、着色領域特定部6kは、第2の顔構成部画像P6の唇に対応する似顔絵画像P7の領域を着色領域として特定した後(ステップS27)、画像着色部6lは、似顔絵画像P7の着色領域の唇に対応する領域を赤色に着色して(ステップS28)、図4のフローチャートのステップS10に戻る(リターン)。
例えば、図8(b)に示すように、笑顔でなく、且つ、口を閉じた第2の顔構成部画像P6の唇の構成部に対応する似顔絵画像P7の領域を着色領域PT10として赤色に着色して、着色済みの似顔絵画像P8とする。
【0072】
一方、ステップS22にて、重なり具合として特定された画素数が第1の判定値よりも多くないと判定された場合(ステップS22:No)、着色領域特定部6kによる着色領域の特定(その後の画像着色部6lによる着色処理)を行うことなく、図4のフローチャートのステップS10に戻る(リターン)。
例えば、図6(b)に示すように、第2の顔構成部画像P6の口領域PT3と、似顔絵画像P7の口領域PT4(例えば、エッジとして検出された画素)との位置が一致していなければ、第2の顔構成部画像P6の口領域PT3の中に、似顔絵画像P7の口領域PT4の画素が存在しないし、或いは、画素の数が少ないことになる。
このような状態で、似顔絵画像P7の着色処理(例えば、第2の顔構成部画像P6の唇に対応する部分を赤色で着色)を行うと、似顔絵画像P7は、図9(a)に示すように、似顔絵画像P7の口領域PT11の上方、具体的には、似顔絵画像P7の口と鼻の間が赤色に着色されてしまい、不自然な似顔絵になる。そこで、着色領域特定部6kによる着色領域の特定を行うことなく、図9(b)に示すような、より自然な似顔絵画像P7とする。
【0073】
その後、図4に戻って、画像記録部5は、画像比較部6iの比較結果や画像判定部6jの判定結果に基づき画像着色部6lによって着色済の似顔絵画像P8、或いは、画像着色部6lによって着色されなかった似顔絵画像P7の画像データ(YUVデータ)を取得して記録する(ステップS10)。
これにより、似顔絵画像生成処理を終了する。
【0074】
以上のように、本実施形態の撮像装置100によれば、元画像に対して互いに異なる処理が施されることで生成された当該元画像内の顔の主要な構成部に係る第1顔構成部画像P4及び第2の顔構成部画像P6を比較し、当該比較結果に基づいて、第1の顔構成部画像P4における顔の主要な構成部に対応する着色領域を特定するので、第1の顔構成部画像P4のみを用いて着色領域を特定する場合に比べて、着色領域の特定精度を向上させることができる。
即ち、異なる処理により生成された第1顔構成部画像P4及び第2の顔構成部画像P6を比較することで、一の構成部の認識に対して画像情報の異なる二つの画像を用いることができ、第1の顔構成部画像P4のみを用いる場合に比べて構成部の誤認識を抑制することができることとなって、当該構成部に対応する着色領域の特定を精度良く行うことができる。
【0075】
また、元画像に対してエッジ検出処理が施されることで生成された第1の顔構成部画像P4や、元画像に対して微細部抽出処理が施されることで生成された第2の顔構成部画像P6を用いることで、画像情報の異なる画像どうしを比較することができ、着色領域の特定精度を向上させることができる。
【0076】
また、元画像が笑顔であるか否か判定し、当該判定結果に基づき第1の顔構成部画像P4の着色領域を特定したり、第2の顔構成部画像P6における口中に相当する領域の面積が、所定の判定値よりも大きいか否かを判定し、当該判定結果に基づき第1の顔構成部画像P4の着色領域を特定するので、着色領域を特定するための条件付けを細かく設定することができ、着色領域の特定精度を向上させることができる。
【0077】
また、特定された着色領域を着色する画像着色部6lを備えているので、例えば、構成部としての目、鼻、唇、口中、眉のうちの少なくとも一つに対応する着色領域を着色することができる。即ち、精度良く特定された着色領域を着色することができることとなって、構成部の本来の位置に対して着色された領域が大きくずれたような不自然な着色を抑制することができる。
具体的には、特定された着色領域を着色するとともに、第1の顔構成部画像P4を用いて似顔絵画像P7を生成することができる。より具体的には、元画像内の顔の特徴情報に対応する顔輪郭画像と第1の顔構成部画像P4とを用いて似顔絵画像P7を生成し、当該似顔絵画像P7における、特定された着色領域を着色するので、似顔絵画像P7における構成部の本来の位置に対応する領域が着色されたより自然な似顔絵画像P8を生成することができる。
【0078】
また、第1の顔構成部画像P4及び第2の顔構成部画像P6の構成部に相当する領域どうしを重ね合わせて比較し、当該比較の結果、構成部に相当する領域どうしの重なり具合が所定値よりも少ない場合には、着色領域を特定しないので、着色領域を特定するための条件付けを細かく設定することができ、精度の悪い着色領域の特定を防止することができることとなって、この結果、構成部の本来の位置に対して着色された領域が大きくずれたような不自然な着色を抑制することができる。
【0079】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、第1及び第2の顔構成部画像の生成後に特徴情報(顔の輪郭の形状等)の抽出を行うようにしたが、これらの処理の順序は一例であってこれに限られるものではなく、順序を逆、即ち、特徴情報の抽出処理後に第1及び第2の顔構成部画像の生成処理を行うようにしても良い。
【0080】
また、顔検出部6bにより検出された顔領域F1から第1及び第2の顔構成部画像を生成するようにしたが、顔検出処理を施す顔検出部6bを具備するか否かは適宜任意に変更可能である。
さらに、第1及び第2の顔構成部画像の生成元となる画像は、正面顔を表した画像P3である必要はなく、例えば、斜めを向くように顔が傾いた画像の場合には、当該顔が正面を向くように変形させた画像を生成して、生成元として用いても良い。
【0081】
また、髪型画像P1及び顔輪郭画像P2を記録する画像記録部5を備える構成としたが、これに限られず、例えば、当該装置本体と所定の通信ネットワークを介して接続可能な所定のサーバに髪型画像P1及び顔輪郭画像P2を記録しておく構成とし、図示しない通信処理部から通信ネットワークを介して所定のサーバにアクセスして、画像取得部6aは、当該サーバから髪型画像P1及び顔輪郭画像P2を取得する構成としても良い。
【0082】
また、上記実施形態では、髪型画像P1及び顔輪郭画像P2に、第1の顔構成部画像P4の目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させて似顔絵画像P7を生成するようにしたが、一例であってこれに限られるものではない。
【0083】
また、上記実施形態では、一例として、画像比較部6iの比較結果や画像判定部6jの判定結果に基づき、着色領域特定部6kが、第2の顔構成部画像P6の唇に対応する領域を着色領域と特定し、画像着色部6lが似顔絵画像P7の着色領域(例えば、唇や口の中)を着色することに関して説明しているが、勿論、比較結果等に基づき、着色領域特定部6kが、第2の顔構成部画像P6の他の構成部に対応する領域を着色領域と特定し、画像着色部6lが、似顔絵画像P7の着色領域(例えば、目、鼻、眉等)を着色するものであっても構わない。
【0084】
さらに、画像着色部6lは、画像比較部6iの比較結果等に基づき、似顔絵画像生成部6hにより生成された似顔絵画像P7と重ね合わされた第2の顔構成部画像P6の顔の構成部を着色し、着色された第2の顔構成部画像P6の顔の構成部を似顔絵画像P7と合成して着色された似顔絵画像P8を生成しても構わない。
即ち、画像着色部6lは、画像比較部6iの比較結果等に基づき、似顔絵画像P7と重ね合わされている第2の顔構成部画像P6の顔の構成部である唇や口の中を着色し、着色された第2の顔構成部画像P6の顔の構成部を似顔絵画像P7と合成して着色された似顔絵画像P8を生成する。
この場合、着色された第2の顔構成部画像P6の顔の構成部を半透明にして最前面の層に合成して、似顔絵画像P7を構成する第1の顔構成部画像P4のエッジとして検出された画素が視認できようにすることが好ましい。或いは、似顔絵画像P7を構成する第1の顔構成部画像P4のエッジとして検出された画素を、最前面の層にして、着色された第2の顔構成部画像P6の顔の構成部の上に検出された画素が視認できように合成されることが好ましい。
【0085】
また、上記実施形態では、説明の簡単のために、髪型画像P1と顔輪郭画像P2とを別々に取り扱って説明しているが、髪形画像P1と顔輪郭画像P2が一体となった画像を、顔輪郭画像P2として取り扱っても構わない。
すなわち、髪の輪郭を表すと共に、顔の形状に対応した顔輪郭画像P2を用いることも可能である。また、勿論、顔輪郭画像P2が、顔の輪郭のみであって、髪型の輪郭を含まないものでも構わない。
【0086】
また、上記実施形態では、説明の簡単のために、第1生成手段として、第1構成部画像生成部6cと、第2構成部画像生成部6dとを別々に取り扱って説明しているが、勿論、一つの構成部画像生成部(例えば、第1構成部画像生成部6c)によって、異なる処理(例えば、エッジ検出処理及びAAM)により、第1及び第2の顔構成部画像をそれぞれ生成するものであっても構わない。
【0087】
また、上記実施形態の画像着色処理では、ステップS22において、第2の顔構成部画像P6の口に相当する領域内に存在する似顔絵画像P7の口に相当する領域の画素数が第1の判定値よりも多いか否かを比較判定しているので、必要に応じて、ステップS30の処理を省略しても構わない。
【0088】
また、上記実施形態では、一例として、画像比較部6iの比較結果や画像判定部6jの判定結果に基づき、着色領域特定部6kが、第2の顔構成部画像P6の唇に対応する似顔絵画像P7の領域を着色領域と特定し、画像着色部6lが似顔絵画像P7の着色領域(例えば、唇や口の中)を着色することに関して説明しているが、勿論、画像生成部6hにより似顔絵画像P7を生成する前に、画像比較部6iにより第1の顔構成部画像P4と第2の顔構成部画像P6とを比較等し、当該比較結果等に基づいて、着色領域特定部6kが、第2の顔構成部画像P6の唇に対応する第1の顔構成部画像P4の領域を着色領域と特定し、画像着色部6lにより第1の顔構成部画像P4の着色領域(例えば、唇や口の中)を着色しておいてから、似顔絵画像P7を生成するものであっても構わない。
【0089】
さらに、撮像装置100の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、画像処理装置として、撮像装置100を例示したが、これに限られるものではなく、本発明に係る画像処理を実行可能なものであれば如何なる構成であっても良い。
【0090】
加えて、上記実施形態にあっては、第1取得手段、第1生成手段、比較手段、特定手段としての機能を、中央制御部10の制御下にて、画像取得部6a、第1構成部画像生成部6c、画像比較部6i、着色領域特定部6kが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部10によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、第1取得処理ルーチン、第1生成処理ルーチン、比較処理ルーチン、特定処理ルーチンを含むプログラムを記憶しておく。そして、第1取得処理ルーチンにより中央制御部10のCPUを、画像を取得する手段として機能させるようにしても良い。また、第1生成処理ルーチンにより中央制御部10のCPUを、取得された画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第1及び第2の顔構成部画像をそれぞれ生成する手段として機能させるようにしても良い。また、比較処理ルーチンにより中央制御部10のCPUを、生成された第1の顔構成部画像と第2の顔構成部画像とを比較する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部10のCPUを、比較結果に基づいて、前記第1の顔構成部画像における前記構成部に対応する着色領域を特定する手段として機能させるようにしても良い。
【0091】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM(Compact Disc Read Only Memory)、読み出し専用型DVD(Digital Versatile Disc)及び書き込み可能型DVD等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
【0092】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
画像を取得する第1取得手段と、
前記第1取得手段により取得された画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第1及び第2の顔構成部画像をそれぞれ生成する第1生成手段と、
前記第1生成手段により生成された前記第1の顔構成部画像と前記第2の顔構成部画像とを比較する比較手段と、
前記比較手段の比較結果に基づいて、前記第1の顔構成部画像における前記構成部に対応する着色領域を特定する特定手段と、
を備えたことを特徴とする画像処理装置。
<請求項2>
前記第1生成手段は、前記第1取得手段により取得された画像に対してエッジ検出処理を施して、前記第1の顔構成部画像を生成することを特徴とする請求項1に記載の画像処理装置。
<請求項3>
前記第1生成手段は、前記第1取得手段により取得された画像に対して微細部抽出処理を施して、前記第2の顔構成部画像を生成することを特徴とする請求項1又は2に記載の画像処理装置。
<請求項4>
前記画像内の顔が笑顔であるか否か判定する第1判定手段を更に備え、
前記特定手段は、更に前記第1判定手段の判定結果に基づいて、前記着色領域を特定することを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。
<請求項5>
前記第2の顔構成部画像における口中に相当する領域の面積が、所定の判定値よりも大きいか否かを判定する第2判定手段を更に備え、
前記特定手段は、更に前記第2判定手段の判定結果に基づいて、前記着色領域を特定することを特徴とする請求項1〜4の何れか一項に記載の画像処理装置。
<請求項6>
前記特定手段により特定された前記着色領域を着色する着色手段を更に備えることを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。
<請求項7>
前記着色手段は、目、鼻、唇、口中、眉のうちの少なくとも一つに対応する前記着色領域を着色することを特徴とする請求項6に記載の画像処理装置。
<請求項8>
前記第1取得手段により取得された画像内の顔の特徴情報に対応する顔輪郭画像を取得する第2取得手段と、
前記第2取得手段より取得された顔輪郭画像と前記第1の顔構成部画像とを用いて似顔絵画像を生成する第2生成手段と、を更に備え、
前記着色手段は、
前記第2生成手段により生成された似顔絵画像における、前記特定手段により特定された前記着色領域を着色することを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。
<請求項9>
前記比較手段は、前記第1の顔構成部画像及び前記第2の顔構成部画像の前記構成部に相当する領域どうしを重ね合わせて比較し、
前記特定手段は、前記比較手段による比較の結果、前記構成部に相当する領域どうしの重なり具合が所定値よりも少ない場合には、前記着色領域を特定しないことを特徴とする請求項1〜8の何れか一項に記載の画像処理装置。
<請求項10>
顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第1及び第2の顔構成部画像をそれぞれ生成する処理と、
生成された前記第1の顔構成部画像と前記第2の顔構成部画像とを比較する処理と、
比較結果に基づいて、前記第1の顔構成部画像における前記構成部に対応する着色領域を特定する処理と、
を含むことを特徴とする画像処理方法。
<請求項11>
顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第1及び第2の顔構成部画像をそれぞれ生成する処理と、
生成された前記第1の顔構成部画像と前記第2の顔構成部画像とを比較する処理と、
比較結果に基づいて、前記第1の顔構成部画像における前記構成部に対応する着色領域を特定する処理と、
特定された前記着色領域を着色するとともに、前記第1の顔構成部画像を用いて似顔絵画像を生成する処理と、
を含むことを特徴とする画像生成方法。
<請求項12>
画像処理装置のコンピュータを、
顔を含む画像に対して互いに異なる処理を施して、当該画像内の顔の主要な構成部に係る第1及び第2の顔構成部画像をそれぞれ生成する第1生成手段、
前記第1生成手段により生成された前記第1の顔構成部画像と前記第2の顔構成部画像とを比較する比較手段、
前記比較手段の比較結果に基づいて、前記第1の顔構成部画像における前記構成部に対応する着色領域を特定する特定手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【0093】
100 撮像装置
1 撮像部
5 画像記録部
6 画像処理部
6a 画像取得部
6b 顔検出部
6c 第1構成部画像生成部
6d 第2構成部画像生成部
6e 特徴情報抽出部
6f 髪型画像特定部
6g 顔輪郭画像特定部
6h 似顔絵画像生成部
6i 画像比較部
6j 画像判定部
6k 着色領域特定部
6l 画像着色部
10 中央制御部
図1
図3
図4
図5
図6
図2
図7
図8
図9