特許 6606935 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6606935

(24)【登録日】2019年11月1日

(45)【発行日】2019年11月20日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 11/80 20060101AFI20191111BHJP

【ＦＩ】

   G06T11/80 D

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2015-180314(P2015-180314)

(22)【出願日】2015年9月14日

(65)【公開番号】特開2017-58708(P2017-58708A)

(43)【公開日】2017年3月23日

【審査請求日】2018年8月31日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】石井 克典

(72)【発明者】

【氏名】島田 敬輔

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開平０８−３０５８３６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １１／８０

(57)【特許請求の範囲】

【請求項1】

複数の顔構成部のそれぞれに対応する複数の第１の部品画像並びに第１の背景を有する第１の顔画像と、複数の顔構成部のそれぞれに対応する複数の第２の部品画像並びに第２の背景を有する第２の顔画像とに基づいて、新たな顔画像を生成するために前記第１及び第２の部品画像をそれぞれ少なくとも一つ取得する第１取得手段と、
前記第１取得手段により取得された前記第１の部品画像と前記第１の背景とを関連付ける第１の背景情報と、取得された前記第２の部品画像と前記第２の背景とを関連付ける第２の背景情報とに基づいて、前記新たな顔画像の背景を生成する背景生成手段と、
を備えたことを特徴とする画像処理装置。

【請求項2】

前記背景生成手段は、前記第１及び第２の背景情報のそれぞれにより関連付けられている前記第１及び第２の部品画像に係る前記第１及び第２の顔構成部の重要度に基づいて、前記新たな顔画像の背景を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記背景生成手段は、前記第１及び第２の背景情報のそれぞれにより関連付けられている前記第１及び第２の部品画像に係る顔構成部の重要度に応じた評価値を特定し、特定された評価値に基づいて、前記新たな顔画像の背景を生成することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記新たな顔画像の元となる元顔画像の本人情報を取得する第２取得手段を更に備え、
前記背景生成手段は、前記第１及び第２の背景情報並びに前記第２取得手段により取得された本人情報に基づいて、前記新たな顔画像の背景を生成することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。

【請求項5】

前記第１及び第２の部品画像及び前記背景生成手段により生成された背景を用いて、前記新たな顔画像として似顔絵画像を生成する似顔絵生成手段を更に備えることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。

【請求項6】

画像処理装置を用いた画像処理方法であって、
複数の顔構成部のそれぞれに対応する複数の第１の部品画像並びに第１の背景を有する第１の顔画像と、複数の顔構成部のそれぞれに対応する複数の第２の部品画像並びに第２の背景を有する第２の顔画像とに基づいて、新たな顔画像を生成するために前記第１及び第２の部品画像をそれぞれ少なくとも一つ取得する処理と、
取得された前記第１の部品画像と前記第１の背景とを関連付ける第１の背景情報と、取得された前記第２の部品画像と前記第２の背景とを関連付ける第２の背景情報とに基づいて、前記新たな顔画像の背景を生成する処理と、
を含むことを特徴とする画像処理方法。

【請求項7】

画像処理装置のコンピュータを、
複数の顔構成部のそれぞれに対応する複数の第１の部品画像並びに第１の背景を有する第１の顔画像と、複数の顔構成部のそれぞれに対応する複数の第２の部品画像並びに第２の背景を有する第２の顔画像とに基づいて、新たな顔画像を生成するために前記第１及び第２の部品画像をそれぞれ少なくとも一つ取得する第１取得手段、
前記第１取得手段により取得された前記第１の部品画像と前記第１の背景とを関連付ける第１の背景情報と、取得された前記第２の部品画像と前記第２の背景とを関連付ける第２の背景情報とに基づいて、前記新たな顔画像の背景を生成する背景生成手段、
として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

従来、目、鼻、口、耳、顔輪郭等の顔部品の特徴点を用いて似顔絵を作成する似顔絵作成装置が知られている（例えば、特許文献１参照）。また、各部位ごとに予め用意されているパーツオブジェクトを組み合わせてキャラクタを作成するゲーム装置が知られている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４−１４５６２５号公報

【特許文献2】特開２００８−６１８９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、似顔絵画像を自動的に生成する場合、背景については色や模様が予め規定されていたり、ユーザが所定操作により選択した色や模様で表したりするようになっており、新たに生成される似顔絵画像の内容に相応しくない背景となってしまうといった問題がある。

【0005】

本発明の課題は、新たに生成される顔画像の背景を適正なものとすることができる画像処理装置、画像処理方法及びプログラムを提供することである。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明に係る画像処理装置は、
複数の顔構成部のそれぞれに対応する複数の第１の部品画像並びに第１の背景を有する第１の顔画像と、複数の顔構成部のそれぞれに対応する複数の第２の部品画像並びに第２の背景を有する第２の顔画像とに基づいて、新たな顔画像を生成するために前記第１及び第２の部品画像をそれぞれ少なくとも一つ取得する第１取得手段と、
前記第１取得手段により取得された前記第１の部品画像と前記第１の背景とを関連付ける第１の背景情報と、取得された前記第２の部品画像と前記第２の背景とを関連付ける第２の背景情報とに基づいて、前記新たな顔画像の背景を生成する背景生成手段と、
を備えたことを特徴としている。

【0007】

また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、
複数の顔構成部のそれぞれに対応する複数の第１の部品画像並びに第１の背景を有する第１の顔画像と、複数の顔構成部のそれぞれに対応する複数の第２の部品画像並びに第２の背景を有する第２の顔画像とに基づいて、新たな顔画像を生成するために前記第１及び第２の部品画像をそれぞれ少なくとも一つ取得する処理と、
取得された前記第１の部品画像と前記第１の背景とを関連付ける第１の背景情報と、取得された前記第２の部品画像と前記第２の背景とを関連付ける第２の背景情報とに基づいて、前記新たな顔画像の背景を生成する処理と、
を含むことを特徴としている。

【0008】

また、本発明に係るプログラムは、
画像処理装置のコンピュータを、
複数の顔構成部のそれぞれに対応する複数の第１の部品画像並びに第１の背景を有する第１の顔画像と、複数の顔構成部のそれぞれに対応する複数の第２の部品画像並びに第２の背景を有する第２の顔画像とに基づいて、新たな顔画像を生成するために前記第１及び第２の部品画像をそれぞれ少なくとも一つ取得する第１取得手段、
前記第１取得手段により取得された前記第１の部品画像と前記第１の背景とを関連付ける第１の背景情報と、取得された前記第２の部品画像と前記第２の背景とを関連付ける第２の背景情報とに基づいて、前記新たな顔画像の背景を生成する背景生成手段、
として機能させることを特徴としている。

【発明の効果】

【0009】

本発明によれば、新たに生成される顔画像の背景を適正なものとすることができる。

【図面の簡単な説明】

【0010】

【図1】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。

【図2】図１の撮像装置に記憶されている似顔絵画像の一例を模式的に示す図である。

【図3】図１の撮像装置に記憶されている部品重要度テーブルの一例を示す図である。

【図4】図１の撮像装置による似顔絵画像生成処理に係る動作の一例を示すフローチャートである。

【図5】図４の似顔絵画像生成処理を説明するための図である。

【図6】撮像装置の変形例の概略構成を示すブロック図である。

【発明を実施するための形態】

【0011】

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

【0012】

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、中央制御部１と、メモリ２と、撮像部３と、画像データ生成部４と、画像処理部５と、表示部６と、操作入力部７と、記憶部８と、似顔絵処理部９とを備えている。
また、中央制御部１、メモリ２、撮像部３、画像データ生成部４、画像処理部５、表示部６、操作入力部７、記憶部８及び似顔絵処理部９は、バスライン１０を介して接続されている。

【0013】

なお、撮像装置１００は、公知のものを適用可能であり、本実施形態のように、主要な機能を撮影機能とするデジタルカメラだけでなく、主要な機能としないものの撮影機能を具備する携帯電話機、スマートフォン等の携帯端末なども含む。

【0014】

中央制御部１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

【0015】

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１や画像処理部５や似顔絵処理部９等の各部によって処理されるデータ等を一時的に格納する。

【0016】

撮像部３は、被写体を撮影する。具体的には、撮像部３は、レンズ部３ａと、電子撮像部３ｂと、撮像制御部３ｃとを備えている。

【0017】

レンズ部３ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部３ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部３ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部３は、レンズ部３ａを通過する光の量を調整する絞りを備えていても良い。

【0018】

撮像制御部３ｃは、撮像部３による被写体の撮影を制御する。すなわち、撮像制御部３ｃは、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３ｃは、タイミング発生器、ドライバにより電子撮像部３ｂを走査駆動して、所定周期毎に光学像を電子撮像部３ｂにより二次元の画像信号に変換させ、当該電子撮像部３ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部４に出力させる。
なお、撮像制御部３ｃは、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮影する際の条件の調整制御を行っても良い。

【0019】

画像データ生成部４は、撮像部３の電子撮像部３ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。また、画像データ生成部４は、生成された輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒをバッファメモリとして使用されるメモリ２に出力する。

【0020】

画像処理部５は、画像を記憶する際には、メモリ２から輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを取得し、所定の符号化方式（例えば、ＪＰＥＧ形式、モーションＪＰＥＧ形式、ＭＰＥＧ形式等）で符号化して記憶部８に出力する。
また、画像処理部５は、画像を再生表示する場合には、メモリ２や記憶部８から読み出された表示対象に係る静止画像や動画像の画像データを対応する所定の符号化方式に従って復号して表示部６に出力する。このとき、画像処理部５は、例えば、表示パネル６ｂの表示解像度等に基づいて所定サイズ（例えば、ＶＧＡやＱＶＧＡサイズ）に縮小して表示部６に出力しても良い。

【0021】

表示部６は、表示制御部６ａと、表示パネル６ｂとを具備している。

【0022】

表示制御部６ａは、メモリ２や記憶部８から読み出され画像処理部５により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル６ｂの表示領域に表示させる制御を行う。具体的には、表示制御部６ａは、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、画像処理部５により復号されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレートで読み出して、これらのデータを元にビデオ信号を発生して表示パネル６ｂに出力する。

【0023】

表示パネル６ｂは、表示制御部６ａからのビデオ信号に基づいて撮像部３により撮影された画像などを表示領域内に表示する。具体的には、表示パネル６ｂは、静止画の撮影モードや動画像の撮影モードにて、撮像部３による被写体の撮影により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示パネル６ｂは、記憶部８に記憶される被写体の静止画像（レックビュー画像）を表示したり、撮影中の被写体の動画像を表示したりする。
なお、表示パネル６ｂとしては、例えば、液晶表示パネルや有機ＥＬ（Electro-Luminescence）表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。

【0024】

操作入力部７は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部７は、被写体の撮像指示に係るシャッタボタン、撮影モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部７は、操作されたボタンに応じた操作指示を中央制御部１に出力する。中央制御部１は、操作入力部７から出力され入力された操作指示に従って所定の動作（例えば、被写体の撮影等）を各部に実行させる。

【0025】

記憶部８は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部５により所定の符号化方式で符号化された静止画像や動画像の記憶用の画像データを記憶する。

【0026】

また、記憶部８は、各似顔絵作者が描画した似顔絵画像Ａを記憶している。
似顔絵画像Ａは、例えば、目、鼻、口、眉、顔輪郭等の主要な顔構成部に係る複数の部品画像ｐ、…を背景の画像と組み合わせて構成されたデータである。具体的には、例えば、第１の似顔絵作者により描画された第１似顔絵画像Ａ１、第２の似顔絵作者により描画された第２似顔絵画像Ａ２、第３の似顔絵作者により描画された第３似顔絵画像Ａ３等が挙げられるが、一例であってこれに限られるものではない（図２（ａ）〜図２（ｃ）参照）。
また、各似顔絵画像Ａの背景は、例えば、各似顔絵作者により指定された色や模様等が表されている。具体的には、例えば、第１似顔絵画像Ａ１では背景が青色であり、第２似顔絵画像Ａ２では背景が黄色であり、第３似顔絵画像Ａ３では背景が緑色であるが、一例であってこれに限られるものではない。

【0027】

なお、第１似顔絵画像Ａ１、第２似顔絵画像Ａ２及び第３似顔絵画像Ａ３は、一人の似顔絵作者により描画されたものであってもよい。例えば、第４の似顔絵作者が、同一の被写体の第１〜第３似顔絵画像Ａ１〜Ａ３を描画したものであっても良く、例えば、被写体が喜んでいるときの似顔絵画像Ａを第１似顔絵画像Ａ１とし、被写体が笑っているときの似顔絵画像Ａを第２似顔絵画像Ａ２とし、被写体が怒っているときの似顔絵画像Ａを第３似顔絵画像Ａ３としても良い。
この場合、複数の似顔絵画像Ａ、…を用いて新たな似顔絵画像Ｑを作成する際に、一人の似顔絵作者により描画された複数の似顔絵画像Ａ、…を用いることで、似顔絵作者の一定の作風を実現することが可能となる。
なお、図２（ａ）〜図２（ｃ）にあっては、背景の色の相違をパターン（模様）の相違で模式的に表している。

【0028】

また、記憶部８は、部品重要度テーブルＴを記憶している。
部品重要度テーブルＴは、似顔絵画像Ｑの生成に用いられる部品画像ｐに係る顔構成部の重要度が規定されている。具体的には、部品画像ｐに係る顔構成部の名称と、顔構成部の重要度と、似顔絵画像Ｑの背景の生成に用いられる評価値とが対応付けられている（図３参照）。
ここで、重要度は、例えば、数字が小さいほど重要度が高くなり、４段階で表している。また、評価値は、例えば、数字が大きいほど評価が高くなる。
なお、上記した部品重要度テーブルＴの内容は、一例であってこれに限られるものではなく、適宜任意に変更可能である。

【0029】

また、記憶部８は、例えば、記憶媒体（図示略）が着脱自在に構成され、装着された記憶媒体からのデータの読み出しや記憶媒体に対するデータの書き込みを制御する構成であっても良い。

【0030】

似顔絵処理部９は、元画像取得部９ａと、部品画像取得部９ｂと、関連情報取得部９ｃと、背景生成部９ｄと、似顔絵画像生成部９ｅとを具備している。
なお、似顔絵処理部９の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

【0031】

元画像取得部９ａは、似顔絵画像生成処理の処理対象の元画像（図示略）を取得する。
すなわち、元画像取得部９ａは、例えば、撮像部３による被写体の顔の撮影の際に、画像データ生成部４により生成された静止画像（例えば、写真画像等）の画像データ（ＲＧＢデータやＹＵＶデータ）の複製をメモリ２から取得したり、記憶部８に記憶されている静止画像の画像データの複製を元画像として取得したりする。そして、元画像取得部９ａは、取得された静止画像を元画像として、その画像データに対して所定の顔検出処理を行って顔領域を検出する。
ここで、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

【0032】

なお、元画像取得部９ａは、動画像を構成する複数のフレーム画像の中から自動的に特定された一のフレーム画像、或いは、ユーザによる操作入力部７の所定操作に基づいて指定された一のフレーム画像を元画像として取得しても良い。
また、後述する似顔絵処理部９による各処理は、元画像の画像データ自体に対して行われても良いし、必要に応じて元画像の画像データを所定の比率で縮小した所定サイズ（例えば、ＶＧＡサイズ等）の縮小画像データに対して行われても良い。

【0033】

部品画像取得部９ｂは、部品画像ｐを取得する。
すなわち、部品画像取得部９ｂは、複数の似顔絵画像（処理済み顔画像）Ａ、…から複数の顔構成部に対応する複数の部品画像ｐを取得する。具体的には、部品画像取得部（第１取得手段）９ｂは、複数の顔構成部のそれぞれに対応する複数の第１の部品画像（例えば、部品画像ｐ１等）並びに第１の背景（例えば、青色の背景等）を有する第１の顔画像（例えば、第１似顔絵画像Ａ１等）と、複数の顔構成部のそれぞれに対応する複数の第２の部品画像（例えば、部品画像ｐ２等）並びに第２の背景（例えば、黄色色の背景等）を有する第２の顔画像（例えば、第２似顔絵画像Ａ２等）とに基づいて、新たな似顔絵画像Ｑを生成するために第１及び第２の部品画像をそれぞれ少なくとも一つ取得する。
ここで、第１の顔画像と第２の顔画像とは、互いに異なる顔画像であれば良い。また、３以上の互いに異なる顔画像（例えば、第１〜第３似顔絵画像Ａ１〜Ａ３等）から新たな似顔絵画像Ｑを生成しても良い。

【0034】

例えば、部品画像取得部９ｂは、元画像取得部９ａにより取得された元画像の画像データに対して所定の顔検出処理を行って顔領域を検出し、例えば、ＡＡＭ（Active Appearance Model）を用いた処理により、目、鼻、口、眉、顔輪郭等の主要な顔構成部を検出する。ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、部品画像取得部９ｂは、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、部品画像取得部９ｂは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔領域の画像をモデル化する。これにより、元画像内で目、鼻、口、眉、顔輪郭等の顔構成部がモデル化される。
そして、部品画像取得部９ｂは、検出された主要な顔構成部毎に、記憶部８に記憶されている複数の似顔絵画像Ａ、…から、各顔構成部に対応する部品画像ｐを特定する。ここで、顔構成部に対応する部品画像ｐの特定手法としては、以下の手法が挙げられる。すなわち、部品画像取得部９ｂは、例えば、各顔構成部と各似顔絵画像Ａを構成する部品画像ｐの各々に制御点を設定して、これら制御点間の距離が最小二乗法で最も小さくなるパラメータを算出し、算出されたパラメータでの制御点間の距離の総和を当該部品画像ｐの評価値とする。部品画像取得部９ｂは、算出された複数の部品画像ｐ、…の評価値を比較して、各顔構成部と最も合致する部品画像ｐをそれぞれ特定する。例えば、部品画像取得部９ｂは、顔輪郭として、第１似顔絵画像Ａ１を構成する顔輪郭の部品画像ｐ１を特定し、眉として、第２似顔絵画像Ａ２を構成する眉の部品画像ｐ２を特定し、目として、第３似顔絵画像Ａ３を構成する目の部品画像ｐ３を特定し、鼻として、第１似顔絵画像Ａ１を構成する鼻の部品画像ｐ１を特定し、口として、第２似顔絵画像Ａ２を構成する口の部品画像ｐ２を特定する（図５（ａ）参照）。

【0035】

なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。また、ＡＡＭを用いて顔構成部の検出を行うようにしたが、一例であってこれに限られるものではなく、例えば、エッジ抽出処理、非等方拡散処理、テンプレートマッチング等適宜任意に変更可能である。
また、各顔構成部に対応する部品画像ｐを自動的に特定するようにしたが、一例であってこれに限られるものではなく、例えば、ユーザによる操作入力部７の所定操作に基づいて複数の部品画像ｐ、…の中からユーザ所望の部品画像ｐを指定しても良い。

【0036】

関連情報取得部９ｃは、関連情報を取得する。
すなわち、関連情報取得部９ｃは、部品画像取得部９ｂにより取得された部品画像ｐと背景とを関連付けている関連情報を取得する。
ここで、記憶部８に記憶されている複数の似顔絵画像（第１及び第２の顔画像）Ａ、…の各々は、複数の部品画像（第１及び第２の部品画像）ｐのそれぞれと背景（第１及び第２の背景）とが背景情報（第１及び第２の背景情報）により関連付けられている。つまり、例えば、第１似顔絵画像Ａ１を構成する複数の部品画像ｐ１のそれぞれと背景色「青色」等に係る背景情報が関連付けられ、また、第２似顔絵画像Ａ２を構成する複数の部品画像ｐ２のそれぞれと背景色「黄色」等に係る背景情報が関連付けられ、また、第３似顔絵画像Ａ３を構成する複数の部品画像ｐ３のそれぞれと背景色「緑色」等に係る背景情報が関連付けられている。
関連情報取得部９ｃは、具体的には、部品画像取得部９ｂにより取得された部品画像ｐに対応する似顔絵画像、つまり、部品画像ｐが構成パーツとなっている似顔絵画像の背景の色や模様等の背景情報（例えば、顔輪郭の部品画像ｐの場合には、第１似顔絵画像Ａ１の背景色「青色」等）を関連情報として取得する。そして、関連情報取得部９ｃは、取得された全ての関連情報をまとめてパーツリストＬ（図５（ｂ）参照）に登録する。

【0037】

背景生成部９ｄは、似顔絵画像Ｑの背景を生成する。
すなわち、背景生成部（背景生成手段）９ｄは、関連情報取得部９ｃにより関連情報として取得された、第１の部品画像（例えば、部品画像ｐ１等）と第１の背景（例えば、青色の背景等）とを関連付ける第１の背景情報と、取得された第２の部品画像（例えば、部品画像ｐ２等）と第２の背景（例えば、黄色色の背景等）とを関連付ける第２の背景情報とに基づいて、部品画像取得部９ｂにより取得された部品画像ｐを用いて生成される新たな似顔絵画像Ｑの背景を生成する。
ここで、第１の背景情報と第２の背景情報とは、互いに異なる顔画像に対応するものであれば良い。また、３以上の互いに異なる顔画像（例えば、第１〜第３似顔絵画像Ａ１〜Ａ３等）に対応する背景情報に基づいて、新たな似顔絵画像Ｑの背景を生成しても良い。

【0038】

具体的には、背景生成部９ｄは、記憶部８から部品重要度テーブルＴを読み出して取得し、関連情報取得部９ｃにより取得された複数の関連情報（第１及び第２の背景情報）の各々により関連付けられている部品画像ｐの各々について、対応する顔構成部の重要度を特定する。また、背景生成部９ｄは、部品重要度テーブルＴを参照して、特定された重要度に応じた評価値を特定し、パーツリストＬに登録する。そして、背景生成部９ｄは、特定された評価値に基づいて、部品画像ｐを用いて生成される似顔絵画像Ｑの背景の色や模様等を特定して生成する。
例えば、顔輪郭の部品画像ｐの場合、背景生成部９ｄは、部品重要度テーブルＴを参照して、当該顔輪郭の重要度として「３」を特定し、その評価値として「２」を特定する。そして、背景生成部９ｄは、特定された評価値「２」をパーツリストに登録する。また、背景生成部９ｄは、他の顔構成部（例えば、目、鼻、口、眉等）の部品画像ｐの各々についても同様の処理を行う。
そして、背景生成部９ｄは、各部品画像ｐに対応する似顔絵画像の背景情報（背景色等）毎に、特定された評価値に基づいて所定の演算（例えば、加算等）を行って各背景情報の総評価値を算出する。例えば、図５（ｂ）に示すパーツリストＬの場合、第１似顔絵画像Ａ１の背景色「青色」については、顔輪郭の評価値「２」と鼻の評価値「１」とを加算して、総評価値「３」とし、第２似顔絵画像Ａ２の背景色「黄色」については、眉の評価値「２」と口の評価値「５」とを加算して、総評価値「７」とし、第３似顔絵画像Ａ３の背景色「緑色」については、目の評価値「８」のみから総評価値「８」とする。
そして、背景生成部９ｄは、算出された総評価値どうしを比較して、最も総評価値の高い背景情報に係る第３似顔絵画像Ａ３の背景色「緑色」を、似顔絵画像Ｑの背景色として特定する。

【0039】

似顔絵画像生成部９ｅは、似顔絵画像Ｑを生成する。
すなわち、似顔絵画像生成部（似顔絵生成手段）９ｅは、部品画像取得部９ｂにより取得された部品画像（第１及び第２の部品画像）ｐ及び背景生成部９ｄにより生成された背景を用いて、新たな顔画像として似顔絵画像Ｑを生成する。具体的には、似顔絵画像生成部９ｅは、部品画像取得部９ｂにより取得された各部品画像ｐの制御点を各顔構成部の制御点に対応させるように部品画像ｐを変形させ、所定の髪型画像と組み合わせるとともに、顔輪郭及び髪型画像の外側を背景生成部９ｄにより特定された背景色「緑色」として、似顔絵画像Ｑを生成する（図５（ｃ）参照）。
ここで、似顔絵画像生成部９ｅは、似顔絵画像Ｑの所定の部分（例えば、目、口、眉等の顔構成部等）に所定の色を付けて表した画像を生成しても良い。

【0040】

＜似顔絵画像生成処理＞
次に、撮像装置１００による似顔絵画像生成処理について、図４及び図５を参照して説明する。
図４は、似顔絵画像生成処理に係る動作の一例を示すフローチャートである。また、図５（ａ）は、部品画像取得部９ｂにより取得された各顔構成部の部品画像ｐの一例を模式的に示し、図５（ｂ）は、パーツリストＬの一例を示し、図５（ｃ）は、似顔絵画像Ｑの一例を模式的に示している。

【0041】

似顔絵画像生成処理は、ユーザによる操作入力部７の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から似顔絵画像生成モードが選択指示された場合に、中央制御部１の制御下にて当該撮像装置１００の各部、特に似顔絵処理部９により実行される処理である。

【0042】

図４に示すように、先ず、元画像取得部９ａは、似顔絵画像生成処理の処理対象の元画像（図示略）を取得する（ステップＳ１）。具体的には、元画像取得部９ａは、例えば、撮像部３による被写体の撮影によって画像データ生成部４により生成された静止画像の画像データ（ＲＧＢデータやＹＵＶデータ）の複製を記憶部８から取得する。

【0043】

次に、部品画像取得部９ｂは、元画像取得部９ａにより取得された元画像内の顔構成部に対応する部品画像ｐを取得する（ステップＳ２）。具体的には、部品画像取得部９ｂは、先ず、元画像の顔領域内で、例えば、ＡＡＭを用いた処理により、目、鼻、口、眉、顔輪郭等の主要な顔構成部を検出する。次に、部品画像取得部９ｂは、記憶部８に記憶されている複数の似顔絵画像Ａ、…から、検出された主要な顔構成部の各々に対応する部品画像ｐを特定する（図５（ａ）参照）。
そして、関連情報取得部９ｃは、部品画像取得部９ｂにより取得された部品画像ｐに対応する似顔絵画像の背景情報（例えば、顔輪郭の部品画像ｐの場合には、第１似顔絵画像Ａ１の背景色「青色」等）を関連情報として取得する（ステップＳ３）。関連情報取得部９ｃは、取得された全ての背景情報をまとめてパーツリストＬ（図５（ｂ）参照）に登録する。

【0044】

次に、背景生成部９ｄは、記憶部８から部品重要度テーブルＴを読み出して取得し、関連情報取得部９ｃにより取得された複数の背景情報の各々と関連付けられている部品画像ｐの各々について、対応する顔構成部の重要度を特定した後、特定された重要度に応じた評価値を特定し、パーツリストＬに登録する（ステップＳ４）。
続けて、背景生成部９ｄは、各部品画像ｐに対応する似顔絵画像の背景情報（背景の色等）毎に、特定された評価値に基づいて所定の演算（例えば、加算等）を行って各背景情報の総評価値を算出する（ステップＳ５）。例えば、図５（ｂ）に示すパーツリストＬの場合、第１似顔絵画像Ａ１の背景色「青色」については、加算された総評価値「３」となり、第２似顔絵画像Ａ２の背景色「黄色」については、加算された総評価値「７」となり、第３似顔絵画像Ａ３の背景色「緑色」については、加算された総評価値「８」となる。
そして、背景生成部９ｄは、各背景情報毎に算出された総評価値どうしを比較して、最も総評価値の高い背景情報（例えば、第３似顔絵画像Ａ３の背景色「緑色」等）から似顔絵画像Ｑの背景色を特定する（ステップＳ６）。

【0045】

その後、似顔絵画像生成部９ｅは、部品画像取得部９ｂにより取得された各部品画像ｐと所定の髪型画像と組み合わせるとともに、顔輪郭及び髪型画像の外側を背景生成部９ｄにより特定された背景色（例えば、「緑色」等）として、似顔絵画像Ｑを生成する（ステップＳ７）。
これにより、当該似顔絵画像生成処理は終了する。

【0046】

以上のように、本実施形態の撮像装置１００によれば、第１の顔画像（例えば、第１似顔絵画像Ａ１等）から取得された第１の部品画像（例えば、部品画像ｐ１等）と第１の背景とを関連付ける第１の背景情報と、第２の顔画像（例えば、第２似顔絵画像Ａ２等）から取得された第２の部品画像（例えば、部品画像ｐ２等）と第２の背景とを関連付ける第２の背景情報とに基づいて、新たな顔画像（例えば、似顔絵画像Ｑ等）の背景を生成するので、部品画像ｐを用いて生成される画像の背景を、当該画像の生成に用いられる部品画像ｐそれぞれと関連付けられている背景情報を利用して生成することができる。すなわち、似顔絵画像Ｑの生成に用いられる部品画像ｐに対応する似顔絵画像（例えば、第３似顔絵画像Ａ３）の背景色や模様等を、新たに生成される似顔絵画像Ｑの背景色や模様とすることができ、当該似顔絵画像Ｑの表現力を向上させることができる。
これにより、部品画像ｐを用いて新たに生成される顔画像（例えば、似顔絵画像Ｑ等）の背景を適正なものとすることができる。

【0047】

また、関連情報取得部９ｃにより取得された複数の背景情報（第１及び第２の背景情報）の各々により関連付けられている部品画像ｐに係る顔構成部の重要度に基づいて、部品画像ｐを用いて生成される新たな顔画像の背景を適正に生成することができる。具体的には、関連情報取得部９ｃにより取得された複数の背景情報の各々により関連付けられている部品画像ｐに係る顔構成部の重要度に応じた評価値を特定し、特定された評価値に基づいて、部品画像ｐを用いて生成される新たな顔画像の背景を生成するので、似顔絵画像Ｑの生成に、元となった似顔絵画像（例えば、第１〜第３似顔絵画像Ａ１〜Ａ３等）が異なる部品画像ｐが複数使われる場合であっても、各部品画像ｐに係る顔構成部の重要度を考慮して評価値を特定することができ、部品画像ｐを用いて新たに生成される似顔絵画像Ｑの背景をより適正に生成することができる。

【0048】

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、撮像装置１００の変形例について図６を参照して説明する。

【0049】

この変形例の撮像装置１００Ａは、背景情報等の関連情報に加えて元画像の本人情報に基づいて、似顔絵画像Ｑの背景を生成する。
具体的には、図６に示すように、似顔絵処理部１０９は、元画像取得部９ａと、部品画像取得部９ｂと、関連情報取得部９ｃと、背景生成部９ｄと、似顔絵画像生成部９ｅとに加えて、本人情報取得部９ｆを具備している。
なお、以下に説明する以外の点は、上記実施形態の撮像装置１００と略同様の構成及び機能をなし、その具体的な説明は省略する。

【0050】

本人情報取得部９ｆは、元画像の本人情報を取得する。
すなわち、本人情報取得部（第２取得手段）９ｆは、部品画像取得部９ｂにより取得された部品画像ｐを用いて生成される新たな似顔絵画像Ｑの元となる元画像（元顔画像）の本人情報を取得する。
ここで、本人情報としては、年齢、性別、服装、表情（感情）等が挙げられるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
本人情報取得部９ｆは、元画像取得部９ａにより取得された元画像に対して各種の画像処理を行って、例えば、本人の年齢、性別、服装、表情（感情）等の本人情報を特定する。なお、画像処理による本人情報の特定は、公知の技術であり、ここでは詳細な説明は省略する。

【0051】

そして、背景生成部９ｄは、関連情報取得部９ｃにより取得された複数の背景情報（第１及び第２の背景情報）及び本人情報取得部９ｆにより取得された本人情報に基づいて、部品画像取得部９ｂにより取得された部品画像ｐを用いて生成される似顔絵画像Ｑの背景を生成する。
具体的には、本人情報取得部９ｆが、例えば、本人情報として元画像の本人の年齢を取得した場合、背景生成部９ｄは、取得された年齢や当該年齢が含まれる年代に対応する背景色（例えば、19歳までなら黄色、20〜39歳ならオレンジ色、40〜59歳なら緑色、60歳以上なら紫色等）を特定する。続けて、背景生成部９ｄは、関連情報取得部９ｃにより取得された背景情報（背景色等）のうち、年齢や年代に対応して特定された背景色の重みを大きくして、各背景情報の総評価値を算出する。そして、背景生成部９ｄは、算出された総評価値どうしを比較して、最も総評価値の高い背景情報に係る背景色を似顔絵画像Ｑの背景色として特定する。

【0052】

なお、本人情報として元画像の本人の年齢を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、背景生成部９ｄは、本人情報が元画像の本人の性別の場合、取得された性別に対応する背景色（例えば、男性なら青色、女性なら赤色等）を特定し、また、本人情報が元画像の本人の服装の場合、取得された服装に対応する背景色（例えば、フォーマルなら暗めの色、カジュアルなら明るめの色等）を特定し、また、本人情報が元画像の本人の表情の場合、取得された表情に対応する背景色（例えば、怒っているなら赤色、喜んでいるなら黄色等）を特定する。

【0053】

従って、この変形例の撮像装置１００Ａによれば、部品画像ｐを用いて生成される画像の背景を、当該画像の生成に用いられる部品画像ｐと関連付けられている背景情報だけでなく、画像の元となる元画像の本人情報も利用して生成することができる。すなわち、例えば、元画像の本人の年齢、性別、服装、表情（感情）等を考慮して、新たに生成される似顔絵画像Ｑの背景色や模様を生成することができ、当該似顔絵画像Ｑの表現力をより向上させることができる。
これにより、部品画像ｐを用いて新たに生成される顔画像（例えば、似顔絵画像Ｑ等）の背景をより適正なものとすることができる。

【0054】

なお、上記変形例にあっては、関連情報取得部９ｃにより取得された背景情報と、本人情報取得部９ｆにより取得された元画像の本人情報のうち、何れか一方のみを基準とするように切替えて、似顔絵画像Ｑの背景を生成しても良い。すなわち、背景生成部９ｄは、本人情報取得部９ｆにより取得された元画像の本人情報のみに基づいて、似顔絵画像Ｑの背景の色や模様等を生成しても良い。

【0055】

さらに、上記実施形態にあっては、例えば、似顔絵画像Ｑを生成する際の日時や場所、ユーザによる撮像装置１００（１００Ａ）の操作状態、ユーザが管理している各種のＳＮＳ（Social Networking Service）の記事の内容等の似顔絵画像Ｑを生成する際の状況、元画像の撮影日時や撮影場所等を考慮して、似顔絵画像Ｑの背景の色や模様等を生成しても良い。

【0056】

また、上記実施形態にあっては、似顔絵画像Ｑを生成するようにしたが、必ずしも似顔絵画像Ｑを生成する必要はなく、似顔絵画像生成部９ｅを具備するか否かは適宜任意に変更可能である。

【0057】

さらに、上記実施形態にあっては、処理済み顔画像として、第１〜第３似顔絵画像Ａ１〜Ａ３、似顔絵画像Ｑを例示したが、一例であってこれに限られるものではなく、例えば、二値化処理した画像やエッジ抽出処理した画像等適宜任意に変更可能である。

【0058】

また、上記実施形態にあっては、記憶部８に、各似顔絵作者毎の似顔絵画像Ａを記憶するようにしたが、一例であってこれに限られるものではなく、例えば、似顔絵作者毎に、顔の主要な顔構成部の部品画像ｐを対応付けて記憶しても良い。
なお、似顔絵画像Ａの背景は、似顔絵画像の元の顔画像の被写体の感情（表情）に関連していても良い。例えば、悲しみを表現した似顔絵画像の背景は暗い色（彩度や明度が低い色）を用いたり、喜びを表現した似顔絵画像の背景は明るい色（彩度や明度が高い色）を用いたりしても良い。

【0059】

さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、画像処理装置として、撮像装置１００を例示したが、これに限られるものではなく、本発明に係る画像処理を実行可能なものであれば如何なる構成であっても良い。

【0060】

加えて、上記実施形態にあっては、第１取得手段、背景生成手段としての機能を、中央制御部１のＣＰＵの制御下にて、部品画像取得部９ｂ、背景生成部９ｄが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムを記憶するプログラムメモリ（図示略）に、第１取得処理ルーチン、背景生成処理ルーチンを含むプログラムを記憶しておく。そして、第１取得処理ルーチンにより中央制御部１のＣＰＵを、複数の顔構成部のそれぞれに対応する複数の第１の部品画像（例えば、部品画像ｐ１等）並びに第１の背景を有する第１の顔画像（例えば、第１似顔絵画像Ａ１等）と、複数の顔構成部のそれぞれに対応する複数の第２の部品画像（例えば、部品画像ｐ２等）並びに第２の背景を有する第２の顔画像（例えば、第２似顔絵画像Ａ２等）とに基づいて、新たな似顔絵画像Ｑを生成するために第１及び第２の部品画像をそれぞれ少なくとも一つ取得する手段として機能させるようにしても良い。また、背景生成処理ルーチンにより中央制御部１のＣＰＵを、取得された第１の部品画像と第１の背景とを関連付ける第１の背景情報と、取得された第２の部品画像と第２の背景とを関連付ける第２の背景情報とに基づいて、新たな似顔絵画像の背景を生成する手段として機能させるようにしても良い。

【0061】

同様に、第２取得手段、似顔絵生成手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

【0062】

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

【0063】

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
複数の顔構成部のそれぞれに対応する複数の第１の部品画像並びに第１の背景を有する第１の顔画像と、複数の顔構成部のそれぞれに対応する複数の第２の部品画像並びに第２の背景を有する第２の顔画像とに基づいて、新たな顔画像を生成するために前記第１及び第２の部品画像をそれぞれ少なくとも一つ取得する第１取得手段と、
前記第１取得手段により取得された前記第１の部品画像と前記第１の背景とを関連付ける第１の背景情報と、取得された前記第２の部品画像と前記第２の背景とを関連付ける第２の背景情報とに基づいて、前記新たな顔画像の背景を生成する背景生成手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記背景生成手段は、前記第１及び第２の背景情報のそれぞれにより関連付けられている前記第１及び第２の部品画像に係る前記第１及び第２の顔構成部の重要度に基づいて、前記新たな顔画像の背景を生成することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記背景生成手段は、前記第１及び第２の背景情報のそれぞれにより関連付けられている前記第１及び第２の部品画像に係る顔構成部の重要度に応じた評価値を特定し、特定された評価値に基づいて、前記新たな顔画像の背景を生成することを特徴とする請求項１又は２に記載の画像処理装置。
＜請求項４＞
前記新たな顔画像の元となる元顔画像の本人情報を取得する第２取得手段を更に備え、
前記背景生成手段は、前記第１及び第２の背景情報並びに前記第２取得手段により取得された本人情報に基づいて、前記新たな顔画像の背景を生成することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
＜請求項５＞
前記第１及び第２の部品画像及び前記背景生成手段により生成された背景を用いて、前記新たな顔画像として似顔絵画像を生成する似顔絵生成手段を更に備えることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
＜請求項６＞
画像処理装置を用いた画像処理方法であって、
複数の顔構成部のそれぞれに対応する複数の第１の部品画像並びに第１の背景を有する第１の顔画像と、複数の顔構成部のそれぞれに対応する複数の第２の部品画像並びに第２の背景を有する第２の顔画像とに基づいて、新たな顔画像を生成するために前記第１及び第２の部品画像をそれぞれ少なくとも一つ取得する処理と、
取得された前記第１の部品画像と前記第１の背景とを関連付ける第１の背景情報と、取得された前記第２の部品画像と前記第２の背景とを関連付ける第２の背景情報とに基づいて、前記新たな顔画像の背景を生成する処理と、
を含むことを特徴とする画像処理方法。
＜請求項７＞
画像処理装置のコンピュータを、
複数の顔構成部のそれぞれに対応する複数の第１の部品画像並びに第１の背景を有する第１の顔画像と、複数の顔構成部のそれぞれに対応する複数の第２の部品画像並びに第２の背景を有する第２の顔画像とに基づいて、新たな顔画像を生成するために前記第１及び第２の部品画像をそれぞれ少なくとも一つ取得する第１取得手段、
前記第１取得手段により取得された前記第１の部品画像と前記第１の背景とを関連付ける第１の背景情報と、取得された前記第２の部品画像と前記第２の背景とを関連付ける第２の背景情報とに基づいて、前記新たな顔画像の背景を生成する背景生成手段、
として機能させることを特徴とするプログラム。

【符号の説明】

【0064】

１００、１００Ａ 撮像装置
１ 中央制御部
８ 記憶部
８ａ 部品画像
９、１０９ 似顔絵処理部
９ａ 元画像取得部
９ｂ 部品画像取得部
９ｃ 関連情報取得部
９ｄ 背景生成部
９ｅ 似顔絵画像生成部
９ｆ 本人情報取得部
Ａ１ 第１似顔絵画像
Ａ２ 第２似顔絵画像
Ａ３ 第３似顔絵画像
Ｑ 似顔絵画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】