特許 6369246 似顔絵生成装置、似顔絵生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6369246

(24)【登録日】2018年7月20日

(45)【発行日】2018年8月8日

(54)【発明の名称】似顔絵生成装置、似顔絵生成方法

(51)【国際特許分類】

   G06T 11/80 20060101AFI20180730BHJP

   G06T 1/00 20060101ALI20180730BHJP

【ＦＩ】

   G06T11/80 D

   G06T1/00 340A

【請求項の数】6

【全頁数】17

(21)【出願番号】特願2014-182553(P2014-182553)

(22)【出願日】2014年9月8日

(65)【公開番号】特開2016-57775(P2016-57775A)

(43)【公開日】2016年4月21日

【審査請求日】2017年2月14日

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100085006

【弁理士】

【氏名又は名称】世良 和信

(74)【代理人】

【識別番号】100100549

【弁理士】

【氏名又は名称】川口 嘉之

(74)【代理人】

【識別番号】100096873

【弁理士】

【氏名又は名称】金井 廣泰

(74)【代理人】

【識別番号】100123319

【弁理士】

【氏名又は名称】関根 武彦

(74)【代理人】

【識別番号】100125357

【弁理士】

【氏名又は名称】中村 剛

(74)【代理人】

【識別番号】100123098

【弁理士】

【氏名又は名称】今堀 克彦

(74)【代理人】

【識別番号】100138357

【弁理士】

【氏名又は名称】矢澤 広伸

(72)【発明者】

【氏名】加藤 良子

(72)【発明者】

【氏名】張 立舟

(72)【発明者】

【氏名】入江 淳

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２００６−１１４０２４（ＪＰ，Ａ）

【文献】 特開２０１３−２５７８４４（ＪＰ，Ａ）

【文献】 特開２００４−２４６４５６（ＪＰ，Ａ）

【文献】 特開２０１３−１９７７５３（ＪＰ，Ａ）

【文献】 特開平０９−１６１０５８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − １１／８０

(57)【特許請求の範囲】

【請求項1】

対象者の顔を撮影した顔画像を取得する画像取得部と、
前記顔画像に基づいて、前記対象者の属性又は状態の少なくともいずれかを推定する推定部と、
前記顔画像に対して施す補正処理の内容をユーザに指定させる補正内容指定部と、
前記顔画像に対し少なくとも顔の一部を補正する補正処理を施して補正顔画像を生成する画像補正部と、
前記補正顔画像を用いて前記対象者の似顔絵を生成する似顔絵生成部と、
を有し、
前記補正内容指定部は、ユーザが指定可能な補正項目とユーザが指定可能な補正度合の上限値とを、前記推定部の推定結果に応じて変更し、
前記画像補正部は、前記補正内容指定部でユーザにより指定された補正処理の内容にしたがって前記顔画像の補正を行う、
ことを特徴とする似顔絵生成装置。

【請求項2】

対象者の顔を撮影した顔画像を取得する画像取得部と、
前記顔画像に基づいて、前記対象者の顔のなかで顕著性を有する顕著部分を特定する顕著部分特定部と、
前記顔画像に対して施す補正処理の内容をユーザに指定させる補正内容指定部と、
前記顔画像に対し少なくとも顔の一部を補正する補正処理を施して補正顔画像を生成する画像補正部と、
前記補正顔画像を用いて前記対象者の似顔絵を生成する似顔絵生成部と、
を有し、
前記補正内容指定部は、ユーザが指定可能な補正項目とユーザが指定可能な補正度合の上限値とを、前記顕著部分特定部の特定結果に応じて変更し、
前記画像補正部は、前記補正内容指定部でユーザにより指定された補正処理の内容にしたがって前記顔画像の補正を行う、
ことを特徴とする似顔絵生成装置。

【請求項3】

前記似顔絵生成部は、前記補正顔画像から顔に関連する特徴量を抽出し、前記抽出され
た特徴量に基づいて前記対象者の似顔絵を生成する
ことを特徴とする請求項１又は２に記載の似顔絵生成装置。

【請求項4】

コンピュータが、対象者の顔を撮影した顔画像を取得するステップと、
コンピュータが、前記顔画像に基づいて、前記対象者の属性又は状態の少なくともいずれかを推定する推定ステップと、
コンピュータが、前記顔画像に対して施す補正処理の内容をユーザから受け付ける補正内容受付ステップと、
コンピュータが、前記顔画像に対し少なくとも顔の一部を補正する補正処理を施して補正顔画像を生成するステップと、
コンピュータが、前記補正顔画像を用いて前記対象者の似顔絵を生成するステップと、を有し、
前記補正内容受付ステップでは、ユーザが指定可能な補正項目とユーザが指定可能な補正度合の上限値とを、前記推定ステップにおける推定結果に応じて変更し、
前記補正顔画像を生成するステップでは、前記補正内容受付ステップでユーザにより指定された補正処理の内容にしたがって前記顔画像の補正を行う、
ことを特徴とする似顔絵生成方法。

【請求項5】

コンピュータが、対象者の顔を撮影した顔画像を取得するステップと、
コンピュータが、前記顔画像に基づいて、前記対象者の顔のなかで顕著性を有する顕著部分を特定する顕著部分特定ステップと、
コンピュータが、前記顔画像に対して施す補正処理の内容をユーザから受け付ける補正内容受付ステップと、
コンピュータが、前記顔画像に対し少なくとも顔の一部を補正する補正処理を施して補正顔画像を生成するステップと、
コンピュータが、前記補正顔画像を用いて前記対象者の似顔絵を生成するステップと、を有し、
前記補正内容受付ステップでは、ユーザが指定可能な補正項目とユーザが指定可能な補正度合の上限値とを、前記顕著部分特定ステップにおける特定結果に応じて変更し、
前記補正顔画像を生成するステップでは、前記補正内容受付ステップでユーザにより指定された補正処理の内容にしたがって前記顔画像の補正を行う、
ことを特徴とする似顔絵生成方法。

【請求項6】

請求項４または５に記載の似顔絵生成方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顔画像から似顔絵を生成する技術に関する。

【背景技術】

【0002】

顔を撮影して得られた画像データを元にして、コンピュータ画像処理によって自動又は半自動で似顔絵を作成する技術が知られている。例えば特許文献１には、顔画像から顔器官（目、鼻、口など）、輪郭、髪型などの特徴量を抽出し、この特徴量に基づいて、予め用意された多数の似顔絵用パーツのなかから適当なパーツを選択し配置することで、似顔絵を作成する方法が開示されている。画像から似顔絵を生成する手法は他にも種々提案されているが、いずれの手法も入力画像の顔に出来るだけ似せるように似顔絵を作成しようとする点では共通する。しかしながら、元の顔を忠実に再現した似顔絵が必ずしもユーザに好まれるとは限らない。例えば、目が小さいことをコンプレックスに感じている人に対し目のパーツを小さくした似顔絵を提示しても、ユーザの満足は得られない可能性がある。また、顔がむくんでいるときに撮影した画像を用いたために、本来よりも輪郭が大きめの似顔絵が作成されても好ましくない。逆に、本人がチャームポイントと思っている特徴が似顔絵に反映されていなかったり目立たなかったりしても、ユーザの期待を裏切ることになる。

【0003】

そこで従来は、ユーザにとって好ましい似顔絵を作成するために、似顔絵作成後にパーツの大きさや配置を修正することが行われていた。また特許文献２には、輪郭や目などのパーツの縦横比、面積、角度を、あらかじめ用意した理想的な値に近づけるように自動で修正する、という方法が提案されている。

【0004】

しかしながら、似顔絵作成後にパーツを修正する方法では、本人らしさを残したままユーザが希望する変更を似顔絵に反映することが難しい。似顔絵にした時点（つまり顔画像からパーツ毎の特徴のみを抽出した時点）で、本人の顔特徴を示す情報のほとんどが失われてしまっているためである。例えば、目を大きくする修正を似顔絵に対し行った場合、似顔絵は元の画像に比べて情報量が落ちている（例えば涙袋がなくなっているなど）ことから、目周辺の表現が本人らしくなくなる可能性がある。また、顔を小さくする修正を似顔絵に対し行った場合も、元の画像に比べて情報量が落ちている（例えば陰影がなくなっているなど）ことから、ほおの表現が本人らしくなくなる可能性がある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００４−２８８０８２号公報

【特許文献2】特開２００４−１１０７２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は上記実情に鑑みなされたものであり、顔画像から似顔絵を作成する際に、本人らしさを生かしたまま所望の修正を加えるための技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明に係る似顔絵生成装置は、対象者の顔を撮影した顔画像を取得する画像取得部と、前記顔画像に対し少なくとも顔の一部を補正する補正処理を施して補正顔画像を生成する画像補正部と、前記補正顔画像を用いて前記対象者の似顔絵を生成する似顔絵生成部と、を有することを特徴とする。

【0008】

この構成によれば、元の顔画像に対し補正処理を施すことにより、例えば、対象者がコンプレックスに感じているところを修正したり、対象者の顔の特徴を強調したりすることができるため、対象者の好みにあった似顔絵を生成することができる。しかも、このような補正処理を（似顔絵に対してでなく）元の顔画像に対し施すため、本人の顔特徴に関わる情報量を損なうことなく、補正が可能である。したがって、本人らしさを生かしたまま所望の補正処理が行われた似顔絵を得ることができる。

【0009】

前記似顔絵生成部は、前記補正顔画像から顔に関連する特徴量を抽出し、前記抽出された特徴量に基づいて前記対象者の似顔絵を生成することが好ましい。これにより、補正後の顔の特徴が適切に反映された似顔絵を得ることができる。

【0010】

前記顔画像に対して施す補正処理の内容をユーザに指定させる補正内容指定部をさらに有し、前記画像補正部は、前記補正内容指定部でユーザにより指定された補正処理の内容にしたがって前記顔画像の補正を行うことが好ましい。これにより、ユーザに補正処理の内容を指定させることができるので、ユーザ本人の希望に沿った似顔絵を提供することができる。

【0011】

前記顔画像に基づいて、前記対象者の属性又は状態の少なくともいずれかを推定する推定部をさらに有し、前記補正内容指定部は、ユーザが指定可能な補正処理の内容を、前記推定部の推定結果に応じて変更することが好ましい。これにより、指定可能な補正処理の内容を対象者の属性や状態に応じて変更し、ユーザに対し適切な補正をレコメンドすることができるため、ユーザの操作負担の軽減やユーザビリティの向上を図ることができる。

【0012】

前記顔画像に基づいて、前記対象者の顔のなかで顕著性を有する顕著部分を特定する顕著部分特定部をさらに有し、前記補正内容指定部は、ユーザが指定可能な補正処理の内容を、前記顕著部分特定部の特定結果に応じて変更することが好ましい。これにより、対象者の顔のなかの顕著部分に対して補正処理を施すため、その人の顔の特徴を強調した似顔絵、又は、その人がコンプレックスに感じている部分を目立たないようにした似顔絵を生成することが可能となる。

【0013】

前記顔画像に基づいて、前記対象者の属性又は状態の少なくともいずれかを推定する推定部をさらに有し、前記画像補正部は、前記顔画像に対して施す補正処理の内容を、前記推定部の推定結果に応じて変更することが好ましい。これにより、対象者の属性や状態に応じて補正処理の内容が自動で決定されるため、ユーザの操作負担をなくし、スムーズ且つ短時間での似顔絵作成を実現できる。

【0014】

前記顔画像に基づいて、前記対象者の顔のなかで顕著性を有する顕著部分を特定する顕著部分特定部をさらに有し、前記画像補正部は、前記顔画像に対して施す補正処理の内容を、前記顕著部分特定部の特定結果に応じて変更することが好ましい。これにより、対象者の顔のなかの顕著部分に対して補正処理を施すため、その人の顔の特徴を強調した似顔絵、又は、その人がコンプレックスに感じている部分を目立たないようにした似顔絵を生成することが可能となる。また、顕著部分に応じて補正処理の内容が自動で決定されるため、ユーザの操作負担をなくし、スムーズ且つ短時間での似顔絵作成を実現できる。

【0015】

他人の顔画像を取得する他人画像取得部をさらに有し、前記画像補正部は、前記対象者の顔画像内の顔を前記他人の顔画像内の顔に似せるように、前記対象者の顔画像を補正することが好ましい。これにより、本人らしさを保ちつつ有名人などの他人の顔にもみえる似顔絵を作ることが可能となる。

【0016】

なお、本発明は、上記構成ないし機能の少なくとも一部を有する似顔絵生成装置、又は、似顔絵生成装置を具備する電子機器として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む似顔絵生成方法、又は、斯かる方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

【発明の効果】

【0017】

本発明によれば、顔画像から似顔絵を作成する際に、本人らしさを生かしたまま所望の修正を加えることができる。

【図面の簡単な説明】

【0018】

【図1】第１実施形態に係る似顔絵生成装置の構成を模式的に示すブロック図。

【図2】第１実施形態に係る似顔絵生成処理のフローチャート。

【図3】元顔画像、補正後顔画像、似顔絵の例。

【図4】第２実施形態に係る似顔絵生成装置の構成を模式的に示すブロック図。

【図5】第２実施形態に係る似顔絵生成処理のフローチャート。

【図6】第２実施形態に係る似顔絵生成装置の画面例。

【図7】第３実施形態に係る似顔絵生成装置の構成を模式的に示すブロック図。

【図8】第３実施形態で用いる推定結果と補正処理の内容との対応テーブルの例。

【図9】第３実施形態に係る似顔絵生成処理のフローチャート。

【図10】第３実施形態に係る似顔絵生成装置の画面例。

【図11】第４実施形態に係る似顔絵生成処理のフローチャート。

【図12】第５実施形態に係る似顔絵生成装置の構成を模式的に示すブロック図。

【図13】第６実施形態に係る似顔絵生成装置の構成を模式的に示すブロック図。

【図14】第６実施形態に係る似顔絵生成処理のフローチャート。

【発明を実施するための形態】

【0019】

本発明は、顔を撮影して得られた顔画像データを元にして、コンピュータ画像処理によって自動又は半自動で似顔絵を生成する技術に関する。この技術は、例えば、パーソナルコンピュータ、スマートフォン、タブレット端末、携帯電話、ゲーム機、その他の電子機器で動作する似顔絵作成アプリケーションやアバター作成アプリケーションなどに好ましく適用される。

【0020】

＜第１実施形態＞
（似顔絵生成装置の構成）
図１は、本発明の第１実施形態に係る似顔絵生成装置の構成を模式的に示すブロック図である。

【0021】

似顔絵生成装置は、主なハードウエアとして、情報処理装置１０と撮像装置１１と表示装置１２と入力装置１３を備える。情報処理装置１０は、ＣＰＵ（中央演算処理装置）、ＲＡＭ（Random Access Memory）、補助記憶装置（例えば、フラッシュメモリ、ハードディスク）などを有するコンピュータである。本実施形態では、一例として、スマートフォンに似顔絵作成アプリケーションを実装することで似顔絵生成装置を構成する。この場合、スマートフォンの内蔵カメラが撮像装置１１の役割を担い、タッチパネルディスプレイが表示装置１２と入力装置１３の役割を担うこととなる。

【0022】

図１に示すように、情報処理装置１０は、主な機能として、画像取得部１００、画像補正部１０１、似顔絵生成部１０２、装飾処理部１０３を有している。これらの機能は、情報処理装置１０の補助記憶装置に格納されたプログラムがＲＡＭにロードされ、ＣＰＵに
より実行されることで実現されるものである。なお、これらのうちの一部又は全部の機能をＡＳＩＣなどの回路で構成してもよいし、他のコンピュータ（例えばクラウドサーバ）で処理してもよい。

【0023】

画像取得部１００は、似顔絵の元となる顔画像のデータを取得する機能を有する。顔画像のデータは、撮像装置１１から取り込むこともできるし、情報処理装置１０内の補助記憶装置やネットワーク上のデータサーバなどから取得することもできる。

【0024】

画像補正部１０１は、顔画像に対し補正処理を施す機能を有する。以後、補正前と補正後の画像を区別するため、補正前の顔画像を「元顔画像」と呼び、補正後の顔画像を「補正顔画像」と呼ぶ。

【0025】

補正処理としては、少なくとも顔の一部を補正ないし修正する処理であればどのような処理を実装してもよい。具体的には、肌荒れやしみ・しわなどを除去ないし目立たなくする美肌補正、肌の明るさや色合いを変更する美白補正、目を大きく又は小さくしたり二重瞼にする目補正、顔の輪郭を小さくする小顔補正、瞳にキャッチライトを入れたり瞳を大きくする瞳補正、鼻の大きさや高さを変更する鼻補正、唇・歯の色合いや光沢を変更したり口の大きさを変更する口補正、チーク・アイシャドー・マスカラなどのメークを加えるメーキャップ処理などを例示できる。なお、これらの補正処理については、公知の手法をはじめとしていかなる手法を利用してもよい。例えば、美肌補正は、ガウシアンフィルタを用いたぼかし処理などで実現でき、美白補正は、明度やカラーバランスの調整により実現できる。また、顔器官（目、鼻、口など）や輪郭のサイズ変更、変形、移動といった補正は、顔画像から複数の特徴点（顔器官の端点・中心点、輪郭上の点など）を検出し、各特徴点を所望の位置に移動するように画像を変形することで実現できる（例えば特開２０１１−２３３０７３号公報参照）。また、唇や歯の補正に関しては、例えば特開２０１２−２５６１３０号公報や特開２０１２−１９０２８７号公報に記載された方法を利用でき、メーキャップ処理に関しては、例えば特開２０１２−９８８０８号公報や特開２０１２−９５７３０号公報に記載された方法を利用することができる。

【0026】

似顔絵生成部１０２は、顔画像から似顔絵を生成する機能を有する。似顔絵生成のアルゴリズムには、大別して、顔画像に対しフィルタ処理や減色処理などを施してイラスト風の画像に加工する手法と、顔画像から顔に関連する特徴量を抽出しその特徴量に基づいて似顔絵を生成する手法とがある。どちらの手法を用いてもよいが、本実施形態では後者の手法を採用する。補正後の顔の特徴がより適切に反映された似顔絵を得ることができるからである。似顔絵生成部１０２は、顔器官（目、鼻、口、眉など）、輪郭、髪型などのパーツ群が登録されている似顔絵用パーツデータベース１０２ａを有している。このデータベース１０２ａには、例えば、切れ長の目、丸い目、かまぼこ型の目、一重瞼の目、二重瞼の目・・・のように一つの部位について複数種類のパーツが用意されている。

【0027】

装飾処理部１０３は、似顔絵生成部１０２で生成された似顔絵に対し、背景の変更、服装の変更、アクセサリや趣味情報の追加など、各種の装飾を付加する機能を有する。

【0028】

（似顔絵生成装置の動作）
図２のフローチャートと図３の画像例を参照して、似顔絵生成装置による似顔絵生成処理の流れを説明する。

【0029】

まず、ユーザが撮像装置１１により対象者（ユーザ本人でもよいし他の人でもよい）の顔を撮影するか、入力装置１３を操作して補助記憶装置内又はデータサーバ内に保存されている画像ファイルを指定する（ステップＳ２０）。すると、画像取得部１００によって、元顔画像のデータが読み込まれる（ステップＳ２１）。図３（ａ）は元顔画像の例であ
る。

【0030】

次に、画像補正部１０１が、元顔画像に対し所定の補正処理を施し、補正顔画像を生成する（ステップＳ２２）。ここでは、一例として、鼻のサイズをやや小さくする小鼻補正を施すものとする。図３（ｂ）は小鼻補正後の補正顔画像の例である。

【0031】

次に、似顔絵生成部１０２が、ステップＳ２２で生成された補正顔画像から、顔を構成する各部位の特徴量を抽出する（ステップＳ２３）。部位としては、例えば、顔器官（目、鼻、口、眉など）、顔の輪郭、髪型などがある。特徴量としては、例えば、ＨＯＧやＳＵＲＦなどの形状特徴、色ヒストグラム、濃淡、サイズ、太さ、間隔など、顔に関連する特徴量であればいかなるものを利用してもよい。そして、似顔絵生成部１０２は、部位ごとの特徴量に基づいて、似顔絵用パーツデータベース１０２ａのなかから最も特徴がマッチするパーツを選び出し（ステップＳ２４）、それらを組み合わせることで似顔絵のデータを生成する（ステップＳ２５）。図３（ｃ）は、図３（ｂ）の補正顔画像を用いて生成された似顔絵の例である。

【0032】

その後、装飾処理部１０３によって適宜装飾が付加された後（ステップＳ２６）、最終的な似顔絵が表示装置１２に表示される（ステップＳ２７）。

【0033】

以上述べた本実施形態の処理によれば、元顔画像に対し補正処理を施すことにより、例えば、対象者がコンプレックスに感じているところを修正したり、対象者の顔の特徴を強調したりすることができるため、対象者の好みにあった似顔絵を生成することができる。しかも、このような補正処理を（似顔絵に対してでなく）元顔画像に対し施すため、本人の顔特徴に関わる情報量を損なうことなく、補正が可能である。したがって、本人らしさを生かしたまま所望の補正処理が行われた似顔絵を得ることができる。

【0034】

なお、本実施形態では、補正処理として小鼻補正を例示したが、他の補正処理を適用してもよいし、１種類だけでなく複数種類の補正処理を適用してもよい。また、図２のフローでは明示していないが、必要に応じて元顔画像や修正顔画像を表示装置１２に表示し、ユーザに確認させてもよい。

【0035】

＜第２実施形態＞
上記第１実施形態では、予め決められた種類の補正処理を元顔画像に適用する構成を説明したが、第２実施形態では、ユーザが自ら希望する補正処理を指定できるようにした構成について説明する。なお、以下では、本実施形態に特有の構成及び処理を中心に説明し、前述した実施形態と同一の構成及び処理については同一の符号を付して、その詳しい説明は省略する。

【0036】

図４は、本発明の第２実施形態に係る似顔絵生成装置の構成を模式的に示すブロック図である。第１実施形態（図１）との違いは、情報処理装置１０が、元顔画像に対して施す補正処理の内容をユーザに指定させる補正内容指定部１０４を有している点である。補正処理の内容とは、補正処理の種類（補正項目ともいう）とその補正量（補正度合ともいう）である。

【0037】

図５のフローチャートと図６の画面例を参照して、第２実施形態の似顔絵生成処理の流れを説明する。

【0038】

第１実施形態と同様、画像取得部１００によって、撮像装置１１により撮影された画像又は保存されている画像のデータが読み込まれる（ステップＳ２０，Ｓ２１）。読み込まれた元顔画像は図６（ａ）に示すように表示装置１２に表示される。図６（ａ）の例では
、画面内に、元顔画像の表示エリア６０、補正顔画像の表示エリア６１、補正処理の内容を指定するためのＧＵＩ（Graphical User Interface）６２が配置されている。

【0039】

ユーザは、ＧＵＩ６２をタッチ操作することで希望する補正処理の内容を指定することができる（ステップＳ５０）。具体的な操作は次のように行う。まず、ユーザはＧＵＩ６２のメニュー（顔／目／鼻／口）のなかから補正を行いたい部位を選択する。例えば「鼻」を選択すると、図６（ｂ）のように、「鼻」に関連する補正項目が表示される。「小鼻補正」は鼻全体の大きさを変更する補正処理であり、「ハイライト補正」は鼻筋の部分の明度を調整することで鼻を高くみせる補正処理である。ユーザが希望する補正項目にチェックを入れると、図６（ｃ）のように、補正度合を入力するためのスライダが表示される。スライダを左右に移動させると補正度合を調整することができる。図６（ｃ）の例では、スライダを右に移動させるほど補正度合が大きく、すなわち元顔画像からの変化が大きくなる。

【0040】

ユーザがＧＵＩ６２を操作すると、それに応答して、画像補正部１０１が元顔画像に対し指定された内容の補正処理を適用し、補正顔画像を生成する（ステップＳ５１）。生成された補正顔画像は図６（ｃ）に示すように表示エリア６１に表示される。ユーザは表示エリア６０と６１にそれぞれ表示された補正前と補正後の画像を見比べることで、自分の希望通りの補正が得られているかを容易に確認することができる。希望と異なる場合には、補正項目や補正度合を入力し直し、補正の微調整を行えばよい（ステップＳ５２；ＮＯ）。

【0041】

希望通りの補正顔画像が得られた後、ユーザが「似顔絵生成」ボタンをタッチすると（ステップＳ５２；ＹＥＳ）、似顔絵生成部１０２が補正顔画像を用いて似顔絵を生成する（ステップＳ２３〜Ｓ２５）。以降の処理は第１実施形態と同様である。

【0042】

以上述べた本実施形態の処理によれば、第１実施形態と同様の作用効果を得ることができる。加えて、本実施形態によればユーザに補正処理の内容を指定させることができるので、ユーザ本人の希望に沿った似顔絵を提供することができるという利点がある。

【0043】

なお、本実施形態では、補正処理として小鼻補正を例示したが、他の補正処理を適用してもよいし、１種類だけでなく複数種類の補正処理を適用してもよい。また、図６に示したＧＵＩは一例であり、ユーザによる指定や確認が可能であればどのようなＧＵＩを用いてもよい。

【0044】

＜第３実施形態＞
上記第２実施形態では、ユーザが自ら希望する補正処理を指定できるようにした構成を説明したが、第３実施形態では、顔の属性や状態の推定を行い、その推定結果に応じて指定可能な補正処理の内容を変更（制限）するようにした構成について説明する。なお、以下では、本実施形態に特有の構成及び処理を中心に説明し、前述した実施形態と同一の構成及び処理については同一の符号を付して、その詳しい説明は省略する。

【0045】

図７は、本発明の第３実施形態に係る似顔絵生成装置の構成を模式的に示すブロック図である。第２実施形態（図４）との違いは、情報処理装置１０が、顔画像に含まれる対象者の顔の属性や状態の推定を行う推定部１０５を有している点である。属性とは、対象者又は対象者の顔に備わっている固有の性質や特徴であり、例えば、年齢、年代、性別、人種などの項目が挙げられる。状態とは、対象者又は対象者の顔の画像中での様子（画像にどの様に写っているか）であり、例えば、表情、笑顔、顔向きなどの項目が挙げられる。ここで列挙した項目は属性及び状態の一例であり、画像から推定可能な情報であれば、どのような属性ないし状態を推定してもよい。また、一つの顔画像から一つの項目のみを推
定してもよいし、複数の項目を推定してもよい。複数の項目を推定する場合は、属性の項目のみ、状態の項目のみ、属性の項目と状態の項目の両方のいずれの組み合わせでもよい。属性や状態を推定する処理については、公知の手法をはじめとしていかなる手法を利用してもよい。年齢や年代の推定に関しては、例えば特開２００８−２８２０８９号公報や特開２００９−２３０７５１号公報に記載された方法を利用でき、人種の推定に関しては、例えば特開２００５−２６６９８１号公報に記載された方法を利用できる。性別に関しては、画像から抽出される特徴（例えば髭の有無、喉仏の有無、化粧の有無、髪型、服装）などから推定できる。また、表情、笑顔、顔向きの推定は、顔器官の位置関係などから推定できる（例えば国際公開２００６／０５１６０７号参照）。

【0046】

図８に、推定部１０５がもつ、推定結果と補正処理の内容との対応テーブルの一例を示す。図８（ａ）は性別のテーブルの例であり、「女性」の場合に適用する補正項目と「男性」の場合に適用する補正項目とがそれぞれ定義されている。この例では、対象者が「女性」の場合は、目を拡大する補正、美肌補正、小顔補正が適用され、男性の場合は、肌の色を黒くする日焼け補正が適用されることとなる。図８（ｂ）は性別＋年代のテーブルの例であり、「女性２０代」の場合と「女性３０代」の場合の補正処理の内容が定義されている。各補正項目に設定されている数値は、補正度合の上限値（１０が最大値）である。この例では、「女性２０代」よりも「女性３０代」の方が美肌補正としわを消す補正の補正度合を高く設定できることを示している。図８（ｃ）は表情のテーブルの例であり、「笑顔」の場合に適用する補正項目と「無表情」の場合に適用する補正項目とがそれぞれ定義されている。この例では、対象者が「笑顔」の場合はしわを消す補正が適用され、「無表情」の場合は口角を上げる補正が適用されることとなる。このような対応テーブルを予め用意しておけば、属性や状態の推定結果に応じて、補正項目を変更したり、補正度合の調整幅を変更したりすることが可能となる。

【0047】

図９のフローチャートと図１０の画面例を参照して、第３実施形態の似顔絵生成処理の流れを説明する。

【0048】

第２実施形態と同様、画像取得部１００によって、撮像装置１１により撮影された画像又は保存されている画像のデータが読み込まれる（ステップＳ２０，Ｓ２１）。次に、推定部１０５が、読み込まれた元顔画像から所定の属性ないし状態の推定処理を行い（ステップＳ９０）、その推定結果に応じてユーザが指定可能な補正処理の内容を変更する（ステップＳ９１）。ここでは、性別推定の結果と図８（ａ）の対応テーブルとから、指定可能な補正項目を変更する例を示す。図１０は、読み込まれた元顔画像と補正処理を指定するためのＧＵＩの画面例であるが、元顔画像が「女性」の顔と推定された結果、ＧＵＩから選択できる補正項目が「目拡大補正」、「美肌補正」、「小顔補正」に設定されたことを示している。以降の処理は第２実施形態と同様である。

【0049】

以上述べた本実施形態の処理によれば、第２実施形態と同様の作用効果を得ることができる。加えて、本実施形態によれば、指定可能な補正処理の内容を対象者の属性や状態に応じて変更し、ユーザに対し適切な補正項目や補正度合をレコメンドすることができるため、ユーザの操作負担の軽減やユーザビリティの向上を図ることができるという利点がある。

【0050】

なお、図１０に示したＧＵＩは一例であり、ユーザによる指定や確認が可能であればどのようなＧＵＩを用いてもよい。また、図８に示した対応テーブルも一例であり、属性・状態と補正処理の内容の対応関係が定義されていれば、どのようなテーブルを用いてもよい。

【0051】

＜第４実施形態＞
上記第３実施形態では、顔の属性や状態の推定結果に応じて指定可能な補正処理の内容を変更（制限）するようにした構成を説明したが、第４実施形態では、顔の属性や状態の推定結果に応じて補正処理の内容を自動で決定するようにした構成について説明する。なお、以下では、本実施形態に特有の構成及び処理を中心に説明し、前述した実施形態と同一の構成及び処理については同一の符号を付して、その詳しい説明は省略する。

【0052】

図１１に、第４実施形態の似顔絵生成処理の流れを示す。なお、装置構成は第３実施形態（図７）と同じでよい。

【0053】

第３実施形態と同様、画像取得部１００によって、撮像装置１１により撮影された画像又は保存されている画像のデータが読み込まれる（ステップＳ２０，Ｓ２１）。次に、推定部１０５が、読み込まれた元顔画像から所定の属性ないし状態の推定処理を行い（ステップＳ１１０）、その推定結果に応じて元顔画像に施す補正処理の内容を決定する（ステップＳ１１１）。例えば、性別推定の結果と図８（ａ）の対応テーブルを用いた場合、元顔画像が「女性」の顔と推定されると、「目拡大補正」、「美肌補正」、「小顔補正」の３種類の補正処理が選ばれる。

【0054】

次に、画像補正部１０１が、元顔画像に対しステップＳ１１１で選ばれた補正処理を施し、補正顔画像を生成する（ステップＳ１１２）。以降の処理は第３実施形態等と同様である。

【0055】

以上述べた本実施形態の処理によれば、第３実施形態と同様の作用効果を得ることができる。加えて、本実施形態によれば、対象者の属性や状態に応じて補正処理の内容が自動で決定されるため、ユーザの操作負担をなくし、スムーズ且つ短時間での似顔絵作成を実現できるという利点がある。

【0056】

＜第５実施形態＞
上記第３及び第４実施形態では、顔の属性や状態の推定結果を利用したが、第５実施形態では、対象者の顔のなかで顕著性を有する部分（顕著部分）を補正処理の内容の変更（制限）に利用する。なお、以下では、本実施形態に特有の構成及び処理を中心に説明し、前述した実施形態と同一の構成及び処理については同一の符号を付して、その詳しい説明は省略する。

【0057】

図１２は、本発明の第５実施形態に係る似顔絵生成装置の構成を模式的に示すブロック図である。第３実施形態（図７）との違いは、情報処理装置１０が、推定部１０５の代わりに顕著部分特定部１０６を有している点である。顕著性（saliency）とは、他の部分に対して識別性を有し、人（観察者）の注意を惹きやすいことをいい、画像認識などの分野でよく用いられる概念である。例えば、他人に比べて目が大きい、あごが長い、目立つホクロがあるなどはいずれも人の注意を惹きやすく、記憶にも残りやすい。似顔絵を作る場合には、そのような顔のなかで人の注意を惹きやすい部分（顕著部分）を生かしたり強調したりすることで、対象者の特徴をよく捉えた似顔絵を得ることができる。一方で、逆の見方をすると、顕著部分はその人のコンプレックスの原因となっている可能性もある。したがって、顕著部分に対してかける補正処理としては、顔の特徴を強調するために顕著性を高める方向に補正する場合と、コンプレックス部分を隠すために顕著性を下げる方向に補正する場合の両方が考えられ、装置の設計次第でいずれの補正を採用してもよい。

【0058】

顕著部分を特定する処理については、公知の手法をはじめとしていかなる手法を利用してもよい。本実施形態の顕著部分特定部１０６は、平均顔における各部位（顔器官、輪郭）の特徴量（平均特徴量と呼ぶ）を予め記憶しており、元顔画像から抽出した特徴量と平均特徴量との乖離度合が所定値よりも大きい部位が検出された場合に、当該部位を顕著部
分と特定する。例えば、対象者の左右の目の間隔が平均顔の間隔に比べて際立って広い場合に、当該部位が顕著部分として検出される。なお、特徴量の乖離度合いは、特徴量がスカラーの場合は二つの特徴量の差又は比で評価すればよく、特徴量がベクトルの場合は特徴量空間内でのユークリッド距離や二つのベクトルの内積などで評価することができる。

【0059】

顕著部分特定部１０６によって顕著部分が特定された後の処理に関しては、第３実施形態のように、補正内容指定部１０４が、指定可能な補正処理の内容を顕著部分の特定結果に応じて変更する処理を行ってもよいし、第４実施形態のように、画像補正部１０１が、元顔画像に対して施す補正処理の内容を顕著部分の特定結果に応じて変更する処理を行ってもよい。前者の場合は、図８の対応テーブルの代わりに、顕著部分の特定結果と補正処理の内容とを対応付けるテーブルを用意し、図９の処理フローのステップＳ９０とＳ９１の処理をそれぞれ「元顔画像から顕著部分を特定する処理」と「特定結果に応じてユーザが指定可能な補正処理の内容を変更する処理」に置き換えればよい。後者の場合は、図１１の処理フローのステップＳ１１０とＳ１１１の処理をそれぞれ「元顔画像から顕著部分を特定する処理」と「特定結果に応じて元顔画像に施す補正処理の内容を決定する処理」に置き換えればよい。

【0060】

以上述べた本実施形態の処理によっても、第３実施形態や第４実施形態と同様の作用効果を得ることができる。加えて、本実施形態によれば、対象者の顔のなかの顕著部分に対して補正処理を施すため、その人の顔の特徴を強調した似顔絵、又は、その人がコンプレックスに感じている部分を目立たないようにした似顔絵を生成することが可能となる。

【0061】

＜第６実施形態＞
前述した実施形態では、自動又は手動で補正項目や補正度合を決定したが、第６実施形態では、他人の顔画像を用い、対象者の顔画像内の顔を他人の顔画像内の顔に似せるように補正を行う。これにより、本人らしさを保ちつつ他人の顔にも似ているような似顔絵を作成することができる。本実施形態の方法は、例えば、有名人風の似顔絵を作るというようなアプリケーションに応用できる。なお、以下では、本実施形態に特有の構成及び処理を中心に説明し、前述した実施形態と同一の構成及び処理については同一の符号を付して、その詳しい説明は省略する。

【0062】

図１３は、本発明の第６実施形態に係る似顔絵生成装置の構成を模式的に示すブロック図である。第１実施形態（図１）との違いは、情報処理装置１０が、顔画像データベース１０７と他人画像取得部１０８と類似顔選択部１０９を有している点である。

【0063】

顔画像データベース１０７は、複数の人の顔画像が登録されているデータベースである。例えば、多数の有名人の顔画像を予め登録しておくとよい。他人画像取得部１０８は、顔画像データベース１０７から、補正の目標とする他人の顔画像（目標顔画像と呼ぶ）を取得する。誰の顔を目標顔画像に選ぶかは、顔画像データベース１０７のなかからユーザ自身が任意に指定できるようにしてもよいし、他人画像取得部１０８が選択肢をレコメンドし、その選択肢のなかからユーザに選択させてもよい。類似顔選択部１０９は、対象者の顔と似ている他人の顔画像をレコメンド用の選択肢として選び出す機能である。二つの顔の類似性は、顔認証の技術を応用し、対象者の元顔画像から抽出される特徴量と他人の顔画像から抽出される特徴量のあいだの類似度により評価することができる。例えば、類似顔選択部１０９は、対象者の顔の特徴量を、顔画像データベース１０７に登録されている各顔の特徴量と比較し、類似度が所定値より大きい顔を類似顔として選び出せばよい。

【0064】

図１４に、第６実施形態の似顔絵生成処理の流れを示す。前述の実施形態と同様、画像取得部１００によって、撮像装置１１により撮影された画像又は保存されている画像のデータが読み込まれる（ステップＳ２０，Ｓ２１）。次に、類似顔選択部１０９が、読み込
まれた元顔画像に類似する他人の顔画像を顔画像データベース１０７のなかから選び出す（ステップＳ１４０）。そして、他人画像取得部１０８が、ステップＳ１４０で選ばれた他人の顔画像を表示装置１２に一覧表示し、ユーザに目標顔画像の選択を促す（ステップＳ１４１）。ユーザがその選択肢のなかから所望の目標顔画像を選択すると（ステップＳ１４２）、画像補正部１０１が、元顔画像内の顔を目標顔画像内の顔に似せるように、元顔画像の補正を行い、補正顔画像を生成する（ステップＳ１４３）。具体的には、元顔画像内の特徴点の位置が目標顔画像内の特徴点の位置に近づくように、元顔画像を変形したり、元顔画像の明度や色合いなどを目標顔画像のものに近づけたり、といった処理が考えられる。補正顔画像が得られた後の処理は前述の実施形態と同様である。

【0065】

以上述べた本実施形態の処理によっても、前述の実施形態と同様の作用効果を得ることができる。加えて、本実施形態によれば、本人らしさを保ちつつ有名人などの顔にもみえる似顔絵を作ることが可能となる。また、本実施形態では、対象者の顔に似た類似顔を選び出しレコメンドするので、自分が誰に似ているか自覚がない場合でも容易に適当な目標顔画像を選択できるという利点もある。もちろん、類似顔のレコメンドを行わず、ユーザが任意の人の顔画像を目標顔画像に指定できるようにしてもよい。例えば、自分とはまったく似ていない人の顔を目標顔画像に選んだ場合も、それはそれでユニークな似顔絵が得られると期待できる。

【0066】

＜その他の実施形態＞
上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。

【符号の説明】

【0067】

１０：情報処理装置、１１：撮像装置、１２：表示装置、１３：入力装置
６０：元顔画像の表示エリア、６１：補正顔画像の表示エリア
１００：画像取得部、１０１：画像補正部、１０２：似顔絵生成部、１０２ａ：似顔絵用パーツデータベース、１０３：装飾処理部、１０４：補正内容指定部、１０５：推定部、１０６：顕著部分特定部、１０７：顔画像データベース、１０８：他人画像取得部、１０９：類似顔選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】