特許 6498802 生体情報解析装置及びその顔型のシミュレーション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6498802

(24)【登録日】2019年3月22日

(45)【発行日】2019年4月10日

(54)【発明の名称】生体情報解析装置及びその顔型のシミュレーション方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20190401BHJP

   A61B 5/107 20060101ALI20190401BHJP

   G06T 7/00 20170101ALI20190401BHJP

【ＦＩ】

   G06T1/00 340A

   A61B5/107 110

   G06T7/00 660A

【請求項の数】15

【全頁数】24

(21)【出願番号】特願2018-7969(P2018-7969)

(22)【出願日】2018年1月22日

【審査請求日】2018年1月22日

(31)【優先権主張番号】201711011882.1

(32)【優先日】2017年10月25日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】517058635

【氏名又は名称】麗寶大數據股▲フン▼有限公司

(74)【代理人】

【識別番号】110000383

【氏名又は名称】特許業務法人 エビス国際特許事務所

(72)【発明者】

【氏名】沈 軾榮

(72)【発明者】

【氏名】季 敏昶

(72)【発明者】

【氏名】林 暉騰

(72)【発明者】

【氏名】王 靖維

【審査官】 松田 直也

(56)【参考文献】

【文献】 特開２００７−１４４１９４（ＪＰ，Ａ）

【文献】 特開２０１２−１７４１９７（ＪＰ，Ａ）

【文献】 特開２００１−２２２７２５（ＪＰ，Ａ）

【文献】 韓国公開特許第１０−２０１７−００４７１６７（ＫＲ，Ａ）

【文献】 中国特許出願公開第１０２９７１７６９（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ａ６１Ｂ ５／１０７

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

生体情報解析装置であって、
外部画像を撮像する撮像モジュールと、
表示モジュールと、
目標顔型に対応する顔型変数に対応付けられた所定値を記憶するメモリと、
前記撮像モジュール、前記表示モジュール及び前記メモリに電気的に接続される処理部と、を含み、
前記処理部は、
前記外部画像から顔を識別して前記顔の複数のパーツを位置合わせする顔解析モジュールと、
複数の前記パーツに応じて前記顔の本来顔型を決定する顔型検知モジュールと、
前記本来顔型に基づいて前記顔に対して変形処理を行うことで、前記顔型変数が前記所定値と一致する顔のシミュレーション画像を取得する変形モジュールと、
前記顔のシミュレーション画像を表示するように前記表示モジュールを制御するための出力制御モジュールと、を含むことを特徴とする生体情報解析装置。

【請求項2】

前記処理部に電気的に接続され、複数の目標顔型から１つを選択する目標顔型選択操作を受け付ける入力インタフェースをさらに含み、
前記メモリには、複数の前記顔型変数の複数の前記所定値が記憶されており、
複数の前記顔型変数は、複数の前記目標顔型にそれぞれ対応し、
前記変形モジュールは前記変形処理を行うことで、前記顔の、選択された前記目標顔型に対応する前記顔型変数を前記所定値として調整することを特徴とする請求項１に記載の生体情報解析装置。

【請求項3】

前記処理部は、計算モジュールをさらに含み、
前記計算モジュールは、前記顔の眉毛と口部との垂直距離、及び前記顔の輪郭の両側の間の水平距離に基づいて前記顔の第１顔型変数の値を計算し、前記顔の輪郭の頬角度を前記顔の第２顔型変数の値として計算し、前記顔の額の両側の間の水平距離及び前記顔の輪郭両側の間の水平距離に基づいて前記顔の第３顔型変数の値を計算することを特徴とする請求項１に記載の生体情報解析装置。

【請求項4】

前記顔型検知モジュールは、
前記顔の前記第１顔型変数の値が第１所定値と一致すると判断した場合、前記顔が楕円顔であると判定し、
前記顔の前記第１顔型変数の値が第２所定値と一致するとともに前記顔の前記第２顔型変数の値が第３所定値よりも大きいと判断した場合、前記顔が四角顔であると判定し、
前記顔の前記第１顔型変数の値が第２所定値と一致するとともに前記顔の前記第２顔型変数の値が第３所定値以下であると判断した場合、前記顔が丸顔であると判定し、
前記顔の前記第３顔型変数の値が第４所定値と一致すると判断した場合、前記顔が逆三角顔であると判定し、
前記顔の前記第３顔型変数の値が第５所定値と一致すると判断した場合、前記顔が菱顔であると判定し、
前記顔の前記第３顔型変数の値が前記第４所定値及び前記第５所定値と一致していないと判断した場合、前記顔が面長顔であると判定することを特徴とする請求項３に記載の生体情報解析装置。

【請求項5】

前記変形モジュールは、
前記目標顔型が楕円顔の場合に前記顔の前記第１顔型変数を前記第１所定値として調整し、前記目標顔型が四角顔または丸顔の場合に前記顔の前記第１顔型変数を前記第２所定値として調整する第１変形モジュールと、
前記目標顔型が四角顔の場合に前記顔の前記第２顔型変数を前記第３所定値よりも大きく調整し、前記目標顔型が丸顔の場合に前記顔の前記第２顔型変数を前記第３所定値以下に調整する第２変形モジュールと、
前記目標顔型が逆三角顔の場合に前記顔の前記第３顔型変数を前記第４所定値として調整し、前記目標顔型が菱顔の場合に前記顔の前記第３顔型変数を前記第５所定値として調整する第３変形モジュールと、を含むことを特徴とする請求項４に記載の生体情報解析装置。

【請求項6】

前記処理部は、前記顔の前記顔型変数の値及び前記顔型変数の前記所定値に基づいて変形量を決定するとともに、前記本来顔型及び前記目標顔型に基づいて前記顔の変形範囲を決定する評価モジュールをさらに含み、
前記変形モジュールは、前記変形量に基づいて前記顔の前記変形範囲に前記変形処理を行うことを特徴とする請求項１に記載の生体情報解析装置。

【請求項7】

前記評価モジュールは、
前記目標顔型が楕円顔であるとともに前記本来顔型が四角顔または丸顔の場合、前記変形範囲を前記顔のエラ領域として設定するとともに、変形方法を水平縮小として設定し、
前記目標顔型が楕円顔であるとともに前記本来顔型が逆三角顔の場合、前記変形範囲を前記顔のエラ領域として設定するとともに、前記変形方法を水平拡張として設定し、
前記目標顔型が楕円顔であるとともに前記本来顔型が菱顔の場合、前記変形範囲を前記顔のエラ領域及び額領域として設定するとともに、前記変形方法を水平拡張として設定し、
前記目標顔型が楕円顔であるとともに前記本来顔型が面長顔の場合、前記変形範囲を前記顔のエラ領域及び額領域として設定するとともに、前記変形方法を垂直縮小として設定することを特徴とする請求項６に記載の生体情報解析装置。

【請求項8】

前記変形モジュールは、前記変形量及び前記変形方法に基づいて前記顔の前記変形範囲に前記変形処理を行い、前記顔の前記顔型変数を前記所定値として調整することを特徴とする請求項７に記載の生体情報解析装置。

【請求項9】

生体情報解析装置に適する顔型のシミュレーション方法であって、
前記生体情報解析装置のメモリから目標顔型に対応する顔型変数の所定値を読み取るステップａ）と、
前記生体情報解析装置の撮像モジュールにより外部画像を撮像するステップｂ）と、
前記生体情報解析装置の処理部を制御して前記外部画像から顔を識別した場合、前記顔の複数のパーツを位置合わせするステップｃ）と、
複数の前記パーツに基づいて前記顔の本来顔型を決定するステップｄ）と、
前記本来顔型に基づいて前記外部画像の前記顔に変形処理を行うことで、前記顔型変数が前記所定値と一致する顔のシミュレーション画像を取得するステップｅ）と、
前記顔のシミュレーション画像を出力するステップｆ）と、を含むことを特徴とする顔型のシミュレーション方法。

【請求項10】

前記ステップａ）は、
前記生体情報解析装置の入力インタフェースにより、複数の目標顔型から１つを選択する目標顔型選択操作を受け付けるステップａ１）と、
選択された前記目標顔型に対応する前記顔型変数の前記所定値を取得するステップａ２）と、を含むことを特徴とする請求項９に記載の顔型のシミュレーション方法。

【請求項11】

前記ステップｄ）は、
前記顔の眉毛と口部との垂直距離及び前記顔の輪郭両側の間の水平距離に基づいて前記顔の第１顔型変数の値を計算するステップｄ１）と、
前記顔の前記第１顔型変数の値が第１所定値と一致すると判断した場合、前記顔が楕円顔であると判定するステップｄ２）と、
前記顔の前記第１顔型変数の値が第２所定値と一致すると判断した場合、前記顔の輪郭の頬角度を前記顔の第２顔型変数の値として計算するステップｄ３）と、
前記顔の前記第１顔型変数の値が第２所定値と一致するとともに前記顔の前記第２顔型変数の値が第３所定値よりも大きいと判断した場合、前記顔が四角顔であると判定するステップｄ４）と、
前記顔の前記第１顔型変数の値が第２所定値と一致するとともに前記顔の前記第２顔型変数の値が第３所定値以下であると判断した場合、前記顔が丸顔であると判定するステップｄ５）と、
前記顔の額の両側の間の水平距離及び前記顔の輪郭の両側の間の水平距離に基づいて前記顔の第３顔型変数の値を計算するステップｄ６）と、
前記顔の前記第３顔型変数の値が第４所定値と一致すると判断した場合、前記顔が逆三角顔であると判定するステップｄ７）と、
前記顔の前記第３顔型変数の値が第５所定値と一致すると判断した場合、前記顔が菱顔であると判定するステップｄ８）と、
前記顔の前記第３顔型変数の値が第４所定値及び前記第５所定値と一致していないと判断した場合、前記顔が面長顔であると判定するステップｄ９）と、を含むことを特徴とする請求項９に記載の顔型のシミュレーション方法。

【請求項12】

前記ステップｅ）では、
前記目標顔型が楕円顔の場合、前記顔の前記第１顔型変数を前記第１所定値として調整し、
前記目標顔型が四角顔の場合、前記顔の前記第１顔型変数を前記第２所定値として調整するとともに前記顔の前記第２顔型変数を前記第３所定値よりも大きく調整し、
前記目標顔型が丸顔の場合、前記顔の前記第１顔型変数を前記第２所定値として調整するとともに前記顔の前記第２顔型変数を前記第３所定値以下に調整し、
前記目標顔型が逆三角顔の場合、前記顔の前記第３顔型変数を前記第４所定値として調整し、
前記目標顔型が菱顔の場合、前記顔の前記第３顔型変数を前記第５所定値として調整することを特徴とする請求項１１に記載の顔型のシミュレーション方法。

【請求項13】

前記ステップｅ）は、
前記顔の前記顔型変数の値及び前記顔型変数の前記所定値に基づいて変形量を決定するステップｅ１）と、
前記本来顔型及び前記目標顔型に基づいて前記顔の変形範囲を決定するステップｅ２）と、
前記変形量に基づいて前記顔の前記変形範囲に前記変形処理を行うステップｅ３）と、を含むことを特徴とする請求項９に記載の顔型のシミュレーション方法。

【請求項14】

前記ステップｅ２）は、
前記目標顔型が楕円顔であるとともに前記本来顔型が四角顔または丸顔の場合、前記変形範囲を前記顔のエラ領域として設定するとともに、変形方法を水平縮小として設定するステップｅ２１）と、
前記目標顔型が楕円顔であるとともに前記本来顔型が逆三角顔の場合、前記変形範囲を前記顔のエラ領域として設定するとともに、前記変形方法を水平拡張として設定するステップｅ２２）と、
前記目標顔型が楕円顔であるとともに前記本来顔型が菱顔の場合、前記変形範囲を前記顔のエラ領域及び額領域として設定するとともに、前記変形方法を水平拡張として設定するステップｅ２３）と、
前記目標顔型が楕円顔であるとともに前記本来顔型が面長顔の場合、前記変形範囲を前記顔のエラ領域及び額領域として設定するとともに、前記変形方法を垂直縮小として設定するステップｅ２４）と、を含むことを特徴とする請求項１３に記載の顔型のシミュレーション方法。

【請求項15】

前記ステップｅ３）では、
前記変形量及び前記変形方法に基づいて前記顔の前記変形範囲に前記変形処理を行い、前記顔の前記顔型変数を前記所定値として調整することを特徴とする請求項１４に記載の顔型のシミュレーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、装置及び方法に関し、特に、生体情報解析装置及びその顔型のシミュレーション方法に関する。

【背景技術】

【0002】

一般的には、人々の顔型は人間が生まれつき持っているものである。しかしながら、人々は、所望の顔型に変わった後の様子を整形や身体装飾（例えば、アクセサリーを付けたり、化粧を施したりすることで、所望の目標顔型を視学的に表示する）の参考として把握したくなる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

従来技術では、顔型を変えた後の様子を得るために、個人はプロフェッショナルに頼んで画像補正ソフトウェアを用いてシミュレーション画像を描くようになっている。このような方法には手間がかかるほか、費用も高い。

【0004】

以上に鑑みて、個人の本来顔型及び目標顔型に基づいてシミュレーション画像を自動的かつ効果的に生成可能な支援装置が求められている。

【0005】

従って、本発明は、利用者の所望の目標顔型を適用した顔のシミュレーション画像を自動的に生成可能な生体情報解析装置及びその顔型のシミュレーション方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記の目的を達成するために、本発明に係る生体情報解析装置は、撮像モジュールと、表示モジュールと、メモリと、処理部とを含む。撮像モジュールは、外部画像を撮像する。メモリには、顔型変数に対応する所定値が記憶されている。顔型変数は、目標顔型に対応する。処理部は、撮像モジュール、表示モジュール及びメモリに電気的に接続され、顔解析モジュールと、顔型検知モジュールと、変形モジュールと、出力制御モジュールと、を含む。顔解析モジュールは、外部画像から顔を識別して顔の複数のパーツを位置合わせする。顔型検知モジュールは、複数のパーツに応じて顔の本来顔型を決定する。変形モジュールは、本来顔型に基づいて顔に対して変形処理を行うことで、顔型変数が所定値と一致する顔のシミュレーション画像を取得する。出力制御モジュールは、顔のシミュレーション画像を表示するように表示モジュールを制御する。

【0007】

また、本発明に係る生体情報解析装置に適する顔型のシミュレーション方法は、生体情報解析装置のメモリから目標顔型に対応する顔型変数の所定値を読み取るステップａ）と、生体情報解析装置の撮像モジュールにより外部画像を撮像するステップｂ）と、生体情報解析装置の処理部を制御して外部画像から顔を識別した場合、顔の複数のパーツを位置合わせするステップｃ）と、複数のパーツに基づいて顔の本来顔型を決定するステップｄ）と、本来顔型に基づいて外部画像の顔に変形処理を行うことで、顔型変数が所定値と一致する顔のシミュレーション画像を取得するステップｅ）と、顔のシミュレーション画像を出力するステップｆ）と、を含む。

【発明の効果】

【0008】

本発明に係る生体情報解析装置及びその顔型のシミュレーション方法によれば、利用者の本来顔型に応じて異なる顔型変形処理を行うことで、目標顔型を適用した利用者のシミュレーション画像を効果的に生成するほか、生成したシミュレーション画像がより自然に仕上がることができる。

【図面の簡単な説明】

【0009】

【図1】本発明に係るシステムの第１実施形態の構成を示す図である。

【図2】本発明に係る生体情報解析装置を示す第１図である。

【図3】本発明に係る生体情報解析装置を示す第２図である。

【図4】本発明の第１実施形態に係る生体情報解析装置の構成を示す図である。

【図5】本発明の第１実施形態のメモリを示す図である。

【図6】本発明の第１実施形態に係る顔型のシミュレーション方法を示すフローチャートである。

【図7】本発明の第２実施形態に係る顔型のシミュレーション方法の一部を示すフローチャートである。

【図8A】本発明の第３実施形態に係る顔型のシミュレーション方法の第１部分を示すフローチャートである。

【図8B】本発明の第３実施形態に係る顔型のシミュレーション方法の第２部分を示すフローチャートである。

【図9】本発明の第４実施形態に係る顔型のシミュレーション方法の一部を示すフローチャートである。

【図10】本発明の第５実施形態に係る顔型のシミュレーション方法の一部を示すフローチャートである。

【図11】本発明の第１顔型変数を示す図である。

【図12】本発明の第２顔型変数を示す図である。

【図13】本発明の第３顔型変数を示す図である。

【図14A】本発明の顔のシミュレーション画像を示す図である。

【図14B】本発明の第１本来顔型を示す図である。

【図14C】本発明の第２本来顔型を示す図である。

【図14D】本発明の第３本来顔型を示す図である。

【図14E】本発明の第４本来顔型を示す図である。

【図14F】本発明の第５本来顔型を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態の目的、技術案及び利点をより明確にするために、添付図面を参照しながら、本発明の実施形態の技術案を詳しく説明する。なお、本発明の実施形態は、本発明を制限するためのものではないことに理解されたい。

【0011】

本発明に係る生体情報解析装置１（以下、解析装置１と称する）は、主に顔型のシミュレーション方法を実行し、利用者の顔型の種類や目標顔型によって顔のシミュレーション画像を生成することで、利用者が目標顔型を適用した様子を容易に把握することができる。

【0012】

図１は、本発明に係るシステムの第１実施形態の構成を示す図である。図１の実施形態では、利用者は、電子装置２を操作して解析装置１を設定してもよい。

【0013】

詳細には、電子装置２の記憶部（不図示）には、ソフトウェア２１がインストールされている。ソフトウェア２１は、解析装置１との接続を構築するためのもの（例えば、解析装置１の製造メーカによって開発、提供されるアプリケーションプログラム）である。また、利用者は、ソフトウェア２１を操作することで、解析装置１に対する様々な設定操作、例えば、利用者のデータの入力、利用者の画像（例えば、顔画像）の登録及び／又は様々な所定値（例えば、後述する様々な顔型変数の所定値）の設定などを行うことができる。

【0014】

一実施形態では、利用者は、解析装置１の入力インタフェース（例えば、図４で示される入力インタフェース１５）を直接操作することで様々な設定操作を行ってもよい。

【0015】

一実施形態では、解析装置１の無線伝送モジュール（例えば、図４で示される無線伝送モジュール１６）は、Ｗｉ−Ｆｉ通信技術、ブルートゥース（登録商標）通信技術、ジグビー（Ｚｉｇｂｅｅ）（登録商標）通信技術、ＲＦ通信技術、赤外線通信技術、光通信技術、音声通信技術及び／又は他の無線通信技術により電子装置２とデータを伝送してもよい。

【0016】

一実施形態では、解析装置１は、区域におけるワイヤレスルータ３０に接続され、ワイヤレスルータ３０を介してインターネット３２に接続されてもよい。こうすることで、解析装置１は、インターネット３２を介してファームウェアのアップデート、データのアップロードやダウンロードなどの操作を行うことができる。また、解析装置１は、インターネット３２を介して利用者の生体データ（例えば、後述する外部画像、顔画像及び／又は顔のシミュレーション画像など）を遠隔のサーバー３４に送信し、これにより、利用者が遠隔で確認したり、隔地保管の目的を実現したりできる。

【0017】

図２及び図３は、それぞれ本発明に係る生体情報解析装置を示す第１図及び第２図である。図２及び図３で示される実施形態に係る解析装置１は、主に、利用者の寝室または化粧室に設置される。こうすることで、利用者は、生体情報（例えば、顔部、首部、手部または肌状態）を容易に検出、解析する。

【0018】

解析装置１は、ミラースクリーン１１を有する。解析装置１は起動時（図２に示すように）に、ミラースクリーン１１によりグラフィカル・ユーザ・インタフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ, ＧＵＩ）を表示し、ＧＵＩを介して利用者５と対話することができる。一方、解析装置１は停止時（図３に示すように）に、ミラースクリーン１１が単純にミラーとして利用者の光学的鏡像４を反射してもよい。

【0019】

本発明では、主に解析装置１により利用者の顔型の種類を自動的に検知するとともに、対応する顔型情報を表示して利用者によって把握し、これにより、対応する化粧を利用者に支援する。このため、ミラースクリーン１１は、ＧＵＩを表示するとともに、利用者の光学的鏡像４を反射する。こうすることで、利用者は化粧時に利用者の顔型の種類を解析するとともに利用者の化粧を支援する（詳細は後述する）。

【0020】

一実施形態では、解析装置１は、角度を調整可能な撮像モジュール１２をさらに含む。撮像モジュール１２は、解析装置１に設置される。一実施形態では、撮像モジュール１２は、利用者の高解像度画像（例えば、顔画像、首画像、手画像など）を撮像することができる。解析装置１は、画像を用いて利用者５の生体情報及び／又は化粧の進歩状況を解析することができる。他の実施形態では、撮像モジュール１２は、外部の情報（例えば、一次元バーコード、二次元バーコードなど）を取得し、取得された情報の内容によって対応するデータを設定することができる。

【0021】

また、解析装置１は、撮像モジュール１２によって撮像された画像をミラースクリーン１１に即時に表示する。こうすることで、ミラースクリーン１１がオフ状態であっても、利用者がミラースクリーン１１において自分の電子的鏡像４を即時に目視することができる。

【0022】

さらに、解析装置１は、撮像された画像を即時に処理（例えば、撮像された画像に、対応する輪郭パターンを描くか、またはグラフィック情報を書き込む）し、処理された画像をミラースクリーン１１に表示する。

【0023】

これにより、解析装置１は、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ，ＡＲ）により、利用者が化粧時にミラースクリーン１１において支援情報を即時、直感的に提供することができ、利用者の体験を効果的に向上させる。

【0024】

.
一実施形態では、ミラースクリーン１１は、タッチスクリーンであってもよい。利用者は、ミラースクリーン１１により解析装置１にデータを入力することができる。

【0025】

解析装置１は、複数のボタン１３を有してもよい。本実施形態では、複数のボタン１３は、実体のボタン（ｂｕｔｔｏｎ）であってもよいし、タッチボタン（ｔｏｕｃｈ ｋｅｙ）であってもよいが、これらに限定されない。利用者は、ボタン１３をトリガーにすることで上記ＧＵＩに対して操作（例えば、ＧＵＩを先頭頁や前の頁、次の頁などに戻す）を行ったり、対応する機能（例えば、ミラースクリーン１１の起動、ミラースクリーン１１の停止、撮像モジュール１２の起動など）を迅速に実行するように解析装置１を制御したりできる。

【0026】

解析装置１は、１つ以上のセンサ１４（例えば、温度センサ、湿度センサなど）を有してもよい。センサ１４は、解析装置１の所在する環境の環境データを検出して、解析装置１による利用者５の生体情報の検出や解析の精度を高める。一実施形態では、センサ１４は、モーションセンサ（ｍｏｔｉｏｎ ｓｅｎｓｏｒ）であってもよい。解析装置１は、モーションセンサで利用者５の移動ジェスチャー（例えば、左への振り動作、右への振り動作、上への振り動作、下への振り動作、前方への押し動作または後方への引き動作など）を検出することができる。こうすることで、利用者５は、指紋が残らないように、上記ミラースクリーン１１またはボタン１３に触れることなく、ジェスチャーにより解析装置１にデータを入力することができる。

【0027】

図４は、本発明の第１実施形態の生体解析装置の構成を示す図である。図４に示すように、解析装置１は、主に処理部１０、処理部１０に電気的に接続される表示モジュール１１１、撮像モジュール１２、入力インタフェース１５、無線伝送モジュール１６及びメモリ１７を含む。

【0028】

一実施形態では、撮像モジュール１２はカメラまたはビデオカメラであり、外部画像（例えば、利用者の顔画像）を撮像して外部情報を取得する。解析装置１は、外部画像により利用者を識別（例えば、顔識別、首識別、手識別など）することで、利用者の顔、首、手などのパーツを解析したり、外部情報の内容によって対応する操作を行ったりしてもよい。

【0029】

表示モジュール１１１は、上記ＧＵＩを表示する。一実施形態では、表示モジュール１１１は、ミラースクリーン１１内に取り付けられる。表示モジュール１１１が有効な場合、表示モジュール１１１の光源は、ミラースクリーン１１の単方向ガラス（不図示）を透過して利用者の目に投射し、これにより、利用者がミラースクリーン１１からＧＵＩを目視することができる。表示モジュール１１１が無効な場合、単方向ガラスの一面光通過特性のため、利用者がミラースクリーン１１から自体の光学的鏡像４のみを目視することができる。一実施形態では、解析装置１が表示モジュール１１１の光源強度または表示領域を調整することで、ミラースクリーン１１は利用者の光学的鏡像４を反射するとともにＧＵＩを表示することができる。

【0030】

解析装置１は、入力インタフェース１５を介して外部からの利用者の入力を受け付ける。これにより、利用者は、ＧＵＩと対話したり、必要な設定操作を行ったりできる。一実施形態では、入力インタフェース１５は、利用者のジェスチャーによる入力を検出するための上記センサ１４であってもよい。他の実施形態では、入力インタフェース１５は、外部画像を撮像したり外部情報を抽出したりするための上記撮像モジュール１２であってもよい。別の実施形態では、入力インタフェース１５は、利用者の入力操作を受け付けるためのタッチスクリーンまたはボタン１３であってもよい。もう１つの実施形態では、入力インタフェース１５は、外部の音声を受け付けるためのマイクであってもよい。

【0031】

無線伝送モジュール１６は、インターネット３２に接続される。詳細には、利用者は、インターネット３２を介して遠隔から解析装置１に接続して、解析装置１に記録されている様々な情報（例えば、生体情報）を随時に確認することができる。

【0032】

メモリ１７は、データを記憶する。一実施形態では、メモリ１７は、利用者の顔型の種類、利用者の生体情報履歴、解析装置１の音声コマンド、利用者の持つ化粧品の情報、化粧伝授動画及び／又は後述する所定値などを記憶してもよい。

【0033】

処理部１０は、表示モジュール１１１、撮像モジュール１２、入力インタフェース１５、無線伝送モジュール１６及びメモリ１７に接続される。メモリ１７（例えば、非一時的な記録媒体）には、コンピュータで実行可能なプログラムコード（不図示）が記憶されている。また、処理部１０は、上記コンピュータで実行可能なプログラムコードを実行することで、本発明の顔型のシミュレーション方法をさらに実現することができる。

【0034】

図５は、本発明の第１実施形態の処理部を示す図である。詳細には、上記コンピュータで実行可能なプログラムコードは、顔解析モジュール５００、計算モジュール５０１、顔型検知モジュール５０２、評価モジュール５０３、変形モジュール５０４、出力制御モジュール５０５、第１変形モジュール５０６、第２変形モジュール５０７及び第３変形モジュール５０８である機能モジュールを実現するためのプログラムコードを含む。なお、処理部は、主に上記コンピュータで実行可能なプログラムコードを実行することによって各機能モジュールを実現し、本発明に係る顔型のシミュレーション方法の各機能を実現する。

【0035】

顔解析モジュール５００は、撮像モジュール１２によって撮像された外部画像に対して顔識別処理を行い、識別された顔の複数のパーツを位置合わせする。詳細には、顔解析モジュール５００は、外部画像から顔（図１１〜１３で示される顔６）画像を識別し、顔６から特定パーツの画像の複数の特徴点（図１１〜１３出示される複数の特徴点７及び特徴点７００〜７４３）を識別する。なお、各特徴点７は、利用者の顔の異なるパーツ（例えば、目、口または眉毛など）の様々な特徴（例えば、目頭、口角、下唇または眉尻など）にそれぞれ対応する。

【0036】

計算モジュール５０１は、上記複数の特徴点７に基づいて顔型検知処理の実行に必要な変数値（例えば、後述する第１顔型変数の値、第２顔型変数の値及び第３顔型変数の値）を計算する。

【0037】

顔型検知モジュール５０２は、現在の顔６に対して顔型検知処理を行って顔６の本来顔型を検知する。

【0038】

評価モジュール５０３は、顔６の変数値及び目標顔型に基づいて変形処理の実行に必要な変形変数（例えば、変形範囲、変形方法及び変形量）を計算する。

【0039】

変形モジュール５０４は、顔６に変形処理を行って顔のシミュレーション画像を生成する。

【0040】

一実施形態では、変形モジュール５０４は、第１変形モジュール５０６、第２変形モジュール５０７及び第３変形モジュール５０８を含む。第１変形モジュール５０６は、顔６の第１顔型変数の値を調整し、第２変形モジュール５０７は、顔６の第２顔型変数の値を調整し、第３変形モジュール５０８は、顔６の第３顔型変数の値を調整する。

【0041】

出力制御モジュール５０５は、出力装置（例えば、表示モジュール１１１）を制御して顔のシミュレーション画像を出力する。一実施形態では、出力制御モジュール５０５は、支援情報生成モジュール（不図示）をさらに含む。詳細には、支援情報生成モジュールは、顔６及び顔のシミュレーション画像に基づいて支援情報（例えば、顔６と顔のシミュレーション画像との類似度、変形処理の範囲や方法、変形量）を生成して表示モジュール１１１に表示する。こうすることで、本発明は、利用者が自体の顔型と目標顔型との相違情報を知ることができ、利用者の体験を効果的に向上させる。

【0042】

これにより、利用者は目標顔型を適用してシミュレーションした様子を表示モジュール１１１から確認することができる。

【0043】

図６は、本発明の第１実施形態に係る顔型のシミュレーション方法を示すフローチャートである。本発明の解析装置１は、処理部１０により上記コンピュータで実行可能なプログラムコード（例えば、上記各機能モジュール５００〜５０８）を実行する。その結果、本発明の各実施形態の顔型のシミュレーション方法の各ステップを実行することができる。

【0044】

本実施形態に係る顔型のシミュレーション方法は、顔型のシミュレーション機能を実現するための下記ステップを含む。

【0045】

ステップＳ１０では、解析装置１の処理部１０は、メモリ１７から顔型変数の所定値を読み取る。なお、顔型変数は、利用者の所望の目標顔型に対応する。

【0046】

ステップＳ１１では、処理部１０は、撮像モジュール１２を制御して利用者を撮像することで、利用者の画像を含む外部画像を取得する。

【0047】

一実施形態では、処理部１０は、表示モジュール１１１を即時に制御して撮像された外部画像を表示し、電子ミラー効果を果たす。

【0048】

ステップＳ１２では、処理部１０は、顔解析モジュール５００により外部画像に顔識別処理を行い、外部画像に完全な顔６が含まれるか否か判断する。

【0049】

処理部１０は、外部画像から顔６を識別したと判断した場合にステップＳ１３に移行し、外部画像から顔６を識別していないと判断した場合にステップＳ１１を再実行して１枚の外部画像を新たに撮像する。

【0050】

ステップ１３では、処理部１０は、顔解析モジュール５００により外部画像から顔６の位置及び範囲を識別し、識別された顔６の位置及び範囲に基づいて外部画像から顔６を切り出す。

【0051】

次に、処理部１０は、顔解析モジュール５００により顔６に顔解析処理を行い、顔６の複数のパーツ（例えば、眉毛、額、口、輪郭または目など）を識別する。

【0052】

一実施形態では、上記顔解析処理は、特徴解析処理であり、顔６の特定パーツの複数の特徴を識別することができる。

【0053】

詳細には、上記特徴解析処理は、特徴点ランドマーク（Ｆｅａｔｕｒｅ Ｌａｎｄｍａｒｋ）アルゴリズムにより顔６を解析し、顔６の特定パーツ（例えば、眉毛、額、口、顔の輪郭または目など）の複数の特徴を位置合わせするが、これに限定されない。さらに、上記特徴点ランドマークアルゴリズムは、ライブリラリ（Ｌｉｂｒａｒｙ）Ｄｌｉｂによって実現される。

【0054】

図１１は、本発明の第１顔型変数を示す図である。図１２は、本発明の第２顔型変数を示す図である。図１３は、本発明の第３顔型変数を示す図である。図１１〜図１３に示すように、特徴解析処理を実行する場合、顔解析モジュール５００は、上記特徴点ランドマークアルゴリズムにより顔６を解析する。上記特徴点ランドマークアルゴリズムは、本技術領域において慣用技術であり、機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）技術により顔６の特定パーツを解析し、１つ以上の顔の特定パーツ（例えば、眉毛、額、口、顔の輪郭または目など）の複数の特徴点７を顔６から識別するとともに、各特徴点を特定パーツの異なる特徴に対応させる。

【0055】

眉毛の識別を例示する場合、各特徴点は眉毛の眉頭、眉山または眉尻などにそれぞれ対応してもよい。口の識別を例示する場合、各特徴点は口の上唇、口角または下唇にそれぞれ対応してもよい。上記特徴点の数は、６８個、１９８個または他の個数であってもよいが、これらに限定されない。

【0056】

また、上記特徴点ランドマークアルゴリズムは、特定パーツの複数の特徴点を顔６にさらに標示してもよい。図１１〜図１３に示すように、特徴点ランドマークアルゴリズムは、複数の特徴点７を顔６に標記してもよい。

【0057】

一実施形態では、顔解析モジュール５００は、各特徴点の属するパーツ及び対応する特徴に基づいて各特徴点に番号を付す。こうすることで、本発明では、複数の特徴点の番号、形状、順番などの情報に基づいて、顔６における各パーツの位置を確定して特定のパーツを識別する。

【0058】

図６に示すように、ステップＳ１３の後、処理部１０は、顔解析モジュール５００により顔６の複数のパーツ（例えば、複数のパーツの複数の特徴点７）を識別してからステップＳ１４に移行する。処理部１０は、識別された顔６の複数のパーツ（例えば、複数のパーツの複数の特徴点７）に基づいて１つ以上の顔型検知処理（例えば、楕円顔検知処理、四角顔検知処理、丸顔検知処理、逆三角顔検知処理、菱顔検知処理または面長顔検知処理など）を顔型検知モジュール５０２により行って、現在の顔６の本来顔型を決定する。

【0059】

一実施形態では、処理部１０は、計算モジュール５０１により顔６に応じて顔型検知処理に必要な顔型変数の値を計算し、その後、計算された顔型変数の値に基づいて顔型検知処理を顔型検知モジュール５０２により行う。

【0060】

一実施形態では、処理部１０は、楕円顔検知処理、四角顔検知処理、円顔検知処理、逆三角顔検知処理、菱顔検知処理及び面長顔検知処理を順次に行い、現在の顔６が楕円顔、四角顔、円顔、逆三角顔、菱顔または面長顔であるか否かを順次に判断する。

【0061】

ステップＳ１５では、処理部１０は、検知された本来顔型に応じて顔６に変形処理を変形モジュール５０４により行って、顔のシミュレーション画像を生成する。さらに、生成した顔のシミュレーション画像の顔型変数の値は、ステップＳ１０で取得した所定値と一致し、生成した顔のシミュレーション画像の顔型が目標顔型と一致する。

【0062】

一実施形態では、処理部１０は、本来顔型及び目標顔型に基づいて変形範囲を設定し、次に、ステップＳ１０で取得した顔型変数の所定値及び顔６と同じ顔型変数の値に基づいて変形量を計算するとともに、設定された変形範囲及び計算された変形量に基づいて顔６に変形処理を行って顔のシミュレーション画像を取得する。

【0063】

ステップＳ１６では、処理部１０は、出力制御モジュール５０５により、ステップＳ１５で生成した顔のシミュレーション画像を表示モジュール１１１に表示する。

【0064】

他の実施形態では、処理部１０は、無線伝送モジュール１６により顔のシミュレーション画像を外部（例えば、電子装置２またはサーバー３４）に出力する。

【0065】

本発明は、利用者の本来顔型に応じて異なる顔型変形処理を行うことで、利用者が目標顔型を適用した後のシミュレーション画像を効果的に生成するほか、生成されたシミュレーション画像がより自然に仕上がる。

【0066】

図１１〜図１３を参照しながら、本発明の顔型変数の定義について説明する。

【0067】

本発明の一実施形態では、顔型変数の値に基づいて顔型検知処理または変形処理を行う。詳細には、顔型検知処理を行う場合、解析装置１は、顔６の各顔型変数の値に基づいて顔６の本来顔型を決定する。変形処理を行う場合、解析装置１は、顔６を変形させて顔６の特定顔型変数の値を変えることで、顔６の特定顔型変数の値を所定値にする。

【0068】

本発明の一実施形態では、顔の３種類の顔型変数（第１顔型変数、第２顔型変数及び第３顔型変数）をさらに定義する。

【0069】

図１１を参照しながら、如何にして第１顔型変数の値を計算するかについて説明する。第１顔型変数の値を計算する場合、計算モジュール５０１は眉毛の眉尻特徴点７００、７０２からいずれかを選択し（眉尻特徴点７００を例として選択し）、口部の口角特徴点７０１、７０３からいずれかを選択する（口角特徴点７０３を例として選択する）とともに、眉毛と口部（例えば、眉尻特徴点７００と口角特徴点７０３）との垂直距離（図１１で示される第１距離Ｄ１）を計算する。次に、計算モジュール５０１は、顔の輪郭の複数の輪郭特徴点（例えば、下唇特徴点７１０と同じ高さの輪郭特徴点７１１、７１２を選択する）の間の水平距離を計算する。詳細には、計算モジュール５０１は、複数の輪郭特徴点から２つを選択するとともに、選択された２つの輪郭特徴点の水平距離（図１１で示される第２距離Ｄ２）を計算する。最後に、計算モジュール５０１は、第１計算モジュール５０１により第１距離Ｄ１と第２距離Ｄ２との比を第１顔型変数の値として計算する。例えば、第１距離Ｄ１が５００ピクセル、第２距離Ｄ２が８００ピクセルの場合には、第１顔型変数（Ｄ１／Ｄ２）の値が５／８となる。

【0070】

図１２を参照しながら、如何にして第２顔型変数の値を計算するかについて説明する。まず、計算モジュール５０１は複数の輪郭特徴点を選択する（隣り合う輪郭特徴点７２０〜７２２を例として選択する）とともに、選択された複数の輪郭特徴点７２０〜７２２に基づいて頬接線Ｌ１を計算する。次に、計算モジュール５０１は、複数の輪郭特徴点を再選択する（隣り合う輪郭特徴点７２２〜７２４を例として選択し、選択された輪郭特徴点がその前に選択された輪郭特徴点と部分的に同じであってもよいし、完全に異なってもよい）とともに、選択された複数の輪郭特徴点７２２〜７２４に基づいて頬接線Ｌ２を計算する。次に、計算モジュール５０１は、複数の輪郭特徴点を再選択する（隣り合う輪郭特徴点７２４〜７２６を例として選択し、選択された輪郭特徴点がその前に選択された輪郭特徴点と部分的に同じであってもよいし、完全に異なってもよい）とともに、選択された複数の輪郭特徴点７２４〜７２６に基づいて頬接線Ｌ３を計算する。次に、計算モジュール５０１は、頬接線Ｌ１と頬接線Ｌ２との間の第１頬角度θ１を計算するとともに、頬接線Ｌ２と頬接線Ｌ３との間の第２頬角度θ２を計算する。最後に、計算モジュール５０１は、第１頬角度θ１及び第２頬角度θ２からいずれか（例えば、最大の頬角度を選択する）を第２顔型変数の値として選択する。

【0071】

なお、本実施形態では、２セットの頬角度の計算を例として説明するが、これに限定されない。他の実施形態では、計算モジュール５０１は、１セットの頬角度のみを計算してもよいし、３セット以上の頬角度を計算してもよい。

【0072】

図１３を参照しながら、如何にして第３顔型変数の値を計算するかについて説明する。まず、計算モジュール５０１は額の両側の額特徴点７３０、７３１を選択するとともに、２つの額特徴点７３０、７３１の間の水平距離（例えば、図１３で示される第３距離Ｄ３）を計算し、複数の輪郭特徴点から２つを選択し、選択された、目の眼底特徴点７４０、７４１と同じ高さの輪郭特徴点７４２、７４３の間の水平距離（例えば、図１３で示される第４距離Ｄ４）を計算する。最後に、計算モジュール５０１は、第３距離Ｄ３と第４距離Ｄ４との比を第３顔型変数の値として計算する。例えば、第３距離Ｄ３が８００ピクセル、第４距離Ｄ４が１０００ピクセルの場合には、第３顔型変数（Ｄ３／Ｄ４）の値が４／５となる。

【0073】

一実施形態では、額特徴点７３０、７３１は、両目の眼尻から額までそれぞれ上向きに垂直に延在する位置と定義されてもよいが、これに限定されない。

【0074】

図６及び図７を参照する。図７は、本発明の第２実施形態に係る顔型のシミュレーション方法の一部を示すフローチャートである。本実施形態では、利用者は、入力インタフェース１５を操作していずれか１種類の顔型（例えば、楕円顔）を目標顔型として選択する。また、本実施形態では、メモリ１７には、複数の顔型変数の複数の所定値が記憶されている。上記複数の顔型変数は、複数の異なる目標顔型にそれぞれ対応する。図６で示される実施形態と比べると、本実施形態に係る顔型のシミュレーション方法のステップＳ１０は以下のステップを含む。

【0075】

ステップＳ２０では、処理部１０は、入力インタフェース１５を介して目標顔型の選択操作を受け付ける。上記目標顔型の選択操作とは、複数の目標顔型（例えば、楕円顔、四角顔、丸顔、逆三角顔、菱顔または面長顔）から１つを選択する操作である。

【0076】

ステップＳ２１では、処理部１０は、選択された目標顔型に対応する顔型変数を決定し、メモリ１７からこの顔型変数の所定値を読み取る。

【0077】

これにより、利用者は、所望の顔型を目標顔型として設定し、所望の目標顔型を適用した後のシミュレーション様子を確認する。

【0078】

図６、図８Ａ及び図８Ｂを合わせて参照する。図８Ａは、本発明の第３実施形態に係る顔型のシミュレーション方法の第１部分を示すフローチャートである。図８Ｂは、本発明の第３実施形態に係る顔型のシミュレーション方法の第２部分を示すフローチャートである。図６で示される実施形態と比べると、本実施形態に係る顔型のシミュレーション方法のステップＳ１４は、顔型検知機能を実現するための以下のステップを含む。

【0079】

ステップＳ３００では、処理部１０は、撮像された外部画像における顔６の第１顔型変数の値を計算モジュール５０１により計算する。第１顔型変数の計算方法は、上述した図１１の関連説明を参照するため、その詳細について省略する。

【0080】

ステップＳ３０１では、処理部１０は、顔型検知モジュール５０２によりメモリ１７から第１顔型変数の第１所定値（例えば、１）を読み取り、顔６の第１顔型変数の値が第１所定値と一致するか否かを比較する。

【0081】

処理部１０は、顔６の第１顔型変数の値が第１所定値と一致すると判断した場合にステップＳ３０２に移行し、逆の場合にステップＳ３０３に移行する。

【0082】

ステップＳ３０２では、処理部１０は、顔型検知モジュール５０２により顔６が楕円顔であると判定する。次に、処理部１０はステップＳ１５に移行する。

【0083】

ステップＳ３０１で処理部１０は顔６の第１顔型変数の値が第１所定値と一致していないと判断した場合にステップＳ３０３に移行する。ステップＳ３０３では、処理部１０は、顔型検知モジュール５０２によりメモリ１７から第１顔型変数の第２所定値（例えば、２／３）を読み取り、顔６の第１顔型変数の値が第２所定値と一致するか否かを比較する。

【0084】

一実施形態では、上記所定値（例えば、第１所定値及び第２所定値）が数値範囲（例えば、０．９〜１．１または０．６〜０．７）であってもよい。処理部１０は、顔６の第１顔型変数の値が上記数値範囲内である場合、顔６の第１顔型変数の値が所定値と一致すると判定する。

【0085】

処理部１０は、顔６の第１顔型変数の値が第２所定値と一致すると判断した場合にステップＳ３０４に移行し、逆の場合にステップＳ３０８に移行する。

【0086】

ステップＳ３０４では、処理部１０は、撮像された外部画像における顔６の第２顔型変数の値を計算モジュール５０１により計算する。第２顔型変数の計算方法は、上述した図１２の関連説明を参照するため、その詳細について省略する。

【0087】

ステップＳ３０５では、処理部１０は、顔型検知モジュール５０２によりメモリ１７から第２顔型変数の第３所定値（例えば、５°）を読み取り、顔６の第２顔型変数の値が第３所定値と一致するか否かを比較する。

【0088】

一実施形態では、処理部１０は、顔６の第２顔型変数の値が第３所定値よりも大きい場合、顔６の第２顔型変数の値が所定値と一致すると判定し、一方、顔６の第２顔型変数の値が第３所定値以下の場合、顔６の第２顔型変数の値が所定値と一致していないと判定する。

【0089】

一実施形態では、上記第３所定値が数値範囲（例えば、３〜５°）であってもよい。処理部１０は、顔６の第２顔型変数の値が上記数値範囲内である場合、顔６の第２顔型変数の値が第３所定値と一致すると判定する。

【0090】

処理部１０は、顔６の第２顔型変数の値が第３所定値と一致すると判断した場合にステップＳ３０６に移行し、逆の場合にステップＳ３０７に移行する。

【0091】

ステップＳ３０６では、処理部１０は、顔型検知モジュール５０２により顔６が四角顔であると判定する。次に、処理部１０は、ステップＳ１５に移行する。

【0092】

ステップＳ３０７では、処理部１０は、顔型検知モジュール５０２により顔６が丸顔であると判定する。次に、処理部１０は、ステップＳ１５に移行する。

【0093】

処理部１０は、ステップＳ３０３で顔６の第１顔型変数の値が第２所定値と一致していない場合、ステップＳ３０８に移行する。ステップＳ３０８では、処理部１０は、撮像された外部画像における顔６の第３顔型変数の値を計算モジュール５０１により計算する。第３顔型変数の計算方法は、上述した図１３の関連説明を参照するため、その詳細について省略する。

【0094】

ステップＳ３０９では、処理部１０は、顔型検知モジュール５０２によりメモリ１７から第３顔型変数の第４所定値（例えば、１）を読み取り、顔６の第３顔型変数の値が第４所定値と一致するか否かを比較する。

【0095】

処理部１０は、顔６の第３顔型変数の値が第４所定値と一致すると判定した場合にステップＳ３１０に移行し、逆の場合にステップＳ３１１に移行する。

【0096】

ステップＳ３１０では、処理部１０は、顔型検知モジュール５０２により顔６が逆三角顔であると判定する。次に、処理部１０は、ステップＳ１５に移行する。

【0097】

処理部１０は、ステップＳ３０９で顔６の第３顔型変数の値が第４所定値と一致していない場合、ステップＳ３１１に移行する。処理部１０は、顔型検知モジュール５０２によりメモリ１７から第３顔型変数の第５所定値（例えば、２／３）を読み取り、顔６の第３顔型変数の値が第５所定値と一致するか否かを比較する。

【0098】

一実施形態では、上記所定値（例えば、第４所定値及び第５所定値）が数値範囲（例えば、０．９〜１．１または０．６５〜０．６７）であってもよい。処理部１０は、顔６の第３顔型変数の値が上記数値範囲内である場合、顔６の第３顔型変数の値が所定値と一致すると判定する。

【0099】

処理部１０は、顔６の第３顔型変数の値が第５所定値と一致すると判断した場合にステップＳ３１２に移行し、逆の場合にステップＳ３１３に移行する。

【0100】

ステップＳ３１２では、処理部１０は、顔型検知モジュール５０２により顔６が菱顔であると判定する。次に、処理部１０は、ステップＳ１５に移行する。

【0101】

ステップＳ３１３では、処理部１０は、顔型検知モジュール５０２により顔６が面長顔であると判定する。次に、処理部１０は、ステップＳ１５に移行する。

【0102】

これにより、本発明は、顔６の本来顔型の種類を効果的に判断することができる。

【0103】

図６及び図９を参照する。図９は、本発明の第４実施形態に係る顔型のシミュレーション方法の一部を示すフローチャートである。図６で示される実施形態と比べて、本実施形態に係る顔型のシミュレーション方法のステップＳ１５は、顔型変形機能を実現するための下記ステップを含む。

【0104】

ステップＳ４０では、処理部１０は、ステップＳ１３で検出された顔６の本来顔型及び利用者の所望の顔型に基づいて評価モジュール５０３により顔６の変形範囲を決定する。

【0105】

一実施形態では、処理部１０は、幾何学グラフィックスにおける、本来顔型と目標顔型との差に応じて変形範囲を設定するほか、変形方法（例えば、水平縮小、水平拡張、垂直縮小、垂直拡張、頬角度の増加または頬角度の減少）をさらに設定する。

【0106】

例えば、顔６の本来顔が四角顔であるとともに目標顔型が丸顔である場合、処理部１０は、顔６の頬の下部輪郭を変形範囲として設定する。また、後続する変形処理では、顔６の頬角度を減少させることで顔６の本来顔型を四角顔から丸顔に補正する。

【0107】

別の実施形態では、顔６の本来顔が楕円顔であるとともに目標顔型が菱顔である場合、処理部１０は、顔６の上部輪郭（例えば、額）及び下部輪郭を変形範囲として設定する。また、後続する変形処理では、顔６の上部輪郭の両側の間の距離及び下部輪郭の両側の間の距離を短縮することで顔６の本来顔型を楕円顔から菱顔に補正する。

【0108】

ステップＳ４１では、処理部１０は、顔６の顔型変数（例えば、上述した第１顔型変数、第２顔型変数または第３顔型変数）の値及び同様の顔型変数の所定値に基づいて評価モジュール５０３により変形量を決定する。

【0109】

一実施形態では、処理部１０は、顔型変数の値と所定値との差に応じて変形量を決定する。

【0110】

ステップＳ４２では、処理部１０は、変形モジュール５０４により、変形量に基づいて決定された変形方法で顔６の変形範囲に変形処理を行い、これにより、顔６の顔型変数を所定値と一致させるように調整し、調整した顔６を顔のシミュレーション画像とする。

【0111】

一実施形態では、処理部１０は、現在の目標顔型に基づいて第１変形モジュール５０６、第２変形モジュール５０７または第３変形モジュール５０８から少なくとも１つを選択して、顔６に対応する目標顔型の顔型変数を調整する。

【0112】

例えば、処理部１０は、目標顔型が楕円顔の場合、第１変形モジュール５０６により顔６の第１顔型変数６を第１所定値として調整する。また、処理部は、目標顔型が四角顔の場合、第１変形モジュール５０６により顔６の第１顔型変数６を第２所定値として調整するとともに、第２変形モジュール５０７により顔の第２顔型変数を第３所定値よりも大きく調整する。また、処理部１０は、目標顔型が丸顔の場合、第１変形モジュール５０６により顔の第１顔型変数を第２所定値として調整するとともに、第２変形モジュール５０７により顔の第２顔型変数を第３所定値以下に調整する。また、処理部１０は、目標顔型が逆三角顔の場合、第３変形モジュール５０８により顔６の第３顔型変数を第４所定値として調整する。また、処理部１０は、目標顔型が菱顔の場合、第３変形モジュール５０８により顔の第３顔型変数を第５所定値として調整する。

【0113】

本発明は、顔６の本来顔型に応じて変形相関変数を計算して変形処理を行うことで、生成された顔のシミュレーション画像がより自然に仕上がる。

【0114】

図６、図９、図１０及び図１４Ａ〜図１４Ｆを同時に参照する。図１０は、本発明の第５実施形態に係る顔型のシミュレーション方法の一部を示すフローチャートである。図１４Ａは、本発明の顔のシミュレーション画像を示す図である。図１４Ｂは、本発明の第１本来顔型を示す図である。図１４Ｃは、本発明の第２本来顔型を示す図である。図１４Ｄは、本発明の第３本来顔型を示す図である。図１４Ｅは、本発明の第４本来顔型を示す図である。図１４Ｆは、本発明の第５本来顔型を示す図である。

【0115】

本実施形態に係る顔型のシミュレーション方法は、本来顔型によって異なる変形変数（例えば、変形範囲及び変形方法）を設定してもよい。本実施形態では、目標顔型は楕円顔である（すなわち、後続する変形処理では、顔の第１顔型変数を調整し、第１顔型変数の所定値を１とする）。また、異なる顔型の顔（図１４Ｂ〜図１４Ｆで示される顔８１〜８５）は、本実施形態の変形処理を受けた後、顔型が楕円顔のシミュレーション画像（例えば、図１４Ａで示される顔のシミュレーション画像８０）を得ることができる。

【0116】

なお、本実施形態では、目標顔型が楕円顔の場合を例として説明するが、当業者が本明細書の内容に基づいて本発明を他の目標顔型に適用してもよい。

【0117】

図９で示される実施形態と比べ、本実施形態に係る顔型のシミュレーション方法のステップＳ４０は以下のステップを含む。

【0118】

ステップＳ５０では、処理部１０は、顔６の本来顔型が楕円顔の場合、変形を不要とする情報を出力制御モジュール５０５により出力し、顔６の本来顔型が目標顔型に属する旨を利用者に通知する。また、処理部１０は、いずれかの変形パラメータを設定しないほか、いずれかの変形処理を行うこともない。

【0119】

ステップＳ５１では、処理部１０は、顔６の本来顔型が四角顔の場合、評価モジュール５０３により変形範囲を顔６のエラ領域として設定するとともに、変形方法を水平縮小として設定する。

【0120】

例えば、図１４Ｂに示すように、顔８１の顔型が四角顔であるとともに顔８１の第１顔型変数が２／３である。このため、処理部１０は、顔８１のエラ領域が広すぎると判断し、顔８１の第１顔型変数を１に調整するための水平縮小の変形処理を行う必要があるほか、それに対応する変形範囲及び変形方法を設定する。

【0121】

ステップＳ５２では、処理部１０は、顔６の本来顔型が丸顔の場合、評価モジュール５０３により変形範囲を顔６のエラ領域として設定するとともに、変形方法を水平縮小として設定する。

【0122】

例えば、図１４Ｃに示すように、顔８２の顔型が丸顔であるとともに顔８２の第１顔型変数が２／３である。このため、処理部１０は、顔８２のエラ領域が広すぎると判断し、顔８２の第１顔型変数を１に調整するための水平縮小の変形処理を行う必要があるほか、それに対応する変形範囲及び変形方法を設定する。

【0123】

ステップＳ５３では、処理部１０は、顔６の本来顔型が逆三角顔の場合、評価モジュール５０３により変形範囲を顔６のエラ領域として設定するとともに、変形方法を水平拡張として設定する。

【0124】

例えば、図１４Ｄに示すように、顔８３の顔型が逆三角顔であるとともに顔８３の第１顔型変数が７／６である。このため、処理部１０は、顔８３のエラ領域が狭すぎると判断し、顔８３の第１顔型変数を１に調整するための水平拡張の変形処理を行う必要があるほか、それに対応する変形範囲及び変形方法を設定する。

【0125】

ステップＳ５４では、処理部１０は、顔６の本来顔型が菱顔の場合、評価モジュール５０３により変形範囲を顔６の額領域及びエラ領域として設定するとともに、変形方法を水平拡張として設定する。

【0126】

例えば、図１４Ｅに示すように、顔８４の顔型が菱顔であるとともに顔８４の第１顔型変数が４．１／３．７である。このため、処理部１０は、顔８４の額領域及びエラ領域がそれぞれ狭すぎると判断し、顔８４の第１顔型変数を１に調整するための水平拡張の変形処理を行う必要があるほか、それに対応する変形範囲及び変形方法を設定する。

【0127】

ステップＳ５５では、処理部１０は、顔６の本来顔型が面長顔の場合、評価モジュール５０３により変形範囲を顔６の額領域及びエラ領域として設定するとともに、変形方法を垂直縮小として設定する。

【0128】

例えば、図１４Ｆに示すように、顔８５の顔型が面長顔であるとともに顔８５の第１顔型変数が４／３である。このため、処理部１０は、顔８５の額領域及びエラ領域がそれぞれ狭すぎるとともに顔８５の垂直距離が長すぎると判断し、顔８５の第１顔型変数を１に調整するための垂直縮小の変形処理を行う必要があるほか、それに対応する変形範囲及び変形方法を設定する。

【0129】

次に、処理部１０はステップＳ４１に移行する。

【0130】

これにより、本発明は、本来顔型の顔によってそれに対応する目標顔型の顔のシミュレーション画像を生成することができる。

【0131】

当然ながら、本発明は他の様々な実施形態を含んでもよい。当業者は、本発明の精神及び範囲を逸脱していない前提で、本発明がさらに種々の変更及び改善を行うことができる。また、これらの変更及び改善は、本発明の保護を求める範囲内に属するものである。

【符号の説明】

【0132】

１ 生体情報解析装置
１０ 処理部
１１ ミラースクリーン
１１１ 表示モジュール
１２ 撮像モジュール
１３ ボタン
１４ センサ
１５ 入力インタフェース
１６ 無線伝送モジュール
１７ メモリ
２ 電子装置
２１ ソフトウェア
３０ ワイヤレスルータ
３２ インターネット
３４ サーバー
４ 鏡像
５００ 顔解析モジュール
５０１ 計算モジュール
５０２ 顔型検知モジュール
５０３ 評価モジュール
５０４ 変形モジュール
５０５ 出力制御モジュール
５０６ 第１変形モジュール
５０７ 第２変形モジュール
５０８ 第３変形モジュール
６ 顔
７、７００〜７０３、７１０〜７１２、７２０〜７２６、７３０〜７３１、７４２〜７４３、７４０〜７４１ 特徴点
８０ 顔のシミュレーション画像
８１〜８５ 顔
Ｄ１〜Ｄ４ 距離
Ｌ１〜Ｌ３ 頬接線
θ１〜θ２ 頬角度
Ｓ１０〜Ｓ１６ 顔型シミュレーションステップ
Ｓ２０〜Ｓ２１ 目標顔型選択ステップ
Ｓ３００〜Ｓ３１３ 顔型検知ステップ
Ｓ４０〜Ｓ４２ 変形処理ステップ
Ｓ５０〜Ｓ５５ 変形範囲設定ステップ

【要約】

【課題】利用者の本来顔型に応じて異なる顔型変形処理を行うことで、目標顔型を適用した利用者のシミュレーション画像を効果的に生成するほか、生成したシミュレーション画像がより自然に仕上がる生体情報解析装置及びその顔型のシミュレーション方法を提供する。
【解決手段】本発明に係る生体情報解析装置は、外部画像を撮像し、外部画像から顔を識別し、顔の複数のパーツを位置合わせして顔の本来顔型を決定し、本来顔型及び目標顔型に基づいて顔に変形処理を行うことで、顔型が目標顔型と一致する顔のシミュレーション画像を取得して表示する。
【選択図】図６

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図14C】

【図14D】

【図14E】

【図14F】