特許 7337431 美容整形アプリケーションソフトウェア

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-08-25

(45)【発行日】2023-09-04

(54)【発明の名称】美容整形アプリケーションソフトウェア

(51)【国際特許分類】

   G06T 1/00 20060101AFI20230828BHJP

   G06T 11/80 20060101ALI20230828BHJP

   G16H 50/50 20180101ALI20230828BHJP

【ＦＩ】

G06T1/00 340A

G06T11/80 A

G16H50/50

【請求項の数】 3

(21)【出願番号】P 2023082378

(22)【出願日】2023-05-18

【審査請求日】2023-05-18

【早期審査対象出願】

(73)【特許権者】

【識別番号】523185486

【氏名又は名称】株式会社ＣｒｏｗｎＳｔｒａｔｅｇｙ

(74)【代理人】

【識別番号】100105946

【弁理士】

【氏名又は名称】磯野 富彦

(74)【代理人】

【識別番号】100189500

【弁理士】

【氏名又は名称】鉾田 慶亮

(72)【発明者】

【氏名】秋吉 夏帆

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１０－２２４８０２（ＪＰ，Ａ）

【文献】特開２０２０－０６７８６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／００－１１／８０

Ｇ１６Ｈ ５０／５０

(57)【特許請求の範囲】

【請求項1】

サーバと通信自在なモバイル端末に美容整形に関する情報を表示する機能を実現させる美容整形アプリケーションソフトウェアであって、
前記サーバ及び前記モバイルを含んで構成されるシステムのコンピュータに実行させることで、
前記モバイル端末に入力されたユーザーの顔画像並びに当該ユーザーの父及び母の顔画像を、入力された合成割合に応じて合成して合成顔画像を生成させることにより経年変化したときの顔をシミュレーションさせるとともにこのシミュレーション結果を前記モバイル端末に表示させ、
美化シミュレーション機能及び美容整形シミュレーション機能により、ユーザーの顔画像の顔を美化させたときの顔並びにユーザーの顔画像の顔を美容整形したときの顔をシミュレーションさせるとともに、これらのシミュレーション結果を前記モバイル端末に表示させ、
前記モバイル端末に入力された施術する部位名に応じて、当該部位の施術に適した専門医を含む情報を前記モバイル端末に表示させる美容整形アプリケーションソフトウェア。

【請求項2】

ダウンタイムシミュレーション機能により前記合成顔画像に対して美容整形後のダウンタイム中の顔をシミュレーションしてダウンタイムの顔画像を生成させ、前記ダウンタイムの顔画像を前記モバイル端末に表示させる、請求項１に記載の美容整形アプリケーションソフトウェア。

【請求項3】

前記モバイル端末にユーザーの複数の顔画像を表示させ、
前記合成顔画像を生成する際に、ユーザーの顔画像として前記ユーザーの複数の顔画像からユーザーが選択した顔画像を用いて、前記合成顔画像を生成させる、請求項１又は請求項２に記載の美容整形アプリケーションソフトウェア。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モバイル端末等に用いられる美容整形アプリケーションソフトウェアに関する。

【背景技術】

【0002】

近年、美容意識の高まりから、顔の美容整形の需要が増えてきている。これに伴い、美容整形後の顔画像を作成して表示する装置が普及しつつあり、これにより需要者が美容整形後の顔を具体的にイメージすることができるようになってきている。このような顔画像表示装置として、例えば、予想される美容整形後の顔画像を美容整形による変形要因を加味して作成し表示するものがある（下記特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０‐２２４８０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

そのため、顔の美容整形の需要者は、美容整形クリニックを初めて受診する時点で、既に需要者が理想とする美容整形後の顔画像を取得していることがあり、かかる場合、美容整形クリニックの施術者は、先ずは需要者の希望に従って、需要者の顔を当該顔画像のとおりに整形することが求められる。

【0005】

しかしながら、現実には、施術者は、被術者が希望する上記顔画像のとおりに整形できずに施術を失敗することが多々ある。このような施術失敗の要因としては、まず、施術者が難度の高い施術を試みたことが挙げられる。例えば、一般的には被術者の顔の整形前後の変化量が大きいほど施術の難易度が上がるが、施術者が、被術者の無理な要求に応じようとして、上記顔画像に従って変化量の大きな施術をしようとすると失敗する可能性が高くなる。また、施術失敗の別の要因としては、施術者が得意としない部位の施術を試みたことが挙げられる。例えば、施術する部位や方法などによっては施術に熟練を要する場合があり、このような施術を経験の浅い者が行うことで失敗する可能性が高くなる。

【0006】

以上のような事情に鑑み、本発明は、より安全に美容整形するのに資する有用な顔画像や情報を需要者が取得することができる機能を端末に実現させるアプリを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明では、整形失敗の確率を低減するため、特に、顔の美容整形に関するシミュレーションにおいて、美容整形の需要者の父と母の顔の形を重視することにした。即ち、本発明では、生殖によって親から子へと形質が伝わる遺伝現象に着眼し、父母の顔画像を利用してシミュレーションした結果をユーザーに提供する。この方が、上述したような美容整形の失敗を事前に回避でき安全だからである。また、施術直後の施術部位の変化も併せてシミュレーション（後述するダウンタイムシミュレーション）し、美容整形後の顔の変化をある程度予測することで、無理のない範囲で、美容整形を提案できるようにした。

【0008】

そこで、本発明は、サーバと通信自在なモバイル端末に美容整形に関する情報を表示する機能を実現させる美容整形アプリケーションソフトウェアであって、サーバ及びモバイルを含んで構成されるシステムのコンピュータに実行させることで、モバイル端末に入力されたユーザーの顔画像並びに当該ユーザーの父及び母の顔画像を入力された合成割合に応じて合成して合成顔画像を生成させることにより経年変化したときの顔をシミュレーションさせるとともにこのシミュレーション結果をモバイル端末に表示させ、美化シミュレーション機能及び美容整形シミュレーション機能により、ユーザーの顔画像の顔を美化させたときの顔並びにユーザーの顔画像の顔を美容整形したときの顔をシミュレーションさせるとともにこれらのシミュレーション結果をモバイル端末に表示させ、モバイル端末に入力された施術する部位名に応じて、当該部位の施術に適した専門医を含む情報をモバイル端末に表示させる。なお、以下の説明では、美容整形アプリケーションソフトウェアについて単に「美容整形アプリ」と称することがある。

【0009】

また、ダウンタイムシミュレーション機能により合成顔画像に対して美容整形後のダウンタイム中の顔をシミュレーションしてダウンタイムの顔画像を生成させ、ダウンタイムの顔画像をモバイル端末に表示させてもよい。また、モバイル端末にユーザーの複数の顔画像を表示させ、合成顔画像を生成する際に、ユーザーの顔画像としてユーザーの複数の顔画像からユーザーが選択した顔画像を用いて、合成顔画像を生成させてもよい。

【発明の効果】

【0010】

本発明によれば、需要者は安全に美容整形するのに資する顔画像及び専門医の情報を容易に取得することができ、ひいては施術の失敗を事前に回避することができる。

【0011】

即ち、本発明によれば、美容整形をしないまま経年変化したときの予想されるユーザー顔の画像として、ユーザーの顔画像に対してユーザーの父母の顔画像を合成することでより確度の高い顔画像を出力させ、美容整形をしたほうがよい部位の特定などを可能にするとともに、ユーザーの顔画像に基づいて生成された理想的な顔画像をモバイル端末に表示させるので、無理なく整形可能な顔画像をユーザーに提供することができる。したがって、無理な美容整形を施術者に強いることに起因する施術の失敗を事前に回避することができる。また、本発明によれば、施術に適した専門医を含む情報をモバイル端末に表示させるので、ユーザーは、表示された専門医に美容整形を依頼することで安全に施術を受けることができる。したがって、施術経験の浅い者が施術を行うことで失敗する事態を回避することができる。また、本発明によれば、ユーザーはモバイル端末に表示された美容整形顔画像から美容整形後の顔をイメージすることができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態に係る美容整形アプリを実行させるシステムの構成の一例を示す概略図である。

【図2】図１のシステムの構成を示すブロック図である。

【図3】実施形態に係る美容整形アプリの実行ステップの一例を示すフローチャートである。

【図4】図３に引き続き実施形態に係る美容整形アプリの実行ステップの一例を示すフローチャートである。

【図5】図４に引き続き実施形態に係る美容整形アプリの実行ステップの一例を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、本願発明の実施形態について説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現することがある。実施形態に係る美容整形アプリケーションソフトウェアは、主として顔の美容整形を希望するユーザーに使用され、理想的な顔の画像と美容整形に関する有用な情報を、モバイル端末に表示させる機能を実現させるアプリケーションソフトウェアである。

【0014】

より具体的には、美容整形アプリは、後述する美容整形システムの情報処理装置（即ち、後述するモバイル端末１００及び／又はサーバ２００を構成するコンピュータ）に所定の処理を実行させることで、美容整形システムに経年変化シミュレーション機能を実現させるとともに、美容整形システムの備える美化シミュレーション機能及び美容整形シミュレーション機能を使用してユーザーの仮想的な顔の画像を生成させ、生成した画像をモバイル端末に表示させる。

【0015】

ここで、経年変化シミュレーション機能とは、人の加齢による顔（例えば、老化による肌の弛みやくすみ、シワやシミの増加、頭髪の白髪化や薄毛化などにより変化した顔）をシミュレーションする機能をいう。このシミュレーション結果である仮想の顔画をモバイル端末に表示させることで、ユーザーは美容整形しない場合において予想される加齢に伴う顔の変化を知ることができる。美化シミュレーション機能とは、現実の顔をより美しい顔へと変化させたときの顔をシミュレーションする機能をいい、例えば、入力された顔画像について所定のアルゴリズムにより美人モデルの写真のように加工したり、入力された顔画像の特定の部位（例えば目や鼻）の画像を美人と評される人物の顔画像の一部と合成したりして、現実の顔を美化したときの顔画像を生成する。このシミュレーション結果である仮想の顔画をモバイル端末に表示させることで、ユーザーは理想的な顔のモデルを得ることができる。美容整形シミュレーション機能とは、美容整形後の顔をシミュレーションする機能をいう。このシミュレーション結果である仮想の顔画をモバイル端末に表示させることで、ユーザーは美容整形後の顔をイメージすることができ、これにより、例えば、美容整形した部位が似合っているかなどを確認することができる。

【0016】

また、美容整形アプリは、美容整形システムの備えるダウンタイムシミュレーション機能を使って、ダウンタイム顔画像を生成し、生成した顔画像をモバイル端末に表示させる。ダウンタイムとは、美容整形の施術をしてから回復するまでの期間をいう。即ち、美容整形をすると、施術直後から施術した部位に腫れや、内出血、むくみが生じることがあるが、これらの症状が収まり回復するまでの時間がダウンタイムである。ダウンタイムシミュレーション機能とは、このようなダウンタイム中の顔をシミュレーションする機能をいう。このシミュレーション結果をモバイル端末に表示させることで、ユーザーはダウンタイムの自身の顔を予め想定しておくことができる。

【0017】

また、美容整形アプリは、美容整形システムのコンピュータに所定の処理を実行させることで、モバイル端末に、施術部位名及び施術方法に応じて施術に適した専門医を含む情報を表示させる機能を実現する。施術部位とは、人の顔の美容整形に係る施術の対象となる部位を意味し、例えば、目元、口元、鼻、輪郭などである。施術方法とは、例えば、目元の二重化や、美容レーザーの照射、メスを使用した切除術などである。

【0018】

図１は、実施形態に係る美容整形アプリを実行させる美容整形システムＳＹＳの構成の一例を示す概略図である。図１に示すように、美容整形システムＳＹＳは、モバイル端末１００とサーバ２００とを含み構成される。モバイル端末１００とサーバ２００とはネットワーク３００を介して相互に通信可能に接続されている。ネットワーク３００は、無線の通信回線を含む通信ネットワークであり、例えばインターネットや無線通信回線網などである。なお、ネットワーク３００は有線の通信回線であってもよい。

【0019】

図２は、図１の美容整形システムＳＹＳの構成を示すブロック図である。図２に示すように、モバイル端末１００は、入力表示部１０と通信部１１と制御部１２と記憶部１３と撮像部１４とを有している。モバイル端末１００は、コンピュータを内蔵し、サーバ２００との通信可能な可搬型の情報処理装置であり、例えばスマートフォンやタブレット端末などである。モバイル端末１００は、入力表示部１０を構成するタッチパネルなどの入力表示手段、メモリなどの情報記憶装置、ＣＰＵなどの演算処理装置、送受信装置、デジタルカメラなどの撮像手段等を備える。

【0020】

入力表示部１０は、入力表示画面を有し、例えば、ユーザーの接触による操作を受け付けて、顔画像データやユーザーによる指示内容が入力される。また、入力表示部１０は、入力表示面に後述するシミュレーションの結果や専門医の情報などを表示する。通信部１１は、サーバ２００との間でデータを送受信する。制御部１２は、美容整形アプリなどのプログラムに従って各種情報処理を実行する処理部である。記憶部１３は、美容整形アプリなどのプログラムや、ユーザーが入力した顔画像データ、後述するシミュレーションの結果や専門医の情報情報などを記憶する。撮像部１４は、人物の顔を撮影し顔画像を取得する。

【0021】

サーバ２００は、サーバ側通信部２０と記憶部２１と情報処理部２２とを有しており、これらは、例えば、コンピュータにより実現される。かかるコンピュータは、ハードディスクやメモリなどの情報記憶装置、ＣＰＵなどの演算処理装置、送受信装置等を備える。サーバ側通信部２０は、モバイル端末１００との間でデータを送受信する。記憶部２１は、後述する、顔画像、専門医の情報などの各種データ、シミュレーション結果（例えば経年変化シミュレーションしたときの顔画像など）、情報処理部２２に所定の処理を実行させるプログラムなどを記憶する。情報処理部２２は、モバイル端末１００から送信される情報や記憶部２１に記憶された情報に基づいて各種情報処理を実行する処理部である。

【0022】

情報処理部２２は、経年変化シミュレーション部２３、美化シミュレーション部２４、美容整形シミュレーション部２５、ダウンタイムシミュレーション部２６、及び受診情報検索部２７を含む。経年変化シミュレーション部２３は、モバイル端末１００の入力表示部１０に入力されたユーザーの顔画像並びにユーザーの父及び母の顔画像を、入力された合成割合に応じて合成して合成顔画像を生成する処理部であり、ユーザーの顔の経年変化をシミュレーションする。美容整形アプリなどのプログラムに従って経年変化シミュレーション部２３が動作することで上述した経年変化シミュレーション機能が実現される。美化シミュレーション部２４は、ユーザーの顔画像に美化処理を施す処理部であり、美化後の顔をシミュレーションする。美化シミュレーション部２４がプログラムに従って動作することで上述した美化シミュレーション機能が実現される。美容整形シミュレーション部２５は、ユーザーの顔画像に基づいて、当該画像の顔について美容整形した後の顔をシミュレーションする処理部である。ダウンタイムシミュレーション部２６は、ダウンタイムの顔をシミュレーションしてモバイル端末１００に表示する処理部であり、プログラムに従って動作することで上記したダウンタイムシミュレーション機能を実現させる。受診情報検索部２７は、ユーザーが希望する美容整形に適した専門医及び口コミの多い美容整形施設の情報の検索を実行する処理部である。

【0023】

次に、実施形態に係る整形美容アプリが実行されることによる美容整形システムＳＹＳの動作について説明する。図３～図５は、実施形態に係る美容整形アプリが実行されることによる美容整形システムＳＹＳの動作の一例を示すフローチャートである。整形美容アプリは、例えばモバイル端末１００にインストールされており、例えばユーザーが入力表示部１０に表示されたアイコンをタップする（指で軽く叩く）ことで起動する。そして、美容整形アプリが実行されることで、美容整形システムＳＹＳは例えば以下のように動作する。

【0024】

まず、モバイル端末１００は顔画像を取得する（ステップＳ０１）。ステップＳ０１では、例えばモバイル端末１００の撮像部１４を用いて、ユーザー自身の複数の異なる顔画像及びユーザーの父母の複数の異なる顔画像が取得される。これらの複数の顔画像は、それぞれ、例えば時と場所を異ならせて撮影された画像である。

【0025】

美容整形システムＳＹＳは、まず、経年変化シミュレーションを実行する。

【0026】

まず、モバイル端末１００の入力表示部１０に、シミュレーションに用いるユーザーの顔画像について複数の顔画像からユーザーに選択させるように、それぞれ異なる複数の顔画像が表示される。即ち、入力表示部１０に、ユーザー自身の複数の顔画像を含む顔画像選択画面が表示される（ステップＳ０２）。ユーザーは、シミュレーションに用いる顔画像を、入力表示部１０に表示されたユーザーの複数の顔画像から選択し、選択した顔画像をタップするなどして指定する。

【0027】

また、モバイル端末１００の入力表示部１０に、シミュレーションに用いるユーザーの父及び母の顔画像について複数の顔画像からユーザーに選択させるように、それぞれ異なる複数の顔画像が表示される。即ち、入力表示部１０に、ユーザーの父及び母の複数の顔画像を含む父母顔画像選択画面が表示される（ステップＳ０３）。ユーザーは、父母顔画像選択画面において、シミュレーションに用いる父及び母の顔画像を、入力表示部１０に表示された複数の異なる顔画像の中からそれぞれ選択し、選択した顔画像をタップするなどして指定する。

【0028】

ステップＳ０２及びステップＳ０３に引き続き、入力表示部１０に、父母顔画像合成割合入力画面が表示される（ステップＳ０４）。この父母顔画像合成割合入力画面は、上述のようにユーザーが指定した父母の顔画像に係る合成割合をユーザーが入力するための画面である。ユーザーは、父母顔画像合成割合入力画面に父母の顔画像の合成割合を入力する。このとき、入力される合成割合については、ユーザー自身の顔が父母のいずれの顔に似ているかを考慮して決定される。例えば、ユーザーの顔が母よりも父の顔に似ている場合には、母よりも父の顔画像の合成割合が高く設定され、逆に、ユーザーの顔が父よりも母の顔に似ている場合には、父よりも母の顔画像の合成割合が高く設定される。父母顔画像合成割合入力画面には、ユーザーの顔画像に対する父の顔画像と母の顔画像の合成割合について、例えば「父の顔画像の割合、母の顔画像の割合」が「２０％、３０％」、「１０％、４０％」などのように入力される。

【0029】

続いて、モバイル端末１００は、ユーザーが指定したユーザーの顔画像及び父母の顔画像のデータ並びに上記合成割合の情報をサーバ２００に送信する。そして、モバイル端末１００はサーバ２００に対して、ユーザーの顔画像に対して当該合成割合でユーザーの父母の顔画像を合成してユーザー及び父母の三者の顔画像の合成顔画像を生成するように指示する（ステップＳ０５）。また、モバイル端末１００はサーバ２００に対して、生成した合成顔画像データをモバイル端末１００に送信するように指示する。

【0030】

かかる指示をサーバ２００が受信すると、経年変化シミュレーション部２３は、ユーザーの顔画像に対して父母の顔画像を上記合成割合に応じて合成し、合成顔画像を生成する（ステップＳ０６）。この合成顔画像は、ユーザー及びユーザーの父母の三者の顔の画像を設定された割合で合成することにより得られる画像である。したがって、ステップＳ０４で、父の顔画像よりも母の顔画像の合成割合が高く設定された場合は、生成される合成顔画像の顔は父の顔よりも母の顔に近くなり、逆に、母の顔画像よりも父の顔画像の合成割合が高く設定された場合には、生成される合成顔画像の顔は母の顔よりも父の顔に近くなる。子の顔の形状や特徴は親からの遺伝の影響を受けるので、子の将来の顔は現在の親の顔に徐々に似てくると考えられることから、このように親子の顔画像の合成顔画像を生成することで、予想される子（ユーザー）の将来の顔をシミュレーションすることが可能となる。サーバ２００は、生成した合成顔画像データ、即ちシミュレーションの結果を、モバイル端末１００に送信する（ステップＳ０７）。

【0031】

モバイル端末１００が合成顔画像データを受信すると、入力表示部１０に合成顔画像が表示される。即ち、モバイル端末１００の入力表示部１０に、美容整形をしなかった場合に予想されるユーザーの将来の顔のシミュレーション結果が表示される（ステップＳ０８）。ユーザーは、このシミュレーション結果から、美容整形をした方がよいか否かを判断したり、美容整形した方がよいと判断した場合には美容整形する部位を特定したりすることができる。

【0032】

続いて、美容整形システムＳＹＳは、美化シミュレーションを実行する。
美化シミュレーションで美化処理の対象となるユーザーの顔画像としては、上記した経年変化シミュレーションに用いられたユーザーの顔（つまりユーザーの現在の顔）の画像でもよいし、経年変化シミュレーションにより生成された顔画像でもよい。

【0033】

まず、モバイル端末１００の入力表示部１０に、ユーザーの顔画像のうち美化シミュレーションする範囲をユーザーに選択させる美化範囲選択画面が表示される（ステップＳ０９）。この選択画面では、ユーザーが美化シミュレーションにより美化したい範囲について顔の全体又は一部のいずれか一方を選択できるようになっている。ユーザーは、上記いずれか一方の文字をタップするなどして、美化シミュレーションする範囲について顔の全体か一部かを選択する。

【0034】

ステップＳ０９において、ユーザーが美化シミュレーションにより美化したい範囲が顔の全体である場合には、後述するステップＳ１０を省略してステップＳ１１へと続く。

【0035】

一方、ステップＳ０９で、ユーザーが美化シミュレーションにより美化したい範囲が顔の一部（例えば目や鼻）である場合、ステップＳ０９に引き続き、さらに、モバイル端末１００の入力表示部１０には、美化シミュレーションする部位（例えば目や鼻）及び美化後の当該部位の画像（例えば美人と評される人物の顔画像から目や鼻の画像を切り出した画像）をユーザーに選択させる美化部位選択画面が表示される（ステップＳ１０）。この美化部位選択画面には、例えば、顔の部位の名称や当該部位の美化後の複数の画像などが表示され、ユーザーが美化シミュレーションにより美化したい顔の部位や美化後の画像をユーザーが選択できるようになっている。ユーザーは、美化部位選択画面において、例えば、顔の部位の名称をタップするなどして美化シミュレーションする部位を選択するとともに、当該部位の美化後の画像をタップするなどして美化シミュレーションに用いる画像を選択して指定する。

【0036】

続いて、モバイル端末１００からサーバ２００に対して、美化シミュレーションを実行するように要求する（ステップＳ１１）。このとき、ユーザーが美化シミュレーションにより美化したい顔の範囲が顔の全体でなく一部である場合、モバイル端末１００はユーザーが指定した美化シミュレーションする部位及び当該部位の美化後の画像のデータをサーバ２００に送信する。

【0037】

かかる要求をサーバ２００が受信すると、美化シミュレーション部２４は、美化シミュレーションを実行する（ステップＳ１２）。かかる美化シミュレーションは、ユーザーの顔画像に対して所定の処理を実行することにより行われる。即ち、美化シミュレーション部２４は、例えば、ユーザーの顔全体の画像について、これに対して所定のアルゴリズムを適用して美人モデルの顔写真のように加工して出力したり、ステップＳ１０で指定された顔の部位の画像を上記の美化後の部位の画像に置き換えたり合成したりすることで、美化した顔の画像（美化顔画像）を生成する。サーバ２００は、生成した画像のデータ、即ち美化シミュレーション結果をモバイル端末１００に送信する（ステップＳ１３）。

【0038】

モバイル端末１００が美化顔画像のデータを受信すると、入力表示部１０には美化顔画像が表示される。即ち、モバイル端末１００の入力表示部１０に、ユーザーの顔を美化したときのシミュレーション結果が表示される（ステップＳ１４）。このシミュレーション結果から、ユーザーは自身に適した理想的な顔をイメージすることができる。

【0039】

続いて、美容整形システムＳＹＳは、美容整形シミュレーションを実行する。
美容整形シミュレーションに用いられるユーザーの顔画像は、上記した経年変化シミュレーションに用いられたユーザーの顔の画像でもよいし、経年変化シミュレーションにより生成された顔画像でもよい。

【0040】

まず、モバイル端末１００の入力表示部１０に、ユーザーが施術部位を選択するための施術部位選択画面が表示される（ステップＳ１５）。この施術部位選択画面には、例えば、それぞれ異なる複数の施術部位の名称が表示される。ユーザーは、表示された複数の施術部位の名称の中から美容整形したい部位を選択しその名称をタップするなどして指定する。

【0041】

また、モバイル端末１００の入力表示部１０に、施術方法及び変化の度合いを選択するための施術方法等選択画面が表示される（ステップＳ１６）。この施術方法等選択画面には、例えば、それぞれ異なる複数の施術方法の名称が表示される。ユーザーは、表示された複数の施術方法の名称の中から希望する施術方法を選択しその名称をタップするなどして指定する。また、ユーザーは、施術方法等選択画面において変化の度合いを指定する。変化の度合いとは、例えば指定された施術部位における施術前後の変化の大きさをいい、変化の度合いとしては、例えばその変化量に応じた数値が用いられる。

【0042】

続いて、モバイル端末１００は、ユーザーが指定した施術部位、施術方法、及び変化の度合いを示すデータをサーバ２００に送信し、サーバ２００に対してこれらのデータに基づいてユーザーの美容整形後の顔をシミュレーションするように要求する（ステップＳ１７）。

【0043】

かかる要求をサーバ２００が受信すると、美容整形シミュレーション部２５は、美容整形後の顔のシミュレーションを実行する（ステップＳ１８）。このステップＳ１８において美容整形シミュレーション部２５は、例えば、過去に行われた美容整形における、施術部位名、施術部位の施術前の画像、施術方法名、及び変化の度合いを入力変数とし、施術部位の施術後の実際の画像を出力変数とする教師データを用いて機械学習することにより生成された学習モデルを用いて美容整形後の顔をシミュレーションする。具体的には、美容整形シミュレーション部２５は、例えば、ユーザーが指定した施術部位名、施術部位の画像、施術方法名、及び変化の度合いをこの学習モデルに入力し、その結果出力された画像の顔を、予想される美容整形後の顔と想定してシミュレーションする。なお、上記した教師データに含まれる施術部位の施術後の画像は、ダウンタイム経過後の施術部位の画像、即ち、施術直後に生じた施術部位の腫れや、内出血、むくみが治った後の施術部位の画像である。したがって、上記学習モデルから出力される顔画像は、ダウンタイム経過後に予想される顔の画像である。サーバ２００は、上記学習モデルにユーザーの顔画像等を入力することで上記学習モデルから出力された顔画像、即ち、シミュレーションにより生成された美容整形後の顔の画像のデータを、モバイル端末１００に送信する（ステップＳ１９）。

【0044】

シミュレーションされた美容整形後の顔の画像のデータをモバイル端末１００が受信すると、入力表示部１０に当該画像が表示される。即ち、モバイル端末１００の入力表示部１０に、美容整形したときのユーザーの顔をシミュレーションした結果が表示される（ステップＳ２０）。このシミュレーション結果から、ユーザーは美容整形後の顔をイメージすることができる。

【0045】

続いて、美容整形システムＳＹＳは、美容整形後のダウンタイム中の顔のシミュレーションを実行する。
ダウンタイムシミュレーションに用いられるユーザーの顔画像は、上記した経年変化シミュレーションに用いられたユーザーの顔の画像でもよいし、経年変化シミュレーションにより生成された顔画像でもよい。

【0046】

モバイル端末１００は、上述した施術部位選択画面及び施術方法等選択画面においてユーザーが指定した施術部位、施術方法、及び変化の度合いを示すデータをサーバ２００に送信し、サーバ２００に対してこれらのデータに基づいてダウンタイム中の顔をシミュレーションするように要求する（ステップＳ２１）。

【0047】

かかる要求をサーバ２００が受信すると、美容整形シミュレーション部２５は、ダウンタイム中の顔のシミュレーションを実行する（ステップＳ２２）。このステップＳ２２では、ダウンタイムシミュレーション部２６は、例えば、過去に行われた美容整形における、施術部位の施術前の画像、施術方法、及び変化の度合いを入力変数とし、施術部位のダウンタイムの中の実際の顔画像を出力変数とする教師データを用いて機械学習することにより生成された学習モデルを用いてシミュレーションする。即ち、ダウンタイムシミュレーション部２６は、ユーザーが指定した施術部位の画像、施術方法、及び変化の度合いをこの学習モデルに入力し、その結果出力された画像の顔をダウンタイム中の顔としてシミュレーションする。サーバ２００は、この学習モデルより出力された顔画像、即ち、シミュレーションしたダウンタイム中の顔の画像のデータを、モバイル端末１００に送信する（ステップＳ２３）。

【0048】

シミュレーションされたダウンタイム中の顔の画像のデータをモバイル端末１００が受信すると、入力表示部１０に当該画像が表示される（ステップＳ２４）。即ち、モバイル端末１００の入力表示部１０には、美容整形後のダウンタイム中のユーザーの顔をシミュレーションした結果が表示される。このシミュレーション結果から、ユーザーは美容整形した場合におけるダウンタイム中の自身の顔を予め想定しておくことができる。

【0049】

続いて、美容整形システムＳＹＳは、美容整形の専門医及び美容整形施設（美容整形クリニック等）に関する情報を提供する。

【0050】

まず、モバイル端末１００は、サーバ２００に対してユーザーが希望する美容整形に応じて、これに適した専門医及び口コミの多い美容整形施設を検索するように要求する（ステップＳ２５）。

【0051】

かかる要求をサーバ２００が受信すると、受診情報検索部２７は、例えばインターネット情報から、ユーザーが希望する美容整形に適した専門医及び美容整形施設の情報を検索する（ステップＳ２６）。具体的には、受診情報検索部２７は、例えば、上述した施術部位選択画面及び施術方法等選択画面においてユーザーが選択した施術部位及び施術方法による施術を専門に行っている医師や美容整形施設を検索する。この際、美容整形施設については、受診情報検索部２７は例えば口コミの数が多い施設を検索する。そして、サーバ２００は、検索結果をモバイル端末１００に送信する（ステップＳ２７）。

【0052】

モバイル端末１００が検索結果を受信すると、入力表示部１０に当該検索結果の一覧が表示される。即ち、美容整形する部位の施術や施術方法に適した専門医の氏名を含む情報並びに口コミの多い美容整形施設の情報を有する検索結果画面がモバイル端末１００に表示される（ステップＳ２７）。

【0053】

そして、検索結果画面に表示された専門医の氏名又は美容整形施設の名称をユーザーが例えばタップするなどして指定すると、入力表示部１０の画面が検索結果画面から受診予約画面に遷移する（ステップＳ２９）。受診予約画面は、例えば、ユーザーが指定した専門医が勤務する美容整形施設のウェブサイトの予約受付画面や、ユーザーが指定した美容整形施設のウェブサイトの予約受付画面などである。ユーザーは、この予約受付画面において美容整形受診を予約することができる。予約が完了すると、美容整形システムＳＹＳは、予約した美容整形施設に上記のシミュレーション結果（上記の合成顔画像、美化顔画像、シミュレーションで得られた美容整形後及びダウンタイム中の顔の画像）のデータを送信する。

【0054】

以上美容整形システムＳＹＳの動作について説明したが、美容整形システムＳＹＳの動作は上記のものに限定されず、種々の変更が可能である。例えば、上記した美容整形システムＳＹＳの動作では、経年変化シミュレーションのステップＳ０６における顔画像を合成する処理を、美容整形アプリに従ってサーバ２００に実行させるが、サーバ２００に代えてモバイル端末１００に実行させてもよい。即ち、美容整形アプリは、経年変化シミュレーションの処理をステップＳ０１～ステップＳ０４、ステップＳ０６、ステップＳ０８の順でモバイル端末１００に実行させるものであってもよい。また、上記したステップは、その一部が省略されてもよい。例えば、ユーザーは、経年変化シミュレーション機能（ステップＳ０１～Ｓ０８の処理）のみを利用してもよく、かかる場合、ステップＳ０１～Ｓ０８のみが実行され、ステップＳ０９以下の実行は省略される。また、上記したステップは、上記と異なる順番で実行されてもよい。例えば、ステップＳ０２とステップＳ０３とは同時又は逆の順で実行されてもよい。また、上記したステップは、適宜組み合わされて実行されてもよい。また、上記した経年変化シミュレーションは、顔全体についてシミュレーションするが、顔の特定の部位（例えば、目、鼻、口など）をシミュレーションしてもよい。例えば、目元に焦点を当てて、目元との部分だけをシミュレーションするようにしてもよい。かかる場合、例えば、ステップＳ１５の施術部位選択画面においてユーザーはシミュレーションを行う部位を選択する。そして、ユーザーの顔画像及び父母顔画像におけるユーザーが選択した部位（例えば目元）の画像を合成することで当該部位の経年変化シミュレーションが実行される。

【0055】

また、上記した美容整形システムＳＹＳの動作の説明において、美容整形アプリはモバイル端末１００にインストールされているが、これに限定されず、美容整形アプリは、例えば、サーバ２００に記憶されたプログラムであってモバイル端末１００及びサーバ２００に上記処理を実行させるものであってもよい。

【0056】

上記した実施形態に係る美容整形アプリによれば、これを美容整形システムＳＹＳのコンピュータに実行させることで、以下の効果を生じさせることができる。即ち、美容整形アプリは、美容整形システムＳＹＳに美容整形をしないまま経年変化したときに予想されるユーザーの顔をシミュレーションさせるが、かかるシミュレーションを、例えば他人の顔画像を含む教師データ用いて機械学習された学習モデルを用いて生成される場合のようにユーザーと血縁関係のない他人の顔画像データを用いて実行させるのではなく、ユーザー及びユーザーの父母の顔画像を用いて実行させる。したがって、ユーザーは、より確度の高いシミュレーション結果を得ることができ、かかる結果から美容整形が必要な部位を的確に絞り込むことができる。また、ユーザーの顔画像に基づいて美化処理された顔画像がモバイル端末１００に表示されるので、ユーザーは、無理なく美容整形をすることができる理想的な顔画像を得ることができる。また、予想される美容整形後の顔の画像がモバイル端末１００に表示されるので、ユーザーは美容整形後の顔をイメージすることができる。また、施術部位の専門医に関する情報並びに口コミの多い施設の情報を含む検索結果画面がモバイル端末１００に表示されるので、ユーザーは、表示された専門医に美容整形を依頼することで安全に施術を受けることができる。したがって、施術経験の浅い者が美容整形の施術を行うことで施術を失敗する事態を回避することができる。

【0057】

なお、遺伝には、個体の持つ遺伝形質が、その親の世代では発現しておらず、祖父母やそれ以前の世代から世代を飛ばして遺伝しているように見える遺伝現象である隔世遺伝もある。この例としては、男性型脱毛症やＡＢＯ式血液型などがあるが、直接、顔の隔世遺伝も科学的に証明されれば、上記したように父と母の顔画像を用いてシミュレーションすることだけでなく、父の両親又は母の両親の顔画像を用いてシミュレーションすることも可能である。したがって、ユーザーの父母の顔画像に加えて又はこれに代えて祖母・祖父の顔画像を用いてシミュレーションする仕組みを本発明の技術的範囲から排除するものではない。この方が、より安全で無理のない整形を提供できると考える。

【符号の説明】

【0058】

１００ モバイル端末
２００ サーバ

【要約】

【課題】安全に美容整形するのに資する有用な顔画像や情報を提供する。
【解決手段】美容アプリケーションソフトウェアをコンピュータに実行させることにより、モバイル端末に入力されたユーザーの顔画像並びに当該ユーザーの父及び母の顔画像を、入力された合成割合に応じて合成して合成顔画像を生成させることにより経年変化したときの顔をシミュレーションさせるとともに、このシミュレーション結果をモバイル端末に表示させ、美化シミュレーション機能及び美容整形シミュレーション機能によりユーザーの顔画像の顔を美化させたときの顔並びにユーザーの顔画像の顔を美容整形したときの顔をシミュレーションさせるとともに、これらのシミュレーション結果をモバイル端末に表示させ、モバイル端末に入力された施術する部位名に応じて、当該部位の施術に適した専門医を含む情報をモバイル端末に表示させる。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】