特表 2025-505871 知覚的特徴に基づく意味的顔画像操作及び審美的治療推奨のための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-02-28

(54)【発明の名称】知覚的特徴に基づく意味的顔画像操作及び審美的治療推奨のための方法

(51)【国際特許分類】

   G06T 3/4046 20240101AFI20250220BHJP

   G06T 1/00 20060101ALI20250220BHJP

   G06T 7/00 20170101ALI20250220BHJP

   G06V 10/82 20220101ALI20250220BHJP

【ＦＩ】

G06T3/4046

G06T1/00 340A

G06T7/00 660A

G06T7/00 350C

G06V10/82

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024550647

(86)(22)【出願日】2023-02-22

(85)【翻訳文提出日】2024-10-25

(86)【国際出願番号】 IB2023051634

(87)【国際公開番号】W WO2023161826

(87)【国際公開日】2023-08-31

(31)【優先権主張番号】17/681,224

(32)【優先日】2022-02-25

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】523446550

【氏名又は名称】リアルフェイスバリュー・ビー・ブイ

(74)【代理人】

【識別番号】110000741

【氏名又は名称】弁理士法人小田島特許事務所

(72)【発明者】

【氏名】ファン・デル・ミューレン，ジャック

(72)【発明者】

【氏名】ゲディク，イーキン

(72)【発明者】

【氏名】バッカー，ベルノ

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057AA07

5B057CA01

5B057CA12

5B057CA16

5B057CB01

5B057CB12

5B057CB16

5B057CB17

5B057DA08

5B057DC33

5B057DC36

5B057DC40

5L096DA01

5L096DA02

5L096GA06

5L096HA11

5L096KA04

(57)【要約】

１つの態様は、少なくとも１つの変化した知覚的特徴を有すると予想される人間の顔の画像を生成する方法である。このような方法には、人間の顔の画像をベクトルに符号化し、入力画像ベクトルを生成することを含む。スケーリングされた方向ベクトルを入力画像ベクトルに適用して、変更された入力画像ベクトルを生成する。変更された入力画像ベクトルは、実際の人間の顔の変形画像に変換される。スケーリングされた方向ベクトルは、単位方向ベクトルを決定するために、人間の顔と知覚的特徴の評価を関連付けるように訓練された人工ニューラルネットワークを使用して、決定される。単位方向ベクトルは、少なくとも１つの選択された知覚的特徴に基づいている。単位方向ベクトルをスケーリングするための振幅は、既知の治療によって得られる顔の特徴の変化の限界によって決定される。
【選択図】図２

【特許請求の範囲】

【請求項1】

少なくとも１つの変化した知覚的特徴を有すると予想される人間の顔の画像を生成する方法であって：
人間の顔の画像をベクトルに符号化し、入力画像ベクトルを生成することと；
スケーリングされた方向ベクトルを前記入力画像ベクトルに適用して、変更された入力画像ベクトルを生成することと；
前記変更された入力画像ベクトルを、実際の人間の顔の変形画像に変換することと、を含み、
前記スケーリングされた方向ベクトルは、単位方向ベクトルを決定するために、人間の顔と知覚的特徴の評価とを関連付けるように訓練された人工ニューラルネットワークを使用して決定され、前記単位方向ベクトルは、少なくとも１つの選択された知覚的特徴に基づいており、前記単位方向ベクトルをスケーリングするための振幅は、既知の治療によって得られる顔の特徴の変化の限界によって決定される、方法。

【請求項2】

前記単位方向ベクトルは、複数の人間の顔の評価画像の中から、最も高く評価された人間の顔の評価画像のものと、最も低く評価された人間の顔の評価画像のものとを選択することによって決定され、前記評価は、前記少なくとも１つの選択された知覚的特徴について前記人工ニューラルネットワークによって実行され、前記単位方向ベクトルの方向を、前記選択された最も高く評価された画像のベクトル表現と前記選択された最も低く評価された画像のベクトル表現とから決定する、請求項１に記載の方法。

【請求項3】

前記人間の顔の評価画像は、ランダムに生成された人工的な人間の顔の画像を含み、前記ランダムに生成された人工的な人間の顔の画像は、敵対的生成ネットワークによって生成される、請求項２に記載の方法。

【請求項4】

前記入力画像と前記変形画像とを用いて、前記入力画像が作成された前記人間の顔を、前記変形画像に最も近づけるための少なくとも１つの推奨される治療を自動的に生成することを更に含む、請求項１に記載の方法。

【請求項5】

前記少なくとも１つの推奨される治療を、前記自動的に生成することは：
前記入力画像と前記変形画像を、変化検出用に訓練された人工ニューラルネットワークに入力し、前記入力画像内の変化した特定領域を検出することと；
検出された変化した領域を、特定の治療によって影響を受けることが知られている顔領域マスクと比較することと、
前記検出された変化領域の少なくとも１つと、前記顔領域マスクの少なくとも１つとの交点があらかじめ定義された閾値よりも大きい場合、前記特定の治療が提案された治療リストに追加されることと、を含む、請求項４記載の方法。

【請求項6】

前記変化領域は、前記実際の人間の顔の画像と前記変形画像との間の差分画像を計算することによって検出される、請求項５に記載の方法。

【請求項7】

前記変化領域は、前記実際の人間の顔の画像及び前記変形画像を、変化検出について訓練された人工ニューラルネットワークに入力することによって検出される、請求項５に記載の方法。

【請求項8】

前記少なくとも１つの推奨される治療を前記自動的に生成することは、少なくとも１つの治療を受けた実際の人間の顔の治療前画像と治療後画像とを入力することによって訓練された人工ニューラルネットワークに、前記入力画像及び前記変形画像を入力することを含む、請求項４に記載の方法。

【請求項9】

前記少なくとも１つの推奨される治療を前記自動的に生成することは、前記変形画像を参照した前記入力画像の方向ベクトルを、複数の治療の各々の方向ベクトルと比較することと、前記変形画像を参照した前記入力画像の前記方向ベクトルに最も近く一致する前記複数の治療のうちの１つを選択することとを含む、請求項４に記載の方法。

【請求項10】

符号化された画像は、実際の人間の顔の画像である、請求項１に記載の方法。

【請求項11】

非一時的コンピュータ可読媒体に格納されたコンピュータプログラムであって、前記プログラムは、プログラム可能コンピュータに、以下：
人間の顔の画像をベクトルに符号化し、入力画像ベクトルを生成すること；
スケーリングされた方向ベクトルを前記入力画像ベクトルに適用して、変更された入力画像ベクトルを生成すること；及び
前記変更された入力画像ベクトルを、実際の人間の顔の変形画像に変換すること、
を含む行為を実行させるように動作可能なロジックを含み、
前記スケーリングされた方向ベクトルは、少なくとも１つの選択された知覚的特徴に基づいて方向ベクトルを決定するために、知覚的特徴の変化に対応する人間の顔画像の外見の変化を決定する第１の人工ニューラルネットワークを訓練することによって決定され、前記方向ベクトルをスケーリングするための振幅は、既知の治療によって得られる顔の特徴の変化の限界によって決定される、コンピュータプログラム。

【請求項12】

前記単位方向ベクトルは、複数の人間の顔の評価画像の中から、最も高く評価された人間の顔の評価画像のものと、最も低く評価された人間の顔の評価画像のものとを選択することによって決定され、前記評価は、前記少なくとも１つの選択された知覚的特徴について前記人工ニューラルネットワークによって実行され、前記単位方向ベクトルの方向を、前記選択された最も高く評価された画像のベクトル表現と前記選択された最も低く評価された画像のベクトル表現とから決定する、請求項１１に記載のコンピュータプログラム。

【請求項13】

前記人間の顔の評価画像は、ランダムに生成された人工的な人間の顔の画像を含み、前記ランダムに生成された人工的な人間の顔の画像は、敵対的生成ネットワークによって生成される、請求項１２に記載のコンピュータプログラム。

【請求項14】

前記入力画像と前記変形画像とを用いて、前記入力画像が作成された前記人間の顔を、前記変形画像に最も近づけるための少なくとも１つの推奨される治療を自動的に生成することを更に含む、請求項１１に記載のコンピュータプログラム。

【請求項15】

前記少なくとも１つの推奨される治療を、前記自動的に生成することは：
前記入力画像と前記変形画像を、変化検出用に訓練された人工ニューラルネットワークに入力し、前記入力画像内の変化した特定領域を検出することと；
検出された変化した領域を、特定の治療によって影響を受けることが知られている顔領域マスクと比較することと、
前記検出された変化領域の少なくとも１つと、前記顔領域マスクの少なくとも１つとの交点があらかじめ定義された閾値よりも大きい場合、前記特定の治療が提案された治療リストに追加されることと、を含む、請求項１４に記載のコンピュータプログラム。

【請求項16】

前記変化領域は、前記実際の人間の顔の画像と前記変形画像との間の差分画像を計算することによって検出される、請求項１５に記載のコンピュータプログラム。

【請求項17】

前記変化領域は、前記実際の人間の顔の画像及び前記変形画像を、変化検出について訓練された人工ニューラルネットワークに入力することによって検出される、請求項１５に
記載のコンピュータプログラム。

【請求項18】

前記少なくとも１つの推奨される治療を前記自動的に生成することは、少なくとも１つの治療を受けた実際の人間の顔の治療前画像と治療後画像とを入力することによって訓練された人工ニューラルネットワークに、前記入力画像及び前記変形画像を入力することを含む、請求項１１に記載のコンピュータプログラム。

【請求項19】

前記少なくとも１つの推奨される治療を前記自動的に生成することは、前記変形画像を参照した前記入力画像の方向ベクトルを、複数の治療の各々の方向ベクトルと比較することと、前記変形画像を参照した前記入力画像の前記方向ベクトルに最も近く一致する前記複数の治療のうちの１つを選択することとを含む、請求項１１に記載のコンピュータプログラム。

【請求項20】

前記符号化されたものは、実際の人間の顔である、請求項１に記載のコンピュータプログラム。

【発明の詳細な説明】

【発明の背景】

【0001】

本開示は、例えば顔のような人間の解剖学的特徴の画像を処理して、考えられる治療の結果として予想される顔の外見を予測する分野に関する。このような治療には、美容的治療、外科的治療、又はフィラーや他の薬剤の注入のような医学的治療が含まれ得るが、本開示は医学的治療に限定されない。より具体的には、本開示は、実際の人に対する顔面治療の結果生じる外見の実際の変化の機械学習処理に基づいて、予想される画像を作成するための方法に関する。本開示は更に、人間の顔に関連する１つ以上の知覚的特徴の改善を得るために好適な治療を推奨するための方法に関する。

【0002】

美容治療、例えば、医療美容治療、並びに外科的治療及び注射（例えば、ボトックス及び充填剤など、ただしそれらに限定されない）は、顔などの人間の特徴の外見を修正するために実施される。医師、特に形成外科医は、そのような処置の実施方法について詳細な知識を持っており、そのような処置が人間の特徴の外見をどのように変化させるかについて情報に基づく理解を有しているが、そのような処置の結果として合理的に予想され得ることを処置を受ける本人に伝えることは困難である。更に、医師は、特徴を変化させる量を、処置の強度や使用する製品に関連して選択する能力を有し得るが、それでもなお、特徴の変化量のばらつきが、処置が完了したときの全体的な外見にどのように影響するかを、処置を受ける本人に伝えることができないという場合もあり得る。

【0003】

人間の顔の外見は、定量化できる知覚を人間の観察者に作り出すことができる。Ｖｅｌｔｈｕｉｓらに対して発行された特許文献１は、人の顔の画像を入力として受け取り、画像処理及び深層学習アルゴリズムのセットを使用して画像を分析することにより、顔の所定の解剖学的部分の特性を示す顔の上のランドマークを決定するシステムを開示している。このシステムは、ランドマークを、人々によって科学的に検証された調査を通じて、複数の知覚的特徴についてスコア化された顔に基づいて生成されたモデルとを比較する。システムは、モデルを用い、比較に基づいて、顔の複数の知覚的特徴の各スコアを決定する。システムは、顔に関するモデルによって決定されたすべての知覚的特徴のスコアに集合的に基づいて、顔に関する第一印象を、モデルを用いて決定する。システムは、その第一印象と、その顔に対してモデルによって決定された知覚的特徴のスコアとを含む出力を提供する。

【0004】

上記の特許文献１に開示されたシステムに加えて、当該技術分野で知られている他の方法は、入力画像を変更して、１つ以上のそのような治療後の人間の顔の予想される外見を表示する方法を提供する。必要とされているのは、人間の顔の１つ以上の知覚的特徴に関する観察者の評価を改善するための、好適な治療を提案することを可能にするツールである。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許第１１，１５１，３６２号

【発明の概要】

【0006】

本開示の１つの態様は、少なくとも１つの変化した知覚的特徴を有すると予想される人間の顔の画像を生成する方法である。本開示のこの態様による方法には、人間の顔の画像をベクトルに符号化し、入力画像ベクトルを生成することを含む。スケーリングされた方向ベクトルを入力画像ベクトルに適用して、変更された入力画像ベクトルを生成する。変更された入力画像ベクトルは、実際の人間の顔の変形画像に変換される。スケーリングさ
れた方向ベクトルは、単位方向ベクトルを決定するために、人間の顔と知覚的特徴の評価を関連付けるように訓練された人工ニューラルネットワークを使用して、決定される。単位方向ベクトルは、少なくとも１つの選択された知覚的特徴に基づいている。単位方向ベクトルをスケーリングするための振幅は、任意の利用可能な治療又は顔の調整によって得られる顔の特徴の変化の限界によって決定される。

【0007】

いくつかの実施形態では、単位方向ベクトルは、複数の人間の顔の評価画像の中から、最も高く評価された人間の顔の評価画像のものと、最も低く評価された人間の顔の評価画像のものとを選択することによって決定され、上記の評価は、少なくとも１つの選択された知覚的特徴について人工ニューラルネットワークによって実行され、単位方向ベクトルの方向を、選択された最も高く評価された画像のベクトル表現と選択された最も低く評価された画像のベクトル表現とから決定する。

【0008】

いくつかの実施形態では、人間の顔の評価画像は、ランダムに生成された人工的な人間の顔の画像を含み、ランダムに生成された人工的な人間の顔の画像は、敵対的生成ネットワークによって生成される。

【0009】

いくつかの実施形態は、入力画像と変形画像とを用いて、入力画像が作成された人間の顔を、変形画像に最も近づけるための少なくとも１つの推奨される治療を自動的に生成することを更に含む。

【0010】

いくつかの実施形態では、少なくとも１つの推奨される治療を自動的に生成することは、入力画像内の変化した特定領域を検出するための変化検知要に訓練された人工ニューラルネットワークに、入力画像及び変形画像を入力することと、検出された変化領域を、特定の治療によって影響を受けることが知られている顔領域マスクと比較することと、検出された変化領域の少なくとも１つと、顔領域マスクの少なくとも１つとの交点があらかじめ定義された閾値よりも大きい場合、特定の治療を、提案された治療リストに追加することとと、を含む。

【0011】

いくつかの実施形態では、変化領域は、実際の人間の顔の画像と変形画像との間の差分画像を計算することによって検出される。

【0012】

いくつかの実施形態では、変化領域は、実際の人間の顔の画像及び変形画像を、変化検出について訓練された人工ニューラルネットワークに入力することによって検出される。

【0013】

いくつかの実施形態では、少なくとも１つの推奨される治療を自動的に生成することは、少なくとも１つの治療を受けた実際の人間の顔の治療前画像と治療後画像とを入力することによって訓練された人工ニューラルネットワークに、入力画像及び変形画像を入力することを含む。

【0014】

いくつかの実施形態では、少なくとも１つの推奨される治療を自動的に生成することは、変形画像を参照した入力画像の方向ベクトルを、複数の治療の各々の方向ベクトルと比較することと、変形画像を参照した入力画像の方向ベクトルに最も近く一致する複数の治療のうちの１つを選択することとを含む。

【0015】

いくつかの実施形態では、符号化された画像は実際の人間の顔である。

【0016】

本開示の別の一態様によるコンピュータプログラムは、非一時的コンピュータ可読媒体に格納される。このプログラムは、プログラム可能コンピュータに以下の内容を含む行為を実行させるように動作可能なロジックを含む。人間の顔の画像をベクトルに符号化し、
入力画像ベクトルを生成する。スケーリングされた方向ベクトルを入力画像ベクトルに適用して、変更された入力画像ベクトルを生成する。変更された入力画像ベクトルは、実際の人間の顔の変形画像に変換される。スケーリングされた方向ベクトルは、少なくとも１つの選択された知覚的特徴に基づいて方向ベクトルを決定するために、知覚的特徴の変化に対応する人間の顔画像の外見の変化を決定する第１の人工ニューラルネットワークを訓練することによって決定され、方向ベクトルをスケーリングするための振幅は、既知の治療によって得られる顔の特徴の変化の限界によって決定される。

【0017】

いくつかの実施形態では、単位方向ベクトルは、複数の人間の顔の評価画像の中から、最も高く評価された人間の顔の評価画像のものと、最も低く評価された人間の顔の評価画像のものとを選択することによって決定され、上記の評価は、少なくとも１つの選択された知覚的特徴について人工ニューラルネットワークによって実行され、単位方向ベクトルの方向を、選択された最も高く評価された画像のベクトル表現と選択された最も低く評価された画像のベクトル表現とから決定する。

【0018】

いくつかの実施形態では、人間の顔の評価画像は、ランダムに生成された人工的な人間の顔の画像を含み、ランダムに生成された人工的な人間の顔の画像は、敵対的生成ネットワークによって生成される。

【0019】

いくつかの実施形態は、入力画像と変形画像とを用いて、入力画像が作成された人間の顔を、変形画像に最も近づけるための少なくとも１つの推奨される治療を自動的に生成することを更に含む。

【0020】

いくつかの実施形態では、少なくとも１つの推奨される治療を自動的に生成することは、入力画像内の変化した特定領域を検出するための変化検知要に訓練された人工ニューラルネットワークに、入力画像及び変形画像を入力することと、検出された変化領域を、特定の治療によって影響を受けることが知られている顔領域マスクと比較することと、検出された変化領域の少なくとも１つと、顔領域マスクの少なくとも１つとの交点があらかじめ定義された閾値よりも大きい場合、特定の治療を、提案された治療リストに追加することとと、を含む。

【0021】

いくつかの実施形態では、変化領域は、実際の人間の顔の画像と変形画像との間の差分画像を計算することによって検出される。

【0022】

いくつかの実施形態では、変化領域は、実際の人間の顔の画像及び変形画像を、変化検出について訓練された人工ニューラルネットワークに入力することによって検出される。

【0023】

いくつかの実施形態では、少なくとも１つの推奨される治療を自動的に生成することは、少なくとも１つの治療を受けた実際の人間の顔の治療前画像と治療後画像とを入力することによって訓練された人工ニューラルネットワークに、入力画像及び変形画像を入力することを含む。

【0024】

いくつかの実施形態では、少なくとも１つの推奨される治療を自動的に生成することは、変形画像を参照した入力画像の方向ベクトルを、複数の治療の各々の方向ベクトルと比較することと、変形画像を参照した入力画像の方向ベクトルに最も近く一致する複数の治療のうちの１つを選択することとを含む。

【0025】

いくつかの実施形態では、符号化された画像は実際の人間の顔である。

【0026】

他の態様及び可能な利点は、以下の説明及び特許請求の範囲から明らかになるであろう
。

【図面の簡単な説明】

【0027】

【図1】１つ以上の選択された知覚的特徴の期待される評価を向上させるように、人間の顔画像を変形させるための方向ベクトルを決定するためのニューラルネットワークを訓練するプロセスのフローチャートを示す。

【図2】実際の人間の顔の入力画像を、１つ以上の選択された知覚的特徴の改善をもたらす様式で変形させるプロセスのフローチャートである。

【図3】治療推奨方法の実施形態の一例のフローチャートである。

【図4】治療推奨方法の実施形態の一例のフローチャートである。

【図5】いくつかの実施形態で使用し得るコンピュータシステムの一例の概略図である。

【発明を実施するための形態】

【0028】

本開示は、１つ以上の選択された知覚的特徴において異なる（より高い又はより低い）スコアを示すと予想される、現実的に修正された人間の顔画像を生成する手順と、治療された人間が他の人々によって観察されたときに、１つ以上の知覚的特徴に対する変化、例えば改善をもたらすであろう、人間の顔、例えば実際の人間の顔に対する変化をもたらすと予想される治療、例えば外科的治療、美容的治療、及び他の医学的治療を提案するリコメンダについて説明する。本開示において、「画像」という用語は、静止画に限定されない。動画、例えばビデオは、完全に本開示の範囲内である。

【0029】

この手順は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）、知覚的特徴ラベルに対応する顔画像トレーニングセット、敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ、ＧＡＮ）などのニューラルネットワークの使用に基づいている。

【0030】

方法の実施形態の一例では、顔画像で訓練されたＧＡＮが使用される。ＧＡＮは、外見のリアルな人間の顔のランダム画像を生成するように事前に訓練されている。ＧＡＮによって生成された画像は、開示された方法において、１つ以上の知覚的特徴を特定し、評価するために使用され、１つ以上の知覚的特徴を改善するために入力として使用される顔画像、例えば自然人の画像を変形させるための潜在空間方向及びベクトル振幅を決定するために使用される。次に、本方法は、１つ以上の知覚的特徴の改善に帰結する人の顔の変化をもたらす可能性のある、１つ以上の治療を決定する。本開示で使用する場合、「治療」という用語は、恒久的であるか一時的であるかにかかわらず、人間の顔の外見に変化をもたらすと予想される、外科的、美容的、その他の医学的治療、操作、色の変更、フィッツパトリック肌タイプの変更などを含むが、これらに限定されない、あらゆる薬剤の作用、構造変更、又は操作を含むことを意図している。したがって、本明細書で提供される治療の具体例は、可能な実施形態の例を提供することのみを意図しており、いかなる意味においても本開示の範囲を限定するものではない。

【0031】

本開示による方法又は手順は、以下に更に説明するように、コンピュータ又はコンピュータシステム上に実装し得る。非一時的なコンピュータ可読媒体は、その上に、本開示に従った方法又は手順を実行するように、プログラム可能なコンピュータ又はコンピュータシステムをプログラムするように動作可能な命令又は論理を、格納し得る。

【0032】

本開示による方法又は手順の実施形態の一例は、例えば畳み込みニューラルネットワーク（ＣＮＮ）などの、ニューラルネットワークを訓練して、画像の、例えば人間の顔の画像の１つ以上の知覚的特徴を、自動的に評価することから始めることができる。本実施形態例では、ＣＮＮは、人間の顔画像を見せられ、１つ以上の知覚的特徴の主観的評価を示す人間の観察者による調査結果を使用して、訓練され得る。ＣＮＮを訓練する手順の実施
形態の一例は、Ｖｅｌｔｈｕｉｓらに発行された米国特許第１１，１５１，３６２号に記載されており、この特許文献は、参照により本明細書に組み込まれる。本実施形態例では、ＣＮＮの訓練について説明するが、事前訓練済みＣＮＮを使用してもよいが、その場合には、そのＣＮＮは、本明細書に開示するような手順を使用して、改善すべき特定の知覚的特徴の自動評価を含むような事前訓練済みのＣＮＮであることが必要である。訓練されたＣＮＮは、例えば、多様な背景、社会経済的地位、年齢層などを持つ他の人々（すなわち、その人口統計学に関して広範な広がりを持つ人々）によって評価又は採点された多数の人々の顔の編集物からなる検証済みデータベースに基づいてもよい。顔は複数の知覚的特徴に基づいて採点される。知覚的特徴には、例えば、人物の顔に関する第一印象を形成する際にその人物の顔と関連付けられる性格的属性（例えば、支配的、魅力的、親切など）や社会経済的要因（例えば、金持ち、ファッショナブルなど）が含まれるが、それらに限定されない。知覚的特徴の非限定的な例としては、魅力、能力、優位性、知性、温かさ、信頼性などが挙げられる。

【0033】

図１を参照すると、上で説明したように、訓練されたＧＡＮは、ブロック１０で、顔画像のセットをランダムに生成するために使用され得る。顔画像のセットは、１００,０００～１,０００,０００個のオーダーの、ＧＡＮによって生成された異なる人間の顔の各個別画像を含み得るが、生成された画像の正確な数は、本開示の範囲を限定することを意図していない。

【0034】

ブロック１２で、ＧＡＮによって生成されたランダムな顔画像のセットの各画像は、訓練されたＣＮＮによって１つ以上の知覚的特徴について評価され得る。ブロック１４では、評価された画像の中から、その１つ以上の選択された知覚的特徴の最高値（数値）及び最低値を代表するものとして、そのような評価された画像の中から所定の数の画像を選択し得る。高評価画像と低評価画像のＮ×Ｄベクトルは、二値分類器を訓練するための入力として使用し得る。ブロック１４では、決定境界が決定され、高評価画像のＮ×Ｄベクトルは決定境界の一方の側に配置され、低評価画像のＮ×Ｄベクトルは決定境界の他方の側に配置される。ブロック１６で決定される決定境界に垂直なベクトルは、１つ以上の選択された知覚的特徴を改善するために、実際の人間の顔の画像（「入力画像」）のＮ×Ｄ次元符号化画像ベクトルに適用する方向を表す。

【0035】

Ｎ×Ｄ画像ベクトルの方向が決定されると、上述の手順は、次に、選択された１つ以上の知覚的特徴に関連する振幅を決定する。いくつかの実施形態では、振幅は、振幅を反復的に変更し、それを画像ベクトルのＮ×Ｄベクトル表現にベクトル加算し、操作された画像ベクトル表現を学習済みＧＡＮに送信して操作された画像を生成することによって決定され得る。振幅の最終値に達するまで、振幅を漸進的に変化させながら前述の手順を繰り返すことができる。

【0036】

振幅は顔の外見の変化の強さに対応する。振幅決定プロセスは、顔の同一性を保つ顔の変化をもたらす最大振幅を特定するために実施され、そのような変化は、審美的治療、美容的治療、又は他のタイプの治療によって得られる。識別された値は、顔の変化に対する自然な（社会的な）制限として機能する。当業者には、ある程度の変化量では、変形された顔の外見は、実際の人間が観察したときに主観的に受け入れられる人間の顔の外見の範囲外であるということが理解される。

【0037】

いくつかの実施形態では、振幅の最終値は、振幅のハードコードされた上限値をコンピュータ又はコンピュータシステムに入力することによって制限され得る。いくつかの実施形態では、ハードコードされた上限値は、以下のように求められ得る：

【0038】

いくつかの実施形態では、ランドマークの変化が使用され得る：入力画像と操作された
画像を用いて、治療が影響を及ぼす顔の領域に関連する顔のランドマークの変化を、治療が行われる前と後の両方で評価する。選択されたランドマークどうしの間の差又は比率が、あらかじめ定義された限界に達すると、それ以降のランドマークの変更は中止され、その時点の振幅値が使用される。あらかじめ定義された限界に達していない場合は、ランドマークは変更され得るが、プロセスは、ランドマークの変更を決定する行為に戻る。前述の比率や差は、解剖学的特徴、例えば人間の顔の様々な特定の点どうしの間の距離に関連していると理解され得る。特定の解剖学的特徴どうしの間の特定の距離又は比率が経験的に決定された限界内にあるということは、医療従事者には理解されている。このような経験的に決定された限界値は、振幅決定の限界値として使用され得る。

【0039】

いくつかの実施形態では、影響を受けた領域の色とテクスチャの変化があらかじめ定義された限界に達すると、プロセスは停止され、その時点の振幅値が振幅の最終値として使用される。ランドマーク及び色に関するあらかじめ定義された限界は、例えば、実際の人間の解剖学的特徴の治療前及び治療後の画像を用いて入手し得る。

【0040】

いくつかの実施形態では、振幅の値に関する制約は、様々な振幅値を有する複数の操作された顔画像を見た後に、その主題の専門家によって手動で定義され得る。

【0041】

いくつかの実施形態では、振幅の値に対する追加の制約は、顔認識の訓練を受けたＣＮＮによって自動的に定義され得る。

【0042】

入力画像ベクトルを調整するための方向と振幅が決定されると、その結果は、スケーリングされた方向ベクトルとなる。変形された画像は、入力画像のベクトル表現に、スケーリングされた方向ベクトルをベクトル加算することによって生成され得る。スケーリングされた方向ベクトルは、任意の１つ以上の選択された知覚的特徴について決定され得るが、スケーリングされた方向ベクトルを、人間の顔の入力画像に適用すると、上記の１つ以上の選択された知覚的特徴の改善が期待される変形画像が生成される。

【0043】

図２を参照すると、ブロック１８で、実際の人間の顔の画像は、図１を参照して説明したように訓練されたＧＡＮを使用して、変形され得る。ブロック２０で、入力画像はＮ×Ｄベクトルに符号化され、入力画像ベクトルを形成し得る。ブロック２２で、スケーリングされた方向ベクトルが、入力画像ベクトルに適用され得る。ブロック２４で、入力画像ベクトルとスケーリングされた方向ベクトルとを用いて、変形画像が生成され得る。

【0044】

ブロック２６で、変形された画像は、次に、１つ以上の治療提案を生成するプロセスによって、入力として使用され得るが、この治療提案は、入力画像を生成するために使用された人間の顔に適用されたとき、最も忠実に変形された画像になるであろう。

【0045】

いくつかの実施形態では、そして図３を参照すると、人間の顔の変化領域は、教師なし変化検出法又は教師あり変化検出法によって検出し得る：変化検出方法の教師なしの例示的実施形態では、ブロック３０で、入力画像から変形された画像を減算することによって、差分画像、例えばグレースケール差分画像が計算されてもよく、ブロック３２で、差分画像に自動閾値処理が適用され、画像内の候補領域を検出し、ブロック３４で、これは任意選択的動作であり、いくつかの実施形態では含まれてもよいが、開閉及びサイズによるフィルタリングなどの候補領域に対する変形操作の後に、最終領域が識別される。

【0046】

ブロック３６では、検出された変化領域として識別された領域が、次に、具体的治療によって影響を受けることが知られている顔領域マスクと比較される。ブロック３８で示されているように、変化領域と領域マスクとの交点のパーセンテージが、あらかじめ定義された閾値よりも高い場合、領域マスクに影響を与えることが知られている治療が、提案さ
れた治療リストに追加される。（例えば、複数の推奨のためのリストに）提案された治療法（複数可）は、交差パーセンテージに関して順序付けされてから、ユーザーに提示され得る。

【0047】

変化検出方法の教師付きの例示的実施形態では、図４を参照すると、変化検出用に訓練された人工ニューラルネットワークが、顔画像内の変化した特定領域を検出するために使用される。これは図４のブロック４０に示されている。

【0048】

ブロック４２で、検出された変化領域内で特定された領域は、次に、特定の治療によって影響を受けることが知られている顔領域マスクと比較される。ブロック４４で示されているように、変化領域と領域マスクとの交点のパーセンテージが、あらかじめ定義された閾値よりも高い場合、領域マスクに影響を与えることが知られている治療が、提案された治療リストに追加される。（例えば、複数の推奨のためのリストに）提案された治療法（複数可）は、交差パーセンテージに関して順序付けされてから、ユーザーに提示され得る。

【0049】

一実施形態では、例えばＣＮＮのようなニューラルネットワークは、特定の治療を受けた実際の人間の顔の、治療前と治療後の画像を含むデータセットで訓練され得る。ＣＮＮは訓練されると、人間の顔の２つの画像どうしの間で、その人間の顔に治療が行われたのかどうかを判定し、かつどのような治療が行われたかを判定し得る分類器として機能し得る。選択された知覚的特徴（複数可）の値（複数可）が高い画像に対応する顔の外見を得るための治療（複数可）を考えている人に対して、治療（複数可）を提案するために、元の顔画像と変形された顔画像とが、訓練済みＣＮＮに入力される。そして、学習されたＣＮＮは、元の画像が変形された画像に最も近くなるように、治療案を出力し得る。

【0050】

一実施形態では、識別された知覚的特徴方向、すなわち、選択された知覚的特徴を変化させるために１つの画像を特定の方法で変化させるベクトル方向を、様々な治療について以前に識別された方向と比較し得る。比較は、正確に特定された方向を使用して、又は特定された方向の抽出された成分を使用して行い得る。治療の方向が、識別された（知覚された）方向又はその成分の１つと類似していることが判明した場合、治療はユーザーに提案され得る。

【0051】

本開示は、少なくとも１つの知覚的特徴の値を増加させることについて言及しているが、１つ以上の知覚的特徴の値を減少させるために同じ方法及びその方法を実施するコンピュータプログラムを使用することは、本開示の範囲内にあることを理解されたい。

【0052】

図５は、図１から図４を参照して説明した動作を実行するために使用され得るコンピューティングシステム１００の例示的な実施形態を示す。コンピュータシステム１００の様々な部分によって読み取り可能な任意の形式の記憶媒体は、図１～図４を参照して説明したような動作を、コンピューティングシステム１００又はその部分に実行させるように動作可能なロジックを有するコンピュータプログラムを含み得る。コンピューティングシステム１００は、個々のコンピュータシステム１０１Ａであってもよいし、分散型コンピュータシステムの配列であってもよい。個々のコンピュータシステム１０１Ａは、例えば図５を参照して説明したタスクなど、いくつかの実施形態にしたがって様々なタスクを実行するように構成され得る、１つ以上の分析モジュール１０２を含み得る。これらの様々なタスクを実行するために、分析モジュール１０２は、独立して、又は１つ以上のプロセッサ１０４と協調して動作することができ、これらのプロセッサは、１つ以上の記憶媒体１０６に接続されることができる。例えば任意の既知のタイプのグラフィックユーザインターフェイスのような、ディスプレイデバイスは、ユーザによるコマンド及び／又はデータの入力を可能にし、本開示による命令のセットの実行結果を表示するために、プロセッサ
１０４と信号通信し得る。

【0053】

プロセッサ（単数又は複数）１０４はまた、個々のコンピュータシステム１０１Ａが、例えば１０１Ｂ、１０１Ｃ、及び／又は１０１Ｄなどの、１つ以上の追加の個々のコンピュータシステム及び／又はコンピューティングシステムと、データネットワーク１１０を介して通信できるように、ネットワークインターフェース１０８に接続されてもよい（コンピュータシステム１０１Ｂ、１０１Ｃ、及び／又は１０１Ｄは、コンピュータシステム１０１Ａと同じアーキテクチャを共有してもしなくてもよいことに留意されたい、 例えば、コンピュータシステム１０１Ａ及び１０１Ｂは、井戸掘削場所にある一方で、１つ以上のデータセンターに位置し、かつ／又は異なる大陸の様々な国に位置する１０１Ｃ及び／又は１０１Ｄなどの１つ以上のコンピュータシステムと通信していてもよい）。

【0054】

プロセッサとしては、マイクロプロセッサ、マイクロコントローラ、プロセッサモジュール又はサブシステム、プログラマブル集積回路、プログラマブルゲートアレイ、あるいは他の制御装置又は演算装置が挙げられ得るが、それらに限定されない。

【0055】

記憶媒体１０６は、１つ以上のコンピュータ可読記憶媒体又は機械可読記憶媒体、例えば、非一時的記憶媒体として実装され得る。記憶媒体は、図１から図４を参照して上に説明した動作を、コンピュータシステムに実行させるように動作可能なロジックを含んでいてもよい。図５の例示的な実施形態では、記憶媒体１０６は、個々のコンピュータシステム１０１Ａ内に配設されているように示されているが、いくつかの実施形態では、記憶媒体１０６は、個々のコンピューティングシステム１０１Ａ及び／又は追加のコンピューティングシステム、例えば、１０１Ｂ、１０１Ｃ、１０１Ｄの、複数の内部及び／若しくは外部エンクロージャ内、並びに／又は複数の内部及び／若しくは外部エンクロージャにわたって分散されてもよいということに留意されたい。記憶媒体１０６は、限定するものではないが、ダイナミック又はスタティックランダムアクセスメモリ（ＤＲＡＭ又はＳＲＡＭ）、消去可能かつプログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気的消去可能かつプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）及びフラッシュメモリなどの半導体メモリデバイス、固定ディスク、フロッピーディスク及びリムーバブルディスクなどの磁気ディスク、テープを含む他の磁気媒体、コンパクトディスク（ＣＤ）又はデジタルビデオディスク（ＤＶＤ）などの光媒体、又は他のタイプの記憶デバイスを含む、１つ以上の異なる形態のメモリを含み得る。任意の個々のコンピュータシステム又はコンピューティングシステムに、上述のタスクを実行させるためのコンピュータ命令は、１つのコンピュータ可読記憶媒体上又は機械可読記憶媒体上で提供されてもよく、あるいは１つ以上のノードを有する複数のコンポーネントコンピューティングシステムに分散された複数のコンピュータ可読記憶媒体上又は機械可読記憶媒体上で提供されてもよいということに留意されたい。そのようなコンピュータ可読又は機械可読記憶媒体又は媒体は、物品（又は製造品）の一部であると考えられ得る。物品又は製造品は、製造された単一の部品又は複数の部品を指し得る。記憶媒体又はメディアは、機械可読命令を実行する機械に配置することも、機械可読命令を実行するためにネットワーク経由でダウンロードできるリモートサイトに配置することもできる。

【0056】

コンピューティングシステム１００は、コンピューティングシステムの一例に過ぎず、コンピューティングシステムの任意の他の実施形態は、示されているものよりも多い又は少ない構成要素を有してもよく、図５の例示的な実施形態に示されない追加の構成要素を組み合わせてもよく、かつ／又はコンピューティングシステム１００は、図５に示される構成要素の、異なる構成又は配置を有してもよいということが理解されるべきである。図５に示す様々な構成要素は、１つ以上の信号処理及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの両方の組み合わせで実装し得る。

【0057】

更に、上述した処理方法の行為は、汎用プロセッサ、又は例えばＡＳＩＣ、ＦＰＧＡ、ＰＬＤなどの特定用途向けチップ、又は他の適切なデバイスなどの情報処理装置において、１つ以上の機能モジュールを実行することによって実装し得る。これらのモジュール、これらのモジュールの組み合わせ、及び／又は一般的なハードウェアとの組み合わせは、すべて本開示の範囲に含まれる。

【0058】

本明細書において説明及び図示される原理及び例示的実施形態に照らして、それらの例示的実施形態は、かかる原理から逸脱することなく、配置及び詳細において変更され得るということが認識されるであろう。前述の議論は、特定の実施形態に焦点を当てたものであるが、他の構成も考えられる。特に、本明細書において「『一実施形態』では」等の表現が使用されているとしても、これらの表現は、実施形態の可能性を一般的に言及することを意図しており、本開示を特定の実施形態構成に限定することを意図していない。本明細書で使用される場合、これらの用語は、他の実施形態に組み合わせ可能な、同一の又は異なる実施形態を参照し得る。原則として、本明細書で言及される任意の実施形態は、本明細書で言及される他の実施形態のいずれか１つ以上と自由に組み合わせることが可能であり、異なる実施形態の任意の数の特徴は、特にことわらない限り、互いに組み合わせることが可能である。以上、いくつかの実施例を詳細に説明したが、当業者であれば、説明した実施例の範囲内で多くの変更が可能であるということを容易に理解するであろう。したがって、このような変更はすべて、以下の特許請求の範囲に定義される本開示の範囲に含まれることが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】