特許 7626880 人間の解剖学的特徴に対する医療美容処置の予想される結果の画像を、これらの医療美容処置の前に、解剖学的特徴の画像から生成するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-27

(45)【発行日】2025-02-04

(54)【発明の名称】人間の解剖学的特徴に対する医療美容処置の予想される結果の画像を、これらの医療美容処置の前に、解剖学的特徴の画像から生成するための方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250128BHJP

   G06N 3/0475 20230101ALI20250128BHJP

   G06N 3/094 20230101ALI20250128BHJP

   G06F 18/15 20230101ALI20250128BHJP

   G06N 3/09 20230101ALI20250128BHJP

【ＦＩ】

G06T7/00 660A

G06T7/00 350C

G06N3/0475

G06N3/094

G06F18/15

G06N3/09

【請求項の数】 16

(21)【出願番号】P 2023573356

(86)(22)【出願日】2022-05-25

(65)【公表番号】

(43)【公表日】2024-05-21

(86)【国際出願番号】 IB2022054934

(87)【国際公開番号】W WO2022259076

(87)【国際公開日】2022-12-15

【審査請求日】2023-11-28

(31)【優先権主張番号】17/342,330

(32)【優先日】2021-06-08

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】523446550

【氏名又は名称】リアルフェイスバリュー・ビー・ブイ

(74)【代理人】

【識別番号】110000741

【氏名又は名称】弁理士法人小田島特許事務所

(72)【発明者】

【氏名】ファン・デル・ミューレン，ジャック

(72)【発明者】

【氏名】ゲディク，イーキン

(72)【発明者】

【氏名】バッカー，ベルノ

【審査官】長谷川 素直

(56)【参考文献】

【文献】米国特許出願公開第２０２１／０１１８１３２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／００３５０１６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０２５１７２３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ １１／００

Ｇ０６Ｎ ３／００

Ｇ０６Ｆ １８／１５

(57)【特許請求の範囲】

【請求項1】

医療美容処置の実施後に予想される人間の解剖学的特徴の視覚的外見を表す、前記人間の解剖学的特徴の画像を生成する方法であって、前記方法は：
医療美容処置を実施する前に、前記人間の解剖学的特徴の画像を、コンピュータに、入力画像として送信することと；
前記コンピュータにおいて、前記医療美容処置前の前記入力画像を、入力画像ベクトルに変換することと；
前記コンピュータにおいて、前記医療美容処置に対応する方向ベクトルを選択することであって、前記方向ベクトルは、前記医療美容処置前の複数の対応する画像の各々を、第１の入力画像ベクトルに変換すること、前記医療美容処置後の前記解剖学的特徴の複数の対応する画像の各々を、第２の入力画像ベクトルに変換することと、前記第１の入力画像ベクトルから前記第２の入力画像ベクトルを減算することによって、差分ベクトルを計算すること、前記差分ベクトルを、単位ベクトルに正規化すること、及び前記医療美容処置前及び前記医療美容処置後の前記複数の対応する画像について、前記差分ベクトルの統計的集約を実行すること、によって決定される、方向ベクトルを選択することと；
前記コンピュータにおいて、前記方向ベクトルの振幅を決定することと；
前記コンピュータにおいて、前記方向ベクトルに、前記決定された振幅を乗算して、積ベクトルを得ることと；
前記コンピュータにおいて、前記積ベクトルを前記入力画像ベクトルにベクトル加算して加算されたベクトルを得ることと；
前記コンピュータにおいて、前記加算されたベクトル、前記積ベクトル、及び前記入力画像ベクトルから、前記予想される視覚的外見に対応する出力画像を生成することと、
を含む方法。

【請求項2】

前記コンピュータにおいて、前記変換を最適化することを、前記コンピュータにおいて：
（ａ）前記入力画像ベクトルから、最適化画像を生成することと；
（ｂ）前記最適化画像と前記入力画像とを比較し、損失関数を計算することと；
（ｃ）前記入力画像ベクトルを変更し、前記最適化画像の前記生成を繰り返すことと；
（ｄ）（ｉ）前記損失関数の値が、所定の閾値を下回るか、又は（ｉｉ）（ａ）（ｂ）及び（ｃ）が選択された回数繰り返されるまで、（ａ）（ｂ）（ｃ）を繰り返すことと、
によって実行することを更に含む、請求項１に記載の方法。

【請求項3】

前記振幅を前記決定することは、前記コンピュータにおいて：
（ａ）対応する人間の解剖学的特徴の処置前画像を、入力ベクトルに変換することと；
（ｂ）最初に振幅を推定し、前記最初に推定された振幅と前記方向ベクトルとを組み合わせて中間積ベクトルを生成することと；
（ｃ）前記変換された入力ベクトルに、前記中間積ベクトルを加算することと；
（ｄ）前記中間積ベクトルから、出力画像を生成することと；
（ｅ）前記処置前画像と前記出力画像との間での、ランドマーク位置の変化と、色の変化と、質感の変化とを決定することと；
（ｆ）前記振幅を調整し、前記ランドマーク、前記色、及び前記質感の少なくとも１つの変化が、所定の閾値に達するか、又は前記振幅が所定の上限に達するまで、（ｂ）、（ｃ）、（ｄ）、及び（ｅ）を繰り返すことと、
を含む、請求項１に記載の方法。

【請求項4】

前記振幅を前記決定することは、前記コンピュータにおいて：
（ａ）対応する人間の解剖学的特徴の処置前画像と対応する処置後画像とを、ベクトルに変換することと；
（ｂ）各変換された処理前画像と各対応する変換された処理後変換画像との間の、差分ベクトルを計算することと；
（ｃ）各差分ベクトルの振幅を計算することにより振幅値を得ることと；
（ｄ）（ｃ）で計算された前記振幅値の分布を使用して、前記振幅の上限を選択することと、
を含む、請求項１に記載の方法。

【請求項5】

前記出力画像を生成することは、前記加算されたベクトル、前記積ベクトル、及び前記入力画像ベクトルを、生成敵対ネットワークに入力することを含む、請求項１に記載の方法。

【請求項6】

医療美容処置の実行後に予想される人間の解剖学的特徴の視覚的外見を表す、人間の解剖学的特徴の画像を生成するための、非一過性のコンピュータ可読媒体に記憶されたコンピュータプログラムであって、前記プログラムは、プログラム可能なコンピュータに：
前記医療美容処置を実行する前に、前記人間の解剖学的特徴の画像を、前記コンピュータへの入力画像として受け取ることと；
前記コンピュータにおいて、前記入力画像を、入力画像ベクトルに変換することと；
前記コンピュータにおいて、前記医療美容処置に対応する方向ベクトルを選択することであって、前記方向ベクトルは、前記医療美容処置前の複数の対応する画像の各々を、第１の入力画像ベクトルに変換すること、前記医療美容処置後の前記解剖学的特徴の複数の対応する画像の各々を、第２の入力画像ベクトルに変換すること、前記第１の入力画像ベクトルから前記第２の入力画像ベクトルを減算することによって、差分ベクトルを計算すること、前記差分ベクトルを、単位ベクトルに正規化すること、及び前記医療美容処置前及び前記医療美容処置後の前記複数の対応する画像について、前記差分ベクトルの統計的集約を実行すること、によって決定される、方向ベクトルを選択することと；
前記コンピュータにおいて、前記方向ベクトルの振幅を決定することと；
前記コンピュータにおいて、前記方向ベクトルに、前記決定された振幅を乗算して、積ベクトルを得ることと；
前記コンピュータにおいて、前記積ベクトルを前記入力画像ベクトルにベクトル加算することにより加算されたベクトルを得ることと；
前記コンピュータにおいて、前記加算されたベクトル、前記積ベクトル、及び前記入力画像ベクトルから、前記予想される視覚的外見に対応する出力画像を生成することと、
を含む動作を実行させるように動作可能なロジックを有する、コンピュータプログラム。

【請求項7】

（ａ）前記入力画像ベクトルから、最適化画像を生成することと；
（ｂ）前記最適化画像と前記入力画像とを比較し、損失関数を計算することと；
（ｃ）前記入力画像ベクトルを変更し、前記最適化画像の前記生成を繰り返すことと；
（ｄ）（ｉ）前記損失関数の値が、所定の閾値を下回るか、又は（ｉｉ）（ａ）（ｂ）及び（ｃ）が選択された回数繰り返されるまで、（ａ）（ｂ）（ｃ）を繰り返すことと、
によって前記コンピュータに前記変換を最適化させるように動作可能なロジックを更に含む、請求項６に記載のコンピュータプログラム。

【請求項8】

前記振幅を前記決定することは：
（ａ）対応する人間の解剖学的特徴の処置前画像を、入力ベクトルに変換することと；
（ｂ）最初に振幅を推定し、前記最初に推定された振幅と前記入力ベクトルとを組み合わせて中間積ベクトルを生成することと；
（ｃ）前記変換された入力ベクトルに、前記中間積ベクトルをベクトル加算することと；
（ｄ）前記中間積ベクトルから、出力画像を生成することと；
（ｅ）前記処置前画像と前記出力画像との間での、ランドマーク位置の変化と、色の変化と、質感の変化とを決定することと；
（ｆ）前記振幅を調整し、前記ランドマーク、前記色、及び前記質感の少なくとも１つの変化が、所定の閾値に達するか、又は前記振幅が所定の上限に達するまで、（ｂ）、（ｃ）、（ｄ）、及び（ｅ）を繰り返すことと、
を含む、請求項６に記載のコンピュータプログラム。

【請求項9】

前記振幅を前記決定することは、前記医療美容処置のために：
（ａ）対応する人間の解剖学的特徴の処置前画像と対応する処置後画像とを、ベクトルに変換することと；
（ｂ）各変換された処理前画像と各対応する処理後変換画像との間の、差分ベクトルを計算することと；
（ｃ）各差分ベクトルの振幅を計算することにより振幅値を得ることと；
（ｄ）（ｃ）で計算された前記振幅値の分布を使用して、前記振幅の上限を選択することと、
を含む、請求項６に記載のコンピュータプログラム。

【請求項10】

前記出力画像を生成することは、前記加算されたベクトル、前記積ベクトル、及び前記入力画像ベクトルを、生成敵対ネットワークに入力することを含む、請求項6に記載のコンピュータプログラム。

【請求項11】

医療美容処置の実施後に予想される人間の解剖学的特徴の視覚的外見を表す、前記人間の解剖学的特徴の画像を生成する方法であって、前記方法は：
医療美容処置を実施する前に、前記人間の解剖学的特徴の画像を、コンピュータに、入力画像として送信することと；
前記コンピュータにおいて、前記医療美容処置前の前記入力画像を、入力画像ベクトルに変換することと；
前記コンピュータにおいて、前記医療美容処置に対応する方向ベクトルを選択することと；
前記コンピュータにおいて、前記方向ベクトルの振幅を決定することと；
前記コンピュータにおいて、前記方向ベクトルに、前記決定された振幅を乗算して、積ベクトルを得ることと；
前記コンピュータにおいて、前記積ベクトルを前記入力画像ベクトルにベクトル加算することにより加算されたベクトルを得ることと；
前記コンピュータにおいて、前記加算されたベクトル、前記積ベクトル、及び前記入力画像ベクトルから、前記予想される視覚的外見に対応する出力画像を生成することと、
を含み、
前記方向ベクトルは、前記医療美容処置について：
前記医療美容処置前の前記解剖学的特徴の少なくとも１つの画像を、第１の入力画像ベクトルに変換することと；
前記医療美容処置後の前記解剖学的特徴の少なくとも１つの画像を、第２の入力画像ベクトルに変換することと；
前記第１の入力画像ベクトルと前記第２の入力画像ベクトルとを、前記医療美容処置前の前記解剖学的特徴の少なくとも１つの画像と前記医療美容処置後の前記解剖学的特徴の少なくとも１つの画像とが、それぞれネガティブクラスとポジティブクラスを表す、二値分類として扱うことと；
前記ネガティブクラスとポジティブクラスの間に線形決定の境界を設定し、前記線形決定の境界に直交するベクトルを決定することと、
により決定される、方法。

【請求項12】

前記振幅を前記決定することは、前記コンピュータにおいて：
（ａ）対応する人間の解剖学的特徴の処置前画像を、入力ベクトルに変換することと；
（ｂ）最初に振幅を推定し、前記最初に推定された振幅と前記方向ベクトルとを組み合わせて中間積ベクトルを生成することと；
（ｃ）前記変換された入力ベクトルに、前記中間積ベクトルを加算することと；
（ｄ）前記中間積ベクトルから、出力画像を生成することと；
（ｅ）前記処置前画像と前記出力画像との間での、ランドマーク位置の変化と、色の変化と、質感の変化とを決定することと；
（ｆ）前記振幅を調整し、前記ランドマーク、前記色、及び前記質感の少なくとも１つの変化が、所定の閾値に達するか、又は前記振幅が所定の上限に達するまで、（ｂ）、（ｃ）、（ｄ）、及び（ｅ）を繰り返すことと、
を含む、請求項１１に記載の方法。

【請求項13】

前記振幅を前記決定することは、前記コンピュータにおいて：
（ａ）対応する人間の解剖学的特徴の処置前画像と対応する処置後画像とを、ベクトルに変換することと；
（ｂ）各変換された処理前画像と各対応する変換された処理後変換との間の、差分ベクトルを計算することと；
（ｃ）各差分ベクトルの振幅を計算することにより振幅値を得ることと；
（ｄ）（ｃ）で計算された前記振幅値の分布を使用して、前記振幅の上限を選択することと、
を含む、請求項１１に記載の方法。

【請求項14】

医療美容処置の実行後に予想される人間の解剖学的特徴の視覚的外見を表す、人間の解剖学的特徴の画像を生成するための、非一過性のコンピュータ可読媒体に記憶されたコンピュータプログラムであって、前記プログラムは、プログラム可能なコンピュータに：
前記医療美容処置を実行する前に、前記人間の解剖学的特徴の画像を、前記コンピュータへの入力画像として受け取ることと；
前記コンピュータにおいて、前記入力画像を、入力画像ベクトルに変換することと；
前記コンピュータにおいて、前記医療美容処置に対応する方向ベクトルを選択することと；
前記コンピュータにおいて、前記方向ベクトルの振幅を決定することと；
前記コンピュータにおいて、前記方向ベクトルに、前記決定された振幅を乗算して、積ベクトルを得ることと；
前記コンピュータにおいて、前記積ベクトルを前記入力画像ベクトルにベクトル加算することにより加算されたベクトルを得ることと；
前記コンピュータにおいて、前記加算されたベクトル、前記積ベクトル、及び前記入力画像ベクトルから、前記予想される視覚的外見に対応する出力画像を生成することと、
を含み、
前記方向ベクトルは、前記医療美容処置について：
前記医療美容処置前の前記解剖学的特徴の少なくとも１つの画像を、第１の入力画像ベクトルに変換することと；
前記医療美容処置後の前記解剖学的特徴の少なくとも１つの画像を、第２の入力画像ベクトルに変換することと；
前記第１の入力画像ベクトルと前記第２の入力画像ベクトルとを、前記医療美容処置前の前記解剖学的特徴の少なくとも１つの画像と前記医療美容処置後の前記解剖学的特徴の少なくとも１つの画像とが、それぞれネガティブクラスとポジティブクラスを表す、二値分類として扱うことと；
前記ネガティブクラスとポジティブクラスの間に線形決定の境界を設定し、前記線形決定の境界に直交するベクトルを決定することと、
を含む動作を実行させるように動作可能なロジックを有するコンピュータプログラム。

【請求項15】

前記振幅を前記決定することは：
（ａ）対応する人間の解剖学的特徴の処置前画像を、入力ベクトルに変換することと；
（ｂ）最初に振幅を推定し、前記最初に推定された振幅と前記入力ベクトルとを組み合わせて中間積ベクトルを生成することと；
（ｃ）前記変換された入力ベクトルに、前記中間積ベクトルをベクトル加算することと；
（ｄ）前記中間積ベクトルから、出力画像を生成することと；
（ｅ）前記処置前画像と前記出力画像との間での、ランドマーク位置の変化と、色の変化と、質感の変化とを決定することと；
（ｆ）前記振幅を調整し、前記ランドマーク、前記色、及び前記質感の少なくとも１つの変化が、所定の閾値に達するか、又は前記振幅が所定の上限に達するまで、（ｂ）、（ｃ）、（ｄ）、及び（ｅ）を繰り返すことと、
を含む、請求項１４に記載のコンピュータプログラム。

【請求項16】

前記振幅を前記決定することは、前記医療美容処置のために：
（ａ）対応する人間の解剖学的特徴の処置前画像と対応する処置後画像とを、ベクトルに変換することと；
（ｂ）各変換された処理前画像と各対応する処理後変換画像との間の、差分ベクトルを計算することと；
（ｃ）各差分ベクトルの振幅を計算することにより振幅値を得ることと；
（ｄ）（ｃ）で計算された前記振幅値の分布を使用して、前記振幅の上限を選択することと、
を含む、請求項１４に記載のコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、顔のような人間の解剖学的特徴の画像を処理して、医療美容処置、外科的処置、又はフィラー及び他の薬剤の注入のような医療処置をはじめとする、企図された処置の結果として予想される顔の外見を予測する分野に関する。より具体的には、本開示は、実際の人物に対する顔面処置の結果生じる実際の外見変化の機械学習処理に基づいて、予想画像を作成する方法に関する。

【背景技術】

【0002】

美容処置、例えば、医療美容処置、外科処置、注射（例えば、ボトックスやフィラー、ただしそれらに限定されない）は、顔などの人間の特徴の外見を修正するために行われる。医師、特に形成外科医は、そのような手技の実施方法について詳細な知識を持ち、そのような手技が人間の外見をどのように変化させるかについて情報に基づく理解を有しているが、そのような手技の結果として何が合理的に予想され得るかを、手技を受ける本人に伝えることは難しい。更に、医師は、手技の強度や使用する製品を参照して、特徴を変化させる量を選択する能力を有するかもしれないが、それでもなお、特徴の変化量の違いが、治療が完了したときに全体的な外見にどのように影響するかを、治療を受ける本人に伝えることができないかもしれない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

したがって、処置を受ける人の処置前の実際の外見に基づいて、顔の処置がどのように外見を変化させるかを視覚化できるツールが必要とされている。

【課題を解決するための手段】

【0004】

本開示の一態様は、処置前の人間の解剖学的特徴の画像から、医療美容処置の結果として生じる人間の解剖学的特徴の予想される外見の画像を生成する方法である。本開示のこの態様による方法は：医療美容処置を実施する前に、人間の解剖学的特徴の画像を、コンピュータに、入力として送信することと；コンピュータにおいて、入力画像を、入力画像ベクトルに変換することと；コンピュータにおいて、医療美容処置に対応する方向ベクトルを選択することと；コンピュータにおいて、方向ベクトルの振幅を決定することと；コンピュータにおいて、方向ベクトルに、決定された振幅を乗算して、積ベクトルを得ることと；コンピュータにおいて、積ベクトルを入力画像ベクトルにベクトル加算することと；コンピュータにおいて、加算されたベクトル、積ベクトル、及び入力画像ベクトルから、予想される視覚的外見に対応する出力画像を生成することと、を含む。

【0005】

本開示の別の一態様では、コンピュータプログラムが非一過性のコンピュータ可読媒体に格納されている。プログラムは、以下に説明するように、様々な実施形態において、上述した本開示による方法の動作を、プログラム可能なコンピュータに実行させるように動作可能なロジックを有する。

【0006】

いくつかの実施形態は、コンピュータ内で、入力画像を変換することを最適化することを更に含むが、そのために：（ａ）入力画像ベクトルから最適化画像を生成することと、（ｂ）最適化画像と入力画像とを比較して損失関数を計算することと、（ｃ）入力画像ベクトルを変更して最適化画像の生成を繰り返すことと、（ｄ）（ｉ）損失関数の値が所定の閾値を下回るか、又は（ｉｉ）（ａ）、（ｂ）、及び（ｃ）が選択された回数繰り返されるかのいずれかまで、（ａ）（ｂ）（ｃ）を繰り返すことと、を行う。

【0007】

いくつかの実施形態において、振幅の上限を決定することは、コンピュータにおいて：（ａ）対応する人間の解剖学的特徴の処置前画像と対応する処置後画像とを、ベクトルに変換することと；（ｂ）変換された各処理前画像と対応する各処理後変換画像との間の、差分ベクトルを計算することと；（ｃ）処置前の画像ベクトルと処置後の画像ベクトルとの各画像ベクトルペアについて、差分ベクトルと先に特定した方向ベクトルとを用いて、振幅を算出することと；（ｄ）（ｃ）で計算された振幅値の分布を使用して、振幅の上限を決定することと、を含む。

【0008】

幾つかの実施形態では、振幅の決定は、コンピュータにおいて、（ａ）対応する人間の解剖学的特徴の処置前画像を、入力ベクトルに変換することと；（ｂ）最初に振幅を推定し、以前に推定された方向ベクトルを用いて中間積ベクトルを生成することと；（ｃ）変換された入力ベクトルに中間積ベクトルを加算することと；（ｄ）中間積ベクトルから出力画像を生成することと；（ｅ）入力画像と出力画像との間のランドマーク位置の変化、色の変化、及びテクスチャの変化を決定することと；（ｆ）ランドマーク、色及びテクスチャの少なくとも１つの変化が予め定義された閾値に達するか、又は振幅が、計算されて予め定義された上限値に達するまで、振幅を調整し、（ｂ）、（ｃ）、（ｄ）及び（ｅ）を繰り返すことと、を含む。

【0009】

いくつかの実施形態において、方向ベクトルを決定することは、美容処置について：医療美容処置前の解剖学的特徴の少なくとも１つの画像を第１の入力画像ベクトルに変換することと；医療美容処置後の解剖学的特徴の少なくとも１つの画像を第２の入力画像ベクトルに変換することと；処置前画像ベクトル及び処置後画像ベクトルを、処置前画像及び処置後画像がそれぞれネガティブクラス及びポジティブクラスを表す２値分類として扱うことと；線形決定境界を設定することと；線形決定境界に直交するベクトルを決定することと；を備える。

【0010】

いくつかの実施形態において、方向ベクトルを決定することは、医療美容処置について、医療美容処置前の解剖学的特徴の少なくとも１つの画像を第１の入力画像ベクトルに変換することと、医療美容処置後の解剖学的特徴の少なくとも１つの画像を第２の入力画像ベクトルに変換することと、第２の入力画像ベクトルから第１の入力画像ベクトルを減算することによって差分ベクトルを計算することと、差分ベクトルを単位ベクトルに正規化することと、を含む。複数の入力画像ペアから複数の差分ベクトルが計算される場合、方向ベクトルは統計的集約によって計算される。

【0011】

いくつかの実施形態では、入力画像を入力画像ベクトルに変換することは、コンピュータにおいて、事前に訓練されたエンコーダを介して画像を処理することからなる。

【0012】

いくつかの実施形態では、出力画像の生成は、加算されたベクトル、積ベクトル、及び入力画像ベクトルを生成敵対的ネットワークに入力することからなる。

【0013】

その他の態様及び可能な利点は、以下の説明及び特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0014】

【図1】本開示による例示的プロセスのフローチャートである。

【図2】図１のプロセスにおいて方向ベクトルをスケーリングするための、振幅に対するハードコードされた制限を決定するための、例示的なプロセスのフローチャートを示す。

【図3】図１の処理における振幅を決定するための例示的プロセスを示すフローチャートである。

【図4】特定の美容処理に対応する方向ベクトルを決定するためのプロセスを示すフローチャートである。

【図5】本開示による方法を実行するために使用され得るコンピュータシステムの、例示的な一実施形態を示す。

【発明を実施するための形態】

【0015】

本開示による方法は、自らの、例えば顔のような外部解剖学的特徴に医学美容処置をすることを企図する人間のその特徴の実際の画像から始められる。「医療美容処置」という用語が本明細書で使用される場合、その用語には、解剖学的特徴の構造的外見を変化させるためのあらゆる外科的手技、構造的外見を変化させるため又は皮膚の外見を変化させるための充填剤又は他の薬剤の注入、及び人間の解剖学的特徴の色及び／又は質感的外見を変化させることを意図した他のあらゆる医療処置が含まれ得る。

【0016】

画像は、その後のデジタル化のために印刷された画像を生成するために、又は画像フィールド又はフレーム内の色及び強度分布の最初のデジタル化された表現を生成するために、当該技術分野で知られている任意の光学イメージングデバイスを使用して生成し得る。デジタル化された形態の画像は、本開示に従って処理するために、コンピュータ又はコンピュータシステムに入力され得る。上記の画像を、便宜上「入力画像」と呼ぶ。

【0017】

本開示による方法への別の入力は、人間の解剖学的特徴（例えば、顔）の任意の１つ以上の部分に対して実行される、具体的な医療美容処置（複数可）である。「審美的」という用語が本明細書で使用される場合、その用語は、どのように投与されるにせよ、人間の解剖学的特徴の視覚的外見を変化させるあらゆる種類の処置を意味することが意図されており、限定されるものではないが、文字通りの審美的処置だけでなく、医療美容処置も含まれる。上で説明したように、人間の解剖学的特徴の視覚的外見を変化させることを意図したあらゆる形態の医療処置は、本開示の範囲内である。

【0018】

本開示による方法の出力は、美容処置が行われた後に視覚的に現れると予想される、同じ人間の解剖学的特徴（例えば、顔）の画像である。いくつかの実施形態では、美容処置は、審美的外科処置であってもよい。いくつかの実施形態では、美容処置は審美的フィラー注入である。

【0019】

本開示によるプロセスの例示的な一実施形態は、図１のフローチャートを参照することにより、より良く理解され得る。

【0020】

いくつかの実施形態では、入力画像は前処理され得る（ブロック１０の処理）。前処理には以下のようなものがある：
１．入力画像は、赤、緑、青（ＲＧＢ）の強度分布に変換され得る（ブロック１２の処理）。
２．画像フレームに存在する人間の顔は、例えば一般的な顔検出アルゴリズムを使用して検出し得る（ブロック１４の処理）。このようなアルゴリズムは、例えばオープンソースのコードとして利用可能である。その後、検出された顔の画像境界内から、所定数（本例示的実施形態では、６８個）の顔の「ランドマーク」を抽出することができる。ランドマークは、人間の顔の所定の解剖学的部分の特性として理解し得る。ランドマークについては、Ｖｅｌｔｈｕｉｓらによって出願された、米国特許出願公開第２０２１／００１２０９７号で説明されている。ランドマークを使用して、顔が画像フレームの中心に幾何学的に移動させるように、画像の位置揃えを行い得る。
３．画像は、例えば１０２４×１０２４のような、選択された解像度にリサイズし得る（ブロック１６の処理）。必要であれば、選択した解像度に適合するように画像をパディ
ング又はクロッピングしてもよい。

【0021】

いくつかの実施形態では、前処理の後に、前処理された画像を符号化し得る（ブロック１８の処理）。符号化は、画像を投影するように訓練された、画像からベクトルへの予め訓練されたエンコーダを使用して、つまりベクトルへの符号化（又は変換）を、生成的敵対的ネットワーク（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ、ＧＡＮ）として知られる機械学習アルゴリズムの潜在空間に実行するように訓練されたエンコーダを用いて実行し得る。本明細書で開示するプロセスは、その意図された出力として、人間の顔の入力（実際の）画像の操作されたバージョン（すなわち、処置後の予想される視覚的外見画像）を有するので、符号化の１つの目的は、実際の画像（すなわち、処理前の入力画像）を、ＧＡＮ潜在空間であるＮ×Ｄベクトル空間に投影することである。符号化プロセスの例示的な実施形態には、以下のものが含まれる。
１．サンプル画像を入力とし、Ｎ×Ｄのベクトル表現を出力として生成するエンコーダ（ニューラルネットワーク）を訓練する。このエンコーダは、実際の処理に先立って訓練されるが、１度だけ訓練された後、各符号化フローに使用される。前処理された入力画像は、次に訓練されたエンコーダを用いて符号化され、ＧＡＮ潜在空間におけるベクトル表現が生成される。Ｎ及びＤによって表されるパラメータ、並びにＮ及びＤの値は、方法設計者の裁量によるものであり、本開示の範囲を限定することを意図するものではない。代表的なパラメータは、入力画像の解像度と、意図する出力画像の解像度に関連するものである。本明細書では、入力画像から生成されるＮ×Ｄベクトルを、「入力画像ベクトル」と呼ぶことがあり得る。
２．符号化画像の最適化は、それより前に符号化されたベクトル表現（入力画像ベクトル）を微調整して、元の画像をよりよく反映させることを含み得る（ブロック２０の処理）。最適化は反復的に行われ、損失関数に基づき得る。いくつかの実施形態では、そのような損失関数は、前処理された入力画像の実際の画素値又は抽出されたより高レベルの特徴と、ベクトル表現を画像空間に変換して戻すためにＧＡＮを使用して現在のベクトル表現（現在の入力画像ベクトル）から生成された画像との間の平均二乗損失であってもよい。ＧＡＮについては後ほど更に説明する。本例示的実施形態では、確率的勾配降下法を使用して、比較的少ない反復回数で損失関数を最小化するために、最適化の各反復時に現在のベクトル表現への変更を指示し得る。
３．上記の（２）のような最適化は、（ａ）所定の反復回数、又は（ｂ）損失関数が所定の閾値以下になるまで、実行される。

【0022】

画像の操作と予想される画像の生成：入力画像の最適化されたＮ×Ｄ（入力画像）ベクトル表現が生成された後、最適化された入力画像ベクトルの操作が、最適化された入力画像（Ｎ×Ｄ）ベクトル表現への方向ベクトルの単純なベクトル加算によって実行することができ、これは、「操作された画像ベクトル」と呼ばれることがある（ブロック２２の処理）。ベクトル加算、すなわち操作された画像ベクトルの出力は、医療美容処置の効果をエミュレートする出力画像を生成するために使用し得る。出力画像は、上記で説明したように、操作された画像ベクトルを、生成的敵対的ネットワーク（ＧＡＮ）として知られる機械学習アルゴリズムに入力することによって生成し得る。ＧＡＮは、その出力として、操作された画像を生成するが、この画像は、画像の保存及び表示のための任意の既知の方法で、保存及び／又は表示し得る。ＧＡＮは、上記で説明したように、入力画像のベクトル表現の生成を最適化するプロセスでも使用し得る。

【0023】

なお、方向ベクトルは潜在空間における方向を定義するだけであり、単位ベクトルとして機能するということに注意すべきである。追加入力は、画像操作の大きさを直接変化させる、方向ベクトルの振幅であってもよい。振幅は、変更されてもよく（ブロック２４の処理）、ＧＡＮを使用して新しい操作画像が生成され得る（ブロック２６の処理）。振幅が以下に説明するように決定される振幅の最終値である場合（ブロック２８の処理）、処
理は停止し（ブロック３０の処理）、その時点で存在するＧＡＮ出力画像が、最終出力画像として使用される。

【0024】

方向ベクトルの振幅を決定して、操作された画像ベクトルを生成するための例示的な手順は、以下を含み得る。
１．方向ベクトルの振幅を反復的に増加させ、入力画像の最適化されたＮ×Ｄベクトル表現（入力画像ベクトル）にベクトル加算し、操作された画像ベクトル表現をＧＡＮに送信して操作画像を生成し、振幅を漸増させながら前述の処理を、振幅の最終値に達するまで繰り返す。
２．様々な実施形態において、振幅の最終値は、以下のような例を用いて求めることができる：
ａ．図２を参照して、ハードコードされた振幅の上限は、以下のように求めることができる：ある具体的な医療美容処置のための方向ベクトルを選択する間、プロセスは、１つ以上の画像ペアを形成するために、医療美容処置の前に撮影された人間の実際の画像を入力として使用し（ブロック３２の処理）、かつ同じ医療美容処置の後に撮影された人間の実際の画像を入力として使用し得る（ブロック３４の処理）。それぞれブロック３６の処理及びブロック３８の処理で、処置前の画像と処置後の画像の各々が、例えば先に説明した訓練済みエンコーダを用いて符号化される。各画像ペアにおける画像ベクトルどうしの間の差分ベクトルは、各画像ペアにおける処置後ベクトル表現から処置前ベクトル表現を減算することによって得られる。処置前の画像と処置後の画像との各画像ペアについて、差分ベクトルと先に特定した方向ベクトルとを用いて、振幅値を算出する。そして、先ほど説明したように計算された振幅値の分布を使って、ハードコードされた上限値の最終値が選択される。（振幅の上限は、平均値と標準偏差を計算し、平均値に３つの標準偏差を加えた値を算出した振幅値の分布を用いて決定し得る。）
ｂ．図３を参照して、ランドマークの変更を使用してもよい：審美的処置が実行される前の入力画像を使用し（ブロック４４の処理）、審美的処置が実行された後の操作された画像を使用して（ブロック４６の処理）、その審美的処置が影響を及ぼす顔の領域に関連する顔のランドマークの変化を、その処置が実行される前と後の両方で評価する。選択されたランドマーク間の差又は比率が決定され（ブロック４８の処理）、その決定された差又は比率が予め定義された限界に達している場合（ブロック５０の選択）には、ランドマークのさらなる変更は終了し、その時点現在の振幅値が使用される（ブロック５４の処理）。決定された差又は比率が予め定義された限界に達していない場合（ブロック５０の選択）には、ランドマークを変更してもよく（ブロック５２の処理）、プロセスは、ランドマークの変更を決定する行為（ブロック４８の処理）に戻る。前述の比率や差は、解剖学的特徴、例えば人間の顔の、様々な特定の点どうしの間の距離に関連していると理解され得る。特定の解剖学的特徴どうしの間の距離又は距離の比率は、経験的に決定された限界内にあるということは、医療従事者には理解されよう。このような経験的に決定された限界値は、図３のブロック５０の処理における限界値として使用することができる。
ｃ．色や質感の変化：影響を受けた領域の色とテクスチャとの変化が、あらかじめ定義された限界に達すると、手順は停止され、その時点の振幅値が振幅の最終値として使用される。ランドマークと色に関する事前に定義された限界は、例えば、顔画像データセットから、処置前と処置後の人間の解剖学的特徴の画像を用いて得てもよい。
３．振幅の最終値を決定した後、結果として得られた操作画像ベクトルをＧＡＮに入力として送ることで、最終的な操作画像（出力画像）が生成される。結果として得られた操作画像ベクトルは、上で説明したように、方向と振幅の積と、入力画像の元のＮ×Ｄ表現（すなわち入力画像ベクトル）とのベクトル加算によって得られる。結果として得られた操作画像ベクトルは、次に、ＧＡＮによって処理され、操作画像が生成される。

【0025】

各タイプの審美的（又は美容医療）処置の方向ベクトルの自己同一性を、図４Ａ及び図４Ｂを参照して説明したように決定し得る。方向は、そのような様々な処置を受けた人の
、実際の処置前の画像と実際の処置後の画像のベクトル表現を使用して決定し得る。このように決定された様々な医療美容処置の方向ベクトルは、任意の新しい入力画像に対して開示されたプロセスを初期化する際に後でアクセスできるように、（例えば、図５を参照して説明するように）データベースに保存してもよい。方向ベクトルを決定するためのプロセスの例示的な実施形態は、以下の方法の１つに従って行い得る：
方法１（図４Ａ）：
１．ブロック５６の処理で入力された各処置前画像と、ブロック５８の処理で入力された各処置後画像は、上記で説明したエンコード処理を用いて、ブロック６０の処理でＮ×Ｄベクトル空間に符号化（変換、投影）される。
２．方向ベクトルの決定は、ブロック６２の処理において２値分類として扱われ、処置前の画像及び処置後の画像に対するＮ×Ｄ個の潜在ベクトルは、それぞれネガティブクラスとポジティブクラスを表す。
３．線形の決定境界が決定され（ブロック６４の処置）、決定境界に直交するベクトルが、具体的な医療美容処置の方向として決定される（ブロック６６の処置）。
方法２（図４Ｂ）：
１．ブロック５６Ａの処理で入力された各処置前画像と、ブロック５８Ａで入力された各処置後画像は、上記で説明したエンコーダを用いて、ブロック６０Ａの処理でベクトル、例えば、Ｎ×Ｄベクトルに変換される。
２．処理前ベクトルと処理後ベクトルとの各ペアの差分ベクトルが、処理後ベクトルから処理前ベクトルを引くことによって計算される（ブロック６２Ａの処理）。
３．各差分ベクトルは、単位ベクトルに正規化される（ブロック６４Ａの処理）。
４．最終的な方向ベクトルが、単位差分ベクトルの平均値又は中央値を取るなど、単位差分ベクトルの統計的集約として計算される（ブロック６６Ａの処理）。

【0026】

なお、本開示による画像符号化及び処理の説明は、画像全体の観点からなされているが、画像の選択された部分のみを処理して、画像の当該選択された部分の予想される外見の視覚的表現を生成することは、本開示の範囲内であるということに留意されたい。したがって、本開示で使用される「画像」という用語は、画像が作成される対象物のフレーム内のすべての画素、又はその選択されたサブセットを意味し得る。更に、本開示は、選択された解剖学的特徴に対する単一の医療美容処置に対応する予想される外見の視覚的表現を生成するためのプロセスを規定するが、単一の入力画像を、各々が異なる解剖学的特徴を有する複数のサブセット画像として処理し、各サブセット画像に対して、異なる選択された医療美容手技を使用して予想される視覚的外見画像を生成することは、本開示の範囲内である。このようなサブセット画像処理は、本開示の範囲と矛盾しない範囲で、順次又は同時に実行することができる。

【0027】

図５は、図１から図４を参照して説明した動作を実行するために使用し得る、コンピューティングシステム１００の例示的な一実施形態を示す。コンピューティングシステム１００は、個々のコンピュータシステム１０１Ａであってもよく、あるいは複数の分散型コンピュータシステムを配列したものであってもよい。個々のコンピュータシステム１０１Ａは、図５を参照して説明したタスクなど、いくつかの実施形態に従って様々なタスクを実行するように構成され得る、１つ以上の分析モジュール１０２を含み得る。これらの様々なタスクを実行するために、分析モジュール１０２は、独立して、又は１つ以上のプロセッサ１０４と協調して動作し得るが、これらのプロセッサは、１つ以上の記憶媒体１０６に接続されていてよい。任意の既知のタイプのグラフィックユーザインターフェイスのようなディスプレイデバイスは、プロセッサ１０４と信号通信可能であってよく、その場合、ユーザによるコマンド及び／又はデータの入力を可能にして、本開示による一連の命令の実行結果を表示し得る。

【0028】

プロセッサ（複数可）１０４はまた、ネットワークインターフェース１０８に接続され
ていてもよく、その場合には、個々のコンピュータシステム１０１Ａが、データネットワーク１１０を介して、１つ以上の追加の個々のコンピュータシステム及び／又はコンピューティングシステム１０１Ｂ、１０１Ｃ、及び／又は１０１Ｄなどと通信できるようになる（なお、コンピュータシステム１０１Ｂ、１０１Ｃ、及び／又は１０１Ｄは、コンピュータシステム１０１Ａと同じアーキテクチャを共有してもしなくてもよいことに留意されたい。例えば、コンピュータシステム１０１Ａ及び１０１Ｂが削井場所にある一方で、１つ以上のデータセンターに位置し、かつ／又は異なる大陸の様々な国に位置する１０１Ｃ及び／又は１０１Ｄなどの１つ以上のコンピュータシステムと通信していてもよい）。

【0029】

プロセッサには、限定されるものではないが、マイクロプロセッサ、マイクロコントローラ、プロセッサモジュール又はサブシステム、プログラマブル集積回路、プログラマブルゲートアレイ、あるいは他の制御デバイス又はコンピューティングデバイスが含まれる。

【0030】

記憶媒体１０６は、１つ以上のコンピュータ読み取り可能又は機械読み取り可能な記憶媒体、例えば、非一過性の記憶媒体として実装され得る。記憶媒体は、図１から図４を参照して上述した動作をコンピュータシステムに実行させるように動作可能なロジックを含んでいてもよい。なお、図５の例示的な実施形態では、記憶媒体１０６は、個々のコンピュータシステム１０１Ａ内に配設されているように示されているが、いくつかの実施形態では、記憶媒体１０６は、個々のコンピューティングシステム１０１Ａ及び／又は追加のコンピューティングシステム、例えば、１０１Ｂ、１０１Ｃ、１０１Ｄの複数の、内部及び／若しくは外部エンクロージャ内、並びに／又は複数の内部及び／若しくは外部エンクロージャにわたって分散されてもよいということに留意されたい。記憶媒体１０６は、１つ以上の異なる形態のメモリを含み得る。その例としては、限定するものではないが、半導体メモリデバイス（ダイナミック又はスタティックランダムアクセスメモリ（ＤＲＡＭ又はＳＲＡＭ）、消去可能かつプログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気的消去可能かつプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）及びフラッシュメモリなど）、磁気ディスク（固定ディスク、フロッピーディスク及びリムーバブルディスクなど）、他の磁気媒体（テープなど）、コンパクトディスク（ＣＤ）若しくは光媒体（デジタルビデオディスク（ＤＶＤ）など）、又は他のタイプの記憶デバイスが挙げられる。なお、任意の個々のコンピュータシステム又はコンピューティングシステムに上述のタスクを実行させるためのコンピュータ命令は、１つのコンピュータ読み取り可能又は機械読み取り可能な記憶媒体上で提供されてもよく、１つ以上のノードを有する複数のコンポーネントのコンピューティングシステムに分散された複数のコンピュータ読み取り可能又は機械読み取り可能な記憶媒体上で提供されてもよいということに留意されたい。そのようなコンピュータ読み取り可能又は機械読み取り可能な記憶媒体（複数可）は、物品（又は製造品）の一部であると考えられる。物品又は製造品は、製造された単一又は複数のコンポーネントを指す。記憶媒体（複数可）は、機械可読命令を実行する機械に配置することも、機械可読命令を実行するためにネットワーク経由でそこからダウンロードできるリモートサイトに配置することもできる。

【0031】

なお、コンピューティングシステム１００は、コンピューティングシステムの一例に過ぎず、コンピューティングシステムの任意の他の実施形態は、図示されているよりも多い又は少ないコンポーネントを有してもよく、図５の例示的な実施形態に示されない追加のコンポーネントを組み合わせてもよく、かつ／又はコンピューティングシステム１００は、図５に示されるコンポーネントの異なる構成又は配置を有してもよいということが理解されるべきである。図５に示す様々なコンポーネントは、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの両方の組み合わせで実装することができ、例えば、１つ以上の信号処理回路及び／又は特定用途向け集積回路が挙げられる。

【0032】

更に、上述した処理方法の行為は、汎用プロセッサ若しくは特定用途向けチップ（例えば、ＡＳＩＣ、ＦＰＧＡ、ＰＬＤ）、又は他の適切なデバイスなどの情報処理装置において、１つ以上の機能モジュールを実行することによって実施し得る。これらのモジュール、これらのモジュールの組み合わせ、及び／又は一般的なハードウェアとの組み合わせは、すべて本開示の範囲に含まれる。

【0033】

本明細書において説明及び図示される原理及び例示的実施形態に照らして、例示的実施形態は、かかる原理から逸脱することなく、配置及び詳細において変更され得ることが認識されるであろう。前述の議論は、特定の実施形態に焦点を当てたものであるが、他の構成も考えられる。特に、本明細書において「一実施形態」において等の表現が使用されているとしても、これらの表現は、実施形態の可能性を一般的に言及することを意図しており、本開示を特定の実施形態の構成に限定することを意図していない。本明細書で使用される場合、これらの用語は、同一の実施形態、又は他の実施形態に組み合わせ可能な異なる実施形態を指すことができる。原則として、本明細書で言及される任意の実施形態は、本明細書で言及される他の実施形態のいずれか１つ以上と自由に組み合わせることが可能であり、異なる実施形態の任意の数の特徴は、別途、そうではないと示されていない限り、互いに組み合わせることが可能である。以上、いくつかの実施例を詳細に説明したが、当業者であれば、説明した実施例の範囲内で多くの変更が可能であることを容易に理解するであろう。したがって、このような変更はすべて、以下の特許請求の範囲に定義される本開示の範囲に含まれることが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】