特許 7427298 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-01-26

(45)【発行日】2024-02-05

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240129BHJP

   G16H 30/40 20180101ALI20240129BHJP

【ＦＩ】

G06T1/00 340A

G16H30/40

【請求項の数】 7

(21)【出願番号】P 2023027741

(22)【出願日】2023-02-24

【審査請求日】2023-12-06

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和５年２月２０日に、ＳＢＣメディカルグループ株式会社が、恵比寿ガーデンプレイス ガーデンルームにて公開で記者会見を行い、片寄裕之が発明した情報処理システムについて説明した。

【早期審査対象出願】

(73)【特許権者】

【識別番号】522463439

【氏名又は名称】ＳＢＣメディカルグループ株式会社

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人

(72)【発明者】

【氏名】片寄 裕之

【審査官】岡本 俊威

(56)【参考文献】

【文献】特許第６５６６３７３（ＪＰ，Ｂ１）

【文献】米国特許出願公開第２０２０／０１２６３１４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ１６Ｈ ３０／００－３０／４０

(57)【特許請求の範囲】

【請求項1】

二重術の施術前後の画像を学習させた画像生成器に、ユーザの顔を撮影した撮影画像と、二重幅を変化させるパラメータとを与えて、前記撮影画像に含まれる目の二重幅の度合を変化させたシミュレーション画像を生成させるシミュレーション画像生成部と、
前記シミュレーション画像を出力する出力部と、
を備え、
前記シミュレーション画像生成部は、前記パラメータに異なる複数のパラメータ値を設定し、前記パラメータ値ごとに前記シミュレーション画像を生成させ、
前記出力部は、前記パラメータ値ごとの前記シミュレーション画像を出力すること、
を特徴とする情報処理システム。

【請求項2】

請求項１に記載の情報処理システムであって、
前記パラメータを変化させて前記画像生成器により生成された前記シミュレーション画像について、医師から前記二重術として実施可能か否かの判定結果の入力を受け付ける試行処理部と、
前記判定結果に応じて、前記実施可能である前記パラメータ値の範囲を決定するパラメータ範囲決定部と、
を備え、
前記シミュレーション画像生成部は、前記範囲内で前記複数のパラメータ値を決定すること、
ることを特徴とする情報処理システム。

【請求項3】

請求項１に記載の情報処理システムであって、
前記撮影画像を解析して、前記撮影画像に含まれる前記ユーザの前記目の前記二重幅の度合であるユーザ度合を検出する検出部を備え、
前記シミュレーション画像生成部は、前記ユーザ度合に応じて複数の前記パラメータ値を決定すること、
を特徴とする情報処理システム。

【請求項4】

請求項３に記載の情報処理システムであって、
前記シミュレーション画像生成部は、前記ユーザ度合に応じて前記シミュレーション画像における前記度合の最大値を決定し、所定の最小値から前記最大値までの複数の前記度合を決定し、決定した前記度合のそれぞれに対応する前記パラメータ値を前記パラメータに設定して前記シミュレーション画像を生成させること、
を特徴とする情報処理システム。

【請求項5】

請求項３に記載の情報処理システムであって、
前記検出部は、前記撮影画像に含まれる前記ユーザの左右の前記目のそれぞれについて、左の前記目の前記二重幅の前記度合である左度合と、右の前記目の前記二重幅の前記度合である右度合とを検出し、前記左度合及び前記右度合の平均値を前記ユーザ度合とすること、
を特徴とする情報処理システム。

【請求項6】

二重術の施術前後の画像を学習させた画像生成器に、ユーザの顔を撮影した撮影画像と、二重幅を変化させるパラメータとを与えて、前記撮影画像に含まれる目の二重幅の度合を変化させたシミュレーション画像を生成させるステップであって、前記パラメータに異なる複数のパラメータ値を設定し、前記パラメータ値ごとに前記シミュレーション画像を生成させるステップと、
前記パラメータ値ごとの前記シミュレーション画像を出力するステップと、
をコンピュータが実行することを特徴とする情報処理方法。

【請求項7】

二重術の施術前後の画像を学習させた画像生成器に、ユーザの顔を撮影した撮影画像と、二重幅を変化させるパラメータとを与えて、前記撮影画像に含まれる目の二重幅の度合を変化させたシミュレーション画像を生成させるステップであって、前記パラメータに異なる複数のパラメータ値を設定し、前記パラメータ値ごとに前記シミュレーション画像を生成させるステップと、
前記パラメータ値ごとの前記シミュレーション画像を出力するステップと、
をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１にはメイクアップを施したシミュレーション画像を生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第１７１５３５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

メイクアップのシミュレーションでは美容整形による形状変化をシミュレーションすることは難しい

【0005】

本発明はこのような背景を鑑みてなされたものであり、二重術の効果を確認することのできる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するための本発明の主たる発明は、情報処理システムであって、二重術の施術前後の画像を学習させた画像生成器に、ユーザの顔を撮影した撮影画像と、二重幅を変化させるパラメータとを与えて、前記撮影画像に含まれる目の二重幅の度合を変化させたシミュレーション画像を生成させるシミュレーション画像生成部と、前記シミュレーション画像を出力する出力部と、を備え、前記シミュレーション画像生成部は、前記パラメータに異なる複数のパラメータ値を設定し、前記パラメータ値ごとに前記シミュレーション画像を生成させ、前記出力部は、前記パラメータ値ごとの前記シミュレーション画像を一覧出力すること、を特徴とする。

【0007】

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

【発明の効果】

【0008】

本発明によれば、二重術の効果を確認することができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係る情報処理システムの全体構成例を示す図である。

【図2】管理サーバ２のハードウェア構成例を示す図である。

【図3】管理サーバ２のソフトウェア構成例を示す図である。

【図4】管理サーバ２の動作を説明する図である。

【図5】シミュレーション画像を一覧表示する様子を説明する図である。

【発明を実施するための形態】

【0010】

＜発明の概要＞
本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
［項目１］
二重術の施術前後の画像を学習させた画像生成器に、ユーザの顔を撮影した撮影画像と、二重幅を変化させるパラメータとを与えて、前記撮影画像に含まれる目の二重幅の度合を変化させたシミュレーション画像を生成させるシミュレーション画像生成部と、
前記シミュレーション画像を出力する出力部と、
を備え、
前記シミュレーション画像生成部は、前記パラメータに異なる複数のパラメータ値を設定し、前記パラメータ値ごとに前記シミュレーション画像を生成させ、
前記出力部は、前記パラメータ値ごとの前記シミュレーション画像を一覧出力すること、
を特徴とする情報処理システム。
［項目２］
項目１に記載の情報処理システムであって、
前記パラメータを変化させて前記画像生成器により生成された前記シミュレーション画像について、医師から前記二重術として実施可能か否かの判定結果の入力を受け付ける試行処理部と、
前記判定結果に応じて、前記実施可能である前記パラメータ値の範囲を決定するパラメータ範囲決定部と、
を備え、
前記シミュレーション画像生成部は、前記範囲内で前記複数のパラメータ値を決定すること、
ることを特徴とする情報処理システム。
［項目３］
項目１に記載の情報処理システムであって、
前記撮影画像を解析して、前記撮影画像に含まれる前記ユーザの前記目の前記二重幅の度合であるユーザ度合を検出する検出部を備え、
前記シミュレーション画像生成部は、前記ユーザ度合に応じて複数の前記パラメータ値を決定すること、
を特徴とする情報処理システム。
［項目４］
項目３に記載の情報処理システムであって、
前記シミュレーション画像生成部は、前記ユーザ度合に応じて前記シミュレーション画像における前記度合の最大値を決定し、所定の最小値から前記最大値までの複数の前記度合を決定し、決定した前記度合のそれぞれに対応する前記パラメータ値を前記パラメータに設定して前記シミュレーション画像を生成させること、
を特徴とする情報処理システム。
［項目５］
項目３に記載の情報処理システムであって、
前記検出部は、前記撮影画像に含まれる前記ユーザの左右の前記目のそれぞれについて、左の前記目の前記二重幅の前記度合である左度合と、右の前記目の前記二重幅の前記度合である右度合とを検出し、前記左度合及び前記右度合の平均値を前記ユーザ度合とすること、
を特徴とする情報処理システム。
［項目６］
二重術の施術前後の画像を学習させた画像生成器に、ユーザの顔を撮影した撮影画像と、二重幅を変化させるパラメータとを与えて、前記撮影画像に含まれる目の二重幅の度合を変化させたシミュレーション画像を生成させるステップであって、前記パラメータに異なる複数のパラメータ値を設定し、前記パラメータ値ごとに前記シミュレーション画像を生成させるステップと、
前記パラメータ値ごとの前記シミュレーション画像を一覧出力するステップと、
をコンピュータが実行することを特徴とする情報処理方法。
［項目７］
二重術の施術前後の画像を学習させた画像生成器に、ユーザの顔を撮影した撮影画像と、二重幅を変化させるパラメータとを与えて、前記撮影画像に含まれる目の二重幅の度合を変化させたシミュレーション画像を生成させるステップであって、前記パラメータに異なる複数のパラメータ値を設定し、前記パラメータ値ごとに前記シミュレーション画像を生成させるステップと、
前記パラメータ値ごとの前記シミュレーション画像を一覧出力するステップと、
をコンピュータに実行させるためのプログラム。

【0011】

＜システムの概要＞
以下、本発明の一実施形態に係る情報処理システムについて説明する。本実施形態の情報処理システムでは、美容整形の施術後のシミュレーション画像を提示しようとするものであり、とくに二重術に係るシミュレーション画像を提示する。本実施形態の情報処理システムは、敵対的生成ネットワーク（Generative Adversarial Networks；ＧＡＮ）を用いてユーザの顔画像において目の二重幅を変化させる。

【0012】

図１は、本実施形態に係る情報処理システムの全体構成例を示す図である。本実施形態の情報処理システムは、管理サーバ２を含んで構成される。管理サーバ２は、ユーザ端末１と通信ネットワークを介して通信可能に接続される。通信ネットワークは、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット（登録商標）などにより構築される。

【0013】

ユーザ端末１は、ユーザが操作するコンピュータである。ユーザ端末１は、例えば、スマートフォン、タブレットコンピュータ、パーソナルコンピュータなどとすることができる。

【0014】

管理サーバ２は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、あるいはクラウド・コンピューティングによって論理的に実現されてもよい。

【0015】

＜管理サーバ＞
図２は、管理サーバ２のハードウェア構成例を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。管理サーバ２は、ＣＰＵ２０１、メモリ２０２、記憶装置２０３、通信インタフェース２０４、入力装置２０５、出力装置２０６を備える。記憶装置２０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース２０４は、通信ネットワークに接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置２０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置２０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。なお、後述する管理サーバ２の各機能部はＣＰＵ２０１が記憶装置２０３に記憶されているプログラムをメモリ２０２に読み出して実行することにより実現され、管理サーバ２の各記憶部はメモリ２０２及び記憶装置２０３が提供する記憶領域の一部として実現される。

【0016】

図３は、管理サーバ２のソフトウェア構成例を示す図である。管理サーバ２は、術前後画像記憶部２３１と、判断記憶部２３２と、設定情報記憶部２３３と、画像生成器２１１と、撮影画像取得部２１２と、シミュレーション画像生成部２１３と、出力部２１４と、検出部２１５と、試行処理部２１６と、パラメータ範囲決定部２１７と、学習処理部２１８と、を備える。

【0017】

画像生成器２１１は、ＧＡＮの手法により画像を生成する。画像生成器２１１には、例えば、ＳｔｙｌｅＧＡＮの手法を用いることができる。なお、ＳｔｙｌｅＧＡＮに限らず、他のＧＡＮを用いるようにすることもできる。画像生成器２１１は、ＧＡＮにより、二重術の施術前後の顔を撮影した画像を学習させて作成される。画像生成器２１１は、顔のうち目の二重幅を変化させる度合を決定するパラメータ（例えば潜在変数）を含む。画像生成器２１１には、人間の顔を撮影した入力画像と、パラメータ値とを与えることにより、パラメータ値に応じた度合で目の二重幅を変化させた画像（シミュレーション画像）を作成する。

【0018】

術前後画像記憶部２３１は、二重術の患者の術前の顔を撮影した画像（術前画像）と、当該患者の術後の顔を撮影した画像（術後画像）とを対応付けて記憶する。

【0019】

学習処理部２１８は、術前後画像記憶部２３１に記憶されている術前画像及び術後画像をＧＡＮの手法により画像生成器２１１に学習させる。なお、画像生成器２１１にはＧＡＮの識別器なども含まれているものとする。

【0020】

撮影画像取得部２１２は、ユーザの顔を撮影した撮影画像を取得する。撮影画像は、例えば、スマートフォンなどのユーザ端末１が備えるカメラによる自撮り画像としてもよいし、一般的なカメラで撮影した画像を取り込んだ画像データであってもよい。撮影画像取得部２１２は、ユーザ端末１から撮影画像を受信することができる。

【0021】

シミュレーション画像生成部２１３は、二重術の施術前後の画像を学習させた画像生成器に、ユーザの顔を撮影した撮影画像と、二重幅を変化させるパラメータのパラメータ値とを与えて、撮影画像に含まれる目の二重幅の度合を変化させたシミュレーション画像を生成させる。本実施形態では、シミュレーション画像生成部２１３は、複数の異なるパラメータ値のそれぞれについてシミュレーション画像を生成させる。

【0022】

設定情報記憶部２３３は、パラメータに設定するパラメータ値の範囲を記憶する。設定情報記憶部２３３は、パラメータの最大値及び最低値（パラメータ最大値及びパラメータ最小値）を記憶することができる。本実施形態では、パラメータ最大値をパラメータに指定した場合に、二重幅の度合が最も大きくなり、パラメータ最小値をパラメータに指定した場合に、二重幅の度合が最も小さくなるように、シミュレーション画像が生成されるものとする。

【0023】

シミュレーション画像生成部２１３は、パラメータ最小値からパラメータ最大値までの間に含まれる複数のパラメータ値を選択して、画像生成器２１１に与えることができる。シミュレーション画像生成部２１３は、例えば、パラメータ最小値からパラメータ最大値までを所定数（例えば１０）で割った値ごとのステップのパラメータ値を選択することができる。

【0024】

出力部２１４は、シミュレーション画像を出力する。出力部２１４は、パラメータ値ごとのシミュレーション画像を一覧出力することができる。例えば、シミュレーション画像生成部２１３が、１０段階のステップ値でシミュレーション画像を生成した場合には、二重幅の変化した度合の異なる１０枚のシミュレーションが出力されることになる。

【0025】

検出部２１５は、撮影画像を解析して、撮影画像に含まれるユーザの目の二重幅の度合（以下、ユーザ度合という。）を検出する。検出部２１５は、撮影画像に含まれるユーザの左右の目のそれぞれについて、左の目の二重幅の度合（以下、左度合という。）と、右の目の二重幅の度合（以下、右度合という。）とを検出し、左度合及び右度合の平均値をユーザ度合として算出することができる。

【0026】

シミュレーション画像生成部２１３は、ユーザ度合に応じて、複数のパラメータ値を決定することができる。シミュレーション画像生成部２１３は、ユーザ度合に応じてシミュレーション画像における度合の最大値を決定し、所定の最小値から最大値までの間で、シミュレーションする複数の度合を決定し、決定した度合のそれぞれに対応するパラメータ値を選択することができる。シミュレーション画像生成部２１３は、例えば、ユーザ度合が示す潜在変数空間における二重幅に関する潜在変数の現在値を特定し、現在値から最大値までを１０段階のステップで変化させるようにパラメータ値を決定することができる。

【0027】

試行処理部２１６は、パラメータ値の範囲を決定する。試行処理部２１６は、パラメータ値を変化させて画像生成器２１１にシミュレーション画像を生成させ、生成されたシミュレーション画像について、二重術として実施可能か否かの判断結果を取得する。判断結果は、例えば、美容整形の医師から入力を受け付けることができる。試行処理部２１６は、例えば、術前後画像記憶部２３１に記憶されている術前画像と、変化させたパラメータのそれぞれとを画像生成器２１１に与えてシミュレーション画像を生成させ、生成されたシミュレーション画像と、術前画像とを医師に対して表示し、医師から当該シミュレーション画像に表示されている二重幅が、埋没法の二重術により実現可能か否かの判断の入力を受け付けることができる。試行処理部２１６は、取得した判断結果と、そのときに用いたパラメータ値とを対応付けて判断記憶部２３２に記憶する。本実施形態では、試行処理部２１６は、パラメータ値と、医師から取得した判断結果と、医師を示す情報（医師ＩＤ）とを対応付けて判断記憶部２３２に登録する。

【0028】

パラメータ範囲決定部２１６は、判断結果に応じて、二重術として実施可能な二重幅の画像を生成することが期待されるパラメータ値の範囲を決定することができる。パラメータ範囲決定部２１６は、例えば、判断記憶部２３２に記憶されている判断可能との判断結果ごとの数を集計し、所定数以上の数となるパラメータ値の最大値を、パラメータとして取り得る最大値として決定することができる。また、パラメータ範囲決定部２１６は、同様に、所定数以上となるパラメータ値の最小値を、パラメータとして取り得る最小値として決定することができる。パラメータ範囲決定部２１６は、決定した最小値及び最大値を設定情報記憶部２３３に登録することができる。

【0029】

＜動作＞
図４は、管理サーバ２の動作を説明する図である。

【0030】

管理サーバ２は、ユーザの顔を撮影した撮影画像をユーザ端末１から受信し（Ｓ３０１）、受信した撮影画像を解析してユーザの目の二重幅の度合を（ユーザ度合）を検出する（Ｓ３０２）。管理サーバ２は、ユーザ度合に対応するパラメータ値を特定してパラメータの最小値とする（Ｓ３０３）。管理サーバ２は、特定した最小値から、設定情報記憶部２３３に登録されているパラメータ最大値までを所定数（例えば１０）の段階で増加させるように所定数（例えば１０個）のパラメータ値を決定し（Ｓ３０４）、決定したパラメータ値のそれぞれと撮影画像とを画像生成器２１１に与えることにより、所定数（例えば１０個）のシミュレーション画像を生成する（Ｓ３０５）。管理サーバ２は、生成したシミュレーション画像を一覧表示するようにユーザ端末１に、生成したシミュレーション画像を送信する（Ｓ３０６）。

【0031】

図５は、シミュレーション画像を一覧表示する様子を説明する図である。図５に示すように、シミュレーション画像４０１乃至４１０がユーザ端末１に表示される。シミュレーション画像４０１からシミュレーション画像４１０まで、二重幅が順次大きくなるような画像が表示されうる。これにより、どのくらいの度合の二重幅で二重術を施した場合に、ユーザの希望に合う施術結果となることが期待されるかを事前に把握することができる。

【0032】

以上のようにして、本実施形態の情報処理システムによれば、ユーザの顔を撮影した撮影画像に基づいて、埋没法による二重術の施術後の状態をシミュレーションしたシミュレーション画像を、複数の二重幅について一覧で確認することができる。これにより、ユーザは施術前に施術後の予想される状態を容易に確認することができる。

【0033】

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

【符号の説明】

【0034】

１ ユーザ端末
２ 管理サーバ

【要約】      （修正有）

【課題】二重術の効果を確認することができるようにする情報処理システム、情報処理方法及びプログラムを提供する。
【解決手段】管理サーバ２と、ユーザ端末とが、通信ネットワークを介して通信可能に接続される情報処理システムにおいて、管理サーバ２は、二重術の施術前後の画像を学習させた画像生成器２１１に、ユーザの顔を撮影した撮影画像と、二重幅を変化させるパラメータとを与えて、撮影画像に含まれる目の二重幅の度合を変化させたシミュレーション画像を生成させるシミュレーション画像生成部２１３と、シミュレーション画像を出力する出力部２１４と、を備え、シミュレーション画像生成部２１３は、パラメータに異なる複数のパラメータ値を設定し、パラメータ値ごとにシミュレーション画像を生成させ、出力部２１４は、パラメータ値毎のシミュレーション画像を一覧出力する。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】