特許 7432270 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-02-07

(45)【発行日】2024-02-16

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240208BHJP

   G16H 30/40 20180101ALI20240208BHJP

【ＦＩ】

G06T1/00 340A

G16H30/40

【請求項の数】 4

(21)【出願番号】P 2023027740

(22)【出願日】2023-02-24

【審査請求日】2023-12-06

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和５年２月２０日に、ＳＢＣメディカルグループ株式会社が、恵比寿ガーデンプレイス ガーデンルームにて公開で記者会見を行い、片寄裕之が発明した情報処理システムについて説明した。

【早期審査対象出願】

(73)【特許権者】

【識別番号】522463439

【氏名又は名称】ＳＢＣメディカルグループ株式会社

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人

(72)【発明者】

【氏名】片寄 裕之

【審査官】岡本 俊威

(56)【参考文献】

【文献】特許第６５６６３７３（ＪＰ，Ｂ１）

【文献】米国特許出願公開第２０２０／０１２６３１４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ１６Ｈ ３０／００－３０／４０

(57)【特許請求の範囲】

【請求項1】

ユーザの顔を撮影した撮影画像を取得する撮影画像取得部と、
前記顔のうち目の二重幅を変化させる度合を決定するパラメータに設定するパラメータ値の指定を受け付けるパラメータ指定部と、
二重術の施術前後の顔を撮影した画像を学習させ、敵対的生成ネットワークにより作成され、前記パラメータを含む画像生成器に、前記撮影画像及び受け付けた前記パラメータ値を与えて、前記ユーザに対する前記二重術の施術後の顔を表すシミュレーション画像を生成するシミュレーション画像生成部と、
を備えることを特徴とする情報処理システム。

【請求項2】

ユーザの顔を撮影した撮影画像を取得する撮影画像取得部と、
二重術の施術前後の顔を撮影した画像を学習させた画像生成器に前記撮影画像を与えて、前記ユーザに対する前記二重術の施術後の顔を表すシミュレーション画像を生成するシミュレーション画像生成部と、
前記シミュレーション画像から前記ユーザの目の周辺画像を抽出する抽出部と、
抽出した前記周辺画像を前記撮影画像に合成する合成処理部と、
を備えることを特徴とする情報処理システム。

【請求項3】

ユーザの顔を撮影した撮影画像を取得するステップと、
前記顔のうち目の二重幅を変化させる度合を決定するパラメータに設定するパラメータ値の指定を受け付けるステップと、
二重術の施術前後の顔を撮影した画像を学習させ、敵対的生成ネットワークにより作成され、前記パラメータを含む画像生成器に、前記撮影画像及び受け付けた前記パラメータ値を与えて、前記ユーザに対する前記二重術の施術後の顔を表すシミュレーション画像を生成するステップと、
をコンピュータが実行することを特徴とする情報処理方法。

【請求項4】

ユーザの顔を撮影した撮影画像を取得するステップと、
前記顔のうち目の二重幅を変化させる度合を決定するパラメータに設定するパラメータ値の指定を受け付けるステップと、
二重術の施術前後の顔を撮影した画像を学習させ、敵対的生成ネットワークにより作成され、前記パラメータを含む画像生成器に、前記撮影画像及び受け付けた前記パラメータ値を与えて、前記ユーザに対する前記二重術の施術後の顔を表すシミュレーション画像を生成するステップと、
をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１にはメイクアップを施したシミュレーション画像を生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第１７１５３５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

メイクアップのシミュレーションでは美容整形による形状変化をシミュレーションすることは難しい

【0005】

本発明はこのような背景を鑑みてなされたものであり、二重術の効果を確認することのできる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するための本発明の主たる発明は、情報処理システムであって、ユーザの顔を撮影した撮影画像を取得する撮影画像取得部と、二重術の施術前後の顔を撮影した画像を学習させた画像生成器に前記撮影画像を与えて、前記ユーザに対する前記二重術の施術後の顔を表すシミュレーション画像を生成するシミュレーション画像生成部と、を備えることを特徴とする。

【0007】

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

【発明の効果】

【0008】

本発明によれば、二重術の効果を確認することができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係る情報処理システムの全体構成例を示す図である。

【図2】管理サーバ２のハードウェア構成例を示す図である。

【図3】管理サーバ２のソフトウェア構成例を示す図である。

【図4】管理サーバ２の動作を説明する図である。

【図5】周辺画像の合成処理を説明する図である。

【発明を実施するための形態】

【0010】

＜発明の概要＞
本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
［項目１］
ユーザの顔を撮影した撮影画像を取得する撮影画像取得部と、
二重術の施術前後の顔を撮影した画像を学習させた画像生成器に前記撮影画像を与えて、前記ユーザに対する前記二重術の施術後の顔を表すシミュレーション画像を生成するシミュレーション画像生成部と、
を備えることを特徴とする情報処理システム。
［項目２］
項目１に記載の情報処理システムであって、
前記画像生成器は、敵対的生成ネットワークにより作成され、前記顔のうち目の二重幅を変化させる度合を決定するパラメータを含み、
前記パラメータに設定するパラメータ値の指定を受け付けるパラメータ指定部をさらに備え、
前記シミュレーション画像生成部は、前記撮影画像及び受け付けた前記パラメータ値を前記画像生成器に与えて前記シミュレーション画像を生成すること、
を特徴とする情報処理システム。
［項目３］
項目１に記載の情報処理システムであって、
前記シミュレーション画像から前記ユーザの目の周辺画像を抽出する抽出部と、
抽出した前記周辺画像を前記撮影画像に合成する合成処理部と、
を備えることを特徴とする情報処理システム。
［項目４］
ユーザの顔を撮影した撮影画像を取得するステップと、
二重術の施術前後の顔を撮影した画像を学習させた画像生成器に前記撮影画像を与えて、前記ユーザに対する前記二重術の施術後の顔を表すシミュレーション画像を生成するステップと、
をコンピュータが実行することを特徴とする情報処理方法。
［項目５］
ユーザの顔を撮影した撮影画像を取得するステップと、
二重術の施術前後の顔を撮影した画像を学習させた画像生成器に前記撮影画像を与えて、前記ユーザに対する前記二重術の施術後の顔を表すシミュレーション画像を生成するステップと、
をコンピュータに実行させるためのプログラム。

【0011】

＜システムの概要＞
以下、本発明の一実施形態に係る情報処理システムについて説明する。本実施形態の情報処理システムでは、美容整形の施術後のシミュレーション画像を提示しようとするものであり、とくに埋没法による二重術に係るシミュレーション画像を提示する。埋没法による二重術とは、糸をまぶたに埋め込んで目の二重状態を形成するものである。本実施形態の情報処理システムは、敵対的生成ネットワーク（Generative Adversarial Networks；ＧＡＮ）を用いてユーザの顔画像において目の二重幅を変化させる。

【0012】

図１は、本実施形態に係る情報処理システムの全体構成例を示す図である。本実施形態の情報処理システムは、管理サーバ２を含んで構成される。管理サーバ２は、ユーザ端末１と通信ネットワークを介して通信可能に接続される。通信ネットワークは、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット（登録商標）などにより構築される。

【0013】

ユーザ端末１は、ユーザが操作するコンピュータである。ユーザ端末１は、例えば、スマートフォン、タブレットコンピュータ、パーソナルコンピュータなどとすることができる。

【0014】

管理サーバ２は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、あるいはクラウド・コンピューティングによって論理的に実現されてもよい。

【0015】

＜管理サーバ＞
図２は、管理サーバ２のハードウェア構成例を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。管理サーバ２は、ＣＰＵ２０１、メモリ２０２、記憶装置２０３、通信インタフェース２０４、入力装置２０５、出力装置２０６を備える。記憶装置２０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース２０４は、通信ネットワークに接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置２０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置２０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。なお、後述する管理サーバ２の各機能部はＣＰＵ２０１が記憶装置２０３に記憶されているプログラムをメモリ２０２に読み出して実行することにより実現され、管理サーバ２の各記憶部はメモリ２０２及び記憶装置２０３が提供する記憶領域の一部として実現される。

【0016】

図３は、管理サーバ２のソフトウェア構成例を示す図である。管理サーバ２は、画像生成器２１１と、撮影画像取得部２１２と、シミュレーション画像生成部２１３と、パラメータ指定部２１４と、抽出部２１５と、合成処理部２１６と、学習処理部２１７と、を備える。

【0017】

画像生成器２１１は、ＧＡＮの手法により画像を生成する。画像生成器２１１には、例えば、ＳｔｙｌｅＧＡＮの手法を用いることができる。なお、ＳｔｙｌｅＧＡＮに限らず、他のＧＡＮを用いるようにすることもできる。画像生成器２１１は、ＧＡＮにより、二重術の施術前後の顔を撮影した画像を学習させて作成される。

【0018】

撮影画像取得部２１２は、ユーザの顔を撮影した撮影画像を取得する。撮影画像は、例えば、スマートフォンなどのユーザ端末１が備えるカメラによる自撮り画像としてもよいし、一般的なカメラで撮影した画像を取り込んだ画像データであってもよい。撮影画像取得部２１２は、ユーザ端末１から撮影画像を受信することができる。

【0019】

シミュレーション画像生成部２１３は、ユーザに対する二重術の施術後の顔を表すシミュレーション画像を生成する。本実施形態において、シミュレーション画像生成部２１３は、撮影画像を画像生成器２１１に与えてシミュレーション画像を生成させる。

【0020】

また、画像生成器２１１は、顔のうち目の二重幅を変化させる度合を決定するパラメータ（例えば潜在変数）を含む。画像生成器２１１に、人間の顔を撮影した入力画像とともにパラメータ値を与えることにより、パラメータ値に応じた度合で目の二重幅を変化させた画像（シミュレーション画像）を作成させることができる。

【0021】

パラメータ指定部２１４は、二重幅を変化させる度合に係るパラメータに設定するパラメータ値の指定を受け付ける。ユーザ端末１は、例えば、撮影画像とともにパラメータ値を送信することでき、パラメータ指定部２１４は、ユーザ端末１からパラメータ値を受信することができる。パラメータ指定部２１４は、ユーザ端末１から二重幅の度合（例えば、１～１０のレベルとしてもよい。）の指定を受け付け、受け付けた度合に対応するパラメータ値を決定してもよい。

【0022】

シミュレーション画像生成部２１３は、撮影画像とともにパラメータ値を画像生成器２１１に与えることにより、シミュレーション画像に表現される顔の目の二重幅の度合を変えることができる。

【0023】

抽出部２１５は、シミュレーション画像からユーザの目の周辺画像を抽出する。目の周辺画像を抽出する処理については、公知のコンピュータビジョンに係る手法を用いて、目を検出し、検出した目を囲う矩形領域をシミュレーション画像から切り出すことなどにより実現することができる。抽出部２１５は、左右の目の周辺画像（左右の目を囲う矩形領域の切り出し画像）を抽出するようにしてもよいし、右目の周辺画像と、左目の周辺画像とをそれぞれ抽出するようにしてもよい。

【0024】

合成処理部２１６は、抽出した周辺画像を撮影画像に合成する。合成処理部２１６は、例えば、撮影画像から目の位置を検出し、目を囲う矩形領域に周辺画像を合成することができる。抽出部２１５が、右目の周辺画像と、左目の周辺画像とをそれぞれ抽出した場合には、合成処理部２１６は、右目の位置と左目の位置とをそれぞれ検出し、検出した位置にそれぞれに対応する周辺画像を合成することができる。合成処理は、例えば、貼り付け処理であってもよいし、周辺画像の端部を撮影画像と演算処理するようにしてもよい。

【0025】

＜動作＞
図４は、管理サーバ２の動作を説明する図である。図５は、周辺画像の合成処理を説明する図である。

【0026】

管理サーバ２は、ユーザの顔を撮影した撮影画像４１をユーザ端末１から受信し（Ｓ３０１）、受信した撮影画像４１を画像生成器２１１に与えてシミュレーション画像４２を生成する（Ｓ３０２）。撮影画像とともに、二重幅の度合がユーザ端末１から指定された場合には、管理サーバ２は、指定された度合に対応するパラメータ値とともに撮影画像を画像生成器２１１に与えることができる。

【0027】

管理サーバ２は、画像生成器２１１が生成したシミュレーション画像４２から左右の目の周辺画像４３１及び４３２を抽出する（Ｓ３０３）。例えば、図５に示すように、シミュレーション画像４２の右目を囲う矩形領域Ｒ１から右目の周辺画像４３１を切り出し、シミュレーション画像４２の左目を囲う矩形領域Ｌ１から右目の周辺画像４３２を切り出すことができる。管理サーバ２は、抽出した目の周辺画像４３１，４３２を撮影画像４１に合成する（Ｓ３０４）。図５に示すように、管理サーバ２は、撮影画像４１から右目及び左目を検出し、右目の中心又は目頭の位置を基準として、シミュレーション画像４２の右目を囲う矩形領域Ｒ１と同じ大きさの矩形領域Ｒ２を撮影画像４１に設定し、同様に、左目の中心又は目頭の位置を基準として、シミュレーション画像４２の左目を囲う矩形領域Ｌ１と同じ大きさの矩形領域Ｌ２を撮影画像４１に設定し、撮影画像４１から矩形領域Ｒ１及びＲ２を消去した画像４１１を作成して、この画像４１１に、左右の目の中心又は目頭の位置を基準として、位置合わせして周辺画像４３１，４３２を合成することにより、合成画像４４を作成することができる。この合成画像４４を、最終的にユーザが施術を受けた場合のシミュレーション画像として管理サーバ２はユーザ端末１に提供することができる。

【0028】

以上のようにして、本実施形態の情報処理システムによれば、ユーザの顔を撮影した撮影画像に基づいて、埋没法による二重術の施術後の状態をシミュレーションしたシミュレーション画像を生成することができるので、ユーザは施術前に施術後の予想される状態を確認することができる。また、ユーザはパラメータを指定することで二重幅を変えてシミュレーションを行うことも可能となる。

【0029】

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

【符号の説明】

【0030】

１ ユーザ端末
２ 管理サーバ

【要約】

【課題】二重術の効果を確認することができるようにする。
【解決手段】情報処理システムであって、ユーザの顔を撮影した撮影画像を取得する撮影画像取得部と、二重術の施術前後の顔を撮影した画像を学習させた画像生成器に撮影画像を与えて、ユーザに対する二重術の施術後の顔を表すシミュレーション画像を生成するシミュレーション画像生成部と、を備えることを特徴とする。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】