特許 7301432 因果推論プログラム、及び因果推論装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-06-23

(45)【発行日】2023-07-03

(54)【発明の名称】因果推論プログラム、及び因果推論装置

(51)【国際特許分類】

   G06Q 10/04 20230101AFI20230626BHJP

   A61B 5/00 20060101ALI20230626BHJP

   G06N 20/00 20190101ALI20230626BHJP

【ＦＩ】

G06Q10/04

A61B5/00 M

G06N20/00

【請求項の数】 7

(21)【出願番号】P 2022195094

(22)【出願日】2022-12-06

【審査請求日】2022-12-06

【早期審査対象出願】

(73)【特許権者】

【識別番号】521115122

【氏名又は名称】ＡｑｕａＡｇｅ株式会社

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】包 娜仁

【審査官】福田 正悟

(56)【参考文献】

【文献】特開２０２０－１０２２４８（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０２０－００６３３００（ＫＲ，Ａ）

【文献】中国特許出願公開第１１２９９０５４０（ＣＮ，Ａ）

【文献】韓国公開特許第１０－２０２１－０００１２８７（ＫＲ，Ａ）

【文献】特開２０２１－０６７５５４（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１８－０１３２１７９（ＫＲ，Ａ）

【文献】特開２００３－１８６９６２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２９５７２８（ＵＳ，Ａ１）

【文献】韓国登録特許第１０－２１６７１８５（ＫＲ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ａ６１Ｂ ５／００

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

少なくとも１つの情報処理装置に、
化粧品を撮影した解析対象画像を取得する画像取得処理と、
前記解析対象画像に含まれる文字列から、前記化粧品に含まれる複数の成分を少なくとも含む商品情報を取得する商品情報取得処理と、
前記商品情報を登録日と共に化粧品データとして登録する登録処理と、
前記登録日からのユーザの肌の特徴量の変化量を算出する変化量算出処理と、
前記変化量から、前記複数の成分と前記特徴量との間の第２因果関係を推論する第１推論処理と、
複数のユーザをそれぞれの前記特徴量に基づいてグループ化し、１つのグループに所属する複数のユーザにおける前記第２因果関係を分析して、ユーザ毎の前記複数の成分それぞれの肌への影響量を推論する第２推論処理と、
を実行させる、因果推論プログラム。

【請求項2】

請求項１に記載の因果推論プログラムであって、
前記商品情報取得処理で取得する前記商品情報には、前記化粧品の商品名が含まれ、
前記第１推論処理では、前記変化量から、前記商品名と前記特徴量との間の第１因果関係をさらに推論する、因果推論プログラム。

【請求項3】

請求項２に記載の因果推論プログラムであって、
前記少なくとも１つの情報処理装置に、
前記第１因果関係を用いて、前記ユーザの前記化粧品による前記特徴量の変化予測値を算出する予測処理をさらに実行させる、因果推論プログラム。

【請求項4】

請求項１から請求項３のいずれか１項に記載の因果推論プログラムであって、
前記変化量算出処理では、前記ユーザの顔を撮影した顔画像の解析によって前記特徴量を算出する、因果推論プログラム。

【請求項5】

請求項１から請求項３のいずれか１項に記載の因果推論プログラムであって、
前記第２因果関係は、前記複数の成分のうちの１つの成分による前記特徴量の改善効果の大きさを含む、因果推論プログラム。

【請求項6】

請求項１から請求項３のいずれか１項に記載の因果推論プログラムであって、
前記変化量算出処理は、新たな前記化粧品データが登録される都度、実行される、因果推論プログラム。

【請求項7】

化粧品を撮影した解析対象画像を取得する画像取得処理と、
前記解析対象画像に含まれる文字から、前記化粧品に含まれる複数の成分を少なくとも含む商品情報を取得する商品情報取得処理と、
前記商品情報を登録日と共に化粧品データとして登録する登録処理と、
前記登録日からのユーザの肌の特徴量の変化量を算出する変化量算出処理と、
前記変化量から、前記複数の成分と前記特徴量との間の第２因果関係を推論する第１推論処理と、
複数のユーザをそれぞれの前記特徴量に基づいてグループ化し、１つのグループに所属する複数のユーザにおける前記第２因果関係を分析して、ユーザ毎の前記複数の成分それぞれの肌への影響量を推論する第２推論処理と、
を実行するように構成される、因果推論装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、因果推論プログラム、及び因果推論装置に関する。

【背景技術】

【0002】

カメラで取得した顔の画像から、肌の状態を自動で診断する装置が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１５４８８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述の診断装置によって、ユーザは自己の肌の状態についての客観的な評価を得ることができる。しかし、どのような化粧品を用いれば肌の状態が改善されるかについては、ユーザが判断する必要がある。

【0005】

本開示の一局面は、ユーザの肌の状態に適した化粧品を推定できる因果推論プログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本開示の一態様は、少なくとも１つの情報処理装置に、化粧品を撮影した解析対象画像を取得する画像取得処理と、解析対象画像に含まれる文字列から、化粧品の商品名及び化粧品に含まれる複数の成分のいずれかを少なくとも含む商品情報を取得する商品情報取得処理と、商品情報を登録日と共に化粧品データとして登録する登録処理と、登録日からのユーザの肌の特徴量の変化量を算出する変化量算出処理と、変化量から、化粧品と特徴量との因果関係を推論する第１推論処理と、を実行させる、因果推論プログラムである。

【0007】

このような構成によれば、化粧品の登録日が化粧品データとして登録されることで、登録された化粧品の使用と肌の特徴量の変化量との因果関係を推論できる。そのため、ユーザの肌の状態に適した化粧品を推定できる。また、化粧品の製品情報をユーザが撮影することで、手軽に化粧品データを登録することができる。

【0008】

本開示の一態様では、商品情報取得処理で取得する商品情報には、商品名が少なくとも含まれてもよい。第１推論処理では、因果関係として、変化量から、商品名と特徴量との間の第１因果関係を推論してもよい。このような構成によれば、商品名とユーザの肌の状態との関係が推定されるため、ユーザが化粧品を選択しやすくなる。

【0009】

本開示の一態様では、商品情報取得処理で取得する商品情報には、複数の成分が少なくとも含まれてもよい。第１推論処理では、因果関係として、変化量から、複数の成分と特徴量との間の第２因果関係を推論してもよい。このような構成によれば、化粧品に含まれる複数の成分それぞれとユーザの肌の状態との関係が推定されるため、化粧品メーカーがターゲットとなるユーザに合わせて化粧品の成分を最適化することができる。

【0010】

本開示の一態様は、少なくとも１つの情報処理装置に、複数のユーザそれぞれの第２因果関係を用いて、ユーザ毎の複数の成分それぞれの肌への影響量を推論する第２推論処理をさらに実行させてもよい。このような構成によれば、ユーザが成分に基づいて化粧品を選択しやすくなる。

【0011】

本開示の一態様は、少なくとも１つの情報処理装置に、因果関係を用いて、ユーザの化粧品による特徴量の変化予測値を算出する予測処理をさらに実行させてもよい。このような構成によれば、ユーザに化粧品を使用した際の期待効果を提示することができる。

【0012】

本開示の一態様では、変化量算出処理では、ユーザの顔を撮影した顔画像の解析によって特徴量を算出してもよい。このような構成によれば、簡潔なステップでユーザの肌の特徴量を算出することができる。

【0013】

本開示の別の態様は、化粧品を撮影した解析対象画像を取得する画像取得処理と、解析対象画像に含まれる文字から、化粧品の商品名及び化粧品に含まれる複数の成分のいずれかを少なくとも含む商品情報を取得する商品情報取得処理と、商品情報を登録日と共に化粧品データとして登録する登録処理と、登録日からのユーザの肌の特徴量の変化量を算出する変化量算出処理と、登録日と変化量とから、ユーザの化粧品と特徴量との因果関係を推論する第１推論処理と、を実行するように構成される、因果推論装置である。

【0014】

このような構成によれば、ユーザの肌の状態に適した化粧品を推定できる。また、化粧品の製品情報をユーザが撮影することで、手軽に化粧品データを登録することができる。

【図面の簡単な説明】

【0015】

【図1】図１は、実施形態における因果推論システムを示す模式的な構成図である。

【図2】図２は、図１の因果推論システムにおける通信端末の模式的な構成図である。

【図3】図３は、化粧品の撮影画像の一例である。

【図4】図４は、化粧品のパッケージにおける商品情報の一例である。

【図5】図５Ａは、化粧品データの一例であり、図５Ｂは、使用化粧品リストの一例である。

【図6】図６Ａ－６Ｄは、肌の特徴量の算出で用いられる顔画像の一例である。

【図7】図７は、特徴量データの一例である。

【図8】図８は、化粧品の登録と特徴量の算出とのタイミングを表す模式図である。

【図9】図９は、第１因果関係データの一例である。

【図10】図１０は、影響量データの一例である。

【図11】図１１は、ワードクラウドの一例である。

【図12】図１２は、予測データの一例である。

【図13】図１３は、図２の通信端末の制御部が実行する準備処理のフローチャートである。

【図14】図１４は、図２の通信端末の制御部が実行する因果処理のフローチャートである。

【図15】図１５は、図１のサーバの演算部が実行する第２推論処理のフローチャートである。

【発明を実施するための形態】

【0016】

以下、本開示が適用された実施形態について、図面を用いて説明する。
［１．第１実施形態］
［１－１．構成］
図１に示す因果推論システム１は、複数のユーザに対して、市販されている肌用の化粧品と肌の状態の変化との因果を推論するためのシステムである。

【0017】

因果推論システム１は、複数の通信端末１０と、サーバ２０とを備える。複数の通信端末１０及びサーバ２０は、それぞれインターネット等のネットワーク１００に接続されている。

【0018】

＜通信端末＞
通信端末１０は、プロセッサと、記憶媒体と、入出力装置とを備える持ち運び可能な情報処理装置である。通信端末１０は、因果推論装置として機能する。

【0019】

通信端末１０としては、例えば、スマートフォン、タブレット、ノート型ＰＣ等が挙げられる。図２に示すように、通信端末１０は、入力部１１と、出力部１２と、撮影部１３と、制御部１４と、記憶部１５と、通信部１６とを備える。

【0020】

入力部１１は、タッチパネル、キーボード、マウス等の入力装置である。出力部１２は、文字及び画像を表示するディスプレイである。撮影部１３は、静止画又は動画を取得可能なカメラである。

【0021】

制御部１４は、因果推論プログラムによって実現される化粧品の効果推定アプリケーションを実行する。因果推論プログラムによって実行される制御部１４の処理内容については後述する。

【0022】

記憶部１５は、因果推論プログラムと、因果推論プログラムによって作成及び保存された各種データと、因果推論プログラムによって参照されるユーザの個人情報とを記憶している。

【0023】

通信部１６は、ネットワーク１００を介して、サーバ２０と通信を行う。具体的には、通信部１６は、因果推論プログラムを実行する制御部１４によって、サーバ２０との間でデータの送受信を行う。

【0024】

＜サーバ＞
図１に示すサーバ２０は、例えばプロセッサと、記憶媒体と、入出力装置とを備える１又は複数の情報処理装置で構成される。

【0025】

サーバ２０は、演算部２１と、データベース２２とを備える。演算部２１は、因果推論プログラムによって後述する処理を実行する。データベース２２には、因果推論プログラムが参照する化粧品のデータが記憶されている。

【0026】

＜因果推論プログラム＞
因果推論プログラムは、各通信端末１０の制御部１４に、画像取得処理と、商品情報取得処理と、登録処理と、変化量算出処理と、第１推論処理と、予測処理とを実行させる。また、因果推論プログラムは、サーバ２０の演算部２１に、第２推論処理を実行させる。

【0027】

因果推論プログラムは、通信端末１０のみに記憶されてもよい。この場合、因果推論プログラムは、通信端末１０からサーバ２０の演算部２１に指令を送信させることで、演算部２１に第２推論処理を実行させる。

【0028】

また、因果推論プログラムのうち、通信端末１０の制御部１４に上述の各処理を実行させる第１モジュールが通信端末１０に記憶され、サーバ２０の演算部２１に第２推論処理を実行させる第２モジュールがサーバ２０に記憶されてもよい。

【0029】

（画像取得処理）
画像取得処理では、制御部１４は、化粧品のパッケージを撮影した解析対象画像を取得する。

【0030】

具体的には、制御部１４は、少なくとも１つの化粧品の商品情報領域が含まれる画像を撮影部１３を用いて撮影することを、例えば出力部１２を介してユーザに指示する。撮影部１３が撮影した画像は、図３に示す解析対象画像Ｉとして、記憶部１５に記憶される。なお、図３の解析対象画像Ｉには、３つの化粧品のパッケージが含まれている。

【0031】

（商品情報取得処理）
商品情報取得処理では、制御部１４は、解析対象画像Ｉに含まれる文字から、化粧品の商品名、及び化粧品に含まれる複数の成分のいずれかを少なくとも含む商品情報を取得する。

【0032】

具体的には、制御部１４は、まず、解析対象画像Ｉから化粧品のパッケージを検出する。化粧品のパッケージには、外箱（つまり化粧箱）及び容器が含まれる。パッケージは、例えば公知の画像解析アルゴリズムによって検出される。図３の解析対象画像Ｉの例では、第１パッケージＰ１、第２パッケージＰ２及び第３パッケージＰ３が検出される。

【0033】

次に、制御部１４は、解析対象画像Ｉに含まれるパッケージＰ１，Ｐ２，Ｐ３それぞれに含まれる文字列を認識する。文字列は、例えば公知の文字認識アルゴリズム（つまりＯＣＲ）によって認識される。

【0034】

さらに、制御部１４は、図４に示すように、認識した文字列を化粧品の商品情報におけるカテゴリに分類する。商品情報におけるカテゴリには、例えば、ブランド名Ｔ１、商品種類Ｔ２、容量Ｔ３、全成分表示Ｔ４、商品名Ｔ５（つまり販売名）、販売元Ｔ６、生産地Ｔ７、及びバーコードＴ８が含まれる。

【0035】

文字列の商品情報の各カテゴリへの分類は、文字列が有する特徴（例えば、文字列を構成する文字の大きさ及び色、文字列の位置、文字列に含まれる単語など）に基づいて行われる。

【0036】

例えば、制御部１４は、図４の一番上の文字列について、文字の大きさによってカテゴリをブランド名Ｔ１及び商品名Ｔ５に絞った上で、この文字列に含まれる単語と、ブランド名Ｔ１及び商品名Ｔ５のそれぞれにおいて頻出する単語データとのマッチングによってこの文字列のカテゴリをブランド名Ｔ１と判定する。この単語データは、例えばサーバ２０のデータベース２２に記憶されている。

【0037】

（登録処理）
登録処理では、制御部１４は、解析対象画像から取得した商品情報を登録日と共に化粧品データとして登録する。

【0038】

具体的には、制御部１４は、図５Ａに示すように、文字列の分類結果から、商品名、商品種類、容量、全成分表示（つまり化粧品に含まれる複数の成分）、商品名、販売元、生産地、バーコードナンバー、及び登録日を含む化粧品データＤを作成する。

【0039】

登録日は、化粧品データＤの作成日である。ユーザが新たな化粧品の使用開始日に登録処理を行うことで、化粧品の使用開始日を登録日と一致させることができる。化粧品データＤは、１つの化粧品ごとに生成され、同じ商品名であっても登録日が異なる化粧品にはそれぞれ１つずつ化粧品データが生成される。なお、同じ商品名であっても販売時期によって成分が異なる化粧品が存在するため、同じ商品名の化粧品データＤに含まれる成分が全て同じとは限らない。

【0040】

制御部１４は、図５Ｂに示すように、複数の化粧品データＤを登録日ごとにグループ化した使用化粧品リストＲを作成する。使用化粧品リストＲは、ユーザの化粧品の登録履歴（つまり使用履歴）を示す情報である。なお、解析対象画像に複数の化粧品が含まれる場合は、制御部１４は、それぞれの化粧品ごとに化粧品データＤを作成する。

【0041】

制御部１４が作成した化粧品データＤ及び使用化粧品リストＲは、それぞれ、通信端末１０の記憶部１５に記憶されてもよいし、サーバ２０のデータベース２２に記憶されてもよい。

【0042】

（変化量算出処理）
変化量算出処理では、制御部１４は、化粧品データＤに含まれる登録日からのユーザの肌の特徴量の変化量を算出する。

【0043】

具体的には、制御部１４は、ユーザの顔を撮影した顔画像の解析によって、ユーザの肌の特徴量を算出する。ユーザの顔画像は、撮影部１３によって取得される。顔画像は、静止画及び動画のいずれであってもよい。

【0044】

制御部１４は、撮影部１３によりユーザの異なる角度の顔画像を取得し、３次元形状の顔データを作成してもよい。例えば、制御部１４は、同一のユーザに対し、図６Ａに示す基準位置（つまり正面視）の顔画像、図６Ｂに示す基準位置から上方を向いた顔画像、図６Ｃに示す基準位置から左を向いた顔画像、図６Ｄに示す基準位置から右を向いた顔画像を取得する。

【0045】

これらの顔画像は、１つの動画としてまとめて取得されてもよいし、静止画として１つずつ取得されてもよい。動画が取得された場合は、制御部１４は、この動画から異なる角度の顔画像を抽出する。制御部１４は、取得した異なる角度の顔画像から、ユーザの顔の３次元形状を示す顔データを作成する。

【0046】

具体的には、制御部１４は、各画像から抽出される顔枠ＦＦを合成することで、顔データを作成する。図６Ａ－６Ｄに示すように、制御部１４は、例えば、顔の輪郭、眉毛、目、鼻、口等のパーツを画像から抽出し、抽出した輪郭及びパーツに合わせて顔データ内に顔枠ＦＦを作成する。

【0047】

制御部１４は、取得した顔画像又は顔データに基づいて、顔の複数の部位それぞれにおける診断スコアを算出する。診断スコアは、肌の状態を複数の評価パラメータごとに定量化したものである。

【0048】

評価パラメータには、例えば、シミの量、シワの量、黒ずみの量、毛穴の大きさ、ニキビの量、キメの細かさ、水分量、くまの大きさ、敏感度等が含まれる。また、顔の部位には、例えば、額、左頬、右頬、口周り等が含まれる。

【0049】

制御部１４は、統計学的手法によって得られた第１判定式を用いて顔画像から診断スコアを算出する。第１判定式は、複数の顔画像と、これらの顔画像に紐づけられた診断スコアとの組み合わせデータを統計学的手法で解析することで得られる。統計学的手法としては、例えば、多変量解析、教師あり機械学習、これらの組み合わせ等が用いられる。

【0050】

教師あり機械学習では、診断スコアが付与された顔画像を教師データとして、機械学習が行われる。学習ステップでは、多数のラベル（つまり診断スコア）付きの顔画像を機械学習回路に分析させる。機械学習回路は、多数のラベル付きデータから顔画像を複数のラベル（つまり診断スコア）に分類するための特徴量を学習し、第１判定式を構築する。

【0051】

教師データは、例えば肌診断の専門家により作成される。また、機械学習回路は、例えばサーバ２０に設けられる。制御部１４には、サーバ２０から最新のアップデートされた第１判定式が送信される。

【0052】

制御部１４は、上述した手順によって、図７に示すように、特徴量にその算出日を追加した特徴量データＳ１を記憶部１５又はサーバ２０に記録する。化粧品データの登録日に算出された特徴量の算出日は、この化粧品データの登録日と一致する。記憶部１５又はサーバ２０には、算出日の異なる複数の特徴量データＳ１，Ｓ２，Ｓ３が記録される。

【0053】

図８に示すように、制御部１４は、「商品１」の化粧品データの登録日に肌の特徴量（以下、「登録時特徴量」ともいう。）を算出して特徴量データＳ１を作成する。その後、制御部１４は、登録日から一定期間（例えば２か月）経過後に同じユーザの肌の特徴量（以下、「経過後特徴量」ともいう。）を算出して特徴量データＳ２を作成する。

【0054】

制御部１４は、登録時特徴量を含む特徴量データＳ１と、経過後特徴量を含む特徴量データＳ２とを比較する。具体的には、制御部１４は、登録時特徴量に含まれる各診断スコアと、経過後特徴量に含まれる各診断スコアとの差分をそれぞれ「肌の特徴量の変化量Ｖ」として算出する。

【0055】

また、制御部１４は、新たな化粧品データが登録される都度、肌の特徴量を算出する。制御部１４は、最新の肌の特徴量を経過後特徴量として、肌の特徴量の変化量Ｖを更新する。図８の例では、一定期間経過後、新たな化粧品である「商品２」及び「商品３」が登録された時点で新たな特徴量データＳ３が算出され、特徴量データＳ１に対する肌の特徴量の変化量Ｖが算出される。

【0056】

（第１推論処理）
第１推論処理では、制御部１４は、算出した肌の特徴量の変化量から、ユーザが使用した化粧品と肌の特徴量との因果関係を推論する。

【0057】

具体的には、制御部１４は、登録日に登録された化粧品の商品名と特徴量との間の第１因果関係と、登録日に登録された化粧品の複数の成分と特徴量との間の第２因果関係とを推論する。

【0058】

第１因果関係は、図９に示すように、化粧品の商品名と、各評価パラメータとの相関の強さで構成される。制御部１４は、一人のユーザが使用している各化粧品の商品名の相関の強さを羅列した第１因果関係データＣ１を記憶部１５又はサーバ２０に記録する。

【0059】

第１因果関係における相関の強さは、商品名に対応する化粧品を使用した際の各評価パラメータの改善効果の大きさを示す。第１因果関係データＣ１では、１つの評価パラメータの相関の強さは、ユーザが使用している複数の化粧品の合計で１となるように正規化されている。

【0060】

図９の例では、商品１のシミに対する相関の強さ、商品２のシミに対する相関の強さ、及び商品３のシミに対する相関の強さの和は、１である。ユーザ又はそのアドバイザ（つまりカウンセラ）は、第１因果関係データＣ１を参照することで、各商品の肌の改善に対する貢献度合いを判断することができる。

【0061】

制御部１４は、統計学的手法によって得られた第２判定式を用いて、肌の特徴量の変化量と、特徴量の変化量の算出期間（つまり登録時特徴量の算出時から経過後特徴量の算出時までの期間）と、算出期間中に使用された少なくとも１つの化粧品の商品名とから、第１因果関係を推論する。

【0062】

第２判定式は、特徴量の変化量、算出期間、及び化粧品の商品名を含む入力情報と、これらの入力情報に紐づけられた相関の強さとを含むデータを統計学的手法で解析することで得られる。統計学的手法としては、例えば、多変量解析、教師あり機械学習、これらの組み合わせ等が用いられる。

【0063】

教師あり機械学習では、相関の強さが付与された入力情報を教師データとして、機械学習が行われる。学習ステップでは、多数のラベル（つまり相関の強さ）付きの入力情報を機械学習回路に分析させる。機械学習回路は、多数のラベル付きデータから入力情報を複数のラベル（つまり相関の強さ）に分類するための特徴量を学習し、第２判定式を構築する。

【0064】

教師データは、例えば、種々の化粧品による肌の特徴量の変化量の実測値により作成される。また、機械学習回路は、例えばサーバ２０に設けられる。制御部１４には、サーバ２０から最新のアップデートされた第２判定式が送信される。

【0065】

第２因果関係は、化粧品の複数の成分と、各評価パラメータとの相関の強さで構成される。つまり、第２因果関係は、第１因果関係の「商品名」を「成分」に置き換えたものである。制御部１４は、一人のユーザにおける化粧品に含まれる各成分の相関の強さを羅列した第２因果関係データを記憶部１５又はサーバ２０に記録する。第２因果関係における相関の強さは、１つの成分による評価パラメータの改善効果の大きさを示す。

【0066】

制御部１４は、統計学的手法によって得られた第３判定式を用いて、肌の特徴量の変化量と、特徴量の変化量の算出期間と、算出期間中に使用された少なくとも１つの化粧品に含まれる複数の成分とから、第２因果関係を推論する。

【0067】

第３判定式は、特徴量の変化量、算出期間、及び化粧品の成分を含む入力情報と、これらの入力情報に紐づけられた相関の強さとを含むデータを統計学的手法で解析することで得られる。第３判定式の構築手順は、第１因果関係を推論する第２判定式と同様である。

【0068】

（第２推論処理）
第２推論処理は、サーバ２０の演算部２１によって実行される。第２推論処理では、演算部２１は、複数のユーザそれぞれの第２因果関係を用いて、ユーザ毎の複数の成分それぞれの肌への影響量を推論する。

【0069】

具体的には、演算部２１は、肌の特徴が近い複数のユーザにおける第２因果関係の傾向を解析することで、個別のユーザにおける成分の肌への改善寄与度を判定する。つまり、演算部２１は、まず、肌の評価スコアに基づいて複数のユーザをグループ化する。次に、演算部２１は、１つのグループに所属する複数のユーザにおける第２因果関係を例えば回帰分析し、成分と肌の影響量との関係モデルを生成する。

【0070】

演算部２１は、図１０に示すように、個別のユーザに対し、各成分の肌対策への有効度合を示す影響量データＣ２を作成する。影響量データＣ２には、化粧品に含まれる複数の成分に対し、複数の肌対策それぞれにおける有効度合の大きさが含まれる。

【0071】

図１０の例では、肌の敏感症状（例えば赤み、キメなど）を改善する対策である「敏感対策」及び肌の乾燥を改善する対策である「乾燥対策」に対し、各成分の有効度合（つまり影響量）が棒グラフの長さで示されている。

【0072】

例えば、通信端末１０の制御部１４は、図１１に示すように、影響量データＣ２を元に、各成分の影響量の大きさを文字の大きさと対応させたワードクラウドＷを作成してもよい。制御部１４は、生成したワードクラウドＷを出力部１２により表示させる。

【0073】

ユーザ又はアドバイザは、影響量データＣ２をワードクラウドＷやその他のグラフ形式にて参照することで、どのような成分を含む商品が肌の改善に有効かを判断することができる。

【0074】

（予測処理）
予測処理では、制御部１４は、第１推論処理で推論した因果関係を用いて、ユーザの化粧品による特徴量の変化予測値を算出する。

【0075】

具体的には、図１２に示すように、制御部１４は、１つの商品を一定期間（例えば３か月）使用した際の今後のユーザの肌の特徴量に含まれる各診断スコアの変化予測値を含む予測データＣ３を作成する。診断スコアの変化予測値は、第１因果関係に含まれる商品１と各診断スコアとの相関の強さを用いて算出される。

【0076】

図１２の例では、上下の軸が変化量の大きさ（つまり診断スコアの伸び）を示し、左右の幅が確率を示している。例えば、「商品１」を使用した際の「シミ」の診断スコアは、他の診断スコアよりも大きく伸びる可能性がある一方で、変化量が少量に留まる確率が高い。

【0077】

［１－２．処理］
以下、複数のフロー図を参照しつつ、制御部１４及び演算部２１が実行する処理の一例について説明する。

【0078】

図１３は、制御部１４が実行する準備処理のフロー図である。準備処理は、画像取得処理、商品情報取得処理及び登録処理を含む。準備処理は、ユーザが新たな化粧品の使用を開始する都度実行される。

【0079】

本処理では、まず、制御部１４は、撮影部１３から化粧品を撮影した解析対象画像を取得する（ステップＳ１１０）。次に、制御部１４は、解析対象画像から化粧品のパッケージを検出する（ステップＳ１２０）。パッケージの検出後、制御部１４は、パッケージに記載されている文字列を認識する（ステップＳ１３０）。

【0080】

文字列の認識後、制御部１４は、文字列を商品情報におけるカテゴリに分類する（ステップＳ１４０）。文字列の分類後、制御部１４は、文字列から得た商品情報を登録日と共に化粧品データとして登録する（ステップＳ１５０）。

【0081】

図１４は、制御部１４が実行する因果処理のフロー図である。因果処理は、変化量算出処理、第１推論処理及び予測処理を含む。因果処理は、図１３の準備処理の実行後に連続して実行さるか、定期的又は不定期的に実行される。

【0082】

本処理では、まず、制御部１４は、撮影部１３からユーザの顔画像を取得する（ステップＳ２１０）。次に、制御部１４は、顔画像から肌の特徴量を算出する（ステップＳ２２０）。特徴量の算出後、制御部１４は、算出した特徴量を過去の特徴量と比較して特徴量の変化量を算出する（ステップＳ２３０）。

【0083】

特徴量の変化量の算出後、制御部１４は、化粧品の商品名と特徴量との間の第１因果関係と、化粧品の複数の成分と特徴量との間の第２因果関係とをそれぞれ算出する（ステップＳ２４０）。第１因果関係及び第２因果関係の算出後、制御部１４は、第１因果関係を用いて、ユーザの化粧品による特徴量の変化予測値を算出する（ステップＳ２５０）。

【0084】

図１５は、演算部２１が実行する第２推論処理のフロー図である。第２推論処理は、定期的に実行される。

【0085】

本処理では、まず、演算部２１は、複数の通信端末１０から第２因果関係を取得する（ステップＳ３１０）。次に、演算部２１は、ユーザ毎の複数の成分それぞれの肌への影響量が求まるように第２因果関係を解析する（ステップＳ３２０）。第２因果関係の解析後、演算部２１は、解析結果から影響量データを作成する（ステップＳ３３０）。

【0086】

［１－３．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
（１ａ）化粧品の登録日が化粧品データとして登録されることで、登録された化粧品の使用と肌の特徴量の変化量との因果関係を推論できる。そのため、ユーザの肌の状態に適した化粧品を推定できる。また、化粧品の製品情報をユーザが撮影することで、手軽に化粧品データを登録することができる。

【0087】

（１ｂ）商品名と肌の特徴量との間の第１因果関係によって、商品名とユーザの肌の状態との関係が推定されるため、ユーザが化粧品を選択しやすくなる。

【0088】

（１ｃ）複数の成分と肌の特徴量との間の第２因果関係によって、化粧品に含まれる複数の成分それぞれとユーザの肌の状態との関係が推定されるため、化粧品メーカーがターゲットとなるユーザに合わせて化粧品の成分を最適化することができる。

【0089】

（１ｄ）ユーザ毎の複数の成分それぞれの肌への影響量が推論されることで、ユーザが成分に基づいて化粧品を選択しやすくなる。
（１ｅ）ユーザの化粧品による肌の特徴量の変化予測値が算出されることで、ユーザに化粧品を使用した際の期待効果を提示することができる。

【0090】

（１ｆ）ユーザの顔を撮影した顔画像の解析によって肌の特徴量を算出することで、簡潔なステップでユーザの肌の特徴量を算出することができる。

【0091】

［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

【0092】

（２ａ）上記実施形態の因果推論プログラムにおいて、画像取得処理、商品情報取得処理、登録処理、変化量算出処理、第１推論処理及び予測処理は、通信端末の制御部に替えて、サーバの演算部が実行してもよい。

【0093】

（２ｂ）上記実施形態の因果推論プログラムにおいて、第２推論処理及び予測処理は、必ずしも実行されなくてもよい。また、第１推論処理では、第１因果関係及び第２因果関係の一方のみが推論されてもよい。

【0094】

（２ｃ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

【符号の説明】

【0095】

１…因果推論システム、１０…通信端末、１１…入力部、１２…出力部、
１３…撮影部、１４…制御部、１５…記憶部、１６…通信部、２０…サーバ、
２１…演算部、２２…データベース、１００…ネットワーク。

【要約】

【課題】ユーザの肌の状態に適した化粧品を推定できる因果推論プログラムを提供する。
【解決手段】本開示の一態様は、少なくとも１つの情報処理装置に、化粧品を撮影した解析対象画像を取得する画像取得処理と、解析対象画像に含まれる文字列から、化粧品の商品名及び化粧品に含まれる複数の成分のいずれかを少なくとも含む商品情報を取得する商品情報取得処理と、商品情報を登録日と共に化粧品データとして登録する登録処理と、登録日からのユーザの肌の特徴量の変化量を算出する変化量算出処理と、変化量から、前記化粧品と前記特徴量との因果関係を推論する第１推論処理と、を実行させる、因果推論プログラムである。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】