特開 2024-43770 情報処理装置、情報処理方法、および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024043770

(43)【公開日】2024-04-02

(54)【発明の名称】情報処理装置、情報処理方法、および情報処理プログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20240326BHJP

   G06F 16/53 20190101ALI20240326BHJP

   G06T 7/00 20170101ALI20240326BHJP

【ＦＩ】

G06Q50/10

G06F16/53

G06T7/00 660A

G06T7/00 350B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022148943

(22)【出願日】2022-09-20

(71)【出願人】

【識別番号】500257300

【氏名又は名称】ＬＩＮＥヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】西 紗記子

【テーマコード（参考）】

5B175

5L049

5L096

【Ｆターム（参考）】

5B175DA02

5L049CC11

5L096BA08

5L096BA18

5L096DA05

5L096EA45

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

【課題】ユーザが選択したヘアスタイルにするために必要な施術内容を推定することができる情報処理装置、情報処理方法、および情報処理プログラムを提供すること。
【解決手段】本願に係る情報処理装置は、画像処理部と、推定部とを備える。画像処理部は、ユーザの顔画像であるユーザ顔画像とユーザによって選択されたヘア画像とを合成した合成画像を生成する。推定部は、施術前後のヘア画像と施術内容との関係を学習した学習モデルを用いて、ユーザの施術前の画像と合成画像とから施術内容を推定する。
【選択図】図８

【特許請求の範囲】

【請求項1】

ユーザの顔画像であるユーザ顔画像と前記ユーザによって選択されたヘア画像とを合成した合成画像を生成する画像処理部と、
施術前後のヘア画像と施術内容との関係を学習した学習モデルを用いて、前記ユーザの施術前の画像と前記合成画像とから施術内容を推定する推定部と、を備える
ことを特徴とする情報処理装置。

【請求項2】

前記学習モデルは、
施術後のヘア画像と施術内容を示す情報との組み合わせを複数含む学習用データを用いた機械学習によって生成される
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記推定部によって推定された前記施術内容を示す情報を含む施術内容情報を出力する出力部を備える
ことを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記推定部によって推定された前記施術内容に対する前記ユーザの許諾を受け付ける受付部と、
前記受付部によって前記許諾が受け付けられた場合に、前記推定部によって推定された前記施術内容を示す情報を含む予約要求をヘア施術者宛に出力する出力部と、を備える
ことを特徴とする請求項１または２に記載の情報処理装置。

【請求項5】

前記出力部は、
前記合成画像または前記ユーザが選択した前記ヘア画像を含む前記予約要求を前記ヘア施術者宛に出力する
ことを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記推定部によって推定された前記施術内容を示す情報をヘア施術者宛に出力する出力部と、
前記推定部によって推定された前記施術内容に対する前記ヘア施術者による修正案を受け付ける修正案受付部と、を備え、
前記出力部は、
前記修正案受付部によって受け付けられた修正後の前記施術内容を示す情報を出力する
ことを特徴とする請求項１または２に記載の情報処理装置。

【請求項7】

前記推定部によって推定された前記施術内容に基づいて、施術費用を判定する判定部を備える
ことを特徴とする請求項１または２に記載の情報処理装置。

【請求項8】

前記ユーザによる施術内容の指定を受け付ける受付部と、
前記受付部によって前記指定が受け付けられた前記施術内容と前記推定部によって推定された前記施術内容とを比較する比較部と、
前記比較部による比較結果を出力する出力部と、を備える
ことを特徴とする請求項１または２に記載の情報処理装置。

【請求項9】

コンピュータが実行する情報処理方法であって、
ユーザの顔画像であるユーザ顔画像と前記ユーザによって選択されたヘア画像とを合成した合成画像を生成する画像処理工程と、
施術前後のヘア画像と施術内容との関係を学習した学習モデルを用いて、前記ユーザの施術前の画像と前記合成画像とから施術内容を推定する推定工程と、を含む
ことを特徴とする情報処理方法。

【請求項10】

ユーザの顔画像であるユーザ顔画像と前記ユーザによって選択されたヘア画像とを合成した合成画像を生成する画像処理手順と、
施術前後のヘア画像と施術内容との関係を学習した学習モデルを用いて、前記ユーザの施術前の画像と前記合成画像とから施術内容を推定する推定手順と、をコンピュータに実行させる
ことを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、および情報処理プログラムに関する。

【背景技術】

【0002】

従来、ユーザの顔画像とヘア画像とを合成してユーザに提示する技術が知られている。例えば、特許文献１には、ヘアスタイルやヘアの色を変更するヘアシミュレーションによる画像処理を行い、かかる画像処理の結果を表示する技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３－１７８７８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来技術では、ヘアシミュレーションによる画像処理を行うことに留まり、選択したヘアスタイルにするために必要な施術内容を知ることができない。

【0005】

本願は、上記に鑑みてなされたものであって、ユーザが選択したヘアスタイルにするために必要な施術内容を推定することができる情報処理装置、情報処理方法、および情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本願に係る情報処理装置は、画像処理部と、推定部とを備える。画像処理部は、ユーザの顔画像であるユーザ顔画像とユーザによって選択されたヘア画像とを合成した合成画像を生成する。推定部は、施術前後のヘア画像と施術内容との関係を学習した学習モデルを用いて、ユーザの施術前の画像と合成画像とから施術内容を推定する。

【発明の効果】

【0007】

実施形態の一態様によれば、ユーザが選択したヘアスタイルにするために必要な施術内容を推定することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る情報処理の一例を示す図である。

【図2】図２は、実施形態に係る情報処理システムの構成の一例を示す図である。

【図3】図３は、実施形態に係る情報提供装置の構成例を示す図である。

【図4】図４は、実施形態に係る情報提供装置のユーザ情報記憶部に記憶されるユーザ情報テーブルの一例を示す図である。

【図5】図５は、実施形態に係る情報提供装置の投稿情報記憶部に記憶される投稿情報テーブルの一例を示す図である。

【図6】図６は、実施形態に係る情報提供装置のモデル情報記憶部に記憶されるモデル情報テーブルの一例を示す図である。

【図7】図７は、実施形態に係る情報提供装置のコンテンツ記憶部に記憶されるコンテンツテーブルの一例を示す図である。

【図8】図８は、実施形態に係る端末装置の構成の一例を示す図である。

【図9】図９は、実施形態に係る端末装置の受付部の構成の一例を示す図である。

【図10】図１０は、実施形態に係る端末装置の画像処理部の構成の一例を示す図である。

【図11】図１１は、実施形態に係る情報提供装置の出力部によって表示部に表示される予約設定画面の一例を示す図である。

【図12】図１２は、実施形態に係る情報提供装置の出力部によって表示部に表示されるキーワード指定画面の一例を示す図である。

【図13】図１３は、実施形態に係る情報提供装置の処理部によって指定キーワードから類似ヘア画像を取得する処理を説明するための図である。

【図14】図１４は、実施形態に係る情報提供装置の出力部によって表示部に表示される予約設定画面の他の例を示す図である。

【図15】図１５は、実施形態に係る情報提供装置の出力部によって表示部に表示される予約設定画面のさらに他の例を示す図である。

【図16】図１６は、実施形態に係る情報提供装置の出力部によって表示部に表示される合成画像変更画面の一例を示す図である。

【図17】図１７は、実施形態に係る情報提供装置の推定部によってユーザ画像と合成画像とから施術内容を推定する処理を説明するための図である。

【図18】図１８は、実施形態に係る情報提供装置の出力部によって表示部に表示される顔型選択画面の一例を示す図である。

【図19】図１９は、実施形態に係る端末装置の処理部による情報処理の一例を示すフローチャートである。

【図20】図２０は、実施形態に係る端末装置の処理部による予約処理の一例を示すフローチャートである。

【図21】図２１は、実施形態に係る情報提供装置および端末装置の各々の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る情報処理装置、情報処理方法、および情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、および情報処理プログラムが限定されるものではない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0010】

〔１．情報処理の一例〕
まず、図１を用いて、実施形態に係る情報処理の一例について説明する。図１は、実施形態に係る情報処理の一例を示す図である。なお、以下では、実施形態に係る情報処理装置が、図１に示す端末装置４である場合について説明するが、かかる情報処理装置は、図１に示す情報提供装置１であってもよく、端末装置４と情報提供装置１とを組み合わせた構成であってもよい。

【0011】

図１に示す実施形態に係る情報提供装置１は、例えば、ＳＮＳ（Social Networking Service）などのサービスを提供する情報処理装置である。例えば、情報提供装置１は、投稿者によって投稿された投稿情報を受け付ける。情報提供装置１は、投稿者から受け付けた投稿情報を閲覧者となるユーザＵの端末装置４に対して配信する。

【0012】

投稿者は、例えば、ヘアサロン、ヘア施術者、施術対象者などであり、ユーザＵを含んでいてもよい。ヘアサロンは、美容室（美容院）や理容室（理容院）などである。ヘア施術者は、ヘアサロンにおいてヘア（髪）を整える施術者であり、ヘアスタイリストとも呼ばれる。施術対象者は、ヘア施術者によってヘアの施術を受けたユーザである。

【0013】

投稿者によって投稿される投稿情報は、例えば、投稿者を撮像して得られる投稿者撮像画像である投稿画像や投稿者が投稿したテキストである投稿テキストを示す情報などを含む。投稿画像は、例えば、投稿者のヘアや顔を含む投稿者の頭部の撮像画像を含む。

【0014】

また、投稿テキストは、例えば、投稿画像に対する投稿者のコメントなどを含む。投稿画像に対する投稿者のコメントは、例えば、投稿画像に対する投稿者の評価を示す評価情報を含む。以下において、投稿画像に対する投稿者のコメントを投稿者コメントと記載する場合がある。

【0015】

また、情報提供装置１は、投稿情報に含まれる投稿画像に対する他のユーザ（閲覧者の一例）の評価を示す評価情報や投稿情報に対する他のユーザのコメントを受け付ける。そして、情報提供装置１は、受け付けた他のユーザの評価情報や他のユーザのコメントを含む上述した投稿情報を閲覧者の装置に対して配信する。閲覧者の装置は、例えば、ユーザＵの端末装置４またはその他のユーザの装置である。以下において、他のユーザのコメントを閲覧者コメントと記載する場合がある。

【0016】

投稿情報に対する評価は、例えば、肯定的な評価（例えば、「グッド」）や否定的な評価（例えば、「バッド」）などであるが、中間的な評価（例えば、「普通」）などを含んでいてもよい。また、情報提供装置１は、投稿情報が他のユーザによってタイムラインに追加された数などの情報を投稿情報に対する評価として閲覧者となるユーザＵの端末装置４に対して配信することもできる。

【0017】

情報提供装置１は、複数種類の学習モデルの情報を端末装置４に送信する（ステップＳ１）。複数種類の学習モデルは、第１の学習モデル、第２の学習モデル、第３の学習モデル、および第４の学習モデルを含む。

【0018】

まず、第１の学習モデルについて説明する。第１の学習モデルは、キーワードとヘア画像との関係性を学習したモデルであり、１以上のキーワードを入力としヘア画像を出力とする学習モデルである。第１の学習モデルは、キーワードとヘア画像との組み合わせを複数含む学習用データを用いて、機械学習によって生成される。

【0019】

なお、第１の学習モデルは、１以上のキーワードを入力としヘア画像特定情報を出力とする学習モデルであってもよい。ヘア画像特定情報は、ヘア画像を特定する情報である。

【0020】

情報提供装置１は、例えば、投稿者コメントや投稿者テキストなどに含まれる１以上のキーワードを抽出し、かかる１以上のキーワードとコメントの対象となった投稿画像との組み合わせを複数含むデータを上述した学習用データとして生成する。

【0021】

また、情報提供装置１は、投稿者コメントや投稿者テキストからキーワードを抽出できない場合、閲覧者コメントに含まれる１以上のキーワードを抽出し、かかる１以上のキーワードとコメントの対象となった投稿画像との組み合わせを複数含むデータを上述した学習用データとして生成する。

【0022】

また、情報提供装置１は、投稿者コメントまたは投稿者テキストと、閲覧者コメントとに共に含まれる１以上のキーワードを抽出し、かかる１以上のキーワードとコメントの対象となった投稿画像との組み合わせを複数含むデータを上述した学習用データとして生成することもできる。

【0023】

なお、学習用データは、投稿画像毎に作業者が割り当てたキーワードと投稿画像との組み合わせを複数含むデータであってもよい。また、学習用データは、投稿情報などのコンテンツに代えて、ウェブページなどのコンテンツなどに含まれる画像であってもよく、第三者が提供する画像であってもよい。投稿情報は、投稿コンテンツの一例である。

【0024】

例えば、情報提供装置１は、人の顔とヘアとが含まれる画像と文章とが含まれるコンテンツをネットワーク経由で取得し、かかるコンテンツに含まれる文章からキーワードを抽出することもできる。この場合、情報提供装置１は、コンテンツに含まれる文章から抽出したキーワードとコンテンツに含まれる画像との組み合わせを複数含むデータを学習用データとして生成する。

【0025】

次に、第２の学習モデルについて説明する。第２の学習モデルは、顔画像と顔の特徴を示す情報との関係を学習した学習モデルであり、顔画像を含む画像を入力とし、顔の特徴を示す情報を出力とする学習モデルである。

【0026】

第２の学習モデルは、顔画像を含む画像と顔の特徴を示す情報との組み合わせを複数含む学習用データを用いて、機械学習によって生成される。顔の特徴を示す情報は、例えば、顔型の種類を示す情報であるが、顔における眉、目、鼻、口、および耳のうちの１以上の大きさ、形、位置などの各パーツの特徴を示す情報であってもよい。

【0027】

また、顔の特徴を示す情報は、顔における眉、目、鼻、口、および耳の各々の位置を示す情報であってもよく、顔における眉、目、鼻、口、および耳の各々の位置および大きさを示す情報などであってもよい。

【0028】

次に、第３の学習モデルについて説明する。第３の学習モデルは、顔の特徴を示す情報と当該顔に似合うと評価されたヘアスタイルとの関係性を学習したモデルであり、顔の特徴を示す情報を入力とし当該顔に似合うと推定されるヘアスタイルを示す情報を出力とする学習モデルである。

【0029】

第３の学習モデルは、顔の特徴を示す情報と、ヘア画像と、顔の特徴を示す情報とヘア画像との組み合わせに対する評価を示す情報との組み合わせを複数含む学習用データを用いて、機械学習によって生成される。

【0030】

情報提供装置１は、投稿画像、閲覧者コメント、および評価情報などを各々含む複数の投稿情報を収集する。顔画像は、顔画像およびヘア画像を含み、評価情報は、閲覧者である他のユーザの投稿画像に対する評価を示す情報であるが、投稿者コメントに含まれる評価を示す情報が含まれていてもよい。

【0031】

情報提供装置１は、収集した各投稿情報に含まれる顔画像で示される顔の特徴を抽出する。そして、情報提供装置１は、投稿情報の投稿画像に含まれるヘア画像と、抽出した顔の特徴を示す情報と、評価情報とを含むデータを上述した学習用データとして生成する。

【0032】

第３の学習モデルにおいて、顔の特徴を示す情報は、例えば、顔型の種類を示す情報であるが、顔における眉、目、鼻、口、および耳のうちの１以上の大きさ、形、位置などの各パーツの特徴を示す情報であってもよい。また、顔の特徴を示す情報は、顔における眉、目、鼻、口、および耳の各々の位置を示す情報であってもよく、顔における眉、目、鼻、口、および耳の各々の位置および大きさを示す情報などであってもよい。

【0033】

次に、第４の学習モデルについて説明する。第４の学習モデルは、施術前後のヘア画像と施術内容との関係を学習した学習モデルであり、施術前後のヘア画像を入力とし、推定される施術内容を示す情報を出力とする学習モデルである。施術前後のヘア画像は、ヘア施術前のヘア画像とヘア施術後のヘア画像とを含む。

【0034】

施術内容は、例えば、カットの有無、カットの量、ブリーチの有無、ブリーチの数、カラーの有無、カラーの種類、パーマの有無、パーマの種類、縮毛矯正の有無などを含む。施術内容を示す情報は、カットの有無、カットの量、ブリーチの有無、ブリーチの数、カラーの有無、カラーの種類、パーマの有無、パーマの種類、縮毛矯正の有無の各々のスコアの情報を含む。

【0035】

また、施術内容を示す情報は、カットの有無、カットの量、ブリーチの有無、ブリーチの数、カラーの有無、カラーの種類、パーマの有無、パーマの種類、縮毛矯正の有無の組み合わせ毎のスコアの情報を含んでいてもよい。

【0036】

第４の学習モデルは、施術前後のヘア画像と施術内容を示す情報との組み合わせを複数含む学習用データを用いて、機械学習によって生成される。情報提供装置１は、例えば、ヘアサロンまたはヘアスタイリストなどの装置から、施術前後のヘア画像とその施術内容を示す情報とを含む施術情報を収集する。そして、情報提供装置１は、収集した施術情報に基づいて、施術前後のヘア画像と施術内容を示す情報との組み合わせを複数含む学習用データを生成する。

【0037】

上述した各学習モデルは、任意の種別のモデルが採用可能である。例えば、各学習モデルは、ＤＮＮ（Deep Neural Network）、ＧＢＤＴ（Gradient Boosting Decision Tree）、ＳＶＭ（Support Vector Machine）などのように、機械学習によって生成されるモデルである。ＤＮＮは、例えば、ＣＮＮ（Convolutional Neural Network）やＲＮＮ（Recurrent Neural Network）である。また、ＲＮＮは、ＬＳＴＭ（Long short-term memory）などであってもよい。また、各学習モデルは、例えば、ＣＮＮとＲＮＮとを組み合わせたモデルなど、複数のモデルを組み合わせることで実現されるモデルであってもよい。

【0038】

つづいて、端末装置４は、情報提供装置１から送信される複数種類の学習モデルの情報を受信し、受信した複数種類の学習モデルの情報を内部の記憶部に記憶する（ステップＳ２）。

【0039】

端末装置４のユーザＵは、ヘアサロンに対してヘア施術の予約を行う前に、どのようなヘアスタイルにするのかを検討する場合がある。ヘアスタイルの検討は、例えば、ウェブ検索で検索される情報や雑誌に掲載された情報などから行うことができる。

【0040】

例えば、ユーザＵは、キーワード検索またはウェブ検索などによって得られたヘアスタイル関連画像を端末装置４に表示させることができる。ヘアスタイル関連画像は、ヘアスタイルをユーザＵが確認することができる画像であり、少なくともヘア画像と顔画像とを含む画像である。

【0041】

ここで、キーワード検索について説明する。端末装置４は、複数のキーワードを表示部に表示する（ステップＳ３）。これらの複数のキーワードは、予め定められた複数のキーワードであるが、複数のキーワードからランダムに抽出された複数のキーワードまたは予め定められた条件を満たす複数のキーワードであってもよい。

【0042】

予め定められた条件を満たす複数のキーワードは、例えば、ユーザＵによって選択される回数が多い順に上位の所定数のキーワードである。抽出候補となるキーワードは、例えば、第１の学習モデルへの入力対象となるキーワードである。

【0043】

端末装置４は、ユーザＵによって１以上のキーワードが指定された場合、ユーザＵによって指定された１以上のキーワードを受け付け、かかる１以上のキーワードに対応するヘア画像を、第１の学習モデルを用いて、特定する（ステップＳ４）。

【0044】

ステップＳ４において、端末装置４は、ユーザＵによって指定された１以上のキーワードを第１の学習モデルに入力して第１の学習モデルから出力される情報に基づいて、ユーザＵによって指定された１以上のキーワードに対応するヘア画像を特定する。

【0045】

例えば、端末装置４は、第１の学習モデルがヘア画像を出力する場合、第１の学習モデルから出力されるヘア画像を、ユーザＵによって指定された１以上のキーワードに対応するヘア画像として特定する。

【0046】

また、端末装置４は、第１の学習モデルがヘア画像特定情報を出力する場合、第１の学習モデルから出力されるヘア画像特定情報を取得し、取得したヘア画像特定情報で特定されるヘア画像を内部の記憶部または情報提供装置１から取得する。この場合も、端末装置４は、取得したヘア画像を、ユーザＵによって指定された１以上のキーワードに対応するヘア画像として特定する。

【0047】

つづいて、端末装置４は、ステップＳ４で特定したヘア画像と類似するヘア画像を含む画像である類似ヘア画像を複数取得し、取得した類似ヘア画像を表示部に表示する（ステップＳ５）。ステップＳ５において、端末装置４は、ステップＳ４で特定したヘア画像を含む類似画像検索要求を不図示の類似画像検索サーバまたは情報提供装置１に送信する。

【0048】

類似画像検索サーバまたは情報提供装置１は、端末装置４からの類似画像検索要求に含まれるヘア画像に基づいて、複数の類似ヘア画像を検索し、検索で得られる１以上の類似ヘア画像を端末装置４に送信する。端末装置４は、類似画像検索要求に応じて類似画像検索サーバまたは情報提供装置１から送信される複数の類似ヘア画像を取得する。

【0049】

このように、端末装置４は、ユーザＵによって指定された１以上のキーワードに基づいて、複数の類似ヘア画像を表示部に表示する。これにより、ユーザＵは、キーワードを指定するだけで、検討対象となるヘア画像を確認することができる。

【0050】

なお、上述した例では、端末装置４によって提示された複数のキーワードの中からユーザＵが１以上のキーワードを指定するが、ユーザＵによる１以上のキーワードの指定は、かかる例に限定されない。例えば、ユーザＵは、端末装置４を操作して１以上のキーワードを端末装置４に入力することで、１以上のキーワードを指定したり、音声によって１以上のキーワードを端末装置４に入力することで、１以上のキーワードを指定したりすることもできる。

【0051】

また、ユーザＵは、キーワード検索に代えてまたは加えて、ユーザＵの顔の特徴からヘアスタイルの検討を行うこともでき、以下において、ユーザＵの顔の特徴からのヘアスタイルの検討について説明する。

【0052】

端末装置４は、ユーザＵによって指定されたユーザ撮像画像に基づいて、ユーザＵの顔の特徴を判定する（ステップＳ６）。ユーザ撮像画像は、ユーザＵのヘアおよび顔を含む頭部の画像であって端末装置４の不図示の撮像部または不図示の装置の撮像部などによって撮像された画像であり、ユーザ画像の一例である。端末装置４は、例えば、ユーザＵによる操作に基づいて、ユーザ撮像画像を取得する。

【0053】

例えば、ユーザＵは、端末装置４を操作して、ユーザＵのヘアおよび顔を含む頭部を端末装置４の撮像部で撮像して、ユーザ撮像画像を端末装置４に複数取得させることができる。ユーザＵは、端末装置４を操作して、端末装置４で取得された複数のユーザ撮像画像の中から所望のユーザ撮像画像を指定することができる。

【0054】

ステップＳ６において、端末装置４は、例えば、予め定められた複数種類の顔の特徴の中からユーザ撮像画像で示されるユーザＵの顔の特徴を判定する。例えば、端末装置４は、上述した第２の学習モデルにユーザ撮像画像を入力し、第２の学習モデルから出力される顔の特徴を示す情報に基づいて、ユーザＵの顔の特徴を判定する。

【0055】

また、端末装置４は、複数種類の顔の特徴の各々を示す情報を有していてもよく、この場合、端末装置４は、各種類の顔の特徴を示す情報とユーザ撮像画像で示されるユーザＵの顔の特徴を示す情報とのパターンマッチング技術によって、ユーザＵの顔の特徴を判定する。

【0056】

また、端末装置４は、複数種類の顔の特徴（例えば、顔型）の各々を示す線画である顔特徴線画を表示部に表示し、これら複数種類の顔特徴線画の中からユーザＵに自分の顔型に最も近い顔特徴線画を選択させることもできる。

【0057】

つづいて、端末装置４は、上述した第３の学習モデルを用いて、ステップＳ６で判定したユーザＵの顔の特徴から、ユーザＵの顔に似合うと推定されるヘアスタイルを特定する（ステップＳ７）。第３の学習モデルは、上述したように、顔の特徴を示す情報とその顔に似合うと評価されたヘアスタイルとの関係性を学習したモデルである。

【0058】

端末装置４は、ステップＳ７において、ステップＳ６で判定したユーザＵの顔の特徴を示す情報を第３の学習モデルに入力し、第３の学習モデルから出力されるヘアスタイルの情報に基づいて、ユーザＵの顔に似合うと推定されるヘアスタイルを特定する。ヘアスタイルの情報は、ヘア画像であり、端末装置４は、第３の学習モデルから出力されるヘア画像を、ユーザＵの顔に似合うと推定されるヘアスタイルとして特定する。

【0059】

つづいて、端末装置４は、ユーザＵの顔画像であるユーザ顔画像とユーザＵによって選択されたヘア画像とを合成した合成画像を生成し、生成した合成画像を表示部に表示する（ステップＳ８）。ユーザ顔画像は、例えば、上述したユーザ撮像画像またはユーザ撮像画像に含まれる画像である。

【0060】

ユーザＵによって選択されたヘア画像は、例えば、ステップＳ８で特定されたヘアスタイルの画像またはキーワード検索によって取得された複数の類似ヘア画像のうち、ユーザＵによって選択された１以上の画像である。

【0061】

端末装置４は、ステップＳ８で特定されたヘアスタイルの画像である特定ヘア画像またはキーワード検索によって取得された複数の類似ヘア画像の中からのユーザＵによる１以上のヘア画像の選択を受け付ける。また、端末装置４は、例えば、ユーザＵによって閲覧された複数のウェブページなどに含まれる複数のヘア画像の中からユーザＵによる１以上のヘア画像の選択を受け付けることもできる。

【0062】

端末装置４は、ユーザＵによって２以上のヘア画像が選択された場合、かかる２以上のヘア画像を合成して得られる合成ヘア画像をユーザ顔画像と合成することで合成画像を生成する。

【0063】

ユーザＵによって選択されたヘア画像は、例えば、端末装置４における不図示の撮像部によって撮像された撮像画像であってもよい。かかる撮像画像は、例えば、雑誌に掲載された人物の顔およびヘアを含む写真を撮像した画像である。この場合、端末装置４は、例えば、端末装置４によって撮像された撮像画像のユーザＵによって選択された撮像画像に含まれる人物の顔画像をユーザ顔画像に含まれるユーザＵの顔画像に置き換えることで合成画像を生成する。

【0064】

また、雑誌に掲載された写真を撮像した撮像画像は、撮像画像に含まれる人物の顔が正面を向いていない場合がある。この場合、端末装置４は、人物の顔が正面を向く方向に撮像画像を射影変換した撮像画像に含まれる顔画像をユーザ顔画像に置き換えることで合成画像を生成する。また、端末装置４は、ユーザＵによって複数の撮像画像が選択された場合、複数の撮像画像を合成して得られる合成撮像画像に含まれる顔画像をユーザ顔画像に置き換えることで合成画像を生成する。

【0065】

また、端末装置４は、ユーザＵの操作に基づいて、複数のヘア画像の中からユーザＵによって選択されるヘア画像が変更された場合、ユーザＵの操作によって選択が変更されたヘア画像と合成した合成画像である変更後合成画像を生成し、生成した変更後合成画像を表示部に表示する。

【0066】

例えば、端末装置４は、ユーザＵの第１の変更操作に基づいて、複数のヘア画像の中からユーザＵによって選択されるヘア画像が変更される毎に、対応する変更後合成画像を生成し、生成した変更後合成画像を表示部に表示する。第１の変更操作は、例えば、左右方向へのスクロール操作または左右方向へのスワイプ操作である。

【0067】

また、端末装置４は、ユーザＵの第２の変更操作に基づいて、合成画像に含まれるヘア画像の髪の長さおよび色のうちの少なくとも１つを変更することもできる。端末装置４は、例えば、第２の変更操作が行われる毎に、合成画像に含まれるヘア画像の髪の長さおよび色のうちの少なくとも１つを変更する。第１の変更操作は、例えば、上下方向へのスクロール操作または上下方向へのスワイプ操作である。

【0068】

また、端末装置４は、ユーザＵによって選択されたヘア画像の加工を受け付けた場合、受け付けられた加工をヘア画像に施すことで加工ヘア画像を生成することもできる。ヘア画像の加工は、例えば、ヘア画像の髪の長さおよび色のうちの少なくとも１つを変更する加工である。この場合、端末装置４は、ステップＳ８において、ユーザ顔画像と加工ヘア画像とを合成した合成画像を生成し、生成した合成画像を表示部に表示する。

【0069】

つづいて、端末装置４は、上述した第４の学習モデルを用いて、ユーザＵの施術前の画像とステップＳ８で生成した合成画像とから、施術内容を推定する（ステップＳ９）。ユーザＵの施術前の画像は、例えば、上述したユーザ撮像画像である。ステップＳ９で推定される施術内容は、ステップＳ８で生成した合成画像で示されるヘアスタイルにするために必要な施術内容であり、以下において、推定施術内容と記載する場合がある。

【0070】

ステップＳ９において、端末装置４は、ユーザＵの施術前の画像とステップＳ８で生成した合成画像とを第４の学習モデルに入力した場合に、第４の学習モデルから出力される施術内容を示す情報に基づいて、推定施術内容を判定する。

【0071】

また、端末装置４は、判定した推定施術内容に基づいて、推定施術内容での施術に必要な費用である施術費用を判定する（ステップＳ１０）。例えば、端末装置４は、施術内容と施術費用との関係を示すヘアサロン毎の施術費用情報に基づいて、ヘアサロン毎の施術費用を判定することができる。端末装置４は、例えば、情報提供装置１などからヘアサロン毎の施術費用情報を取得することができる。

【0072】

また、端末装置４は、ユーザＵによる施術内容の指定を受け付けた場合、指定を受け付けた施術内容であるユーザ指定施術内容と推定施術内容とを比較し、比較した結果を示す比較情報を生成する（ステップＳ１１）。比較情報には、例えば、ユーザ指定施術内容と推定施術内容との差を示す情報が含まれる。例えば、端末装置４は、推定施術内容が、ユーザ指定施術内容に加えて、ブリーチの数が１つ多い場合、ユーザ指定施術内容よりもブリーチの数が１つ増加することを示す情報を含む比較情報を生成する。

【0073】

つづいて、端末装置４は、ステップＳ９で推定した施術内容を示す情報、ステップＳ１０で判定した施術費用の情報である施術費用情報、およびステップＳ１１で生成した比較情報などを含む施術関連情報を表示部に表示する（ステップＳ１２）。これにより、ユーザＵは、選択したヘア画像で示されるヘアスタイルにするために必要であると推定される施術内容や施術費用などを把握することができ、端末装置４は、ユーザＵの利便性を向上させることができる。

【0074】

つづいて、端末装置４は、ステップＳ９で推定した施術内容に対するユーザＵの許諾または不許諾を示す応答である許諾可否応答を受け付ける（ステップＳ１３）。ユーザＵは、ステップＳ９で推定された施術内容が受け入れ可能である場合、端末装置４を操作して、許諾を示す応答を行い、ステップＳ９で推定された施術内容が受け入れられない場合、端末装置４を操作して、不許諾を示す応答を行う。

【0075】

つづいて、端末装置４は、受け付けた許諾可否応答が許諾を示す応答である場合、特定画像と施術内容情報とを含む予約要求をヘア施術者宛に出力する（ステップＳ１４）。特定画像は、例えば、ステップＳ８で生成された合成画像またはユーザＵによって選択されたヘア画像と、施術前のユーザＵのヘア画像を含むユーザ撮像画像とを含む。施術内容情報は、ユーザＵによって指定が受け付けられた施術内容を示す情報およびステップＳ９で推定された施術内容を示す情報のうちの少なくとも一方の情報を含む情報である。

【0076】

上述した予約要求は、例えば、情報提供装置１を介してヘア施術者の店舗装置５に出力されるが、ＳＮＳまたは不図示のメールサーバなどを介してヘア施術者の店舗装置５に出力されてもよい。ヘア施術者の店舗装置５は、端末装置４から出力される予約要求を受信し、受信した予約要求に含まれる特定画像と施術内容情報とを表示する。これにより、ヘア施術者は、予約要求に含まれる特定画像と施術内容情報とを確認することができる。

【0077】

ヘア施術者は、店舗装置５を操作して、予約要求に含まれる特定画像の修正や施術内容情報で示される施術内容の修正を行うことができる。この場合、店舗装置５は、修正後の特定画像である修正特定画像や修正後の施術内容を示す情報である修正施術内容情報などを含む修正情報をユーザＵ宛に出力する。修正情報は、例えば、情報提供装置１を介して端末装置４に出力されるが、ＳＮＳまたは不図示のメールサーバなどを介して端末装置４に出力されてもよい。

【0078】

ヘア施術者は、店舗装置５を操作して、予約要求に含まれる合成画像で示されるヘアスタイルへの施術が可能かどうかのコメントを店舗装置５に入力することができる。この場合、店舗装置５は、合成画像で示されるヘアスタイルへの施術が可能かどうかのコメントである施術者コメントをユーザＵ宛に出力する。コメントは、例えば、情報提供装置１を介して端末装置４に出力されるが、ＳＮＳまたは不図示のメールサーバなどを介して端末装置４に出力されてもよい。

【0079】

また、ヘア施術者は、予約要求に含まれる特定画像の修正や予約要求に含まれる施術内容情報で示される施術内容の修正の必要がない場合、店舗装置５を操作して、店舗装置５からユーザＵに対して予約を受け付けたことを示す予約受付情報を出力させる。

【0080】

端末装置４は、店舗装置５からの修正情報や施術者コメントを取得すると、取得した修正情報や施術者コメントを表示部に表示する（ステップＳ１５）。これにより、ユーザＵは、ヘア施術者による修正案やコメントを確認することができ、ヘア施術者の意思疎通を容易に行うことができる。

【0081】

以上のように、情報処理装置の一例である端末装置４は、ユーザＵの顔画像であるユーザ顔画像とユーザＵによって選択されたヘア画像とを合成した合成画像を生成し、生成した合成画像をヘア施術者宛に出力する。これにより、ユーザＵは、所望のヘア画像とユーザ顔画像とを合成した合成画像をヘア施術者宛に提示することができ、ヘア施術者に対して漠然と所望のヘアスタイルを伝える場合に比べて、所望のヘアスタイルをヘア施術者に具体的に伝えることができる。したがって、端末装置４は、ユーザＵの利便性を向上させることができる。

【0082】

また、情報処理装置の一例である端末装置４は、ユーザＵの顔画像であるユーザ顔画像とユーザＵによって選択されたヘア画像とを合成した合成画像を生成し、施術前後のヘア画像と施術内容との関係を学習した学習モデルを用いて、ユーザＵの施術前の画像と合成画像とから施術内容を推定する。これにより、例えば、ユーザＵは、所望のヘアスタイルにするための施術内容を把握することができ、また、所望のヘアスタイルにするための施術内容をヘア施術者に具体的に伝えることができる。したがって、端末装置４は、ユーザＵの利便性を向上させることができる。

【0083】

また、情報処理装置の一例である端末装置４は、ユーザＵによる１以上のキーワードの指定を受け付け、かかる１以上のキーワードを入力としヘア画像を出力とする学習モデルを用いて、受付部によって指定が受け付けられた１以上のキーワードからヘア画像を特定する。そして、端末装置４は、特定したヘア画像と類似するヘア画像を含む画像である類似ヘア画像を取得する。これにより、ユーザＵは、キーワードを指定するだけで所望のヘアスタイルに対応するヘア画像を容易に収集することができる。したがって、端末装置４は、ユーザＵの利便性を向上させることができる。

【0084】

また、情報処理装置の一例である端末装置４は、顔の特徴を示す情報と顔に似合うと評価されたヘアスタイルとの関係性を学習したモデルである学習モデルを用いて、ユーザＵの顔に似合うと推定されるヘアスタイルを特定し、特定したヘアスタイルの画像である特定ヘア画像を含む投稿画像を取得する。そして、端末装置４は、取得部によって取得された投稿画像とユーザＵの顔画像とに基づいて、特定部によって特定されたヘアスタイルの画像とユーザＵの顔画像とを合成した合成画像を生成する。これにより、ユーザＵは、ユーザＵの顔に似合うと推定されるヘアスタイルを自身に適用した場合の画像を容易に取得することができる。したがって、端末装置４は、ユーザＵの利便性を向上させることができる。

【0085】

また、上述した例では、端末装置４によって種々の処理を行う例を説明したが、上述した端末装置４の処理の一部または全部は、情報提供装置１主体の処理により行われてもよい。例えば、情報提供装置１は、ＡＰＩ（Application Programming Interface）などのインターフェイスを介して端末装置４から入力された情報に基づいて生成した情報を端末装置４に提供し、端末装置４が情報提供装置１から提供された情報に基づいて上述した情報を表示させるものであってもよい。また、図１では、端末装置４と情報提供装置１とが別装置である場合を示したが、端末装置４と情報提供装置１とが情報処理装置として一体であってもよい。

【0086】

以下、このような処理を行う情報提供装置１、端末装置４、および店舗装置５を含む情報処理システムの構成などについて、詳細に説明する。

【0087】

〔２．情報処理システムの構成〕
図２は、実施形態に係る情報処理システムの構成の一例を示す図である。図２に示すように、実施形態に係る情報処理システム１００は、情報提供装置１と、複数の端末装置４と、複数の店舗装置５とを含む。

【0088】

複数の端末装置４の各々は、互いに異なるユーザＵによって用いられる。複数の店舗装置５の各々は、例えば、互いに異なるヘアサロンに設置され、互いに異なるヘアサロンのヘア施術者などによって用いられる。

【0089】

情報提供装置１、端末装置４、および店舗装置５は、ネットワークＮを介して、有線または無線により互いに通信可能に接続される。なお、図２に示す情報処理システム１００には、情報提供装置１が複数含まれてもよい。ネットワークＮは、例えば、ＬＡＮ（Local Area Network）や、インターネットなどのＷＡＮ（Wide Area Network）である。

【0090】

情報提供装置１は、各種の情報を提供する情報処理装置である。情報提供装置１は、ＳＮＳサイト、ウェブ検索サイト、コンテンツ配信サイトなどによるオンラインサービスを提供する。ＳＮＳサイトは、端末装置４や店舗装置５などから送信された投稿情報を受け付け、ユーザＵやヘア施術者などからの要求に基づいて、端末装置４や店舗装置５に投稿情報を送信する。また、情報提供装置１は、上述したＳＮＳサイトなどから投稿情報などの情報を取得する情報処理装置であってもよい。

【0091】

また、コンテンツ配信サイトは、コンテンツ配信サービスを提供するサイトであり、動画・音楽配信サイト、地図サイト、ルート検索サイト、経路案内サイト、路線情報サイト、運行情報サイト、天気予報サイトなどを含む。また、情報提供装置１は、例えば、電子決済サイト、オンラインゲームサイト、オンラインバンキングサイト、または宿泊・チケット予約サイトなどの種々のオンラインサイトによるオンラインサービスを提供することもできる。

【0092】

端末装置４および店舗装置５の各々は、例えば、デスクトップ型ＰＣ（Personal Computer）、ノート型ＰＣ、タブレット端末、スマートフォン、携帯電話機、またはＰＤＡ（Personal Digital Assistant）などである。なお、端末装置４および店舗装置５の各々は、上記例に限定されなくともよく、例えば、スマートウォッチまたはウェアラブルデバイス（Wearable Device）などであってもよい。

【0093】

また、各端末装置４は、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation：第５世代移動通信システム）などの無線通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮなどの近距離無線通信を介してネットワークＮに接続し、情報提供装置１や各店舗装置５と通信することができる。

【0094】

また、各店舗装置５は、ＬＴＥ、４Ｇ、５Ｇなどの無線通信網や、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮなどの近距離無線通信を介してネットワークＮに接続し、情報提供装置１や各端末装置４と通信することができる。

【0095】

〔３．情報提供装置１の構成〕
次に、図３を参照して、情報提供装置１の構成例について説明する。図３は、実施形態に係る情報提供装置１の構成例を示す図である。図３に示されるように、情報提供装置１は、通信部１０と、記憶部１１と、処理部１２とを有する。

【0096】

〔３．１．通信部１０〕
通信部１０は、例えば、ＮＩＣ（Network Interface Card）などによって実現される。通信部１０は、有線または無線によりネットワーク網と接続され、ネットワークＮを介して、端末装置４や店舗装置５などとの間で情報の送受信を行う。

【0097】

〔３．２．記憶部１１〕
記憶部１１は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置によって実現される。記憶部１１は、ユーザ情報記憶部２０と、投稿情報記憶部２１と、モデル情報記憶部２２と、コンテンツ記憶部２３とを記憶する。

【0098】

〔３．２．１．ユーザ情報記憶部２０〕
ユーザ情報記憶部２０は、ユーザＵに関する情報を記憶する。図４は、実施形態に係る情報提供装置１のユーザ情報記憶部２０に記憶されるユーザ情報テーブルの一例を示す図である。

【0099】

図４に示すように、ユーザ情報記憶部２０に記憶されるユーザ情報テーブルは、「ユーザＩＤ（IDentifier）」、「属性情報」、および「履歴情報」などの項目を含む。「ユーザＩＤ」は、ユーザＵを識別する識別情報である。

【0100】

「属性情報」は、「ユーザＩＤ」に対応するユーザＵの属性であるユーザ属性に関する情報であり、サイコグラフィック属性の情報や、デモグラフィック属性の情報などを含む。デモグラフィック属性は、例えば、性別、年齢、居住地、および職業などであり、サイコグラフィック属性は、旅行、服、車、宗教などの興味関心対象、生活スタイル、思想や思想の傾向などである。

【0101】

「履歴情報」は、「ユーザＩＤ」に対応するユーザＵのサービスの利用履歴などの情報を含む履歴情報であり、例えば、ユーザＵの投稿履歴情報、ユーザＵの検索履歴情報、およびユーザＵの閲覧履歴情報などを含む。ユーザＵの投稿履歴情報は、ユーザＵによってＳＮＳサイトに投稿された投稿情報、他のユーザＵの投稿情報に対するユーザＵによるコメント、他のユーザＵの投稿情報に対するユーザＵによる評価を示す情報などが含まれる。

【0102】

ユーザＵの検索履歴情報は、例えば、ＳＮＳサイトでの投稿情報の検索履歴の情報、各種のウェブサイトでの検索履歴の情報などである。ユーザＵの閲覧履歴情報は、例えば、ＳＮＳサイトでの投稿情報のユーザＵによる閲覧履歴の情報、各種のウェブサイトでの閲覧履歴の情報などの情報である。

【0103】

〔３．２．２．投稿情報記憶部２１〕
投稿情報記憶部２１は、各ユーザＵによって投稿された各種の情報を記憶する。図５は、実施形態に係る情報提供装置１の投稿情報記憶部２１に記憶される投稿情報テーブルの一例を示す図である。図５に示すように、投稿情報記憶部２１に記憶される投稿情報テーブルは、「投稿ＩＤ」、「投稿日時」、「投稿ユーザ」、「投稿テキスト」、「投稿画像」、「評価情報」、「閲覧数」、および「コメント」などの項目を含む。

【0104】

「投稿ＩＤ」は、投稿情報を識別する識別情報である。投稿情報は、投稿コンテンツの一例である。「投稿日時」は、「投稿ＩＤ」に対応する投稿情報の投稿日時を示す情報である。「投稿ユーザ」は、「投稿ＩＤ」に対応する投稿情報を投稿したユーザＵを示す情報であり、図５に示す例では、ユーザＩＤである。「投稿テキスト」は、「投稿ＩＤ」に対応する投稿情報に含まれるテキストを示す情報であり、文字列で示されるが、スタンプなどが含まれてもよい。

【0105】

「投稿画像」は、「投稿ＩＤ」に対応する投稿情報に含まれる投稿画像である。「評価情報」は、「投稿ＩＤ」に対応する投稿情報に対する他のユーザＵの評価を示す評価情報であるが、「投稿ＩＤ」に対応する投稿情報に対する投稿ユーザの評価を示す情報を含んでいてもよい。「閲覧数」は、「投稿ＩＤ」に対応する投稿情報が閲覧された回数を示す情報である。

【0106】

「コメント」は、「投稿ＩＤ」に対応する投稿情報に対する他のユーザＵのコメントであり、例えば、文字列で示されるが、スタンプなどが含まれてもよい。なお、「コメント」には、「投稿ＩＤ」に対応する投稿情報に対する投稿ユーザのコメントが含まれてもよい。

【0107】

図５に示す評価情報は、肯定的な評価（例えば、「グッド」）を示す情報や否定的な評価（例えば、「バッド」）を示す情報であるが、中間的な評価（例えば、「普通」）を示す情報などを含んでいてもよい。

【0108】

〔３．２．３．モデル情報記憶部２２〕
モデル情報記憶部２２は、各種の学習モデルの情報を記憶する。図６は、実施形態に係る情報提供装置１のモデル情報記憶部２２に記憶されるモデル情報テーブルの一例を示す図である。

【0109】

図６に示すように、モデル情報記憶部２２に記憶されるモデル情報テーブルは、「モデルＩＤ」および「モデル情報」などの項目を含む。「モデルＩＤ」は、学習モデルを識別する識別情報である。「モデル情報」は、「モデルＩＤ」に対応する学習モデルの情報である。学習モデルの情報は、学習モデルのパラメータなどの情報であるが、かかる例に限定されず、端末装置４において学習モデルを用いるための情報であればよい。

【0110】

モデル情報テーブルに情報が含まれる学習モデルは、例えば、上述した第１の学習モデル、第２の学習モデル、第３の学習モデル、および第４の学習モデルを含む。第１の学習モデルは、キーワードとヘア画像との関係性を学習したモデルであり、１以上のキーワードを入力としヘア画像またはヘア画像特定情報を出力とする学習モデルである。

【0111】

第２の学習モデルは、顔画像と顔の特徴との関係を学習した学習モデルであり、顔画像を含む画像を入力とし、顔の特徴を示す情報を出力とする学習モデルである。第３の学習モデルは、顔の特徴を示す情報と当該顔に似合うと評価されたヘアスタイルとの関係性を学習したモデルであり、顔の特徴を示す情報を入力とし当該顔に似合うと推定されるヘアスタイルを示す情報を出力する学習モデルである。

【0112】

第４の学習モデルは、施術前後のヘア画像と施術内容との関係を学習した学習モデルであり、施術前後のヘア画像を入力とし、推定される施術内容を示す情報を出力とする学習モデルである。なお、モデル情報テーブルに情報が含まれる学習モデルは、上述した例に限定されない。

【0113】

上述した各学習モデルは、任意の種別のモデルが採用可能である。例えば、各学習モデルは、ＤＮＮ、ＧＢＤＴ、ＳＶＭなどのように、機械学習によって生成されるモデルである。ＤＮＮは、例えば、ＣＮＮやＲＮＮなどである。また、ＲＮＮは、ＬＳＴＭなどであってもよい。また、各学習モデルは、例えば、ＣＮＮとＲＮＮとを組み合わせたモデルなど、複数のモデルを組み合わせることで実現されるモデルであってもよい。

【0114】

〔３．２．４．コンテンツ記憶部２３〕
コンテンツ記憶部２３は、コンテンツの情報である。図７は、実施形態に係る情報提供装置１のコンテンツ記憶部２３に記憶されるコンテンツテーブルの一例を示す図である。図７に示すコンテンツテーブルは、「コンテンツＩＤ」、「コンテンツ」などの項目を含む。

【0115】

「コンテンツＩＤ」は、コンテンツを識別する識別子である。「コンテンツ」は、「コンテンツＩＤ」に対応付けられたコンテンツに関する情報である。具体的には、コンテンツに関する情報は、例えば、コンテンツの内容に関する情報またはコンテンツのアドレスの情報などである。

【0116】

図７に示す例では、コンテンツＩＤ「Ｃ１」のコンテンツは、コンテンツＣＮＴ１であり、コンテンツＩＤ「Ｃ２」のコンテンツは、コンテンツＣＮＴ２であり、コンテンツＩＤ「Ｃ３」のコンテンツは、コンテンツＣＮＴ３である。なお、コンテンツ記憶部２３は、上記に限らず、目的に応じて種々の情報を記憶してもよい。

【0117】

〔３．３．処理部１２〕
処理部１２は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）などのプロセッサによって、情報提供装置１内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭなどを作業領域として実行されることにより実現される。

【0118】

また、処理部１２は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＧＰＵ（General Purpose Graphic Processing Unit）などの集積回路により実現されてもよい。

【0119】

図３に示すように、処理部１２は、取得部３０と、学習部３１と、提供部３２とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、処理部１２の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

【0120】

〔３．３．１．取得部３０〕
取得部３０は、各種情報を取得する。取得部３０は、記憶部１１から各種の情報を取得する。取得部３０は、ユーザ情報記憶部２０、投稿情報記憶部２１、モデル情報記憶部２２、およびコンテンツ記憶部２３などから各種の情報を取得する。

【0121】

また、取得部３０は、例えば、端末装置４、店舗装置５、または外部装置などからユーザＵの情報（例えば、ユーザＵの属性情報や行動履歴の情報）を取得し、取得したユーザＵの情報をユーザ情報記憶部２０に記憶させる。また、取得部３０は、例えば、外部装置などから各種のコンテンツを取得し、取得したコンテンツをコンテンツ記憶部２３に記憶させる。

【0122】

また、取得部３０は、通信部１０を介して、端末装置４または店舗装置５などの装置から投稿情報を取得する。取得部３０は、取得した投稿情報を投稿情報記憶部２１に記憶される投稿情報テーブルに追加する。

【0123】

また、取得部３０は、通信部１０を介して、端末装置４から投稿情報に関する取得要求を取得する。例えば、取得部３０は、取得した取得要求に関する情報を提供部３２に通知する。

【0124】

また、取得部３０は、通信部１０を介して、端末装置４から予約要求などの各種の情報を取得し、取得した予約要求などの各種の情報を記憶部１１に記憶させたり、取得した予約要求などの各種の情報を提供部３２に通知したりする。取得部３０は、通信部１０を介して、店舗装置５から修正情報などの各種の情報を取得し、取得した修正情報などの各種の情報を提供部３２に通知する。

【0125】

また、取得部３０は、上述した学習モデルを生成するための学習用データを取得し、取得した学習用データを学習部３１に通知する。例えば、取得部３０は、記憶部１１に記憶されている情報を記憶部１１から取得し、取得した情報を学習用データとして学習部３１に通知する。

【0126】

第１の学習モデル用の学習用データは、例えば、キーワードとヘア画像との組み合わせを複数含む学習用データである。また、第２の学習モデル用の学習用データは、例えば、顔画像を含む画像と顔の特徴を示す情報との組み合わせを複数含む学習用データである。

【0127】

第３の学習モデル用の学習用データは、例えば、顔の特徴を示す情報と、ヘア画像と、顔の特徴を示す情報とヘア画像との組み合わせに対する評価を示す情報との組み合わせを複数含む学習用データである。顔の特徴を示す情報とヘア画像との組み合わせに対する評価は、例えば、肯定的な評価を示す情報や否定的な評価を示す情報などであり、ラベルとして用いられる。第４の学習モデル用の学習用データは、例えば、施術前後のヘア画像と施術内容を示す情報との組み合わせを複数含む学習用データである。

【0128】

なお、取得部３０は、記憶部１１に記憶された情報に基づいて、上述した学習用データを生成することもできる。また、取得部３０は、上述した以外の学習用データを取得したり生成したりすることもできる。

【0129】

〔３．３．２．学習部３１〕
学習部３１は、取得部３０から通知された各種の学習用データを用いた機械学習によって各種の学習モデルを生成し、生成した各種の学習モデルの情報を投稿情報記憶部２１に記憶させる。

【0130】

例えば、学習部３１は、第１の学習モデル用の学習用データを用いて第１の学習モデルを生成し、第２の学習モデル用の学習用データを用いて第２の学習モデルを生成する。また、学習部３１は、第３の学習モデル用の学習用データを用いて第３の学習モデルを生成し、第４の学習モデル用の学習用データを用いて第４の学習モデルを生成する。

【0131】

なお、学習部３１は、第１の学習モデル、第２の学習モデル、第３の学習モデル、および第４の学習モデル以外の学習モデルを生成することもできる。

【0132】

〔３．３．３．提供部３２〕
提供部３２は、通信部１０を開始、ユーザＵの端末装置４やヘア施術者の店舗装置５に対し、各種のコンテンツを提供する。例えば、提供部３２は、端末装置４や店舗装置５からの要求に基づき、ＳＮＳの投稿情報を含む閲覧コンテンツを生成し、かかる閲覧コンテンツを端末装置４や店舗装置５に対して通信部１０およびネットワークＮなどを介して提供する。

【0133】

また、提供部３２は、取得部３０から通知された各種の情報を端末装置４または店舗装置５などに通信部１０およびネットワークＮなどを介して提供する。例えば、提供部３２は、取得部３０から通知された端末装置４からの情報を店舗装置５などに通信部１０およびネットワークＮなどを介して提供したり、取得部３０から通知された店舗装置５からの情報を端末装置４などに通信部１０およびネットワークＮなどを介して提供したりする。

【0134】

また、提供部３２は、学習部３１によって生成された各種の学習モデルの情報を端末装置４に通信部１０およびネットワークＮなどを介して提供する。例えば、提供部３２は、学習部３１によって生成された第１の学習モデル、第２の学習モデル、第３の学習モデル、および第４の学習モデルを端末装置４に通信部１０およびネットワークＮなどを介して提供する。

【0135】

また、提供部３２は、端末装置４で用いられるアプリケーションプログラム（以下、アプリと記載する）を端末装置４に対して通信部１０およびネットワークＮなどを介して提供する。かかるアプリは、例えば、端末装置４にインストールされて端末装置４における上述した処理などを実行する。例えば、かかるアプリの機能によって、端末装置４は、上述した合成画像を生成したり、上述した学習モデルを用いて各種の情報を取得したりすることができる。

【0136】

〔４．端末装置４〕
図８は、実施形態に係る端末装置４の構成の一例を示す図である。図８に示すように、実施形態に係る端末装置４は、通信部４０と、表示部４１と、操作部４２と、撮像部４３と、センサ部４４と、記憶部４５と、処理部４６とを備える。

【0137】

〔４．１．通信部４０〕
通信部４０は、例えば、ＮＩＣなどによって実現される。通信部４０は、ネットワークＮと有線または無線で接続され、ネットワークＮを介して、情報提供装置１や店舗装置５などとの間で情報の送受信を行う。店舗装置５との通信は、例えば、情報提供装置１、ＳＮＳ、または不図示のメールサーバなどを介して行われるが、これらを介さずに店舗装置５と直接通信してもよい。

【0138】

〔４．２．表示部４１〕
表示部４１は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro Luminescence）ディスプレイなどである。

【0139】

〔４．３．操作部４２〕
操作部４２は、例えば、文字、数字、およびスペースを入力するためのキー、エンターキーおよび矢印キーなどを含むキーボード、マウス、および電源ボタンなどを含む。表示部４１がタッチパネル対応ディスプレイである場合、操作部４２はタッチパネルを含む。

【0140】

〔４．４．撮像部４３〕
撮像部４３は、被写体を撮影する画像センサ（カメラ）である。例えば、撮像部４３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge-Coupled Device）イメージセンサなどである。なお、撮像部４３は、内蔵カメラに限らず、端末装置４と通信可能なワイヤレスカメラや、Ｗｅｂカメラなどの外付けカメラであってもよい。

【0141】

〔４．５．センサ部４４〕
センサ部４４は、位置検出部およびジャイロセンサなどを備える。位置検出部は、例えば、ユーザＵの現在位置である端末装置４の位置を検出し、検出したユーザＵの現在位置を示す情報を処理部４６に出力する。

【0142】

位置検出部は、ＧＮＳＳ（Global Navigation Satellite System）における複数の測位衛星から送信される複数の測位信号を受信し、受信した複数の測位信号に基づいて、ユーザＵの現在位置を検出する。ジャイロセンサは、端末装置４の傾きおよび回転などの姿勢を検出するセンサである。

【0143】

〔４．６．記憶部４５〕
記憶部４５は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置によって実現される。

【0144】

記憶部４５には、例えば、情報提供装置１や店舗装置５などから送信されネットワークＮおよび通信部４０などを介して処理部４６によって取得された情報、撮像部４３によって撮像された画像である撮像画像、およびセンサ部４４によって検出された情報である検出情報などが記憶される。例えば、記憶部４５は、情報提供装置１から送信されるアプリや各種の学習モデルの情報を記憶する。

【0145】

〔４．７．処理部４６〕
処理部４６は、コントローラであり、例えば、ＣＰＵまたはＭＰＵなどによって、端末装置４内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。処理部４６は、例えば、ＡＳＩＣまたはＦＰＧＡなどの集積回路により一部または全部が実現されてもよい。

【0146】

処理部４６は、受付部５０と、取得部５１と、特定部５２と、画像処理部５３と、推定部５４と、判定部５５と、比較部５６と、出力部５７とを備える。処理部４６は、例えば、ＯＳ（Operating System）上での上述のアプリの実行などによって、受付部５０、取得部５１、特定部５２、画像処理部５３、推定部５４、判定部５５、比較部５６、および出力部５７を含む機能部として機能する。

【0147】

なお、受付部５０、取得部５１、特定部５２、画像処理部５３、推定部５４、判定部５５、比較部５６、および出力部５７を含む複数の機能は、処理部４６において予め組み込まれていてもよい。

【0148】

〔４．７．１．受付部５０〕
受付部５０は、種々の要求や情報を受け付ける。受付部５０は、端末装置４や店舗装置５から送信される要求や情報を受け付ける。

【0149】

例えば、受付部５０は、店舗装置５から送信される修正情報を受け付ける。修正情報は、ヘア施術者による修正案を示す情報である。また、受付部５０は、店舗装置５から送信される予約受付情報を受け付ける。予約受付情報は、予約要求で施術内容などでの予約を受け付けたことを示す情報などを含む。

【0150】

また、受付部５０は、操作部４２などを用いたユーザＵの各種の操作を受け付ける。例えば、受付部５０は、ユーザＵによるヘア画像の選択、ユーザＵによるヘア画像の加工、ユーザＵによる施術内容の指定、推定施術内容に対するユーザＵの許諾または不許諾、ユーザＵによる施術内容の指定などの種々の操作を受け付ける。

【0151】

また、受付部５０は、ユーザＵによる撮像操作を受け付ける。受付部５０は、ユーザＵによる撮像操作を受け付けた場合、撮像部４３を動作させて撮像部４３に撮像動作を実行させる。

【0152】

また、受付部５０は、ユーザＵによるヘア画像の第１変更操作やユーザＵによるヘア画像の第２変更操作などを受け付ける。第１変更操作は、合成画像を生成するためのヘア画像を変更することによって合成画像を変更するための操作である。第２変更操作は、ヘア画像の髪の長さおよび色のうちの少なくとも１つを変更するための操作である。

【0153】

図９は、実施形態に係る端末装置４の受付部５０の構成の一例を示す図である。図９に示すように、受付部５０は、選択受付部６０と、加工受付部６１と、指定受付部６２と、修正案受付部６３と、許諾可否受付部６４とを備える。

【0154】

選択受付部６０は、ユーザＵによる種々の選択を受け付ける。例えば、選択受付部６０は、複数種類のヘア画像の中からユーザＵによるヘア画像の選択を受け付ける。ユーザＵは、操作部４２への操作によってヘア画像の選択操作を行うことができ、選択受付部６０は、ヘア画像の選択操作に基づいて、ヘア画像の選択を受け付ける。

【0155】

ユーザＵによって選択されるヘア画像は、例えば、特定部５２によって特定されるヘアスタイルの画像、取得部５１によって取得される複数の類似ヘア画像、および撮像部４３によって撮像された撮像画像に含まれるヘア画像などのうちの１以上のヘア画像である。

【0156】

なお、ユーザＵによって選択されるヘア画像は、上述した例に限定されない。例えば、ユーザＵによって選択されるヘア画像は、ユーザＵの操作によって処理部４６によるヘア画像の自動選択モードが選択された場合に、処理部４６によって選択されるヘア画像が含まれてもよい。

【0157】

加工受付部６１は、ヘア画像の加工を受け付ける。例えば、加工受付部６１は、ヘア画像の髪の長さおよび色のうちの少なくとも一方の選択を受け付ける。ヘア画像の髪は、ヘア画像で示されるヘア（髪）であり、ユーザＵは、操作部４２への操作によってヘア画像の加工操作を行うことができ、加工受付部６１は、ヘア画像の加工操作に基づいて、ヘア画像の加工を受け付ける。

【0158】

指定受付部６２は、ユーザＵによる種々の指定を受け付ける。例えば、指定受付部６２は、ユーザＵによる施術内容の指定を受け付ける。ユーザＵは、操作部４２への操作によって施術内容の指定操作を行うことができ、指定受付部６２は、施術内容の指定操作に基づいて、施術内容の指定を受け付ける。

【0159】

また、指定受付部６２は、ユーザＵによる操作部４２への操作に基づいて、撮像部４３によって撮像された画像であってヘア画像を含む撮像画像であるユーザ撮像画像の指定を受け付ける。

【0160】

また、指定受付部６２は、推定施術内容に対するユーザＵの許諾または不許諾を受け付ける。ユーザＵは、操作部４２への操作によって推定施術内容に対する許諾操作または不許諾操作を行うことができ、指定受付部６２は、許諾操作または不許諾操作に基づいて、施術内容の許諾または不許諾を受け付ける。

【0161】

また、指定受付部６２は、ユーザＵによる１以上のキーワードの指定を受け付ける。例えば、指定受付部６２は、複数のキーワードの中から１以上のキーワードのユーザＵによる指定を受け付ける。ユーザＵは、操作部４２への操作によって１以上のキーワードの指定操作を行うことができ、指定受付部６２は、１以上のキーワードの指定操作に基づいて、１以上のキーワードの指定を受け付ける。

【0162】

修正案受付部６３は、推定施術内容に対するヘア施術者による修正案を受け付ける。例えば、修正案受付部６３は、推定施術内容に対するヘア施術者による修正案を示す情報である修正案情報を店舗装置５からヘア施術者による推定施術内容の修正案として受け付ける。

【0163】

また、修正案受付部６３は、合成画像で示されるヘアスタイルに対するヘア施術者による修正案を受け付ける。例えば、修正案受付部６３は、ヘア施術者による修正案を示す情報である修正案情報を店舗装置５からヘア施術者によるヘアスタイルの修正案として受け付ける。

【0164】

許諾可否受付部６４は、推定部５４によって推定された施術内容である推定施術内容に対するユーザＵの許諾または不許諾を受け付ける。ユーザＵは、操作部４２への操作によって推定施術内容に対する許諾を示す許諾操作または推定施術内容に対する不許諾を示す不許諾操作を行うことができ、許諾可否受付部６４は、許諾操作または不許諾操作に基づいて、推定施術内容に対するユーザＵの許諾または不許諾を受け付ける。

【0165】

〔４．７．２．取得部５１〕
取得部５１は、各種の情報を取得する。例えば、取得部５１は、記憶部４５から各種の情報を取得する。取得部５１は、記憶部４５に記憶された学習モデルの情報を取得する。

【0166】

また、取得部５１は、撮像部４３によって撮像された画像である撮像画像を取得し、取得した撮像画像を記憶部４５に記憶させる。また、取得部５１は、センサ部４４によって検出された情報である検出情報を取得し、取得した検出情報を記憶部４５に記憶させる。

【0167】

取得部５１は、情報提供装置１から送信されるアプリや学習モデルの情報などをネットワークＮおよび通信部４０を介して取得し、取得したアプリや学習モデルの情報などを記憶部４５に記憶させる。取得部５１は、特定ヘア画像を各々含む複数の投稿情報を情報提供装置１から取得し、取得した複数の投稿情報を記憶部４５に記憶させる。

【0168】

また、取得部５１は、施術者コメントを取得し、取得したコメントを記憶部４５に記憶させる。施術者コメントは、合成画像で示されるヘアスタイルへの施術が可能かどうかのヘア施術者によるコメントである。

【0169】

また、取得部５１は、ユーザＵによる操作部４２への操作に応じた情報を取得する。例えば、取得部５１は、ユーザＵによる操作に基づいて、撮像部４３によって撮像された画像であってヘア画像を含む撮像画像を記憶部４５から取得する。

【0170】

また、取得部５１は、特定ヘア画像と類似するヘア画像を含む画像である類似ヘア画像を複数取得し、取得した複数の類似ヘア画像を記憶部４５に記憶させる。特定ヘア画像は、特定部５２によって特定されたヘアスタイルの画像である。例えば、取得部５１は、特定ヘア画像を含む類似画像検索要求を不図示の検索サーバまたは情報提供装置１に送信し、類似画像検索要求に応じて検索サーバまたは情報提供装置１から送信される複数の類似ヘア画像を取得する。

【0171】

また、取得部５１は、例えば、特定部５２によって特定されたヘアスタイルを示す情報を含む検索要求を不図示の検索サーバまたは情報提供装置１に送信し、検索要求に応じて検索サーバまたは情報提供装置１から送信される複数の特定ヘア画像を取得する。

【0172】

また、取得部５１は、施術内容と施術費用との関係を示すヘアサロン毎の施術費用情報を、例えば、情報提供装置１または店舗装置５などから取得する。

【0173】

〔４．７．３．特定部５２〕
特定部５２は、第１の学習モデルを用いて、受付部５０によって指定が受け付けられた１以上のキーワードからヘア画像を特定する。第１の学習モデルは、上述したように、キーワードとヘア画像との関係性を学習したモデルであり、１以上のキーワードを入力としヘア画像またはヘア画像特定情報を出力とする。

【0174】

特定部５２は、第１の学習モデルがヘア画像を出力する場合、第１の学習モデルから出力されるヘア画像を、ユーザＵによって指定された１以上のキーワードに対応するヘア画像として特定する。

【0175】

また、特定部５２は、第１の学習モデルがヘア画像に代えてヘア画像特定情報を出力する場合、ユーザＵによって指定された１以上のキーワードを第１の学習モデルに入力し、第１の学習モデルから出力されるヘア画像特定情報を取得する。ヘア画像特定情報は、ヘア画像を特定する情報であり、例えば、ヘア画像毎のスコアである。特定部５２は、例えば、ヘア画像毎のスコアのうち最も高いスコアのヘア画像を、ユーザＵによって指定された１以上のキーワードに対応するヘア画像として特定する。

【0176】

特定部５２は、画像特定情報で特定されるヘア画像を記憶部４５または情報提供装置１などから取得し、取得したヘア画像を、ユーザＵによって指定された１以上のキーワードに対応するヘア画像として特定する。

【0177】

また、特定部５２は、第３の学習モデルを用いて、ユーザＵの顔に似合うと推定されるヘアスタイルを特定する。例えば、特定部５２は、ユーザＵによって指定されたユーザＵの顔の特徴または判定部５５によって判定されたユーザＵの顔の特徴から、第３の学習モデルを用いて、ユーザＵの顔に似合うと推定されるヘアスタイルを特定する。

【0178】

第３の学習モデルは、上述したように、顔の特徴を示す情報と当該顔に似合うと評価されたヘアスタイルとの関係性を学習したモデルであり、顔の特徴を示す情報を入力とし当該顔に似合うと推定されるヘアスタイルを示す情報をと出力するモデルである。

【0179】

特定部５２は、ユーザＵの顔の特徴を示す情報を第３の学習モデルに入力し、第３の学習モデルから出力されるヘアスタイルの情報に基づいて、ユーザＵの顔に似合うと推定されるヘアスタイルを特定する。第３の学習モデルから出力されるヘアスタイルの情報は、例えば、ヘア画像毎のスコアであり、特定部５２は、ヘア画像毎のスコアのうち最も高いスコアのヘア画像で示されるヘアスタイルを、ユーザＵの顔に似合うと推定されるヘアスタイルとして特定する。また、第３の学習モデルから出力されるヘアスタイルの情報は、ヘア画像であってもよい。ユーザＵの顔の特徴を示す情報は、例えば、ユーザＵによって指定されたユーザＵの顔の特徴を示す情報または判定部５５によって判定されたユーザＵの顔の特徴を示す情報である。

【0180】

顔の特徴は、例えば、顔型の種類を示す情報であるが、顔における眉、目、鼻、口、および耳のうちの１以上の大きさ、形、位置などの各パーツの特徴を示す情報であってもよい。例えば、顔の特徴を示す情報は、顔における眉、目、鼻、口、および耳の各々の位置を示す情報であってもよく、顔における眉、目、鼻、口、および耳の各々の位置および大きさを示す情報などであってもよい。

【0181】

〔４．７．４．画像処理部５３〕
画像処理部５３は、各種の画像処理を行う。例えば、画像処理部５３は、ユーザＵの顔画像であるユーザ顔画像とユーザＵによって選択されたヘア画像とを合成した合成画像を生成する。以下において、ユーザＵによって選択されたヘア画像を選択ヘア画像と記載する場合がある。

【0182】

選択ヘア画像は、選択受付部６０によって選択が受け付けられたヘア画像であるが、かかる例に限定されない。例えば、選択ヘア画像は、ユーザＵの操作によって処理部４６によるヘア画像の自動選択モードが選択された場合に、処理部４６によって選択されるヘア画像が含まれてもよい。ユーザ顔画像は、例えば、指定受付部６２によって指定が受け付けられたユーザ撮像画像またはユーザ撮像画像に含まれるユーザＵの顔画像である。

【0183】

例えば、画像処理部５３は、選択ヘア画像をユーザ顔画像と合成することで合成画像を生成する。画像処理部５３は、ユーザ顔画像に含まれるユーザＵのヘア画像を選択ヘア画像に置き換えることで、合成画像を生成する。

【0184】

画像処理部５３は、例えば、ユーザ顔画像の特徴量と選択ヘア画像の特徴量とを抽出する。画像処理部５３は、ユーザ顔画像の特徴量のうちユーザ顔画像に含まれるヘア画像の特徴量を選択ヘア画像の特徴量に置き換えることによって合成画像を生成する。

【0185】

また、画像処理部５３は、ユーザ顔画像に含まれるユーザＵのヘア画像を削除し、ユーザＵのヘア画像を削除したユーザ顔画像に選択ヘア画像を重畳することによって、合成画像を生成することもできる。

【0186】

また、画像処理部５３は、選択ヘア画像を含む画像である選択画像と、ユーザ顔画像を含む画像であるユーザ画像とを合成して合成画像を生成する場合、ユーザ画像に含まれるユーザ顔画像を選択ヘア画像に置き換えることもできる。

【0187】

また、画像処理部５３は、選択受付部６０によって２以上のヘア画像が選択された場合、かかる２以上の選択ヘア画像を合成した合成ヘア画像を生成する。そして、画像処理部５３は、生成した合成ヘア画像をユーザ顔画像と合成することで合成画像を生成する。

【0188】

例えば、画像処理部５３は、２以上の選択ヘア画像の各々の特徴量を抽出し、抽出した２以上の選択ヘア画像の特徴量を合成することによって合成ヘア画像を生成する。例えば、画像処理部５３は、２以上の選択ヘア画像の特徴量を重み付け加算によって合成することで合成ヘア画像を生成するが、合成方法はかかる例に限定されない。例えば、画像処理部５３は、２以上の画像を合成する学習モデルであって機械学習で生成された合成モデルを有し、かかる合成モデルに２以上の選択ヘア画像を入力することによって、合成モデルから出力される合成ヘア画像を取得することもできる。

【0189】

画像処理部５３は、選択ヘア画像を含む画像である選択画像と、ユーザ顔画像を含む画像であるユーザ画像（例えば、ユーザ撮像画像）とを合成して合成画像を生成する場合、選択画像において選択画像に含まれる人物の顔画像をユーザ画像に含まれるユーザ顔画像に置き換えることもできる。

【0190】

例えば、選択画像が撮像部４３によって撮像された撮像画像である選択撮像画像であるとする。この場合、画像処理部５３は、選択撮像画像において選択撮像画像に含まれる人物の顔画像をユーザ画像に含まれるユーザ顔画像に置き換えることで合成画像を生成する。

【0191】

画像処理部５３は、選択ヘア画像を含む画像である選択画像と、ユーザ顔画像を含む画像であるユーザ画像とを合成して合成画像を生成する場合、ユーザ画像においてユーザ画像に含まれるユーザ顔画像を選択画像に含まれる人物の顔画像に置き換えることもできる。

【0192】

例えば、選択画像が撮像部４３によって撮像された撮像画像である選択撮像画像であるとする。この場合、画像処理部５３は、ユーザ画像においてユーザ顔画像を選択撮像画像に含まれる人物の顔画像に置き換えることで合成画像を生成する。

【0193】

また、画像処理部５３は、選択画像が複数である場合、複数の選択画像を合成して合成選択画像を生成する。例えば、画像処理部５３は、特定選択画像を基準として、複数の選択画像を合成して合成選択画像を生成する。特定選択画像は、例えば、最初に選択された選択画像またはユーザＵによって指定された選択画像である。

【0194】

例えば、画像処理部５３は、複数の選択画像の各々のヘア画像の特徴量を抽出し、抽出した複数のヘア画像の特徴量を合成することで合成ヘア画像を生成し、特定選択画像のヘア画像を合成ヘア画像に置き換えることで、合成選択画像を生成する。またば、画像処理部５３は、複数の画像を合成する学習モデルであって機械学習で生成された合成モデルを有し、かかる合成モデルに複数の選択画像を入力することによって、合成モデルから出力される合成ヘア画像を取得することもできる。

【0195】

また、画像処理部５３は、加工受付部６１によって合成画像に含まれるヘア画像の加工が受け付けられた場合、加工受付部６１によって受け付けられたヘア画像の加工を行うことで得られる加工ヘア画像を含むユーザ顔画像を生成する。

【0196】

例えば、画像処理部５３は、加工受付部６１によってヘア画像の加工が受け付けられた場合、加工受付部６１によって受け付けられたヘア画像の加工を行うことで得られる加工ヘア画像を生成する。そして、画像処理部５３は、加工ヘア画像をユーザ顔画像と合成することで合成画像を生成する。

【0197】

画像処理部５３は、例えば、ヘア画像の特徴量を抽出し、抽出した特徴量を調整することによって加工ヘア画像を生成するが、かかる例に限定されない。また、画像処理部５３は、加工受付部６１によって合成画像におけるヘア画像の加工が受け付けられた場合、合成画像におけるヘア画像の特徴量を抽出し、抽出した特徴量を調整することによって合成画像のヘア画像を加工することもできる。

【0198】

また、画像処理部５３は、選択画像の射影変換を行うこともできる。図１０は、実施形態に係る端末装置４の画像処理部５３の構成の一例を示す図である。図１０に示すように、画像処理部５３は、変換部６５と、合成部６６とを備える。変換部６５は、選択画像を射影変換する。合成部６６は、選択画像に含まれる人物の顔画像または変換部６５によって射影変換された選択画像に含まれる人物の顔画像をユーザ顔画像に置き換えることで合成画像を生成する。

【0199】

また、変換部６５は、選択画像に代えて加えて、ユーザ画像またはユーザ顔画像を射影変換することもできる。この場合、合成部６６は、選択画像に含まれる人物の顔画像または変換部６５によって射影変換された選択画像に含まれる人物の顔画像を、変換部６５に射影変換されたユーザ画像に含まれるユーザＵの顔画像または変換部６５に射影変換されたユーザ顔画像に置き換えることで合成画像を生成する。

【0200】

また、合成部６６は、変換部６５に射影変換されたユーザ画像に含まれるユーザＵの顔画像を、選択画像に含まれる人物の顔画像または変換部６５によって射影変換された選択画像に含まれる人物の顔画像に置き換えることで、合成画像を生成することもできる。

【0201】

〔４．７．５．推定部５４〕
推定部５４は、ユーザＵの施術前の画像と合成画像とから施術内容を推定する。例えば、推定部５４は、第４の学習モデルを用いて、ユーザＵの施術前の画像と合成画像とから施術内容を推定する。

【0202】

第４の学習モデルは、施術前後のヘア画像と施術内容との関係を学習した学習モデルであり、施術前後のヘア画像を入力とし、推定される施術内容を示す情報を出力とする学習モデルである。

【0203】

ユーザＵの施術前の画像は、例えば、上述したユーザ撮像画像である。推定部５４によって推定される施術内容は、上述した推定施術内容であり、画像処理部５３で生成された合成画像で示されるヘアスタイルにするために必要な施術内容である。

【0204】

推定部５４は、ユーザＵの施術前の画像と画像処理部５３で生成された合成画像とを第４の学習モデルに入力した場合に、第４の学習モデルから出力される施術内容を示す情報に基づいて、推定施術内容を判定する。

【0205】

第４の学習モデルから出力される施術内容を示す情報は、例えば、カットの有無、カットの量、ブリーチの有無、ブリーチの数、カラーの有無、カラーの種類、パーマの有無、パーマの種類、縮毛矯正の有無の各々のスコアの情報を含む。推定部５４は、第４の学習モデルから出力される各スコアに基づいて、推定施術内容を判定する。

【0206】

例えば、推定部５４は、カットの有無のスコアが閾値以上である場合に、推定施術内容にカットを含め、カットの有無のスコアが閾値未満である場合に、推定施術内容にカットを含めない。また、推定部５４は、例えば、カットの量のスコアに比例するカットの量を推定施術内容に含める。また、推定部５４は、例えば、各種類のカラーのスコアのうち閾値以上のスコアのカラーを推定施術内容に含める。

【0207】

また、第４の学習モデルから施術内容を示す情報は、施術項目と施術順番とを含む施術内容を示す情報であってもよい。この場合、第４の学習モデルは、施術項目と施術順番とを各々含む複数の施術方法のスコアを出力するように形成され、スコアが最も高い施術方法で示される施術内容を推定施術内容として判定する。

【0208】

〔４．７．６．判定部５５〕
判定部５５は、推定部５４によって判定された推定施術内容に基づいて、推定施術内容での施術に必要な費用である施術費用を判定する。

【0209】

例えば、判定部５５は、施術内容と施術費用との関係を示すヘアサロン毎の施術費用情報を有しており、かかる施術費用情報に基づいて、ヘアサロン毎の施術費用を判定する。ヘアサロン毎の施術費用情報は、上述したように取得部５１によって取得される情報であるが、かかる例に限定されない。

【0210】

また、判定部５５は、例えば、ユーザ撮像画像で示されるユーザＵの顔の特徴を判定する。例えば、判定部５５は、上述した第２の学習モデルにユーザ撮像画像を入力し、第２の学習モデルから出力される顔の特徴を示す情報に基づいて、ユーザＵの顔の特徴を判定する。

【0211】

第２の学習モデルから出力される顔の特徴を示す情報は、例えば、顔の特徴毎のスコアであり、この場合、判定部５５は、顔の特徴毎のスコアのうち最も高いスコアの顔の特徴を、ユーザＵの顔の特徴として判定する。

【0212】

また、第２の学習モデルから出力される顔の特徴を示す情報は、各パーツ（例えば、眉、目、鼻、口、耳）の特徴毎のスコアであってもよい。この場合、判定部５５は、パーツの特徴（位置、大きさ、および形の組み合わせ）毎のスコアのうち最も高いスコアの特徴を含む顔の特徴を、ユーザＵの顔の特徴として判定する。

【0213】

また、第２の学習モデルから出力される顔の特徴を示す情報は、各パーツ（例えば、眉、目、鼻、口、耳）の大きさ、および形の各々の特徴毎のスコアであってもよい。この場合、判定部５５は、パーツの大きさ、および形の各々の特徴毎のスコアのうち最も高いスコアの特徴を含む顔の特徴を、ユーザＵの顔の特徴として判定する。

【0214】

また、判定部５５は、複数種類の顔の特徴の各々を示す情報を有していてもよく、この場合、判定部５５は、各種類の顔の特徴とユーザ撮像画像で示されるユーザＵの顔の特徴とのパターンマッチング技術によって、ユーザＵの顔の特徴を判定する。

【0215】

また、判定部５５は、複数種類の顔の特徴（例えば、顔型）の各々を示す線画である顔特徴線画を表示部に表示し、これら複数種類の顔特徴線画の中からユーザＵに自分の顔型に最も近い顔特徴線画を選択させることもできる。

【0216】

〔４．７．７．比較部５６〕
比較部５６は、指定受付部６２によって指定が受け付けられた施術内容であるユーザ指定施術内容と推定部５４によって推定された施術内容である推定施術内容とを比較する。

【0217】

比較部５６は、例えば、ユーザ指定施術内容と推定施術内容とを比較し、比較した結果を示す比較情報を生成する。比較情報には、例えば、ユーザ指定施術内容と推定施術内容との差を示す情報が含まれる。

【0218】

例えば、比較部５６は、推定施術内容が、ユーザ指定施術内容に加えて、ブリーチの数が１つ多い場合、ユーザ指定施術内容よりもブリーチの数が１つ増加することを示す情報を含む比較情報を生成する。

【0219】

また、比較部５６は、推定施術内容やユーザ指定施術内容に施術の順番が含まれている場合において、施術の順番の一部が異なる場合、施術の順番のうち異なる順番を示す情報を含む比較情報を生成する。

【0220】

〔４．７．８．出力部５７〕
出力部５７は、特定部５２による特定結果を示す情報、画像処理部５３による画像処理の結果を示す情報、推定部５４による推定結果を示す情報、判定部５５による判定結果を示す情報、および比較部５６による比較結果を示す情報などを出力情報として出力する。

【0221】

また、出力部５７は、受付部５０による受付結果を示す情報、および取得部５１による取得結果を示す情報などを出力情報として出力することもできる。出力部５７は、例えば、出力情報を表示部４１に出力することによって、出力情報を表示部４１に表示させたり、出力情報を通信部４０およびネットワークＮなどを介してヘア施術者宛に出力したりすることができる。ヘア施術者宛の出力は、例えば、情報提供装置１、ＳＮＳ、または不図示のメールサーバなどを介して行われるが、店舗装置５へのダイレクトの出力であってもよい。

【0222】

出力部５７は、ヘアサロンでのヘア施術を予約するための予約設定画面の情報を出力情報として出力する。予約設定画面は、ユーザ画像、ヘア画像、ヘアサロン、および予約対象日時などを設定するためのＧＵＩ（Graphical User Interface）画面であり、後で詳述する。

【0223】

出力部５７は、例えば、施術関連情報を含む予約要求をヘア施術者宛に送信することによって、施術関連情報を含む予約要求をヘア施術者宛に出力する。

【0224】

施術関連情報は、例えば、施術前のユーザＵのヘア画像を含むユーザ画像、画像処理部５３によって生成された合成画像、指定受付部６２によって指定が受け付けられた施術内容を示す情報、推定部５４によって推定された施術内容を示す情報などを含む。

【0225】

施術関連情報は、画像処理部５３によって生成された合成画像に代えてまたは加えて、選択受付部６０によって選択が受け付けられたヘア画像である選択ヘア画像が含まれてもよい。

【0226】

また、出力部５７は、ユーザＵによって指定可能に複数のキーワードを出力する。例えば、出力部５７は、複数のキーワードを含む出力情報を表示部４１に出力することによって、複数のキーワードをユーザＵによって指定可能に表示部４１に表示させる。

【0227】

また、出力部５７は、取得部５１によって取得された施術者コメントを出力する。例えば、出力部５７は、取得部５１によって取得された施術者コメントを表示部４１に出力することによって、施術者コメントを表示部４１に表示させる。

【0228】

また、出力部５７は、修正案受付部６３によって受け付けられたヘア施術者による修正案を示す情報である修正案情報を出力する。修正案情報は、例えば、推定施術内容に対する修正案を示す情報や合成画像で示されるヘアスタイルに対する修正案を示す情報である。例えば、出力部５７は、修正案受付部６３によって受け付けられた修正案情報を表示部４１に出力することによって、ヘア施術者による修正案を表示部４１に表示させる。

【0229】

また、出力部５７は、許諾可否受付部６４によって許諾が受け付けられた場合、上述した予約要求をヘア施術者宛に出力し、許諾可否受付部６４によって不許諾が受け付けられた場合、上述した予約要求をヘア施術者宛に出力しないことができる。

【0230】

なお、出力部５７は、出力情報を表示部４１に表示させる場合、例えば、出力情報をレンダリングなどすることによって表示用の情報に変換し、変換した出力情報を表示部４１に出力する。また、表示部４１にレンダリング機能がある場合、出力部５７は、出力情報をそのまま表示部４１に出力して、出力情報を表示部４１に表示させる。

【0231】

図１１は、実施形態に係る情報提供装置１の出力部５７によって表示部４１に表示される予約設定画面の一例を示す図である。図１１に示すように、予約設定画面７０は、ユーザ画像選択領域７１、ヘア画像選択領域７２、ヘアサロン選択領域７３、および予約対象日時設定領域７４を含む。

【0232】

予約設定画面７０は、例えば、ユーザＵによる操作部４２への操作が特定の操作である予約設定操作である場合に、出力部５７によって表示部４１に表示される。なお、図１１には、図示していないが、予約設定画面７０には、例えば、施術内容入力領域、施術内容推定ボタン、および予約ボタンなども含まれる。

【0233】

ユーザ画像選択領域７１は、撮影開始ボタン７１１と、フォルダボタン７１２とを含む。撮影開始ボタン７１１は、撮像部４３の撮像を行う撮像アプリケーションプログラム（以下、撮像アプリと記載する場合がある）を駆動するためのボタンである。ユーザＵは、撮影開始ボタン７１１を操作し、撮像アプリの画面を表示部４１に表示させて操作部４２への操作によって撮像アプリを操作することができる。ユーザＵは、撮像アプリを操作することによって、自分の顔を含む領域を撮像することができる。これにより、取得部５１によってユーザ画像が取得される。

【0234】

フォルダボタン７１２は、特定のフォルダ（例えば、撮像部４３の撮像画像が入れられる写真フォルダなど）を開くためのボタンである。ユーザＵは、フォルダボタン７１２を操作して、特定のフォルダに含まれる複数の撮像画像を表示部４１に表示させることができる。ユーザＵは、操作部４２を操作することによって、特定のフォルダに含まれる複数の撮像画像からユーザ画像を選択することができる。これにより、取得部５１によってユーザ画像が取得される。

【0235】

ヘア画像選択領域７２は、キーワード設定ボタン７２１と、撮影開始ボタン７２２と、フォルダボタン７２３とを含む。キーワード設定ボタン７２１は、複数のキーワードの中から所望の１以上のキーワードをユーザＵが指定するためのキーワード指定画面を表示部４１に表示させるためのボタンである。

【0236】

撮影開始ボタン７２２は、撮像アプリを駆動するためのボタンである。ユーザＵは、撮影開始ボタン７２２を操作し、撮像アプリの画面を表示部４１に表示させて操作部４２への操作によって撮像アプリを操作することができる。ユーザＵは、撮像アプリを操作することによって、所望のヘア画像を含む領域（例えば、ヘアカタログやファッション雑誌に掲載されているヘアモデルの画像などを含む領域）を撮像することができる。これにより、取得部５１によって選択画像が取得される。

【0237】

フォルダボタン７２３は、特定のフォルダ（例えば、撮像部４３の撮像画像が入れられる写真フォルダなど）を開くためのボタンである。ユーザＵは、フォルダボタン７２３を操作して、特定のフォルダに含まれる複数の撮像画像を表示部４１に表示させることができる。ユーザＵは、操作部４２を操作することによって、特定のフォルダに含まれる複数の撮像画像から所望の選択画像を選択することができる。これにより、取得部５１によって選択画像が取得される。

【0238】

ヘアサロン選択領域７３は、現在地周辺検索ボタン７３１と、キーワード検索ボタン７３２とを含む。現在地周辺検索ボタン７３１は、現在地周辺（例えば、現在地から予め定められた距離内の領域）に位置するヘアサロンを選択可能に表示部４１に表示させるためのボタンである。ユーザＵは、操作部４２を操作することによって、表示部４１に表示されたヘアサロンのうち所望のヘアサロンを選択することができる。

【0239】

キーワード検索ボタン７３２は、キーワード検索を行うためのキーワード検索画面を表示部４１に表示させるためのボタンである。ユーザＵは、操作部４２を操作することによって、キーワード検索画面で検索されて表示部４１に表示されたヘアサロンのうち所望のヘアサロンを選択することができる。

【0240】

予約対象日時設定領域７４は、予約対象日時を設定するための領域である。ユーザＵは、操作部４２を操作することによって、ヘア施術を受けたい日時を予約対象日時設定領域７４に設定することができる。

【0241】

図１２は、実施形態に係る情報提供装置１の出力部５７によって表示部４１に表示されるキーワード指定画面の一例を示す図である。図１２に示すように、キーワード指定画面８０は、キーワード指定ボタン群８１，８２，８３，８４と、検索ボタン８５とを含む。

【0242】

キーワード指定ボタン群８１は、髪の長さに対応するキーワードを指定するための複数のボタンを含む。図１２に示すキーワード指定ボタン群８１は、キーワード「ショート」を指定するためボタン、キーワード「ミディアム」を指定するためボタン、キーワード「ロング」を指定するためボタンなどを含む。

【0243】

キーワード指定ボタン群８２は、髪の色に対応するキーワードを指定するための複数のボタンを含む。図１２に示すキーワード指定ボタン群８２は、キーワード「ブラウン」を指定するためボタン、キーワード「ベージュ」を指定するためボタン、キーワード「ピンク」を指定するためボタン、キーワード「ブラック」を指定するためボタンなどを含む。

【0244】

キーワード指定ボタン群８３は、雰囲気に対応するキーワードを指定するための複数のボタンを含む。図１２に示すキーワード指定ボタン群８３は、キーワード「かわいい」を指定するためボタン、キーワード「クール」を指定するためボタン、キーワード「ポップ」を指定するためボタン、キーワード「ナチュラル」を指定するためボタンなどを含む。

【0245】

キーワード指定ボタン群８４は、ＴＰＯ（Time Place Occasion）に対応するキーワードを指定するための複数のボタンを含む。図１２に示すキーワード指定ボタン群８４は、キーワード「原宿」を指定するためボタン、キーワード「銀座」を指定するためボタン、キーワード「新宿」を指定するためボタン、キーワード「六本木」を指定するためボタンなどを含む。

【0246】

キーワード指定ボタン群８１，８２，８３，８４で示される複数のキーワードは、予め定められた複数のキーワードであるが、複数のキーワードからランダムに抽出された複数のキーワードまたは予め定められた条件を満たす複数のキーワードであってもよい。予め定められた条件を満たす複数のキーワードは、例えば、ユーザＵによって選択される回数が多い順に上位の所定数のキーワードである。抽出候補となるキーワードは、例えば、第１の学習モデルへの入力対象となるキーワードである。

【0247】

ユーザＵは、キーワード指定画面８０において、操作部４２への操作によって、所望のキーワードに対応するボタンを操作することによって、髪の長さ、髪の色、雰囲気、ＴＰＯなどを指定することができる。そして、ユーザＵは、操作部４２への操作によって、検索ボタン８５を選択することで、処理部４６によって指定キーワードから類似ヘア画像を取得する処理が実行される。なお、キーワード指定画面８０に含まれる複数のキーワードは、上述した例に限定されない。

【0248】

図１３は、実施形態に係る情報提供装置１の処理部４６によって指定キーワードから類似ヘア画像を取得する処理を説明するための図である。図１３に示す例では、ユーザＵによって指定されたキーワードが「ロング」、「ピンク」、「かわいい」、「原宿」である。

【0249】

この場合、受付部５０は、ユーザＵによって指定されたキーワードが「ロング」、「ピンク」、「かわいい」、「原宿」を受け付ける。特定部５２は、第１の学習モデルを用いて、受付部５０によって指定が受け付けられたキーワード「ロング」、キーワード「ピンク」、キーワード「かわいい」、キーワード「原宿」から、ヘア画像を特定する。

【0250】

そして、取得部５１は、特定ヘア画像を含む類似画像検索要求を不図示の検索サーバまたは情報提供装置１に送信し、類似画像検索要求に応じて検索サーバまたは情報提供装置１から送信される複数の類似ヘア画像を取得する。

【0251】

図１４は、実施形態に係る情報提供装置１の出力部５７によって表示部４１に表示される予約設定画面の他の例を示す図である。図１４に示す予約設定画面７０は、ユーザＵによって選択されたユーザ画像がユーザ画像選択領域７１に設定され、ユーザＵによって指定された１以上のキーワードに対応する複数の類似ヘア画像がヘア画像選択領域７２に設定されている。

【0252】

ユーザＵは、操作部４２を操作することによって、ヘア画像選択領域７２に設定されている複数の類似ヘア画像のうち１以上の類似ヘア画像を選択画像として選択することができる。

【0253】

図１５は、実施形態に係る情報提供装置１の出力部５７によって表示部４１に表示される予約設定画面のさらに他の例を示す図である。図１５に示す予約設定画面７０は、図１４に示す予約設定画面７０において、ユーザＵが操作部４２への操作によって、図１４に示す複数の類似ヘア画像のうち１つの類似ヘア画像を選択した場合に、表示部４１に表示される。

【0254】

受付部５０は、ユーザＵによる類似ヘア画像の選択を選択画像として受け付ける。画像処理部５３は、受付部５０によって選択が受け付けられた類似ヘア画像と、ユーザＵによって選択されたユーザ画像とを合成した合成画像を生成し、生成した合成画像を図１５に示すように予約設定画面７０に配置する。これにより、ユーザＵは、表示部４１に表示された合成画像を確認することができ、選択したヘア画像で示されるヘアスタイルが似合うかどうかなどをよりリアルに確認することができる。

【0255】

また、ユーザＵは、操作部４２への操作によって、予約設定画面７０における合成画像を選択することで、合成画像を生成する選択画像を変えながら合成画像を表示部４１に表示させることができる。

【0256】

図１６は、実施形態に係る情報提供装置１の出力部５７によって表示部４１に表示される合成画像変更画面の一例を示す図である。図１６に示す合成画像変更画面９０は、長さ選択ボタン９１と、色選択ボタン９２と、合成画像表示領域９３とを含む。

【0257】

長さ選択ボタン９１は、上下方向のスワイプ（またはスクロール）によって変更される対象を、ヘアの長さとするためのボタンである。色選択ボタン９２は、上下方向のスワイプ（またはスクロール）によって変更される対象を、ヘアの色とするためのボタンである。上下方向のスワイプ（またはスクロール）は、ヘア画像の第２変更操作の一例である。

【0258】

図１６に示す例では、長さ選択ボタン９１が選択されており、ユーザＵは、操作部４２を操作して上下方向のスワイプ（またはスクロール）を行うことで、合成画像のヘアの長さを変更することができる。画像処理部５３は、受付部５０によって上下方向のスワイプ（またはスクロール）が受け付けられた場合に、合成画像のヘアの長さを変更し、ヘアの長さを変更した合成画像を表示部４１に表示させる。

【0259】

また、ユーザＵは、操作部４２を操作して色選択ボタン９２を選択した後、操作部４２を操作して上下方向のスワイプ（またはスクロール）を行うことで、合成画像のヘアの色を変更することができる。画像処理部５３は、受付部５０によって上下方向のスワイプが受け付けられた場合に、合成画像のヘアの色を変更し、ヘアの色を変更した合成画像を表示部４１に表示させる。

【0260】

また、ユーザＵは、左右方向へのスワイプ（またはスクロール）によって選択画像が変更された合成画像を表示部４１に表示させることができる。左右方向のスワイプ（またはスクロール）はヘア画像の第１変更操作の一例である。画像処理部５３は、受付部５０によって左右方向のスワイプ（またはスクロール）が受け付けられた場合に、選択画像を変更して合成画像を生成し、選択画像を変更した合成画像を表示部４１に表示させる。

【0261】

予約設定画面７０には、上述したように、不図示の施術内容入力領域が含まれる。ユーザＵは、操作部４２を操作することによって、ユーザＵが指定または希望する施術内容を施術内容入力領域に入力することができる。

【0262】

また、予約設定画面７０には、上述したように、不図示の施術内容推定ボタンや予約ボタンなどが含まれる。ユーザＵは、合成画像を決定し、施術内容入力領域にユーザＵが指定または希望する施術内容を入力した後に、ヘアサロン選択し、予約対象日時を設定する。そして、ユーザＵは、操作部４２を操作して予約ボタンを選択することで、出力部５７から予約要求がヘア施術者宛に送信される。これにより、予約要求がヘア施術者宛に出力される。

【0263】

受付部５０は、ユーザＵによる施術内容推定ボタンの選択を受け付ける。推定部５４は、受付部５０によって施術内容推定ボタンの選択が受け付けられた場合、予約設定画面７０で示されるユーザ画像と合成画像とから施術内容を推定する。ユーザ画像は、ユーザＵの施術前の画像の一例である。推定部５４は、ユーザ画像と合成画像とを第４の学習モデルに入力した場合に、第４の学習モデルから出力される施術内容を示す情報に基づいて、推定施術内容を判定する。

【0264】

図１７は、実施形態に係る情報提供装置１の推定部５４によってユーザ画像と合成画像とから施術内容を推定する処理を説明するための図である。図１７に示す例では、推定部５４は、ユーザ画像と合成画像とから推定施術内容として、「カット、ブリーチ１回、カラーブリーチ２回、パーマ１回」が判定されている。

【0265】

出力部５７は、受付部５０によって予約ボタンの選択が受け付けられた場合、ユーザ画像、合成画像、施術内容入力領域に入力された施術内容を示す情報、推定施術内容を示す情報、および予約対象日時を示す情報などを含む予約要求をヘア施術者宛に出力する。また、受付部５０によって不図示の特定ボタンの選択が受け付けられた場合、出力部５７は、例えば、操作終了を示す画面を表示部４１に表示させる。ユーザＵによる予約ボタンの選択は、推定施術内容に対するユーザＵの許諾を示す応答の一例であり、ユーザＵによる特定ボタンの選択は、推定施術内容に対するユーザＵの不許諾を示す応答の一例である。

【0266】

また、出力部５７は、ユーザＵによる操作部４２への操作に応じて、ユーザＵの顔型をユーザＵに選択させるための顔型選択画面を表示部４１に出力して、顔型選択画面を表示部４１に表示させることができる。

【0267】

図１８は、実施形態に係る情報提供装置１の出力部５７によって表示部４１に表示される顔型選択画面の一例を示す図である。図１８に示すように、顔型選択画面９５は、複数の顔型を含む。ユーザＵは、操作部４２を操作して、顔型のうちユーザＵの顔型に最も近い顔型を選択することができる。

【0268】

受付部５０は、顔型選択画面９５に含まれる複数の顔型のうちユーザＵによる顔型の選択を受け付ける。特定部５２は、ユーザＵによって選択された顔型を、ユーザＵによって指定されたユーザＵの顔の特徴とし、かかるユーザＵの顔の特徴から、第３の学習モデルを用いて、ユーザＵの顔に似合うと推定されるヘアスタイルを特定する。

【0269】

特定部５２は、ユーザＵによって選択された顔型を示す情報を第３の学習モデルに入力し、第３の学習モデルから出力されるヘアスタイルの情報に基づいて、ユーザＵの顔に似合うと推定されるヘアスタイルを特定する。

【0270】

〔５．処理手順〕
次に、実施形態に係る端末装置４の処理部４６による情報処理の手順について説明する。図１９は、実施形態に係る端末装置４の処理部４６による情報処理の一例を示すフローチャートである。

【0271】

図１９に示すように、端末装置４の処理部４６は、情報提供装置１から学習モデルの情報を取得したか否かを判定する（ステップＳ２０）。処理部４６は、学習モデルの情報を取得したと判定した場合（ステップＳ２０：Ｙｅｓ）、取得した学習モデルの情報を記憶部４５に記憶させる（ステップＳ２１）。

【0272】

処理部４６は、ステップＳ２１の処理が終了した場合、または学習モデルの情報を取得していないと判定した場合（ステップＳ２０：Ｎｏ）、ユーザＵによる予約設定操作があるか否かを判定する（ステップＳ２２）。処理部４６は、予約設定操作があると判定した場合（ステップＳ２２：Ｙｅｓ）、予約処理を実行する（ステップＳ２３）。ステップＳ２３の予約処理は、図２０に示すステップＳ４０～Ｓ４９の処理であり、後で詳述する。

【0273】

処理部４６は、ステップＳ２３の処理が終了した場合、または予約設定操作がないと判定した場合（ステップＳ２２：Ｎｏ）、ヘア施術者からの修正案があるか否かを判定する（ステップＳ２４）。処理部４６は、修正案があると判定した場合（ステップＳ２４：Ｙｅｓ）、ヘア施術者からの修正案を表示部４１に表示させる（ステップＳ２５）。

【0274】

処理部４６は、ステップＳ２５の処理が終了した場合、または修正案がないと判定した場合（ステップＳ２４：Ｎｏ）、施術者コメントがあるか否かを判定する（ステップＳ２６）。処理部４６は、施術者コメントがあると判定した場合（ステップＳ２６：Ｙｅｓ）、施術者コメントを表示部４１に表示させる（ステップＳ２７）。

【0275】

処理部４６は、ステップＳ２７の処理が終了する場合、または施術者コメントがないと判定した場合（ステップＳ２６：Ｎｏ）、画像合成操作があるか否かを判定する（ステップＳ２８）。処理部４６は、画像合成操作があると判定した場合（ステップＳ２８：Ｙｅｓ）、合成処理を行う（ステップＳ２９）。ステップＳ２９の合成処理は、図２０に示すステップＳ４０～Ｓ４７と同じである。

【0276】

処理部４６は、ステップＳ２９の処理が終了した場合、または画像合成操作がないと判定した場合（ステップＳ２８：Ｎｏ）、動作終了タイミングになったか否かを判定する（ステップＳ３０）。処理部４６は、例えば、情報提供装置１の電源がオフにされた場合、または情報提供装置１の不図示の操作部への操作によって終了操作が行われたと判定した場合に、動作終了タイミングになったと判定する。

【0277】

処理部４６は、動作終了タイミングになっていないと判定した場合（ステップＳ３０：Ｎｏ）、処理をステップＳ２０へ移行し、動作終了タイミングになったと判定した場合（ステップＳ３０：Ｙｅｓ）、図１９に示す処理を終了する。

【0278】

図２０は、実施形態に係る端末装置４の処理部４６による予約処理の一例を示すフローチャートである。図２０に示すように、処理部４６は、ユーザ画像の選択を受け付け、選択を受け付けたユーザ画像を取得する（ステップＳ４０）。

【0279】

つづいて、処理部４６は、１以上のキーワードの指定を受け付ける（ステップＳ４１）。処理部４６は、ステップＳ４１で指定を受け付けた１以上のキーワードからヘア画像を特定する（ステップＳ４２）。そして、処理部４６は、ステップＳ４２で特定したヘア画像と類似する画像である類似ヘア画像を取得する（ステップＳ４３）。

【0280】

つづいて、処理部４６は、ステップＳ４２で取得した類似ヘア画像のうち選択された類似ヘア画像とユーザ顔画像とを合成する（ステップＳ４４）。そして、処理部４６は、ステップＳ４４で合成した合成画像を表示部４１に表示させる（ステップＳ４５）。

【0281】

つづいて、処理部４６は、変更操作があるか否かを判定する（ステップＳ４６）。変更操作は、例えば、上述したヘア画像の第１変更操作やヘア画像の第２変更操作である。処理部４６は、変更操作があると判定した場合（ステップＳ４６：Ｙｅｓ）、変更操作に応じた画像処理を行って合成画像を変更し（ステップＳ４７）、処理をステップＳ４６に移行する。

【0282】

処理部４６は、変更操作がないと判定した場合（ステップＳ４６：Ｎｏ）、施術前の画像と合成画像とに基づいて、施術内容を推定する（ステップＳ４８）。処理部４６は、例えば、ユーザＵによって予約ボタンが選択された場合などに、変更操作がないと判定する。

【0283】

そして、処理部４６は、施術前の画像と合成画像と推定施術内容と指定施術内容とを含む予約要求をヘア施術者宛に出力する（ステップＳ４９）。指定施術内容は、ユーザＵによって入力された施術内容である。処理部４６は、ステップＳ４９の処理が終了した場合、図２０に示す処理を終了する。

【0284】

〔６．変形例〕
上述した例では、処理部４６は、左右方向へのユーザ操作によって選択画像が変更された合成画像を表示部４１に表示させ、上下方向のユーザ操作によってヘアの長さまたは色などを変更した合成画像を表示部４１に表示させるが、かかる例に限定されない。

【0285】

例えば、処理部４６は、上下方向へのユーザ操作によって選択画像が変更された合成画像を表示部４１に表示させ、左右方向のユーザ操作によってヘアの長さまたは色などを変更した合成画像を表示部４１に表示させることができる。

【0286】

また、処理部４６は、斜め方向へのユーザ操作によって選択画像とヘアの長さまたは色などとが変更された合成画像を表示部４１に表示させることもできる。なお、ユーザ操作は、スワイプ操作またはスクロール操作であるが、かかる例に限定されず、例えば、タップ操作やクリック操作であってもよく、ピンチイン操作やピンチアウト操作などであってもよい。

【0287】

また、第３の学習モデルから出力されるヘアスタイルの情報は、ヘア画像に限定されない。例えば、第３の学習モデルから出力されるヘアスタイルの情報は、ヘア画像を特定するための情報であるヘア画像特定情報であってもよい。ヘア画像を特定するための情報は、例えば、ヘア画像の識別情報またはヘア画像を特定するためのキーワードなどである。

【0288】

この場合、第３の学習モデルは、顔の特徴を示す情報と、ヘア画像特定情報と、顔の特徴を示す情報とヘア画像特定情報との組み合わせに対する評価を示す情報との組み合わせを複数含む学習用データを用いて生成される。

【0289】

また、第１の学習モデル、第２の学習モデル、および第３の学習モデルなどを含む各学習モデルは、ユーザＵ毎の学習モデルであってもよい。例えば、第１の学習モデルおよび第３の学習モデルの各々の生成に用いられるヘア画像を、ユーザＵが閲覧した投稿画像に含まれるヘア画像とすることで、第１の学習モデルおよび第３の学習モデルの各々をユーザＵ毎に生成することができる。

【0290】

また、第２の学習モデルの生成に用いられる顔画像を、ユーザＵが閲覧した投稿画像に含まれるヘア画像とすることで、第２の学習モデルをユーザＵ毎に生成することができる。

【0291】

情報提供装置１は、端末装置４と連携して、取得部５１、特定部５２、画像処理部５３、推定部５４、判定部５５、比較部５６、および出力部５７のうちの一部または全部の機能を実行することができ、情報処理装置の一部として機能することができる。なお、以下において、上述した端末装置４と情報提供装置１の一部または全部とを含む構成を情報処理装置と記載する場合がある。

【0292】

〔７．ハードウェア構成〕
上述してきた実施形態に係る情報提供装置１および端末装置４の各々は、例えば図２１に示すような構成のコンピュータ２００によって実現される。図２１は、実施形態に係る情報提供装置１および端末装置４の各々の機能を実現するコンピュータ２００の一例を示すハードウェア構成図である。コンピュータ２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ（Read Only Memory）２０３、ＨＤＤ（Hard Disk Drive）２０４、通信インターフェイス（Ｉ／Ｆ）２０５、入出力インターフェイス（Ｉ／Ｆ）２０６、およびメディアインターフェイス（Ｉ／Ｆ）２０７を有する。

【0293】

ＣＰＵ２０１は、ＲＯＭ２０３またはＨＤＤ２０４に記憶されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ２０３は、コンピュータ２００の起動時にＣＰＵ２０１によって実行されるブートプログラムや、コンピュータ２００のハードウェアに依存するプログラムなどを記憶する。

【0294】

ＨＤＤ２０４は、ＣＰＵ２０１によって実行されるプログラム、および、かかるプログラムによって使用されるデータなどを記憶する。通信インターフェイス２０５は、ネットワークＮ（図２参照）を介して他の機器からデータを受信してＣＰＵ２０１へ送り、ＣＰＵ２０１が生成したデータを、ネットワークＮを介して他の機器へ送信する。

【0295】

ＣＰＵ２０１は、入出力インターフェイス２０６を介して、ディスプレイやプリンタなどの出力装置、および、キーボードまたはマウスなどの入力装置を制御する。ＣＰＵ２０１は、入出力インターフェイス２０６を介して、入力装置からデータを取得する。また、ＣＰＵ２０１は、入出力インターフェイス２０６を介して生成したデータを出力装置へ出力する。

【0296】

メディアインターフェイス２０７は、記録媒体２０８に記憶されたプログラムまたはデータを読み取り、ＲＡＭ２０２を介してＣＰＵ２０１に提供する。ＣＰＵ２０１は、かかるプログラムを、メディアインターフェイス２０７を介して記録媒体２０８からＲＡＭ２０２上にロードし、ロードしたプログラムを実行する。記録媒体２０８は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）などの光学記録媒体、ＭＯ（Magneto-Optical disk）などの光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリなどである。

【0297】

例えば、コンピュータ２００が実施形態に係る情報提供装置１や端末装置４として機能する場合、コンピュータ２００のＣＰＵ２０１は、ＲＡＭ２０２上にロードされたプログラムを実行することにより、処理部１２や処理部４６の機能を実現する。また、ＨＤＤ２０４には、記憶部１１内または記憶部４５内のデータが記憶される。コンピュータ２００のＣＰＵ２０１は、これらのプログラムを記録媒体２０８から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

【0298】

〔８．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0299】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0300】

例えば、上述した情報提供装置１は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットホームなどをＡＰＩやネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

【0301】

また、上述してきた実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0302】

〔９．効果〕
上述してきたように、実施形態に係る情報処理装置は、画像処理部５３と、推定部５４とを備える。画像処理部５３は、ユーザＵの顔画像であるユーザ顔画像とユーザＵによって選択されたヘア画像とを合成した合成画像を生成する。推定部５４は、施術前後のヘア画像と施術内容との関係を学習した学習モデルを用いて、ユーザＵの施術前の画像と合成画像とから施術内容を推定する。これにより、例えば、ユーザＵは、所望のヘアスタイルにするための施術内容を把握することができ、また、所望のヘアスタイルにするための施術内容をヘア施術者に具体的に伝えることができる。したがって、情報処理装置は、ユーザＵの利便性を向上させることができる。

【0303】

また、学習モデルは、施術後のヘア画像と施術内容を示す情報との組み合わせを複数含む学習用データを用いた機械学習によって生成される。これにより、情報処理装置は、施術内容を精度よく推定することができる。

【0304】

また、情報処理装置は、推定部５４によって推定された施術内容を示す情報を含む施術内容情報を出力する出力部５７を備える。これにより、情報処理装置は、ユーザＵの利便性を向上させることができる。

【0305】

また、情報処理装置は、推定部５４によって推定された施術内容に対するユーザＵの許諾を受け付ける受付部５０と、受付部５０によって許諾が受け付けられた場合に、推定部５４によって推定された施術内容を示す情報を含む予約要求をヘア施術者宛に出力する出力部５７とを備える。これにより、情報処理装置は、ユーザＵの利便性を向上させることができる。

【0306】

また、出力部５７は、合成画像またはユーザＵが選択したヘア画像を含む予約要求をヘア施術者宛に出力する。これにより、情報処理装置は、ユーザＵの利便性を向上させることができる。

【0307】

また、情報処理装置は、推定部５４によって推定された施術内容を示す情報をヘア施術者宛に出力する出力部５７と、推定部５４によって推定された施術内容に対するヘア施術者による修正案を受け付ける修正案受付部６３とを備える。出力部５７は、修正案受付部６３によって受け付けられた修正後の施術内容を示す情報を出力する。これにより、情報処理装置は、ユーザＵの利便性を向上させることができる。

【0308】

また、情報処理装置は、推定部５４によって推定された施術内容に基づいて、施術費用を判定する判定部５５を備える。これにより、情報処理装置は、ユーザＵの利便性を向上させることができる。

【0309】

また、情報処理装置は、ユーザＵによる施術内容の指定を受け付ける受付部５０と、受付部５０によって指定が受け付けられた施術内容と推定部５４によって推定された施術内容とを比較する比較部５６と、比較部５６による比較結果を出力する出力部５７とを備える。これにより、情報処理装置は、ユーザＵの利便性を向上させることができる。

【0310】

以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0311】

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

【符号の説明】

【0312】

１ 情報提供装置
４ 端末装置
５ 店舗装置
１０，４０ 通信部
１１，４５ 記憶部
１２，４６ 処理部
２０ ユーザ情報記憶部
２１ 投稿情報記憶部
２２ モデル情報記憶部
２３ コンテンツ記憶部
３０，５１ 取得部
３１ 学習部
３２ 提供部
４１ 表示部
４２ 操作部
４３ 撮像部
４４ センサ部
５０ 受付部
５２ 特定部
５３ 画像処理部
５４ 推定部
５５ 判定部
５６ 比較部
５７ 出力部
６０ 選択受付部
６１ 加工受付部
６２ 指定受付部
６３ 修正案受付部
６４ 許諾可否受付部
６５ 変換部
６６ 合成部
１００ 情報処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】