特許 7095917 プログラム、情報処理方法及び学習モデルの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-27

(45)【発行日】2022-07-05

(54)【発明の名称】プログラム、情報処理方法及び学習モデルの生成方法

(51)【国際特許分類】

   G06Q 30/06 20120101AFI20220628BHJP

   G06Q 50/12 20120101ALI20220628BHJP

【ＦＩ】

G06Q30/06

G06Q50/12

【請求項の数】 9

(21)【出願番号】P 2021008754

(22)【出願日】2021-01-22

(65)【公開番号】P2022023767

(43)【公開日】2022-02-08

【審査請求日】2021-01-22

(31)【優先権主張番号】P 2020126626

(32)【優先日】2020-07-27

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】510064266

【氏名又は名称】株式会社アルタレーナ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】八木 俊匡

【審査官】田中 秀樹

(56)【参考文献】

【文献】濱田 侑志，外１名，「身体・天候情報に基づくオリジナルコーヒー提案システム」，第８１回（２０１９年）全国大会講演論文集（４），一般社団法人 情報処理学会，2019年02月28日，p.661-662

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

ユーザの性別と、前記ユーザの内面及び外面の特徴に応じて分類された複数のエネルギータイプのいずれかとを含む属性情報を取得し、
ユーザの性別及び複数のエネルギータイプのいずれかを含む属性情報と、コーヒー豆の生産地域、精製方法及び焙煎度合に応じて分類される複数のコーヒータイプのいずれかとを含む訓練データを用いて学習された学習モデルであって、前記属性情報が入力された場合に、前記複数のコーヒータイプのそれぞれに対する出力値を出力するように学習された学習モデルに、取得した前記属性情報を入力して、前記複数のコーヒータイプのそれぞれに対する出力値を出力し、
出力された出力値のうちで最高の出力値に対応するコーヒータイプを特定する
処理をコンピュータに実行させるプログラム。

【請求項2】

気象情報を取得し、
前記属性情報及び気象情報が入力された場合に、前記複数のコーヒータイプのそれぞれに対する出力値を出力するように学習された学習モデルに、取得した前記属性情報及び気象情報を入力して、前記複数のコーヒータイプのそれぞれに対する出力値を出力する
処理を前記コンピュータに実行させる請求項１に記載のプログラム。

【請求項3】

前記学習モデルを用いて特定したコーヒータイプに対して、前記ユーザによる評価情報を取得し、
取得した評価情報に基づいて、前記ユーザの内面及び外面の特徴に応じて分類される前記複数のエネルギータイプのいずれかを特定する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項4】

二次元コードを読み取って得られたコードデータを外部装置から取得し、
取得したコードデータに対応する画面情報を前記外部装置へ送信し、
前記画面情報を介して入力された前記ユーザによる評価情報を前記外部装置から取得する
処理を前記コンピュータに実行させる請求項３に記載のプログラム。

【請求項5】

ユーザの性別と、前記ユーザの内面及び外面の特徴に応じて分類された複数のエネルギータイプのいずれかとを含む属性情報を取得し、
ユーザの性別及び複数のエネルギータイプのいずれかを含む属性情報と、コーヒー豆の生産地域、精製方法及び焙煎度合に応じて分類される複数のコーヒータイプのいずれかとを含む訓練データを用いて学習された学習モデルであって、前記属性情報が入力された場合に、前記複数のコーヒータイプのそれぞれに対する出力値を出力するように学習された学習モデルに、取得した前記属性情報を入力して、前記複数のコーヒータイプのそれぞれに対する出力値を出力し、
出力された出力値のうちで最高の出力値に対応するコーヒータイプを特定する
処理をコンピュータが実行する情報処理方法。

【請求項6】

撮影装置から、前記ユーザを撮影した撮影画像を取得し、
取得した撮影画像に基づいて、前記ユーザの前記属性情報を取得する
処理を前記コンピュータが実行する請求項５に記載の情報処理方法。

【請求項7】

ユーザの性別と、前記ユーザの内面及び外面の特徴に応じて分類された複数のエネルギータイプのいずれかとを含む属性情報、並びに、コーヒー豆の生産地域、精製方法及び焙煎度合に応じて分類される複数のコーヒータイプのいずれかを含む訓練データを取得し、
取得した訓練データを用いて、前記属性情報が入力された場合に、前記複数のコーヒータイプのそれぞれに対する出力値を出力する学習モデルを生成する
処理をコンピュータが実行する学習モデルの生成方法。

【請求項8】

ユーザの前記属性情報と、前記複数のコーヒータイプのいずれかに対する前記ユーザによる評価情報とを取得し、
取得した評価情報に基づいて、前記ユーザの前記属性情報と前記複数のコーヒータイプのいずれかとを含む訓練データを生成する
処理を前記コンピュータが実行する請求項７に記載の学習モデルの生成方法。

【請求項9】

前記複数のコーヒータイプのいずれかに対して、前記ユーザによる評価を表す文言を含む評価情報を取得し、
取得した前記評価情報に含まれる文言に基づいて、前記ユーザの内面及び外面の特徴に応じて分類される前記複数のエネルギータイプのいずれかを特定する
処理を前記コンピュータが実行する請求項７又は８に記載の学習モデルの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理方法及び学習モデルの生成方法に関する。

【背景技術】

【0002】

特許文献１では、コーヒーの濃度及び苦味と酸味のバランスを示す抽出割合について、利用者の好みの抽出割合を登録しておくことにより、利用者の好みの抽出割合でコーヒーを提供することができるシステムが開示されている。特許文献１に開示されたシステムでは、利用者にコーヒーを提供する都度、提供したコーヒーに対する利用者からの評価を受け取り、登録してある抽出割合に反映させるので、利用者の好みにより適合した抽出割合を管理することが可能である。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－２８６３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示されたシステムでは、利用者は提供されたコーヒーに対して感じた苦味、酸味及び濃度に対して、自身の好みの苦味、酸味及び濃度となるような調整値を入力することにより、提供されたコーヒーに対する評価を行う。しかし、コーヒーに関する知識を有しない利用者にとっては、コーヒーの苦味、酸味及び濃度を評価することは難しく、適切に評価できない場合、利用者の好みの抽出割合を得ることは困難である。

【0005】

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、コーヒーに関する知識が乏しいユーザであっても、ユーザに適したコーヒーの提供が可能となるプログラム等を提供することにある。

【課題を解決するための手段】

【0006】

本発明の一態様に係るプログラムは、ユーザの性別と、前記ユーザの内面及び外面の特徴に応じて分類された複数のエネルギータイプのいずれかとを含む属性情報を取得し、ユーザの性別及び複数のエネルギータイプのいずれかを含む属性情報と、コーヒー豆の生産地域、精製方法及び焙煎度合に応じて分類される複数のコーヒータイプのいずれかとを含む訓練データを用いて学習された学習モデルであって、前記属性情報が入力された場合に、前記複数のコーヒータイプのそれぞれに対する出力値を出力するように学習された学習モデルに、取得した前記属性情報を入力して、前記複数のコーヒータイプのそれぞれに対する出力値を出力し、出力された出力値のうちで最高の出力値に対応するコーヒーのタイプを特定する処理をコンピュータに実行させる。

【発明の効果】

【0007】

本発明の一態様にあっては、コーヒーに関する知識が乏しいユーザに対しても、ユーザに適したコーヒーを提供することが可能となる。

【図面の簡単な説明】

【0008】

【図1】情報処理システムの構成例を示すブロック図である。

【図2】コーヒータイプ判別モデルの構成例を示す模式図である。

【図3】ユーザ情報ＤＢの構成例を示す模式図である。

【図4】注文処理手順の一例を示すフローチャートである。

【図5】画面例を示す模式図である。

【図6】画面例を示す模式図である。

【図7】評価登録処理手順の一例を示すフローチャートである。

【図8】画面例を示す模式図である。

【図9】学習装置の構成例を示すブロック図である。

【図10】コーヒータイプ判別モデルの生成処理手順の一例を示すフローチャートである。

【図11】実施形態３のコーヒータイプ判別モデルの構成例を示す模式図である。

【図12】実施形態３の注文処理手順の一例を示すフローチャートである。

【図13】実施形態４のコーヒータイプ判別モデルの構成例を示す模式図である。

【図14】実施形態４の注文処理手順の一例を示すフローチャートである。

【図15】画面例を示す模式図である。

【図16】実施形態５の評価登録処理手順の一例を示すフローチャートである。

【図17】実施形態５の情報処理システムにおける処理を説明する模式図である。

【図18】ユーザ情報の登録処理手順の一例を示すフローチャートである。

【図19】画面例を示す模式図である。

【図20】実施形態７の注文用端末の説明図である。

【図21】実施形態７の注文処理手順の一例を示すフローチャートである。

【図22】実施形態７の注文処理手順の一例を示すフローチャートである。

【図23】画面例を示す模式図である。

【発明を実施するための形態】

【0009】

以下に、本開示のプログラム、情報処理方法及び学習モデルの生成方法について、その実施形態を示す図面に基づいて詳述する。以下の実施形態では、カフェ及び喫茶店等のコーヒーを販売する店舗におけるコーヒーの注文をネットワーク経由で受け付ける情報処理システムに適用した例について説明する。なお、コーヒーの販売店舗は、購入したコーヒーを店舗内で飲む形態の店舗であってもよく、購入したコーヒーを持ち帰る（テイクアウトする）形態の店舗であってもよく、購入したコーヒーを配達（デリバリー）してもらう形態の店舗であってもよい。本開示の技術は、コーヒーに限定されず、例えばビール、ワイン、ウイスキー等の酒類、紅茶、日本茶、中国茶等の茶、チョコレート、たばこ等の嗜好品の注文をネットワーク経由で受け付ける情報処理システムに適用できる。また本開示の技術は、ネットワーク経由で商品の注文を受け付けるだけでなく、注文を受け付けた商品を販売する情報処理システムにも適用できる。

【0010】

（実施形態１）
ネットワーク経由でコーヒーの注文を受け付ける情報処理システムについて説明する。図１は情報処理システムの構成例を示すブロック図である。本実施形態の情報処理システムは、サーバ１０及びユーザ端末２０等を含み、サーバ１０及びユーザ端末２０は、インターネット等のネットワークＮに接続可能であり、ネットワークＮを介して通信を行う。サーバ１０は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ又はパーソナルコンピュータ等である。サーバ１０は、複数台設けられていてもよいし、１台のサーバ装置内に設けられた複数の仮想マシンによって実現されていてもよいし、クラウドサーバを用いて実現されていてもよい。またサーバ１０は、ウェブサーバの機能を有し、コーヒーの注文をネットワークＮ経由で受け付ける注文サイト１２ＳをネットワークＮ経由で公開している。サーバ１０は、注文サイト１２Ｓを介してコーヒーの注文を受け付ける処理、ユーザ端末２０のユーザに関する情報に基づいてユーザに適切なコーヒーのタイプを特定して提案する処理等、種々の情報処理を行う。

【0011】

ユーザ端末２０は、ウェブサイト（注文サイト１２Ｓ）を介してコーヒーの注文を行うユーザの端末であり、スマートフォン、タブレット端末、パーソナルコンピュータ等である。ユーザ端末２０は、ネットワークＮ経由でウェブサイトにアクセスする処理等、種々の情報処理を行う。なお、ユーザ端末２０は、注文アプリケーションプログラム２２ＡＰ（以下では注文アプリ２２ＡＰという）がインストールされている場合、注文アプリ２２ＡＰを実行することによって注文サイト１２Ｓにアクセスする。本実施形態の情報処理システムでは、ユーザ端末２０は、ユーザからの指示に従って、サーバ１０が公開する注文サイト１２Ｓにアクセスし、注文サイト１２Ｓを介してコーヒーの注文処理を行う。その際、サーバ１０は、ユーザ端末２０のユーザに関する情報に基づいてユーザに適したコーヒーのタイプを特定し、ユーザが好む可能性の高いコーヒーをレコメンドする処理を行う。

【0012】

サーバ１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読み取り部１６等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを適宜実行することにより、サーバ１０が行うべき種々の情報処理及び制御処理等を実行する。

【0013】

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行する制御プログラム１２Ｐ及び制御プログラム１２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。また記憶部１２は、後述するコーヒータイプ判別モデルＭ及びユーザ情報ＤＢ（データベース）１２ａを記憶する。コーヒータイプ判別モデルＭは、機械学習によって学習させた学習済みモデルであり、人工知能ソフトウェアの一部として機能するプログラムモジュールとしての利用が想定される。ユーザ情報ＤＢ１２ａは、サーバ１０に接続された他の記憶装置に記憶されてもよく、サーバ１０が通信可能な他の記憶装置に記憶されてもよい。更に記憶部１２は、注文サイト１２Ｓを含むウェブサイトを記憶する。また、図示は省略するが、記憶部１２は、注文サイト１２Ｓを介して注文の受付が可能な商品に関する情報が登録してある商品情報ＤＢを記憶する。なお、商品情報ＤＢは、各商品に割り当てられた商品ＩＤに対応付けて、商品名、値段、コーヒー豆の生産地（生産地域）、精製方法、焙煎度合等の情報を記憶する。コーヒー豆の生産地、精製方法、焙煎度合等の情報は、ネットワークＮ経由で公開されている各種のウェブサイトから取得することができる。

【0014】

通信部１３は、有線通信又は無線通信によってネットワークＮに接続するためのインタフェースであり、ネットワークＮを介して他の装置との間で情報の送受信を行う。入力部１４は、マウス及びキーボード等を含み、サーバ１０を使用するユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４及び表示部１５は一体として構成されたタッチパネルであってもよい。

【0015】

読み取り部１６は、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等を含む可搬型記憶媒体１ａに記憶された情報を読み取る。記憶部１２に記憶される制御プログラム１２Ｐ及び各種のデータは、制御部１１が読み取り部１６を介して可搬型記憶媒体１ａから読み取って記憶部１２に記憶してもよい。また、記憶部１２に記憶される制御プログラム１２Ｐ及び各種のデータは、制御部１１が通信部１３を介して他の装置からダウンロードして記憶部１２に記憶してもよい。

【0016】

ユーザ端末２０は、制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５、カメラ２６等を含み、これらの各部はバスを介して相互に接続されている。ユーザ端末２０の制御部２１、記憶部２２、通信部２３、入力部２４及び表示部２５のそれぞれは、サーバ１０の制御部１１、記憶部１２、通信部１３、入力部１４及び表示部１５と同様の構成であるので詳細な説明は省略する。ユーザ端末２０の記憶部２２は、制御部２１が実行する制御プログラム２２Ｐに加え、ネットワークＮを介して注文サイト１２Ｓにアクセスするための注文アプリ２２ＡＰを記憶する。なお、記憶部２２は、注文アプリ２２ＡＰの代わりにウェブブラウザ（図示せず）を記憶していてもよい。

【0017】

カメラ２６は、制御部２１からの指示に従って撮影を行う撮像装置であり、取得した撮影画像（画像データ）を記憶部２２へ送出して記憶させる。カメラ２６は、ユーザ端末２０に内蔵されていてもよく、ユーザ端末２０に外付けされていてもよい。外付けされる場合、ユーザ端末２０は、外部カメラの接続が可能な接続部、又は外部カメラとの無線通信が可能な無線通信部を備え、外部カメラが撮影した画像データを接続部又は無線通信部を介して取得する。

【0018】

図２は、コーヒータイプ判別モデルＭの構成例を示す模式図である。本実施形態のコーヒータイプ判別モデルＭは、決定木、ランダムフォレスト等の機械学習のアルゴリズムを用いて構成される。また、本実施形態のコーヒータイプ判別モデルＭは、ニューラルネットワーク又はディープラーニングのアルゴリズムを用いて構成されていてもよく、複数のアルゴリズムを組み合わせて構成されていてもよい。コーヒータイプ判別モデルＭは、ユーザの属性を示す属性情報を入力とし、入力された属性情報に基づいてユーザに適したコーヒーのタイプを演算し、演算した結果を出力するように学習した学習済みモデルである。

【0019】

コーヒータイプ判別モデルＭは、入力層、中間層及び出力層から構成されている。本実施形態のコーヒータイプ判別モデルＭは、入力層の各入力ノードを介して、ユーザの属性情報としてユーザの性別及びエネルギータイプが入力される。エネルギータイプは、ユーザの外見（外面、外観）及び中身（内面、性格）の特徴に応じて分類される分類タイプであり、例えば服装、行動、社会的役割、身体的特性、性格特性等に基づいて分類されるジェンダータイプ、アイデンティティのタイプ等を用いてもよい。例えば外見及び中身が共に男らしいユーザは「男男」のエネルギータイプに分類され、外見が男らしく中身が女らしい（男らしくない）ユーザは「男女」のエネルギータイプに分類される。また外見及び中身が共に女らしいユーザは「女女」のエネルギータイプに分類され、外見が女らしく中身が男らしい（女らしくない）ユーザは「女男」のエネルギータイプに分類される。なお、外見が男らしい人とは、例えば短髪の人、筋肉質の人、凛々しい眉毛の人、黒っぽい服装の人、堅い印象の人が含まれ、外見が女らしい人とは、例えば長髪（美しい髪）の人、細身の人、肌が白い人、清楚な服装の人、柔らかい印象の人が含まれる。また中身が男らしい人とは、例えば決断力がある人、一貫性がある人、行動力がある人、包容力がある人、クールな人が含まれ、中身が女らしい人とは、例えば思いやりがある人、気遣いができる人、優柔不断な人、聞き上手な人が含まれる。外見が男らしい人又は女らしい人の判断、及び中身が男らしい人又は女らしい人の判断は上述したものに限定されない。また、エネルギータイプは、上述した４種類のタイプに限定されず、クール（冷静）、エネルギッシュ（情熱的）、ドライ、感情的等のタイプを含んでもよい。

【0020】

エネルギータイプは、例えばユーザに行ったアンケートに対するアンケート結果及びアンケート回答の内容に応じて特定（分類）される。例えば、注文サイト１２Ｓを利用するためにユーザ登録（初期登録）する際に、服装の好み、行動傾向、性格等が判別できるような質問を含むアンケートを行い、その結果に基づいて各ユーザのエネルギータイプを決定してもよい。また、アンケート結果にユーザの写真（画像）が含まれる場合、又はユーザの写真が公開されているＳＮＳ（Social Networking Service ）と連携する場合には、ユーザの写真からユーザの外見、服装等を判断することができ、判断結果からユーザのエネルギータイプを特定してもよい。なお、エネルギータイプは、機械学習によって学習させた学習済みモデルを用いて特定されてもよい。例えば上述したアンケート結果を入力とし、入力された情報に基づいて、入力されたアンケート結果を回答する可能性の高い人のエネルギータイプを演算し、演算した結果を出力するように学習した学習済みモデルを用いることができる。また、アンケート結果に加えてユーザの写真（画像）を入力し、このユーザのエネルギータイプを判別した結果を出力するように学習した学習済みモデルを用いてもよい。この場合、アンケート結果及びユーザの写真に基づいてユーザのエネルギータイプを特定できる。更に、ユーザの写真（画像）からユーザの感情等を抽出し、抽出した感情等も考慮してユーザのエネルギータイプを特定してもよい。

【0021】

コーヒータイプ判別モデルＭに入力されるユーザの属性情報は、ユーザの性別及びエネルギータイプに限定されず、例えばユーザの性別のみであってもよく、ユーザのエネルギータイプのみであってもよく、性別及びエネルギータイプに加えてユーザの年齢又は年齢層等の他の情報を含んでもよい。更にコーヒータイプ判別モデルＭは、ユーザの属性情報に加えて、脈拍、体温及び血圧等のユーザの生体データが入力されるように構成されていてもよい。

【0022】

入力層の各入力ノードにはそれぞれ対応するデータ（属性情報）が入力され、各入力ノードに入力されたユーザの属性情報は中間層に入力される。中間層は、入力された属性情報に基づいて、所定の関数及び重み付け係数等に基づく演算を行い、演算結果を出力層の各出力ノードから出力する。なお、例えば中間層が複数の層を有する場合、各層のノードは、各層間の関数及び重み付け係数等を用いて、入力された属性情報に基づく出力値を算出し、算出した出力値を順次後の層のノードに入力する。中間層は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に出力層の各出力ノードにそれぞれの出力値を与える。図２に示すコーヒータイプ判別モデルＭでは、出力層は４つの出力ノードを有しており、それぞれの出力ノードは、予め設定された第１～第４のコーヒータイプのそれぞれに対する判別確率を出力する。例えば出力ノード０は第１タイプに対する判別確率を出力し、出力ノード１は第２タイプに対する判別確率を出力し、出力ノード２は第３タイプに対する判別確率を出力し、出力ノード３は第４タイプに対する判別確率を出力する。それぞれの出力ノードが出力する判別確率は、それぞれの出力ノードに対応付けられたタイプのコーヒーが、入力層に入力された属性情報のユーザに最適である可能性（確率）を示す。出力層の各出力ノードの出力値は例えば０～１の値であり、全ての出力ノードから出力される判別確率の合計が１．０となる。

【0023】

コーヒータイプは例えばコーヒー豆の生産地、精製方法、焙煎度合等に基づいて分類した分類タイプを用いることができ、例えば第１～第４のコーヒータイプは「Active」、「Balance」、「Comfort」、「Deep think」の４タイプとすることができる。例えば「Active」タイプは焙煎度合が浅煎りのライトローストであるタイプとし、「Balance」タイプは焙煎度合が中程度のミディアムローストであるタイプとし、「Comfort」タイプは焙煎度合がやや深煎りのミディアムダークローストであるタイプとし、「Deep think」タイプは焙煎度合が深煎りのダークローストであるタイプとすることができる。なお、コーヒータイプはコーヒー豆の生産地、精製方法、焙煎度合等に基づく分類タイプであるので、多数のタイプを用いることができるが、本実施形態では便宜上４つのタイプを用いることとする。なお、例えばサーバ１０（コーヒータイプ判別モデルＭ）を設置又は利用する店舗毎に分類すべきコーヒータイプを設定することができるので、コーヒータイプ判別モデルＭは店舗毎に用意されていてもよい。

【0024】

コーヒータイプ判別モデルＭにおいて、入力層の入力ノードの数及び出力層の出力ノードの数は図２に示す例に限定されない。即ち、コーヒータイプ判別モデルＭに入力される属性情報は性別及びエネルギータイプに限定されず、コーヒータイプ判別モデルＭから判別確率が出力されるコーヒータイプは４つに限定されない。コーヒータイプ判別モデルＭで判別するコーヒータイプは、各店舗で販売されるコーヒーの種類に応じたタイプであり、判別すべきコーヒータイプの数は店舗に応じた数とすることができる。また、コーヒータイプ判別モデルＭにおいて、中間層における層数、層間の関数及び重み付け係数は任意に設定することができる。コーヒータイプ判別モデルＭは、ユーザの属性情報に加えて脈拍、体温及び血圧等の時系列で収集される時系列データ（生体データ）が入力される構成の場合、例えばＲＮＮ（Recurrent Neural Network）又はＬＳＴＭ（Long Short-Term Memory）によって構成されてもよい。

【0025】

コーヒータイプ判別モデルＭは、ユーザの属性情報と、この属性情報のユーザに適したコーヒータイプ（正解ラベル）とを含む訓練データを用いて学習する。コーヒータイプ判別モデルＭは、訓練データに含まれる属性情報が入力された場合に、訓練データに含まれる正解ラベルが示すコーヒータイプに対応する出力ノードから１の出力値が出力され、他の出力ノードから０の出力値が出力されるように学習する。学習処理においてコーヒータイプ判別モデルＭは、中間層における関数及び重み付け係数を最適化するように学習する。これにより、属性情報が入力された場合に、この属性情報のユーザに適したコーヒータイプを、予め設定されたコーヒータイプの中から特定するように学習された学習済みのコーヒータイプ判別モデルＭが得られる。なお、コーヒータイプ判別モデルＭの学習は、サーバ１０で行われてもよく、他の学習装置で行われてもよい。

【0026】

図３は、ユーザ情報ＤＢ１２ａの構成例を示す模式図である。ユーザ情報ＤＢ１２ａは、注文サイト１２Ｓを利用するためにユーザ登録（会員登録）したユーザに関する情報を記憶する。図３に示すユーザ情報ＤＢ１２ａは、ユーザＩＤ列、性別列、エネルギータイプ列、個人情報列、コーヒータイプ列、購入履歴列等を含み、ユーザＩＤに対応付けて、ユーザの各情報を記憶する。ユーザＩＤ列は、登録された各ユーザに割り当てられた識別情報（ユーザＩＤ）を記憶する。性別列及び個人情報列はそれぞれ、ユーザ登録の際にユーザによって指定された性別及び個人情報を記憶する。なお、性別は、ユーザ端末２０において制御部２１がカメラ２６でユーザの顔を撮影して取得した顔画像に基づいて特定した性別であってもよく、この場合、制御部２１は、顔画像から特定したユーザの性別と、ユーザによって入力された個人情報とをサーバ１０へ送信してユーザ情報ＤＢ１２ａに記憶する。個人情報は、例えばユーザの氏名、年齢、メールアドレス、電話番号、住所、注文サイト１２Ｓにログインする際に用いるパスワード、クレジットカード番号等の決済処理を行う際に用いる決済情報等を含んでいてもよい。エネルギータイプ列及びコーヒータイプ列はそれぞれ、ユーザの性別を含む属性情報に基づいて判別されたエネルギータイプ及びコーヒータイプを記憶する。購入履歴列は、ユーザが注文サイト１２Ｓを介して注文したコーヒーの情報（注文情報）と、注文情報に基づいて店舗内等で購入したコーヒーの情報（購入情報）とを記憶する。なお、購入履歴の各購入情報は、購入した商品に対してユーザが行った評価情報を含んでもよい。

【0027】

ユーザ情報ＤＢ１２ａに記憶されるユーザＩＤは、新たなユーザの情報がサーバ１０に登録される際に、制御部１１によって発行されて記憶される。ユーザ情報ＤＢ１２ａに記憶される性別及び個人情報の各情報は、制御部１１が例えば通信部１３を介して新たなユーザの各情報を取得した場合に、制御部１１によって記憶され、通信部１３を介して変更指示を取得した場合に、制御部１１によって変更される。ユーザ情報ＤＢ１２ａに記憶されるエネルギータイプ及びコーヒータイプの各情報は、制御部１１がユーザの属性情報等に基づいて特定した場合に、制御部１１によって記憶又は更新される。ユーザ情報ＤＢ１２ａに記憶される購入履歴は、制御部１１がユーザ端末２０から注文情報を受信した場合に、制御部１１によって受信日時（注文日時）及び注文内容を含む注文情報（注文履歴）が記憶され、注文情報に基づいて店舗内等でコーヒーが販売された後に、制御部１１が入力部１４又は通信部１３を介して購入情報を受信した場合に、制御部１１によって購入日時及び購入内容を含む購入情報（購入履歴）が記憶される。ユーザ情報ＤＢ１２ａの記憶内容は図３に示す例に限定されず、ユーザに関する各種の情報を記憶することができる。

【0028】

以下に、本実施形態の情報処理システムにおいて、ユーザがユーザ端末２０を用いて注文サイト１２Ｓを介してコーヒーを注文する際に各装置が行う処理について説明する。なお、本実施形態の情報処理システムでは、ユーザが注文サイト１２Ｓを介してコーヒーを注文する際に、サーバ１０はユーザの属性情報に基づいてユーザに適したコーヒータイプを特定し、特定したコーヒータイプをユーザにレコメンドする。図４は注文処理手順の一例を示すフローチャート、図５及び図６は画面例を示す模式図である。図４では左側にユーザ端末２０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。以下の処理は、ユーザ端末２０の記憶部２２に記憶してある制御プログラム２２Ｐ及び注文アプリ２２ＡＰに従って制御部２１によって実行され、サーバ１０の記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行される。また以下の処理においてユーザは、注文サイト１２Ｓを利用するために会員登録しているユーザとする。更に注文サイト１２Ｓが、利用する際にユーザのＩＤ及びパスワードを用いたログイン処理を必要とする場合、ユーザは自身のＩＤ及びパスワードを用いてサーバ１０（注文サイト１２Ｓ）に対してログイン処理を行っているものとする。以下の処理の一部を専用のハードウェア回路で実現してもよい。

【0029】

本実施形態の情報処理システムにおいて、コーヒーを注文したいユーザは、ユーザ端末２０に注文アプリ２２ＡＰを起動させ、注文アプリ２２ＡＰにてサーバ１０（注文サイト１２Ｓ）にアクセスし、注文サイト１２Ｓを介して購入したいコーヒーの注文を行う。なお、ユーザは、注文アプリ２２ＡＰの代わりにウェブブラウザをユーザ端末２０に起動させ、ウェブブラウザにてサーバ１０（注文サイト１２Ｓ）にアクセスしてもよい。

【0030】

ユーザ端末２０の制御部２１は、入力部２４を介したユーザからの指示に従って注文アプリ２２ＡＰを起動させた場合、図５Ａに示すようなメニュー画面を表示部２５に表示する（Ｓ１１）。メニュー画面は、サーバ１０によって生成されるレコメンドメニュー（お勧めメニュー）から注文するための「レコメンドメニューから注文」ボタンを有し、購入履歴から注文するための購入履歴メニューと、店舗が用意したメニューから注文するための通常メニューとを表示する。ユーザによる購入履歴の情報と通常メニューの情報とが注文アプリ２２ＡＰ内又は記憶部２２に記憶されている場合、制御部２１は、購入履歴情報及び通常メニュー情報を読み出して購入履歴メニュー及び通常メニューを生成する。そして制御部２１は、「レコメンドメニューから注文」ボタンと、生成した購入履歴メニュー及び通常メニューとを表示することにより、図５Ａに示すようなメニュー画面を生成する。なお、購入履歴メニューは、ユーザが過去に購入した各商品について、コーヒータイプ、購入日時、コーヒーの説明文、及びサムネイル画像等を含む商品情報を表示し、この商品に対して購入リストへの追加を指示するための「カートに入れる」ボタンと、この商品に対する評価を入力するための「評価入力」ボタンとを有する。図５Ａの購入履歴メニューは、１つの購入履歴による商品と、他の商品を見たい場合に操作する「もっと見る」ボタンとを表示する構成であるが、複数の購入履歴による複数の商品を表示する構成でもよい。通常メニューは、店舗で購入可能な各商品について、コーヒータイプ、説明文、及びサムネイル画像等を含む商品情報を表示し、この商品に対応する「カートに入れる」ボタンを有する。制御部２１は、注文アプリ２２ＡＰを起動した場合にサーバ１０（注文サイト１２Ｓ）にアクセスしてメニュー画面を要求し、サーバ１０で生成されたメニュー画面を受信して表示部２５に表示するように構成されていてもよい。また制御部２１は、注文アプリ２２ＡＰを起動した場合に、メニュー画面に表示する購入履歴メニュー及び通常メニューのいずれか一方又は両方を、サーバ１０（注文サイト１２Ｓ）にアクセスしてサーバ１０から取得するように構成されていてもよい。

【0031】

ユーザ端末２０のユーザは、レコメンドメニューから注文したい場合、メニュー画面中の「レコメンドメニューから注文」ボタンを入力部２４から操作することにより、レコメンドメニューの要求を指示する。またユーザは、購入履歴メニュー又は通常メニューから注文したい場合、メニュー画面中の購入履歴メニュー又は通常メニューに表示された商品に対応する「カートに入れる」ボタンを入力部２４から操作することにより、商品の購入リストへの追加を指示する。ユーザ端末２０の制御部２１は、メニュー画面中の「レコメンドメニューから注文」ボタンが操作されたか否かに応じて、レコメンドメニューの要求指示を受け付けたか否かを判断する（Ｓ１２）。レコメンドメニューの要求指示を受け付けていないと判断した場合（Ｓ１２：ＮＯ）、制御部２１はステップＳ１８に処理を移行する。

【0032】

レコメンドメニューの要求指示を受け付けたと判断した場合（Ｓ１２：ＹＥＳ）、制御部２１は、レコメンドメニューの要求情報を通信部２３からサーバ１０へ送信する（Ｓ１３）。例えば制御部２１は、ユーザＩＤを含み、レコメンドメニューを要求する要求情報をサーバ１０へ送信する。サーバ１０の制御部１１は、ユーザ端末２０からレコメンドメニューの要求情報を受信した場合、受信した要求情報に含まれるユーザＩＤに対応するユーザ情報をユーザ情報ＤＢ１２ａから読み出す（Ｓ１４）。例えば制御部１１は、ユーザＩＤに対応する性別及びエネルギータイプをユーザ情報ＤＢ１２ａから読み出す。そして制御部１１は、読み出したユーザの性別及びエネルギータイプに基づいて、このユーザに適したレコメンド商品（コーヒータイプ）を特定する（Ｓ１５）。本実施形態では、制御部１１は、読み出したユーザの性別及びエネルギータイプに基づいて、このユーザが好む可能性の高いコーヒータイプを、予め設定された４つのコーヒータイプの中から特定する。具体的には、制御部１１は、読み出したユーザの性別及びエネルギータイプをコーヒータイプ判別モデルＭに入力し、コーヒータイプ判別モデルＭからの出力情報に基づいて、ユーザに適したコーヒータイプを特定（推測）する。例えば制御部１１は、コーヒータイプ判別モデルＭの各出力ノードからの出力値のうちで、最大の出力値（判別確率）を出力した出力ノードを特定し、特定した出力ノードに対応付けられているコーヒータイプをユーザに適したコーヒータイプに特定する。また制御部１１は、最大の出力値を出力した出力ノードを特定し、ここでの最大値が所定値（例えば０．７）以上である場合に、特定した出力ノードに対応付けられているコーヒータイプをユーザに適したコーヒータイプに特定してもよい。また制御部１１は、出力値が大きい順に所定数の出力ノードを特定し、又は、出力値が所定値（例えば０．４）以上である１又は複数の出力ノードを特定し、特定した出力ノードに対応付けられているコーヒータイプをユーザに適したコーヒータイプに特定してもよい。なお、ユーザ情報ＤＢ１２ａにエネルギータイプが登録されていない場合、制御部１１は、ユーザ情報ＤＢ１２ａから読み出したユーザの性別のみをコーヒータイプ判別モデルＭに入力し、コーヒータイプ判別モデルＭからの出力情報に基づいて、ユーザに適したコーヒータイプを特定してもよい。また制御部１１は、レコメンド商品を特定した場合に、このユーザの購入履歴をユーザ情報ＤＢ１２ａから読み出し、特定したレコメンド商品に対して過去の購入時の評価情報を確認し、低い評価が行われていた場合、特定したレコメンド商品以外の商品から、再度レコメンド商品の特定を行ってもよい。

【0033】

制御部１１は、コーヒータイプ判別モデルＭからの出力情報に基づいてレコメンド商品を特定した場合、特定したレコメンド商品を表示するレコメンドメニューを生成して通信部１３からユーザ端末２０へ送信する（Ｓ１６）。ユーザ端末２０の制御部２１は、サーバ１０からレコメンドメニューを受信した場合、受信したレコメンドメニューを表示したレコメンドメニュー画面を表示部２５に表示する（Ｓ１７）。図５Ｂはレコメンドメニュー画面例を示しており、レコメンドメニュー画面は、サーバ１０がコーヒータイプ判別モデルＭを用いて特定したレコメンド商品を表示する。レコメンドメニューは、ユーザの性別及びエネルギータイプに基づいてユーザにお勧めしたいコーヒーについて、コーヒータイプ、説明文及びサムネイル画像等を含む商品情報を表示し、この商品に対応する「カートに入れる」ボタンを有する。図５Ｂのレコメンドメニューは、１つの商品を表示する構成であるが、複数のレコメンド商品を表示する構成でもよい。ユーザは、レコメンドメニューから注文したい場合、レコメンドメニュー画面に表示された商品に対応する「カートに入れる」ボタンを入力部２４から操作することにより、商品の購入リストへの追加を指示する。

【0034】

よって、制御部２１は、図５Ａに示すメニュー画面中の購入履歴メニュー又は通常メニュー、或いは図５Ｂに示すレコメンドメニューにおいて、いずれかの商品に対応する「カートに入れる」ボタンが操作されたか否かに応じて、購入リストへの追加指示を受け付けたか否かを判断する（Ｓ１８）。購入リストへの追加指示を受け付けていないと判断した場合（Ｓ１８：ＮＯ）、制御部２１はステップＳ１１の処理に戻り、購入リストへの追加指示を受け付けるまでステップＳ１１～Ｓ１８の処理を繰り返す。

【0035】

購入リストへの追加指示を受け付けたと判断した場合（Ｓ１８：ＹＥＳ）、制御部２１は、選択された商品を購入リストに追加する（Ｓ１９）。具体的には、制御部２１は、記憶部２２に記憶する購入リストに、選択された商品の情報（例えば商品ＩＤ又は商品名）を追加する。ユーザは、購入したい商品を全て購入リストに追加した後、入力部２４を介して所定の操作を行うことにより、注文手続への移行を指示する。例えば、図５Ａ及び図５Ｂに示す各メニュー画面、又は購入リストに追加された商品の一覧画面（図示せず）に、注文手続への移行を指示するための注文ボタンが設けてある場合、ユーザは入力部２４にて注文ボタンを操作する。ユーザ端末２０の制御部２１は、画面中の注文ボタンが操作されたか否かに応じて、注文手続の実行指示を受け付けたか否かを判断しており（Ｓ２０）、受け付けていないと判断した場合（Ｓ２０：ＮＯ）、ステップＳ１１の処理に戻る。

【0036】

注文手続の実行指示を受け付けたと判断した場合（Ｓ２０：ＹＥＳ）、制御部２１は、購入リストに追加した商品の注文画面を表示部２５に表示する（Ｓ２１）。図６Ａは注文画面例を示しており、注文画面は、購入リストに追加された各商品についてコーヒータイプ、説明文及びサムネイル画像等を含む商品情報を表示する。また注文画面は、購入対象の商品の受取方法として店頭で受け取るかデリバリーを希望するかを選択するためのラジオボタンを有する。更に注文画面は、店頭で受け取る受取方法が選択された場合に、受取時刻として「これからすぐ」を指定するか受取時刻を指定するかを選択するためのラジオボタンと、受取時刻の指定が選択された場合に受取時刻を入力するための入力欄２５ａと、指定された受取時刻での注文の実行を指示するための注文ボタンとを有する。なお、受取時刻の入力欄２５ａには、店頭での受け取りが可能な時刻のうちの任意の時刻を指定できるプルダウンメニューが設けられている。また注文画面は、デリバリーでの受取方法が選択された場合に、配達先の住所を入力するための入力欄２５ｂと、連絡先として電話番号を入力するための入力欄２５ｃと、配達希望時刻を入力するための入力欄２５ｄと、入力された内容での注文の実行を指示するための注文ボタンとを有する。なお、配達希望時刻の入力欄２５ｄには、店舗からのデリバリーが可能な時刻のうちの任意の時刻を指定できるプルダウンメニューが設けられている。

【0037】

ユーザ端末２０のユーザは、注文した商品を店頭で受け取りたい場合、注文画面において「店頭で受け取り」のラジオボタンを選択し、受取時間として「これからすぐ」のラジオボタン又は「受け取り時間を指定」のラジオボタンを選択し、「受け取り時間を指定」のラジオボタンを選択した場合、商品の受け取りを希望する時刻を入力欄２５ａに入力する。その後、ユーザは、店頭で受け取る注文に対応する注文ボタンを操作することにより、入力した内容での注文処理の実行を指示する。またユーザは、注文した商品をデリバリーにて受け取りたい場合、注文画面において「デリバリー」のラジオボタンを選択し、配達先の住所、電話番号、商品の受け取り（配達）を希望する時刻をそれぞれ入力欄２５ｂ～２５ｄに入力する。その後、ユーザは、デリバリーで受け取る注文に対応する注文ボタンを操作することにより、入力した内容での注文処理の実行を指示する。

【0038】

ユーザ端末２０の制御部２１は、注文画面において入力部２４を介して注文内容を受け付ける（Ｓ２２）。制御部２１は、入力部２４を介して選択されたラジオボタンにチェックマークを付加し、受け付けた注文内容をそれぞれの入力欄２５ａ～２５ｄに表示する。そして制御部２１は、注文ボタンが操作されることによって、入力された注文内容での注文の実行指示を受け付けた場合、入力された注文内容の注文情報を通信部２３を介してサーバ１０へ送信する（Ｓ２３）。例えば制御部２１は、ユーザのユーザＩＤと注文内容とを含む注文情報をサーバ１０へ送信する。

【0039】

サーバ１０の制御部１１は、ユーザ端末２０から注文情報を受信した場合、受信した注文情報に基づく注文を受け付ける（Ｓ２４）。例えば制御部１１は、受信した注文情報に、注文の受付番号（識別番号）を発行し、受付番号と注文情報とを対応付けて注文情報ＤＢ（図示せず）に記憶する。また制御部１１は、受信した注文情報からユーザＩＤを抽出し、抽出したユーザＩＤに対応する購入履歴として、受信した注文情報（注文履歴）をユーザ情報ＤＢ１２ａに記憶する。これにより、サーバ１０はユーザ端末２０からの注文の受付処理を完了し、受付を完了したことを示す受付完了画面を生成してユーザ端末２０へ送信する（Ｓ２５）。図６Ｂ及び図６Ｃは受付完了画面例を示す。図６Ｂに示す画面は、店頭での受け取りが指定された注文の受付完了画面を示しており、注文の受付番号と、注文の受付が完了したことと、店頭で商品を受け取ることと、注文時にユーザが指定した受け取り時間とを表示している。図６Ｃに示す画面は、デリバリーでの受け取りが指定された注文の受付完了画面を示しており、注文の受付番号と、注文の受付が完了したことと、注文時にユーザが指定した配達先の住所及び配達予定時刻とを表示している。

【0040】

ユーザ端末２０の制御部２１は、サーバ１０から受付完了画面を受信した場合、受信した受付完了画面を表示部２５に表示する（Ｓ２６）。これにより、ユーザが店頭での受け取りを指定した注文を行った場合、図６Ｂに示す受付完了画面が表示部２５に表示され、ユーザがデリバリーでの受け取りを指定した注文を行った場合、図６Ｃに示す受付完了画面が表示部２５に表示される。そしてユーザは、受付完了画面を確認した後、自身が注文した内容に従って、受取時刻に商品を受け取るために店舗に出向き、又は配達予定時刻に配達先で配達員の到着を待つ。店頭での受け取りを指定した注文を行ったユーザは、自身が指定した受取時刻に店舗に行き、図６Ｂに示す受付完了画面を表示部２５に表示させたユーザ端末２０を店員に提示し、注文した商品を店舗の店員から購入する。なお、注文時に決済方法としてクレジットカード決済を選択していた場合、ユーザは、購入料金の支払いを行わずに商品の受け取りのみを行う。デリバリーでの受け取りを指定した注文を行ったユーザは、自身が指定した配達予定時刻に配達先に到着した配達員に、図６Ｃに示す受付完了画面を表示部２５に表示させたユーザ端末２０を提示し、注文した商品を配達員から購入する。ここでも、注文時に決済方法としてクレジットカード決済を選択していた場合、ユーザは、購入料金の支払いを行わずに商品の受け取りのみを行う。

【0041】

注文サイト１２Ｓを介して注文された商品をユーザに販売した店員又は配達員は、店舗内の端末（例えばＰＯＳ端末）又は配達員の携帯端末を介して、販売完了を通知するための通知情報をサーバ１０へ送信する。店舗内の端末又は配達員の携帯端末は、例えば販売したユーザのユーザＩＤ及び商品の商品ＩＤを含み、販売完了を示す販売完了情報をサーバ１０へ送信する。この場合、サーバ１０の制御部１１は、店舗内の端末又は配達員の携帯端末から受信した販売完了情報からユーザＩＤ及び商品ＩＤを抽出し、抽出したユーザＩＤに対応する購入履歴として、抽出した商品ＩＤの注文情報に購入済みを示す情報を付加してユーザ情報ＤＢ１２ａに記憶する。これにより、サーバ１０は注文サイト１２Ｓを介して受け付けた注文に基づく商品の販売処理を完了した場合、ユーザの購入履歴をユーザ情報ＤＢ１２ａに蓄積することができる。

【0042】

注文サイト１２Ｓから注文した商品を購入したユーザは、商品のコーヒーを飲んだ後にコーヒーに対する評価を行うことができる。本実施形態では、図５Ａに示すようにメニュー画面中の購入履歴メニューの各商品に対応して、評価を入力するための「評価入力」ボタンが設けられている。よって、ユーザは、商品に対する評価を行いたい場合、注文アプリ２２ＡＰをユーザ端末２０に起動させ、図５Ａに示すメニュー画面を表示部２５に表示させることにより、メニュー画面を介して評価情報を入力することができる。以下に、本実施形態の情報処理システムにおいて、ユーザが購入した商品（コーヒー）に対する評価を行う際に各装置が行う処理について説明する。図７は評価登録処理手順の一例を示すフローチャート、図８は画面例を示す模式図である。図７では左側にユーザ端末２０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。以下の処理の一部を専用のハードウェア回路で実現してもよい。

【0043】

ユーザ端末２０の制御部２１は、入力部２４を介して注文アプリ２２ＡＰの起動指示を受け付けた場合、注文アプリ２２ＡＰを起動させ、図５Ａに示すようなメニュー画面を表示部２５に表示する（Ｓ３１）。なお、図５Ａに示すメニュー画面において、購入履歴メニュー中の各商品に対応して、商品に対する評価の入力を指示するための評価入力ボタンが設けられている。よって、ユーザは、メニュー画面中の購入履歴メニューにおいて、評価を入力したい商品に対応する評価入力ボタンを入力部２４から操作することにより、評価情報の入力を指示する。ユーザ端末２０の制御部２１は、メニュー画面中の購入履歴メニューにおいて、いずれかの商品に対する評価情報の入力指示を受け付けたか否かを判断し（Ｓ３２）、受け付けていないと判断した場合（Ｓ３２：ＮＯ）、ステップＳ３１の処理に戻り、メニュー画面の表示を継続する。

【0044】

いずれかの商品に対する評価情報の入力指示を受け付けたと判断した場合（Ｓ３２：ＹＥＳ）、制御部２１は、評価情報を入力するための入力画面を表示部２５に表示する（Ｓ３３）。図８は評価入力画面例を示す。図８に示す評価入力画面は、評価対象として選択された商品の商品情報（コーヒータイプ、購入日時、コーヒーの説明文及びサムネイル画像等）を表示し、この商品に対するスコアとして１～５のスコア（例えば５が最高スコアで０．５刻みのスコア）を入力するための入力バー２５ｅと、入力バー２５ｅを用いて入力されたスコアとした理由を入力するための入力欄２５ｆ，２５ｇとを有する。なお、入力欄２５ｆは、ユーザがコーヒーに対して感じた味わいの印象を表す言葉（文言）を入力するための入力欄であり、選択肢の言葉が複数表示してある。入力欄２５ｆに表示される言葉は、図８に示した例に限定されず、例えばバランスの良い、香りの良い、苦い、重い、軽い、濃い、舌に残る、さっぱりした、フルーティ、甘い、どっしり、ずっしり、キレのある、スッキリした、風味の良い、リッチな、マイルドな、こくがある、まろやか、舌触りの良い、奥行きがある、やわらかい等の言葉を用いてもよい。入力欄２５ｇは、ユーザがコーヒーに対して感じた印象及び評価等に関するコメントを任意の言葉で入力するための入力欄である。また、図８に示す評価入力画面は、購入した商品についてＳＮＳに投稿してＳＮＳを介して他のユーザとの間で共有することを指示するための「ＳＮＳでシェア」ボタンが設けられている。

【0045】

ユーザは、評価入力画面において入力部２４を用いて入力バー２５ｅを操作することにより、表示中の商品に対するスコアを入力し、入力欄２５ｆにおいて自身が感じた印象に最も適合する言葉を１つ選択し、入力欄２５ｇにコメントを入力することにより、商品に対する評価情報を入力する。なお、入力欄２５ｆでは複数の言葉が選択されてもよい。またユーザは、商品に対するスコア及びその理由を入力した後、評価入力画面中のＯＫボタンを操作することにより、入力した評価情報をサーバ１０に登録する指示を行う。更にユーザは、商品に関する情報及び感想等をＳＮＳで他のユーザと共有したい場合、「ＳＮＳでシェア」ボタンを操作する。「ＳＮＳでシェア」ボタンが操作された場合、制御部２１は、例えばFacebook（登録商標）、Twitter（登録商標）、Instagram（登録商標）、LINE（登録商標）、YouTube（登録商標）等のＳＮＳの選択を受け付ける画面を表示し、いずれかのＳＮＳが選択された場合、選択されたＳＮＳ用のアプリを起動させる。そしてユーザは、選択したＳＮＳを用いて、購入した商品に関する情報、感想及び評価等を投稿する。なお、ＳＮＳ用のアプリは予め記憶部２２に記憶しておく。

【0046】

ユーザ端末２０の制御部２１は、評価入力画面中の入力バー２５ｅ及び入力欄２５ｆ～２５ｇに対して入力部２４を介して評価情報を受け付ける（Ｓ３４）。制御部２１は、入力バー２５ｅにスコアが入力された場合、入力されたスコアを示すマーク（図８では白丸のマーク）を入力バー２５ｅに付加し、入力欄２５ｆに表示された言葉のいずれかが選択された場合、選択された言葉を他の言葉とは異なる形態で表示し（例えば強調して表示する）、入力欄２５ｇにコメントが入力された場合、入力されたコメントを入力欄２５ｇに表示する。これにより、入力部２４を介してユーザが入力した評価情報を評価入力画面に表示させることができ、ユーザは、自身が入力した評価情報を確認することができる。

【0047】

制御部２１は、評価入力画面中のＯＫボタンが操作されることによって、入力された評価情報をサーバ１０に登録する処理の実行指示を受け付けた場合、入力された評価情報を通信部２３からサーバ１０へ送信する（Ｓ３５）。例えば制御部２１は、ユーザのユーザＩＤと評価対象の商品の商品ＩＤとを評価情報に付加してサーバ１０へ送信する。サーバ１０の制御部１１は、ユーザ端末２０から評価情報を受信した場合、受信した評価情報をユーザ情報ＤＢ１２ａに記憶する（Ｓ３６）。具体的には、制御部１１は、受信した評価情報からユーザＩＤ及び商品ＩＤを抽出し、抽出したユーザＩＤに対応付けてユーザ情報ＤＢ１２ａに記憶してある購入履歴のうちで、抽出した商品ＩＤの購入情報（注文情報）に対して、受信した評価情報を付加してユーザ情報ＤＢ１２ａに記憶する。これにより、各ユーザが購入した商品に対して行った評価の情報をユーザ情報ＤＢ１２ａに蓄積できる。

【0048】

その後、制御部１１は、ユーザによる評価対象の商品のコーヒータイプと、ユーザの評価内容とに基づいて、このユーザのエネルギータイプを特定する（Ｓ３７）。例えば、それぞれのコーヒータイプとそれぞれの評価内容（例えばスコアの値又は味わいの印象を表す言葉）との各組合せについて、評価内容が示す評価を行う可能性の高い人のエネルギータイプを対応付けてテーブルに登録しておく。そして制御部１１は、ユーザ端末２０から受信した評価情報における評価対象のコーヒータイプと評価内容との組合せを、テーブルの登録内容から検索することにより、評価対象のコーヒータイプと評価内容との組合せに合致するエネルギータイプを特定できる。なお、制御部１１は、機械学習によって学習させた学習済みモデルを用いて、評価対象のコーヒータイプと評価内容との組合せに対応するエネルギータイプを特定してもよい。この場合、例えばコーヒータイプと評価内容との組合せを入力とし、入力された各情報に基づいて、入力されたコーヒータイプに対して入力された評価内容の評価を行う可能性の高い人のエネルギータイプを演算し、演算した結果を出力するように学習した学習済みモデルを用いることができる。またユーザ端末２０から受信した評価情報に、ユーザがコーヒーに対して感じた印象及び評価等を任意の言葉（文言）で入力したコメントが含まれる場合、制御部１１は、評価情報からユーザによる評価を表す言葉を抽出し、抽出した言葉に基づいてユーザのエネルギータイプを特定してもよい。この場合、例えばそれぞれのコーヒータイプに対して、それぞれのエネルギータイプの人が用いる可能性の高い文言（評価に関する文言）を予め登録しておくことにより、制御部１１は、ユーザが使用した文言に基づいてエネルギータイプを特定できる。また、ユーザがユーザ端末２０を用いてＳＮＳに商品（コーヒー）に関する情報及び感想等を投稿した場合、制御部１１は、ユーザがＳＮＳに投稿した文章の文言及び内容に基づいてユーザのエネルギータイプを特定してもよい。この場合、それぞれのエネルギータイプの人が用いる可能性の高い文言及び内容（ＳＮＳに投稿する文章の文言及び内容）を予め登録しておくことにより、制御部１１は、ユーザがＳＮＳに投稿した内容に基づいてエネルギータイプを特定できる。また、この場合、ＳＮＳでユーザの写真（画像）が公開されていれば、制御部１１は、ユーザ端末２０からユーザの写真を取得し、ユーザの写真からユーザの外見、服装等を判断し、判断結果及び／又は投稿内容を用いてユーザのエネルギータイプを特定してもよい。なお、この場合でも、制御部１１は、機械学習によって学習させた学習済みモデルを用いて、ユーザの写真からユーザのエネルギータイプを特定してもよい。更に制御部１１は、評価対象の商品のコーヒータイプ及びユーザによる評価内容に加えて、ユーザの性別等の属性情報も考慮して、ユーザのエネルギータイプを特定してもよい。この場合にも上述した処理と同様の処理によってユーザのエネルギータイプを特定できる。

【0049】

制御部１１は、ユーザ端末２０から受信した評価情報からエネルギータイプを特定した場合、特定したエネルギータイプを、ユーザ端末２０のユーザのユーザＩＤに対応付けてユーザ情報ＤＢ１２ａに記憶する（Ｓ３８）。なお、ユーザＩＤに対応するエネルギータイプが既にユーザ情報ＤＢ１２ａに記憶してある場合、制御部１１は、既に記憶してあるエネルギータイプと、特定したエネルギータイプとが異なれば、特定したエネルギータイプに更新（上書き保存）してもよい。また、制御部１１は、エネルギータイプを特定した日時又は商品の購入日時と、特定したエネルギータイプとを対応付けて、ユーザＩＤに対応するエネルギータイプとして蓄積（追加して保存）してもよい。

【0050】

また制御部１１は、ユーザ端末２０から受信した評価情報に基づいて、コーヒータイプ判別モデルＭを再学習させるための訓練データを生成し、生成した訓練データを、例えば記憶部１２に設けられた訓練データＤＢ（図示せず）に記憶する（Ｓ３９）。例えば制御部１１は、受信した評価情報が高評価を示す情報であった場合、例えばスコアが４以上であった場合、この評価を行ったユーザの属性情報をユーザ情報ＤＢ１２ａから読み出し、評価対象の商品のコーヒータイプを例えば商品情報ＤＢから読み出す。具体的には、制御部１１は、受信した評価情報からユーザＩＤ及び商品ＩＤを抽出し、抽出したユーザＩＤに対応付けてユーザ情報ＤＢ１２ａに記憶してある性別及びエネルギータイプを含む属性情報を読み出し、抽出した商品ＩＤの商品のコーヒータイプを取得する。そして制御部１１は、読み出した属性情報（性別及びエネルギータイプ）と、取得したコーヒータイプ（正解ラベル）とを対応付けて訓練データを生成する。

【0051】

上述した処理により、本実施形態の情報処理システムでは、ユーザが注文サイト１２Ｓを介してコーヒーの注文を行う際に、サーバ１０がコーヒータイプ判別モデルＭを用いてユーザの属性情報に適したコーヒータイプを特定し、特定したコーヒータイプの商品をレコメンドすることができる。よって、コーヒーの知識が乏しいユーザであっても、ユーザが好む可能性の高い商品のレコメンドを受けることができるので、好みに合った商品を購入することが可能となる。なお、本実施形態の情報処理システムにおいて、コーヒータイプ判別モデルＭは、ユーザ端末２０の記憶部２２に記憶されていてもよい。この場合、ユーザ端末２０の制御部２１は、図５Ａに示すメニュー画面中の「レコメンドメニューから注文」ボタンが操作された場合に、レコメンドメニューの要求情報をサーバ１０へ送信せずに、記憶部２２に記憶してあるコーヒータイプ判別モデルＭを用いてレコメンド商品を特定する。具体的には、例えばユーザの性別及びエネルギータイプを含むユーザ情報を注文アプリ２２ＡＰ又は記憶部２２に記憶しておき、制御部２１は、記憶部２２からユーザ情報を読み出し、読み出したユーザ情報（性別及びエネルギータイプ）をコーヒータイプ判別モデルＭに入力し、コーヒータイプ判別モデルＭからの出力情報に基づいて、ユーザに適したレコメンド商品（コーヒータイプ）を特定する。そして制御部２１は、特定したレコメンド商品を表示するレコメンドメニューを生成し、図５Ｂに示すようなレコメンドメニュー画面を表示部２５に表示する。この場合にも、ユーザは自身が好む可能性の高い商品のレコメンドを受けることができる。

【0052】

また、本実施形態の情報処理システムでは、ユーザは、購入した商品に対する評価を行うことができるので、ユーザがレコメンドされた商品を購入した場合には、レコメンドされた商品に対する評価をサーバ１０にフィードバックすることが可能となる。また、ユーザが購入した商品に対して行った評価の内容（評価情報）に基づいて、コーヒータイプ判別モデルＭを再学習させるための訓練データを生成することができ、このような訓練データを用いてコーヒータイプ判別モデルＭを再学習させた場合には、よりユーザに適したコーヒータイプの判別が可能なコーヒータイプ判別モデルＭを生成することができる。

【0053】

本実施形態では、予め設定された４種類のコーヒータイプの中から、ユーザに適したコーヒータイプを特定してレコメンドする構成であるが、このような構成に限定されない。例えば、ユーザの属性情報に適したコーヒー豆の生産地を特定し、ユーザの属性情報に適した精製方法を特定し、ユーザの属性情報に適した焙煎度合を特定し、特定した各情報に合致する商品をレコメンド商品としてもよい。この場合、ユーザの属性情報を入力とし、入力された属性情報に適したコーヒー豆の生産地を複数の生産地から特定するための学習モデルと、入力された属性情報に適したコーヒー豆の精製方法を複数の精製方法から特定するための学習モデルと、入力された属性情報に適したコーヒー豆の焙煎度合を複数の焙煎度合から特定するための学習モデルとを各別に設けてもよい。また、それぞれ特定したコーヒー豆の生産地、精製方法及び焙煎度合に基づいてレコメンド商品を特定するように構成された学習モデルを用いてもよい。更に、レコメンド商品を特定する際に、ユーザの性別及びエネルギータイプに加えて、ユーザの年齢又は年齢層、コーヒーを飲む時間帯、天気、季節、生体データ（脈拍、体温、血圧等）等の各情報のいずれか又は複数を用いてもよい。この場合、ユーザの性別及びエネルギータイプに加えて、これらの各情報を入力とし、入力した各情報に基づいてユーザに適したコーヒータイプを演算し、演算結果を出力するように学習した学習済みモデルを用いればよい。

【0054】

（実施形態２）
実施形態１のサーバ１０で使用したコーヒータイプ判別モデルＭの生成処理について説明する。なお、コーヒータイプ判別モデルＭの学習は例えば所定の学習装置で行われ、学習装置で学習が行われて生成された学習済みのコーヒータイプ判別モデルＭは、ネットワークＮ経由又は可搬型記憶媒体１ａ経由で学習装置からサーバ１０にダウンロードされて記憶部１２に記憶される。図９は、学習装置の構成例を示すブロック図である。学習装置５０は、パーソナルコンピュータ、サーバコンピュータ等で構成されており、制御部５１、記憶部５２、通信部５３、入力部５４、表示部５５、読み取り部５６等を含み、これらの各部はバスを介して相互に接続されている。学習装置５０の各部５１～５６は、実施形態１のサーバ１０の各部１１～１６と同様であるので詳細な説明は省略する。なお、学習装置５０の記憶部５２は、制御プログラム５２Ｐ及びコーヒータイプ判別モデルＭのほかに、コーヒータイプ判別モデルＭの学習に用いる訓練データが記憶してある訓練データＤＢ５２ａを記憶する。訓練データＤＢ５２ａには、ユーザの性別及びエネルギータイプを含む属性情報と、このユーザが好むコーヒーのタイプを示す情報（正解ラベル）とが対応付けられた訓練データが記憶されている。なお、訓練データＤＢ５２ａに記憶してある訓練データは、上述した実施形態１のサーバ１０において制御部１１が、図７中のステップＳ３９で生成した訓練データを含む。即ち、ユーザによる評価情報に基づいて生成された訓練データを含んでもよい。

【0055】

図１０はコーヒータイプ判別モデルＭの生成処理手順の一例を示すフローチャートである。学習装置５０の制御部５１は、訓練データＤＢ５２ａから訓練データを１つ取得する（Ｓ５１）。制御部５１は、読み出した訓練データを用いてコーヒータイプ判別モデルＭの学習処理を行う（Ｓ５２）。ここでは、制御部５１は、訓練データに含まれる属性情報をコーヒータイプ判別モデルＭに入力し、このときに、訓練データに含まれる正解ラベルに対応する出力ノードからの出力値が１に近づき、他の出力ノードからの出力値が０に近づくようにコーヒータイプ判別モデルＭを学習させる。なお、学習処理においてコーヒータイプ判別モデルＭは、例えば誤差逆伝播法を用いて、中間層において実行される演算処理における関数の係数及び重み付け係数等を最適化するように学習する。

【0056】

制御部５１は、訓練データＤＢ５２ａに記憶してある訓練データにおいて、未処理の訓練データがあるか否かを判断し（Ｓ５３）、未処理の訓練データがあると判断した場合（Ｓ５３：ＹＥＳ）、ステップＳ５１の処理に戻る。そして、制御部５１は、未処理の訓練データを訓練データＤＢ５２ａから読み出し、読み出した訓練データを用いた学習処理を繰り返す。未処理の訓練データがないと判断した場合（Ｓ５３：ＮＯ）、制御部５１は学習処理を終了する。これにより、ユーザの属性情報が入力された場合に、ユーザに適したコーヒータイプの判別結果として、それぞれのコーヒータイプに対する判別確率を出力するように学習されたコーヒータイプ判別モデルＭが生成される。なお、既に学習済みのコーヒータイプ判別モデルＭについても、上述した処理を行うことによって再学習させることができ、この場合、判別精度がより高いコーヒータイプ判別モデルＭを生成できる。また、訓練データＤＢ５２ａに記憶してある訓練データを用いて、図１０に示す学習処理を繰り返し行うことにより、コーヒータイプ判別モデルＭを最適化することができる。

【0057】

上述したようなコーヒータイプ判別モデルＭを用いて、注文サイト１２Ｓを介してコーヒーを注文するユーザに適したコーヒータイプを特定することにより、ユーザが好む可能性の高い商品（コーヒー）をレコメンドすることが可能となる。また、膨大な訓練データを用いてコーヒータイプ判別モデルＭを学習させた場合には、より正確に各ユーザが好むコーヒータイプを判別できるコーヒータイプ判別モデルＭを実現できる。

【0058】

（実施形態３）
ユーザの属性情報に加えて、商品の注文時又は受け取り時の気象情報に基づいてユーザに適したコーヒータイプを特定してレコメンド商品を提案する情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態１の情報処理システムと同様の装置にて実現できるので、構成についての詳細な説明は省略する。なお、本実施形態のコーヒータイプ判別モデルの構成は、実施形態１のコーヒータイプ判別モデルＭとは若干異なるので、異なる構成についてのみ説明する。

【0059】

図１１は実施形態３のコーヒータイプ判別モデルの構成例を示す模式図である。本実施形態のコーヒータイプ判別モデルＭ１は、実施形態１のコーヒータイプ判別モデルＭと同様の構成を有するが、入力層には入力ノード０及び入力ノード１に加えて入力ノード２が設けられている。本実施形態のコーヒータイプ判別モデルＭ１では、入力層の各入力ノード０～２を介して、ユーザの性別及びエネルギータイプと、気象情報とがそれぞれ入力される。気象情報は例えば天気を示す情報、気温、湿度等のいずれか又は複数の情報を用いる。複数の情報を用いる場合、例えば天気を示す情報、気温、湿度等がそれぞれ入力される入力ノードが入力層に設けられていてもよい。本実施形態のコーヒータイプ判別モデルＭ１では、入力層の各入力ノード０～２から入力された属性情報及び気象情報に基づいて、中間層が所定の関数及び重み付け係数等に基づく演算を行い、演算結果を出力層の各出力ノードから出力する。本実施形態のコーヒータイプ判別モデルＭ１においても、出力層は４つの出力ノードを有し、それぞれの出力ノードは、第１～第４のコーヒータイプのそれぞれに対する判別確率を出力する。

【0060】

本実施形態のコーヒータイプ判別モデルＭ１は、ユーザの属性情報及び気象情報と、ユーザに適したコーヒータイプ（正解ラベル）とを含む訓練データを用いて学習する。コーヒータイプ判別モデルＭ１は、訓練データに含まれる属性情報及び気象情報が入力された場合に、訓練データに含まれる正解ラベルが示すコーヒータイプに対応する出力ノードから１の出力値が出力され、他の出力ノードから０の出力値が出力されるように学習する。これにより、属性情報及び気象情報が入力された場合に、この属性情報のユーザに適したコーヒータイプを、予め設定されたコーヒータイプの中から特定するように学習された学習済みのコーヒータイプ判別モデルＭ１が得られる。本実施形態のコーヒータイプ判別モデルＭ１も、上述した実施形態２の学習装置５０が、図１０に示す処理と同様の処理を実行することによって生成可能である。

【0061】

図１２は実施形態３の注文処理手順の一例を示すフローチャートである。図１２に示す処理は、図４に示す処理において、ステップＳ１４，Ｓ１５の間にステップＳ６１を追加したものである。図４と同じステップについては説明を省略し、図１２では図４中のステップＳ１８～Ｓ２６の図示を省略している。なお、本実施形態の情報処理システムでは、ユーザが注文サイト１２Ｓを介してコーヒーを注文する際に、サーバ１０はユーザの属性情報及び気象情報に基づいてユーザに適したコーヒータイプを特定し、特定したコーヒータイプをユーザにレコメンドする。

【0062】

本実施形態の情報処理システムにおいて、ユーザ端末２０の制御部２１及びサーバ１０の制御部１１は、図４中のステップＳ１１～Ｓ１４の処理を行う。これにより、ユーザ端末２０の制御部２１は、メニュー画面中の「レコメンドメニューから注文」ボタンが操作された場合に、レコメンドメニューの要求情報をサーバ１０へ送信し、サーバ１０は、ユーザ端末２０からレコメンドメニューの要求情報を受信する。そしてサーバ１０の制御部１１は、受信した要求情報に含まれるユーザＩＤに対応するユーザ情報をユーザ情報ＤＢ１２ａから読み出す（Ｓ１４）。そして、本実施形態のサーバ１０の制御部１１は、この時点の気象情報を取得する（Ｓ６１）。例えばサーバ１０に温度計又は湿度計が設けられている場合、制御部１１は、温度計が計測した温度、又は湿度計が計測した湿度を取得する。また制御部１１は、ネットワークＮ経由で気象情報を公開しているウェブサイトにアクセスし、ウェブサイトから所望の気象情報を取得してもよい。

【0063】

ステップＳ１５において、本実施形態のサーバ１０の制御部１１は、ステップＳ１４で読み出したユーザの性別及びエネルギータイプと、ステップＳ６１で取得した気象情報とに基づいて、このユーザに適したレコメンド商品（コーヒータイプ）を特定する（Ｓ１５）。本実施形態では、制御部１１は、読み出したユーザの性別及びエネルギータイプと、取得した気象情報とをコーヒータイプ判別モデルＭ１に入力し、コーヒータイプ判別モデルＭ１からの出力情報に基づいて、ユーザに適したコーヒータイプを特定する。ここでも制御部１１は、コーヒータイプ判別モデルＭ１の各出力ノードからの出力値のうちで、最大の出力値（判別確率）を出力した出力ノードに対応付けられているコーヒータイプをユーザに適したコーヒータイプに特定する。また制御部１１は、出力値が大きい順に所定数の出力ノードを特定し、又は、出力値が所定値（例えば０．４）以上である１又は複数の出力ノードを特定し、特定した出力ノードに対応付けられているコーヒータイプをユーザに適したコーヒータイプに特定してもよい。

【0064】

その後、サーバ１０の制御部１１及びユーザ端末２０の制御部２１は、ステップＳ１６以降の処理を実行する。上述した処理により、本実施形態では、ユーザの属性情報と気象情報とに基づいて、ユーザが飲みたい可能性の高いコーヒータイプを、予め設定された４つのコーヒータイプの中から特定し、レコメンド商品として提案できる。よって、ユーザの属性情報だけでなく気象情報も考慮してユーザに適したコーヒータイプを特定できるので、よりユーザの好みに合致した商品をレコメンドすることが可能となる。なお、気象情報は、ユーザ端末２０からレコメンドメニューを要求された時点の気象情報に限定されず、例えばユーザがコーヒーを飲む時間帯が指定されていた場合、ユーザがコーヒーを飲むタイミングでの気象情報を用いてもよい。この場合、ユーザが飲みたい可能性がより高い商品をレコメンドすることが可能となる。

【0065】

本実施形態の情報処理システムにおいても、ユーザは注文サイト１２Ｓを介して注文して購入した商品（コーヒー）に対する評価を行うことができ、本実施形態のサーバ１０及びユーザ端末２０は図７に示す処理と同様の処理を実行することができる。これにより、本実施形態においても、ユーザが購入した商品に対する評価情報をユーザ端末２０を介して入力してサーバ１０に登録することができる。またサーバ１０は、ユーザ端末２０から受信した評価情報に基づいて、このユーザのエネルギータイプを特定することができ、コーヒータイプ判別モデルＭ１を再学習させるための訓練データを生成することができる。

【0066】

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、ユーザの属性情報に加えて、ユーザがコーヒーを飲むときの気象情報も考慮してユーザに適したレコメンド商品（コーヒータイプ）を特定するので、よりユーザに適した商品のレコメンドが可能となる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。また本実施形態において、レコメンド商品を特定する際に、ユーザの属性情報（性別及びエネルギータイプ）及び気象情報に加えて、コーヒーを飲む時間帯、生体データ（脈拍、体温、血圧等）等の各情報を用いてもよい。更に、本実施形態におけるコーヒータイプ判別モデルＭ１は、実施形態２で説明した生成処理によって生成可能である。なお、本実施形態のコーヒータイプ判別モデルＭ１の生成処理では、ユーザの属性情報及び気象情報と、このユーザに適したコーヒータイプ（正解ラベル）とを含む訓練データが用いられる。

【0067】

（実施形態４）
コーヒーを飲むシチュエーションに応じてユーザに適したコーヒータイプを特定してレコメンド商品を提案する情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態１の情報処理システムと同様の装置にて実現できるので、構成についての詳細な説明は省略する。なお、本実施形態のサーバ１０は、実施形態１のコーヒータイプ判別モデルＭに加えて、コーヒータイプ判別モデルＭとは若干異なる構成のコーヒータイプ判別モデルＭ２（図１３参照）を記憶部１２に記憶している。

【0068】

図１３は実施形態４のコーヒータイプ判別モデルＭ２の構成例を示す模式図である。コーヒータイプ判別モデルＭ２は、実施形態１のコーヒータイプ判別モデルＭと同様の構成を有するが、入力層には入力ノード０のみが設けられている。本実施形態のコーヒータイプ判別モデルＭ２では、入力層の入力ノード０を介して、ユーザがコーヒーを飲むシチュエーションを示す情報が入力される。シチュエーションは例えば仕事中のシチュエーション及び家庭内でのシチュエーションを含み、緊張度合、集中度合、リラックス度合等が異なる複数種類のシチュエーションを用いることができる。例えば仕事中のシチュエーションには会議、ブレスト（ブレインストーミング）、ミーティング、打合せ、集中して考えたい状況、休憩等のシチュエーションがあり、家庭内でのシチュエーションには家族での団らん、お友達とのお茶会、映画鑑賞等の趣味の時間、リラックスタイム等のシチュエーションがある。シチュエーションは予め複数設定してあり、それぞれのシチュエーションに対応する情報（入力値）が入力ノード０から入力される。本実施形態のコーヒータイプ判別モデルＭ２では、入力ノード０から入力されたシチュエーション情報に基づいて、中間層が所定の関数及び重み付け係数等に基づく演算を行い、演算結果を出力層の各出力ノードから出力する。本実施形態のコーヒータイプ判別モデルＭ２においても、出力層は４つの出力ノードを有し、それぞれの出力ノードは、第１～第４のコーヒータイプのそれぞれに対する判別確率を出力する。

【0069】

本実施形態のコーヒータイプ判別モデルＭ２は、シチュエーション情報と、シチュエーション情報が示すシチュエーションに適したコーヒータイプ（正解ラベル）とを含む訓練データを用いて学習する。コーヒータイプ判別モデルＭ２は、訓練データに含まれるシチュエーション情報が入力された場合に、訓練データに含まれる正解ラベルが示すコーヒータイプに対応する出力ノードから１の出力値が出力され、他の出力ノードから０の出力値が出力されるように学習する。これにより、シチュエーション情報が入力された場合に、シチュエーション情報が示すシチュエーションに適したコーヒータイプを、予め設定されたコーヒータイプの中から特定するように学習された学習済みのコーヒータイプ判別モデルＭ２が得られる。本実施形態のコーヒータイプ判別モデルＭ２も、上述した実施形態２の学習装置５０が、図１０に示す処理と同様の処理を実行することによって生成可能である。

【0070】

図１４は実施形態４の注文処理手順の一例を示すフローチャート、図１５は画面例を示す模式図である。図１４に示す処理は、図４に示す処理において、ステップＳ１２のＮＯとステップＳ１８との間にステップＳ７１～Ｓ７７を追加したものである。図４と同じステップについては説明を省略し、図１４では図４中のステップＳ１８～Ｓ２６の図示を省略している。なお、本実施形態の情報処理システムでは、ユーザが注文サイト１２Ｓを介してコーヒーを注文する際に、サーバ１０はユーザがコーヒーを飲むシチュエーションに基づいてユーザ（シチュエーション）に適したコーヒータイプを特定し、特定したコーヒータイプをユーザにレコメンドする。

【0071】

本実施形態において、ユーザ端末２０の制御部２１は、入力部２４を介したユーザからの指示に従って注文アプリ２２ＡＰを起動させた場合、図１５Ａに示すようなメニュー画面を表示部２５に表示する（Ｓ１１）。図１５Ａに示すメニュー画面は、図５Ａに示すメニュー画面と同様の構成を有し、更に、コーヒーを飲むシチュエーションに基づいてサーバ１０が生成するシチュエーションメニュー（シチュエーションに応じたお勧めメニュー）から注文するための「シチュエーションメニューから注文」ボタンを有する。よって、本実施形態では、ユーザは、自身の属性情報に基づいて生成されたレコメンドメニューから注文したい場合、メニュー画面中の「レコメンドメニューから注文」ボタンを操作し、コーヒーを飲むシチュエーションに基づいて生成されたシチュエーションメニューから注文したい場合、メニュー画面中の「シチュエーションメニューから注文」ボタンを操作する。これにより、ユーザは、コーヒータイプ判別モデルＭ（第１学習モデル）を用いて自身の属性情報に基づいて特定されたレコメンド商品の提案と、コーヒータイプ判別モデルＭ２（第２学習モデル）を用いてシチュエーションに基づいて特定されたレコメンド商品の提案とを選択することができる。即ち、サーバ１０において、コーヒータイプ判別モデルＭを用いたレコメンド商品の特定処理と、コーヒータイプ判別モデルＭ２を用いたレコメンド商品の特定処理とを選択することができる。

【0072】

ステップＳ１２で、制御部２１は、レコメンドメニューの要求指示を受け付けていないと判断した場合（Ｓ１２：ＮＯ）、メニュー画面中の「シチュエーションメニューから注文」ボタンが操作されたか否かに応じて、シチュエーションメニューの要求指示を受け付けたか否かを判断する（Ｓ７１）。シチュエーションメニューの要求指示を受け付けていないと判断した場合（Ｓ７１：ＮＯ）、制御部２１はステップＳ１８に処理を移行する。

【0073】

シチュエーションメニューの要求指示を受け付けたと判断した場合（Ｓ７１：ＹＥＳ）、制御部２１は、シチュエーションの入力画面を表示部２５に表示する（Ｓ７２）。図１５Ｂはシチュエーション入力画面例を示す。シチュエーション入力画面は、コーヒーを飲むシチュエーションとして仕事中のシチュエーションを指定するか家庭内でのシチュエーションを指定するかを選択するためのラジオボタンと、仕事中のシチュエーションを入力するための入力欄２５ｈと、家庭内でのシチュエーションを入力するための入力欄２５ｉとを有する。入力欄２５ｈには、予め設定された仕事中のシチュエーションから任意の１つを選択できるプルダウンメニューが設けられており、入力欄２５ｉには、予め設定された家庭内でのシチュエーションから任意の１つを選択できるプルダウンメニューが設けられている。仕事中のシチュエーションとしては、例えば会議、ブレスト、ミーティング、打合せ、集中して考えたい状況、休憩等のシチュエーションが選択できるように構成されており、家庭内でのシチュエーションとしては、例えば家族での団らん、お友達とのお茶会、趣味の時間、リラックスタイム等のシチュエーションが選択できるように構成されている。

【0074】

制御部２１は、シチュエーション入力画面において入力部２４を介していずれかのシチュエーションの選択を受け付ける（Ｓ７３）。制御部２１は、入力部２４を介して選択されたシチュエーションを入力欄２５ｈ又は２５ｉに表示する。そして制御部２１は、シチュエーション入力画面のＯＫボタンが操作されることによって、選択されたシチュエーションでのシチュエーションメニューの要求指示を受け付けた場合、シチュエーションメニューの要求情報をサーバ１０へ送信する（Ｓ７４）。例えば制御部２１は、ユーザのユーザＩＤと選択されたシチュエーションの情報（例えばシチュエーションＩＤ）とを含み、シチュエーションメニューを要求する要求情報をサーバ１０へ送信する。

【0075】

サーバ１０の制御部１１は、ユーザ端末２０からシチュエーションメニューの要求情報を受信した場合、受信した要求情報に含まれるシチュエーションの情報に基づいて、受信したシチュエーションに適したレコメンド商品（コーヒータイプ）を特定する（Ｓ７５）。具体的には、制御部１１は、受信したシチュエーションの情報（例えばシチュエーション毎に設定されている入力値）をコーヒータイプ判別モデルＭ２に入力し、コーヒータイプ判別モデルＭ２からの出力情報に基づいて、シチュエーションに適したコーヒータイプを特定（推測）する。コーヒータイプ判別モデルＭ２からの出力情報に基づいてコーヒータイプを特定する処理は、実施形態１，３と同様であるので説明を省略する。これにより、本実施形態のサーバ１０は、ユーザがコーヒーを飲むシチュエーションに基づいて、このシチュエーションに適したコーヒータイプを、予め設定されたコーヒータイプの中から特定する。よって、それぞれのシチュエーションにおいてユーザが好む可能性の高いコーヒータイプを特定することができる。

【0076】

制御部１１は、レコメンド商品を特定した場合、特定したレコメンド商品を表示するシチュエーションメニューを生成してユーザ端末２０へ送信する（Ｓ７６）。ユーザ端末２０の制御部２１は、サーバ１０からシチュエーションメニューを受信した場合、受信したシチュエーションメニューを表示したシチュエーションメニュー画面を表示部２５に表示する（Ｓ７７）。図１５Ｃはシチュエーションメニュー画面例を示しており、シチュエーションメニュー画面は、ユーザ端末２０がサーバ１０へ送信したシチュエーションと、このシチュエーションに基づいてサーバ１０がコーヒータイプ判別モデルＭ２を用いて特定したレコメンド商品とを表示する。シチュエーションメニューは、コーヒーを飲むシチュエーションに基づいてユーザにお勧めしたいコーヒーの商品情報を表示し、この商品に対応する「カートに入れる」ボタンを有する。図１５Ｃのシチュエーションメニューは、１つの商品を表示する構成であるが、複数のレコメンド商品を表示する構成でもよい。ユーザは、シチュエーションメニューから注文したい場合、シチュエーションメニュー画面に表示された商品に対応する「カートに入れる」ボタンを入力部２４から操作することにより、商品の購入リストへの追加を指示する。

【0077】

その後、制御部２１は、ステップＳ１８に処理を移行し、ステップＳ１８以降の処理を実行する。なお、本実施形態では、制御部２１は、図１５Ａに示すメニュー画面中の購入履歴メニュー又は通常メニュー、並びに図５Ｂに示すレコメンドメニューに加えて、図１５Ｂに示すシチュエーションメニューにおいて、いずれかの商品に対応する「カートに入れる」ボタンが操作されたか否かに応じて、商品に対する購入リストへの追加指示を受け付けたか否かを判断する（Ｓ１８）。上述した処理により、本実施形態では、ユーザがコーヒーを飲むシチュエーションに基づいて、このシチュエーションでユーザが好む可能性の高いコーヒータイプを特定し、レコメンド商品として提案できる。

【0078】

本実施形態の情報処理システムにおいても、ユーザは注文サイト１２Ｓを介して注文して購入した商品（コーヒー）に対する評価を行うことができ、本実施形態のサーバ１０及びユーザ端末２０は図７に示す処理と同様の処理を実行することができる。なお、図７に示す処理において、本実施形態のサーバ１０は、ステップＳ３７，Ｓ３８の処理は行わず、ユーザ端末２０から受信した評価情報に基づいて、コーヒータイプ判別モデルＭ２を再学習させるための訓練データの生成処理のみを行う。これにより、ユーザが購入した商品に対する評価情報をユーザ端末２０を介して入力してサーバ１０に登録することができる。またサーバ１０は、ユーザ端末２０から受信した評価情報に基づいて、コーヒータイプ判別モデルＭ２の訓練データを生成することができる。

【0079】

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、ユーザがコーヒーを飲むシチュエーションに適したレコメンド商品（コーヒータイプ）を特定するので、シチュエーションに応じた商品のレコメンドが可能となる。よって、コーヒーの知識が乏しいユーザであっても、仕事中のシチュエーション又は家庭内でのシチュエーションに応じた商品のレコメンドを受けることができるので、例えば会議等の参加者が好む可能性の高い商品の購入が可能となる。また、ユーザは、購入した商品に対する評価を行うことができるので、レコメンドされた商品に対する評価をサーバ１０にフィードバックすることが可能となる。更に、ユーザが商品に対して行った評価の内容（評価情報）に基づいて、コーヒータイプ判別モデルＭ２の訓練データを生成することができ、このような訓練データを用いてコーヒータイプ判別モデルＭ２を再学習させた場合には、シチュエーションに応じてより適切なコーヒータイプの判別が可能なコーヒータイプ判別モデルＭ２を生成することができる。

【0080】

本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。また本実施形態において、レコメンド商品を特定する際に、シチュエーションの情報に加えて、コーヒーを飲む時間帯、天気、季節、参加者の年齢又は年齢層等の各情報のいずれか又は複数を用いてもよい。この場合、シチュエーションの情報に加えて、これらの各情報を入力とし、入力した各情報に基づいてシチュエーションに適したコーヒータイプを演算し、演算結果を出力するように学習した学習済みモデルを用いればよい。また、本実施形態のコーヒータイプ判別モデルＭ２の構成は、上述した実施形態３の情報処理システムにも適用できる。実施形態３の情報処理システムに適用した場合、シチュエーションの情報及び気象情報を入力とし、入力されたこれらの情報に基づいて、このシチュエーションに適したコーヒーのタイプを特定するように学習した学習済みモデルを実現できる。更に、実施形態１のコーヒータイプ判別モデルＭと本実施形態のコーヒータイプ判別モデルＭ２との構成を組み合わせて、ユーザの性別及びエネルギータイプとシチュエーション情報とを入力とし、入力されたこれらの情報に基づいて、入力された属性情報のユーザが、入力されたシチュエーションでコーヒーを飲む場合に適したコーヒーのタイプを特定するように学習した学習済みモデルを構成してもよい。このような構成のコーヒータイプ判別モデルにおいても、ユーザの性別及びエネルギータイプとシチュエーション情報に加えて、気象情報、コーヒーを飲む時間帯、季節、参加者の年齢又は年齢層等の各情報のいずれか又は複数を入力とするように構成することもできる。

【0081】

本実施形態におけるコーヒータイプ判別モデルＭ２は、実施形態２で説明した生成処理によって生成可能である。なお、本実施形態のコーヒータイプ判別モデルＭ２の生成処理では、シチュエーションの情報と、このシチュエーションに適したコーヒータイプ（正解ラベル）とを含む訓練データが用いられる。

【0082】

（実施形態５）
購入した商品のパッケージ（コーヒーの紙コップ）に印刷された二次元コードをユーザ端末２０のカメラ２６を用いて読み取ることによって、図８に示すような評価入力画面を表示部２５に表示させる構成の情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態１の情報処理システムと同様の装置にて実現できるので、構成についての詳細な説明は省略する。なお、本実施形態のユーザ端末２０は、カメラ２６で撮影した二次元コードからコード情報（コードデータ）を読み取るためのコードリーダアプリ（図示せず）を予め記憶部２２に記憶しているものとする。本実施形態の情報処理システムにおいて、サーバ１０及びユーザ端末２０は、図４に示す処理と同様の処理を実行する。これにより、本実施形態の情報処理システムにおいても、ユーザが注文サイト１２Ｓを介してコーヒーを注文する際に、ユーザの属性情報に基づいてユーザに適したコーヒータイプの商品をレコメンドすることができる。

【0083】

図１６は実施形態５の評価登録処理手順の一例を示すフローチャート、図１７は実施形態５の情報処理システムにおける処理を説明する模式図である。図１６に示す処理は、図７に示す処理において、ステップＳ３１の前にステップＳ８１～Ｓ８４を追加したものである。図７と同じステップについては説明を省略する。図１７Ａは本実施形態における商品の外観例を示す。本実施形態の商品はパッケージに、サーバ１０の注文サイト１２Ｓを介して行われた注文の受付番号と、この商品に割り当てられたＱＲコード（登録商標）とが印刷されたシールが貼付されている。この商品を購入したユーザは、例えば購入した商品に対する評価を行いたい場合、又は購入した商品に関する情報を知りたい場合、ユーザ端末２０のカメラ２６を用いて商品に印刷されているＱＲコードを撮影し、ＱＲコードからコード情報を読み取る。

【0084】

本実施形態において、ユーザ端末２０の制御部２１は、入力部２４を介してＱＲコードの読取指示を受け付けたか否かを判断しており（Ｓ８１）、受け付けたと判断した場合（Ｓ８１：ＹＥＳ）、カメラ２６を起動して撮影を行う。なお、ユーザは、カメラ２６を用いて商品のパッケージに印刷してあるＱＲコードを撮影する。制御部２１は、コードリーダアプリを実行することにより、カメラ２６にて撮影したＱＲコードの画像からコード情報を読み取る（Ｓ８２）。コード情報は例えば、図１７Ｂに示すような商品に関する情報（商品情報）であり、制御部２１は、読み取ったコード情報に基づいて、図１７Ｂに示すような商品情報画面を表示部２５に表示する（Ｓ８３）。図１７Ｂに示す商品情報画面は、購入した商品においてコーヒー豆の生産地、精製方法、焙煎度合、コーヒー豆の生産農園の写真等を表示しており、この商品に対する評価の入力を指示するための評価入力ボタンを有する。

【0085】

なお、コード情報は、例えばウェブサイトのＵＲＬ（Uniform Resource Locator）であってもよく、この場合、制御部２１は、ＱＲコードから読み取ったＵＲＬを表示部２５に表示してユーザに通知する。そして、制御部２１は、入力部２４を介して、表示したＵＲＬへのアクセス指示を受け付けた場合、ＵＲＬに基づいてウェブサイトにアクセスし、ウェブサイトから図１７Ｂに示すような商品情報画面を取得して表示部２５に表示してもよい。図１７Ｂに示すような商品情報画面を表示した後、制御部２１は、ステップＳ３２に処理を移行する。即ち、制御部２１は、商品情報画面中の評価入力ボタンが操作されたか否かに応じて、表示中の商品に対する評価情報の入力指示を受け付けたか否かを判断する（Ｓ３２）。なお、商品情報画面を提供するウェブサーバはサーバ１０であってもよい。この場合、サーバ１０の制御部１１は、ユーザ端末２０（外部装置）からコード情報を取得し、取得したコード情報に基づいて、商品情報画面を表示するための画面情報を生成してユーザ端末２０へ送信する。よって、サーバ１０は、ユーザ端末２０へ送信した商品情報画面を介して、ユーザ端末２０で入力されたユーザによる商品に対する評価情報を取得できる。

【0086】

制御部２１は、ＱＲコードの読取指示を受け付けていないと判断した場合（Ｓ８１：ＮＯ）、入力部２４を介して注文アプリ２２ＡＰの実行指示を受け付けたか否かを判断する（Ｓ８４）。注文アプリ２２ＡＰの実行指示を受け付けたと判断した場合（Ｓ８４：ＹＥＳ）、制御部２１は、ステップＳ３１に処理を移行し、ステップＳ３１以降の処理を実行する。この場合、図５Ａに示すようなメニュー画面が表示部２５に表示され、ユーザは、メニュー画面中の評価入力ボタンを操作することにより、評価情報の入力を指示する。注文アプリ２２ＡＰの実行指示を受け付けていないと判断した場合（Ｓ８４：ＮＯ）、制御部２１は、ステップＳ８１の処理に戻る。

【0087】

上述した処理により、本実施形態の情報処理システムでは、購入した商品のパッケージに印刷されたＱＲコードをユーザ端末２０のカメラ２６を用いて読み取ることにより、商品情報画面を表示部２５に表示することができる。また、本実施形態の情報処理システムにおいても、ユーザが購入した商品に対して評価を行うことができ、ユーザが行った評価をサーバ１０にフィードバックすることができる。

【0088】

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、ユーザ端末２０に注文アプリ２２ＡＰを起動させた場合だけでなく、商品に印刷されたＱＲコードをカメラ２６で読み取ることによっても、商品に対する評価を入力するための入力画面を表示部２５に表示させることができる。また、本実施形態では、商品に印刷されたＱＲコードをカメラ２６で読み取ることによって商品情報画面を表示部２５に表示することができるので、ユーザに通知したい各種の情報を表示させることが可能となる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。また、本実施形態において、商品に印刷されたＱＲコードを読み取った場合に、商品情報画面を表示せずに、図８に示す評価入力画面が表示部２５に表示されるように構成されていてもよい。また、本実施形態の構成は、上述した実施形態２～４の情報処理システムにも適用でき、実施形態２～４の情報処理システムに適用した場合であっても同様の効果が得られる。

【0089】

（実施形態６）
実施形態１の情報処理システムにおいて、注文サイト１２Ｓを利用するためにユーザ登録する際に、ユーザ端末２０のカメラ２６（撮影装置）を用いてユーザの顔画像を撮影し、顔画像から特定したユーザの情報をサーバ１０に登録する情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態１の情報処理システムと同様の装置にて実現できるので、構成についての詳細な説明は省略する。

【0090】

以下に、ユーザがユーザ端末２０を用いてユーザ登録する際に各装置が行う処理について説明する。図１８はユーザ情報の登録処理手順の一例を示すフローチャート、図１９は画面例を示す模式図である。図１８では左側にユーザ端末２０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。以下の処理は、ユーザ端末２０の記憶部２２に記憶してある制御プログラム２２Ｐ及び注文アプリ２２ＡＰに従って制御部２１によって実行され、サーバ１０の記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行される。以下の処理の一部を専用のハードウェア回路で実現してもよい。

【0091】

ユーザ登録する場合、ユーザはユーザ端末２０に注文アプリ２２ＡＰを起動させ、注文アプリ２２ＡＰにてサーバ１０（注文サイト１２Ｓ）にアクセスし、サーバ１０から取得したメニュー画面（初期画面）を介してユーザの情報を入力する。初期画面は、ユーザ登録していないユーザがユーザ端末２０に注文アプリ２２ＡＰを起動させた場合に表示される画面であり、予め注文アプリ２２ＡＰに設定されていてもよく、この場合、ユーザ端末２０は、サーバ１０にアクセスすることなく、注文アプリ２２ＡＰを起動することによって初期画面を表示部２５に表示できる。ユーザ端末２０の制御部２１は、入力部２４を介したユーザからの指示に従って注文アプリ２２ＡＰを起動させた場合、図１９Ａに示すようなメニュー画面（初期画面）を表示部２５に表示する（Ｓ９１）。ここでのメニュー画面は、ユーザ登録を行うための「ユーザ登録する」ボタンと、店舗が用意したメニューから注文するための通常メニューとを表示する。通常メニューは、図５Ａに示すメニュー画面中の通常メニューと同じである。

【0092】

ユーザは、ユーザ登録したい場合、メニュー画面中の「ユーザ登録する」ボタンを入力部２４から操作することにより、ユーザ登録の実行を指示する。ユーザ端末２０の制御部２１は、メニュー画面中の「ユーザ登録する」ボタンが操作されたか否かに応じて、ユーザ登録の実行指示を受け付けたか否かを判断しており（Ｓ９２）、受け付けていないと判断した場合（Ｓ９２：ＮＯ）、待機する。なお、制御部２１は、メニュー画面中の通常メニューを介して、いずれかの商品に対応する「カートに入れる」ボタンが操作された場合、選択された商品に対して購入リストへの追加及び注文手続を行う。

【0093】

ユーザ登録の実行指示を受け付けたと判断した場合（Ｓ９２：ＹＥＳ）、制御部２１は、図１９Ｂに示すような登録画面を表示部２５に表示する（Ｓ９３）。図１９Ｂに示す登録画面は、撮影に同意した上でユーザの顔画像の撮影実行を指示するための「同意して撮影」ボタンと、ユーザの個人情報を入力するための入力欄と、撮影した顔画像及び入力された情報のサーバ１０への送信実行を指示するための送信ボタンとを有する。個人情報の入力欄は、例えばユーザの氏名、年齢、メールアドレス、電話番号、住所、注文サイト１２Ｓにログインする際に用いるパスワード等の情報を入力する入力欄を含む。各入力欄は、テキストデータが入力される入力欄であってもよく、各項目について予め設定された情報又は数値から任意の１つを選択できるプルダウンメニューが設けられた入力欄であってもよい。制御部２１は、ユーザによって「同意して撮影」ボタンが操作されたか否かに応じて、撮影実行を指示されたか否かを判断しており（Ｓ９４）、指示されたと判断した場合（Ｓ９４：ＹＥＳ）、ユーザの顔画像を取得する（Ｓ９５）。具体的には、制御部２１は、「同意して撮影」ボタンが操作された場合、カメラ２６による撮影を開始し、カメラ２６を介して取得される撮影画像を表示部２５に表示する。ユーザは、表示される撮影画像を確認し、所望のタイミングで入力部２４を介してシャッター操作を行う。制御部２１は、シャッター操作を受け付けた場合、この時点でカメラ２６にて取得した撮影画像をユーザの顔画像として取得する。なお、制御部２１は、取得したユーザの顔画像を表示部２５に表示し、ユーザによる確認を行った後にサーバ１０への送信対象に確定してもよい。また、制御部２１は、入力部２４を介したユーザ操作に従って、撮影のやり直しを行ってもよい。

【0094】

撮影実行を指示されていないと判断した場合（Ｓ９４：ＮＯ）、制御部２１は、ステップＳ９５の処理をスキップし、登録画面中の入力欄を介してユーザの個人情報を取得する（Ｓ９６）。なお、個人情報の入力は必ずしも行う必要はなく、ユーザは自身の顔画像を撮影した後に送信ボタンを操作して、顔画像のサーバ１０への送信実行を指示してもよい。制御部２１は、送信ボタンが操作されたか否かに応じて、取得した顔画像及び個人情報のサーバ１０への送信指示を受け付けたか否かを判断しており（Ｓ９７）、送信指示を受け付けていないと判断した場合（Ｓ９７：ＮＯ）、ステップＳ９４の処理に戻る。制御部２１は、送信指示を受け付けたと判断した場合（Ｓ９７：ＹＥＳ）、登録画面を介して取得した顔画像をサーバ１０へ送信する（Ｓ９８）。ここでは制御部２１は、ユーザのユーザＩＤと顔画像とをサーバ１０へ送信する。なお、登録画面を介して個人情報を取得した場合、制御部２１はユーザＩＤ及び顔画像と共に個人情報をサーバ１０へ送信する。

【0095】

サーバ１０の制御部１１は、ユーザ端末２０からユーザの顔画像を受信した場合、受信した顔画像に基づいて、ユーザの性別及びエネルギータイプを特定する（Ｓ９９）。例えば制御部１１は、テンプレートマッチング技術によって顔画像からユーザの性別及びエネルギータイプを特定する。具体的には、それぞれの性別又はエネルギータイプについて一般的な人の顔画像に基づくテンプレートを予め記憶部１２に登録しておき、制御部１１は、顔画像中にテンプレートに一致する領域を検知した場合、検知したテンプレートに対応する性別又はエネルギータイプをユーザの性別又はエネルギータイプに特定する。また制御部１１は、顔画像からユーザの外見、服装等を判断し、判断結果からエネルギータイプを特定してもよい。更に制御部１１は、顔画像に加えてユーザの性別を含む属性情報を考慮してエネルギータイプを特定してもよい。また制御部１１は、機械学習によって構築されたニューラルネットワークを用いて、顔画像から性別及びエネルギータイプを検出してもよい。例えばＣＮＮ（Convolution Neural Network ）で構成され、顔画像が入力された場合に、ユーザの性別又はエネルギータイプを出力するように学習された学習モデルを用いることができる。この場合、制御部１１は、顔画像を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、顔画像に対応するユーザの性別又はエネルギータイプを特定することができる。なお、顔画像からユーザの性別及びエネルギータイプを特定する処理は、ユーザ端末２０で実行されてもよく、この場合、ユーザ端末２０で特定された性別及びエネルギータイプが、ユーザＩＤ及び個人情報と共にサーバ１０へ送信される。また、顔画像からユーザの性別を特定する際に、性別と共に年齢又は年齢層も特定してもよい。

【0096】

制御部１１は、ユーザＩＤを発行し、特定した性別及びエネルギータイプ、ユーザ端末２０から受信した個人情報を含むユーザの情報を、ユーザＩＤに対応付けてユーザ情報ＤＢ１２ａに記憶する（Ｓ１００）。そして制御部１１は、ユーザ登録の完了をユーザ端末２０へ通知する（Ｓ１０１）。このとき、制御部１１は、ユーザに対して発行したユーザＩＤをユーザ端末２０へ送信する。ユーザ端末２０の制御部２１は、ユーザ登録の完了を通知された場合、サーバ１０から受信したユーザＩＤを注文アプリ２２ＡＰに登録し、図５Ａに示すようなメニュー画面を表示部２５に表示する（Ｓ１０２）。ここでのメニュー画面は、通常メニューと、「レコメンドメニューから注文」ボタンとを有する。即ち、図５Ａに示すメニュー画面において、購入履歴メニューを有しない構成のメニュー画面が表示される。これにより、ユーザは、ユーザ登録の完了を把握でき、メニュー画面中の「レコメンドメニューから注文」ボタンを介してレコメンドメニューの提供を受けることが可能となる。その後、ユーザ端末２０及びサーバ１０は、図４中のステップＳ１２以降の処理を実行し、レコメンドメニュー又は通常メニューからコーヒーの注文を行うことができる。

【0097】

上述した処理により、本実施形態の情報処理システムでは、ユーザがユーザ登録する際に、ユーザの顔画像を撮影し、顔画像からユーザの属性情報（性別及びエネルギータイプ等）を特定し、特定した属性情報をサーバ１０（ユーザ情報ＤＢ１２ａ）に登録できる。また、性別及びエネルギータイプのほかに年齢又は年齢層等を顔画像から特定するように構成してもよく、この場合、ユーザの入力操作の負担を軽減できる。また、本実施形態では、ユーザ端末２０を用いて顔画像を撮影する際に、ユーザの同意を得る構成であるが、ユーザの同意は必ずしも得る必要はない。例えばユーザ端末２０が、顔画像を記憶部２２に記憶せずに、顔画像から抽出された画像の特徴量又は顔画像から特定された属性情報（性別及びエネルギータイプ等）を記憶する場合には、ユーザの同意を得ることなく、撮影するように構成されていてもよい。画像の特徴量は例えばＣＮＮに顔画像を入力した場合にＣＮＮで生成される特徴量を用いてもよい。また、例えばユーザ端末２０に注文アプリ２２ＡＰをインストールする際に、注文アプリ２２ＡＰを介した注文処理の際にユーザの顔画像を撮影することをユーザに通知する場合、ユーザの同意を得ることなく撮影する構成でもよい。また本実施形態において、ユーザ登録することなく、ユーザの属性情報（性別及びエネルギータイプ）に応じたレコメンドメニューの提供を受けるように構成してもよい。例えば、ユーザ端末２０がユーザの顔画像を撮影してサーバ１０へ送信し、サーバ１０が顔画像から特定したユーザの性別及びエネルギータイプに応じてレコメンドメニューを生成してユーザ端末２０に提供するように構成されていてもよい。

【0098】

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、ユーザの属性情報を顔画像から特定できるので、ユーザの操作性を向上させることができる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。本実施形態の構成は、上述した実施形態２～５の情報処理システムにも適用でき、実施形態２～５の情報処理システムに適用した場合であっても同様の効果が得られる。

【0099】

（実施形態７）
店舗内に設置されたカメラ（撮影装置）を用いて、来店したユーザの顔画像を撮影し、顔認証を行うと共に、ユーザの属性情報に応じたレコメンドメニューを提供する情報処理システムについて説明する。本実施形態の情報処理システムは、図１に示す実施形態１の情報処理システムの各装置に加えて、店舗内に設置された注文用端末３０（図２０参照）を有する。本実施形態のサーバ１０及びユーザ端末２０は、実施形態１と同様であるので説明を省略する。なお、本実施形態で、サーバ１０は、注文用端末３０のカメラ３６（図２０参照）で撮影されたユーザの顔画像に基づいて、予め登録してあるユーザであるか否かを判断（ユーザ認証）する構成を有しており、ユーザ情報ＤＢ１２ａに登録される個人情報に、ユーザ認証に用いるための認証用データが含まれる。認証用データは、例えばユーザの顔画像であってもよく、顔画像から抽出された画像特徴量であってもよい。本実施形態では、注文用端末３０のカメラ３６でユーザの顔画像を撮影するが、防犯カメラのように店舗に設けられ、店舗内を撮影するカメラを用いてユーザの顔画像を撮影する構成でもよい。

【0100】

図２０は実施形態７の注文用端末３０の説明図であり、図２０Ａは注文用端末３０の外観例を示し、図２０Ｂは注文用端末３０の内部構成例を示す。注文用端末３０は、店舗で販売されている商品の注文及び決済に係る処理を行うレジ端末（ＰＯＳ（Point Of Sales）端末）であり、１つの店舗に複数台設けられていてもよい。注文用端末３０は、現金決済、クレジットカード決済、電子マネー決済、アプリ決済等の決済方法（支払い方法）に対応した処理を行う。注文用端末３０は、制御部３１、記憶部３２、通信部３３、入力部３４、表示部３５、カメラ３６、カードリーダ３７等を含み、これらの各部はバスを介して相互に接続されている。注文用端末３０の制御部３１、記憶部３２、通信部３３、入力部３４、表示部３５及びカメラ３６のそれぞれは、図１に示すユーザ端末２０の制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５及びカメラ２６と同様の構成であるので詳細な説明は省略する。カードリーダ３７は、例えば磁気カードリーダ又はＩＣ（Integrated Circuit）カードリーダであり、クレジットカードに設けられた磁気テープ又はＩＣチップに記憶してあるカード情報を読み取り、読み取ったカード情報を制御部３１へ送出する。注文用端末３０は、カードリーダ３７に加えて、電子マネーカード又は電子マネー端末に記憶されている電子マネー情報を読み取る電子マネーリーダ、アプリ決済に用いるＱＲコードを読み取るコードリーダを備えていてもよく、これらが１つのリーダで構成されていてもよい。

【0101】

注文用端末３０は、例えば図２０Ａに示すように、表示部３５の表示画面側にカメラ３６が設けられており、表示画面を視認しながらタッチパネル（入力部３４）を操作するユーザの上半身を撮影できるように構成されている。また注文用端末３０は、ユーザ（顧客）が自身で支払い処理（決済処理）を行うように構成されている場合、タッチパネル（入力部３４）を操作するユーザが操作できる位置にカードリーダ３７が設けられている。

【0102】

図２１及び図２２は実施形態７の注文処理手順の一例を示すフローチャート、図２３は画面例を示す模式図である。図２１及び図２２では左側に注文用端末３０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。以下の処理の一部を専用のハードウェア回路で実現してもよい。本実施形態の情報処理システムにおいて、店舗内の注文用端末３０は、図２３Ａに示す注文画面を表示部３５に表示しつつ待機している。図２３Ａに示す注文画面は、撮影の許可（同意）を得るためのメッセージと、撮影に同意した上で撮影実行を指示するための「撮影する」ボタンと、通常メニューとを表示する。

【0103】

ユーザは、自身の撮影に同意する場合、注文画面中の「撮影する」ボタンを操作し、同意しない場合、通常メニューから所望の商品を注文する。注文用端末３０の制御部３１は、注文画面中の「撮影する」ボタンが操作されたか否かに応じて撮影指示を受け付けたか否かを判断しており（Ｓ１１１）、撮影指示を受け付けていないと判断した場合（Ｓ１１１：ＮＯ）、他の処理を行いつつ待機する。なお、制御部３１は、注文画面中の通常メニューを介して商品の注文を受け付けた場合、注文に係る処理（例えば商品の購入リストへの追加）、及び決済に係る処理（例えばクレジットカード決済に必要な処理）を実行する。撮影指示を受け付けたと判断した場合（Ｓ１１１：ＹＥＳ）、制御部３１は、ユーザの顔画像を取得する（Ｓ１１２）。ここでは、制御部３１は、適宜のタイミングでカメラ３６にてユーザの顔画像を取得してもよく、入力部３４を介してシャッター操作を受け付けた時点でカメラ３６にてユーザの顔画像を取得してもよい。また、制御部３１は、入力部３４を介したユーザ操作に従って撮影のやり直しを行ってもよい。制御部３１は、取得した顔画像をサーバ１０へ送信する（Ｓ１１３）。

【0104】

サーバ１０の制御部１１は、注文用端末３０からユーザの顔画像を受信した場合、受信した顔画像を、ユーザ情報ＤＢ１２ａに登録してある認証用データと比較することによってユーザ認証を行い、既に登録されているユーザのいずれであるかを特定する（Ｓ１１４）。制御部１１は、顔画像のユーザを特定できたか否かに応じて、認証が成功したか否かを判断しており（Ｓ１１５）、認証が成功したと判断した場合（Ｓ１１５：ＹＥＳ）、特定したユーザのユーザ情報をユーザ情報ＤＢ１２ａから読み出し（Ｓ１１６）、読み出したユーザ情報（性別及びエネルギータイプ）に基づいてレコメンド商品を特定し（Ｓ１１７）、特定したレコメンド商品を表示するレコメンドメニューをユーザ端末２０へ送信する（Ｓ１１８）。なお、ステップＳ１１６～Ｓ１１８の処理は、図４中のステップＳ１４～Ｓ１６と同様である。また、ステップＳ１１７で制御部１１は、ユーザの性別及びエネルギータイプに加えて、ユーザの購入履歴又は過去の購入時の評価情報を考慮してレコメンド商品を特定してもよい。注文用端末３０の制御部３１は、サーバ１０から受信したレコメンドメニューを表示したレコメンドメニュー画面を表示部３５に表示する（Ｓ１１９）。レコメンドメニュー画面は、図５Ｂに示す画面と同様の構成を有し、ユーザ情報に基づいてサーバ１０が特定したレコメンド商品を提案する。レコメンドメニュー画面の表示後は、制御部３１は、レコメンドメニューを介して商品の注文を受け付け、注文に係る処理及び決済に係る処理を実行するが、ここでは説明を省略する。

【0105】

認証が失敗したと判断した場合（Ｓ１１５：ＮＯ）、即ち、顔画像のユーザを特定できなかった場合、制御部１１は、ユーザ登録を行うか、ユーザ登録を行わずに商品のレコメンドを希望するかの選択を受け付ける選択画面を注文用端末３０へ送信する（Ｓ１２０）。選択画面は、例えば図２３Ｂに示すように、ユーザ登録を行うための「ユーザ登録する」ボタンと、ユーザ登録を行わずに商品のレコメンドを受けるための「ユーザ登録せずにレコメンド」ボタンとを有し、更に通常メニューを表示する。注文用端末３０の制御部３１は、サーバ１０から受信した選択画面を表示部３５に表示し（Ｓ１２１）、選択画面中の「ユーザ登録する」ボタンが操作されたか否かに応じて、ユーザ登録の実行指示を受け付けたか否かを判断する（Ｓ１２２）。ユーザ登録の実行指示を受け付けたと判断した場合（Ｓ１２２：ＹＥＳ）、制御部３１は、サーバ１０に対してユーザ登録を要求する（Ｓ１２３）。サーバ１０の制御部１１は、注文用端末３０からユーザ登録を要求された場合、注文用端末３０から受信していたユーザの顔画像に基づいて、ユーザの性別及びエネルギータイプを特定する（Ｓ１２４）。そして制御部１１は、ユーザＩＤを発行し、特定した性別及びエネルギータイプ（ユーザの情報）をユーザＩＤに対応付けてユーザ情報ＤＢ１２ａに記憶する（Ｓ１２５）。なお、ステップＳ１２４～Ｓ１２５の処理は、図１８中のステップＳ９９～Ｓ１００と同様である。またユーザ登録する際に、注文用端末３０の入力部３４を介してユーザの個人情報を受け付けてもよく、この場合、注文用端末３０からサーバ１０へ個人情報も送信されるので、サーバ１０は、注文用端末３０から受信した個人情報もユーザ情報ＤＢ１２ａに記憶する。その後、制御部１１は、ステップＳ１２４で特定した性別及びエネルギータイプ、又はステップＳ１２５でユーザ情報ＤＢ１２ａに記憶した情報に基づいてレコメンド商品を特定し（Ｓ１２６）、レコメンドメニューをユーザ端末２０へ送信する（Ｓ１２７）。そして、注文用端末３０の制御部３１は、サーバ１０から受信したレコメンドメニュー（レコメンドメニュー画面）を表示部３５に表示する（Ｓ１２８）。なお、ステップＳ１２６～Ｓ１２８の処理は、ステップＳ１１７～Ｓ１１９と同様である。

【0106】

ユーザ登録の実行指示を受け付けていないと判断した場合（Ｓ１２２：ＮＯ）、即ち、選択画面中の「ユーザ登録せずにレコメンド」ボタンが操作された場合、制御部３１は、サーバ１０に対してレコメンドメニューを要求する（Ｓ１２９）。サーバ１０の制御部１１は、レコメンドメニューを要求された場合、ステップＳ１２４，Ｓ１２６～Ｓ１２７と同様の処理を行う（Ｓ１３０～Ｓ１３２）。即ち、制御部１１は、注文用端末３０から受信していたユーザの顔画像に基づいてユーザの性別及びエネルギータイプを特定し（Ｓ１３０）、特定した性別及びエネルギータイプに基づいてレコメンド商品を特定し（Ｓ１３１）、レコメンドメニューをユーザ端末２０へ送信する（Ｓ１３２）。そして注文用端末３０の制御部３１は、サーバ１０から受信したレコメンドメニュー（レコメンドメニュー画面）を表示部３５に表示する（Ｓ１３３）。ステップＳ１２８又はＳ１３３でレコメンドメニューの表示後は、制御部３１は、レコメンドメニューを介して商品の注文を受け付け、注文及び決済に係る処理を実行する。上述した処理により、本実施形態では、ユーザが来店した際に、ユーザの同意を得た上で撮影を行い、撮影画像に基づいて顔認証を行うことによって、来店したユーザを識別（認識）することができる。よって、認識できたユーザ（登録済みのユーザ）に対しては、既に登録済みのユーザ情報に基づいてレコメンドメニューを提供できる。また、認識できなかったユーザ（未登録のユーザ）に対しては、ユーザ登録を希望する場合にはユーザ登録を行うことができ、ユーザ登録せずに商品のレコメンドを希望する場合には、撮影した顔画像に基づいてレコメンドメニューを提供できる。

【0107】

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、店舗に設置された注文用端末３０を介してユーザ登録及び商品の注文を行うことができる。また、ユーザ登録していないユーザであっても、商品を注文する際に、注文用端末３０で撮影された顔画像に基づいて特定されるユーザの属性情報に応じて商品のレコメンドを受けることができる。また本実施形態では、サーバ１０（ユーザ情報ＤＢ１２ａ）がユーザの情報及び購入履歴を管理しているので、ユーザ登録及び注文処理がユーザ端末２０から行われた場合であっても、注文用端末３０から行われた場合であっても、ユーザ情報ＤＢ１２ａに反映される。また本実施形態において、サーバ１０が行う処理（例えば認証処理及びレコメンド商品の特定処理等）を注文用端末３０が行うように構成されていてもよい。即ち、サーバ１０及び注文用端末３０が１つの装置で実現されてもよい。

【0108】

本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。本実施形態の構成は、上述した実施形態２～６の情報処理システムにも適用でき、実施形態２～６の情報処理システムに適用した場合であっても同様の効果が得られる。また、実施形態１の情報処理システムにおいて、ユーザ端末２０を用いて注文を行う際に、ユーザ端末２０のカメラ２６で撮影されたユーザの顔画像に基づいて、サーバ１０がユーザ認証を行う構成としてもよい。この場合、ユーザはユーザ端末２０に注文アプリ２２ＡＰを起動させた後に自身の顔画像を撮影することによって、ユーザ認証（ユーザの識別）を行うことができる。また、実施形態１の情報処理システムにおいて、ユーザ端末２０を用いて注文を行う際に、ユーザ登録を行うことなくレコメンドメニューの提供を受けられる構成としてもよい。上述した構成の場合、ユーザ端末２０の所有者ではないユーザがユーザ端末２０を用いて注文を行う場合に、撮影されたユーザに応じたレコメンドメニューの提供が可能となる。また、本実施形態の構成を実施形態４の情報処理システムに適用し、注文用端末３０から注文する場合に、コーヒーを飲むシチュエーションを選択し、シチュエーションに応じたレコメンドメニューの提供を受けるように構成することもできる。この場合にも、注文用端末３０のカメラ３６でユーザの顔画像を撮影し、顔画像から特定されたユーザの属性情報（性別及びエネルギータイプ）と、選択されたシチュエーションとに基づいてレコメンド商品が特定される構成としてもよい。本実施形態では、注文用端末３０で撮影する際にユーザの同意を得る構成であるが、ユーザの同意は必ずしも得る必要はない。例えば注文用端末３０が、顔画像を記憶部３２に記憶せずに、顔画像から抽出された画像の特徴量又は顔画像から特定された属性情報（性別及びエネルギータイプ等）を記憶する場合には、ユーザの同意を得ることなく撮影する構成でもよい。また、例えば注文用端末３０の表示領域に注文処理の際にユーザの顔画像を撮影することを通知するメッセージを表示する場合、ユーザの同意を得ることなく撮影する構成としてもよい。

【0109】

上述した各実施形態では、コーヒーの注文を受け付ける際に、ユーザの属性情報、コーヒーを飲むシチュエーション、気象情報等に基づいてレコメンド商品を特定して提案する構成である。本開示の技術は、コーヒーに限定されず、例えばビール、ワイン、ウイスキー等の酒類、紅茶、日本茶、中国茶等の茶、チョコレート、たばこ等の嗜好品について、ユーザ又はシチュエーション等に応じた商品をレコメンドする情報処理システムにも適用できる。

【0110】

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0111】

１０ サーバ
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 表示部
２０ ユーザ端末
２１ 制御部
２２ 記憶部
２３ 通信部
２４ 入力部
２５ 表示部
５０ 学習装置
５１ 制御部
Ｍ，Ｍ１，Ｍ２ コーヒータイプ判別モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】