IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 東芝テック株式会社の特許一覧

<>
  • 特開-情報処理装置及び情報処理システム 図1
  • 特開-情報処理装置及び情報処理システム 図2
  • 特開-情報処理装置及び情報処理システム 図3
  • 特開-情報処理装置及び情報処理システム 図4
  • 特開-情報処理装置及び情報処理システム 図5
  • 特開-情報処理装置及び情報処理システム 図6
  • 特開-情報処理装置及び情報処理システム 図7
  • 特開-情報処理装置及び情報処理システム 図8
  • 特開-情報処理装置及び情報処理システム 図9
  • 特開-情報処理装置及び情報処理システム 図10
  • 特開-情報処理装置及び情報処理システム 図11
  • 特開-情報処理装置及び情報処理システム 図12
  • 特開-情報処理装置及び情報処理システム 図13
  • 特開-情報処理装置及び情報処理システム 図14
  • 特開-情報処理装置及び情報処理システム 図15
  • 特開-情報処理装置及び情報処理システム 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024010563
(43)【公開日】2024-01-24
(54)【発明の名称】情報処理装置及び情報処理システム
(51)【国際特許分類】
   G06Q 30/0251 20230101AFI20240117BHJP
   G06Q 30/0601 20230101ALI20240117BHJP
【FI】
G06Q30/02 398
G06Q30/06 330
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2022111964
(22)【出願日】2022-07-12
(71)【出願人】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】山下 航大
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049BB08
(57)【要約】      (修正有)
【課題】商品に対する評価を効率的に収集し、評価結果に基づいた商品のリコメンドを行う情報処理装置及びシステムを提供する。
【解決手段】オーダ端末、外部データ取得装置、サーバ装置及び店員端末が通信接続するレコメンドシステムにおいて、サーバ装置は、商品の注文を行う客を撮像した撮像データから、客の属性を判定し、客が注文した商品の識別情報と、属性とを関連付ける属性判定部と、客の発話内容を記録した音声データから、注文された商品の評価に関する発話部分を検出し、検出した発話部分の内容に基づき、商品に対する評価を定量化した評価点を算出する評価点算出部と、属性判定部が関連付けた識別情報及び属性の組と、評価点とを関連付けたリストを生成するメニュー評価リスト生成部と、リストの属性と評価点との関係に基づき、商品の注文を支援するためのメニュー画面を表示するメニュー情報を属性毎に生成するメニュー更新部と、を備える。
【選択図】図10
【特許請求の範囲】
【請求項1】
商品の注文を行う客を撮像した撮像データから、当該客の属性を判定する第1判定手段と、
客が注文した商品の識別情報と、前記第1判定手段が判定した属性とを関連付ける関連付手段と、
客の発話内容を記録した音声データから、注文された前記商品の評価に関する発話部分を検出する検出手段と、
前記検出手段が検出した前記発話部分の内容に基づき、前記商品に対する評価を定量化した評価点を算出する算出手段と、
前記関連付手段が関連付けた前記識別情報及び前記属性の組と、当該識別情報に対応する商品について前記算出手段が算出した前記評価点とを関連付けたリストを生成する第1生成手段と、
前記リストに含まれる前記属性と前記識別情報毎の評価点との関係に基づき、前記商品の注文を支援するためのメニュー画面を表示することが可能なメニュー情報を前記属性毎に生成する第2生成手段と、
を備える情報処理装置。
【請求項2】
前記検出手段は、前記音声データの発話内容から、注文された前記商品を表すキーワードが出現する発話位置を検出し、
前記算出手段は、前記キーワードの発話位置の前後に出現する、評価を表すワードの意味に基づいて、前記商品に対する評価点を算出する、
請求項1に記載の情報処理装置。
【請求項3】
前記算出手段は、前記評価を表すワードの発話位置の前後に出現する修飾語が表す程度の大きさに基づいて、前記商品に対する評価点を算出する、
請求項2に記載の情報処理装置。
【請求項4】
前記撮像データに表された客の動作に基づき、前記検出手段が検出した前記商品の評価に関する前記発話部分が、当該商品を注文した客による発話部分か否かを判定する第2判定手段を更に備え、
前記算出手段は、前記第2判定手段により、前記商品を注文した客による発話部分と判定された場合に評価点の算出を行う、
請求項1に記載の情報処理装置。
【請求項5】
前記第2生成手段は、前記属性毎に当該属性で前記評価点が高い商品を、前記メニュー画面に優先的に提示した前記メニュー画面を表示することが可能なメニュー情報を生成する、請求項1に記載の情報処理装置。
【請求項6】
商品の注文を支援するためのメニュー画面を表示する表示手段と、
商品の注文を行う客を撮像した撮像データから、当該客の属性を判定する第1判定手段と、
客が注文した商品の識別情報と、前記第1判定手段が判定した属性とを関連付ける関連付手段と、
客の発話内容を記録した音声データから、注文された前記商品の評価に関する発話部分を検出する検出手段と、
前記検出手段が検出した前記発話部分の内容に基づき、前記商品に対する評価を定量化した評価点を算出する算出手段と、
前記関連付手段が関連付けた前記識別情報及び前記属性の組と、当該識別情報に対応する商品について前記算出手段が算出した前記評価点とを関連付けたリストを生成する第1生成手段と、
前記リストに含まれる前記属性と前記識別情報毎の評価点との関係に基づき、前記商品の注文を支援するためのメニュー画面を表示することが可能なメニュー情報を前記属性毎に生成する第2生成手段と、
を有し、
前記表示手段は、前記第2生成手段が生成したメニュー情報のうち、前記第1判定手段が判定した前記属性に対応するメニュー情報を用いて、前記メニュー画面を表示する、
情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理装置及び情報処理システムに関する。
【背景技術】
【0002】
従来、飲食店等の店舗では、旬のメニューやおすすめメニューの提示を行うことで購買意欲の向上を図っている。また、従来、客を撮像した顔画像から、客の年齢層や性別を推定し、推定結果に応じたおすすめメニューを提示する技術が提案されている。
【0003】
ところで、飲食店等の店舗では、商品(飲食物)に対する客の評価を基に、おすすめメニューを選定するようなことが行われている。従来では、店内に設けたアンケート用紙を介して商品に対する評価を収集することが行われている。また、近年では、SNS(Social Networking Service)等を利用して商品に対する評価を収集することも行われている。
【0004】
アンケートによる方法では、正確な評価を入手することは可能であるが、アンケートを記入する客は限られており、付加価値を付けなければ利用しない客の方が多いという問題がある。また、SNS等を利用する方法では、SNSのプラットフォームを使用する必要があるため実装のハードルが高いという問題がある。また、実際に店舗を利用していないユーザが評価を入力する可能性もあるため、信頼性の上でも問題がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、商品に対する評価を効率的に収集するとともに、評価結果に基づいた商品のリコメンドを行うことが可能な情報処理装置及び情報処理システムを提供することである。
【課題を解決するための手段】
【0006】
実施形態の情報処理装置は、商品の注文を行う客を撮像した撮像データから、当該客の属性を判定する第1判定手段と、客が注文した商品の識別情報と、前記第1判定手段が判定した属性とを関連付ける関連付手段と、客の発話内容を記録した音声データから、注文された前記商品の評価に関する発話部分を検出する検出手段と、前記検出手段が検出した前記発話部分の内容に基づき、前記商品に対する評価を定量化した評価点を算出する算出手段と、前記関連付手段が関連付けた前記識別情報及び前記属性の組と、当該識別情報に対応する商品について前記算出手段が算出した前記評価点とを関連付けたリストを生成する第1生成手段と、前記リストに含まれる前記属性と前記識別情報毎の評価点との関係に基づき、前記商品の注文を支援するためのメニュー画面を表示することが可能なメニュー情報を前記属性毎に生成する第2生成手段と、を備える。
【図面の簡単な説明】
【0007】
図1図1は、実施形態に係るレコメンドシステムの概略を示す図である。
図2図2は、実施形態に係るオーダ端末のハードウェア構成の一例を示す図である。
図3図3は、実施形態に係るサーバ装置のハードウェア構成の一例を示す図である。
図4図4は、実施形態に係る商品マスタのデータ構成の一例を示す図である。
図5図5は、実施形態に係る第1設定ファイルのデータ構成の一例を示す図である。
図6図6は、実施形態に係る第2設定ファイルのデータ構成の一例を示す図である。
図7図7は、実施形態に係るオーダ管理ファイルのデータ構成の一例を示す図である。
図8図8は、実施形態に係るメニュー評価リストファイルのデータ構成の一例を示す図である。
図9図9は、実施形態に係るオーダ端末の機能構成の一例を示す図である。
図10図10は、実施形態に係るサーバ装置の機能構成の一例を示す図である。
図11図11は、実施形態に係るメニュー評価リスト画面の一例を示す図である。
図12図12は、実施形態のオーダ端末及びサーバ装置において、学習段階で行われるオーダ処理の一例を示すフローチャートである。
図13図13は、実施形態のオーダ端末及びサーバ装置において、学習段階で行われる評価点登録処理の一例を示すフローチャートである。
図14図14は、実施形態のオーダ端末及びサーバ装置において、学習段階で行われるメニュー評価リスト生成処理の一例を示すフローチャートである。
図15図15は、実施形態のオーダ端末及びサーバ装置において、商品リコメンドの段階で行われるメニュー画面の表示に係る処理の一例を示すフローチャートである。
図16図16は、実施形態のサーバ装置が行う参照受付処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0008】
以下、図面を参照して実施形態の情報処理装置及び情報処理システムについて説明する。以下に説明する実施形態では、情報処理装置および情報処理システムを飲食店に適用した例について説明する。なお、以下に説明する実施形態によりこの発明が限定されるものではない。
【0009】
図1は、レコメンドシステムの概略を示す図である。レコメンドシステム1は、情報処理システムの一例である。レコメンドシステム1は、例えば飲食店に設けられ、商品(飲食物)に対する客の評価の収集と、当該評価に基づいた商品のリコメンドとを行う。
【0010】
レコメンドシステム1は、オーダ端末10と、外部データ取得装置20と、サーバ装置30と、店員端末40とを有する。オーダ端末10、外部データ取得装置20、サーバ装置30及び店員端末40は、LAN(Local Area Network)等のネットワークNを介して通信可能に接続される。
【0011】
オーダ端末10は、客が操作するセルフオーダ用の端末装置である。オーダ端末10は、例えば、店舗内の各テーブルTに設けられ、タブレット端末等の端末装置によって実現される。
【0012】
オーダ端末10は、サーバ装置30から提供されるメニュー情報に基づき、商品のオーダを支援することが可能な画面(以下、オーダ画面ともいう)を表示部114に表示させる。オーダ画面に基づきオーダ対象の商品が選択されると、オーダ端末10は、その商品を特定可能な商品IDを、自端末が設けられたテーブルTを特定可能なテーブルID等とともにサーバ装置30に送信することで、商品のオーダを行う。また、オーダ端末10は、撮像部116及び収音部117を備えており、これらのデバイスで取得されたデータをサーバ装置30に送信したりする。
【0013】
外部データ取得装置20は、店舗内に設置される撮像装置21や収音装置22等である。撮像装置21は、例えば監視カメラ等であり、店舗内の状況を撮像した撮像データをサーバ装置30送信する。撮像装置21は、例えばテーブルT毎に設けられ、テーブルTを利用する客の姿を撮像可能な位置に設けられる。撮像装置21は、客の姿等を撮像した撮像データを、自装置が担当するテーブルTのテーブルID等とともにサーバ装置30に送信する。
【0014】
収音装置22は、例えばマイクロフォンであり、店舗内の音声を採取し、収音した音声データをサーバ装置30に出力する。収音装置22は、例えば撮像装置21と対をなしてテーブルT毎に設けられ、テーブルTを利用する客の音声を収音する。収音装置22は、客の音声を録音した音声データを、自装置が担当するテーブルTのテーブルID等とともにサーバ装置30に送信する。
【0015】
なお、外部データ取得装置20(撮像装置21、収音装置22)が取得するデータには、取得された日時を示すタイムスタンプを付すことが好ましい。また、オーダ端末10の撮像部116及び収音部117で取得されるデータについても、取得された日時を示すタイムスタンプを付すことが好ましい。これにより、撮像部116、収音部117、及び外部データ取得装置20で取得される各種のデータについて、例えば同じタイミングで行われた客の動作と音声(発話内容)との同期をとることが可能となる。
【0016】
本実施形態では、オーダ端末10の撮像部116及び収音部117は、例えばオーダ端末10を操作する客の姿や音声を取得する目的で使用するのに対し、撮像装置21及び収音装置22は、テーブルTに着座した一又は複数の客の姿や音声を取得する目的で使用する。なお、外部データ取得装置20を使用しない構成としてもよい。
【0017】
サーバ装置30は、情報処理装置の一例である。サーバ装置30は、例えば店舗内に設けられる店舗サーバ等である。サーバ装置30は、店舗で販売される商品のメニューを示したメニュー情報をオーダ端末10の各々に提供する。また、サーバ装置30は、客がオーダした商品の商品IDをオーダ端末10から受信し、オーダ情報として記憶し管理する。サーバ装置30は、オーダされた商品IDの商品名等を、厨房等に設けられた印刷装置や表示装置等の出力装置に出力することで、客からオーダされた商品を店員に報知する。
【0018】
また、サーバ装置30は、オーダ端末10及び外部データ取得装置20で取得された各種のデータを収集する。サーバ装置30は、収集したデータを分析することで、客の属性を推定したり、注文された商品に対する客の評価を集計したりする。そして、サーバ装置30は、各メニューの評価結果に基づき、客の属性毎にカスタマイズしたメニュー情報を生成し、生成したメニュー情報をオーダ端末10に提供する。
【0019】
店員端末40は、店員が操作する端末装置である。店員端末40は、例えばオーダ端末10と同様の端末装置であってもよいし、POS端末等であってもよい。店員端末40は、サーバ装置30にアクセスし、サーバ装置30が管理するデータの確認や表示を行うことができる。
【0020】
次に、上述したレコメンドシステム1が有する主要な装置の構成について説明する。
【0021】
まず図2を参照して、オーダ端末10のハードウェア構成について説明する。図2は、オーダ端末10のハードウェア構成の一例を示す図である。図2に示すように、オーダ端末10は、CPU(Central Processing Unit)111と、ROM(Read Only Memory)112と、RAM(Random Access Memory)113とを備える。
【0022】
CPU111は、プロセッサの一例であり、オーダ端末10の各部を統括的に制御する。ROM112は、各種プログラムを記憶する。RAM113は、プログラムや各種データを展開するワークスペースである。
【0023】
CPU111、ROM112、及びRAM113は、バス等を介して接続され、コンピュータ構成の制御部110を構成する。制御部110では、CPU111が記憶部119に記憶されRAM113に展開されたプログラムに従って動作することによって、各種の処理を実行する。
【0024】
また、オーダ端末10は、表示部114、操作部115、撮像部116、収音部117、通信部118、及び記憶部119等を備える。
【0025】
表示部114は、LCD(Liquid Crystal Display)等の表示デバイスである。表示部114は、CPU111の制御の下、各種の情報を表示する。例えば、表示部114は、商品のオーダを支援するためのメニュー画面を表示する。
【0026】
操作部115は、キーボード、ポインティングデバイス等の入力デバイスである。操作部115は、客から受け付けた操作内容をCPU111に出力する。なお、操作部115は、表示部114の表示画面に設けられたタッチパネルであってもよい。
【0027】
撮像部116は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を有するデジタルカメラである。撮像部116は、自己のオーダ端末10を操作する客の顔を撮像可能な位置に設けられる。撮像部116、撮像によって得られた撮像データをCPU111に出力する。なお、撮撮像データは、動画であってもよいし、所定の時間間隔で撮像される静止画であってもよい。
【0028】
収音部117は、マイクロフォン等の収音装置である。収音部117は、オーダ端末10周辺の音声を収音し、収音によって得られた音声データをCPU111に出力する。例えば、収音部117は、制御部110の制御の下、商品のオーダを済ませた客が、当該商品について話す音声等を収音する。
【0029】
通信部118は、ネットワークNに接続された各装置と通信を行うための通信インタフェースである。通信部118は、CPU111の制御の下、ネットワークNに接続されたサーバ装置30等との間で各種データの送受信を行う。なお、通信部118は、サーバ装置30への各種データ及び情報の送信に際し、自己のオーダ端末10が設けられたテーブルTのテーブルIDを含めて送信を行うものとする。
【0030】
記憶部119は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の補助記憶装置である。記憶部119は、CPU111が実行可能な各種のプログラムや各種の設定情報を記憶する。また、記憶部119は、店舗で販売される商品のメニューを示したメニュー情報Mを記憶する。
【0031】
メニュー情報Mは、例えば、メニュー画面の表示に係る表示レイアウトと、当該表示レイアウトにメニューとして割り付ける商品の情報(商品ID、商品名、商品画像等)と、当該商品を表示する順序や表示する大きさ等を規定した情報等を含む。
【0032】
制御部110は、メニュー情報Mに規定された表示順序や大きさに従い、該当する商品の商品名、商品画像等を表示レイアウトに割り付けたメニュー画面を生成し、表示部114に表示させる。メニュー画面では、表示された商品を選択することが可能となっており、制御部110は、選択された商品の商品IDをオーダ対象として受け付ける。そして、制御部110は、オーダ対象の商品IDをサーバ装置30に送信することで、商品のオーダを行う。
【0033】
また、店員端末40のハードウェア構成は、オーダ端末10と同様であってもよい。一例としては、店員端末40のハードウェア構成は、オーダ端末10のハードウェア構成から撮像部116及び収音部117を取り除いたものであってもよい。
【0034】
図3は、サーバ装置30のハードウェア構成の一例を示す図である。図3に示すように、サーバ装置30は、CPU311と、ROM312と、RAM313とを備える。
【0035】
CPU311は、プロセッサの一例であり、サーバ装置30の各部を統括的に制御する。ROM312は、各種プログラムを記憶する。RAM313は、プログラムや各種データを展開するワークスペースである。
【0036】
CPU311、ROM312、及びRAM313は、バス等を介して接続され、コンピュータ構成の制御部310を構成する。制御部310では、CPU311が記憶部317に記憶されRAM313に展開されたプログラムに従って動作することによって、各種の処理を実行する。
【0037】
また、サーバ装置30は、表示部314、操作部315、通信部316、及び記憶部317等を備える。
【0038】
表示部314は、LCD等の表示デバイスである。表示部314は、CPU311の制御の下、各種の情報を表示する。操作部315は、キーボード、ポインティングデバイス等の入力デバイスである。操作部315は、オペレータから受け付けた操作内容をCPU311に出力する。なお、操作部315は、表示部314の表示画面に設けられたタッチパネルであってもよい。
【0039】
通信部316は、ネットワークNに接続された各装置と通信を行うための通信インタフェースである。通信部316は、CPU311の制御の下、ネットワークNに接続されたオーダ端末10、外部データ取得装置20及び店員端末40等との間で各種データの送受信を行う。
【0040】
記憶部317は、HDDやSSD等の補助記憶装置である。記憶部317は、CPU311が実行可能な各種のプログラムや各種の設定情報を記憶する。また、記憶部317は、商品マスタ3171、第1分析モデル3172、第2分析モデル3173、評価点設定ファイル3174、オーダ管理ファイル3175、メニュー評価リストファイル3176、メニュー作成元ファイル3177等を記憶する。
【0041】
商品マスタ3171は、店舗で販売される商品に関する情報を記憶したマスタファイルである。例えば、商品マスタ3171は、図4に示すデータ構成を有する。図4は、商品マスタ3171のデータ構成の一例を示す図である。図4に示すように、商品マスタ3171は、商品IDに関連付けて、当該商品IDに対応する商品の商品名、価格、商品画像等の商品情報を記憶する。
【0042】
また、商品マスタ3171は、商品IDに関連付けて、当該商品IDに対応する商品のキーワードを記憶する。ここで、キーワードには、商品の商品名や略称、一般名等、商品を表す際に使用される各種のワードが格納される。例えば、商品が「カルボナーラ」の場合、キーワードには「カルボナーラ」、「パスタ」、「麺」等のワードが格納される。また、例えば、商品が「ショートケーキ」の場合、キーワードには「ケーキ」、「イチゴ」、「クリーム」等のワードが格納される。
【0043】
第1分析モデル3172は、客を撮像した撮像データから、当該客の属性を導出することが可能なデータ分析用のモデルである。例えば、第1分析モデル3172は、公知の顔認識技術等を利用した学習モデルであってもよいし、機械学習を用いないアルゴリズム等であってもよい。前者の場合、例えば、第1分析モデル3172は、様々な人物の顔や姿を撮像した撮像データと、当該人物の属性を示す正解データとの組からなる教師データを用い、ディープラーニング等の機械学習によって生成された学習モデルであってもよい。第1分析モデル3172は、オーダ端末10又は外部データ取得装置20で撮像された客の撮像データを入力とし、当該撮像データに基づき推定した客の属性を出力する。例えば、第1分析モデル3172は、客の年齢(年齢層)や性別等を、客の属性として出力する。
【0044】
第2分析モデル3173は、客の音声を録音した音声データから、当該客が発した発話内容を分析することが可能なデータ分析用のモデルである。例えば、第2分析モデル3173は、公知の音声認識技術を用いた学習モデルであってもよいし、機械学習を用いないアルゴリズム等であってもよい。前者の場合、例えば、第2分析モデル3173は、様々な人物の音声を録音した音声データと、その発話内容を示す正解データとの組からなる教師データを用い、ディープラーニング等の機械学習によって生成された学習モデルであってもよい。第2分析モデル3173は、オーダ端末10又は外部データ取得装置20で収集された客の音声データを入力とし、当該音声データに基づき推定した客の発話内容を出力する。
【0045】
また、第2分析モデル3173は、公知の顔認証技術等を用いることで、複数の人物が撮像された撮像データと、当該人物の音声データとから、発話した人物の特定と発話内容の推定とを同時に行うモデルであってもよい。この場合、第2分析モデル3173は、撮像データから人物の顔領域を抽出し、当該人物の口の動きの変化から発話している人物を特定する。また、第2分析モデル3173は、口の動きを検知した期間の音声データから当該人物の発話内容を推定する。そして、第2分析モデル3173は、人物の特定結果とその発話内容とを出力する。さらに、第2分析モデル3173は、特定した人物の表情の変化から、当該人物の感情等を読み取り、その読取結果を人物の特定結果及び発話内容とともに出力してもよい。
【0046】
評価点設定ファイル3174は、発話内容に含まれる文言から商品に関する評価を導出するため情報を設定したファイルである。評価点設定ファイル3174は、一又は複数のファイルで構成され、発話内容を分析する際に使用される。
【0047】
例えば、評価点設定ファイル3174は、商品を評価する際に使用されるワード(以下、評価ワードともいう)毎に、当該評価ワードによる評価の程度を定量化した基本評価点を関連付けた第1設定ファイル31741を有する。また、評価点設定ファイル3174は、評価ワードに付随して使用される程度を表す修飾語と、当該修飾語に対応する重み係数とを関連付けた第2設定ファイル31742を有する。
【0048】
図5は、第1設定ファイル31741のデータ構成の一例を示す図である。図5に示すように、第1設定ファイル31741は、評価ワードと基本評価点とを関連付けて記憶する。評価ワードには、「おいしい」、「うまい」、「まずい」、「おいしくない」等、ポジティブな評価を意味するワードから、ネガティブな評価を意味するワードまでを網羅するよう複数種類が格納される。また、基本評価点には、評価ワードの意味に対応した基本評価点が設定される。図5では、ポジティブな評価に「+1」の基本評価点を付与し、ネガティブな評価に「-1」の基本評価点を付与するようにした例を示している。なお、基本評価点はこれに限るものではない。例えば、評価ワード毎に異なる基本評価点を付与してもよい。
【0049】
図6は、第2設定ファイル31742のデータ構成の一例を示す図である。図6に示すように、第2設定ファイル31742は、程度副詞と重み(係数)とを関連付けて記憶する。程度副詞には、「とても」、「非常に」、「たいへん」、「全然」等、程度を表す副詞が複数種類格納される。なお、程度副詞には、程度を表す副詞に限らず、程度を表す他の修飾語(形容動詞等)を格納してもよい。重みには、程度副詞が表す程度に対応した重み係数の値が設定される。図5では、程度副詞が表す程度が大きいほど、重みを大きくした例を示している。重みに設定された値は、後述する評価点の算出の際に、第1設定ファイル31741の基本評価点に乗算される。
【0050】
オーダ管理ファイル3175は、オーダ情報を記憶し管理するためのファイルである。例えば、オーダ管理ファイル3175は、図7に示すデータ構成を有する。図7は、オーダ管理ファイル3175のデータ構成の一例を示す図である。図7に示すように、オーダ管理ファイル3175は、テーブルTの各々を識別可能なテーブルIDに関連付けて、オーダされた商品の商品IDを記憶する。ここで、テーブルID及び商品IDは、オーダ端末10から通知されるオーダ情報である。
【0051】
また、オーダ管理ファイル3175は、商品IDに関連付けて、商品IDに対応する商品をオーダした客の属性を記憶する。ここで、客の属性には、第1分析モデル3172を用いて導出された属性が格納される。なお、図7では、客の属性として、年齢(年齢層)と性別を記憶した例を示している。また、オーダ管理ファイル3175は、商品IDに関連付けて、当該商品IDの商品に対する客の評価点を関連付けて記憶する。ここで、評価点には、第2分析モデル3173及び評価点設定ファイル3174を用いて導出された評価点が格納される。
【0052】
メニュー評価リストファイル3176は、商品に対する評価を客の属性毎に集計した結果を記憶し管理するためのファイルである。例えば、メニュー評価リストファイル3176は、図8に示すデータ構成を有する。図8は、メニュー評価リストファイル3176のデータ構成の一例を示す図である。
【0053】
図8に示すように、メニュー評価リストファイル3176は、各商品の商品IDに関連付けて、当該商品IDに対応する商品の商品名を記憶する。また、メニュー評価リストファイル3176は、商品IDに関連付けて、当該商品IDの商品に対する総合評価点を、当該客の属性毎に記憶する。ここで、総合評価点は、同一の属性を有する客の評価点を合計したものとなる。例えば、図8では、「カルボナーラ」、「ショートケーキ」、「サラダ」、「ハンバーグ」の各商品について、年齢層が「30歳台」及び性別が「女性」の客の総合評価点を示している。
【0054】
メニュー作成元ファイル3177は、メニュー情報の生成に用いるデータファイル群である。例えば、メニュー作成元ファイル3177は、店舗で販売される商品の商品IDに関連付けて、当該商品の商品画像や説明文を格納した基本情報を含む。また、メニュー作成元ファイル3177は、メニュー画面の表示に係る表示レイアウトやアイコン画像を構成するレイアウト情報を含む。さらに、メニュー作成元ファイル3177は、表示レイアウトにメニューとして割り付ける商品や当該商品の表示順序等を規定する付加情報を含む。
【0055】
後述する処理では、サーバ装置30は、メニュー評価リストファイル3176の総合評価点に基づき、表示レイアウトにメニューとして割り付ける商品をカスタマイズしたメニュー情報を生成し、オーダ端末10に送信する。
【0056】
なお、サーバ装置30のハードウェア構成は、図3の例に限定されないものとする。例えば、データベースサーバ等の別体の記憶装置が、商品マスタ3171~メニュー作成元ファイル3177の何れか又は全てを記憶する構成としてもよい。この場合、サーバ装置30は、別体の記憶装置にアクセスすることで、当該記憶装置に記憶された商品マスタ3171~メニュー作成元ファイル3177の何れか又は全てを参照したり、編集したりする。
【0057】
次に、オーダ端末10及びサーバ装置30の機能構成について説明する。
【0058】
図9は、オーダ端末10の機能構成の一例を示す図である。図9に示すように、オーダ端末10は、メニュー表示部151と、オーダ受付部152と、データ取得部153とを機能構成として備える。具体的には、オーダ端末10の制御部110(CPU111)は、ROM112又は記憶部119に記憶されたプログラムを実行することで上述した機能構成を実現する。
【0059】
なお、本実施形態では、上述の機能構成は、オーダ端末10のプロセッサとプログラムとの協働により実現されるソフトウェア構成とするが、これに限らず、機能構成の一部又は全てを専用回路等で実現するハードウェア構成としてもよい。
【0060】
メニュー表示部151は、表示手段の一例である。メニュー表示部151は、サーバ装置30から送信されるメニュー情報を、通信部118を介して取得する。また、メニュー表示部151は、取得したメニュー情報を記憶部119に記憶し、所定のタイミングで、当該メニュー情報に基づいたメニュー画面を表示部114に表示させる。
【0061】
例えば、メニュー表示部151は、操作部115を介して、自己のオーダ端末10の操作が開始されたことを検知すると、表示部114にメニュー画面を表示させる。また、例えば、メニュー表示部151は、サーバ装置30から客の属性が通知されると、その属性に対応するメニュー情報を用いることで、当該メニュー情報に基づいたメニュー画面を表示部114に表示させる。なお、後者の例の場合、メニュー表示部151は、操作開始を検知してから所定時間の間、サーバ装置30から客の属性の通知を待機し、通知されない場合にデフォルト設定されたメニュー情報を用いてメニュー画面を表示させてもよい。
【0062】
オーダ受付部152は、操作部115を介してオーダ対象となる商品の選択を受け付ける。具体的には、オーダ受付部152は、表示部114に表示されたメニュー画面に基づき商品の選択を受け付ける。オーダ受付部152は、商品が選択されると、その商品の商品IDを含んだオーダ情報を、通信部118を介してサーバ装置30に送信する。また、オーダ受付部152は、オーダの確定操作を受け付けると、オーダの確定を指示する情報を、通信部118を介してサーバ装置30に送信する。
【0063】
データ取得部153は、撮像部116及び収音部117からデータを取得する。具体的には、データ取得部153は、撮像部116及び収音部117の動作を制御し、動作時に撮像部116及び収音部117で得られるデータを取得する。データ取得部153は、取得したデータを、通信部118を介してサーバ装置30に送信する。
【0064】
例えば、データ取得部153は、操作部115を介して、自己のオーダ端末10の操作が開始されたことを検知すると、撮像部116を動作させ撮像データの取得を開始する。
また、例えば、データ取得部153は、オーダの確定操作を受け付けると、撮像部116を停止し、収音部117を動作させることで音声データの取得を開始する。そして、データ取得部153は、商品の会計を指示する操作が行われると、収音部117を停止させる。なお、データ取得部153は、オーダの確定操作後、収音部117とともに撮像部116を動作させてもよい。
【0065】
図10は、サーバ装置30の機能構成の一例を示す図である。図10に示すように、サーバ装置30は、データ収集部351と、属性判定部352と、オーダ管理部353と、評価点算出部354と、メニュー評価リスト生成部355と、メニュー更新部356と、参照要求受付部357とを備える。具体的には、サーバ装置30の制御部310(CPU311)は、ROM312又は記憶部317に記憶されたプログラムを実行することで上述した機能構成を実現する。
【0066】
なお、本実施形態では、上述の機能構成は、サーバ装置30のプロセッサとプログラムとの協働により実現されるソフトウェア構成とするが、これに限らず、機能構成の一部又は全てを専用回路等で実現するハードウェア構成としてもよい。
【0067】
データ収集部351は、通信部316を介して、オーダ端末10及び外部データ取得装置20から送信される撮像データ及び音声データを収集する。収集された撮像データ及び音声データは、属性判定部352及び評価点算出部354でリアルタイムに処理されてもよいし、記憶部317等に一時的に記憶する構成としてもよい。後者の場合、収集されたデータは、例えば、同一のテーブルIDを含むデータ毎に時系列順に記憶される。
【0068】
属性判定部352は、第1判定手段及び関連付手段の一例である。属性判定部352は、データ収集部351によって収集されたオーダ端末10の撮像データに含まれる客の顔又は姿に基づき、当該オーダ端末10を操作する客の属性を判定する。具体的には、属性判定部352は、収集された撮像データを第1分析モデル3172に入力することで、第1分析モデル3172が出力する属性を、オーダ端末10を操作する客の属性として判定する。また、属性判定部352は、メニュー評価リストファイル3176が生成された後の、後述するレコメンドの段階において、撮像データに基づき判定して客の属性を、当該撮像データを送信したオーダ端末10に通知する。
【0069】
オーダ管理部353は、オーダ端末10から送信されるオーダ情報を受け付ける。また、オーダ管理部353は、受け付けたオーダ情報を、オーダ管理ファイル3175に記憶し管理する。
【0070】
具体的には、オーダ管理部353は、オーダ端末10からオーダ情報を受け付けると、そのオーダ情報に含まれるテーブルID及び商品IDを、オーダ管理ファイル3175に格納する。また、オーダ管理部353は、属性判定部352と協働することで、商品のオーダ時に導出された客の属性を、当該商品の商品IDに関連付けてオーダ管理ファイル3175に格納する。
【0071】
また、オーダ管理部353は、オーダ端末10からオーダ確定の通知を受け付けると、オーダされた商品の商品名やテーブルIDを出力装置に出力し、オーダフラグをオーダ済に変更する。具体的には、オーダ管理部353は、オーダ確定を指示する情報に含まれたテーブルIDに基づき、テーブルIDに関連付けられたオーダフラグが未オーダのオーダ情報をオーダ管理ファイル3175から検索する。オーダ管理部353は、検索したオーダ情報に含まれた商品IDに対応する商品名を商品マスタ3171から読み出し、テーブルID等とともに出力装置に出力する。そして、オーダ管理部353は、出力装置への出力が完了したオーダ情報のオーダフラグをオーダ済に変更する。
【0072】
評価点算出部354は、検出手段、算出手段、第1生成手段、及び第2判定手段の一例である。評価点算出部354は、データ収集部351によって収集されたオーダ端末10の音声データから、客がオーダした商品の評価に関する発話部分を検出し、検出した発話部分の内容に基づいて評価点を算出する。
【0073】
具体的には、評価点算出部354は、処理対象となる音声データを第2分析モデル3173に入力することで、第2分析モデル3173の出力を、その音声データの発話内容として取得する。次いで、評価点算出部354は、処理対象の音声データとともに送信されたテーブルIDに基づき、テーブルIDに関連付けてオーダ管理ファイル3175に記憶されたレコードのうち、評価点が未登録のレコードに含まれる商品IDを特定する。次いで、評価点算出部354は、特定した商品IDに対応するキーワードを商品マスタ3171から読み出す。
【0074】
続いて、評価点算出部354は、商品マスタ3171から読み出したキーワードと、第1設定ファイル31741に定義された評価ワードとの組に基づき、音声データの発話内容から、客がオーダした商品の評価に関する発話部分を検出する。
【0075】
具体的には、評価点算出部354は、発話内容からキーワードを検出すると、当該キーワードの前後の発話位置に評価ワードが存在するかを判定し、存在した場合にその評価ワードの基準評価点を読み出す。ここで、「前後の発話位置」は、基点となる語(キーワード)の前後に位置する語又は文節を意味する。なお、前後の範囲に含める語数又は文節数は、任意に設定することが可能であるとする。
【0076】
例えば、客が「カルボナーラ」をオーダし、当該オーダの会計が未完了の状態で、この客が着座したテーブルで収音された音声データに「このパスタとてもおいしい」との発話内容が含まれていたとする。この例文の場合、評価点算出部354は、商品「カルボナーラ」に対応するキーワード「カルボナーラ」、「パスタ」、「麺」を商品マスタ3171から読み出す。次いで、評価点算出部354は、音声データの発話内容から、キーワードを検出する。上記例の場合、発話内容にキーワード「パスタ」が含まれるため、評価点算出部354は、「パスタ」の発話位置を検出する。
【0077】
次いで、評価点算出部354は、キーワードの発話位置の前後から、第1設定ファイル31741に定義された評価ワードの検出を試みる。上記の例文では、キーワード「パスタ」の後段に評価ワード「おいしい」が存在するため、評価点算出部354は、その評価ワードに対応する基準評価点「+1」を第1設定ファイル31741から読み出す。
【0078】
また、評価点算出部354は、評価ワードを検出した場合、その評価ワードの発話位置の前後に、第2設定ファイル31742に定義された程度副詞が存在するか否かを判定する。程度副詞が存在する場合、評価点算出部354は、程度副詞に対応する重みを基準評価点に乗算した値を評価点として算出する。なお、程度副詞が存在しない場合には、評価点算出部354は、基準評価点の値を評価点として算出する。
【0079】
例えば、上記の例文では、評価ワード「おいしい」の前段に程度副詞「とても」が存在するため、評価点算出部354は、程度副詞が存在すると判定し、当該程度副詞に対応する重み「2」を第2設定ファイル31742から読み出す。そして、評価点算出部354は、基準評価点「+1」に重み「2」を乗算した値「+2」を、商品「カルボナーラ」に対する評価点として算出する。
【0080】
そして、評価点算出部354は、算出した評価点の値を、オーダ管理ファイル3175から特定した該当する商品IDの評価点に登録する。これにより、評価点算出部354は、商品ID及び客の属性の組と、当該商品IDに係る評価点とを関連付ける。ここで、商品ID及び客の属性の組と、評価点とを関連付けたレコードは、リストの一例である。
【0081】
なお、上記の処理では、商品IDに関連付けて評価点を登録することが可能であるが、商品を実際にオーダした客の評価点とはならず、当該客と同じテーブルに着座した別の客の評価点となる可能性がある。
【0082】
そこで、評価点算出部354は、データ収集部351で収集された他のデータを用いることで、音声データから検出した商品の評価に関する発話部分が、当該商品を実際にオーダした客による発話部分かを判定し、実際にオーダしたに客による発話部分と判定した場合に、評価値の算出や評価値の付与を行ってもよい。
【0083】
一例として、同一のテーブルに複数人の客が着座しているような場合、商品をオーダした客以外の他の客の発話内容に基づく評価点が、当該商品の評価点として計上される可能性がある。このような場合、評価点算出部354は、当該テーブルのテーブルIDに関する各種のデータを用いることで、どの客の発話内容かを特定し、商品を実際にオーダした客の評価点を当該商品に計上する。
【0084】
例えば、評価点算出部354は、オーダ端末10又は外部データ取得装置20から得られたデータ(音声データ及び撮像データ)のうち、テーブルIDが同一の装置から得られたデータに基づき、撮像データ中の人物の動作(例えば、口の動き)から発話している人物を特定する。また、評価点算出部354は、口の動きを検知した期間の音声データから該当する人物の発話内容を推定する。また、評価点算出部354は、属性判定部352と協働することで、口の動きを検出した人物の属性を判定し、テーブルIDに関連付けて記憶された、評価点が未登録のレコードに含まれる商品IDの中から、特定した属性に関連付けられた商品IDを特定する。そして、評価点算出部354は、算出した評価点の値を、特定した商品IDの評価点に登録する。また、評価点算出部354は、特定した属性に関連付けられた商品IDが存在しない場合には、評価点の算出を抑制したり、評価点の付与を抑制する。なお、この場合、評価点算出部354は、上述した発話した人物の特定と発話内容の推定とを同時に行う第2分析モデル3173を用いて、上記の処理を行ってもよい。
【0085】
また、他の例として、評価点算出部354は、オーダ端末10又は外部データ取得装置20から得られた撮像データから、配膳された商品の種別(商品ID)と、当該商品の位置と、当該商品を食する客の位置とを判別し、当該判別結果に基づいて、商品IDと客との紐づけを行ってもよい。具体的には、評価点算出部354は、客の発話内容から評価点を算出した場合に、その客が存在する位置に対応する商品の商品IDに関連付けて、評価点を登録する。なお、評価点算出部354は、メニュー作成元ファイル3177に記憶された各商品の商品画像と、撮像データ中に表された商品の画像とを照合することで、配膳された商品のIDを判別してもよい。また、評価点算出部354は、公知の画像認識技術を適用した商品認識用のモデルを用いることで、配膳された商品のIDを判別してもよい。また、各客の存在位置を特定する際には、属性判定部352で判定された属性を用いてもよい。
【0086】
この方法によれば、同一のテーブルに同一属性の客が複数着座しているような場合であっても、客と当該客がオーダした商品との関係を特定することができる。また、同一のテーブルに複数の客が着座し、且つ同種の商品(例えば、異なる種類のパスタ)が配膳されたような場合であっても、客と当該客がオーダした商品との関係を特定することができる。
【0087】
なお、客と当該客がオーダした商品との関係を特定するための方法は、上記例の方法に限らないものとする。例えば、客の顔画像等が予め登録されている場合には、評価点算出部354は、公知の顔認証技術を用いることで各客を個人認証し、認証した個人毎に当該個人がオーダした商品との関係を特定してもよい。
【0088】
また、評価点算出部354は、上述した評価点の登録に係る方法のうち、何れか一つの方法を選択的に実行してもよいし、組み合わせて実行してもよい。例えば、評価点算出部354は、同一のテーブルを撮像する撮像データから一人の客しか検出できない場合は、音声データのみを用いて評価点の登録を行ってもよい。また、例えば、評価点算出部354は、同一のテーブルを撮像する撮像データから複数の客を検出した場合、撮像データ及び音声データを複合的に用いて評価点の登録を行ってもよい。
【0089】
メニュー評価リスト生成部355は、第1生成手段の一例である、メニュー評価リスト生成部355は、オーダ管理ファイル3175に登録された情報に基づき、各商品に対する客の総合評価点を当該客の属性毎に算出したメニュー評価リストを生成する。そして、メニュー評価リスト生成部355は、生成したメニュー評価リストを、メニュー評価リストファイル3176に登録する。
【0090】
具体的には、オーダ管理ファイル3175に登録された属性の種別、つまり年齢及び性別の組毎に、当該種別の客がオーダした商品に対する評価点を商品ID毎に加算することで、メニュー別の総合評価点を算出する。そして、オーダ管理ファイル3175は、算出結果に基づき、商品ID、商品名、客の属性、及び総合評価点を関連付けたメニュー評価リストを生成し、メニュー評価リストファイル3176(図8参照)に登録又は既存のメニュー評価リストを更新する。ここで、メニュー評価リストは、リストの一例である。
【0091】
なお、メニュー評価リスト生成部355がメニュー評価リストを生成するタイミングが、例えば週に1回又は月に1回等、任意に設定することが可能であるとする。
【0092】
メニュー更新部356は、第2生成手段の一例である。メニュー更新部356は、商品マスタ3171及びメニュー作成元ファイル3177を用いて、オーダ端末10に提供するメニュー情報を生成する。具体的には、メニュー更新部356は、メニューとなる商品の商品IDに関する商品名、価格、商品画像、説明文等を、商品マスタ3171やメニュー作成元ファイル3177の基本情報から読み出し、これら各商品の情報を表示レイアウトに割り付けることで、メニュー画面の元となるメニュー情報を生成する。
【0093】
また、メニュー更新部356は、後述するレコメンドの段階において、メニュー評価リストファイル3176に登録された客の属性毎の商品の総合評価点に基づき、表示レイアウトに割り付ける商品や表示する順序をカスタマイズしたメニュー情報を、客の属性毎に生成する。
【0094】
一例として、メニュー更新部356は、総合評価点がより大きな商品の表示順序を上位としたり、表示するスペースを大きく割り付けたりする等のカスタマイズを行うことで、提示に係る優先度を高くする。そして、メニュー更新部356は、客の属性毎に生成したメニュー情報をオーダ端末10の各々に提供する。これにより、メニュー情報は、客の属性毎にその属性の嗜好を反映したものとなる。そのため、当該メニュー情報を用いてメニュー画面を表示することで、属性毎に人気の商品(メニュー)をリコメンドすることができる。
【0095】
また、他の例として、メニュー更新部356は、対象となる属性で総合評価点がゼロの商品や未評価の商品の表示順序を上位としたり、表示するスペースを大きく割り付けたりしてもよい。これにより、メニュー情報は、客の属性毎に、当該属性では注目されていなかった商品を積極的にアピールするものとなる。そのため、当該メニュー情報を用いてメニュー画面を表示することで、属性毎に注目されていなかった隠れた商品(メニュー)をリコメンドすることができる。
【0096】
なお、オーダ端末10に対するメニュー情報の提供方法は特に問わないものとする。例えば、メニュー更新部356は、店舗の開店時等にオーダ端末10の各々に一斉配布することで、オーダ端末10の記憶部119にメニュー情報Mとして保持させてもよい。また、メニュー更新部356は、オーダ端末10で客の操作が開始された都度、当該オーダ端末10にメニュー情報を送信してもよい。後者の場合、メニュー更新部356は、オーダ端末10から送信された撮像データに基づく客の属性の判定結果に基づき、該当する属性に対応するメニュー情報を、送信元のオーダ端末10に送信してもよい。
【0097】
参照要求受付部357は、外部装置からの参照要求に応じて、メニュー評価リストファイル3176の状態を表した画面を要求元の外部装置に提供する。例えば、参照要求受付部357は、店員端末40から参照要求を受け付けると、図11に示すメニュー評価リスト画面を店員端末40に提供し、店員端末40の表示に表示させる。
【0098】
ここで、図11は、メニュー評価リスト画面の一例を示す図である。図11に示すようにメニュー評価リスト画面は、検索条件となる客の属性として、性別を指定可能な操作子Baと、年齢を指定可能な操作子Bbとを有する。また、メニュー評価リスト画面は、表示条件に該当するメニュー評価リストの表示を指示するための表示ボタンBcを有する。
【0099】
メニュー評価リスト画面を操作する操作者(店員)は、操作子Ba及び操作子Bbを操作することで、所望の属性を指定した後、表示ボタンBcを操作する。参照要求受付部357は、メニュー評価リスト画面を介して、表示ボタンBcの操作を受け付けると、操作子Ba及び操作子Bbで指定された属性に対応するメニュー評価リストを、メニュー評価リストファイル3176から検索し、その検索結果を表示領域Aに表示させる。
【0100】
図11では、客の属性として性別「女性」及び年齢「21-30」が指定された際の、メニュー評価リストの一例を示している。これにより、店員端末40を操作する店員等の操作者は、メニュー評価リスト画面を参照することで、各商品に対する客の評価を当該客の属性毎に容易に確認することができる。
【0101】
なお、メニュー評価リスト画面は、図11の例に限らないものとする。例えば、メニュー評価リスト画面は、商品を検索条件とし、指定された商品についての総合評価値を客の属性毎に表示するものであってもよい。
【0102】
以下、上述したオーダ端末10及びサーバ装置30の動作例について説明する。まず、図12図14を参照して、メニュー評価リストの生成に係る段階(以下、学習段階ともいう)で行われるオーダ端末10及びサーバ装置30の動作例について説明する。
【0103】
図12は、オーダ端末10及びサーバ装置30において、学習段階で行われるオーダ処理の一例を示すフローチャートである。まず、オーダ端末10の制御部110は、自己のオーダ端末10の操作が開始されるまで待機する(ステップS11;No)。操作が開始されると(ステップS11;Yes)、データ取得部153は、撮像部116を動作させることで撮像を開始する(ステップS12)。次いで、データ取得部153は、撮像部116の撮像によって得られた撮像データをサーバ装置30に送信する(ステップS13)。サーバ装置30への撮像データの送信は、撮像部116による撮像が行われている間継続される。
【0104】
一方、サーバ装置30では、データ収集部351がオーダ端末10及び外部データ取得装置20から送信される各種のデータを収集している。属性判定部352は、オーダ端末10から送信された撮像データを受け付けると(ステップS21)、この撮像データを第1分析モデル3172に入力することで、オーダ端末10を操作する客の属性を判定する(ステップS22)。属性判定部352は、オーダ端末10から撮像データが送信される間、当該撮像データに基づく属性の判定を継続して行う。
【0105】
また、オーダ端末10では、メニュー表示部151が、自己のオーダ端末10の操作開始に応じて、メニュー情報Mに基づいたメニュー画面を表示部114に表示させる(ステップS14)。なお、メニュー情報Mは、客の属性によらない所定の表示順序で各商品が割り付けられたデフォルトのメニュー画面を表示させるものであるとする。
【0106】
次いで、オーダ受付部152は、メニュー画面に基づきオーダ対象の商品が選択されたか否かを判定する(ステップS15)。ここで、商品の選択を受け付けない場合には(ステップS15;No)、オーダ受付部152は、ステップS17に移行する。また、商品の選択を受け付けた場合には(ステップS15;Yes)、オーダ受付部152は、選択された商品の商品IDを含んだオーダ情報をサーバ装置30に送信し(ステップS16)、ステップS17に移行する。
【0107】
一方、サーバ装置30では、オーダ管理部353がオーダ情報の受信を待機している(ステップS23;No→ステップS25;No)。オーダ管理部353は、オーダ情報を受け付けると(ステップS23;Yes)、オーダ情報に含まれる商品IDと、このオーダ情報の受付時にステップS22で判定された属性とを関連付け、オーダ管理ファイル3175に登録する(ステップS24)。具体的には、オーダ管理部353は、オーダ情報とともに受け付けたテーブルIDに基づき、このテーブルIDに対応するオーダ端末10の撮像データから判定された属性を商品IDに関連付けてオーダ管理ファイルに登録する。これにより、商品をオーダした客の属性と、当該商品の商品IDとを関連付けて、オーダ管理ファイル3175に登録することができる。
【0108】
また、オーダ端末10では、オーダ受付部152がステップS17において、オーダを確定する操作がなされたか否かを判定する(ステップS17)。ここで、確定操作を受け付けない場合には(ステップS17;No)、オーダ受付部152は、ステップS15に処理を戻すことで、確定操作が行われるまでの間、オーダ対象の商品の選択を受け付ける。
【0109】
例えば、同一のテーブルに着座した客が複数人の場合、客が入れ替わってオーダ端末10を操作する際に、撮像部116で撮像される客の顔も入れ替わることになる。本処理では、撮像部116で撮像された撮像データはリアルタイムでサーバ装置30に送信され、これと同時に選択された商品の商品IDもサーバ装置30に送信されるため、オーダ端末10を操作する客が入れ替わった場合でも、当該客の属性とオーダされた商品との関係を関係付けることができる。
【0110】
また、オーダ受付部152は、確定操作を受け付けると(ステップS17;Yes)、オーダの確定をサーバ装置30に通知する(ステップS18)。そして、データ取得部153は、ステップS17の確定操作に対応して、撮像部116の動作を停止させ(ステップS19)、処理を終了する。なお、オーダの確定後も撮像を継続する場合には、データ取得部153は、ステップS19をスキップしてもよい。
【0111】
一方、サーバ装置30では、オーダ管理部353がオーダの確定通知を待機しており(ステップS25;No→ステップS23;No)、オーダの確定通知を受け付けると(ステップS25;Yes)、ステップS26に移行する。ステップS26では、ステップS23で受け付けたオーダ情報に含まれる商品IDや対応する商品名を店員に報知するため、出力装置に出力する(ステップS26)。そして、オーダ管理部353は、出力装置への送信が完了した商品IDのオーダフラグをオーダ済に変更し(ステップS27)、処理を終了する。
【0112】
以上の処理により、オーダ端末10からオーダされた商品の商品IDが、当該商品をオーダした客の属性と関連付けて、オーダ管理ファイル3175に登録されることになる。
【0113】
図13は、オーダ端末10及びサーバ装置30において、学習段階で行われる評価点登録処理の一例を示すフローチャートである。なお、本処理の前提として、オーダ端末10は、図12で説明したオーダ処理が完了した状態にあるとする(ステップS31)。
【0114】
オーダ端末10のデータ取得部153は、オーダ処理が完了すると、収音部117を動作させ、録音を開始する(ステップS32)。なお、データ取得部153は、撮像部116を動作させることで、録音とともに録画を構成としてもよい。
【0115】
録音が行われている間、オーダされた商品がテーブルTに配膳され、客により飲食が開始される。この間、客が発する発話内容は収音部117で収音され、録音データに記録される。また、外部データ取得装置20においても、テーブルTを利用する客の姿や発話内容が収集され、サーバ装置30へと送信される。
【0116】
また、録音が行われている間、データ取得部153は、会計を指示する操作が行われるのを待機し(ステップS33;No)、会計を指示する操作を受け付けると(ステップS33;Yes)、収音部117を停止させる(ステップS34)。なお、撮像部116を動作させていた場合には、データ取得部153は、ステップS34で撮像部116も停止させる。
【0117】
続いて、データ取得部153は、録音によって得られた音声データをサーバ装置30に送信し(ステップS35)、処理を終了する。なお、撮像部116を動作させていた場合には、データ取得部153は、ステップS34で撮像データもサーバ装置30に送信する。
【0118】
一方、サーバ装置30では、データ収集部351がオーダ端末10及び外部データ取得装置20から送信される各種のデータを収集している。評価点算出部354は、オーダ端末10から送信された音声データを受け付けると(ステップS41)、この音声データともに送信されたテーブルIDに基づき、処理対象となるレコードをオーダ管理ファイルから特定する(ステップS42)。具体的には、評価点算出部354は、該当するテーブルIDを含むレコードのうち、評価点が未入力のレコードを処理対象とする。
【0119】
次いで、評価点算出部354は、音声データを第2分析モデル3173に入力することで、音声データの分析を開始する(ステップS43)。具体的には、評価点算出部354は、音声データに記録された発話内容を第2分析モデル3173の出力から取得する。また、評価点算出部354は、処理対象のレコードに含まれる商品IDに基づき、当該商品IDの商品に関するキーワードを商品マスタ3171から取得する。そして、評価点算出部354は、発話内容からキーワードの検出を試みる。
【0120】
続いて、評価点算出部354は、発話内容からキーワードを検出したか否かを判定する(ステップS44)。ここで、キーワードを検出しないと判定した場合には(ステップS44;No)、評価点算出部354は、処理対象としたレコードの評価点欄に、評価点不明を示す情報(例えば、N/A等)を登録し、処理を終了する。
【0121】
また、評価点算出部354は、発話内容からキーワードを検出した場合(ステップS44;Yes)、そのキーワードを検出した発話位置の前後に評価ワードが存在するか否かを判定する(ステップS45)。ここで、評価ワードが存在しないと判定した場合には(ステップS45;No)、評価点算出部354は、処理対象としたレコードの評価点欄に、評価点不明を示す情報を登録し、処理を終了する。
【0122】
また、データ収集部351は、キーワードの発話位置の前後に評価ワードが存在すると判定した場合(ステップS45;Yes)、その評価ワードに対応する基準評価点を読み出す(ステップS46)。次いで、評価点算出部354は、評価ワードの発話位置の前後に程度副詞が存在するか否かを判定する(ステップS47)。ここで、程度副詞が存在しないと判定した場合には(ステップS47;No)、評価点算出部354は、ステップS46で読み出した基準評価点を評価点とし、ステップS49に移行する。
【0123】
また、評価点算出部354は、評価ワードの発話位置の前後に程度副詞が存在すると判定した場合(ステップS47;Yes)、その程度副詞に対応する重みを基準評価点に乗算した値を評価点とし(ステップS48)、ステップS49に移行する。
【0124】
続いて、評価点算出部354は、処理対象のレコ―ドに含まれる商品IDのうち、評価の対象となった商品の商品IDを特定する(ステップS49)。例えば、評価点算出部354は、発話内容から検出したキーワードに対応する商品の商品IDを、評価対象として特定する。また、例えば、評価点算出部354は、評価に関する発話を行った客が実際にオーダした商品に評価点を関連付けるため、同時期に記録されたテーブルIDが同一の他のデータの分析結果や、属性判定部352の判定結果を用いて商品IDを特定してもよい。
【0125】
続いて、評価点算出部354は、特定した商品IDに評価点を関連付けて登録し(ステップS50)、処理を終了する。
【0126】
以上の処理により、オーダ端末10からオーダされた商品に関する評価点が、オーダ管理ファイル3175に登録されることになる。
【0127】
図14は、オーダ端末10及びサーバ装置30において、学習段階で行われるメニュー評価リスト生成処理の一例を示すフローチャートである。なお、本処理の前提として、図13で説明した評価点登録処理が複数回実行された後であるとする。
【0128】
まず、サーバ装置30のメニュー評価リスト生成部355は、オーダ管理ファイル3175を参照する(ステップS61)。次いで、メニュー評価リスト生成部355は、オーダ管理ファイル3175に登録された各商品IDの評価値を、商品ID毎及び客の属性毎に加算することで総合評価値を算出する(ステップS62)。ここで、メニュー評価リスト生成部355は、評価値欄が未登録及び評価点不明の情報が登録されたレコードを除外して、総合評価値を算出する。
【0129】
次いで、メニュー評価リスト生成部355は、算出した総合評価値を、当該算出に係る商品ID及び客の属性と関連付けたメニュー評価リストを、メニュー評価リストファイル3176に登録する(ステップS63)。なお、メニュー評価リストファイル3176に既存のメニュー評価リストが登録されている場合には、メニュー評価リスト生成部355は、メニュー評価リストで上書き又は差分値を上書きすることで、メニュー評価リストの更新を行うものとする。
【0130】
続いて、メニュー更新部356は、メニュー評価リストファイル3176に基づき、客の属性毎にカスタマイズしたメニュー情報を生成する(ステップS64)。次いで、メニュー更新部356は、生成したメニュー情報をオーダ端末10の各々に送信し(ステップS65)、処理を終了する。
【0131】
なお、メニュー更新部356がメニュー情報を生成するタイミングは、メニュー評価リストの生成直後の限らないものとする。例えば、メニュー更新部356は、メニュー評価リストの生成処理とは独立したスケジュールで、メニュー情報を生成してもよい。
【0132】
一方、オーダ端末10ではメニュー情報を受信すると(ステップS71)、メニュー表示部151は、メニュー情報Mとして記憶部119に記憶し(ステップS72)、処理を終了する。
【0133】
以上の処理により、サーバ装置30は、これまで蓄積されたオーダ及び評価点の履歴から、各商品に対する客の属性毎の総合評価値を算出し、総合評価値の算出に係る商品と客の属性とを関連付けたメニュー評価リストを生成する。また、サーバ装置30は、メニュー評価リストに基づきカスタマイズした客の属性毎のメニュー情報を生成し、オーダ端末10に提供する。これにより、オーダ端末10の各々では、カスタマイズされたメニュー情報に基づくメニュー画面を表示することで、客の属性に対応した商品リコメンドを行う段階に移行することができる。
【0134】
図15は、実施形態のオーダ端末10及びサーバ装置30において、商品リコメンドの段階で行われるメニュー画面の表示に係る処理の一例を示すフローチャートである。なお、オーダ端末10のステップS81~S83、サーバ装置30のステップS91、S92は、図12で説明したオーダ端末10のステップS11~S13、サーバ装置30のステップS21、S22と同様であるため、説明を省略する。
【0135】
サーバ装置30の属性判定部352は、ステップS92で客の属性を判定すると、判定した属性を、撮像データを送信したオーダ端末10に通知する(ステップS93)。
【0136】
一方、オーダ端末10のメニュー表示部151は、サーバ装置30から属性の通知を受け付けると(ステップS84)、通知された属性に対応するメニュー情報Mをオーダ端末10から読み出し、当該メニュー情報Mに基づくメニュー画面を表示部114に表示させる(ステップS85)。以降の処理は、図12のステップS15及びステップS23以降と同様となる。
【0137】
以上の処理により、オーダ端末10では、自己のオーダ端末10を操作する客の属性用にカスタマイズされたメニュー情報を用いてメニュー画面を表示することができる。これにより、オーダ端末10は、客の属性に対応したメニュー画面を表示することができるため、例えば客の嗜好にあった商品をリコメンドしたり、客が普段オーダしないような商品をリコメンドしたりすることができる。
【0138】
次に、図16を参照して、サーバ装置30が行うメニュー評価リストの参照受付処理について説明する。図16は、サーバ装置30が行う参照受付処理の一例を示すフローチャートである。
【0139】
なお、図16では、メニュー評価リストの参照要求を行う装置として店員端末40を図示しているが、要求元の装置は店員端末40に限らないものとする。例えば、サーバ装置30自身が要求元の装置であってもよい。この場合、サーバ装置30は、操作部315を介してメニュー評価リストの参照要求を受け付ける。
【0140】
まず、店員端末40では、操作者の操作に応じて、メニュー評価リストの参照要求をサーバ装置30に送信する(ステップS101)。
【0141】
サーバ装置30の参照要求受付部357は、参照要求を受け付けると(ステップS111)、メニュー評価リスト状態を表示するためのメニュー評価リスト画面を生成する(ステップS112)。そして、参照要求受付部357は、生成したメニュー評価リスト画面を、要求元の店員端末40に送信する(ステップS113)。
【0142】
店員端末40は、サーバ装置30からメニュー評価リスト画面を受信すると(ステップS102)、メニュー評価リスト画面を図示しない表示部に表示させる(ステップS103)。
【0143】
図11で説明したように、メニュー評価リスト画面は、例えば表示条件となる客の属性を指定するための操作子を有する。サーバ装置30の参照要求受付部357は、店員端末40で指定される表示条件に応じて、メニュー評価リスト画面に表示するメニュー評価リストを更新する。
【0144】
これにより、店員端末40を操作する店員等の操作者は、メニュー評価リスト画面を参照することで、各商品に対する客の評価を当該客の属性毎に容易に確認することができる。例えば、店員端末40の操作者は、メニュー評価リスト画面を参照することで、自店舗で提供する商品がどの属性の客に人気があるのか、またはどの属性の客に不人気なのか等を容易に確認することができる。
【0145】
以上説明したように、レコメンドシステム1は、商品のオーダを行う客を撮像した撮像データに基づいて当該客の属性を判定し、客がオーダした商品の商品IDと、判定した客の属性とを関連付けて保持する。また、レコメンドシステム1は、客の発話内容を記録した音声データから、注文された商品の評価に関する発話部分を検出し、検出した発話部分の内容に基づいて商品に対する評価を定量化した評価点を算出する。そして、レコメンドシステム1は、識別情報及び属性の組と、当該識別情報に対応する商品について算出した評価点とを関連付けたリスト(オーダ管理ファイル3175の各レコード又はメニュー評価リストファイル3176のメニュー評価リスト)を生成する。
【0146】
これにより、レコメンドシステム1では、実際に店舗を利用した客から、アンケートに記入を要することなく、オーダされた商品に関する評価を収集することができるため、商品に対する評価を効率的に収集することができる。
【0147】
また、レコメンドシステム1は、生成したリストに含まれる客の属性と商品ID毎の評価点との関係に基づき、商品の注文を支援するためのメニュー画面を表示することが可能なメニュー情報を、客の属性毎に生成する。更に、レコメンドシステム1では、客の属性毎のメニュー情報のうち、商品のオーダを行う客を撮像した撮像データに基づき判定した属性に対応するメニュー情報を用いてメニュー画面を表示する。
【0148】
これにより、レコメンドシステム1では、客の属性毎に集計された評価結果に基づき、客の属性に応じた商品を、メニュー画面を介してリコメンドすることができるため、評価結果に基づいた商品のリコメンドを効率的に行うことができる。
【0149】
なお、上述した実施形態は、上述した各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。
【0150】
(変形例1)
上述の実施形態では、オーダ端末10を操作する客の属性をサーバ装置30が判定する形態としたが、これに限らないものとする。例えば、オーダ端末10の各々が、情報処理装置の一例として機能することで、自己のオーダ端末10を操作する客の属性を判定してもよい。この場合、オーダ端末10は、第1分析モデル3172及び属性判定部352等を備えることで、属性判定部352の機能により、撮像部116で撮像される撮像データから客の属性を判定すればよい。
【0151】
このような構成とすることで、例えば、オーダ端末10は商品リコメンドの段階で行われるメニュー画面の表示に係る処理(図15参照)を、自己のオーダ端末10のみで実現することができる。これにより、オーダ端末10では、客の属性に対応したメニュー画面の表示をより高速に行うことができるため、操作性の向上を図ることができる。
【0152】
(変形例2)
上述の実施形態では、商品に関する評価点の算出をサーバ装置30で行う形態としたが、これに限らず、オーダ端末10の各々が評価点の算出を行う形態としてもよい。この場合、オーダ端末10は、商品マスタ3171や第2分析モデル3173、評価点設定ファイル3174、評価点算出部354等を備えることで、評価点算出部354の機能により、収音部117で収音される音声データから商品に関する評価点の算出を行えばよい。また、オーダ端末10は、撮像部116で撮像される撮像データを用いて、商品をオーダした客と、評価の対象となった商品との対応関係を分析する構成としてもよい。
【0153】
また、オーダ端末10は、第1分析モデル3172及び属性判定部352を備えたり、自己のオーダ端末10が置かれたテーブルTを撮像する外部データ取得装置20と協働したりすることで、商品をオーダした客と、評価の対象となった商品との対応関係を分析する構成としてもよい。
【0154】
このような構成とすることで、例えば、オーダ端末10は、学習段階で必要となる評価点の採取を、オーダ端末10の各々で実行することができる。これにより、サーバ装置30の負荷を減少させることができる。
【0155】
(変形例3)
上述の実施形態では、メニュー更新部356は、メニュー評価リスト生成部355が生成したリスト(メニュー評価リスト)に基づき、メニュー情報を生成する形態としたが、これに限らないものとする。例えば、メニュー更新部356は、評価点算出部354が生成したリスト、つまりオーダ管理ファイル3175の各レコードに基づき、メニュー情報を生成してもよい。
【0156】
この場合、メニュー更新部356は、オーダ管理ファイル3175に登録された各レコードのうち、有効な評価点が登録された各レコードに含まれる、客の属性と商品ID毎の評価点との関係に基づき、客の属性毎にメニュー情報を生成すればよい。
【0157】
これにより、上記実施形態と同様の効果が得られるため、評価結果に基づいた商品のリコメンドを効率的に行うことができる。
【0158】
(変形例4)
上述の実施形態では、学習段階で行われる評価点登録処理(図13参照)において、オーダ完了から会計操作が指示されるまでの間に録音した音声データを、サーバ装置30で分析する構成としたが、これに限らず、オーダ端末10で収音される音声データを、サーバ装置30でリアルタイムに分析してもよい。
【0159】
(変形例5)
上述の実施形態では、サーバ装置30がオーダの管理を行う形態としたが、これに限らず、他の装置(以下、オーダ管理装置ともいう)がオーダの管理を行う形態としてもよい。この場合、サーバ装置30は、オーダ管理装置が管理するオーダ管理ファイルを参照又は操作することで、オーダされた商品の商品IDに関連付けて、客の属性や評価点を記憶する。
【0160】
なお、上述の実施形態の各装置で実行されるプログラムは、ROMや記憶部等に予め組み込まれた状態で提供される。上述の実施形態の各装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0161】
さらに、上述の実施形態の各装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態の各装置で実行されるプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【0162】
以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態やその変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0163】
1 レコメンドシステム
10 オーダ端末
20 外部データ取得装置
30 サーバ装置
40 店員端末
151 メニュー表示部
152 オーダ受付部
153 データ取得部
351 データ収集部
352 属性判定部
353 オーダ管理部
354 評価点算出部
355 メニュー評価リスト生成部
356 メニュー更新部
357 参照要求受付部
【先行技術文献】
【特許文献】
【0164】
【特許文献1】特開2016-177755号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16