特開 2024-71165 情報端末、商品推薦システム、商品推薦方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024071165

(43)【公開日】2024-05-24

(54)【発明の名称】情報端末、商品推薦システム、商品推薦方法及びプログラム

(51)【国際特許分類】

   G06Q 30/0601 20230101AFI20240517BHJP

   G06Q 30/06 20230101ALI20240517BHJP

   G07G 1/00 20060101ALI20240517BHJP

   G07G 1/01 20060101ALI20240517BHJP

【ＦＩ】

G06Q30/0601 330

G06Q30/0601 340

G06Q30/06

G07G1/00 331Z

G07G1/01 301D

【審査請求】有

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2022181973

(22)【出願日】2022-11-14

(71)【出願人】

【識別番号】500149555

【氏名又は名称】株式会社サイバーエージェント

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(72)【発明者】

【氏名】岩本 拓也

(72)【発明者】

【氏名】馬場 惇

(72)【発明者】

【氏名】吉川 雄一郎

(72)【発明者】

【氏名】石黒 浩

(72)【発明者】

【氏名】星牟禮 健也

(72)【発明者】

【氏名】中西 惇也

【テーマコード（参考）】

3E142

5L030

5L049

【Ｆターム（参考）】

3E142DA08

3E142DA11

3E142EA04

3E142EA23

3E142FA06

3E142FA42

3E142GA02

3E142GA03

3E142GA15

3E142GA16

3E142GA22

3E142GA41

3E142JA01

3E142JA02

5L030BB22

5L030BB66

5L030BB72

5L049BB22

5L049BB66

5L049BB72

(57)【要約】

【課題】顧客に応じた商品をその顧客に推薦することが可能である情報端末、商品推薦システム、商品推薦方法及びプログラムを提供する。
【解決手段】情報端末は、顧客データを取得する顧客処理部と、顧客データに対応付けられた第１商品と第１商品に対応付けられた第２商品とのうちの一つを表す推薦データを生成する推薦処理部と、推薦データに基づいて、第１商品若しくは第２商品に関する画像データ又は音声データを出力する出力処理部とを備える。顧客処理部は、顧客データに基づいて、第１商品の購入日を表す購入履歴データを取得してもよい。推薦処理部は、所定の日数が購入日から経過している場合、第１商品を表す推薦データを生成してもよい。
【選択図】図３

【特許請求の範囲】

【請求項1】

顧客データを取得する顧客処理部と、
前記顧客データに対応付けられた第１商品と前記第１商品に対応付けられた第２商品とのうちの一つを表す推薦データを生成する推薦処理部と、
前記推薦データに基づいて、前記第１商品若しくは前記第２商品に関する画像データ又は音声データを出力する出力処理部と
を備える情報端末。

【請求項2】

前記顧客処理部は、前記顧客データに基づいて、前記第１商品の購入日を表す購入履歴データを取得し、
前記推薦処理部は、所定の日数が前記購入日から経過している場合、前記第１商品を表す前記推薦データを生成し、
前記出力処理部は、前記第１商品を表す前記推薦データに基づいて、前記第１商品に関する画像データ又は音声データを出力する、
請求項１に記載の情報端末。

【請求項3】

前記顧客処理部は、前記顧客データとして、顧客の名前を取得し、
前記出力処理部は、前記顧客の名前の画像データ又は音声データを出力する、
請求項１に記載の情報端末。

【請求項4】

前記顧客処理部は、前記顧客データとして、前記第１商品の購入計画を表す購入計画データを取得し、
前記推薦処理部は、前記購入計画データに基づいて、前記第１商品若しくは前記第２商品に関する前記推薦データを生成し、
前記出力処理部は、前記推薦データに基づいて、前記第１商品若しくは前記第２商品に関する画像データ又は音声データを出力する、
請求項１に記載の情報端末。

【請求項5】

顧客と共に移動する籠に入れられた前記第１商品に関する情報を認識する認識部を更に備え、
前記第１商品に関する情報に基づいて、前記第１商品又は前記第２商品を表す前記推薦データを生成し、
前記出力処理部は、前記推薦データに基づいて、前記第１商品若しくは前記第２商品に関する画像データ又は音声データを出力する、
請求項１に記載の情報端末。

【請求項6】

前記認識部は、前記第１商品に関する情報に基づいて、前記籠に入れられた前記第１商品の総重量又は個数を認識し、前記総重量又は前記個数が増加した場合に前記推薦データを生成する、
請求項５に記載の情報端末。

【請求項7】

前記認識部は、前記第１商品に関する情報に基づいて、前記第１商品が属するカテゴリに対応付けられた前記第２商品を検索し、前記第２商品を表す前記推薦データを生成する、
請求項５に記載の情報端末。

【請求項8】

店舗における前記籠の位置を検出する位置検出部を更に備え、
前記推薦処理部は、前記店舗に陳列された前記第１商品又は前記第２商品と前記籠との間の距離が閾値以下になった場合、前記第１商品又は前記第２商品を表す前記推薦データを生成し、
前記出力処理部は、前記推薦データに基づいて、前記第１商品又は前記第２商品に関する画像データ又は音声データを出力する、
請求項５に記載の情報端末。

【請求項9】

前記出力処理部は、前記画像データとして、店舗における前記第１商品又は前記第２商品の位置を表す地図データを出力する、
請求項１に記載の情報端末。

【請求項10】

前記地図データは、推薦商品としての前記第１商品又は前記第２商品を表すアイコン画像を含む、
請求項９に記載の情報端末。

【請求項11】

前記出力処理部は、所定の演出処理を実行させるための信号を演出部に出力する、
請求項１に記載の情報端末。

【請求項12】

前記推薦処理部は、前記顧客データに対応付けられた顧客の時系列の行動に基づいて、前記推薦データを生成する、
請求項１に記載の情報端末。

【請求項13】

前記推薦処理部は、更に、前記顧客の属性に基づいて、前記推薦データを生成する、
請求項１２に記載の情報端末。

【請求項14】

前記推薦処理部は、推薦商品としての第３商品を更に表す前記推薦データを生成し、
前記出力処理部は、前記第３商品を更に表す前記推薦データに基づいて、前記第３商品に関する画像データ又は音声データを更に出力する、
請求項１に記載の情報端末。

【請求項15】

前記推薦処理部は、前記顧客データに対応付けられた顧客への問いかけに対する前記顧客の行動に基づいて、前記推薦データを生成する、
請求項１に記載の情報端末。

【請求項16】

前記顧客の行動は、前記顧客の移動、所定の商品を前記顧客が籠に入れる行動、又は、所定の商品情報を前記顧客がセンサに読み取らせる行動である、
請求項１５に記載の情報端末。

【請求項17】

前記推薦処理部は、前記顧客データに対応付けられた顧客が推薦商品の推薦を受け入れ易い状態であるか否かを、前記顧客の状態情報又は対話情報に基づいて判定し、前記推薦商品の推薦を受け入れ易い状態であると判定された場合、前記推薦データを生成する、
請求項１に記載の情報端末。

【請求項18】

前記推薦処理部は、前記推薦商品の推薦を受け入れ易い状態でないと判定された場合、雑談を表す画像データ又は音声データを生成し、
前記出力処理部は、前記雑談を表す画像データ又は音声データを出力する、
請求項１７に記載の情報端末。

【請求項19】

制御装置と情報端末とを備える商品推薦システムであって、
前記制御装置は、
顧客データを記憶する記憶部を備え、
前記情報端末は、
前記顧客データを取得する顧客処理部と、
前記顧客データに対応付けられた第１商品と前記第１商品に対応付けられた第２商品とのうちの一つを表す推薦データを生成する推薦処理部と、
前記推薦データに基づいて、前記第１商品若しくは前記第２商品に関する画像データ又は音声データを出力する出力処理部とを備える、
商品推薦システム。

【請求項20】

情報端末が実行する商品推薦方法であって、
顧客データを取得する顧客処理ステップと、
前記顧客データに対応付けられた第１商品と前記第１商品に対応付けられた第２商品とのうちの一つを表す推薦データを生成する推薦処理ステップと、
前記推薦データに基づいて、前記第１商品若しくは前記第２商品に関する画像データ又は音声データを出力する出力処理ステップと
を含む商品推薦方法。

【請求項21】

コンピュータに、
顧客データを取得する手順と、
前記顧客データに対応付けられた第１商品と前記第１商品に対応付けられた第２商品とのうちの一つを表す推薦データを生成する手順と、
前記推薦データに基づいて、前記第１商品若しくは前記第２商品に関する画像データ又は音声データを出力する手順と
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報端末、商品推薦システム、商品推薦方法及びプログラムに関する。

【背景技術】

【0002】

情報端末を備えたショッピングカートが知られている。特許文献１では、ショッピングカートに備えられた情報端末が、店舗に陳列された商品に関する情報を表示する。また、特許文献２では、電子商取引サーバ（商品推薦システム）が、顧客の購入履歴情報において購入履歴のない商品を、購入推薦商品として顧客に推薦する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３－００８０７３号公報

【特許文献2】特開２０１９－１０２０１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、商品推薦システムは、商品を顧客に一方的に推薦するだけであった。例えば、顧客の購入履歴情報において購入履歴のない商品は、その顧客にとって不要な商品である可能性が高い。それにもかかわらず、購入履歴のない商品を商品推薦システムが顧客に推薦する場合がある。購入履歴のない商品が顧客にとって結果的に必要な商品であれば問題ないが、購入履歴のない商品がその顧客にとってやはり不要な商品である場合がある。このように、顧客に応じた商品をその顧客に推薦することができないという問題がある。

【0005】

上記事情に鑑み、本発明は、顧客に応じた商品をその顧客に推薦することが可能である情報端末、商品推薦システム、商品推薦方法及びプログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明の一態様は、顧客データを取得する顧客処理部と、前記顧客データに対応付けられた第１商品と前記第１商品に対応付けられた第２商品とのうちの一つを表す推薦データを生成する推薦処理部と、前記推薦データに基づいて、前記第１商品若しくは前記第２商品に関する画像データ又は音声データを出力する出力処理部とを備える情報端末である。

【0007】

本発明の一態様は、制御装置と情報端末とを備える商品推薦システムであって、前記制御装置は、顧客データを記憶する記憶部を備え、前記情報端末は、前記顧客データを取得する顧客処理部と、前記顧客データに対応付けられた第１商品と前記第１商品に対応付けられた第２商品とのうちの一つを表す推薦データを生成する推薦処理部と、前記推薦データに基づいて、前記第１商品若しくは前記第２商品に関する画像データ又は音声データを出力する出力処理部とを備える、商品推薦システムである。

【0008】

本発明の一態様は、情報端末が実行する商品推薦方法であって、顧客データを取得する顧客処理ステップと、前記顧客データに対応付けられた第１商品と前記第１商品に対応付けられた第２商品とのうちの一つを表す推薦データを生成する推薦処理ステップと、前記推薦データに基づいて、前記第１商品若しくは前記第２商品に関する画像データ又は音声データを出力する出力処理ステップとを含む商品推薦方法である。

【0009】

本発明の一態様は、上記の情報端末としてコンピュータを機能させるためのプログラム
である。

【発明の効果】

【0010】

本発明により、顧客に応じた商品をその顧客に推薦することが可能である。

【図面の簡単な説明】

【0011】

【図1】第１実施形態における、商品推薦システムの構成例を示す図である。

【図2】第１実施形態における、使用中の情報端末及びカートの外観例を示す俯瞰図である。

【図3】第１実施形態における、情報端末の構成例を示す図である。

【図4】第１実施形態における、俯瞰された店舗内を表す地図の例を示す図である。

【図5】第１実施形態における、商品データテーブルの例を示す図である。

【図6】第１実施形態における、テキストデータテーブルの例を示す図である。

【図7】第１実施形態における、顔画像の第１例を示す図である。

【図8】第１実施形態における、顔画像の第２例を示す図である。

【図9】第１実施形態における、顧客データの例を示す図である。

【図10】第１実施形態における、購入履歴データの例を示す図である。

【図11】第１実施形態における、顔画像及びテキストの第１表示例を示す図である。

【図12】第１実施形態における、地図の第１表示例を示す図である。

【図13】第１実施形態における、籠内データの第１例を示す図である。

【図14】第１実施形態における、顔画像及びテキストの第２表示例を示す図である。

【図15】第１実施形態における、顔画像及びテキストの第３表示例を示す図である。

【図16】第１実施形態における、地図の第２表示例を示す図である。

【図17】第１実施形態における、顔画像及びテキストの第４表示例を示す図である。

【図18】第１実施形態における、商品推薦システムの動作例を示すフローチャートである。

【図19】第１実施形態の変形例における、テキストデータテーブルの例を示す図である。

【図20】第１実施形態の変形例における、操作用画像の第１表示例を示す図である。

【図21】第１実施形態の変形例における、操作用画像の第２表示例を示す図である。

【図22】第１実施形態の変形例における、操作用画像の第３表示例を示す図である。

【図23】第１実施形態の変形例における、操作用画像の第４表示例を示す図である。

【図24】第１実施形態の変形例における、推薦用画像の表示例を示す図である。

【図25】第１実施形態の変形例における、演出用画像の第１表示例を示す図である。

【図26】第１実施形態の変形例における、演出用画像の第２表示例を示す図である。

【図27】第２実施形態における、商品推薦システムの構成例を示す図である。

【図28】第３実施形態における、商品推薦システムの構成例を示す図である。

【図29】第４実施形態における、商品データテーブルと俯瞰された店舗内を表す地図との第１例を示す図である。

【図30】第４実施形態における、商品データテーブルと俯瞰された店舗内を表す地図との第２例を示す図である。

【図31】第４実施形態における、商品データテーブルと俯瞰された店舗内を表す地図との第３例を示す図である。

【図32】第４実施形態における、商品データテーブルと俯瞰された店舗内を表す地図との第４例を示す図である。

【図33】第４実施形態における、商品データテーブルと俯瞰された店舗内を表す地図との第５例を示す図である。

【図34】第４実施形態の変形例における、商品データテーブルと俯瞰された店舗内を表す地図との例を示す図である。

【図35】第５実施形態における、顔画像及びテキストの第１表示例を示す図である。

【図36】第５実施形態における、顔画像及びテキストの第２表示例を示す図である。

【図37】第５実施形態における、顔画像及びテキストの第３表示例を示す図である。

【図38】第５実施形態における、商品推薦システムの動作の第１例を示すフローチャートである。

【図39】第５実施形態における、商品推薦システムの動作の第２例を示すフローチャートである。

【図40】第５実施形態における、商品推薦システムの動作の第３例を示すフローチャートである。

【図41】第５実施形態における、商品推薦システムの動作の第４例を示すフローチャートである。

【図42】第６実施形態における、推薦処理部の処理例を示す図である。

【図43】第６実施形態における、推薦の受け入れ易さのスコアテーブルの例を示す図である。

【図44】第６実施形態における、テキストデータテーブルの例を示す図である。

【発明を実施するための形態】

【0012】

本発明の実施形態について、図面を参照して詳細に説明する。
（第１実施形態）
図１は、第１実施形態における、商品推薦システム１ａの構成例を示す図である。商品推薦システム１ａは、店舗に陳列された商品を顧客（ユーザ）に推薦するシステムである。商品推薦システム１ａは、例えば、店舗に備えられる。商品推薦システム１ａは、店舗においてカート（エージェント化されたショッピングカート）を利用する顧客に関する顧客データに応じて、店舗に陳列されている商品をその顧客に推薦する。これによって、顧客に応じた商品をその顧客に推薦することが可能である。エージェント化とは、例えば、商品推薦システムの情報端末があたかも生命体であるかのような演出をすること（情報端末を擬人化すること）である。エージェント化とは、例えば、顧客と商品推薦システムとの間のやりとりを双方向化することでもよい。

【0013】

商品推薦システム１ａは、制御装置２ａと、通信回線３と、Ｎ台（Ｎは、１以上の整数）の情報端末４と、Ｎ台のカート５と、Ｎ台の演出部６と、Ｍ台（Ｍは、１以上の整数）の１台以上のビーコン７とを備える。制御装置２ａは、通信部２０と、制御部２１ａと、記憶部２２とを備える。情報端末４－ｎ（ｎは、１以上Ｎ以下の整数）と演出部６－ｎとは、カート５－ｎに備えられる。

【0014】

制御装置２ａは、情報処理装置であり、例えばサーバである。制御装置２ａは、店舗に備えられてもよいし、複数の店舗を統括する本部店舗（本店）に備えられてもよい。通信部２０は、通信回線３を介して、各情報端末４との無線通信を実行する。制御部２１ａは、記憶部２２に記憶されたプログラムを実行する。例えば、制御部２１ａは、記憶部２２に記憶された各種データを、通信部２０を用いて各情報端末４に送信する。各種データとは、例えば、店舗内の商品の配置に関する地図データと、商品データと、テキストデータテーブルと、顔画像データと、顧客データと、購入履歴データとである。これら各種データの詳細については、後述される。記憶部２２は、プログラムと、各種データとを記憶する。記憶部２２は、商品のカテゴリ（例えば、所定の料理の食材というカテゴリ）を表すデータベースを記憶してもよい。

【0015】

情報端末４（商品推薦装置）は、情報処理装置であり、例えばタブレット端末、スマートフォン端末又はノートパソコンである。情報端末４は、カート５を利用する顧客に関する顧客データ（例えば、商品の購入履歴等）に応じて、商品に関する画像及び音声を出力する。これによって、情報端末４は、陳列されている商品をその顧客に推薦する。情報端末４は、購入履歴に登録されている商品（例えば、トイレットペーパー等の消耗品）を、その顧客に推薦する。また、情報端末４は、購入履歴に登録されている商品（例えば、カレールウ）に対応付けられた商品（例えば、牛肉）を、その顧客に推薦してもよい。

【0016】

情報端末４は、カート５を利用する顧客の行動等に応じて画像及び音声を出力することによって、陳列されている商品をその顧客に推薦してもよい。顧客の行動等とは、例えば、情報端末４の操作部に対する操作（対話形式の操作）である。情報端末４は、顧客の行動等に応じて、顧客にとって不要でない商品を、その顧客に推薦する。

【0017】

演出部６は、所定のタイミングで情報端末４から送信された信号に基づいて、所定の演出処理（例えば、尾尻を模した形状のアクチュエータを振る動作、光源の発光又は点滅）を実行する。ビーコン７は、店舗における陳列棚の所定の位置に配置される。ビーコン７は、所定周期で電波信号を出力する。この電波信号（ビーコン信号）は、ビーコン７の識別情報を含む。各ビーコン７から送信された電波信号の受信強度の比較結果に基づいて、例えば三角測量の手法を用いて、店舗内における情報端末４及びカート５の位置が検出可能である。

【0018】

図２は、第１実施形態における、使用中の情報端末４及びカート５の外観例を示す俯瞰図である。情報端末４は、カート５を利用する顧客から見え易い位置（例えば、カート５のハンドルの近傍）に備えられる。顧客は、情報端末４の操作部（タッチパネル）又はカメラを操作する。例えば、顧客は、店舗が発行したポイントカード又は会員証に記録された情報（例えば、顧客の名前、顧客番号）を、情報端末４に読み取らせる。例えば、顧客は、情報端末４の操作部の操作キー画像を押下することによって、顧客自身の名前等を情報端末４に入力してもよい。例えば、顧客は、顧客自身の名前を、情報端末４に口頭で入力してもよい。顧客の名前は、ニックネームでもよい。顧客は、複数の人（家族等）の各名前を、情報端末４に口頭で入力してもよい。情報端末４は、音声認識処理を用いて、入力された名前を認識する。顧客の音声データを情報端末４が制御部２１ａに送信し、制御部２１ａが音声認識処理の結果を情報端末４に送信してもよい。

【0019】

顧客は、購入を希望する商品を、カート５に備えられた籠に入れる。顧客は、情報端末４の表示部に表示された画像を見ながら、カート５と共に店舗内を移動する。顧客は、情報端末４から出力された合成音声を聞きながら、カート５と共に店舗内を移動してもよい。情報端末４は、カート５を利用する顧客に関する顧客データに応じて、購入が推薦される商品の画像、価格及び位置を表示する。情報端末４は、カート５を利用する顧客の行動等に応じて、購入が推薦される商品の画像、価格及び位置を表示してもよい。

【0020】

図３は、第１実施形態における、情報端末４の構成例を示す図である。情報端末４は、通信部４０と、操作部４１と、マイク４２と、カメラ４３と、センサ４４と、表示部４５と、スピーカ４６と、記憶部４７と、端末制御部４８とを備える。端末制御部４８は、顧客処理部４８０と、位置検出部４８１と、認識部４８２と、推薦処理部４８３と、出力処理部４８４とを備える。

【0021】

情報端末４の各機能部のうちの一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサが、不揮発性の記録媒体（非一時的な記録媒体）を有する記憶部４７に記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。

【0022】

情報端末４の各機能部のうちの一部又は全部は、例えば、ＬＳＩ（Large Scale Integrated circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

【0023】

通信部４０は、通信部２０と無線通信を実行する。通信部４０は、ビーコン信号をビーコン７から受信する。操作部４１は、顧客による操作を受け付ける。操作部４１は、例えば、タッチパネルである。マイク４２は、周囲から音を集める。マイク４２は、音データを生成する。カメラ４３は、カート５に備えられた籠に入れられた商品群を撮影する。カメラ４３は、画像データを生成する。

【0024】

センサ４４は、籠に入れられた商品群の総重量を計測する。センサ４４は、赤外線の経路が遮られたことに基づいて、籠に商品が入れられたことを検知してもよい。センサ４４（スキャナ）は、赤外線を用いて、籠に入れられた商品に付与された１次元コード又は２次元コードを読み取ってもよい。

【0025】

表示部４５は、商品等の所定画像を表示する機能部であり、例えば、液晶ディスプレイである。表示部４５と操作部４１（タッチパネル）とは、一体でもよい。スピーカ４６は、テキストの合成音声を出力する。記憶部４７は、端末制御部４８が実行するプログラムと、記憶部２２からダウンロードされた各種データとを記憶する。記憶部４７は、商品のカテゴリ（例えば、所定の料理の食材というカテゴリ）を表すデータベースを記憶してもよい。

【0026】

端末制御部４８は、情報端末４の各機能部の動作を制御する。顧客処理部４８０は、顧客データに関する処理を実行する。位置検出部４８１は、各ビーコン７から送信された電波信号の受信強度の比較結果に基づいて、例えば三角測量の手法を用いて、店舗内における情報端末４及びカート５の位置を検出する。これによって、位置検出部４８１は、情報端末４の現在位置データ（カート５の現在位置データ）を生成する。

【0027】

認識部４８２は、画像認識処理を用いて、商品の種類を認識する。認識部４８２は、商品の種類に基づいて、籠に入れられた商品が属するカテゴリに対応付けられた他の商品を検索する。認識部４８２は、画像認識処理を用いて、籠に入れられた商品群の個数を認識する。認識部４８２は、籠内データを生成する。籠内データとは、籠に入れられた商品に関するデータであり、例えば、商品群の総重量と、商品の種類と、商品群の個数と、商品が属するカテゴリとである。

【0028】

推薦処理部４８３は、商品を推薦するための推薦データを生成することによって、顧客に商品を推薦する。推薦データは、顧客データに対応付けられた第１商品と第２商品とのうちの一つを表すデータである。第１商品は、例えば顧客データに基づいて顧客に対して推薦される商品（例えば、カレーライスの食材の一つであるカレールウ）である。第２商品は、第１商品に対応付けられた商品（例えば、カレーライスの食材の一つである牛肉）である。推薦データは、第１商品と第２商品とのうちの少なくとも一つを表すだけでなく、第３商品を更に表してもよい。第３商品とは、例えば、店舗によって予め定められた推薦商品（例えば、特売品）である。第３商品は、顧客データに対応付けられていなくてもよい。

【0029】

推薦処理部４８３は、商品を推薦するためのテキストを表す画像を含むテキスト表示領域と、所定の顔画像とを、推薦データに基づいて出力処理部４８４に出力する。推薦処理部４８３は、推薦商品の画像と、価格を表す画像とを、推薦データに基づいて出力処理部４８４に出力する。

【0030】

出力処理部４８４は、推薦データに基づいて、第１商品若しくは第２商品に関する画像データを、表示部４５に出力する。出力処理部４８４は、第３商品を表すデータを含む推薦データに基づいて、第１商品若しくは第２商品に関する画像データを、表示部４５に出力する。出力処理部４８４は、推薦データに基づいて、第１商品若しくは第２商品に関する音声データを、スピーカ４６に出力する。出力処理部４８４は、第３商品を表すデータを含む推薦データに基づいて、第３商品に関する音声データを、スピーカ４６に出力してもよい。

【0031】

次に、情報端末４の詳細を説明する。
図４は、第１実施形態における、俯瞰された店舗内（陳列棚の配置）を表す地図の例を示す図である。記憶部２２に記憶されていた地図データは、記憶部４７にダウンロードされる。図４に示された地図には、複数の陳列棚画像１００が含まれている。陳列棚画像１００は、店舗内に配置された陳列棚を表す。

【0032】

図５は、第１実施形態における、商品データテーブルの例を示す図である。記憶部２２に記憶されていた商品データテーブルは、記憶部４７にダウンロードされる。商品データテーブルでは、商品コードと、商品名と、商品位置と、推薦商品と、アイコン画像と、詳細とが対応付けられている。例えば、商品コード「Ａ４」の「トマト」の商品位置は、陳列棚画像１００－４に対応付けられた陳列棚の位置である。「トマト」は、店舗によって予め定められた推薦商品（第３商品）である。「トマト」には、推薦商品アイコン画像２０１が対応付けられている。推薦商品アイコン画像２０１は、トマトの外観の画像である。

【0033】

例えば、商品コード「Ａ５」の「牛肉（すじ肉）」の商品位置は、陳列棚画像１００－６に対応付けられた陳列棚の位置である。「牛肉（すじ肉）」は、顧客の顧客データ又は行動に応じて推薦される商品の候補（推薦商品候補）である。「牛肉（すじ肉）」には、推薦商品アイコン画像２０２が対応付けられている。

【0034】

図６は、第１実施形態における、テキストデータテーブルの例を示す図である。記憶部２２に記憶されていたテキストデータテーブルは、記憶部４７にダウンロードされる。テキストデータテーブルでは、テキスト番号と、テキストと、出力条件とが対応付けられている。テキストは、顧客の名前を含んでもよい。出力条件が成立した場合、テキストの画像が表示部４５に表示される。出力条件が成立した場合、テキストの合成音声がスピーカ４６から出力されてもよい。

【0035】

例えば、籠に入れられた商品の総重量が増加したことが籠内データにおいて示された場合（籠内データ：総重量：増加）、テキスト「どんどん入れていこう」の画像が、表示部４５に表示される。テキストの合成音声が、スピーカ４６から出力されてもよい。

【0036】

例えば、じゃがいもが籠に入れられたことが籠内データにおいて示され（籠内データ：じゃがいも）、且つ、顧客又はその家族が好きな食べ物がカレーライスであることが顧客データにおいて示されている場合（顧客データ：好きな食べ物：カレーライス）、テキスト「じゃがいも買ったんだね！じゃあ今日の夕食はカレーライスかな？お肉も買ったら？」の画像が、表示部４５に表示される。テキストの合成音声が、スピーカ４６から出力されてもよい。

【0037】

図７は、第１実施形態における、顔画像３００の第１例を示す図である。記憶部２２に記憶されていた顔画像は、記憶部４７にダウンロードされる。顔画像３００は、情報端末４を擬人化（エージェント化）させるための顔画像の第１例である。顔画像３００は、表示部４５に表示される。これによって、カート５があたかも生命体であるかのような演出が可能である。表示部４５には、顔画像３００とテキスト画像と操作キー画像とが表示されてもよい。なお、記憶部２２に記憶されていた顔画像は、記憶部４７にダウンロードされることなく、ストリーム再生によって表示部４５に表示されてもよい。

【0038】

図８は、第１実施形態における、顔画像３０１の第２例を示す図である。顔画像３０１は、情報端末４を擬人化させるための顔画像の第２例である。顔画像３０１（笑顔画像）は、表示部４５に表示される。これによって、カート５があたかも喜んでいるかのような演出が可能である。なお、情報端末４を擬人化させるための画像は、エージェントの顔画像に限定されなくてもよく、例えば、エージェントの全身の画像でもよい。

【0039】

図９は、第１実施形態における、顧客データの例を示す図である。記憶部２２に記憶されていた顧客データは、記憶部４７にダウンロードされてもよい。顧客データが記憶部４７にダウンロードされない場合には、例えば制御部２１ａによる顧客データの処理結果を、通信部４０が通信部２０から取得してもよい。顧客データでは、項目と、データとが対応付けられている。項目は、顧客に関する項目であり、例えば、顧客番号と、名前と、ニックネームと、家族構成と、好きな食べ物とである。顧客番号は、顧客に割り当てられたポイントカード又は会員証に記載されてもよい。顧客番号は、１次元コード又は２次元コードの形式で、ポイントカード等に記載されてもよい。

【0040】

なお、顧客データは、例えば、顧客が操作部４１を操作することによって予め作成される。顧客処理部４８０は、予め作成された顧客データを、記憶部４７に記録する。顧客処理部４８０は、予め作成された顧客データを、通信部４０を用いて記憶部２２に記録してもよい。

【0041】

図１０は、第１実施形態における、購入履歴データの例を示す図である。購入履歴データでは、商品コードと、商品名と、購入日（購入時刻）とが対応付けられている。図１０では、顧客番号「０００１」の顧客は、商品コード「Ａ３」の「カレールウ」を、２０２１年４月１日に購入している。商品コード「Ａ３」の各購入日が購入履歴データから抽出されることによって、商品コード「Ａ３」の商品の購入頻度が判る。購入頻度が所定の頻度以上である商品は、その顧客によって必要度が高い商品である。このため、推薦処理部４８３は、購入頻度が所定の頻度以上である商品を、顧客に推薦してもよい。なお、購入履歴データは、籠に入っている商品のデータを含んでもよい。籠に入っている商品のデータは、例えば、その商品に付与された１次元コード又は２次元コードに基づいて定められる。

【0042】

次に、商品推薦システム１ａの動作例を説明する。
図１１は、第１実施形態における、顔画像及びテキストの第１表示例を示す図である。カート５（籠）の現在位置が陳列棚画像１００－１の陳列棚の付近（店舗の入口付近）であることが現在位置データにおいて示された場合（現在位置データ：陳列棚「１００－１」付近）、推薦処理部４８３は、テキスト「僕がどんどんオススメするから、よかったら耳を傾けてくれるとうれしいな」を表す画像を含むテキスト表示領域３０２と、顔画像３０１とを、出力処理部４８４を用いて表示部４５に出力する。

【0043】

図１２は、第１実施形態における、地図の第１表示例を示す図である。店舗内の商品の配置に関する地図データにおいて、推薦処理部４８３は、情報端末４の現在位置データ（カート５の現在位置データ）に基づいて、情報端末アイコン画像２００を地図内に描く。推薦処理部４８３は、トマトを表す推薦商品アイコン画像２０１を、陳列棚画像１００－４内に描く。出力処理部４８４は、テキスト「お薦めは、ここにあるよ！」を表す画像を含むテキスト表示領域を、地図に描いてもよい。これによって、顧客は、陳列棚画像１００－４の陳列棚に推薦商品「トマト」が陳列されていることを、容易に知ることができる。

【0044】

図１３は、第１実施形態における、籠内データの第１例を示す図である。カート５に備えられた籠にアボカド等の商品が入れられていることが、籠内データにおいて示されている。例えば、陳列棚画像１００－２に対応付けられた陳列棚に陳列されたじゃがいもを、顧客が籠に入れた場合、じゃがいもが籠に入れられたことによって、籠に入れられた商品群の総重量が増加する。また、認識部４８２は、カメラ４３から出力された画像データに対する画像認識処理の結果に基づいて、籠に入れられた商品の個数を認識してもよい。ここで、認識部４８２は、商品の種類及び個数を認識するための画像認識処理を実行してもよい。商品の画像データを認識部４８２が制御部２１ａに送信し、制御部２１ａが画像認識処理の結果を認識部４８２に送信してもよい。なお、籠に入れられた商品の種類及び個数は、顧客が操作部４１を操作することによって籠内データに登録されてもよいし、顧客がセンサ４４を操作することによって読み取られた１次元コード又は２次元コードに基づいて籠内データに登録されてもよい。

【0045】

図１４は、第１実施形態における、顔画像及びテキストの第２表示例を示す図である。商品の総重量又は個数が増加したことが籠内データにおいて示された場合、推薦処理部４８３は、テキスト「どんどん入れていこう」を表す画像を含むテキスト表示領域３０３と、顔画像３０１とを、出力処理部４８４を用いて表示部４５に出力する。テキストの合成音声がスピーカ４６から出力されてもよい。

【0046】

認識部４８２は、商品に付与された１次元コード又は２次元コードと画像認識処理の結果とのうちの少なくとも一方に基づいて、籠に入れられた商品がじゃがいもであることを認識する。認識部４８２は、商品に付与された１次元コード又は２次元コードと画像認識処理の結果とのうちの少なくとも一方に基づいて、籠に入れられた商品が属するカテゴリ（例えば、カレーライスの食材というカテゴリ）に対応付けられた他の商品（例えば、牛肉）を検索してもよい。

【0047】

図１５は、第１実施形態における、顔画像及びテキストの第３表示例を示す図である。籠に入れられた商品がじゃがいもであることが籠内データにおいて示され、且つ、顧客又はその家族が好きな食べ物がカレーライスであることが顧客データにおいて示されている場合、推薦処理部４８３は、テキスト「じゃがいも買ったんだね！じゃあ今日の夕食はカレーライスかな？お肉も買ったら？」を表す画像を含むテキスト表示領域３０４と、顔画像３００とを、出力処理部４８４を用いて表示部４５に出力する。ここで、顧客の注意を惹くように、その顧客の名前を含むテキストの合成音声が、スピーカ４６から出力されてもよい。

【0048】

図１６は、第１実施形態における、地図の第２表示例を示す図である。店舗内の商品の配置に関する地図データにおいて、推薦処理部４８３は、情報端末４の現在位置データに基づいて、情報端末アイコン画像２００を地図内に描く。推薦処理部４８３は、トマトを表す推薦商品アイコン画像２０１を、陳列棚画像１００－４内に描く。推薦処理部４８３は、籠に入れられた商品「じゃがいも」が属するカテゴリに対応付けられた他の商品「牛肉」を表す推薦商品アイコン画像２０２を、陳列棚画像１００－６内に描く。推薦商品アイコン画像２０２の外観は、牛肉の外観の画像でもよいし、宝箱の外観の画像でもよい。

【0049】

図１７は、第１実施形態における、顔画像及びテキストの第４表示例を示す図である。顧客は、表示部４５に表示された地図を見ながら、カート５と共に店舗内を移動する。例えば、顧客は、陳列棚画像１００－４に対応付けられた陳列棚に近づく。カート５（籠）の現在位置が陳列棚画像１００－４の陳列棚の付近であることが現在位置データにおいて示された場合（現在位置データ：陳列棚「１００－４」付近）、推薦処理部４８３は、テキスト「今日は、トマトがお買い得だよ！」を表す画像を含むテキスト表示領域３０５と、顔画像３０１とを、出力処理部４８４を用いて表示部４５に出力する。これによって、顧客は、顧客自身の近くの陳列棚に推薦商品「トマト」が陳列されていることを、タイミングよく知ることができる。

【0050】

さらに、顧客は、表示部４５に表示された地図を見ながら、陳列棚画像１００－６に対応付けられた陳列棚に近づくことによって、陳列棚画像１００－６が表す陳列棚に推薦商品「牛肉（すじ肉）」が陳列されていることを知ることができる。

【0051】

図１８は、第１実施形態における、商品推薦システム１ａの動作例を示すフローチャートである。顧客処理部４８０は、顧客データに対応付けられた第１商品と第２商品とのうちの一つを表す顧客データを、記憶部２２又は記憶部４７から取得する（ステップＳ１０１）。推薦処理部４８３は、顧客データに基づいて、第１商品と第２商品とのうちの一つを推薦するための推薦データを生成する（ステップＳ１０２）。出力処理部４８４は、推薦データに基づいて、画像データ又は音声データを出力する（ステップＳ１０３）。

【0052】

以上のように、顧客処理部４８０は、顧客データを記憶部２２又は記憶部４７から取得する。顧客データは、例えば、顧客の名前と、顧客の家族構成と、顧客又はその家族の嗜好（例えば、好きな食べ物）に関する情報との各情報を含む。顧客処理部４８０は、顧客データに対応付けられた購入履歴データを、記憶部２２又は記憶部４７から取得してもよい。購入履歴データは、過去において顧客が購入した商品と購入日との各情報を含む。推薦処理部４８３は、商品を推薦するための推薦データを生成する。推薦データは、顧客データに対応付けられた第１商品と第２商品とのうちの一つを表すデータである。第１商品は、例えば顧客データに基づいて顧客に対して推薦される商品（例えば、カレーライスの食材の一つであるカレールウ）である。第２商品は、第１商品に対応付けられた商品（例えば、カレーライスの食材の一つである牛肉）である。出力処理部４８４は、推薦データに基づいて、第１商品若しくは第２商品に関する画像データを、表示部４５に出力する。出力処理部４８４は、推薦データに基づいて、第１商品、第２商品若しくは第３商品に関する音声データを、スピーカ４６に出力する。

【0053】

これによって、顧客に応じた商品をその顧客に推薦することが可能である。顧客による商品の購入を支援することが可能である。店舗内の商品の販売を促進することが可能である。

【0054】

認識部４８２は、顧客と共に移動する籠に入れられた第１商品に関する情報を認識する。認識部４８２は、第１商品に関する情報に基づいて、第１商品又は第２商品を表す推薦データを生成してもよい。例えば、認識部４８２は、第１商品に関する情報に基づいて、第１商品（例えば、カレールウ）が属するカテゴリ（例えば、カレーライスの食材というカテゴリ）に対応付けられた第２商品を検索する。認識部４８２は、そのカテゴリに対応付けられた第２商品（例えば、牛肉）を表す推薦データを生成する。これによって、顧客に応じた商品をその顧客に推薦することが可能である。

【0055】

推薦処理部４８３は、店舗に陳列された第１商品又は第２商品と籠との間の距離が閾値以下になった場合、第１商品又は第２商品を表す推薦データを生成する。これによって、商品を適切なタイミングで顧客に推薦することが可能である。

【0056】

推薦処理部４８３は、第１商品（例えば、トイレットペーパー等の消耗品）の購入日から所定の日数が経過している場合、第１商品を表す推薦データを生成してもよい。これによって、第１商品を適切なタイミングで顧客に推薦することが可能である。なお、推薦処理部４８３は、タイムセールの開催情報と在庫が少ないことを表す情報とを通信部２０から受信し、受信された各情報に基づいて推薦データを生成してもよい。

【0057】

出力処理部４８４は、顧客の名前の画像データ又は音声データを出力してもよい。出力処理部４８４は、画像データとして、店舗における第１商品又は第２商品の位置を表す地図データを出力してもよい。地図データは、推薦商品としての第１商品又は第２商品を表すアイコン画像（推薦商品アイコン画像）を含んでもよい。これによって、顧客は、店舗から推薦された商品（例えば、お買い得な商品）に容易に気づくことが可能である。

【0058】

出力処理部４８４は、所定の演出処理を実行させるための信号を、演出部６に出力してもよい。演出部６は、この信号に基づいて、所定の演出処理を実行する。顧客は、所定の演出処理を楽しむことができる。また、店舗内の商品の販売を促進することが可能である。

【0059】

（第１実施形態の変形例）
第１実施形態の変形例では、入店した顧客に商品の購入計画の大枠を商品推薦システムが作成させ、作成された購入計画の大枠に応じて商品推薦システムが商品を推薦する点が、第１実施形態との差分である。第１実施形態の変形例では、第１実施形態との差分を中心に説明する。

【0060】

図１９は、第１実施形態の変形例における、テキストデータテーブルの例を示す図である。商品推薦システム１ａは、入店した顧客に、商品の購入計画の大枠を作成させる。カート５（籠）の現在位置が陳列棚画像１００－１の陳列棚の付近（店舗の入口付近）であることが現在位置データにおいて示された場合（現在位置データ：陳列棚「１００－１」付近）、推薦処理部４８３は、テキスト「今日の夕食は、何を作るの？」を表す画像を含むテキスト表示領域と、顔画像と、各操作キー画像とを、出力処理部４８４を用いて表示部４５に出力する。

【0061】

図２０は、第１実施形態の変形例における、操作用画像４００の第１表示例を示す図である。入店した顧客は、例えば店舗の入口付近で操作部４１を操作して、所定の第１商品等の購入計画を作成する。図２０に示された操作用画像４００は、操作キー画像４０１「カレーライス」と、操作キー画像４０２「すき焼き」と、操作キー画像４０３「ぶり大根」とを含む。顧客は、一例として、操作キー画像４０１「カレーライス」を操作する。

【0062】

図２１は、第１実施形態の変形例における、操作用画像４００の第２表示例を示す図である。操作キー画像４０１「カレーライス」が操作されたことが操作データにおいて示された（操作データ：操作キー「カレーライス」）場合、推薦処理部４８３は、テキスト「カレーライスを作るのか！じゃあ、お勧めの食材を紹介するね」を表す画像を含むテキスト表示領域と、顔画像と、操作キー画像４０１「カレーライス」とを、出力処理部４８４を用いて表示部４５に出力する。

【0063】

図２２は、第１実施形態の変形例における、操作用画像４００の第３表示例を示す図である。推薦処理部４８３は、チェックボックス画像群５００と、チェックボックス画像群５０１とを、出力処理部４８４を用いて表示部４５に出力する。操作キー画像４０１「カレーライス」が操作されたことによって、カレーライスの食材（例えば、じゃがいも、玉ねぎ、カレールウ、お米）を、在庫のうちから推薦する。推薦処理部４８３は、テキスト「この商品がいるね」を表す画像を含むテキスト表示領域と、顔画像とを、出力処理部４８４を用いて表示部４５に出力する。カレーライスの食材には、チェックボックス画像群５００が対応付けられている。チェックボックス画像群５００は、商品（食材）が籠に入れられているか否か（今回において購入予定であるか否か）を表すために用いられる。推薦された食材（商品のリスト）が表示部４５に表示されることによって、顧客は食材を容易に把握することができる。例えば「じゃがいも」を顧客が籠に入れた場合には「じゃがいも」のチェックボックスにチェックが付与されるので、じゃがいもを籠に既に入れていることを顧客が容易に把握することができる。

【0064】

また、カレーライスの食材には、チェックボックス画像群５０１が、更に対応付けられている。チェックボックス画像群５０１は、食材（商品）が顧客宅にあるか否かを表すために用いられる。チェックボックス画像群５０１を顧客が操作した場合、推薦処理部４８３は、その操作されたチェックボックス画像に対応付けられた食材を、推薦商品候補から除外する。これによって、推薦処理部４８３は、顧客にとって結果的に必要な商品だけを推薦することができる。なお、推薦処理部４８３は、チェックボックス画像群５０１に対応付けられた食材を使う料理（献立）を推薦してもよい。

【0065】

図２３は、第１実施形態の変形例における、操作用画像４００の第４表示例を示す図である。カート５（籠）の現在位置が陳列棚画像１００－６の陳列棚（推薦商品候補の陳列棚）の付近であることが現在位置データにおいて示された場合、推薦処理部４８３は、操作用画像４００を、表示部４５に出力してもよい。図２３に示された操作用画像４００は、操作キー画像４０４「牛肉」と、操作キー画像４０５「豚肉」と、操作キー画像４０６「入れない」とを含む。顧客は、一例として、操作キー画像４０１「牛肉」を操作する。

【0066】

操作キー「牛肉」が操作されたことが操作データにおいて示され（操作データ：操作キー「牛肉」）、且つ、推薦商品候補が「牛肉（すじ肉）」であることが商品データにおいて示されている場合（商品データ：推薦商品候補：牛肉（すじ肉））、推薦処理部４８３は、推薦商品候補に関する画像及び音声を出力することによって、推薦商品候補をその顧客に推薦する。

【0067】

図２４は、第１実施形態の変形例における、推薦用画像４０７の表示例を示す図である。推薦用画像４０７は、推薦商品候補「牛肉（すじ肉）」の画像と、テキスト「カレーライスに、この『すじ肉』は最高だよ！」を表す画像を含むテキスト表示領域と、顔画像とを含む。推薦用画像４０７は、推薦商品又は推薦商品候補の価格を表す画像を含んでもよい。

【0068】

図２５は、第１実施形態の変形例における、演出用画像４０８の第１表示例を示す図である。テキスト番号「Ｔ１１」のテキスト「カレーライスに、この『すじ肉』は最高だよ！」が出力済であり、且つ、推薦商品候補「牛肉（すじ肉）」が籠に入れられたことが籠内データにおいて示された場合、推薦処理部４８３は、図２５に示された演出用画像４０８を、出力処理部４８４を用いて表示部４５に出力する。

【0069】

図２６は、第１実施形態の変形例における、演出用画像４０８の第２表示例を示す図である。テキスト番号「Ｔ１１」のテキストが出力済であり、且つ、推薦商品候補以外の商品「牛肉（もも肉）」が籠に入れられたことが籠内データにおいて示された場合、推薦処理部４８３は、図２６に示された演出用画像４０８を、出力処理部４８４を用いて表示部４５に出力する。

【0070】

以上のように、入店した顧客は、例えば店舗の入口付近で操作部４１を操作して、所定の第１商品等の購入計画を作成する。推薦処理部４８３は、購入計画データに基づいて、第１商品若しくは第２商品に関する推薦データを生成する。このように、推薦処理部４８３は、第１商品（例えば、カレールウ）に関する推薦データだけでなく、第１商品に対応付けられた第２商品（例えば、牛肉）に関する推薦データを生成してもよい。出力処理部４８４は、推薦データに基づいて、第１商品若しくは第２商品に関する画像データ又は音声データを出力する。これによって、顧客による購入計画を表す購入計画データに応じて、顧客に応じた商品をその顧客に推薦することが可能である。

【0071】

（第２実施形態）
第２実施形態では、陳列された商品がその商品自身を顧客に推薦するような演出処理を商品推薦システムが実行する点が、第１実施形態との差分である。第２実施形態では、第１実施形態との差分を中心に説明する。

【0072】

図２７は、第２実施形態における、商品推薦システム１ｂの構成例を示す図である。商品推薦システム１ｂは、制御装置２ｂと、通信回線３と、Ｎ台の情報端末４と、Ｎ台のカート５と、Ｎ台の演出部６と、Ｍ台の１台以上のビーコン７と、商品駆動部８とを備える。制御装置２ｂは、通信部２０と、制御部２１ｂと、記憶部２２とを備える。情報端末４－ｎと演出部６－ｎとは、カート５－ｎに備えられる。

【0073】

商品駆動部８は、陳列された商品の近くに配置される。商品駆動部８は、モータ等のアクチュエータと、スピーカとを備える。商品駆動部８は、制御部２１ａから送信された信号に基づいて、陳列された商品がその商品自身を顧客に推薦するような演出処理を実行する。演出処理とは、特定の演出処理に限定されないが、例えば、商品駆動部８のアクチュエータが商品を揺らす処理である。演出処理とは、例えば、合成音声が商品駆動部８のスピーカから出力される処理でもよい。これによって、陳列された商品が、あたかも生命体であるかのように、その商品自身を顧客に推薦するような演出が可能である。

【0074】

以上のように、制御部２１ａは、陳列された商品が自身を推薦するような演出処理を実行する。演出処理とは、商品があたかも生命体であるかのような演出の処理である。例えば、制御部２１ａは、モータ等のアクチュエータを用いて、商品が揺れるという演出処理を実行する。例えば、制御部２１ａは、商品の近くに配置されたスピーカを用いて、その商品を推薦する旨の合成音声がその商品の近くから出力されるという演出処理を実行してもよい。これによって、顧客に応じた商品をその顧客に推薦することが可能である。

【0075】

（第３実施形態）
第３実施形態では、商品推薦システムがカートを備えない点が、第１実施形態との差分である。第３実施形態では、第１実施形態との差分を中心に説明する。

【0076】

図２８は、第３実施形態における、商品推薦システム１ｃの構成例を示す図である。商品推薦システム１ｃは、制御装置２ｃと、通信回線３と、Ｎ台の情報端末４と、Ｎ台のカート５と、Ｎ台の演出部６と、Ｍ台の１台以上のビーコン７と、Ｎ個の籠９とを備える。制御装置２ｂは、通信部２０と、制御部２１ｂと、記憶部２２とを備える。情報端末４－ｎと演出部６－ｎとは、籠９－ｎに備えられる。籠９は、顧客に保持されて、顧客と共に店舗内を移動する。

【0077】

以上のように、情報端末４－ｎは、籠９－ｎに備えられる。これによって、カート５を利用せずに籠９を利用する顧客に応じた商品を、その顧客に推薦することが可能である。

【0078】

（第４実施形態）
第４実施形態では、店舗内における顧客の時系列の行動に基づいて推薦処理部が顧客に商品を推薦する点が、第１実施形態から第３実施形態までとの差分である。第４実施形態では、第１実施形態から第３実施形態までとの差分を中心に説明する。

【0079】

店舗内における顧客の時系列の行動は、顧客ごとに異なる。このため、店舗側が売りたい商品を顧客に対して一方的に推薦した場合又はクロスセルの場合では、顧客のニーズ及び行動が考慮されないので、顧客にとって不必要な商品が推薦されてしまうことがある。そこで第４実施形態では、店舗内での顧客の時系列の行動に応じて、推薦処理部４８３が商品を顧客に推薦する。店舗内における顧客の時系列の行動（購入に関する行動）とは、例えば、籠に商品を入れる行動である。ここで、何の商品を顧客が籠に入れたかが、顧客の行動として考慮されてもよい。店舗内における顧客の時系列の行動とは、例えば、商品を購入するか否かを検討する行動でもよい。商品を購入するか否かの検討結果は、例えば、顧客の移動経路（例えば、陳列棚の付近に顧客が滞在したか否かの結果、及び、陳列棚の付近を顧客が単に通過したか否かの結果）に基づいて、例えば陳列棚ごとに判定される。

【0080】

例えば、商品群の陳列棚（売り場）の付近に顧客が１回以上滞在した場合、又は、その陳列棚の付近を顧客が１回以上通過した場合、推薦処理部４８３は、その商品群の陳列棚に陳列されている商品群に関して、記憶部４７に記憶されている商品データテーブルを更新する。商品データテーブルが更新されることによって、顧客の時系列の行動がその商品データテーブルに反映される。推薦処理部４８３は、更新された商品データテーブルに基づいて、推薦商品を顧客に推薦する。出力処理部４８４は、更新された商品データテーブルに基づいて、推薦商品に関する画像データを表示部４５に出力する。出力処理部４８４は、カート５の籠に既に入っている商品のリストに関する画像データを、籠内データに基づいて表示部４５に出力してもよい。出力処理部４８４は、商品のリストに関する音声データと推薦商品に関する音声データとを、スピーカ４６に出力してもよい。

【0081】

例えば、推薦処理部４８３は、野菜の陳列棚の付近を顧客が通過した場合、商品データテーブルを更新する。推薦処理部４８３及び出力処理部４８４は、テキスト「野菜の売り場を通り過ぎちゃったけど、カレールウを買った人は玉ねぎも買うことが多いよ。」を表す画像データ及び音声データを出力してもよい。つまり、推薦処理部４８３及び出力処理部４８４は、カート５の籠に既に入っている商品「カレールウ」に関連する食材のうち、顧客が滞在せずに通過した陳列棚に陳列されている「玉ねぎ」を表す画像データ及び音声データを出力してもよい。

【0082】

推薦処理部４８３及び出力処理部４８４は、店舗内において顧客が滞在も通過もしていない位置がある場合、その位置の陳列棚に陳列されている商品の購入を支援するための情報を、顧客に提供してもよい。例えば、推薦処理部４８３及び出力処理部４８４は、お米の陳列棚の付近に顧客が滞在していない場合、テキスト「お米の売り場に行っていないけど、カレールウを買った人はお米も買うことが多いよ。」を表す画像データ及び音声データを出力してもよい。つまり、推薦処理部４８３及び出力処理部４８４は、カート５の籠に既に入っている商品「カレールウ」に関連する食材のうち、顧客が滞在も通過もしていない陳列棚に陳列されている「お米」を表す画像データ及び音声データを出力してもよい。

【0083】

これらのように、情報端末４は、店舗内における顧客の時系列の行動等に応じて、購入を支援するための情報をその顧客に提供する。

【0084】

次に、商品データテーブルについて説明する。
推薦処理部４８３は、商品データテーブルに基づいて、推薦スコア（スコア）を導出する。推薦スコアは、例えば、顧客又はカート５の現在の位置と、顧客又はカート５の経路（時系列の位置）と、店舗内における商品の位置と、顧客によって購入が検討された商品であるか否かと、カート５の籠に既に入れられた商品（購入予定品）であるか否かと、顧客と情報端末４との間の対話と、各商品の優先度とのうちの少なくとも一つに基づいて導出される。推薦処理部４８３は、推薦スコアに基づいて、購入を支援するための情報（例えば、推薦商品に関する情報）を顧客に提供する。

【0085】

図２９は、第４実施形態における、商品データテーブルと俯瞰された店舗内を表す地図との第１例を示す図である。図２９の下段には、俯瞰された店舗内を表す地図の例が示されている。顧客の位置は、地図における情報端末アイコン画像２００の位置として、表示部４５に表示される。図２９の上段には、商品データテーブル（初期値）の例が示されている。商品データテーブルでは、「商品コード」と、「商品名」と、「商品位置」と、「優先度」（α）と、「未通過」（β）と、「未検討」（γ）と、「未購入」（δ）と、「対話」（ε）と、「距離」（ζ）と、「推薦スコア」とが対応付けられている。各項目には、重み付けがなされてもよい。

【0086】

「商品位置」は、店舗内における座標（ｘ，ｙ）であり、陳列棚の位置にも対応付けられている。「優先度」は、店舗側が優先的な販売を希望する商品の優先度である。販売の優先度「１」が最も高い優先度であり、販売の優先度「０」が最も低い優先度である。「優先度」は、例えば店舗側によって定められる。

【0087】

「未通過」は、商品の陳列棚の付近に顧客が滞在したか又は商品の陳列棚の付近を顧客が通過したかを表す。未通過「０」は、商品の陳列棚の付近を顧客が通過したことを表す。未通過「１」は、商品の陳列棚の付近を顧客が通過していないことを表す。

【0088】

「未検討」は、商品を購入するか否かを顧客が未検討であることを表す。「未検討」の値が「０」であることは、現時点よりも前の情報として、商品を購入するか否かを顧客が検討済であることを表す。陳列棚の付近に顧客が滞在した場合、推薦処理部４８３は、その陳列棚に陳列された商品群について、商品を購入することをその顧客が検討したと判定する。

【0089】

「未検討」の値が「１」であることは、現時点よりも前の情報として、商品を購入するか否かを顧客が未検討であることを表す。陳列棚の付近を顧客が単に通過した場合（顧客が立ち止まらずに陳列棚を通過した場合）、推薦処理部４８３は、その陳列棚に陳列された商品群について商品を購入することをその顧客が検討していないと判定する。また、陳列棚の近くを顧客が通過していない場合、その顧客について、その陳列棚の商品は、未検討の商品として扱われる。

【0090】

「未購入」（購入予定）は、現時点よりも前の情報として、カート５の籠に商品（購入予定の商品）が入っているか否か（購入予定であるか否か）を表す。未購入「１」は、カート５の籠に商品が入っていないことを表す。未購入「０」は、カート５の籠に商品が既に入っていることを表す。

【0091】

「対話」は、所定の推薦商品を推薦する理由を情報端末４が顧客及び情報端末４の間の対話から得たか否かを表す。対話「１」は、推薦商品を推薦する理由を情報端末４が対話から得たことを表す。対話「０」は、推薦商品を推薦する理由を情報端末４が対話から得ていないことを表す。「対話」の値には、重み付け「４」が乗算されてもよい。この場合、対話の値「４（＝１×４）」は、推薦商品を推薦する理由を対話から得たことを表す。「距離」は、商品（陳列棚）と顧客との間の距離（近さ）を表す。距離「２」が最も短い距離であり、距離「０」が最も長い距離である。「対話」の値には、重み付け「３」が乗算されてもよい。この場合、重み付けが乗算された距離「６（＝２×３）」が、商品と顧客との間の距離として最も短い距離である。

【0092】

「推薦スコア」は、推薦するか否かを定めるための点数であり、例えば、予め定められた評価関数（評価式）を用いて導出される。この評価関数は、特定の関数に限定されない。

【0093】

推薦スコアは、商品データテーブルの値を用いて、例えば式（１）のように表される。

【0094】

推薦スコア＝α＋β＋γ＋δ＋ε＋ζ …（１）

【0095】

推薦スコアは、商品データテーブルの値と、重み係数とを用いて、例えば式（２）のように表されてもよい。

【0096】

推薦スコア＝α＋β＋γ＋δ＋４ε＋３ζ …（２）

【0097】

推薦処理部４８３は、推薦スコアが閾値未満である場合、所定の処理（振る舞い）を実行する。この所定の処理とは、例えば、出力処理部４８４の出力における発話内容、声量、表情、イントネーション及びモータ動作等の処理である。推薦スコアが閾値以上である推薦商品が付近に無い場合、推薦処理部４８３は、顧客と情報端末との間の対話によって得られた雑談の内容を表す情報に基づいて、商品データテーブルを更新する。推薦処理部４８３は、顧客と情報端末との間の対話によって得られた顧客の嗜好を表す情報に基づいて、商品データテーブルを更新してもよい。推薦処理部４８３は、顧客と情報端末との間の対話によって得られた顧客の昨晩の献立を表す情報に基づいて、商品データテーブルを更新してもよい。推薦処理部４８３は、商品データテーブルに基づく推薦スコアが閾値以上である場合、所定の推薦処理を実行する。以下では、閾値は、一例として７である。

【0098】

なお、店舗での買い物を顧客が終えて、店舗内の所定の位置に顧客がカート５を戻した場合、商品データテーブルの各値は、図２９の上段に例示されている商品データテーブルの各初期値に戻される（リセット処理）。カート５が停止している状態が一定時間続いた場合、商品データテーブルの各値は、各初期値に戻されてもよい。カート５の籠が空になった場合、商品データテーブルの各値は、各初期値に戻されてもよい。

【0099】

図３０は、第４実施形態における、商品データテーブルと俯瞰された店舗内を表す地図との第２例を示す図である。図３０の下段には、俯瞰された店舗内を表す地図の例が示されている。図３０の下段では、顧客は、情報端末アイコン画像２００の矢印が示す経路（時系列の位置）で、「トマト」と「アボカド」とが陳列された陳列棚の付近まで移動した。また、顧客は「トマト」と「アボカド」とが陳列された陳列棚の付近に滞在した。

【0100】

推薦処理部４８３は、商品データテーブルにおける「トマト」と「アボカド」とに関して、「距離」の値を「３」に更新する。「距離」の値には重み係数「３」が乗算されている。図３０の上段には、更新された商品データテーブルの例が示されている。図３０の商品データテーブルでは、図２９の上段に示された商品データテーブルの初期値から更新された値に対して下線が付されている。

【0101】

推薦処理部４８３は、更新された商品データテーブルに基づいて、推薦スコア（スコアの合計値）を商品ごとに導出する。図３０では、「トマト」の推薦スコアと「アボカド」の推薦スコアとが、閾値以上である。このため、推薦処理部４８３は、「トマト」と「アボカド」とを顧客に推薦する。

【0102】

図３１は、第４実施形態における、商品データテーブルと俯瞰された店舗内を表す地図との第３例を示す図である。図３１の下段には、俯瞰された店舗内を表す地図の例が示されている。顧客は、「トマト」と「アボカド」とが陳列された陳列棚の付近に滞在した。顧客は、「トマト」と「アボカド」とのいずれも籠に入れずに、「トマト」と「アボカド」とが陳列された陳列棚から離れた。このため、「トマト」と「アボカド」とのいずれも、購入予定の商品ではない。「トマト」と「アボカド」とのいずれも購入予定の商品ではないので、「トマト」と「アボカド」とについて、「未購入」の値は「１」のままである。「トマト」と「アボカド」とについて、「未検討」の値は、検討済「０」である。また、「トマト」と「アボカド」とについて、「未通過」の値は「０」である。

【0103】

図３１の下段では、顧客は、情報端末アイコン画像２００の矢印が示す経路（時系列の位置）で、「トマト」と「アボカド」とが陳列された陳列棚から離れた位置まで移動した。

【0104】

推薦処理部４８３及び出力処理部４８４は、理由を尋ねるためのテキスト「トマトを買わなかったの？」を出力する。例えば「トマトの値段が高いから」又は「トマトを買う代わりに、トマト味の飲み物がほしい」等の返答が対話によって顧客から得られた場合、推薦処理部４８３は、商品データテーブルにおける「トマトジュース」に関して、「対話」の値を「４」に更新する。「対話」の値には重み係数「４」が乗算されている。図３１では、「トマトジュース」の「推薦スコア」は、一例として、閾値以上の値「７」となった。このため、推薦処理部４８３は、「トマトジュース」を顧客に推薦する。出力処理部４８４は、「トマトジュース」の位置を地図上に示してもよい。これらによって、顧客は、離れた位置の陳列棚まで移動し、その陳列棚に陳列された「トマトジュース」をカート５の籠に入れることができる。図３１の商品データテーブルでは、図３０の上段に示された商品データテーブルの値から更新された値に対して下線が付されている。

【0105】

推薦処理部４８３及び出力処理部４８４は、野菜の陳列棚の付近を顧客が２回以上通過した場合、確認するためのテキスト「買い忘れ？」を出力してもよい。推薦処理部４８３及び出力処理部４８４は、野菜の陳列棚に陳列された野菜のリストを出力してもよい。

【0106】

図３２は、第４実施形態における、商品データテーブルと俯瞰された店舗内を表す地図との第４例を示す図である。図３２の下段には、俯瞰された店舗内を表す地図の例が示されている。顧客は、「トマト」と「アボカド」とが陳列された陳列棚の付近に滞在し、「アボカド」を籠に入れた。このため、「アボカド」は、購入予定の商品である。「アボカド」は購入予定の商品であるので、「アボカド」について、商品データテーブルにおける「未購入」の値は「０」である。図３２の商品データテーブルでは、図２９の上段に示された商品データテーブルの初期値から更新された値に対して下線が付されている。

【0107】

図３２の下段では、顧客は、情報端末アイコン画像２００の矢印が示す経路（時系列の位置）で、「トマト」と「アボカド」とが陳列された陳列棚から、「ヒラメ」と「鯛」とが陳列された陳列棚（魚の売り場）の付近に移動した。

【0108】

「トマト」と「アボカド」とについて、商品データテーブルにおける「未検討」の値は、検討済「０」である。また、「トマト」と「アボカド」とについて、商品データテーブルにおける「未通過」の値は「０」である。

【0109】

推薦処理部４８３は、更新された商品データテーブルに基づいて、推薦スコアを導出する。図３２では、「ヒラメ」の推薦スコアが、閾値以上である。このため、推薦処理部４８３は、「ヒラメ」を顧客に推薦する。

【0110】

図３３は、第４実施形態における、商品データテーブルと俯瞰された店舗内を表す地図との第５例を示す図である。図３３の下段には、俯瞰された店舗内を表す地図の例が示されている。顧客は、「トマト」と「アボカド」とが陳列された陳列棚の付近に滞在せずに、「牛乳」と「トマトジュース」とが陳列された陳列棚（飲み物の売り場）の付近に移動した。図３３の下段では、顧客は、情報端末アイコン画像２００の矢印が示す経路（時系列の位置）で、「牛乳」と「トマトジュース」とが陳列された陳列棚の付近まで移動した。「トマト」と「アボカド」と「ヒラメ」と「鯛」とについて、商品データテーブルにおける「未通過」の値は「０」である。また、「トマト」と「アボカド」と「ヒラメ」と「鯛」とについて、商品データテーブルにおける「未検討」の値は、検討済「０」である。図３３の商品データテーブルでは、図２９の上段に示された商品データテーブルの初期値から更新された値に対して下線が付されている。

【0111】

推薦処理部４８３は、更新された商品データテーブルに基づいて、推薦スコアを導出する。図３３では、「牛乳」の推薦スコアが、閾値以上である。このため、推薦処理部４８３は、「牛乳」を顧客に推薦する。

【0112】

以上のように、推薦処理部４８３は、店舗における顧客（顧客データに対応付けられた顧客）の時系列の行動に応じて、推薦データを生成する。顧客の時系列の行動とは、例えば、商品を購入するか否かを検討する行動である。商品を購入するか否かを検討する行動の結果（検討結果）は、例えば、顧客の移動経路に基づいて判定される。これによって、顧客に応じた商品をその顧客に推薦することが可能である。顧客による商品の購入を支援することが可能である。店舗内の商品の販売を促進することが可能である。

【0113】

（第４実施形態の変形例）
第４実施形態では、顧客の属性（ユーザ情報）が更に考慮される点が、第４実施形態との差分である。第４実施形態の変形例では、第４実施形態との差分を中心に説明する。

【0114】

図３４は、第４実施形態の変形例における、商品データテーブルと俯瞰された店舗内を表す地図との例を示す図である。商品データテーブルでは、「商品コード」と、「商品名」と、「商品位置」と、「優先度」（α）と、「未通過」（β）と、「未検討」（γ）と、「未購入」（δ）と、「対話」（ε）と、「距離」（ζ）と、「顧客の属性」と、「推薦スコア」とが対応付けられている。

【0115】

顧客の属性情報は、例えば、顧客（ユーザ）の年齢と、性別と、嗜好と、グループ（複数人）で来店か否かとのうちの少なくとも一つに応じたスコアを含む。「優先度」と「未通過」と「未検討」と「未購入」とは、店舗内における顧客の時系列の行動に応じて変化する値である。これに対して、顧客の属性情報のスコアは、店舗内における顧客の時系列の行動に応じて変化しない値である。顧客の属性情報のスコアは、顧客の属性に応じて予め定められる。推薦処理部４８３は、店舗内における顧客の時系列の行動と、顧客の属性情報とに基づいて、その顧客に応じた商品をその顧客に推薦する。図３４の商品データテーブルでは、図２９の上段に示された商品データテーブルの初期値から更新された値に対して下線が付されている。

【0116】

以上のように、推薦処理部４８３は、顧客の属性に基づいて、推薦データを生成する。推薦処理部４８３は、顧客の時系列の行動と、顧客の属性とに基づいて、推薦データを生成してもよい。また、顧客の時系列の行動と、情報端末４（エージェント）及び顧客の間の対話情報と、顧客の属性とに基づいて、推薦データを生成してもよい。これによって、顧客の属性に応じた商品をその顧客に推薦することが可能である。例えば、推薦処理部４８３は、購入予定の商品を把握するだけでなく、顧客の年齢、性別及び嗜好も把握することで、顧客にとって有益な商品を推薦することが可能である。

【0117】

（第５実施形態）
第５実施形態では、質問（問いかけ）に対する顧客の行動が顧客からの返答（情報の入力）として扱われる点が、第１実施形態から第４実施形態までとの差分である。第５実施形態では、第４実施形態との差分を中心に説明する。

【0118】

店舗内で買い物中の顧客は、周りの他の顧客に対話の内容が漏れることが気になり、情報端末４と音声対話することを躊躇することがある。そこで、第５実施形態では、情報端末４（エージェント、スマートカート）は、操作キー画像の押下操作と音声対話とを顧客からの返答（情報の入力）として扱うだけでなく、例えば、店舗内で買い物中の顧客の行動も、顧客からの返答として扱う。

【0119】

例えば、情報端末４は、問いかけに対して顧客が音声（口頭）で返答しなくても、推薦された商品を籠に入れたこと（口頭以外の返答）に基づいて、顧客の返答が「はい」であると判定する。例えば、情報端末４は、問いかけに対して操作キー画像の押下操作で返答しなくても、推薦された商品を籠に入れたこと（押下操作以外の返答）に基づいて、顧客の返答が「はい」であると判定する。

【0120】

例えば、情報端末４は、問いかけに対して顧客が音声で返答しなくても、推薦された商品の位置に顧客が移動したこと（口頭以外の返答）に基づいて、顧客の返答が「はい」であると判定してもよい。例えば、情報端末４は、問いかけに対して操作キー画像の押下操作で返答しなくても、推薦された商品の位置に顧客が移動したこと（押下操作以外の返答）に基づいて、顧客の返答が「はい」であると判定してもよい。これによって、情報端末４は、情報（返答）を顧客が情報端末４に入力する負担を軽減した上で、顧客に応じた商品をその顧客に推薦することが可能である。

【0121】

図３５は、第５実施形態における、顔画像及びテキストの第１表示例を示す図である。カメラ４３は、カート５に備えられた籠に入れられた商品群を撮影する。カート５のタイヤには、カート５の移動速度を検知するセンサ（ロータリーエンコーダ）が設置されている。センサ４４は、ロータリーエンコーダの出力に基づいて、カート５の移動速度を検知する。センサ４４は、近距離無線通信（NFC : Near Field Communication）を用いて、カート５の移動速度を検知してもよい。位置検出部４８１は、カート５の移動速度を検知するセンサ４４からの出力に基づいて、カート５が移動しているか否か（顧客が移動しているか否か）を判定する。

【0122】

センサ４４（スキャナ）は、赤外線等を用いて、籠に入れられた商品に付与された１次元コード又は２次元コードを読み取ってもよい。センサ４４は、籠に入れられた商品群の総重量を計測してもよい。

【0123】

推薦処理部４８３は、例えば、テキスト「カレーは好きですか？」及び「『はい』ならここで停止してください」を表す画像を含むテキスト表示領域と、顔画像とを、出力処理部４８４を用いて情報端末４の表示部４５に出力する。推薦処理部４８３は、センサ４４によって読み取られた１次元コード又は２次元コード（スキャンされた商品）に基づいて、商品の推薦等の出力処理を変更する。推薦処理部４８３は、籠に入れられた商品群の総重量又は増加量に基づいて、商品の推薦等の出力処理を変更してもよい。

【0124】

図３６は、第５実施形態における、顔画像及びテキストの第２表示例を示す図である。カート５が停止したと位置検出部４８１が判定した場合、推薦処理部４８３は、カート５が停止したこと（顧客の移動が停止したこと）を、顧客からの返答「はい」として扱う。推薦処理部４８３は、顧客からの返答「はい」に基づいて、例えば、テキスト「カレーが好きなんだ！このエリアにお勧めのルウがあるよ！」を表す画像を含むテキスト表示領域と、顔画像とを、出力処理部４８４を用いて情報端末４の表示部４５に出力する。

【0125】

なお、情報端末４は、カート５の把手５１（ハンドル）に備えらえた圧力センサ（不図示）を顧客が強く握るという行動を、例えば、顧客からの返答「はい」として扱ってもよい。情報端末４は、カート５の把手５１に備えらえた操作ボタン（不図示）を顧客が押下操作するという行動を、例えば、顧客からの返答「はい」として扱ってもよい。これによって、対話に対する返答を顧客が情報端末４に入力する負担を軽減させることが可能である。

【0126】

図３７は、第５実施形態における、顔画像及びテキストの第３表示例を示す図である。推薦処理部４８３は、カート５が移動したこと（顧客の移動が停止したこと）を、顧客からの返答「はい」として扱う。推薦処理部４８３は、顧客からの返答「はい」に基づいて、例えば、テキスト「じゃあ、シチュー好き？」を表す画像を含むテキスト表示領域と、顔画像とを、出力処理部４８４を用いて情報端末４の表示部４５に出力する。

【0127】

次に、商品推薦システム１の動作例を説明する。
図３８は、第５実施形態における、商品推薦システム１の動作の第１例を示すフローチャートである。推薦処理部４８３は、テキスト「カレーは好きですか？」及び「『はい』ならここで停止してください」を表す画像を含むテキスト表示領域と、顔画像とを、表示部４５に出力する（ステップＳ２０１）。推薦処理部４８３は、顧客の行動が「ＹＥＳに相当する行動」であるか否かを判定する（ステップＳ２０２）。

【0128】

「カレーは好きですか？」の問いに応じてカート５の移動が停止した場合（ステップＳ２０２：「ＹＥＳに相当する行動（推薦された商品の前に立つ行動）」）、推薦処理部４８３は、テキスト「カレーが好きなんだ！このエリアに、おすすめのカレールウがあるよ！」を表す画像を含むテキスト表示領域と、顔画像とを、表示部４５に出力する（ステップＳ２０３）。

【0129】

「カレーは好きですか？」の問いに応じてカート５が移動した場合（ステップＳ２０２：「ＮＯに相当する行動」）、推薦処理部４８３は、テキスト「じゃあ、シチュー好き？」を表す画像を含むテキスト表示領域と、顔画像とを、表示部４５に出力する（ステップＳ２０４）。

【0130】

図３９は、第５実施形態における、商品推薦システム１の動作の第２例を示すフローチャートである。推薦処理部４８３は、テキスト「このエリアのおすすめを教えようか？」及び「『はい』ならここで停止してください」を表す画像を含むテキスト表示領域と、顔画像とを、表示部４５に出力する（ステップＳ３０１）。推薦処理部４８３は、顧客の行動が「ＹＥＳに相当する行動」であるか否かを判定する（ステップＳ３０２）。

【0131】

「このエリアのおすすめを教えようか？」の問いに応じてカート５の移動が停止した場合（ステップＳ３０２：「ＹＥＳに相当する行動（推薦された商品の前に立つ行動）」）、推薦処理部４８３は、テキスト「このエリアには、港から今朝仕入れた鯛があるんだよ！」を表す画像を含むテキスト表示領域と、顔画像とを、表示部４５に出力する（ステップＳ３０３）。

【0132】

「このエリアのおすすめを教えようか？」の問いに応じてカート５が移動した場合（ステップＳ３０２：「ＮＯに相当する行動」）、推薦処理部４８３は、テキスト「ＯＫ！また必要なときに推薦するね！」を表す画像を含むテキスト表示領域と、顔画像とを、表示部４５に出力する（ステップＳ３０４）。

【0133】

図４０は、第５実施形態における、商品推薦システム１の動作の第３例を示すフローチャートである。推薦処理部４８３は、テキスト「カレー作るの？」を表す画像を含むテキスト表示領域と、顔画像とを、表示部４５に出力する。ここで、顧客は、所定の商品情報をセンサ４４に読み取らせる（ステップＳ４０１）。推薦処理部４８３は、顧客に操作されたセンサ４４によって読み取られた商品情報を、センサ４４から取得する（ステップＳ４０２）。推薦処理部４８３は、読み取られた商品の情報を判定（識別）する（ステップＳ４０３）。

【0134】

読み取られた商品情報が「人参」の情報である場合（ステップＳ４０３：人参）、推薦処理部４８３は、テキスト「人参は外せないね」を表す画像を含むテキスト表示領域と、顔画像とを、表示部４５に出力する（ステップＳ４０４）。読み取られた商品情報が「カレールウ」の情報である場合（ステップＳ４０３：カレールウ）、推薦処理部４８３は、テキスト「そのカレールウ、美味しいよね」を表す画像を含むテキスト表示領域と、顔画像とを、表示部４５に出力する（ステップＳ４０５）。読み取られた商品情報が「人参」及び「カレールウ」の情報のいずれでもない場合（ステップＳ４０３：以外）、推薦処理部４８３は、テキスト「ほかのおすすめをどんどん推薦するね！」を表す画像を含むテキスト表示領域と、顔画像とを、表示部４５に出力する（ステップＳ４０６）。

【0135】

図４１は、第５実施形態における、商品推薦システム１の動作の第４例を示すフローチャートである。推薦処理部４８３は、図４１に例示された動作（雑談処理）を、例えば店舗内のランダムな位置で実行する。推薦処理部４８３は、テキスト「ダジャレのお題を教えて」を表す画像を含むテキスト表示領域と、顔画像とを、表示部４５に出力する。ここで、顧客は、所定の商品情報をセンサ４４に読み取らせる（ステップＳ５０１）。推薦処理部４８３は、顧客に操作されたセンサ４４によって読み取られた商品情報を、センサ４４から取得する（ステップＳ５０２）。推薦処理部４８３は、読み取られた商品の情報を判定（識別）する（ステップＳ５０３）。

【0136】

読み取られた商品情報が「人参」の情報である場合（ステップＳ５０３：人参）、推薦処理部４８３は、テキスト「人参を買って、キャーロット！」を表す画像を含むテキスト表示領域と、顔画像とを、表示部４５に出力する（ステップＳ５０４）。読み取られた商品情報が「カレールウ」の情報である場合（ステップＳ５０３：カレールウ）、推薦処理部４８３は、テキスト「カレールウの好きな彼いる？」を表す画像を含むテキスト表示領域と、顔画像とを、表示部４５に出力する（ステップＳ５０５）。読み取られた商品情報が「人参」及び「カレールウ」の情報のいずれでもない場合（ステップＳ５０３：以外）、推薦処理部４８３は、テキスト「むむむ。それは思いつかなかったなぁ」を表す画像を含むテキスト表示領域と、顔画像とを、表示部４５に出力する（ステップＳ５０６）。

【0137】

以上のように、推薦処理部４８３は、顧客データに対応付けられた顧客への問いかけに対する顧客の行動に基づいて、推薦データを生成する。顧客の行動は、例えば、顧客の移動、所定の商品を顧客が籠に入れる行動、又は、所定の商品情報を顧客がセンサ４４に読み取らせる行動である。これによって、対話に対する返答等の所定情報を顧客が情報端末４に入力する負担を軽減させた上で、顧客に応じた商品をその顧客に推薦することが可能である。

【0138】

（第６実施形態）
第６実施形態では、推薦商品の推薦を顧客が受け入れ易い状態であるか否かを顧客の状態情報に基づいて情報端末４が推定する点が、第１実施形態から第５実施形態までとの差分である。第６実施形態では、第４実施形態との差分を中心に説明する。

【0139】

情報端末４（エージェント、スマートカート）は、顧客による商品の購買情報と顧客の位置を把握できるだけでなく、店舗内において顧客に随伴することができる。このため、情報端末４が商品を顧客に推薦することが可能なタイミングは多い。しかし、買い物中の顧客はカート５を常に見ている訳では無い。例えば、顧客の視線が陳列棚又は通路に向いていることも多い。また、情報端末４が顧客に情報発信しても、その情報発信に顧客が気付かない場合がある。このため、情報端末４（店舗側）の都合のみで広告（商品を推薦する広告）を顧客に提示しても、顧客がその広告を常に見ることができるとは限らず、その顧客に情報端末４が不快感を与えてしまう可能性もある。また、商品が近くに有ること等を単なるトリガーとして、顧客の都合が考慮されていないタイミングの対話によって、情報端末４が顧客に発話やタッチパネル操作を要求しても、顧客に不快な思いをさせる可能性がある。

【0140】

そこで、第６実施形態では、推薦処理部４８３は、顧客の状態情報（例えば、顧客の表情、目線及び対話履歴）に基づいて、商品の推薦を顧客が受け入れ易い状態（状況）であるか否かを推定する。推薦を顧客が受け入れ易い状態である場合には、推薦処理部４８３は、顧客の位置と、顧客の行動履歴と、対話から判明した嗜好と、購入予定と、店舗内で顧客が通過したエリアと、購入を検討済の商品とを考慮した上で、推薦する商品を決定し、決定された商品を顧客に推薦する。

【0141】

図４２は、第６実施形態における、推薦処理部４８３の処理例を示す図である。機械学習の学習段階において、推薦処理部４８３は、顧客の状態情報（重要度に応じて選択された特徴データ）と対話情報（例えば、顧客の返答）とに基づいて、学習データを生成する。推薦処理部４８３は、学習データを用いて、機械学習の手法によって学習済モデル（推論モデル）を生成する。

【0142】

例えば、推薦処理部４８３は、学習データ及び正解ラベルを用いて、教師あり学習の手法によって学習済モデルを生成してもよい。推薦処理部４８３は、推薦の受け入れ易さを表す正解ラベルを、記憶部４７から取得する。推薦の受け入れ易さを表す正解ラベルは、例えば、ラベル「推薦を受け入れ易い」と、ラベル「推薦をやや受け入れ易い」と、ラベル「推薦をやや受け入れ難い」と、ラベル「推薦を受け入れ難い」とである。このように、正解ラベルは、複数の段階を表してもよい。

【0143】

推薦の受け入れ易さを表す正解ラベルは、例えば、統計処理を含む学習アルゴリズムを用いて生成される。顧客の視線がカート５に向いていない場合、カート５の移動速度が所定速度以上である場合、又は、これまでの推薦を顧客が受け入れていない場合における、学習データには、正解ラベル「推薦を受け入れ難い」もしくは正解ラベル「推薦をやや受け入れ難い」が対応付けられる。顧客の視線がカート５に向いている場合、又は、カート５の移動速度が所定速度未満である場合、又は、これまでの推薦を顧客が受け入れている場合における、学習データには、正解ラベル「推薦を受け入れ易い」もしくは正解ラベル「推薦をやや受け入れ易い」が対応付けられる。

【0144】

機械学習の推定段階（推論段階）において、推薦処理部４８３は、顧客の状態情報と対話情報とを取得する。推薦処理部４８３は、商品の推薦の受け入れ易さを、学習済モデル（推論モデル）を用いて推定する。すなわち、推薦処理部４８３は、顧客の状態情報（選択された特徴データ）と対話情報とを、学習済モデルに入力する。推薦処理部４８３は、推薦の受け入れ易さを表す情報を、学習済モデルの出力として得る。

【0145】

商品の推薦を顧客が受け入れ難い場合、推薦処理部４８３は、雑談用として予め定められたテキスト（例えば、「お買い物、楽しいね」等の複数の文章例）のうちから、表示部４５に表示されるテキスト（雑談情報）を決定する。推薦処理部４８３は、表示部４５に表示されるテキストを用いて、雑談処理を実行する。推薦処理部４８３は、一定時間、雑談せずに沈黙してもよい。

【0146】

商品の推薦を顧客が受け入れ易い場合、推薦処理部４８３は、例えば、位置情報と、商品データと、未検討情報と、未購入情報と、顧客の属性とのうちの一つ以上に基づいて、推薦スコアを導出する。推薦処理部４８３は、例えば、買い物の情報と、対話の履歴と、顧客の生体情報と、店舗内の情報と、顧客の属性情報とのうちの一つ以上に基づいて、推薦スコアを導出してもよい。推薦処理部４８３は、推薦スコアに応じて、推薦情報（推薦する商品の情報）を決定する。推薦処理部４８３は、推薦処理を実行する。推薦処理部４８３は、今後の推薦に繋がる情報として、顧客の嗜好を顧客に尋ねてもよい。なお、推薦処理部４８３は、推薦スコアを導出した場合（商品の推薦を顧客が受け入れ易い場合）でも、雑談情報を決定し、雑談処理を実行してもよい。

【0147】

図４３は、第６実施形態における、推薦の受け入れ易さのスコアテーブルの例を示す図である。推薦処理部４８３は、推薦の受け入れ易さの指標を、予め定められたスコアテーブルを用いて導出してもよい。導出処理は、周期的に実行されてもよいし、推薦される商品がある場合に実行されてもよい。図４３に例示されたスコアテーブルでは、一例として、「情報」と、「項目」と、「推薦の受け入れ易さのスコア」とが対応付けられている。

【0148】

「情報」は、一例として、「買い物の情報」と、「対話の履歴」と、「顧客の生体情報」と、「店舗内の情報」と、「顧客の属性情報」とである。「買い物の情報」の項目は、一例として、購入予定の商品の個数（商品ごと）と、買い物中の立ち止まり回数と、買い物中の平均移動速度と、買い物中の移動履歴と、過去の購買履歴とである。「対話の履歴」の項目は、一例として、対話回数と、返答内容と、推薦を受け入れた回数の履歴とである。「顧客の生体情報」の項目は、一例として、表情と、声色と、目線とである。「店舗内の情報」の項目は、一例として、室温と、店舗内放送（背景音楽）とである。「顧客の属性情報」の項目は、一例として、性別と、年代と、グループ（複数人）とである。

【0149】

「顧客の生体情報」の項目は、所定の方法を用いて数値で表現される。表情は、例えば、０から１００までの数値を用いて、笑顔（数値「１００」）、及び、悲しい顔（数値「０」）のように表現される。認識部４８２は、顔認識及び音声認識を実行してもよい。認識部４８２は、顧客の声色に基づいて、顧客の感情を推定してもよい。認識部４８２は、例えば、０から１００までの数値を用いて、顧客の感情を上機嫌数値「１００」）、及び、不機嫌（数値「０」）のように表現してもよい。なお、各数値の度合い及びパラメータは、任意に変更可能である。

【0150】

図４４は、第６実施形態における、テキストデータテーブルの例を示す図である。推薦処理部４８３は、推薦を顧客が受け入れ難いと判定された場合、顧客の状態情報、対話情報及び店舗内環境に応じて、雑談情報を決定する。例えば、推薦処理部４８３は、推薦を顧客が受け入れ難いと判定され、かつ、カート５の移動速度が閾値以上であると判定された場合、テキスト「ゆっくり歩くと、いいことあるかも」に応じた音声データを、スピーカ４６に出力する。スピーカ４６は、音声データに応じた合成音声を出力する。これによって、カート５の移動速度を顧客が低下させることが期待できるので、顧客が推薦を受け入れ易い状況となる。

【0151】

以上のように、推薦処理部４８３は、顧客データに対応付けられた顧客が推薦商品の推薦を受け入れ易い状態であるか否かを、顧客の状態情報又は対話情報に基づいて判定する。推薦処理部４８３は、推薦商品の推薦を受け入れ易い状態であると判定された場合、推薦データを生成する。推薦処理部４８３は、推薦商品の推薦を受け入れ易い状態でないと判定された場合、雑談を表す画像データ又は音声データを生成する。出力処理部４８４は、雑談を表す画像データ又は音声データを出力する。これによって、顧客に不快な思いをさせる可能性を低減させた上で、顧客に応じた商品をその顧客に推薦することが可能である。

【0152】

なお、各実施形態は組み合わされてもよい。

【0153】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0154】

１ａ，１ｂ，１ｃ…商品推薦システム、２ａ，２ｂ，２ｃ…制御装置、３…通信回線、４…情報端末、５…カート、６…演出部、７…ビーコン、８…商品駆動部、２０…通信部、２１ａ，２１ｂ…制御部、４０…通信部、４１…操作部、４２…マイク、４３…カメラ、４４…センサ、４５…表示部、４６…スピーカ、４７…記憶部、４８…端末制御部、５１…把手、１００…陳列棚画像、２００…情報端末アイコン画像、２０１…推薦商品アイコン画像、２０２…推薦商品アイコン画像、３００…顔画像、３０１…顔画像、３０２…テキスト表示領域、３０３…テキスト表示領域、３０４…テキスト表示領域、３０５…テキスト表示領域、４００…操作用画像、４０１…操作キー画像、４０２…操作キー画像、４０３…操作キー画像、４０４…操作キー画像、４０５…操作キー画像、４０６…操作キー画像、４０７…推薦用画像、４０８…演出用画像、４８０…顧客処理部、４８１…位置検出部、４８２…認識部、４８３…推薦処理部、４８４…出力処理部、５００…チェックボックス画像群、５０１…チェックボックス画像群

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【手続補正書】

【提出日】2023-11-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

顧客データを取得する顧客処理部と、
前記顧客データに対応付けられた第１商品と前記第１商品に対応付けられた第２商品とのうちの一つを表す推薦データを生成する推薦処理部と、
前記推薦データに基づいて、前記第１商品若しくは前記第２商品に関する画像データ又は音声データを出力する出力処理部と
を備え、
前記推薦処理部は、前記顧客データに対応付けられた顧客への問いかけに対し、前記顧客がカートの把手に対してとった行動に基づいて、前記推薦データを生成する、
情報端末。

【請求項2】

前記顧客処理部は、前記顧客データに基づいて、前記第１商品の購入日を表す購入履歴データを取得し、
前記推薦処理部は、所定の日数が前記購入日から経過している場合、前記第１商品を表す前記推薦データを生成し、
前記出力処理部は、前記第１商品を表す前記推薦データに基づいて、前記第１商品に関する画像データ又は音声データを出力する、
請求項１に記載の情報端末。

【請求項3】

前記顧客処理部は、前記顧客データとして、顧客の名前を取得し、
前記出力処理部は、前記顧客の名前の画像データ又は音声データを出力する、
請求項１に記載の情報端末。

【請求項4】

前記顧客処理部は、前記顧客データとして、前記第１商品の購入計画を表す購入計画データを取得し、
前記推薦処理部は、前記購入計画データに基づいて、前記第１商品若しくは前記第２商品に関する前記推薦データを生成し、
前記出力処理部は、前記推薦データに基づいて、前記第１商品若しくは前記第２商品に関する画像データ又は音声データを出力する、
請求項１に記載の情報端末。

【請求項5】

顧客と共に移動する籠に入れられた前記第１商品に関する情報を認識する認識部を更に備え、
前記第１商品に関する情報に基づいて、前記第１商品又は前記第２商品を表す前記推薦データを生成し、
前記出力処理部は、前記推薦データに基づいて、前記第１商品若しくは前記第２商品に関する画像データ又は音声データを出力する、
請求項１に記載の情報端末。

【請求項6】

前記認識部は、前記第１商品に関する情報に基づいて、前記籠に入れられた前記第１商品の総重量又は個数を認識し、前記総重量又は前記個数が増加した場合に前記推薦データを生成する、
請求項５に記載の情報端末。

【請求項7】

前記認識部は、前記第１商品に関する情報に基づいて、前記第１商品が属するカテゴリに対応付けられた前記第２商品を検索し、前記第２商品を表す前記推薦データを生成する、
請求項５に記載の情報端末。

【請求項8】

店舗における前記籠の位置を検出する位置検出部を更に備え、
前記推薦処理部は、前記店舗に陳列された前記第１商品又は前記第２商品と前記籠との間の距離が閾値以下になった場合、前記第１商品又は前記第２商品を表す前記推薦データを生成し、
前記出力処理部は、前記推薦データに基づいて、前記第１商品又は前記第２商品に関する画像データ又は音声データを出力する、
請求項５に記載の情報端末。

【請求項9】

前記出力処理部は、前記画像データとして、店舗における前記第１商品又は前記第２商品の位置を表す地図データを出力する、
請求項１に記載の情報端末。

【請求項10】

前記地図データは、推薦商品としての前記第１商品又は前記第２商品を表すアイコン画像を含む、
請求項９に記載の情報端末。

【請求項11】

前記出力処理部は、所定の演出処理を実行させるための信号を演出部に出力する、
請求項１に記載の情報端末。

【請求項12】

前記推薦処理部は、前記顧客データに対応付けられた顧客の時系列の行動に基づいて、前記推薦データを生成する、
請求項１に記載の情報端末。

【請求項13】

前記推薦処理部は、更に、前記顧客の属性に基づいて、前記推薦データを生成する、
請求項１２に記載の情報端末。

【請求項14】

前記推薦処理部は、推薦商品としての第３商品を更に表す前記推薦データを生成し、
前記出力処理部は、前記第３商品を更に表す前記推薦データに基づいて、前記第３商品に関する画像データ又は音声データを更に出力する、
請求項１に記載の情報端末。

【請求項15】

前記推薦処理部は、前記顧客データに対応付けられた顧客が推薦商品の推薦を受け入れ易い状態であるか否かを、前記顧客の状態情報又は対話情報に基づいて判定し、前記推薦商品の推薦を受け入れ易い状態であると判定された場合、前記推薦データを生成する、
請求項１に記載の情報端末。

【請求項16】

前記推薦処理部は、前記推薦商品の推薦を受け入れ易い状態でないと判定された場合、雑談を表す画像データ又は音声データを生成し、
前記出力処理部は、前記雑談を表す画像データ又は音声データを出力する、
請求項１５に記載の情報端末。

【請求項17】

制御装置と情報端末とを備える商品推薦システムであって、
前記制御装置は、
顧客データを記憶する記憶部を備え、
前記情報端末は、
前記顧客データを取得する顧客処理部と、
前記顧客データに対応付けられた第１商品と前記第１商品に対応付けられた第２商品とのうちの一つを表す推薦データを生成する推薦処理部と、
前記推薦データに基づいて、前記第１商品若しくは前記第２商品に関する画像データ又は音声データを出力する出力処理部とを備え、
前記推薦処理部は、前記顧客データに対応付けられた顧客への問いかけに対し、前記顧客がカートの把手に対してとった行動に基づいて、前記推薦データを生成する、
商品推薦システム。

【請求項18】

情報端末が実行する商品推薦方法であって、
顧客データを取得する顧客処理ステップと、
前記顧客データに対応付けられた第１商品と前記第１商品に対応付けられた第２商品とのうちの一つを表す推薦データを生成する推薦処理ステップと、
前記推薦データに基づいて、前記第１商品若しくは前記第２商品に関する画像データ又は音声データを出力する出力処理ステップと
を含み、
前記推薦処理ステップは、前記顧客データに対応付けられた顧客への問いかけに対し、前記顧客がカートの把手に対してとった行動に基づいて、前記推薦データを生成することを含む、
商品推薦方法。

【請求項19】

コンピュータに、
顧客データを取得する手順と、
前記顧客データに対応付けられた第１商品と前記第１商品に対応付けられた第２商品とのうちの一つを表す推薦データを生成する手順と、
前記推薦データに基づいて、前記第１商品若しくは前記第２商品に関する画像データ又は音声データを出力する手順と
を実行させ、
前記生成する手順では、前記顧客データに対応付けられた顧客への問いかけに対し、前記顧客がカートの把手に対してとった行動に基づいて、前記推薦データを生成すること、
を実行させるためのプログラム。