特開 2024-9011 電子機器システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024009011

(43)【公開日】2024-01-19

(54)【発明の名称】電子機器システム

(51)【国際特許分類】

   G06Q 30/02 20230101AFI20240112BHJP

【ＦＩ】

G06Q30/02

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023188606

(22)【出願日】2023-11-02

(62)【分割の表示】P 2022068596の分割

【原出願日】2013-12-06

(71)【出願人】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100087480

【弁理士】

【氏名又は名称】片山 修平

(74)【代理人】

【識別番号】100136261

【弁理士】

【氏名又は名称】大竹 俊成

(72)【発明者】

【氏名】降矢 雄飛

(72)【発明者】

【氏名】志賀 啓

(72)【発明者】

【氏名】伊三木 一皇

(72)【発明者】

【氏名】有馬 由桂

(72)【発明者】

【氏名】関口 政一

(72)【発明者】

【氏名】關口 直樹

(72)【発明者】

【氏名】村越 雄

(72)【発明者】

【氏名】内山 洋治

(57)【要約】

【課題】使い勝手のよい電子機器システムを提供する。
【解決手段】電子機器システムは、ユーザが所持する所持装置からの情報に基づいて、店舗内への前記ユーザの入店を検出する検出部と、前記店舗内で撮像された情報が入力され、前記店舗内にある物品を認識する画像認識部と、前記画像認識部により認識された前記物品に関する情報を取得する取得部と、前記取得部が取得した前記物品に関する情報を、前記ユーザの前記所持装置に表示させるための情報を送信する送信部と、を備えている。
【選択図】図１０

【特許請求の範囲】

【請求項1】

ユーザが所持する所持装置からの情報に基づいて、店舗内への前記ユーザの入店を検出する検出部と、
前記店舗内で撮像された情報が入力され、前記店舗内にある物品を認識する画像認識部と、
前記画像認識部により認識された前記物品に関する情報を取得する取得部と、
前記取得部が取得した前記物品に関する情報を、前記ユーザの前記所持装置に表示させるための情報を送信する送信部と、を備えた電子機器システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子機器システムに関する。

【背景技術】

【0002】

従来より、来店者の商品の購買に関する行動情報を取得し、その情報を販売促進に結びつける販売促進システムが提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０－２７７２５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の販売促進システムでは、必要な情報が十分に取得できているとはいえず、使い勝手がよいとはいえなかった。

【0005】

本発明は上記の課題に鑑みてなされたものであり、使い勝手のよい電子機器システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の電子機器は、物品をユーザが手にしたこと、及び物品がユーザの視野内の所定範囲に入ったことの少なくとも一方に応じて、前記物品の情報を入力する入力部（４６，４２）と、前記入力部が入力した前記物品の情報に関する報知を行う報知部（４６）と、を備えている。

【0007】

この場合において、前記ユーザが前記物品を複数回手にしたとき、又は前記ユーザの視野内の所定範囲に前記物品が複数回入ったときに、前記報知部が報知する情報を制限する第１制御部（４６）を備えていてもよい。この場合、前記第１制御部は、前記物品を手にした回数、又は前記物品が前記ユーザの視野内の所定範囲内に入った回数に応じて、前記報知部が報知する情報を異ならせることとしてもよい。また、前記物品と類似する類似物品を前記ユーザが手にしたとき、又は前記ユーザの視野内の所定範囲に前記類似物品が入ったときに、前記報知部が報知する情報を制限する第２制御部（４６）を備えていてもよい。

【0008】

本発明の電子機器においては、前記入力部は、前記物品の情報として前記ユーザが購入予定の商品の情報を入力し、前記報知部は、前記購入予定の商品に応じた情報を報知することとしてもよい。この場合、前記入力部は、外部機器（２０’）から前記購入予定の商品の情報を入力することとしてもよい。また、前記入力部は、前記購入予定の商品を収納する収納装置（１２０）を介して、前記外部機器から前記購入予定の商品に応じた情報を入力することとしてもよい。

【0009】

また、本発明の電子機器において、前記報知部は、表示を行う表示部（１２）と、音声を出力する音声出力部（１８）との少なくとも一方を備えていてもよい。この場合、前記音声出力部は、指向性のある音声出力部であることとしてもよい。また、本発明の電子機器においては、前記ユーザの顔付近に装着可能な装着部（１１０）を備えていてもよい。

【0010】

なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。

【発明の効果】

【0011】

本発明は、使い勝手のよい電子機器システムを提供することができるという効果を奏する。

【図面の簡単な説明】

【0012】

【図1】第１の実施形態に係る電子機器システムの構成を示すブロック図である。

【図2】装着装置、カゴ装置、物品装置の利用状況を示す図である。

【図3】装着装置の斜視図である。

【図4】図４（ａ）は、第１の実施形態にかかる装着装置の処理を示すフローチャートであり、図４（ｂ）は、第１の実施形態にかかる物品装置の処理を示すフローチャートである。

【図5】第１の実施形態にかかるカゴ装置の処理を示すフローチャートである。

【図6】第１の実施形態にかかるサーバの処理を示すフローチャートである。

【図7】図７（ａ）、図７（ｂ）は、視線画像の例を示す図（その１）である。

【図8】視線画像の例を示す図（その２）である。

【図9】あるユーザが入店してからレジを通るまでの間に、手に取った物品の順を示す図である。

【図10】第２の実施形態に係る電子機器システムの構成を示すブロック図である。

【図11】図１１（ａ）は、第２の実施形態にかかる装着装置の処理を示すフローチャートであり、図１１（ｂ）は、第２の実施形態にかかる物品装置の処理を示すフローチャートである。

【図12】第２の実施形態にかかるカゴ装置の処理を示すフローチャートである。

【図13】第２の実施形態にかかるサーバの処理を示すフローチャートである。

【図14】図１４（ａ）、図１４（ｂ）は、買い物ＤＢの一例を示す図である。

【発明を実施するための形態】

【0013】

《第１の実施形態》
以下、第１の実施形態に係る電子機器システムについて、図１～図９に基づいて、詳細に説明する。図１には、第１の実施形態に係る電子機器システム１００の構成がブロック図にて示されている。

【0014】

電子機器システム１００は、図１に示すように、装着装置１０と、カゴ装置２０と、物品装置３０と、サーバ４０と、を備える。図２に示すように、装着装置１０は、店舗に来店したユーザ（買い物客）が顔に装着する眼鏡型の端末である。カゴ装置２０は、店舗に設置されたカゴ１２０に設けられる装置である。物品装置３０は、店舗内に陳列された物品（商品）１３０に設けられる装置である。サーバ４０は、店舗内やデータセンタなどに設けられる情報処理装置である。なお、装着装置１０とカゴ装置２０との間、及び物品装置３０とカゴ装置２０との間は、人体を介した通信（人体通信）が可能とされ、カゴ装置２０とサーバ４０との間は、無線通信が可能とされている。

【0015】

（装着装置１０）
装着装置１０は、図１に示すように、撮像部１１、表示部１２、操作部１３、マイク１４、記憶部１５、通信部１６および制御部１７を備える。なお、図３には、装着装置１０が斜視図にて示されている。図３に示すように、装着装置１０は、眼鏡型のフレーム１１０を備えている。なお、図１において図示され、図３において図示されていない装着装置１０の構成は、フレーム１１０の内部や、フレーム１１０の一部に設けられているものとする。

【0016】

撮像部１１は、レンズ、撮像素子、画像処理部などを備え、静止画や動画を撮像するものである。撮像部１１は、図３に示すようにフレーム１１０の端部近傍（ユーザの右目近傍）に設けられている。このため、ユーザが装着装置１０を装着した状態（図２の状態）では、ユーザが向いている（見ている）方向の画像を撮像することができる。また、撮像された画像の所定部分（例えば、中心からやや左側にずれた部分）は、ユーザが視線を向けている部分（注視している部分）とみなすことができる。

【0017】

表示部１２は、フレーム１１０内部又はフレーム１１０近傍に設けられたプロジェクタと、プロジェクタからの投影像をユーザの目に導くためのプリズムとを有している。表示部１２は、制御部１７の指示の下、各種情報を表示する。

【0018】

操作部１３は、フレーム１１０に設けられたタッチパッドであり、ユーザの指の動きを検知して、ユーザからの操作を受け付け、受け付けた操作情報を制御部１７に送信する。

【0019】

なお、撮像部１１、表示部１２、操作部１３については、例えば、米国公開特許２０１３／００４４０４２号にもその詳細が開示されている。

【0020】

マイク１４は、フレーム１１０に設けられ、ユーザが発した音声やユーザの周辺の音声を収集する。マイク１４が収集した音声は、不図示の音声認識部により音声認識され、音声認識結果は、制御部１７に送信される。制御部１７は、音声認識結果に基づく処理（例えば、コマンドの実行処理など）を実行する。なお、制御部１７が音声認識を実行してもよい。また、制御部１７は、収集した音声データを記憶部１５に格納する。

【0021】

記憶部１５は、例えば、フラッシュメモリ等の不揮発性の半導体メモリであり、撮像部１１が撮像した画像データや、マイク１４が集音した音声データ、表示部１２に表示する表示データなどを記憶する。

【0022】

通信部１６は、他の機器と人体通信を行うものである。通信部１６は、フレーム１１０に設けられユーザと接触可能な電極部１６ａと、電極部１６ａを用いて人体通信を行う人体通信部１６ｂと、を有する。なお、人体通信には、人体に微弱な電流を流して、その電流を変調して情報を伝達する電流方式や、人体の表面に誘起する電界を変調して情報を伝達する電界方式などがある。本実施形態では、電流方式及び電界方式のいずれのタイプを用いることも可能である。なお、ユーザが装着装置１０の電極部１６ａに直接接触する場合はもちろん、電極部１６ａとユーザとが直接接触していない場合でも、人体通信は可能である。本実施形態において、通信部１６は、撮像部１１が撮像した画像データやマイク１４が収集した音声データをカゴ装置２０に送信するものである。なお、通信部１６は、他の機器と例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ(Radio Frequency Identification)、ＴｒａｎｓｆｅｒＪｅｔ（登録商標）などの近接通信を行ってもよい。

【0023】

なお、通信部１６に代えて、もしくは通信部１６と併用して無線通信部を装着装置１０に持たせてもよい。この場合、画像データや音声データを無線通信によりサーバ４０に直接送信するようにしてもよいし、画像データや音声データを無線通信によりカゴ装置２０に送信してもよい。

【0024】

制御部１７は、装着装置１０全体を統括的に制御する。制御部１７は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備える。本実施形態では、制御部１７は、撮像部１１の撮像に関する制御や、表示部１２の表示に関する制御などを行う。

【0025】

なお、装着装置１０は、眼鏡型の端末ではなくてもよい。例えば、体の任意の位置に装着可能な装着型端末であってもよく、その機能の一部が分離していてもよい。一例を挙げると、表示部を備えたコンタクトレンズ型の端末として、他の機能を腕時計型の端末に持たせるようにしてもよい。

【0026】

（カゴ装置２０）
カゴ装置２０は、図１に示すように、生体センサ２１、カレンダ部２２、記憶部２３、第１通信部２４、第２通信部２５、及び制御部２６等を備える。

【0027】

生体センサ２１は、カゴ１２０のうち、ユーザがカゴ１２０を持つ際に手が触れる部分（持ち手部分）に設けられる。生体センサ２１は、心拍数、血圧、発汗量などの体の生体情報の変化を検出するものであって、例えば、ＬＥＤ（light emitting diode）及びフォトセンサ、並びに、発汗センサを含む。例えば、ＬＥＤ及びフォトセンサを用いることで、ＬＥＤの照射する光を指に当てたときに反射する光をフォトセンサで受光することにより心拍数を検出することができる。また、発汗センサは、複数の電極により手のインピーダンスを測定することにより、発汗量を検出することができる。本実施形態においては、生体センサ２１からの出力は、制御部２６に送られる。そして、制御部２６では、生体センサ２１の出力に基づいてユーザの感情（喜怒哀楽）の変化を推定する。

【0028】

カレンダ部２２は、年、月、日、時刻といった時間情報を取得して、制御部２６に対して出力する。また、カレンダ部２２は計時を行う。

【0029】

記憶部２３は、例えば、フラッシュメモリ等の不揮発性の半導体メモリであり、後述するようにユーザが手にした物品に関する情報を記憶するものである。また、記憶部２３は、カゴ装置２０を一意に識別するためのＩＤ番号（カゴＩＤ）を記憶する。

【0030】

第１通信部２４は、他の機器と人体通信を行うものである。なお、第１通信部２４は、他の機器と近接通信を行うこととしてもよい。本実施形態においては、第１通信部２４は、人体通信を用いて装着装置１０の通信部１６及び物品装置３０の通信部３２と通信を行う。

【0031】

第１通信部２４は、カゴ１２０の持ち手部分に設けられた、ユーザの手や腕と接触可能な電極部２４ａと、電極部２４ａを介して人体通信を行う人体通信部２４ｂと、を有する。

【0032】

第２通信部２５は、他の装置との間で無線通信を行うものである。本実施形態においてはサーバ４０との間で無線通信を行い、ユーザが手に触れた物品の物品情報や、撮像部１１が撮像した画像データ、マイク１４が収集した音声データ、生体センサ２１の検出結果をサーバ４０に送信するものである。なお、本実施形態のカゴ装置２０は、物品装置３０とサーバ４０との間における物品情報の通信、及び装着装置１０とサーバ４０との間における画像データや音声データの通信を中継する通信中継装置としての機能を有している。

【0033】

制御部２６は、カゴ装置２０全体を制御するものであり、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。本実施形態では、制御部２６は、物品装置３０、装着装置１０及びサーバ４０との間における情報通信の制御を行う。

【0034】

なお、カゴ装置２０は、店舗で利用されるカートに設けることとしてもよい。この場合、生体センサ２１や第１通信部２４の電極部２４ａは、カートのグリップ部分に設けることが好ましい。

【0035】

（物品装置３０）
物品装置３０は、店舗等で販売される物品（商品）であって、食料品、衣服、靴、時計、アクセサリー、ゴルフクラブ、バッグ等、来店者（ユーザ）の身体に接触する物品に設けられる。本実施形態では、説明の便宜上、物品装置３０は、スーパーマーケットに陳列された商品（食料品等）に設けられているものとして説明する。

【0036】

物品装置３０は、図１に示すように、記憶部３１と、通信部３２と、制御部３３と、を備える。

【0037】

記憶部３１は、例えば、フラッシュメモリ等の不揮発性の半導体メモリであり、物品装置３０が取り付けられた物品（商品）に関する情報を記憶する。具体的には、記憶部３１は、物品装置３０が取り付けられた物品の物品情報（商品情報）を記憶する。例えば、物品装置３０が加工食品（例えば缶詰）に取り付けられている場合には、記憶部３１は、物品情報として、製造者（販売者）、商品名、原材料名、賞味期限、内容量、原産国等を記憶する。

【0038】

制御部３３は、物品装置３０全体を制御するものであり、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。本実施形態では、制御部３３は、記憶部３１に記憶されている物品情報のカゴ装置２０への送信を制御している。なお、制御部３３及び記憶部３１は物品のいずれの位置に設けられても構わない。

【0039】

通信部３２は、他の機器と人体通信を行うものである。なお、通信部３２は、他の機器と近接通信を行うこととしてもよい。本実施形態において、通信部３２は、ユーザ（例えば手）と接触する位置に設けられる電極部３２ａと、電極部３２ａを用いて人体通信を行う人体通信部３２ｂと、を備える。本実施形態では、図２に示すように、カゴ１２０を持ったユーザが物品１３０を手にした状態で、カゴ装置２０の第１通信部２４と物品装置３０の通信部３２との間の人体通信が成立する。これにより、記憶部３１に記憶された物品情報がカゴ装置２０に送信される。なお、ユーザが物品装置３０の電極部３２ａに直接接触する場合はもちろん、電極部３２ａとユーザとが直接接触していない場合（手袋をしている場合など）でも、人体通信は可能である。

【0040】

（サーバ４０）
サーバ４０は、図１に示すように、記憶部４１と、通信部４２と、ＯＣＲ（Optical Character Reader）部４３と、画像認識部４４と、制御部４６と、を備える。

【0041】

記憶部４１は、例えば、フラッシュメモリ等の不揮発性の半導体メモリや、ハードディスクドライブ等であり、カゴ装置２０から取得した情報、すなわち、装着装置１０の撮像部１１が撮像した画像データやマイク１４を用いて収集した音声データ、物品装置３０から送信されてきた物品情報を記憶する。また、記憶部４１は、店舗の従業員（店員）の顔画像データや商品画像データ、及びユーザの購入行動を分析する際に用いる各種データを記憶している。本実施形態においては、制御部４６は、後述するように、画像認識部４４と協働して装着装置１０の撮像部１１が撮像した画像データに従業員の顔や商品が含まれているかどうかを検出する。

【0042】

通信部４２は、他の機器と無線通信を行うものである。本実施形態では、通信部４２は、無線通信によりカゴ装置２０の第２通信部２５と無線通信を行う。

【0043】

ＯＣＲ部４３は、装着装置１０の撮像部１１が撮像した画像データに含まれる文字を認識して、テキストデータに変換する。例えば、撮像部１１が、図７（ｂ）の画像データを撮像した場合、ＯＣＲ部４３は、文字認識をして、テキストデータ「申し訳ございません。現在入荷待ちです。次回入荷時期は未定です。」を取得する。

【0044】

画像認識部４４は、装着装置１０の撮像部１１が撮像した画像データの特徴点を、例えばＳＵＲＦ（Speeded Up Robust Features）やＳＨＩＦＴ（Scale Invariant Feature Transform）といった特徴量検出アルゴリズムにより抽出し、記憶部４１に記憶されている複数の認識対象の標準パターンと比較することにより画像認識を行う。本実施形態においては、画像認識部４４は、記憶部４１に記憶されている従業員の顔画像データや商品画像データとの比較を行って、撮像部１１が撮像した画像に従業員や商品が含まれているかどうかを検出する。

【0045】

制御部４６は、サーバ４０全体を制御するものであり、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。

【0046】

次に、図４～図９を用いて、電子機器システム１００の処理について、詳細に説明する。なお、本実施形態では、装着装置１０を装着しているユーザ（買い物客）が店舗（例えば、スーパーマーケット）に来店した際に、カゴ１２０を保持して、買い物を行うものとする。また、ユーザは、店舗内で物品装置３０が設けられた物品（商品）１３０を手に取ったり、カゴ１２０に入れたりすることで、購入する物品を決定し、レジで購入処理を行うものとする。

【0047】

（装着装置１０の処理）
図４（ａ）には、装着装置１０の処理がフローチャートにて示されている。

【0048】

図４（ａ）の処理では、装着装置１０の制御部１７は、ステップＳ１０において、カゴ装置２０との人体通信が成立するまで待機する。この場合、装着装置１０を装着したユーザが店舗に入り、カゴ１２０を保持することでカゴ装置２０にユーザの手が触れた段階で、装着装置１０の通信部１６とカゴ装置２０の第１通信部２４との間の通信が成立する。カゴ装置２０との人体通信が成立すると、制御部１７は、ステップＳ１２に移行する。なお、ステップＳ１０に代えて、ユーザが店舗に入店した後に装着装置１０の電源をオンした段階でステップＳ１２以降の処理を実行するようにしてもよい。この場合、装着装置１０に、ＧＰＳ（Global Positioning System）モジュールや、店舗内に設置された無線ＬＡＮ（Local Area Network）基地局との通信状況に応じた位置検出が可能な位置検出装置を設け、位置検出装置の検出結果に基づいて、ユーザが店舗に入店したか否かを制御部１７が判断することとしてもよい。また、これとは逆に、装着装置１０は通信部１６に常に電源を供給しておき、カゴ装置２０との人体通信の成立により装着装置１０が起動するようにしてもよい。

【0049】

ステップＳ１２に移行すると、制御部１７は、撮像部１１に指示を出し、ユーザ側からの撮像を実行する。この場合、撮像部１１は、静止画及び動画のいずれを撮像してもよい。なお、本実施形態では、撮像部１１は、静止画を撮像するものとして説明する。制御部１７は、撮像部１１によって撮像された画像（以下、視線画像と呼ぶ）を記憶部１５に記憶する。なお、ステップＳ１２では、撮像部１１による視線画像の撮像に加えて、制御部１７は、マイク１４を用いて、ユーザの声や周辺の音を含む音声を収集し、音声データとして記憶部１５に記憶してもよい。

【0050】

次いで、ステップＳ１４では、制御部１７は、通信部１６を介して、視線画像をカゴ装置２０へ送信する。なお、制御部１７は、例えば装着装置１０に加速度計や角速度計を設けてユーザの移動速度を計測し、ユーザの移動速度が所定の移動速度（例えば時速１Ｋｍ以下）になったときに、カゴ装置２０へ視線画像を送信するようにしてもよい。なお、ユーザは、買い物途中にカゴ装置２０から手を離す場合もある。したがって、制御部１７は、人体通信が可能である場合には、人体通信により視線画像をカゴ装置２０へ送信し、人体通信が不可能な場合には、近接通信や無線通信などにより視線画像をカゴ装置２０へ送信するようにしてもよい。なお、無線通信を行う場合には、装着装置１０が無線通信部を備えておく必要がある。

【0051】

次いで、ステップＳ１６では、制御部１７は、レジ端末から入力のあったカゴ装置２０との人体通信が成立したか否かを判断する。ここで、レジ端末からの入力とは、ユーザがレジにカゴ１２０を持っていった場合に、カゴ装置２０とレジ端末との間の通信により、レジ端末からカゴ装置２０に対して送信される、買い物終了情報の入力を意味する。すなわち、レジ端末からの入力があったカゴ装置２０と装着装置１０との人体通信が成立した場合、ユーザの買い物が終了したことを意味する。したがって、買い物が終了しておらず、ステップＳ１６の判断が否定された場合には、ステップＳ１２に戻り、ステップＳ１２、Ｓ１４、Ｓ１６の処理・判断を繰り返す。すなわち、撮像部１１による視線画像の撮像と、カゴ装置２０への送信が繰り返される。一方、ユーザの買い物が終了し、ステップＳ１６の判断が肯定された場合には、図４（ａ）の全処理が終了する。

【0052】

なお、ステップＳ１６に代えて、制御部１７は、ユーザ（装着装置１０）が店舗から出たか否かを判断してもよい。この場合、前述のように、装着装置１０には、ＧＰＳ等の位置検出装置を設けておく必要がある。

【0053】

（物品装置３０の処理）
図４（ｂ）には、物品装置３０の処理がフローチャートにて示されている。

【0054】

図４（ｂ）の処理では、物品装置３０の制御部３３は、ステップＳ２０において、カゴ装置２０との人体通信が新たに成立するまで待機する。この場合、図２に示すように、カゴ１２０を保持するユーザが物品１３０を商品棚等から取り上げたタイミングで、カゴ装置２０との人体通信が新たに成立し、ステップＳ２２に移行する。

【0055】

ステップＳ２２に移行すると、制御部３３は、通信部３２に指示を出し、記憶部３１に記憶されている物品情報をカゴ装置２０へ送信する。

【0056】

その後は、ステップＳ２０に戻り、制御部３３は、ステップＳ２０、Ｓ２２の処理・判断を繰り返す。

【0057】

図４（ｂ）の処理が実行されることで、カゴ１２０を保持するユーザが、買い物途中に手にした物品１３０の情報をカゴ装置２０に逐一送信することが可能となる。

【0058】

（カゴ装置２０の処理）
図５には、カゴ装置２０の処理がフローチャートにて示されている。

【0059】

図５の処理では、ステップＳ３０において、カゴ装置２０の制御部２６が、装着装置１０との人体通信が成立するまで待機する。装着装置１０との人体通信が成立すると、制御部２６は、ステップＳ３２に移行する。なお、ステップＳ３２に移行するタイミングは、前述した図４（ａ）のステップＳ１２に移行するタイミングと同一である。

【0060】

ステップＳ３２に移行すると、制御部２６は、装着装置１０から送信されてくる視線画像を取得し、記憶部２３に記憶する。なお、例えばカゴ装置２０に加速度計や角速度計を設けてユーザの移動速度を計測し、ユーザの移動速度が所定の移動速度（例えば時速１Ｋｍ以下）になったときに、装着装置１０から視線画像が送信されてきた画像を取得し、記憶部２３に記憶することとしてもよい。

【0061】

次いで、ステップＳ３４では、制御部２６が、新たな物品情報を受信したか否かを判断する。ステップＳ３４の判断が否定された場合、すなわち、新たな物品情報を受信していない場合には、ステップＳ３８に移行する。一方、ステップＳ３４の判断が肯定された場合、すなわち、新たな物品情報を受信した場合には、ステップＳ３６に移行する。

【0062】

ステップＳ３６に移行すると、制御部２６は、物品情報を取得し、記憶部２３に記憶する。その後は、ステップＳ３８に移行する。

【0063】

ステップＳ３８に移行すると、制御部２６は、生体センサ２１を用いた検出を実行する。なお、ステップＳ３２、Ｓ３４及びＳ３６、Ｓ３８の処理の順番は適宜入れ替えてもよく、各ステップの処理を同時並行的に実行することとしてもよい。

【0064】

次いで、ステップＳ４０では、制御部２６が、生体センサ２１の検出結果に基づいて、ユーザに感情の変化があったか否かを判断する。この場合、例えば、生体センサ２１の検出結果から、心拍数が急激に上昇した場合や、血圧が急激に上昇した場合、発汗量が急激に増加した場合などにおいて、ユーザに感情の変化があったと判断する。なお、ユーザの感情が変化する例としては、タイムサービスが始まり商品を安く購入できるチャンスに遭遇したり、購入を予定していた商品が売り切れであったり、レジが混雑しているような場合である。ステップＳ４０の判断が否定された場合には、ステップＳ４４に移行するが、ステップＳ４０の判断が肯定された場合には、ステップＳ４２に移行する。

【0065】

ステップＳ４２に移行すると、制御部２６は、第２通信部２５に指示を出し、記憶部２３に記憶されている、感情変化直前に取得された視線画像及び物品情報（以下、第１情報と呼ぶ）をサーバ４０に送信する。なお、感情変化直前とは、例えば、感情変化が生じる数秒前を意味する。なお、感情変化直前に物品情報が取得されない場合もある。感情変化が物品１３０を保持したことに起因しない場合である。この場合には、制御部２６は、視線画像を第１情報としてサーバ４０に送信すればよい。

【0066】

ここで、感情変化直前に取得された視線画像としては、図７（ａ）、図７（ｂ）、図８に示すような視線画像が想定される。図７（ａ）の視線画像は、ユーザがタイムサービスに遭遇したことを示す画像であり、具体的には、商品に貼付されたタイムサービスのシールをユーザが見たことを示す画像である。また、図７（ｂ）の視線画像は、ユーザが購入しようとしていた商品が売り切れている場合の画像であり、具体的には、入荷待ちの掲示をユーザが見たことを示す画像である。また、図８の視線画像は、レジが混雑している状態をユーザが見たことを示す画像である。

【0067】

なお、第１情報は、カゴＩＤが付加された状態でサーバ４０に送信される。すなわち、サーバ４０では、第１情報をカゴＩＤを用いて管理する。

【0068】

ステップＳ４０が否定された後、あるいはステップＳ４２の処理が実行された後、制御部２６は、ステップＳ４４において、レジ端末から入力があったか否かを判断する。この場合のレジ端末の入力とは、前述したように、ユーザが買い物を終了し、レジにカゴ１２０を持っていった場合に、カゴ装置２０とレジ端末との間の通信により、レジ端末からカゴ装置２０に対して送信される、買い物終了情報の入力を意味する。このステップＳ４４の判断が否定された場合、すなわち、ユーザの買い物が終了していない場合には、ステップＳ３２に戻り、ステップＳ３２～Ｓ４４の処理・判断を繰り返す。一方、ステップＳ４４の判断が肯定された場合には、ステップＳ４６に移行する。

【0069】

ステップＳ４６に移行すると、制御部２６は、第２通信部２５に指示を出し、ステップＳ３０以降取得された全ての視線画像、物品情報、生体情報（以下、第２情報と呼ぶ）をサーバ４０に送信する。すなわち、制御部２６は、第２通信部２５を介して、ユーザが買い物をしている間に得られた視線画像、ユーザが手にした物品の物品情報、及びユーザが買い物をしている間に得られた感情の変化情報をサーバ４０に送信する。なお、制御部２６は、ユーザが買い物をしている間に装着装置１０のマイク１４を用いて取得された音声データをサーバ４０に送信することとしてもよい。なお、制御部２６から送信される各情報には、情報の取得時刻（カレンダ部２２から得られる）がタイムスタンプとして付与されるものとする。また、第２情報は、カゴＩＤが付加された状態でサーバ４０に送信される。すなわち、サーバ４０では、第２情報をカゴＩＤを用いて管理する。その後は、制御部２６は、図５の全処理を終了する。

【0070】

以上のように、制御部２６が図５の処理を実行することで、ユーザが買い物をしている間に感情の変化があったタイミングで、カゴ装置２０からサーバ４０に対して第１情報が送信され、ユーザが買い物を終了したタイミングで、カゴ装置２０からサーバ４０に対して第２情報が送信されるようになっている。

【0071】

（サーバ４０の処理）
図６には、サーバ４０の処理がフローチャートにて示されている。

【0072】

図６の処理では、サーバ４０の制御部４６は、ステップＳ５０において、カゴ装置２０からの入力があるまで待機する。すなわち、制御部４６は、カゴ装置２０において図５のステップＳ４２又はＳ４６が実行されることにより、第１情報又は第２情報が送信されてきた段階で、ステップＳ５２に移行する。

【0073】

ステップＳ５２に移行すると、制御部４６は、入力された情報が第１情報であるか否かを判断する。すなわち、制御部４６は、ユーザに感情の変化があった直前にカゴ装置２０で取得された視線情報や物品情報が入力されたか否かを判断する。ここでの判断が肯定された場合には、ステップＳ５４に移行する。

【0074】

ステップＳ５４に移行すると、制御部４６は、第１情報に基づく感情分析を実行する。具体的には、制御部４６は、感情が変化した直前に取得された視線画像をＯＣＲ部４３や画像認識部４４を用いて分析した結果や、感情が変化した直前に取得された物品情報を分析した結果に基づいて、ユーザの感情分析（満足か、不満かの分析）を行う。

【0075】

例えば、制御部４６は、視線画像が図７（ａ）の画像であった場合には、ＯＣＲ部４３を用いることで「朝市 タイムサービス 表示価格より２０％引き」という文字を検出することができる。この場合、タイムサービス、２０％引きといった、買い物客にとってポジティブな単語が含まれているため、制御部４６は、ユーザが喜んで満足な状態（ポジティブな状態）であると分析する。なお、買い物客にとってポジティブな単語は、記憶部４１に記憶されているものとする。

【0076】

また、制御部４６は、視線画像が図７（ｂ）の画像であった場合には、ＯＣＲ部４３を用いることで、「申し訳ございません。現在入荷待ちです。次回入荷時期は未定です。」という文字を検出することができる。この場合、申し訳ございません、入荷待ち、未定といった、買い物客にとってネガティブな単語が含まれているため、制御部４６は、ユーザが哀しんで不満足な状態（ネガティブな状態）であると分析する。なお、買い物客にとってネガティブな単語は、記憶部４１に記憶されているものとする。

【0077】

また、制御部４６は、視線画像が図８の画像であった場合には、画像認識部４４を用いることで、レジが混雑していることや、レジ待ちしている人が不満顔である（笑顔でない）ということを検出することができる。この場合、制御部４６は、ユーザが哀しんで不満足な状態（ネガティブな状態）であると判断する。

【0078】

また、制御部４６は、視線画像に従業員の顔の画像が含まれる場合には、従業員に起因してユーザの感情が変化したと判断する。この場合、制御部４６は、画像認識部４４を用いることで、従業員の顔が笑顔か否かを認識する。なお、画像認識部４４は、視線画像に含まれる顔の画像が従業員の顔の画像であるか否か、笑顔であるか否かを、記憶部４１に記憶されている従業員の顔画像データを用いて判断する。そして、制御部４６は、従業員が笑顔でない場合には、ユーザが哀しんでいる又は怒っている不満足な状態（ネガティブな状態）であると判断し、従業員が笑顔の場合には、満足な状態（ポジティブな状態）であると判断する。

【0079】

更に、制御部４６は、視線画像において物品を手に持っている状態が撮像されていた場合には、物品を見たこと、触れたことによって感情に変化が生じたと判断する。なお、制御部４６は、例えば、カゴ装置２０が取得した物品情報を併用することで、ユーザが喜んでいるのか哀しんでいるのかを判断することができる場合もある。例えば、物品情報に、数量限定などの情報が含まれている場合には、ユーザが喜んでいると判断することができる。また、物品情報から、賞味期限切れであることが判明した場合には、ユーザが哀しんでいると判断することができる。

【0080】

図６に戻り、次のステップＳ５６では、制御部４６が、感情分析結果に基づいて、対応が必要か否かを判断する。具体的には、制御部４６は、ユーザが哀しんでいたり怒っているなど不満足な状態の場合（ネガティブな状態にある場合）に、対応が必要であると判断する。ステップＳ５６の判断が否定された場合には、ステップＳ５０に戻る。一方、ステップＳ５６の判断が肯定された場合には、ステップＳ５８に移行する。

【0081】

ステップＳ５８に移行すると、制御部４６は、感情分析結果に基づく対応処理を実行する。例えば、制御部４６は、視線画像が図４（ｂ）の場合には、記憶部４１に記憶されているお詫びのメッセージや次回入荷予定などの各種メッセージを、通信部４２を介して、カゴ装置２０に送信する。そして、カゴ装置２０の制御部２６は、第１通信部２４を介して、各種メッセージを装着装置１０に送信する。この場合、装着装置１０では、制御部１７は、表示部１２を用いて、各種メッセージを表示（投影）する。

【0082】

また、例えば、視線画像が図８の場合には、制御部４６は、レジが混雑していることに対するお詫びのメッセージを、カゴ装置２０を介して装着装置１０の制御部１７に送信する。この場合、制御部１７は、表示部１２にお詫びのメッセージを表示（投影）する。なお、制御部４６は、店内放送を利用して、レジの混雑に対するお詫びのメッセージを出力してもよい。また、制御部４６は、店内放送を利用して、レジ打ちを行う従業員を補充すべき旨のメッセージ（レジ応援のメッセージ）を出力するようにしてもよい。あるいは、制御部４６は、従業員が保持する端末に対して、レジ応援のメッセージを出力するようにしてもよい。また、制御部４６は、レジが混雑している状況を見たユーザに対して、レジの進み具合（客１人当たりの処理時間）やレジを担当する店員の熟練度（見習いか、ベテランか）を報知することとしてもよい。

【0083】

また、例えば、視線画像から、従業員の対応に問題があると判断された場合には、制御部４６は、他の従業員や店長などが保持する端末に対して、客と従業員とのトラブルが発生した旨のメッセージを出力する。なお、カゴ装置２０に無線ＬＡＮ基地局との通信感度に応じて位置を検出することが可能な位置検出装置を設けておけば、制御部４６は、位置検出装置の検出結果に基づいて、トラブル発生位置を他の従業員や店長などに知らせることができる。

【0084】

更に、例えば、視線画像から、客が物品に対して哀しんでいる又は怒っていると判断された場合には、制御部４６は、店内放送や従業員が保持する端末を利用して、従業員が直接対応すべき旨のメッセージを出力してもよい。この場合にも、制御部４６は、従業員に客の位置を知らせるようにしてもよい。

【0085】

なお、第１情報には、感情変化の直前にマイク１４が収集した音声データが含まれていてもよい。制御部４６は、音声データの分析により、音声データにユーザの怒声やため息、従業員の謝罪の言葉が含まれていた場合には、ユーザが怒っていたり、不満足な状態にある（ネガティブな状態にある）と判断することができる。

【0086】

なお、上述した対応処理のパターンは、予め定められているものとし、当該パターンは、記憶部４１に記憶されているものとする。

【0087】

上記のようにしてステップＳ５８の処理が終了した後は、ステップＳ５０に戻る。

【0088】

一方、ステップＳ５２の判断が否定された場合、すなわち、カゴ装置２０から入力された情報が第２情報であった場合には、ステップＳ６０に移行する。

【0089】

ステップＳ６０に移行すると、制御部４６は、第２情報に基づく、購入行動分析を実行する。この場合、制御部４６は、ユーザが買い物の途中で、何を見て、何を手にとり、何を購入したかということを分析する。換言すれば、ユーザがどの商品を見なかったり、手に取らなかったかということを分析しているともいえる。

【0090】

図９には、あるユーザが入店してからレジを通るまでの間に、手に取った物品の順が示されている。また、図９では、ユーザが購入した物品に下線を付している。なお、制御部４６は、ユーザが購入した物品の情報として、レジ端末から取得した購入情報を利用することができる。

【0091】

図９において、ユーザは、カレールーＡとカレールーＢとを手に取っているものの、最終的にはカレールーＡを購入している。この場合、制御部４６は、カレールーＡを手に取った際の視線画像と、カレールーＢを手に取った際の視線画像とを参照することで、何を判断基準として、カレールーＡを購入したかを分析する。例えばユーザが注視している領域（視線画像の所定位置（ほぼ中心））に値段の情報が長時間含まれていた場合には、値段に基づいてカレールーＡを購入したと判断する。また、ユーザが注視している領域に、辛さの表示や、パッケージの写真、成分表示や、賞味期限が長時間含まれていた場合には、それらの情報に基づいて、カレールーＡを購入したと判断する。なお、制御部４６は、ユーザが注視している領域に、値段や辛さの表示、成分や賞味期限などが含まれているか否かを、ＯＣＲ部４３を用いて抽出するものとする。

【0092】

なお、牛肉Ａ，Ｂについても同様に、購入の際の判断基準を判断するようにすればよい。例えば、制御部４６は、ユーザが注視している領域に、内容量の表示や、部位の表示、１００ｇ当たりの値段などが長時間含まれていた場合には、それらの情報に基づいて、牛肉Ｂを購入したと判断する。

【0093】

また、制御部４６は、複数のユーザにおいて取得されたデータを参照することで、ある商品を購入したユーザが比較検討をした別の商品が何であるかを集計したり、比較検討した結果購入した商品の決め手が何であったかを集計したりすることができる。なお、購入の際の判断基準の分析結果は、各商品の製造元や生産者に提供することとしてもよい。製造元や生産者は、この分析結果を今後の商品開発や商品の改善に役立てることが可能である。

【0094】

また、制御部４６は、図９のデータを参照することで、客が物品を手に取った順番を集計することができる。この場合、制御部４６は、集計結果を利用することで、客の店舗内における動きの傾向を分析することができる。これにより、制御部４６は、客の動きに基づく、物品や棚の適切な配置を求めることができる。

【0095】

更に、制御部４６は、入店から退店までの間にユーザがポジティブな状態になった回数や位置、ネガティブな状態になった回数や位置を集計することで、客の満足度や不満度を位置ごと（売り場ごと）に分析することができる。

【0096】

また、制御部４６は、客がネガティブな状態からポジティブな状態に変化した場合の視線画像を分析することとしてもよい。制御部４６は、視線画像を分析した結果、ネガティブな状態からポジティブな状態に変化する間の視線画像に従業員の顔が含まれていた場合には、当該従業員の対応によりトラブルが解消したと分析することができる。また、ネガティブな状態からポジティブな状態に変化する間に装着装置１０や店内放送を用いた対応処理を行っていた場合には、対応処理が適切であったと分析することができる。

【0097】

以上、詳細に説明したように、本第１の実施形態によると、サーバ４０の制御部４６及び通信部４２は、ユーザの購買に関する動作情報として視線画像や物品情報を入力し、ユーザの購買に関する感情情報として生体センサ２１の検出結果を入力する。これにより、制御部４６は、視線画像や物品情報、生体センサ２１の検出結果に基づいた購買に関する分析を行い、購買に関する有用な情報を取得・提供することが可能となる。したがって、ユーザによる使い勝手を向上することができる。この場合、ユーザの側から撮像した視線画像を用いることで、店舗の棚側から撮像した画像を用いる場合と比較して、ユーザが実際に見ている状況、すなわち、視線の先にある物品や表示、状況等を考慮した分析が可能となる。

【0098】

ここで、従来は、装着装置１０のような撮像部１１が搭載された装置を装着したユーザが店舗内に入店してきた場合、店舗内の様子や商品が勝手に撮像されてしまうため、店舗側にとってメリットがあるとはいえなかった。これに対し、本第１の実施形態では、ユーザが装着装置１０を装着して店舗に入るのを許容する代わりに、店舗側は、撮像部１１が撮像した画像データをカゴ装置２０を介してもらうこととしている。これにより、店舗は、画像データを分析することで、ユーザの商品購入までの行動や感情を分析することが可能である。

【0099】

また、従来は、ショッピングの満足度などをユーザに対するアンケートにより収集することとしていたが、ユーザにとっては店舗のＷｅｂサイトにアクセスして、質問に回答したり、紙に回答を筆記したりする必要があり煩わしいものであった。これに対し、本第１の実施形態では、装着装置１０で取得された画像データとユーザの生体情報とを紐付けて店舗側に提供することにより、ユーザが無意識のうちに、ユーザの満足度や不満度を店舗側に伝達することが可能である。

【0100】

また、本第１の実施形態では、視線画像や物品情報、生体センサ２１の検出結果に基づいて、ユーザへのメッセージや従業員へのメッセージを出力する。これにより、不満足に感じたユーザに対して即時対応を行うことが可能となる。

【0101】

また、本第１の実施形態では、制御部４６は、視線画像や物品情報からユーザが物品を保持したことを判断する。これにより、制御部４６は、ユーザが物品を保持したという情報や保持した順番等を分析することで、購買に関する有用な情報を取得・提供することが可能となる。

【0102】

また、本第１の実施形態では、制御部４６は、生体センサ２１の検出結果を利用するため、ユーザに感情の変化が生じたか否かを簡易に判断することが可能である。また、生体センサ２１の検出結果とあわせてユーザの視線画像を分析することで、ユーザの感情がポジティブになったのか、ネガティブになったのかを精度よく判断することができる。

【0103】

また、本第１の実施形態では、装着装置１０が、視線画像を撮像し、撮像した視線画像を人体通信を介してユーザに接触しているカゴ装置２０に対して送信する。これにより、カゴ装置２０は、カゴ１２０を保持しているユーザの視線画像のみを取得することが可能である。すなわち、店舗に入店したユーザの装着装置１０から視線画像を確実に取得し、店舗に入店していない人（例えば店舗付近を通りがかった人）の装着装置１０から視線画像を取得してしまうのを確実に防止することができる。

【0104】

また、本第１の実施形態では、生体センサ２１の検出結果に変化があったとき、すなわち、ユーザの感情の変化があったときに、サーバ４０に対して第１情報が送信される（Ｓ４２）。これにより、分析が必要な情報を適切なタイミングでサーバ４０に送信することができる。

【0105】

なお、上記第１の実施形態では、生体センサ２１をカゴ装置２０が備える場合について説明したが、これに限らず、生体センサを装着装置１０が備えていてもよい。この場合、装着装置１０のフレームの一部やフレーム近傍に顔の一部と接触する生体センサを設けることとすればよい。また、装着装置１０に耳たぶに装着可能な生体センサを接続するようにしてもよい。

【0106】

また、上記第１の実施形態では、物品装置３０を物品１３０に設ける場合について説明した。しかしながら、これに限られるものではなく、ステップＳ５４の感情分析やステップＳ６０の購入行動分析において物品情報が不要な場合には、物品装置３０は必ずしも物品１３０に設けなくてもよい。例えば、視線画像において、物品を手に持っている状態が撮像されていた場合に、画像認識を行うことで、手に持っている物品を特定できる場合などである。

【0107】

なお、上記第１の実施形態では、物品装置３０がカゴ装置２０との間で人体通信を行う場合について説明したが、これに限らず、物品装置３０は、装着装置１０との間で人体通信を行うこととしてもよい。この場合、装着装置１０とカゴ装置２０との間で人体通信が成立した状態で、装着装置１０が取得した物品情報を装着装置１０からカゴ装置２０に対して送信するようにすればよい。

【0108】

なお、上記第１の実施形態では、生体センサ２１の検出結果を利用する場合について説明したが、これに限られるものではなく、生体センサ２１の検出結果を利用しないこととしてもよい。この場合、制御部４６は、例えば、視線画像に基づいて、ユーザが所定時間の間、図７（ａ）のマークを凝視していると判断した場合に、ユーザがポジティブな状態にあると推定することとしてもよい。また、制御部４６は、例えば、視線画像に基づいて、ユーザが図７（ｂ）の張り紙や図７（ｃ）のレジ待ち状態を所定時間凝視していると判断した場合に、ユーザがネガティブな状態にあると推定することとしてもよい。この場合、制御部４６は、ユーザが見ることでポジティブ又はネガティブな状態になると予測されるマークや張り紙、状況の画像パターンを予め記憶しておき、該画像パターンと視線画像との比較を行うこととすればよい。

【0109】

なお、上記第１の実施形態では、視線画像の所定位置を視線の中心位置とみなす場合について説明したが、これに限られるものではない。例えば、赤外線照射部と、赤外線受光部と、を有し、赤外線照射部から眼球に対して赤外線を照射し、眼球にて反射した赤外線を赤外線受光部において受光することで視線方向を検出する視線検出部を装着装置１０に別途設けることとしてもよい。

【0110】

なお、サーバ４０は、複数の店舗における客の満足度や不満足度などを集計して、１つのＷｅｂサイトにおいて各店舗のユーザ評価として公表することとしてもよい。この場合、例えば、各店舗の評価を星の数や満足度の点数などで公表することができる。

【0111】

《第２の実施形態》
次に、第２の実施形態に係る電子機器システム１００’について、図１０～図１４に基づいて、詳細に説明する。

【0112】

図１０には、電子機器システム１００’の構成がブロック図にて示されている。図１０では、電子機器システム１００’のうち、第１の実施形態の電子機器システム１００と異なる構成を太線枠にて示している。

【0113】

図１０に示すように、電子機器システム１００’においては、装着装置１０’がスピーカ１８を備え、カゴ装置２０’が重量センサ２７を備え、物品装置３０’が発光部３４を備えている。なお、サーバ４０’の構成は、第１の実施形態のサーバ４０と同様である。

【0114】

スピーカ１８は、装着装置１０’を装着するユーザに音声情報を提供するために用いられる。スピーカ１８としては、イヤホンやヘッドホンのほか、指向性があり、装着装置１０’を装着するユーザにのみ音声情報を提供することが可能なスピーカなどを採用することができる。なお、装着装置１０’の記憶部１５には、後述する物品装置３０’の発光部３４の発光パターンに対応する物品情報を格納しているものとする。

【0115】

重量センサ２７は、カゴ装置２０’の一部に設けられ、カゴ１２０の内容量の変化を検出するためのセンサである。

【0116】

発光部３４は、ＬＥＤ（Light Emitting Diode）等の発光素子を含み、物品ごとに予め定められた発光パターンで、発光を行う。なお、発光部３４の発光は、制御部３３により制御される。装着装置１０’の制御部１７は、撮像部１１による動画撮影において、画角の所定範囲内で発光パターンを撮像した場合に、ユーザがその発光パターンに対応する物品を見たと推定する。なお、発光部３４による発光のオン・オフ切り替えタイミング（発光パターンの点滅間隔）は、撮像部１１のフレームレートに合わせて設定されているものとする。なお、発光部３４として可視光ＬＥＤを用いても赤外線ＬＥＤを用いてもよく、赤外線ＬＥＤを用いる場合には、撮像部１１に赤外線撮像素子を用いればよい。

【0117】

次に、本第２の実施形態における電子機器システム１００’の処理について、図１１～図１３のフローチャートに沿って、その他図面を適宜参照しつつ詳細に説明する。なお、本第２の実施形態においても、電子機器システム１００’が、スーパーマーケットで利用される場合について説明する。

【0118】

（装着装置１０’の処理）
図１１（ａ）には、装着装置１０’の処理がフローチャートにて示されている。なお、図１１（ａ）においては、第１の実施形態の装着装置１０の処理（図４（ａ））と異なるステップを太線枠にて示している。

【0119】

図１１（ａ）の処理では、装着装置１０’の制御部１７は、ステップＳ１０において、カゴ装置２０’との人体通信が成立するまで待機する。カゴ装置２０’との人体通信が成立すると、制御部１７は、ステップＳ１１０に移行する。

【0120】

ステップＳ１１０に移行すると、制御部１７は、撮像部１１に指示を出し、ユーザ側からの撮像（動画）を実行する。

【0121】

次いで、ステップＳ１１２では、制御部１７は、画角の所定範囲内において発光部３４の発光を撮像したか否かを判断する。すなわち、ユーザが物品装置３０’が設けられている物品を見たか否かを判断する。このステップＳ１１２における判断が否定された場合には、ステップＳ１１６に移行するが、ステップＳ１１２の判断が肯定された場合には、ステップＳ１１４に移行する。

【0122】

ステップＳ１１４に移行すると、制御部１７は、ユーザが見た物品情報をカゴ装置２０’に送信する。具体的には、制御部１７は、撮像部１１の画角の所定範囲内において検出された発光パターンに対応する物品情報を記憶部１５から取得し、通信部１６を介してカゴ装置２０’の第１通信部２４に対して送信する。

【0123】

ステップＳ１１２の判断が否定された後、あるいはステップＳ１１４の処理が行われた後、ステップＳ１１６に移行すると、制御部１７は、カゴ装置２０’から情報を受信したか否かを判断する。なお、カゴ装置２０’から受信する情報とは、サーバ４０’から送信されてくる物品や店舗のサービスに関する情報である。ここでの判断が否定された場合には、ステップＳ１６に移行するが、肯定された場合には、ステップＳ１１８に移行する。

【0124】

ステップＳ１１８に移行すると、制御部１７は、カゴ装置２０’から受信した情報を出力する。なお、本ステップＳ１１８の処理の詳細については、後述する。

【0125】

ステップＳ１１６の判断が否定された後、あるいはステップＳ１１８の処理が行われた後、ステップＳ１６に移行すると、制御部１７は、レジ端末から入力のあったカゴ装置２０’との人体通信が成立したか否かを判断する。ここで、レジ端末からの入力とは、ユーザが買い物を終了し、レジにカゴ１２０を持っていった場合に、カゴ装置２０’とレジ端末との間の通信により、レジ端末からカゴ装置２０’に対して送信される、買い物終了情報の入力を意味する。すなわち、レジ端末からの入力があったカゴ装置２０’と装着装置１０’との人体通信が成立した場合、ユーザの買い物が終了したことを意味する。したがって、買い物が終了しておらず、ステップＳ１６の判断が否定された場合には、ステップＳ１１２に戻り、ステップＳ１１２～Ｓ１６の処理・判断を繰り返す。一方、ユーザの買い物が終了し、ステップＳ１６の判断が肯定された場合には、図１１（ａ）の全処理が終了する。

【0126】

（物品装置３０’の処理）
図１１（ｂ）には、物品装置３０’の処理がフローチャートにて示されている。なお、図１１（ｂ）においては、第１の実施形態の物品装置３０の処理（図４（ｂ））と異なるステップを太線枠にて示している。

【0127】

図１１（ｂ）に示すように、物品装置３０’では、ステップＳ１２０において、制御部３３が、発光部３４を用いた発光を行う。この場合、制御部３３は、物品装置３０’が設けられる物品に対応する発光パターンで、発光部３４を発光させる。その他の処理は、図４（ｂ）と同様である。

【0128】

（カゴ装置２０’の処理）
図１２には、カゴ装置２０’の処理がフローチャートにて示されている。図１２の処理では、ステップＳ１３０において、制御部２６は、装着装置１０’との人体通信が成立するまで待機する。装着装置１０’との人体通信が成立して、ステップＳ１３２に移行すると、制御部２６は、装着装置１０’から物品情報を受信したか否かを判断する。

【0129】

ステップＳ１３２の判断が肯定された場合には、ステップＳ１３４に移行し、制御部２６は、装着装置１０’から受信した物品情報を、見た物品の物品情報としてサーバ４０’に送信し、ステップＳ１３６に移行する。一方、ステップＳ１３２の判断が否定された場合には、ステップＳ１３４を経ずにステップＳ１３６に移行する。

【0130】

ステップＳ１３６に移行すると、制御部２６は、物品装置３０’から物品情報を受信したか否かを判断する。ステップＳ１３６の判断が肯定された場合には、ステップＳ１３８に移行し、制御部２６は、物品装置３０’から受信した物品情報を、触れた物品の物品情報としてサーバ４０’に送信し、ステップＳ１４０に移行する。一方、ステップＳ１３６の判断が否定された場合には、ステップＳ１３８を経ずにステップＳ１４０に移行する。

【0131】

ステップＳ１４０に移行すると、制御部２６は、重量センサ２７の検出値が変化したか否かを判断する。ここで、重量センサ２７の検出値が変化した場合とは、物品がカゴ１２０内に新たに入れられたことを意味する。なお、カゴ１２０内の物品が取り出された場合も重量センサ２７の検出値は変化するが、ここでは、説明の便宜上、カゴ１２０内から物品は取り出されないものとして説明する。ステップＳ１４０の判断が肯定された場合には、ステップＳ１４２に移行し、制御部２６は、直前に触れていた物品の物品情報を、カゴに入れた物品の物品情報、すなわちユーザが購入予定の商品の情報としてサーバ４０’に送信する。一方、ステップＳ１４０の判断が否定された場合には、ステップＳ１４２を経ずにステップＳ１４４に移行する。

【0132】

ステップＳ１４４に移行すると、制御部２６は、サーバ４０’から情報を受信したか否かを判断する。なお、サーバ４０’から受信する情報とは、物品や店舗のサービスに関する情報である。このステップＳ１４４の判断が肯定された場合には、ステップＳ１４６に移行し、制御部２６は、サーバ４０’から受信した情報を装着装置１０’に送信し、ステップＳ１４８に移行する。一方、ステップＳ１４４の判断が否定された場合には、ステップＳ１４６を経ずに、ステップＳ１４８に移行する。

【0133】

ステップＳ１４８に移行すると、制御部２６は、レジ端末から入力があったか否かを判断する。ここで、レジ端末からの入力とは、前述したように、買い物終了情報の入力を意味する。

【0134】

ステップＳ１４８の判断が否定された場合には、ステップＳ１３２に移行し、ステップＳ１３２～Ｓ１４８の処理・判断を繰り返すが、ステップＳ１４８の判断が肯定された場合には、制御部２６は、図１２の全処理を終了する。

【0135】

（サーバ４０’の処理）
図１３には、サーバ４０’の処理がフローチャートにて示されている。

【0136】

図１３の処理では、ステップＳ１５０において、制御部４６は、カゴ装置２０’から物品情報を受信するまで待機する。すなわち、ユーザが見た物品の物品情報、ユーザが触れた物品の物品情報、カゴ１２０に入れた物品の物品情報のいずれかが入力された段階で、制御部４６は、ステップＳ１５２に移行する。

【0137】

ステップＳ１５２に移行すると、制御部４６は、記憶部４１に格納されている買い物ＤＢを更新する。ここで、買い物ＤＢは、図１４（ａ）に示すようなデータ構造を有している。図１４（ａ）に示すように、物品名、見た、手に触れた、カゴに入れた、の各欄を有する。制御部４６は、ユーザが見た物品の物品情報を受信した場合、当該物品の見たの欄に○を格納し、ユーザが触れた物品の物品情報を受信した場合、当該物品の触れたの欄に○を格納し、ユーザがカゴに入れた物品の物品情報を受信した場合、当該物品のカゴに入れたの欄に○を格納する。

【0138】

次いで、ステップＳ１５４では、制御部４６は、買い物ＤＢを分析する。例えば、制御部４６は、図１４（ａ）の買い物ＤＢを参照して、牛肉Ａを手に持ってから所定時間経過したような場合（新たな物品情報を所定時間受信しないような場合）には、牛肉Ａと比較対照となり得る物品（例えば、牛肉Ｂ）の情報をユーザが必要としている可能性があると分析することができる。また、制御部４６は、例えば、カゴに入れた物品から、ユーザがカレーを作ることを推定できるため、カレーを作る際に必要な牛肉の量（４皿分ならＸｇ、８皿分ならＹｇなど）の情報をユーザが必要としている可能性があると分析することができる。また、制御部４６は、カレーの付け合せ（福神漬けやロースカツ、デザートなど）のお買い得情報や、店舗のキャンペーン情報（あとＺ円買えば、クジが引けるなど）の情報をユーザが必要としている可能性があると分析することができる。

【0139】

次いで、ステップＳ１５６では、制御部４６は、ステップＳ１５４の分析の結果、ユーザに通知する情報が存在するか否かを判断する。ここでの判断が否定された場合には、ステップＳ１５０に戻るが、肯定された場合には、ステップＳ１５８に移行する。なお、同一の物品にユーザが複数回触れた場合や、以前触れた物品と類似する物品にユーザが触れた場合などにおいては、過去に通知した情報と同一の情報が、ユーザに通知する情報と判断される場合もある。したがって、制御部４６は、過去に通知した情報と同一の情報については、ユーザに通知すべき情報ではないとして、通知を制限してもよい。すなわち、制御部４６は、同一の物品に複数回触れた場合又は複数回見た場合、あるいは以前触れた又は見た物品と類似する物品に触れた又は見た場合に、通知される情報を制限することとしてもよい。このようにすることで、同一のユーザに同一の情報が繰り返し通知されるのを防止することができる。

【0140】

なお、制御部４６は、同じ物品に触れた回数や同じ物品を見た回数に応じて、通知すべき情報を変更することとしてもよい。例えば、制御部４６は、１回目には物品そのものの情報、２回目にはその物品の比較対照となる物品の情報、３回目には物品に関連するお得情報、を通知すべき情報とすることとしてもよい。このようにすることで、物品の購入に迷っている客が当該物品を購入する可能性を向上することが可能となる。これに代えて、ユーザが同一の物品に触れた時間に応じて、２回目以降はユーザに通知していない情報からユーザに通知するようにしてもよい。

【0141】

ステップＳ１５６の判断が肯定された場合、制御部４６は、ステップＳ１５８に移行し、ユーザに通知する情報をカゴ装置２０’に送信する。なお、ステップＳ１５８の処理が行われた場合、図１２の処理では、ステップＳ１４４の判断が肯定され、ステップＳ１４６の処理（サーバから受信した情報を装着装置１０’に送信する処理）が実行される。また、図１２においてステップＳ１４６の処理が実行された場合、図１１（ａ）のステップＳ１１６の判断が肯定され、ステップＳ１１８の処理（受信した情報を出力する処理）が実行される。ステップＳ１１８では、制御部１７は、表示部１２を用いて、ユーザに通知する情報を表示したり、スピーカ１８を用いて、ユーザに通知する情報を出力したりする。なお、ステップＳ１５８の後は、ステップＳ１５０に戻り、ステップＳ１５０～Ｓ１５８の処理を繰り返す。

【0142】

なお、制御部４６は、買い物が終了したユーザの買い物ＤＢ（例えば、図１４（ｂ））に基づいて、各種分析を行うこととしてもよい。この場合、制御部４６は、例えば、図１４（ｂ）に基づいて、カレールーＡとカレールーＢ、及び牛肉Ａと牛肉Ｂが比較され、カレールーＢ、牛肉Ｂが購入されたことを分析することができる。また、制御部４６は、店内を歩く順番、購入の順番などを分析することもできる。また、制御部４６は、商品を見ただけで購入しなかった物品、手に取ったけど購入しなかった物品を特定し、分析することができる。制御部４６は、分析結果を商品の製造元、販売元等に提供することとしてもよい。

【0143】

以上、詳細に説明したように、本第２の実施形態によると、制御部４６は、物品をユーザが手にしたこと、及び物品がユーザの視野内の所定範囲に入ったことの少なくとも一方に応じて、物品の物品情報を入力し（Ｓ１５０：肯定）、入力した物品情報に関する通知を行う（Ｓ１５８）。したがって、本第２の実施形態では、ユーザが手に触れた物品やユーザが見た物品に関連した有用な情報を、ユーザに対して報知することができる。これにより、ユーザの使い勝手を向上することができる。

【0144】

また、本第２の実施形態では、制御部４６は、物品情報としてカゴ１２０内に入れられたユーザが購入予定の商品の情報を入力し、入力した商品に応じた通知を行う。これにより、ユーザが購入予定の商品に関連した有用な情報を、ユーザに対して報知することができる。また、制御部４６は、買い物時に使用されるカゴ装置２０’から購入予定の商品の情報を入力するので、購入予定の商品の情報として正確な情報を入力することができる。

【0145】

また、本第２の実施形態では、ユーザへの情報の通知を装着装置１０’の表示部１２や指向性のあるスピーカ１８から行うので、他のユーザに知られることなく、ユーザごとにユーザの購買行動に応じた通知を行うことができる。

【0146】

なお、上記第２の実施形態では、制御部４６は、ユーザがある物品を手に持ちながら、別の物品を見ている場合に、両商品を比較検討していると判断してもよい。

【0147】

なお、上記第２の実施形態では、スーパーマーケットにおいて電子機器システム１００’を利用する例について説明したが、これに限らず、衣料品店等において電子機器システム１００’を利用することとしてもよい。例えば、制御部４６は、ユーザが服を手に取ったときに、色違い、サイズ違いなどの在庫の有無の情報、類似商品でセール中の商品があるか否かの情報、あと１着買うと値引き、あと２０００円以上買うと値引きなどの値引き情報等を表示部１２やスピーカ１８を用いて報知することにより、他のユーザに知られることなく、特定のユーザ（店舗の会員などのお得意様）だけに通知することができる。また、サーバ４０’は、店舗の会員のユーザが誕生日に来店した際に、装着装置１０’に値引き情報、プレゼント情報、お祝いのメッセージを送信するようにしてもよい。

【0148】

なお、上記第２の実施形態では、制御部１７は、装着装置１０’において取得された物品情報をカゴ装置２０’を経由してサーバ４０’に送信する場合について説明したが、これに限られるものではない。例えば、装着装置１０’が無線通信可能な通信部を有している場合には、無線通信により、装着装置１０’からサーバ４０’に情報を送信するようにしてもよい。

【0149】

なお、上記第２の実施形態では、物品装置３０’が発光部３４を有する場合について説明したが、これに限らず、物品装置３０’は発光部３４を有していなくてもよい。この場合、制御部１７は、撮像部１１が撮像した画像を解析することで、ユーザが見た物品を特定するようにすればよい。例えば、制御部１７は、表示に含まれる文字（例えば商品タグやＰＯＰ広告の文字）を認識して、ユーザが見た物品を特定することとしてもよい。

【0150】

なお、上記第１、第２の実施形態においては、制御部４６は、情報を分析する際に、ユーザの種別を考慮することとしてもよい。ユーザの種別は店舗の会員であれば、登録されている情報（名前、生年月日、住所、買物履歴）から把握できる。この場合、ユーザの性別や年代ごとに、ユーザの購買行動を分析することとしてもよい。

【0151】

上述した各実施形態は本発明の好適な実施の例であり、適宜組み合わせることができる。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

【符号の説明】

【0152】

１０ 装着装置
１１ 撮像部
１２ 表示部
１６ 通信部
１７ 制御部
１８ スピーカ
２０ カゴ装置
４２ 通信部
４６ 制御部
１１０ フレーム
１２０ カゴ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】