特許 6853152 情報処理装置、端末装置および情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6853152

(24)【登録日】2021年3月15日

(45)【発行日】2021年3月31日

(54)【発明の名称】情報処理装置、端末装置および情報処理システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20210322BHJP

   G06Q 30/06 20120101ALI20210322BHJP

   G09F 27/00 20060101ALI20210322BHJP

   G09F 19/00 20060101ALI20210322BHJP

   G06T 19/00 20110101ALI20210322BHJP

   G06T 7/20 20170101ALI20210322BHJP

   G06Q 30/02 20120101ALI20210322BHJP

【ＦＩ】

   G06F3/01 570

   G06Q30/06

   G09F27/00 G

   G09F19/00 Z

   G06T19/00 600

   G06T7/20 300A

   G06Q30/02 470

【請求項の数】6

【全頁数】16

(21)【出願番号】特願2017-185078(P2017-185078)

(22)【出願日】2017年9月26日

(65)【公開番号】特開2019-61455(P2019-61455A)

(43)【公開日】2019年4月18日

【審査請求日】2020年2月13日

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】110000752

【氏名又は名称】特許業務法人朝日特許事務所

(72)【発明者】

【氏名】中尾 直之

(72)【発明者】

【氏名】石田 邦臣

(72)【発明者】

【氏名】木村 美由紀

【審査官】 ▲高▼瀬 健太郎

(56)【参考文献】

【文献】 特開２０１７−０７６３３８（ＪＰ，Ａ）

【文献】 国際公開第２０１５／１５５８４１（ＷＯ，Ａ１）

【文献】 国際公開第２０１５／１０７６２５（ＷＯ，Ａ１）

【文献】 特開２０１２−０４８４５６（ＪＰ，Ａ）

【文献】 特開２０１６−１４８９６８（ＪＰ，Ａ）

【文献】 特開２０１４−２１５９７７（ＪＰ，Ａ）

【文献】 特開２０１０−０７９３９６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｑ ３０／０２

Ｇ０６Ｑ ３０／０６

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ １９／００

Ｇ０９Ｆ １９／００

Ｇ０９Ｆ ２７／００

(57)【特許請求の範囲】

【請求項1】

端末装置から現実空間の画像を受信する受信部と、
前記受信部が受信した画像内において予め定められた物体を認識する認識部と、
前記認識部が認識した物体に対するユーザの動作を、前記画像に基づいて特定する特定部と、
前記特定部が特定した動作が、前記ユーザが前記物体を手に持つ動作である場合、前記認識部が認識した物体に対応した情報であって、前記特定部が特定した動作の継続時間に応じて異なる情報を、前記端末装置へ送信する送信部と
を有する情報処理装置。

【請求項2】

前記予め定められた物体のうち、予め定められた条件を満たした物体を識別する情報を記憶する記憶部を有し、
前記送信部は、前記記憶部に記憶されている情報で特定される物体を前記認識部が認識した場合、前記情報を送信しない
請求項１に記載の情報処理装置。

【請求項3】

前記画像を送信する端末装置のユーザの属性を記憶する記憶部を有し、
前記送信部は、前記認識部が認識した物体と前記属性との関係に応じて、前記情報の送信を制御する
請求項１または２に記載の情報処理装置。

【請求項4】

前記物体は、商品であり、
前記情報は、前記認識部が認識した商品の広告または前記認識部が認識した商品に関連する商品の情報である
請求項１から請求項３のいずれか一項に記載の情報処理装置。

【請求項5】

撮像部と、
前記撮像部が生成した画像内において予め定められた物体を認識する認識部と、
前記認識部が認識した物体に対するユーザの動作を、前記画像に基づいて特定する特定部と、
前記特定部が特定した動作が、前記ユーザが前記物体を手に持つ動作である場合、ユーザの視界または前記撮像部が生成した現実空間の画像に重畳して表示する情報であって、前記特定部が特定した動作の継続時間に応じて異なる情報を取得する取得部と、
前記取得部が取得した情報を、ユーザの眼前に表示または前記撮像部が生成した現実空間の画像に重畳して表示する表示制御部と
を備える端末装置。

【請求項6】

撮像部と、
前記撮像部が生成した画像内において予め定められた物体を認識する認識部と、
前記認識部が認識した物体に対するユーザの動作を、前記画像に基づいて特定する特定部と、
前記特定部が特定した動作が、前記ユーザが前記物体を手に持つ動作である場合、前記認識部が認識した物体を表す第１情報を送信する第１送信部と、
前記第１情報への応答として送信される第２情報であって、前記特定部が特定した動作の継続時間に応じて異なる第２情報を取得する取得部と、
前記取得部が取得した前記第２情報を、ユーザの眼前に表示または前記撮像部が生成した現実空間の画像に重畳して表示する表示制御部と
を有する端末装置と、
前記第１情報を受信する受信部と、
前記受信部が受信した前記第１情報に対応した前記第２情報を前記端末装置へ送信する第２送信部と、
を有する情報処理装置と
を備える情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、端末装置および情報処理システムに関する。

【背景技術】

【0002】

拡張現実を表示する発明として、例えば特許文献１に開示された情報処理装置がある。この情報処理装置は、ポスターに設けられたマーカを撮影すると、ポスターに関する商品の情報やクーポンを表示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−１２７１４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、店頭で商品を見る場合、商品の情報を得たい場合がある。商品にマーカを付与すれば、マーカを撮影することにより商品の情報やクーポンを得ることができる。しかしながら、商品の各々にマーカを付与するのは手間がかかることとなる。画像処理により物体を認識し、認識したことに応じて情報を表示する構成も考えられるが、この場合、興味のない商品の情報についても表示してしまうこととなる。

【0005】

本発明は、ユーザが関心のある商品の情報を表示する技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、端末装置から現実空間の画像を受信する受信部と、前記受信部が受信した画像内において予め定められた物体を認識する認識部と、前記認識部が認識した物体に対するユーザの動作を、前記画像に基づいて特定する特定部と、前記特定部が特定した動作が予め定められた動作である場合、前記認識部が認識した物体に対応した情報を、前記端末装置へ送信する送信部とを有する情報処理装置を提供する。

【0007】

本発明においては、前記動作は、前記ユーザが前記物体を手に持つ動作であってもよい。

【0008】

また、本発明においては、前記送信部が送信する情報は、前記動作の継続時間に応じて異なる構成であってもよい。

【0009】

また、本発明においては、前記動作は、前記物体に対する前記ユーザの視点が変わる動作であってもよい。

【0010】

また、本発明においては、前記送信部が送信する情報は、前記動作に応じて異なる構成であってもよい。

【0011】

また、本発明においては、前記予め定められた物体のうち、予め定められた条件を満たした物体を識別する情報を記憶する記憶部を有し、前記送信部は、前記記憶部に記憶されている情報で特定される物体を前記認識部が認識した場合、前記情報を送信しない構成であってもよい。

【0012】

また、本発明においては、前記画像を送信する端末装置のユーザの属性を記憶する記憶部を有し、前記送信部は、前記認識部が認識した物体と前記属性との関係に応じて、前記情報の送信を制御する構成であってもよい。

【0013】

また、本発明においては、前記物体は、商品であり、前記情報は、前記認識部が認識した商品の広告または前記認識部が認識した商品に関連する商品の情報である構成であってもよい。

【0014】

また、本発明は、撮像部と、前記撮像部が生成した画像内において予め定められた物体を認識する認識部と、前記認識部が認識した物体に対するユーザの動作を、前記画像に基づいて特定する特定部と、前記特定部が特定した動作が予め定められた動作である場合、ユーザの視界または前記撮像部が生成した現実空間の画像に重畳して表示する情報を取得する取得部と、前記取得部が取得した情報を、ユーザの眼前に表示または前記撮像部が生成した現実空間の画像に重畳して表示する表示制御部とを備える端末装置を提供する。

【0015】

また、本発明は、撮像部と、前記撮像部が生成した画像内において予め定められた物体を認識する認識部と、前記認識部が認識した物体に対するユーザの動作を、前記画像に基づいて特定する特定部と、前記特定部が特定した動作が予め定められた動作である場合、前記認識部が認識した物体を表す第１情報を送信する第１送信部と、前記第１情報への応答として送信される第２情報を取得する取得部と、前記取得部が取得した前記第２情報を、ユーザの眼前に表示または前記撮像部が生成した現実空間の画像に重畳して表示する表示制御部とを有する端末装置と、前記第１情報を受信する受信部と、前記受信部が受信した前記第１情報に対応した第２情報を前記端末装置へ送信する第２送信部と、を有する情報処理装置とを備える情報処理システムを提供する。

【発明の効果】

【0016】

本発明によれば、ユーザが関心のある商品の情報を表示することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態に係る情報処理システム１を構成する装置を示した図。

【図2】端末装置１０のハードウェア構成を示したブロック図。

【図3】端末装置１０の機能ブロック図。

【図4】サーバ装置２０のハードウェア構成を示したブロック図。

【図5】店舗テーブルの一例を示した図。

【図6】商品情報テーブルの一例を示した図。

【図7】サーバ装置２０の機能ブロック図。

【図8】端末装置１０が行う処理の流れを示したフローチャート。

【図9】変形例に係る機能の構成を示した機能ブロック図。

【発明を実施するための形態】

【0018】

（全体構成）
図１は、本発明の一実施形態に係る情報処理システム１を構成する装置を示した図である。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。通信網２は、インターネット、固定電話網、移動体通信網などを含む。通信網２には、端末装置１０が有線または無線によって接続される。また、通信網２には、有線でサーバ装置２０が接続されている。

【0019】

本実施形態に係る端末装置１０は、所謂、ウェアラブル端末と呼ばれる眼鏡型のコンピュータ装置であり、本発明に係る端末装置の一例である。端末装置１０は、通信網２を介して音声通信および／またはデータ通信を行う。端末装置１０は、眼鏡型のコンピュータ装置に限定されるものではなく、スマートフォン、タブレット端末、フィーチャーフォンなどの携帯型の装置であってもよい。端末装置１０は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。サーバ装置２０は、通信網２を介して端末装置１０と通信を行い、端末装置１０からのアクセスに応じて端末装置１０へ情報を提供する。サーバ装置２０は、本発明に係る情報処理装置の一例である。本実施形態に係る情報処理システム１においては、端末装置１０は、店にある商品を撮影し、撮影した商品の情報をサーバ装置２０から取得して表示する。

【0020】

（端末装置１０の構成）
図２は、端末装置１０のハードウェア構成の一例を示した図である。操作部１０３は、端末装置１０を操作するための操作子を有する。端末装置１０は、操作された操作子に応じて動作する。通信部１０５は、有線および／または無線でコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信部１０５は、通信網２を介して音声通信とデータ通信を行う。音声処理部１０７は、マイクロフォンとスピーカを有している。音声処理部１０７は、端末装置１０同士が音声通話を行う場合、通話相手の音声に係るデジタル信号が通信部１０５から供給されると、供給されたデジタル信号をアナログ信号に変換する。このアナログ信号は、スピーカへ供給され、スピーカからは、通話相手の音声が放音される。また、音声処理部１０７は、マイクロフォンが音声を収音すると、収音した音声をデジタル信号に変換する。音声処理部１０７は、端末装置で音声通話を行う場合、ユーザの音声を変換したデジタル信号を通信部１０５へ供給する。このデジタル信号は、通信部１０５から通信網２へ送信され、通話相手の端末装置へ送信される。

【0021】

表示部１０４は、眼鏡型である端末装置１０が備えるレンズに画像を表示する。レンズに画像を表示することにより、端末装置１０を装着したユーザの視界には、表示部１０４が表示した画像が重畳して表示される。撮像部１０８は、撮像素子、撮像素子に像を結像する光学系、撮像素子へ入射する光を制限する絞りなどを備えている。撮像部１０８は、ユーザの視界を撮像範囲とし、撮像した範囲の画像を生成する。

【0022】

測位部１０９は、衛星測位システムを利用して端末装置１０の位置を測位する。測位部１０９は、人工衛星から送信される電波を取得し、取得した電波に基づいて端末装置の位置を表す位置情報を生成する。なお、測位部１０９は、所謂Ａ−ＧＰＳ（Assisted-GPS）やＤＧＰＳ（Differential GPS）の技術を用いて位置を測位するものであってもよい。

【0023】

記憶部１０２は、制御部１０１が実行するプログラムを記憶する。なお、プログラムは、電気通信回線を介してネットワークから取得してもよい。記憶部１０２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。記憶部１０２は、補助記憶装置と呼ばれてもよい。

【0024】

制御部１０１は、ＣＰＵ（Central Processing Unit）およびメモリを有している。端末装置１０において実現する機能は、記憶部１０２に記憶されているプログラム（ソフトウェア）をＣＰＵ、メモリなどのハードウェア上に読み込ませることでＣＰＵが演算を行い、端末装置１０の各部の制御、メモリおよび記憶部１０２におけるデータの読み出しおよび／または書き込みの制御を行うことで実現される。制御部１０１が行う後述の各種処理は、１つのＣＰＵでの実行に限定されるものではなく、２以上のＣＰＵにより同時または逐次に実行されてもよい。ＣＰＵは、１以上のチップで実装されてもよい。制御部１０１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ）で構成されてもよい。また、制御部１０１は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部または全てが実現されてもよい。

【0025】

メモリは、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリは、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリは、本発明の一実施形態に係る処理を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0026】

図３は、記憶部１０２に記憶されているプログラムを制御部１０１が実行することにより実現する機能のうち、本発明に係る機能の構成を示した機能ブロック図である。これらの機能ブロック（構成部）は、ハードウェアおよび／またはソフトウェアの任意の組み合わせによって実現されてもよい。また、各機能ブロックの実現手段は特に限定されない。即ち、各機能ブロックは、物理的および／または論理的に結合した１つの装置により実現されてもよいし、物理的および／または論理的に分離した２つ以上の装置を直接的および／または間接的に（例えば、有線および／または無線）で接続し、これら複数の装置により実現されてもよい。

【0027】

認識部１００１は、撮像部１０８が生成した画像を解析し、画像内にある予め定められた物体を認識する。特定部１００２は、認識部１００１が認識した物体に対するユーザの動作を特定する。送信部１００３（第１送信部）は、特定部１００２が特定した動作が予め定められた動作である場合、認識部１００１が認識した物体を表す情報（商品識別子）をサーバ装置２０へ送信する。取得部１００４は、送信部１００３が送信した情報への応答としてサーバ装置２０から送信された情報を取得する。表示制御部１００５は、取得部１００４が取得した情報が表示されるように表示部１０４を制御する。

【0028】

（サーバ装置２０の構成）
図４は、サーバ装置２０のハードウェア構成を示した図である。通信部２０５は、コンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信部２０５は、通信網２を介してデータ通信を行う。

【0029】

記憶部２０２は、制御部２０１が実行するプログラムを記憶している。なお、プログラムは、電気通信回線を介してネットワークから取得してもよい。記憶部２０２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。記憶部２０２は、補助記憶装置と呼ばれてもよい。

【0030】

また、記憶部２０２は、店舗テーブルと、商品情報テーブルとを記憶する。図５は、店舗テーブルの一例を示した図である。店舗テーブルは、複数の店毎に、店を識別する店舗識別子と、店の位置を表す位置情報とを対応付けて記憶する。図６は、商品情報テーブルの一例を示した図である。店舗識別子のフィールドには、店の識別子が格納される。商品識別子のフィールドには、店舗識別子のフィールドに格納された店舗識別子の店で販売されている商品を識別するための商品識別子が格納される。商品情報のフィールドには、商品識別子のフィールドに格納された商品識別子の商品の情報が格納される。例えば、店で販売されている野菜については、商品に係る情報として生産地の情報が格納される。なお、商品に係る情報は、生産地の情報に限定されるものではなく、生産者の情報または収穫日時の情報であってもよい。また、商品に係る情報は、例えば、生産地の情報、生産者の情報、収穫日時の情報の少なくとも一つを含む構成であってもよい。

【0031】

制御部２０１は、ＣＰＵ（Central Processing Unit）およびメモリを有している。サーバ装置２０において実現する機能は、記憶部２０２に記憶されているプログラム（ソフトウェア）をＣＰＵ、メモリなどのハードウェア上に読み込ませることでＣＰＵが演算を行い、記憶部２０２の制御、通信部２０５の制御、メモリおよび記憶部２０２におけるデータの読み出しおよび／または書き込みの制御を行うことで実現される。制御部２０１が行う後述の各種処理は、１つのＣＰＵでの実行に限定されるものではなく、２以上のＣＰＵにより同時または逐次に実行されてもよい。ＣＰＵは、１以上のチップで実装されてもよい。制御部２０１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。また、制御部２０１は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部または全てが実現されてもよい。

【0032】

メモリは、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリは、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリは、本発明の一実施形態に係る処理を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0033】

図７は、記憶部２０２に記憶されているプログラムを制御部２０１が実行することにより実現する機能のうち、本発明に係る機能の構成を示した機能ブロック図である。これらの機能ブロック（構成部）は、ハードウェアおよび／またはソフトウェアの任意の組み合わせによって実現されてもよい。また、各機能ブロックの実現手段は特に限定されない。即ち、各機能ブロックは、物理的および／または論理的に結合した１つの装置により実現されてもよいし、物理的および／または論理的に分離した２つ以上の装置を直接的および／または間接的に（例えば、有線および／または無線）で接続し、これら複数の装置により実現されてもよい。

【0034】

受信部２００１は、端末装置１０から送信された情報（商品識別子）を受信する。送信部２００２（第２送信部）は、受信部２００１が受信した情報に対応付けられている情報（商品情報）を商品情報テーブルから取得し、取得した情報を端末装置１０へ送信する。

【0035】

（実施形態の動作例）
次に本実施形態の動作例について説明する。端末装置１０のユーザは、端末装置１０が撮像部１０８で撮像を行っている状態で店に入店する。端末装置１０（認識部１００１）は、撮像部１０８が生成する画像を解析し、予め定められている商品、即ち、店で販売されている商品を認識したか判断する（図８：ステップＳＡ１）。端末装置１０は、撮像部１０８が生成した画像において商品を認識しなかった場合（ステップＳＡ１でＮＯ）、撮像部１０８が生成する画像を解析し、ステップＳＡ１の処理を繰り返す。

【0036】

端末装置１０は、撮像部１０８が生成した画像において予め定められた商品が映っている場合（ステップＳＡ１でＹＥＳ）、映っている商品を認識し、認識した商品の商品識別子を取得する（ステップＳＡ２）。ここで端末装置１０は、商品名と商品識別子とを対応付けて記憶している。端末装置１０が記憶する商品名および商品識別子については、例えば、端末装置１０が定期的にサーバ装置２０から取得することにより更新される。また、端末装置１０が認識する予め定められた商品についても、当該商品についての情報をサーバ装置２０から取得することにより更新される。このような更新を行うことにより、新商品についても商品を認識することができる。例えば、ユーザが店で販売されているキャベツを端末装置１０のレンズ越しに見た場合、ユーザが見たキャベツを撮像部１０８が撮像する。端末装置１０は、撮像部１０８が生成した画像からユーザが見たキャベツを認識し、商品名のキャベツに対応付けられている商品識別子を取得する。なお、例えば、野菜を認識する技術としては、https://www.slideshare.net/ShizumaKubo/cookwhatに記載されている技術や、特開２００２−２４７４３６号公報に開示された技術がある。

【0037】

端末装置１０（特定部１００２）は、予め定められた商品を認識した場合、認識した商品に対してユーザが予め定められた動作を行ったか判定する（ステップＳＡ３）。ここでは、予め定められた動作は、例えば、商品を手に持つ動作である。端末装置１０は、撮像部１０８が生成する画像を解析し、例えば、撮像部１０８が生成した画像において手を認識し、認識している手と認識した商品の位置関係により、認識した商品をユーザが手に持っているか判定する。具体的には、例えば画像中において、手の特徴点の座標から商品の特徴点の座標までの距離が所定範囲内にある状態が予め定められた時間以上続いていた場合、ユーザが商品を手に持っていると判断する。

【0038】

端末装置１０は、認識した商品に対してユーザが予め定められた動作を行っていないと判定した場合（ステップＳＡ３でＮＯ）、処理の流れをステップＳＡ１へ戻す。即ち、端末装置１０は、予め定められた商品を認識しても、認識した商品に対してユーザが予め定められた動作を行っていない場合、認識した商品の情報を表示しない。

【0039】

一方、端末装置１０は、認識した商品に対してユーザが予め定められた動作を行っていると判定した場合（ステップＳＡ３でＹＥＳ）、測位部１０９から位置情報を取得する（ステップＳＡ４）。次に端末装置１０（送信部１００３）は、ステップＳＡ２で特定した商品識別子（第１情報）と、ステップＳＡ４で取得した位置情報をサーバ装置２０へ送信する（ステップＳＡ５）。

【0040】

サーバ装置２０（受信部２００１）は、端末装置１０から送信された位置情報と商品識別子を取得する。次にサーバ装置２０は、取得した位置情報の位置から予め定められた範囲内にある店の店舗識別子を取得する。ここでサーバ装置２０は、店舗テーブルに格納されている位置情報が表す位置毎に、取得した位置情報が表す位置までの距離を特定する。サーバ装置２０は、取得した位置情報の位置からの距離が予め定められた閾値以下となる位置の位置情報を格納したレコードから店舗識別子を取得する。

【0041】

次にサーバ装置２０は、取得した店舗識別子を格納した商品情報テーブルを特定する。サーバ装置２０は、特定した商品情報テーブルにおいて、取得した商品識別子を格納したレコードを特定し、特定したレコードから商品情報を取得する。商品情報テーブルから商品情報を取得したサーバ装置２０（送信部２００２）は、取得した商品情報（第２情報）を端末装置１０へ送信する。

【0042】

端末装置１０（取得部１００４）は、サーバ装置２０が送信した商品情報を取得する（ステップＳＡ６）。商品情報を取得した端末装置１０（表示制御部１００５）は、取得した商品情報を表示部１０４で表示する（ステップＳＡ７）。

【0043】

以上説明したように、本実施形態においては、端末装置１０は、予め定められた商品を認識し、認識した商品に対してユーザが予め定められた動作を行うと、認識した商品の情報を表示する。ユーザが商品に関心をもって手に持ったときに商品の情報が表示され、手に持たないときには商品の情報が表示されないため、関心のない商品について情報が表示されるのを抑えることができる。

【0044】

［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した実施形態および以下の変形例は、各々を組み合わせてもよい。

【0045】

上述した実施形態においては、商品に対する予め定められた動作は、商品を手にとる動作であったが、商品に対する予め定められた動作は、商品を手にとる動作に限定されるものではない。例えば、端末装置１０は、商品を予め定められた時間を超えて持ち続ける動作を、商品に対する予め定められた動作としてもよく、また、認識した商品から離れる動作も、商品に対する予め定められた動作としてもよい。さらに端末装置１０は、商品を予め定められた時間（継続時間）を超えて持ち続ける動作を、商品に対する予め定められた動作とする場合、表示する情報をユーザが商品を持った時間に応じて変更してもよい。例えば、端末装置１０は、ユーザが商品を手に持ってから５秒経過すると、上述したように商品の生産地の情報を表示し、ユーザが商品を手に持ってから１０秒経過すると、サーバ装置２０から商品の生産者の情報を取得して表示してもよい。

【0046】

また、端末装置１０は、認識した商品に対して視点が変わる動作を、商品に対する予め定められた動作としてもよい。例えば、端末装置１０は、認識した商品に対する視点を立っているときの位置からしゃがんだときの位置に変える動作、または、認識した商品に対する視点をしゃがんでいるときの位置から立っているときの位置に変える動作を、商品に対する予め定められた動作としてもよい。

【0047】

本発明においては、端末装置１０は、認識した商品に対して行われた動作の種類に応じて、表示する情報が異なる構成であってもよい。例えば、端末装置１０は、認識した商品を手にとる動作を認識すると、ユーザが手に取った商品の生産地の情報をサーバ装置２０から取得して表示し、認識した商品を棚に戻す動作を認識すると、ユーザが手に持っていた商品を購入したときにポイントサービスで付与されるポイントの情報をサーバ装置２０から取得して表示してもよい。この構成によれば、商品の購入に有用な情報が表示されるため、ユーザの購買意欲を高めることができる。

【0048】

本発明においては、認識した商品に対して予め定められた動作が行われた場合、認識した商品の価格を割り引くクーポンの情報を表示してもよい。例えば、端末装置１０は、認識した商品を手にとる動作を認識すると、ユーザが手に取った商品の生産地の情報をサーバ装置２０から取得して表示し、認識した商品を棚に戻す動作を認識すると、認識した商品のクーポンの情報を表示して記憶してもよい。この構成で端末装置１０がスマートフォンまたはタブレット端末である場合、ユーザは、店での会計時に端末装置１０が記憶したクーポンの情報を端末装置１０で提示し、会計時に割引を受けてもよい。

【0049】

本発明においては、端末装置１０のユーザの商品に対する購買履歴に応じて、商品に係る情報の表示を制御してもよい。例えば、ユーザが購入した映像ソフトのタイトルを端末装置１０が記憶部１０２に記憶し、映像ソフトの販売店にて、ユーザが手に取った映像ソフトの情報を端末装置１０で表示する場合を想定する。映像ソフトのタイトルは、端末装置１０が認識する物体のうち、ユーザが購入済みという予め定められた条件を満たした物体を識別する情報の一例である。端末装置１０は、映像ソフトのタイトルを認識し、且つ、認識した映像ソフトをユーザが手にとる動作を認識すると、認識した映像ソフトに係る情報として、例えば、認識した映像ソフトのサンプル映像をサーバ装置２０から取得する。端末装置１０は、認識した映像ソフトのタイトルが記憶部１０２に記憶されている場合、取得したサンプル映像を表示せず、認識した映像ソフトのタイトルが記憶部１０２に記憶されていない場合、取得したサンプル映像を表示する構成としてもよい。この構成によれば、購入したことがある映像ソフトについては、端末装置１０は映像ソフトに係る情報を表示しないため、ユーザは、手に取った映像ソフトを購入済みであるか否かを知ることができる。

【0050】

本発明においては、端末装置１０のユーザに関係する情報に応じて、商品に係る情報の表示を制御してもよい。例えば、映像ソフトの販売店にて、ユーザが手に取った映像ソフトの情報を端末装置１０で表示する場合を想定する。この場合、端末装置１０は、例えばユーザの属性の一例である年齢を記憶する。端末装置１０は、映像ソフトのタイトルを認識し、且つ、認識した映像ソフトをユーザが手にとる動作を認識すると、認識した映像ソフトに係る情報として、例えば、認識した映像ソフトのサンプル映像と、認識した映像ソフトの年齢制限の情報をサーバ装置２０から取得する。端末装置１０は、取得した年齢制限の情報が１８歳以上を視聴可能とする情報であり、記憶しているユーザの年齢が１８歳未満である場合、取得したサンプル映像を表示しない。また、端末装置１０は、取得した年齢制限の情報が１８歳以上を視聴可能とする情報であり、記憶しているユーザの年齢が１８歳以上である場合、取得したサンプル映像を表示する。本変形例によれば、ユーザに関係する情報に応じて、表示する情報を制限することができる。

【0051】

端末装置１０が予め定められた商品を認識し、商品に対して予め定められた動作が行われたときに表示する情報は、商品の情報に限定されるものではない。例えば、端末装置１０が表示する情報は、商品の広告の情報であってもよい。また、端末装置１０は、商品の情報に加えて、認識した商品に関連する商品の情報を表示してもよい。例えば、上述したようにユーザがキャベツを手に持った場合、キャベツを用いる料理で使用する食材の情報を表示してもよい。

【0052】

本発明においては、端末装置１０がスマートフォンまたはタブレット端末である場合、撮像部１０８で撮影されて表示部１０４で表示されている現実空間の画像に対し、サーバ装置２０から取得した情報を重畳して表示してもよい。

【0053】

本発明においては、端末装置１０は、認識した商品の商品識別子を特定しているが、商品識別子を特定する装置は、端末装置１０に限定されるものではない。例えば、端末装置１０は、予め定められた商品を認識し、認識した商品に対して予め定められた動作が行われたと判断した場合、位置情報と、認識した商品の画像をサーバ装置２０へ送信する。サーバ装置２０は、商品名と商品識別子とを対応付けて記憶する。サーバ装置２０は、位置情報と商品の画像を受信すると、受信した画像に含まれる商品を認識し、認識した商品名に対応する商品識別子を特定する。サーバ装置２０は、商品情報テーブルにおいて、特定した商品識別子を格納したレコードを特定し、特定したレコードから商品情報を取得して端末装置１０へ送信する。この構成でも、ユーザが予め定められた動作を行った商品に関する情報を端末装置１０で表示することができる。

【0054】

上述した実施形態においては、商品の認識と、商品に対する予め定められた動作の認識を端末装置１０が行っているが、これらの動作をサーバ装置２０が行う構成であってもよい。図９は、本変形例に係る機能の構成を示した機能ブロック図である。表示制御部１００５、第１送信部１００６および第１受信部１００７は、制御部１０１において実現し、第２受信部２００３、認識部２００４、特定部２００５および第２送信部２００６は、制御部２０１において実現する。第１送信部１００６は、位置情報と、撮像部１０８が生成した画像をサーバ装置２０へ送信する。第２受信部２００３は、第１送信部１００６が送信した位置情報および画像を受信する。認識部２００４は、第２受信部２００３が受信した画像を解析し、予め定められている商品、即ち、店で販売されている商品を認識し、認識した商品の商品識別子を特定する。認識部２００４は、上述した認識部１００１と同様の認識を行う。特定部２００５は、認識部２００４が予め定められた商品を認識した場合、認識した商品に対して端末装置１０のユーザが予め定められた動作を行ったか特定する。特定部２００５は、上述した特定部１００２と同様の特定を行う。第２送信部２００６は、認識部２００４が認識した商品に対してユーザが予め定められた動作を行っていると特定部２００５が特定した場合、第２受信部２００３が受信した位置情報から店舗識別子を特定し、特定した店舗識別子と認識部２００４が特定した商品識別子に対応した商品情報を端末装置１０へ送信する。第１受信部１００７は、第２送信部２００６が送信した商品情報を受信する。表示制御部１００５は、第１受信部１００７が受信した商品情報を表示する。

【0055】

本変形例の場合、例えば、端末装置１０（第１送信部１００６）は、位置情報と、撮像部１０８が生成した画像をサーバ装置２０へ送信する。サーバ装置２０（第２受信部２００３）は、端末装置１０から送信された位置情報と画像を受信する。サーバ装置２０（認識部２００４）は、受信した画像を解析し、店で販売されている商品を認識し、認識した商品の商品識別子を特定する。また、サーバ装置２０（特定部２００５）は、受信した画像を解析し、認識した商品に対してユーザが予め定められた動作を行っているが特定する。サーバ装置２０（第２送信部２００６）は、認識部２００４が認識した商品に対してユーザが予め定められた動作を行っていると特定部２００５が特定した場合、第２受信部２００３が受信した位置情報から店舗識別子を特定し、特定した店舗識別子と認識部２００４が特定した商品識別子に対応した商品情報を、商品情報テーブルから取得して端末装置１０へ送信する。端末装置１０（第１受信部１００７）は、サーバ装置２０から送信された商品情報を受信する。端末装置１０（表示制御部１００５）は、受信した商品情報が示す情報を表示部１０４で表示する。なお、上述した変形例において端末装置１０で行われるとした動作は、サーバ装置２０が行うようにしてもよい。

【0056】

本変形例においては、端末装置１０のユーザの商品に対する購買履歴に応じて、商品に係る情報の表示を制御してもよい。例えば、ユーザが購入した映像ソフトのタイトルをサーバ装置２０が記憶部２０２に記憶し、映像ソフトの販売店にて、ユーザが手に取った映像ソフトの情報を端末装置１０で表示する場合を想定する。映像ソフトのタイトルは、サーバ装置２０が認識する物体のうち、ユーザが購入済みという予め定められた条件を満たした物体を識別する情報の一例である。サーバ装置２０は、映像ソフトのタイトルを認識し、且つ、認識した映像ソフトをユーザが手にとる動作を認識すると、認識した映像ソフトに係る情報として、例えば、認識した映像ソフトのサンプル映像を記憶部２０２から取得する。サーバ装置２０は、ユーザが購入済みとして記憶している映像ソフトのタイトルの中に、認識した映像ソフトのタイトルがある場合、取得したサンプル映像を端末装置１０に送信せず、ユーザが購入済みとして記憶している映像ソフトのタイトルの中に、認識した映像ソフトのタイトルがない場合、取得したサンプル映像を端末装置１０へ送信する構成としてもよい。

【0057】

本変形例においては、端末装置１０のユーザに関係する情報に応じて、商品に係る情報の表示を制御してもよい。例えば、映像ソフトの販売店にて、ユーザが手に取った映像ソフトの情報を端末装置１０で表示する場合を想定する。この場合、サーバ装置２０は、例えばユーザの属性の一例である年齢を記憶する。サーバ装置２０は、映像ソフトのタイトルを認識し、且つ、認識した映像ソフトをユーザが手にとる動作を認識すると、認識した映像ソフトに係る情報として、例えば、認識した映像ソフトのサンプル映像と、認識した映像ソフトの年齢制限の情報を記憶部２０２から取得する。サーバ装置２０は、取得した年齢制限の情報が１８歳以上を視聴可能とする情報であり、記憶している端末装置１０のユーザの年齢が１８歳未満である場合、取得したサンプル映像を端末装置１０へ送信しない。また、サーバ装置２０は、取得した年齢制限の情報が１８歳以上を視聴可能とする情報であり、記憶している端末装置１０のユーザの年齢が１８歳以上である場合、取得したサンプル映像を端末装置１０へ送信する。本変形例によれば、ユーザに関係する情報に応じて、表示する情報を制限することができる。

【0058】

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステムおよび／またはこれらに基づいて拡張された次世代システムに適用されてもよい。

【0059】

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0060】

情報等は、上位レイヤ（または下位レイヤ）から下位レイヤ（または上位レイヤ）へ出力され得る。複数のネットワークノードを介して入出力されてもよい。

【0061】

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0062】

本発明においては、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0063】

本開示においては、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【0064】

本開示においては、ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0065】

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペアおよびデジタル加入者回線（ＤＳＬ）などの有線技術および／または赤外線、無線およびマイクロ波などの無線技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、これらの有線技術および／または無線技術は、伝送媒体の定義内に含まれる。

【0066】

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、またはこれらの任意の組み合わせによって表されてもよい。

【0067】

本明細書で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。

【0068】

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。

【0069】

本明細書で使用する「判断（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up）（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認（ascertaining）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信（receiving）（例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。

【0070】

本開示において「接続された（connected）」、「結合された（coupled）」という用語、またはこれらのあらゆる変形は、２またはそれ以上の要素間の直接的または間接的なあらゆる接続または結合を意味し、互いに「接続」または「結合」された２つの要素間に１またはそれ以上の中間要素が存在することを含むことができる。要素間の結合または接続は、物理的なものであっても、論理的なものであっても、あるいはこれらの組み合わせであってもよい。本明細書で使用する場合、２つの要素は、１またはそれ以上の電線、ケーブルおよび／またはプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域および光（可視および不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」または「結合」されると考えることができる。

【0071】

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0072】

「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

【0073】

本開示の全体において、例えば、英語でのa、an、およびtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨および範囲を逸脱することなく修正および変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

【符号の説明】

【0074】

１…情報処理システム、１０…端末装置、２０…サーバ装置、１０１…制御部、１０２…記憶部、１０３…操作部、１０４…表示部、１０５…通信部、１０７…音声処理部、１０８…撮像部、１０９…測位部、２０１…制御部、２０２…記憶部、２０５…通信部、１００１…認識部、１００２…特定部、１００３…送信部、１００４…取得部、１００５…表示制御部、２００１…受信部、２００２…送信部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】