特許 7603632 プログラム、方法、情報処理装置、システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-12

(45)【発行日】2024-12-20

(54)【発明の名称】プログラム、方法、情報処理装置、システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241213BHJP

   G06F 3/01 20060101ALI20241213BHJP

   G06F 3/0481 20220101ALI20241213BHJP

【ＦＩ】

G06T19/00 600

G06F3/01 510

G06F3/0481

【請求項の数】 13

(21)【出願番号】P 2022049058

(22)【出願日】2022-03-24

(65)【公開番号】P2023142255

(43)【公開日】2023-10-05

【審査請求日】2022-07-07

【審判番号】

【審判請求日】2024-05-10

(73)【特許権者】

【識別番号】504440133

【氏名又は名称】株式会社ポケモン

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ弁理士法人

(72)【発明者】

【氏名】笹川 紋

(72)【発明者】

【氏名】山本 篤子

【合議体】

【審判長】伊藤 隆夫

【審判官】樫本 剛

【審判官】片岡 利延

(56)【参考文献】

【文献】中国特許出願公開第１１２６５１２８８（ＣＮ，Ａ）

【文献】特開２００９－２７７２２４（ＪＰ，Ａ）

【文献】特開２０１３－５０８８２（ＪＰ，Ａ）

【文献】「毎日訪れるポケモンたちとの新しい出会いに感動。」、週刊ファミ通、株式会社エンターブレイン、２０１１年７月２１日、２６巻、３２号、１５０～１５３頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 1/00 - 19/20

(57)【特許請求の範囲】

【請求項1】

商品を運搬するための運搬具であって、少なくとも一部に、拡張現実によるオブジェクト画像を発生させるための領域を含む運搬具と、
前記運搬具を含む範囲を撮影する手段と、
前記範囲に含まれる前記領域に対応するオブジェクト画像を作成する手段と、
撮影した前記運搬具を含む範囲を表示し、作成した前記オブジェクト画像を、表示している前記運搬具の内側に表示する手段と
を具備するシステム。

【請求項2】

前記表示する手段は、前記オブジェクト画像に所定の演出を発生させる請求項１記載のシステム。

【請求項3】

来店した客についてのユーザ情報を取得する手段を具備し、
前記表示する手段は、取得した前記ユーザ情報に基づく演出を前記オブジェクト画像に発生させる請求項２記載のシステム。

【請求項4】

環境情報を取得する手段を具備し、
前記表示する手段は、取得した前記環境情報に基づく演出を前記オブジェクト画像に発生させる請求項２記載のシステム。

【請求項5】

来店した客についてのユーザ情報を取得する手段と、
店内の客の位置を測定する手段と、
前記ユーザ情報と、前記客の位置とを関連付ける手段と
を具備する請求項２記載のシステム。

【請求項6】

前記表示する手段は、前記ユーザ情報と、前記客の位置とに基づく演出を前記オブジェクト画像に発生させる請求項５記載のシステム。

【請求項7】

商品を運搬するための運搬具であって、少なくとも一部に、拡張現実によるオブジェクト画像を発生させるための領域を含む複数の運搬具と、
複数の前記運搬具を含む範囲を撮影する手段と、
前記範囲に含まれる複数の前記運搬具の複数の領域にそれぞれ対応するオブジェクト画像を作成する手段と、
撮影した複数の前記運搬具を含む範囲を表示し、作成した前記オブジェクト画像を、表示している複数の前記運搬具の内側に表示する手段と
を具備するシステム。

【請求項8】

プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
商品を運搬するための運搬具であって、少なくとも一部に、拡張現実によるオブジェクト画像を発生させるための領域を含む運搬具を撮影したデータを取得するステップと、
取得した前記データに含まれる前記領域に対応するオブジェクト画像を作成するステップと、
撮影した前記運搬具を含む範囲を表示し、作成した前記オブジェクト画像を、表示している前記運搬具の内側に表示するステップと
を実行させるプログラム。

【請求項9】

前記運搬具を撮影したデータを取得するステップは、運搬具に入れられる商品を撮影したデータを取得し、
前記表示するステップは、前記商品に基づく演出を前記オブジェクト画像に発生させる請求項８記載のプログラム。

【請求項10】

前記表示するステップは、商品に応じて前記オブジェクト画像に発生させる演出を異ならせる請求項９記載のプログラム。

【請求項11】

来店した客についてのユーザ情報を取得するステップと、
店内の客の位置を測定した位置情報を取得するステップと
を前記プロセッサに実行させ、
前記表示するステップは、前記ユーザ情報と、前記位置情報とに基づき、前記客が所望する商品へ、前記客を誘導する演出を前記オブジェクト画像に発生させる請求項８記載のプログラム。

【請求項12】

プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、
商品を運搬するための運搬具であって、少なくとも一部に、拡張現実によるオブジェクト画像を発生させるための領域を含む運搬具を撮影したデータを取得するステップと、
取得した前記データに含まれる前記領域に対応するオブジェクト画像を作成するステップと、
撮影した前記運搬具を含む範囲を表示し、作成した前記オブジェクト画像を、表示している前記運搬具の内側に表示するステップと
を実行する方法。

【請求項13】

制御部と、記憶部とを備える情報処理装置であって、前記制御部が、
商品を運搬するための運搬具であって、少なくとも一部に、拡張現実によるオブジェクト画像を発生させるための領域を含む運搬具を撮影したデータを取得するステップと、
取得した前記データに含まれる前記領域に対応するオブジェクト画像を作成するステップと、
撮影した前記運搬具を含む範囲を表示し、作成した前記オブジェクト画像を、表示している前記運搬具の内側に表示するステップと
を実行する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プログラム、方法、情報処理装置、システムに関する。

【背景技術】

【0002】

近年、ＡＲ（Augmented Reality）やＭＲ（Mixed Reality）に関する技術が発展している。ＡＲやＭＲは、ユーザが視認している現実空間に対して情報を付加等することで、ユーザが見ている現実の世界を拡張する。例えば、特許文献１では、ユーザの眼の前に実際の商品が無くても、その商品を視認して注文できるような買い物の仕組みを提案している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－６１４５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、買い物を効率的に行うためにＡＲやＭＲを活用することが記載されている。しかしながら、ＡＲやＭＲの活用は、買い物の効率化に留まらない。

【0005】

本開示の目的は、ＡＲやＭＲを活用し、興趣性の高い買い物体験を提供することである。

【課題を解決するための手段】

【0006】

プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、商品を運搬するための運搬具であって、少なくとも一部に、拡張現実によるオブジェクト画像を発生させるための領域を含む運搬具を撮影したデータを取得するステップと、取得したデータに含まれる領域に対応するオブジェクト画像を作成するステップと、作成したオブジェクト画像を、撮影したデータに基づく画像における領域と対応する位置に表示するステップとを実行させる。

【発明の効果】

【0007】

本開示によれば、ＡＲを活用し、興趣性の高い買い物体験を提供できる。

【図面の簡単な説明】

【0008】

【図1】システム１の全体構成の例を示すブロック図である。

【図2】図１に示す端末装置１０の構成例を表すブロック図である。

【図3】サーバ２０の機能的な構成の例を示す図である。

【図4】来客情報テーブル２０２１のデータ構造を示す図である。

【図5】オブジェクト情報テーブル２０２２のデータ構造を示す図である。

【図6】位置情報テーブル２０２３のデータ構造を示す図である。

【図7】環境情報テーブル２０２４のデータ構造を示す図である。

【図8】商品情報テーブル２０２５のデータ構造を示す図である。

【図9】端末装置１０が搭載された運搬具５０の例を表す模式図である。

【図10】端末装置１０にオブジェクト画像を表示させる際の端末装置１０とサーバ２０との動作の例を説明するための図である。

【図11】ディスプレイ１４１に表示される画像の例を表す模式図である。

【図12】ディスプレイ１４１に表示される画像の例を表す模式図である。

【図13】端末装置１０が、表示するオブジェクト画像に演出を発生させる際の動作の例を表すフローチャートである。

【図14】ディスプレイ１４１に表示される画像の例を表す模式図である。

【図15】ディスプレイ１４１に表示される画像の例を表す模式図である。

【図16】ディスプレイ１４１に表示される画像の例を表す模式図である。

【図17】サーバ２０が、ディスプレイ３０に表示させる画像にオブジェクト画像を発生させる際の動作の例を表すフローチャートである。

【図18】取得される撮影データに基づく画像の例を表す模式図である。

【図19】ディスプレイ３０に表示される画像の例を表す模式図である。

【図20】コンピュータ９０の基本的なハードウェア構成を示すブロック図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しつつ、本開示の実施形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

【0010】

＜概略＞
本実施形態に係るシステムは、例えば、来店客が買い物することが可能な店舗において構築される。システムは、客が商品を運搬する、例えば、かご、又はカート等の運搬具における所定の領域を認識し、認識した領域にオブジェクトが存在していると客が把握可能なように、オブジェクト画像を発生させる。これにより、客はオブジェクトと一緒に買い物をしているように感じることが可能となり、楽しい買い物を体験することが可能となる。

【0011】

＜１ システム全体の構成図＞
図１は、システム１の全体構成の例を示すブロック図である。図１に示すシステム１は、例えば、端末装置１０、サーバ２０、ディスプレイ３０、３次元測定装置４１、撮影装置４２、及び運搬具５０を含む。端末装置１０、サーバ２０、ディスプレイ３０、３次元測定装置４１、及び撮影装置４２は、例えば、ネットワーク８０を介して通信接続する。

【0012】

図１において、システム１が端末装置１０を１台含む例を示しているが、システム１に含まれる端末装置１０の数は、１台に限定されない。システム１に含まれる端末装置１０は、１台以上であってもよい。

【0013】

図１において、システム１がサーバ２０を１台含む例を示しているが、システム１に含まれるサーバ２０の数は、１台に限定されない。サーバ２０は、有する機能に応じ、複数のサーバから構成されていてもよい。また、サーバ２０は、例えば、複数の装置の集合体を１つのサーバとしてもよい。１つ又は複数のハードウェアに対して本実施形態に係るサーバ２０を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力及び／又はサーバ２０に求められる仕様等に鑑みて適宜決定することができる。

【0014】

図１において、システム１がディスプレイ３０を１台含む例を示しているが、システム１に含まれるディスプレイ３０の数は、１台に限定されない。システム１に含まれるディスプレイ３０は、１台以上であってもよい。

【0015】

図１において、システム１が３次元測定装置４１、及び撮影装置４２を１台ずつ含む例を示しているが、システム１に含まれる３次元測定装置４１、及び撮影装置４２の数は、１台ずつに限定されない。システム１に含まれる３次元測定装置４１、及び撮影装置４２は、１台以上であってもよい。

【0016】

図１において、システム１が運搬具５０を１つ含む例を示しているが、システム１に含まれる運搬具５０の数は、１つに限定されない。システム１に含まれる運搬具５０は、１つ以上であってもよい。

【0017】

図１に示す端末装置１０は、例えば、店舗に訪れた客が操作する情報処理装置である。端末装置１０は、例えば、スマートフォン、タブレット等の携帯端末により実現される。端末装置１０は、ＨＭＤ（Head Mount Display）等のウェアラブル端末であってもよい。端末装置１０は、客が所有していてもよいし、入店時に店舗から貸与されてもよい。

【0018】

端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、ストレージ１６と、プロセッサ１９とを備える。入力装置１３は、ユーザからの入力操作を受け付けるための装置（例えば、タッチパネル、タッチパッド等）である。出力装置１４は、ユーザに対して情報を提示するための装置（ディスプレイ、スピーカー等）である。

【0019】

サーバ２０は、例えば、来店した客に対して発生させるオブジェクトに関する情報等を管理する情報処理装置である。

【0020】

サーバ２０は、例えば、ネットワーク８０に接続されたコンピュータにより実現される。図１に示すように、サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対して情報を提示するための出力装置とのインタフェースとして機能する。

【0021】

ディスプレイ３０は、サーバ２０の制御に応じたデータを表示する。ディスプレイ３０は、例えば、店舗内に設置され、店舗内を撮影した画像を表示する。ディスプレイ３０は、例えば、ＬＣＤ（Liquid Crystal Display）、又は有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。

【0022】

３次元測定装置４１は、店舗内の物体の３次元位置を測定する。３次元測定装置４１は、例えば、レーザーを所定の周期で、所定の走査領域へ照射し、反射された光を分析することで、反射点の３次元座標を算出する。３次元測定装置４１は、例えば、ＬｉＤＡＲ（Light Detection And Ranging）により実現される。３次元測定装置４１は、例えば、店舗内の全体を遮蔽物なく見渡せる位置に設置される。３次元測定装置４１は、算出した３次元座標に関するデータを点群データとしてサーバ２０へ送信する。

【0023】

撮影装置４２は、受光素子により光を受光し、撮影データとして出力するためのデバイスである。撮影装置４２は、例えば、所定の画角で店舗内の所定の位置を撮影可能に設置される。撮影装置４２は、撮影データをサーバ２０へ出力する。

【0024】

運搬具５０は、客が商品を店舗内で運搬するための備品である。換言すると、運搬具５０は、選んだ商品を客がレジカウンターまで運搬するための備品である。運搬具５０は、例えば、かご、かごを載置するためのカート、又はこれらの両方である。

【0025】

運搬具５０は、少なくとも一部に、拡張現実によるオブジェクト画像を発生させるための領域を含む。拡張現実によるオブジェクト画像を発生させるための領域は、例えば、以下である。
・かごの全体又は一部（かごの形状、及びかごの色）
・カートの全体又は一部（カートの形状、及びカートの色）
・所定のマーカーが付されてるかごの領域
・所定のマーカーが付されてるカートの領域

【0026】

マーカーは、識別情報が書き込まれたコードであってもよい。例えば、マーカーは、識別情報が書き込まれたバーコード、又はＱＲコード（登録商標）等により実現されてもよい。また、マーカーに書き込まれている情報は、サーバ２０からオブジェクトに関する情報を読み出すためのアドレス情報であってもよい。マーカーは、例えば、カメラにより撮影可能な位置に貼付されている。具体的には、例えば、マーカーは、運搬具５０の底部、又は運搬具５０の外側側面に貼付されている。マーカーの貼付は１か所に限らず、複数個所に貼付されていてもよい。

【0027】

運搬具５０が少なくとも一部に、拡張現実によるオブジェクト画像を発生させるための領域を含むことは、例えば、運搬具５０の少なくとも一部が、拡張現実によるオブジェクト画像を発生させるための識別子であると換言可能である。

【0028】

運搬具５０には、端末装置１０を支持するためのアームが設けられていてもよい。アームの角度は、支持する端末装置１０のカメラが、拡張現実によるオブジェクト画像を発生させるための領域を撮影可能な方向を向くように調整されている。アームが設けられる位置は、拡張現実によるオブジェクト画像を発生させるための領域が撮影可能であればいずれであってもよい。

【0029】

各情報処理装置は演算装置と記憶装置とを備えたコンピュータにより構成されている。コンピュータの基本ハードウェア構成および、当該ハードウェア構成により実現されるコンピュータの基本機能構成は後述する。端末装置１０、及びサーバ２０のそれぞれについて、後述するコンピュータの基本ハードウェア構成およびコンピュータの基本機能構成と重複する説明は省略する。

【0030】

＜１．１ 端末装置の構成＞
図２は、図１に示す端末装置１０の構成例を表すブロック図である。図２に示すように、端末装置１０は、通信部１２０と、入力装置１３と、出力装置１４と、音声処理部１７と、マイク１７１と、スピーカー１７２と、カメラ１６０と、位置情報センサ１５０と、記憶部１８０と、制御部１９０とを備える。端末装置１０に含まれる各ブロックは、例えば、バス等により電気的に接続される。

【0031】

通信部１２０は、端末装置１０が他の装置と通信するための変復調処理等の処理を行う。通信部１２０は、制御部１９０で生成された信号に送信処理を施し、外部（例えば、サーバ２０）へ送信する。通信部１２０は、外部から受信した信号に受信処理を施し、制御部１９０へ出力する。

【0032】

入力装置１３は、端末装置１０を操作するユーザが指示、又は情報を入力するための装置である。入力装置１３は、例えば、操作面へ触れることで指示が入力されるタッチ・センシティブ・デバイス１３１等により実現される。端末装置１０がＰＣ等である場合には、入力装置１３は、リーダー、キーボード、マウス等により実現されてもよい。入力装置１３は、ユーザから入力される指示を電気信号へ変換し、電気信号を制御部１９０へ出力する。なお、入力装置１３には、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。

【0033】

出力装置１４は、端末装置１０を操作するユーザへ情報を提示するための装置である。出力装置１４は、例えば、ディスプレイ１４１等により実現される。ディスプレイ１４１は、制御部１９０の制御に応じたデータを表示する。ディスプレイ１４１は、例えば、ＬＣＤ（Liquid Crystal Display）、又は有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。

【0034】

音声処理部１７は、例えば、音声信号のデジタル－アナログ変換処理を行う。音声処理部１７は、マイク１７１から与えられる信号をデジタル信号に変換して、変換後の信号を制御部１９０へ与える。また、音声処理部１７は、音声信号をスピーカー１７２へ与える。音声処理部１７は、例えば音声処理用のプロセッサによって実現される。マイク１７１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１７へ与える。スピーカー１７２は、音声処理部１７から与えられる音声信号を音声に変換して当該音声を端末装置１０の外部へ出力する。

【0035】

カメラ１６０は、受光素子により光を受光し、撮影信号として出力するためのデバイスである。

【0036】

位置情報センサ１５０は、端末装置１０の位置を検出するセンサであり、例えばＧＰＳ（Global Positioning System）モジュールである。ＧＰＳモジュールは、衛星測位システムで用いられる受信装置である。衛星測位システムでは、少なくとも３個または４個の衛星からの信号を受信し、受信した信号に基づいて、ＧＰＳモジュールが搭載される端末装置１０の現在位置を検出する。位置情報センサ１５０は、端末装置１０が接続する無線基地局の位置から、端末装置１０の現在の位置を検出してもよい。

【0037】

記憶部１８０は、例えば、メモリ１５、及びストレージ１６等により実現され、端末装置１０が使用するデータ、及びプログラムを記憶する。記憶部１８０は、例えば、ユーザ情報１８１、オブジェクト情報１８２、及び環境情報１８３を記憶する。

【0038】

ユーザ情報１８１は、例えば、端末装置１０を使用するユーザに関する情報を含む。ユーザに関する情報には、例えば、ユーザの氏名、年齢、住所、生年月日、電話番号、ｅｍａｉｌアドレス、登録年月日、来店情報、購入情報、お気に入りキャラクタ等が含まれる。登録年月日は、例えば、ユーザ登録がされた日付を表す。来店情報は、ユーザが店舗に来店した履歴を含む。購入情報は、ユーザが店舗で購入した商品の購入履歴を含む。

【0039】

端末装置１０が店舗から貸与される場合、例えば、ユーザ情報１８１は、ユーザとしての客から入力される、ユーザを識別可能な情報、例えば、ユーザＩＤであってもよい。このとき、ユーザの氏名、年齢、住所、生年月日、電話番号、ｅｍａｉｌアドレス、登録年月日、来店情報、購入情報、お気に入りキャラクタ等は、例えば、サーバ２０でユーザＩＤをキーとして管理されている。サーバ２０は、端末装置１０から入力されたユーザＩＤに基づき、来店したユーザに関する情報を取得する。

【0040】

オブジェクト情報１８２は、運搬具５０に応じて発生させるオブジェクトに関する情報を含む。オブジェクト情報１８２は、予め記憶部１８０に記憶されていてもよいし、撮影された運搬具５０に基づいてサーバ２０から送信されてもよい。

【0041】

環境情報１８３は、来店時の環境を表す情報を含む。来店時の環境を表す情報は、例えば、天気、大気圧、温度、湿度等に関する情報を含む。

【0042】

制御部１９０は、プロセッサ１９が記憶部１８０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部１９０は、端末装置１０の動作を制御する。制御部１９０は、プログラムに従って動作することにより、操作受付部１９１と、送受信部１９２と、撮影制御部１９３と、画像解析部１９４と、表示制御部１９５としての機能を発揮する。

【0043】

操作受付部１９１は、入力装置１３から入力される指示、又は情報を受け付けるための処理を行う。具体的には、例えば、操作受付部１９１は、タッチ・センシティブ・デバイス１３１等から入力される指示、又は情報を受け付ける。

【0044】

また、操作受付部１９１は、カメラ１６０から入力される画像を受け付ける。具体的には、例えば、操作受付部１９１は、カメラ１６０により撮影された撮影データを受信する。

【0045】

また、操作受付部１９１は、マイク１７１から入力される音声情報を受け付ける。具体的には、例えば、操作受付部１９１は、マイク１７１から入力され、音声処理部１７でデジタルデータに変換された音声データを受信する。

【0046】

送受信部１９２は、端末装置１０が、サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。具体的には、例えば、送受信部１９２は、ユーザから入力された指示、又は取得した種々の情報をサーバ２０へ送信する。また、送受信部１９２は、サーバ２０から提供される情報を受信する。

【0047】

撮影制御部１９３は、カメラ１６０による撮影を制御する。例えば、撮影制御部１９３は、ユーザからの指示に応じ、カメラ１６０による撮影を開始する。

【0048】

画像解析部１９４は、カメラ１６０により撮影された撮影データの解析を制御する。例えば、画像解析部１９４は、撮影データに含まれる所定の領域を検出する。具体的には、例えば、画像解析部１９４は、撮影データに含まれる、拡張現実によるオブジェクト画像を発生させるための領域を検出する。また、例えば、画像解析部１９４は、撮影データに含まれる、ユーザにより選択され、運搬具５０へ入れられた商品を検出する。検出する際の手法は、既存のいかなる技術が使用されてもよい。画像解析部１９４は、学習済みモデルを利用して領域、又は商品等を検出してもよい。

【0049】

表示制御部１９５は、ユーザに対して所定の画像を表示させるため、出力装置１４を制御する。例えば、表示制御部１９５は、撮影データから検出された情報に基づき、オブジェクト画像を発生させ、ディスプレイ１４１に表示させる。具体的には、例えば、表示制御部１９５は、撮影される運搬具５０に対応するオブジェクト画像を発生させ、運搬具５０と対応する位置にオブジェクト画像を表示させる。このとき、表示制御部１９５は、例えば、運搬具５０の所定の領域に、作成したオブジェクト画像を重畳させる。

【0050】

また、表示制御部１９５は、所定の情報に応じた演出を発生させる。所定の情報とは、例えば、以下である。
・撮影データにおいて検出された商品
・購入予定の商品
・過去の商品購入実績
・所定の日付（誕生日、記念日）
・過去の来店回数
・お気に入りキャラクタ
・天気
・ユーザの位置情報

【0051】

＜１．２ サーバの機能的な構成＞
図３は、サーバ２０の機能的な構成の例を示す図である。図３に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。

【0052】

通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。

【0053】

記憶部２０２は、例えば、来客情報テーブル２０２１と、オブジェクト情報テーブル２０２２と、位置情報テーブル２０２３と、環境情報テーブル２０２４と、商品情報テーブル２０２５と、学習済みモデル２０２６等とを有する。

【0054】

来客情報テーブル２０２１は、店舗に訪れた客に関する情報を記憶するテーブルである。詳細は後述する。

【0055】

オブジェクト情報テーブル２０２２は、オブジェクトに関する情報を記憶するテーブルである。詳細は後述する。

【0056】

位置情報テーブル２０２３は、客の現在位置を記憶するテーブルである。詳細は後述する。

【0057】

環境情報テーブル２０２４は、環境に関する情報を記憶するテーブルである。詳細は後述する。

【0058】

商品情報テーブル２０２５は、商品に関する情報を記憶するテーブルである。

【0059】

学習済みモデル２０２６は、例えば、撮影された画像から所定の領域を検出するためのモデルである。学習済みモデル２０２６は、サーバ２０がサービスを提供するにあたり、予め記憶されている。学習済みモデル２０２６は、モデル学習プログラムに従い、機械学習モデルに機械学習を行わせることで生成される。学習済みモデル２０２６は、例えば、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る学習済みモデル２０２６は、上記の要請を満たす如何なるパラメータ付き合成関数であってもよい。

【0060】

例えば、学習済みモデル２０２６が順伝播型の多層化ネットワークを用いて生成される場合、パラメータ付き合成関数は、例えば、重み行列を用いた各層間の線形関係、各層における活性化関数を用いた非線形関係（又は線形関係）、及びバイアスの組み合わせとして定義される。重み付行列、及びバイアスは、多層化ネットワークのパラメータと呼ばれる。パラメータ付き合成関数は、パラメータをどのように選ぶかで、関数としての形を変える。多層化ネットワークでは、構成するパラメータを適切に設定することで、出力層から好ましい結果を出力することが可能な関数を定義することができる。

【0061】

本実施形態に係る多層化ネットワークとしては、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ）が用いられ得る。ＤＮＮとしては、例えば、画像を対象とする畳み込みニューラルネットワーク（Convolution Neural Network：ＣＮＮ）を用いてもよい。

【0062】

学習済みモデル２０２６は、例えば、所定の商品に関する画像を入力データとし、当該商品の商品名を正解出力データとしてトレーニングされる。また、学習済みモデル２０２６は、例えば、かご、カート、又はコードに関する画像を入力データとし、入力された画像に対する「かご」、「カート」、又は「コード」の認定を正解出力データとしてトレーニングされる。学習済みモデル２０２６は、新たに追加される商品等に基づき、随時再学習されてもよい。

【0063】

制御部２０３は、プロセッサ２９が記憶部２０２に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部２０３は、プログラムに従って動作することにより、受信制御モジュール２０３１、送信制御モジュール２０３２、画像解析モジュール２０３３、決定モジュール２０３４、及び表示制御モジュール２０３５としての機能を発揮する。

【0064】

受信制御モジュール２０３１は、サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。

【0065】

送信制御モジュール２０３２は、サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。

【0066】

画像解析モジュール２０３３は、撮影装置４２により撮影された撮影データの解析を制御する。例えば、画像解析モジュール２０３３は、撮影データに含まれる所定の領域を検出する。具体的には、例えば、画像解析モジュール２０３３は、撮影データに含まれる、拡張現実によるオブジェクト画像を発生させるための領域を検出する。検出する際の手法は、既存のいかなる技術が使用されてもよい。画像解析モジュール２０３３は、学習済みモデルを利用して領域等を検出してもよい。

【0067】

決定モジュール２０３４は、各客に対して発生させるオブジェクトを決定する処理を制御する。例えば、決定モジュール２０３４は、端末装置１０から送信される情報に基づき、端末装置１０を保有するユーザに対して発生させるオブジェクトを決定する。また、決定モジュール２０３４は、撮影装置４２により撮影された撮影データの解析結果に基づき、撮影データに含まれる運搬具５０に対して発生させるオブジェクトを決定する。

【0068】

表示制御モジュール２０３５は、客に対して所定の画像を表示させるため、ディスプレイ３０を制御する。例えば、表示制御モジュール２０３５は、撮影データから検出された情報に基づき、オブジェクト画像を発生させ、ディスプレイ３０に表示させる。具体的には、例えば、表示制御モジュール２０３５は、撮影される運搬具５０に対応するオブジェクト画像を発生させ、運搬具５０と対応する位置にオブジェクト画像を表示させる。このとき、表示制御モジュール２０３５は、例えば、運搬具５０の所定の領域に、作成したオブジェクト画像を重畳させる。

【0069】

また、表示制御モジュール２０３５は、所定の情報に応じた演出を発生させる。所定の情報とは、例えば、以下である。
・過去の商品購入実績
・所定の日付（誕生日、記念日）
・過去の来店回数
・お気に入りキャラクタ
・天気

【0070】

＜２ データ構造＞
図４～図８は、サーバ２０が記憶するテーブルのデータ構造を示す図である。なお、図４～図８は一例であり、記載されていないデータを除外するものではない。また、同一のテーブルに記載されるデータであっても、記憶部２０２において離れた記憶領域に記憶されていることもあり得る。

【0071】

図４は、来客情報テーブル２０２１のデータ構造を示す図である。図４に示す来客情報テーブル２０２１は、ユーザＩＤをキーとして、氏名、年齢、住所、生年月日、Ｅ－ｍａｉｌアドレス、登録年月日、来店情報、購入情報、お気に入りキャラ、発生オブジェクト等のカラムを有するテーブルである。来客情報テーブル２０２１は、客が購入を予定している商品を記憶するカラムを有していてもよい。

【0072】

ユーザＩＤは、ユーザを一意に識別するための識別子を記憶する項目である。ユーザＩＤは、ユーザが店舗の会員となる際に設定されたＩＤであってもよい。氏名は、ユーザの名前を記憶する項目である。年齢は、ユーザの年齢を記憶する項目である。住所は、ユーザが住んでいる居所を記憶する項目である。生年月日は、ユーザが生まれた日付を記憶する項目である。Ｅ－ｍａｉｌアドレスは、ユーザのＥ－ｍａｉｌアドレスを記憶する項目である。登録年月日は、ユーザが会員登録した日付を記憶する項目である。

【0073】

来店情報は、ユーザが店舗へ訪れた履歴を記憶する項目である。来店情報は、今回来店した日時についての情報も含む。店舗が複数存在する場合、来店情報は、来店日時と、来店した店舗名とを関連付けて記憶していてもよい。購入情報は、ユーザが購入した商品の履歴を記憶する項目である。購入情報は、例えば、購入日時、購入した商品の商品ＩＤ、購入した商品の商品名等を含む。お気に入りのキャラクタは、ユーザがお気に入りとして登録しているキャラクタのオブジェクトＩＤを記憶する項目である。発生オブジェクトは、今回の来店時にユーザに設定されたオブジェクトのオブジェクトＩＤを記憶する項目である。オブジェクトは、ユーザが利用する運搬具５０に応じ、サーバ２０により設定される。

【0074】

ユーザＩＤ、氏名、年齢、住所、生年月日、Ｅ－ｍａｉｌアドレス、登録年月日、来店情報、購入情報、お気に入りキャラは、例えば、来客情報テーブル２０２１とは異なる、不図示の顧客情報テーブルに記憶されている。サーバ２０は、端末装置１０から送信されるユーザＩＤに基づき、顧客情報テーブルから情報を抽出し、抽出した情報を来客情報テーブル２０２１に記憶する。

【0075】

図５は、オブジェクト情報テーブル２０２２のデータ構造を示す図である。図５に示すオブジェクト情報テーブル２０２２は、オブジェクトＩＤをキーとして、オブジェクト名、発生条件、オブジェクトデータ、演出内容、及び演出内容に対応する要件等のカラムを有するテーブルである。

【0076】

オブジェクトＩＤは、オブジェクトを一意に識別するための識別子を記憶する項目である。オブジェクト名は、オブジェクトの名称を記憶する項目である。発生条件は、オブジェクト画像を発生させるための条件を記憶する項目である。オブジェクト画像を発生させるための条件は、例えば、運搬具５０についての特徴的な態様を含む。具体的には、オブジェクト画像を発生させるための条件は、例えば、運搬具５０の色、又はコードに書き込まれた識別情報を含む。

【0077】

オブジェクトデータは、オブジェクトについての画像データを記憶する項目である。オブジェクトデータは、他の場所に配置されたオブジェクトデータファイルに対する参照情報（パス）を記憶してもよい。演出内容は、オブジェクトが実施する演出についての画像データを記憶する項目である。演出内容は、他の場所に配置された画像データファイルに対する参照情報（パス）を記憶してもよい。演出内容は、例えば、以下を含む。
・オブジェクトが所定の動作をする演出（誕生日、所定の日を祝う演出）
・客の位置情報と、商品の陳列情報とに基づき、客を所望の商品まで誘導（案内）する演出
・オブジェクトが進化する演出
・オブジェクトが所定のアクセサリを身に着ける演出
・固定されたオブジェクトになる演出

【0078】

図５に示す例では、演出内容は、第１演出と、第２演出等とを含む。第１演出は、第２演出よりも優先的に表示されるように設定されてもよい。要件は、オブジェクトに演出を実施させる要件を記憶する項目である。要件は、例えば、以下を含む。
・過去に所定の商品を購入していること
・過去に所定の種類の商品を購入していること
・商品の購入回数が所定回数を超えていること
・商品の購入額が所定額を超えていること
・現在の日付がユーザの誕生日と一致していること
・現在の日付が所定の日（例えば、クリスマス、海の日、年末、年始、成人の日等）と一致していること
・現在の曜日が所定の曜日（例えば、金曜日）であること
・過去の来店回数が所定回数を超えていること
・設定されているオブジェクト（キャラクタ）がお気に入りキャラクタと一致すること
・天気が所定の天気（例えば、雪）であること

【0079】

図５に示す例では、第１演出を実施させるための第１要件と、第２演出を実施させるための第２要件等とを含む。

【0080】

図６は、位置情報テーブル２０２３のデータ構造を示す図である。図６に示す位置情報テーブル２０２３は、日時、ユーザＩＤ、位置情報のカラムを有するテーブルである。

【0081】

日時は、３次元測定装置４１によりユーザの３次元位置が測定された日時を記憶する項目である。ユーザＩＤは、３次元位置が測定されたユーザのＩＤを記憶する項目である。位置情報は、測定された３次元位置を記憶する項目である。

【0082】

図７は、環境情報テーブル２０２４のデータ構造を示す図である。図７に示す環境情報テーブル２０２４は、日付、天気、大気圧、温度、湿度のカラムを有するテーブルである。環境情報テーブル２０２４は、暦に関する情報を含んでいてもよい。暦に関する情報は、例えば、曜日に関する情報、祝祭日に関する情報を含む。

【0083】

日付は、環境に関する情報を取得した日を記憶する項目である。天気、大気圧、温度、湿度は、環境に関する情報の一例を表し、所定の情報発信元から提供される情報を記憶する。

【0084】

図８は、商品情報テーブル２０２５のデータ構造を示す図である。図８に示す商品情報テーブル２０２５は、商品ＩＤをキーとして、商品名、値段、陳列位置等のカラムを有するテーブルである。

【0085】

商品ＩＤは、商品を一意に識別するための識別子を記憶する項目である。商品名は、商品の名称を記憶する項目である。値段は、商品の値段を記憶する項目である。陳列位置は、店内において商品が陳列される位置を記憶する項目である。

【0086】

＜３ 動作＞
オブジェクト画像を客に表示することで、楽しい買い物体験を客に提供する際の端末装置１０とサーバ２０との動作について説明する。

【0087】

以下の説明では、運搬具５０が、かご、及びかごを載置するためのカートである場合を想定する。このとき、例えば、端末装置１０は、店舗から貸与されるタブレット端末により実現される。端末装置１０は、客がカートのハンドルを把持して商品を運搬する際に、ディスプレイ１４１が客と対向し、かつ、カメラ１６０が、拡張現実によるオブジェクト画像を発生させるための領域を撮影可能な方向を向くように固定されている。

【0088】

図９は、端末装置１０が搭載された運搬具５０の例を表す模式図である。端末装置１０は、ディスプレイ１４１が客と対向し、かつ、カメラ１６０が、かごを撮影可能な方向を向くように固定されている。

【0089】

（端末装置１０によるオブジェクト画像の表示処理）
図１０は、端末装置１０にオブジェクト画像を表示させる際の端末装置１０とサーバ２０との動作の例を説明するための図である。

【0090】

ステップＳ１１において、例えば、端末装置１０は、来店した客についての情報を取得する。具体的には、例えば、端末装置１０は、客に対してユーザ登録済か否かを確認し、登録済である場合、ユーザ情報を識別可能な情報、例えば、ユーザＩＤの入力を要求する。ユーザ登録が済んでいない場合、端末装置１０は、ユーザ登録に必要な情報の入力を客に対して要求する。端末装置１０の制御部１９０は、送受信部１９２により、客から入力された情報をサーバ２０へ送信する。制御部１９０は、予め設定されたアプリケーションを介して情報を送信してもよいし、ウェブブラウザを利用して情報を送信してもよい。

【0091】

なお、客は、ユーザ情報を利用しなくてもよい。例えば、ユーザＩＤ又はユーザ情報の入力を端末装置１０から要求された際、客は、入力を拒否してもよい。

【0092】

ステップＳ２１において、サーバ２０は、来店した客に関する情報を登録する。具体的には、サーバ２０の制御部２０３は、受信制御モジュール２０３１により、来店した客の情報を取得する。例えば、制御部２０３は、客のユーザＩＤを取得した場合、取得したユーザＩＤをキーに、予め設定されているユーザ情報を検索する。制御部２０３は、検索により取得したユーザ情報を来客情報テーブル２０２１に登録する。また、端末装置１０を介して客によりユーザ情報が入力された場合、制御部２０３は、入力されたユーザ情報を来客情報テーブル２０２１に登録する。制御部２０３は、来店した客についての情報を、来客情報テーブル２０２１に登録すると、登録した旨を端末装置１０へ通知する。

【0093】

客がユーザＩＤ又はユーザ情報の入力を拒否した場合、制御部２０３は、ユーザ情報と紐づかない所定のＩＤを発行し、発行したＩＤをこの客のＩＤとして来客情報テーブル２０２１に登録する。

【0094】

来店した客が情報を入力してサービスを開始させる店内の位置は、予め設定されていてもよい。例えば、客は、この基準位置において、ユーザＩＤ、ユーザ情報、又は来店した旨を端末装置１０に入力する。サーバ２０は、客から入力された情報に基づいて来客情報テーブル２０２１にレコードを作成すると、３次元測定装置４１によって取得される基準位置における位置情報を、当該客の現在の位置情報として位置情報テーブル２０２３に記憶する。つまり、サーバ２０は、ユーザ情報と、位置情報とを紐づける。サーバ２０は、客の位置を３次元測定装置４１からの情報に基づいて随時更新する。これにより、サーバ２０は、店内の客の位置を把握可能となる。なお、店内での客の位置情報を取得する際には、客から予め許可を得るようにしてもよい。

【0095】

ステップＳ１２において、来店した客についての情報が来客情報テーブル２０２１に登録されると、端末装置１０の制御部１９０は、撮影制御部１９３により、カメラ１６０による撮影を開始する。カメラ１６０は、固定された画角で運搬具５０を撮影する。制御部１９０は、表示制御部１９５により、撮影データに基づく画像をディスプレイ１４１に表示させる。

【0096】

図１１は、ディスプレイ１４１に表示される画像の例を表す模式図である。図１１において、カメラ１６０は、カートと、カートに載置されるかごを撮影する。これにより、ディスプレイ１４１には、カートと、カートに載置されるかごが表示される。図１１に示す例では、かごの底部５１にコード５２が貼付されている。コード５２は、拡張現実によるオブジェクト画像を発生させるための領域の一例である。

【0097】

ステップＳ２２において、制御部２０３は、客が利用する運搬具５０についての情報を取得する。

【0098】

具体的には、例えば、制御部２０３は、受信制御モジュール２０３１により、端末装置１０で撮影された撮影データを取得する。制御部２０３は、画像解析モジュール２０３３により、撮影した画像を解析する。例えば、画像解析モジュール２０３３は、撮影データに含まれる所定の領域を検出する。より具体的には、例えば、画像解析モジュール２０３３は、撮影データに含まれる、コード５２を検出する。画像解析モジュール２０３３は、検出したコード５２に記載されている情報を読み取る。

【0099】

また、例えば、受信制御モジュール２０３１は、コード５２に記載されている情報を、端末装置１０から取得してもよい。具体的には、例えば、端末装置１０の制御部１９０は、画像解析部１９４により、カメラ１６０により撮影された画像を解析する。具体的には、例えば、画像解析部１９４は、撮影データに含まれる、コード５２を検出する。画像解析部１９４は、検出したコード５２に記載されている情報を読み取る。制御部１９０は、送受信部１９２により、読み取った情報をサーバ２０へ送信する。

【0100】

ステップＳ２３において、制御部２０３は、決定モジュール２０３４により、客に対して発生させるオブジェクトを決定する。具体的には、例えば、決定モジュール２０３４は、コード５２に記載されている情報を取得する。決定モジュール２０３４は、オブジェクト情報テーブル２０２２の項目「発生条件」に記憶されている条件と、読み取った情報とを照合することで、発生条件を満たすオブジェクトを検索する。発生条件を満たすオブジェクトを、客に提示するオブジェクトとして決定する。客に提示するオブジェクトを決定すると、決定モジュール２０３４は、決定したオブジェクトについてのオブジェクトＩＤを、来客情報テーブル２０２１における、該当する客のレコードの項目「発生オブジェクト」に記憶する。

【0101】

ステップＳ２４において、制御部２０３は、送信制御モジュール２０３２により、オブジェクトに関する情報を、端末装置１０へ送信する。オブジェクトに関する情報は、例えば、オブジェクトＩＤ、オブジェクト名、発生条件、オブジェクトデータ、演出内容、及び演出内容に対応する要件等を含む。オブジェクトに関する情報が端末装置１０に予め記憶されている場合、送信制御モジュール２０３２は、例えば、決定したオブジェクトについてのオブジェクトＩＤのみを端末装置１０へ送信するようにしてもよい。

【0102】

ステップＳ１３において、端末装置１０は、撮影データにオブジェクト画像を表示させる。具体的には、端末装置１０の制御部１９０は、サーバ２０からオブジェクト情報を受信すると、画像解析部１９４により、カメラ１６０により撮影された画像を解析する。より具体的には、例えば、画像解析部１９４は、撮影データに含まれる所定の領域、例えば、撮影データに含まれる、コード５２を検出する。画像解析部１９４は、検出したコード５２に記載されている情報を読み取る。

【0103】

制御部１９０は、表示制御部１９５により、読み取った情報に基づき、オブジェクト情報１８２からオブジェクトデータを読み出す。表示制御部１９５は、読み出したオブジェクトデータに基づくオブジェクト画像を作成する。表示制御部１９５は、作成したオブジェクト画像をディスプレイ１４１に表示させる。例えば、表示制御部１９５は、発生させたオブジェクト画像を、コード５２と対応する位置に表示させる。具体的には、例えば、表示制御部１９５は、コード５２と対応する位置に、作成したオブジェクト画像５３を重畳させる。

【0104】

図１２は、ディスプレイ１４１に表示される画像の例を表す模式図である。図１２において、表示制御部１９５は、オブジェクトの一例であるキャラクタがかごの中に存在するように、オブジェクト画像５３をディスプレイ１４１に表示させる。

【0105】

表示制御部１９５は、オブジェクト画像５３についての所定の演出を発生させる。

【0106】

（端末装置１０におけるオブジェクト画像の演出処理）
図１３は、端末装置１０が、表示するオブジェクト画像に演出を発生させる際の動作の例を表すフローチャートである。なお、図１３では、図１０に示すステップＳ１３においてオブジェクト画像を表示させる処理のその他の例を、ステップＳ１４～１６で説明している。

【0107】

ステップＳ１４において、表示制御部１９５は、演出に関する情報を取得する。具体的には、表示制御部１９５は、ユーザＩＤをキーとして、来客情報テーブル２０２１から生年月日、来店情報、購入情報、お気に入りキャラ、本日購入予定の商品に関する情報等を取得する。また、表示制御部１９５は、位置情報テーブル２０２３から、客の現在の位置に関する情報を取得する。また、表示制御部１９５は、環境情報テーブル２０２４から、天気に関する情報、及び暦に関する情報等を取得する。また、表示制御部１９５は、商品情報テーブル２０２５から、商品の陳列位置に関する情報を取得する。

【0108】

ステップＳ１５において、表示制御部１９５は、オブジェクト画像に実施させる演出を決定する。具体的には、表示制御部１９５は、例えば、取得した演出に関する情報と、オブジェクト情報１８２に記憶される、演出を発生させるための要件とを照合させる。表示制御部１９５は、要件を満たす演出を、オブジェクト画像に実施させる演出として決定する。要件を満たす演出が複数存在する場合、表示制御部１９５は、例えば、優先度が高く設定されている演出を、オブジェクト画像に実施させる演出として決定してもよい。

【0109】

ステップＳ１６において、表示制御部１９５は、撮影データに、演出を反映させたオブジェクト画像を表示させる。具体的には、表示制御部１９５は、画像解析部１９４により読み取られた情報に基づき、オブジェクト情報１８２からオブジェクトデータを読み出す。また、表示制御部１９５は、決定した演出についての演出内容をオブジェクト情報１８２から読み出す。表示制御部１９５は、読み出したオブジェクトデータと、読み出した演出内容とに基づき、演出を反映させたオブジェクト画像を作成する。表示制御部１９５は、作成したオブジェクト画像をディスプレイ１４１に表示させる。例えば、表示制御部１９５は、発生させたオブジェクト画像を、コード５２と対応する位置に表示させる。具体的には、例えば、表示制御部１９５は、コード５２と対応する位置に、作成したオブジェクト画像５３を重畳させる。

【0110】

ステップＳ１６では、表示制御部１９５が、決定した演出を反映させたオブジェクト画像を作成し、作成したオブジェクト画像をディスプレイ１４１に表示させる例を説明したが、これに限定されない。表示制御部１９５は、客からの操作入力に応じ、決定した演出を反映させたオブジェクト画像を作成し、作成したオブジェクト画像をディスプレイ１４１に表示させてもよい。また、要件を満たす演出が複数存在する場合、表示制御部１９５は、例えば、客から演出の選択を受け付け、選択された演出を反映させたオブジェクト画像を作成し、作成したオブジェクト画像をディスプレイ１４１に表示させてもよい。

【0111】

例えば、表示制御部１９５は、以下の画像をディスプレイ１４１に表示させる。
・来店回数、又は商品の購入に関する情報に基づき、進化したオブジェクト画像
・来店回数、又は商品の購入に関する情報に基づき、所定のアクセサリを身に着けたオブジェクト画像
・来店回数、又は商品の購入に関する情報に基づき、数が増えたオブジェクト画像
・客の位置情報と、商品の陳列情報とに基づき、客を所望の商品まで誘導する動作をするオブジェクト画像
・誕生日を祝う格好をしたオブジェクト画像
・誕生日を祝う動作をするオブジェクト画像
・所定の日を祝う格好をしたオブジェクト画像
・所定の日を祝う動作をするオブジェクト画像
・所定の曜日であることを示す格好をしたオブジェクト画像
・所定の曜日であることを示す動作をするオブジェクト画像
・設定されているオブジェクトがお気に入りキャラクタと一致することを示す格好をしたオブジェクト画像
・設定されているオブジェクトがお気に入りキャラクタと一致することを示す動作をするオブジェクト画像
・天気が所定の天気（例えば、雪）であることを示す格好をしたオブジェクト画像
・天気が所定の天気であることを示す動作をするオブジェクト画像

【0112】

図１４は、ディスプレイ１４１に表示される画像の例を表す模式図である。図１４において、表示制御部１９５は、オブジェクトの一例であるキャラクタが進化した状態でかごの中に存在するように、オブジェクト画像５３をディスプレイ１４１に表示させる。

【0113】

図１５は、ディスプレイ１４１に表示される画像の例を表す模式図である。図１５において、表示制御部１９５は、オブジェクトの一例であるキャラクタが所望の商品へ誘導するように、例えば、キャラクタが商品の方向を指し示すように、オブジェクト画像５３をディスプレイ１４１に表示させる。表示制御部１９５は、例えば、購入予定の商品についての情報を客から受け付ける。制御部１９０は、３次元測定装置４１により取得される客の現在位置と、客が購入を予定する商品の陳列位置に関する情報をサーバ２０から取得する。表示制御部１９５は、客の現在の位置から、商品の陳列位置までの経路を作成する。表示制御部１９５は、作成した経路を辿る誘導表示５４をディスプレイ１４１に表示させる。なお、誘導するための表示は上記に限定されない。目的の商品の陳列位置に、運搬具５０に対して表示されているオブジェクトと関連する所定のオブジェクトを表示させるようにしてもよい。

【0114】

また、表示制御部１９５は、オブジェクト画像５３をかごの中で表示することに限定されない。例えば、端末装置１０がカートに固定されていない場合、表示制御部１９５は、オブジェクトの一例であるキャラクタがかごから飛び出て、所望の商品へ移動するようにオブジェクト画像５３をディスプレイ１４１に表示させてもよい。これにより、例えば、キャラクタがかごから離れて客を商品へ誘導することが可能となる。

【0115】

ステップＳ１７において、画像解析部１９４は、カメラ１６０により撮影された画像を解析する。具体的には、例えば、画像解析部１９４は、撮影データに含まれる商品のうち、運搬具５０に入れられる商品を検出する。運搬具５０に入れられる商品は、かご内に載置される商品と換言可能である。画像解析部１９４は、例えば、学習済みモデルを利用して、運搬具５０に入れられた商品が所定の商品であることを検出する。

【0116】

ステップＳ１８において、表示制御部１９５は、オブジェクト画像に実施させる演出を決定する。具体的には、表示制御部１９５は、例えば、検出した商品と、オブジェクト情報１８２に記憶される、演出を発生させるための要件とを照合させる。表示制御部１９５は、所定の商品の検出を要件とする演出を、オブジェクト画像に実施させる演出として決定する。演出は商品毎に異なるように設定されていてもよい。

【0117】

ステップＳ１９において、表示制御部１９５は、撮影データに、演出を反映させたオブジェクト画像を表示させる。具体的には、表示制御部１９５は、決定した演出についての演出内容をオブジェクト情報１８２から読み出す。表示制御部１９５は、読み出した演出内容を、表示しているオブジェクト画像に反映させる。

【0118】

図１６は、ディスプレイ１４１に表示される画像の例を表す模式図である。図１６において、表示制御部１９５は、かごに入れられた商品５５に応じた動作をオブジェクトが取るように、オブジェクト画像５３をディスプレイ１４１に表示させる。図１６では、商品５５がかごに入れられることにより、オブジェクト画像５３が喜ぶ動作を実施する。

【0119】

（サーバ２０によるディスプレイ３０でのオブジェクト画像の表示処理）
図１７は、サーバ２０が、ディスプレイ３０に表示させる画像にオブジェクト画像を発生させる際の動作の例を表すフローチャートである。

【0120】

ステップＳ３１において、サーバ２０の制御部２０３は、受信制御モジュール２０３１により、撮影データを取得する。具体的には、受信制御モジュール２０３１は、撮影装置４２で撮影された撮影データを取得する。

【0121】

図１８は、取得される撮影データに基づく画像の例を表す模式図である。図１８において、撮影装置４２は、例えば、複数のカートと、カートに載置されるかごを撮影する。これにより、ディスプレイ３０には、複数のカートと、カートに載置されるかごが表示される。図１８に示す例では、かごの側面にコード５２が貼付されている。コード５２は、拡張現実によるオブジェクト画像を発生させるための領域の一例である。

【0122】

ステップＳ３２において、制御部２０３は、画像解析モジュール２０３３により、取得した画像を解析する。例えば、画像解析モジュール２０３３は、撮影データに含まれる所定の領域を検出する。より具体的には、例えば、画像解析モジュール２０３３は、撮影データに含まれる、コード５２を検出する。画像解析モジュール２０３３は、検出したコード５２に記載されている情報を読み取る。

【0123】

ステップＳ３３において、制御部２０３は、決定モジュール２０３４により、客に対して発生させるオブジェクトを決定する。具体的には、例えば、決定モジュール２０３４は、コード５２に記載されている情報を取得する。決定モジュール２０３４は、オブジェクト情報テーブル２０２２の項目「発生条件」に記憶されている条件と、読み取った情報とを照合することで、発生条件を満たすオブジェクトを検索する。発生条件を満たすオブジェクトを、客に提示するオブジェクトとして決定する。

【0124】

ステップＳ３４において、表示制御モジュール２０３５は、演出に関する情報を取得する。例えば、表示制御モジュール２０３５は、決定したオブジェクトに基づき、当該オブジェクトが割り当てられている客を特定する。具体的には、表示制御モジュール２０３５は、オブジェクトＩＤをキーとして、来客情報テーブル２０２１から、当該オブジェクトが割り当てられた客のユーザＩＤを取得する。表示制御モジュール２０３５は、来客情報テーブル２０２１から、取得したユーザＩＤと関連付けられている生年月日、来店情報、購入情報、お気に入りキャラ、本日購入予定の商品に関する情報等を取得する。また、表示制御モジュール２０３５は、位置情報テーブル２０２３から、取得したユーザＩＤに基づき、客の現在の位置に関する情報を取得する。また、表示制御モジュール２０３５は、環境情報テーブル２０２４から、天気に関する情報、及び暦に関する情報等を取得する。

【0125】

ステップＳ３５において、表示制御モジュール２０３５は、オブジェクト画像に実施させる演出を決定する。具体的には、表示制御モジュール２０３５は、例えば、取得した演出に関する情報と、オブジェクト情報テーブル２０２２に記憶される、演出を発生させるための要件とを照合させる。表示制御モジュール２０３５は、要件を満たす演出を、オブジェクト画像に実施させる演出として決定する。要件を満たす演出が複数存在する場合、表示制御モジュール２０３５は、例えば、優先度が高く設定されている演出を、オブジェクト画像に実施させる演出として決定してもよい。

【0126】

ステップＳ３６において、表示制御モジュール２０３５は、撮影データに、演出を反映させたオブジェクト画像を表示させる。具体的には、表示制御モジュール２０３５は、画像解析モジュール２０３３により読み取られた情報に基づき、オブジェクト情報テーブル２０２２からオブジェクトデータを読み出す。また、表示制御モジュール２０３５は、決定した演出についての演出内容をオブジェクト情報テーブル２０２２から読み出す。表示制御モジュール２０３５は、読み出したオブジェクトデータと、読み出した演出内容とに基づき、演出を反映させたオブジェクト画像を作成する。表示制御モジュール２０３５は、作成したオブジェクト画像をディスプレイ３０に表示させる。例えば、表示制御モジュール２０３５は、発生させたオブジェクト画像を、コード５２と対応する位置に表示させる。具体的には、例えば、表示制御モジュール２０３５は、コード５２と対応する位置に、作成したオブジェクト画像５３を重畳させる。

【0127】

図１９は、ディスプレイ３０に表示される画像の例を表す模式図である。図１９において、表示制御モジュール２０３５は、撮影データに基づく画像に含まれる運搬具５０にオブジェクトの一例であるキャラクタが存在するように、オブジェクト画像５３をディスプレイ３０に表示させる。

【0128】

また、図１９において、表示制御モジュール２０３５は、オブジェクトの一例であるキャラクタを、かごの中だけでなく、かごの外にも表示させるようにしてもよい。かごの外は、例えば、かごの外であり、かつ、運搬具５０の近傍である位置を表す。例えば、客が運搬具５０を所定の位置に留め、所望の商品を取りに行く場合がある。表示制御モジュール２０３５は、運搬具５０から離れた客を追随するように、キャラクタをかごから出して客の方向へ移動させてもよい。また、表示制御モジュール２０３５は、客が運搬具５０を再度利用する際に、キャラクタを再びかごに収めるように移動させてもよい。これにより、客はキャラクタを連れ歩く感覚で買い物を楽しむことが可能となる。

【0129】

図９～図１６での説明では、店舗から貸与されるタブレット端末が端末装置１０として利用される場合を説明した。しかしながら、店舗内で利用される端末装置１０は、客が所有するスマートフォンであってもよい。このとき、客は、スマートフォンに所定のアプリケーションをインストールしておくことで、又は、ウェブブラウザにより所定のサイトへアクセスすることで、図９～図１６で説明した買い物を体験することが可能となる。

【0130】

以上のように、上記実施形態では、商品を運搬するための運搬具５０は、少なくとも一部に、拡張現実によるオブジェクト画像を発生させるための領域を含む。カメラ１６０、又は撮影装置４２は、運搬具５０を含む範囲を撮影する。表示制御部１９５、又は表示制御モジュール２０３５は、撮影された範囲に含まれる領域に対応するオブジェクト画像を作成する。表示制御部１９５、又は表示制御モジュール２０３５は、作成したオブジェクト画像を、範囲についての画像における領域と対応する位置に表示する。これにより、かごの中に拡張現実によるオブジェクトが発生するようになり、まるで、オブジェクトと一緒に買い物をしているような体験が得られる。また、運搬具５０毎に発生するオブジェクト画像が異なるため、次に来店する楽しみが増えることになる。

【0131】

したがって、本実施形態に係るシステムによれば、ＡＲを活用し、興趣性の高い買い物体験を提供できる。

【0132】

また、上記実施形態では、表示制御部１９５、又は表示制御モジュール２０３５は、オブジェクト画像に所定の演出を発生させる。これにより、買い物の興趣性がより向上することになる。

【0133】

また、上記実施形態では、端末装置１０、又はサーバ２０は、来店した客についてのユーザ情報を取得する。表示制御部１９５、又は表示制御モジュール２０３５は、取得したユーザ情報に基づく演出をオブジェクト画像に発生させる。これにより、誕生日、来店履歴、又は購入履歴等に基づいてオブジェクト画像に対して演出が発生するため、買い物の興趣性がより向上することになる。また、他の客と異なる演出が楽しめるため、来店する動機付けになり、また、商品を購入する動機付けになり得る。

【0134】

また、上記実施形態では、端末装置１０、又はサーバ２０は、環境情報を取得する。表示制御部１９５、又は表示制御モジュール２０３５は、取得した環境情報に基づく演出をオブジェクト画像に発生させる。これにより、暦、天気等の環境に基づく情報に基づいてオブジェクト画像に対して演出が発生するため、買い物の興趣性がより向上することになる。

【0135】

また、上記実施形態では、サーバ２０は、来店した客についてのユーザ情報を取得する。３次元測定装置４１は、店内の客の位置を測定する。サーバ２０は、ユーザ情報と、客の位置とを関連付ける。これにより、客が店内をどのように移動したかを把握することが可能となり、店舗内の導線について検討を深めることが可能となる。

【0136】

また、上記実施形態では、表示制御部１９５、又は表示制御モジュール２０３５は、ユーザ情報と、客の位置とに基づく演出をオブジェクト画像に発生させる。これにより、客の位置に応じた演出を発生させることが可能となり、買い物の興趣性がより向上することになる。

【0137】

また、上記実施形態では、撮影装置４２は、複数の運搬具５０を含む範囲を撮影する。表示制御モジュール２０３５は、範囲に含まれる複数の運搬具の複数の領域にそれぞれ対応するオブジェクト画像を作成する。表示制御モジュール２０３５は、作成したオブジェクト画像を、範囲についての画像における複数の領域とそれぞれ対応する位置に表示する。

【0138】

また、上記実施形態では、送受信部１９２は、運搬具５０に入れられる商品を撮影したデータを取得する。表示制御部１９５は、運搬具５０に入れられた商品に基づく演出をオブジェクト画像に発生させる。これにより、商品をかごに入れるとオブジェクトが動作するため、買い物がより楽しくなる。

【0139】

また、上記実施形態では、表示制御部１９５は、商品に応じてオブジェクト画像に発生させる演出を異ならせる。これにより、かごに入れた商品に応じてオブジェクトが動作するため、買い物がさらに楽しくなる。

【0140】

また、上記実施形態では、端末装置１０は、来店した客についてのユーザ情報を取得する。端末装置１０は、店内の客の位置を測定した位置情報を取得する。表示制御部１９５は、ユーザ情報と、位置情報とに基づき、客が所望する商品へ、客を誘導する演出をオブジェクト画像に発生させる。これにより、目的の商品を探す行為まで楽しくなる。

【0141】

＜変形例＞
上記実施形態では、運搬具５０に貼付されたコードから情報を読み取り、読み取った情報に基づきオブジェクト画像を決定する例を説明した。しかしながら、オブジェクト画像の決定は、コードから読み取った情報に基づくものに限定されない。例えば、画像解析部１９４、又は画像解析モジュール２０３３が画像を解析することで、運搬具５０を検出し、検出した運搬具５０の特徴を取得する。決定モジュール２０３４は、取得した運搬具５０の特徴に基づいてオブジェクト画像を決定してもよい。具体的には、例えば、画像解析部１９４、又は画像解析モジュール２０３３は、画像を解析し、撮影データからかごを検出する。画像解析部１９４、又は画像解析モジュール２０３３は、検出したかごの色を取得する。決定モジュール２０３４は、取得したかごの色に基づいてオブジェクト画像を決定する。

【0142】

また、上記実施形態において、客の買い物が終了した際に、オブジェクトが帰る演出がなされてもよい。具体的には、例えば、表示制御部１９５、又は表示制御モジュール２０３５は、以下の場合に、オブジェクトが帰る演出をディスプレイに表示させる。
・運搬具５０を所定の位置にもどしたとき
・かごを所定の位置に戻したとき
・レジカウンターでかごを店員に渡したとき
オブジェクトが帰る演出は、例えば、オブジェクトの一例であるキャラクタが所定の住処に戻る演出、キャラクタが所定の状態に戻る演出等を含む。オブジェクトが帰る演出を発生させることで、来店する度に同じ個体のオブジェクトと会えるように感じられ、来店することがより楽しみになる。

【0143】

その日にオブジェクトと交流した情報は、例えば、ユーザ情報の所定のパラメータとして蓄積されてもよい。オブジェクトがキャラクタである場合、所定のパラメータは、例えば、客に対するキャラクタの懐き度としてあらわされ得る。

【0144】

また、上記実施形態では、オブジェクト同士の影響については記載されていない。しかしながら、異なる領域に基づいて発生したオブジェクト画像同士が反応し合うようにしてもよい。具体的には、例えば、表示制御部１９５、又は表示制御モジュール２０３５は、客同士の位置情報に基づき、客同士が近接したことを認識する。例えば、表示制御部１９５、又は表示制御モジュール２０３５は、すれ違ったこと、並走したことを認識する。表示制御部１９５、又は表示制御モジュール２０３５は、客同士が近接した方向へ、オブジェクトが所定の動作を取るように、オブジェクト画像を制御する。これにより、例えば、オブジェクト同士が挨拶等の交流をしているように見えるようになり、買い物がより楽しいものとなる。

【0145】

また、かごに対応付けられていないオブジェクト画像が表示される場合において、オブジェクト画像同士が反応し合うようにしてもよい。かごに対応付けられていないオブジェクト画像は、例えば、商品の陳列棚に対応付けられたオブジェクト画像、入り口に対応付けられたオブジェクト画像、所定のモニュメントに対応付けられたオブジェクト画像等を含む。例えば、かごに対応付けられていないオブジェクト画像を発生させるための領域の近傍へ客が移動した場合、表示制御部１９５、又は表示制御モジュール２０３５は、客の位置情報に基づき、客がその領域に接近したことを認識する。表示制御部１９５、又は表示制御モジュール２０３５は、その領域が位置する方向へ、かごに対応付けられたオブジェクトが所定の動作を取るように、オブジェクト画像を制御する。また、表示制御部１９５、又は表示制御モジュール２０３５は、客が存在する方向へ、かごに対応付けられていないオブジェクトが所定の動作を取るように、オブジェクト画像を制御する。

【0146】

また、上記実施形態では、他の客と関連するオブジェクトが、自身に向かって動作することについては記載されていない。しかしながら、他の客と関連するオブジェクトが、自身に向かって動作してもよい。具体的には、例えば、表示制御部１９５、又は表示制御モジュール２０３５は、客同士の位置情報に基づき、客同士が近接したことを認識する。表示制御部１９５、又は表示制御モジュール２０３５は、近接した他の客のユーザ情報に基づき、他の客へ、オブジェクトが所定の動作を取るように、オブジェクト画像を制御する。これにより、例えば、他の客の事情、例えば、その日が誕生日である等に応じ、オブジェクトに特別な動作を取らせることが可能となり、買い物がより楽しいものとなる。

【0147】

また、上記実施形態では、店員に対してオブジェクト画像が動作することについては記載されていない。しかしながら、オブジェクト画像が店員に対して反応するようにしてもよい。具体的には、例えば、表示制御部１９５、又は表示制御モジュール２０３５は、店員の位置情報に基づき、客と店員とが近接したことを認識する。表示制御部１９５、又は表示制御モジュール２０３５は、客と店員とが近接した方向へ、オブジェクトが所定の動作を取るように、オブジェクト画像を制御する。これにより、例えば、オブジェクトが店員に対して挨拶等の交流をしているように見えるようになり、買い物がより楽しいものとなる。

【0148】

＜４ コンピュータの基本ハードウェア構成＞
図２０は、コンピュータ９０の基本的なハードウェア構成を示すブロック図である。コンピュータ９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、通信ＩＦ９９（インタフェース、Interface）を少なくとも備える。これらはバスにより相互に電気的に接続される。

【0149】

プロセッサ９１とは、プログラムに記述された命令セットを実行するためのハードウェアである。プロセッサ９１は、演算装置、レジスタ、周辺回路等から構成される。

【0150】

主記憶装置９２とは、プログラム、及びプログラム等で処理されるデータ等を一時的に記憶するためのものである。例えば、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。

【0151】

補助記憶装置９３とは、データ及びプログラムを保存するための記憶装置である。例えば、フラッシュメモリ、ＨＤＤ（Hard Disc Drive）、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等である。

【0152】

通信ＩＦ９９とは、有線又は無線の通信規格を用いて、他のコンピュータとネットワークを介して通信するための信号を入出力するためのインタフェースである。

【0153】

ネットワークは、インターネット、ＬＡＮ、無線基地局等によって構築される各種移動通信システム等で構成される。例えば、ネットワークには、３Ｇ、４Ｇ、５Ｇ移動通信システム、ＬＴＥ（Long Term Evolution）、所定のアクセスポイントによってインターネットに接続可能な無線ネットワーク（例えばWi-Fi（登録商標））等が含まれる。無線で接続する場合、通信プロトコルとして例えば、Ｚ－Ｗａｖｅ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が含まれる。有線で接続する場合は、ネットワークには、ＵＳＢ（Universal Serial Bus）ケーブル等により直接接続するものも含む。

【0154】

なお、各ハードウェア構成の全部または一部を複数のコンピュータ９０に分散して設け、ネットワークを介して相互に接続することによりコンピュータ９０を仮想的に実現することができる。このように、コンピュータ９０は、単一の筐体、ケースに収納されたコンピュータ９０だけでなく、仮想化されたコンピュータシステムも含む概念である。

【0155】

＜コンピュータ９０の基本機能構成＞
図２０に示すコンピュータ９０の基本ハードウェア構成により実現されるコンピュータの機能構成を説明する。コンピュータは、制御部、記憶部、通信部の機能ユニットを少なくとも備える。

【0156】

なお、コンピュータ９０が備える機能ユニットは、それぞれの機能ユニットの全部または一部を、ネットワークで相互に接続された複数のコンピュータ９０に分散して設けても実現することができる。コンピュータ９０は、単一のコンピュータ９０だけでなく、仮想化されたコンピュータシステムも含む概念である。

【0157】

制御部は、プロセッサ９１が補助記憶装置９３に記憶された各種プログラムを読み出して主記憶装置９２に展開し、当該プログラムに従って処理を実行することにより実現される。制御部は、プログラムの種類に応じて様々な情報処理を行う機能ユニットを実現することができる。これにより、コンピュータは情報処理を行う情報処理装置として実現される。

【0158】

記憶部は、主記憶装置９２、補助記憶装置９３により実現される。記憶部は、データ、各種プログラム、各種データベースを記憶する。また、プロセッサ９１は、プログラムに従って記憶部に対応する記憶領域を主記憶装置９２または補助記憶装置９３に確保することができる。また、制御部は、各種プログラムに従ってプロセッサ９１に、記憶部に記憶されたデータの追加、更新、削除処理を実行させることができる。

【0159】

データベースは、リレーショナルデータベースを指し、行と列によって構造的に規定された表形式のテーブルと呼ばれるデータ集合を、互いに関連づけて管理するためのものである。データベースでは、表をテーブル、表の列をカラム、表の行をレコードと呼ぶ。リレーショナルデータベースでは、テーブル同士の関係を設定し、関連づけることができる。

【0160】

通常、各テーブルにはレコードを一意に特定するためのキーとなるカラムが設定されるが、カラムへのキーの設定は必須ではない。制御部は、各種プログラムに従ってプロセッサ９１に、記憶部に記憶された特定のテーブルにレコードを追加、削除、更新を実行させることができる。

【0161】

通信部は、通信ＩＦ９９により実現される。通信部は、ネットワークを介して他のコンピュータ９０と通信を行う機能を実現する。通信部は、他のコンピュータ９０から送信された情報を受信し、制御部へ入力することができる。制御部は、各種プログラムに従ってプロセッサ９１に、受信した情報に対する情報処理を実行させることができる。また、通信部は、制御部から出力された情報を他のコンピュータ９０へ送信することができる。

【0162】

以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

【0163】

＜付記＞
以上の各実施形態で説明した事項を以下に付記する。
（付記１）
商品を運搬するための運搬具であって、少なくとも一部に、拡張現実によるオブジェクト画像を発生させるための領域を含む運搬具と、運搬具を含む範囲を撮影する手段と、範囲に含まれる領域に対応するオブジェクト画像を作成する手段と、作成したオブジェクト画像を、範囲についての画像における領域と対応する位置に表示する手段とを具備するシステム。
（付記２）
表示する手段は、オブジェクト画像に所定の演出を発生させる（付記１）に記載のシステム。
（付記３）
来店した客についてのユーザ情報を取得する手段を具備し、表示する手段は、取得したユーザ情報に基づく演出をオブジェクト画像に発生させる（付記２）に記載のシステム。
（付記４）
環境情報を取得する手段を具備し、表示する手段は、取得した環境情報に基づく演出をオブジェクト画像に発生させる（付記２）に記載のシステム。
（付記５）
来店した客についてのユーザ情報を取得する手段と、店内の客の位置を測定する手段と、ユーザ情報と、客の位置とを関連付ける手段とを具備する（付記２）に記載のシステム。
（付記６）
表示する手段は、ユーザ情報と、客の位置とに基づく演出をオブジェクト画像に発生させる（付記５）に記載のシステム。
（付記７）
撮影する手段は、複数の運搬具を含む範囲を撮影し、作成する手段は、範囲に含まれる複数の運搬具の複数の領域にそれぞれ対応するオブジェクト画像を作成し、表示する手段は、作成したオブジェクト画像を、範囲についての画像における複数の領域とそれぞれ対応する位置に表示する（付記１）乃至（付記４）のいずれかに記載のシステム。
（付記８）
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、商品を運搬するための運搬具であって、少なくとも一部に、拡張現実によるオブジェクト画像を発生させるための領域を含む運搬具を撮影したデータを取得するステップと、取得したデータに含まれる領域に対応するオブジェクト画像を作成するステップと、作成したオブジェクト画像を、撮影したデータに基づく画像における領域と対応する位置に表示するステップとを実行させるプログラム。
（付記９）
運搬具を撮影したデータを取得するステップは、運搬具に入れられる商品を撮影したデータを取得し、表示するステップは、商品に基づく演出をオブジェクト画像に発生させる（付記８）に記載のプログラム。
（付記１０）
表示するステップは、商品に応じてオブジェクト画像に発生させる演出を異ならせる（付記９）に記載のプログラム。
（付記１１）
来店した客についてのユーザ情報を取得するステップと、店内の客の位置を測定した位置情報を取得するステップとをプロセッサに実行させ、表示するステップは、ユーザ情報と、位置情報とに基づき、客が所望する商品へ、客を誘導する演出をオブジェクト画像に発生させる（付記８）に記載のプログラム。
（付記１２）
プロセッサと、メモリとを備えるコンピュータに実行される方法であって、プロセッサが、商品を運搬するための運搬具であって、少なくとも一部に、拡張現実によるオブジェクト画像を発生させるための領域を含む運搬具を撮影したデータを取得するステップと、取得した前記データに含まれる領域に対応するオブジェクト画像を作成するステップと、作成したオブジェクト画像を、撮影したデータに基づく画像における領域と対応する位置に表示するステップと
を実行する方法。
（付記１３）
制御部と、記憶部とを備える情報処理装置であって、制御部が、商品を運搬するための運搬具であって、少なくとも一部に、拡張現実によるオブジェクト画像を発生させるための領域を含む運搬具を撮影したデータを取得するステップと、取得したデータに含まれる領域に対応するオブジェクト画像を作成するステップと、作成したオブジェクト画像を、撮影したデータに基づく画像における領域と対応する位置に表示するステップとを実行する情報処理装置。

【符号の説明】

【0164】

１…システム
１０…端末装置
１２…通信ＩＦ
１２０…通信部
１３…入力装置
１３１…タッチ・センシティブ・デバイス
１４…出力装置
１４１…ディスプレイ
１５…メモリ
１５０…位置情報センサ
１６…ストレージ
１６０…カメラ
１７…音声処理部
１７１…マイク
１７２…スピーカー
１８０…記憶部
１９…プロセッサ
１９０…制御部
２０…サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】