特開 2023-142228 プログラム、方法、情報処理装置、システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023142228

(43)【公開日】2023-10-05

(54)【発明の名称】プログラム、方法、情報処理装置、システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230928BHJP

   G06F 3/04815 20220101ALI20230928BHJP

   G06F 3/01 20060101ALI20230928BHJP

【ＦＩ】

G06T19/00 600

G06F3/04815

G06F3/01 510

【審査請求】有

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2022049005

(22)【出願日】2022-03-24

(71)【出願人】

【識別番号】504440133

【氏名又は名称】株式会社ポケモン

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ弁理士法人

(72)【発明者】

【氏名】笹川 紋

(72)【発明者】

【氏名】山本 篤子

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050BA09

5B050BA13

5B050CA07

5B050CA08

5B050DA04

5B050DA10

5B050EA06

5B050EA07

5B050EA18

5B050EA19

5B050EA27

5B050FA02

5B050FA09

5B050GA08

5E555AA64

5E555AA76

5E555BB05

5E555BB06

5E555BC04

5E555BE17

5E555CA42

5E555DA08

5E555DB32

5E555DB53

5E555DC09

5E555DC43

5E555EA03

5E555EA05

5E555EA22

5E555FA00

(57)【要約】

【課題】列で待機する際の興趣性を高める。
【解決手段】プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、来店者による列が形成され得る第１領域に、拡張現実によるオブジェクト画像を発生させるための第２領域が所定間隔毎に複数配置されており、第１領域について撮影した撮影データを取得するステップと、取得した撮影データに基づき、第２領域を検出するステップと、検出した第２領域に対応したオブジェクト画像を作成するステップと、作成したオブジェクト画像を、第２領域と対応する位置に表示させるステップとを実行させる。
【選択図】図１０

【特許請求の範囲】

【請求項1】

プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
来店者による列が形成され得る第１領域に、拡張現実によるオブジェクト画像を発生させるための第２領域が所定間隔毎に複数配置されており、前記第１領域について撮影した撮影データを取得するステップと、
取得した前記撮影データに基づき、前記第２領域を検出するステップと、
検出した前記第２領域に対応したオブジェクト画像を作成するステップと、
作成した前記オブジェクト画像を、前記第２領域と対応する位置に表示させるステップと
を実行させるプログラム。

【請求項2】

前記オブジェクト画像を表示させるステップにおいて、前記撮影データに基づく画像を表示させ、画像中の第２領域に対応する位置にオブジェクト画像を重畳して表示する請求項１記載のプログラム。

【請求項3】

前記検出するステップにおいて、列に並んでいる来店者を検出し、来店者の検出結果を利用して前記第２領域を検出し、
前記オブジェクト画像を表示させるステップにおいて、来店者に対して列の形成方向後方の前記第２領域と対応する位置に前記オブジェクト画像を表示させる請求項１又は２に記載のプログラム。

【請求項4】

前記検出するステップにおいて、列の最後尾に並んでいる来店者を検出し、前記最後尾の来店者の検出結果を利用して前記第２領域を検出し、
前記オブジェクト画像を表示させるステップにおいて、最後尾の来店者の後ろにオブジェクト画像を表示させる請求項３記載のプログラム。

【請求項5】

前記オブジェクト画像を作成するステップにおいて、ユーザ情報に基づいて前記オブジェクト画像を作成する請求項１乃至４のいずれかに記載のプログラム。

【請求項6】

前記オブジェクト画像を作成するステップにおいて、前記ユーザ情報に含まれる来店ログ、購入ログ、特別な日、又はお気に入りに関する情報に基づいて前記オブジェクト画像を作成する請求項５記載のプログラム。

【請求項7】

前記オブジェクト画像を作成するステップにおいて、環境情報に基づいて前記オブジェクト画像を作成する請求項１乃至４のいずれかに記載のプログラム。

【請求項8】

前記オブジェクト画像を作成するステップにおいて、前記環境情報に含まれる暦、又は天気に関する情報に基づいて前記オブジェクト画像を作成する請求項７記載のプログラム。

【請求項9】

演出発生の要件を満たすか否かを判断するステップを前記プロセッサに実行させ、
前記オブジェクト画像を表示させるステップにおいて、満たした要件に応じた演出を前記オブジェクト画像に行わせる請求項１乃至８のいずれかに記載のプログラム。

【請求項10】

前記判断するステップにおいて、列に加わった来店者を検出し、
前記オブジェクト画像を表示させるステップにおいて、列に加わる演出を前記オブジェクト画像に行わせる請求項９記載のプログラム。

【請求項11】

前記判断するステップにおいて、列に沿って先に進む来店者を検出し、
前記オブジェクト画像を表示させるステップにおいて、列に沿って進む演出を前記オブジェクト画像に行わせる請求項９記載のプログラム。

【請求項12】

前記判断するステップにおいて、列から外れた来店者を検出し、
前記オブジェクト画像を表示させるステップにおいて、列から外れる演出を前記オブジェクト画像に行わせる請求項９記載のプログラム。

【請求項13】

前記判断するステップにおいて、前記オブジェクト画像への干渉を検出し、
前記オブジェクト画像を表示させるステップにおいて、干渉に応じた動作を前記オブジェクト画像に行わせる請求項９記載のプログラム。

【請求項14】

プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、
来店者による列が形成され得る第１領域に、拡張現実によるオブジェクト画像を発生させるための第２領域が所定間隔毎に複数配置されており、前記第１領域について撮影した撮影データを取得するステップと、
取得した前記撮影データに基づき、前記第２領域を検出するステップと、
検出した前記第２領域に対応したオブジェクト画像を作成するステップと、
作成した前記オブジェクト画像を、前記第２領域と対応する位置に表示させるステップと
を実行する方法。

【請求項15】

制御部と、記憶部とを備える情報処理装置であって、前記制御部が、
来店者による列が形成され得る第１領域に、拡張現実によるオブジェクト画像を発生させるための第２領域が所定間隔毎に複数配置されており、前記第１領域について撮影した撮影データを取得するステップと、
取得した前記撮影データに基づき、前記第２領域を検出するステップと、
検出した前記第２領域に対応したオブジェクト画像を作成するステップと、
作成した前記オブジェクト画像を、前記第２領域と対応する位置に表示させるステップと
を実行する情報処理装置。

【請求項16】

来店者による列が形成され得る第１領域と、
前記第１領域内に所定間隔毎に複数配置される、拡張現実によるオブジェクト画像を発生させるための第２領域と
を具備するシステム。

【請求項17】

前記第１領域には、来店者が停止する位置を表す印が、前記第２領域とは別に配置される請求項１６記載のシステム。

【請求項18】

前記第１領域において、前記印と、前記第２領域とは交互に配置される請求項１７記載のシステム。

【請求項19】

前記第１領域について撮影した撮影データを取得する手段と、
取得した前記撮影データに基づき、前記第２領域を検出する手段と、
検出した前記第２領域に対応したオブジェクト画像を作成する手段と、
作成した前記オブジェクト画像を、前記第２領域と対応する位置に表示させる手段と
を具備する請求項１６乃至１８のいずれかに記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プログラム、方法、情報処理装置、システムに関する。

【背景技術】

【0002】

近年、ＡＲ（Augmented Reality）やＭＲ（Mixed Reality）に関する技術が発展している（特許文献１参照）。ＡＲやＭＲは、ユーザが視認している現実空間に対して情報を付加等することで、ユーザが見ている現実の世界を拡張する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１６－５０６５６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

人が密集しやすい場所において、密集を避ける工夫がいたる所でなされている。例えば、会計を待つ列では、会計待ちのスペースの床に、顧客の存在位置を示すサインを設置することで、会計列における顧客間の距離を確保するようにしている。しかしながら、間隔を開けた状態を維持しながら列で待機することは興趣性に乏しい。

【0005】

本開示の目的は、列で待機する際の興趣性を高めることである。

【課題を解決するための手段】

【0006】

プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、来店者による列が形成され得る第１領域に、拡張現実によるオブジェクト画像を発生させるための第２領域が所定間隔毎に複数配置されており、第１領域について撮影した撮影データを取得するステップと、取得した撮影データに基づき、第２領域を検出するステップと、検出した第２領域に対応したオブジェクト画像を作成するステップと、作成したオブジェクト画像を、第２領域と対応する位置に表示させるステップとを実行させる。

【発明の効果】

【0007】

本開示によれば、列で待機する際の興趣性を高めることができる。

【図面の簡単な説明】

【0008】

【図1】システム１の全体構成の例を示すブロック図である。

【図2】図１に示す端末装置１０の構成例を表すブロック図である。

【図3】サーバ２０の機能的な構成の例を示す図である。

【図4】ユーザ情報１８１のデータ構造を示す図である。

【図5】オブジェクト情報１８２のデータ構造を示す図である。

【図6】環境情報１８３のデータ構造を示す図である。

【図7】本実施形態に係る店舗内のレジカウンター周辺の領域を表す模式図である。

【図8】端末装置１０が列内にオブジェクト画像を発生させる際の動作の例を表すフローチャートである。

【図9】本実施形態に係る表示制御部１９５がオブジェクト画像を表示する際の動作の具体例を表すフローチャートである。

【図10】本実施形態に係るディスプレイ１４１の表示例を表す模式図である。

【図11】本実施形態に係るディスプレイ１４１の表示例を表す模式図である。

【図12】本実施形態に係るディスプレイ１４１の表示例を表す模式図である。

【図13】本実施形態に係るディスプレイ１４１の表示例を表す模式図である。

【図14】本実施形態に係るディスプレイ１４１の表示例を表す模式図である。

【図15】本実施形態に係るディスプレイ１４１の表示例を表す模式図である。

【図16】本実施形態に係るディスプレイ１４１の表示例を表す模式図である。

【図17】サーバ２０が列内にオブジェクト画像を発生させる際の動作の例を表すフローチャートである。

【図18】本実施形態に係るディスプレイ３０の表示例を表す模式図である。

【図19】本実施形態に係る店舗内のレジカウンター周辺の領域のその他の例を表す模式図である。

【図20】本実施形態に係るディスプレイ１４１の表示例を表す模式図である。

【図21】本実施形態に係るディスプレイ１４１の表示例を表す模式図である。

【図22】コンピュータ９０の基本的なハードウェア構成を示すブロック図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しつつ、本開示の実施形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

【0010】

＜概略＞
本実施形態に係るシステムは、例えば、客が列をなす設備で構築される。システムは、列に並ぶ客の間に配置させた所定の領域を認識し、認識した領域にオブジェクトが存在していると客が把握可能なように、オブジェクト画像を発生させる。これにより、客はオブジェクトと一緒に列に並んでいるように感じることが可能となり、列に並ぶという退屈であるはずの時間が楽しく感じられることになる。

【0011】

＜１ システム全体の構成図＞
図１は、システム１の全体構成の例を示すブロック図である。図１に示すシステム１は、例えば、端末装置１０、サーバ２０、ディスプレイ３０、及び撮影装置４１を含む。端末装置１０、サーバ２０、ディスプレイ３０、及び撮影装置４１は、例えば、ネットワーク８０を介して通信接続する。

【0012】

図１において、システム１が端末装置１０を１台含む例を示しているが、システム１に含まれる端末装置１０の数は、１台に限定されない。システム１に含まれる端末装置１０は、１台以上であってもよい。

【0013】

図１において、システム１がサーバ２０を１台含む例を示しているが、システム１に含まれるサーバ２０の数は、１台に限定されない。サーバ２０は、有する機能に応じ、複数のサーバから構成されていてもよい。また、サーバ２０は、例えば、複数の装置の集合体を１つのサーバとしてもよい。１つ又は複数のハードウェアに対して本実施形態に係るサーバ２０を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力及び／又はサーバ２０に求められる仕様等に鑑みて適宜決定することができる。

【0014】

図１において、システム１がディスプレイ３０及び撮影装置４１を１台ずつ含む例を示しているが、システム１に含まれるディスプレイ３０及び撮影装置４１の数は、１台ずつに限定されない。システム１に含まれるディスプレイ３０及び撮影装置４１は、１台以上であってもよい。

【0015】

図１に示す端末装置１０は、例えば、列に並ぶ客が操作する情報処理装置である。端末装置１０は、例えば、スマートフォン、タブレット等の携帯端末により実現される。端末装置１０は、ＨＭＤ（Head Mount Display）等のウェアラブル端末であってもよい。

【0016】

端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、ストレージ１６と、プロセッサ１９とを備える。入力装置１３は、ユーザからの入力操作を受け付けるための装置（例えば、タッチパネル、タッチパッド等）である。出力装置１４は、ユーザに対して情報を提示するための装置（ディスプレイ、スピーカー等）である。

【0017】

サーバ２０は、例えば、客に関する情報等を管理する情報処理装置である。

【0018】

サーバ２０は、例えば、ネットワーク８０に接続されたコンピュータにより実現される。図１に示すように、サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対して情報を提示するための出力装置とのインタフェースとして機能する。

【0019】

ディスプレイ３０は、サーバ２０の制御に応じたデータを表示する。ディスプレイ３０は、例えば、列が形成される施設に設置され、施設の状況を撮影した画像を表示する。ディスプレイ３０は、例えば、ＬＣＤ（Liquid Crystal Display）、又は有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。

【0020】

撮影装置４１は、受光素子により光を受光し、撮影データとして出力するためのデバイスである。撮影装置４１は、例えば、所定の画角で施設内の所定の位置を撮影可能に設置される。具体的には、撮影装置４１は、例えば、施設内の所定の処理を待つ列を撮影可能に設置される。撮影装置４１は、撮影データをサーバ２０へ出力する。

【0021】

施設内において、列が発生し得る領域には、拡張現実によるオブジェクト画像を発生させるための領域が、所定間隔毎に複数設けられている。拡張現実によるオブジェクト画像を発生させるための領域は、例えば、以下である。
・所定のマーカーが付されている領域（床、壁、所定の物体等）
・予め設定されている形状、又は色等の物体

【0022】

マーカーは、識別情報が書き込まれたコードであってもよい。例えば、マーカーは、識別情報が書き込まれたバーコード、又はＱＲコード（登録商標）等により実現されてもよい。また、マーカーに書き込まれている情報は、サーバ２０からオブジェクトに関する情報を読み出すためのアドレス情報であってもよい。マーカーの貼付は１か所に限らず、一つの領域に複数のマーカーが貼付されていてもよい。

【0023】

列が発生し得る領域において、オブジェクト画像を発生させるための領域とは別に、客の位置を指定するための印が付されていてもよい。例えば、列が発生し得る領域の床には、所定の間隔をあけて列を形成するための印が付される。床に印が付される場合、オブジェクト画像を発生させるための領域は、印と印との間に配置される。つまり、印と領域とは交互に配置される。

【0024】

各情報処理装置は演算装置と記憶装置とを備えたコンピュータにより構成されている。コンピュータの基本ハードウェア構成および、当該ハードウェア構成により実現されるコンピュータの基本機能構成は後述する。端末装置１０、及びサーバ２０のそれぞれについて、後述するコンピュータの基本ハードウェア構成およびコンピュータの基本機能構成と重複する説明は省略する。

【0025】

＜１．１ 端末装置の構成＞
図２は、図１に示す端末装置１０の構成例を表すブロック図である。図２に示すように、端末装置１０は、通信部１２０と、入力装置１３と、出力装置１４と、音声処理部１７と、マイク１７１と、スピーカー１７２と、カメラ１６０と、位置情報センサ１５０と、記憶部１８０と、制御部１９０とを備える。端末装置１０に含まれる各ブロックは、例えば、バス等により電気的に接続される。

【0026】

通信部１２０は、端末装置１０が他の装置と通信するための変復調処理等の処理を行う。通信部１２０は、制御部１９０で生成された信号に送信処理を施し、外部（例えば、サーバ２０）へ送信する。通信部１２０は、外部から受信した信号に受信処理を施し、制御部１９０へ出力する。

【0027】

入力装置１３は、端末装置１０を操作するユーザが指示、又は情報を入力するための装置である。入力装置１３は、例えば、操作面へ触れることで指示が入力されるタッチ・センシティブ・デバイス１３１等により実現される。端末装置１０がＰＣ等である場合には、入力装置１３は、リーダー、キーボード、マウス等により実現されてもよい。入力装置１３は、ユーザから入力される指示を電気信号へ変換し、電気信号を制御部１９０へ出力する。なお、入力装置１３には、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。

【0028】

出力装置１４は、端末装置１０を操作するユーザへ情報を提示するための装置である。出力装置１４は、例えば、ディスプレイ１４１等により実現される。ディスプレイ１４１は、制御部１９０の制御に応じたデータを表示する。ディスプレイ１４１は、例えば、ＬＣＤ（Liquid Crystal Display）、又は有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。

【0029】

音声処理部１７は、例えば、音声信号のデジタル－アナログ変換処理を行う。音声処理部１７は、マイク１７１から与えられる信号をデジタル信号に変換して、変換後の信号を制御部１９０へ与える。また、音声処理部１７は、音声信号をスピーカー１７２へ与える。音声処理部１７は、例えば音声処理用のプロセッサによって実現される。マイク１７１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１７へ与える。スピーカー１７２は、音声処理部１７から与えられる音声信号を音声に変換して当該音声を端末装置１０の外部へ出力する。

【0030】

カメラ１６０は、受光素子により光を受光し、撮影信号として出力するためのデバイスである。

【0031】

位置情報センサ１５０は、端末装置１０の位置を検出するセンサであり、例えばＧＰＳ（Global Positioning System）モジュールである。ＧＰＳモジュールは、衛星測位システムで用いられる受信装置である。衛星測位システムでは、少なくとも３個または４個の衛星からの信号を受信し、受信した信号に基づいて、ＧＰＳモジュールが搭載される端末装置１０の現在位置を検出する。位置情報センサ１５０は、端末装置１０が接続する無線基地局の位置から、端末装置１０の現在の位置を検出してもよい。

【0032】

記憶部１８０は、例えば、メモリ１５、及びストレージ１６等により実現され、端末装置１０が使用するデータ、及びプログラムを記憶する。記憶部１８０は、例えば、ユーザ情報１８１、オブジェクト情報１８２、及び環境情報１８３を記憶する。

【0033】

ユーザ情報１８１は、例えば、端末装置１０を使用するユーザに関する情報を含む。詳細は後述する。

【0034】

オブジェクト情報１８２は、列が発生し得る領域に発生させるオブジェクトに関する情報を含む。詳細は後述する。

【0035】

環境情報１８３は、現在の環境を表す情報を含む。現在の環境を表す情報は、例えば、天気、大気圧、温度、湿度等に関する情報を含む。詳細は後述する。

【0036】

制御部１９０は、プロセッサ１９が記憶部１８０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部１９０は、端末装置１０の動作を制御する。制御部１９０は、プログラムに従って動作することにより、操作受付部１９１と、送受信部１９２と、撮影制御部１９３と、画像解析部１９４と、表示制御部１９５としての機能を発揮する。

【0037】

操作受付部１９１は、入力装置１３から入力される指示、又は情報を受け付けるための処理を行う。具体的には、例えば、操作受付部１９１は、タッチ・センシティブ・デバイス１３１等から入力される指示、又は情報を受け付ける。

【0038】

また、操作受付部１９１は、カメラ１６０から入力される画像を受け付ける。具体的には、例えば、操作受付部１９１は、カメラ１６０により撮影された撮影データを受信する。

【0039】

また、操作受付部１９１は、マイク１７１から入力される音声情報を受け付ける。具体的には、例えば、操作受付部１９１は、マイク１７１から入力され、音声処理部１７でデジタルデータに変換された音声データを受信する。

【0040】

送受信部１９２は、端末装置１０が、サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。具体的には、例えば、送受信部１９２は、ユーザから入力された指示、又は取得した種々の情報をサーバ２０へ送信する。また、送受信部１９２は、サーバ２０から提供される情報を受信する。

【0041】

撮影制御部１９３は、カメラ１６０による撮影を制御する。例えば、撮影制御部１９３は、ユーザからの指示に応じ、カメラ１６０による撮影を開始する。

【0042】

画像解析部１９４は、カメラ１６０により撮影された撮影データの解析を制御する。例えば、画像解析部１９４は、撮影データに含まれる所定の領域を検出する。具体的には、例えば、画像解析部１９４は、撮影データに含まれる、拡張現実によるオブジェクト画像を発生させるための領域を検出する。

【0043】

また、例えば、画像解析部１９４は、撮影データに含まれる、列に並んでいる客を検出する。画像解析部１９４は、例えば、オブジェクト画像を発生させるための領域から所定方向に所定距離隔てた位置に所定時間以上留まっている客を、列に並んでいる客として検出する。また、客の位置を指定するための印が床等に付されている場合、画像解析部１９４は、その印近傍で留まっている客を、列に並んでいる客として検出してもよい。画像解析部１９４は、列の最後尾に並んでいる客を検出してもよい。

【0044】

画像解析部１９４は、拡張現実によるオブジェクト画像を発生させるための領域を検出する際、列に並んでいる客の検出結果を利用してもよい。例えば、画像解析部１９４は、列に並んでいる客を検出し、検出した客の近傍の領域を検出してもよい。具体的には、例えば、画像解析部１９４は、列の最後尾に並んでいる客に対して列の形成方向後方に所定距離だけ隔てて位置する領域を検出してもよい。また、例えば、画像解析部１９４は、列に並んでいる客の間に位置する領域を検出してもよい。

【0045】

画像解析部１９４が領域、又は列に並んでいる客等を検出する際の手法は、既存のいかなる技術が使用されてもよい。画像解析部１９４は、学習済みモデルを利用して領域、又は列に並んでいる客等を検出してもよい。

【0046】

表示制御部１９５は、ユーザに対して所定の画像を表示させるため、出力装置１４を制御する。例えば、表示制御部１９５は、撮影データから検出された情報に基づき、オブジェクト画像を発生させ、ディスプレイ１４１に表示させる。具体的には、例えば、表示制御部１９５は、撮影された領域に対応するオブジェクト画像を発生させ、当該領域と対応する位置にオブジェクト画像を表示させる。表示制御部１９５は、例えば、以下の情報に基づき、異なるオブジェクト画像を発生させてもよい。
・過去の商品購入実績（購入ログ）
・所定の日付（誕生日、記念日）
・過去の来店回数（来店ログ）
・お気に入りキャラクタ
・暦（曜日、祝休日等）
・天気

【0047】

表示制御部１９５は、例えば、撮影された領域をディスプレイ１４１に表示させ、撮影された領域に含まれる、拡張現実によるオブジェクト画像を発生させるための領域に、作成したオブジェクト画像を重畳させる。また、ＨＭＤのように、実際の状況をディスプレイを透過して視認するデバイスの場合、表示制御部１９５は、拡張現実によるオブジェクト画像を発生させるための領域と対応する位置にオブジェクト画像を表示させる。

【0048】

また、表示制御部１９５は、所定の情報に応じた演出を発生させる。所定の情報とは、例えば、以下である。
・列に新たに客が並ぶ行為の検出
・列に並んだ客が前へ進む動作の検出
・列に並んだ客が列から外れる動作の検出
・ディスプレイ１４１で表示されるオブジェクト画像への干渉（ディスプレイ１４１で表示されるオブジェクト画像に対するタッチ・センシティブ・デバイス１３１を介した接触、ディスプレイ１４１で表示されるオブジェクト画像に対する音声の入力）
・過去の商品購入実績
・所定の日付（誕生日、記念日）
・過去の来店回数
・お気に入りキャラクター
・暦（曜日、祝休日等）
・天気

【0049】

端末装置１０の構成は上記に限定されない。端末装置１０は、３次元測定部を備えていてもよい。３次元測定部は、例えば、レーザーを所定の周期で、所定の走査領域へ照射し、反射された光を分析することで、反射点の３次元座標を算出する。３次元測定部は、例えば、ＬｉＤＡＲ（Light Detection And Ranging）により実現される。３次元測定部は、例えば、カメラ１６０と同方向を測定可能に設置される。３次元測定部は、算出した３次元座標に関するデータを点群データとして制御部１９０へ送信する。

【0050】

＜１．２ サーバの機能的な構成＞
図３は、サーバ２０の機能的な構成の例を示す図である。図３に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。

【0051】

通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。

【0052】

記憶部２０２は、例えば、顧客情報テーブル２０２１と、オブジェクト情報テーブル２０２２と、位置情報テーブル２０２３と、環境情報テーブル２０２４と、学習済みモデル２０２５等とを有する。

【0053】

顧客情報テーブル２０２１は、登録されている顧客に関する情報を記憶するテーブルである。

【0054】

オブジェクト情報テーブル２０２２は、列が発生し得る領域に発生させるオブジェクトに関する情報を記憶するテーブルである。

【0055】

位置情報テーブル２０２３は、客の現在位置を記憶するテーブルである。客の現在位置は、例えば、施設に設置される３次元測定装置により測定される３次元位置に基づいて設定される。３次元測定装置は、例えば、レーザーを所定の周期で、所定の走査領域へ照射し、反射された光を分析することで、反射点の３次元座標を算出する。３次元測定装置は、例えば、ＬｉＤＡＲにより実現される。３次元測定装置は、例えば、施設内の全体を遮蔽物なく見渡せる位置に設置される。３次元測定装置は、算出した３次元座標に関するデータを点群データとしてサーバ２０へ送信する。客が施設へ来訪した際に端末装置１０を操作して来訪したことをサーバ２０へ送信すると、登録した時の位置と、ユーザのＩＤとが関連付けられる。サーバ２０は、点群データを参照し、ユーザの動きを追跡することで、客の現在位置を把握する。

【0056】

環境情報テーブル２０２４は、環境に関する情報を記憶するテーブルである。

【0057】

学習済みモデル２０２５は、例えば、撮影された画像から所定の領域を検出するためのモデルである。学習済みモデル２０２５は、サーバ２０がサービスを提供するにあたり、予め記憶されている。学習済みモデル２０２５は、モデル学習プログラムに従い、機械学習モデルに機械学習を行わせることで生成される。学習済みモデル２０２５は、例えば、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る学習済みモデル２０２５は、上記の要請を満たす如何なるパラメータ付き合成関数であってもよい。

【0058】

例えば、学習済みモデル２０２５が順伝播型の多層化ネットワークを用いて生成される場合、パラメータ付き合成関数は、例えば、重み行列を用いた各層間の線形関係、各層における活性化関数を用いた非線形関係（又は線形関係）、及びバイアスの組み合わせとして定義される。重み付行列、及びバイアスは、多層化ネットワークのパラメータと呼ばれる。パラメータ付き合成関数は、パラメータをどのように選ぶかで、関数としての形を変える。多層化ネットワークでは、構成するパラメータを適切に設定することで、出力層から好ましい結果を出力することが可能な関数を定義することができる。

【0059】

本実施形態に係る多層化ネットワークとしては、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ）が用いられ得る。ＤＮＮとしては、例えば、画像を対象とする畳み込みニューラルネットワーク（Convolution Neural Network：ＣＮＮ）を用いてもよい。

【0060】

学習済みモデル２０２５は、例えば、列が発生し得る領域を含む画像を入力データとし、発生した列に並ぶ客を正解出力データとしてトレーニングされる。学習済みモデル２０２５は、列に並ぶ客のバリエーションに応じ、随時再学習されてもよい。

【0061】

制御部２０３は、プロセッサ２９が記憶部２０２に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部２０３は、プログラムに従って動作することにより、受信制御モジュール２０３１、送信制御モジュール２０３２、画像解析モジュール２０３３、及び表示制御モジュール２０３４としての機能を発揮する。

【0062】

受信制御モジュール２０３１は、サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。

【0063】

送信制御モジュール２０３２は、サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。

【0064】

画像解析モジュール２０３３は、撮影装置４１により撮影された撮影データの解析を制御する。例えば、画像解析モジュール２０３３は、撮影データに含まれる所定の領域を検出する。具体的には、例えば、画像解析モジュール２０３３は、撮影データに含まれる、拡張現実によるオブジェクト画像を発生させるための領域を検出する。

【0065】

また、例えば、画像解析モジュール２０３３は、撮影データに含まれる、列に並んでいる客を検出する。画像解析モジュール２０３３は、例えば、オブジェクト画像を発生させるための領域から所定方向に所定距離隔てた位置に所定時間以上留まっている客を、列に並んでいる客として検出する。また、客の位置を指定するための印が床等に付されている場合、画像解析モジュール２０３３は、その印の近傍で留まっている客を、列に並んでいる客として検出してもよい。

【0066】

画像解析モジュール２０３３は、拡張現実によるオブジェクト画像を発生させるための領域を検出する際、列に並んでいる客の検出結果を利用してもよい。例えば、画像解析モジュール２０３３は、列に並んでいる客を検出し、検出した客の近傍の領域を検出してもよい。具体的には、例えば、画像解析モジュール２０３３は、列の最後尾に並んでいる客に対して列の形成方向後方に所定距離だけ隔てて位置する領域を検出してもよい。また、例えば、画像解析モジュール２０３３は、列に並んでいる客の間に位置する領域を検出してもよい。

【0067】

画像解析モジュール２０３３が領域、又は列に並んでいる客等を検出する際の手法は、既存のいかなる技術が使用されてもよい。画像解析モジュール２０３３は、学習済みモデルを利用して領域等を検出してもよい。

【0068】

表示制御モジュール２０３４は、客に対して所定の画像を表示させるため、ディスプレイ３０を制御する。例えば、表示制御モジュール２０３４は、撮影データから検出された情報に基づき、オブジェクト画像を発生させ、ディスプレイ３０に表示させる。具体的には、例えば、表示制御モジュール２０３４は、撮影された領域に対応するオブジェクト画像を発生させ、当該領域と対応する位置にオブジェクト画像を表示させる。は、例えば、所定の情報に基づき、異なるオブジェクト画像を発生させてもよい。所定の情報は、例えば、表示制御部１９５で説明した情報と同様である。表示制御モジュール２０３４は、例えば、撮影された領域をディスプレイ３０に表示させ、撮影された領域に含まれる、拡張現実によるオブジェクト画像を発生させるための領域に、作成したオブジェクト画像を重畳させる。

【0069】

また、表示制御モジュール２０３４は、所定の情報に応じた演出を発生させる。所定の情報は、例えば、表示制御部１９５で説明した情報と同様である。

【0070】

＜２ データ構造＞
図４～図６は、端末装置１０が記憶する情報のデータ構造を示す図である。なお、図４～図６は一例であり、記載されていないデータを除外するものではない。

【0071】

図４は、ユーザ情報１８１のデータ構造を示す図である。図４に示すユーザ情報１８１は、ユーザＩＤをキーとして、氏名、年齢、住所、生年月日、Ｅ－ｍａｉｌアドレス、登録年月日、来店情報、購入情報、お気に入りキャラ、発生オブジェクト等のカラムを有する。

【0072】

ユーザＩＤは、ユーザを一意に識別するための識別子を記憶する項目である。ユーザＩＤは、ユーザが店舗の会員となる際に設定されたＩＤであってもよい。氏名は、ユーザの名前を記憶する項目である。年齢は、ユーザの年齢を記憶する項目である。住所は、ユーザが住んでいる居所を記憶する項目である。生年月日は、ユーザが生まれた日付を記憶する項目である。Ｅ－ｍａｉｌアドレスは、ユーザのＥ－ｍａｉｌアドレスを記憶する項目である。登録年月日は、ユーザが会員登録した日付を記憶する項目である。

【0073】

来店情報は、ユーザが施設へ訪れた履歴を記憶する項目である。来店情報は、施設への来店が複数回ある場合、来店毎の日時を含む。関連する施設が複数存在する場合、来店情報は、来店日時と、来店した施設名とを関連付けて記憶してもよい。購入情報は、ユーザが購入した商品の履歴を記憶する項目である。購入情報は、例えば、購入日時、購入した商品の商品ＩＤ、購入した商品の商品名等を含む。お気に入りのキャラクターは、ユーザがお気に入りとして登録しているキャラクターのオブジェクトＩＤを記憶する項目である。

【0074】

図５は、オブジェクト情報１８２のデータ構造を示す図である。図５に示すオブジェクト情報１８２は、オブジェクトＩＤをキーとして、オブジェクト名、発生条件、オブジェクトデータ、演出内容、及び演出内容に対応する要件等のカラムを有するテーブルである。

【0075】

オブジェクトＩＤは、オブジェクトを一意に識別するための識別子を記憶する項目である。オブジェクト名は、オブジェクトの名称を記憶する項目である。発生条件は、オブジェクト画像を発生させるための条件を記憶する項目である。オブジェクト画像を発生させるための条件は、例えば、以下を含む。
・過去に所定の商品を購入していること
・過去に所定の種類の商品を購入していること
・商品の購入回数が所定回数を超えていること
・商品の購入額が所定額を超えていること
・現在の日付がユーザの誕生日と一致していること
・現在の日付が所定の日（例えば、クリスマス、海の日、年末、年始、成人の日等）と一致していること
・現在の曜日が所定の曜日（例えば、金曜日）であること
・過去の来店回数が所定回数を超えていること
・設定されているオブジェクト（キャラクター）がお気に入りキャラクターと一致すること
・天気が所定の天気（例えば、雪）であること
・マーカーに含まれる識別情報

【0076】

なお、マーカーに識別情報が含まれている場合、項目：「発生条件」には、識別番号が記憶されていてもよい。

【0077】

オブジェクトデータは、オブジェクトについての画像データを記憶する項目である。オブジェクトデータは、他の場所に配置されたオブジェクトデータファイルに対する参照情報（パス）を記憶してもよい。オブジェクトについての画像データは、例えば、以下を含む。
・所定のキャラクターの初期状態の画像データ
・所定のキャラクターが進化した状態の画像データ
・所定のキャラクターが特別な服装をした画像データ
・所定のキャラクターが複数いる画像データ

【0078】

演出内容は、オブジェクトが実施する演出についての画像データを記憶する項目である。演出内容は、他の場所に配置された画像データファイルに対する参照情報（パス）を記憶してもよい。演出内容は、例えば、以下を含む。
・オブジェクトが所定の動作をする演出（誕生日、所定の日を祝う演出）
・列に新たに並んだ客の後ろに並ぶ演出
・列を進んだ客に合わせて前へ進む演出
・列から外れる演出
・オブジェクトが進化する演出
・オブジェクトが所定のアクセサリを身に着ける演出

【0079】

図５に示す例では、演出内容は、第１演出と、第２演出等とを含む。要件は、オブジェクトに演出を実施させる要件を記憶する項目である。要件は、例えば、以下を含む。
・列に新たに客が並ぶ行為の検出
・列に並んだ客が前へ進む動作の検出
・列に並んだ客が列から外れる動作の検出
・ディスプレイ１４１で表示されるオブジェクト画像に対するタッチ・センシティブ・デバイス１３１を介した接触
・所定の音声入力
・過去に所定の商品を購入していること
・過去に所定の種類の商品を購入していること
・商品の購入回数が所定回数を超えていること
・商品の購入額が所定額を超えていること
・現在の日付がユーザの誕生日と一致していること
・現在の日付が所定の日（例えば、クリスマス、海の日、年末、年始、成人の日等）と一致していること
・現在の曜日が所定の曜日（例えば、金曜日）であること
・過去の来店回数が所定回数を超えていること
・設定されているオブジェクト（キャラクター）がお気に入りキャラクターと一致すること
・天気が所定の天気（例えば、雪）であること

【0080】

図５に示す例では、第１演出を実施させるための第１要件と、第２演出を実施させるための第２要件等とを含む。

【0081】

図６は、環境情報１８３のデータ構造を示す図である。図６に示す環境情報１８３は、日付、天気、大気圧、温度、湿度のカラムを有するテーブルである。環境情報１８３は、暦に関する情報を含んでいてもよい。暦に関する情報は、例えば、曜日に関する情報、祝祭日に関する情報を含む。

【0082】

日付は、環境に関する情報を取得した日を記憶する項目である。天気、大気圧、温度、湿度は、環境に関する情報の一例を表し、所定の情報発信元から提供される情報を記憶する。

【0083】

＜３ 動作＞
オブジェクト画像を客に表示することで、列に並ぶ行為にも興趣性を提供する際の端末装置１０とサーバ２０との動作について説明する。
（端末装置１０によるオブジェクト画像の表示）

【0084】

以下の説明では、例えば、所定の店舗に来店した客が、購入したい商品を買い物かごに入れ、商品購入のためにレジカウンターでの会計を待つ状況を想定する。また、客が使用する端末装置１０は、スマートフォン、又はタブレット端末等、ディスプレイを有する端末であることを想定する。

【0085】

図７は、本実施形態に係る店舗内のレジカウンター周辺の領域を表す模式図である。図７において、店舗の床には、レジカウンターでの会計を待つ客が順番を待つための印５１が付されている。印５１は、順番待ちの列を形成させるための印と換言してもよい。印５１は、シール又はペイントのような物理的なものでもよいし、所定の形状が投影された光学的なものであってもよい。印５１は、例えば、人が通常の会話をする際に飛沫が飛散しにくい程度の間隔、例えば、２ｍ程度毎に複数付されている。印５１は、直線状に配列されていてもよいし、曲線状に配列されていてもよい。

【0086】

印５１の間には、マーカー５２が付されている。マーカー５２は、印５１に対して所定の距離かつ所定の方向に配置されている。マーカー５２は、シール又はペイントのような物理的なものでもよいし、所定の形状が投影された光学的なものであってもよい。なお、マーカー５２が付されていれば、必ずしも印５１が付されていなくてもよい。

【0087】

図８は、端末装置１０が列内にオブジェクト画像を発生させる際の動作の例を表すフローチャートである。

【0088】

まず、ユーザは、レジカウンター周辺の領域を撮影するように端末装置１０を操作する。

【0089】

ステップＳ１１において、制御部１９０は、撮影制御部１９３により、カメラ１６０を制御し、列が形成され得る領域、例えば、レジカウンター周辺の領域の動画を撮影する。

【0090】

ステップＳ１２において、制御部１９０は、画像解析部１９４により、撮影された撮影データを解析する。例えば、画像解析部１９４は、撮影データに含まれる、拡張現実によるオブジェクト画像を発生させるための領域であるマーカー５２を検出する。また、レジカウンター前に客が列を形成している場合、画像解析部１９４は、撮影データに含まれる、列に並んでいる客を検出する。

【0091】

ステップＳ１３において、制御部１９０は、表示制御部１９５により、ディスプレイ１４１に画像を表示させる。例えば、表示制御部１９５は、撮影データから検出された情報に基づき、オブジェクト画像を発生させ、発生させたオブジェクト画像を撮影データと共にディスプレイ１４１に表示させる。

【0092】

（オブジェクト画像表示の具体例）
図９は、本実施形態に係る表示制御部１９５がオブジェクト画像を表示する際の動作の具体例を表すフローチャートである。

【0093】

ステップＳ２１において、表示制御部１９５は、列の最後尾に並んでいる客の直後に位置するマーカー５２、又は、列に並んでいる客の間に位置するマーカー５２が検出されているか否かを判断する。列の最後尾に並んでいる客の直後に位置するマーカー５２、又は、列に並んでいる客の間に位置するマーカー５２が検出されている場合（ステップＳ２１のＹｅｓ）、表示制御部１９５は、処理をステップＳ２２へ移行する。列の最後尾に並んでいる客の直後に位置するマーカー５２、及び、列に並んでいる客の間に位置するマーカー５２が検出されていない場合（ステップＳ２１のＮｏ）、表示制御部１９５は、処理をステップＳ２４へ移行する。

【0094】

ステップＳ２２において、表示制御部１９５は、ステップＳ２１で検出したマーカー５２毎に、オブジェクト画像を作成する。具体的には、表示制御部１９５は、例えば、オブジェクト情報１８２の項目：「発生条件」に係る情報を、ユーザ情報１８１、及び環境情報１８３から取得する。表示制御部１９５は、取得した情報に基づき、発生条件を満たすレコードを選択する。表示制御部１９５は、選択したレコードの項目：「オブジェクトデータ」に記憶されるデータに基づき画像データを取得する。発生条件を満たすオブジェクトが複数存在する場合、表示制御部１９５は、例えば、予め設定される優先度に基づき、レコードを選択する。表示制御部１９５は、検出したマーカー５２それぞれに異なるオブジェクトを選択してもよいし、同じオブジェクトを選択してもよい。

【0095】

ステップＳ２３において、表示制御部１９５は、オブジェクト画像をディスプレイ１４１に表示させる。具体的には、表示制御部１９５は、ステップＳ２１で検出したマーカー５２に、取得した画像データに基づくオブジェクト画像を重畳させる。これにより、列の最後尾に並んでいる客の直後に位置するマーカー５２と、列に並んでいる客の間に位置するマーカー５２とに、オブジェクト画像が表示される。

【0096】

図１０は、本実施形態に係るディスプレイ１４１の表示例を表す模式図である。図１０において、画像解析部１９４は、印５１内に留まっている客１００を列に並んでいる客として検出する。そして、画像解析部１９４は、客１００の直後に位置するマーカー５２を検出する。表示制御部１９５は、検出されたマーカー５２に、オブジェクト画像５３を重畳させる。図１０に示す例では、客と共に列に並び、後ろを向いたキャラクターがオブジェクト画像５３として表示される。つまり、客の後ろにオブジェクト画像が表示されるようになる。

【0097】

ステップＳ２４において、表示制御部１９５は、演出発生の要件を満たす事象があったか否かを判断する。具体的には、例えば、表示制御部１９５は、オブジェクト情報１８２の項目：「要件」を満たす事象があるか否かを判断する。演出発生の要件を満たす事象がある場合、表示制御部１９５は、ステップＳ２５へ移行する。

【0098】

ステップＳ２５において、表示制御部１９５は、事象に応じた演出を発生させる。具体的には、例えば、表示制御部１９５は、項目：「要件」に記憶される要件と対応する項目：「演出」に記憶される演出を発生させる。

【0099】

具体的には、例えば、ステップＳ２４において、表示制御部１９５は、新たに列に並んだ客が検出された場合、演出発生の要件を満たす事象があったと判断する。そして、ステップＳ２５において、表示制御部１９５は、ステップＳ２２に示すように画像データを取得し、取得した画像データに基づくオブジェクト画像をマーカー５２へ向かって移動させる。

【0100】

図１１及び図１２は、本実施形態に係るディスプレイ１４１の表示例を表す模式図である。図１１及び図１２において、画像解析部１９４は、印５１内に移動してきた客１００を検出する。そして、画像解析部１９４は、客１００の直後に位置するマーカー５２を検出する。表示制御部１９５は、検出されたマーカー５２へ、オブジェクト画像５３を列に加わるように移動させる。表示制御部１９５は、移動が完了したオブジェクト画像５３に、挨拶等の演出をさせてもよい。

【0101】

図１２に示すように、すでに表示されているオブジェクト画像に加えて、新たなオブジェクト画像が表示される場合、新たに表示されるオブジェクト画像は、すでに表示されているオブジェクト画像と同じキャラクターであってもよいし、異なるキャラクターであってもよい。図１２では、同じキャラクターである場合を例に示している。

【0102】

また、例えば、ステップＳ２４において、表示制御部１９５は、ディスプレイ１４１に表示しているオブジェクト画像に対し、タッチ・センシティブ・デバイス１３１を介してユーザからの接触があった場合、演出発生の要件を満たす事象があったと判断する。そして、ステップＳ２５において、表示制御部１９５は、接触されたオブジェクト画像について、所定の演出を表示させる。

【0103】

図１３及び図１４は、本実施形態に係るディスプレイ１４１の表示例を表す模式図である。図１３において、表示されているオブジェクト画像５３が、ユーザにより突かれる。図１３における手は、ユーザによるオブジェクト画像５３への接触を模式的に表すものである。表示制御部１９５は、図１４で示すように、オブジェクト画像５３に対し、振り向かせてポーズを取らせる演出を発現させる。なお、ユーザからの干渉に応じた動作は、所定のポーズに限定されず、所定のアクションをしてもよいし、所定の技を出すようにしてもよい。

【0104】

また、例えば、ステップＳ２４において、表示制御部１９５は、列の最後尾にオブジェクト画像を表示している状態で、列に並んでいる客が前進してレジカウンター側の印５１へ移動した場合、演出発生の要件を満たす事象があったと判断する。そして、ステップＳ２５において、表示制御部１９５は、表示しているオブジェクト画像を、客が移動した方向の次のマーカー５２へ向かって移動させる。

【0105】

図１５は、本実施形態に係るディスプレイ１４１の表示例を表す模式図である。例えば、図１３に示す状態において先頭の客の会計が終了し、図１５に示すように、列に並んでいる客１００が前進したとする。画像解析部１９４は、レジカウンター側へ１つ進んだ印５１へ移動した客１００を検出する。そして、画像解析部１９４は、移動した客１００の直後に位置するマーカー５２を検出する。表示制御部１９５は、図１３においてオブジェクト画像５３を重畳させていたマーカー５２から、レジカウンター側へ１つ進んだマーカー５２へ、オブジェクト画像５３を移動させる。

【0106】

また、例えば、ステップＳ２４において、表示制御部１９５は、列の最後尾にオブジェクト画像を表示している状態で、列の最後尾に並んでいる客が列から外れた場合、演出発生の要件を満たす事象があったと判断する。そして、ステップＳ２５において、表示制御部１９５は、表示しているオブジェクト画像を、列から外れるように移動させる。

【0107】

図１６は、本実施形態に係るディスプレイ１４１の表示例を表す模式図である。例えば、図１３に示す状態において列の最後尾の客１００が、図１６に示すように、列から外れたとする。画像解析部１９４は、列から外れ印５１から離れた客１００を検出する。表示制御部１９５は、図１３においてオブジェクト画像５３を重畳させていたマーカー５２から、列を離れる方向へ、オブジェクト画像５３を移動させる。

【0108】

（サーバ２０によるオブジェクト画像の表示）
次に、店舗内の様子を、店舗内に設置された撮影装置４１で撮影し、ディスプレイ３０で表示する場合を説明する。以下の説明においても、所定の店舗に来店した客が、購入したい商品を買い物かごに入れ、商品購入のためにレジカウンターでの会計を待つ状況を想定する。

【0109】

図１７は、サーバ２０が列内にオブジェクト画像を発生させる際の動作の例を表すフローチャートである。

【0110】

まず、店舗内に設置された撮影装置４１は、レジカウンター周辺の領域の動画を撮影する。

【0111】

ステップＳ３１において、制御部２０３は、受信制御モジュール２０３１により、撮影装置４１により撮影された撮影データを取得する。

【0112】

ステップＳ３２において、制御部２０３は、画像解析モジュール２０３３により、撮影された撮影データを解析する。例えば、画像解析モジュール２０３３は、撮影データに含まれる、拡張現実によるオブジェクト画像を発生させるための領域であるマーカー５２を検出する。また、レジカウンター前に客が列を形成している場合、画像解析モジュール２０３３は、撮影データに含まれる、列に並んでいる客を検出する。

【0113】

ステップＳ３３において、制御部２０３は、表示制御モジュール２０３４により、ディスプレイ３０に画像を表示させる。例えば、表示制御モジュール２０３４は、撮影データから検出された情報に基づき、オブジェクト画像を発生させ、発生させたオブジェクト画像を撮影データと共にディスプレイ３０に表示させる。

【0114】

図１８は、本実施形態に係るディスプレイ３０の表示例を表す模式図である。図１８において、画像解析モジュール２０３３は、印５１内に留まっている客を列に並んでいる客として検出する。そして、画像解析モジュール２０３３は、列の最後尾に並んでいる客の直後に位置するマーカー５２と、列に並んでいる客の間に位置するマーカー５２とを検出する。表示制御モジュール２０３４は、検出したマーカー５２に、オブジェクト画像５３を重畳させる。図１８に示す例では、客と共に列に並ぶキャラクターがオブジェクト画像５３として表示される。

【0115】

以上のように、上記実施形態では、列が形成され得る第１領域に、拡張現実によるオブジェクト画像を発生させるための第２領域が所定間隔毎に複数配置されている。制御部１９０は、第１領域について撮影した撮影データを取得する。制御部１９０は、画像解析部１９４により、取得した撮影データに基づき、第２領域を検出する。制御部１９０は、表示制御部１９５により、検出した第２領域に対応したオブジェクト画像を作成する。表示制御部１９５は、作成したオブジェクト画像を、第２領域と対応する位置に表示させる。これにより、本実施形態に係る端末装置１０、又はサーバ２０は、列の中に拡張現実によるオブジェクトを発生させることが可能となり、列で待機している客に対し、待つ行為を楽しませることが可能となる。

【0116】

したがって、本実施形態によれば、列で待機する際の興趣性を高めることができる。

【0117】

また、上記実施形態では、表示制御部１９５は、撮影データに基づく画像を表示させ、画像中の第２領域に対応する位置にオブジェクト画像を重畳して表示する。これにより、スマートフォン、又はタブレット端末等を列が形成され得る領域にかざすことで、ユーザは、列の中に発生されたオブジェクト画像を手軽に視認することが可能となる。

【0118】

また、上記実施形態では、画像解析部１９４は、列に並んでいる人を検出し、人の検出結果を利用して第２領域を検出する。表示制御部１９５は、人に対して列の形成方向後方の第２領域と対応する位置にオブジェクト画像を表示させる。これにより、列に並ぶ人の後ろにオブジェクト画像が発生することになる。言い換えると、人とオブジェクトとが交互に並んでいるように見えるようになる。現実には存在しない列を見ることが可能となり、ユーザは並ぶ動作をより楽しむことが可能となる。また、複数の人が並んでいる場合は、複数のオブジェクトが発生していることとなり、ユーザは並ぶ動作をより楽しむことが可能となる。

【0119】

また、上記実施形態では、画像解析部１９４は、列の最後尾に並んでいる人を検出し、最後尾の人の検出結果を利用して第２領域を検出する。表示制御部１９５は、最後尾の人の後ろにオブジェクト画像を表示させる。これにより、オブジェクトが最後尾に存在することとなり、ユーザは、オブジェクトの次に並ぶことになる。オブジェクトが身近に感じられることで、並ぶ動作をより楽しむことが可能となる。

【0120】

また、上記実施形態では、表示制御部１９５は、ユーザ情報に基づいてオブジェクト画像を作成する。これにより、来店の度に異なるオブジェクトを発生させることが可能となる。このため、ユーザは、来店することの楽しみが増え、次回来店する動機となる。ユーザ情報は、例えば、来店ログ、購入ログ、特別な日、又はお気に入りに関する情報を含む。

【0121】

また、上記実施形態では、表示制御部１９５は、環境情報に基づいてオブジェクト画像を作成する。これにより、環境に応じて異なるオブジェクトを発生させることが可能となる。このため、ユーザは、来店することの楽しみが増え、次回来店する動機となる。環境情報は、例えば、暦、又は天気に関する情報を含む。

【0122】

また、上記実施形態では、表示制御部１９５は、演出発生の要件を満たすか否かを判断する。表示制御部１９５は、満たした要件に応じた演出をオブジェクト画像に行わせる。これにより、オブジェクトが要件に応じた演出を行うようになるため、ユーザは、並ぶ動作をより楽しむことが可能となる。

【0123】

また、上記実施形態では、表示制御部１９５は、列に加わった人を検出する。表示制御部１９５は、列に加わる演出をオブジェクト画像に行わせる。これにより、列に新たに客が加わるとオブジェクトが増えるため、興趣性がより向上する。

【0124】

また、上記実施形態では、表示制御部１９５は、列に沿って先に進む人を検出する。表示制御部１９５は、列に沿って進む演出をオブジェクト画像に行わせる。これにより、列が先に進むとオブジェクトが特徴的に動作するため、ユーザは、列が進むのを楽しみに待つことが可能となる。

【0125】

また、上記実施形態では、表示制御部１９５は、列から外れた人を検出する。表示制御部１９５は、列から外れる演出をオブジェクト画像に行わせる。これにより、列から客が抜けるとオブジェクトが特徴的に動作するため、ユーザは、列から客が抜ける動作についても楽しみに待つことが可能となる。

【0126】

また、上記実施形態では、表示制御部１９５は、オブジェクト画像への干渉を検出する。表示制御部１９５は、干渉に応じた動作をオブジェクト画像に行わせる。これにより、列に変化がなくてもユーザの干渉によりオブジェクトが動作するため、列に変化がない場合であっても、ユーザは、待つ行為を楽しむことが可能となる。

【0127】

＜変形例＞
上記実施形態では、所定の条件を満たすと、条件に応じたオブジェクト画像を表示し、所定の要件を満たすと、要件に応じた演出をオブジェクト画像が行うようにしている。このとき、どのような条件が満たされて、オブジェクト画像が表示されているか、又は、どのような要件が満たされて、オブジェクト画像が所定の演出をしているかが表示されてはいない。

【0128】

しかしながら、どのような条件が満たされて、オブジェクト画像が表示されているかが明記されてもよい。また、どのような要件が満たされて、オブジェクト画像が所定の演出をしているかが明記されてもよい。例えば、「『所定の動作』をクリアしたので発生した！」のような記載が、オブジェクト画像の表示を妨げないような態様、例えば、暫時的なポップアップで表示されてもよい。これにより、特徴的なオブジェクトの発生条件、又は特徴的な演出の発生要件を把握可能となり、ユーザは、特徴的なオブジェクト、又は特徴的な演出を、意識的に再現させることが可能となる。このため、ユーザは、自身が望むオブジェクトを発生させるため、又は、自身が望む演出を発生させるため、自身の行動を調整することが可能となる。

【0129】

また、上記実施形態では、次に表示されるオブジェクトについての示唆については記載されていない。しかしながら、次に表示されるオブジェクトについての示唆が記載されるようにしてもよい。例えば、「次に『所定の動作』をすると、『所定のオブジェクト、又は、所定の演出』が発生するぞ！」のような記載が、オブジェクト画像の表示を妨げないような態様、例えば、暫時的なポップアップで表示されてもよい。なお、発生をより隠すような表現であってもよい。これにより、次の機会で発生し得るオブジェクト、又は演出を把握することが可能となるため、ユーザは、次回の来店がより楽しみになる。

【0130】

また、上記実施形態において、オブジェクト画像を発生させるための領域は、レジカウンターに設置されていてもよい。レジカウンターに配置される領域としてのマーカーは、所定のコードを含んでよい。所定のコードは、例えば、会計を行う店員に個別に割り振られたコードであり、店員に割り当てられたオブジェクトを発生させるためのコードである。これにより、列の先頭に、店員固有のオブジェクトが発生することになるため、ユーザは、店員のオブジェクトが何かを楽しみに列に並ぶことが可能となる。つまり、ユーザは、列に並ぶ楽しみが増えることになる。

【0131】

また、上記実施形態において、画像解析部１９４、又は画像解析モジュール２０３３が、列に並んでいる客を検出する場合を例に説明した。しかしながら、列に並んでいる客を検出するのは、画像解析部１９４、又は画像解析モジュール２０３３に限定されない。制御部１９０は、プログラムに従って動作することにより、列状態認識部として機能してもよい。また、制御部２０３は、プログラムに従って動作することにより、列状態認識モジュールとして機能してもよい。列状態認識部は、例えば、３次元測定部により測定された点群データに基づいて、列に並んでいる客を検出する。また、列状態認識モジュールは、例えば、３次元測定モジュールにより測定された点群データに基づいて、列に並んでいる客を検出する。

【0132】

列状態認識部、又は列状態認識モジュールが、列に並んでいる客等を検出する際の手法は、既存のいかなる技術が使用されてもよい。

【0133】

また、上記実施形態では、会計中の客の後ろには、例えば、図１０で示すように、別の客が並ぶ場合を例に説明した。しかしながら、会計中の客の直後にキャラクターが並ぶようにしてもよい。つまり、例えば、図１９に示すように、拡張現実によるオブジェクト画像を発生させるための領域が、レジカウンターと、列の先頭の客が待機する位置との間に設けられていてもよい。これにより、例えば、レジカウンターで会計中の客が存在する場合、会計中の客と、列の先頭で待機する客との間にオブジェクト画像が発生することになる。また、図２０に示すように、会計中の客の後方において、オブジェクト画像のみが列に並んでいる状況が発生し得る。これにより、列がどこから始まるかを、客が容易に認識することが可能となる。

【0134】

また、例えば、レジカウンターにおいて会計が終了し、レジカウンターから客が移動した場合、列の最前列の客を、オブジェクト画像が誘導するようにしてもよい。具体的には、例えば、レジカウンターにおいて会計が終了し、レジカウンターから客が移動した場合、画像解析部１９４、又は画像解析モジュール２０３３は、レジカウンターから客がいなくなったことを検出する。表示制御部１９５、又は表示制御モジュール２０３４は、レジカウンター直前のマーカーに重畳させているオブジェクト画像に、列の先頭の客を誘導させる。図２１は、本実施形態に係るディスプレイ１４１の表示例を表す模式図である。

【0135】

＜４ コンピュータの基本ハードウェア構成＞
図２２は、コンピュータ９０の基本的なハードウェア構成を示すブロック図である。コンピュータ９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、通信ＩＦ９９（インタフェース、Interface）を少なくとも備える。これらはバスにより相互に電気的に接続される。

【0136】

プロセッサ９１とは、プログラムに記述された命令セットを実行するためのハードウェアである。プロセッサ９１は、演算装置、レジスタ、周辺回路等から構成される。

【0137】

主記憶装置９２とは、プログラム、及びプログラム等で処理されるデータ等を一時的に記憶するためのものである。例えば、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。

【0138】

補助記憶装置９３とは、データ及びプログラムを保存するための記憶装置である。例えば、フラッシュメモリ、ＨＤＤ（Hard Disc Drive）、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等である。

【0139】

通信ＩＦ９９とは、有線又は無線の通信規格を用いて、他のコンピュータとネットワークを介して通信するための信号を入出力するためのインタフェースである。

【0140】

ネットワークは、インターネット、ＬＡＮ、無線基地局等によって構築される各種移動通信システム等で構成される。例えば、ネットワークには、３Ｇ、４Ｇ、５Ｇ移動通信システム、ＬＴＥ（Long Term Evolution）、所定のアクセスポイントによってインターネットに接続可能な無線ネットワーク（例えばWi-Fi（登録商標））等が含まれる。無線で接続する場合、通信プロトコルとして例えば、Ｚ－Ｗａｖｅ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が含まれる。有線で接続する場合は、ネットワークには、ＵＳＢ（Universal Serial Bus）ケーブル等により直接接続するものも含む。

【0141】

なお、各ハードウェア構成の全部または一部を複数のコンピュータ９０に分散して設け、ネットワークを介して相互に接続することによりコンピュータ９０を仮想的に実現することができる。このように、コンピュータ９０は、単一の筐体、ケースに収納されたコンピュータ９０だけでなく、仮想化されたコンピュータシステムも含む概念である。

【0142】

＜コンピュータ９０の基本機能構成＞
図２２に示すコンピュータ９０の基本ハードウェア構成により実現されるコンピュータの機能構成を説明する。コンピュータは、制御部、記憶部、通信部の機能ユニットを少なくとも備える。

【0143】

なお、コンピュータ９０が備える機能ユニットは、それぞれの機能ユニットの全部または一部を、ネットワークで相互に接続された複数のコンピュータ９０に分散して設けても実現することができる。コンピュータ９０は、単一のコンピュータ９０だけでなく、仮想化されたコンピュータシステムも含む概念である。

【0144】

制御部は、プロセッサ９１が補助記憶装置９３に記憶された各種プログラムを読み出して主記憶装置９２に展開し、当該プログラムに従って処理を実行することにより実現される。制御部は、プログラムの種類に応じて様々な情報処理を行う機能ユニットを実現することができる。これにより、コンピュータは情報処理を行う情報処理装置として実現される。

【0145】

記憶部は、主記憶装置９２、補助記憶装置９３により実現される。記憶部は、データ、各種プログラム、各種データベースを記憶する。また、プロセッサ９１は、プログラムに従って記憶部に対応する記憶領域を主記憶装置９２または補助記憶装置９３に確保することができる。また、制御部は、各種プログラムに従ってプロセッサ９１に、記憶部に記憶されたデータの追加、更新、削除処理を実行させることができる。

【0146】

データベースは、リレーショナルデータベースを指し、行と列によって構造的に規定された表形式のテーブルと呼ばれるデータ集合を、互いに関連づけて管理するためのものである。データベースでは、表をテーブル、表の列をカラム、表の行をレコードと呼ぶ。リレーショナルデータベースでは、テーブル同士の関係を設定し、関連づけることができる。

【0147】

通常、各テーブルにはレコードを一意に特定するためのキーとなるカラムが設定されるが、カラムへのキーの設定は必須ではない。制御部は、各種プログラムに従ってプロセッサ９１に、記憶部に記憶された特定のテーブルにレコードを追加、削除、更新を実行させることができる。

【0148】

通信部は、通信ＩＦ９９により実現される。通信部は、ネットワークを介して他のコンピュータ９０と通信を行う機能を実現する。通信部は、他のコンピュータ９０から送信された情報を受信し、制御部へ入力することができる。制御部は、各種プログラムに従ってプロセッサ９１に、受信した情報に対する情報処理を実行させることができる。また、通信部は、制御部から出力された情報を他のコンピュータ９０へ送信することができる。

【0149】

以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

【0150】

＜付記＞
以上の各実施形態で説明した事項を以下に付記する。
（付記１）
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、プロセッサに、来店者による列が形成され得る第１領域に、拡張現実によるオブジェクト画像を発生させるための第２領域が所定間隔毎に複数配置されており、第１領域について撮影した撮影データを取得するステップと、取得した撮影データに基づき、第２領域を検出するステップと、検出した第２領域に対応したオブジェクト画像を作成するステップと、作成した前記オブジェクト画像を、第２領域と対応する位置に表示させるステップとを実行させるプログラム。
（付記２）
オブジェクト画像を表示させるステップにおいて、撮影データに基づく画像を表示させ、画像中の第２領域に対応する位置にオブジェクト画像を重畳して表示する（付記１）に記載のプログラム。
（付記３）
検出するステップにおいて、列に並んでいる来店者を検出し、来店者の検出結果を利用して第２領域を検出し、オブジェクト画像を表示させるステップにおいて、来店者に対して列の形成方向後方の第２領域と対応する位置にオブジェクト画像を表示させる（付記１）又は（付記２）に記載のプログラム。
（付記４）
検出するステップにおいて、列の最後尾に並んでいる来店者を検出し、最後尾の来店者の検出結果を利用して第２領域を検出し、オブジェクト画像を表示させるステップにおいて、最後尾の来店者の後ろにオブジェクト画像を表示させる（付記３）に記載のプログラム。
（付記５）
オブジェクト画像を作成するステップにおいて、ユーザ情報に基づいてオブジェクト画像を作成する（付記１）乃至（付記４）のいずれかに記載のプログラム。
（付記６）
オブジェクト画像を作成するステップにおいて、ユーザ情報に含まれる来店ログ、購入ログ、特別な日、又はお気に入りに関する情報に基づいてオブジェクト画像を作成する（付記５）に記載のプログラム。
（付記７）
オブジェクト画像を作成するステップにおいて、環境情報に基づいてオブジェクト画像を作成する（付記１）乃至（付記４）のいずれかに記載のプログラム。
（付記８）
オブジェクト画像を作成するステップにおいて、環境情報に含まれる暦、又は天気に関する情報に基づいてオブジェクト画像を作成する（付記７）に記載のプログラム。
（付記９）
演出発生の要件を満たすか否かを判断するステップをプロセッサに実行させ、オブジェクト画像を表示させるステップにおいて、満たした要件に応じた演出をオブジェクト画像に行わせる（付記１）乃至（付記８）のいずれかに記載のプログラム。
（付記１０）
判断するステップにおいて、列に加わった来店者を検出し、オブジェクト画像を表示させるステップにおいて、列に加わる演出をオブジェクト画像に行わせる（付記９）に記載のプログラム。
（付記１１）
判断するステップにおいて、列に沿って先に進む来店者を検出し、オブジェクト画像を表示させるステップにおいて、列に沿って進む演出をオブジェクト画像に行わせる（付記９）に記載のプログラム。
（付記１２）
判断するステップにおいて、列から外れた来店者を検出し、オブジェクト画像を表示させるステップにおいて、列から外れる演出をオブジェクト画像に行わせる（付記９）に記載のプログラム。
（付記１３）
判断するステップにおいて、オブジェクト画像への干渉を検出し、オブジェクト画像を表示させるステップにおいて、干渉に応じた動作をオブジェクト画像に行わせる（付記９）に記載のプログラム。
（付記１４）
プロセッサと、メモリとを備えるコンピュータに実行される方法であって、プロセッサが、来店者による列が形成され得る第１領域に、拡張現実によるオブジェクト画像を発生させるための第２領域が所定間隔毎に複数配置されており、第１領域について撮影した撮影データを取得するステップと、取得した撮影データに基づき、第２領域を検出するステップと、検出した第２領域に対応したオブジェクト画像を作成するステップと、作成したオブジェクト画像を、第２領域と対応する位置に表示させるステップとを実行する方法。
（付記１５）
制御部と、記憶部とを備える情報処理装置であって、制御部が、来店者による列が形成され得る第１領域に、拡張現実によるオブジェクト画像を発生させるための第２領域が所定間隔毎に複数配置されており、第１領域について撮影した撮影データを取得するステップと、取得した撮影データに基づき、第２領域を検出するステップと、検出した第２領域に対応したオブジェクト画像を作成するステップと、作成したオブジェクト画像を、第２領域と対応する位置に表示させるステップとを実行する情報処理装置。
（付記１６）
来店者による列が形成され得る第１領域と、第１領域内に所定間隔毎に複数配置される、拡張現実によるオブジェクト画像を発生させるための第２領域とを具備するシステム。
（付記１７）
第１領域には、来店者が停止する位置を表す印が、第２領域とは別に配置される（付記１６）に記載のシステム。
（付記１８）
第１領域において、前記印と、第２領域とは交互に配置される（付記１７）に記載のシステム。
（付記１９）
第１領域について撮影した撮影データを取得する手段と、取得した撮影データに基づき、第２領域を検出する手段と、検出した第２領域に対応したオブジェクト画像を作成する手段と、作成したオブジェクト画像を、第２領域と対応する位置に表示させる手段とを具備する（付記１６）乃至（付記１８）のいずれかに記載のシステム。

【符号の説明】

【0151】

１…システム
１０…端末装置
１２…通信ＩＦ
１２０…通信部
１３…入力装置
１３１…タッチ・センシティブ・デバイス
１４…出力装置
１４１…ディスプレイ
１５…メモリ
１５０…位置情報センサ
１６…ストレージ
１６０…カメラ
１７…音声処理部
１７１…マイク
１７２…スピーカー
１８０…記憶部
１９…プロセッサ
１９０…制御部
２０…サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】