特許7535388情報提供装置、情報処理装置、情報表示システムおよびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-07
(45)【発行日】2024-08-16
(54)【発明の名称】情報提供装置、情報処理装置、情報表示システムおよびプログラム
(51)【国際特許分類】
G06Q 30/0241 20230101AFI20240808BHJP
G06T 19/00 20110101ALI20240808BHJP
【ＦＩ】
G06Q30/0241
G06T19/00 600
【請求項の数】
12
(21)【出願番号】P 2020081341
(22)【出願日】2020-05-01
(65)【公開番号】P2021176046
(43)【公開日】2021-11-04
【審査請求日】2023-04-13
(73)【特許権者】
【識別番号】521469760
【氏名又は名称】アルテミラ株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100113310
【弁理士】
【氏名又は名称】水戸 洋介
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(72)【発明者】
【氏名】小島 真一
(72)【発明者】
【氏名】松島 妃美
【審査官】阿部 圭子
(56)【参考文献】
【文献】特開２０２０－０２１２１５（ＪＰ，Ａ）
【文献】特開２０１８－１０６６２６（ＪＰ，Ａ）
【文献】ユーザー体験を変えるパッケージの力，ＮＩＫＫＥＩ ＤＥＳＩＧＮ 第３２６号 ，日本，日経ＢＰ社，2014年07月24日，P.28-29
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００ － ９９／００
Ｇ０６Ｔ １９／００
(57)【特許請求の範囲】
【請求項1】
飲料容器の画像を取得する画像取得部と、前記飲料容器の形状から当該飲料容器の内容物を特定する特定部と、
少なくとも画像情報を含み、ユーザに提供する情報であって、特定した前記内容物に応じた情報である提供情報を、当該内容物の種類だけが特定できた場合と、当該内容物に関する他の商品情報が特定できた場合とで異ならせて決定する決定部と、
を備える情報提供装置。
【請求項2】
前記画像情報は、前記飲料容器とともに拡張現実にて表示する画像を表示するものであることを特徴とする請求項１に記載の情報提供装置。
【請求項3】
拡張現実にて表示する前記画像情報は、前記飲料容器の上に位置するように表示されるキャラクタを表示するためのものであることを特徴とする請求項２に記載の情報提供装置。
【請求項4】
前記特定部は、前記飲料容器に印刷された印刷画像をさらに加えて内容物を特定することを特徴とする請求項１に記載の情報提供装置。
【請求項5】
前記特定部は、前記印刷画像の中の文字情報を基に、内容物を特定することを特徴とする請求項４に記載の情報提供装置。
【請求項6】
前記決定部は、ユーザに関する情報であるユーザ情報を加味して、前記提供情報を決定することを特徴とする請求項１に記載の情報提供装置。
【請求項7】
前記ユーザ情報は、ユーザが前記飲料容器の内容物を飲んだ履歴を含むことを特徴とする請求項６に記載の情報提供装置。
【請求項8】
前記決定部は、前記履歴に基づき、ユーザに付与する特典を前記提供情報に含ませることを特徴とする請求項７に記載の情報提供装置。
【請求項9】
前記決定部は、前記ユーザ情報を基に、前記飲料容器の内容物を飲む行為に関し、ユーザに対するアドバイスを前記提供情報に含ませることを特徴とする請求項６に記載の情報提供装置。
【請求項10】
撮影装置から飲料容器の画像を取得する撮影画像取得部と、取得した画像を基に、抽出された飲料容器の形状から特定された内容物に応じ、ユーザに提供する画像情報を含む提供情報を、当該内容物の種類だけが特定できた場合と、当該内容物に関する他の商品情報が特定できた場合とで異ならせて表示する制御を行う表示制御部と、
を備える情報処理装置。
【請求項11】
飲料容器の画像を撮影する撮影手段と、撮影した画像を基に、抽出された飲料容器の形状から特定された内容物に応じ、ユーザに提供する画像情報を含む提供情報を提供する情報提供手段と、
前記提供情報を表示する表示手段と、
前記表示手段に表示する画像を制御する表示制御手段と、
を備え、
前記情報提供手段は、
飲料容器の画像を取得する画像取得部と、
前記飲料容器の形状から当該飲料容器の内容物を特定する特定部と、
少なくとも画像情報を含み、ユーザに提供する情報であって、特定した前記内容物に応じた情報である提供情報を、当該内容物の種類だけが特定できた場合と、当該内容物に関する他の商品情報が特定できた場合とで異ならせて決定する決定部と、
を備える情報表示システム。
【請求項12】
コンピュータに、飲料容器の画像を取得する画像取得機能と、
前記飲料容器の形状から当該飲料容器の内容物を特定する特定機能と、
少なくとも画像情報を含み、ユーザに提供する情報であって、特定した前記内容物に応じた情報である提供情報を、当該内容物の種類だけが特定できた場合と、当該内容物に関する他の商品情報が特定できた場合とで異ならせて決定する決定機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報提供装置、情報処理装置、情報表示システム、プログラムに関する。
【背景技術】
【0002】
近年、拡張現実（ＡＲ：Augmented Reality）を用い、ユーザに対し商品に付随する商品付随情報を画像や音声にて提供するシステムが考えられている。
【0003】
特許文献１には、ＡＲ利用顧客付加価値情報提供システムが開示されている。このＡＲ利用顧客付加価値情報提供システムは、商品顧客等の利用者が、商品又は商品外装、包装箱に付された第１の識別情報を情報端末機器等で読み取ることによって、情報取得機構がインターネット等を介して第２の情報を読み出し、例えば第２の情報として商品の組立方法や安全使用方法等の商品付随情報を商品顧客等に提供をする。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１６－１２３４９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来、商品に付された識別情報を端末機器等で読み取ることで、商品を特定し、さらにユーザに提供する提供情報を決定することが行われている。
この場合、識別情報を商品に印刷等により表示する必要がある。商品が飲料である場合、この飲料を充填する飲料容器に、商品名や成分表示などとともに、識別情報としてバーコードなどを表示することになる。しかしながら、飲料容器上で識別情報を表示できる領域は、必ずしも十分であるとは言えず、表示するのが困難である場合がある。また、識別情報を表示した場合、印刷等を施した飲料容器のデザイン上の美観を低下させる場合がある。
本発明は、飲料容器に識別情報を表示しなくても、提供情報を提供することができる情報処理装置等を提供しようとするものである。
この場合、識別情報を商品に印刷等により表示する必要がある。商品が飲料である場合、この飲料を充填する飲料容器に、商品名や成分表示などとともに、識別情報としてバーコードなどを表示することになる。しかしながら、飲料容器上で識別情報を表示できる領域は、必ずしも十分であるとは言えず、表示するのが困難である場合がある。また、識別情報を表示した場合、印刷等を施した飲料容器のデザイン上の美観を低下させる場合がある。
本発明は、飲料容器に識別情報を表示しなくても、提供情報を提供することができる情報処理装置等を提供しようとするものである。
【課題を解決するための手段】
【0006】
かくして本発明によれば、飲料容器の画像を取得する画像取得部と、飲料容器の形状から飲料容器の内容物を特定する特定部と、少なくとも画像情報を含み、ユーザに提供する情報であって、特定した内容物に応じた情報である提供情報を、当該内容物の種類だけが特定できた場合と、当該内容物に関する他の商品情報が特定できた場合とで異ならせて決定する決定部と、を備える情報提供装置が提供される。
【0007】
ここで、画像情報は、飲料容器とともに拡張現実にて表示する画像を表示するものであるようにすることができる。この場合、ユーザは、飲料容器に応じた提供情報を、より直感的に把握することができる。
また、拡張現実にて表示する画像情報は、飲料容器の上に位置するように表示されるキャラクタを表示するためのものとすることができる。この場合、キャラクタが表示される位置が、より自然になる。
さらに、特定部は、飲料容器に印刷された印刷画像をさらに加えて内容物を特定するようにすることができる。この場合、特定される内容物の精度が向上する。
またさらに、特定部は、印刷画像の中の文字情報を基に、内容物を特定するようにすることができる。この場合、内容物の特定が、さらに容易になる。
そして、決定部は、ユーザに関する情報であるユーザ情報を加味して、提供情報を決定するようにすることができる。この場合、個々のユーザに合わせた情報を提供情報として提供することができる。
また、ユーザ情報は、ユーザが飲料容器の内容物を飲んだ履歴を含むことができる。この場合、ユーザが過去に飲んだ飲料を基に提供情報を決定することができる。
さらに、決定部は、履歴に基づき、ユーザに付与する特典を提供情報に含ませることができる。この場合、付与された特典をユーザに知らせることができる。
またさらに、決定部は、ユーザ情報を基に、飲料容器の内容物を飲む行為に関し、ユーザに対するアドバイスを提供情報に含ませることができる。この場合、ユーザに、さらに有用な情報を提供情報として提供できる。
また、拡張現実にて表示する画像情報は、飲料容器の上に位置するように表示されるキャラクタを表示するためのものとすることができる。この場合、キャラクタが表示される位置が、より自然になる。
さらに、特定部は、飲料容器に印刷された印刷画像をさらに加えて内容物を特定するようにすることができる。この場合、特定される内容物の精度が向上する。
またさらに、特定部は、印刷画像の中の文字情報を基に、内容物を特定するようにすることができる。この場合、内容物の特定が、さらに容易になる。
そして、決定部は、ユーザに関する情報であるユーザ情報を加味して、提供情報を決定するようにすることができる。この場合、個々のユーザに合わせた情報を提供情報として提供することができる。
また、ユーザ情報は、ユーザが飲料容器の内容物を飲んだ履歴を含むことができる。この場合、ユーザが過去に飲んだ飲料を基に提供情報を決定することができる。
さらに、決定部は、履歴に基づき、ユーザに付与する特典を提供情報に含ませることができる。この場合、付与された特典をユーザに知らせることができる。
またさらに、決定部は、ユーザ情報を基に、飲料容器の内容物を飲む行為に関し、ユーザに対するアドバイスを提供情報に含ませることができる。この場合、ユーザに、さらに有用な情報を提供情報として提供できる。
【0008】
また、本発明によれば、撮影装置から飲料容器の画像を取得する撮影画像取得部と、取得した画像を基に、抽出された飲料容器の形状から特定された内容物に応じ、ユーザに提供する画像情報を含む提供情報を、当該内容物の種類だけが特定できた場合と、当該内容物に関する他の商品情報が特定できた場合とで異ならせて表示する制御を行う表示制御部と、を備える情報処理装置が提供される。
【0009】
さらに、本発明によれば、飲料容器の画像を撮影する撮影手段と、撮影した画像を基に、抽出された飲料容器の形状から特定された内容物に応じ、ユーザに提供する画像情報を含む提供情報を提供する情報提供手段と、提供情報を表示する表示手段と、表示手段に表示する画像を制御する表示制御手段と、を備え、情報提供手段は、飲料容器の画像を取得する画像取得部と、飲料容器の形状から飲料容器の内容物を特定する特定部と、少なくとも画像情報を含み、ユーザに提供する情報であって、特定した内容物に応じた情報である提供情報を、当該内容物の種類だけが特定できた場合と、当該内容物に関する他の商品情報が特定できた場合とで異ならせて決定する決定部と、を備える情報表示システムが提供される。
【0010】
そして、本発明によれば、コンピュータに、飲料容器の画像を取得する画像取得機能と、飲料容器の形状から飲料容器の内容物を特定する特定機能と、少なくとも画像情報を含み、ユーザに提供する情報であって、特定した内容物に応じた情報である提供情報を、当該内容物の種類だけが特定できた場合と、当該内容物に関する他の商品情報が特定できた場合とで異ならせて決定する決定機能と、を実現させるためのプログラムが提供される。
【発明の効果】
【0011】
本発明によれば、飲料容器に識別情報を表示しなくても、提供情報を提供することができる情報処理装置等を提供することができる。
【図面の簡単な説明】
【0012】
【図1】本実施の形態におけるＡＲ表示システムの構成例を示す図である。
【図2】ＡＲ表示システムの概略動作について示した図である。
【図3】（Ａ）～（Ｃ）は、本実施形態の飲料容器の説明図である。
【図4】第１の実施形態におけるＡＲ表示システムの機能構成例を示したブロック図である。
【図5】（Ａ）～（Ｇ）は、飲料容器の側面方向から見た外形形状を示した図である。
【図6】提供情報を基に、端末装置で表示されるＡＲの画像の一例を示した図である。
【図7】提供情報管理テーブルについて示した図である。
【図8】第２の実施形態におけるＡＲ表示システムの機能構成例を示したブロック図である。
【図9】記憶部に記憶されているユーザ情報の一例を示した図である。
【図10】ユーザに対するアドバイスを付与したＡＲの画像の第１の例について示した図である。
【図11】ユーザに対するアドバイスを付与したＡＲの画像の第２の例について示した図である。
【図12】ＡＲ表示システムの動作を説明したフローチャートである。
【発明を実施するための形態】
【0013】
以下、本発明を実施する形態について詳細に説明する。なお、本発明は、以下の実施の形態に限定されるものではなく、その要旨の範囲内で種々変形して実施することが出来る。また、使用する図面は本実施の形態を説明するためのものであり、実際の大きさを表すものではない。
【0014】
＜ＡＲ表示システム１全体の説明＞
図１は、本実施の形態におけるＡＲ表示システム１の構成例を示す図である。
本実施の形態のＡＲ表示システム１は、情報表示システムの一例であり、図示するように、ユーザが所有する端末装置１０と、端末装置１０を介してユーザにサービスを提供するサーバ装置３０と、を備えている。そして、本実施形態のＡＲ表示システム１において、端末装置１０およびサーバ装置３０は、ネットワーク４０を介して相互に情報通信が可能になっている。また、本実施の形態におけるＡＲ表示システム１を構成するものではないが、飲料容器５０を併せて図示している。
図１は、本実施の形態におけるＡＲ表示システム１の構成例を示す図である。
本実施の形態のＡＲ表示システム１は、情報表示システムの一例であり、図示するように、ユーザが所有する端末装置１０と、端末装置１０を介してユーザにサービスを提供するサーバ装置３０と、を備えている。そして、本実施形態のＡＲ表示システム１において、端末装置１０およびサーバ装置３０は、ネットワーク４０を介して相互に情報通信が可能になっている。また、本実施の形態におけるＡＲ表示システム１を構成するものではないが、飲料容器５０を併せて図示している。
【0015】
端末装置１０は、情報処理装置の一例であり、飲料容器５０を撮影すると、サーバ装置３０から提供される提供情報を基にＡＲを表示する装置である。ここで、「提供情報」とは、少なくとも画像情報を含み、ユーザに提供する情報であって、飲料容器５０の内容物に応じた情報である。この画像情報は、例えば、飲料容器５０とともにＡＲにて表示する画像を表示するものである。また、「内容物」は、飲料容器５０の内部に充填される飲料であり、特に限られるものではない。「内容物」としては、例えば、ジュース、茶、コーヒー、紅茶、コーラ、サイダーなどのソフトドリンクや、ビール、ウィスキー、ブランデー、ワインなどの酒類が挙げられる。
端末装置１０は、例えば、モバイルコンピュータ、携帯電話、スマートフォン、タブレット等のモバイル端末である。端末装置１０は、無線通信を行い、ネットワーク４０に接続する。
端末装置１０は、例えば、モバイルコンピュータ、携帯電話、スマートフォン、タブレット等のモバイル端末である。端末装置１０は、無線通信を行い、ネットワーク４０に接続する。
【0016】
サーバ装置３０は、情報提供装置若しくは情報提供手段の一例であり、ＡＲ表示システム１の全体の管理をするサーバコンピュータである。サーバ装置３０がクラウド上に設けられる場合、サーバ装置３０は、クラウドサーバであると言うこともできる。サーバ装置３０は、端末装置１０に対し、ＡＲを表示するための画像情報を含む提供情報を作成する。
【0017】
端末装置１０およびサーバ装置３０は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメインメモリ、およびＨＤＤやＳＳＤ（Solid State Drive）等のストレージを備える。ＣＰＵは、ＯＳ（基本ソフトウェア）やアプリケーションソフトウェア（応用ソフトウェア）等の各種ソフトウェアを実行する。また、メインメモリは、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、ストレージは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
さらに、端末装置１０およびサーバ装置３０は、外部との通信を行うための通信インタフェース（以下、「通信Ｉ／Ｆ」と表記する）と、ビデオメモリやディスプレイ等からなる表示デバイスと、キーボードやマウス等の入力デバイスとを備える。
また、端末装置１０は、飲料容器５０の画像を撮影する撮影手段あるいは撮影装置の一例であるカメラと、音声等の音を出力するスピーカとを備える。
さらに、端末装置１０およびサーバ装置３０は、外部との通信を行うための通信インタフェース（以下、「通信Ｉ／Ｆ」と表記する）と、ビデオメモリやディスプレイ等からなる表示デバイスと、キーボードやマウス等の入力デバイスとを備える。
また、端末装置１０は、飲料容器５０の画像を撮影する撮影手段あるいは撮影装置の一例であるカメラと、音声等の音を出力するスピーカとを備える。
【0018】
端末装置１０に備えられたＣＰＵ、メインメモリおよびストレージは、表示デバイスに表示する画像を制御する表示制御手段として機能する。また、端末装置１０に備えられた表示デバイスは、提供情報を表示する表示手段として機能する。
【0019】
ネットワーク４０は、端末装置１０およびサーバ装置３０の間の情報通信に用いられる通信手段であり、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネットである。データ通信に用いられる通信回線は、有線か無線かを問わず、これらを併用してもよい。また、端末装置１０やサーバ装置３０は、ゲートウェイ装置やルータ等の中継装置を用い、複数のネットワークや通信回線を介して接続されてもよい。
【0020】
＜ＡＲ表示システム１の動作の概略説明＞
図２は、ＡＲ表示システム１の概略動作について示した図である。
まず、端末装置１０を操作するユーザが、飲料容器５０を撮影する（１Ａ）。撮影は、端末装置１０に備えられたカメラを用いてユーザが行う。そして、飲料容器５０の撮影画像は、飲料容器５０の撮影情報として、サーバ装置３０に送られる（１Ｂ）。
飲料容器５０の撮影情報を受け取ったサーバ装置３０は、撮影画像を基に、飲料容器５０の内容物を特定する（１Ｃ）。
そして、サーバ装置３０は、内容物に応じ、ユーザに提供する提供情報を作成する（１Ｄ）。この提供情報には、上述したように、ＡＲを表示するための画像情報が含まれる。
サーバ装置３０で作成された提供情報は、端末装置１０に送られる（１Ｅ）。
そして、端末装置１０では、提供情報を基に、ＡＲが表示される（１Ｆ）。
図２は、ＡＲ表示システム１の概略動作について示した図である。
まず、端末装置１０を操作するユーザが、飲料容器５０を撮影する（１Ａ）。撮影は、端末装置１０に備えられたカメラを用いてユーザが行う。そして、飲料容器５０の撮影画像は、飲料容器５０の撮影情報として、サーバ装置３０に送られる（１Ｂ）。
飲料容器５０の撮影情報を受け取ったサーバ装置３０は、撮影画像を基に、飲料容器５０の内容物を特定する（１Ｃ）。
そして、サーバ装置３０は、内容物に応じ、ユーザに提供する提供情報を作成する（１Ｄ）。この提供情報には、上述したように、ＡＲを表示するための画像情報が含まれる。
サーバ装置３０で作成された提供情報は、端末装置１０に送られる（１Ｅ）。
そして、端末装置１０では、提供情報を基に、ＡＲが表示される（１Ｆ）。
【0021】
つまり、本実施形態のＡＲ表示システム１では、撮影画像を基に、飲料容器５０の内容物を特定し、これに応じて端末装置１０に対して画像や音声などを含む提供情報を送信するサービスを実現する。本実施形態のＡＲ表示システム１では、飲料容器５０が映る画像に対し、提供情報としての所定画像を重畳表示するなどのＡＲ（拡張現実）表示を行うことで、飲料が充填された飲料容器５０を購入したユーザに対して新たな顧客体験を創出する。
【0022】
端末装置１０は、例えばネットワークを介してダウンロードされた、ＡＲ（拡張現実）表示システム１のためのウェブアプリケーション（以下、単にウェブアプリケーションと呼ぶ）がインストールされる。本実施形態のウェブアプリケーションは、飲料容器５０の内容物に応じた提供情報を提供するために、端末装置１０が搭載しているハードウェアや端末装置１０に予めインストールされているソフトウェアなどの端末装置１０のリソースを動作させる。具体的には、本実施形態のウェブアプリケーションは、端末装置１０のリソースを動作させることで、飲料容器５０を含む被写体の撮影や画面における表示、サーバ装置３０等への撮影情報などの情報の送信、サーバ装置３０等からの提供情報などの情報の受信、画面における提供情報などの画像の表示、画面を介したユーザの操作や指示の受け付けなどの各種の機能を実現する。
【0023】
一方、サーバ装置３０には、飲料容器５０の内容物と提供情報とが対応付けられて登録されている。なお、飲料容器５０の内容物と提供情報との登録は、ＡＲ表示システム１を用いたサービスを提供するサービス提供者や、例えば飲料が充填された飲料容器５０を販売する製造メーカなどが設定することができる。
【0024】
そして、端末装置１０では、ウェブアプリケーションに基づくビューワが起動され、飲料容器５０の撮影が行われる。端末装置１０は、撮影した撮影情報をサーバ装置３０に送信する。サーバ装置３０では、飲料容器５０の内容物および提供情報との関係が管理されている。そして、サーバ装置３０は、端末装置１０から撮影情報を受信した場合に、その撮影情報から特定でき、飲料容器５０の内容物に対応する提供情報を、端末装置１０に対して送信する。さらに、端末装置１０では、受信した提供情報がビューワによって表示される。
【0025】
＜飲料容器５０＞
次に、本実施形態の飲料容器５０について具体的に説明する。
図３（Ａ）～（Ｃ）は、本実施形態の飲料容器５０の説明図である。
ここでは、飲料容器５０の一例として、缶体５０Ａを例に取り説明を行う。
図３（Ａ）は、所定方向から見た場合の缶体５０Ａの斜視図である。また、図３（Ｂ）は、図３（Ａ）の所定方向とは異なる方向から見た場合の缶体５０Ａの斜視図である。そして、図３（Ｃ）は、缶体５０Ａに印刷される画像の説明図である。
次に、本実施形態の飲料容器５０について具体的に説明する。
図３（Ａ）～（Ｃ）は、本実施形態の飲料容器５０の説明図である。
ここでは、飲料容器５０の一例として、缶体５０Ａを例に取り説明を行う。
図３（Ａ）は、所定方向から見た場合の缶体５０Ａの斜視図である。また、図３（Ｂ）は、図３（Ａ）の所定方向とは異なる方向から見た場合の缶体５０Ａの斜視図である。そして、図３（Ｃ）は、缶体５０Ａに印刷される画像の説明図である。
【0026】
図３（Ａ）および図３（Ｂ）に示すように、缶体５０Ａは、筒状に形成される筒部５１０と、缶体５０Ａの軸方向における一端部に位置する開口を塞ぐ蓋部５２０と、筒部５１０の軸方向において蓋部５２０とは反対側に設けられる底部５３０とを有している。本実施形態の缶体５０Ａは、アルミニウムなどの金属を材料に用いることができる。そして、缶体５０Ａには、飲料などの内容物が密封される。
なお、本実施形態の筒部５１０は、円形状に形成された円筒であるが、多角形に形成されていてもよい。
なお、本実施形態の筒部５１０は、円形状に形成された円筒であるが、多角形に形成されていてもよい。
【0027】
そして、図３（Ｃ）に示すように、缶体５０Ａの筒部５１０には、飲料メーカ名５１ｍ、商品図形５１ｇ、商品名５１ｐ、お酒マーク５１ａ、リサイクル識別表示マーク５１ｒ、製缶メーカロゴ５１ｓ、商品テキスト５１ｔ、栄養成分表示５１ｎ、注意喚起テキスト５１ｃおよび商品説明欄５１ｅを含む各種の情報が印刷されている。
【0028】
なお、ここでは、ＡＲ表示システム１による読み取り対象物である飲料容器５０として、缶体５０Ａを例示したが、缶体５０Ａに限定されない。飲料容器５０としては、例えば金属を材料としてボトル状に形成されてキャップを有するボトル缶、ポリエチレンテレフタレートなどの合成樹脂を材料に用いたキャップ付きのプラスティックボトル、ガラスを材料とするガラス瓶などでもよい。これらの場合においても、上述した各種の情報は、ボトルの表面や、ボトルを覆う包装材や、ボトルに貼り付けられるラベル等に設けられていればよい。
【0029】
＜ＡＲ表示システム１の構成の説明＞
［第１の実施形態］
次に、本実施の形態のＡＲ表示システム１の構成について具体的に説明する。
ここでは、まず本実施の形態のＡＲ表示システム１の第１の実施形態について説明する。
第１の実施形態では、サーバ装置３０は、飲料容器５０の撮影画像を基に、飲料容器５０の形状を抽出し、この形状を基に、飲料容器５０の内容物を特定する。そして、サーバ装置３０は、内容物に応じ、ユーザに提供する提供情報を作成する。
［第１の実施形態］
次に、本実施の形態のＡＲ表示システム１の構成について具体的に説明する。
ここでは、まず本実施の形態のＡＲ表示システム１の第１の実施形態について説明する。
第１の実施形態では、サーバ装置３０は、飲料容器５０の撮影画像を基に、飲料容器５０の形状を抽出し、この形状を基に、飲料容器５０の内容物を特定する。そして、サーバ装置３０は、内容物に応じ、ユーザに提供する提供情報を作成する。
【0030】
図４は、第１の実施形態におけるＡＲ表示システム１の機能構成例を示したブロック図である。
なお、ここでは、ＡＲ表示システム１が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
なお、ここでは、ＡＲ表示システム１が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
【0031】
ＡＲ表示システム１の端末装置１０は、外部装置と情報の送受信を行う送受信部１１０と、撮影を行う撮影部１２０と、画像の表示を行う表示部１３０と、音声を出力する音声出力部１４０と、端末装置１０全体の制御を行う制御部１５０とを備える。
【0032】
送受信部１１０は、サーバ装置３０との間で飲料容器５０の撮影情報や、ＡＲを表示するための提供情報の送受信を行う。送受信部１１０は、例えば、通信Ｉ／Ｆに対応する。
撮影部１２０は、飲料容器５０の撮影を行う。撮影部１２０は、カメラに対応し、例えば、光を収束するレンズ等の光学系と、光学系により収束された光を検出するＣＣＤ（Charge Coupled Device）等のイメージセンサとを備える。
撮影部１２０は、飲料容器５０の撮影を行う。撮影部１２０は、カメラに対応し、例えば、光を収束するレンズ等の光学系と、光学系により収束された光を検出するＣＣＤ（Charge Coupled Device）等のイメージセンサとを備える。
【0033】
表示部１３０は、ユーザの操作画面やＡＲを表示する。表示部１３０は、例えば、ディスプレイ等の表示デバイスに対応する。また、表示部１３０は、表示デバイスおよび入力デバイスを兼ね備えたタッチパネルなどであってもよい。
音声出力部１４０は、ＡＲを表示する際に付随する音声を出力する。音声出力部１４０は、例えば、スピーカに対応する。
音声出力部１４０は、ＡＲを表示する際に付随する音声を出力する。音声出力部１４０は、例えば、スピーカに対応する。
【0034】
制御部１５０は、送受信部１１０を介し、飲料容器５０の撮影画像をサーバ装置３０に送る制御を行う。この場合、制御部１５０は、撮影部１２０から飲料容器５０の画像を取得する撮影画像取得部として機能する。
また、制御部１５０は、表示部１３０で表示するＡＲの画像を作成する。即ち、制御部１５０は、サーバ装置３０から送られた提供情報に含まれる画像情報と、撮影部１２０で撮影した撮影画像とを合成した合成画像を作成する。そして、制御部１５０は、この合成画像を、ＡＲとして表示部１３０で表示させる制御を行う。この場合、制御部１５０は、提供情報を表示する制御を行う表示制御部として機能する。
また、制御部１５０は、表示部１３０で表示するＡＲの画像を作成する。即ち、制御部１５０は、サーバ装置３０から送られた提供情報に含まれる画像情報と、撮影部１２０で撮影した撮影画像とを合成した合成画像を作成する。そして、制御部１５０は、この合成画像を、ＡＲとして表示部１３０で表示させる制御を行う。この場合、制御部１５０は、提供情報を表示する制御を行う表示制御部として機能する。
【0035】
ＡＲ表示システム１のサーバ装置３０は、外部装置と情報の送受信を行う送受信部３１０と、飲料容器５０の形状を抽出する抽出部３２０と、飲料容器５０の特定を行う特定部３３０と、提供情報を決定する決定部３４０と、提供情報を記憶する記憶部３５０とを備える。
【0036】
送受信部３１０は、端末装置１０との間で飲料容器５０の撮影情報や、ＡＲを表示するための提供情報の送受信を行う。よって、送受信部３１０は、飲料容器５０の画像を取得する画像取得部として機能する。送受信部３１０は、例えば、通信Ｉ／Ｆに対応する。
【0037】
抽出部３２０は、送受信部３１０にて取得した飲料容器５０の画像から飲料容器５０の形状を抽出する。
図５（Ａ）～（Ｇ）は、飲料容器５０の側面方向から見た外形形状を示した図である。
このうち、図５（Ａ）は、飲料容器５０として、缶体５０Ａの外形形状を示した図である。ここでは、缶体５０Ａの例として、缶体５０Ａ１と缶体５０Ａ２とを示している。
缶体５０Ａ１は、ビールや焼酎ハイボールなどの飲料用に用いられる円筒状の缶である。また、缶体５０Ａ２は、同様に円筒状であるが、焼酎ハイボール用に主に用いられる、いわゆるダイヤカット（登録商標）缶である。この缶体５０Ａ２は、側面に三角形状を単位とする凹凸が設けられている。
図５（Ａ）～（Ｇ）は、飲料容器５０の側面方向から見た外形形状を示した図である。
このうち、図５（Ａ）は、飲料容器５０として、缶体５０Ａの外形形状を示した図である。ここでは、缶体５０Ａの例として、缶体５０Ａ１と缶体５０Ａ２とを示している。
缶体５０Ａ１は、ビールや焼酎ハイボールなどの飲料用に用いられる円筒状の缶である。また、缶体５０Ａ２は、同様に円筒状であるが、焼酎ハイボール用に主に用いられる、いわゆるダイヤカット（登録商標）缶である。この缶体５０Ａ２は、側面に三角形状を単位とする凹凸が設けられている。
【0038】
図５（Ｂ）は、飲料容器５０として、プラスティックボトルの一種であるペットボトル５０Ｂの外形形状を示した図である。ここでは、ペットボトル５０Ｂの例として、ペットボトル５０Ｂ１とペットボトル５０Ｂ２とを示している。
ペットボトル５０Ｂ１およびペットボトル５０Ｂ２は、例えば、サイダー、ジュース、お茶などのソフトドリンク用に主に用いられる。
図５（Ｃ）は、飲料容器５０として、ボトル缶５０Ｃの外形形状を示した図である。図示するボトル缶５０Ｃは、例えば、コーヒー、紅茶などのソフトドリンク用に主に用いられる。
ペットボトル５０Ｂ１およびペットボトル５０Ｂ２は、例えば、サイダー、ジュース、お茶などのソフトドリンク用に主に用いられる。
図５（Ｃ）は、飲料容器５０として、ボトル缶５０Ｃの外形形状を示した図である。図示するボトル缶５０Ｃは、例えば、コーヒー、紅茶などのソフトドリンク用に主に用いられる。
【0039】
また、図５（Ｄ）～（Ｆ）は、飲料容器５０として、ガラス瓶の外形形状を示した図である。
このうち、図５（Ｄ）に図示するガラス瓶５０Ｄは、ワンカップ瓶とも呼ばれ、例えば、日本酒用に主に用いられる。
また、図５（Ｅ）に図示するガラス瓶５０Ｅは、ワインやシャンパン等に用いられるガラス瓶５０Ｅ１とガラス瓶５０Ｅ２とを示している。
さらに、図５（Ｆ）に図示するガラス瓶５０Ｆは、ブランデーやウィスキー等に用いられるガラス瓶５０Ｆ１とガラス瓶５０Ｆ２とを示している。
このうち、図５（Ｄ）に図示するガラス瓶５０Ｄは、ワンカップ瓶とも呼ばれ、例えば、日本酒用に主に用いられる。
また、図５（Ｅ）に図示するガラス瓶５０Ｅは、ワインやシャンパン等に用いられるガラス瓶５０Ｅ１とガラス瓶５０Ｅ２とを示している。
さらに、図５（Ｆ）に図示するガラス瓶５０Ｆは、ブランデーやウィスキー等に用いられるガラス瓶５０Ｆ１とガラス瓶５０Ｆ２とを示している。
【0040】
そして、図５（Ｇ）は、飲料容器５０として、紙パック５０Ｇの外形形状を示した図である。
この紙パック５０Ｇは、牛乳、ジュースなどの飲料用に主に使用される。
この紙パック５０Ｇは、牛乳、ジュースなどの飲料用に主に使用される。
【0041】
ユーザが、飲料容器５０を撮影するときは、飲料容器５０を手に持つか、机などに置いた上で撮影することが多い。そしてその場合、撮影画像は、通常は、飲料容器５０を側面から見たときの画像となる。よって、抽出部３２０は、撮影画像から抽出する飲料容器５０の形状として、飲料容器５０を側面から見たときの外形形状を抽出することができる。また、抽出部３２０は、飲料容器５０の大きさから、内容物の容量をさらに抽出するようにしてもよい。例えば、内容物がビールであった場合、その容量は、例えば、３５０ｍＬ、５００ｍＬなど予め定められた容量であることが多く、飲料容器５０の大きさがわかれば、内容物の容量も把握することができる。
【0042】
特定部３３０は、抽出部３２０が抽出した形状から飲料容器５０の内容物を特定する。
上述した飲料容器５０の外形形状は、図５で説明したように内容物により、特徴的な形状を取ることが多い。また、同様の内容物が充填される場合でも、商品を消費者であるユーザに訴求するために、飲料容器５０の形状に特別な意匠を施すことも多い、その場合、図５（Ａ）の缶体５０Ａ１と缶体５０Ａ２、図５（Ｂ）のペットボトル５０Ｂ１とペットボトル５０Ｂ２、図５（Ｆ）のガラス瓶５０Ｆ１とガラス瓶５０Ｆ２のように、商品が異なれば、外形形状も異なることが多い。特に内容物が酒類の場合、図５（Ａ）で示したビール等の場合、図５（Ｄ）で示した日本酒等の場合、図５（Ｅ）で示したワイン等の場合、および図５（Ｆ）で示したウィスキー等の場合のように、内容物に応じて特徴的な飲料容器５０を使用することが多い。
よって、この特定部３３０は、飲料容器５０の形状から、内容物を特定することができる。
上述した飲料容器５０の外形形状は、図５で説明したように内容物により、特徴的な形状を取ることが多い。また、同様の内容物が充填される場合でも、商品を消費者であるユーザに訴求するために、飲料容器５０の形状に特別な意匠を施すことも多い、その場合、図５（Ａ）の缶体５０Ａ１と缶体５０Ａ２、図５（Ｂ）のペットボトル５０Ｂ１とペットボトル５０Ｂ２、図５（Ｆ）のガラス瓶５０Ｆ１とガラス瓶５０Ｆ２のように、商品が異なれば、外形形状も異なることが多い。特に内容物が酒類の場合、図５（Ａ）で示したビール等の場合、図５（Ｄ）で示した日本酒等の場合、図５（Ｅ）で示したワイン等の場合、および図５（Ｆ）で示したウィスキー等の場合のように、内容物に応じて特徴的な飲料容器５０を使用することが多い。
よって、この特定部３３０は、飲料容器５０の形状から、内容物を特定することができる。
【0043】
また、特定部３３０は、飲料容器５０に印刷された印刷画像をさらに加えて内容物を特定するようにしてもよい。つまり、飲料容器５０の形状がほぼ同様であっても、内容物が互いに異なることがある。よって、このような飲料容器５０については、特定部３３０は、飲料容器５０に印刷された印刷画像を参照することで、内容物を特定する。例えば、ラベルのデザインにより内容物を特定できる。また、印刷画像の中の文字情報を基に、内容物を特定できる。この文字情報は、例えば、商品名、〇〇ビールなどの内容物を表す文字などが該当する。そしてこれにより、製造メーカや商品名が特定できた場合は、これに応じた提供情報を設定することもできる。
さらに、特定部３３０は、飲料容器５０の他の特徴点を加えて内容物を特定するようにしてもよい。この特徴点としては、ラベルの位置、キャップの形状、飲料容器５０が有する色彩、内容物が見える場合に内容物の色などが挙げられる。
さらに、特定部３３０は、飲料容器５０の他の特徴点を加えて内容物を特定するようにしてもよい。この特徴点としては、ラベルの位置、キャップの形状、飲料容器５０が有する色彩、内容物が見える場合に内容物の色などが挙げられる。
【0044】
決定部３４０は、特定部３３０が特定した内容物に応じ、提供情報を決定する。提供情報には、上述したように、ＡＲを表示するための画像情報が含まれる。また、提供情報には、ＡＲを表示する際に付随する音声についての音声情報が含まれてもよい。さらに、提供情報には、ＡＲを表示するための情報以外の他の情報が含まれていてもよい。他の情報としては、詳しくは後述するが、ユーザに対するアドバイスなどである。
【0045】
図６は、提供情報を基に、端末装置１０で表示されるＡＲの画像の一例を示した図である。
この場合、端末装置１０の制御部１５０が、画面１００に表示される缶体５０Ａの画像である缶体画像５００の位置に合わせて、ＡＲの画像を表示するための提供画像を表示する制御をした例を示している。このとき、制御部１５０は、缶体画像５００として表示される缶体５０Ａの輪郭を特定する。そして、制御部１５０は、缶体画像５００における缶体５０Ａの筒部５１０、蓋部５２０および底部５３０の位置を特定する。そして、制御部１５０は、缶体画像５００における予め定められた位置に提供画像を表示する。
この場合、端末装置１０の制御部１５０が、画面１００に表示される缶体５０Ａの画像である缶体画像５００の位置に合わせて、ＡＲの画像を表示するための提供画像を表示する制御をした例を示している。このとき、制御部１５０は、缶体画像５００として表示される缶体５０Ａの輪郭を特定する。そして、制御部１５０は、缶体画像５００における缶体５０Ａの筒部５１０、蓋部５２０および底部５３０の位置を特定する。そして、制御部１５０は、缶体画像５００における予め定められた位置に提供画像を表示する。
【0046】
本実施形態の制御部１５０は、端末装置１０のカメラ機能とモーション機能を統合し、ＡＲ表示を行う。また、本実施形態の制御部１５０は、特殊なハードウェアを使わずに端末装置１０に搭載されるリソースと、画像解析データを元にソフトウェアベースで空間構造を認識してＡＲ表示を行う。例えば、制御部１５０は、デバイスのモーションセンシング（加速度センサやジャイロ）と、端末装置１０の撮影部１２０から取得した画像の解析とを組み合わせて実現する技術であるＶＩＯ（Visual Inertial Odometry）技術を使うことができる。また、制御部１５０は、三次元オブジェクトの表面に擬似的な周囲環境の映り込みを再現するための環境マッピングを用いてもよい。
【0047】
そして、図６に示すように、制御部１５０は、缶体画像５００における蓋部５２０に、提供画像としてキャラクタ画像７５を重畳表示させる。これによって、制御部１５０は、缶体５０Ａの蓋部５２０の部分にキャラクタ画像７５が乗っているように見える画像を表示する。これは、制御部１５０は、飲料容器５０の画像の上に位置するようにキャラクタを表示する制御を行う、と言うこともできる。また、制御部１５０は、キャラクタ画像７５が、蓋部５２０に対して垂直方向に沿って長く延びて見えるように表示する。
【0048】
そして、ここでは、提供情報として、内容物に応じた案内をユーザに対し行う。例えば、内容物がビールであった場合は、キャラクタ画像７５を用いて、ビールの新製品の案内を行う。また、内容物がワインであった場合は、ワインの産地や実際の製法の案内を行うなどが考えられる。
【0049】
記憶部３５０は、飲料容器５０の内容物に対応させて、提供情報を記憶する。ここでは、提供情報管理テーブルＴ１によりこれらの情報を記憶する。
図７は、提供情報管理テーブルＴ１について示した図である。
図示するように、提供情報管理テーブルＴ１には、管理番号ごとに、「内容物」および「提供情報」が関連付けられている。図示する提供情報は、ＡＲを表示するための画像情報である提供画像の情報の他、提供画像に付随する音声である提供音声の情報を含んでいる。
提供画像や提供音声は、単数または複数設定される。例えば、管理番号が、Ｎｏ．Ａ００１では、１つの提供画像「ｉｍａｇｅ００１」が設定される。また、提供音声は、設定されない。さらに、管理番号が、Ｎｏ．Ａ００２では、１つの提供画像「ｉｍａｇｅ００２」と、１つの提供音声「ｓｏｕｎｄ００２」が設定される。
提供画像は、静止画や、アニメーションなどの動画によって構成される。また、提供音声は、静止画や動画と同期するように構成された音を含む。すなわち、提供音声は、動画の場合、動画の動きに合わせたタイミングで流れるようになっている。
図７は、提供情報管理テーブルＴ１について示した図である。
図示するように、提供情報管理テーブルＴ１には、管理番号ごとに、「内容物」および「提供情報」が関連付けられている。図示する提供情報は、ＡＲを表示するための画像情報である提供画像の情報の他、提供画像に付随する音声である提供音声の情報を含んでいる。
提供画像や提供音声は、単数または複数設定される。例えば、管理番号が、Ｎｏ．Ａ００１では、１つの提供画像「ｉｍａｇｅ００１」が設定される。また、提供音声は、設定されない。さらに、管理番号が、Ｎｏ．Ａ００２では、１つの提供画像「ｉｍａｇｅ００２」と、１つの提供音声「ｓｏｕｎｄ００２」が設定される。
提供画像は、静止画や、アニメーションなどの動画によって構成される。また、提供音声は、静止画や動画と同期するように構成された音を含む。すなわち、提供音声は、動画の場合、動画の動きに合わせたタイミングで流れるようになっている。
【0050】
またここでは、管理番号が、Ｎｏ．Ａ００１～Ｎｏ．Ａ００３では、内容物の種類だけがわかった場合に、提供される提供情報を示している。例えば、管理番号が、管理Ｎｏ．Ａ００１では、内容物がビールであり、製造メーカや商品名が不明であった場合に提供される提供情報を示している。
また、管理番号が、Ｎｏ．Ａ０２１～Ｎｏ．Ａ０２３では、内容物の種類とともに、製造メーカや商品名が特定できた場合に提供される提供情報を示している。
また、管理番号が、Ｎｏ．Ａ０２１～Ｎｏ．Ａ０２３では、内容物の種類とともに、製造メーカや商品名が特定できた場合に提供される提供情報を示している。
【0051】
［第２の実施形態］
次に、本実施の形態のＡＲ表示システム１の第２の実施形態について説明する。
第２の実施形態では、サーバ装置３０は、ユーザに関する情報であるユーザ情報を加味して、提供情報を決定する。
次に、本実施の形態のＡＲ表示システム１の第２の実施形態について説明する。
第２の実施形態では、サーバ装置３０は、ユーザに関する情報であるユーザ情報を加味して、提供情報を決定する。
【0052】
図８は、第２の実施形態におけるＡＲ表示システム１の機能構成例を示したブロック図である。
第２の実施形態のＡＲ表示システム１のサーバ装置３０は、第１の実施形態のＡＲ表示システム１のサーバ装置３０に比較して、ユーザ情報取得部３６０が加わる点で異なり、他は同様である。よって、以下、ユーザ情報取得部３６０の機能を中心に説明を行う。
第２の実施形態のＡＲ表示システム１のサーバ装置３０は、第１の実施形態のＡＲ表示システム１のサーバ装置３０に比較して、ユーザ情報取得部３６０が加わる点で異なり、他は同様である。よって、以下、ユーザ情報取得部３６０の機能を中心に説明を行う。
【0053】
ユーザ情報取得部３６０は、ユーザに関する情報であるユーザ情報を取得する。ここでは、ユーザ情報は、記憶部３５０に記憶されており、ユーザ情報取得部３６０は、記憶部３５０を参照し、ユーザ情報を取得する。なお、これに限られるものではなく、サーバ装置３０以外の外部装置からユーザ情報を取得するようにしてもよい。例えば、ユーザ情報取得部３６０は、端末装置１０からユーザ情報を取得することもできる。
【0054】
図９は、記憶部３５０に記憶されているユーザ情報の一例を示した図である。
ここでは、ユーザ情報は、ユーザ管理テーブルＴ２にて管理している。そして、１人のユーザに対するユーザ情報のユーザ管理テーブルＴ２を例示している。
このユーザ管理テーブルＴ２では、管理番号ごとに、ユーザが飲んだ「内容物」、「日時」、「ポイント」がそれぞれ関連付けられている。即ち、このユーザ管理テーブルＴ２では、ユーザが飲料容器５０の内容物を飲んだ履歴を含む。
このうち、管理番号が、Ｎｏ．Ｂ００１の場合は、ユーザが、２０１９／０９／１０の２０：２０に、ビールを飲んだことを示している。またこの場合、製造メーカや、商品名は、特定できなかったことを示し、さらに、このときポイントが、３０ポイントになったことを示している。
また、管理番号が、Ｎｏ．Ｂ００２の場合は、ユーザが、２０１９／０９／１１の１９：００に、同様にビールを飲んだことを示している。またこの場合、製造メーカが、「◆〇ビール」であり、商品名が、「■×▼」であったことを示し、さらに、このときポイントが、１５０ポイントになったことを示している。
また、ここでは含まれていないが、ユーザ管理テーブルＴ２に内容物の容量なども併せて管理してもよい。また、ユーザ情報として、ユーザの氏名、住所、年齢、メールアドレスなどを含めてもよい。
ここでは、ユーザ情報は、ユーザ管理テーブルＴ２にて管理している。そして、１人のユーザに対するユーザ情報のユーザ管理テーブルＴ２を例示している。
このユーザ管理テーブルＴ２では、管理番号ごとに、ユーザが飲んだ「内容物」、「日時」、「ポイント」がそれぞれ関連付けられている。即ち、このユーザ管理テーブルＴ２では、ユーザが飲料容器５０の内容物を飲んだ履歴を含む。
このうち、管理番号が、Ｎｏ．Ｂ００１の場合は、ユーザが、２０１９／０９／１０の２０：２０に、ビールを飲んだことを示している。またこの場合、製造メーカや、商品名は、特定できなかったことを示し、さらに、このときポイントが、３０ポイントになったことを示している。
また、管理番号が、Ｎｏ．Ｂ００２の場合は、ユーザが、２０１９／０９／１１の１９：００に、同様にビールを飲んだことを示している。またこの場合、製造メーカが、「◆〇ビール」であり、商品名が、「■×▼」であったことを示し、さらに、このときポイントが、１５０ポイントになったことを示している。
また、ここでは含まれていないが、ユーザ管理テーブルＴ２に内容物の容量なども併せて管理してもよい。また、ユーザ情報として、ユーザの氏名、住所、年齢、メールアドレスなどを含めてもよい。
【0055】
そして、決定部３４０は、特定部３３０が特定した内容物のみならず、上述したユーザ情報を加味して提供情報を決定する。この場合、ユーザ情報に応じ、提供情報を変更してもよく、また、例えば、新たな提供情報をさらに加えることもできる。例えば、決定部３４０は、ユーザ情報を基に、飲料容器５０の内容物を飲む行為に関し、ユーザに対するアドバイスを提供情報に含ませるようにすることができる。そして、端末装置１０の制御部１５０は、このアドバイスを含むＡＲの画像を表示する制御を行う。
【0056】
図１０は、ユーザに対するアドバイスを付与したＡＲの画像の第１の例について示した図である。
図示する例では、図６の場合と同様に、制御部１５０は、画面１００に表示される缶体５０Ａの画像である缶体画像５００の位置に合わせて提供画像を表示する。このとき、制御部１５０は、缶体画像５００における蓋部５２０に、提供画像としてキャラクタ画像７５を重畳表示させる。また、制御部１５０は、提供画像として、内容物の飲み方についてのアドバイスを吹き出し５５０として表示する。この場合、缶体５０Ａの内容物は、ビールであり、このビールの飲み方として、「このビールは０℃まで冷やすとおいしいですよ。」のアドバイスが表示されている。また、このアドバイスを、音声としてユーザに伝えるための音声情報を提供情報に含ませるようにしてもよい。
このアドバイスは、ユーザ履歴を参照し、例えば、初めて飲む飲料の場合に、表示する。即ち、初めて飲む飲料であり、従来の飲んでいた飲料に対し、異なる飲み方があるような場合、このようなアドバイスを表示する。
図示する例では、図６の場合と同様に、制御部１５０は、画面１００に表示される缶体５０Ａの画像である缶体画像５００の位置に合わせて提供画像を表示する。このとき、制御部１５０は、缶体画像５００における蓋部５２０に、提供画像としてキャラクタ画像７５を重畳表示させる。また、制御部１５０は、提供画像として、内容物の飲み方についてのアドバイスを吹き出し５５０として表示する。この場合、缶体５０Ａの内容物は、ビールであり、このビールの飲み方として、「このビールは０℃まで冷やすとおいしいですよ。」のアドバイスが表示されている。また、このアドバイスを、音声としてユーザに伝えるための音声情報を提供情報に含ませるようにしてもよい。
このアドバイスは、ユーザ履歴を参照し、例えば、初めて飲む飲料の場合に、表示する。即ち、初めて飲む飲料であり、従来の飲んでいた飲料に対し、異なる飲み方があるような場合、このようなアドバイスを表示する。
【0057】
図１１は、ユーザに対するアドバイスを付与したＡＲの画像の第２の例について示した図である。
図示する例でも、缶体画像５００における蓋部５２０に、提供画像としてキャラクタ画像７５を重畳表示させる。そして、制御部１５０は、図１０の場合と同様に、提供画像として、アドバイスを吹き出し５５０として表示する。この場合、制御部１５０は、提供画像として、ユーザの健康に関するアドバイスを吹き出し５５０として表示する。具体的には、缶体５０Ａの内容物は、ビールであり、このビールの飲み方として、「今月は飲みすぎです。１本だけにしておきましょう。」のアドバイスが表示されている。また、このアドバイスを、音声としてユーザに伝えるための音声情報を提供情報に含ませるようにしてもよい。
図示する例でも、缶体画像５００における蓋部５２０に、提供画像としてキャラクタ画像７５を重畳表示させる。そして、制御部１５０は、図１０の場合と同様に、提供画像として、アドバイスを吹き出し５５０として表示する。この場合、制御部１５０は、提供画像として、ユーザの健康に関するアドバイスを吹き出し５５０として表示する。具体的には、缶体５０Ａの内容物は、ビールであり、このビールの飲み方として、「今月は飲みすぎです。１本だけにしておきましょう。」のアドバイスが表示されている。また、このアドバイスを、音声としてユーザに伝えるための音声情報を提供情報に含ませるようにしてもよい。
【0058】
このアドバイスは、ユーザ履歴を参照し、ユーザが飲んだ飲料として酒類について飲んだ量を推定する。そして、飲んだ量に応じ、このようなアドバイスを提供情報に含ませる。また、ユーザの年齢に応じ、アドバイスを変更するようにしてもよい。例えば、ユーザが未成年であったときに、酒類を飲むことに対する警告をアドバイスとしてもよい。さらに、ユーザについての健康診断結果などをユーザ情報とし、これに応じてアドバイスをするようにしてもよい。
【0059】
また、決定部３４０は、履歴に基づき、ユーザに付与する特典を提供情報に含ませるようにしてもよい。この場合、特典は、予め定められた商品に対し割引等が得られるクーポンや、ユーザに対し付与されるポイントなどが該当する。本実施の形態では、ユーザ管理テーブルＴ２に特典としてポイント数を含ませ、ユーザ情報として管理している。また、現在のポイント数や、付与されるクーポンなどの情報を、上記アドバイスとすることもできる。
【0060】
＜ＡＲ表示システム１の動作の説明＞
次に、ＡＲ表示システム１の動作の説明を行う。
図１２は、ＡＲ表示システム１の動作を説明したフローチャートである。
まず、ユーザの操作により、端末装置１０の撮影部１２０が飲料容器５０を撮影する（ステップ１０１）。
次に、送受信部１１０が、撮影部１２０が撮影した飲料容器５０の撮影情報をサーバ装置３０に送信し、サーバ装置３０の送受信部３１０が受信する（ステップ１０２）。
次に、ＡＲ表示システム１の動作の説明を行う。
図１２は、ＡＲ表示システム１の動作を説明したフローチャートである。
まず、ユーザの操作により、端末装置１０の撮影部１２０が飲料容器５０を撮影する（ステップ１０１）。
次に、送受信部１１０が、撮影部１２０が撮影した飲料容器５０の撮影情報をサーバ装置３０に送信し、サーバ装置３０の送受信部３１０が受信する（ステップ１０２）。
【0061】
そして、抽出部３２０が、飲料容器５０の形状を抽出する（ステップ１０３）。この形状は、飲料容器５０の外形形状であり、例えば、図５で示したような形状となる。
さらに、抽出部３２０が抽出した形状から飲料容器５０の内容物を特定する（ステップ１０４）。このとき上述したように、特定部３３０は、飲料容器５０に印刷された印刷画像をさらに加えて内容物を特定するようにしてもよい。
次に、決定部３４０が、記憶部３５０を参照し、特定された内容物、製造メーカ、商品名等から、提供情報を決定する（ステップ１０５）。このとき、決定部３４０は、ユーザ情報を加味して、提供情報を決定するようにしてもよい。さらに、上述したように、提供情報として、提供画像や提供音声のみならず、ユーザに対するアドバイスや、特典の情報を含ませるようにしてもよい。
さらに、抽出部３２０が抽出した形状から飲料容器５０の内容物を特定する（ステップ１０４）。このとき上述したように、特定部３３０は、飲料容器５０に印刷された印刷画像をさらに加えて内容物を特定するようにしてもよい。
次に、決定部３４０が、記憶部３５０を参照し、特定された内容物、製造メーカ、商品名等から、提供情報を決定する（ステップ１０５）。このとき、決定部３４０は、ユーザ情報を加味して、提供情報を決定するようにしてもよい。さらに、上述したように、提供情報として、提供画像や提供音声のみならず、ユーザに対するアドバイスや、特典の情報を含ませるようにしてもよい。
【0062】
さらに、送受信部３１０が、決定された提供情報を端末装置１０に送信し、端末装置１０の送受信部１１０が受信する（ステップ１０６）。
端末装置１０では、制御部１５０が、飲料容器５０と提供情報に含まれる画像情報とを合成し、ＡＲの画像を作成する（ステップ１０７）。
そして、表示部１３０が、ＡＲの画像を表示する（ステップ１０８）。このとき、提供情報に音声情報が含まれる場合は、ＡＲの画像とともに、音声出力部１４０が、音声を出力する。またこのとき、図１０および図１１で説明したように、ユーザに対するアドバイスを吹き出し５５０として表示することもできる。
端末装置１０では、制御部１５０が、飲料容器５０と提供情報に含まれる画像情報とを合成し、ＡＲの画像を作成する（ステップ１０７）。
そして、表示部１３０が、ＡＲの画像を表示する（ステップ１０８）。このとき、提供情報に音声情報が含まれる場合は、ＡＲの画像とともに、音声出力部１４０が、音声を出力する。またこのとき、図１０および図１１で説明したように、ユーザに対するアドバイスを吹き出し５５０として表示することもできる。
【0063】
以上詳述したＡＲ表示システム１によれば、飲料容器５０に、バーコード等の識別情報を表示しなくても、提供情報を提供することができる。つまり、以上詳述したＡＲ表示システム１では、飲料容器５０の形状を基に、飲料容器５０の内容物を特定し、これを基に、提供情報を提供することができる。
【0064】
なお、以上説明した形態では、サーバ装置３０が、飲料容器５０の形状を基に、飲料容器５０の内容物を特定し、これを基に、提供情報を作成したが、端末装置１０で行ってもよい。この場合、上述したＡＲ表示システム１の機能を、端末装置１０だけで備えることができる。
また、以上説明した形態では、端末装置１０にカメラが備えられていたが、端末装置１０と別体としてもよい。また同様に、端末装置１０に表示デバイスが備えられていたが、表示デバイスを液晶ディスプレイなどにし、端末装置１０と別体としてもよい。
また、以上説明した形態では、端末装置１０にカメラが備えられていたが、端末装置１０と別体としてもよい。また同様に、端末装置１０に表示デバイスが備えられていたが、表示デバイスを液晶ディスプレイなどにし、端末装置１０と別体としてもよい。
【0065】
＜プログラムの説明＞
なお本実施の形態におけるサーバ装置３０が行う処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、サーバ装置３０の内部に設けられた図示しないＣＰＵが、サーバ装置３０の各機能を実現するプログラムを実行し、これらの各機能を実現させる。
なお本実施の形態におけるサーバ装置３０が行う処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、サーバ装置３０の内部に設けられた図示しないＣＰＵが、サーバ装置３０の各機能を実現するプログラムを実行し、これらの各機能を実現させる。
【0066】
よって、サーバ装置３０が行う処理は、コンピュータに、飲料容器５０の画像を取得する画像取得機能と、飲料容器５０の形状から飲料容器５０の内容物を特定する特定機能と、少なくとも画像情報を含み、ユーザに提供する情報であって、特定した内容物に応じた情報である提供情報を決定する決定機能と、を実現させるためのプログラムとして捉えることもできる。
【0067】
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【符号の説明】
【0068】
１…ＡＲ表示システム、１０…端末装置、３０…サーバ装置、１１０、３１０…送受信部、１２０…撮影部、１３０…表示部、３２０…抽出部、３３０…特定部、３４０…決定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
