特許 7486342 情報処理システム、情報処理装置、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-09

(45)【発行日】2024-05-17

(54)【発明の名称】情報処理システム、情報処理装置、およびプログラム

(51)【国際特許分類】

   G06F 3/0481 20220101AFI20240510BHJP

   G06F 3/0484 20220101ALI20240510BHJP

   G06T 19/00 20110101ALI20240510BHJP

   H04N 23/60 20230101ALI20240510BHJP

   H04N 23/63 20230101ALI20240510BHJP

【ＦＩ】

G06F3/0481

G06F3/0484

G06T19/00 600

H04N23/60 300

H04N23/63 300

【請求項の数】 6

(21)【出願番号】P 2020079406

(22)【出願日】2020-04-28

(65)【公開番号】P2021174378

(43)【公開日】2021-11-01

【審査請求日】2023-03-08

(73)【特許権者】

【識別番号】521469760

【氏名又は名称】アルテミラ株式会社

(74)【代理人】

【識別番号】100104880

【弁理士】

【氏名又は名称】古部 次郎

(74)【代理人】

【識別番号】100113310

【弁理士】

【氏名又は名称】水戸 洋介

(74)【代理人】

【識別番号】100125346

【弁理士】

【氏名又は名称】尾形 文雄

(72)【発明者】

【氏名】小島 真一

(72)【発明者】

【氏名】松島 妃美

【審査官】野田 洋平

(56)【参考文献】

【文献】特開２０１１－０２８５０５（ＪＰ，Ａ）

【文献】特開２０１５－００１８７５（ＪＰ，Ａ）

【文献】特開２０１３－０６９２５９（ＪＰ，Ａ）

【文献】特開２０１５－１７０２７８（ＪＰ，Ａ）

【文献】特開２０１５－１３５６４５（ＪＰ，Ａ）

【文献】特開２０１１－１８５６２８（ＪＰ，Ａ）

【文献】特開２０１９－０５７０２６（ＪＰ，Ａ）

【文献】特表２０１０－５０３０７６（ＪＰ，Ａ）

【文献】国際公開第２０１７／１０４５５１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６３

(57)【特許請求の範囲】

【請求項1】

少なくとも画像を含み、識別情報が関連付けられた提供情報を記憶する記憶部と、
筒状の容器における筒状部の第１位置と当該第１位置に対して周方向において異なる第２位置とに設けられる識別情報を取得する取得部と、
前記取得部が取得した識別情報に対応する提供情報を、情報を出力する出力手段に対して送信する送信部と、
を備え、
前記取得部は、画像を読み取る読取手段に対して相対的に周方向に回転する前記容器から当該読取手段が当該容器の周方向における全幅を読み取った画像に含まれる識別情報を取得し、
前記送信部は、前記第１位置に設けられる第１識別情報と前記第２位置に設けられる第２識別情報とを前記取得部が取得した場合に、前記提供情報を送信する情報処理システム。

【請求項2】

前記第１識別情報と前記第２識別情報とは、互いに異なる画像によってそれぞれ構成されている、請求項１に記載の情報処理システム。

【請求項3】

筒状の容器における筒状部の第１位置と当該第１位置に対して周方向において異なる第２位置とに設けられる識別情報を取得する取得部と、
前記取得部が取得した識別情報に対応するとともに少なくとも画像を含む提供情報を、情報を出力する出力手段に出力させる出力制御部と、
を備え、
前記取得部は、画像を読み取る読取手段に対して相対的に周方向に回転する前記容器から当該読取手段が当該容器の周方向における全幅を読み取った画像に含まれる識別情報を取得し、
前記出力制御部は、前記第１位置に設けられる第１識別情報と前記第２位置に設けられる第２識別情報とを前記取得部が取得した場合に、前記提供情報を前記出力手段に出力させることを特徴とする、情報処理装置。

【請求項4】

前記出力制御部は、前記出力手段に、前記読取手段に対して前記容器を相対的に回転させることを指示する指示画像を表示させる、請求項３に記載の情報処理装置。

【請求項5】

前記出力制御部は、前記出力手段に、前記容器の表示位置を指定する指定画像を表示させる、請求項３または４に記載の情報処理装置。

【請求項6】

コンピュータに、
筒状の容器における筒状部の第１位置と当該第１位置に対して周方向において異なる第２位置とに設けられる識別情報を取得する機能と、
取得した識別情報に対応するとともに少なくとも画像を含む提供情報を、情報を出力する出力手段に出力させる機能と、を実現させ、
前記取得する機能は、画像を読み取る読取手段に対して相対的に周方向に回転する前記容器から当該読取手段が当該容器の周方向における全幅を読み取った画像に含まれる識別情報を取得し、
前記出力させる機能は、前記第１位置に設けられる第１識別情報と前記第２位置に設けられる第２識別情報とを取得した場合に、前記提供情報を前記出力手段に出力させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理装置、プログラム、および容器に関する。

【背景技術】

【0002】

例えば特許文献１には、一次認識対象と二次認識対象とを有する実オブジェクトを映す画像を取得する画像取得部と、画像に関連付けられる拡張現実空間を、一次認識対象についての画像認識に基づいて設定し、拡張現実空間に配置される拡張現実オブジェクトを、一次認識対象についての画像認識に基づいて認識される二次認識対象に依存して決定する制御部と、を備える画像処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１８７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、識別情報を読み取ることで提供情報が提供される技術を、筒状の容器に適用することを考える。この場合に、従来の技術では、容器が筒状であるという形状的な制約によって、識別情報の配置やサイズなど識別情報の利用が制限される可能性が高かった。
本発明は、筒状の容器に設けられる識別情報の自由度を高めることを目的とする。

【課題を解決するための手段】

【0005】

本発明が適用される情報処理システムは、少なくとも画像を含み、識別情報が関連付けられた提供情報を記憶する記憶部と、筒状の容器における筒状部の第１位置と当該第１位置に対して周方向において異なる第２位置とに設けられる識別情報を取得する取得部と、前記取得部が取得した識別情報に対応する提供情報を、情報を出力する出力手段に対して送信する送信部と、を備える。
ここで、前記取得部は、画像を読み取る読取手段に対して相対的に周方向に回転する前記容器から当該読取手段が読み取った識別情報を取得することを特徴とする。
また、前記送信部は、前記第１位置に設けられる第１識別情報と前記第２位置に設けられる第２識別情報とを前記取得部が取得した場合に、前記提供情報を送信することを特徴とする。
また、前記第１識別情報と前記第２識別情報とは、互いに異なる画像によってそれぞれ構成されていることを特徴とする。

【0006】

また、本発明が適用される情報処理装置は、筒状の容器における筒状部の第１位置と当該第１位置に対して周方向において異なる第２位置とに設けられる識別情報を取得する取得部と、前記取得部が取得した識別情報に対応するとともに少なくとも画像を含む提供情報を、情報を出力する出力手段に出力させる出力制御部と、を備える。
ここで、前記出力制御部は、前記出力手段の表示画面に、画像を読み取る読取手段に対して前記容器を相対的に回転させることを指示する指示画像を表示させる。
また、前記出力制御部は、前記出力手段の表示画面に、前記容器の表示位置を指定する指定画像を表示させる。

【0007】

また、本発明が適用されるプログラムは、コンピュータに、筒状の容器における筒状部の第１位置と当該第１位置に対して周方向において異なる第２位置とに設けられる識別情報を取得する機能と、取得した識別情報に対応するとともに少なくとも画像を含む提供情報を、情報を出力する出力手段に出力させる機能と、を実現させる。

【0008】

また、本発明が適用される容器は、筒状に形成された筒状部と、前記筒状部に設けられ、少なくとも画像を含む提供情報を出力手段に出力させるための識別情報を表示する識別情報表示部と、を備え、前記識別情報表示部は、前記筒状部を所定方向から見た場合に、視認可能な視認部と視認できない非視認部とを有する。

【発明の効果】

【0009】

本発明によれば、筒状の容器に設けられる識別情報の自由度を高めることができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態のＡＲ表示システムの全体図である。

【図2】（Ａ）、（Ｂ）および（Ｃ）は、本実施形態の缶体の説明図である。

【図3】本実施形態の端末装置の機能ブロック図である。

【図4】（Ａ）、（Ｂ）および（Ｃ）は、本実施形態の缶体を撮影した合成画像の説明図である。

【図5】（Ａ）および（Ｂ）は、缶体を撮影する際に端末装置に表示される画像の一例である。

【図6】本実施形態のＡＲ表示部が表示する画像の一例である。

【図7】本実施形態のサーバ装置の機能ブロック図である。

【図8】本実施形態の管理テーブルの一例である。

【図9】本実施形態のＡＲ表示システムの動作の一例である。

【図10】変形例１の缶体の説明図である。

【図11】（Ａ）および（Ｂ）は、変形例２および変形例３の缶体の説明図である。

【図12】端末装置およびサーバ装置を適用するのに好適なコンピュータのハードウェア構成の一例を示した図である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して、本発明を実施するための形態について説明する。
図１は、本実施形態のＡＲ表示システム１の全体図である。

【0012】

＜ＡＲ表示システム１＞
図１に示すように、ＡＲ（拡張現実）表示システム１は、ユーザが所有する端末装置１０と、端末装置１０を介してユーザにサービスを提供するサーバ装置３０と、を備えている。そして、本実施形態のＡＲ表示システム１において、端末装置１０およびサーバ装置３０は、ネットワークを介して相互に情報通信が可能になっている。

【0013】

ネットワークは、各装置の間のデータ通信に用いられる通信ネットワークであれば特に限定されず、例えばＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等として良い。データ通信に用いられる通信回線は、有線か無線かを問わず、これらを併用しても良い。また、各装置は、ゲートウェイ装置やルータ等の中継装置を用い、複数のネットワークや通信回線を介して接続されても良い。

【0014】

そして、本実施形態のＡＲ表示システム１では、飲料などが充填される缶体５０の表面に設けられる識別情報（後述）を端末装置１０によって読み取り、読み取った識別情報に応じて、端末装置１０に対して画像や音声などを含む提供情報を送信するサービスを実現する。本実施形態のＡＲ表示システム１では、缶体５０が映る画像に対し、提供情報としての所定画像を重畳表示するなどのＡＲ（拡張現実）表示を行うことで、飲料が充填された缶体５０を購入したユーザに対して新たな顧客体験を創出する。

【0015】

端末装置１０は、例えばネットワークを介してダウンロードされた、ＡＲ（拡張現実）表示システム１のためのウェブアプリケーション（以下、単にウェブアプリケーションと呼ぶ）がインストールされる。本実施形態のウェブアプリケーションは、識別情報に応じて提供情報を提供するために、端末装置１０が搭載しているハードウェアや端末装置１０に予めインストールされているソフトウェアなどの端末装置１０のリソースを動作させる。具体的には、本実施形態のウェブアプリケーションは、端末装置１０のリソースを動作させることで、識別画像を読み取る際の画像表示、缶体５０を含む被写体の撮影や画面における表示、識別画像の読み取り、サーバ装置３０等への識別情報などの情報の送信、サーバ装置３０等からの提供情報などの情報の受信、画面における提供情報などの画像の表示、画面を介したユーザの操作や指示の受け付けなどの各種の機能を実現する。

【0016】

一方、サーバ装置３０には、識別情報と提供情報とが対応付けられて登録されている。本実施形態の識別情報は、後述するように缶体５０の表面に表示される予め定められた画像である。なお、識別情報は、任意の画像を登録することができる。また、提供情報は、テキスト情報、音楽、音声、動画、二次元画像、三次元画像、電子ブック、所定のウェブサイトにアクセスするためのリンクなどを例示できる。なお、識別情報と提供情報との登録は、ＡＲ表示システム１を用いたサービスを提供するサービス提供者や、例えば飲料が充填された缶体５０を販売する飲料メーカなどが設定することができる。

【0017】

そして、端末装置１０では、ウェブアプリケーションに基づくビューワが起動され、識別情報の読み取りが行われる。端末装置１０は、読み取った識別情報をサーバ装置３０に送信する。サーバ装置３０では、識別情報および提供情報が管理されている。そして、サーバ装置３０は、端末装置１０から識別情報を受信した場合に、その識別情報に対応する提供情報を端末装置１０に対して送信する。さらに、端末装置１０では、受信した提供情報がビューワによって表示される。
以下、本実施形態のＡＲ表示システム１を構成する各構成部についてそれぞれ詳細に説明する。

【0018】

なお、本実施形態において、ＡＲ表示システム１が情報処理システムの一例であり、サーバ装置３０が記憶部、取得部または送信部の一例であり、端末装置１０が出力手段の一例である。また、サーバ装置３０は、情報処理システムの一例と捉えることもできる。

【0019】

〔缶体５０〕
まず、本実施形態の缶体５０について具体的に説明する。
図２は、本実施形態の缶体５０の説明図である。

【0020】

図２（Ａ）は、所定方向から見た場合の缶体５０の斜視図である。また、図２（Ｂ）は、図２（Ａ）の所定方向とは異なる方向から見た場合の缶体５０の斜視図である。そして、図２（Ｃ）は、缶体５０に印刷される画像の説明図である。

【0021】

図２（Ａ）および図２（Ｂ）に示すように、缶体５０は、筒状に形成される筒部５１０と、缶体５０の軸方向における一端部に位置する開口を塞ぐ蓋部５２０と、筒部５１０の軸方向において蓋部５２０とは反対側に設けられる底部５３０とを有している。本実施形態の缶体５０は、アルミニウムなどの金属を材料に用いることができる。そして、缶体５０には、飲料などの収容物が密封される。
なお、本実施形態の筒部５１０は、円形状に形成された円筒であるが、多角形に形成されていても良い。

【0022】

そして、図２（Ｃ）に示すように、缶体５０の筒部５１０には、飲料メーカ名５１ｍ、商品図形５１ｇ、商品名５１ｐ、お酒マーク５１ａ、リサイクル識別表示マーク５１ｒ、バーコード５１ｂ、製缶メーカロゴ５１ｓ、商品テキスト５１ｔ、栄養成分表示５１ｎ、注意喚起テキスト５１ｃおよび商品説明欄５１ｅを含む各種の情報が印刷されている。

【0023】

飲料メーカ名５１ｍは、缶体５０に飲料を充填して製造したり、飲料が充填された缶体５０（以下、商品と称す）を販売したりする企業名を示す情報である。商品図形５１ｇは、商品のロゴを示す情報である。商品名５１ｐは、商品名を示す情報である。お酒マーク５１ａは、商品が酒類であることを示す情報である。リサイクル識別表示マーク５１ｒは、缶体５０を資源として再利用する際の目印となる情報である。バーコード５１ｂは、商品を製造したり、販売したりしている企業名、商品の種類などの情報を符号化した情報である。

【0024】

製缶メーカロゴ５１ｓは、缶体５０そのものを製造している企業のロゴを示す情報である。商品テキスト５１ｔは、商品に関する各種情報をテキストで示す情報である。栄養成分表示５１ｎは、商品の栄養に関する内容を示す情報である。注意喚起テキスト５１ｃは、商品の取扱いに関する注意事項を示す情報である。
商品説明欄５１ｅは、商品の説明をするテキスト５１ｅ１と、商品のイメージを図形によって表す説明図形５１ｅ２とを含んでいる。

【0025】

そして、本実施形態のＡＲ表示システム１では、筒部５１０に印刷される各種の情報のうち、商品図形５１ｇおよび説明図形５１ｅ２の両方を識別情報として設定している。ここで、商品図形５１ｇと説明図形５１ｅ２とは、筒部５１０の周方向において異なる位置に離れて設けられている。

【0026】

また、図２（Ａ）に示すように、缶体５０における商品図形５１ｇおよび説明図形５１ｅ２の位置関係は、所定の方向から缶体５０を見た場合に、商品図形５１ｇを見ることができるが、説明図形５１ｅ２を見ることができないようになっている。一方で、図２（Ｂ）に示すように、缶体５０における商品図形５１ｇおよび説明図形５１ｅ２の位置関係は、上述した所定の方向とは異なる方向から缶体５０を見た場合に、説明図形５１ｅ２を見ることができるが、商品図形５１ｇを見ることができないようになっている。
つまり、図２（Ｃ）に示すように、缶体５０の外周面において、所定方向から缶体５０を見た場合に視認可能な視認可能領域Ｗ（図中鎖線で囲った領域）に商品図形５１ｇが含まれる場合に、説明図形５１ｅ２は、視認可能領域Ｗの外側になる。

【0027】

なお、本実施形態のＡＲ表示システム１では、商品図形５１ｇおよび説明図形５１ｅ２を識別情報に設定しているが、この例に限定されない。識別情報として、上述した筒部５１０に印刷されている各種の情報（画像や文字）のうち、他の情報を用いても良い。

【0028】

また、本実施形態のＡＲ表示システム１では、識別情報として用いる画像として、バーコードなど情報を符号化したコード画像ではなく、ユーザの視覚に直接的に情報を伝える企業のロゴや商品のロゴなどの画像を用いている。そして、本実施形態のＡＲ表示システム１では、缶体５０に設けられる一の画像に対して、ユーザの視覚に直接的に情報を伝える機能と、識別情報としての機能とを兼用させている。これによって、デザイン上の美観を損ねる可能性が高いコード画像を設けることが必須とならないようにしている。また、上述のとおり画像を構成することで、ユーザが識別情報の読み取りを行う際に、筒部５１０のいずれの画像を読み取っているかということをユーザが認識し難くなる。これによって、ユーザは、宝探しを行うような感覚で缶体５０の筒部５１０に対する端末装置１０を用いた撮影を行いながら、識別情報の読み取りを行うことができる。

【0029】

また、本実施形態では、ＡＲ表示システム１による読み取り対象物として缶体５０を例示しているが、缶体５０に限定されない。対象物としては、筒状に形成された部分を有する容器であれば良く、例えば金属を材料としてボトル状に形成されてキャップを有するボトル缶、ポリエチレンテレフタレートなどの合成樹脂を材料に用いたキャップ付きのプラスティックボトル、ガラスを材料とするガラス瓶でも良い。これらの場合においても、上述した各種の情報は、ボトルの表面や、ボトルを覆う包装材や、ボトルに貼り付けられるラベル等に設けられていれば良い。

【0030】

なお、本実施形態において、筒部５１０が筒状部の一例であり、商品図形５１ｇおよび説明図形５１ｅ２が識別情報または識別情報表示部の一例である。また、商品図形５１ｇが第１識別情報の一例であり、説明図形５１ｅ２が第２識別情報の一例である。

【0031】

〔端末装置１０〕
図１に示すように、端末装置１０には、スマートフォンなどの携帯電話、タブレット型端末などの携帯端末機器など、ユーザが持ち歩くことが可能な装置を用いることができる。
本実施形態の端末装置１０は、タッチパネルが設けられており、画面１００をユーザがタッチすることで画面１００に表示される画像に対する操作や画面１００を介した指示を行う。また、端末装置１０の画面１００には、サーバ装置３０から受信した提供情報としての画像が表示される。
さらに、端末装置１０は、缶体５０の識別情報を読み取ることが可能なカメラ１０Ｃを備えている。また、端末装置１０は、提供情報としての音声を出力するスピーカを備えている。
なお、本実施形態において、端末装置１０のカメラ１０Ｃが読取手段の一例である。

【0032】

図３は、本実施形態の端末装置１０の機能ブロック図である。
図３に示すように、端末装置１０は、画像を撮影する撮影部１１と、サーバ装置３０から取得した提供画像を缶体５０に対応付けて表示するＡＲ表示部１２とを備える。

【0033】

なお、本実施形態において、端末装置１０が情報処理装置の一例であり、撮影部１１が取得部の一例であり、画面１００（図１参照）が出力手段の一例であり、端末装置１０のＣＰＵ１０１（後述の図１２参照）が出力制御部の一例である。

【0034】

（撮影部１１）
撮影部１１は、缶体５０の全体と、回転される缶体５０の筒部５１０とを撮影可能である。そして、撮影部１１は、缶体５０の全体を撮影した静止画像を、サーバ装置３０に送信する。本実施形態では、撮影部１１が撮影した缶体５０全体の静止画像は、サーバ装置３０において、撮影対象物の種類の判別に用いられる。なお、撮影対象物の種類は、「缶体」、「ボトル缶」、「プラスティックボトル」、「ガラス瓶」などを例示できる。本実施形態においては、撮影対象が缶体５０であるため、サーバ装置３０にて、撮影対象物が「缶体」であることが特定される。そして、撮影部１１は、サーバ装置３０から撮影対象物が「缶体」であることの情報を取得する。

【0035】

本実施形態では、缶体５０などの外周面に表示される識別情報を認識するようにしている。ここで、画像の認識を行う際には、読み取り対象となる対象物の形状が特定されている方が、認識精度をより高めることができる。認識精度は、例えば、対象物の形状に応じて、読み取った画像を変形させるなどの画像補正を行うことで高めることができる。従って、本実施形態の撮影部１１は、対象物の全体の画像に基づいて特定された、対象物の種類の情報を取得している。

【0036】

その後、撮影部１１は、回転される缶体５０を撮影することで、缶体５０を異なる角度から撮影した缶体５０の複数の撮影画像を取得する。そして、撮影部１１は、缶体５０の複数の撮影画像を合成した合成画像を作成する。撮影部１１は、缶体５０を撮影したことで得られる合成画像をサーバ装置３０に送信する。

【0037】

ここで、本実施形態における缶体５０の合成画像の作成方法の一例を具体的に説明する。
図４は、本実施形態の缶体５０を撮影した合成画像５００ｃの説明図である。
なお、図４（Ａ）は、缶体５０を端末装置１０で撮影する場合の模式図を示す。図４（Ｂ）は、端末装置１０によって撮影された缶体５０の複数の缶体画像５００の模式図である。図４（Ｃ）は、缶体５０の複数の缶体画像５００を合成した合成画像５００ｃの模式図である。

【0038】

図４（Ａ）に示すように、図中矢印IVＡ方向に回転させられている缶体５０を、位置が固定された端末装置１０のカメラ１０Ｃによって動画撮影する。この例では、例えば缶体５０を６秒間で一周させることで、缶体５０の周方向における全幅を撮影する。この場合、缶体５０は、１秒間に６０度回転する。なお、図４（Ａ）には、缶体５０を周方向に６０度ずつ分割した場合の筒部５１０における領域Ａ～領域Ｆを示している。

【0039】

また、端末装置１０は、例えばフレームレートが３０ｆｐｓという条件で缶体５０の動画撮影をする。そして、本実施形態では、図４（Ａ）に示すように、Ａ領域が端末装置１０を向いている状態から撮影を開始したとして、撮影開始から３０フレームごと、すなわち１秒ごとのフレーム画像を動画から抽出する。この例では、図４（Ｂ）に示すように、６枚のフレーム画像が得られる。本実施形態では、缶体５０を１秒間に６０度回転させているため、６枚のフレーム画像は、Ａ領域～Ｆ領域がそれぞれ中心となる撮影画像となる。

【0040】

そして、図４（Ｃ）に示すように、撮影部１１は、６枚のフレーム画像を合成する。このとき、撮影部１１は、筒部５１０が映るフレーム画像のうち、端末装置１０に正対する中心部の画像を用いる。例えば、フレーム画像は、缶体５０の周方向において１８０度の範囲が映る缶体５０の画像で構成されている。そして、撮影部１１は、そのフレーム画像のうち、中心線（図４（Ｂ）にて一点鎖線で示す線）から缶体５０の周方向においてプラス３０度とマイナス３０度との範囲となる合計で６０度の範囲の画像を、中心部の画像とする。図４（Ｂ）に示すように、端末装置１０が領域Ａに正対しているときに撮影したフレーム画像からは、中心部画像ｅ１が得られる。同様に、端末装置１０が領域Ｂ～領域Ｆに各々、正対しているときに撮影したフレーム画像からは、それぞれ、中心部画像ｅ２～中心部画像ｅ６が得られる。

【0041】

そして、撮影部１１は、この例においては中心部画像ｅ１～中心部画像ｅ６をつなぎ合わせて、合成画像５００ｃを作成する。以上のようにして、撮影部１１は、缶体５０の周方向における全幅を撮影した画像に相当する合成画像５００ｃを作成する。

【0042】

なお、上述した例では、端末装置１０を用いて缶体５０を動画撮影し、動画を構成するフレーム画像を用いて合成画像を作成していたが、この例に限定されない。例えば、回転させられている缶体５０に対して、所定の時間間隔（例えば、１秒間隔）で缶体５０を静止画により撮影しても良い。
また、本実施形態では、撮影は、端末装置１０を固定し、缶体５０を周方向に回転させて行っているが、この例に限定されない。撮影は、缶体５０を固定し、缶体５０を中心に端末装置１０を公転させるように、缶体５０の周方向において端末装置１０を移動させながら行っても良い。

【0043】

さらに、撮影部１１は、缶体５０の撮影が行われる際に、端末装置１０の画面１００に、缶体５０の動画を撮影するための画像を表示する。
図５は、缶体５０を撮影する際に端末装置１０に表示される画像の一例である。

【0044】

図５（Ａ）に示すように、撮影部１１は、端末装置１０の画面１００における缶体５０の表示位置および表示サイズを指定する指定画像７１を表示する。指定画像７１は、図形によって構成される指定枠７１Ｇと、テキストによって構成される指定テキスト７１Ｔとを有する。

【0045】

指定枠７１Ｇは、この例ではＬ字状に形成された４つの線を有している。指定枠７１Ｇは、画面１００に表示される缶体５０の缶体画像５００の四隅の位置を指定する。これによって、指定枠７１Ｇは、画面１００における缶体画像５００のサイズおよび位置を指定する。
指定テキスト７１Ｔは、「枠に缶を合わせて ください」といったように、指定枠７１Ｇに缶体画像５００の位置を合わせるようにユーザに指示する。

【0046】

また、図５（Ｂ）に示すように、撮影部１１は、端末装置１０の画面１００に、缶体５０の操作を指示する指示画像７２を表示する。指示画像７２は、図形によって構成される矢印画像７２Ａと、テキストによって構成される指示テキスト７２Ｔとを有する。

【0047】

矢印画像７２Ａは、円弧状の矢印であり、缶体５０を周方向に回転させること、および回転方向を指示する。
指示テキスト７２Ｔは、「缶を反時計回りに ゆっくりと 回転させてください」といったように、缶体５０を回転させること、回転速度、および回転方向をユーザに指示する。

【0048】

なお、上述した動画を撮影するための画像は、容器の種類に合わせた内容とするために、容器の種類ごとに異なるように設定している。本実施形態では、缶体、ボトル缶、プラスティックボトル、ガラス瓶などに応じて、それぞれ個別に指定画像７１や指示画像７２が設けられている。本実施形態では、撮影部１１が対象物の撮影を開始した際に、対象物の全体の静止画像から対象物の種類を特定する。そして、撮影部１１は、特定した対象物の種類に応じた指定画像７１や指示画像７２を画面１００に表示するようにしている。

【0049】

（ＡＲ表示部１２）
図６は、本実施形態のＡＲ表示部１２が表示する画像の一例である。

【0050】

ＡＲ表示部１２は、サーバ装置３０から提供画像を取得する。そして、ＡＲ表示部１２は、端末装置１０の画面１００に表示される缶体５０の画像である缶体画像５００の位置に合わせて提供画像を表示する。このとき、ＡＲ表示部１２は、缶体画像５００として表示される缶体５０の輪郭を特定する。ＡＲ表示部１２は、缶体画像５００における缶体５０の筒部５１０、蓋部５２０および底部５３０の位置を特定する。そして、ＡＲ表示部１２は、缶体画像５００における予め定められた位置に提供画像を表示する。

【0051】

本実施形態のＡＲ表示部１２は、端末装置１０のカメラ機能とモーション機能を統合し、ＡＲ表示を行う。また、本実施形態のＡＲ表示部１２は、特殊なハードウェアを使わずに端末装置１０に搭載されるリソースと、画像解析データを元にソフトウェアベースで空間構造を認識してＡＲ表示を行う。例えば、ＡＲ表示部１２は、デバイスのモーションセンシング（例えば、加速度センサやジャイロセンサなど）と、端末装置１０のカメラ１０Ｃから取得した画像の解析とを組み合わせて実現する技術であるＶＩＯ（Visual Inertial Odometry）技術を使うことができる。また、ＡＲ表示部１２は、三次元オブジェクトの表面に擬似的な周囲環境の映り込みの再現するための環境マッピングを用いても良い。

【0052】

そして、図６に示すように、ＡＲ表示部１２は、缶体画像５００における蓋部５２０に、提供画像としてキャラクタ画像７５を重畳表示させる。これによって、ＡＲ表示部１２は、缶体５０の蓋部５２０の部分にキャラクタ画像７５が乗っているように見える画像を表示する。また、ＡＲ表示部１２は、キャラクタ画像７５が、蓋部５２０に対して垂直方向に沿って長く延びて見えるように表示する。

【0053】

〔サーバ装置３０〕
図７は、本実施形態のサーバ装置３０の機能ブロック図である。
図８は、本実施形態の管理テーブルの一例である。

【0054】

図７に示すように、サーバ装置３０は、識別情報と提供情報とを関連付けて記憶する記憶部３１と、端末装置１０が読み取った読取画像に基づいて識別情報の有無を判定する判定部３２と、を備える。

【0055】

（記憶部３１）
記憶部３１は、ＡＲ表示を行うための各種情報を管理する管理テーブル３１０を用いて情報を管理している。記憶部３１に記憶される各種の情報は、他の構成部によって参照される。

【0056】

図８に示すように、管理テーブル３１０には、管理番号ごとに、「識別情報」、および「提供情報」が関連付けられている。
識別情報は、単数または複数設定される。例えば、管理Ｎｏ．００１では、第１識別情報（００１Ａ．ｊｐｇ）および第２識別情報（００１Ｂ．ｊｐｇ）の２つが設定される。
提供情報は、提供画像、提供音声、提供画像および提供音声のいずれかが含まれる。提供画像は、静止画や、アニメーションなどの動画によって構成される。また、提供音声は、静止画や動画と同期するように構成された音を含む。すなわち、提供音声は、動画の場合、動画の動きに合わせたタイミングで流れるようになっている。

【0057】

（判定部３２）
判定部３２は、端末装置１０から合成画像５００ｃ（図４参照）を取得する。そして、判定部３２は、合成画像５００ｃに対して、記憶部３１の管理テーブル３１０（図８参照）によって管理されている識別情報を用いたパターンマッチングを行う。判定部３２は、端末装置１０から取得した合成画像５００ｃに対応する識別情報が検出された場合に、検出された識別情報に関連付けられている提供情報を、端末装置１０に送信する。ここで、判定部３２は、管理テーブル３１０の管理番号の単位で複数の識別情報が設定されている場合には、複数の識別情報の全てが検出された場合に、関連付けられた提供情報を送信する。

【0058】

続いて、本実施形態のＡＲ表示システム１の動作を説明する。
図９は、本実施形態のＡＲ表示システム１の動作の一例である。

【0059】

例えば、ユーザは、缶体５０を回転させながら、端末装置１０を用いて缶体５０を撮影する（Ｓ１）。端末装置１０では、缶体５０を撮影した缶体画像５００から、合成画像５００ｃ（図４（Ｃ）参照）を作成する（Ｓ２）。そして、端末装置１０は、作成した合成画像をサーバ装置３０に送信する（Ｓ３）。

【0060】

サーバ装置３０は、合成画像５００ｃの中に含まれる識別情報の検出を行う（Ｓ４）。そして、サーバ装置３０は、合成画像５００ｃの中に含まれる識別情報に応じて、その識別情報に対応する提供情報を端末装置１０に送信する（Ｓ５）。

【0061】

例えば図８に示すように、識別情報として第１識別情報（００１Ａ．ｊｐｇ）および第２識別情報（００１Ｂ．ｊｐｇ）が設定されている場合、サーバ装置３０は、合成画像５００ｃから第１識別情報（００１Ａ．ｊｐｇ）および第２識別情報（００１Ｂ．ｊｐｇ）の両方を検出することで、提供画像（Ｉｍａｇｅ００１）を端末装置１０に送信する。ただし、サーバ装置３０は、合成画像５００ｃから第１識別情報および第２識別情報のいずれも検出されなかった場合や、第１識別情報および第２識別情報のいずれか一方だけが検出された場合には、端末装置１０に提供情報を送信しない。

【0062】

そして、端末装置１０は、缶体５０を撮影した缶体画像５００に対応させて、受信した提供情報を出力する（Ｓ６）。端末装置１０は、例えば図６に示すように、缶体５０が撮影され缶体画像５００が表示される画面１００において、缶体画像５００の蓋部５２０の位置に対応させてキャラクタ画像７５を表示する。なお、端末装置１０は、提供情報として提供音声が含まれる場合には、端末装置１０のスピーカから提供音声を出力する。

【0063】

なお、サーバ装置３０にて、合成画像５００ｃから識別情報を検出できなかった場合や、管理番号の単位で指定される複数の識別情報の全てを検出できなかった場合には、端末装置１０に、識別情報の検出ができなかった旨の情報を送信する。これを受けて、端末装置１０では、提供情報を表示することができないといった内容が、端末装置１０の画面１００を介してユーザに通知される。

【0064】

また、本実施形態では、缶体５０の周方向の全幅の撮影画像を用いることを前提としているが、この態様に限定されない。例えば、撮影を行うユーザに対して、缶体５０の筒部５１０の周方向において異なる位置に設けられる複数の識別情報を撮影するように指示しても良い。この場合、サーバ装置３０は、複数の識別情報をそれぞれ取得した場合に、提供情報を端末装置１０に送信する。

【0065】

なお、上述したように、本実施形態においては、例えば、商品図形５１ｇおよび説明図形５１ｅ２（図２参照）という互いに形状などの内容が異なる複数の画像を識別情報に設定しているが、この例に限定されない。識別情報は、形状などの内容が同じ複数の画像によって構成されていても良い。例えば、缶体５０の筒部５１０の周方向における異なる位置に、識別情報として同じ形状の画像を複数設けておく。そして、サーバ装置３０は、端末装置１０によって位置が異なるが同じ形状の画像が複数、読み取られたことを条件として、提供情報を提供するようにしても良い。

【0066】

続いて、変形例１の缶体５０について具体的に説明する。
図１０は、変形例１の缶体５０の説明図である。

【0067】

図１０に示すように、缶体５０の筒部５１０には、飲料メーカ名５１ｍ、商品図形５１ｘ、商品名５１ｐ、リサイクル識別表示マーク５１ｒ、バーコード５１ｂ、製缶メーカロゴ５１ｓ、栄養成分表示５１ｎ、注意喚起テキスト５１ｃを含む各種の情報が印刷されている。

【0068】

そして、変形例１の缶体５０においては、商品図形５１ｘが識別情報として設定されている。商品図形５１ｘは、筒部５１０の周方向に長くのびて形成されている。また、図１０に示すように、識別情報としての商品図形５１ｘは、缶体５０の筒部５１０において、所定方向から缶体５０を見た場合に視認可能な視認可能領域Ｗに表示される部分と、視認可能領域Ｗに表示されない部分とを有する一体の画像である。

【0069】

なお、変形例１において、筒部５１０が筒状部の一例であり、商品図形５１ｘが識別情報または識別情報表示部の一例である。

【0070】

続いて、変形例２および変形例３の缶体５０について具体的に説明する。
図１１は、変形例２および変形例３の缶体５０の説明図である。

【0071】

図１１（Ａ）に示すように、変形例２の缶体５０の筒部５１０には、商品図形５１ｙが印刷されている。そして、変形例２においては、商品図形５１ｙの隣に、識別情報としての識別マーク５１ｉが設けられる。この例では、識別マーク５１ｉは、「〇△□」の図形によって構成されている。そして、識別マーク５１ｉは、商品図形５１ｙのサイズと比較して、小さくなっている。また、識別マーク５１ｉは、識別情報のみを示す専用の情報である。
図１１（Ａ）に示すように、商品図形５１ｙの隣に、識別情報としての識別マーク５１ｉを設けておくことで、識別情報を目立たせずに設けることができる。

【0072】

図１１（Ｂ）に示すように、変形例３の缶体５０の筒部５１０には、商品図形５１ｚが印刷されている。そして、変形例３においては、商品図形５１ｚの内側に、識別情報としての識別マーク５１ｉが設けられる。この例では、識別マーク５１ｉは、「〇△□」の図形によって構成されている。そして、識別マーク５１ｉは、商品図形５１ｚのサイズと比較して、小さくなっている。また、識別マーク５１ｉは、識別情報のみを示す専用の情報である。
図１１（Ｂ）に示すように、商品図形５１ｚの一部に、識別情報としての識別マーク５１ｉを設けておくことで、識別情報を目立たせずに設けることができる。

【0073】

そして、上述した変形例２や変形例３においては、例えば、ユーザに対して商品図形５１ｙや商品図形５１ｚを読み取るように指示することで、結果的に、識別マーク５１ｉの読み取りが行われる。このように、変形例２や変形例３の態様では、識別情報自体は目立たずに設けながら、ユーザに対する識別情報の読み取りや読み取りの指示が容易になる。

【0074】

また、識別情報は、例えば人の目には目立ち難い一方で、カメラでは認識しやすい色（例えば、黄色）などで構成しても良い。さらには、識別情報は、赤外線などの特定の波長で読み取り可能な顔料を用いて構成しても良い。

【0075】

最後に、本実施形態の端末装置１０およびサーバ装置３０のハードウェア構成について説明する。
図１２は、端末装置１０およびサーバ装置３０を適用するのに好適なコンピュータのハードウェア構成の一例を示した図である。

【0076】

図１２に示すように、端末装置１０およびサーバ装置３０は、演算手段であるＣＰＵ（Central Processing Unit）１０１と、ＢＩＯＳ（Basic Input Output System）等のプログラムを記憶する記憶領域であるＲＯＭ（Read Only Memory）１０２と、プログラムの実行領域であるＲＡＭ（Random Access Memory）１０３とを備える。また、端末装置１０およびサーバ装置３０は、ＯＳ（Operating System）やアプリケーション等の各種プログラム、各種プログラムに対する入力データ、各種プログラムからの出力データ等を記憶する記憶領域であるＨＤＤ（Hard Disk Drive）１０４を備える。なお、端末装置１０およびサーバ装置３０は、複数のＣＰＵを有し、複数のＣＰＵが協働して演算処理を行っても良い。
さらに、端末装置１０およびサーバ装置３０は、外部との通信を行うための通信インタフェース（通信Ｉ／Ｆ）１０５と、ディスプレイ等の表示機構１０６と、キーボードやマウス、タッチパネル等の入力デバイス１０７とを備える。
そして、上述した端末装置１０およびサーバ装置３０の機能は、ＲＯＭ１０２やＨＤＤ１０４等に記憶されたプログラムが、ＲＡＭ１０３に読み込まれてＣＰＵ１０１に実行されることにより実現される。

【0077】

なお、上述した端末装置１０やサーバ装置３０における各種の機能をコンピュータに実現させるウェブアプリケーションなどのソフトウェアのプログラムは、例えば通信手段により提供することはもちろん、各種の記録媒体（例えば、ＵＳＢ（Universal Serial Bus）メモリ、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ＲＯＭなど））に格納して提供しても良い。

【符号の説明】

【0078】

１…ＡＲ表示システム、１０…端末装置、１１…撮影部、１２…ＡＲ表示部、３０…サーバ装置、３１…記憶部、３２…判定部、５０…缶体、５１ｇ…商品図形、５１ｅ２…説明図形、５１ｘ…商品図形、７１…指定画像、７２…指示画像、７５…キャラクタ画像、５００…缶体画像、５００ｃ…合成画像、５１０…筒部、５２０…蓋部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】