特許 5963325 マーカに基づいて特定される情報を提示する装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5963325

(24)【登録日】2016年7月8日

(45)【発行日】2016年8月3日

(54)【発明の名称】マーカに基づいて特定される情報を提示する装置、方法およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20160721BHJP

   G06F 17/30 20060101ALI20160721BHJP

【ＦＩ】

   G06T19/00 600

   G06F17/30 310Z

【請求項の数】14

【全頁数】32

(21)【出願番号】特願2014-165336(P2014-165336)

(22)【出願日】2014年8月14日

(65)【公開番号】特開2016-42246(P2016-42246A)

(43)【公開日】2016年3月31日

【審査請求日】2016年1月12日

【早期審査対象出願】

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100108501

【弁理士】

【氏名又は名称】上野 剛史

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(72)【発明者】

【氏名】的場 伸光

(72)【発明者】

【氏名】西村 康孝

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２００４−２５８９２８（ＪＰ，Ａ）

【文献】 特開２００４−０４８６７４（ＪＰ，Ａ）

【文献】 再公表特許第２００７／１４８３９３（ＪＰ，Ａ１）

【文献】 特開２０１３−０９２８８７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０１Ｃ ２１／００ − ２１／３６

Ｇ０６Ｑ ３０／０２

Ｇ０６Ｑ ３０／０６

Ｇ０６Ｑ ５０／１０

ＣｉＮｉｉ

(57)【特許請求の範囲】

【請求項1】

マーカに基づいて特定される情報を提示する装置であって、
画像を取得する画像取得部と、
画像を表示する表示部と、
前記画像取得部により取得された画像から前記マーカの画像を抽出し、当該マーカを特定する画像処理を行う画像処理部と、
前記画像取得部により取得された前記マーカの画像に基づき、自装置と当該マーカとの間の相対的な位置関係を計算し、当該マーカの位置情報と複数のマーカのうちの当該マーカに関連付けられた他のマーカの位置情報とに基づき、自装置と当該他のマーカとの間の相対的な位置関係を計算する位置計算部と、
マーカに関する情報を提示するための画像に、前記位置計算部により計算された位置関係に基づいて、前記画像処理部により特定されたマーカに付加された付加情報および当該マーカに関連付けられた前記他のマーカに付加された付加情報に基づく情報表示を付加した情報提示画像を生成し、前記表示部に表示させる表示制御部と、
を備える、装置。

【請求項2】

前記表示制御部は、前記マーカに関する情報を提示するための前記画像として前記画像取得部により取得された画像を用い、前記情報提示画像を生成する、請求項１に記載の装置。

【請求項3】

前記表示制御部は、前記表示制御部により生成される前記情報提示画像において、前記画像処理部により特定されたマーカの付加情報に基づく前記情報表示と、当該マーカに関連付けられた前記他のマーカの付加情報に基づく前記情報表示とを異なる態様で付加する、請求項１に記載の装置。

【請求項4】

前記表示制御部は、前記表示制御部により生成される前記情報提示画像において、当該情報提示画像に示される範囲に設置されていないマーカの付加情報に基づく前記情報表示と、当該情報提示画像に示される範囲に設置されているマーカの付加情報に基づく前記情報表示とを異なる態様で付加する、請求項１に記載の装置。

【請求項5】

前記表示制御部は、複数の前記マーカの付加情報に基づいて、各マーカに対する前記情報表示の表示優先度を設定し、当該表示優先度の高い当該情報表示が優先して表示されるように前記情報提示画像に付加する、請求項１に記載の装置。

【請求項6】

前記表示制御部は、前記表示優先度が一定以上の前記情報表示を前記情報提示画像に付加する、請求項５に記載の装置。

【請求項7】

前記画像処理部により特定されたマーカの付加情報と、当該マーカに関連付けられた前記他のマーカの付加情報とを外部装置から受信する受信部をさらに備える、請求項１に記載の装置。

【請求項8】

前記表示制御部は、前記画像処理部により特定されたマーカの付加情報と、当該マーカに関連付けられた前記他のマーカの付加情報とに基づき、マーカの一覧画像を生成し、前記表示部に表示させ、当該一覧画像に表示されたマーカの中から選択されたマーカの付加情報に基づく前記情報表示を付加した前記情報提示画像を生成する、請求項１に記載の装置。

【請求項9】

前記位置計算部は、前記画像処理部により特定されたマーカの位置情報と、操作者により選択された他のマーカの位置情報とに基づき、自装置と当該他のマーカとの間の相対的な位置関係を計算し、
前記表示制御部は、前記位置計算部により計算された位置関係に基づいて、少なくとも前記他のマーカに付加された付加情報に基づく前記情報表示を付加した前記情報提示画像を生成する、
請求項１に記載の装置。

【請求項10】

前記表示制御部は、操作者により複数の他のマーカが選択された場合に、当該複数の他のマーカの位置に基づいて特定される代表位置を前記情報提示画像に表示させる、請求項９に記載の装置。

【請求項11】

マーカに基づいて特定される情報を提示する装置であって、
画像を取得する画像取得部と、
画像を表示する表示部と、
前記画像取得部により取得された画像から前記マーカの画像を抽出し、当該マーカを特定する画像処理を行う画像処理部と、
前記画像処理部により特定されたマーカの付加情報、当該マーカと複数のマーカのうちの当該マーカに関連付けられた他のマーカとの関係を示す関連情報、および、当該他のマーカの付加情報を外部装置から受信する送受信部と、
前記画像取得部により取得された前記マーカの画像に基づき、自装置と当該マーカとの間の相対的な位置関係を計算し、当該マーカの位置情報と前記他のマーカの位置情報とに基づき、自装置と当該他のマーカとの間の相対的な位置関係を計算する位置計算部と、
マーカに関する情報を提示するための画像に、前記位置計算部により計算された位置関係に基づいて、前記画像処理部により特定されたマーカに付加された付加情報および当該マーカに関連付けられた前記他のマーカに付加された付加情報に基づく情報表示を付加した情報提示画像を生成し、当該情報提示画像において、当該画像処理部により特定されたマーカの付加情報に基づく当該情報表示と、当該マーカに関連付けられた当該他のマーカの付加情報に基づく当該情報表示とを異なる態様で付加し、当該情報提示画像に示される範囲に設置されていないマーカの付加情報に基づく当該情報表示と、当該情報提示画像に示される範囲に設置されているマーカの付加情報に基づく当該情報表示とを異なる態様で付加し、各マーカに対する当該情報表示の表示優先度を設定し、当該表示優先度が一定以上の当該情報表示を、当該表示優先度の高い当該情報表示が優先して表示されるように付加して、当該情報提示画像を前記表示部に表示させる表示制御部と、
を備える、装置。

【請求項12】

マーカに基づいて特定される情報を提示するシステムであって、
前記マーカを管理するサーバと、
前記サーバから前記マーカに関する情報を取得して表示する端末装置と、を備え、
前記サーバは、
前記マーカを特定するために用いられる情報である定義情報、当該マーカにより指定される位置に関連付けて設定された情報である付加情報および複数のマーカの間の関係を示す情報である関連情報を格納する格納部と、
少なくとも一つのマーカが特定されると、前記関連情報に基づいて当該一つのマーカと関連付けられている他のマーカを特定し、当該マーカおよび当該他のマーカの前記付加情報を前記格納部から読み出すデータ処理部と、
前記端末装置から少なくとも一つのマーカを特定する情報を受信し、特定された当該マーカに基づいて前記データ処理部により前記格納部から読み出された当該マーカおよび前記他のマーカの前記付加情報を当該端末装置へ送信する送受信部と、を備え、
前記端末装置は、
画像を取得する画像取得部と、
画像を表示する表示部と、
前記画像取得部により取得された画像から前記マーカの画像を抽出し、当該マーカを特定する画像処理を行う画像処理部と、
前記画像処理部により特定されたマーカに関して、当該マーカを特定する情報を前記サーバへ送信し、当該マーカの付加情報、当該マーカと複数のマーカのうちの当該マーカに関連付けられた他のマーカとの関係を示す前記関連情報、および、当該他のマーカの付加情報を前記サーバから受信する送受信部と、
前記画像取得部により取得された前記マーカの画像に基づき、自装置と当該マーカとの間の相対的な位置関係を計算し、当該マーカの位置情報と前記他のマーカの位置情報とに基づき、自装置と当該他のマーカとの間の相対的な位置関係を計算する位置計算部と、
マーカに関する情報を提示するための画像に、前記位置計算部により計算された位置関係に基づいて、前記画像処理部により特定されたマーカに付加された付加情報および当該マーカに関連付けられた前記他のマーカに付加された付加情報に基づく情報表示を付加した情報提示画像を生成し、前記表示部に表示させる表示制御部と、
を備える、システム。

【請求項13】

マーカに基づいて特定される情報を提示する方法であって、
前記マーカを含む画像を取得するステップと、
取得された画像から前記マーカの画像を抽出し、当該マーカを特定する画像処理を行うステップと、
前記マーカの画像に基づき、自装置と当該マーカとの間の相対的な位置関係を計算するステップと、
前記画像処理により特定されたマーカの付加情報と、複数のマーカのうちの当該マーカに関連付けられた他のマーカの付加情報とを取得するステップと、
取得した前記付加情報に含まれる前記特定されたマーカの位置情報および前記他のマーカの位置情報に基づき、自装置と当該他のマーカとの間の相対的な位置関係を計算するステップと、
マーカに関する情報を提示するための画像に、計算された自装置と各マーカとの間の相対的な位置関係に基づいて、前記画像処理により特定されたマーカに付加された付加情報および当該マーカに関連付けられた前記他のマーカに付加された付加情報に基づく情報表示を付加した情報提示画像を生成し、表示装置に表示させるステップと、
を含む、方法。

【請求項14】

撮影機能と表示機能とを備えた情報処理装置を、
画像を取得する画像取得手段と、
画像を表示する表示手段と、
前記画像取得手段により取得された画像からマーカの画像を抽出し、当該マーカを特定する画像処理を行う画像処理手段と、
前記画像取得手段により取得された前記マーカの画像に基づき、自装置と当該マーカとの間の相対的な位置関係を計算し、当該マーカの位置情報と複数のマーカのうちの当該マーカに関連付けられた他のマーカの位置情報とに基づき、自装置と当該他のマーカとの間の相対的な位置関係を計算する位置計算手段と、
マーカに関する情報を提示するための画像に、前記位置計算手段により計算された位置関係に基づいて、前記画像処理手段により特定されたマーカに付加された付加情報および当該マーカに関連付けられた前記他のマーカに付加された付加情報に基づく情報表示を付加した情報提示画像を生成し、前記表示手段に表示させる表示制御手段として、
機能させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影手段によりマーカを写し、写されたマーカに基づいて特定される情報を提示する技術に関する。

【背景技術】

【0002】

撮影機能を有する端末装置により幾何学的な特徴が特定されたマーカを写し、写されたマーカの画像に基づいて端末装置とマーカとの相対位置を特定する従来技術がある。この種の従来技術では、マーカに関連付けられた情報をマーカとの相対位置が特定された端末装置に提供することも行われる（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５−１８２３５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

写されたマーカに関連付けられた情報を取得する技術では、マーカに関連付けられた情報を取得しようとするたびに、対象のマーカを端末装置により写す手間を要していた。

【0005】

また、この種の技術では、端末装置により撮影可能な範囲にあるマーカに関連付けられた情報しか取得することができない。

【0006】

そこで本発明は、端末装置によりマーカを写して情報を取得するシステムの利便性を高めることを目的とする。

【課題を解決するための手段】

【0007】

上記の目的を達成するため、本発明は、次のようなシステムとして実現される。このシステムは、マーカに基づいて特定される情報を提示するシステムであって、マーカを管理するサーバと、このサーバからマーカに関する情報を取得して表示する端末装置と、を備える。サーバは、マーカを特定するために用いられる情報である定義情報、マーカにより指定される位置に関連付けて設定された情報である付加情報および複数のマーカの間の関係を示す情報である関連情報を格納する格納部と、少なくとも一つのマーカが特定されると、関連情報に基づいてこの一つのマーカと関連付けられている他のマーカを特定し、このマーカおよび他のマーカの付加情報を格納部から読み出すデータ処理部と、端末装置から少なくとも一つのマーカを特定する情報を受信し、特定されたマーカに基づいてデータ処理部により格納部から読み出された付加情報を端末装置へ送信する送受信部と、を備える。端末装置は、画像を取得する画像取得部と、画像を表示する表示部と、画像取得部により取得された画像からマーカの画像を抽出し、このマーカを特定する画像処理を行う画像処理部と、画像処理部により特定されたマーカに関して、マーカを特定する情報をサーバへ送信し、このマーカの付加情報、このマーカと複数のマーカのうちのこのマーカに関連付けられた他のマーカとの関係を示す関連情報、および、このマーカに関連付けられた他のマーカの付加情報をサーバから受信する送受信部と、画像取得部により取得されたマーカの画像に基づき、自装置とこのマーカとの間の相対的な位置関係を計算し、このマーカの位置情報とこのマーカに関連付けられた他のマーカの位置情報とに基づき、自装置と他のマーカとの間の相対的な位置関係を計算する位置計算部と、マーカに関する情報を提示するための画像に、位置計算部により計算された位置関係に基づいて、画像処理部により特定されたマーカに付加された付加情報およびこのマーカに関連付けられた他のマーカに付加された付加情報に基づく情報表示を付加した情報提示画像を生成し、表示部に表示させる表示制御部と、を備える。

【0008】

より好ましくは、表示制御部は、マーカに関する情報を提示するための画像として画像取得部により取得された画像を用い、情報提示画像を生成する。

【0009】

さらに好ましくは、表示制御部は、表示制御部により生成される情報提示画像において、画像処理部により特定されたマーカの付加情報に基づく情報表示と、このマーカに関連付けられた他のマーカの付加情報に基づく情報表示とを異なる態様で付加する。また、表示制御部は、表示制御部により生成される情報提示画像において、情報提示画像に示される範囲に設置されていないマーカの付加情報に基づく情報表示と、この情報提示画像に示される範囲に設置されているマーカの付加情報に基づく情報表示とを異なる態様で付加する。また、表示制御部は、複数のマーカの付加情報に基づいて、各マーカに対する情報表示の表示優先度を設定し、この表示優先度が一定以上の情報表示を、表示優先度の高い情報表示が優先して表示されるように情報提示画像に付加する。また、表示制御部は、画像処理部により特定されたマーカの付加情報と、このマーカに関連付けられた他のマーカの付加情報および関連情報とに基づき、マーカの一覧画像を生成し、表示部に表示させ、この一覧画像に表示されたマーカの中から選択されたマーカの付加情報に基づく情報表示を付加した情報提示画像を生成する。

【0010】

さらにまた、上記の端末装置において、位置計算部は、画像処理部により特定されたマーカの位置情報と、操作者により選択された他のマーカの位置情報とに基づき、自装置と他のマーカとの間の相対的な位置関係を計算し、表示制御部は、位置計算部により計算された位置関係に基づいて、少なくとも他のマーカに付加された付加情報に基づく情報表示を付加した情報提示画像を生成するように構成しても良い。そして、表示制御部は、操作者により複数の他のマーカが選択された場合に、これら複数の他のマーカの位置に基づいて特定される代表位置を情報提示画像に表示させるように構成しても良い。

【0011】

また、上記の目的を達成する他の本発明は、次のような方法としても実現される。この方法は、マーカに基づいて特定される情報を提示する方法であって、マーカを含む画像を取得するステップと、取得された画像からマーカの画像を抽出し、このマーカを特定する画像処理を行うステップと、このマーカの画像に基づき、自装置とこのマーカとの間の相対的な位置関係を計算するステップと、画像処理により特定されたマーカの付加情報と、複数のマーカのうちのこのマーカに関連付けられた他のマーカの付加情報とを取得するステップと、取得した付加情報に含まれる特定されたマーカの位置情報および他のマーカの位置情報に基づき、自装置と他のマーカとの間の相対的な位置関係を計算するステップと、マーカに関する情報を提示するための画像に、計算された自装置と各マーカとの間の相対的な位置関係に基づいて、画像処理により特定されたマーカに付加された付加情報およびこのマーカに関連付けられた他のマーカに付加された付加情報に基づく情報表示を付加した情報提示画像を生成し、表示装置に表示させるステップと、を含む。

【0012】

さらにまた、本発明は、コンピュータを制御して上述した装置の各機能を実現するプログラム、あるいは、コンピュータに上記の各ステップに対応する処理を実行させるプログラムとしても実現される。このプログラムは、磁気ディスクや光ディスク、半導体メモリ、その他の記録媒体に格納して配布したり、ネットワークを介して配信したりすることにより、提供することができる。

【発明の効果】

【0013】

本発明によれば、端末装置によりマーカを写してマーカに関連付けられた情報を取得するシステムにおいて、マーカに関するより多くの情報が得られ、システムの利便性を高めることができる。

【図面の簡単な説明】

【0014】

【図1】本実施形態が適用される情報提示システムの構成例を示す図である。

【図2】マーカの構成例を示す図である。

【図3】端末装置の機能構成を示す図である。

【図4】端末装置の画像取得部により写された画像においてマーカの画像が歪む様子を示す図である。

【図5】マーカと端末装置との間の相対的な位置関係を説明する図であり、図５（ａ）は端末装置に対するマーカの姿勢を示す図、図５（ｂ）はマーカに対する端末装置の姿勢を示す図である。

【図6】センター・サーバの機能構成を示す図である。

【図7】端末装置と複数のマーカとの関係を示す図であり、図７（ａ）は、端末装置と指定マーカとの関係を示す図、図７（ｂ）は、端末装置と指定マーカおよび関連マーカとの関係を示す図である。

【図8】複数のマーカの関係の例を示す図である。

【図9】端末装置の表示部に表示される情報提示画像の例を示す図である。

【図10】オブジェクトの表示優先度の設定例を示す図である。

【図11】本実施形態の端末装置による処理の流れを示すフローチャートである。

【図12】表示部に表示されたマーカの一覧画像の例を示す図である。

【図13】情報提示画像の他の構成例を示す図である。

【図14】情報提示画像のさらに他の構成例を示す図である。

【図15】本実施形態による情報提示システムの応用例を示す図である。

【図16】本実施形態による情報提示システムの他の応用例を示す図である。

【図17】図１６に示した応用例の変形例を示す図である。

【図18】本実施形態による情報提示システムのさらに他の応用例を示す図であり、図１８（ａ）は、グループや品目を選択するための大分類のインデックス画像の例を示す図、図１８（ｂ）は、グループや品目を選択するための細分類のインデックス画像の例を示す図である。

【図19】情報提示画像の例を示す図である。

【図20】情報提示画像の他の例を示す図である。

【図21】本実施形態の端末装置を構成するのに好適なハードウェア構成例を示す図である。

【図22】本実施形態のセンター・サーバを構成するのに好適なハードウェア構成例を示す図である。

【発明を実施するための形態】

【0015】

以下、添付図面を参照して、本発明の実施形態について詳細に説明する。

【0016】

＜システム構成＞
図１は、本実施形態が適用される情報提示システムの構成例を示す図である。図１に示す情報提示システム１００は、マーカ１１０と、端末装置１２０と、センター・サーバ１３０と、を備える。端末装置１２０とセンター・サーバ１３０とは、コンピュータ・ネットワーク２００を介して接続されている。本実施形態における端末装置１２０は、撮影機能と表示機能とを備えた携帯型情報端末（情報処理装置）である。端末装置１２０からコンピュータ・ネットワーク２００への接続は、例えば、携帯電話等の移動体通信システムにおけるデータ通信回線や無線ＬＡＮ（Local Area Network）等を介して行われる。

【0017】

本実施形態の端末装置１２０は、撮影機能を用いてマーカ１１０の画像を取得し、表示機能を用いてマーカ１１０の画像と共にマーカ１１０に付加されている付加情報を表示する。言い換えると、端末装置１２０は、撮影機能により取り込まれたマーカ１１０の画像に付加情報を付加して表示機能の表示画面に写す。なお、図１にはマーカ１１０および端末装置１２０が一つのみ図示されているが、本実施形態の情報提示システム１００において、マーカ１１０および端末装置１２０は、複数設けることができる。

【0018】

＜マーカの構成＞
マーカ１１０は、付加情報が設定された位置を指定するための標識である。すなわち、例えば画像認識型ＡＲ（Augmented Reality：拡張現実）システムにおけるＡＲマーカ等のように用いられる。マーカ１１０には、決まったパターンの画像（言い換えれば、形状やサイズが特定された画像）が用いられる。例えば、辺の長さが定められた四角形等の単純な図形等が用いられる。また、本実施形態で用いられるマーカ１１０としては、本実施形態に用いるために設定される固有のパターンによる画像のほか、規格が予め定められた既存の標識類を流用することもできる。例えば、ＱＲコード（登録商標）等のような形状およびサイズの特定されたコード画像を用いても良い。さらに、形状やサイズが特定された画像であればマーカ１１０として用いることができるので、例えば、道路標識、規格が統一された案内板や看板等をマーカ１１０として利用することも可能である。なお、マーカ１１０としては、２次元画像を用いることが好適であるが、これに限定されず、３次元形状のパターンを用いることも可能である。

【0019】

マーカ１１０の構成について、さらに説明する。後述するように、マーカ１１０は、端末装置１２０の撮影手段により画像として取り込まれる。そして、端末装置１２０が取得したマーカ１１０の画像を解析することにより、マーカ１１０の種類が識別され、マーカ１１０と端末装置１２０との相対的な位置関係が算出される。そのため、マーカ１１０には、端末装置１２０に取り込まれたマーカ１１０の画像に基づいてマーカ１１０と端末装置１２０との相対的な位置関係を算出可能とするための特徴が設けられる。具体的には、マーカ１１０であることを特定可能な幾何学的な特徴（以下、幾何学的要素）が設定される。また、マーカ１１０の種類を識別可能とするための特徴（以下、象徴要素）が設定される。

【0020】

図２は、マーカ１１０の構成例を示す図である。図２に示す例では、四角形の枠と、枠内に記載された文字（図示の例ではアルファベット「Ｍ」）によりマーカ１１０が構成されている。図２に示す例において、四角形の枠を形成する四隅の頂点１１１ａ〜１１１ｄおよび四辺の線分１１２ａ〜１１２ｄが幾何学的要素である。すなわち、四つの頂点１１１ａ〜１１１ｄおよび線分１１２ａ〜１１２ｄを識別することで、画像がマーカ１１０であることを特定できる。画像から幾何学的要素を抽出してマーカ１１０を特定する手法としては、既存の種々の画像解析手法を用いることができる。

【0021】

また、四角形の枠内に記載された文字「Ｍ」がマーカ１１０の象徴要素である。すなわち、文字「Ｍ」を読み取ることにより、マーカ１１０の種類を識別することができる。画像から象徴要素を抽出して読み取る手法としては、既存の種々の画像解析手法を用いることができる。

【0022】

＜端末装置の機能構成＞
図３は、端末装置１２０の機能構成を示す図である。端末装置１２０は、マーカ１１０の画像を取得するための撮影手段（カメラ機能）を備え、例えば、タブレット型端末装置や携帯電話、ノート型ＰＣ（パーソナル・コンピュータ）等の携帯型情報端末装置により実現される。図３に示す端末装置１２０は、画像取得部１２１と、画像処理部１２２と、位置計算部１２３と、記憶部１２４と、送受信部１２５と、表示制御部１２６と、表示部１２７とを備える。

【0023】

画像取得部１２１は、例えばマーカ１１０の画像を取得するためのカメラにより実現される。実際の操作では、マーカ１１０が設置された場所の画像（マーカ１１０を含む画像）が取り込まれる。画像取得部１２１の実現手段としては、例えば、端末装置１２０を実現する携帯電話等のカメラ機能を用いることができる。

【0024】

画像処理部１２２は、画像取得部１２１により取得された画像を解析処理する。これにより、画像取得部１２１により取得された画像から、マーカ１１０の画像が抽出される。具体的には、画像処理部１２２は、画像取得部１２１により取得された画像のうちで、マーカ１１０の幾何学的要素に対応する箇所を有する部分（領域）を抽出し、マーカ１１０の画像とする。例えば、図２に示した例によるマーカ１１０の画像の場合、幾何学的要素である頂点１１１ａ〜１１１ｄおよび線分１１２ａ〜１１２ｄに対応する画像要素が検出されると、これらを含む画像上の部分（領域）がマーカ１１０として抽出される。幾何学的要素の検出は、既存の画像解析手法を用いて行うことができる。

【0025】

また、画像処理部１２２は、抽出されたマーカ１１０の画像から、マーカ１１０の象徴要素を検出する。マーカ１１０に付与される象徴要素は、マーカ１１０の種類に応じてマーカ１１０に対する位置や形状が特定されているので、例えば、予め用意された象徴要素のデータベースを用いて該当する象徴要素を特定することにより検出することができる。なお、抽出されたマーカ１１０の画像は、後述するようにマーカ１１０の実際の形状に対して歪みを有しているが、既存の画像解析手法を用いて補正することにより、高い精度で正しい象徴要素を特定することができる。

【0026】

画像取得部１２１により取得された画像からマーカ１１０の画像を抽出し、抽出した画像に対応するマーカ１１０の象徴要素を検出することにより、取得されたマーカ１１０を特定することができる。すなわち、画像処理部１２２は、マーカ特定手段として機能する。なお、比較的狭い範囲に複数のマーカ１１０が設置されている場合、画像取得部１２１により取り込まれた画像に、同時に複数のマーカ１１０が含まれることがある。このような場合、画像取得部１２１により取り込まれた画像を解析して、複数のマーカ１１０を特定することができる。また、本実施形態のシステムが適用される態様によっては、画像のサイズが最も大きいマーカ１１０等、一つのマーカ１１０を選択して特定するようにしても良い。

【0027】

マーカ１１０の幾何学的要素および象徴要素の情報は、例えば、本実施形態の情報提示システム１００によるサービスを利用する際の初期動作として、端末装置１２０から外部装置であるセンター・サーバ１３０にアクセスし、センター・サーバ１３０から取得するように構成することができる。また、インターネット等のネットワーク上にマーカ１１０の幾何学的特徴および象徴要素の情報を登録したサイトを設けておき、サービスを利用しようとする本実施形態の情報提示システム１００で採用されているマーカ１１０の幾何学的要素および象徴要素の情報を事前に取得するように構成しても良い。

【0028】

位置計算部１２３は、画像処理部１２２により抽出されたマーカ１１０の画像を解析することにより、マーカ１１０と端末装置１２０との間の相対的な位置関係を算出する。上記の画像処理部１２２により抽出されたマーカ１１０の画像は、通常、マーカ１１０と端末装置１２０との間の相対的な位置関係に起因する歪みを有しているため、マーカ１１０の実際の形状やサイズとは異なっている。そこで、位置計算部１２３が、マーカ１１０の実際の形状およびサイズと抽出されたマーカ１１０の画像との差異に基づき、マーカ１１０と端末装置１２０との間の距離、端末装置１２０に対するマーカ１１０の姿勢、マーカ１１０に対する端末装置１２０の姿勢を計算する。なお、位置計算部１２３は、マーカ１１０の実際の形状およびサイズを、上述した幾何学的要素の情報および後述する定義情報に基づいて認識することができる。

【0029】

図４は、端末装置１２０の画像取得部１２１により取得された画像においてマーカ１１０の画像が歪む様子を示す図である。ここでは、マーカ１１０は、図２に示した２次元画像とする。また、図４には、画像取得部１２１の撮像面に対応する仮想的な面１２１ａが示されている。すなわち、図４に示す面１２１ａには、画像取得部１２１により取り込まれた、マーカ１１０を含む画像が示されている。画像取得部１２１によりマーカ１１０を含む画像を取り込む場合、マーカ１１０が画像取得部１２１の正面に存在し、かつ、マーカ１１０自体も画像取得部１２１の方向を正確に向いている場合以外は、画像取得部１２１により取得された画像（面１２１ａ参照）上に現れるマーカ１１０の像１１３には歪みが生じる。そこで、像１１３の歪みを補正してマーカ１１０を識別する必要がある。画像取得部１２１により取得された像１１３の歪を補正してマーカ１１０を識別する手法としては、例えば、ＡＲ技術において用いられている既存の手法を適用することができる。

【0030】

図５は、マーカ１１０と端末装置１２０との間の相対的な位置関係を説明する図である。図５（ａ）は端末装置１２０に対するマーカ１１０の姿勢を示し、図５（ｂ）はマーカ１１０に対する端末装置１２０の姿勢を示す。図５に示す例において、マーカ１１０と端末装置１２０との間の距離はＬである。図５（ａ）に示すように、端末装置１２０に対するマーカ１１０の姿勢とは、マーカ１１０の形状に基づいて一意に特定される基準方向（図５（ａ）中、一点鎖線で表示）と、マーカ１１０から見た端末装置１２０の方向（図５（ａ）中の破線参照）との間の角度θで表される。基準方向としては、例えば、マーカ１１０が２次元画像である場合、その法線方向とすることができる。また、図５（ｂ）に示すように、マーカ１１０に対する端末装置１２０の姿勢とは、端末装置１２０の画像取得部１２１の光軸方向（図５（ｂ）中、一点鎖線で表示）と、端末装置１２０から見たマーカ１１０の方向（図５（ｂ）中の破線参照）との間の角度φで表される。画像取得部１２１で取得された画像に基づいて、上記の距離Ｌ、角度θ、角度φ等の値を含む、マーカ１１０と端末装置１２０との間の相対的な位置関係の計算手法としては、例えば、ＡＲ技術において用いられている既存の手法を適用することができる。

【0031】

端末装置１２０の記憶部１２４は、マーカ１１０の幾何学的要素および象徴要素の情報と、マーカ１１０を特定するために用いられる定義情報とを記憶する。また、互いに関連する複数のマーカ１１０の関連情報と、表示部１２７に表示される各マーカ１１０の付加情報とを記憶する。定義情報とは、例えば、マーカ１１０の形状およびサイズ、位置、設置態様等の情報である。定義情報における位置の情報とは、例えば、緯度と経度、床面からの高さ、地上からの高さ、マーカ１１０が設置されている構造物や敷地に基づく局地的な位置情報等のマーカ１１０の位置を特定する情報である。局地的な位置情報は、例えば、建物の識別情報、階数、フロア内で定義された位置、敷地内で定義された位置等とすることができる。また、定義情報における設置態様の情報は、例えば、マーカ１１０の向きや傾き等の情報である。これらの定義情報は、センター・サーバ１３０から取得して記憶部１２４に保持するようにしても良い。関連除法および付加情報の詳細については後述する。

【0032】

上記の位置計算部１２３は、記憶部１２４に記憶されている幾何学的要素の情報および定義情報から得られるマーカ１１０の形状およびサイズの情報と、画像処理部１２２により抽出されたマーカ１１０の画像とに基づいて、マーカ１１０と端末装置１２０との位置関係を算出する。例えば、マーカ１１０の位置情報に緯度と経度が含まれる場合は、かかる情報に基づき、端末装置１２０の緯度と経度が算出される。また、マーカ１１０の位置情報に床面からの高さや地上からの高さが含まれる場合は、かかる情報に基づき、端末装置１２０の床面からの高さや地上からの高さが算出される。また、マーカ１１０の位置情報に構造物や敷地に基づく局地的な位置情報が含まれる場合は、かかる情報に基づき、その構造物や敷地における端末装置１２０の位置が算出される。なお、画像処理部１２２により複数のマーカ１１０の画像が抽出された場合、位置計算部１２３は、各画像に基づいて、各マーカ１１０と端末装置１２０との位置関係を算出する。

【0033】

送受信部１２５は、各マーカ１１０と端末装置１２０との間の位置関係を算出する。この送受信部１２５は、ネットワーク２００を介してセンター・サーバ１３０に接続するためのネットワーク・インターフェイスである。マーカ１１０の定義情報、付加情報および関連情報の要求、画像処理部１２２により特定されたマーカ１１０の情報等が、送受信部１２５によりセンター・サーバ１３０に送信される。そして、端末装置１２０から要求されたマーカ１１０の定義情報、付加情報および関連情報等が、センター・サーバ１３０から返送され、送受信部１２５により受信される。

【0034】

表示制御部１２６は、画像取得部１２１により取得された画像を表示部１２７に表示させる。また、表示制御部１２６は、センター・サーバ１３０から送られたマーカ１１０の付加情報を含む情報提示画像を生成し、生成した情報提示画像を表示部１２７に表示させる。情報提示画像とは、マーカ１１０に付加された付加情報を端末装置１２０の使用者に提示するための画像であり、例えば、画像取得部１２１により取得された画像に、センター・サーバ１３０から送られたマーカ１１０の付加情報に基づくオブジェクト（画像やテキストを表示要素とする情報表示）を付加して生成される。このような構成の情報提示画像とする場合、情報提示画像に表示されるオブジェクトには、画像処理部１２２により特定されたマーカ１１０に関連する他のマーカ１１０の付加情報に基づくオブジェクトも含まれる。また、本実施形態では、予め定められた規則に基づいて、情報提示画像に表示されるオブジェクトを選択したり、オブジェクトの表示態様を制御したりすることも可能である。表示制御部１２６による制御の詳細については後述する。

【0035】

表示部１２７は、液晶ディスプレイ等により実現される表示装置であり、表示制御部１２６の制御により画像を表示する。

【0036】

また、特に図示しないが、端末装置１２０は、操作者が入力操作を行うための入力デバイスを有する。入力デバイスとしては、例えば、表示部１２７の画面に重ねて設けられ、操作者によるタッチ操作を検出して入力として受け付けるタッチパネル、マウスやトラックボール等のポインティングデバイス、キーボード等を用いることができる。

【0037】

＜センター・サーバの機能構成＞
図６は、センター・サーバ１３０の機能構成を示す図である。センター・サーバ１３０は、マーカ１１０の情報を管理するサーバ・コンピュータである。図６に示すセンター・サーバ１３０は、送受信部１３１と、マーカ情報格納部１３２と、データ処理部１３３とを備える。

【0038】

送受信部１３１は、端末装置１２０から、マーカ１１０を特定する情報と、端末装置１２０と特定されたマーカ１１０との間の位置関係の情報とを受信する。また、後述する処理により得られたマーカ１１０の付加情報と、このマーカ１１０に関連付けられている他のマーカ１１０の付加情報とを端末装置１２０へ返送する。

【0039】

マーカ情報格納部１３２は、本実施形態の情報提示システム１００において管理される各マーカ１１０の定義情報および付加情報と、マーカ１１０間の関連情報とを格納したデータベースである。定義情報とは、上述したように、マーカ１１０を特定するために用いられる情報である。具体的には、例えば、マーカ１１０の形状およびサイズ、位置、設置態様等の情報である。

【0040】

付加情報とは、端末装置１２０に表示される情報提示画像においてオブジェクトとして表示される、マーカ１１０が設置された場所に関連付けて付加された情報である。付加情報の具体的な内容は、本実施形態の情報提示システム１００が適用される対象や態様に応じて適宜設定することができる。例えば、マーカ１１０が設置された場所や設備の名称や属性、マーカ１１０が設置された場所に配置される物品の名称や属性、これらの場所、設備、物品等に対する担当者や管理者の情報等が考えられる。また、適用対象によっては、マーカ１１０が設置された場所に配置される物品の種類、価格、在庫数等を付加情報とすることもできる。さらに、詳しくは後述するが、情報の重要度を指定する情報を付加情報とすることもできる。

【0041】

関連情報とは、各マーカ１１０の間の関係を示す情報である。具体的には、各マーカ１１０について、そのマーカ１１０に関連づけられている他のマーカ１１０を特定する情報と、マーカ１１０と他のマーカ１１０とがどのような関係かを示す情報とを含む。本実施形態では、複数のマーカ１１０をグループ分けしたり、階層関係を持たせたりすることにより関係づけ、そのようなマーカ１１０どうしの関係を、各マーカ１１０に関する情報（関連情報）として扱う。

【0042】

データ処理部１３３は、端末装置１２０とのデータ交換により、マーカ情報格納部１３２に格納されているマーカ１１０に関する情報を読み出して、端末装置１２０へ送る。具体的には、端末装置１２０から定義情報の要求を受け付けると、管理対象の各マーカ１１０の定義情報を端末装置１２０へ返送する。また、端末装置１２０から一つのマーカ１１０を特定する情報を受け付けると、特定されたマーカ１１０の付加情報および関連情報を端末装置１２０へ返送する。

【0043】

＜端末装置とマーカとの関係＞
上述したように、本実施形態では、画像取得部１２１により画像が取得されたマーカ１１０を示す情報が端末装置１２０からセンター・サーバ１３０へ送られ、センター・サーバ１３０において端末装置１２０において特定されたマーカ１１０に関連付けられた他のマーカ１１０が検索される。そして、端末装置１２０において特定されたマーカ１１０および検索された他のマーカ１１０の付加情報がセンター・サーバ１３０から端末装置１２０へ送られる。以下、端末装置１２０において特定されたマーカ１１０を指定マーカ１１０ａと呼ぶ。また、指定マーカ１１０ａに関連付けられており、センター・サーバ１３０において検索されるマーカ１１０を関連マーカ１１０ｂと呼ぶ。

【0044】

ここで、指定マーカ１１０ａと端末装置１２０との間の位置関係は、位置計算部１２３により特定されている。そして、各マーカ１１０の付加情報と共にセンター・サーバ１３０から端末装置１２０へ送られる関連情報に基づいて関連マーカ１１０ｂが特定され、位置計算部１２３により関連マーカ１１０ｂと端末装置１２０との間の位置関係も特定される。したがって、これらの情報に基づき、指定マーカ１１０ａおよび関連マーカ１１０ｂが配置された空間における端末装置１２０の位置が特定される。

【0045】

図７は、端末装置１２０と複数のマーカ１１０との関係を示す図である。図７（ａ）は、端末装置１２０と指定マーカ１１０ａとの関係を示し、図７（ｂ）は、端末装置１２０と指定マーカ１１０ａおよび関連マーカ１１０ｂとの関係を示す。図７（ａ）、（ｂ）に示す空間には、複数のマーカ１１０が配置されている。ここで、図７（ａ）に示すように、端末装置１２０の操作者が、これらのマーカ１１０の一つについて端末装置１２０の画像取得部１２１により画像を取得する。画像の取得対象となったマーカ１１０を指定マーカ１１０ａとする。すると、端末装置１２０の位置計算部１２３により、端末装置１２０と指定マーカ１１０ａとの間の位置関係が特定される。そして、端末装置１２０は、センター・サーバ１３０へ指定マーカ１１０ａの情報を送り、センター・サーバ１３０から指定マーカ１１０ａに関連する関連マーカ１１０ｂの関連情報を取得する。この関連情報に基づき、指定マーカ１１０ａに対する関連マーカ１１０ｂが特定されるので、特定された関連マーカ１１０ｂの定義情報に含まれる位置情報を用いて、図７（ｂ）に示すように、端末装置１２０と関連マーカ１１０ｂとの間の位置関係が特定される。この結果、端末装置１２０は、図７（ａ）、（ｂ）に示す空間における指定マーカ１１０ａおよび関連マーカ１１０ｂの位置を認識する。

【0046】

＜マーカどうしの関係＞
次に、センター・サーバ１３０のマーカ情報格納部１３２に格納された関連情報により管理される各マーカ１１０の関係について説明する。本実施形態では、マーカ１１０をグループに分類して管理する。同じグループに所属するマーカ１１０は、互いに関連付けられたマーカ１１０である。すなわち、あるグループに所属する一つのマーカ１１０を指定マーカ１１０ａとすると、同じグループに所属する他のマーカ１１０が関連マーカ１１０ｂとなる。グループの構成は、単に一つまたは複数のマーカ１１０が所属するグループが一つまたは複数存在するような単純な構成であっても良いし、グループやグループに所属するマーカ１１０どうしの間に序列や階層構造を有する構成であっても良い。

【0047】

図８は、複数のマーカ１１０の関係の例を示す図である。図８に示す例において、各マーカ１１０には、個々のマーカ１１０を識別するための象徴要素として、「α」、「Ａ」、「Ａ−１」〜「Ａ−４」、「Ｂ」、「Ｂ−１」〜「Ｂ−２」、「Ｃ」の文字が記載されている。また、図８に示す例において、マーカ「Ａ−１」〜マーカ「Ａ〜４」は、マーカ「Ａ」を親とするグループ（グループＡ）を構成している。また、マーカ「Ｂ−１」とマーカ「Ｂ−２」は、マーカ「Ｂ」を親とするグループ（グループＢ）を構成している。さらに、グループＡに所属するマーカ「Ａ−３」とグループＢに所属するマーカ「Ｂ−１」とは、マーカ「Ｃ」を親とする別のグループ（グループＣ）を構成している。そして、グループＡ〜グループＣに所属する全てのマーカは、マーカ「α」を親とするグループαを構成している。

【0048】

図８に示された関係を表す関連情報がマーカ情報格納部１３２に格納されている場合、あるマーカ１１０を指定マーカ１１０ａとすると、関連情報を参照することにより、指定マーカ１１０ａに対する関連マーカ１１０ｂを検索することができる。例えば、マーカ「Ａ−１」を指定マーカ１１０ａとすると、マーカ「Ａ−１」と同じグループＡに所属するマーカ「Ａ−２」、「Ａ−３」、「Ａ−４」と、グループＡの親であるマーカ「Ａ」が関連マーカ１１０ｂである。

【0049】

同様に、マーカ「Ａ−３」を指定マーカ１１０ａとすると、マーカ「Ａ−３」と同じグループＡに所属するマーカ「Ａ−１」、「Ａ−２」、「Ａ−４」と、グループＡの親であるマーカ「Ａ」が関連マーカ１１０ｂである。また、マーカ「Ａ−３」はグループＣにも所属しているので、グループＣに所属するマーカ「Ｂ−１」と、グループＣの親であるマーカ「Ｃ」も関連マーカ１１０ｂである。

【0050】

一方、グループＡの親であるマーカ「Ａ」を指定マーカ１１０ａとすると、グループＡに所属する全てのマーカ「Ａ−１」〜マーカ「Ａ−４」およびマーカ「Ａ」が所属するグループαの親であるマーカ「α」が関連マーカ１１０ｂとなる。また、グループαの親であるマーカ「α」を指定マーカ１１０ａとすると、グループαに所属する全てのマーカが関連マーカ１１０ｂとなる。また、各グループの親でないマーカ１１０を指定マーカ１１０ａとした場合に、グループの親であるマーカ１１０が所属する上位グループの親であるマーカ１１０を関連マーカ１１０ｂに含めても良い（例えば、グループＡのマーカ「Ａ−１」を指定マーカ１１０ａとした場合に、マーカ「α」を関連マーカ１１０ｂとする）。

【0051】

なお、図８に示すマーカ１１０のグループ構成は例示に過ぎず、各マーカ１１０の関係は、図示のグループ構成に限定されない。本実施形態では、マーカ１１０を様々なグループに分類して管理することができる。個々のマーカ１１０は、一つのグループにのみ所属しても良いし、図８に示したマーカ「Ａ−３」およびマーカ「Ｂ−１」のように複数のグループに所属しても良い。また、上述したように、各グループの構成も、様々な構成を採り得る。そして、個々のマーカ１１０が指定マーカ１１０ａとして指定された場合に、どのグループに所属するどの範囲までのマーカ１１０を、関連マーカ１１０ｂとして選択するかについても、種々の規則を設定することができる。本実施形態の情報提示システム１００において、具体的なマーカ１１０のグループ構成および関連マーカ１１０ｂの範囲は、本実施形態の情報提示システムが適用される対象の具体的な仕様、構成、目的、規模等の種々の要因に応じて設定される。

【0052】

＜端末装置の表示制御部によるオブジェクトの表示制御の例＞
次に、端末装置１２０の表示制御部１２６によるオブジェクトの表示制御について説明する。上述したように、端末装置１２０は、画像処理部１２２により特定されたマーカ１１０の情報をセンター・サーバ１３０に送る。そして、このマーカ１１０の付加情報と、このマーカ１１０を指定マーカ１１０ａとして検索された関連マーカ１１０ｂの付加情報および関連情報とをセンター・サーバ１３０から取得する（以下、画像処理部１２２により特定されたマーカ１１０を指定マーカ１１０ａとする）。表示制御部１２６は、取得した指定マーカ１１０ａの付加情報と関連マーカ１１０ｂの付加情報および関連情報とに基づき、画像取得部１２１により取得された画像に、各マーカ１１０の付加情報に基づくオブジェクトを付加して情報提示画像を生成し、表示部１２７に表示させる。

【0053】

端末装置１２０は、図７を参照して説明したように、指定マーカ１１０ａおよび関連マーカ１１０ｂが配置された空間における端末装置１２０の位置を認識することができる。これにより、端末装置１２０は、端末装置１２０の位置から見た関連マーカ１１０ｂの位置を特定することができる。したがって、端末装置１２０の向きを変えて画像取得部１２１による画像の取得領域が変更されても、変更後の取得領域に存在する指定マーカ１１０ａや関連マーカ１１０ｂに対するオブジェクトが情報提示画像に表示される。

【0054】

ここで、端末装置１２０は、画像取得部１２１で指定マーカ１１０ａの画像を取得し、取得した指定マーカ１１０ａの画像を解析することにより、指定マーカ１１０ａと端末装置１２０との間の位置関係を特定し、さらに関連マーカ１１０ｂと端末装置１２０との間の位置関係を特定する。したがって、端末装置１２０の画像取得部１２１が指定マーカ１１０ａを捉えた状態（画像取得部１２１による画像の取得領域に指定マーカ１１０ａが入っている状態）である場合に、指定マーカ１１０ａおよび関連マーカ１１０ｂに対する端末装置１２０の位置が特定され、これらのマーカ１１０に対するオブジェクトを情報提示画像に表示することが可能となる。

【0055】

ただし、各マーカ１１０が建物の構内のような限定的な空間に配置されている場合、特定された端末装置１２０と指定マーカ１１０ａとの位置関係に基づいて、その空間内における端末装置１２０の位置を特定することができる。そして、その空間内における指定マーカ１１０ａおよび端末装置１２０の位置に基づいて、その空間内における各関連マーカ１１０ｂの位置も特定される。この場合は、マーカ１１０が配置された空間を表す構内図等の上で、その空間における各マーカ１１０の位置を示すことができる。そのため、指定マーカ１１０ａが画像取得部１２１による画像の取得領域から外れて各マーカ１１０に対する端末装置１２０の位置が特定できなくなったとしても、マーカ１１０が配置された空間を表す構内図等を表示部１２７に表示し、その構内図等の上でマーカ１１０の位置を示すことにより、端末装置１２０の使用者は、各マーカ１１０の位置を継続して認識することができる。

【0056】

また、端末装置１２０が指定マーカ１１０ａおよび関連マーカ１１０ｂの位置を特定した後に、端末装置１２０の位置や向きが変わって画像取得部１２１による画像の取得領域から指定マーカ１１０ａが外れた場合、上述したように、端末装置１２０は指定マーカ１１０ａおよび関連マーカ１１０ｂに対する端末装置１２０の位置を認識できなくなる。そのため、原則的には、端末装置１２０は、各マーカ１１０に対するオブジェクトを表示部１２７に表示し続けることができなくなる。しかしながら、端末装置１２０が一度、各マーカ１１０の付加情報および関連情報を取得した後は、これらの情報は端末装置１２０の記憶部１２４に保持される。そのため、画像取得部１２１により何れかの関連マーカ１１０ｂの画像を取得し、その関連マーカ１１０ｂを新たな指定マーカ１１０ａとすれば、端末装置１２０は、センター・サーバ１３０から改めて各マーカ１１０の付加情報および関連情報を取得しなくても、記憶部１２４に保持されている情報に基づいて、直ちに新たな指定マーカ１１０ａおよび関連マーカ１１０ｂと端末装置１２０との間の位置関係を特定することができる。したがって、例えば端末装置１２０の操作者が、特定の関連マーカ１１０ｂに関する情報（設置位置等）を知りたい場合、元の指定マーカ１１０ａが画像取得部１２１による画像の取得領域から外れても、適当な関連マーカ１１０ｂ（上記の特定の関連マーカ１１０ｂ以外の関連マーカ１１０ｂ）を画像取得部１２１で捉えて新たな指定マーカ１１０ａとすることにより、継続して特定の関連マーカ１１０ｂに対するオブジェクトを表示部１２７に表示させることが可能となる。

【0057】

なお、端末装置１２０から見た指定マーカ１１０ａおよび関連マーカ１１０ｂの位置が特定されているので、マーカ１１０が端末装置１２０の位置から見える状態でなくても（マーカ１１０自体が写っていなくても）、そのマーカ１１０が存在する位置に、そのマーカ１１０に対するオブジェクトを表示することができる。さらに、画像取得部１２１による画像の取得領域から外れた位置に存在するマーカ１１０に関しても、後述する重要度等の条件に応じて、オブジェクトを情報提示画像に表示することができる。

【0058】

ここで、表示制御部１２６は、情報提示画像を生成する場合に、情報提示画像に表示されるオブジェクトの表示態様を、表示されるオブジェクトに対応するマーカ１１０の状態や種類等に応じて制御することができる。例えば、指定マーカ１１０ａに対するオブジェクトと関連マーカ１１０ｂに対するオブジェクトとを異なる表示態様で表示しても良い。また、画像取得部１２１による画像の取得領域から外れた位置に存在するマーカ１１０に対するオブジェクトを、画像取得部１２１による画像の取得領域内に存在するマーカ１１０に対するオブジェクトとは異なる表示態様で表示しても良い。

【0059】

図９は、端末装置１２０の表示部１２７に表示される情報提示画像の例を示す図である。図９に示す例では、端末装置１２０の画像取得部１２１により取得された画像と、その画像の領域内に存在する指定マーカ１１０ａに対するオブジェクトおよび指定マーカ１１０ａに関連する関連マーカ１１０ｂに対するオブジェクトとが合成された情報提示画像が表示部１２７に表示されている。図９に示す例において、オブジェクト３０１は、指定マーカ１１０ａの付加情報に基づくオブジェクトであり、四角形の吹き出しによって表現されている。オブジェクト３０２は、関連マーカ１１０ｂの付加情報に基づくオブジェクトであり、丸型の吹き出しによって表現されている。また、オブジェクト３０３は、情報提示画像に示される、画像取得部１２１による画像の取得領域から外れた位置（例えば、後方や別の階のフロア）に存在するマーカ１１０の付加情報に基づくオブジェクトであり、雲形の吹き出しによって表現されている。なお、図示していないが、各オブジェクト３０１、３０２、３０３の吹き出しの中には、各オブジェクト３０１、３０２、３０３に対応するマーカ１１０の付加情報が表示される。

【0060】

また、図９に示す例において、太枠で示された二つのオブジェクト３０２、３０３は、重要度の高い付加情報に基づくオブジェクトであることを示す。特に、太枠のオブジェクト３０３は、画像取得部１２１による画像の取得領域から外れた位置に存在するマーカ１１０に対するオブジェクトでありながら、重要度が高いために、情報提示画像に表示されている。

【0061】

＜オブジェクトの表示優先度＞
次に、オブジェクトの表示優先度について説明する。画像取得部１２１による画像の取得領域内に多数のマーカ１１０が存在する場合、全てのマーカ１１０に対してオブジェクトを表示すると、情報提示画像が煩雑になり、却って情報を利用し難くなることがあり得る。また、マーカ１１０の位置によっては、複数のオブジェクトが重なってしまい、視認し難くなる場合もある。そこで、本実施形態では、表示対象となる各オブジェクトに関して表示優先度を設定する。

【0062】

図１０は、オブジェクトの表示優先度の設定例を示す図である。図１０に示す例では、表示優先度を決めるために用いられる値として、指定マーカおよび関連マーカＡ〜Ｄの５個のマーカ１１０に対して、「端末装置までの距離」、「端末装置に対する向き」、「重要度」、「表示順特定値」の４項目の値が示されている。

【0063】

「端末装置までの距離」には、端末装置１２０の位置計算部１２３により計算された端末装置１２０と指定マーカとの間の距離および端末装置１２０と各関連マーカＡ〜Ｄとの間の距離が登録される。図１０に示す例において、距離の単位は示されていないが、本実施形態の情報提示システム１００が適用される対象の具体的な構成や規模等に応じて適当に設定することができる。また、端末装置１２０と指定マーカとの間の距離を単位長さ（値「１」）として、端末装置１２０と各関連マーカＡ〜Ｄとの間の距離を単位長さとの比で示しても良い。

【0064】

「端末装置に対する向き」には、端末装置１２０の画像取得部１２１の撮影方向（光軸方向）に対する端末装置１２０から各マーカ１１０へ向かう方向の角度が登録される。撮影方向に対する角度が小さいほど、画像取得部１２１の正面に近い位置にマーカ１１０が存在することを意味するので、端末装置１２０の操作者が画像取得部１２１で写そうと意図した対象である可能性が高いことを考慮して、表示優先度の計算に用いられる。

【0065】

「重要度」には、各マーカ１１０の付加情報の内容に基づいて設定された重要度の値が設定される。この重要度の値は、例えば、「クリティカル」、「緊急」、「正常」等のように、マーカ１１０が設けられた位置やその位置に配置された物品等の状況に応じた値を設定することができる。そして、その位置や物品の状況が変化する場合は、重要度の値も動的に変動するようにしても良い。この場合、例えば、センター・サーバ１３０が、本実施形態の情報提示システム１００が適用される対象の管理システムから、マーカ１１０が設けられた位置や物品の状況に関する情報を取得する。そして、状況の変化に応じて、各マーカ１１０の重要度の値を変動させる。

【0066】

「表示順特定値」は、上記の「端末装置までの距離」、「端末装置に対する向き」、「重要度」の値をパラメータとして計算される値であり、各マーカ１１０に対するオブジェクトを情報提示画像に表示する際の優先度を特定する値である。表示順特定値の計算方法は、表示優先度を決定するために適当な手法を適宜採用すればよく、特に限定はしない。図１０に示す例では、「端末装置までの距離」の値をｘ、「端末装置に対する向き」の値をｙ、「重要度」の値をｚ、「表示順特定値」をｓとして、式：ｓ＝ｘ＋（ｙ×１０）＋ｚにより計算されている。

【0067】

端末装置１２０は、上記のようにして計算された表示順特定値に基づいて各マーカ１１０に対するオブジェクトの表示順を決定する。図１０に示した設定例では、表示順特定値の小さい方から順に表示対象とする。情報提示画像において複数のオブジェクトが重なる場合は、表示順特定値の小さい方を優先して（上になるように）表示する。

【0068】

また、表示順特定値に対して閾値を設定しておき、表示順特定値が閾値よりも小さいマーカ１１０に対するオブジェクトのみを情報提示画像に表示するようにしても良い。例えば、図１０に示した設定例において、閾値を「２７」に設定すると、表示順特定値が「１３」である指定マーカ、表示順特定値が「１６」である関連マーカＣ、表示順特定値が「２６」である関連マーカＤの３個のマーカに対するオブジェクトが情報提示画像に表示される。閾値により表示対象から外れたオブジェクトに対しては、情報提示画像において、表示されていないオブジェクトがあることを示す表示を行い、表示されていないオブジェクトを表示させる操作を受け付けるようにしても良い。

【0069】

また、上記の閾値とは別に、画像取得部１２１による画像の取得領域から外れた位置に存在するマーカ１１０に対するオブジェクトを情報提示画像に表示するための閾値を設定しても良い。例えば、表示順特定値が閾値よりも小さいマーカ１１０に対するオブジェクトは、そのマーカ１１０が画像取得部１２１による画像の取得領域から外れた位置に存在する場合であっても、情報提示画像に表示する。また、画像取得部１２１による画像の取得領域から外れた位置に存在するマーカ１１０に対するオブジェクトを情報提示画像に表示するのは、そのマーカ１１０の付加情報の重要度が高い場合であると考え、この場合の閾値を、表示順特定値ではなく、重要度に対して設定しても良い。

【0070】

＜端末装置による処理の流れ＞
図１１は、本実施形態の端末装置１２０による処理の流れを示すフローチャートである。本動作において、端末装置１２０は、マーカ１１０の幾何学的要素および象徴要素の情報を事前に取得し、保持しているものとする。図１１に示すように、まず、端末装置１２０の操作者は、適当なマーカ１１０を選択し、選択したマーカ１１０を端末装置１２０の画像取得部１２１の撮影範囲に捉える。すると、画像処理部１２２が、画像取得部１２１により取り込まれたマーカ１１０を含む画像を解析してマーカ１１０の画像を抽出する（ステップ１１０１）。そして、画像処理部１２２は、抽出されたマーカ１１０の画像に含まれる象徴要素に基づき、マーカ１１０の種類を特定する（ステップ１１０２）。

【0071】

次に、端末装置１２０の操作者の操作により、端末装置１２０は、ステップ１１０２で特定されたマーカ１１０（指定マーカ１１０ａ）の定義情報の送信要求をセンター・サーバ１３０に対して行い、要求した定義情報を取得する（ステップ１１０３）。端末装置１２０が指定マーカ１１０ａの定義情報を取得すると、位置計算部１２３は、取得された定義情報に含まれる指定マーカ１１０ａの位置情報に基づき、端末装置１２０と指定マーカ１１０ａとの間の位置関係を算出する（ステップ１１０４）。

【0072】

次に、端末装置１２０は、指定マーカ１１０ａの付加情報と、関連マーカ１１０ｂの定義情報および付加情報と、関連情報の送信要求をセンター・サーバ１３０に対して行い、要求した各情報を取得する（ステップ１１０５）。そして、端末装置１２０の位置計算部１２３が、ステップ１１０５で取得した情報のうち、関連マーカ１１０ｂの定義情報に含まれる関連マーカ１１０ｂの位置情報に基づき、端末装置１２０と関連マーカ１１０ｂとの間の位置関係を算出する（ステップ１１０６）。

【0073】

次に、端末装置１２０の表示制御部１２６が、ステップ１１０５で取得した情報のうち、各マーカ１１０の付加情報および関連情報に基づいてオブジェクトの表示優先度を特定する（ステップ１１０７）。そして、表示制御部１２６は、ステップ１１０４およびステップ１１０６で位置計算部１２３により算出された端末装置１２０と各マーカ１１０との位置関係に基づき、ステップ１１０７で特定した表示優先度にしたがって、画像取得部１２１により取得された画像と各マーカ１１０の付加情報に基づくオブジェクトとを合成した情報提示画像を生成し、表示部１２７に表示させる（ステップ１１０８）。

【0074】

なお、上記の動作例では、端末装置１２０は、まず指定マーカ１１０ａの定義情報のみを取得し、端末装置１２０と指定マーカ１１０ａとの間の位置関係を算出した後に、残りの情報を取得したが、情報を取得する手順は上記の例には限定されない。例えば、端末装置１２０が指定マーカ１１０ａの定義情報を取得する際に、指定マーカ１１０ａの付加情報も一緒に取得する構成としても良い。定義情報を取得するために指定マーカ１１０ａが特定されているので、センター・サーバ１３０は、この指定マーカ１１０ａの付加情報を定義情報と共に端末装置１２０へ送信することができる。この場合、端末装置１２０は、端末装置１２０と指定マーカ１１０ａとの間の位置関係を算出した後に、関連マーカ１１０ｂの定義情報および付加情報と、関連情報とを取得する。

【0075】

また、端末装置１２０が指定マーカ１１０ａの定義情報を取得する際に、指定マーカ１１０ａに関連する関連マーカ１１０ｂの定義情報も一緒に取得する構成としても良い。定義情報を取得するために指定マーカ１１０ａが特定されているので、センター・サーバ１３０は、この指定マーカ１１０ａに関連する関連マーカ１１０ｂを特定することが可能であり、指定マーカ１１０ａの定義情報と共に関連マーカ１１０ｂの定義情報を端末装置１２０へ送信することができる。この場合、端末装置１２０は、取得した指定マーカ１１０ａおよび関連マーカ１１０ｂの定義情報に基づき、端末装置１２０と指定マーカ１１０ａおよび関連マーカ１１０ｂとの間の位置関係を一緒に算出することが可能となる。そして、端末装置１２０は、端末装置１２０と指定マーカ１１０ａおよび関連マーカ１１０ｂとの間の位置関係を算出した後に、指定マーカ１１０ａおよび関連マーカ１１０ｂの付加情報と、関連情報とを取得する。

【0076】

さらに、端末装置１２０が指定マーカ１１０ａの定義情報を取得する際に、指定マーカ１１０ａの付加情報、関連マーカ１１０ｂの定義情報および付加情報、関連情報の全てを一緒に取得する構成としても良い。定義情報を取得するために指定マーカ１１０ａが特定されているので、センター・サーバ１３０は、この指定マーカ１１０ａに関連する関連マーカ１１０ｂを特定し、各マーカ１１０の定義情報および付加情報と、関連情報とを端末装置１２０へ送信することができる。この場合、端末装置１２０は、取得した情報のうち、各マーカ１１０の定義情報に基づき、端末装置１２０と各マーカ１１０との間の位置関係を一緒に算出することができる。また、端末装置１２０は、取得した情報のうち、各マーカ１１０の付加情報と関連情報とに基づき、情報提示画像を生成し、表示部１２７に表示させることができる。

【0077】

また、端末装置１２０が指定マーカ１１０ａを特定しない段階で（すなわち、マーカ１１０の画像を抽出していない段階で）、各マーカ１１０の定義情報を先に取得する構成としても良い。この場合、端末装置１２０は、マーカ１１０どうしの関係に関わらず、本実施形態の情報提示システムにより管理される全てのマーカ１１０に関する定義情報を取得する。この定義情報にマーカ１１０の幾何学的要素および象徴要素の情報が含まれるようにすれば、端末装置１２０が初期的に各マーカ１１０の定義情報を取得する際にマーカ１１０の幾何学的要素および象徴要素の情報を得ることができる。そのため、ショッピング・センターや倉庫等の特定の領域でのみ使用される特殊な形状のマーカ１１０により本実施形態の情報提示システムによるサービスを提供する場合であっても、端末装置１２０が、特殊な形状のマーカ１１０の画像を抽出し、マーカ１１０の種類を特定することが可能となる。

【0078】

＜端末装置の移動に伴う表示制御＞
さて、端末装置１２０は、指定マーカ１１０ａおよび関連マーカ１１０ｂが配置された空間における端末装置１２０の位置を認識しており、端末装置１２０は、端末装置１２０の位置から見た関連マーカ１１０ｂの位置を特定することができることを先に述べた。しかしながら、端末装置１２０が移動すると、端末装置１２０と各マーカ１１０との相対位置が変化するため、そのままでは、情報提示画像に表示されるオブジェクトの位置がずれてしまう。そこで、端末装置１２０は、所定のタイミングで（例えば定期的に）センター・サーバ１３０から各マーカ１１０に関する情報を取得して、認識する各マーカ１１０の位置を修正し、情報提示画像におけるオブジェクトの表示を随時更新しても良い。この場合、端末装置１２０と各マーカ１１０との間の位置関係が変化するため、各マーカ１１０の優先度特定値も変化する。したがって、変化した優先度特定値に基づいて、表示対象とするオブジェクトや各オブジェクトの表示対象も更新される。

【0079】

＜表示対象として指定したマーカに対するオブジェクトの表示＞
本実施形態において、図１０を参照して説明した表示優先度に基づくオブジェクトの表示とは異なり、端末装置１２０の操作者が所望のマーカ１１０を指定して、指定したマーカ１１０に対するオブジェクトを情報提示画像に表示させることができる。この場合、例えば、センター・サーバ１３０からマーカ１１０の付加情報と関連情報を取得した後、表示制御部１２６が、付加情報が取得されたマーカ１１０の一覧画像を表示部１２７に表示させる。

【0080】

図１２は、表示部１２７に表示されたマーカ１１０の一覧画像の例を示す図である。例えば、図８に示したマーカ１１０の分類のうち、マーカ「Ａ−１」に関して端末装置１２０の画像取得部１２１により画像が取得され、指定マーカ１１０ａとして扱われたものとする。すると、マーカ「Ａ−１」が所属するグループＡの他のマーカ１１０が関連マーカ１１０ｂとなり、端末装置１２０は、センター・サーバ１３０からグループＡに所属する各マーカ１１０の付加情報を取得する。そして、図１２に示すように、図８に示したグループＡに含まれるマーカ１１０の一覧画像が表示部１２７に表示される。図１２に示す例において、指定マーカ１１０ａであるマーカ「Ａ−１」には、目印（「◎」）が付されている。また、グループＡの親であるマーカ「Ａ」は、一覧の先頭に記載されている。

【0081】

端末装置１２０の操作者は、表示部１２７に表示されたマーカ１１０の一覧の中から付加情報を参照して所望のマーカ１１０を選択する。次に、表示制御部１２６は、選択されたマーカ１１０に対するオブジェクトを含む情報提示画像を生成し、表示部１２７に表示させる。操作者は、表示された情報提示画像を参照することにより、選択したマーカ１１０の位置、付加情報等を確認することができる。上述したように、端末装置１２０は、端末装置１２０から見た各マーカ１１０の位置を認識しているので、選択したマーカ１１０が操作者から見えない位置に設置されている場合でも、情報提示画像にはマーカ１１０の位置が表示される。

【0082】

＜情報提示画像の他の例＞
ここで、情報提示画像の他の例について説明する。これまでの説明では、情報提示画像として、端末装置１２０の画像取得部１２１により取得された画像とマーカ１１０の付加情報に基づくオブジェクトとを合成した画像を作成することとした。しかしながら、情報提示画像は、マーカ１１０の位置と共にマーカ１１０の付加情報を端末装置１２０の操作者に提示することができれば良く、上記のような画像取得部１２１により取得された画像とオブジェクトとの合成画像という画像構成には限定されない。

【0083】

図１３は、情報提示画像の他の構成例を示す図である。図１３に示す例では、マーカ１１０が配置されている場所の周辺の地図やフロア案内図とマーカ１１０の付加情報に基づくオブジェクト３０１、３０２とを合成した画像を情報提示画像として表示部１２７に表示している。すなわち、画像取得部１２１により取得された画像を情報提示画像に用いていない。この例において情報提示画像に用いられる地図やフロア案内図は、例えば、センター・サーバ１３０から取得するように構成することができる。このような画像構成とすれば、オブジェクト３０１、３０２の表示により各マーカ１１０の位置を俯瞰的に把握することができるので、操作者が、各マーカ１１０の相対的な位置関係を把握するのが容易となる。また、端末装置１２０とマーカ１１０との間に障害物がある場合でも、操作者が、マーカ１１０が設置されている場所へ移動するための道筋を認識することが容易となる。なお、このような構成の情報提示画像を採用する場合、端末装置１２０の位置を表すオブジェクト（不図示）を情報提示画像に表示しても良い。マーカ１１０が存在する空間における端末装置１２０の位置は分かっているので、この位置を、情報提示画像に示される地図やフロア案内図における端末装置１２０の位置に変換することは容易である。

【0084】

図１４は、情報提示画像のさらに他の構成例を示す図である。図１４に示す例では、現在の端末装置１２０の位置から見た、マーカ１１０が設置されている場所の方向と距離とが表示部１２７に表示される。図１４に示す例では、現在位置を表す標識１２７ａ（図中、目印「◎」で表示）からの方向が矢印１２７ｂで表示され、距離がテキスト１２７ｃ（図中、「あと１０．５１ｍ」の文字）で表示されている。すなわち、画像取得部１２１により取得された画像やマーカ１１０に対するオブジェクトを情報提示画像に用いていない。上記の操作者が選択したマーカ１１０に関する情報を提示する場合のように、特定のマーカ１１０のみを対象とする場合は、情報提示画像の情報量を減らし、不要な情報を表示しないことにより、特定のマーカ１１０に関する必要な情報を認識し易くすることができる。

【0085】

＜本実施形態の応用例＞
図１５は、本実施形態による情報提示システム１００の応用例を示す図である。この応用例では、端末装置１２０の操作者である検査員の点検対象の場所にマーカ１１０が設置されている。各マーカ１１０は、関連情報により関連付けられている。そして、各マーカ１１０の付加情報には、点検すべき各々の場所に設置されている各マーカ１１０の情報と、点検順の情報とが含まれている。

【0086】

このような構成において、検査員は、まず任意のマーカ１１０の画像を取得し、マーカ１１０の付加情報と関連情報とをセンター・サーバ１３０から取得する。この付加情報および関連情報に基づき、最初に点検すべき場所に設置されたマーカ１１０と、画像が取得されたマーカ１１０が設置された場所の次に点検すべき場所に設置されたマーカ１１０とがわかる。端末装置１２０の表示部１２７に表示される情報提示画像には、これらのマーカ１１０が設置された場所および点検順を示すオブジェクト３０１、３０２が示される。図１５（ａ）、（ｂ）において、オブジェクト３０１、３０２に記載した数字は、点検順を示す。

【0087】

ここで、図１５（ａ）に示すように、画像が取得されたマーカ１１０が設置された場所が最初に点検すべき場所であった場合、検査員は、その場所の点検を行った後、マーカ１１０の関連情報に含まれる検査順の情報にしたがって、次に点検すべき場所へ移動する。そして、検査順の最後のマーカ１１０が設置された場所に到達するまで関連情報に従って移動し、順次点検していく。

【0088】

一方、図１５（ｂ）に示すように、画像が取得されたマーカ１１０が設置された場所が最初に点検すべき場所でない場合、検査員は、マーカ１１０の関連情報に含まれる検査順の情報にしたがって、最初に点検すべき場所へ移動する。そして、検査員は、その場所から点検を開始し、検査順の最後のマーカ１１０が設置された場所に到達するまで関連情報に従って移動し、順次点検していく。

【0089】

上記の応用例において、点検対象の点検順は、点検対象の場所に設置されたマーカ１１０の付加情報により決定される。したがって、センター・サーバ１３０においてマーカ情報格納部１３２に格納されている各マーカ１１０の付加情報を更新することにより、点検順を適宜調整することが可能である。

【0090】

図１６は、本実施形態による情報提示システム１００の他の応用例を示す図である。この応用例では、同じ敷地に配置された複数の管理系統による管理対象の場所に、管理系統に対応させてグループ分けしたマーカ１１０が設置されている。図１６（ａ）、（ｂ）において、表示部１２７に表示されるマーカ１１０は、図８を参照して説明したグループＡとグループＢに分類されている。図示の例において、グループＡの親であるマーカ１１０には、所属グループを示す「Ａ」の文字が記述され、グループＢの親であるマーカ１１０には、所属グループを示す「Ｂ」の文字が記述されている。また、各グループに属する他のマーカ１１０には、所属グループを示す「Ａ」、「Ｂ」の文字と枝番が記述されている。

【0091】

端末装置１２０の操作者である管理者は、端末装置１２０の画像取得部１２１により、自身の管理対象が属する管理系統に対応付けられたグループの親であるマーカ１１０の画像を取得し、画像が取得されたマーカ１１０を指定マーカ１１０ａとする。これにより、指定マーカ１１０ａと同じグループに所属する関連マーカ１１０ｂとして特定され、指定マーカ１１０ａに対するオブジェクト３０１および関連マーカ１１０ｂに対するオブジェクト３０２が情報提示画像に表示され、管理者は、自身の管理対象を確認することができる。

【0092】

図１６（ａ）に示すように、マーカ「Ａ」を指定マーカ１１０ａとすると、グループＡに所属するマーカ「Ａ−１」〜「Ａ−４」が、関連マーカ１１０ｂとして特定される。そして、表示部１２７において、指定マーカ１１０ａ（マーカ「Ａ」）に対するオブジェクト３０１および関連マーカ１１０ｂ（マーカ「Ａ−１」〜「Ａ−４」）に対するオブジェクト３０２が情報提示画像に表示される。図１６（ａ）において、グループＡとは異なる管理系統に対応付けられたグループＢに属するマーカ１１０は、破線で示されている。

【0093】

一方、図１６（ｂ）に示すように、マーカ「Ｂ」を指定マーカ１１０ａとすると、グループＢに所属するマーカ「Ｂ−１」〜「Ｂ−２」が、関連マーカ１１０ｂとして特定される。そして、表示部１２７において、指定マーカ１１０ａ（マーカ「Ｂ」）に対するオブジェクト３０１および関連マーカ１１０ｂ（マーカ「Ｂ−１」〜「Ｂ−２」）に対するオブジェクト３０２が情報提示画像に表示される。図１６（ｂ）において、グループＢとは異なる管理系統に対応付けられたグループＡに属するマーカ１１０は、破線で示されている。

【0094】

次に、図１６を参照して説明した応用例の変形例を説明する。図１６を参照して説明した応用例では、各グループの親であるマーカ１１０を指定マーカ１１０ａとすることにより、指定マーカ１１０ａと同じグループに所属するマーカ１１０を関連マーカ１１０ｂとした。そして、各マーカ１１０および各マーカ１１０に対するオブジェクト３０１、３０２を情報提示画像に表示した。これに対し、端末装置１２０の使用者の属性に応じて、同一のマーカ１１０を指定マーカ１１０ａとした場合であっても、異なるグループのマーカ１１０を情報提示画像に表示させるように制御することが考えられる。

【0095】

図１７は、図１６に示した応用例の変形例を示す図である。図１７に示す変形例では、図１６に示した例と同様に、同じ敷地に配置された複数の管理系統による管理対象の場所に、管理系統に対応させてグループ分けしたマーカ１１０が設置されている。図１６（ａ）、（ｂ）において、表示部１２７に表示されるマーカ１１０は、図８を参照して説明したグループＡとグループＢに分類されている。各グループに属する他のマーカ１１０には、所属グループを示す「Ａ」、「Ｂ」の文字と枝番が記述されている。また、図１７に示す例において、グループＡおよびグループＢを含む全体の親であるマーカ１１０には、「α」の文字が記述されている。

【0096】

端末装置１２０の操作者である管理者は、端末装置１２０の画像取得部１２１により、全体の親であるマーカ１１０（マーカ「α」）の画像を取得し、画像が取得されたマーカ「α」を指定マーカ１１０ａとする。そして、指定マーカ１１０ａの情報と共に、端末装置１２０の使用者の属性の情報が、端末装置１２０からセンター・サーバ１３０へ送られる。ここで、使用者の属性は、使用者である管理者の管理対象に対応付けられている。例えば、使用者（管理者）が電気設備の点検者であれば、管理対象は電気系統検査対象物品となる。また、使用者（管理者）が機械設備の点検者であれば、管理対象は検査対象機器となる。ここでは、電気系統検査対象物品の配置位置にはグループＡに所属するマーカ１１０が設置されており、検査対象機器の配置位置にはグループＢに所属するマーカ１１０が設置されているものとする。

【0097】

例えば、端末装置１２０の使用者が電気設備の点検者である場合、指定マーカ１１０ａ（マーカ「α」）の情報と共に使用者の属性の情報が、端末装置１２０からセンター・サーバ１３０へ送られると、センター・サーバ１３０は、受信した情報に基づき、使用者の属性がグループＡに所属するマーカ１１０に対応すると判断する。そして、センター・サーバ１３０は、グループＡに所属するマーカ「Ａ−１」〜「Ａ−４」が指定マーカ１１０ａ（マーカ「α」）に関連する関連マーカ１１０ｂであると認識する。この後、指定マーカ１１０ａであるマーカ「α」の付加情報と共に、関連マーカ１１０ｂであるグループＡに所属するマーカ「Ａ−１」〜「Ａ−４」の定義情報および付加情報が、センター・サーバ１３０から端末装置１２０へ送られる。これにより、図１７（ａ）に示すように、表示部１２７において、指定マーカ１１０ａ（マーカ「α」）に対するオブジェクト３０１および関連マーカ１１０ｂ（マーカ「Ａ−１」〜「Ａ−４」）に対するオブジェクト３０２が情報提示画像に表示される。

【0098】

一方、端末装置１２０の使用者が機械設備の点検者である場合、指定マーカ１１０ａ（マーカ「α」）の情報と共に使用者の属性の情報が、端末装置１２０からセンター・サーバ１３０へ送られると、センター・サーバ１３０は、受信した情報に基づき、使用者の属性がグループＢに所属するマーカ１１０に対応すると判断する。そして、センター・サーバ１３０は、グループＢに所属するマーカ「Ｂ−１」〜「Ｂ−２」が指定マーカ１１０ａ（マーカ「α」）に関連する関連マーカ１１０ｂであると認識する。この後、指定マーカ１１０ａであるマーカ「α」の付加情報と共に、関連マーカ１１０ｂであるグループＢに所属するマーカ「Ｂ−１」〜「Ｂ−２」の定義情報および付加情報が、センター・サーバ１３０から端末装置１２０へ送られる。これにより、図１７（ｂ）に示すように、表示部１２７において、指定マーカ１１０ａ（マーカ「α」）に対するオブジェクト３０１および関連マーカ１１０ｂ（マーカ「Ｂ−１」〜「Ｂ−２」）に対するオブジェクト３０２が情報提示画像に表示される。

【0099】

図１８乃至図２０は、本実施形態による情報提示システム１００のさらに他の応用例を示す図である。図１８（ａ）、（ｂ）は、グループや品目を選択するためのインデックス画像の例を示す図である。図１９および図２０は、情報提示画像の例を示す図である。この応用例では、マーカ１１０が設置された場所に配置される物品に関する情報が、マーカ１１０の付加情報に含まれる。ここでは、ショッピング・センターの食品売り場において、商品の位置を提示するために本実施形態を適用する具体例を示す。

【0100】

この具体例において、マーカ１１０は、食品売り場のフロアにおける場所（例えば、商品棚やコーナーごと）に設置される。そして、食品売り場に配置された商品（食品）と商品が配置された場所に設置されているマーカ１１０とが関連付けられる。また、商品は、「野菜」、「肉」、「魚」等のように食品の種類に応じて分類されているものとする。なお、この商品の分類は、図８等を参照して説明したマーカ１１０のグループ分けに対応している必要はない。この具体例では、後述するように、端末装置１２０の操作者により商品等の指定が行われる。そして、指定された商品に関連付けられているマーカ１１０が関連マーカ１１０ｂとして扱われる。言い換えれば、この具体例においては、画像が取得された指定マーカ１１０ａに対する関連マーカ１１０ｂが、操作者の選択により決定される。なお、商品の分類の情報は、センター・サーバ１３０が保持しても良いし、センター・サーバ１３０とは別に設けられた商品管理用のサーバが保持しても良い。以下では、センター・サーバ１３０が商品の分類の情報を保持している場合を例として説明する。

【0101】

端末装置１２０の操作者である買い物客は、まず、端末装置１２０を操作して表示部１２７に商品のインデックス画像を表示させる。本実施形態において、インデックス画像には、上述した商品の分類に基づいて作成される大分類の画像と、商品の個々の品目に基づく細分類の画像とがあるものとする。そして、初期的に大分類の画像が表示され、大分類の画像において一つの項目（食品の種類）が選択されると、その項目に属する商品（品目）の細分類の画像が表示される。なお、商品の分類の情報を保持するサーバ（センター・サーバ１３０や上記の商品管理用のサーバ）に予め作成されたインデックス画像を保持しておき、端末装置１２０が、このサーバからインデックス画像を取得して表示する構成としても良い。また、端末装置１２０が、サーバから商品の分類の情報を取得し、インデックス画像を作成して表示部１２７に表示する構成としても良い。

【0102】

具体例を示すと、図１８（ａ）に示すように、表示部１２７において、大分類のインデックス画像には、食品の種類に応じて設定された分類項目である「野菜」、「肉」、「魚」等が表示される。次に、操作者が一つの分類項目を選択すると、その分類の細分類が表示される。ここでは「野菜」が選択されたものとする。そして、図１８（ｂ）に示すように、表示部１２７において、インデックス画像には「野菜」の細分類（「１：キャベツ」、「２：きゅうり」、「３：人参」、……）が表示される。図１８（ｂ）のインデックス画像において、操作者は、自身が所望する対象を指定する。指定対象は、細分類に示される個々の商品の品目でも良いし、大分類の分類項目に相当する商品の種類であっても良い。また、指定対象として、複数の品目や複数の種類を指定しても良いし、特定の種類の品目と他の種類とを組み合わせて指定（例えば、「野菜」に属する「キャベツ」と「肉」との組み合わせ等）しても良い。

【0103】

次に、端末装置１２０の操作者である買い物客は、端末装置１２０の画像取得部１２１により、近くに設置されている適当なマーカ１１０の画像を取り込む。そして、端末装置１２０は、画像を取り込んだマーカ１１０を特定し、特定したマーカ１１０を指定マーカ１１０ａとして、指定マーカ１１０ａおよび関連マーカ１１０ｂの各種の情報をセンター・サーバ１３０に要求する。このとき、端末装置１２０は、インデックス画像で指定した対象（商品等）の情報もセンター・サーバ１３０へ送る。センター・サーバ１３０は、指定された対象に関連付けられているマーカ１１０を関連マーカ１１０ｂとして、各マーカ１１０の定義情報および付加情報を端末装置１２０へ送る。ここで、指定対象が商品の品目である場合は、その品目に関連付けられたマーカ１１０を関連マーカ１１０ｂとすることができる。また、指定対象が商品の種類である場合は、その種類に含まれる各商品に関連付けられた各マーカ１１０を関連マーカ１１０ｂとすることができる。

【0104】

ところで、この具体例において、マーカ１１０は、商品の品目ごとに設定されている必要はない。マーカ１１０は、本来、マーカ１１０が設置される場所に対応付けられるものであり、個々の商品等に対応付けられるものではない。この具体例においては、商品が配置される位置を介して、商品とマーカ１１０とが関連付けられる。したがって、例えば、「キャベツ」と「人参」が隣接して配置されており、「人参」の配置位置にのみマーカ１１０が設置されている場合、このマーカ１１０を「キャベツ」および「人参」の両方に関連付けて良い。さらに、マーカ１１０に対する「キャベツ」の配置位置が特定されていれば、「キャベツ」の位置の情報をマーカ１１０の付加情報に含めても良い。

【0105】

端末装置１２０がセンター・サーバ１３０から各マーカ１１０の定義情報および付加情報を取得すると、位置計算部１２３は、指定マーカ１１０ａ（画像取得部１２１により画像が取り込まれたマーカ１１０）の定義情報を用いて、指定マーカ１１０ａと端末装置１２０との間の位置関係を算出する。また、位置計算部１２３は、関連マーカ１１０ｂ（指定対象に関連付けられたマーカ１１０）の定義情報を用いて、関連マーカ１１０ｂと端末装置１２０との間の位置関係を算出する。そして、表示制御部１２６が、位置計算部１２３により算出された位置関係の情報に基づき、センター・サーバ１３０から取得した各マーカ１１０の付加情報に基づくオブジェクトを合成した情報提示画像を表示部１２７に表示させる。

【0106】

図１９は、一つの表示態様による情報提示画像を示す図である。図１９に示す情報提示画像は、ショッピング・センターのフロア案内図と指定マーカ１１０ａおよび関連マーカ１１０ｂに対するオブジェクト３０１、３０２とを合成した画像として構成されている。ここでは、指定対象として商品の種類である「野菜」を指定したものとする。したがって、図１９に示す情報提示画像では、「野菜」に関連付けられた関連マーカ１１０ｂに対するオブジェクト３０２により、フロア全体における「野菜」の位置が示されている。さらに、図１９に示す情報提示画像において、図１４に示したような標識１２７ａ、矢印１２７ｂおよび距離を示すテキスト１２７ｃを表示し、現在位置から見た「野菜」の位置の方向および現在位置から「野菜」の位置までの距離を示しても良い。なお、図１９に示す例のように、複数のマーカ１１０が関連マーカ１１０ｂとなっている場合、矢印１２７ｂにより示される方向は、各関連マーカ１１０ｂが設置された位置により特定される代表位置の方向としても良い。代表位置は、例えば、各関連マーカ１１０ｂが設置された領域の中央とすることができる。

【0107】

図２０は、他の表示態様による情報提示画像を示す図である。図２０に示す情報提示画像は、画像取得部１２１により取得された食品売り場の画像と指定マーカ１１０ａおよび指定対象である商品（品目）に関連づけられた関連マーカ１１０ｂに対するオブジェクト３０１、３０２とを合成した画像として構成されている。ここでは、指定対象として商品「キャベツ」を指定したものとする。したがって、図２０に示す情報提示画像では、「キャベツ」に関連付けられた関連マーカ１１０ｂに対するオブジェクト３０２により、「キャベツ」が配置された位置が示されている。なお、図２０に示す情報提示画像では、必ずしも「キャベツ」が配置された位置に関連マーカ１１０ｂが設置されていなくても良い。「キャベツ」が配置された位置の近く（例えば、棚の上下の段の同じ位置や同じ段の別の位置）に関連マーカ１１０ｂが設置されており、関連マーカ１１０ｂに対する「キャベツ」の位置が関連マーカ１１０ｂの付加情報として登録されていれば、この付加情報に基づいて、情報提示画像における「キャベツ」が配置された位置に、「キャベツ」の位置を示すオブジェクト３０２を表示させることができる。

【0108】

上記の説明では、インデックス画像で商品の種類を指定した場合に図１９に示した情報提示画像を表示し、インデックス画像で商品の品目を指定した場合に図２０に示した情報提示画像を表示する例を示した。しかし、図１９に示した情報提示画像と図２０に示した情報提示画像の選択は、上記の例に限定されない。例えば、端末装置１２０と指定対象に関連付けられた関連マーカ１１０ｂとの間の距離が予め設定された閾値よりも大きい場合は図１９に示した情報提示画像を表示し、閾値よりも小さい場合は図２０に示した情報提示画像を表示するようにしても良い。さらに、予め定められた入力操作に応じて、図１９に示した情報提示画像と図２０に示した情報提示画像とを切り替え可能としても良い。

【0109】

また、指定対象が商品の品目であり、図１９に示した情報提示画像を表示する場合に、指定対象の商品に関連付けられた関連マーカ１１０ｂに対するオブジェクト３０２を表示するのではなく、指定対象の商品が含まれる種類（大分類の分類項目）に関連付けられた関連マーカ１１０ｂの位置を表示するようにしても良い。この場合、情報提示画像には、オブジェクト３０２ではなく、図１４に示したような標識１２７ａ、矢印１２７ｂおよび距離を示すテキスト１２７ｃを表示し、現在位置から見た指定対象の位置の方向および現在位置から指定対象の位置までの距離を示しても良い。またこの場合、指定対象の商品が含まれる種類に関連付けられた関連マーカ１１０ｂは、通常、複数存在するので、図１９を参照して説明したように、矢印１２７ｂにより示される方向を、各関連マーカ１１０ｂが設置された領域の中央（代表位置）の方向としても良い。このようにすれば、例えば、指定対象として「キャベツ」や「人参」等の具体的な品目を指定した場合であっても、指定対象である「キャベツ」や「人参」が含まれる大分類である「野菜」の配置位置（すなわち、野菜売り場）の大まかな位置がフロア案内図で示されるので、端末装置１２０の操作者は、大まかにどちらの方向へ向かって移動すれば良いかを判断することが容易となる。なお、商品の種類（例えば、「野菜」）に対応付けたマーカ１１０を用意して、その種類に該当する商品が配置された領域（例えば、野菜売り場）の中央付近に設置し、商品の配置位置を矢印等で指示する場合に、商品の種類に対応付けたマーカ１１０の位置を指示するようにしても良い。

【0110】

＜ハードウェア構成例＞
図２１は、本実施形態の端末装置１２０を構成するのに好適なハードウェア構成例を示す図である。ここでは、タブレット型コンピュータに適用する場合について説明する。図２１に示すコンピュータは、ＣＰＵ（Central Processing Unit）２１、ブリッジ回路２２、メモリ２３、不揮発性メモリ２４、ネットワーク・インターフェイス２５、操作入力デバイス２６、表示パネル２７、操作パネル２８、カメラ２９を備える。これらの構成要素は、ブリッジ回路２２を介して演算手段であるＣＰＵ２１と接続される。

【0111】

図２１において、メモリ２３は、ＣＰＵ２１の処理における作業メモリや処理結果を保持する保持手段として用いられる。また、不揮発性メモリ２４には、ＯＳ（Operating System）やアプリケーション・プログラムが格納されている。そして、これらのプログラムがＣＰＵ２１に実行されることにより、端末装置１２０における画像処理部１２２、位置計算部１２３、表示制御部１２６の各機能が実現される。また、メモリ２３および不揮発性メモリ２４により、記憶部１２４が実現される。また、ネットワーク・インターフェイス２５により、送受信部１２５が実現される。また、表示パネル２７により表示部１２７が実現され、カメラ２９により画像取得部１２１が実現される。

【0112】

なお、図２１は、本実施形態の端末装置１２０を実現するのに好適なコンピュータのハードウェア構成を例示するに過ぎない。本実施形態の端末装置１２０は、画像取得部１２１により取得したマーカ１１０の画像を解析することによりマーカ１１０を特定し、特定したマーカ１１０に基づいてセンター・サーバ１３０からマーカ１１０の付加情報および関連情報を取得し、取得した付加情報および関連情報に基づいて各マーカ１１０に対するオブジェクトを含む情報提示画像を表示するものであり、これらを実現するための具体的な手段は、図示の構成のみに限定されるものではない。その他、上記の実施形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれる。

【0113】

図２２は、本実施形態のセンター・サーバ１３０を構成するのに好適なハードウェア構成例を示す図である。ここでは、コンピュータに適用する場合について説明する。図２２に示すコンピュータは、演算手段であるＣＰＵ（Central Processing Unit）１０ａと、主記憶手段であるメモリ１０ｃを備える。また、外部デバイスとして、磁気ディスク装置（ＨＤＤ：Hard Disk Drive）１０ｇ、ネットワーク・インターフェイス１０ｆ、ディスプレイ装置を含む表示機構１０ｄ、キーボードやマウス等の入力デバイス１０ｉ等を備える。

【0114】

図２２に示す構成例では、メモリ１０ｃおよび表示機構１０ｄは、システム・コントローラ１０ｂを介してＣＰＵ１０ａに接続されている。また、ネットワーク・インターフェイス１０ｆ、磁気ディスク装置１０ｇおよび入力デバイス１０ｉは、Ｉ／Ｏコントローラ１０ｅを介してシステム・コントローラ１０ｂと接続されている。各構成要素は、システム・バスや入出力バス等の各種のバスによって接続される。

【0115】

図２２において、磁気ディスク装置１０ｇにはＯＳのプログラムやアプリケーション・プログラムが格納されている。そして、これらのプログラムがメモリ１０ｃに読み込まれてＣＰＵ１０ａに実行されることにより、センター・サーバ１３０におけるデータ処理部１３３の機能が実現される。また、メモリ１０ｃおよび磁気ディスク装置１０ｇにより、マーカ情報格納部１３２が実現される。また、ネットワーク・インターフェイス１０ｆにより、送受信部１３１が実現される。

【0116】

なお、図２２は、本実施形態のセンター・サーバ１３０を実現するのに好適なコンピュータのハードウェア構成を例示するに過ぎない。本実施形態のセンター・サーバ１３０は、予め設定された分類によりグループ分けされたマーカ１１０の付加情報および関連情報を保持し、端末装置１２０から取得した指定マーカ１１０ａの情報に基づいて指定マーカ１１０ａに関連付けられている関連マーカ１１０ｂを特定し、指定マーカ１１０ａおよび関連マーカ１１０ｂの付加情報および関連情報を端末装置１２０へ返送するものであり、これらを実現するための具体的な手段は、図示の構成のみに限定されるものではない。その他、上記の実施形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれる。

【符号の説明】

【0117】

１００…情報提示システム、１１０…マーカ、１２０…端末装置、１２１…画像取得部、１２２…画像処理部、１２３…位置計算部、１２４…記憶部、１２５…送受信部、１２６…表示制御部、１２７…表示部、１３０…センター・サーバ、１３１…送受信部、１３２…マーカ情報格納部、１３３…データ処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】